WO2013175649A1 - ダンプトラック - Google Patents

ダンプトラック Download PDF

Info

Publication number
WO2013175649A1
WO2013175649A1 PCT/JP2012/073911 JP2012073911W WO2013175649A1 WO 2013175649 A1 WO2013175649 A1 WO 2013175649A1 JP 2012073911 W JP2012073911 W JP 2012073911W WO 2013175649 A1 WO2013175649 A1 WO 2013175649A1
Authority
WO
WIPO (PCT)
Prior art keywords
dump truck
image
vehicle body
dynamic range
imaging
Prior art date
Application number
PCT/JP2012/073911
Other languages
English (en)
French (fr)
Inventor
純 谷口
富和 田貫
光田　慎治
栗原　毅
幸宏 中西
正臣 町田
大 坪根
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CA2815822A priority Critical patent/CA2815822C/en
Priority to US13/825,171 priority patent/US20150077281A1/en
Priority to CN201280002958.3A priority patent/CN103608216B/zh
Priority to AU2012372159A priority patent/AU2012372159A1/en
Publication of WO2013175649A1 publication Critical patent/WO2013175649A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G01S15/876—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area

Definitions

  • the present invention relates to a dump truck provided with a periphery monitoring system for monitoring the periphery and used in a mine.
  • a device for monitoring the periphery includes, for example, a device that captures the periphery of the vehicle with a camera or the like attached to the vehicle, and creates an image indicating the periphery of the vehicle by combining the obtained images (for example, Patent Document 1).
  • the present invention displays an image of a vehicle or other object existing around a dump truck even in an environment where a contrast difference between light and dark is large when monitoring the periphery of the dump truck using an image captured by an imaging device. With the goal.
  • the present invention includes an upper deck in which a driver's cab is disposed, a vehicle body portion including a frame disposed along the front-rear direction, a vessel disposed above the frame, a rear end of the frame, and disposed below the vessel. And a rear wide dynamic range camera capable of imaging the rear of the vehicle body.
  • a front wide dynamic range camera disposed in front of the upper deck and capable of imaging the front of the vehicle body, and disposed on the left and right sides of the upper deck, respectively, from diagonally forward to rear of the vehicle body
  • the vehicle body section using a side wide dynamic range camera capable of capturing an image of the vehicle, and an overhead view image combining images obtained by the rear wide dynamic range camera, the front wide dynamic range camera, and the respective side wide dynamic range cameras. It is preferable to include a monitoring control device that monitors the periphery of the device.
  • the side wide dynamic range camera includes a first side wide dynamic range camera capable of imaging an oblique front of the vehicle body and a second side wide dynamic range capable of imaging an oblique rear of the vehicle body. And a camera.
  • a plurality of radar devices provided on the vehicle body portion and capable of detecting objects existing in the entire circumference range of the vehicle body portion are provided.
  • the present invention includes an upper deck on which a driver's seat is disposed and a vehicle body including a frame disposed along the front-rear direction, a vessel disposed above the frame, a rear end of the frame, and disposed below the vessel.
  • a rear wide dynamic range camera capable of imaging the rear of the vehicle body
  • a front wide dynamic range camera disposed in front of the upper deck and capable of imaging the front of the vehicle body, and left and right lateral sides of the upper deck.
  • a wide side dynamic range camera that is capable of capturing an image from diagonally forward to rear of the vehicle body, the rear wide dynamic range camera, the front wide dynamic range camera, and the respective side wide dynamic range cameras.
  • a bird's-eye view image that combines images obtained by A dump truck, characterized in that it comprises a monitoring controller that monitors the periphery of the body portion, a monitor for displaying the overhead view image is disposed in the cab, the Te.
  • the present invention displays an image of a vehicle or other object existing around a dump truck even in an environment where a contrast difference between light and dark is large when monitoring the periphery of the dump truck using an image captured by an imaging device. Can do.
  • FIG. 1 is a perspective view showing a dump truck according to the present embodiment.
  • FIG. 2 is a diagram illustrating a cab structure of the dump truck according to the present embodiment.
  • FIG. 3 is a diagram illustrating the periphery monitoring system according to the present embodiment.
  • FIG. 4 is a perspective view of a dump truck equipped with an imaging device included in the periphery monitoring system according to the present embodiment.
  • FIG. 5 is a schematic diagram illustrating a bird's-eye view image generated on the basis of information on a region captured by a plurality of imaging devices and images captured by the plurality of imaging devices.
  • FIG. 6 is a perspective view showing the arrangement of the radar apparatus.
  • FIG. 7 is a diagram illustrating an image conversion method using a virtual projection plane.
  • FIG. 8 is a plan view showing the relationship between the dump truck and the vehicles existing around it.
  • FIG. 9 is a front view showing the relationship between the dump truck and the vehicles existing around it.
  • FIG. 10 is a diagram illustrating an example of an imaging apparatus to which a wide dynamic range camera is applied.
  • FIG. 11 is a diagram for explaining an imaging range in the height direction of the imaging apparatus included in the periphery monitoring system according to the present embodiment.
  • FIG. 12 is a diagram for describing an imaging range in the height direction of the imaging apparatus included in the periphery monitoring system according to the present embodiment.
  • FIG. 13 is a diagram for describing an imaging range in the height direction of the imaging apparatus included in the periphery monitoring system according to the present embodiment.
  • FIG. 14 is a diagram illustrating a case where the vehicle moves around the dump truck.
  • FIG. 15 is a diagram illustrating a case where the vehicle moves around the dump truck.
  • FIG. 16 is a diagram illustrating a case where the vehicle moves around the dump
  • FIG. 1 is a perspective view showing a dump truck according to the present embodiment.
  • FIG. 2 is a diagram illustrating a cab structure of the dump truck according to the present embodiment.
  • a dump truck (also referred to as an off-highway truck) 1 is a self-propelled super large vehicle used for work in a mine.
  • the dump truck 1 includes a vehicle body portion 2, a cab 3, a vessel 4, a front wheel 5, and a rear wheel 6.
  • the vehicle body part 2 includes an upper deck 2b and a frame 2f arranged along the front-rear direction. Further, the dump truck 1 has a surrounding monitoring system that monitors its surroundings and displays the result. Details of the peripheral monitoring system will be described later.
  • the dump truck 1 drives the rear wheel 6 by driving the electric motor with electric power generated by an internal combustion engine such as a diesel engine driving the generator.
  • an internal combustion engine such as a diesel engine driving the generator.
  • the dump truck 1 is what is called an electric drive system, the drive system of the dump truck 1 is not limited to this.
  • the dump truck 1 may transmit the power of the internal combustion engine to the rear wheel 6 via the transmission and drive it, or drive the electric motor with electric power supplied from the overhead line via the trolley.
  • the rear wheel 6 may be driven by this electric motor.
  • the frame 2f supports a power generation mechanism such as an internal combustion engine and a generator and its accessories.
  • a power generation mechanism such as an internal combustion engine and a generator and its accessories.
  • Left and right front wheels 5 (only the right front wheel is shown in FIG. 1) are supported on the front portion of the frame 2f.
  • Left and right rear wheels 6 (only the right rear wheel is shown in FIG. 1) are supported at the rear portion of the frame 2f.
  • the front wheel 5 and the rear wheel 6 have a diameter of about 2 m (meter) to 4 m (meter).
  • the frame 2f has a lower deck 2a and an upper deck 2b.
  • the dump truck 1 used in the mine has a double deck structure having the lower deck 2a and the upper deck 2b.
  • the lower deck 2a is attached to the lower part of the front surface of the frame 2f.
  • the upper deck 2b is disposed above the lower deck 2a.
  • a movable ladder 2c used for getting on and off the cab 3 is disposed.
  • an oblique ladder 2d for moving between the two is disposed.
  • a radiator is disposed between the lower deck 2a and the upper deck 2b.
  • a rail-shaped handrail 2e is disposed on the upper deck 2b.
  • the ladder 2c and the oblique ladder 2d are assumed to be part of the upper deck 2b and the lower deck 2a.
  • the cab (cab) 3 is arranged on the upper deck 2b.
  • the cab 3 is arranged on the upper deck 2b so as to be shifted to one side in the vehicle width direction from the center in the vehicle width direction.
  • the cab 3 is disposed on the left side of the center in the vehicle width direction on the upper deck 2b.
  • the cab 3 includes a ROPS (Roll-Over Protection System) including a plurality of (four in this embodiment) support columns 3a, 3b, 3c, and 3d. ROPS protects the operator in the cab 3 if the dump truck 1 falls down.
  • ROPS Roll-Over Protection System
  • the driver of the dump truck 1 travels in a state where the left shoulder of the vehicle body part 2 can be easily confirmed, but in order to check the periphery of the vehicle body part 2, it is necessary to move the head greatly.
  • the upper deck 2b is provided with a plurality of side mirrors (not shown) in order to confirm the periphery of the dump truck 1. Since these side mirrors are arranged at positions away from the cab 3, the driver needs to move his head greatly even when checking the periphery of the vehicle body portion 2 using the side mirrors.
  • a driver's seat 31, a handle 32, a dash cover 33, a radio device 34, a radio receiver 35, a retarder 36, a shift lever 37, a trainer seat 38, are shown in FIG.
  • a controller (details of which will be described later), a monitor 50, an accelerator pedal, a brake pedal, and the like as no monitoring control device. Note that the controller and the monitor 50 not shown in FIG. 2 are a part of the periphery monitoring system 10 described later.
  • the vessel 4 shown in FIG. 1 is a container for loading loads such as crushed stones.
  • a rear portion of the bottom surface of the vessel 4 is rotatably connected to a rear portion of the frame 2f via a rotation pin.
  • the vessel 4 can take a loading posture and a standing posture by an actuator such as a hydraulic cylinder.
  • the loading posture is a posture in which the front portion of the vessel 4 is positioned above the cab 3.
  • the standing posture is a posture for discharging the load, and is a posture in which the vessel 4 is inclined rearward and downward.
  • the vessel 4 has a flange portion 4F on the front side.
  • the flange portion 4F extends to the upper side of the cab 3 and covers the cab 3.
  • the collar part 4F extended above the cab 3 protects the cab 3 from collision of crushed stones or the like.
  • FIG. 3 is a diagram illustrating the periphery monitoring system according to the present embodiment.
  • FIG. 4 is a perspective view of a dump truck equipped with an imaging device included in the periphery monitoring system according to the present embodiment.
  • FIG. 5 is a schematic diagram illustrating a bird's-eye view image generated on the basis of information on an area captured by a plurality of imaging devices and images captured by the plurality of imaging devices. The area imaged by the plurality of imaging devices shown in FIG. 5 is an area based on the ground.
  • the periphery monitoring system 10 includes a plurality (6 in the present embodiment) of imaging devices 11, 12, 13, 14, 15, 16 and a plurality (8 in the present embodiment) of radar devices 21, 22, 23, and 24. , 25, 26, 27, 28, a monitor 50, and a controller 100 as a monitoring control device. In the present embodiment, the periphery monitoring system 10 does not necessarily require the radar devices 21, 22, 23, 24, 25, 26, 27, and 28.
  • the imaging devices 11, 12, 13, 14, 15 and 16 are attached to the dump truck 1.
  • the imaging devices 11, 12, 13, 14, 15, and 16 are cameras using, for example, a CCD (Charge Coupled Device).
  • the imaging devices 11, 12, 13, 14, 15, and 16 image the periphery of the dump truck 1 and output it as image information.
  • the imaging device 11 is the first imaging device 11
  • the imaging device 12 is the second imaging device 12
  • the imaging device 13 is the third imaging device 13
  • the imaging device 14 is the fourth imaging device 14, and the imaging device 15 is the first.
  • the fifth imaging device 15 and the imaging device 16 are referred to as a sixth imaging device 16.
  • they are appropriately referred to as imaging devices 11 to 16.
  • each of the imaging devices 11 to 16 has a visual field range of 120 degrees in the left-right direction (60 degrees left and right) and 96 degrees in the height direction, but is limited to such a visual field range. It is not something.
  • the first imaging device 11 is attached to the front surface of the dump truck 1. Specifically, the first imaging device 11 is disposed at the upper end portion of the oblique ladder 2d, more specifically, at the lower portion of the uppermost landing part. The first imaging device 11 is fixed toward the front of the dump truck 1 via a bracket attached to the upper deck 2b. As shown in FIG. 5, the first imaging device 11 captures the first region 11 ⁇ / b> C among regions existing around the dump truck 1 and outputs first image information as image information.
  • the first area 11 ⁇ / b> C is an area that extends in front of the vehicle body portion 2 of the dump truck 1.
  • the second imaging device 12 is attached to one side of the front surface of the dump truck 1. Specifically, the second imaging device 12 is disposed on the right side of the front surface of the upper deck 2b. The second imaging device 12 is fixed toward the right front side of the dump truck 1 via a bracket attached to the upper deck 2b. As shown in FIG. 5, the second imaging device 12 captures the second area 12 ⁇ / b> C among the areas existing around the dump truck 1 and outputs second image information as image information.
  • the second area 12 ⁇ / b> C is an area that spreads diagonally right forward of the vehicle body 2 of the dump truck 1.
  • the third imaging device 13 is attached to the other side of the front surface of the dump truck 1. Specifically, the third imaging device 13 is disposed on the left side of the front surface of the upper deck 2b. The third imaging device 13 is disposed so as to be bilaterally symmetric with the second imaging device 12 with respect to an axis passing through the center in the width direction of the dump truck 1. The third imaging device 13 is fixed toward the left front side of the dump truck 1 via a bracket attached to the upper deck 2b. As shown in FIG. 5, the third imaging device 13 images the third region 13 ⁇ / b> C among the regions existing around the dump truck 1 and outputs third image information as image information. The third region 13 ⁇ / b> C is a region that extends obliquely to the left of the vehicle body 2 of the dump truck 1.
  • the fourth imaging device 14 is attached to one side surface of the dump truck 1. Specifically, the fourth imaging device 14 is disposed in the front portion of the right side surface of the upper deck 2b. The 4th imaging device 14 is being fixed toward the diagonally right back of the dump truck 1 via the bracket attached to the upper deck 2b. As shown in FIG. 5, the fourth imaging device 14 images the fourth area 14 ⁇ / b> C among the areas existing around the dump truck 1 and outputs fourth image information as image information.
  • the fourth area 14 ⁇ / b> C is an area that extends obliquely to the right rear of the vehicle body portion 2 of the dump truck 1.
  • the fifth imaging device 15 is attached to the other side surface of the dump truck 1. Specifically, the fifth imaging device 15 is disposed in the front portion on the left side surface of the upper deck 2b. The fifth imaging device 15 is arranged to be bilaterally symmetric with the fourth imaging device 14 with respect to an axis passing through the center in the width direction of the dump truck 1. As illustrated in FIG. 5, the fifth imaging device 15 captures the fifth area 15 ⁇ / b> C among the areas existing around the dump truck 1 and outputs fifth image information as image information.
  • the fifth area 15 ⁇ / b> C is an area that spreads diagonally to the left of the vehicle body 2 of the dump truck 1.
  • the sixth imaging device 16 is attached to the rear part of the dump truck 1. Specifically, the sixth imaging device 16 is disposed at the rear end of the frame 2 f, above the axle housing connecting the two rear wheels 6, 6 and in the vicinity of the rotation axis of the vessel 4. The sixth imaging device 16 is fixed toward the rear of the dump truck 1 via a bracket attached to a cross bar that connects the left and right frames 2f. As shown in FIG. 5, the sixth imaging device 16 images the sixth area 16 ⁇ / b> C among the areas existing around the dump truck 1 and outputs sixth image information as image information.
  • the sixth region 16 ⁇ / b> C is a region that spreads behind the vehicle body portion 2 of the dump truck 1.
  • the periphery monitoring system 10 captures an image of the entire circumference of the dump truck 1 as shown in the center of FIG. Image information can be acquired.
  • the six imaging devices 11 to 16 transmit first image information to sixth image information as image information captured by each of the imaging devices 11 to 16 to the controller 100 shown in FIG.
  • the first image pickup device 11, the second image pickup device 12, the third image pickup device 13, the fourth image pickup device 14, and the fifth image pickup device 15 are provided on the upper deck 2b at a relatively high position. Therefore, the controller 100 can obtain an image that looks down on the ground from above by the first imaging device 11 to the fifth imaging device 15, and can capture a wide range of objects such as vehicles existing on the ground. Can do. Further, even when the controller 100 performs viewpoint conversion when generating the overhead image 200 from the first image information to the sixth image information acquired by the first imaging device 11 to the sixth imaging device 16, these Among them, the first image information to the fifth image information are information obtained by imaging from above, so that the degree of deformation of the three-dimensional object can be suppressed.
  • FIG. 6 is a perspective view showing the arrangement of the radar apparatus.
  • the radar devices 21, 22, 23, 24, 25, 26, 27, and 28 (hereinafter referred to as radar devices 21 to 28 as appropriate) have an azimuth ⁇ 80 degrees (40 degrees on the left and right) and a maximum detection distance of 15 m.
  • This is the UWB (Ultra Wide Band) radar (ultra wide band radar).
  • the radar devices 21 to 28 detect the relative position (relative position) between the object existing around the dump truck 1 and the dump truck 1.
  • the respective radar devices 21 to 28 are attached to the outer peripheral portion of the dump truck 1 in the same manner as the imaging devices 11 to 16.
  • the radar device 21 (referred to as the first radar device 21 as appropriate) includes a front surface of the vehicle body portion 2 and a center in the width direction of the vehicle body portion 2 in the lower deck 2 a disposed at a height of about 1 m from the ground. It is arranged slightly on the right side.
  • the detection range of the first radar device 21 is a range that extends from the front of the vehicle body portion 2 of the dump truck 1 to the left diagonally forward.
  • the radar device 22 (referred to as the second radar device 22 as appropriate) is disposed in front of the vehicle body 2 in the lower deck 2 a and slightly to the left of the center in the width direction of the vehicle body 2. That is, the second radar device 22 is disposed adjacent to the first radar device 21 on the left side of the first radar device 21.
  • the detection range of the first radar device 21 is a range that spreads from the front of the vehicle body portion 2 of the dump truck 1 diagonally to the right.
  • the radar device 23 (referred to as the third radar device 23 as appropriate) is disposed in the vicinity of the right side front end of the lower deck 2a as shown in FIG.
  • the detection range of the third radar device 23 is a range that spreads from the diagonally right front side to the right side of the vehicle body portion 2 of the dump truck 1.
  • the radar device 24 (referred to as the fourth radar device 24 as appropriate) is disposed in the vicinity of the right end portion at the intermediate height position between the lower deck 2 a and the upper deck 2 b on the side portion of the vehicle body portion 2. .
  • the detection range of the fourth radar device 24 is a range that extends rearward from the right side of the vehicle body portion 2 of the dump truck 1.
  • the radar device 25 (referred to as the fifth radar device 25 as appropriate) is disposed below the vessel 4 and above the axle that transmits driving force to the left and right rear wheels 6 of the dump truck 1. ing.
  • the detection range of the fifth radar device 25 is a range that widens from the right rear side to the rear side of the vehicle body portion 2 of the dump truck 1.
  • the radar device 26 (referred to as the sixth radar device 26 as appropriate) is disposed above the axle and adjacent to the right side of the fifth radar device 25, as with the fifth radar device 25. ing.
  • the detection range of the sixth radar device 26 is a range that extends from the left rear side of the vehicle body 2 of the dump truck 1 toward the rear side so as to intersect the detection range of the fifth radar device 25.
  • the radar device 27 (referred to as the seventh radar device 27 as appropriate) is in the vicinity of the left end at the intermediate height position between the lower deck 2 a and the upper deck 2 b on the side surface of the vehicle body portion 2, that is, the vehicle body portion 2.
  • the detection range of the seventh radar device 27 is a range that extends rearward from the left side of the vehicle body portion 2 of the dump truck 1.
  • the radar device 28 (referred to as the first radar device 28 as appropriate) includes a third radar device 23 in the vicinity of the front end portion on the left side surface of the lower deck 2 a, that is, the center axis in the width direction of the vehicle body portion 2. They are arranged at symmetrical positions.
  • the detection range of the eighth radar device 28 is a range that spreads from the left diagonal front of the vehicle body 2 of the dump truck 1 to the left.
  • the eight radar devices 21 to 28 can detect the relative position between the object and the dump truck 1 with the entire circumference of 360 degrees around the dump truck 1 as a detection range.
  • the eight radar devices 21 to 28 each transmit relative position information indicating the relative position between the detected object and the dump truck 1 to the controller 100.
  • the plurality of (eight) radar devices 21 to 28 are provided in the vehicle body 2 and can detect objects existing in the entire circumference range of the vehicle body 2.
  • the controller 100 uses the imaging devices 11 to 16 and the radar devices 21 to 28 to display the presence or absence of an object around the dump truck 1 on the bird's-eye view image 200, and notifies the operator of the presence of the object as necessary. To do. As shown in FIG. 3, the controller 100 includes an overhead image synthesis unit 110, a camera image switching / viewpoint conversion unit 120, a display control unit 130, a monitor image generation unit 140, an object information collection unit 210, and an object processing unit 220. Have.
  • the overhead image synthesis unit 110 is connected to the imaging devices 11 to 16 as shown in FIG.
  • the bird's-eye view image synthesizing unit 110 receives a plurality of pieces of image information (first image information to fifth image information) that are captured by the respective imaging devices 11 to 16. Then, the bird's-eye view image combining unit 110 combines the images corresponding to the received plurality of pieces of image information, and generates the bird's-eye view image 200 including the entire periphery of the dump truck 1. Specifically, the bird's-eye view image synthesis unit 110 generates the bird's-eye view image information indicating the bird's-eye view image 200 obtained by projecting the plurality of images onto a predetermined projection plane by performing coordinate conversion on each of the plurality of pieces of image information.
  • the camera image switching / viewpoint conversion unit 120 is connected to the imaging devices 11 to 16, and the monitor 50 together with the overhead image 200 according to the result of obstacle detection by the radar devices 21 to 28.
  • the images captured by the imaging devices 11 to 16 displayed on the screen are switched.
  • the camera image switching / viewpoint conversion unit 120 converts the image information acquired by each of the imaging devices 11 to 16 into image information from the viewpoint from the upper infinity.
  • the display control unit 130 is connected to the camera image switching / viewpoint conversion unit 120, the monitor image generation unit 140, and the object processing unit 220, as shown in FIG.
  • the display control unit 130 synthesizes and displays the position information of the object acquired by the radar devices 21 to 28 in the overhead image 200 formed by combining the image information acquired by the imaging devices 11 to 16.
  • Target object position information is transmitted to the camera image switching / viewpoint conversion unit 120 and the monitor image generation unit 140.
  • the monitor image generation unit 140 is connected to the overhead image synthesis unit 110, the camera image switching / viewpoint conversion unit 120, and the display control unit 130.
  • the monitor image generation unit 140 sets the position of the object in the overhead image 200 based on the image information and the object position information around the dump truck 1 acquired by the imaging devices 11 to 16 and the radar devices 21 to 28. Generate an image that contains. This image is displayed on the monitor 50.
  • the object information collecting unit 210 is connected to the radar devices 21 to 28 and the object processing unit 220 as shown in FIG.
  • the object information collection unit 210 receives the object detection results in the respective detection ranges from the radar devices 21 to 28 and transmits them to the object processing unit 220.
  • the object processing unit 220 is connected to the object information collecting unit 210 and the display control unit 130 as shown in FIG.
  • the object processing unit 220 transmits the position information of the object received from the object information collecting unit 210 to the display control unit 130.
  • the imaging devices 11 to 16 are arranged on the front and side surfaces of the upper deck 2b and below the vessel 4.
  • the controller 100 synthesizes the first image information to the sixth image information captured by the imaging devices 11 to 16 to generate an overhead image 200 as shown in FIG. It is displayed on the monitor 50 arranged in front of the seat 31.
  • the monitor 50 displays an image such as the overhead image 200 under the control of the controller 100.
  • the bird's-eye view image 200 is obtained by the controller 100 combining the first image information to the sixth image information corresponding to the first region 11C to the sixth region 16C captured by the imaging devices 11 to 16.
  • the periphery monitoring system 10 displays such a bird's-eye view image 200 on the monitor 50. For this reason, the operator of the dump truck 1 can monitor the entire range of 360 degrees around the dump truck 1 only by visually recognizing the bird's-eye view image 200 displayed on the monitor 50.
  • an overhead image will be described.
  • FIG. 7 is a diagram illustrating an image conversion method using the virtual projection plane VP.
  • the controller 100 creates an overhead image 200 around the dump truck 1 based on the plurality of images indicated by the plurality of first image information to sixth image information. Specifically, the controller 100 performs coordinate conversion of the first image information to the sixth image information using predetermined conversion information.
  • the conversion information is information indicating the correspondence between the position coordinates of each pixel of the input image and the position coordinates of each pixel of the output image.
  • the input image is an image captured by the imaging devices 11 to 16 and is an image corresponding to the first image information to the sixth image information.
  • the output image is an overhead image 200 displayed on the monitor 50.
  • the controller 100 uses the conversion information to convert the images picked up by the image pickup devices 11 to 16 into images seen from a predetermined virtual viewpoint located above the dump truck 1. Specifically, as shown in FIG. 7, the images picked up by the image pickup devices 11 to 16 are projected onto a predetermined virtual projection plane VP, so that they can be viewed from the virtual viewpoint VIP located above the dump truck 1. It is converted into an image.
  • the conversion information represents this virtual projection plane VP.
  • the converted image is an overhead image displayed on the monitor 50.
  • the controller 100 projects a plurality of first image information to sixth image information acquired from the plurality of imaging devices 11 to 16 onto a predetermined virtual projection plane VP to synthesize the overhead image 200 around the dump truck 1. Create
  • the controller 100 displays images corresponding to the first image information to the sixth image information from the two imaging devices 11 to 16 adjacent to each other in each of the first overlap area OA1 to the sixth overlap area OA6. Overlapping display.
  • the controller 100 displays the image of the first image information from the first imaging device 11 and the image of the second image information from the second imaging device 12 in an overlapping manner.
  • the controller 100 displays the first image information image from the first imaging device 11 and the third image information image from the third imaging device 13 in an overlapping manner.
  • the controller 100 displays the second image information image from the second imaging device 12 and the fourth image information image from the fourth imaging device 14 in an overlapping manner.
  • the controller 100 displays the third image information image from the third imaging device 13 and the fifth image information image from the fifth imaging device 15 in an overlapping manner.
  • the controller 100 displays the fourth image information image from the fourth imaging device 14 and the sixth image information image from the sixth imaging device 16 in an overlapping manner.
  • the controller 100 displays the image of the fifth image information from the fifth imaging device 15 and the image of the sixth image information from the sixth imaging device 16 in an overlapping manner.
  • the composition ratio is a value corresponding to the first image information to the sixth image information, and is stored in the controller 100. For example, the composition ratio is determined for each of the first image information to the sixth image information such that the composition ratio of the first image information is 0.5 and the composition ratio of the second image information is 0.5.
  • the controller 100 can create a natural overhead image 200.
  • the controller 100 generates combined image information indicating the overhead image combined as described above, and outputs it to the monitor 50.
  • FIG. 8 is a plan view showing the relationship between the dump truck and the vehicles existing around it.
  • FIG. 9 is a front view showing the relationship between the dump truck and the vehicles existing around it.
  • the dump truck 1 used in the mine has a loading capacity of about 80 t (tons) to 400 t (tons), an overall length L of about 8 m (meters) to 15 m (meters), and a width W of about 5 m (meters) to 10 m (meters).
  • the vehicle has a very high overall height Ha of about 5 m (meters) to 8 m (meters). For this reason, a shadowed area is generated around the dump truck 1 depending on the direction of the sun (an area indicated by SA in FIGS.
  • the shadow area SA depends on the altitude of the sun, the dump truck 1 has a particularly large overall height Ha, and in some cases, it may exceed 10 m (meters) toward the outside of the dump truck 1.
  • a vehicle (service car) 300 such as a passenger car used for an operator of the dump truck 1 to get on and move to the dump truck 1 or a passenger car or a small truck traveling around the mine is used. Since the vehicle 300 is a passenger car or a small truck, the total length Lc is about 5 m (meters), the width Wc is about 2 m (meters), and the total height Hc is about 2 m (meters). Thus, the vehicle 300 is significantly smaller than the dump truck 1. As described above, since the shadow area SA has a size exceeding 10 m (meters) toward the outside of the dump truck 1, when the vehicle 300 enters the shadow area SA, the vehicle 300 is completely within the shadow area SA. May be hidden.
  • the shadow area SA of the dump truck 1 In general, even within the shadow area, there is usually a certain level of illuminance due to irregular reflection or the like, but since the shadow area SA of the dump truck 1 is very large, the light due to irregular reflection or the like becomes very small, resulting in a shadow area. The illuminance in SA becomes low. For this reason, the overhead image 200 obtained by imaging the vehicle 300 existing in the shadow area SA with the imaging devices 11 to 16 has a large contrast difference between light and dark (black and white) (for example, tens of thousands of lux). more than). As a result, the vehicle 300 in the shadow area SA may be buried in a dark (black) portion of the overhead view image 200 and may not be displayed on the overhead view image 200.
  • black and white for example, tens of thousands of lux
  • the operator of the dump truck 1 may not be able to recognize the vehicle 300 that is approaching the dump truck 1.
  • the vehicle 300 exists on the side opposite to the cab 3 on the upper deck 2 b with respect to the center axis in the width direction of the dump truck 1 or behind the dump truck 1.
  • the vehicle 300 exists in the blind spot of the operator who performs the operation. Therefore, it is necessary to ensure that the vehicle 300 existing in the blind spot of the operator can be visually recognized by the overhead image 200.
  • the difference in brightness between the sun and the shade is very large in a place where the sunlight is very strong, such as immediately below the equator or in the vicinity of the equator. Therefore, the contrast difference between light and dark (black and white) of the overhead image 200 is more prominent in such a place. Appearing, the vehicle 300 in the shadow area SA becomes more difficult to see. Since there are a relatively large number of mines directly under or near the equator, the vehicle 300 existing around the dump truck 1 can be visually recognized by the overhead image 200 in the periphery monitoring system 10 used for the dump truck 1 used in the mine. There is a great demand to do so.
  • a wide dynamic range (WDR) camera is used for the imaging devices 11 to 16 in this embodiment.
  • the wide dynamic range camera is a camera having a function that can be adjusted so that a dark part can be brightly corrected and the whole part can be visually recognized while keeping a bright part at a level where the bright part can be visually recognized.
  • the first imaging device 11 shown in FIG. 2 is a camera that can image the front of the vehicle body 2 and corresponds to a front wide dynamic range camera.
  • the second imaging device 12 is a camera that can image the side (right side) and obliquely forward of the vehicle body unit 2 and corresponds to a first side wide dynamic range camera (first right side wide dynamic range camera).
  • the second imaging device 12 is a camera that can image the side (left side) and obliquely forward of the vehicle body portion 2 and corresponds to a first side wide dynamic range camera (first left side wide dynamic range camera).
  • the fourth imaging device 14 is a camera that can image the side (right side) and obliquely rearward of the vehicle body unit 2, and corresponds to a second side wide dynamic range camera (second right side wide dynamic range camera).
  • the fifth imaging device 15 is a camera that can image the side (left side) and obliquely rearward of the vehicle body portion 2, and corresponds to a second side wide dynamic range camera (second left side wide dynamic range camera).
  • the sixth imaging device 16 is a camera that can image the publicity of the vehicle body unit 2 and corresponds to a rear wide dynamic range camera.
  • FIG. 10 is a diagram illustrating an example of an imaging apparatus to which a wide dynamic range camera is applied.
  • the imaging devices 11 to 16 include an imaging device 60 such as a CCD, a DSP (Digital Signal Processor) 61, a decoder (video decoder) 62, a luminance dynamic range correction unit 63, and an encoder (video encoder) 64.
  • the luminance dynamic range correction unit 63 and the encoder 64 are realized by, for example, an image processing IC (Integrated Circuit) 64.
  • the DSP 61 processes the input digital signal of the image information and then outputs it to the decoder 62.
  • the decoder 62 decodes the processed signal input from the DSP 61 and outputs the decoded signal to the luminance dynamic range correction unit 63.
  • the luminance dynamic range correction unit 63 performs luminance correction, more specifically, high dynamic range synthesis processing, on the input image signal.
  • the high dynamic range composition process is a process of converting an original image with a very large contrast, that is, an actual image captured by the image sensor 60 into an image with reduced contrast so that the contrast is about 1000: 1. .
  • the luminance dynamic range correction unit 63 outputs an image signal subjected to high dynamic range synthesis processing to the encoder 64.
  • the encoder 64 encodes the input signal and outputs it to the controller 100. Signals output from the imaging devices 11 to 16, that is, signals output from the encoder 64 are first image information to sixth image information.
  • the imaging devices 11 to 16 can brightly correct a dark portion such as a shadowed portion of the dump truck 1 while keeping the bright portion visible. . For this reason, the images captured by the image capturing devices 11 to 16 are less likely to be crushed and blown out, and as a whole are more easily understood. Therefore, the periphery monitoring system 10 including the imaging devices 11 to 16 can display the bird's-eye view image 200 on which an object such as the vehicle 300 existing in the shadow area SA of the dump truck 1 can be easily seen on the monitor 50.
  • the periphery monitoring system 10 monitors the periphery of the dump truck 1 using the images captured by the imaging devices 11 to 16, objects in the vicinity of the dump truck 1 are obtained even in an environment where the contrast difference between light and dark is large. Can be displayed on an image (in this example, a bird's-eye view image 200). As a result, the operator of the dump truck 1 can surely visually recognize an object such as the vehicle 300 existing around the dump truck 1, particularly in the shadow area SA, regardless of the environment.
  • the periphery monitoring system 10 can generate the bird's-eye view image 200 that reliably displays the objects around the dump truck 1 even in an environment where the contrast difference between light and dark is large, and therefore exists in the blind spot of the operator.
  • the vehicle 300 can be surely visually recognized by the bird's-eye view image 200. Therefore, the periphery monitoring system 10 is very effective in monitoring the periphery of the very large dump truck 1 used in the mine as described above. That is, the periphery monitoring system 10 may form a very large shadow area SA, and moves while making the shadow area SA, and the shadow area SA changes greatly by raising and lowering the vessel 4, and the blind spot is also displayed.
  • a bird's-eye view image 200 that reliably displays objects around the dump truck 1 can be generated, and accurate information around the dump truck 1 can be provided to the operator of the dump truck 1.
  • the periphery monitoring system 10 provides an operator of the dump truck 1 around the dump truck 1 with respect to the dump truck 1 operating in a place where the illuminance difference between the sun and the shade is very large, such as immediately below the equator. Provide accurate information.
  • the sixth imaging device 16 is disposed below the vessel 4 and above the axle housing connecting the two rear wheels 6 and 6. As described above, the sixth imaging device 16 is disposed on the inner side of the vehicle body portion 2 of the dump truck 1. Further, since the vessel 4 protrudes toward the rear of the dump truck 1, it is easy to make a shadow below the vessel 4. That is, the sixth imaging device 16 is disposed at a position where the shadow area SA is likely to occur. For this reason, the sixth imaging device 16 has many opportunities to image the shadow area SA. Therefore, it is preferable that the dump truck 1 includes at least the sixth imaging device 16 and uses a wide dynamic range camera for this.
  • the dump truck 1 has a first imaging device 11, a second imaging device 12, a third imaging device 13, a fourth imaging device 14, and a fifth imaging device 15 arranged on the upper deck 2b
  • the imaging device 16 is disposed at the rear end of the frame 2 f and below the vessel 4.
  • the second image pickup device 12 and the third image pickup device 13 cover the region from the left and right diagonally forward to the left and right sides of the vehicle body 2 of the dump truck 1 as a region that can be imaged.
  • the fourth imaging device 14 and the fifth imaging device 15 cover as a region capable of imaging from the left and right sides of the vehicle body portion 2 of the dump truck 1 to the obliquely rearward left and right.
  • the controller 100 covers the entire periphery of the dump truck 1 together with the first image information and the sixth image information acquired by the first imaging device 11 and the sixth imaging device 16. It is possible to generate the overhead view image 200 and monitor the periphery of the dump truck 1.
  • the first area 11C to the sixth area 16C which are areas that can be imaged by the respective imaging devices 11 to 16, overlap each other in adjacent portions. Adjacent imaging devices 11 to 16 are arranged.
  • the controller 100 provides a connection line in the overlapping portion of the first area 11C to the sixth area 16C that can be imaged by the respective imaging devices 11 to 16, thereby monitoring the entire circumference of 360 degrees on the plane of the dump truck 1. It becomes possible.
  • the connection line connecting the first region 11C to the sixth region 16C adjacent to each other can be set at an arbitrary position within the overlapping range of the first region 11C to the sixth region 16C.
  • FIG. 11 to 13 are diagrams for explaining the imaging range in the height direction of the imaging apparatus included in the periphery monitoring system according to the present embodiment.
  • 14 to 16 are diagrams showing a case where the vehicle moves around the dump truck.
  • FIG. 13 shows a three-dimensional imaging range by the imaging devices 11 to 16 on the entire circumference of the dump truck 1. In this example, an imaging range in the height direction of each of the imaging devices 11 to 16 within a predetermined distance range around the dump truck 1 is shown.
  • the imaging device 11 is arranged so that a part of the vehicle 300 is included in the imaging range 320 of the imaging device 11. The same applies to the other imaging devices 12 to 16.
  • the roof 301 of the vehicle 300 is separated from the imaging range 320 of the first imaging device 11 in the state shown in FIG. 11. It has come off.
  • the first imaging device 11 displays the overhead image 200 created based on the captured image information below the window 302 of the vehicle 300.
  • the operator of the dump truck 1 who sees such a bird's-eye view image 200 may not recognize the vehicle 300 because only a part of the vehicle 300 in the height direction is displayed.
  • the dump truck 1 has a height (for example, the height of the upper deck 2b in the height direction so that the entire object (for example, the vehicle 300) existing around the dump truck 1 can be displayed in the overhead view image 200.
  • the respective imaging devices 11 to 16 are arranged so that an imaging range of more than half (for example, 1.5 m (meter) or more) of 3 m (meter)) can be secured. That is, in the case of an ultra-large vehicle such as the dump truck 1 used in a mine, an object such as the vehicle 300 existing below the upper deck 2b on which the cab 3 is installed as viewed from the operator in the cab 3 is visually recognized. Is difficult.
  • the object existing at a position lower than the upper deck 2 b from the ground is surely disposed around the entire dump truck 1. Need to be able to recognize.
  • the adjacent imaging apparatuses In the entire imaging range in each horizontal direction, the height Hs of at least one imaging range is arranged to be equal to or larger than the size including the entire object (for example, the vehicle 300).
  • at least one of the two adjacent imaging devices is arranged such that the imaging range in the height direction is at least half the height of the upper deck 2b.
  • the periphery monitoring system 10 can display the entire vehicle 300 on the overhead image 200.
  • the overhead image 200 is generated by combining the first image information to the sixth image information acquired by the imaging devices 11 to 16, the boundary between the images corresponding to the first image information to the sixth image information.
  • the periphery monitoring system 10 generates the overhead image 200 based on the image information captured and acquired by the imaging devices 11 to 16, but the periphery monitoring system 10 is not limited to such a form.
  • the dump truck 1 has the poorest visibility at the rear, and the range of the shadow area SA greatly changes as the vessel 4 moves up and down.
  • the periphery monitoring system 10 uses, for example, only the sixth imaging device 16 disposed below the vessel 4 of the dump truck 1 and uses a high dynamic range camera for the sixth imaging device 16, and only behind the dump truck 1. May be monitored. That is, the sixth imaging device 16 of the high dynamic range camera may be used as the back monitor of the dump truck 1. In this way, even in an environment where the contrast difference between light and dark is large, the surroundings monitoring system 10 generates an image displaying the vehicle and other objects existing behind the dump truck 1 and displays the image on the monitor 50. be able to.
  • the dump truck according to the present embodiment and its modification may be any one that has a large contrast difference between the shaded portion and the sunlit portion due to the shadow created by itself. For this reason, in the above-described embodiment and its modification, the dump truck used in the mine has been described as an example. However, the dump truck is not limited to the one used in the mine, for example, one used at a construction site such as a dam. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

　ダンプトラック１は、キャブ３が配置されるアッパデッキ２ｂ及び前後方向に沿って配置されたフレーム２ｆを含む車体部２と、フレーム２ｆの上方に配置されたベッセル４と、フレーム２ｆの後端かつベッセル４の下方に配置されて、車体部２の後方を撮像可能な第６撮像装置１６とを含む。第６撮像装置１６は、明るい部分を視認できるレベルに保ちながら、暗い部分を明るく補正し、全体をくまなく視認できるように調整可能な機能を有したワイドダイナミックレンジカメラである。

Description

ダンプトラック
　本発明は、周辺を監視する周辺監視システムを備え、かつ鉱山で用いられるダンプトラックに関する。
　作業現場又は鉱山の採石現場では、ダンプトラック、油圧ショベル等、様々な鉱山機械が稼働する。鉱山で用いられるダンプトラックは、一般的な車両と比較して著しく車幅及び前後長さが大きいため、サイドミラー等によってダンプトラックの周辺の状況をオペレータが確認し、把握することが困難である。このため、車両周辺の状況を運転者又はオペレータに簡易に把握させ、運転支援をする技術として、車両の周辺を監視する装置が提案されている。このような周辺を監視する装置は、例えば、車両に取り付けられたカメラ等によって車両の周辺を撮像し、得られた画像を合成することによって車両の周辺を示す画像を作成するものがある（例えば、特許文献１）。
特開平０３－０９９９５２号公報
　鉱山で用いられるダンプトラックは、自身によって影を作る。鉱山で用いられるダンプトラックは、非常に大型であるため、太陽光が照射される明部（日向）と自身によって作られた影（日陰）との明暗のコントラスト差が大きくなる。このような場合、ダンプトラックによって作られた影に車両等の対象物が存在すると、撮像装置によって撮像された画像は暗部（黒い部分）がつぶれてしまい、影の部分の車両等が認識できない可能性がある。特許文献１には、このような点について考慮されておらず、改善の余地がある。
　本発明は、撮像装置が撮像した画像を用いてダンプトラックの周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラックの周囲に存在する車両その他の対象物を画像に表示することを目的とする。
　本発明は、運転室が配置されるアッパデッキ及び前後方向に沿って配置されたフレームを含む車体部と、前記フレームの上方に配置されたベッセルと、前記フレームの後端かつ前記ベッセルの下方に配置されて、前記車体部の後方を撮像可能な後方ワイドダイナミックレンジカメラと、を含むことを特徴とするダンプトラックである。
　本発明において、前記アッパデッキの前方に配置されて前記車体部の前方を撮像可能な前方ワイドダイナミックレンジカメラと、前記アッパデッキの左右の側方にそれぞれ配置されて、前記車体部の斜め前方から後方までを撮像可能な側方ワイドダイナミックレンジカメラと、前記後方ワイドダイナミックレンジカメラ、前記前方ワイドダイナミックレンジカメラ及びそれぞれの前記側方ワイドダイナミックレンジカメラによって得られる画像を組み合わせた俯瞰画像を用いて前記車体部の周辺を監視する監視制御装置と、を含むことが好ましい。
　本発明において、前記側方ワイドダイナミックレンジカメラは、前記車体部の斜め前方を撮像可能な第１側方ワイドダイナミックレンジカメラと、前記車体部の斜め後方を撮像可能な第２側方ワイドダイナミックレンジカメラと、を備えることが好ましい。
　本発明において、前記車体部に設けられており、前記車体部の全周範囲に存在する物体を検出可能な複数のレーダ装置を備えることが好ましい。
　本発明は、運転席が配置されるアッパデッキ及び前後方向に沿って配置されたフレームを含む車体部と、前記フレームの上方に配置されたベッセルと、前記フレームの後端かつ前記ベッセルの下方に配置されて、前記車体部の後方を撮像可能な後方ワイドダイナミックレンジカメラと、前記アッパデッキの前方に配置されて前記車体部の前方を撮像可能な前方ワイドダイナミックレンジカメラと、前記アッパデッキの左右の側方にそれぞれ配置されて、前記車体部の斜め前方から後方までを撮像可能な側方ワイドダイナミックレンジカメラと、前記後方ワイドダイナミックレンジカメラ、前記前方ワイドダイナミックレンジカメラ及びそれぞれの前記側方ワイドダイナミックレンジカメラによって得られる画像を組み合わせた俯瞰画像を用いて前記車体部の周辺を監視する監視制御装置と、前記運転室に配置されて前記俯瞰画像を表示するモニタと、を含むことを特徴とするダンプトラックである。
　本発明は、撮像装置が撮像した画像を用いてダンプトラックの周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラックの周囲に存在する車両その他の対象物を画像に表示することができる。
図１は、本実施形態に係るダンプトラックを示す斜視図である。 図２は、本実施形態に係るダンプトラックが有するキャブの構造を示す図である。 図３は、本実施形態に係る周辺監視システムを示す図である。 図４は、本実施形態に係る周辺監視システムが有する撮像装置を搭載したダンプトラックの斜視図である。 図５は、複数の撮像装置によって撮像される領域及び複数の撮像装置によって撮像された画像の情報に基づいて生成された俯瞰画像を示す模式図である。 図６は、レーダ装置の配置を示す斜視図である。 図７は、仮想投影面を用いた画像変換の手法を示す図である。 図８は、ダンプトラックとその周囲に存在する車両との関係を示す平面図である。 図９は、ダンプトラックとその周囲に存在する車両との関係を示す正面図である。 図１０は、ワイドダイナミックレンジカメラを適用した撮像装置の一例を示す図である。 図１１は、本実施形態に係る周辺監視システムが有する撮像装置の高さ方向における撮像範囲を説明するための図である。 図１２は、本実施形態に係る周辺監視システムが有する撮像装置の高さ方向における撮像範囲を説明するための図である。 図１３は、本実施形態に係る周辺監視システムが有する撮像装置の高さ方向における撮像範囲を説明するための図である。 図１４は、ダンプトラックの周囲を車両が移動した場合を示す図である。 図１５は、ダンプトラックの周囲を車両が移動した場合を示す図である。 図１６は、ダンプトラックの周囲を車両が移動した場合を示す図である。
　本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。以下の説明において、前、後、左及び右は、運転席に着座したオペレータを基準とする用語である。車幅方向は、左右方向と同義である。
＜ダンプトラック＞
　図１は、本実施形態に係るダンプトラックを示す斜視図である。図２は、本実施形態に係るダンプトラックが有するキャブの構造を示す図である。本実施形態において、ダンプトラック（オフハイウェイトラックともいう）１は、鉱山での作業等に用いられる自走式の超大型の車両である。ダンプトラック１は、車体部２と、キャブ３と、ベッセル４と、前輪５と、後輪６とを含む。車体部２は、アッパデッキ２ｂ及び前後方向に沿って配置されたフレーム２ｆを含む。また、ダンプトラック１は、自身の周囲を監視して、その結果を表示する周辺監視システムを有する。周辺監視システムの詳細は後述する。
　本実施形態において、ダンプトラック１は、ディーゼルエンジン等の内燃機関が発電機を駆動することによって発生した電力で電動機を駆動し、後輪６を駆動する。このように、ダンプトラック１は、いわゆる電気駆動方式であるが、ダンプトラック１の駆動方式はこれに限定されるものではない。例えば、ダンプトラック１は、内燃機関の動力を、トランスミッションを介して後輪６へ伝達し、これを駆動するものであってもよいし、架線からトロリーを介して供給された電力で電動機を駆動し、この電動機によって後輪６を駆動するものであってもよい。
　フレーム２ｆは、内燃機関及び発電機等の動力発生機構とその補機類とを支持している。フレーム２ｆの前部には、左右の前輪５（図１では右前輪のみを示している）が支持されている。フレーム２ｆの後部には、左右の後輪６（図１では右後輪のみを示している）が支持されている。前輪５及び後輪６は、直径が２ｍ（メートル）～４ｍ（メートル）程度である。フレーム２ｆは、ロアデッキ２ａと、アッパデッキ２ｂとを有する。このように、鉱山で用いられるダンプトラック１は、ロアデッキ２ａとアッパデッキ２ｂとを有する二重デッキ構造となっている。
　ロアデッキ２ａは、フレーム２ｆの前面の下部に取り付けられる。アッパデッキ２ｂは、ロアデッキ２ａの上方に配置されている。ロアデッキ２ａの下方には、例えば、キャブ３への乗降用に用いられる可動式のラダー２ｃが配置されている。ロアデッキ２ａとアッパデッキ２ｂとの間には、両者の間を行き来するための斜めラダー２ｄが配置されている。また、ロアデッキ２ａとアッパデッキ２ｂとの間には、ラジエーターが配置されている。アッパデッキ２ｂの上には、柵状の手すり２ｅが配置されている。本実施形態において、ラダー２ｃ及び斜めラダー２ｄは、アッパデッキ２ｂ及びロアデッキ２ａの一部であるものとする。
　図１に示すように、キャブ（運転室）３は、アッパデッキ２ｂ上に配置されている。キャブ３は、アッパデッキ２ｂ上において、車幅方向の中央よりも車幅方向における一方側にずらされて配置されている。具体的には、キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも左側に配置されている。図２に示すように、キャブ３は、複数本（本実施形態では４本）の支柱３ａ、３ｂ、３ｃ、３ｄを含むＲＯＰＳ（Roll-Over　Protection　System：転倒時保護構造）を備えている。ＲＯＰＳは、万一ダンプトラック１が転倒した場合、キャブ３内のオペレータを保護する。ダンプトラック１の運転者は、車体部２の左側の路肩を容易に確認できる状態で走行するが、車体部２の周囲を確認するためには、頭を大きく動かす必要がある。また、アッパデッキ２ｂには、ダンプトラック１の周囲を確認するために、図示しないサイドミラーが複数設けられている。これらのサイドミラーは、キャブ３から離れた位置に配置されているので、運転者は、サイドミラーを用いて車体部２の周辺を確認する場合にも、頭を大きく動かす必要がある。
　図２に示すように、キャブ３内には、運転席３１、ハンドル３２、ダッシュカバー３３、無線装置３４、ラジオ受信機３５、リターダ３６、シフトレバー３７、トレーナー席３８、図２には示していない監視制御装置としてのコントローラ（図詳細は後述する）、モニタ５０、アクセルペダル及びブレーキペダル等が設けられている。なお、図２には示していないコントローラとモニタ５０とは、後述する周辺監視システム１０の一部である。
　図１に示すベッセル４は、砕石等の積荷を積載するための容器である。ベッセル４の底面の後部は、回転ピンを介してフレーム２ｆの後部に回動可能に連結されている。ベッセル４は、油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取ることができる。積載姿勢は、図１に示すように、ベッセル４の前部がキャブ３の上部に位置する姿勢である。起立姿勢は、積荷を排出する姿勢であり、ベッセル４が後方かつ下方へ向かって傾斜した状態となる姿勢である。ベッセル４の前部が上方に回動することによってベッセル４は積載姿勢から起立姿勢に変化する。ベッセル４は、前方に鍔部４Ｆを有している。鍔部４Ｆは、キャブ３の上方まで延出してキャブ３を覆っている。キャブ３の上方に延出した鍔部４Ｆは、砕石等の衝突からキャブ３を保護する。
＜周辺監視システム＞
　図３は、本実施形態に係る周辺監視システムを示す図である。図４は、本実施形態に係る周辺監視システムが有する撮像装置を搭載したダンプトラックの斜視図である。図５は、複数の撮像装置によって撮像される領域及び複数の撮像装置によって撮像された画像の情報に基づいて生成された俯瞰画像を示す模式図である。図５に示す、複数の撮像装置によって撮像される領域は、地面を基準とした領域である。周辺監視システム１０は、複数（本実施形態では６台）の撮像装置１１、１２、１３、１４、１５、１６と、複数（本実施形態では８台）のレーダ装置２１、２２、２３、２４、２５、２６、２７、２８と、モニタ５０と、監視制御装置としてのコントローラ１００とを有している。なお、本実施形態において、周辺監視システム１０には、レーダ装置２１、２２、２３、２４、２５、２６、２７、２８は必ずしも必要ではない。
＜撮像装置＞
　撮像装置１１、１２、１３、１４、１５、１６は、ダンプトラック１に取り付けられる。撮像装置１１、１２、１３、１４、１５、１６は、例えば、ＣＣＤ（Charge　Coupled　Device）を用いたカメラである。撮像装置１１、１２、１３、１４、１５、１６は、ダンプトラック１の周囲を撮像し、画像情報として出力する。以下において、適宜、撮像装置１１を第１撮像装置１１、撮像装置１２を第２撮像装置１２、撮像装置１３を第３撮像装置１３、撮像装置１４を第４撮像装置１４、撮像装置１５を第５撮像装置１５、撮像装置１６を第６撮像装置１６という。また、これらを区別する必要がない場合、適宜、撮像装置１１～１６という。
　図４に示すように、６台の撮像装置１１～１６は、ダンプトラック１の周囲３６０度の範囲における画像を撮像するために、ダンプトラック１の外周部分にそれぞれ取り付けられている。本実施形態において、それぞれの撮像装置１１～１６は、左右方向において１２０度（左右６０度ずつ）、高さ方向において９６度の視野範囲を有しているが、このような視野範囲に限定されるものではない。
　図４に示すように、第１撮像装置１１は、ダンプトラック１の前面に取り付けられる。具体的には、第１撮像装置１１は、斜めラダー２ｄの上端部、より具体的には、最上段の踊り場部分の下部に配置される。第１撮像装置１１は、アッパデッキ２ｂに取り付けられたブラケットを介して、ダンプトラック１の前方に向かって固定されている。図５に示すように、第１撮像装置１１は、ダンプトラック１の周囲に存在する領域のうち第１領域１１Ｃを撮像して画像情報としての第１画像情報を出力する。第１領域１１Ｃは、ダンプトラック１の車体部２の前方に広がる領域である。
　図４に示すように、第２撮像装置１２は、ダンプトラック１の前面における一方の側部に取り付けられる。具体的には、第２撮像装置１２は、アッパデッキ２ｂの前面の右側部に配置される。第２撮像装置１２は、アッパデッキ２ｂに取り付けられたブラケットを介して、ダンプトラック１の右斜め前方に向かって固定されている。図５に示すように、第２撮像装置１２は、ダンプトラック１の周囲に存在する領域のうち第２領域１２Ｃを撮像して画像情報としての第２画像情報を出力する。第２領域１２Ｃは、ダンプトラック１の車体部２の右斜め前方に広がる領域である。
　図４に示すように、第３撮像装置１３は、ダンプトラック１の前面における他方の側部に取り付けられる。具体的には、第３撮像装置１３は、アッパデッキ２ｂの前面の左側部に配置される。そして、第３撮像装置１３は、ダンプトラック１の幅方向中央を通る軸に対して第２撮像装置１２と左右対称となるように配置される。第３撮像装置１３は、アッパデッキ２ｂに取り付けられたブラケットを介して、ダンプトラック１の左斜め前方に向かって固定されている。図５に示すように、第３撮像装置１３は、ダンプトラック１の周囲に存在する領域のうち第３領域１３Ｃを撮像して画像情報としての第３画像情報を出力する。第３領域１３Ｃは、ダンプトラック１の車体部２の左斜め前方に広がる領域である。
　図４に示すように、第４撮像装置１４は、ダンプトラック１の一方の側面に取り付けられる。具体的には、第４撮像装置１４は、アッパデッキ２ｂの右側面の前部に配置される。第４撮像装置１４は、アッパデッキ２ｂに取り付けられたブラケットを介して、ダンプトラック１の右斜め後方に向かって固定されている。図５に示すように、第４撮像装置１４は、ダンプトラック１の周囲に存在する領域のうち第４領域１４Ｃを撮像して画像情報としての第４画像情報を出力する。第４領域１４Ｃは、ダンプトラック１の車体部２の右斜め後方に広がる領域である。
　図４に示すように、第５撮像装置１５は、ダンプトラック１の他方の側面に取り付けられる。具体的には、第５撮像装置１５は、アッパデッキ２ｂの左側面の前部に配置される。そして、第５撮像装置１５は、ダンプトラック１の幅方向中央を通る軸に対して第４撮像装置１４と左右対称となるように配置される。図５に示すように、第５撮像装置１５は、ダンプトラック１の周囲に存在する領域のうち第５領域１５Ｃを撮像して画像情報としての第５画像情報を出力する。第５領域１５Ｃは、ダンプトラック１の車体部２の左斜め後方に広がる領域である。
　図４に示すように、第６撮像装置１６は、ダンプトラック１の後部に取り付けられる。具体的には、第６撮像装置１６は、フレーム２ｆの後端であって、２個の後輪６、６を連結するアクスルハウジングの上方、かつベッセル４の回動軸付近に配置される。第６撮像装置１６は、左右のフレーム２ｆを連結するクロスバーに取り付けられたブラケットを介して、ダンプトラック１の後方に向かって固定されている。図５に示すように、第６撮像装置１６は、ダンプトラック１の周囲に存在する領域のうち第６領域１６Ｃを撮像して画像情報としての第６画像情報を出力する。第６領域１６Ｃは、ダンプトラック１の車体部２の後方に広がる領域である。
　上述した６台の撮像装置１１～１６を用いることにより、本実施形態に係る周辺監視システム１０は、図５の中央に示すように、ダンプトラック１の全周３６０度の画像を撮像し、その画像情報を取得することができる。６台の撮像装置１１～１６は、それぞれが撮像した画像情報としての第１画像情報～第６画像情報を、図３に示すコントローラ１００に送信する。
　第１撮像装置１１、第２撮像装置１２、第３撮像装置１３、第４撮像装置１４及び第５撮像装置１５は、比較的高い位置にあるアッパデッキ２ｂに設けられている。このため、コントローラ１００は、第１撮像装置１１～第５撮像装置１５によって上方から地面を見下ろすような画像を得ることができ、また、地面に存在する車両等の対象物を広範囲に撮像することができる。また、コントローラ１００は、第１撮像装置１１～第６撮像装置１６が取得した第１画像情報～第６画像情報から俯瞰画像２００を生成する際に視点変換を実行した場合であっても、これらのうち第１画像情報～第５画像情報は上方から撮像されて得られた情報なので、立体物の変形の程度を抑制することができる。
＜レーダ装置＞
　図６は、レーダ装置の配置を示す斜視図である。本実施形態において、レーダ装置２１、２２、２３、２４、２５、２６、２７、２８（以下、適宜レーダ装置２１～２８という）は、方位±８０度（左右４０度）、検出距離が最大１５ｍ以上のＵＷＢ（Ultra　Wide　Band）レーダ（超広域帯レーダ）である。レーダ装置２１～２８は、ダンプトラック１の周囲に存在する対象物とダンプトラック１との相対的な位置（相対位置）を検出する。それぞれのレーダ装置２１～２８は、撮像装置１１～１６と同様に、ダンプトラック１の外周部分に取り付けられる。
　レーダ装置２１（適宜第１レーダ装置２１という）は、図６に示すように、地上から１ｍ程度の高さに配置されているロアデッキ２ａにおける車体部２の正面、かつ車体部２の幅方向中心よりもやや右側に配置されている。第１レーダ装置２１の検出範囲は、ダンプトラック１の車体部２の前方から左斜め前方に広がる範囲となる。
　レーダ装置２２（適宜第２レーダ装置２２という）は、図６に示すように、ロアデッキ２ａにおける車体部２の正面、かつ車体部２の幅方向中心よりもやや左側に配置されている。すなわち、第２レーダ装置２２は、第１レーダ装置２１の左側に、第１レーダ装置２１と隣接して配置されている。第１レーダ装置２１の検出範囲は、ダンプトラック１の車体部２の前方から右斜め前方に広がる範囲となる。
　レーダ装置２３（適宜第３レーダ装置２３という）は、図６に示すように、ロアデッキ２ａの右側面前端部付近に配置されている。第３レーダ装置２３の検出範囲は、ダンプトラック１の車体部２の右斜め前方から右方に広がる範囲となる。
　レーダ装置２４（適宜第４レーダ装置２４という）は、図６に示すように、車体部２の側部におけるロアデッキ２ａとアッパデッキ２ｂとの中間の高さ位置における右側端部近傍に配置されている。第４レーダ装置２４の検出範囲は、ダンプトラック１の車体部２の右方から後方に広がる範囲となる。
　レーダ装置２５（適宜第５レーダ装置２５という）は、図６に示すように、ベッセル４の下方であって、ダンプトラック１の左右の後輪６に駆動力を伝達するアクスルの上方に配置されている。第５レーダ装置２５の検出範囲は、ダンプトラック１の車体部２の右斜め後方から後方に向かって広がる範囲となる。
　レーダ装置２６（適宜第６レーダ装置２６という）は、図６に示すように、第５レーダ装置２５と同様に、アクスルの上方であって、第５レーダ装置２５の右側に隣接して配置されている。第６レーダ装置２６の検出範囲は、第５レーダ装置２５の検知範囲と交差するように、ダンプトラック１の車体部２の左斜め後方から後方に向かって広がる範囲となる。
　レーダ装置２７（適宜第７レーダ装置２７という）は、図６に示すように、車体部２の側面におけるロアデッキ２ａとアッパデッキ２ｂとの中間の高さ位置における左側端部近傍、すなわち、車体部２の幅方向中心軸に対して第４レーダ装置２４と左右対称の位置に配置されている。第７レーダ装置２７の検出範囲は、ダンプトラック１の車体部２の左方から後方に広がる範囲となる。
　レーダ装置２８（適宜第１レーダ装置２８という）は、図６に示すように、ロアデッキ２ａの左側面における前端部近傍、すなわち、車体部２の幅方向中心軸に対して第３レーダ装置２３と左右対称の位置に配置されている。第８レーダ装置２８の検出範囲は、ダンプトラック１の車体部２の左斜め前方から左方に広がる範囲となる。
　８台のレーダ装置２１～２８は、ダンプトラック１の周囲３６０度全周を検出範囲として、対象物とダンプトラック１との相対位置を検出することができる。８台のレーダ装置２１～２８は、それぞれ検出した対象物とダンプトラック１との相対位置を示す相対位置情報をコントローラ１００に送信する。このように、複数（８台）のレーダ装置２１～２８は、車体部２に設けられて、車体部２の全周範囲に存在する物体を検出可能である。
＜コントローラ＞
　コントローラ１００は、撮像装置１１～１６及びレーダ装置２１～２８を用いて、ダンプトラック１の周囲における対象物の有無を俯瞰画像２００上に表示し、必要に応じて対象物の存在をオペレータに報知する。コントローラ１００は、図３に示すように、俯瞰画像合成部１１０、カメラ画像切替・視点変換部１２０、表示制御部１３０、モニタ画像生成部１４０、対象物情報収集部２１０及び対象物処理部２２０を有している。
　俯瞰画像合成部１１０は、図３に示すように、撮像装置１１～１６に接続されている。俯瞰画像合成部１１０は、それぞれの撮像装置１１～１６が撮像し、生成した複数の画像情報（第１画像情報～第５画像情報）を受信する。そして、俯瞰画像合成部１１０は、受信した複数の画像情報に対応した画像を合成して、ダンプトラック１の全周囲を含む俯瞰画像２００を生成する。具体的には、俯瞰画像合成部１１０は、複数の画像情報をそれぞれ座標変換することによって、複数の画像を所定の投影面上に投影させた俯瞰画像２００を示す俯瞰画像情報を生成する。
　カメラ画像切替・視点変換部１２０は、図３に示すように、撮像装置１１～１６に接続されており、レーダ装置２１～２８による障害物検出の結果等に応じて、俯瞰画像２００とともにモニタ５０の画面に表示される各撮像装置１１～１６による撮像画像を切り替える。また、カメラ画像切替・視点変換部１２０は、各撮像装置１１～１６によって取得された画像情報を、上方無限遠からの視点からの画像情報に変換する。
　表示制御部１３０は、図３に示すように、カメラ画像切替・視点変換部１２０、モニタ画像生成部１４０及び対象物処理部２２０に接続されている。表示制御部１３０は、各撮像装置１１～１６によって取得された画像情報を合成して形成される俯瞰画像２００中にレーダ装置２１～２８によって取得された対象物の位置情報を合成して表示させるための対象物位置情報を、カメラ画像切替・視点変換部１２０及びモニタ画像生成部１４０に対して送信する。
　モニタ画像生成部１４０は、図３に示すように、俯瞰画像合成部１１０、カメラ画像切替・視点変換部１２０及び表示制御部１３０に接続されている。モニタ画像生成部１４０は、撮像装置１１～１６及びレーダ装置２１～２８によって取得されたダンプトラック１の全周囲における画像情報と対象物位置情報とに基づいて、俯瞰画像２００に対象物の位置を含む画像を生成する。この画像は、モニタ５０に表示される。
　対象物情報収集部２１０は、図３に示すように、レーダ装置２１～２８と対象物処理部２２０とに接続されている。対象物情報収集部２１０は、レーダ装置２１～２８からそれぞれの検出範囲における対象物検出結果を受信し、対象物処理部２２０へ送信する。
　対象物処理部２２０は、図３に示すように、対象物情報収集部２１０と表示制御部１３０とに接続されている。対象物処理部２２０は、対象物情報収集部２１０から受信した対象物の位置情報を、表示制御部１３０へ送信する。
　本実施形態において、図４に示すように、撮像装置１１～１６がアッパデッキ２ｂの正面及び側面並びにベッセル４の下方に配置されている。そして、コントローラ１００は、撮像装置１１～１６が撮像し、取得した第１画像情報～第６画像情報を合成して、図５に示すような俯瞰画像２００を生成して、キャブ３内における運転席３１の前方に配置されるモニタ５０に表示させる。このとき、モニタ５０は、コントローラ１００の制御に応じて、俯瞰画像２００等の画像を表示する。俯瞰画像２００は、撮像装置１１～１６が撮像した第１領域１１Ｃ～第６領域１６Ｃに対応する第１画像情報～第６画像情報をコントローラ１００が合成することによって得られる。周辺監視システム１０は、このような俯瞰画像２００をモニタ５０に表示する。このため、ダンプトラック１のオペレータは、モニタ５０に表示された俯瞰画像２００を視認するだけで、ダンプトラック１の周囲３６０度の全範囲を監視することができる。次に、俯瞰画像について説明する。
＜俯瞰画像＞
　図７は、仮想投影面ＶＰを用いた画像変換の手法を示す図である。コントローラ１００は、複数の第１画像情報～第６画像情報によって示される複数の画像に基づいて、ダンプトラック１の周囲の俯瞰画像２００を作成する。具体的には、コントローラ１００は、所定の変換情報を用いて第１画像情報～第６画像情報の座標変換を実行する。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。本実施形態において、入力画像は、撮像装置１１～１６によって撮像された画像であり、第１画像情報～第６画像情報に対応する画像である。出力画像は、モニタ５０に表示される俯瞰画像２００である。
　コントローラ１００は、変換情報を用いて、撮像装置１１～１６によって撮像された画像を、ダンプトラック１の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図７に示すように、撮像装置１１～１６によって撮像された画像は、所定の仮想投影面ＶＰに投影されることにより、ダンプトラック１の上方に位置する仮想視点ＶＩＰから見た画像に変換される。変換情報は、この仮想投影面ＶＰを表している。変換後の画像がモニタ５０に表示される俯瞰画像である。コントローラ１００は、複数の撮像装置１１～１６から取得した複数の第１画像情報～第６画像情報を所定の仮想投影面ＶＰに投影して合成することにより、ダンプトラック１の周囲の俯瞰画像２００を作成する。
　図５に示すように、それぞれの撮像装置１１～１６が撮像したダンプトラック１の周囲の領域は、第１重複領域ＯＡ１～第６重複領域ＯＡ６において重複している。コントローラ１００は、俯瞰画像２００において、それぞれの第１重複領域ＯＡ１～第６重複領域ＯＡ６において互いに隣接する２個の撮像装置１１～１６からの第１画像情報～第６画像情報に対応する画像を重ねて表示する。
　具体的には、コントローラ１００は、第１重複領域ＯＡ１では、第１撮像装置１１からの第１画像情報の画像と、第２撮像装置１２からの第２画像情報の画像とを重ねて表示する。また、コントローラ１００は、第２重複領域ＯＡ２では、第１撮像装置１１からの第１画像情報の画像と、第３撮像装置１３からの第３画像情報の画像とを重ねて表示する。また、コントローラ１００は、第３重複領域ＯＡ３では、第２撮像装置１２からの第２画像情報の画像と、第４撮像装置１４からの第４画像情報の画像とを重ねて表示する。また、コントローラ１００は、第４重複領域ＯＡ４では、第３撮像装置１３からの第３画像情報の画像と、第５撮像装置１５からの第５画像情報の画像とを重ねて表示する。また、コントローラ１００は、第５重複領域ＯＡ５では、第４撮像装置１４からの第４画像情報の画像と、第６撮像装置１６からの第６画像情報の画像とを重ねて表示する。また、コントローラ１００は、第６重複領域ＯＡ６では、第５撮像装置１５からの第５画像情報の画像と、第６撮像装置１６からの第６画像情報の画像とを重ねて表示する。
　このように、第１重複領域ＯＡ１～第６重複領域ＯＡ６において、２個の画像情報を重ねて合成する場合には、第１画像情報～第６画像情報の値に合成比率を乗じた値が加算される。合成比率は、第１画像情報～第６画像情報に対応した値であり、コントローラ１００が記憶している。例えば、第１画像情報の合成比率が０．５であり、第２画像情報の合成比率が０．５である等、第１画像情報～第６画像情報毎に合成比率が定められている。合成比率が用いられることにより、第１重複領域ＯＡ１～第６重複領域ＯＡ６において複数の画像情報が平均化されて表示される。その結果、色及びコントラストの急激な変化が抑えられ、コントローラ１００は、自然な俯瞰画像２００を作成することができる。コントローラ１００は、上述のように合成された俯瞰画像を示す合成画像情報を生成して、モニタ５０に出力する。
　図８は、ダンプトラックとその周囲に存在する車両との関係を示す平面図である。図９は、ダンプトラックとその周囲に存在する車両との関係を示す正面図である。鉱山で用いられるダンプトラック１は、積載量が８０ｔ（トン）～４００ｔ（トン）程度、全長Ｌが８ｍ（メートル）～１５ｍ（メートル）程度、幅Ｗが５ｍ（メートル）～１０ｍ（メートル）程度、全高Ｈａが５ｍ（メートル）～８ｍ（メートル）程度と非常に大きい車両である。このため、太陽の方向によって、ダンプトラック１の周囲には影ができる領域が発生する（図３、図４のＳＡで示す領域、以下において、適宜影領域ＳＡという）。影領域ＳＡは、太陽の高度にもよるが、ダンプトラック１は特に全高Ｈａが大きいため、場合によってはダンプトラック１の外側に向かって１０ｍ（メートル）を超える場合もある。
　鉱山では、例えば、ダンプトラック１のオペレータが乗車してダンプトラック１まで移動するために用いる乗用車又は鉱山を巡回する乗用車又は小型トラック等の車両（サービスカー）３００が用いられる。車両３００は、乗用車又は小型トラックであるため、全長Ｌｃは５ｍ（メートル）程度、幅Ｗｃは２ｍ（メートル）程度、全高Ｈｃは２ｍ（メートル）程度である。このように、車両３００は、ダンプトラック１と比較すると大幅に小さい。上述したように、影領域ＳＡは、ダンプトラック１の外側に向かって１０ｍ（メートル）を超える程度の大きさなので、影領域ＳＡに車両３００が進入すると、影領域ＳＡ内に車両３００が完全に隠れてしまうことがある。
　一般に、影の領域内といっても、通常は乱反射等である程度の照度はあるが、ダンプトラック１の影領域ＳＡは非常に大きいため、乱反射等による光が非常に少なくなり、結果として影領域ＳＡ内の照度が低くなる。これは、このため、影領域ＳＡ内に存在する車両３００を撮像装置１１～１６で撮像することによって得られた俯瞰画像２００は、明暗（白黒）のコントラスト差が大きくなる（例えば、数万ルクス以上）。その結果、影領域ＳＡ内の車両３００は、俯瞰画像２００の暗い（黒い）部分に埋もれてしまって俯瞰画像２００に表示されなくなる可能性がある。その結果、ダンプトラック１のオペレータは、ダンプトラック１に接近している車両３００を認識できない可能性がある。特に、図３に示すように、ダンプトラック１の幅方向中心軸に対してアッパデッキ２ｂ上のキャブ３とは反対側又はダンプトラック１の後方に車両３００が存在するような場合、キャブ３に搭乗するオペレータの死角に車両３００が存在することになる。したがって、オペレータの死角に存在する車両３００を俯瞰画像２００によって確実に視認できるようにする必要がある。
　鉱山においては、ダンプトラック１が存在する場所には車両３００も存在する可能性が高い。また、ダンプトラック１は、自身が影領域ＳＡを作りながら鉱山内を移動するので、影領域ＳＡの場所も時々刻々として変化する。さらに、ダンプトラック１は、ベッセル４を昇降させることにより全高が変化するため、影領域ＳＡの範囲も大きく変化する。このため、鉱山で用いられるダンプトラック１においては、俯瞰画像２００によってダンプトラック１の周囲の状況を、明暗のコントラスト差が大きい環境においても確実に把握できるようにする必要がある。
　また、赤道直下又は赤道近傍のような日差しが非常に強い場所では日向と日陰との照度差が非常に大きいため、俯瞰画像２００の明暗（白黒）のコントラスト差は、このような場所でより顕著に表れて、影領域ＳＡ内の車両３００はより見えにくくなる。鉱山は、赤道直下又は赤道近傍に比較的多く存在するため、鉱山で使用されるダンプトラック１に用いられる周辺監視システム１０において、ダンプトラック１の周囲に存在する車両３００を俯瞰画像２００によって視認できるようにする要請は大きい。
　ダンプトラック１の周囲に存在する車両３００を俯瞰画像２００によって視認できるようにするため、本実施形態において、撮像装置１１～１６にはワイドダイナミックレンジ（ＷＤＲ：Wide　Dynamic　Range）カメラを用いる。ワイドダイナミックレンジカメラは、明るい部分を視認できるレベルに保ちながら、暗い部分を明るく補正し、全体をくまなく視認できるように調整可能な機能を有したカメラである。
　図２に示す第１撮像装置１１は、車体部２の前方を撮像可能なカメラであり前方ワイドダイナミックレンジカメラに相当する。第２撮像装置１２は、車体部２の側方（右側方）かつ斜め前方を撮像可能なカメラであり、第１側方ワイドダイナミックレンジカメラ（第１右側方ワイドダイナミックレンジカメラ）に相当する。第２撮像装置１２は、車体部２の側方（左側方）かつ斜め前方を撮像可能なカメラであり、第１側方ワイドダイナミックレンジカメラ（第１左側方ワイドダイナミックレンジカメラ）に相当する。第４撮像装置１４は、車体部２の側方（右側方）かつ斜め後方を撮像可能なカメラであり、第２側方ワイドダイナミックレンジカメラ（第２右側方ワイドダイナミックレンジカメラ）に相当する。第５撮像装置１５は、車体部２の側方（左側方）かつ斜め後方を撮像可能なカメラであり、第２側方ワイドダイナミックレンジカメラ（第２左側方ワイドダイナミックレンジカメラ）に相当する。第６撮像装置１６は、車体部２の広報を撮像可能なカメラであり後方ワイドダイナミックレンジカメラに相当する。
　図１０は、ワイドダイナミックレンジカメラを適用した撮像装置の一例を示す図である。撮像装置１１～１６は、ＣＣＤ等の撮像素子６０と、ＤＳＰ（Digital　Signal　Processor）６１と、デコーダ（ビデオデコーダ）６２と、輝度ダイナミックレンジ補正部６３と、エンコーダ（ビデオエンコーダ）６４とを含む。輝度ダイナミックレンジ補正部６３及びエンコーダ６４は、例えば、画像処理ＩＣ（Integrated　Circuit）６４によって実現される。
　撮像素子６０によって撮像された画像の情報は、ＡＤ（Analog　Digital）コンバータによってディジタル信号に変換されてからＤＳＰ６１に入力される。ＤＳＰ６１は、入力された画像の情報のディジタル信号を処理した後、デコーダ６２に出力する。デコーダ６２は、ＤＳＰ６１から入力された処理後の信号をデコードしてから輝度ダイナミックレンジ補正部６３に出力する。輝度ダイナミックレンジ補正部６３は、入力された画像の信号に対して、輝度補正、より具体的には、ハイダイナミックレンジ（High　Dynamic　Range）合成処理を施す。ハイダイナミックレンジ合成処理とは、非常に大きなコントラストの元画像、すなわち撮像素子６０が撮像した現実の画像を、１０００：１程度のコントラストになるように、コントラストを落とした画像に変換する処理である。輝度ダイナミックレンジ補正部６３は、ハイダイナミックレンジ合成処理を施した画像の信号を、エンコーダ６４に出力する。エンコーダ６４は、入力された信号をエンコードしてコントローラ１００に出力する。撮像装置１１～１６から出力される信号、すなわち、エンコーダ６４から出力される信号が、第１画像情報～第６画像情報である。
　撮像装置１１～１６にワイドダイナミックレンジカメラを用いることにより、撮像装置１１～１６は、明るい部分を視認できるレベルに保ちながら、ダンプトラック１の影になった部分のような暗い部分を明るく補正できる。このため、撮像装置１１～１６が撮像した画像は、黒潰れ及び白飛びが起きにくくなり、全体としてより分かりやすい画像となる。したがって、撮像装置１１～１６を備える周辺監視システム１０は、ダンプトラック１の影領域ＳＡに存在する車両３００等の対象物が視認しやすくなった俯瞰画像２００をモニタ５０に表示することができる。このように、周辺監視システム１０は、撮像装置１１～１６が撮像した画像を用いてダンプトラック１の周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラック１の周囲の対象物を画像（この例では俯瞰画像２００）に表示することができる。その結果、ダンプトラック１のオペレータは、ダンプトラック１の周囲、特に影領域ＳＡに存在する車両３００等の対象物を環境によらず、確実に視認することができる。
　このように、周辺監視システム１０は、明暗のコントラスト差が大きい環境においても、ダンプトラック１の周囲の対象物を確実に表示する俯瞰画像２００を生成することができるので、オペレータの死角に存在する車両３００を俯瞰画像２００によって確実に視認できるようにすることができる。したがって、周辺監視システム１０は、上述したような、鉱山で用いられる非常に大型のダンプトラック１の周辺を監視する際に非常に有効である。すなわち、周辺監視システム１０は、非常に大きい影領域ＳＡを形成する場合があり、かつ影領域ＳＡを自身で作りながら移動し、さらにベッセル４の昇降によって影領域ＳＡが大きく変化し、また、死角となる領域が大きいダンプトラック１において、ダンプトラック１の周囲の対象物を確実に表示する俯瞰画像２００を生成して、ダンプトラック１のオペレータにダンプトラック１の周囲の正確な情報を提供できる。また、周辺監視システム１０は、赤道直下のような日向と日陰との照度差が非常に大きくなるような場所で稼働するダンプトラック１に対して、ダンプトラック１のオペレータにダンプトラック１の周囲の正確な情報を提供できる。
　なお、第６撮像装置１６は、ベッセル４の下方かつ２個の後輪６、６を連結するアクスルハウジングの上方に配置されている。このように、第６撮像装置１６は、ダンプトラック１の車体部２の内部側に配置されている。また、ベッセル４は、ダンプトラック１の後方に向かって張り出しているので、ベッセル４の下方には影ができやすい。すなわち、第６撮像装置１６は、影領域ＳＡが発生しやすい位置に配置されている。このため、第６撮像装置１６は、影領域ＳＡを撮像する機会が非常に多い。したがって、ダンプトラック１は、少なくとも第６撮像装置１６を備えるとともに、これにワイドダイナミックレンジカメラを用いることが好ましい。
＜それぞれの撮像装置の撮像範囲＞
　図２に示すように、ダンプトラック１は、第１撮像装置１１、第２撮像装置１２、第３撮像装置１３、第４撮像装置１４及び第５撮像装置１５をアッパデッキ２ｂに配置し、第６撮像装置１６をフレーム２ｆの後端であってベッセル４の下方に配置している。特に、第２撮像装置１２と第３撮像装置１３とは、ダンプトラック１の車体部２の左右斜め前方から左右側方までを撮像可能な領域としてカバーしている。また、第４撮像装置１４と第５撮像装置１５とは、ダンプトラック１の車体部２の左右側方から左右斜め後方までを撮像可能な領域としてカバーしている。このようにすることで、コントローラ１００は、第１撮像装置１１及び第６撮像装置１６によって撮像され、取得された第１画像情報及び第６画像情報と合わせて、ダンプトラック１の全周囲をカバーした俯瞰画像２００を生成して、ダンプトラック１の周辺を監視することができる。
　また、本実施形態では、図５に示すように、それぞれの撮像装置１１～１６が撮像可能な領域である第１領域１１Ｃ～第６領域１６Ｃが、互いの隣接部分において重複するように、互いに隣接する撮像装置１１～１６が配置されている。コントローラ１００は、それぞれの撮像装置１１～１６が撮像可能な第１領域１１Ｃ～第６領域１６Ｃの重複した部分において接続線を設けることで、ダンプトラック１の平面上における３６０度全周囲の監視が可能となる。なお、俯瞰画像２００において、互いに隣接する第１領域１１Ｃ～第６領域１６Ｃを接続する接続線は、第１領域１１Ｃ～第６領域１６Ｃの重複範囲内における任意の位置に設定することができる。次に、撮像装置１１～１６の高さ方向における撮像範囲について説明する。
　図１１～図１３は、本実施形態に係る周辺監視システムが有する撮像装置の高さ方向における撮像範囲を説明するための図である。図１４～図１６は、ダンプトラックの周囲を車両が移動した場合を示す図である。図１３には、ダンプトラック１の全周における各撮像装置１１～１６による３次元の撮像範囲が示されている。この例においては、ダンプトラック１の周囲における所定距離の範囲内における各撮像装置１１～１６の高さ方向における撮像範囲が示されている。
　ダンプトラック１の周辺（例えば、ダンプトラック１の周辺１０ｍ（メートル）の範囲内）に存在する対象物（例えば、車両）を確実に俯瞰画像２００に表示させるためには、例えば、図１１に示すように、車両３００の一部が撮像装置１１の撮像範囲３２０内に含まれるように、撮像装置１１が配置されていればよい。他の撮像装置１２～１６についても同様である。図１１に示す例において、ダンプトラック１の前方における撮像範囲の周辺付近に車両３００が存在した場合、図１１に示す状態では、車両３００の屋根３０１は、第１撮像装置１１の撮像範囲３２０から外れてしまっている。このため、第１撮像装置１１は、車両３００の窓３０２から下方を撮像する結果、この撮像された画像情報に基づいて作成された俯瞰画像２００は、車両３００の窓３０２よりも下方が表示される。その結果、このような俯瞰画像２００を見たダンプトラック１のオペレータは、車両３００の高さ方向における一部のみが表示されているため、車両３００を認識できない可能性がある。
　そこで、本実施形態において、ダンプトラック１は、自身の周辺に存在する対象物（例えば、車両３００）の全体を俯瞰画像２００に表示できるように、高さ方向においてアッパデッキ２ｂの高さ（例えば、３ｍ（メートル））の半分以上（例えば、１．５ｍ（メートル）以上）の撮像範囲を確保できるように、それぞれの撮像装置１１～１６が配置されている。すなわち、鉱山で用いられるダンプトラック１のような超大型の車両の場合、キャブ３内のオペレータから見てキャブ３が設置されたアッパデッキ２ｂよりも下方に存在する車両３００等の対象物を視認することが困難である。このため、ダンプトラック１の周囲に存在する対象物を周辺監視システム１０によって確認できるようにするためには、地上からアッパデッキ２ｂよりも低い位置に存在する対象物をダンプトラック１の全周囲において確実に認識できるようにする必要がある。
　本実施形態において、撮像装置１１～１６のうち隣接する撮像装置によって撮像され、取得された画像情報を合成して得られた俯瞰画像２００の境界部分（又は重複部分）においては、隣接する撮像装置それぞれの水平方向における全撮像範囲において、少なくとも一方の撮像範囲の高さＨｓが、対象物（例えば、車両３００）の全体を含む大きさ以上となるように配置される。そして、本実施形態においては、隣接する２台の撮像装置のうち少なくとも一方は、高さ方向における撮像範囲が、アッパデッキ２ｂの高さの半分以上の高さとなるように配置される。その結果、図１２に示すように、アッパデッキ２ｂよりも低い位置に存在する対象物を、それぞれの撮像装置１１～１６のうち互いに隣接する撮像装置のうちの一方の撮像範囲とすることができるので、俯瞰画像２００に確実に対象物の全体を表示することができる。
　具体的には、図１４～図１６に示すように、ダンプトラック１の周囲において、対象物としての車両３００が各撮像装置１１～１６の撮像範囲の境界部分を跨ぐように、例えば、第３領域１３Ｃから第１領域１１Ｃへ移動した場合であっても、周辺監視システム１０は、車両３００の全体を俯瞰画像２００に表示することができる。なお、それぞれの撮像装置１１～１６が取得した第１画像情報～第６画像情報を合成して俯瞰画像２００を生成する場合には、第１画像情報～第６画像情報に対応する画像の境界部分について、重複部分を平均化して表示するアルファブレンディングの技術を用いることが好ましい。このようにすることで、第１画像情報～第６画像情報に対応する画像の境界部分を跨ぐように対象物が移動した場合でも、俯瞰画像２００の境界部分において対象物が消失してしまうことを回避することができる。
＜変形例＞
　上述した例において、周辺監視システム１０は、撮像装置１１～１６が撮像し、取得した画像情報に基づいて俯瞰画像２００を生成したが、周辺監視システム１０は、このような形態には限定されない。上述したように、ダンプトラック１は、後方は最も視界が悪く、ベッセル４の昇降によって影領域ＳＡの範囲が大きく変化する。周辺監視システム１０は、例えば、ダンプトラック１のベッセル４の下方に配置される第６撮像装置１６のみを用いるとともに、第６撮像装置１６にハイダイナミックレンジカメラを用いて、ダンプトラック１の後方のみを監視してもよい。すなわち、ダンプトラック１のバックモニタとしてハイダイナミックレンジカメラの第６撮像装置１６を用いるようにしてもよい。このようにすれば、明暗のコントラスト差が大きい環境においても、周辺監視システム１０は、ダンプトラック１の後方に存在する車両その他の対象物を表示した画像を生成し、これをモニタ５０に表示させることができる。
　なお、ダンプトラック１の全周を監視する場合、６台の撮像装置１１～１６を用い、かつこれらすべてにワイドダイナミックレンジカメラを用いることが好ましい。このようにすることで、明暗のコントラスト差が大きい環境においても、ダンプトラック１の全周にわたってその周辺に存在する車両その他の対象物を表示した俯瞰画像２を得ることができる。
　以上、本実施形態及びその変形例を説明したが、上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。また、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。本実施形態及びその変形例に係るダンプトラックは、自身が作り出す影により、影の部分と日が当たっている部分とで明暗のコントラスト差が大きくなるものであればよい。このため、上述した実施形態及びその変形例では、鉱山で用いられるダンプトラックを例として説明したが、ダンプトラックは鉱山で用いられるものに限定されず、例えば、ダム等の建設現場で用いられるものであってもよい。
１　ダンプトラック
２　車体部
２ａ　ロアデッキ
２ｂ　アッパデッキ
２ｆ　フレーム
３　キャブ
３ａ　支柱
４　ベッセル
４Ｆ　鍔部
５　前輪
６　後輪
１０　周辺監視システム
１１、１２、１３、１４、１５、１６　撮像装置
２１、２２、２３、２４、２５、２６、２７、２８　レーダ装置
３１　運転席
５０　モニタ
６０　撮像素子
６１　ＤＳＰ
６２　デコーダ
６３　輝度ダイナミックレンジ補正部
６４　エンコーダ
１００　コントローラ
１１０　俯瞰画像合成部
１２０　カメラ画像切替・視点変換部
１３０　表示制御部
１４０　モニタ画像生成部
２００　俯瞰画像
２１０　対象物情報収集部
２２０　対象物処理部
３００　車両
ＳＡ　影領域

Claims (5)

  1. 　運転室が配置されるアッパデッキ及び前後方向に沿って配置されたフレームを含む車体部と、
    　前記フレームの上方に配置されたベッセルと、
    　前記フレームの後端かつ前記ベッセルの下方に配置されて、前記車体部の後方を撮像可能な後方ワイドダイナミックレンジカメラと、
    　を含むことを特徴とするダンプトラック。
  2. 　前記アッパデッキの前方に配置されて前記車体部の前方を撮像可能な前方ワイドダイナミックレンジカメラと、
    　前記アッパデッキの左右の側方にそれぞれ配置されて、前記車体部の斜め前方から後方までを撮像可能な側方ワイドダイナミックレンジカメラと、
    　前記後方ワイドダイナミックレンジカメラ、前記前方ワイドダイナミックレンジカメラ及びそれぞれの前記側方ワイドダイナミックレンジカメラによって得られる画像を組み合わせた俯瞰画像を用いて前記車体部の周辺を監視する監視制御装置と、
    　を含む、請求項１に記載のダンプトラック。
  3. 　前記側方ワイドダイナミックレンジカメラは、
    　前記車体部の斜め前方を撮像可能な第１側方ワイドダイナミックレンジカメラと、
    　前記車体部の斜め後方を撮像可能な第２側方ワイドダイナミックレンジカメラと、
    　を備える、請求項２に記載のダンプトラック。
  4. 　前記車体部に設けられており、前記車体部の全周範囲に存在する物体を検出可能な複数のレーダ装置を備える、請求項１から３のいずれか１項に記載のダンプトラック。
  5. 　運転席が配置されるアッパデッキ及び前後方向に沿って配置されたフレームを含む車体部と、
    　前記フレームの上方に配置されたベッセルと、
    　前記フレームの後端かつ前記ベッセルの下方に配置されて、前記車体部の後方を撮像可能な後方ワイドダイナミックレンジカメラと、
    　前記アッパデッキの前方に配置されて前記車体部の前方を撮像可能な前方ワイドダイナミックレンジカメラと、
    　前記アッパデッキの左右の側方にそれぞれ配置されて、前記車体部の斜め前方から後方までを撮像可能な側方ワイドダイナミックレンジカメラと、
    　前記後方ワイドダイナミックレンジカメラ、前記前方ワイドダイナミックレンジカメラ及びそれぞれの前記側方ワイドダイナミックレンジカメラによって得られる画像を組み合わせた俯瞰画像を用いて前記車体部の周辺を監視する監視制御装置と、
    　前記運転室に配置されて前記俯瞰画像を表示するモニタと、
    　を含むことを特徴とするダンプトラック。
PCT/JP2012/073911 2012-05-22 2012-09-19 ダンプトラック WO2013175649A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CA2815822A CA2815822C (en) 2012-05-22 2012-09-19 Dump truck
US13/825,171 US20150077281A1 (en) 2012-05-22 2012-09-19 Dump truck
CN201280002958.3A CN103608216B (zh) 2012-05-22 2012-09-19 矿山用的自卸车
AU2012372159A AU2012372159A1 (en) 2012-05-22 2012-09-19 Dump truck

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012117006A JP5781978B2 (ja) 2012-05-22 2012-05-22 ダンプトラック
JP2012-117006 2012-05-22

Publications (1)

Publication Number Publication Date
WO2013175649A1 true WO2013175649A1 (ja) 2013-11-28

Family

ID=49623371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/073911 WO2013175649A1 (ja) 2012-05-22 2012-09-19 ダンプトラック

Country Status (6)

Country Link
US (1) US20150077281A1 (ja)
JP (1) JP5781978B2 (ja)
CN (1) CN103608216B (ja)
AU (1) AU2012372159A1 (ja)
CA (1) CA2815822C (ja)
WO (1) WO2013175649A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106062823A (zh) * 2014-04-24 2016-10-26 日立建机株式会社 作业机械的周围监视装置
US9902397B2 (en) 2014-07-30 2018-02-27 Komatsu Ltd. Transporter vehicle and transporter vehicle control method
CN113463718A (zh) * 2021-06-30 2021-10-01 广西柳工机械股份有限公司 装载机防撞控制***与控制方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103547747A (zh) * 2011-05-13 2014-01-29 日立建机株式会社 作业机械的周围监视装置
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
US9428334B2 (en) * 2013-05-17 2016-08-30 The Heil Co. Automatic control of a refuse front end loader
JP6340068B2 (ja) * 2015-02-23 2018-06-06 株式会社小松製作所 油圧ショベル
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP7081835B2 (ja) * 2016-08-09 2022-06-07 コントラスト， インコーポレイテッド 車両制御のためのリアルタイムｈｄｒビデオ
AU2016216541B2 (en) * 2016-08-15 2018-08-16 Bucher Municipal Pty Ltd Refuse collection vehicle and system therefor
US10311599B2 (en) * 2016-11-03 2019-06-04 Caterpillar Inc. System and method for diagnosis of lighting system
JP6969983B2 (ja) 2017-11-10 2021-11-24 株式会社小松製作所 ダンプトラック
JP7150447B2 (ja) * 2018-02-28 2022-10-11 株式会社小松製作所 情報提示装置および情報提示方法
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
WO2021115609A1 (en) * 2019-12-12 2021-06-17 Ejzenberg Geoffrey A situational awareness system of a cyber-physical hybrid electric autonomous or semi-autonomous off-highway dump truck for surface mining industry
CN112298042A (zh) * 2020-11-15 2021-02-02 西南石油大学 一种消除汽车a柱盲区及周边环境预警的音像装置
CN112942459B (zh) * 2021-03-22 2022-05-13 北京航空航天大学 一种智能电铲无人卸料装车***和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2001339715A (ja) * 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 運転支援装置
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2009217740A (ja) * 2008-03-12 2009-09-24 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
JP2011011620A (ja) * 2009-07-01 2011-01-20 Caterpillar Sarl 作業機械の車両周囲確認装置
JP2011028634A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US8041483B2 (en) * 1994-05-23 2011-10-18 Automotive Technologies International, Inc. Exterior airbag deployment techniques
US6292725B1 (en) * 1997-04-04 2001-09-18 Komatsu Ltd. Interference preventing device for vehicle
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP3865121B2 (ja) * 2001-10-31 2007-01-10 株式会社小松製作所 車両の障害物検出装置
US6861972B2 (en) * 2003-07-28 2005-03-01 Ellistar Sensor Systems, Inc. Object detection apparatus and method
JP5234692B2 (ja) * 2008-07-04 2013-07-10 日立建機株式会社 運搬車両
US8473173B1 (en) * 2008-09-08 2013-06-25 William Robles Motion sensor braking system and associated method
DE102010012626A1 (de) * 2010-03-24 2011-09-29 Valeo Schalter Und Sensoren Gmbh Kraftfahrzeug mit einer Radareinrichtung und Verfahren zum Betreiben einer Radareinrichtung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114048A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車載運転支援情報表示装置
JP2001339715A (ja) * 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 運転支援装置
JP2007096510A (ja) * 2005-09-27 2007-04-12 Omron Corp 前方撮影装置
JP2009217740A (ja) * 2008-03-12 2009-09-24 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
JP2011011620A (ja) * 2009-07-01 2011-01-20 Caterpillar Sarl 作業機械の車両周囲確認装置
JP2011028634A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106062823A (zh) * 2014-04-24 2016-10-26 日立建机株式会社 作业机械的周围监视装置
US10160383B2 (en) 2014-04-24 2018-12-25 Hitachi Construction Machinery Co., Ltd. Surroundings monitoring system for working machine
US9902397B2 (en) 2014-07-30 2018-02-27 Komatsu Ltd. Transporter vehicle and transporter vehicle control method
CN113463718A (zh) * 2021-06-30 2021-10-01 广西柳工机械股份有限公司 装载机防撞控制***与控制方法

Also Published As

Publication number Publication date
JP2013241159A (ja) 2013-12-05
JP5781978B2 (ja) 2015-09-24
CN103608216A (zh) 2014-02-26
CN103608216B (zh) 2015-11-25
US20150077281A1 (en) 2015-03-19
CA2815822A1 (en) 2013-11-22
AU2012372159A1 (en) 2013-12-12
CA2815822C (en) 2015-11-24

Similar Documents

Publication Publication Date Title
JP5781978B2 (ja) ダンプトラック
JP5643272B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5529943B2 (ja) 作業車両用周辺監視システム及び作業車両
US9442194B2 (en) Dump truck with obstacle detection mechanism and method for detecting obstacle
WO2014045466A1 (ja) 作業車両用周辺監視システム及び作業車両
WO2013136566A1 (ja) 障害物検出機構付きダンプトラックおよびその障害物検出方法
WO2012169354A1 (ja) 作業車両の周辺監視装置
WO2012169359A1 (ja) ダンプトラック
JP5926315B2 (ja) 作業車両用周辺監視システム及び作業車両
JP6012680B2 (ja) ダンプトラック
JP5964353B2 (ja) ダンプトラック
CA2815831C (en) Working vehicle periphery monitoring system and working vehicle
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
CA2817396C (en) Working vehicle periphery monitoring system and working vehicle
AU2011332655A1 (en) Use of AGE-specific aptamer for treating renal disease

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2815822

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 13825171

Country of ref document: US

Ref document number: 2012372159

Country of ref document: AU

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12877446

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12877446

Country of ref document: EP

Kind code of ref document: A1