WO2012169354A1 - 作業車両の周辺監視装置 - Google Patents

作業車両の周辺監視装置 Download PDF

Info

Publication number
WO2012169354A1
WO2012169354A1 PCT/JP2012/063137 JP2012063137W WO2012169354A1 WO 2012169354 A1 WO2012169354 A1 WO 2012169354A1 JP 2012063137 W JP2012063137 W JP 2012063137W WO 2012169354 A1 WO2012169354 A1 WO 2012169354A1
Authority
WO
WIPO (PCT)
Prior art keywords
work vehicle
image
ground
virtual projection
projection plane
Prior art date
Application number
PCT/JP2012/063137
Other languages
English (en)
French (fr)
Inventor
富和 田貫
原田　茂
光田　慎治
栄伸 増谷
幸宏 中西
栗原　毅
大 坪根
正臣 町田
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to AU2012268478A priority Critical patent/AU2012268478B2/en
Priority to CA2805609A priority patent/CA2805609C/en
Priority to US13/818,908 priority patent/US20130155241A1/en
Priority to CN201280003094.7A priority patent/CN103140378B/zh
Publication of WO2012169354A1 publication Critical patent/WO2012169354A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated

Definitions

  • the present invention relates to a work vehicle periphery monitoring device.
  • the periphery monitoring device includes an imaging unit such as a camera mounted on the vehicle.
  • the periphery monitoring device creates an overhead image showing the periphery of the work vehicle by synthesizing the images captured by the imaging unit.
  • the bird's-eye view image is created by projecting an image captured by the imaging unit onto a virtual projection plane.
  • Overhead images are created by projecting images onto a virtual projection plane. For this reason, there exists a problem that the object located near a vehicle is displayed small in a bird's-eye view image. For example, it is assumed that an object OB1 and an object OB2 are located around the vehicle 100 as shown in FIG. The object OB2 is located closer to the vehicle 100 than the object OB1. An image obtained by imaging the objects OB ⁇ b> 1 and OB ⁇ b> 2 by the imaging unit 101 is projected onto the virtual projection plane 300, thereby creating an overhead image viewed from the virtual viewpoint 103. The virtual projection plane 300 is located on the ground.
  • the angle ⁇ 2 of the line of sight from the imaging unit 101 to the object OB2 is steeper than the angle ⁇ 1 of the line of sight to the object OB1. Therefore, in the overhead image, the object OB1 is displayed in a size corresponding to the size L10, but the object OB2 is displayed in a size corresponding to L20 smaller than L10.
  • the driver when an object located near the vehicle is displayed small in the overhead view image, it is difficult for the driver to find the object in the overhead view image.
  • unlike a general automobile in a work vehicle having a very large vehicle body size, there are many regions that are blind spots for the driver around the work vehicle. For this reason, it is important that an object located near the work vehicle can be easily recognized.
  • An object of the present invention is to provide a work vehicle periphery monitoring device capable of easily recognizing an object located near a work vehicle in a bird's-eye view image.
  • the work vehicle periphery monitoring device includes a first imaging unit, an overhead image creation unit, and a display unit.
  • the first imaging unit is attached to the work vehicle.
  • the first imaging unit captures a first area around the work vehicle to obtain first image data.
  • the overhead image creation unit creates an overhead image around the work vehicle by projecting the first image data onto a predetermined virtual projection plane.
  • the display unit displays an overhead image.
  • the virtual projection plane includes a shape in which the height from the ground increases as it approaches the work vehicle.
  • the work vehicle periphery monitoring device is the work vehicle periphery monitoring device according to the first aspect, and the virtual projection plane includes a change portion and a flat portion.
  • the height of the change unit from the ground increases as the work vehicle approaches.
  • the flat portion is continuously connected to the changing portion at a position farther from the work vehicle than the changing portion.
  • the height of the flat part from the ground is constant.
  • the change part is located between the work vehicle and the flat part.
  • the work vehicle periphery monitoring device is the work vehicle periphery monitoring device according to the second aspect, and the connection portion between the changing portion and the flat portion is located on the ground.
  • a work vehicle periphery monitoring apparatus is the work vehicle periphery monitoring apparatus according to the first aspect, wherein the virtual projection plane includes a first change portion, a flat portion, and a second change. Part.
  • the height from the ground of a 1st change part becomes so high that it approaches a work vehicle.
  • the flat part is continuously connected to the first change part at a position farther from the work vehicle than the first change part.
  • the height of the flat part from the ground is constant.
  • the second changing portion is continuously connected to the flat portion at a position farther from the work vehicle than the flat portion. The height of the second change part from the ground increases as the distance from the work vehicle increases.
  • a work vehicle periphery monitoring apparatus is the work vehicle periphery monitoring apparatus according to the fourth aspect, wherein a connection portion between the second change portion and the flat portion is located on the ground. .
  • a work vehicle periphery monitoring device is the work vehicle periphery monitoring device according to the first aspect, and further includes a second imaging unit.
  • the second imaging unit is attached to the work vehicle.
  • the second imaging unit captures the second area and obtains second image data.
  • the second area is an area around the work vehicle that partially overlaps the first area.
  • the overhead image creation unit displays the first image data image in the overlapping region between the first region and the second region and the second image data image in the overlapping region in the overhead image.
  • a work vehicle includes the periphery monitoring device according to any one of the first to sixth aspects.
  • the virtual projection plane includes a shape whose height from the ground increases as the work vehicle approaches. For this reason, the object located near the work vehicle is displayed large in the overhead image. Thereby, the object located near the work vehicle in the overhead image can be easily recognized.
  • the change portion and the flat portion are continuously connected, so that the object is smoothly displayed on the overhead image. This makes it possible to create a bird's-eye view image that is less uncomfortable for the operator.
  • the flat portion exists at a position farther from the work vehicle than the changing portion, deformation of the object in the overhead image is suppressed at a position away from the work vehicle.
  • connection portion between the changing portion and the flat portion is located on the ground. That is, the flat portion is a flat surface on the ground. For this reason, a natural bird's-eye view image can be created as if the operator is photographing the ground.
  • an object near the work vehicle is displayed large in the overhead image by the first changing portion of the virtual projection plane. Since the flat portion exists at a position farther from the work vehicle than the changing portion, the object projected on the flat portion is displayed larger in the overhead image. In the flat portion, the object is displayed larger as the distance from the work vehicle increases. However, the second change portion is provided at a position farther from the work vehicle than the flat portion. Since the height from the ground of the 2nd change part becomes so high that it distances from a work vehicle, an object is displayed small, so that it leaves
  • the 1st change part and the flat part are connected continuously.
  • the flat part and the 2nd change part are connected continuously. For this reason, the object is smoothly displayed on the overhead view image. Thereby, it is possible to create an overhead image that does not give the operator a sense of incongruity.
  • the connection portion between the second change portion and the flat portion is located on the ground. That is, the flat portion is a flat surface on the ground. For this reason, a natural bird's-eye view image can be created as if the operator is photographing the ground. Moreover, the height from the ground of a 1st change part becomes so high that it approaches a work vehicle from the ground. For this reason, the object in the vicinity of the work vehicle is displayed larger in the bird's-eye view image than when all the virtual projection planes are planes on the ground. Furthermore, the height from the ground of the 2nd change part becomes so high that it distances from a work vehicle from the ground. For this reason, it is possible to easily grasp the sense of distance between the work vehicle and the object, compared to the case where the virtual projection planes are all planes on the ground.
  • the overhead image creation unit displays the image of the first image data and the image of the second image data in an overlapping region in an overlapping manner. For this reason, it is possible to suppress the disappearance of the object in the overlapping region in the overhead view image. Further, by including a shape in which the height from the ground increases as the virtual projection plane approaches the work vehicle, an object located near the work vehicle in the overlapping region is displayed large in the overhead image. Thereby, the object located near the work vehicle can be easily recognized in the overlapping area of the imaging unit in the overhead view image.
  • the virtual projection plane includes a shape whose height from the ground increases as it approaches the work vehicle. For this reason, the object located near the work vehicle is displayed large in the overhead image. Thereby, the object located near the work vehicle in the overhead image can be easily recognized.
  • FIG. 1 is a perspective view showing an overall configuration of a work vehicle according to an embodiment of the present invention.
  • the block diagram which shows the structure of the periphery monitoring apparatus which concerns on one Embodiment of this invention.
  • the perspective view of the work vehicle which shows the mounting position of the some imaging part of a periphery monitoring apparatus.
  • the top view which shows the mounting position and imaging range of a some imaging part of a periphery monitoring apparatus.
  • the figure which shows the method of the image conversion using a virtual projection surface.
  • the schematic diagram which shows an example of a 1st virtual projection surface.
  • the schematic diagram which shows an example of a 2nd virtual projection surface.
  • FIG. 6 is a top view showing positions of first to close ranges included in a virtual projection plane.
  • the flowchart which shows the process which the controller of a periphery monitoring apparatus performs.
  • the schematic diagram which shows the example of the bird's-eye view image in a stop state.
  • the schematic diagram which shows the example of the bird's-eye view image in a driving
  • FIG. 1 is a perspective view showing a work vehicle 1 according to an embodiment of the present invention.
  • the work vehicle 1 is a self-propelled super large dump truck used for mining work or the like.
  • the work vehicle 1 mainly includes a body frame 2, a cab 3, a vessel 4, a front wheel 5, and a rear wheel 6. Moreover, the work vehicle 1 is provided with the periphery monitoring apparatus 10 (refer FIG. 2) which monitors the periphery of the work vehicle 1 and displays the result. Details of the periphery monitoring device 10 will be described later.
  • the body frame 2 supports a power mechanism (not shown) such as a diesel engine and a transmission, and other auxiliary machines. Also, left and right front wheels 5 (only the right front wheel is shown in FIG. 1) are supported at the front portion of the body frame 2. Left and right rear wheels 6 (only the right rear wheel is shown in FIG. 1) are supported at the rear portion of the vehicle body frame 2.
  • the vehicle body frame 2 includes a lower deck 2a and an upper deck 2b.
  • the lower deck 2 a is attached to the lower part of the front surface of the vehicle body frame 2.
  • the upper deck 2b is disposed above the lower deck 2a.
  • a movable ladder 2c is disposed between the lower deck 2a and the ground.
  • An oblique ladder 2d is disposed between the lower deck 2a and the upper deck 2b.
  • a rail-like handrail 2e is disposed on the upper deck 2b.
  • the cab 3 is disposed on the upper deck 2b.
  • the cab 3 is positioned on the upper deck 2b so as to be biased to one side in the vehicle width direction from the center in the vehicle width direction. Specifically, the cab 3 is located on the left side of the center in the vehicle width direction on the upper deck 2b.
  • operation members such as a driver's seat, a handle, a shift lever, an accelerator pedal, and a brake pedal are arranged.
  • the vessel 4 is a container for loading heavy objects such as crushed stones.
  • the rear portion of the bottom surface of the vessel 4 is rotatably connected to the rear portion of the vehicle body frame 2 via a rotation pin (not shown).
  • the vessel 4 can take a loading posture and a standing posture by an actuator such as a hydraulic cylinder (not shown).
  • the loading posture is a posture in which the front portion of the vessel 4 is positioned above the cab 3 as shown in FIG.
  • the standing posture is a posture for discharging the load, and the vessel 4 is tilted backward and downward. By rotating the front part of the vessel 4 upward, the vessel 4 changes from the loading posture to the standing posture.
  • FIG. 2 is a block diagram illustrating a configuration of the periphery monitoring device 10 included in the work vehicle 1.
  • the periphery monitoring device 10 includes a plurality of imaging units 11-16, a vehicle speed detection unit 17, a display unit 18, and a controller 19.
  • the imaging unit 11-16 is attached to the work vehicle 1.
  • the imaging unit 11-16 captures an area around the work vehicle 1 and acquires image data.
  • the imaging unit 11-16 includes a camera 11a-16a and a frame memory 11b-16b, respectively.
  • the frame memory 11b-16b temporarily stores image data picked up by the cameras 11a-16a.
  • the plurality of imaging units 11-16 include first to sixth imaging units 11-16.
  • FIG. 3 is a perspective view of the work vehicle 1 showing the mounting positions of the first to sixth imaging units 11-16.
  • FIG. 4 is a top view of the work vehicle 1 showing the mounting positions and imaging ranges of the first to sixth imaging units 11-16.
  • the first imaging unit 11 is attached to the front surface of the work vehicle 1. Specifically, the 1st imaging part 11 is arrange
  • the second imaging unit 12 is attached to one side of the front surface of the work vehicle 1. Specifically, the second imaging unit 12 is disposed on the left side of the front surface of the upper deck 2b. As illustrated in FIG. 4, the second imaging unit 12 captures a second area 12 ⁇ / b> R around the work vehicle 1 to obtain second image data.
  • the second region 12R is located diagonally to the left of the work vehicle 1.
  • the third imaging unit 13 is attached to the other side of the front surface of the work vehicle 1. Specifically, the third imaging unit 13 is disposed in a symmetrical position with the second imaging unit 12. That is, the third imaging unit 13 is disposed on the right side of the front surface of the upper deck 2b. As illustrated in FIG. 4, the third imaging unit 13 captures a third area 13 ⁇ / b> R around the work vehicle 1 to obtain third image data.
  • Third region 13 ⁇ / b> R is located obliquely forward and to the right of work vehicle 1.
  • the fourth imaging unit 14 is attached to one side surface of the work vehicle 1. Specifically, the fourth imaging unit 14 is disposed in the front part on the left side surface of the upper deck 2b. As shown in FIG. 4, the fourth imaging unit 14 images a fourth region 14 ⁇ / b> R around the work vehicle 1 to obtain fourth image data. The fourth region 14 ⁇ / b> R is located diagonally to the left of the work vehicle 1. As shown in FIG. 3, the fifth imaging unit 15 is attached to the other side surface of the work vehicle 1. Specifically, the fifth imaging unit 15 is arranged at a symmetrical position with respect to the fourth imaging unit 14. That is, the fifth imaging unit 15 is disposed in the front part on the right side surface of the upper deck 2b. As illustrated in FIG. 4, the fifth imaging unit 15 captures a fifth region 15 ⁇ / b> R around the work vehicle 1 to obtain fifth image data. The fifth region 15R is located obliquely rearward to the right of the work vehicle 1.
  • the sixth imaging unit 16 is attached to the rear part of the work vehicle 1. Specifically, the sixth imaging unit 16 is disposed above an axle shaft (not shown) that connects the two rear wheels 6 and in the vicinity of the rotation shaft of the vessel 4. As illustrated in FIG. 4, the sixth imaging unit 16 captures a sixth area 16 ⁇ / b> R around the work vehicle 1 to obtain sixth image data.
  • the sixth region 16R is located behind the work vehicle 1.
  • an image of almost the entire periphery of the work vehicle 1 can be acquired as shown in the central view of FIG.
  • two adjacent regions of the first to sixth regions 16R partially overlap each other.
  • the first region 11R partially overlaps the second region 12R in the first overlapping region OA1.
  • the first region 11R partially overlaps the third region 13R in the second overlapping region OA2.
  • the second region 12R partially overlaps the fourth region 14R in the third overlapping region OA3.
  • the third region 13R partially overlaps the fifth region 15R in the fourth overlapping region OA4.
  • the fourth region 14R partially overlaps the sixth region 16R in the fifth overlapping region OA5.
  • the fifth region 15R partially overlaps the sixth region 16R in the sixth overlap region OA6.
  • the first to sixth imaging units 11-16 transmit image data indicating the captured images to the controller 19, respectively.
  • the vehicle speed detection unit 17 detects the vehicle speed of the work vehicle 1.
  • the vehicle speed detector 17 detects the vehicle speed of the work vehicle 1 based on, for example, the rotational speed of the output shaft of the transmission.
  • the vehicle speed detection unit 17 transmits vehicle speed data indicating the detected vehicle speed to the controller 19.
  • the display unit 18 is a monitor arranged in the cab 3.
  • the display unit 18 is disposed in front of the driver's seat in the cab 3.
  • the display unit 18 displays an image according to the control of the controller 19.
  • the controller 19 creates an overhead image showing the surroundings of the work vehicle 1 based on the image data from the imaging unit 11-16.
  • the controller 19 outputs an output signal indicating the created overhead image to the display unit 18.
  • the display unit 18 displays an overhead image according to an output signal from the controller 19.
  • the controller 19 includes a traveling state determination unit 21, a storage unit 22, and an overhead image creation unit 23.
  • the traveling state determination unit 21 determines the traveling state of the work vehicle 1 based on the vehicle speed data from the vehicle speed detection unit 17. The traveling state determination unit 21 determines that the work vehicle 1 is in the traveling state when the vehicle speed is equal to or higher than a predetermined threshold. The traveling state determination unit 21 determines that the work vehicle 1 is in a stopped state when the vehicle speed is smaller than a predetermined threshold value. Accordingly, not only when the vehicle speed is zero, but also a low-speed traveling state where the vehicle speed is low is also included in the stop state.
  • the storage unit 22 stores various information necessary for the controller 19 to create an overhead image. Specifically, the storage unit 22 stores first conversion information, second conversion information, and a composition ratio described later.
  • the overhead image creation unit 23 receives image data from each of the imaging units 11-16.
  • the overhead image creation unit 23 creates an overhead image around the work vehicle 1 based on a plurality of images indicated by a plurality of image data.
  • the bird's-eye view image creation unit 23 performs coordinate conversion of image data using conversion information stored in the storage unit 22.
  • the conversion information is information indicating the correspondence between the position coordinates of each pixel of the input image and the position coordinates of each pixel of the output image.
  • the input image is an image captured by each imaging unit 11-16.
  • the output image is a bird's-eye view image displayed on the display unit 18.
  • the overhead image creation unit 23 uses the conversion information to convert the image captured by the imaging unit 11-16 into an image viewed from a predetermined virtual viewpoint located above the work vehicle 1. Specifically, as shown in FIG. 5, an image captured by the imaging unit 11-16 is projected onto a predetermined virtual projection plane 30 so that a virtual viewpoint 20 positioned above the work vehicle 1 is projected. It will be converted to the image you saw. The conversion information represents this virtual projection plane 30.
  • the overhead image creation unit 23 creates an overhead image around the work vehicle 1 by projecting and synthesizing the image data from the plurality of imaging units 11-16 onto a predetermined virtual projection plane. That is, the overhead image around the work vehicle 1 is created by projecting and synthesizing the first to sixth image data on a predetermined virtual projection plane.
  • the bird's-eye view image creation unit 23 displays the image of the image data from the two imaging units 11-16 adjacent to each other in each overlapping area OA1-OA6 in the overhead view image. Specifically, the overhead image creation unit 23 superimposes the image of the first image data from the first imaging unit 11 and the image of the second image data from the second imaging unit 12 in the first overlapping area OA1. To display. The overhead image creation unit 23 displays the image of the first image data from the first imaging unit 11 and the image of the third image data from the third imaging unit 13 in an overlapping manner in the second overlapping area OA2.
  • the overhead image creation unit 23 displays the image of the second image data from the second imaging unit 12 and the image of the fourth image data from the fourth imaging unit 14 in a superimposed manner in the third overlapping area OA3.
  • the overhead image creation unit 23 displays the image of the third image data from the third imaging unit 13 and the image of the fifth image data from the fifth imaging unit 15 in an overlapping manner in the fourth overlapping area OA4.
  • the overhead image creation unit 23 displays the image of the fourth image data from the fourth imaging unit 14 and the image of the sixth image data from the sixth imaging unit 16 in the fifth overlapping area OA5.
  • the overhead image creation unit 23 displays the image of the fifth image data from the fifth imaging unit 15 and the image of the sixth image data from the sixth imaging unit 16 in an overlapping manner in the sixth overlapping area OA6.
  • the composition ratio is a value corresponding to each image data, and is stored in the storage unit 22.
  • the composition ratio is determined for each image data such that the composition ratio of the first image data is 0.5 and the composition ratio of the second image data is 0.5.
  • the overhead image creation unit 23 generates overhead image data indicating the overhead image synthesized as described above, and transmits the overhead image data to the display unit 18.
  • the overhead image creation unit 23 creates an overhead image by selectively using a plurality of virtual projection planes. Specifically, the overhead image creation unit 23 creates an overhead image using the first virtual projection plane 31 shown in FIG. 6 and the second virtual projection plane 32 shown in FIG.
  • FIG. 6A is a perspective view of the first virtual projection plane 31.
  • FIG. 6B is an A1-A1 cross-sectional view of the first virtual projection plane 31 in FIG.
  • FIG. 6C is a B1-B1 cross-sectional view of the first virtual projection plane 31 in FIG.
  • FIG. 7A is a perspective view of the second virtual projection plane 32.
  • FIG. 7B is an A2-A2 cross-sectional view of the second virtual projection plane 32 in FIG.
  • the storage unit 22 stores the first conversion information and the second conversion information.
  • the first conversion information is data indicating the first virtual projection plane 31.
  • the second conversion information is data indicating the second virtual projection plane 32.
  • the overhead image creation unit 23 performs coordinate transformation of the image data using the first conversion information, thereby creating an overhead image in which the image captured by each imaging unit 11-16 is projected onto the first virtual projection plane 31.
  • the overhead image creation unit 23 performs coordinate conversion of the image data using the second conversion information, thereby creating an overhead image in which the image captured by each imaging unit 11-16 is projected on the second virtual projection plane 32.
  • the first virtual projection plane 31 includes a shape whose height from the ground increases as the work vehicle 1 is approached.
  • the central portion of the first virtual projection plane 31 has a shape in which the height from the ground increases as the work vehicle 1 is approached.
  • the outer edge portion of the first virtual projection plane 31 has a shape in which the height from the ground increases as the distance from the work vehicle 1 increases.
  • a range up to a position separated by a predetermined distance on the left side, right side, and rear is defined as a proximity range R0.
  • a range adjacent to the proximity range R0 and further away from the work vehicle 1 than the proximity range R0 is defined as a first range R1.
  • a range adjacent to the first range R1 and further away from the work vehicle 1 than the first range R1 is defined as a second range R2.
  • the second range R2 includes the outer edge portions of the virtual projection planes 31 and 32.
  • the first virtual projection plane 31 includes a first change portion 33, a flat portion 34, and a second change portion 35.
  • the first change unit 33 is located in the proximity range R0 shown in FIG.
  • the height from the ground of the 1st change part 33 becomes so high that it approaches vehicle center C1. That is, the height from the ground of the 1st change part 33 becomes so high that the work vehicle 1 is approached. Therefore, the proximity range R0 of the first virtual projection plane 31 has a shape that increases as the height from the ground approaches the work vehicle 1.
  • the 1st change part 33 is the shape which inclined upwards toward the vehicle center C1.
  • the vertex of the first change unit 33 is located at a position corresponding to the inside of the work vehicle 1.
  • the first changing unit 33 is located below the imaging unit installed at the lowest position among the plurality of imaging units 11-16.
  • the flat portion 34 is located in the first range R1 of the first virtual projection plane 31.
  • the flat portion 34 is continuously connected to the first change portion 33 at a position farther from the work vehicle 1 than the first change portion 33.
  • a connection portion between the first change portion 33 and the flat portion 34 is located on the ground.
  • the height of the flat part 34 from the ground is constant. Accordingly, the first range R1 of the first virtual projection plane 31 is a flat shape having a constant height from the ground.
  • the flat part 34 is a plane having the same height as the ground. Accordingly, the first range R1 of the first virtual projection plane 31 is a flat shape having the same height as the ground.
  • the second change unit 35 is located in the second range R ⁇ b> 2 of the first virtual projection plane 31.
  • the second change portion 35 is continuously connected to the flat portion 34 at a position farther from the work vehicle 1 than the flat portion 34.
  • the height of the second change unit 35 from the ground increases as the distance from the work vehicle 1 increases.
  • the second range R ⁇ b> 2 of the first virtual projection plane 31 has a shape in which the height from the ground increases as the distance from the work vehicle 1 increases.
  • Second changing portion 35 has a shape inclined upward in the direction away from work vehicle 1.
  • a connection portion between the second change portion 35 and the flat portion 34 is located on the ground.
  • the second range R2 of the first virtual projection plane 31, that is, the second changing portion 35 includes a plurality of curved surfaces 35a to 35d and a plurality of spherical surfaces 35e to 35h.
  • the curved surfaces 35a to 35d are curved around a virtual axis parallel to each side of the rectangle corresponding to the outer shape of the work vehicle 1.
  • the spherical surfaces 35e-35h are disposed between a pair of adjacent curved surfaces 35a-35d, respectively.
  • the spherical surfaces 35e-35h are continuously connected to a pair of adjacent curved surfaces 35a-35d.
  • the second changing portion 35 includes first to fourth curved surfaces 35a to 35d and first to fourth spherical surfaces 35e to 35h.
  • the first curved surface 35 a is located in front of the work vehicle 1. As shown in FIG. 6A, the first curved surface 35a is curved around the virtual axis C2.
  • the virtual axis C2 is an axis parallel to the rectangular front side corresponding to the outer shape of the work vehicle 1.
  • the second curved surface 35 b is located behind the work vehicle 1. As shown in FIG. 6A, the second curved surface 35b is curved around the virtual axis C3.
  • the virtual axis C ⁇ b> 3 is an axis parallel to the side of the rear surface of the rectangle corresponding to the outer shape of the work vehicle 1.
  • the third curved surface 35 c is located on the left side of the work vehicle 1. As shown in FIG.
  • the third curved surface 35c is curved around the virtual axis C4.
  • the virtual axis C4 is an axis parallel to the left side of the rectangle corresponding to the outer shape of the work vehicle 1.
  • the fourth curved surface 35 d is located on the right side of the work vehicle 1. As shown in FIG. 6B, the fourth curved surface 35d is curved around the virtual axis C5.
  • the virtual axis C5 is an axis parallel to the right side surface of the rectangle corresponding to the outer shape of the work vehicle 1.
  • the first spherical surface 35e is disposed between the first curved surface 35a and the third curved surface 35c.
  • the first spherical surface 35e is continuously connected to the first curved surface 35a and the third curved surface 35c.
  • the second spherical surface 35f is disposed between the first curved surface 35a and the fourth curved surface 35d.
  • the second spherical surface 35f is continuously connected to the first curved surface 35a and the fourth curved surface 35d.
  • the third spherical surface 35g is disposed between the second curved surface 35b and the third curved surface 35c.
  • the third spherical surface 35g is continuously connected to the second curved surface 35b and the third curved surface 35c.
  • the fourth spherical surface 35h is disposed between the second curved surface 35b and the fourth curved surface 35d.
  • the fourth spherical surface 35h is continuously connected to the second curved surface 35b and the fourth curved surface 35d.
  • the second virtual projection plane 32 has a flat shape. Specifically, the whole including the outer edge portion of the second virtual projection plane 32 has a flat shape with a constant height from the ground. Accordingly, the first range R1, the second range R2, and the proximity range R0 of the second virtual projection plane 32 are flat shapes having a constant height from the ground. Specifically, the entire second virtual projection plane 32 has a flat shape located at the same height as the ground.
  • FIG. 9 is a flowchart showing processing executed by the controller 19 of the periphery monitoring device 10. Hereinafter, based on FIG. 9, the process for the periphery monitoring apparatus 10 to display an overhead image is demonstrated.
  • step S1 image capture is executed.
  • images are picked up by the cameras 11a-16a of the image pickup units 11-16, and the image data is stored in the frame memories 11b-16b of the image pickup units 11-16.
  • step S2 it is determined whether the work vehicle 1 is in a traveling state.
  • the traveling state determination unit 21 determines whether the work vehicle 1 is in a traveling state based on the vehicle speed. As described above, the traveling state determination unit 21 determines that the work vehicle 1 is in the traveling state when the vehicle speed is equal to or higher than the predetermined threshold. The traveling state determination unit 21 determines that the work vehicle 1 is in a stopped state when the vehicle speed is smaller than a predetermined threshold.
  • the process proceeds to step S3. That is, when the work vehicle 1 is stopped, the process proceeds to step S3.
  • an overhead image is created on the first virtual projection plane 31.
  • the overhead image creation unit 23 creates an overhead image using the first virtual projection plane 31 shown in FIG.
  • the bird's-eye view image is created by projecting the image data from each imaging unit 11-16 onto the first virtual projection plane 31 and synthesizing the image data.
  • FIG. 10 is an example of a bird's-eye view image created using the first virtual projection plane 31 (hereinafter referred to as “first bird's-eye view image 41”).
  • the outer frame of the first overhead image 41 has a rectangular shape.
  • the first bird's-eye view image 41 includes a model diagram 50 showing the work vehicle 1 in a top view and an image 51 around the work vehicle 1 in a top view.
  • the first bird's-eye view image 41 includes a plurality of reference lines 52-54 that indicate the distance from the work vehicle 1.
  • the reference line 52-54 includes a first reference line 52, a second reference line 53, and a third reference line 54.
  • the first reference line 52 indicates a position 3 m away from the work vehicle 1.
  • the second reference line 53 indicates a position 5 m away from the work vehicle 1.
  • the third reference line 54 indicates a position that is 7 m away from the work vehicle 1.
  • the second range R2 including the outer edge portion of the first virtual projection surface 31 is configured by the curved surfaces 35a to 35d and the spherical surfaces 35e to 35h. For this reason, in the part near the outer frame of the 1st bird's-eye view image 41, the image 51 is curved and displayed.
  • step S2 When it is determined in step S2 that the work vehicle 1 is in the traveling state, the process proceeds to step S4. That is, when the vehicle speed is equal to or higher than the predetermined threshold, the process proceeds to step S4.
  • step S ⁇ b> 4 an overhead image is created on the second virtual projection plane 32.
  • FIG. 11 is an example of an overhead image created using the second virtual projection plane 32 (hereinafter referred to as “second overhead image 42”). Similar to the first bird's-eye view image 41, the second bird's-eye view image 42 includes a model diagram 50 showing the work vehicle 1 in a top view and an image 51 around the work vehicle 1 in a top view.
  • the second bird's-eye view image 42 includes a plurality of reference lines 52-54, like the first bird's-eye view image 41.
  • the second virtual projection plane 32 has a generally flat shape. For this reason, in the 2nd bird's-eye view image 42, even if it is a part near an outer frame, like the 1st bird's-eye view image 41, it is prevented that image 51 is curving and displayed.
  • step S5 an overhead image is displayed on the display unit 18.
  • the first overhead image 41 or the second overhead image 42 described above is displayed on the display unit 18.
  • the first overhead image 41 is displayed on the display unit 18.
  • the second overhead image 42 is displayed on the display unit 18.
  • the size L3 (see FIG. 12B) of the object OB projected on the first changing unit 33 of the first virtual projection surface 31 of the present embodiment is projected on the virtual projection surface 300 arranged on the ground G. It is larger than the size L1 of the object OB (see FIG. 12A). For this reason, even if the object OB is located near the work vehicle 1, the object OB is displayed large in the first overhead image 41. Thus, the driver can easily recognize the object OB located near the work vehicle 1.
  • an overhead image is synthesized from images captured by a plurality of imaging units
  • FIG. 13A an example of creating an overhead image using a virtual projection plane 300 located at the same height as the ground will be described.
  • the virtual projection plane 300 is divided for each area captured by the plurality of imaging units 101 and 102.
  • the periphery monitoring device converts an image captured by each of the image capturing units 101 and 102 onto the virtual projection plane 300, thereby converting the image into an overhead image viewed from the virtual viewpoint 103 located above the work vehicle 100.
  • the value of the pixel 300 of the image projected on the virtual projection plane 300 is a value obtained by viewing the pixel 300 from the imaging unit 101 in charge of the region including the pixel 300. Therefore, when the object OB is located on the boundary BL between the areas of the two adjacent image pickup units 101 and 102 on the virtual projection plane 300, the line of sight of the image pickup units 101 and 102 penetrating through the upper part of the object OB does not exist. . In this case, the imaging units 101 and 102 image only the installation unit P1 of the object OB on the ground. For this reason, as shown in FIG.
  • the image 401 indicating the object OB in the bird's-eye view image 400 is shown only by a very small point, or the object disappears in the bird's-eye view image 400.
  • Such a problem of disappearance of the object can be solved by adding the image data of the respective imaging ranges in the overlapping area of the imaging ranges.
  • FIG. 14A there is a line of sight LS1 of the imaging unit 101 and a line of sight LS2 of the imaging unit 102 that penetrate the upper part of the object OB in the overlapping area OA.
  • FIG. 16B in the overlapping area OA of the overhead image 400, the image 402 captured by the imaging unit 101 and the image 403 captured by the imaging unit 102 are displayed together. Thereby, the disappearance of the object OB in the overlapping area OA is prevented.
  • the overlapping area OB of the imaging range becomes narrower as the work vehicle 100 is approached. For this reason, when the object OB is close to the work vehicle 100, the range in which the object OA can be displayed is narrowed. For this reason, only a part of the overhead image 400 object OB may be displayed. Therefore, as shown in FIG. 15A, it is conceivable to project the object OB on the virtual projection plane 301 arranged at a position higher than the ground G. In this case, the lines of sight LS3 and LS4 passing through the virtual projection plane 30 exist for the portion between the installation portion P1 on the ground of the object OB and the virtual projection plane 301.
  • FIG. 15B a wide range of the object OB can be displayed in the overhead image 400.
  • an image 404 captured by the imaging unit 101 and an image 405 captured by the imaging unit 102 are displayed together.
  • a wide range of the object OB can be displayed on the overhead image 400, but there is a problem that the size of the object OB is small in the overhead image 400. For example, as shown in FIG.
  • the size L2 of the object OB projected on the virtual projection plane 301 arranged at a position higher than the ground G is projected onto the virtual projection plane 300 arranged on the ground G. It becomes smaller than the size L1 of the object OB.
  • the object OB is displayed small in the overhead view image. For this reason, when the virtual projection plane 301 arranged at a position higher than the ground G is used, the object OB located near the work vehicle 1 is displayed smaller in the overhead image.
  • the first change unit 33 is inclined so that the height from the ground increases as the work vehicle 1 is approached. Yes.
  • the size L3 of the object OB in the overhead image is larger than the size L2 of the object OB projected on the virtual projection plane 301 arranged at a position higher than the ground G. Can be bigger.
  • the problem of disappearance of the object in the overhead image, the problem that the range in which the object is displayed becomes narrow, and the problem that the object is displayed small can be solved at the same time.
  • the flat part 34 of the first virtual projection plane 31 is present at a position farther from the work vehicle 1 than the first change part 33. Further, the object OB is displayed larger in the bird's-eye view image at a position away from the work vehicle 1 than in the vicinity of the work vehicle 1. Thereby, the problem of disappearance of the object is solved.
  • the object OB is displayed larger as the distance from the work vehicle 1 increases.
  • a second change part 35 is provided at a position farther from the work vehicle 1 than the flat part 34 on the first virtual projection plane 31. Yes. Since the height from the ground of the second change unit 35 increases as the distance from the work vehicle 1 increases, the object OB is displayed smaller as the distance from the work vehicle 1 increases. For this reason, it is possible to easily grasp the sense of distance between the work vehicle 1 and the object OB from the first overhead image 41.
  • the first changing portion 33 and the flat portion 34 are continuously connected. Moreover, the flat part 34 and the 2nd change part 35 are connected continuously. For this reason, the object OB is smoothly displayed on the overhead view image. Thereby, it is possible to create a bird's-eye view image with little discomfort given to the operator.
  • connection portion between the first change portion 33 and the flat portion 34 is located on the ground. Moreover, the connection part of the 2nd change part 35 and the flat part 34 is located on the ground. That is, the flat part 34 is a plane on the ground. For this reason, a natural bird's-eye view image can be created as if the operator is imaging the ground.
  • a dump truck is cited as an example of the work vehicle 1, but the present invention can also be applied to other types of work vehicles such as a bulldozer.
  • the second changing unit 35 may be omitted from the first virtual projection plane 31. That is, like the 1st virtual projection surface 31 shown in FIG. 16, you may be comprised by the change part 61 and the flat part 62.
  • FIG. The changing unit 61 is the same as the first changing unit 33 of the above embodiment. Therefore, the changing unit 61 has a shape in which the height from the ground increases as the work vehicle 1 is approached.
  • the changing unit 61 is located in the proximity range R0.
  • the flat part 34 is farther from the work vehicle 1 than the changing part 61, and extends to the outer frame of the first virtual projection plane 31. That is, the flat portion 34 is located in a range that combines the first range R1 and the second range R2.
  • the number of imaging units of the present invention is not limited to six as in the above embodiment. Further, the arrangement of the imaging units of the present invention is not limited to the arrangement of the imaging units 11-16 of the above-described embodiment.
  • the first changing portion 33 of the first virtual projection plane 31 is an inclined surface whose height from the ground continuously changes, but the height of the first changing portion 33 from the ground is a staircase. The shape may change. Similarly, the height from the ground of the second change unit 35 may change stepwise. However, from the viewpoint of forming a natural bird's-eye view image with little discomfort, the first changing portion 33 is preferably an inclined surface whose height from the ground changes continuously.
  • the second change portion 35 is an inclined surface whose height from the ground changes continuously.
  • the inclined surface of the first change portion 33 may be linear or curved.
  • the inclined surface of the second change portion 35 may be linear or curved.
  • the flat portion 34 of the first virtual projection plane 31 is not limited to the same height as the ground, and may be located at a height different from the ground.
  • the present invention can provide a work vehicle periphery monitoring device that can suppress the disappearance of an object in an overhead image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　作業車両の周辺監視装置において、第１撮像部は、作業車両の周囲の第１領域を撮像して第１画像データを得る。俯瞰画像作成部は、第１画像データを所定の仮想投影面（３１）に投影することにより、作業車両の周囲の俯瞰画像を作成する。仮想投影面（３１）は、作業車両に近づくほど地面からの高さが高くなる形状を含む。

Description

作業車両の周辺監視装置
　本発明は、作業車両の周辺監視装置に関する。
　従来、超大型の作業車両として、鉱山等で砕石を運搬するためのダンプトラックが広く用いられている。このようなダンプトラックは、一般的な車両に比較して著しく車幅が広く、また前後長が長いため、サイドミラー等によって作業車両周辺の状況を運転者が把握することは困難である。
　一方、車両周辺の状況を運転者に簡便に把握させることを目的として、周辺監視装置が提案されている。周辺監視装置は、車両に装着されたカメラなどの撮像部を含む。周辺監視装置は、撮像部によって撮像された画像を合成することにより、作業車両の周囲を示す俯瞰画像を作成する。例えば、特許文献１に示されている自動車の周辺監視装置では、俯瞰画像は、撮像部によって撮像された画像を仮想投影面上に投影することにより作成される。
特開平０３－０９９９５２号公報
　俯瞰画像は、画像を仮想投影面上に投影することにより作成される。このため、車両の近くに位置する物体が俯瞰画像において小さく表示されるという問題がある。例えば、図１７に示すように、物体ＯＢ１と物体ＯＢ２とが車両１００の周囲に位置しているものとする。物体ＯＢ２は、物体ＯＢ１よりも車両１００の近くに位置している。撮像部１０１によって物体ＯＢ１，ＯＢ２を撮像した画像が、仮想投影面３００に投影されることにより、仮想視点１０３から見た俯瞰画像が作成される。仮想投影面３００は、地面上に位置している。この場合、撮像部１０１から物体ＯＢ２への視線の角度θ２は、物体ＯＢ１への視線の角度θ１よりも急角度となる。このため、俯瞰画像において、物体ＯＢ１は、大きさＬ１０に相当するサイズで表示されるが、物体ＯＢ２は、Ｌ１０よりも小さいＬ２０に相当するサイズで表示される。このように、車両の近くに位置する物体が俯瞰画像において小さく表示されると、運転者が俯瞰画像において物体を発見することが困難になる。特に、一般的な自動車と異なり、車体サイズが非常に大きい作業車両では、作業車両の周囲に運転者にとって死角となる領域が多く存在する。このため、作業車両の近くに位置する物体を容易に認識できることが重要である。
　本発明の課題は、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる作業車両の周辺監視装置を提供することにある。
　本発明の第１の態様に係る作業車両の周辺監視装置は、第１撮像部と、俯瞰画像作成部と、表示部とを備える。第１撮像部は、作業車両に装着される。第１撮像部は、作業車両の周囲の第１領域を撮像して第１画像データを得る。俯瞰画像作成部は、第１画像データを所定の仮想投影面に投影することにより、作業車両の周囲の俯瞰画像を作成する。表示部は、俯瞰画像を表示する。仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。
　本発明の第２の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、仮想投影面は、変化部と、平坦部とを含む。変化部は、作業車両に近づくほど地面からの高さが高くなる。平坦部は、変化部よりも作業車両から離れた位置において変化部に連続的に繋がっている。平坦部の地面からの高さは一定である。また、変化部は、作業車両と平坦部との間に位置する。
　本発明の第３の態様に係る作業車両の周辺監視装置は、第２の態様の作業車両の周辺監視装置であって、変化部と平坦部との接続部分は、地面上に位置する。
　本発明の第４の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、仮想投影面は、第１変化部と、平坦部と、第２変化部とを含む。第１変化部の地面からの高さは、作業車両に近づくほど高くなる。平坦部は、第１変化部よりも作業車両から離れた位置において第１変化部に連続的に繋がっている。平坦部の地面からの高さは一定である。第２変化部は、平坦部よりも作業車両から離れた位置において、平坦部に連続的に繋がっている。第２変化部の地面からの高さは、作業車両から遠ざかるほど高くなる。
　本発明の第５の態様に係る作業車両の周辺監視装置は、第４の態様の作業車両の周辺監視装置であって、第２変化部と平坦部との接続部分は、地面上に位置する。
　本発明の第６の態様に係る作業車両の周辺監視装置は、第１の態様の作業車両の周辺監視装置であって、第２撮像部をさらに備える。第２撮像部は、作業車両に装着される。第２撮像部は、第２領域を撮像して第２画像データを得る。第２領域は、第１領域と部分的に重複する作業車両の周囲の領域である。俯瞰画像作成部は、俯瞰画像において、第１領域と第２領域との重複領域における第１画像データの画像と、重複領域における第２画像データの画像とを重ねて表示する。
　本発明の第７の態様に係る作業車両は、第１から第６の態様のいずれかの周辺監視装置を備える。
　本発明の第１の態様に係る作業車両の周辺監視装置では、仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。このため、作業車両の近くに位置する物体が、俯瞰画像において大きく表示される。これにより、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる。
　本発明の第２の態様に係る作業車両の周辺監視装置では、変化部と平坦部とは連続的に繋がっているため、俯瞰画像上において物体が滑らかに表示される。これにより、オペレータにとって違和感の少ない俯瞰画像を作成することができる。また、平坦部が、変化部よりも作業車両から離れた位置に存在するため、作業車両から離れた位置では、俯瞰画像での物体の変形が抑えられる。
　本発明の第３の態様に係る作業車両の周辺監視装置では、変化部と平坦部との接続部分は、地面上に位置する。すなわち、平坦部は地面上の平面である。このため、オペレータにとって地面を撮影しているかのように自然な俯瞰画像を作成することができる。
　本発明の第４の態様に係る作業車両の周辺監視装置では、仮想投影面の第１変化部によって、俯瞰画像において作業車両の近くの物体が大きく表示される。平坦部が変化部よりも作業車両から離れた位置に存在するため、平坦部に投影された物体は、俯瞰画像において大きく表示される。また、平坦部では、作業車両から離れるほど物体が大きく表示されるが、平坦部よりも作業車両から離れた位置には第２変化部が設けられている。第２変化部の地面からの高さは作業車両から遠ざかるほど高くなるため、物体は作業車両から離れるほど小さく表示される。このため、俯瞰画像によって作業車両と物体との間の距離感を容易に把握することができる。さらに、第１変化部と平坦部とは、連続的に繋がっている。また、平坦部と第２変化部とは、連続的に繋がっている。このため、俯瞰画像上において物体が滑らかに表示される。これにより、オペレータに違和感を与え難い俯瞰画像を作成することができる。
　本発明の第５の態様に係る作業車両の周辺監視装置では、第２変化部と平坦部との接続部分は、地面上に位置する。すなわち、平坦部は地面上の平面である。このため、オペレータにとって地面を撮影しているかのように自然な俯瞰画像を作成することができる。また、第１変化部の地面からの高さは、地面上から作業車両に近づくほど高くなる。このため、仮想投影面が全て地面上の平面である場合よりも、俯瞰画像において作業車両近傍の物体が大きく表示される。さらに、第２変化部の地面からの高さは、地面上から作業車両から遠ざかるほど高くなる。このため、仮想投影面が全て地面上の平面である場合よりも、作業車両と物体との間の距離感を容易に把握することができる。
　本発明の第６の態様に係る作業車両の周辺監視装置では、俯瞰画像作成部は、重複領域において第１画像データの画像と第２画像データの画像とを重ねて表示する。このため、俯瞰画像において重複領域での物体の消失を抑えることができる。また、仮想投影面が作業車両に近づくほど地面からの高さが高くなる形状を含むことにより、重複領域において作業車両の近傍に位置する物体が俯瞰画像において大きく表示される。これにより、俯瞰画像において撮像部の重複領域において作業車両の近くに位置する物体を容易に認識することができる。
　本発明の第７の態様に係る作業車両では、仮想投影面は、作業車両に近づくほど地面からの高さが高くなる形状を含む。このため、作業車両の近くに位置する物体が、俯瞰画像において大きく表示される。これにより、俯瞰画像において作業車両の近くに位置する物体を容易に認識することができる。
本発明の一実施形態に係る作業車両の全体構成を示す斜視図。 本発明の一実施形態に係る周辺監視装置の構成を示すブロック図。 周辺監視装置の複数の撮像部の装着位置を示す作業車両の斜視図。 周辺監視装置の複数の撮像部の装着位置と撮像範囲とを示す上面図。 仮想投影面を用いた画像変換の手法を示す図。 第１仮想投影面の一例を示す模式図。 第２仮想投影面の一例を示す模式図。 仮想投影面に含まれる第１～近接範囲の位置を示す上面図。 周辺監視装置のコントローラが実行する処理を示すフローチャート。 停止状態での俯瞰画像の例を示す模式図。 走行状態での俯瞰画像の例を示す模式図。 本実施形態に係る周辺監視装置の効果を説明するための模式図。 従来の周辺監視装置における物体の消失の発生原因を説明するための模式図。 本実施形態に係る周辺監視装置の効果を説明するための模式図。 本実施形態に係る周辺監視装置の効果を説明するための模式図。 他の実施形態に係る第１仮想投影面の一例を示す模式図。 従来の周辺監視装置における課題を説明するための模式図。
　以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の説明において、「前」「後」「左」「右」とは、運転席に着座した運転者を基準とする用語であり、「車幅方向」は、「左右方向」と同義である。
　図１は、本発明の一実施形態に係る作業車両１を示す斜視図である。作業車両１は、鉱山作業などに用いられる自走式の超大型のダンプトラックである。
　作業車両１は主に、車体フレーム２と、キャブ３と、ベッセル４と、前輪５と、後輪６とを備える。また、作業車両１は、作業車両１の周囲を監視して、その結果を表示する周辺監視装置１０（図２参照）を備える。周辺監視装置１０の詳細については後述する。
　車体フレーム２は、図示しないディーゼルエンジンやトランスミッション等の動力機構と、その他の補機類とを支持している。また、車体フレーム２の前部には、左右の前輪５（図１では右前輪のみ図示）が支持されている。車体フレーム２の後部に左右の後輪６（図１では右後輪のみ図示）が支持されている。車体フレーム２は、ロアデッキ２ａと、アッパデッキ２ｂとを有する。ロアデッキ２ａは、車体フレーム２の前面の下部に取り付けられている。アッパデッキ２ｂは、ロアデッキ２ａの上方に配置されている。ロアデッキ２ａと地面との間には例えば可動式ラダー２ｃが配置されている。また、ロアデッキ２ａとアッパデッキ２ｂとの間には斜めラダー２ｄが配置されている。アッパデッキ２ｂ上には、柵状の手すり２ｅが配置されている。
　キャブ３は、アッパデッキ２ｂ上に配置されている。キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも車幅方向における一方側に偏っては位置されている。具体的には、キャブ３は、アッパデッキ２ｂ上において車幅方向の中央よりも左側方に位置している。キャブ３内には、運転席、ハンドル、シフトレバー、アクセルペダル、ブレーキペダル等の操作部材（図示せず）が配置されている。
　ベッセル４は、砕石等の重量物を積載するための容器である。ベッセル４の底面の後部は、回動ピン（図示せず）を介して、車体フレーム２の後部に回動可能に連結されている。ベッセル４は、図示しない油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取り得る。積載姿勢は、図１に示すようにベッセル４の前部がキャブ３の上部に位置する姿勢である。起立姿勢は、積載物を排出する姿勢であり、ベッセル４が後方且つ下方へ向かった傾斜した状態となる。ベッセル４の前部が上方に回動することにより、ベッセル４は積載姿勢から起立姿勢に変化する。
　図２は、作業車両１が備える周辺監視装置１０の構成を示すブロック図である。周辺監視装置１０は、複数の撮像部１１－１６と、車速検知部１７と、表示部１８と、コントローラ１９と、を有する。
　撮像部１１－１６は、作業車両１に装着される。撮像部１１－１６は、作業車両１の周囲の領域を撮像して画像データを取得する。撮像部１１－１６は、それぞれカメラ１１ａ－１６ａとフレームメモリ１１ｂ－１６ｂとを有する。フレームメモリ１１ｂ－１６ｂはカメラ１１ａ－１６ａによって撮像された画像データを一時的に保存する。複数の撮像部１１－１６は、第１～第６撮像部１１－１６を有する。図３は、第１～第６撮像部１１－１６の装着位置を示す作業車両１の斜視図である。図４は、第１～第６撮像部１１－１６の装着位置と撮像範囲とを示す作業車両１の上面図である。
　図３に示すように、第１撮像部１１は、作業車両１の前面に取り付けられる。具体的には、第１撮像部１１は、斜めラダー２ｄの上端部に配置される。図４に示すように、第１撮像部１１は、作業車両１の周囲の第１領域１１Ｒを撮像して第１画像データを得る。第１領域１１Ｒは、作業車両１の前方に位置する。
　図３に示すように、第２撮像部１２は、作業車両１の前面の一方の側部に取り付けられる。具体的には、第２撮像部１２は、アッパデッキ２ｂの前面の左側部に配置される。図４に示すように、第２撮像部１２は、作業車両１の周囲の第２領域１２Ｒを撮像して第２画像データを得る。第２領域１２Ｒは、作業車両１の左斜め前方に位置する。図３に示すように、第３撮像部１３は、作業車両１の前面の他方の側部に取り付けられる。具体的には、第３撮像部１３は、第２撮像部１２と左右対称位置に配置される。すなわち、第３撮像部１３は、アッパデッキ２ｂの前面の右側部に配置される。図４に示すように、第３撮像部１３は、作業車両１の周囲の第３領域１３Ｒを撮像して第３画像データを得る。第３領域１３Ｒは、作業車両１の右斜め前方に位置する。
　図３に示すように、第４撮像部１４は、作業車両１の一方の側面に取り付けられる。具体的には、第４撮像部１４は、アッパデッキ２ｂの左側面の前部に配置される。図４に示すように、第４撮像部１４は、作業車両１の周囲の第４領域１４Ｒを撮像して、第４画像データを得る。第４領域１４Ｒは、作業車両１の左斜め後方に位置する。図３に示すように、第５撮像部１５は、作業車両１の他方の側面に取り付けられる。具体的には、第５撮像部１５は、第４撮像部１４と左右対称位置に配置される。すなわち、第５撮像部１５は、アッパデッキ２ｂの右側面の前部に配置される。図４に示すように、第５撮像部１５は、作業車両１の周囲の第５領域１５Ｒを撮像して第５画像データを得る。第５領域１５Ｒは、作業車両１の右斜め後方に位置する。
　図３に示すように、第６撮像部１６は、作業車両１の後部に取り付けられる。具体的には、第６撮像部１６は、２つの後輪６を連結するアクスル軸（図示せず）の上方であって、ベッセル４の回動軸付近に配置される。図４に示すように、第６撮像部１６は、作業車両１の周囲の第６領域１６Ｒを撮像して第６画像データを得る。第６領域１６Ｒは、作業車両１の後方に位置する。
　以上の６台の撮像部１１－１６によれば、図４の中央図に示すように、作業車両１のほぼ全周囲の画像を取得することができる。図４の中央図に示すように、第１～第６領域１６Ｒのうち隣接する２つの領域は、部分的に互いに重なっている。具体的には、第１領域１１Ｒは、第１重複領域ＯＡ１において第２領域１２Ｒと部分的に重なっている。また、第１領域１１Ｒは、第２重複領域ＯＡ２において第３領域１３Ｒと部分的に重なっている。第２領域１２Ｒは、第３重複領域ＯＡ３において第４領域１４Ｒと部分的に重なっている。第３領域１３Ｒは、第４重複領域ＯＡ４において第５領域１５Ｒと部分的に重なっている。第４領域１４Ｒは、第５重複領域ＯＡ５において第６領域１６Ｒと部分的に重なっている。また、第５領域１５Ｒは、第６重複領域ＯＡ６において第６領域１６Ｒと部分的に重なっている。第１～第６撮像部１１－１６は、それぞれ撮像した画像を示す画像データをコントローラ１９に送信する。
　車速検知部１７は、作業車両１の車速を検知する。車速検知部１７は、例えばトランスミッションの出力軸の回転速度などに基づいて作業車両１の車速を検知する。車速検知部１７は、検知した車速を示す車速データをコントローラ１９に送信する。
　表示部１８は、キャブ３内に配置されるモニタである。表示部１８は、キャブ３内において運転席の前方に配置される。表示部１８は、コントローラ１９の制御に応じて画像を表示する。
　コントローラ１９は、撮像部１１－１６からの画像データに基づき、作業車両１の周囲を示す俯瞰画像を作成する。コントローラ１９は、作成した俯瞰画像を示す出力信号を表示部１８に出力する。表示部１８は、コントローラ１９からの出力信号により俯瞰画像を表示する。図２に示すように、コントローラ１９は、走行状態判定部２１と、記憶部２２と、俯瞰画像作成部２３とを有する。
　走行状態判定部２１は、車速検知部１７からの車速データに基づいて、作業車両１の走行状態を判定する。走行状態判定部２１は、車速が所定の閾値以上であるときには、作業車両１が走行状態であると判定する。走行状態判定部２１は、車速が所定の閾値より小さいときには、作業車両１が停止状態であると判定する。従って、車速がゼロであるときだけではなく、車速の小さい低速走行状態も上記の停止状態に含まれる。
　記憶部２２は、コントローラ１９が俯瞰画像を作成するために必要な各種の情報を記憶している。具体的には、記憶部２２は、後述する第１変換情報と第２変換情報と合成比率とを記憶している。
　俯瞰画像作成部２３は、撮像部１１－１６のそれぞれから画像データを受信する。俯瞰画像作成部２３は、複数の画像データによって示される複数の画像に基づいて、作業車両１の周囲の俯瞰画像を作成する。具体的には、俯瞰画像作成部２３は、記憶部２２に保存されている変換情報を用いて画像データの座標変換を行う。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。ここで、入力画像は、各撮像部１１－１６によって撮像された画像である。また、出力画像は、表示部１８に表示される俯瞰画像である。俯瞰画像作成部２３は、変換情報を用いて、撮像部１１－１６によって撮像された画像を、作業車両１の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、図５に示すように、撮像部１１－１６によって撮像された画像は、所定の仮想投影面３０上に投影されることにより、作業車両１の上方に位置する仮想視点２０から見た画像に変換される。変換情報は、この仮想投影面３０を表している。俯瞰画像作成部２３は、複数の撮像部１１－１６からの画像データを所定の仮想投影面に投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。すなわち、第１～第６画像データを所定の仮想投影面に投影して合成することにより、作業車両１の周囲の俯瞰画像を作成する。
　上述したように、各撮像部１１－１６が撮像する作業車両１の周囲の領域は、第１～第６重複領域ＯＡ１－ＯＡ６において重複している。俯瞰画像作成部２３は、俯瞰画像において、各重複領域ＯＡ１－ＯＡ６において互いに隣接する２つの撮像部１１－１６からの画像データの画像を重ねて表示する。具体的には、俯瞰画像作成部２３は、第１重複領域ＯＡ１では、第１撮像部１１からの第１画像データの画像と、第２撮像部１２からの第２画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第２重複領域ＯＡ２では、第１撮像部１１からの第１画像データの画像と、第３撮像部１３からの第３画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第３重複領域ＯＡ３では、第２撮像部１２からの第２画像データの画像と、第４撮像部１４からの第４画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第４重複領域ＯＡ４では、第３撮像部１３からの第３画像データの画像と、第５撮像部１５からの第５画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第５重複領域ＯＡ５では、第４撮像部１４からの第４画像データの画像と、第６撮像部１６からの第６画像データの画像とを重ねて表示する。俯瞰画像作成部２３は、第６重複領域ＯＡ６では、第５撮像部１５からの第５画像データの画像と、第６撮像部１６からの第６画像データの画像とを重ねて表示する。このように重複領域ＯＡ１－ＯＡ６において２つの画像データを重ねて合成する場合には、各画像データの値に合成比率を乗じた値が足し合わされる。合成比率は、各画像データに対応した値であり、記憶部２２に記憶されている。例えば、第１画像データの合成比率が０．５であり、第２画像データの合成比率が０．５であるなど、画像データごとに合成比率が定められている。このように合成比率が用いられることにより、重複領域ＯＡ１－ＯＡ６において複数の画像データが平均化されて表示される。これにより、色やコントラストの急激な変化が抑えられ、自然な俯瞰画像を作成することができる。俯瞰画像作成部２３は、上記のように合成された俯瞰画像を示す俯瞰画像データを生成して、俯瞰画像データを表示部１８に送信する。
　俯瞰画像作成部２３は、複数の仮想投影面を選択的に用いて、俯瞰画像を作成する。具体的には、俯瞰画像作成部２３は、図６に示す第１仮想投影面３１と、図７に示す第２仮想投影面３２とを用いて俯瞰画像を作成する。図６（ａ）は、第１仮想投影面３１の斜視図である。図６（ｂ）は、図６（ａ）における第１仮想投影面３１のＡ１－Ａ１断面図である。図６（ｃ）は、図６（ａ）における第１仮想投影面３１のＢ１－Ｂ１断面図である。図７（ａ）は、第２仮想投影面３２の斜視図である。図７（ｂ）は、図７（ａ）における第２仮想投影面３２のＡ２－Ａ２断面図である。図７（ｃ）は、図７（ａ）における第２仮想投影面３２のＢ２－Ｂ２断面図である。上述したように、記憶部２２は、第１変換情報と第２変換情報とを記憶している。第１変換情報は、第１仮想投影面３１を示すデータである。第２変換情報は、第２仮想投影面３２を示すデータである。俯瞰画像作成部２３は、第１変換情報を用いて画像データの座標変換を行うことにより、各撮像部１１－１６が撮像した画像を第１仮想投影面３１に投影した俯瞰画像を作成する。俯瞰画像作成部２３は、第２変換情報を用いて画像データの座標変換を行うことにより、各撮像部１１－１６が撮像した画像を第２仮想投影面３２に投影した俯瞰画像を作成する。
　図６に示すように、第１仮想投影面３１は、作業車両１に近づくほど地面からの高さが高くなる形状を含む。第１仮想投影面３１の中央部は、作業車両１に近づくほど地面からの高さが高くなる形状である。第１仮想投影面３１の外縁部は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。ここで、図８に示すように、仮想投影面３１，３２上において、作業車両１の前後方向及び車幅方向の中心Ｃ１（以下、「車両中心Ｃ１」と呼ぶ）から作業車両１の前方、左側方、右側方、後方にそれぞれ所定距離、離れた位置までの範囲を近接範囲Ｒ０と規定する。近接範囲Ｒ０に隣接して近接範囲Ｒ０よりも作業車両１から離れた範囲を第１範囲Ｒ１と規定する。また、第１範囲Ｒ１に隣接して第１範囲Ｒ１よりも作業車両１から離れた範囲を第２範囲Ｒ２と規定する。第２範囲Ｒ２は、各仮想投影面３１，３２の外縁部を含む。
　図６に示すように、第１仮想投影面３１は、第１変化部３３と、平坦部３４と、第２変化部３５とを含む。第１変化部３３は、図８に示す近接範囲Ｒ０に位置する。第１変化部３３の地面からの高さは、車両中心Ｃ１に近づくほど高くなる。すなわち、第１変化部３３の地面からの高さは、作業車両１に近づくほど高くなる。従って、第１仮想投影面３１の近接範囲Ｒ０は、地面からの高さが作業車両１に近づくほど高くなる形状である。第１変化部３３は、車両中心Ｃ１に向かって上方に傾斜した形状である。第１変化部３３の頂点は、作業車両１の内部に相当する位置に位置している。第１変化部３３は、複数の撮像部１１－１６のうち最も低い位置に設置されている撮像部よりも下方に位置している。平坦部３４は、第１仮想投影面３１の第１範囲Ｒ１に位置する。平坦部３４は、第１変化部３３よりも作業車両１から離れた位置において第１変化部３３に連続的に繋がっている。第１変化部３３と平坦部３４との接続部分は、地面上に位置する。平坦部３４の地面からの高さは一定である。従って、第１仮想投影面３１の第１範囲Ｒ１は、地面からの高さが一定の平坦な形状である。具体的には、平坦部３４は、地面と同じ高さの平面である。従って、第１仮想投影面３１の第１範囲Ｒ１は、地面と同じ高さの平坦な形状である。第２変化部３５は、第１仮想投影面３１の第２範囲Ｒ２に位置している。第２変化部３５は、平坦部３４よりも作業車両１から離れた位置において、平坦部３４に連続的に繋がっている。第２変化部３５の地面からの高さは、作業車両１から遠ざかるほど高くなる。従って、第１仮想投影面３１の第２範囲Ｒ２は、作業車両１から遠ざかるほど地面からの高さが高くなる形状である。第２変化部３５は、作業車両１から離れる方向に向かって上方に傾斜した形状である。第２変化部３５と平坦部３４との接続部分は、地面上に位置する。
　第１仮想投影面３１の第２範囲Ｒ２すなわち第２変化部３５は、複数の湾曲面３５ａ－３５ｄと、複数の球面３５ｅ－３５ｈとを含む。湾曲面３５ａ－３５ｄは、作業車両１の外形に対応する矩形の各辺に平行な仮想軸を中心に湾曲している。球面３５ｅ－３５ｈは、隣接する一対の湾曲面３５ａ－３５ｄの間にそれぞれ配置されている。球面３５ｅ－３５ｈは、隣接する一対の湾曲面３５ａ－３５ｄと連続的につながっている。具体的には、第２変化部３５は、第１～第４湾曲面３５ａ－３５ｄと、第１～第４球面３５ｅ－３５ｈとを含む。第１湾曲面３５ａは、作業車両１の前方に位置する。図６（ａ）に示すように、第１湾曲面３５ａは、仮想軸Ｃ２を中心に湾曲している。仮想軸Ｃ２は、作業車両１の外形に対応する矩形の前面の辺に平行な軸線である。第２湾曲面３５ｂは、作業車両１の後方に位置する。図６（ａ）に示すように、第２湾曲面３５ｂは、仮想軸Ｃ３を中心に湾曲している。仮想軸Ｃ３は、作業車両１の外形に対応する矩形の後面の辺に平行な軸線である。第３湾曲面３５ｃは、作業車両１の左側方に位置する。図６（ｂ）に示すように、第３湾曲面３５ｃは、仮想軸Ｃ４を中心に湾曲している。仮想軸Ｃ４は、作業車両１の外形に対応する矩形の左側面の辺に平行な軸線である。第４湾曲面３５ｄは、作業車両１の右側方に位置する。図６（ｂ）に示すように、第４湾曲面３５ｄは、仮想軸Ｃ５を中心に湾曲している。仮想軸Ｃ５は、作業車両１の外形に対応する矩形の右側面の辺に平行な軸線である。
　第１球面３５ｅは、第１湾曲面３５ａと第３湾曲面３５ｃとの間に配置されている。第１球面３５ｅは、第１湾曲面３５ａと第３湾曲面３５ｃとに連続的につながっている。第２球面３５ｆは、第１湾曲面３５ａと第４湾曲面３５ｄとの間に配置されている。第２球面３５ｆは、第１湾曲面３５ａと第４湾曲面３５ｄとに連続的につながっている。第３球面３５ｇは、第２湾曲面３５ｂと第３湾曲面３５ｃとの間に配置されている。第３球面３５ｇは、第２湾曲面３５ｂと第３湾曲面３５ｃとに連続的につながっている。第４球面３５ｈは、第２湾曲面３５ｂと第４湾曲面３５ｄとの間に配置されている。第４球面３５ｈは、第２湾曲面３５ｂと第４湾曲面３５ｄとに連続的につながっている。
　図７に示すように、第２仮想投影面３２は平坦な形状を有する。詳細には、第２仮想投影面３２の外縁部を含む全体が、地面からの高さが一定の平坦な形状である。従って、第２仮想投影面３２の第１範囲Ｒ１と第２範囲Ｒ２と近接範囲Ｒ０は、地面からの高さが一定の平坦な形状である。具体的には、第２仮想投影面３２の全体が、地面と同じ高さに位置する平坦な形状を有する。
　図９は、周辺監視装置１０のコントローラ１９によって実行される処理を示すフローチャートである。以下、図９に基づいて、周辺監視装置１０が俯瞰画像を表示するための処理について説明する。
　まず、ステップＳ１において、画像の取り込みが実行される。ここでは、各撮像部１１－１６のカメラ１１ａ－１６ａによって画像が撮像され、画像データが各撮像部１１－１６のフレームメモリ１１ｂ－１６ｂに保存される。
　ステップＳ２では、作業車両１が走行状態であるのか否かが判定される。ここでは、走行状態判定部２１が、車速に基づいて作業車両１が走行状態であるのか否かを判定する。上述したように、走行状態判定部２１は、車速が所定の閾値以上であるときに、作業車両１が走行状態であると判定する。また、走行状態判定部２１は、車速が所定の閾値より小さいときに、作業車両１が停止状態であると判定する。作業車両１が走行状態ではないときにはステップＳ３に進む。すなわち、作業車両１が停止状態であるときには、ステップＳ３に進む。
　ステップＳ３では、第１仮想投影面３１にて俯瞰画像が作成される。ここでは、俯瞰画像作成部２３は、図６に示す第１仮想投影面３１を用いて、俯瞰画像を作成する。具体的には、各撮像部１１－１６からの画像データを第１仮想投影面３１上に投影して合成することにより、俯瞰画像を作成する。図１０は、第１仮想投影面３１を用いて作成された俯瞰画像（以下、「第１俯瞰画像４１」と呼ぶ）の一例である。第１俯瞰画像４１の外枠は長方形の形状を有する。第１俯瞰画像４１は、上面視における作業車両１を示すモデル図５０と、上面視における作業車両１の周囲の画像５１とを含む。また、第１俯瞰画像４１は、作業車両１からの距離を示す複数の基準線５２－５４を含む。基準線５２－５４は、第１基準線５２と第２基準線５３と第３基準線５４とを含む。例えば、第１基準線５２は、作業車両１から３ｍ離れた位置を示す。第２基準線５３は、作業車両１から５ｍ離れた位置を示す。第３基準線５４は、作業車両１から７ｍ離れた位置を示す。上述したように、第１仮想投影面３１の外縁部を含む第２範囲Ｒ２は湾曲面３５ａ－３５ｄ及び球面３５ｅ－３５ｈによって構成されている。このため、第１俯瞰画像４１の外枠に近い部分では、画像５１が湾曲して表示される。
　ステップＳ２において、作業車両１が走行状態であると判定されたときには、ステップＳ４に進む。すなわち、車速の所定の閾値以上であるときには、ステップＳ４に進む。ステップＳ４では、第２仮想投影面３２にて俯瞰画像が作成される。図１１は、第２仮想投影面３２を用いて作成された俯瞰画像（以下、「第２俯瞰画像４２」と呼ぶ）の一例である。第２俯瞰画像４２は、第１俯瞰画像４１と同様に、上面視における作業車両１を示すモデル図５０と、上面視における作業車両１の周囲の画像５１とを含む。また、第２俯瞰画像４２は、第１俯瞰画像４１と同様に、複数の基準線５２－５４を含む。上述したように、第２仮想投影面３２は全体的に平坦な形状である。このため、第２俯瞰画像４２では、外枠に近い部分であっても、第１俯瞰画像４１のように、画像５１が湾曲して表示されることが防止される。
　ステップＳ５では、俯瞰画像が表示部１８に表示される。ここでは、上述した第１俯瞰画像４１又は第２俯瞰画像４２が表示部１８に表示される。具体的には、作業車両１が停止状態であるときには、第１俯瞰画像４１が表示部１８に表示される。作業車両２が走行状態であるときには、第２俯瞰画像４２が表示部１８に表示される。
　次に、本実施形態に係る作業車両１の周辺監視装置１０の特徴について説明する。
　本実施形態の第１仮想投影面３１の第１変化部３３に投影された物体ＯＢの大きさＬ３（図１２（ｂ）参照）は、地面Ｇに配置された仮想投影面３００に投影された物体ＯＢの大きさＬ１（図１２（ａ）参照）よりも大きい。このため、物体ＯＢが作業車両１の近くに位置していても、第１俯瞰画像４１において物体ＯＢが大きく表示される。これにより、運転者は、作業車両１の近くに位置する物体ＯＢを容易に認識することができる。
　一般的に、俯瞰画像が、複数の撮像部によって撮像された画像から合成される場合、俯瞰画像において、各撮像部の撮像範囲の境界部分に位置する物体が消失するという問題がある。例えば、図１３（ａ）に示すように、地面と同じ高さに位置する仮想投影面３００を用いて俯瞰画像を作成する例について説明する。この例では、仮想投影面３００は、複数の撮像部１０１，１０２が撮像する領域ごとに分割されている。周辺監視装置は、各撮像部１０１，１０２によって撮像された画像を仮想投影面３００上に投影することにより、作業車両１００の上方に位置する仮想視点１０３から見た俯瞰画像に変換する。この場合、仮想投影面３００上に投影された画像の画素３００の値は、当該画素３００が含まれる領域を担当する撮像部１０１から当該画素３００を見た値である。従って、物体ＯＢが、仮想投影面３００において、隣接する２つの撮像部１０１，１０２の領域の境界ＢＬ上に位置していると、物体ＯＢの上部を貫く撮像部１０１，１０２の視線が存在しない。この場合、撮像部１０１，１０２は、地面上の物体ＯＢの設置部Ｐ１のみしか撮像していない。このため、図１３（ｂ）に示すように、俯瞰画像４００において物体ＯＢを示す像４０１は、極小さな点でしか示されないか、或いは、俯瞰画像４００において物体が消失する。このような物体の消失の問題は、撮像範囲の重複領域において、各撮像範囲の画像データを足し合わせることによって解決することができる。この場合、図１４（ａ）に示すように、重複領域ＯＡにおいて物体ＯＢの上部を貫く撮像部１０１の視線ＬＳ１と撮像部１０２の視線ＬＳ２とが存在する。このため、図１６（ｂ）に示すように、俯瞰画像４００の重複領域ＯＡにおいて、撮像部１０１が撮像した像４０２と撮像部１０２が撮像した像４０３とが共に表示される。これにより、重複領域ＯＡ内の物体ＯＢの消失が防止される。
　しかし、図１４（ａ）に示すように、撮像範囲の重複領域ＯＢは、作業車両１００に近づくほど狭くなる。このため、物体ＯＢが作業車両１００に近い位置にある場合、物体ＯＡを表示できる範囲が狭くなる。このため、俯瞰画像４００物体ＯＢの一部しか表示されないことがある。そこで、図１５（ａ）に示すように、地面Ｇより高い位置に配置される仮想投影面３０１に物体ＯＢを投影することが考えられる。この場合、物体ＯＢの地面上の設置部Ｐ１と仮想投影面３０１との間の部分に対しては、仮想投影面３０を通過する視線ＬＳ３，ＬＳ４が存在する。また、物体ＯＢの頂上部Ｐ２を通る視線ＬＳ５が存在する。これにより、図１５（ｂ）に示すように、俯瞰画像４００において、物体ＯＢの広い範囲を表示することができる。俯瞰画像４００においては、撮像部１０１が撮像した像４０４と撮像部１０２が撮像した像４０５とが共に表示される。しかし、この場合、物体ＯＢの広い範囲を俯瞰画像４００に表示することができるが、俯瞰画像４００において物体ＯＢの大きさが小さくなるという問題がある。例えば、図１２（ａ）に示すように、地面Ｇより高い位置に配置された仮想投影面３０１に投影された物体ＯＢの大きさＬ２は、地面Ｇ上に配置された仮想投影面３００に投影された物体ＯＢの大きさＬ１よりも小さくなってしまう。上述したように、作業車両１の近くでは、俯瞰画像において物体OBが小さく表示される。このため、地面Ｇより高い位置に配置された仮想投影面３０１が用いられると、作業車両１の近くに位置する物体ＯＢは、俯瞰画像においてさらに小さく表示されてしまう。
　以上のような問題に対して、本実施形態に係る作業車両１の周辺監視装置１０では、第１変化部３３は、作業車両１に近づくほど地面からの高さが高くなるように傾斜している。このため、図１２（ｂ）に示すように、俯瞰画像での物体ＯＢの大きさＬ３を、地面Ｇより高い位置に配置される仮想投影面３０１に投影される物体ＯＢの大きさＬ２よりも大きくすることができる。これにより、俯瞰画像における物体の消失の問題と、物体が表示される範囲が狭くなる問題と、物体が小さく表示される問題とを同時に解決することができる。
　第１仮想投影面３１の平坦部３４が、第１変化部３３よりも作業車両１から離れた位置に存在する。また、作業車両１から離れた位置では、作業車両１の近傍よりも俯瞰画像において物体ＯＢが大きく表示される。これにより、物体の消失の問題を解消される。
　平坦部３４では、作業車両１から離れるほど物体ＯＢが大きく表示されるが、第１仮想投影面３１において平坦部３４よりも作業車両１から離れた位置には第２変化部３５が設けられている。第２変化部３５の地面からの高さは作業車両１から遠ざかるほど高くなるため、物体ＯＢは作業車両１から離れるほど小さく表示される。このため、第１俯瞰画像４１によって作業車両１と物体ＯＢとの間の距離感を容易に把握することができる。
　第１変化部３３と平坦部３４とは、連続的に繋がっている。また、平坦部３４と第２変化部３５とは、連続的に繋がっている。このため、俯瞰画像上において物体ＯＢが滑らかに表示される。これにより、オペレータに与える違和感が少ない俯瞰画像を作成することができる。
　第１変化部３３と平坦部３４との接続部分は、地面上に位置する。また、第２変化部３５と平坦部３４との接続部分は、地面上に位置する。すなわち、平坦部３４は地面上の平面である。このため、オペレータにとって地面を撮像しているかのように自然な俯瞰画像を作成することができる。
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　上記の実施形態では、作業車両１の一例としてダンプトラックが挙げられているが、本発明は、例えばブルドーザーなどの他の種類の作業車両にも適用することができる。
　第１仮想投影面３１において第２変化部３５が省略されてもよい。すなわち、図１６に示す第１仮想投影面３１のように、変化部６１と平坦部６２とによって構成されてもよい。変化部６１は、上記の実施形態の第１変化部３３と同様である。従って、変化部６１は、作業車両１に近づくほど地面からの高さが高くなる形状である。変化部６１は、近接範囲Ｒ０に位置する。平坦部３４は、変化部６１よりも作業車両１から離れており、第１仮想投影面３１の外枠まで延びている。すなわち、平坦部３４は、第１範囲Ｒ１と第２範囲Ｒ２とを合わせた範囲に位置する。
　本発明の撮像部の数は上記の実施形態のように６台に限られない。また、本発明の撮像部の配置は上記の実施形態の撮像部１１－１６の配置に限られない。上記の実施形態では、第１仮想投影面３１の第１変化部３３は、地面からの高さが連続的に変化する傾斜面であるが、第１変化部３３の地面からの高さが階段状に変化してもよい。同様に、第２変化部３５の地面からの高さが階段状に変化してもよい。ただし、違和感の少ない自然な俯瞰画像を形成する観点からは、第１変化部３３は、地面からの高さが連続的に変化する傾斜面であることが好ましい。同様に、違和感の少ない自然な俯瞰画像を形成する観点からは、第２変化部３５は、地面からの高さが連続的に変化する傾斜面であることが好ましい。また、第１変化部３３の傾斜面は、直線状であっても、曲線状であってもよい。同様に、第２変化部３５の傾斜面は、直線状であっても、曲線状であってもよい。また、第１仮想投影面３１の平坦部３４は、地面と同じ高さに限らず、地面と異なる高さに位置してもよい。
　本発明は、俯瞰画像において物体の消失を抑えることができる作業車両の周辺監視装置を提供することができる。
１　作業車両
１０　周辺監視装置
１１　第１撮像部
１２　第２撮像部
１８　表示部
２３　俯瞰画像作成部
３１　第１仮想投影面
３３　第１変化部
３４　平坦部
３５　第２変化部
 

Claims (7)

  1. 　作業車両に装着され、前記作業車両の周囲の第１領域を撮像して第１画像データを得る第１撮像部と、
    　前記第１画像データを所定の仮想投影面に投影することにより、前記作業車両の周囲の俯瞰画像を作成する俯瞰画像作成部と、
    　前記俯瞰画像を表示する表示部と、
    を備え、
    　前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる形状を含む、
    作業車両の周辺監視装置。
  2. 　前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる変化部と、前記変化部よりも前記作業車両から離れた位置において前記変化部に連続的に繋がっており地面からの高さが一定の平坦部とを含み、
    　前記変化部は、前記作業車両と前記平坦部との間に位置する、
    請求項１に記載の作業車両の周辺監視装置。
  3. 　前記変化部と前記平坦部との接続部分は、地面上に位置する、
    請求項２に記載の作業車両の周辺監視装置。
  4. 　前記仮想投影面は、前記作業車両に近づくほど地面からの高さが高くなる第１変化部と、前記第１変化部よりも前記作業車両から離れた位置において前記第１変化部に連続的に繋がっており地面からの高さが一定の平坦部と、前記平坦部よりも前記作業車両から離れた位置において前記平坦部に連続的に繋がっており前記作業車両から遠ざかるほど地面からの高さが高くなる第２変化部とを含む、
    請求項１に記載の作業車両の周辺監視装置。
  5. 　前記第２変化部と前記平坦部との接続部分は、地面上に位置する、
    請求項４に記載の作業車両の周辺監視装置。
  6. 　前記作業車両に装着され、前記第１領域と部分的に重複する前記作業車両の周囲の第２領域を撮像して第２画像データを得る第２撮像部をさらに備え、
    　前記俯瞰画像作成部は、前記俯瞰画像において、前記第１領域と前記第２領域との重複領域における前記第１画像データの画像と、前記重複領域における前記第２画像データの画像とを重ねて表示する、
    請求項１に記載の作業車両の周辺監視装置。
  7. 　請求項１から６のいずれかに記載の周辺監視装置を備える作業車両。
     
PCT/JP2012/063137 2011-06-07 2012-05-23 作業車両の周辺監視装置 WO2012169354A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
AU2012268478A AU2012268478B2 (en) 2011-06-07 2012-05-23 Surrounding area monitoring device for work vehicle
CA2805609A CA2805609C (en) 2011-06-07 2012-05-23 Surrounding area monitoring device for work vehicle
US13/818,908 US20130155241A1 (en) 2011-06-07 2012-05-23 Surrounding area monitoring device for work vehicle
CN201280003094.7A CN103140378B (zh) 2011-06-07 2012-05-23 作业车辆的周边监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011127306A JP5124671B2 (ja) 2011-06-07 2011-06-07 作業車両の周辺監視装置
JP2011-127306 2011-06-07

Publications (1)

Publication Number Publication Date
WO2012169354A1 true WO2012169354A1 (ja) 2012-12-13

Family

ID=47295922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063137 WO2012169354A1 (ja) 2011-06-07 2012-05-23 作業車両の周辺監視装置

Country Status (6)

Country Link
US (1) US20130155241A1 (ja)
JP (1) JP5124671B2 (ja)
CN (1) CN103140378B (ja)
AU (1) AU2012268478B2 (ja)
CA (1) CA2805609C (ja)
WO (1) WO2012169354A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103547747A (zh) * 2011-05-13 2014-01-29 日立建机株式会社 作业机械的周围监视装置
US8768583B2 (en) * 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6079131B2 (ja) 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
JP6324665B2 (ja) * 2013-05-16 2018-05-16 住友建機株式会社 作業機械用周辺監視装置
CN105009572B (zh) * 2013-08-26 2018-04-03 日立建机株式会社 作业机械的周围监视装置
US9767561B2 (en) * 2013-11-18 2017-09-19 Texas Instruments Incorporated Method and apparatus for a optimal seam for surround view synthesis
JP6396022B2 (ja) * 2014-01-21 2018-09-26 住友重機械工業株式会社 出力画像を生成する装置
JP6403393B2 (ja) * 2014-02-12 2018-10-10 住友重機械工業株式会社 画像生成装置
GB2523353B (en) * 2014-02-21 2017-03-01 Jaguar Land Rover Ltd System for use in a vehicle
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
WO2016084151A1 (ja) * 2014-11-26 2016-06-02 三菱電機エンジニアリング株式会社 作業支援システム、作業支援装置及び作業支援方法
EP3308361B1 (de) * 2015-06-11 2024-04-10 Continental Autonomous Mobility Germany GmbH Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
WO2017033518A1 (ja) * 2015-08-27 2017-03-02 株式会社Ｊｖｃケンウッド 車両用表示装置および車両用表示方法
JP6575445B2 (ja) 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
JP7087545B2 (ja) 2018-03-28 2022-06-21 コベルコ建機株式会社 建設機械

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005188160A (ja) * 2003-12-26 2005-07-14 Hitachi Constr Mach Co Ltd 旋回式作業車両の後方視野表示装置
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
EP1158804A3 (en) * 2000-05-24 2003-12-17 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
EP1748654A4 (en) * 2004-04-27 2013-01-02 Panasonic Corp VISUALIZATION OF CIRCUMFERENCE OF A VEHICLE
JP2008271308A (ja) * 2007-04-23 2008-11-06 Sanyo Electric Co Ltd 画像処理装置及び方法並びに車両
US8280621B2 (en) * 2008-04-15 2012-10-02 Caterpillar Inc. Vehicle collision avoidance system
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005188160A (ja) * 2003-12-26 2005-07-14 Hitachi Constr Mach Co Ltd 旋回式作業車両の後方視野表示装置
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械

Also Published As

Publication number Publication date
AU2012268478A1 (en) 2013-02-07
AU2012268478B2 (en) 2014-02-27
CA2805609C (en) 2014-04-08
US20130155241A1 (en) 2013-06-20
CN103140378A (zh) 2013-06-05
JP5124671B2 (ja) 2013-01-23
CN103140378B (zh) 2015-11-25
JP2012254650A (ja) 2012-12-27
CA2805609A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
JP5124671B2 (ja) 作業車両の周辺監視装置
JP5124672B2 (ja) 作業車両の周辺監視装置
JP5781978B2 (ja) ダンプトラック
JP5643272B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5597596B2 (ja) 作業車両の周辺監視装置
JP5722127B2 (ja) 作業車両の周辺監視装置
WO2013118705A1 (ja) 運搬車両の周囲監視装置
WO2013136566A1 (ja) 障害物検出機構付きダンプトラックおよびその障害物検出方法
JP5990237B2 (ja) ダンプトラック用周辺監視システム及びダンプトラック
JP5823553B2 (ja) 作業車両用周辺監視システム及び作業車両
JP5964353B2 (ja) ダンプトラック
CA2815831A1 (en) Working vehicle periphery monitoring system and working vehicle
JP2014222877A (ja) 作業車両の周辺監視装置
AU2011332655A1 (en) Use of AGE-specific aptamer for treating renal disease

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280003094.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2805609

Country of ref document: CA

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12797168

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012268478

Country of ref document: AU

Date of ref document: 20120523

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13818908

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12797168

Country of ref document: EP

Kind code of ref document: A1