WO2013183536A1 - 自走式産業機械の表示装置 - Google Patents

自走式産業機械の表示装置 Download PDF

Info

Publication number
WO2013183536A1
WO2013183536A1 PCT/JP2013/065031 JP2013065031W WO2013183536A1 WO 2013183536 A1 WO2013183536 A1 WO 2013183536A1 JP 2013065031 W JP2013065031 W JP 2013065031W WO 2013183536 A1 WO2013183536 A1 WO 2013183536A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
self
industrial machine
propelled industrial
Prior art date
Application number
PCT/JP2013/065031
Other languages
English (en)
French (fr)
Inventor
古渡　陽一
慶仁 稲野辺
克彦 清水
石本　英史
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to US14/404,652 priority Critical patent/US20150116495A1/en
Priority to JP2014519957A priority patent/JP6014664B2/ja
Priority to CN201380029810.3A priority patent/CN104380724B/zh
Publication of WO2013183536A1 publication Critical patent/WO2013183536A1/ja
Priority to US15/343,665 priority patent/US20170072857A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P1/00—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading
    • B60P1/04—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading with a tipping movement of load-transporting element
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/142—Heavy duty trucks
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Definitions

  • the present invention relates to a display device of a self-propelled industrial machine that supports traveling operation of a self-propelled industrial machine such as a dump truck or a hydraulic shovel.
  • a dump truck is one of the self-propelled industrial machines.
  • the dump truck is provided with a loadable bed (vessel) on the frame of the vehicle body, and the vessel is loaded with an object to be transported such as crushed stone and soil.
  • a dump truck conveys earth and sand etc. to a predetermined accumulation place and discharges it.
  • the dump truck is moved backward to the earth removal position and stopped. In this state, the vessel is inclined to remove earth and sand and the like. Then, when the discharge is finished, the vessel is returned to the original position, and the dump truck is advanced.
  • a hydraulic shovel is one of the self-propelled industrial machines.
  • the hydraulic shovel has a lower traveling body having traveling means of a crawler type or a wheel type and an upper revolving body which can be pivoted with respect to the lower revolving body.
  • the upper slewing body is provided with a cab (cab), and a boom is connected to the upper swinging body so as to be capable of suppressing movement, an arm pivotally connected to the tip of the boom so as to be vertically movable, and earth and sand
  • a bucket for performing work such as digging is provided as a working means on the upper revolving superstructure.
  • Patent Document 1 discloses a technique for displaying a bird's-eye view image on a monitor provided in a driver's cab, in order to cause an operator to recognize the situation around the hydraulic shovel in an auxiliary manner.
  • Patent Document 1 In the technology of Patent Document 1, three cameras for monitoring the rear and the left and right sides of the hydraulic shovel are provided in the hydraulic shovel, and peripheral monitoring of the hydraulic shovel is performed.
  • the optical axis of each camera is directed obliquely downward, and coordinate conversion of this to a viewpoint from above generates a bird's eye image virtually viewed from above. Therefore, a bird's-eye view image corresponding to each of the three cameras is generated, the plan view of the hydraulic shovel is displayed at the center of the screen, and the hydraulic shovel is generally viewed from above by combining the three bird's-eye views An image is obtained.
  • the operator By displaying this image on the monitor of the operator's cab, the operator can be made aware of the situation around the hydraulic shovel. Thereby, the operator can support the traveling operation.
  • the part which becomes a blind spot by the naked eye of the operator exists not only around the self-propelled industrial machine but also in the lower part thereof.
  • the traveling of the self-propelled industrial machine is regulated.
  • the traveling of the dump truck is restricted even though the loading operation of soil is completed.
  • Dump trucks are usually dump trucks and heavy dump trucks, but they are large anyway, and an extensive space is formed at the bottom of the dump truck.
  • a heavy dump truck having a loading weight exceeding 100 tons the space under the vehicle body becomes large. Therefore, there is a good possibility that an obstacle gets into the lower part of the dump truck.
  • the traveling of the dump truck is restricted from the viewpoint of safety.
  • a self-propelled construction machine such as a hydraulic shovel having a lower traveling body. Therefore, in a hydraulic shovel or the like, it is important for the operator to be aware of the surrounding condition, but it is also important for the operator to be aware of the lower condition as well.
  • each camera provided on a self-propelled industrial machine for displaying a bird's-eye view image has its optical axis directed obliquely downward, so depending on the mounting position of the camera, the self-propelled industrial part of the field of view of the camera
  • the lower part of the machine may be partially projected. Therefore, it is possible to recognize the situation of the lower part of the self-propelled industrial machine by displaying on the monitor the image of the lower part of the self-propelled industrial machine reflected in a part of the field of view of the camera.
  • the camera for generating the bird's-eye view image is originally a camera for photographing the periphery of the self-propelled industrial machine. is there. Therefore, even if part of the lower part of the self-propelled industrial machine is reflected, the area to be reflected is a partially limited area. However, even if it is a limited area, it is very useful to display the lower image on the monitor.
  • the present invention aims to widen the image of the lower part of the self-propelled industrial machine reflected in the camera as much as possible when displaying the bird's-eye view image on the monitor using the camera for photographing the periphery of the self-propelled industrial machine I assume.
  • the display device of a self-propelled industrial machine according to the present invention is provided in a self-propelled industrial machine, and a plurality of optical axes that obliquely capture the periphery of the self-propelled industrial machine are provided.
  • a camera a viewpoint conversion unit that generates a bird's-eye view image converted into a viewpoint from the camera image captured by each camera to be an upper viewpoint, and a symbol of a car body symbolizing the bird's-eye view image and the self-propelled industrial machine
  • a superimposition processing unit for displaying an image on a monitor and performing processing of transmitting and superimposing a lower region of the self-propelled industrial machine included in the camera of the symbol image as a transmission region at a predetermined transmittance;
  • An image combining unit for combining the symbol image with a display mode in which the transmissive region and the non-transmissive region can be distinguished and displaying the overhead image; and the image combining unit is provided in a driver's cab of the self-propelled industrial machine Synthesize And a, and a display device for displaying an image.
  • the vehicle body symbol image When displaying a bird's-eye view image of a vehicle body symbol image together with a symbol image of the vehicle body on a monitor, the vehicle body symbol image is hidden when the vehicle body is viewed, but the region photographed by the camera is a transmission region. Is displayed in a manner distinguishable from the non-transparent area that does not transmit light.
  • the identification display it is possible to divide the transmission area and the non-transmission area by a boundary line or to provide a difference in shading between the transmission area and the non-transmission area. Furthermore, it is also possible to color in the transparent area or the non-transparent area.
  • a display mode different from the other can be used as the area of the blind spot.
  • the end of the boundary between the transmissive region and the symbol region as a reference, it is possible to make the best use of the transmissive region. As a result, the lower image can be widely displayed in the transmissive region.
  • the camera may be a rear camera for photographing the rear
  • the boundary line may be formed on the basis of the rear end of the traveling body of the self-propelled industrial machine.
  • the lower region is widened by forming a boundary line based on the rear end of the traveling object of the symbol image. It can be displayed.
  • the camera may be mounted at a position higher than the rear wheel of the transport vehicle and at the rear within a range which is provided at the end of the frame of the transport vehicle and does not interfere with the vessel of the transport vehicle.
  • the rear camera By mounting the rear camera at a position higher than the rear wheel of the transport vehicle, it is possible to capture a large area of the lower portion of the transport vehicle. Then, by attaching the rear camera to the rear of the rear wheel, it is possible to remove the factor (mainly the rear wheel) that obstructs the maximum visual field range of the camera from the visual field, and it is possible to largely display the lower image.
  • the display image may be displayed on the display device when a reverse operation is performed by a traveling operation unit that operates traveling of the transport vehicle.
  • the display area of the display device may be divided to display the display image generated by the image combining unit and a camera image capturing the lower image among the plurality of cameras.
  • the display area of the display device may be divided to display the display image generated by the image combining unit and a camera image capturing the lower image among the plurality of cameras.
  • the lower image By simultaneously displaying both the overhead image and the camera image, the lower image can be recognized from the overhead image, and the camera image captured by the camera corresponding to the lower image can be directly recognized.
  • the transmission region when displaying the overhead image and the symbol image of the self-propelled industrial machine on the monitor, the transmission region can be widely used by displaying a part of the symbol image as a transmission image. Thereby, the lower image can be displayed large in the transmissive region.
  • FIG. 7 is a view for explaining an example in which a lower image is superimposed in FIG. 6; It is a figure which shows an example of a display image at the time of producing a blind spot. It is a figure which shows the other example of FIG. 6 which varied the boundary line. It is the figure which divided
  • self-propelled industrial machines there are transport vehicles, construction machines, road construction machines, etc.
  • transport vehicles mainly dump trucks, and as construction machines, mainly hydraulic excavators.
  • a dump truck is applied as a self-propelled industrial machine here, a self-propelled industrial machine other than a dump truck may be applied.
  • FIG. 1 shows a left side view of the dump truck 1, and FIG. 2 shows a plan view.
  • the dump truck 1 is configured to include a cab 2, a frame 3, a vessel 4, a front wheel 5, a rear wheel 6, and a driving cylinder 7.
  • cameras 10 front camera 10F, rear camera 10B, right camera 10R, left camera 10L
  • front camera 10F, rear camera 10B, right camera 10R, left camera 10L are provided on the front, rear, left and right of the dump truck 1, and the images taken by each camera 10 are output as camera images There is.
  • the broken line in FIG. 1 indicates the field of view of the rear camera 10B.
  • the front camera 10F is a front camera
  • the rear camera 10B is a rear camera
  • the right camera 10R is a right camera
  • the left camera 10L is a left camera.
  • the field of view of the front camera 10F is the front field of view VF
  • the field of view of the rear camera 10B is the rear field of view VB
  • the field of view of the right camera 10R is the right field of view VR
  • the field of view of the left camera 10L is indicated by a virtual line.
  • Each camera 10 photographs the periphery of the dump truck 1, but the photographing direction is obliquely downward. That is, the optical axis direction is obliquely downward.
  • the number of cameras 10 provided in the dump truck 1 can be any number. However, it is preferable that the rear camera 10B, the right camera 10R, and the left camera 10L are provided to capture the direction in which the blind spot of the visual field by the naked eye of the operator occurs. Further, in the case of the articulate dump, more cameras may be provided.
  • the operator's cab 2 is provided for the operator to board and operate the dump truck 1 and is often disposed on the left side of the dump truck 1.
  • various operation means are provided in the cab 2.
  • the frame 3 constitutes a framework of the dump truck 1, and a front wheel 5 is provided in front of the frame 3 and a rear wheel 6 is provided behind.
  • the vessel 4 is a loading platform for loading earth, sand, minerals and the like.
  • a driving cylinder 7 is attached to the vessel 4 and can be tilted. Thereby, it is possible to discharge the earth and sand etc. loaded on the vessel 4.
  • FIG. 3 shows an example of the cab 2.
  • the operator's cab 2 is provided with a steering wheel 11 for operating the traveling direction, a console 12 for displaying instruments and the like of the dump truck 1 and a pillar 13.
  • the monitor 14 is attached to the pillar 13.
  • the monitor 14 is a display device configured to include the screen unit 15 and the input unit 16.
  • the screen unit 15 is a screen for displaying predetermined information, and the input unit 16 is provided to appropriately operate the display contents of the screen unit 15.
  • the position of the monitor 14 may be provided at any position as long as it is inside the cab 2. Further, the input unit 16 may be omitted, and the screen unit 15 may be a touch sensor panel.
  • FIG. 4 shows a display controller 17 connected to the monitor 14 and a vehicle controller 18 connected to the display controller 17.
  • the display controller 17 displays an image correction unit 21, a viewpoint conversion unit 22, a lower image generation unit 23, a symbol image holding unit 24, a superimposition processing unit 25, an image combining unit 26, a reference point storage unit 27, and a display. And an image generation unit 28.
  • Each part of the display controller 17 can be realized by software, and the function of each part can be performed by the CPU.
  • the image correction unit 21 receives an image captured by the front camera 10F, the rear camera 10B, the right camera 10R, and the left camera 10L. Then, various types of image correction such as lens distortion correction, aberration correction, contrast correction, and color tone correction are performed on the input image based on camera optical system parameters and the like. This improves the image quality of the input image.
  • the corrected image input by the image correction unit 21 is output to the viewpoint conversion unit 22 as a camera image.
  • the viewpoint conversion unit 22 performs viewpoint conversion processing on the camera image input from the image correction unit 21 to generate an overhead image (virtual viewpoint image).
  • each camera 10 has the obliquely lower side as the optical axis direction, and converts this into a virtual viewpoint from above.
  • the optical axis A of the objective lens of the camera 10 front camera 10F, rear camera 10B, right camera 10R, left camera 10L
  • the optical axis of the camera 10 is obliquely downward.
  • the viewpoint conversion unit 22 virtually sets the virtual camera 10V whose optical axis direction is the vertical direction to the height H, and performs coordinate conversion into image data of the virtual camera 10V looking down on the ground surface G.
  • the image converted into the viewpoint from above as described above becomes a virtual planar image (overview image).
  • the overhead view image subjected to the viewpoint conversion processing by the viewpoint conversion unit 22 is output to the lower image generation unit 23 and the image combining unit 26.
  • the lower image generation unit 23 acquires the lower part of the dump truck 1 in the overhead image and also sets the lower image as the overhead image.
  • the lower part of the dump truck 1 is not necessarily included in the field of view for all the cameras 10. Therefore, the lower image of the camera 10 in which the lower portion of the dump truck 1 is not included in the field of view is not generated.
  • the lower part of the dump truck 1 is included only in the field of view of the rear camera 10B, and the lower image is generated from the rear camera 10B, but the lower image is generated from the cameras 10 other than the rear camera 10B. It may be.
  • the symbol image holding unit 24 holds a symbol image.
  • the symbol image is an image when the dump truck 1 is displayed on the screen unit 15 as a symbol (character). Accordingly, the symbol image is an image that reproduces the shape of the dump truck 1. If the reproducibility at this time is high, the operator can accurately recognize the shape of the dump truck 1. However, it does not have to be an image that faithfully reproduces the shape of the dump truck 1.
  • the superimposition processing unit 25 receives the lower image from the lower image generation unit 23, and receives the symbol image from the symbol image storage unit 24. Then, the superimposition processing unit 25 transmits an area corresponding to the lower image in the symbol image as a transmissive area at a predetermined transmittance, and performs image processing to superimpose the lower image on the transmissive area.
  • This image processing is superimposing processing (image superposition processing), and if the transmittance is not 100%, the symbol image and the lower image are doubly displayed at the same position.
  • the transmittance can be arbitrarily controlled.
  • the image combining unit 26 inputs each overhead view image converted by the viewpoint conversion unit 22 and the symbol image processed by the superimposition processing unit 25. Then, with the symbol image at the center, each bird's-eye view image is arranged around it and synthesized.
  • a front eyelid image is generated from the front camera 10F
  • a rear eyelid image is generated from the rear camera 10B
  • a right eyelid image is generated from the right camera 10R
  • a left eyelid image is generated from the left camera 10L. Be done.
  • synthesis is performed in which a front eyelid image on the front side, a rear eyelid image on the rear side, a right side eyelid image on the right side, and a left side eyelid image on the left side are arranged.
  • the image combining unit 26 reads the reference point from the reference point storage unit 27.
  • Each bird's-eye view image is synthesized around the symbol image as the center, but a border formed radially from the symbol image is set.
  • Boundary lines are set to divide the area in which each overhead image is displayed.
  • the reference point storage unit 27 stores the reference point (start point) of the symbol image when forming the boundary line. This reference point is set based on the above-mentioned transmission area.
  • the front camera 10F may not be installed.
  • the front eyelid image since the front eyelid image can not be obtained, the front eyelid image is not synthesized. That is, according to the camera 10 installed, the bird's-eye view image of the direction which the said camera 10 image
  • the display image generation unit 27 generates an image synthesized by the image synthesis unit 26 as one display image. This display image is output to the monitor 14. A display image is displayed on the screen unit 15 of the monitor 14. The operator who gets into the cab 2 can visually recognize the display image displayed on the screen unit 15. Not only one image but also the display area of the screen unit 15 can be divided into a plurality of images and displayed on the screen unit 15.
  • the display controller 17 is connected to the vehicle controller 18.
  • Various operation means for controlling the dump truck 1 are connected to the vehicle controller 18.
  • One of them is the shift lever 29.
  • the shift lever 29 is a travel operation unit that the operator operates the travel of the dump truck 1 and is displaced to three positions of the forward position, the neutral position, and the reverse position.
  • the shift lever 29 is in the forward position, the dump truck 1 moves forward, and when the shift lever 29 is in the reverse position, the dump truck 1 reverses.
  • the dump truck 1 is stopped when positioned at the neutral position.
  • the shift lever position information on which position (forward position, neutral position, reverse position) the shift lever 29 has is input to the vehicle controller 18.
  • the shift lever position information is then output to the display controller 17 as vehicle information.
  • the display controller 17 creates a display image displayed on the screen unit 15 of the monitor 14 using the above configuration.
  • the region of the screen unit 15 may be divided and the bird's-eye view image displayed on the divided area.
  • the overhead image display is a method of displaying a symbol image at the center of the display area and displaying the overhead image around it (surrounding).
  • a rectangular area is provided at the center of the entire area of the screen unit 15, and the symbol image 31 is displayed in the center area.
  • the symbol image 31 is a symbol (character) that reproduces the shape of the dump truck 1 as described above.
  • the symbol image 31 which reproduces the vehicle body shape of the self-propelled industrial machine is displayed. Therefore, the symbol image 31 is displayed at the center of the screen unit 15, and the overhead image is displayed around the symbol image 31.
  • Boundary lines L1 to L4 are formed radially with the symbol image 31 at the center. And the area
  • a forward overhead image 32F is displayed in the front area of the symbol image 31, a backward overhead image 32B is displayed in the rear area, and a right forward overhead image 32R is displayed in the right area. Shows the left-eyelid image 32L.
  • the front eyelid image 32F, the rear eyelid image 32B, the right side eyelid image 32R, and the left eyelid image 32L are collectively referred to as an eyelid image 32.
  • each camera 10 In order to display at least each bird's-eye view image 32, each camera 10 must be shooting. For this purpose, the operator starts the engine and each camera 10 starts shooting. As described above, each camera 10 shoots obliquely downward, the front camera 10 F is forward obliquely downward, the rear camera 10 B is backward backward, the right camera 10 R is obliquely right downward, the left camera 10 L Is shooting the image diagonally below the left side.
  • each camera 10 outputs (transfers) the captured video as a camera image to the display controller 17.
  • Each camera 10 shoots at a predetermined shooting cycle, and a camera image is transferred for each shooting cycle.
  • the screen unit 15 can display a moving image. A still image may be displayed.
  • the image correction unit 21 performs predetermined correction processing on camera images output from each camera 10. This improves the quality of the camera image.
  • the camera image subjected to the correction processing is subjected to viewpoint conversion by the viewpoint conversion unit 22.
  • the front bird's-eye view image 32F is generated from the camera image shot by the front camera 10F
  • the rear bird's-eye view image 32B is created from the camera image shot by the rear camera 10B
  • the camera image shot by the right direction camera 10R is the right-hand eyebrow image 32R.
  • a leftward bird's-eye view image 32L is generated by the camera image generated and captured by the left camera 10L.
  • the generated overhead images 32 are output to the image combining unit 26.
  • each bird's-eye view image 32 centering on the symbol image 31 it is possible to display on the screen unit 15 an image of the dump truck 1 as viewed from above as shown in FIG.
  • FIG. 6 is a bird's-eye view image display, and the operator can well recognize the situation around the dump truck 1.
  • the operator intuitively recognizes the positional relationship between the dump truck 1 and the obstacle S1 by performing overhead image display. can do.
  • the bird's-eye view image display is effective when checking whether there is any obstacle in the vicinity when starting the dump truck 1.
  • it is effective because it can be confirmed whether or not an obstacle is in proximity in the direction from the operator to a blind spot. Therefore, each bird's-eye view image 32 relatively uses the short distance of the dump truck 1 as the display range. That is, the angle ⁇ between the optical axis of each camera 10 described in FIG. 5 and the ground surface G is set relatively large.
  • the overhead image display as shown in FIG. 6 the situation in the vicinity of the dump truck 1 can be favorably displayed.
  • the rear camera 10 ⁇ / b> B is attached to the lower position of the vessel 4 as shown in the area indicated by the broken line in FIG. 1. Then, the rear camera 10B takes an image of the rear of the dump truck 1 because the light axis is obliquely downward, but the lower part of the dump truck 1 (vessel 4) is also included in the visual field.
  • the angle ⁇ between the optical axis of the rear camera 10 and the ground surface G is relatively large, and the rear camera 10 uses a lens with a wide angle of view.
  • An area is included in the field of view.
  • the lower region is a bird's-eye view image subjected to viewpoint conversion processing, and the lower image generation unit 23 generates a wide lower image.
  • the lower image generation unit 23 acquires the rear overhead image 32B from the viewpoint conversion unit 22. Then, the lower image generation unit 23 generates a lower portion of the dump truck 1 in the rear overhead image 32B as a lower image.
  • the symbol image holding unit 24 holds a symbol image 31 in which the shape of the dump truck 1 is reproduced.
  • the symbol image 31 displays the front wheel 5 and the rear wheel 6 and the like, and also displays the mounting position of each camera 10.
  • the symbol image holding unit 24 outputs the held symbol image 31 to the superimposition processing unit 25.
  • the superimposition processing unit 25 sets an area corresponding to the lower image in the symbol image 31 as the transmission area 33.
  • This transmission area 33 is an area indicated by hatching in the figure.
  • the attachment position, the angle of view, the optical axis direction, and the like of the rear camera 10B are preset, and the transmission region 33 corresponding to the lower image in the symbol image 31 is recognized in advance. Therefore, the position and the range of the transmissive region 33 are fixed in the symbol image 31.
  • the positions and ranges of the lower image (referred to as 34) and the transmissive region 33 coincide with each other.
  • the superimposition processing unit 25 causes the transmissive region 33 to transmit at a predetermined transmittance, and superimposes (superimposes) the lower image 34 based on the image captured by the rear camera 10B.
  • FIG. 7 shows an example thereof.
  • the obstacle S2 is shown in the lower image 34.
  • the operator can recognize that the obstacle S2 exists in the lower part of the dump truck 1, in this case, the lower part of the vessel 4, by visually recognizing the lower image 34 of the screen unit 15. Thereby, the operator can recognize that the rear wheel 6 interferes with the obstacle S2 when the dump truck 1 is moved backward by operating the shift lever 29. That is, the operator can recognize that the displacement of the shift lever 29 to the reverse position is restricted.
  • the overhead image display is performed by performing the viewpoint conversion process using the images captured by the cameras 10 (the rear camera 10B, the right camera 10R, and the left camera 10L).
  • the bird's-eye view image display is an image looking down on the ground surface G when the viewpoint is virtually set to the upper side. Therefore, in the bird's-eye view image display, the image of the lower part of the dump truck 1 is not displayed due to the structure of the vessel 4 and the cab 2 and the like.
  • the field of view of the rear camera 10B includes the lower part of the dump truck 1. Accordingly, the lower image generation unit 23 generates the lower image 34, and the superimposition processing unit 25 transmits the transmission region 33 of the symbol image 31 to combine the lower image 34, thereby forming the dump truck 1 in the symbol image 31. It is possible to have the information of the lower image of.
  • a bird's-eye view image outside the vehicle body comprising the symbol image 31 of the vehicle body, the front bird's-eye view image 32F, the rear bird's-eye view image 32B, and the left and right side-viewer images 32L, 32R And a lower image 34 displayed as an overhead image.
  • a part of the symbol image 31 is used as the transmissive region 33.
  • the operator can recognize not only the situation around the dump truck 1 but also the situation under the dump truck 1 based on the lower image of the symbol image 31.
  • this originally uses each camera 10 for displaying a bird's-eye view image it is not necessary to specially provide a dedicated camera for photographing the lower part.
  • the direction icon 35 is disposed at a position where the cab 2 of the symbol image 31 is reproduced.
  • the direction icon 35 indicates the direction of the operator.
  • the direction is indicated by a triangular arrow.
  • the direction icon 35 may be changed depending on the traveling direction of the dump truck 1. Information on the traveling direction is input to the display controller 17 from the vehicle controller 18 as vehicle information, and therefore the triangle may be rotated according to the traveling direction. For example, when the dump truck 1 is moved backward, the direction of the triangle in FIG. 6 is reversed.
  • the image combining unit 26 places the symbol images 31 in the central region, places the overhead images 32 in the regions divided by the radially formed boundary lines L1 to L4, and performs combining.
  • boundary lines L1 to L4 are formed radially from four vertices (four corners) of a rectangular area in which the symbol image 31 is displayed. This is because, as shown in FIG. 2, the respective visual field ranges VB, VF, VR, and VL partially overlap, and boundary lines L1 to L4 are formed so as to equally divide overlapping regions. This is because it is natural and also in terms of image processing, processing can be simplified.
  • the overhead images 32F, 32B, 32L, 32R are displayed in a display mode that can be distinguished from the lower image 34.
  • This distinguishable display mode is shown by the boundary line of the symbol image 31 showing the vehicle body, but in addition to this, for example, a gradation difference is provided between the transmission area 33 and the other, or one of them is colored It is also possible to make a distinguishable display by applying a symbol or the like.
  • the rear bird's-eye view image 32B is displayed by the image captured by the rear camera 10B. For this reason, it is possible to display the lower image in an area of the transmission area 33 which is sandwiched between the boundary lines L1 and L2.
  • the left side of the boundary line L2 in the transmission area 33 is an area where an image based on a camera image taken by the left camera 10L is displayed.
  • the right side of the boundary line L1 in the transmission area 33 is an area in which an image based on a camera image captured by the right direction camera 10R is displayed.
  • An area to the left of the boundary line L1 in the transmission area 33 is included in the field of view of the rear camera 10B, but is not included in the field of view of the right camera 10R.
  • an area to the right of the boundary line L2 in the transmission area 33 is included in the field of view of the rear camera 10B, but not included in the field of view of the left camera 10L.
  • two blind spots 33D occur in the transmission area 33. These two blind spots 33D occur because the right-hand camera 10R and the left-hand camera 10L do not include the transmission region 33 in the field of view. That is, when the boundary lines L1 and L2 formed with reference to the four corners of the rectangular area for displaying the symbol image 31, the lower image 34 is not displayed in the blind spot 33D.
  • the lower image 34 based on the rear camera 10B in the entire area of the transmissive area 33 under the circumstances, a part of the lower image 34 is a blind spot 33D and is not displayed. If the obstacle S2 exists in the blind spot 33D, although the obstacle S2 is included in the field of view of the rear camera 10B, it is not displayed on the screen unit 15. Thereby, the operator can not recognize the obstacle S2. Therefore, for the area of the blind spot 33D, for example, the black area is set as the non-display area.
  • the image combining unit 26 reads the reference points P1 to P4 from the reference point storage unit 27 when combining the overhead images 32 around the symbol image 31 and around the symbol image 31.
  • the reference points P1 to P4 indicate which position in the outline of the symbol image 31 is to be a reference (start point) when forming the boundary lines L1 to L4.
  • the symbol image 31 is basically a character that reproduces the shape of the dump truck 1, and is created in advance.
  • a part of the symbol image 31 is a transmissive region 33, and the lower image 34 can be superimposed on the transmissive region 33. Therefore, the symbol image 31 can be divided into the transmissive region 33 and the other region (symbol region 31A).
  • the symbol area 31A is a character created in advance like the symbol image 31 and is a fixed character.
  • the transmissive area 33 constitutes a part of the symbol image 31, it is an area for displaying an image, and the display content changes according to the lower image 34.
  • the image combining unit 26 does not set the boundary lines L1 to L4 from the four corners of the square area, and the boundary lines L1 to L4 are determined based on the transmissive area 33.
  • Set L4 the boundary lines L1 and L2 are set with reference to the end of the boundary between the transmissive region 33 and the symbol region 31A in the symbol image 31. Since the transmissive region 33 does not exist in front of the symbol image 31, the boundary lines L3 and L4 are set from the corner of the rectangular region of the symbol image 31. However, this is equivalent to setting the boundaries L3 and L4 from the corner of the symbol area 31A.
  • the boundary lines L1 to L4 are set based on the reference points P1 to P4.
  • the image combining unit 26 reads the reference points P1 to P4 from the reference point storage unit 27.
  • the reference points P1 to P4 are set in areas of the symbol image 31 excluding the transmissive area 33, that is, at four corners of the symbol area 31A. Since the transmissive region 33 is recognized in advance, the reference points P1 to P4 can also be set in advance. That is, it is recognized in advance at which position of the outline of the symbol image 31 the reference points P1 to P4 are set.
  • boundary lines L1 to L4 from the reference points P1 to P4.
  • boundary lines L3 and L4 are formed from corners of symbol image 31, but boundary lines L1 and L2 are not corners of symbol image 31, and transparent region 33 and symbol region 31A are formed. And from the end of the border with
  • the transmissive area 33 is determined by the size of the lower image 34 included in the image captured by the rear camera 10B. Therefore, the transmissive area 33 is determined in accordance with the field of view of the image captured by the rear camera 10B.
  • a wide-angle lens for the rear camera 10B By using a wide-angle lens for the rear camera 10B, a wide range can be made into a field of view, and the maximum field of view becomes wide. In this case, the sizes of the lower image 34 and the transmissive region 33 also increase.
  • FIG. 8 when there is a structure that interferes with the field of view of the rear camera 10B, there is an area of the blind spot 33D that can not be imaged, and the field of view of the rear camera 10B Becomes narrower.
  • the structure mainly includes a rear wheel 6.
  • boundary lines L1 and L2 are formed from the rear end of the rear wheel 6.
  • the image combining unit 26 sets the boundary lines L1 to L4 on the basis of the reference points P1 to P4, and the front, rear, left, and right areas formed by the boundary lines L1 to L4 and the symbol image 31 And each bird's-eye view image 32 is synthesized.
  • the rear bird's-eye view image 32B is displayed in an area defined by the boundary lines L1 and L2 and the symbol image 31.
  • the boundary lines L1 and L2 are formed from the front corner of the transmissive region 33, the lower image 34 can be displayed on the entire region of the transmissive region 33 as shown in FIG. Therefore, based on the obstacle S2 displayed in the lower image 34, the operator can clearly recognize the presence of the obstacle S2.
  • boundary lines L1 and L2 are set based on the rear end of the rear wheel 6, but the boundary may be set based on positions other than the rear end of the rear wheel 6.
  • boundaries L1 and L2 are set with reference points P1 and P2 at the end of the boundary between transmissive region 33 and symbol region 31A, but as shown in FIG. 8, reference points P1 and P2 are symbols
  • the image 31 may be moved forward or backward.
  • the start positions (reference points P1 and P2) of the boundary lines L1 and L2 also change.
  • the reference points P1 and P2 may be moved to the rear of the symbol image 31.
  • a region not included in the field of view of the rear camera 10B also becomes a region for the rear bird's-eye view image 32B.
  • the reference points P1 and P2 may be moved slightly forward if a slight dead angle is allowed.
  • the boundary lines L1 to L4 are formed up to the corner portions (four corners) of the screen portion 15, but may be formed to places other than the corner portions.
  • FIG. 9 shows an example thereof. As shown in the figure, the boundary lines L1 and L2 are formed to positions separated from the corner of the screen portion 15. When the rear camera 10B has high pixels and a wide angle, the rear bird's-eye view image 32B captured by the rear camera 10B may be displayed preferentially. In this case, the boundary lines L1 and L2 may be formed as shown in FIG. 9 according to the angle of view of the rear camera 10B.
  • the screen unit 15 is divided into two, combined into one divided area 15A, and the overhead view image is displayed, and the camera image of the rear camera 10B (viewpoint conversion is displayed in another divided area 15B. ) May be displayed. If the obstacle S2 exists in the field of view range of the rear camera 10B, it is displayed in the lower image 34 of the divided area 15A. Since the division area 15B displays the camera image of the rear camera 10B, the obstacle S2 can be more specifically recognized by the operator visually recognizing the division area 15B.
  • the screen unit 15 may not be vertically long but horizontally long.
  • the boundary lines L1 and L2 are set based on the rear end of the rear wheel 6. This is the case where the self-propelled industrial machine is the dump truck 1.
  • the self-propelled industrial machine is not the dump truck 1 but is a crawler type hydraulic shovel
  • the boundary line L1 and the rear end of the rear wheel as a reference are used with reference to the rear end of the crawler.
  • Set L2 The point is that boundary lines L1 and L2 can be set with reference to the rear end of the traveling body, which is a means for traveling a self-propelled industrial machine.
  • the rear camera 10B is attached to the rear end of the frame 3 of the dump truck 1 in order to make the best use of the field of view of the rear camera 10B. And it is made to attach to a position higher than the rear wheel 6, and back. However, interference is not caused between the vessel 4 and the rear camera 10B.
  • the rear camera 10B can be mounted at a position higher than and rear than the rear wheel 6, so that the field of view range of the rear camera 10B can include a wide area under the dump truck 1, and the rear wheel 6 can There is no hindrance to my vision. Therefore, the transmissive region 33 can be the widest region, and the lower image 34 of the wide region can be displayed.
  • FIGS. 11 and 12 show an example thereof.
  • a rear lamp 41 is attached to the rear end of the frame 3.
  • a rear lamp 41 is provided to supply illumination light to the rear of the dump truck 1.
  • a shield plate 42 extends above the rear lamp 41. This is provided to prevent the light of the rear lamp 41 from being reflected in the rear camera 10B.
  • a support 43 is provided on the top of the shielding plate 42, and the rear camera 10 ⁇ / b> B is attached to the support 43.
  • the rear camera 10B can be mounted at a position higher than the rear wheel 6 and rearward. As a result, the rear wheel 6 does not obstruct the field of view of the rear camera 10B, and the lower image 34 of a wide area can be displayed.
  • the lower image 34 enables the operator to recognize the situation of the lower part of the dump truck 1 well.
  • rear camera 10B can also be arranged in a desired position by using a bracket etc., for example.
  • the dump truck 1 travels on uneven terrain and is accompanied by intense vibration when traveling. Therefore, in this case, a very large blur occurs in the image captured by the rear camera 10B.
  • the rear camera 10B is fixed on the basis of the frame 3.
  • the frame 3 is a framework that constitutes the basis of the dump truck 1 and can achieve high stability even when traveling on rough terrain. Therefore, blurring of the image captured by the rear camera 10B can be reduced, and stable imaging can be performed.
  • the shift lever 29 has a forward position, a neutral position, and a reverse position, and the position of the shift lever 29 determines whether or not the dump truck 1 is to travel and, in the case of travel, the traveling direction. .
  • Information on which position the shift lever 29 is in is input to the vehicle controller 18, and the vehicle controller 18 outputs shift lever position information to the display controller 17 as vehicle information.
  • the superposition processing unit 25 inputs shift lever position information. Thereby, the superimposition processing unit 25 recognizes the traveling direction of the dump truck 1. The superimposition processing unit 25 controls whether to transmit each transmission area 33 according to the shift lever position information, that is, the position of the shift lever 29.
  • the dump truck 1 When the shift lever 29 enters the reverse position, the dump truck 1 reverses. In this case, when the obstacle S2 is present in the rear transmission area 33, it interferes with the dump truck 1. Therefore, in this case, by recognizing that the dump truck 1 moves backward, the superimposition processing unit 25 performs the image processing of transmitting the transmission area 33B and combining the lower image 34. Therefore, a screen as shown in FIG. 7 is displayed. Thereby, the operator can recognize the situation behind the lower part of the dump truck 1 by visually recognizing the lower image 34 at the time of reverse movement.
  • the hydraulic shovel 50 shown in FIG. 13 is also applicable as a self-propelled industrial machine.
  • the hydraulic shovel 50 is configured to have a lower traveling body 51 having a crawler traveling body and an upper revolving structure 52 pivotally connected to the lower traveling body 51.
  • the upper revolving superstructure 52 has a cab 53, working means 54, a building 55 and a counterweight 56.
  • the working means 54 is constituted by the boom 57, the arm 58 and the bucket 59.
  • the above is the configuration of the general hydraulic shovel 50.
  • a front camera 60F, a rear camera 60B, a right camera 60R, and a left camera 60L are attached to the hydraulic shovel 50. These cameras are attached for the same purpose as the front camera 10F, the rear camera 10B, the right camera 10R, and the left camera 10L described above, and they are provided to display a state around the hydraulic shovel 50 as a bird's eye view.
  • the front camera 60F is attached near the cab 53, and the rear camera 60B is attached to the lower part of the counter weight 56.
  • the right camera 60R and the left camera 60L are attached to the building 55.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　自走式産業機械の周辺を撮影するカメラを用いて俯瞰画像をモニタに表示するときに、カメラに映り込む自走式産業機械の下部の画像をできる限り多く表示することを目的とする。　ダンプトラック１に設けた複数のカメラ１０が撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部２２と、シンボル画像３１のうち下部の領域を透過領域３３として透過させて、俯瞰画像３２のうち透過領域３３に対応する領域を下部画像３４として重畳する処理を行う重畳処理部２５と、シンボル画像３１を中央に配置して、その周囲に俯瞰画像３２を合成して表示画像を生成するときに、各俯瞰画像３２を表示する領域を区分けする境界線Ｌ１乃至Ｌ４を透過領域３３に基づいて設定する画像合成部２６と、画像合成部２６が合成した画像を表示するモニタ１４と、を備えている。

Description

自走式産業機械の表示装置
　本発明は、ダンプトラックや油圧ショベル等の自走式産業機械の走行操作を行うときにその支援を行う自走式産業機械の表示装置に関するものである。
　自走式産業機械が多様な作業現場で利用されている。自走式産業機械の１つにダンプトラックがある。ダンプトラックは、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えており、このベッセルに砕石物や土砂等の運搬対象物を積載する。そして、ダンプトラックは所定の集積場に土砂等を運搬して排土する。ベッセルに積載された土砂等を排土するときには、ダンプトラックを排土位置まで後進させて、停止させる。この状態でベッセルを傾斜させて土砂等を排土する。そして、排土を終えるとベッセルを元の位置に戻して、ダンプトラックを前進させる。
　一方、自走式産業機械の１つに油圧ショベルがある。油圧ショベルは、クローラ式またはホイール式の走行手段を有する下部走行体と下部旋回体に対して旋回可能な上部旋回体とを有している。上部旋回体には運転室（キャブ）が設けられており、上部旋回体に対して俯抑動作可能に連結したブームと、ブームの先端に上下方向に回動可能に連結したアームと、土砂の掘削等の作業を行うバケットとが作業手段として上部旋回体に設けられている。
　ダンプトラックや油圧ショベル等の自走式産業機械の運転室に搭乗するオペレータにとって、前方の視野は確保されているものの、後方や左右側方には死角を生じる。このため、オペレータが肉眼で視認することが困難な方向が生じる。そこで、油圧ショベルの周辺の状況をオペレータに補助的に認識させるために、運転室に設けられるモニタに俯瞰画像を表示する技術が特許文献１に開示されている。
　この特許文献１の技術では、油圧ショベルの後方および左右側方を監視するための３つのカメラを油圧ショベルに設けており、油圧ショベルの周辺監視を行っている。各カメラの光軸は斜め下方に向けられており、これを上方からの視点に座標変換することで、上方から仮想的に見下ろした俯瞰画像が生成される。従って、３つのカメラのそれぞれに対応した俯瞰画像が生成され、油圧ショベルの平面図を画面中央の位置に表示し、３つの俯瞰画像を合成することにより、油圧ショベルを全体的に上方から俯瞰した画像が得られる。この画像を運転室のモニタに表示することで、油圧ショベルの周辺の状況をオペレータに認識させることができる。これにより、オペレータの走行操作の支援を行うことができる。
特開２０１２－７４９２９号公報
　自走式産業機械において、運転室のモニタに油圧ショベルの周辺の俯瞰画像を表示することで、オペレータの肉眼による死角となる部分を画面上に表示することができ、自走式産業機械の周辺の状況を認識させる点で重要である。このため、特許文献１の技術は極めて高い効果を奏する。
　ただし、オペレータの肉眼による死角となる部分は、自走式産業機械の周辺だけでなく、その下部についても存在する。自走式産業機械の下部に何らかの障害物が存在するときには、自走式産業機械の走行は規制される。例えば、ダンプトラックの場合、ダンプトラックの下部に障害物が存在するときには、土砂の積載作業が終了したにもかかわらず、ダンプトラックの走行が規制される。
　ダンプトラックとしては普通ダンプトラックや重ダンプトラックがあるが、いずれにしろ大型であり、ダンプトラックの下部に広範な空間が形成される。特に、積載重量が１００トンを超えるような重ダンプトラックにおいては、車体下部の空間は広大になる。従って、ダンプトラックの下部に障害物が入り込む可能性が十分にある。この場合には、安全性の観点から、ダンプトラックの走行は規制される。これは、下部走行体を有する油圧ショベル等の自走式建設機械においても同様である。従って、油圧ショベル等において、その周辺の状況をオペレータが認識することは重要であるが、下部の状況についてもオペレータに認識させることも重要になる。
　この点、俯瞰画像を表示するために自走式産業機械に設けた各カメラは光軸を斜め下方に向けているため、カメラの取り付け位置によっては、カメラの視野の一部に自走式産業機械の下部が部分的に映し出されることがある。従って、カメラの視野の一部に映り込む自走式産業機械の下部の画像をモニタに表示することで、自走式産業機械の下部の状況を認識することができる。
　ただし、自走式産業機械の下部の撮影を専用とするするカメラを設けた場合はともかく、前記の俯瞰画像を生成するためのカメラはもともと自走式産業機械の周辺を撮影するためのカメラである。従って、自走式産業機械の下部の一部が映り込むとしても、映り込む領域は部分的に限定された領域になる。しかしながら、限定的な領域であったとしても、下部の画像をモニタに表示することは非常に有用である。
　そこで、本発明は、自走式産業機械の周辺を撮影するカメラを用いて俯瞰画像をモニタに表示するときに、カメラに映り込む自走式産業機械の下部の画像をできる限り広げることを目的とする。
　以上の課題を解決するため、本発明の自走式産業機械の表示装置は、自走式産業機械に設けられ、この自走式産業機械の周辺を撮影する斜め下方を光軸とした複数のカメラと、各カメラが撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、この俯瞰画像と前記自走式産業機械をシンボル化した車体のシンボル画像とをモニタに表示し、このシンボル画像のうち前記カメラに含まれる前記自走式産業機械の下部の領域を透過領域として所定の透過率で透過させて重畳する処理を行う重畳処理部と、前記シンボル画像を透過領域と非透過領域とが識別可能な表示態様にして前記俯瞰画像とを合成表示する画像合成部と、前記自走式産業機械の運転室に備えられ、前記画像合成部が合成した画像を表示する表示装置と、を備えている。
　モニタに車体のシンボル画像と共に周囲の俯瞰画像を表示するに当って、車体シンボル画像の表示領域のうち、車体を俯瞰したときには隠れているが、カメラにより撮影されている領域を透過領域として、車体を透過しない非透過領域と識別可能な態様で表示する。識別表示の態様としては、透過領域と非透過領域との間を境界線で区分けするか、透過領域と非透過領域との間で濃淡に差を設けるかによることができる。さらに、透過領域と非透過領域のいずれかの領域に着色することも可能である。
　カメラの配置と車両構成各部との配置関係とによっては、本来であればカメラの視野に入るはずであるが、車両構成部材により視野が部分的に妨げられる部位が存在することもある。この場合には、死角部の領域として、他とは異なる表示態様とすることもできる。
　透過領域とシンボル領域との境界の端部を基準とすることで、透過領域を最大限利用することができる。これにより、透過領域に下部の画像を広く表示することができる。
　また、前記カメラは後方を撮影する後方カメラであり、前記自走式産業機械の走行体の後端を基準として前記境界線を形成するようにしてもよい。
　後方カメラの視野に下部の画像が多く映し出される。このとき、後方カメラは自走式産業機械の走行体の後端より前方の視野を含まないため、シンボル画像の走行体の後端を基準として境界線を形成することで、下部の領域を広く表示することができる。
　また、前記運搬車両のフレームの最後端に設けられ、前記運搬車両のベッセルに干渉しない範囲のうち前記運搬車両の後輪よりも高い位置且つ後方に前記カメラを取り付けるようにしてもよい。
　運搬車両の後輪よりも高い位置に後方カメラを取り付けることで、運搬車両の下部の領域を大きく撮影することができる。そして、後輪よりも後方に後方カメラを取り付けることで、カメラの最大視野範囲を妨げる要因（主に後輪）を視野から外すことができ、下部の画像を大きく表示することができる。
　また、前記運搬車両の走行を操作する走行操作部により後進の操作がされたときに、前記表示画像を前記表示装置に表示するようにしてもよい。
　運搬車両のベッセル後方の下部に広範な空間が形成され、この空間に障害物が入り込み易くなる。そこで、後進操作を行ったときに、ベッセル下部の画像を表示することで、オペレータにベッセル下部の状況をより良好に認識させることができる。
　また、前記表示装置の表示領域を分割して、前記画像合成部が生成した前記表示画像と前記複数のカメラのうち前記下部画像を撮影しているカメラ画像とを表示するようにしてもよい。
　また、前記表示装置の表示領域を分割して、前記画像合成部が生成した前記表示画像と前記複数のカメラのうち前記下部画像を撮影しているカメラ画像とを表示するようにしてもよい。
　俯瞰画像とカメラ画像との両者を同時に表示することで、俯瞰画像から下部画像を認識でき、下部画像に対応するカメラが撮影しているカメラ画像を直接的に認識することができる。
　本発明は、俯瞰画像と自走式産業機械のシンボル画像とをモニタに表示する際に、シンボル画像の一部を透過画像として表示することにより、透過領域を広く利用することができる。これにより、透過領域に下部の画像を大きく表示することができる。
ダンプトラックの左側面図である。 ダンプトラックの平面図である。 運転室に取り付けられるモニタの一例を示した図である。 表示コントローラのブロック図である。 視点変換処理の原理を説明した図である。 画面部に表示される表示画像の一例を示す図である。 図６において、下部画像を重畳した例を説明した図である。 死角を生じた場合の表示画像の一例を示す図である。 境界線を異ならせた図６の他の例を示す図である。 画面を分割して俯瞰画像とカメラ画像とを表示した図である。 ダンプトラックの後方を示す図である。 ベッセルを取り除いたときのダンプトラックの後方の斜視図である。 油圧ショベルの左側面図である。
　以下、図面を参照して、本発明の実施形態について説明する。自走式産業機械としては、運搬車両や建設機械、道路工事機械等があり、運搬車両としては主にダンプトラック、建設機械としては主に油圧ショベルがある。ここでは、自走式産業機械としてダンプトラックを適用しているが、ダンプトラック以外の自走式産業機械を適用してもよい。ダンプトラックとしてはリジットダンプとアーティキュレートダンプとがあるが、何れを適用してもよい。なお、以下において、「左」とは運転室から見た左側であり、「右」とは運転室から見た右側になる。
　図１はダンプトラック１の左側面図を示しており、図２は平面図を示している。これらの図に示すように、ダンプトラック１は、運転室２とフレーム３とベッセル４と前輪５と後輪６と駆動用シリンダ７とを備えて構成している。また、ダンプトラック１の前後左右にカメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が設けられており、各カメラ１０が撮影した映像をカメラ画像として出力している。なお、図１の破線は、後方カメラ１０Ｂの視野範囲を示している。
　前方カメラ１０Ｆは前方、後方カメラ１０Ｂは後方、右方カメラ１０Ｒは右側方、左方カメラ１０Ｌは左側方を視野とするカメラである。図２では、前方カメラ１０Ｆの視野範囲を前方視野範囲ＶＦ、後方カメラ１０Ｂの視野範囲を後方視野範囲ＶＢ、右方カメラ１０Ｒの視野範囲を右方視野範囲ＶＲ、左方カメラ１０Ｌの視野範囲を左方視野範囲ＶＬとして、仮想線で示している。図中では、各視野範囲は矩形として例示しているが、視野範囲は矩形に限定されない。
　各カメラ１０はダンプトラック１の周辺を撮影しているが、その撮影方向は斜め下方になっている。つまり、光軸方向が斜め下方になっている。なお、ダンプトラック１に備えられるカメラ１０の個数は任意の数とすることができる。ただし、オペレータの肉眼による視野の死角を生じる方向を撮影する後方カメラ１０Ｂと右方カメラ１０Ｒと左方カメラ１０Ｌとを備えることが望ましい。また、アーティキュレートダンプの場合には、さらに多くのカメラを設けてもよい。
　運転室２はオペレータが搭乗してダンプトラック１を操作するために設けられており、ダンプトラック１の左側に配置されているものが多い。また、各種の操作手段が運転室２に設けられている。フレーム３はダンプトラック１の枠組みを構成するものであり、フレーム３の前方には前輪５が設けられ、後方には後輪６が設けられている。ベッセル４は荷台であり、土砂や鉱物等を積載する。ベッセル４には駆動用シリンダ７が取り付けられており、傾動可能になっている。これにより、ベッセル４に積載された土砂等を排土することが可能になっている。
　図３は、運転室２の一例を示している。運転室２には、走行方向を操作するハンドル１１とダンプトラック１の計器類等を表示するコンソール１２とピラー１３とが設けられている。そして、ピラー１３にモニタ１４が取り付けられている。モニタ１４は画面部１５と入力部１６とを備えて構成した表示装置である。画面部１５は所定の情報を表示する画面であり、入力部１６は画面部１５の表示内容を適宜に操作するために設けている。なお、モニタ１４の位置は運転室２の内部であれば任意の位置に設けてもよい。また、入力部１６を省略して、画面部１５をタッチセンサパネルとしてもよい。
　図４は、モニタ１４に接続される表示コントローラ１７および表示コントローラ１７に接続される車体コントローラ１８を示している。同図に示すように、表示コントローラ１７は画像補正部２１と視点変換部２２と下部画像生成部２３とシンボル画像保持部２４と重畳処理部２５と画像合成部２６と基準点記憶部２７と表示画像生成部２８とを備えている。表示コントローラ１７の各部はソフトウェアで実現することが可能であり、ＣＰＵにより各部の機能が行われるようにすることもできる。
　画像補正部２１は、前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌが撮影している画像を入力している。そして、入力した画像に対して、カメラ光学系パラメータ等に基づいて、レンズ歪み補正や収差補正、コントラスト補正、色調補正等の各種の画像補正を行う。これにより、入力した画像の画質を向上させる。画像補正部２１が入力した補正した画像はカメラ画像として視点変換部２２に出力される。
　視点変換部２２は、画像補正部２１から入力したカメラ画像に対して視点変換処理を行って、俯瞰画像（仮想視点画像）を生成する。前述したように、各カメラ１０は斜め下方を光軸方向としており、これを上方からの仮想的な視点に変換する。図５に示すように、カメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）の対物レンズの光軸Ａは、地表Ｇに対して所定角度θを有しており、これにより、カメラ１０の光軸は斜め下方になっている。視点変換部２２では、光軸方向が垂直方向となるような仮想カメラ１０Ｖを高さＨに仮想的に設定し、この仮想カメラ１０Ｖが地表Ｇを見下ろした画像データに座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像（俯瞰画像）となる。
　図４に示すように、視点変換部２２が視点変換処理を行った俯瞰画像は、下部画像生成部２３および画像合成部２６に出力される。下部画像生成部２３は、カメラ１０にダンプトラック１の下部が視野に含まれている場合には、俯瞰画像のうちダンプトラック１の下部の部分を取得して、下部画像も俯瞰画像とする。
　なお、全てのカメラ１０にダンプトラック１の下部が視野に含まれているとは限らない。従って、ダンプトラック１の下部が視野に含まれていないカメラ１０についての下部画像は生成されない。本実施形態では、後方カメラ１０Ｂの視野のみにダンプトラック１の下部が含まれており、後方カメラ１０Ｂから下部画像が生成されるが、後方カメラ１０Ｂ以外のカメラ１０から下部画像を生成するものであってもよい。
　シンボル画像保持部２４は、シンボル画像を保持する。シンボル画像はダンプトラック１をシンボル（キャラクタ）として画面部１５で表示するときの画像である。従って、シンボル画像はダンプトラック１の形状を再現した画像になる。このときの再現性が高ければ、オペレータはダンプトラック１の形状を正確に認識することができる。ただし、忠実にダンプトラック１の形状を再現した画像でなくてもよい。
　重畳処理部２５は、下部画像生成部２３から下部画像を入力し、シンボル画像保持部２４からシンボル画像を入力する。そして、重畳処理部２５は、シンボル画像のうち下部画像に対応する領域を透過領域として所定の透過率で透過させ、この透過領域に下部画像を重畳する画像処理を行う。この画像処理はスーパーインポーズ処理（画像の重ね合わせ処理）となり、透過率が１００％でなければ、シンボル画像と下部画像とが同じ位置に二重に表示される。透過率は任意にコントロールすることができる。
　画像合成部２６は、視点変換部２２が視点変換した各俯瞰画像を入力し、重畳処理部２５が処理を行ったシンボル画像を入力する。そして、シンボル画像を中央にして、その周囲に各俯瞰画像を配置して合成を行う。前方カメラ１０Ｆからは前方俯瞰画像が生成され、後方カメラ１０Ｂからは後方俯瞰画像が生成され、右方カメラ１０Ｒからは右方俯瞰画像が生成され、左方カメラ１０Ｌからは左方俯瞰画像が生成される。そして、シンボル画像を中心にして、前側に前方俯瞰画像を、後側に後方俯瞰画像を、右側に右方俯瞰画像を、左側に左方俯瞰画像を配置する合成を行う。
　このとき、画像合成部２６は基準点記憶部２７から基準点を読み出す。シンボル画像を中央にして、周辺に各俯瞰画像が合成されるが、シンボル画像から放射状に形成される境界線を設定する。境界線は各俯瞰画像を表示する領域を区分けするために設定している。基準点記憶部２７はこの境界線を形成するときのシンボル画像の基準点（始点）を記憶する。この基準点は、前述の透過領域に基づいて設定される。
　なお、ダンプトラック１に前後左右の４つのカメラ１０が設置されているとは限らない。例えば、前方カメラ１０Ｆが設置されない場合もある。この場合には、前方俯瞰画像を得ることができないため、前方俯瞰画像は合成されない。すなわち、設置されているカメラ１０に応じて、当該カメラ１０が撮影する方向の俯瞰画像が生成されて合成される。ただし、オペレータの視野の死角になる左方俯瞰画像、右方俯瞰画像、後方俯瞰画像を合成することが望ましい。
　表示画像生成部２７は、画像合成部２６が合成した画像を１つの表示画像として生成する。この表示画像はモニタ１４に出力される。モニタ１４の画面部１５には表示画像が表示される。運転室２に搭乗したオペレータは、画面部１５に表示された表示画像を視認することができる。画面部１５には１つの画像だけでなく、画面部１５の表示領域を複数に分割して複数の画像を表示することも可能になっている。
　図４に示すように、表示コントローラ１７は車体コントローラ１８と接続されている。車体コントローラ１８にはダンプトラック１をコントロールするための各種の操作手段が接続されている。そのうちの１つがシフトレバー２９である。シフトレバー２９はオペレータがダンプトラック１の走行を操作する走行操作部であり、前進位置、中立位置、後進位置の３つの位置に変位する。シフトレバー２９が前進位置に位置しているときには、ダンプトラック１は前進し、後進位置に位置しているときにはダンプトラック１は後進する。また、中立位置に位置しているときにはダンプトラック１は停止する。シフトレバー２９からは何れの位置（前進位置、中立位置、後進位置）にあるかのシフトレバー位置情報が車体コントローラ１８に入力される。そして、シフトレバー位置情報は車体情報として表示コントローラ１７に出力される。
　以上の構成を用いて、モニタ１４の画面部１５に表示される表示画像を表示コントローラ１７が作成する。ここでは、画面部１５の全領域に俯瞰画像表示を行う場合を説明するが、画面部１５の領域を分割して、分割した領域に俯瞰画像表示を行うようにしてもよい。俯瞰画像表示は、表示領域の中央にシンボル画像を表示して、その周辺（周囲）に俯瞰画像を表示する方式である。
　図６は画面部１５の全領域の中央に方形の領域が設けられ、当該中央の領域にシンボル画像３１が表示される。シンボル画像３１は、前述したように、ダンプトラック１の形状を再現したシンボル（キャラクタ）である。なお、自走式産業機械がダンプトラック１以外の場合は、当該自走式産業機械の車体形状を再現したシンボル画像３１を表示する。従って、画面部１５の中央部分にはシンボル画像３１が表示され、俯瞰画像はこのシンボル画像３１の周囲に表示される。
　シンボル画像３１を中央にして放射状に境界線Ｌ１乃至Ｌ４が形成される。そして、シンボル画像３１および境界線Ｌ１乃至Ｌ４により前後左右に分割した領域が設けられる。シンボル画像３１の前方の領域には前方俯瞰画像３２Ｆが表示され、後方の領域には後方俯瞰画像３２Ｂが表示され、右方の領域には右方俯瞰画像３２Ｒが表示され、左方の領域には左方俯瞰画像３２Ｌが表示される。前方俯瞰画像３２Ｆと後方俯瞰画像３２Ｂと右方俯瞰画像３２Ｒと左方俯瞰画像３２Ｌとを総称して俯瞰画像３２とする。
　少なくとも各俯瞰画像３２を表示するためには、各カメラ１０が撮影を行っていなければならない。このために、オペレータはエンジンを始動させる等して、各カメラ１０が撮影を開始する。前述したように、各カメラ１０は斜め下方を撮影しており、前方カメラ１０Ｆは前方の斜め下方、後方カメラ１０Ｂは後方の斜め下方、右方カメラ１０Ｒは右側方の斜め下方、左方カメラ１０Ｌは左側方の斜め下方の映像を撮影している。
　そして、各カメラ１０は撮影した映像をカメラ画像として表示コントローラ１７に出力（転送）する。各カメラ１０は所定の撮影周期で撮影を行っており、撮影周期ごとにカメラ画像が転送される。これにより、画面部１５には動画を表示することができる。なお、静止画を表示するようにしてもよい。
　図４に示したように、画像補正部２１は各カメラ１０から出力されるカメラ画像に対して所定の補正処理を行う。これにより、カメラ画像の画質が向上する。補正処理が行われたカメラ画像は視点変換部２２で視点変換される。前方カメラ１０Ｆが撮影したカメラ画像により前方俯瞰画像３２Ｆが生成され、後方カメラ１０Ｂが撮影したカメラ画像により後方俯瞰画像３２Ｂが生成され、右方カメラ１０Ｒが撮影したカメラ画像により右方俯瞰画像３２Ｒが生成され、左方カメラ１０Ｌが撮影したカメラ画像により左方俯瞰画像３２Ｌが生成される。生成された各俯瞰画像３２は画像合成部２６に出力される。
　ところで、シンボル画像３１を中心に各俯瞰画像３２を表示することで、図６のように、ダンプトラック１を上方から見下ろした画像を画面部１５に表示することができる。図６は俯瞰画像表示であり、ダンプトラック１の周辺の状況を良好にオペレータが認識することができる。図６に示すように、サービスカーが障害物Ｓ１として接近している場合には、俯瞰画像表示を行うことで、オペレータはダンプトラック１と障害物Ｓ１との間の位置関係を直感的に認識することができる。
　例えば、俯瞰画像表示は、ダンプトラック１を発進させるときに、周辺に何かしらの障害物が存在しているか否かを確認するときに有効である。特に、オペレータから死角となる方向についても、障害物が近接しているか否かを確認することができるため、有効である。従って、各俯瞰画像３２は比較的ダンプトラック１の近距離を表示範囲としている。つまり、図５で説明した各カメラ１０の光軸と地表Ｇとの間の角度θは比較的大きく設定している。これにより、図６のような俯瞰画像表示を行うことにより、ダンプトラック１に近接した周辺の状況を良好に表示することができる。
　ここで、図１の破線で示した領域に示したように、後方カメラ１０Ｂはベッセル４の下部位置に取り付けられている。そして、後方カメラ１０Ｂは、斜め下方を光軸としているため、ダンプトラック１の後方を撮影しているが、ダンプトラック１（ベッセル４）の下部も視野に含まれる。特に、前述したように、後方カメラ１０の光軸と地表Ｇとの角度θは比較的大きく、また後方カメラ１０には広い画角のレンズを用いているため、ダンプトラック１の下部の広範な領域が視野に含まれる。下部領域は視点変換処理を行った俯瞰画像であり、下部画像生成部２３において広範な下部画像が生成される。
　従って、後方カメラ１０Ｂの視野に含まれるダンプトラック１の下部画像をモニタ１４の画面部１５に表示することは可能である。そこで、本実施形態では、下部画像生成部２３は視点変換部２２から後方俯瞰画像３２Ｂを取得する。そして、下部画像生成部２３は、後方俯瞰画像３２Ｂのうち、ダンプトラック１の下部の部分を下部画像として生成する。
　シンボル画像保持部２４は、図６に示すように、ダンプトラック１の形状を再現したシンボル画像３１を保持している。同図の例では、シンボル画像３１は前輪５や後輪６等が表示されており、また各カメラ１０の取り付け位置も表示されている。シンボル画像保持部２４は保持しているシンボル画像３１を重畳処理部２５に出力する。
　重畳処理部２５はシンボル画像３１のうち、下部画像に対応する領域を透過領域３３としている。この透過領域３３は図中においてハッチングで示された領域となる。後方カメラ１０Ｂの取り付け位置や画角、光軸方向等は予め設定されているものであり、シンボル画像３１のうち下部画像に対応する透過領域３３は予め認識されている。従って、シンボル画像３１の中で透過領域３３の位置や範囲は定まっている。そして、下部画像（３４とする）と透過領域３３との位置や範囲は一致している。
　従って、重畳処理部２５は、透過領域３３を所定の透過率で透過させて、後方カメラ１０Ｂが撮影した映像に基づく下部画像３４を重畳（スーパーインポーズ）する。図７は、その一例を示している。同図では、下部画像３４に障害物Ｓ２が映し出されている。オペレータは、画面部１５の下部画像３４を視認することで、ダンプトラック１の下部、この場合はベッセル４の下部に障害物Ｓ２が存在することを認識することができる。これにより、オペレータは、シフトレバー２９を操作して、ダンプトラック１を後進すると、後輪６と障害物Ｓ２とが干渉することを認識することができる。つまり、シフトレバー２９を後進位置に変位させることが規制されることをオペレータは認識できる。
　前述したように、各カメラ１０（後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が撮影した映像を用いて視点変換処理をすることで、俯瞰画像表示を行う。これにより、ダンプトラック１の周辺の状況を一見して認識することができる。俯瞰画像表示は、仮想的に視点を上方に設定したときに、地表Ｇを見下ろす画像になっている。従って、本来であればベッセル４や運転室２等の構造物により、俯瞰画像表示では、ダンプトラック１の下部の画像は表示されない。
　しかし、後方カメラ１０Ｂの視野にはダンプトラック１の下部が含まれている。従って、下部画像生成部２３が下部画像３４を生成して、重畳処理部２５がシンボル画像３１の透過領域３３を透過させて下部画像３４を合成することで、シンボル画像３１の中にダンプトラック１の下部の画像の情報を持たせることができる。要するに、モニタ１４の画面部１５に表示されている画像としては、車体のシンボル画像３１と、前方俯瞰画像３２Ｆ，後方俯瞰画像３２Ｂ及び左右の側方俯瞰画像３２Ｌ，３２Ｒからなる車体外の俯瞰画像と、俯瞰画像として表示される下部画像３４とから構成される。しかも、シンボル画像３１の一部分を透過領域３３としている。これにより、オペレータはダンプトラック１の周辺の状況だけでなく、シンボル画像３１の下部画像に基づいて、ダンプトラック１の下部の状況についても認識することができる。しかも、これは、もともと俯瞰画像表示をするための各カメラ１０を利用しているため、格別に下部を撮影するための専用のカメラを設ける必要がない。
　図６や図７に示すように、シンボル画像３１の運転室２を再現した位置に方向アイコン３５を配置している。方向アイコン３５はオペレータの向きを示している。ここでは、方向を三角形の矢印で示している。この方向アイコン３５はダンプトラック１の進行方向によって変化させるようにしてもよい。表示コントローラ１７には車体コントローラ１８から進行方向の情報が車体情報として入力されているため、進行方向に応じて三角形を回転させるようにしてもよい。例えば、ダンプトラック１を後進させる場合には、図６の三角形の向きとは逆向きになる。
　ところで、画像合成部２６は、シンボル画像３１を中央の領域に配置して、放射状に形成される境界線Ｌ１乃至Ｌ４により区分けされた領域に各俯瞰画像３２を配置して合成を行う。通常は、図８に示すように、シンボル画像３１が表示される方形の領域の４つの頂点（四隅）から放射状に境界線Ｌ１乃至Ｌ４を形成する。これは、図２に示したように、各視野範囲ＶＢ、ＶＦ、ＶＲ、ＶＬは部分的に重複しており、重複している領域を均等に分割するように境界線Ｌ１乃至Ｌ４を形成することが自然であり、また画像処理の点においても処理の簡略化を図れるためである。しかも、俯瞰画像３２Ｆ，３２Ｂ，３２Ｌ，３２Ｒは下部画像３４と識別可能な表示態様により表示される。この識別可能な表示態様としては、車体を示すシンボル画像３１の境界線で示されているが、これ以外にも、例えば透過領域３３とそれ以外とで濃淡差を設けたり、いずれか一方に着色を施したりする等により識別可能な表示とすることもできる。
　図８に示すように、境界線Ｌ１とＬ２とにより形成される領域は後方カメラ１０Ｂが撮影した画像により後方俯瞰画像３２Ｂが表示される。このため、透過領域３３のうち境界線Ｌ１とＬ２とに挟まれた領域には下部画像を表示することは可能である。一方、透過領域３３のうち境界線Ｌ２から左側は左方カメラ１０Ｌが撮影したカメラ画像に基づく画像が表示される領域である。同様に、透過領域３３のうち境界線Ｌ１から右側は右方カメラ１０Ｒが撮影したカメラ画像に基づく画像が表示される領域である。
　透過領域３３のうち境界線Ｌ１から左側の領域は後方カメラ１０Ｂの視野には含まれるが、右方カメラ１０Ｒの視野には含まれない。同様に、透過領域３３のうち境界線Ｌ２から右側の領域は後方カメラ１０Ｂの視野には含まれるが、左方カメラ１０Ｌの視野には含まれない。これにより、透過領域３３には２つの死角３３Ｄが生じる。これら２つの死角３３Ｄは、右方カメラ１０Ｒおよび左方カメラ１０Ｌが透過領域３３を視野に含まないために生じるものである。つまり、シンボル画像３１を表示する方形の領域の四隅を基準として形成される境界線Ｌ１およびＬ２を用いると、死角３３Ｄの部分には下部画像３４は表示されなくなる。
　このため、本来なら、透過領域３３の全領域に後方カメラ１０Ｂに基づいた下部画像３４を表示可能であるにもかかわらず、一部が死角３３Ｄとなり、表示されなくなる。仮に、死角３３Ｄに障害物Ｓ２が存在しているときには、後方カメラ１０Ｂの視野には障害物Ｓ２が含まれているにもかかわらず、画面部１５に表示されない。これにより、オペレータは障害物Ｓ２を認識することができない。そこで、この死角３３Ｄの領域については、表示不能領域として、例えば黒塗り状態とする。
　そこで、本実施形態では、画像合成部２６は、シンボル画像３１を中心として、その周囲に各俯瞰画像３２を合成するときに、基準点記憶部２７から基準点Ｐ１乃至Ｐ４を読み出す。基準点Ｐ１乃至Ｐ４は、境界線Ｌ１乃至Ｌ４を形成するときに、シンボル画像３１の外形のうち何れの位置を基準（始点）とするかを示している。
　図６および図７にも示すように、シンボル画像３１は基本的にダンプトラック１の形状を再現したキャラクタであり、予め作成されたものである。ただし、シンボル画像３１の一部は透過領域３３となっており、この透過領域３３には下部画像３４を重畳表示することが可能になっている。従って、シンボル画像３１は透過領域３３とそれ以外の領域（シンボル領域３１Ａ）とに分けることができる。このうち、シンボル領域３１Ａはシンボル画像３１と同じく予め作成されたキャラクタであり、固定されたキャラクタである。一方、透過領域３３はシンボル画像３１の一部を構成しているものの、むしろ画像を表示するための領域であり、下部画像３４により表示内容が変化する。
　このため、画像合成部２６は、シンボル画像３１を表示する領域が方形の場合、この方形の領域の四隅から境界線Ｌ１乃至Ｌ４を設定するのではなく、透過領域３３に基づいて境界線Ｌ１乃至Ｌ４を設定する。ここでは、シンボル画像３１のうち透過領域３３とシンボル領域３１Ａとの境界の端部を基準として境界線Ｌ１およびＬ２を設定する。シンボル画像３１の前方には透過領域３３が存在していないため、シンボル画像３１の方形の領域の角隅部から境界線Ｌ３およびＬ４を設定する。ただし、これは、シンボル領域３１Ａの角隅部から境界線Ｌ３およびＬ４を設定していることに等しい。
　境界線Ｌ１乃至Ｌ４は基準点Ｐ１乃至Ｐ４を基準として設定される。画像合成部２６は基準点記憶部２７から基準点Ｐ１乃至Ｐ４を読み出す。基準点Ｐ１乃至Ｐ４は、シンボル画像３１のうち透過領域３３を除外した領域、すなわちシンボル領域３１Ａの四隅に設定されている。透過領域３３は予め認識されているため、基準点Ｐ１乃至Ｐ４も予め設定することができる。つまり、シンボル画像３１の外形の何れの位置に基準点Ｐ１乃至Ｐ４を設定するかは予め認識されている。
　そして、画像合成部２６は基準点Ｐ１乃至Ｐ４から境界線Ｌ１乃至Ｌ４を形成する。図７に示すように、境界線Ｌ３およびＬ４はシンボル画像３１の角隅部から形成されているが、境界線Ｌ１およびＬ２はシンボル画像３１の角隅部ではなく、透過領域３３とシンボル領域３１Ａとの境界の端部から形成される。
　透過領域３３は後方カメラ１０Ｂが撮影した映像に含まれる下部画像３４のサイズによって決定される。従って、透過領域３３は後方カメラ１０Ｂが撮影している映像の視野に応じて決定されることになる。後方カメラ１０Ｂに広角のレンズを用いることにより、広範囲を視野とすることができ、最大視野範囲が広くなる。この場合、下部画像３４および透過領域３３のサイズも大きくなる。ただし、図８に示すように、後方カメラ１０Ｂの視野を妨げるような構造物が存在している場合には、撮像不能な死角３３Ｄの領域が存在して、当該構造物により後方カメラ１０Ｂの視野が狭くなる。当該構造物としては主に後輪６がある。つまり、後輪６より前方は後方カメラ１０Ｂの視野とすることが難しい。そこで、図７に示すように、透過領域３３とシンボル領域３１Ａとの境界の端部には後輪６の後端が位置している。従って、後輪６の後端から境界線Ｌ１およびＬ２を形成している。
　以上のようにして、画像合成部２６は、基準点Ｐ１乃至Ｐ４を基準として、境界線Ｌ１乃至Ｌ４を設定して、境界線Ｌ１乃至Ｌ４およびシンボル画像３１により区画形成される前後左右の各領域に各俯瞰画像３２を合成する。境界線Ｌ１およびＬ２とシンボル画像３１とにより区画形成される領域に後方俯瞰画像３２Ｂが表示される。且つ、透過領域３３の前方の角隅部から境界線Ｌ１およびＬ２が形成されているため、図７に示すように、透過領域３３の全領域に下部画像３４を表示することができる。従って、下部画像３４に表示されている障害物Ｓ２に基づいて、オペレータは明確に障害物Ｓ２の存在を認識することができる。
　以上において、後輪６の後端を基準として境界線Ｌ１およびＬ２を設定した場合を示したが、後輪６の後端以外の位置を基準として境界線を設定してもよい。同様に、透過領域３３とシンボル領域３１Ａとの境界の端部を基準点Ｐ１およびＰ２として、境界線Ｌ１およびＬ２を設定しているが、図８にあるように、基準点Ｐ１およびＰ２をシンボル画像３１の前方または後方に移動させるようにしてもよい。この場合には、境界線Ｌ１およびＬ２の始点位置（基準点Ｐ１およびＰ２）も変化する。
　いずれにしろ、死角３３Ｄとなっている領域は視野が得られていないので、この領域については、図８に示すように、黒く塗り潰すようにして、画像が得られていない領域であることを認識できるようにする。ここで、基準点Ｐ１およびＰ２をシンボル画像３１の後方に移動させることで、死角３３Ｄの慮息を僅かなものとする。この場合には、基準点Ｐ１およびＰ２をシンボル画像３１の後方に移動させてもよい。また、基準点Ｐ１およびＰ２を前方に移動させると、後方カメラ１０Ｂの視野に含まれない領域も後方俯瞰画像３２Ｂのための領域となるため、この場合も死角を生じることがある。ただし、この場合も、僅かな死角が許容される場合には、基準点Ｐ１およびＰ２を僅かに前方に移動させてもよい。
　要は、透過領域３３に基づいて、境界線Ｌ１およびＬ２を設定することで、透過領域３３に生じる死角３３Ｄを最小限に抑制することができ、透過領域３３の全領域に下部画像３４を表示することができ、最大限に有効活用することができる。しかも、死角３３Ｄとなる領域を他の領域と明確に識別可能な状態に表示することにより、オペレータの視認性という点では、最も良好な効果を得ることができる。
　また、図６乃至図８の例では、境界線Ｌ１乃至Ｌ４は画面部１５の角隅部（四隅）まで形成されているが、角隅部以外の箇所まで形成するようにしてもよい。図９はその一例を示している。同図に示すように、境界線Ｌ１およびＬ２は、画面部１５の角隅部から離間した位置まで形成している。後方カメラ１０Ｂが高画素且つ広角の場合には、後方カメラ１０Ｂが撮影した後方俯瞰画像３２Ｂを優先的に表示するようにしてもよい。この場合には、後方カメラ１０Ｂの画角に応じて境界線Ｌ１およびＬ２を図９のように形成してもよい。
　また、図１０に示すように、画面部１５を２分割して、１つの分割領域１５Ａに合成して俯瞰画像を表示して、もう１つの分割領域１５Ｂに後方カメラ１０Ｂのカメラ画像（視点変換していない画像）を表示してもよい。後方カメラ１０Ｂの視野範囲に障害物Ｓ２が存在していると、分割領域１５Ａの下部画像３４に表示される。分割領域１５Ｂは後方カメラ１０Ｂのカメラ画像が表示されるため、オペレータが分割領域１５Ｂを視認することで、障害物Ｓ２をより具体的に認識することができる。
　また、図６乃至図１０の例では、画面部１５の縦の画素数は横の画素数よりも大きい場合を説明したが、その逆であってもよい。つまり、画面部１５は縦長でなく、横長としてもよい。
　前述したように、境界線Ｌ１およびＬ２は後輪６の後端を基準として設定している。これは、自走式産業機械がダンプトラック１の場合である。自走式産業機械がダンプトラック１ではなく、クローラ式油圧ショベルの場合には、クローラの後端を基準として、ホイール式油圧ショベルの場合には、後輪の後端を基準として境界線Ｌ１およびＬ２を設定する。要は、自走式産業機械を走行させる手段である走行体の後端を基準として境界線Ｌ１およびＬ２を設定することができる。
　ダンプトラック１の場合、後方カメラ１０Ｂに画角の広いレンズを用いたとしても、後輪６が後方カメラ１０Ｂの視野範囲を狭める場合がある。そこで、後方カメラ１０Ｂの視野範囲を最大限活用するために、後方カメラ１０Ｂをダンプトラック１のフレーム３の最後端に取り付ける。そして、後輪６よりも高い位置且つ後方に取り付けるようにしている。ただし、ベッセル４と後方カメラ１０Ｂとが干渉しないようにする。
　後方カメラ１０Ｂを後輪６よりも高い位置且つ後方に取り付けることで、後方カメラ１０Ｂの視野範囲にダンプトラック１の下部の広範な領域を含ませることができ、且つ後輪６により後方カメラ１０Ｂの視野が妨げられることもない。このため、透過領域３３を最も広範な領域とすることができ、広範な領域の下部画像３４を表示することができる。
　図１１および図１２は、その一例を示している。図１１および図１２に示されるように、フレーム３の最後端にはリヤランプ４１が取り付けられている。リヤランプ４１はダンプトラック１の後方に照明光を供給するために設けている。リヤランプ４１の上方には遮蔽板４２が延出している。これは、リヤランプ４１の光を後方カメラ１０Ｂに映り込まないようにするために設けている。遮蔽板４２の上部には支持台４３が設けられており、支持台４３に後方カメラ１０Ｂが取り付けられている。
　図１１および図１２から明らかなように、後方カメラ１０Ｂは後輪６よりも高い位置且つ後方に取り付けることができる。これにより、後輪６が後方カメラ１０Ｂの視野を妨げることがなくなり、広範な領域の下部画像３４を表示することができる。オペレータは、この下部画像３４により、良好にダンプトラック１の下部の状況を認識することができる。
　ところで、後方カメラ１０Ｂを後輪６よりも高い位置且つ後方に取り付けるためには、例えばブラケット等を用いることにより、後方カメラ１０Ｂを所望の位置に配置することもできる。ただし、ダンプトラック１は不整地を走行するものであり、走行時には激しい振動を伴う。従って、この場合には、後方カメラ１０Ｂが撮影した映像に非常に大きなブレを生じる。
　そこで、図１１および図１２のように、フレーム３を基礎として後方カメラ１０Ｂを固定する。フレーム３はダンプトラック１の基本を構成する枠組みであり、不整地を走行したときにも高い安定性を得ることができる。従って、後方カメラ１０Ｂが撮影した映像のブレを少なくすることができ、安定的な撮影を行うことができる。
　次に、ダンプトラック１の走行操作による画像合成部２６の処理について説明する。運転室２に搭乗したオペレータはシフトレバー２９を操作して、ダンプトラック１を走行させる。前述したように、シフトレバー２９は前進位置と中立位置と後進位置とがあり、シフトレバー２９の位置によって、ダンプトラック１を走行させるか否か、および走行させる場合には走行方向が決定される。シフトレバー２９がどの位置に入っているかの情報（シフトレバー位置情報）は車体コントローラ１８に入力され、車体コントローラ１８は車体情報としてシフトレバー位置情報を表示コントローラ１７に出力する。
　重畳処理部２５はシフトレバー位置情報を入力する。これにより、重畳処理部２５はダンプトラック１の走行方向を認識する。重畳処理部２５はシフトレバー位置情報、つまりシフトレバー２９の位置に応じて、各透過領域３３を透過させるか否かの制御を行う。
　シフトレバー２９が後進位置に入ったときには、ダンプトラック１は後進する。この場合に、後方の透過領域３３に障害物Ｓ２が存在しているときには、ダンプトラック１と干渉する。従って、この場合は、重畳処理部２５は、ダンプトラック１が後進することを認識することにより、透過領域３３Ｂを透過させて、下部画像３４を合成させる画像処理を行う。従って、図７のような画面が表示される。これにより、オペレータは、後進時に下部画像３４を視認することにより、ダンプトラック１の下部後方の状況を認識することができる。
　以上は、自走式産業機械としてダンプトラック１を適用した例について説明したが、自走式産業機械としては、図１３に示す油圧ショベル５０を適用することもできる。油圧ショベル５０はクローラ式走行体を有する下部走行体５１と、下部走行体５１に対して旋回可能に連結した上部旋回体５２とを有して構成している。上部旋回体５２は、運転室５３と作業手段５４と建屋５５とカウンタウェイト５６とを有している。作業手段５４はブーム５７とアーム５８とバケット５９とにより構成される。以上は一般的な油圧ショベル５０の構成である。
　油圧ショベル５０には、前方カメラ６０Ｆ、後方カメラ６０Ｂ、右方カメラ６０Ｒ、左方カメラ６０Ｌ（図示せず）が取り付けられている。これらのカメラは、前述した前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌと同じ目的で取り付けており、油圧ショベル５０の周辺の状況を俯瞰表示するために設けている。また、前方カメラ６０Ｆは運転室５３の近傍に取り付けられており、後方カメラ６０Ｂはカウンタウェイト５６の下部に取り付けられている。右方カメラ６０Ｒおよび左方カメラ６０Ｌは建屋５５に取り付けられている。
　カウンタウェイト５６の下部に広範な空間が形成される。このとき、後方カメラ６０Ｂは後方を撮影しているが、光軸が斜め下方であるため、カウンタウェイト５６の下部が視野に含まれる。そこで、カウンタウェイト５６の下部画像をシンボル画像に表示することで、前述したダンプトラック１の場合と同じ効果を得ることができる。
１　　ダンプトラック
２　　運転室
３　　フレーム
４　　ベッセル
５　　前輪
６　　後輪
１０　　カメラ
１４　　モニタ
１５　　画面部
１５Ａ　　分割領域
１５Ｂ　　分割領域
１７　　表示コントローラ
１８　　車体コントローラ
２１　　画像補正部
２２　　視点変換部
２３　　下部画像生成部
２４　　シンボル画像保持部
２５　　重畳処理部
２６　　画像合成部
２７　　基準点記憶部
２８　　表示画像生成部
２９　　シフトレバー
３１　　シンボル画像
３１Ａ　　シンボル領域
３２　　俯瞰画像
３３　　透過領域
３３Ｄ　　死角
３４　　下部画像

Claims (9)

  1. 　自走式産業機械に設けられ、この自走式産業機械の周辺を撮影する斜め下方を光軸とした複数のカメラと、各カメラが撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、
    　この俯瞰画像と前記自走式産業機械をシンボル化した車体のシンボル画像とをモニタに表示し、このシンボル画像のうち前記カメラに含まれる前記自走式産業機械の下部の領域を透過領域として所定の透過率で透過させて重畳する処理を行う重畳処理部と、
    　前記シンボル画像を透過領域と非透過領域とが識別可能な表示態様にして前記俯瞰画像とを合成表示する画像合成部と、
    　前記自走式産業機械の運転室に備えられ、前記画像合成部が合成した画像を表示する表示装置と、
    　を備えた自走式産業機械の表示装置。
  2. 　前記画像合成部は、前記シンボル画像のうち前記透過領域とそれ以外のシンボル領域との境界の端部との間に境界線を形成する
    　請求項１記載の自走式産業機械の表示装置。
  3. 　前記透過領域と前記俯瞰画像の表示領域との間に濃淡の差を持たせた
    　請求項１記載の自走式産業機械の表示装置。
  4. 　前記透過領域を着色することで、前記俯瞰画像の表示領域と識別させるようにした
    　請求項１記載の自走式産業機械の表示装置。
  5. 　前記透過領域において、前記カメラの死角となる領域を塗り潰すことで、画像非表示領域とする
    　請求項１記載の自走式産業機械の表示装置。
  6. 　前記カメラは後方を撮影する後方カメラであり、前記自走式産業機械の走行体の後端を基準として前記境界線を形成する
    　請求項１記載の自走式産業機械の表示装置。
  7. 　前記運搬車両のフレームの最後端に設けられ、前記運搬車両のベッセルに干渉しない範囲のうち前記運搬車両の後輪よりも高い位置且つ後方に前記カメラを取り付けた
    　請求項６記載の自走式産業機械の表示装置。
  8. 　前記運搬車両の走行を操作する走行操作部により後進の操作がされたときに、前記表示画像を前記表示装置に表示する
    　請求項７記載の自走式産業機械の表示装置。
  9. 　前記表示装置の表示領域を分割して、前記画像合成部が生成した前記表示画像と前記複数のカメラのうち前記下部画像を撮影しているカメラ画像とを表示する
    　請求項１乃至８のうち何れか１項に記載の自走式産業機械の表示装置。
PCT/JP2013/065031 2012-06-08 2013-05-30 自走式産業機械の表示装置 WO2013183536A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/404,652 US20150116495A1 (en) 2012-06-08 2013-05-30 Display device for self-propelled industrial machine
JP2014519957A JP6014664B2 (ja) 2012-06-08 2013-05-30 自走式産業機械の表示装置
CN201380029810.3A CN104380724B (zh) 2012-06-08 2013-05-30 自行式工业机械的显示装置
US15/343,665 US20170072857A1 (en) 2012-06-08 2016-11-04 Display device for self-propelled industrial machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-130724 2012-06-08
JP2012130724 2012-06-08

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/404,652 A-371-Of-International US20150116495A1 (en) 2012-06-08 2013-05-30 Display device for self-propelled industrial machine
US15/343,665 Continuation US20170072857A1 (en) 2012-06-08 2016-11-04 Display device for self-propelled industrial machine

Publications (1)

Publication Number Publication Date
WO2013183536A1 true WO2013183536A1 (ja) 2013-12-12

Family

ID=49711928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/065031 WO2013183536A1 (ja) 2012-06-08 2013-05-30 自走式産業機械の表示装置

Country Status (4)

Country Link
US (2) US20150116495A1 (ja)
JP (1) JP6014664B2 (ja)
CN (1) CN104380724B (ja)
WO (1) WO2013183536A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015151794A (ja) * 2014-02-17 2015-08-24 日立建機株式会社 産業機械の監視画像表示装置
WO2016013490A1 (ja) * 2014-07-25 2016-01-28 日立建機株式会社 旋回式作業機の周囲表示装置
CN106436544A (zh) * 2015-08-05 2017-02-22 维特根有限公司 机动建筑机械和用于显示机动建筑机械周围环境的方法
JP2019121250A (ja) * 2018-01-09 2019-07-22 日立建機株式会社 運搬車両

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014216159B4 (de) * 2014-08-14 2016-03-10 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
JP6913630B2 (ja) * 2015-08-24 2021-08-04 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP6480830B2 (ja) * 2015-08-24 2019-03-13 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
KR200484046Y1 (ko) * 2015-12-22 2017-07-24 주식회사 엘지생활건강 화장용 도구
US10576892B2 (en) 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
JP6259116B2 (ja) * 2016-03-29 2018-01-10 株式会社小松製作所 作業車両
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
US11528413B2 (en) * 2016-08-22 2022-12-13 Sony Corporation Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
AU2018299288B2 (en) * 2017-07-14 2021-07-22 Komatsu Ltd. Display control device, display control method, program, and display system
JP6868938B2 (ja) * 2017-08-24 2021-05-12 日立建機株式会社 建設機械の荷重計測システム
DE102019212893A1 (de) * 2019-08-28 2021-03-04 Franz Xaver Meiller Fahrzeug- Und Maschinenfabrik - Gmbh & Co Kg Vorrichtung und Verfahren zum Darstellen eines Entladebereichs eines Nutzfahrzeugs
US11066014B1 (en) * 2020-01-13 2021-07-20 Ford Global Technologies, Llc 360 degree trailer camera view system
US12033528B2 (en) * 2021-02-04 2024-07-09 Honeywell International Inc. Display systems and methods
EP4134492A1 (en) * 2021-07-28 2023-02-15 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105656A (ja) * 2007-10-23 2009-05-14 Alpine Electronics Inc 車載用撮像装置
JP2011065520A (ja) * 2009-09-18 2011-03-31 Mitsubishi Motors Corp 運転支援装置
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2011205514A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP4776491B2 (ja) * 2006-10-06 2011-09-21 日立建機株式会社 作業機械の周囲監視装置
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
JP4951639B2 (ja) * 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
CN101899803B (zh) * 2009-05-31 2012-07-11 北京捷信安通科技有限公司 一种用于铁路大型养路机械的辅助驾驶及作业***
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
WO2011043006A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 制御装置および車両周囲監視装置
JP2012040907A (ja) * 2010-08-17 2012-03-01 Suzuki Motor Corp 車両周辺画像表示装置
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105656A (ja) * 2007-10-23 2009-05-14 Alpine Electronics Inc 車載用撮像装置
JP2011065520A (ja) * 2009-09-18 2011-03-31 Mitsubishi Motors Corp 運転支援装置
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2011205514A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015151794A (ja) * 2014-02-17 2015-08-24 日立建機株式会社 産業機械の監視画像表示装置
WO2016013490A1 (ja) * 2014-07-25 2016-01-28 日立建機株式会社 旋回式作業機の周囲表示装置
JP2016030891A (ja) * 2014-07-25 2016-03-07 日立建機株式会社 旋回式作業機の周囲表示装置
CN106031167A (zh) * 2014-07-25 2016-10-12 日立建机株式会社 旋转式作业机的周围显示装置
AU2015293229B2 (en) * 2014-07-25 2018-02-15 Hitachi Construction Machinery Co., Ltd. Surroundings display device for turning operation machine
US10145087B2 (en) 2014-07-25 2018-12-04 Hitachi Construction Machinery Co., Ltd. Surroundings display device for swing working machine
CN106031167B (zh) * 2014-07-25 2019-03-22 日立建机株式会社 旋转式作业机的周围显示装置
CN106436544A (zh) * 2015-08-05 2017-02-22 维特根有限公司 机动建筑机械和用于显示机动建筑机械周围环境的方法
CN106436544B (zh) * 2015-08-05 2020-05-19 维特根有限公司 机动建筑机械和用于显示机动建筑机械周围环境的方法
JP2019121250A (ja) * 2018-01-09 2019-07-22 日立建機株式会社 運搬車両

Also Published As

Publication number Publication date
US20150116495A1 (en) 2015-04-30
CN104380724B (zh) 2017-09-12
CN104380724A (zh) 2015-02-25
US20170072857A1 (en) 2017-03-16
JP6014664B2 (ja) 2016-10-25
JPWO2013183536A1 (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
WO2013183536A1 (ja) 自走式産業機械の表示装置
JP5814187B2 (ja) 自走式産業機械の表示装置
JP5988683B2 (ja) 自走式産業機械の表示装置
JP6204884B2 (ja) 旋回式作業機の周囲表示装置
JP5938222B2 (ja) 運搬車両の周囲監視装置
JP6029941B2 (ja) 舗装機械用画像生成装置
JP5938292B2 (ja) 運搬車両の監視装置
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20140354813A1 (en) Surroundings Monitoring Device for Work Machine
CN104041018A (zh) 自行式工业机械的周围监视装置
JP2013253402A (ja) 作業機械の周囲監視装置
EP3512194B1 (en) Bird's-eye view image system, bird's-eye view image display method and program
JP2009105660A (ja) 車載用撮像装置
JP2015021246A (ja) 作業機械の周囲監視装置
JP5996879B2 (ja) 作業機械の周囲監視装置
JP6224770B2 (ja) ダンプトラックの表示装置
JP6713884B2 (ja) 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13800612

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014519957

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14404652

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13800612

Country of ref document: EP

Kind code of ref document: A1