WO2017122294A1 - 周囲監視装置、画像処理方法、及び画像処理プログラム - Google Patents

周囲監視装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2017122294A1
WO2017122294A1 PCT/JP2016/050838 JP2016050838W WO2017122294A1 WO 2017122294 A1 WO2017122294 A1 WO 2017122294A1 JP 2016050838 W JP2016050838 W JP 2016050838W WO 2017122294 A1 WO2017122294 A1 WO 2017122294A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
refraction
vehicle body
camera
Prior art date
Application number
PCT/JP2016/050838
Other languages
English (en)
French (fr)
Inventor
清水　誠也
Original Assignee
株式会社ソシオネクスト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソシオネクスト filed Critical 株式会社ソシオネクスト
Priority to JP2017561439A priority Critical patent/JP6737288B2/ja
Priority to PCT/JP2016/050838 priority patent/WO2017122294A1/ja
Publication of WO2017122294A1 publication Critical patent/WO2017122294A1/ja
Priority to US16/020,147 priority patent/US10721442B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H5/00—Removing snow or ice from roads or like surfaces; Grading or roughening snow or ice
    • E01H5/04—Apparatus propelled by animal or engine power; Apparatus propelled by hand with driven dislodging or conveying levelling elements, conveying pneumatically for the dislodged material
    • E01H5/08—Apparatus propelled by animal or engine power; Apparatus propelled by hand with driven dislodging or conveying levelling elements, conveying pneumatically for the dislodged material dislodging essentially by driven elements
    • E01H5/09—Apparatus propelled by animal or engine power; Apparatus propelled by hand with driven dislodging or conveying levelling elements, conveying pneumatically for the dislodged material dislodging essentially by driven elements the elements being rotary or moving along a closed circular path, e.g. rotary cutter, digging wheels
    • E01H5/098—Apparatus propelled by animal or engine power; Apparatus propelled by hand with driven dislodging or conveying levelling elements, conveying pneumatically for the dislodged material dislodging essentially by driven elements the elements being rotary or moving along a closed circular path, e.g. rotary cutter, digging wheels about horizontal or substantially horizontal axises perpendicular or substantially perpendicular to the direction of clearing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D12/00—Steering specially adapted for vehicles operating in tandem or having pivotally connected frames
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids

Definitions

  • the present disclosure relates to a surrounding monitoring device, an image processing method, and an image processing program.
  • the structure of a vehicle such as a snowplow is often a body-refractive vehicle.
  • a vehicle body refracting vehicle a plurality of vehicle body parts are connected to each other via a connecting part, and a small turning radius is realized by bending the car body parts before and after the connecting part at a desired angle so as to form a desired angle. be able to. Therefore, even if it is a big vehicle body, a small turn is effective and it becomes possible to work also in a narrow place.
  • an image as if the entire periphery of the vehicle is seen from above is generated by capturing the surroundings of the vehicle with a plurality of cameras and combining the obtained images.
  • a body-refractive vehicle also has a function of creating a bird's-eye view image from wide-angle camera images attached to the front, rear, left and right of the vehicle, and combining and displaying the situation around the vehicle as a bird's-eye view image in one screen.
  • image composition and display processing similar to those performed when the vehicle is traveling straight may be executed when the vehicle is turning (when turning left or right).
  • the shape of the vehicle body is different between when going straight and when turning right or left, and therefore, if the same image composition and display processing is performed when turning right and left, an appropriate image cannot be provided.
  • the rear body part that protrudes to the left rear is reflected on the left side of the vehicle in the composite image, or the composite image is displayed without displaying the image of the road surface area that is exposed after the rear body part retreats on the right rear side. It becomes a blind spot inside.
  • an appropriate surrounding image cannot be provided to the operator for safety confirmation.
  • a periphery monitoring device that provides a surrounding image that appropriately displays a road surface area exposed by body refraction is desired.
  • the surrounding monitoring device is mounted on the first vehicle body portion of the vehicle body refracting vehicle, and each of the two images including the field of view in which the road surface region where the non-refractive second vehicle body portion is present is included in the imaging region. And selecting one of the two images as an image to be displayed on the road surface area according to the refraction angle of the second vehicle body part with respect to the first vehicle body part, and A control unit that generates a composite image that displays the periphery of the vehicle body refraction vehicle by combining two images, and a display monitor that displays the composite image.
  • a periphery monitoring device that provides a surrounding image that appropriately displays a road surface area exposed by vehicle body refraction.
  • FIG. 1 shows an example of the configuration of a vehicle body refraction vehicle.
  • the vehicle body bending vehicle shown in FIG. 1 is a snowplow, and includes a first vehicle body portion 10 on which a cab is mounted, a second vehicle body portion 11 on which a driving device such as an engine is mounted, and a snow removal device 12.
  • the snow removal device 12 can cut snow with the rotating blades arranged at the lower part, and can blow the snow away from the blower arranged at the upper part.
  • the snow removal device 12 is not limited to one having rotating blades, and may have a bucket, one or a plurality of snowblowns, and the like.
  • a snowplow is used as an example of a body-refractive vehicle, but the body-refractive vehicle is not limited to a snowplow, for example, winter work vehicles such as snowmelt vehicles and snowplows, wheel loaders, trailer trucks, connection It may be a bus.
  • FIG. 2 is a top view of the vehicle body refracting vehicle as viewed from above.
  • the first vehicle body part 10 and the second vehicle body part 11 are connected to each other by a connecting portion 13, and the center axis A in the front-rear direction of the first vehicle body part 10 and the front-rear direction of the second vehicle body part 11 are connected.
  • the central axis B faces the same direction as shown in FIG. 2 when traveling straight.
  • the vehicle body is refracted so that the first vehicle body portion 10 and the second vehicle body portion 11 form an angle with each other, and the central axis A of the first vehicle body portion 10 and the second vehicle body portion 11 are refracted. It faces in a direction different from the central axis B.
  • a left camera 21, a right camera 22, and a front camera 23 are mounted on the first vehicle body portion 10.
  • a rear camera 24 is mounted on the second vehicle body portion 11.
  • the surrounding monitoring device of the present application selectively displays an image of the left camera 21 or an image of the right camera 22 as an image to be displayed on a road surface area exposed by vehicle body refraction according to the vehicle body refraction angle. 23 and rear camera 24 are not necessary for the purposes of the invention.
  • the front camera 23 When the front camera 23 is provided, the front camera 23 has a field of view extending obliquely downward toward the front of the vehicle, and captures a vehicle surrounding image including a road surface in front of the vehicle.
  • the rear camera 24 When the rear camera 24 is provided, the rear camera 24 has a field of view that extends obliquely downward to the rear of the vehicle and captures a vehicle surrounding image including a road surface behind the vehicle.
  • the left camera 21 has a field of view that extends obliquely downward on the left side of the vehicle, and captures a vehicle surrounding image including a road surface on the left side of the vehicle.
  • the right camera 22 has a field of view that extends obliquely downward on the right side of the vehicle, and captures a vehicle surrounding image including the road surface on the right side of the vehicle.
  • FIG. 3 is a side view of the vehicle body refraction vehicle viewed from the left side.
  • the front camera 23 is attached to the first vehicle body portion 10 toward the vehicle front and facing obliquely downward
  • the rear camera 24 is directed obliquely downward toward the vehicle rear.
  • the left camera 21 is attached to the first vehicle body portion 10 toward the left side of the vehicle and facing obliquely downward.
  • the right camera 22 is similarly attached to the first vehicle body portion 10 toward the right side of the vehicle and facing obliquely downward.
  • FIG. 4 is a diagram illustrating an example of imaging ranges of a plurality of cameras.
  • the left camera 21, the right camera 22, the front camera 23, and the rear camera 24 have field-of-view ranges (imaging ranges) 31, 32, 33, and 34, respectively.
  • Any of the cameras 21 to 24 may be a wide-angle camera having a field of view with a plane angle of view of 180 degrees or more.
  • the left camera 21 and the right camera 22 are preferably wide-angle cameras with a wide plane angle of view.
  • the left camera 21 and the right camera 22 have an imaging range in which a non-refractive second vehicle body portion 11 is present behind the first vehicle body portion 10, and this imaging range is the same as that of the left camera 21.
  • Some overlap with the right camera 22. Therefore, the image portion that looks into this region captured by the left camera 21 and the right camera 22 is a common image portion obtained by capturing the same region from different angles in each of the two images captured.
  • the road surface area is hidden under the second vehicle body portion 11 and is not captured by either the left camera 21 or the right camera 22.
  • the left and right side surfaces of the second vehicle body portion 11 are projected in the visual field region where the road surface region is expected.
  • the second vehicle body portion 11 is refracted to the left rear behind the first vehicle body portion 10, so that the road surface region is exposed, and the road surface region is imaged by the right camera 22 having the visual field region 32.
  • the second vehicle body portion 11 is refracted right rearward behind the first vehicle body portion 10, so that the road surface region is exposed, and the road surface region is imaged by the left camera 21 having the visual field region 31.
  • the surrounding monitoring device of the present application selectively displays the image of the left camera 21 or the image of the right camera 22 according to the vehicle body refraction angle as an image to be displayed on the road surface area exposed by the vehicle body refraction.
  • the front camera 23 and the rear camera 24 are not necessarily required for the purposes of the invention. That is, the surroundings monitoring device of the present application does not necessarily display an image of 360 degrees around the entire vehicle, and images of surrounding areas corresponding to the viewing range 31 of the left camera 21 and the viewing range 32 of the right camera 22 are displayed on the vehicle. It may be displayed as a peripheral image. Further, for example, a peripheral monitoring device may be provided in which only the front camera 23, the left camera 21, and the right camera 22 are provided and the rear camera 24 is not provided.
  • FIG. 5 is a diagram illustrating an example of a hardware configuration of the surrounding monitoring device mounted on the vehicle body refraction vehicle.
  • 1 includes a left camera 21, a right camera 22, a front camera 23, a rear camera 24, an angle sensor 40, a sensor interface 41, a camera interface 42, a monitor controller 43, and a monitor 44.
  • the surrounding monitoring device further includes an HDD (Hard Disk Drive) 45, a ROM (Read Only Memory) 46, a RAM (Random Access Memory) 47, a CPU (Central Processing Unit) 48, and a bus 49.
  • the front camera 23 and the rear camera 24 are not necessarily provided.
  • the angle sensor 40 is connected to the bus 49 via the sensor interface 41.
  • the left camera 21, the right camera 22, the front camera 23, and the rear camera 24 are connected to the bus 49 via the camera interface 42.
  • the image display monitor 44 is connected to the bus 49 via the monitor controller 43.
  • the sensor interface 41, camera interface 42, monitor controller 43, HDD 45, ROM 46, RAM 47, and CPU 48 are connected to one another via a bus 49.
  • the CPU 48, the ROM 46, and the RAM 47 are computers that execute image processing for synthesizing, generating, and displaying an image for vehicle surrounding monitoring.
  • the monitor 44 may display an image generated by image processing, display various data to enable interaction with the user when operating the surroundings monitoring device, and accept user input and the like.
  • Image processing for vehicle surrounding monitoring is realized by the CPU 48 executing a computer program.
  • This computer program may be stored in the HDD 45.
  • the CPU 48 loads the program from the HDD 45 to the RAM 47.
  • the CPU 48 executes the program loaded in the RAM 47 using the free storage space of the RAM 47 as a work area, and executes image processing.
  • the ROM 46 stores a control program for controlling basic operations of the CPU 48 and the like.
  • FIG. 6 is a diagram illustrating an example of a functional configuration of the surrounding monitoring device mounted on the vehicle body refraction vehicle.
  • the boundary between each functional block shown in each box and other functional blocks basically indicates a functional boundary, and physical position separation, electrical signal separation, It does not necessarily correspond to control logical separation or the like.
  • the peripheral monitoring device may have a hardware configuration realized by combining electronic circuit blocks having the functions of the functional blocks, or software that realizes the functions of the functional blocks by executing software in a general-purpose processor that is an electronic circuit. It may be configured.
  • An example of the hardware configuration shown in FIG. 5 is a case where each function of the periphery monitoring device is realized by a software configuration.
  • each functional block may be one hardware module physically separated from other blocks to some extent, or in a hardware module physically integrated with other blocks.
  • One function may be shown.
  • each functional block may be one software module logically separated from other blocks to some extent, or one function in a software module logically integrated with another block. May be shown.
  • the angle sensor 40 and the cameras 21 and 22 shown in FIG. 6 may be electronic devices realized by physical elements.
  • the front camera 23 and the rear camera 24 shown in FIG. 5 are not shown in FIG. As described above, the front camera 23 and the rear camera 24 are not necessarily essential components. It is also possible to detect the refraction angle between the first vehicle body portion 10 and the second vehicle body portion 11 based on image data from the left camera 21 and the right camera 22. Thus, when detecting a refraction angle by image processing, the angle sensor 40 which is a physical electronic device is not required as a component.
  • the in-vehicle device 50 includes a control unit 51, a storage unit 52, a display unit 53, and an operation unit 54.
  • the control unit 51 includes a vehicle body angle estimation unit 61, a display pattern determination unit 62, and an image composition unit 63.
  • the storage unit 52 includes a camera image buffer 64, a composite image buffer 65, a display pattern storage unit 66, and a vehicle model storage unit 67.
  • the camera image buffer 64 may be a buffer area for storing camera images supplied from the cameras 21 and 22.
  • the composite image buffer 65 may be a buffer area for storing a composite image showing the periphery of the vehicle generated by image processing.
  • the display pattern storage unit 66 may be a memory area that stores display patterns for the display image for when the vehicle body is not refracted, the display image for when the vehicle body is refracted right, and the display image for when the vehicle body is refracted left.
  • This display pattern may be a definition pattern that specifies an image to be used for each partial image region in the composite image when generating a composite image including the vehicle image and the surrounding image.
  • the non-refractive display pattern, the right refraction display pattern, and the left refraction display pattern will be described in detail later.
  • the display pattern storage unit 66 further includes, as information used for generating a composite image showing the periphery of the vehicle, the attachment positions and attachment directions (directions of the visual field center axis) of the cameras 21 and 22 (and cameras 23 and 24 as necessary). ), Information on the image boundary pattern, and the like may be stored.
  • This image boundary pattern includes the position of the boundary line between the captured image of the front camera 23 and the captured image of the left camera 21 and the captured image of the front camera 23 and the captured image of the right camera 22 in the composite image displaying the vehicle periphery.
  • a synthesized image composed of a plurality of images may be generated by connecting the captured images at the boundary position defined by the boundary information. In joining the images at the boundary portion, the two images cut along the boundary line may be simply joined together along the boundary line. Alternatively, two images may be weighted and added in a boundary region having a width on both sides of the boundary line, and the weight may be gradually changed from 0 to 1 between ends of the boundary region.
  • the coordinate position on each captured image plane is determined based on the positions of the cameras 21 to 24 installed in the vehicle, the direction of the visual field, and the internal parameters of each camera. And the correspondence between the coordinate position on the combined image plane may be obtained in advance.
  • the correspondence relationship between the coordinate positions thus obtained may be stored in the display pattern storage unit 66 as a data table. By using this data table, it is possible to efficiently generate a high-quality composite image.
  • the data structure of the data table and image composition processing using the data structure will be described later.
  • the vehicle model storage unit 67 may be a memory area in which a two-dimensional model or a three-dimensional model of the first vehicle body portion 10, the second vehicle body portion 11, and the snow removal device 12 is stored as a vehicle model.
  • the model includes information on the outer shape of each of the first vehicle body portion 10, the second vehicle body portion 11, and the snow removal device 12, and a connecting portion that connects the first vehicle body portion 10 and the second vehicle body portion 11.
  • the display pattern storage unit 66 may further store a real image or a model image obtained by looking down on the vehicle body from above as a vehicle image to be superimposed on the vehicle surrounding image.
  • the display pattern storage unit 66 may further store a real image or a model image for display in a system that displays a composite image from an arbitrary viewpoint. Based on the information of these models, it is possible to generate a vehicle image showing the vehicle body refracted at an angle corresponding to the estimated current refraction angle.
  • the control unit 51 includes the vehicle body angle estimation unit 61, the display pattern determination unit 62, and the image composition unit 63.
  • the vehicle body angle estimation unit 61 estimates the current vehicle body refraction angle based on the information indicating the refraction angle from the angle sensor 40.
  • the display pattern determination unit 62 generates a display image for non-refraction, a display image for right refraction, and a display image for left refraction, that is, which display pattern is used. The selection is made according to the refraction angle estimated by the vehicle body angle estimation unit 61.
  • the image composition unit 63 determines the display pattern selected by the display pattern determination unit 62 among the plurality of display patterns stored in the display pattern storage unit 66, the vehicle model stored in the vehicle model storage unit 67, and the refraction angle. A composite image is generated based on the information shown. At this time, the image composition unit 63 generates a bird's-eye view of the surroundings of the vehicle viewed from the viewpoint directly above the vehicle from the captured images of the cameras 21 to 24 by using the data table described above, and further, the vehicle according to the refraction angle. A composite image is generated by fitting the image into the overhead image. A process for synthesizing an image around the vehicle viewed from an arbitrary viewpoint will be described later. The composite image generated by the image composition unit 63 is displayed on the display unit 53.
  • the operation unit 54 supplies data indicating the operation content to the control unit 51 when a user operation to the surroundings monitoring device occurs.
  • the display unit 53 and the operation unit 54 may be provided as functions of the monitor 44 shown in FIG.
  • the cameras 21 and 22 are mounted on the first vehicle body portion 10 of the vehicle body refracting vehicle, and have a field of view in which a road surface region where the non-refractive second vehicle body portion 11 exists is expected. Each of the two images included in the imaging region is captured.
  • the control unit 51 shown in FIG. 6 selects one of the two images as an image to be displayed on the road surface area according to the refraction angle of the second vehicle body portion 11 with respect to the first vehicle body portion 10 and 2 Two images are combined to generate a combined image that displays the periphery of the vehicle body refraction vehicle.
  • Image processing executed by the in-vehicle device 50 will be described below using an example of such a composite image.
  • FIG. 7 is a diagram showing an example of a synthesized image synthesized by image processing.
  • the composite image 70 shown in FIG. 7 includes a vehicle image when the vehicle body is refracted to the left and an image around the vehicle. Specifically, the composite image 70 is captured by the left camera 21 and inserted in the composite image 70, the left image 71 is captured by the right camera 22, and is inserted in the composite image 70, and the front camera 23. It includes a forward image 73 that has been imaged and fitted into the composite image 70. The boundary between the left image 71 and the front image 73 is a boundary line 76, and the boundary between the right image 72 and the front image 73 is a boundary line 77.
  • the composite image 70 includes a first vehicle body partial image 10A, a second vehicle body partial image 11A, and a snow removal device image 12A corresponding to each part of the vehicle body that has been refracted to the left.
  • the composite image 70 in the basic vehicle region 74 occupied by the first vehicle body partial image 10A and the second vehicle body partial image 11A at the time of non-refraction, in the road surface region exposed on the lower right side of the drawing, that is, on the right side of the rear part of the vehicle.
  • the auxiliary pattern image 75 is inserted.
  • the basic vehicle region 74 is occupied by the first vehicle body partial image 10A and the second vehicle body partial image 11A, and an image captured by the left camera 21 or the right camera 22 is displayed (drawn) in the basic vehicle region 74. )do not have to.
  • the left image 71 is drawn on the left side of the left edge of the basic vehicle region 74 in the drawing
  • the right image 72 is drawn on the right side of the right edge of the basic vehicle region 74 in the drawing
  • the non-refractive state in the basic vehicle region 74 is drawn. What is necessary is just to draw the 1st vehicle body partial image 10A and the 2nd vehicle body partial image 11A.
  • a blank rectangular area corresponding to the shape of the first body part 10 and the second body part 11 is used as the basic vehicle area 74. You may draw on.
  • the second vehicle body portion 11 When the vehicle body is refracted due to turning left or right or turning, the second vehicle body portion 11 is refracted behind the first vehicle body portion 10, so that the road surface area hidden under the second vehicle body portion 11 when non-refracted is It is exposed in the basic vehicle area 74.
  • This exposed portion corresponds to a partial image at a position corresponding to the road surface area exposed in the image captured by the left camera 21 or a road surface area exposed in the image captured by the right camera 22.
  • a composite image 70 is generated by fitting the partial image of the position.
  • the image fitting position in the basic vehicle region 74 and whether the captured image of the left camera 21 or the right camera 22 is fitted depends on whether the second body part 11 is refracted in the left or right direction. Different.
  • either the partial image of the captured image of the left camera 21 or the partial image of the captured image of the right camera 22 is selected, and the image fitting position in the basic vehicle region 74 is further selected. Is selected, and the selected partial image is inserted into the selected fitting position.
  • a partial image at a position corresponding to the exposed road surface is selected from the captured images of the right camera 22, and a substantially triangular inset region at the rear right side in the basic vehicle region 74 is selected. Then, the selected partial image may be fitted into the selected fitting area.
  • the image fitted in this way is an auxiliary pattern image 75 shown in FIG.
  • a partial image at a position corresponding to the exposed road surface is selected from the captured images of the left camera 21, and a substantially triangular inset region at the rear left side in the basic vehicle region 74 is selected. Then, the selected partial image may be fitted into the selected fitting area.
  • the auxiliary pattern is not limited to the basic vehicle area 74 but the basic vehicle area.
  • 74 may be an image extending to the rear of the vehicle outside 74. That is, in the example shown in FIG. 7, the lower edge of the triangular auxiliary pattern image 75 coincides with the lower edge of the basic vehicle region 74 (rear side of the vehicle), but the triangular auxiliary pattern image 75 is the basic auxiliary pattern image 75.
  • the vehicle region 74 may extend further below the lower edge of the drawing.
  • the surrounding image of the vehicle rear region which can be imaged from the right camera 22 due to the second body part 11 being refracted can be appropriately used in the composite image.
  • the visual field of the direction which the rear surface of the 2nd vehicle body part 11 has faced when the rear camera 24 is provided, you may insert
  • a blank image is used for a peripheral region in a direction in which the rear surface of the second vehicle body portion 11 faces and which is not captured by the left camera 21 and the right camera 22. It may be displayed.
  • the shape of the auxiliary pattern image 75 shown as an example in FIG. 7 may be changed according to the angle of the refraction angle, or may be a constant shape regardless of the size of the angle.
  • the angle of the apex of the auxiliary pattern image 75 at the top of the triangular shape (front direction of the vehicle) is appropriately changed so as to be equal to the refraction angle.
  • An auxiliary pattern image 75 may be generated.
  • the second vehicle body partial image 11A is to be superimposed on the captured image in the composite image 70, if the larger auxiliary pattern image 75 is generated, the auxiliary pattern is corresponding to the refraction angle one by one. There is no need to change the drawing area of the image 75.
  • auxiliary pattern image 75 generated from the image captured by the right camera 22, the maximum size that can be extracted from the image captured by the right camera 22 (the size that extends to the left end of the visual field range 32 of the right camera 22).
  • An auxiliary pattern image 75 may be generated and inserted into the composite image 70. If drawing is performed so as to overwrite the second vehicle body partial image 11A arranged at an angle corresponding to the refraction angle from above the auxiliary pattern image 75 thus fitted, a road surface appears according to the magnitude of the angle. Natural images can be generated. At this time, when the refraction angle is small, the right side surface of the second vehicle body portion 11 is reflected in a considerably large portion in the auxiliary pattern image 75. Since the vehicle body partial image 11A is drawn so as to be overwritten, a natural image is generated.
  • a captured image of the rear camera 24 is drawn in a rectangular area extending directly behind the second vehicle body partial image 11A drawn at an angle corresponding to the refraction angle.
  • the rear camera 24 is located in a region sandwiched between a line extending the left side of the second vehicle body partial image 11A drawn at an angle corresponding to the refraction angle and the line extending the rear side of the right side.
  • the captured image may be drawn.
  • the setting of the boundary portion between the captured image of the rear camera 24 and the captured images of the left camera 21 and the right camera 22 is not limited to the above method.
  • the control unit 51 generates the first vehicle body partial image 10A and the second vehicle body partial image 11A of the vehicle body refraction vehicle according to the refraction angle, and superimposes the generated vehicle image on the captured image.
  • the composite image 70 may be generated by drawing.
  • the control unit 51 may generate a vehicle image of the vehicle body refracting vehicle that is refracted at an angle corresponding to the size of the refraction angle, and draw the vehicle image so as to overwrite the captured image.
  • the control unit 51 generates the auxiliary pattern image 75 as an image to be displayed on the road surface area and inserts the auxiliary pattern image 75 into the composite image 70, the size of the auxiliary pattern image 75 depends on the size of the refraction angle. What is necessary is just to process as a fixed thing, and a process can be simplified.
  • FIG. 8 is a diagram showing the definition of the refraction angle at the time of vehicle body refraction.
  • the central axis extending in the front-rear direction of the first vehicle body portion 10 and the second axis A refraction angle is defined as an angle ⁇ between the vehicle body portion 11 and a central axis extending in the front-rear direction.
  • ⁇ becomes positive
  • ⁇ becomes negative.
  • FIG. 9 is a diagram illustrating an example of the configuration of the angle sensor 40.
  • the angle sensor 40 is a sensor device 13 ⁇ / b> A provided in the connecting portion 13 between the first vehicle body portion 10 and the second vehicle body portion 11.
  • the sensor device 13A may detect the angle of the second vehicle body portion 11 with respect to the first vehicle body portion 10 in the connecting portion 13 and supply the detected angle to the in-vehicle device 50 as information indicating the refraction angle.
  • the angle at the connecting portion 13 it is possible to detect the angle with high accuracy reflecting the actual refraction angle.
  • FIG. 10 is a diagram showing an example of another configuration of the angle sensor 40.
  • the angle sensor 40 is a sensor device 81 ⁇ / b> A provided on the rotation shaft 81 of the steering direction operation handle 80 provided in the cab of the first vehicle body portion 10.
  • the sensor device 81A may detect the rotation angle of the steering direction operation handle 80 that is a device for operating the steering direction, and supply the detected angle to the in-vehicle device 50 as information indicating the refraction angle.
  • a steering device is provided with a function of detecting a steering angle. By detecting the angle by using such a function of the steering device, an efficient angle can be obtained without providing a separate angle sensor. Detection is possible.
  • FIG. 11 is a flowchart showing an example of image composition processing by the in-vehicle device 50.
  • the execution order of each step described in the flowchart is merely an example, and the technical scope intended by the present application is not limited to the execution order described.
  • the B step is executed after the A step, it is not only possible to execute the B step after the A step, but also the A step after the B step. It may be physically and logically possible to perform. In this case, if all the results affecting the processing of the flowchart are the same regardless of the order in which the steps are executed, for the purpose of the technique disclosed in the present application, the A step is followed by the B step.
  • step S1 the vicinity of the vehicle is imaged by the cameras 21 to 24 under the control of the in-vehicle device 50, and the captured image (video image) is stored in the camera image buffer 64.
  • step S ⁇ b> 2 the vehicle body angle estimation unit 61 of the control unit 51 acquires angle information from the angle sensor 40. For example, angle information indicating the steering angle is obtained from the sensor device 81A shown in FIG.
  • step S3 the vehicle body angle estimation unit 61 estimates the vehicle body refraction angle ⁇ (see FIG. 8) from the angle information acquired in step S2.
  • step S4 the display pattern determining unit 62, a predetermined positive threshold value as theta TH, or vehicle refraction angle estimated theta is less than - [theta] TH, greater than + theta TH, or otherwise (i.e. - ⁇ TH ⁇ ⁇ ⁇ + ⁇ TH ) is determined.
  • the display pattern determination unit 62 selects the non-refractive display pattern, and the image composition unit 63 executes the non-refractive drawing process in step S5 based on the selection result. .
  • the display pattern determination unit 62 selects the left refraction display pattern, and based on the selection result, the image composition unit 63 executes the left refraction drawing process in step S6.
  • the display pattern determination unit 62 selects the right refraction display pattern, and based on the selection result, the image composition unit 63 executes the right refraction drawing process in step S7.
  • the image composition unit 63 displays the composite image on the display unit 53.
  • FIG. 12 is a flowchart showing an example of the non-refraction drawing process.
  • the image composition unit 63 draws the basic pattern.
  • FIG. 13 is a diagram illustrating an example of a basic pattern configuration.
  • the basic pattern 100 is captured by the latest left image 101 captured by the left camera 21, the latest right image 102 captured by the right camera 22, the latest forward image 103 captured by the front camera 23, and the rear camera 24.
  • the latest rear image 104 is included.
  • a composite image in which the current image around the vehicle is drawn around the vehicle region 90 is formed.
  • the vehicle area 90 may be an area occupied by the first vehicle body portion 10 and the second vehicle body portion 11 in which the cameras 21 to 24 are arranged around the camera 21 to 24 when the cameras 21 to 24 are not refracted.
  • a blank image may be drawn at the image position of the rear image 104 in the basic pattern 100.
  • a blank image may be drawn at the image position of the front image 103 in the basic pattern 100.
  • step S12 the image composition unit 63 performs vehicle model refraction processing. Specifically, the image composition unit 63 generates a non-refractive vehicle image based on the vehicle model in the vehicle model storage unit 67 of the storage unit 52 shown in FIG. In step S13, the image composition unit 63 renders the vehicle image generated in step S12 so as to overwrite the basic pattern.
  • FIG. 14 is a diagram illustrating an example of a composite image in which a vehicle image is superimposed on a basic pattern.
  • the composite image 100A shown in FIG. 14 overwrites the vehicle image including the first vehicle body partial image 10A, the second vehicle body partial image 11A, and the snow removal device image 12A with respect to the basic pattern 100 shown in FIG. It can be obtained by drawing. Since the front camera 23 is mounted near the ceiling of the first vehicle body portion 10, an image of the snow removal device 12 can be acquired from the front camera 23. Therefore, instead of the snow removal device image 12A, an image of the snow removal device 12 may be displayed on the composite image 100A.
  • the non-refractive drawing processing is completed.
  • FIG. 15 is a flowchart showing an example of refraction drawing processing.
  • the image composition unit 63 draws the basic pattern.
  • the basic pattern may be that shown in FIG. 13, for example.
  • the image composition unit 63 performs a right (or left) refraction auxiliary pattern superimposition drawing process.
  • a substantially triangular auxiliary pattern for the rear right-side triangular area inside the vehicle area and the area including the rear area outside the vehicle area as necessary. Draw to superimpose the image.
  • the captured image of the rear camera may be drawn at a position corresponding to the refraction angle at the rear of the vehicle.
  • FIG. 16 is a diagram illustrating an example of a composite image in which an auxiliary pattern at the time of left refraction is superimposed and drawn.
  • a substantially triangular auxiliary pattern image 105 is superimposed on a triangular region on the rear right side inside the vehicle region 90 and a region including a rear region outside the vehicle region 90 as necessary.
  • the auxiliary pattern image 105 may be superimposed on the drawn image of the basic pattern 100 in an overwritten form.
  • the captured image of the rear camera may be drawn so as to overwrite the position corresponding to the refraction angle at the rear of the vehicle.
  • a composite image 100B is generated.
  • FIG. 18 is a diagram showing an example of a composite image in which an auxiliary pattern at the time of right refraction is superimposed and drawn.
  • a substantially triangular auxiliary pattern image 106 is superimposed on the rear-left triangular area inside the vehicle area 90 and the area including the rear area outside the vehicle area 90 as necessary.
  • the auxiliary pattern image 106 may be superimposed on the drawn image of the basic pattern 100 in an overwritten form.
  • the captured image of the rear camera may be drawn so as to overwrite the position corresponding to the refraction angle at the rear of the vehicle.
  • a composite image 100D is generated.
  • step S23 the image composition unit 63 performs vehicle model refraction processing. Specifically, the image composition unit 63 generates a right or left refraction vehicle image based on the vehicle model in the vehicle model storage unit 67 of the storage unit 52 shown in FIG. In step S24, the image composition unit 63 renders the vehicle image generated in step S23 so as to be superimposed on the composite image generated in step S22.
  • FIG. 17 is a diagram illustrating an example of a composite image in which a vehicle image is superimposed in the case of left refraction.
  • the composite image 100C illustrated in FIG. 17 overwrites the vehicle image including the first vehicle body partial image 10A, the second vehicle body partial image 11A, and the snow removal device image 12A, for example, over the composite image 100B illustrated in FIG. It can be obtained by drawing.
  • FIG. 19 is a diagram illustrating an example of a composite image in which a vehicle image is superimposed in the case of right refraction.
  • the composite image 100E shown in FIG. 19 overwrites the vehicle image including the first vehicle body partial image 10A, the second vehicle body partial image 11A, and the snow removal device image 12A with respect to the composite image 100D shown in FIG. It can be obtained by drawing.
  • the non-refractive drawing processing is completed.
  • an overhead view image around the vehicle is synthesized based on the captured images of the cameras 21 to 24.
  • an overhead image is obtained from each captured image by performing coordinate conversion of the image based on information on the position and direction of view of the cameras 21 to 24 installed in the vehicle and the internal parameters of each camera. May be synthesized.
  • combines the vehicle periphery image seen from the desired viewpoint is demonstrated.
  • FIG. 20 is a diagram illustrating an example of a captured image around the vehicle.
  • the captured image 201 is an image captured by the left camera 21, and the captured image 202 is an image captured by the right camera 22.
  • the captured image 203 is an image captured by the front camera 23, and the captured image 204 is an image captured by the rear camera 24.
  • These images are arranged on a two-dimensional plane represented by S and T orthogonal coordinates as shown in FIG. 20, and stored in a frame buffer (for example, the camera image buffer 64 in FIG. 6).
  • the value of the coordinates (S, T) is associated with the address of the frame buffer. Therefore, each pixel constituting these images can be read out from the frame buffer by the value of coordinates (S, T) representing the position of the pixel.
  • a composite image showing the three-dimensional space around the vehicle can be generated.
  • FIG. 21 is a diagram showing an example of a three-dimensional projection plane defined around the vehicle.
  • the stereoscopic projection surface 211 has a bowl shape that extends along the road surface in the vicinity of the vehicle 210, and spreads away from the road surface in the upward direction, that is, in the positive direction of the Z axis as the distance from the vehicle 210 increases.
  • the three-dimensional projection plane 211 is defined by a plurality of polygons connected to each other whose positions are represented in an X, Y, and Z orthogonal coordinate system. In the example of FIG. 21, a quadrangular shape is used as the polygon. The position of each vertex of the polygon is represented by the values of three-dimensional coordinates (X, Y, Z) shown in FIG.
  • rectangles corresponding to the respective polygons constituting the stereoscopic projection surface 211 are shown.
  • a rectangle 205 shown in FIG. 20 corresponds to the polygon 213 on the stereoscopic projection surface 211 of FIG. Therefore, the values of the three-dimensional coordinates (X, Y, Z) of the vertices constituting the stereoscopic projection surface 211 shown in FIG. 21 are one-to-one with the values of the two-dimensional coordinates (S, T) shown in FIG. It is associated.
  • FIG. 22 is a diagram showing an example of the data structure of the polygon data table.
  • the “polygon ID” table row stores an identifier number for uniquely identifying each polygon constituting the stereoscopic projection surface 211.
  • identifier numbers that uniquely identify each vertex are stored for each vertex (four vertices in this example) constituting each polygon identified by the polygon ID. .
  • Vertices having the same identifier number are the same vertex.
  • XYZ coordinate values indicating the positions of these vertices are stored in the vertex data table.
  • FIG. 23 is a diagram showing an example of the data structure of the vertex data table.
  • the vertex data table an identifier number corresponding to the vertex ID of the polygon data table shown in FIG.
  • the XYZ coordinate values of the vertexes are stored in the same table row as the table row storing the identifier number (“vertex ID” number) of a vertex.
  • the ST coordinate value of the vertex is stored in the same table row as the table row storing the identifier number (“vertex ID” number) of a vertex.
  • the vertex coordinates of the projection plane that is, the XYZ coordinates of each vertex of the polygon in FIG. 21
  • the input image coordinates that is, the ST coordinates of each vertex of the rectangle in FIG. 20
  • the relationship between the XYZ coordinates and the ST coordinates represented by the vertex data table is calculated in advance using the positions of the cameras 21 to 24 installed in the vehicle, the direction of the visual field, and the internal parameters of each camera. To do.
  • the synthesis of the all-around video is performed by drawing each polygon in the polygon data table as viewed from an arbitrary synthesis viewpoint defined in the three-dimensional space.
  • This drawing is a general three-dimensional graphics process, and is processed as a texture polygon drawing in which the input image is a texture image, coordinates (S, T) are texture coordinates, and coordinate values (X, Y, Z) are polygon vertex coordinates.
  • an appropriate all-around image for the vehicle body refraction vehicle can be generated.
  • an overhead image as shown in FIG. 7 can be generated.
  • the left camera 21 and the right camera 22 have been described as being wide-angle cameras of 180 degrees or more, but this configuration is not intended to be limited.
  • a plurality of cameras having a field of view of 180 degrees or less may be provided so that the field of view range from the left and right sides of the vehicle to the rear can be covered by the plurality of cameras.
  • the left camera 21 and the right camera 22 have been described as being provided in the first vehicle body portion 10, but this configuration is not intended to be limited.
  • the left camera 21 and the right camera 22 may be provided in other parts of the vehicle, for example, in the second vehicle body portion 11.
  • the first camera body 10 is refracted with respect to the second vehicle body part 11, and the left camera 21 or the right camera 22 with respect to the road surface area that is exposed after the first vehicle body part 10 is retracted.
  • a vehicle surrounding image may be synthesized by fitting the captured image.
  • the configuration using the angle sensor has been described. However, this configuration is not intended to be limited.
  • the refraction angle of the vehicle body is estimated by detecting the position of the vehicle image in the image based on the captured image of at least one of the left camera 21 and the right camera 22 by image processing. Also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

周囲監視装置は、車体屈折車両の第１の車体部分に搭載され、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像をそれぞれが撮像する少なくとも２つの撮像装置と、前記第２の車体部分の前記第１の車体部分に対する屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する制御部と、前記合成画像を表示する表示モニタを含む。

Description

周囲監視装置、画像処理方法、及び画像処理プログラム
　本願開示は、周囲監視装置、画像処理方法、及び画像処理プログラムに関する。
　除雪車等の車両の構造は、車体屈折車両である場合が多い。車体屈折車両においては、複数の車体部分が連結部を介して互いに連結されており、連結部前後の車体部分同士が所望の角度をなすように連結部で折れ曲がることにより、小さな旋回半径を実現することができる。そのため、大きな車体であっても小回りが利き、狭い場所でも作業をすることが可能となる。
　近年、車両の安全機能として、車両の周囲を複数のカメラで撮像し、得られた複数の画像を合成することにより車両の全周囲を上方から俯瞰したかのような画像を生成し、当該俯瞰画像を運転席のモニタに表示するものがある。車体屈折車両においても、車両の前後左右に取り付けた広角カメラ映像から俯瞰画像を作成し、１画面内に車両周辺の状況を俯瞰画像として合成表示する機能を設けることが考えられる。通常の非屈折の車両の場合であれば、車体の領域形状が変わらないため、車両旋回時（右左折時）においても直進時と同様の画像合成及び表示処理を実行すればよい。
特許第５３６９４６５号公報 特開２００３－２３５０３６号公報 特開２００９－１０７６０２号公報 国際公開第ＷＯ２００９／０３１４００号パンフレット 国際公開第ＷＯ２０１２／１５７３７９号パンフレット
　しかしながら、車体屈折車両の場合、直進時と右左折時とでは車体形状が異なるため、右左折時において直進時と同様の画像合成及び表示処理を行ったのでは、適切な画像を提供できない。例えば左折時であれば、左後方に飛び出した後部車体部分が合成画像において車両左側に映り込んだり、右側後方において後部車体部分が退いた後に露出される路面領域の画像が表示されずに合成画像中で死角となったりする。その結果、安全確認のために適切な周囲画像を操作者に提供できないという問題があった。
　以上を鑑みると、車体屈折により露出される路面領域を適切に表示した周囲画像を提供する周辺監視装置が望まれる。
　周囲監視装置は、車体屈折車両の第１の車体部分に搭載され、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像をそれぞれが撮像する少なくとも２つの撮像装置と、前記第２の車体部分の前記第１の車体部分に対する屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する制御部と、前記合成画像を表示する表示モニタを含む。
　本願開示の少なくとも１つの実施例によれば、車体屈折により露出される路面領域を適切に表示した周囲画像を提供する周辺監視装置が望まれる。
車体屈折車両の構成の一例を示すである。 車体屈折車両を上部から見た上面図である。 車体屈折車両を左側から見た側面図である。 複数のカメラの撮像範囲の一例を示す図である。 車体屈折車両に搭載される周囲監視装置のハードウェア構成の一例を示す図である。 車体屈折車両に搭載される周囲監視装置の機能構成の一例を示す図である。 画像処理により合成された合成画像の一例を示す図である。 車体屈折時の屈折角の定義を示す図である。 角度センサの構成の一例を示す図である。 角度センサの別の構成一例を示す図である。 車載装置による画像合成処理の一例を示すフローチャートである。 非屈折時描画処理の一例を示すフローチャートである。 基本パターンの構成の一例を示す図である。 基本パターンに車両画像が重畳された合成画像の一例を示す図である。 屈折時描画処理の一例を示すフローチャートである。 左屈折時の補助パターンを重畳描画した合成画像の一例を示す図である。 左屈折の場合において車両画像が重畳された合成画像の一例を示す図である。 右屈折時の補助パターンを重畳描画した合成画像の一例を示す図である。 右屈折の場合において車両画像が重畳された合成画像の一例を示す図である。 車両周辺の撮像画像の一例を示す図である。 車両周囲に定義される立体投影面の一例を示した図である。 ポリゴンデータテーブルのデータ構造の一例を示す図である。 頂点データテーブルのデータ構造の一例を示す図である。
　以下に、本発明の実施例を添付の図面を用いて詳細に説明する。各図において、同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。
　図１は車体屈折車両の構成の一例を示すである。図１に示す車体屈折車両は除雪車であり、運転室が搭載された第１の車体部分１０、エンジン等の駆動装置が搭載された第２の車体部分１１、及び除雪装置１２を含む。除雪装置１２は下部に配置された回転羽根により雪を切り崩して、上部に配置されたブロワから雪を遠くにとばすことができる。除雪装置１２は回転羽根を有するものに限らず、例えばバケットや１又は複数のスノーブラウ等を有するものであってもよい。なお以下の説明においては、車体屈折車両の一例として除雪車を用いるが、車体屈折車両は除雪車に限られず、例えば、融雪車や掃雪車等の冬季作業車両、ホイールローダー、トレーラートラック、連結バス等であってもよい。
　図２は、車体屈折車両を上部から見た上面図である。第１の車体部分１０と第２の車体部分１１とは、連結部１３により互いに連結されており、第１の車体部分１０の前後方向の中心軸Ａと第２の車体部分１１の前後方向の中心軸Ｂとは、直進時には図２に示されるように同一方向を向いている。車両旋回時や右左折時には第１の車体部分１０と第２の車体部分１１とが互いに角度をなすように車体が屈折し、第１の車体部分１０の中心軸Ａと第２の車体部分１１の中心軸Ｂとは異なる方向を向く。
　図２に示す例において、第１の車体部分１０には、左カメラ２１、右カメラ２２、及び前方カメラ２３が搭載されている。また第２の車体部分１１には、後方カメラ２４が搭載されている。本願の周囲監視装置は、車体屈折により露出された路面領域に表示する画像として、左カメラ２１の画像又は右カメラ２２の画像を車体屈折角に応じて選択的に表示するものであり、前方カメラ２３及び後方カメラ２４は発明の目的のためには必ずしも必要でない。
　前方カメラ２３が設けられる場合、前方カメラ２３は車両前方に斜め下向きに広がる視野を有し、車両前方の路面を含む車両周囲画像を撮像する。後方カメラ２４が設けられる場合、後方カメラ２４は車両後方に斜め下向きに広がる視野を有し、車両後方の路面を含む車両周囲画像を撮像する。左カメラ２１は車両左側に斜め下向きに広がる視野を有し、車両左側の路面を含む車両周囲画像を撮像する。右カメラ２２は車両右側に斜め下向きに広がる視野を有し、車両右側の路面を含む車両周囲画像を撮像する。
　図３は、車体屈折車両を左側から見た側面図である。図３に模式的に示されるように、前方カメラ２３は車両前方に向かい斜め下方向を向いて第１の車体部分１０に取り付けられており、後方カメラ２４は車両後方に向かい斜め下方向を向いて第２の車体部分１１に取り付けられている。また左カメラ２１は、車両左側に向かい斜め下方向を向いて第１の車体部分１０に取り付けられている。図３には示されないが右カメラ２２も同様に、車両右側に向かい斜め下方向を向いて第１の車体部分１０に取り付けられている。
　図４は、複数のカメラの撮像範囲の一例を示す図である。左カメラ２１、右カメラ２２、前方カメラ２３、及び後方カメラ２４はそれぞれ、視野範囲（撮像範囲）３１、３２、３３、及び３４を有する。カメラ２１乃至２４はいずれも平面画角１８０度以上の視野を有する広角カメラであってよい、特に左カメラ２１及び右カメラ２２については、平面画角が広い広角カメラであることが好ましい。左カメラ２１及び右カメラ２２は、第１の車体部分１０の後方において、非屈折状態の第２の車体部分１１が存在する路面領域を見込む撮像範囲を有し、この撮像範囲は左カメラ２１と右カメラ２２との間で一部重複している。従って、左カメラ２１及び右カメラ２２が撮像するこの領域を見込む画像部分は、それぞれの撮像する２つの画像において、同一の領域を異なる角度から撮像した共通画像部分となっている。
　但し直進時（非屈折時）には、当該路面領域は第２の車体部分１１の下に隠れており、左カメラ２１及び右カメラ２２のいずれのカメラにおいても撮像されない。左カメラ２１及び右カメラ２２が撮像する画像において、当該路面領域を見込む視野領域に映し出されるのは第２の車体部分１１の左右の側面である。左折時には、第１の車体部分１０の後方において第２の車体部分１１が左後方に屈折するので、当該路面領域が露出され、視野領域３２を有する右カメラ２２により当該路面領域が撮像される。また右折時には、第１の車体部分１０の後方において第２の車体部分１１が右後方に屈折するので、当該路面領域が露出され、視野領域３１を有する左カメラ２１により当該路面領域が撮像される。
　前述のように、本願の周囲監視装置は、車体屈折により露出された路面領域に表示する画像として、左カメラ２１の画像又は右カメラ２２の画像を車体屈折角に応じて選択的に表示するものであり、前方カメラ２３及び後方カメラ２４は発明の目的のためには必ずしも必要でない。即ち、本願の周囲監視装置は、必ずしも車両の全周囲３６０度の画像を表示する必要はなく、左カメラ２１の視野範囲３１及び右カメラ２２の視野範囲３２に相当する周辺領域の画像を、車両の周辺画像として表示するのでもよい。また例えば、前方カメラ２３、左カメラ２１、及び右カメラ２２のみを設け、後方カメラ２４を設けない周辺監視装置としてもよい。
　図５は、車体屈折車両に搭載される周囲監視装置のハードウェア構成の一例を示す図である。図１に示す周囲監視装置は、左カメラ２１、右カメラ２２、前方カメラ２３、後方カメラ２４、角度センサ４０、センサインタフェース４１、カメラインタフェース４２、モニタコントローラ４３、及びモニタ４４を含む。周囲監視装置は更に、ＨＤＤ（ハードディスクドライブ）４５、ＲＯＭ（リードオンリーメモリ）４６、ＲＡＭ（ランダムアクセスメモリ）４７、ＣＰＵ（中央処理装置）４８、及びバス４９を含む。前述のように、前方カメラ２３及び後方カメラ２４は必ずしも設けられている必要はない。
　角度センサ４０は、センサインタフェース４１を介してバス４９に接続される。左カメラ２１、右カメラ２２、前方カメラ２３、及び後方カメラ２４は、カメラインタフェース４２を介してバス４９に接続される。画像表示用のモニタ４４は、モニタコントローラ４３を介してバス４９に接続される。センサインタフェース４１、カメラインタフェース４２、モニタコントローラ４３、ＨＤＤ４５、ＲＯＭ４６、ＲＡＭ４７、及びＣＰＵ４８は、バス４９を介して互いに接続されている。ＣＰＵ４８、ＲＯＭ４６、及びＲＡＭ４７は、車両周囲監視のための画像を合成、生成、及び表示するための画像処理を実行するコンピュータである。
　モニタ４４は、画像処理により生成された画像等を表示すると共に、周囲監視装置を操作する際にユーザとの対話を可能にするために様々なデータ表示等を行い、ユーザ入力等を受け付けてよい。車両周囲監視のための画像処理は、ＣＰＵ４８がコンピュータプログラムを実行することにより実現される。このコンピュータプログラムは、ＨＤＤ４５に格納されていてよい。プログラム実行時には、ＣＰＵ４８が、ＨＤＤ４５からプログラムをＲＡＭ４７にロードする。ＣＰＵ４８は、ＲＡＭ４７の空き記憶空間をワークエリアとして使用して、ＲＡＭ４７にロードされたプログラムを実行し、画像処理を実行する。なおＲＯＭ４６には、ＣＰＵ４８等の基本動作を制御するための制御プログラムが格納されている。
　図６は、車体屈折車両に搭載される周囲監視装置の機能構成の一例を示す図である。図６において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。周辺監視装置は、各機能ブロックの機能を有する電子回路ブロックを組み合わせて実現したハードウェア構成でもよいし、電子回路である汎用のプロセッサにおいてソフトウェアを実行することにより各機能ブロックの機能を実現したソフトウェア構成でもよい。図５に示すハードウェア構成の一例は、周辺監視装置の各機能をソフトウェア構成で実現する場合のものである。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。
　なお図６に示す角度センサ４０並びにカメラ２１及び２２は、物理的な素子で実現される電子装置であってよい。図５に示される前方カメラ２３及び後方カメラ２４については、図６においては図示を省略してある。前述のように、前方カメラ２３及び後方カメラ２４は必ずしも必須の構成要素ではない。また左カメラ２１及び右カメラ２２からの画像データに基づいて第１の車体部分１０と第２の車体部分１１との間の屈折角を検出することも可能である。このように画像処理により屈折角を検出する場合、物理的な電子装置である角度センサ４０は構成要素として必要ではない。
　図６において車載装置５０は、制御部５１、記憶部５２、表示部５３、及び操作部５４を含む。制御部５１は、車体角度推定部６１、表示パターン決定部６２、及び画像合成部６３を含む。記憶部５２は、カメラ画像バッファ６４、合成画像バッファ６５、表示パターン格納部６６、及び車両モデル格納部６７を含む。カメラ画像バッファ６４はカメラ２１及び２２から供給されるカメラ画像を格納するバッファ領域であってよい。合成画像バッファ６５は、画像処理により生成された車両周囲を示す合成画像を格納するためのバッファ領域であってよい。
　表示パターン格納部６６は、車体非屈折時用の表示画像、車体右屈折時用の表示画像、及び車体左屈折時用の表示画像のそれぞれに対する表示パターンを格納したメモリ領域であってよい。この表示パターンは、車両画像及びその周囲画像とを含む合成画像を生成する際に、合成画像中の各部分画像領域に用いる画像を特定した定義パターンであってよい。非屈折時表示パターン、右屈折時表示パターン、及び左屈折時表示パターンについては後ほど詳細に説明する。
　表示パターン格納部６６には更に、車両周囲を示す合成画像生成のために用いる情報として、カメラ２１及び２２（必要に応じて更にカメラ２３及び２４）の取り付け位置、取り付け方向（視野中心軸の方向）、画像境界パターンに関する情報等を格納してあってよい。この画像境界パターンは、車両周囲を表示する合成画像において、前方カメラ２３の撮像画像と左カメラ２１の撮像画像との境界線の位置、及び、前方カメラ２３の撮像画像と右カメラ２２の撮像画像との境界線の位置を規定する境界情報を含んでよい。同様に、画像境界パターンは、車両周囲を表示する合成画像において、後方カメラ２４の撮像画像と左カメラ２１の撮像画像との境界線の位置、及び、後方カメラ２４の撮像画像と右カメラ２２の撮像画像との境界線の位置を規定する境界情報を含んでよい。車両周囲画像を合成する場合には、これら境界情報により規定される境界線位置において各撮像画像をつなぎ合わせることにより、複数の画像からなる合成画像を生成してよい。なお境界部分における画像のつなぎ合わせにおいては、境界線に沿って切った２枚の画像を互いに単純に境界線に沿ってつなぎ合わせてよい。或いは、境界線の両側に幅を持たせた境界領域において２つの画像同士を重み付け加算して、当該重みを境界領域の端から端までの間で０から１まで徐々に変化させてもよい。
　なお、上記の画像合成処理を効率的に実行するために、車両に設置されているカメラ２１乃至２４の位置及び視野の方向並びに各カメラの内部パラメータに基づいて、各撮像画像平面上の座標位置と合成画像平面上の座標位置との対応関係を予め求めておいてよい。そのようにして求めた座標位置の対応関係は、データテーブルとして表示パターン格納部６６に格納しておいてよい。このデータテーブルを用いることで、高品質な合成画像を効率的に生成することが可能となる。データテーブルのデータ構造及びそれを用いた画像合成処理については後述する。
　車両モデル格納部６７は、車両モデルとして、第１の車体部分１０、第２の車体部分１１、及び除雪装置１２の二次元モデル或いは三次元モデルを格納したメモリ領域であってよい。当該モデルには、第１の車体部分１０、第２の車体部分１１、及び除雪装置１２のそれぞれの外形形状に関する情報、第１の車体部分１０と第２の車体部分１１とを連結する連結部の位置に関する情報等を含む。表示パターン格納部６６には更に、車両周囲画像に重畳する車両画像として、車体を上部から俯瞰した実写画像又はモデル画像を格納してあってよい。表示パターン格納部６６には更に、任意の視点からの合成画像を表示するシステムにおいて表示するための実写画像又はモデル画像を格納してあってよい。これらのモデルの情報に基づいて、推定された現在の屈折角に相当する角度で屈折した車体を示す車両画像を生成することが可能となる。
　前述のように制御部５１は、車体角度推定部６１、表示パターン決定部６２、及び画像合成部６３を含む。車体角度推定部６１は、角度センサ４０からの屈折角を示す情報に基づいて、現在の車体の屈折角度を推定する。表示パターン決定部６２は、非屈折時用の表示画像、右屈折時用の表示画像、及び左屈折時用の表示画像のいずれの表示画像を生成するか、即ちいずれの表示パターンを用いるかを、車体角度推定部６１が推定した屈折角に応じて選択する。
　画像合成部６３は、表示パターン格納部６６に格納される複数の表示パターンのうち表示パターン決定部６２により選択された表示パターンと、車両モデル格納部６７に格納される車両モデルと、屈折角を示す情報とに基づいて、合成画像を生成する。この際、画像合成部６３は、前述のデータテーブルを用いることにより車両真上の視点から見た車両周囲の俯瞰画像をカメラ２１乃至２４の撮像画像から生成し、更に、屈折角に応じた車両画像を当該俯瞰画像に嵌め込むことにより合成画像を生成する。任意の視点から見た車両周囲の画像を合成する処理については後述する。画像合成部６３が生成した合成画像は、表示部５３に表示される。
　操作部５４は、周囲監視装置へのユーザ操作が発生したときに当該操作内容を示すデータを制御部５１に供給する。表示部５３と操作部５４とは、図５に示すモニタ４４の機能として提供されてよい。
　図４を参照して説明したように、カメラ２１及び２２は、車体屈折車両の第１の車体部分１０に搭載され、非屈折状態の第２の車体部分１１が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像をそれぞれが撮像する。図６に示す制御部５１は、第２の車体部分１１の第１の車体部分１０に対する屈折角に応じて、上記路面領域に表示する画像として２つの画像のうちの一方を選択すると共に、２つの画像を合成して車体屈折車両の周囲を表示する合成画像を生成する。そのような合成画像の一例を用いて、以下に、車載装置５０が実行する画像処理について説明する。
　図７は、画像処理により合成された合成画像の一例を示す図である。図７に示す合成画像７０は、車体が左に屈折している場合の車両画像及びその車両の周囲画像を含む。具体的には、合成画像７０は、左カメラ２１により撮像されて合成画像７０に嵌め込まれた左側画像７１、右カメラ２２により撮像されて合成画像７０に嵌め込まれた右側画像７２、前方カメラ２３により撮像されて合成画像７０に嵌め込まれた前方画像７３を含む。左側画像７１と前方画像７３との境界は境界線７６であり、右側画像７２と前方画像７３との境界は境界線７７である。また合成画像７０は、左屈折した車体の各部に相当する第１の車体部分画像１０Ａ、第２の車体部分画像１１Ａ、及び除雪装置画像１２Ａを含む。
　合成画像７０においては、非屈折時において第１の車体部分画像１０Ａ及び第２の車体部分画像１１Ａが占有する基本車両領域７４のうち、図面右下側即ち車両後部右側において露出された路面領域において、補助パターン画像７５が嵌め込まれている。非屈折時には基本車両領域７４は第１の車体部分画像１０Ａ及び第２の車体部分画像１１Ａにより占有されており、左カメラ２１又は右カメラ２２により撮像された画像を基本車両領域７４に表示（描画）する必要はない。即ち、例えば基本車両領域７４の図面左側エッジの左側に左側画像７１を描画し、基本車両領域７４の図面右側エッジの右側に右側画像７２を描画し、基本車両領域７４には非屈折状態の第１の車体部分画像１０Ａと第２の車体部分画像１１Ａとを描画すればよい。なお第１の車体部分画像１０Ａと第２の車体部分画像１１Ａとを描画する代わりに、第１の車体部分１０と第２の車体部分１１の形状に相当するブランクの矩形領域を基本車両領域７４に描画してもよい。
　右左折や旋回に伴う車体屈折時には、第１の車体部分１０の後方で第２の車体部分１１が屈折することにより、非屈折時に第２の車体部分１１の下部に隠れていた路面領域が、基本車両領域７４において露出される。この露出された部分に、左カメラ２１により撮像された画像中で露出された路面領域に相当する位置の部分画像、又は、右カメラ２２により撮像された画像中で露出された路面領域に相当する位置の部分画像を嵌め込むことにより、合成画像７０を生成する。この際、基本車両領域７４中の画像はめ込み位置及び左カメラ２１及び右カメラ２２のいずれの撮像画像を嵌め込むかについては、第２の車体部分１１が左右いずれの方向に屈折しているかに応じて異なる。従って、屈折角が左右いずれであるかに応じて、左カメラ２１の撮像画像の部分画像又は右カメラ２２の撮像画像の部分画像のいずれかを選択し、更に基本車両領域７４中の画像はめ込み位置を選択し、選択された部分画像を選択されたはめ込み位置に嵌め込めばよい。
　屈折角が左向きである場合には、右カメラ２２の撮像画像のうちの露出路面に対応する位置の部分画像を選択し、更に基本車両領域７４中の右側後部の略三角形状のはめ込み領域を選択し、選択された部分画像を選択されたはめ込み領域に嵌め込めばよい。このようにして嵌め込まれた画像が図７に示す補助パターン画像７５である。屈折角が右向きである場合には、左カメラ２１の撮像画像のうちの露出路面に対応する位置の部分画像を選択し、更に基本車両領域７４中の左側後部の略三角形状のはめ込み領域を選択し、選択された部分画像を選択されたはめ込み領域に嵌め込めばよい。
　なおこのようにして左カメラ２１又は右カメラ２２の撮像画像中の部分画像を基本車両領域７４に補助パターン画像として嵌め込む際には、補助パターンは基本車両領域７４内のみではなく、基本車両領域７４の外側の車両後部に広がる画像であってよい。即ち、図７に示す例においては、三角形状の補助パターン画像７５の図面下方エッジは基本車両領域７４の図面下方（車両後方）エッジに一致しているが、三角形状の補助パターン画像７５は基本車両領域７４の図面下方エッジを越えて更に下側に延びていてよい。これにより、第２の車体部分１１が屈折することにより右カメラ２２から撮像可能になった車両後方領域の周辺画像を、合成画像において適宜活用することができる。なお、第２の車体部分１１の後面が向いている方向の視野については、後方カメラ２４が設けられている場合には、後方カメラ２４により撮像された後方画像を適宜嵌め込んでよい。後方カメラ２４が設けられていない場合、第２の車体部分１１の後面が向いている方向の周辺領域であって、左カメラ２１及び右カメラ２２にいずれにも撮像されない範囲については、ブランク画像を表示してもよい。
　なお図７に一例として示す補助パターン画像７５の形状は、屈折角の角度に応じて変化させてもよいし、或いは角度の大きさによらず一定の形状としてもよい。屈折角の角度に応じて補助パターン画像７５の形状を変化させる場合、補助パターン画像７５の三角形状の図面上方（車両前方向）の頂点の角度を屈折角と同等となるように適宜変化させて補助パターン画像７５を生成してよい。しかしながら、合成画像７０中において第２の車体部分画像１１Ａを撮像画像の上から塗りつぶす形で重畳するのであれば、大きめの補助パターン画像７５を生成しておけば、逐一屈折角に応じて補助パターン画像７５の描画領域を変化させる必要はない。
　例えば右カメラ２２の撮像画像から生成する補助パターン画像７５の場合であれば、右カメラ２２の撮像画像中で抽出できる最大の大きさ（右カメラ２２の視野範囲３２の左端まで広がる大きさ）の補助パターン画像７５を生成して合成画像７０に嵌め込めばよい。そのように嵌め込まれた補助パターン画像７５の上から、屈折角に応じた角度で配置された第２の車体部分画像１１Ａを上書きするように描画すれば、角度の大きさに応じて路面が現れる自然な画像を生成することができる。このとき、屈折角が小さい場合には、補助パターン画像７５中のかなりの大きさの部分に第２の車体部分１１の右側面が映りこんでいることになるが、その部分には第２の車体部分画像１１Ａが上書きするように描画されるので、自然な画像が生成される。
　またこの際、後方カメラ２４が設けられている場合、屈折角に応じた角度で描画された第２の車体部分画像１１Ａの真後ろに延びる矩形領域には、後方カメラ２４の撮像画像を描画してよい。即ち、屈折角に応じた角度で描画された第２の車体部分画像１１Ａの左側面を後方に延長した線と右側面を後方に延長した線との間に挟まれる領域には、後方カメラ２４の撮像画像を描画してよい。なお後方カメラ２４の撮像画像と左カメラ２１及び右カメラ２２の撮像画像との境界部分の設定については、上記の方法に限られない。
　このように、制御部５１は、屈折角に応じて車体屈折車両の第１の車体部分画像１０Ａ及び第２の車体部分画像１１Ａを生成し、当該生成した車両画像を撮像画像に重畳するように描画して合成画像７０を生成してよい。この際、制御部５１は、屈折角の大きさに応じた角度で屈折する車体屈折車両の車両画像を生成し、当該車両画像を撮像画像に上書きするように描画してよい。このようにすれば、制御部５１が、路面領域に表示する画像として補助パターン画像７５を生成して合成画像７０に嵌め込む際に、補助パターン画像７５の大きさを屈折角の大きさによらず一定のものとして処理すればよく、処理を単純化することができる。
　図８は、車体屈折時の屈折角の定義を示す図である。図８に示されるように、第１の車体部分１０に対して第２の車体部分１１が角度をなすように屈折する場合、第１の車体部分１０の前後方向に延びる中心軸と第２の車体部分１１の前後方向に延びる中心軸との間の角度θとして、屈折角が定義される。右屈折時にはθがプラスとなり、左屈折時にはθがマイナスとなる。
　図９は、角度センサ４０の構成の一例を示す図である。図９において、角度センサ４０は、第１の車体部分１０と第２の車体部分１１との間の連結部１３に設けられたセンサ装置１３Ａである。センサ装置１３Ａは、連結部１３における第１の車体部分１０に対する第２の車体部分１１の角度を検出し、検出された角度を屈折角を示す情報として車載装置５０に供給すればよい。このように連結部１３において角度を検出することにより、実際の屈折角を反映した精度の高い角度検出が可能になる。
　図１０は、角度センサ４０の別の構成一例を示す図である。図１０において、角度センサ４０は、第１の車体部分１０の運転室に設けられる操舵方向操作ハンドル８０の回転軸８１に設けられたセンサ装置８１Ａである。センサ装置８１Ａは、操舵方向を操作する装置である操舵方向操作ハンドル８０の回転角度を検出し、検出された角度を屈折角を示す情報として車載装置５０に供給すればよい。操舵装置においては操舵角を検出する機能が設けられていることが通常であり、このような操舵装置の機能を用いて角度を検出することにより、別途角度センサを設けることなく、効率的な角度検出が可能となる。
　図１１は、車載装置５０による画像合成処理の一例を示すフローチャートである。図１１及び以降の図において、フローチャートに記載された各ステップの実行順序は一例にすぎず、本願の意図する技術範囲が、記載された実行順番に限定されるものではない。例えば、Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、Ａステップの次にＢステップを実行することが可能なだけでなく、Ｂステップの次にＡステップを実行することが、物理的且つ論理的に可能である場合がある。この場合、どちらの順番でステップを実行しても、当該フローチャートの処理に影響する全ての結果が同一であるならば、本願に開示の技術の目的のためには、Ｂステップの次にＡステップが実行されてもよいことは自明である。Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、上記のような自明な場合を本願の意図する技術範囲から除外することを意図するものではなく、そのような自明な場合は、当然に本願の意図する技術範囲内に属する。
　ステップＳ１において、車載装置５０の制御の下で、カメラ２１乃至２４により車両周辺が撮像され、撮像された画像（ビデオ画像）がカメラ画像バッファ６４に格納される。ステップＳ２において、制御部５１の車体角度推定部６１が、角度センサ４０からの角度情報を取得する。例えば、図１０に示すセンサ装置８１Ａからハンドル操舵角を示す角度情報が得られる。
　ステップＳ３において、車体角度推定部６１は、ステップＳ２で取得された角度情報から、車体屈折角θ（図８参照）を推定する。ステップＳ４において、表示パターン決定部６２は、所定の正の閾値をθＴＨとして、推定された車体屈折角θが－θＴＨよりも小さいか、＋θＴＨよりも大きいか、或いはそれ以外（即ち－θＴＨ≦θ≦＋θＴＨ）であるかを判断する。－θＴＨ≦θ≦＋θＴＨである場合、表示パターン決定部６２は非屈折時表示パターンを選択し、この選択結果に基づいて、画像合成部６３がステップＳ５において非屈折時描画処理を実行する。θ＜－θＴＨである場合、表示パターン決定部６２は左屈折時表示パターンを選択し、この選択結果に基づいて、画像合成部６３がステップＳ６において左屈折時描画処理を実行する。＋θＴＨ＜θである場合、表示パターン決定部６２は右屈折時表示パターンを選択し、この選択結果に基づいて、画像合成部６３がステップＳ７において右屈折時描画処理を実行する。ステップＳ８において、画像合成部６３が表示部５３に合成画像を表示する。
　図１２は、非屈折時描画処理の一例を示すフローチャートである。ステップＳ１１において、画像合成部６３は、基本パターンを描画する。
　図１３は、基本パターンの構成の一例を示す図である。基本パターン１００は、左カメラ２１により撮像された最新の左側画像１０１、右カメラ２２により撮像された最新の右側画像１０２、前方カメラ２３により撮像された最新の前方画像１０３、及び後方カメラ２４により撮像された最新の後方画像１０４を含む。これらの最新の画像１０１乃至１０４を、図１３に一例として示すような境界線に沿ってつなぎ合わせることにより、車両周囲の現在の画像を車両領域９０の周囲に描画した合成画像が形成される。なおこの車両領域９０は、カメラ２１乃至２４がその周囲に配置された第１の車体部分１０と第２の車体部分１１とが非屈折時に占める領域であってよい。また、後方カメラ２４が設けられていない場合には、基本パターン１００中の後方画像１０４の画像位置にはブランク画像を描画してよい。同様に、前方カメラ２３が設けられていない場合には、基本パターン１００中の前方画像１０３の画像位置にはブランク画像を描画してよい。
　図１２に戻り、ステップＳ１２において、画像合成部６３は、車両モデル屈折処理を実行する。具体的には、画像合成部６３は、図６に示される記憶部５２の車両モデル格納部６７の車両モデルに基づいて、非屈折時の車両画像を生成する。ステップＳ１３において、画像合成部６３は、ステップＳ１２で生成された車両画像を基本パターンに上書きするように描画する。
　図１４は、基本パターンに車両画像が重畳された合成画像の一例を示す図である。図１４に示す合成画像１００Ａは、例えば図１３に示す基本パターン１００に対して、第１の車体部分画像１０Ａ、第２の車体部分画像１１Ａ、及び除雪装置画像１２Ａを含む車両画像を上書きするように描写することにより得られる。なお、前方カメラ２３は第１の車体部分１０の天井付近に搭載されているため、前方カメラ２３から除雪装置１２の画像を取得が可能である。そのため、除雪装置画像１２Ａに代わって除雪装置１２の画像を合成画像１００Ａに表示してもよい。
　以上のように、基本パターン描画、車両モデル屈折処理、及び車両モデル重畳描画を実行することにより、非屈折時描画処理が終了する。
　図１５は、屈折時描画処理の一例を示すフローチャートである。ステップＳ２１において、画像合成部６３は、基本パターンを描画する。基本パターンは、例えば図１３に示されるものであってよい。ステップＳ２２において、画像合成部６３は、右（又は左）屈折時補助パターン重畳描画処理を実行する。具体的には、例えば左屈折時描画処理であれば、車両領域内部の後部右側の三角形状領域及び必要に応じて車両領域の外側の後方領域も含む領域に対して、略三角形状の補助パターン画像を重畳するように描画する。また後方カメラ２４が設けられている場合には、前述したように、後方カメラの撮像画像を車両後方の屈折角に応じた位置に描画してよい。
　図１６は、左屈折時の補助パターンを重畳描画した合成画像の一例を示す図である。図１６に示されるように、車両領域９０内部の後部右側の三角形状領域及び必要に応じて車両領域９０の外側の後方領域も含む領域に対して、略三角形状の補助パターン画像１０５を重畳するよう描画する。この際、補助パターン画像１０５は、基本パターン１００の描画画像に対して、上書きする形で重畳されてよい。また後方カメラ２４が設けられている場合には、後方カメラの撮像画像を、車両後方の屈折角に応じた位置に上書きする形で描画してもよい。この描画処理により、合成画像１００Ｂが生成される。
　図１８は、右屈折時の補助パターンを重畳描画した合成画像の一例を示す図である。図１８に示されるように、車両領域９０内部の後部左側の三角形状領域及び必要に応じて車両領域９０の外側の後方領域も含む領域に対して、略三角形状の補助パターン画像１０６を重畳するよう描画する。この際、補助パターン画像１０６は、基本パターン１００の描画画像に対して、上書きする形で重畳されてよい。また後方カメラ２４が設けられている場合には、後方カメラの撮像画像を、車両後方の屈折角に応じた位置に上書きする形で描画してもよい。この描画処理により、合成画像１００Ｄが生成される。
　図１５に戻り、ステップＳ２３において、画像合成部６３は、車両モデル屈折処理を実行する。具体的には、画像合成部６３は、図６に示される記憶部５２の車両モデル格納部６７の車両モデルに基づいて、右又は左屈折時の車両画像を生成する。ステップＳ２４において、画像合成部６３は、ステップＳ２３で生成された車両画像をステップＳ２２で生成した合成画像に重畳するように描画する。
　図１７は、左屈折の場合において車両画像が重畳された合成画像の一例を示す図である。図１７に示す合成画像１００Ｃは、例えば図１６に示す合成画像１００Ｂに対して、第１の車体部分画像１０Ａ、第２の車体部分画像１１Ａ、及び除雪装置画像１２Ａを含む車両画像を上書きするように描写することにより得られる。
　図１９は、右屈折の場合において車両画像が重畳された合成画像の一例を示す図である。図１９に示す合成画像１００Ｅは、例えば図１８に示す合成画像１００Ｄに対して、第１の車体部分画像１０Ａ、第２の車体部分画像１１Ａ、及び除雪装置画像１２Ａを含む車両画像を上書きするように描写することにより得られる。
　以上のように、基本パターン描画、車両モデル屈折処理、及び車両モデル重畳描画を実行することにより、非屈折時描画処理が終了する。
　上記説明した描画処理においては、カメラ２１乃至２４の撮像画像に基づいて、車両周囲の俯瞰画像を合成している。この画像合成処理においては、車両に設置されているカメラ２１乃至２４の位置及び視野の方向並びに各カメラの内部パラメータに関する情報に基づいて、画像の座標変換を行うことにより、各撮像画像から俯瞰画像を合成してよい。以下に、所望の視点から見た車両周辺画像を合成する処理について説明する。
　図２０は、車両周辺の撮像画像の一例を示す図である。撮像画像２０１は左カメラ２１により撮像された画像であり、撮像画像２０２は右カメラ２２により撮像された画像である。また撮像画像２０３は前方カメラ２３により撮像された画像であり、撮像画像２０４は後方カメラ２４により撮像された画像である。これらの画像を、図２０に示されるようにＳ及びＴの直交座標で表される２次元平面上に配置して、フレームバッファ（例えば図６のカメラ画像バッファ６４）に格納する。座標（Ｓ，Ｔ）の値は、フレームバッファのアドレスに対応付けられている。従って、これらの画像を構成している各画素は、当該画素の位置を表す座標（Ｓ，Ｔ）の値により、フレームバッファから読み出すことができる。この撮像画像を、車両周囲の３次元空間中に定義される立体投影面に投影することにより、車両周囲の３次元空間を示す合成画像を生成することができる。
　図２１は、車両周囲に定義される立体投影面の一例を示した図である。立体投影面２１１は、車両２１０の近傍では路面に沿って広がっており、車両２１０から遠ざかるほど上方即ちＺ軸の正方向に向かい路面から離れていくように広がるお椀型となっている。この立体投影面２１１は、Ｘ、Ｙ、及びＺの直交座標系で位置が表される互いに連結された複数のポリゴンにより定義されている。図２１の例では、ポリゴンとして４角形を用いている。ポリゴンの各頂点の位置は、図２１に示される３次元座標（Ｘ，Ｙ，Ｚ）の値により表される。
　図２０の撮像画像２０１乃至２０４には、立体投影面２１１を構成する各ポリゴンに対応する矩形を示してある。例えば、図２０において示される矩形２０５は、図２１の立体投影面２１１におけるポリゴン２１３に対応している。従って、図２１に示される立体投影面２１１を構成する各頂点の３次元座標（Ｘ，Ｙ，Ｚ）の値は、図２０に示される２次元座標（Ｓ，Ｔ）の値に一対一に対応付けられている。
　図２２はポリゴンデータテーブルのデータ構造の一例を示す図である。このポリゴンデータテーブルにおいて、「ポリゴンＩＤ」のテーブル列には、立体投影面２１１を構成するポリゴンの各々を一意に識別する識別子番号が格納されている。また「頂点ＩＤ」のテーブル列には、ポリゴンＩＤにより識別される各ポリゴンを構成する頂点（この例では４個の頂点）の各々について、各頂点を一意に識別する識別子番号が格納されている。同一の識別子番号を有する頂点は同一の頂点である。これら各頂点の位置を示すＸＹＺ座標値は、頂点データテーブルに格納される。
　図２３は、頂点データテーブルのデータ構造の一例を示す図である。頂点データテーブルにおいて、「頂点ＩＤ」のテーブル列には、図２２に示すポリゴンデータテーブルの頂点ＩＤに対応する識別子番号が格納されている。「投影面の頂点座標」のテーブル列には、ある頂点の識別子番号（「頂点ＩＤ」の番号）を格納するテーブル行と同一のテーブル行に、当該頂点のＸＹＺ座標値が格納されている。「入力画像座標」のテーブル列には、ある頂点の識別子番号（「頂点ＩＤ」の番号）を格納するテーブル行と同一のテーブル行に、当該頂点のＳＴ座標値が格納されている。この頂点データテーブルにより、投影面の頂点座標（即ち図２１のポリゴンの各頂点のＸＹＺ座標）と入力画像座標（即ち図２０の矩形の各頂点のＳＴ座標）とが対応付けられることになる。
　頂点データテーブルにより表されるＸＹＺ座標とＳＴ座標との関係は、車両に設置されているカメラ２１乃至２４の位置及び視野の方向、並びに各カメラの内部パラメータを用いて予め算出しておくようにする。全周囲映像の合成は、３次元空間で定義された任意の合成視点から見たものとして、ポリゴンデータテーブル中の各ポリゴンを描画することにより行われる。この描画は一般的な３次元グラフィクス処理であり、入力画像をテクスチャ画像、座標（Ｓ，Ｔ）をテクスチャ座標、座標値（Ｘ，Ｙ，Ｚ）をポリゴン頂点座標としたテクスチャポリゴン描画として処理される。これにより任意の視点から見た全周囲画像を合成することができる。このようにして合成画像を生成する際に、図１１を用いて説明した車体屈折車両用の合成画像処理を含めて実行すれば、車体屈折車両に対する適切な全周囲画像を生成することができる。特に、視点の位置を車両真上に設定すれば、例えば図７に示すような俯瞰画像を生成することができる。
　以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
　例えば、前述の実施例では、左カメラ２１及び右カメラ２２は、１８０度以上の広角カメラである構成について説明したが、この構成は限定を意図するものではない。そのような広角カメラを用いる代わりに、１８０度以下の視野のカメラを複数台設けることにより、車両左右から後方にかけての視野範囲を複数のカメラによりカバーできるようにしてもよい。
　また前述の実施例では、左カメラ２１及び右カメラ２２は、第１の車体部分１０に設けられている構成について説明したが、この構成は限定を意図するものではない。左カメラ２１及び右カメラ２２は、車両の他の箇所に設けられてよく、例えば第２の車体部分１１に設けられていてもよい。その場合、第１の車体部分１０が第２の車体部分１１に対して屈折することにより、第１の車体部分１０が退いた後に露出される路面領域に対して、左カメラ２１又は右カメラ２２の撮像画像を嵌め込むことで、車両周囲画像を合成してよい。
　また前述の実施例では、角度センサを用いる構成について説明したが、この構成は限定を意図するものではない。角度センサを用いることなく、左カメラ２１及び右カメラ２２の少なくとも一方の撮像画像に基づいて、画像中に写っている車両画像の位置を画像処理で検出することにより車体の屈折角を推定してもよい。
１０　第１の車体部分
１１　第２の車体部分
１２　除雪装置
２１　左カメラ
２２　右カメラ
２３　前方カメラ
２４　後方カメラ
４０　角度センサ
４１　センサインタフェース
４２　カメラインタフェース
４３　モニタコントローラ
４４　モニタ
４５　ＨＤＤ
４６　ＲＯＭ
４７　ＲＡＭ
４８　ＣＰＵ
４９　バス
５０　車載装置
５１　制御部
５２　記憶部
５３　表示部
５４　操作部
６１　車体角度推定部
６２　表示パターン決定部
６３　画像合成部
６４　カメラ画像バッファ
６５　合成画像バッファ
６６　表示パターン格納部
６７　車両モデル格納部

Claims (10)

  1. 　車体屈折車両の第１の車体部分に搭載され、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像をそれぞれが撮像する少なくとも２つの撮像装置と、
    　前記第２の車体部分の前記第１の車体部分に対する屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する制御部と、
    　前記合成画像を表示する表示モニタ
    を含む周囲監視装置。
  2. 　前記制御部は、前記屈折角に応じて前記車体屈折車両の車両画像を生成し、前記合成画像に前記車両画像を合成する請求項１記載の周囲監視装置。
  3. 　前記制御部は、前記屈折角の大きさに応じた角度で屈折する前記車両画像を生成する請求項２記載の周囲監視装置。
  4. 　前記制御部は、前記屈折角の方向が右屈折を示す場合に前記２つの画像のうちの第１の画像を選択し、前記屈折角の方向が左屈折を示す場合に前記２つの画像のうちの第２の画像を選択し、前記路面領域に表示する画像として、前記選択された第１又は第２の画像中の部分画像を用いるよう構成され、前記部分画像の大きさは前記屈折角の大きさによらず一定である請求項３記載の周囲監視装置。
  5. 　前記制御部は、前記第１の車体部分と前記第２の車体部分との連結部に設けられた角度センサから前記屈折角を示す情報を取得する請求項１乃至４いずれか一項記載の周囲監視装置。
  6. 　前記制御部は、前記車体屈折車両の操舵方向を操作する装置から前記屈折角を示す情報を取得する請求項１乃至４いずれか一項記載の周囲監視装置。
  7. 　前記撮像装置は、前記第２の車体部分の上面より高い位置の前記第１の車体部分に搭載される、請求項１乃至６いずれか一項記載の周囲監視装置。
  8. 　前記車体屈折車両は除雪装置を有する除雪車である請求項１乃至７いずれか一項記載の周囲監視装置。
  9. 　車体屈折車両の第１の車体部分に搭載された２つの撮像装置によりそれぞれ撮像された、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像を受け取り、
    　前記第２の車体部分の前記第１の車体部分に対する屈折角を示す屈折角情報を受け取り、
    　前記屈折角情報が示す屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する
    各段階を含む画像処理方法。
  10. 　車体屈折車両の第１の車体部分に搭載された２つの撮像装置によりそれぞれ撮像された、非屈折状態の第２の車体部分が存在する路面領域を見込む視野を撮像領域内に共通に含む２つの画像を受け取り、
    　前記第２の車体部分の前記第１の車体部分に対する屈折角を示す屈折角情報を受け取り、
    　前記屈折角情報が示す屈折角に応じて、前記路面領域に表示する画像として前記２つの画像のうちの一方を選択すると共に、前記２つの画像を合成して前記車体屈折車両の周囲を表示する合成画像を生成する
    各段階をコンピュータに実行させる画像処理プログラム。
PCT/JP2016/050838 2016-01-13 2016-01-13 周囲監視装置、画像処理方法、及び画像処理プログラム WO2017122294A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017561439A JP6737288B2 (ja) 2016-01-13 2016-01-13 周囲監視装置、画像処理方法、及び画像処理プログラム
PCT/JP2016/050838 WO2017122294A1 (ja) 2016-01-13 2016-01-13 周囲監視装置、画像処理方法、及び画像処理プログラム
US16/020,147 US10721442B2 (en) 2016-01-13 2018-06-27 Surround view monitor apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050838 WO2017122294A1 (ja) 2016-01-13 2016-01-13 周囲監視装置、画像処理方法、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/020,147 Continuation US10721442B2 (en) 2016-01-13 2018-06-27 Surround view monitor apparatus

Publications (1)

Publication Number Publication Date
WO2017122294A1 true WO2017122294A1 (ja) 2017-07-20

Family

ID=59311238

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/050838 WO2017122294A1 (ja) 2016-01-13 2016-01-13 周囲監視装置、画像処理方法、及び画像処理プログラム

Country Status (3)

Country Link
US (1) US10721442B2 (ja)
JP (1) JP6737288B2 (ja)
WO (1) WO2017122294A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079485A (ko) * 2017-12-27 2019-07-05 도요타지도샤가부시키가이샤 화상 표시 장치
WO2022101982A1 (ja) * 2020-11-10 2022-05-19 三菱電機株式会社 センサノイズ除去装置およびセンサノイズ除去方法
US20230133175A1 (en) * 2021-10-30 2023-05-04 Deere & Company Object detection system and method for a work machine using work implement masking
WO2023195056A1 (ja) * 2022-04-04 2023-10-12 株式会社ソシオネクスト 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844885B1 (ko) * 2016-07-11 2018-05-18 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
DE102018131220A1 (de) * 2018-12-06 2020-06-10 Liebherr-Werk Bischofshofen Gmbh Arbeitsmaschine
CA3133090A1 (en) 2019-03-14 2020-09-17 Clark Equipment Company Snow blower implement
DE102019109305A1 (de) * 2019-04-09 2020-10-15 Claas Selbstfahrende Erntemaschinen Gmbh Schwenkkraftheber
DE102019216368A1 (de) * 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren zum Ausgeben eines Steuersignals an eine Einheit eines Fahrzeugs
KR102316960B1 (ko) * 2019-11-28 2021-10-22 광운대학교 산학협력단 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
DE102019219017A1 (de) * 2019-12-05 2021-06-10 Robert Bosch Gmbh Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
JP7442933B2 (ja) * 2020-03-20 2024-03-05 アルパイン株式会社 車両用画像処理装置
US20210318420A1 (en) * 2020-04-10 2021-10-14 Caterpillar Paving Products Inc. Ultrasonic sensors for work machine obstacle detection
US11409299B2 (en) * 2020-08-19 2022-08-09 Caterpillar Inc. Determining object detection area based on articulation angle
CN112308984B (zh) * 2020-11-03 2024-02-02 豪威科技(武汉)有限公司 车载图像拼接方法、***以及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966683U (ja) * 1982-10-27 1984-05-04 株式会社新潟鐵工所 車両における連結部の保護装置
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
JP2010030341A (ja) * 2008-07-25 2010-02-12 Asmo Co Ltd 後退確認装置
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
WO2012157379A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235036A (ja) 2002-02-07 2003-08-22 Nissan Motor Co Ltd 車両用画像表示装置
JP2005223524A (ja) * 2004-02-04 2005-08-18 Nissan Motor Co Ltd 車両周辺監視装置
DE102007011180A1 (de) * 2007-03-06 2008-09-11 Daimler Ag Rangierhilfe und Verfahren für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen, welche aus gegeneinander knickbare Fahrzeugelementen bestehen
JP2009060499A (ja) 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP2009107602A (ja) 2007-11-01 2009-05-21 Komatsu Ltd アーティキュレート式建設機械
JP5369465B2 (ja) 2008-03-25 2013-12-18 富士通株式会社 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
EP3021178B1 (en) * 2014-11-14 2020-02-19 Caterpillar Inc. System using radar apparatus for assisting a user of a machine of a kind comprising a body and an implement
US20160150189A1 (en) * 2014-11-20 2016-05-26 Caterpillar Inc. Image processing system and method
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image
US9860445B2 (en) * 2015-06-15 2018-01-02 Bendix Commercial Vehicle Systems Llc Dual node composite image system architecture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966683U (ja) * 1982-10-27 1984-05-04 株式会社新潟鐵工所 車両における連結部の保護装置
JP2008077628A (ja) * 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
JP2010030341A (ja) * 2008-07-25 2010-02-12 Asmo Co Ltd 後退確認装置
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
WO2012157379A1 (ja) * 2011-05-13 2012-11-22 日立建機株式会社 作業機械の周囲監視装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079485A (ko) * 2017-12-27 2019-07-05 도요타지도샤가부시키가이샤 화상 표시 장치
CN110027552A (zh) * 2017-12-27 2019-07-19 丰田自动车株式会社 图像显示装置
KR102151654B1 (ko) * 2017-12-27 2020-09-04 도요타지도샤가부시키가이샤 화상 표시 장치
CN110027552B (zh) * 2017-12-27 2022-05-10 丰田自动车株式会社 图像显示装置
US11336839B2 (en) 2017-12-27 2022-05-17 Toyota Jidosha Kabushiki Kaisha Image display apparatus
WO2022101982A1 (ja) * 2020-11-10 2022-05-19 三菱電機株式会社 センサノイズ除去装置およびセンサノイズ除去方法
JPWO2022101982A1 (ja) * 2020-11-10 2022-05-19
JP7499874B2 (ja) 2020-11-10 2024-06-14 三菱電機株式会社 センサノイズ除去装置およびセンサノイズ除去方法
US20230133175A1 (en) * 2021-10-30 2023-05-04 Deere & Company Object detection system and method for a work machine using work implement masking
WO2023195056A1 (ja) * 2022-04-04 2023-10-12 株式会社ソシオネクスト 画像処理方法、ニューラルネットワークの学習方法、三次元画像表示方法、画像処理システム、ニューラルネットワークの学習システム、及び三次元画像表示システム

Also Published As

Publication number Publication date
US20180309962A1 (en) 2018-10-25
JPWO2017122294A1 (ja) 2018-11-08
US10721442B2 (en) 2020-07-21
JP6737288B2 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
WO2017122294A1 (ja) 周囲監視装置、画像処理方法、及び画像処理プログラム
JP5422902B2 (ja) 画像処理装置、画像処理プログラム、画像処理システム及び画像処理方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP5369465B2 (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
JP7106846B2 (ja) 周辺監視装置
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP7222254B2 (ja) 周辺表示制御装置
JP7283059B2 (ja) 周辺監視装置
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2011048829A (ja) 車両の運転者に案内情報を提供するためのシステム及び方法
JP6958163B2 (ja) 表示制御装置
WO2017188247A1 (ja) 表示制御装置
JP2007267343A (ja) 車両周辺画像提供装置および方法
JP2009105660A (ja) 車載用撮像装置
JP2019028920A (ja) 表示制御装置
JP6876236B2 (ja) 表示制御装置
JP5434802B2 (ja) 車両用の情報表示装置
JP7013751B2 (ja) 画像処理装置
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
JP2013137698A (ja) 俯瞰画像提示装置
JP7314518B2 (ja) 周辺監視装置
JP4945315B2 (ja) 運転支援システム及び車両
JP2022101979A (ja) 画像生成装置、画像生成方法
JP2018142883A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884897

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017561439

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16884897

Country of ref document: EP

Kind code of ref document: A1