WO2019026246A1 - 車両周辺画像表示装置および車両周辺画像表示方法 - Google Patents
車両周辺画像表示装置および車両周辺画像表示方法 Download PDFInfo
- Publication number
- WO2019026246A1 WO2019026246A1 PCT/JP2017/028273 JP2017028273W WO2019026246A1 WO 2019026246 A1 WO2019026246 A1 WO 2019026246A1 JP 2017028273 W JP2017028273 W JP 2017028273W WO 2019026246 A1 WO2019026246 A1 WO 2019026246A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- vehicle
- parking
- frame
- display
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000002093 peripheral effect Effects 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 34
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 2
- 238000003702 image correction Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
Definitions
- the present invention relates to a vehicle periphery image display apparatus and a vehicle periphery image display method, and in particular to operation assistance to a driver at the time of parking operation.
- driving is performed by converting and displaying an image so that the image projected by the side camera is at a natural angle when viewed from the driver, that is, as viewed from the driver's viewpoint.
- This is a vehicle peripheral vision system that makes people aware of the condition of the tire angle and frame line.
- Patent Document 2 is a vehicle that leaves camera images at the front and rear as history information, carries an image from the history information to a part that becomes a blind spot at the time of back etc, and displays which part of the current image It is a peripheral image display device.
- Patent No. 5134504 gazette JP, 2015-154125, A
- Patent Document 1 the image is processed so that the driver can easily recognize the current tire and frame angle and the like.
- Patent Document 1 there is a problem that it is difficult for the driver to understand how the entire vehicle body is inclined with respect to the frame line from the displayed vehicle body and tire.
- Patent Document 2 attempts to recognize surrounding obstacles from history information of images obtained by front and rear cameras.
- the driver's awareness is improved by using a composite image such as a top view that is an image of the vehicle from the zenith of the vehicle by using images of the side camera and the rear camera without using a side camera.
- a composite image such as a top view that is an image of the vehicle from the zenith of the vehicle by using images of the side camera and the rear camera without using a side camera.
- Patent Document 2 recognizes moving objects and obstacles in the vicinity, and does not perform any treatment for the frame line at the time of parking operation. Therefore, the driver can not be easily informed of the deviation between the frame line and the vehicle at the time of the parking operation.
- An object of the present invention is to provide a vehicle peripheral image display apparatus and a vehicle peripheral image display method that allow a driver to easily recognize a deviation between a parking frame and a vehicle at the time of a parking operation.
- a plurality of photographing devices for photographing the surroundings of the host vehicle in a parking lot, and an image signal input unit for continuously inputting image signals of peripheral images of the host vehicle photographed by the plurality of photographing devices.
- a history storage unit that stores the image signal input to the image signal input unit as a peripheral image for each of the photographing devices, and the peripheral image input to the image signal input unit is the image portion missing by the history storage unit
- An image interpolation processing unit that compensates with the stored image and combines the compensated image and the surrounding image input to the image signal input unit, and a top viewed from the top of the vehicle from the combined surrounding image
- a top view image generation unit that generates a view image; a display image generation unit that generates a display image including the top view image generated by the top view image generation unit; and the display image generation unit In the vehicle periphery image display device or the like having a display device for displaying the generated display image.
- the missing image portion is compensated with the image stored in the history storage unit, and the compensated image and the peripheral image input to the image signal input unit are synthesized.
- a vehicle-periphery image display device and a vehicle-periphery image that make it easy for the driver to recognize a gap between the parking frame at the time of parking operation and the vehicle by generating a top view image from the synthesized peripheral image It can provide a display method.
- FIG. 1 is a block diagram showing an example of a configuration of a vehicle periphery image display device according to the present invention. It is a figure which shows the example of installation of each video camera attached to the own vehicle of the vehicle periphery image display apparatus by this invention.
- FIG. 10 is an operation flowchart at the time of backward parallel parking operation in Embodiment 1 of the present invention and at the time of parallel parking operation in Embodiment 3.
- FIG. It is a schematic diagram of the surroundings of the own vehicle at the time of performing backward parallel parking operation in Embodiment 1 of this invention. It is a figure which shows an example of the top view image at the time of backward parallel parking operation in Embodiment 1 of this invention.
- FIG. 2 It is a schematic diagram of the surroundings of the own vehicle at the time of performing the frontward parallel parking operation in Embodiment 2 of this invention. It is a figure which shows an example of the top view image at the time of the frontward parallel parking operation in Embodiment 2 of this invention. It is a figure which shows a mode that a parking frame part is seen through with the top view image at the time of the frontward parallel parking operation in Embodiment 2 of this invention. It is a figure which shows an example of the display image of the picked-up image of the front video camera which is not at the time of the parking mode in Embodiment 2 of this invention.
- FIG. 2 It is a figure which shows an example of the display image of the picked-up image of the front video camera at the time of parking mode in Embodiment 2 of this invention. It is a schematic diagram of self-vehicles periphery at the time of performing parallel parking operation in Embodiment 3 of this invention. It is a figure which shows an example of the top view image at the time of parallel parking operation in Embodiment 3 of this invention. It is a figure which shows a mode that a parking frame part is seen through with the top view image at the time of parallel parking operation in Embodiment 3 of this invention. It is a figure which shows an example of the display image of the picked-up image of the side video camera which is not at the time of the parking mode in Embodiment 3 of this invention.
- the present invention provides a vehicle peripheral image display apparatus and a vehicle peripheral image display method for making it easy for a driver to recognize a gap between a parking frame and a vehicle at the time of a parking operation. For example, when the driver performs parking operation in the parking lot, the driver can see how much the vehicle and the parking frame are inclined by the images such as top views obtained from the images from the left and right side video cameras and the front and rear video cameras. Make it easy to understand from the image. In addition, since the blind spot area from the driver changes in real time at the time of parking operation, by using not only the video camera image but also the top view image etc., the deviation of the inclination between the parking frame and the vehicle visually Make it easy to understand.
- FIG. 1 is a block diagram showing an example of the configuration of a vehicle periphery image display apparatus according to the present invention.
- a front video camera 2FO is attached to the front of the vehicle, side video cameras 2LE and 2RI to the left and right sides, and a rear video camera 2RE to the rear.
- the front video camera 2FO is mounted at a position where a predetermined set angle range in front of the host vehicle can be photographed.
- the side video cameras 2LE and 2RI are attached at positions where the left and right predetermined set angle ranges can be imaged so that the left and right frame lines can be visually recognized from the passage of a general parking lot.
- the rear video camera 2RE is mounted at a position where a predetermined rear angular range can be captured.
- each video camera 2FO, 2LE, 2RI, 2RE in the vehicle 100 is shown in FIG. If it is a place which satisfies the above-mentioned imaging setting angle range, it does not matter even if it attaches a video camera other than the position shown in FIG.
- the video cameras 2FO, 2LE, 2RI, 2RE respectively constitute imaging devices.
- the image generation display control unit 30 in FIG. 1 inputs an image of the surroundings of the vehicle from the video cameras 2FO, 2LE, 2RI and 2RE. Then, predetermined processing is performed on the peripheral image to display on the display monitor 6 constituting the display device a display for making it easy for the driver to easily recognize the gap between the parking frame at the time of parking operation and the vehicle.
- the image generation display control unit 30 includes an image generation display processing unit 10 and an image display control input unit 21.
- the image generation display processing unit 10 includes an image signal input unit 11, a stop position road surface image extraction unit 12, a frame line ringing detection unit 13, an image interpolation processing unit 14, a top view image generation unit 15, a display image generation unit 16, and an image.
- a transmission processing unit 17, a parking state detection unit 18, and a history storage unit 20 are included.
- the image display control input unit 21 inputs the following signals from the outside of the apparatus.
- a display switching instruction or the like input by the driver operating the H / I (human interface) 7 is input.
- vehicle information CAI including the speed of the host vehicle, steering wheel angle, gear information, side brake information, etc. is input.
- the process of the vehicle periphery image display apparatus in this invention is demonstrated. First, when searching for a place to be parked in the parking lot, shooting of the parking frame portion is performed by the side video cameras 2LE and 2RI. An image signal of the photographed peripheral image of the host vehicle is input by the image signal input unit 11. The input image signal is stored in the history storage unit 20 as a peripheral image for each video camera. Shooting continues until the vehicle completely stops at the parking frame.
- the surrounding image stored in the history storage unit 20 includes the captured parking frame, more specifically, at least one of the frame border and ringing of the parking frame, and an image of the road surface, and is an image during the past set period Data is updated so that it is always stored.
- the display monitor 6 Under the control of the image generation display processing unit 10, the display monitor 6 displays a top view image viewed from the top of the vehicle and peripheral images of the video cameras 2FO, 2LE, 2RI, 2RE.
- the top view image is generated by the top view image generation unit 15.
- the display mode of the display monitor 6 can be changed by a display switching command inputted by the driver operating the H / I 7.
- the image interpolation processing unit 14, the image transmission processing unit 17, and the like perform an interpolation process and a permeation process on the image, and the vehicle portion is transmitted and displayed in a transparent state. Other than the time of the parking operation, the vehicle portion is displayed without being transmitted.
- the frame ringing detection unit 13 detects the frame line and ringing of the parking frame in order to determine the parking frame to be parked of the vehicle. If there is no frame line and snap ring, an obstacle such as a wall indicated by W in FIG.
- the display image generation unit 16 receives the vehicle information CAI of the host vehicle and the display switching instruction, and the top view image and the image of each video camera according to the processing state in the image generation display processing unit 10, and further performs the complementation processing and the transmission processing. To generate a display image to be displayed on the display monitor 6 by switching or combining the images subjected to the.
- the display image generation unit 16 displays the parking frame of the image of the video camera when displaying the top view image and the image of each video camera. Display the border detection on the part of.
- the parking state detection unit 18 determines whether or not the own vehicle is in a parking operation. In the case of forward parallel parking, the parking state detection unit 18 operates the parking operation when the vehicle frame and the frame line of the parking frame captured by the front video camera 2FO are shrunk to a distance equal to or less than a predetermined threshold. Judge that it is. At the time of backward parallel parking, when the vehicle information CAI indicates that the vehicle has been engaged in the back gear indicated by "R", it is determined that the vehicle is in the parking operation state. In the case of parallel parking, the parking state detection unit 18 determines that the vehicle is in the parking operation state when it indicates that the vehicle information CAI has been engaged in the back "R" gear as in the backward parallel parking.
- the parking state detection unit 18 determines the distance between the vehicle and the frame line or ringing of the parking frame to be parked from the captured image. . Since the image of each video camera is constantly updated, it is determined from the image one frame before and the current image that the vehicle is in the parking operation state when it is determined that the vehicle is heading to the parking frame.
- the display image generation unit 16 When shifting to the parking operation, as shown in FIGS. 8 and 14 described later, the display image generation unit 16 superimposes and displays the position 100a of the wheel of the vehicle in real time on the image of each video camera. This is superimposed on each video camera raw image, each video camera bird's eye view image, and the top view image.
- the vehicle periphery image display device of the present invention has a function of detecting a ringing in the front video camera 2FO or the rear video camera 2RE at the time of a parking operation.
- the parking state detection unit 18 calculates the distance from the host vehicle to the loop stop STP illustrated in FIG. 4 described later, and the angle. Then, when the vehicle is blocked by the vehicle body of the own vehicle and can not be seen with the naked eye or a video camera, the image transmission processing unit 17 makes the vehicle visible through the own vehicle, and the display image generation unit 16 generates a display image. Allows the driver to check the position of the stop.
- FIG. 3 is an operation flowchart at the time of backward parallel parking operation in the first embodiment of the present invention and at the time of parallel parking operation in the third embodiment.
- FIG. 4 is a schematic view of the surroundings of the host vehicle when performing a backward parallel parking operation in the first embodiment.
- 100 indicates the own vehicle
- 101R indicates the traveling direction of the own vehicle
- 102RE indicates the shooting range of the rear video camera 2RE
- 110 indicates other vehicles parked
- 120 indicates a parking frame and a frame line.
- the image generation display processing unit 10 if the vehicle speed of the host vehicle 100 from the vehicle information CAI is, for example, 20 km / h or less and a plurality of other vehicles are lined up in the images of the side video cameras 2LE and 2RI (step S1), the parking frame is detected by the frame ring detection unit 13 (step S2).
- the display image generation unit 16 displays the top view image or each video camera image on the display monitor 6 (step S3).
- the display format of the display monitor 6 can be changed by the driver at any time by the H / I 7.
- the history storage unit 20 stores the images of the video cameras 2FO, 2LE, 2RI and 2RE as needed (step S4).
- the parking state detection unit 18 detects that the host vehicle puts the gear in the back gear “R” at the time of parking operation (step S5), and shifts to the parking operation mode (step S6).
- the display image generation unit 16 and the top view image generation unit 15 basically display the screen of the display monitor 6 in the parking operation mode as a top view image.
- the stop position road surface image extraction unit 12, the image interpolation processing unit 14, and the image transmission processing unit 17 perform a display in which the own vehicle part is transmitted and the lower road surface part of the own vehicle is seen through.
- the driver can check the road surface portion below the host vehicle.
- the image of the history storage unit 20 and the image of the current video camera are combined to perform transmissive display on the top view image (step S7).
- the image can be changed arbitrarily by the driver.
- the images of the video cameras 2FO, 2LE, 2RI and 2RE are similarly subjected to transmission processing and displayed (step S8).
- the driver can arbitrarily change the image displayed on the display monitor 6 with the operation of H / I 7 as “top view image” ⁇ “rear video camera bird's eye view image” ⁇ “rear video camera raw image”.
- the top view image and the rear video camera bird's eye view image are displayed so that the road surface portion blocked by the host vehicle can be seen through the host vehicle by making the part of the host vehicle a transmission image.
- the parking state detection unit 18 determines that the parking operation is completed (step S9).
- FIG. 5 is a view showing an example of a top view image at the time of backward parallel parking operation according to the first embodiment of the present invention.
- FIG. 6 is a view showing how the parking frame portion is seen through in the top view image at the time of backward parallel parking operation in the first embodiment of the present invention.
- a portion of the host vehicle 100 is transmitted, and in FIG. 6, the lower frame line 120 is displayed so as to be seen through in the portion of the host vehicle 100.
- FIG. 7 is a view showing an example of a display image of a photographed image of a rear video camera which is not at the time of the parking mode in the embodiment 1 of the present invention.
- FIG. 8 is a view showing an example of a display image of a photographed image of the rear video camera in the parking mode in accordance with the first embodiment of the present invention.
- the upper and lower portions IV of the image of FIG. 7 are not visible by the vehicle. I can not see the appearance of the vacant parking frame at the time of the backward parallel parking operation.
- the upper and lower portions PE of the image are displayed transparently, and the frame line 120 of the vacant parking frame is easy to see.
- the display image generation unit 16 may display the position 100a of the wheels of the host vehicle.
- FIG. 9 is a flowchart of operation during forward parallel parking operation according to the second embodiment of the present invention.
- FIG. 10 is a schematic view of the surroundings of the host vehicle when performing a forward parallel parking operation according to the second embodiment.
- 100 indicates the subject vehicle
- 101F indicates the traveling direction of the subject vehicle
- 102FO indicates the shooting range of the front video camera 2FO
- 110 indicates other vehicles parked
- 120 indicates a parking frame and a frame line.
- the parking state detection unit 18 switches to the parking mode when the distance between the vehicle 100 and the frame line 120 of the parking frame is reduced to a predetermined threshold or less. Transition.
- the screen display of the display monitor 6 in the parking mode is basically displayed as a top view image as in the backward parking operation, a portion of the vehicle 100 is transmitted, and a display in which the road portion is seen through is performed.
- the road surface part under the own vehicle can be checked.
- FIG. 11 is a view showing an example of a top view image at the time of forward parallel parking operation in the second embodiment of the present invention.
- FIG. 12 is a view showing how the parking frame portion is seen through in the top view image at the time of forward parallel parking operation in the second embodiment of the present invention.
- a portion of the host vehicle 100 is transmitted, and in FIG. 12, a lower frame line 120 is displayed so as to be seen through at the portion of the host vehicle 100.
- FIG. 13 is a view showing an example of a display image of a photographed image of the front video camera 2FO not in the parking mode in the second embodiment of the present invention.
- FIG. 14 is a view showing an example of a display image of a photographed image of a front video camera in the parking mode in the second embodiment of the present invention.
- the lower part IV of the image of FIG. 13 is not visible by the vehicle. I can not see the appearance of the vacant parking space at the time of forward parallel parking operation.
- the lower part PE of the image is transparently displayed, and the frame line 120 of the vacant parking frame is easy to see.
- the display image generation unit 16 may display the position 100a of the wheels of the host vehicle.
- FIG. 15 is a schematic view of the surroundings of the host vehicle when performing the parallel parking operation in the third embodiment of the present invention.
- 100 is the host vehicle
- 101R is the traveling direction of the host vehicle
- 102RE is the shooting range of the rear video camera 2RE
- 102LE is the shooting range of the side video camera 2LE on the right
- 110 is the other vehicle with parked 120 Shows parking lots and borders.
- the parking state detection unit 18 detects that the vehicle enters the back gear "R" at the time of parking operation in step S5, and the parking operation Transition to mode
- the image displayed on the display monitor 6 by the display image generation unit 16 is displayed with the images of the side video cameras 2LE and 2RI added in addition to the image at the time of the backward parking operation. This is because the image of the side video cameras 2LE and 2RI is also sent to cope with the possibility that the distance between the vehicle and the front vehicle may not be known at the time of the backward movement at the time of parallel parking operation.
- the display image generation unit 16 performs processing to convert the images of the side video cameras 2LE and 2RI into an angle that can be easily recognized by the driver.
- the angle conversion process makes it easy to understand the distance, angle, and position conditions between the host vehicle and the opposite vehicle when the image of the side video camera is viewed, and the degree of parking difficulty decreases.
- FIG. 16 is a view showing an example of a top view image at the time of parallel parking operation in the third embodiment of the present invention.
- FIG. 17 is a view showing how a parking frame portion is seen through in the top view image at the time of parallel parking operation in the third embodiment of the present invention. A portion of the vehicle 100 is transmitted, and in FIG. 17, the lower frame line 120 is displayed so as to be seen through in the portion of the vehicle 100.
- FIG. 18 is a view showing an example of a display image of a photographed image of the side video camera which is not in the parking mode in the third embodiment of the present invention.
- FIG. 19 is a diagram showing an example of a display image of a photographed image of the side video camera in the parking mode in the third embodiment of the present invention.
- the lower part IV of the image of FIG. 18 is not visible by the vehicle. I can not see the appearance of the vacant parking frame at the time of parallel parking operation.
- the lower part PE of the image is displayed transparently, and the frame line 120 of the vacant parking frame is easy to see.
- a frame of a road surface which becomes a blind spot in the own vehicle portion reflected in the image of the video camera in the top view image and the video camera image of the top view image and the video camera image
- the driver recognizes the condition around the vehicle and the parking frame by displaying the line and the situation under the vehicle by permeabilizing and permeating the vehicle part with the video camera image and superimposing it. It is possible to provide a vehicle periphery image display apparatus and a vehicle periphery image display method which make it easy to perform and make it possible to eliminate the deviation between the frame line and the position of the vehicle at the time of parking operation of the vehicle.
- Each video camera 2FO, 2LE, 2RI, 2RE which comprises an imaging
- the image signal input unit 11 continuously inputs the image signal of the peripheral image of the vehicle taken by the plurality of photographing devices 2.
- the history storage unit 20 stores the image signal input to the image signal input unit 11 as a peripheral image for each photographing device 2.
- the image interpolation processing unit 14 compensates the missing image portion in the peripheral image input to the image signal input unit 11 with the image stored in the history storage unit 20 and inputs the compensated image and the image signal input unit 11 Composites the surrounding image.
- the top view image generation unit 15 generates a top view image viewed from the top of the own vehicle from the synthesized surrounding image.
- the display image generation unit 16 generates a display image including the top view image generated by the top view image generation unit 15. Then, the display monitor 6 displays the display image generated by the display image generation unit 16.
- the image portion compensated by the image compensation processing unit 14 is a portion including a frame line or a ring stop of the parking frame
- the image transmission processing unit 17 is a frame line of the parking frame when the image portion compensated at the time of parking operation. Or permeabilize the image so that the clasp can be seen through.
- the image interpolation processing unit 14 detects the own vehicle 100 at the center of the peripheral image shown in FIG. 6 that is missing in the peripheral image input to the image signal input unit 11.
- the previous image stored in the history storage unit 20 is used to compensate for the image of the part.
- the complemented image and the peripheral image input to the image signal input unit 11 are synthesized.
- the top view image generation unit 15 generates a top view image from the synthesized peripheral image.
- the image transmission processing unit 17 transmits the image so that the frame portion or the ring stop of the parking frame can be seen through the compensated image portion. That is, as shown in FIG.
- the road surface portion including the frame 120 of the lower parking frame of the vehicle obtained through compensation is transparent to the inside portion except for the outline 100e around the portion of the vehicle 100. Perform the transparent process to make it visible. As a result, the driver can check the inclination of the vehicle 100 and the frame 120 from the screen display of the display monitor 6.
- the parking state detection unit 18 is photographed. From the image, the distance between the vehicle and the frame or ringing of the parking frame to be parked is determined. Thereby, the display image generation unit 16 generates a display image including the distance between the host vehicle and the frame line or ringing of the parking frame. In addition, the stop position road surface image extraction unit 12 extracts an image of the road surface of the parking frame to be parked from the photographed image based on the detection results of the frame ringing detection unit 13 and the parking state detection unit 18 .
- the image interpolation processing unit 14 performs a compensation process by the image extracted by the stop position road surface image extracting unit 12, the image transparency processing unit 17 performs a transparency process, and the display image generation unit 16 performs parking to be parked
- a display image is generated from the top view image that has been compensated and transmitted with the image of the road surface of the frame or the peripheral image photographed by a plurality of photographing devices 2.
- the history storage unit 20 stores the photographed peripheral images of a plurality of photographing devices 2 as a history, and the frame-line ringing detection unit 13 detects parking of the vehicle from the peripheral image of the history storage unit 20. Detect a border or loop.
- the frame ringing detector 13 detects the parking frame in the peripheral image in each direction taken by the plurality of photographing devices 2 and the steering angle of the host vehicle. , Gear information, and detects that there is a space over the width of the vehicle in the parking frame to detect the frame line that is the target of parking, and further, the looping within the parking frame, or the direction to park if there is no looping Detect obstacles located in
- the plurality of photographing devices 2 are configured by video cameras attached to the front, rear, left and right of the host vehicle.
- the image generation display control unit 30 shown by each functional block shown in FIG. 1 may be configured by separate control circuits, or may be configured collectively by one control circuit. May be In this regard, the processing circuit for realizing these functions is a CPU (Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, etc.) that executes a program stored in the memory even if it is dedicated hardware. , A microcomputer, a processor, and a DSP).
- CPU Central Processing Unit, central processing unit, processing unit, arithmetic unit, microprocessor, etc.
- FIG. 20 schematically shows the hardware configuration when these functions are configured by hardware, and (b) shows the hardware configuration when configured by software.
- the processing circuit 1000 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or What combined these corresponds.
- the functions of the respective units may be realized by processing circuits, or the functions of the respective units may be realized collectively by a processing circuit.
- the functions of the respective units are configured by the CPU illustrated in FIG. 20B, the functions of the respective units are realized by software, firmware, or a combination of software and firmware.
- Software and firmware are described as a program and stored in the memory 2100.
- the processor 2000 which is a processing circuit, implements the functions of the respective units by reading and executing the program stored in the memory 2100. These programs can also be said to cause a computer to execute the procedures and methods of the above-described units.
- the memory 2100 is, for example, a nonvolatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, and EEPROM, or a magnetic disk, a flexible disk, an optical disk, an optical disk, a compact disk, a mini disk, and a DVD. Etc. apply.
- the processing circuit can implement the above-described functions by hardware, software, firmware, or a combination thereof.
- various types of information necessary for processing are preset in the circuit, and in the case of software configuration, they are stored in advance in the memory.
- the vehicle periphery image display apparatus and the vehicle periphery image display method according to the present invention can be applied to various fields and vehicles of various forms.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
駐車操作時の駐車枠と自車両のずれを運転者によりわかり易く認識させる車両周辺画像表示装置および車両周辺画像表示方法を提供する。複数の撮影機器で撮影された駐車場における自車両の周囲画像を継続して入力し、前記周囲画像を記憶し、入力された周辺画像において、欠落した画像部分を記憶された画像で補填し、補填された画像と前記入力された周辺画像を合成し、前記合成された周辺画像から前記自車両の天頂部から見たトップビュー画像を生成し、前記トップビュー画像を含めた表示画像を生成し、生成された表示画像を表示する、ことを備えた。
Description
この発明は、車両周辺画像表示装置および車両周辺画像表示方法、特に駐車操作時の運転者への操作支援に関するものである。
下記特許文献1に係る従来技術は、サイドカメラが映す映像が運転者から見て自然な角度になるように、すなわち運転者の視点から見たように、画像を変換して表示して、運転者にタイヤの角度と枠線の状況を認知させる車両周辺観視システムである。
下記特許文献2に係る従来技術は、前方、後方のカメラ映像を履歴情報として残し、バック時等に死角になる部分を履歴情報から画像を持ち寄り、現在の画像のどの部分にあたるかを表示する車両周辺画像表示装置である。
特許文献1に係る従来技術は、運転者が現在のタイヤと枠線の角度等を認知し易いように映像が加工されている。しかし、映っている車体とタイヤから、車体全体が枠線に対してどのように傾いているかが運転者にとって分かり難いという課題がある。
特許文献2に係る従来技術は、前方および後方のカメラにより得られた画像の履歴情報から周囲にある障害物を認識しようと試みている。しかし、サイドカメラを使用しておらず、サイドカメラと後方カメラ等の画像による、車両の天頂部からの車両の画像であるトップビュー等の、複合画像を使用して、運転者の認知向上をはかることができないという課題がある。
さらにまた、特許文献2に係る従来技術では、周囲にある移動物体および障害物への認識をするものであり、駐車操作時の枠線に対する処置は何も行っていない。したがって、駐車操作時の枠線と自車のずれを運転者にわかり易く伝えることができない。
この発明は、駐車操作時の駐車枠と自車両のずれを運転者によりわかり易く認識させる車両周辺画像表示装置および車両周辺画像表示方法を提供すること等を目的とする。
この発明は、駐車場における自車両の周辺を撮影する複数の撮影機器と、前記複数の撮影機器で撮影される前記自車両の周辺画像の画像信号を継続して入力する画像信号入力部と、前記画像信号入力部に入力された画像信号を前記撮影機器ごとに周辺画像として記憶する履歴記憶部と、前記画像信号入力部に入力された周辺画像において、欠落した画像部分を前記履歴記憶部で記憶された画像で補填し、補填された画像と前記画像信号入力部に入力された周辺画像を合成する画像補填処理部と、前記合成された周辺画像から前記自車両の天頂部から見たトップビュー画像を生成するトップビュー画像生成部と、前記トップビュー画像生成部で生成されたトップビュー画像を含めた表示画像を生成する表示画像生成部と、前記表示画像生成部で生成された表示画像を表示する表示装置と、を備えた車両周辺画像表示装置等にある。
この発明では、画像信号入力部に入力された周辺画像において、欠落した画像部分を履歴記憶部で記憶された画像で補填し、補填された画像と画像信号入力部に入力された周辺画像を合成し、合成された周辺画像からトップビュー画像を生成して表示装置に表示することで、駐車操作時の駐車枠と自車両のずれを運転者によりわかり易く認識させる車両周辺画像表示装置および車両周辺画像表示方法を提供できる。
この発明は、駐車操作時の駐車枠と自車両のずれを運転者にわかり易く認識させる車両周辺画像表示装置および車両周辺画像表示方法を提供する。
例えば、運転者が駐車場における駐車操作時に左右の側方ビデオカメラおよび前後のビデオカメラからの映像から得られるトップビュー等の画像により自車両と駐車枠がどの程度傾いているかを、運転者は画像から容易に理解できるようにする。
また、駐車操作の際に運転者からの死角領域はリアルタイムで変わっていくので、ビデオカメラ画像だけではなくトップビュー画像等を利用することにより、視覚的に駐車枠と自車両との傾きのずれがわかり易いようにする。
例えば、運転者が駐車場における駐車操作時に左右の側方ビデオカメラおよび前後のビデオカメラからの映像から得られるトップビュー等の画像により自車両と駐車枠がどの程度傾いているかを、運転者は画像から容易に理解できるようにする。
また、駐車操作の際に運転者からの死角領域はリアルタイムで変わっていくので、ビデオカメラ画像だけではなくトップビュー画像等を利用することにより、視覚的に駐車枠と自車両との傾きのずれがわかり易いようにする。
さらにまた、トップビュー画像および各ビデオカメラの画像において自車両の画像により路面の状態が認識し難くなるのを、自車両部分の画像を透過させ、路面の画像を重畳させることにより、運転者に運転者からの死角になっている部分を認識し易くする。
以下、この発明による車両周辺画像表示装置および車両周辺画像表示方法を各実施の形態に従って図面を用いて説明する。なお、各実施の形態において、同一もしくは相当部分は同一符号で示し、また重複する説明は省略する。
図1はこの発明による車両周辺画像表示装置の構成の一例を示すブロック図である。この発明では、自車両の前方に前方ビデオカメラ2FO、左右の側方に側方ビデオカメラ2LE,2RI、後方に後方ビデオカメラ2REを取り付ける。前方ビデオカメラ2FOは、自車両の前方の予め定められた設定角度範囲を撮影できる場所に取り付ける。側方ビデオカメラ2LE,2RIは、一般的な駐車場の通路から左右の枠線が視認できる左右の予め定められた設定角度範囲が撮像できる位置に取り付ける。後方ビデオカメラ2REは、後方の予め定められた設定角度範囲が撮像できる位置に取り付ける。各ビデオカメラ2FO、2LE,2RI,2REの自車両100での取付け位置の例を図2に示す。上述の撮像設定角度範囲を満たす場所であれば、図2に示す位置以外にビデオカメラを取り付けても問題ない。
各ビデオカメラ2FO、2LE,2RI,2REはそれぞれ撮像機器を構成する。
各ビデオカメラ2FO、2LE,2RI,2REはそれぞれ撮像機器を構成する。
図1の画像生成表示制御部30は、各ビデオカメラ2FO、2LE,2RIおよび2REからの自車両の周辺画像を入力する。そして周辺画像に予め定められた処理を施して、駐車操作時の駐車枠と自車両のずれを運転者によりわかり易く認識させる表示を、表示装置を構成する表示モニタ6に表示させる。画像生成表示制御部30は画像生成表示処理部10および画像表示制御入力部21を備える。
画像生成表示処理部10は、画像信号入力部11、停車位置路面画像抽出部12、枠線輪留め検出部13、画像補填処理部14、トップビュー画像生成部15、表示画像生成部16、画像透過処理部17、駐車状態検出部18、および履歴記憶部20を含む。
画像表示制御入力部21は、装置外部から以下の信号を入力する。
H/I(ヒューマンインターフェース)7を運転者が操作することによって入力される表示切替指令等を入力する。
また、自車両の速度、ハンドル舵角、ギア情報、サイドブレーキ情報等を含む車両情報CAIを入力する。
画像生成表示処理部10は、画像信号入力部11、停車位置路面画像抽出部12、枠線輪留め検出部13、画像補填処理部14、トップビュー画像生成部15、表示画像生成部16、画像透過処理部17、駐車状態検出部18、および履歴記憶部20を含む。
画像表示制御入力部21は、装置外部から以下の信号を入力する。
H/I(ヒューマンインターフェース)7を運転者が操作することによって入力される表示切替指令等を入力する。
また、自車両の速度、ハンドル舵角、ギア情報、サイドブレーキ情報等を含む車両情報CAIを入力する。
この発明における車両周辺画像表示装置の処理について説明する。
まず、駐車場内において駐車する場所を探す際、側方ビデオカメラ2LE,2RIによって駐車枠部分の撮影を行う。撮影された自車両の周辺画像の画像信号は画像信号入力部11により入力される。入力された画像信号はビデオカメラごとに周辺画像として履歴記憶部20に保管される。撮影は自車両が駐車枠に完全停車するまで続ける。履歴記憶部20に保管された周辺画像は、撮影した駐車枠、より詳細には駐車枠の枠線および輪留めの少なくとも一方、および路面の映像を含み、過去の設定された期間の間の画像データが常に保管されるようにして更新される。
まず、駐車場内において駐車する場所を探す際、側方ビデオカメラ2LE,2RIによって駐車枠部分の撮影を行う。撮影された自車両の周辺画像の画像信号は画像信号入力部11により入力される。入力された画像信号はビデオカメラごとに周辺画像として履歴記憶部20に保管される。撮影は自車両が駐車枠に完全停車するまで続ける。履歴記憶部20に保管された周辺画像は、撮影した駐車枠、より詳細には駐車枠の枠線および輪留めの少なくとも一方、および路面の映像を含み、過去の設定された期間の間の画像データが常に保管されるようにして更新される。
表示モニタ6には画像生成表示処理部10の制御により、自車両の天頂部から見たトップビュー画像および各ビデオカメラ2FO、2LE,2RI,2REの周辺画像が表示される。トップビュー画像はトップビュー画像生成部15により生成される。表示モニタ6の表示形態は、運転者がH/I7を操作することによって入力される表示切替指令によって変更可能である。駐車操作時には画像補填処理部14および画像透過処理部17等により画像に補填処理、透過処理が施され、自車両部分が透けた状態に透過して表示される。駐車操作時以外では自車両部分は透過せずに表示される。
枠線輪留め検出部13は撮影された画像から、自車両の駐車しようとする駐車枠を決めるために駐車枠の枠線および輪留めを検出する。枠線および輪留めがなければ駐車する方向に位置する図6にWで示す壁等の障害物を検知する。
表示画像生成部16は、入力される自車両の車両情報CAIおよび表示切替指令、画像生成表示処理部10における処理状態に従って、トップビュー画像および各ビデオカメラの画像、さらにそれぞれの補填処理、透過処理が施された画像を切り替えたり、または合成して表示モニタ6に表示させる表示画像を生成する。枠線輪留め検出部13で駐車枠と判断されるものを検知した場合は、表示画像生成部16は、トップビュー画像および各ビデオカメラの画像を表示する際に、ビデオカメラの画像の駐車枠の部分に枠線検知の表示を行う。
表示画像生成部16は、入力される自車両の車両情報CAIおよび表示切替指令、画像生成表示処理部10における処理状態に従って、トップビュー画像および各ビデオカメラの画像、さらにそれぞれの補填処理、透過処理が施された画像を切り替えたり、または合成して表示モニタ6に表示させる表示画像を生成する。枠線輪留め検出部13で駐車枠と判断されるものを検知した場合は、表示画像生成部16は、トップビュー画像および各ビデオカメラの画像を表示する際に、ビデオカメラの画像の駐車枠の部分に枠線検知の表示を行う。
駐車状態検出部18は、自車両が駐車操作時かどうかを判断する。駐車状態検出部18は、前向き並列駐車の場合は、前方ビデオカメラ2FOに映った駐車枠の枠線と自車両の位置が予め定められた閾値以下の距離まで縮まった時に自車両が駐車操作状態にあると判断する。後ろ向き並列駐車時は、車両情報CAIが「R」で示されるバックのギアに入れたことを示す時、自車両が駐車操作状態にあると判断する。
縦列駐車の場合は、駐車状態検出部18は、後ろ向き並列駐車時と同じく車両情報CAIがバック「R」のギアに入れたことを示す時に自車両が駐車操作状態にあると判断する。後ろ向き並列駐車時と縦列駐車時の処理は表示モニタ6に表示する映像以外は同じである。
また駐車状態検出部18は、枠線輪留め検出部13で駐車枠が検出されると、撮影された画像から、自車両と駐車しようとする駐車枠の枠線または輪留めとの距離を求める。各ビデオカメラの画像は常に度更新されているので、1フレーム前の画像と現在の画像から、自車両が駐車枠に向かっていると判断された際に駐車操作状態にあると判断する。
縦列駐車の場合は、駐車状態検出部18は、後ろ向き並列駐車時と同じく車両情報CAIがバック「R」のギアに入れたことを示す時に自車両が駐車操作状態にあると判断する。後ろ向き並列駐車時と縦列駐車時の処理は表示モニタ6に表示する映像以外は同じである。
また駐車状態検出部18は、枠線輪留め検出部13で駐車枠が検出されると、撮影された画像から、自車両と駐車しようとする駐車枠の枠線または輪留めとの距離を求める。各ビデオカメラの画像は常に度更新されているので、1フレーム前の画像と現在の画像から、自車両が駐車枠に向かっていると判断された際に駐車操作状態にあると判断する。
駐車操作に移行した場合、後述する図8,14に例示するように、表示画像生成部16により、各ビデオカメラの画像には自車両の車輪の位置100aがリアルタイムで重畳表示、更新される。これは各ビデオカメラ生画像、各ビデオカメラ鳥瞰図画像、トップビュー画像それぞれで重畳表示される。
また、この発明の車両周辺画像表示装置は駐車操作時に前方ビデオカメラ2FOまたは後方ビデオカメラ2REでの輪留めを検知する機能を有する。駐車状態検出部18は、自車両から後述する図4に例示した輪留めSTPまでの距離、角度を計算する。そして自車両の車体等で遮られて肉眼およびビデオカメラでも見えなくなった場合に、画像透過処理部17で自車両を透過して見えるようにし、表示画像生成部16により表示画像を生成し、輪止めの位置を運転者が確認できるようにする。
駐車操作時の各ビデオカメラでの周辺画像およびトップビュー画像の表示の際にも、枠線輪留め検出部13による枠線、輪留めの検知は行っており、表示画像生成部16は枠線、輪留めの検知の結果を表示モニタ6の画面に表示する。そして、駐車操作時には、その枠線または輪留めと車両情報CAIから得られる自車両のタイヤの向きおよびハンドル舵角から、自車両と枠線のずれを画面に表示する。
これにより、駐車枠と自車両の傾き具合を運転者が認知できるため、駐車操作時の切り返し等の回数が減り、運転者の負担が少なくなる。
これにより、駐車枠と自車両の傾き具合を運転者が認知できるため、駐車操作時の切り返し等の回数が減り、運転者の負担が少なくなる。
以下、この発明による各実施の形態における駐車操作時の車両周辺画像表示装置の基本的動作を説明する。
実施の形態1.
後ろ向き駐車操作時の場合
図3はこの発明の実施の形態1における後ろ向き並列駐車操作時、および実施の形態3における縦列駐車操作時の動作フローチャートである。また図4は、実施の形態1における後ろ向き並列駐車操作を行う際の自車両周囲の模式図である。図4において100が自車両、101Rが自車両の進行方向、102REが後方ビデオカメラ2REの撮影範囲、110が駐車している他車両、120が駐車枠および枠線を示す。
後ろ向き駐車操作時の場合
図3はこの発明の実施の形態1における後ろ向き並列駐車操作時、および実施の形態3における縦列駐車操作時の動作フローチャートである。また図4は、実施の形態1における後ろ向き並列駐車操作を行う際の自車両周囲の模式図である。図4において100が自車両、101Rが自車両の進行方向、102REが後方ビデオカメラ2REの撮影範囲、110が駐車している他車両、120が駐車枠および枠線を示す。
図3に従って、画像生成表示処理部10において、車両情報CAIからの自車両100の車速が例えば20km/h以下で、側方ビデオカメラ2LE,2RIの画像に他車が複数並んでいれば(ステップS1)、枠線輪留め検出部13による駐車枠検出状態となる(ステップS2)。
表示画像生成部16は、表示モニタ6にトップビュー画像または各ビデオカメラ画像を表示する(ステップS3)。この表示モニタ6の表示形式は運転者がH/I7により随時変更可能である。
履歴記憶部20は各ビデオカメラ2FO、2LE,2RIおよび2REの画像を随時保管する(ステップS4)。
表示画像生成部16は、表示モニタ6にトップビュー画像または各ビデオカメラ画像を表示する(ステップS3)。この表示モニタ6の表示形式は運転者がH/I7により随時変更可能である。
履歴記憶部20は各ビデオカメラ2FO、2LE,2RIおよび2REの画像を随時保管する(ステップS4)。
駐車状態検出部18は、後ろ向き駐車操作時の場合、自車両が駐車操作時にギアをバックギア「R」に入れるのを検知し(ステップS5)、駐車操作モードに移行する(ステップS6)。
そして表示画像生成部16およびトップビュー画像生成部15より、駐車操作モード時の表示モニタ6の画面は基本的にはトップビュー画像で表示される。そして、停車位置路面画像抽出部12、画像補填処理部14、および画像透過処理部17により、自車両部分が透過されて自車両の下側の路面部分が透けて見える表示が行われる。これにより運転者は、自車両の下の路面部分が確認できるようになる。この際、履歴記憶部20の画像と現状のビデオカメラの画像を組み合わせトップビュー画像での透過表示を行う(ステップS7)。画像は運転者が任意に変更することができる。また、各ビデオカメラ2FO、2LE,2RIおよび2REの画像も同様に透過処理を行って表示される(ステップS8)。
そして表示画像生成部16およびトップビュー画像生成部15より、駐車操作モード時の表示モニタ6の画面は基本的にはトップビュー画像で表示される。そして、停車位置路面画像抽出部12、画像補填処理部14、および画像透過処理部17により、自車両部分が透過されて自車両の下側の路面部分が透けて見える表示が行われる。これにより運転者は、自車両の下の路面部分が確認できるようになる。この際、履歴記憶部20の画像と現状のビデオカメラの画像を組み合わせトップビュー画像での透過表示を行う(ステップS7)。画像は運転者が任意に変更することができる。また、各ビデオカメラ2FO、2LE,2RIおよび2REの画像も同様に透過処理を行って表示される(ステップS8)。
表示モニタ6に表示される画像は例えば、「トップビュー画像」→「後方ビデオカメラ鳥瞰図画像」→「後方ビデオカメラ生画像」と、H/I7の操作により運転者が任意に変更できる。トップビュー画像と後方ビデオカメラ鳥瞰図画像は、自車両の部分を透過画像にすることで、自車両で遮られた路面部分が自車両を透過して見えるように表示する。
そして駐車操作が完了して、自車両のギアがパーキングギア「P」となり、サイドブレーキがかかると、駐車状態検出部18は駐車操作完了と判断する(ステップS9)。
図5はこの発明の実施の形態1における後ろ向き並列駐車操作時のトップビュー画像の一例を示す図である。図6はこの発明の実施の形態1における後ろ向き並列駐車操作時のトップビュー画像で駐車枠部分が透けている様子を示す図である。自車両100の部分が透過されており、図6では自車両100の部分で下の枠線120が透けて見えるように表示されている。
図7はこの発明の実施の形態1における駐車モード時でない後方ビデオカメラの撮影画像の表示画像の一例を示す図である。図8はこの発明の実施の形態1における駐車モード時の後方ビデオカメラの撮影画像の表示画像の一例を示す図である。図7の画像の上下部分IVは自車両で見えなくなっている。後ろ向き並列駐車操作時の空いている駐車枠の様子が見えない。これに対して図8では、画像の上下部分PEが透過表示され、空いている駐車枠の枠線120が見易くなっている。また表示画像生成部16は、自車両の車輪の位置100aを表示してもよい。
実施の形態2.
前向き駐車操作時の場合
図9はこの発明の実施の形態2における前向き並列駐車操作時の動作フローチャートである。また図10は実施の形態2における前向き並列駐車操作を行う際の自車両周囲の模式図である。図10において100が自車両、101Fが自車両の進行方向、102FOが前方ビデオカメラ2FOの撮影範囲、110が駐車している他車両、120が駐車枠および枠線を示す。
前向き駐車操作時の場合、図9のステップS5aにおいて、駐車状態検出部18は、自車両100と駐車枠の枠線120の距離が予め定められた閾値以下の距離まで縮まった場合に駐車モードに移行する。そして、駐車モードのときの表示モニタ6の画面表示は後ろ向き駐車操作時と同じく基本的にトップビュー画像で表示され、自車両100の部分が透過されて路面部分が透けて見える表示が行われ、自車両の下の路面部分が確認できるようになる。
前向き駐車操作時の場合
図9はこの発明の実施の形態2における前向き並列駐車操作時の動作フローチャートである。また図10は実施の形態2における前向き並列駐車操作を行う際の自車両周囲の模式図である。図10において100が自車両、101Fが自車両の進行方向、102FOが前方ビデオカメラ2FOの撮影範囲、110が駐車している他車両、120が駐車枠および枠線を示す。
前向き駐車操作時の場合、図9のステップS5aにおいて、駐車状態検出部18は、自車両100と駐車枠の枠線120の距離が予め定められた閾値以下の距離まで縮まった場合に駐車モードに移行する。そして、駐車モードのときの表示モニタ6の画面表示は後ろ向き駐車操作時と同じく基本的にトップビュー画像で表示され、自車両100の部分が透過されて路面部分が透けて見える表示が行われ、自車両の下の路面部分が確認できるようになる。
図11はこの発明の実施の形態2における前向き並列駐車操作時のトップビュー画像の一例を示す図である。図12はこの発明の実施の形態2における前向き並列駐車操作時のトップビュー画像で駐車枠部分が透けている様子を示す図である。自車両100の部分が透過されており、図12では自車両100の部分で下の枠線120が透けて見えるように表示されている。
図13はこの発明の実施の形態2における駐車モード時でない前方ビデオカメラ2FOの撮影画像の表示画像の一例を示す図である。図14はこの発明の実施の形態2における駐車モード時の前方ビデオカメラの撮影画像の表示画像の一例を示す図である。図13の画像の下部分IVは自車両で見えなくなっている。前向き並列駐車操作時の空いている駐車枠の様子が見えない。これに対して図14では、画像の下部分PEが透過表示され、空いている駐車枠の枠線120が見易くなっている。また表示画像生成部16は、自車両の車輪の位置100aを表示してもよい。
実施の形態3.
縦列駐車操作時の場合
この発明の実施の形態3における縦列駐車操作時の動作フローチャートは図3と同じである。また図15はこの発明の実施の形態3における縦列駐車操作を行う際の自車両周囲の模式図である。図15において100が自車両、101Rが自車両の進行方向、102REが後方ビデオカメラ2REの撮影範囲、102LEが右側の側方ビデオカメラ2LEの撮影範囲、110が駐車している他車両、120が駐車枠および枠線を示す。
縦列駐車操作の場合、実施の形態1の後ろ向き駐車操作時と同じく、駐車状態検出部18は、ステップS5で自車両が駐車操作時にギアをバックギア「R」に入れるのを検知し、駐車操作モードに移行する。
縦列駐車操作時の場合
この発明の実施の形態3における縦列駐車操作時の動作フローチャートは図3と同じである。また図15はこの発明の実施の形態3における縦列駐車操作を行う際の自車両周囲の模式図である。図15において100が自車両、101Rが自車両の進行方向、102REが後方ビデオカメラ2REの撮影範囲、102LEが右側の側方ビデオカメラ2LEの撮影範囲、110が駐車している他車両、120が駐車枠および枠線を示す。
縦列駐車操作の場合、実施の形態1の後ろ向き駐車操作時と同じく、駐車状態検出部18は、ステップS5で自車両が駐車操作時にギアをバックギア「R」に入れるのを検知し、駐車操作モードに移行する。
表示画像生成部16による表示モニタ6に表示する画像は、後ろ向き駐車操作時の画像に加え、側方ビデオカメラ2LE,2RIの画像が追加されて表示される。これは、縦列駐車操作時の後退時に前の車両との距離間がわからず、ぶつかってしまう可能性があることに対処のため、側方ビデオカメラ2LE,2RIの画像も流す。
側方ビデオカメラ2LE,2RIの画像を流す場合、表示画像生成部16により、側方ビデオカメラ2LE,2RIの画像を運転者から見て認識し易い角度に変換する処理を行う。角度変換処理により、側方ビデオカメラの画像を一見した際に自車両と相手車との距離、角度および位置の状況が理解し易くなり、駐車の難易度が下がる。
図16はこの発明の実施の形態3における縦列駐車操作時のトップビュー画像の一例を示す図である。図17はこの発明の実施の形態3における縦列駐車操作時のトップビュー画像で駐車枠部分が透けている様子を示す図である。自車両100の部分が透過されており、図17では自車両100の部分で下の枠線120が透けて見えるように表示されている。
図18はこの発明の実施の形態3における駐車モード時でない側方ビデオカメラの撮影画像の表示画像の一例を示す図である。図19はこの発明の実施の形態3における駐車モード時の側方ビデオカメラの撮影画像の表示画像の一例を示す図である。図18の画像の下部分IVは自車両で見えなくなっている。縦列駐車操作時の空いている駐車枠の様子が見えない。これに対して図19では、画像の下部分PEが透過表示され、空いている駐車枠の枠線120が見易くなっている。
この発明では以上の実施の形態により、周辺監視用のビデオカメラにおける鳥瞰図画像等からなるトップビュー画像および各ビデオカメラ画像において、ビデオカメラの画像内に映った自車両部分で死角となる路面の枠線および自車両の下の状況を、自車両部分を透過処理し透過処理した部分をビデオカメラ画像で補填して重畳させて表示することにより、運転者に自車両と駐車枠周りの状態を認知し易くさせ、自車両の駐車操作時に枠線と自車両の位置のずれをなくせるようにする車両周辺画像表示装置および車両周辺画像表示方法を提供できる。
撮影機器を構成するそれぞれのビデオカメラ2FO、2LE,2RI,2REは、駐車場における自車両の周辺を撮影する。画像信号入力部11は、複数の撮影機器2で撮影される自車両の周辺画像の画像信号を継続して入力する。履歴記憶部20は、画像信号入力部11に入力された画像信号を撮影機器2ごとに周辺画像として記憶する。画像補填処理部14は、画像信号入力部11に入力された周辺画像において、欠落した画像部分を履歴記憶部20で記憶された画像で補填し、補填された画像と画像信号入力部11に入力された周辺画像を合成する。トップビュー画像生成部15は、合成された周辺画像から自車両の天頂部から見たトップビュー画像を生成する。表示画像生成部16は、トップビュー画像生成部15で生成されたトップビュー画像を含めた表示画像を生成する。そして表示モニタ6は、表示画像生成部16で生成された表示画像を表示する。
また、画像補填処理部14で補填される画像部分は駐車枠の枠線または輪止めが含まれる部分であり、画像透過処理部17は、駐車操作時に補填された画像部分を駐車枠の枠線または輪止めが透けて見えるように画像を透過処理する。
ここでトップビュー画像の場合を例に挙げる地と、画像補填処理部14は、画像信号入力部11に入力された周辺画像において、欠落した例えば図6に示した周辺画像の中心の自車両100の部分の画像を履歴記憶部20で記憶された以前の画像で補填する。そし、補填された画像と画像信号入力部11に入力された周辺画像を合成する。トップビュー画像生成部15は、合成された周辺画像からトップビュー画像を生成する。そして画像透過処理部17は、補填された画像部分を駐車枠の枠線または輪止めが透けて見えるように画像を透過処理する。すなわち、図6に示した、自車両100の部分の周囲の輪郭100eは残して内側部分に、補填して得られた自車両の下側の駐車枠の枠線120等を含む路面部分が透けて見えるように透過処理を行う。これにより運転者は、表示モニタ6の画面表示から自車両100と枠線120の傾きが確認できるようになる。
また、枠線輪留め検出部13は撮影された画像から、自車両の駐車しようとする駐車枠を決めるために駐車枠の枠線または輪留めを検出すると、駐車状態検出部18が、撮影された画像から、自車両と駐車しようとする駐車枠の枠線または輪留めとの距離を求める。これにより表示画像生成部16は、自車両と前記駐車枠の枠線または輪留めとの距離を含めて表示画像を生成する。
また、停車位置路面画像抽出部12は、枠線輪留め検出部13および駐車状態検出部18の検出結果に基づいて、撮影された画像から、駐車しようとする駐車枠の路面の画像を抽出する。
また、停車位置路面画像抽出部12は、枠線輪留め検出部13および駐車状態検出部18の検出結果に基づいて、撮影された画像から、駐車しようとする駐車枠の路面の画像を抽出する。
また、停車位置路面画像抽出部12の抽出画像により、画像補填処理部14で補填処理が行われ、画像透過処理部17で透過処理が行われ、表示画像生成部16では、駐車しようとする駐車枠の路面の画像で補填および透過処理されたトップビュー画像または複数の撮影機器2で撮影された周辺画像による表示画像の生成を行う。
履歴記憶部20は、複数の撮影機器2の撮影された周辺画像を履歴として保存し、枠線輪留め検出部13が、履歴記憶部20の周辺画像から自車両の駐車しようとする駐車枠の枠線または輪留めを検出する。
枠線輪留め検出部13は、自車両が駐車しようとする駐車枠を探す際、複数の撮影機器2で撮影される各方向の周辺画像の中の駐車枠と、自車両のハンドル舵角と、ギア情報と、駐車枠に自車両の幅以上のスペースがあることを検出して駐車の目標となる枠線を検出し、さらに駐車枠内の輪留め、または輪留めがなければ駐車する方向に位置する障害物を検出する。
複数の撮影機器2は、自車両の前後左右に取り付けたビデオカメラで構成される。
複数の撮影機器2は、自車両の前後左右に取り付けたビデオカメラで構成される。
なお上記各実施の形態において、図1に示された各機能ブロックで示された画像生成表示制御部30は、別々の制御回路で構成してもよく、また1つの制御回路でまとめて構成してもよい。
この点に関し、これらの機能を実現する処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSPともいう)であっても構成可能である。
この点に関し、これらの機能を実現する処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSPともいう)であっても構成可能である。
図20の(a)はこれらの機能をハードウェアで構成した場合、(b)はソフトウェアで構成した場合の、ハードウェア構成を概略的に示す。
上記各部の機能を図20の(a)に示すハードウェアで構成した場合、処理回路1000は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、またはこれらを組み合わせたものが該当する。上記各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて処理回路で実現してもよい。
上記各部の機能を図20の(a)に示すハードウェアで構成した場合、処理回路1000は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGA、またはこれらを組み合わせたものが該当する。上記各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて処理回路で実現してもよい。
上記各部の機能を図20の(b)に示すCPUで構成した場合、上記各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ2100に格納される。処理回路であるプロセッサ2000は、メモリ2100に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。これらのプログラムは、上記各部の手順および方法をコンピュータに実行させるものであるともいえる。ここで、メモリ2100とは、例えば、RAM、ROM、フラッシュメモリー、EPROM、およびEEPROM等の、不揮発性または揮発性の半導体メモリ、または磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、およびDVD等が該当する。
なお、上記各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
また処理に必要な各種情報は、ハードウェア構成の場合は回路に予め設定され、またソフトウェア構成の場合にはメモリに予め記憶させておく。
また処理に必要な各種情報は、ハードウェア構成の場合は回路に予め設定され、またソフトウェア構成の場合にはメモリに予め記憶させておく。
この発明による車両周辺画像表示装置および車両周辺画像表示方法は種々の分野、種々の形態の車両に適用可能である。
2FO 前方ビデオカメラ、2RE 後方ビデオカメラ、2LE,2RI 側方ビデオカメラ、6 表示モニタ、7 H/I(ヒューマンインターフェース)、10 画像生成表示処理部、11 画像信号入力部、12 停車位置路面画像抽出部、13 枠線輪留め検出部、14 画像補填処理部、15 トップビュー画像生成部、16 表示画像生成部、17 画像透過処理部、18 駐車状態検出部、20 履歴記憶部、21 画像表示制御入力部、30 画像生成表示制御部、100 自車両、120 枠線(駐車枠)、1000 処理回路、2000 プロセッサ、2100 メモリ。
Claims (9)
- 駐車場における自車両の周辺を撮影する複数の撮影機器と、
前記複数の撮影機器で撮影される前記自車両の周辺画像の画像信号を継続して入力する画像信号入力部と、
前記画像信号入力部に入力された画像信号を前記撮影機器ごとに周辺画像として記憶する履歴記憶部と、
前記画像信号入力部に入力された周辺画像において、欠落した画像部分を前記履歴記憶部で記憶された画像で補填し、補填された画像と前記画像信号入力部に入力された周辺画像を合成する画像補填処理部と、
前記合成された周辺画像から前記自車両の天頂部から見たトップビュー画像を生成するトップビュー画像生成部と、
前記トップビュー画像生成部で生成されたトップビュー画像を含めた表示画像を生成する表示画像生成部と、
前記表示画像生成部で生成された表示画像を表示する表示装置と、
を備えた車両周辺画像表示装置。 - 前記画像補填処理部で補填される画像部分が駐車枠の枠線または輪止めが含まれる部分であり、駐車操作時に補填された画像部分を駐車枠の枠線または輪止めが透けて見えるように画像を透過処理する画像透過処理部を備えた、請求項1に記載の車両周辺画像表示装置。
- 撮影された画像から、自車両の駐車しようとする駐車枠を決めるために駐車枠の枠線または輪留めを検出する枠線輪留め検出部と、
撮影された画像から、自車両と駐車しようとする駐車枠の枠線または輪留めとの距離を求める駐車状態検出部と、
を備え、
前記表示画像生成部が、自車両と前記駐車枠の枠線または輪留めとの距離を含めて表示画像を生成する、
請求項2に記載の車両周辺画像表示装置。 - 前記枠線輪留め検出部および前記駐車状態検出部の検出結果に基づいて、撮影された画像から、駐車しようとする駐車枠の路面の画像を抽出する停車位置路面画像抽出部を備えた、請求項3に記載の車両周辺画像表示装置。
- 前記停車位置路面画像抽出部の抽出画像により、前記画像補填処理部で補填処理が行われ、前記画像透過処理部で透過処理が行われ、
前記表示画像生成部で、駐車しようとする駐車枠の路面の画像で補填および透過処理された前記トップビュー画像または前記複数の撮影機器で撮影された周辺画像による表示画像の生成が行われる、
請求項4に記載の車両周辺画像表示装置。 - 前記履歴記憶部は、前記複数の撮影機器の撮影された周辺画像を履歴として保存し、
前記枠線輪留め検出部が、前記履歴記憶部の周辺画像から自車両の駐車しようとする駐車枠の枠線または輪留めを検出する、請求項3から5までのいずれか1項に記載の車両周辺画像表示装置。 - 前記枠線輪留め検出部が、自車両が駐車しようとする駐車枠を探す際、前記複数の撮影機器で撮影される各方向の周辺画像の中の駐車枠と、自車両のハンドル舵角と、ギア情報と、駐車枠に自車両の幅以上のスペースがあることを検出して駐車の目標となる枠線を検出し、さらに駐車枠内の輪留め、または輪留めがなければ駐車する方向に位置する障害物を検出する、
請求項3から6までのいずれか1項に記載の車両周辺画像表示装置。 - 前記複数の撮影機器は、自車両の前後左右に取り付けたビデオカメラで構成される、請求項1から7までのいずれか1項に記載の車両周辺画像表示装置。
- 複数の撮影機器で撮影された駐車場における自車両の周囲画像を継続して入力し、
前記周囲画像を記憶し、
入力された周辺画像において、欠落した画像部分を記憶された画像で補填し、補填された画像と前記入力された周辺画像を合成し、
前記合成された周辺画像から前記自車両の天頂部から見たトップビュー画像を生成し、
前記トップビュー画像を含めた表示画像を生成し、
生成された表示画像を表示する、
ことを備えた、車両周辺画像表示方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201780093252.5A CN110945866B (zh) | 2017-08-03 | 2017-08-03 | 车辆周边图像显示装置及车辆周边图像显示方法 |
PCT/JP2017/028273 WO2019026246A1 (ja) | 2017-08-03 | 2017-08-03 | 車両周辺画像表示装置および車両周辺画像表示方法 |
DE112017007812.1T DE112017007812T5 (de) | 2017-08-03 | 2017-08-03 | Fahrzeugperipheriebildanzeigevorrichtung und Fahrzeugperipheriebildanzeigeverfahren |
US16/626,160 US10960820B2 (en) | 2017-08-03 | 2017-08-03 | Vehicle periphery image display device and vehicle periphery image display method |
JP2019533832A JP6741364B2 (ja) | 2017-08-03 | 2017-08-03 | 車両周辺画像表示装置および車両周辺画像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/028273 WO2019026246A1 (ja) | 2017-08-03 | 2017-08-03 | 車両周辺画像表示装置および車両周辺画像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019026246A1 true WO2019026246A1 (ja) | 2019-02-07 |
Family
ID=65233588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/028273 WO2019026246A1 (ja) | 2017-08-03 | 2017-08-03 | 車両周辺画像表示装置および車両周辺画像表示方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10960820B2 (ja) |
JP (1) | JP6741364B2 (ja) |
CN (1) | CN110945866B (ja) |
DE (1) | DE112017007812T5 (ja) |
WO (1) | WO2019026246A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7203617B2 (ja) * | 2019-01-28 | 2023-01-13 | 日立Astemo株式会社 | 操舵制御装置、および、操舵制御方法 |
JP7018923B2 (ja) * | 2019-12-13 | 2022-02-14 | 本田技研工業株式会社 | 駐車支援装置、駐車支援方法およびプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354467A (ja) * | 2001-05-25 | 2002-12-06 | Nissan Motor Co Ltd | 車両周囲情報表示装置 |
JP2006238131A (ja) * | 2005-02-25 | 2006-09-07 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
JP2006279752A (ja) * | 2005-03-30 | 2006-10-12 | Denso Corp | 車両直下画像表示制御装置および車両直下画像表示制御プログラム |
JP2006311151A (ja) * | 2005-04-27 | 2006-11-09 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007090939A (ja) * | 2005-09-27 | 2007-04-12 | Clarion Co Ltd | 駐車支援装置 |
JP2011066657A (ja) * | 2009-09-17 | 2011-03-31 | Suzuki Motor Corp | 後方画像表示切替装置及び方法 |
JP2012096585A (ja) * | 2010-10-29 | 2012-05-24 | Suzuki Motor Corp | 駐車支援装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5134504B2 (ja) | 1973-01-16 | 1976-09-27 | ||
JP3883529B2 (ja) * | 2003-08-28 | 2007-02-21 | アイシン精機株式会社 | 車両後退支援装置 |
JP4815993B2 (ja) * | 2005-10-19 | 2011-11-16 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
JP4863791B2 (ja) * | 2006-07-05 | 2012-01-25 | アルパイン株式会社 | 車両周辺画像生成装置および画像切替方法 |
JP5134504B2 (ja) | 2008-11-06 | 2013-01-30 | クラリオン株式会社 | 車両周辺監視システム |
JP5071743B2 (ja) * | 2010-01-19 | 2012-11-14 | アイシン精機株式会社 | 車両周辺監視装置 |
KR101439052B1 (ko) * | 2013-09-05 | 2014-09-05 | 현대자동차주식회사 | 장애물 검출 장치 및 방법 |
JP6375633B2 (ja) | 2014-02-12 | 2018-08-22 | 株式会社デンソー | 車両周辺画像表示装置、車両周辺画像表示方法 |
JP5995931B2 (ja) * | 2014-09-12 | 2016-09-21 | アイシン精機株式会社 | 駐車支援装置、駐車支援方法及び制御プログラム |
-
2017
- 2017-08-03 JP JP2019533832A patent/JP6741364B2/ja active Active
- 2017-08-03 CN CN201780093252.5A patent/CN110945866B/zh active Active
- 2017-08-03 WO PCT/JP2017/028273 patent/WO2019026246A1/ja active Application Filing
- 2017-08-03 DE DE112017007812.1T patent/DE112017007812T5/de active Pending
- 2017-08-03 US US16/626,160 patent/US10960820B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002354467A (ja) * | 2001-05-25 | 2002-12-06 | Nissan Motor Co Ltd | 車両周囲情報表示装置 |
JP2006238131A (ja) * | 2005-02-25 | 2006-09-07 | Aisin Seiki Co Ltd | 車両周辺監視装置 |
JP2006279752A (ja) * | 2005-03-30 | 2006-10-12 | Denso Corp | 車両直下画像表示制御装置および車両直下画像表示制御プログラム |
JP2006311151A (ja) * | 2005-04-27 | 2006-11-09 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
JP2007090939A (ja) * | 2005-09-27 | 2007-04-12 | Clarion Co Ltd | 駐車支援装置 |
JP2011066657A (ja) * | 2009-09-17 | 2011-03-31 | Suzuki Motor Corp | 後方画像表示切替装置及び方法 |
JP2012096585A (ja) * | 2010-10-29 | 2012-05-24 | Suzuki Motor Corp | 駐車支援装置 |
Also Published As
Publication number | Publication date |
---|---|
US10960820B2 (en) | 2021-03-30 |
CN110945866B (zh) | 2021-07-27 |
CN110945866A (zh) | 2020-03-31 |
US20200215977A1 (en) | 2020-07-09 |
JP6741364B2 (ja) | 2020-08-19 |
DE112017007812T5 (de) | 2020-04-16 |
JPWO2019026246A1 (ja) | 2019-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10899277B2 (en) | Vehicular vision system with reduced distortion display | |
US11472338B2 (en) | Method for displaying reduced distortion video images via a vehicular vision system | |
US11610410B2 (en) | Vehicular vision system with object detection | |
JP5099451B2 (ja) | 車両周辺確認装置 | |
US10558221B2 (en) | Method for assisting in a parking operation for a motor vehicle, driver assistance system and a motor vehicle | |
JP2008227646A (ja) | 障害物検知装置 | |
JP6014433B2 (ja) | 画像処理装置、画像処理方法、及び、画像処理システム | |
JP2009083764A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP6477562B2 (ja) | 情報処理装置 | |
JP2010184604A (ja) | 車両周辺表示装置 | |
JP7426174B2 (ja) | 車両周囲画像表示システム及び車両周囲画像表示方法 | |
JP2017159687A (ja) | 駐車領域表示システム及びそれを用いた自動駐車システム | |
US11820300B2 (en) | Image generation device, camera, display system, and vehicle | |
WO2019026246A1 (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
KR101664297B1 (ko) | 차량용 어라운드 뷰 모니터링 시스템 및 그 방법 | |
KR101704201B1 (ko) | 파노라마 뷰 가변 시스템 및 이의 제어방법 | |
JP2012166689A (ja) | 運転支援装置 | |
KR102632361B1 (ko) | 어라운드 뷰 영상 제공 시스템 | |
JP6439233B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
JP6586972B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
KR100882670B1 (ko) | 차량용 장애물 감지 시스템 | |
JP2010128795A (ja) | 障害物検出装置 | |
JP2021051007A (ja) | 一時停止線表示装置 | |
KR101750161B1 (ko) | 관심영역 이미지 패치 관리 시스템 및 방법 | |
KR20150005072A (ko) | 장애물 경고 기능을 구비한 주차 지원 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17920533 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019533832 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17920533 Country of ref document: EP Kind code of ref document: A1 |