WO2020157901A1 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
WO2020157901A1
WO2020157901A1 PCT/JP2019/003339 JP2019003339W WO2020157901A1 WO 2020157901 A1 WO2020157901 A1 WO 2020157901A1 JP 2019003339 W JP2019003339 W JP 2019003339W WO 2020157901 A1 WO2020157901 A1 WO 2020157901A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
rear side
driving support
generated
vehicle
Prior art date
Application number
PCT/JP2019/003339
Other languages
English (en)
French (fr)
Inventor
谷口　琢也
智能 小城戸
成晃 竹原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020569266A priority Critical patent/JP7163418B2/ja
Priority to PCT/JP2019/003339 priority patent/WO2020157901A1/ja
Priority to DE112019006793.1T priority patent/DE112019006793T5/de
Priority to CN201980090174.2A priority patent/CN113329913A/zh
Priority to US17/312,473 priority patent/US11708032B2/en
Publication of WO2020157901A1 publication Critical patent/WO2020157901A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a driving support device.
  • the vehicle is equipped with a side mirror for the driver to monitor the rear side of the vehicle.
  • a side mirror for the driver to monitor the rear side of the vehicle.
  • the driver monitors the conventional side mirror, there is a blind spot on the rear side that cannot be visually recognized by the driver. Therefore, there is a demand for a technique that enables the driver to grasp the situation of the blind spot range, which is a blind spot in the conventional side mirror. Therefore, a technique has been proposed in which a wide-angle camera having a wide display range is used to display a wide area on a display (see, for example, Patent Document 1).
  • the present invention has been made to solve the above-mentioned problems, and while securing the field of view of the conventional side mirror, it is possible to grasp the situation of the blind spot range which is a blind spot in the conventional side mirror.
  • the purpose is to obtain a driving support device that enables it.
  • the driving support device includes a rear side monitoring camera that photographs the rear side of the vehicle, a plurality of peripheral monitoring cameras that respectively photograph the periphery of the vehicle, and a self side image captured by the rear side monitoring camera.
  • a driving assistance ECU that acquires a rear side image that is a rear side image of the vehicle and a peripheral image that is a peripheral image of the vehicle captured by a plurality of peripheral monitoring cameras, and a display device that displays the image.
  • the driving assistance ECU generates an overhead image of the surroundings of the vehicle from the peripheral images acquired from the plurality of peripheral monitoring cameras, and cuts out an image of a clipping range including a blind spot range from the generated overhead image.
  • a cropped bird's-eye view image is generated, and the rear-side image acquired from the rear-side surveillance camera is converted into an image in which the left and right sides are inverted to generate a rear-side converted image, and the generated cropped bird's-eye image,
  • a display device is controlled so that a composite image in which the generated rear side-to-side converted image is arranged is generated, and the display device displays the generated composite image.
  • the present invention it is possible to obtain a driving support device that can grasp the situation of the blind spot range that was a blind spot in the conventional side mirror while securing the field of view of the conventional side mirror.
  • FIG. 3 is a top view showing installation positions of the rear side monitoring camera and the four peripheral monitoring cameras in the own vehicle in the first embodiment of the present invention. It is a figure which shows the blind spot range in Embodiment 1 of this invention. It is a figure which shows the process in which the image processing part in Embodiment 1 of this invention produces
  • 3 is a flowchart showing a series of driving support operations performed by the driving support device in the first embodiment of the present invention. 3 is a flowchart showing a series of detection processes performed by a control unit of the driving assistance ECU according to the first embodiment of the present invention.
  • FIG. 1 is a configuration diagram showing a driving support device according to Embodiment 1 of the present invention.
  • FIG. 2 is a top view showing the installation positions of each of the rear side monitoring camera 10 and the four peripheral monitoring cameras 21 to 24 in the own vehicle in the first embodiment of the present invention.
  • the driving support device shown in Fig. 1 is installed in the host vehicle.
  • the own vehicle is, for example, a four-wheeled vehicle.
  • the driving support device shown in FIG. 1 includes a rear side monitoring camera 10, a first peripheral monitoring camera 21, a second peripheral monitoring camera 22, a third peripheral monitoring camera 23, a fourth peripheral monitoring camera 24, and driving support.
  • An ECU (Electronic Control Unit) 30, a display device 40, an alarm device 50, a speaker 60, and an operation panel 70 are provided.
  • the rear side monitoring camera 10 photographs the rear side of the vehicle.
  • the rear side monitoring camera 10 is configured to capture the left rear side of the host vehicle.
  • the rear side monitoring camera 10 is installed at the position P2 of the left side mirror of the vehicle as shown in FIG.
  • the rear side monitoring camera 10 photographs the left rear side of the host vehicle and outputs a left rear side image, which is an image of the captured left rear side of the host vehicle, to the driving assistance ECU 30.
  • the left side mirror is a mirror for the driver to monitor the left rear side of the vehicle.
  • the orientation of the rear side surveillance camera 10 is the same as the orientation of the side mirror.
  • the angle of view of the rear side monitoring camera 10 is similar to that of a side mirror so that the sense of distance from an object reflected in an image can be grasped.
  • a system that displays the image of the rear side monitoring camera 10
  • the driver can see the rear side view seen by the side mirror.
  • Such a system is also known as an electronic mirror and is a known system.
  • Each of the four peripheral monitoring cameras 21 to 24 is installed at a different position on the vehicle, and photographs the area around the vehicle.
  • the first peripheral monitoring camera 21 is installed at a position P1 in front of the host vehicle, as shown in FIG.
  • the first peripheral monitoring camera 21 captures an image of the front of the host vehicle as the periphery of the host vehicle, and outputs a first peripheral image, which is an image of the captured front of the host vehicle, to the driving assistance ECU 30.
  • the second peripheral monitoring camera 22 is installed at the position P2 of the left side mirror of the vehicle.
  • the second peripheral monitoring camera 22 photographs the left side of the own vehicle as the periphery of the own vehicle, and outputs the second peripheral image, which is the photographed left side image of the own vehicle, to the driving assistance ECU 30.
  • the third peripheral monitoring camera 23 is installed at the position P3 of the right side mirror of the vehicle.
  • the third peripheral monitoring camera 23 captures an image of the right side of the host vehicle as the periphery of the host vehicle, and outputs a third peripheral image, which is an image of the captured right side of the host vehicle, to the driving assistance ECU 30.
  • the right side mirror is a mirror for the driver to monitor the right rear side of the vehicle.
  • the fourth peripheral monitoring camera 24 is installed at a position P4 behind the vehicle, as shown in FIG.
  • the fourth peripheral monitoring camera 24 photographs the rear of the own vehicle as the periphery of the own vehicle, and outputs the fourth peripheral image, which is the photographed rear image of the own vehicle, to the driving assistance ECU 30.
  • Each of the peripheral monitoring cameras 21 to 24 faces the outside of the vehicle, and the road surface around the vehicle is reflected in the image captured by each of the peripheral monitoring cameras 21 to 24.
  • Each of the peripheral monitoring cameras 21 to 24 uses a wide-angle lens with an angle of view of 180° or more, and the four peripheral monitoring cameras 21 to 24 can capture the entire circumference of the vehicle.
  • the driving support ECU 30 acquires the left rear side image captured by the rear side monitoring camera 10 and the peripheral image captured by the four peripheral monitoring cameras 21 to 24.
  • the driving support ECU 30 includes a bird's-eye view image generation unit 31, an image processing unit 32, and a control unit 33.
  • the bird's-eye view image generation unit 31 acquires the first peripheral image, the second peripheral image, the third peripheral image, and the fourth peripheral image from each of the four peripheral monitoring cameras 21 to 24. These four peripheral images cover an area of 360° around the vehicle.
  • the bird's-eye view image generation unit 31 generates a bird's-eye view image of the surroundings of the own vehicle by deforming and arranging these four peripheral images so that the viewpoint is viewed from the vertical direction of the own vehicle.
  • the viewpoint of such a bird's-eye view image is a viewpoint looking down in the vertical direction from the sky.
  • the direction of the viewpoint can be freely changed by the operation panel 70 so that the bird's-eye view image generation unit 31 can generate a bird's-eye view obliquely from the sky when generating the bird's-eye view image.
  • a system configured by the four peripheral monitoring cameras 21 to 24 and the function of the bird's-eye view image generation unit 31 is also known as a surround view system and is a known system.
  • the image processing unit 32 acquires the left rear side image from the rear side monitoring camera 10 and the bird's-eye view image from the bird's-eye image generation unit 31.
  • the image processing unit 32 cuts out an image in a cutout range including the blind spot range of the driver from the obtained bird's-eye view image, and generates the cutout image as a cutout bird's-eye view image.
  • FIG. 3 is a diagram showing a blind spot range in the first embodiment of the present invention. Note that FIG. 3 illustrates a case where a two-wheeled vehicle, which is an example of the object A, exists in the blind spot range.
  • FIG. 4 is a diagram showing a process in which the image processing unit 32 according to the first embodiment of the present invention generates a cropped bird's-eye view image. Note that FIG. 4 illustrates a case where a two-wheeled vehicle, which is an example of the object A, exists in the cutout range.
  • the image processing unit 32 cuts out an image in the cutout range from the bird's-eye view image acquired from the bird's-eye view image generation unit 31 and generates the cut-out image as a bird's-eye view image.
  • the cutout range is a range including the above-mentioned blind spot range and is a predetermined range.
  • the image processing unit 32 converts the acquired left rear side image into an image in which the left and right sides are reversed so that the driver can see the left side mirror in the same manner as the left side mirror. Generated as a left rear side conversion image.
  • the left rear side converted image has a mirror image relationship with the left rear side image.
  • the image processing unit 32 generates a composite image in which the generated cut-down bird's-eye view image and the generated left rear side conversion image are arranged adjacent to each other.
  • the image processing unit 32 outputs the generated combined image to the control unit 33.
  • the cutout range in which the image processing unit 32 cuts out the overhead image can be freely changed by the operation panel 70.
  • the control unit 33 acquires the composite image from the image processing unit 32 and controls the display device 40 so that the display device 40 displays the acquired composite image.
  • control unit 33 When the control unit 33 detects an object in the composite image acquired from the image processing unit 32, the control unit 33 notifies the presence of the object in the composite image.
  • control unit 33 draws a mark indicating the presence of an object in the composite image on the composite image. This mark is for warning the driver that an object exists around the vehicle.
  • control unit 33 controls the alarm device 50 so that the alarm device 50 generates an alarm sound indicating the presence of an object in the composite image.
  • This warning sound is for warning the driver that an object is present around the vehicle.
  • the control unit 33 does not perform the above notification when an object is not detected in the composite image acquired from the image processing unit 32.
  • the display device 40 is installed in the room of the own vehicle and displays an image. Specifically, the display device 40 displays the composite image under the control of the control unit 33.
  • FIG. 5 is a diagram showing a composite image displayed by the display device 40 according to the first embodiment of the present invention.
  • a two-wheeled vehicle which is an example of the object A
  • a four-wheeled vehicle which is an example of the object B
  • the composite image displayed by the display device 40 is an image in which a cut-out bird's-eye view image and a left rear side-converted image are arranged adjacent to each other.
  • a frame surrounding the periphery of the object A is drawn by the control unit 33 as an example of a mark indicating the presence of the object A.
  • a frame surrounding the object B is drawn by the control unit 33.
  • the display device 40 By displaying such a composite image on the display device 40, it becomes possible to provide the driver with a field of view for driving assistance.
  • the display device 40 is installed, for example, on the left side of the driver so that the driver can easily understand that the left side must be noted.
  • the alarm device 50 generates a sound by driving the speaker 60 installed inside the vehicle. Specifically, the alarm device 50 generates a warning sound by driving the speaker 60 under the control of the control unit 33. When the warning device 50 generates such a warning sound, it is possible to prompt the driver to check the composite image displayed on the display device 40.
  • the operation panel 70 is for the driver to adjust the appearance of the composite image displayed by the display device 40.
  • the viewpoint direction of the bird's-eye view image generated by the bird's-eye view image generation unit 31 can be freely changed.
  • the driving support device is configured to be able to change the viewpoint direction of the bird's-eye view image generated by the driving support ECU 30.
  • the driver operates the operation panel 70 to freely change the cutout range in which the image processing unit 32 cuts out the bird's-eye view image.
  • the driver can arbitrarily set the cutout range according to his or her blind spot range.
  • the driving support device is configured such that the driving support ECU 30 can change the cutout range from which the overhead image is cut out.
  • FIG. 6 is a flowchart showing a series of driving support operations performed by the driving support device according to the first embodiment of the present invention.
  • the driving support device repeatedly performs a series of processes shown in FIG. 6 in a certain operation cycle, for example.
  • step S101 the bird's-eye view image generation unit 31 uses the first peripheral image, the second peripheral image, the third peripheral image, and the fourth peripheral image acquired from each of the four peripheral monitoring cameras 21 to 24. , Generate a bird's eye view image. After that, the process proceeds to step S102.
  • the driving support ECU 30 generates a bird's-eye view image of the surroundings of the vehicle from the peripheral images acquired from the four peripheral monitoring cameras 21 to 24.
  • step S102 the image processing unit 32 generates a cut-out bird's-eye view image by cutting out an image in the cut-out range from the bird's-eye view image generated in step S101. After that, the process proceeds to step S103.
  • the driving support ECU 30 generates a cut-out bird's-eye view image by cutting an image in the cut-out range from the generated bird's-eye view image.
  • step S103 the image processing unit 32 generates a left rear side converted image by converting the left rear side image acquired from the rear side monitoring camera 10 into a left-right inverted image. After that, the process proceeds to step S104.
  • the driving support ECU 30 generates a left rear side converted image by converting the left rear side image acquired from the rear side monitoring camera 10 into a left-right inverted image.
  • step S104 the image processing unit 32 generates a composite image in which the cutout bird's-eye view image generated in step S102 and the left rear side-transformed image generated in step S103 are arranged adjacent to each other. After that, the process proceeds to step S105.
  • the driving support ECU 30 generates a composite image in which the generated cut-out bird's-eye view image and the generated left rear side conversion image are arranged.
  • step S105 the control unit 33 performs a detection process on the composite image generated in step S104, and controls the display device 40 and the alarm device 50 according to the result of the detection process. After that, the process proceeds to step S106.
  • the details of the detection process will be described with reference to the flowchart of FIG. 7 described later.
  • step S106 the display device 40 displays the composite image after the detection processing in step S105. Then, the process proceeds to step S107.
  • step S107 the alarm device 50 determines whether or not an alarm notification has been received from the control unit 33 as a result of the detection processing in step S105. If it is determined that the alarm notification has been received, the processing proceeds to step S108, and if it is determined that the alarm notification has not been received, the processing ends.
  • step S108 the alarm device 50 generates a warning sound by driving the speaker 60 according to the alarm notification received from the control unit 33. Then, the process ends.
  • FIG. 7 is a flowchart showing a series of detection processes performed by control unit 33 of driving assistance ECU 30 in the first embodiment of the present invention.
  • step S201 the control unit 33 determines whether or not an object is detected in the composite image generated in step S104 of FIG. If it is determined that the object is detected in the composite image, the process proceeds to step S202. On the other hand, if it is determined that the object is not detected in the composite image, the process proceeds to step S210.
  • step S202 the control unit 33 detects the position of the detection object which is the object detected in step S201. After that, the process proceeds to step S203.
  • the control unit 33 is configured to detect an object in the composite image together with the position of the object by applying a known object detection algorithm.
  • object detection algorithm examples include an object detection algorithm based on deep learning, and more specifically, SSD (Single Shot MultiBox Detector) can be mentioned.
  • step S203 the control unit 33 draws a frame surrounding the detected object in the composite image in the first color.
  • the first color is, for example, yellow.
  • the driving support ECU 30 when the driving support ECU 30 detects an object in the composite image, the driving support ECU 30 draws a mark indicating the presence of the object in the composite image on the composite image.
  • step S204 the control unit 33 determines whether the detected object has been detected in the previous detection process. If it is determined that the detected object has been detected in the previous detection process, the process proceeds to step S206. On the other hand, if it is determined that the detected object has not been detected in the previous detection process, the process proceeds to step S205.
  • step S205 the control unit 33 transmits the first alarm notification to the alarm device 50. After that, the process proceeds to step S210.
  • the alarm device 50 receives the first alarm notification from the control unit 33, the alarm device 50 generates a first alarm sound indicating that an object newly detected in the current detection process exists.
  • the driving support ECU 30 controls the alarm device 50 so that the alarm device 50 generates a warning sound indicating the presence of the object in the composite image.
  • step S206 the control unit 33 compares the position of the detected object detected in the previous detection process with the position of the detected object detected in the current detection process. After that, the process proceeds to step S207. By performing such position comparison, it is possible to extract an object approaching the host vehicle.
  • step S207 the control unit 33 determines, as a result of the position comparison in step S206, whether or not the position of the detected object is displaced in a direction approaching the host vehicle.
  • the process proceeds to step S208.
  • the process proceeds to step S210.
  • step S208 the control unit 33 causes the frame surrounding the detected object determined to be displaced in the direction of approaching the host vehicle, that is, the frame surrounding the detected object approaching the host vehicle to be a second color in the composite image. Draw with.
  • the second color is different than the first color.
  • the second color is, for example, red.
  • the driving support ECU 30 detects an object in the composite image, and when the object in the composite image approaches the host vehicle, a mark indicating the presence of the object approaching the host vehicle is added to the composite image. Draw on.
  • step S209 the control unit 33 transmits the second alarm notification to the alarm device 50. After that, the process proceeds to step S210.
  • the alarm device 50 Upon receiving the second alarm notification from the control unit 33, the alarm device 50 generates a second alarm sound indicating that there is an object approaching the host vehicle.
  • the second warning sound may be the same as the first warning sound or may be different from the first warning sound.
  • the driving support ECU 30 detects an object in the composite image, and when an object in the composite image approaches the host vehicle, issues a warning sound indicating the presence of the object approaching the host vehicle.
  • the alarm device 50 is controlled to be generated by the device 50.
  • step S210 the control unit 33 sends a display command to the display device 40 so that the display device 40 displays the composite image. Then, the process ends.
  • the display device 40 receives the display command from the control unit 33, the display device 40 displays the combined image after the series of detection processes.
  • the rear side monitoring camera 10 is configured to shoot the left rear side of the host vehicle. Not limited. That is, the rear side monitoring camera 10 may be configured to photograph the right rear side of the host vehicle.
  • the cut-out range is a range including the blind spot range on the right rear side that cannot be visually recognized by the driver even if the driver monitors the right side mirror of the vehicle.
  • the bird's-eye view image generation unit 31 is configured to generate a cut-out bird's-eye view image by cutting out an image in the cut-out range from the generated bird's-eye view image.
  • the image processing unit 32 converts the right rear side image acquired from the rear side monitoring camera 10 into an image in which the left and right sides are reversed so that the driver can see the right side mirror. The conversion is configured to generate a right rear side conversion image.
  • the driving assistance ECU 30 of the driving assistance device generates an overhead image of the surroundings of the own vehicle from the peripheral images acquired from the plurality of peripheral monitoring cameras 21 to 24, and generates the overhead image. Therefore, the cut-out bird's-eye view image is generated by cutting out the image in the cut-out range including the blind spot range of the driver. Further, the driving support ECU 30 is configured to generate a rear-side converted image by converting the rear-side image acquired from the rear-side monitoring camera 10 into a left-right inverted image. Further, the driving support ECU 30 generates a composite image in which the generated cut-down bird's-eye view image and the generated rear-side conversion image are arranged, and controls the display device 40 so that the display device 40 displays the generated composite image. Is configured.
  • each function of the driving support ECU 30 of the driving support device in the above-described first embodiment is realized by a processing circuit.
  • the processing circuit that realizes each function may be dedicated hardware or a processor that executes a program stored in the memory.
  • the processing circuit is dedicated hardware
  • the processing circuit is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array). , Or a combination of these.
  • the respective functions of the overhead image generation unit 31, the image processing unit 32, and the control unit 33 may be realized by individual processing circuits, or the functions of the respective units may be collectively realized by the processing circuit.
  • the processing circuit is a processor
  • the functions of each of the overhead image generation unit 31, the image processing unit 32, and the control unit 33 are realized by software, firmware, or a combination of software and firmware.
  • Software and firmware are described as programs and stored in memory.
  • the processor realizes the function of each unit by reading and executing the program stored in the memory.
  • the program described above causes a computer to execute the functions of the above-described units.
  • the memory includes, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory, etc.), and an EEPROM (Electrically Organized Memory).
  • a volatile semiconductor memory is applicable.
  • a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, etc. also correspond to the memory.
  • the processing circuit can realize the function of each unit described above by hardware, software, firmware, or a combination thereof.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

運転支援装置は、複数の周辺監視カメラから取得した周辺画像から、自車両の周囲の俯瞰画像を生成し、生成した俯瞰画像から、死角範囲を含む切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成し、後側方監視カメラから取得した後側方画像を、左右を反転させた画像に変換することで、後側方変換画像を生成し、生成した切り出し俯瞰画像と、生成した後側方変換画像とを配置した合成画像を生成し、生成した合成画像を表示装置が表示するように表示装置を制御する。

Description

運転支援装置
　本発明は、運転支援装置に関する。
　従来において、車両の後側方を運転者が監視するためのサイドミラーが車両に設けられている。ただし、従来のサイドミラーを運転者が監視しても運転者が視認できない後側方の死角範囲が存在する。したがって、従来のサイドミラーでは死角となっていた死角範囲の状況を運転者が把握することを可能にする技術が求められる。そこで、表示範囲の広い広角カメラを使用して、広範囲の領域をディスプレイに表示させる技術が提案されている（例えば、特許文献１参照）。
特開２０１７－１９４５９号公報
　ここで、特許文献１に記載の従来技術では、実際に人が目で見る映像と違って、広角カメラの映像が歪んでいるので、従来のサイドミラーの視界を確保することができず、結果として、自車両周辺の物体との距離感を運転者がつかむことが困難である。したがって、従来のサイドミラーの視界を確保しつつ、従来のサイドミラーでは死角となっていた死角範囲の状況を把握することを可能にする新たな技術が求められる。
　本発明は、上述のような課題を解決するためになされたものであり、従来のサイドミラーの視界を確保しつつ、従来のサイドミラーでは死角となっていた死角範囲の状況を把握することを可能にする運転支援装置を得ることを目的とする。
　本発明における運転支援装置は、自車両の後側方を撮影する後側方監視カメラと、それぞれが自車両の周辺を撮影する複数の周辺監視カメラと、後側方監視カメラによって撮影された自車両の後側方の画像である後側方画像と、複数の周辺監視カメラによって撮影された自車両の周辺の画像である周辺画像とを取得する運転支援ＥＣＵと、画像を表示する表示装置と、を備え、運転支援ＥＣＵは、複数の周辺監視カメラから取得した周辺画像から、自車両の周囲の俯瞰画像を生成し、生成した俯瞰画像から、死角範囲を含む切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成し、後側方監視カメラから取得した後側方画像を、左右を反転させた画像に変換することで、後側方変換画像を生成し、生成した切り出し俯瞰画像と、生成した後側方変換画像とを配置した合成画像を生成し、生成した合成画像を表示装置が表示するように表示装置を制御するものである。
　本発明によれば、従来のサイドミラーの視界を確保しつつ、従来のサイドミラーでは死角となっていた死角範囲の状況を把握することを可能にする運転支援装置を得ることができる。
本発明の実施の形態１における運転支援装置を示す構成図である。 本発明の実施の形態１における後側方監視カメラおよび４つの周辺監視カメラのそれぞれの自車両への設置位置を示す上面図である。 本発明の実施の形態１における死角範囲を示す図である。 本発明の実施の形態１における画像処理部が切り出し俯瞰画像を生成する処理を示す図である。 本発明の実施の形態１における表示装置が表示する合成画像を示す図である。 本発明の実施の形態１における運転支援装置によって行われる一連の運転支援動作を示すフローチャートである。 本発明の実施の形態１における運転支援ＥＣＵの制御部によって行われる一連の検知処理を示すフローチャートである。
　以下、本発明による運転支援装置を、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一部分または相当部分には同一符号を付し、重複する説明を省略する。
　実施の形態１．
　図１は、本発明の実施の形態１における運転支援装置を示す構成図である。図２は、本発明の実施の形態１における後側方監視カメラ１０および４つの周辺監視カメラ２１～２４のそれぞれの自車両への設置位置を示す上面図である。
　図１に示す運転支援装置は、自車両に搭載されている。自車両は、例えば四輪自動車である。図１に示す運転支援装置は、後側方監視カメラ１０、第１の周辺監視カメラ２１、第２の周辺監視カメラ２２、第３の周辺監視カメラ２３、第４の周辺監視カメラ２４、運転支援ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）３０、表示装置４０、警報装置５０、スピーカ６０および操作パネル７０を備える。
　後側方監視カメラ１０は、自車両の後側方を撮影する。なお、実施の形態１では、後側方監視カメラ１０は、自車両の後側方の具体例として、自車両の左後側方を撮影するように構成される場合を例示する。
　後側方監視カメラ１０は、図２に示すように、自車両の左サイドミラーの位置Ｐ２に設置されている。後側方監視カメラ１０は、自車両の左後側方を撮影し、撮影した自車両の左後側方の画像である左後側方画像を運転支援ＥＣＵ３０に出力する。左サイドミラーは、自車両の左後側方を運転者が監視するためのミラーである。
　後側方監視カメラ１０の向きは、サイドミラーの向きと同様となっている。後側方監視カメラ１０の画角は、サイドミラーと同様に、画像に映り込む物体との間の距離感をつかむことが可能な画角となっている。このような後側方監視カメラ１０の映像を表示するシステムを構築することで、サイドミラーで見える後側方の景色を運転者が見ることが可能となる。このようなシステムは、電子ミラーとも呼ばれ、公知のシステムである。
　４つの周辺監視カメラ２１～２４のそれぞれは、自車両の異なる位置に設置されており、自車両の周辺を撮影する。
　第１の周辺監視カメラ２１は、図２に示すように、自車両の前方の位置Ｐ１に設置されている。第１の周辺監視カメラ２１は、自車両の周辺として自車両の前方を撮影し、撮影した自車両の前方の画像である第１の周辺画像を運転支援ＥＣＵ３０に出力する。
　第２の周辺監視カメラ２２は、図２に示すように、自車両の左サイドミラーの位置Ｐ２に設置されている。第２の周辺監視カメラ２２は、自車両の周辺として自車両の左側方を撮影し、撮影した自車両の左側方の画像である第２の周辺画像を運転支援ＥＣＵ３０に出力する。
　第３の周辺監視カメラ２３は、図２に示すように、自車両の右サイドミラーの位置Ｐ３に設置されている。第３の周辺監視カメラ２３は、自車両の周辺として自車両の右側方を撮影し、撮影した自車両の右側方の画像である第３の周辺画像を運転支援ＥＣＵ３０に出力する。右サイドミラーは、自車両の右後側方を運転者が監視するためのミラーである。
　第４の周辺監視カメラ２４は、図２に示すように、自車両の後方の位置Ｐ４に設置されている。第４の周辺監視カメラ２４は、自車両の周辺として自車両の後方を撮影し、撮影した自車両の後方の画像である第４の周辺画像を運転支援ＥＣＵ３０に出力する。
　各周辺監視カメラ２１～２４は、車両の外側を向いており、各周辺監視カメラ２１～２４によって撮影された画像に自車両の周辺の路面が映り込むようになっている。各周辺監視カメラ２１～２４は、画角が１８０°以上の広角レンズが用いられており、４つの周辺監視カメラ２１～２４によって自車両の全周囲が捉えられるようになっている。
　運転支援ＥＣＵ３０は、後側方監視カメラ１０によって撮影された左後側方画像と、４つの周辺監視カメラ２１～２４によって撮影された周辺画像とを取得する。運転支援ＥＣＵ３０は、俯瞰画像生成部３１、画像処理部３２および制御部３３を備える。
　俯瞰画像生成部３１は、４つの周辺監視カメラ２１～２４のそれぞれから第１の周辺画像、第２の周辺画像、第３の周辺画像および第４の周辺画像を取得する。これら４つの周辺画像は、自車両周囲３６０°の領域をカバーする。俯瞰画像生成部３１は、自車両の鉛直方向から俯瞰する視点になるように、これら４つの周辺画像を変形して配置することで、自車両周囲の俯瞰画像を生成する。このような俯瞰画像の視点は、上空から鉛直方向に見下ろす視点である。
　俯瞰画像生成部３１が俯瞰画像を生成する場合に上空から斜めに見下ろす視点になるように、視点の方向を、操作パネル７０によって自由に変更可能である。
　４つの周辺監視カメラ２１～２４と、俯瞰画像生成部３１の機能とによって構成されるシステムは、サラウンドビューシステムとも呼ばれ、公知のシステムである。
　画像処理部３２は、後側方監視カメラ１０から左後側方画像を取得し、俯瞰画像生成部３１から俯瞰画像を取得する。画像処理部３２は、取得した俯瞰画像から、運転者の死角範囲を含む切り出し範囲の画像を切り出し、切り出した画像を切り出し俯瞰画像として生成する。
　ここで、運転者の死角範囲について、図３を参照しながら説明する。図３は、本発明の実施の形態１における死角範囲を示す図である。なお、図３では、物体Ａの例である二輪自動車が死角範囲に存在する場合を例示している。
　図３に示すように、自車両の左サイドミラーを運転者が監視しても運転者が視認できない後側方の死角範囲が存在する。このような死角範囲に物体Ａが存在する場合、その物体Ａを運転者が把握することが困難である。
　続いて、画像処理部３２が切り出し俯瞰画像を生成する処理について、図４を参照しながら説明する。図４は、本発明の実施の形態１における画像処理部３２が切り出し俯瞰画像を生成する処理を示す図である。なお、図４では、物体Ａの例である二輪自動車が切り出し範囲に存在する場合を例示している。
　図４に示すように、画像処理部３２は、俯瞰画像生成部３１から取得した俯瞰画像から、切り出し範囲の画像を切り出し、切り出した画像を切り出し俯瞰画像として生成する。この切り出し範囲は、上述の死角範囲を含む範囲であり、予め定められた範囲である。
　画像処理部３２は、運転者が左サイドミラーを見たときと同じ見え方にするために、取得した左後側方画像を、左右を反転させた画像に変換し、その変換後の画像を左後側方変換画像として生成する。左後側方変換画像は、左後側方画像に対して鏡像の関係にある。
　画像処理部３２は、生成した切り出し俯瞰画像と、生成した左後側方変換画像とを隣接させて配置した合成画像を生成する。画像処理部３２は、生成した合成画像を制御部３３に出力する。
　画像処理部３２が俯瞰画像を切り出す切り出し範囲を、操作パネル７０によって自由に変更可能である。
　制御部３３は、画像処理部３２から合成画像を取得し、取得した合成画像を表示装置４０が表示するように表示装置４０を制御する。
　制御部３３は、画像処理部３２から取得した合成画像内において物体を検知した場合、合成画像内の物体の存在を示す報知を行う。
　制御部３３は、上述の報知の一例として、合成画像内の物体の存在を示す印を合成画像に描画する。この印は、自車両周辺に物体が存在していることを運転者に警告するためのものである。
　制御部３３は、上述の報知の別例として、合成画像内の物体の存在を示す警告音を警報装置５０が発生させるように警報装置５０を制御する。この警告音は、自車両周辺に物体が存在していることを運転者に警告するためのものである。
　制御部３３は、画像処理部３２から取得した合成画像内において物体を検知しない場合、上述の報知を行わない。
　表示装置４０は、自車両の室内に設置されており、画像を表示する。具体的には、表示装置４０は、制御部３３からの制御に従って、合成画像を表示する。ここで、表示装置４０が表示する合成画像の一例について、図５を参照しながら説明する。図５は、本発明の実施の形態１における表示装置４０が表示する合成画像を示す図である。なお、図５では、切り出し俯瞰画像に物体Ａの例である二輪自動車が映り込んでおり、左後側方変換画像に物体Ｂの一例である四輪自動車が映り込んでいる場合を例示している。
　図５に示すように、表示装置４０によって表示される合成画像は、切り出し俯瞰画像と左後側方変換画像とを隣接させて配置した画像である。切り出し俯瞰画像では、物体Ａの存在を示す印の例として、物体Ａの周囲を囲む枠が制御部３３によって描画されている。左後側方変換画像では、物体Ｂの存在を示す印の例として、物体Ｂの周囲を囲む枠が制御部３３によって描画されている。
　このような合成画像を表示装置４０が表示することによって、運転者に対して運転支援のための視界を提供することが可能となる。表示装置４０は、例えば、左側を注意しなければならないことを運転者が分かりやすいように、運転者の左側に設置されている。
　警報装置５０は、自車両の室内に設置されているスピーカ６０を駆動することで音を発生させる。具体的には、警報装置５０は、制御部３３からの制御に従って、スピーカ６０を駆動することで警告音を発生させる。このような警告音を警報装置５０が発生させることによって、表示装置４０に表示されている合成画像を確認するように運転者に促すことが可能となる。
　操作パネル７０は、表示装置４０によって表示される合成画像の見え方を運転者が調整するためのものである。運転者が操作パネル７０を操作することで、俯瞰画像生成部３１が生成する俯瞰画像の視点方向を自由に変更可能である。このように、運転支援装置は、運転支援ＥＣＵ３０が生成する俯瞰画像の視点方向を変更可能に構成されている。
　また、運転者が操作パネル７０を操作することで、画像処理部３２が俯瞰画像を切り出す切り出し範囲を自由に変更可能である。これにより、運転者は、自身の死角範囲に合わせて切り出し範囲を任意に設定することができる。このように、運転支援装置は、運転支援ＥＣＵ３０が俯瞰画像を切り出す切り出し範囲を変更可能に構成されている。
　次に、本実施の形態１における運転支援装置の一連の運転支援動作について、図６を参照しながら説明する。図６は、本発明の実施の形態１における運転支援装置によって行われる一連の運転支援動作を示すフローチャートである。なお、運転支援装置は、例えば、或る動作周期で、図６に示す一連の処理を繰り返し行う。
　ステップＳ１０１において、俯瞰画像生成部３１は、４つの周辺監視カメラ２１～２４のそれぞれから取得した第１の周辺画像、第２の周辺画像、第３の周辺画像および第４の周辺画像を用いて、俯瞰画像を生成する。その後、処理がステップＳ１０２へと進む。
　このように、運転支援ＥＣＵ３０は、４つの周辺監視カメラ２１～２４から取得した周辺画像から、自車両の周囲の俯瞰画像を生成する。
　ステップＳ１０２において、画像処理部３２は、ステップＳ１０１で生成された俯瞰画像から切り出し範囲の画像を切り出すことで切り出し俯瞰画像を生成する。その後、処理がステップＳ１０３へと進む。
　このように、運転支援ＥＣＵ３０は、生成した俯瞰画像から、切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成する。
　ステップＳ１０３において、画像処理部３２は、後側方監視カメラ１０から取得した左後側方画像を、左右を反転させた画像に変換することで、左後側方変換画像を生成する。その後、処理がステップＳ１０４へと進む。
　このように、運転支援ＥＣＵ３０は、後側方監視カメラ１０から取得した左後側方画像を、左右を反転させた画像に変換することで、左後側方変換画像を生成する。
　ステップＳ１０４において、画像処理部３２は、ステップＳ１０２で生成された切り出し俯瞰画像と、ステップＳ１０３で生成された左後側方変換画像とを隣接させて配置した合成画像を生成する。その後、処理がステップＳ１０５へと進む。
　このように、運転支援ＥＣＵ３０は、生成した切り出し俯瞰画像と、生成した左後側方変換画像とを配置した合成画像を生成する。
　ステップＳ１０５において、制御部３３は、ステップＳ１０４で生成された合成画像に対して検知処理を行い、検知処理の結果に応じて、表示装置４０および警報装置５０を制御する。その後、処理がステップＳ１０６へと進む。なお、検知処理の詳細については、後述する図７のフローチャートを参照して説明する。
　ステップＳ１０６において、表示装置４０は、ステップＳ１０５での検知処理後の合成画像を表示する。その後、処理がステップＳ１０７へと進む。
　ステップＳ１０７において、警報装置５０は、ステップＳ１０５での検知処理の結果、制御部３３から警報通知を受けたか否かを判定する。警報通知を受けたと判定された場合には、処理がステップＳ１０８へと進み、警報通知を受けていないと判定された場合には、処理が終了となる。
　ステップＳ１０８において、警報装置５０は、制御部３３から受けた警報通知に応じて、スピーカ６０を駆動することで警告音を発生させる。その後、処理が終了となる。
　次に、先の図６のステップＳ１０５で実行される一連の検知処理について、図７を参照しながら説明する。図７は、本発明の実施の形態１における運転支援ＥＣＵ３０の制御部３３によって行われる一連の検知処理を示すフローチャートである。
　ステップＳ２０１において、制御部３３は、先の図６のステップＳ１０４で生成された合成画像内において物体を検知したか否かを判定する。合成画像内において物体を検知したと判定された場合には、処理がステップＳ２０２へと進む。一方、合成画像内において物体を検知してないと判定された場合には、処理がステップＳ２１０へと進む。
　ステップＳ２０２において、制御部３３は、ステップＳ２０１で検知された物体である検知物体の位置を検知する。その後、処理がステップＳ２０３へと進む。
　なお、制御部３３は、公知の物体検知アルゴリズムを適用することで、合成画像内の物体を物体の位置とともに検知するように構成されている。このような物体検知アルゴリズムとしては、例えば、ディープラーニングによる物体検知アルゴリズムが挙げられ、より具体的には、ＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　ＭｕｌｔｉＢｏｘ　Ｄｅｔｅｃｔｏｒ)が挙げられる。
　ステップＳ２０３において、制御部３３は、検知物体の周囲を囲む枠を合成画像に第１の色で描画する。第１の色は、例えば、黄色である。その後、処理がステップＳ２０４へと進む。
　このように、運転支援ＥＣＵ３０は、合成画像内において物体を検知した場合、合成画像内の物体の存在を示す印を合成画像に描画する。
　ステップＳ２０４において、制御部３３は、検知物体が前回の検知処理で検知されたか否かを判定する。検知物体が前回の検知処理で検知されたと判定された場合には、処理がステップＳ２０６へと進む。一方、その検知物体が前回の検知処理で検知されていないと判定された場合には、処理がステップＳ２０５へと進む。
　ステップＳ２０５において、制御部３３は、第１の警報通知を警報装置５０に送信する。その後、処理がステップＳ２１０へと進む。警報装置５０は、制御部３３から第１の警報通知を受けると、今回の検知処理で新たに検知された物体が存在することを示す第１の警告音を発生させる。
　このように、運転支援ＥＣＵ３０は、合成画像内において物体を検知した場合、合成画像内の物体の存在を示す警告音を警報装置５０が発生させるように警報装置５０を制御する。
　ステップＳ２０６において、制御部３３は、前回の検知処理で検知された検知物体の位置と、今回の検知処理で検知された検知物体の位置とを比較する。その後、処理がステップＳ２０７へと進む。このような位置比較が行われることで、自車両に接近してくる物体を抽出することが可能となる。
　ステップＳ２０７において、制御部３３は、ステップＳ２０６での位置比較の結果、検知物体の位置が自車両に接近する方向に変位したか否かを判定する。検知物体の位置が自車両に接近する方向に変位したと判定された場合には、処理がステップＳ２０８へと進む。一方、検知物体の位置が自車両に接近する方向に変位していないと判定された場合には、処理がステップＳ２１０へと進む。
　ステップＳ２０８において、制御部３３は、自車両に接近する方向に位置が変位したと判定された検知物体、すなわち自車両に接近してくる検知物体の周囲を囲む枠を合成画像に第２の色で描画する。第２の色は、第１の色とは異なっている。第２の色は、例えば、赤色である。その後、処理がステップＳ２０９へと進む。
　このように、運転支援ＥＣＵ３０は、合成画像内において物体を検知し、さらに合成画像内の物体が自車両に接近してくる場合、自車両に接近してくる物体の存在を示す印を合成画像に描画する。
　ステップＳ２０９において、制御部３３は、第２の警報通知を警報装置５０に送信する。その後、処理がステップＳ２１０へと進む。警報装置５０は、制御部３３から第２の警報通知を受けると、自車両に接近してくる物体が存在することを示す第２の警告音を発生させる。なお、第２の警告音は、第１の警告音と同じであってもよいし、第１の警告音と異なっていてもよい。
　このように、運転支援ＥＣＵ３０は、合成画像内において物体を検知し、さらに合成画像内の物体が自車両に接近してくる場合、自車両に接近してくる物体の存在を示す警告音を警報装置５０が発生させるように警報装置５０を制御する。
　ステップＳ２１０において、制御部３３は、表示装置４０が合成画像を表示するように表示装置４０に表示指令を送信する。その後、処理が終了となる。表示装置４０は、制御部３３から表示指令を受けると、一連の検知処理後の合成画像を表示する。
　なお、実施の形態１では、後側方監視カメラ１０は、自車両の後側方の具体例として、自車両の左後側方を撮影するように構成される場合を例示したが、これに限定されない。すなわち、後側方監視カメラ１０は、自車両の右後側方を撮影するように構成されていてもよい。
　上述の場合、切り出し範囲は、自車両の右サイドミラーを運転者が監視しても、運転者が視認できない右後側方の死角範囲を含む範囲となる。俯瞰画像生成部３１は、生成した俯瞰画像から、この切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成するように構成される。また、画像処理部３２は、運転者が右サイドミラーを見たときと同じ見え方にするために、後側方監視カメラ１０から取得した右後側方画像を、左右を反転させた画像に変換することで、右後側方変換画像を生成するように構成される。
　以上、本実施の形態１によれば、運転支援装置の運転支援ＥＣＵ３０は、複数の周辺監視カメラ２１～２４から取得した周辺画像から、自車両の周囲の俯瞰画像を生成し、生成した俯瞰画像から、運転者の死角範囲を含む切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成するように構成されている。また、運転支援ＥＣＵ３０は、後側方監視カメラ１０から取得した後側方画像を、左右を反転させた画像に変換することで、後側方変換画像を生成するように構成されている。さらに、運転支援ＥＣＵ３０は、生成した切り出し俯瞰画像と、生成した後側方変換画像とを配置した合成画像を生成し、生成した合成画像を表示装置４０が表示するよう表示装置４０を制御するように構成されている。
　このように、合成画像を構成する後側方変換画像を表示することによって、従来のサイドミラーの視界を確保することができ、その結果、自車両周辺の物体との距離感をつかむことが可能になる。さらに、合成画像を構成する切り出し俯瞰画像も表示することによって、従来のサイドミラーでは死角となっていた死角範囲の状況を把握することが可能になる。
　なお、上述した実施の形態１における運転支援装置の運転支援ＥＣＵ３０の各機能は、処理回路によって実現される。各機能を実現する処理回路は、専用のハードウェアであってもよく、メモリに格納されるプログラムを実行するプロセッサであってもよい。
　処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。俯瞰画像生成部３１、画像処理部３２および制御部３３の各部の機能それぞれを個別の処理回路で実現してもよいし、各部の機能をまとめて処理回路で実現してもよい。
　一方、処理回路がプロセッサの場合、俯瞰画像生成部３１、画像処理部３２および制御部３３の各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアは、プログラムとして記述され、メモリに格納される。プロセッサは、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。
　上述のプログラムは、上述した各部の機能をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリが該当する。また、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等も、メモリに該当する。
　なお、上述した各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述した各部の機能を実現することができる。
　１０　後側方監視カメラ、２１　第１の周辺監視カメラ、２２　第２の周辺監視カメラ、２３　第３の周辺監視カメラ、２４　第４の周辺監視カメラ、３０　運転支援ＥＣＵ、３１　俯瞰画像生成部、３２　画像処理部、３３　制御部、４０　表示装置、５０　警報装置、６０　スピーカ、７０　操作パネル。

Claims (8)

  1. 　自車両の後側方を撮影する後側方監視カメラと、
    　それぞれが前記自車両の周辺を撮影する複数の周辺監視カメラと、
    　前記後側方監視カメラによって撮影された前記自車両の後側方の画像である後側方画像と、前記複数の周辺監視カメラによって撮影された前記自車両の周辺の画像である周辺画像とを取得する運転支援ＥＣＵと、
    　画像を表示する表示装置と、
    　を備え、
    　前記運転支援ＥＣＵは、
    　　前記複数の周辺監視カメラから取得した前記周辺画像から、前記自車両の周囲の俯瞰画像を生成し、生成した前記俯瞰画像から、死角範囲を含む切り出し範囲の画像を切り出すことで、切り出し俯瞰画像を生成し、
    　　前記後側方監視カメラから取得した前記後側方画像を、左右を反転させた画像に変換することで、後側方変換画像を生成し、
    　　生成した前記切り出し俯瞰画像と、生成した前記後側方変換画像とを配置した合成画像を生成し、生成した前記合成画像を前記表示装置が表示するように前記表示装置を制御する
    　運転支援装置。
  2. 　前記運転支援ＥＣＵは、生成した前記合成画像内において物体を検知した場合、前記合成画像内の前記物体の存在を示す報知を行う
    　請求項１に記載に記載の運転支援装置。
  3. 　前記運転支援ＥＣＵは、前記報知として、
    　　前記物体の存在を示す印を前記合成画像に描画する
    　請求項２に記載の運転支援装置。
  4. 　前記運転支援ＥＣＵは、さらに前記合成画像内の前記物体が前記自車両に接近してくる場合、前記報知として、
    　　前記自車両に接近してくる前記物体の存在を示す印を前記合成画像に描画する
    　請求項２または３に記載の運転支援装置。
  5. 　音を発生させる警報装置をさらに備え、
    　前記運転支援ＥＣＵは、前記報知として、
    　　前記物体の存在を示す警告音を前記警報装置が発生させるように前記警報装置を制御する
    　請求項２から４のいずれか１項に記載の運転支援装置。
  6. 　前記運転支援ＥＣＵは、さらに前記合成画像内の前記物体が前記自車両に接近してくる場合、前記報知として、
    　　前記自車両に接近してくる前記物体の存在を示す警告音を前記警報装置が発生させるように前記警報装置を制御する
    　請求項２から５のいずれか１項に記載の運転支援装置。
  7. 　前記運転支援ＥＣＵが前記俯瞰画像を切り出す前記切り出し範囲を変更可能に構成されている
    　請求項１から６のいずれか１項に記載の運転支援装置。
  8. 　前記運転支援ＥＣＵが生成する前記俯瞰画像の視点方向を変更可能に構成されている
    　請求項１から７のいずれか１項に記載の運転支援装置。
PCT/JP2019/003339 2019-01-31 2019-01-31 運転支援装置 WO2020157901A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020569266A JP7163418B2 (ja) 2019-01-31 2019-01-31 運転支援装置
PCT/JP2019/003339 WO2020157901A1 (ja) 2019-01-31 2019-01-31 運転支援装置
DE112019006793.1T DE112019006793T5 (de) 2019-01-31 2019-01-31 Fahrunterstützungsvorrichtung
CN201980090174.2A CN113329913A (zh) 2019-01-31 2019-01-31 驾驶辅助装置
US17/312,473 US11708032B2 (en) 2019-01-31 2019-01-31 Driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/003339 WO2020157901A1 (ja) 2019-01-31 2019-01-31 運転支援装置

Publications (1)

Publication Number Publication Date
WO2020157901A1 true WO2020157901A1 (ja) 2020-08-06

Family

ID=71841470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003339 WO2020157901A1 (ja) 2019-01-31 2019-01-31 運転支援装置

Country Status (5)

Country Link
US (1) US11708032B2 (ja)
JP (1) JP7163418B2 (ja)
CN (1) CN113329913A (ja)
DE (1) DE112019006793T5 (ja)
WO (1) WO2020157901A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4236304A4 (en) * 2020-10-23 2024-04-03 Sony Group Corp CAMERA MODULE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING DEVICE

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022192663A1 (en) * 2021-03-12 2022-09-15 Stoneridge, Inc. Vehicle camera mirror system with adjustable video feed
GB2623296A (en) * 2022-10-05 2024-04-17 Continental Automotive Tech Gmbh System and method for evaluation of the driving of a vehicle
CN116605141B (zh) * 2023-06-26 2024-02-09 江苏泽景汽车电子股份有限公司 电子后视镜的显示方法、装置、电子设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2012257106A (ja) * 2011-06-09 2012-12-27 Aisin Seiki Co Ltd 画像生成装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置
JP2018074286A (ja) * 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4818816B2 (ja) * 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP5604146B2 (ja) * 2010-03-25 2014-10-08 富士通テン株式会社 車載照明装置、画像処理装置、画像表示システム及び照明方法
WO2012056528A1 (ja) * 2010-10-27 2012-05-03 トヨタ自動車株式会社 運転補助装置
TWI478833B (zh) * 2011-08-31 2015-04-01 Autoequips Tech Co Ltd 調校車用影像裝置之方法及其系統
JP2013100057A (ja) * 2011-11-09 2013-05-23 Aisin Seiki Co Ltd 運転支援装置
JP6443247B2 (ja) 2015-07-14 2018-12-26 株式会社デンソー 車両用表示装置
JP6699427B2 (ja) * 2015-11-17 2020-05-27 株式会社Ｊｖｃケンウッド 車両用表示装置および車両用表示方法
JP7010221B2 (ja) * 2016-07-13 2022-01-26 ソニーグループ株式会社 画像生成装置、画像生成方法、及び、プログラム
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030078A (ja) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp 車両用画像表示装置
JP2012257106A (ja) * 2011-06-09 2012-12-27 Aisin Seiki Co Ltd 画像生成装置
JP2016168877A (ja) * 2015-03-11 2016-09-23 株式会社東海理化電機製作所 車両用視認装置
JP2018074286A (ja) * 2016-10-26 2018-05-10 三菱自動車工業株式会社 運転支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4236304A4 (en) * 2020-10-23 2024-04-03 Sony Group Corp CAMERA MODULE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING DEVICE

Also Published As

Publication number Publication date
US20220111794A1 (en) 2022-04-14
JPWO2020157901A1 (ja) 2021-09-09
JP7163418B2 (ja) 2022-10-31
US11708032B2 (en) 2023-07-25
DE112019006793T5 (de) 2021-11-04
CN113329913A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
WO2020157901A1 (ja) 運転支援装置
US8330816B2 (en) Image processing device
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
JP5177515B2 (ja) 周辺認知支援システム
KR101967305B1 (ko) 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템
EP3566904B1 (en) Image display apparatus
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
WO2014021332A1 (ja) 車両用警告装置及び車両用アウトサイドミラー装置
KR20160136722A (ko) 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법
KR102597435B1 (ko) 영상 취득 장치 및 그 방법
JP2016168877A (ja) 車両用視認装置
JP2015009646A (ja) 運転支援装置
WO2016092967A1 (ja) 画像生成装置及び画像生成方法
TW201526638A (zh) 車用障礙物偵測顯示系統
KR20180065049A (ko) 다중 영상 입력 장치 및 영상 처리 알고리즘을 이용한 차량 후방 모니터링 장치
JP2008174028A (ja) 対象物検出システム、及び対象物検出方法
JP5861449B2 (ja) 障害物警報装置
JP5235843B2 (ja) 車両周辺監視装置および車両周辺監視方法
JP2005182305A (ja) 車両走行支援装置
KR102632361B1 (ko) 어라운드 뷰 영상 제공 시스템
JP6279282B2 (ja) 立体物確認装置及び立体物確認プログラム
JP5436056B2 (ja) 障害物検出装置および障害物検出方法
JP5617678B2 (ja) 車両用表示装置
KR101750201B1 (ko) 차량의 거동을 이용한 ｂｓｄ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912644

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569266

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19912644

Country of ref document: EP

Kind code of ref document: A1