WO2018135413A1 - 運転支援システム、運転支援方法 - Google Patents

運転支援システム、運転支援方法 Download PDF

Info

Publication number
WO2018135413A1
WO2018135413A1 PCT/JP2018/000705 JP2018000705W WO2018135413A1 WO 2018135413 A1 WO2018135413 A1 WO 2018135413A1 JP 2018000705 W JP2018000705 W JP 2018000705W WO 2018135413 A1 WO2018135413 A1 WO 2018135413A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
driving support
unit
support system
lightness
Prior art date
Application number
PCT/JP2018/000705
Other languages
English (en)
French (fr)
Inventor
俊亮 臼井
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112018000481.3T priority Critical patent/DE112018000481T5/de
Priority to CN201880007729.8A priority patent/CN110199518B/zh
Publication of WO2018135413A1 publication Critical patent/WO2018135413A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components

Definitions

  • the present disclosure relates to a driving support system and a driving support method.
  • Patent Document 1 describes a driving support system such as an electronic mirror that supports a driver's driving operation by displaying an image of the surroundings of the host vehicle on a display device provided in the vehicle interior. .
  • Patent Document 1 has found the following problems. That is, regarding an electronic mirror which is an example of a driving support system, it is stipulated by law that an operation mode (hereinafter, separable mode) for distinguishing between an automobile and a motorcycle, which is shown in an image, is provided. .
  • the motorcycle has headlights at two locations on the left and right of the front, and the motorcycle has a headlight at one location in the center of the front. If the light emitted from each of the two headlights at the front left and right of the motorcycle appears to be connected on the image, it is mistaken for the light emitted from one motorcycle headlight. There is a risk.
  • the screen is darkened so that the headlamps at two locations on the left and right of the front of the automobile can be identified on the screen. Further, the law also stipulates that the driver is notified when operating in an operation mode other than the separable mode.
  • the separable mode only guarantees that the headlights shown in the image can be identified as two lights under the test environment specified by laws and regulations, and that it can be identified under the actual use environment. Is not guaranteed. For this reason, although it is operating in the separable mode, there may occur a state in which the headlamps shown in the image cannot be identified as two lamps. In this case, the driver may misjudge the motorcycle and the automobile.
  • One aspect of the present disclosure provides a technique for suppressing a driver's misjudgment based on the fact that a plurality of lamps in an image obtained by imaging the surroundings of the host vehicle cannot be identified.
  • One aspect of the present disclosure is a driving support system including an acquisition unit, a display unit, a detection unit, a determination unit, and a notification unit.
  • An acquisition part acquires the image around the own vehicle.
  • the display unit displays the image acquired by the acquisition unit.
  • the detection unit detects a lightness affecting factor that is a factor affecting the lightness of the entire image.
  • the determination unit determines that it is in an indistinguishable state when the lightness affecting factor does not satisfy the predetermined identification determination condition.
  • the indistinguishable state refers to a state in which each of the plurality of lamps shown in the image cannot be identified on the display unit.
  • the determination unit can identify each of a plurality of lamps that appear in an image obtained by capturing the periphery of the host vehicle as a display unit. It is determined whether or not it can be displayed.
  • the notification unit determines that the state cannot be identified by the determination unit, it notifies that fact. Therefore, the driver can be made aware that there is a possibility that the number of lamps shown in the image is different from the actual number, and it is possible to suppress erroneous determination of the driving situation by the driver.
  • FIG. 2 is a block diagram illustrating configurations of an image processing device 1 and a driving support system 2.
  • FIG. It is a flowchart of driving assistance processing_1. It is explanatory drawing of the driving assistance process_1. It is explanatory drawing of the driving assistance process_1. It is explanatory drawing of the driving assistance process_1. It is a flowchart of the driving assistance process_2. It is a flowchart of driving assistance processing_3. It is explanatory drawing in connection with calculation of PLSDF used by driving assistance process_3. It is explanatory drawing in connection with calculation of PLSCF used by driving assistance process_3.
  • the driving support system 2 includes an image processing device 1.
  • the image processing apparatus 1 is an ECU mounted on a vehicle.
  • ECU is an abbreviation for Electronic Control Unit.
  • the image processing apparatus 1 includes a known microcomputer having a CPU 101 and a semiconductor memory 103 such as a RAM, a ROM, and a flash memory.
  • Various functions of the image processing apparatus 1 are realized by the CPU executing a program stored in a non-transitional physical recording medium.
  • the semiconductor memory corresponds to a non-transitional tangible recording medium storing a program.
  • the image processing apparatus 1 may include one microcomputer or a plurality of microcomputers.
  • the image processing apparatus 1 may be realized by a digital circuit including a large number of logic circuits, or may be realized by a combination of a digital circuit and an analog circuit.
  • the driving support system 2 includes a right rear side camera 11, a left rear side camera 13, a rear camera 15, a right rear side monitor 21, a left rear side monitor 23, and a rear monitor 25. You may prepare.
  • the right rear side camera 11, the left rear side camera 13, and the rear camera 15 correspond to a camera and an acquisition unit.
  • the right rear side monitor 21, the left rear side monitor 23, and the rear monitor 25 correspond to a display unit.
  • the right rear side camera 11 is provided, for example, on the right door mirror of the vehicle and shoots the scenery on the right rear side and the right side of the host vehicle.
  • the right rear side camera 11 outputs an image obtained by photographing to the image processing apparatus 1.
  • the left rear side camera 13 is provided, for example, on the left door mirror of the vehicle, and photographs the left rear and left side scenery of the host vehicle.
  • the left rear side camera 13 outputs an image obtained by photographing to the image processing apparatus 1.
  • the rear camera 15 is provided at the rear end of the host vehicle, for example, and captures a landscape behind the host vehicle.
  • the rear camera 15 outputs an image obtained by shooting to the image processing apparatus 1.
  • the right rear side camera 11 and the left rear side camera 13 may be attached to the host vehicle with a stay or embedded in the body of the host vehicle.
  • the right rear side monitor 21 has a liquid crystal display or the like, and is provided in the vicinity of the right front pillar in the vehicle interior, for example.
  • the right rear side monitor 21 displays an image photographed by the right rear side camera 11. Therefore, the right rear side camera 11 and the right rear side monitor 21 function as an electronic mirror.
  • the right rear side monitor 21 may be arrange
  • the left rear side monitor 23 has a liquid crystal display or the like, and is provided, for example, in the vicinity of the left front pillar in the vehicle interior.
  • the left rear side monitor 23 displays an image photographed by the left rear side camera 13. Therefore, the left rear side camera 13 and the left rear side monitor 23 function as an electronic mirror.
  • the left rear side monitor 23 may be arrange
  • the rear monitor 25 has a liquid crystal display or the like, and is provided at the position of the room mirror, for example.
  • the rear monitor 25 displays an image captured by the rear camera 15. Therefore, the rear camera 15 and the rear monitor 25 function as an electronic mirror. Note that the rear monitor 25 may be disposed in the instrument panel.
  • the image processing apparatus 1 belonging to the driving support system 2 is connected to the illuminance sensor 33, the other display device 35, and the audio output device 37 via the communication bus 31.
  • the illuminance sensor 33 detects the illuminance around the vehicle.
  • the illuminance sensor 33 transmits / receives various information to / from other configurations via the communication bus 31.
  • the illuminance sensor 33 outputs information indicating the illuminance around the vehicle to the image processing apparatus 1 via the communication bus 31.
  • the image processing apparatus 1 executes various processes using information input from the illuminance sensor 33.
  • the other display device 35 includes, for example, a meter that displays various information.
  • the other display device 35 transmits / receives various information to / from other components via the communication bus 31.
  • the image processing apparatus 1 outputs information to be displayed on the display screen to the other display device 35 via the communication bus 31.
  • the other display device 35 displays information input from the image processing apparatus 1.
  • the audio output device 37 has a speaker or the like that outputs various sounds.
  • the audio output device 37 transmits / receives various information to / from other components via the communication bus 31.
  • the image processing apparatus 1 outputs information representing sound or the like to the sound output device 37 via the communication bus 31.
  • the sound output device 37 outputs sound or the like according to information input from the image processing apparatus 1.
  • FIG. 3 shows an example in which the right rear side monitor 21 displays an image photographed by the right rear side camera 11.
  • a light source S such as a headlamp of a succeeding vehicle is shown in a predetermined area A together with a part of the host vehicle V in the image.
  • this succeeding vehicle is a four-wheeled vehicle 50 including headlamps 51 and 52 at two locations on the left and right of the front as illustrated in FIG. 4, the predetermined area A shown in FIG. Two lighting devices 51 and 52 are shown.
  • this succeeding vehicle is a motorcycle 60 including a headlamp 61 at one location in the front center as illustrated in FIG. 5, the predetermined region A shown in FIG. Two lamps 61 are shown.
  • the image processing apparatus 1 has two operation modes.
  • the first operation mode is called a separable mode
  • the second operation mode is called a non-separable mode.
  • the image processing apparatus 1 executes a process for darkening the image.
  • the non-separable mode the image processing apparatus 1 executes a process for brightening the image.
  • the light source S that appears in the predetermined area A in the image is a plurality of lamps, it is difficult to identify each lamp, and it is easy to identify the surrounding situation.
  • the driving support process_1 executed by the image processing apparatus 1 will be described with reference to the flowchart of FIG. This process is repeatedly executed when the image processing apparatus 1 is powered on.
  • the CPU 101 acquires images of the scenery on the right rear side and the right side of the host vehicle taken by the right rear side camera 11. Thereafter, the process proceeds to S110.
  • the CPU 101 acquires an exposure time T when the right rear side camera 11 acquires an image.
  • the exposure time T is an example of a parameter related to the brightness of the right rear side camera 11.
  • a lens aperture or a gamma correction value may be acquired and used. Thereafter, the process proceeds to S115.
  • the CPU 101 acquires the operation mode, and proceeds to S120.
  • the initial setting of the operation mode may be either the separable mode or the non-separable mode.
  • the CPU 101 determines whether or not the operation mode acquired in S115 is a separable mode. When it is determined that the operation mode is the separable mode, the process proceeds to S125. If it is determined that the operation mode is the non-separable mode, the process proceeds to S140.
  • the CPU 101 determines whether the image acquired in S105 is in an indistinguishable state.
  • the indistinguishable state refers to a state in which a plurality of lamps appearing in an image cannot be individually identified on the display unit. Specifically, it is determined whether or not the exposure time T acquired in S110 is greater than or equal to a reference value + ⁇ .
  • the reference value + ⁇ is a preset value.
  • the exposure time T corresponds to a lightness affecting factor.
  • the reference value + ⁇ corresponds to the time determination value and the identification determination condition. ⁇ is a positive correction value.
  • the reason why the correction value ⁇ is set in this way and the correction value ⁇ is also set in S140, which will be described later, is to prevent a situation where the operation mode is frequently switched due to the exposure time T going up and down around the reference value + ⁇ . . If it is determined that the exposure time T is greater than or equal to the reference value + ⁇ , it is determined that the state cannot be identified, and the process proceeds to S130 in order to switch the operation mode. If it is determined that the exposure time T is less than the reference value + ⁇ , it is determined that it can be identified, and the process proceeds to S155. In this case, the separable mode is continued.
  • the identifiable state refers to a state in which each of a plurality of lamps shown in an image can be identified on the display unit. In S130, the CPU 101 switches the operation mode from the separable mode to the non-separable mode. Thereafter, the process proceeds to S135.
  • the CPU 101 notifies the driver that it is in an indistinguishable state. Specifically, the CPU 101 outputs information indicating that it is in an indistinguishable state to the audio output device 37 via the communication bus 31. The sound output device 37 outputs sound according to the information input from the image processing apparatus 1. Thereafter, the process proceeds to S155.
  • the CPU 101 determines whether or not the image acquired in S105 is in an identifiable state. Specifically, it is determined whether or not the exposure time T acquired in S110 is less than or equal to a reference value ⁇ . ⁇ is a positive correction value. If it is determined that the exposure time T is equal to or less than the reference value ⁇ , it is determined that the exposure time T is in an identifiable state, and the process proceeds to S145 in order to switch the operation mode. If it is determined that the exposure time T is greater than the reference value ⁇ , it is determined that the state cannot be identified, and the process proceeds to S150. In this case, the non-separable mode is continued.
  • the CPU 101 switches the operation mode from the non-separable mode to the separable mode, and proceeds to S155.
  • the CPU 101 notifies the driver again that it is in an indistinguishable state. Specifically, the CPU 101 outputs information indicating that it is in an indistinguishable state to the audio output device 37 via the communication bus 31.
  • the sound output device 37 outputs sound according to the information input from the image processing apparatus 1. Thereafter, the process proceeds to S155.
  • the CPU 101 outputs the image captured by the right rear side camera 11 to the right rear side monitor 21.
  • the CPU 101 performs a process of darkening the image by shortening the exposure time T of the camera as compared with the normal setting.
  • the CPU 101 performs a process of brightening the image by increasing the exposure time T of the camera as compared with the normal setting time.
  • the right rear side monitor 21 displays an image input from the image processing apparatus 1. Thereafter, the CPU 101 ends this process once.
  • the exposure time T when the camera acquires an image is used as a lightness affecting factor, and the image obtained by capturing the surroundings of the host vehicle is in an identifiable state or an indistinguishable state. Determine if there is.
  • the second embodiment is different from the first embodiment in that the illuminance L around the vehicle is used as a lightness influence factor to determine whether the image is in an identifiable state or an indistinguishable state. To do.
  • This process is repeatedly executed when the image processing apparatus 1 is powered on.
  • the driving support process_1 only the process as an electronic mirror including the right rear side camera 11 and the right rear side monitor 21 will be described, and description of other processes will be omitted.
  • step S ⁇ b> 205 the CPU 101 acquires landscape images on the right rear side and the right side of the host vehicle captured by the right rear side camera 11. Thereafter, the process proceeds to S210. In S210, the CPU 101 acquires the illuminance L around the vehicle detected by the illuminance sensor 33. Thereafter, the process proceeds to S215.
  • the CPU 101 acquires the operation mode, and proceeds to S220.
  • the initial setting of the operation mode may be either the separable mode or the non-separable mode.
  • the CPU 101 determines whether or not the operation mode acquired in S215 is a separable mode. When it is determined that the operation mode is the separable mode, the process proceeds to S225. If it is determined that the operation mode is the non-separable mode, the process proceeds to S240.
  • the CPU 101 determines whether the image acquired in S205 is in an indistinguishable state. Specifically, it is determined whether or not the ambient illuminance L acquired in S210 is greater than or equal to a reference value ⁇ .
  • the reference value - ⁇ is a preset value.
  • the ambient illuminance L corresponds to a lightness affecting factor.
  • the reference value - ⁇ corresponds to the illuminance determination value and the identification determination condition.
  • ⁇ is a positive correction value. The reason why the correction value ⁇ is set in this way and the correction value ⁇ is also set in S240 described later is to prevent the operation mode from being frequently switched due to the surrounding illuminance L going up and down around the reference value ⁇ . .
  • the process proceeds to S230 to switch the operation mode. If it is determined that the ambient illuminance L is less than the reference value ⁇ , it is determined that the ambient illuminance L is in an identifiable state, and the process proceeds to S255. In this case, the separable mode is continued.
  • the CPU 101 switches the operation mode from the separable mode to the non-separable mode, and proceeds to S235.
  • the CPU 101 notifies the driver that it is in an indistinguishable state. Specifically, the CPU 101 outputs information indicating that it is in an indistinguishable state to the audio output device 37 via the communication bus 31.
  • the sound output device 37 outputs sound according to the information input from the image processing apparatus 1. Thereafter, the process proceeds to S255.
  • the CPU 101 determines whether or not the ambient illuminance L is greater than or equal to the reference value + ⁇ . ⁇ is a positive correction value. If it is determined that the ambient illuminance L is greater than or equal to the reference value + ⁇ , it is determined that the ambient illuminance L is in an identifiable state, and the process proceeds to S245 to switch the operation mode. If it is determined that the ambient illuminance L is less than the reference value + ⁇ , it is determined that it is in an indistinguishable state, and the process proceeds to S250. In this case, the non-separable mode is continued.
  • the CPU 101 switches the operation mode from the non-separable mode to the separable mode, and proceeds to S255.
  • the CPU 101 notifies the driver again that it is in an indistinguishable state. Specifically, the CPU 101 outputs information indicating that it is in an indistinguishable state to the audio output device 37 via the communication bus 31.
  • the sound output device 37 outputs sound according to the information input from the image processing apparatus 1. Thereafter, the process proceeds to S255.
  • the CPU 101 outputs the image to the right rear side monitor 21. Specifically, the CPU 101 outputs an image captured by the right rear side camera 11 to the right rear side monitor 21. At this time, when the operation mode is the separable mode, the CPU 101 performs a process of darkening the image by shortening the exposure time T of the camera as compared with the normal setting. When the operation mode is the non-separable mode, the CPU 101 performs a process of brightening the image by increasing the exposure time T of the camera as compared with the normal setting time. The right rear side monitor 21 displays an image input from the image processing apparatus 1. Thereafter, the CPU 101 ends this process once.
  • the exposure time T when the camera acquires an image is used as a lightness affecting factor to determine whether the image is in an identifiable state or an indistinguishable state.
  • the third embodiment is different from the first embodiment in that the brightness distribution in the image is used as a lightness affecting factor to determine whether the image is in an identifiable state or an indistinguishable state. .
  • This process is repeatedly executed when the image processing apparatus 1 is powered on.
  • the driving support process_1 only the process as an electronic mirror including the right rear side camera 11 and the right rear side monitor 21 will be described, and description of other processes will be omitted.
  • the CPU 101 acquires images of the scenery on the right rear side and the right side of the host vehicle taken by the right rear side camera 11.
  • the exposure time T is set to be the shortest in the settable range.
  • the CPU 101 specifies the position of the light source that appears in the image, and proceeds to S315. For example, a point in the image having a luminance that is equal to or higher than a preset threshold and having a maximum luminance from the luminance distribution of the image on the XY coordinates as the X-axis in the horizontal direction and the Y-axis in the vertical direction is a light source. Specify as the position of.
  • the CPU 101 acquires images of the scenery on the right rear side and the right side of the host vehicle taken by the right rear side camera 11.
  • the exposure time T there is no particular limitation on the exposure time T. Thereafter, the process proceeds to S320.
  • the CPU 101 acquires the luminance distribution around the position on the image acquired in S315 corresponding to the position of the light source specified in S310 as the luminance distribution of the light source. Further, the CPU 101 calculates PLSDF and PLSCF representing the characteristics of the distribution based on the acquired luminance distribution of the light source, and proceeds to S325.
  • the luminance distribution of the light source corresponds to a lightness affecting factor.
  • PLSDF is an abbreviation for Point Light Source Detection Factor.
  • PLSCF is an abbreviation of Point Light Source Contrast Factor.
  • PLSDF is calculated by the following equation (1)
  • PLSCF is calculated by the following equation (2).
  • SH is the width along the X-axis direction of the region including the position of the light source specified in S310 and having a luminance value equal to or greater than a preset first predetermined value, that is, the light source.
  • the width of SV is the width of a region where the luminance value is equal to or greater than a predetermined second predetermined value on an axis along the Y-axis direction passing through the center of the lateral width of the light source, that is, the vertical width of the light source.
  • the second predetermined value is set to a value smaller than the first predetermined value.
  • the first predetermined value is set to 0.5 times larger than LH and max, which will be described later, and the second predetermined value is set to 0.5 times larger than LV and max, which will be described later. Also good.
  • LH and max are the maximum luminance values within the lateral width SH of the light source.
  • LH, min is a minimum value of the luminance value within the lateral width SH of the light source.
  • LV, max is the maximum luminance value within the vertical width SV of the light source.
  • the CPU 101 acquires the operation mode, and proceeds to S330.
  • the initial setting of the operation mode may be either the separable mode or the non-separable mode.
  • the CPU 101 determines whether or not the operation mode acquired in S325 is a separable mode. If it is determined that the operation mode is the separable mode, the process proceeds to S335. If it is determined that the operation mode is the non-separable mode, the process proceeds to S350.
  • the CPU 101 determines whether the image acquired in S315 is in an indistinguishable state. Specifically, based on the PLSDF and PLSCF calculated in S320, the CPU 101 determines whether one of PLSDF- ⁇ > F1 or PLSCF- ⁇ > F2 is satisfied.
  • F1 is a first reference value
  • F2 is a second reference value.
  • F1 and F2 are both preset values.
  • the first reference value F1 and the second reference value F2 correspond to the distribution determination condition and the identification determination condition.
  • ⁇ is a positive correction value.
  • ⁇ is a positive correction value.
  • the correction value ⁇ is set in this way, and the correction value ⁇ is also set in S350, which will be described later, in order to prevent a situation where the operation mode is frequently switched due to the PLSDF- ⁇ going up and down near the first reference value F1. is there.
  • the correction value ⁇ is set and the correction value ⁇ is also set in S350, which will be described later, in order to prevent a situation where the operation mode is frequently switched due to the PLSCF- ⁇ moving up and down near the second reference value F2. is there.
  • the CPU 101 switches the operation mode from the separable mode to the non-separable mode, and proceeds to S345.
  • the CPU 101 notifies the driver that it is in an indistinguishable state. Specifically, the CPU 101 outputs information indicating that it is in an indistinguishable state to the audio output device 37 via the communication bus 31.
  • the sound output device 37 outputs sound according to the information input from the image processing apparatus 1. Thereafter, the process proceeds to S365.
  • the CPU 101 determines whether either PLSDF + ⁇ > F1 or PLSCF + ⁇ > F2 is satisfied based on the PLSDF and PLSCF calculated in S320.
  • ⁇ is a positive correction value.
  • ⁇ is a positive correction value.
  • the CPU 101 switches the operation mode from the non-separable mode to the separable mode, and proceeds to S365.
  • the CPU 101 notifies the driver again that the non-separable mode is continuing.
  • the CPU 101 outputs information indicating that the mode is the non-separable mode to the audio output device 37 via the communication bus 31.
  • the sound output device 37 outputs sound according to the information input from the image processing apparatus 1. Thereafter, the process proceeds to S365.
  • the CPU 101 outputs the image to the right rear side monitor 21. Specifically, the CPU 101 outputs an image captured by the right rear side camera 11 to the right rear side monitor 21. At this time, when the operation mode is the separable mode, the CPU 101 performs a process of darkening the image by shortening the exposure time T of the camera as compared with the normal setting. When the operation mode is the non-separable mode, the CPU 101 performs a process of brightening the image by increasing the exposure time T of the camera as compared with the normal setting time. The right rear side monitor 21 displays an image input from the image processing apparatus 1. Thereafter, the CPU 101 ends this process once.
  • the CPU 101 switches between the two operation modes depending on the situation, but the present disclosure is not limited to this. You may make it switch two operation modes by switch operation of a driver.
  • the exposure time T of the camera is shortened compared to the normal setting, but the present disclosure is not limited to this.
  • the image may be darkened by reducing the lens aperture of the camera compared to the normal setting.
  • the image may be darkened by applying gamma correction to ⁇ ⁇ 1. Further, the image may be darkened by applying brightness correction to minus.
  • the exposure time T of the camera 11 is set longer than the normal setting in order to brighten the image in the non-separable mode, but the present disclosure is not limited to this.
  • the image may be brightened by opening the lens aperture of the camera as compared to the normal setting. Further, the image may be brightened by applying gamma correction to ⁇ > 1. Further, the image may be brightened by applying brightness correction to plus.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment.
  • all the aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.
  • an image processing device constituting the driving support system, a program for causing a computer to function as the driving support system, a program for causing a computer to function as the image processing device, these
  • the present disclosure can also be realized in various forms such as a non-transition actual recording medium such as a semiconductor memory in which a program is recorded, a driving support method, and an image processing method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

取得部（Ｓ１０５）が、自車両の周囲の画像を取得する。表示部（Ｓ１５５）が、取得部によって取得された画像を表示する。検出部（Ｓ１１０）が、画像全体の明度に影響を及ぼす要因である明度影響要因を検出する。判断部（Ｓ１２５、Ｓ１４０）が、検出部によって検出された明度影響要因が予め設定された識別判断条件を不充足である場合に、画像に写る複数の灯火器のそれぞれを表示部上において識別不能な状態である識別不能状態と判断する。報知部（Ｓ１３５、Ｓ１５０）が、判断部によって識別不能状態と判断された場合に、その旨を報知する。

Description

運転支援システム、運転支援方法 関連出願の相互参照
　本国際出願は、２０１７年１月２３日に日本国特許庁に出願された日本国特許出願第２０１７－００９６５８号に基づく優先権を主張するものであり、日本国特許出願第２０１７－００９６５８号の全内容を参照により本国際出願に援用する。
　本開示は、運転支援システムおよび運転支援方法に関する。
　下記特許文献１には、自車両の周囲を撮像した画像を車室内に設けられた表示装置に表示することで、運転者の運転操作を支援する電子ミラーなどの運転支援システムが記載されている。
特開２０１５－１９８３０２号公報
　発明者の詳細な検討の結果、特許文献１には、以下の課題が見出された。
　即ち、運転支援システムの一例である電子ミラーに関しては、画像に写る、自動四輪車と自動二輪車とを区別するための動作モード（以下、分離可能モード）を備えることが法規で定められている。自動四輪車は、前部左右の二箇所に前照灯を備え、自動二輪車は、前部中央の一箇所に前照灯を備える。自動四輪車の前部左右の二箇所の前照灯のそれぞれから照射された光が、画像上で繋がって見えると、自動二輪車の一つの前照灯から照射された光であると誤認されるおそれがある。そこで、分離可能モードでは、自動四輪車の前部左右の二箇所にある前照灯が画面上で識別可能となるように画面を暗くする。また、法規には、分離可能モード以外の動作モードで動作している場合にはその旨を運転者に通知することも定められている。
　なお、分離可能モードは、あくまで法規で定められた試験環境下で、画像に写る前照灯を二灯に識別可能であることを保証するだけであり、実使用環境下で識別可能であることを保証するものではない。このため分離可能モードで動作しているにも関わらず、画像に写る前照灯を二灯に識別できない状態が起こりうる。この場合、運転手が自動二輪車と自動四輪車を誤判断するおそれがある。
　このことは、自動四輪車の前照灯に限らず、自車両の周囲を撮像した画像に写る複数の灯火器を識別する必要がある場合も同様である。また、電子ミラーに限らず、運転支援システム全般においても同様である。
　本開示の一局面は、自車両の周囲を撮像した画像に写る複数の灯火器が識別不能なことに基づく運転者の誤判断を抑制する技術を提供する。
　本開示の一態様は、取得部と、表示部と、検出部と、判断部と、報知部と、を備える運転支援システムである。
　取得部が、自車両の周囲の画像を取得する。
　表示部が、取得部によって取得された画像を表示する。
　検出部が、画像全体の明度に影響を及ぼす要因である明度影響要因を検出する。
　判断部が、明度影響要因が予め設定された識別判断条件を不充足である場合に、識別不能状態であると判断する。識別不能状態は、画像に写る複数の灯火器のそれぞれを表示部上において識別不能な状態を云う。
　本開示の運転支援システムによれば、判断部が、画像全体の明度に影響を及ぼす要因を用いることにより、自車両の周囲を撮像した画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示できるか否かを判断する。
　そして、報知部が、判断部によって識別不能状態と判断された場合にその旨を報知する。従って、画像に写る灯火器の数が実際とは異なる可能性があることを運転者に認識させることができ、運転者により運転状況が誤判断されることを抑制できる。
　なお、請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
画像処理装置１及び運転支援システム２の構成を表すブロック図である。 運転支援処理＿１のフローチャートである。 運転支援処理＿１の説明図である。 運転支援処理＿１の説明図である。 運転支援処理＿１の説明図である。 運転支援処理＿２のフローチャートである。 運転支援処理＿３のフローチャートである。 運転支援処理＿３で使用されるＰＬＳＤＦの算出に関わる説明図である。 運転支援処理＿３で使用されるＰＬＳＣＦの算出に関わる説明図である。
　以下、図面を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］
　［１－１．構成］
　図１に示すように、運転支援システム２は、画像処理装置１を備える。画像処理装置１は、車両に搭載されるＥＣＵである。ＥＣＵは、Electronic Control Unitの略である。画像処理装置１は、ＣＰＵ１０１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ１０３と、を有する周知のマイクロコンピュータを備える。画像処理装置１の各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理装置１は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。また、画像処理装置１は、多数の論理回路を含むデジタル回路によって実現されてもよいし、デジタル回路とアナログ回路の組合せによって実現されても良い。
　運転支援システム２は、画像処理装置１に加えて、右後側方カメラ１１、左後側方カメラ１３、後方カメラ１５、右後側方モニタ２１、左後側方モニタ２３および後方モニタ２５を備えてもよい。
　右後側方カメラ１１、左後側方カメラ１３および後方カメラ１５は、カメラおよび取得部に該当する。右後側方モニタ２１、左後側方モニタ２３および後方モニタ２５は、表示部に該当する。
　右後側方カメラ１１は、例えば、車両の右ドアミラーに設けられ、自車両の右後方および右側方の風景を撮影する。右後側方カメラ１１は、撮影により得られた画像を画像処理装置１に出力する。左後側方カメラ１３は、例えば、車両の左ドアミラーに設けられ、自車両の左後方および左側方の風景を撮影する。左後側方カメラ１３は、撮影により得られた画像を画像処理装置１に出力する。後方カメラ１５は、例えば、自車両の後端に設けられ、自車両の後方の風景を撮影する。後方カメラ１５は、撮影により得られた画像を画像処理装置１に出力する。なお、自車両にドアミラーが装着されていない場合、右後側方カメラ１１および左後側方カメラ１３は、ステーで自車両に取り付けられたり、自車両の車体に埋め込まれたりしてもよい。
　右後側方モニタ２１は、液晶ディスプレイ等を有し、例えば、車両の室内において右フロントピラーの付近に設けられる。右後側方モニタ２１は、右後側方カメラ１１で撮影された画像を表示する。よって、右後側方カメラ１１および右後側方モニタ２１は、電子ミラーとして機能する。なお、右後側方モニタ２１はインストルメントパネル内に配置されてもよい。
　左後側方モニタ２３は、液晶ディスプレイ等を有し、例えば、車両の室内において左フロントピラーの付近に設けられる。左後側方モニタ２３は、左後側方カメラ１３で撮影された画像を表示する。よって、左後側方カメラ１３および左後側方モニタ２３は、電子ミラーとして機能する。なお、左後側方モニタ２３はインストルメントパネル内に配置されてもよい。
　後方モニタ２５は、液晶ディスプレイ等を有し、例えば、ルームミラーの位置に設けられる。後方モニタ２５は、後方カメラ１５で撮影された画像を表示する。よって、後方カメラ１５および後方モニタ２５は、電子ミラーとして機能する。なお、後方モニタ２５はインストルメントパネル内に配置されてもよい。
　また、運転支援システム２に属する画像処理装置１は、通信バス３１を介して、照度センサ３３、他表示デバイス３５および音声出力デバイス３７と接続される。
　照度センサ３３は、車両の周囲の照度を検出する。照度センサ３３は、通信バス３１を介して、他の構成と各種情報の送受信を行う。照度センサ３３は、車両の周囲の照度を示す情報を、通信バス３１を介して、画像処理装置１に出力する。画像処理装置１は、照度センサ３３から入力された情報を用いて、各種処理を実行する。
　他表示デバイス３５は、例えば、各種情報を表示するメータ等を含む。他表示デバイス３５は、通信バス３１を介して、他の構成と各種情報の送受信を行う。画像処理装置１は、通信バス３１を介して、表示画面に表示させる情報等を他表示デバイス３５に出力する。他表示デバイス３５は、画像処理装置１から入力された情報を表示する。
　音声出力デバイス３７は、各種音声を出力するスピーカ等を有する。音声出力デバイス３７は、通信バス３１を介して、他の構成と各種情報の送受信を行う。画像処理装置１は、通信バス３１を介して、音声等を表す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報に従って音声等を出力する。
　図３に、右後側方モニタ２１が、右後側方カメラ１１で撮影された画像を表示する例を示す。この例では、画像中には、自車両Ｖの一部と共に、所定領域Ａに後続車両の前照灯などの光源Ｓが写っている。この後続車両が、図４に例示するような、前部左右の二箇所に前照灯５１，５２を備える自動四輪車５０である場合、図３に示す所定領域Ａには、光源Ｓとして、二つの灯火器５１，５２が写る。一方、この後続車両が、図５に例示するような、前部中央の一箇所に前照灯６１を備える自動二輪車６０である場合、図３に示す所定領域Ａには、光源Ｓとして、一つの灯火器６１が写る。
　画像処理装置１は、二つの動作モードを有する。第１の動作モードを分離可能モードとよび、第２の動作モードを分離不可モードとよぶ。
　このうちの分離可能モードでは、画像処理装置１は、画像を暗くする処理を実行する。その結果、画像中の所定領域Ａに写る光源Ｓが複数の灯火器である場合、それぞれの灯火器が分離して見えるため識別し易くなる。また、分離不可モードでは、画像処理装置１は、画像を明るくする処理を実行する。その結果、画像中の所定領域Ａに写る光源Ｓが複数の灯火器である場合、それぞれの灯火器が識別しにくくなる一方、周囲の状況が識別し易くなる。
　［１－２．処理］
　画像処理装置１が実行する運転支援処理＿１について、図２のフローチャートを用いて説明する。
　本処理は、画像処理装置１の電源がオンである場合に繰り返し実行される。
　最初のステップＳ１０５では、ＣＰＵ１０１が、右後側方カメラ１１が撮影した自車両の右後方および右側方の風景の画像を取得する。その後、Ｓ１１０に移行する。
　Ｓ１１０では、ＣＰＵ１０１が、右後側方カメラ１１が画像を取得した際の露光時間Ｔを取得する。露光時間Ｔは、右後側方カメラ１１の明るさに関するパラメータの一例である。露光時間Ｔの代わりに、レンズの絞りやガンマ補正値を取得して用いても良い。その後、Ｓ１１５に移行する。
　Ｓ１１５では、ＣＰＵ１０１が、動作モードを取得して、Ｓ１２０に移行する。動作モードの初期設定は、分離可能モード及び分離不能モードの何れでもよい。
　Ｓ１２０では、ＣＰＵ１０１が、Ｓ１１５にて取得された動作モードが分離可能モードであるか否かを判断する。動作モードが分離可能モードであると判断された場合には、Ｓ１２５に移行する。動作モードが分離不可モードであると判断された場合には、Ｓ１４０に移行する。
　Ｓ１２５では、ＣＰＵ１０１が、Ｓ１０５で取得した画像が識別不能状態であるか否かを判断する。識別不能状態とは、画像に写る複数の灯火器を、表示部上において個別に識別することが不能な状態のことをいう。具体的には、Ｓ１１０にて取得した露光時間Ｔが基準値＋α以上であるか否かを判断する。基準値＋αは予め設定される値である。露光時間Ｔは、明度影響要因に該当する。基準値＋αは時間判定値および識別判断条件に該当する。αは正の補正値である。このように補正値αを設定するとともに、後述するＳ１４０でも補正値βを設定するのは、露光時間Ｔが基準値＋α付近で上下することにより、動作モードが頻繁に切り替わる事態を防ぐためである。露光時間Ｔが基準値＋α以上であると判断された場合には、識別不能状態と判断し、動作モードの切り替えを行うためにＳ１３０に移行する。露光時間Ｔが基準値＋α未満であると判断された場合には、識別可能状態と判断し、Ｓ１５５に移行する。この場合、分離可能モードが継続される。識別可能状態とは、画像に写る複数の灯火器のそれぞれを、表示部上において識別することが可能な状態のことをいう。
　Ｓ１３０では、ＣＰＵ１０１が、動作モードを分離可能モードから分離不可モードに切り替える。その後、Ｓ１３５に移行する。
　Ｓ１３５では、ＣＰＵ１０１が、識別不能状態である旨をドライバに通知する。具体的には、ＣＰＵ１０１が、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報に従って音声を出力する。その後、Ｓ１５５に移行する。
　Ｓ１４０では、ＣＰＵ１０１が、Ｓ１０５にて取得した画像が識別可能状態であるか否かを判断する。具体的には、Ｓ１１０にて取得した露光時間Ｔが基準値－β以下であるか否かを判断する。βは正の補正値である。露光時間Ｔが基準値－β以下であると判断された場合には、識別可能状態であると判断し、動作モードの切り替えを行うためにＳ１４５に移行する。露光時間Ｔが基準値－βよりも大きいと判断された場合には、識別不能状態であると判断し、Ｓ１５０に移行する。この場合、分離不可モードが継続される。
　Ｓ１４５では、ＣＰＵ１０１が、動作モードを、分離不可モードから分離可能モードに切り替えて、Ｓ１５５に移行する。
　Ｓ１５０では、ＣＰＵ１０１が、識別不能状態である旨をドライバに再度通知する。具体的には、ＣＰＵ１０１が、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報に従って音声を出力する。その後、Ｓ１５５に移行する。
　Ｓ１５５では、ＣＰＵ１０１が、右後側方カメラ１１が撮影した画像を、右後側方モニタ２１に出力する。このとき、動作モードが分離可能モードである場合には、ＣＰＵ１０１が、カメラの露光時間Ｔを通常の設定時に比べて短くすることにより画像を暗くする処理を行う。また、動作モードが分離不可モードである場合には、ＣＰＵ１０１が、カメラの露光時間Ｔを通常の設定時に比べて長くすることにより画像を明るくする処理を行う。右後側方モニタ２１は、画像処理装置１から入力された画像を表示する。その後、ＣＰＵ１０１は、本処理を、一旦終了する。
　［１－３．効果］
　以上詳述した第１実施形態によれば、カメラが画像を取得した際の露光時間Ｔを明度影響要因として用いて、自車両の周囲を撮像した画像が識別可能状態であるか識別不能状態であるかを判断する。
　そして、識別不能状態であると判断された場合にその旨を報知するので、画像に写る複数の灯火器が、それぞれを識別可能な状態で表示されていない可能性があることを運転者に認識させることができる。その結果、カメラ画像に基づいて運転者が運転状況を誤判断することを抑制できる。
［２．第２実施形態］
　［２－１．第１実施形態との相違点］
　第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。
　前述した第１実施形態では、カメラが画像を取得した際の露光時間Ｔを明度影響要因として用いて、画像が識別可能状態にあるか識別不能状態にあるかを判断する。これに対し、第２実施形態では、車両の周囲の照度Ｌを明度影響要因として用いて、画像が識別可能状態にあるか識別不能状態にあるかを判断する点で、第１実施形態と相違する。
　［２－２．処理］
　次に、第２実施形態の画像処理装置１のＣＰＵ１０１が、図２に示す第１実施形態の運転支援処理＿１に代えて実行する運転支援処理＿２について、図６のフローチャートを用いて説明する。
　本処理は、画像処理装置１の電源がオンである場合に繰り返し実行される。
　以下の説明では、運転支援処理＿１の場合と同様に、右後側方カメラ１１および右後側方モニタ２１からなる電子ミラーとしての処理のみを説明し、その他の処理の説明は省略する。
　最初のステップＳ２０５では、ＣＰＵ１０１が、右後側方カメラ１１が撮影した自車両の右後方および右側方の風景の画像を取得する。その後、Ｓ２１０に移行する。
　Ｓ２１０では、ＣＰＵ１０１が、照度センサ３３が検出した車両の周囲の照度Ｌを取得する。その後、Ｓ２１５に移行する。
　Ｓ２１５では、ＣＰＵ１０１が、動作モードを取得して、Ｓ２２０に移行する。動作モードの初期設定は、分離可能モード及び分離不可モードのいずれでもよい。
　Ｓ２２０では、ＣＰＵ１０１が、Ｓ２１５で取得した動作モードが分離可能モードであるか否かを判断する。動作モードが分離可能モードであると判断された場合には、Ｓ２２５に移行する。動作モードが分離不能モードであると判断された場合には、Ｓ２４０に移行する。
　Ｓ２２５では、ＣＰＵ１０１が、Ｓ２０５で取得した画像が、識別不能状態であるか否かを判断する。具体的には、Ｓ２１０で取得した周辺照度Ｌが基準値－α以上であるか否かを判断する。基準値－αは予め設定される値である。周辺照度Ｌは、明度影響要因に該当する。基準値－αは照度判定値および識別判断条件に該当する。αは正の補正値である。このように補正値αを設定するとともに、後述するＳ２４０でも補正値βを設定するのは、周辺照度Ｌが基準値－α付近で上下することで動作モードが頻繁に切り替わる事態を防ぐためである。周辺照度Ｌが基準値－α以上であると判断された場合には、識別不能状態であると判断し、動作モードの切り替えを行うためにＳ２３０に移行する。周辺照度Ｌが基準値－α未満であると判断された場合には、識別可能状態であると判断し、Ｓ２５５に移行する。この場合、分離可能モードが継続される。
　Ｓ２３０では、ＣＰＵ１０１が、動作モードを、分離可能モードから分離不可モードに切り替えて、Ｓ２３５に移行する。
　Ｓ２３５では、ＣＰＵ１０１が、識別不能状態である旨をドライバに通知する。具体的には、ＣＰＵ１０１が、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報に従って音声を出力する。その後、Ｓ２５５に移行する。
　Ｓ２４０では、ＣＰＵ１０１が、周辺照度Ｌが基準値＋β以上であるか否かを判断する。βは正の補正値である。周辺照度Ｌが基準値＋β以上であると判断された場合には、識別可能状態であると判断し、動作モードの切り替えを行うために、Ｓ２４５に移行する。周辺照度Ｌが基準値＋β未満であると判断された場合には、識別不能状態であると判断し、Ｓ２５０に移行する。この場合、分離不可モードが継続される。
　Ｓ２４５では、ＣＰＵ１０１が、動作モードを、分離不可モードから分離可能モードに切り替えて、Ｓ２５５に移行する。
　Ｓ２５０では、ＣＰＵ１０１が、識別不能状態である旨をドライバに再度通知する。具体的には、ＣＰＵ１０１が、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報に従って音声を出力する。その後、Ｓ２５５に移行する。
　Ｓ２５５では、ＣＰＵ１０１が、画像を右後側方モニタ２１に出力する。具体的には、ＣＰＵ１０１が、右後側方カメラ１１が撮影した画像を、右後側方モニタ２１に出力する。このとき、動作モードが分離可能モードである場合には、ＣＰＵ１０１が、カメラの露光時間Ｔを通常の設定時に比べて短くすることにより画像を暗くする処理を行う。また、動作モードが分離不可モードである場合には、ＣＰＵ１０１が、カメラの露光時間Ｔを通常の設定時に比べて長くすることにより画像を明るくする処理を行う。右後側方モニタ２１は、画像処理装置１から入力された画像を表示する。その後、ＣＰＵ１０１は、本処理を一旦終了する。
　［２－３．効果］
　以上詳述した第２実施形態によれば、車両の周囲の照度Ｌを明度影響要因として用いることにより、自車両の周囲を撮像した画像が認識可能状態であるか認識不能状態であるかを判断する。
　そして、識別不能状態であると判断された場合にその旨を報知するので、画像に写る複数の灯火器が、それぞれを識別可能な状態で表示されていない可能性があることを運転者に認識させることができる。その結果、カメラ画像に基づいて運転者が運転状況を誤判断することを抑制できる。
　［３．第３実施形態］
　［３－１．第１実施形態との相違点］
　第３実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。
　前述した第１実施形態では、カメラが画像を取得した際の露光時間Ｔを明度影響要因として用いて、画像が識別可能状態であるか識別不能状態であるかを判断する。これに対し、第３実施形態では、画像中の輝度分布を明度影響要因として用いて、画像が識別可能状態であるか識別不能状態であるかを判断する点で、第１実施形態と相違する。
　［３－２．処理］
　次に、第３実施形態の画像処理装置１のＣＰＵ１０１が、図２に示す第１実施形態の運転支援処理＿１に代えて実行する運転支援処理＿３について、図７のフローチャートを用いて説明する。
　本処理は、画像処理装置１の電源がオンである場合に繰り返し実行される。
　以下の説明では、運転支援処理＿１の場合と同様に、右後側方カメラ１１および右後側方モニタ２１からなる電子ミラーとしての処理のみを説明し、その他の処理の説明は省略する。
　最初のステップＳ３０５では、ＣＰＵ１０１が、右後側方カメラ１１が撮影した自車両の右後方および右側方の風景の画像を取得する。ここでは、露光時間Ｔが設定可能な範囲のうち最も短くなるよう設定する。その後、Ｓ３１０に移行する。
　Ｓ３１０では、ＣＰＵ１０１が、画像に写る光源の位置を特定して、Ｓ３１５に移行する。例えば、画像中に横方向のＸ軸および縦方向のＹ軸として、ＸＹ座標上での画像の輝度分布から、予め設定された閾値以上の輝度を有し、且つ輝度が極大となる地点を光源の位置として特定する。
　Ｓ３１５では、ＣＰＵ１０１が、右後側方カメラ１１が撮影した自車両の右後方および右側方の風景の画像を取得する。ここでは、露光時間Ｔに関して特に制限も設けない。その後、Ｓ３２０に移行する。
　Ｓ３２０では、ＣＰＵ１０１が、Ｓ３１０で特定した光源の位置に対応する、Ｓ３１５で取得した画像上の位置周辺の輝度分布を、光源の輝度分布として取得する。更に、ＣＰＵ１０１は、取得した光源の輝度分布に基づいて分布の特徴を表すＰＬＳＤＦ及びＰＬＳＣＦを算出して、Ｓ３２５に移行する。光源の輝度分布は、明度影響要因に該当する。ＰＬＳＤＦは、Point Light Source Detection Factorの略である。ＰＬＳＣＦは、Point Light Source Contrast Factorの略である。
　ＰＬＳＤＦは、次の式（１）で算出され、ＰＬＳＣＦは、次の式（２）で算出される。
Figure JPOXMLDOC01-appb-M000001
 　図８に示すように、ＳＨは、Ｓ３１０で特定された光源の位置を含み、かつ、輝度値が予め設定された第一所定値以上となる領域のＸ軸方向に沿った幅、即ち、光源の横幅である。ＳＶは、光源の横幅の中心を通るＹ軸方向に沿った軸上で、輝度値が予め設定された第二所定値以上となる領域の幅、即ち、光源の縦幅である。なお、第二所定値は、第一所定値よりも小さい値に設定される。なお、第一所定値は、例えば、後述するＬＨ，ｍａｘの０．５倍の大きさに、第二所定値は、例えば、後述するＬＶ，ｍａｘの０．５倍の大きさに設定してもよい。
　図８及び図９に示すように、ＬＨ，ｍａｘは、光源の横幅ＳＨ内での輝度値の最大値である。ＬＨ，ｍｉｎは、光源の横幅ＳＨ内での輝度値の極小値である。ＬＶ，ｍａｘは、光源の縦幅ＳＶ内での輝度値の最大値である。
　Ｓ３２５では、ＣＰＵ１０１が、動作モードを取得し、Ｓ３３０に移行する。動作モードの初期設定は、分離可能モード及び分離不可モードのいずれでもよい。
　Ｓ３３０では、ＣＰＵ１０１が、Ｓ３２５で取得した動作モードが分離可能モードであるか否かを判断する。動作モードが分離可能モードであると判断された場合には、Ｓ３３５に移行する。動作モードが分離不可モードであると判断された場合には、Ｓ３５０に移行する。
　Ｓ３３５では、ＣＰＵ１０１が、Ｓ３１５で取得した画像が識別不能状態であるか否かを判断する。具体的には、Ｓ３２０にて算出されたＰＬＳＤＦ及びＰＬＳＣＦに基づき、ＰＬＳＤＦ－α＞Ｆ１、または、ＰＬＳＣＦ－β＞Ｆ２、の何れか一方を満たしているか否かをＣＰＵ１０１が判断する。Ｆ１は第一基準値であり、Ｆ２は第二基準値である。Ｆ１、Ｆ２はいずれも予め設定される値である。本実施形態では、第一基準値がＦ１＝２．７に設定されるとともに、第二基準値がＦ２＝１．２に設定されている。第一基準値Ｆ１および第二基準値Ｆ２は、分布判定条件および識別判断条件に該当する。αは正の補正値である。βは正の補正値である。このように補正値αを設定するとともに、後述するＳ３５０でも補正値γを設定するのは、ＰＬＳＤＦ－αが第１基準値Ｆ１付近で上下することにより動作モードが頻繁に切り替わる事態を防ぐためである。同様に、補正値βを設定するとともに、後述するＳ３５０でも補正値δを設定するのは、ＰＬＳＣＦ－βが第２基準値Ｆ２付近で上下することにより動作モードが頻繁に切り替わる事態を防ぐためである。
　ＰＬＳＤＦ－α＞Ｆ１、または、ＰＬＳＣＦ－β＞Ｆ２、の何れか一方を満たしていると判断された場合には、識別不能状態であると判断し、動作モードの切り替えを行うためにＳ３４０に移行する。ＰＬＳＤＦ－α＞Ｆ１、または、ＰＬＳＣＦ－β＞Ｆ２、の何れも満たしていないと判断された場合には、識別可能状態であると判断し、Ｓ３６５に移行する。この場合、分離可能モードが継続される。
　Ｓ３４０では、ＣＰＵ１０１が、動作モードを分離可能モードから分離不可モードに切り替えて、Ｓ３４５に移行する。
　Ｓ３４５では、ＣＰＵ１０１が、識別不能状態である旨をドライバに通知する。具体的には、ＣＰＵ１０１が、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報に従って音声を出力する。その後、Ｓ３６５に移行する。
　Ｓ３５０では、ＣＰＵ１０１が、Ｓ３２０にて算出されたＰＬＳＤＦ及びＰＬＳＣＦに基づき、ＰＬＳＤＦ＋γ＞Ｆ１、または、ＰＬＳＣＦ＋δ＞Ｆ２、の何れか一方を満たしているか否かを判断する。γは正の補正値である。δは正の補正値である。
　ＰＬＳＤＦ＋γ＞Ｆ１、または、ＰＬＳＣＦ＋δ＞Ｆ２、の何れか一方を満たしていると判断された場合には、識別可能状態であると判断し、動作モードの切り替えを行うために、Ｓ３５５に移行する。ＰＬＳＤＦ＋γ＞Ｆ１、または、ＰＬＳＣＦ＋δ＞Ｆ２、の何れも満たしていないと判断された場合には、識別不能状態であると判断し、Ｓ３６０に移行する。この場合、分離不可モードが継続される。
　Ｓ３５５では、ＣＰＵ１０１が、動作モードを分離不可モードから分離可能モードに切り替えて、Ｓ３６５に移行する。
　Ｓ３６０では、ＣＰＵ１０１が、分離不可モードが継続中である旨をドライバに再度通知する。ＣＰＵ１０１が、通信バス３１を介して、分離不可モードである旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報に従って音声を出力する。その後、Ｓ３６５に移行する。
　Ｓ３６５では、ＣＰＵ１０１が、画像を右後側方モニタ２１に出力する。具体的には、ＣＰＵ１０１が、右後側方カメラ１１が撮影した画像を、右後側方モニタ２１に出力する。このとき、動作モードが分離可能モードである場合には、ＣＰＵ１０１が、カメラの露光時間Ｔを通常の設定時に比べて短くすることにより画像を暗くする処理を行う。また、動作モードが分離不可モードである場合には、ＣＰＵ１０１が、カメラの露光時間Ｔを通常の設定時に比べて長くすることにより画像を明るくする処理を行う。右後側方モニタ２１は、画像処理装置１から入力された画像を表示する。その後、ＣＰＵ１０１は、本処理を一旦終了する。
　［３－３．効果］
　以上詳述した第３実施形態によれば、画像中の光源の輝度分布を明度影響要因として用いることにより、自車両の周囲を撮像した画像が認識可能状態であるか認識不能状態であるかを判断する。
　そして、識別不能状態であると判断された場合にその旨を報知するので、画像に写る複数の灯火器が、それぞれを識別可能な状態で表示されていない可能性があることを運転者に認識させることができる。その結果、カメラ画像に基づいて運転者が運転状況を誤判断することを抑制できる。
［４．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（１）上記実施形態では、ＣＰＵ１０１が、状況に応じて、二つの動作モードを切り替えているが、本開示はこれには限られない。ドライバのスイッチ操作によって二つの動作モードを切り替えるようにしてもよい。
　（２）上記実施形態では、分離可能モードにおいて、画像を暗くするために、カメラの露光時間Ｔを通常の設定時に比べて短くしているが、本開示はこれには限られない。カメラのレンズ絞りを通常の設定時に比べて絞ることにより、画像を暗くしてもよい。また、γ＜１にガンマ補正をかけることにより、画像を暗くしてもよい。また、マイナスに明るさ補正をかけることにより、画像を暗くしてもよい。
　（３）上記実施形態では、分離不可モードにおいて、画像を明るくするために、カメラ１１の露光時間Ｔを通常の設定時に比べて長くしているが、本開示はこれには限られない。カメラのレンズ絞りを通常の設定時に比べて開けることにより、画像を明るくしてもよい。また、γ＞１にガンマ補正をかけることにより、画像を明るくしてもよい。また、プラスに明るさ補正をかけることにより、画像を明るくしてもよい。
　（４）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
　（５）上述した運転支援システムの他、当該運転支援システムを構成する画像処理装置、当該運転支援システムとしてコンピュータを機能させるためのプログラム、当該画像処理装置としてコンピュータを機能させるためのプログラム、これらのプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転支援方法、画像処理方法など、種々の形態で本開示を実現することもできる。

Claims (7)

  1. 　運転支援システム（２）であって、
    　自車両の周囲の画像を取得するように構成された取得部（Ｓ１０５、Ｓ２０５、Ｓ３１５）と、
    　前記取得部によって取得された前記画像を表示するように構成された表示部（Ｓ１５５、Ｓ２５５、Ｓ３６５）と、
    　前記画像全体の明度に影響を及ぼす要因である明度影響要因を検出するように構成された検出部（Ｓ１１０、Ｓ２１０、Ｓ３２０）と、
    　前記検出部によって検出された前記明度影響要因が予め設定された識別判断条件を不充足である場合に、前記画像に写る前記複数の灯火器のそれぞれを前記表示部上において識別不能な状態である識別不能状態と判断するように構成された判断部（Ｓ１２５、Ｓ１４０、Ｓ２２５、Ｓ２４０、Ｓ３３５、Ｓ３５０）と、
    　前記判断部によって前記識別不能状態と判断された場合に、その旨を報知するように構成された報知部（Ｓ１３５、Ｓ１５０、Ｓ２３５、Ｓ２５０、Ｓ３４５、Ｓ３６０）と、
    　を備える、運転支援システム。
  2. 　請求項１に記載の運転支援システムであって、
    　前記取得部は、前記画像を撮像するカメラであり、
    　前記検出部は、前記カメラが前記画像を撮像する際の前記カメラの明るさに関するパラメータを前記明度影響要因として検出するように構成され（Ｓ１１０）、
    　前記判断部は、前記パラメータが予め設定されたパラメータ判定値以上である場合に、前記明度影響要因が前記識別判断条件を不充足であり、前記識別不能状態であると判断するように構成された（Ｓ１２５、Ｓ１４０）
    　運転支援システム。
  3. 　請求項１に記載の運転支援システムであって、
    　前記検出部は、前記車両の周囲の照度を前記明度影響要因として検出するように構成され（Ｓ２１０）、
    　前記判断部は、前記照度が予め設定された照度判定値以下である場合に、前記明度影響要因が前記識別判断条件を不充足であり、前記識別不能状態であると判断するように構成された（Ｓ２２５、Ｓ２４０）
    　運転支援システム。
  4. 　請求項１に記載の運転支援システムであって、
    　前記検出部は、前記画像中の輝度分布を前記明度影響要因として検出するように構成され（Ｓ３２０）、
    　前記判断部は、前記輝度分布が予め設定された分布判定条件を不充足である場合に、前記明度影響要因が前記識別判断条件を不充足であり、前記識別不能状態であると判断するように構成された（Ｓ３３５、Ｓ３５０）
    　運転支援システム。
  5. 　請求項１～請求項４の何れか１項に記載の運転支援システムであって、
    　動作モードとして、前記画像を暗くして前記画像中の所定領域に写る複数の灯火器のそれぞれが分離して見えて識別し易くするための分離可能モードと、前記画像を明るくして前記画像中の所定領域に写る複数の灯火器のそれぞれが識別しにくくするための分離不可モードの二つのモードがあり、
    　前記分離可能モードが選択されている場合において、前記判断部によって前記識別不能状態と判断された場合には、前記分離可能モードから前記分離不可モードに変更するように構成された変更部（Ｓ１３０、Ｓ２３０、Ｓ３３０）を更に備える
    　運転支援システム。
  6. 　請求項５に記載の運転支援システムであって、
    　前記判断部は、前記検出部によって検出された前記明度影響要因が前記識別判断条件を充足する場合に、前記画像に写る前記複数の灯火器のそれぞれを前記表示部上において識別可能な状態である識別可能状態と判断するように構成され、
    　前記変更部は、前記分離不可モードが選択されている場合において、前記判断部によって前記識別可能状態と判断された場合には、前記分離不可モードから前記分離可能モードに変更するように構成された（Ｓ１４５、Ｓ２４５、Ｓ３４０）
    　運転支援システム。
  7. 　自車両の周囲の画像を取得し（Ｓ１０５、Ｓ２０５、Ｓ３１５）、
    　取得された前記画像を表示し（Ｓ１５５、Ｓ２５５、Ｓ３６５）、
    　前記画像全体の明度に影響を及ぼす要因である明度影響要因を検出し（Ｓ１１０、Ｓ２１０、Ｓ３２０）、
    　前記明度影響要因が予め設定された識別判断条件を不充足である場合に、前記画像に写る前記複数の灯火器のそれぞれを前記表示部上において識別不能な状態である識別不能状態であると判断し（Ｓ１２５、Ｓ１４０、Ｓ２２５、Ｓ２４０、Ｓ３３５、Ｓ３５０）、
    　前記識別不能状態であると判断された場合に、その旨を報知する（Ｓ１３５、Ｓ１５０、Ｓ２３５、Ｓ２５０、Ｓ３４５、Ｓ３６０）
    　運転支援方法。
PCT/JP2018/000705 2017-01-23 2018-01-12 運転支援システム、運転支援方法 WO2018135413A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112018000481.3T DE112018000481T5 (de) 2017-01-23 2018-01-12 Fahrunterstützungssystem und fahrunterstützungsverfahren
CN201880007729.8A CN110199518B (zh) 2017-01-23 2018-01-12 驾驶辅助***、驾驶辅助方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-009658 2017-01-23
JP2017009658A JP6740916B2 (ja) 2017-01-23 2017-01-23 運転支援システム、運転支援方法

Publications (1)

Publication Number Publication Date
WO2018135413A1 true WO2018135413A1 (ja) 2018-07-26

Family

ID=62909097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000705 WO2018135413A1 (ja) 2017-01-23 2018-01-12 運転支援システム、運転支援方法

Country Status (4)

Country Link
JP (1) JP6740916B2 (ja)
CN (1) CN110199518B (ja)
DE (1) DE112018000481T5 (ja)
WO (1) WO2018135413A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110723070A (zh) * 2019-09-06 2020-01-24 成都长迪传感技术有限公司 一种汽车盲区传感***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059139A1 (ja) * 2020-09-17 2022-03-24 三菱電機株式会社 画像表示装置および画像表示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10208189A (ja) * 1997-01-24 1998-08-07 Mitsubishi Electric Corp 速度違反自動取締装置
JP2000207563A (ja) * 1999-01-20 2000-07-28 Fujitsu Ten Ltd 画像認識装置
JP2003030665A (ja) * 2001-07-10 2003-01-31 Mitsubishi Electric Corp 移動物体検知装置、移動物体検知方法およびその方法をコンピュータに実行させるプログラム
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP2012011810A (ja) * 2010-06-29 2012-01-19 Honda Motor Co Ltd 車両用顔画像撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193504A (ja) * 2007-02-06 2008-08-21 Toyota Motor Corp 暗視装置
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5682304B2 (ja) * 2010-12-27 2015-03-11 トヨタ自動車株式会社 画像提供装置
DE102013020946A1 (de) * 2013-12-12 2015-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Rückansichtskamerasystems eines Kraftfahrzeugs nach Detektion einer Lichthupe, Rückansichtskamerasystem und Kraftfahrzeug
JP6424449B2 (ja) * 2014-03-31 2018-11-21 株式会社デンソー 後方状況表示装置、後方状況表示方法
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
JP6446335B2 (ja) 2015-06-17 2018-12-26 コニカミノルタ株式会社 結像光学素子およびその製造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10208189A (ja) * 1997-01-24 1998-08-07 Mitsubishi Electric Corp 速度違反自動取締装置
JP2000207563A (ja) * 1999-01-20 2000-07-28 Fujitsu Ten Ltd 画像認識装置
JP2003030665A (ja) * 2001-07-10 2003-01-31 Mitsubishi Electric Corp 移動物体検知装置、移動物体検知方法およびその方法をコンピュータに実行させるプログラム
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP2012011810A (ja) * 2010-06-29 2012-01-19 Honda Motor Co Ltd 車両用顔画像撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110723070A (zh) * 2019-09-06 2020-01-24 成都长迪传感技术有限公司 一种汽车盲区传感***
CN110723070B (zh) * 2019-09-06 2020-12-15 成都长迪传感技术有限公司 一种汽车盲区传感***

Also Published As

Publication number Publication date
JP2018121122A (ja) 2018-08-02
CN110199518B (zh) 2021-01-05
CN110199518A (zh) 2019-09-03
DE112018000481T5 (de) 2019-10-24
JP6740916B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
JP4853160B2 (ja) 車両検出装置及びヘッドランプ制御装置
EP2471691A1 (en) Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method
JP2013186668A (ja) 車両周囲監視装置
JP2008252327A (ja) 車両周辺監視装置
JP6305430B2 (ja) 撮像設定変更装置、撮像システム、および撮像設定変更方法
WO2018135413A1 (ja) 運転支援システム、運転支援方法
JP2013235444A (ja) 車両視界支援装置
JP2008258778A (ja) 撮像システム
JP5712821B2 (ja) 撮影表示制御システム
WO2015151404A1 (ja) 後方状況表示装置、後方状況表示方法
JP6767255B2 (ja) 画像処理装置及び画像処理方法
JP2008193504A (ja) 暗視装置
JP2006082653A (ja) ランプ点灯状態検出装置
JP7176447B2 (ja) ライト監視装置
JP2009065586A (ja) 車載カメラ
JP2013009041A (ja) 車両用撮影表示制御システム
JP7278764B2 (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
JP2013172378A (ja) 画像処理装置及び車両
JP2017192115A (ja) 車両用視認装置
JP2018074440A (ja) 車両後方画像表示装置
JP6206334B2 (ja) 検出装置
JP5182567B2 (ja) 乗員監視装置
JP2007245970A (ja) 車両用照明装置
JP6644509B2 (ja) 車両検知警報装置および車両検知警報方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18741797

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18741797

Country of ref document: EP

Kind code of ref document: A1