WO2013172398A1 - 車両の灯火を検出する装置及びその方法 - Google Patents

車両の灯火を検出する装置及びその方法 Download PDF

Info

Publication number
WO2013172398A1
WO2013172398A1 PCT/JP2013/063620 JP2013063620W WO2013172398A1 WO 2013172398 A1 WO2013172398 A1 WO 2013172398A1 JP 2013063620 W JP2013063620 W JP 2013063620W WO 2013172398 A1 WO2013172398 A1 WO 2013172398A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
vehicle
imaging
light
imaging means
Prior art date
Application number
PCT/JP2013/063620
Other languages
English (en)
French (fr)
Inventor
白井　孝昌
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/401,273 priority Critical patent/US20150138324A1/en
Publication of WO2013172398A1 publication Critical patent/WO2013172398A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to an apparatus and a method for detecting the lighting of a vehicle, and more particularly, to an apparatus and a method for detecting the lighting of another vehicle existing around the vehicle using an imaging means.
  • Patent Document 1 a system that detects the lighting of a vehicle and performs light distribution control of the headlight is known (see Patent Document 1).
  • a camera image is sampled at a high speed, a frequency of a light source reflected in the camera image is calculated, and a lamp such as a streetlight (a lamp that becomes noise) is calculated based on the calculated frequency of the light source. Eliminate from candidates.
  • a traffic light As a light source that may be photographed by a vehicle-mounted camera, there are a traffic light, a vehicle light, a street light, and the like.
  • a traffic light an LED traffic light that blinks at a frequency of about 100 to 120 Hz (hertz) is known.
  • the present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of accurately detecting vehicle lighting from a camera image without using an expensive camera capable of high-speed sampling.
  • the present invention is a light detection device that detects vehicle light, and includes first and second imaging means, control means, and vehicle light detection means.
  • the first and second imaging means capture a common front region and generate image data representing the captured image.
  • the control means controls the exposure timing of the first and second imaging means so as to shift the exposure timing of the second imaging means from the first imaging means, and the exposure timing from the first and second imaging means.
  • a set of image data having a difference is acquired.
  • the vehicle light detection means analyzes the image data obtained from the first and second imaging means by the operation of the control means, and detects the vehicle light reflected in the image data.
  • the vehicle light detection means includes a blinking light detection means and an exclusion means, and the blinking light detection means uses the image data obtained from the first imaging means and the image obtained from the second imaging means. The data is compared, and a flashing lamp that appears in the image data is detected. Then, the light detected by the blinking light detection means is excluded from the vehicle light candidates by the exclusion means.
  • a flashing lamp is detected based on a set of image data having different exposure timings obtained using the first and second imaging means. For this reason, it is possible to detect a high-frequency flashing light without using an expensive camera capable of high-speed sampling as an image pickup means, and to eliminate a flashing light that is not a vehicle light from the vehicle light candidates with high accuracy. A light can be detected. Therefore, according to the present invention, a highly accurate lamp detection device can be manufactured at low cost.
  • the vehicle light detection means is a candidate detection means for detecting a light as a vehicle light candidate displayed in the image data based on one of the image data obtained from the first and second imaging means by the operation of the control means. It can be set as the structure provided.
  • the exclusion means can exclude the blinking light detected by the blinking light detection means from the lights detected as candidates for vehicle lighting by the candidate detection means.
  • the vehicle control system can be configured to include a headlight control means for switching the beam irradiation direction by the headlight of the host vehicle based on the detection result of the vehicle light by the above-described light detection device. According to this vehicle control system, appropriate headlight control can be performed based on a highly accurate detection result of vehicle lighting.
  • FIG. 1 is a block diagram illustrating a configuration of a vehicle control system 1.
  • FIG. It is the time chart which showed the aspect of the exposure control in a stereo imaging
  • the vehicle control system 1 is mounted on a vehicle (such as an automobile) provided with a headlight 3 and includes an image analysis device 10 and a vehicle control device 20 as shown in FIG. .
  • the image analysis apparatus 10 detects the state of the front area of the host vehicle by capturing the front area of the host vehicle and analyzing image data representing the captured image.
  • the image analysis apparatus 10 includes a stereo camera 11 and a control unit 15.
  • the stereo camera 11 includes a left camera 11L and a right camera 11R, similar to a known stereo camera. Each of the left camera 11L and the right camera 11R captures a common front area of the host vehicle from different positions (the host vehicle left and right), and inputs image data representing the captured image to the control unit 15.
  • control unit 15 performs overall control of the image analysis apparatus 10, and includes a CPU 15A, a memory 15B, an input / output port (not shown), and the like, and executes various processes according to the programs recorded in the memory 15B.
  • the image analysis apparatus 10 is controlled in an integrated manner.
  • the control unit 15 controls the exposure timing of the left camera 11L and the right camera 11R by executing processing according to the program, and analyzes the image data obtained from the left camera 11L and the right camera 11R by this control.
  • the distance to the object existing in the front area of the host vehicle is detected as the state of the front area of the host vehicle, or the vehicle light existing in the front area of the host vehicle is detected. And these detection results are transmitted to the vehicle control apparatus 20 through in-vehicle LAN.
  • the vehicle control device 20 receives the detection result transmitted from the image analysis device 10 through the in-vehicle LAN, and performs vehicle control based on the detection result obtained by the reception. Specifically, the vehicle control device 20 executes vehicle control for avoiding a collision based on the distance to the front object as vehicle control, or in the vertical direction from the headlight 3 based on the detection result of vehicle lighting. Vehicle control for switching the beam irradiation angle is executed.
  • the vehicle control system 1 uses the stereo camera 11 to detect the state of the front area of the host vehicle and performs vehicle control based on the detection result.
  • the beam irradiation angle is switched to function as a so-called auto high beam system.
  • the control unit 15 included in the image analysis apparatus 10 repeatedly executes a predetermined process for each processing cycle to detect a distance to an object existing in the front area of the host vehicle or to detect a vehicle lamp existing in the front area of the host vehicle. Is detected.
  • the control unit 15 executes the three-dimensional detection process shown in FIG. 3 and the vehicle light detection process shown in FIG. 4 in parallel for each processing cycle.
  • camera control in the stereo shooting mode is performed in the first imaging control section that is the first section of the processing cycle (step S110).
  • the stereo shooting mode is one of the control modes of the stereo camera 11 and is a mode for controlling the exposure timing of the left camera 11L and the right camera 11R so that the exposure periods of the left camera 11L and the right camera 11R coincide.
  • shooting of the front area of the host vehicle is performed by such camera control.
  • vehicle light detection mode camera control in the vehicle light detection mode is performed as shown in the lower part of FIG. 2 in the second imaging control section following the first imaging control section in the processing cycle (step S210).
  • the vehicle light detection mode is one of the control modes of the stereo camera 11 like the stereo shooting mode, and the exposure timings of the left camera 11L and the right camera 11R so that the exposure timing of the left camera 11L is shifted from the right camera 11R. This is the mode to control.
  • photographing of the front area of the host vehicle is performed by such camera control.
  • the processing cycle has a period of 100 milliseconds, and the first and second imaging control sections have a period of about 33.3 milliseconds, which is one third of the processing cycle. is there.
  • the exposure period of the left camera 11L and the right camera 11R in the first and second imaging control sections is about 8 milliseconds, and the exposure timing shift amount in the second imaging control section is about 4 milliseconds. .
  • the image data generated by each of the left camera 11L and the right camera 11R by the exposure operation in the first imaging control section starts exposure in the second imaging control section by the three-dimensional detection process executed by the control unit 15. Before being performed, it is taken into the control unit 15 from the left camera 11L and the right camera 11R (step S120). On the other hand, image data generated by each of the left camera 11L and the right camera 11R by exposure in the second imaging control section is exposed to the left camera 11L and the right camera 11R by a vehicle lighting detection process executed by the control unit 15. After the operation is completed, the data is taken into the control unit 15 from the left camera 11L and the right camera 11R (step S220).
  • control unit 15 When the stereoscopic detection process is started, the control unit 15 performs camera control in the above-described stereo shooting mode, and the exposure periods of the left camera 11L and the right camera 11R are set in the first imaging control section as shown in the upper part of FIG. The exposure timings of the left camera 11L and the right camera 11R are controlled so as to match (step S110).
  • the left camera 11L and the right camera 11R obtain image data representing the captured image of the front area of the host vehicle generated by the photoelectric effect in the exposure period in each of the left camera 11L and the right camera 11R. It takes in from each (step S120).
  • the image data captured from the left camera 11L is also expressed as left image data
  • the image data captured from the right camera 11R is also expressed as right image data.
  • a known image analysis process is executed to stereoscopically view the front area of the host vehicle.
  • the parallax of each object shown in both the left image data and the right image data is obtained, and a process of calculating the distance to each object is performed in the manner of triangulation based on this parallax (step S130).
  • control unit 15 transmits the information regarding the distance of each object shown in both the left image data and the right image data calculated in step S130 to the vehicle control device 20 as information indicating the state in front of the vehicle through the in-vehicle LAN. (Step S140). Thereafter, the solid detection process is terminated. Note that the information regarding the distance of each light source as an object reflected in both the left image data and the right image data is also used in step S240 when excluding inappropriate ones as vehicle lighting candidates.
  • the control unit 15 performs camera control in the vehicle light detection mode, and sets the exposure timing of the left camera 11L to the right camera 11R in the second imaging control section as shown in the lower part of FIG.
  • the exposure timing of the left camera 11L and the right camera 11R is controlled so as to be preceded (step S210).
  • the camera control in the vehicle lighting detection mode shifts the exposure timing, but does not change the exposure time in each of the left camera 11L and the right camera 11R. That is, the exposure time in each of the left camera 11L and the right camera 11R is the same.
  • control unit 15 After the exposure period by this camera control ends, the control unit 15 generates image data representing a captured image of the front area of the host vehicle generated by the photoelectric effect in the exposure period in each of the left camera 11L and the right camera 11R. Then, it captures from each of the left camera 11L and the right camera 11R (step S220).
  • a process for extracting a candidate for vehicle lighting is performed using one of the left image data obtained from the left camera 11L and the right image data obtained from the right camera 11R (step S230).
  • a vehicle lighting candidate can be extracted using a known technique of extracting a vehicle lighting candidate using a monocular camera.
  • a pixel area having a luminance equal to or higher than a threshold in the left image data is detected as a pixel area where a light source is reflected. Then, the group of these light sources is classified into a pair of light sources arranged in the horizontal direction and a normal light source that is one light source that is not paired, and each of the pair of light sources and the normal light source corresponds to one vehicle. Set as a candidate for vehicle lighting.
  • the distance to the vehicle when the light source is assumed to be vehicle lighting is calculated for each vehicle corresponding to the light source. To do. For example, assuming that the distance between a pair of light sources or the width of a normal light source corresponds to the average left and right light spacing in the vehicle (eg, 1.6 m), the distance to the vehicle corresponding to the light source is calculate.
  • the distance between a pair of light sources arranged in the horizontal direction, or the width of two high-luminance points in a normal light source or a predetermined ratio of the width of the normal light source is determined by the distance from the vehicle light mounting position to the road surface. Assuming that there is a road surface contact position of the vehicle is calculated. On the other hand, for each vehicle, the road surface ground contact position of the vehicle is calculated based on the calculated distance to the vehicle and the coordinates in the image data of the corresponding light source, and a light source whose difference between these calculated values is larger than a reference value is calculated. , To exclude from the above vehicle lighting candidates.
  • step S230 out of the light sources reflected in the left image data obtained from the left camera 11L, those that exclude light sources that deviate from the characteristics of the vehicle lights are extracted as candidates for vehicle lights.
  • the arrangement of the light source that is not the vehicle light is an arrangement that is consistent with the arrangement when the light source is assumed to be the vehicle light, this is excluded from the candidates for the vehicle light. I can't.
  • step S240 based on the distance to the light source detected by the three-dimensional detection process, light sources inappropriate as vehicle lighting candidates are excluded from the group of light sources extracted as vehicle lighting candidates in step S230. . Thereby, the candidate of vehicle lighting using the result of a solid detection process is narrowed down.
  • step S240 regarding each of the light sources extracted as candidates for vehicle lighting in step S230, the distance to the light source detected by the three-dimensional detection process is regarded as the distance to the vehicle, and the same process as in step S230 is performed.
  • the light sources excluded from the vehicle lighting candidates when executed are regarded as the inappropriate light sources, and the vehicle lighting candidates are narrowed down.
  • the control unit 15 further narrows down the vehicle lighting candidates by executing the blinking light source exclusion process shown in FIG.
  • the vehicle lighting is specified (step S250). Specifically, in the blinking light source exclusion process, one of the light sources remaining as a vehicle lighting candidate at the present time is selected as the inspection target (step S251), and the luminance in the left image data of the selected light source of the inspection target, An error from the luminance in the right image data of the light source to be inspected is calculated (step S252).
  • step S253 it is determined whether or not the calculated error is larger than the reference value. If it is determined that the error is larger than the reference value (Yes in step S253), the light source to be inspected is set to the vehicle. After being excluded from the lighting candidates (step S254), the process proceeds to step S255. On the other hand, when the calculated error is equal to or less than the reference value (No in step S253), the process proceeds to step S255 while the light source to be inspected remains as a vehicle lighting candidate.
  • the inspection target light source is held as a vehicle lighting candidate.
  • the inspection light source is excluded from the vehicle lighting candidates.
  • a light source having a large luminance error is regarded as a blinking light source and is excluded from the vehicle lighting candidates.
  • the reason why there is a high possibility that a light source having a large luminance error is not a vehicle light will be described in detail.
  • the left image data and the right image data used in the blinking light source exclusion process are a pair of image data generated by camera control in the vehicle light detection mode in which control for shifting the exposure timing is performed as described above. Then, when the blinking light source is photographed by control that shifts the exposure timing, as shown in FIG. 7, the change in the intensity of the incident light in the exposure period from the light source differs between the left camera 11L and the right camera 11R. For this reason, as shown by hatching in FIG. 7, the luminance of the pixel area in which the light source is reflected differs between the left image data and the right image data.
  • step S254 a light source with a large luminance error is excluded from candidates for vehicle lighting.
  • the amount of exposure timing shift and the exposure period are determined by a designer or the like in consideration of the frequency of the blinking light source to be excluded from the vehicle lighting candidates.
  • step S255 the control unit 15 determines whether or not the processing after step S252 has been executed for all the light sources remaining as vehicle lighting candidates as inspection targets, and has not been executed for all. If it judges (No in step S255), it will transfer to step S251, will select one of the unselected light sources as a test object, and will perform the process after step S252.
  • step S252 When it is determined that the processing after step S252 has been executed for all the light sources remaining as vehicle lighting candidates (Yes in step S255), a group of light sources remaining as vehicle lighting candidates at this time is identified as vehicle lighting. (Step S259), and the blinking light source exclusion process is terminated. However, in step S259, when there is no remaining light source as a candidate for vehicle lighting, it is determined that there is no vehicle lighting in the front area of the host vehicle, and the blinking light source exclusion process is terminated.
  • step S250 when the vehicle light is identified by executing the blinking light source exclusion process in step S250, the control unit 15 proceeds to step S260, and the vehicle including the presence / absence of the vehicle light in the front area of the host vehicle as information indicating the state in front of the vehicle.
  • Information representing the detection result of the light is transmitted (output) to the vehicle control device 20 through the in-vehicle LAN.
  • the information indicating the detection result of the vehicle light can include information indicating the presence / absence of the vehicle light, information indicating the number of vehicle lights in the front area of the host vehicle, the distance / direction to the vehicle light, and the like. Thereafter, the blinking light source exclusion process is terminated.
  • control unit 15 the content of the processing executed by the control unit 15 at night when the function as the auto high beam system is turned on has been described.
  • the control unit 15 can be configured to execute only the three-dimensional detection process.
  • the vehicle control device 20 represents information related to the distance of an object existing in the front area of the host vehicle as information representing the state ahead of the vehicle transmitted from the image analysis device 10 and the detection result of the vehicle light in the front region of the host vehicle.
  • the vehicle is controlled based on the information. Specifically, at night when the function as the auto high beam system is turned on, the headlight is based on the information indicating the detection result of the vehicle lighting received from the image analysis device 10. 3 is adjusted to adjust the irradiation angle of the beam from the headlight 3.
  • the vehicle control device 20 repeatedly executes the headlight automatic control process shown in FIG. 8 at night when the function as the auto high beam system is turned on and the headlight 3 is turned on.
  • the vehicle control device 20 When the information indicating the vehicle lighting detection result received from the image analysis device 10 is information indicating that there is vehicle lighting (Yes in step S310), the vehicle control device 20 The irradiation angle in the vertical direction of the beam from 3 is switched to low. That is, the headlight 3 is controlled so that a so-called low beam is output from the headlight 3 (step S320).
  • the irradiation angle of the beam from the headlight 3 is switched to high ( Step S330). That is, the headlight 3 is controlled so that a so-called high beam is output from the headlight 3 (step S330).
  • Such processing is repeatedly executed. In other words, the headlight 3 can be controlled so that a low beam is output from the headlight 3 when information representing the detection result of the vehicle lighting cannot be received from the image analysis device 10 for a certain period or more.
  • the vehicle front area common to the left camera 11L and the right camera 11R is controlled by the control of the left camera 11L and the right camera 11R.
  • Photographing is performed, and image data (left image data and right image data) representing the photographed image is generated.
  • the exposure timing of the left camera 11L and the right camera 11R is controlled so that the exposure timing of the left camera 11L is shifted from the right camera 11R, and the exposure timings of the left camera 11L and the right camera 11R are different.
  • Data left image data and right image data
  • a vehicle lighting candidate is extracted (step S230).
  • the lamps that appear in the left image data and periodically blink are detected (steps S251 to S253). Specifically, for each light source that is a candidate for vehicle lighting extracted in step S230, the difference between the luminance of the left image data and the luminance of the right image data is calculated (step S252). Each of the lamps whose luminance difference is larger than the reference value is detected as a flashing lamp (step S253).
  • step S254 the flashing lights are excluded from the vehicle lighting candidates extracted in step S230 (step S254), and the light source finally remaining as the vehicle lighting candidates is detected as the vehicle lighting (step S259).
  • the present embodiment by detecting a flashing lamp based on a set of image data having different exposure timings, it is possible to use a camera capable of high-speed sampling as the cameras 11L and 11R.
  • a general stereo camera 11 can be used to detect a flashing light source having a high frequency such as an LED traffic light, and a vehicle light can be detected accurately by eliminating a flashing light source that is not a vehicle light. I made it. Therefore, according to the present embodiment, it is possible to manufacture the image analysis apparatus 10 capable of detecting the vehicle light with high accuracy at a low cost.
  • the vehicle lighting can be detected with high accuracy using the stereo camera 11 for distance detection, it is possible to efficiently construct the high-performance vehicle control system 1. it can.
  • the left camera 11L and the right camera 11R are controlled so that the exposure timings of the left camera 11L and the right camera 11R are aligned according to the stereo shooting mode, and the left camera 11L and the right camera are exposed by this exposure.
  • the detection result of the vehicle lighting is increased by using the detection result of the distance. Therefore, the vehicle control based on the result of stereoscopically viewing the front area of the host vehicle and the vehicle control based on the detection result of the vehicle lighting (control of the headlight 3) are efficiently performed with high accuracy using one stereo camera 11. Can be realized.
  • the present invention is not limited to the above-described embodiments and can take various forms.
  • the detection result of the distance to the object in the front area of the host vehicle obtained by the three-dimensional detection process is used in the vehicle lighting detection process (step S240) to narrow down the vehicle lighting candidates.
  • the control unit 15 may be configured not to execute the process of step S240.
  • control unit 15 can be configured as a dedicated IC.
  • the image analysis device 10 in the above embodiment corresponds to an example of a light detection device
  • the right camera 11R and the left camera 11L correspond to an example of first and second imaging means.
  • steps S110, S120, S210, and S220 executed by the control unit 15 correspond to an example of functions realized by the control means, and steps S130, S230 to S250, and S251 executed by the control unit 15 are performed.
  • the function realized by S259 corresponds to an example of the function realized by the vehicle light detection means.
  • step S230 executed by the control unit 15 corresponds to an example of the function realized by the candidate detection unit
  • the function realized by steps S251 to S253 is realized by the blinking light detection unit.
  • the function realized by step S254 corresponds to an example of a function realized by the exclusion unit.
  • the function realized by the process of step S130 executed by the control unit 15 corresponds to an example of a function for detecting the distance to the lamp realized by the vehicle lamp detection means.
  • the function realized by the headlight automatic control process executed by the vehicle control device 20 corresponds to an example of the function realized by the headlight control means.
  • Vehicle control system 3 ... Headlight, 10: Image analysis device, 11 ... Stereo camera, 11R ... Right camera, 11L ... Left camera 15 ... Control unit, 15A ... CPU, 15B ... Memory, 20 ... Vehicle control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

画像解析装置では、ステレオカメラの制御により、左及び右カメラに共通の自車両前方領域を撮影させて、その撮影画像を表す画像データ（左及び右画像データ）を生成させる。この際、左カメラの露光タイミングを右カメラからずらすように、左カメラ及び右カメラの露光タイミングを制御して、露光タイミングに差異のある画像データ（左及び右画像データ）を取得する。これらの画像データの一方に基づき、車両灯火の候補を抽出する。更に、左画像データと右画像データとの比較により点滅光源を検出し、抽出された車両灯火の候補から、当該検出された点滅光源を排除して、最終的に車両灯火の候補として残った光源を、車両灯火として検出する。

Description

車両の灯火を検出する装置及びその方法
　本発明は、車両の灯火を検出する装置及びその方法に関し、特に、その車両の周りに存在する他の車両の灯火を撮像手段を用いて検出する装置及びその方法に関する。
　従来、車両の灯火を検出してヘッドライトの配光制御を行うシステムが知られている（特許文献１参照）。このシステムでは、例えば、カメラ画像を高速サンプリングして、当該カメラ画像に映る光源の周波数を算出し、算出した光源の周波数に基づいて、街灯などの灯火（ノイズとなる灯火）を、車両の灯火の候補から排除する。
特開２００８－２１１４１０号公報
　ところで、車載カメラによって撮影される可能性のある光源としては、車両灯火や街灯の他、信号機等がある。そして、信号機としては、１００～１２０Ｈｚ（ヘルツ）程度の周波数で点滅するＬＥＤ信号機が知られている。
　このため、車載カメラにより撮影された灯火から、従来技術を用いて他の車両の灯火以外の灯火、すなわちノイズとなる灯火を排除するには、高速サンプリング可能な高価なカメラを車両に搭載する必要がある。しかしながら、このような手法を採用すると、システムの製造コストが高くつく。
　本発明は、こうした問題に鑑みなされたものであり、高速サンプリング可能な高価なカメラを用いなくても、カメラ画像から車両灯火を精度良く検出可能な技術を提供することを目的とする。
　本発明は、車両灯火を検出する灯火検出装置であって、第一及び第二の撮像手段と、制御手段と、車両灯火検出手段と、を備える。第一及び第二の撮像手段は、共通する前方領域を撮影し、その撮影画像を表す画像データを生成する。制御手段は、第二の撮像手段の露光タイミングを、第一の撮像手段からずらすように第一及び第二の撮像手段の露光タイミングを制御して、第一及び第二の撮像手段から露光タイミングに差異のある画像データの一組を取得する。車両灯火検出手段は、この制御手段の動作により第一及び第二の撮像手段から得られた画像データを解析して、この画像データに映る車両灯火を検出する。
　具体的に、車両灯火検出手段は、点滅灯火検出手段と、排除手段とを備え、点滅灯火検出手段によって、第一の撮像手段から得られた画像データと第二の撮像手段から得られた画像データとを比較し、画像データに映る灯火であって点滅する灯火を検出する。そして、排除手段によって、点滅灯火検出手段により検出された灯火を、車両灯火の候補から排除する。
　この灯火検出装置によれば、第一及び第二の撮像手段を用いて得られた露光タイミングに差異のある画像データの一組に基づき、点滅する灯火を検出する。このため、撮像手段として、高速サンプリング可能な高価なカメラを用いなくても、高い周波数の点滅灯火を検出することができ、車両灯火ではない点滅灯火を車両灯火の候補から排除して精度よく車両灯火を検出することができる。従って、本発明によれば、高精度な灯火検出装置を低コストに製造することができる。
　ところで、車両灯火検出手段は、制御手段の動作により第一及び第二の撮像手段から得られた画像データの一方に基づき、画像データに映る車両灯火の候補とする灯火を検出する候補検出手段を備えた構成とすることができる。この場合、排除手段は、候補検出手段により車両灯火の候補として検出された灯火から点滅灯火検出手段により検出された点滅する灯火を排除することができる。
　また、車両制御システムは、上述した灯火検出装置による車両灯火の検出結果に基づき、自車両のヘッドライトによるビームの照射方向を切り替えるヘッドライト制御手段を備えた構成にすることができる。この車両制御システムによれば、精度の高い車両灯火の検出結果に基づき、適切なヘッドライトの制御を行うことができる。
車両制御システム１の構成を表すブロック図である。 ステレオ撮影モード及び車両灯火検出モードでの露光制御の態様を示したタイムチャートである。 制御ユニット１５が実行する立体検出処理を表すフローチャートである。 制御ユニット１５が実行する車両灯火検出処理を表すフローチャートである。 制御ユニット１５が実行する点滅光源排除処理を表すフローチャートである。 点滅光源の検出態様を説明した図である。 点滅光源からの入射光の強度変化による輝度の差を説明した図である。 車両制御装置２０が実行するヘッドライト自動制御処理を表すフローチャートである。
　以下に本発明の実施例について、図面と共に説明する。
　本実施例の車両制御システム１は、ヘッドライト３を備えた車両（自動車等）に搭載されるものであり、図１に示すように、画像解析装置１０と、車両制御装置２０と、を備える。画像解析装置１０は、自車両前方領域を撮影して、その撮影画像を表す画像データを解析することにより、自車両前方領域の状態を検出するものである。この画像解析装置１０は、ステレオカメラ１１、及び、制御ユニット１５を備える。
　ステレオカメラ１１は、周知のステレオカメラと同様、左カメラ１１Ｌ及び右カメラ１１Ｒを備える。左カメラ１１Ｌ及び右カメラ１１Ｒの夫々は、互いに共通する自車両の前方領域を異なる位置（自車両左右）から撮影して、その撮影画像を表す画像データを制御ユニット１５に入力する。
　一方、制御ユニット１５は、画像解析装置１０を統括制御するものであり、ＣＰＵ１５Ａ、メモリ１５Ｂ及び図示しない入出力ポート等を備え、メモリ１５Ｂに記録されたプログラムに従う各種処理をＣＰＵ１５Ａにて実行することにより、画像解析装置１０を統括制御する。
　この制御ユニット１５は、プログラムに従う処理の実行により、左カメラ１１Ｌ及び右カメラ１１Ｒの露光タイミングを制御し、この制御によって左カメラ１１Ｌ及び右カメラ１１Ｒから得られる画像データを解析する。この画像解析により、自車両前方領域の状態として、自車両前方領域に存在する物体までの距離を検出したり、自車両前方領域に存在する車両灯火を検出したりする。そして、これらの検出結果を、車内ＬＡＮを通じて車両制御装置２０に送信する。
　車両制御装置２０は、画像解析装置１０から送信される上記検出結果を、車内ＬＡＮを通じて受信し、この受信により得られた上記検出結果に基づき、車両制御を行うものである。具体的に、車両制御装置２０は、車両制御として、前方物体までの距離に基づき、衝突回避のための車両制御を実行したり、車両灯火の検出結果に基づき、ヘッドライト３からの上下方向におけるビーム照射角度を切り替える車両制御を実行したりする。
　このように、本実施例の車両制御システム１は、ステレオカメラ１１を用いて、自車両前方領域の状態を検出し、その検出結果に基づいた車両制御を行う。そして、上記ビーム照射角度の切り替え動作により、所謂オートハイビームシステムとして機能する。
　続いて、画像解析装置１０の詳細を説明する。画像解析装置１０が備える制御ユニット１５は、処理サイクル毎に所定の処理を繰り返し実行することにより、自車両前方領域に存在する物体までの距離を検出したり、自車両前方領域に存在する車両灯火を検出したりする。
　具体的に、オートハイビームシステムの機能がオンにされている夜間において、制御ユニット１５は、処理サイクル毎に図３に示す立体検出処理及び図４に示す車両灯火検出処理を並列に実行する。そして、立体検出処理では、図２上段に示すように、処理サイクルの先頭区間である第一の撮像制御区間において、ステレオ撮影モードによるカメラ制御を行う（ステップＳ１１０）。ステレオ撮影モードは、ステレオカメラ１１の制御モードの一つであり、左カメラ１１Ｌ及び右カメラ１１Ｒの露光期間が一致するように、左カメラ１１Ｌ及び右カメラ１１Ｒの露光タイミングを制御するモードである。第一の撮像制御区間では、このようなカメラ制御によって、自車両前方領域の撮影が行われる。
　一方、車両灯火検出処理では、上記処理サイクルにおける第一の撮像制御区間に続く第二の撮像制御区間において、図２下段に示すように、車両灯火検出モードによるカメラ制御を行う（ステップＳ２１０）。車両灯火検出モードは、ステレオ撮影モードと同様に、ステレオカメラ１１の制御モードの一つであり、左カメラ１１Ｌの露光タイミングを右カメラ１１Ｒからずらすように、左カメラ１１Ｌ及び右カメラ１１Ｒの露光タイミングを制御するモードである。第二の撮像制御区間では、このようなカメラ制御によって、自車両前方領域の撮影が行われる。
　図２に示す例によれば、処理サイクルは、１００ミリ秒の周期であり、第一及び第二の撮像制御区間は、処理サイクルの三分の一である約３３．３ミリ秒の周期である。また、第一及び第二の撮像制御区間における左カメラ１１Ｌ及び右カメラ１１Ｒの露光期間は、約８ミリ秒であり、第二の撮像制御区間における露光タイミングのずれ量は約４ミリ秒である。
　第一の撮像制御区間での露光動作によって左カメラ１１Ｌ及び右カメラ１１Ｒの夫々で生成された画像データは、制御ユニット１５が実行する立体検出処理によって、第二の撮像制御区間での露光が開始される前に、左カメラ１１Ｌ及び右カメラ１１Ｒから制御ユニット１５に取り込まれる（ステップＳ１２０）。一方、第二の撮像制御区間での露光によって左カメラ１１Ｌ及び右カメラ１１Ｒの夫々で生成された画像データは、制御ユニット１５が実行する車両灯火検出処理によって、左カメラ１１Ｌ及び右カメラ１１Ｒの露光動作の終了後、左カメラ１１Ｌ及び右カメラ１１Ｒから制御ユニット１５に取り込まれる（ステップＳ２２０）。
　次に、制御ユニット１５が処理サイクル毎に繰り返し実行する立体検出処理の詳細を、図３を用いて説明する。立体検出処理を開始すると、制御ユニット１５は、上述したステレオ撮影モードによるカメラ制御を行い、図２上段に示すように、第一の撮像制御区間において、左カメラ１１Ｌ及び右カメラ１１Ｒの露光期間が一致するように、左カメラ１１Ｌ及び右カメラ１１Ｒの露光タイミングを制御する（ステップＳ１１０）。
　そして、露光期間の終了後、左カメラ１１Ｌ及び右カメラ１１Ｒの夫々において当該露光期間での光電効果により生成された自車両前方領域の撮影画像を表す画像データを、左カメラ１１Ｌ及び右カメラ１１Ｒの夫々から取り込む（ステップＳ１２０）。以下、左カメラ１１Ｌから取り込まれる画像データのことを左画像データとも表現し、右カメラ１１Ｒから取り込まれる画像データのことを右画像データとも表現する。
　そして、取り込んだ左画像データ及び右画像データに基づき、周知の画像解析処理を実行することにより、自車両前方領域を立体視する。ここでは、左画像データ及び右画像データの両者に映る各物体の視差を求め、この視差に基づいて三角測量の要領で、各物体までの距離を算出する処理を行う（ステップＳ１３０）。
　その後、制御ユニット１５は、ステップＳ１３０で算出した左画像データ及び右画像データの両者に映る各物体の距離に関する情報を、車両前方の状態を表す情報として、車両制御装置２０に車内ＬＡＮを通じて送信する（ステップＳ１４０）。その後、当該立体検出処理を終了する。尚、左画像データ及び右画像データの両者に映る物体としての各光源の距離に関する情報は、ステップＳ２４０において車両灯火の候補として不適切なものを排除する際にも用いられる。
　次に、制御ユニット１５が処理サイクル毎に繰り返し実行する車両灯火検出処理の詳細を、図４を用いて説明する。
　車両灯火検出処理を開始すると、制御ユニット１５は、車両灯火検出モードによるカメラ制御を行い、図２下段に示すように、第二の撮像制御区間において、左カメラ１１Ｌの露光タイミングを右カメラ１１Ｒに対し先行させるように、左カメラ１１Ｌ及び右カメラ１１Ｒの露光タイミングを制御する（ステップＳ２１０）。この車両灯火検出モードによるカメラ制御は、露光タイミングをずらすものではあるが、左カメラ１１Ｌ及び右カメラ１１Ｒの夫々における露光時間を変えるものではない。即ち、左カメラ１１Ｌ及び右カメラ１１Ｒの夫々における露光時間は、同じである。
　そして、このカメラ制御による露光期間の終了後、制御ユニット１５は、左カメラ１１Ｌ及び右カメラ１１Ｒの夫々において当該露光期間での光電効果により生成された自車両前方領域の撮影画像を表す画像データを、左カメラ１１Ｌ及び右カメラ１１Ｒの夫々から取り込む（ステップＳ２２０）。
　その後、左カメラ１１Ｌから得られた左画像データ、及び、右カメラ１１Ｒから得られた右画像データの内の一つを用いて車両灯火の候補を抽出する処理を行う（ステップＳ２３０）。以下では、説明を簡単にするため、左画像データを用いて車両灯火の候補を抽出する例を説明するが、左画像データに代えて右画像データを用いてもよいことは言うまでもない。ステップＳ２３０では、単眼カメラを用いて車両灯火の候補を抽出する公知の技法を用いて、車両灯火の候補を抽出することができる。
　公知技術である特開２００８－６７０８６に開示された技術に従えば、左画像データにおいて輝度が閾値以上の画素領域を光源が映る画素領域として検出する。そして、これらの光源の一群を、水平方向に並ぶ一対の光源、及び、対となっていない一つの光源である通常光源に分類し、一対の光源及び通常光源の夫々を、一つの車両に対応する車両灯火の候補に設定する。そして、左画像データにおける水平方向に並ぶ一対の光源の間隔、又は、通常光源の幅に基づき、光源が車両灯火であると仮定したときの車両までの距離を、光源に対応する車両毎に算出する。例えば、一対の光源の間隔又は通常光源の幅が車両における平均的な左右のライト間隔（例えば１．６ｍ）に対応するものであるとの仮定をおいて、光源に対応する車両までの距離を算出する。
　更に、車両毎に、水平方向に並ぶ一対の光源の間隔、又は、通常光源における高輝度の二点の幅若しくは通常光源の幅の所定割合を、この車両のライト取付位置から路面までの距離であると仮定して、車両の路面接地位置を算出する。一方で、車両毎に、上記算出した車両までの距離と、対応する光源の画像データにおける座標とに基づき、車両の路面接地位置を算出し、これらの算出値の差が基準値より大きい光源を、上記車両灯火の候補から排除する。
　このようにして、ステップＳ２３０では、左カメラ１１Ｌから得られた左画像データに映る光源の内、車両灯火の特徴から外れた光源を排除したものを車両灯火の候補として抽出する。但し、このような抽出方法では、車両灯火でない光源の配置が、この光源を車両灯火であると仮定したときの配置と矛盾がないような配置である場合、これを車両灯火の候補から排除することができない。
　従って、ステップＳ２４０では、立体検出処理によって検出された光源までの距離に基づき、ステップＳ２３０において車両灯火の候補として抽出された光源の一群のなかから、車両灯火の候補として不適切な光源を排除する。これにより、立体検出処理の結果を用いた車両灯火の候補の絞込みを行う。例えば、ステップＳ２４０では、ステップＳ２３０において車両灯火の候補として抽出された光源の夫々に関して、立体検出処理によって検出された光源までの距離を、車両までの距離とみなして、ステップＳ２３０と同様の処理を実行したときに車両灯火の候補から排除される光源を、上記不適切な光源とみなして、車両灯火の候補の絞込みを行う。
　この処理を終えると、制御ユニット１５は、図５に示す点滅光源排除処理を実行することにより、車両灯火の候補の更なる絞込みを行う。これによって、車両灯火の特定を行う（ステップＳ２５０）。具体的に、点滅光源排除処理では、現時点で車両灯火の候補として残留する光源の一つを、検査対象に選択し（ステップＳ２５１）、選択した検査対象の光源の左画像データにおける輝度と、この検査対象の光源の右画像データにおける輝度との誤差を算出する（ステップＳ２５２）。
　そして、算出された誤差が基準値よりも大きいか否かを判断し（ステップＳ２５３）、誤差が基準値よりも大きいと判断した場合には（ステップＳ２５３でＹｅｓ）、検査対象の光源を、車両灯火の候補から排除した後（ステップＳ２５４）、ステップＳ２５５に移行する。一方、算出された誤差が基準値以下である場合には（ステップＳ２５３でＮｏ）、検査対象の光源を車両灯火の候補として残留させたままステップＳ２５５に移行する。
　例えば、図６に示すように検査対象の輝度が、左画像データ及び右画像データにおいて共に高く、輝度の誤差が基準値以下である場合には、検査対象の光源を車両灯火の候補として保持する。一方、検査対象の輝度が、左画像データ及び右画像データの一方において高く、他方において低いために、輝度の誤差が基準値より大きい場合には、検査対象の光源を、車両灯火の候補から排除する。
　点滅光源排除処理によれば、このようにして、輝度の誤差の大きい光源を、点滅光源とみなして、車両灯火の候補から排除する。ここで、輝度の誤差が大きい光源が車両灯火ではない可能性が高い理由について、詳述する。
　点滅光源排除処理で用いる左画像データ及び右画像データは、上述したように露光タイミングをずらす制御が行われる車両灯火検出モードでのカメラ制御により生成される画像データのペアである。そして、露光タイミングをずらすような制御により点滅光源を撮影すると、図７に示すように、光源からの露光期間における入射光の強度変化は、左カメラ１１Ｌと右カメラ１１Ｒとで異なる。このため、左画像データと右画像データとでは、図７においてハッチングで示すように、光源が映る画素領域の輝度が異なる結果となる。
　一方、車両灯火のような直流電源で駆動される光源からの露光期間における入射光の強度は、図７に示すようには変化せずに一定である。このため、左画像データと右画像データとの間において、輝度の誤差はほとんど生じない。従って、輝度の誤差の大きい光源については、車両灯火でない可能性が高い。このような理由により、ステップＳ２５４では、輝度の誤差の大きい光源を、車両灯火の候補から排除する。
　但し、左画像データと右画像データとの間の輝度の誤差により点滅光源を検出するためには、露光タイミングのずれ量及び露光期間を、点滅光源の周波数帯に適した値に調整する必要がある。従って、露光タイミングのずれ量及び露光期間については、車両灯火の候補から排除すべき点滅光源の周波数を考慮して、設計者が試験等により定める。
　ステップＳ２５５に移行すると、制御ユニット１５は、車両灯火の候補として残留する光源の全てについて、これを検査対象としてステップＳ２５２以降の処理を実行したか否かを判断し、全てについて実行していないと判断すると（ステップＳ２５５でＮｏ）、ステップＳ２５１に移行して、検査対象として未選択の光源の一つを新たな検査対象に選択して、ステップＳ２５２以降の処理を実行する。
　そして、車両灯火の候補として残留する光源の全てについて、ステップＳ２５２以降の処理を実行したと判断すると（ステップＳ２５５でＹｅｓ）、現時点において車両灯火の候補として残留する光源の一群を、車両灯火として特定し（ステップＳ２５９）、点滅光源排除処理を終了する。但し、ステップＳ２５９では、車両灯火の候補として残留する光源が一つもない場合、自車両前方領域に車両灯火無し、と判定して、当該点滅光源排除処理を終了する。
　また、ステップＳ２５０における点滅光源排除処理の実行によって車両灯火を特定すると、制御ユニット１５は、ステップＳ２６０に移行し、車両前方の状態を表す情報として、自車両前方領域における車両灯火の有無を含む車両灯火の検出結果を表す情報を、車内ＬＡＮを通じて車両制御装置２０に送信（出力）する。車両灯火の検出結果を表す情報には、車両灯火の有無を表す情報と共に、自車両前方領域における車両灯火の数や、車両灯火までの距離／方位を表す情報等を含ませることができる。その後、当該点滅光源排除処理を終了する。
　以上には、制御ユニット１５が、オートハイビームシステムとしての機能がオンにされている夜間において実行する処理の内容について説明したが、それ以外の環境では、例えば、立体検出処理及び車両灯火検出処理の内、立体検出処理のみを実行するように、制御ユニット１５は構成され得る。
　また、車両制御装置２０は、画像解析装置１０から送信される車両前方の状態を表す情報としての自車両前方領域に存在する物体の距離に関する情報及び自車両前方領域における車両灯火の検出結果を表す情報に基づき、車両制御を行うが、具体的に、オートハイビームシステムとしての機能がオンにされている夜間には、画像解析装置１０から受信した車両灯火の検出結果を表す情報に基づき、ヘッドライト３を制御して、ヘッドライト３からのビームの照射角度を調整する。例えば、車両制御装置２０は、オートハイビームシステムとしての機能がオンにされ且つヘッドライト３が点灯している夜間において、図８に示すヘッドライト自動制御処理を繰り返し実行する。
　このヘッドライト自動制御処理によれば、車両制御装置２０は、画像解析装置１０から受信した車両灯火の検出結果を表す情報が車両灯火有りとの情報である場合（ステップＳ３１０でＹｅｓ）、ヘッドライト３からのビームの上下方向における照射角度をローに切り替える。即ち、ヘッドライト３から所謂ロービームが出力されるように、ヘッドライト３を制御する（ステップＳ３２０）。一方、画像解析装置１０から受信した車両灯火の検出結果を表す情報が車両灯火無しとの情報である場合には（ステップＳ３１０でＮｏ）、ヘッドライト３からのビームの照射角度をハイに切り替える（ステップＳ３３０）。即ち、ヘッドライト３から所謂ハイビームが出力されるように、ヘッドライト３を制御する（ステップＳ３３０）。このような処理を繰り返し実行する。付言すれば、画像解析装置１０から車両灯火の検出結果を表す情報を一定期間以上受信できない場合には、ヘッドライト３からロービームが出力されるように、ヘッドライト３を制御することができる。
　以上、本実施例の車両制御システム１の構成について説明したが、本実施例によれば、左カメラ１１Ｌ及び右カメラ１１Ｒの制御により、左カメラ１１Ｌ及び右カメラ１１Ｒに共通の自車両前方領域を撮影させ、その撮影画像を表す画像データ（左画像データ及び右画像データ）を生成させる。この際には、左カメラ１１Ｌの露光タイミングを右カメラ１１Ｒからずらすように、左カメラ１１Ｌ及び右カメラ１１Ｒの露光タイミングを制御して、左カメラ１１Ｌ及び右カメラ１１Ｒから露光タイミングに差異のある画像データ（左画像データ及び右画像データ）を取得する。そして、左画像データ及び右画像データの一方（上記実施例では左画像データ）に基づき、車両灯火の候補を抽出する（ステップＳ２３０）。
　更に、この露光タイミングに差異のある左画像データと右画像データとの比較により、左画像データに映る灯火であって周期的に点滅する灯火を検出する（ステップＳ２５１～Ｓ２５３）。具体的には、ステップＳ２３０で抽出された車両灯火の候補とされる光源の夫々に関して、この光源の左画像データにおける輝度と右画像データにおける輝度との差を算出し（ステップＳ２５２）、算出された輝度の差が基準値より大きい灯火の夫々を点滅する灯火として検出する（ステップＳ２５３）。
　そして、ステップＳ２３０で抽出された車両灯火の候補から、点滅する灯火を排除し（ステップＳ２５４）、最終的に車両灯火の候補として残った光源を、車両灯火として検出する（ステップＳ２５９）。
　即ち、本実施例によれば、露光タイミングに差異のある画像データの一組に基づき、点滅する灯火を検出することで、カメラ１１Ｌ，１１Ｒとして、高速サンプリング可能なカメラ等を用いなくても、一般的なステレオカメラ１１を用いて、ＬＥＤ信号機のような高い周波数の点滅光源を検出することができるようにし、車両灯火ではない点滅光源を排除して精度よく車両灯火を検出することができるようにした。従って、本実施例によれば、高精度に車両灯火を検出可能な画像解析装置１０を低コストに製造することができる。
　また、本実施例によれば、距離検出のためのステレオカメラ１１を用いて、車両灯火の検出を高精度に行うことができるので、効率的に高性能な車両制御システム１を構築することができる。
　即ち、本実施例によれば、ステレオ撮影モードによって、左カメラ１１Ｌ及び右カメラ１１Ｒの露光タイミングを揃えるように、左カメラ１１Ｌ及び右カメラ１１Ｒを制御して、この露光により左カメラ１１Ｌ及び右カメラ１１Ｒが生成した画像データの一組であるステレオ画像データ（左画像データ及び右画像データ）を取得し、このステレオ画像データに基づき、車両灯火を含む自車両前方領域における各物体までの距離を検出し（ステップＳ１３０）、これを車両制御に用いる。また、距離の検出結果を利用して、車両灯火の検出精度を高める。従って、自車両前方領域を立体視した結果に基づく車両制御と、車両灯火の検出結果に基づく車両制御（ヘッドライト３の制御）とを、一つのステレオカメラ１１を用いて効率的に且つ高精度に実現することができる。
　但し、本発明が上記実施例に限定されるものではなく、種々の態様を採ることができることは言うまでもない。例えば、上記実施例では、立体検出処理により得られた自車両前方領域の物体までの距離の検出結果を、車両灯火検出処理で用いて（ステップＳ２４０）、車両灯火の候補の絞込みを行うようにしたが、必ずしも、立体検出処理による距離の検出結果を車両灯火の検出に用いる必要はない。即ち、ステップＳ２４０の処理を実行しないように、制御ユニット１５は構成されてもよい。
　また、ステップＳ２３０において車両灯火の候補を抽出する処理の内容については、上記実施例に限定されるものではなく、ステップＳ２３０の処理には、公知の種々技術を適用することができる。この他、制御ユニット１５は、専用のＩＣとして構成することができる。
　最後に、対応関係について説明する。上記実施例における画像解析装置１０は、灯火検出装置の一例に対応し、右カメラ１１Ｒ及び左カメラ１１Ｌは、第一及び第二の撮像手段の一例に対応する。
　また、制御ユニット１５が実行するステップＳ１１０，Ｓ１２０，Ｓ２１０，Ｓ２２０によって実現される機能は、制御手段によって実現される機能の一例に対応し、制御ユニット１５が実行するステップＳ１３０，Ｓ２３０～Ｓ２５０，Ｓ２５１～Ｓ２５９によって実現される機能は、車両灯火検出手段によって実現される機能の一例に対応する。
　この他、制御ユニット１５が実行するステップＳ２３０によって実現される機能は、候補検出手段によって実現される機能の一例に対応し、ステップＳ２５１～Ｓ２５３によって実現される機能は、点滅灯火検出手段によって実現される機能の一例に対応し、ステップＳ２５４によって実現される機能は、排除手段によって実現される機能の一例に対応する。また、制御ユニット１５が実行するステップＳ１３０の処理によって実現される機能は、車両灯火検出手段によって実現される灯火までの距離を検出する機能の一例に対応する。
　そして、車両制御装置２０が実行するヘッドライト自動制御処理によって実現される機能は、ヘッドライト制御手段によって実現される機能の一例に対応する。
１…車両制御システム
３…ヘッドライト、
１０…画像解析装置、
１１…ステレオカメラ、
１１Ｒ…右カメラ、
１１Ｌ…左カメラ、
１５…制御ユニット、
１５Ａ…ＣＰＵ、
１５Ｂ…メモリ、
２０…車両制御装置

Claims (8)

  1. 　車両の灯火を検出する灯火検出装置において、
    　共通の前方領域を撮影し、その撮影画像を表す画像データを生成する第一及び第二の撮像手段と、
    　前記第二の撮像手段の露光タイミングを前記第一の撮像手段からずらすように前記第一及び第二の撮像手段の露光タイミングを制御して、前記第一及び第二の撮像手段から露光タイミングに差異のある前記画像データの一組を取得する制御手段と、
    　前記制御手段の動作により前記第一及び第二の撮像手段から得られた前記画像データを解析して、前記画像データに映る車両灯火を検出する車両灯火検出手段と、
    　を備え、
    　前記車両灯火検出手段は、
    　前記第一の撮像手段から得られた前記画像データと前記第二の撮像手段から得られた前記画像データとの比較により、前記画像データに映る灯火であって点滅する灯火を検出する点滅灯火検出手段と、
    　前記点滅灯火検出手段により検出された灯火を、前記車両灯火の候補から排除する排除手段と、
    　を備える灯火検出装置。
  2. 　前記車両灯火検出手段は、
    　前記制御手段の動作により前記第一及び第二の撮像手段から得られた前記画像データの一方に基づき、前記画像データに映る前記車両灯火の候補とする灯火を検出する候補検出手段を更に備え、
    　前記排除手段は、前記候補検出手段により前記車両灯火の候補として検出された灯火から前記点滅灯火検出手段により検出された前記点滅する灯火を排除するように構成されている請求項１に記載の灯火検出装置。
  3. 　前記点滅灯火検出手段は、前記候補検出手段により検出された前記車両灯火の候補とされる灯火の夫々に関して、この灯火の前記第一の撮像手段から得られた前記画像データにおける輝度と前記第二の撮像手段から得られた前記画像データにおける輝度との差を算出し、前記算出された輝度の差が基準より大きい灯火の夫々を前記点滅する灯火として検出するように構成されている請求項２に記載の灯火検出装置。
  4. 　前記制御手段は、前記第二の撮像手段の露光タイミングを前記第一の撮像手段からずらすように前記第一及び第二の撮像手段の露光タイミングを制御して、前記第一及び第二の撮像手段から露光タイミングの異なる前記画像データの一組を取得する第一の動作モードに加えて、前記第一及び第二の撮像手段の露光タイミングを揃えるように制御して、この露光により前記第一及び第二の撮像手段が生成した前記画像データの一組であるステレオ画像データを取得する第二の動作モードを備え、
    　前記車両灯火検出手段は、前記第二の動作モードにより取得された前記ステレオ画像データに基づき、前記第一及び第二の撮像手段により撮影された灯火までの距離を検出する機能を有して構成されている請求項３に記載の灯火検出装置。
  5. 　前記制御手段は、前記第二の撮像手段の露光タイミングを前記第一の撮像手段からずらすように前記第一及び第二の撮像手段の露光タイミングを制御して、前記第一及び第二の撮像手段から露光タイミングの異なる前記画像データの一組を取得する第一の動作モードに加えて、前記第一及び第二の撮像手段の露光タイミングを揃えるように制御して、この露光により前記第一及び第二の撮像手段が生成した前記画像データの一組であるステレオ画像データを取得する第二の動作モードを備え、
    　前記車両灯火検出手段は、前記第二の動作モードにより取得された前記ステレオ画像データに基づき、前記第一及び第二の撮像手段により撮影された灯火までの距離を検出する機能を有して構成されている請求項２に記載の灯火検出装置。
  6. 　前記制御手段は、前記第二の撮像手段の露光タイミングを前記第一の撮像手段からずらすように前記第一及び第二の撮像手段の露光タイミングを制御して、前記第一及び第二の撮像手段から露光タイミングの異なる前記画像データの一組を取得する第一の動作モードに加えて、前記第一及び第二の撮像手段の露光タイミングを揃えるように制御して、この露光により前記第一及び第二の撮像手段が生成した前記画像データの一組であるステレオ画像データを取得する第二の動作モードを備え、
    　前記車両灯火検出手段は、前記第二の動作モードにより取得された前記ステレオ画像データに基づき、前記第一及び第二の撮像手段により撮影された灯火までの距離を検出する機能を有して構成されている請求項１に記載の灯火検出装置。
  7. 　請求項１に記載の灯火検出装置と、
    　前記灯火検出装置による前記車両灯火の検出結果に基づき、自車両のヘッドライトによるビームの照射方向を切り替えるヘッドライト制御手段と、
    　を備える車両制御システム。
  8. 　車両の灯火を検出する装置であって、
    　共通の前方領域を撮影し、その撮影画像を表す画像データを生成する第一及び第二の撮像手段と、
    　前記第二の撮像手段の露光タイミングを前記第一の撮像手段からずらすように前記第一及び第二の撮像手段の露光タイミングを制御して、前記第一及び第二の撮像手段から露光タイミングに差異のある前記画像データの一組を取得する制御手段と、を備えた装置における前記灯火の検出方法であって、
    　前記制御手段の動作により前記第一及び第二の撮像手段から得られた前記画像データを解析する解析ステップと、
    　その解析結果から前記画像データに映る車両灯火を検出する検出ステップと、を有し、
    　前記解析ステップは、前記第一の撮像手段から得られた前記画像データと前記第二の撮像手段から得られた前記画像データとの比較により、前記画像データに映る灯火であって点滅する灯火を検出する処理を含み、
    　前記検出ステップは、前記点滅する灯火を、前記車両灯火の候補から排除する処理を含む検出方法。
PCT/JP2013/063620 2012-05-16 2013-05-16 車両の灯火を検出する装置及びその方法 WO2013172398A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/401,273 US20150138324A1 (en) 2012-05-16 2013-05-16 Apparatus for detecting vehicle light and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012112473A JP5772714B2 (ja) 2012-05-16 2012-05-16 灯火検出装置及び車両制御システム
JP2012-112473 2012-05-16

Publications (1)

Publication Number Publication Date
WO2013172398A1 true WO2013172398A1 (ja) 2013-11-21

Family

ID=49583802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/063620 WO2013172398A1 (ja) 2012-05-16 2013-05-16 車両の灯火を検出する装置及びその方法

Country Status (3)

Country Link
US (1) US20150138324A1 (ja)
JP (1) JP5772714B2 (ja)
WO (1) WO2013172398A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012221159A1 (de) * 2012-11-20 2014-05-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen
JP6325000B2 (ja) * 2013-12-25 2018-05-16 日立オートモティブシステムズ株式会社 車載画像認識装置
US9779314B1 (en) * 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
US10814245B2 (en) 2014-08-26 2020-10-27 Saeed Alhassan Alkhazraji Solar still apparatus
EP3459238B1 (en) * 2017-07-28 2021-06-09 Google LLC Need-sensitive image and location capture system and method
JP7160606B2 (ja) * 2018-09-10 2022-10-25 株式会社小松製作所 作業機械の制御システム及び方法
JP7204551B2 (ja) * 2019-03-19 2023-01-16 株式会社小糸製作所 車両用監視システム
US11702140B2 (en) 2019-11-19 2023-07-18 Robert Bosch Gmbh Vehicle front optical object detection via photoelectric effect of metallic striping
JP7431698B2 (ja) * 2020-08-20 2024-02-15 株式会社Subaru 車外環境認識装置
US11490023B2 (en) * 2020-10-30 2022-11-01 Ford Global Technologies, Llc Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005350010A (ja) * 2004-06-14 2005-12-22 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2008137494A (ja) * 2006-12-01 2008-06-19 Denso Corp 車両用視界支援装置
JP2009067083A (ja) * 2007-09-10 2009-04-02 Nissan Motor Co Ltd 車両用前照灯装置およびその制御方法
WO2012017559A1 (ja) * 2010-08-06 2012-02-09 トヨタ自動車株式会社 車両配光制御装置及び方法
JP2012071677A (ja) * 2010-09-28 2012-04-12 Fuji Heavy Ind Ltd 車両の運転支援装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP4914233B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005350010A (ja) * 2004-06-14 2005-12-22 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2008137494A (ja) * 2006-12-01 2008-06-19 Denso Corp 車両用視界支援装置
JP2009067083A (ja) * 2007-09-10 2009-04-02 Nissan Motor Co Ltd 車両用前照灯装置およびその制御方法
WO2012017559A1 (ja) * 2010-08-06 2012-02-09 トヨタ自動車株式会社 車両配光制御装置及び方法
JP2012071677A (ja) * 2010-09-28 2012-04-12 Fuji Heavy Ind Ltd 車両の運転支援装置

Also Published As

Publication number Publication date
US20150138324A1 (en) 2015-05-21
JP2013237389A (ja) 2013-11-28
JP5772714B2 (ja) 2015-09-02

Similar Documents

Publication Publication Date Title
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
JP6325000B2 (ja) 車載画像認識装置
WO2017014023A1 (ja) 車載環境認識装置
JP5846872B2 (ja) 画像処理装置
JP5863536B2 (ja) 車外監視装置
JP6132412B2 (ja) 車外環境認識装置
US7936904B2 (en) Image recognition device for vehicle and vehicle head lamp controller and method of controlling head lamps
US9679207B2 (en) Traffic light detecting device and traffic light detecting method
RU2655256C1 (ru) Устройство обнаружения светофора и способ обнаружения светофора
JP2010092422A (ja) 車両検出装置、車両検出プログラム、およびライト制御装置
US9679208B2 (en) Traffic light detecting device and traffic light detecting method
JP2008094249A (ja) 車両検出装置及びヘッドランプ制御装置
JP6236039B2 (ja) 車外環境認識装置
JP2012226513A (ja) 検知装置、及び検知方法
JP6420650B2 (ja) 車外環境認識装置
WO2013035828A1 (ja) 車両の旋回を予測する装置及び方法
JP2015170240A (ja) 車外環境認識装置
JP2015069568A (ja) フィルタリング装置
JP5898535B2 (ja) 撮像ユニットの露光制御装置
JP2006252363A (ja) 車両周囲物体検出装置、および車両周囲物体検出方法
CN111971527B (zh) 摄像装置
JP5310162B2 (ja) 車両灯火判定装置
WO2019044434A1 (ja) 物体検出システム
JP4882592B2 (ja) 光抽出装置、光抽出方法及び距離計測システム
JP2021044667A (ja) 露光制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13790941

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14401273

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13790941

Country of ref document: EP

Kind code of ref document: A1