WO2013168744A1 - 車両の光源を検出する方法及び装置 - Google Patents

車両の光源を検出する方法及び装置 Download PDF

Info

Publication number
WO2013168744A1
WO2013168744A1 PCT/JP2013/062950 JP2013062950W WO2013168744A1 WO 2013168744 A1 WO2013168744 A1 WO 2013168744A1 JP 2013062950 W JP2013062950 W JP 2013062950W WO 2013168744 A1 WO2013168744 A1 WO 2013168744A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
vehicle
accuracy
color
captured image
Prior art date
Application number
PCT/JP2013/062950
Other languages
English (en)
French (fr)
Inventor
佐藤　弘規
泰児 森下
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US14/399,399 priority Critical patent/US9977974B2/en
Publication of WO2013168744A1 publication Critical patent/WO2013168744A1/ja
Priority to US15/960,856 priority patent/US10839235B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a method and apparatus for detecting a light source of another vehicle from an image mounted on a vehicle and photographing a field of view outside the vehicle.
  • a motorcycle that does not have a pair of light sources may not be detected as a vehicle light source, or a light source other than a vehicle that is arranged in a pair may be erroneously detected as a vehicle light source, resulting in low detection reliability. It was. Therefore, it is desired to be able to detect the light source of other vehicles with high accuracy.
  • an apparatus (10) mounted on a vehicle and detecting a light source of another vehicle identifies an image acquisition unit (S110) that acquires a captured image of a visual field in a traveling direction of the vehicle on which the apparatus is mounted, a light source extraction unit (S140) that extracts a light source from the captured image, and the light source Accuracy calculation means for calculating the accuracy for estimating that the light source is a vehicle light source derived from a vehicle based on a light source parameter (S150), darker than the surroundings below the light source in the captured image Among the light sources extracted by the dark part extracting means (S220) for extracting the dark part, the accuracy correcting means (S240) for setting the accuracy higher than the light source from which the dark part has been extracted, and the light source extracted by the light source extracting means And estimating means (S250) for estimating a light source having the accuracy equal to or higher than a preset reference value as a light source of the other vehicle.
  • S110 image acquisition unit
  • S140 light source extraction unit
  • the detection devices and detection methods when a dark part detected as a shadow of a vehicle is detected below the light source of the vehicle, the accuracy of being a vehicle light source is set high (that is, corrected to a high value). ). For this reason, the thing which does not have a shadow under a light source like a street light, for example can be identified as what is not a light source of a vehicle. Therefore, the light source of other vehicles can be detected with high accuracy, and the detection reliability increases.
  • the light source parameter represents information for identifying the light source. Specifically, this information includes at least one of information such as the color, shape, brightness, position, and size of the light source.
  • a similar color light source extraction unit is provided, and this unit selects another light source having a color similar to the light source and having a preset color as the color of the vehicle light source and below the light source.
  • the similar color light source to be expressed is extracted.
  • the accuracy correction unit may set the accuracy of being a vehicle light source higher than the light source from which the similar color light source is extracted.
  • the accuracy correction unit may set the accuracy of being a vehicle light source higher than the light source from which the dark portion and the similar color light source are extracted.
  • tail light source extraction means is provided, and this means extracts a tail light source representing a light source of a color similar to the tail lamp from the light source, and the bright part extraction means is in the left and right regions of the light source. A bright part representing an area brighter than the surrounding area is extracted.
  • the accuracy correction unit may set the accuracy that the light source corresponding to the bright portion is a vehicle light source higher than the light source that is the tail light source.
  • the accuracy of being a vehicle light source with respect to the light source being a tail light source is increased. Can be set high. Therefore, the vehicle light source can be detected with higher accuracy.
  • a color near the center of the light source may be detected, or an average color of an area having a certain luminance or more of the light source may be detected.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a light control system according to the embodiment.
  • FIG. 2 is a flowchart showing the light control process of the embodiment executed by the processing unit of the light control system.
  • FIG. 3 shows an example of a captured image.
  • FIG. 3A shows an imaging screen in which an oncoming vehicle is reflected
  • FIG. 3B shows an imaging screen in which a preceding vehicle is reflected.
  • FIG. 1 shows a light control system 1 having a function of a vehicle light source detection device according to the present invention.
  • This system 1 is mounted on a vehicle such as a passenger car, for example, and when there is another vehicle around the vehicle, the direction of the optical axis of the headlight of the vehicle is changed downward to dazzle the driver of the other vehicle. It has the function to prevent. This change in the direction of the optical axis is executed when another vehicle exists within a range in which the above-described dazzling may occur.
  • the light control system 1 includes a processing unit 10, a camera 20, a speed sensor 21, a rudder angle sensor 22, and a light control unit 30.
  • the camera 20 is arranged such that at least the irradiation range of the headlight in the traveling direction of the vehicle (particularly in front) is included in the imaging range, and is configured as a color camera that images the imaging range in color. Is sent to the processing unit 10.
  • the speed sensor 21 and the rudder angle sensor 22 have a well-known configuration and are used for estimating the traveling direction of the vehicle.
  • the speed sensor 21 and the rudder angle sensor 22 send detection results by themselves to the processing unit 10.
  • the light control unit 30 receives the vehicle light detection result by the processing unit 10 and controls the direction of the optical axis of the headlight. Specifically, when a detection result indicating that there is a vehicle light in the captured image is received, the headlight is switched to a low beam, and when a detection result indicating that there is no vehicle light in the captured image is received, the high beam is switched. Note that the light control unit 30 may be configured to move the direction of the optical axis in a direction in which no other vehicle exists (for example, downward or leftward) in response to a command from the processing unit 10.
  • the processing unit 10 is configured as a well-known microcomputer including a CPU 10A and a memory 11 such as a ROM and a RAM, and will be described later based on a program (including a vehicle light source detection program) stored in the memory 11. Various processes such as a write control process are performed. Further, the memory 11 includes parameters indicating characteristics of the lights of the vehicle (including values corresponding to parameters such as position, size, color, height, distance between paired lights, behavior, etc.), vehicle The parameter which shows the characteristic of light sources other than is stored. The parameters stored in the memory 11 are used when a light source indicating a vehicle light is identified and detected from a captured image in a light source other than the vehicle light.
  • the light control process is a process for controlling the direction of the optical axis of the headlight by identifying and detecting the light source indicating the vehicle light from the captured image.
  • the light control process is a process that is started when the vehicle is turned on, and thereafter executed every predetermined period (for example, every 100 ms). Specifically, as shown in FIG. 2, first, an image captured by the camera 20 is acquired (step S110).
  • road surface information is extracted (step S120).
  • a road surface area in the captured image is specified using a known white line detection technique or the like. For example, white lines existing on the left and right of the traveling area of the host vehicle are detected, and the area inside these white lines is set as a road surface area.
  • the road surface color is detected by calculating the average color of the specified road surface area (step S130).
  • the color of the specific position (arbitrary part) on the road surface may be the color of the road surface.
  • light candidates are extracted from the captured image (step S140). In this processing, the entire region as one light source in the captured image and including the smallest region is cut out in a rectangle (rectangle), and labeling (numbering) is performed for each cut out region. In this process, a larger area is extracted as the light source in the captured image is larger.
  • a light candidate feature amount is calculated, and the probability that the light source is a vehicle light source is set according to the feature amount (step S150).
  • the still image level feature amount, the pair feature amount, and the time series feature amount are obtained.
  • the still image level feature amount represents a feature amount based on the color or shape of a single light source included in the light source
  • the pair feature amount represents a feature amount based on the relationship with other light sources positioned in the horizontal direction
  • the time-series feature amount represents It represents the feature value based on the result of tracking the light source.
  • the accuracy that the light source is a vehicle light source is obtained according to each feature amount.
  • the accuracy of the vehicle light source is calculated by taking a weighted average of each feature amount.
  • each feature-value and the accuracy which is a vehicle light source may be matched experimentally beforehand.
  • a light source having a candidate color is detected (step S160).
  • the average color of the region extracted as the light source is selected as the lamp color used as a vehicle light such as a headlamp, tail lamp, fog lamp, or number lamp.
  • a characteristic tendency when the light source is a vehicle light source is detected (steps S210 to S230).
  • the light source is the light source of the vehicle and the target vehicle travels from the front of the host vehicle toward the host vehicle, as shown in FIG. 3A, immediately below the light source (light candidate).
  • the light source light candidate
  • the reflected light of the light source from the road surface has a similar color to the light source. Also, if the light source is not from a vehicle, there is no dark area immediately below the light source or there is a dark area in the area away from the light source, and there is no reflected light from the light source or further away from the light source. Tend to be.
  • the target vehicle is a preceding vehicle that travels in front of the host vehicle in the same direction as the host vehicle, as in the case of the oncoming vehicle, as shown in FIG.
  • an area brighter than the brightness of the road surface (which can be calculated from the color of the road surface) within a certain distance below the selected light source is detected (step S210).
  • the constant distance here refers to, for example, a range of several meters from the light source, and the distance is converted into the number of pixels according to the position of the light source, and a bright region is detected within the number of pixels.
  • step S220 an area where the luminance is darker than the luminance of the road surface within a certain distance below the light source is detected (step S220).
  • the fixed distance here is generally set within a range of, for example, about 50 cm from the light source in consideration of the height at which the headlamp and the tail lamp are arranged and the distance to the area where the shadow of the vehicle exists.
  • step S230 a region where the luminance is brighter than the luminance of the road surface in the region located on the side of the light source is detected.
  • the process of step S230 is performed only when the color of the light source is a color indicating a tail lamp, and a bright area is detected within the range in which the headlight diffuses (within a range of several meters). If the bright area is too far away from the light source, a disturbance such as a guardrail may be detected as a bright area. In order to reduce the influence of this disturbance, the bright area is detected only within the range where the headlight diffuses. Within range.
  • step S240 the dark area that is the shadow of the vehicle itself immediately below the light source, the reflected light area of the light source below the light source, and the side of the light source of the color that indicates the taillight.
  • the probability that the vehicle is a vehicle is set higher with respect to the light source from which any one of the bright areas is detected (step S240). At this time, a higher probability may be set for a light source in which a plurality of areas among the above-described areas are detected. Note that in the process of step S240, in the processes of steps S210 to S230, the dark area that is the shadow of the vehicle itself immediately below the light source, the reflected light area of the light source below the light source, and the color indicating the taillight.
  • a light source that did not detect any of the bright areas on the side of the light source (there is no dark area directly under the light source or a dark area in the area away from the light source, or there is reflected light from the light source)
  • the probability of being a vehicle may be set lower with respect to a case where the area is further away from the light source.
  • a preset threshold value is compared with a final probability, and a light source having a probability less than the threshold value is removed as a disturbance to determine the remaining light source as a vehicle light (step S250). Then, the detection result of the vehicle light is sent to the light control unit 30 (step S260), and the light control process is terminated.
  • the processing unit 10 acquires a captured image obtained by capturing the traveling direction of the host vehicle, and extracts a light source from the captured image. Then, the probability that the light source is a vehicle light source that represents the light source derived from the vehicle is calculated based on the light source parameter that represents the parameter relating to the light source, and a dark part that represents a darker part than the surroundings under the light source is extracted. Furthermore, the accuracy of being a vehicle light source is set higher than the light source from which the dark portion is extracted, and a light source having an accuracy equal to or higher than a preset reference value is estimated as the vehicle light source.
  • the light source parameter in the present embodiment represents information for identifying the light source.
  • the light source parameter includes at least one of information such as the color, shape, brightness, position, and size of the light source.
  • the processing unit 10 has a color similar to the color of the light source and has a color set in advance as the color of the light source of the vehicle, and represents a similar color representing another light source below the light source. Extract the light source. Furthermore, the probability of being a vehicle light source is set higher than the light source from which the dark portion and the similar color light source are extracted.
  • a light control system 1 it is a color set as a light source of a vehicle when the light source is reflected on the road surface below the light source, and when a reflected light of a similar color to the light source is detected, Therefore, the vehicle light source can be detected with higher accuracy.
  • the processing unit 10 sets the probability that the light source is a vehicle light source according to the distance from the light source to the similar color light source.
  • the height from the road surface to the light source is detected as the distance from the light source to the similar color light source, and the vehicle according to the degree to which this distance matches the distance set as the light source of the vehicle.
  • the accuracy of the light source can be set. Therefore, the vehicle light source can be detected with higher accuracy.
  • the processing unit 10 extracts a tail light source representing a light source having a color similar to the tail lamp from the light source, and extracts a bright part representing a brighter region than the surroundings in the left and right regions of the light source, Furthermore, the probability that the light source corresponding to the bright part is a vehicle light source is set higher than the light source that is a tail light source.
  • a tail light source when a tail light source is detected and a bright part is detected by a headlight emitted from a preceding vehicle toward the traveling direction of the host vehicle, the light source that is a tail light source is detected.
  • the accuracy of the vehicle light source can be set high. Therefore, the vehicle light source can be detected with higher accuracy.
  • the color near the center may be detected, or the average color of an area having a certain luminance or higher may be detected.
  • the embodiments of the present invention are not limited to the above-described embodiments, and various forms can be adopted as long as they belong to the technical scope of the present invention.
  • the processing unit 10 of this embodiment corresponds to a vehicle light source detection device, and the processing of S110 of this embodiment corresponds to an image acquisition unit.
  • the process of S140 of this embodiment corresponds to a light source extraction unit, and the process of S150 of this embodiment corresponds to an accuracy calculation unit.
  • process of S160 of this embodiment corresponds to tail light source extraction means
  • process of S210 of this embodiment corresponds to similar color light source extraction means
  • process of S220 of the present embodiment corresponds to dark part extraction means
  • process of S230 of the present embodiment corresponds to bright part extraction means.
  • process of S240 of the present embodiment corresponds to accuracy correction means
  • process of S250 of the present embodiment corresponds to vehicle light source estimation means
  • SYMBOLS 1 Light control system, 10 ... Processing part, 11 ... Memory, 20 ... Camera, 21 ... Speed sensor, 22 ... Steering angle sensor, 30 ... Light control part.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Processing (AREA)

Abstract

　ライト制御システム（１）では、車両の進行方向の撮像画像が取得され（Ｓ１１０）、撮像画像から光源を抽出される（Ｓ１４０）。さらに、光源を識別するための光源パラメータに基づいて光源が車両に由来する車両光源であると推定するための確度が演算される（Ｓ１５０）。撮像画像において光源の下方にある周囲よりも暗い暗部が抽出される（Ｓ２２０）。さらに、暗部が抽出された光源に対して、前記確度がより高く設定される（Ｓ２４０）。予め設定された基準値以上の確度を有する光源が他の車両の光源として推定される（Ｓ２５０）。つまり、車両の影として検出される暗部が検出された場合に、車両光源である確度が高く設定される。

Description

車両の光源を検出する方法及び装置
　本発明は、車両に搭載され、その車両の外の視野を撮影した画像から他の車両の光源を検出する方法及び装置に関する。
　従来、車両光源検出装置として、撮像画像中において、光源のペアと路面による反射光とを検出した場合に、この光源を車両の光源と特定するものが知られている（例えば、特許文献１参照）。
特開平６－２７６５２４号公報
　しかしながら上記の技術では、光源がペアにならない二輪車を車両の光源として検出できなかったり、ペア配置された車両以外の光源を車両の光源として誤検出したりすることがあり、検出の信頼性が低かった。
　そこで、他の車両の光源を精度よく検出できるようにすることが望まれている。
　本開示に係る１つの例示によれば、車両に搭載され、他の車両の光源を検出する装置（１０）が提供される。この装置は、当該装置を搭載した前記車両の進行方向の視野の撮像画像を取得する画像取得手段（Ｓ１１０）と、前記撮像画像から光源を抽出する光源抽出手段（Ｓ１４０）と、前記光源を識別するための光源パラメータに基づいて前記光源が車両に由来する車両光源であると推定するための確度を演算する確度演算手段と（Ｓ１５０）、前記撮像画像における前記光源の下方にある周囲よりも暗い暗部を抽出する暗部抽出手段（Ｓ２２０）と、前記暗部が抽出された前記光源に対して前記確度をより高く設定する確度補正手段（Ｓ２４０）と、前記光源抽出手段により抽出された前記光源のうち、予め設定された基準値以上の前記確度を有する光源を前記他の車両の光源として推定する推定手段（Ｓ２５０）と、を備える。
　この装置と同等の処理工程を有する、車両の光源を検出する方法も提供できる。
　これらの検出装置及び検出方法によれば、車両の光源の下方において車両の影として検出される暗部を検出した場合に、車両光源である確度を高く設定される（つまり、高い値に補正される）。このため、例えば街路灯のように光源の下方に影が存在しないものを、車両の光源でないものとして識別することができる。よって、他の車両の光源を精度よく検出することができ、検出の信頼性が上がる
　なお、光源パラメータとは、光源を識別するための情報を表す。この情報には、具体的には、光源の色、形状、明るさ、位置、大きさ等の情報のうちの少なくとも１つが含まれる。
　また、好適には、類似色光源抽出手段を設け、この手段が、光源と類似する色であってかつ車両の光源の色として予め設定された色を有し光源の下方にある別の光源を表す類似色光源を抽出するようにする。この場合、確度補正手段が、類似色光源が抽出された光源に対して車両光源である確度をより高く設定するようにしてもよい。
　このような車両光源検出装置によれば、光源の下方においてこの光源が路面に反射したときの車両の光源として設定された色であり、光源と類似色の反射光を検出した場合に車両光源としての確度を高く設定するので、車両光源をより精度よく検出することができる。なお、確度補正手段は暗部および類似色光源が抽出された光源に対して車両光源である確度をより高く設定するようにしてもよい。
　また、別の好適な例として、テール光源抽出手段を設け、この手段を、光源からテールランプに類似する色の光源を表すテール光源を抽出し、明部抽出手段が光源の左右の領域にある、周囲よりも明るい領域を表す明部を抽出するようにする。この場合、確度補正手段は、明部が対応する光源がテール光源である光源に対して車両光源である確度をより高く設定するようにしてもよい。
　これによれば、テール光源を検出し、車両の進行方向に向けて前方車両から照射されたヘッドライトによる明部が検出された場合に、テール光源である光源に対して車両光源である確度を高く設定することができる。よって、より精度よく車両光源を検出することができる。
　なお、色を検出する際には、光源の中心付近の色を検出したり、光源の一定以上の輝度を有する領域の平均色を検出したりすればよい。
　また、上記目的を達成するためには、コンピュータを、上記検出装置を構成する各手段として機能させるための車両光源検出プログラムとしてもよい。
図１は、実施形態に係るライト制御システムの概略構成を示すブロック図である。 図２は、ライト制御システムの処理部が実行する実施形態のライト制御処理を示すフローチャートである。 図３は、撮像画像の一例を示し、同図（ａ）は対向車が写り込んでいる撮像画面を示し、同図（ｂ）は先行車が写り込んでいる撮像画面である。
　以下、添付図面を参照して、本発明にかかる車両光源検出装置の実施形態を説明する。
　図１に、本発明にかかる車両光源検出装置の機能を有するライト制御システム１を示す。このシステム１は、例えば乗用車等の車両に搭載され、その周囲に他の車両が存在する場合に、その車両のヘッドライトの光軸の向きを下向きに変更し、他の車両の運転者に対する眩惑を防止する機能を有する。この光軸の向きの変更は、上記眩惑を発生させる可能性がある範囲内に他の車両が存在する場合に実行される。
　詳細には、ライト制御システム１は、処理部１０と、カメラ２０と、速度センサ２１と、舵角センサ２２と、ライト制御部３０と、を備えている。カメラ２０は、車両の進行方向（特に前方）における少なくともヘッドライトによる照射範囲内が撮像範囲に含まれるように配置され、この撮像範囲内をカラーで撮像するカラーカメラとして構成されており、撮像画像を処理部１０に送る。
　速度センサ２１および舵角センサ２２は周知の構成とされており、車両の進行方向を推定するために用いられる。速度センサ２１および舵角センサ２２は、自身による検出結果を処理部１０に送る。
　ライト制御部３０は、処理部１０により車両のライトの検出結果を受けてヘッドライトの光軸の向きを制御する。具体的には、撮像画像中に車両のライトがある旨の検出結果を受けると、ヘッドライトをロービームに切り換え、撮像画像中に車両のライトがない旨の検出結果を受けると、ハイビームを切り換える。なお、ライト制御部３０は、処理部１０からの指令に応じて光軸の向きを他車両が存在しない方向（例えば下方向や左方向）へ移動させる構成であってもよい。
　処理部１０は、ＣＰＵ１０Ａと、ＲＯＭ、ＲＡＭ等のメモリ１１と、を備えた周知のマイコンとして構成されており、メモリ１１に格納されたプログラム（車両光源検出プログラムを含む）に基づいて、後述するライト制御処理等の各種処理を実施する。また、メモリ１１には、車両のライトの特徴を示すパラメータ（大きさ、色、高さ等の位置、ペアとなるライト間の距離、挙動等の各パラメータに対応する値を含む）や、車両以外の光源の特徴を示すパラメータが格納されている。なお、このメモリ１１に格納されたパラメータは、撮像画像中から車両のライトを示す光源を、車両のライト以外の光源と識別して検出する際に利用される。
　次に、図２に示すライト制御処理について説明する。ライト制御処理は、撮像画像中から車両のライトを示す光源を識別して検出し、ヘッドライトの光軸の向きを制御する処理である。
　ライト制御処理は、車両の電源が投入されると開始され、その後、所定の周期毎（例えば１００ｍｓ毎）に実行される処理である。詳細には、図２に示すように、まず、カメラ２０による撮像画像を取得する（ステップＳ１１０）。
　続いて、路面情報を抽出する（ステップＳ１２０）。この処理では、周知の白線検出技術等を利用して、撮像画像中の路面の領域を特定する。例えば、自車両の走行領域の左右に存在する白線を検出し、これらの白線の内側の領域を路面の領域とする。
　そして、特定した路面の領域の平均の色を演算することによって路面の色を検出する（ステップＳ１３０）。なお、路面の特定位置（任意の部位）の色を路面の色としてもよい。
　次に、撮像画像中からライト候補を抽出する（ステップＳ１４０）。この処理では、撮像画像中の１つの光源としての領域の全てが含まれ、かつ最小となる領域を矩形（長方形）で切り出し、切り出した領域毎にラベル付け（番号付け）を行う。この処理では、撮像画像中の光源が大きいものほど大きな領域が切り出されることになる。
　続いて、ライト候補特徴量を算出し、この特徴量に応じて車両光源である確からしさを設定する（ステップＳ１５０）。まず、ライト候補特徴量を求める処理では、静止画レベル特徴量、ペア特徴量、および時系列特徴量を求める。
　ここで、静止画レベル特徴量は光源が有する光源単体の色や形状による特徴量を表し、ペア特徴量は水平方向に位置する他の光源との関係による特徴量を表し、時系列特徴量は光源を追跡した結果による特徴量を表す。これらの特徴量は、光源の色や形状等のパラメータがメモリ１１に格納された基準値（比較値）と一致する確度に応じて設定される。
　このようにライト候補特徴量を算出すると、各特徴量に応じて光源が車両光源である確度を求める。ここで、車両光源である確度は、各特徴量の加重平均をとること等によって演算される。なお、各特徴量と車両光源である確度とは、予め実験的に対応付けられていてもよい。
　次に、光源のうちの候補色を有するものを検出する（ステップＳ１６０）。この処理では、光源として抽出した領域の平均の色がヘッドランプ、テールランプ、フォグランプ、ナンバ灯等の車両のライトとして採用されているランプ色のものを選択する。
　続いて、光源が車両の光源である場合の特徴的な傾向を検出する（ステップＳ２１０～Ｓ２３０）。ここで、光源が車両の光源であり、対象の車両が自車両前方から自車両に向かって走行する対向車場合には、図３（ａ）に示すように、光源（ライト候補）のすぐ下に車両自身の影となった暗い領域が存在し、この暗い領域のさらに下側に路面による光源の反射光が存在する傾向がある。
　このとき、路面による光源の反射光は、光源と類似色になる。また、光源が車両のものでない場合には、光源のすぐ下に暗い領域が存在しないか光源から離れた領域に暗い領域が存在し、光源の反射光も存在しないか光源からさらに離れた領域となる傾向がある。
　そして、対象の車両が自車両前方を自車両と同方向に走行する先行車の場合には、図３（ｂ）に示すように、対向車の場合と同様に、光源のすぐ下に車両自身の影となった暗い領域が存在し、この暗い領域のさらに下側に路面による光源の反射光が存在する傾向がある。
　さらに、先行車の場合には、光源の側方に先行車のヘッドライトによる明るい領域が存在する傾向がある。このため、ステップＳ２１０～Ｓ２３０の処理では、このような傾向を捉え、車両の光源の検出に利用する。
　詳細には、まず、選択した光源の下方の一定距離以内において路面の輝度（路面の色より算出可）よりも明るい領域を検出する（ステップＳ２１０）。なお、ここでいう一定距離とは、例えば光源から数ｍの範囲内を示し、光源の位置に応じて距離が画素数に換算され、この画素数内において明るい領域が検出される。
　続いて、光源の下方の一定距離以内において輝度が路面の輝度よりも暗い領域を検出する（ステップＳ２２０）。ここでいう一定距離は、一般的にヘッドランプやテールランプが配置される高さと車両の影が存在する領域までの距離とを考慮して、例えば光源から５０ｃｍ程度までの範囲内に設定される。
　次に、光源の側方に位置する領域において輝度が路面の輝度よりも明るい領域を検出する（ステップＳ２３０）。ただし、ステップＳ２３０の処理は、光源の色がテールランプを示す色である場合に限って実施され、ヘッドライトが拡散する範囲内（数ｍの範囲内）において明るい領域を検出する。明るい領域が光源から離れすぎていると、ガードレール等の外乱が明るい領域として検出される場合があり、この外乱の影響を軽減するために、ヘッドライトが拡散する範囲内だけを明るい領域を検出する範囲内とする。
　続いて、ステップＳ２１０～Ｓ２３０の処理にて、光源のすぐ下に車両自身の影となった暗い領域、光源の下方にある光源の反射光の領域、テールライトを示す色の光源の側方の明るい領域のうちの何れかが検出された光源に対して、車両である確からしさをより高く設定する（ステップＳ２４０）。このとき、上記の各領域のうちの複数の領域が検出された光源に対しては、より高い確からしさを設定してもよい。なお、ステップＳ２４０の処理では、ステップＳ２１０～Ｓ２３０の処理にて、光源のすぐ下に車両自身の影となった暗い領域、光源の下方にある光源の反射光の領域、テールライトを示す色の光源の側方の明るい領域のうちの何れかが検出されなかった光源（光源のすぐ下に暗い領域が存在しないか光源から離れた領域に暗い領域が存在する場合や、光源の反射光も存在しないか光源からさらに離れた領域となる場合を含む）に対して、車両である確からしさをより低く設定するようにしてもよい。
　そして、予め設定された閾値と最終的な確からしさとを比較し、閾値未満の確からしさを有する光源を外乱として除去することで、残った光源を車両のライトとして決定する（ステップＳ２５０）。続いて、車両のライトの検出結果をライト制御部３０に送り（ステップＳ２６０）、ライト制御処理を終了する。
　以上のように詳述したライト制御システム１において処理部１０は、自車両の進行方向を撮像した撮像画像を取得し、撮像画像中から光源を抽出する。そして、光源に関するパラメータを表す光源パラメータに基づいて光源が車両に由来する光源を表す車両光源である確度を演算し、光源の下方にある周囲よりも暗い部位を表す暗部を抽出する。さらに、暗部が抽出された光源に対して車両光源である確度をより高く設定し、予め設定された基準値以上の確度を有する光源を車両の光源として推定する。
　このようなライト制御システム１によれば、車両の光源の下方において車両の影として検出される暗部を検出した場合に車両光源である確度を高く設定するので、他の車両の光源を精度よく検出することができる。これにより、他の車両を検出する信頼性が上がる。
　なお、本実施形態における光源パラメータとは、光源を識別するための情報を表す。この光源パラメータには、光源の色、形状、明るさ、位置、大きさ等の情報のうちの少なくとも１つが含まれる。
　また、ライト制御システム１において処理部１０は、光源の色と類似する色であってかつ車両の光源の色として予め設定された色を有し、光源の下方にある別の光源を表す類似色光源を抽出する。さらに、暗部および類似色光源が抽出された光源に対して車両光源である確度をより高く設定する。
　このようなライト制御システム１によれば、光源の下方においてこの光源が路面に反射したときの車両の光源として設定された色であり、光源と類似色の反射光を検出した場合に車両光源としての確度を高く設定するので、車両光源をより精度よく検出することができる。
　さらに、ライト制御システム１において処理部１０は、光源から類似色光源までの距離に応じて光源が車両光源である確度を設定する。
　このようなライト制御システム１によれば、路面から光源までの高さを光源から類似色光源までの距離として検出し、この距離が車両の光源として設定された距離に一致する度合いに応じて車両光源である確度を設定することができる。よって、より精度よく車両光源を検出することができる。
　また、ライト制御システム１において処理部１０は、光源からテールランプに類似する色の光源を表すテール光源を抽出し、光源の左右の領域にある、周囲よりも明るい領域を表す明部を抽出し、さらに、明部が対応する光源がテール光源である光源に対して車両光源である確度をより高く設定する。
　このようなライト制御システム１によれば、テール光源を検出し、自車両の進行方向に向けて前方車両から照射されたヘッドライトによる明部が検出された場合に、テール光源である光源に対して車両光源である確度を高く設定することができる。よって、より精度よく車両光源を検出することができる。
　なお、色を検出する際には、中心付近の色を検出したり、一定以上の輝度を有する領域の平均色を検出したりすればよい。また、本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
　本実施形態の処理部１０は車両光源検出装置に相当し、本実施形態のＳ１１０の処理は画像取得手段に相当する。また、本実施形態のＳ１４０の処理は光源抽出手段に相当し、本実施形態のＳ１５０の処理は確度演算手段に相当する。
　さらに、本実施形態のＳ１６０の処理はテール光源抽出手段に相当し、本実施形態のＳ２１０の処理は類似色光源抽出手段に相当する。また、本実施形態のＳ２２０の処理は暗部抽出手段に相当し、本実施形態のＳ２３０の処理は明部抽出手段に相当する。
　さらに、本実施形態のＳ２４０の処理は確度補正手段に相当し、本実施形態のＳ２５０の処理は車両光源推定手段に相当する。
１…ライト制御システム、１０…処理部、１１…メモリ、２０…カメラ、２１…速度センサ、２２…舵角センサ、３０…ライト制御部。

Claims (8)

  1. 　車両に搭載され、他の車両の光源を検出する装置（１０）において、
    　当該装置を搭載した前記車両の進行方向の視野の撮像画像を取得する画像取得手段（Ｓ１１０）と、
    　前記撮像画像から光源を抽出する光源抽出手段（Ｓ１４０）と、
    　前記光源を識別するための光源パラメータに基づいて前記光源が車両に由来する車両光源であると推定するための確度を演算する確度演算手段と（Ｓ１５０）、
    　前記撮像画像における前記光源の下方にある周囲よりも暗い暗部を抽出する暗部抽出手段（Ｓ２２０）と、
    　前記暗部が抽出された前記光源に対して前記確度をより高く設定する確度補正手段（Ｓ２４０）と、
    　前記光源抽出手段により抽出された前記光源のうち、予め設定された基準値以上の前記確度を有する光源を前記他の車両の光源として推定する推定手段（Ｓ２５０）と、
    　を備えたことを特徴とする装置。
  2. 　請求項１に記載の装置において、
    　前記光源と類似する色であってかつ車両の光源の色として予め設定された色を有し、前記光源の下方にある別の光源を表す類似色光源、を抽出する類似色光源抽出手段（Ｓ２１０）、を備え、
    　前記確度補正手段は、前記類似色光源が抽出された光源に対して前記車両光源である確度をより高く設定すること
    　を特徴とする装置。
  3. 　請求項２に記載の装置において、
    　前記確度補正手段は、前記光源から前記類似色光源までの距離に応じて前記光源が前記車両光源である確度を設定すること
    　を特徴とする装置。
  4. 　請求項１～請求項３の何れか１項に記載の装置において、
    　前記光源からテールランプに類似する色の光源を表すテール光源を抽出するテール光源抽出手段（Ｓ１６０）と、を備え、
    　前記光源の左右の領域にある、周囲よりも明るい領域を表す明部を抽出する明部抽出手段（Ｓ２３０）と、
    　前記確度補正手段は、前記明部が対応する光源が前記テール光源である光源に対して前記車両光源である確度をより高く設定すること
    　を特徴とする装置。
  5. 　車両に搭載され、他の車両の光源を検出する装置（１０）において、
    　当該装置を搭載した前記車両の進行方向の視野の撮像画像を取得する画像取得手段（Ｓ１１０）と、
    　前記撮像画像から光源を抽出する光源抽出手段（Ｓ１４０）と、
    　前記光源を識別するための光源パラメータに基づいて前記光源が車両に由来する車両光源であると推定するための確度を演算する確度演算手段と（Ｓ１５０）、
    　前記光源の下方にある前記光源と類似する色の別の光源を表す類似色光源を抽出する類似色光源抽出手段と、
    　前記類似色光源が抽出された光源に対して前記確度をより高く設定する確度補正手段と、
    　を備えたことを特徴とする車両光源検出装置。
  6. 　車両に搭載され、他の車両の光源を検出する装置（１０）において、
    　当該装置を搭載した前記車両の進行方向の視野の撮像画像を取得する画像取得手段（Ｓ１１０）と、
    　前記撮像画像から光源を抽出する光源抽出手段（Ｓ１４０）と、
    　前記光源を識別するための光源パラメータに基づいて前記光源が車両に由来する車両光源であると推定するための確度を演算する確度演算手段と（Ｓ１５０）、
    　前記光源からテールランプに類似する色の光源を表すテール光源を抽出するテール光源抽出手段と、
    　前記明部が対応する光源が前記テール光源である光源に対して前記車両光源である確度をより高く設定する確度補正手段と、
    　を備えたことを特徴とする車両光源検出装置。
  7. 　車両の進行方向の視野の撮像画像を取得し、
    　前記撮像画像から光源を抽出し、
    　前記光源を識別するための光源パラメータに基づいて前記光源が車両に由来する車両光源であると推定するための確度を演算し、
    　前記撮像画像における前記光源の下方にある周囲よりも暗い暗部を抽出し、
    　前記暗部が抽出された前記光源に対して前記確度がより高くなるように補正し、
    　前記抽出された前記光源のうち、予め設定された基準値以上の前記確度を有する光源を前記他の車両の光源として推定する、ことを特徴とする車両の光源を検出する方法。
  8. 　コンピュータを請求項１に記載の装置を構成する各手段として機能させるための車両光源検出プログラム。
PCT/JP2013/062950 2012-05-09 2013-05-08 車両の光源を検出する方法及び装置 WO2013168744A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/399,399 US9977974B2 (en) 2012-05-09 2013-05-08 Method and apparatus for detecting light source of vehicle
US15/960,856 US10839235B2 (en) 2012-05-09 2018-04-24 Method and apparatus for detecting light source of vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012107648A JP5962193B2 (ja) 2012-05-09 2012-05-09 車両光源検出装置および車両光源検出プログラム
JP2012-107648 2012-05-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/399,399 A-371-Of-International US9977974B2 (en) 2012-05-09 2013-05-08 Method and apparatus for detecting light source of vehicle
US15/960,856 Continuation US10839235B2 (en) 2012-05-09 2018-04-24 Method and apparatus for detecting light source of vehicle

Publications (1)

Publication Number Publication Date
WO2013168744A1 true WO2013168744A1 (ja) 2013-11-14

Family

ID=49550778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/062950 WO2013168744A1 (ja) 2012-05-09 2013-05-08 車両の光源を検出する方法及び装置

Country Status (3)

Country Link
US (2) US9977974B2 (ja)
JP (1) JP5962193B2 (ja)
WO (1) WO2013168744A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5962193B2 (ja) * 2012-05-09 2016-08-03 株式会社デンソー 車両光源検出装置および車両光源検出プログラム
GB201405527D0 (en) * 2014-03-27 2014-05-14 Mill Facility The Ltd A driveable vehicle unit
JP6034923B1 (ja) * 2015-06-26 2016-11-30 富士重工業株式会社 車外環境認識装置
DE102018208739A1 (de) * 2018-06-04 2019-12-05 Conti Temic Microelectronic Gmbh Abschätzung von Ortskoordinaten von Lichtquellen in Umgebungsbildern
DE102018216562A1 (de) * 2018-09-27 2020-04-02 Conti Temic Microelectronic Gmbh Verfahren zum Detektieren von Lichtverhältnissen in einem Fahrzeug
KR20210017525A (ko) 2019-08-08 2021-02-17 삼성전자주식회사 거리 추정 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272785A (ja) * 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd 画像処理式車両検出装置及び画像処理式車両検出方法
JP2008287367A (ja) * 2007-05-15 2008-11-27 Univ Nihon 車両検出システム
JP2009032030A (ja) * 2007-07-26 2009-02-12 Koito Ind Ltd 車両検出装置
JP2011098579A (ja) * 2009-11-04 2011-05-19 Niles Co Ltd 車両のテールランプ検出装置
JP2011103070A (ja) * 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06276524A (ja) 1993-03-19 1994-09-30 Toyota Motor Corp 対向車両認識装置
CA2494723C (en) * 2002-08-21 2011-11-08 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
JP2006185410A (ja) 2004-12-02 2006-07-13 Nissan Motor Co Ltd 夜間移動体報知装置及び夜間移動体報知方法
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
JP4853160B2 (ja) * 2006-08-02 2012-01-11 株式会社デンソー 車両検出装置及びヘッドランプ制御装置
JP4321591B2 (ja) * 2007-01-11 2009-08-26 株式会社デンソー 車載霧判定装置
JP4914233B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 車外監視装置
JP4937199B2 (ja) * 2008-06-25 2012-05-23 日立オートモティブシステムズ株式会社 オートライト装置
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制***
JP5656732B2 (ja) * 2011-05-02 2015-01-21 株式会社デンソー 衝突確率演算装置、および衝突確率演算プログラム
JP5716680B2 (ja) * 2012-01-10 2015-05-13 株式会社デンソー 先行車両選択装置および車間制御装置
JP5962193B2 (ja) * 2012-05-09 2016-08-03 株式会社デンソー 車両光源検出装置および車両光源検出プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272785A (ja) * 2006-03-31 2007-10-18 Matsushita Electric Ind Co Ltd 画像処理式車両検出装置及び画像処理式車両検出方法
JP2008287367A (ja) * 2007-05-15 2008-11-27 Univ Nihon 車両検出システム
JP2009032030A (ja) * 2007-07-26 2009-02-12 Koito Ind Ltd 車両検出装置
JP2011098579A (ja) * 2009-11-04 2011-05-19 Niles Co Ltd 車両のテールランプ検出装置
JP2011103070A (ja) * 2009-11-11 2011-05-26 Toyota Motor Corp 夜間車両検知装置

Also Published As

Publication number Publication date
US10839235B2 (en) 2020-11-17
US9977974B2 (en) 2018-05-22
JP5962193B2 (ja) 2016-08-03
US20150098612A1 (en) 2015-04-09
JP2013235436A (ja) 2013-11-21
US20180239974A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
JP4544233B2 (ja) 車両検出装置及びヘッドランプ制御装置
US10442343B2 (en) Vehicle exterior environment recognition apparatus
US10286834B2 (en) Vehicle exterior environment recognition apparatus
US10839235B2 (en) Method and apparatus for detecting light source of vehicle
JP5692180B2 (ja) 車両光源検出装置、ライト制御装置、および車両光源検出プログラム
JP4853160B2 (ja) 車両検出装置及びヘッドランプ制御装置
US8232895B2 (en) Vehicle detection apparatus, vehicle detection program and light control apparatus
US9317757B2 (en) Method and apparatus for detecting a rear vehicle light
JP4935586B2 (ja) 画像処理装置、車載用画像処理装置、車載用画像表示装置及び車両制御装置
US8315766B2 (en) Process for detecting a phenomenon limiting the visibility for a motor vehicle
US9493108B2 (en) Apparatus for detecting other vehicle lights and light control apparatus for vehicles
JP5884635B2 (ja) 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
JP2013147112A (ja) 車両の走行環境認識装置
JP2009067084A (ja) ライト制御装置
JP2008028957A (ja) 車両用画像処理装置
CN111046741A (zh) 车道线识别的方法和装置
US9367749B2 (en) Object detection apparatus
JP2014024411A (ja) 自発光光源検出装置、ライト制御装置、および自発光光源検出プログラム
JP7201706B2 (ja) 画像処理装置
JP2013028239A (ja) ライト検出装置、ライト検出プログラム、およびライト制御装置
JP2022108251A (ja) オブジェクト認識制御装置およびオブジェクト認識制御方法
JP2013244893A (ja) ライト制御装置、およびライト制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13788072

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14399399

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13788072

Country of ref document: EP

Kind code of ref document: A1