JP6335037B2 - Outside environment recognition device - Google Patents
Outside environment recognition device Download PDFInfo
- Publication number
- JP6335037B2 JP6335037B2 JP2014125930A JP2014125930A JP6335037B2 JP 6335037 B2 JP6335037 B2 JP 6335037B2 JP 2014125930 A JP2014125930 A JP 2014125930A JP 2014125930 A JP2014125930 A JP 2014125930A JP 6335037 B2 JP6335037 B2 JP 6335037B2
- Authority
- JP
- Japan
- Prior art keywords
- brake lamp
- light source
- source candidate
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 description 189
- 230000008569 process Effects 0.000 description 175
- 238000012545 processing Methods 0.000 description 43
- 238000003384 imaging method Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010415 tidying Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000007717 exclusion Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000004397 blinking Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、先行車両のブレーキランプを特定する車外環境認識装置に関する。 The present invention relates to an external environment recognition device that identifies a brake lamp of a preceding vehicle.
従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。ここで、運転者（人）が遂行しているように、先行車両のブレーキランプの点灯有無（ブレーキの操作状態）等を認識し、先行車両の減速動作を推測するといった処理を組み込むことができれば、より円滑なクルーズコントロールが可能となる。 Conventionally, a specific object such as a vehicle positioned in front of the host vehicle is detected, and a collision with a preceding vehicle is avoided (collision avoidance control), or the distance between the preceding vehicle and the preceding vehicle is controlled to be a safe distance ( (Cruise control) technology is known (for example, Patent Document 1). Here, as the driver (person) is performing, if the process of recognizing whether the brake lamp of the preceding vehicle is lit (the operation state of the brake) or the like and estimating the deceleration operation of the preceding vehicle can be incorporated. Smoother cruise control is possible.
このような先行車両のブレーキランプの点灯有無を検出する技術として、テールランプ検出領域の輝度変化または面積変化に基づいてブレーキランプの点灯を検出し、先行車両の減速状態を判断する技術（例えば、特許文献２）が開示されている。また、赤色領域における輝度（明度）のヒストグラム分布を生成し、その標準偏差を通じてブレーキランプの点灯を判断する技術（例えば、特許文献３）も開示されている。 As a technique for detecting whether or not the brake lamp of the preceding vehicle is turned on, a technique for detecting the lighting of the brake lamp based on a change in luminance or area of the tail lamp detection area and determining a deceleration state of the preceding vehicle (for example, a patent) Document 2) is disclosed. Also disclosed is a technique (for example, Patent Document 3) that generates a histogram distribution of luminance (brightness) in a red region and determines lighting of a brake lamp through its standard deviation.
上述した特許文献２、３の技術では、取得した画像における、発光源に相当する２つの領域の位置関係に基づいて、ブレーキランプが点灯しているか否かを判定している。このため、１対の発光源で構成されるブレーキランプのうち、一方の発光源が消灯していたり、先行車両の姿勢等によって一方の発光源が画像に映り込まなかったりする場合にブレーキランプの点灯を検出できないという課題があった。
In the techniques of
本発明は、このような課題に鑑み、ブレーキランプの点灯を高精度に判定することが可能な車外環境認識装置を提供することを目的としている。 In view of such a problem, an object of the present invention is to provide an external environment recognition device capable of determining lighting of a brake lamp with high accuracy.
上記課題を解決するために、本発明の車外環境認識装置は、画像を取得する画像取得部と、前記画像において、先行車両が占有する車両領域を特定する車両特定部と、特定された前記車両領域における、１または複数の発光源の候補を発光源候補として特定する発光源候補特定部と、特定された前記発光源候補のうち、予め定められた第１期間点灯している発光源候補が、他の発光源候補と予め定められたペア条件を満たすか否かを判定し、該ペア条件を満たすと判定した該発光源候補、および、該ペア条件を満たさないと判定した該発光源候補であって、該第１期間より長い第２期間点灯している発光源候補を、ブレーキランプと特定するブレーキランプ特定部と、を備えたことを特徴とする。 In order to solve the above problems, an external environment recognition device of the present invention includes an image acquisition unit that acquires an image, a vehicle specification unit that specifies a vehicle area occupied by a preceding vehicle in the image, and the specified vehicle A light source candidate identifying unit that identifies one or a plurality of light source candidates in a region as light source candidates, and among the identified light source candidates, light source candidates that are lit for a predetermined first period are included. Determining whether a predetermined pair condition is satisfied with another light source candidate, the light source candidate determined to satisfy the pair condition, and the light source candidate determined not to satisfy the pair condition And the light-emitting source candidate which lighted for the 2nd period longer than this 1st period is provided with the brake lamp specific part which specifies a brake lamp, It is characterized by the above-mentioned.
また、前記ブレーキランプ特定部は、少なくとも１度、ブレーキランプと特定された前記発光源候補が、前記第２期間より短い第３期間点灯していると、該発光源候補をブレーキランプと特定するとしてもよい。 The brake lamp identifying unit identifies the light source candidate as a brake lamp when the light source candidate identified as the brake lamp is lit for a third period shorter than the second period at least once. It is good.
また、前記ブレーキランプ特定部は、少なくとも１度、前記ペア条件を満たすと判定された前記発光源候補が、該ペア条件を満たさない場合であっても前記第２期間より短い第４期間点灯していると、該発光源候補をブレーキランプと特定するとしてもよい。 In addition, the brake lamp identifying unit is lit for a fourth period shorter than the second period even when the light source candidate determined to satisfy the pair condition does not satisfy the pair condition at least once. If so, the light source candidate may be identified as a brake lamp.
また、前記画像取得部が取得する画像はカラー画像であり、前記発光源候補特定部は、所定のカラー範囲内のカラー値を有する画素であって、所定の距離範囲内の画素同士をグループ化した領域を発光源候補とし、前記ブレーキランプ特定部は、前記発光源候補の領域において、Ｒ成分、Ｇ成分、および、Ｂ成分のうち、いずれかの成分のカラー値が、該カラー値の取り得る最大値となっている画素が所定数以上ある場合、該発光源候補をブレーキランプの候補から除外するとしてもよい。 The image acquired by the image acquisition unit is a color image, and the light emission source candidate specifying unit is a pixel having a color value within a predetermined color range, and groups pixels within a predetermined distance range. The brake lamp specifying unit sets the color value of any one of the R component, G component, and B component in the region of the light source candidate. When there are a predetermined number or more of pixels having the maximum value to be obtained, the light emission source candidates may be excluded from the brake lamp candidates.
また、前記画像取得部が取得する画像はカラー画像であり、前記ブレーキランプ特定部は、前記車両領域における、Ｒ成分のカラー値が所定の閾値以上である画素数に基づいて、前記発光源候補が太陽光の反射により該発光源候補として特定されたか否かを判定し、太陽光の反射により発光源候補として特定されたと判定した場合、該発光源候補をブレーキランプの候補から除外するとしてもよい。 Further, the image acquired by the image acquisition unit is a color image, and the brake lamp specifying unit is configured to generate the light emission source candidate based on the number of pixels in the vehicle area where the color value of the R component is equal to or greater than a predetermined threshold. Is determined as the light source candidate by reflection of sunlight, and if it is determined that the light source candidate is specified by reflection of sunlight, the light source candidate may be excluded from the brake lamp candidates Good.
本発明によれば、ブレーキランプの点灯を高精度に判定することが可能となる。 According to the present invention, lighting of the brake lamp can be determined with high accuracy.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、撮像した画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。 In recent years, an in-vehicle camera mounted on a vehicle images a road environment ahead of the host vehicle, identifies an object such as a preceding vehicle based on color information and position information in the captured image, and the identified object Vehicles equipped with a so-called collision prevention function that avoids such collisions and keeps the distance between the vehicle and the preceding vehicle at a safe distance (ACC: Adaptive Cruise Control) are becoming popular.
かかるＡＣＣや衝突防止機能では、例えば、自車両前方に位置する対象物の、自車両との相対距離を導出し、かかる相対距離に基づいて、自車両の前方に位置する対象物との衝突を回避したり、対象物が車両（先行車両）であった場合、その先行車両との相対距離を安全な距離に保つように制御する。また、先行車両のブレーキランプの点灯有無等を認識し、先行車両の減速動作を推測する処理を組み込むことで、より円滑なクルーズコントロールを実現することが可能となる。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。 In the ACC and the collision prevention function, for example, the relative distance of the object located in front of the own vehicle with the own vehicle is derived, and based on the relative distance, the collision with the object located in front of the own vehicle is detected. If the target is a vehicle (preceding vehicle), control is performed so that the relative distance from the preceding vehicle is kept at a safe distance. In addition, it is possible to realize smoother cruise control by incorporating a process for recognizing whether the brake lamp of the preceding vehicle is lit or not and estimating the deceleration operation of the preceding vehicle. Hereinafter, an environment recognition system for achieving such an object will be described, and a vehicle exterior environment recognition apparatus as a specific component thereof will be described in detail.
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。
(Environment recognition system 100)
FIG. 1 is a block diagram showing a connection relationship of the
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー値で表されるカラー画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。
The
また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／２０秒のフレーム毎（２０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカー（方向指示器）、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。
In addition, the
さらに、本実施形態において、撮像装置１１０は、車外環境の明るさ（照度計の計測結果等）に応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し、第１画像を生成する。また、撮像装置１１０は、ブレーキランプ等、特定の発光源が自発光しているか否かを判別可能な画像を生成する。その方法としては、ダイナミックレンジが広い撮像素子を用い、発光していない対象物が黒く潰れず、発光源が白とびしないように撮像してもよいし、第１露光態様とは露光態様（露光時間、絞り）が異なる第２露光態様で検出領域を撮像し、第２画像を生成してもよい。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短くして、または、絞りを強くして第２画像を生成する。本実施形態において、第１画像および第２画像はそれぞれカラー画像および距離画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。
Further, in the present embodiment, the
例えば、撮像装置１１０の周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次生成することができる。また、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して生成することもできる。さらに、１つのキャパシタの電荷のチャージ中に、時間を異ならせて２回読み出し、露光態様の異なる２つの画像を並行して生成したりすることでも上記の目的を達成できる。また、撮像装置１１０を、露光態様を異ならせて予め２セット準備しておき（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を生成したりすることも可能である。露光態様を支配する露光時間は、例えば１〜６０ｍｓｅｃの範囲で適切に制御される。
For example, the first image and the second image are sequentially generated by time-sharing the periodic image capturing timing of the
車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。
The outside
ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を、上述したカラー画像と区別して距離画像という。
However, the vehicle
図２は、カラー画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２（ａ）のようなカラー画像（画像データ）１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つのカラー画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このようなカラー画像１２６からブロック毎の視差を求め、図２（ｂ）のような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。本実施形態では、このようなカラー画像１２６と距離画像１２８とを第１画像および第２画像それぞれに基づいて生成している。したがって、本実施形態では、第１画像に基づくカラー画像１２６、第１画像に基づく距離画像１２８、第２画像に基づくカラー画像１２６、第２画像に基づく距離画像１２８が用いられる。
FIG. 2 is an explanatory diagram for explaining the
また、車外環境認識装置１２０は、カラー画像１２６に基づくカラー値、および、距離画像１２８に基づく自車両１との相対距離を含む実空間における３次元の位置情報を用い、カラー値が等しく３次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両１前方の検出領域における対象物がいずれの特定物（例えば、先行車両）に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、カラー値によってその先行車両のブレーキランプの位置や点灯有無を把握することができる。このような処理により、ブレーキランプの点灯による当該車両の減速を迅速に把握し、衝突回避制御やＡＣＣに利用することが可能となる。
Further, the outside
なお、上記相対距離は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。
The relative distance is obtained by converting the disparity information for each block in the
車外環境認識装置１２０は、対象物を任意の特定物、例えば、先行車両を特定すると、その先行車両を追跡しつつ、先行車両との相対距離および先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。このとき、先行車両のブレーキランプを特定していれば、そのブレーキランプの点灯により先行車両の減速を早期に認識できる。ここで、先行車両と衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。
The vehicle exterior
車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。例えば、車外環境認識装置１２０から先行車両と衝突の可能性が高い旨の情報が入力されると、車両制御装置１３０は、制動機構１４６を通じて運転者のブレーキ操作を支援する。
The
以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、先行車両やブレーキランプの特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
Hereinafter, the configuration of the outside
（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
(Vehicle environment recognition device 120)
FIG. 3 is a functional block diagram showing a schematic function of the outside
Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブルや、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データ（第１画像および第２画像に基づくカラー画像１２６、距離画像１２８）を一時的に保持する。ここで、特定物テーブルは、以下のように定義される。
The I /
図４は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、カラー値（ここではＲ、Ｇ、Ｂ）の範囲を示すカラー範囲２０２と、道路表面からの高さの範囲を示す高さ範囲２０４と、特定物の水平距離の幅範囲２０６と、特定物の垂直距離の幅範囲２０８と、同一特定物との水平距離の差分２１０と、同一特定物との垂直距離の差分２１２と、同一特定物との面積比２１４とが対応付けられている。ここで、特定物としては、「ブレーキランプ（赤）」、「ハイマウントストップランプ（赤）」、「テールランプ（赤）」、「ウィンカー（橙）」等、車両を特定する際に要する様々な物が想定されている。ただし、特定物は図４に記載された物に限定されないのは言うまでもない。特定物のうち、例えば、特定物「ブレーキランプ（赤）」には、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」、高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」が対応付けられている。
FIG. 4 is an explanatory diagram for explaining the specific object table 200. In the specific object table 200, for a plurality of specific objects, a
図３に戻って説明すると、中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像取得部１６０、位置情報導出部１６２、対象物特定部１６４、位置対応付け部１６６、配置判定部１６８、ブレーキランプ特定部１７０としても機能する。以下、各機能部の動作を説明するとともに、本実施形態に特徴的な車外環境認識処理について詳述する。
Returning to FIG. 3, the
（車外環境認識処理）
図５は、車外環境認識処理を示すフローチャートである。車外環境認識装置１２０の画像取得部１６０は、撮像装置１１０から、車外環境の明るさに応じた第１露光態様で検出領域１２４を撮像した第１画像と、第１露光態様と露光態様が異なる第２露光態様で検出領域１２４を撮像した第２画像とを取得する（Ｓ３００）。
(External vehicle environment recognition processing)
FIG. 5 is a flowchart showing the external environment recognition process. The
続いて、位置情報導出部１６２は、第１画像に基づく距離画像１２８における検出領域１２４内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、（道路表面からの）高さｙおよび相対距離ｚを含む三次元の位置情報に変換する（Ｓ３０２）。ここで、視差情報が、距離画像１２８における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。
Subsequently, the position information deriving unit 162 uses the stereo method described above to calculate the disparity information for each block in the
次に、対象物特定部１６４は、第１画像および第２画像に基づいて、画像内の対象物がいずれの特定物に対応するか特定する。本実施形態において、対象物特定部１６４は、特に、先行する車両（先行車両）と、ブレーキランプ（発光源）と、ハイマウントストップランプ（発光源）を特定する。したがって、以下では、対象物特定部１６４のうち、先行車両を特定する機能部を車両特定部１６４ａとし、ブレーキランプやハイマウントストップランプを特定する機能部を発光源候補特定部１６４ｂとして説明する。また、対象物特定部１６４（車両特定部１６４ａ、発光源候補特定部１６４ｂ）は、特定物が特定された対象物を追跡（追尾）し、その対象物の自車両１に対する相対距離、相対速度、相対加速度、および、自車両１の走行状態を加味した先行車両の絶対速度、絶対加速度も検出する。
Next, the
図６および図７は、車両特定部１６４ａの処理を説明するための説明図である。車両特定部１６４ａは、まず、第１画像に基づく距離画像１２８の検出領域１２４を、水平方向に対して複数の分割領域２１６に分割する（Ｓ３０４）。すると、分割領域２１６は図６（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域１２４を１６等分したもので説明する。
6 and 7 are explanatory diagrams for explaining the processing of the
続いて、車両特定部１６４ａは、分割領域２１６毎に、位置情報に基づき、道路表面より上方に位置する全てのブロックを対象に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラム（図６（ｂ）中、横長の四角（バー）で示す、以下、「距離ヒストグラム」と称する）を生成する（Ｓ３０６）。すると、図６（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離（距離区分）を、横方向は、距離区分それぞれに相対距離が含まれるブロックの個数（度数）を示している。ただし、図６（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、車両特定部１６４ａは、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図６（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する（Ｓ３０８）。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
Subsequently, for each divided
次に、車両特定部１６４ａは、隣接する分割領域２１６同士を比較し、図７に示すように、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群２２２を生成する（Ｓ３１０）。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群２２２として纏める。かかるグループ化によって、車両特定部１６４ａは、道路表面より上方に位置する立体物を特定することができる。
Next, the
続いて、車両特定部１６４ａは、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する（Ｓ３１２）。こうして、仮想的なブロック群である対象物２２４が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、車両特定部１６４ａは、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。
Subsequently, the
また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）２＋（高さｙの差分）２＋（相対距離ｚの差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。 Here, the horizontal distance x difference, the height y difference, and the relative distance z difference are determined independently, and only when all are included in a predetermined range, the same group is used. You can also. For example, the root mean square of the difference in horizontal distance x, the difference in height y, and the difference in relative distance z ((difference in horizontal distance x) 2 + (difference in height y) 2 + (difference in relative distance z) 2 ) Are included in the predetermined range, the same group may be used. With this calculation, an accurate distance between blocks in real space can be derived, so that the grouping accuracy can be improved.
次に、車両特定部１６４ａは、グループ化した対象物２２４が、予め定められた車両に相当する所定の条件を満たしていれば、その対象物２２４を特定物「車両」として決定する（Ｓ３１４）。例えば、車両特定部１６４ａは、グループ化された対象物２２４が道路上に位置する場合、その対象物２２４全体の大きさが、特定物「車両」の大きさに相当するか否かを判定し、特定物「車両」の大きさに相当すると判定されれば、その対象物２２４を特定物「車両」と特定する。ここで、車両特定部１６４ａは、特定物「車両」と特定された対象物２２４が画面上占有する領域の外接矩形に相当する領域を車両領域とする。
Next, if the grouped
こうして、車外環境認識装置１２０では、第１画像としての距離画像１２８から、１または複数の対象物２２４を、特定物、例えば、車両（先行車両）として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域１２４内の任意の対象物２２４が車両であると特定されると、特定した車両（先行車両）を追跡し、相対距離や相対加速度を検出して、先行車両との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。このような先行車両の特定や先行車両の挙動をさらに迅速に把握するため、以下では、車両領域に存在する発光源をブレーキランプとみなし、その点灯有無を判定する。
Thus, the outside-vehicle
続いて、発光源候補特定部１６４ｂは、第２画像に基づくカラー画像１２６から、画素単位で３つの色相（Ｒ、Ｇ、Ｂ）のカラー値を取得する（Ｓ３１６）。このとき、検出領域１２４が例えば雨天や曇天であった場合、発光源候補特定部１６４ｂは、本来のカラー値を取得できるようにホワイトバランスを調整してから取得してもよい。
Subsequently, the light emission source
発光源候補特定部１６４ｂは、データ保持部１５２に保持された特定物テーブル２００と、第２画像に基づくカラー画像１２６の各画素のカラー値とによって所定の発光源を仮に特定する（Ｓ３１８）。具体的に、発光源候補特定部１６４ｂは、特定物テーブル２００に登録されている特定物から、第２露光態様に対応付けられた特定の発光源（ここでは「ブレーキランプ」）を選択し、取得した１の画素のカラー値が、選択した特定物のカラー範囲２０２に含まれるか否か判定する。そして、対象となるカラー範囲２０２に含まれれば、その画素を当該特定物「ブレーキランプ」と仮定する。
The light emission source
上記第２画像は、上述したように特定の発光源、例えば、特定物「ブレーキランプ」が自発光しているか否かを判別可能な第２露光態様で撮像した画像である。ここで、特定物「ブレーキランプ」のように自発光するものは、太陽や街灯の明るさに拘わらず、高いカラー値を取得することができる。特に、特定物「ブレーキランプ」の点灯時の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様（例えば、短時間の露光）で撮像することで、特定物「ブレーキランプ」に相当する画素のみを容易に抽出することが可能である。 As described above, the second image is an image captured in the second exposure mode in which it is possible to determine whether or not a specific light source, for example, the specific object “brake lamp” emits light. Here, a specific object such as a “brake lamp” that emits light can acquire a high color value regardless of the brightness of the sun or a streetlight. In particular, since the brightness when the specific object “brake lamp” is lit is generally stipulated by laws and regulations, by capturing an image in an exposure mode (for example, short-time exposure) in which only a predetermined brightness can be exposed, the specific object “ Only pixels corresponding to “brake lamps” can be easily extracted.
図８は、第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。図８（ａ）は、第１露光態様による第１画像を示し、特に、図８（ａ）の左図ではテールランプが点灯しており、図８（ａ）の右図ではテールランプに加えブレーキランプが点灯している。図８（ａ）を参照して理解できるように、車外環境の明るさに応じた第１露光態様では、ブレーキランプ非点灯かつテールランプ点灯時のテールランプ位置２３０のカラー値と、ブレーキランプ点灯かつテールランプ点灯時のブレーキランプ位置２３２とでカラー値の差がほとんど生じない。これは、露光時間の長い第１露光態様では、テールランプもブレーキランプもＲＧＢ成分全てのカラー値がサチレーションしてしまうことに起因する。
FIG. 8 is an explanatory diagram for explaining a difference between imaging according to the first exposure mode and imaging according to the second exposure mode. FIG. 8A shows a first image according to the first exposure mode. In particular, the tail lamp is lit in the left figure of FIG. 8A, and the brake lamp in addition to the tail lamp is shown in the right figure of FIG. Is lit. As can be understood with reference to FIG. 8A, in the first exposure mode according to the brightness of the outside environment, the color value of the
図８（ｂ）は、第２露光態様による第２画像を示し、特に、図８（ｂ）の左図ではテールランプが点灯しており、図８（ｂ）の右図ではテールランプに加えブレーキランプが点灯している。第２露光態様は、ブレーキランプが点灯しているときのカラー値のみを取得可能に設定されている。したがって、図８（ｂ）を参照して理解できるように、テールランプが点灯していてもテールランプ位置２３０では、その明るさに準じるカラー値をほとんど取得できず、ブレーキランプ点灯時のブレーキランプ位置２３２では、明確に高いカラー値を取得できている。
FIG. 8B shows a second image according to the second exposure mode. In particular, the tail lamp is lit in the left figure of FIG. 8B, and the brake lamp in addition to the tail lamp is shown in the right figure of FIG. 8B. Is lit. The second exposure mode is set so that only the color value when the brake lamp is lit can be acquired. Therefore, as can be understood with reference to FIG. 8B, even if the tail lamp is lit, the
かかる第２露光態様では、ブレーキランプのカラー値が撮像素子において、Ｒ成分がサチレーションするかしないかといった程度の露光時間に設定することが望ましい。撮像装置１１０は、通常、ダイナミックレンジが人間より大幅に狭いので、夕方くらいの明度の低さで第１露光態様により撮像すると、車外環境に対して相対的にブレーキランプのカラー値が高くなる。すると、Ｒ成分のみならず、Ｒ成分とオーバーラップしてＧ成分やＢ成分も最大値（例えばカラー値が２５５）にサチレーションし、画素が白くなってしまう。そこで、第２露光態様を、ブレーキランプ点灯時にＲ成分がサチレーションするかしないかといった程度の露光時間とすることで、外部の環境に拘わらず、Ｇ成分やＢ成分のカラー値への影響を抑制しつつ、Ｒ成分のみを最大値で抽出する。こうして、例えば、テールランプとのカラー値差を最大限確保することが可能となる。
In such a second exposure mode, it is desirable that the color value of the brake lamp is set to an exposure time such as whether or not the R component is saturated in the image sensor. Since the
具体的に、夜間の走行時に先行車両が存在する場合に、テールランプが点灯している程度、例えば、カラー範囲（Ｒ）「５０」、カラー範囲（Ｇ）「５０」、カラー範囲（Ｂ）「５０」程度では第２画像に表示されない。これに対して、ブレーキランプが点灯していると、図４の特定物テーブル２００に示すように、カラー範囲２０２が、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」となり、第２露光態様で撮像したとしても、その位置が把握できる程度に第２画像に表示される。こうして発光源候補特定部１６４ｂは、第２画像を通じて、ブレーキランプ等、所定の発光源のみを特定することが可能となる。また、ここでは、第２露光態様による露光時間を固定しているが、車外環境に応じて自発的にまたは搭乗者の操作に応じて調整されるとしてもよい。
Specifically, when there is a preceding vehicle when traveling at night, the extent to which the tail lamp is lit, for example, color range (R) “50”, color range (G) “50”, color range (B) “ If it is about 50 ", it is not displayed in the second image. In contrast, when the brake lamp is lit, as shown in the specific object table 200 of FIG. 4, the
また、発光源候補特定部１６４ｂは、発光源の候補とされた画素同士の水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲（例えば０．１ｍ）内にある場合、その複数の画素を１の発光源候補としてグループ化する（Ｓ３２０）。こうして、ブレーキランプを構成する画素が複数に跨がっていても、また、車両の左右のブレーキランプがそれぞれ複数のランプで構成されている場合であっても、それを左右に存在するブレーキランプの一方として個々に認識することが可能となる。
Further, the light source
また、発光源候補特定部１６４ｂは、この１の発光源候補の大きさが予め定められた閾値（例えば、水平および垂直の幅０．０５ｍ）以上の場合にのみ、１の発光源候補を発光源として特定する（Ｓ３２２）。なお、発光源候補特定部１６４ｂは、大きさに加えて、その発光源候補の形も条件としてよい。例えば、ブレーキランプが車両後部の左右端部に鉛直方向に延伸する形状である場合、その大きさのみならず、ブレーキランプとみなせる形状であることを判定する。また、発光源候補特定部１６４ｂは、ブレーキランプと同等の手順で、１の発光源候補の大きさや形状からハイマウントストップランプも特定する。こうして、本来、所定の発光源としてみなすべきではないノイズに相当する発光源を排除し、ブレーキランプ等、所望する発光源を抽出することができるので、特定物を高精度に特定することが可能となる。
Further, the light emission source
このように、発光源候補特定部１６４ｂによって、ブレーキランプやハイマウントストップランプを高精度に抽出することができる。しかし、第２露光態様による第２画像のみでは、夜間などに検出領域１２４全体のカラー値が低く（暗く）なってしまい、ブレーキランプ等の発光源以外は何も把握できなくなってしまう。そこで、当該「ブレーキランプ」と、上述した第１露光態様による第１画像によって特定した「車両」とを対応付ける。
As described above, the light source
位置対応付け部１６６は、車両特定部１６４ａが特定物「車両」としてグループ化した車両領域と、発光源候補特定部１６４ｂが特定した発光源（ブレーキランプ）の位置とを対応付ける（Ｓ３２４）。そして、車両特定部１６４ａによる特定物「車両」の追跡と、発光源候補特定部１６４ｂによる特定物「ブレーキランプ」の追跡とを支援し、一方の位置情報で他方の位置情報を校正する。こうして、先行する車両の外縁と車両のブレーキランプとの位置関係を維持することができる。
The
配置判定部１６８は、同一の先行車両に存在すると仮定される１対のブレーキランプの組み合わせを特定し、図４に示した特定物テーブル２００に基づいて、位置対応付け部１６６によって対応付けられた車両領域と発光源であるブレーキランプの位置との相対配置が適切な配置か否かを判定する（Ｓ３２６）。配置判定部１６８は、例えば、ブレーキランプが、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、配置判定部１６８は、１対のブレーキランプの組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。
The
このように、上記の発光源候補特定部１６４ｂ、位置対応付け部１６６、配置判定部１６８によって、ブレーキランプの形状や位置関係から１対の発光源で構成されるブレーキランプを特定することができる。しかし、１対の発光源で構成されるブレーキランプのうち、一方の発光源が消灯していたり、先行車両の姿勢等によって一方の発光源が画像（第２画像）に映り込まなかったりする（以下、単に「片付」と称する）場合に、その片付のブレーキランプの点灯を検出できなくなってしまう問題があった。
As described above, the light emission source
そこで、本実施形態では、先行車両の車両領域における発光源候補の点灯時間に基づいて、１対の発光源が両方点灯している（以下、「両付」と称する）ブレーキランプのみならず、片付のブレーキランプの点灯を適切に特定する。そして、上記の発光源候補特定部１６４ｂ、位置対応付け部１６６、配置判定部１６８によるブレーキランプの特定は、ブレーキランプらしさを判定する上で補助的（冗長的）に用いることとする。
Therefore, in the present embodiment, not only the brake lamps in which a pair of light emission sources are both lit based on the lighting time of the light emission source candidates in the vehicle area of the preceding vehicle (hereinafter referred to as “both attachment”), Appropriately identify the lighting of the tampered brake lamp. The specification of the brake lamp by the light emission source
（ブレーキランプ特定処理Ｓ３２８）
図９は、ブレーキランプ特定処理Ｓ３２８を示すフローチャートである。図９に示すように、ブレーキランプ特定部１７０は、まず、学習ロジックを遂行する学習ロジック処理（Ｓ３４０）を実行する。そして、ブレーキランプ特定部１７０は、学習ロジック処理Ｓ３４０の結果に基づいて、位置対応付け部１６６によって先行車両の車両領域に対応付けられた個々の発光源候補の点灯有無を仮判定する点灯仮判定処理（Ｓ３５０）を実行する。続いて、ブレーキランプ特定部１７０は、発光源候補の点灯時間に基づいて、発光源候補がブレーキランプであるか否かを判定するブレーキランプ判定処理（Ｓ３６０）を実行する。そして、ブレーキランプ特定部１７０は、ブレーキランプであると判定した発光源候補からノイズを除外するノイズ除外処理（Ｓ３７０）を実行し、先行車両のブレーキランプが点灯しているか否かを特定する。以下、学習ロジック処理Ｓ３４０、点灯仮判定処理Ｓ３５０、ブレーキランプ判定処理Ｓ３６０、ノイズ除外処理Ｓ３７０について詳述する。
(Brake lamp identification process S328)
FIG. 9 is a flowchart showing the brake lamp specifying process S328. As shown in FIG. 9, the brake lamp identifying unit 170 first executes a learning logic process (S340) for performing learning logic. And the brake lamp specific | specification part 170 tentatively determines lighting based on the result of learning logic process S340, and temporarily determines the lighting presence or absence of each light emission source candidate matched with the vehicle area | region of the preceding vehicle by the
（学習ロジック処理Ｓ３４０）
図１０は、学習ロジック処理Ｓ３４０を示すフローチャートである。まず、ブレーキランプ特定部１７０は、車両特定部１６４ａに特定された先行車両の車両領域において、予め定められた１または複数のカラー閾値に基づくカラー条件（例えば、Ｒ成分が１５０を上回り、Ｇ成分が１１３未満、Ｂ成分が６６未満）を満たした画素の数（画素数）を計数する（Ｓ３４０−１）。そして、ブレーキランプ特定部１７０は、画素数を３次元空間上の実際の面積に変換（正規化）する（Ｓ３４０−２）。
(Learning logic process S340)
FIG. 10 is a flowchart showing the learning logic process S340. First, the brake lamp specifying unit 170 has a color condition (for example, the R component exceeds 150 and the G component is based on one or more predetermined color threshold values in the vehicle area of the preceding vehicle specified by the
このとき、発光源特定処理におけるグループ化処理Ｓ３２０においてグループ化された１の発光源候補ごとの面積と、グループ化されたすべての発光源候補の面積の和（以下、「車両領内の面積」と称する）を計算する。その後、ブレーキランプ特定部１７０は、変換した車両領域内の面積に応じてヒストグラム（相異なる複数段階の面積区分を階級とし、その面積区分毎の度数を示す、以下、「面積ヒストグラム」と称する）を生成する（Ｓ３４０−３）。一方、ブレーキランプ特定部１７０は、前回までに蓄積された面積ヒストグラムと、先行車両の加減速とを勘案して、点灯有無の基準となる所定の閾値ＴＨｈｉｇｈを導出する（Ｓ３４０−４）。ここで、閾値ＴＨｈｉｇｈは、例えば、１対のブレーキランプが両方点灯している場合、面積ヒストグラムにおける相対的に度数が高い面積区分が閾値ＴＨｈｉｇｈ以上となるように設定される値である。 At this time, the area of each of the light emitting source candidates grouped in the grouping process S320 in the light emitting source specifying process and the sum of the areas of all the grouped light emitting source candidates (hereinafter referred to as “area in the vehicle region”) Calculated). Thereafter, the brake lamp specifying unit 170 displays a histogram according to the converted area in the vehicle region (a plurality of different area sections are classified into classes, and the frequency for each area section is hereinafter referred to as “area histogram”). Is generated (S340-3). On the other hand, the brake lamp specifying unit 170 derives a predetermined threshold value THhigh that serves as a reference for lighting on / off in consideration of the area histogram accumulated so far and the acceleration / deceleration of the preceding vehicle (S340-4). Here, the threshold value THhigh is, for example, a value that is set so that an area section having a relatively high frequency in the area histogram is equal to or higher than the threshold value THhigh when a pair of brake lamps are both lit.
そして、ブレーキランプ特定部１７０は、今回計算した車両領域内の面積が、閾値ＴＨｈｉｇｈ以上であるか否かに基づき、ブレーキランプが点灯しているか否かを判定する（Ｓ３４０−５）。つまり、１対のブレーキランプが両方点灯しているか否かを判定する。なお、かかる面積ヒストグラムの生成、閾値ＴＨｈｉｇｈの導出、および、面積ヒストグラムによる発光源候補の点灯有無の判定については、特願２０１４−０７３３７４号等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。 And the brake lamp specific | specification part 170 determines whether the brake lamp is lighting based on whether the area in the vehicle area calculated this time is more than threshold THhigh (S340-5). That is, it is determined whether or not both of the pair of brake lamps are lit. For the generation of the area histogram, the derivation of the threshold value THhigh, and the determination of whether or not the light emission source candidate is turned on based on the area histogram, the existing technology such as Japanese Patent Application No. 2014-073374 can be referred to. The detailed explanation is omitted.
また、１対のブレーキランプが両方点灯していると判定した場合は、発光源候補が点灯しているか否かを判定するための閾値ＴＨｅａｃｈを更新する。閾値ＴＨｅａｃｈは、所定のカラー条件を満たす面積を計算する処理（Ｓ３４０−２）で計算した面積のうち、１の発光源候補に対応する面積を超えないように設定される。例えば、閾値ＴＨｅａｃｈは、１の発光源候補に対応する面積の半分程度の値とする。 If it is determined that both the pair of brake lamps are lit, the threshold value THeach for determining whether or not the light emission source candidate is lit is updated. The threshold value THeach is set so as not to exceed an area corresponding to one light source candidate among the areas calculated in the process (S340-2) of calculating an area that satisfies a predetermined color condition. For example, the threshold value THeach is a value that is about half of the area corresponding to one light source candidate.
（点灯仮判定処理Ｓ３５０）
図１１は、点灯仮判定処理Ｓ３５０を示すフローチャートである。ブレーキランプ特定部１７０は、発光源候補特定部１６４ｂが特定した発光源候補であって、位置対応付け部１６６によって先行車両の車両領域に対応付けられた、１または複数の発光源候補の数を取得し、発光源候補の数を候補数カウンタＣＮが取り得る最大値ｍａｘとして記憶する。そして、ブレーキランプ特定部１７０は、１または複数の発光源候補から、１の発光源候補を取得し、候補数カウンタＣＮに１をセットする（候補数カウンタセット処理Ｓ３５０−１）。
(Temporary lighting determination process S350)
FIG. 11 is a flowchart showing the temporary lighting determination process S350. The brake lamp specifying unit 170 is a light source candidate specified by the light source
そして、ブレーキランプ特定部１７０は、ランプ仮点灯判定処理Ｓ３５０−２を実行する。図１２は、ランプ仮点灯判定処理Ｓ３５０−２を示すフローチャートである。ブレーキランプ特定部１７０は、まず、上記学習ロジック処理Ｓ３４０の結果（Ｓ３４０−５の結果）が利用可能な状態であるか否かを判定する（Ｓ３５０−２−１）。ブレーキランプ特定部１７０は、学習ロジック処理Ｓ３４０で生成した面積ヒストグラムにおいて、度数が所定の閾値ＴＨａ以上の面積区分があれば、学習ロジック処理Ｓ３４０の結果が利用可能な状態であると判定する。 And the brake lamp specific | specification part 170 performs lamp | ramp temporary lighting determination processing S350-2. FIG. 12 is a flowchart showing the lamp temporary lighting determination processing S350-2. First, the brake lamp identification unit 170 determines whether or not the result of the learning logic process S340 (the result of S340-5) is available (S350-2-1). The brake lamp specifying unit 170 determines that the result of the learning logic process S340 is available if there is an area division whose frequency is equal to or greater than the predetermined threshold THa in the area histogram generated in the learning logic process S340.
そして、ブレーキランプ特定部１７０は、上記学習ロジック処理Ｓ３４０の結果が利用可能な状態であると判定すると（Ｓ３５０−２−１におけるＹＥＳ）、上記Ｓ３４０−２で計算した面積のうち発光源候補ごとの面積が、閾値ＴＨｅａｃｈ以上であるか否かを判定する（Ｓ３５０−２−２）。ブレーキランプ特定部１７０は、上記Ｓ３５０−２−２において、発光源候補ごとの面積が、閾値ＴＨｅａｃｈ以上であると判定された場合（Ｓ３５０−２−２におけるＹＥＳ）、発光源候補が点灯していると仮判定し、個々ランプフラグをＯＮにする（Ｓ３５０−２−３）。一方、上記Ｓ３４０−２で計算した発光源候補ごとの面積が、閾値ＴＨｅａｃｈ以上ではないと判定された場合（Ｓ３５０−２−２におけるＮＯ）、発光源候補が消灯していると仮判定し、個々ランプフラグをＯＦＦにして（Ｓ３５０−２−４）、当該ランプ仮点灯判定処理Ｓ３５０−２を終了する。 And if the brake lamp specific | specification part 170 determines with the result of the said learning logic process S340 being a usable state (YES in S350-2-1), for every light emission source candidate among the areas calculated by said S340-2. Is determined to be equal to or larger than the threshold value THeach (S350-2-2). When it is determined in S350-2-2 that the area for each light source candidate is equal to or greater than the threshold value THeach (YES in S350-2-2), the brake lamp specifying unit 170 turns on the light source candidate. Is temporarily determined, and the individual lamp flag is turned ON (S350-2-3). On the other hand, when it is determined that the area for each light source candidate calculated in S340-2 is not equal to or greater than the threshold value THeach (NO in S350-2-2), it is temporarily determined that the light source candidate is turned off. The individual lamp flag is turned off (S350-2-4), and the lamp temporary lighting determination process S350-2 is terminated.
なお、個々ランプフラグは、１の発光源候補が点灯しているか否かを示すフラグであり、個々ランプフラグがＯＮは、発光源候補が点灯していることを示し、個々ランプフラグがＯＦＦは、発光源候補が消灯していることを示す。 The individual lamp flag is a flag indicating whether or not one light source candidate is lit. When the individual lamp flag is ON, the light source candidate is lit and the individual lamp flag is OFF. Indicates that the light source candidate is turned off.
一方、ブレーキランプ特定部１７０は、学習ロジック処理Ｓ３４０の結果が利用可能な状態ではないと判定すると（Ｓ３５０−２−１におけるＮＯ）、面積判定処理Ｓ３５０−２−５に移る。面積判定処理Ｓ３５０−２−５は、Ｒ成分が所定値を上回る面積が所定以上であるか否かを判定する処理である。例えば、面積判定処理Ｓ３５０−２−５は、Ｒ成分が２００を上回る画素が２画素以上あるか否かを判定する。 On the other hand, if the brake lamp specifying unit 170 determines that the result of the learning logic process S340 is not available (NO in S350-2-1), the process proceeds to an area determination process S350-2-5. The area determination process S350-2-5 is a process of determining whether or not the area where the R component exceeds a predetermined value is greater than or equal to a predetermined value. For example, the area determination process S350-2-5 determines whether there are two or more pixels having an R component exceeding 200.
そして、ブレーキランプ特定部１７０は、Ｒ成分が所定値を上回る面積が所定以上である場合（Ｓ３５０−２−５におけるＹＥＳ）、個々ランプフラグをＯＮにし（Ｓ３５０−２−６）、Ｒ成分が所定値を上回る面積が所定以上ではない場合（Ｓ３５０−２−５におけるＮＯ）、個々ランプフラグをＯＦＦにして（Ｓ３５０−２−７）、当該ランプ仮点灯判定処理Ｓ３５０−２を終了する。 When the area where the R component exceeds the predetermined value is greater than or equal to the predetermined value (YES in S350-2-5), the brake lamp specifying unit 170 turns on the individual lamp flag (S350-2-6), and the R component is When the area exceeding the predetermined value is not equal to or larger than the predetermined value (NO in S350-2-5), the individual lamp flag is turned off (S350-2-7), and the lamp temporary lighting determination process S350-2 is ended.
図１１に戻って説明すると、ブレーキランプ特定部１７０は、個々ランプフラグがＯＮであるか否かを判定する（Ｓ３５０−３）。そして、個々ランプフラグがＯＮである場合（Ｓ３５０−３におけるＹＥＳ）、個別面積換算値判定処理Ｓ３５０−４に移り、個々ランプフラグがＯＮでない場合、つまり、個々ランプフラグがＯＦＦである場合（Ｓ３５０−３におけるＮＯ）連続点灯カウンタ値判定処理Ｓ３５０−１１に移る。
る。
Returning to FIG. 11, the brake lamp specifying unit 170 determines whether or not the individual lamp flag is ON (S350-3). If the individual lamp flag is ON (YES in S350-3), the process proceeds to individual area conversion value determination processing S350-4, and if the individual lamp flag is not ON, that is, if the individual lamp flag is OFF (S350). NO) in −3) The process proceeds to the continuous lighting counter value determination process S350-11.
The
ブレーキランプ特定部１７０は、車両領域の占有面積に対する当該発光源候補の占有面積の割合（以下、「個別面積換算値」と称する）が、所定の閾値ＴＨｌｏｗ以上であるか否かを判定する（Ｓ３５０−４）。ここで、閾値ＴＨｌｏｗは、例えば、ブレーキランプのうち、少なくとも一方の発光源が点灯してさえいれば、個別面積換算値が閾値ＴＨｌｏｗ以上となるように予め設定される値である。また、上記したランプ仮点灯判定処理Ｓ３５０−２において学習ロジック処理Ｓ３４０の結果が利用可能な状態であると判定した場合には、面積ヒストグラムに基づいて閾値ＴＨｌｏｗが設定され、上記ランプ仮点灯判定処理Ｓ３５０−２において学習ロジック処理Ｓ３４０の結果が利用可能な状態でないと判定した場合には、予め定められた閾値ＴＨｌｏｗが設定される。そして、個別面積換算値が閾値ＴＨｌｏｗ以上であると判定した場合（Ｓ３５０−４におけるＹＥＳ）、サチレーション判定処理Ｓ３５０−５に移る。一方、個別面積換算値が閾値ＴＨｌｏｗ未満であると判定した場合（Ｓ３５０−４におけるＮＯ）、連続点灯カウンタ値判定処理Ｓ３５０−１１に移る。 The brake lamp specifying unit 170 determines whether the ratio of the occupied area of the light emitting source candidate to the occupied area of the vehicle region (hereinafter referred to as “individual area converted value”) is equal to or greater than a predetermined threshold value THlow ( S350-4). Here, the threshold value THlow is a value set in advance so that, for example, as long as at least one light source of the brake lamps is lit, the individual area conversion value is equal to or greater than the threshold value THlow. When it is determined in the above-described lamp temporary lighting determination process S350-2 that the result of the learning logic process S340 is available, a threshold value THlow is set based on the area histogram, and the lamp temporary lighting determination process is performed. If it is determined in S350-2 that the result of the learning logic process S340 is not available, a predetermined threshold THlow is set. When it is determined that the individual area converted value is equal to or greater than the threshold value THlow (YES in S350-4), the process proceeds to saturation determination processing S350-5. On the other hand, when it is determined that the individual area converted value is less than the threshold THlow (NO in S350-4), the process proceeds to the continuous lighting counter value determination process S350-11.
個別面積換算値判定処理Ｓ３５０−４を実行することにより、１の発光源候補の大きさが、ブレーキランプの一方の発光源の大きさに相当するか否かを判定することができ、ブレーキランプとみなせる大きさ未満の発光源候補をブレーキランプと誤認識してしまう事態を回避することが可能となる。 By executing the individual area conversion value determination process S350-4, it can be determined whether or not the size of one light source candidate corresponds to the size of one light source of the brake lamp. It is possible to avoid a situation in which a light emitting source candidate having a size less than that which can be considered as a brake lamp is erroneously recognized as a brake lamp.
続いて、ブレーキランプ特定部１７０は、太陽光の反射によって発光源候補と誤って特定（誤認識）されたか否かを判定する処理（Ｓ３５０−５、Ｓ３５０−６、Ｓ３５０−７）を実行する。なお、太陽光の反射が所定範囲に含まれる場合（太陽光の反射が安定している場合）、上記学習ロジック処理Ｓ３４０によってブレーキランプの点灯の有無が判定できる。 Subsequently, the brake lamp specifying unit 170 executes processing (S350-5, S350-6, S350-7) for determining whether or not the light source candidate is erroneously specified (misrecognized) due to the reflection of sunlight. . When the reflection of sunlight is included in the predetermined range (when the reflection of sunlight is stable), it is possible to determine whether or not the brake lamp is lit by the learning logic process S340.
まず、ブレーキランプ特定部１７０は、発光源候補を構成する画素のうち、サチレーションを起こしている画素が、所定数（例えば、１）以上あるか否かを判定する（Ｓ３５０−５）。ここでは、Ｒ成分、Ｇ成分、および、Ｂ成分のうち、少なくともいずれかの成分のカラー値が、カラー値の取り得る最大値（例えばカラー値が２５５）である画素を、サチレーションを起こしている画素とする。サチレーションを起こしている画素が所定数未満であると判定した場合（Ｓ３５０−５におけるＮＯ）、ブレーキランプ特定部１７０は、太陽光反射判定処理Ｓ３５０−６に移る。一方、サチレーションを起こしている画素が所定数以上あると判定した場合（Ｓ３５０−５におけるＹＥＳ）、ブレーキランプ特定部１７０は、連続点灯カウンタ値判定処理Ｓ３５０−１１に移る。 First, the brake lamp specifying unit 170 determines whether there are a predetermined number (for example, 1) or more of pixels that cause saturation among the pixels constituting the light emission source candidate (S350-5). Here, saturation is caused in a pixel in which the color value of at least one of the R component, G component, and B component is the maximum value that the color value can take (for example, the color value is 255). Let it be a pixel. If it is determined that the number of pixels causing saturation is less than the predetermined number (NO in S350-5), the brake lamp specifying unit 170 proceeds to sunlight reflection determination processing S350-6. On the other hand, if it is determined that there are a predetermined number or more of pixels causing saturation (YES in S350-5), the brake lamp specifying unit 170 proceeds to continuous lighting counter value determination processing S350-11.
発光源候補特定部１６４ｂによって特定される発光源候補が、太陽光の反射により発光源候補と特定される場合、発光源候補を構成する画素においてサチレーションを起こしている画素が含まれることもある。したがって、サチレーション判定処理Ｓ３５０−５を実行することにより、太陽光の反射により特定された発光源候補、つまり、太陽光の反射によって発光源候補と誤って特定（誤認識）された発光源候補を判定することが可能となる。
When the light source candidate specified by the light source
図１３は、太陽光反射判定処理Ｓ３５０−６を示すフローチャートである。図１３に示すように、ブレーキランプ特定部１７０は、発光源候補が太陽光の反射により発光源候補として特定されたか否かを判定する（Ｓ３５０−６−１）。具体的に説明すると、ブレーキランプ特定部１７０は、先行車両の車両領域うち、Ｒ成分が例えば１２０以上の画素数が所定の閾値ＴＨｂ以上であり、かつ、上記学習ロジック処理Ｓ３４０と同様の技術で生成したＲ成分のみの面積ヒストグラムにおいて、最も小さい面積区分の度数が所定の閾値ＴＨｃ（例えば、１）以上であるかを判定する（Ｓ３５０−６−１）。ここで、Ｒ成分のみの面積ヒストグラムを生成する際には、カラー条件として、例えば、Ｒ成分が２００を上回り、Ｇ成分が５０未満、Ｂ成分が５０未満を採用する。 FIG. 13 is a flowchart showing the sunlight reflection determination process S350-6. As shown in FIG. 13, the brake lamp specifying unit 170 determines whether or not the light source candidate is specified as a light source candidate by reflection of sunlight (S350-6-1). More specifically, the brake lamp specifying unit 170 uses the same technology as the learning logic process S340 when the number of pixels having an R component of, for example, 120 or more in the vehicle area of the preceding vehicle is greater than or equal to a predetermined threshold value THb. In the generated area histogram of only the R component, it is determined whether the frequency of the smallest area section is equal to or greater than a predetermined threshold THc (for example, 1) (S350-6-1). Here, when generating the area histogram of only the R component, for example, the R component exceeds 200, the G component is less than 50, and the B component is less than 50 as color conditions.
太陽光の反射により発光源候補と特定される場合、発光源候補を構成する画素において全体的にＲ値が高くなり、かつ、Ｒ成分のみの面積ヒストグラムにおいて最も小さい面積区分の度数が１以上となる（最も小さい面積区分にピークが出現する）。一方、太陽光の反射ではなく発光源候補が特定される場合、発光源候補を構成する画素において全体的にＲ値が小さくなり、かつ、Ｒ成分のみの面積ヒストグラムにおいて最も小さい面積区分の度数が０となる（最も小さい面積区分にピークが出現しない）。したがって、ブレーキランプ特定部１７０が、Ｓ３５０−６−１の処理を実行することで、太陽光の反射によって発光源候補と誤って特定（誤認識）された発光源候補を判定することができる。 When the light source candidate is identified by the reflection of sunlight, the R value is generally high in the pixels constituting the light source candidate, and the frequency of the smallest area section in the area histogram of only the R component is 1 or more. (A peak appears in the smallest area section). On the other hand, when the light source candidate is specified instead of the reflection of sunlight, the R value is reduced overall in the pixels constituting the light source candidate, and the frequency of the smallest area division in the area histogram of only the R component is 0 (no peak appears in the smallest area segment). Therefore, the brake lamp specifying unit 170 can determine a light source candidate that is erroneously specified (misrecognized) as a light source candidate by reflection of sunlight by executing the processing of S350-6-1.
そして、Ｒ成分が１２０以上の画素数が閾値ＴＨｂ以上であり、かつ、Ｒ成分のみの面積ヒストグラムにおいて、最も小さい面積区分の度数が所定の閾値ＴＨｃ以上であると判定した場合（Ｓ３５０−６−１におけるＹＥＳ）、発光源候補が太陽光の反射により発光源候補として特定されたと判定する（Ｓ３５０−６−２）。一方、Ｒ成分が１２０以上の画素数が閾値ＴＨｂ未満である、または、Ｒ成分のみの面積ヒストグラムにおいて、最も小さい面積区分の度数が所定の閾値ＴＨｃ未満であると判定した場合（Ｓ３５０−６−１におけるＮＯ）、発光源候補が太陽光の反射により発光源候補として特定されたわけではないと判定する（Ｓ３５０−６−３）。 When it is determined that the number of pixels having an R component of 120 or more is greater than or equal to the threshold THb and the frequency of the smallest area segment is greater than or equal to the predetermined threshold THc in the area histogram of only the R component (S350-6). 1), it is determined that the light source candidate has been identified as a light source candidate by the reflection of sunlight (S350-6-2). On the other hand, when it is determined that the number of pixels having an R component of 120 or more is less than the threshold THb or that the frequency of the smallest area segment is less than the predetermined threshold THc in the area histogram of only the R component (S350-6). 1), it is determined that the light source candidate is not identified as a light source candidate by the reflection of sunlight (S350-6-3).
図１１に戻って説明すると、ブレーキランプ特定部１７０は、学習ロジック処理Ｓ３４０において蓄積された面積ヒストグラムと先行車両の加減速を勘案した、１対のブレーキランプが消灯していると想定される面積区分のＲ成分の面積換算値が所定の閾値ＴＨｄ以上であるか、または、上記太陽光反射判定処理Ｓ３５０−６において発光源候補が太陽光反射によって特定されたと判定されたかを判定する（Ｓ３５０−７）。ここで、閾値ＴＨｄは、例えば、学習ロジック処理Ｓ３４０において蓄積された面積ヒストグラムと先行車両の加減速を勘案した、１対のブレーキランプが消灯していると想定される面積区分のＲ成分の面積換算値が、太陽光反射を起こしていると推定されるときに取りうる値となるように予め設定される値である。太陽光反射を起こしていると推定されるときに取りうる値は、例えば１の発光源候補が点灯している場合に取りうるＲ成分の個別面積換算値未満である。 Returning to FIG. 11, the brake lamp specifying unit 170 is an area in which a pair of brake lamps are assumed to be turned off in consideration of the area histogram accumulated in the learning logic process S340 and the acceleration / deceleration of the preceding vehicle. It is determined whether the area converted value of the R component of the section is equal to or greater than a predetermined threshold value THd, or whether it is determined in the sunlight reflection determination process S350-6 that the light emission source candidate is specified by sunlight reflection (S350- 7). Here, the threshold value THd is, for example, the area of the R component of the area classification in which the pair of brake lamps are assumed to be off in consideration of the area histogram accumulated in the learning logic process S340 and the acceleration / deceleration of the preceding vehicle. The conversion value is a value that is set in advance so as to be a value that can be taken when it is estimated that sunlight is reflected. The value that can be taken when it is estimated that the sunlight is reflected is, for example, less than the individual area converted value of the R component that can be taken when one light source candidate is turned on.
そして、ブレーキランプ特定部１７０は、学習ロジック処理Ｓ３４０において蓄積された面積ヒストグラムと先行車両の加減速を勘案した、１対のブレーキランプが消灯していると想定される面積区分のＲ成分の面積換算値が閾値ＴＨｄ以上である、または、発光源候補が太陽光反射によって特定されたと判定された場合（Ｓ３５０−７におけるＹＥＳ）、連続点灯カウンタ値判定処理Ｓ３５０−１１に移る。一方、ブレーキランプ特定部１７０は、学習ロジック処理Ｓ３４０において蓄積された面積ヒストグラムと先行車両の加減速を勘案した、１対のブレーキランプが消灯していると想定される面積区分のＲ成分の面積換算値が閾値ＴＨｄ未満であり、かつ、発光源候補が太陽光反射によって特定されていないと判定された場合（Ｓ３５０−７におけるＮＯ）、連続点灯カウンタ値判定処理Ｓ３５０−８に移る。 Then, the brake lamp specifying unit 170 takes into account the area histogram accumulated in the learning logic process S340 and the acceleration / deceleration of the preceding vehicle, and the area of the R component of the area classification in which the pair of brake lamps are assumed to be turned off. When it is determined that the converted value is equal to or greater than the threshold THd or the light source candidate is identified by sunlight reflection (YES in S350-7), the process proceeds to the continuous lighting counter value determination process S350-11. On the other hand, the brake lamp specifying unit 170 takes into account the area histogram accumulated in the learning logic process S340 and the acceleration / deceleration of the preceding vehicle, and the area of the R component of the area classification in which the pair of brake lamps are assumed to be off. When it is determined that the converted value is less than the threshold THd and the light source candidate is not specified by sunlight reflection (NO in S350-7), the process proceeds to the continuous lighting counter value determination process S350-8.
上記太陽光反射確認処理Ｓ３５０−７を実行することにより、太陽光の反射により特定された発光源候補、つまり、太陽光の反射によって発光源候補と誤って特定（誤認識）された発光源候補を判定することが可能となる。 By executing the sunlight reflection confirmation processing S350-7, the light source candidate identified by the reflection of sunlight, that is, the light source candidate erroneously identified (misrecognized) as the light source candidate by the reflection of sunlight. Can be determined.
そして、ブレーキランプ特定部１７０は、上記Ｓ３５０−３においてＹＥＳ、Ｓ３５０−４においてＹＥＳ、Ｓ３５０−５においてＮＯ、Ｓ３５０−７においてＮＯである場合に、それぞれの発光源候補に対応付けられて記憶されている連続点灯カウンタＲＴのカウンタ値に２加算する（Ｓ３５０−８）。ここで、連続点灯カウンタＲＴは、発光源候補が連続して点灯していることを、その値の大小で示すものであり、連続点灯カウンタＲＴの値が大きくなるにつれて、対応付けられた発光源候補がより長い期間点灯していることを表す。また、連続点灯カウンタＲＴは、例えば、上限８０、下限０といったように、上下限が設けられている。このように、上下限を設けることで、発光源候補を検出していない期間や、発光源候補を検出している期間が長時間に亘ったとしても点数の絶対値が大きくなることがなく、発光源候補の点灯の検出の有無が切り替わった場合に、迅速に、その点灯の有無を判定することが可能となる。なお、連続点灯カウンタＲＴは、点灯仮判定処理Ｓ３５０が実行される度に更新される。 And the brake lamp specific | specification part 170 is matched and memorize | stored in each light emission source candidate, when it is YES in S350-3, YES in S350-4, NO in S350-5, and NO in S350-7. 2 is added to the counter value of the continuous lighting counter RT (S350-8). Here, the continuous lighting counter RT indicates that the light source candidates are continuously lit by the magnitude of the value, and as the value of the continuous lighting counter RT increases, the associated light source Indicates that the candidate has been lit for a longer period. The continuous lighting counter RT has upper and lower limits such as an upper limit of 80 and a lower limit of 0. Thus, by providing the upper and lower limits, the absolute value of the score does not increase even if the light emission source candidate is not detected or the light emission source candidate is detected for a long time, When the presence / absence of detection of lighting of the light emitting source candidate is switched, it is possible to quickly determine whether the lighting is turned on. The continuous lighting counter RT is updated every time the temporary lighting determination process S350 is executed.
そして、ブレーキランプ特定部１７０は、連続点灯カウンタＲＴのカウンタ値が８０を上回るか否かを判定する（Ｓ３５０−９）。連続点灯カウンタＲＴのカウンタ値が８０を上回る場合（Ｓ３５０−９におけるＹＥＳ）、連続点灯カウンタＲＴのカウンタ値を８０にセットし、発光源候補に対応づけて連続点灯カウンタＲＴのカウンタ値を記憶（更新）する（Ｓ３５０−１０）。一方、連続点灯カウンタＲＴのカウンタ値が８０以下である場合（Ｓ３５０−９におけるＮＯ）、現在のカウンタ値を、発光源候補に対応づけて記憶（更新）する。 And the brake lamp specific | specification part 170 determines whether the counter value of the continuous lighting counter RT exceeds 80 (S350-9). When the counter value of the continuous lighting counter RT exceeds 80 (YES in S350-9), the counter value of the continuous lighting counter RT is set to 80, and the counter value of the continuous lighting counter RT is stored in association with the light emission source candidate ( Update) (S350-10). On the other hand, when the counter value of the continuous lighting counter RT is 80 or less (NO in S350-9), the current counter value is stored (updated) in association with the light emission source candidate.
一方、ブレーキランプ特定部１７０は、上記Ｓ３５０−３においてＮＯ、Ｓ３５０−４においてＮＯ、Ｓ３５０−５においてＹＥＳ、Ｓ３５０−７においてＹＥＳである場合に、連続点灯カウンタＲＴのカウンタ値から１０減算する（Ｓ３５０−１１）。そして、ブレーキランプ特定部１７０は、連続点灯カウンタＲＴのカウンタ値が０未満であるか否かを判定する（Ｓ３５０−１２）。連続点灯カウンタＲＴのカウンタ値が０未満である場合（Ｓ３５０−１２におけるＹＥＳ）、連続点灯カウンタＲＴのカウンタ値を０にセットし、発光源候補に対応づけて記憶（更新）する（Ｓ３５０−１３）。一方、連続点灯カウンタＲＴのカウンタ値が０未満でない場合（Ｓ３５０−１２におけるＮＯ）、現在のカウンタ値を、発光源候補に対応づけて記憶（更新）する。 On the other hand, the brake lamp specifying unit 170 subtracts 10 from the counter value of the continuous lighting counter RT when NO in S350-3, NO in S350-4, YES in S350-5, and YES in S350-7. S350-11). And the brake lamp specific | specification part 170 determines whether the counter value of the continuous lighting counter RT is less than 0 (S350-12). When the counter value of the continuous lighting counter RT is less than 0 (YES in S350-12), the counter value of the continuous lighting counter RT is set to 0 and stored (updated) in association with the light emission source candidate (S350-13). ). On the other hand, when the counter value of the continuous lighting counter RT is not less than 0 (NO in S350-12), the current counter value is stored (updated) in association with the light emission source candidate.
続いて、ブレーキランプ特定部１７０は、先行車両の車両領域に対応付けられたすべての発光源候補についてＳ３５０−２からＳ３５０−１３までの処理を実行したか否か、すなわち、候補数カウンタＣＮが最大値ｍａｘ以上であるか否かを判定する（Ｓ３５０−１４）。そして、最大値ｍａｘ以上でなければ（Ｓ３５０−１４におけるＮＯ）、現在の値を１インクリメントして（Ｓ３５０−１５）、Ｓ３５０−２からの処理を繰り返す。一方、ブレーキランプ特定部１７０は、候補数カウンタＣＮが最大値ｍａｘ以上であると判定すると（Ｓ３５０−１４におけるＹＥＳ）、個々ランプフラグをＯＦＦして、当該点灯仮判定処理Ｓ３５０を終了する。 Subsequently, the brake lamp specifying unit 170 determines whether or not the processing from S350-2 to S350-13 has been executed for all light emission source candidates associated with the vehicle area of the preceding vehicle, that is, the candidate number counter CN is It is determined whether or not it is equal to or greater than the maximum value max (S350-14). If it is not equal to or greater than the maximum value max (NO in S350-14), the current value is incremented by 1 (S350-15), and the processing from S350-2 is repeated. On the other hand, if the brake lamp specifying unit 170 determines that the candidate number counter CN is equal to or greater than the maximum value max (YES in S350-14), the individual lamp flag is turned off, and the temporary lighting determination process S350 ends.
以上説明したように、点灯仮判定処理Ｓ３５０では、各発光源候補について、ブレーキランプとして点灯しているか否かを仮判定し、点灯していると仮判定した場合には、連続点灯カウンタＲＴのカウント値をインクリメントしていく。一方、ブレーキランプとして点灯していないと判定した場合には、連続点灯カウンタＲＴのカウント値をデクリメントしていく。 As described above, in the temporary lighting determination process S350, it is temporarily determined whether or not each light source candidate is lit as a brake lamp. The count value is incremented. On the other hand, when it is determined that the brake lamp is not lit, the count value of the continuous lighting counter RT is decremented.
（ブレーキランプ判定処理Ｓ３６０）
図１４、図１５、図１６は、ブレーキランプ判定処理Ｓ３６０を示すフローチャートである。なお、図１４、図１５、図１６において、実質的に等しい処理に関しては、同一の符号を付して説明を省略する。なお、ブレーキランプ判定処理Ｓ３６０では、先行車両について、前回までの判定で両付のブレーキランプを検出していることを示す両付フラグ、先行車両について、前回までの判定で片付のブレーキランプを検出していることを示す片付フラグを用いる。また、ブレーキランプ判定処理Ｓ３６０では、現在のフレームにおいて、先行車両のブレーキランプが点灯していることを示すランプ点灯フラグ、発光源候補が点灯していることを示す仮点灯フラグを用いる。
(Brake lamp determination process S360)
FIGS. 14, 15 and 16 are flowcharts showing the brake lamp determination process S360. 14, 15, and 16, substantially the same processes are denoted by the same reference numerals and description thereof is omitted. In the brake lamp determination process S360, for the preceding vehicle, a double-attached flag indicating that the double-attached brake lamp has been detected in the determination up to the previous time, and for the preceding vehicle, a single-sided brake lamp is determined in the determination up to the previous time. A clean-up flag indicating that it is detected is used. In the brake lamp determination process S360, a lamp lighting flag indicating that the brake lamp of the preceding vehicle is lit and a temporary lighting flag indicating that the light source candidate is lit are used in the current frame.
ここで、両付フラグがＴｒｕｅ（以下、単に「Ｔ」で示す）は、先行車両について両付のブレーキランプを検出していることを示し、両付フラグがＦａｌｓｅ（以下、単に「Ｆ」で示す）は、先行車両について両付のブレーキランプを検出していないことを示す。片付フラグがＴは、先行車両について片付のブレーキランプを検出していることを示し、片付フラグがＦは、先行車両について片付のブレーキランプを検出していないことを示す。なお、両付フラグと片付フラグは排他的であり、両付フラグがＴの場合片付フラグは必ずＦであり、片付フラグがＴの場合両付フラグは必ずＦである。 Here, the double-attached flag is True (hereinafter simply indicated by “T”) indicates that the double-attached brake lamp is detected for the preceding vehicle, and the double-attached flag is False (hereinafter simply “F”). (Shown) indicates that a brake lamp with both sides is not detected for the preceding vehicle. The tampering flag T indicates that a tampering brake lamp is detected for the preceding vehicle, and the tidying flag F indicates that a tampering brake lamp is not detected for the preceding vehicle. The double-attached flag and the single-attached flag are exclusive. When the double-attached flag is T, the single-attached flag is always F. When the double-attached flag is T, the double-attached flag is always F.
また、ランプ点灯フラグがＯＮは、先行車両のブレーキランプが点灯していることを示し、ランプ点灯フラグがＯＦＦは、先行車両のブレーキランプが消灯している（点灯していない）ことを示す。仮点灯フラグがＯＮは、発光源候補が点灯していることを示し、仮点灯フラグがＯＦＦは、発光源候補が消灯している（点灯していない）ことを示す。なお、ランプ点灯フラグは、初期状態においてＯＦＦとなっている。 Further, when the lamp lighting flag is ON, the brake lamp of the preceding vehicle is turned on, and when the lamp lighting flag is OFF, the brake lamp of the preceding vehicle is turned off (not lit). When the temporary lighting flag is ON, the light source candidate is turned on, and when the temporary lighting flag is OFF, the light source candidate is turned off (not lit). Note that the lamp lighting flag is OFF in the initial state.
また、ブレーキランプ判定処理Ｓ３６０では、両付フラグがＴかつランプ点灯フラグがＯＮ、両付フラグがＴかつランプ点灯フラグがＯＦＦ、片付フラグがＴかつランプ点灯フラグがＯＮ、片付フラグがＴかつランプ点灯フラグがＯＦＦ、両付フラグおよび片付フラグがＦかつランプ点灯フラグがＯＦＦの５の結果のうちいずれかの結果が得られることとなる。 Also, in the brake lamp determination process S360, the double-attached flag is T and the lamp lighting flag is ON, the double-attached flag is T and the lamp lighting flag is OFF, the clearing flag is T, the lamp lighting flag is ON, and the clearing flag is T In addition, one of the results of 5 in which the lamp lighting flag is OFF, the both-attached flag and the parting flag are F, and the lamp lighting flag is OFF is obtained.
ブレーキランプ特定部１７０は、車両領域の占有面積に対する、すべての発光源候補の占有面積の合計の割合（以下、「合計面積換算値」と称する）が、上記閾値ＴＨｌｏｗ以上であるか否かを判定する（Ｓ３６０−１）。そして、合計面積換算値が閾値ＴＨｌｏｗ以上であると判定した場合（Ｓ３６０−１におけるＹＥＳ）、ブレーキランプ特定部１７０は、フラグ判定処理Ｓ３６０−２へ移る。一方、合計面積換算値が閾値ＴＨｌｏｗ未満であると判定した場合（Ｓ３６０−１におけるＮＯ）、ブレーキランプ特定部１７０は、当該ブレーキランプ判定処理Ｓ３６０を終了する。 The brake lamp specifying unit 170 determines whether or not the ratio of the total occupied area of all light emission source candidates to the occupied area of the vehicle region (hereinafter referred to as “total area converted value”) is equal to or greater than the threshold value THlow. Determine (S360-1). If it is determined that the total area converted value is equal to or greater than the threshold value THlow (YES in S360-1), the brake lamp specifying unit 170 proceeds to flag determination processing S360-2. On the other hand, when it determines with a total area conversion value being less than threshold value THlow (NO in S360-1), the brake lamp specific | specification part 170 complete | finishes the said brake lamp determination process S360.
かかる合計面積換算値判定処理Ｓ３６０−１を実行することにより、消灯しているブレーキランプ、点灯から消灯へ向かう消灯過程のブレーキランプ、および、消灯しているが連続点灯カウンタＲＴがまだ０を上回っているブレーキランプについて、下記Ｓ３６０−２以降の処理の実行を回避することができ、処理負荷を低減することが可能となる。 By executing the total area conversion value determination process S360-1, the brake lamp that is turned off, the brake lamp that is turned off from turning on to turning off, and the lighted-off but continuous lighting counter RT still exceeds 0. With respect to the brake lamp, it is possible to avoid the execution of processing from S360-2 onward, and to reduce the processing load.
ブレーキランプ特定部１７０は、両付フラグがＦであり、かつ、片付フラグがＦであるか否かを判定する（Ｓ３６０−２）。そして、両付フラグおよび片付フラグがＦであると判定した場合（Ｓ３６０−２におけるＹＥＳ）、ブレーキランプ特定部１７０は、ペア点灯判定処理Ｓ３６０−３に移る。一方、両付フラグおよび片付フラグのいずれか一方がＦではない、すなわち、両付フラグおよび片付フラグのいずれか一方がＴであると判定した場合（Ｓ３６０−２におけるＮＯ）、図１５に示す片付フラグ判定処理Ｓ３６０−２１に移る。 The brake lamp identifying unit 170 determines whether the both-attached flag is F and the one-sided flag is F (S360-2). And when it determines with a both-attachment flag and a parting flag being F (YES in S360-2), the brake lamp specific | specification part 170 transfers to pair lighting determination process S360-3. On the other hand, when it is determined that one of the both-attached flag and the one-sided flag is not F, that is, one of the both-attached flag and the one-sided flag is T (NO in S360-2), FIG. The process proceeds to the one-on-one flag determination process S360-21 shown.
そして、ブレーキランプ特定部１７０は、発光源候補が他の発光源候補と予め定められたペア条件を満たすか否かを判定する（Ｓ３６０−３）。具体的に説明すると、ブレーキランプ特定部１７０は、下記（１）に示す条件を満たし、かつ、下記（２−１）および（２−２）のいずれか一方の条件を満たした場合、ペア条件を満たすと判定する。 And the brake lamp specific | specification part 170 determines whether a light emission source candidate satisfy | fills the pair conditions predetermined with another light emission source candidate (S360-3). More specifically, when the brake lamp specifying unit 170 satisfies the condition shown in the following (1) and satisfies one of the following conditions (2-1) and (2-2), the pair condition It is determined that
（１）の条件は、合計面積換算値が、上記学習ロジック処理Ｓ３４０で導出された閾値ＴＨｈｉｇｈ以上であることである。 The condition (1) is that the total area converted value is not less than the threshold value THhigh derived in the learning logic process S340.
また、（２−１）の条件は、上記学習ロジック処理Ｓ３４０で、ブレーキランプが点灯していると０．８ｓｅｃ以上判定されたこと、すなわち、０．８ｓｅｃ（第１期間）以上点灯している発光源候補が、他の発光源候補とブレーキランプを構成すると判定されたことである。 The condition (2-1) is that the learning logic process S340 determines that the brake lamp is lit for 0.8 sec or longer, that is, 0.8 sec (first period) or longer. That is, it is determined that the light emission source candidate constitutes a brake lamp with another light emission source candidate.
上述したように、本実施形態において、撮像装置１１０は、２０ｆｐｓ（５０ｍｓｅｃごと）で画像データ（第１画像および第２画像）を生成している。したがって、第１画像、もしくは、第２画像に対して、１００ｍｓｅｃごとに学習ロジック処理Ｓ３４０が実行される。したがって、上述した学習ロジック処理Ｓ３４０において、ブレーキランプが点灯していると、８回以上連続して判定されたことをもって、０．８ｓｅｃ以上点灯している発光源候補が、他の発光源候補とブレーキランプを構成すると判定する。
As described above, in the present embodiment, the
（２−２）の条件は、消灯型ウィンカーチェック処理が遂行中であることを示す消灯型ウィンカーチェック処理中であり、消灯型ウィンカーチェック処理において０．２ｓｅｃ以上連続してブレーキランプと判定されたことである。ここで、消灯型ウィンカーは、ブレーキランプを構成する一方の発光源を所定の点滅周期で点滅させる（例えば、０．５ｓｅｃ点灯、０．５ｓｅｃ消灯の繰り返し）ことで、ブレーキランプにウィンカーとしての機能を担わせたものである。したがって、消灯型ウィンカーを採用する車両では、ブレーキ中で、かつ、一方のブレーキランプ（消灯型ウィンカー）を点滅させている場合には、両方のブレーキランプが０．５ｓｅｃ点灯、一方のブレーキランプが０．５ｓｅｃ点灯を繰り返すことになる。また、ブレーキをかけていない状態で、一方のブレーキランプ（消灯型ウィンカー）を点滅させている場合には、一方のブレーキランプが０．５ｓｅｃ点灯、両方のブレーキランプが０．５ｓｅｃ消灯を繰り返すことになる。 The condition of (2-2) is the turn-off type blinker check process indicating that the turn-off type turn signal check process is being performed. That is. Here, the turn-off type blinker functions as a blinker in the brake lamp by causing one light source constituting the brake lamp to blink at a predetermined blinking cycle (for example, 0.5 sec on and 0.5 sec off repeatedly). It is something that bears. Therefore, in a vehicle that employs a turn-off type blinker, when braking and when one brake lamp (light-out type blinker) is blinking, both brake lamps are lit for 0.5 sec. The lighting will be repeated for 0.5 sec. In addition, when one brake lamp (light-off type blinker) is blinking in a state where the brake is not applied, one brake lamp is lit for 0.5 sec and both brake lamps are repeatedly turned off for 0.5 sec. become.
そこで、消灯型ウィンカーチェック処理として、連続した８回の学習ロジック処理Ｓ３４０において、いずれかのタイミングで２回以上連続して（０．２ｓｅｃ以上連続して）１対のブレーキランプが両方点灯していると判定されたか否かを判定する処理を実行する。消灯型ウィンカーチェック処理の開始条件は、前回の撮像タイミングで、配置判定部１６８による判定処理（Ｓ３２６）の結果、発光源候補が他の発光源候補を対（ペア）を構成できると判定され、かつ、ブレーキランプ特定処理Ｓ３２８の結果、先行車両のブレーキランプが点灯していると、所定期間（例えば０．２ｓｅｃ）以上連続して特定されたことである。また、消灯型ウィンカーチェック処理の終了条件は、配置判定部１６８による判定処理（Ｓ３２６）の結果、発光源候補が他の発光源候補を対（ペア）を構成できないとする判定結果が所定期間（例えば０．８ｓｅｃ）以上連続して導出されたこと、もしくは、消灯型ウィンカーチェック処理の開始時に記憶した、対を構成する発光源候補が両方とも消灯したことである。
Therefore, as a turn-off type blinker check process, in 8 consecutive learning logic processes S340, both of a pair of brake lamps are turned on continuously (at least 0.2 sec) at any timing. A process of determining whether or not it has been determined is executed. The start condition of the turn-off type blinker check process is determined as a result of the determination process (S326) by the
なお、消灯型ウィンカーチェック処理において２回以上連続して点灯していると判定すると、ブレーキランプが点灯していると判定し、２回以上連続して点灯していないと判定するとブレーキランプが点灯していないと判定する。ウィンカーの点灯時間は、０．２５ｓｅｃ〜１ｓｅｃ未満（毎分６０回以上１２０回以下の点滅）であるため、（２−１）、（２−２）のいずれか一方の条件を満たすことで、消灯型ウィンカーにおいて、ブレーキランプとして機能しておらず、ウィンカーとして機能している場合を排除することができる。 If it is determined that the turn-on blinker check process is continuously lit twice or more, it is determined that the brake lamp is lit, and if it is determined that it is not lit continuously twice or more, the brake lamp is lit. Judge that it is not. Since the turn-on time of the blinker is 0.25 sec to less than 1 sec (blinking at 60 times or more and 120 times or less per minute), satisfying one of the conditions (2-1) and (2-2), In the turn-off type winker, the case where it does not function as a brake lamp and functions as a winker can be eliminated.
ペア点灯判定処理Ｓ３６０−３の結果、発光源候補が上記ペア条件を満たすと判定すると（Ｓ３６０−３におけるＹＥＳ）、ブレーキランプ特定部１７０は、両付フラグをＴにし、片付フラグをＦにする（Ｓ３６０−４）。そして、ブレーキランプ特定部１７０は、ランプ点灯フラグをＯＮして（Ｓ３６０−５）、当該ブレーキランプ判定処理Ｓ３６０を終了する。 As a result of the pair lighting determination processing S360-3, when it is determined that the light emission source candidate satisfies the above pair condition (YES in S360-3), the brake lamp specifying unit 170 sets the both-attached flag to T and sets the one-sided flag to F. (S360-4). And the brake lamp specific | specification part 170 turns ON a lamp lighting flag (S360-5), and complete | finishes the said brake lamp determination process S360.
一方、ペア点灯判定処理Ｓ３６０−３の結果、発光源候補が上記ペア条件を満たさないと判定すると（Ｓ３６０−３におけるＮＯ）、ブレーキランプ特定部１７０は、車両領域に対応付けられた、１または複数の発光源候補の数を取得し、発光源候補の数を候補数カウンタＣＮが取り得る最大値ｍａｘとして記憶する。そして、ブレーキランプ特定部１７０は、１または複数の発光源候補から、１の発光源候補を取得し、候補数カウンタＣＮに１をセットする（Ｓ３６０−６）。
On the other hand, as a result of the pair lighting determination process S360-3, when it is determined that the light emission source candidate does not satisfy the pair condition (NO in S360-3), the brake lamp specifying unit 170 is associated with the
そして、ブレーキランプ特定部１７０は、連続点灯カウンタＲＴのカウンタ値が４０以上であるか否かを判定する（Ｓ３６０−７）。上述したように、本実施形態において、１００ｍｓｅｃごとにブレーキランプ特定処理Ｓ３２８が実行される。ここで、上述した点灯仮判定処理Ｓ３５０において、発光源候補の点灯が判定されると連続点灯カウンタＲＴのカウンタ値が２加算されることから、連続点灯カウンタ値判定処理Ｓ３６０−７では、発光源候補が２ｓｅｃ（４０×１００ｍｓｅｃ／２、第２期間）以上点灯していると判定されたか否かを判定していることとなる。 And the brake lamp specific | specification part 170 determines whether the counter value of the continuous lighting counter RT is 40 or more (S360-7). As described above, in the present embodiment, the brake lamp specifying process S328 is executed every 100 msec. Here, in the above-described temporary lighting determination process S350, when it is determined that the light emission source candidate is turned on, the counter value of the continuous lighting counter RT is incremented by 2. Therefore, in the continuous lighting counter value determination process S360-7, the light emission source It is determined whether or not it is determined that the candidate is lit for 2 sec (40 × 100 msec / 2, second period) or longer.
連続点灯カウンタ値判定処理Ｓ３６０−７を実行することにより、太陽光の反射によって発光源候補と誤って特定された発光源候補や、消灯型ウィンカーが、ブレーキランプとして機能しておらず、ウィンカーとして機能している場合を排除し、片付ブレーキランプを精度よく特定することができる。 By executing the continuous lighting counter value determination process S360-7, a light source candidate that is mistakenly identified as a light source candidate by reflection of sunlight or a turn-off type blinker does not function as a brake lamp, The case where it is functioning can be eliminated, and the brake lamp with a tamper can be specified with high accuracy.
連続点灯カウンタ値判定処理Ｓ３６０−７の結果、連続点灯カウンタＲＴのカウンタ値が４０以上であると判定すると（Ｓ３６０−７におけるＹＥＳ）、ブレーキランプ特定部１７０は、発光源候補に対して仮点灯フラグをＯＮして（Ｓ３６０−８）、候補数カウンタ値判定処理（Ｓ３６０−９）に移る。一方、連続点灯カウンタＲＴのカウンタ値が４０未満であると判定すると（Ｓ３６０−７におけるＮＯ）、発光源候補に対して仮点灯フラグをＯＮにせず（ＯＦＦにして）、ブレーキランプ特定部１７０は、候補数カウンタ値判定処理（Ｓ３６０−９）に移る。 As a result of the continuous lighting counter value determination processing S360-7, when it is determined that the counter value of the continuous lighting counter RT is 40 or more (YES in S360-7), the brake lamp specifying unit 170 temporarily turns on the light emission source candidate. The flag is turned on (S360-8), and the process proceeds to candidate number counter value determination processing (S360-9). On the other hand, if it is determined that the counter value of the continuous lighting counter RT is less than 40 (NO in S360-7), the temporary lighting flag is not turned on (turned off) for the light source candidate, and the brake lamp specifying unit 170 Then, the process proceeds to candidate number counter value determination processing (S360-9).
続いて、ブレーキランプ特定部１７０は、先行車両の車両領域に対応付けられたすべての発光源候補についてＳ３６０−７、Ｓ３６０−８の処理を実行したか否か、すなわち、候補数カウンタＣＮが最大値ｍａｘ以上であるか否かを判定する（Ｓ３６０−９）。そして、最大値ｍａｘ以上でなければ（Ｓ３６０−９におけるＮＯ）、現在の値を１インクリメントして（Ｓ３６０−１０）、連続点灯カウンタ値判定処理Ｓ３６０−７からの処理を繰り返す。 Subsequently, the brake lamp specifying unit 170 determines whether or not the processes of S360-7 and S360-8 have been executed for all the light source candidates associated with the vehicle area of the preceding vehicle, that is, the candidate number counter CN is the maximum. It is determined whether or not the value is greater than or equal to max (S360-9). If it is not greater than the maximum value max (NO in S360-9), the current value is incremented by 1 (S360-10), and the processing from the continuous lighting counter value determination processing S360-7 is repeated.
一方、ブレーキランプ特定部１７０は、候補数カウンタＣＮが最大値ｍａｘ以上であると判定すると（Ｓ３６０−９におけるＹＥＳ）、仮点灯フラグがＯＮである発光源候補があるか否かを判定する（Ｓ３６０−１１）。仮点灯フラグがＯＮである発光源候補がある場合（Ｓ３６０−１１におけるＹＥＳ）、ブレーキランプ特定部１７０は、片付フラグをＴにし、両付フラグをＦにする（Ｓ３６０−１２）。そして、ブレーキランプ特定部１７０は、ランプ点灯フラグをＯＮし（Ｓ３６０−１３）、仮点灯フラグをＯＦＦして、当該ブレーキランプ判定処理Ｓ３６０を終了する。一方、仮点灯フラグがＯＮである発光源候補がない場合（Ｓ３６０−１１におけるＮＯ）、ブレーキランプ特定部１７０は、当該ブレーキランプ判定処理Ｓ３６０を終了する。 On the other hand, if the brake lamp specifying unit 170 determines that the candidate number counter CN is greater than or equal to the maximum value max (YES in S360-9), the brake lamp specifying unit 170 determines whether or not there is a light source candidate whose temporary lighting flag is ON ( S360-11). When there is a light source candidate whose temporary lighting flag is ON (YES in S360-11), the brake lamp specifying unit 170 sets the cleanup flag to T and sets the double-attached flag to F (S360-12). And the brake lamp specific | specification part 170 turns ON a lamp lighting flag (S360-13), turns OFF a temporary lighting flag, and complete | finishes the said brake lamp determination process S360. On the other hand, when there is no light source candidate whose temporary lighting flag is ON (NO in S360-11), the brake lamp specifying unit 170 ends the brake lamp determination process S360.
上記フラグ判定処理Ｓ３６０−２において、両付フラグおよび片付フラグのいずれか一方がＦではないと判定した場合（Ｓ３６０−２におけるＮＯ）、図１５に示すように、ブレーキランプ特定部１７０は、片付フラグがＴであるか否かを判定する（Ｓ３６０−２１）。そして、片付フラグがＴである場合（Ｓ３６０−２１におけるＹＥＳ）、ペア点灯判定処理Ｓ３６０−２３に処理を移し、片付フラグがＴでない場合（Ｓ３６０−２１におけるＮＯ）、図１６に示すペア点灯判定処理Ｓ３６０−２３に移る。 When it is determined in the flag determination process S360-2 that one of the both-attached flag and the one-sided flag is not F (NO in S360-2), as shown in FIG. It is determined whether or not the tidying flag is T (S360-21). If the tidying flag is T (YES in S360-21), the process proceeds to the pair lighting determination process S360-23. If the tidying flag is not T (NO in S360-21), the pair shown in FIG. The process proceeds to lighting determination process S360-23.
ペア点灯判定処理Ｓ３６０−２３は、ブレーキランプ特定部１７０が、上記（１）に示す条件を満たし、かつ、（２−１）の条件を満たすか否か判定する処理である（Ｓ３６０−２３）。そして、ブレーキランプ特定部１７０は、ペア点灯判定処理Ｓ３６０−２３の結果、上記（１）の条件を満たし、かつ、（２−１）の条件を満たした場合（Ｓ３６０−２３におけるＹＥＳ）、両付フラグＴ片付フラグＦ処理Ｓ３６０−４、ランプ点灯フラグＯＮ処理Ｓ３６０−５を実行して、当該ブレーキランプ判定処理Ｓ３６０を終了する。 The pair lighting determination process S360-23 is a process for determining whether or not the brake lamp specifying unit 170 satisfies the condition (1) and satisfies the condition (2-1) (S360-23). . Then, as a result of the pair lighting determination process S360-23, the brake lamp specifying unit 170 satisfies the above condition (1) and satisfies the condition (2-1) (YES in S360-23). The attached flag T one-sided flag F process S360-4 and the lamp lighting flag ON process S360-5 are executed, and the brake lamp determination process S360 is terminated.
一方、ペア点灯判定処理Ｓ３６０−２３の結果、上記（１）および（２−１）の条件を満たしていない場合（Ｓ３６０−２３におけるＮＯ）、ブレーキランプ特定部１７０は、候補数カウンタセット処理Ｓ３６０−６を実行した後、連続点灯カウンタ値判定処理Ｓ３６０−２５を実行する。 On the other hand, as a result of the pair lighting determination process S360-23, when the conditions (1) and (2-1) are not satisfied (NO in S360-23), the brake lamp specifying unit 170 performs the candidate number counter setting process S360. After executing −6, continuous lighting counter value determination processing S360-25 is executed.
ここで、連続点灯カウンタ値判定処理Ｓ３６０−２５は、連続点灯カウンタＲＴのカウンタ値が１６以上であるか否かを判定する処理である（Ｓ３６０−２５）。つまり、ブレーキランプ特定部１７０は、発光源候補が０．８ｓｅｃ（１６×１００ｍｓｅｃ／２、第３期間）以上点灯していると判定されたか否かを判定している。 Here, the continuous lighting counter value determination process S360-25 is a process of determining whether or not the counter value of the continuous lighting counter RT is 16 or more (S360-25). That is, the brake lamp specifying unit 170 determines whether or not the light source candidate is determined to be lit for 0.8 sec (16 × 100 msec / 2, the third period) or longer.
連続点灯カウンタ値判定処理Ｓ３６０−２５の結果、連続点灯カウンタＲＴのカウンタ値が１６以上であると判定すると（Ｓ３６０−２５におけるＹＥＳ）、ブレーキランプ特定部１７０は、発光源候補に対して仮点灯フラグをＯＮして（Ｓ３６０−８）、候補数カウンタ値判定処理（Ｓ３６０−９）に移る。一方、連続点灯カウンタＲＴのカウンタ値が１６未満であると判定すると（Ｓ３６０−２５におけるＮＯ）、発光源候補に対して仮点灯フラグをＯＮにせず（ＯＦＦにして）、ブレーキランプ特定部１７０は、候補数カウンタ値判定処理（Ｓ３６０−９）に移る。 As a result of the continuous lighting counter value determination process S360-25, when it is determined that the counter value of the continuous lighting counter RT is 16 or more (YES in S360-25), the brake lamp specifying unit 170 temporarily turns on the light emission source candidate. The flag is turned on (S360-8), and the process proceeds to candidate number counter value determination processing (S360-9). On the other hand, if it is determined that the counter value of the continuous lighting counter RT is less than 16 (NO in S360-25), the temporary lighting flag is not turned on (turned off) for the light source candidate, and the brake lamp specifying unit 170 Then, the process proceeds to candidate number counter value determination processing (S360-9).
このように、当該連続点灯カウンタ値判定処理Ｓ３６０−２５は、先行車両の車両領域に片付のブレーキランプがあると既に判定されているため（Ｓ３６０−２１におけるＹＥＳ）、上記連続点灯カウンタ値判定処理Ｓ３６０−７と比較して、仮点灯フラグをＯＮするための閾値（点灯とみなす時間、第３期間）を短く設定している。これにより、少なくとも一度、片付フラグがＴになった車両領域（片付のブレーキランプがあると判定した車両）を迅速に判定することができる。また、太陽光の反射が不安定な場合、当該連続点灯カウンタ値判定処理Ｓ３６０−２５を実行することにより、つまり、連続点灯時間を観測することで、太陽光の反射によって発光源候補と誤って特定された発光源候補を排除することができる。 As described above, since the continuous lighting counter value determination process S360-25 has already been determined that there is a brake lamp in the vehicle area of the preceding vehicle (YES in S360-21), the continuous lighting counter value determination is performed. Compared with process S360-7, the threshold value for turning on the temporary lighting flag (time to be regarded as lighting, third period) is set shorter. This makes it possible to quickly determine a vehicle region (a vehicle that has been determined to have a tampered brake lamp) at least once. In addition, when the reflection of sunlight is unstable, by executing the continuous lighting counter value determination process S360-25, that is, by observing the continuous lighting time, it is mistaken for a light source candidate due to the reflection of sunlight. The identified light emission source candidates can be excluded.
そして、ブレーキランプ特定部１７０は、候補数カウンタＣＮが最大値ｍａｘ以上であるか否かを判定し（Ｓ３６０−９）、最大値ｍａｘ以上でなければ（Ｓ３６０−９におけるＮＯ）、現在の値を１インクリメントして（Ｓ３６０−１０）、連続点灯カウンタ値判定処理Ｓ３６０−２５からの処理を繰り返す。 Then, the brake lamp specifying unit 170 determines whether or not the candidate number counter CN is greater than or equal to the maximum value max (S360-9). If not greater than the maximum value max (NO in S360-9), the current value Is incremented by 1 (S360-10), and the processing from the continuous lighting counter value determination processing S360-25 is repeated.
一方、ブレーキランプ特定部１７０は、候補数カウンタ値判定処理Ｓ３６０−９の結果、候補数カウンタＣＮが最大値ｍａｘ以上であると判定すると（Ｓ３６０−９におけるＹＥＳ）、仮点灯フラグがＯＮである発光源候補があるか否かを判定する（Ｓ３６０−１１）。仮点灯フラグがＯＮである発光源候補がある場合（Ｓ３６０−１１におけるＹＥＳ）、ブレーキランプ特定部１７０は、ランプ点灯フラグをＯＮにして（Ｓ３６０−１３）、当該ブレーキランプ判定処理Ｓ３６０を終了する。一方、仮点灯フラグがＯＮである発光源候補がない場合（Ｓ３６０−１１におけるＮＯ）、ブレーキランプ特定部１７０は、ランプ点灯フラグをＯＦＦにして（Ｓ３６０−２７）、当該ブレーキランプ判定処理Ｓ３６０を終了する。 On the other hand, when the brake lamp specifying unit 170 determines that the candidate number counter CN is equal to or greater than the maximum value max as a result of the candidate number counter value determination process S360-9 (YES in S360-9), the temporary lighting flag is ON. It is determined whether there is a light source candidate (S360-11). When there is a light source candidate whose temporary lighting flag is ON (YES in S360-11), the brake lamp specifying unit 170 sets the lamp lighting flag to ON (S360-13), and ends the brake lamp determination process S360. . On the other hand, when there is no light source candidate whose temporary lighting flag is ON (NO in S360-11), the brake lamp specifying unit 170 sets the lamp lighting flag to OFF (S360-27) and executes the brake lamp determination process S360. finish.
上記片付フラグ判定処理Ｓ３６０−２１において、片付フラグがＴでないと判定した場合、すなわち、両付フラグがＴである場合（Ｓ３６０−２１におけるＮＯ）、図１６に示すように、ブレーキランプ特定部１７０は、ペア点灯判定処理Ｓ３６０−２３を実行する。そして、ペア点灯判定処理Ｓ３６０−２３の結果、上記（１）および（２−１）の条件を満たした場合（Ｓ３６０−２３におけるＹＥＳ）、ブレーキランプ特定部１７０は、ランプ点灯フラグＯＮ処理Ｓ３６０−５を実行して、当該ブレーキランプ判定処理Ｓ３６０を終了する。 When it is determined in the above-mentioned parting flag determination process S360-21 that the parting flag is not T, that is, when the parting flag is T (NO in S360-21), as shown in FIG. Unit 170 executes pair lighting determination processing S360-23. Then, as a result of the pair lighting determination process S360-23, when the conditions (1) and (2-1) are satisfied (YES in S360-23), the brake lamp specifying unit 170 performs the lamp lighting flag ON process S360-. 5 is executed, and the brake lamp determination process S360 is terminated.
一方、ペア点灯判定処理Ｓ３６０−２３の結果、上記（１）の条件、または、（２−１）の条件を満たしていない場合（Ｓ３６０−２３におけるＮＯ）、ブレーキランプ特定部１７０は、候補数カウンタセット処理Ｓ３６０−６を遂行した後、連続点灯カウンタ値判定処理Ｓ３６０−３１を実行する。ここで、連続点灯カウンタ値判定処理Ｓ３６０−３１は、連続点灯カウンタＲＴのカウンタ値が１６以上であるか（発光源候補が０．８ｓｅｃ（１６×１００ｍｓｅｃ／２、第３期間、第４期間）以上点灯していると判定されたか否か）、または、下記（３）の条件を満たすかを判定する処理である。 On the other hand, as a result of the pair lighting determination process S360-23, when the condition (1) or (2-1) is not satisfied (NO in S360-23), the brake lamp specifying unit 170 determines the number of candidates. After performing the counter setting process S360-6, the continuous lighting counter value determination process S360-31 is performed. Here, in the continuous lighting counter value determination process S360-31, whether the counter value of the continuous lighting counter RT is 16 or more (the emission source candidate is 0.8 sec (16 × 100 msec / 2, the third period, the fourth period). This is a process for determining whether or not it is determined that the lamp is lit or not, or whether the following condition (3) is satisfied.
（３）の条件は、消灯型ウィンカーチェック処理が遂行中であることを示す消灯型ウィンカーチェック処理中であり、連続点灯カウンタＲＴのカウンタ値が４以上であり、さらに、配置判定部１６８による判定処理（Ｓ３２６）の結果、発光源候補が他の発光源候補を対（ペア）を構成できないと判定された期間が０．８ｓｅｃ以下であることである。
The condition (3) is the turn-off type blinker check process indicating that the turn-off type turn signal check process is being performed, the count value of the continuous turn-on counter RT is 4 or more, and the determination by the
連続点灯カウンタ値判定処理Ｓ３６０−３１を実行することにより、消灯型ウィンカーが、ブレーキランプとして機能しておらず、ウィンカーとして機能している場合を排除することができる。 By executing the continuous lighting counter value determination process S360-31, it is possible to eliminate the case where the turn-off type blinker does not function as a brake lamp but functions as a blinker.
連続点灯カウンタ値判定処理Ｓ３６０−３１の結果、連続点灯カウンタＲＴのカウンタ値が１６以上である、または、上記（３）の条件を満たすと判定すると（Ｓ３６０−３１におけるＹＥＳ）、ブレーキランプ特定部１７０は、発光源候補に対して仮点灯フラグをＯＮして（Ｓ３６０−８）、候補数カウンタ値判定処理（Ｓ３６０−９）に移る。一方、連続点灯カウンタＲＴのカウンタ値が１６未満であり、上記条件（３）を満たさないと判定すると（Ｓ３６０−３１におけるＮＯ）、発光源候補に対して仮点灯フラグをＯＮにせず（ＯＦＦにして）、ブレーキランプ特定部１７０は、候補数カウンタ値判定処理（Ｓ３６０−９）に移る。 As a result of the continuous lighting counter value determination processing S360-31, if it is determined that the counter value of the continuous lighting counter RT is 16 or more or the condition (3) is satisfied (YES in S360-31), the brake lamp specifying unit In step 170, the temporary lighting flag is turned ON for the light emission source candidate (S360-8), and the process proceeds to the candidate number counter value determination process (S360-9). On the other hand, if it is determined that the counter value of the continuous lighting counter RT is less than 16 and the above condition (3) is not satisfied (NO in S360-31), the temporary lighting flag is not turned on (turned off) for the light source candidate. The brake lamp identifying unit 170 proceeds to candidate number counter value determination processing (S360-9).
そして、ブレーキランプ特定部１７０は、候補数カウンタＣＮが最大値ｍａｘ以上であるか否かを判定し（Ｓ３６０−９）、最大値ｍａｘ以上でなければ（Ｓ３６０−９におけるＮＯ）、現在の値を１インクリメントして（Ｓ３６０−１０）、連続点灯カウンタ値判定処理Ｓ３６０−３１からの処理を繰り返す。 Then, the brake lamp specifying unit 170 determines whether or not the candidate number counter CN is greater than or equal to the maximum value max (S360-9). If not greater than the maximum value max (NO in S360-9), the current value Is incremented by 1 (S360-10), and the processing from the continuous lighting counter value determination processing S360-31 is repeated.
一方、ブレーキランプ特定部１７０は、候補数カウンタ値判定処理Ｓ３６０−９の結果、候補数カウンタＣＮが最大値ｍａｘ以上であると判定すると（Ｓ３６０−９におけるＹＥＳ）、仮点灯フラグがＯＮである発光源候補があるか否かを判定する（Ｓ３６０−１１）。仮点灯フラグがＯＮである発光源候補がある場合（Ｓ３６０−１１におけるＹＥＳ）、ブレーキランプ特定部１７０は、片付判定処理Ｓ３６０−３３に移る。一方、仮点灯フラグがＯＮである発光源候補がない場合（Ｓ３６０−１１におけるＮＯ）、ブレーキランプ特定部１７０は、ランプ点灯フラグをＯＦＦにして（Ｓ３６０−２７）、当該ブレーキランプ判定処理Ｓ３６０を終了する。 On the other hand, when the brake lamp specifying unit 170 determines that the candidate number counter CN is equal to or greater than the maximum value max as a result of the candidate number counter value determination process S360-9 (YES in S360-9), the temporary lighting flag is ON. It is determined whether there is a light source candidate (S360-11). If there is a light source candidate whose temporary lighting flag is ON (YES in S360-11), the brake lamp specifying unit 170 proceeds to a tidying determination process S360-33. On the other hand, when there is no light source candidate whose temporary lighting flag is ON (NO in S360-11), the brake lamp specifying unit 170 sets the lamp lighting flag to OFF (S360-27) and executes the brake lamp determination process S360. finish.
片付判定処理Ｓ３６０−３３は、下記（４）の条件を満たすかを判定する処理である。（４）の条件は、配置判定部１６８による判定処理（Ｓ３２６）の結果、発光源候補が他の発光源候補を対（ペア）を構成できないと判定された期間が０．８ｓｅｃ以上であることである。
The tidying determination process S360-33 is a process for determining whether the following condition (4) is satisfied. The condition (4) is that, as a result of the determination process (S326) by the
片付判定処理Ｓ３６０−３３の結果、上記（４）の条件を満たすと判定すると（Ｓ３６０−３３におけるＹＥＳ）、ブレーキランプ特定部１７０は、片付フラグをＴにし、両付フラグをＦにし（Ｓ３６０−１２）、ランプ点灯フラグをＯＮにして（Ｓ３６０−１３）、当該ブレーキランプ判定処理Ｓ３６０を終了する。一方、片付判定処理Ｓ３６０−３３の結果、上記（４）の条件を満たさないと判定すると（Ｓ３６０−３３におけるＮＯ）、ブレーキランプ特定部１７０は、両付フラグをＴのまま維持し、ランプ点灯フラグをＯＮにして（Ｓ３６０−１３）、当該ブレーキランプ判定処理Ｓ３６０を終了する。 If it is determined that the condition (4) is satisfied as a result of the tidying determination process S360-33 (YES in S360-33), the brake lamp specifying unit 170 sets the tidying flag to T and sets the tampering flag to F ( S360-12), the lamp lighting flag is turned ON (S360-13), and the brake lamp determination process S360 is terminated. On the other hand, if it is determined that the condition (4) is not satisfied as a result of the clearing determination process S360-33 (NO in S360-33), the brake lamp specifying unit 170 maintains the double-attached flag as T, and the lamp The lighting flag is turned ON (S360-13), and the brake lamp determination process S360 is terminated.
（ノイズ除外処理Ｓ３７０）
図１７は、ノイズ除外処理Ｓ３７０を示すフローチャートである。ブレーキランプ特定部１７０は、ランプ点灯フラグがＯＮであるか否かを判定する（Ｓ３７０−１）。ランプ点灯フラグがＯＮであると判定した場合（Ｓ３７０−１におけるＹＥＳ）、ブレーキランプ特定部１７０は、太陽光反射判定処理Ｓ３７０−２に移る。一方、ランプ点灯フラグがＯＮではないと判定した場合（Ｓ３７０−１におけるＮＯ）、ブレーキランプ特定部１７０は、当該ノイズ除外処理Ｓ３７０を終了する。
(Noise exclusion process S370)
FIG. 17 is a flowchart showing the noise exclusion process S370. The brake lamp specifying unit 170 determines whether or not the lamp lighting flag is ON (S370-1). When it determines with a lamp lighting flag being ON (it is YES in S370-1), the brake lamp specific | specification part 170 transfers to sunlight reflection determination process S370-2. On the other hand, when it determines with the lamp lighting flag not being ON (NO in S370-1), the brake lamp specific | specification part 170 complete | finishes the said noise removal process S370.
ブレーキランプ特定部１７０は、当該第２画像の直前に取得した第１画像において、先行車両の車両領域のうち、輝度が所定の閾値ＴＨｇ以上の画素の画素数が所定の閾値ＴＨｊ以上であるか否かを判定する（Ｓ３７０−２）。太陽光反射判定処理Ｓ３７０−２を実行することにより、太陽光の反射によってランプ点灯フラグがＯＮとされた場合を除外することができる。ここで、閾値ＴＨｇは、第１画像を撮像する際の露光時間、第１画像を撮像する際のシャッタのセンサのゲイン、第２画像を撮像する際の露光時間、第２画像を撮像する際のシャッタのセンサのゲイン、予め定められたＲ成分の値（例えば、１２０）に基づいて決定される。また、閾値Ｔｈｊは、実際に取得したデータに基づいて決定される。 In the first image acquired immediately before the second image, the brake lamp specifying unit 170 determines whether the number of pixels having a luminance equal to or higher than a predetermined threshold THg is equal to or higher than a predetermined threshold THj in the vehicle area of the preceding vehicle. It is determined whether or not (S370-2). By executing the sunlight reflection determination process S370-2, it is possible to exclude the case where the lamp lighting flag is turned ON by the reflection of sunlight. Here, the threshold THg is the exposure time when capturing the first image, the gain of the shutter sensor when capturing the first image, the exposure time when capturing the second image, and when capturing the second image. The shutter sensor gain is determined based on a predetermined R component value (for example, 120). The threshold value Thj is determined based on actually acquired data.
そして、ブレーキランプ特定部１７０は、輝度が閾値ＴＨｇ以上の画素数が閾値ＴＨｊ未満である場合（Ｓ３７０−２におけるＮＯ）、リアフォグ点灯判定処理Ｓ３７０−３に移る。一方、ブレーキランプ特定部１７０は、輝度が閾値ＴＨｇ以上の画素数が閾値ＴＨｊ以上である場合（Ｓ３７０−２におけるＹＥＳ）、ランプ点灯フラグＯＦＦ処理Ｓ３７０−５に移る。 Then, when the number of pixels whose luminance is greater than or equal to the threshold THg is less than the threshold THj (NO in S370-2), the brake lamp specifying unit 170 proceeds to the rear fog lighting determination process S370-3. On the other hand, when the number of pixels whose luminance is greater than or equal to the threshold THg is greater than or equal to the threshold THj (YES in S370-2), the brake lamp specifying unit 170 proceeds to the lamp lighting flag OFF process S370-5.
ブレーキランプ特定部１７０は、リアフォグランプが点灯しているか否かを判定する（Ｓ３７０−３）。具体的にブレーキランプ特定部１７０は、先行車両が動いており、先行車両が減速しておらず、かつ、発光源候補が所定時間Ｔａ以上点灯している場合、リアフォグランプが点灯していると判定する。なお、先行車両の挙動の判定については、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。また、所定時間Ｔａは、実際に取得したデータに基づき、減速度が出ないままブレーキランプが点灯している時間より長めに取る（例えば、４５ｓｅｃ）とよい。なお、所定時間Ｔａは、先行車両の速度や減速度のばらつき、路面の摩擦係数μ等の走行環境によって変化させてもよい。 The brake lamp specifying unit 170 determines whether or not the rear fog lamp is lit (S370-3). Specifically, the brake lamp specifying unit 170 indicates that the rear fog lamp is lit when the preceding vehicle is moving, the preceding vehicle is not decelerating, and the light source candidate is lit for a predetermined time Ta or more. judge. In addition, since the existing technology can be referred for the determination of the behavior of the preceding vehicle, detailed description thereof is omitted here. The predetermined time Ta is preferably set longer than the time during which the brake lamp is lit without deceleration (for example, 45 seconds) based on actually acquired data. The predetermined time Ta may be changed depending on the traveling environment such as variations in the speed and deceleration of the preceding vehicle and the friction coefficient μ of the road surface.
そして、ブレーキランプ特定部１７０は、リアフォグランプが点灯していないと判定した場合（Ｓ３７０−３におけるＮＯ）、ブレーキランプ特定処理Ｓ３７０−４に移る。一方、ブレーキランプ特定部１７０は、リアフォグランプが点灯していると判定した場合（Ｓ３７０−３におけるＹＥＳ）、ランプ点灯フラグＯＦＦ処理Ｓ３７０−５に移る。 If the brake lamp specifying unit 170 determines that the rear fog lamp is not lit (NO in S370-3), the process proceeds to the brake lamp specifying process S370-4. On the other hand, if the brake lamp specifying unit 170 determines that the rear fog lamp is lit (YES in S370-3), the process proceeds to a lamp lighting flag OFF process S370-5.
そして、ブレーキランプ特定部１７０は、リアフォグランプが点灯していないと判定した場合（Ｓ３７０−３におけるＮＯ）、ランプ点灯フラグがＯＮとなっている発光源候補が存在すれば、先行車両のブレーキランプが点灯していると特定し（Ｓ３７０−４）、次回の処理のためにランプ点灯フラグをＯＦＦにして（Ｓ３７０−５）、当該ノイズ除外処理Ｓ３７０を終了する。 If the brake lamp specifying unit 170 determines that the rear fog lamp is not lit (NO in S370-3), and there is a light source candidate whose lamp lighting flag is ON, the brake lamp of the preceding vehicle is present. Is turned on (S370-4), the lamp lighting flag is turned off for the next processing (S370-5), and the noise removal processing S370 is terminated.
このように、ノイズ除外処理Ｓ３７０を実行することにより、太陽光の反射によって発光源候補として特定されてしまった発光源候補や、リアフォグランプ由来の発光源候補を除外することができる。 In this way, by executing the noise exclusion process S370, it is possible to exclude light source candidates that have been specified as light source candidates by reflection of sunlight and light source candidates derived from rear fog lamps.
なお、車両特定部１６４ａによる先行車両（車両領域）の特定がなされない期間が所定時間以上経過すると、ブレーキランプ特定部１７０は、両付フラグおよび片付フラグをＦにする。
Note that when a period in which the preceding vehicle (vehicle area) is not specified by the
こうして、車外環境認識装置１２０では、１対の発光源で構成されるブレーキランプのうち、一方の発光源が消灯していたり、先行車両の姿勢等によって一方の発光源が画像に映り込まなかったりする場合であってもブレーキランプの点灯を検出することが可能となる。また、学習ロジック処理Ｓ３４０でブレーキランプであると判定されないような大きさの発光源候補や、学習ロジック処理Ｓ３４０でブレーキランプであると判定されないような複雑な形状のブレーキランプであっても、ブレーキランプの点灯を検出することが可能となる。
Thus, in the outside
また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
Also provided are a program that causes a computer to function as the vehicle exterior
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.
例えば、上述した実施形態において、ブレーキランプ特定部１７０は、撮像装置１１０が生成したカラー画像に基づいてブレーキランプの点灯有無を判定しているが、モノクロ画像に基づいてブレーキランプの点灯有無を判定するとしてもよい。
For example, in the embodiment described above, the brake lamp specifying unit 170 determines whether or not the brake lamp is lit based on the color image generated by the
また、上記実施形態において、第１期間、第３期間、第４期間を実質的に等しい時間としているが、第１期間、第３期間、第４期間のうち、いずれか１または複数を異なる時間としてもよい。 Moreover, in the said embodiment, although the 1st period, the 3rd period, and the 4th period are made into substantially equal time, any one or several among 1st period, 3rd period, and 4th period are different time. It is good.
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。 It should be noted that each step of the vehicle environment recognition processing in the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include processing in parallel or by a subroutine.
本発明は、先行車両のブレーキの操作状態を特定する車外環境認識装置に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for an outside environment recognition device that specifies the operation state of a brake of a preceding vehicle.
１２０ 車外環境認識装置
１６０ 画像取得部
１６４ａ 車両特定部
１６４ｂ 発光源候補特定部
１７０ ブレーキランプ特定部
120 Outside
Claims (5)
前記画像において、車両領域を特定する車両特定部と、
特定された前記車両領域における、１または複数の発光源の候補を発光源候補として特定する発光源候補特定部と、
特定された前記発光源候補のうち、予め定められた第１期間点灯している発光源候補が、他の発光源候補と予め定められたペア条件を満たすか否かを判定し、該ペア条件を満たすと判定した該発光源候補、および、該ペア条件を満たさないと判定した該発光源候補であって、該第１期間より長い第２期間点灯している発光源候補を、ブレーキランプと特定するブレーキランプ特定部と、
を備えたことを特徴とする車外環境認識装置。 An image acquisition unit for acquiring images;
In the image, a vehicle specifying unit that specifies a vehicle region;
A light source candidate identification unit that identifies one or a plurality of light source candidates in the identified vehicle region as light source candidates;
Among the identified light source candidates, it is determined whether or not a light source candidate that has been lit for a predetermined first period satisfies a predetermined pair condition with another light source candidate, and the pair condition A light source candidate that has been determined to satisfy the condition, and a light source candidate that has been determined not to satisfy the pair condition and that has been lit for a second period longer than the first period, Brake lamp identification part to identify,
An outside environment recognition device comprising:
前記発光源候補特定部は、所定のカラー範囲内のカラー値を有する画素であって、所定の距離範囲内の画素同士をグループ化した領域を発光源候補とし、
前記ブレーキランプ特定部は、前記発光源候補の領域において、Ｒ成分、Ｇ成分、および、Ｂ成分のうち、いずれかの成分のカラー値が、該カラー値の取り得る最大値となっている画素が所定数以上ある場合、該発光源候補をブレーキランプの候補から除外することを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。 The image acquired by the image acquisition unit is a color image,
The light emission source candidate specifying unit is a pixel having a color value within a predetermined color range, and a region obtained by grouping pixels within a predetermined distance range is set as a light emission source candidate.
The brake lamp specifying unit is a pixel in which a color value of any one of an R component, a G component, and a B component is a maximum value that the color value can take in the region of the light source candidate 4. The external environment recognition device according to claim 1, wherein when the number of the light source is greater than or equal to a predetermined number, the light emission source candidate is excluded from the brake lamp candidates.
前記ブレーキランプ特定部は、前記車両領域における、Ｒ成分のカラー値が所定の閾値以上である画素数に基づいて、前記発光源候補が太陽光の反射により該発光源候補として特定されたか否かを判定し、太陽光の反射により発光源候補として特定されたと判定した場合、該発光源候補をブレーキランプの候補から除外することを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。 The image acquired by the image acquisition unit is a color image,
The brake lamp specifying unit determines whether the light source candidate is specified as the light source candidate by reflection of sunlight based on the number of pixels in the vehicle area where the color value of the R component is equal to or greater than a predetermined threshold value. The light emission source candidate is excluded from the brake lamp candidates when it is determined that the light emission source candidate is identified by the reflection of sunlight. Outside environment recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014125930A JP6335037B2 (en) | 2014-06-19 | 2014-06-19 | Outside environment recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014125930A JP6335037B2 (en) | 2014-06-19 | 2014-06-19 | Outside environment recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016004503A JP2016004503A (en) | 2016-01-12 |
| JP6335037B2 true JP6335037B2 (en) | 2018-05-30 |
Family
ID=55223709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014125930A Active JP6335037B2 (en) | 2014-06-19 | 2014-06-19 | Outside environment recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6335037B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6642886B2 (en) * | 2016-03-24 | 2020-02-12 | 株式会社Ｓｕｂａｒｕ | Vehicle driving support device |
| CN112307833A (en) * | 2019-07-31 | 2021-02-02 | 浙江商汤科技开发有限公司 | Method, device and equipment for identifying driving state of intelligent driving equipment |
| JP7356319B2 (en) | 2019-10-17 | 2023-10-04 | 株式会社Subaru | Vehicle exterior environment recognition device |
| KR20210133330A (en) * | 2020-04-28 | 2021-11-08 | 주식회사 만도 | driver assistance system and driver assistance method |
| CN114374785A (en) * | 2022-01-12 | 2022-04-19 | 深圳盈达信息科技有限公司 | Optical information acquisition device and optical information acquisition method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004341801A (en) * | 2003-05-15 | 2004-12-02 | Nissan Motor Co Ltd | Chased vehicle lamp detection system and chased vehicle lamp detection method |
| JP4914234B2 (en) * | 2007-01-31 | 2012-04-11 | 富士重工業株式会社 | Leading vehicle detection device |
| JP2011057072A (en) * | 2009-09-09 | 2011-03-24 | Mitsubishi Fuso Truck & Bus Corp | Automatic braking device |
| JP5499011B2 (en) * | 2011-11-17 | 2014-05-21 | 富士重工業株式会社 | Outside environment recognition device and outside environment recognition method |
| JP5798011B2 (en) * | 2011-11-18 | 2015-10-21 | 富士重工業株式会社 | Outside environment recognition device |
-
2014
- 2014-06-19 JP JP2014125930A patent/JP6335037B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016004503A (en) | 2016-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6132412B2 (en) | Outside environment recognition device | |
| JP6236039B2 (en) | Outside environment recognition device | |
| JP6034923B1 (en) | Outside environment recognition device | |
| JP6420650B2 (en) | Outside environment recognition device | |
| JP5499011B2 (en) | Outside environment recognition device and outside environment recognition method | |
| JP5680573B2 (en) | Vehicle driving environment recognition device | |
| EP3588939B1 (en) | Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter | |
| CN102881186B (en) | Environment recognizing device for a vehicle and vehicle control system using the same | |
| JP6335037B2 (en) | Outside environment recognition device | |
| JP5906224B2 (en) | Outside environment recognition device | |
| JP5886809B2 (en) | Outside environment recognition device | |
| JP2012221303A (en) | In-vehicle lighting device for driving support and in-vehicle driving support device and driving support system | |
| JP6259335B2 (en) | Outside environment recognition device | |
| JP6329417B2 (en) | Outside environment recognition device | |
| JP6240475B2 (en) | Outside environment recognition device | |
| JP6335065B2 (en) | Outside environment recognition device | |
| JP6654870B2 (en) | Outside environment recognition device | |
| JP2023546062A (en) | Image processing method | |
| JP6378547B2 (en) | Outside environment recognition device | |
| JP6853890B2 (en) | Object detection system | |
| JP7176208B2 (en) | System and imager | |
| JP2017068768A (en) | Vehicle detection alarm device and vehicle detection alarm method | |
| JP2015156120A (en) | pedestrian recognition device | |
| JP4882592B2 (en) | Light extraction apparatus, light extraction method, and distance measurement system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6335037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |