JP2012098967A - Traffic light detector, traffic light detection method and program - Google Patents
Traffic light detector, traffic light detection method and program Download PDFInfo
- Publication number
- JP2012098967A JP2012098967A JP2010246913A JP2010246913A JP2012098967A JP 2012098967 A JP2012098967 A JP 2012098967A JP 2010246913 A JP2010246913 A JP 2010246913A JP 2010246913 A JP2010246913 A JP 2010246913A JP 2012098967 A JP2012098967 A JP 2012098967A
- Authority
- JP
- Japan
- Prior art keywords
- signal lamp
- image
- traffic light
- detection
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、信号機検出装置、信号機検出方法及びプログラムに関し、更に詳しくは、車両の前方に存在する信号機の状態を検出する信号機検出装置、車両の前方に存在する信号機の状態を検出するための信号機検出方法及びプログラムに関する。 The present invention relates to a traffic signal detection device, a traffic signal detection method, and a program, and more particularly, a traffic signal detection device that detects the status of a traffic signal that exists in front of a vehicle, and a traffic signal that detects the status of a traffic signal that exists in front of the vehicle. The present invention relates to a detection method and a program.
近年、車内に設置されたカメラから出力される画像に基づいて、自車の前方に存在する障害物等を検出する運転支援システムが種々提案されている(例えば特許文献1及び2参照)。 2. Description of the Related Art In recent years, various driving assistance systems that detect obstacles and the like existing in front of the host vehicle based on an image output from a camera installed in the vehicle have been proposed (see, for example, Patent Documents 1 and 2).
特許文献1に記載された装置は、交差点などの道路の分岐点をGPS(Global Positioning System)を用いて特定し、特定した位置を撮影する。次に、撮影によって得られた画像を構成する赤、青、又は黄の画素が集合する領域を抽出する。そして、当該領域のエッジが円形である場合に、上記画素が集合する領域が信号機の信号灯が写る領域であると判断する。 The apparatus described in Patent Document 1 identifies a branch point of a road such as an intersection using GPS (Global Positioning System), and images the identified position. Next, a region where red, blue, or yellow pixels constituting an image obtained by photographing is collected is extracted. And when the edge of the said area | region is circular, it determines that the area | region where the said pixel gathers is an area | region where the signal lamp of a traffic light is reflected.
また、特許文献2に記載された装置は、まず、車両の前方を撮影した画像から、輝度が比較的高い高輝度画素を、画像に写る発光体を構成する画素として抽出する。次に、抽出した高輝度画素の周囲から、この高輝度画素に比較して輝度がやや低い画素を抽出する。そして、抽出した画素が集合する領域の形状や大きさから、抽出した画素が信号機の信号灯を構成する否かを判断する。 Moreover, the apparatus described in Patent Document 2 first extracts a high-luminance pixel having a relatively high luminance from the image obtained by photographing the front of the vehicle as a pixel constituting a light-emitting body that appears in the image. Next, a pixel having a slightly lower luminance than the high luminance pixel is extracted from the periphery of the extracted high luminance pixel. And it is judged from the shape and size of the area | region where the extracted pixel gathers whether the extracted pixel comprises the signal lamp of a traffic light.
特許文献1に記載された装置は、画素が集合する領域の円形度が、所定の閾値以上の場合に、当該領域が信号灯が写りこむ領域であり、前方に信号機が存在すると判断する。このため、信号機の近傍に信号灯に類似するパターンが描画された看板等が存在する場合には、信号機の誤検出が発生することが予想される。また、誤検出を回避する対策として、閾値を大きくすることが考えられる。しかし、この場合には、信号機の未検出が発生する頻度が高くなる。 When the circularity of an area where pixels are gathered is equal to or greater than a predetermined threshold, the apparatus described in Patent Document 1 determines that the area is an area where a signal lamp is reflected and a traffic light is present ahead. For this reason, when there is a signboard or the like on which a pattern similar to a signal lamp is drawn in the vicinity of the traffic light, it is expected that a false detection of the traffic light will occur. As a measure for avoiding erroneous detection, it is conceivable to increase the threshold value. However, in this case, the frequency of occurrence of undetected traffic lights increases.
特許文献2に記載された装置も同様に、画素を抽出する際の閾値の大きさにより、信号機の誤検出及び未検出が発生することが予想される。 Similarly, in the apparatus described in Patent Document 2, it is expected that false detection and non-detection of traffic lights will occur depending on the size of the threshold when extracting pixels.
本発明は、上述の事情の下になされたもので、前方に存在する信号機を精度よく検出し、検出した信号機の状態を正確に判定することを目的とする。 The present invention has been made under the above-described circumstances, and an object thereof is to accurately detect a traffic signal existing ahead and accurately determine the state of the detected traffic signal.
上記目的を達成するために、本発明の第1の観点に係る信号機検出装置は、
車両の前方を撮影することにより得られる画像から、前記画像を構成する画素の色情報に基づいて、信号機の点灯状態にある第1信号灯の候補画像を検出する検出手段と、
前記第1信号灯の検出情報に基づいて、前記画像に、前記第1信号灯の候補画像から、前記第1信号灯と前記第1信号灯とは異なる前記信号機の第2信号灯との間隔に応じた距離隔てた位置に、検出領域を設定する設定手段と、
前記検出領域の画像が、前記信号機の消灯状態にある前記第2信号灯の画像であるか否かを検証する検証手段と、
前記検出領域の画像が、消灯状態の前記第2信号灯の画像である場合に、前記第1信号灯の候補画像が、前記第1信号灯の画像であると判断する判断手段と、
を備える。
In order to achieve the above object, a traffic light detection apparatus according to the first aspect of the present invention provides:
Detecting means for detecting a candidate image of a first signal lamp in a lighting state of a traffic light based on color information of pixels constituting the image from an image obtained by photographing the front of the vehicle;
Based on the detection information of the first signal lamp, the image is separated from the candidate image of the first signal lamp by a distance corresponding to the interval between the first signal lamp and the second signal lamp of the traffic light different from the first signal lamp. Setting means for setting the detection region at the position,
Verification means for verifying whether the image of the detection area is an image of the second signal lamp in an extinguished state of the traffic light;
Determining means for determining that the candidate image of the first signal lamp is the image of the first signal lamp when the image of the detection area is an image of the second signal lamp in an extinguished state;
Is provided.
前記検証手段は、前記検出領域を構成する画素から閾値以上の輝度の画素を抽出し、抽出された前記画素が集合する集合領域の面積が閾値以下の場合に、前記検出領域の画像が、消灯状態にある前記第2信号灯の画像であると判断することとしてもよい。 The verification means extracts a pixel having a luminance equal to or higher than a threshold value from pixels constituting the detection area, and the image of the detection area is turned off when an area of a collection area where the extracted pixels are gathered is equal to or lower than the threshold value. It is good also as judging that it is an image of the 2nd signal lamp in a state.
前記第2信号灯は、前記第1信号灯の点灯後に点灯が予定されている消灯状態の前記信号灯であることとしてもよい。 The second signal lamp may be the signal lamp in an extinguished state in which lighting is scheduled after the first signal lamp is turned on.
前記検出手段は、前記画像から所定の色相の画素を抽出し、抽出された前記画素が集合する集合領域の形状に基づいて、前記第1信号灯の候補画像を検出することとしてもよい。 The detection means may extract a pixel of a predetermined hue from the image and detect a candidate image of the first signal lamp based on a shape of a collection area where the extracted pixels are gathered.
前記検出手段は、前記集合領域の輪郭の円形度が閾値以上の場合に、前記集合領域を前記第1信号灯の候補画像として検出することとしてもよい。 The detection unit may detect the collective region as a candidate image of the first signal lamp when the circularity of the outline of the collective region is equal to or greater than a threshold value.
抽出された前記画素の色相が赤であるときの前記閾値は、抽出した前記画素の色相が赤と異なる色であるときの閾値よりも小さいこととしてもよい。 The threshold value when the hue of the extracted pixel is red may be smaller than the threshold value when the hue of the extracted pixel is a color different from red.
前記設定手段は、前記第1信号灯が赤色信号灯である場合に、前記第1信号灯の候補画像の左側及び下側のうちの少なくとも一側に、前記第1信号灯の候補画像から、前記信号機の赤色信号灯と青色信号灯との間隔に応じた距離隔てた位置に、前記検出領域を設定することとしてもよい。 When the first signal lamp is a red signal lamp, the setting means is configured such that at least one of the left side and the lower side of the first signal lamp candidate image has a red color of the traffic light from the first signal lamp candidate image. The detection area may be set at a position separated by a distance corresponding to the distance between the signal lamp and the blue signal lamp.
前記検出手段は、前記車両が停止しているときに、前記第1信号灯の候補画像を検出するための処理を実行することとしてもよい。 The detection means may execute a process for detecting a candidate image of the first signal lamp when the vehicle is stopped.
前記信号機検出装置は、
前記第1信号灯の候補画像が、前記第1信号灯の画像であると判断されている場合に、前記検出領域の画像が、前記信号機の点灯状態にある前記第2信号灯の画像であるか否かを検証する第2の検証手段と、
前記検出領域の画像が、点灯状態の前記第2信号灯の画像であると判断した場合に、警報を発令する警報手段と、
を備えることとしてもよい。
The signal detector is
Whether or not the image of the detection area is the image of the second signal lamp in the lighting state of the traffic light when it is determined that the candidate image of the first signal lamp is the image of the first signal lamp A second verification means for verifying
An alarm means for issuing an alarm when it is determined that the image of the detection area is an image of the second signal lamp in a lighting state;
It is good also as providing.
前記設定手段は、前記第1信号灯が青色信号灯である場合に、前記第1信号灯の候補画像の右側及び上側のうちの少なくとも一側に、前記第1信号灯の候補画像から、前記信号機の赤色信号灯と青色信号灯との間隔に応じた距離隔てた位置に、前記検出領域を設定することとしてもよい。 When the first signal lamp is a blue signal lamp, the setting means includes a red signal lamp of the traffic light from the candidate image of the first signal lamp on at least one of the right side and the upper side of the candidate image of the first signal lamp. The detection area may be set at a position separated by a distance corresponding to the distance between the blue signal lamp and the blue signal lamp.
本発明の第2の観点に係る信号機検出方法は、
車両の前方を撮影することにより得られる画像から、前記画像を構成する画素の色情報に基づいて、信号機の点灯状態にある第1信号灯の候補画像を検出する工程と、
前記第1信号灯の検出情報に基づいて、前記画像に、前記第1信号灯の候補画像から、前記第1信号灯と前記第1信号灯とは異なる前記信号機の第2信号灯との間隔に応じた距離隔てた位置に、検出領域を設定する工程と、
前記検出領域の画像が、前記信号機の消灯状態にある前記第2信号灯の画像であるか否かを検証する工程と、
前記検出領域の画像が、消灯状態の前記第2信号灯の画像である場合に、前記第1信号灯の候補画像が、前記第1信号灯の画像であると判断する工程と、
を含む。
A traffic light detection method according to a second aspect of the present invention is:
Detecting a candidate image of a first signal lamp in a lighting state of a traffic light from an image obtained by photographing the front of the vehicle based on color information of pixels constituting the image;
Based on the detection information of the first signal lamp, the image is separated from the candidate image of the first signal lamp by a distance corresponding to the interval between the first signal lamp and the second signal lamp of the traffic light different from the first signal lamp. A step of setting a detection region at the position,
Verifying whether the image of the detection area is an image of the second signal lamp in an extinguished state of the traffic light;
Determining that the candidate image of the first signal lamp is the image of the first signal lamp when the image of the detection area is an image of the second signal lamp in an extinguished state;
including.
本発明の第3の観点に係るプログラムは、
コンピュータに、
車両の前方を撮影することにより得られる画像から、前記画像を構成する画素の色情報に基づいて、信号機の点灯状態にある第1信号灯の候補画像を検出する手順と、
前記第1信号灯の検出情報に基づいて、前記画像に、前記第1信号灯の候補画像から、前記第1信号灯と前記第1信号灯とは異なる前記信号機の第2信号灯との間隔に応じた距離隔てた位置に、検出領域を設定する手順と、
前記検出領域の画像が、前記信号機の消灯状態にある前記第2信号灯の画像であるか否かを検証する手順と、
前記検出領域の画像が、消灯状態の前記第2信号灯の画像である場合に、前記第1信号灯の候補画像が、前記第1信号灯の画像であると判断する手順と、
を実行させる。
The program according to the third aspect of the present invention is:
On the computer,
A procedure for detecting a candidate image of a first signal lamp in a lighting state of a traffic light based on color information of pixels constituting the image from an image obtained by photographing the front of the vehicle;
Based on the detection information of the first signal lamp, the image is separated from the candidate image of the first signal lamp by a distance corresponding to the interval between the first signal lamp and the second signal lamp of the traffic light different from the first signal lamp. Set the detection area at the
A procedure for verifying whether the image of the detection area is an image of the second signal lamp in an off state of the traffic light;
When the image of the detection area is an image of the second signal lamp in an extinguished state, a procedure for determining that the candidate image of the first signal lamp is an image of the first signal lamp;
Is executed.
本発明によれば、信号機の第1信号灯の候補画像が検出された後に、当該第1信号灯(例えば赤色信号灯)の候補画像の位置から予測される領域で、信号機の第2信号灯(例えば青色信号灯)の画像を検出するための処理が実行される。そして、第2信号灯の検出結果に基づいて、候補画像が第1信号灯の画像であるか否かが判断される。この判断結果を用いることで、車両の前方に存在する信号機を精度よく検出し、検出した信号機の状態を正確に判定することが可能となる。 According to the present invention, after the candidate image of the first signal lamp of the traffic signal is detected, the second signal lamp of the traffic signal (for example, the blue signal lamp) is predicted in the region predicted from the position of the candidate image of the first signal lamp (for example, the red signal lamp). ) Is detected. Then, based on the detection result of the second signal lamp, it is determined whether or not the candidate image is an image of the first signal lamp. By using this determination result, it is possible to accurately detect a traffic light existing in front of the vehicle and accurately determine the state of the detected traffic light.
以下、本発明の一実施形態を、図面を参照しつつ説明する。図1は本実施形態に係る信号機検出装置10の概略的な構成を示すブロック図である。信号機検出装置10は、自車の進行方向に存在する信号機の状態を検出する装置である。この信号機検出装置10は、図1に示されるように、演算装置20、撮影装置31、及び速度計測装置32を有している。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a traffic
撮影装置31は、被写体を撮影することにより取得した画像を、電気信号に変換して出力する装置である。撮影装置31は、例えば図2に示されるように、車両100のフロントウインド上部に取り付けられている。この撮影装置31は、車両100の前方を撮影する。そして、撮影により取得した画像に関する情報を演算装置20へ出力する。
The photographing
図3は、撮影装置31によって撮影された画像PHの一例を示す図である。図3を参照するとわかるように、画像PHには、車両100が走行する道路や、この道路の上方に位置する信号機70等が写っている。画像PHを参照するとわかるように、撮影装置31は、その視野内に、車両100が走行する道路や信号機等が位置するように、視野角や倍率などが調整されている。そして、撮影装置31は、車両100の進行方向を順次撮影し、撮影によって得られた画像に関する情報を出力する。
FIG. 3 is a diagram illustrating an example of an image PH photographed by the photographing
図1に戻り、速度計測装置32は、車両100の速度を計測する装置である。この速度計測装置32は、例えばエンジンのアウトプットシャフトの回転数を計測する。そして、計測した回転数に応じた速度信号を、演算装置20へ出力する。
Returning to FIG. 1, the
演算装置20は、CPU(Central Processing Unit)21、主記憶部22、補助記憶部23、表示部24、入力部25、及びインターフェイス部26を有するコンピュータである。
The
CPU21は、補助記憶部23に記憶されているプログラムに従って、車両100の前方に存在する信号機70の状態を検出する。CPU21の具体的な動作については後述する。
The
主記憶部22は、RAM(Random Access Memory)等を有している。主記憶部22は、CPU21の作業領域として用いられる。
The
補助記憶部23は、ROM(Read Only Memory)、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部23は、CPU21が実行するプログラム、及び各種パラメータなどを記憶している。また、撮影装置31から出力される画像に関する情報、及びCPU21による処理結果などを含む情報を順次記憶する。
The
表示部24は、LCD(Liquid Crystal Display)などの表示ユニットを有している。表示部24は、CPU21の処理結果等を表示する。
The
入力部25は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部25を介して入力され、システムバス27を経由してCPU21に通知される。
The
インターフェイス部26は、シリアルインターフェイスまたはLAN(Local Area Network)インターフェイス等を含んで構成されている。撮影装置31及び速度計測装置32は、インターフェイス部26を介してシステムバス27に接続される。
The
図4のフローチャートは、CPU21によって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図4を参照しつつ、信号機検出装置10の動作について説明する。また、ここでは図3を参照するとわかるように、撮影装置31の視野内に位置する信号機70を検出する場合について説明する。
The flowchart of FIG. 4 corresponds to a series of processing algorithms of a program executed by the
まず、最初のステップS101では、CPU21は、撮影装置31から順次出力され、補助記憶部23に順次記憶される画像情報から、最新の画像PHに関する情報(画像情報)を取得する。ここでは説明の便宜上、図3に示される画像PHに関する画像情報が取得されたものとする。
First, in the first step S101, the
次のステップS102では、CPU21は、車両100が停止しているか否かを判断する。CPU21は、速度計測装置32から出力される信号に基づいて、車両100の速度をモニタし、車両100の速度が閾値以下である場合には、車両100が停止していると判断する(ステップS102:Yes)。一方、CPU21は、車両100の速度が閾値より大きい場合には、車両100が走行していると判断する(ステップS102:No)。ステップS102での判断が否定された場合には(ステップS102:No)、CPU21は、ステップS103へ移行する。
In the next step S102, the
ステップS103では、CPU21は、画像PHから信号機70の信号灯を検出するための閾値V1を設定する。この閾値V1は、後述するステップS107で円形度の評価を行うときに用いられるものである。
In step S103, the
次のステップS104では、CPU21は、画像PHに検出処理領域PAを設定する。図5を参照するとわかるように、この検出処理領域PAは、例えば路面から3mの高さの位置を示す3本の直線L1,L2,L3によって規定される画像PH上部の領域である。ただし、直線L3は、信号機70を検出する領域が限定される場合に規定される。
In the next step S104, the
この検出処理領域PAは、撮影装置31を構成する光学系の焦点距離、画角などに基づいて決定することができる。信号機70は、通常地上から5mの位置に設置される。このため、信号機70の検出処理を、この検出処理領域PAのみについて行うことで、信号機70の検出精度を確保しつつ、短時間に検出処理を完了させることができる。
The detection processing area PA can be determined based on the focal length, the angle of view, and the like of the optical system that constitutes the photographing
次のステップS105では、CPU21は、画像PHから赤色画素を抽出する。赤の色相は0度近傍と360度近傍である。そこで、CPU21は、まず画像PHから色相が0度近傍と360度近傍の画素を抽出することで、画像PHから色相が赤の画素を抽出する。次に、抽出した画素から、輝度が所定の値以上の画素を抽出する。これにより、画像PHから、輝度が比較的高い赤色画素が抽出される。
In the next step S105, the
次のステップS106では、CPU21は、抽出した画素のラベリングを行う。これにより、隣接する画素同士に共通の属性が割り当てられ、これら集合した画素を1つの集合として取り扱うことが可能となる。例えば画像PHに、信号機の他に、ネオンサインや自動車のテールランプなど、信号機70の信号灯以外の赤色発光体が写りこんでいる場合には、ステップS106の処理が実行されることで、赤色信号灯を構成する画素の集合と、赤色発光体を構成する画素の集合とが規定される。
In the next step S106, the
次のステップS107では、CPU21は、ステップS106で規定された画素の集合からなる部分画像を、点灯する赤色信号灯の候補画像として抽出する。具体的には、CPU21は、画素の集合からなる部分画像の輪郭の円形度を示すスコアを、例えばHough変換や、RANSACなどのアルゴリズムを用いて、部分画像ごとに算出する。そして、スコアが最も高く、かつスコアがステップS103で設定された閾値V1以上となる部分画像を特定し、この部分画像を候補画像として抽出する。
In the next step S107, the
次のステップS108では、CPU21は、候補画像に対応する対象物の地表からの高hさを推定する。図6は、撮影装置31の焦点FCと、画像PHから検出される無限遠点P0と、画像PHが撮影された時刻における焦点FCに対する対象物の位置を示す円形のマーク700と、撮影装置31の像面を示す直線L4との位置関係を模式的に示す図である。この図6を参照するとわかるように、候補画像に対応する対象物は、マーク700及び焦点FCを通る直線L5と直線L4との交点Pに対応する画像PH上の点近傍に写り込む。そして、撮影装置31を構成する光学系の焦点距離をfとし、無限遠点P0を基準にしたときの画像PHにおける対象物(候補画像に対応する被写体)の高さをhs(pixel)とし、車両100から対象物までの距離をzeとし、δvを画素の配列間隔とすると、対象物の実際の高さh(m)は、次式(1)で示される。
In the next step S108, the
そこで、CPU21は、まず、車両100から対象物までの距離zeを推定する。図7には、画像に写る信号機70の信号灯の直径と、車両100から信号機70までの実際の距離との関係を示す曲線Sが示されている。この曲線Sは、信号灯の直径をx、車両100から信号機70までの距離をyとしたときに、関数y=f(x)で示される。CPU21は、候補画像の直径を計測し、計測して得られた値を、上記関数のxに代入することで、車両100から候補画像までの距離zeを算出する。
Therefore, the
そして、算出した距離zeと、既知の焦点距離f及び画素の配列間隔δvと、無限遠点P0を基準にしたときの画像PHにおける対象物の高さをhs(pixel)とを上記(1)へ代入することにより、対象物の高さhを求める。 Then, the calculated distance ze, the known focal length f and the pixel arrangement interval δv, and the height hs (pixel) of the object in the image PH when the infinity point P0 is used as a reference (1) By substituting into, the height h of the object is obtained.
図4に戻り、次のステップS109では、CPU21は、候補画像が点灯する赤色信号灯の画像であるか否かを判断する。例えば、ステップS108で推定された対象物の高さhと、信号機が設置される高さ(例えば5m)との差が、所定の閾値以内である場合には、CPU21は、候補画像が点灯する赤色信号灯の画像であると判断し(ステップS109:Yes)、ステップS110へ移行する。
Returning to FIG. 4, in the next step S <b> 109, the
ステップS110では、CPU21は、消灯する信号灯の画像が存在すると考えられる領域(以下、消灯信号灯候補領域という)の検証を行う。
In step S <b> 110, the
図8は、信号機70を構成する赤色信号灯71、黄色信号灯72、及び青色信号灯73を示す図である。信号機は所定の規定に基づいて製作される。このため各信号灯の間隔と信号灯の直径との関係には、信号の製作メーカーの相違にかかわらず一定の相関がある。このため、中心が赤色信号灯71の中心と一致し、直径が、赤色信号灯71の直径よりわずかに大きい円形領域71aを想定した場合、円形領域71aの中心からa・Dr隔てた位置に黄色信号灯72が位置する。そして、円形領域71aの中心から2a・Dr隔てた位置に青色信号灯73が位置する。なお、Drは、円形領域71aの直径であり、aは1より大きい定数である。また、直径Drと、1未満の定数bを用いて、黄色信号灯72及び青色信号灯73の直径はb・Drと表すことができる。
FIG. 8 is a diagram showing a
そこで、CPU21は、ステップS107で抽出された赤色信号灯の候補画像の直径をdrとし、候補画像から左方向へa・dr隔てた位置に、直径がb・drの黄色消灯信号灯候補領域を設定する。また、候補画像から左方向へ2a・dr隔てた位置に、直径がb・drの青色消灯信号灯候補領域を設定する。
Therefore, the
ここで、定数bは1未満であるため、消灯信号灯候補領域の直径b・drは、候補画像の直径よりも小さくなる。発光体が被写体となった場合には、この被写体の画像が画像PH上では滲んだ状態となる。この滲みぶんの誤差を解消するため、本実施形態では、図8を参照するとわかるように、直径が、赤色信号灯71の直径よりもわずかに大きな円形領域71aを規定している。
Here, since the constant b is less than 1, the diameter b · dr of the extinction signal lamp candidate region is smaller than the diameter of the candidate image. When the illuminant becomes a subject, the image of the subject is blurred on the image PH. In order to eliminate this blur error, the present embodiment defines a
CPU21は、画像PHに2つの消灯信号灯候補領域を設定すると、この消灯信号灯候補領域の色相、彩度、輝度が、消灯した信号灯の画像の色相、彩度、輝度に相当するかどうかを検証する。
When the two extinction signal lamp candidate areas are set in the image PH, the
図4に戻り、次のステップS111では、CPU21は、ステップS110での検証結果に基づいて、消灯信号灯候補領域の画素が、消灯した黄色信号灯72及び消灯した青色信号灯73の画像を構成するか否かを判断する。そして、消灯信号灯候補領域の画素が、消灯した黄色信号灯72、及び消灯した青色信号灯73の画像を構成すると判断した場合には、赤色信号灯71の側方には、消灯した黄色信号灯72及び青色信号灯73が位置すると判断する(ステップS111:Yes)。これにより、候補画像が赤色信号灯の画像であると断定される。
Returning to FIG. 4, in the next step S111, based on the verification result in step S110, the
次のステップS112では、画像PHに写る候補画像の位置に基づいて、車両100から赤色信号灯までの距離zeを推定する。図9は、撮影装置31の焦点FCと、画像PH1,PH2から検出された無限遠点P0と、画像PH1が撮影された時刻における焦点FCに対する赤色信号灯の位置を示す円形のマーク7001と、画像PH2が撮影された時刻における焦点FCに対する赤色信号灯の位置を示す円形のマーク7002と、撮影装置31の像面を示す直線L4との位置関係を模式的に示す図である。
In the next step S112, the distance ze from the
図9を参照するとわかるように、画像PH1では、赤色信号灯は、マーク7001及び焦点FCを通る直線L6と直線L4との交点P1に対応する画像PH1上の点近傍に写り込む。また、画像PH2では、赤色信号灯は、マーク7002及び焦点FCを通る直線L7と直線L4との交点P2に対応する画像PH2上の点近傍に写り込む。
As seen with reference to FIG. 9, the image PH 1, the red traffic light is visible on captured near a point on the image PH 1 corresponding to the intersection P1 between the straight line L6 and the line L4 passing through the
例えば、画像PH1が撮影された時刻から画像PH2が撮影された時刻までの時間をΔt(sec)とし、車両100の速度をV(m/sec)とし、撮影装置31を構成する光学系の焦点距離をfとし、無限遠点P0を基準にしたときの画像PH1における対象物の高さをhs1(pixel)とし、無限遠点P0を基準にしたときの画像PH2における対象物の高さをhs2(pixel)とし、路側物の実際の高さをh(m)とし、スケールファクタ(Sv)をf/δvとすると、次式(2)及び(3)が成立し、式(2)及び式(3)から、車両100から対象物までの推定距離ze(m)を示す次式(4)が導かれる。
For example, the time from the time when the image PH 1 is taken to the time when the image PH 2 is taken is Δt (sec), the speed of the
そこで、CPU21は、画像PH1に写る赤色信号灯の高さhs1と,画像PH2に写る赤色信号灯の高さhs2とを求めるとともに、画像PH1が撮影された時刻から画像PH2が撮影された時刻までの時間Δtを算出する。そして、画像に写る赤色信号灯の高さhs1,hs2と、時間Δtと、速度計測装置32を介して計測した車両100の速度Vとを上記式(4)へ代入し、対象物までの推定距離zeを算出する。
Accordingly,
なお、画像中の無限遠点は、例えば画像に写る道路と路側とを区分する白線や、走行車線と対抗斜線とを区分する白線のエッジが収束する点を特定し、特定した点を無限遠点とすることで規定される。しかしながら、道路が蛇行している場合や、道路の状況等によっては、白線等のエッジが収束する無限遠点を特定することができなくなることがある。この場合は、赤色信号灯が写る1組の画像PH1,PH2を用いて、車両100から赤色信号灯までの推定距離zeを算出することができる。
The infinity point in the image is, for example, a point where the edge of the white line that separates the road and the road in the image and the white line that separates the driving lane and the opposite diagonal line converges, and the identified point is at infinity. It is defined as a point. However, when the road is meandering or depending on the road conditions, it may not be possible to specify an infinite point where an edge such as a white line converges. In this case, the estimated distance ze from the
例えば、画像PH1が撮影された時刻から画像PH2が撮影された時刻までの時間をΔt(sec)とし、車両100の速度をV(m/sec)とし、画像PH1における赤色信号灯の幅をW1(pixel)とし、画像PH2における赤色信号灯の幅をW2(pixel)とすると、車両100から赤色信号灯までの推定距離ze(m)は、次式(5)によって表される。
For example, the time from the time when the image PH 1 was taken to the time when the image PH 2 was taken is Δt (sec), the speed of the
そこで、CPU21は、画像PH1に写る赤色信号灯の幅W1と、画像PH2に写る赤色信号灯の幅W2とを求め、画像PH1が撮影された時刻から画像PH2が撮影された時刻までの時間Δを算出する。そして、画像に写る赤色信号灯の幅W1,W2と、時間Δtと、速度計測装置32を介して計測した車両100の速度Vとを上記式(5)へ代入し、赤色信号灯までの推定距離zeを算出する。
Accordingly,
また、画像PH1或いは画像PH2のいずれか一方にしか赤色信号灯が写っていない場合には、CPU21は、上述したステップS108での処理と同様に、まず、画像に写る赤色信号灯の直径を計測する。次に、計測して得られた値を、図7に示される曲線を規定する関数(y=f(x))のxに代入して、車両100から赤色信号灯までの距離zeを算出する。
Further, when the red signal lamp is captured only in either the image PH 1 or the image PH 2 , the
図4に戻り、次のステップS113では、車両100の速度と、赤色信号灯までの距離に基づいて、車両100が交差点へ進入する危険があるか否かを判断する。この判断は、例えば距離zeと、車両100の速度V(m/sec)と時間T(sec)との積(V・T)とを比較することにより行う。なお、時間Tは、例えば3秒程度である。
Returning to FIG. 4, in the next step S <b> 113, it is determined whether there is a risk that the
CPU21は、距離zeが、速度Vと時間Tとの積(V・T)よりも小さい場合に、車両100が交差点に進入する危険があると判断し(ステップS113:Yes)、次のステップS114へ移行する。
When the distance ze is smaller than the product (V · T) of the speed V and the time T, the
ステップS114では、CPU21は、前方に赤色信号灯が点灯している信号機が存在することを通知するための警報を発する。この警報は、例えば表示部24にテキストを表示したり、外部に警告音又は信号を発すること等が考えられる。
In step S114, the
CPU21は、ステップS111,S113での判断が否定された場合、或いはステップS114での処理が完了した場合に、ステップS115へ移行し、探索モードを1に設定する。なお、探索モード1は、点灯する赤色信号灯を探索するためのモードである。
If the determinations in steps S111 and S113 are negative, or if the processing in step S114 is completed, the
次のステップS116では、CPU21は、これまでの処理結果を、補助記憶部23へ記憶する。ステップS116での処理が完了すると、CPU21は、ステップS101へ戻り、以降、ステップS102での判断が肯定されるまで、ステップS101〜ステップS116までの処理を繰り返し実行する。そして、ステップS102での判断が肯定された場合には、CPU21は、ステップS117へ移行する。
In next step S <b> 116, the
ステップS117では、CPU21は、画像PHから信号機70の信号灯を検出するための閾値V2を設定する。この閾値V2は、後述するステップS122で円形度の評価を行うときに用いられるものである。また、この閾値V2は、ステップS103で設定される閾値V1よりも小さい。
In step S117, the
次のステップS118では、CPU21は、探索モードを確認する。探索モードが1であると判断された場合には、CPU21は、ステップS119へ移行する。
In the next step S118, the
ステップS119では、CPU21は、画像PHに検出処理領域PAを設定する。
In step S119, the
次のステップS120では、CPU21は、画像PHから赤色画素を抽出する。具体的には、CPU21は、まず画像PHから色相が0度近傍と360度近傍の画素を抽出することで、画像PHから色相が赤の画素を抽出する。次に、抽出した画素から、輝度が所定の値以上の画素を抽出する。これにより、画像PHから、輝度が比較的高い赤色画素が抽出される。
In the next step S120, the
次のステップS121では、CPU21は、抽出した画素のラベリングを行う。これにより、隣接する画素同士に共通の属性が割り当てられ、これら集合した画素を1つの集合として取り扱うことが可能となる。
In the next step S121, the
次のステップS122では、CPU21は、ステップS121で規定された画素の集合からなる部分画像を、点灯する赤色信号灯の候補画像として抽出する。具体的には、CPU21は、部分画像の輪郭の円形度を示すスコアを、例えばHough変換や、RANSACなどのアルゴリズムを用いて、部分画像ごとに算出する。そして、スコアが最も高く、かつスコアがステップS117で設定された閾値V2以上となる部分画像を特定し、この部分画像を候補画像として抽出する。
In the next step S122, the
次のステップS123では、CPU21は、候補画像に対応する対象物の地表からの高さhを、上記式(1)を用いて推定する。
In the next step S123, the
次のステップS124では、CPU21は、候補画像が点灯する赤色信号灯の画像であるか否かを判断する。例えば、ステップS123で推定された対象物の高さhと、信号機が設置される高さとの差が、閾値以上である場合には(ステップS124:No)、CPU21は、ステップS116へ移行する。一方、対象物の高さhと、信号機が設置される高さとの差が、閾値以下である場合には、CPU21は、候補画像が点灯する赤色信号灯の画像であると判断し(ステップS124:Yes)、ステップS125へ移行する。
In the next step S124, the
ステップS125では、CPU21は、消灯信号灯候補領域の検証を行う。
In step S125, the
次のステップS126では、CPU21は、ステップS125での検証結果に基づいて、消灯信号灯候補領域の画素が、消灯した黄色信号灯72及び消灯した青色信号灯73の画像を構成するか否かを判断する。そして、消灯信号灯候補領域の画素が、消灯した黄色信号灯72、又は消灯した青色信号灯73の画像を構成しないと判断した場合には、赤色信号灯71の側方には、消灯した黄色信号灯72及び青色信号灯73が位置しないと判断し(ステップS126:No)、CPU21は、ステップS116へ移行する。
In the next step S126, based on the verification result in step S125, the
一方、消灯信号灯候補領域の画素が、消灯した黄色信号灯72、及び消灯した青色信号灯73の画像を構成すると判断した場合には、赤色信号灯71の側方には、消灯した黄色信号灯72及び青色信号灯73が位置すると判断する(ステップS126:Yes)。これにより、候補画像が赤色信号灯の画像であると断定される。
On the other hand, when it is determined that the pixels in the candidate area for the extinction signal lamp constitute an image of the extinction
次のステップS127では、CPU21は、探索モードを2に設定し、ステップS116へ移行する。なお、探索モード2は、消灯した赤色信号灯を探索するためのモードである。
In the next step S127, the
ステップS118において、探索モードが2であると判断された場合には、CPU21は、ステップS128へ移行する。
If it is determined in step S118 that the search mode is 2, the
ステップS128では、CPU21は、赤色信号灯探索領域を設定する。具体的には、CPU21は、ステップS122で抽出された候補画像と重複する領域を、赤色信号灯探索領域に設定する。
In step S128, the
次のステップS129では、CPU21は、赤色信号灯探索領域から赤色画素を抽出する。具体的には、CPU21は、赤色信号灯探索領域から色相が0度近傍と360度近傍の画素を抽出することで、赤色信号灯探索領域から色相が赤の画素を抽出する。次に、抽出した画素から、輝度が所定の値以上の画素を抽出する。これにより、赤色信号灯探索領域から、輝度が比較的高い赤色画素が抽出される。
In the next step S129, the
次のステップS130では、CPU21は、抽出した画素のラベリングを行う。これにより、隣接する画素同士に共通の属性が割り当てられ、これら集合した画素を1つの集合として取り扱うことが可能となる。
In the next step S130, the
次のステップS131では、CPU21は、ステップS130で規定された画素の集合からなる部分画像を、点灯する赤色信号灯の候補画像として抽出する。
In the next step S131, the
次のステップS132では、CPU21は、抽出した候補画像に基づいて、赤色信号灯が点灯しているか否かを判断する。例えば、赤色信号灯が点灯している場合には、候補画像の大きさが赤色信号灯探索領域の大きさとほぼ等しくなり、円形度を示すスコアも、ある程度大きくなる。一方、赤色信号灯が消灯している場合には、一般に候補画像の大きさが赤色探索領域の大きさよりも小さくなり、円形度を示すスコアも小さくなる。そこで、CPU21は、候補画像の大きさ及び円形度に基づいて、赤色信号灯が点灯しているか否かを判断する。CPU21は、赤色信号灯が点灯していると判断した場合には(ステップS132:Yes)、ステップS116へ移行する。一方、CPU21は、赤色信号灯が点灯していないと判断した場合には、(ステップS132:No)、ステップS133に移行する。
In the next step S132, the
ステップS133では、CPU21は、探索モードを3に設定し、ステップS116へ移行する。なお、探索モード3は、青色信号灯を探索するためのモードである。
In step S133, the
ステップS118において、探索モードが3であると判断された場合には、CPU21は、ステップS134へ移行する。
If it is determined in step S118 that the search mode is 3, the
ステップS134では、CPU21は、青色信号灯探索領域を設定する。具体的には、CPU21は、ステップS110で設定した青色消灯信号灯候補領域と重複する領域を、青色信号灯探索領域に設定する。
In step S134, the
次のステップS135では、CPU21は、青色信号灯探索領域から青色画素を抽出する。具体的には、CPU21は、青色信号灯探索領域から色相が240度近傍の画素を抽出することで、青色信号灯探索領域から色相が青の画素を抽出する。次に、抽出した画素から、輝度が所定の値以上の画素を抽出する。これにより、青色信号灯探索領域から、輝度が比較的高い青色画素が抽出される。
In the next step S135, the
次のステップS136では、CPU21は、抽出した画素のラベリングを行う。これにより、隣接する画素同士に共通の属性が割り当てられ、これら集合した画素を1つの集合として取り扱うことが可能となる。
In the next step S136, the
次のステップS137では、CPU21は、ステップS136で規定された画素の集合からなる部分画像を、点灯する青色信号灯の候補画像として抽出する。
In the next step S137, the
次のステップS138では、CPU21は、抽出した候補画像に基づいて、青色信号灯が点灯しているか否かを判断する。例えば、青色信号灯が点灯している場合には、候補画像の大きさが青色信号灯探索領域の大きさとほぼ等しくなり、円形度を示すスコアも、ある程度大きくなる。一方、青色信号灯が消灯している場合には、一般に候補画像の大きさが青色探索領域の大きさよりも小さくなり、円形度を示すスコアも小さくなる。そこで、CPU21は、候補画像の大きさ及び円形度に基づいて、青色信号灯が点灯しているか否かを判断する。CPU21は、青色信号灯が点灯していないと判断した場合には(ステップS138:No)、ステップS116へ移行する。一方、CPU21は、青色信号灯が点灯していると判断した合には(ステップS138:Yes)、ステップS139へ移行する。
In the next step S138, the
次のステップS139では、CPU21は、ステップS138での肯定的な判断が、初めてなされたものであるか否かを判断する。ステップS138で肯定的な判断がなされたのが初めてでない場合には、CPU21は、ステップS116へ移行する。一方、ステップS138で肯定的な判断がなされたのが初めてである場合には、CPU21は、ステップS140へ移行する。
In the next step S139, the
ステップS140では、CPU21は、信号機の青色信号灯が点灯したことを報知する。この報知は、例えば、例えば表示部24にテキストを表示したり、外部に報知音又は信号を発すること等が考えられる。
In step S140, the
ステップS140での処理が完了すると、CPU21は、ステップS116で処理結果を、補助記憶部23へ記憶する。そして、CPU21は、ステップS101へ戻り、以降ステップS101〜S149までの処理を繰り返し実行する。
When the processing in step S140 is completed, the
以上説明したように、本実施形態では、点灯する赤色信号灯と考えられる候補画像が検出された際に(ステップS109:Yes)、消灯する黄色信号灯の画像、及び消灯する青色信号灯の画像が存在すると考えられる領域(消灯信号灯候補領域)の検証が行われる。そして、当該消灯信号灯候補領域に、消灯した黄色信号灯の画像、及び消灯した青色信号灯の画像が存在すると判断された場合に(ステップS111:Yes)、候補画像が赤色信号灯の画像であると断定される。このため、赤色信号灯の画像以外の画像が、赤色信号灯の候補画像として誤検出されたとしても、当該消灯信号灯候補領域に、消灯した黄色信号灯の画像、及び消灯した青色信号灯の画像が存在すると判断されなければ、誤検出された画像が赤色信号灯の画像であると断定されることがない。したがって、車両の前方に存在する信号機の信号灯が誤検出されることがなくなり、点灯する信号灯を正確に特定することが可能となる。 As described above, in this embodiment, when a candidate image that is considered to be a red signal light that is turned on is detected (step S109: Yes), an image of a yellow signal light that is turned off and an image of a blue signal light that is turned off exist. A possible area (light-out signal lamp candidate area) is verified. Then, when it is determined that there is an image of a yellow signal light that has been turned off and an image of a blue signal light that has been turned off (Yes in step S111), the candidate image is determined to be an image of a red signal light. The For this reason, even if an image other than the image of the red signal lamp is erroneously detected as a candidate image of the red signal lamp, it is determined that the image of the extinguished yellow signal lamp and the image of the extinguished blue signal lamp exist in the extinction signal lamp candidate region Otherwise, the erroneously detected image is not determined to be an image of a red signal lamp. Therefore, the signal lamp of the traffic light existing in front of the vehicle is not erroneously detected, and the signal lamp to be lit can be specified accurately.
また、本実施形態では、車両が停車中に、点灯する赤色信号灯が検出された場合には(ステップS124:Yes)、赤色信号灯の消灯を検出するための処理が実行される(ステップS128〜ステップS132)。そして、赤色信号灯の消灯が検出された場合には、青色信号灯の点灯を検出するための処理が実行され(ステップS134〜ステップS138)、この処理で青色信号灯の点灯が確認された場合に、初めて青色信号灯が点灯したことが報知される(ステップS140)。すなわち、本実施形態では、赤色信号灯の消灯と、青色信号灯の点灯の双方が検出された場合に限り、青色信号灯が点灯したことが報知される。このため、青色信号灯に類似する発光体が画像PHに写りこんでいたとしても、精度よく青色信号灯の点灯を報知することが可能となる。 Further, in the present embodiment, when a red signal light that is turned on is detected while the vehicle is stopped (step S124: Yes), processing for detecting the turn-off of the red signal light is executed (step S128 to step S128). S132). Then, when it is detected that the red signal lamp has been turned off, a process for detecting the lighting of the blue signal lamp is executed (steps S134 to S138). It is notified that the blue signal lamp is lit (step S140). That is, in the present embodiment, it is notified that the blue signal lamp is turned on only when both the red signal lamp is turned off and the blue signal lamp is turned on. For this reason, even if a light emitting body similar to the blue signal lamp is reflected in the image PH, it is possible to accurately notify the lighting of the blue signal lamp.
上記実施形態では、図8に示されるように、信号機70が、水平方向に配列された3つの信号灯71〜73を有している場合について説明した。本発明はこれに限定されるものではなく、図10に示されるように、信号機70が、鉛直方向に配列された3つの信号灯71〜73を有している場合にも、点灯する信号灯を正確に検出することができる。
In the said embodiment, as FIG. 8 showed, the case where the
この場合には、ステップS110等において、黄色消灯信号灯候補領域を、候補画像から下方向へa・dr隔てた位置に設定し、青色消灯信号灯候補領域を、候補画像から下方向へ2a・dr隔てた位置に設定すればよい。 In this case, in step S110 and the like, the yellow light extinction signal lamp candidate area is set at a position spaced a · dr downward from the candidate image, and the blue light extinction signal lamp candidate area is spaced 2a · dr downward from the candidate image. What is necessary is just to set to the position.
上記実施形態では、最初に画像PHから赤色画素を抽出し(ステップS105)、赤色信号灯の画像を特定することとした(ステップS109:Yes)。これに限らず、最初に画像PHから青色画素を抽出して、青色信号灯の画像を特定し、この青色信号灯の画像に基づいて、点灯している信号灯を特定することとしてもよい。 In the above embodiment, first, red pixels are extracted from the image PH (step S105), and an image of a red signal lamp is specified (step S109: Yes). However, the present invention is not limited to this, and it is also possible to first extract blue pixels from the image PH, specify the blue signal lamp image, and specify the lit signal lamp based on the blue signal lamp image.
この場合には、図11を参照するとわかるように、ステップS110等において、黄色消灯信号灯候補領域を、候補画像から右方向へa・dr隔てた位置に設定し、赤色消灯信号灯候補領域を、候補画像から右方向へ2a・dr隔てた位置に設定すればよい。 In this case, as can be seen with reference to FIG. 11, in step S110 and the like, the yellow extinction signal lamp candidate area is set at a position a · dr away from the candidate image in the right direction, and the red extinction signal lamp candidate area is selected as a candidate. What is necessary is just to set to the position 2a * dr away from the image rightward.
また、信号機70が、鉛直方向に配列された3つの信号灯71〜73を有している場合には、図12を参照するとわかるように、黄色消灯信号灯候補領域を、候補画像から上方向へa・dr隔てた位置に設定し、赤色消灯信号灯候補領域を、候補画像から上方向へ2a・dr隔てた位置に設定すればよい。
Further, when the
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。 As mentioned above, although embodiment of this invention was described, this invention is not limited by the said embodiment.
例えば、上記実施形態では、CPU21が補助記憶部に記憶されたプログラムを実行することにより、図4に示される一連の処理が実行された。これに限らず、演算装置20を、ハードウェアによって構成してもよい。
For example, in the above-described embodiment, the
また、演算装置20の補助記憶部23に記憶されているプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical disk)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
The programs stored in the
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。 Further, the program may be stored in a disk device or the like included in a predetermined server device on a communication network such as the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。 It should be noted that the present invention can be variously modified and modified without departing from the broad spirit and scope of the present invention. Further, the above-described embodiment is for explaining the present invention, and does not limit the scope of the present invention.
本発明の信号機検出装置、信号機検出方法及びプログラムは、車両の前方に存在する信号機に関する情報を検出するのに適している。 The traffic signal detection apparatus, the traffic signal detection method, and the program according to the present invention are suitable for detecting information related to a traffic signal existing ahead of a vehicle.
10 信号機検出装置
20 演算装置
21 CPU
22 主記憶部
23 補助記憶部
24 表示部
25 入力部
26 インターフェイス部
27 システムバス
31 撮影装置
32 速度計測装置
70 信号機
71 赤色信号灯
71a 円形領域
72 黄色信号灯
72 青色信号灯
73 青色信号灯
100 車両
700 マーク
FC 焦点
P 交点
P0 無限遠点
PA 検出処理領域
PH 画像
10
22
Claims (12)
前記第1信号灯の検出情報に基づいて、前記画像に、前記第1信号灯の候補画像から、前記第1信号灯と前記第1信号灯とは異なる前記信号機の第2信号灯との間隔に応じた距離隔てた位置に、検出領域を設定する設定手段と、
前記検出領域の画像が、前記信号機の消灯状態にある前記第2信号灯の画像であるか否かを検証する検証手段と、
前記検出領域の画像が、消灯状態の前記第2信号灯の画像である場合に、前記第1信号灯の候補画像が、前記第1信号灯の画像であると判断する判断手段と、
を備える信号機検出装置。 Detecting means for detecting a candidate image of a first signal lamp in a lighting state of a traffic light based on color information of pixels constituting the image from an image obtained by photographing the front of the vehicle;
Based on the detection information of the first signal lamp, the image is separated from the candidate image of the first signal lamp by a distance corresponding to the interval between the first signal lamp and the second signal lamp of the traffic light different from the first signal lamp. Setting means for setting the detection region at the position,
Verification means for verifying whether the image of the detection area is an image of the second signal lamp in an extinguished state of the traffic light;
Determining means for determining that the candidate image of the first signal lamp is the image of the first signal lamp when the image of the detection area is an image of the second signal lamp in an extinguished state;
A traffic light detector.
前記検出領域の画像が、点灯状態の前記第2信号灯の画像であると判断した場合に、警報を発令する警報手段と、
を備える請求項8に記載の信号機検出装置。 Whether or not the image of the detection area is the image of the second signal lamp in the lighting state of the traffic light when it is determined that the candidate image of the first signal lamp is the image of the first signal lamp A second verification means for verifying
An alarm means for issuing an alarm when it is determined that the image of the detection area is an image of the second signal lamp in a lighting state;
A traffic light detection apparatus according to claim 8.
前記第1信号灯の検出情報に基づいて、前記画像に、前記第1信号灯の候補画像から、前記第1信号灯と前記第1信号灯とは異なる前記信号機の第2信号灯との間隔に応じた距離隔てた位置に、検出領域を設定する工程と、
前記検出領域の画像が、前記信号機の消灯状態にある前記第2信号灯の画像であるか否かを検証する工程と、
前記検出領域の画像が、消灯状態の前記第2信号灯の画像である場合に、前記第1信号灯の候補画像が、前記第1信号灯の画像であると判断する工程と、
を含む信号機検出方法。 Detecting a candidate image of a first signal lamp in a lighting state of a traffic light from an image obtained by photographing the front of the vehicle based on color information of pixels constituting the image;
Based on the detection information of the first signal lamp, the image is separated from the candidate image of the first signal lamp by a distance corresponding to the interval between the first signal lamp and the second signal lamp of the traffic light different from the first signal lamp. A step of setting a detection region at the position,
Verifying whether the image of the detection area is an image of the second signal lamp in an extinguished state of the traffic light;
Determining that the candidate image of the first signal lamp is the image of the first signal lamp when the image of the detection area is an image of the second signal lamp in an extinguished state;
A traffic light detection method including:
車両の前方を撮影することにより得られる画像から、前記画像を構成する画素の色情報に基づいて、信号機の点灯状態にある第1信号灯の候補画像を検出する手順と、
前記第1信号灯の検出情報に基づいて、前記画像に、前記第1信号灯の候補画像から、前記第1信号灯と前記第1信号灯とは異なる前記信号機の第2信号灯との間隔に応じた距離隔てた位置に、検出領域を設定する手順と、
前記検出領域の画像が、前記信号機の消灯状態にある前記第2信号灯の画像であるか否かを検証する手順と、
前記検出領域の画像が、消灯状態の前記第2信号灯の画像である場合に、前記第1信号灯の候補画像が、前記第1信号灯の画像であると判断する手順と、
を実行させるためのプログラム。 On the computer,
A procedure for detecting a candidate image of a first signal lamp in a lighting state of a traffic light based on color information of pixels constituting the image from an image obtained by photographing the front of the vehicle;
Based on the detection information of the first signal lamp, the image is separated from the candidate image of the first signal lamp by a distance corresponding to the interval between the first signal lamp and the second signal lamp of the traffic light different from the first signal lamp. Set the detection area at the
A procedure for verifying whether the image of the detection area is an image of the second signal lamp in an off state of the traffic light;
When the image of the detection area is an image of the second signal lamp in an extinguished state, a procedure for determining that the candidate image of the first signal lamp is an image of the first signal lamp;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010246913A JP2012098967A (en) | 2010-11-02 | 2010-11-02 | Traffic light detector, traffic light detection method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010246913A JP2012098967A (en) | 2010-11-02 | 2010-11-02 | Traffic light detector, traffic light detection method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012098967A true JP2012098967A (en) | 2012-05-24 |
Family
ID=46390794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010246913A Pending JP2012098967A (en) | 2010-11-02 | 2010-11-02 | Traffic light detector, traffic light detection method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012098967A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015097018A (en) * | 2013-11-15 | 2015-05-21 | 富士重工業株式会社 | Arrow signal light detection device |
JP2016197388A (en) * | 2015-04-02 | 2016-11-24 | 株式会社リコー | Recognition device, recognition method, and program |
KR101873639B1 (en) * | 2016-08-12 | 2018-07-02 | 한양대학교 산학협력단 | Method and device for detecting traffic light at slanted road |
CN108492606A (en) * | 2018-02-28 | 2018-09-04 | 江苏航天大为科技股份有限公司 | A kind of passive multichannel traffic lights detector |
JP2019109727A (en) * | 2017-12-19 | 2019-07-04 | オムロン株式会社 | Image processing system and image processing method |
CN110335484A (en) * | 2019-08-08 | 2019-10-15 | 北京小马智行科技有限公司 | Control the method and device of vehicle driving |
JP2020160510A (en) * | 2019-03-25 | 2020-10-01 | カシオ計算機株式会社 | Signal light display determination device, signal light display determination method and program |
KR102214022B1 (en) * | 2020-01-07 | 2021-02-09 | 주식회사 에프에스솔루션 | Method for identificating traffic lights, device and program using the same |
KR102248673B1 (en) * | 2020-01-07 | 2021-05-06 | 주식회사 에프에스솔루션 | Method for identificating traffic lights, device and program using the same |
CN112991791A (en) * | 2019-12-13 | 2021-06-18 | 上海商汤临港智能科技有限公司 | Traffic information identification and intelligent driving method, device, equipment and storage medium |
CN113492750A (en) * | 2020-04-03 | 2021-10-12 | 丰田自动车株式会社 | Signal lamp state recognition device, signal lamp state recognition method, computer program, and control device |
-
2010
- 2010-11-02 JP JP2010246913A patent/JP2012098967A/en active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015097018A (en) * | 2013-11-15 | 2015-05-21 | 富士重工業株式会社 | Arrow signal light detection device |
JP2020064681A (en) * | 2015-04-02 | 2020-04-23 | 株式会社リコー | Recognition device, recognition method, and program |
JP2016197388A (en) * | 2015-04-02 | 2016-11-24 | 株式会社リコー | Recognition device, recognition method, and program |
KR101873639B1 (en) * | 2016-08-12 | 2018-07-02 | 한양대학교 산학협력단 | Method and device for detecting traffic light at slanted road |
JP2019109727A (en) * | 2017-12-19 | 2019-07-04 | オムロン株式会社 | Image processing system and image processing method |
CN108492606A (en) * | 2018-02-28 | 2018-09-04 | 江苏航天大为科技股份有限公司 | A kind of passive multichannel traffic lights detector |
JP2020160510A (en) * | 2019-03-25 | 2020-10-01 | カシオ計算機株式会社 | Signal light display determination device, signal light display determination method and program |
JP7063296B2 (en) | 2019-03-25 | 2022-05-09 | カシオ計算機株式会社 | Signal light display discrimination device, signal light display discrimination method and program |
CN110335484A (en) * | 2019-08-08 | 2019-10-15 | 北京小马智行科技有限公司 | Control the method and device of vehicle driving |
CN112991791A (en) * | 2019-12-13 | 2021-06-18 | 上海商汤临港智能科技有限公司 | Traffic information identification and intelligent driving method, device, equipment and storage medium |
CN112991791B (en) * | 2019-12-13 | 2022-07-26 | 上海商汤临港智能科技有限公司 | Traffic information identification and intelligent driving method, device, equipment and storage medium |
KR102214022B1 (en) * | 2020-01-07 | 2021-02-09 | 주식회사 에프에스솔루션 | Method for identificating traffic lights, device and program using the same |
KR102248673B1 (en) * | 2020-01-07 | 2021-05-06 | 주식회사 에프에스솔루션 | Method for identificating traffic lights, device and program using the same |
CN113492750A (en) * | 2020-04-03 | 2021-10-12 | 丰田自动车株式会社 | Signal lamp state recognition device, signal lamp state recognition method, computer program, and control device |
CN113492750B (en) * | 2020-04-03 | 2024-01-02 | 丰田自动车株式会社 | Signal lamp state recognition device and recognition method, control device, and computer-readable recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012098967A (en) | Traffic light detector, traffic light detection method and program | |
JP5787024B2 (en) | Three-dimensional object detection device | |
JP5637302B2 (en) | Driving support apparatus and adjacent vehicle detection method | |
US7894632B2 (en) | Apparatus and method of estimating center line of intersection | |
JP6254084B2 (en) | Image processing device | |
JP2005202678A (en) | Traveling support device | |
US11472404B2 (en) | Collision prediction device, collision prediction method, and program | |
JP2004144671A (en) | Car-mounted radar device | |
JP2011220732A (en) | Vehicle surroundings monitoring device | |
CN113165653B (en) | Following vehicle | |
WO2016125377A1 (en) | Image-processing device and vehicle system | |
RU2633120C2 (en) | Device for detecting three-dimensional objects | |
JP2016197046A (en) | Object detector | |
JP2013161202A (en) | Vehicle periphery monitoring device | |
KR20120086892A (en) | Lane departure warning system in navigation for vehicle and method thereof | |
JP2007164566A (en) | System and device of vehicle sensing for traffic-actuated control | |
JP2009276906A (en) | Travelling information providing device | |
JP2008052399A (en) | Surround monitor system | |
JP2004341801A (en) | Chased vehicle lamp detection system and chased vehicle lamp detection method | |
JP2003308599A (en) | Traveling route environment detector | |
EP3438933B1 (en) | Environment recognition device | |
JP2011134119A (en) | Vehicle periphery monitoring device | |
JP6177632B2 (en) | Vehicle position detection device and vehicle rear side warning device | |
JP2018073049A (en) | Image recognition device, image recognition system, and image recognition method | |
JP2005004413A (en) | Drive supporting device for vehicle |