JP6447729B2 - 信号機認識装置及び信号機認識方法 - Google Patents
信号機認識装置及び信号機認識方法 Download PDFInfo
- Publication number
- JP6447729B2 JP6447729B2 JP2017528037A JP2017528037A JP6447729B2 JP 6447729 B2 JP6447729 B2 JP 6447729B2 JP 2017528037 A JP2017528037 A JP 2017528037A JP 2017528037 A JP2017528037 A JP 2017528037A JP 6447729 B2 JP6447729 B2 JP 6447729B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging direction
- vehicle
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000003384 imaging method Methods 0.000 claims description 263
- 230000008859 change Effects 0.000 claims description 108
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 11
- 238000013459 approach Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/60—Traffic rules, e.g. speed limits or right of way
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Atmospheric Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、車両に搭載されて信号機を認識する信号機認識装置及び信号機認識方法に関する。
例えば、自動運転機能が搭載された車両では、車両の走行路に設けられる信号機を認識し、信号機の点灯色等の点灯状態を検出することにより、停止、走行等の運転を制御する。
従来における信号機認識装置として、例えば、特許文献1(特開平11−306489号公報)に開示されたものが知られている。該引用文献1では、車両にカメラを搭載して前方の信号機を撮像する。この際、カメラで撮像された画像の中心に信号機が位置するように、カメラの水平方向の角度、及び垂直方向の角度を制御する。更に、信号機の画像が所望の大きさになるように、拡大率を制御している。
しかしながら、特許文献1に開示された従来例では、カメラの撮像方向を変更している間は、該カメラで撮像される画像にブレが発生し画像認識が難しくなる。その結果、カメラの撮像方向を変更している間は信号機の点灯状態を検出精度が低下する虞があった。
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、車両が信号機に接近した際に、撮像部の撮像方向の変更を不要とするか、或いは撮像方向の変更の回数を低減することが可能な信号機認識装置を提供することにある。
本発明の一態様に係る信号機認識装置は、撮像部と、地図情報を取得する地図情報取得部と、車両の地図上の現在位置を検出する車両現在位置検出部と、信号機の画像上の位置を推定する信号機位置推定部を有する。更に、信号機の画像上の位置と、信号機の画像上の将来の移動方向に基づいて、撮像部の撮像方向を設定する撮像方向設定部と、撮像部の撮像方向を、撮像方向設定部で設定された撮像方向に変更する撮像方向変更部と、撮像部が撮像方向で撮像した画像から信号機を認識する信号機認識部を備える。
本発明の一態様に係る信号機認識方法は、撮像部により車両周囲の画像を撮像し、車両周囲の地図情報を取得し、車両の地図上の現在位置を検出し、車両現在位置と地図情報に基づき、信号機の画像上の位置を推定する。更に、信号機の画像上の位置と、信号機の画像上の将来の移動方向に基づいて、撮像部の撮像方向を設定し、撮像部の撮像方向を、撮像方向設定部で設定された撮像方向に変更し、撮像部が撮像方向で撮像した画像から信号機を認識する。
以下、本発明の実施形態について図面を参照して説明する。
[第1実施形態の説明]
図1は、本発明の第1実施形態に係る信号機認識装置、及びその周辺機器の構成を示すブロック図である。また、図2は、図1に示した信号機認識装置100を詳細に示したブロック図である。図1に示すように、信号機認識装置100は車両51に搭載され、該車両51に搭載された各種の機器より、地図情報D02、カメラ情報D03、車両現在位置情報D05、及び画像データD07が入力される。そして、該信号機認識装置100で認識した情報である信号機情報D04を後段の装置に出力する。
[第1実施形態の説明]
図1は、本発明の第1実施形態に係る信号機認識装置、及びその周辺機器の構成を示すブロック図である。また、図2は、図1に示した信号機認識装置100を詳細に示したブロック図である。図1に示すように、信号機認識装置100は車両51に搭載され、該車両51に搭載された各種の機器より、地図情報D02、カメラ情報D03、車両現在位置情報D05、及び画像データD07が入力される。そして、該信号機認識装置100で認識した情報である信号機情報D04を後段の装置に出力する。
カメラ情報D03は、車両51に対するカメラ11(図2参照)の設置位置に関する情報である。車両51の地図上の向きを示す三次元情報が取得されると、カメラ情報D03に基づいてカメラ11による車両周囲の撮像領域を推定することが可能となる。
地図情報D02は、車両が走行する走行路の地図データ(車両周囲の地図情報)を含む地図データベースより与えられる情報であり、走行路に存在する地上ランドマーク等の物標の位置情報及び信号機の位置情報等が含まれている。
図2に示すように信号機認識装置100は、カメラ11(撮像部)、車両現在位置検出部12、地図情報取得部17、撮像方向設定部13、信号機認識部14、及びランドマーク情報取得部18を備えている。
カメラ11は、例えばCCD、CMOS等の固体撮像素子を備えたカメラであり、車両51に設置され、走行路の周囲を撮像して周辺領域のデジタル画像を取得する。カメラ11は、撮像した画像を画像データD07として、信号機認識部14に出力する。また、カメラ11は、車両51に対するカメラ11の設置位置に関する情報を記憶しており、カメラ情報D03として、撮像方向設定部13に出力する。カメラ11の設置位置に関する情報は、例えば、キャリブレーション用のマークなどを車両51に対して既知の位置に設置して、カメラ11で撮像された画像上の位置から設置位置を算出することができる。更に、カメラ11は、車両51に対してパン、チルト方向で回転自在の機構を介して設置されており、パン、チルト方向の回転角度を駆動する駆動機構を有し、パン、チルト方向の回転角度を駆動することによって、カメラ11を所望の撮像方向となるように、カメラ11の姿勢を制御することができる。
地図情報取得部17は、車両が走行する走行路の地図情報(車両周囲の地図情報)を含む地図データベースより、走行路の周辺に存在する地上ランドマーク等の物標の位置情報、及び信号機の位置情報等を取得する。この地図情報を、地図情報D02として、車両現在位置検出部12と撮像方向設定部13に出力する。
ランドマーク情報取得部18は、例えば、車載されたセンシング用カメラ或いはレーザレーダ等であり、地上ランドマーク(路面標示(レーンマーク、停止線、文字)、縁石、信号機、標識等)を認識して、車両51に対する相対位置の情報を取得する。取得した情報をランドマーク情報D01として、車両現在位置検出部12に出力する。
車両現在位置検出部12は、ランドマーク情報D01及び地図情報D02を取得し、これらの情報に基づいて、車両51の地図上の現在位置を検出し、これを車両現在位置情報D05として出力する。前述したように、ランドマーク情報D01には、地上ランドマークの車両51に対する相対的な位置関係を示す情報が含まれている。従って、該ランドマーク情報D01の位置情報と、地図情報D02に含まれる地上ランドマークの位置情報を照合することにより、車両51の地図上の現在位置を検出することができる。ここで、「位置」には、座標及び姿勢が含まれる。具体的には、地上ランドマークの位置にはその座標及び姿勢が含まれ、車両51の位置にはその座標及び姿勢が含まれる。車両現在位置検出部12は、基準となる座標系における座標(x,y,z)及び各座標軸の回転方向である姿勢(ヨー、ピッチ、ロール)を車両現在位置情報D05として出力する。
撮像方向設定部13は、車両現在位置情報D05と地図情報D02に基づいて、車両51の走行路に存在する信号機がカメラ11の撮像領域内に入るように、カメラ11の撮像方向を姿勢制御する。具体的には、カメラ11のパン、チルト方向の回転角度を目標とする撮像方向となるように駆動することによって、カメラ11の姿勢を制御することができる。そして、この撮像方向で撮像された画像から、信号機が存在すると推定される検出領域を設定し、検出領域情報D06として出力する。即ち、カメラ11の姿勢が決定され、撮像する領域が設定されれば、カメラ11で撮像される画像上で信号機が存在するであろう位置を特定することができるので、この位置を含む領域を検出領域として設定することができる。この検出領域情報D06は、信号機認識部14に出力される。この際、検出領域は、信号機が車両挙動や車両現在位置情報に誤差が生じた場合でも各信号機が検出領域内からフレームアウトしない大きさに設定する。撮像方向設定部13は、車両51の位置と、信号機位置と、信号機位置の変化量に基づいて、カメラ11の撮像方向を決定する機能を備えている。撮像方向設定部13の詳細については、図3を参照して後述する。
信号機認識部14は、カメラ11で撮像された画像データD07から、上述した検出領域情報D06に基づいて信号機を認識する。具体的には、カメラ11より出力される画像データD07、及び撮像方向設定部13で設定された検出領域情報D06に基づき、検出領域について信号機を認識するための画像処理を実施する。画像処理の方法としては、例えば、信号機が有する信号灯を、商用電源の交流周期に同期した点滅光を用いて検出する方法、或いは、赤、緑、黄の色相及び丸形形状等の特徴の類似判定をする方法等を用いて検出することができる。その他、信号機を検出するための既知の画像処理を適用することができる。信号機の認識処理は、カメラ11で撮像された画像データD07の全体ではなく、その一部分として設定した検出領域に対して実施することにより、信号機検出のための情報処理の負荷を軽減して、迅速に信号機を検出することができる。そして、信号機認識部14は、信号機の認識結果を信号機情報D04として出力する。なお、信号機の認識処理は上記の方法に限定されず、その他の方法を採用することも可能である。
図3は、撮像方向設定部13の詳細な構成を示すブロック図である。図3に示すように、撮像方向設定部13は、信号機位置推定部21、位置変化量算出部22、撮像姿勢設定部23、カメラ姿勢制御部24、及び検出領域算出部25を備えている。
信号機位置推定部21は、地図情報D02と車両現在位置情報D05を入力とし、検出位置情報D08を出力する。地図情報D02には、各信号機の座標が含まれているので、信号機位置推定部21は、各信号機の座標と車両51の座標、及びカメラ11の姿勢に基づいて、車両51に対する信号機の相対座標を求めることができる。従って、カメラ11が周囲を撮像する際の姿勢が決定されれば、撮像した画像上での信号機が撮像されるであろう画像上の位置を特定することができる。例えば、図5に示すように画像R1内において、信号機の推定位置(x2,y2)を設定することができる。即ち、信号機位置推定部21は、車両51の周囲の地図情報に基づき、信号機の位置を推定する機能を備えている。
位置変化量算出部22は、画像R1内での信号機位置の変化量を算出する。即ち、図6に示すように、画像R1内において、過去の検出位置座標(x1,y1)と現在の検出位置座標(x3,y3)を取得し、信号機の画像上の位置変化量を算出する。そして、演算した信号機の画像上の位置変化量を検出位置変化情報D09として出力する。具体的には、x座標の差分(x3−x1)=dx、及びy座標の差分(y3−y1)=dyを演算し、変化量(dx,dy)を求める。この際、過去の検出時と現在の検出時では、カメラ11の姿勢が同一とされていることが条件となる。また、過去の検出位置座標として、検出周期の1周期前のものを用いることができる。或いは、ノイズが乗らないようであれば、2周期以上前のものを用いても良い。即ち、位置変化量算出部22は、信号機位置推定部21で推定された信号機位置の時間経過に伴う変化量を算出する機能を備えている。
撮像姿勢設定部23は、上記の変化量(dx,dy)を参照し、この変化量から画像R1内での信号機の移動方向を推定する。そして、推定した移動方向に基づき、画像R1内から信号機がフレームアウトしないように、カメラ11の撮像方向を決定する。具体的には、上記の変化量(dx,dy)から、画像R1内での信号機の変化方向を求め、この変化方向とは反対方向の側となる画像R1内の適所に信号機が位置するように、カメラ11の撮像方向を決定する。即ち、撮像姿勢設定部23は、車両51の位置と、信号機位置推定部21で推定された信号機位置と、信号機位置の変化量に基づいて、カメラ11の撮像方向を決定する撮像方向設定部としての機能を備えている。
上述の図5に示したように、画像R1内の右側の符号q1の地点に信号機が存在し、更に、図6に示したように、この信号機の移動方向が右上方向である場合、即ち、dxが正の値(dx>0)、dyが負の値(dy<0)である場合には、画像R1内での信号機は、右上方向に移動するものと推定される。従って、図7に示すように、画像R1内の左下の符号q2の位置に信号機が位置するようにカメラ11の撮像方向を決定する。ここで、このような場合でも、車両が信号機の地点を通過するまでの間、車両挙動や車両現在位置情報に誤差が生じた場合を想定しても、信号機がフレームアウトしない位置に推定位置(x2、y2)が存在すると判断される場合には、カメラ11の撮像方向を変更せずに現在の状態を維持する。
カメラ姿勢制御部24は、撮像姿勢設定部23より出力された撮像姿勢情報D10に基づき、画像R1内から信号機がフレームアウトしないように、カメラ11の撮像方向を姿勢制御する。具体的には、カメラ11のパン、チルト方向の回転角度を目標とする撮像方向となるように駆動することによって、カメラ11の姿勢を制御することができる。そして、姿勢制御により設定されたカメラ11の姿勢情報D11を出力する。また、撮像姿勢情報D10が今回の演算時と1周期前の演算時で変化しない場合には、カメラ11の撮像方向の変更を行わず現在の撮像方向を維持する。カメラ姿勢制御部24は、カメラ11による撮像方向が撮像姿勢設定部23で設定された撮像方向となるように撮像方向を変更する撮像方向変更部としての機能を備えている。
検出領域算出部25は、上記のカメラ11の姿勢情報D11と、地図情報D02、及び車両現在位置情報D05に基づいて、カメラ11にて撮像された画像R1から、信号機を検出するための検出領域を設定する。地図情報D02には、予め信号機の位置が地図上の座標として登録されている。地図上の信号機の位置の座標と、地図上の車両51の現在位置の座標及び姿勢に基づき、車両51に対する信号機の相対位置を求めることができる。そして、この相対位置と、カメラ11の車両51に対する姿勢情報D11に基づいて、カメラ11で撮像された画像R1の画像上の信号機の位置を求め、更に、この画像上の信号機の位置に基づいて、画像R1内に検出領域を設定する。検出領域は、車両挙動や車両現在位置情報に誤差が生じた場合でも信号機がフレームアウトしない大きさに定める。そして、設定した検出領域情報D06を出力する。この検出領域情報D06は、図2に示したように、信号機認識部14に出力される。
なお、前述した車両現在位置検出部12、撮像方向設定部13、信号機認識部14は、CPU、メモリ、及び入出力部を備えるマイクロコントローラを用いて実現することができる。具体的に、CPUは、予めインストールされたコンピュータプログラムを実行することにより、マイクロコントローラが備える複数の情報処理部(12,13,14)を構成する。マイクロコントローラが備えるメモリの一部は、地図情報D02を記憶する地図データベースを構成する。なお、マイクロコントローラは、車両に関わる他の制御(例えば、自動運転制御)に用いるECUと兼用してもよい。
次に、上述した第1実施形態に係る信号機認識装置100の作用を、図4に示すフローチャートを参照して説明する。初めに、ステップS11において、図3に示した信号機位置推定部21は、地図情報D02と車両現在位置情報D05に基づいて、カメラ11で撮像された画像R1内にて、信号機位置を算出する。具体的には、図5に示す符号q1の位置を算出する。この処理は、所定の演算周期で実行される。
ステップS12において、位置変化量算出部22は、画像R1内での信号機位置の変化量を算出する。図6に示すように、信号機の位置座標が(x1,y1)から(x3,y3)へ移動した場合には、この際の変化量(dx,dy)を算出する。
ステップS13において撮像姿勢設定部23は、画像R1内の信号機が、該画像R1からフレームアウトするか否かを推定する。この処理では、図6に示したように、信号機の推定位置座標(x2,y2)、及び変化量(dx,dy)に基づいて、信号機が画像R1からフレームアウトするか否かを推定する。
そして、フレームアウトすると推定される場合には(ステップS13でYES)、ステップS14において、カメラ姿勢制御部24は、画像R1から信号機がフレームアウトしないように、或いは余儀なくフレームアウトする場合でも、撮像方向の変更回数が最小限に納まるようにカメラ11の撮像方向を設定して姿勢制御する。例えば、図6に示したように、画像R1内での信号機が座標(x2,y2)に存在すると推定され、且つ、この信号機が右上方に移動している場合には、このままでは信号機は画像R1からフレームアウトすると予想される。従って、図7に示すように画像R1内の左下に示す符号q2の位置に信号機が位置するように、カメラ11の撮像方向を設定する。ステップS15において、カメラ姿勢制御部24は、設定された撮像方向となるように、カメラ11の姿勢を制御する。
一方、フレームアウトしないと推定される場合には(ステップS13でNO)、ステップS16に処理を進める。その後、ステップS16において、検出領域算出部25は、カメラ11で撮像された画像R1から、信号機を検出するための検出領域を設定する。その結果、車両51が信号機の設置されている交差点に接近した際に、該信号機が画像R1からフレームアウトすることを回避できる。
次に、車両51が信号機に接近する際の、画像R1内での信号機位置の変化について説明する。図8は、車両51が直線の走行路X1を走行して信号機P1に接近している様子を模式的に示す説明図である。図8(a)は車両と信号機P1の位置関係を示し、(b)はカメラ11の撮像方向を変更する前の画像R1を示し、(c)はカメラ11の撮像方向を変更した後の画像R1を示している。
図8(a)に示す地点Z1は、車両51が信号機P1から十分に離れており、カメラ11で撮像した画像から信号機P1を確認できる地点である。また、地点Z2は車両51が信号機P1に接近した地点である。地点Z3は停止線が設定されている地点である。従って、地点Z2〜Z3の領域は、車両51が制動を行う領域、即ち、停止或いは走行を判断し、停止すると判断した場合には、車両51を減速させて車両51が停止するように制動する領域である。このため、地点Z2〜Z3で示す領域は、信号機P1の点灯状態の変化を高精度に認識する必要がある領域である。
図8(a)に示すように、車両51が地点Z1を走行している場合には、図8(b)の符号b1に示すように、信号機P1はカメラ11で撮像される画像R1内の右下方に存在している。
その後、車両51が地点Z2に達すると、符号b2に示すように、信号機P1は画像R1内の右上方向に移動する。この際、車両51の接近に伴い信号機P1は大きく表示されている。従って、このままでは信号機P1は画像R1からフレームアウトしてしまう。
本実施形態では、車両51が走行路の地点Z2に達した時点で、カメラ11の撮像方向を変更する。具体的には、カメラ11による撮像領域を右上方向に移動させる。こうすることにより図8(c)の符号c1に示すように、信号機P1が画像R1内の左下に移動することになる。従って、車両51が更に進行して地点Z3に達した時点では、符号c2に示すように、信号機P1が画像R1からフレームアウトすることなく確実に表示されている。即ち、信号機P1の点灯状態を高精度に認識する必要がある地点Z2〜Z3の領域において、カメラ11の撮像方向を変更することなく、画像R1内に信号機P1を留めることができる。そして、この画像R1内に検出領域を設定することにより、高精度な信号機認識が可能になる。
このようにして、第1実施形態に係る信号機認識装置100では、カメラ11で撮像される画像R1内に存在する信号機P1を検出する際には、画像R1内での信号機P1の移動方向に基づいて、該信号機P1がフレームアウトするか否かを推定する。そして、フレームアウトすると推定された場合には、事前に画像R1内の信号機P1の位置が、フレームアウトしない位置となるように、カメラ11の撮像方向を変更する。
従って、車両51が図8(a)に示す信号機P1に接近し、地点Z2に達した後には、カメラ11の撮像方向の姿勢制御をすることなく、信号機P1が画像R1からフレームアウトすることを回避できる。即ち、信号機P1の点灯状態を検出する際に最も重要となる地点Z2〜Z3の領域にて、カメラ11の撮像方向の変更が不要になるか、或いは撮像方向の変更の回数が低減されるので、カメラ11で撮像される画像にブレが生じることを回避できる。よって、確実に信号機P1の点灯状態を検出し、自動運転等に役立てることができる。
また、撮像方向設定部13は、信号機の画像上の位置と信号機の画像上の将来の移動範囲から撮像方向の変更量を算出し、カメラ11の撮像範囲と、撮像方向の変更量に基づいて撮像方向を設定するので、信号機P1が画像R1からフレームアウトすることを確実に回避することができる。
[第1実施形態の変形例の説明]
次に、第1実施形態に係る信号機認識装置100の変形例について説明する。前述した第1実施形態では、車両の車両現在位置情報D05、及び地図情報D02(図3参照)に基づいて、画像R1内に存在する信号機P1の位置を推定し、この信号機P1の移動方向に基づいてカメラ11の撮像方向の姿勢制御をする構成とした。
次に、第1実施形態に係る信号機認識装置100の変形例について説明する。前述した第1実施形態では、車両の車両現在位置情報D05、及び地図情報D02(図3参照)に基づいて、画像R1内に存在する信号機P1の位置を推定し、この信号機P1の移動方向に基づいてカメラ11の撮像方向の姿勢制御をする構成とした。
これに対して、変形例に係る信号機認識装置では、図3に示した信号機位置推定部21が、画像R1内の画像を実際に画像処理することにより、信号機P1の位置を認識する。そして、位置変化量算出部22は、過去に認識した信号機P1の位置(x1,y1)と、現在認識した信号機P1の位置(x2,y2)を画像処理により検出し、検出した位置情報から、検出位置変化情報D09を求める。
このように、変形例に係る信号機認識装置では、画像R1内の画像内に存在する信号機P1を画像処理により認識し、この信号機P1の移動方向に基づいてカメラ11の撮像方向の姿勢制御をするので、より高精度なカメラ11の撮像方向の姿勢制御が可能となる。
[第2実施形態の説明]
次に、本発明の第2実施形態について説明する。第2実施形態に係る信号機認識装置の全体構成は、前述した図1と同一であり、撮像方向設定部13の構成が相違する。以下、図9に示すブロック図を参照して、第2実施形態に係る撮像方向設定部13の構成について説明する。
次に、本発明の第2実施形態について説明する。第2実施形態に係る信号機認識装置の全体構成は、前述した図1と同一であり、撮像方向設定部13の構成が相違する。以下、図9に示すブロック図を参照して、第2実施形態に係る撮像方向設定部13の構成について説明する。
図9に示すように、撮像方向設定部13は、走行経路決定部26と、信号機位置推定部21と、撮像姿勢設定部23と、カメラ姿勢制御部24、及び、検出領域算出部25を備えている。図3に示した「位置変化量算出部22」の代わりに、「走行経路決定部26」が設けられている点で、前述した第1実施形態と相違する。図3と同一の構成要素については、同一符号を付して構成説明を省略する。
走行経路決定部26には、地図情報D02、及び車両現在位置情報D05が入力され、これらの情報を用いて、車両51が走行する経路を求める。例えば、地図情報D02に基づいて、車両51が現在走行している走行路を検出し、更に、車両現在位置情報D05から車両51がこの走行路上のどの位置を走行しているかを検出する。そして、この検出結果から車両51が今後走行する経路を推定し、走行経路情報D12として出力する。例えば、車両51がカーブ路の手前を走行しており、その後、このカーブ路に進入すると推定される場合には(後述する図11(a)の車両51参照)、このカーブ路のカーブ方向(左または右方向)、及び曲率半径の情報を、走行経路情報D12として出力する。
撮像姿勢設定部23は、走行経路情報D12、及び信号機位置推定部21より出力される検出位置情報D08に基づいて、カメラ11の撮像方向を決定する。具体的には、撮像姿勢設定部23は、車両51の走行状況に応じてカメラ11が信号機P1を撮像する際の撮像方向の変化を予測し、撮像方向に変化が生じた場合でも信号機P1が画像R1からフレームアウトしないように、カメラ11の撮像方向を決定する。
次に、第2実施形態に係る信号機認識装置の作用を、図10に示すフローチャートを参照して説明する。初めに、ステップS31において、図9に示した信号機位置推定部21は、地図情報D02と車両現在位置情報D05に基づいて、カメラ11で撮像された画像R1内で、信号機位置を算出する。この処理は、所定の演算周期で実行される。
ステップS32において、走行経路決定部26は、車両51が将来走行すると推定される経路を地図情報D02から取得し、更に車両51の車両現在位置情報D05に基づいて、画像R1内での信号機の動きを予測する。
ステップS33において撮像姿勢設定部23は、画像R1内の信号機が、該画像R1からフレームアウトするか否かを推定する。この処理では、車両51の走行経路の状況に基づいて、該車両51が信号機の設置されている交差点に接近した場合の、車両51の走行方向等の情報から、信号機が画像からフレームアウトするか否かを推定する。
そして、フレームアウトすると推定される場合には(ステップS33でYES)、ステップS34において、カメラ姿勢制御部24は、画像R1から信号機がフレームアウトしないように、或いは余儀なくフレームアウトする場合でも、撮像方向の変更回数が最小限に納まるようにカメラ11の撮像方向を設定して姿勢制御する。カメラ11の撮像方向の姿勢制御については、図11〜図13を参照して後述する。ステップS35において、カメラ姿勢制御部24は、設定された撮像方向となるように、カメラ11の撮像方向の姿勢制御をする。その後、ステップS36に処理を進める。
一方、フレームアウトしないと推定される場合には(ステップS33でNO)、ステップS36に処理を進める。ステップS36において、検出領域算出部25は、カメラ11で撮像された画像R1から、信号機を検出するための検出領域を設定する。このような設定により、車両51が信号機の設置された交差点に接近した際に、該信号機が画像R1内からフレームアウトすることを回避できる。
次に、前述したステップS34の処理の詳細について、図11〜図13を参照して説明する。例えば、図11(a)に示すように、車両51が右方向にカーブするカーブ路X2を走行して、信号機P1が設置された交差点に向かう場合を例に挙げて説明する。図11(a)に示すように、車両51は、地点Z1,Z2,Z3,Z4に向けて進行する。
いま、図11(a)に示す地点Z1において、図11(b)の符号b1に示すように、画像R1の左下方に信号機P1が存在しているものとする。この拡大図を図12に示す。そして、車両51がカーブ路X2を走行することにより信号機P1は、図12に示す画像R1に対して曲線L1のように移動することになる。なお、図12に示すZ1〜Z4は、図11(a)に示す地点Z1〜Z4に対応している。従って、カメラ11の撮像方向を変化させて画像R1を移動させなければ、信号機P1は画像R1からフレームアウトしてしまう。
画像R1内で、信号機P1が曲線L1に示す移動軌跡を辿って移動することは、地図情報D02、及び車両の車両現在位置情報D05から予め取得できる情報である。そこで、カメラ姿勢制御部24は、信号機P1が図12に示す曲線L1のように変化することを推定し、曲線L1のような変化が生じた場合でも信号機P1が画像R1からフレームアウトしないように、カメラ11の撮像方向の姿勢制御をする。
具体的には、車両51が図11(a)に示す地点Z1に達した時点で、図11(b)の符号b1に示すように、信号機が画像R1の左下方に存在する場合には、図11(c)の符号c1に示すように、信号機が画像R1の中央のやや左に位置するようにカメラ11の撮像方向の姿勢制御をする。
すると、車両51が地点Z2に達した際に、符号c2に示すように信号機P1が画像R1の左端部に位置する。更に、車両51が地点Z3,Z4に達すると、信号機P1は符号c3,c4に示すように信号機P1が画像R1内に位置する。つまり、車両51が地点Z1に達した時点で、車両51の将来の走行経路、及び車両51の車両現在位置情報D05に基づき、画像R1内での信号機の動きを予測し、この予測に基づいて予めカメラ11の撮像方向の姿勢制御をしておくことにより、地点Z1を通過した後には、カメラ11の撮像方向の姿勢制御をすることなく、画像R1内に信号機P1を捉えることができる。
次に、図11に示したカメラ11の撮像方向の姿勢制御と対比するために、画像R1内での信号機P1の移動方向のみに基づいてカメラ11の撮像方向を変更する場合、即ち、車両51の走行経路を推定せずにカメラ11の撮像方向を変更する場合について、図13を参照して説明する。図13(a)は、車両51の位置と該車両51の走行経路であるカーブ路X2を示しており、図11(a)と同一の図である。そして、図13(b)の符号b1に示すように、信号機P1が画像R1内の左下方に存在し、且つこの信号機P1が左方向に移動する場合には、図13(c)の符号c1に示すように、画像R1の右側に信号機P1が位置するように、カメラ11の撮像方向を変更する。
その後、車両51が地点Z2に達すると、今度は符号c2に示すように、信号機P1が右上方向に移動することになる。従って、車両51が地点Z3に達すると、符号c3に示すように、画像R1内から信号機P1がフレームアウトする可能性が高まる。従って、車両51が地点Z3に達した時点で図13(d)の符号d1に示すように、信号機P1が画像R1の左側に位置するようにカメラ11の撮像方向を変更する。そして、車両51が地点Z4に達した時点では、図13(d)の符号d2に示すように、信号機P1が画像R1のほぼ中央に位置することになる。
このように、図13に示した例では、信号機P1が画像R1内からフレームアウトすることを回避することができるものの、車両51が地点Z1から地点Z4に達するまでの間に2回の撮像方向の変更を行っている。その結果、カメラ11の撮像方向の姿勢制御の時間が増え、信号機P1の点灯状態の検出精度が低下する可能性がある。
これに対して、第2実施形態に係る信号機認識装置では、車両51の走行経路であるカーブ路X2に基づいてカメラ11の撮像方向を姿勢制御するので、図11に示すように、信号機P1から十分に離れた地点である地点Z1に達した時点でカメラ11の撮像方向を変更すると、その後、信号機P1が画像R1からフレームアウトすることがなくなる。よって、車両51が信号機P1に接近した後においてのカメラ11の撮像方向の変更がなくなる。
このようにして、第2実施形態に係る信号機認識装置100では、撮像方向設定部13が走行経路決定部26を備えており、該走行経路決定部26により、車両51の走行経路を予め推定することにより、画像R1内での信号機P1の移動範囲を予測する。即ち、信号機の画像上の将来の移動範囲を予測する。そして、この移動範囲に基づいて、信号機がフレームアウトしないように、カメラ11の撮像方向を変更する。
従って、車両51がカーブ路を走行する場合等で、画像R1内で信号機P1が複雑に移動する場合であっても、必要最小限の撮像方向の変更により信号機P1のフレームアウトを回避できる。その結果、信号機P1に接近する地点Z2〜Z4でのカメラ11の撮像方向の変更が不要となるので、信号機P1の点灯状態の変化を確実に検出して、交差点で停止するか、走行するかを確実に判断することが可能となる。
[第3実施形態の説明]
次に、本発明の第3実施形態について説明する。上述した第1実施形態、及び第2実施形態では、信号機P1が存在する交差点から十分遠い地点である地点Z1にてカメラ11の撮像方向を変更し、その後、カメラ11の撮像方向の変更を不要とすることについて示した。
次に、本発明の第3実施形態について説明する。上述した第1実施形態、及び第2実施形態では、信号機P1が存在する交差点から十分遠い地点である地点Z1にてカメラ11の撮像方向を変更し、その後、カメラ11の撮像方向の変更を不要とすることについて示した。
第3実施形態では、車両51が自動運転されているものとし、信号機P1の手前に、カメラの撮像方向の変更を制限する領域(以下「変更制限領域」という)を設定する。そして、この変更制限領域内にてカメラ11の撮像方向を変更することなく、信号機P1が画像R1内からフレームアウトしないように制御する。以下、図14、図15を参照して詳細に説明する。なお、装置構成は、第1実施形態で示した図1〜図3と同様であるので、説明を省略する。
図14(a)は、信号機P1の手前に設定した変更制限領域Q1を示す説明図である。自動運転されている車両51が信号機P1に接近する場合には、この信号機P1の点灯状態(赤色、緑色の点灯状態等)を監視し、この点灯状態に応じて、車両51を停止させるか、或いはそのまま走行を継続するかを判断する。この判断が必要な領域を上記の変更制限領域Q1として設定する。即ち、カメラ11の撮像方向が変更されると、点灯状態の検出精度が低下するので、この判断が必要な領域では信号機P1の点灯状態を高精度に検出できるように変更制限領域Q1として設定する。ここで、変更制限領域Q1は、信号機P1に対して設けられる停止位置、車両51の走行速度、車両現在位置情報D05、地図情報D02に基づいて設定することができる。
例えば、図14(a)に示すように、変更制限領域Q1に達しない地点である地点Z1では、車両51から信号機P1まで十分な距離があるので、カメラ11の撮像方向を変更しても信号機P1の点灯状態検出に影響は無い。更に、変更制限領域Q1を通り越した地点Z2では、車両51が停止するか、或いは走行を継続するかの判断が既に終了しているので、カメラ11の撮像方向の変更は車両51の自動運転の走行制御に大きな影響を与えない。
従って、第3実施形態では、変更制限領域Q1を設定し、この変更制限領域Q1以外の地点でカメラ11の撮像方向を変更するようにカメラ11の姿勢を制御する。
具体的には、図14(b)の符号b1に示すように、地点Z1では画像R1に存在する信号機P1は、中央のやや右側に存在するので、この時点では信号機P1はフレームアウトしないと判断される。しかし、車両51が変更制限領域Q1の直前である地点Z1に達しているから、この時点でカメラ11の撮像方向を変更する。その結果、図14(c)の符号c1に示すように、信号機P1は画像R1内の左下方に位置するように制御される。その後、車両51が変更制限領域Q1内を通過して地点Z2に達するまでの間に、図14(c)の符号c2、c3に示すように、信号機P1が画像R1内からフレームアウトすることなく捉えることができる。
これに対して、変更制限領域Q1を設定しない場合には、図15に示すように、変更制限領域Q1内にてカメラ11の撮像方向が変更されることになる。即ち、図15(a)で車両51が地点Z1に達した時点では、図15(b)の符号b1に示すように、信号機P1は画像R1の中央やや右側に存在するので、該信号機P1は画像R1内からフレームアウトすると判断されない。そして、符号b2に示すように、信号機P1が画像R1の右端部に位置した時点(図15(a)で車両51が変更制限領域Q1内の位置)で、フレームアウトすると判断されるので、この時点でカメラ11の撮像方向が変更されることになる。
その結果、図15(c)の符号c1に示すように、信号機P1が画像R1の左下方に来るように制御される。更に、車両51が走行すると、地点Z2に達した時点で図15(c)の符号c2に示すように信号機P1が画像R1内の中央やや右側に位置する。この場合、信号機P1の点灯状態の認識結果を必要とする変更制限領域Q1内にてカメラ11の撮像方向が変更されることになる。
従って、車両51が信号機P1の点灯状態に応じて停止するか、或いは走行を継続するかの判断が必要とされる領域内でカメラ11の撮像方向が変更され、この撮像方向の変更により信号機P1の検出精度が低下する可能性がある。
第3実施形態に係る信号機認識装置100では、図14に示したように信号機P1の手前に変更制限領域Q1を設定し、該変更制限領域Q1内でのカメラ11の撮像方向の変更を禁止しているので、画像R1内から信号機P1がフレームアウトすることを防止し、且つ、信号機P1の点灯状態を高精度に検出することができる。その結果、車両51を停止させるか、或いは走行させるかを適切に判断することができる。
また、変更制限領域Q1は、車速と減速Gと停止線までの距離に応じて変化する。この変化に応じて変更制限領域Q1を設定することにより、信号機P1の認識結果が必要なタイミングと、カメラ11の撮像方向を変更するタイミングを確実にずらすことができる。
[第3実施形態の変形例の説明]
前述した第3実施形態では、信号機P1の手前にカメラ11の撮像方向の変更を禁止する変更制限領域Q1を設定し、車両51がこの変更制限領域Q1に達する前の時点でカメラ11の撮像方向を変更することにより、画像R1内から信号機P1がフレームアウトすることを回避するように制御した。
前述した第3実施形態では、信号機P1の手前にカメラ11の撮像方向の変更を禁止する変更制限領域Q1を設定し、車両51がこの変更制限領域Q1に達する前の時点でカメラ11の撮像方向を変更することにより、画像R1内から信号機P1がフレームアウトすることを回避するように制御した。
信号機P1の点灯状態の検出は、所定の演算周期毎に実行されており、カメラ11で撮像された画像のうち、例えば、演算周期の開始時点の画像のみ使われる場合がある。このような場合には、この演算周期内で、カメラ11で撮像された画像を使用しない時間帯においては、カメラ11の撮像方向を変更しても、信号機P1の点灯状態の検出に影響を与えない。
そこで、変形例に係る信号機認識装置では、車両51が変更制限領域Q1内を走行している際に、カメラ11で撮像された画像を使用する時間帯(以下、「画像使用時間帯」という)と、カメラ11で撮像された画像を使用しないカメラ11の撮像方向を変更可能な時間帯(以下、「変更時間帯」という)に区分し、画像使用時間帯のみにおいて、撮像方向の変更を禁止するように変更禁止領域を設定する。
具体的には、図16(a)に示すように、変更制限領域Q1内に、画像使用時間帯に対応する領域Qa、及び変更時間帯に対応する領域Qbを設定する。これらの領域Qa、Qbは、車両51の走行速度、及び信号機認識部14における演算周期に基づいて設定することができる。そして、領域Qbについては、カメラ11の撮像方向の変更を許可する。
従って、例えば変更制限領域Q1内における地点Z2は領域Qb内であるので、カメラ11の撮像方向を変更することが可能である。よって、図16(b)に示すように、車両51が地点Z1を走行している場合には、図16(b)の符号b1に示すように、信号機P1はフレームアウトしないので、カメラ11の撮像方向を変更しない。そして、車両51が地点Z2に達した時点で、符号b2に示すように、画像R1から信号機P1がフレームアウトすると判断されるので、カメラ11の撮像方向を変更する。その結果、図16(c)の符号c1に示すように、画像R1内の左下に信号機P1が位置するようになり、その後、車両51が地点Z3に達した際においても図16の符号c2に示すように、画像R1から信号機P1はフレームアウトしない。
このようにして、第3実施形態の変形例に係る信号機認識装置100では、信号機認識部14の演算周期に基づいて、画像使用時間帯に対応する領域Qaと、変更時間帯に対応する領域Qbを設定し、領域Qbについてはカメラ11の撮像方向の変更を許可している。従って、車両51が変更制限領域Q1内に進入した場合であっても、領域Qb内の走行時にてカメラ11の撮像方向を変更することが可能になり、信号機P1が画像R1内からフレームアウトすることをより確実に回避することが可能となる。
[第4実施形態の説明]
次に、本発明の第4実施形態について説明する。なお、装置構成は、第1実施形態で示した図1〜図3と同様であるので、説明を省略する。
次に、本発明の第4実施形態について説明する。なお、装置構成は、第1実施形態で示した図1〜図3と同様であるので、説明を省略する。
第4実施形態では、監視対象となる信号機が2つ存在する場合に、双方の信号機が画像からフレームアウトしないように、カメラ11の撮像方向の姿勢制御をする。以下、図17を参照して詳細に説明する。図17(a)に示すように、車両51の走行路X3に2つの信号機P1,P2が存在し双方が撮像可能である場合には、双方の信号機P1,P2が画像R1からフレームアウトしないようにカメラ11の撮像方向の姿勢制御をする。
従って、車両51が地点Z1に達した際に、図17(b)の符号b1に示すように2つの信号機P1,P2が存在する画像R1が得られる。その後、地点Z2に達すると符号b2に示すように、信号機P2が画像R1からフレームアウトすると判断される。この場合には、この地点Z2にてカメラ11の撮像方向を変更する。その結果、図17(c)の符号c1に示すように、信号機P1,P2が画像R1内の左側に位置するようにカメラ11の撮像方向を設定して姿勢制御する。即ち、2つの信号機P1,P2のうち左側の信号機P1が、画像R1の左側に位置するようにして、双方の信号機P1,P2がフレームアウトしないように制御する。
更に、車両51が地点Z3に達した際には、図17(c)の符号c2に示すように、信号機P2が画像R1からフレームアウトすると判断される。この場合には、この地点Z3にてカメラ11の撮像方向を変更する。その結果、図17(d)の符号d1に示すように、信号機P1,P2が画像R1内の左側に位置するようにカメラ11の撮像方向を設定して姿勢制御する。
その後、車両51が地点Z4に達した際には、図17(d)の符号d2に示すように、信号機P2が画像R1内からフレームアウトすると判断される。この場合には、この地点Z4にてカメラ11の撮像方向を変更する。その結果、図17(e)の符号e1に示すように、信号機P1,P2が画像R1内の左側に位置するようにカメラ11の撮像方向を設定して姿勢制御する。そして、車両51が地点Z5に達した時点では、双方の信号機P1,P2は画像R1内からフレームアウトされることなく捉えられることになる。
このようにして、第4実施形態に係る信号機認識装置100では、2つの信号機P1,P2が存在する場合でも、各信号機P1,P2が画像R1からフレームアウトすることなく表示させ続けることが可能となる。ここで、図17に示した例では、図17(a)に示す地点Z2,Z3,Z4の3か所にてカメラ11の撮像方向の姿勢制御をしている。このようなカメラ11の撮像方向の姿勢制御は、前述した図16に示したように、信号認識処理のカメラ11で撮像された画像を使用しない期間となる領域Qbにて実行することにより、信号機状態の検出精度に影響を与えることなくカメラ11の撮像方向を変更することが可能となる。
なお、上記した第4実施形態では、2つの信号機P1,P2が存在する場合に、これらの各信号機P1,P2が画像R1からフレームアウトしないようにカメラ11の撮像方向を設定して姿勢制御する例について説明したが、本発明は2つの信号機に限定されず、3以上の信号機が存在する場合にも同様に適用することが可能である。
[第5実施形態の説明]
次に、本発明の第5実施形態について説明する。なお、装置構成は第1実施形態で示した図1〜図3と同様であるので、説明を省略する。
次に、本発明の第5実施形態について説明する。なお、装置構成は第1実施形態で示した図1〜図3と同様であるので、説明を省略する。
第5実施形態では、監視対象となる信号機が2つ存在し、且つ、双方の信号機が同期して作動する場合には、このうち画像R1内での移動量が小さい方を優先的にフレームアウトしないようにカメラ11の撮像方向を設定して姿勢制御する。以下、図18を参照して詳細に説明する。図18(a)に示すように、車両51の走行路に2つの信号機P1,P2が存在する場合には、地点Z1においてカメラ11で撮像される画像R1は、図18(b)の符号b1に示すように、画像R1の中央部に各信号機P1,P2が捉えられることになる。そして、各信号機P1,P2が同期して作動する場合、即ち、点灯色の変化が同一である場合には、各信号機P1,P2のうち画像R1内での移動量が小さいと推定される信号機P1が、画像R1からフレームアウトしないようにカメラ11の撮像方向の姿勢制御をする。
即ち、車両51が地点Z2に達した時点で図18(b)の符号b2に示すように、信号機P2がフレームアウトすると判断された場合であっても、カメラ11の撮像方向の姿勢制御をしない。そして、車両51が地点Z3に達した時点で符号b3に示すように、信号機P1がフレームアウトすると判断された場合に、カメラ11の撮像方向の姿勢制御をして、図18(c)の符号c1に示すように信号機P1が画像R1の左側に位置するようにする。その後、車両51が地点Z4,Z5に達した際には、それぞれ符号c2,c3に示すように、信号機P1は画像R1からフレームアウトすることなく捉えられることになる。その結果、信号機P1の点灯状態を確実に認識することが可能となる。勿論、信号機P2は、信号機P1と同期して作動するので、点灯状態を検出できなくても問題は生じない。
また、地点Z3におけるカメラ11の撮像方向の姿勢制御は、前述した図16に示したように、信号認識処理のカメラ11で撮像された画像を使用しない期間となる領域Qbにて実行することにより、信号機状態の検出精度に影響を与えることなくカメラ11の撮像方向を変更することが可能となる。
このようにして、第5実施形態に係る信号機認識装置では、カメラ11で撮像される画像R1内に、互いに同期して作動する2つの信号機P1,P2が存在する場合には、このうち一方の信号機(上記の例では、信号機P1)が画像R1からフレームアウトしないように制御されるので、カメラ11の撮像方向の変更の回数を低減させ、且つ、確実に信号機の点灯状態を検出することが可能となる。
以上、本発明の信号機認識装置、及び信号機認識方法を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。
11 カメラ(撮像部)
12 車両現在位置検出部
13 撮像方向設定部
14 信号機認識部
21 信号機位置推定部
22 位置変化量算出部
23 撮像姿勢設定部
24 カメラ姿勢制御部
25 検出領域算出部
26 走行経路決定部
51 車両
100 信号機認識装置
D01 ランドマーク情報
D02 地図情報
D03 カメラ情報
D04 信号機情報
D05 車両現在位置情報
D06 検出領域情報
D07 画像データ
D08 検出位置情報
D09 検出位置変化情報
D10 撮像姿勢情報
D11 姿勢情報
D12 走行経路情報
P1,P2 信号機
Q1 変更制限領域
R1 画像
X1 走行路
X2 カーブ路
X3 走行路
12 車両現在位置検出部
13 撮像方向設定部
14 信号機認識部
21 信号機位置推定部
22 位置変化量算出部
23 撮像姿勢設定部
24 カメラ姿勢制御部
25 検出領域算出部
26 走行経路決定部
51 車両
100 信号機認識装置
D01 ランドマーク情報
D02 地図情報
D03 カメラ情報
D04 信号機情報
D05 車両現在位置情報
D06 検出領域情報
D07 画像データ
D08 検出位置情報
D09 検出位置変化情報
D10 撮像姿勢情報
D11 姿勢情報
D12 走行経路情報
P1,P2 信号機
Q1 変更制限領域
R1 画像
X1 走行路
X2 カーブ路
X3 走行路
Claims (9)
- 車両に搭載され、車両周囲の画像を撮像する撮像部と、
前記車両周囲の地図情報を取得する地図情報取得部と、
前記車両の地図上の現在位置を検出する車両現在位置検出部と、
前記車両現在位置と前記地図情報に基づき、信号機の画像上の位置を推定する信号機位置推定部と、
前記信号機の画像上の位置と、前記信号機の画像上の将来の移動方向に基づいて、前記撮像部の撮像方向を設定する撮像方向設定部と、
前記撮像部の撮像方向を、前記撮像方向設定部で設定された撮像方向に変更する撮像方向変更部と、
前記撮像部が前記撮像方向で撮像した画像から信号機を認識する信号機認識部と、
を備え、
前記撮像方向変更部は、前記信号機の画像上の位置と、前記信号機の画像上の将来の移動方向に基づいて、前記撮像部の撮像方向を変更する地点もしくは、領域を設定し、
前記変更する地点もしくは、領域に、前記車両が達したときに、前記撮像方向を変更すること
を特徴とする信号機認識装置。 - 車両に搭載され、前記車両の周囲の画像を撮像する撮像部と、
前記車両周囲の地図情報を取得する地図情報取得部と、
前記車両の地図上の現在位置を検出する車両現在位置検出部と、
前記車両現在位置と前記地図情報に基づき、信号機の画像上の位置を推定する信号機位置推定部と、
前記信号機の画像上の位置と、前記信号機の画像上の将来の移動方向に基づいて、前記撮像部の撮像方向を設定する撮像方向設定部と、
前記撮像部の撮像方向を、前記撮像方向設定部で設定された撮像方向に変更する撮像方向変更部と、
前記撮像部が前記撮像方向で撮像した画像から信号機を認識する信号機認識部と、
を備え、
前記撮像方向設定部は、同期して作動する複数の信号機が前記撮像部にて撮像可能である場合には、前記同期して作動する複数の信号機のうち、画像上の移動量が最小となる信号機の移動方向に基づいて前記撮像部の撮像方向を設定すること
を特徴とする信号機認識装置。 - 前記撮像方向設定部は、前記信号機の画像上の位置と、前記信号機の画像上の将来の移動範囲に基づいて前記撮像部の撮像方向を設定すること
を特徴とする請求項1または2に記載の信号機認識装置。 - 撮像方向設定部は、前記信号機の画像上の位置と前記信号機の画像上の将来の移動範囲から撮像方向の変更量を算出し、前記撮像部の撮像範囲と前記変更量に基づいて撮像方向を設定すること
を特徴とする請求項1〜3のいずれか1項に記載の信号機認識装置。 - 前記撮像方向設定部は、前記車両の将来の走行経路に基づいて前記信号機の画像上の将来の移動範囲を予測すること
を特徴とする請求項3または4に記載の信号機認識装置。 - 前記撮像方向設定部は、複数の信号機が前記撮像部にて撮像可能である場合には、前記複数の信号機が画像上に含まれるように、前記撮像部の撮像方向を設定すること
を特徴とする請求項1〜5のいずれか1項に記載の信号機認識装置。 - 前記撮像方向設定部は、前記信号機に対して設けられる停止位置から前記車両までの距離、及び前記車両の走行速度に基づいて、前記撮像部の撮像方向の変更を制限する変更制限領域を設定し、該変更制限領域内に進入する前に、前記撮像部の撮像方向を変更すること
を特徴とする請求項1〜6のいずれか1項に記載の信号機認識装置。 - 前記撮像方向設定部は、前記信号機に対して設けられる停止位置から車両までの距離、車両の走行速度、及び、前記信号機認識部による信号機認識の演算周期に基づいて、前記撮像部の撮像方向の変更時間帯を設定し、
前記撮像方向変更部は、前記変更時間帯に前記撮像部の撮像方向を変更すること
を特徴とする請求項1〜6のいずれか1項に記載の信号機認識装置。 - 撮像部により車両周囲の画像を撮像するステップと、
車両周囲の地図情報を取得するステップと、
車両の地図上の現在位置を検出するステップと、
車両現在位置と前記地図情報に基づき、信号機の画像上の位置を推定するステップと、
前記信号機の画像上の位置と、前記信号機の画像上の将来の移動方向に基づいて、前記撮像部の撮像方向を設定するステップと、
前記撮像部の撮像方向を、設定された撮像方向に変更するステップと、
前記撮像部が前記撮像方向で撮像した画像から信号機を認識するステップと、
前記信号機の画像上の位置と、前記信号機の画像上の将来の移動方向に基づいて、前記撮像部の撮像方向を変更する地点もしくは、領域を設定し、前記変更する地点もしくは、領域に、前記車両が達したときに、前記撮像方向を変更するステップと、
を備えたことを特徴とする信号機認識方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/070041 WO2017009933A1 (ja) | 2015-07-13 | 2015-07-13 | 信号機認識装置及び信号機認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017009933A1 JPWO2017009933A1 (ja) | 2018-05-31 |
JP6447729B2 true JP6447729B2 (ja) | 2019-01-16 |
Family
ID=57757866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017528037A Active JP6447729B2 (ja) | 2015-07-13 | 2015-07-13 | 信号機認識装置及び信号機認識方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10339805B2 (ja) |
EP (1) | EP3324383B1 (ja) |
JP (1) | JP6447729B2 (ja) |
KR (1) | KR101988811B1 (ja) |
CN (1) | CN107851387B (ja) |
BR (1) | BR112018000191B1 (ja) |
CA (1) | CA2992080C (ja) |
MX (1) | MX361911B (ja) |
RU (1) | RU2693419C1 (ja) |
WO (1) | WO2017009933A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2018180245A1 (ja) * | 2017-03-28 | 2020-05-14 | パイオニア株式会社 | 出力装置、制御方法、プログラム及び記憶媒体 |
JP6552064B2 (ja) * | 2017-03-31 | 2019-07-31 | 株式会社Subaru | 車両の走行制御システム |
WO2018223882A1 (en) * | 2017-06-08 | 2018-12-13 | Zhejiang Dahua Technology Co., Ltd. | Methods and devices for processing images of traffic light |
US10525903B2 (en) * | 2017-06-30 | 2020-01-07 | Aptiv Technologies Limited | Moving traffic-light detection system for an automated vehicle |
JP6990137B2 (ja) * | 2018-03-28 | 2022-01-12 | 本田技研工業株式会社 | 車両制御装置 |
US10567724B2 (en) * | 2018-04-10 | 2020-02-18 | GM Global Technology Operations LLC | Dynamic demosaicing of camera pixels |
CN108897345A (zh) * | 2018-07-18 | 2018-11-27 | 北京小马智行科技有限公司 | 一种控制无人车摄像头旋转的方法及*** |
US10339400B1 (en) * | 2018-12-18 | 2019-07-02 | Chongqing Jinkang New Energy Automobile Co., Ltd. | Traffic light detection using multiple cameras |
DE102018133441A1 (de) * | 2018-12-21 | 2020-06-25 | Volkswagen Aktiengesellschaft | Verfahren und System zum Bestimmen von Landmarken in einer Umgebung eines Fahrzeugs |
CN110647605B (zh) * | 2018-12-29 | 2022-04-29 | 北京奇虎科技有限公司 | 一种基于轨迹数据挖掘红绿灯数据的方法及装置 |
US10930145B2 (en) * | 2019-03-06 | 2021-02-23 | Avanti R&D, Inc. | Traffic system for predicting and providing traffic signal switching timing |
JP7268497B2 (ja) * | 2019-06-24 | 2023-05-08 | トヨタ自動車株式会社 | 信号認識システム |
JP7088137B2 (ja) * | 2019-07-26 | 2022-06-21 | トヨタ自動車株式会社 | 信号機情報管理システム |
JP6965325B2 (ja) * | 2019-11-05 | 2021-11-10 | 三菱スペース・ソフトウエア株式会社 | 自動検出システムおよび自動検出プログラム |
JP6979438B2 (ja) * | 2019-11-05 | 2021-12-15 | 三菱スペース・ソフトウエア株式会社 | データベース生成システムおよびデータベース生成プログラム |
BR112022008335A2 (pt) * | 2019-11-12 | 2022-07-26 | Nissan Motor | Método de reconhecimento de sinal de trânsito e dispositivo de reconhecimento de sinal de trânsito |
US20230298463A1 (en) * | 2020-07-31 | 2023-09-21 | Nec Corporation | Important region setting device, encoding device, network camera, important region setting method, and program recording medium |
CN112489466B (zh) * | 2020-11-27 | 2022-02-22 | 恒大新能源汽车投资控股集团有限公司 | 交通信号灯识别方法和装置 |
US11987248B2 (en) * | 2021-03-23 | 2024-05-21 | Toyota Jidosha Kabushiki Kaisha | Vehicle control device |
CN114332815B (zh) * | 2021-12-24 | 2023-08-29 | 广州小鹏自动驾驶科技有限公司 | 交通灯状态检测方法、装置、车辆及存储介质 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11306489A (ja) | 1998-04-16 | 1999-11-05 | Matsushita Electric Ind Co Ltd | カメラシステム |
EP1220182A3 (en) * | 2000-12-25 | 2005-08-17 | Matsushita Electric Industrial Co., Ltd. | Image detection apparatus, program, and recording medium |
JP2003151042A (ja) * | 2001-11-13 | 2003-05-23 | Matsushita Electric Ind Co Ltd | 車両用ドライブレコーダ |
US20150235094A1 (en) * | 2014-02-17 | 2015-08-20 | General Electric Company | Vehicle imaging system and method |
JP2006163756A (ja) * | 2004-12-07 | 2006-06-22 | Honda Lock Mfg Co Ltd | 車両の視界補助装置 |
JP4631750B2 (ja) * | 2006-03-06 | 2011-02-16 | トヨタ自動車株式会社 | 画像処理システム |
JP4622928B2 (ja) | 2006-04-14 | 2011-02-02 | トヨタ自動車株式会社 | 車載カメラ制御装置および車載カメラ制御方法。 |
US20100033571A1 (en) * | 2006-09-28 | 2010-02-11 | Pioneer Corporation | Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium |
JP5427203B2 (ja) * | 2011-03-30 | 2014-02-26 | 富士重工業株式会社 | 車両用運転支援装置 |
MY180606A (en) * | 2011-08-02 | 2020-12-03 | Nissan Motor | Driving assistance device and driving assistance method |
US8989914B1 (en) * | 2011-12-19 | 2015-03-24 | Lytx, Inc. | Driver identification based on driving maneuver signature |
KR101361663B1 (ko) * | 2012-03-21 | 2014-02-12 | 주식회사 코아로직 | 차량용 영상 처리 장치 및 방법 |
US9145140B2 (en) * | 2012-03-26 | 2015-09-29 | Google Inc. | Robust method for detecting traffic signals and their associated states |
JP5761109B2 (ja) * | 2012-04-10 | 2015-08-12 | トヨタ自動車株式会社 | 運転支援装置 |
US9176500B1 (en) * | 2012-05-14 | 2015-11-03 | Google Inc. | Consideration of risks in active sensing for an autonomous vehicle |
US20130335579A1 (en) * | 2012-06-15 | 2013-12-19 | Palo Alto Research Center Incorporated | Detection of camera misalignment |
US8988574B2 (en) * | 2012-12-27 | 2015-03-24 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information using bright line image |
US9389093B2 (en) * | 2013-04-04 | 2016-07-12 | Nissan Motor Co., Ltd. | Traffic signal recognition apparatus |
JP5886799B2 (ja) | 2013-08-05 | 2016-03-16 | 富士重工業株式会社 | 車外環境認識装置 |
GB2517788B (en) * | 2013-09-03 | 2016-06-08 | Jaguar Land Rover Ltd | Water depth estimation apparatus and method |
JP6180968B2 (ja) * | 2014-03-10 | 2017-08-16 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
RU144555U1 (ru) * | 2014-05-05 | 2014-08-27 | Павел Юрьевич Михайлов | Устройство для повышения безопасности движения транспортного средства |
JP2016081359A (ja) * | 2014-10-20 | 2016-05-16 | クラリオン株式会社 | 情報提示装置 |
JP6462328B2 (ja) * | 2014-11-18 | 2019-01-30 | 日立オートモティブシステムズ株式会社 | 走行制御システム |
JP6361567B2 (ja) * | 2015-04-27 | 2018-07-25 | トヨタ自動車株式会社 | 自動運転車両システム |
-
2015
- 2015-07-13 KR KR1020187001244A patent/KR101988811B1/ko active IP Right Grant
- 2015-07-13 EP EP15898246.2A patent/EP3324383B1/en active Active
- 2015-07-13 CN CN201580081578.7A patent/CN107851387B/zh active Active
- 2015-07-13 BR BR112018000191-0A patent/BR112018000191B1/pt active IP Right Grant
- 2015-07-13 JP JP2017528037A patent/JP6447729B2/ja active Active
- 2015-07-13 RU RU2018105099A patent/RU2693419C1/ru active
- 2015-07-13 CA CA2992080A patent/CA2992080C/en active Active
- 2015-07-13 US US15/743,072 patent/US10339805B2/en active Active
- 2015-07-13 WO PCT/JP2015/070041 patent/WO2017009933A1/ja active Application Filing
- 2015-07-13 MX MX2018000377A patent/MX361911B/es active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
JPWO2017009933A1 (ja) | 2018-05-31 |
EP3324383A1 (en) | 2018-05-23 |
MX361911B (es) | 2018-12-19 |
KR20180018732A (ko) | 2018-02-21 |
BR112018000191A2 (ja) | 2018-09-11 |
CN107851387B (zh) | 2021-04-27 |
WO2017009933A1 (ja) | 2017-01-19 |
EP3324383A4 (en) | 2018-12-05 |
BR112018000191B1 (pt) | 2023-02-14 |
US20180365991A1 (en) | 2018-12-20 |
CA2992080A1 (en) | 2017-01-19 |
RU2693419C1 (ru) | 2019-07-02 |
MX2018000377A (es) | 2018-03-14 |
KR101988811B1 (ko) | 2019-06-12 |
CA2992080C (en) | 2020-01-28 |
EP3324383B1 (en) | 2021-05-19 |
US10339805B2 (en) | 2019-07-02 |
CN107851387A (zh) | 2018-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6447729B2 (ja) | 信号機認識装置及び信号機認識方法 | |
EP3324384B1 (en) | Traffic light recognition device and traffic light recognition method | |
US9235767B2 (en) | Detection region modification for driving assistance apparatus and driving assistance method | |
JP2007235642A (ja) | 障害物検知システム | |
US20180150705A1 (en) | Traffic Signal Detection Device and Traffic Signal Detection Method | |
JP2020067698A (ja) | 区画線検出装置及び区画線検出方法 | |
JP2016038757A (ja) | 信号機認識装置及び信号機認識方法 | |
KR101974772B1 (ko) | 신호기 검출 장치 및 신호기 검출 방법 | |
JP2020187474A (ja) | 走行車線認識装置、走行車線認識方法およびプログラム | |
JP2007164566A (ja) | 感応制御用車両感知システムおよび装置 | |
US11663834B2 (en) | Traffic signal recognition method and traffic signal recognition device | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
JP6253175B2 (ja) | 車両の外部環境認識装置 | |
JP5652374B2 (ja) | 車両用前照灯制御装置 | |
JP6295868B2 (ja) | 車両用表示装置 | |
WO2021094799A1 (ja) | 信号機認識方法及び信号機認識装置 | |
JP2010018223A (ja) | 車両用走行路面検出装置 | |
RU2779798C1 (ru) | Способ распознавания светофора и устройство распознавания светофора | |
JP7202844B2 (ja) | 信号機認識方法及び信号機認識装置 | |
JP7344776B2 (ja) | 信号機認識方法及び信号機認識装置 | |
JP2004343303A (ja) | 車載カメラの露光制御装置 | |
JP2008199166A (ja) | 温度ドリフト補正装置及びその方法 | |
JP2007164565A (ja) | 感応制御用車両感知システムおよび装置 | |
JP2007164564A (ja) | 感応制御用車両感知システムおよび装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181119 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6447729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |