JP3936313B2

JP3936313B2 - Image recognition device

Info

Publication number: JP3936313B2
Application number: JP2003181368A
Authority: JP
Inventors: 伸治長岡; 正人渡辺; 孝之辻; 弘服部; 泉高津戸
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2002-07-02
Filing date: 2003-06-25
Publication date: 2007-06-27
Anticipated expiration: 2023-06-25
Also published as: JP2005062910A

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像手段により撮影された画像から車両の走行に影響を与えそうな対象物を検出する画像認識装置に関する。
【０００２】
【従来の技術】
従来、赤外線カメラ等の撮像手段により捉えられた自車両周辺の画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する装置がある。
この装置では、左右一組のステレオカメラが撮影した自車両周辺の画像について、例えば右側の赤外線カメラが撮影した右画像を２値化処理することにより、第１の対象物画像を抽出する。次に、左側の赤外線カメラが撮影した左画像のグレースケール画像上に、第１の対象物画像に対応する画像（対応画像）を探索する探索領域を設定し、第１の対象物画像と探索領域中の物体画像との相関演算を実行することにより、第１の対象物画像に対する対応画像を第２の対象物画像として抽出する。そして、右画像中の第１の対象物画像の重心位置と、左画像中の第２の対象物画像の重心位置との差から、視差Δｄ（画素数）を求め、これから自車両と対象物との距離ｚを算出する（例えば、特許文献１参照。）。
【０００３】
ここで、相関演算についてより具体的に説明すると、対象物の距離ｚは、ステレオカメラ間での対象物視差Δｄより式（１）にて算出する。なお、ｆは焦点距離、Ｄはステレオカメラ間距離（基線長）、ｐは画素ピッチである。
ｚ＝ｆ×Ｄ／（Δｄ×ｐ）・・・（１）
また、図１０に示すように、対象物視差Δｄは、右画像の参照パタン（Ｐａｔ：Ｐａｔ＿ｄｘ×Ｐａｔ＿ｄｙ）を左画像の探索領域（Ａｒｅａ：Ａｒｅａ＿ｄｘ×Ａｒｅａ＿ｄｙ）の中において、１画素ずつシフトさせながら、相関度が一番高い位置を探索し、対応画像として検出する。
【０００４】
また、ここでは相関演算にＳＡＤ（Sum of Absolute Difference）を使用し、式（２）で示す相関エラー「Ｅｒｒｏｒ」が最小となる位置ｃｘを相関度が高い位置と判定する。
Ｅｒｒｏｒ［ｃｘ］＝Σ_ｉΣ_ｊ｜Ｐａｔ［ｉ］［ｊ］−Ａｒｅａ［ｉ＋ｃｘ］［ｊ］｜・・・（２）
但し、０≦ｃｘ＜（Ａｒｅａ＿ｄｘ−Ｐａｔ＿ｄｘ＋１）、０≦ｉ＜Ｐａｔ＿ｄｘ、０≦ｊ＜Ｐａｔ＿ｄｙである。
従って、ＰａｔとＡｒｅａの１画素の差分演算回数を１回とすると、式（２）の演算回数Ｃａｌｃ＿Ｎは、式（３）で表される。
Ｃａｌｃ＿Ｎ＝（Ｐａｔ＿ｄｘ×Ｐａｔ＿ｄｙ）×（Ａｒｅａ＿ｄｘ−Ｐａｔ＿ｄｘ＋１）・・・（３）
【０００５】
【特許文献１】
特開２００１−６０９６号公報
【０００６】
【発明が解決しようとする課題】
しかし、上記のようなアルゴリズムによる相関演算を用いた装置では、右画像から抽出された第１の対象物画像と相関度の高い部分を、左画像上の探索領域の中から正確に検出することができるものの、その計算速度は、ハードウェアの処理能力に依存する部分が多いという問題があった。
すなわち、撮像手段により撮影された画像から車両の走行に影響を与えそうな対象物を検出するような場合、車両の移動と共に撮像手段により撮影される物体は時々刻々変化するので、対象物が撮像手段により捉えられている間に、右画像から抽出した第１の対象物画像と、左画像のグレースケール画像上に設定された探索領域との相関演算を完了させるためには、非常に高速処理（演算）が可能な計算機を必要とし、計算機に対するコストの面や計算機に必要な電力の面、あるいは計算機を搭載するスペースの面で、このような計算機を車両に搭載して利用することは難しいという問題があった。
【０００７】
本発明は、上記課題に鑑みてなされたもので、可能な限り簡単な演算で探索領域から対象物を検出し、運転者に自車両の走行に影響を与えそうな対象物を認識させることができる画像認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る画像認識装置は、一組のステレオカメラ（例えば実施の形態の赤外線カメラ２Ｒ、２Ｌ）を備え、第１のカメラの画像から第１の対象物画像（例えば実施の形態の探索画像Ｒ１）を抽出すると共に、抽出された前記第１の対象物画像に基づいて設定された第２のカメラの画像上の探索領域（例えば実施の形態の探索領域Ｒ２）から、相関演算処理を行うことにより前記第１の対象物画像に対応する第２の対象物画像（例えば実施の形態の対応画像）を抽出し、前記第１と第２の対象物画像間の視差を求めて、該対象物までの距離を計算する対象物距離算出手段（例えば実施の形態のステップＳ１１〜ステップＳ１２、ステップＳ３１〜ステップＳ３８）を備えた画像認識装置において、前記対象物距離算出手段が、前記第１の対象物画像に対して設定された対象枠の幅と同一の移動幅を設定し、前記探索領域内において該移動幅で指定される領域毎に第１の対象物画像を移動させ、前記探索領域内の相関演算処理を行うことにより、前記第１の対象物画像と相関度の高い領域及びその両側の領域を新たな探索領域として抽出する（例えば実施の形態のステップＳ３３〜ステップＳ３６）ことを特徴とする。
【０００９】
以上の構成を備えた画像認識装置は、対象物距離算出手段が、第１の対象物画像により、第２のカメラの画像上の探索領域に対する相関演算処理を行う際、第１の対象物画像に対して設定された対象枠の幅を基準とする移動幅により、第１の対象物画像を探索領域内で順次移動させて相関演算処理を行うことで、探索領域内を粗く探索し、正確かつ少ない演算量で、第１の対象物画像との相関度が高く、第２の対象物画像が存在すると思われる領域を新たな探索領域として抽出することができる。
【００１１】
さらに、以上の構成を備えた画像認識装置は、探索領域内での第１の対象物画像の移動幅を、第１の対象物画像に対して設定された対象枠の幅と同一にすることで、第１の対象物画像を探索領域内で移動させたときに、重複して相関演算処理を行う領域が発生することがなく効率的に相関演算処理を全ての領域に実施することができると共に、探索領域内において、第１の対象物画像に捉えられた対象物を必ず１回だけ検出することになるので、対象物ではない物体と対象物との区別を容易にすることができる。
【００１２】
請求項２の発明に係る画像認識装置は、請求項１に記載の画像認識装置において、前記対象物距離算出手段が、前記新たな探索領域を抽出する度に、前記対象枠の幅に基づいて、前記移動幅を順次更に小さな移動幅へ更新し、該移動幅で前記新たな探索領域内の相関演算処理を行うことにより、前記探索領域を更に絞り込むことを特徴とする。
【００１３】
以上の構成を備えた画像認識装置は、対象物距離算出手段が、相関演算処理により抽出した探索領域を新たな探索領域とすると共に、探索領域が縮小することに伴って、相関演算処理における第１の対象物画像の移動幅を、順次対象枠の幅に基づいて小さな移動幅へ更新し、更新された移動幅で新たな探索領域内の相関演算処理を行うことにより、探索領域が縮小されてより相関度の高い領域が絞り込まれてきたら、これに合わせて相関演算処理における第１の対象物画像の移動幅も小さくして探索領域内を細かく探索することにより、正確かつ必要最小限の演算量で、効率的に相関演算処理を実施することができる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の一実施の形態の画像認識装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の画像認識装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号とから、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【００１５】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、検出された対象物と自車両との衝突する危険性が高いと判定された場合のみ、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を強調表示された対象物画像と共に表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１６】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、画像表示装置７の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１７】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１８】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の画像認識装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１９】
ステップＳ３においてグレースケール画像が得られたら、次に、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ４）。
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ５）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００２０】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ６）ことにより、対象物を抽出する処理を行う（ステップＳ７）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域Ｐ１からＰ４が、それぞれ対象物（２値化対象物）として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ８）。
【００２１】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２２】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ９）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００２３】
なお、以上説明したステップＳ４〜Ｓ９の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することにより、自車両１０の回頭角θｒを算出する（ステップＳ１０）。
【００２４】
一方、ステップＳ９とステップＳ１０の処理に平行して、ステップＳ１１〜Ｓ１２では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ９、及びステップＳ１０より長い時間を要するため、ステップＳ９、Ｓ１０より長い周期（例えばステップＳ１〜Ｓ１０の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とし、この探索画像の外接四角形を対象枠という）を抽出する（ステップＳ１１）。
【００２５】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して視差・距離算出演算を行い、自車両１０と対象物との距離ｚを算出する（ステップＳ１２）。なお、自車両１０と対象物との距離ｚを算出するステップＳ１２の視差・距離算出演算処理については、詳細を後述する。
【００２６】
また、ステップＳ１０における回頭角θｒの算出と、ステップＳ１２における対象物との距離算出が完了したら、次に、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１３）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
【００２７】
また、回頭角補正を終了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１４）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
次に、実空間座標に対する回頭角補正が完了したら、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。
【００２８】
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる（ステップＳ１５）。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２９】
また、ステップＳ１５において、相対移動ベクトルが求められたら、次に、自車両１０が検出した対象物と衝突する可能性があるか否かを判定する警報判定処理を行う（ステップＳ１６）。
そして、ステップＳ１６において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１６のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、ステップＳ１６において、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１６のＹＥＳ）、ステップＳ１７の警報出力判定処理へ進む。
【００３０】
ステップＳ１７では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１７）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１７のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３１】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ１８の処理へ進み（ステップＳ１７のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ６を介して音声による警報を発する（ステップＳ１８）と共に、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ１９）。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、現在の対象物と自車両１０との間の距離以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３２】
以上が、本実施の形態の画像認識装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図５に示すフローチャートを参照して、図３に示したフローチャートのステップＳ１２における、自車両１０と対象物との距離ｚを算出する視差・距離算出演算処理について更に詳しく説明する。
図５は、本実施の形態の視差・距離算出演算処理動作を示すフローチャートである。
まず、画像処理ユニット１は、左画像中に、右画像の探索画像Ｒ１に対応する対応画像を探索するための探索領域Ｒ２を設定する（ステップＳ３１）。
そして、探索のステップ幅（移動幅）を決定するための変数ｎを値「０」に初期化する（ステップＳ３２）。
【００３３】
次に、探索のステップ幅（移動幅：「Ｓｔｅｐ」）を式（４）により算出する（ステップＳ３３）。
Ｓｔｅｐ＝Ｐａｔ＿ｄｘ／２^ｎ・・・（４）
探索のステップ幅「Ｓｔｅｐ」が算出されたら、算出されたステップ幅「Ｓｔｅｐ」が１画素の幅より小さいか否かを判定する（ステップＳ３４）。
ステップＳ３４において、算出されたステップ幅「Ｓｔｅｐ」が１画素の幅以上の場合（ステップＳ３４のＮＯ）、左画像中の探索領域Ｒ２内においてステップ幅「Ｓｔｅｐ」で指定される領域毎に探索画像Ｒ１の位置を移動させながら、各位置において相関演算を実行し、左画像中から探索画像Ｒ１に対応する対応画像を抽出する（ステップＳ３５）。
【００３４】
具体的には、相関演算にＳＡＤ（Sum of Absolute Difference）を使用し、例えば図６の探索領域を対象とした相関演算処理を説明する図に示すように、探索領域Ｒ２の左側から順にステップ幅「Ｓｔｅｐ」で探索画像Ｒ１の位置を移動させながら、各位置において前述の式（２）で示す相関エラー「Ｅｒｒｏｒ」が最小となる位置を算出し、この位置を相関度が高い位置と判定する。そして、相関エラー「Ｅｒｒｏｒ」が最小となる位置と探索画像Ｒ１とのずれ（視差）Ｍｉｎ＿ｃｘを算出する。
なお、Ａｒｅａ＿ｄｘをＰａｔ＿ｄｘで割った余りがＰａｔ＿ｄｘ／２よりも大きい場合（探索領域Ｒ２において、探索画像Ｒ１を左からステップ幅「Ｓｔｅｐ」でずらしていき、探索画像Ｒ１の大きさに満たずに右端に余る領域の幅が、探索画像Ｒ１の幅の半分より大きい場合）、余った領域についても探索画像Ｒ１との相関演算を行うものとする。
【００３５】
次に、相関エラー「Ｅｒｒｏｒ」が最小となる位置と探索画像Ｒ１とのずれ（視差）Ｍｉｎ＿ｃｘが算出できたら、相関エラー「Ｅｒｒｏｒ」が最小となった位置と、その左右の領域を含む新たな領域を探索領域として設定する（ステップＳ３６）。
そして、探索のステップ幅（移動幅）を決定するための変数ｎを式（５）により更新し（ステップＳ３７）、ステップＳ３３へ戻り、上述の処理を繰り返す。
ｎ＝ｎ＋１・・・（５）
【００３６】
一方、ステップＳ３４において、算出されたステップ幅「Ｓｔｅｐ」が１画素の幅より小さい場合（ステップＳ３４のＹＥＳ）、この時、最後に算出された相関エラー「Ｅｒｒｏｒ」が最小となる位置を対応画像の位置とし、この位置と探索画像Ｒ１とのずれ（視差）Ｍｉｎ＿ｃｘを、図１０に示す視差Δｄと決定する（ステップＳ３８）。
そして、前述の式（１）により、求められた視差Δｄを用いて対象物との距離ｚを算出し（ステップＳ３９）、視差・距離算出演算処理を終了して図３に示すフローチャートのステップＳ１３へ戻る。
【００３７】
以上説明した視差・距離算出演算処理におけるステップＳ３３からステップＳ３７の繰り返しの処理について、図面を参照して更に詳細に説明する。
図６から図８は、探索領域を対象とした相関演算処理を示す図であって、まず図６では、左画像中の探索領域Ｒ２内で探索画像Ｒ１の位置をステップ幅「Ｓｔｅｐ＝Ｐａｄ＿ｄｘ」で移動させながら、各位置において相関演算を実行し、相関度が最大となった位置と、その左右に長さ「Ｐａｄ＿ｄｘ」ずつのエリアを含む新たな探索領域Ｒ２を設定する。
次に、図７では、左画像中の新たな探索領域Ｒ２内で探索画像Ｒ１の位置をステップ幅「Ｓｔｅｐ＝Ｐａｄ＿ｄｘ／２」で移動させながら、各位置において相関演算を実行し、相関度が最大となった位置と、その左右に長さ「Ｐａｄ＿ｄｘ／２」ずつのエリアを含む更に新たな探索領域Ｒ２を設定する。
【００３８】
同様に、図８では、左画像中の更に新たな探索領域Ｒ２内で探索画像Ｒ１の位置をステップ幅「Ｓｔｅｐ＝Ｐａｄ＿ｄｘ／４」で移動させながら、各位置において相関演算を実行し、相関度が最大となった位置と、その左右に長さ「Ｐａｄ＿ｄｘ／４」ずつのエリアを含む更に新たな探索領域Ｒ２を設定する。
このようにステップ幅が、式（６）で示す条件（探索のステップ幅「Ｓｔｅｐ」が１画素以上）を満たす限り処理を繰り返し、この時点でのＳＡＤによる相関エラーが最小の位置と探索画像Ｒ１とのずれＭｉｎ＿ｃｘを視差Δｄとする。
Ｐａｔ＿ｄｘ／２^ｎ≧１（ｐｉｘｅｌ：画素）・・・（６）
ただし、Ｐａｔ＿ｄｘ／２^ｎは、四捨五入し整数（画素単位）とする。
【００３９】
なお、上述の実施の形態では画像の上下方向の探索領域の高さについては、探索画像Ｒ１と同一として説明したが、探索領域Ｒ２が画像の上下方向にもマージンがある場合、上記ステップ幅毎の相関度は、縦方向には１画素単位で探索画像Ｒ１をずらして相関度を算出するものとする。
また、上述の実施の形態では、画像処理ユニット１が、対象物距離算出手段を含んでいる。より具体的には、図３のステップＳ１１〜ステップＳ１２、及び図５のステップＳ３１〜ステップＳ３８が対象物距離算出手段に相当する。
【００４０】
以上説明したように、本実施の形態の画像認識装置における対象物視差Δｄを求めるための演算回数は、このときの演算回数をＣａｌｃ＿ＮＮとすると、
Ｃａｌｃ＿ＮＮ＝（Ｐａｔ＿ｄｘ×Ｐａｔ＿ｄｙ）×｛Ａｒｅａ＿ｄｘ／Ｐａｔ＿ｄｘ＋２×ｎ＋１｝・・・（７）
と表すことができる。但し、ｎは、Ｐａｔ＿ｄｘ／２^ｎ≧１を満たす最大値とする。
【００４１】
そこで、例えば、前述の式（３）と式（７）により、本実施の形態の画像認識装置による演算量と従来の装置の演算量とを比較すると、
例えば、Ｐａｔ＿ｄｘ＝４、Ａｒｅａ＿ｄｘ＝３２の場合、
Ｃａｌｃ＿ＮＮ／Ｃａｌｃ＿Ｎ＝（３２／４＋２×２＋１）／（３２−４＋１）＝０．４５
となり、本実施の形態の画像認識装置による演算量は従来の装置の演算量の４５％に削減されることがわかる。
【００４２】
またＰａｔ＿ｄｘ＝４、Ａｒｅａ＿ｄｘ＝６４の場合、
Ｃａｌｃ＿ＮＮ／Ｃａｌｃ＿Ｎ＝（６４／４＋２×２＋１）／（６４−４＋１）＝０．３４
となり、演算回数は、探索画像Ｒ１の大きさが大きい程、あるいは探索領域Ｒ２が大きい程演算量の削減効果が期待できる。
このため、相関演算を用いて視差を算出する場合には、対象物の距離が近くなるに従い、画像上の対象物サイズが大きくなるが、演算量を極端に増加させず対象物の距離を算出することが可能となる。
同様に、カメラ間の基線長を広げることでも探索領域が大きくなるが、この場合も演算量を極端に増加させず対象物の距離を算出することが可能となる。
【００４３】
なお、上述の実施の形態では、探索画像Ｒ１が抽出されていると仮定しているため、赤外線カメラによる画像に限らず、対象物形状が抽出されている画像を用いる場合には、有効な手段と考えられる。
また、本実施の形態の画像認識装置における処理では、図９に示すように、ステップ幅の最大値を参照パタン幅「Ｐａｔ＿ｄｘ」とすることで、探索領域内で、少なくとも探索画像Ｒ１の半分と相関演算を行うことができ、他の対象物により発生する相関度の極大値の位置を、誤って対象物の位置として検出する頻度を軽減することができるという効果が得られる。
【００４４】
【発明の効果】
以上の如く、請求項１に記載の画像認識装置によれば、対象物距離算出手段が、第１の対象物画像に対する対象枠の幅を基準とする移動幅により、第１の対象物画像を探索領域内で順次移動させて相関演算処理を行うことで、探索領域内を粗く探索し、正確かつ少ない演算量で、第２の対象物画像が存在すると思われる領域を新たな探索領域として抽出することができる。
従って、ステレオカメラにより撮影された対象物画像の視差を用いて対象物までの距離を算出する場合に、対象物までの距離算出の精度を向上させるためステレオカメラのカメラ間の基線長を広げても、カメラ間の基線長を広げることで大きくなった探索領域の相関演算を、演算量を極端に増加させずに処理を行い、短時間で、あるいは簡単な計算機によって対象物の距離を算出することが可能となるという効果が得られる。
【００４５】
また、探索領域内での第１の対象物画像の移動幅を、第１の対象物画像に対して設定された対象枠の幅と同一にすることで、重複して相関演算処理を行う領域が発生することがなく効率的に相関演算処理を全ての領域に実施すると共に、第１の対象物画像に捉えられた対象物を必ず１回だけ検出することになるので、対象物ではない物体と対象物との区別を容易にすることができる。
従って、探索領域内で、少なくとも第１の対象物画像の半分と相関演算を行うことができ、他の対象物により発生する相関度の極大値の位置を、誤って対象物の位置として検出する頻度を軽減することができるという効果が得られる。
【００４６】
請求項２に記載の画像認識装置によれば、探索領域が縮小されてより相関度の高い領域が絞り込まれてきたら、対象物距離算出手段がこれに合わせて相関演算処理における第１の対象物画像の移動幅も小さくして探索領域内を細かく探索することにより、正確かつ必要最小限の演算量で、効率的に相関演算処理を実施することができる。
従って、特に横幅の大きな対象物に対して、最初は粗く探索し、探索領域が狭くなるに従い徐々に細かく探索するようにしたことで、正確に短時間で対象物の距離を算出することが可能となるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の画像認識装置の構成を示すブロック図である。
【図２】車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】同実施の形態の画像認識装置における対象物検出・警報動作を示すフローチャートである。
【図４】赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】同実施の形態の画像認識装置における視差・距離算出演算処理動作を示すフローチャートである。
【図６】同実施の形態の画像認識装置における探索領域を対象とした相関演算処理を示す図である。
【図７】同実施の形態の画像認識装置における探索領域を対象とした相関演算処理を示す図である。
【図８】同実施の形態の画像認識装置における探索領域を対象とした相関演算処理を示す図である。
【図９】同実施の形態の画像認識装置においてステップ幅の最大値を探索画像の幅とした場合の利点を示す図である。
【図１０】従来の画像認識装置における探索領域を対象とした相関演算処理を示す図である。
【符号の説明】
１画像処理ユニット
２Ｒ、２Ｌ赤外線カメラ
３ヨーレートセンサ
４車速センサ
５ブレーキセンサ
６スピーカ
７画像表示装置
１０自車両
Ｓ１１〜Ｓ１２、Ｓ３１〜Ｓ３８対象物距離算出手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image recognition device that detects an object that is likely to affect the running of a vehicle from an image photographed by an imaging means.
[0002]
[Prior art]
Conventionally, an object such as a pedestrian that may collide with the host vehicle is extracted from an image around the host vehicle captured by an imaging unit such as an infrared camera, and the information is provided to the driver of the host vehicle. There is a device.
In this apparatus, the first object image is extracted by binarizing the right image taken by the right infrared camera, for example, from the image around the host vehicle taken by the pair of left and right stereo cameras. Next, a search area for searching for an image (corresponding image) corresponding to the first object image is set on the grayscale image of the left image captured by the left infrared camera, and the first object image and the search are searched. By executing a correlation operation with the object image in the region, a corresponding image corresponding to the first object image is extracted as the second object image. Then, the parallax Δd (number of pixels) is obtained from the difference between the centroid position of the first object image in the right image and the centroid position of the second object image in the left image. The distance z is calculated (for example, refer to Patent Document 1).
[0003]
Here, the correlation calculation will be described more specifically. The distance z of the object is calculated from the object parallax Δd between the stereo cameras by the equation (1). Here, f is the focal length, D is the distance between the stereo cameras (base line length), and p is the pixel pitch.
z = f × D / (Δd × p) (1)
Further, as shown in FIG. 10, the object parallax Δd is obtained by shifting the reference pattern (Pat: Pat_dx × Pat_dy) of the right image pixel by pixel in the search area (Area: Area_dx × Area_dy) of the left image. The position with the highest degree of correlation is searched and detected as a corresponding image.
[0004]
Further, here, SAD (Sum of Absolute Difference) is used for the correlation calculation, and the position cx at which the correlation error “Error” shown in Expression (2) is the minimum is determined as the position having a high degree of correlation.
Error [cx] = Σ _i Σ _j | Pat [i] [j] −Area [i + cx] [j] | (2)
However, 0 ≦ cx <(Area_dx−Pat_dx + 1), 0 ≦ i <Pat_dx, and 0 ≦ j <Pat_dy.
Therefore, when the number of differential calculations for one pixel of Pat and Area is 1, the calculation count Calc_N of Expression (2) is expressed by Expression (3).
Calc_N = (Pat_dx × Pat_dy) × (Area_dx−Pat_dx + 1) (3)
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-6096
[Problems to be solved by the invention]
However, in the apparatus using the correlation calculation by the algorithm as described above, a part having a high degree of correlation with the first object image extracted from the right image is accurately detected from the search area on the left image. However, there is a problem that the calculation speed often depends on the processing capacity of the hardware.
That is, when an object that is likely to affect the running of the vehicle is detected from an image captured by the imaging unit, the object captured by the imaging unit changes from moment to moment as the vehicle moves. In order to complete the correlation calculation between the first object image extracted from the right image and the search area set on the gray scale image of the left image while being captured by the means, a very high-speed processing A computer capable of (computation) is required, and it is difficult to mount such a computer on a vehicle in terms of cost to the computer, power required for the computer, or space for installing the computer. There was a problem.
[0007]
The present invention has been made in view of the above problems, and can detect an object from a search area with the simplest possible calculation so that the driver can recognize an object that is likely to affect the traveling of the host vehicle. An object of the present invention is to provide an image recognition apparatus capable of performing the above.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problem, an image recognition apparatus according to the invention of claim 1 includes a pair of stereo cameras (for example, the infrared cameras 2R and 2L in the embodiment). A target image (for example, search image R1 of the embodiment) is extracted, and a search region (for example, of the embodiment) on the image of the second camera set based on the extracted first target image. A second object image (for example, a corresponding image in the embodiment) corresponding to the first object image is extracted from the search region R2) by performing correlation calculation processing, and the first and second objects are extracted. In the image recognition apparatus provided with the object distance calculation means (for example, step S11 to step S12, step S31 to step S38 in the embodiment) that calculates parallax between the object images and calculates the distance to the object. Elephant product distance calculating means sets the first object set for image the object frame of the same movement width and width, first for each area designated by the movement width in the search area 1 The target image is moved, and the correlation calculation process in the search region is performed, so that a region having a high degree of correlation with the first target image and regions on both sides thereof are extracted as new search regions (for example, implementation) (Step S33 to step S36).
[0009]
In the image recognition apparatus having the above configuration, when the object distance calculation unit performs the correlation calculation process on the search region on the image of the second camera using the first object image, the first object image is displayed. The first object image is sequentially moved in the search area with the movement width based on the target frame width set for In addition, with a small amount of calculation, an area that has a high degree of correlation with the first object image and is likely to contain the second object image can be extracted as a new search area.
[0011]
Furthermore, the image recognition apparatus having the above configuration makes the movement width of the first object image within the search area the same as the width of the object frame set for the first object image. Thus, when the first object image is moved within the search area, the area for performing the correlation calculation process does not occur redundantly, and the correlation calculation process can be efficiently performed on all the areas. At the same time, since the object captured in the first object image is always detected only once in the search area, it is possible to easily distinguish between an object that is not the object and the object.
[0012]
An image recognition apparatus according to a second aspect of the present invention is the image recognition apparatus according to the first aspect , wherein each time the object distance calculation means extracts the new search area, the image recognition apparatus is based on the width of the target frame. The search area is further narrowed down by sequentially updating the movement width to a smaller movement width and performing correlation calculation processing in the new search area with the movement width.
[0013]
In the image recognition apparatus having the above-described configuration, the object distance calculation unit sets the search area extracted by the correlation calculation process as a new search area, and as the search area is reduced, The search area is reduced by sequentially updating the movement width of one object image to a smaller movement width based on the width of the target frame, and performing correlation calculation processing in the new search area with the updated movement width. If a region with a higher degree of correlation is narrowed down, the movement width of the first object image in the correlation calculation process is also reduced in accordance with this, and the search region is finely searched, so that the accurate and necessary minimum Correlation calculation processing can be efficiently performed with a calculation amount.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of an image recognition apparatus according to an embodiment of the present invention.
In FIG. 1, reference numeral 1 denotes an image processing unit including a CPU (central processing unit) that controls the image recognition apparatus according to the present embodiment, and includes two infrared cameras 2R and 2L that can detect far infrared rays, and A yaw rate sensor 3 for detecting the yaw rate of the vehicle, a vehicle speed sensor 4 for detecting the traveling speed (vehicle speed) of the vehicle, and a brake sensor 5 for detecting a brake operation are connected. Thereby, the image processing unit 1 detects a moving object such as a pedestrian or an animal in front of the vehicle from an infrared image around the vehicle and a signal indicating the running state of the vehicle, and determines that the possibility of a collision is high. Sometimes alerts.
[0015]
Further, the image processing unit 1 is photographed by the infrared cameras 2R and 2L only when it is determined that there is a high risk of collision between the detected object and the own vehicle with the speaker 6 for issuing a warning by voice. For example, a meter that expresses the running state of the host vehicle in numbers, for example, so that the driver of the vehicle can recognize an object with a high risk of collision. An image display device 7 including a meter-integrated display, a NAVID display installed on the console of the host vehicle, and a HUD (Head Up Display) 7a for displaying information at a position that does not interfere with the front view of the driver on the front window is connected. Yes.
[0016]
The image processing unit 1 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a CPU (central processing unit) that performs various arithmetic processes, RAM (Random Access Memory) used for storing data, ROM (Read Only Memory) for storing programs and tables executed by the CPU, maps, etc., driving signals for the speaker 6, display signals for the image display device 7, etc. The output signals of the infrared cameras 2R and 2L, the yaw rate sensor 3, the vehicle speed sensor 4 and the brake sensor 5 are converted into digital signals and input to the CPU. .
[0017]
As shown in FIG. 2, the infrared cameras 2R and 2L are disposed in the front part of the host vehicle 10 at positions that are substantially symmetrical with respect to the center of the host vehicle 10 in the vehicle width direction. The optical axes of 2R and 2L are parallel to each other and are fixed so that the heights from both road surfaces are equal. The infrared cameras 2R and 2L have a characteristic that the output signal level increases (the luminance increases) as the temperature of the object increases.
Further, the HUD 7a is provided so that the display screen is displayed at a position that does not obstruct the driver's front view of the front window of the host vehicle 10.
[0018]
Next, the operation of the present embodiment will be described with reference to the drawings.
FIG. 3 is a flowchart showing an object detection / alarm operation of a pedestrian or the like in the image processing unit 1 of the image recognition apparatus of the present embodiment.
First, the image processing unit 1 acquires infrared images, which are output signals of the infrared cameras 2R and 2L (step S1), performs A / D conversion (step S2), and stores a grayscale image in an image memory (step S1). S3). Here, the right image is obtained by the infrared camera 2R, and the left image is obtained by the infrared camera 2L. In addition, since the horizontal position of the same object on the display screen is shifted in the right image and the left image, the distance to the object can be calculated from this shift (parallax).
[0019]
If a grayscale image is obtained in step S3, then the right image obtained by the infrared camera 2R is used as a reference image, and binarization processing of the image signal, that is, an area brighter than the luminance threshold value ITH is “1” ( White) and the dark area is set to “0” (black) (step S4).
FIG. 4A shows a grayscale image obtained by the infrared camera 2R, and binarization processing is performed on the grayscale image to obtain an image as shown in FIG. 4B. In FIG. 4B, for example, an object surrounded by a frame from P1 to P4 is an object displayed as white on the display screen (hereinafter referred to as “high luminance region”).
When the binarized image data is acquired from the infrared image, the binarized image data is converted into run-length data (step S5). The line represented by the run-length data is an area that is whitened by binarization at the pixel level, and has a width of one pixel in the y direction, and each has a width in the x direction. It has the length of the pixels constituting the run-length data.
[0020]
Next, the target object is labeled from the image data converted into run-length data (step S6), thereby performing a process of extracting the target object (step S7). That is, of the lines converted into run-length data, a line having a portion overlapping in the y direction is regarded as one object, so that, for example, the high luminance regions P1 to P4 shown in FIG. To be grasped as a value object).
When the extraction of the object is completed, next, the center of gravity G, the area S, and the aspect ratio ASPECT of the circumscribed rectangle of the extracted object are calculated (step S8).
[0021]
Here, the area S is (x [i], y [i], run [i], A) (i = 0, 1, 2,... N−1) ), The length of the run length data (run [i] −1) is calculated for the same object (N pieces of run length data). Also, the coordinates (xc, yc) of the center of gravity G of the object A are the length (run [i] -1) of each run length data and the coordinates x [i] or y [i] of each run length data. Are multiplied by the area S and calculated by multiplying them by the area S.
Further, the aspect ratio ASPECT is calculated as a ratio Dy / Dx between the length Dy in the vertical direction and the length Dx in the horizontal direction of the circumscribed rectangle of the object.
Since the run length data is indicated by the number of pixels (number of coordinates) (= run [i]), the actual length needs to be “−1” (= run [i] −1). Further, the position of the center of gravity G may be substituted by the position of the center of gravity of the circumscribed rectangle.
[0022]
Once the center of gravity, area, and circumscribing aspect ratio of the object can be calculated, next, the object is tracked between times, that is, the same object is recognized for each sampling period (step S9). For tracking between times, the time obtained by discretizing the time t as an analog quantity with the sampling period is set as k. For example, when the objects A and B are extracted at the time k, the objects C and D extracted at the time (k + 1) and the target The identity determination with the objects A and B is performed. When it is determined that the objects A and B and the objects C and D are the same, the objects C and D are changed to labels of the objects A and B, respectively, so that tracking is performed for a time.
Further, the position coordinates (center of gravity) of each object recognized in this way are stored in the memory as time-series position data and used for the subsequent calculation processing.
[0023]
Note that the processes in steps S4 to S9 described above are performed on a binarized reference image (in this embodiment, a right image).
Next, the vehicle speed VCAR detected by the vehicle speed sensor 4 and the yaw rate YR detected by the yaw rate sensor 3 are read, and the turning angle θr of the host vehicle 10 is calculated by integrating the yaw rate YR over time (step S10).
[0024]
On the other hand, in parallel with the processing of step S9 and step S10, in steps S11 to S12, processing for calculating the distance z between the object and the host vehicle 10 is performed. Since this calculation requires a longer time than steps S9 and S10, it is executed in a cycle longer than that of steps S9 and S10 (for example, a cycle that is about three times the execution cycle of steps S1 to S10).
First, by selecting one of the objects tracked by the binarized image of the reference image (right image), the search image R1 (here, the entire region surrounded by the circumscribed rectangle is searched for from the right image). And the circumscribed rectangle of the search image is referred to as a target frame) (step S11).
[0025]
Next, a search area for searching for an image corresponding to the search image R1 (hereinafter referred to as “corresponding image”) is set from the left image, and a correlation calculation is performed to perform a parallax / distance calculation calculation. A distance z to the object is calculated (step S12). The details of the parallax / distance calculation calculation process in step S12 for calculating the distance z between the host vehicle 10 and the object will be described later.
[0026]
When the calculation of the turning angle θr in step S10 and the calculation of the distance to the object in step S12 are completed, the turning angle correction for correcting the positional deviation on the image due to the turning of the host vehicle 10 is next performed. It performs (step S13). In the turning angle correction, when the host vehicle 10 turns, for example, to the left by the turning angle θr during the period from time k to (k + 1), the range of the image is shifted in the x direction by Δx on the image obtained by the camera. This is a process for correcting this.
[0027]
When the turning angle correction is completed, the coordinates (x, y) and the distance z in the image are converted into real space coordinates (X, Y, Z) (step S14).
Here, the real space coordinates (X, Y, Z) are, as shown in FIG. 2, with the origin O as the midpoint position (position fixed to the host vehicle 10) of the attachment position of the infrared cameras 2R, 2L. The coordinates in the image are determined as shown in the figure, with the center of the image as the origin and the horizontal direction as x and the vertical direction as y.
In the following description, the coordinates after the turning angle correction are displayed as (X, Y, Z).
Next, when the turning angle correction for the real space coordinates is completed, N pieces of real space position data after the turning angle correction (for example, about N = 10) obtained during the monitoring period of ΔT for the same object, that is, From the time series data, an approximate straight line LMV corresponding to the relative movement vector between the object and the host vehicle 10 is obtained.
[0028]
Next, the latest position coordinates P (0) = (X (0), Y (0), Z (0)) and (N-1) position coordinates P (N−1) before the sample (before time ΔT). = (X (N-1), Y (N-1), Z (N-1)) is corrected to a position on the approximate straight line LMV, and the corrected position coordinates Pv (0) = (Xv (0), Yv (0), Zv (0)) and Pv (N-1) = (Xv (N-1), Yv (N-1), Zv (N-1)) are obtained.
Thereby, a relative movement vector is obtained as a vector from the position coordinates Pv (N−1) to Pv (0) (step S15).
In this way, by calculating an approximate straight line that approximates the relative movement locus of the object with respect to the host vehicle 10 from a plurality (N) of data within the monitoring period ΔT, the influence of the position detection error is reduced. Thus, the possibility of collision with the object can be predicted more accurately.
[0029]
If the relative movement vector is obtained in step S15, an alarm determination process for determining whether or not the subject vehicle 10 may collide with the detected object is performed (step S16).
If it is determined in step S16 that there is no possibility of collision between the host vehicle 10 and the detected object (NO in step S16), the process returns to step S1 and the above-described processing is repeated.
If it is determined in step S16 that there is a possibility of collision between the host vehicle 10 and the detected object (YES in step S16), the process proceeds to an alarm output determination process in step S17.
[0030]
In step S17, it is determined whether or not the driver of the host vehicle 10 is performing a brake operation from the output BR of the brake sensor 5, thereby determining whether or not to perform alarm output determination processing, that is, whether or not alarm output is performed (step S17). Step S17).
If the driver of the host vehicle 10 is performing a brake operation, the acceleration Gs generated (deceleration direction is positive) is calculated, and if the acceleration Gs is greater than a predetermined threshold GTH, the brake is It is determined that the collision is avoided by the operation, the alarm output determination process is terminated (NO in step S17), the process returns to step S1, and the above process is repeated.
As a result, when an appropriate brake operation is performed, an alarm is not issued, and the driver is not bothered excessively.
[0031]
Further, when the acceleration Gs is equal to or less than the predetermined threshold GTH, or when the driver of the host vehicle 10 is not performing a brake operation, the process immediately proceeds to the process of step S18 (YES in step S17), and may contact the object. Therefore, an alarm is issued by voice through the speaker 6 (step S18), and an image obtained by, for example, the infrared camera 2R is output to the image display device 7 so that the approaching object 10 Is displayed as an emphasized image for the driver (step S19).
The predetermined threshold value GTH is a value corresponding to a condition in which the host vehicle 10 stops at a travel distance equal to or less than the distance between the current object and the host vehicle 10 when the acceleration Gs during the brake operation is maintained as it is. It is.
[0032]
The above is the object detection / alarm operation in the image processing unit 1 of the image recognition apparatus of the present embodiment. Next, referring to the flowchart shown in FIG. 5, in step S12 of the flowchart shown in FIG. The parallax / distance calculation calculation process for calculating the distance z between the host vehicle 10 and the object will be described in more detail.
FIG. 5 is a flowchart showing the parallax / distance calculation calculation processing operation of the present embodiment.
First, the image processing unit 1 sets a search region R2 for searching for a corresponding image corresponding to the search image R1 of the right image in the left image (step S31).
Then, a variable n for determining the step width (movement width) of the search is initialized to a value “0” (step S32).
[0033]
Next, the search step width (movement width: “Step”) is calculated by the equation (4) (step S33).
Step = Pat_dx / 2 ⁿ (4)
When the search step width “Step” is calculated, it is determined whether or not the calculated step width “Step” is smaller than the width of one pixel (step S34).
In step S34, when the calculated step width “Step” is equal to or larger than the width of one pixel (NO in step S34), the search image for each region specified by the step width “Step” in the search region R2 in the left image. While moving the position of R1, correlation calculation is performed at each position, and a corresponding image corresponding to the search image R1 is extracted from the left image (step S35).
[0034]
Specifically, SAD (Sum of Absolute Difference) is used for the correlation calculation, and for example, as shown in the diagram for explaining the correlation calculation processing for the search area of FIG. 6, the step width is sequentially increased from the left side of the search area R2. While moving the position of the search image R1 in “Step”, the position where the correlation error “Error” shown in the above-described equation (2) is minimized is calculated at each position, and this position is determined as a position having a high degree of correlation. . Then, a shift (parallax) Min_cx between the position where the correlation error “Error” is minimized and the search image R1 is calculated.
When the remainder obtained by dividing Area_dx by Pat_dx is larger than Pat_dx / 2 (in search region R2, search image R1 is shifted from the left by step width “Step”, and the right end is not satisfied with the size of search image R1. When the width of the remaining region is larger than half of the width of the search image R1), the remaining region is also subjected to correlation calculation with the search image R1.
[0035]
Next, when the deviation (parallax) Min_cx between the position where the correlation error “Error” is minimized and the search image R1 can be calculated, a new position including the position where the correlation error “Error” is minimized and its left and right regions is added. An area is set as a search area (step S36).
Then, the variable n for determining the step width (movement width) of the search is updated by the equation (5) (step S37), the process returns to step S33, and the above processing is repeated.
n = n + 1 (5)
[0036]
On the other hand, if the calculated step width “Step” is smaller than the width of one pixel in step S34 (YES in step S34), the position where the last calculated correlation error “Error” is minimized is determined as the corresponding image. The position (parallax) Min_cx between this position and the search image R1 is determined as the parallax Δd shown in FIG. 10 (step S38).
Then, the distance z to the object is calculated using the obtained parallax Δd by the above-described equation (1) (step S39), the parallax / distance calculation calculation process is terminated, and step S13 of the flowchart shown in FIG. Return to.
[0037]
The repetition process from step S33 to step S37 in the parallax / distance calculation calculation process described above will be described in more detail with reference to the drawings.
6 to 8 are diagrams showing correlation calculation processing for the search area. First, in FIG. 6, the position of the search image R1 in the search area R2 in the left image is set to a step width “Step = Pad_dx”. , The correlation calculation is performed at each position, and a new search region R2 including a position where the degree of correlation is maximized and areas each having a length of “Pad_dx” is set to the left and right.
Next, in FIG. 7, the correlation calculation is performed at each position while moving the position of the search image R1 within the new search region R2 in the left image by the step width “Step = Pad_dx / 2”, and the correlation degree is A new search area R2 including the position where the maximum is obtained and areas each having a length of “Pad_dx / 2” on the left and right sides thereof is set.
[0038]
Similarly, in FIG. 8, the correlation calculation is performed at each position while moving the position of the search image R1 within the new search region R2 in the left image by the step width “Step = Pad_dx / 4”. Is set to a maximum, and a new search region R2 including areas each having a length of “Pad_dx / 4” on the left and right sides thereof is set.
As described above, the process is repeated as long as the step width satisfies the condition represented by the expression (6) (the search step width “Step” is one pixel or more), and the position where the correlation error due to SAD at this time is minimum and the search image R1 The deviation Min_cx is defined as parallax Δd.
Pat_dx / 2 ⁿ ≧ 1 (pixel: pixel) (6)
However, Pat_dx / ²ⁿ is rounded off to be an integer (pixel unit).
[0039]
In the above-described embodiment, the height of the search area in the vertical direction of the image has been described as being the same as that of the search image R1. However, when the search area R2 has a margin in the vertical direction of the image, The correlation degree is calculated by shifting the search image R1 by one pixel unit in the vertical direction.
In the above-described embodiment, the image processing unit 1 includes the object distance calculation unit. More specifically, Steps S11 to S12 in FIG. 3 and Steps S31 to S38 in FIG. 5 correspond to the object distance calculation means.
[0040]
As described above, the number of computations for obtaining the object parallax Δd in the image recognition device of the present embodiment is Calc_NN.
Calc_NN = (Pat_dx × Pat_dy) × {Area_dx / Pat_dx + 2 × n + 1} (7)
It can be expressed as. However, n is a maximum value that satisfies Pat_dx / 2 ⁿ ≧ 1.
[0041]
Therefore, for example, when the calculation amount by the image recognition apparatus of the present embodiment and the calculation amount of the conventional apparatus are compared by the above-described expressions (3) and (7),
For example, when Pat_dx = 4 and Area_dx = 32,
Calc_NN / Calc_N = (32/4 + 2 × 2 + 1) / (32-4 + 1) = 0.45
Thus, it can be seen that the amount of calculation by the image recognition apparatus of the present embodiment is reduced to 45% of the calculation amount of the conventional apparatus.
[0042]
When Pat_dx = 4 and Area_dx = 64,
Calc_NN / Calc_N = (64/4 + 2 × 2 + 1) / (64-4 + 1) = 0.34
Thus, the number of computations can be expected to reduce the amount of computation as the size of the search image R1 is larger or the search region R2 is larger.
For this reason, when calculating parallax using correlation calculation, the object size on the image increases as the object distance decreases, but the object distance is calculated without increasing the amount of calculation extremely. It becomes possible to do.
Similarly, the search area can be increased by widening the base line length between the cameras. In this case as well, the distance of the object can be calculated without increasing the amount of calculation extremely.
[0043]
In the above-described embodiment, since it is assumed that the search image R1 is extracted, not only the image by the infrared camera but also an effective means when using the image from which the object shape is extracted is used. it is conceivable that.
Further, in the processing in the image recognition apparatus of the present embodiment, as shown in FIG. 9, by setting the maximum value of the step width as the reference pattern width “Pat_dx”, at least half of the search image R1 in the search area. Correlation calculation can be performed, and the effect that the frequency of erroneously detecting the position of the maximum value of the correlation degree generated by another object as the position of the object can be reduced.
[0044]
【The invention's effect】
As described above, according to the image recognition apparatus of the first aspect, the object distance calculation unit converts the first object image by the movement width based on the width of the object frame with respect to the first object image. By sequentially moving within the search area and performing correlation calculation processing, the search area is roughly searched, and an area where the second object image is likely to exist is extracted as a new search area with an accurate and small amount of calculation. can do.
Therefore, when calculating the distance to the object using the parallax of the object image taken by the stereo camera, the base line length between the cameras of the stereo camera is increased in order to improve the accuracy of the distance calculation to the object. However, the correlation calculation of the search area, which has become larger by extending the baseline length between the cameras, is processed without increasing the amount of calculation extremely, and the distance of the target is calculated in a short time or with a simple computer The effect that it becomes possible is acquired.
[0045]
In addition , by making the movement width of the first object image within the search area the same as the width of the object frame set for the first object image, an area in which correlation calculation processing is performed redundantly The object is not an object because the correlation calculation process is efficiently performed on all regions without causing the occurrence of the object and the object captured in the first object image is always detected only once. And the object can be easily distinguished.
Accordingly, it is possible to perform correlation calculation with at least half of the first object image within the search region, and erroneously detect the position of the maximum value of the correlation degree generated by the other object as the position of the object. The effect that the frequency can be reduced is obtained.
[0046]
According to the image recognition apparatus of the second aspect , when the search area is reduced and the area having a higher degree of correlation is narrowed down, the object distance calculation means matches the first object in the correlation calculation processing accordingly. By narrowing the image movement width and finely searching in the search area, the correlation calculation process can be efficiently performed with an accurate and minimum calculation amount.
Therefore, it is possible to calculate the distance of an object accurately in a short time by searching coarsely for an object with a particularly wide width at first, and gradually searching finely as the search area becomes narrower. The effect of becoming is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing attachment positions of an infrared camera, a sensor, a display, and the like in a vehicle.
FIG. 3 is a flowchart showing an object detection / alarm operation in the image recognition apparatus of the embodiment.
FIG. 4 is a diagram illustrating a grayscale image obtained by an infrared camera and a binarized image thereof.
FIG. 5 is a flowchart showing a parallax / distance calculation calculation processing operation in the image recognition apparatus according to the embodiment;
FIG. 6 is a diagram showing a correlation calculation process for a search area in the image recognition apparatus of the embodiment.
FIG. 7 is a diagram showing a correlation calculation process for a search area in the image recognition apparatus of the embodiment.
FIG. 8 is a diagram showing a correlation calculation process for a search area in the image recognition apparatus of the embodiment.
FIG. 9 is a diagram illustrating an advantage when the maximum value of the step width is set as the search image width in the image recognition apparatus according to the embodiment;
FIG. 10 is a diagram illustrating a correlation calculation process for a search area in a conventional image recognition apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image processing unit 2R, 2L Infrared camera 3 Yaw rate sensor 4 Vehicle speed sensor 5 Brake sensor 6 Speaker 7 Image display apparatus 10 Own vehicle S11-S12, S31-S38 Object distance calculation means

Claims

一組のステレオカメラを備え、第１のカメラの画像から第１の対象物画像を抽出すると共に、抽出された前記第１の対象物画像に基づいて設定された第２のカメラの画像上の探索領域から、相関演算処理を行うことにより前記第１の対象物画像に対応する第２の対象物画像を抽出し、前記第１と第２の対象物画像間の視差を求めて、該対象物までの距離を計算する対象物距離算出手段を備えた画像認識装置において、
前記対象物距離算出手段が、
前記第１の対象物画像に対して設定された対象枠の幅と同一の移動幅を設定し、前記探索領域内において該移動幅で指定される領域毎に第１の対象物画像を移動させ、前記探索領域内の相関演算処理を行うことにより、前記第１の対象物画像と相関度の高い領域及びその両側の領域を新たな探索領域として抽出することを特徴とする画像認識装置。A pair of stereo cameras for extracting a first object image from an image of the first camera and on an image of a second camera set based on the extracted first object image; A second object image corresponding to the first object image is extracted from the search area by performing correlation calculation processing, and a parallax between the first and second object images is obtained, and the object is obtained. In the image recognition apparatus provided with the object distance calculation means for calculating the distance to the object,
The object distance calculating means is
A movement width that is the same as the width of the object frame set for the first object image is set, and the first object image is moved for each area specified by the movement width in the search area. An image recognition apparatus that extracts a region having a high degree of correlation with the first object image and regions on both sides thereof as new search regions by performing correlation calculation processing in the search region.

前記対象物距離算出手段が、前記新たな探索領域を抽出する度に、前記対象枠の幅に基づいて、前記移動幅を順次更に小さな移動幅へ更新し、該移動幅で前記新たな探索領域内の相関演算処理を行うことにより、前記探索領域を更に絞り込むことを特徴とする請求項１に記載の画像認識装置。Each time the object distance calculation means extracts the new search area, the moving width is sequentially updated to a smaller moving width based on the width of the target frame, and the new search area is updated with the moving width. by performing the correlation operation of the internal, the image recognition apparatus according to claim 1, characterized in that further narrow down the search area.