JP3735468B2

JP3735468B2 - Mobile object recognition device

Info

Publication number: JP3735468B2
Application number: JP22736298A
Authority: JP
Inventors: 一郎原田; 直哉太田
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1998-08-11
Filing date: 1998-08-11
Publication date: 2006-01-18
Anticipated expiration: 2018-08-11
Also published as: JP2000056033A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、自動車などの車輌に設置した撮像装置等の画像センサによって、後方、側方より接近する他の車輌の情報を輝度情報として検出し、その情報に基づいて移動体の動きを算出する移動体認識装置に関する。
【０００２】
【従来の技術】
近年、カーエレクトロニクスの発達はめざましく、自動車等、車輌の安全な運転を支援するためのコンピュータ制御技術が種々開発されており、道路標識や周囲の物体、他の車輌等の状況をＣＣＤセンサにより撮像し、画像処理して他の車輌の動きをとらえる手法が提案されている。
【０００３】
例えば、ドライバが比較的見逃しやすい後方からの車輌の接近を想定する。車輌の接近状態を考慮せずにドライバが右左折や車線変更を行おうとすると、後続車輌は危険を回避するために制動を余儀なくされ、これによって円滑な交通が妨げられることになる。そこで、自車輌に対して接近してくる車輌の存在を予め認識する機能を実現することは、円滑な車輌運行上の面から極めて有用である。
【０００４】
このような移動体の移動状況を認識する技術は、自動車の運転のみならず、航空機や船舶など、移動体一般において広くその発展が望まれている分野であり、将来的にその適用範囲の拡大が予想される重要な技術分野である。
【０００５】
自動車の運転において、自車輌に対して、後方より接近してくる車輌の存在を検出し予めドライバに対して認識させる手法を開示した従来例としては、例えば、特開平７−５０７６９号公報に記載の技術が知られている。
【０００６】
上記の公開公報に開示された手法は、車輌後部に設置したビデオカメラ、ＣＣＤカメラ等の撮像装置により自車輌の後側景画像情報を得て、後続の走行車輌や隣接車線の走行車輌の接近による危険度を判定し、ドライバに警告を発するものであり、撮像装置により撮像した一連の後側景画像の中から、時間的に相前後する２コマの画像中に写し出される対象物体上の同一点の移動を、オプティカルフローベクトルとして検出し、その大きさと方向から危険度を判断するものである。
【０００７】
この手法において、オプティカルフローベクトルは、前画像の無限遠点ＦＯＥ（Focus of Expansion）から放射状の方向に設定した窓を、後画像において同方向に移動し、その窓に重なる後画像と、該窓の前画像における設定位置とのそれぞれの中心点間を結ぶ矢印を、着目する１点のオプティカルフローベクトルと定め、この大きさと方向により、後続車輌の速度、方向を判断するものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来技術に示される車輌検出においては、撮像装置により得た画像情報から、画像認識（画像処理）を行い、後方に存在する車輌を識別した上で、時間的に相前後する２コマの画像情報中の該当車輌についてのオプティカルフローを算出する処理が必要である。
【０００９】
一般に、撮像装置により得た画像情報から、特定の、例えば後方を走行する車輌を識別するためには、高度の画像処理が必要となり、そのための処理装置としては、大量の画像情報を短時間で演算処理できる性能が要求される。特に、自動車の運転時に、自車輌に対して、後方より接近してくる車輌の存在を予め認識し、ドライバに対して適切な警告を発する機能を実現するためには、瞬時に大量のデータの処理が可能な高速演算処理装置であることが要求される。また、画像処理ソフトも高度な処理アルゴリズムを実現するものが要求され、必然的に高価な処理装置を利用しなければならないという不都合が存在していた。
【００１０】
従って、本発明は、移動体から得る情報量を目的を達成するのに必要最小限のものとし、且つ、当該必要最小限の情報を有効に利用して高精度に移動体の状況を判断することのできる移動体認識装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
前記の目的を達成するために、本発明は、物体の情報を、人間が認識するために十分な解像度を持った画像情報として捉え、その画像情報を処理して移動体を認識するのではなく、視野領域の中で物体の移動を輝度変化の情報として捉えるべく、隣り合う視野領域を部分的に重なり合わせることで移動の情報の欠落を抑え、その上で円形状の視野領域の輝度情報をガウシアン特性を有するフィルタを介して抽出することにより、移動体の動きの情報の信頼性を高めることができる。すなわち、物体の移動を確実に認識することが可能であるとともに、処理すべき情報量を少なくすることができる。
【００１２】
また、空間微分演算手段により求めた輝度情報の空間的変化率の絶対値が設定基準値よりも小さい場合、移動体の動きの算出処理を中止することで、輝度変化が小さく、信頼性の低い状態での移動体認識を回避することができる。
【００１３】
さらに、周辺部の透過率が中心部よりも低く設定された光学レンズと、前記光学レンズを透過した光を受光し、前記輝度情報としての電気信号に変換するフォトダイオードとからなる輝度情報抽出手段を前記各視野領域に対応させて設け、この輝度情報抽出手段によって輝度情報を抽出することにより、安価且つ高速度での移動体認識が可能となる。
【００１４】
【発明の実施の形態】
本発明に係る移動体認識装置について、好適な実施形態を挙げ、添付の図面を参照しながら以下詳細に説明する。
【００１５】
図１は、本実施形態の移動体認識装置の構成を示すブロック図である。図１において、移動体認識装置１０は、輝度入力装置１２と、記憶装置３０、移動体の一次元フロー算出部３２、移動体の動き検出部３６、警報判断部４０からなる演算処理装置１４とから構成されている。
【００１６】
輝度入力装置１２において、ＣＣＤカメラ２２は、例えば、車輌の後部トランクリッドの周辺に、所定の視野角で後方の物体を撮像するように設置されており、ＣＣＤカメラ２２によって撮像された画像情報は、その撮像領域（画像領域）を、一部が重なり合って連続する複数の円形状の領域ＷＸ０〜ＷＸｎに分け、それぞれガウシアンフィルタ２４Ｘ０〜２４Ｘｎを介して輝度検出回路２６に入力される。
【００１７】
ここで、前記複数の領域ＷＸ０〜ＷＸｎは、図２に示すように、所定の方向における無限遠点ＦＯＥ（Focus of Expansion）を設定し、当該無限遠点ＦＯＥに向かう軸Ｘ方向に対して複数に分割した領域とし、または、図３に示すように、軸Ｘ方向に向かう複数の系列（系列１〜系列３）において分割した複数の領域と、軸Ｘ方向に交差する他の軸方向に向かう複数の系列（系列４〜系列６）において分割した複数の領域としてもよい。
【００１８】
輝度入力装置１２の機能は、自車輌の後方に存在する物体の情報を画像情報として捉え、その画像情報を処理して物体を認識するのではなく、一定の視野の中で、移動体である特定の物体、例えば、自車輌の後方から走行してくる他の車輌の情報を、周辺の物体、周辺の環境とは異なる輝度を持つ輝度情報として捉え、所定の視野の中を分割した複数の領域における輝度情報の移動を、移動体の一次元フローとして算出するために、演算処理装置１４に入力するものである。
【００１９】
ここで、自車輌の後方から走行してくる他の車輌の情報を、周辺の物体と異なる輝度を持つ輝度情報として認識するため、本実施形態においては、後続する車輌が路面に作る影の情報を利用し、影の部分の輝度情報を当該後続車輌の情報として得る。
【００２０】
このことは、天気のよい昼間において道路を走行している場合、後続車輌が路面に作る影から得られる輝度情報は、後方道路上の周囲の輝度情報よりは一段と輝度の低い情報となるために輝度の検出が容易であり、ＣＣＤカメラ２２で検出した輝度から、移動体、すなわち、後続車輌を表す情報として検出することができ、この輝度情報に基づいて移動体の一次元フローを算出することにより、複雑な画像処理を行うことなく、車輌情報を得ることができるという考察に基づくものである。
【００２１】
なお、前記影の情報は昼間に道路を走行する場合には好適であるが、夜間の走行の場合は、車輌のヘッドライトやスモールランプから得られる輝度情報が、後方道路上の周囲の輝度情報より一段と輝度の高い情報となる。そこで、夜間においては、これらの高い輝度情報を後続車輌を表す情報として検出すると好適である。
【００２２】
ＣＣＤカメラ２２における各領域ＷＸ０〜ＷＸｎで検出される輝度情報は、ガウシアンフィルタ２４Ｘ０〜２４Ｘｎを介して検知される。ガウシアンフィルタ２４Ｘ０〜２４Ｘｎの特性は、図４に示すように、２次元平面をｉ軸、ｊ軸とし、信号の透過率を縦軸にとった場合、ある領域に入力される情報のうち、その中心部の情報はそのままとし、周辺部の情報は遮断（あるいは減衰）して出力するものであり、入力情報のうち一部をカットして出力情報を得ることにより出力情報量を少なくすることができる。
【００２３】
すなわち、本実施形態では、ガウシアンフィルタ２４Ｘ０〜２４Ｘｎを用いることにより、有意な情報の存在する確率の高い各領域の中心部の情報に対して、有意な情報の存在する確率の低い各領域の周辺部の情報を取り除く（あるいは減衰させる）ことにより、更に処理すべき情報量を減少させている。このことにより、後段の演算処理量をさらに減少させることができる。
【００２４】
ガウシアンフィルタ２４Ｘ０〜２４Ｘｎは、光学的フィルタで構成することも、電気的フィルタとして構成することも可能である。光学的フィルタの場合、ＣＣＤカメラ２２により得られる各領域ＷＸ０〜ＷＸｎ毎の画像信号（輝度情報）に対して、各領域ＷＸ０〜ＷＸｎの周辺部に近づくにつれて、輝度情報の透過量が減衰するような光学レンズを配置すればよく、電気的フィルタの場合は、各領域ＷＸ０〜ＷＸｎ毎の画像信号（輝度情報）を電気信号に変換した後、各領域ＷＸ０〜ＷＸｎの周辺部に近づくにつれて、出力を減衰させるようなフィルタ回路を配置すればよい。
【００２５】
このようにして、所定の視野内を連続する複数の領域ＷＸ０〜ＷＸｎに分割して、一定時間毎にＣＣＤカメラ２２、ガウシアンフィルタ２４Ｘ０〜２４Ｘｎ、輝度検出回路２６を介して領域ＷＸ０〜ＷＸｎ毎に検出された移動体を表す輝度情報Ｉｔ（i, j）（ｉ、ｊはＣＣＤカメラ２２の画素位置を表す。）は、その観測時刻ｔ毎に記憶装置３０に記憶される。
【００２６】
記憶装置３０に記憶された輝度情報Ｉｔ（i, j）は、一次元フロー算出部３２によって読み出される。演算処理装置１４は、例えば、通常のマイクロプロセサーにより構成され、以下に説明する如き演算、制御を行うプログラムをＲＯＭに蓄積し、当該演算、制御プログラムを実行するように構成されている。
【００２７】
一次元フロー算出部３２では、記憶装置３０から読み出された各領域ＷＸ０〜ＷＸｎにおける輝度情報Ｉｔ（i, j）に基づいて、それぞれの領域ＷＸ０〜ＷＸｎ毎に、図５の一次元フロー算出部３２の処理手順を示すフローチャートに従って一次元フロー算出が行われる。
【００２８】
図５のフローチャートのステップＳ０１において、系列番号（図３参照）を初期化（系列番号＝１）し、ステップＳ０２において、系列１の領域番号を初期化（Ｘ＝０）した後、ステップＳ０３において、次の（１）式に従って積和を計算し、観測時刻ｔにおける領域Ｗｘ（領域ＷＸ０〜ＷＸｎの１つを表すものとする。）の信号Ｓ（t, x）を算出する。
【００２９】
【数１】

【００３０】
なお、Ｗｘ（i, j）は、画素位置（i, j）が当該領域Ｗｘに含まれる場合を１とし、含まれない場合を０とする係数である。
【００３１】
次いで、（２）式、（３）式により、信号Ｓ（t, x）の空間微分値Ｓｘ（t, x）と、時間微分値Ｓｔ（t, x）を算出する。
【００３２】
【数２】

【００３３】
【数３】

【００３４】
次に、ステップＳ０４において、閾値をθ₁として、（２）式により算出した空間微分値Ｓｘ（t, x）の絶対値と比較する。
【００３５】
この場合、空間微分値Ｓｘ（t, x）の絶対値が閾値θ₁以下という状態は、隣接する領域Ｗｘにおいて閾値θ₁よりも輝度変化の大きい状態が検出されないことを表している。すなわち、算出された空間微分値Ｓｘ（t, x）に基づく一次元フローの信頼性が低く、これに基づく一次元フロー演算や移動体の動き検出が無意味であることを示している。
【００３６】
一方、空間微分値Ｓｘ（t, x）の絶対値が閾値θ₁以上という状態は、隣接する領域Ｗｘにおいて閾値θ₁よりも輝度変化の大きい状態が検出されたことを表している。すなわち、空間微分値Ｓｘ（t, x）に基づく一次元フローの信頼性が十分に確保できているため、これに基づく一次元フロー演算や移動体の動き検出の信頼性が高いことを示している。
【００３７】
そこで、一次元フロー算出部３２では、先ず、設定した閾値θ₁と空間微分値Ｓｘ（t, x）の絶対値とを比較し、後続の移動体の動きに変化があるか否かを検出し、変化が検出された場合に一次元フローを算出する。
【００３８】
すなわち、｜Ｓｘ（t, x）｜≧θ₁の場合、動きに変化のある移動体が存在するものとして、次の（４）式によりその一次元フローＶ（t, x）を算出する（ステップＳ０５）。
【００３９】
【数４】

【００４０】
ステップＳ０６において、輝度入力領域番号が最終でなければ、ｘ＝ｘ＋１とし（ステップＳ０７）、ステップＳ０３に戻り最後の領域番号まで前記の処理を繰り返し、ステップＳ０８において、系列が最終でなければ、系列番号＝系列番号＋１とし（ステップＳ０９）、ステップＳ０２に戻り最後の系列まで前記の処理を繰り返す。
【００４１】
このようにして移動体の一次元フローＶ（t, x）が算出された後、移動体の動き検出部３６において移動体の動きが検出される。
【００４２】
すなわち、図６のフローチャートのステップＳ１１において、自車速度信号が入力され、入力された自車速度信号に基づいて、ステップＳ１２において、静止物体、例えば、道路上の白線パターン（中央分離線や車線分離線）が生ずるであろう一次元フローＶｅ（t, x）を推定値として算出する。
【００４３】
次いで、ステップＳ１３において、各領域Ｗｘにおいて算出された移動体の一次元フローＶ（t, x）と、道路上のパターンが生ずるであろう一次元フローＶｅ（t, x）との比較を行う。比較結果がＶ（t, x）≧Ｖｅ（t, x）である場合は、自車輌に「近づく移動体あり」、すなわち、後続車輌があると判断し（ステップＳ１４）、Ｖ（t, x）≧Ｖｅ（t, x）でない場合は、自車輌から「遠ざかる移動体あり」、すなわち、後続車輌があると判断する（ステップＳ１５）。
【００４４】
ここで、比較結果がＶ（t, x）≧Ｖｅ（t, x）であり、自車輌に「近づく移動体あり」、すなわち、後続車輌がある場合、移動体の一次元フローＶ（t, x）の大きさが、相対速度の大きさ、すなわち、後続車輌と自車輌の相対速度の大きさを示すこととなり、一次元フローＶ（t, x）の値が大きい程、自車輌への接近速度が大となり、これに基づいて、危険度を判断し、警報判断部４０において、ドライバに警報を発する。
【００４５】
なお、上述した実施形態では、輝度入力装置１２をＣＣＤカメラ２２によって構成したが、図７および図８に示すように、連続する複数の視野方向に向けて配列したガウシアン特性を有する複数の光学レンズ５０およびフォトダイオード５２を、球体の一部を構成するハウジング５４に収納配置して構成することも可能である。この場合、光学レンズ５０からなる光学的フィルタが加えられているので、ＣＣＤカメラ２２を用いた場合よりも情報処理量を削減し、ＣＣＤカメラ２２を用いた場合のような毎秒３０フレーム程度の処理よりも遙かに高速な処理、例えば、毎秒１０００フレーム以上の処理が可能となる。
【００４６】
以上説明したように、本発明に係る移動体認識装置１０は、複数の視野領域（ＷＸ０〜ＷＸｎ）からの輝度情報（Ｉｔ（i, j））を抽出する輝度情報抽出手段（輝度入力装置１２）と、隣り合う視野領域（ＷＸ０〜ＷＸｎ）間での輝度情報（Ｉｔ（i, j））の空間的変化率（空間微分値Ｓｘ（t, x））を求める空間微分演算手段（一次元フロー算出部３２）と、各視野領域（ＷＸ０〜ＷＸｎ）での輝度情報（Ｉｔ（i, j））の時間的変化率（時間微分値Ｓｔ（t, x））を求める時間微分演算手段（一次元フロー算出部３２）と、空間的変化率（空間微分値Ｓｘ（t, x））および時間的変化率（時間微分値Ｓｔ（t, x））から視野領域（ＷＸ０〜ＷＸｎ）間での移動体の動きを算出する移動体算出手段（移動体の動き検出部３６）とからなり、前記輝度情報抽出手段（輝度入力装置１２）が、隣り合う領域が部分的に重なり合う円形状の視野領域（ＷＸ０〜ＷＸｎ）からの輝度情報（Ｉｔ（i, j））を、ガウシアン特性を有するフィルタ（２４Ｘ０〜２４Ｘｎ）を介して抽出することを特徴とする。
【００４７】
また、本発明に係る移動体認識装置１０は、移動体算出手段（移動体の動き検出部３６）が、空間微分演算手段（一次元フロー算出部３２）により求めた空間的変化率（空間微分値Ｓｘ（t, x））の絶対値が設定基準値（閾値θ₁）よりも小さい場合、移動体の動きの算出処理を中止することを特徴とする。
【００４８】
さらに、本発明に係る移動体認識装置１０は、輝度情報抽出手段（輝度入力装置１２）が、視野領域（ＷＸ０〜ＷＸｎ）毎に設けられ、周辺部の透過率が中心部よりも低く設定されたフィルタを構成する光学レンズ（５０）と、前記光学レンズ（５０）を透過した光を受光し、前記輝度情報（Ｉｔ（i, j））としての電気信号に変換するフォトダイオード（５２）とからなることを特徴とする。
【００４９】
【発明の効果】
以上のように、本発明に係る移動体認識装置は、物体の情報を画像情報として捉え、その画像情報を処理して移動体を認識するのではなく、部分的に重なり合う複数の円形状の視野領域の中で、移動体を表す情報を、周辺の物体と異なる輝度を持つ輝度情報として捉え、各視野領域間の輝度情報の移動を一次元フローとして算出し、物体の移動の状態を判断するように構成したため、演算処理において処理すべき情報量を大幅に削減することができる。
【００５０】
この場合、前記複数の視野領域は、所定の方向における無限遠点に向かう軸方向に対して分割された視野領域、さらには、前記軸方向に交差する方向に対して分割された視野領域として設定することで、情報量の削減並びに処理の高速化を達成することができる。なお、隣接する視野領域に所定の重なりを持たせることにより、より精度の高い一次元フローを得ることができる。
【００５１】
また、ガウシアン特性を有するフィルタを用いることにより、有意な情報の存在する確率の高い各視野領域の中心部の情報に対して、有意な情報の存在する確率の低い各視野領域の周辺部の情報を取り除き、処理すべき情報量をさらに減少させることができる。
【００５２】
この結果、演算能力の低い、安価な処理装置を用いて移動体認識装置を構成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る移動体認識装置の構成を示すブロック図である。
【図２】輝度入力装置において撮像する複数の領域を説明するための図である。
【図３】輝度入力装置において撮像する複数の領域を説明するための図である。
【図４】ガウシアンフィルタの特性を示す図である。
【図５】一次元フロー算出部の処理手順を示すフローチャートである。
【図６】移動体の動き検出部の処理手順を示すフローチャートである。
【図７】輝度入力装置の他の実施形態を示す概略斜視図である。
【図８】図７に示す輝度入力装置の断面構成図である。
【符号の説明】
１０…移動体認識装置１２…輝度入力装置（輝度情報抽出手段）
１４…演算処理装置２２…ＣＣＤカメラ
２４Ｘ０〜２４Ｘｎ…ガウシアンフィルタ
２６…輝度検出回路３０…記憶装置
３２…一次元フロー算出部３６…移動体の動き検出部
４０…警報判断部ＷＸ０〜ＷＸｎ…領域[0001]
BACKGROUND OF THE INVENTION
The present invention detects, for example, information on other vehicles approaching from the rear and side as luminance information by an image sensor such as an imaging device installed in a vehicle such as an automobile, and the movement of the moving object is determined based on the information. The present invention relates to a mobile object recognition device to be calculated.
[0002]
[Prior art]
In recent years, the development of car electronics has been remarkable, and various computer control technologies have been developed to support safe driving of vehicles such as automobiles, and images of road signs, surrounding objects, other vehicles, etc. are captured by CCD sensors. However, a technique has been proposed in which the movement of another vehicle is captured by image processing.
[0003]
For example, it is assumed that the vehicle is approaching from behind, which is relatively easy for the driver to miss. If the driver tries to turn left or right or change lanes without considering the approaching state of the vehicle, the following vehicle will be forced to brake in order to avoid danger, thereby preventing smooth traffic. Therefore, realizing a function of recognizing the presence of a vehicle approaching the host vehicle in advance is extremely useful in terms of smooth vehicle operation.
[0004]
Such a technology for recognizing the moving state of a moving object is a field that is widely desired not only for driving a car but also for general moving objects such as airplanes and ships, and its application range will be expanded in the future. Is an important technical field to be expected.
[0005]
For example, Japanese Patent Application Laid-Open No. 7-50769 discloses a conventional example that discloses a method of detecting the presence of a vehicle approaching from the rear side of the vehicle and causing the driver to recognize it in advance. The technology is known.
[0006]
The technique disclosed in the above publication is based on the fact that the rear view image information of the own vehicle is obtained by an imaging device such as a video camera or a CCD camera installed at the rear of the vehicle, and the approach of the following traveling vehicle or a traveling vehicle in the adjacent lane is approached. Is used to determine the degree of risk and to give a warning to the driver. From the series of rear-side images captured by the imaging device, the same object on the target object that is projected in two frames that are temporally adjacent to each other is displayed. One point of movement is detected as an optical flow vector, and the degree of danger is judged from its magnitude and direction.
[0007]
In this method, the optical flow vector is obtained by moving a window set in a radial direction from an infinity point FOE (Focus of Expansion) of the previous image in the same direction in the subsequent image, and a rear image overlapping the window, the window The arrows connecting the respective center points with the set position in the previous image are determined as one optical flow vector of interest, and the speed and direction of the following vehicle are determined based on the magnitude and direction.
[0008]
[Problems to be solved by the invention]
However, in the vehicle detection shown in the above prior art, two frames that are temporally adjacent to each other are recognized after performing image recognition (image processing) from the image information obtained by the imaging device and identifying the vehicle existing behind. It is necessary to calculate the optical flow for the corresponding vehicle in the image information.
[0009]
In general, in order to identify a specific vehicle, for example, a vehicle traveling behind, from image information obtained by an imaging device, high-level image processing is required. As a processing device for that purpose, a large amount of image information can be obtained in a short time. Performance that can be processed is required. In particular, when driving a car, in order to realize the function of recognizing in advance the presence of a vehicle approaching from behind the vehicle and issuing an appropriate warning to the driver, A high-speed processing device capable of processing is required. Also, the image processing software is required to realize an advanced processing algorithm, and there is an inconvenience that an expensive processing apparatus must be used.
[0010]
Therefore, according to the present invention, the amount of information obtained from the moving body is minimized to achieve the object, and the state of the moving body is determined with high accuracy by effectively using the necessary minimum information. It is an object of the present invention to provide a mobile object recognition apparatus that can perform the above-described operation.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, the present invention does not recognize object information as image information having sufficient resolution for human recognition and process the image information to recognize a moving object. In order to capture the movement of an object in the field of view as brightness change information, overlapping adjacent field regions is used to suppress missing movement information, and then the luminance information of the circular field of view is obtained. By extracting through a filter having a Gaussian characteristic, it is possible to improve the reliability of the information on the movement of the moving object. That is, it is possible to reliably recognize the movement of the object and reduce the amount of information to be processed.
[0012]
In addition, when the absolute value of the spatial change rate of the luminance information obtained by the spatial differential calculation means is smaller than the set reference value, the luminance change is small and the reliability is low by stopping the movement calculation process of the moving body It is possible to avoid moving object recognition in the state.
[0013]
Further, luminance information extraction means comprising an optical lens in which the transmittance of the peripheral portion is set lower than that of the central portion, and a photodiode that receives light transmitted through the optical lens and converts it into an electrical signal as the luminance information. Is provided corresponding to each of the visual field regions, and the luminance information is extracted by the luminance information extracting means, so that the mobile object can be recognized at a low cost and at a high speed.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
A preferred embodiment of a mobile object recognition apparatus according to the present invention will be described below in detail with reference to the accompanying drawings.
[0015]
FIG. 1 is a block diagram showing the configuration of the mobile object recognition device of this embodiment. In FIG. 1, the moving body recognition device 10 includes a luminance input device 12, a storage device 30, a moving body one-dimensional flow calculation unit 32, a moving body motion detection unit 36, and an arithmetic processing unit 14 including an alarm determination unit 40. It is composed of
[0016]
In the luminance input device 12, the CCD camera 22 is installed, for example, around the rear trunk lid of the vehicle so as to image a rear object at a predetermined viewing angle, and image information captured by the CCD camera 22 is The imaging region (image region) is divided into a plurality of circular regions WX0 to WXn that are partially overlapped and continuous, and are input to the luminance detection circuit 26 via Gaussian filters 24X0 to 24Xn, respectively.
[0017]
Here, as shown in FIG. 2, the plurality of regions WX0 to WXn set an infinite point FOE (Focus of Expansion) in a predetermined direction, and a plurality of the regions WX0 to WXn are set in the direction of the axis X toward the infinite point FOE. As shown in FIG. 3, or as shown in FIG. 3, a plurality of areas divided in a plurality of series (series 1 to series 3) directed in the axis X direction and another axis direction intersecting the axis X direction It is good also as a several area | region divided | segmented in several series (series 4-series 6).
[0018]
The function of the luminance input device 12 is a moving object in a fixed field of view, instead of capturing information on an object existing behind the host vehicle as image information and processing the image information to recognize the object. Information on a specific object, for example, another vehicle traveling from behind the host vehicle, is regarded as luminance information having luminance different from that of the surrounding object and the surrounding environment, and a plurality of divisions within a predetermined field of view. In order to calculate the movement of the luminance information in the region as a one-dimensional flow of the moving object, the information is input to the arithmetic processing unit 14.
[0019]
Here, in order to recognize the information of other vehicles traveling from behind the own vehicle as luminance information having luminance different from that of the surrounding objects, in this embodiment, information on shadows that the subsequent vehicle creates on the road surface Is used to obtain the luminance information of the shadow portion as information of the succeeding vehicle.
[0020]
This is because, when driving on a road in the daytime when the weather is fine, the luminance information obtained from the shadow made by the following vehicle on the road surface is information that is much lower than the luminance information of the surroundings on the rear road. Luminance is easy to detect, and can be detected from the luminance detected by the CCD camera 22 as information representing a moving object, that is, a subsequent vehicle, and a one-dimensional flow of the moving object is calculated based on the luminance information. Thus, the vehicle information can be obtained without performing complicated image processing.
[0021]
The shadow information is suitable when driving on a road in the daytime, but when driving at night, the luminance information obtained from the headlights and small lamps of the vehicle is the luminance information of the surroundings on the rear road. The information is much brighter. Therefore, at night, it is preferable to detect such high luminance information as information representing the following vehicle.
[0022]
Luminance information detected in each of the areas WX0 to WXn in the CCD camera 22 is detected via the Gaussian filters 24X0 to 24Xn. As shown in FIG. 4, the characteristics of the Gaussian filters 24X0 to 24Xn include that of information input to a certain area when the two-dimensional plane is the i-axis and the j-axis and the signal transmittance is the vertical axis. The information in the central part is left as it is, the information in the peripheral part is cut off (or attenuated), and the output information amount can be reduced by cutting out a part of the input information to obtain the output information. it can.
[0023]
That is, in the present embodiment, by using the Gaussian filters 24X0 to 24Xn, the periphery of each region having a low probability of existence of significant information with respect to the information of the central portion of each region having a high probability of existence of significant information. By removing (or attenuating) part of the information, the amount of information to be further processed is reduced. As a result, it is possible to further reduce the calculation processing amount in the subsequent stage.
[0024]
The Gaussian filters 24X0 to 24Xn can be configured as optical filters or as electrical filters. In the case of an optical filter, with respect to the image signal (luminance information) for each of the areas WX0 to WXn obtained by the CCD camera 22, the transmission amount of the luminance information attenuates as it approaches the periphery of each area WX0 to WXn. In the case of an electrical filter, an image signal (luminance information) for each of the areas WX0 to WXn is converted into an electrical signal, and then output as it approaches the periphery of each of the areas WX0 to WXn. It suffices to arrange a filter circuit that attenuates.
[0025]
In this way, the predetermined field of view is divided into a plurality of continuous regions WX0 to WXn, and the regions WX0 to WXn are passed through the CCD camera 22, Gaussian filters 24X0 to 24Xn, and the luminance detection circuit 26 at regular intervals. Luminance information It (i, j) representing the detected moving body (i, j represents the pixel position of the CCD camera 22) is stored in the storage device 30 at each observation time t.
[0026]
The luminance information It (i, j) stored in the storage device 30 is read by the one-dimensional flow calculation unit 32. The arithmetic processing unit 14 is configured by, for example, a normal microprocessor, and is configured to store a program for performing calculation and control as described below in a ROM and execute the calculation and control program.
[0027]
The one-dimensional flow calculation unit 32 calculates the one-dimensional flow in FIG. 5 for each of the regions WX0 to WXn based on the luminance information It (i, j) in the regions WX0 to WXn read from the storage device 30. One-dimensional flow calculation is performed according to the flowchart showing the processing procedure of the unit 32.
[0028]
In step S01 of the flowchart of FIG. 5, the sequence number (see FIG. 3) is initialized (sequence number = 1). In step S02, the region number of sequence 1 is initialized (X = 0), and then in step S03. Then, the product sum is calculated according to the following equation (1), and the signal S (t, x) of the region Wx (representing one of the regions WX0 to WXn) at the observation time t is calculated.
[0029]
[Expression 1]

[0030]
Note that Wx (i, j) is a coefficient that sets 1 when the pixel position (i, j) is included in the region Wx and sets 0 when it is not included.
[0031]
Next, a spatial differential value Sx (t, x) and a time differential value St (t, x) of the signal S (t, x) are calculated by the equations (2) and (3).
[0032]
[Expression 2]

[0033]
[Equation 3]

[0034]
Next, in step S04, the threshold is set as θ ₁ and compared with the absolute value of the spatial differential value Sx (t, x) calculated by equation (2).
[0035]
In this case, a state where the absolute value of the spatial differential value Sx (t, x) is equal to or smaller than the threshold value θ ₁ indicates that a state in which the luminance change is larger than the threshold value θ ₁ is not detected in the adjacent region Wx. That is, it shows that the reliability of the one-dimensional flow based on the calculated spatial differential value Sx (t, x) is low, and the one-dimensional flow calculation based on this and the motion detection of the moving body are meaningless.
[0036]
On the other hand, the state where the absolute value of the spatial differential value Sx (t, x) is equal to or greater than the threshold value θ ₁ indicates that a state in which the luminance change is larger than the threshold value θ ₁ is detected in the adjacent region Wx. That is, since the reliability of the one-dimensional flow based on the spatial differential value Sx (t, x) is sufficiently ensured, the reliability of the one-dimensional flow calculation based on this and the motion detection of the moving body is high. Yes.
[0037]
Therefore, the one-dimensional flow calculation unit 32 first compares the set threshold value θ ₁ with the absolute value of the spatial differential value Sx (t, x) to detect whether there is a change in the movement of the subsequent moving body. When a change is detected, a one-dimensional flow is calculated.
[0038]
That is, in the case of | Sx (t, x) | ≧ θ ₁ , the one-dimensional flow V (t, x) is calculated by the following equation (4) on the assumption that there is a moving body with a change in motion ( Step S05).
[0039]
[Expression 4]

[0040]
If the luminance input area number is not the last in step S06, x = x + 1 is set (step S07), the process returns to step S03 and the above processing is repeated until the last area number. If the series is not the last in step S08, the series Number = sequence number + 1 (step S09), the process returns to step S02 and the above processing is repeated until the last sequence.
[0041]
After calculating the one-dimensional flow V (t, x) of the moving body in this way, the movement of the moving body is detected by the movement detecting unit 36 of the moving body.
[0042]
That is, in step S11 of the flowchart of FIG. 6, the own vehicle speed signal is input, and based on the input own vehicle speed signal, in step S12, a white line pattern (center separation line or lane line on a stationary object, for example, a road). A one-dimensional flow Ve (t, x) that would cause a separation line) is calculated as an estimated value.
[0043]
Next, in step S13, a comparison is made between the one-dimensional flow V (t, x) of the moving object calculated in each region Wx and the one-dimensional flow Ve (t, x) on which a pattern on the road will occur. . If the comparison result is V (t, x) ≧ Ve (t, x), it is determined that there is a moving object approaching the host vehicle, that is, there is a following vehicle (step S14), and V (t, x If it is not ≧ Ve (t, x), it is determined that “there is a moving object that moves away” from the host vehicle, that is, there is a succeeding vehicle (step S15).
[0044]
Here, when the comparison result is V (t, x) ≧ Ve (t, x) and “the moving body is approaching” the vehicle, that is, when there is a following vehicle, the one-dimensional flow V (t, x) indicates the relative speed, that is, the relative speed between the following vehicle and the host vehicle, and the larger the value of the one-dimensional flow V (t, x), The approach speed increases, and based on this, the degree of danger is determined, and the alarm determination unit 40 issues an alarm to the driver.
[0045]
In the above-described embodiment, the luminance input device 12 is configured by the CCD camera 22. However, as shown in FIGS. 7 and 8, a plurality of optical lenses having Gaussian characteristics arranged in a plurality of continuous viewing directions. 50 and the photodiode 52 can be housed and arranged in a housing 54 constituting a part of a sphere. In this case, since an optical filter composed of the optical lens 50 is added, the amount of information processing is reduced as compared with the case where the CCD camera 22 is used, and processing of about 30 frames per second as in the case where the CCD camera 22 is used. A much faster processing, for example, processing of 1000 frames or more per second becomes possible.
[0046]
As described above, the mobile object recognition device 10 according to the present invention is a luminance information extraction unit (luminance input device 12) that extracts luminance information (It (i, j)) from a plurality of visual field regions (WX0 to WXn). ) And spatial differential calculation means (one-dimensional) for obtaining a spatial change rate (spatial differential value Sx (t, x)) of luminance information (It (i, j)) between adjacent visual field regions (WX0 to WXn) A flow calculation unit 32) and time differential calculation means for obtaining a temporal change rate (time differential value St (t, x)) of luminance information (It (i, j)) in each visual field region (WX0 to WXn). From the one-dimensional flow calculation unit 32), the spatial change rate (spatial differential value Sx (t, x)) and the temporal change rate (time differential value St (t, x)) between the visual field regions (WX0 to WXn). Moving body calculating means (moving body motion detecting unit 36) for calculating the movement of the moving body, and the luminance information The information extraction means (luminance input device 12) converts luminance information (It (i, j)) from the circular visual field area (WX0 to WXn) where adjacent areas partially overlap into a filter (24X0) having Gaussian characteristics. To 24Xn).
[0047]
Further, the mobile object recognition apparatus 10 according to the present invention has a spatial change rate (spatial differential) obtained by the mobile object calculation means (motion detection unit 36 of the mobile object) by the spatial differential calculation means (one-dimensional flow calculation part 32). When the absolute value of the value Sx (t, x)) is smaller than the set reference value (threshold value θ ₁ ), the moving body motion calculation process is stopped.
[0048]
Furthermore, in the moving body recognition apparatus 10 according to the present invention, the luminance information extraction means (luminance input device 12) is provided for each visual field region (WX0 to WXn), and the transmittance of the peripheral portion is set lower than that of the central portion. An optical lens (50) constituting the filter, a photodiode (52) that receives light transmitted through the optical lens (50) and converts it into an electrical signal as the luminance information (It (i, j)); It is characterized by comprising.
[0049]
【The invention's effect】
As described above, the mobile object recognition apparatus according to the present invention does not recognize object information as image information and processes the image information to recognize the mobile object, but instead recognizes a plurality of circularly overlapping fields of view. In the area, information representing the moving object is regarded as luminance information having a luminance different from that of the surrounding object, and the movement of the luminance information between the visual field areas is calculated as a one-dimensional flow, and the movement state of the object is judged. With this configuration, the amount of information to be processed in the arithmetic processing can be greatly reduced.
[0050]
In this case, the plurality of field areas are set as a field area divided with respect to an axial direction toward an infinite point in a predetermined direction, and further, as a field area divided with respect to a direction intersecting the axis direction. By doing so, the amount of information can be reduced and the processing speed can be increased. It should be noted that a more accurate one-dimensional flow can be obtained by providing a predetermined overlap between adjacent visual field regions.
[0051]
In addition, by using a filter with Gaussian characteristics, information on the peripheral part of each visual field area with a low probability of existence of significant information with respect to information on the central part of each visual field area with a high probability of existence of significant information. The amount of information to be processed can be further reduced.
[0052]
As a result, it is possible to configure the mobile object recognition device using an inexpensive processing device having a low calculation capability.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a mobile object recognition device according to the present invention.
FIG. 2 is a diagram for explaining a plurality of areas to be imaged in a luminance input device.
FIG. 3 is a diagram for explaining a plurality of areas to be imaged in a luminance input device.
FIG. 4 is a diagram illustrating characteristics of a Gaussian filter.
FIG. 5 is a flowchart showing a processing procedure of a one-dimensional flow calculation unit.
FIG. 6 is a flowchart showing a processing procedure of a moving body motion detection unit;
FIG. 7 is a schematic perspective view showing another embodiment of a luminance input device.
8 is a cross-sectional configuration diagram of the luminance input device shown in FIG. 7;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Moving body recognition apparatus 12 ... Luminance input device (luminance information extraction means)
DESCRIPTION OF SYMBOLS 14 ... Arithmetic processing device 22 ... CCD camera 24X0-24Xn ... Gaussian filter 26 ... Luminance detection circuit 30 ... Memory | storage device 32 ... One-dimensional flow calculation part 36 ... Motion detection part 40 of moving body ... Alarm judgment part WX0-WXn ... Area

Claims

複数の視野領域からの輝度情報を抽出する輝度情報抽出手段と、
隣り合う前記視野領域間での前記輝度情報の空間的変化率を求める空間微分演算手段と、
前記各視野領域での前記輝度情報の時間的変化率を求める時間微分演算手段と、
前記空間的変化率および前記時間的変化率から前記視野領域間での移動体の動きを算出する移動体算出手段とからなり、
前記輝度情報抽出手段は、隣り合う領域が部分的に重なり合う円形状の前記視野領域からの前記輝度情報を、ガウシアン特性を有するフィルタを介して抽出することを特徴とする移動体認識装置。Luminance information extraction means for extracting luminance information from a plurality of visual field areas;
Spatial differential calculation means for obtaining a spatial change rate of the luminance information between the adjacent visual field regions;
A time differentiation calculating means for obtaining a temporal change rate of the luminance information in each field of view;
A moving body calculating means for calculating a movement of the moving body between the visual field regions from the spatial change rate and the temporal change rate;
The luminance information extracting unit extracts the luminance information from the circular visual field region in which adjacent regions partially overlap with each other through a filter having Gaussian characteristics.

請求項１記載の装置において、
前記移動体算出手段は、前記空間微分演算手段により求めた前記空間的変化率の絶対値が設定基準値よりも小さい場合、前記移動体の動きの算出処理を中止することを特徴とする移動体認識装置。The apparatus of claim 1.
The mobile body calculating means stops the movement calculation process of the mobile body when the absolute value of the spatial change rate obtained by the spatial differential operation means is smaller than a set reference value. Recognition device.

請求項１または２記載の装置において、
前記輝度情報抽出手段は、前記視野領域毎に設けられ、周辺部の透過率が中心部よりも低く設定された前記フィルタを構成する光学レンズと、前記光学レンズを透過した光を受光し、前記輝度情報としての電気信号に変換するフォトダイオードとからなることを特徴とする移動体認識装置。The apparatus according to claim 1 or 2,
The luminance information extraction means is provided for each of the visual field regions, and receives the light transmitted through the optical lens, and an optical lens constituting the filter in which the transmittance of the peripheral portion is set lower than that of the central portion, A moving body recognition apparatus comprising a photodiode that converts an electric signal as luminance information.