JP4070448B2

JP4070448B2 - 移動物体の認識装置及び認識方法

Info

Publication number: JP4070448B2
Application number: JP2001360252A
Authority: JP
Inventors: 仁臣滝澤
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2001-11-27
Filing date: 2001-11-27
Publication date: 2008-04-02
Anticipated expiration: 2021-11-27
Also published as: JP2003162710A

Description

【０００１】
【発明の属する技術分野】
この発明は、走行中に自車に搭載した撮像手段により自車後方を撮像し、得られた画像を処理して自車後側方の移動物体を認識する移動物体の認識装置及び認識方法に関する。
【０００２】
【従来の技術】
従来、自車の走行中に、自車に搭載した撮像手段により後方を撮像して得られる画像を処理し、あるフレーム画像とその所定時間後のフレーム画像の変化から同一点の動きを表わすオプティカルフローを導出し、このオプティカルフローから自車の後側方における移動物体を識別して車両か路側構造物かを認識することが行われている。このとき、オプティカルフローの計算手法として、勾配法や相関演算法があり、ハードウェア化が容易である点から後者の相関演算法がよく利用されている。
【０００３】
この相関演算法は、テンプレートマッチング法とも呼ばれ、画像中に対象物の動きベクトル、つまりオプティカルフローを計算するのに利用される手法であり、例えば図３に示すように、所定時間相前後した２つのフレーム画像（時刻ｔと時刻ｔ＋１のフレーム画像）に対して、
Ｄ（ｕ，ｖ）＝Σ_{ｘ，ｙ∈Ｒ}｜Ｉ^ｆ（ｘ，ｙ）−Ｉ^ｆ＋１（ｘ＋ｕ，ｙ＋ｖ）｜…(1)
で定義される各画素毎の輝度差の和、つまり残差Ｄ（ｕ，ｖ）が最小となるかどうかを探索し、最小となればそのときの移動ベクトル（ｕ，ｖ）をもって、その座標位置（ｘ，ｙ）での対象物の動き量とするものである。
【０００４】
尚、上記(1) 式において、ｆはフレーム、Ｒは参照画像領域、Ｉ^ｆ（ｘ，ｙ）はフレームｆでの画像上での座標（ｘ，ｙ）での輝度、Ｉ^ｆ＋１（ｘ＋ｕ，ｙ＋ｖ）はフレームｆ＋１での画像上での座標（ｘ＋ｕ，ｙ＋ｖ）での輝度である。
【０００５】
【発明が解決しようとする課題】
ところで、このような相関演算法の場合、その原理的な特性から、サンプリング点からもとの信号を正しく再現できなくなる現象、つまりエイリアシングが生じる。
【０００６】
例えば、図４に示すように、撮像手段による撮像画像中にガードレールが存在するときに、そのガードレールを構成する各ポールは等間隔で並んでおり、ガードレールは、自車速と同じ大きさの速度で自車とは逆方向に相対的に移動するにも拘わらず、実際の相対速度とは異なる相対速度で移動するものと判断してしまい、ガードレールを移動物体と誤認識することがあるという問題があった。
【０００７】
具体例で説明すると、撮像手段による画像のサンプリング周期をωｓ［Ｈｚ］（１０〜３０Ｈｚ）、自車速Ｖ［ｍ／ｓ］及びガードレールのポール間隔Ｄｇ［ｍ］で決まる画像上でのガードレールの移動周期をωｇ［Ｈｚ］（＝Ｖ／Ｄｇ）とすると、この移動周期ωｇが、
ωｓ−２×ωｇ＞０…(2)
の関係を満たさないときには、画像処理におけるテンプレートマッチングでミスマッチングが生じる。例えば、自車速Ｖが６０［ｋｍ／ｈ］でガードレールのポール間隔Ｄｇが１［ｍ］のとき、移動周期ωｇは１６．７［Ｈｚ］となり、サンプリングレートωｓが３０［Ｈｚ］であっても、上記した(2) 式を満たさずにエイリアシングが起きる。
【０００８】
そして、図５（ａ）に示すように時刻ｔにおけるガードレールのポールの各エッジのオプティカルフローは、本来同図（ｂ）に示すように、次の時刻ｔ＋１において拡大焦点(Focus of Expansion)Ｆに向かうべき（図５（ｂ）中の太線矢印）であるのに対し、追い越し車両と同様、拡大焦点Ｆから離れる方向に向かう（図５（ｂ）中の細線矢印）と誤認され、そのオプティカルフローに対応する物体が、追い越し車両と同様、拡大焦点Ｆから離れる方向に移動する移動物体と誤って判断されるという現象が生じるのである。
【０００９】
そこで、本発明は、エイリアシングによる移動物体の誤認識を防止可能な、信頼性の高い移動物体の認識装置及びその方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記した目的を達成するために、本発明にかかる移動物体の認識装置は、走行中に自車に搭載した撮像手段により自車後方を撮像し、得られた画像を処理して自車後側方の移動物体を認識する移動物体の認識装置において、前記撮像手段による原画像の全画素の濃度を微分処理して得られた全画素についての濃度微分値を２値化しエッジパターンから成る微分２値化画像を形成する２値化部と、前記２値化部による前記微分２値化画像中に、撮像方向を示す１点に対応する拡大焦点からの放射ライン上に並ぶエッジ列のうち、エッジ間隔が一定のエッジ列があればそのエッジ列をガードレール候補として検出する検出部と、自車の車速を検出する車速検出部と、前記検出部によるエッジ間隔と前記車速検出部による自車の車速とから、前記検出部により前記ガードレール候補として検出される前記エッジ列の各エッジの出現周期を求め、前記撮像手段による画像のサンプリング周期と前記出現周期の２倍との差がゼロより大きいかどうか比較する比較部と、前記比較部より前記差がゼロより大きいと判断されると、前記拡大焦点から離れるプラス方向及び前記拡大焦点に向かうマイナス方向の両方向に探索を行い、前記エッジ列における大多数のエッジの３次元座標における移動後の位置が前記両方向のいずれかで一致するかどうか判定し、前記差がゼロより小さいと判断されると、前記マイナス方向にのみ探索を行い、前記エッジ列における大多数のエッジの３次元移動量が前記マイナス方向で一致するかどうか判定する判定部と、前記判定部により一致すると判定されれば、前記ガードレール候補としての前記エッジ列をガードレールと判断して移動物体としての検出対象から除外する処理部とを備えていることを特徴としている。
【００１１】
このような構成によれば、検出部により、エッジ間隔が一定のエッジ列がガードレール候補として検出されると、比較部により、画像のサンプリング周期と、検出部によるエッジ間隔と車速検出部による自車の車速とから求められるガードレール候補のエッジ列におけるエッジの出現周期の２倍との差がゼロより大きいかどうかの比較がなされる。
【００１２】
そして、この差がゼロより大きければ、判定部により、プラス方向及びマイナス方向の両方向に探索が行われて、ガードレール候補としてのエッジ列における大多数のエッジの３次元座標における移動後の位置が両方向のいずれかで一致するかどうか判定される一方、差がゼロより小さければ、判定部により、マイナス方向にのみ探索を行い、エッジ列における大多数のエッジの３次元移動量がマイナス方向で一致するかどうか判定され、その結果一致すると判定されるときには、処理部により、ガードレール候補としてのエッジ列がガードレールと判断されて移動物体としての検出対象から除外される。
【００１３】
そのため、エイリアシングが起きるおそれのあるガードレールを移動物体としての検出対象から確実に除外することができ、エイリアシングによる移動物体の誤認識を未然に防止することができる。
【００１４】
また、本発明にかかる移動物体の認識装置は、前記検出部が、２次元の前記微分２値化画像中を３次元座標に変換し、地面上に逆投影したときの各エッジの間隔を導出し、導出した間隔が一定かどうかによって前記ガードレール候補としての前記エッジ列を検出することを特徴としている。
【００１５】
このような構成によれば、ガードレール候補のエッジ列におけるエッジ間隔が一定かどうか判断する際に、微分２値化画像を３次元変換して地面上に逆投影したときの各エッジの間隔が一定かどうか判断するため、エッジ間隔が一定のガードレール候補としてのエッジ列を的確に検出することができる。
【００１８】
また、本発明にかかる移動物体の認識装置は、前記処理部により、ガードレールと認識された前記エッジ列が検出対象から除外されている旨、または前記撮像手段による画像中にガードレールと認識したものが存在する旨を報知する報知部を備えていることを特徴としている。
【００１９】
このような構成によれば、ガードレールと判断されたエッジ列が除外された旨、または画像中にガードレールと判断したものが存在する旨が報知部により報知されるため、この報知から、ユーザは少なくとも撮像手段による画像中にガードレールが含まれていることを知ることができる。
【００２０】
また、本発明にかかる移動物体の認識方法は、前記撮像手段による原画像の全画素の濃度を微分処理して得られた全画素についての濃度微分値を２値化しエッジパターンから成る微分２値化画像を形成する２値化工程と、前記２値化部による前記微分２値化画像中に、撮像方向を示す１点に対応する拡大焦点からの放射ライン上に並ぶエッジ列のうち、エッジ間隔が一定のエッジ列があればそのエッジ列をガードレール候補として検出する検出工程と、自車の車速を検出する車速検出工程と、前記検出工程におけるエッジ間隔と前記車速検出工程における自車の車速とから、前記検出工程により前記ガードレール候補として検出される前記エッジ列の各エッジの出現周期を求め、前記撮像手段による画像のサンプリング周期と前記出現周期の２倍との差がゼロより大きいかどうか比較する比較工程と、前記差がゼロより大きいときに、前記拡大焦点から離れるプラス方向及び前記拡大焦点に向かうマイナス方向の両方向に探索を行い、前記エッジ列における大多数のエッジの３次元座標における移動後の位置が前記両方向のいずれかで一致するかどうか判定し、前記差がゼロより小さいときに、前記マイナス方向にのみ探索を行い、前記エッジ列における大多数のエッジの３次元移動量が前記マイナス方向で一致するかどうか判定する判定工程と、前記判定工程により一致すると判定されれば、前記ガードレール候補としての前記エッジ列をガードレールと判断して移動物体としての検出対象から除外する処理工程とを含むことを特徴としている。
【００２１】
このような構成によれば、エッジ間隔が一定のエッジ列がガードレール候補として検出されると、画像のサンプリング周期と、検出工程におけるエッジ間隔と車速検出工程における自車の車速とから求められるガードレール候補のエッジ列におけるエッジの出現周期の２倍との差がゼロより大きいかどうかの比較がなされ、この差がゼロより大きければ、プラス方向及びマイナス方向の両方向への探索により、ガードレール候補としてのエッジ列における大多数のエッジの３次元座標における移動後の位置が両方向のいずれかで一致するかどうか判定される一方、差がゼロより小さければマイナス方向のみの探索により、エッジ列における大多数のエッジの３次元移動量がマイナス方向で一致するかどうか判定され、その結果一致すると判定されるときには、ガードレール候補としてのエッジ列がガードレールと判断されて移動物体としての検出対象から除外される。
【００２２】
そのため、エイリアシングが起きるおそれのあるガードレールを移動物体としての検出対象から確実に除外することができ、エイリアシングによる移動物体の誤認識を未然に防止することができる。
【００２３】
【発明の実施の形態】
この発明の一実施形態について図１及び図２を参照して説明する。但し、図１はブロック図、図２は動作説明図である。
【００２４】
図１に示すように、自車に撮像手段としての単眼ＣＣＤカメラ１が搭載され、このＣＣＤカメラ１により自車の後方及び後側方が撮像され、得られた各時刻毎のフレーム画像がＣＰＵ２によりＲＡＭ等から成るメモリ３に保存される。そして、ＣＰＵ２はサンプリング周期毎に得られるフレーム画像を処理して画像中の対象物のオプティカルフローを計算してその移動量を求め、その対象物が車両かどうか認識する。尚、４は自車の車速を検出する車速検出部としての車輪速センサ、５はＣＰＵ２の制御により所定の報知を行う報知部であり、例えばブザーや表示ランプ、ディスプレイまたは音声合成装置等により構成される。
【００２５】
即ち、ＣＰＵ２により、各フレーム画像について、走行中の自車から撮像方向を示す１点に対応する拡大焦点（例えば、図５中のＦを参照）を通り放射状に複数の探索ラインが設定されて、これら各探索ライン上にそれぞれ複数の計算点が定められる。
【００２６】
このとき、ＣＰＵ２により、ＣＣＤカメラ１によるフレーム画像の全画素の濃度が微分処理され、得られた全画素についての濃度微分値が２値化されてエッジパターンから成る微分２値化画像が形成される。このようなＣＰＵ２による２値化処理が２値化部に相当する。
【００２７】
そして、ＣＰＵ２の２値化処理による微分２値化画像中に、拡大焦点からの放射状の探索ライン上に並ぶエッジ列が存在するときに、それらエッジ列のエッジ間隔が導出され、一定間隔のエッジ列があるときには、そのエッジ列がガードレール候補として検出される。その際、２次元の微分２値化画像中が、周知の２次元−３次元変換の手法により３次元座標に変換され、地面上に逆投影したときの各エッジの間隔Ｄｇ［ｍ］が導出され、導出された間隔Ｄｇが一定かどうかが判断されるようになっている。このようなＣＰＵ２によるガードレール候補の検出処理が検出部に相当する。
【００２８】
更に、ＣＰＵ２により、ガードレール候補としてのエッジ列が検出されると、そのときに導出されたエッジ間隔Ｄｇと車輪速センサ４による自車速Ｖ［ｍ／ｓ］とから、そのガードレール候補としてのエッジ列の各エッジの出現周期ωｇ［Ｈｚ］（＝Ｖ／Ｄｇ）が求められ、ＣＣＤカメラ１による画像のサンプリング周期ωｓ［Ｈｚ］と出現周期ωｇの２倍との差Δω（＝ωｓ−２×ωｇ）がゼロより大きいかどうか、つまり、上記した(2) 式の関係を満たすかどうかの比較がなされる。このようなＣＰＵ２による比較処理が比較部に相当する。
【００２９】
また、ＣＰＵ２より、上記した差Δω（＝ωｓ−２×ωｇ）がゼロより大きい、つまり(2) 式の関係を満たすと判断されると、エイリアシングが起きるおそれはなく、ＣＰＵ２より、拡大焦点を通る探索ライン上を拡大焦点から離れるプラス（＋）方向及び拡大焦点に向かうマイナス（−）方向の両方向に探索が行われ、ガードレール候補としてのエッジ列における大多数のエッジの３次元座標における移動後の位置が、プラス（＋）方向及びマイナス（−）方向の両方向のいずれかで一致するかどうか判定される。このとき、両方向に探索するのは、画像中にガードレールとこれに重なる追い越し車両とが存在することがあると、一方向だけではこれらを検出することができず、ガードレールとこれに重なる追い越し車両を確実に検出するために両方向に探索を行うのである。
【００３０】
一方、上記した差Δω（＝ωｓ−２×ωｇ）がゼロより小さい、つまり(2) 式の関係を満たさないと判断されると、エイリアシングが起きる可能性が高いため、ＣＰＵ２より、拡大焦点を通る探索ライン上を拡大焦点に向かうマイナス（−）方向にのみ探索が行われ、ガードレール候補としてのエッジ列における大多数のエッジの３次元移動量がマイナス（−）方向で一致するかどうか判定される。このとき、拡大焦点に近づくに連れて、画像上の距離で探索範囲は小さくなっていく。
【００３１】
ここで、エイリアシングが起きるときには、図５で説明したように、拡大焦点から離れるプラス（＋）方向へのオプティカルフローは正常なものではなく、プラス（＋）方向に探索する必要はないことから、拡大焦点に向かうマイナス（−）にのみ探索すればよく、探索に要する処理時間の短縮も図れることになる。
【００３２】
更に、ＣＰＵ２による判定処理の結果、一致するとの判定がなされると、ガードレール候補としてのエッジ列がガードレールであると認識され、ガードレールと認識されたエッジ列が移動物体としての検出対象から除外される。このようなＣＰＵ２による判定処理が判定部に相当し、ＣＰＵ２による除外処理が処理部に相当する。
【００３３】
また、ＣＰＵ２により報知部５が制御され、ガードレールと認識されたエッジ列が検出対象から除外されている旨、またはＣＣＤカメラ１によるフレーム画像中にガードレールと認識したものが存在する旨が報知される。ここで、報知部５がランプ或いはブザーの場合には、このランプが点灯し、或いはブザーが鳴動することで、ドライバにこのような現状を報知し、報知部５がディスプレイや音声合成装置の場合には、現状をメッセージとして表示或いは音声出力すればよい。
【００３４】
ところで、検出対象から除外されるものがない場合には、ＣＰＵ２により次のようにして通常の相関演算法による画像処理が行われる。
【００３５】
即ち、現在より所定時間であるΔｔ時間前の時刻ｔにおける前フレーム画像中のある計算点に、所定の大きさの参照画像領域が設定されると共に、前フレーム画像から所定時間であるΔｔ時間後の時刻ｔ＋１における現在フレーム画像に、同一の探索ライン上を移動した位置に参照画像領域が設定され、前フレーム画像の参照画像領域、及び、現在フレーム画像の参照画像領域について、上記した(1) 式で定義される各画素毎の輝度差の和である残差Ｄ（ｕ，ｖ）が最小となるかどうか探索され、最小となればそのときの移動ベクトル（ｕ，ｖ）をもって、その座標位置（ｘ，ｙ）での対象物の動き量、つまりその対象物のオプティカルフローとされる。
【００３６】
そして、自車を後方から追い越す追い越し車両の場合には、拡大焦点から発散する方向のオプティカルフロー（ｕ，ｖ）を有し、道路構造物や静止物体等の場合には拡大焦点に収束する方向のオプティカルフロー（ｕ，ｖ）を有することから、計算により得られたオプティカルフロー（ｕ，ｖ）の方向が拡大焦点に収束するのか拡大焦点から発散するのかを判断することで、道路構造物や静止物体であるか追い越し車両であるか大きく区別することができる。
【００３７】
更に、オプティカルフロー（ｕ，ｖ）の大きさが自車速に相当するか自車との相対速度に相当するかを判断することにより、そのオプティカルフロー（ｕ，ｖ）に対応する物体が、道路構造物等の静止物体または自車よりも遅い車両であるか、或いは、自車よりも速い追い越し車両であるか識別することができる。
【００３８】
次に、一連の画像処理ルーチンについて図２にフローチャートを参照して説明する。いま、図２に示すように、ＣＰＵ２により、フレーム画像の全画素の濃度が微分処理され、得られた全画素についての濃度微分値が２値化されてエッジパターンから成る微分２値化画像を形成され、その微分２値化画像中に、探索ライン上に並ぶエッジが一定間隔で並ぶエッジ列が存在するか否かの判定がなされ（Ｓ１）、この判定結果がＮＯであれば、上記した通常の相関演算法による画像処理が実行され（Ｓ２）、その後ルーチンは終了する。
【００３９】
一方、ステップＳ１の判定結果がＹＥＳであれば、そのエッジ間隔一定のエッジ列がガードレール候補として検出されると共に、エッジ間隔Ｄｇと車輪速センサ４による自車速Ｖとから、そのエッジ列のエッジの出現周期ωｇが求められ（Ｓ３）、ＣＣＤカメラ１によるフレーム画像のサンプリング周期ωｓ［Ｈｚ］と出現周期ωｇの２倍との差Δωがゼロより大きいか否か、つまり上記した(2) 式（ωｓ−２×ωｇ＞０）が成立するか否かの判定がなされる（Ｓ４）。
【００４０】
このステップＳ４の判定結果がＹＥＳであれば、そのガードレール候補としてのエッジ列についてはエイリアシングの起きる可能性がないと判断できることから、ＣＰＵ２より、拡大焦点から離れるプラス（＋）方向及び拡大焦点に向かうマイナス（−）方向の両方向に探索が行われ（Ｓ５）、そのエッジ列における大多数のエッジの３次元座標における移動後の位置がプラス（＋）及びマイナス（−）方向の両方向のいずれかで一致するかどうかの判定がなされる（Ｓ６）。
【００４１】
このステップＳ６の判定結果がＮＯであれば、そのガードレール候補としてのエッジ列はガードレールではないと判断できるため、上記したステップＳ２に移行して通常の相関演算法による画像処理が実行され（Ｓ２）、判定結果がＹＥＳであれば、ガードレール候補としてのエッジ列はガードレールであると判断され、ガードレールと判断されたエッジ列が移動物体としての検出対象から除外され（Ｓ７）、その後ルーチンは終了する。
【００４２】
ところで、上記したステップＳ４の判定結果がＮＯ、つまり上記した(2) 式が成立せず、そのガードレール候補としてのエッジ列についてはエイリアシングの起きる可能性があると判断できるため、ＣＰＵ２より、拡大焦点に向かうマイナス（−）方向にのみ探索が行われ（Ｓ８）、ガードレール候補としてののエッジ列における大多数のエッジの３次元移動量がマイナス（−）方向で一致するかどうかの判定がなされ（Ｓ９）、この判定結果がＹＥＳであれば上記したステップＳ７に移行し、ガードレール候補としてのエッジ列はガードレールであると判断されて移動物体としての検出対象から除外される（Ｓ７）。
【００４３】
一方、ステップＳ９の判定結果がＮＯであれば、そのガードレール候補としてのエッジ列はガードレールではないと判断できるため、上記したステップＳ２に移行して通常の相関演算法による画像処理が実行される（Ｓ２）。
【００４４】
このように、ＣＰＵ２によりエッジ間隔が一定のエッジ列がガードレール候補として検出されると、エイリアシングの起きるるかどうかについて、上記(2) 式が成立するかどうかの判断が行われ、ＣＰＵ２により、(2) 式が成立してエイリアシングが起きないと判断されると、拡大焦点を通る放射状の探索ラインをプラス（＋）方向及びマイナス（−）方向の両方向に探索され、ガードレール候補としてのエッジ列における大多数のエッジの３次元座標における移動後の位置が両方向のいずれかで一致するかどうか判定される。
【００４５】
一方、ＣＰＵ２により、上記(2) 式が成立せずエイリアシングが起きると判断されると、探索ラインをマイナス（−）方向にのみ探索され、エッジ列における大多数のエッジの３次元移動量がマイナス（−）式方向で一致するかどうか判定される。
【００４６】
その結果、探索した方向でその対象となっているエッジ列の大多数のエッジの３次元移動量が一致すると判定されるときには、ガードレール候補としてのエッジ列がガードレールと認識されて移動物体としての検出対象から除外され、エイリアシングによる移動物体の誤認識の防止が図られる。
【００４７】
従って、上記した実施形態によれば、エイリアシングが起きるおそれのあるガードレールを移動物体としての検出対象から確実に除外することができ、従来の相関演算法では防止しきれなかったエイリアシングによる移動物体の誤認識を未然に防止することができ、移動物体の検出における信頼性を向上することができる。
【００４８】
また、ガードレール候補のエッジ列におけるエッジ間隔Ｄｇが一定かどうか判断する際に、微分２値化画像を３次元変換して地面上に逆投影したときの各エッジの間隔が一定かどうかで判断するため、エッジ間隔Ｄｇが一定のガードレール候補としてのエッジ列を的確に検出することができる。
【００４９】
なお、上記した実施形態では、報知部５を備えた例について説明したが、この報知部５は常に必要なものではなく、移動物体の認識装置として特に報知部はなくても構わない。
【００５０】
更に、上記した実施形態では、撮像手段として単眼のＣＣＤカメラ１を用いた場合について説明したが、撮像手段は上記したＣＣＤカメラに限定されるものでないのはいうまでもない。
【００５１】
また、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００５２】
【発明の効果】
以上のように、請求項１、４に記載の発明によれば、エッジ間隔が一定のエッジ列がガードレール候補として検出されると、画像のサンプリング周期と、エッジ間隔と自車の車速とから求められるガードレール候補のエッジ列におけるエッジの出現周期の２倍との差がゼロより大きいかどうかの比較がなされ、この差がゼロより大きければ、プラス方向及びマイナス方向の両方向への探索により、ガードレール候補としてのエッジ列における大多数のエッジの３次元座標における移動後の位置が両方向のいずれかで一致するかどうか判定される一方、差がゼロより小さければマイナス方向のみの探索により、エッジ列における大多数のエッジの３次元移動量がマイナス方向で一致するかどうか判定され、その結果一致すると判定されるときには、ガードレール候補としてのエッジ列がガードレールと判断されて移動物体としての検出対象から除外されるため、エイリアシングが起きるおそれのあるガードレールを移動物体としての検出対象から確実に除外することができ、従来防止しきれなかったエイリアシングによる移動物体の誤認識を未然に防止することが可能になり、安全走行の補助として信頼性の優れた装置及び方法を提供することができる。このとき、ガードレールかどうかを判断するための根拠となるエッジの出現周期を、エッジ間隔と車速検出部による自車速とから求めるため、ガードレール候補としてのエッジ列を精度よく検出することが可能になる。
【００５３】
また、請求項２に記載の発明によれば、ガードレール候補のエッジ列におけるエッジ間隔が一定かどうか判断する際に、微分２値化画像を３次元変換して地面上に逆投影したときの各エッジの間隔が一定かどうかで判断するため、エッジ間隔が一定のガードレール候補としてのエッジ列を的確に検出することが可能になる。
【００５５】
また、請求項３に記載の発明によれば、ガードレールと判断されたエッジ列が除外された旨、または画像中にガードレールと判断したものが存在する旨が報知部により報知されるため、この報知から、ユーザは少なくとも撮像手段による画像中にガードレールが含まれていることを知ることが可能になる。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の動作説明図である。
【図３】従来例の動作説明図である。
【図４】従来例の動作説明図である。
【図５】従来例の動作説明図である。
【符号の説明】
１ＣＣＤカメラ（撮像手段）
２ＣＰＵ（２値化部、検出部、比較部、判定部、処理部）
３メモリ
４車輪速センサ（車速検出部）
５報知部

Claims

走行中に自車に搭載した撮像手段により自車後方を撮像し、得られた画像を処理して自車後側方の移動物体を認識する移動物体の認識装置において、
前記撮像手段による原画像の全画素の濃度を微分処理して得られた全画素についての濃度微分値を２値化しエッジパターンから成る微分２値化画像を形成する２値化部と、
前記２値化部による前記微分２値化画像中に、撮像方向を示す１点に対応する拡大焦点からの放射ライン上に並ぶエッジ列のうち、エッジ間隔が一定のエッジ列があればそのエッジ列をガードレール候補として検出する検出部と、
自車の車速を検出する車速検出部と、
前記検出部によるエッジ間隔と前記車速検出部による自車の車速とから、前記検出部により前記ガードレール候補として検出される前記エッジ列の各エッジの出現周期を求め、前記撮像手段による画像のサンプリング周期と前記出現周期の２倍との差がゼロより大きいかどうか比較する比較部と、
前記比較部より前記差がゼロより大きいと判断されると、前記拡大焦点から離れるプラス方向及び前記拡大焦点に向かうマイナス方向の両方向に探索を行い、前記エッジ列における大多数のエッジの３次元座標における移動後の位置が前記両方向のいずれかで一致するかどうか判定し、前記差がゼロより小さいと判断されると、前記マイナス方向にのみ探索を行い、前記エッジ列における大多数のエッジの３次元移動量が前記マイナス方向で一致するかどうか判定する判定部と、
前記判定部により一致すると判定されれば、前記ガードレール候補としての前記エッジ列をガードレールと判断して移動物体としての検出対象から除外する処理部と
を備えていることを特徴とする移動物体の認識装置。
前記検出部が、２次元の前記微分２値化画像中を３次元座標に変換し、地面上に逆投影したときの各エッジの間隔を導出し、導出した前記間隔が一定かどうかによって前記ガードレール候補としての前記エッジ列を検出することを特徴とする請求項１記載の移動物体の認識装置。
前記処理部により、ガードレールと認識された前記エッジ列が検出対象から除外されている旨、または前記撮像手段による画像中にガードレールと認識したものが存在する旨を報知する報知部を備えていることを特徴とする請求項１または２に記載の移動物体の認識装置。
走行中に自車に搭載した撮像手段により自車後方を撮像し、得られた画像を処理して自車後側方の移動物体を認識する移動物体の認識方法において、
前記撮像手段による原画像の全画素の濃度を微分処理して得られた全画素についての濃度微分値を２値化しエッジパターンから成る微分２値化画像を形成する２値化工程と、
前記２値化部による前記微分２値化画像中に、撮像方向を示す１点に対応する拡大焦点からの放射ライン上に並ぶエッジ列のうち、エッジ間隔が一定のエッジ列があればそのエッジ列をガードレール候補として検出する検出工程と、
自車の車速を検出する車速検出工程と、
前記検出工程におけるエッジ間隔と前記車速検出工程における自車の車速とから、前記検出工程により前記ガードレール候補として検出される前記エッジ列の各エッジの出現周期を求め、前記撮像手段による画像のサンプリング周期と前記出現周期の２倍との差がゼロより大きいかどうか比較する比較工程と、
前記差がゼロより大きいときに、前記拡大焦点から離れるプラス方向及び前記拡大焦点に向かうマイナス方向の両方向に探索を行い、前記エッジ列における大多数のエッジの３次元座標における移動後の位置が前記両方向のいずれかで一致するかどうか判定し、前記差がゼロより小さいときに、前記マイナス方向にのみ探索を行い、前記エッジ列における大多数のエッジの３次元移動量が前記マイナス方向で一致するかどうか判定する判定工程と、
前記判定工程により一致すると判定されれば、前記ガードレール候補としての前記エッジ列をガードレールと判断して移動物体としての検出対象から除外する処理工程と
を含むことを特徴とする移動物体の認識方法。