JP3823782B2 - 先行車両認識装置 - Google Patents
先行車両認識装置 Download PDFInfo
- Publication number
- JP3823782B2 JP3823782B2 JP2001264295A JP2001264295A JP3823782B2 JP 3823782 B2 JP3823782 B2 JP 3823782B2 JP 2001264295 A JP2001264295 A JP 2001264295A JP 2001264295 A JP2001264295 A JP 2001264295A JP 3823782 B2 JP3823782 B2 JP 3823782B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- preceding vehicle
- detected
- vehicle
- edge detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、先行車両の存在を運転者に提示するために、自車両の前方に存在する先行車両を認識する先行車両認識装置に関する。
【０００２】
【従来の技術】
従来より、例えば特開平１１−４４５３３号公報や特開平１０−９７６９９号公報で開示されているように、例えばレーザレーダや、ミリ波レーダ、マイクロ波レーダ、超音波センサ等を利用し、送信波の伝搬時間に基づいて自車両と先行車両との距離を算出する測距センサと、車両前方の状況を撮像するビデオカメラとを有し、前方車両までの車間距離を算出する車間距離検出装置が知られている。このような車間距離検出装置は、各種レーダ等の測距センサを用いるのが一般的であるが、更にカメラを使用することで車間距離検出の信頼性を向上させている。
【０００３】
また、カメラを用いて車間距離を検出するものとしては、特開平４−２０９１００号公報で開示されている技術のように車両外形を検出するものがあり、更に、特開平１０−１４３７９９号公報で開示されている技術のようにテンプレートマッチングの手法を利用するものがある。
【０００４】
【発明が解決しようとする課題】
上述の従来技術のようにカメラで撮像した前方画像を用いて車間距離を検出するときに、時間的に連続して先行車両を認識するために、一旦前方画像内で検出された先行車両を、短い処理間隔で車間距離の変化を連続的に検出するトラッキング（連続検出）処理が行われる。
【０００５】
このトラッキング処理では、時間的に連続した各前方画像内において、車両の特徴量である車両下端の陰影部（以下、車両下影と呼ぶ。）と車両外形とを検出する。このとき、車両外形として、特に車両左右両端に発生する垂直エッジ成分の位置を連続して検出し、左右の垂直エッジ位置の間隔変化より車両距離の変化を検出すると共に、先行車両の左右位置変化を検出する。
【０００６】
また、車両下影の位置は、車両の最下端を示すため、垂直エッジを検出する位置を特定するために使用される。これらのエッジは、その位置や強度が急変しないという仮定により、前回検出されたエッジ位置に対して所定範囲のエッジ検出用ウインドウを設定し、エッジ検出用ウインドウ内で前回検出されたエッジと強度が等しいよく似たエッジを検出することにより連続的にエッジ位置を検出する。
【０００７】
しかしながら、先行車両の位置や周囲の道路環境により、以下のような問題点が生じる。
【０００８】
例えば、車両左右端に発生する垂直エッジに関しては、図１４に示すように、先行車両１０１が走行道路１０２の左右の何れかに寄りすぎて位置し、且つ、カーブ路等により車線識別線（白線）１０３が前方画像内で垂直方向に近い場合に、エッジ検出用ウインドウ１０４内において車両左右端の垂直エッジ１０５以外に白線１０３による垂直エッジ１０６が検出されてしまう。すなわち、単一のエッジ検出用ウインドウ内で２本の垂直エッジが検出されてしまう、誤検出が発生する可能性がある。
【０００９】
車両左右端の垂直エッジは、主として先行車両のタイヤ１１１（黒い領域）と路面（灰色）の濃度差によって発生するエッジ成分であり、これに対し、白線１０３による垂直エッジは、路面（灰色）と白線（白色）の濃度差によって発生するエッジ成分であるため、エッジ方向が一致し、場合によってはエッジ強度も等しくなってしまう。したがって、エッジ検出用ウインドウ内における濃度値やエッジの強度情報だけでは、これらを正確にエッジ検出して先方車両を認識することが困難である。
【００１０】
また、車両下影の水平エッジに関しては、例えば図１５に示すように、先行車両１０１が路面上の黒い継ぎ目１１２を通り過ぎる場合に、車両下影位置１１３と、継ぎ目位置１１２とが一時的に一致し、その後、エッジ検出用ウインドウ１１４内に車両下影による水平エッジと継ぎ目部分１１２による水平エッジの２つのエッジが検出されてしまう。したがって、水平エッジについても、エッジ検出用ウインドウ１１４内における濃度値やエッジの強度情報だけでは、正確にエッジ検出をして先行車両を認識することが困難であり、誤検出を発生してしまう可能性がある。
【００１１】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる先行車両認識装置を提供するものである。
【００１２】
【課題を解決するための手段】
請求項１に係る発明は、上述の課題を解決するために、自車両の前方を撮像する撮像手段と、上記撮像手段により撮像された前方画像から先行車両の位置を特定し、当該先行車両までの距離を算出する先行車両検出手段と、上記先行車両検出手段で特定された先行車両位置から先行車両の左右両端の垂直方向エッジ及び先行車両下端の水平方向エッジを検出するために、上記撮像手段で撮像された前方画像内に奇数個のエッジ検出用画像領域を設定する領域設定手段と、上記領域設定手段により設定された各エッジ検出用画像領域内に存在する垂直方向エッジ或いは水平方向エッジを検出するエッジ検出手段と、上記エッジ検出手段により検出されたエッジの正確度を各エッジ検出用画像領域ごとに判定する正確度検出手段と、上記正確度検出手段で検出された各エッジ検出用画像領域ごとのエッジの正確度に基づいて、上記奇数個のエッジ検出用画像領域のエッジのうち、正確度が高いと判定された偶数個のエッジ検出用画像領域で検出されたエッジを用いて、残りのエッジ検出用画像領域のエッジを補正するエッジ検出結果補正手段とを備え、上記エッジ検出結果補正手段は、正確度が高いと判定された偶数個のエッジを用いて車間距離を演算し、当該車間距離に相当するエッジの位置となるように、上記残りのエッジを補正し、上記先行車両検出手段は、当該補正されたエッジを含む奇数個のエッジから先行車両の位置及び先行車両までの距離を算出することを特徴とする。
【００１３】
請求項２に係る発明では、請求項１記載の発明であって、上記エッジ検出手段は、上記領域設定手段で設定されたエッジ検出用画像領域内で時間的に前に検出されたエッジ強度と略等しいエッジ強度のエッジを検出し、上記正確度検出手段は、上記エッジ検出手段で検出されたエッジ数が少ないほど正確度が高いと判定することを特徴とする。
【００１４】
請求項３に係る発明では、請求項１記載の発明であって、上記水平方向エッジの垂直方向位置に基づいて自車両と先行車両との距離を求めると共に、上記垂直方向エッジの水平方向位置に基づいて先行車両の水平方向位置を求める先行車両位置検出手段と、上記先行車両検出手段で検出された自車両と先行車両との距離及び先行車両の水平方向位置を用いてカルマン・フィルタにより先行車両の状態を推定する先行車両位置推定手段とを更に備えることを特徴とする。
【００１５】
請求項４に係る発明では、請求項１記載の発明であって、上記領域設定手段は、上記撮像手段で撮像された前方画像のうち、先行車両の下陰部分を示す画像位置を含むようにエッジ検出用画像領域を設定し、上記エッジ検出手段は、垂直ソーベル演算子を用いて先行車両の下陰部分を含むエッジ検出用画像領域内に存在する水平方向エッジを検出することを特徴とする。
【００１６】
請求項５に係る発明では、請求項１記載の発明であって、上記領域設定手段は、上記撮像手段で撮像された前方画像のうち、先行車両の下陰部分の上方の画像位置を含むようにエッジ検出用画像領域を設定し、上記エッジ検出手段は、水平ソーベル演算子を用いてエッジ検出用画像領域内に存在する垂直方向エッジを検出することを特徴とする。
【００１７】
請求項６に係る発明では、請求項１記載の発明であって、上記エッジ検出手段は、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、エッジが正確に検出されなかった場合には、上記撮像手段で新たに撮像して得た前方画像を用いてエッジ検出をすることを特徴とする。
【００１８】
請求項７に係る発明では、上記エッジ検出手段は、請求項１記載の発明であって、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、次回に水平方向エッジ及び垂直方向エッジを検出するために、各エッジ検出用画像領域について、水平方向エッジのエッジ位置及びエッジ強度、垂直方向エッジのエッジ位置及びエッジ強度を記憶することを特徴とする。
【００１９】
【発明の効果】
請求項１に係る発明によれば、エッジ検出手段により検出されたエッジの正確度を各エッジ検出用画像領域ごとに判定し、各エッジ検出用画像領域ごとの正確度に基づいて、奇数個のエッジ検出用画像領域のうち、正確度が高いと判定された偶数個のエッジ検出用画像領域で検出されたエッジを用いて、残りのエッジ検出結果を補正するので、何れかのエッジ検出用画像領域でエッジ誤検出が発生しやすくなっても、他のエッジ検出用画像領域のエッジ検出結果に基づいて補正をして安定して先行車両のエッジのみを検出することができ、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００２０】
請求項２に係る発明によれば、エッジ検出用画像領域内で時間的に前に検出されたエッジ強度と略等しいエッジ強度のエッジを検出し、検出されたエッジ数が少ないほど正確度が高いと判定するので、請求項１記載の発明の効果と同様に、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００２１】
請求項３に係る発明によれば、水平方向エッジの垂直方向位置に基づいて自車両と先行車両との距離を求めると共に、垂直方向エッジの水平方向位置に基づいて先行車両の水平方向位置を求め、自車両と先行車両との距離及び先行車両の水平方向位置を用いてカルマン・フィルタにより先行車両の状態を推定して、次回のエッジ検出処理におけるエッジ検出位置の推定領域を算出して、算出した推定領域の近傍にのみエッジ検出を行うためのエッジ検出用画像領域を設定してエッジ検出を行うことができる。したがって、請求項３に係る発明によれば、エッジ検出用画像領域を小さい面積で設定しても正確にエッジを検出することができ、誤検出をより少なくすることができる。
【００２２】
請求項４に係る発明によれば、撮像された前方画像のうち、先行車両の下陰部分を示す画像位置を含むようにエッジ検出用画像領域を設定し、垂直ソーベル演算子を用いて先行車両の下陰部分を含むエッジ検出用画像領域内に存在する水平方向エッジを検出するので、請求項１記載の発明の効果と同様に、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００２３】
請求項５に係る発明では、と共に、撮像された前方画像のうち、先行車両の下陰部分の上方の画像位置を含むようにエッジ検出用画像領域を設定し、上記エッジ検出手段は、水平ソーベル演算子を用いてエッジ検出用画像領域内に存在する垂直方向エッジを検出するので、請求項１記載の発明の効果と同様に、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００２４】
請求項６に係る発明によれば、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、エッジが正確に検出されなかった場合には、撮像手段で新たに撮像して得た前方画像を用いてエッジ検出をするので、連続的にエッジが検出できない場合や、全てのエッジ検出用画像領域からエッジが複数検出される場合には、連続的にエッジ検出する処理を終了して、誤検出を低減することができる。
【００２５】
請求項７に係る発明によれば、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、次回に水平方向エッジ及び垂直方向エッジを検出するために、各エッジ検出用画像領域について、水平方向エッジのエッジ位置及びエッジ強度、垂直方向エッジのエッジ位置及びエッジ強度を記憶するので、請求項１記載の発明の効果と同様に、先行車両の左右位置及び先行車両との車間距離を高い精度で時間的に連続して検出することができる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００２７】
本発明は、例えば図１に示すように構成された第１実施形態に係る先行車両認識システムに適用される。
【００２８】
［第１実施形態に係る先行車両認識システムの構成］
この先行車両認識システムは、図１及び図２に示すように、自車両１のフロントウインドウ２上部に取り付けられた小型の画像入力装置１１と、自車両の内部に設置された画像処理装置１２とを備える。
【００２９】
画像入力装置（撮像手段）１１は、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）カメラ等が使用可能であり、自車両１の前方道路の状況を撮像することにより前方画像を所定期間毎に生成し、画像処理装置１２に連続的に出力する。
【００３０】
画像処理装置１２は、画像入力装置１１からの前方画像を入力する先行車検出部２１及び先行車追尾部２２と、車間距離・先行車両位置出力部２３とを備える。
【００３１】
先行車検出部２１は、前方画像にフィルタ処理や画像認識処理を施すことにより、自車両１が走行している自車線内の先行車両の左右位置及び車間距離を求めるために先行車両を検出する初回検出処理をする。なお、この先行車検出部２１による処理内容の詳細については後述する。
【００３２】
先行車追尾部２２は、画像入力装置１１から所定期間毎に前方画像が入力され、先行車検出部２１で検出した先行車両を時間的に連続して追尾するトラッキング検出処理をする。なお、この先行車追尾部２２による処理内容の詳細については後述する。
【００３３】
車間距離・先行車両位置出力部（先行車両位置検出手段）２３は、先行車追尾部２２によるトラッキング検出処理により得た先行車両の水平方向エッジ及び垂直方向エッジの位置に基づいて、先行車両位置及び車間距離を求める。この車間距離・先行車両位置出力部２３は、求めた先行車両位置及び車間距離を図示しない表示モニタやスピーカ等により運転者に提示する。
【００３４】
この車間距離・先行車両位置出力部２３は、例えば自車両１と先行車両との車間距離が短く接近度合いが大きい場合に運転者に注意を促す接近報知システムや、アクセルやブレーキを操作して車間距離を走行車速に応じた適切な値に自動的に保持するアダプティブクルーズコントロール（ＡＣＣ）システム等に出力する。
【００３５】
［第１実施形態に係る先行車両認識システムの動作］
上述した先行車両認識システムによる処理手順を図３を参照して説明する。
【００３６】
先行車両認識システムは、自車両１が走行開始したことに応じて、自車線内における前方の先行車両位置及び車間距離を取得するために、ステップＳ１以降の処理を開始し、画像入力装置１１により撮像した前方画像を画像処理装置１２で取り込み、先行車検出部２１により、前方画像内で自車線上の先行車両を検出し、先行車両の位置を特定するための初回検出処理を行って、ステップＳ２に処理を進める。なお、このステップＳ１の先行車検出部２１の処理手順については後述する。
【００３７】
なお、この初回検出処理は、前方画像内で確実に先行車両を検出することを目的としており、自車線を示す画像領域である自車線領域の認識や、自車線領域内での車両候補の検出、先行車両の特定、検出した先行車両との距離算出等の処理を行うために、数１００ミリ秒程度の長い処理時間を要する。
【００３８】
ステップＳ２において、先行車検出部２１により、ステップＳ１において先行車両を検出したか否かの判定をし、検出したときにはステップＳ３に処理を進め、検出していないときには再度ステップＳ１の処理を行う。
【００３９】
ステップＳ３において、先行車追尾部２２により、ステップＳ１で検出した先行車両を時間的に連続して検出することで先行車両を追尾し、時間的に連続した先行車両位置及び車間距離の変化を検出するためのトラッキング検出処理をして、ステップＳ４に処理を進める。
【００４０】
ステップＳ３におけるトラッキング処理は、前方画像内における先行車両の特徴のうち、車両下影による水平方向エッジの垂直方向位置（画像内上下方向）、車両左右端における垂直方向エッジの水平方向位置（画像内左右方向）のみを連続して検出して、ステップＳ４に処理を進める。
【００４１】
なお、トラッキング処理は、処理を高速化して先行車両位置及び車間距離を短時間で出力することを目的としており、ステップＳ１での初回検出処理と比較して数１０ミリ秒程度の短い間隔で処理を実行する。これにより、トラッキング検出処理で得た出力を用いてＡＣＣ等の制御を行う場合により緻密な制御を行うことができるという利点がある。
【００４２】
ステップＳ４において、先行車追尾部２２により、ステップＳ３でのトラッキング検出処理で水平方向エッジ及び垂直方向エッジの検出ができずに先行車両を見失う、或いは、先行車両が前方画像の所定領域（エッジ検出ウインドウ）外となったか否か、すなわち先行車両がロスト状態になったか否かの判定をし、先行車両がロスト状態となったと判定したときにはステップＳ１の初回検出処理に処理を戻し、先行車両がロスト状態になっていないと判定したときにはステップＳ５に処理を進める。
【００４３】
ステップＳ５において、車間距離・先行車両位置出力部２３により、ステップＳ３でのトラッキング検出処理で得た水平方向エッジ及び垂直方向エッジから、先行車両位置及び車間距離を求めて出力し、ステップＳ３に処理を戻す。
【００４４】
これにより、ステップＳ４で先行車両がロスト状態になるまで、ステップＳ３〜ステップＳ５の処理を繰り返して連続して先行車両位置及び車間距離を出力する。
【００４５】
「初回検出処理」
上述のステップＳ１の先行車検出部２１による初回検出処理の処理手順について図４を参照して説明する。
【００４６】
ステップＳ１１において、画像入力装置１１により前方画像を撮像し、先行車検出部２１により前方画像を取り込む処理をしてステップＳ１２に処理を進める。
【００４７】
ステップＳ１２において、前方画像内における自車線領域を認識して、ステップＳ１３に処理を進める。このとき、先行車検出部２１は、例えば車線逸脱防止制御（レーンキープアシスト制御）等を目的として行われる既知の手法を行うことにより、車線識別線（白線）を前方画像から検出して、自車両１の自車線領域を検出する。すなわち、図５に示すように、自車両１及び２つの白線３１を検出し、前方画像のうち、白線３１と自車両１とで囲まれる領域を自車線領域３２として検出する。
【００４８】
ステップＳ１３において、ステップＳ１２で認識した自車線領域３２から、前方画像内で自車両１が走行している道路の消失点を示す道路消失点の座標（Ｘｖｐ，Ｙｖｐ）を求める。具体的には、白線３１を延長し、前方画像内での交点を道路消失点とする。この道路消失点は、前方画像内の無限遠方において白線３１が収束する点であり、そのＹ座標値（前方画像内上下位置）は水平線の高さを示している。この道路消失点は後段の車間距離を求めるのに使用される。
【００４９】
次のステップＳ１４において、ステップＳ１２で求めた自車線領域３２から、図６に示す車両下影領域３３を検出する。このとき、先行車検出部２１は、自車線領域３２の濃度値分布（明暗の分布）を検出し、通常の自車線領域３２の濃度値よりも所定値以上小さい（暗い）領域を検出することにより、車両下影領域３３を検出する。なお、このステップＳ１４における処理では、後段の処理により車両が存在するか否かの特定を詳しく行うので、車両下影領域３３の候補を検出する処理をする。
【００５０】
そして、次のステップＳ１５において、ステップＳ１４において車両下影領域３３を検出したか否かの判定をし、検出したときにはステップＳ１６に処理を進め、検出していないときにはステップＳ１１に処理を戻す。
【００５１】
ステップＳ１６において、車両下影領域３３の位置を正確に特定するために、車両下影領域３３による水平方向エッジを検出する。このとき、先行車検出部２１は、図７に示すように、ステップＳ１４で検出した車両下影領域３３を含むようにエッジ検出用の水平エッジ検出ウインドウ３４を設定し、水平エッジ検出ウインドウ３４内で水平方向エッジを検出するためのフィルタ処理を施す。先行車検出部２１は、例えば下記式１で示されるような垂直ソーベル演算子を用いたフィルタ処理を施すことにより、前方画像内で水平なエッジ成分を抽出する。
【００５２】
【数１】
上記式１では、水平エッジ検出ウインドウ３４において、任意の３×３の微小画素群を選択して、垂直ソーベル演算子で示される係数と画素値（濃度値）とを乗算して得られる値に応じて垂直ソーベル演算子を適用した位置が水平方向エッジであるか否かの判定をする。具体的には前方画像の上方から下方へ明るく変化してる水平方向エッジ３５の場合には、垂直ソーベル演算子により得られる値が負となる。車両下影領域３３による水平方向エッジ３５は、先行車両の真下が最も暗く、画像内の下方に向かって明るくなるため、フィルタ処理後、負の値で絶対値が最も大きくなるＹ座標値を求め、その座標値Ｙｓを車両下影位置とする。
【００５３】
車両下影座標値Ｙｓを求めることにより、車両下影座標値ＹｓとステップＳ１３で求めた道路消失点の座標値（Ｘｖｐ，Ｙｖｐ）とから、検出した下影が先行車両であった場合の距離Ｌ０を下記（式２）に示すように算出する。
【００５４】
【数２】
上記式２において、ｆは焦点距離であり、Ｈｃは画像入力装置１１を構成するカメラ機構の取り付け高さである。
【００５５】
ステップＳ１７において、先行車両であることを特定するために、図８に示すように、車両左右端の垂直方向エッジを検出するための垂直エッジ検出ウインドウ３６を設定する。この垂直エッジ検出ウインドウ３６は、ステップＳ１６で求めた車両下影座標値Ｙｓのやや上方に、その幅をステップＳ１４で求めた車両下影領域３３の幅をやや上回る程度の値にし、高さを上記式２で求めた車間距離Ｌ０相当において所定高さ（例えばタイヤの高さ）となるように設定する。
【００５６】
次のステップＳ１８において、ステップＳ１７で設定した垂直エッジ検出ウインドウ３６内で、２つの垂直方向エッジを検出する。このとき、先行車検出部２１は、水平方向エッジ３５内で垂直方向エッジを検出するためのフィルタ処理を施す。先行車検出部２１は、例えば下記式３で示されるような水平ソーベル演算子を用いたフィルタ処理を施すことにより、前方画像内で垂直なエッジ成分を抽出する。
【００５７】
【数３】
前方画像左方から右方へ暗くなるように変化している垂直エッジ部分においてフィルタ処理を行うことにより、水平ソーベル演算子を用いて得られる値が負の値になり、前方画像の右方から左方へ明るくなるように変化している垂直エッジ部分においてフィルタ処理を行うことにより、水平ソーベル演算子を用いて得られる値が正の値になる。
【００５８】
本例において、ステップＳ１７で設定した垂直エッジ検出ウインドウ３６の高さはタイヤの高さ相当であるために、車両左端の路面からタイヤに向かって水平ソーベル演算子から得られる値が負となるエッジを検出し、車両右端のタイヤから路面に向かって水平ソーベル演算子から得られる値が正となるエッジを検出する。
【００５９】
このような方向で水平ソーベル演算子を適用してエッジ検出をすることにより、垂直方向エッジを１組検出した場合、ステップＳ１９において垂直方向エッジのペアが検出されたとして先行車両を特定し、ステップＳ２０に処理を進める。一方、垂直方向エッジのペアが検出されなかった場合には、ステップＳ１９からステップＳ１１に処理を戻す。
【００６０】
ステップＳ２０において、ステップＳ３で行うトラッキング検出処理で水平方向エッジ及び垂直方向エッジを使用するために、水平方向エッジのエッジ位置及びエッジ強度、２つの垂直方向エッジのエッジ位置及びエッジ強度を図示しないメモリに記憶する。
【００６１】
また、先行車検出部２１は、ステップＳ３でのトラッキング検出処理において車間距離を算出するための基準となる車両幅を下記の式４を用いて算出して記憶する。車両幅を求めるとき、先行車検出部２１は、
【数４】
で示される式４を用いる。ここで、ＸＲは車両左端の垂直方向エッジのエッジ位置であり、ＸＬは車両左端の垂直方向エッジのエッジ位置である。
【００６２】
このような初回検出処理をする先行車検出部２１は、前方画像内に奇数個のエッジ検出ウインドウを設定する領域設定手段、領域設定手段により設定された各エッジ検出ウインドウ内に存在する垂直方向エッジ及び水平方向エッジを検出するエッジ検出手段として機能する。
【００６３】
「トラッキング検出処理」
上述のステップＳ３の先行車追尾部２２によるトラッキング検出処理の処理手順について図９を参照して説明する。
【００６４】
このトラッキング検出処理は、上述の初回検出処理を行った結果、先行車検出部２１により先行車両を特定したときにステップＳ３１以降の処理を開始し、先行車追尾部２２により、新たな前方画像を画像入力装置１１から読み込んで、ステップＳ３２に処理を進め、ステップＳ３１〜ステップＳ４３において、車両下影の水平方向エッジ、車両左右端の各垂直方向エッジに関して、前回のエッジ検出位置の近傍にエッジ検出用のウインドウを設定して、今回のステップＳ３１で取り込んだ前方画像のエッジ候補のエッジ位置及びエッジ数を求める処理を行う。
【００６５】
また、このトラッキング検出処理では、後述するが、初回検出処理に戻るまで、連続的に画像入力装置１１から前方画像を読み込んで、ステップＳ３１〜ステップＳ４９までの処理を連続的に繰り返して行うことにより、連続的に先行車両との車間距離、先行車両の左右位置を車間距離・先行車両位置出力部２３に出力する。
【００６６】
先ず、ステップＳ３２〜ステップＳ３５で、車両下影による水平エッジ候補を検出するために、図１０に示すように、前回に検出した先行車両左端の水平方向エッジのエッジ位置を中心とし、所定高さの水平エッジ検出ウインドウ４１を設定し（ステップＳ３２）、設定した水平エッジ検出ウインドウ４１内に水平エッジ候補を検出するためのフィルタ処理を施し（ステップＳ３３）、水平エッジ検出ウインドウ４１内に存在する水平エッジ候補を算出する（ステップＳ３４）。
【００６７】
ここで、先行車追尾部２２は、水平エッジ検出ウインドウ４１内に検出される水平方向エッジの中で、前回に検出したエッジ強度とほぼ等しいエッジ強度を有する水平方向エッジを全て水平エッジ候補として検出する。具体的には、先行車追尾部２２は、前回の水平方向エッジのエッジ強度と今回のエッジ強度との差が所定値以内となる水平エッジを水平エッジ候補とする。次いで、検出した水平エッジ候補のエッジ数をカウントする（ステップＳ３５）。
【００６８】
続いて、車両左端の垂直エッジ候補を検出するために、図１１に示すように前回に検出した垂直方向エッジのエッジ位置を中心とし、所定高さの水平エッジ検出ウインドウ４２を設定し（ステップＳ３６）、設定した垂直エッジ検出ウインドウ４２内に垂直エッジ候補を検出するためのフィルタ処理を施し（ステップＳ３７）、垂直エッジ検出ウインドウ４２内に存在する垂直エッジ候補を算出し（ステップＳ３８）、垂直エッジ候補数をカウントする（ステップＳ３９）。
【００６９】
続いて、車両右端の垂直エッジ候補を検出するために、図１１に示すように前回に検出した先行車両右端の垂直方向エッジのエッジ位置を中心とし、所定高さの垂直エッジ検出ウインドウ４３を設定し（ステップＳ４０）、設定した垂直エッジ検出ウインドウ４３内に垂直エッジを検出するためのフィルタ処理を施し（ステップＳ４１）、垂直エッジ検出ウインドウ４３内に存在する垂直エッジ候補を算出し（ステップＳ４２）、垂直エッジ候補数をカウントする（ステップＳ４３）。
【００７０】
次に、ステップＳ４４において、ステップＳ３２〜ステップＳ４３での処理により検出したエッジ候補を参照して、各エッジ検出ウインドウにおいて正しくエッジを検出したか否かの判定を行う。
【００７１】
すなわち、先行車追尾部２２により、前方画像内でエッジ候補が正確に検出されない、エッジロストが発生したか否かの判定をする。エッジロストが発生する例としては、路面の凹凸により車体のピッチ角変化が発生し、画像入力装置１１の撮像範囲が急変し、前回に検出したエッジがエッジ検出ウインドウ外となった場合等がある。
【００７２】
エッジロストが発生したか否かの判定をするに際して、先行車追尾部２２は、水平エッジ検出ウインドウ４１と、２つの垂直エッジ検出ウインドウ４２，４３との３つのエッジ検出ウインドウのうち、１つのエッジ検出ウインドウにエッジ候補が検出されなかった場合には、ステップＳ１の初回検出処理に処理を戻す。
【００７３】
エッジ候補を正しく検出したときのステップＳ４５において、エッジ候補の補正処理を行う。この補正処理は、図１２に示すように、各エッジ検出ウインドウ内で検出したエッジ候補数により場合分けして補正をする。ここで、３つのエッジ検出ウインドウで共にエッジ候補を１つづつ検出した場合には（図１２のＡ）、補正処理を行わずに次のステップに処理を進める。
【００７４】
補正処理を行うに際して、図１２に示すように、
（１）車両下影の位置（Ｙ座標）は車間距離に依存して決定される（式２）
（２）前方画像内での車両幅、すなわち車両左右端の垂直エッジ間距離は車間距離に反比例する（式４）
という２つの特徴を用いる。すなわち、３つ（奇数個）のエッジ検出ウインドウのうち、２つ（偶数個）のエッジ検出ウインドウでのエッジ候補数が１であり、残りの１つのエッジ検出ウインドウに２以上のエッジ候補を検出した場合には（図１２のＢ、Ｃ、Ｄ）、上記の特徴（１）、特徴（２）を用いて、残りの１つのエッジ検出ウインドウ内の複数のエッジ候補のうち、最も正確度が高いエッジ候補を選択し、水平方向エッジ及び垂直方向エッジを特定する。
【００７５】
また、車両左右両端の垂直方向エッジのうち、いずれか一方のエッジ候補数のみが１つである場合には（図１２のＥ、Ｆ）、前方画像上での先行車両の車両幅は車間距離に依存して決定され、且つ車両幅が急変しないという特徴を用いることにより、先ず、１のエッジ検出ウインドウで検出したエッジ候補から、もう一方のエッジ検出ウインドウで検出した複数のエッジ検出候補のうち正確度の高いエッジ候補を特定する。これにより、先行車両下影の水平方向エッジ、車両左右端の垂直方向エッジを特定する。
【００７６】
但し、車両左右端の垂直エッジ候補が共に複数である場合には（図１２のＧ）、推定が困難であるために、エッジロストとみなして初回検出処理に戻すことが望ましい。
【００７７】
このように、ステップＳ４５でエッジ候補に補正処理をして、各エッジ検出ウインドウで１つのエッジを検出した場合にはステップＳ４７に処理を進め、補正処理ができなかった場合にはステップＳ１の初回検出処理を再度行う（ステップＳ４６）。
【００７８】
ステップＳ４７において、次回のトラッキング検出処理のために、各エッジ検出ウインドウで検出され、ステップＳ４５の補正処理で特定した各エッジのエッジ位置及びエッジ強度をメモリに記憶する。
【００７９】
次のステップＳ４８において、ステップＳ４５の補正処理で特定したエッジ位置から、先行車両位置及び車間距離を算出する。具体的には、車両左右端の垂直方向エッジの位置から、先行車両の左右位置Ｘｃを下記式５で求めると共に、車間距離Ｌを下記式６で求める。
【００８０】
【数５】
次に、ステップＳ４８で求めた先行車両の左右位置及び車間距離を車間距離・先行車両位置出力部２３に出力し、次回のトラッキング検出処理を行うためにステップＳ３１に処理を戻す。
【００８１】
このようなトラッキング検出処理を画像入力装置１１が前方画像を撮像する期間ごとに行うことにより、初回検出処理と比較して短い処理時間で連続して先行車両の左右位置及び車間距離を車間距離・先行車両位置出力部２３に出力することができる。
【００８２】
また、このようなトラッキング処理をする先行車追尾部２２は、前回のエッジ検出結果に基づいてエッジ検出ウインドウを設定する領域設定手段、領域設定手段で設定されたエッジ検出ウインドウ内でエッジを検出するエッジ検出手段、各エッジ検出ウインドウでのエッジ検出結果の正確度を検出する正確度検出手段、正確度検出手段で検出した各エッジ検出ウインドウごとの正確度に基づいてエッジ検出結果を補正するエッジ検出結果補正手段として機能する。
【００８３】
［第１実施形態の効果］
以上、詳細に説明したように、第１実施形態に係る先行車両認識システムによれば、先行車両の左右両端を示す垂直方向エッジ及び先行車両の下端を示す水平方向エッジを連続的に検出すると共に、各エッジ検出ウインドウ毎に前回検出したエッジ強度に応じてエッジ候補を検出し、各エッジ検出ウインドウで検出したエッジ候補が少ないほどエッジ候補の正確度が高いとし、奇数個（３つ）のエッジ検出ウインドウのうち偶数（２つ）のエッジ検出ウインドウで検出したエッジを用いて残りのエッジ検出ウインドウ（１つ）におけるエッジ候補を補正する処理をするので、何れかのエッジ検出ウインドウに白線や道路継ぎ目により、エッジの誤検出が発生しやすくなっても、他のエッジ検出ウインドウのエッジ検出結果に基づいて補正をして安定して先行車両のエッジのみを検出することができる。
【００８４】
したがって、この先行車両認識システムによれば、運転者に提示する先行車両位置や車間距離を求める安定性を向上させることができ、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００８５】
また、先行車両認識システムによれば、正確に先行車両を検出する初回検出処理と、連続して先行車両を検出するトラッキング検出処理とを組み合わせることにより、連続的にエッジが検出できない場合や、全てのエッジ検出ウインドウからエッジ候補が複数検出される場合には、トラッキング処理を終了して初回検出処理を実行するので、誤検出を低減すると共に短い時間で先行車両を検出し、先行車両位置や車間距離を短い周期で出力することができる。
【００８６】
［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る先行車両認識システムについて説明する。第２実施形態に係る先行車両認識システムの説明では、上述の第１実施形態に係る先行車両認識システムと同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００８７】
第２実施形態に係る先行車両認識システムは、ステップＳ３におけるトラッキング検出処理において、先行車追尾部２２によりカルマン・フィルタを用いて先行車両の状態を推定し、カルマン・フィルタを用いた推定結果に基づいて水平方向エッジ及び垂直方向エッジを連続的に検出する点で第１実施形態に係る先行車両認識システムと異なる。
【００８８】
「第２実施形態におけるトラッキング検出処理」
第２実施形態に係る先行車両認識システムによるトラッキング処理では、ステップＳ３１〜ステップＳ４２において、車両下影の水平方向エッジ、車両左右端の各垂直方向エッジに関して、前回のエッジ検出位置の近傍にエッジ検出ウインドウを設定して、今回のステップＳ３１で取り込んだ前方画像のエッジ候補のエッジ位置を求める処理を行う。
【００８９】
先ず、ステップＳ３２〜ステップＳ３４で、車両下影による水平エッジ候補を検出するために、図１０に示すように、前回に検出した水平方向エッジのエッジ位置を中心とし、所定高さの水平エッジ検出ウインドウ４１を設定し（ステップＳ３２）、設定した水平エッジ検出ウインドウ４１内に水平エッジ候補を検出するためのフィルタ処理を施し（ステップＳ３３）、水平エッジ検出ウインドウ４１内に存在する水平エッジ候補を算出する（ステップＳ３４）。これにより、検出した水平方向エッジによる車両下影座標値Ｙｓを得る。
【００９０】
続いて、車両左端の垂直エッジ候補を検出するために、図１１に示すように前回に検出した垂直方向エッジのエッジ位置を中心とし、所定高さの水平エッジ検出ウインドウ４２を設定し（ステップＳ３６）、設定した垂直エッジ検出ウインドウ４２内に垂直エッジ候補を検出するためのフィルタ処理を施し（ステップＳ３７）、垂直エッジ検出ウインドウ４２内に存在する垂直エッジ候補を算出する（ステップＳ３８）。
【００９１】
続いて、車両右端の垂直エッジ候補を検出するために、図１１に示すように前回に検出した垂直方向エッジのエッジ位置を中心とし、所定高さの垂直エッジ検出ウインドウ４３を設定し（ステップＳ４０）、設定した垂直エッジ検出ウインドウ４３内に垂直エッジ候補を検出するためのフィルタ処理を施し（ステップＳ４１）、垂直エッジ検出ウインドウ４３内に存在する垂直エッジ候補を算出する（ステップＳ４２）。これにより、先行車両左右端の垂直方向エッジによるＸ座標ＸＲ、ＸＬを得る。
【００９２】
次のステップＳ５１において、先行車追尾部２２により、ステップＳ３４で得られた車両下影座標値Ｙｓを用いて下記式７により車間距離Ｌを求めると共に、ステップＳ３８及びステップＳ４２で得られた各垂直方向エッジの座標を用いて、下記式７により左右位置Ｘの計測値を算出して、ステップＳ５２に処理を進める。
【００９３】
【数６】
ステップＳ５２において、先行車追尾部２２により、カルマン・フィルタを用いて、先行車両の状態を推定する。このとき、先行車両の時刻ｔにおける状態ベクトルｘｔ、観測されるベクトルｙｔが下記式９、式１０で示されることとする。
【００９４】
【数７】
ここで、Ｘ、Ｚはそれぞれ前方画像上のＸ軸及び前方画像に垂直な軸（車間距離）であり、Ｖ、Ａはそれぞれの軸の速度及び加速度を意味する。画像処理により観測されるベクトルとして、式７及び式８で得られるＸ値、Ｌ値をそれぞれＸ値、Ｚ値として用いる。
【００９５】
また、システムのノイズ、観測のノイズを考慮すると、下記式１１、式１２が得られる。
【００９６】
【数８】
ここで、式１１及び式１２における係数Ｆ、Ｇ、Ｈは下記式１３、式１４、式１５で示される。
【００９７】
【数９】
上記式１３において、dtはサンプリングタイムを意味し、１回のトラッキング検出処理にかかる時間である。また、カルマンゲインＫｔのカルマン・フィルタ処理を行うことにより、時刻ｔ＋１における状態ベクトルの予測値は下記式１６、式１７で表される。
【００９８】
【数１０】
従って、時刻ｔにおける観測データであるＸ値、Ｌ値から、観測されるベクトルと時刻ｔ−１における状態ベクトルに基づき、式１６により時刻ｔにおける状態ベクトルを算出し、式１７により時刻ｔ＋１における状態ベクトルの予測値を算出する。
【００９９】
そして、カルマン・フィルタから出力した状態ベクトルに基づき、エッジ検出ウインドウで検出されるエッジ位置を推定し、次いで、ステップＳ５３において推定したエッジ位置とステップＳ３２〜ステップＳ４２の処理を行うことで実際に検出したエッジ候補とが合致するか否かの判定をする。
【０１００】
推定したエッジ位置と実際に検出したエッジ候補とが合致したときには、カルマン・フィルタにより正しくエッジ位置の推定ができたとしてステップＳ５４に処理を進める。一方、推定したエッジ位置と実際に検出したエッジ候補とが合致していないときには、エッジ候補を誤検出している可能性が高いと判定してステップＳ１の初回検出処理に処理を進める。
【０１０１】
ステップＳ５４において、カルマン・フィルタを用いて算出される次回の状態ベクトル予測値に基づいて、次回のトラッキング検出処理で各エッジ候補が発生するエッジ検出予測位置を算出して、メモリに記憶する。また、今回のトラッキング検出処理で求めた各エッジのエッジ強度もメモリに記憶する。
【０１０２】
次のステップＳ５５において、カルマン・フィルタにより状態ベクトルとして得られる車間距離（Ｚ値）と先行車両の左右位置（Ｘ値）とを車間距離・先行車両位置出力部２３に出力してステップＳ３１に処理を戻し、次回以降のトラッキング検出処理に処理を進める。
【０１０３】
このようなトラッキング検出処理をする先行車追尾部２２は、カルマン・フィルタにより先行車両の状態を推定する先行車両位置推定手段として機能する。
【０１０４】
［第２実施形態の効果］
以上、詳細に説明したように、第２実施形態に係る先行車両認識システムによれば、第１実施形態に係る先行車両認識システムで発揮する効果に加えて、カルマン・フィルタにより、次回のトラッキング検出処理におけるエッジ検出位置の推定領域を算出して、算出した推定領域の近傍にのみエッジ検出を行うための各エッジ検出ウインドウをステップＳ３２，ステップＳ３６，ステップＳ４０で設定してエッジ検出を行うことができる。
【０１０５】
したがって、この先行車両認識システムによれば、第１実施形態に係る先行車両認識システムにより設定する各エッジ検出ウインドウと比較して、エッジ検出ウインドウ幅を小さい面積で設定しても正確にエッジ候補を検出することができ、エッジ検出ウインドウ内に白線や道路継ぎ目が入ることによる誤検出をより少なくすることができる。
【０１０６】
更に、この先行車両認識システムによれば、エッジ検出ウインドウを小さくすることができるので、エッジ検出に要する処理負担を少なくすることができ、より短時間でトラッキング検出処理を実行することができる。
【０１０７】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明を適用した第１実施形態に係る先行車両認識システムの構成を示すブロック図である。
【図２】本発明を適用した第１実施形態に係る先行車両認識システムの構成を示す外観構成図である。
【図３】本発明を適用した第１実施形態に係る先行車両認識システムにより先行車両との車間距離及び左右位置を出力するときの処理手順を示すフローチャートである。
【図４】本発明を適用した第１実施形態に係る先行車両認識システムにより初回検出処理の処理手順を示すフローチャートである。
【図５】自車両及び２つの白線を検出して、白線と自車両とで囲まれる領域を自車線領域として検出することを説明するための図である。
【図６】自車線領域から車両下影領域を検出することを説明するための図である。
【図７】本発明を適用した第１実施形態に係る先行車両認識システムにおいて、初回検出処理で水平方向エッジを検出するときに設定するエッジ検出ウインドウを示す図である。
【図８】本発明を適用した第１実施形態に係る先行車両認識システムにおいて、初回検出処理で垂直方向エッジを検出するときに設定するエッジ検出ウインドウを示す図である。
【図９】本発明を適用した第１実施形態に係る先行車両認識システムによるトラッキング検出処理の処理手順を示すフローチャートである。
【図１０】本発明を適用した第１実施形態に係る先行車両認識システムによりトラッキング検出処理で水平エッジ候補を検出するときに設定するエッジ検出ウインドウを示す図である。
【図１１】本発明を適用した第１実施形態に係る先行車両認識システムによりトラッキング検出処理で垂直エッジ候補を検出するときに設定するエッジ検出ウインドウを示す図である。
【図１２】各エッジ検出ウインドウで検出したエッジ候補数に応じた補正処理について説明するための図である。
【図１３】本発明を適用した第２実施形態に係る先行車両認識システムによるトラッキング検出処理の処理手順を示すフローチャートである。
【図１４】従来において、垂直方向エッジを検出するときに複数の垂直方向エッジが検出されることを説明するための図である。
【図１５】従来において、水平方向エッジを検出するときに複数の水平方向エッジが検出されることを説明するための図である。
【符号の説明】
１ 自車両
２ フロントウインドウ
１１ 画像入力装置
１２ 画像処理装置
２１ 先行車検出部
２２ 先行車追尾部
２３ 車間距離・先行車両位置出力部
３１ 白線
３２ 自車線領域
３３ 車両下影領域
３４ 水平エッジ検出ウインドウ
３５ 水平方向エッジ
３６ 垂直エッジ検出ウインドウ
４１ 水平エッジ検出ウインドウ
４２ 水平エッジ検出ウインドウ
４３ 垂直エッジ検出ウインドウ
【発明の属する技術分野】
本発明は、先行車両の存在を運転者に提示するために、自車両の前方に存在する先行車両を認識する先行車両認識装置に関する。
【０００２】
【従来の技術】
従来より、例えば特開平１１−４４５３３号公報や特開平１０−９７６９９号公報で開示されているように、例えばレーザレーダや、ミリ波レーダ、マイクロ波レーダ、超音波センサ等を利用し、送信波の伝搬時間に基づいて自車両と先行車両との距離を算出する測距センサと、車両前方の状況を撮像するビデオカメラとを有し、前方車両までの車間距離を算出する車間距離検出装置が知られている。このような車間距離検出装置は、各種レーダ等の測距センサを用いるのが一般的であるが、更にカメラを使用することで車間距離検出の信頼性を向上させている。
【０００３】
また、カメラを用いて車間距離を検出するものとしては、特開平４−２０９１００号公報で開示されている技術のように車両外形を検出するものがあり、更に、特開平１０−１４３７９９号公報で開示されている技術のようにテンプレートマッチングの手法を利用するものがある。
【０００４】
【発明が解決しようとする課題】
上述の従来技術のようにカメラで撮像した前方画像を用いて車間距離を検出するときに、時間的に連続して先行車両を認識するために、一旦前方画像内で検出された先行車両を、短い処理間隔で車間距離の変化を連続的に検出するトラッキング（連続検出）処理が行われる。
【０００５】
このトラッキング処理では、時間的に連続した各前方画像内において、車両の特徴量である車両下端の陰影部（以下、車両下影と呼ぶ。）と車両外形とを検出する。このとき、車両外形として、特に車両左右両端に発生する垂直エッジ成分の位置を連続して検出し、左右の垂直エッジ位置の間隔変化より車両距離の変化を検出すると共に、先行車両の左右位置変化を検出する。
【０００６】
また、車両下影の位置は、車両の最下端を示すため、垂直エッジを検出する位置を特定するために使用される。これらのエッジは、その位置や強度が急変しないという仮定により、前回検出されたエッジ位置に対して所定範囲のエッジ検出用ウインドウを設定し、エッジ検出用ウインドウ内で前回検出されたエッジと強度が等しいよく似たエッジを検出することにより連続的にエッジ位置を検出する。
【０００７】
しかしながら、先行車両の位置や周囲の道路環境により、以下のような問題点が生じる。
【０００８】
例えば、車両左右端に発生する垂直エッジに関しては、図１４に示すように、先行車両１０１が走行道路１０２の左右の何れかに寄りすぎて位置し、且つ、カーブ路等により車線識別線（白線）１０３が前方画像内で垂直方向に近い場合に、エッジ検出用ウインドウ１０４内において車両左右端の垂直エッジ１０５以外に白線１０３による垂直エッジ１０６が検出されてしまう。すなわち、単一のエッジ検出用ウインドウ内で２本の垂直エッジが検出されてしまう、誤検出が発生する可能性がある。
【０００９】
車両左右端の垂直エッジは、主として先行車両のタイヤ１１１（黒い領域）と路面（灰色）の濃度差によって発生するエッジ成分であり、これに対し、白線１０３による垂直エッジは、路面（灰色）と白線（白色）の濃度差によって発生するエッジ成分であるため、エッジ方向が一致し、場合によってはエッジ強度も等しくなってしまう。したがって、エッジ検出用ウインドウ内における濃度値やエッジの強度情報だけでは、これらを正確にエッジ検出して先方車両を認識することが困難である。
【００１０】
また、車両下影の水平エッジに関しては、例えば図１５に示すように、先行車両１０１が路面上の黒い継ぎ目１１２を通り過ぎる場合に、車両下影位置１１３と、継ぎ目位置１１２とが一時的に一致し、その後、エッジ検出用ウインドウ１１４内に車両下影による水平エッジと継ぎ目部分１１２による水平エッジの２つのエッジが検出されてしまう。したがって、水平エッジについても、エッジ検出用ウインドウ１１４内における濃度値やエッジの強度情報だけでは、正確にエッジ検出をして先行車両を認識することが困難であり、誤検出を発生してしまう可能性がある。
【００１１】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる先行車両認識装置を提供するものである。
【００１２】
【課題を解決するための手段】
請求項１に係る発明は、上述の課題を解決するために、自車両の前方を撮像する撮像手段と、上記撮像手段により撮像された前方画像から先行車両の位置を特定し、当該先行車両までの距離を算出する先行車両検出手段と、上記先行車両検出手段で特定された先行車両位置から先行車両の左右両端の垂直方向エッジ及び先行車両下端の水平方向エッジを検出するために、上記撮像手段で撮像された前方画像内に奇数個のエッジ検出用画像領域を設定する領域設定手段と、上記領域設定手段により設定された各エッジ検出用画像領域内に存在する垂直方向エッジ或いは水平方向エッジを検出するエッジ検出手段と、上記エッジ検出手段により検出されたエッジの正確度を各エッジ検出用画像領域ごとに判定する正確度検出手段と、上記正確度検出手段で検出された各エッジ検出用画像領域ごとのエッジの正確度に基づいて、上記奇数個のエッジ検出用画像領域のエッジのうち、正確度が高いと判定された偶数個のエッジ検出用画像領域で検出されたエッジを用いて、残りのエッジ検出用画像領域のエッジを補正するエッジ検出結果補正手段とを備え、上記エッジ検出結果補正手段は、正確度が高いと判定された偶数個のエッジを用いて車間距離を演算し、当該車間距離に相当するエッジの位置となるように、上記残りのエッジを補正し、上記先行車両検出手段は、当該補正されたエッジを含む奇数個のエッジから先行車両の位置及び先行車両までの距離を算出することを特徴とする。
【００１３】
請求項２に係る発明では、請求項１記載の発明であって、上記エッジ検出手段は、上記領域設定手段で設定されたエッジ検出用画像領域内で時間的に前に検出されたエッジ強度と略等しいエッジ強度のエッジを検出し、上記正確度検出手段は、上記エッジ検出手段で検出されたエッジ数が少ないほど正確度が高いと判定することを特徴とする。
【００１４】
請求項３に係る発明では、請求項１記載の発明であって、上記水平方向エッジの垂直方向位置に基づいて自車両と先行車両との距離を求めると共に、上記垂直方向エッジの水平方向位置に基づいて先行車両の水平方向位置を求める先行車両位置検出手段と、上記先行車両検出手段で検出された自車両と先行車両との距離及び先行車両の水平方向位置を用いてカルマン・フィルタにより先行車両の状態を推定する先行車両位置推定手段とを更に備えることを特徴とする。
【００１５】
請求項４に係る発明では、請求項１記載の発明であって、上記領域設定手段は、上記撮像手段で撮像された前方画像のうち、先行車両の下陰部分を示す画像位置を含むようにエッジ検出用画像領域を設定し、上記エッジ検出手段は、垂直ソーベル演算子を用いて先行車両の下陰部分を含むエッジ検出用画像領域内に存在する水平方向エッジを検出することを特徴とする。
【００１６】
請求項５に係る発明では、請求項１記載の発明であって、上記領域設定手段は、上記撮像手段で撮像された前方画像のうち、先行車両の下陰部分の上方の画像位置を含むようにエッジ検出用画像領域を設定し、上記エッジ検出手段は、水平ソーベル演算子を用いてエッジ検出用画像領域内に存在する垂直方向エッジを検出することを特徴とする。
【００１７】
請求項６に係る発明では、請求項１記載の発明であって、上記エッジ検出手段は、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、エッジが正確に検出されなかった場合には、上記撮像手段で新たに撮像して得た前方画像を用いてエッジ検出をすることを特徴とする。
【００１８】
請求項７に係る発明では、上記エッジ検出手段は、請求項１記載の発明であって、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、次回に水平方向エッジ及び垂直方向エッジを検出するために、各エッジ検出用画像領域について、水平方向エッジのエッジ位置及びエッジ強度、垂直方向エッジのエッジ位置及びエッジ強度を記憶することを特徴とする。
【００１９】
【発明の効果】
請求項１に係る発明によれば、エッジ検出手段により検出されたエッジの正確度を各エッジ検出用画像領域ごとに判定し、各エッジ検出用画像領域ごとの正確度に基づいて、奇数個のエッジ検出用画像領域のうち、正確度が高いと判定された偶数個のエッジ検出用画像領域で検出されたエッジを用いて、残りのエッジ検出結果を補正するので、何れかのエッジ検出用画像領域でエッジ誤検出が発生しやすくなっても、他のエッジ検出用画像領域のエッジ検出結果に基づいて補正をして安定して先行車両のエッジのみを検出することができ、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００２０】
請求項２に係る発明によれば、エッジ検出用画像領域内で時間的に前に検出されたエッジ強度と略等しいエッジ強度のエッジを検出し、検出されたエッジ数が少ないほど正確度が高いと判定するので、請求項１記載の発明の効果と同様に、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００２１】
請求項３に係る発明によれば、水平方向エッジの垂直方向位置に基づいて自車両と先行車両との距離を求めると共に、垂直方向エッジの水平方向位置に基づいて先行車両の水平方向位置を求め、自車両と先行車両との距離及び先行車両の水平方向位置を用いてカルマン・フィルタにより先行車両の状態を推定して、次回のエッジ検出処理におけるエッジ検出位置の推定領域を算出して、算出した推定領域の近傍にのみエッジ検出を行うためのエッジ検出用画像領域を設定してエッジ検出を行うことができる。したがって、請求項３に係る発明によれば、エッジ検出用画像領域を小さい面積で設定しても正確にエッジを検出することができ、誤検出をより少なくすることができる。
【００２２】
請求項４に係る発明によれば、撮像された前方画像のうち、先行車両の下陰部分を示す画像位置を含むようにエッジ検出用画像領域を設定し、垂直ソーベル演算子を用いて先行車両の下陰部分を含むエッジ検出用画像領域内に存在する水平方向エッジを検出するので、請求項１記載の発明の効果と同様に、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００２３】
請求項５に係る発明では、と共に、撮像された前方画像のうち、先行車両の下陰部分の上方の画像位置を含むようにエッジ検出用画像領域を設定し、上記エッジ検出手段は、水平ソーベル演算子を用いてエッジ検出用画像領域内に存在する垂直方向エッジを検出するので、請求項１記載の発明の効果と同様に、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００２４】
請求項６に係る発明によれば、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、エッジが正確に検出されなかった場合には、撮像手段で新たに撮像して得た前方画像を用いてエッジ検出をするので、連続的にエッジが検出できない場合や、全てのエッジ検出用画像領域からエッジが複数検出される場合には、連続的にエッジ検出する処理を終了して、誤検出を低減することができる。
【００２５】
請求項７に係る発明によれば、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、次回に水平方向エッジ及び垂直方向エッジを検出するために、各エッジ検出用画像領域について、水平方向エッジのエッジ位置及びエッジ強度、垂直方向エッジのエッジ位置及びエッジ強度を記憶するので、請求項１記載の発明の効果と同様に、先行車両の左右位置及び先行車両との車間距離を高い精度で時間的に連続して検出することができる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００２７】
本発明は、例えば図１に示すように構成された第１実施形態に係る先行車両認識システムに適用される。
【００２８】
［第１実施形態に係る先行車両認識システムの構成］
この先行車両認識システムは、図１及び図２に示すように、自車両１のフロントウインドウ２上部に取り付けられた小型の画像入力装置１１と、自車両の内部に設置された画像処理装置１２とを備える。
【００２９】
画像入力装置（撮像手段）１１は、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）カメラ等が使用可能であり、自車両１の前方道路の状況を撮像することにより前方画像を所定期間毎に生成し、画像処理装置１２に連続的に出力する。
【００３０】
画像処理装置１２は、画像入力装置１１からの前方画像を入力する先行車検出部２１及び先行車追尾部２２と、車間距離・先行車両位置出力部２３とを備える。
【００３１】
先行車検出部２１は、前方画像にフィルタ処理や画像認識処理を施すことにより、自車両１が走行している自車線内の先行車両の左右位置及び車間距離を求めるために先行車両を検出する初回検出処理をする。なお、この先行車検出部２１による処理内容の詳細については後述する。
【００３２】
先行車追尾部２２は、画像入力装置１１から所定期間毎に前方画像が入力され、先行車検出部２１で検出した先行車両を時間的に連続して追尾するトラッキング検出処理をする。なお、この先行車追尾部２２による処理内容の詳細については後述する。
【００３３】
車間距離・先行車両位置出力部（先行車両位置検出手段）２３は、先行車追尾部２２によるトラッキング検出処理により得た先行車両の水平方向エッジ及び垂直方向エッジの位置に基づいて、先行車両位置及び車間距離を求める。この車間距離・先行車両位置出力部２３は、求めた先行車両位置及び車間距離を図示しない表示モニタやスピーカ等により運転者に提示する。
【００３４】
この車間距離・先行車両位置出力部２３は、例えば自車両１と先行車両との車間距離が短く接近度合いが大きい場合に運転者に注意を促す接近報知システムや、アクセルやブレーキを操作して車間距離を走行車速に応じた適切な値に自動的に保持するアダプティブクルーズコントロール（ＡＣＣ）システム等に出力する。
【００３５】
［第１実施形態に係る先行車両認識システムの動作］
上述した先行車両認識システムによる処理手順を図３を参照して説明する。
【００３６】
先行車両認識システムは、自車両１が走行開始したことに応じて、自車線内における前方の先行車両位置及び車間距離を取得するために、ステップＳ１以降の処理を開始し、画像入力装置１１により撮像した前方画像を画像処理装置１２で取り込み、先行車検出部２１により、前方画像内で自車線上の先行車両を検出し、先行車両の位置を特定するための初回検出処理を行って、ステップＳ２に処理を進める。なお、このステップＳ１の先行車検出部２１の処理手順については後述する。
【００３７】
なお、この初回検出処理は、前方画像内で確実に先行車両を検出することを目的としており、自車線を示す画像領域である自車線領域の認識や、自車線領域内での車両候補の検出、先行車両の特定、検出した先行車両との距離算出等の処理を行うために、数１００ミリ秒程度の長い処理時間を要する。
【００３８】
ステップＳ２において、先行車検出部２１により、ステップＳ１において先行車両を検出したか否かの判定をし、検出したときにはステップＳ３に処理を進め、検出していないときには再度ステップＳ１の処理を行う。
【００３９】
ステップＳ３において、先行車追尾部２２により、ステップＳ１で検出した先行車両を時間的に連続して検出することで先行車両を追尾し、時間的に連続した先行車両位置及び車間距離の変化を検出するためのトラッキング検出処理をして、ステップＳ４に処理を進める。
【００４０】
ステップＳ３におけるトラッキング処理は、前方画像内における先行車両の特徴のうち、車両下影による水平方向エッジの垂直方向位置（画像内上下方向）、車両左右端における垂直方向エッジの水平方向位置（画像内左右方向）のみを連続して検出して、ステップＳ４に処理を進める。
【００４１】
なお、トラッキング処理は、処理を高速化して先行車両位置及び車間距離を短時間で出力することを目的としており、ステップＳ１での初回検出処理と比較して数１０ミリ秒程度の短い間隔で処理を実行する。これにより、トラッキング検出処理で得た出力を用いてＡＣＣ等の制御を行う場合により緻密な制御を行うことができるという利点がある。
【００４２】
ステップＳ４において、先行車追尾部２２により、ステップＳ３でのトラッキング検出処理で水平方向エッジ及び垂直方向エッジの検出ができずに先行車両を見失う、或いは、先行車両が前方画像の所定領域（エッジ検出ウインドウ）外となったか否か、すなわち先行車両がロスト状態になったか否かの判定をし、先行車両がロスト状態となったと判定したときにはステップＳ１の初回検出処理に処理を戻し、先行車両がロスト状態になっていないと判定したときにはステップＳ５に処理を進める。
【００４３】
ステップＳ５において、車間距離・先行車両位置出力部２３により、ステップＳ３でのトラッキング検出処理で得た水平方向エッジ及び垂直方向エッジから、先行車両位置及び車間距離を求めて出力し、ステップＳ３に処理を戻す。
【００４４】
これにより、ステップＳ４で先行車両がロスト状態になるまで、ステップＳ３〜ステップＳ５の処理を繰り返して連続して先行車両位置及び車間距離を出力する。
【００４５】
「初回検出処理」
上述のステップＳ１の先行車検出部２１による初回検出処理の処理手順について図４を参照して説明する。
【００４６】
ステップＳ１１において、画像入力装置１１により前方画像を撮像し、先行車検出部２１により前方画像を取り込む処理をしてステップＳ１２に処理を進める。
【００４７】
ステップＳ１２において、前方画像内における自車線領域を認識して、ステップＳ１３に処理を進める。このとき、先行車検出部２１は、例えば車線逸脱防止制御（レーンキープアシスト制御）等を目的として行われる既知の手法を行うことにより、車線識別線（白線）を前方画像から検出して、自車両１の自車線領域を検出する。すなわち、図５に示すように、自車両１及び２つの白線３１を検出し、前方画像のうち、白線３１と自車両１とで囲まれる領域を自車線領域３２として検出する。
【００４８】
ステップＳ１３において、ステップＳ１２で認識した自車線領域３２から、前方画像内で自車両１が走行している道路の消失点を示す道路消失点の座標（Ｘｖｐ，Ｙｖｐ）を求める。具体的には、白線３１を延長し、前方画像内での交点を道路消失点とする。この道路消失点は、前方画像内の無限遠方において白線３１が収束する点であり、そのＹ座標値（前方画像内上下位置）は水平線の高さを示している。この道路消失点は後段の車間距離を求めるのに使用される。
【００４９】
次のステップＳ１４において、ステップＳ１２で求めた自車線領域３２から、図６に示す車両下影領域３３を検出する。このとき、先行車検出部２１は、自車線領域３２の濃度値分布（明暗の分布）を検出し、通常の自車線領域３２の濃度値よりも所定値以上小さい（暗い）領域を検出することにより、車両下影領域３３を検出する。なお、このステップＳ１４における処理では、後段の処理により車両が存在するか否かの特定を詳しく行うので、車両下影領域３３の候補を検出する処理をする。
【００５０】
そして、次のステップＳ１５において、ステップＳ１４において車両下影領域３３を検出したか否かの判定をし、検出したときにはステップＳ１６に処理を進め、検出していないときにはステップＳ１１に処理を戻す。
【００５１】
ステップＳ１６において、車両下影領域３３の位置を正確に特定するために、車両下影領域３３による水平方向エッジを検出する。このとき、先行車検出部２１は、図７に示すように、ステップＳ１４で検出した車両下影領域３３を含むようにエッジ検出用の水平エッジ検出ウインドウ３４を設定し、水平エッジ検出ウインドウ３４内で水平方向エッジを検出するためのフィルタ処理を施す。先行車検出部２１は、例えば下記式１で示されるような垂直ソーベル演算子を用いたフィルタ処理を施すことにより、前方画像内で水平なエッジ成分を抽出する。
【００５２】
【数１】
【００５３】
車両下影座標値Ｙｓを求めることにより、車両下影座標値ＹｓとステップＳ１３で求めた道路消失点の座標値（Ｘｖｐ，Ｙｖｐ）とから、検出した下影が先行車両であった場合の距離Ｌ０を下記（式２）に示すように算出する。
【００５４】
【数２】
【００５５】
ステップＳ１７において、先行車両であることを特定するために、図８に示すように、車両左右端の垂直方向エッジを検出するための垂直エッジ検出ウインドウ３６を設定する。この垂直エッジ検出ウインドウ３６は、ステップＳ１６で求めた車両下影座標値Ｙｓのやや上方に、その幅をステップＳ１４で求めた車両下影領域３３の幅をやや上回る程度の値にし、高さを上記式２で求めた車間距離Ｌ０相当において所定高さ（例えばタイヤの高さ）となるように設定する。
【００５６】
次のステップＳ１８において、ステップＳ１７で設定した垂直エッジ検出ウインドウ３６内で、２つの垂直方向エッジを検出する。このとき、先行車検出部２１は、水平方向エッジ３５内で垂直方向エッジを検出するためのフィルタ処理を施す。先行車検出部２１は、例えば下記式３で示されるような水平ソーベル演算子を用いたフィルタ処理を施すことにより、前方画像内で垂直なエッジ成分を抽出する。
【００５７】
【数３】
【００５８】
本例において、ステップＳ１７で設定した垂直エッジ検出ウインドウ３６の高さはタイヤの高さ相当であるために、車両左端の路面からタイヤに向かって水平ソーベル演算子から得られる値が負となるエッジを検出し、車両右端のタイヤから路面に向かって水平ソーベル演算子から得られる値が正となるエッジを検出する。
【００５９】
このような方向で水平ソーベル演算子を適用してエッジ検出をすることにより、垂直方向エッジを１組検出した場合、ステップＳ１９において垂直方向エッジのペアが検出されたとして先行車両を特定し、ステップＳ２０に処理を進める。一方、垂直方向エッジのペアが検出されなかった場合には、ステップＳ１９からステップＳ１１に処理を戻す。
【００６０】
ステップＳ２０において、ステップＳ３で行うトラッキング検出処理で水平方向エッジ及び垂直方向エッジを使用するために、水平方向エッジのエッジ位置及びエッジ強度、２つの垂直方向エッジのエッジ位置及びエッジ強度を図示しないメモリに記憶する。
【００６１】
また、先行車検出部２１は、ステップＳ３でのトラッキング検出処理において車間距離を算出するための基準となる車両幅を下記の式４を用いて算出して記憶する。車両幅を求めるとき、先行車検出部２１は、
【数４】
【００６２】
このような初回検出処理をする先行車検出部２１は、前方画像内に奇数個のエッジ検出ウインドウを設定する領域設定手段、領域設定手段により設定された各エッジ検出ウインドウ内に存在する垂直方向エッジ及び水平方向エッジを検出するエッジ検出手段として機能する。
【００６３】
「トラッキング検出処理」
上述のステップＳ３の先行車追尾部２２によるトラッキング検出処理の処理手順について図９を参照して説明する。
【００６４】
このトラッキング検出処理は、上述の初回検出処理を行った結果、先行車検出部２１により先行車両を特定したときにステップＳ３１以降の処理を開始し、先行車追尾部２２により、新たな前方画像を画像入力装置１１から読み込んで、ステップＳ３２に処理を進め、ステップＳ３１〜ステップＳ４３において、車両下影の水平方向エッジ、車両左右端の各垂直方向エッジに関して、前回のエッジ検出位置の近傍にエッジ検出用のウインドウを設定して、今回のステップＳ３１で取り込んだ前方画像のエッジ候補のエッジ位置及びエッジ数を求める処理を行う。
【００６５】
また、このトラッキング検出処理では、後述するが、初回検出処理に戻るまで、連続的に画像入力装置１１から前方画像を読み込んで、ステップＳ３１〜ステップＳ４９までの処理を連続的に繰り返して行うことにより、連続的に先行車両との車間距離、先行車両の左右位置を車間距離・先行車両位置出力部２３に出力する。
【００６６】
先ず、ステップＳ３２〜ステップＳ３５で、車両下影による水平エッジ候補を検出するために、図１０に示すように、前回に検出した先行車両左端の水平方向エッジのエッジ位置を中心とし、所定高さの水平エッジ検出ウインドウ４１を設定し（ステップＳ３２）、設定した水平エッジ検出ウインドウ４１内に水平エッジ候補を検出するためのフィルタ処理を施し（ステップＳ３３）、水平エッジ検出ウインドウ４１内に存在する水平エッジ候補を算出する（ステップＳ３４）。
【００６７】
ここで、先行車追尾部２２は、水平エッジ検出ウインドウ４１内に検出される水平方向エッジの中で、前回に検出したエッジ強度とほぼ等しいエッジ強度を有する水平方向エッジを全て水平エッジ候補として検出する。具体的には、先行車追尾部２２は、前回の水平方向エッジのエッジ強度と今回のエッジ強度との差が所定値以内となる水平エッジを水平エッジ候補とする。次いで、検出した水平エッジ候補のエッジ数をカウントする（ステップＳ３５）。
【００６８】
続いて、車両左端の垂直エッジ候補を検出するために、図１１に示すように前回に検出した垂直方向エッジのエッジ位置を中心とし、所定高さの水平エッジ検出ウインドウ４２を設定し（ステップＳ３６）、設定した垂直エッジ検出ウインドウ４２内に垂直エッジ候補を検出するためのフィルタ処理を施し（ステップＳ３７）、垂直エッジ検出ウインドウ４２内に存在する垂直エッジ候補を算出し（ステップＳ３８）、垂直エッジ候補数をカウントする（ステップＳ３９）。
【００６９】
続いて、車両右端の垂直エッジ候補を検出するために、図１１に示すように前回に検出した先行車両右端の垂直方向エッジのエッジ位置を中心とし、所定高さの垂直エッジ検出ウインドウ４３を設定し（ステップＳ４０）、設定した垂直エッジ検出ウインドウ４３内に垂直エッジを検出するためのフィルタ処理を施し（ステップＳ４１）、垂直エッジ検出ウインドウ４３内に存在する垂直エッジ候補を算出し（ステップＳ４２）、垂直エッジ候補数をカウントする（ステップＳ４３）。
【００７０】
次に、ステップＳ４４において、ステップＳ３２〜ステップＳ４３での処理により検出したエッジ候補を参照して、各エッジ検出ウインドウにおいて正しくエッジを検出したか否かの判定を行う。
【００７１】
すなわち、先行車追尾部２２により、前方画像内でエッジ候補が正確に検出されない、エッジロストが発生したか否かの判定をする。エッジロストが発生する例としては、路面の凹凸により車体のピッチ角変化が発生し、画像入力装置１１の撮像範囲が急変し、前回に検出したエッジがエッジ検出ウインドウ外となった場合等がある。
【００７２】
エッジロストが発生したか否かの判定をするに際して、先行車追尾部２２は、水平エッジ検出ウインドウ４１と、２つの垂直エッジ検出ウインドウ４２，４３との３つのエッジ検出ウインドウのうち、１つのエッジ検出ウインドウにエッジ候補が検出されなかった場合には、ステップＳ１の初回検出処理に処理を戻す。
【００７３】
エッジ候補を正しく検出したときのステップＳ４５において、エッジ候補の補正処理を行う。この補正処理は、図１２に示すように、各エッジ検出ウインドウ内で検出したエッジ候補数により場合分けして補正をする。ここで、３つのエッジ検出ウインドウで共にエッジ候補を１つづつ検出した場合には（図１２のＡ）、補正処理を行わずに次のステップに処理を進める。
【００７４】
補正処理を行うに際して、図１２に示すように、
（１）車両下影の位置（Ｙ座標）は車間距離に依存して決定される（式２）
（２）前方画像内での車両幅、すなわち車両左右端の垂直エッジ間距離は車間距離に反比例する（式４）
という２つの特徴を用いる。すなわち、３つ（奇数個）のエッジ検出ウインドウのうち、２つ（偶数個）のエッジ検出ウインドウでのエッジ候補数が１であり、残りの１つのエッジ検出ウインドウに２以上のエッジ候補を検出した場合には（図１２のＢ、Ｃ、Ｄ）、上記の特徴（１）、特徴（２）を用いて、残りの１つのエッジ検出ウインドウ内の複数のエッジ候補のうち、最も正確度が高いエッジ候補を選択し、水平方向エッジ及び垂直方向エッジを特定する。
【００７５】
また、車両左右両端の垂直方向エッジのうち、いずれか一方のエッジ候補数のみが１つである場合には（図１２のＥ、Ｆ）、前方画像上での先行車両の車両幅は車間距離に依存して決定され、且つ車両幅が急変しないという特徴を用いることにより、先ず、１のエッジ検出ウインドウで検出したエッジ候補から、もう一方のエッジ検出ウインドウで検出した複数のエッジ検出候補のうち正確度の高いエッジ候補を特定する。これにより、先行車両下影の水平方向エッジ、車両左右端の垂直方向エッジを特定する。
【００７６】
但し、車両左右端の垂直エッジ候補が共に複数である場合には（図１２のＧ）、推定が困難であるために、エッジロストとみなして初回検出処理に戻すことが望ましい。
【００７７】
このように、ステップＳ４５でエッジ候補に補正処理をして、各エッジ検出ウインドウで１つのエッジを検出した場合にはステップＳ４７に処理を進め、補正処理ができなかった場合にはステップＳ１の初回検出処理を再度行う（ステップＳ４６）。
【００７８】
ステップＳ４７において、次回のトラッキング検出処理のために、各エッジ検出ウインドウで検出され、ステップＳ４５の補正処理で特定した各エッジのエッジ位置及びエッジ強度をメモリに記憶する。
【００７９】
次のステップＳ４８において、ステップＳ４５の補正処理で特定したエッジ位置から、先行車両位置及び車間距離を算出する。具体的には、車両左右端の垂直方向エッジの位置から、先行車両の左右位置Ｘｃを下記式５で求めると共に、車間距離Ｌを下記式６で求める。
【００８０】
【数５】
【００８１】
このようなトラッキング検出処理を画像入力装置１１が前方画像を撮像する期間ごとに行うことにより、初回検出処理と比較して短い処理時間で連続して先行車両の左右位置及び車間距離を車間距離・先行車両位置出力部２３に出力することができる。
【００８２】
また、このようなトラッキング処理をする先行車追尾部２２は、前回のエッジ検出結果に基づいてエッジ検出ウインドウを設定する領域設定手段、領域設定手段で設定されたエッジ検出ウインドウ内でエッジを検出するエッジ検出手段、各エッジ検出ウインドウでのエッジ検出結果の正確度を検出する正確度検出手段、正確度検出手段で検出した各エッジ検出ウインドウごとの正確度に基づいてエッジ検出結果を補正するエッジ検出結果補正手段として機能する。
【００８３】
［第１実施形態の効果］
以上、詳細に説明したように、第１実施形態に係る先行車両認識システムによれば、先行車両の左右両端を示す垂直方向エッジ及び先行車両の下端を示す水平方向エッジを連続的に検出すると共に、各エッジ検出ウインドウ毎に前回検出したエッジ強度に応じてエッジ候補を検出し、各エッジ検出ウインドウで検出したエッジ候補が少ないほどエッジ候補の正確度が高いとし、奇数個（３つ）のエッジ検出ウインドウのうち偶数（２つ）のエッジ検出ウインドウで検出したエッジを用いて残りのエッジ検出ウインドウ（１つ）におけるエッジ候補を補正する処理をするので、何れかのエッジ検出ウインドウに白線や道路継ぎ目により、エッジの誤検出が発生しやすくなっても、他のエッジ検出ウインドウのエッジ検出結果に基づいて補正をして安定して先行車両のエッジのみを検出することができる。
【００８４】
したがって、この先行車両認識システムによれば、運転者に提示する先行車両位置や車間距離を求める安定性を向上させることができ、先行車両の左右位置及び先行車両との車間距離を高い精度で検出することができる。
【００８５】
また、先行車両認識システムによれば、正確に先行車両を検出する初回検出処理と、連続して先行車両を検出するトラッキング検出処理とを組み合わせることにより、連続的にエッジが検出できない場合や、全てのエッジ検出ウインドウからエッジ候補が複数検出される場合には、トラッキング処理を終了して初回検出処理を実行するので、誤検出を低減すると共に短い時間で先行車両を検出し、先行車両位置や車間距離を短い周期で出力することができる。
【００８６】
［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る先行車両認識システムについて説明する。第２実施形態に係る先行車両認識システムの説明では、上述の第１実施形態に係る先行車両認識システムと同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００８７】
第２実施形態に係る先行車両認識システムは、ステップＳ３におけるトラッキング検出処理において、先行車追尾部２２によりカルマン・フィルタを用いて先行車両の状態を推定し、カルマン・フィルタを用いた推定結果に基づいて水平方向エッジ及び垂直方向エッジを連続的に検出する点で第１実施形態に係る先行車両認識システムと異なる。
【００８８】
「第２実施形態におけるトラッキング検出処理」
第２実施形態に係る先行車両認識システムによるトラッキング処理では、ステップＳ３１〜ステップＳ４２において、車両下影の水平方向エッジ、車両左右端の各垂直方向エッジに関して、前回のエッジ検出位置の近傍にエッジ検出ウインドウを設定して、今回のステップＳ３１で取り込んだ前方画像のエッジ候補のエッジ位置を求める処理を行う。
【００８９】
先ず、ステップＳ３２〜ステップＳ３４で、車両下影による水平エッジ候補を検出するために、図１０に示すように、前回に検出した水平方向エッジのエッジ位置を中心とし、所定高さの水平エッジ検出ウインドウ４１を設定し（ステップＳ３２）、設定した水平エッジ検出ウインドウ４１内に水平エッジ候補を検出するためのフィルタ処理を施し（ステップＳ３３）、水平エッジ検出ウインドウ４１内に存在する水平エッジ候補を算出する（ステップＳ３４）。これにより、検出した水平方向エッジによる車両下影座標値Ｙｓを得る。
【００９０】
続いて、車両左端の垂直エッジ候補を検出するために、図１１に示すように前回に検出した垂直方向エッジのエッジ位置を中心とし、所定高さの水平エッジ検出ウインドウ４２を設定し（ステップＳ３６）、設定した垂直エッジ検出ウインドウ４２内に垂直エッジ候補を検出するためのフィルタ処理を施し（ステップＳ３７）、垂直エッジ検出ウインドウ４２内に存在する垂直エッジ候補を算出する（ステップＳ３８）。
【００９１】
続いて、車両右端の垂直エッジ候補を検出するために、図１１に示すように前回に検出した垂直方向エッジのエッジ位置を中心とし、所定高さの垂直エッジ検出ウインドウ４３を設定し（ステップＳ４０）、設定した垂直エッジ検出ウインドウ４３内に垂直エッジ候補を検出するためのフィルタ処理を施し（ステップＳ４１）、垂直エッジ検出ウインドウ４３内に存在する垂直エッジ候補を算出する（ステップＳ４２）。これにより、先行車両左右端の垂直方向エッジによるＸ座標ＸＲ、ＸＬを得る。
【００９２】
次のステップＳ５１において、先行車追尾部２２により、ステップＳ３４で得られた車両下影座標値Ｙｓを用いて下記式７により車間距離Ｌを求めると共に、ステップＳ３８及びステップＳ４２で得られた各垂直方向エッジの座標を用いて、下記式７により左右位置Ｘの計測値を算出して、ステップＳ５２に処理を進める。
【００９３】
【数６】
【００９４】
【数７】
【００９５】
また、システムのノイズ、観測のノイズを考慮すると、下記式１１、式１２が得られる。
【００９６】
【数８】
【００９７】
【数９】
【００９８】
【数１０】
【００９９】
そして、カルマン・フィルタから出力した状態ベクトルに基づき、エッジ検出ウインドウで検出されるエッジ位置を推定し、次いで、ステップＳ５３において推定したエッジ位置とステップＳ３２〜ステップＳ４２の処理を行うことで実際に検出したエッジ候補とが合致するか否かの判定をする。
【０１００】
推定したエッジ位置と実際に検出したエッジ候補とが合致したときには、カルマン・フィルタにより正しくエッジ位置の推定ができたとしてステップＳ５４に処理を進める。一方、推定したエッジ位置と実際に検出したエッジ候補とが合致していないときには、エッジ候補を誤検出している可能性が高いと判定してステップＳ１の初回検出処理に処理を進める。
【０１０１】
ステップＳ５４において、カルマン・フィルタを用いて算出される次回の状態ベクトル予測値に基づいて、次回のトラッキング検出処理で各エッジ候補が発生するエッジ検出予測位置を算出して、メモリに記憶する。また、今回のトラッキング検出処理で求めた各エッジのエッジ強度もメモリに記憶する。
【０１０２】
次のステップＳ５５において、カルマン・フィルタにより状態ベクトルとして得られる車間距離（Ｚ値）と先行車両の左右位置（Ｘ値）とを車間距離・先行車両位置出力部２３に出力してステップＳ３１に処理を戻し、次回以降のトラッキング検出処理に処理を進める。
【０１０３】
このようなトラッキング検出処理をする先行車追尾部２２は、カルマン・フィルタにより先行車両の状態を推定する先行車両位置推定手段として機能する。
【０１０４】
［第２実施形態の効果］
以上、詳細に説明したように、第２実施形態に係る先行車両認識システムによれば、第１実施形態に係る先行車両認識システムで発揮する効果に加えて、カルマン・フィルタにより、次回のトラッキング検出処理におけるエッジ検出位置の推定領域を算出して、算出した推定領域の近傍にのみエッジ検出を行うための各エッジ検出ウインドウをステップＳ３２，ステップＳ３６，ステップＳ４０で設定してエッジ検出を行うことができる。
【０１０５】
したがって、この先行車両認識システムによれば、第１実施形態に係る先行車両認識システムにより設定する各エッジ検出ウインドウと比較して、エッジ検出ウインドウ幅を小さい面積で設定しても正確にエッジ候補を検出することができ、エッジ検出ウインドウ内に白線や道路継ぎ目が入ることによる誤検出をより少なくすることができる。
【０１０６】
更に、この先行車両認識システムによれば、エッジ検出ウインドウを小さくすることができるので、エッジ検出に要する処理負担を少なくすることができ、より短時間でトラッキング検出処理を実行することができる。
【０１０７】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明を適用した第１実施形態に係る先行車両認識システムの構成を示すブロック図である。
【図２】本発明を適用した第１実施形態に係る先行車両認識システムの構成を示す外観構成図である。
【図３】本発明を適用した第１実施形態に係る先行車両認識システムにより先行車両との車間距離及び左右位置を出力するときの処理手順を示すフローチャートである。
【図４】本発明を適用した第１実施形態に係る先行車両認識システムにより初回検出処理の処理手順を示すフローチャートである。
【図５】自車両及び２つの白線を検出して、白線と自車両とで囲まれる領域を自車線領域として検出することを説明するための図である。
【図６】自車線領域から車両下影領域を検出することを説明するための図である。
【図７】本発明を適用した第１実施形態に係る先行車両認識システムにおいて、初回検出処理で水平方向エッジを検出するときに設定するエッジ検出ウインドウを示す図である。
【図８】本発明を適用した第１実施形態に係る先行車両認識システムにおいて、初回検出処理で垂直方向エッジを検出するときに設定するエッジ検出ウインドウを示す図である。
【図９】本発明を適用した第１実施形態に係る先行車両認識システムによるトラッキング検出処理の処理手順を示すフローチャートである。
【図１０】本発明を適用した第１実施形態に係る先行車両認識システムによりトラッキング検出処理で水平エッジ候補を検出するときに設定するエッジ検出ウインドウを示す図である。
【図１１】本発明を適用した第１実施形態に係る先行車両認識システムによりトラッキング検出処理で垂直エッジ候補を検出するときに設定するエッジ検出ウインドウを示す図である。
【図１２】各エッジ検出ウインドウで検出したエッジ候補数に応じた補正処理について説明するための図である。
【図１３】本発明を適用した第２実施形態に係る先行車両認識システムによるトラッキング検出処理の処理手順を示すフローチャートである。
【図１４】従来において、垂直方向エッジを検出するときに複数の垂直方向エッジが検出されることを説明するための図である。
【図１５】従来において、水平方向エッジを検出するときに複数の水平方向エッジが検出されることを説明するための図である。
【符号の説明】
１ 自車両
２ フロントウインドウ
１１ 画像入力装置
１２ 画像処理装置
２１ 先行車検出部
２２ 先行車追尾部
２３ 車間距離・先行車両位置出力部
３１ 白線
３２ 自車線領域
３３ 車両下影領域
３４ 水平エッジ検出ウインドウ
３５ 水平方向エッジ
３６ 垂直エッジ検出ウインドウ
４１ 水平エッジ検出ウインドウ
４２ 水平エッジ検出ウインドウ
４３ 垂直エッジ検出ウインドウ
Claims (7)
- 自車両の前方を撮像する撮像手段と、
上記撮像手段により撮像された前方画像から先行車両の位置を特定し、当該先行車両までの距離を算出する先行車両検出手段と、
上記先行車両検出手段で特定された先行車両位置から先行車両の左右両端の垂直方向エッジ及び先行車両下端の水平方向エッジを検出するために、上記撮像手段で撮像された前方画像内に奇数個のエッジ検出用画像領域を設定する領域設定手段と、
上記領域設定手段により設定された各エッジ検出用画像領域内に存在する垂直方向エッジ或いは水平方向エッジを検出するエッジ検出手段と、
上記エッジ検出手段により検出されたエッジの正確度を各エッジ検出用画像領域ごとに判定する正確度検出手段と、
上記正確度検出手段で検出された各エッジ検出用画像領域ごとのエッジの正確度に基づいて、上記奇数個のエッジ検出用画像領域のエッジのうち、正確度が高いと判定された偶数個のエッジ検出用画像領域で検出されたエッジを用いて、残りのエッジ検出用画像領域のエッジを補正するエッジ検出結果補正手段とを備え、
上記エッジ検出結果補正手段は、正確度が高いと判定された偶数個のエッジを用いて車間距離を演算し、当該車間距離に相当するエッジの位置となるように、上記残りのエッジを補正し、
上記先行車両検出手段は、当該補正されたエッジを含む奇数個のエッジから先行車両の位置及び先行車両までの距離を算出することを特徴とする先行車両認識装置。 - 上記エッジ検出手段は、上記領域設定手段で設定されたエッジ検出用画像領域内で時間的に前に検出されたエッジ強度と略等しいエッジ強度のエッジを検出し、
上記正確度検出手段は、上記エッジ検出手段で検出されたエッジ数が少ないほど正確度が高いと判定すること
を特徴とする請求項１記載の先行車両認識装置。 - 上記水平方向エッジの垂直方向位置に基づいて自車両と先行車両との距離を求めると共に、上記垂直方向エッジの水平方向位置に基づいて先行車両の水平方向位置を求める先行車両位置検出手段と、
上記先行車両検出手段で検出された自車両と先行車両との距離及び先行車両の水平方向位置を用いてカルマン・フィルタにより先行車両の状態を推定する先行車両位置推定手段と
を更に備えることを特徴とする請求項１記載の先行車両認識装置。 - 上記領域設定手段は、上記撮像手段で撮像された前方画像のうち、先行車両の下陰部分を示す画像位置を含むようにエッジ検出用画像領域を設定し、上記エッジ検出手段は、垂直ソーベル演算子を用いて先行車両の下陰部分を含むエッジ検出用画像領域内に存在する水平方向エッジを検出することを特徴とする請求項１記載の先行車両認識装置。
- 上記領域設定手段は、上記撮像手段で撮像された前方画像のうち、先行車両の下陰部分の上方の画像位置を含むようにエッジ検出用画像領域を設定し、上記エッジ検出手段は、水平ソーベル演算子を用いてエッジ検出用画像領域内に存在する垂直方向エッジを検出すること
を特徴とする請求項１記載の先行車両認識装置。 - 上記エッジ検出手段は、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、エッジが正確に検出されなかった場合には、上記撮像手段で新たに撮像して得た前方画像を用いてエッジ検出をすること
を特徴とする請求項１記載の先行車両認識装置。 - 上記エッジ検出手段は、時間的に前に検出されたエッジ強度を用いて連続的にエッジを検出する処理を行っているときにおいて、次回に水平方向エッジ及び垂直方向エッジを検出するために、各エッジ検出用画像領域について、水平方向エッジのエッジ位置及びエッジ強度、垂直方向エッジのエッジ位置及びエッジ強度を記憶することを特徴とする請求項１記載の先行車両認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001264295A JP3823782B2 (ja) | 2001-08-31 | 2001-08-31 | 先行車両認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001264295A JP3823782B2 (ja) | 2001-08-31 | 2001-08-31 | 先行車両認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003077099A JP2003077099A (ja) | 2003-03-14 |
| JP3823782B2 true JP3823782B2 (ja) | 2006-09-20 |
Family
ID=19090925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001264295A Expired - Fee Related JP3823782B2 (ja) | 2001-08-31 | 2001-08-31 | 先行車両認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3823782B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006185109A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 画像計測装置及び画像計測方法 |
| JP4798487B2 (ja) * | 2005-11-25 | 2011-10-19 | 株式会社アイ・トランスポート・ラボ | 周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム |
| CN101030256B (zh) * | 2006-02-28 | 2010-05-12 | 东软集团股份有限公司 | 车辆图像分割方法和装置 |
| CN101187982B (zh) * | 2006-11-17 | 2011-08-24 | 东软集团股份有限公司 | 一种用于从图像中分割出对象的方法及装置 |
| JP5907700B2 (ja) * | 2011-11-18 | 2016-04-26 | クラリオン株式会社 | 画像処理装置、車両システム、及び、画像処理方法 |
| JP5798078B2 (ja) * | 2012-03-30 | 2015-10-21 | クラリオン株式会社 | 車両用外界認識装置とそれを用いた車両システム |
| JP5752729B2 (ja) * | 2013-02-28 | 2015-07-22 | 富士フイルム株式会社 | 車間距離算出装置およびその動作制御方法 |
| JP6496492B2 (ja) * | 2014-05-15 | 2019-04-03 | 株式会社シーマイクロ | 車両検出装置および車両検出方法。 |
| CN105528600A (zh) * | 2015-10-30 | 2016-04-27 | 小米科技有限责任公司 | 区域识别方法及装置 |
| CN105550633B (zh) * | 2015-10-30 | 2018-12-11 | 小米科技有限责任公司 | 区域识别方法及装置 |
| JP6688091B2 (ja) * | 2016-01-22 | 2020-04-28 | 株式会社デンソーテン | 車両距離導出装置および車両距離導出方法 |
| KR102463449B1 (ko) * | 2016-12-15 | 2022-11-04 | 현대자동차주식회사 | 인접 차로의 차량 폭 산출 방법 및 장치 |
| JP7058128B2 (ja) * | 2017-05-18 | 2022-04-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理装置およびプログラム |
| KR101958605B1 (ko) * | 2018-11-30 | 2019-03-14 | 이윤기 | 전방 차량 검출 장치 및 방법 |
| DE102019111642B3 (de) * | 2019-05-06 | 2020-06-04 | Sick Ag | Absichern der Umgebung eines Fahrzeugs |
-
2001
- 2001-08-31 JP JP2001264295A patent/JP3823782B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003077099A (ja) | 2003-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2422320B1 (en) | Object detection device | |
| JP4203512B2 (ja) | 車両周辺監視装置 | |
| JP3823782B2 (ja) | 先行車両認識装置 | |
| JP3756452B2 (ja) | 赤外線画像処理装置 | |
| US7262710B2 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
| Goldbeck et al. | Lane detection and tracking by video sensors | |
| JP3671825B2 (ja) | 車間距離推定装置 | |
| US10422871B2 (en) | Object recognition apparatus using a plurality of object detecting means | |
| JP2002197444A (ja) | 車両の走行路認識装置 | |
| JP2000059764A (ja) | 車両の位置検出装置 | |
| JP2007164636A (ja) | 道路区画線検出装置 | |
| JP2001092970A (ja) | 車線認識装置 | |
| JP2018060326A (ja) | トラッキング装置及びプログラム | |
| JP4407920B2 (ja) | 障害物認識方法及び障害物認識装置 | |
| JP2002197469A (ja) | 車線検出装置 | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JP3812384B2 (ja) | 先行車両認識装置 | |
| JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
| JP3807651B2 (ja) | 白線認識装置 | |
| JP2536986B2 (ja) | 車間距離検出装置 | |
| JP2002236927A (ja) | 車線モデリングシステムの曲線路認識方法 | |
| JP2002104113A (ja) | 後方監視装置 | |
| JP2003308599A (ja) | 走行路環境検出装置 | |
| JP2002150302A (ja) | 路面認識装置 | |
| JP4704998B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060104 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060619 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090707 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |