JP3985615B2

JP3985615B2 - 前方車両追跡システムおよび前方車両追跡方法

Info

Publication number: JP3985615B2
Application number: JP2002207390A
Authority: JP
Inventors: 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-07-16
Filing date: 2002-07-16
Publication date: 2007-10-03
Anticipated expiration: 2022-07-16
Also published as: JP2004053278A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載される前方車両追跡システムおよび前方車両追跡方法に関する。
【０００２】
【従来の技術】
従来のテンプレートマッチングを用いた先行車追跡技術としては、例えば、特開2002−99906などがある。この手法は、熱源を捉えることのできる赤外カメラとレーザレーダとの組み合わせにより先行車を追跡する手法であり、レーザレーダで検出した位置と対応する画像上の位置にテンプレートを切り、双方で追跡を行うことで、例えば、雨天に弱いレーザレーダが検出できない場合でも、熱を捉えることのできる画像により車両を追跡できるなど、互いの利点を活かすことによってロバストに車両を追跡することを特徴とする。
【０００３】
【発明が解決しようとする課題】
しかし、この方法では、赤外カメラを用いていることから、例えば、夏など気温の高い環境では車両の熱源を用いたテンプレートマッチングの精度が低くなるという問題がある。また、車両の追跡確実性を考慮しているが、特に横方向の計測高精度化に対する工夫がなく、構成として熱源を捉えていることから、車両のエッジを精度よく検出することが難しく、画像上で厳密にエッジを検出することができないため、車両の微妙な動き、特に横方向の細かい動きを計測することが困難である。
【０００４】
本発明の目的は、車両を確実に追跡することができ、システム全体としてロバストで精度の高い計測を行うことができる前方車両追跡システムおよび前方車両追跡方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、進行方向前方をスキャニングする検出波出力手段と、この検出波出力手段が出力した検出波の反射点により前方車両を検出する車両発見手段と、検出波出力手段により計測した距離をも考慮し、反射点の強度分布型を作成する強度分布型作成手段と、前記強度分布をも利用しながら、前方車両の位置を計測する強度利用での車両追跡手段と、検出波出力手段の追跡結果を評価する検出波出力手段計測評価手段と、進行方向前方を撮像するカメラと、検出波出力手段により計測した距離をも考慮し、前方車両の追跡用テンプレートを作成する車両テンプレート作成手段と、テンプレートマッチングにより車両追跡を行う車両追跡処理手段と、カメラの画像処理による前方車両の追跡信頼性を評価する画像処理追跡信頼性判定手段と、検出波出力手段による追跡評価結果と、画像処理による追跡評価結果とを統合判定し、前方車両の位置を算出する統合処理手段とを有し、前記検出波出力手段または前記カメラのセンサのうち、検知角が小さい方の該検知角端で前記前方車両が検出される場合は、検知角が広い方の前記センサのデータを用いるものである。
【０００６】
【発明の効果】
本発明によれば、車両を確実に追跡することができ、システム全体としてロバストで精度の高い計測を行うことができる。
【０００７】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【０００８】
参考例
図１は、本発明の参考例の前方車両追跡システムの構成図である。図２は、レーザレーダとカメラを搭載した自車両の図と、後述の説明に用いる検出対象物標の位置を表すための基準座標系の説明図であり、（ａ）は横から見た図、（ｂ）は上から見た図である。
【０００９】
図において、１は自車両（図２）、２は検出波出力手段であるスキャニングレーザレーダ（以下、レーザレーダと記す）、３は電子式のカメラ、４はレーザレーダデータメモリ、５は車両発見部、６は反射強度（以下、強度と記す）分布型作成部、７は強度利用での車両追跡部、８はレーザレーダ計測評価部、９は画像メモリ、１０は車両テンプレート作成部、１１は車両追跡処理部、１２は画像処理追跡信頼性判定部、１３は統合処理部（総合評価部、総合判定部）である。
【００１０】
図１に示すように、本発明の参考例の前方車両追跡システムは、自車両１に搭載されたレーザレーダ２と、カメラ３の２つのセンサを搭載している。
レーザレーダ２を利用した処理部は、レーザレーダ２から入力されるスキャニング角ごとのデータを格納するレーザレーダデータメモリ４と、そのデータから前方の車両を発見する車両発見部５と、発見した車両の強度分布を追跡中の車両の特徴を示す強度分布型として保存する強度分布型作成部６と、車両発見後は強度分布をも利用しながら車両の位置をより確実に計測する強度利用での車両追跡部７と、車両の追跡結果の確実性を評価するレーザレーダ計測評価部８とを有する。
【００１１】
一方、カメラ３を利用した処理部は、カメラ３から入力される画像を保存する画像メモリ９と、レーザレーダ２で車両を発見した位置に相当する画像上の位置に車両追跡用のテンプレートを作成する車両テンプレート作成部１０と、車両追跡開始後は、作成されたテンプレートから距離変化による大きさ変化を考慮した上で、テンプレートマッチングにより車両追跡を行う車両追跡処理部１１と、画像処理による車両の追跡信頼性を評価する画像処理追跡信頼性判定部１２とを有する。
【００１２】
そして、レーザレーダ２による追跡評価結果と、カメラ３で撮像した画像処理による追跡評価結果とを統合判定し、最終的な追跡中の車両位置を算出する統合処理部１３を有する。
【００１３】
カメラ３とレーザレーダ２は、図２に示すように自車両１の前部に取り付けられており、レーザレーダ２は、自車両１の前方路面に平行な方向で１次元的にスキャニングしながら、前方の物体までの距離と方位を計測し、カメラ３は同じ方向である自車両１の前方の様子を撮像する。また、ここでは、物***置を表記するための座標系を図２に示すように設ける。すなわち、各軸は、レーザレーダ２の中心軸方向をＺ軸、中心軸に垂直で路面に平行な方向をＸ軸、路面に垂直な方向をｙ軸とする。また、Ｚ軸方向の位置を「距離」、Ｘ軸方向の距離を「横位置」とする。
【００１４】
図３（ａ）は、レーザレーダ２で車両を計測したときのレーザレーダ２の計測位置を示す図、図３（ｂ）はその場合の前方の画像を示す図、図３（ｃ）はもっとも近距離にある車両の強度分布を示す図である。
【００１５】
レーザレーダ２は前方に存在する光を反射する物体を検知し、レーザレーダ２から送信される送信波の送信とその波を受信するまでの時間差から、光を反射した物体までの距離を計測する装置である。その送信波は、スキャン角ごとに同じエネルギーを持つが、受信する光の強さは、光の反射率による。道路環境においては、光を反射するものとして、鉄製の看板、デリニエータと呼ばれる路側に取り付けられた反射板（リフレックスリフレクタ。以下、リフレクタと記す）、および、前方を走行する車両などが上げられる。この中でも、路側や車両の背面に取り付けられたリフレクタは、運転手から前方の車両や路側の存在を認識しやすくなるように取り付けられた反射板であるため、光を効率よく反射するようになっている。そのため、レーザレーダ２でこれらのリフレクタを検出すると、強い強度の光を受光できる。通常、強度は、物体までの距離が長いほど小さな値となるが、車両は反射効率の良いリフレクタを取り付けていることから、遠方でも安定して検知計測することができる。
【００１６】
レーザレーダデータメモリ４は、レーザレーダ２で計測したデータを保存する。追跡処理はこのレーザレーダデータメモリ４に保存されたデータを用いて行う。
【００１７】
図１に示した車両発見部５では、図３（ａ）、（ｃ）に示すようなレーザレーダ２の検知点の分布から車両を検出し、その方位と距離を計測する。この処理は、例えば、図３に示すように、車両の幅程度の間隔で検出され、時系列的に同じ方向に動く左右１組の点や車幅程度の幅の連続する点を見つけるなどの従来の手法を適用すればよい。
【００１８】
また、車両には、前述のように、リフレクタという光を効率よく反射する反射板が取り付けられているが、距離が近い場合、ボディ面やナンバプレートからの反射光をレーザレーダ２で受光することもできる。このようにボディからの反射光が受光できる程度の距離の場合、車両の強度分布は、図３（ｃ）に示すように、リフレクタの位置の強度が強く、ボディ面は比較的弱い強度分布となる。
【００１９】
図４は距離と、強度分布の関係を示した概念図である。強度は距離が長くなると小さくなる。しかし、リフレクタの位置は車両特有のもので、不変であり、車種によってさまざまであるため、この強度分布の形状は追跡車両の特徴を示す値の１つともなる。
【００２０】
強度分布型作成部６による処理と、強度利用での車両追跡部７による処理は、このようなレーザレーダ２から得られる車両の強度分布特性を利用した処理である。まず、強度分布型作成部６では、車両発見部５の処理で検出した車両を対象とし、その車両の強度分布を車両追跡用強度分布型として保存する。図３（ａ）のような場面で車両２０Ａを追跡車両（前方車両）とした場合、図３（ｃ）の強度分布が保存対象の強度分布型となる。また、この際、強度分布のピークの位置は、距離に応じて変化するため、強度分布型の作成時の距離も同時に保存する。図３の場合、距離ｚＡ（自車両１と車両２０Ａとの距離）を同時に保管すればよい。
【００２１】
図３（ａ）、（ｂ）において、２１は路上反射物である。この路上反射物２１等の静止物は自車速度と同じ相対速度で近づいてくることから静止物と判定する。車両２０Ａや２０Ｂは、２つのペアが同じ速度で動物体を示す相対速度で移動することから車両と判定する。
【００２２】
強度利用での車両追跡部７では、この強度分布型を用いた分布型マッチングによる位置計測を行う。図５はその様子を示す図で、（ａ）は検知点グルーピングでの物***置計測を示し、（ｂ）は強度分布とのマッチングで横位置を検出する様子を示す。
【００２３】
車両発見部５によるレーザレーダ２からの前方車両の検出は、前述（図３）同様の相対速度や車幅程度の大きさを示す物体の検出およびその相対速度から判断できる。しかし、検知点のデータは特にボディ反射など強度の弱い部分では不安定である。特に、図５（ａ）に示すように、車両の端はボディ面が自車両１（に搭載したレーザレーダ２）に対して斜め向きであるため、背面よりも反射点の検知が不安定となる。しかし、従来手法のような点のグループ化で車両の位置を検出すると、距離（ｚＡ）は正確に計測できるが，横位置（ｘＡ）の計測が不安定となる。（ただし、ここでは、横位置は、図に示すように、仮に物体検出結果（図中の破線四角）の中心を物体の横位置とする。）そこで、ここでは、安定して検出されるリフレクタの位置の移動を細かく計測できるように、図５（ｂ）に示すように、追跡車両のデータを用いて作成した強度分布型を用いた分布型マッチングを行う。これにより、より正確に、距離だけでなく、横方向の動きも計測できるようになる。
【００２４】
図１のレーザレーダ計測評価部８では、レーザレーダ２で追跡中の車両の信頼性を評価する。ここでは、例えば、距離の計測値の信頼性は、追跡距離の急激な変化なく安定して同程度の幅の物体が検出できていることの時間的な連続性（例えば連続回数や距離変化の度合い）から信頼性を評価できる。また、追跡中の車両の横位置に関しては、レーザレーダ計測評価部８の強度分布評価値から判定できる。具体的には、定義した強度分布型と、実際に観測した強度で正規化相関を求めるなどで評価値は計算できる。例えば、図５（ｂ）の時刻ｔ＋Δｔの車両２０Ｂの場合、片側のリクレクタが検知できてないことから、強度分布の形状が分布型と大きく異なる。レーザレーダ２による横位置の計測は大きくずれている可能性が高い。このようなことから、強度分布との正規化相関は横位置の評価値となる。この評価値は、後述の統合処理部１３で用いる。
【００２５】
次に、カメラ３を用いた車両追跡処理について説明する。
画像メモリ９は、カメラ３で撮像した画像を保存する。追跡処理はこの画像メモリ９に保存された画像を用いた画像処理により行う。
画像処理による追跡は、レーザレーダ２で検出した車両をターゲットとして行う。まず、車両テンプレート作成部１０では、レーザレーダ２で車両を発見した位置、距離に応じて、その位置に存在すべき車両が撮像される画像上の位置でテンプレートを切る。この位置の定義は、次の方法で計算できる。
【００２６】
図６は、画像上の位置と、実際の３次元上の位置、大きさとの対応関係を説明する図で、（ａ）は位置、（ｂ）は大きさの関係を示す。
図６において、３１はカメラレンズ、１４はカメラの光軸、３２は実際の車両の中心、３３は撮像面、ｚは車両までの距離、ｆはカメラレンズ３１の焦点距離、ｘｃは画像上の車両の中心、θは画像上の車両の中心ｘｃで検出された位置の物体の存在する方位、ｗは実際の車両の幅、ｗｃは画像上の車両の幅である。
【００２７】
画像上の車両の中心ｘｃで検出された位置の物体の存在する方位θは、式１により求めることができる。
【００２８】
θ＝ｔａｎ^−１（ｆ／ｘｃ）式１
また、車両の実際の幅ｗが既知である場合は、車両までの距離ｚは、画像上の車両の幅ｗｃから、式２により計算することができる。
【００２９】
ｚ＝ｆ・ｗ／ｗｃ式２
検出位置は、画像上での検出位置に式１、式２を適用することで計算することができる。
【００３０】
また、車両の発見後、画像の処理間隔ごとに入力される画像での車両の画像上の位置は、参照対象である車両テンプレート（以下、参照テンプレートと記す）とのテンプレートマッチングによる追跡処理により検出する。これを行うのが、参照テンプレートとのマッチングによる車両追跡処理部（車両位置検出部）１１である。通常、前方で撮像した車両は、その距離ｚが変化するため、その距離に応じて、画像上の大きさが変化する。そのため、車両追跡処理部１１のテンプレートマッチングでは、参照画像もしくは入力画像を拡大縮小することで、参照画像内の車両の大きさと入力画像内に撮像されている車両の大きさが同じ大きさになるように、どちらかの画像を拡大縮小しながらテンプレートマッチングを行う。
【００３１】
図７は、入力画像側の画像を参照テンプレートに合わせる処理を行う場合の処理の様子を表す図である。
【００３２】
４１は参照テンプレート作成時の画像（距離ｚｂ）、４２は入力画像（距離ｚ（ｔ））、４３は走査範囲である。参照テンプレート作成時の画像４１は、車両がＳ＝ｚ（ｔ）／ｚｂ倍である。
【００３３】
ここでは、レーザレーダ２により参照テンプレート作成時の距離ｚｂと、新たな画像入力時の距離ｚ（ｔ）の変化がわかっている。そのため、参照テンプレート作成時の車両の大きさから、車間距離がΔｚだけ変化した場合の画像上での車両の大きさ変化を式２の原理で計算することで、大きさを合わせた上でテンプレートマッチングを行えばよい。相関（テンプレートマッチング）の計算は、お互いの輝度値を用いた正規化相関を用いればよく、相関の最も高い位置が、新たな入力画像内の車両の検出位置となる。
【００３４】
すなわち、図７において、参照テンプレート作成時の距離をｚｂとすると、新しい画像入力時の距離ｚ（ｔ）はレーザレーダ２で計測する。また、入力画像内の車両の大きさとテンプレート内車両の大きさの比率は、１／ｚｂ：１／ｚ（ｔ）である。つまり、Ｓ＝ｚｂ／ｚ（ｔ）の拡大縮小を行いながら、参照テンプレートとのマッチングを行う。入力画像４２では、倍率Ｓ１倍なので、距離は、参照テンプレート作成時の距離ｚｂの１／Ｓ１倍として計算できる。つまり、相関が最大のときの位置（ｘｐ、ｙｐ）が、入力画像４２内の車両の検出位置である。
【００３５】
また、仮に、レーザレーダ２で車両を見失った場合や、画像の方が検知角が広く、レーザレーダ２では検知角外だが、画像では検知範囲内である場合など、レーザレーダ２での距離が計測できない場合は、前回の距離からの微小距離変化Δｚ分だけ距離の変化が起きたことを想定しながらの拡大縮小を行ったテンプレートマッチングを適用すればよい。図８はその様子を示した図である。つまり、図８は、レーザレーダ２による距離計測が行われない場合の、拡大縮小しながらの参照テンプレートを用いたテンプレートマッチングの説明図と、拡大縮小率からの距離計測方法の説明図である。
【００３６】
この場合の手順としては、入力画像４２に車両の距離変化を想定した拡大縮小の倍率（Ｓ１、Ｓ２…）を複数かけ合わせた画像を、走査範囲４３内で１画素ずつずらしながら切り出し、相関を計算する。相関がもっとも高い値となったときの倍率Ｓとその位置（ｘｐ、ｙｐ）より車両の位置を求める。
【００３７】
つまり、走査範囲４３内を１画素ずつずらしながら、かつ、Δｚ分の距離変化の拡大縮小を施しながらのすべての位置、拡大縮小における相関を計算し、相関値が最大となる位置と拡大縮小値を求める。
【００３８】
以上説明したように、本発明の参考例では、レーザレーダ２による距離が計測できない場合、画像の走査範囲４３内を所定の画素数ずつずらしながら、前回計測した距離からの微小距離変化Δｚ分の距離変化の拡大縮小を施したテンプレートマッチングを用いる。このような構成により、レーザレーダ２による距離が計測できない場合でも、車両を確実に追跡することができ、システム全体としてロバストで精度の高い計測を行うことができる。
【００３９】
次に、画像処理追跡信頼性判定部１２において、上記画像処理におけるテンプレートマッチングの車両追跡の信頼性を判定する。評価値は、車両追跡処理部１１の処理における最大相関値とすればよい。
【００４０】
追跡の失敗／成功は、最大相関値としきい値との比較により、相関値が所定の値以下の場合は、マッチングによる追跡が失敗したと判定し、相関値が所定の値以上となったときは、信頼性があると判定する。
【００４１】
次に、統合処理部１３の処理について説明する。
統合処理部１３では、レーザレーダ２と、カメラ３で撮像した画像処理による追跡評価値を評価する。これは、前に説明したレーザレーダ計測評価部８で求めたレーザレーダ２の評価値と、画像処理追跡信頼性判定部１２により求めた画像処理による追跡評価値を用いる。
【００４２】
ここで、例えば、レーザレーダ２の検知点ロストや追跡性が低い場合は、画像処理の結果から距離、横位置を算出し、逆に画像処理の相関値がしきい値以下の場合は、追跡を失敗しているとみなし、レーザレーダ２の計測評価の結果から距離、横位置を算出する。
【００４３】
ここで、距離、横位置の算出は、レーザレーダ２の計測評価の結果から距離、横位置を算出する場合は、レーザレーダ２で計測した結果を距離、強度分布型により相関が高い位置として求められた横位置（図５のｘＡ）を横位置とする。
【００４４】
一方、画像処理から距離、横位置を算出する場合は、次の方法を用いる。画像処理では距離の計測はできないが、前回の処理結果からの距離変化の計測は可能である。そこで、もっとも相関の高い値を得たテンプレートと参照テンプレート、または１回前の処理での車両の大きさとの大きさ変化より距離を計測すればよい。距離が算出された場合、横位置は、図６で説明した幾何学的計算により算出可能である。
【００４５】
また、レーザレーダ２による追跡において、車両の追跡はできているが、強度評価値が低い場合は、距離はレーザレーダ、横位置の算出は、画像処理の結果を用いることで、より確実な横位置を算出することができる。
【００４６】
以上説明したように、本発明の参考例の前方車両追跡システムの構成は、図１に示したごとく、自車両１（図２）の進行方向前方をスキャニングするレーザデータ２と、レーザデータ２が出力した検出波を反射した反射点により前方車両を検出する車両発見部５と、レーザデータ２により計測した距離をも考慮し、反射点の強度分布型を作成する強度分布型作成部６と、強度分布をも利用しながら、前方車両の位置を計測する強度利用での車両追跡部７と、レーザデータ２による前方車両の追跡結果の確実性を評価するレーザデータ計測評価手段８と、自車両１の進行方向前方を撮像するカメラ３と、レーザデータ２により計測した距離をも考慮し、レーザデータ２により検出した位置に対応する画像上の位置に前方車両の追跡用テンプレートを作成する車両テンプレート作成部１０と、作成されたテンプレートから距離変化による大きさ変化を考慮し、テンプレートマッチングにより車両追跡を行う車両追跡処理部１１と、カメラ３の画像処理による前方車両の追跡信頼性を評価する画像処理追跡信頼性判定部１２と、レーザデータ２による追跡評価結果と、画像処理による追跡評価結果とを統合判定し、最終的な前方車両の自車両１に対する位置を算出する統合処理部１３とを有する。
【００４７】
なお、レーザデータ２が、特許請求の範囲の検出波出力手段に相当し、車両発見部５が車両発見手段に相当し、強度分布型作成部６が強度分布型作成手段に相当し、強度利用での車両追跡部７が強度利用での車両追跡手段に相当し、レーザデータ計測評価手段８が検出波出力手段計測評価手段に相当し、車両テンプレート作成部１０が車両テンプレート作成手段に相当し、車両追跡処理部１１が車両追跡処理手段に相当し、画像処理追跡信頼性判定部１２が画像処理追跡信頼性判定手段に相当し、統合処理部１３が統合処理手段に相当する。
【００４８】
また、本発明の参考例の前方車両追跡方法は、自車両１の進行方向前方をレーザデータ２によりスキャニングし、カメラ３により自車両１の進行方向前方を撮像し、レーザデータ２が出力した検出波を反射した反射点を検出し、反射点の自車両１に対する相対位置を測定し、反射点から前方車両を検出し、反射点の強度分布から前方車両の強度分布特性を示す強度分布型を作成し、カメラ３により撮像した画像を用いて、レーザデータ２により検出した位置に対応する画像上の位置に前方車両の追跡用テンプレートを作成し、レーザデータ２の強度分布マッチングと、画像処理におけるテンプレートマッチングの２つの手段で車両追跡を行い、追跡確実性の高い方の計測値により前記前方車両の位置を計測する。
【００４９】
このような構成により、発明の参考例では、自車両１に搭載され、進行方向前方の車両をスキャニングしながら検知計測するレーザレーダ２と、前方に存在する車両をテンプレートマッチングなどの物***置追跡手法により画像上における車両の位置を追跡、計測することの可能なカメラ３、および画像処理手段を備えた構成において、レーザレーダ２が車両を検出した場合、レーザレーダ２で計測できる車両の特徴を示す車両の強度分布自体の追跡と、画像処理におけるテンプレートマッチングの２つの手段で車両追跡を行い、追跡確実性の高い方の計測値により、車両の位置を計測することを特徴とする構成とした。これにより、カメラ３もしくはレーザレーダ２の片方が車両をロストした場合でも確実に車両を追跡することが可能となり、システム全体としてロバストで確実な計測を行うこと可能となる。また、２つのセンサとも計測ができている場合であっても、そのうち、追跡信頼性の高い方の計測結果を利用することで、より信頼性の高い計測結果とすることも可能となる。
【００５０】
実施の形態１
次に、本発明の実施の形態１について説明する。
本実施の形態２では、レーザレーダ２と画像処理のお互いの計測の利点を活かし、統合処理部１３において、距離や横位置が高精度に計測できる方を選択することで、システム全体としてより高精度なシステムとする。この高精度な計測の選択は、次のような方法で行えばよい。
【００５１】
図９(a)は、カメラ３の方がレーザレーダ２より広角な場合、図９(b)は、レーザレーダ２よりカメラ３の方が広角な場合の検知角を示す図である。
【００５２】
図９で、５１はレーザレーダ検知角、５２はカメラ検知角、５３はレーザレーダ２の方が高精度計測が可能な領域、５４は画像処理の方が高精度計測が可能な領域である。
【００５３】
まず、横方向の計測距離は、通常、横の分解能の細かい方（画像の場合は１画素に相当する角度、レーザレーダ２の場合は１つのスキャン角度）の細かい方を利用すればよい。ただし、検知可能な範囲が異なる場合が多いため、図９（ａ）に示すように、画像の方がレーザレーダ２より広角な場合と、画像しか撮像されない場合は、画像処理の結果を用い、逆の場合はレーザレーダ２の結果を用いればよい。
【００５４】
次に、距離の精度の高精度化について説明する。
図１０は、レーザレーダ２と画像処理それぞれにおける。計測原理の特徴から算出される。距離計測精度（距離計測の最小分解能）と計測距離の長さの関係を示すグラフである。
【００５５】
図１０で、５５はレーザレーダ２の計測距離分解能、５６は画像処理の計測距離分解能を示す。
【００５６】
レーザレーダ２の計測原理は送信波を送信してから受信するまでの時間差であり、この分解能光の波長によって決まるため、分解能は、距離に関係なく一定値である。（ただし、距離が近すぎる場合、受光波が強すぎる、先行車の形状によっては、反射する面が検知角に入らない、などの問題があり、計測精度が落ちる場合もある。）。一方、画像処理による距離計測、つまり、距離変化計測は、前記式２に示すように、画像上の大きさ変化により行い、例えば、検出物体の画像上の大きさｗｃの１画素のずれを計測最小分解能とすると、距離と分解能とは、式３の関係となる。
【００５７】
Δｚ＝ｗ・ｆ／ｗｃ−ｗ・ｆ／(ｗｃ±１)＝±ｚ／(ｗ・ｆ±ｚ) 式３
ただし、ｗは実際の車両の幅、ｚは車両までの距離、ｗｃは画像上の幅、ｆは焦点距離である。この分解能Δｚは距離ｚが長いほど大きくなる。つまり、画像処理による計測は距離が近くなるほど高精度で、遠ざかるほど粗くなると言える。例えば、距離が遠い車両は小さくなるが、画像上で車両の幅が２画素のものが１画素欠け、誤って１画素の幅となる場合、計測距離は半分の距離に計測されてしまうが、画像上で100画素の幅のものが101画素となっても、誤差は約１％（＝100／101）でしかなく、微小な誤差にしかならないことからも明らかである。
【００５８】
このようなことから、遠方はレーザレーダ２、近距離は画像による計測結果を選択することで高精度化が可能となり、その遠距離、近距離の切り分けは、例えば図１０のグラフの交わる距離とすればよい。
【００５９】
つまり、距離、横位置を総合すると、画像の方が広角な場合は、遠方の距離をレーザレーダ２の計測結果、レーザレーダ２の端や斜め前方および近距離は画像処理の結果を用い、レーザレーダ２の方が広角な場合は、近距離の計測は画像処理、それ以外はレーザレーダ２の距離、横位置の計測結果を用いればよい（図９（ａ）、（ｂ）参照）。
【００６０】
これにより、片方しか検知角の範囲内にない場合でのもう片方が検知できていれば車両の追跡が可能となり、かつ、高精度な距離計測結果を利用することで、全体として、ロバストで高精度な計測が可能となる。
【００６１】
以上説明したように、本実施の形態１の前方車両追跡システムは、予め定めた所定の距離以上の遠方ではレーザレーダ２のデータを用い、所定の距離より小さい近距離ではカメラ３のデータを用い、レーザレーダ２またはカメラ３のセンサのうち、検知角が小さい方の該検知角端で前方車両が検出される場合は、検知角が広い方のセンサのデータを用いる。
【００６２】
このような構成により、本実施の形態１では、前記参考例の確実性の判定については、互いの強度分布マッチングおよびテンプレートマッチングの相関値の評価だけでなく、互いのセンサの計測分解性能および計測精度を活かし、計測を確実とし、かつ、分解能の細かい計測が可能である。遠方ではレーザレーダ２、近距離では画像、画像またはレーザレーダ２で検知可能な角度が小さい方の検知角の端で検出される場合は、検知角度が広い方のセンサのデータとする構成とした。これにより、ロバスト性が増すだけでなく、高精度な計測結果を利用可能となることから、システム全体として、高精度な位置計測が可能となる。
【００６３】
実施の形態２
次に、本発明の実施の形態２について説明する。
本実施の形態２では、前述の実施の形態１において画像の方がレーザレーダ２より広角な場合におけるレーザレーダ２の結果の適用範囲を採用し、車両が近距離に存在する場合は、レーザレーダ２の検知角を実際より狭い幅に設定し、レーザレーダ検知角端で検出される車両の場合は、画像処理の結果を採用するようにする。
【００６４】
図1１は、その理由と検知角端の判定方法を説明する図で、（ａ）はレーザレーダ２の検知点、（ｂ）は検知角端のレーザレーダ２の検知点を示す図である。
【００６５】
図１１（ｂ）に示すように、車両がレーザレーダ２の検知角端で検出される場合、実際には車両の反射は検知角の外にあるにもかかわらず、検知角に沿うように検知点が残り、計測誤差のある検知点が観測されるという現象が起こりやすい。この場合、この点を用いて、車両の横位置、距離を計測すると誤差が現われやすい。本実施の形態２では、このような誤計測を回避するため、画像処理による計測精度のよい近距離に限り、画像処理によるテンプレートマッチングの追跡が、相関値がしきい値以上になる程度に正確に行われている場合では、レーザレーダ２の検知範囲に車両が存在する場合であってもレーザレーダ２の計測値ではなく、画像処理の計測結果を適用するようにする。
【００６６】
これにより、前述のような現象が原因で起こる誤計測を防ぐことができる。
【００６７】
以上説明したように、本実施の形態２の前方車両追跡システムは、レーザレーダ２の検知角の方がカメラ３の検知角より小さい場合、検知角端で前方車両が検出されるかどうかの判定は、レーザレーダ２による前方車両上の検知点の距離の値のばらつきが大きくなる傾向がある角度から判定するか、もしくは、検知点の距離の値のばらつきが大きくなる現象を観測したことから判定し、ばらつきが大きくなった場合、カメラ３のデータを用いる。
【００６８】
このような構成により、本実施の形態２では、前記実施の形態１の検知角端の判定において、レーザレーダ２の方が検知角度が小さい場合、検知角端の判定を、追跡車両上が検知角の端で検出された場合に、その計測のばらつきが大きくなる傾向がある角度から判定する。もしくは、その現象を観測したことから判定する構成とした。通常、レーザレーダ２の検知角の端は、距離の精度が悪くなることが多いため、距離および横位置を正しく求められなくなりやすいという問題がある。このような不安定さを考慮することで、誤差を含んだ計測結果の利用を排除できるため、より確実、かつ、高精度な車両位置の計測が可能となる。
【００６９】
実施の形態３
最後に、本発明の実施の形態３について説明する。
図１２に、正面に車両の全体が撮像される程度の距離に位置していた車両が徐々に近づき、斜め前方の車両の一部が画像の範囲外に出る程度の位置に近づいた様子を表す。（ａ）は外側テンプレートの場合を示し、（ｂ）は内側テンプレートも用意する場合を示す。６１は外側テンプレート、６２は内側テンプレートである。
【００７０】
このように、前方の車両が至近距離に近づく、または、左右方向に遠ざかる方向に移動すると、車両の一部が画角の範囲内からはみ出てしまう。このような場面では、図１２（ｂ）に示すように、車両全体の形状を含む外側テンプレート６１ではマッチングが不可能となり、正しい車両追跡ができなくなる。
【００７１】
ここでは、レーザレーダ２および画像処理からの追跡車両の移動軌跡がわかっていることから、あらかじめ追跡車両が画角の外に出る可能性の高い位置に移動することを予想し、画角からはみ出る部分以外の特徴をもつ車両の一部や内部にテンプレートを切り直し（内側テンプレート６２）、画角から出たと予想される場合では、その一部または内部のテンプレート（内側テンプレート６２）を利用したテンプレートマッチングを行うようにする。例えば、車両が毎回の処理ごとに１ｍずつ近づいてくることがわかれば、前記式１、２で説明した原理により、車両の大きさとその直前に検出された画像上の位置および車両がΔｔ秒間に移動可能な距離を考慮すれば、車両の端が画角から出てしまうまでにかかる時間をある程度予想できる。このような予測により、テンプレートを画角から出てしまう前に準備しておくことができる。
【００７２】
図１３は、内側テンプレートと左右一部のテンプレートの定義の様子を示す図で、（ａ）は車両が接近したとき、（ｂ）は車両が左側に移動しているときを示す。６３は定義したテンプレート、６４は車両内部追跡用テンプレート、６５は車両右側追跡用テンプレートである。
【００７３】
この一部または内部のテンプレートは、例えば、距離が非常に近づいた場合は、車両の左右両側が画角の外に出る可能性が大きいことから、車両の内部でテンプレートマッチングが可能なエッジやテクスチャ（模様、形状）を含むある部分に定義する（図１３（ａ））。また、左右どちらかに移動している場合のうち、左に移動する場合は車両の右側、右に移動する場合は車両の左側の画像内に撮像される可能性の高い部分に定義する（図１３（ｂ））。
【００７４】
また、図１４には、車両の内部や右側にテンプレートを定義した図と、そのテンプレート内に含まれる車両上の位置の実座標系上における対応位置との関係を示す。（ａ）は、車両の内部にテンプレートを定義した場合、（ｂ）、（ｃ）は車両の右側にテンプレートを定義した場合である。
【００７５】
７１は内側テンプレートの右側（横位置ｘＲ、距離ｚ）、７２は内側テンプレートの左側（横位置ｘＬ、距離ｚ）、ｘｌ、ｘｒは画素である。
【００７６】
通常、画像だけでの追跡でテンプレートを切り直し、例えば右側だけで追跡を行うように切り替えることを考えると、図１４（ｃ）に示すように画像内の追跡は可能であるが、その追跡結果が３次元上のどの距離、横位置に対応するかがわからなくなってしまう。例えば、図１４（ｃ）では、画像上のｘ’−ｘｌの距離が実座標系のどの距離に相当するかわからない場合、テンプレートを切り直すと、画像上の追跡はできても３次元座標系上での距離、横位置の追跡計測ができなくなる。そのため、画像処理単独でテンプレートを部分テンプレートに切り替えるなどの操作を行う場合、画像上の位置を求めることはできるが、その部分の３次元的な距離や位置が計測できなくなる。しかし、ここではレーザレーダ２により距離の計測ができているため、図１４（ａ）、（ｂ）に示すように、テンプレートを車両の内側や左右に切り直した場合でも、実際の車両の横位置、距離を切り直し前から継続して計測できる。
【００７７】
つまり、図１４（ｂ）では、レーザレーダ２での絶対距離の計測が可能であることから、内側テンプレートや右側テンプレートを定義した３次元上の位置も計算可能なため、テンプレートを切り直しても、距離、横位置の計測には支障がない。
【００７８】
このような原理により、レーザレーダ２と画像とを組み合わせることで、画像から車両の一部が出てしまうような位置に車両が存在する場合でも、精度よく車両追跡が可能となる。
【００７９】
さらに、左右に車両が移動する場合、通常、レーザレーダ２の方が検知角が狭いために、画像処理単独での計測となる場合もあるが、レーザレーダ２で計測ができているときからの距離変化をテンプレートの拡大縮小率から計測することで、距離の計測も可能となる。また、車両の左右のどちらか一部が画像内に撮像されていれば、右側または左側だけのテンプレートで追跡可能であることから、より一層の広角な範囲の追跡も可能となる。
【００８０】
また、画像処理による追跡において、内部のテンプレートとあらかじめ定義した外側テンプレートの両方が利用できる環境にある場合は、２種類のテンプレートを用いた追跡を行うことで、より正確な追跡とすることも可能となる。
【００８１】
以上説明したように、本実施の形態３の前方車両追跡システムは、テンプレートマッチングにおける車両追跡において、複数のテンプレートを用いる。そして、この複数のテンプレートは、特に車両に近づく場合は画像データに大小の関係を有し、一方が前方車両の全体、他方が前方車両の一部である。
【００８２】
また、本実施の形態３の前方車両追跡方法は、テンプレートマッチングにおける車両追跡において、画像データに大小の関係を有し、一方が前記前方車両の全体、他方が前記前方車両の一部である複数のテンプレートを用いる。
【００８３】
このような構成により、本実施の形態３では、前記参考例の画像処理でのテンプレートマッチングにおける車両追跡において、追跡車両が近づく場合、もしくは、追跡車両の一部が画角端に位置する場合、車両内部の特徴を利用したテンプレートに切り直してテンプレートマッチングを行う構成とした。通常、車両が近づいたり画角の端の方向に移動すると車両の一部が画角からはみ出る場合がある。このような場合でも、車両の内部の形状を追跡対象として切り替えることが可能となるため、正確に追跡することが可能となる。また、左右方向に車両が遠ざかる方向に移動する場合でも、車両の一部が画角に残っていれば計測が可能となることから、より広範囲の車両追跡も可能となる。
【００８４】
さらに、ここでは、レーザレーダ２により距離がわかっているため、あらかじめ車両がはみ出る程度に近づいたことを判定した上で、車両内部のテンプレートへの切り替えタイミングを決めることができる。また、画像処理単独でテンプレートを部分テンプレートに切り替えるなどの操作を行う場合、画像上の位置を求めることはできるが、テンプレートの位置を切り直すことでの実際の３次元的な距離および位置のずれに対応しないため、３次元上の動きの計測できなくなる。しかし、ここでは、距離がレーザレーダ２により常に計測できていることから、実車両のどの部分で定義したテンプレートとなるかも判定できるため、３次元的な距離、横位置の計測に悪影響を及ぼすことなくテンプレートの切り替えが可能となる。
【００８５】
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の参考例のシステム構成図
【図２】カメラの車両への搭載位置と座標系設定の説明図
【図３】レーザレーダの検知点の様子と車両検出時の強度分布の説明図
【図４】車両の距離変化ごとの強度分布形状
【図５】レーザレーダの強度分布を利用した車両位置計測の横位置の高精度化の説明図
【図６】レーザレーダの検出位置と画像上での撮像位置、大きさの関係の説明図
【図７】レーザレーダでの計測距離結果に基づいた拡大縮小を行うテンプレートマッチングの説明図
【図８】レーザレーダによる距離計測が行われない場合の拡大縮小しながらの参照テンプレートを用いたテンプレートマッチングの説明図と、拡大縮小率からの距離計測方法の説明図
【図９】レーザレーダとカメラの検知範囲、およびそれぞれの計測を高精度に行うことができる領域の説明図
【図１０】レーザレーダの計測と画像内の大きさ変化に基づいた距離計測の距離と距離計測分解能との関係を示すグラフ
【図１１】レーザレーダ検知角端に車両が位置する場合の検知点ばらつきの様子と計測誤差が起こる理由の説明図
【図１２】接近車両追跡における内側テンプレート利用によるテンプレートマッチングの説明図
【図１３】内側テンプレートと左右一部のテンプレート定義の様子を示す図
【図１４】テンプレートを内側または左右の一部に切り直した場合の画像上の位置と３次元上の位置関係の説明図
【符号の説明】
１…自車両、２…レーザレーダ、３…カメラ、４…レーザレーダデータメモリ、５…車両発見部、６…強度分布型作成部、７…強度利用での車両追跡部、８…レーザレーダ計測評価部、９…画像メモリ、１０…車両テンプレート作成部、１１…車両追跡処理部、１２…画像処理追跡信頼性判定部、１３…統合処理部、１４…カメラの光軸、１５…レーザレーダのスキャニング面、１６…カメラの光軸およびレーザレーダの中心軸、２０Ａ、２０Ｂ…他の車両、２１…路上反射物、３１…カメラレンズ、３２…実際の車両の中心、３３…撮像面、４１…参照テンプレート作成時の画像、４２…入力画像、４３…走査範囲、５１…レーザレーダ検知角、５２…カメラ検知角、５３…レーザレーダの方が高精度計測が可能な領域、５４…画像処理の方が高精度計測が可能な領域、５５…レーザレーダの計測距離分解能、５６…画像処理の計測距離分解能、６１…外側テンプレート、６２…内側テンプレート、６３…定義したテンプレート、６４…車両内部追跡用テンプレート、６５…車両右側追跡用テンプレート、７１…内側テンプレートの右側、７２…内側テンプレートの左側。

Claims

自車両の進行方向前方をスキャニングする検出波出力手段と、
前記検出波出力手段が出力した検出波を反射した反射点により前方車両を検出する車両発見手段と、
前記検出波出力手段により計測した距離をも考慮し、前記反射点の強度分布型を作成する強度分布型作成手段と、
前記強度分布をも利用しながら、前記前方車両の位置を計測する強度利用での車両追跡手段と、
前記検出波出力手段による前記前方車両の追跡結果の確実性を評価する検出波出力手段計測評価手段と、
前記自車両の進行方向前方を撮像するカメラと、
前記検出波出力手段により計測した距離をも考慮し、前記検出波出力手段により検出した位置に対応する画像上の位置に前記前方車両の追跡用テンプレートを作成する車両テンプレート作成手段と、
作成された前記テンプレートから距離変化による大きさ変化を考慮し、テンプレートマッチングにより車両追跡を行う車両追跡処理手段と、
前記カメラの画像処理による前記前方車両の追跡信頼性を評価する画像処理追跡信頼性判定手段と、
前記検出波出力手段による追跡評価結果と、前記画像処理による追跡評価結果とを統合判定し、最終的な前記前方車両の前記自車両に対する位置を算出する統合処理手段と
を有し、
前記検出波出力手段または前記カメラのセンサのうち、検知角が小さい方の該検知角端で前記前方車両が検出される場合は、検知角が広い方の前記センサのデータを用いることを特徴とする前方車両追跡システム。
予め定めた所定の距離以上の遠方では前記検出波出力手段のデータを用い、所定の距離より小さい近距離では前記カメラのデータを用いることを特徴とする請求項１記載の前方車両追跡システム。
前記検出波出力手段の検知角の方が前記カメラの検知角より小さい場合、
前記検知角端で前記前方車両が検出されるかどうかの判定は、前記検出波出力手段による前記前方車両上の検知点の距離の値のばらつきが大きくなる傾向がある角度から判定するか、もしくは、検知点の距離の値のばらつきが大きくなる現象を観測したことから判定し、
前記ばらつきが大きくなった場合、前記カメラのデータを用いることを特徴とする請求項１記載の前方車両追跡システム。
前記テンプレートマッチングにおける車両追跡において、複数のテンプレートを用いることを特徴とする請求項１記載の前方車両追跡システム。
前記複数のテンプレートは、画像データに大小の関係を有し、一方が前記前方車両の全体、他方が前記前方車両の一部であることを特徴とする請求項４記載の前方車両追跡システム。
前記検出波出力手段による距離が計測できない場合、画像の走査範囲内を所定の画素数ずつずらしながら、前回計測した距離からの微小距離変化Δｚ分の距離変化の拡大縮小を施したテンプレートマッチングを用いることを特徴とする請求項１記載の前方車両追跡システム。
自車両の進行方向前方を検出波出力手段によりスキャニングし、
電子式のカメラにより前記自車両の進行方向前方を撮像し、
前記検出波出力手段が出力した検出波を反射した反射点を検出し、
前記反射点の前記自車両に対する相対位置を測定し、前記反射点から前方車両を検出し、
前記反射点の強度分布から前記前方車両の強度分布特性を示す強度分布型を作成し、
前記カメラにより撮像した画像を用いて、前記検出波出力手段により検出した位置に対応する画像上の位置に前記前方車両の追跡用テンプレートを作成し、
前記検出波出力手段の強度分布マッチングと、画像処理におけるテンプレートマッチングの２つの手段で前記前方車両の追跡を行い、追跡確実性の高い方の計測値により前記前方車両の位置を計測し、
前記検出波出力手段または前記カメラのセンサのうち、検知角が小さい方の該検知角端で前記前方車両が検出される場合は、検知角が広い方の前記センサのデータを用いることを特徴とする前方車両追跡方法。
前記テンプレートマッチングにおける車両追跡において、画像データに大小の関係を有し、一方が前記前方車両の全体、他方が前記前方車両の一部である複数のテンプレートを用いることを特徴とすることを特徴とする請求項７記載の前方車両追跡方法。