JP4246766B2 - 車両から対象物を位置測定して追跡する方法および装置 - Google Patents

Description

本発明は，車両から対象物を位置測定して追跡する方法および装置に係り，特に位置測定システムとビデオ画像システムとを含む対象物を位置測定して追跡する方法および装置に関する。

車両においては，運転者の運転機能（認知，判断，操作）を車両側で実現することにより運転者を支援する電子的な運転支援システムの導入が進展している。運転支援システムの一例としてＡＣＣ（Adaptive Cruise Control）システムが挙げられるが，ＡＣＣシステムを用いることにより，車両の走行速度を運転者の所望の速度に自動的に制御する，あるいは先行車両との車間距離を適切に制御することが可能となる。運転支援システムの他の例として衝突回避・緩和（Crush Mitigation）システムが挙げられるが，衝突回避・緩和システムを用いることにより，衝突を事前に回避，あるいは衝突による衝撃を緩和するために，運転者に対する警告，および／またはブレーキ制御および／またはステアリング制御への介入が可能となる。運転支援システムは，車両周辺の対象物（先行車両等の障害物）に関する信頼性の高い情報，特に先行車両の位置，運動，および空間分布に関する情報を必要とする。従来のＡＣＣシステムにおいては，対象物の位置測定のためにレーダまたはリーダ等の測距システムが用いられている。測距システムは，対象物との距離および相対速度を正確に測定しうるが，角度精度が限定されるため対象物の横位置（物標端）および空間分布に関する情報の提供には不向きである。他の位置測定システムの一例としては，ビデオカメラと画像認識処理装置とを備えた画像認識システムが挙げられる。画像認識システムは，対象物の横位置および空間分布に関する情報の提供に適するが，複雑な画像認識処理を要する。また，単眼視による画像認識処理では対象物との距離を直接測定できず，複雑な複眼視による画像認識処理では近傍領域においてのみ対象物との距離を高い精度で測定できる。

各々のシステムの特徴に基づいて，測距システムと画像認識システムとからなる複合システムが提案されている。例えば，Hofman，RiederおよびDickmanns共著の「高速道路用の複合型ＡＣＣのためのレーダと画像データの融合」（”Fusion of Radar and Vision Data for Hybrid Adaptive Cruise Control on Highways” von Hofman， Rieder und Dickmanns, Institut fuer Systemdynamik und Flugmechanik,Universitaet der Bundeswehr, Muenchen, in B. Schiele und G. Sagerer (Herausgeber): ICVS 2001, LNCS 2095, p.125-138， Springer Verlag Berlin/Heidelberg 2001）においては，対象物の最初の位置測定にレーダシステムを用いて，以降の追跡（tracking）に主に画像認識システムを用いる複合型ＡＣＣシステムが提案されている。同システムにおいては，運動推定に関する情報が画像認識処理により得られ，対象物の追跡に利用される。

Frank
DellaertとC.Thorpe共著の「カルマンフィルタリングとベイジアンテンプレートを用いた着実な車両追跡」（”Robust car tracking using Kalman filtering and Bayesian templates”, Frank Dellaert und C. Thorpe, Department of Computer Science and the Roboting Institute, Mellon University, Pitsburgh, USA）においては，カルマンフィルタを用いた単眼視のビデオ画像による車両追跡手法が提案されている。追跡される対象物（先行車両）は，車両後部の輪郭に概ね相当する略矩形の領域により表される。対象物は，ビデオ画像からフィルタ処理（エッジ抽出）により抽出されたエッジ画像上で識別されるが，画像上の画素はグレイ値ではなくグレイ値勾配，すなわち隣接画素間の明／暗の差を表す。新たな対象物の領域を識別するためには，エッジ画像内で水平および垂直の輪郭線が抽出され，各々２本からなる水平および垂直の輪郭線の可能な組合せから対象物の領域が識別される。その後，車両後部の輪郭に相当する領域が，蓋然性評価により識別される。

発明の利点

独立請求項に記載の本発明によれば，計算処理の簡略化によって，リアルタイムで正確に対象物の位置測定および追跡を行うことができる。

本発明に基づく対象物を位置測定して追跡する方法においては，まず，他の位置測定システム，例えばレーダシステムにより概ね位置測定された対象物が，二次元のビデオ画像として捉えられ，画像内で探索されるべき探索領域が定められる。レーダシステムから得られる角度情報は，探索領域を特定するための少なくとも１つの概略の位置情報を与える。また，探索領域の大きさは，レーダシステムから得られる対象物との距離情報に応じて選択されうる。

そして，探索領域全体が対象物の所定の画像特徴を求めて系統的に探索される。画像特徴とは，一般にビデオ画像またはビデオ画像から抽出される画像，例えばエッジ画像内で識別される所定の対象物の構造的な特徴である。画像特徴の例は，例えば乗用車両またはトラック車両の後部の典型的な略矩形状の輪郭である。画像特徴の他の例は，反射の大きい対象物でも車両の下方の路面上に現れる特徴的な影，あるいは車両の中心軸を対称軸とする構造上の特徴的な対称性である。探索領域全体を系統的に探索する場合には，所定の基本形状を有するマスクが探索領域内で移動され，探索領域内のマスクの各位置において画像特徴とマスクとの照合が確認され，すなわち，探索される画像特徴がマスク内でどの程度識別されるかが調べられる。そして，画像特徴とマスクとの照合が最適となる位置が，ビデオ画像内における対象物の概略の位置を与える。

マスクの所定の基本形状は，対象物種別毎の構造的な特徴に適合する。例えば，乗用車両を探索するためのマスクは，矩形のフレーム形状（領域）を有し，その縦横比が乗用車両の高さと幅の典型的な比に相当する。トラック車両を探索するためのマスクは，同様に，他の縦横比を有する。「所定の」という表現は，マスクの形状ではなく，その絶対的な大きさを意味する。よって，本発明の範囲において，マスクは，レーダシステムから得られる対象物との距離情報に応じて，画面上における対象物の領域の大きさに適合するように拡大縮小されうる。探索のためのマスクは，マスクと画像特徴とが完全に照合しなくても，ある程度の照合が確認されるアンシャープなものである。

上記の手順によりマスクの最初の位置と対象物の横位置とを示す情報が得られると（初期化），次の手順においては，マスクと画像特徴との照合を確認するために探索密度がより細かくされる。このため，高い空間解像度を有するビデオ動画像の一連の画像（フレーム）内において，マスク内における画像特徴の空間分布が確認される。一連のビデオ画像内において識別される画像特徴の空間分布が蓄積され，例えば加算または積分されるため，探索する動画像が増加するほど画像特徴がより明瞭かつ鮮明に現れて信号／ノイズ比が改良される。この場合，ビデオ画像内における画像特徴の位置が対象物の移動に応じてずれる可能性がある。よって，画像特徴がマスクにより適当な間隔で追跡され，すなわち画像特徴との間の照合が維持されるようにマスクが移動される。対象物を比較的長時間にわたり追跡する場合には，アンシャープなマスクの拡大縮小を間隔の変化に適合させることも必要となる。

他の手順においては，マスクの形状が基本形状から変化されて，蓄積された画像特徴の空間分布に適合される。例えば，探索される画像特徴が乗用車両の輪郭を有しており，マスクとして乗用車両の領域に相当する矩形のフレームが適用される場合には，フレームの幅は，車両の左端を表す画像特徴の分布状況の最大値を示す位置がマスクの左のフレーム辺の幅の中心に一致し，かつ車両の右端を表す画像特徴の分布状況の最大値を示す位置がマスクの右のフレーム辺の幅の中心に一致するように適合される。同様に，マスクの高さも選択的に適合されうる。上記のとおり，マスクの形状と位置が探索すべき画像特徴に最適に適合されるため，例えば車両輪郭に特徴を有する場合，実際の領域と同一のマスクが得られる。その後，対象物の横の位置および幅と，選択的には高さも，ビデオ画像におけるマスクの位置から著しく高い精度で特定される。

対象物をさらに追跡する場合には，対象物の移動に応じて形状を適合されたマスクにより追跡される。この場合には，照合すべき画素数を減少させることにより計算処理と計算時間が短縮されるために，マスクのアンシャープさが減少される。

本発明によれば，初期化，すなわち対象物の最初の位置測定は，レーダシステムからの位置情報のみならず，探索すべき対象物種別に適合された基本形状のマスクを用いることにより，探索すべき対象物についての事前情報が得られるため，簡略化されて効率化されうる。この場合，基本形状のマスクは，対象物との距離情報に基づいて適切に拡大縮小されることが望ましい。

実際上においては，探索は，少なくとも複数の対象物種別，例えば乗用車両，トラック車両および場合によっては二輪車，またはガードレール，道路標識等の道路端の静止目標にも適用される。複数の対象物種別を探索する場合には，初期化において，対象物種別毎に１つの複数のマスクにより，探索領域全体が系統的に探索される。この場合，探索は，出現確率の高い対象物種別（通常は乗用車両）用のマスクを用いて開始されることが望ましい。このマスクを用いた探索により所定の最小限の照合が確認されない場合には，対象物種別の最初の想定が覆されて，他の対象物種別のためのマスクを用いた探索が繰り返される。

また，本発明によれば，所定の期間にわたる画像特徴の蓄積により，対象物の位置と空間分布を特定するためのより正確な基準が得られる。

初期化の場合およびマスクを追跡する場合にも，マスクと画像特徴との照合が計算されて最適化されるため，照合の精度を適切に規格化することにより，位置測定結果の信頼性を表す品質パラメータとして用いられる。

実施例の説明

図１には，車両搭載のビデオカメラから撮像される車両前方のビデオ画像１０−１が矩形のフレームとして示される。図１のビデオ画像１０−１は，車両前方を走行する先行車両１２，１４を捉えている。車両１２は，車両１４より先行しており，遠近法のために小さく見える。

ビデオ画像１０−１は，通常のグレイ値画像ではなく，対象物の輪郭を表すエッジ画像であり，例えば３ｘ３−ゾーベル（Sobel）フィルタ処理により得られる。エッジ画像内の黒色画素は，ビデオ画像においてグレイ値勾配が大きい，すなわち明／暗の差が大きい位置を表す。エッジ画像内の画素値は，複数の値をもつことができ，原理的には，各画素の位置におけるグレイ値勾配の絶対値と方向性を表す勾配ベクトルに対応づけられる。図１の例における各画素は，グレイ値勾配の絶対値のみを表すが，グレイ値勾配のｘ成分またはｙ成分のみを選択的に表しうる。

車両１４については，車両後部の輪郭以外に車両の左下方に伸びる影１６の輪郭が認められ，さらにテールランプ１８とナンバープレート２０の輪郭も確認される。

本発明に係るＡＣＣシステムを搭載する車両は，ビデオカメラを備えた画像認識システムとともに，所定の角度幅でレーダを走査するレーダシステムを搭載し，車両前方を測定する。レーダシステムは，車両１２，１４の横位置（ｘ位置）を所定の角度精度で測定する。図１の例において，レーダシステムは，車両１４のダンパーの左端からの反射波を主に検知する。レーダシステムは，反射波の入射角度と車両１４との距離に関する情報より車両位置２２を算出して，ビデオ画像１０−１内に「Ｘ」マークとして投影する。図１に示すとおり，算出された車両位置２２は，相当の誤差を含む。しかし，ビデオ画像１０−１の画像認識により，車両の横位置（ｘ位置），幅，および高さをより高い精度で測定しうる。精度の高い測定情報とともに，レーダシステムから得られる距離情報により，三次元のグローバル座標上における車両１４の正確な位置と空間分布が得られる。

図１の例において，車両１４は，直前に右側から走行車線に進入してきたものと想定する。レーダシステムは，検知範囲（走査角度）が限定されているため，画像認識システムより遅れて車両１４を認識する。図１は，車両１４が初めてレーダシステムにより位置測定された時点を示す。これにより，画像認識システムは，新たに位置測定された車両１４の探索を開始する。これと同時に，ビデオ画像１０−１内には，レーダシステムにより位置測定された車両１４の車両位置２２にセンタリングされた探索領域（search field）２４が設定される。探索領域２４は矩形であり，大きさと縦横比が認識された対象物に適合されうる。さらに，距離および／または角度に応じて，測定位置に対する探索領域の移動を調整しうる。

レーダで捉えられた対象物（車両１４）は，その実態が未だ不明であるため，まず，最も出現確率の高い乗用車両であると想定される。ビデオ画像内で乗用車両を識別するためには，探索領域２４全体がアンシャープなマスク２６を用いて系統的に探索される。マスク２６は，乗用車両の高さと幅の典型的な比に相当する縦横比の矩形フレームの形状を有する。フレーム辺（図１の斜線部）は，ある程度の幅を有するため，左右の辺のｘ位置と上下の辺のｙ位置も，ある程度の不確定性を有する。

マスク２６は，車両１４との距離から想定される輪郭線２８の大きさに適合するように拡大縮小される。輪郭線２８は，適切な照合判定基準を用いてマスク２６により探索されるべき画像特徴を表す。すなわち，マスク２６が探索領域２４内の行列方向に移動されることにより，探索領域２４全体がマスク２６を用いて系統的に探索される。マスク２６のｘ方向およびｙ方向の移動間隔は，一定値，あるいはマスク２６内，すなわち斜線を施された領域の内部で識別される画像パターンに依存する。マスク２６の移動に応じて，マスク２６内のエッジ画像の画素値（グレイ値勾配）が累加され，これは，数学的にみれば，マスク２６によるエッジ画像の畳み込みに相当する。これにより，輪郭線２８とマスク２６との最適な照合位置，すなわちマスク内のグレイ値勾配の合計値が最大になる位置が探索され，図１に破線（符号２６’）として示される。車両１４の輪郭線２８全体がマスク２６の内部にある場合，マスク２６が多少移動してもグレイ値勾配の合計値は変化しない。すなわち，輪郭線２８とマスク２６との最適な照合位置は，輪郭線２８とマスク２６のフレーム辺の幅の中心とのずれが最小化されることにより特定される。

他の車両１２は，すでにレーダシステムにより位置測定されており，車両１４と同様な方法により正確な位置が得られている。車両１４の探索が車両１２の領域により妨げられないようにするためには，探索領域２４内における車両１２の領域を探索期間にわたりフェードアウトさせることが効果的である。

ビデオカメラからは，４０ｍｓサイクルで新たなビデオ画像が入力される。上記の探索処理は，理想的な状況においては同一サイクル内で終了されうるが，特に車両が近接している，すなわち大きく表示されている状況においては複数サイクルにわたり延長されうる。

図２は，図１に示すビデオ画像１０−１に後続するビデオ画像１０−２を示す。車両１４は，左に移動し，かつ近接しているため，より大きく表示される。しかし，画像１０−１と画像１０−２との間における車両１４の移動距離が僅かであるため，画像１０−２内の探索領域は，最初の位置測定と比べて縮小され図１の位置２６’の著しく近傍に限定されうる。図２の探索においては，必要に応じて，マスク２６が車両１４との距離の変化に応じて新たに拡大縮小され，探索領域が最初の位置測定の場合と比べて縮小されたことを除いては，上記と同様の探索処理によりマスク２６”の位置が特定される。上記の手順により，車両１４の移動後のマスク２６の位置が後続の画像上において追跡される。ここで，車両１４の移動後の位置測定に要する時間は，図１の最初の位置測定，いわゆる初期化に要する時間よりも短く，初期化の終了後は，リアルタイムの位置測定が可能となる。

マスク２６による追跡は，他のシステムの情報，特にレーダシステムから得られる位置情報を利用することにより簡略化されて効率化されうる。ここで，レーダ情報と画像情報の効率的な融合の技術例は，本出願の発明者により同時に出願される特許文献「車両の運転支援システムにおける対象物測定方法および装置」に詳述される。

以降の手順においては，図３に示すとおり車両１４の輪郭線２８の正確な位置，形状および大きさが特定される。

図３は，車両１４のエッジ画像，特に車両１４の輪郭線２８を適切に追跡したマスク２６を示す。マスク２６の輪郭線２８の左端の境界は，マスク２６の左のフレーム辺内における各画素列３０上のグレイ値勾配が累加されることにより，さらに正確に特定されうる。図３の例では，画素列３０と影１６との交差点の２箇所のみで，“０”以外のグレイ値勾配が検出される。各ｘ位置におけるグレイ値勾配の累積値がヒストグラム３２−１として記録されるが，この記録操作がマスク２６の左のフレーム辺内の各画素列に対して繰り返される。よって，最終的に得られるヒストグラム３２は左のフレーム辺内におけるグレイ値勾配の頻度分布を示し，頻度分布が最大値（図３中の太い破線）を示す位置がかなりの確度で車両１４の左端の境界を示すものと推定される。図３には示されていないが，同様にして対象物１４の右端，ならびに上端および下端の境界も推定される。

しかし，グレイ値勾配画像が多少のノイズを含むため，車両１４の推定された境界は，相当の誤差を含んでいる。ノイズの影響を解消するために，上記の手順が後続のビデオ画像についても繰り返されることにより，ヒストグラム３２−２，３２−３が順次記録される。必要であれば，後続のヒストグラムが記録される間，マスク２６により車両１４が比較的長い時間間隔で追跡されることが望ましい。同様に，必要であれば，マスク２６は，さらに長い時間間隔で新たに拡大縮小されることが望ましく，この場合にはヒストグラム３２−１も同様に拡大縮小される。

上記のとおり，比較的長い時間にわたり記録されたヒストグラム３２−１，…（例えば連続する５〜６のヒストグラム）が蓄積されて一般化されることにより，ノイズにより歪曲されていないヒストグラム３２が得られる。蓄積（合成処理）は，フェーディングメモリ理論に基づいて連続的に行われることが望ましい。すなわち，ヒストグラムの合成処理においては，新しいヒストグラムほど重みづけがなされるため，古いヒストグラムの影響が次第に少なくなる。合成処理は，例えば以下の式１により行われる。

式１において，Ｈ（ｘ）_ｎｅｗが最新のビデオ画像のヒストグラム，すなわち最新のビデオ画像の画素列３０におけるグレイ値勾配の合計値，Ｈ（ｘ）_ｎが合成された古いヒストグラム，Ｈ（ｘ）_ｎ＋１が合成された新しいヒストグラム，ｋが０〜１の値に設定されるフェーディング係数である。

上記の手順は，さらに以下のとおり一般化される。画像特徴，すなわちグレイ値勾配画像の輪郭線２８は，マスク２６内で検出されるグレイ値勾配により識別される。初期化の後には，画像特徴とアンシャープなマスク２６との照合がより高い空間解像度で確認される（例えば，輪郭線２８の左端および右端の画素列３０，同様に上端および下端の画素行において合計されることにより）。これにより，高い空間解像度で記録された画像特徴が，複数のビデオ画像において蓄積されるため，アンシャープなマスク２６に対する画像特徴（輪郭線２８）の正確な位置情報が得られる。すなわち，例えば，車両１４の正確な幅Ｄは，ｘ方向で記録されたヒストグラム３２上の最大値を示す位置と，マスク２６の右のフレーム辺に対応するヒストグラム３４上の最大値を示す位置との間隔Ｄとして得られる。

図３に示すとおり，間隔Ｄは，マスク２６の左と右のフレーム辺の幅の中心の間隔Ｄ’より小さい。よって，最初に適用された乗用車両用の基本形状マスクは，実際の車両１４より少し大きく誤差を含むため，車両１４の正確な形状を再現しえない。この誤差は，ヒストグラム３２と３４が十分な精度で記録されれば，マスクの幅（間隔Ｄ’）が間隔Ｄに適合され，同様にしてマスクの高さも適合される。よって，後続のビデオ画像，例えば図４のビデオ画像１０−３のために新たなマスク３６が適用されるが，新たなマスク３６は実際の車両１４の形状に適合されているため，車両１４の略矩形の領域３８に適合する。ビデオ画像１０−３内のマスク３６の位置，より正確には，マスク３６の下のフレーム辺の中心点４０のｘ座標とｙ座標は，二次元のビデオ画像における車両の位置，特に横位置を特定するための正確な基準を与える。この位置情報と，レーダシステムから得られる距離情報とを用いて，例えば中心点４０をグローバル座標に対して遠近法で投影することにより，三次元のグローバル座標システム内における車両１４の位置が正確に特定される。

さらに，マスク３６の幅と高さからは，車両１４の幅と高さについての正確な情報を得ることができる。この情報により，例えば，車両１４が一時的に他の車両により隠蔽される状況においても，車両１４の追跡と再認識が容易となる。車両の幅についての情報は，衝突回避・緩和システムにおいて，衝突を回避するための走行路を計算するためにも有用である。車両の高さについての情報は，車両種別をより詳しく識別することにより，エアバッグの動作を衝突車両の大きさに適合させるためにも用いられる。さらに，一般的に，位置測定された対象物を重要な障害物として検証することは，対象物の寸法形状を正確に把握することにより，著しく容易になるとともに改良されうる。

また，マスク３６を車両１４の幾何学配置により良く適合させることにより，マスク３６のアンシャープの程度，すなわちフレーム辺の幅を減少させうる。これにより，車両の継続的な追跡に際して，図３を用いて説明された手順の計算作業が著しく簡略化されうる。

車両１４を継続的に追跡する場合には，マスク３６が連続的に適合されるが，この場合には，例えば車両の形状が大きく変化しないという蓋然性の判定基準も考慮されうる。

応用例としては，マスク３６により特定された画像領域をビデオ画像から抽出することにより，フレームのみならず画像領域全体をより高精度な照合判定基準用のマスク（テンプレート）として用いることも考えられる。

位置測定方法の高い信頼性に基づくことにより，車両１４が一時的にレーダシステムの検知範囲から逸脱した場合，あるいは他の理由でレーダ信号が失われた場合においても，さらに車両の追跡を継続しうる。

図３に示すヒストグラム３２，３４は，さらに，対象物の位置測定精度，すなわち実際の車両の輪郭とマスク２６または３６との照合の精度を示す基準を与える。車両１４の後部の輪郭が正確な矩形形状を有する理想的な状況においては，ヒストグラム３２，３４の合計値が理論上可能となる最大値を与える。これにより，実際に得られた合計値と理論上の最大値との比は，対象物の輪郭とマスクとの照合の精度を示す０〜１の値で表される品質係数Ｇを与える。よって，品質係数Ｇを用いて評価することにより，位置測定された対象物の横位置と幅に関する情報についての信頼性を推定しうる。

初期化に用いられるマスクの基本形状は，多様な方法により所望の対象物種別に適合させうる。例えば，図５はトラック車両用のマスク４２の基本形状を示し，図６は典型的な乗用車両の輪郭に適合されたマスク４６の基本形状を示す。同様に，二輪車用，交通標識板用等のマスクも考えられる。さらに，正確なマスクは，手動で設定される多様な対象物の外見に基づいて学習法（例えば，Self Organizing Feature Maps）または統計手法（例えば，Principal Component Analysis）等により形成される。

暗がりまたは劣悪な視界条件で走行する場合には，乗用車両またはトラック車両のテールランプの特徴的なパターン，あるいはテールランプと照明されたナンバープレートとからなる特徴的なパターンに適合されたマスクが用いられる。この場合，例えば乗用車両用としては，「輪郭線２８」で特徴付けられるマスク２６または４６，あるいは「テールライト」で特徴付けられるマスクが視界条件に応じて用いられる。ここで，マスクの切替えは，例えば環境光センサを用いて，あるいは霧のために「輪郭線」の特徴による初期化が困難な場合に自動的に行いうる。

画像認識処理に際しては，グレイ値画像またはエッジ画像により識別される，車両の下方の影と，車両の輪郭に特徴的な左右対称性も識別の対象として考慮されうる。エッジ画像による識別は，グレイ値勾配の絶対値のみならず方向性も識別対象として考慮することにより精度が向上されうる。このためには，例えば車両の左右の車輪を対象として逆方向の勾配を探索するマスクが用いられる。

図７は，車両からの対象物を位置測定して追跡するための装置の一般的な構成を示す。位置測定システムとしては，ビデオカメラ４８と，レーダシステム５０，例えば所定の角度幅でレーダを走査するＦＭＣＷ（Frequency-Modulated Continuous Waves）方式のレーダとが設けられる。レーダシステム５０から得られる位置測定信号は，先行車両との車間距離を制御するためにＡＣＣモジュール５２内で利用される。この構成部品からなるシステムは，劣悪な視界条件の場合，または誤動作によりビデオカメラ４８からの画像が入力されない場合にも機能しうる。正常な視界条件においては，ビデオカメラ４８により記録されたビデオ画像が画像認識モジュール５４に伝達される。画像認識モジュール５４は，マイクロプロセッサまたは他の電子的な情報処理システムにより構成され，レーダシステム５０からの位置測定信号も入力される。これにより，画像認識の結果に基づいて位置測定された対象物の位置と寸法は，補足信号としてＡＣＣモジュールに出力される。

図８は，画像認識モジュール５４の作業手順のフローを示す。監視モジュール５６は，ステップＳ１においてレーダシステム５０の位置測定信号を用いて，所定の時間間隔で新たな対象物の検出の有無を確認する。新たな対象物が検出されると，ステップＳ２において追跡処理Ｔが開始される。追跡処理Ｔは，ステップＳ１０から開始され，レーダシステムからの位置情報により探索領域２４を定める。そして，ステップＳ１１において，種々の対象物種別のための基本形状マスク，例えば乗用車両用のマスク２６とトラック車両用のマスク４２が，対象物との測定距離に応じて拡大縮小され，これらのマスクを用いて探索領域２４全体が系統的に探索される。マスク２６により十分な照合が認められない場合，すなわちマスクによるエッジ画像の畳み込みの結果が探索領域内のいかなる領域においても所定の最小値に達しない場合には，トラック車両用のマスク４２による探索が繰り返される。レーダシステム５０が，同一の車間距離および相対速度を有し，よって同一の対象物と想定される複数の信号を受信する場合には，対象物の角度分布を用いることにより，対象物がトラック車両であると推定される。この場合，同様にトラック車両用のマスク４２により探索を開始しうる。全ての対象物種別のためのマスクにより探索した結果，有効な照合の認められるマスクが見出されない場合（ステップＳ１２）には，レーダシステムにより検出された情報は，例えば走行路端における車両以外のレーダ目標物等を示すものとみなされ，対象物と想定された情報が棄却される（ステップＳ１３）。

ステップＳ１２において有効なマスクが見出された場合には，初期化処理が終了されて，ステップＳ１４において本来の追跡処理，すなわち先行車両の移動に応じたマスクによる追跡が開始され，追跡処理の過程において画像特徴が図３に示すとおり蓄積される。そして，ステップＳ１５において蓄積された画像特徴（ヒストグラム３２，３４）にマスクが適合されて，マスク２６がマスク３６に移行される。さらに，ステップＳ１６において先行車両の幅および高さと品質係数Ｇとが算出されて，処理手順がステップＳ１４に復帰し，対象物が追跡不能となるまでステップＳ１４，Ｓ１５およびＳ１６からなる繰返し処理が実行される。

本発明に係る車両搭載のビデオカメラから撮像される車両前方のビデオ画像の例を示す。 図１に示すビデオ画像に後続する一連のビデオ画像を示す。 車両のエッジ画像，特に車両の輪郭線に適切に追跡されたマスクを示す。 ビデオ画像のために新たに適合されたマスクを示す。 異なる対象物（トラック車両）用マスクの基本形状の例を示す。 異なる対象物（乗用車両）用マスクの基本形状の例を示す。 本発明に係る対象物の位置認識装置の一般的な構成を示す。 画像認識モジュールの作業手順のフローを示す。

符号の説明

１０ ビデオ画像
１２，１４ 対象物（車両）
１６ 影
１８ テールランプ
２０ ナンバープレート
２２ 車両位置
２６，３６ マスク
２８，３８ 画像特徴
３０ 画素列
３２，３４ ヒストグラム
４０ 下のフレーム辺
４２ 対象物（トラック車両）用のマスクの基本形状
４６ 対象物（乗用車車両）用のマスクの基本形状
４８ ビデオカメラ
５０ レーダシステム
５２ ＡＣＣモジュール
５４ 画像認識モジュール
５６ 監視モジュール

Claims (9)

1. ビデオ動画像を電子的に評価することにより車両から対象物（１４）を位置測定して追跡する方法であって，
   ａ）他の位置測定システム（５０）から得られる位置測定情報に基づいてビデオ画像（１０−１）内の探索領域（２４）を定めるステップと；
   ｂ）前記対象物（１４）の少なくとも一部の輪郭形状を表す画像特徴（２８）と，前記画像特徴に対応する所定のフレーム形状を有し，フレーム辺がアンシャープさに相当する幅を有するアンシャープなマスク（２６）との最適な照合を探索するために，前記探索領域（２４）全体で前記マスクを系統的に移動させるステップと；
   ｃ）前記ビデオ画像の後続のビデオ画像（１０−２，１０−３）内において，前記対象物（１４）の移動に応じて前記マスク（２６）を追跡し，一連の前記ビデオ画像内において高い空間解像度で識別される前記画像特徴（２８，３２，３４）を蓄積するステップと；
   ｄ）蓄積された前記画像特徴と前記マスク（２６，３６）との照合を最適化するように前記マスクの形状を適合させるステップと；
   ｅ）適合された前記マスク（３６）を用いてステップ（ｃ）を繰り返すステップと；
   を含むことを特徴とする，対象物を位置測定して追跡する方法。
2. ステップｂ）において，前記マスク（２６）は，前記他の位置測定システム（５０）から得られる前記対象物（１４）との距離情報に応じて拡大縮小されることを特徴とする，請求項１に記載の対象物を位置測定して追跡する方法。
3. ステップｂ）は，複数の前記マスク（２６，４２）を用いて継続的に実行され，前記画像特徴（２８）と前記マスクとの間で所定の最小限の照合が確認された場合にのみ，ステップｃ）に移行されることを特徴とする，請求項１または２に記載の対象物を位置測定して追跡する方法。
4. 前記画像特徴（２８）は，前記対象物（１４）の輪郭線であり，
   アンシャープな前記マスク（２６）は，フレームの形状を有し，前記フレームの辺がアンシャープさに相当する幅を有し，
   前記ビデオ画像（１０−１）から抽出されるエッジ画像が前記マスクを用いて畳み込まれて，前記画像特徴（２８）と前記マスク（２６）との照合が確認されることを特徴とする，請求項１〜３のいずれかに記載の対象物を位置測定して追跡する方法。
5. 前記マスク（２６）は，少なくとも２つの平行な前記フレームの辺を有し，前記フレーム辺がｘ座標沿いに互いに離隔距離を有し，
   ステップｃ）において，高い空間解像度で識別される前記画像特徴の蓄積に際しては，２つの平行な前記フレーム辺の幅内で各ｘ座標の画素列が積分され，ｘ座標沿いの前記画像特徴のヒストグラム（３２，３４）が得られて，一連の前記ビデオ画像において記録された前記ヒストグラムが蓄積され，
   ステップｄ）において，２つの平行な前記フレーム辺の間の間隔が，一方の前記フレーム辺の幅内で前記ヒストグラム（３２）が最大値を示す位置と，他方の前記フレーム辺の幅内で前記ヒストグラム（３４）が最大値を示す位置との間の間隔に適合されることにより，前記マスクの形状が適合されることを特徴とする，請求項４に記載の対象物を位置測定して追跡する方法。
6. 前記蓄積は，フェーディングメモリ理論に基づいて行われることを特徴とする，請求項５に記載の対象物を位置測定して追跡する方法。
7. ステップｃ）において，前記マスク（２６，３６）の追跡は，前記マスクが前記画像特徴との間に最適な照合が得られる位置に移動されて行われることを特徴とする，請求項１〜６のいずれかに記載の対象物を位置測定して追跡する方法。
8. 得られた最適な照合の結果と理論上可能となる最適な照合とを比べることにより，対象物の位置測定結果の信頼性を表す品質係数（Ｇ）が算出されることを特徴とする，請求項７に記載の対象物を位置測定して追跡する方法。
9. ビデオカメラ（４８）と，他の位置測定システム（５０）としてのレーダセンサとを備え，車両から対象物を位置測定して追跡する装置であって，
   前記ビデオカメラ（４８）と前記他の位置測定システム（５０）とからの信号を受信し，
   請求項１〜８のいずれかに記載の対象物を位置測定して追跡する方法が実施される画像認識モジュール（５４）を備えることを特徴とする，対象物を位置測定して追跡する装置。

Images