JP6439757B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、連続したフレームに含まれる物体を追跡する技術に関する。

監視システムなどにおいて、画像に含まれる物体を検知し、その動きを自動的に追跡する技術が知られている。物体の追跡は、例えば、追跡対象の物体が映っていない画像と映っている画像との差分を取得してテンプレートを生成し、当該テンプレートを用いて１フレームずつ画像内を探索することで実現することができる（特許文献１）。

物体の追跡を応用したシステムに、交通流計測システムがある。例えば路側に設置されたカメラを用いて道路上を撮影し、通過する車両を追跡することで、対象の地点を通過した車両の台数をカウントすることができる（特許文献２）。

特開２００１−０６０２６９号公報 特開２００９−０８７３１６号公報

道路を撮影した画像（動画）に基づいて、当該道路上を通過する車両を追跡しようとした場合、遮蔽が問題となる場合がある。例えば、車両同士の車間距離が短くなると、画像上で当該車両同士が重なりあうことがある。また、車線変更などに伴い、隣り合った車線間で車両同士が重なりあうことがある。このように、追跡対象の車両の一部が他の物体（車両等）に遮蔽されると、テンプレートマッチングの精度が著しく低下するという問題がある。

特許文献１に記載の発明では、異なる時刻において取得した複数のテンプレートを用いてマッチングを行い、一致度が最も高いテンプレートを採用することで、追跡精度の低下を防いでいる。しかし、道路上の車両を追跡する場合、追跡対象の車両が前後の車両によって大きく遮蔽される場合があり、このような場合、当該手法では精度を確保することができない。

また、特許文献２に記載の発明では、道路上にいる車両を個別に追跡したうえで、追跡が正しく行えている可能性を検証し、当該可能性に基づいて最終的な結果を確定させるという手法をとっている。しかし、対象の車両が大きく遮蔽された場合や、複数の車両が複雑な挙動をとった場合、同様に精度を確保することができない。

本発明は上記の課題を考慮してなされたものであり、物体を追跡する画像処理装置において、追跡対象物の一部が遮蔽された場合における追跡精度を向上させることを目的とする。

上記課題を解決するための、本発明に係る画像処理装置は、
連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる追跡対象物に対応するテンプレートを取得するテンプレート取得手段と、前記画像に含まれる追跡対象物の、他の物体によ
る遮蔽度合いを示すマップである遮蔽マップを生成する遮蔽マップ生成手段と、前記テンプレートを用いて前記画像に含まれる追跡対象物を検出するとともに、前記テンプレートと、前記遮蔽マップの双方に基づいて、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、を有することを特徴とする。

本発明に係る画像処理装置は、複数のフレーム間における追跡対象物の移動を追跡する装置である。なお、移動とは、画像上における移動であり、追跡対象物そのものの移動と、撮影条件（カメラのパン、チルト、ズーム等）の変化の双方に起因して発生しうる。

テンプレート取得手段は、追跡対象物に対応するテンプレートを取得する手段である。テンプレートは、追跡対象物の特徴量であってもよいし、追跡対象物の画像そのものであってもよい。例えば、車両を追跡する場合、車種（例えば、乗用車、貨物車、バス、オートバイ等）ごとの特徴量を用いてもよいし、既に追跡を行った結果がある場合、追跡結果に基づいて切り出した画像を用いてもよい。
遮蔽マップ生成手段は、他の物体によって追跡対象物が遮蔽されている度合いを表したマップ（遮蔽マップ）を生成する手段である。遮蔽マップは、例えば、追跡対象物に対応する領域を複数のブロックに分割したマップであってもよい。また、遮蔽の度合いは何段階で表してもよい。

また、追跡手段は、取得した画像に含まれる追跡対象物を、連続して取得した複数のフレーム間で追跡する手段である。本発明では、追跡手段は、追跡対象物に対応するテンプレートだけでなく、遮蔽マップをさらに用いてフレーム間における追跡対象物の移動を追跡する。追跡対象物の一部が遮蔽されている場合、マッチングによる追跡精度が遮蔽割合に応じて低下するが、遮蔽マップを利用することで、他の物体による遮蔽を考慮してマッチングを行うことができるようになり、追跡の精度が向上する。

また、前記遮蔽マップは、前記テンプレートを複数のブロックに分割し、各ブロックに遮蔽度合いを関連付けたマップであり、前記追跡手段は、前記テンプレートを前記ブロック単位で用いてマッチングを行い、さらに、各ブロックに対応する遮蔽度合いを用いて重み付けを行った結果に基づいて、前記追跡対象物の移動量および移動方向を取得することを特徴としてもよい。

ブロックごとの遮蔽度合いに基づいて、マッチング結果に対して重み付けを行うことで、遮蔽されているブロックの影響を弱めつつ、精度よく追跡対象物の移動先を取得することができる。

また、前記遮蔽マップ生成手段は、前記追跡対象物を画像間で追跡して得られた単一のベクトルと、前記複数のブロックをそれぞれ画像間で追跡して得られた複数のベクトルのそれぞれと、を比較した結果に基づいて前記遮蔽マップを生成することを特徴としてもよい。

追跡対象物の遮蔽状況は、「追跡対象物全体に対応する単一のベクトル」と、「追跡対象物を構成する複数のブロックにそれぞれ対応する複数のベクトル」とを比較することで生成することができる。あるブロックにおいて遮蔽が発生している場合、当該ブロックについては、フレーム間における追跡の精度が低下する（あるいは追跡自体が失敗する）。よって、双方のベクトルのずれに基づいて、当該ブロックにおける遮蔽の度合いを算出することができる。

また、前記遮蔽マップ生成手段は、前記単一のベクトルと前記複数のベクトルのそれぞれを比較した結果の間の差が大きいほど、対応するブロックの遮蔽度合いを大きく設定し
、前記追跡手段は、ブロックに対応する遮蔽度合いが大きいほど、当該ブロックの重みを小さく設定することを特徴としてもよい。

また、前記遮蔽マップ生成手段は、前記追跡手段が追跡結果を生成するごとに前記遮蔽マップを更新し、前記追跡手段は、次フレームにおける前記追跡対象物の検出処理において、前記更新された遮蔽マップを利用することを特徴としてもよい。

追跡対象物の遮蔽状況はフレームごとに変化する。よって、前フレームにおける追跡対象物の遮蔽状況を、次フレームにおける追跡に利用してもよい。このようにすることで、遮蔽状況が刻々と変化するようなケースにも対応することができる。

また、前記遮蔽マップに設定される遮蔽度合いは、対応するブロック内における、前記追跡対象物の移動方向に対して垂直なエッジが強くなるほど小さくなることを特徴としてもよい。

追跡対象物が一定の方向に移動するものであって、当該移動方向に対して垂直なエッジが強く観察される場合、当該追跡対象物が遮蔽されていないことが推定できる。よって、エッジの強さによって遮蔽マップを補正するようにしてもよい。

また、前記テンプレート取得手段は、前記追跡手段が検出した前記追跡対象物をクリッピングして得られた画像を、次フレームにおけるテンプレートとしてもよい。

追跡対象物を検出した結果がある場合、当該結果に基づいて、テンプレートとなる画像を取得し、次フレームにおいて利用してもよい。かかる構成によると、時間の経過とともに追跡対象物の大きさや向きが徐々に変化する場合ってあっても、正確に追跡を行うことができる。

なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、上記画像処理装置が実行する画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像処理方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、物体を追跡する画像処理装置において、追跡対象物の一部が遮蔽された場合における追跡精度を向上させることができる。

第一の実施形態に係る画像処理システムの配置図である。 第一の実施形態に係る画像処理システムの構成図である。 画像取得部が取得した画像の例である。 後続車両による先行車両の遮蔽と、遮蔽マップを説明する図である。 第一の実施形態に係る画像処理装置が行う処理のフローチャート図である。 車両の検出処理を説明する図である。 第一の実施形態に係る画像処理装置が行う処理のフローチャート図である。 車両の追跡処理を説明する図である。 第二の実施形態におけるエッジの強さを説明する図である。

（第一の実施形態）
<システム構成>
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る画像処理システムは、道路上を走行する車両を撮影した画像を連続して取得し、取得した複数の画像に基づいて車両の動きを追跡するシステムである。

図１は、本実施形態に係る画像処理システムの配置図である。本実施形態に係る画像処理システムは、画像処理装置１００と、カメラ２００からなり、画像処理装置１００が、道路上に配置されたカメラ２００によって連続して撮影された複数の画像を処理することで、車両の動きを追跡する。

図２は、本実施形態に係る画像処理システムのシステム構成図である。
画像処理装置１００は、画像取得部１０１、車両検出部１０２、車両追跡部１０３、遮蔽状態取得部１０４、記憶部１０５から構成される。

画像取得部１０１は、道路上にマウントされたカメラ２００を用いて、道路を走行する車両が含まれた画像（以下、道路画像）を取得する手段である。画像取得部１０１は、所定のフレームレートで、連続して道路画像を取得することができる。画像取得部１０１が取得した道路画像は、時系列順に記憶部１０５に記憶され、以降で説明する各手段が行う処理に供される。
なお、実施形態の説明では、連続して取得される道路画像のうちの一枚という意味で、フレームという語を用いるが、フレームと道路画像は等価である。また、連続したフレームにおいて、撮影範囲外から新規の車両（まだ追跡を行っていない車両）が現れることを流入、追跡中の車両が撮影範囲外に出て行くことを流出と称する。

車両検出部１０２は、現在追跡を行っていない新しい車両がカメラ２００の撮影範囲内に流入したことを検出する手段である。新しい車両の検出は、記憶部１０５に予め記憶された複数の特徴量を用いて行うことができる。特徴量は、車両を検出することができれば、どのようなものであってもよい。例えば、車種や車体の形状（乗用車、貨物車、バス、二輪車等）ごとに異なる特徴量を用いてもよい。また、複数の特徴量を用いる場合、どのように分類されていてもよい。また、車両を異なる方向（前後左右など）から見た場合の特徴量をそれぞれ保持していてもよい。
車両検出部１０２は、追跡を行っていない新しい車両が現れたことを検出する手段であり、それ以降のフレームにおける車両の追跡は、車両追跡部１０３が行う。
なお、本実施形態では、カメラ２００の撮影範囲の全域において車両を追跡するものとするが、車両を追跡する範囲は別途定められていてもよい。

車両追跡部１０３は、車両検出部１０２が検出した車両の動きを複数のフレーム間で追跡する手段である。追跡は、車両が撮影範囲外へ流出するまで続けられる。車両の追跡は、追跡対象の車両（以下、追跡対象車両）に対応するテンプレート画像と、後述する遮蔽状態取得部１０４が生成する遮蔽マップの二種類のデータを用いて行われる。テンプレート画像および遮蔽マップを生成する処理の具体的な内容については後述する。

遮蔽状態取得部１０４は、追跡対象車両の遮蔽状態を取得し、遮蔽マップを生成する手段である。
ここで、遮蔽状態と遮蔽マップについて説明する。図３は、カメラ２００によって撮影された道路画像の例である。本実施形態に係る画像処理システムは、道路上に設置されたカメラによって撮影された車両を追跡するシステムであるため、追跡対象の車両が前後の車両によって隠れてしまうケースが多く発生する。
例えば、図３の例では、車両１０Ａおよび１０Ｃが、後続車両によって遮蔽されている。
このような場合、従来用いられているテンプレートマッチングなどの手法を適用すると、正確な位置が検出できなくなるおそれがある。特に、車両１０Ｃは、対応する領域のうち半分近くが隠れているため、マッチングにおけるスコアが低下し、追跡が中断されてしまうケースも発生しうる。

そこで、本実施形態に係る画像処理装置は、遮蔽状態取得部１０４が、各追跡対象車両について、どの程度他の物体（車両）に遮蔽されているかを表すマップである遮蔽マップを生成し、当該遮蔽マップに基づいて重み付けを行ったうえでテンプレートマッチングを行う。遮蔽マップの具体的な生成方法、ならびに遮蔽マップの使用法については後述する。

記憶部１０５は、装置が用いるデータを一時的または恒久的に記憶する手段である。記憶部１０５には、高速に読み書きでき、かつ、大容量な記憶媒体を用いることが好ましい。例えば、フラッシュメモリなどを好適に用いることができる。記憶部１０５には、車両検出部１０２が利用する特徴量、画像取得部１０１が取得した複数の画像、車両追跡部１０３が利用するテンプレート画像、遮蔽状態取得部１０４が生成した遮蔽マップなどが一時的または恒久的に記憶される。

なお、画像取得部１０１、車両検出部１０２、車両追跡部１０３、遮蔽状態取得部１０４は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。ソフトウェアとして実行される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）

<遮蔽マップ>
次に、遮蔽状態取得部１０４によって生成される遮蔽マップの詳細について説明する。図４は、追跡対象車両の遮蔽状態と、対応する遮蔽マップを示した図である。
遮蔽マップとは、追跡対象車両に対応する領域を１６個のブロック（４×４）に分割し、各ブロックに対して遮蔽の程度を表す値（遮蔽度）を割り当てたマップである。なお、遮蔽度は、完全に遮蔽されている状態を１とし、全く遮蔽されていない状態を０とした実数によって表される。

図４（Ａ）は、追跡対象車両が遮蔽されていない状態の例である。この場合、遮蔽マップには全て０という値が割り当たっている。また、図４（Ｂ）は、追跡対象車両の一部が後続車両によって遮蔽されている状態の例である。この場合、左下の６つのブロックに０以上の値が割り当たっている。
本実施形態に係る画像処理装置は、このような遮蔽マップを、追跡対象車両およびフレームごとに生成し、割り当てられた値に基づいて重み付けを行ったうえでテンプレートマッチングを実施する。すなわち、遮蔽されているブロックに対してより小さい重みを与え、遮蔽されていないブロックに対してより大きい重みを与える。このようにすることで、遮蔽の影響を排除しつつ、追跡対象車両の位置を検出することができる。
遮蔽マップの具体的な生成方法については後述する。なお、本例では、遮蔽度は０〜１の範囲をとる実数であるが、遮蔽度はこれ以外であってもよい。また、遮蔽度は必ずしも０〜１の範囲をとる必要はない。例えば、０〜２５５の範囲をとる整数であってもよい。

<処理フローチャート>
次に、画像処理装置１００が行う画像処理の詳細について、処理フローチャートである図５を参照しながら説明する。図５に示した処理は、画像取得部１０１が新規のフレームを取得するごとに実行される。例えば、フレームレートが１０ｆｐｓである場合、秒間１０回実行される。
まず、ステップＳ１１で、画像取得部１０１が、カメラ２００を介して道路画像を取得し、記憶部１０５に一時的に記憶させる。なお、取得された道路画像は、時系列順に記憶され、処理が完了すると削除される。

次に、ステップＳ１２で、車両追跡部１３が、現在追跡している車両が存在するか否かを判定し、ある場合に、追跡対象車両を追跡する処理を実行する。現在追跡している車両が存在するか否かは、後述するカウンタを用いて判断する。なお、ここでは、追跡中の車両が無いものとして説明を行い、ステップＳ１２の詳細については、図７を参照しながら後ほど説明する。

ステップＳ１３では、車両検出部１０２が、ステップＳ１１で取得した画像上に、現在追跡していない車両が存在するか否かを判定する。具体的には、記憶部１０５に予め記憶されている特徴量に基づいて、車両の検出を試みる。本ステップにおける車両の検出には、特徴量に基づく既知の物体検出手法を用いることができる。例えば、記憶された複数の特徴量を用いてマッチングを試み、初期位置と範囲を特定する。なお、検出した車両が既に追跡中の車両であった場合、当該車両はスキップする。追跡中の車両についての情報は、記憶部１０５を介して、車両検出部１０２および車両追跡部１０３の間で共有される。
ここでは、図６（Ａ）に示した画像６００内において新しい車両を検出したものとする。
新しい車両が検出されると、処理はステップＳ１４へ遷移する。また、新しい車両が検出されなかった場合、当該フレームに対する処理は終了する。

車両を検出すると、ステップＳ１４で、車両検出部１０２が、対応する範囲をクリッピングし、テンプレート画像６０１とする。ここで生成したテンプレート画像が、以降のフレームにおいて車両の追跡に利用される。テンプレート画像６０１は、車両の識別子（車両を検出するごとに採番される）、および、車両を検出した画像上の範囲と関連付けられ、記憶部１０５に記憶される。また、車両検出部１０２が、追跡対象車両に対応する遮蔽マップ６０２を生成する。ここで生成される遮蔽マップは、図６（Ｂ）のように、全てのブロックにデフォルト値（遮蔽度：０）が設定されたマップである。

次に、ステップＳ１５で、車両検出部１０２が、現在追跡中である車両の数（以下、追跡中車両数）に、検出した車両の台数を追加する。ここで設定された台数は、ステップＳ１２で実行される車両追跡処理において利用される。

次に、ステップＳ１２で行われる処理について、図７に示したフローチャートを参照しながら説明する。なお、特に記載がない場合、各ステップは車両追跡部１０３が実行するものとする。
ステップＳ１２の処理は、設定されている「追跡中車両数」が１台以上である場合に実行される。すなわち、ステップＳ１２が実行されるタイミングでは、時系列順に二つ以上のフレームが記憶部１０５に記憶されている。

まず、ステップＳ２１で、カウンタｎに１を設定する。ｎは、画像に含まれる追跡対象車両に対して順次処理を行うためのカウンタである。

次に、ステップＳ２２で、画像に含まれるｎ番目の車両について、現在のフレームにおける大まかな位置を推定する。本ステップは、画像の全領域から、テンプレートマッチングを行うための領域を絞り込むための処理である。例えば、過去の二つ以上のフレームにおいて、ｎ番目の車両の位置の変化が求まっている場合、当該位置の変化に基づいて、現在のフレームにおける位置を推定してもよい。例えば、２フレーム前における対象車両と、１フレーム前における対象車両との位置の変化を取得し、当該変化を用いて現在のフレ
ームにおける当該対象車両の位置を推定してもよい。また、カルマンフィルタなどを用いて車両の位置を推定してもよい。
なお、推定を行うための十分な情報が無い場合、ステップＳ１３または直前のフレームで検出した位置の近傍に当該対象車両がいるものと推定してもよいし、絞り込み自体を省略してもよい。

次に、ステップＳ２３で、ｎ番目の車両に対応するテンプレート画像を用いて、道路画像に対するテンプレートマッチングを行う。
なお、ここでは、テンプレート画像を４×４の１６ブロックに分割し、ステップＳ２２で推定した位置の近傍において、ブロックごとにマッチングを行う。この結果、１６個のマッチング結果が得られるため、前フレームとの位置の変化に基づいて、１６ブロックぶんの移動ベクトルｖ_block(x,y)を生成する（ｘ，ｙは座標）。

図８（Ａ）は、現在処理しているフレームの直前のフレームを表した図であり、図８（Ｂ）は、現在処理しているフレームを表した図である。また、図８（Ｃ）は、双方のフレーム間における、ブロックの移動ベクトルを表した図である。なお、ハッチングで示した二つのブロックは、遮蔽に起因して、正しく移動ベクトルが取得できていないことを表す。当該ブロックでは、移動ベクトルが０となっている。
ステップＳ２３の処理が完了すると、直前のフレームと、現在のフレームとの間における、ブロックごとの移動ベクトルが取得された状態となる。

ステップＳ２４では、ステップＳ２３で取得したブロックごとの移動ベクトルと、遮蔽マップに基づいて、車両に対応する単一の移動ベクトルを取得する。
具体的には、まず、１６個の移動ベクトルのうち、外れ値、すなわち、値が他のベクトルから大きくずれているベクトルを除外する。例えば、平均値や最頻値から２０％以上外れているベクトルを除外する。

次に、残った移動ベクトルに対して、遮蔽マップに基づく重み付けを行う。具体的には、遮蔽度の減少関数を用いて重みを算出する。例えば関数（１−ｘ）を用いることができる。すなわち、遮蔽度が０である場合に１という重みを、遮蔽度が１である場合に０という重みを算出して、移動ベクトルに対して乗算する。
ここで利用される遮蔽マップは、前フレームにおける追跡対象車両の遮蔽状態を表すマップである。初回の処理では、遮蔽マップはデフォルト（すなわち、遮蔽度が全て０）であるため、移動ベクトルは変化しない。
最後に、複数の移動ベクトルの平均を取り、追跡対象車両に対応する単一の移動ベクトルｖとする。
なお、前述した単一の移動ベクトルの取得方法は、上記に例示した方法に限定されない。例えば、最も重みが大きいブロックに対応する移動ベクトルを、車両に対応する単一の移動ベクトルとしてもよいし、所定の閾値よりも重みが大きいブロックについて移動ベクトルの平均を取ったものを、車両に対応する単一の移動ベクトルとしてもよい。

ステップＳ２５では、追跡対象車両が、撮影範囲から出たか否かを判定する。なお、画像上に追跡範囲が設定されている場合、当該範囲から流出した場合に肯定判定としてもよい。また、追跡に失敗した場合や、所定のフレーム数だけ連続して追跡に失敗した場合に肯定判定としてもよい。追跡対象車両が撮影範囲から出たと判定した場合、ｎ番目の車両について追跡終了フラグを真にし、ステップＳ２９へ遷移する。

追跡対象車両が撮影範囲を出ていない場合、当該車両が移動した先の領域をクリッピングし、新たなテンプレート画像として設定する（ステップＳ２７）。図８の例の場合、領域８０１に対応する画像が、テンプレート画像として再設定される。クリッピングする際
に領域の大きさは前フレームと同じでもよいし、適宜調整してもよい。調整する場合は所定の係数に基づいて拡大または縮小する方法や、検出されたブロック間の距離の変化に基づいて拡大または縮小する方法がある。

次に、ステップＳ２８で、遮蔽状態取得部１０４が、遮蔽マップを更新する。
具体的には、車両に対応する移動ベクトルｖと、１６個の移動ベクトルｖ_block(x,y)との差分（ΔＰ_(x,y)とおく）をそれぞれ取得し、ΔＰ_(x,y)の大きさに定数ｋを乗じた値（ｋ｜ΔＰ_(x,y)｜）を、遮蔽マップに設定されている現在の値にそれぞれ加算する。すな
わち、遮蔽マップの各ブロックが有する遮蔽度は、初回の処理では、０＋ｋ｜ΔＰ_(x,y)
｜となる。
図８の例の場合、左下の二ブロックが後続車両によって遮蔽されているため、左下の二ブロックのみが、他のブロックよりも高い遮蔽度によって更新される。

なお、遮蔽が解消したと判断した場合、各ブロックに割り当たった遮蔽度を０に戻す処理を行う。例えば、（１）遮蔽度が所定の値以上であって、（２）｜ΔＰ_(x,y)｜が所定
の値以下となった場合に、遮蔽が解消したと判断してもよい。もちろん、他の手法を採用してもよい。
以上で、ｎ番目の車両に対する追跡処理が終了する。

ステップＳ２９では、カウンタｎをインクリメントし、ステップＳ３０で、カウンタｎが、追跡中の車両数を超えたか否かを判定する。この結果、超えていない場合、処理はステップＳ２２に戻り、次の車両に対する追跡を開始する。超えていた場合、追跡中の車両数から追跡を終了した車両の数（追跡終了フラグが真である車両の数）を減算する（ステップＳ３１）。

なお、更新された遮蔽マップは、次のフレームにおける処理で重み付けに利用される。
また、遮蔽マップは、フレームの処理が進むごとに随時更新される。これにより、ｉ番目のフレームを処理した際に得た遮蔽マップを、ｉ＋１番目のフレームを処理する際に使用することができる。このようにすることで、時刻の経過とともに刻々と変化する遮蔽状態を随時反映させることができる。すなわち、連続したフレームにおいて遮蔽が動的に発生した場合であっても、遮蔽マップを適切に更新することができる。

なお、本実施形態では、更新された遮蔽マップを次のフレームにおける処理で重み付けに利用する例を挙げたが、必ずしも次のフレームにおける処理で利用する必要はない。すなわち、発明の効果が得られる範囲で、適宜対象となるフレームを変更しても構わない。
例えば、ｉ番目のフレームで更新された遮蔽マップを、ｉ＋２番目のフレームの処理に用いてもよい。また、例えば、１０フレームごとに遮蔽マップを更新するように構成したうえで、ｉ番目のフレームで更新された遮蔽マップを、ｉ＋１番目からｉ＋１０番目のフレームの処理に用いるようにしてもよい。

以上説明したように、本実施形態に係る画像処理装置では、ブロックごとに取得した移動ベクトルと、車両全体に対応する移動ベクトルとを比較した結果に基づいて遮蔽マップを生成し、当該遮蔽マップを用いてマッチングの際の重み付けを行う。従来の技術では、テンプレートマッチングにおいて遮蔽の影響を積極的に除去することができなかったが、本実施形態に係る画像処理装置は、前述した重み付けを行うことで、悪影響があるブロックの影響を抑えてマッチングを行うことができる。すなわち、車両の追跡精度を向上させることができる。

（第二の実施形態）
第二の実施形態は、画像上におけるエッジの強さに基づいて遮蔽度を補正する実施形態
である。

第二の実施形態では、ステップＳ２８の処理において、車両の進行方向に対して垂直な方向に存在するエッジの強さを抽出し、当該エッジの強さに比例した係数を算出して遮蔽度に乗算する。例えば、取得した画像に、車両の進行方向に対して垂直な方向（図８の例では横軸方向）に存在するエッジを抽出するＳｏｂｅｌフィルタを適用し、得られた全ての値の絶対値の和を取得する。そして、図９に示したような関係式で求めた係数を、遮蔽マップにおける遮蔽度に乗算する。

画像内において特定の方向に進行する車両は、遮蔽が発生していない場合、進行方向と直交する方向にエッジが立つという特徴がある。第二の実施形態では、これを利用し、より正確に遮蔽度を演算することが可能になる。
なお、車両の進行方向は、予め定義されていてもよいし、検出手段を設け、検出結果に応じて動的に設定するようにしてもよい。例えば、過去の追跡結果に基づいて学習を行い、車両の進行方向を推定するようにしてもよい。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、実施形態の説明では、追跡対象車両を１６個のブロックに分割して処理を行ったが、分割方法はこれ以外であってもよい。ブロックが多いほど精度は向上するが、処理時間も長くなるため、ブロック数やブロックサイズは、要求される仕様に基づいて適宜設定すればよい。
また、実施形態の説明では、車両に対応する移動ベクトルと、１６個の移動ベクトルの差分をそれぞれ求めることで遮蔽マップを生成したが、遮蔽の度合いを求めることができれば、遮蔽度の演算方法は例示した方法に限られない。

また、実施形態の説明では、連続して取得した複数のフレームを１フレームずつ処理することで車両を追跡する例を挙げたが、処理は必ずしも１フレームずつ行わなくてもよい。例えば、１枚飛ばしのようにフレームを間引いて処理するように構成することも可能である。

１００ 画像処理装置
１０１ 画像取得部
１０２ 車両検出部
１０３ 車両追跡部
１０４ 遮蔽状態取得部
１０５ 記憶部
２００ カメラ

Claims (8)

1. 連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、
   画像を取得する画像取得手段と、
   前記画像に含まれる追跡対象物に対応するテンプレートを取得するテンプレート取得手段と、
   前記画像に含まれる追跡対象物の、他の物体による遮蔽度合いを示すマップである遮蔽マップを生成する遮蔽マップ生成手段と、
   前記テンプレートを用いて前記画像に含まれる追跡対象物を検出し、さらに、前記テンプレートと、前記遮蔽マップの双方に基づいて、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、
   を有し、
   前記遮蔽マップは、前記テンプレートを複数のブロックに分割し、各ブロックに遮蔽度合いを関連付けたマップであり、
   前記遮蔽マップ生成手段は、前記追跡対象物を画像間で追跡して得られた単一のベクトルと、前記複数のブロックをそれぞれ画像間で追跡して得られた複数のベクトルのそれぞれと、を比較した結果に基づいて前記遮蔽マップを生成する
   ことを特徴とする、画像処理装置。
2. 前記追跡手段は、前記テンプレートを前記ブロック単位で用いてマッチングを行い、さらに、各ブロックに対応する遮蔽度合いを用いて重み付けを行った結果に基づいて、前記追跡対象物の移動量および移動方向を取得する
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記遮蔽マップ生成手段は、前記単一のベクトルと前記複数のベクトルのそれぞれを比較した結果の間の差が大きいほど、対応するブロックの遮蔽度合いを大きく設定し、
   前記追跡手段は、ブロックに対応する遮蔽度合いが大きいほど、当該ブロックの重みを小さく設定する
   ことを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記遮蔽マップ生成手段は、前記追跡手段が追跡結果を生成するごとに前記遮蔽マップを更新し、
   前記追跡手段は、次フレームにおける前記追跡対象物の検出処理において、前記更新された遮蔽マップを利用する
   ことを特徴とする、請求項１から３のいずれかに記載の画像処理装置。
5. 前記遮蔽マップに設定される遮蔽度合いは、対応するブロック内における、前記追跡対象物の移動方向に対して垂直なエッジが強くなるほど小さくなる
   ことを特徴とする、請求項１から４のいずれかに記載の画像処理装置。
6. 前記テンプレート取得手段は、前記追跡手段が検出した前記追跡対象物をクリッピングして得られた画像を、次フレームにおけるテンプレートとする、
   ことを特徴とする、請求項１から５のいずれかに記載の画像処理装置。
7. 連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置が行う画像処理方法であって、
   画像を取得する画像取得ステップと、
   前記画像に含まれる追跡対象物に対応するテンプレートを取得するテンプレート取得ステップと、
   前記画像に含まれる追跡対象物の、他の物体による遮蔽度合いを示すマップである遮蔽マップを生成する遮蔽マップ生成ステップと、
   前記テンプレートを用いて前記画像に含まれる追跡対象物を検出し、さらに、前記テンプレートと、前記遮蔽マップの双方に基づいて、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡ステップと、
   を含み、
   前記遮蔽マップは、前記テンプレートを複数のブロックに分割し、各ブロックに遮蔽度合いを関連付けたマップであり、
   前記遮蔽マップ生成ステップでは、前記追跡対象物を画像間で追跡して得られた単一のベクトルと、前記複数のブロックをそれぞれ画像間で追跡して得られた複数のベクトルのそれぞれと、を比較した結果に基づいて前記遮蔽マップを生成する
   ことを特徴とする、画像処理方法。
8. 請求項７に記載の画像処理方法をコンピュータに実行させるプログラム。

Images