JP4768544B2 - 目標検出追随装置 - Google Patents

Description

本発明は、テレビカメラや赤外線撮像装置などの撮像装置から供給される映像信号から画像処理を行い、連続する２つの画像内における物体画像の特徴量又は位置関係から追跡目標を判定し、撮像装置の向きを制御することによりに追跡目標を追跡する目標検出追随装置関する。

誘導弾の誘導は高い精度が求められている。従来、誘導弾の誘導には撮像装置によって撮像された画像データを用いて追跡目標を追随する目標検出追随装置が用いられてきた。

この目標検出追随装置は、具体的には、テレビカメラや赤外線撮像装置などの撮像装置から供給される画像信号をデジタル信号に変換し、画像内の物体画像を検出し、物体画像毎にラベルを付与し、ラベルテーブルを作成し、ラベル毎に物体画像から、例えば濃度の最大値、最小値、座標、面積などの特徴を抽出し、これらの情報に基づいて撮像装置の方向を制御し、追跡目標を追随する。

従来の目標検出追随装置においては、前記ラベルテーブルは撮像されたフレーム毎に独立して作成されるため、同一の追跡目標の画像でも異なるフレームでは同じラベルが付されているとは限らず、時間的に連続した追跡目標の運動を示すデータとして用いることができなかった。

特許文献１にはフレーム毎に物体画像に一度ラベルを付し、その後複数フレーム間において追跡目標の候補画像に同一ラベルが付されるようにリラベリングを行うことによりこの点を解決する旨が記載されている。
特許第３６６８０９２号公報

しかし、特許文献１記載の技術においては前回フレームの追跡目標に今回フレームの複数の追跡目標の候補が重なっている場合や、まったく重なりが無い場合は今回フレームにおいて追跡目標の判定が困難となるという問題点があった。

本発明は上記のような従来の問題点に鑑みてなされたものであり、前回フレームの追跡目標に今回フレームの複数の追跡目標の候補が重なっている場合や、まったく重なりが無い場合においても追跡目標を判定することが可能である目的物検出追随装置を提供することを目的とする。

前記目的を達成するために、請求項１の発明は、撮像処理部により得られた映像信号をフレーム毎のデジタル信号の画像信号に変換するＡＤ変換部と、ＡＤ変換部が変換した画像内の物体画像毎にラベルを付与するラベリング処理部と、ラベリング処理部がラベルを付与した物体画像の面積を算出し、ラベルごとに面積を格納する特徴量テーブルを記憶する面積計算記憶部と、前回フレームにおける物体画像と今回フレームにおける物体画像の位置関係を検出する連結調査処理部と、面積計算記憶部が前記特徴量テーブルに格納した前回フレームにおける物体画像と今回フレームにおける物体画像のラベルごとの面積の相関関係及び連結調査処理部が検出したラベルごとの位置関係から、前回フレームにおいて存在した追跡目標が今回フレームにおいて消滅し、前回フレームの追跡目標の位置から一定距離内において物体画像が発生したと判定したとき、発生した物体画像のうち前回フレームにおける追跡目標の面積と相関の高い面積をもつ発生した物体画像を今回フレームにおける追跡目標の物体画像と判定する目標判断部と、目標判定部が判定した追跡目標の位置に基づいて、撮像処理部の方向を制御するジンバル機構部と、を有する目標検出追随装置を提供する。

本発明によれば、前回フレームの追跡目標に今回フレームの複数の追跡目標の候補が重なっている場合や、まったく重なりが無い場合においても追跡目標を判定することが可能となる効果が得られる。

以下、本発明による目標検出追随装置の実施形態について図面を用いて説明する。

＜実施形態１＞
図１に本発明の第1の実施形態における構成を示す。この目標検出追随装置は、撮影視野を所定のフレームレートにて撮影し、撮影フレームを順次出力する撮像処理部１０１と、この撮像処理部１０１の出力信号をデジタル信号に変換するＡＤ変換部１０２と、このＡＤ変換部１０２においてデジタル化された映像信号を受けて必要な前処理を行う前処理部１０３と、画像の輪郭を強調する特徴強調部１０４と、輪郭が強調された信号を２値化して画像の強調された部分を抽出する２値化処理部１０５と、この２値化処理部１０５において抽出された部分である物体画像毎にラベルを付与するラベリング処理部１０７と、特徴強調部１０４の出力とラベリング処理部１０７の出力からラベルが付与された物体画像毎の特徴量を計算し、記憶する特徴量計算記憶部１０６と、ラベルが付与された前回と今回の物体画像の重なりなどの位置関係を調査する連結調査処理部１０８と、特徴量計算記憶部１０６が算出した各物体画像の特徴量と前記連結調査処理部１０８が検出した各物体の位置関係から追跡目標を判定する目標判断部１０９と、目標判断部１０９の出力から目標に対する情報を作成する追跡処理部１１０と、追跡処理部１１０出力の情報に基づいて撮像装置の方向を制御するジンバル機構部１１１とを有する。

ラベリング処理部１０７では、２値化処理部１０５において、得られた物体画像に順にラベルを付け、連結調査処理部１０８では、ラベリング処理部１０７においてラベルが付与された前回フレームの物体画像と今回フレームの物体画像の座標から、両物体画像の重なりなどの位置関係を調査する。

ここで、位置関係とは例えば物体画像の重なりが挙げられるが、これに限らずある物体画像を基準とした相対的位置関係をも含む。

一方、特徴強調部１０４で特徴強調された物体画像の特徴量は特徴量計算記憶部１０６において計算され記憶される。ここで、特徴強調とは例えば輪郭の補正が挙げられるがこれに限られるものではない。目標判断部１０９では、特徴量計算記憶部１０６が算出した前回フレームにおける物体画像と今回フレームにおける物体画像の特徴量の値や連結調査処理部１０８が検出した物体画像間の位置関係から、今回フレームにおける追跡目標の物体画像を判定する。

次にこの目標検出追随装置の各部における処理を、更に具体的に説明する。

ラベリング処理部１０７におけるラベリング処理のフローチャートを図２に示す。ステップＳ２０１では、ラベリング処理部１０７は２値化処理部１０５からの１フレームの画像の入力を監視している。

ラベリング処理部１０７に２値化処理部１０５から１フレームの入力があった場合、ステップＳ２０２では、ラベリング処理部１０７はそのフレームにおける物体画像を検知し、ステップＳ２０３において、ラベリング処理部１０７はそのフレームの検知された物体画像に順次ラベルを付与する。そして、ステップＳ２０4において、ラベリング処理部１０７はラベルと位置を物体画像テーブルに格納する。

次に、ステップＳ２０５において、ラベリング処理部１０７は上記フレーム中にラベルが付与されていない物体画像があるかを判定する。ラベルが付与されていない物体画像がある場合には、ステップ２０２に戻る。無い場合には、ステップＳ２０６においてラベルと位置が格納されている上記物体画像テーブルを特徴量計算記憶部１０６と連結調査処理部１０８に送る。この実施形態では、特徴量計算記憶部１０６では具体的には物体画像の面積を計算する面積計算記憶部である。

次に、特徴量計算記憶部１０６における処理を、図３に示すフローチャートを用いて説明する。

特徴量計算記憶部１０６は、ステップＳ３０１において特徴強調部１０４とラベリング処理部１０７からの入力を監視している。特徴強調部１０４およびラベリング処理部１０７から入力があった場合、ステップＳ３０２において特徴量計算記憶部１０６は、ラベリング処理部１０７から入力されたラベルと位置が格納されている前記物体画像テーブルから、ラベルと位置を読み込む。次のステップＳ３０３では、特徴量計算処理部１０６は、その読み込んだ位置に存在する物体画像の面積を計算する。本実施例においては、特徴量は面積である。特徴量テーブルに関しては後述する。

なお、位置とは具体的には例えば座標や緯度，経度などが挙げられるが、これらに限られるものではない。

次のステップＳ３０4において、特徴量が計算されていない物体画像があるか判定される。特徴量が計算されていない物体画像がある場合、即ち物体画像テーブルにおいてラベルが付されているが特徴量が計算されていない物体画像がある場合、即ちステップＳ３０4でｙｅｓの場合には、ステップＳ３０２に戻って物体画像テーブルにおいてまだ特徴量が計算されていない物体画像のラベルと位置を読み込み、この物体画像の各特徴量を計算し特徴量テーブルにそれらの特徴量を格納する。

一方、ラベリング処理部１０７から入力されたラベルと位置が格納されている前記物体画像テーブルに格納されている全てのラベルについて、特徴量である面積の計算と特徴量テーブルへの格納が終了した場合、すなわちステップＳ３０4でＮｏの場合、ステップＳ３０５において、完成した特徴量テーブルを目標判断部１０９へ送る。

連結調査処理部１０８は、ラベリング処理部１０７の出力を受信して、図４に示すフローチャートに従った処理を行う。

連結調査処理部１０８は、ステップＳ４０１においてラベリング処理部１０７からの入力を常時、監視している。ラベリング処理部１０７から前記物体画像テーブルの入力があった場合、ステップＳ４０２において前記物体画像テーブルからラベルと位置を順次読み込む。

次に、ステップＳ４０３において、連結調査処理部１０８は読み込んだ今回のフレームの物体画像に対応するラベルの位置を基に、今回のフレームの物体画像が前回フレームの追跡目標に重なっているか判定する。追跡目標が重なっていなければステップＳ４０２に戻り、次の物体画像についてラベルと位置を読み込む。今回フレームと前回フレームにおいて物体画像が重なっている場合には、ステップＳ４０４において、その重なっている物体画像の前回フレームと今回フレームのラベルと位置をメモリ（図示せず）に格納する。

次のステップＳ４０５では、判定していないラベル、すなわち物体画像があるか調べる。判断していないラベルがある場合にはステップＳ４０２に戻ってそのラベルと位置を読み込み、ステップＳ４０３においてその物体画像が重なっているかを調べる。

一方、今回フレームと前回フレームでの重なり状態を判断していない物体画像がなくなっていれば、次のステップＳ４０６に移り、重なり状態の情報を目標判断部１０９に送った後、ステップＳ４０１に戻って次のラベリング処理部１０７からの入力に備える。

目標判断部１０９は、特徴量計算記憶部１０６から入力される個々の物体画像の特徴量と、連結調査処理部１０８から入力される物体画像の重なり状態の情報に基づいて、図５に示すフローチャートに従って追跡目標の連続性を判断する。なお、図７は前回フレームの追跡目標と今回フレームの物体画像の関係を例示した図である。

目標判断部１０９は、ステップＳ５０１において特徴量計算記憶部１０６と連結調査処理部１０８から送られてくる入力を常時、監視している。特徴量計算記憶部１０６と連結調査処理部１０８から入力があった場合、ステップＳ５０１において、目標判断処理部１０９は連結調査処理部１０８からの入力を読み込む。

次にステップＳ５０２において、目標判断部１０９は前回フレームにおいて追跡目標があるかどうかを判定する。ない場合にはステップＳ５０３に進み、ある場合にはステップＳ５０４に進む。

ステップＳ５０３において、目標判断部１０９は連結調査処理部１０８から入力した今回フレームにつき、あらかじめ記憶している追跡目標の特徴量に相関の高い特徴量を持つ物体画像があるか、又は３フレーム以上前のフレームにおいて存在し、前回フレームにおいて消滅した追跡目標につき、消滅前の追跡目標の特徴量と相関の高い特徴量を持つ物体画像があるか判定する（図７ケース１）。ない場合にはステップＳ５０１に戻り、ある場合にはステップＳ５０５において、目標判断部１０９は今回フレームの相関の高い物体画像を追跡目標とし、ステップＳ５１１に進む。

ここで、実施形態１においては、特徴量は物体の面積とする。従って、特徴量の相関が高いとは、面積が等しいか近似することを意味する。

ステップＳ５０４において、目標判断部１０９は今回フレームにおいて前回フレームの追跡目標に重なっている物体画像があるか判定する。ある場合にはステップＳ５０６に進み、ない場合にはステップＳ５０９に進む。

ステップＳ５０６において、目標判断部１０９は前回フレームの追跡目標に重なっている今回フレームの物体画像が２個以上あるか判定する。重なっている物体画像が２個以上ない場合、すなわち重なっている物体画像が一つの場合にはステップＳ５０８に進む。ステップＳ５０８において、目標判断部１０９は重なっている今回フレームの物体画像を追跡目標とし、ステップＳ５１１に進む。

この場合には例えば次のようなケースがある。前回フレームに物体画像が追跡目標一つだけであり、今回フレームにおいても物体画像が一つだけの場合（図７ケース２）。前回フレームにおいて追跡目標の他に物体画像が一つ以上あり、今回フレームにおいてこれらの物体画像がすべて一つに結合した場合（図７ケース５）。

重なっている物体画像が２個以上ある場合、ステップＳ５０７に進む。ステップＳ５０７において、目標判断部１０９は重なっている今回フレームの物体画像のうち前回フレームの追跡目標の特徴量と相関の高い特徴量を持つ物体画像を追跡目標とし、ステップＳ５１１に進む。この場合には例えば次のようなケースがある。前回フレームに物体画像が追跡目標一つだけであり、今回フレームにおいてその追跡目標が二つ以上に分離した場合（図７ケース３）。前回フレームにおいて追跡目標の他に物体画像が一つ以上あり、今回フレームにおいてこれらの物体画像のうち一部が結合するとともに一部が分離した場合（図７ケース４）。

ステップ５０９において、目標判断部１０９は前回フレームにおいて存在した追跡目標が今回フレームにおいて消滅し、前回フレームの追跡目標の位置から一定距離内において物体画像が発生したか判定する。発生していない場合はステップＳ５０１に戻る。発生した場合はステップＳ５１０に進み、目標判断部１０９は発生した物体画像のうち前回フレームの追跡目標の特徴量と相関の高い特徴量を持つ物体画像を追跡目標とし（図７ケース６）、ステップＳ５１１に進む。

ステップＳ５１１において、目標判断部１０９は今回フレームの追跡目標のラベルと位置を追跡処理部１１０に送る。

以上述べたように、実施形態１においては目標判断部１０９において、特徴量計算記憶部１０６により計算された各物体画像の面積と連結調査処理部１０８において判定された前回フレームの追跡目標との重なりとから今回フレームの追跡目標を判定するため、より精度の高い追跡が可能となる。

＜実施形態２＞
実施形態２の構成は実施形態１の構成と同様である。実施形態２においては、特徴量が物体画像の面積、最大輝度、重心座標、移動方向のうちから一種類以上選ばれるが、特徴量はこれらに限られるものではない。

特徴量計算記憶部１０６における処理を、図６に示すフローチャートを用いて説明する。

特徴量計算記憶部１０６は、ステップＳ７０１において特徴強調部１０４とラベリング処理部１０７からの入力を監視している。特徴強調部１０４およびラベリング処理部１０７から入力があった場合、ステップＳ７０２において特徴量計算記憶部１０６は、ラベリング処理部１０７から入力されたラベルと位置が格納されている前記物体画像テーブルから、ラベルと位置を読み込む。次のステップＳ７０３では、特徴量計算処理部１０６は、その読み込んだ位置に存在する物体画像の特徴量の１つである面積を計算する。

次のステップＳ７０４では当該物体画像の特徴量の１つである輝度が計算され、ステップＳ７０５ではその物体画像の特徴量の１つである重心が計算され、ステップＳ７０６ではその物体画像の特徴量の１つである移動方向が計算される。計算されたこれらの特徴量（面積、輝度、重心、移動方向）は、ステップＳ７０７において、物体画像に付けられたラベルに対応する特徴量テーブルに格納される。なお、計算する特徴量の順序はどのような順でもよい。

次のステップＳ７０８において、特徴量が計算されていない物体画像があるか判定される。特徴量が計算されていない物体画像がある場合、即ち物体画像テーブルにおいてラベルが付されているが特徴量が計算されていない物体画像がある場合、即ちステップＳ７０８でｙｅｓの場合には、ステップＳ７０２に戻って物体画像テーブルにおいてまだ特徴量が計算されていない物体画像のラベルと位置を読み込み、この物体画像の各特徴量を計算し特徴量テーブルにそれらの特徴量を格納する。

一方、ラベリング処理部１０７から入力されたラベルと位置が格納されている前記物体画像テーブルに格納されている全てのラベルについて、面積を初めとする特徴量の計算と特徴量テーブルへの格納が終了した場合、すなわちステップＳ７０８でＮｏの場合、ステップＳ７０９において、完成した特徴量テーブルを目標判断部１０９へ送る。

図８は代表的な特徴量と各特徴量における追跡目標の判定方法をまとめたものである。いずれの特徴量においても、前回フレームにおける追跡目標の特徴量と、今回フレームの物体画像の特徴量において、相関が高い物体画像が追跡目標とされる。

面積は、物体画像内のドット数又はピクセル数から求めることができる。例えば、前回フレームにおいて面積が１０であり、今回フレームにおいて面積が５の物体画像と面積が１１の物体画像が検知された場合、面積が１１の物体画像を追跡目標とする。

輝度は、例えばＲＧＢのようなデジタルデータにＡＤ変換部１０２において変換されているため、容易に求めることができる。今回フレームにおいて複数の物体画像がある場合、前回フレームにおける追跡目標最大輝度に近い最大輝度を持つ物体画像を追跡とする。

重心は公知の方法により求めることができる。今回フレームにおいて複数の物体画像がある場合、前回フレームにおける重心位置に近い重心位置を持つ物体画像を追跡目標とする。なお、重心位置とは具体的には例えば重心の座標や緯度，経度などが挙げられるがこれに限られるものではない。

動きは、例えば物体画像の重心位置を前回フレームと今回フレームとを比較することにより求めることができる。ここで動きとは例えば移動方向を挙げられるがこれに限られるものではない。今回フレームにおいて複数の物体画像がある場合、前回フレームにおける動きと同一または近似する動きを示す物体画像を追跡目標とする。

各部の処理フローも実施形態１と同様であるが、特徴量を上記のように増やしたことにより、特徴量計算処理部１０６が作成する特徴量テーブルは図９のようになる。特徴量テーブルはフレーム毎に作成される。

図９（ａ）は第１フレーム（前回フレーム）の例である。ラベルの欄にはラベリング処理部１０７が付与したラベルが格納される。ラベル毎に特徴量である、面積、輝度、重心位置、移動方向などが計算され、格納される。各ラベルのデータの例は、ラベルがＦ１Ｌ１、面積が１０、輝度が２０、重心位置が（５０，１５０）、方向が０である。図８（ｂ）は第２フレーム（今回フレーム）の例である。各ラベルのデータの例は、ラベルがＦ２Ｌ１の物体画像の場合、面積が１１、輝度が１９、重心位置が（５２，１４９）、方向が３である。また、ラベルがＦ２Ｌ２の物体画像の場合、面積が５、輝度が１１、重心位置が（９０，４５）、方向が８５である。特徴量テーブルはメモリに格納しても良いし、磁気ディスクドライブのような外部記憶装置に格納しても良い。

なお、特徴量の相関が高いとは特徴量が同一ないし近似していることを意味する。例えば、図９（ａ）のラベルＦ１Ｌ１が追跡目標であるとすると、上述したデータの例を参照すれば、図９（ｂ）においてラベルＦ２Ｌ１の方がラベルＦ２Ｌ２よりも特徴量の相関が高いことが分かる。

相関の高さを計算する際に、特徴量に係数を掛けて特定の特徴量を特に重視するように構成してもよい。

以上述べたように、上記実施形態２において、物体画像の面積と輝度など他の特徴量との組み合わせを用いれば、より精度の高い追跡が可能となる利点がある。

本発明において、物体画像の面積、最大輝度、重心座標、移動方向のうちから一種類、或いは２以上を特徴量として計算することは可能である。

本発明の実施形態における目標検出追随装置の構成を模式的に表した図である。 ラベリング処理部１０７において行われるラベリング処理のフローチャートである。 特徴量計算記憶部１０６において行われる特徴量計算記憶処理のフローチャートである。 連結調査処理部１０８において行われる連結調査処理のフローチャートである。 目標判断部１０９において行われる目標判断処理のフローチャートである。 特徴量計算記憶部１０６において行われる特徴量計算記憶処理の、実施形態２におけるフローチャートである。 目標判断処理部１０９において行われる追跡目標の判断方法の例をまとめた図である。 特徴量の種類と追跡目標の判定方法をまとめた図である。 特徴量テーブルの例である。

符号の説明

１０１：撮像処理部、
１０２：ＡＤ変換部、
１０３：前処理部、
１０４：特徴強調部、
１０５：２値化処理部、
１０６：特徴量計算記憶部、
１０７：ラベリング処理部、
１０８：連結調査処理部、
１０９：目標判断部、
１１０：追跡処理部、
１１１：ジンバル機構部。

Claims (4)

1. 撮像処理部により得られた映像信号をフレーム毎のデジタル信号の画像信号に変換するＡＤ変換部と、
   前記ＡＤ変換部が変換した画像内の物体画像毎にラベルを付与するラベリング処理部と、
   前記ラベリング処理部がラベルを付与した前記物体画像の面積を算出し、前記ラベルごとに前記面積を格納する特徴量テーブルを記憶する面積計算記憶部と、
   前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の位置関係を検出する連結調査処理部と、
   前記面積計算記憶部が前記特徴量テーブルに格納した前記前回フレームにおける前記物体画像と前記今回フレームにおける前記物体画像の前記ラベルごとの面積の相関関係及び前記連結調査処理部が検出した前記ラベルごとの位置関係から、前記前回フレームにおいて存在した追跡目標が前記今回フレームにおいて消滅し、前記前回フレームの追跡目標の位置から一定距離内において物体画像が発生したと判定したとき、前記発生した物体画像のうち前回フレームにおける追跡目標の面積と相関の高い面積をもつ前記発生した物体画像を今回フレームにおける追跡目標の物体画像と判定する目標判断部と、
   前記目標判定部が判定した追跡目標の位置に基づいて、撮像処理部の方向を制御するジンバル機構部と、
   を有する目標検出追随装置。
2. 撮像処理部により得られた映像信号をフレーム毎のデジタル信号の画像信号に変換するＡＤ変換部と、
   前記ＡＤ変換部が変換した画像内の物体画像毎にラベルを付与するラベリング処理部と、
   前記ラベリング処理部がラベルを付与した前記物体画像の特徴量を算出し、前記ラベルごとに前記特徴量を格納する特徴量テーブルを記憶する特徴量計算記憶部と、
   前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の位置関係を検出する連結調査処理部と、
   前記特徴量計算記憶部が前記特徴量テーブルに格納した前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の前記ラベルごとの特徴量の相関関係又は前記連結調査処理部が検出した前記ラベルごとの位置関係から、前記前回フレームにおいて存在した追跡目標が前記今回フレームにおいて消滅し、前記前回フレームの追跡目標の位置から一定距離内において物体画像が発生したと判定したとき、前記発生した物体画像のうち前回フレームにおける追跡目標の特徴量と相関の高い特徴量をもつ前記発生した物体画像を今回フレームにおける追跡目標の物体画像と判定する目標判断部と、
   前記目標判定部が判定した追跡目標の位置に基づいて、撮像処理部の方向を制御するジンバル機構部と、
   を有する目標検出追随装置。
3. 前記特徴量は、物体画像の面積、最大輝度、重心座標、移動方向のうちのいずれかである請求項２記載の目標検出追随装置。
4. 前記特徴量は、物体画像の面積と、最大輝度、重心座標、移動方向のうちのいずれかの組み合わせである請求項２記載の目標検出追随装置。

Images