JPH07248371A

JPH07248371A - 追尾目標判定方式

Info

Publication number: JPH07248371A
Application number: JP6038365A
Authority: JP
Inventors: Hisao Nanba; 久男難波; Hiroyuki Fujiwara; 宏之藤原; Hidekazu Nishiuchi; 秀和西内; Hiroyuki Shibuya; 博之渋谷
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1994-03-09
Filing date: 1994-03-09
Publication date: 1995-09-26

Abstract

(57)【要約】【目的】本発明は、画像上の目標を追尾する画像追尾
装置において、画像上を探索して目標の位置を検出する
追尾目標判定方式に関し、目標以外の物体が画像上に存
在する場合や目標の輝度レベルが変化する場合において
も、確実に目標の位置を検出できる追尾目標判定方式を
提供することを目的とする。【構成】画像上の位置に対応付けた複数の色刺激値と
して、その画像を示す画像情報を取り込む画像入力手段
１１と、複数の色刺激値の目標に固有な比率が与えら
れ、その比率と許容誤差範囲内で一致した比率を有する
複数の色刺激値を上記の画像情報より探索し、その複数
の色刺激値に対応した目標の画像上の位置を検出する目
標検出手段１２とを備えたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像装置の向きを目標
に追従させ、その目標を撮像装置から取り込まれる画像
上に捕捉する画像追尾装置において、画像上を探索して
目標の位置を検出する追尾目標判定方式に関する。

【０００２】

【従来の技術】従来、飛行機等の高速に移動する目標を
画像上に捉え、追尾する装置として画像追尾装置があっ
た。このような装置では、画像上の目標の位置を検出
し、その目標の向きへカメラの向きを追従制御すること
により目標を追尾している。

【０００３】このように、目標を追尾するためには、画
像上の目標を的確に識別し、その位置を検出しなければ
ならない。従来の画像追尾装置では、赤外線領域におけ
る画像の輝度レベルを観測し、その輝度レベルが最大値
を示す最高輝度レベル点を目標として判定し、その位置
を検出していた。

【０００４】このような最高輝度レベル点は、赤外線を
高い輝度レベルで放射する高温の物体に相当する。した
がって、従来の装置は、例えば、飛行機のエンジンのよ
うに、高温となる物体の位置を検出する場合に適してい
た。

【０００５】

【発明が解決しようとする課題】しかし、このような画
像追尾装置では、赤外線領域で目標よりも大きな輝度レ
ベルを持つ別の物体が画像上に存在すると、その別の物
体を目標として判定して誤った位置を検出する。このよ
うな誤検出は、例えば、太陽やその反射体が画像上に存
在するような日常的な状況で起きていた。その状況で
は、画像追尾装置は目標の正しい位置を得られず、目標
の追尾を継続できなかった。

【０００６】また、目標の輝度レベルは、撮像装置の露
出、目標との距離または照射光の照度が変わることによ
り、大きく変化する。従来の装置のように、輝度レベル
を観測して目標を判定する装置では、目標の輝度レベル
が刻々と変化するために、目標を判定できなくなる場合
も多かった。

【０００７】本発明は、目標以外の物体が画像上に存在
する場合や目標の輝度レベルが変化する場合において
も、確実に目標の位置を検出できる追尾目標判定方式を
提供することを目的とする。

【０００８】

【課題を解決するための手段】図１は、請求項１に記載
した発明の原理ブロック図である。請求項１に記載した
発明では、画像上の位置に対応付けた複数の色刺激値に
より、その画像を示す画像情報を取り込む画像入力手段
１１と、複数の色刺激値の目標に固有な比率が与えら
れ、その比率と許容誤差範囲内で一致した比率を有する
複数の色刺激値を上記の画像情報より探索し、その複数
の色刺激値に対応した目標の画像上の位置を検出する目
標検出手段１２とを備えたことを特徴とする。

【０００９】図２は、請求項２に記載した発明の原理ブ
ロック図である。請求項２に記載した発明では、画像上
の位置に対応付けた複数の色刺激値により、その画像を
示す画像情報を取り込む画像入力手段１１と、その画像
入力手段１１によって取り込まれた画像情報を順次検索
して、複数の色刺激値の合成値もしくは単数の色刺激値
が極大値または極小値を示すピーク点の画像上の位置を
検出するピーク検出手段２２と、そのピーク検出手段２
２によって検出されたピーク点の位置を取り込み、その
位置の色刺激値の比率を算出する演算手段２３と、複数
の色刺激値の目標に固有な比率が与えられ、その比率と
演算手段２３によって算出された比率とを比較し、許容
誤差範囲内で一致するピーク点の位置を前記目標の位置
として検出する目標比較手段２４とを備えることを特徴
とする。

【００１０】

【作用】請求項１に記載の発明にかかわる追尾目標判定
方式では、画像入力手段１１は、画像の分光特性が示す
特徴を複数の色刺激値として取り込む。

【００１１】位置検出手段１２は、これらの色刺激値の
比率と目標の比率が許容誤差範囲内で一致する条件によ
って、画像上の目標を探索する。目標の色刺激値は、撮
像装置の露出、目標との距離または照射光の照度が変動
することにより変化する。しかし、色刺激値の相互の変
化は相対的なので、色刺激値の比率は、これらの変動に
対して変化しない値となる。

【００１２】したがって、このような比率によって目標
を判定することにより、目標以外の物体を比率の相違に
よって区別し、且つ目標の色刺激値の変動にかかわら
ず、画像上の目標を検出する。

【００１３】請求項２に記載の発明にかかわる追尾目標
判定方式では、画像入力手段１１によって得られた画像
は、例えば空のような、広範囲の平坦部を有する。この
ような平坦部には目標が存在しないので、ピーク検出手
段２２は、色刺激値の極大値または極小値を示すピーク
点を画像から選択することにより、画像の平坦部を探索
の対象から除外する。

【００１４】また、演算手段２３では、上記のピーク点
における色刺激値の比率を算出することにより、輝度レ
ベルの変動によらない色の特徴を数値化する。目標比較
手段２４は、目標に固有の比率と各々のピーク点の比率
とを比較することにより、目標とピーク点との色の特徴
を比較する。そして、許容誤差範囲内で比率の一致する
ピーク点の位置を目標の位置として検出する。

【００１５】

【実施例】以下、図面に基づいて本発明の実施例につい
て詳細に説明する。図３は、請求項１および請求項２に
記載の発明に対応した実施例を示す図である。

【００１６】図において、ビデオカメラ３０の３つの出
力は、それぞれデジタル変換部３１ｒ、３１ｇ、３１ｂ
のアナログ入力に接続される。デジタル変換部３１ｒ、
３１ｇ、３１ｂのデジタル出力は、それぞれフレームメ
モリ３２ｒ、３２ｇ、３２ｂのデータ入力に接続され
る。フレームメモリ３２ｒのアドレス端子にはピーク検
出部３３のアドレス出力が接続され、フレームメモリ３
２ｒのデータ出力はピーク検出部３３の第１の入力に接
続される。ピーク検出部３３の出力は波長帯間演算部３
４の第１の入力および目標候補記憶部３５の第１の入力
に接続される。フレームメモリ３２ｇのアドレス端子に
は波長帯間演算部３４のアドレス出力が接続され、フレ
ームメモリ３２ｇのデータ出力は波長帯間演算部３４の
第２の入力に接続される。波長帯間演算部３４の出力は
目標候補記憶部３５の第２の入力に接続される。目標候
補記憶部３５の第１の出力は目標記憶部３６の第１の入
力に接続され、その第２の入力には図示されない操作パ
ネルから目標捕捉信号が与えられる。目標候補記憶部３
５の第２の出力および目標記憶部３６の出力は、目標位
置判定部３７の対応する入力に接続される。目標位置判
定部３７の第１の出力は反復処理制御部３８の入力に接
続され、反復処理制御部３８の出力はピーク検出部３３
の第２の入力に接続される。目標位置判定部３７の第２
の出力はジンバル制御信号生成部３９の入力に接続さ
れ、ジンバル制御信号生成部３９の駆動信号はジンバル
機構４０に与えられる。ジンバル機構４０の雲台には、
ビデオカメラ３０が配置される。

【００１７】図４は、ピーク検出部の構成を示す図であ
る。図において、フレームメモリ３２ｒのデータ入力
は、比較器４１の第１の入力および最大レベル保持回路
４２の入力に接続される。最大輝度レベル保持回路４２
のデータ出力は、比較器４１の第２の入力端子に接続さ
れると共に、波長帯間演算部３４へ接続される。比較器
４１の出力およびマスク用フレームメモリ４４のデータ
出力は論理積回路４３の対応する入力に接続され、論理
積回路４３の出力は最大レベル保持回路４２のゲート端
子およびピーク位置保持回路４５のゲート端子に接続さ
れる。データ転送回路４６のアドレス出力は、アドレス
バスを介してフレームメモリ３２ｒ、マスク用フレーム
メモリ４４、ピーク位置保持回路４５およびマスキング
部４７に接続される。ピーク位置保持回路４５の出力
は、マスキング部４７の第１の入力に接続されると共
に、波長帯間演算部３４および目標候補記憶部３５へ接
続される。データ転送回路４６の制御出力はマスキング
部４７の第２の入力に接続され、マスキング部４７のデ
ータ出力はマスク用フレームメモリ４４のデータ入力に
接続される。

【００１８】なお、本実施例と請求項１に記載の発明と
の対応を示すと、ビデオカメラ３０、デジタル変換部３
１ｒ、３１ｇ、３１ｂおよびフレームメモリ３２ｒ、３
２ｇ、３２ｂは画像入力手段１１に対応し、ピーク検出
部３３、波長帯間演算部３４、目標候補記憶部３５、目
標位置判定部３７および反復処理制御部３８は目標検出
手段１２に対応する。

【００１９】また、本実施例と請求項２に記載の発明と
の対応を示すと、ピーク検出部３３および反復処理制御
部３８はピーク検出手段２２に対応し、波長帯間演算部
３４は演算手段２３に対応し、目標候補記憶部３５およ
び目標位置判定部３７は目標比較手段２４に対応する。

【００２０】図５は、本実施例の動作フローチャートで
ある。以下、図３乃至図５に基づいて本実施例の動作を
説明する。ビデオカメラ３０は、３原色の色刺激値（以
下、光の波長の長い順に「Ｒ」、「Ｇ」、「Ｂ」と示
す。）をアナログ量として個別に示す信号を出力する。
これらの信号は、デジタル変換部３１ｒ、３１ｇ、３１
ｂを介してデジタル値に変換され、フレーム単位でフレ
ームメモリ３２ｒ、３２ｇ、３２ｂに記憶される（Ｓ
１）。

【００２１】このような画像の読み込みと同期して、ピ
ーク検出部３３の内部に備えたマスク用フレームメモリ
４４の全ての記憶領域には、初期値として論理値「１」
が設定される。また、反復処理制御部３８は、内部に在
るカウンタに初期値「０」を設定し（Ｓ２）、ピーク検
出部３３に動作開始を指示する信号を与える。

【００２２】ピーク検出部３３の内部では、反復処理制
御部３８からの動作開始を指示する信号を受けたデータ
転送回路４６は順次にアドレス値を出力し、フレームメ
モリ３２ｒおよびマスク用フレームメモリ４４より１フ
レーム分のデータを高速に読み出す。そのフレームメモ
リ３２ｒから読み出された色刺激値Ｒの値は、比較器４
１において、最大レベル保持回路４２の出力と順次比較
される。最大レベル保持回路４２の出力よりも色刺激値
Ｒが大きい場合には、比較器４１の出力により、最大レ
ベル保持回路４２およびピーク位置保持回路４５が逐次
更新され、より大きな色刺激値Ｒとそのアドレス値とを
それぞれに保持する。このような処理を１フレーム分の
データについて行うことにより、最大レベル保持回路４
２には色刺激値Ｒの最大値が保持され、かつピーク位置
保持回路４５には、その最大値の位置を示すフレームメ
モリ３２ｒのアドレス値が保持される（Ｓ３）。このよ
うに色刺激値Ｒの値が大きな点（以下、「ピーク点」と
言う。）は、色刺激値Ｒが赤外線領域を含む光の強さを
表すので、画像上に存在する高温の物体を示す。

【００２３】なお、マスキング部４７では、既に検出し
たピーク点の近傍に相当するアドレス値を出力して、マ
スク用フレームメモリ４４上のピーク点の近傍に相当す
るメモリ領域に論理値「０」を記憶する。このようなメ
モリ領域では論理積回路４３によって比較器４１の出力
が阻止されるため、ピーク検出部３３の動作を繰り返し
ても、同じピーク点は再び検出されない（以下、このよ
うな処理を「マスク処理」と言う。）（Ｓ４）。

【００２４】波長帯間演算部３４は、ピーク位置保持回
路４５からピーク点のアドレス値を与えられ、そのアド
レス値によりフレームメモリ３２ｇを読みだし、ピーク
点の色刺激値Ｇを得る。また、波長帯間演算部３４は、
最大レベル保持回路４２からピーク点の色刺激値Ｒを与
えられ、これらの色刺激値Ｒと色刺激値Ｇとの比率Φｎ
を算出し（Ｓ５）、ピーク点のアドレス値と共に目標候
補記憶部３５に記憶する。

【００２５】目標位置判定部３７では、予め目標記憶部
３６に記憶された目標の比率Φを取り込み、上記の比率
Φｎと許容誤差範囲内で一致するか否かを判定する（Ｓ
６）。その判定結果が真であればピーク点の位置を示す
アドレス値を目標の位置として出力する（Ｓ７）。ジン
バル制御信号生成部３９は、そのアドレス値に基づき、
ジンバル機構４０に駆動信号を与え、ビデオカメラ３０
の向きをそのアドレス値の示す目標の方向へ移動させ
る。

【００２６】また、目標位置判定部３７は、その判定結
果が偽であれば、反復処理制御部３８に繰り返しの指示
を与える。その指示を受けた反復処理制御部３８では、
内部のカウンタを歩進させ、その値がビデオカメラ３０
の垂直走査周期を越えない所定の回数以下であれば、再
び、ピーク検出部３３に動作開始を指示する信号を与え
る（Ｓ８）。

【００２７】以上の動作により、ビデオカメラ３０から
取り込まれた画像上のピーク点を検出し、さらにそのピ
ーク点と目標との比較を色刺激値の比率によって行い、
一致するピーク点の探索が成される。

【００２８】したがって、目標と目標以外の物体との識
別が、色刺激値の比率の違いによって確実になされる。
また、色刺激値の比率は輝度レベルの変動に依存しない
ので、目標の輝度レベルが変動しても確実に目標が判定
される。

【００２９】また、画像の全域に渡って目標を探索する
のではなく、画像のピーク点に限定して目標を探索する
ので、探索処理を高速に行うことができる。さらに、目
標の判定は「ピーク点の検出」および「色刺激値の比率
の比較」によって２重になされるので、目標を誤って判
定する確率が従来例との対比において大幅に減少する。

【００３０】また、このように処理を分割することによ
り、高速の処理が要求されるピーク検出部３３は専用の
ハードウェアによって実現され、低速の処理を行う反復
処理制御部３８、波長帯間演算部３４、目標候補記憶部
３５および目標位置判定部３７については、ソフトウェ
アによって実現して、効率良く回路規模を縮小すること
が可能となる。

【００３１】さらに、本実施例では、目標の位置を指示
する際に、まず操作者がカメラの向きを操作し、目標を
画像の中央付近に捉える。その画像のピーク点は、ピー
ク検出部３３によって繰り返し検出され、目標候補記憶
部３５に逐次に記憶される。操作者が目標記憶部３６に
目標捕捉信号を与えると、目標記憶部３６は、目標候補
記憶部３５に記憶されたピーク点の中から画像の中央部
に最も近いピーク点を選択し、そのピーク点の色刺激値
の比率Φを記憶する。このように目標の位置を指示する
操作を簡便に、かつ迅速に行うことができる。

【００３２】なお、本実施例では、ＲＧＢ表色系の色刺
激値によって目標の識別を行っているが、画像の分光特
性に基づいて特徴を区別できればよいので、たとえば、
ＸＹＺ表色系、ＹＩＱ表色系およびその他の任意の表色
系の色刺激値を用いることができる。

【００３３】また、目標の識別は人間の目によるもので
はないので、本実施例が使用する光の波長領域は、可視
光領域に限らない。したがって、撮像素子その他が感知
できる波長領域であれば、赤外線領域または紫外線領域
を含む波長領域に色刺激値を拡張しても良い。

【００３４】さらに、色刺激値の数は、人間の視覚神経
に合わせて３つにする必要は無く、比率を計算できるよ
うに複数であれば良い。また、本実施例では、色刺激値
Ｒおよび色刺激値Ｇによる１種類の比率を用いて、目標
を判定しているが、その他の色刺激値の組合せによる比
率を用いて、目標を判定してもよい。また、色刺激値は
写像変換することにより新しい色刺激値に変換できるの
で、それらの色刺激値の比率を用いて、目標を判定して
もよい。さらに、このような多種類の比率が各々に一致
するか否かによって、目標を判定してよい。

【００３５】また、本実施例では、画像のピーク点に限
定して探索を行っているが、目標が存在すると推定され
る部分を探索できれば良い。例えば、画像を走査する順
に、全域に渡って探索してもよい。また、画像追尾装置
は目標を常に画像の中央に捉えるように制御されるの
で、目標は画像の中央付近にある確率が高くなる。した
がって、画像の中央部から周辺部の順に探索しても良
い。

【００３６】さらに、色刺激値の比率を算出するとき
に、分母の色刺激値がゼロの場合を考慮して、分母の色
刺激値に微小な値を加算してもよい。また、画像を分割
し、並列に目標を探索することにより処理時間の高速化
を図ることもできる。

【００３７】さらに、本実施例では、一部ソフトウェア
によって動作を行っているが、それらの全部もしくは一
部を、相当するハードウェアによって実行しても良い。
また、本実施例では、上記のマスク処理を施しながら、
画像上の色刺激値の最大値を繰り返し検出することによ
りピーク点を検出しているが、色刺激値のレベルの極大
値または極小値を抽出して、空などの平坦部を除外でき
ればよい。例えば、画像の水平方向、垂直方向または斜
め方向に、色刺激値の高域の空間周波数成分を検出し、
ピーク点としてもよい。

【００３８】

【発明の効果】以上説明したように各請求項に記載の発
明では、目標と目標以外の物体とを色刺激値の比率の相
違によって正確に識別し、かつ目標の輝度レベルの変動
にかかわらず、目標の位置を的確に検出する。

【００３９】さらに、請求項２に記載の発明では、色刺
激値のピークと色刺激値の比率という二重の条件で目標
を判定するので、正確に目標の位置を検出できる。ま
た、画像上の広範囲を占める平坦部を探索の対象から除
外するので、迅速に目標の位置を検出できる。

【００４０】したがって、本発明を適用した画像追尾装
置では、目標を識別する性能が向上し、追尾の様々な状
況変化にかかわらず、目標を確実に追尾することができ
る。

【図面の簡単な説明】

【図１】請求項１に記載の発明の原理ブロック図であ
る。

【図２】請求項２に記載の発明の原理ブロック図であ
る。

【図３】請求項１および請求項２に記載の発明に対応し
た実施例を示す図である。

【図４】ピーク検出部の構成を示す図である。

【図５】本実施例の動作フローチャートである。

【符号の説明】

１１画像入力手段１２目標検出手段２２ピーク検出手段２３演算手段２４目標比較手段３０ビデオカメラ３１ｒ、３１ｇ、３１ｂデジタル変換部３２ｒ、３２ｇ、３２ｂフレームメモリ３３ピーク検出部３４波長帯間演算部３５目標候補記憶部３６目標記憶部３７目標位置判定部３８反復処理制御部３９ジンバル制御信号生成部４０ジンバル機構４１比較器４２最大レベル保持回路４３論理積回路４４マスク用フレームメモリ４５ピーク位置保持回路４６データ転送回路４７マスキング部

───────────────────────────────────────────────────── フロントページの続き (72)発明者渋谷博之神奈川県川崎市中原区上小田中1015番地富士通株式会社内

Claims

【特許請求の範囲】

【請求項１】画像上の位置に対応付けた複数の色刺激
値として、その画像を示す画像情報を取り込む画像入力
手段（１１）と、前記複数の色刺激値の目標に固有な比率が与えられ、そ
の比率と許容誤差範囲内で一致した比率を有する複数の
色刺激値を前記画像情報より探索し、その複数の色刺激
値に対応した目標の画像上の位置を検出する目標検出手
段（１２）とを備えたことを特徴とする追尾目標判定方
式。
【請求項２】画像上の位置に対応付けた複数の色刺激
値として、その画像を示す画像情報を取り込む画像入力
手段（１１）と、前記画像入力手段（１１）によって取り込まれた画像情
報を順次検索して、複数の色刺激値の合成値もしくは単
数の色刺激値が極大値または極小値を示すピーク点の前
記画像上の位置を検出するピーク検出手段（２２）と、前記ピーク検出手段（２２）によって検出されたピーク
点の位置を取り込み、その位置の色刺激値の比率を算出
する演算手段（２３）と、前記複数の色刺激値の目標に固有な比率が与えられ、そ
の比率と前記演算手段（２３）によって算出された比率
とを比較し、許容誤差範囲内で一致するピーク点の位置
を前記目標の位置として検出する目標比較手段（２４）
とを備えることを特徴とする追尾目標判定方式。