JP3174869B2

JP3174869B2 - 目標物体追尾装置

Info

Publication number: JP3174869B2
Application number: JP23739092A
Authority: JP
Inventors: 啓之阿部; 勝村松
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1992-09-04
Filing date: 1992-09-04
Publication date: 2001-06-11
Anticipated expiration: 2016-06-11
Also published as: JPH0683963A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラ等の撮像手段で
得られた入力画像データと、記憶手段内に記憶された参
照画像データとの間で残差演算を行い、この撮像手段の
視野領域内において所定の目標物体を追尾する目標物体
追尾装置に関する。

【０００２】

【従来の技術】この種の目標物体追尾装置としては、た
とえば特公昭６０−３３３５０号公報、特公昭６１−１
９０７６号公報に開示されたものがある。これらは、予
め記憶した参照画面と、撮像装置から供給される画像信
号をＡ／Ｄ変換した入力画面との相関係数を求め、この
相関係数の最大値を与える座標を検出して所定の目標物
体を追尾する。この際、追尾動作の実時間化を目的とし
て、入力画面内に相関演算用の領域を設け、この領域内
において参照画面との相関係数演算を行っている。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来の目標物体追尾装置にあっては、相関演算用の領
域は、前回の追尾動作により得られた目標物体の位置を
中心にして設定されるか、あるいは入力画面内で固定さ
れていたので、スポーツシーンなど動きの速い目標物体
はこの相関演算用の領域から目標物体が外れてしまうお
それがあり、その位置を追尾することが困難であった。
また、スポーツシーンなどでは目標物体の形状が変化し
たり（たとえば正面向きが横向きになる）、あるいは目
標物体の輝度が変化する（たとえば日向から日陰へ移動
する）と、予め記憶されている参照画像との相関演算に
よっては目標物体の位置を追尾できない場合が生じてい
た。

【０００４】本発明の目的は、動きの速い目標物体の位
置を迅速かつ確実に追尾することの可能な目標物体追尾
装置を提供することにある。

【０００５】

【課題を解決するための手段】クレーム対応図である図
１に対応付けて説明すると、請求項１の発明は、被写界
を測光して複数の色成分を有する入力画像データを出力
する撮像手段１０１と、撮影手段１０１の出力に基づい
て、追尾すべき目標物体の画像データとなる参照画像デ
ータを記憶する記憶手段１０２と、入力画像データおよ
び参照画像データの最小残差量を算出する演算手段１０
３と、最小残差量に基づいて目標物体の位置を検出する
位置検出手段１０４とを備えた目標物体追尾装置に適用
される。そして、参照画像データが含まれる領域に隣接
する隣接領域を被写界内に設定する隣接領域設定手段１
０７と、参照画像データおよび隣接領域に含まれる入力
画像データの残差値を複数の色成分別に算出し、この残
差値の最小値が最も大きくなる色を検出する残差値色検
出手段１０９と、残差値色検出手段１０９により検出さ
れた色を選択する色選択手段１０５とを備え、演算手段
１０３は、色選択手段１０５により選択された色の成分
について最小残差量を演算することにより、上述した目
的を達成する。請求項２の発明は、請求項１に記載の目
標物体追尾装置において、隣接領域設定手段１０７は、
参照画像データが含まれる領域を所定数の画素に対応し
てずらすことにより隣接領域を被写界内に設定すること
を特徴とする。請求項３の発明は、請求項２に記載の目
標物体追尾装置において、隣接領域設定手段１０７は、
参照画像データが含まれる領域を上下左右、および左右
斜め上下にそれぞれ１画素分ずらすことにより隣接領域
を被写界内に設定することを特徴とする。

【０００６】

【作用】−請求項１− 色選択手段１０５は、参照画像データ、および参照画像
データが含まれる領域に隣接する隣接領域に含まれる入
力画像データについて複数の色成分別に算出される残差
値の最小値が最も大きくなる色を選択し、演算手段１０
３は、この色選択手段１０５により選択された色の成分
について最小残差量を演算する。色選択手段１０５によ
り、複数存在する色の中から１つの色を選択すれば、演
算手段１０３により全ての色成分について最小残差量を
算出する場合に比較して、演算手段１０３における演算
手順の省略、演算時間の短縮を図ることができる。

【０００７】

【実施例】

（一実施例）図２は、本発明による目標物体追尾装置の
一実施例が内蔵されたカメラを示す概略図である。図に
おいて、１は銀塩写真に適用される一眼レフカメラ（以
下、単にカメラと称する）であり、このカメラ１におい
て、被写体からの光はカメラ１前部の撮影レンズ２を通
り、ミラー３により上方に向けて反射されてスクリーン
４上で結像される。撮影者は、このスクリーン４上に結
像した被写体像をプリズム５および接眼レンズ９を通し
て観察する。また、スクリーン４上の被写体像は再結像
レンズ６により撮像センサ７上に結像され、この撮像セ
ンサ７からの出力はマイクロコンピュータ等を内蔵する
演算装置８によって処理される。演算装置８は不図示の
記憶素子を備え、この記憶素子内にはテンプレートとな
る参照画像がデジタルデータとして記憶される。

【０００８】図３は、撮像センサ７の詳細を示す図であ
る。図３に示すように、撮像センサ７はマトリクス状に
配列された複数（図示例では１８列×１２行）の画素１
０を備えており、撮影者が観察する被写界像と等価な像
がこの撮像センサ７上に結像される。図中、Ａは撮影者
が観察する被写界全体（すなわち撮像センサ７全体）に
対応する視野領域、Ｂは目標物体検出位置を示す追尾領
域であり、本実施例では追尾領域Ｂは４列×４行の画素
から構成されている。各画素１０は、図４に示すように
さらに３つの細画素１１ａ〜１１ｃに分割されており、
これら細画素１１ａ〜１１ｃのそれぞれに図示のごとく
ＲＧＢ３原色フィルター（不図示）が設けられることに
より、被写体像のＲＧＢ出力が得られる。

【０００９】次に、図５〜図６、図９〜図１０のフロー
チャートおよび図１１〜図１６を参照して、本実施例の
カメラ１の動作について説明する。 (１) 色選択処理図５のフローチャートに示すプログラムは、撮影者が被
写体像を観察して目標となる被写体を追尾領域Ｂ内に捉
えた段階で、たとえば不図示のレリーズボタンを半押し
する等の動作で撮影者が被写体捕捉を指令することによ
り開始する。なお、プログラム開始時においては、図３
に示すように追尾領域Ｂは視野領域Ａの略中央に位置し
ているものとする。

【００１０】まず、ステップＳ１では追尾領域Ｂ内の各
画素のＲＧＢ出力を撮像センサ７から得る。追尾領域Ｂ
内のＲＧＢ出力は、演算装置８内の不図示の一時記憶素
子内に格納される。サブルーチンＳＲ１では、ステップ
Ｓ１で得られた追尾領域Ｂ内のＲＧＢ出力の中からいず
れか１つの色出力を選択する色選択処理が行われる。

【００１１】色選択処理の詳細は図６のフローチャート
に示される。ステップＳ１０１では、ステップＳ１で得
られた追尾領域Ｂ内のＲＧＢ出力を各色毎に加算する。
ステップＳ１０２では、ステップＳ１０１で得られた加
算結果の最大値を求め、この最大値が得られた色（Ｒ、
Ｇ、Ｂのいずれか）を検出、選択する。以降、選択され
た色をαで示す。この後、プログラムは図５のメインル
ーチンに戻る。

【００１２】ステップＳ２では、追尾領域Ｂ内のＲＧＢ
出力のうちサブルーチンＳＲ１で選択された色αの出力
をＢ_ij（ｉ，ｊ＝１〜４）とおき、演算装置８内の不図
示の記憶素子内に行列形式で格納する。この値Ｂ_ijが、
位置を追尾すべき目標被写体（目標物体）が含まれる参
照画像データである。

【００１３】(２) 演算領域設定ステップＳ３では、視野領域Ａ内の各画素の色αの出力
を撮像センサ７から得る。視野領域Ａ内の色αの出力
は、演算装置８内の不図示の一時記憶手段に格納され
る。ステップＳ４では追尾領域Ｂの速度ベクトルおよび
加速度ベクトルを算出する。図１１に示すように、追尾
領域Ｂは目標被写体の移動に連れて視野領域Ａ内で移動
し、後述のステップＳ９で目標被写体を検出する毎にそ
の位置が設定される。速度ベクトルＶ（ｖ_x，ｖ_y）は、
ステップＳ９における目標被写体検出間隔の間に追尾領
域Ｂが移動した行方向（以下Ｙ方向ともいう）および列
方向（以下Ｘ方向ともいう）の画素数で定義される。ま
た、加速度ベクトルＡＣ（ａ_x，ａ_y）は、互いに隣り合
う速度ベクトルＶ₁、Ｖ₂（図１１参照）の行方向および
列方向の変化量（ａ_x＝ｖ_1x−ｖ_2x、ａ_y＝ｖ_1y−ｖ_2y）
で定義される。

【００１４】ステップＳ５では、ステップＳ４で算出さ
れた速度ベクトルＶの各成分の変化量（すなわち加速度
ベクトルの各成分）の絶対値|ｖ_1x−ｖ_2x|、|ｖ_1y−ｖ
_2y|が予め定められた閾値Ｔ₁より小さいか否かが判定さ
れ、判定が肯定されるとプログラムはステップＳ６へ移
行し、判定が否定されるとステップＳ７へ移行する。閾
値Ｔ₁は、目標被写体がほぼ等速で移動しているか否か
を判定するためのものであり、速度ベクトルの測定誤差
等に応じて適宜設定される。ステップＳ６では、速度ベ
クトルＶ₁、Ｖ₂の変化量が閾値Ｔ₁以下の小さい値であ
るから目標被写体は次回もほぼ同じ速度ベクトルをもっ
て移動するものと仮定し、図１１に示すようにＶ₀＝Ｖ₁
とおいて現在の追尾領域Ｂの位置から速度ベクトルＶ₀
だけずれた位置に演算領域Ｃ（演算領域については後述
する）を設定する。この後、プログラムはステップＳＲ
２へ移行する。

【００１５】次に、ステップＳ７では、ステップＳ４で
算出された加速度ベクトルＡＣの絶対値が予め定められ
た閾値Ｔ₂より大きいか否かが判定され、判定が肯定さ
れるとプログラムはステップＳ８へ移行し、判定が否定
されるとサブルーチンＳＲ２へ移行する。閾値Ｔ₂は、
目標被写体の速度が急激に変化しているか否かを判定す
るためのものであり、演算領域の大きさ等に応じて適宜
設定される。ステップＳ８では、加速度ベクトルＡＣの
値が閾値Ｔ₂以上の大きい値であるから目標被写体の動
きは不確定である（速度がより早まるかもしれず、ある
いは突然停止するかもしれない、など）とし、Ｖ₀＝Ｖ₁
とおいて現在の追尾領域Ｂの位置から速度ベクトルＶ₀
だけずれた位置に通常の演算領域より大きい演算領域Ｃ
（たとえば行、列ともに２倍、あるいはそれ以上）を設
定する。

【００１６】(３) 最小残差量演算サブルーチンＳＲ２では最小残差量演算が行われる。最
小残差量演算の詳細は図９のフローチャートに示され
る。まず、ステップＳ２０１では初期設定が行われる。
具体的には、図１２に示す演算領域Ｃ内の左上隅に検出
領域を設定し、カウンタｎに１を代入する。図１２は追
尾領域、演算領域および検出領域の位置関係を示す図で
ある。図１２において、Ｃは目標被写体が検索される領
域を示す演算領域である。図示例では追尾領域Ｂを中心
としてこの追尾領域Ｂより行方向、列方向ともに１画素
分だけ広い領域に演算領域Ｃが設定されているが、後述
のごとく演算領域Ｃの大きさは図示例に限定されない。
Ｄは追尾領域Ｂとの残差演算が行われる領域を示す検出
領域であり、追尾領域Ｂと等しい４列×４行の画素から
構成されている。

【００１７】ステップＳ２０３では、ステップＳ２０１
で設定された検出領域Ｄ内の色αの出力Ｄ_ij（ｉ，ｊ＝
１〜４）をステップＳ３で求めた視野領域Ａの出力から
求める。図１２に示す領域が設定されている場合におけ
る追尾領域Ｂおよび検出領域Ｄ内の色αの出力Ｂ_ij（こ
れは参照画像データでもある）、Ｄ_ijの位置関係を図１
３に示す。

【００１８】ステップＳ２０４では、参照画像データＢ
_ijおよび検出領域Ｄの出力Ｄ_ijの残差量が演算される。
残差量は、対応する（つまり添字が共通の）画素単位で
の各出力間の差の総和、すなわちΣΣＷ_ij|Ｂ_ij−Ｄ_ij|
（ここに、ΣΣはｉ＝１〜４、ｊ＝１〜４までの総和を
示す）により定義される。Ｗ_ijは重み係数であり、残差
量が絶対差を演算する際にその情報量が減少し、加えて
総和を演算する際にさらに情報量が減少するために目標
被写体が存在しない箇所で残差量が最小となる（疑似マ
ッチングと呼ぶ）ことを防ぐためのものである。重み係
数Ｗ_ijは、参照画像データＢ_ijにおいて中央に近い画素
ほど目標被写体の重要なデータを与える確率が高いこと
を考慮して、中央に近い画素ほど大きくし、その値は経
験的に定められる。一例としてｉ，ｊともに２，３のど
ちらかであればＷ_ij＝２、それ以外はＷ_ij＝１とされ
る。残差量は、演算領域Ｃ内での演算回数ｎとともに変
数Ｓｕｍ_nとして演算装置８内の記憶素子内に格納され
る。

【００１９】ステップＳ２０５では、次の残差量演算の
ために検出領域Ｄを移動させ、カウンタｎを１つインク
リメントする。すなわち、検出領域Ｄを図１２、図１３
に示す位置から１画素分右へずらし、検出領域Ｄがすで
に演算領域Ｃの右端に位置しているときは１画素分下へ
ずらすとともに演算領域Ｃの左端に位置させる。このよ
うにして、検出領域Ｄは図１２、図１３において左から
右へ、上から下へ１画素毎に順次移動する。図１３に示
す位置から検出領域Ｄを１画素分右へずらした状態にお
ける追尾領域Ｂおよび検出領域Ｄ内の色αの出力Ｂ_ij、
Ｄ_ijの位置関係を図１４に示す。

【００２０】ステップＳ２０６ではカウンタｎの値が最
終値（図示例ではｎ＝１０）に至ったか否かが判定さ
れ、判定が肯定されるとプログラムはステップＳ２０７
へ移行し、判定が否定されるとステップＳ２０３へ戻っ
て上述の処理を繰り返す。このようにして、検出領域Ｄ
を移動させながら参照画像データとの間で残差演算を繰
り返し、９個の残差量を演算する。残差量演算終了時に
おける追尾領域Ｂおよび検出領域Ｄ内の色αの出力
Ｂ_ij、Ｄ_ijの位置関係を図１５に示す。

【００２１】ステップＳ２０７では、Ｓｕｍ_n（ｎ＝１
〜９）のうち最小値（最小残差量）を与えるＳｕｍ_nを
検出する。ステップＳ２０８では、Ｓｕｍ_nの最小値を
与える検出領域Ｄ内に目標被写体が存在するものと判断
し、この検出領域Ｄの位置を算出する。この後は、図５
のメインルーチンに戻る。

【００２２】(４) 追尾領域移動、次回演算領域設定ステップＳ９では、サブルーチンＳＲ２によって算出さ
れた目標被写体を含む検出領域Ｄの位置に追尾領域Ｂを
移動する。これにより、移動する目標被写体の追尾が行
える。また、本実施例では、図１１に示すように速度ベ
クトルＶおよび加速度ベクトルＡＣの算出のために過去
の追尾領域Ｂの位置を必要とするため、過去２回分の追
尾領域Ｂの位置が記憶素子内に記憶される。

【００２３】サブルーチンＳＲ３では、次回演算領域設
定が行われる。これは、図１６に示すように、演算領域
Ｃが追尾領域Ｂより何画素分大きいかを示す画素幅につ
いて列方向の画素幅をＳ_x、行方向の画素幅をＳ_yとする
と、残差量演算回数ｎとＳ_x、Ｓ_yとの間にはｎ＝（２Ｓ_x＋１）×（２Ｓ_y＋１）という関係が存在し、目標被写体を見失わないように演
算領域Ｃを大きくすると残差量演算回数ｎが増加して目
標被写***置算出までの時間を長く必要とし、その結果
として目標被写体を見失うことがある、という二律背反
的状況があるため、サブルーチンＳＲ２で算出された最
小残差量に基づいて最適な演算領域Ｃの大きさを設定す
るためのものである。

【００２４】次回演算領域設定の詳細は図１０のフロー
チャートに示される。まず、ステップＳ３０１では、サ
ブルーチンＳＲ２で求められた最小残差量が閾値Ｔ₃よ
り大きいか否かが判定され、判定が肯定されるとプログ
ラムはステップＳ３０２へ移行し、判定が否定されると
ステップＳ３０５へ移行する。ステップＳ３０２、Ｓ３
０３では、最小残差量が閾値Ｔ₃以上の大きな値である
から目標被写体の動作が大きいものと仮定し、演算領域
Ｃを拡張する作業が行われる。すなわち、演算領域Ｃの
列方向および行方向の画素幅Ｓ_x、Ｓ_yに（最小残差量／
Ｔ₃＋定数）の値を代入する。ステップＳ３０１におい
て最小残差量＞Ｔ₃なる判定がされていることより（最
小残差量／Ｔ₃）の項は１以上の値をとり、最小残差量
の増加に比例して増加する。ついでステップＳ３０４で
は、拡張された演算領域Ｃの大きさを安定させるため
に、閾値Ｔ₃を所定量だけ増加させる。一方、ステップ
Ｓ３０５、３０６では、最小残差量が閾値Ｔ₃以下の小
さな値であるから目標被写体の動作が小さいものと仮定
し、演算領域Ｃの列方向および行方向の画素幅Ｓ_x、Ｓ_y
をそれぞれ１画素ずつ縮小する作業が行われる。ついで
ステップＳ３０７では、閾値Ｔ₃を所定量だけ減少させ
て以降の目標被写体の動作に備える。この後、プログラ
ムはメインルーチンに戻る。

【００２５】(５) 参照画像更新ステップＳ１０では、サブルーチンＳＲ２で求められた
最小残差量が上述の閾値Ｔ₃より大きいか否かが判定さ
れ、判定が肯定されるとプログラムはステップＳ３に戻
り、上述の処理を繰り返す。一方、判定が否定されると
プログラムはステップＳ１１に移行する。

【００２６】ステップＳ１１では、参照画像の更新処理
が行われる。参照画像更新は、目標被写体の連続的な変
化（例えば正面顔から横顔）に対応するために画像を入
力するたびに参照画像データの何分の１かを新しいデー
タを含んだ形で更新する。このステップでは、参照画像
データＢ_ijに次式Ｂ_ij＝(１−ｋ)Ｂ_ij＋ｋＤ_ij （ｉ，ｊ＝１〜４）で与えられる値を代入する。ここに、０≦ｋ≦１、通常
はｋ＝0.1〜0.2程度で与えられる経験値である。また、
Ｄ_ijは、サブルーチンＳＲ２においてＳｕｍ_nが最小値
をとる検出領域Ｄのデータである。但し、目標被写体の
動きが激しいとき、または目標被写体の前方を障害物が
通過するなどの場合、参照画像の更新作業を行うと本来
の目標被写体以外のデータが取り込まれてしまうため、
上述のステップＳ１０で示すように最小残差量が閾値Ｔ
₃より大きい場合に更新処理を禁止する。以後、プログ
ラムはステップＳ３に戻って上述の処理を繰り返す。

【００２７】以上の動作により、カメラ１により撮像さ
れる目標被写体のファインダ画面内の位置を追尾するこ
とができる。ここで、本実施例では、撮像センサ７から
のＲＧＢ出力のうち１つの色αについての出力を選択し
て残差演算を行っているので目標被写体検出のための演
算時間を全体として短縮でき、これにより、スポーツシ
ーンなど動きの速い目標被写体であってもその位置を迅
速に追尾することができる。しかも、最大出力が得られ
る色αを選択することにより目標物体を検出するために
特徴的な色を選択でき、色出力選択による情報量減少を
補って確実な位置検出が可能となる。さらに、位置検出
の度に参照画像データを部分的に更新しているので、目
標被写体の連続的変化あるいは目標被写体の輝度変化が
あっても確実に目標被写体を捕捉することができ、確実
な位置検出が可能となる。しかも、本実施例では、撮像
センサ７に対応する視野領域Ａ内に演算領域Ｃを設け、
目標被写体の速度、加速度を計測して演算領域Ｃの位置
を予測しており、また最小残差量の大きさによって演算
領域Ｃの大きさを最適に制御することで上述した従来例
のように目標被写体を見失うといった事態を防ぐことが
でき、確実な目標被写体追尾が可能となる。これによ
り、画面全体について残差量を求める必要がなくなるこ
ととあいまって、スポーツシーンなど動きの速い目標被
写体であってもその位置を確実かつ迅速に追尾すること
ができる。

【００２８】（変形例）色選択は、上述の一実施例に示
すように最大出力が得られる色αを選択する手法のみな
らず、他の好適な手法も採用できる。図７は、色選択処
理の他の例を示すフローチャートである。ステップＳ４
０１では、ステップＳ１で得られた追尾領域Ｂ内のＲＧ
Ｂ出力を各色毎に加算する。ステップＳ４０２では、図
１７に示すように追尾領域Ｂの上下左右にそれぞれ隣接
し、この追尾領域Ｂと同様に４列×４行の画素から構成
される４つの隣接領域Ｂ₁〜Ｂ₄内のそれぞれのＲＧＢ出
力を各色毎に加算する。ステップＳ４０３では、ステッ
プＳ４０１およびＳ４０２で得られた追尾領域Ｂ内の加
算結果およびそれぞれの隣接領域Ｂ₁〜Ｂ₄内の加算結果
の差を各色毎に求め、その最大値が得られた色（Ｒ、
Ｇ、Ｂのいずれか）を検出、選択する。この後、プログ
ラムは図５のメインルーチンに戻る。

【００２９】図８は、色選択処理のまた他の例を示すフ
ローチャートである。ステップＳ５０１では、追尾領域
Ｂと同様に４列×４行の画素から構成され、この追尾領
域Ｂから上下左右、および左右斜め上下にそれぞれ１画
素分ずらして配置された８つの検出領域および追尾領域
の各々の残差量を各色毎にそれぞれ求める。ステップＳ
５０２では、ステップＳ５０１で得られた８つの残差量
の最小値を各色毎に求める。ステップＳ５０３では、ス
テップＳ５０２で得られた残差量の最小値から、その最
大値となる色（Ｒ、Ｇ、Ｂのいずれか）を検出、選択す
る。この後、プログラムは図５のメインルーチンに戻
る。

【００３０】なお、本発明の目標物体追尾装置は、その
細部が上述の実施例に限定されず、種々の変形が可能で
ある。一例として、一実施例では本発明を一眼レフカメ
ラに適用した例を示したが、ビデオカメラ等の動画撮影
用撮像手段にも適用可能である。また、テンプレートと
なる参照画像データは、上述の実施例のごとく目標物体
追尾前に取り込んだものだけでなく、目標物体の形状等
を予め知ることができるのであれば、この目標物体に対
応して予め記憶したものであってもよい。同様に、入力
画像データも実時間的に入力されるものだけでなく、予
め記憶しておいたものであってもよい。また、上述の実
施例では速度，加速度の双方を用いて演算領域の設定を
行なっていたが、いずれか一方のみでもよい。加速度を
用いた場合、加速度が零とはすなわち目標物体が等速で
移動していることであるから、加速度および初速を検出
すれば演算領域の位置，大きさの双方を設定できる。

【００３１】

【発明の効果】以上詳細に説明したように、請求項１の
発明によれば、参照画像データ、および参照画像データ
が含まれる領域に隣接する隣接領域に含まれる入力画像
データについて残差値を複数の色成分別に算出し、算出
された残差値の最小値が最も大きくなる色を選択し、こ
の選択された色の成分について残差量を演算しているの
で、全ての色成分について残差量を算出する場合に比較
して、残差演算手順の省略、演算時間の短縮を図ること
ができる。これにより、スポーツシーンなど動きの速い
目標物体であってもその位置を迅速に追尾することが可
能となる。特に、目標物体を検出するために特徴的な色
が選択できるから、色出力選択による情報量減少を補っ
て確実な位置検出が可能となる。

【図面の簡単な説明】

【図１】本発明のクレーム対応図である。

【図２】本発明の目標物体追尾装置が適用されたカメラ
の一実施例を示す概略図である。

【図３】撮像センサの詳細を示す図である。

【図４】画素の詳細を示す図である。

【図５】一実施例の動作を説明するためのフローチャー
トである。

【図６】色選択処理の一例を示すフローチャートであ
る。

【図７】色選択処理の他の例を示すフローチャートであ
る。

【図８】色選択処理のまた他の例を示すフローチャート
である。

【図９】最小残差量演算の詳細を示すフローチャートで
ある。

【図１０】次回演算領域設定の詳細を示すフローチャー
トである。

【図１１】速度ベクトルの定義および速度による被写体
位置の予測を示す図である。

【図１２】追尾領域、演算領域および検出領域の初期設
定時の位置関係を示す図である。

【図１３】初期設定時における追尾領域および検出領域
内の色出力の位置関係を示す図である。

【図１４】残差演算途中における追尾領域および検出領
域内の色出力の位置関係を示す図である。

【図１５】残差演算終了時における追尾領域および検出
領域内の色出力の位置関係を示す図である。

【図１６】演算領域設定手順を説明するための図であ
る。

【図１７】色選択処理２での検出領域と隣接領域との位
置関係を示す図である。

【符号の説明】

１カメラ７撮像センサ８演算装置１０画素

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平４−117089（ＪＰ，Ａ) 特開平２−123877（ＪＰ，Ａ) 特開昭62−206980（ＪＰ，Ａ) 特開昭62−237591（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/20 G02B 7/28 H04N 7/18

Claims

(57)【特許請求の範囲】

【請求項１】被写界を測光して複数の色成分を有する入
力画像データを出力する撮像手段と、前記撮影手段の出力に基づいて、追尾すべき目標物体の
画像データとなる参照画像データを記憶する記憶手段
と、前記入力画像データおよび前記参照画像データの最小残
差量を算出する演算手段と、前記最小残差量に基づいて前記目標物体の位置を検出す
る位置検出手段とを備えた目標物体追尾装置において、前記参照画像データが含まれる領域に隣接する隣接領域
を前記被写界内に設定する隣接領域設定手段と、前記参照画像データおよび前記隣接領域に含まれる前記
入力画像データの残差値を前記複数の色成分別に算出
し、この残差値の最小値が最も大きくなる色を検出する
残差値色検出手段と、前記残差値色検出手段により検出された色を選択する色
選択手段とを備え、前記演算手段は、前記色選択手段により選択された色の
成分について前記最小残差量を演算することを特徴とす
る目標物体追尾装置。
【請求項２】請求項１に記載の目標物体追尾装置におい
て、前記隣接領域設定手段は、前記参照画像データが含まれ
る領域を所定数の画素に対応してずらすことにより前記
隣接領域を前記被写界内に設定することを特徴とする目
標物体追尾装置。
【請求項３】請求項２に記載の目標物体追尾装置におい
て、前記隣接領域設定手段は、前記参照画像データが含まれ
る領域を上下左右、および左右斜め上下にそれぞれ１画
素分ずらすことにより前記隣接領域を前記被写界内に設
定することを特徴とする目標物体追尾装置。