JPH02123877A - 移動物体の自動追尾装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野１ この発明は移動物体をＴＶカメラ等の撮像装置によって
撮像し、画像処理によりその移動物体の位置を求めこれ
を繰り返すことで、連続的に移動物体を追尾する移動物
体の自動追尾装置に関するものである。

［従来の技術１ この発明は出願人が先に出願した特開昭６３−６７０８
７号の改良に関するものである。すなわち、特開昭６３
−６７０８７号では移動物体を識別するのに、撮像フレ
ームの移動物体を取り囲む所定の枠状の背景領域を設定
し、この背景領域の輝度を背景の平均的な背景輝度とみ
なし、前記設定された背景領域内であて背景輝度と異な
る輝度を有する部分を移動物体と判別していた。

［発明が解決しようとする問題点］ このため、特開昭′６３−６７０８７号に記載の構成で
は、周囲の背景の輝度と移動物体の輝度との比較判別を
行っているため、背景部分に背景領域に存在しない輝度
を有する移動物体以外の部分が存在した場合には、判別
不充分となる場合もあった。

そこで、この発明は上記のような先行出願の構成を改良
して、移動物体の輝度に相当する輝度を各撮像フレーム
毎に順次更新して生成し、この移動物体の輝度そのもの
を判断基準として移動物体の画素を判別することで、背
景の輝度の影響を受けずに的確に移動物体を判別して、
より確実な移動物体の自動追尾を行うものである。

また、この発明の別の実施例によれば、画像中の移動物
体の面積が小さいような場合でも、移動物体の像を拡大
処理してＳ／Ｎ比を上げ、安定して移動物体の自動追尾
を行うことを目的とする。

［問題点を解決するための手段］ この発明による移動物体の自動追尾装置は、移動物体を
撮像して映像信号を出力する撮像装置と、当該撮像装置
からの撮像信号を処理して前記移動物体の自動追尾を制
御する制御信号を発生する制御装置と、前記撮像装置を
支承し前記制御装置からの制御信号に基づいて撮像装置
の撮像方向を制御する駆動台と、からなる移動物体の自
動追尾装置按であって、前記制御装置は初期設定された
移動物体の重心当該物体をとりまく背景ならびに追尾す
る移動物体の最終識別輝度とに基づいて、現在の撮像フ
レームｎで得られた画像内の移動物体及びその近傍を含
む矩形領域の輝度ヒストグラムＨＴＲＩ　（ｉ　）と、
現在の撮像フレームｎ内での現在位置と次の撮像フレー
ムｎ＋１時の移動物体の予測位置とを含んで設定される
予測領域内の輝度ヒストグラムＨＴＲＩ（ｉ）とを生成
する手段と、この生成する手段で得られた双方の輝度ヒ
ストグラムＨＭＲ（ｉ）、ＨＴＲｌ（ｉ　）を比較判別
して次の撮像フレームｎ＋１時点での移動物体の判別輝
度を生成する点に特徴がある。

また、この発明の別の実施例によれば、前記制御装置を
前回の撮像フレームｎで判別された移動物体の判別輝度
で判別される現在の撮像フレームｎ＋１中の移動物体の
２値像を拡大処理して得られる拡大移動物体像を含む領
域を前記矩形領域として、前記移動物体の判別輝度を生
成するように構成した点に特徴がある。

［実施例］ 以下、図示するこの発明の実施例に基づいて説明する。

第１図にこの発明による移動物体自動追尾装置実施例の
装置構成ブロック図を示した。

この実施例では撮像装置としてＴＶカメラ１が用いられ
てカメラ駆動台２に支承されて撮像方向調整自在となっ
ており、さらにこの装置には画像処理装置５、位置演算
装置６及び駆動台制御装置７とからなる制御装置が設け
られている。Ｗカメラ１から得られる映像信号３は次段
に設けられた画像処理装置５に入力されて、ＴＶ映像内
における移動物体の幾何学重心データ９が算出される。

さらに、ＴＶカメラ１はズーム機構を内蔵しており、画
像処理装置５内でのデジタル画像処理に必要な程度まで
に移動物体を自動的にズーミングする。位置演算装置６
は後に詳述するが、画像処理装置５から人力される幾何
学重心データから移動物体の方位角、角速度等の計測デ
ータ８を算出して、他の機器の制御情報とすることがで
きる。さらに、この位置演算装置６は幾何学重心データ
から１フレームの映像信号中の幾何学重心座標を算出し
て、駆動台制御装置７に出力する。駆動台制御装置７は
ＴＶカメラ１を制御する・ものであり、前記位置演算装
置６からの人力信号から幾何学重心が画面の中央に位置
するようカメラ駆動台２に対して駆動台動作信号４を出
力する。これにより、Ｗカメラ１は移動物体の画像を画
面の中央で捉えるよう方位角が制御される。また駆動台
制御装置７からは画像処理装置５を介して位置演算装置
６に対してＷカメラ１の現在の撮像方位を示す方位角信
号が出力される。これにより、位置演算装置６はＷカメ
ラ１の方位角信号及び映像画面中の幾何学重心座標から
移動物体の方位角、方位角速度等の計測データ８を出力
する。

次に、画像処理装置５の詳細なブロック構成を第２図に
示す。この画像処理装置は画像信号の１フレーム毎の画
像データを格納する画像メモリ１６と２値画像データ、
撮像装置方位１０を人力して幾何学重心９を算出すると
ともに後に詳述するＭＲ。

ＴＲＩ領域を演算して出力する画像演算装置１５と、さ
らに最終的に画像信号の２値画像データを生成する輝度
ヒストグラム演算器１４、輝度判定器、ルックアップテ
ーブル１２及び２値画像生成器１１が備えられている。

移動物体の画像は撮像装置であるＴＶカメラ１によって
１７３０　ｓｅｃ毎に、１７６０　ｓｅｃ間で画像信号
３として伝達され画像メモリ１６に格納され、かつ２値
画像生成器１１にも供給される。ここで、ルックアップ
テーブル１２には装置の動作開始時の為に所定のスレー
ショルドレベルで背景と移動物体を判別する為の初期値
を設定可能となっており、この初期値により作動開始時
の最初のフレームの映像信号が入力されると、このスレ
ショールドレベルにより、２値画像生成器１１が画像信
号３を背景を“０”移動物体を“１″の２値画像に変換
して２値画像データを画像演算装置１５に出力する。こ
れにより、画像演算装置１５は既知のＸ−Ｙ軸投影法に
より移動物体の幾何学重心と、テータ包絡線処理により
移動物体の大きさを算出するこの装置の初期化が終了す
る。この初期化を行うのには、前述したようにルックア
ップテーブル１２に始動時に外部条件に適した輝度のス
レショールドレベルヲ設定するとともに、ＴＶカメラ１
を例えば手動で移動物体に一旦セットして、装置の演算
を開始させれば可能となる。

こうして、移動物体の幾何学重心、及び大きさの初期デ
ータが得られた状態で通常の処理が開始される。ここで
、ｔ１時に得られた撮像フレームｎの画像から次のζ時
のフレームｎ＋１の画像が入力されるまでの間の装置内
での信号処理を第３図に示したタイムチャートに基づい
て説明する。

ｔｏ時点の映像信号は時刻ｔ、＋１／６０ｓｅｃには画
像メモリ１６内に格納されており、この画像のイメージ
は第４図のようになっている。ここで、画像演算装置１
５は既に求められている時刻−における移動物体の位置
（幾何学重心の座標）と大きさから第４図に示したよう
に移動物体１８の近傍を囲む矩形領域１９（以下ＭＲと
記す）と、これとともに次の撮像フレームｎ＋１の時刻
ｔ１における移動物体１８の予想される移動範囲領域２
０（以下ＴＲ，と記す）を決定し、ＴＲ及びＭＲ倍信号
して輝度ヒストグラム演算器１４に出力する。

ここで、１フレ一ム間での撮像画面中の移動物体の変位
可能範囲について、以下に概説する。

画面内での移動物体の位置の変化量ΔＸ　２０ｍ５ｐａ
ｎの移動物体が最高３４０　ｍ　／　ｓで画面を横切る
方向に移動しているものとし、これを画面中の３０画素
程度でとらえたとすると、１　／　３０　ｓｅａ毎のず
れは３４０ｍ／ｓＸ１／３０ｓｅｃＸ３０画素／２０ｍ
＝１７画素すなわち１フレ一ム間での位置の変位量ΔＸ
は、ΔＸ≦１７画素 で規定される。

以上の記載のようにｔ。からｔ８時までの１フレ一ム間
での移動物体の撮像フレーム範囲内での移動予測範囲位
置は規定され、これに基づいて充分な余裕を持った範囲
ＴＲ□を設定することが出来る。

こうして、ＭＲ，ＴＲ１領域信号が入力された輝度ヒス
トグラム演算器１４は各々指定された領域の画像データ
を画像メモリ１６から読み込み、各領域のヒストグラム
ＨＭＲ（ｉ　）　（ＭＲ領領域とＨＴＲＩ　（ｉ　）（
ＴＲ１領域）を算出する。この各ヒストグラム例を第６
図（ａ）、　（ｂ）に示した。ここで、第６図（ａ）の
ＭＲのヒストグラムでは移動物体１８の輝度に該当する
部分に画素数のピークが現れ、一方間図（ｂ）のＴＲ工
のヒストグラムでは移動物体１８のピークと背景の輝度
に該当する部分にも画素数のピークがあられれる。

輝度ヒストグラム演算器１４は、こうして得られた２つ
のヒストグラムを輝度判定器１３に出力する。

この輝度判定器１３では、入力された２つのヒストグラ
ムから、 の演算を行い、ＭＲおよびＴＲ，の各領域に含まれる各
輝度毎の画素数の比率を求め、第６図（Ｃ）に示したよ
うな比率特性がえられる。さらに、輝度判定器１３では
ＨＭＲ（ｉ）≠０でかつＰ（ｉ）が所定のスレショール
ド値２１よりも大なる輝度は、その輝度を有する画素の
ほとんどがＭＲ内に存在する為、即ち移動物体１８を表
す輝度であると判断し、ルックアップテーブル１２内の
該当する部分に“１″を、又それ以外の輝度の部分には
“θ′′をセットする。ここでは移動物体１８を表す輝
度を“１”′とし、背景を表す輝度を“０”とした。

次の時刻ｔ工から時刻ｔ１＋１／６０ｓｅｃまでの間に
おいて、ＴＶ左カメラから出力される次の撮像フレーム
ｎ＋１の画像信号３は、ルックアップテーブル１２に設
定された内容に従い２値画像生成器１１によって２値化
される。

画像演算装置１５では、ＴＶ左カメラの移動物体１８方
向への追尾によりＴＶ左カメラの方向が変化するが、第
５図に示したように、人力される撮像装置方位信号１０
に基づいてＴＲＩと空間的に同一な領域ＴＲ２を設定す
る。さらに、画像演算装置１５は設定された領域ＴＲ２
内で２値画像生成器１１から出力された２値化像の幾何
学的重心及び対象物１８の大きさを求める。こうして求
められた情報は、ｔ、＋　１／６０ｓｅｃからζまでの
期間中に、前述したｔ０＋　１／６０ｓｅｃからｔｌま
での期間と同様にその時点での移動物体１８に相当する
輝度を生成するのに用いられる。こうして、ｔ１＋　１
　／　６０ｓｅｃからζまでの間に更新された移動物体
１８に相当する輝度は次のζ時点からの判別に用いられ
る。こうして、撮像フレームが変わる度に、順次設定さ
れる領域ＭＲ，ＴＲ間の輝度ヒストグラム比較により、
そのフレーム時点毎の移動物体１８に相当する輝度を判
定し、これにより入力される画像信号を２値化像に変換
して移動物体１８の外形を識別する。さらに、この２値
化像より求められる幾何学重心９に基づき、位置演算装
置６によりＴＶ左カメラ目標方位が定められ、その目標
方位に従って駆動台制御装置７がカメラ駆動台２を制御
しＴＶ左カメラが移動物体１８を追尾するよう操作され
る。こうして、移動物体１８の一部に背景と同一の輝度
のものが存在したり、移動物体１８の近傍にその周囲に
は少ない輝度を有する背景部分が存在したとしても、単
に所定のスレショールドレベルで輝度差を判別するので
は無く撮像フレーム毎に変化し得る移動物体の輝度に相
当する輝度を順次更新し、これに基づいて移動物体の２
値化像を生成する構成としているため、環境変化にも対
応して連続的に移動物体１８を自動追尾することが出来
る。

次に、第７図から第１１図に基づいて、この発明の別の
実施例について説明する。第７図にこの実施例の画像処
理装置５の構成ブロック図を示したが、当初の実施例と
同じ部分には同じ参照番号をつけてその説明を省略する
。この第７図の構成においては、第２図で示した構成に
加えて２値画像メモリ２２）対象物領域判定器２３及び
対象物画像メモリ２４とが加えられた点が異なっている
。

この実施例では、以下に記載する具体的なブロックの動
作の説明の部分でその特徴部分を明らかに述べるが、前
回の実施例では移動物体の近傍を矩形の領域ＭＲで囲み
背景との間で輝度ヒストグラムの比較を行ったが、この
実施例では２値画像の拡大処理により移動物体の輪郭を
囲む領域としてとらえることでＭＲ内の背景による外乱
の低減を図ったものである。

この第７図の実施例の動作を第３図のタイムチャートに
基づいて説明する。時刻ｔ。＋１　／　６０　ｓｅｃに
は、前述の実施例と同様に時刻ｔ。における画像信号が
第８図に示したように画像メモリ１６に格納されるとと
もに２値画像生成器１１で生成された２値化画像が第９
図に示したように２値画像メモリ２２に格納され、時刻
ｔ。における移動物体１８の位置及び大きさは画像演算
装置１５内で既に求まっているものとする。画像演算装
置１５は既に求めである時刻ｔ。における移動物体１８
の位置及び大きさから移動物体１８の近傍を囲む矩形領
域１９（ＭＲ）及び時刻ｔ１において移動物体１８の存
在を予測して探す領域２０（ＴＲＩ）を決定し、ＭＲ領
域信号２５を対象物領域判定器２３に、又ＴＲ領域信号
２６を輝度ヒストグラム演算器１４に出力する。

ここで、対象物領域判定器２３は入力されたＭＲ領域信
号２５に基づいてＭＲ領領域画素を２値画像メモリ２２
から検索して入力して対象物領域を決定する操作を行う
。この対象物領域決定とは、ＭＲ領域内のノイズ等の外
乱により対象物である移動物体１８の像の一部が欠落し
ている可能性があるために２値画像の拡大処理を行うこ
とでこれを補正しこれを対象物である移動物体１８を示
す２値画像とする。ここで言う拡大処理とは、移動物体
１８の輪郭画素の各々について（“１”なる画素の各々
について）、その４近傍の画素を“１”にするという操
作を行うものである。こうして、第９図の１８′　で示
したような２値化時の判別で輪郭が粗い状態となった場
合の移動物体像も対象物領域判定器２３の拡大処理で、
第１０図の１８”で示したように、その輪郭がやや膨ら
んだ状態となって対象物画像メモリ２４に格納される。

ここで、輝度ヒストグラム演算器１４は対象物画像メモ
リ２４からの入力信号に従いＭＲ領域内で移動物体と判
断された画素を含む輝度ヒストグラムＨＭＲ（ｉ）及び
、ＴＲＩ領域の輝度ヒストグラムＨＴ”　（ｉ　）を算
出し、輝度判定器１３へ伝送する。以後の処理は前回に
実施例と同様にを算出し、その時点での移動物体に相当
する輝度を算出し、第３図に示したｔ１時点の２値画像
処理の算出データとする。順次この操作を繰り返して、
移動物体の自動追尾を行う。この、第７図以降に示した
実施例では移動物体の２値画像を拡大処理した後に輝度
ヒストグラムを生成する構成をとっているため、背景の
ノイズによる外乱を防止し、さらに画面上の移動物体を
表示する画像面積が少ない場合等にも的確に移動物体を
判別して自動的に追尾することが出来る。

［発明の効果１ この発明による移動物体の自動追尾装置の実施例は以下
のとうりであり、移動物体の一部に背景と同一の輝度の
ものが存在したり、移動物体１８の近傍にその周囲には
少ない輝度を有する背景部分が存在したとしても、単に
所定のスレショールドレベルで輝度差を判別するのでは
無く撮像フレーム毎に変化し得る移動物体の輝度に相当
する輝度を順次更新し、これに基づいて移動物体の２値
化像を生成する構成としているため、環境変化にも対応
し゛て連続的に移動物体を自動追尾することが出来る。

また、この発明の別の態様によれば移動物体の２値画像
を拡大処理した後に輝度ヒストグラムを生成する構成を
とっているため、背景のノイズによる外乱を防止し、画
面上の移動物体を表示する画像面積が少ない場合等にも
的確に移動物体を判別して自動的に追尾することが出来
る。

【図面の簡単な説明】

第１図は実施例の全体の構成を示すブロック図、第２図
は特徴部分である第１図の画像処理装置の構成を示すブ
ロック図、第３図は第２図の構成による信号処理の状態
を示すタイムチャート、第４図はｔ。 時刻の画像信号による画像を示す概略図、第５図は時刻
ｔ１における画像の概略図、第６図（ａ）、　（ｂ）、
　（ｃ）はそれぞれ輝度ヒストグラム演算器及び輝度判
定器内での輝度ヒストグラム例図、第７図は別の実施例
による画像処理装置部分のブロック構成図、第８図は第
７図の構成における時刻−における画像例、第９図は同
じく時刻−における２値画像例、第１０図は同じく拡大
処理されて対象物メモリ内に格納された２値画像例、第
１１図は同じく時刻ｔ１における画像側図である。 １・・・Ｗカメラ、２・・・カメラ駆動台、３・・・映
像信号、４・・・駆動台動作信号、５・・・画像処理装
置、６・・・位置演算装置、７・・・駆動台制御位置、
８・・・計測データ、９・・・幾何学重心データ、１０
・・・撮像方位信号、１１・・・２値画像生成器、１２
・・・ルックアップテーブル、１３・・・輝度判定器、
１４・・・輝度ヒストグラム演算器、 １５・・・画像演算装置、１６・・・画像メモリ、１７
・・・画像、１８・・・移動物体、１８′・・・移動物
体２値画像、 １Ｂ”・・・拡大処理後移動物体２値画像、１９・・・
矩形領域ＭＲ，２０・・・領域ＴＲＩ、２０′　・・・
領ｊｔＴＲ２，２１・・・スレショールドレベル、２２
・・・２値画像メモリ、２３・・・対象物領域判定器、
２４・・・対象物画像メモリ。

Claims (4)

【特許請求の範囲】
1. （１）移動物体を撮像して映像信号を出力する撮像装置
   と、当該撮像装置からの撮像信号を処理して前記移動物
   体の自動追尾を制御する制御信号を発生する制御装置と
   、前記撮像装置を支承し前記制御装置からの制御信号に
   基づいて撮像装置の撮像方向を制御する駆動台と、から
   なる移動物体の自動追尾装置において、 前記制御装置は初期設定された移動物体の重心当該物体
   をとりまく背景ならびに追尾する移動物体の最終識別輝
   度とに基づいて、現在の撮像フレームｎで得られた画像
   内の移動物体及びその近傍を含む矩形領域の輝度ヒスト
   グラムＨ＾Ｍ＾Ｒ（ｉ）と、現在の撮像フレームｎ内で
   の現在位置と次の撮像フレームｎ＋１時の移動物体の予
   測位置とを含んで設定される予測領域内の輝度ヒストグ
   ラムＨ＾Ｔ＾Ｒ＾１（ｉ）とを生成する手段と、この生
   成する手段で得られた双方の輝度ヒストグラムＨ＾Ｍ＾
   Ｒ＾１（ｉ）、Ｈ＾Ｔ＾Ｒ＾１（ｉ）を比較判別して次
   の撮像フレームｎ＋１時点での移動物体の判別輝度を生
   成することを特徴とする移動物体の自動追尾装置。
2. （２）特許請求の範囲第１項において、 前記比較判別はＰ（ｉ）＝Ｈ＾Ｍ＾Ｒ（ｉ）／Ｈ＾Ｔ＾
   Ｒ＾１（ｉ）の値を所定のスレシヨールド値で判別して
   移動物体の各時点の輝度を生成することを特徴とする移
   動物体の自動追尾装置。
3. （３）特許請求の範囲第１項において、 前記制御装置は前回の撮像フレームｎで判別された移動
   物体の判別輝度で判別される現在の撮像フレームｎ＋１
   中の移動物体の２値像を拡大処理して得られる移動物体
   の拡大２値像の近傍を囲む領域を前記矩形領域として、
   前記移動物体の判別輝度を生成することを特徴とする移
   動物体の自動追尾装置。
4. （４）特許請求の範囲第３項において、 前記２値像を拡大処理する操作は、２値データ中の“１
   ”なる画素の近傍の画素を“１”とする処理であること
   を特徴とする移動物体の自動追尾装置。