JPH05225343A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、テレビジヨンカメラ、監視装置等に
適用した画像処理装置に関し、簡易な構成で確実に被写
体の動きを検出する。 【構成】本発明は、ブロツクマツチングの手法を適用し
て動きベクトルを検出し、当該動きベクトルに基づいて
動画像の動きを検出する際、動画像から高域成分を抽出
し、当該高域成分のパワーに基づいて動きベクトルの信
頼性を判断し、当該判断結果に基づいて動画像の動きを
検出する。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１、図４及び図５） 作用（図１、図４及び図５） 実施例 （１）全体構成（図１〜図３） （２）追跡ベクトル検出回路（図４〜図７） （２−１）動きベクトル判定回路（図５） （３）実施例の動作 （４）実施例の効果 （５）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理装置に関し、例
えばテレビジヨンカメラ、監視装置等の撮像装置に適用
し得る。

【０００３】

【従来の技術】従来、この種の画像処理装置において
は、撮像画像中の最大輝度部分を検出することにより、
当該輝度部分を基準にして所望の被写体を追跡し得るよ
うになされたものが提案されている。

【０００４】このように所望の被写体を追跡することが
できれば、当該被写体を中心にして自動的に焦点合わ
せ、絞り調整等し得、撮像装置全体の使い勝手を向上す
ることができる。

【０００５】

【発明が解決しようとする課題】ところがこのように最
大輝度部分を基準にして被写体を追跡する場合、所望の
被写体を確実に追跡し得ない場合があり、実用上未だ不
十分な問題がある。

【０００６】この問題を解決する１つの方法として、動
きベクトル検出結果に基づいて、被写体の動きを検出す
る方法も考えられるが、動きベクトルにおいては、被写
体の動きと異なる検出結果が得られる場合もある。この
ため動きベクトル検出結果に基づいて直接被写体の動き
を検出する場合においては、被写体の動きを誤検出する
おそれがあり、実用上未だ不十分な問題があつた。

【０００７】本発明は以上の点を考慮してなされたもの
で、簡易な構成で確実に被写体の動きを検出することが
できる画像処理装置を提案しようとするものである。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、順次入力される動画像（ＳＶ）を
所定のブロツクＢＬ単位に分割し、ブロツクマツチング
の手法を用いて、各ブロツクＢＬの動きベクトルＭＶを
検出し、動きベクトルＭＶに基づいて動画像（ＳＶ）を
処理する画像処理装置１において、ブロツクＢＬの動画
像（ＳＶ）について、周波数の高い高域成分を抽出して
出力するフイルタ回路３３と、高域成分のパワーを検出
するパワー検出回路３４と、パワーと所定の基準値との
比較結果に基づいて、動きベクトルＭＶの信頼性ＮＦを
検出する判定回路３５とを備え、信頼性検出結果ＮＦに
基づいて、動画像（ＳＶ）の処理を実行する。

【０００９】

【作用】動きベクトルＭＶを検出する動画像（ＳＶ）の
ブロツクＢＬについて、高域成分を抽出してパワーを検
出すれば、当該パワー検出結果に基づいて動きベクトル
ＭＶの信頼性ＮＦを判断することができる。

【００１０】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１１】（１）全体構成 図１において、１は全体として物体追跡装置を示し、ユ
ーザの指定した被写体を追跡して絞り、焦点を調整す
る。

【００１２】すなわち撮像装置２は、所望の被写体を撮
像し、その結果得られるビデオ信号ＳＶを追跡ベクトル
検出回路４に出力する。

【００１３】追跡ベクトル検出回路４は、順次入力され
るビデオ信号ＳＶをデイジタル信号に変換すると共に、
入力回路６から入力される座標データ（ｘ１，ｙ１）、
（ｘ２，ｙ２）に基づいて追跡ベクトル検出領域ＡＲを
設定する。さらに追跡ベクトル検出回路４は、入力回路
６からトリガ信号ＳＴが入力されると、当該ビデオ信号
ＳＶの追跡ベクトル検出領域ＡＲ内の画像について、当
該画像の移動方向及び移動量を表してなる追跡ベクトル
ＶＴを検出し、当該検出結果を枠データ生成回路１０に
出力する。

【００１４】さらに追跡ベクトル検出回路４は、追跡ベ
クトルＶＴが得られると、追跡ベクトル検出領域ＡＲを
追跡ベクトルＶＴの分だけ移動させた後、移動後の追跡
ベクトル検出領域ＡＲを用いて続くフレームの画像につ
いて追跡ベクトルＶＴの検出を繰り返す。これにより追
跡ベクトル検出回路４は、追跡ベクトル検出領域ＡＲ内
の画像について、当該画像の移動方向及び移動量を検出
すると共に、当該画像の移動に追従して追跡ベクトル検
出領域ＡＲを移動させるようになされている。

【００１５】入力回路６は、ジヨイステイツクを用いて
座標データを入力し得るようになされ、これにより当該
物体追跡装置１においては、当該ジヨイステイツクを操
作して追跡ベクトル検出領域ＡＲを設定し得るようにな
さている。

【００１６】すなわち図２に示すように、物体追跡装置
１においては、遅延回路８を介してビデオ信号ＳＶを画
像合成回路９に与え、ここで枠データ生成回路１０から
出力される枠データＤＷに基づいて枠状の画像（以下枠
画像と呼ぶ）ＷＫを生成する。さらに物体追跡装置１に
おいては、画像合成回路９で当該枠画像ＷＫをビデオ信
号ＳＶに合成し、その結果得られる合成画像Ｍを表示装
置１２に表示する。

【００１７】このとき枠データ生成回路１０は、入力回
路６から入力される座標データ（ｘ１，ｙ１）、（ｘ
２，ｙ２）に基づいて追跡ベクトル検出領域ＡＲに対応
した枠データＤＷを生成し、これにより枠画像ＷＫを用
いて追跡ベクトル検出領域ＡＲを表示するようになされ
ている。

【００１８】かくして物体追跡装置１においては、画像
表示装置１２をモニタしながらジヨイステイツクを操作
するだけで、簡易に追跡ベクトル検出領域ＡＲを設定し
得るようになされている。

【００１９】ちなみにこの実施例においては、初期状態
で画面中央に所定の大きさの枠画像ＷＫを表示するよう
になされ、ユーザにおいては、当該表示画像をモニタし
ながらジヨイステイツクを操作して枠画像ＷＫの位置及
び大きさを変化させることにより、簡易に追跡ベクトル
検出領域ＡＲを設定し得るようになされている。

【００２０】このとき入力回路６は、動きベクトルの検
出に供するブロツクを単位にして、当該ブロツクの整数
倍の大きさで追跡ベクトル検出領域ＡＲを設定し得るよ
うになされ、これにより動きベクトル検出結果に基づい
て、簡易に追跡ベクトルを検出し得るようになされてい
る。

【００２１】さらに入力回路６は、追跡開始の操作子が
押圧操作されると、追跡開始のトリガ信号ＳＴを出力す
るのに対し、追跡終了の操作子が押圧操作されると、追
跡終了の制御信号を出力し、これにより当該物体追跡装
置１全体の動作を制御するようになされている。

【００２２】図３に示すように、枠データ生成回路８
は、追跡ベクトルＶＴ（ＤＸ，ＤＹ）が得られると枠デ
ータＤＷの座標データ（ｘ１，ｙ１）、（ｘ２，ｙ２）
にそれぞれ追跡ベクトルの２次元座標ＤＸ，ＤＹを加算
して出力する。これにより枠データ生成回路８は、追跡
ベクトルＶＴに基づいて、枠データＤＷを更新し、追跡
ベクトル検出領域内の画像の移動に追従して枠画像ＷＫ
を移動させるようになされている。

【００２３】さらにこの実施例において、枠データ生成
回路１０は、枠データＤＷを制御回路（図示せず）に出
力し、当該制御回路は、枠データＤＷで決まる領域（す
なわち追跡ベクトル検出領域ＡＲでなる）でビデオ信号
ＳＶの信号レベルを検出することにより、当該検出結果
に基づいて撮像装置２の焦点及び絞りを制御するように
なされている。

【００２４】これにより当該物体追跡装置１において
は、ユーザが設定した追跡ベクトル検出領域ＡＲ内の画
像について、当該画像の移動に追従して、常に最適な明
るさ及びフオーカスの状態を維持し得るようになされて
いる。

【００２５】（２）追跡ベクトル検出回路 図４に示すように、追跡ベクトル検出回路４は、ビデオ
信号ＳＶを動きベクトル検出回路２０に与え、動きベク
トルＭＶを検出する。

【００２６】ここで図５に示すように、動きベクトル検
出回路２０は、ブロツク化回路２１にビデオ信号ＳＶを
与え、デイジタル信号（以下デイジタルビデオ信号と呼
ぶ）に変換する。

【００２７】さらに図６に示すように、ブロツク化回路
２１は、デイジタルビデオ信号を８×８画素単位のブロ
ツクＢＬに分割した後、当該デイジタルビデオ信号を、
各ブロツク毎にラスタ走査の順序で出力する（図６にお
いては、水平及び垂直方向にそれぞれｍ×ｋの位置にあ
るブロツクを表す）。マツチング回路２３は、ブロツク
化回路２１の出力信号とフレームメモリ２５の出力信号
との比較結果を得ることにより、ブロツクマツチングの
手法を適用して各ブロツク毎に動きベクトルＭＶを検出
する。

【００２８】すなわち図７に示すようにマツチング回路
２３は、各ブロツク毎に、各ブロツクより水平及び垂直
方向にそれぞれ２Ｄ_X ×２Ｄ_Y だけ大きな領域を動きベ
クトル検出領域ＡＲＭに設定し、当該動きベクトル検出
領域ＡＲＭでフレームメモリ２５に格納された１フレー
ム前の画像データと各ブロツクの画像データとの残差デ
ータを検出する。このときマツチング回路２３は、動き
ベクトル検出領域ＡＲＭの範囲でブロツクＢＬの位置を
順次移動させ、当該残差データの絶対値和が最も小さく
なる位置を検出する。これによりマツチング回路２３
は、各ブロツクＢＬ毎に、動きベクトルＭＶを検出し、
当該検出結果を分布検出回路２７に出力する。

【００２９】分布検出回路２７は、追跡ベクトル検出領
域ＡＲ内の動きベクトルＭＶについて、向き及び大きさ
を基準にして分布を検出し、分布検出結果を判定回路２
９に出力する。すなわち分布検出回路２７は、動きベク
トル検出領域ＡＲＭに対応した大きさ２Ｄ_X ×２Ｄ_Y の
テーブルを有し、各フレーム毎に当該テーブルの内容を
値０に初期化する。さらに分布検出回路２７は、動きベ
クトルＭＶの値に応じて当該テーブルの内容を値１づつ
更新することにより、動きベクトル検出領域を基準にし
て動きベクトルの分布を検出する。

【００３０】さらに分布検出回路２７は、判定回路２９
の追跡ベクトル検出結果に基づいて、追跡ベクトル検出
領域ＡＲを更新し、これにより各フレーム毎に、画像の
移動に追従して追跡ベクトル検出領域ＡＲを更新すると
共に、更新した追跡ベクトル検出領域ＡＲについて動き
ベクトルの分布を検出する。

【００３１】判定回路２９は、当該分布検出結果に基づ
いて、最も分布度数の大きな動きベクトルＭＶを追跡ベ
クトルＶＴに設定して出力する。すなわち追跡対象を囲
むように設定した枠内において、最も支配的な動きベク
トルＭＶにおいては、当該追跡対象の移動方向及び移動
量を表すと考えられる。従つて最も支配的な動きベクト
ルＭＶを検出すれば、簡易な構成で所望の被写体を追跡
することができ、焦点調整、絞り調整等に利用して当該
物体追跡装置１の使い勝手を向上することができる。

【００３２】（２−１）動きベクトル判定回路 さらにこの実施例において、物体追跡装置１は、動きベ
クトル判定回路３２で動きベクトルＭＶの信頼性を検出
し、当該検出結果に基づいて追跡ベクトルＶＴを検出す
ることにより、簡易かつ確実に画像の動きを検出する。

【００３３】すなわち動きベクトル判定回路３２（図
５）においては、順次入力されるビデオ信号ＳＶをフイ
ルタ回路３３に与え、ここで周波数の高い信号成分を抽
出する。

【００３４】ここで図８に示すようにフイルタ回路３２
は、３×３画素の範囲で、順次入力される画像データを
重み付け処理した後加算処理することにより、周波数の
高い信号成分を抽出する。

【００３５】パワー検出回路３４は、動きベクトルＭＶ
を検出する各ブロツク毎に、フイルタ回路３２で抽出し
た高域成分について、絶対値和を検出して出力し、これ
により各ブロツクの高域成分についてそのパワーを検出
する。

【００３６】判定回路３５は、テーブル３６に設定され
た基準データを入力した後、パワー検出回路３４の検出
結果との間で比較結果を得るようになされ、これにより
高域成分のパワーが所定のしきい値以上のとき、動きベ
クトルＭＶが有効であることを表す動きベクトル有効フ
ラグＮＦを出力する。

【００３７】すなわち各ブロツクの画像において、高域
成分のパワーが大きい場合、エツジ成分の多い画像と判
断することができる。この場合ブロツクマツチングの手
法を適用して得られた動きベクトルＭＶは、画像の動き
を反映したものと判断することができる。

【００３８】これに対して高域成分のパワーが小さい場
合、当該ブロツクの画像はエツジ成分の少ない画像と判
断することができる。この場合動きベクトルＭＶにおい
ては、画像の動きを必ずしも反映したものではなく、単
に全体のデータ量が最も少なくなる位置を表すものと判
断することができる。

【００３９】従つて高域成分のパワーを検出し、当該検
出結果に基づいて動きベクトルＭＶの信頼性を判断し、
当該判断結果に基づいて追跡ベクトルを検出すれば、簡
易な構成で確実に追跡ベクトルを検出することができ
る。

【００４０】この検出原理に基づいて分布検出回路２７
は、動きベクトル有効フラグＮＦが得られた動きベクト
ルＭＶについてのみ、テーブルを更新して動きベクトル
ＭＶの分布を検出する。これにより追跡ベクトル検出回
路４は、画像の動きを反映する動きベクトルＭＶについ
て、選択的に分布を検出することにより、確実に画像の
動きを検出するようになされている。

【００４１】（３）実施例の動作 以上の構成において、撮像装置２から出力されるビデオ
信号ＳＶは、追跡ベクトル検出回路４に入力され、ブロ
ツク化回路２１でデイジタル信号に変換された後、８×
８画素単位のブロツクに分割される。当該ブロツクは、
各ブロツク毎にマツチング回路２３で動きベクトルＭＶ
が検出される。

【００４２】当該動きベクトルＭＶは、分布検出回路２
７に出力され、ここで追跡ベクトル検出領域ＡＲの範囲
の動きベクトルＭＶについて分布が検出され、最も分布
度数の大きい動きベクトルＭＶが追跡ベクトルＶＴとし
て検出される。かくして動きベクトルＭＶの分布を検出
し、最も分布度数の大きい動きベクトルＭＶを追跡ベク
トルＶＴに設定することにより、簡易な構成で物体の動
きを追跡することができる。

【００４３】当該追跡ベクトル検出結果は、枠データ生
成回路１０に出力され、ここで当該追跡ベクトルＶＴに
基づいて枠データＤＷが更新され、これにより画像表示
装置１２の表示画面上において、物体の動きに追従して
枠画像ＷＫを移動させることができる。

【００４４】さらに当該枠データＤＷで決まる領域でビ
デオ信号ＳＶの信号レベルを検出することにより、物体
の動きに追従して撮像装置２の焦点及び絞りを制御する
ことができる。

【００４５】さらに追跡ベクトル検出結果は、分布検出
回路２７に出力され、これにより続くフレームについて
追跡ベクトルが検出され、順次連続するフレームについ
て追跡ベクトルを検出することができる。

【００４６】このときビデオ信号ＳＶは、動きベクトル
判定回路３２において、高域成分が抽出された後、各ブ
ロツク毎に当該高域成分の絶対値和が検出され、これに
より当該高域成分のパワーが検出される。検出された高
域成分のパワーは、判定回路３５で、各ブロツク毎に、
所定のしきい値との間で比較結果が得られ、これにより
動きベクトルの信頼性を検出することができる。

【００４７】判定回路３５から出力される動きベクトル
有効フラグＮＦは、分布検出回路２７に出力され、ここ
で当該動きベクトル有効フラグＮＦに基づいて、動きベ
クトルＭＶの分布が検出される。これにより画像の動き
を反映する動きベクトルＭＶについて、選択的に分布が
検出され、確実に画像の動きを検出することができる。

【００４８】（４）実施例の効果 以上の構成によれば、高域成分のパワーを検出し、当該
検出結果に基づいて選択的に動きベクトルの分布を検出
することにより、簡易かつ確実に物体の移動方向及び移
動量を検出することができる。

【００４９】（５）他の実施例 なお上述の実施例においては、絶対値和を検出すること
により高域成分のパワーを検出する場合について述べた
が、本発明はこれに限らず、二乗和を検出することによ
り高域成分のパワーを検出するようにしてもよい。

【００５０】さらに上述の実施例においては、３×３画
素のフイルタ回路を用いて高域成分を抽出する場合につ
いて述べたが、本発明はこれに限らず、種々のフイルタ
回路を広く適用することができる。

【００５１】さらに上述の実施例においては、追跡ベク
トル検出結果に基づいて焦点調整及び絞り調整する場合
について述べたが、本発明はこれに限らず、ズーム処理
等を併せて実行するようにしてもよい。さらに枠の移動
に限らず、カメラ駆動回路４０（図１）に制御信号ＳＣ
を出力して、画像の移動に追従して撮像領域を切り換え
るようにしてもよく、この場合、動きの速さに応動し
て、枠の移動及び撮像領域の移動を組み合わせて処理す
るようにしてもよい。

【００５２】さらに上述の実施例においては、動きベク
トル検出結果に基づいて、直接テーブロの内容を更新し
て追跡ベクトルを検出する場合について述べたが、本発
明はこれに限らず、動きベクトルを再量子化して処理す
るようにしてもよい。このようにすれば、追跡ベクトル
の精度が求められない場合等においては、テーブルを小
型化し得、されに一段と簡易な構成で物体の動きを検出
することができる。

【００５３】さらに上述の実施例においては、各ブロツ
クＢＬについて動きベクトルＭＶを検出した後、追跡ベ
クトル検出領域内の動きベクトルＭＶについて分布を検
出する場合について述べたが、本発明はこれに限らず、
追跡ベクトル検出領域内のブロツクについてのみ動きベ
クトルＭＶを検出し、分布を検出するようにしてもよ
い。

【００５４】さらに上述の実施例においては、追跡ベク
トルを検出して被写体の動きを追跡する場合について述
べたが、本発明はこれに限らず、ブロツクマツチングの
手法を適用して検出した動きベクトルを用いて、動画像
を処理する画像処理装置に広く適用することができる。

【００５５】

【発明の効果】上述のように本発明によれば、ブロツク
マツチングの手法を適用して動きベクトルを検出し、当
該動きベクトルに基づいて動画像の動きを検出する際、
動画像から高域成分を抽出し、当該高域成分のパワーに
基づいて動きベクトルの信頼性を判断することにより、
当該判断結果に基づいて簡易かつ確実に画像の動きを検
出し得る画像処理装置を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例による物体追跡装置を示すブ
ロツク図である。

【図２】追跡ベクトル検出領域の設定の説明に供する略
線図である。

【図３】枠表示位置の説明に供する略線図である。

【図４】追跡ベクトル検出回路を示すブロツク図であ
る。

【図５】動きベクトル検出回路を示すブロツク図であ
る。

【図６】ブロツク化回路の説明に供する略線図である。

【図７】動きベクトルの検出の説明に供する略線図であ
る。

【図８】フイルタ回路の説明に供する略線図である。

【符号の説明】

１……物体追跡装置、２……撮像装置、４……追跡ベク
トル検出回路、６……入力回路、１０……枠データ生成
回路、２０……動きベクトル検出回路、２７……分布回
路、２９、３５……判定回路、３３……フイルタ回路、
３４……パワー検出回路、３６……テーブル。

Claims (1)

【特許請求の範囲】
1. 【請求項１】順次入力される動画像を所定のブロツク単
   位に分割し、ブロツクマツチングの手法を用いて、上記
   各ブロツクの動きベクトルを検出し、上記動きベクトル
   に基づいて上記動画像を処理する画像処理装置におい
   て、 上記ブロツクの上記動画像について、周波数の高い高域
   成分を抽出して出力するフイルタ回路と、 上記高域成分のパワーを検出するパワー検出回路と、 上記パワーと所定の基準値との比較結果に基づいて、上
   記動きベクトルの信頼性を検出する判定回路とを具え、
   上記信頼性検出結果に基づいて、上記動画像の処理を実
   行することを特徴とする画像処理装置。