JPH07123406A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 動きベクトルの検出精度を向上させることが
できるようにする。 【構成】 動きベクトル検出回路５により検出される所
定のブロック単位の動きベクトルごとに、ある動きベク
トルとその周囲の動きベクトルとを比較し、この比較の
結果に基づいて上記ブロック単位の動きベクトルを分類
する動きベクトル分類回路８を設け、上記両動きベクト
ルの比較の結果得られる差分の大きさに基づいて上記ブ
ロック単位の動きベクトルの信頼性をそれぞれのブロッ
クごとに判定し、この判定の結果に応じて、動きベクト
ル決定回路６が特定の動きベクトルを決定するようにす
ることにより、上記特定の動きベクトルに誤差を生じる
原因となるブロック単位の動きベクトルは無効とし、そ
れ以外の有用なブロック単位の動きベクトルのみを上記
特定の動きベクトルを決定するのに用いることができる
ようにして、動きベクトルの検出精度を高めることがで
きるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動きベクトル検出装置
に関し、特に、画像信号から動きベクトルを検出するよ
うにした動きベクトル検出装置に用いて好適なものであ
る。

【０００２】

【従来の技術】現在、画像の符号化装置や画像振れ補正
装置などに用いられる動きベクトル検出法として、相関
演算に基づく相関法またはブロックマッチング法などと
呼ばれる手法が知られている。なお、マッチング演算に
ついては、尾上守夫等により、「情報処理Vol.17,No.7,
p634〜640 July 1976 」で詳しく論じられている。

【０００３】上述のブロックマッチング法は、まず、入
力した画像信号を適当な大きさ（例えば、８画素×８ラ
イン）の複数のブロックに分割する。次いで、現在のフ
ィールド（またはフレーム）の画素信号と、前のフィー
ルド（またはフレーム）の一定範囲の画素信号との差を
ブロック単位に計算し、この差の絶対値の和が最小とな
る前のフィールド（またはフレーム）のブロックを探索
する。そして、このようにして探索したブロックの相対
的なずれをブロック単位の動きベクトルとして検出する
ものである。

【０００４】次に、このブロックマッチング法を適用し
た従来の動きベクトル検出装置の一例を、図面を参照し
ながら説明する。図１４は、従来の動きベクトル検出装
置を適用した画像振れ防止装置の構成を示すブロック図
である。

【０００５】図１４において、まず、動きベクトルの検
出対象となる画像信号が、フィールド（またはフレー
ム）メモリ１に入力され、この入力された画像信号が以
下のような処理が行われるまで一時記憶される。

【０００６】一方、上記動きベクトルの検出対象となる
画像信号は、空間周波数フィルタ２にも入力される。そ
して、この空間周波数フィルタ２により、入力された画
像信号から低域周波数成分と高域周波数成分とが除去さ
れることによって、動きベクトルを検出するのに有用な
空間周波数成分が抽出される。

【０００７】この空間周波数フィルタ２により所定のフ
ィルタリング処理が施された画像信号は、相関演算回路
３とメモリ４とに供給される。さらに、メモリ４に供給
された画像信号は、１フィールド期間だけ遅延処理が施
された後、相関演算回路３に供給される。これにより、
相関演算回路３には、現フィールドの画像信号と前フィ
ールドの画像信号とが供給される。

【０００８】そして、この相関演算回路３により、ブロ
ックマッチング法に従って、現フィールドの画像信号と
前フィールドの画像信号との相関演算がブロック単位に
行われ、この演算の結果得られる相関値が動きベクトル
検出回路５に供給される。

【０００９】次いで、この動きベクトル検出回路５によ
り、相関演算回路３から与えられる相関値に基づいて、
ブロック単位の動きベクトルが検出される。具体的に
は、上述の相関値が最小となる前フィールドのブロック
が探索され、このブロックの相対的なずれがブロック単
位の動きベクトルとして検出される。

【００１０】このようにして検出されたブロック単位の
動きベクトルは、動きベクトル決定回路６に供給され
る。そして、この動きベクトル決定回路６によって、ブ
ロック単位の動きベクトルからフィールド全体の動きベ
クトルが決定される。具体的には、ブロック単位の動き
ベクトルの中央値または平均値が、フィールド全体の動
きベクトルとして決定される。

【００１１】こうして決定されたフィールド全体の動き
ベクトルは、メモリ読みだし制御回路７に供給される。
そして、このメモリ読みだし制御回路７により、フィー
ルド全体の動きベクトルに応じて画像の振れが相殺され
るように、メモリ１に記憶されている画像信号の読みだ
し位置が制御される。以上のような制御が行われること
により、メモリ１からは振れが防止された画像信号が読
みだされて次段に出力される。

【００１２】

【発明が解決しようとする課題】しかしながら、上述の
動きベクトル検出回路５によってブロック単位に検出さ
れる動きベクトルは、対象ブロックの画像状態に依存す
る。したがって、対象ブロックの画像状態が良好な場合
には、信頼性の高い動きベクトルが検出されるが、画像
状態が良好でない場合には、誤差が大きい動きベクトル
が検出されることが多くなる。

【００１３】すなわち、図２の（ａ）に示すように、特
徴となる絵柄が画像中に少ない被写体や、似た特徴を有
する絵柄が多数存在する被写体、更には特定方向に強い
相関がある被写体などは苦手被写体と呼ばれる。そし
て、このような苦手被写体について動きベクトルを検出
しようとすると、図２の（ｂ）に示すように、誤差が大
きい動きベクトルが検出されることがあった。

【００１４】また、図５の（ａ）に示すように、被写体
が動いている画像について動きベクトルを検出しようと
すると、図５の（ｂ）に示すように、振れによって生じ
る動きベクトルとは異なった方向と大きさとを持つ動き
ベクトルが検出されることがあった。このため、動きベ
クトル検出回路５によって検出される動きベクトルの領
域が、振れによって生じる動きベクトルの領域と、被写
体の動きによって生じる動きベクトルの領域とに分かれ
てしまうことがあった。

【００１５】これらのような場合に、従来のように、画
像中の全てのブロックで検出される動きベクトルを、フ
ィールド全体の動きベクトルを決定する際に用いると、
正しい動きベクトルが得られず、動きベクトルの検出精
度が著しく劣化するという問題があった。

【００１６】本発明は、このような問題を解決するため
に成されたものであり、動きベクトルの検出精度を向上
させることができる動きベクトル検出装置および方法を
提供することを目的としている。

【００１７】

【課題を解決するための手段】本発明の動きベクトル検
出装置は、時系列に連続している画像間の相関演算を行
う相関演算手段と、上記相関演算手段により算出された
相関値に基づいて動きベクトルを検出する動きベクトル
検出手段と、上記動きベクトル検出手段により検出され
た動きベクトルに基づいて、特定の動きベクトルを決定
する動きベクトル決定手段と、上記動きベクトル検出手
段により検出された動きベクトルごとに、ある動きベク
トルと他の動きベクトルとを比較し、この比較の結果得
られる両動きベクトルの差分に基づいて上記動きベクト
ルを分類して、その分類結果を上記動きベクトル決定手
段に導出する動きベクトル分類手段とを具備するもので
ある。

【００１８】上記のような構成の動きベクトル検出装置
において、上記相関演算および動きベクトル検出、並び
に動きベクトル分類を、所定のブロック単位で行うよう
にしてもよい。また、上記動きベクトル決定手段は、上
記動きベクトル分類手段により分類されたブロック単位
の動きベクトルのうち、有効とされた分類のブロック単
位の動きベクトルを用いて、特定の動きベクトルを決定
するようにしてもよい。

【００１９】本発明の他の特徴とするところは、画像信
号を２値化する２値化手段と、上記２値化手段により２
値化処理が施された画像信号から成る時系列に連続した
２値画像間の相関演算を行う相関演算手段と、上記相関
演算回路により算出された相関値に基づいて動きベクト
ルを検出する動きベクトル検出手段と、上記動きベクト
ル検出手段により検出された動きベクトルに基づいて、
特定の動きベクトルを決定する動きベクトル決定手段
と、上記相関演算手段により算出された相関値の空間分
布を検出する相関値検出手段と、上記相関値検出手段に
より検出された相関値の空間分布における相関値勾配の
変化と絶対値とに基づいて、上記動きベクトル検出手段
により検出された動きベクトルの信頼性を評価し、その
評価結果を上記動きベクトル決定手段に導出する動きベ
クトル評価手段とを具備するものである。

【００２０】

【作用】本発明は上記技術手段より成るので、動きベク
トル検出手段により検出された動きベクトルの信頼性が
判定され、検出しようとする特定の動きベクトルに誤差
を生じる原因となる動きベクトルは無効とされて、それ
以外の有用な動きベクトルのみが特定の動きベクトルを
決定するのに用いられることとなる。

【００２１】

【実施例】以下、図面を参照して本発明の一実施例を説
明する。図１は、本発明の第１の実施例である動きベク
トル検出装置を適用した振れ防止装置の構成を示すブロ
ック図である。この第１の実施例は、図２の（ａ）に示
されるような苦手被写体に関して検出される誤差が大き
い動きベクトルと、誤差が小さい動きベクトルとを判別
できるようにしたものである。

【００２２】図１において、まず、動きベクトルの検出
対象となる画像信号ｓ１がフィールド（またはフレー
ム）メモリ１に入力され、以下のような処理が行われる
まで一時記憶される。

【００２３】一方、上記動きベクトルの検出対象となる
画像信号ｓ１は、空間周波数フィルタ２にも入力され
る。そして、この空間周波数フィルタ２により、入力さ
れた画像信号から低域周波数成分と高域周波数成分とが
除去されることによって、動きベクトルを検出するのに
有用な空間周波数成分が抽出される。

【００２４】そして、この空間周波数フィルタ２により
上述のようなフィルタリング処理が施された画像信号ｓ
２は、相関演算回路３とメモリ４とに供給される。さら
に、メモリ４に供給された画像信号ｓ２は、１フィール
ド期間だけ遅延処理が施された後、相関演算回路３に供
給される。これにより、相関演算回路３には、現フィー
ルドの画像信号ｓ２と前フィールドの画像信号ｓ３とが
供給される。

【００２５】そして、この相関演算回路３により、ブロ
ックマッチング法に従って、現フィールドの画像信号ｓ
２と前フィールドの画像信号ｓ３との相関演算がブロッ
ク単位に行われ、この演算の結果得られる相関値ｓ４が
動きベクトル検出回路５に供給される。

【００２６】次いで、この動きベクトル検出回路５によ
り、相関演算回路３から与えられる相関値ｓ４に基づい
て、ブロック単位の動きベクトルｓ５が検出される。具
体的には、上記相関値ｓ４が最小となる前フィールドの
ブロックが探索され、このブロックの相対的なずれがブ
ロック単位の動きベクトルｓ５として検出される。

【００２７】このようにして検出されたブロック単位の
動きベクトルｓ５は、動きベクトル決定回路６と動きベ
クトル分類回路８とに供給される。そして、動きベクト
ル分類回路８では、各ブロックの動きベクトルがその周
囲のブロックの動きベクトルと比較され、後述するよう
なブロック単位の分類情報ｓ６が生成される。この生成
された分類情報ｓ６は、動きベクトル決定回路６に供給
される。

【００２８】次いで、この動きベクトル決定回路６によ
って、上記分類情報ｓ６により有効な領域とされている
ブロックの動きベクトルのみが用いられてフィールド全
体の動きベクトルｓ７が決定される。具体的には、対象
とされたブロック単位の動きベクトルの中央値または平
均値が、フィールド全体の動きベクトルｓ７として決定
される。

【００２９】こうして決定されたフィールド全体の動き
ベクトルｓ７は、メモリ読みだし制御回路７に供給され
る。そして、このメモリ読みだし制御回路７によって、
動きベクトルｓ７に応じて画像の振れが相殺されるよう
に、メモリ１に記憶されている画像信号の読みだし位置
が制御される。以上のような制御が行われることによ
り、メモリ１からは振れが防止された画像信号ｓ８が読
みだされて次段に出力される。

【００３０】次に、上述した動きベクトル分類回路８に
よって行われる動きベクトルの分類方法について、図２
および図３を用いて説明する。なお、図２は、動きベク
トル検出装置に入力される画像からブロック単位の動き
ベクトルを検出し、このブロック単位の動きベクトルに
基づいて、分類情報を生成する様子を説明するための図
である。また、図３は、動きベクトル分類回路８の動作
を表すフローチャートである。

【００３１】図２の（ａ）は、動きベクトルの検出対象
となる画像を複数のブロックに分割した状態を示してい
る。また、図２の（ｂ）は、図２の（ａ）のような画像
について検出されたブロック単位の動きベクトルの例を
示している。この図２の（ｂ）から明らかなように、手
振れによって生じる動きベクトル（右上方向を向いた動
きベクトル）が、多数のブロックで検出されている。

【００３２】しかし、図２の（ａ）の画像のように、空
や壁などといった特徴のある絵柄が少なく、また、手す
りのように似た特徴を有する絵柄が多数存在する苦手被
写体では、図２の（ｂ）に示すように、手振れによって
生じる動きベクトルとは異なった方向の誤りベクトルが
検出されることがある。

【００３３】ところで、このような苦手被写体について
動きベクトルを検出する場合には、上述のような誤りベ
クトルの周囲に、これとよく似た動きベクトルはあまり
検出されないという特徴がある。そこで、本実施例にお
ける動きベクトル分類回路８では、このような特徴を利
用して、手振れによる動きベクトルと苦手被写体による
誤りベクトルとを判別して、所定の分類情報を生成する
ようにしている。

【００３４】すなわち、動きベクトル分類回路８は、ま
ず、図３のステップＰ１で動きベクトル検出回路５によ
り検出された図２の（ｂ）に示したようなブロック単位
の動きベクトルを取得する。

【００３５】次に、動きベクトル分類回路８は、ステッ
プＰ２〜Ｐ５で、あるブロックの動きベクトルが誤りベ
クトルであるか否かを判別するための評価値を計算す
る。例えば、図２の（ｂ）に斜線で示したブロックにつ
いて評価値を計算するときは、このブロックとその周囲
の８個のブロックとをそれぞれ比較して、この比較の結
果に基づいて評価値を計算する。

【００３６】以下、図２の（ｂ）の太線で囲まれた９個
のブロックのうち、評価値を求ようとする中央のブロッ
クを評価ブロックという。また、この評価ブロックの周
囲の８個のブロックをそれぞれ比較ブロックという。

【００３７】この評価ブロックの評価値を計算するに
は、動きベクトル分類回路８は、まず、ステップＰ２で
評価ブロックの判別値を（１式）に基づいて計算する。 判別値＝｜評価ベクトル−比較ベクトル｜ …(1式) ここで、評価ベクトルとは、評価ブロックにおける動き
ベクトルであり、比較ベクトルとは、ある１つの比較ブ
ロックにおける動きベクトルである。

【００３８】次いで、動きベクトル分類回路８は、ステ
ップＰ３で評価ブロックの判別値と所定の定数Ａとを比
較し、次の条件式を満たすか否かを判定する。 判別値＜定数Ａ …(2式) そして、この条件式を満たすときは、比較対象となった
評価ベクトルと比較ベクトルとは類似していると考え、
ステップＰ４に進んで評価値に１を加える。

【００３９】一方、（２式）に示す条件式を満たさない
ときは、比較対象となった評価ベクトルと比較ベクトル
とは類似していないと考えられるので、ステップＰ４の
処理は行わずにステップＰ５に進む。

【００４０】ステップＰ５では、動きベクトル分類回路
８は、ある１つの評価ブロックとその周囲の全ての比較
ブロックとの間で比較処理が終了したか否かを確認す
る。そして、この比較処理が全て終了したことを確認し
たときは、ステップＰ６に進んで以上のようにして計算
した評価値と所定の定数Ｂと比較し、次の（３式）に示
す条件式を満たすか否かを判定する。 評価値＞定数Ｂ …(3式)

【００４１】そして、この（３式）に示す条件式を満た
すときは、評価ベクトルは苦手被写体による誤りベクト
ルではないと判断し、ステップＰ７に進んで有効ブロッ
クであることを示す「１」を分類情報ｓ６としてセット
する。一方、（３式）の条件式を満たさないときは、評
価ベクトルは誤りベクトルであると判断し、ステップＰ
８に進んで無効ブロックであることを示す「０」を分類
情報ｓ６としてセットする。

【００４２】次に、動きベクトル分類回路８は、ステッ
プＰ９で画像中の全てのブロックについて上述のような
分類処理が終了したか否かを確認し、未処理のブロック
がある場合は、ステップＰ２に戻る。そして、全てのブ
ロックについて分類処理を行うまで、ステップＰ２〜Ｐ
９の処理を繰り返す。

【００４３】このようにして、全てのブロックについて
分類処理を実行した結果として得られるブロック単位の
分類情報ｓ６の例を、図２の（ｃ）に示す。図２の
（ｃ）において、「１」で示されるブロックは有効ブロ
ックであることを示し、「０」で示されるブロックは無
効ブロックであることを示している。

【００４４】この図２の（ｃ）に示したような分類情報
ｓ６は、図１の動きベクトル決定回路６に供給される。
そして、動きベクトル決定回路６においてフィールド全
体の動きベクトルを決定する際には、この分類情報ｓ６
に基づいて有効ブロックの動きベクトルのみが用いられ
る。

【００４５】次に、図面を参照して本発明の第２の実施
例について説明する。図４は、本実施例の動きベクトル
検出装置を適用した振れ防止装置の構成を示すブロック
図である。なお、図４において、図１に示した動きベク
トル検出装置における部分と同一の部分には同一の符号
を付し、重複する説明は省略する。

【００４６】この第２の実施例は、上述の第１の実施例
における動きベクトル分類回路８を、分類方法が異なる
動きベクトル分類回路９に置き換えることで、図５の
（ａ）に示すような移動する被写体に関して検出される
種々の方向の動きベクトルを、それぞれ判別できるよう
にしたものである。

【００４７】以下、この動きベクトル分類回路９による
各ブロックの分類方法について、図５および図６を用い
て説明する。なお、図５は、動きベクトル検出装置に入
力される画像からブロック単位の動きベクトルを検出
し、このブロック単位の動きベクトルに基づいて、分類
情報を生成する様子を説明するための図である。また、
図６は、動きベクトル分類回路９の動作を表すフローチ
ャートである。

【００４８】図５の（ａ）は、動きベクトルの検出対象
となる画像を複数のブロックに分割した状態を示してい
る。また、図５の（ｂ）は、図５の（ａ）のような画像
について検出されたブロック単位の動きベクトルの例を
示している。この図５の（ｂ）から明らかなように、左
に移動する車、右に移動するバス、および静止状態の背
景から、それぞれ異なった方向の動きベクトルが検出さ
れている。

【００４９】そこで、本実施例における動きベクトル分
類回路９では、ある特定の動きベクトルを基準ベクトル
として選出し、この基準ベクトルと各ブロックの動きベ
クトルとを比較することにより、画像中の各ブロックを
異なる方向の動きベクトルを有する領域毎に分類するこ
とができるようにしている。

【００５０】すなわち、動きベクトル分類回路９は、ま
ず、図６のステップＰ１で、図４の動きベクトル検出回
路５により検出された図５の（ｂ）に示したようなブロ
ック単位の動きベクトルを取得する。

【００５１】次いで、動きベクトル分類回路９は、ステ
ップＰ２で比較の対象となる或る特定の基準ベクトルを
選出する。この基準ベクトルは、例えば、全てのブロッ
クにおける動きベクトルの平均値であってもよいし、全
てのブロックの中から何れか１つのブロックの動きベク
トルを代表として選んだものであってもよい。

【００５２】次に、動きベクトル分類回路９は、ステッ
プＰ３で、ある評価ブロックの判別値を次の（４式）に
基づいて計算する。 判別値＝評価ベクトル−基準ベクトル …(4式) さらに、動きベクトル分類回路９は、ステップＰ４でこ
の評価ブロックの判別値と所定の定数Ａとを比較し、
（５式）の条件式を満たすか否かを判定する。 判別値＜定数Ａ …(5式)

【００５３】そして、この（５式）に示す条件式を満た
すときは、ステップＰ５に進み、第１の動きベクトルの
領域であることを示す「１」を分類情報としてセットす
る。一方、（５式）の条件式を満たさないときは、ステ
ップＰ６に進み、上記判別値と所定の定数Ｂ（＞Ａ）と
を比較し、次の（６式）に示す条件式を満たすか否かを
判定する。 判別値＜定数Ｂ …(6式)

【００５４】そして、この条件式を満たすときは、ステ
ップＰ７に進み、第２の動きベクトルの領域であること
を示す「２」を分類情報としてセットする。また、この
条件式を満たさないときは、ステップＰ８に進み、第３
の動きベクトルの領域であることを示す「３」を分類情
報としてセットする。

【００５５】次に、動きベクトル分類回路９は、ステッ
プＰ９で全てのブロックについて上述のような分類処理
が終了したか否かを確認し、未処理のブロックがある場
合は、ステップＰ３に戻る。そして、全てのブロックに
ついて分類処理を行うまで、ステップＰ３〜Ｐ９の処理
を繰り返す。

【００５６】このようにして、全てのブロックについて
分類処理を実行した結果として得られるブロック単位の
分類情報の例を、図５の（ｃ）に示す。図５の（ｃ）に
おいて、「１」で示されるブロックは第１の動きベクト
ルの領域であることを示している。また、「２」で示さ
れるブロックは第２の動きベクトルの領域であることを
示し、「３」で示されるブロックは第３の動きベクトル
の領域であることを示している。

【００５７】この図５の（ｃ）に示したような分類情報
ｓ１０は、図４の動きベクトル決定回路６に供給され
る。そして、動きベクトル決定回路６においてフィール
ド全体の動きベクトルを決定する際には、この分類情報
ｓ１０に基づいて、上記第１〜第３の動きベクトルの領
域のうち、画像を静止させようとする領域（例えば、図
５の（ａ）中の背景の領域）の動きベクトルのみが用い
られる。

【００５８】なお、本実施例では、評価ブロックの判別
値を２つの定数Ａ，Ｂと比較することによって、画像中
の各ブロックを第１〜第３の３つの領域に分類する場合
を例にとって説明したが、本発明はこれに限定されるも
のではない。

【００５９】すなわち、評価ブロックの判別値をある１
つの定数と比較し、画像中の各ブロックを２つの領域に
分類するようにしてもよい。また、上記評価ブロックの
判別値を３個以上の定数と比較したり、ブロック単位の
動きベクトルをＸＹ座標のＸ方向成分とＹ方向成分とに
分け、それぞれについて計算した判別値と所定の定数と
を比較したりすることによって、画像中の各ブロックを
より多くの領域に分類するようにしてもよい。

【００６０】また、上述の第１の実施例による各ブロッ
クの分類方法と、第２の実施例による分類方法とを併用
することも可能である。

【００６１】次に、上述した第１の実施例または第２の
実施例による動きベクトル検出装置の主な動作を表すフ
ローチャートを、図７に示す。図７において、まず、ス
テップＰ１で、動きベクトルの検出対象となる画像信号
について、現フィールドの画像信号と前フィールドの画
像信号との相関演算がブロックマッチング法に従ってブ
ロック単位に行われる。

【００６２】次いで、ステップＰ２で、このステップＰ
１の相関演算により得られるブロック単位の相関値に基
づいてブロック単位の動きベクトルが検出される。具体
的には、上述の相関値が最小となる前フィールドのブロ
ックが探索され、このブロックの相対的なずれがブロッ
ク単位の動きベクトルとして検出される。

【００６３】ステップＰ３では、このようにして検出さ
れたブロック単位の動きベクトルに基づいて、図３のフ
ローチャートまたは図６のフローチャートに示した処理
と同様の処理が行われ、上述したようなブロック単位の
分類情報が生成される。

【００６４】そして、ステップＰ４で、この生成された
分類情報により有効な領域とされているブロックの動き
ベクトルのみが用いられて、フィールド全体の動きベク
トルが決定される。具体的には、対象とされたブロック
単位の動きベクトルの中央値または平均値がフィールド
全体の動きベクトルとして決定される。

【００６５】次に、図面を参照して本発明の第３の実施
例について説明する。図８は、第３の実施例の動きベク
トル検出装置を適用した振れ防止装置の構成を示すブロ
ック図である。なお、図８において、図１および図１５
に示した動きベクトル検出装置における部分と同一の部
分には同一の符号を付し、重複する説明は省略する。

【００６６】図８において、空間周波数フィルタ２によ
り所定のフィルタリング処理が施された画像信号ｓ２
は、２値化回路１０によりゼロレベルで２値化される。
この２値化回路１０により２値化された２値の画像信号
ｓ１１は、相関演算回路３に供給され、この現フィール
ドの画像信号ｓ１１と、メモリ４から与えられる前フィ
ールドの画像信号ｓ１２との間における相関演算が施さ
れる。

【００６７】そして、この相関演算回路３による演算の
結果得られる現フィールドと前フィールドとの間におけ
る相関値ｓ１３は、動きベクトル検出回路５と相関値検
出回路１１とに供給される。動きベクトル検出回路５で
は、この相関値ｓ１３に基づいて、ブロック単位の動き
ベクトルｓ１４が検出される。

【００６８】具体的には、動きベクトル検出回路５によ
り、上述の相関値ｓ１３が最小となる前フィールドのブ
ロックが探索され、このブロックの相対的なずれがブロ
ック単位の動きベクトルｓ１４として検出される。そし
て、このようにして検出されたブロック単位の動きベク
トルｓ１４は、動きベクトル評価回路１２に供給され
る。

【００６９】一方、相関値検出回路１１では、相関演算
回路３から与えられる相関値の最小値（上述の動きベク
トル検出回路５によって探索される最小の相関値）と、
図９に示すように、この最小相関値がある位置を中心に
して所定の画素だけ離れた周囲の位置の相関値とが検出
される。そして、これらの検出された相関値ｓ１５は、
動きベクトル評価回路１２に供給される。

【００７０】次いで、この動きベクトル評価回路１２に
よって、動きベクトル検出回路５により検出されたブロ
ック単位の動きベクトルｓ１４が、相関値検出回路１１
により検出された最小相関値およびその周囲の相関値ｓ
１５に基づいて評価される。なお、この評価の内容につ
いては後述する。

【００７１】そして、このようにして評価されたブロッ
ク単位の動きベクトルｓ１６は、動きベクトル決定回路
６に与えられ、このブロック単位の動きベクトルｓ１６
に基づいてフィールド全体の動きベクトルｓ１７が決定
される。具体的には、与えられたブロック単位の動きベ
クトルの中央値または平均値が、フィールド全体の動き
ベクトルｓ１７として決定される。

【００７２】次に、上述の動きベクトル評価回路１２に
よる動きベクトルの評価方法について、図９のフローチ
ャートを用いて説明する。

【００７３】図９において、動きベクトル評価回路１２
は、まず、ステップＰ１で動きベクトル検出回路５によ
り検出されたブロック単位の動きベクトルを取得する。
さらに、動きベクトル評価回路１２は、ステップＰ２で
相関値検出回路１１により検出されたブロック単位の最
小相関値とその周囲の相関値とを取得する。

【００７４】次いで、動きベクトル評価回路１２は、ス
テップＰ３で、ある評価ブロックについて、上述のよう
にして取り込んだ最小相関値とその周囲の相関値との間
における相関値勾配を計算する。すなわち、図１０の例
では、最小相関値の位置ｃ０と、周囲の相関値の位置ｃ
１〜ｃ８との間における８方向の相関値勾配を計算す
る。

【００７５】なお、このように８方向の相関値勾配を計
算するということは単なる一例に過ぎず、例えば、最小
相関値の位置ｃ０と、周囲の相関値の位置ｃ１〜ｃ８の
うちの何れか４つの位置との間における４方向の相関値
勾配を計算するようにしてもよい。

【００７６】次に、動きベクトル評価回路１２は、ステ
ップＰ４で、ステップＰ３にて求めた複数の相関値勾配
の最大値と最小値と平均値とを計算する。そして、動き
ベクトル評価回路１２は、ステップＰ５で、このステッ
プＰ４にて求めた相関値勾配の最大値と最小値との差が
所定のスレッシュホルドＴＨ１より大きいか否か、ある
いは上記相関値勾配の平均値が所定のスレッシュホルド
ＴＨ２より小さいか否かを判定する。

【００７７】そして、これらの２つの条件のうち、何れ
かの条件を満たすときは、ステップＰ６に進んで該当す
る評価ブロックの動きベクトルを無効とする。一方、上
述の２つの条件を何れも満たさないときは、ステップＰ
６の処理は行わずにステップＰ７に進む。

【００７８】次に、ステップＰ７で全てのブロックにつ
いて上述のような動きベクトルの評価が終了したか否か
を確認し、未処理のブロックがある場合は、ステップＰ
３に戻って、全てのブロックについて動きベクトルの評
価を行うまで、ステップＰ３〜Ｐ７の処理を繰り返す。

【００７９】そして、全てのブロックについて動きベク
トルの評価を行ったときは、ステップＰ７からステップ
Ｐ８に進み、以上のような処理で無効とされなかった有
効な動きベクトルｓ１６のみを動きベクトル決定回路６
に供給する。動きベクトル決定回路６では、この有効な
動きベクトルｓ１６のみを用いてフィールド全体の動き
ベクトルｓ１７を決定する。

【００８０】このように、本実施例では、所定の相関値
勾配に基づいて各ブロックの動きベクトルを評価し、こ
の評価の結果有効とされた動きベクトルのみを用いてフ
ィールド全体の動きベクトルを決定することにより、動
きベクトルの検出精度を向上させることができる。ここ
で、このように検出精度を向上させることができること
の根拠について、図１１を用いて説明する。

【００８１】図１１は、画像状況に応じた相関値分布の
様子と、最小相関値付近の相関値勾配の変化の様子とを
表す特性図である。なお、図１１におけるｃ１〜ｃ８
は、図１０に示した周囲の相関値の位置ｃ１〜ｃ８に対
応するものである。

【００８２】さて、対象となる画像の状況が良好で、相
関が得られやすい場合の相関値分布は、図１１の（ａ）
に示すようなものとなる。このような相関値分布は、最
小相関値を特定することが容易な理想的な相関値分布で
あると言える。

【００８３】これに対して、画像の空間周波数が低く、
特徴となる絵柄が少ない場合の相関値分布は、図１１の
（ｂ）に示すようなものとなる。また、被写体の動きに
関係なく特定方向に強い相関がある場合の相関値分布
は、図１１の（ｃ）に示すようなものとなる。これらの
相関値分布は、何れも最小相関値を特定することが困難
で、動きベクトルに誤差を含みやすい相関値分布である
と言える。

【００８４】ここで、最小相関値付近の相関値勾配に着
目すると、図１１の（ａ）のような相関値分布における
相関値勾配は、図１１の（ａ’）に示すように、何れの
方向に対しても一様で、かつ、一定値以上の値を有する
勾配となっている。

【００８５】一方、図１１の（ｂ）のような相関値分布
における相関値勾配は、図１１の（ｂ’）に示すよう
に、何れの方向に対しても勾配は一様であるが、その絶
対値は極めて小さくなっている。また、図１１の（ｃ）
のような相関値分布における相関値勾配は、図１１の
（ｃ’）に示すように、特定方向における勾配が他の方
向における勾配と著しく異なっている。

【００８６】したがって、図１１の（ｂ）に示すような
相関値分布では、その相関値勾配の平均値は、図１１の
（ａ）に示すような相関値分布における相関値勾配の平
均値に比べて小さなものとなる。また、図１１の（ｃ）
に示すような相関値分布では、相関値勾配の最大値と最
小値との差は、図１１の（ａ）に示すような相関値分布
における相関値勾配の最大値と最小値との差に比べて大
きなものとなる。

【００８７】そこで、本実施例のように、相関値勾配の
最大値と最小値との差や相関値勾配の平均値を、それぞ
れ適当な所定値と比較することにより、図１１の（ｂ）
（ｃ）のように動きベクトルに誤差を生じやすい相関値
分布と、図１１の（ａ）のように最適な相関値分布とを
判別することが可能となる。

【００８８】そして、このようにして判別した最適な相
関値分布を有する動きベクトルのみを用いてフィールド
全体の動きベクトルを検出することにより、動きベクト
ルの検出精度を高めることができる。

【００８９】なお、この第３の実施例では、相関値勾配
の最大値と最小値と平均値とを用いて、動きベクトルの
有効／無効の判断を行うようにしているが、本発明はこ
れに限られるものでない。

【００９０】例えば、次の（７式）で表されるような相
関値分布の空間方向の乱れに対する強さを表すDEFRMSが
所定値以上であるか、あるいは相関値勾配の平均値を表
すDEFAVEが所定値以下であるときに、該当するブロック
の動きベクトルを無効とするようにしても、以上に述べ
たのと同じ効果が得られる。

【００９１】 DEFRMS＝Σ（DEFAVE−CORDEF(i))² ／(i−1) …(7式) ここで、CORDEF(i) は複数の方向における個々の相関値
勾配を示し、ｉは相関値勾配の個数を示している。

【００９２】図１２は、このような場合における動きベ
クトルの評価の手順を表すフローチャートであり、図９
に示したフローチャートとでは、ステップＰ４およびス
テップＰ５の処理内容のみが異なっている。

【００９３】すなわち、図１２の例では、動きベクトル
評価回路１２は、ステップＰ４で、ステップＰ３にて求
めた複数方向の相関値勾配を用いて勾配の乱れ強さDEFR
MSと平均値DEFAVEとを計算する。

【００９４】次に、動きベクトル評価回路１２は、ステ
ップＰ５で、ステップＰ４にて求めた勾配の乱れ強さDE
FRMSが所定のスレッシュホルドＴＨ１より大きいか否
か、あるいは勾配の平均値DEFAVEが所定のスレッシュホ
ルドＴＨ２より小さいか否かを判定する。

【００９５】そして、これらの２つの条件のうち、何れ
かの条件を満たすときは、ステップＰ６に進んで該当す
る評価ブロックの動きベクトルを無効とする。一方、上
述の２つの条件を何れも満たさないときは、ステップＰ
６の処理は行わずにステップＰ７に進む。そして、全て
のブロックについてこのような動きベクトルの評価を行
うまで、ステップＰ３〜Ｐ７の処理を繰り返す。

【００９６】次いで、全てのブロックについて動きベク
トルの評価を行ったときは、ステップＰ７からステップ
Ｐ８に進み、以上のような処理で無効とされなかった有
効な動きベクトルのみを動きベクトル決定回路６に供給
する。動きベクトル決定回路６では、この有効な動きベ
クトルのみを用いてフィールド全体の動きベクトルを決
定する。

【００９７】次に、第３の実施例による動きベクトル検
出装置の主な動作を表すフローチャートを、図１３に示
す。図１３において、まず、ステップＰ１で、動きベク
トルの検出対象となる画像信号がゼロレベルで２値化さ
れる。そして、ステップＰ２で、この２値化処理が施さ
れた画像信号について、現フィールドの画像信号と前フ
ィールドの画像信号との相関演算がブロックマッチング
法に従ってブロック単位に行われる。

【００９８】次いで、ステップＰ３で、このステップＰ
２の相関演算により得られるブロック単位の相関値に基
づいてブロック単位の動きベクトルが検出される。具体
的には、上述の相関値が最小となる前フィールドのブロ
ックが探索され、このブロックの相対的なずれがブロッ
ク単位の動きベクトルとして検出される。

【００９９】ステップＰ４では、上述のステップＰ２の
相関演算により得られるブロック単位の相関値の最小値
と、この最小相関値がある位置を中心にして所定の画素
だけ離れた周囲の位置の相関値とが検出される。

【０１００】さらに、ステップＰ５で、このようにして
検出された最小相関値とその周囲の相関値と基づいて、
図９のフローチャートまたは図１２のフローチャートに
示した処理と同様の処理が行われる。これにより、各ブ
ロックの動きベクトルが有効であるか、あるいは無効で
あるかが判別される。

【０１０１】そして、ステップＰ６で、ステップＰ５に
て有効な動きベクトルであると判別された動きベクトル
のみが用いられて、フィールド全体の動きベクトルが決
定される。具体的には、対象とされたブロック単位の動
きベクトルの中央値または平均値がフィールド全体の動
きベクトルとして決定される。

【０１０２】

【発明の効果】以上説明したように本発明によれば、動
きベクトル検出手段により検出された動きベクトルの信
頼性が判定され、この判定の結果に基づいて、検出しよ
うとする特定の動きベクトルが決定されるので、上記特
定の動きベクトルに誤差を生じる原因となるブロック単
位の動きベクトルは無効として、それ以外の有用なブロ
ック単位の動きベクトルのみを上記特定の動きベクトル
を決定するのに用いることができ、このため、動きベク
トルの検出精度を向上させることができる。

【図面の簡単な説明】

【図１】第１の実施例の動きベクトル検出装置を適用し
た振れ防止装置の構成を示すブロック図である。

【図２】第１の実施例による動きベクトル検出装置に入
力される画像からブロック単位の動きベクトルを検出
し、このブロック単位の動きベクトルに基づいて、分類
情報を生成する様子を説明するための図である。

【図３】第１の実施例による動きベクトル分類回路の動
作内容を表すフローチャートである。

【図４】第２の実施例の動きベクトル検出装置を適用し
た振れ防止装置の構成を示すブロック図である。

【図５】第２の実施例による動きベクトル検出装置に入
力される画像からブロック単位の動きベクトルを検出
し、このブロック単位の動きベクトルに基づいて、分類
情報を生成する様子を説明するための図である。

【図６】第２の実施例による動きベクトル分類回路の動
作内容を表すフローチャートである。

【図７】第１の実施例または第２の実施例による動きベ
クトル検出装置の主な動作内容を表すフローチャートで
ある。

【図８】第３の実施例の動きベクトル検出装置を適用し
た振れ防止装置の構成を示すブロック図である。

【図９】第３の実施例による動きベクトル評価回路の動
作内容を表すフローチャートである。

【図１０】最小相関値付近における相関値の空間的な並
びを示す図である。

【図１１】画像状況に応じた相関値分布と、最小相関値
付近の相関値勾配の変化の様子とを表す特性図である。

【図１２】第３の実施例による動きベクトル評価回路の
他の動作内容を表すフローチャートである。

【図１３】第３の実施例による動きベクトル検出装置の
主な動作内容を表すフローチャートである。

【図１４】従来の振れ防止装置の構成を示すブロック図
である。

【符号の説明】

１ メモリ ２ 空間周波数フィルタ ３ 相関演算回路 ４ メモリ ５ 動きベクトル検出回路 ６ 動きベクトル決定回路 ７ メモリ読みだし制御回路 ８ 動きベクトル分類回路 ９ 動きベクトル分類回路 １０ ２値化回路 １１ 相関値検出回路 １２ 動きベクトル評価回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】 時系列に連続している画像間の相関演算
   を行う相関演算手段と、 上記相関演算手段により算出された相関値に基づいて動
   きベクトルを検出する動きベクトル検出手段と、 上記動きベクトル検出手段により検出された動きベクト
   ルに基づいて、特定の動きベクトルを決定する動きベク
   トル決定手段と、 上記動きベクトル検出手段により検出された動きベクト
   ルごとに、ある動きベクトルと他の動きベクトルとを比
   較し、この比較の結果得られる両動きベクトルの差分に
   基づいて上記動きベクトルを分類して、その分類結果を
   上記動きベクトル決定手段に導出する動きベクトル分類
   手段とを具備することを特徴とする動きベクトル検出装
   置。
2. 【請求項２】 上記相関演算および動きベクトル検出、
   並びに動きベクトル分類を所定のブロック単位で行うよ
   うにしたことを特徴とする請求項１記載の動きベクトル
   検出装置。
3. 【請求項３】 上記動きベクトル決定手段は、上記動き
   ベクトル分類手段により分類されたブロック単位の動き
   ベクトルのうち、有効とされた分類のブロック単位の動
   きベクトルを用いて、特定の動きベクトルを決定するよ
   うにしたことを特徴とする請求項２記載の動きベクトル
   検出装置。
4. 【請求項４】 画像信号を２値化する２値化手段と、 上記２値化手段により２値化処理が施された画像信号か
   ら成る時系列に連続した２値画像間の相関演算を行う相
   関演算手段と、 上記相関演算回路により算出された相関値に基づいて動
   きベクトルを検出する動きベクトル検出手段と、 上記動きベクトル検出手段により検出された動きベクト
   ルに基づいて、特定の動きベクトルを決定する動きベク
   トル決定手段と、 上記相関演算手段により算出された相関値の空間分布を
   検出する相関値検出手段と、 上記相関値検出手段により検出された相関値の空間分布
   における相関値勾配の変化と絶対値とに基づいて、上記
   動きベクトル検出手段により検出された動きベクトルの
   信頼性を評価し、その評価結果を上記動きベクトル決定
   手段に導出する動きベクトル評価手段とを具備すること
   を特徴とする動きベクトル検出装置。