JP2661330B2 - 動きベクトル検出装置及び画像ゆれ補正装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像の動き量を検出する動きベクトル検出装
置及び画像揺れ補正装置に関するものである。

従来の技術 従来の画像の動きベクトル検出装置の例として、例え
ば特開昭61−269475号公報に示される様なものがある。

第７図は、これの概略図を示したものであり、１はラ
ッチＡ、２は代表点メモリ、３はラッチＢ、４は減算
器、５はアドレスコントローラ、６は絶対値変換器、７
は累積加算器、８は相関性検索部、９は相関性有効無効
判定部、10は動きベクトル判定部Ａである。

以上のように構成された従来の相関演算装置を用いた
画像の動きベクトル検出装置について説明する。

まず、画像の動きベクトルについて説明する。第８図
（ａ）は、ある時刻における画像を示している。そして
（ｂ）は１フィールドもしくは１フレーム後の画像を示
している。このように、撮像装置などの動きによって画
像が平行移動するとき、（ｃ）の矢印で示したように画
像が平行移動した量をベクトルで示したものを動きベク
トルと呼ぶ。

第９図はこのような画像の動きベクトルを検出する方
法である，代表点マッチング法における代表点とそのま
わりの画素の様子を示したものである。動きベクトル検
出は、あるフィールドにおける代表点の位置の画像デー
タが次のフィールドでまわりの画素のうち、どこに移動
したかを相関性を用いて検出することによって行われ
る。

次に、従来の相関演算装置を用いた画像の動きベクト
ル検出装置について第７図、を用いて説明する。

画面上の各代表点における画像データはタイミングパ
ルスLP1によりラッチA1に取り込まれ、タイミングをと
って代表点保存メモリ２のそれぞれの代表点に対応する
アドレスに書き込まれる。そして、次のフィールドもし
くは次のフレームにおいて、各代表点の位置のまわりの
動きベクトル検出領域における画像データと，代表点メ
モリ２に保存された前フィールドの代表点の相関（ここ
では絶対値差分）をとり、累積加算器７に入力する。累
積加算器７は代表点を基準としたときの座標の位置が同
じ場所において相関をとったデータを、それぞれ累積加
算する。そしてすべての代表点まわりの累積加算が終了
したとき、相関性検索部８により累積加算器７に保持さ
れた累積加算値のなかで最も相関の高い値を有する場所
を判定する。つまり、代表点の位置を基準としたとき
の、この最も相関の高い位置を有する位置（アドレス）
が動きベクトルとなる。第７図で示した構成では相関演
算を、差分絶対値の累積加算で行っているため、累積加
算器７にある相関が高い点のデータ値は、その他の点の
データ値より低いレベルとなる。さらに、代表点の回り
の相関値の分布（平均値、最小値、最大値など）をもと
にして、相関演算により得られた動きベクトルが有効か
無効か判定する。判定の条件は平均値が低いとき、最小
値が高いとき、 そして相関値の最小点の回りの最小相関値／最大相関値
が小さいとき、相関演算により得られた動きベクトルを
無効と判定する。この判定を無効判定部９により行う。

以上に説明した動作は、画面を複数個に分割した各領
域について行なわれる。そして、画面の各領域から得ら
れた動きベクトルとその無効判定情報により画面全体の
動きベクトルを判定器A10により判定する。

ここまでの動作は毎フィールド（フレーム）行うた
め、相関演算を用いながら次のフィールド（フレーム）
の相関演算のための代表点における画像データを保存す
るためにラッチ7A1がある。また、ラッチB3は、ある代
表点の画像データと、その周辺の画像データとの相関を
とるときに代表点の画像データを保存する。

第７の破線部分、すなわち相関演算により動きベクト
ルを検出する部分を動きベクトル検出部A20とする。

発明が解決しようとする課題 しかしながら上記のような構成において、被写体の各
位置による相関が低く、撮像装置の動きによる画像がシ
フトした点だけが相関の高い点となれば良いが、被写体
に規則正しい相関があった場合、以下の問題が発生す
る。被写体に規則正しい相関があった場合、相関の高い
点が多数得られ、これを検出するために相関値の最小値
の回りの最小相関値／最大相関値を調るものであるが、
最小相関値／最大相関値による判定では全ての条件にお
いて十分な検出ができず、各領域から得られる動きベク
トルが、画像内の相関の高い本来の動きベクトルとは関
係のない点の位置となり、各領域における動きベクトル
は同じにならない。その結果各領域の動きベクトルの平
均等をとって画面全体の動きベクトルを決定すると、画
面全体の動きと異なる画像の相関の高い点を示した領域
の動きベクトルの候補点が原因となり、画像全体の動き
ベクトルの検出を誤るという問題点を有していた。

本発明はかかる点に鑑み、被写体に多くの相関があ
り、得られる動きベクトルが激しく変化する条件を検出
し、この条件が検出された場合、各領域より求められた
動きベクトルにたいして、その動きベクトルを抑圧する
ことを目的とする。

課題を解決するための手段 上記目的を達成するため本発明の動きベクトル検出装
置は、入力画像を複数の領域に分割し、各領域における
動きベクトルを演算する動きベクトル検出部と、前記動
きベクトル検出部から出力される動きベクトルの時間的
な変化の大きさを検出するベクトル特徴検出部と、前記
ベクトル特徴検出部の出力により前記動きベクトル検出
部から出力される動きベクトルの大きさを制御するベク
トル制御器と、前記ベクトル制御器で大きさを制御され
た動きベクトルから前記入力画像の動きベクトルを決定
する動きベクトル決定部を有し、前記ベクトル制御器
は、前記動きベクトル検出部から出力される動きベクト
ルの時間的な変化が所定レベルより大きい場合は前記動
きベクトル検出部から出力される動きベクトルの大きさ
を零にすることを特徴とする。

また、本発明の画像揺れ補正装置は、前記動きベクト
ル検出装置と、前記動きベクトル検出装置から出力され
る動きベクトルに合わせて画像の揺れをキャンセルする
出力制御器を有することを特徴とする。

作用 本発明は前記した構成により、被写体に多くの相関が
あり、得られる動きベクトルが激しけ変化する条件をベ
クトル特徴検出部により検出し、この条件が検出された
場合、各領域より求められた動きベクトルにたいし、そ
の動きベクトルを抑圧するものである。

また、このようにして得られた動きベクトルに基づい
て画像の揺れ補正を行うので、誤った揺れ補正を行うこ
とがかなり少なくなるものである。

実施例 第１図は本発明の第１の実施例における動きベクトル
検出装置の構成図であり、１はラッチＡ、２は代表点メ
モリ、３はラッチＢ、４は減算器、５はアドレスコント
ローラ、６は絶対値変換器、７は累積加算器、８は相関
性検索部、９は相関性無効判定部であり、１から９のブ
ロックで構成された20の動きベクトル検出部Ａは、従来
の構成と同様であり、同一の番号を付す。11は動きベク
トル特徴検出部であり、12は動きベクトル制御部であ
り、13は動きベクトル決定部である。

入力された信号の、画面上の各代表点における画像デ
ータは、タイミングパルスLP1によりラッチA1に取り込
まれ、タイミングをとって代表点保存メモリ２のそれぞ
れの代表点に対応するアドレスに書き込まれる。そし
て、次のフィールドもしくは次のフレームにおいて、各
代表点の位置のまわりの動きベクトル検出領域における
画像データと，代表点メモリ２に保存された前フィール
ドの代表点の相関をとり、累積加算器７に入力する。こ
こでの相関演算は差分絶対値の累積加算で行う。累積加
算器７は代表点を基準としたときの座標の位置が同じ場
所において、相関をとったデータをそれぞれ累算加算す
る。そしてすべての代表点まわりの累積加算が終了した
とき、相関性検索部８により累積加算器７に保持された
累積加算値のなかで最も相関の高い値を有する場所を判
定する。つまり、代表点の位置を基準としたときの、こ
の最も相関の高い値を有する位置（アドレス）が動きベ
クトルとなる。

本発明の構成では相関演算を、差分絶対値の累積加算
で行っているため、累積加算器７にある相関が高い点の
データ値は、その他の点のデータ値より低いレベルとな
る。この点を相関性検索器８で求める。さらに、代表点
の回りの相関値の分布（平均値、最小値、勾配など）を
もとにして、相関性検索部８により得られた動きベクト
ル候補が有効か無効かを判定する。この有効か無効かの
判定は従来例と同様でもよく、例えば、相関値の条件と
して以下のような条件を用いることができる。

平均値≫最小値且つ平均値＞C1（定数）且つ最大値≫最
小値 この判定を無効判定部９により行う。

さらにこの無効判定とは独立に、動きベクトルの特徴
を、動きベクトル特徴検出部11で行う。動きベクトル特
徴検出部11の構成を第２図に示す。同図において20は変
化検出器、21及び24は絶対値変換器、22及び24はローパ
スフィルタ、25は規格化器である。以上のように構成さ
れた動きベクトル特徴検出部11の動作について以下に述
べる。

動きベクトル特徴検出部11では、撮像装置を手に持っ
たときや、車等から撮像したときの動きベクトルと、画
像内に規則正しい相関が多い被写体を撮像したときの動
きベクトルの特徴を分離する。これらの条件で得られた
代表的な動きベクトルの変化の様子を第３図に示す。同
図（ａ）は撮像装置を手に持ったときの水平方向の動き
ベクトルであり、同図（ｂ）は車等から撮像したときの
水平方向の動きベクトルであり、（ｃ）、（ｄ）は画像
内に規則正しい相関が多い被写体を撮像したときの水平
方向の動きベクトルである。第３図に示すように、画像
内に規則正しい相関が多い被写体を撮像したときは、得
られる動きベクトルは変化が急激で、また変化する回数
も多い（周波数が高い）。これらの条件を分離するため
に、入力された動きベクトルの変化した成分を、変化検
出器20で検出する。変化検出器20で行う演算は S1x_t（ｎ）＝Vx_t（ｎ−１）−Vx_t（ｎ） S2x_t（ｎ）＝S1x_t（ｎ−１）−S1x_t（ｎ） S1y_t（ｎ）＝Vy_t（ｎ−１）−Vy_t（ｎ） S2y_t（ｎ）＝S1y_t（ｎ−１）−S1y_t（ｎ） ここでＶは動きベクトルであり、添え字のx,yは水平方
向及び垂直方向を示す。またｔ（ｎ）はベクトルが得ら
れるフィールドを示す。またS1は演算の途中結果であ
り、S2がベクトルの変化成分である。添え字は動きベク
トルＶと同じである。このようにして求めた変化成分の
絶対値を絶対値変換器21で求め、急激な変化を減衰させ
るためにローパスフィルタ（LPF）22を通し、得られた
特徴を現わす信号CHを規格化器25に送る。

これと同時に規格化を行う信号RFを、絶対値変換器23
と、LPF24により求める。規格化を行う信号RFは、動き
ベクトルの絶対値を求め、急激な変化成分を減衰させる
ことにより行う。このようにして求めた規格化の基準信
号RFにより、次式に示す規格化を行う。

Gv＝Ａ＊CH/（RF＋Ｏ） ここでＡとＯは係数であり、各システムで最適値を選
択する。このようにして規格化を行うことにより、第３
図（ｄ）のような動きベクトルの振幅の小さい条件にお
いても相対的にレベルを拡大することが可能となり、第
３図（ｄ）の条件を安定して分離することが可能とな
る。

以上のようにして得られた制御信号Gvを用い、動きベ
クトル制御器12により、動きベクトルに乗ずる係数を求
め、動きベクトルに掛ける。動きベクトル制御器12の特
性を第４図に示す。横軸は動きベクトル特徴検出部の出
力Gvであり、縦軸は得られた動きベクトルに乗ずるゲイ
ンの値である。

このようにして、動きベクトル特徴検出部の出力レベ
ルが高いとき、つまり撮像している画像内の規則正しい
相関が多いとき、正しくない動きベクトルが検出される
条件で、動きベクトルを零に圧縮することが可能とな
る。

ここまでの動作は、画面を複数個に分割した各領域に
ついて行なう。ここまでの動作は毎フィールド（フレー
ム）行うため、相関演算を行いながら次のフィールド
（フレーム）の相関演算のための代表点における画像デ
ータを保存するためにラッチA1がある。また、ラッチB3
は、ある代表点の画像データと、その周辺の画像データ
との相関をとるときに代表点の画像データを保持する。

この様にして、分割した各領域から動きベクトルの候
補を決定し、これらの候補ベクトルを動きベクトル決定
部13によりメディアンフィルタにかけて、入力信号の動
きベクトルとする。

以上の様にして入力信号の動きベクトルを求めること
により、画像内で相関性の高い点が規則正しく存在し、
誤った動きベクトルを検出する条件では、動きベクトル
の大きさを零として、誤って検出された動きベクトルを
用いないようにする。従って、従来動きベクトルとして
無効であるが、その判定が出来ず誤った動きベクトルを
検出した場合においても、その値を零にする事ができ、
誤った動きベクトルを出力することが無くなる。

次に本発明の動きベクトル検出装置を用いた、画像の
揺れ補正装置について記す。画像の揺れ補正装置の実施
例のブロック図を、第５図に示す。同図において18は画
像信号を蓄積するメモリ、16はメモリの信号を補間する
補間部、17は画像信号の出力を制御する出力制御部であ
り、50は本発明の動きベクトル検出装置であり、第１図
と同じ番号を付け、説明は省略する。

以上のように構成された画像の揺れ補正装置の動作に
ついて説明する。

第５図において、動きベクトルを求める方法は前記し
た実施例と同様であり、その説明は省略する。動きベク
トル検出装置50より入力された画像信号の動きベクトル
が出力され、出力制御部17に入力する。出力制御部17は
フィールド（フレーム）毎に入力される動きベクトルを
積算し、積算した動きベクトルの正数部（動きベクトル
を画像信号が記録されているメモリーのアドレスで表現
した場合）に対応して、メモリ18の信号読み出しのアド
レスを決定する。また動きベクトルの小数部に対応して
補間部16の制御を行う。補間は垂直水平とも距離の逆数
に対応した重みを掛ける線形補間とする。この様にし
て、動きベクトルに合わせて出力制御部17は画像を揺れ
と逆の方向にシフトし、画像の揺れをキャンセルする。
また出力制御部17は、出力する画像をもとの画像の１、
１から１、５倍程度に拡大し、メモリー18内部の画像を
左右上下にシフトして出力した場合“縁”が見えないよ
うにする。

このように本発明の動きベクトル検出装置を用い、画
像の揺れ補正装置を構成することにより、画像内で相関
性の高い点が規則正しく存在し、誤った動きベクトルを
検出する条件では、動きベクトルの大きさを零として、
揺れ補正に誤って検出された動きベクトルを用いないよ
うにすることができる。従って、従来画像内で相関性の
高い点が規則正しく存在し、動きベクトルとして無効で
あるが、その判定が出来ず誤った動きベクトルを検出
し、誤った揺れ補正を行ってた場合においても、そのベ
クトルを零にする事ができ、誤った揺れ補正を行なわな
くする事が可能となる。画像の揺れ補正装置を実現する
ことができる。

尚本発明の動きベクトル検出装置の実施例において、
動きベクトル特徴検出部11の構成を、第２図のようにし
たが第６図のようにHPF30を用いて変化検出器20の代わ
りをさせることが可能である。HPFのカットオフ周波数
は5Hzから15Hz程度が適当である。

更に本発明の動きベクトル検出装置の実施例におい
て、動きベクトル特徴検出部11の演算方法は本実施例の
方法に限る必要はなく、本発明の目的に会った類似の方
法でも良いのは当然である。

また本発明の動きベクトル検出装置の実施例におい
て、動きベクトル特徴検出部11はベクトルの大きさによ
り規格化したが、規格化の方法は本実施例以外でも良い
のは当然である。また簡易に行うには規格化を行わなく
とも可能である。

発明の効果 本発明の動きベクトル検出装置によれば、画像内で相
関性の高い点が規則正しく存在し、従来誤った動きベク
トルを検出する条件では、動きベクトルの大きさを零と
して、誤って検出された動きベクトルを用いないように
する。従って、従来動きベクトルとして無効であるが、
その判定が出来ず誤った動きベクトルを検出した場合に
おいても、その値を零にする事ができ、誤った動きベク
トルを出力することが無くなる。

また本発明の動きベクトル検出装置を用い、画像の揺
れ補正装置を構成することにより、画像内で相関性の高
い点が規則正しく存在し、従来誤った動きベクトルを検
出する条件では、動きベクトルの大きさを零として、揺
れ補正に誤って検出された動きベクトルを用いないよう
にすることができる。従って、従来画像内で相関性の高
い点が規則正しく存在し、動きベクトルとして無効であ
るが、その判定が出来ず誤った動きベクトルを検出し、
誤った揺れ補正を行ってた場合においても、そのベクト
ルを零にする事ができ、誤った揺れ補正を行なわなくす
る事が可能となる、画像の揺れ補正装置を実現すること
ができる。

【図面の簡単な説明】

第１図は本発明の一実施例における動きベクトル検出装
置の構成を示すブロック図、第２図は本発明の一実施例
における動きベクトル検出装置のベクトル特徴検出部の
構成を示すブロック図、第３図は本発明の一実施例にお
ける動きベクトル検出装置の検出ベクトルの状態を示す
波形図、第４図は動きベクトル制御器の特性を示す特性
図、第５図は本発明の一実施例における画像揺れ補正装
置の構成を示すブロック図、第６図は本発明の一実施例
における動きベクトル検出装置の動きベクトル特徴検出
部の第２の実施例の構成を示すブロック図、第７図は従
来例の動きベクトル検出装置の構成を示すブロック図、
第８図及び第９図は従来例における動きベクトル検出装
置の動作状態説明図である。 ２……代表点保存メモリ、７……累積加算器、８……相
関性検索部、９……無効判定部、11……動きベクトル特
徴検出部、12……動きベクトル制御部、13……動きベク
トル決定部、16……補間部、17……出力制御、50……動
きベクトル検出装置。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力画像を複数の領域に分割し、各領域に
   おける動きベクトルを演算する動きベクトル検出部と、
   前記動きベクトル検出部から出力される動きベクトルの
   時間的な変化の大きさを検出するベクトル特徴検出部
   と、前記ベクトル特徴検出部の出力により前記動きベク
   トル検出部から出力される動きベクトルの大きさを制御
   するベクトル制御器と、前記ベクトル制御器で大きさを
   制御された動きベクトルから前記入力画像の動きベクト
   ルを決定する動きベクトル決定部を有し、前記ベクトル
   制御器は、前記動きベクトル検出部から出力される動き
   ベクトルの時間的な変化が所定レベルより大きい場合は
   前記動きベクトル検出部から出力される動きベクトルの
   大きさを零にすることを特徴とする動きベクトル検出装
   置。
2. 【請求項２】入力画像の複数の領域に分解し、各領域に
   おける動きベクトルを演算する動きベクトル検出部と、
   前記動きベクトル検出部から出力される動きベクトルの
   時間的な変化の大きさを検出するベクトル特徴検出部
   と、前記ベクトル特徴検出部の出力により前記動きベク
   トル検出部から出力される動きヘクトルの大きさを制御
   するベクトル制御器と、前記ベクトル制御器で大きさを
   制御された動きベクトルを基に前記入力画像の動きベク
   トルを決定する動きベクトル決定部を有し、前記ペクト
   ル制御器は、前記動きベクトル検出部から出力される動
   きベクトルの時間的な変化が所定レベルより大きい場合
   は前記動きベクトル検出部から出力される動きベクトル
   の大きさを零にする動きベクトル検出装置と、 前記動きベクトル検出装置から出力される動きベクトル
   に合わせて画像の揺れをキャンセルする出力制御器を備
   えたことを特徴とする画像揺れ補正装置。