JP2813395B2 - 動きベクトル検出装置及び画像搖れ補正装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像の動き量を検出する動きベクトル検出装
置及び画像揺れ補正装置に関するものである。

従来の技術 従来の画像の動きベクトル検出装置の例として、例え
ば特開昭61−269475号公報に示される様なものがある。

第７図は、これの概略図を示したものであり、１はラ
ッチＡ、２は代表点メモリ、３はラッチＢ、４は相関手
段、５はアドレスコントローラ、６はアドレス切り替え
回路、７は累積加算手段、８は相関性検索回路、９は相
関性有効無効判定回路、10は動きベクトル判定回路であ
る。

以上のように構成された従来の相関演算装置を用いた
画像の動きベクトル検出装置について説明する。

まず、画像の動きベクトルについて説明する。第８図
（ａ）は、ある時刻における画像を示している。そして
（ｂ）は１フィールドもしくは１フレーム後の画像を示
している。このように、撮像装置などの動きによって画
像が平行移動するとき、（ｃ）の矢印で示したように画
像が平行移動した量をベクトルで示したものを動きベク
トルと呼ぶ。

第９図はこのような画像の動きベクトルを検出する方
法である，代表点マッチング法における代表点とそのま
わりの画素の様子を示したものである。動きベクトル検
出は、あるフィールドにおける代表点の位置の画像デー
タが次のフィールドでまわりの画素のうち、どこに移動
したかを検出することによって行われる。

次に、従来の相関演算装置を用いた画像の動きベクト
ル検出装置について第７図を用いて説明する。

画面上の各代表点における画像データはタイミングパ
ルスLP1によりラッチA1に取り込まれ、タイミングをと
って代表点保存メモリ２のそれぞれの代表点に対応する
アドレスに書き込まれる。そして、次のフィールドもし
くは次のフレームにおいて、各代表点の位置のまわりの
動きベクトル検出領域における画像データと、代表点メ
モリ２に保存された前フィールドの代表点の相関をと
り、累積加算手段７に入力する。累積加算手段７は代表
点を基準としたときの座標の位置が同じ場所において相
関をとったデータを、それぞれ累積加算する。そしてす
べての代表点まわりの累積加算が終了したとき、相関性
検索回路８により累積加算手段７に保持された累積加算
値のなかで最も相関の高い値を有する場所を判定する。
つまり、代表点の位置を基準としたときの、この最も相
関の高い値を有する位置（アドレス）が動きベクトルと
なる。第７図で示した構成では相関演算を、差分絶対値
の累積加算で行っているため、累積加算手段７にある相
関が高い点のデータ値は、その他の点のデータ値より低
いレベルとなる。さらに、代表点の回りの相関値の分布
（平均値、最小値、最大値、勾配など）をもとにして、
相関演算により得られた動きベクトルが有効が無効が判
定する。この判定を無効判定回路９により行う。以上に
説明した動作は、画面を複数個に分割した各領域につい
て行なわれる。

そして、画面の各領域から得られた動きベクトルとそ
の無効判定情報により画面全体の動きベクトルを判定手
段A10により判定する。

ここまでの動作は毎フィールド（フレーム）行うた
め、相関演算を行いながら次のフィールド（フレーム）
の相関演算のための代表点における画像データを保存す
るためにラッチA1がある。また、ラッチB3は、ある代表
点の画像データと、その周辺の画像データとの相関をと
るときに代表点のデータを保持する。

第７の破線手段分、すなわち相関演算により動きベク
トルを検出する手段分を動きベクトル検出手段A20とす
る。

発明が解決しようとする課題 しかしながら上記のような構成において、被写体の各
位置による相関が低く、撮像装置の動きによる画像がシ
フトした点だけが相関の高い点となれば良いが、被写体
に規則正しい相関があった場合、相関の高い点が多数得
られる。従って各領域から得られる動きベクトルが相関
の高い多数の点の位置となり、各領域における動きベク
トルは同じにならない。その結果、各領域の動きベクト
ルの平均等をとって画面全体の動きベクトルを決定する
と、画面全体の動きと異なる画像の相関の高い点を示し
た領域の動きベクトルの候補点が原因となり、画像全体
の動きベクトルの検出を誤るという問題点を有してい
た。

本発明はかかる点に鑑み、被写体に多くの相関があっ
た場合に、その相関を検出し、画面全体の動きベクトル
の検出誤りを抑圧することが出来る動きベクトル検出装
置及び画像ゆれ補正装置を提供することを目的とする。

課題を解決するための手段 請求項１の本発明は、入力画像信号を複数の領域に分
割し、それぞれの領域における画像の動きベクトルを演
算する動きベクトル検出手段と、前記動きベクトル検出
手段の相関演算値から特定基準以上の強い相関があるか
を検出する相関特徴検出手段と、前記動きベクトル検出
手段の相関演算値の最小値、平均値または最大値より動
きベクトルの有効無効を判定する有効無効判定手段と、
前記相関特徴検出手段の出力と前記有効無効判定手段の
出力に基づき、特定基準以上の強い相関がなく、且つ前
記有効無効判定手段の出力が有効なとき、前記領域から
得られた動きベクトルを有効と判断し、前記領域から得
られた有効と判断された動きベクトルから画像全体の動
きベクトルを決定する動きベクトル判定手段とを有し、
前記相関特徴検出手段で特定の方向に強い相関がある
か、または一定の間隔離れた点に強い相関があるかを特
定基準とし、前記有効無効判定手段では前記動きベクト
ル検出手段の相関演算値の 最小値＜＜平均値 且つ
平均値＞C1（定数）且つ 最小値＜＜最大値のとき求め
た動きベクトルを有効と判定することを特徴とする動き
ベクトル検出装置である。

また、請求項２の本発明は、入力画像信号を複数の領
域に分割し、それぞれの領域における画像の動きベクト
ルを演算するベクトル検出手段と、前記動きベクトル検
出手段の相関演算値から特定基準以上の強い相関がある
かを検出する相関特徴検出手段と、前記動きベクトル検
出手段の相関演算値の最小値、平均値または最大値より
動きベクトルの有効無効を判定する有効無効判定手段
と、前記相関特徴検出手段の出力と前記有効無効判定手
段の出力に基づき、一定基準以上の強い相関がなく、且
つ前記有効無効判定手段の出力が有効なとき、前記領域
から得られた動きベクトルを有効と判断して前記領域か
ら得られた有効と判断された動きベクトルから画像全体
の動きベクトルを決定する動きベクトル判定手段と、前
記入力画像信号を記憶するメモリと、前記動きベクトル
判定手段による動きベクトルに基づき、前記メモリの画
像を拡大補間して揺れを補正した画像を出力させること
のできる出力制御手段とを有し、前記相関特徴検出手段
で特定の方向に強い相関があるか、または一定の間隔離
れた点に強い相関があるかを特定基準とし、前記有効無
効判定手段では前記動きベクトル検出手段の相関演算値
の 最小値＜＜平均値 且つ 平均値＞C1（定数）且つ
最小値＜＜最大値のとき求めた動きベクトルを有効と
判定することを特徴とする画像揺れ補正装置である。

作用 本発明は前記した構成により、各検出領域の動きベク
トルの有効性を、相関の高い点の状態を用いて判断し、
画像全体の正しい動きベクトルを求める。

また、その求められた誤差の無い動きベクトルを利用
して、画像を揺れを補正する。

実施例 以下に本発明と実施例を図面を参照して説明する。

第１図は本発明の第１の実施例における動きベクトル
は検出装置の構成を示すブロック図であり、１はラッチ
Ａ、２は代表点メモリ、３はラッチＢ、４は減算器、５
はアドレスコントローラ、６は絶対値変換回路、７は累
積加算器、８は相関性検索回路、９は相関性無効判定回
路であり、これら各手段１〜９のブロックで構成された
動きベクトル検出手段の一例としての動きベクトル検出
部A20は、従来の構成と同様である。11は相関特徴抽出
手段の一例としての相関特徴抽出器であり、12は動きベ
クトル判定手段の一例としての動きベクトル判定器Ｂで
ある。

入力された信号の、画面上の各代表点における画像デ
ータは、タイミングパルスLP1によりラッチA1に取り込
まれ、タイミングをとって代表点保存メモリ２のそれぞ
れの代表点に対応するアドレスに書き込まれる。そし
て、次のフィールドもしくは次のフレームにおいて、各
代表点の位置のまわりの動きベクトル検出領域における
画像データと、代表点メモリ２に保存された前フィール
の代表点の相関をとり、累積加算器７に入力する。ここ
での相関演算は差分絶対値の累積加算で行う。累積加算
器７は代表点を基準としたときの座標の位置が同じ場所
において、相関をとったデータをそれぞれ累積加算す
る。そしてすべての代表点まわりの累積加算が終了した
とき、相関性検索回路８により累積加算器７に保持され
た累積加算値のなかで最も相関の高い値を有する場所を
判定する。つまり、代表点の位置を基準としたときの、
この最も相関の高い値を有する位置（アドレス）が動き
ベクトルとなる。本実施例の構成では相関演算を、差分
絶対値の累積加算で行っているため、累積加算器７にあ
る相関が高い点のデータ値は、その他の点のデータ値よ
り低いレベルとなる。一般の画像信号の場合の累積加算
した値の一部を第２図に模式的に示す。第２図は２次元
の相関演算を行うときの２次元のシフト量（偏移）に対
応した平面に相関値（ここでは差分絶対値の累積加算）
のレベルを示したもので、XX′は水平方向を示し、YY′
は垂直方向を示す。また。濃度はデータのレベルを示
し、黒いほどレベルが低いものとする。第２図（ａ）の
XX′の位置のデータレベルを同図（ｂ）に示す。ここで
一番レベルの低い点が相関値の高い点であり、この点の
位置＝アドレスを動きベクトルとして相関性検索器８で
求める。さらに、代表点の回りの相関値の分布（平均
値、最小値、最大値、勾配など）をもとにして、相関性
検索器８により得られた動きベクトル候補が有効か無効
かを判定する。この有効か無効かの判定は従来例と同様
であり、相関値の条件は以下のとうりである。

平均値》最小値、且つ 平均値＞C1（定数）且つ 最
大値》最小値 の条件を用いる。この判定を無効判定回
路９により行う。

この無効判定と同時に、相関の高い点が累積加算した
結果に含まれているかどうかを、相関特徴抽出器11によ
り調べる。相関特徴抽出器11の構成を第３図に示す。同
図に於て21はソーティング器、22はデータアドレス出力
器、23は周囲データを読出し器である。ソーティング器
21は累積加算器７の演算結果を順次読出しながら、デー
タ値の小さい順番に並べ替える。データアドレス出力器
22は並べ替えられたデータ値とその位置に対応するアド
レス値を動きベクトル判定器B12に出力する。また周囲
データ読出し器23は、ソーティング器21で求めた最小値
の周囲のデータを読出す。周囲の位置は縦横方向にそれ
どれ±２だけ離れた点であり、第４図にその位置を斜視
で示す。この様にして読み出した周囲データも、動きベ
クトル判定器B12に出力する。

動きベクトル判定器B12においては、まず周囲データ
の中にレベルの低いもの（例えば最小レベルの1.2倍以
下）が有るかどうかを調べ、有る場合には無効判定器９
の判定が有効のときも、無効とする。この条件はある方
向に相関が強く、相関演算では動きベクトルが正しく求
まらない条件であり、第５図（ａ）にその一例を示す。
第５図は累積加算器７のデータ値を明暗で示したもの
で、水平、垂直の方向は２次元の相関演算を行うときの
２次元のシフト（偏移）の方向に対応したもので、これ
を平面として相関値（ここでは差分絶対値の累積加算）
のレベルを示す。同図（ａ）は一方向に相関が高い場合
の例であり、（ｂ）は一定の繰り返しで相関が強い場合
の例である。

同時にデータアドレス出力器22より送られたデータの
中にレベルの低いもの（例えば最小レベルの1.2倍以
下）がないかを調べる。レベルの低いものが有った場
合、そのアドレスが最小レベルのアドレスと、水平垂直
方向共に±２以上離れているかを調べる。離れていた場
合には、無効判定器９の判定が有効のときも、無効とす
る。この条件はある間隔離れたところに相関が強く、相
関演算では動きベクトルが正しく求まらない条件であ
り、その一例を第５図（ｂ）に示す。第４図で横線で示
した位置にレベルの低いデータがある場合や、第５図に
示した例では、従来のようにデータの最小点しか用いな
い場合、これらの点を検出出来ず、誤った動きベクトル
を検出することになる。本発明の場合このような条件に
おいても、画像の相関が１方向に強い部分や、繰り返し
の相関がある条件を判定し、この条件下での演算結果を
用いないようにできるため、動いベクトルを誤検出する
確率を低減できる。

ここまでの動作は、画面を複数個に分割した各領域に
ついて行なう。ここまでの動作は毎フィールド（フレー
ム）行うため、相関演算を行いながら次のフィールド
（フレーム）の相関演算のための代表点における画像デ
ータを保存するためにラッチA1がある。また、ラッチB3
は、ある代表点の画像データと、その周辺の画像データ
との相関をとるときに代表点の画像データを保持する。

この様にして、分割した各領域から動きベクトルの候
補を決定し、これらの候補ベクトルをメディアンフィル
タにかけて、入力信号の動きベクトルとする。この様に
して入力信号の動きベクトルを求めることにより、相関
性の高い点が多く得られている条件では、動きベクトル
の演算データを、動きベクトルの決定に用いないように
し、他の領域の動きベクトルが安定に求められる演算デ
ータを基に、動きベクトルを決定する。従って、従来動
きベクトルとして無効であるが、その判定が出来ず誤っ
た動きベクトルを出力していた場合においても、その判
定が可能となり誤ったベクトルを出力することが無くな
る。

次に本発明の一実施例の動きベクトル検出装置を用い
た、画像の搖れ補正装置について説明する。

画像の搖れ補正装置の一実施例のブロック図を、第６
図に示す。同図において15は画像信号を蓄積するメモ
リ、16はメモリ信号を補間する補間器、17は画像信号の
出力を制御する出力制御手段の一例としての出力制御器
であり、50は本発明の動きベクトル検出装置であり、第
１図の実施例と同じ手段には同じ番号を付けその説明は
省略する。

以上のように構成された画像の搖れ補正装置の動作に
ついて説明する。

第５図において、動きベクトルを求める方法は前記し
た実施例と同様である。動きベクトル検出装置B50より
入力された画像信号の動きベクトルが出力され、出力制
御器17に入力する。出力制御器17は動きベクトルの正数
部に対応して、メモリ15の信号読み出しのアドレスを決
定する。また動きベクトルの小数部に対応して補間器16
の制御を行う。補間は垂直水平とも距離の逆数に対応し
た重みの掛ける線形補間とする。この様にして、動きベ
クトルに合わせて出力制御器17は画像を揺れと逆の方向
にシフトし、画像の搖れをキャンセルする。また出力制
御器17は、出力する画像をもとの画像の1.1から1.5倍程
度に拡大し、左右上下の“縁”が見えないようにする。
このように本発明の動きベクトル検出装置を用い、画像
の搖れ補正装置を構成することにより、画像の中に相関
が多く、従来の搖れ補正装置では補正を誤る場合におい
ても、誤る可能性のある候補ベクトルを無効とし安定な
搖れ補正を実現する画像の搖れ補正装置を実現すること
ができる。

尚、動きベクトル検出装置の上記実施例において周囲
データは最小点から±２の距離はなれた位置のものとし
たが、±２の距離に限る必要はない。また周辺のデータ
で、そのレベルが最小値の1.2倍以下のときに、その動
きベクトルの候補を無効としたが、1.2倍に限る必要は
なく、また固定値に限る必要もなく、ある関数を用いた
変数としてもよい。

またブロック部に示した各演算器は、ハード構成でな
く、マイコンとそのソフトにより演算しても良いのは当
然である。

発明の効果 以上示したように、本発明によれば、画像の中で相関
性の高い点が多く得られている条件では、動きベクトル
の演算データを、動きベクトルの決定に用いないように
し、他の領域の動きベクトルが安定に求められる演算デ
ータを基に、動きベクトルを決定する。このようにする
事により、従来動きベクトルとして無効であるが、その
判定が出来ず誤った動きベクトルを出力していた場合に
おいても、その判定が可能となり誤ったベクトルを出力
することが無くなり、安定した動きベクトルを検出でき
る。

また、その正しい動きベクトルを利用して画像揺れを
補正できるようになる。

【図面の簡単な説明】

第１図は本発明の一実施例における動きベクトル検出装
置の構成を示すブロック図、第２図は本発明の一実施例
における動きベクトル検出装置の動作状態図、第３図は
本発明に用いる相関特徴抽出手段の一実施例の構成を示
すブロック図、第４図及び第５図は本発明の一実施例に
おける動きベクトル検出装置の動作状態図、第６図は本
発明の一実施例における画像搖れ補正装置の構成を示す
ブロック図、第７図は従来例の動きベクトル検出装置の
構成を示すブロック図、第８図及び第９図は従来例にお
ける動きベクトル検出装置の動作状態図である。 ２……代表点保存メモリ、７……累積加算器、８……相
関性検索器、９……無効判定器、11……相関特徴抽出手
段、12……動きベクトル判定手段Ｂ、15……メモリ、16
……補間器、17……出力制御手段、20……動きベクトル
検出手段Ａ、50……動きベクトル検出装置Ｂ。

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 5/232

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力画像信号を複数の領域に分割し、それ
   ぞれの領域における画像の動きベクトルを演算する動き
   ベクトル検出手段と、 前記動きベクトル検出手段の相関演算値から特定基準以
   上の強い相関があるかを検出する相関特徴検出手段と、 前記動きベクトル検出手段の相関演算値の最小値、平均
   値または最大値より動きベクトル有効無効を判定する有
   効無効判定手段と、 前記相関特徴検出手段の出力と前記有効無効判定手段の
   出力に基づき、特定基準以上の強い相関がなく、且つ前
   記有効無効判定手段の出力が有効なとき、前記領域から
   得られた動きベクトルを有効と判断し、前記領域から得
   られた有効と判断された動きベクトルから画像全体の動
   きベクトルを決定する動きベクトル判定手段とを有し、 前記相関特徴検出手段で特定の方向に強い相関がある
   か、または一定の間隔離れた点に強い相関があるかを特
   定基準とし、 前記有効無効判定手段では前記動きベクトル検出手段の
   相関演算値の 最小値＜＜平均値 且つ 平均値＞C1
   （定数）且つ 最小値＜＜最大値のとき求めた動きベク
   トルを有効と判定することを特徴とする動きベクトル検
   出装置。
2. 【請求項２】入力画像信号を複数の領域に分割し、それ
   ぞれの領域における画像の動きベクトルを演算する動き
   ベクトル検出手段と、 前記動きベクトル検出手段の相関演算値から特定基準以
   上の強い相関があるかを検出する相関特徴検出手段と、 前記動きベクトル検出手段の相関演算値の最小値、平均
   値または最大値より動きベクトルの有効無効をを判定す
   る有効無効判定手段と、 前記相関特徴検出手段の出力と前記有効無効判定手段の
   出力に基づき、一定基準以上の強い相関がなく、且つ前
   記有効無効判定手段の出力が有効なとき、前記領域から
   得られた動きベクトルを有効と判断して前記領域から得
   られた有効と判断された動きベクトルから画像全体の動
   きベクトルを決定する動きベクトル判定手段と、 前記入力画像信号を記憶するメモリと、 前記動きベクトル判定手段による動きベクトルに基づ
   き、前記メモリの画像を拡大補間して揺れを補正した画
   像を出力させることのできる出力制御手段とを有し、 前記相関特徴検出手段で特定の方向に強い相関がある
   か、または一定の間隔離れた点に強い相関があるかを特
   定基準とし、 前記有効無効判定手段では前記動きベクトル検出手段の
   相関演算値の 最小値＜＜平均値 且つ平均値＞C1（定
   数）且つ 最小値＜＜最大値のとき求めた動きベクトル
   を有効と判定することを特徴とする画像揺れ補正装置。