JP2813395B2 - 動きベクトル検出装置及び画像搖れ補正装置 - Google Patents
動きベクトル検出装置及び画像搖れ補正装置Info
- Publication number
- JP2813395B2 JP2813395B2 JP33902089A JP33902089A JP2813395B2 JP 2813395 B2 JP2813395 B2 JP 2813395B2 JP 33902089 A JP33902089 A JP 33902089A JP 33902089 A JP33902089 A JP 33902089A JP 2813395 B2 JP2813395 B2 JP 2813395B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- correlation
- value
- valid
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は画像の動き量を検出する動きベクトル検出装
置及び画像揺れ補正装置に関するものである。
置及び画像揺れ補正装置に関するものである。
従来の技術 従来の画像の動きベクトル検出装置の例として、例え
ば特開昭61−269475号公報に示される様なものがある。
ば特開昭61−269475号公報に示される様なものがある。
第7図は、これの概略図を示したものであり、1はラ
ッチA、2は代表点メモリ、3はラッチB、4は相関手
段、5はアドレスコントローラ、6はアドレス切り替え
回路、7は累積加算手段、8は相関性検索回路、9は相
関性有効無効判定回路、10は動きベクトル判定回路であ
る。
ッチA、2は代表点メモリ、3はラッチB、4は相関手
段、5はアドレスコントローラ、6はアドレス切り替え
回路、7は累積加算手段、8は相関性検索回路、9は相
関性有効無効判定回路、10は動きベクトル判定回路であ
る。
以上のように構成された従来の相関演算装置を用いた
画像の動きベクトル検出装置について説明する。
画像の動きベクトル検出装置について説明する。
まず、画像の動きベクトルについて説明する。第8図
(a)は、ある時刻における画像を示している。そして
(b)は1フィールドもしくは1フレーム後の画像を示
している。このように、撮像装置などの動きによって画
像が平行移動するとき、(c)の矢印で示したように画
像が平行移動した量をベクトルで示したものを動きベク
トルと呼ぶ。
(a)は、ある時刻における画像を示している。そして
(b)は1フィールドもしくは1フレーム後の画像を示
している。このように、撮像装置などの動きによって画
像が平行移動するとき、(c)の矢印で示したように画
像が平行移動した量をベクトルで示したものを動きベク
トルと呼ぶ。
第9図はこのような画像の動きベクトルを検出する方
法である,代表点マッチング法における代表点とそのま
わりの画素の様子を示したものである。動きベクトル検
出は、あるフィールドにおける代表点の位置の画像デー
タが次のフィールドでまわりの画素のうち、どこに移動
したかを検出することによって行われる。
法である,代表点マッチング法における代表点とそのま
わりの画素の様子を示したものである。動きベクトル検
出は、あるフィールドにおける代表点の位置の画像デー
タが次のフィールドでまわりの画素のうち、どこに移動
したかを検出することによって行われる。
次に、従来の相関演算装置を用いた画像の動きベクト
ル検出装置について第7図を用いて説明する。
ル検出装置について第7図を用いて説明する。
画面上の各代表点における画像データはタイミングパ
ルスLP1によりラッチA1に取り込まれ、タイミングをと
って代表点保存メモリ2のそれぞれの代表点に対応する
アドレスに書き込まれる。そして、次のフィールドもし
くは次のフレームにおいて、各代表点の位置のまわりの
動きベクトル検出領域における画像データと、代表点メ
モリ2に保存された前フィールドの代表点の相関をと
り、累積加算手段7に入力する。累積加算手段7は代表
点を基準としたときの座標の位置が同じ場所において相
関をとったデータを、それぞれ累積加算する。そしてす
べての代表点まわりの累積加算が終了したとき、相関性
検索回路8により累積加算手段7に保持された累積加算
値のなかで最も相関の高い値を有する場所を判定する。
つまり、代表点の位置を基準としたときの、この最も相
関の高い値を有する位置(アドレス)が動きベクトルと
なる。第7図で示した構成では相関演算を、差分絶対値
の累積加算で行っているため、累積加算手段7にある相
関が高い点のデータ値は、その他の点のデータ値より低
いレベルとなる。さらに、代表点の回りの相関値の分布
(平均値、最小値、最大値、勾配など)をもとにして、
相関演算により得られた動きベクトルが有効が無効が判
定する。この判定を無効判定回路9により行う。以上に
説明した動作は、画面を複数個に分割した各領域につい
て行なわれる。
ルスLP1によりラッチA1に取り込まれ、タイミングをと
って代表点保存メモリ2のそれぞれの代表点に対応する
アドレスに書き込まれる。そして、次のフィールドもし
くは次のフレームにおいて、各代表点の位置のまわりの
動きベクトル検出領域における画像データと、代表点メ
モリ2に保存された前フィールドの代表点の相関をと
り、累積加算手段7に入力する。累積加算手段7は代表
点を基準としたときの座標の位置が同じ場所において相
関をとったデータを、それぞれ累積加算する。そしてす
べての代表点まわりの累積加算が終了したとき、相関性
検索回路8により累積加算手段7に保持された累積加算
値のなかで最も相関の高い値を有する場所を判定する。
つまり、代表点の位置を基準としたときの、この最も相
関の高い値を有する位置(アドレス)が動きベクトルと
なる。第7図で示した構成では相関演算を、差分絶対値
の累積加算で行っているため、累積加算手段7にある相
関が高い点のデータ値は、その他の点のデータ値より低
いレベルとなる。さらに、代表点の回りの相関値の分布
(平均値、最小値、最大値、勾配など)をもとにして、
相関演算により得られた動きベクトルが有効が無効が判
定する。この判定を無効判定回路9により行う。以上に
説明した動作は、画面を複数個に分割した各領域につい
て行なわれる。
そして、画面の各領域から得られた動きベクトルとそ
の無効判定情報により画面全体の動きベクトルを判定手
段A10により判定する。
の無効判定情報により画面全体の動きベクトルを判定手
段A10により判定する。
ここまでの動作は毎フィールド(フレーム)行うた
め、相関演算を行いながら次のフィールド(フレーム)
の相関演算のための代表点における画像データを保存す
るためにラッチA1がある。また、ラッチB3は、ある代表
点の画像データと、その周辺の画像データとの相関をと
るときに代表点のデータを保持する。
め、相関演算を行いながら次のフィールド(フレーム)
の相関演算のための代表点における画像データを保存す
るためにラッチA1がある。また、ラッチB3は、ある代表
点の画像データと、その周辺の画像データとの相関をと
るときに代表点のデータを保持する。
第7の破線手段分、すなわち相関演算により動きベク
トルを検出する手段分を動きベクトル検出手段A20とす
る。
トルを検出する手段分を動きベクトル検出手段A20とす
る。
発明が解決しようとする課題 しかしながら上記のような構成において、被写体の各
位置による相関が低く、撮像装置の動きによる画像がシ
フトした点だけが相関の高い点となれば良いが、被写体
に規則正しい相関があった場合、相関の高い点が多数得
られる。従って各領域から得られる動きベクトルが相関
の高い多数の点の位置となり、各領域における動きベク
トルは同じにならない。その結果、各領域の動きベクト
ルの平均等をとって画面全体の動きベクトルを決定する
と、画面全体の動きと異なる画像の相関の高い点を示し
た領域の動きベクトルの候補点が原因となり、画像全体
の動きベクトルの検出を誤るという問題点を有してい
た。
位置による相関が低く、撮像装置の動きによる画像がシ
フトした点だけが相関の高い点となれば良いが、被写体
に規則正しい相関があった場合、相関の高い点が多数得
られる。従って各領域から得られる動きベクトルが相関
の高い多数の点の位置となり、各領域における動きベク
トルは同じにならない。その結果、各領域の動きベクト
ルの平均等をとって画面全体の動きベクトルを決定する
と、画面全体の動きと異なる画像の相関の高い点を示し
た領域の動きベクトルの候補点が原因となり、画像全体
の動きベクトルの検出を誤るという問題点を有してい
た。
本発明はかかる点に鑑み、被写体に多くの相関があっ
た場合に、その相関を検出し、画面全体の動きベクトル
の検出誤りを抑圧することが出来る動きベクトル検出装
置及び画像ゆれ補正装置を提供することを目的とする。
た場合に、その相関を検出し、画面全体の動きベクトル
の検出誤りを抑圧することが出来る動きベクトル検出装
置及び画像ゆれ補正装置を提供することを目的とする。
課題を解決するための手段 請求項1の本発明は、入力画像信号を複数の領域に分
割し、それぞれの領域における画像の動きベクトルを演
算する動きベクトル検出手段と、前記動きベクトル検出
手段の相関演算値から特定基準以上の強い相関があるか
を検出する相関特徴検出手段と、前記動きベクトル検出
手段の相関演算値の最小値、平均値または最大値より動
きベクトルの有効無効を判定する有効無効判定手段と、
前記相関特徴検出手段の出力と前記有効無効判定手段の
出力に基づき、特定基準以上の強い相関がなく、且つ前
記有効無効判定手段の出力が有効なとき、前記領域から
得られた動きベクトルを有効と判断し、前記領域から得
られた有効と判断された動きベクトルから画像全体の動
きベクトルを決定する動きベクトル判定手段とを有し、
前記相関特徴検出手段で特定の方向に強い相関がある
か、または一定の間隔離れた点に強い相関があるかを特
定基準とし、前記有効無効判定手段では前記動きベクト
ル検出手段の相関演算値の 最小値<<平均値 且つ
平均値>C1(定数)且つ 最小値<<最大値のとき求め
た動きベクトルを有効と判定することを特徴とする動き
ベクトル検出装置である。
割し、それぞれの領域における画像の動きベクトルを演
算する動きベクトル検出手段と、前記動きベクトル検出
手段の相関演算値から特定基準以上の強い相関があるか
を検出する相関特徴検出手段と、前記動きベクトル検出
手段の相関演算値の最小値、平均値または最大値より動
きベクトルの有効無効を判定する有効無効判定手段と、
前記相関特徴検出手段の出力と前記有効無効判定手段の
出力に基づき、特定基準以上の強い相関がなく、且つ前
記有効無効判定手段の出力が有効なとき、前記領域から
得られた動きベクトルを有効と判断し、前記領域から得
られた有効と判断された動きベクトルから画像全体の動
きベクトルを決定する動きベクトル判定手段とを有し、
前記相関特徴検出手段で特定の方向に強い相関がある
か、または一定の間隔離れた点に強い相関があるかを特
定基準とし、前記有効無効判定手段では前記動きベクト
ル検出手段の相関演算値の 最小値<<平均値 且つ
平均値>C1(定数)且つ 最小値<<最大値のとき求め
た動きベクトルを有効と判定することを特徴とする動き
ベクトル検出装置である。
また、請求項2の本発明は、入力画像信号を複数の領
域に分割し、それぞれの領域における画像の動きベクト
ルを演算するベクトル検出手段と、前記動きベクトル検
出手段の相関演算値から特定基準以上の強い相関がある
かを検出する相関特徴検出手段と、前記動きベクトル検
出手段の相関演算値の最小値、平均値または最大値より
動きベクトルの有効無効を判定する有効無効判定手段
と、前記相関特徴検出手段の出力と前記有効無効判定手
段の出力に基づき、一定基準以上の強い相関がなく、且
つ前記有効無効判定手段の出力が有効なとき、前記領域
から得られた動きベクトルを有効と判断して前記領域か
ら得られた有効と判断された動きベクトルから画像全体
の動きベクトルを決定する動きベクトル判定手段と、前
記入力画像信号を記憶するメモリと、前記動きベクトル
判定手段による動きベクトルに基づき、前記メモリの画
像を拡大補間して揺れを補正した画像を出力させること
のできる出力制御手段とを有し、前記相関特徴検出手段
で特定の方向に強い相関があるか、または一定の間隔離
れた点に強い相関があるかを特定基準とし、前記有効無
効判定手段では前記動きベクトル検出手段の相関演算値
の 最小値<<平均値 且つ 平均値>C1(定数)且つ
最小値<<最大値のとき求めた動きベクトルを有効と
判定することを特徴とする画像揺れ補正装置である。
域に分割し、それぞれの領域における画像の動きベクト
ルを演算するベクトル検出手段と、前記動きベクトル検
出手段の相関演算値から特定基準以上の強い相関がある
かを検出する相関特徴検出手段と、前記動きベクトル検
出手段の相関演算値の最小値、平均値または最大値より
動きベクトルの有効無効を判定する有効無効判定手段
と、前記相関特徴検出手段の出力と前記有効無効判定手
段の出力に基づき、一定基準以上の強い相関がなく、且
つ前記有効無効判定手段の出力が有効なとき、前記領域
から得られた動きベクトルを有効と判断して前記領域か
ら得られた有効と判断された動きベクトルから画像全体
の動きベクトルを決定する動きベクトル判定手段と、前
記入力画像信号を記憶するメモリと、前記動きベクトル
判定手段による動きベクトルに基づき、前記メモリの画
像を拡大補間して揺れを補正した画像を出力させること
のできる出力制御手段とを有し、前記相関特徴検出手段
で特定の方向に強い相関があるか、または一定の間隔離
れた点に強い相関があるかを特定基準とし、前記有効無
効判定手段では前記動きベクトル検出手段の相関演算値
の 最小値<<平均値 且つ 平均値>C1(定数)且つ
最小値<<最大値のとき求めた動きベクトルを有効と
判定することを特徴とする画像揺れ補正装置である。
作用 本発明は前記した構成により、各検出領域の動きベク
トルの有効性を、相関の高い点の状態を用いて判断し、
画像全体の正しい動きベクトルを求める。
トルの有効性を、相関の高い点の状態を用いて判断し、
画像全体の正しい動きベクトルを求める。
また、その求められた誤差の無い動きベクトルを利用
して、画像を揺れを補正する。
して、画像を揺れを補正する。
実施例 以下に本発明と実施例を図面を参照して説明する。
第1図は本発明の第1の実施例における動きベクトル
は検出装置の構成を示すブロック図であり、1はラッチ
A、2は代表点メモリ、3はラッチB、4は減算器、5
はアドレスコントローラ、6は絶対値変換回路、7は累
積加算器、8は相関性検索回路、9は相関性無効判定回
路であり、これら各手段1〜9のブロックで構成された
動きベクトル検出手段の一例としての動きベクトル検出
部A20は、従来の構成と同様である。11は相関特徴抽出
手段の一例としての相関特徴抽出器であり、12は動きベ
クトル判定手段の一例としての動きベクトル判定器Bで
ある。
は検出装置の構成を示すブロック図であり、1はラッチ
A、2は代表点メモリ、3はラッチB、4は減算器、5
はアドレスコントローラ、6は絶対値変換回路、7は累
積加算器、8は相関性検索回路、9は相関性無効判定回
路であり、これら各手段1〜9のブロックで構成された
動きベクトル検出手段の一例としての動きベクトル検出
部A20は、従来の構成と同様である。11は相関特徴抽出
手段の一例としての相関特徴抽出器であり、12は動きベ
クトル判定手段の一例としての動きベクトル判定器Bで
ある。
入力された信号の、画面上の各代表点における画像デ
ータは、タイミングパルスLP1によりラッチA1に取り込
まれ、タイミングをとって代表点保存メモリ2のそれぞ
れの代表点に対応するアドレスに書き込まれる。そし
て、次のフィールドもしくは次のフレームにおいて、各
代表点の位置のまわりの動きベクトル検出領域における
画像データと、代表点メモリ2に保存された前フィール
の代表点の相関をとり、累積加算器7に入力する。ここ
での相関演算は差分絶対値の累積加算で行う。累積加算
器7は代表点を基準としたときの座標の位置が同じ場所
において、相関をとったデータをそれぞれ累積加算す
る。そしてすべての代表点まわりの累積加算が終了した
とき、相関性検索回路8により累積加算器7に保持され
た累積加算値のなかで最も相関の高い値を有する場所を
判定する。つまり、代表点の位置を基準としたときの、
この最も相関の高い値を有する位置(アドレス)が動き
ベクトルとなる。本実施例の構成では相関演算を、差分
絶対値の累積加算で行っているため、累積加算器7にあ
る相関が高い点のデータ値は、その他の点のデータ値よ
り低いレベルとなる。一般の画像信号の場合の累積加算
した値の一部を第2図に模式的に示す。第2図は2次元
の相関演算を行うときの2次元のシフト量(偏移)に対
応した平面に相関値(ここでは差分絶対値の累積加算)
のレベルを示したもので、XX′は水平方向を示し、YY′
は垂直方向を示す。また。濃度はデータのレベルを示
し、黒いほどレベルが低いものとする。第2図(a)の
XX′の位置のデータレベルを同図(b)に示す。ここで
一番レベルの低い点が相関値の高い点であり、この点の
位置=アドレスを動きベクトルとして相関性検索器8で
求める。さらに、代表点の回りの相関値の分布(平均
値、最小値、最大値、勾配など)をもとにして、相関性
検索器8により得られた動きベクトル候補が有効か無効
かを判定する。この有効か無効かの判定は従来例と同様
であり、相関値の条件は以下のとうりである。
ータは、タイミングパルスLP1によりラッチA1に取り込
まれ、タイミングをとって代表点保存メモリ2のそれぞ
れの代表点に対応するアドレスに書き込まれる。そし
て、次のフィールドもしくは次のフレームにおいて、各
代表点の位置のまわりの動きベクトル検出領域における
画像データと、代表点メモリ2に保存された前フィール
の代表点の相関をとり、累積加算器7に入力する。ここ
での相関演算は差分絶対値の累積加算で行う。累積加算
器7は代表点を基準としたときの座標の位置が同じ場所
において、相関をとったデータをそれぞれ累積加算す
る。そしてすべての代表点まわりの累積加算が終了した
とき、相関性検索回路8により累積加算器7に保持され
た累積加算値のなかで最も相関の高い値を有する場所を
判定する。つまり、代表点の位置を基準としたときの、
この最も相関の高い値を有する位置(アドレス)が動き
ベクトルとなる。本実施例の構成では相関演算を、差分
絶対値の累積加算で行っているため、累積加算器7にあ
る相関が高い点のデータ値は、その他の点のデータ値よ
り低いレベルとなる。一般の画像信号の場合の累積加算
した値の一部を第2図に模式的に示す。第2図は2次元
の相関演算を行うときの2次元のシフト量(偏移)に対
応した平面に相関値(ここでは差分絶対値の累積加算)
のレベルを示したもので、XX′は水平方向を示し、YY′
は垂直方向を示す。また。濃度はデータのレベルを示
し、黒いほどレベルが低いものとする。第2図(a)の
XX′の位置のデータレベルを同図(b)に示す。ここで
一番レベルの低い点が相関値の高い点であり、この点の
位置=アドレスを動きベクトルとして相関性検索器8で
求める。さらに、代表点の回りの相関値の分布(平均
値、最小値、最大値、勾配など)をもとにして、相関性
検索器8により得られた動きベクトル候補が有効か無効
かを判定する。この有効か無効かの判定は従来例と同様
であり、相関値の条件は以下のとうりである。
平均値》最小値、且つ 平均値>C1(定数)且つ 最
大値》最小値 の条件を用いる。この判定を無効判定回
路9により行う。
大値》最小値 の条件を用いる。この判定を無効判定回
路9により行う。
この無効判定と同時に、相関の高い点が累積加算した
結果に含まれているかどうかを、相関特徴抽出器11によ
り調べる。相関特徴抽出器11の構成を第3図に示す。同
図に於て21はソーティング器、22はデータアドレス出力
器、23は周囲データを読出し器である。ソーティング器
21は累積加算器7の演算結果を順次読出しながら、デー
タ値の小さい順番に並べ替える。データアドレス出力器
22は並べ替えられたデータ値とその位置に対応するアド
レス値を動きベクトル判定器B12に出力する。また周囲
データ読出し器23は、ソーティング器21で求めた最小値
の周囲のデータを読出す。周囲の位置は縦横方向にそれ
どれ±2だけ離れた点であり、第4図にその位置を斜視
で示す。この様にして読み出した周囲データも、動きベ
クトル判定器B12に出力する。
結果に含まれているかどうかを、相関特徴抽出器11によ
り調べる。相関特徴抽出器11の構成を第3図に示す。同
図に於て21はソーティング器、22はデータアドレス出力
器、23は周囲データを読出し器である。ソーティング器
21は累積加算器7の演算結果を順次読出しながら、デー
タ値の小さい順番に並べ替える。データアドレス出力器
22は並べ替えられたデータ値とその位置に対応するアド
レス値を動きベクトル判定器B12に出力する。また周囲
データ読出し器23は、ソーティング器21で求めた最小値
の周囲のデータを読出す。周囲の位置は縦横方向にそれ
どれ±2だけ離れた点であり、第4図にその位置を斜視
で示す。この様にして読み出した周囲データも、動きベ
クトル判定器B12に出力する。
動きベクトル判定器B12においては、まず周囲データ
の中にレベルの低いもの(例えば最小レベルの1.2倍以
下)が有るかどうかを調べ、有る場合には無効判定器9
の判定が有効のときも、無効とする。この条件はある方
向に相関が強く、相関演算では動きベクトルが正しく求
まらない条件であり、第5図(a)にその一例を示す。
第5図は累積加算器7のデータ値を明暗で示したもの
で、水平、垂直の方向は2次元の相関演算を行うときの
2次元のシフト(偏移)の方向に対応したもので、これ
を平面として相関値(ここでは差分絶対値の累積加算)
のレベルを示す。同図(a)は一方向に相関が高い場合
の例であり、(b)は一定の繰り返しで相関が強い場合
の例である。
の中にレベルの低いもの(例えば最小レベルの1.2倍以
下)が有るかどうかを調べ、有る場合には無効判定器9
の判定が有効のときも、無効とする。この条件はある方
向に相関が強く、相関演算では動きベクトルが正しく求
まらない条件であり、第5図(a)にその一例を示す。
第5図は累積加算器7のデータ値を明暗で示したもの
で、水平、垂直の方向は2次元の相関演算を行うときの
2次元のシフト(偏移)の方向に対応したもので、これ
を平面として相関値(ここでは差分絶対値の累積加算)
のレベルを示す。同図(a)は一方向に相関が高い場合
の例であり、(b)は一定の繰り返しで相関が強い場合
の例である。
同時にデータアドレス出力器22より送られたデータの
中にレベルの低いもの(例えば最小レベルの1.2倍以
下)がないかを調べる。レベルの低いものが有った場
合、そのアドレスが最小レベルのアドレスと、水平垂直
方向共に±2以上離れているかを調べる。離れていた場
合には、無効判定器9の判定が有効のときも、無効とす
る。この条件はある間隔離れたところに相関が強く、相
関演算では動きベクトルが正しく求まらない条件であ
り、その一例を第5図(b)に示す。第4図で横線で示
した位置にレベルの低いデータがある場合や、第5図に
示した例では、従来のようにデータの最小点しか用いな
い場合、これらの点を検出出来ず、誤った動きベクトル
を検出することになる。本発明の場合このような条件に
おいても、画像の相関が1方向に強い部分や、繰り返し
の相関がある条件を判定し、この条件下での演算結果を
用いないようにできるため、動いベクトルを誤検出する
確率を低減できる。
中にレベルの低いもの(例えば最小レベルの1.2倍以
下)がないかを調べる。レベルの低いものが有った場
合、そのアドレスが最小レベルのアドレスと、水平垂直
方向共に±2以上離れているかを調べる。離れていた場
合には、無効判定器9の判定が有効のときも、無効とす
る。この条件はある間隔離れたところに相関が強く、相
関演算では動きベクトルが正しく求まらない条件であ
り、その一例を第5図(b)に示す。第4図で横線で示
した位置にレベルの低いデータがある場合や、第5図に
示した例では、従来のようにデータの最小点しか用いな
い場合、これらの点を検出出来ず、誤った動きベクトル
を検出することになる。本発明の場合このような条件に
おいても、画像の相関が1方向に強い部分や、繰り返し
の相関がある条件を判定し、この条件下での演算結果を
用いないようにできるため、動いベクトルを誤検出する
確率を低減できる。
ここまでの動作は、画面を複数個に分割した各領域に
ついて行なう。ここまでの動作は毎フィールド(フレー
ム)行うため、相関演算を行いながら次のフィールド
(フレーム)の相関演算のための代表点における画像デ
ータを保存するためにラッチA1がある。また、ラッチB3
は、ある代表点の画像データと、その周辺の画像データ
との相関をとるときに代表点の画像データを保持する。
ついて行なう。ここまでの動作は毎フィールド(フレー
ム)行うため、相関演算を行いながら次のフィールド
(フレーム)の相関演算のための代表点における画像デ
ータを保存するためにラッチA1がある。また、ラッチB3
は、ある代表点の画像データと、その周辺の画像データ
との相関をとるときに代表点の画像データを保持する。
この様にして、分割した各領域から動きベクトルの候
補を決定し、これらの候補ベクトルをメディアンフィル
タにかけて、入力信号の動きベクトルとする。この様に
して入力信号の動きベクトルを求めることにより、相関
性の高い点が多く得られている条件では、動きベクトル
の演算データを、動きベクトルの決定に用いないように
し、他の領域の動きベクトルが安定に求められる演算デ
ータを基に、動きベクトルを決定する。従って、従来動
きベクトルとして無効であるが、その判定が出来ず誤っ
た動きベクトルを出力していた場合においても、その判
定が可能となり誤ったベクトルを出力することが無くな
る。
補を決定し、これらの候補ベクトルをメディアンフィル
タにかけて、入力信号の動きベクトルとする。この様に
して入力信号の動きベクトルを求めることにより、相関
性の高い点が多く得られている条件では、動きベクトル
の演算データを、動きベクトルの決定に用いないように
し、他の領域の動きベクトルが安定に求められる演算デ
ータを基に、動きベクトルを決定する。従って、従来動
きベクトルとして無効であるが、その判定が出来ず誤っ
た動きベクトルを出力していた場合においても、その判
定が可能となり誤ったベクトルを出力することが無くな
る。
次に本発明の一実施例の動きベクトル検出装置を用い
た、画像の搖れ補正装置について説明する。
た、画像の搖れ補正装置について説明する。
画像の搖れ補正装置の一実施例のブロック図を、第6
図に示す。同図において15は画像信号を蓄積するメモ
リ、16はメモリ信号を補間する補間器、17は画像信号の
出力を制御する出力制御手段の一例としての出力制御器
であり、50は本発明の動きベクトル検出装置であり、第
1図の実施例と同じ手段には同じ番号を付けその説明は
省略する。
図に示す。同図において15は画像信号を蓄積するメモ
リ、16はメモリ信号を補間する補間器、17は画像信号の
出力を制御する出力制御手段の一例としての出力制御器
であり、50は本発明の動きベクトル検出装置であり、第
1図の実施例と同じ手段には同じ番号を付けその説明は
省略する。
以上のように構成された画像の搖れ補正装置の動作に
ついて説明する。
ついて説明する。
第5図において、動きベクトルを求める方法は前記し
た実施例と同様である。動きベクトル検出装置B50より
入力された画像信号の動きベクトルが出力され、出力制
御器17に入力する。出力制御器17は動きベクトルの正数
部に対応して、メモリ15の信号読み出しのアドレスを決
定する。また動きベクトルの小数部に対応して補間器16
の制御を行う。補間は垂直水平とも距離の逆数に対応し
た重みの掛ける線形補間とする。この様にして、動きベ
クトルに合わせて出力制御器17は画像を揺れと逆の方向
にシフトし、画像の搖れをキャンセルする。また出力制
御器17は、出力する画像をもとの画像の1.1から1.5倍程
度に拡大し、左右上下の“縁”が見えないようにする。
このように本発明の動きベクトル検出装置を用い、画像
の搖れ補正装置を構成することにより、画像の中に相関
が多く、従来の搖れ補正装置では補正を誤る場合におい
ても、誤る可能性のある候補ベクトルを無効とし安定な
搖れ補正を実現する画像の搖れ補正装置を実現すること
ができる。
た実施例と同様である。動きベクトル検出装置B50より
入力された画像信号の動きベクトルが出力され、出力制
御器17に入力する。出力制御器17は動きベクトルの正数
部に対応して、メモリ15の信号読み出しのアドレスを決
定する。また動きベクトルの小数部に対応して補間器16
の制御を行う。補間は垂直水平とも距離の逆数に対応し
た重みの掛ける線形補間とする。この様にして、動きベ
クトルに合わせて出力制御器17は画像を揺れと逆の方向
にシフトし、画像の搖れをキャンセルする。また出力制
御器17は、出力する画像をもとの画像の1.1から1.5倍程
度に拡大し、左右上下の“縁”が見えないようにする。
このように本発明の動きベクトル検出装置を用い、画像
の搖れ補正装置を構成することにより、画像の中に相関
が多く、従来の搖れ補正装置では補正を誤る場合におい
ても、誤る可能性のある候補ベクトルを無効とし安定な
搖れ補正を実現する画像の搖れ補正装置を実現すること
ができる。
尚、動きベクトル検出装置の上記実施例において周囲
データは最小点から±2の距離はなれた位置のものとし
たが、±2の距離に限る必要はない。また周辺のデータ
で、そのレベルが最小値の1.2倍以下のときに、その動
きベクトルの候補を無効としたが、1.2倍に限る必要は
なく、また固定値に限る必要もなく、ある関数を用いた
変数としてもよい。
データは最小点から±2の距離はなれた位置のものとし
たが、±2の距離に限る必要はない。また周辺のデータ
で、そのレベルが最小値の1.2倍以下のときに、その動
きベクトルの候補を無効としたが、1.2倍に限る必要は
なく、また固定値に限る必要もなく、ある関数を用いた
変数としてもよい。
またブロック部に示した各演算器は、ハード構成でな
く、マイコンとそのソフトにより演算しても良いのは当
然である。
く、マイコンとそのソフトにより演算しても良いのは当
然である。
発明の効果 以上示したように、本発明によれば、画像の中で相関
性の高い点が多く得られている条件では、動きベクトル
の演算データを、動きベクトルの決定に用いないように
し、他の領域の動きベクトルが安定に求められる演算デ
ータを基に、動きベクトルを決定する。このようにする
事により、従来動きベクトルとして無効であるが、その
判定が出来ず誤った動きベクトルを出力していた場合に
おいても、その判定が可能となり誤ったベクトルを出力
することが無くなり、安定した動きベクトルを検出でき
る。
性の高い点が多く得られている条件では、動きベクトル
の演算データを、動きベクトルの決定に用いないように
し、他の領域の動きベクトルが安定に求められる演算デ
ータを基に、動きベクトルを決定する。このようにする
事により、従来動きベクトルとして無効であるが、その
判定が出来ず誤った動きベクトルを出力していた場合に
おいても、その判定が可能となり誤ったベクトルを出力
することが無くなり、安定した動きベクトルを検出でき
る。
また、その正しい動きベクトルを利用して画像揺れを
補正できるようになる。
補正できるようになる。
第1図は本発明の一実施例における動きベクトル検出装
置の構成を示すブロック図、第2図は本発明の一実施例
における動きベクトル検出装置の動作状態図、第3図は
本発明に用いる相関特徴抽出手段の一実施例の構成を示
すブロック図、第4図及び第5図は本発明の一実施例に
おける動きベクトル検出装置の動作状態図、第6図は本
発明の一実施例における画像搖れ補正装置の構成を示す
ブロック図、第7図は従来例の動きベクトル検出装置の
構成を示すブロック図、第8図及び第9図は従来例にお
ける動きベクトル検出装置の動作状態図である。 2……代表点保存メモリ、7……累積加算器、8……相
関性検索器、9……無効判定器、11……相関特徴抽出手
段、12……動きベクトル判定手段B、15……メモリ、16
……補間器、17……出力制御手段、20……動きベクトル
検出手段A、50……動きベクトル検出装置B。
置の構成を示すブロック図、第2図は本発明の一実施例
における動きベクトル検出装置の動作状態図、第3図は
本発明に用いる相関特徴抽出手段の一実施例の構成を示
すブロック図、第4図及び第5図は本発明の一実施例に
おける動きベクトル検出装置の動作状態図、第6図は本
発明の一実施例における画像搖れ補正装置の構成を示す
ブロック図、第7図は従来例の動きベクトル検出装置の
構成を示すブロック図、第8図及び第9図は従来例にお
ける動きベクトル検出装置の動作状態図である。 2……代表点保存メモリ、7……累積加算器、8……相
関性検索器、9……無効判定器、11……相関特徴抽出手
段、12……動きベクトル判定手段B、15……メモリ、16
……補間器、17……出力制御手段、20……動きベクトル
検出手段A、50……動きベクトル検出装置B。
フロントページの続き (58)調査した分野(Int.Cl.6,DB名) H04N 5/232
Claims (2)
- 【請求項1】入力画像信号を複数の領域に分割し、それ
ぞれの領域における画像の動きベクトルを演算する動き
ベクトル検出手段と、 前記動きベクトル検出手段の相関演算値から特定基準以
上の強い相関があるかを検出する相関特徴検出手段と、 前記動きベクトル検出手段の相関演算値の最小値、平均
値または最大値より動きベクトル有効無効を判定する有
効無効判定手段と、 前記相関特徴検出手段の出力と前記有効無効判定手段の
出力に基づき、特定基準以上の強い相関がなく、且つ前
記有効無効判定手段の出力が有効なとき、前記領域から
得られた動きベクトルを有効と判断し、前記領域から得
られた有効と判断された動きベクトルから画像全体の動
きベクトルを決定する動きベクトル判定手段とを有し、 前記相関特徴検出手段で特定の方向に強い相関がある
か、または一定の間隔離れた点に強い相関があるかを特
定基準とし、 前記有効無効判定手段では前記動きベクトル検出手段の
相関演算値の 最小値<<平均値 且つ 平均値>C1
(定数)且つ 最小値<<最大値のとき求めた動きベク
トルを有効と判定することを特徴とする動きベクトル検
出装置。 - 【請求項2】入力画像信号を複数の領域に分割し、それ
ぞれの領域における画像の動きベクトルを演算する動き
ベクトル検出手段と、 前記動きベクトル検出手段の相関演算値から特定基準以
上の強い相関があるかを検出する相関特徴検出手段と、 前記動きベクトル検出手段の相関演算値の最小値、平均
値または最大値より動きベクトルの有効無効をを判定す
る有効無効判定手段と、 前記相関特徴検出手段の出力と前記有効無効判定手段の
出力に基づき、一定基準以上の強い相関がなく、且つ前
記有効無効判定手段の出力が有効なとき、前記領域から
得られた動きベクトルを有効と判断して前記領域から得
られた有効と判断された動きベクトルから画像全体の動
きベクトルを決定する動きベクトル判定手段と、 前記入力画像信号を記憶するメモリと、 前記動きベクトル判定手段による動きベクトルに基づ
き、前記メモリの画像を拡大補間して揺れを補正した画
像を出力させることのできる出力制御手段とを有し、 前記相関特徴検出手段で特定の方向に強い相関がある
か、または一定の間隔離れた点に強い相関があるかを特
定基準とし、 前記有効無効判定手段では前記動きベクトル検出手段の
相関演算値の 最小値<<平均値 且つ平均値>C1(定
数)且つ 最小値<<最大値のとき求めた動きベクトル
を有効と判定することを特徴とする画像揺れ補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33902089A JP2813395B2 (ja) | 1989-12-26 | 1989-12-26 | 動きベクトル検出装置及び画像搖れ補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33902089A JP2813395B2 (ja) | 1989-12-26 | 1989-12-26 | 動きベクトル検出装置及び画像搖れ補正装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH03198489A JPH03198489A (ja) | 1991-08-29 |
JP2813395B2 true JP2813395B2 (ja) | 1998-10-22 |
Family
ID=18323517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33902089A Expired - Fee Related JP2813395B2 (ja) | 1989-12-26 | 1989-12-26 | 動きベクトル検出装置及び画像搖れ補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2813395B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61269475A (ja) * | 1985-05-23 | 1986-11-28 | Toshiba Corp | 動きベクトル検出装置 |
JPH082090B2 (ja) * | 1986-12-27 | 1996-01-10 | 株式会社東芝 | 画像動き補正装置 |
-
1989
- 1989-12-26 JP JP33902089A patent/JP2813395B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH03198489A (ja) | 1991-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH07118784B2 (ja) | テレビジヨン信号の動き検出方法 | |
KR102141290B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체 | |
KR950006045B1 (ko) | 움직임벡터검출장치 및 화상흔들림보정장치 | |
JPS62125478A (ja) | 移動物体像を抽出する方法 | |
US8085986B2 (en) | Image processing apparatus and method for processing images more naturally and sharply | |
JPH04250779A (ja) | 動きベクトル検出回路 | |
JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP2507138B2 (ja) | 動きベクトル検出装置及び画像揺れ補正装置 | |
JPH06197264A (ja) | ディジタル映像安定化方法及びシステム | |
KR100232113B1 (ko) | 동벡터검출장치 | |
EP0538042A2 (en) | Apparatus for judging a hand movement of an image | |
JP2679778B2 (ja) | 画像の動き検出装置 | |
JP2001506433A (ja) | 揺れスキャンオフセット訂正 | |
KR20190087119A (ko) | 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법 | |
JP2813395B2 (ja) | 動きベクトル検出装置及び画像搖れ補正装置 | |
JP2008109545A (ja) | 画像ブレ検出装置並びにこれを備えた画像ブレ補正装置、固体撮像装置、及び電子機器 | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JPH0220988A (ja) | 動画像符号化装置における動ベクトル検出方式 | |
JP2676978B2 (ja) | 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法 | |
JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP2661330B2 (ja) | 動きベクトル検出装置及び画像ゆれ補正装置 | |
JP2506469B2 (ja) | 動きベクトル検出装置及び画像ゆれ補正装置 | |
JPH0813146B2 (ja) | 動きベクトル検出装置 | |
JPH0575913A (ja) | 動きベクトル検出回路及び手ぶれ補正回路 | |
JP2600520B2 (ja) | 画像動き補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |