JPH0728408B2 - 画像の動きベクトル検出装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 この発明は、テレビジョン画像の動きベクトル検出装置
に関するものである。

従来の技術 従来の画像の動きベクトル検出装置としては、例えば特
開昭61−201581号公報に示されている。第８図は、この
従来の画像の動きベクトル検出装置のブロック図を示す
ものである。

図において、代表点メモリ２が、入力端子１から入力さ
れた１フレーム又は１フィールドの画像信号の内、幾つ
かの代表点の位置の画素の信号を記憶し、入力端子１か
らもう一方の１フレーム又は１フィールドの画像信号が
入力され相関器３に供給されるとき、記憶した代表点の
信号を、相関器３に供給する。相関器３は代表点の信号
と、画像信号の代表点の位置から水平方向と垂直方向に
（i,j）偏移した画素の信号との差の絶対値｜ΔL|（i,
j）をとりこれを累積加算回路４に供給する。累積加算
回路４は、検出区域内の全ての代表点について、偏移量
（i,j）ごとにこの｜ΔL|（i,j）を累積加算し、偏移量
（i,j）に体する相関値Σ｜ΔL|（i,j）を求め、これを
動きベクトル発生回路５に供給する。動きベクトル発生
回路５では、この相関値Σ｜ΔL|（i,j）を最小にする
ところの偏移量（i,j）を検出し、動きベクトルを発生
し、出力端子６に供給する。

しかしながら上記のような構成では、入力される画像信
号のS/N比が悪い場合、誤ベクトルを検出する確率が高
いものであった。

又前記誤ベクトルを検出する確率を下げるために、検出
区域内の代表点の数および累積加算の回数を一定以上に
しなければならない。さらに画像信号のS/N比が良い場
合でも第９図に示す画面（ａ），その１ライン上のレベ
ル波（ｂ）に示すように、画像信号の波形が、ステップ
状に変化する場合、代表点7,7′上で、画像信号の変化
成分が存在する可能性が少ないため、第９図に示すよう
に相関値（ｃ）に示すように代表点７と７′の間隔８と
ほぼ等しい範囲９で、相関値Σ｜ΔL|（ｊ）が一定の最
小値をとるため、ベクトル検出の精度が悪くなり、さら
には、動きベクトル検出が不可能となる。これを防ぐた
めには代表点の間隔を一定以下にしなければならず、し
たがって検出区域内の代表点の数および累積加算の回数
を一定以上にしなければならない。したがって従来のも
のでは、検出区域内の代表点の数および累積加算の回数
一定以上にしなければならないので、ハードウェアの簡
略化・処理時間の短縮化に、一定の限界があった。さら
に動きベクトルの検出範囲を一定値以上に定め、各代表
点からの一定値以内で偏移した範囲の画素領域をその代
表点に対応する探索領域としたとき、第10図に示すよう
に各探索領域10,10′が画面内でたがいに重なりを持た
ず、各探索領域内の画素と代表点が１対１対応となって
いれば、第８図の装置に、２つのフレーム又はフィール
ドの内時間的に後から入力されるフレーム又はフィール
ドの１つの画素信号が入力されるとき、代表点メモリ２
はそれに対応する１つの代表点の信号を出力すればよ
く、相関器３および、累積加算器４は、それぞれ１つの
演算だけをすればよいので、ハードウェアが非常に簡略
化できる。又この各探索領域10,10′の重なる回数が多
くなるほどハードウェアが複雑になる。しかし各探索領
域が重ならないためには、第10図に示すようにその大き
さ11,11′を、各代表点の間隔8,8′以上にとれないの
で、検出できる動きベクトルの範囲がそれにより限定さ
れてしまう。

そして従来のものでは、前述したように各代表点の間隔
8,8′を一定以下にしなければならないので、ハードウ
ェアの簡略化しようとすれば、検出できる動きベクトル
の範囲が狭くなり、又この範囲を広くとろうとすると、
ハードウェアが複雑になるという課題を有していた。第
３に、画像信号にフリッカーや撮影時の自動露光調切の
作動等の理由で、信号波形のレベルが第11図（ａ）に示
すように変動した場合、各代表点からの信号の差の絶対
値｜ΔL|（ｉ）は同図（ｂ）の12,12′に示すようにな
り、それを累積加算したところの相関値Σ｜ΔL|（ｉ）
は同図（ｃ）に示すようになり、その最小点13は、画像
の移動量とは異なる点となる。よって誤ベクトルが検出
される。ただし、従来の例でも、前記の第８図の相関器
３で、２つの信号の差の絶対値ではなく、２つの信号を
乗算したものを求め、動きベクトル発生回路５では、そ
れを累積加算したものの最大値を与える偏移量（i,j）
を動きベクトルとするものに変更すると解決できる。

だが、この場合はハードウェアで構成するとき、相関器
３で、乗算回路が必要となる。又相関器３のディジタル
信号のビット数が大きくなるので、相関器３以降の累積
加算４、動きベクトル発生回路５での演算量が大きくな
り、その回路規模も大きくなる。よって動きベクトル検
出装置全体の回路規模が大きく、又複雑になり処理時間
も長くなるという欠点がある。

また、画像信号にシェーディングが多く含まれる場合も
正確な動きベクトル検出は困難である。

発明が解決しようとする課題 したがって従来のものでは、まずS/N比の悪い場合は誤
りベクトル検出の確立が高く、またこの確率を下げるた
め、さらにステップ状の信号が入力された場合でもベク
トル検出を可能にするため、代表点および累積加算の数
を非常に多くとり、よってハードの規模や、処理時間が
大きなものになるといった課題を有していた。また撮影
時のフリッカーや、自動露光調節装置の作動により、信
号波形のレベルが変動するような場合は、誤ベクトル検
出が不可能となり、またシェーディングが多く含まれる
場合も正確な動きベクトル検出が困難であるといった課
題を有していた。

本発明はかかる点に鑑み、第１に、S/N比の悪い画像信
号からでも、正確に動きベクトル検出が可能である動き
ベクトル検出装置を提供すること、第２に、S/N比の悪
い画像信号、又は信号波形がステップ状に変化するよう
な画像信号からでも、代表点の間隔が広くても、又代表
点および累積加算の数が少なくても、正確に動きベクト
ルの検出ができ、よって従来より、ハードウェアを複雑
にせずに検出できる動きベクトルの範囲を広くとること
が可能で、かつさらにハードウェアの簡略化・処理時間
の短縮化が可能な動きベクトル検出装置を提供するこ
と、第３に、フリッカー等によって信号波形のレベルに
変動がある場合、シェーディングが多く含まれるような
場合にでも、正確に動きベクトルを検出できる動きベク
トル検出装置を、装置の回路規模をほとんど変えずに提
供することを目的とする。

課題を解決するための手段 本発明は上記目的を達成するため、あるフレームの入力
信号の検出領域内の信号について、所定の水平方向間隔
ＬX、垂直方向間隔ＬYをあけて設定された複数の代表点
の信号を記憶する手段と、前記フレーム以降のフレーム
の入力信号について、前記複数の代表点の記憶信号と各
代表点を含む周りの入力信号との差分を求め、集計して
動きベクトル検出範囲内の偏移に対する相関値を求める
手段と、前記相関値の最小点を求めて動きベクトルとし
て出力する手段を有し、前記入力画像信号に対して、少
なくとも前記所定の水平方向間隔ＬX，垂直方向間隔ＬY
のトランジェントを持つIIRローパスフィルタまたはFIR
ローパスフィルタを設けた構成である。

また、少なくとも画像信号の垂直方向または水平方向の
直流成分および低域成分を抑圧するハイパスフィルター
を有する構成である。

作用 画像情報の高域成分を抑制することにより、ノイズの影
響を押さえることができ、動きベクトルの検出がより正
確になる。また、画像の高域成分を抑制することによ
り、第９図（ｂ）に占めるような、ステップ状に波形が
変化する信号が入力された場合でも、ローパスフィルタ
ーを通過した信号波形は、第４図（ａ）に示すように、
画像信号の変化成分が、間隔をもって配置された代表点
7,7′上に存在するように、広い範囲に引き延ばすこと
ができ、その結果、各代表点についての信号の差の絶対
値｜ΔL|（ｉ）が同図（ｂ）、それを累積加算したとこ
ろの相関値Σ｜ΔL|（ｉ）が同図（ｃ）に示すようにな
る。ここでは、相関値の最小点13が１点に求まり、代表
点の間隔が広い場合でも、正確に動きベクトルを検出す
ることが可能となる。さらに画像の直流成分および低域
成分を抑圧することにより、フリッカ等により信号波形
レベルに変動がある場合、例えば第10図に示すような場
合、これをハイパスフィルターに通すと、例えば水平方
向一定画素離れた信号間の差分をとると、第５図（ａ）
に示すような波形が得られ、これより相関値Σ｜ΔL|
（ｉ）を求めると、同図（ｃ）に示すように相関値Σ｜
ΔL|（ｉ）が得られる。第９図（ｃ）と比較すると、明
らかに従来のものより、正確な動きベクトルが検出でき
る。

実 施 例 第１図は本発明の第１の実施例における画像の動きベク
トル検出装置のブロック図を示すものである。

以下その動作を説明する。まず入力端子１には、少なく
とも２フィールド以上の画像信号が入力される。入力さ
れた画像信号は、ローパスフィルター14に供給され、水
平方向および垂直方向のいづれか一方又は両方の高域成
分を抑圧され、代表点メモリ２と相関器３へ供給され
る。代表点メモリ２では、この信号の内、幾つかの代表
点の位置の画素の信号を記憶する。別のフィールド又は
フレームの画像信号がローパスフィルター14を通って相
関器３に供給されるとき、代表点メモリ２から、少なく
とも、１フィールド又は１フレーム前の代表点の信号が
相関器３に供給される。相関器３は、代表点の信号と、
別の画像信号の代表点の位置から（i,j）偏移した画素
の信号との差の絶対値｜ΔL|をとり、これを累積加算回
路４に供給する。累積加算回路４は、検出区域内の全て
の代表点について、偏移量（i,j）ごとに、この絶対値
｜ΔL|を累積加算しΣ｜ΔL|（i,j）とする。このΣ｜
ΔL|（i,j）を、偏移量（i,j）に対する相関値とし、動
きベクトル発生回路５へ供給する。動きベクトル発生回
路５は、相関値Σ｜ΔL|（i,j）を最小とする偏移（i,
j）を検出し、これを、検出区域の画像の動きベクトル
として、出力端子６に供給する。

この効果は、画像情報の高域成分を抑制することによ
り、ノイズの影響を押さえることができ、動きベクトル
の検出がより正確になる。画像の高域成分を抑制するこ
とにより、第９図（ｂ）に示すような、ステップ状に波
形が変化する信号が入力された場合でも、ローパスフィ
ルターを通過した信号波形は、第４図（ａ）に示すよう
に、代表点7,7′の間隔に比べステップ応答の影響が長
いローパスフィルタ処理のためになめらかになり、各代
表点についての信号の差の絶対値｜ΔL|（ｉ）が同図
（ｂ）、それを累積加算したところの相関値Σ｜ΔL|
（ｉ）が同図（ｃ）に示すようになる。ここでは、相関
値の最小点13が１点に求まり、代表点の間隔が広い場合
でも、正確に動きベクトルを検出することが可能とな
る。

第６図は、本発明の第１の実施例における第１の効果を
示すものである。同図はローパスフィルターの有無と、
画像のS/N比と、検出されるベクトルの誤差の大きさの
平均値の関係を表した、グラフである。ここでは上記ロ
ーパスフィルターとして、次式で示されるようなIIR型
ローパスフィルターを用いた。式中z,ωは、それぞれ水
平方向１画素、垂直方向の１ラインの遅延を示す。

；α＝3/4,β＝1/2 ；α＝15/16,β＝7/8 又このときの検出区域内の代表点数および累積加算回数
はそれぞれ16である。従来は約200回以上必要である
が、本実施例では非常に少なくなった。第６図より、ロ
ーパスフィルターを用いない従来例のものに比べ、本実
施例は明らかに検出ベクトルの誤差が小さく、より正確
に動きベクトルの検出が可能となり、その効果は大き
い。またここではIIR型ローパスフィルターを用いた
が、それ以外のローパスフィルターでも良い。

第２図は、本発明の第２の実施例における画像の動きベ
クトル検出装置のブロック図をしめすものである。第２
図において、１は画像信号入力端子、15はハイパスフィ
ルター、他は第１図と同様である。

以上のようにさらに構成された本実施例の画像の動きベ
クトル検出装置について、以下その動作を説明する。ま
ず入力端子から入力された画像信号は、ハイパスフィル
ター15に供給される。ハイパスフィルター15は画像信号
の直流成分及び低域成分を抑圧し、その出力を代表点メ
モリ２と相関器３に供給する。以下の動作は第１の実施
例と同じである。この結果は後述とする。

第３図は、本発明の第１の実施例と第２の実施例を組み
合わせたところの、第３の実施例における画像の動きベ
クトル検出装置のブロック図を示すものである。第３図
において、16はバンドパスフィルタで、このバンドパス
フィルター16は、画像の水平方向および垂直方向のいづ
れか一方又は両方の高域成分を抑圧すると同時に、直流
成分と低域成分を抑圧する。

動作は、第1,第２の実施例と同様である。

この第2,第３の実施例の効果は、画像の直流成分および
低域成分を抑圧することにより、フリッカ等により信号
波形レベルに変動がある場合、例えば第４図（ａ）に示
すような場合、これをハイパスフィルターに通すと、例
えば水平方向一定画素離れた信号間の差分をとると、第
５図（ａ）に示すような波形が得られ、これより同図
（ｂ）に示すように各代表点についての絶対値｜ΔL|
（ｉ）を求めると、同図（ｃ）に示すように累積加算し
たところの相関値Σ｜ΔL|（ｉ）が得られる。第９図
（ｃ）と比較すると、明らかに従来のものより正確な動
きベクトルが検出できる。

この第2,第３の実施例の効果の例を第７図を用いて説明
する。第７図は、画像信号のフリッカーと、この信号よ
り動きベクトル検出した場合の、ベクトルの誤差の大き
さの平均値とのグラフである。比較的コントラストの強
い画像の場合も、コントラストの弱い画像の場合につい
てのそれぞれの結果を示す。図中HPFなしと示したもの
は、前記の実施例で示したところの、（α，β）＝（15
/16,7/18）のローパスフィルターを備えた動きベクトル
検出装置のものである。又HPFありと示したものは、前
記ローパスフィルターと合わせて、下式に示すところの
ハイパスフィルター Ｈ′（ｚ）＝１−z^-16 を備え、したがってバンドパスフィルターをローパスフ
ィルターとハイパスフィルターにより構成した第３の実
施例の動きベクトル検出装置のものである。

両者を比較すると、ハイパスフィルターを備えない動き
ベクトル検出装置が、１〜４％のフリッカーの画像信号
からでも動きベクトル検出が不正確となり、又不可能と
なるのに対し、ハイパスフィルターを備えた動きベクト
ル検出装置は、16〜50％のフリッカーの画像信号からで
も正確に動きベクトル検出することが可能となり、その
効果は非常に大きい。またここでは、ハイパスフィルタ
ーとして、前記式に示すような水平方向に16画素離れた
ところの信号の差分をとるものを用いたが、それ以外の
ハイパスフィルターでもよい。

また、シェーディングについては、これに低周波の固定
パターンと考えられるのでハイパスフィルタによってそ
の影響を抑えることができる。

ここでは、２つのフレーム又はフィールド間の相関値よ
り１つの動きベクトルを検出する例を示したが、画面を
幾つかの検出区域に分け、各検出区域について動きベク
トルを求め、それらを判定，平均することによって画面
全体の動きベクトルとするものや、さらに数フィールド
間について得られた複数の動きベクトルを、時間的に加
重平均してベクトル検出誤差を小さくするといった動き
ベクトル検出装置にも、本発明は適用でき、その効果は
大きい。

又、ここでいう２つのフレーム又はフィールドは、必ず
しも時間的に連続でなくてもよく、その間に、１又は数
フレームもしくは１又は数フィールドの間隔をあけたも
のでも良い。

発明の効果 以上説明したように、本発明によれば、第１にノイズを
含んだ画像信号からでも正確に動きベクトル検出ができ
る。第２にノイズを含んだ画像信号や、ステップ上に波
形が変化するような画像信号からでも、非常に少数の代
表点及び累積加算でも正確に動きベクトル検出ができ
る。したがってたとえば従来256の代表点が必要だった
ものが本発明により16の代表点で動きベクトル検出で可
能となれば、代表点メモリの容量および演算回数が1/16
で済む。又代表点間隔を従来のものより大幅に広くとる
ことができるので、各探索領域を互に重ね合わせること
なく、又は重ね合う回数を少なくして、探索領域の大き
さを大きくとることが可能となり、したがって従来のも
のよりハードウェアを複雑化せずに、より広い範囲の動
きベクトルを検出することができる。第３にフリッカー
等により信号波形のレベルが変動するような場合でも、
またシェーディングが多く含まれる場合でも正確に動き
ベクトルの検出が可能となる。

したがって、画像の動きベクトル検出装置の能力を大幅
に向上させると同時に、そのコストを非常に低くするこ
とができ、本発明の実用的効果は大きい。

【図面の簡単な説明】

第１図，第２図および第３図はそれぞれ本発明の異なる
一実施例の画像の動きベクトル検出装置のブロック構成
図、第４図および第５図は同装置の動作波形図、第６図
および第７図は同実施例と従来例を比較する関係線図、
第８図は従来例の画像の動きベクトル検出装置のブロッ
ク図、第９図は同従来例の動作を説明するための略線図
および動作波形図、第10図は各探索領域と代表点の関係
を模式的に示す図、第11図は従来例の動作波形図であ
る。 ２……代表点メモリ、３……相関器、４……累積加算
器、５……動きベクトル発生回路、14……ローパスフィ
ルター、15……ハイパスフィルター、16……ハンドパス
フィルター。

Claims (2)

【特許請求の範囲】
1. 【請求項１】あるフレームの入力信号の検出領域内の信
   号について、所定の水平方向間隔ＬX、垂直方向間隔ＬY
   をあけて設定された複数の代表点の信号を記憶する手段
   と、前記フレーム以降のフレームの入力信号について、
   前記複数の代表点の記憶信号と各代表点を含む周りの入
   力信号との差分を求め、集計して動きベクトル検出範囲
   内の偏移に対する相関値を求める手段と、前記相関値の
   最小点を求めて動きベクトルとして出力する手段を有
   し、前記入力画像信号に対して、少なくとも前記所定の
   水平方向間隔ＬX，垂直方向間隔ＬY以上のトランジェン
   トを持つIIRローパスフィルタまたはFIRローパスフィル
   タを設けたことを特徴とした画像の動きベクトル検出装
   置。
2. 【請求項２】少なくとも画像信号の垂直方向または水平
   方向の直流成分および低域成分を抑圧するハイパスフィ
   ルターを有することを特徴とする請求項１記載の画像の
   動きベクトル検出装置。