JPH0766989A - 動き量検出装置及び動き量検出方法 - Google Patents
動き量検出装置及び動き量検出方法Info
- Publication number
- JPH0766989A JPH0766989A JP20734693A JP20734693A JPH0766989A JP H0766989 A JPH0766989 A JP H0766989A JP 20734693 A JP20734693 A JP 20734693A JP 20734693 A JP20734693 A JP 20734693A JP H0766989 A JPH0766989 A JP H0766989A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion amount
- motion
- detecting
- sharpening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 輝度信号の変化が不鮮明な画像であっても、
ブロック間の画像が本来有する動き量を精度よく検出す
ることができる動き量検出装置及び動き量検出方法の提
供を目的とする。 【構成】 境界検出部１１で供給される２つの画像から
動き量を検出する前に画面内で輝度の変化を画像のエッ
ジとして検出し、画像鮮鋭化フィルタ部１２で境界検出
部１１からの出力信号に応じて検出されたエッジ部分に
対してそれぞれ画像の鮮鋭化処理を施し、動き量検出処
理部１３で画像鮮鋭化フィルタ部１２により鮮鋭化され
た２つの画像に対して、例えば直交変換して位相相関関
数のピーク値を検出し逆直交変換することにより、画像
間の動き量を検出する。
ブロック間の画像が本来有する動き量を精度よく検出す
ることができる動き量検出装置及び動き量検出方法の提
供を目的とする。 【構成】 境界検出部１１で供給される２つの画像から
動き量を検出する前に画面内で輝度の変化を画像のエッ
ジとして検出し、画像鮮鋭化フィルタ部１２で境界検出
部１１からの出力信号に応じて検出されたエッジ部分に
対してそれぞれ画像の鮮鋭化処理を施し、動き量検出処
理部１３で画像鮮鋭化フィルタ部１２により鮮鋭化され
た２つの画像に対して、例えば直交変換して位相相関関
数のピーク値を検出し逆直交変換することにより、画像
間の動き量を検出する。
Description
【０００１】
【産業上の利用分野】本発明は、ディジタル画像信号で
生成される２つの画像を用いこれら２つの画像から動き
量を検出する動き量検出装置及び動き量検出方法に関す
るものである。
生成される２つの画像を用いこれら２つの画像から動き
量を検出する動き量検出装置及び動き量検出方法に関す
るものである。
【０００２】
【従来の技術】従来より、画像の３次元信号処理が進む
に連れて、動きベクトルすなわち画像中の物体の動きの
方向と大きさ（速さ）を用いて各種画像処理が行われる
ようになり、例えば、画像の高能率符号化における動き
補償フレーム間符号化、フレーム間時間領域フィルタに
よるＴＶ雑音軽減装置における動きによるパラメータ制
御、気象衛星から送られる連続画像による雲の速度の計
測、道路監視における速度測定などが動きベクトルを用
いて行われている。
に連れて、動きベクトルすなわち画像中の物体の動きの
方向と大きさ（速さ）を用いて各種画像処理が行われる
ようになり、例えば、画像の高能率符号化における動き
補償フレーム間符号化、フレーム間時間領域フィルタに
よるＴＶ雑音軽減装置における動きによるパラメータ制
御、気象衛星から送られる連続画像による雲の速度の計
測、道路監視における速度測定などが動きベクトルを用
いて行われている。
【０００３】連続する画像から、動きベクトルを測定す
る方法としては、連続する画像間の差を最小にする偏位
を求めることにより動きベクトルを決定するパターンマ
ッチング法や、画像の空間勾配と画像間差の関係から動
きベクトルを求める勾配法と共に、高速フーリエ変換
（FFT:Fast Fourier Transform）を利用して位相相関化
数のピーク値から動きベクトルを決定する位相相関法が
知られている。
る方法としては、連続する画像間の差を最小にする偏位
を求めることにより動きベクトルを決定するパターンマ
ッチング法や、画像の空間勾配と画像間差の関係から動
きベクトルを求める勾配法と共に、高速フーリエ変換
（FFT:Fast Fourier Transform）を利用して位相相関化
数のピーク値から動きベクトルを決定する位相相関法が
知られている。
【０００４】
【発明が解決しようとする課題】ところで、上述した位
相相関法では、動き量を求める２つのディジタル画像信
号で生成される画像のブロック中で輝度信号のレベル変
化が存在する、例えばエッジ部分が鮮明でない場合、こ
のエッジ部分の不鮮明さによって、たとえ検出中のブロ
ックが本来動きのあるブロックとしても本来の動き量を
検出できないことが実験から知られている。このため、
検出された動きベクトルは、本来の動きと異なった動き
ベクトルを示すことになる。これが動き量検出を誤って
しまう一因である。また、位相相関法では検出精度を所
定のレベルに保つためには、使用するデータ量を多くす
るためかなり大きなブロックサイズ領域に対して位相相
関処理を施さなければならないことが知られている。こ
れらの問題点を解決するために、画像の鮮鋭化処理によ
り輝度信号の変化を鮮明にさせることが改善法として行
われている。
相相関法では、動き量を求める２つのディジタル画像信
号で生成される画像のブロック中で輝度信号のレベル変
化が存在する、例えばエッジ部分が鮮明でない場合、こ
のエッジ部分の不鮮明さによって、たとえ検出中のブロ
ックが本来動きのあるブロックとしても本来の動き量を
検出できないことが実験から知られている。このため、
検出された動きベクトルは、本来の動きと異なった動き
ベクトルを示すことになる。これが動き量検出を誤って
しまう一因である。また、位相相関法では検出精度を所
定のレベルに保つためには、使用するデータ量を多くす
るためかなり大きなブロックサイズ領域に対して位相相
関処理を施さなければならないことが知られている。こ
れらの問題点を解決するために、画像の鮮鋭化処理によ
り輝度信号の変化を鮮明にさせることが改善法として行
われている。
【０００５】ところが、上述した画像の鮮鋭化処理を切
り出したブロック内の全画素に施すと、本来のエッジで
ないノイズ成分も強調されてしまうことになる。実際に
動き量検出装置において動き量をもとめる場合、このノ
イズ成分が動き量を求めるときの外乱要素となり、動き
ベクトルの誤検出を起こしてしまう。
り出したブロック内の全画素に施すと、本来のエッジで
ないノイズ成分も強調されてしまうことになる。実際に
動き量検出装置において動き量をもとめる場合、このノ
イズ成分が動き量を求めるときの外乱要素となり、動き
ベクトルの誤検出を起こしてしまう。
【０００６】そこで、本発明は、上述したような実情に
鑑みてなされたものであり、輝度信号の変化が不鮮明な
画像であっても、ブロック間の画像が本来有する動き量
を精度よく検出することができる動き量検出装置及び動
き量検出方法の提供を目的とする。
鑑みてなされたものであり、輝度信号の変化が不鮮明な
画像であっても、ブロック間の画像が本来有する動き量
を精度よく検出することができる動き量検出装置及び動
き量検出方法の提供を目的とする。
【０００７】
【課題を解決するための手段】本発明に係る動き量検出
装置は、入力画像信号の画像のエッジを検出する画像エ
ッジ検出手段と、上記入力画像信号の上記画像エッジ検
出手段により検出されたエッジ部分に対してのみ画像の
鮮鋭化処理を施す画像鮮鋭化手段と、該画像鮮鋭化手段
からの出力信号に対して動き量検出処理を施す動き量検
出処理手段とを有することにより、上述の課題を解決す
る。
装置は、入力画像信号の画像のエッジを検出する画像エ
ッジ検出手段と、上記入力画像信号の上記画像エッジ検
出手段により検出されたエッジ部分に対してのみ画像の
鮮鋭化処理を施す画像鮮鋭化手段と、該画像鮮鋭化手段
からの出力信号に対して動き量検出処理を施す動き量検
出処理手段とを有することにより、上述の課題を解決す
る。
【０００８】ここで、上記動き量検出処理手段は、入力
される画像信号をブロック化してブロック単位で動き量
検出を行い、上記画像鮮鋭化手段から供給される画像信
号に対して位相相関法を用いて動き量を検出する。上記
動き量検出手段は、上記画像鮮鋭化処理手段からの出力
信号中の互いに１フレームずれた２つのブロックの各画
像信号をそれぞれ直交変換し、これらの２つの直交変換
出力間の相関をとって、逆直交変換することにより動き
量検出を行う。上記直交変換としては、例えば高速フー
リエ変換（ＦＦＴ）がある。
される画像信号をブロック化してブロック単位で動き量
検出を行い、上記画像鮮鋭化手段から供給される画像信
号に対して位相相関法を用いて動き量を検出する。上記
動き量検出手段は、上記画像鮮鋭化処理手段からの出力
信号中の互いに１フレームずれた２つのブロックの各画
像信号をそれぞれ直交変換し、これらの２つの直交変換
出力間の相関をとって、逆直交変換することにより動き
量検出を行う。上記直交変換としては、例えば高速フー
リエ変換（ＦＦＴ）がある。
【０００９】例えば、具体的な回路構成としては、上記
画像エッジ検出手段では、ブロック化された第１の画像
信号と１フレーム遅延しブロック化された第２の画像信
号の画面内で輝度の変化を画像の境界として検出する第
１の画像エッジ検出手段と第２の画像エッジ検出手段と
を設け、上記画像鮮鋭化手段では、上記第１の画像信号
と上記第２の画像信号にそれぞれ第１の画像エッジ検出
手段と第２の画像エッジ検出手段から供給される出力信
号に応じて鮮鋭化処理を施す第１の画像鮮鋭化手段と第
２の画像鮮鋭化手段とを設け、上記動き量検出手段で
は、第１の画像鮮鋭化手段と第２の画像鮮鋭化手段から
出力されるそれぞれの出力信号に対してＦＦＴ処理する
第１のＦＦＴ処理手段と第２のＦＦＴ処理手段と、第１
のＦＦＴ処理手段と第２のＦＦＴ処理手段のいずれか一
方の出力信号に対する他方の出力信号に共役化処理を施
す共役化手段と、上記第１のＦＦＴ処理手段と上記第２
のＦＦＴ処理手段のいずれか一方の出力信号と該共役化
手段からの出力信号と上記共役化手段からの出力信号を
基に位相相関を複素パワースペクトルとしてとり、この
結果から最も位相相関の高いブロックを出力する位相相
関判定手段と、該位相相関判定手段からの出力信号に逆
ＦＦＴ処理を行う逆ＦＦＴ処理手段と、該逆ＦＦＴ処理
手段の出力信号から第１の画像信号と第２の画像信号の
動き量を検出するブロック間動き検出手段とで構成され
る。
画像エッジ検出手段では、ブロック化された第１の画像
信号と１フレーム遅延しブロック化された第２の画像信
号の画面内で輝度の変化を画像の境界として検出する第
１の画像エッジ検出手段と第２の画像エッジ検出手段と
を設け、上記画像鮮鋭化手段では、上記第１の画像信号
と上記第２の画像信号にそれぞれ第１の画像エッジ検出
手段と第２の画像エッジ検出手段から供給される出力信
号に応じて鮮鋭化処理を施す第１の画像鮮鋭化手段と第
２の画像鮮鋭化手段とを設け、上記動き量検出手段で
は、第１の画像鮮鋭化手段と第２の画像鮮鋭化手段から
出力されるそれぞれの出力信号に対してＦＦＴ処理する
第１のＦＦＴ処理手段と第２のＦＦＴ処理手段と、第１
のＦＦＴ処理手段と第２のＦＦＴ処理手段のいずれか一
方の出力信号に対する他方の出力信号に共役化処理を施
す共役化手段と、上記第１のＦＦＴ処理手段と上記第２
のＦＦＴ処理手段のいずれか一方の出力信号と該共役化
手段からの出力信号と上記共役化手段からの出力信号を
基に位相相関を複素パワースペクトルとしてとり、この
結果から最も位相相関の高いブロックを出力する位相相
関判定手段と、該位相相関判定手段からの出力信号に逆
ＦＦＴ処理を行う逆ＦＦＴ処理手段と、該逆ＦＦＴ処理
手段の出力信号から第１の画像信号と第２の画像信号の
動き量を検出するブロック間動き検出手段とで構成され
る。
【００１０】また、本発明に係る動き量検出方法は、入
力画像信号の画像のエッジを検出する画像エッジ検出工
程と、上記入力画像信号の上記画像エッジ検出工程によ
り検出されたエッジ部分に対してのみ画像の鮮鋭化処理
を施す画像鮮鋭化工程と、該画像鮮鋭化工程からの出力
信号に対して動き量検出処理を施す動き量検出処理工程
とを有することにより、上述の課題を解決する。
力画像信号の画像のエッジを検出する画像エッジ検出工
程と、上記入力画像信号の上記画像エッジ検出工程によ
り検出されたエッジ部分に対してのみ画像の鮮鋭化処理
を施す画像鮮鋭化工程と、該画像鮮鋭化工程からの出力
信号に対して動き量検出処理を施す動き量検出処理工程
とを有することにより、上述の課題を解決する。
【００１１】ここで、上記動き量検出処理工程は、入力
される画像信号をブロック化してブロック単位で動き量
検出を行い、上記画像鮮鋭化工程から供給される画像信
号に対して位相相関法を用いて動き量を検出する。上記
動き量検出手段は、上記画像鮮鋭化処理手段からの出力
信号中の互いに１フレームずれた２つのブロックの各画
像信号をそれぞれ直交変換し、これらの２つの直交変換
出力間の相関をとって、逆直交変換することにより動き
量検出を行う。上記直交変換としては、例えば高速フー
リエ変換（ＦＦＴ）がある。
される画像信号をブロック化してブロック単位で動き量
検出を行い、上記画像鮮鋭化工程から供給される画像信
号に対して位相相関法を用いて動き量を検出する。上記
動き量検出手段は、上記画像鮮鋭化処理手段からの出力
信号中の互いに１フレームずれた２つのブロックの各画
像信号をそれぞれ直交変換し、これらの２つの直交変換
出力間の相関をとって、逆直交変換することにより動き
量検出を行う。上記直交変換としては、例えば高速フー
リエ変換（ＦＦＴ）がある。
【００１２】ここでも、使用する画像は、所定の領域に
分割されたブロック毎に動き量検出処理を位相相関法を
用いて行われる。例えば、具体的な処理工程としては、
上記画像エッジ検出工程で、ブロック化された第１の画
像信号と１フレーム遅延しブロック化された第２の画像
信号の画面内で輝度の変化を画像の境界として検出する
第１の画像エッジ検出工程と第２の画像エッジ検出工程
とを設け、上記画像鮮鋭化工程では、上記第１の画像信
号と上記第２の画像信号にそれぞれ第１の画像エッジ検
出工程と第２の画像エッジ検出工程から供給される出力
信号に応じて鮮鋭化処理を施す第１の画像鮮鋭化工程と
第２の画像鮮鋭化工程とを設け、上記動き量検出処理工
程では、第１の画像鮮鋭化工程と第２の画像鮮鋭化工程
から出力されるそれぞれの出力信号に対してＦＦＴ処理
する第１のＦＦＴ処理工程と第２のＦＦＴ処理工程と、
第１のＦＦＴ処理工程と第２のＦＦＴ処理工程のいずれ
か一方の出力信号に対する他方の出力信号に共役化処理
を施す共役化工程と、上記第１のＦＦＴ処理工程と上記
第２のＦＦＴ処理工程のいずれか一方の出力信号と該共
役化工程からの出力信号と上記共役化工程からの出力信
号を基に位相相関を複素パワースペクトルとしてとり、
この結果から最も位相相関の高いブロックを出力する位
相相関判定工程と、該位相相関判定工程からの出力信号
に逆ＦＦＴ処理を行う逆ＦＦＴ処理工程と、該逆ＦＦＴ
処理工程の出力信号から第１の画像信号と第２の画像信
号とのブロック間の動き量を検出するブロック間動き検
出工程とを設けて動き量を検出する。
分割されたブロック毎に動き量検出処理を位相相関法を
用いて行われる。例えば、具体的な処理工程としては、
上記画像エッジ検出工程で、ブロック化された第１の画
像信号と１フレーム遅延しブロック化された第２の画像
信号の画面内で輝度の変化を画像の境界として検出する
第１の画像エッジ検出工程と第２の画像エッジ検出工程
とを設け、上記画像鮮鋭化工程では、上記第１の画像信
号と上記第２の画像信号にそれぞれ第１の画像エッジ検
出工程と第２の画像エッジ検出工程から供給される出力
信号に応じて鮮鋭化処理を施す第１の画像鮮鋭化工程と
第２の画像鮮鋭化工程とを設け、上記動き量検出処理工
程では、第１の画像鮮鋭化工程と第２の画像鮮鋭化工程
から出力されるそれぞれの出力信号に対してＦＦＴ処理
する第１のＦＦＴ処理工程と第２のＦＦＴ処理工程と、
第１のＦＦＴ処理工程と第２のＦＦＴ処理工程のいずれ
か一方の出力信号に対する他方の出力信号に共役化処理
を施す共役化工程と、上記第１のＦＦＴ処理工程と上記
第２のＦＦＴ処理工程のいずれか一方の出力信号と該共
役化工程からの出力信号と上記共役化工程からの出力信
号を基に位相相関を複素パワースペクトルとしてとり、
この結果から最も位相相関の高いブロックを出力する位
相相関判定工程と、該位相相関判定工程からの出力信号
に逆ＦＦＴ処理を行う逆ＦＦＴ処理工程と、該逆ＦＦＴ
処理工程の出力信号から第１の画像信号と第２の画像信
号とのブロック間の動き量を検出するブロック間動き検
出工程とを設けて動き量を検出する。
【００１３】
【作用】本発明に係る動き量検出装置では、画像エッジ
検出手段で供給される２つの画像から動き量を検出する
前に画面内で輝度の変化を画像のエッジとして検出し、
画像鮮鋭化手段で画像エッジ検出手段からの出力信号に
応じて検出されたエッジ部分に対してそれぞれ画像の鮮
鋭化処理を施し、動き量検出手段で画像鮮鋭化手段によ
り鮮鋭化された２つの画像に対して動き量検出処理とし
て、例えば直交変換して位相相関関数のピーク値を検出
し逆直交変換することにより、画像間の動き量を検出し
ている。
検出手段で供給される２つの画像から動き量を検出する
前に画面内で輝度の変化を画像のエッジとして検出し、
画像鮮鋭化手段で画像エッジ検出手段からの出力信号に
応じて検出されたエッジ部分に対してそれぞれ画像の鮮
鋭化処理を施し、動き量検出手段で画像鮮鋭化手段によ
り鮮鋭化された２つの画像に対して動き量検出処理とし
て、例えば直交変換して位相相関関数のピーク値を検出
し逆直交変換することにより、画像間の動き量を検出し
ている。
【００１４】また、本発明に係る動き量検出方法では、
画像エッジ検出工程で供給される２つの画像から動き量
を検出する前に画面内で輝度の変化を画像のエッジとし
て検出し、画像鮮鋭化工程で画像エッジ検出工程からの
出力信号に応じて検出されたエッジ部分に対してそれぞ
れ画像の鮮鋭化処理を施し、動き量検出工程で画像鮮鋭
化工程により鮮鋭化された２つの画像に対して動き量検
出処理として、例えば直交変換して位相相関関数のピー
ク値を検出し逆直交変換することにより、画像間の動き
量を検出している。
画像エッジ検出工程で供給される２つの画像から動き量
を検出する前に画面内で輝度の変化を画像のエッジとし
て検出し、画像鮮鋭化工程で画像エッジ検出工程からの
出力信号に応じて検出されたエッジ部分に対してそれぞ
れ画像の鮮鋭化処理を施し、動き量検出工程で画像鮮鋭
化工程により鮮鋭化された２つの画像に対して動き量検
出処理として、例えば直交変換して位相相関関数のピー
ク値を検出し逆直交変換することにより、画像間の動き
量を検出している。
【００１５】
【実施例】以下、本発明に係る動き量検出装置及び動き
量検出方法の一実施例について、図面を参照しながら説
明する。
量検出方法の一実施例について、図面を参照しながら説
明する。
【００１６】本発明を適用した動き量検出装置は、例え
ばディジタル画像信号から生成される２つの画像を用い
これら２つの画像から動き量を検出する装置として用い
る。この動き量検出装置は、例えば図１に示すように、
入力画像信号の画像のエッジを検出する画像エッジ検出
手段としての境界検出部１１と、上記入力画像信号の上
記境界検出部１１により検出されたエッジ部分に対して
のみ画像の鮮鋭化処理を施す画像鮮鋭化手段としての画
像鮮鋭化フィルタ部１２と、該画像鮮鋭化フィルタ部１
２からの出力信号に対して動き量検出処理を施す動き量
検出処理手段としての動き量検出処理部１３とで構成さ
れる。
ばディジタル画像信号から生成される２つの画像を用い
これら２つの画像から動き量を検出する装置として用い
る。この動き量検出装置は、例えば図１に示すように、
入力画像信号の画像のエッジを検出する画像エッジ検出
手段としての境界検出部１１と、上記入力画像信号の上
記境界検出部１１により検出されたエッジ部分に対して
のみ画像の鮮鋭化処理を施す画像鮮鋭化手段としての画
像鮮鋭化フィルタ部１２と、該画像鮮鋭化フィルタ部１
２からの出力信号に対して動き量検出処理を施す動き量
検出処理手段としての動き量検出処理部１３とで構成さ
れる。
【００１７】入力信号としてのディジタル画像信号から
生成される２つの画像は、予め動き量検出装置に供給さ
れる前に画像を複数のブロックに分割している。この動
き量検出装置には、ブロック化された輝度信号Ｙt とブ
ロック化された１フレーム分遅延された輝度信号Ｙt-1
がそれぞれ入力端子１４、１５を介して供給されてい
る。これらブロック化された輝度信号Ｙt 、Ｙt-1 は、
共に偶数フィールドあるいは奇数フィールドからなる。
ブロック化された輝度信号Ｙt とＹt-1 に対して境界検
出部１１の境界検出回路１１ａ、１１ｂは、画像中のエ
ッジ境界部分を検出する。境界検出部１１は、境界検出
回路１１ａ、１１ｂから各ブロックの境界情報を画像鮮
鋭化フィルタ部１２の画像鮮鋭化フィルタ１２ａ、１２
ｂにそれぞれ出力する。画像鮮鋭化フィルタ１２ａは、
ブロック化された輝度信号Ｙt を境界検出回路１１ａか
らの境界情報に応じた画像の鮮鋭化を行って動き量検出
処理部１３に出力する。画像鮮鋭化フィルタ１２ｂも、
ブロック化された輝度信号Ｙ tー1 を境界検出回路１１ｂ
からの境界情報に応じた画像の鮮鋭化を行って動き量検
出処理部１３に出力する。
生成される２つの画像は、予め動き量検出装置に供給さ
れる前に画像を複数のブロックに分割している。この動
き量検出装置には、ブロック化された輝度信号Ｙt とブ
ロック化された１フレーム分遅延された輝度信号Ｙt-1
がそれぞれ入力端子１４、１５を介して供給されてい
る。これらブロック化された輝度信号Ｙt 、Ｙt-1 は、
共に偶数フィールドあるいは奇数フィールドからなる。
ブロック化された輝度信号Ｙt とＹt-1 に対して境界検
出部１１の境界検出回路１１ａ、１１ｂは、画像中のエ
ッジ境界部分を検出する。境界検出部１１は、境界検出
回路１１ａ、１１ｂから各ブロックの境界情報を画像鮮
鋭化フィルタ部１２の画像鮮鋭化フィルタ１２ａ、１２
ｂにそれぞれ出力する。画像鮮鋭化フィルタ１２ａは、
ブロック化された輝度信号Ｙt を境界検出回路１１ａか
らの境界情報に応じた画像の鮮鋭化を行って動き量検出
処理部１３に出力する。画像鮮鋭化フィルタ１２ｂも、
ブロック化された輝度信号Ｙ tー1 を境界検出回路１１ｂ
からの境界情報に応じた画像の鮮鋭化を行って動き量検
出処理部１３に出力する。
【００１８】動き量検出処理部１３は、それぞれのブロ
ック化された画像、すなわち輝度信号Ｙt 、Ｙt-1 をＦ
ＦＴ処理部１３ａ、１３ｂでＦＦＴ処理を行う。ＦＦＴ
処理部１３ａは、処理結果を複素パワー算出部１３ｄに
供給する。また、ＦＦＴ処理部１３ａは、処理結果を共
役化処理部１３ｃを介して複素パワー算出部１３ｄに供
給する。複素パワー算出部１３ｄは、これら供給された
処理結果からパワースペクトルを計算する。次に、上記
パワースペクトルを基に算出した位相相関値を空間領域
の値に変換するため、逆ＦＦＴ処理部１３ｅで逆ＦＦＴ
処理が行われる。動き量検出部１３ｆでは、各ブロック
領域内におけるピーク値の検出が行われ、このフレーム
間のピーク値の空間的な距離、方向から動きベクトルが
算出される。
ック化された画像、すなわち輝度信号Ｙt 、Ｙt-1 をＦ
ＦＴ処理部１３ａ、１３ｂでＦＦＴ処理を行う。ＦＦＴ
処理部１３ａは、処理結果を複素パワー算出部１３ｄに
供給する。また、ＦＦＴ処理部１３ａは、処理結果を共
役化処理部１３ｃを介して複素パワー算出部１３ｄに供
給する。複素パワー算出部１３ｄは、これら供給された
処理結果からパワースペクトルを計算する。次に、上記
パワースペクトルを基に算出した位相相関値を空間領域
の値に変換するため、逆ＦＦＴ処理部１３ｅで逆ＦＦＴ
処理が行われる。動き量検出部１３ｆでは、各ブロック
領域内におけるピーク値の検出が行われ、このフレーム
間のピーク値の空間的な距離、方向から動きベクトルが
算出される。
【００１９】つぎに、動き量検出装置において使用する
方法の原理について説明する。先ず、位相相関法とは空
間領域のデータを位相領域に変換しこの位相領域におけ
る位相相関関数の値を基に２つの画像ｇ1 、ｇ2 の相関
を求めて相関値の高い領域を関連する領域として求める
方法である。ここで、２つの画像ｇ1 、ｇ2 の位相相関
を求めるため、２つの画像ｇ1 、ｇ2 が複数のブロック
に分割される。各ブロックは例えばＮ×Ｎ画素のサイズ
をブロック単位としている。
方法の原理について説明する。先ず、位相相関法とは空
間領域のデータを位相領域に変換しこの位相領域におけ
る位相相関関数の値を基に２つの画像ｇ1 、ｇ2 の相関
を求めて相関値の高い領域を関連する領域として求める
方法である。ここで、２つの画像ｇ1 、ｇ2 の位相相関
を求めるため、２つの画像ｇ1 、ｇ2 が複数のブロック
に分割される。各ブロックは例えばＮ×Ｎ画素のサイズ
をブロック単位としている。
【００２０】位相相関法では、各ブロック内の画素に対
して２次元高速フーリエ変換（FFT:Fast Fourier Trans
form）処理を行ってフーリエ変換された画像データ
Ｇ1 、Ｇ 2 を生成する。これらの画像データＧ1 、Ｇ2
は、例えばＮ×Ｎ個の複素数要素とする。そして、例え
ば一方の画像データＧ2 の複素数要素について共役複素
数Ｇ2 *を求める。このようにして空間領域から位相領域
へのデータ変換を行っている。位相領域の画像データを
基に相関をとることは複素パワースペクトルＧ1 ・Ｇ2 *
を求めることに等価である。このとき、位相領域では、
ＦＦＴ処理前の空間領域での偏位が位相成分にのみ現れ
ることから、振幅成分を考慮に入れないために、各複素
数要素の大きさを正規化する。この正規化されたパワー
スペクトルexp(ｊφ) は、
して２次元高速フーリエ変換（FFT:Fast Fourier Trans
form）処理を行ってフーリエ変換された画像データ
Ｇ1 、Ｇ 2 を生成する。これらの画像データＧ1 、Ｇ2
は、例えばＮ×Ｎ個の複素数要素とする。そして、例え
ば一方の画像データＧ2 の複素数要素について共役複素
数Ｇ2 *を求める。このようにして空間領域から位相領域
へのデータ変換を行っている。位相領域の画像データを
基に相関をとることは複素パワースペクトルＧ1 ・Ｇ2 *
を求めることに等価である。このとき、位相領域では、
ＦＦＴ処理前の空間領域での偏位が位相成分にのみ現れ
ることから、振幅成分を考慮に入れないために、各複素
数要素の大きさを正規化する。この正規化されたパワー
スペクトルexp(ｊφ) は、
【００２１】
【数１】
【００２２】と表される。ただし、ｊは虚数、φ1 は画
像データＧ1 の位相成分、φ2 は画像データＧ2 の位相
成分である。次に、求めた位相領域での相関が実空間で
ある空間領域のどの位置に現れているかを知るために算
出したパワースペクトルexp(ｊφ) に対する逆ＦＦＴ処
理が行われる。この逆ＦＦＴ処理により位相相関関数ｄ
が求められる。位相相関関数ｄは、
像データＧ1 の位相成分、φ2 は画像データＧ2 の位相
成分である。次に、求めた位相領域での相関が実空間で
ある空間領域のどの位置に現れているかを知るために算
出したパワースペクトルexp(ｊφ) に対する逆ＦＦＴ処
理が行われる。この逆ＦＦＴ処理により位相相関関数ｄ
が求められる。位相相関関数ｄは、
【００２３】
【数２】
【００２４】と表され、空間領域における相関の高い位
置にピークが現れる。このピーク位置を読み取って例え
ば１フレーム前の画像のピーク位置との差をとれば１フ
レーム間に移動した動き量として検出することができ
る。この動き量から動きベクトルが求められている。
置にピークが現れる。このピーク位置を読み取って例え
ば１フレーム前の画像のピーク位置との差をとれば１フ
レーム間に移動した動き量として検出することができ
る。この動き量から動きベクトルが求められている。
【００２５】この位相相関法では動き量を検出する２つ
の画像間での位相成分の相関は例えば画像のエッジ部
分、すなわち輝度信号の変化部分が位相成分に反映して
現れる。上記エッジ部分が不鮮明な場合、位相成分が現
れ難いため実際に画像ブロック間に動きが存在しても位
相成分からその動きに対する相関が出難くなる。このよ
うな相関における検出の困難さが動き量検出における誤
検出の原因である。そこで、上述の問題点を解決するた
めに画像鮮鋭化処理が２つの画像に施される。画像鮮鋭
化処理は、例えば画像鮮鋭化フィルタで画像の高域成分
を抽出して原画像に加えて輝度信号の変化部を強調さ
せ、動きを位相成分に反映させるようにして動き量の正
しい検出を行わせる。
の画像間での位相成分の相関は例えば画像のエッジ部
分、すなわち輝度信号の変化部分が位相成分に反映して
現れる。上記エッジ部分が不鮮明な場合、位相成分が現
れ難いため実際に画像ブロック間に動きが存在しても位
相成分からその動きに対する相関が出難くなる。このよ
うな相関における検出の困難さが動き量検出における誤
検出の原因である。そこで、上述の問題点を解決するた
めに画像鮮鋭化処理が２つの画像に施される。画像鮮鋭
化処理は、例えば画像鮮鋭化フィルタで画像の高域成分
を抽出して原画像に加えて輝度信号の変化部を強調さ
せ、動きを位相成分に反映させるようにして動き量の正
しい検出を行わせる。
【００２６】つぎに、画像内のエッジ境界検出による選
択的な画像鮮鋭化について説明する。上述したように画
像鮮鋭化処理を行う場合、画像鮮鋭化処理における高域
成分の強調化は、ランダムノイズに対しても強調処理し
てしまう。このランダムノイズの強調は動き量を求める
際の外乱要素になる。そこで、画像鮮鋭化処理において
ランダムノイズ成分を強調せず、動き量検出に必要な画
像のエッジ成分（輝度信号変化部分）だけを選択的に強
調させると、画像鮮鋭化処理は外乱要素を少なくするこ
とになる。このため、選択的なエッジ部分の強調を行わ
せるため、エッジの境界検出が行われる。エッジの境界
検出は、画素データｇに例えば境界検出回路内に設けた
境界検出フィルタを用いて局所的なオペレータＭの作用
する。オペレータが作用した画素データＭ＊ｇが、所定
のしきい値ＴＨよりも大きい値（Ｍ＊ｇ ≧ ＴＨ）の
とき、この画素データｇを境界画素と判断する。オペレ
ータが作用した画素データＭ＊ｇが、所定のしきい値Ｔ
Ｈよりも小さい値（Ｍ＊ｇ＜ ＴＨ）のとき、この画素
データｇを平坦部の画素と判断する。ただし、記号＊は
畳み込み（コンボリューション）を示し、ＴＨは境界を
判断するしきい値を示す。ブロック内で境界と判断され
た画素はランダムな孤立的ノイズの除外された画素と考
えられるので、この境界画素に対してのみ選択的に画像
鮮鋭化処理を施せば、画像鮮鋭化処理は外乱要素を強調
することなく、必要とする画素に対してだけ画像鮮鋭化
処理を行うことができる。このようにして画像鮮鋭化処
理が行われることにより、境界部分の移動に対する誤検
出を少なくすることができる。
択的な画像鮮鋭化について説明する。上述したように画
像鮮鋭化処理を行う場合、画像鮮鋭化処理における高域
成分の強調化は、ランダムノイズに対しても強調処理し
てしまう。このランダムノイズの強調は動き量を求める
際の外乱要素になる。そこで、画像鮮鋭化処理において
ランダムノイズ成分を強調せず、動き量検出に必要な画
像のエッジ成分（輝度信号変化部分）だけを選択的に強
調させると、画像鮮鋭化処理は外乱要素を少なくするこ
とになる。このため、選択的なエッジ部分の強調を行わ
せるため、エッジの境界検出が行われる。エッジの境界
検出は、画素データｇに例えば境界検出回路内に設けた
境界検出フィルタを用いて局所的なオペレータＭの作用
する。オペレータが作用した画素データＭ＊ｇが、所定
のしきい値ＴＨよりも大きい値（Ｍ＊ｇ ≧ ＴＨ）の
とき、この画素データｇを境界画素と判断する。オペレ
ータが作用した画素データＭ＊ｇが、所定のしきい値Ｔ
Ｈよりも小さい値（Ｍ＊ｇ＜ ＴＨ）のとき、この画素
データｇを平坦部の画素と判断する。ただし、記号＊は
畳み込み（コンボリューション）を示し、ＴＨは境界を
判断するしきい値を示す。ブロック内で境界と判断され
た画素はランダムな孤立的ノイズの除外された画素と考
えられるので、この境界画素に対してのみ選択的に画像
鮮鋭化処理を施せば、画像鮮鋭化処理は外乱要素を強調
することなく、必要とする画素に対してだけ画像鮮鋭化
処理を行うことができる。このようにして画像鮮鋭化処
理が行われることにより、境界部分の移動に対する誤検
出を少なくすることができる。
【００２７】つぎに、動き量検出方法の動作手順につい
て簡単に説明する。必要に応じて対応する図１を参照す
る。入力端子１４に供給する画像ｇ1 の輝度信号Ｙt が
ステップＳ１０でブロック化される。また、入力端子１
５に供給する画像ｇ2 の輝度信号ＹがステップＳ１１で
ブロック化される。ここで、この画像ｇ2 の輝度信号Ｙ
t-1 は、例えば上記画像ｇ1 の輝度信号Ｙt に対して１
フレームだけディレイさせたものである。入力端子１４
を介して境界検出部１１の境界検出回路１１ａに輝度信
号Ｙt を供給する。また、入力端子１４を介して境界検
出部１１の境界検出回路１１ｂに輝度信号Ｙtー1 も供給
される。
て簡単に説明する。必要に応じて対応する図１を参照す
る。入力端子１４に供給する画像ｇ1 の輝度信号Ｙt が
ステップＳ１０でブロック化される。また、入力端子１
５に供給する画像ｇ2 の輝度信号ＹがステップＳ１１で
ブロック化される。ここで、この画像ｇ2 の輝度信号Ｙ
t-1 は、例えば上記画像ｇ1 の輝度信号Ｙt に対して１
フレームだけディレイさせたものである。入力端子１４
を介して境界検出部１１の境界検出回路１１ａに輝度信
号Ｙt を供給する。また、入力端子１４を介して境界検
出部１１の境界検出回路１１ｂに輝度信号Ｙtー1 も供給
される。
【００２８】境界検出部１１の境界検出回路１１ａ、１
１ｂは、以下に示す例えば３×３の局所的オペレータを
４通り有している。局所的オペレータは、それぞれ水平
方向、垂直方向、斜め右上がり方向及び斜め右下がり方
向のオペレータを２つずつ有している。水平方向の局所
オペレータは、
１ｂは、以下に示す例えば３×３の局所的オペレータを
４通り有している。局所的オペレータは、それぞれ水平
方向、垂直方向、斜め右上がり方向及び斜め右下がり方
向のオペレータを２つずつ有している。水平方向の局所
オペレータは、
【００２９】
【数３】
【００３０】
【数４】
【００３１】であり、垂直方向の局所オペレータは、
【００３２】
【数５】
【００３３】
【数６】
【００３４】であり、斜め右上がり方向の局所オペレー
タは、
タは、
【００３５】
【数７】
【００３６】
【数８】
【００３７】であり、斜め右下がり方向の局所オペレー
タは、
タは、
【００３８】
【数９】
【００３９】
【数１０】
【００４０】である。それぞれの局所オペレータと対象
とする画素ｇをコンボリューションして計算する。この
対象画素に対して８通りの方向から局所オペレータを作
用させた際に少なくとも１つの方向に演算Ｍ＊ｇがしき
い値以上のとき、境界検出回路１１ａ、１１ｂは、それ
ぞれ対象画素を境界と判断する。
とする画素ｇをコンボリューションして計算する。この
対象画素に対して８通りの方向から局所オペレータを作
用させた際に少なくとも１つの方向に演算Ｍ＊ｇがしき
い値以上のとき、境界検出回路１１ａ、１１ｂは、それ
ぞれ対象画素を境界と判断する。
【００４１】ステップＳ１４とステップＳ１５では、検
出されたエッジ部分の鮮鋭化処理がそれぞれ対象画像ｇ
1 、ｇ2 に施される。図１に示した回路構成の場合、エ
ッジ部分の鮮鋭化処理は、画像鮮鋭化フィルタ部１２の
画像鮮鋭化フィルタ１２ａ、１２ｂで各境界検出回路１
１ａ、１１ｂからの判断結果に応じて行われる。すなわ
ち、例えば画像鮮鋭化フィルタ１２ａ、１２ｂは、境界
と判断した信号レベルに応じて後述するソフトウェアと
同等のフィルタ処理によって画像鮮鋭化処理を施す。ま
た、それ以外の場合、エッジ部分の鮮鋭化処理を行わず
にステップＳ１６とステップＳ１７に進む。
出されたエッジ部分の鮮鋭化処理がそれぞれ対象画像ｇ
1 、ｇ2 に施される。図１に示した回路構成の場合、エ
ッジ部分の鮮鋭化処理は、画像鮮鋭化フィルタ部１２の
画像鮮鋭化フィルタ１２ａ、１２ｂで各境界検出回路１
１ａ、１１ｂからの判断結果に応じて行われる。すなわ
ち、例えば画像鮮鋭化フィルタ１２ａ、１２ｂは、境界
と判断した信号レベルに応じて後述するソフトウェアと
同等のフィルタ処理によって画像鮮鋭化処理を施す。ま
た、それ以外の場合、エッジ部分の鮮鋭化処理を行わず
にステップＳ１６とステップＳ１７に進む。
【００４２】また、ソフトウェア的に上述の処理を行う
場合、ステップＳ１４とステップＳ１５の処理は、ブロ
ック内に格納している境界の対象画素のアドレスだけを
アクセスして対象画素データを読み出してフィルタ係数
を作用させる。フィルタ係数の一例は、
場合、ステップＳ１４とステップＳ１５の処理は、ブロ
ック内に格納している境界の対象画素のアドレスだけを
アクセスして対象画素データを読み出してフィルタ係数
を作用させる。フィルタ係数の一例は、
【００４３】
【数１１】
【００４４】
【数１２】
【００４５】
【数１３】
【００４６】と３×３の局所オペレータを用いる。この
ようにエッジ部分だけに画像鮮鋭化処理を施して外乱を
発生させることなく対象画素を強調させることができ
る。
ようにエッジ部分だけに画像鮮鋭化処理を施して外乱を
発生させることなく対象画素を強調させることができ
る。
【００４７】次に、ステップＳ１６とステップＳ１７で
はそれぞれ画像鮮鋭化フィルタ部１２からの各ブロック
内の画素に対して２次元のＦＦＴ処理が行われる。この
２次元のＦＦＴ処理部によって画像ｇ1 、ｇ2 は、動き
量検出処理部１３で画像データＧ1 、Ｇ2 という複素要
素になる（図１のＦＦＴ処理部１３ａ、１３ｂを参
照）。この処理によって空間領域の画素データが位相領
域の画素データに変換される。
はそれぞれ画像鮮鋭化フィルタ部１２からの各ブロック
内の画素に対して２次元のＦＦＴ処理が行われる。この
２次元のＦＦＴ処理部によって画像ｇ1 、ｇ2 は、動き
量検出処理部１３で画像データＧ1 、Ｇ2 という複素要
素になる（図１のＦＦＴ処理部１３ａ、１３ｂを参
照）。この処理によって空間領域の画素データが位相領
域の画素データに変換される。
【００４８】次に、ステップＳ１８ではステップＳ１７
で生成された画像データＧ2 から共役複素要素Ｇ2 *を生
成する。図１ではＦＦＴ処理部１３ｂの画像データＧ2
が共役化処理部１３ｃに供給される。
で生成された画像データＧ2 から共役複素要素Ｇ2 *を生
成する。図１ではＦＦＴ処理部１３ｂの画像データＧ2
が共役化処理部１３ｃに供給される。
【００４９】ステップＳ１９では複素パワースペクトル
を算出する。動き量検出処理部１３の複素パワー算出部
１３ｄでは、ＦＦＴ処理部１３ａからの画像データＧ1
と共役化処理部１３ｃからの画像データＧ2 *を乗算して
複素パワースペクトルＧ1 ・Ｇ2 *を算出する。この演算
は位相領域の画像データを基に相関をとることと等価で
ある。このとき、位相領域では、ＦＦＴ処理前の空間領
域での偏位が位相成分にのみ現れることから、振幅成分
を考慮に入れないために、各複素数要素の大きさを正規
化する。このようにして複素パワースペクトルの位相項
の相関を算出してステップＳ２０に進む。
を算出する。動き量検出処理部１３の複素パワー算出部
１３ｄでは、ＦＦＴ処理部１３ａからの画像データＧ1
と共役化処理部１３ｃからの画像データＧ2 *を乗算して
複素パワースペクトルＧ1 ・Ｇ2 *を算出する。この演算
は位相領域の画像データを基に相関をとることと等価で
ある。このとき、位相領域では、ＦＦＴ処理前の空間領
域での偏位が位相成分にのみ現れることから、振幅成分
を考慮に入れないために、各複素数要素の大きさを正規
化する。このようにして複素パワースペクトルの位相項
の相関を算出してステップＳ２０に進む。
【００５０】ステップＳ２０では、求めた位相領域での
相関が実空間である空間領域のどの位置に現れているか
を知るために算出したパワースペクトルに対する逆ＦＦ
Ｔ処理が行われる（例えば図１の逆ＦＦＴ処理部１３ｅ
を参照）。この逆ＦＦＴ処理により位相相関関数ｄ（式
（２）を参照）から得られる位相相関係数が動き量検出
部１３ｆに供給される。
相関が実空間である空間領域のどの位置に現れているか
を知るために算出したパワースペクトルに対する逆ＦＦ
Ｔ処理が行われる（例えば図１の逆ＦＦＴ処理部１３ｅ
を参照）。この逆ＦＦＴ処理により位相相関関数ｄ（式
（２）を参照）から得られる位相相関係数が動き量検出
部１３ｆに供給される。
【００５１】ステップＳ２１では、位相相関係数のピー
ク値の検出を行う。このピーク値検出処理は例えば動き
量検出部１３ｆで行う。この処理により現フレームの画
像ｇ 1 と１フレーム前の画像ｇ2 の空間領域における相
関の高い位置関係にあるをピークとして検出する。ステ
ップＳ２２では、例えば動き量検出部１３ｆにおいてス
テップ２１で求めた２つの画像ｇ1 、ｇ2 のピーク位置
の差から１フレーム間に移動した動きベクトルを算出し
出力端子１６から出力する。
ク値の検出を行う。このピーク値検出処理は例えば動き
量検出部１３ｆで行う。この処理により現フレームの画
像ｇ 1 と１フレーム前の画像ｇ2 の空間領域における相
関の高い位置関係にあるをピークとして検出する。ステ
ップＳ２２では、例えば動き量検出部１３ｆにおいてス
テップ２１で求めた２つの画像ｇ1 、ｇ2 のピーク位置
の差から１フレーム間に移動した動きベクトルを算出し
出力端子１６から出力する。
【００５２】ステップＳ２３では１フレームの画像
ｇ1 、ｇ2 のブロックすべての動き量算出が終了したか
どうかを判定している。１フレームの画像すべての動き
ベクトル算出がまだのとき、ステップＳ１０、ステップ
Ｓ１１の前に戻って上述した動きベクトル検出処理の手
順を繰り返す。また、１フレームの画像すべての動きベ
クトル算出が終了したとき、この一連の処理を終了す
る。
ｇ1 、ｇ2 のブロックすべての動き量算出が終了したか
どうかを判定している。１フレームの画像すべての動き
ベクトル算出がまだのとき、ステップＳ１０、ステップ
Ｓ１１の前に戻って上述した動きベクトル検出処理の手
順を繰り返す。また、１フレームの画像すべての動きベ
クトル算出が終了したとき、この一連の処理を終了す
る。
【００５３】このように構成、あるいは手順を踏むこと
により、各画像について位相成分に反映される動きを位
相相関で正しく検出できる。この方法により、真の動き
ベクトルを一意に決定することができ、誤検出の虞れを
少なくし、画像を分割するブロックサイズを小さくして
も良い検出精度の動きベクトルを検出することができ、
小物体の動きに対する追従性も向上させることができ
る。また、上述した手順をディジタルシグナルプロセッ
サ（ＤＳＰ）に記憶させてソフトウェア的に動きベクト
ルを検出させることもできる。
により、各画像について位相成分に反映される動きを位
相相関で正しく検出できる。この方法により、真の動き
ベクトルを一意に決定することができ、誤検出の虞れを
少なくし、画像を分割するブロックサイズを小さくして
も良い検出精度の動きベクトルを検出することができ、
小物体の動きに対する追従性も向上させることができ
る。また、上述した手順をディジタルシグナルプロセッ
サ（ＤＳＰ）に記憶させてソフトウェア的に動きベクト
ルを検出させることもできる。
【００５４】なお、上述した実施例では、ＦＦＴを用い
て位相相関をとり、ＩＦＦＴすることで動き量を検出し
たが、直交変換としては上記ＦＦＴに限定されるもので
なく、他の種々の直交変換を用いてもよい。
て位相相関をとり、ＩＦＦＴすることで動き量を検出し
たが、直交変換としては上記ＦＦＴに限定されるもので
なく、他の種々の直交変換を用いてもよい。
【００５５】この動き量検出装置を動き補償画像符号化
装置に適用した場合について説明する。動き補償画像符
号化装置は、入力端子２１を介してコンポーネントの輝
度信号Ｙをフィールド内ブロック化回路２２に供給す
る。フィールド内ブロック化回路２２でブロック化され
た信号を加算器２３に送ると共に、動き量検出装置２４
の一端側に供給する。加算器２３は、ブロック化された
信号と動き補償回路２５からの信号との差信号を予測誤
差信号としてエンコーダ２６に出力する。エンコーダ２
６はブロック化されたエンコードデータをデコーダ２７
に供給してローカルデコードを行って加算器２８の一端
側に送る。加算器２８は、上記動き補償回路２５からの
出力と加算してフレームメモリ２９にブロック化された
画像を格納する。
装置に適用した場合について説明する。動き補償画像符
号化装置は、入力端子２１を介してコンポーネントの輝
度信号Ｙをフィールド内ブロック化回路２２に供給す
る。フィールド内ブロック化回路２２でブロック化され
た信号を加算器２３に送ると共に、動き量検出装置２４
の一端側に供給する。加算器２３は、ブロック化された
信号と動き補償回路２５からの信号との差信号を予測誤
差信号としてエンコーダ２６に出力する。エンコーダ２
６はブロック化されたエンコードデータをデコーダ２７
に供給してローカルデコードを行って加算器２８の一端
側に送る。加算器２８は、上記動き補償回路２５からの
出力と加算してフレームメモリ２９にブロック化された
画像を格納する。
【００５６】フレームメモリ２９は、１フレーム分ディ
レイした画像を動き補償回路２５に出力すると共に、動
き検出装置２４の他端側に供給する。動き検出装置２４
は上述したように現フレームの入力画像と上記１フレー
ム分ディレイした画像から１フレームの時間内の動き量
を検出する。動き検出装置２４は求めた動き量を動き補
償回路２５に供給する。動き補償回路２５は、この動き
量を用いて正確な動き補償を行う。動き補償回路２５
は、この正確な動き補償された動き補償信号を加算器２
３に供給する。
レイした画像を動き補償回路２５に出力すると共に、動
き検出装置２４の他端側に供給する。動き検出装置２４
は上述したように現フレームの入力画像と上記１フレー
ム分ディレイした画像から１フレームの時間内の動き量
を検出する。動き検出装置２４は求めた動き量を動き補
償回路２５に供給する。動き補償回路２５は、この動き
量を用いて正確な動き補償を行う。動き補償回路２５
は、この正確な動き補償された動き補償信号を加算器２
３に供給する。
【００５７】加算器２３は、フィールド内ブロック回路
２２からの出力信号と動き補償信号の差分をとった差信
号でエンコーダ２６に出力する。この差信号をエンコー
ドすることにより、エンコーダ２６は出力端子３０を介
して精度良い動きベクトルに応じた追従性のよい動き補
償画像符号化データを出力する。
２２からの出力信号と動き補償信号の差分をとった差信
号でエンコーダ２６に出力する。この差信号をエンコー
ドすることにより、エンコーダ２６は出力端子３０を介
して精度良い動きベクトルに応じた追従性のよい動き補
償画像符号化データを出力する。
【００５８】このように動き量検出装置を適用すること
により、誤検出の虞れが少なくなり、入力画像データの
圧縮効率を向上させることができる。
により、誤検出の虞れが少なくなり、入力画像データの
圧縮効率を向上させることができる。
【００５９】
【発明の効果】本発明に係る動き量検出装置では、画像
エッジ検出手段で供給される２つの画像から動き量を検
出する前に画面内での画像のエッジとして検出し、画像
鮮鋭化手段で画像エッジ検出手段からの出力信号に応じ
て検出されたエッジ部分に対してそれぞれ画像の鮮鋭化
処理を施し、動き量検出手段で画像鮮鋭化手段により鮮
鋭化された２つの画像に対して動き量検出処理として、
例えば直交変換して位相相関関数のピーク値を検出し逆
直交変換することにより、動き量を検出処理を行って画
像間の動きを誤検出を少なく、真の動きベクトルを一意
に決定することができ、誤検出の虞れを少なくする。ま
た、画像を分割するブロックサイズを小さくしても良い
検出精度の動きベクトルを検出することができ、小物体
の動きに対する追従性も向上させることができる。
エッジ検出手段で供給される２つの画像から動き量を検
出する前に画面内での画像のエッジとして検出し、画像
鮮鋭化手段で画像エッジ検出手段からの出力信号に応じ
て検出されたエッジ部分に対してそれぞれ画像の鮮鋭化
処理を施し、動き量検出手段で画像鮮鋭化手段により鮮
鋭化された２つの画像に対して動き量検出処理として、
例えば直交変換して位相相関関数のピーク値を検出し逆
直交変換することにより、動き量を検出処理を行って画
像間の動きを誤検出を少なく、真の動きベクトルを一意
に決定することができ、誤検出の虞れを少なくする。ま
た、画像を分割するブロックサイズを小さくしても良い
検出精度の動きベクトルを検出することができ、小物体
の動きに対する追従性も向上させることができる。
【００６０】また、本発明に係る動き量検出方法では、
画像エッジ検出工程で供給される２つの画像から動き量
を検出する前に画面内での画像のエッジとして検出し、
画像鮮鋭化工程で画像エッジ検出工程からの出力信号に
応じて検出されたエッジ部分に対してそれぞれ画像の鮮
鋭化処理を施し、動き量検出工程で画像鮮鋭化工程によ
り鮮鋭化された２つの画像に対して動き量検出処理とし
て、例えば直交変換して位相相関関数のピーク値を検出
し逆直交変換することにより、画像間の動き量を検出す
ることができ、誤検出の虞れを少なくする。また、画像
を分割するブロックサイズを小さくしても良い検出精度
の動きベクトルを検出することができ、小物体の動きに
対する追従性も向上させることができる。
画像エッジ検出工程で供給される２つの画像から動き量
を検出する前に画面内での画像のエッジとして検出し、
画像鮮鋭化工程で画像エッジ検出工程からの出力信号に
応じて検出されたエッジ部分に対してそれぞれ画像の鮮
鋭化処理を施し、動き量検出工程で画像鮮鋭化工程によ
り鮮鋭化された２つの画像に対して動き量検出処理とし
て、例えば直交変換して位相相関関数のピーク値を検出
し逆直交変換することにより、画像間の動き量を検出す
ることができ、誤検出の虞れを少なくする。また、画像
を分割するブロックサイズを小さくしても良い検出精度
の動きベクトルを検出することができ、小物体の動きに
対する追従性も向上させることができる。
【００６１】この動き検出装置を動き補償画像符号化装
置に適用すれば、誤検出の虞れが少なくすると共に、入
力画像データの圧縮効率を向上させることができる。
置に適用すれば、誤検出の虞れが少なくすると共に、入
力画像データの圧縮効率を向上させることができる。
【図１】本発明に係る動き量検出装置の一実施例の回路
構成を示すブロック回路図である。
構成を示すブロック回路図である。
【図２】上記ブロック回路構成の動作を説明するための
フローチャートである。
フローチャートである。
【図３】本発明に係る動き量検出装置を適用した動き補
償画像符号化装置の構成を示すブロック図である。
償画像符号化装置の構成を示すブロック図である。
１１・・・・・・・・境界検出部 １２・・・・・・・・画像鮮鋭化フィルタ部 １３・・・・・・・・動き量検出処理部 １１ａ、１１ｂ・・・・・・・・・境界検出回路 １２ａ、１２ｂ・・・・・・・・・画像鮮鋭化フィルタ １３ａ、１３ｂ・・・・・・・・・ＦＦＴ処理部 １３ｃ・・・・・・・・・・・・・共役化処理部 １３ｄ・・・・・・・・・・・・・複素パワー算出部 １３ｅ・・・・・・・・・・・・・逆ＦＦＴ処理部 １３ｆ・・・・・・・・・・・・・動き量検出部 ２４・・・・・・・・動き量検出装置
Claims (8)
- 【請求項１】 入力画像信号の画像のエッジを検出する
画像エッジ検出手段と、 上記入力画像信号の上記画像エッジ検出手段により検出
されたエッジ部分に対してのみ画像の鮮鋭化処理を施す
画像鮮鋭化手段と、 該画像鮮鋭化手段からの出力信号に対して動き量検出処
理を施す動き量検出処理手段とを有することを特徴とす
る動き量検出装置。 - 【請求項２】 上記動き量検出処理手段は、入力される
画像信号をブロック化してブロック単位で動き量検出を
行うことを特徴とする請求項１記載の動き量検出装置。 - 【請求項３】 上記動き量検出処理手段は、上記画像鮮
鋭化手段から供給されるブロック単位の画像信号に対し
て位相相関法を用いて動き量を検出することを特徴とす
る請求項２記載の動き量検出装置。 - 【請求項４】 上記動き量検出手段は、上記画像鮮鋭化
処理手段からの出力信号中の互いに１フレームずれた２
つのブロックの各画像信号をそれぞれ直交変換し、これ
らの２つの直交変換出力間の相関をとって、逆直交変換
することにより動き量検出を行うことを特徴とする請求
項３記載の動き量検出装置。 - 【請求項５】 入力画像信号の画像のエッジを検出する
画像エッジ検出工程と、 上記入力画像信号の上記画像エッジ検出工程により検出
されたエッジ部分に対してのみ画像の鮮鋭化処理を施す
画像鮮鋭化工程と、 該画像鮮鋭化工程からの出力信号に対して動き量検出処
理を施す動き量検出処理工程とを有することを特徴とす
る動き量検出方法。 - 【請求項６】 上記動き量検出処理工程は、入力される
画像信号をブロック化してブロック単位で動き量検出を
行うことを特徴とする請求項５記載の動き量検出方法。 - 【請求項７】 上記動き量検出処理工程は、上記画像鮮
鋭化工程から供給されるブロック単位の画像信号に対し
て位相相関法を用いて動き量を検出することを特徴とす
る請求項６記載の動き量検出方法。 - 【請求項８】 上記動き量検出工程は、上記画像鮮鋭化
処理工程からの出力信号中の互いに１フレームずれた２
つのブロックの各画像信号をそれぞれ直交変換し、これ
らの２つの直交変換出力間の相関をとって、逆直交変換
することにより動き量検出を行うことを特徴とする請求
項７記載の動き量検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20734693A JP3626218B2 (ja) | 1993-08-23 | 1993-08-23 | 動き量検出装置及び動き量検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20734693A JP3626218B2 (ja) | 1993-08-23 | 1993-08-23 | 動き量検出装置及び動き量検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0766989A true JPH0766989A (ja) | 1995-03-10 |
| JP3626218B2 JP3626218B2 (ja) | 2005-03-02 |
Family
ID=16538221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20734693A Expired - Lifetime JP3626218B2 (ja) | 1993-08-23 | 1993-08-23 | 動き量検出装置及び動き量検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3626218B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008113352A (ja) * | 2006-10-31 | 2008-05-15 | Samsung Electronics Co Ltd | 動画像ノイズ除去装置および動画像ノイズ除去方法 |
| JP2010157949A (ja) * | 2009-01-05 | 2010-07-15 | Toshiba Corp | 動画像符号化／復号化方法及び装置 |
| US8005295B2 (en) | 2007-03-06 | 2011-08-23 | Panasonic Corporation | Apparatus and method for image processing, image processing program and image processor |
| US20140267801A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| JP2017212639A (ja) * | 2016-05-26 | 2017-11-30 | 株式会社リコー | 情報処理装置、会議システムおよび情報処理装置の制御方法 |
-
1993
- 1993-08-23 JP JP20734693A patent/JP3626218B2/ja not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008113352A (ja) * | 2006-10-31 | 2008-05-15 | Samsung Electronics Co Ltd | 動画像ノイズ除去装置および動画像ノイズ除去方法 |
| US8005295B2 (en) | 2007-03-06 | 2011-08-23 | Panasonic Corporation | Apparatus and method for image processing, image processing program and image processor |
| JP2010157949A (ja) * | 2009-01-05 | 2010-07-15 | Toshiba Corp | 動画像符号化／復号化方法及び装置 |
| US20140267801A1 (en) * | 2013-03-15 | 2014-09-18 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| US9374532B2 (en) * | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| US9635261B2 (en) | 2013-03-15 | 2017-04-25 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| US9888180B2 (en) | 2013-03-15 | 2018-02-06 | Google Llc | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| JP2017212639A (ja) * | 2016-05-26 | 2017-11-30 | 株式会社リコー | 情報処理装置、会議システムおよび情報処理装置の制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3626218B2 (ja) | 2005-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100723284B1 (ko) | 정보 신호에서의 보조 데이터의 검출 | |
| US8229244B2 (en) | Multi-image deblurring | |
| KR100740792B1 (ko) | 워터마크 검출 방법 및 워터마크 검출 장치 | |
| Sandić-Stanković et al. | DIBR-synthesized image quality assessment based on morphological multi-scale approach | |
| JP4744276B2 (ja) | ２次元画像の表現方法、２次元画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、画像の位置を求める方法、制御デバイス、装置、及びコンピュータ読み取り可能な記憶媒体 | |
| US7006255B2 (en) | Adaptive image filtering based on a distance transform | |
| Shi et al. | Canny edge based image expansion | |
| JPH06506578A (ja) | ビデオ信号における運動内容推定方法 | |
| US20080187179A1 (en) | Video Motion Detection | |
| WO1992021210A1 (en) | Method for detecting moving vector and apparatus therefor, and system for processing image signal using the apparatus | |
| KR20080112967A (ko) | 움직임 보상된 보간을 위한 주기적 패턴 검출 시스템 및방법 | |
| US6577745B1 (en) | Watermark detection | |
| US20080192986A1 (en) | Video Motion Detection | |
| US6657677B1 (en) | Method and apparatus for improving conversion from SD to HDTV | |
| JP3626218B2 (ja) | 動き量検出装置及び動き量検出方法 | |
| EP0367310B1 (en) | Picture motion measurement | |
| Loo et al. | Motion-estimation-based registration of geometrically distorted images for watermark recovery | |
| KR20110097868A (ko) | 위상 평면 상관을 위한 적응형 주파수 도메인 필터링 | |
| EP1955548B1 (en) | Motion estimation using motion blur information | |
| JPH0927955A (ja) | 画像処理装置 | |
| EP1286305A2 (en) | Data processing apparatus | |
| JP2823577B2 (ja) | 画像マッチング装置 | |
| JPH11298898A (ja) | ブロック歪低減回路 | |
| JPH06176151A (ja) | 画像の動き量検出装置 | |
| CN103209329B (zh) | 一种图像处理中的差错隐藏算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |