JPH09231374A - 動きベクトル検出装置および検出方法 - Google Patents
動きベクトル検出装置および検出方法Info
- Publication number
- JPH09231374A JPH09231374A JP6372296A JP6372296A JPH09231374A JP H09231374 A JPH09231374 A JP H09231374A JP 6372296 A JP6372296 A JP 6372296A JP 6372296 A JP6372296 A JP 6372296A JP H09231374 A JPH09231374 A JP H09231374A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- frequency component
- fourier transform
- class
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Color Television Systems (AREA)
Abstract
してクラス分類適応処理を用いて中間周期における周波
数成分の予測が行われ、その予測結果を用いて、位相相
関法により1画素より高い精度の動きベクトルの検出が
できる。 【解決手段】 ブロック生成部2へ供給されたディジタ
ル画像信号d0は、所定のブロックに分割され、画像信
号d1としてフーリエ変換部3およびフレームメモリ6
へ供給される。フーリエ変換部3では、フーリエ変換出
力d2がクラス分類適応処理部4へ供給され、予測周波
数成分d5が予測される。フレームメモリ6では、1フ
レーム分遅延され、フーリエ変換部7およびクラス分類
適応処理部8を介して、予測周波数成分d10が位相相
関算出部5へ供給される。位相相関算出部5では、予測
周波数成分d5およびd10から位相相関(位相差行
列)が検出される。検出された位相相関に基づいてベク
トル検出部9では、1画素単位より高い精度の動きベク
トルが検出される。
Description
ジタル画像信号に対してフーリエ変換を施した後、フー
リエ変換出力から中間周期における周波数成分の予測が
クラス分類適応処理を用いて行われ、この予測された周
波数成分を用いて1画素単位より高い精度の動きベクト
ルが検出できる動きベクトル検出装置および検出方法に
関する。
ル検出の重要度は、近年ますます高まっている。それは
実用面への貢献が大きいからである。例えば、画像圧縮
における動き補償に用いられる動きベクトルの精度の向
上は、圧縮効率の向上をもたらしており、そのため動き
ベクトル検出方法に関しては、種々の提案がなされてい
る。一般に、動画像を対象とした動きベクトルの検出方
法は、次の3種類に大別される。
クマッチング法である。このブロックマッチング法は、
パターンマッチングと同じ発想で、現画像のブロック化
された領域が、過去の画像中の何処に存在したか、現画
像と過去画像の比較を行う。具体例としては、ブロック
内対応画素毎の差分絶対値を加算し、ブロック毎の差分
絶対値和が最小となる位置を動きベクトルとするもので
ある。この方法は、検出精度は良いが、演算量が膨大と
なる欠点がある。
は、勾配法である。この勾配法は、ある空間傾斜を持つ
画素が、ある位置まで動くと、動き量に応じた時間差分
が発生するというモデルに基づく。よって、時間差分を
空間傾斜で割算すれば動きベクトルが得られる。この方
法は、演算量は少ないが動き量が大きくなると精度が落
ちるという欠点がある。それは上述のモデルが成り立た
なくなるためである。
位相相関法である。この位相相関法は、現画像と過去画
像の同一位置のブロックデータに対し、各々フーリエ変
換を施し、周波数領域で位相のズレ量を検出し、その位
相項より逆フーリエ変換を経て動きベクトルを検出する
手法である。この手法の特徴として、動きベクトルの精
度は、フーリエ変換の対象画素精度になるので、入力画
素ピッチの動きベクトルしか得ることができない。
る動きベクトルの精度は、1画素単位である。しかしな
がら、例えば、動き補償の場合では、精度の高い補償を
行うためには、1画素より高い精度の動きベクトルを検
出することが必要とされる。
ル画像信号に対してフーリエ変換を施した後、フーリエ
変換出力から中間周期における周波数成分の予測がクラ
ス分類適応処理を用いて行われ、その予測結果に対して
位相相関法を施し、1画素単位より高い精度の動きベク
トルを検出することができる動きベクトル検出装置およ
び検出方法を提供することにある。
は、位相相関法による動きベクトル検出装置において、
対象となる画像信号に対してフーリエ変換を施し、フー
リエ変換により得られた周波数成分から中間周期におけ
る周波数成分の予測を行う予測手段と、予測された周波
数成分の現画像と過去画像とを位相相関法を適用するこ
とによって、1画素より高い精度の動きベクトルを検出
する動きベクトル検出手段とかなることを特徴とする動
きベクトル検出装置である。
法による動きベクトル検出方法において、対象となる画
像信号に対してフーリエ変換を施し、フーリエ変換によ
り得られた周波数成分から中間周期における周波数成分
の予測を行うステップと、予測された周波数成分の現画
像と過去画像とを位相相関法を適用することによって、
1画素より高い精度の動きベクトルを検出するステップ
とかなることを特徴とする動きベクトル検出方法であ
る。
れ、分割された画像に対してフーリエ変換が施され、そ
のフーリエ変換出力に対してクラス分類適応処理を用い
て中間周期での周波数成分が予測され、その予測結果に
対して位相相関法を用いることによって、1画素単位よ
り高い精度の動きベクトルが検出される。
て図面を参照して説明する。この発明が適用された動き
ベクトル検出装置の一実施例を図1に示す。1で示す入
力端子からディジタル画像信号d0が供給され、供給さ
れた画像信号d0は、ブロック生成部2へ供給される。
ブロック生成部2では、供給された画像信号d0から所
定のブロックが生成される。ブロック化された画像信号
は、d1としてフーリエ変換部3およびフレームメモリ
6へ供給される。フーリエ変換部3では、供給された画
像信号d1に対して2次元フーリエ変換が施される。こ
のフーリエ変換により得られた周波数成分(以下、フー
リエ変換出力と称する)d2は、クラス分類適応処理部
4へ供給される。
11、予測係数ROM12および予測演算部13から構
成される。クラス分類適応処理部4では、フーリエ変換
出力d2がクラス分類部11および予測演算部13へ供
給される。クラス分類部11では、ブロック化され、フ
ーリエ変換出力d2の波形の特徴に基づいて後述するよ
うなクラス分類が行われる。この分類結果、すなわちク
ラスd3は、予測係数ROM12へ供給される。予測係
数ROM12には、予め各クラスに対応した予測係数が
格納されている。予測係数ROM12では、供給された
クラスd3に対応した予測係数がROMから読み出さ
れ、読み出された予測係数d4は、予測演算部13へ供
給される。予測演算部13では、フーリエ変換出力d2
から予測タップが形成され、予測タップの出力と予測係
数d4とを用いた線形1次結合式の演算がなされ、中間
周期での周波数成分が予測される。この予測された結果
が予測演算部13から予測周波数成分d5として出力さ
れる。すなわち、クラス分類適応処理部4から位相相関
算出部5へ予測周波数成分d5が供給される。
すようにフーリエ変換で得られる周波数成分の周期の中
間に位置するものである。ただし、この図2は、説明を
容易とするために一次元フーリエ変換で示した例であ
り、縦軸が係数値を示し、横軸が周期を示し、フーリエ
変換で得られた周波数成分を実線で示している。
号d1が1フレーム分遅延された後、画像信号d6とし
てフーリエ変換部7へ供給される。フーリエ変換部7で
は、供給された画像信号d6、すなわちフーリエ変換部
3で処理された1フレーム前のブロックデータに対して
フーリエ変換が実行される。このフーリエ変換出力d7
は、フーリエ変換部7からクラス分類適応処理部8へ供
給される。クラス分類適応処理部8は、上述したクラス
分類適応処理部4と同様の構成および処理を施す部分で
ある。すなわち、クラス分類適応処理部8は、クラス分
類部14、予測係数ROM15および予測演算部16か
ら構成される。
エ変換出力d7の波形の特徴に基づいて後述するような
クラス分類が行われる。この分類結果、すなわちクラス
d8は、予測係数ROM15へ供給される。予測係数R
OM15には、予め各クラスに対応した予測係数が格納
されている。予測係数ROM15では、供給されたクラ
スd8に対応した予測係数がROMから読み出され、読
み出された予測係数d9は、予測演算部16へ供給され
る。予測演算部16では、フーリエ変換出力d7から予
測タップが形成され、予測タップの出力と予測係数d9
とを用いた線形1次結合式の演算がなされ、中間周期に
おける周波数成分が予測される。この予測された結果が
予測演算部16から予測周波数成分d10として出力さ
れる。すなわち、クラス分類適応処理部8から位相相関
算出部5へ予測周波数成分d10が供給される。
予測周波数成分d5およびd10に応じて後述する位相
相関(位相差行列) exp(-jφ)が検出される。検出さ
れた位相相関 exp(-jφ)は、ベクトル検出部9へ供給
され、ベクトル検出部9では、その位相相関 exp(-j
φ)に対して逆フーリエ変換および位相相関関数のピー
ク検出が行われ、最終的に1画素単位より高い精度の動
きベクトルd12を得ることができる。この動きベクト
ルd12は、出力端子10から出力される。
を図3および図4に示す。この図3および図4は、図1
に示すフレームメモリ6、フーリエ変換部7およびクラ
ス分類適応処理部8を設けないものである。まず、図3
では、所定のブロックにブロック化された画像信号d1
がブロック生成部2からフーリエ変換部3へ供給され
る。フーリエ変換部3では、画像信号d1に対してフー
リエ変換が施される。このフーリエ変換出力d14は、
フレームメモリ17およびクラス分類適応処理部19へ
供給される。
ようにフーリエ変換出力d14に対してクラス分類が施
された後、適応処理が行われ、中間周期での周波数成分
が予測される。この予測された予測周波数成分d17
は、位相相関算出部5へ供給される。フレームメモリ1
7では、フーリエ変換出力d14が1フレーム分遅延さ
れた後、遅延信号d15としてクラス分類適応処理部1
8へ供給される。クラス分類適応処理部18では、上述
したように供給された遅延信号d15に対してクラス分
類が施された後、適応処理が行われ、中間周期での周波
数成分が予測される。この予測された予測周波数成分d
16は、位相相関算出部5へ供給される。すなわち、こ
の予測周波数成分d16は、予測周波数成分d17に対
して、1フレーム遅延された同じ部分の信号となる。位
相相関算出部5では、上述したように、供給された2つ
の予測周波数成分d16およびd17に応じて位相相関
(位相差行列) exp(-jφ)が検出される。
ックにブロック化された画像信号d1がブロック生成部
2からフーリエ変換部3へ供給される。フーリエ変換部
3では、画像信号d1に対してフーリエ変換が施され
る。フーリエ変換出力d2は、クラス分類適応処理部4
へ供給される。クラス分類適応処理部4では、上述した
ようにフーリエ変換出力d2に対してクラス分類が施さ
れた後、適応処理が行われ、中間周期での周波数成分が
予測される。この予測された予測周波数成分d18は、
位相相関算出部5およびフレームメモリ20へ供給され
る。フレームメモリ20では、予測周波数成分d18が
が1フレーム分遅延された後、遅延信号d19として位
相相関算出部5へ供給される。位相相関算出部5では、
上述したように、供給された2つの予測周波数成分d1
8および1フレーム遅延された予測周波数成分の遅延信
号d19に応じて位相相関(位相差行列) exp(-jφ)
が検出される。
ル検出装置の他の実施例を図5に示す。21で示す入力
端子からディジタル画像信号d21が供給され、供給さ
れた画像信号d21は、ブロック生成部22へ供給され
る。ブロック生成部22では、供給された画像信号d2
1から所定のブロックが生成される。ブロック化された
画像信号は、d22としてフーリエ変換部23およびフ
レームメモリ26へ供給される。フーリエ変換部23で
は、供給された画像信号d22に対してフーリエ変換が
施される。このフーリエ変換出力d23は、クラス分類
適応処理部24へ供給される。
部31、予測値生成部32から構成される。クラス分類
適応処理部24では、フーリエ変換出力d23がクラス
分類部31へ供給される。クラス分類部31では、ブロ
ック化されたフーリエ変換出力d23の波形の特徴に基
づいて後述するようなクラス分類が行われる。この分類
結果、すなわちクラスd24は、予測値生成部32へ供
給される。予測値生成部32には、予め各クラスに対応
した予測値が格納されている。予測値生成部32では、
供給されたクラスd24に対応した予測周波数成分とな
る最適予測値がROMから読み出される。読み出された
最適予測値は、d25として出力される。すなわち、ク
ラス分類適応処理部24から位相相関算出部25へ最適
予測値d25は、供給される。
信号d22が1フレーム分遅延された後、画像信号d2
6としてフーリエ変換部27へ供給される。フーリエ変
換部27では、供給された画像信号d26、すなわちフ
ーリエ変換部23で処理された1フレーム前のブロック
データに対してフーリエ変換が実行される。このフーリ
エ変換出力d27は、クラス分類適応処理部28へ供給
される。クラス分類適応処理部28は、上述したクラス
分類適応処理部24と同様の構成および処理を施す部分
である。すなわち、クラス分類適応処理部28は、クラ
ス分類部33および予測値生成部34から構成される。
エ変換出力d27の波形の特徴に基づいて後述するよう
なクラス分類が行われる。この分類結果、すなわちクラ
スd28は、予測値生成部34へ供給される。予測値生
成部34には、予め各クラスに対応した予測値が格納さ
れている。予測値生成部34では、供給されたクラスd
28に対応した予測周波数成分となる最適予測値がRO
Mから読み出される。読み出された最適予測値は、d2
9として出力される。すなわち、クラス分類適応処理部
28から位相相関算出部25へ最適予測値d29が供給
される。
の予測周波数成分となる最適予測値d25およびd29
に応じて後述する位相相関(位相差行列) exp(-jφ)
が検出される。検出された位相相関 exp(-jφ)は、ベ
クトル検出部29へ供給され、ベクトル検出部29で
は、その位相相関 exp(-jφ)に対して逆フーリエ変換
および位相相関関数のピーク検出が行われ、最終的に1
画素単位より高い精度の動きベクトルd31を得ること
ができる。この動きベクトルd31は、出力端子30か
ら出力される。
適応処理は、上述した図3および図4に示したように、
同様の変形例に適用することが可能である。
において、1画素単位より高い精度の動きベクトルを検
出する場合、対象となる画像信号にフーリエ変換が施さ
れ、そのフーリエ変換出力に対してクラス分類適応処理
を適用することで、画像信号から中間周期における周波
数成分の予測が行われ、予測された予測周波数成分を含
む画像信号に対して位相相関法を施すことによって、1
画素単位より高い精度の動きベクトルの検出が可能とな
る。
24および28に適用されたクラス分類適応処理とは、
入力信号のレベル分布のパターンに基づきこの入力信号
を幾つかのクラスに分類し、予め用意されたクラス毎に
適切な適応処理を実行する手法である。まず、クラス分
類法の例としては、フーリエ変換により得られた周波数
成分に対してクラス生成タップを設定し、この周波数成
分のレベル分布のパターンによりクラスを生成する手法
が挙げられる。周波数成分のクラス生成法としては、次
の例などが提案されている。
ータを直接使用する方法 2)ADRC(Adaptive Dynamic Range Coding )を適
用する方法 3)DPCM(Differential PCM)を適用する方法 4)BTC(Block Trancation Coding )を適用する方
法 5)VQ(Vector Quantization )を適用する方法 6)周波数変換(DCT(Discrete Cosine Transform
)、アダマール変換など)を適用する方法
換による周波数成分(PCMデータ)を直接使用する場
合、クラス分類用に8ビットデータを7タップ使用する
と、256という膨大な数のクラスに分類される。レベル
分布のパターンを掴むという意味では理想的であるが、
回路上の負担は大きく、実用上問題である。そこで、実
際は、ADRCなどを適用しクラス数の削減を図る。A
DRCは、信号圧縮技術として開発された手法である
が、クラス表現に適している。基本的には、再量子化処
理であり式(1)で示される。注目データ近傍の数タッ
プで定義される局所的なダイナミックレンジ(最大値−
最小値)をもとに、kビット再量子化として定義される
量子化ステップ幅により、これら数タップのデータを再
量子化するものである。
で定義されるADRCを用いて生成されるADRCコー
ドによりクラス分類を行う。例えば、7つの周波数成分
に対し1ビットの再量子化を実行する1ビットADRC
を適用すると、7つの周波数成分から定義されるダイナ
ミックレンジに基づき、それらの最小値を除去した上
で、7タップのデータを適応的に1ビット量子化する。
その結果、7つの周波数成分を7ビットで表現すること
になり、128クラスに削減することが可能となる。他
に圧縮技術として一般的なDPCM、BTC、VQ、D
CT、アダマール変換等をクラス分類法として用いるこ
とが提案されている。
ため、入力された周波数成分のアクティビティーも考慮
した上でクラス分類が行われることがある。アクティビ
ティーの判定法の例としては、クラス分類法にADRC
を使用した場合、ダイナミックレンジを用いることが多
い。また、DPCMをクラス分類法に用いる場合、差分
絶対値和、BTCをクラス分類法に用いる場合、標準偏
差の絶対値などがアクティビティーの判定法として用い
られる。
による分類結果毎に、上述のADRCを用いたクラス分
類などを行うことになる。また、学習過程において、ア
クティビティーの小さいデータを学習対象から外す。こ
の理由は、アクティビティーの小さい部分は、ノイズの
影響が大きく、本来のクラスの予測値から外れることが
多い。そのため、これを学習に入れると予測精度が低下
する。これを避けるため、学習においては、アクティビ
ティーの小さいデータを除外する。
実行するが、適応処理としては上述した2つの実施例に
示したように、予め学習された予測係数を用いて予測演
算を行う予測法と、重心法により予測値を学習しておく
方式が提案される。また、学習を行うための条件として
は、目標となる教師信号を用意しておく必要がある。
より生成されたクラス毎の予測係数を用いた予測演算を
行う予測法について説明する。この予測法は、クラス分
類適応処理回路4および8に適用され、フーリエ変化に
より得られた周波数成分から中間周期における周波数成
分の予測がなされるものである。例えば、注目される周
波数成分を含む近傍の9つの周波数成分より予測タップ
を形成し、予測値を生成する予測式の例を式(2)に示
す。
よび8は、予測法を用いたクラス分類適応処理の構成例
である。
2および15からの予測係数は、予め学習により生成し
ておく。この学習方法について述べる。式(2)の線形
一次結合モデルに基づく予測係数を最小自乗法により生
成する一例を示す。最小自乗法は、次のように適用され
る。一般化した例として、Xを入力データ、Wを予測係
数、Yを予測値として次の式(3)を考える。
に最小自乗法を適用する。式(2)の例においては、n
=9、mが学習データ数となる。式(3)の観測方程式
をもとに、式(5)の残差方程式を考える。
値は、
ち、次の式(6)の条件を考慮すれば良いわけである。
これを満たすw1 、w2 、・・・wn を算出すれば良
い。そこで、残差方程式(5)から式(7)が得られ
る。
れる。
正規方程式(9)が得られる。
同じ数の方程式を立てることが可能であるので、各wi
の最確値を求めることができる。そして、掃き出し法
(Gauss-Jordanの消去法)を用いて連立方程式を解く。
この連立方程式が解かれることよって、クラス毎に予測
係数がROMなどの記憶媒体に格納される。この格納さ
れたROMは、予測係数ROM12および15として使
用される。
数の学習方法の一例となるフローチャートを図6に示
す。このフローチャートは、ステップS1から学習処理
の制御が始まり、ステップS1の学習データ形成では、
学習を行うための入力周波数成分と予測対象となる教師
信号が用意される。まず、ステップS3のクラス決定に
おいて、入力周波数成分に対してクラス分類が行われ
る。上述のように、ADRCなどの処理を用い、入力周
波数成分の波形特徴に基づきクラスが生成される。次
に、各クラス毎に入力信号より形成される予測タップの
周波数成分と教師信号値とから上述した正規方程式
(9)が生成される。
イナミックレンジが所定のしきい値より小さいもの、す
なわちアクティビティーの低いものは、学習データとし
て扱わない制御がなされる。すなわち、ADRCを使用
する場合、ダイナミックレンジが小さいものは、ノイズ
の影響を受けやすく、正確な学習結果が得られないおそ
れがあるからである。そして、ステップS2のデータ終
了では、入力された全データ、例えば1フレームまたは
1フィールドのデータの処理が終了していれば、ステッ
プS5の予測係数決定へ制御が移り、終了していなけれ
ば、ステップS3のクラス決定へ制御が移る。
に、注目データ近傍の周波数成分に基づいたクラス決定
がなされる。ステップS4の正規方程式生成では、上述
した式(9)の正規方程式が作成される。全データの処
理が終了後、ステップS2のデータ終了から制御がステ
ップS5に移る。多くの学習データより生成された、ク
ラス毎の式(9)の正規方程式が解かれるこの連立方程
式の解法としては、上述した掃き出し法が用いられる。
次に、ステップS6の予測係数登録では、クラス別にア
ドレス分割されたROMなどの記憶手段に登録され、こ
の学習のフローチャートは、終了する。以上の学習過程
により、予測法を用いたクラス分類適応処理の予測係数
が生成される。
して、重心法を用いる場合について述べる。重心法は、
各クラス毎に予め学習に用いられる教師信号の分布重心
を算出し、この値を最適予測値としてROMなどに蓄
え、各クラス毎の最適予測値、すなわちフーリエ変換に
より得られた周波数成分から中間周期における周波数成
分の予測が行われた予測周波数成分として出力する手法
である。上述した図5のクラス分類適応処理部24およ
び28は、一般に重心法を用いたクラス分類適応処理の
構成例である。
法の一例となるフローチャートを図7に示す。ステップ
S11の初期化では、この学習を行うための準備とし
て、クラスのデータテーブルE(*)およびクラスの度
数カウンタN(*)へ0のデータが書き込まれる。ここ
で、“*”は、全てのクラスを示し、データテーブル
は、E(C0)となり、クラスC0に対応する度数カウ
ンタは、N(C0)となる。ステップS11の制御が終
了すると、ステップS12へ制御が移る。
象となる周波数成分の近傍データからクラスCを決定す
る。例えば、上述の例のように注目される周波数成分を
含む近傍8つの周波数成分に1ビットADRCを適用し
た場合、128クラスに分類される。また、このクラス
分類の手法としては、上述のようにADRCの他にも、
PCM表現、DPCM、BTC、VQ、DCT、アダマ
ール変換などの分類法が考えられる。また、クラス分類
対象データより構成されるブロックのアクティビティー
を考慮する場合は、クラス数をアクティビティーによる
分類の種類だけ増やしておくことも考えられる。
目標とする教師信号eが検出される。ステップS14の
クラス別データ加算では、クラスC毎に教師信号eがそ
れぞれ加算され、ステップS15のクラス別度数加算で
は、クラスCの学習データの度数カウンタN(C)が+
1インクリメントされる。全学習対象データについて繰
り返しステップS12からステップS15の制御が終了
したか否かを判定するステップS16では、全データの
学習が終了していれば、ステップS17へ制御が移り、
全データの学習対象が終了していなければ、ステップS
12へ制御が移る。すなわち、ステップS16は、全デ
ータの学習が終了になるまで、ステップS12からステ
ップS15までの制御を繰り返し実行し、全てのクラス
の度数カウンタN(*)と対応する全てのクラスのデー
タテーブルE(*)が生成される。
は、各クラスのデータテーブルE(*)の内容であるデ
ータ積算値を対応クラスの度数カウンタN(*)の度数
で、除算が実行され、各クラスの平均値が算出される。
この処理は、教師信号分布の重心を算出することと等価
である。この平均値が重心法による各クラスの最適予測
値となる。そして、ステップS18のクラス別平均値登
録では、ROMなどの記憶手段に各クラスに対応する最
適予測値(予測周波数成分)を登録することで重心法に
よる学習、すなわち、このフローチャートは、終了す
る。上述のように学習過程において、ノイズの影響を排
除するため、アクティビティーの小さい場合を学習対象
から外すことも考えられる。上述した予測法および重心
法により、画素より詳細な位置となる周波数成分の予測
を行うことができる。
法について詳しく説明する。この位相相関法は、上述し
た位相相関算出部5および25に適用されるものであ
り、上述したように現画像と過去画像の同一位置のブロ
ックデータに対し、各々フーリエ変換を施し、フーリエ
変換により得られた周波数成分から中間周期での周波数
成分が予測され、この予測された予測周波数成分を用い
て周波数領域での位相のズレ量を検出し、その位相項よ
り逆フーリエ変換を経て動きベクトルを検出する手法で
ある。以下に、画素精度の動きベクトルを検出する場合
の位相相関法について説明する。最初に2つの信号
g1 、g2 の相互相関関数sA (τ)は、式(10)で
定義される。
A (ω)は、クロスパワースペクトラムと呼ばれ式(1
1)で示される。 SA (ω)=G1 * (ω)G2 (ω) (11)
リエ変換の複素共役を意味する。また、G1 * (ω)
は、g2 (t)のフーリエ変換を意味する。こうして時
間領域における2つの信号の相互相関は、周波数領域に
おいてクロスパワースペクトラムを用いた表現が可能と
なる。このことを利用して位相相関法は、2つの信号間
の位相差を検出する手法である。以下に位相相関法を用
いた動きベクトル検出処理の手順を示す。
g2 (ブロックサイズ:M×N)を設定する。そして、
第2の処理として、この対象画像g1 、g2 に対してフ
ーリエ変換を施し、G1 、G2 を得る。
ラムG1 、G2 * を用いて、下記の位相相関(位相差行
列) exp(-jφ)を算出する。φは、2つの画像ブロッ
クの位相差に対応する。 exp(−jφ)=(G1 ・G2 * )/|G1 ・G2 * | (14)
差行列)に対し、下記の逆フーリエ変換により、位相相
関関数d(i1 ,i2 )を得る。
d(i1 ,i2 )において検出されるピークの位置が動
きベクトルに対応する。以上の手順により、位相相関関
数を用いた画素精度の動きベクトルが検出される。
相関法を適用して1画素単位より高い精度の動きベクト
ルを検出するものである。以下に、1画素単位より高い
精度の動きベクトルを検出する場合の位相相関法につい
て説明する。最初に、式(12)および式(13)から
得られる周波数成分の分布に対してクラス分類適応処理
を適用することで中間周期における周波数成分の予測が
行われる。
2 )およびG2 (k1 ,k2 )における0≦k1 ≦M−
1かつ0≦k2 ≦N−1(ブロックサイズ:M×N)と
いう条件が0≦k1 ≦X−1かつ0≦k2 ≦Y−1(ブ
ロックサイズ:X×Y)という条件に拡大される。ここ
で、X、Yは、予測された中間周期の分だけM、Nより
増加することになる。こうして新たに予測された周波数
成分分布G1 (k1 ,k2 )およびG2 (k1 ,k2 )
をもとにクロスパワースペクトラムG1 およびG2 を用
いて式(16)の位相相関(位相差行列) exp(-jφ)
を算出する。
(17)の逆フーリエ変換により位相相関関数d
(i1 ,i2 )を得る。
おける位相相関値が示されることになるので、位相相関
関数d(i1 ,i2 )において検出されるピークの位置
は、1画素単位より高い精度の動きベクトルとなる。
理を要約すれば、入力された画像信号に対して、ブロッ
ク分割が行われ、ブロック分割された画像信号は、フー
リエ変換された後、クラス分類適応処理(予測法または
重心法)が施され、フーリエ変換により得られた周波数
成分から中間周期における周波数成分の予測が行われ、
予測された予測周波数成分を含む画像信号に対して、位
相相関法を適用して現画像と過去画像との位相相関が検
出され、検出された位相相関に基づいて1画素単位より
高い精度の動きベクトルが検出される。
得られた周波数成分から中間周期における周波数成分の
予測がクラス分類適応処理を適用して行われ、その予測
結果に基づいて1画素単位より高い精度の動きベクトル
の検出が可能となる。また、検出された動きベクトルの
精度が向上する。従って、この発明を高能率符号化に適
用すると圧縮効率を向上することができる。
一実施例である。
略線図である。
変形例である。
変形例である。
他の実施例である。
学習方法の一例を示すフローチャートである。
習方法の一例を示すフローチャートである。
部、4、8・・・クラス分類適応処理部、5・・・位相
相関算出部、6・・・フレームメモリ、8・・・ベクト
ル検出部
Claims (8)
- 【請求項1】 位相相関法による動きベクトル検出装置
において、 対象となる画像信号に対してフーリエ変換を施し、上記
フーリエ変換により得られた周波数成分から中間周期に
おける周波数成分の予測を行う予測手段と、 予測された上記周波数成分の現画像と過去画像とを位相
相関法を適用することによって、1画素より高い精度の
動きベクトルを検出する動きベクトル検出手段とかなる
ことを特徴とする動きベクトル検出装置。 - 【請求項2】 請求項1に記載の動きベクトル検出装置
において、 上記予測手段は、 上記フーリエ変換により得られた周波数成分に対してク
ラス分類を行いクラスを生成するクラス生成手段と、 予め学習により獲得された予測係数値をクラス毎に格納
する記憶手段と、 上記記憶手段から上記クラスに対応した上記予測係数値
を読み出し、予測式による演算から中間周期における周
波数成分の予測を行う演算手段とからなることを特徴と
する動きベクトル検出装置。 - 【請求項3】 請求項2に記載の動きベクトル検出装置
において、 上記演算手段で用いられる上記予測式は、線形1次結合
式であることを特徴とする動きベクトル検出装置。 - 【請求項4】 請求項2に記載の動きベクトル検出装置
において、 上記フーリエ変換により得られた周波数成分のアクティ
ビティーが小さい場合、上記周波数成分を学習対象から
除外して学習を行いクラス毎に上記予測係数値を獲得す
ることを特徴とする動きベクトル検出装置。 - 【請求項5】 請求項1に記載の動きベクトル検出装置
において、 上記予測手段は、 上記フーリエ変換により得られた周波数成分に対してク
ラス分類を行いクラスを生成するクラス生成手段と、 予め学習により獲得された最適予測値をクラス毎に格納
する記憶手段とからなることを特徴とする動きベクトル
検出装置。 - 【請求項6】 請求項5に記載の動きベクトル検出装置
において、 上記記憶手段に格納される上記最適予測値は、上記フー
リエ変換により得られた周波数成分に基づいて分類され
るクラス毎に、重心法を用いて予め獲得されることを特
徴とする動きベクトル検出装置。 - 【請求項7】 請求項5に記載の動きベクトル検出装置
において、 上記フーリエ変換により得られた周波数成分のアクティ
ビティーが小さい場合、上記周波数成分を学習対象から
除外して学習を行い、クラス毎に上記最適予測値を獲得
することを特徴とする動きベクトル検出装置。 - 【請求項8】 位相相関法による動きベクトル検出方法
において、 対象となる画像信号に対してフーリエ変換を施し、上記
フーリエ変換により得られた周波数成分から中間周期に
おける周波数成分の予測を行うステップと、 予測された上記周波数成分の現画像と過去画像とを位相
相関法を適用することによって、1画素より高い精度の
動きベクトルを検出するステップとかなることを特徴と
する動きベクトル検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6372296A JP3707125B2 (ja) | 1996-02-26 | 1996-02-26 | 動きベクトル検出装置および検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6372296A JP3707125B2 (ja) | 1996-02-26 | 1996-02-26 | 動きベクトル検出装置および検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09231374A true JPH09231374A (ja) | 1997-09-05 |
JP3707125B2 JP3707125B2 (ja) | 2005-10-19 |
Family
ID=13237584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6372296A Expired - Lifetime JP3707125B2 (ja) | 1996-02-26 | 1996-02-26 | 動きベクトル検出装置および検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3707125B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049398A (ja) * | 2000-08-02 | 2002-02-15 | Sony Corp | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
-
1996
- 1996-02-26 JP JP6372296A patent/JP3707125B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002049398A (ja) * | 2000-08-02 | 2002-02-15 | Sony Corp | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
JP4538705B2 (ja) * | 2000-08-02 | 2010-09-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP3707125B2 (ja) | 2005-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6678405B1 (en) | Data processing apparatus, data processing method, learning apparatus, learning method, and medium | |
KR960033130A (ko) | 영상 신호 처리기에 대한 일시적 및 공간적 오류 제거 장치 및 방법 | |
JPH09212650A (ja) | 動きベクトル検出装置および検出方法 | |
US5974192A (en) | System and method for matching blocks in a sequence of images | |
US20080013835A1 (en) | Image processing apparatus and method, program recording medium, and program | |
WO2000048117A1 (en) | Method and apparatus for adaptive filter tap selection according to a class | |
US6571142B1 (en) | Data processing apparatus, data processing method, and medium | |
US6351494B1 (en) | Classified adaptive error recovery method and apparatus | |
JP4222753B2 (ja) | 分類適応誤り回復方法及び装置 | |
JPH08265711A (ja) | 信号変換装置及び信号変換方法 | |
JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
JP2001084368A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
JP2002536935A (ja) | 複合分類に基づく適応分類タップ選択方法及び装置 | |
JP4035895B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
JPH09231374A (ja) | 動きベクトル検出装置および検出方法 | |
WO2000048126A1 (en) | Classified adaptive error recovery method and apparatus | |
JP4135045B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
JP3651093B2 (ja) | 動きベクトル検出装置および方法 | |
JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
JPH10136317A (ja) | 画像信号変換装置および方法 | |
JP3334468B2 (ja) | 量子化ビット数変換装置および方法 | |
JP3326879B2 (ja) | 画像信号変換装置 | |
JP4096281B2 (ja) | 画像処理装置および画像処理方法、並びに媒体 | |
JP3726333B2 (ja) | 量子化ビット数変換装置および方法 | |
WO2000048198A1 (en) | Preprocessing peripheral erroneous data, method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050725 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080812 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |