JP2869142B2

JP2869142B2 - 画像の動き検出方法

Info

Publication number: JP2869142B2
Application number: JP12661390A
Authority: JP
Inventors: 哲雄吉田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1990-05-18
Filing date: 1990-05-18
Publication date: 1999-03-10
Anticipated expiration: 2014-03-10
Also published as: JPH0423594A

Description

【発明の詳細な説明】（産業上の利用分野）この発明は動画像の信号処理、特にフレーム間予測に
おける動き補償のための画像の動き検出方法に関するも
のである。

（従来の技術）従来、動画像の高能率符号化においては符号化効率の
改善のためにフレーム間予測を用いることがある。単純
なフレーム間予測による動画像の符号化伝送は前画面と
の差異、つまり画像の変化した部分を符号化伝送する方
式である。従って、フレーム間予測符号化は静止画像に
対する符号化効率は非常に高いが、動きの大きい画像に
対する符号化効率は大幅に低下する。これを克服するた
めに、動きの速さおよび方向に適応した予測すなわち動
き補償フレーム間予測が必要となる。

動き補償フレーム間予測を行うためには、入力画像の
動き、すなわち画面内の被写体がどちらの方向にどれだ
け動いたかを検出、つまり動きベクトルを検出する必要
がある。例えば、「画像伝送における高能率符号化技
術」（株式会社トリケップス（昭和62−３−31P.217−2
21）に、ブロック単位で動きベクトルを検出する“ブロ
ックマッチング方式”およびその演算量の削減を目的と
した“多段階動ベクトル検出の原理”について説明され
ている。

ブロックマッチング方式による動きベクトルの検出と
は、第２図に示すようにこれから符号化しようとするフ
レーム内のブロックＡと符号化済みの前フレーム内に存
在する最も一致するブロックＢを求めることである。こ
こでブロックサイズをｍライン×ｎ画素、動きベクトル
探索範囲を±Ｊライン／フレーム・±Ｋ画素／フレーム
とすると、総数（2J＋１）・（2K＋１）通りの試行ベク
トルに対して、ブロック内の全画素のフレーム間差分の
絶対値または２乗値を求め、それらの総和に大小より評
価する。すなわち各試行ベクトルについて、ブロック内
総画素のフレーム間差分の絶対値または２乗値の総和を
比較して、最少であった試行ベクトルのブロックが“最
も一致するブロック”と判定されるのである。

このように、ブロックマッチング方式により１ブロッ
ク当りの動きベクトルを求めるための演算総数は、差分
演算・差分結果の絶対値演算および累積演算が必要であ
り（2J＋１）×（2K＋１）×（ｍ×ｎ）×３回となるのである。

ここで、このブロックマッチング方式の動き検出回路
の構成例を第３図に示して説明を追加する。１は現フレ
ームの輝度信号を記憶するメモリ回路（以下現フレーム
メモリという）、２は１フレーム時間前の前フレーム輝
度信号を記憶する別のメモリ回路（以下前フレームメモ
リという）、３は現フレームメモリ１および前フレーム
メモリ２より読み出された輝度信号P,Qの差分を画素毎
に求める差分演算回路、４はその差分Ｒの絶対値を求め
る絶対値回路、５はその絶対値Ｓの１ブロック分の和を
累計する累計回路である。６は累計結果Ｔを格納するレ
ジスタであるが、各試行ベクトル毎に前回の結果と大小
比較回路７により判定し、前回より小さい場合のみその
値を格納すべく、クロック発生回路８が書き込みクロッ
クを発生しレジスタ６の内容が最小値に更新されていく
のである。

９はアドレス発生回路であり、動きベクトルを検出し
ようとするブロック内の全画素のデータを読み出すべく
アドレスを発生し現フレームメモリ１に供給すると同時
に、前フレームメモリ２へは試行ベクトル発生器10が発
生する試行ベクトル分だけ、アドレス移動回路11により
平行移動したアドレスが供給される。

０（ゼロ）ベクトルを含む何通りかの試行ベクトルに対
してフレーム間差分の絶対値の累計を求めると、その累
計値が前述のごとく前回までの試行ベクトルに対する場
合よりも小さい場合のみ、クロック発生回路８が書き込
みクロックを発生するため、最後には、最も一致したベ
クトルが最適ベクトル記憶レジスタ12に格納され、端子
13より動きベクトルを出力する。

こうして、ブロックマッチング方式により、動き検出
を行うことができるのであるが、探索範囲内のとりうる
すべての試行ベクトルに対して、やみくもに探索を実行
すると、動きベクトル探索範囲が±Ｊライン／フレーム
・±Ｋ画素／フレームの場合、総数（2J＋１）・（2K＋
１）通りの試行ベクトルが存在し、探索範囲を、±７ラ
イン／フレーム・±７画素／フレームに限定しても試行
回数は225回にもなる。

多段階ベクトル検出法は、この試行回数を削減する一
方法であり、第４図に多段階ベクトル検出の原理を３段
階検出を例に示す。

まず、第１段階では、例えば動き補償無しと等価な０
（ゼロ）ベクトルを中心に図示のように配置された８つ
の代表試行ベクトルを定め、この試行ベクトルに対し
て、前述のブロックマッチングにより、最も類似度の高
いベクトルを検出し、これを仮の動きベクトル（▲
▼）とする。第２段階では、求めるべき真の動きベクト
ルはこの仮の動きベクトル周辺に存在するはずであると
判断して、この仮の動きベクトルを中心にして更に空間
的に密な８つの代表試行ベクトルを定め、ブロックマッ
チングにより最も類似度が高いベクトルを検出し、これ
を第２の仮の動きベクトル（▲▼）とする。第３段
階は第２段階と同様な手順により第３のベクトル（▲
▼）を検出し、求めるべき真の動きベクトル（）を
得ることができる。

この例では、25回の試行回数で±７ライン／フレーム
・±７画素／フレームの探索範囲の動きベクトルの検出
が可能であり、前述のように、やみくもに試行した場合
と比較すると、試行回数を1/9に削減することができた
わけである。

（発明が解決しようとする課題）しかし、以上述べたように、ブロックマッチングによ
る動きベクトルの検出方法においては、膨大な演算量が
必要であり、メモリからの読みだしに要する時間から
も、実時間で探索できる範囲または試行ベクトル数が制
限される欠点があった。

また、以上述べた演算量削減のための多段階ベクトル
検出法においては、第１段階において検出した最適ベク
トルが、第１段階における候補の他の８ベクトルよりも
真のベクトルに近い保証はなく、第１段階において検出
したベクトルの周辺に真のベクトルが存在しない場合が
ある。たとえば、１画素毎または１ライン毎に白黒白黒
と繰返すような空間周波数帯域が広い画質の場合等は、
第１段階のある試行ベクトルが真のベクトルに最も近く
ても、たまたま、真のベクトルと１画素または１ライン
ずれていたために、大きなフレーム間差分が検出され、
その試行ベクトルは類似度が低いと判定されてしまい、
別の試行ベクトルが選ばれる。その場合は、第２段階お
よび第３段階の探索の甲斐なく、真の動きベクトルの検
出ができないという欠点があった。

この発明は以上述べた「ブロックマッチングによる動
きベクトルの検出方法においては、膨大な演算量が必要
であり、メモリからの読みだしに要する時間からも、実
時間で探索できる範囲または試行ベクトル数が制限され
る欠点」と、「演算量削減のための多段階ベクトル検出
法においては、例えば３段階検出の場合、第１段階およ
び第２段階における誤判定により真のベクトル検出がで
きなく問題点」を同時に解決し、高速ながら正確な動き
ベクトルの検出を可能にする画像の動き検出方法を提供
することを目的とする。

（課題を解決するための手段）この発明は上記目的を達成するため、第１段階として
空間的に疎に配置された試行ベクトル中より類似度の高
い仮のベクトルをブロックマッチングで検出し、第２段
階で第１段階で検出された仮のベクトル周辺に第１段階
の場合より密に配置された試行ベクトル中より更に真の
ベクトルに近い仮のベクトルをブロックマッチングで検
出し、以下同様にして第Ｎ段階で真のベクトルを検出す
る多段階検出法による画像の動き検出方法において、入
力画像データの空間的な周波数帯域を対応する段階の試
行ベクトルの空間的な配置が疎になるほど制限するフィ
ルタと、前記フィルタからの画像データを対応する段階
の試行ベクトルの空間的な配置が疎になるほどサブサン
プル数を減じてサブサンプリングするサブサンプリング
手段と、前記サブサンプリングされた画像データをブロ
ックマッチングのための画像データとして記憶するメモ
リとを第Ｎ段階を除く各段階に対応してそれぞれ設け、
前記入力画像データをブロックマッチングのための画像
データとして記憶するメモリを第Ｎ段階に対応して設
け、前記各フィルタによる周波数帯域の制限、各サブサ
ンプリング手段によるサブサンプリング、各メモリへの
画像データの書き込みと読み出しを各段階ごとに並行し
て実行し、ブロックマッチングを行うものである。

（作用）入力画像データは各段階のフィルタにより対応する段
階の試行ベクトルの空間的間隔に応じて空間的な周波数
帯域を制限されブロックマッチングの対象とされる。こ
れにより、誤ったベクトルを選択する危険性が減り、真
のベクトルを検出する精度が向上する。

また、各段階のフィルタにより空間的な周波数帯域を
制限された画像データは各サブサンプリング手段により
サブサンプリングをされ、ブロックマッチングの対象と
される。このとき、サブサンプル数を対応する段階の試
行ベクトルの空間的間隔に応じて減らしているので、サ
ブサンプリングをされた画像データを記憶するメモリ容
量を小さくすることができるとともに各段階におけるベ
クトルの探索に要する時間を大幅に削減することができ
る。

また、上記各メモリは各段階ごとに独立して設けてい
るので、各段階でのベクトル探索を並行して実行できる
のでベクトル検出の高速化またはベクトル探索範囲の拡
張が可能となる。

（実施例）第１図はこの発明の実施例を示す系統図であって、
「ビデオ信号入力端子」100からのビデオ信号入力は
「空間フィルタ（１）」101を介して第１段階用「現フ
レームメモリ（１）」102に、「空間フィルタ（２）」2
01を介して第２段階用「現フレームメモリ（２）」202
に、またそのまま第３段階用「現フレームメモリ
（３）」302に書き込まれる。書き込まれる前の「現フ
レームメモリ（１）」102、「現フレームメモリ
（２）」202および「現フレームメモリ（３）」302のデ
ータは同時に各々「前フレームメモリ（１）」103、
「前フレームメモリ（２）」203および「前フレームメ
モリ（３）」303にシフトさせるようにデータパスが設
けられている。

「ブロックマッチング回路（１）」104、「ブロック
マッチング回路（２）」204、および「ブロックマッチ
ング回路（３）」304が各段階用の「現フレームメモ
リ」から読み出されたデータと「前フレームメモリ」か
ら読み出されたデータを受け、ブロックマッチングのた
めの類似度評価のためにフレーム間差分の絶対値のブロ
ック分の累計値演算を行う。

300は「動きベクトル検出のための制御回路」であ
り、各段階用に各ブロックのデータを「現フレームメモ
リ」および「前フレームメモリ」から読み出すべく、そ
れらのメモリ回路に読み出しアドレスを与える。すなわ
ち「動きベクトル検出のための制御回路」300のA1,A2お
よびA3より各段階用の現フレーム読み出しアドレスが出
力され、B1,B2およびB3より各段階用の前フレーム読み
出しアドレスが出力される。

前フレームの読み出しアドレス（B1），（B2），（B
3）は各ブロックの各段階における動きベクトルの探索
毎に、その試行ベクトルに対して試行ベクトル分だけア
ドレスをシフトして出力され、「ブロックマッチング回
路（１）」104,「ブロックマッチング回路（２）」20
4、および「ブロックマッチング回路（３）」304は試行
毎のフレーム間差分の絶対値のブロック分の累計値を
「動きベクトル検出のための制御回路」300のC1,C2,C3
に入力する。「動きベクトル検出のための制御回路」30
0は試行毎にその累計値を比較し、類計値の最も小さい
試行ベクトルを検出し、最も類似度の高いベクトルを決
定する、いわゆるブロックマッチングを実行する。

この実施例では、３段階ベクトル検出により動きベク
トルを検出するが、第１段階においては、空間的に最も
疎に配置された仮の試行ベクトルについて、ブロックマ
ッチングによる動きベクトル検出を行う。

試行ベクトルの配置を第５図の説明図に示す。第１段
階の試行ベクトルは第５図のように、０（ゼロ）を中心
として、４画素・４ライン間隔で49点配置されている。

第２段階では、第１段階で最も類似度が高いと判断し
た仮のベクトルを中心に、２画素・２ライン間隔に配
置された、中心を含む９点の試行ベクトルについて、ブ
ロックマッチングにより更に類似度が高いと判断できる
仮のベクトルを検出し、真のベクトルはＱの周辺に存
在する筈であると判断する。

第３段階では、Ｑを中心に中心を含んで１画素・１ラ
イン精度で９点のベクトルを評価し、例えば、Ｒの場合
に類似度が最高と判定され、真のベクトルが決定す
る。

この実施例においては、第１段階または第２段階で誤
った判定を行う可能性があるという従来の欠点を改良す
るために、第１段階用および第２段階用のフレーム間差
分を求める画素データの空間周波数帯域を制限すべく、
「ビデオ信号入力端子」100と「現フレームメモリ」の
間に各々「空間フィルタ（１）」101および「空間フィ
ルタ（２）」201が挿入されており、試行ベクトルが空
間的に疎に配置されるほど帯域を制限すると同時に試行
ベクトルの空間的距離に対応させて画素データのサンプ
ル数も減らすようにしている。

第１段階用、第２段階用および第３段階用の「現フレ
ームメモリ」または「前フレームメモリ」に書き込まれ
るビデオデータの空間的なサンプル点の配置を第６図の
説明図に示す。

先ず第１段階用のデータとして、周囲16の×印で示さ
れる原信号のサンプル点に対して、１つの□印のサンプ
ルデータで代表する。すなわち、標本化定理を満たすべ
く空間周波数帯域を制限した後、水平方向には原信号４
画素、垂直方法には原信号４ライからなる16点に対し、
１点の割合でサブサンプルする。

同様に、第２段階用のデータとして、周囲４の×印で
示される原信号のサンプル点に対し、１つの○印のサン
プルデータで代表する。すなわち、同様に標本化定理を
満たすべく空間周波数帯域を制限した後、水平方向には
原信号２画素、垂直方向には原信号２ラインからなる４
点に対し、１点の割合でサブサンプルする。

第３段階用には、×印で示した原信号を用いる。

第１段階や２段階の空間的に疎に配置された試行ベク
トルのブロックマッチングのためには、ベクトルの配置
の精度に応じてデータの空間周波数帯域が制限されてい
るため、ベクトル検出の精度とデータの空間周波数帯域
の不釣合のために生じるベクトル誤検出が減少する筈で
ある。前述の１画素毎の白黒画像は、空間周波数帯域が
制限された結果灰色データの意味をもつため、真のベク
トルから１画素ずれていても大きなフレーム間差分が検
出されることはない。

また、第１段階および第２段階の１ブロックあたりの
サンプル数が減ったおかげで、第１段階および第２段階
用のフレームメモリは容量が小さくてもよく、各々独立
したメモリ回路を設けることの代価は多くはなく、この
実施例では、各段階用に独立したフレームメモリを設
け、その結果各段階の探索を並列処理することが可能で
ある。

ブロックあたりのサンプル数の削減は、同時に、ブロ
ックマッチングの評価のためのフレームメモリからの、
１試行ベクトルあたりに必要な読み出し回数を削減する
ことになる。

そのため、この実施例では第１段階の１試行ベクトル
あたりの読みだし時間が従来の1/16になることを利用し
て探索範囲を大幅に拡張し、試行ベクトル数を49点に増
やしても、探索時間は従来よりも短くなる。第７図
（Ａ）はこの実施例におけるベクトル検出に要する時間
を図示したものであり、w1、w2、…はビデオデータをフ
レームメモリに書き込む時間、a1、a2、…は第１段階に
おけるブロックマッチングのために、フレームメモリよ
りデータを読み出す時間、同様にb1、b2、…およびc1、
c2、…は第２段階および第３段階におけるブロックマッ
チングのためにフレームメモリよるデータを読み出す時
間であり、ブロックマッチングのブロックの大きさが16
画素×16ラインの場合、a1は、16×49クロックで、b1は
64×９クロックで、c1は256×９クロック分である。

さらに、第７図（Ｂ）に示すように、第１段階、第２
段階、第３段階のブロックマッチングを時間的に並列処
理することができ、さらに高速に動きベクトルが検出可
能となる。

この場合は当然、第８図の系統図に示すように、第
２、第３段階用にはフレームメモリに書込むデータを各
々、d1、d2遅延させるために、「遅延回路」205、305を
「ビデオ信号入力端子」100と「現フレームメモリ」の
間に挿入する。

（発明の効果）以上、詳細に説明したように、この発明によれば、（１）ブロックマッチングによる動きベクトルの検出
において、多段階検出法を改良して空間的に疎に配置さ
れた試行ベクトルの類似度を評価する場合には、フレー
ム間差分を求めるためのビデオデータも空間的な周波数
帯域を制限してサブサンプリングするようにしたため、
第１段階および第２段階で誤ったベクトルを選択する危
険性が減り、真のベクトルを検出する精度が向上したの
で、この発明による動きベクトル検出方法により検出し
た動きベクトルを用いて、動画像高能率符号化における
動き補償フレーム間予測を行うと、フレーム間符号化の
効率が改善される（検出精度の向上）。

（２）また第１段階における、ブロックマッチングに
用いるビデオデータのサンプル数が1/16になったので、
従来の技術で説明した多段階検出法による場合と比較し
て第１段階で探索可能な試行ベクトル数を同一時間内で
16倍にすることが可能となった。あるいは同一ベクトル
数であれば、1/16の時間で探索できるようになった。こ
の例では、第１段階での試行ベクトルを49に設定したに
もかかわらず第１段階、第２段階、第３段階と順次処理
してもその合計処理時間であるメモリ読み出しサイクル
はa1＋b1＋c1であるので 16×49＋64×９＋256×９＝3664（サイクル）となり、従来の方法で第１段階の試行ベクトル数９の場
合のメモリ読み出しサイクル 256×（９＋８＋８）＝6400（サイクル）と比較す
ると、ベクトル探索範囲を面積的に４倍に広げることが
可能になった上、探索処理時間も約57％に短縮された事
になる（高速化）。

（３）ブロックマッチングのためのメモリを各段階毎
に独立して設けることにより、第７図（Ｂ）で説明した
ように、第３段階のベクトル探索と並列して、次のブロ
ックの第１段階、第２段階のベクトル探索をおこなうご
ときパイプライン処理が可能となり、更なるベクトル検
出の高速化またはベクトル探索範囲の拡張が実現可能で
ある。

（４）第１段階、第２段階のブロックマッチングのた
めのメモリの読みだしサイクル数を削減できたため、必
要とするメモリの小容量化・低速化に役立ち、コスト面
でも高集積化の面でも有益である。

なお、以上は多段階のブロックマッチングに関して、
３段階の例について説明してきたが、２段階、４段階そ
の他任意の段階について実現しても、同様の効果が期待
されることは説明するまでもない。

【図面の簡単な説明】

第１図は本発明の実施例を示す系統図、第２図は動ベク
トル検出の説明図、第３図は従来の動き検出回路、第４
図は多段階動ベクトル検出の原理図、第５図は３段階ベ
クトル検出の説明図、第６図は各段階用画素データのサ
ンプル点の説明図、第７図はベクトル検出に要する時間
の説明図、第８図は発明の第２の実施例を示す系統図で
ある。 100……ビデオ信号入力端子、101,201……空間フィルタ
（１），（２）、102,202,302……現フレームメモリ
（１），（２），（３）、103,203,303……前フレーム
メモリ（１），（２），（３）、104,204,304……ブロ
ックマッチング回路（１），（２），（３）、300……
動きベクトル検出のための制御回路、205,305……遅延
回路。

フロントページの続き (56)参考文献特開平２−224490（ＪＰ，Ａ) ＩＥＥＥＩＣＣ‘87 ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎ（1987）ｐ．0151−0156（Ａ 64ＫＢＩＴ／ＳＭＯＴＩＯＮＣＯＭＰＥＮＳＡＴＥＤＴＲＡＮＳＦＯＲＭＣＯＤＥＲＵＳＩＮＧＶＥＣＴＯＲＱＵＡＮＴＩＺＡＴＩＯＮＷＩＴＨＳＣＥＮＥＡＤＡＰＴＩＶＥＣＯＤＥＢＯＯＫ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】第１段階として空間的に疎に配置された試
行ベクトル中より類似度の高い仮のベクトルをブロック
マッチングで検出し、第２段階で第１段階で検出された
仮のベクトル周辺に第１段階の場合よりも密に配置され
た試行ベクトル中より更に真のベクトルに近い仮のベク
トルをブロックマッチングで検出し、以下同様にして第
Ｎ段階で真のベクトルを検出する多段階検出法による画
像の動き検出方法において、入力画像データの空間的な周波数帯域を対応する段階の
試行ベクトルの空間的な配置が疎になるほど制限するフ
ィルタと、前記フィルタからの画像データを対応する段階の試行ベ
クトルの空間的な配置が疎になるほどサブサンプル数を
減じてサブサンプリングをするサブサンプリング手段
と、前記サブサンプリングされた画像データをブロックマッ
チングのための画像データとして記憶するメモリとを第
Ｎ段階を除く各段階に対応してそれぞれ設け、前記入力画像データをブロックマッチングのための画像
データとして記憶するメモリを第Ｎ段階に対応して設
け、前記各フィルタによる周波数帯域の制限、各サブサンプ
リング手段によるサブサンプリング、各メモリへの画像
データの書き込みと読み出しを各段階ごとに並行して実
行し、ブロックマッチングを行うことを特等とする動き
検出方法。