JP2001298745A - 動きベクトル探索装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 動きベクトルの探索精度を維持しつつ、動き
ベクトル探索に必要な演算量および処理時間を軽減す
る。 【解決手段】 検出対象画像分割部１は、符号化対象フ
レームをクラスタに分割し、縮小対象クラスタを作成す
る予測参照画像分割部１２は、縮小対象クラスタと同位
置の領域を縮小した参照予測フレームから抽出する。誤
差算出部３は、縮小対象クラスタと、縮小対象クラスタ
と同位置の参照予測フレームの領域との間で重なり合う
画素の差分の絶対値の合計ＳＡＤ_CLを求める。合計ＳＡ
Ｄ_CLが所定のしきい値よりも小さい場合には、そのクラ
スタについては、動きが少ないため、動きベクトルを探
索する必要がないと判断し、動きベクトルの探索処理が
スキップされる。それ以外のクラスタについては、その
クラスタについて動きベクトルが算出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動きベクトル探索
装置および方法に関し、特に、マクロブロックマクロク
ラスタリング法に基づく動きベクトル探索装置および方
法に関する。

【０００２】

【従来の技術】近年、ＩＳＤＮ（Integrated Services
Digital Network）またはＧＳＴＮ（General Switched
Telephone Network）を有効に活用するサービスとして
テレビ電話やテレビ会議などの画像通信サービスが有望
視され、このような動画像の効率的な伝送を目的とした
高能率符号化の研究が盛んに行なわれている。この研究
において一般的には、画像の統計的な性質を利用して、
画像に含まれる冗長性を取除くことにより、情報量の削
減が行なわれている。このような符号化方式として動き
補償予測と離散コサイン変換とを組合わせたハイブリッ
ド符号化方式が良く知られている。

【０００３】たとえば、ＩＴＵ（International Teleco
mmunications Union）−Ｔ勧告Ｈ．２６３においては、
以下のような動き補償予測が用いられている。符号化対
象である現フレーム（以下「符号化対象フレーム」とい
う。）がマクロブロックと呼ばれる符号化の処理単位に
分割され、符号化対象フレームよりも時間的に前後する
フレーム（以下「予測参照フレーム」という。）の所定
の探索領域内から、符号化対象ブロックのマクロブロッ
クと相関性の高い位置が検出される。

【０００４】符号化対象フレームと予測参照フレームと
の間でのマクロブロックの位置的な変化を、動きベクト
ルとして符号化して伝送することにより、情報量の削減
が行なわれる。

【０００５】動きベクトル探索法として最も一般的なも
のとして、探索領域に含まれるすべての画素についてマ
クロブロックとの相関性を評価する全探索法が知られて
いる。以下、図面を用いて全探索法について説明する。

【０００６】図８を参照して、符号化対象フレーム１０
０が所定のサイズ（たとえば１６×１６画素）のマクロ
ブロックに分割される。その内の１つのマクロブロック
１０１が動きベクトルの検出対象ブロックとして選択さ
れる。図９を参照して、符号化対象フレーム１００より
も１フレーム前の予測参照フレーム１０２に、動きベク
トル探索のため、探索領域１０３が設定される。探索領
域１０３のサイズは、マクロブロック１０１よりも大き
く、たとえば、マクロブロック１０１を中心としてマク
ロブロック１０１のＸ軸およびＹ軸の負方向にそれぞれ
１６画素の範囲、ならびに正方向にそれぞれ１５画素の
範囲にある、４７×４７画素であるものとする。

【０００７】探索領域１０３内で、マクロブロック１０
１を水平または垂直方向に１画素ずつずらしながら、重
なり合う画素間での画素値の差分の絶対値の合計を求め
る。合計値が最小となる部分領域１０４は、マクロブロ
ック１０１との相関性が最も高い部分である。このた
め、マクロブロック１０１から部分領域１０４へ向かう
ベクトル１０５を求め、ベクトル１０５をマクロブロッ
ク１０１の動きベクトルとする。

【０００８】全探索法による動きベクトル探索処理で
は、探索領域１０３内のすべての位置において、マクロ
ブロック１０１内のすべての画素について画素値の差分
を求めている。このため、演算量が膨大であるという問
題がある。これまで演算量を減らす手法がいくつか提案
されているが、演算量を少なくすると動きベクトルの探
索精度が低くなる。このように、演算量と探索精度とは
トレードオフの関係にあるといえる。また、動きベクト
ルの探索精度が低いと圧縮効率が悪くなるという問題も
ある。

【０００９】このような背景の中、演算量を減らし、か
つ精度の高い動きベクトルを求める手法として、「Gen
Fujita et al., "A VLSI Architecture for Motion Est
imation Core Dedicated to H.263 Video Coding", IEI
CE TRANS. ELECTRON.,VOL.E81-C,NO.5,pp.702-707,May
1998」に記載のマクロクラスタリング法が提案されてい
る。

【００１０】図１０を参照して、マクロクラスタリング
法を用いて動きベクトルを探索する動きベクトル探索装
置は、符号化対象フレームを受け、符号化対象フレーム
を分割し、動きベクトルの検出対象領域を抽出する検出
対象画像分割部１と、予測参照フレームを受け、予測参
照フレームに探索領域を設定するとともに、探索領域内
から上記検出対象領域と同じサイズの領域を切り出す予
測参照画像分割部２と、検出対象画像分割部１および予
測参照画像分割部２に接続され、切り出された領域間の
誤差（たとえば、各画素の差分の絶対値の合計）を算出
する誤差算出部３と、誤差の最小値および検出対象領域
の動きベクトルを記憶する誤差記憶部５と、誤差算出部
３および誤差記憶部５に接続され、誤差を評価し、誤差
の最小値および誤差が最小となるときの探索領域内での
位置を求める誤差評価部４とを含む。

【００１１】動きベクトル検出処理について説明する。
図１１を参照して、検出対象画像分割部１は、符号化対
象フレーム２００を所定のサイズ（たとえば１６×１６
画素）のマクロブロックに分割し、そのうちのｍ×ｎ個
のマクロブロックによりクラスタ２０１を構成する。こ
こでは、ｍ＝ｎ＝２の場合について説明する。すなわ
ち、クラスタのサイズは３２×３２画素となる。図４を
参照して、検出対象画像分割部１は、クラスタ２０１に
含まれる画素を、Ｘ方向およびＹ方向の比率がｍ：ｎと
なるように間引く。ここでは、２×２画素の領域の中か
ら左上の画素をその領域の画素とすることにより、３２
×３２画素のクラスタ２０１を間引いて１６×１６画素
の領域（以下「検出対象クラスタ」という。）を作成す
る。

【００１２】予測参照画像分割部２は、予測参照フレー
ムを検出対象画像分割部１と同様の間引き方法により間
引いて、縮小予測参照フレーム２０４を作成する。予測
参照画像分割部２は、縮小予測参照フレーム２０４中
に、探索領域２０５を設定する。探索領域２０５は、縮
小対象クラスタ２０３よりも大きく、たとえば、縮小対
象クラスタ２０３のＸ方向およびＹ方向のそれぞれにつ
いて、正方向および負方向にそれぞれ２ⁱ−１（ｉ＝
１，２，．．．）画素を加えた大きさを有する。ここで
は、ｉ＝３の場合について説明する。したがって、探索
領域２０５の大きさは、３０×３０画素となる。

【００１３】誤差評価部４は、上述の全探索法を用い
て、探索領域２０５内で縮小対象クラスタ２０３を水平
または垂直方向に所定画素（一般的には１画素）ずつず
らしながら、重なり合う画素間で画素値の差分の絶対値
を順次求め、縮小対象クラスタ２０３内の差分の絶対値
の合計を算出する。

【００１４】図６を参照して、誤差評価部４は、算出さ
れた差分の絶対値の合計と誤差記憶部５に記憶されてい
る差分の絶対値の合計の最小値とを順次比較し、差分の
絶対値の合計が最小となる部分領域クラスタ２０６を検
出する。誤差評価部４は、差分の絶対値の合計の最小値
を誤差記憶部５に記憶する。誤差評価部４は、縮小対象
クラスタ２０３の中心から部分領域クラスタ２０６の中
心へ向かう動きベクトル２０７を求め、誤差記憶部５に
記憶する。

【００１５】図１２を参照して、予測参照画像分割部２
は、動きベクトル２０７をＸ方向にｍ倍、Ｙ方向にｎ倍
したベクトル２０９をクラスタ２０１に含まれるマクロ
ブロック２０２の初期ベクトルとする。図７を参照し
て、予測参照画像分割部２は、予測参照フレーム２０８
内で、マクロブロック２０２をベクトル２０９に従い移
動させた部分領域マクロブロック２１０を中心とした探
索領域２１１を設定する。

【００１６】探索領域２１１は、部分領域マクロブロッ
ク２１０のＸ方向およびＹ方向のそれぞれについて、正
方向および負方向にそれぞれ（２^j−１）画素（ｊ＝
１，２，．．．）加えた大きさを有する。

【００１７】探索領域２１１内で全探索法を用いてマク
ロブロック２０２に対応する位置を求めることにより、
最終的にマクロブロック２０２の動きベクトルを求める
ことができる。

【００１８】このように、クラスタの階層において大ま
かな動きベクトルの探索を実施し、次にブロックの階層
において詳細な動きベクトルの探索を実施するという２
段階の探索を行なう。そのため、ブロックの階層のみで
動きベクトルを実施する場合と比較し、同じ大きさの探
索領域を少ない演算量で精度よく探索することができ
る。

【００１９】

【発明が解決しようとする課題】マクロブロックマクロ
クラスタリング法では、本来動きベクトルを求める必要
のないマクロブロック、すなわち時間的に前後するフレ
ームと比較して変化が少ないマクロブロックについても
動きベクトル探索を行なっている。このため、探索処理
に必要な演算量が増加し、処理時間を浪費するという問
題がある。

【００２０】また、演算量および処理時間の増加にとも
ない、動きベクトル探索装置の消費電力が増加するとい
う問題もある。

【００２１】本発明は、上述の課題を解決するためにな
されたもので、その目的は、動きベクトルの探索精度を
維持しつつ、動きベクトル探索に必要な演算量および処
理時間を軽減することができる動きベクトル探索装置を
提供することである。

【００２２】本発明の他の目的は、低消費電力の動きベ
クトル探索装置を提供することである。

【００２３】

【課題を解決するための手段】本発明のある局面に従う
動きベクトル探索装置は、動き補償予測を用いて第１の
フレームに含まれるブロックに対応する位置を第１のフ
レームと所定の関係にある第２のフレームより求め、ブ
ロックの動きベクトルを探索する。動きベクトル探索装
置は、複数のブロックから構成される第１のフレームに
おいて、ブロックを１つ以上含むクラスタを生成するた
めのクラスタ生成手段と、クラスタ生成手段に接続さ
れ、クラスタと、第２のフレームにおけるクラスタと同
位置の領域との相関性を判断するためのクラスタ相関性
判断手段と、クラスタ相関性判断手段に接続され、第２
のフレームにおける対応領域との間に相関性がないと判
断されたクラスタについてのみ、クラスタに対応する位
置を第２のフレームより探索し、クラスタの動きベクト
ルを検出するためのクラスタ動きベクトル検出手段と、
クラスタ相関性判断手段およびクラスタ動きベクトル検
出手段に接続され、クラスタ相関性判断手段の出力およ
びクラスタの動きベクトルに基づき、第２のフレームに
おける、クラスタに含まれるブロックに対応する位置を
求め、ブロックの動きベクトルを検出するための動きベ
クトル検出手段とを含む。

【００２４】第１および第２のフレームの同位置で、ク
ラスタに相関性があると判断された場合には、クラスタ
に動きがないと判断できる。このため、動きがないと判
断されたクラスタについては、その後のクラスタの動き
ベクトルを探索する処理を省略することが可能となる。
よって、動きベクトルの精度を低下させることなく、動
きベクトル探索に必要な演算量および処理時間を軽減す
ることができる。また、それに伴ない、動きベクトル探
索装置の消費電力を低下させることができる。

【００２５】好ましくは、動きベクトル検出手段は、ク
ラスタ相関性判断手段およびクラスタ動きベクトル検出
手段に接続され、クラスタ相関性判断手段の出力および
クラスタの動きベクトルに基づいて、クラスタに含まれ
るブロックの動きベクトルの初期値を表わす初期ベクト
ルを設定するための初期ベクトル設定手段と、初期ベク
トル設定手段に接続され、ブロックと、ブロックを初期
ベクトルに従い移動させた後の第２のフレームにおける
領域との相関性を判断するためのブロック相関性判断手
段と、ブロック相関性判断手段に接続され、第２のフレ
ームにおける対応領域との間に相関性がないと判断され
たブロックについてのみ、ブロックに対応する位置を第
２のフレームより探索し、ブロックの動きベクトルを検
出するためのブロック動きベクトル検出手段とを含む。

【００２６】第１および第２のフレームの同位置で、ブ
ロックに相関性があると判断された場合には、ブロック
に動きがないと判断できる。このため、動きがないと判
断されたブロックについては、その後のブロックの動き
ベクトルを探索する処理を省略することが可能となる。
よって、動きベクトルの精度を低下させることなく、動
きベクトル探索に必要な演算量および処理時間を軽減す
ることができる。また、それに伴ない、動きベクトル探
索装置の消費電力を低下させることができる。

【００２７】さらに好ましくは、ブロック動きベクトル
検出手段は、クラスタ相関性判断手段およびブロック相
関性判断手段に接続され、第２のフレームにおける対応
領域との間に相関性がないと判断されたブロックについ
てのみ、ブロックが含まれるクラスタについてのクラス
タ相関性判断手段の出力に基づき、探索領域を第２のフ
レーム中に設定する探索領域設定手段と、探索領域設定
手段に接続され、設定された探索領域内でブロックに対
応する位置を探索し、ブロックの動きベクトルを検出す
るための手段とを含む。

【００２８】さらに好ましくは、探索領域設定手段は、
クラスタとクラスタの対応領域との間に相関性がないと
判断した場合の探索領域を、相関性があると判断した場
合の探索領域よりも大きく設定する。

【００２９】クラスタに相関性があると判断されたにも
関わらず、クラスタを構成するブロックに相関性がない
と判断された場合には、クラスタ階層で大局的な動きベ
クトルが求められていない。このため、探索領域を大き
目に設定することにより、精度良く動きベクトルを求め
ることができる。

【００３０】さらに好ましくは、クラスタ相関性判断手
段は、クラスタと、第２のフレームにおけるクラスタと
同位置の領域との相関性を判断するための第１の相関性
判断手段と、クラスタを構成するブロックの各々につい
て、ブロックと、第２のフレームにおけるブロックと同
位置の領域との相関性を判断するための第２の相関性判
断手段と、第１および第２の相関性判断手段に接続さ
れ、第１の相関性判断手段の出力および第２の相関性判
断手段の出力に基づいて、クラスタと、第２のフレーム
における対応領域との相関性を判断するための手段とを
含む。

【００３１】クラスタに相関性があるか否かを判断する
際に、クラスタを構成するブロックについても相関性が
あるか否かも合わせて判断する。このため、クラスタの
相関性の信頼性が向上する。

【００３２】本発明の他の局面に従う動きベクトル探索
方法は、動き補償予測を用いて第１のフレームに含まれ
るブロックに対応する位置を第１のフレームと所定の関
係にある第２のフレームより求め、ブロックの動きベク
トルを探索する。動きベクトル探索方法は、複数のブロ
ックから構成される第１のフレームにおいて、ブロック
を１つ以上含むクラスタを生成するステップと、クラス
タと、第２のフレームにおけるクラスタと同位置の領域
との相関性を判断するステップと、第２のフレームにお
ける対応領域との間に相関性がないと判断されたクラス
タについてのみ、クラスタに対応する位置を第２のフレ
ームより探索し、クラスタの動きベクトルを検出するス
テップと、第２のフレームにおける対応領域との間に相
関性がないと判断されたクラスタに含まれるブロックに
ついて、第２のフレームにおける対応する位置を求め、
ブロックの動きベクトルを検出するステップとを含む。

【００３３】第１および第２のフレームの同位置で、ク
ラスタに相関性があると判断された場合には、クラスタ
に動きがないと判断できる。このため、動きがないと判
断されたクラスタについては、その後のクラスタの動き
ベクトルを探索する処理を省略することが可能となる。
よって、動きベクトルの精度を低下させることなく、動
きベクトル探索に必要な演算量および処理時間を軽減す
ることができる。

【００３４】好ましくは、ブロックの動きベクトルを検
出するステップは、クラスタと第２のフレームにおける
クラスタの対応領域との相関性およびクラスタの動きベ
クトルに基づいて、クラスタに含まれるブロックの動き
ベクトルの初期値を表わす初期ベクトルを設定するステ
ップと、ブロックと、ブロックを初期ベクトルに従い移
動させた後の第２のフレームにおける領域との相関性を
判断するステップと、第２のフレームにおける対応領域
との間に相関性がないと判断されたブロックについての
み、ブロックに対応する位置を第２のフレームより探索
し、ブロックの動きベクトルを抽出するステップとを含
む。

【００３５】第１および第２のフレームの同位置で、ブ
ロックに相関性があると判断された場合には、ブロック
に動きがないと判断できる。このため、動きがないと判
断されたブロックについては、その後のブロックの動き
ベクトルを探索する処理を省略することが可能となる。
よって、動きベクトルの精度を低下させることなく、動
きベクトル探索に必要な演算量および処理時間を軽減す
ることができる。

【００３６】さらに好ましくは、ブロックの動きベクト
ルを抽出するステップは、第２のフレームにおける対応
領域との間に相関性がないと判断されたブロックについ
てのみ、ブロックが含まれるクラスタについての、当該
クラスタと第２のフレームにおける対応領域との間の相
関性に基づき、探索領域を第２のフレーム中に設定する
ステップと、設定された探索領域内でブロックに対応す
る位置を探索し、ブロックの動きベクトルを検出するス
テップとを含む。

【００３７】さらに好ましくは、探索領域を第２のフレ
ーム中に設定するステップは、クラスタとクラスタの対
応領域との間に相関性がないと判断した場合の探索領域
を、相関性があると判断した場合の探索領域よりも大き
く設定する。

【００３８】クラスタに相関性があると判断されたにも
関わらず、クラスタを構成するブロックに相関性がない
と判断された場合には、クラスタ階層で大局的な動きベ
クトルが求められていない。このため、探索領域を大き
目に設定することにより、精度良く動きベクトルを求め
ることができる。

【００３９】さらに好ましくは、クラスタと同位置の領
域との相関性を判断するステップは、クラスタと、第２
のフレームにおけるクラスタと同位置の領域との相関性
を判断するステップと、クラスタを構成するブロックの
各々について、ブロックと、第２のフレームにおけるブ
ロックと同位置の領域との相関性を判断するステップ
と、クラスタに対する相関性およびクラスタを構成する
ブロックに対する相関性に基づいて、クラスタと、第２
のフレームにおける対応領域との相関性を判断するステ
ップとを含む。

【００４０】クラスタに相関性があるか否かを判断する
際に、クラスタを構成するブロックについても相関性が
あるか否かも合わせて判断する。このため、クラスタの
相関性の信頼性が向上する。

【００４１】

【発明の実施の形態】図１を参照して、本発明の実施の
形態に係る動きベクトル探索装置は、符号化対象フレー
ムを受け、動きベクトル探索の検出対象領域に分割する
検出対象画像分割部１と、符号化対象フレームと比べ時
間的に１つ前のフレームである予測参照フレームを受
け、動きベクトルの探索領域を設定するとともに、探索
領域内から上記検出対象領域と同じサイズの領域を切り
出す予測参照画像分割部１２と、検出対象画像分割部１
および予測参照画像分割部１２に接続され、切り出され
た領域間の誤差（たとえば、各画素の差分の絶対値の合
計）を算出する誤差算出部３と、誤差の最小値および検
出対象領域の動きベクトルを記憶する誤差記憶部５と、
誤差算出部３および誤差記憶部５に接続され、誤差を評
価し、誤差の最小値および誤差が最大となるときの探索
領域内での位置を求める誤差評価部４とを含む。

【００４２】動きベクトル探索装置は、さらに、誤差算
出部３に接続され、クラスタの階層で探索をする際、探
索をスキップするか否かを判定するクラスタ階層スキッ
プ判定部６と、誤差算出部３に接続され、マクロブロッ
クの階層で探索をする際、探索をスキップするか否かを
判定するマクロブロック階層スキップ判定部８と、クラ
スタ階層スキップ判定部６およびマクロブロック階層ス
キップ判定部８に接続され、クラスタ階層スキップ判定
部６およびマクロブロック階層スキップ判定部８の出力
に基づいて、動きベクトルの探索領域を決定する探索領
域決定部７と、探索領域を定めるための初期設定値を記
憶する初期設定値レジスタ９と、初期設定値レジスタ９
に記憶された初期設定値よりも大きな探索領域を設定す
るための拡大設定値を記憶する拡大設定値レジスタ１０
と、探索領域決定部７、初期設定値レジスタ９および拡
大設定値レジスタ１０に接続され、探索領域決定部７の
出力に従い、初期設定値レジスタ９または拡大設定値レ
ジスタ１０のいずれか一方の値を選択し、予測参照画像
分割部１２に供給する選択器１１とを含む。

【００４３】図２および図３を参照して、動きベクトル
探索処理について説明する。検出対象画像分割部１は、
符号化対象フレームをクラスタに分割し、図４に示す縮
小対象クラスタ２０３を作成する（Ｓ１）。縮小対象ク
ラスタ２０３の作成方法は、従来と同様であるため、そ
の詳細な説明はここでは繰返さない。

【００４４】予測参照画像分割部１２は、縮小した参照
予測フレームから、縮小対象クラスタ２０３と同位置の
領域を抽出する。誤差算出部３は、縮小対象クラスタ２
０３と、縮小対象クラスタ２０３と同位置の参照予測フ
レームの領域との間で重なり合う画素の差分の絶対値の
合計（以下「誤差評価値」という。）ＳＡＤ_CLを求める
（Ｓ２）。

【００４５】図５を参照して、縮小対象クラスタ２０３
が４つの縮小されたマクロブロックより構成され、マク
ロブロックの誤差情報をそれぞれＳＡＤ_CL1、ＳＡ
Ｄ_CL2、ＳＡＤ_CL3およびＳＡＤ_CL4とする。このとき、
以下の式（１）に示すような関係が成り立つ。

【００４６】 ＳＡＤ_CL＝ＳＡＤ_CL1＋ＳＡＤ_CL2＋ＳＡＤ_CL3＋ＳＡＤ_CL4…（１） クラスタ階層スキップ判定部６は、以下の式（２）〜式
（６）の判定条件がすべて成り立つか否かを調べる（Ｓ
３）。

【００４７】 ＳＡＤ_CL＜ＴｈＳＡＤ_CL …（２） ＳＡＤ_CL1＜ＴｈＳＡＤ_CLq …（３） ＳＡＤ_CL2＜ＴｈＳＡＤ_CLq …（４） ＳＡＤ_CL3＜ＴｈＳＡＤ_CLq …（５） ＳＡＤ_CL4＜ＴｈＳＡＤ_CLq …（６） ここで、ＴｈＳＡＤ_CLおよびＴｈＳＡＤ_CLqはＴｈＳＡ
Ｄ_CL＞ＴｈＳＡＤ_CLqなる関係を満たす所定のしきい値
である。

【００４８】式（２）〜式（６）のすべての判定条件を
満たしている場合には、そのクラスタについては、動き
が少ないため、動きベクトルを探索する必要がないと判
断し（Ｓ３でＹＥＳ）、Ｓ９へ移行する。

【００４９】図６を参照して、式（２）〜式（６）の判
定条件のうち１つでも満足しないものがあれば、そのク
ラスタについて動きベクトルを算出するため（Ｓ３でＮ
Ｏ）、予測参照画像分割部１２は、縮小予測参照フレー
ム２０４内に、縮小対象クラスタ２０３の探索領域を設
定する（Ｓ４）。探索領域２０５は、縮小対象クラスタ
２０３の上下左右にそれぞれ８画素を加えた領域であ
る。８画素という値は予め初期設定値レジスタ９に記憶
されている。

【００５０】予測参照画像分割部１２は、探索領域２０
５内で探索点を更新し（Ｓ５）、探索領域２０５の中に
部分領域クラスタ２０６を設定する。誤差算出部３は、
縮小対象クラスタ２０３と部分領域クラスタ２０６との
間の誤差評価値を算出する（Ｓ６）。それと同時に、誤
差評価部４は、算出した誤差評価値と、誤差記憶部５に
記憶されている、これまでに算出した探索領域２０５内
での誤差評価値の最小値とを比較し、誤差記憶部５に誤
差評価値の最小値と、誤差評価値が最小となる部分領域
クラスタ２０６の位置とを記憶する。

【００５１】探索領域２０５内のすべての探索点につい
て誤差評価値の算出が行なわれたか否かが調べられる
（Ｓ７）。未処理の探索点が存在すれば（Ｓ７でＹＥ
Ｓ）、Ｓ５以降の処理が繰返される。

【００５２】探索領域２０５内のすべての探索点につい
て誤差評価値が求められていれば（Ｓ７でＮＯ）、図６
を参照して、誤差評価部４は、縮小対象クラスタ２０３
の中心から誤差評価値が最小となる部分領域クラスタ２
０６の中心へ向かう動きベクトル２０７を求め、誤差記
憶部５に記憶する（Ｓ８）。

【００５３】検出対象となっているすべての縮小対象ク
ラスタ２０３について処理が終了しているか否かが判断
される（Ｓ９）。未処理の縮小対象クラスタ２０３が存
在すれば（Ｓ９でＹＥＳ）、縮小対象クラスタ２０３を
更新した後（Ｓ１０）、Ｓ２以降の処理が繰返される。

【００５４】すべての縮小対象クラスタ２０３に対して
処理が終了していれば（Ｓ９でＮＯ）、縮小対象クラス
タ２０３に対応するクラスタに含まれる複数のマクロブ
ロックの各々について、初期ベクトルが設定される（Ｓ
１１）。Ｓ３の処理でクラスタに動きが少ないと判断さ
れた場合には、マクロブロックの初期ベクトルとして
（０，０）が与えられる。それ以外の場合には、Ｓ８の
処理で求められた縮小対象クラスタ２０３に対する動き
ベクトル２０７をＸ方向にｍ倍、Ｙ方向にｎ倍したもの
がマクロブロックの初期ベクトルとして設定される。こ
こで、ｍおよびｎは、縮小対象クラスタ２０３を作成す
る際に用いられた間引き間隔である。

【００５５】図７を参照して、誤差算出部３は、符号化
対象フレームより切り出したマクロブロック２０２と、
予測参照フレーム２０８内でマクロブロック２０２を初
期ベクトルだけ移動させた位置に存在する部分領域マク
ロブロック２１０との間の誤差評価値ＳＡＤ_MBを算出す
る（Ｓ１２）。

【００５６】マクロブロック階層スキップ判定部８は、
誤差評価値ＳＡＤ_MBを受け、以下の式（７）が成り立つ
か否かを調べる（Ｓ１３）。

【００５７】 ＳＡＤ_MB＜ＴｈＳＡＤ_MB …（７） ここで、ＴｈＳＡＤ_MBは所定のしきい値である。

【００５８】式（７）を満たす場合には（Ｓ１３でＹＥ
Ｓ）、Ｓ１１で設定された初期ベクトルがマクロブロッ
クの動きベクトルとされ（Ｓ１４）、Ｓ２０に進む。

【００５９】式（７）を満たさない場合には（Ｓ１３で
ＮＯ）、マクロブロックに対する動きベクトルを算出す
るため、予測参照フレーム２０８内に、マクロブロック
２０２の探索領域２１１を設定する（Ｓ１５）。探索領
域の大きさは、クラスタ階層での動きベクトル探索がス
キップされたか否かによって異なる。すなわち、クラス
タ階層で動きベクトルの探索がスキップされた場合に
は、動きベクトルの探索が十分でないと考えられる。こ
のため、クラスタ階層で動きベクトルの探索が行なわれ
た場合に比べ、大きい探索領域が設定される。探索領域
決定部７は、以下のように選択器１１の出力を制御す
る。

【００６０】（１）クラスタ階層で動きベクトルの探索
がスキップされた場合 クラスタ階層で大局的な動きベクトルが求められてい
る。このため、マクロブロックの階層では通常の大きさ
の探索領域を設定して動きベクトルの探索を行なえばよ
い。したがって探索範囲決定部７は、初期設定値レジス
タ９に保持された値が選択器１１から出力されるよう
に、選択器１１を制御する。

【００６１】（２）クラスタ階層で動きベクトルの探索
がスキップされなかった場合 クラスタ階層で大局的な動きベクトルが求められていな
い。このため、通常の大きさの探索領域よりも大きな探
索領域を設定して動きベクトルの探索を行なう必要があ
る。したがって探索範囲決定部７は、拡大設定値レジス
タ１０に保持された値が選択器１１から出力されるよう
に、選択器１１を制御する。

【００６２】一例として、クラスタ階層で動きベクトル
の探索がスキップされた場合には、部分領域マクロブロ
ック２１０の上下左右にそれぞれ６画素を加えた領域が
探索領域２１１とされる。また、クラスタ階層で動きベ
クトルの探索がスキップされなかった場合には、部分領
域マクロブロック２１０の上下左右にそれぞれ４画素加
えた領域が探索領域２１１とされる。

【００６３】探索領域２１１が設定された後、探索領域
２１１内で探索点が更新され、探索領域２１１の中から
部分領域マクロブロック２１０が設定される。誤差算出
部３は、マクロブロック２０２と部分領域マクロブロッ
ク２１０との間の誤差評価値を算出する（Ｓ１７）。そ
れと同時に、誤差評価部４は、算出した誤差評価値と、
誤差記憶部５に記憶されている、これまでに算出した探
索領域２１１内での誤差評価値の最小値とを比較し、誤
差記憶部５に誤差評価値の最小値と、誤差評価値が最小
となる部分領域マクロブロック２１０の位置とを記憶す
る。

【００６４】探索領域２１１内のすべての探索点につい
て誤差評価値の算出が行なわれたか否かが調べられる
（Ｓ１８）。未処理の探索点が存在すれば（Ｓ１８でＹ
ＥＳ）、Ｓ１６以降の処理が繰返される。

【００６５】探索領域２１１内のすべての探索点につい
て誤差評価値が求められていれば（Ｓ１８でＹＥＳ）、
誤差評価部４は、誤差記憶部５に記憶されたデータに基
づき、マクロブロック２０２の中心から誤差評価値が最
小となる部分領域マクロブロック２１０の中心へ向かう
動きベクトルを求め、誤差記憶部５に記憶する（Ｓ１
９）。

【００６６】Ｓ１４またはＳ１９の処理の後、検出対象
となっているすべてのマクロブロック２０２について動
きベクトルの探索処理が終了しているか否かが判断され
る（Ｓ２０）。未処理のマクロブロック２０２が存在す
れば（Ｓ２０でＹＥＳ）、マクロブロック２０２を更新
した後（Ｓ２１）、Ｓ１１以降の処理が繰返される。

【００６７】すべてのマクロブロック２０２に対して処
理が終了していれば（Ｓ２０でＮＯ）、一連の処理を終
了する。

【００６８】以上説明したように本実施の形態によれ
ば、クラスタ階層およびマクロブロック階層で動きベク
トルを探索する際に、初期位置での誤差評価値が大きい
場合のみ動きベクトル探索処理を行なうようにした。こ
れにより、動きベクトルの精度を低下させることなく、
動きベクトル探索に必要な演算量および処理時間を軽減
することができる。また、それに伴ない、動きベクトル
探索装置の消費電力を低下させることができる。

【００６９】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００７０】

【発明の効果】動きベクトルの精度を低下させることな
く、動きベクトル探索に必要な演算量および処理時間を
軽減することができる。また、それに伴ない、動きベク
トル探索装置の消費電力を低下させることができる。

【図面の簡単な説明】

【図１】 本発明の実施の形態に係る動きベクトル探索
装置の構成を示すブロック図である。

【図２】 動きベクトル探索処理のフローチャートであ
る。

【図３】 動きベクトル探索処理のフローチャートであ
る。

【図４】 縮小対象クラスタを説明するための図であ
る。

【図５】 クラスタの誤差評価値を説明するための図で
ある。

【図６】 クラスタ階層における動きベクトル探索を説
明するための図である。

【図７】 マクロブロック階層における動きベクトル探
索を説明するための図である。

【図８】 符号化対象フレームを構成するマクロブロッ
クを説明するための図である。

【図９】 全探索法による動きベクトル探索を説明する
ための図である。

【図１０】 従来の動きベクトル探索装置の構成を示す
ブロック図である。

【図１１】 クラスタの構成を示す図である。

【図１２】 マクロブロックマクロクラスタリング法に
おける、クラスタの動きベクトルとマクロブロックの初
期ベクトルとの関係を説明するための図である。

【符号の説明】

１ 検出対象画像分割部、２，１２ 予測参照画像分割
部、３ 誤差算出部、４ 誤差評価部、５ 誤差記憶
部、６ クラスタ階層スキップ判定部、７ 探索領域決
定部、８ マクロブロック階層スキップ判定部、９ 初
期設定値レジスタ、１０ 拡大設定値レジスタ、１１
選択器、１００，２００ 符号化対象フレーム、１０
１，２０２ マクロブロック、１０２，２０８ 予測参
照フレーム、１０３，２０５，２１１ 探索領域、１０
４ 部分領域、１０５，２０７，２０９ ベクトル、２
０１ クラスタ、２０３ 縮小対象クラスタ、２０４
縮小予測参照フレーム、２０６ 部分領域クラスタ、２
１０ 部分領域マクロブロック。

フロントページの続き Ｆターム(参考） 5C059 KK19 MA00 MA05 MA23 NN03 NN09 NN24 NN28 NN30 NN34 PP04 SS07 UA02 5J064 AA03 BA01 BB03 BC04 BC25 BC29 BD02

Claims (10)

【特許請求の範囲】
1. 【請求項１】 動き補償予測を用いて第１のフレームに
   含まれるブロックに対応する位置を前記第１のフレーム
   と所定の関係にある第２のフレームより求め、前記ブロ
   ックの動きベクトルを探索する動きベクトル探索装置で
   あって、 複数のブロックから構成される前記第１のフレームにお
   いて、前記ブロックを１つ以上含むクラスタを生成する
   ためのクラスタ生成手段と、 前記クラスタ生成手段に接続され、前記クラスタと、前
   記第２のフレームにおける前記クラスタと同位置の領域
   との相関性を判断するためのクラスタ相関性判断手段
   と、 前記クラスタ相関性判断手段に接続され、前記第２のフ
   レームにおける対応領域との間に相関性がないと判断さ
   れた前記クラスタについてのみ、前記クラスタに対応す
   る位置を前記第２のフレームより探索し、前記クラスタ
   の動きベクトルを検出するためのクラスタ動きベクトル
   検出手段と、 前記クラスタ相関性判断手段および前記クラスタ動きベ
   クトル検出手段に接続され、前記クラスタ相関性判断手
   段の出力および前記クラスタの動きベクトルに基づき、
   前記第２のフレームにおける、前記クラスタに含まれる
   ブロックに対応する位置を求め、前記ブロックの動きベ
   クトルを検出するための動きベクトル検出手段とを含
   む、動きベクトル探索装置。
2. 【請求項２】 前記動きベクトル検出手段は、 前記クラスタ相関性判断手段および前記クラスタ動きベ
   クトル検出手段に接続され、前記クラスタ相関性判断手
   段の出力および前記クラスタの動きベクトルに基づい
   て、前記クラスタに含まれるブロックの動きベクトルの
   初期値を表わす初期ベクトルを設定するための初期ベク
   トル設定手段と、 前記初期ベクトル設定手段に接続され、前記ブロック
   と、前記ブロックを前記初期ベクトルに従い移動させた
   後の前記第２のフレームにおける領域との相関性を判断
   するためのブロック相関性判断手段と、 前記ブロック相関性判断手段に接続され、前記第２のフ
   レームにおける対応領域との間に相関性がないと判断さ
   れた前記ブロックについてのみ、前記ブロックに対応す
   る位置を前記第２のフレームより探索し、前記ブロック
   の動きベクトルを検出するためのブロック動きベクトル
   検出手段とを含む、請求項１に記載の動きベクトル探索
   装置。
3. 【請求項３】 前記ブロック動きベクトル検出手段は、 前記クラスタ相関性判断手段および前記ブロック相関性
   判断手段に接続され、前記第２のフレームにおける対応
   領域との間に相関性がないと判断された前記ブロックに
   ついてのみ、前記ブロックが含まれるクラスタについて
   の前記クラスタ相関性判断手段の出力に基づき、探索領
   域を前記第２のフレーム中に設定する探索領域設定手段
   と、 前記探索領域設定手段に接続され、設定された前記探索
   領域内で前記ブロックに対応する位置を探索し、前記ブ
   ロックの動きベクトルを検出するための手段とを含む、
   請求項２に記載の動きベクトル探索装置。
4. 【請求項４】 前記探索領域設定手段は、前記クラスタ
   と前記クラスタの対応領域との間に相関性がないと判断
   した場合の探索領域を、前記相関性があると判断した場
   合の探索領域よりも大きく設定する、請求項３に記載の
   動きベクトル探索装置。
5. 【請求項５】 前記クラスタ相関性判断手段は、 前記クラスタと、前記第２のフレームにおける前記クラ
   スタと同位置の領域との相関性を判断するための第１の
   相関性判断手段と、 前記クラスタを構成するブロックの各々について、前記
   ブロックと、前記第２のフレームにおける前記ブロック
   と同位置の領域との相関性を判断するための第２の相関
   性判断手段と、 前記第１および第２の相関性判断手段に接続され、前記
   第１の相関性判断手段の出力および前記第２の相関性判
   断手段の出力に基づいて、前記クラスタと、前記第２の
   フレームにおける対応領域との相関性を判断するための
   手段とを含む、請求項１〜４のいずれかに記載の動きベ
   クトル探索装置。
6. 【請求項６】 動き補償予測を用いて第１のフレームに
   含まれるブロックに対応する位置を前記第１のフレーム
   と所定の関係にある第２のフレームより求め、前記ブロ
   ックの動きベクトルを探索する動きベクトル探索方法で
   あって、 複数のブロックから構成される前記第１のフレームにお
   いて、前記ブロックを１つ以上含むクラスタを生成する
   ステップと、 前記クラスタと、前記第２のフレームにおける前記クラ
   スタと同位置の領域との相関性を判断するステップと、 前記第２のフレームにおける対応領域との間に相関性が
   ないと判断された前記クラスタについてのみ、前記クラ
   スタに対応する位置を前記第２のフレームより探索し、
   前記クラスタの動きベクトルを検出するステップと、 前記第２のフレームにおける対応領域との間に相関性が
   ないと判断された前記クラスタに含まれるブロックにつ
   いて、前記第２のフレームにおける対応する位置を求
   め、前記ブロックの動きベクトルを検出するステップと
   を含む、動きベクトル探索方法。
7. 【請求項７】 前記ブロックの動きベクトルを検出する
   前記ステップは、 前記クラスタと前記第２のフレームにおける前記クラス
   タの対応領域との相関性および前記クラスタの動きベク
   トルに基づいて、前記クラスタに含まれるブロックの動
   きベクトルの初期値を表わす初期ベクトルを設定するス
   テップと、 前記ブロックと、前記ブロックを前記初期ベクトルに従
   い移動させた後の前記第２のフレームにおける領域との
   相関性を判断するステップと、 前記第２のフレームにおける対応領域との間に相関性が
   ないと判断された前記ブロックについてのみ、前記ブロ
   ックに対応する位置を前記第２のフレームより探索し、
   前記ブロックの動きベクトルを抽出するステップとを含
   む、請求項６に記載の動きベクトル探索方法。
8. 【請求項８】 前記ブロックの動きベクトルを抽出する
   前記ステップは、 前記第２のフレームにおける対応領域との間に相関性が
   ないと判断された前記ブロックについてのみ、前記ブロ
   ックが含まれるクラスタについての、当該クラスタと前
   記第２のフレームにおける対応領域との間の相関性に基
   づき、探索領域を前記第２のフレーム中に設定するステ
   ップと、 設定された探索領域内で前記ブロックに対応する位置を
   探索し、前記ブロックの動きベクトルを検出するステッ
   プとを含む、請求項７に記載の動きベクトル探索方法。
9. 【請求項９】 探索領域を前記第２のフレーム中に設定
   する前記ステップは、 前記クラスタと前記クラスタの対応領域との間に相関性
   がないと判断した場合の探索領域を、前記相関性がある
   と判断した場合の探索領域よりも大きく設定する、請求
   項８に記載の動きベクトル探索方法。
10. 【請求項１０】 前記クラスタと同位置の領域との相関
    性を判断する前記ステップは、 前記クラスタと、前記第２のフレームにおける前記クラ
    スタと同位置の領域との相関性を判断するステップと、 前記クラスタを構成するブロックの各々について、前記
    ブロックと、前記第２のフレームにおける前記ブロック
    と同位置の領域との相関性を判断するステップと、 前記クラスタに対する相関性および前記クラスタを構成
    する前記ブロックに対する相関性に基づいて、前記クラ
    スタと、前記第２のフレームにおける対応領域との相関
    性を判断するステップとを含む、請求項６〜９のいずれ
    かに記載の動きベクトル探索方法。