JP2011010304A - 動きベクトル推定器 - Google Patents

Abstract

【課題】改善された精度を有し、しかも最大解像度探索の高帯域要件を伴わないビデオ符号化器における動きベクトル推定用の改善された技法を提供する。
【解決手段】ダウンサンプリング元画像ブロックとダウンサンプリング基準フレーム部分とを受信するよう構成したデータ処理装置が提供される。データ処理装置は、ダウンサンプリング基準フレーム部分の画素間に内挿補間して内挿補間ダウンサンプリング基準フレームブロック集合を生成するよう構成した内挿補間回路網を備える。コスト関数算出回路網が、ダウンサンプリング元画像ブロックと各内挿補間ダウンサンプリング基準フレームブロックとの間の差分を示すコスト関数値を算出する。最小化回路網が最低のコスト関数値を特定し、推定動きベクトル生成回路網がそれらに依存せずに推定動きベクトルを生成する。
【選択図】図１

Description

本発明は、ビデオ符号化、特に動きベクトルを生成するためのビデオ符号化における動き探索に関する。

動き探索は最新のビデオ符号化の重要部分であり、高帯域のメモリー集約作業となることが知られている。一般に、ブロックに基づく動き推定が実行され、続いて現在のフレームが画素ブロックに細分される。これらの各ブロック（本明細書では元画像ブロックと呼ぶ）はそこで基準フレーム（例えば、先行フレームであることがある）と比較され、その中で最良の一致ブロックを検出する。最良の一致ブロックの位置から現在の元画像ブロックまでのずれが動きベクトルを規定しており、これがビデオ符号化器により使用され、ブロック間の残る差分を表わすさらなる情報と併せて動きベクトルを用い、その最良の一致ブロックを参照して元画像ブロックを符号化する。

動き探索の数値計算要求、特にメモリーアクセス帯域要件が故に、２以上のステップにおいて動き探索を行い、先ずおおよその動きベクトルを特定する粗探索を実行し、これに粗探索の結果を精緻なものとするより詳しい探索を続けることが知られている。これに関連し、粗探索が基準フレーム内で離散的位置を探索するか、あるいは基準フレームのダウンサンプリング版を探索することが知られている。ダウンサンプリングは、より高解像度の画像からより低解像度の画像を生成する方法である。ダウンサンプリング画像を用いて動きベクトル探索を行うことは、メモリーアクセス帯域を低減する利点を有するものの、動き探索における精度低下のコストが伴う。

さらに、複数解像度の動き探索において、動き探索を３以上のステップにて実行することが知られている。例えば、Ｋｗｏｎ Ｍｏｏｎ Ｎａｍ ｅｔ ａｌによる「Ａ Ｆａｓｔ Ｈｉｅｒａｒｃｈｉｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｅｓｔｉｍａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｕｓｉｎｇ Ｍｅａｎ Ｐｙｒａｍｉｄ」、ＩＥＥＥ会報、Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、第５巻ｐｐ３４４−３５１、１９９３年４月には、多段階の動き探索が説明されており、そこでは動き探索は累進的解像度からなる幾つかの段階に分解される。

Ｋｗｏｎ Ｍｏｏｎ Ｎａｍ ｅｔ ａｌによる「Ａ Ｆａｓｔ Ｈｉｅｒａｒｃｈｉｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｅｓｔｉｍａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｕｓｉｎｇ Ｍｅａｎ Ｐｙｒａｍｉｄ」、ＩＥＥＥ会報、Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、第５巻ｐｐ３４４−３５１、１９９３年４月

従って、ダウンサンプリングは最大解像度探索の高帯域要件を排除することができるが、より低い解像度のダウンサンプリング探索画像から生ずる動きベクトル推定精度の劣化を蒙る。より厳密には、最大解像度画像が高周波の細部を含むときに、画像のこの種の高周波数成分の喪失が最大解像度画像から算出され得たものとは著しく異なるダウンサンプリング画像からの動きベクトル算出に帰着することがある。

従って、改善された精度を有し、しかも最大解像度探索の高帯域要件を伴わないビデオ符号化器における動きベクトル推定用の改善された技法を提供することが望ましい。

第１の態様から見て、本発明は、元画像フレームから生成されたダウンサンプリング元画像ブロックを受信するとともに基準フレームから生成されたダウンサンプリング基準フレーム部分を受信するよう構成され、前記基準フレームと前記元画像フレームとを一連のビデオフレームから採取するデータ処理装置であって、
ダウンサンプリング基準フレーム部分の画素間に内挿補間して内挿補間ダウンサンプリング基準フレームブロック集合を生成するよう構成した内挿補間回路網と、
前記ダウンサンプリング元画像ブロックと前記各内挿補間ダウンサンプリング基準フレームブロック集合との間の差分を示すコスト関数値を算出するよう構成したコスト関数算出回路網と、
前記コスト関数値の最小値に対応する内挿補間ダウンサンプリング基準フレームブロックを選択するよう構成した最小化回路網と、
前記最小化回路網により選択された前記内挿補間ダウンサンプリング基準フレームブロックに依存して推定動きベクトルを生成するよう構成した推定動きベクトル生成回路網と
を備えるデータ処理装置を提供する。

本発明の技法によれば、データ処理装置はダウンサンプリング元画像ブロックとダウンサンプリング基準フレーム部分とを受信して、二者間の比較に基づき推定動きベクトルを生成する。本発明の発明者らは、生成された推定動きベクトルの精度における改善が、メモリーからのより高解像度の画像取り込みに訴えることなく、またダウンサンプリング基準フレーム部分を用いて内挿補間ダウンサンプリング基準フレームブロック集合を生成する内挿補間回路網の配設により必然的に伴うメモリー帯域の増大を伴うことなく達成され得ると理解している。

コスト関数算出回路網が設けられ、これがダウンサンプリング元画像ブロックと各内挿補間ダウンサンプリング基準フレームブロックとの間の差分を示すコスト関数値を算出する。これにより、データ処理装置はダウンサンプリング基準フレーム内の整数画素位置におけるだけでなく、これらの整数画素位置間の内挿補間位置においてもコスト関数を算出することができる。その結果、最小化回路網、これはダウンサンプリング基準フレーム部分内でダウンサンプリング元画像部分の位置を検出するよう配置されてコスト関数値を最小化するが、ダウンサンプリング基準フレーム内の整数画素位置だけ参照して可能となるより高い解像度におけるコスト関数の最小値を検出することができる。推定動きベクトル生成回路網によりそこで生成された推定動きベクトルは、このように、算定動きベクトル生成回路網に最大解像度での動き探索用により高精度の開始点を提供することができる。基準フレームがダウンサンプリングにより汚されがちな高周波数成分を含むときに、精度は特に改善される。

さらに、本発明の技法により、メモリーアクセス帯域要件を増大させることなく、推定動きベクトルの精度における改善が可能になる。なぜならダウンサンプリングされた元画像および基準フレームブロックのみをメモリーから検索して局所的に記憶するからである。

ダウンサンプリング元画像およびダウンサンプリング基準画像は先に生成してメモリーに記憶させておくこともできるが、一実施形態では、データ処理装置はさらに前記ダウンサンプリング元画像ブロックと前記ダウンサンプリング基準フレーム部分とを生成するよう構成したダウンサンプリング回路網を備える。ダウンサンプリング回路網を設けることで、必要に応じてダウンサンプリング画像をメモリーへの記憶用に生成することができる。

一実施形態では、データ処理装置はさらに、入力として前記推定動きベクトルを受信して前記元画像と前記基準画像とから算定動きベクトルを生成するよう構成した動きベクトル生成回路網を備え、前記算定動きベクトルは所定範囲内の前記推定動きベクトルに拘束されるようにしてある。算定動きベクトル発生器に対する推定動きベクトルの供給により、算定動きベクトル発生器はそれが最大解像度の探索を行う領域を制限し、これによりメモリー帯域および数値計算リソースが節約できるようになる。

内挿補間ダウンサンプリング基準フレームブロック集合を選択し、コスト関数の最小値がより素早く検出できるようにすることは好都合であり、一実施形態では前記内挿補間ダウンサンプリング基準フレームブロック集合を前記ダウンサンプリング基準フレーム部分における所定の点集合を参照して割り出す。点集合は幾つかの方法で特定できるが、一実施形態では前記所定の点集合はブロック幅の半分に分離される。

別の実施形態では、前記内挿補間ダウンサンプリング基準フレームブロック集合が動き無しベクトルを参照して割り出される。ビデオ符号化の実行時に、元画像フレームからの元画像ブロックに関する動きベクトルが、そのブロックが基準フレーム内の同一ブロックについて（殆ど又は）全く動かない時に動き無しベクトルに近い動きベクトルを有すると分かるようになることは、普通である。

さらに別の実施形態では、前記内挿補間ダウンサンプリング基準フレームブロック集合は少なくとも一つの隣接元画像ブロックの少なくとも一つの所定の動きベクトルを参照して割り出される。ビデオ符号化の実行時に、所与のブロックに関する動きベクトルが例えばブロック寸法を上回る被写体の動きが故に隣接ブロックの動きベクトルと密接に相関を有することになることは、普通である。一実施形態では、この少なくとも一つの所定の動きベクトルは、前記ダウンサンプリング元画像ブロックについての予測動きベクトルである。予測動きベクトルは、一般に、隣接ブロックの動きベクトルに基づきビデオ符号化方法の一部として各元画像ブロックごとに生成される。

データ処理装置は一回のステップで動作し、単一の内挿補間ダウンサンプリング基準フレームブロック集合に関するコスト関数値を算出し得るが、一実施形態では前記コスト関数算出回路網および前記最小化回路網は前記内挿補間ダウンサンプリング基準フレームブロック集合を反復的に選択し、前記コスト関数値の局所的最小値を検出するよう構成されている。この構成により、コスト関数の最小値に的を絞り、内挿補間ダウンサンプリング基準フレームブロック集合を反復的に選択し、局所的な最小値に通ずるコスト関数の字面に追従することができる。

動き探索が効率的に実行できるようにすべく、ダウンサンプリング基準フレーム部分は当然ながらダウンサンプリング元画像ブロックを上回るが、動き探索をする領域を過大に提示すべきではない。なぜならこれが数値計算リソースの点とメモリーアクセス帯域の点との両方で負担となり得るからである。従って、一実施形態では、前記ダウンサンプリング基準フレーム部分は前記ダウンサンプリング元画像ブロックよりもほぼ１桁大きさが上回る。

ダウンサンプリング元画像ブロックは幾つかの方法で元画像フレームから生成し得るものであり、一実施形態では前記ダウンサンプリング元画像ブロックが前記元画像からの画素の部分集合を含むと理解されたい。同様に、一実施形態では前記ダウンサンプリング基準フレーム部分が前記基準画像からの画素の部分集合を含んでいる。これら部分集合は、例えば一つ置きの画素や４画素ごと、あるいはそれらと同等とし得る。

他の実施形態では、前記ダウンサンプリング元画像ブロックは１ブロックの前記元画像のフィルタ処理版を含んでおり、それは例えば前記ダウンサンプリング元画像ブロックの各画素を前記元画像の画素集合を平均することで生成する点で規定し得る。２行２列または４行４列の画素集合について平均画素値または中央画素値を採用することが、この種の例である。

同様に他の実施形態では、前記ダウンサンプリング基準フレーム部分は１ブロックの前記基準画像のフィルタ処理版を含み、それは例えば前記ダウンサンプリング基準フレーム部分の各画素を前記基準画像の画素集合を平均することで生成する点で規定し得る。同様に、２行２列または４行４列の画素集合について平均画素値または中央画素値を採用することが、この種の例である。

内挿補間回路網により行われる内挿補間は一定範囲のレシオにて行い得るが、一実施形態では前記内挿補間回路網は１／４画素内挿補間を行うよう構成される。

一般に、推定動きベクトルはフレーム内で任意の長さを取り得るが、動きベクトルが任意の長さを取る自由度とより広範囲の領域において探索することが要求される数値計算リソースとの間の釣り合いを取ることが有利であり、一実施形態では前記推定動きベクトルは最大で６４画素の長さを有するよう拘束される。

コスト関数値を算出し得る様々な方法が存在するが、有利で単純な実施形態では、前記コスト関数値は前記ダウンサンプリング元画像ブロックの画素と前記各内挿補間ダウンサンプリング基準フレームブロック集合の画素との間の差分絶対値和から算出される。

この差分絶対値和は大きな動きベクトルの符号化コストの主因とはならないが、一実施形態では前記コスト関数値はさらに動きベクトル代償値を含む。

他の実施形態では、コスト関数値は絶対値変換差分和（ＳＡＴＤ）アルゴリズム、二乗誤差和（ＳＳＥ）アルゴリズム、二乗誤差平均（ＭＳＥ）アルゴリズム、誤差絶対値平均（ＭＡＥ）アルゴリズム、および差分絶対値平均（ＭＡＤ）アルゴリズムのうち一つに基づき算出される。

第２の態様から見て、本発明は推定動きベクトルの生成方法であって、
元画像フレームから生成されたダウンサンプリング元画像ブロックを受信するとともに、基準フレームから生成されたダウンサンプリング基準フレーム部分を受信するステップであって、前記基準フレームと前記元画像フレームとを一連のビデオフレームから採取するステップと、
前記ダウンサンプリング基準フレーム部分の画素間に内挿補間し、内挿補間ダウンサンプリング基準フレームブロック集合を生成するステップと、
前記ダウンサンプリング元画像ブロックと前記各内挿補間ダウンサンプリング基準フレームブロック集合との間の差分を示すコスト関数値を算出するステップと、
前記コスト関数値の最小値に対応する内挿補間ダウンサンプリング基準フレームブロックを選択するステップと、
前記最小化回路網により選択された前記内挿補間ダウンサンプリング基準フレームブロックに依存して推定動きベクトルを生成するステップと
を含む方法を提供する。

第３の態様から見て、本発明は、元画像フレームから生成されたダウンサンプリング元画像ブロックを受信するとともに基準フレームから生成されたダウンサンプリング基準フレーム部分を受信するよう構成したデータ処理装置において、前記基準フレームと前記元画像フレームとを一連のビデオフレームから採取するデータ処理装置であって、
前記ダウンサンプリング基準フレーム部分の画素間に内挿補間して内挿補間ダウンサンプリング基準フレームブロック集合を生成する内挿補間手段と、
前記ダウンサンプリング元画像ブロックと前記各内挿補間ダウンサンプリング基準フレームブロック集合との間の差分を示すコスト関数値を算出するコスト関数算出手段と、
前記コスト関数値の最小値に対応する内挿補間ダウンサンプリング基準フレームブロックを選択する最小化手段と、
前記最小化手段により選択された前記内挿補間ダウンサンプリング基準フレームブロックに依存して推定動きベクトルを生成する推定動きベクトル生成手段と
を備えるデータ処理装置を提供する。

本発明の上記ならびに他の目的、特徴および利点は、添付図面に関連して読み取られるべき例示実施形態の下記の詳細な説明から明らかとなろう。

動きベクトルを生成するシステムを概略的に示す。 １６行１６列のブロックのダウンサンプリングを概略的に示す。 ダウンサンプリング元画像ブロックとダウンサンプリング基準フレーム部分とを概略的に示す。 ダウンサンプリング基準フレーム部分内の所定の点集合を概略的に示す。 １／４画素内挿補間を概略的に示す。 一実施形態によるデータ処理装置を概略的に示す。 コスト関数最小値の反復探索を概略的に示す。 一実施形態において実行される一連のステップを概略的に示す。 一実施形態において実行される一連のステップを概略的に示す。 一実施形態において実行される一連のステップを概略的に示す。 一実施形態において実行される一連のステップを概略的に示す。 所与の元画像ブロックについての隣接ブロックを概略的に表わす。 動きベクトル推定における例示改善を概略的に示す。

図１は、ビデオ符号化過程の一部として動きベクトルを生成するシステムを概略的に示している。外部メモリー１００が、符号化対象である一連のビデオフレームから採取されるビデオデータのフレームを記憶する。外部メモリー１００内には、元画像から画素の部分集合（例えば、４画素ごと）を採取し、あるいは元画像をフィルタ処理（例えば、４行４列の画素集合を平均）する等の周知の技法により生成されるこれらのフレームのダウンサンプリング版もまた記憶される。外部メモリー１００内に記憶させた最大解像度のフレームは、これらのフレーム内のブロックごとに動きベクトルを割り出す動きベクトル生成ユニット１１０へ送られる。しかしながら、最大解像度のフレームを用いたこの動きベクトルの生成過程は、数値計算的に極めて経費を要する。この理由から、動きベクトル生成ユニット１１０に推定動きベクトルを供給する動きベクトル推定ユニット１２０が設けてあり、これが動きベクトル生成ユニット１１０により行われる動きベクトル探索を制限された空間領域内で行うよう拘束する。動きベクトル推定ユニット１２０は外部メモリー１００からダウンサンプリング済みフレームを受信し、動きベクトル生成ユニット１１０へ送られる推定動きベクトルを生成すべく動きベクトル推定を行う。

ダウンサンプリング済みフレームを用いて動きベクトル推定を行うことの欠点は、元の最大解像度のフレームの高周波数成分がこの動きベクトル推定過程で失われることがある点にあり、従って動きベクトル生成ユニット１１０へ送られる推定動きベクトルは最大解像度探索に対し低品位の開始場所を提示する。しかしながら、動きベクトル推定ユニット１２０は（以下、本明細書にさらに説明するように）ダウンサンプリング済みフレームの画素間に内挿補間し、これらの内挿補間フレームを用いて動きベクトル推定を行うよう構成されている。これにより、動きベクトル推定ユニットは、外部メモリー１００からのダウンサンプリングフレームを検索するだけの低帯域利点が維持できるようになり、一方でダウンサンプリング済みフレーム内だけでアクセス可能な解像度を改善し、これにより最大解像度のフレームを用いた動きベクトル生成を実行するより高精度の開始位置を提示する推定動きベクトルを動きベクトル生成ユニット１１０へ供給する。

図２は、ダウンサンプリング過程を概略的に示している。各最大解像度のフレームは、グリッド２００により示したように１６行１６列の最大解像度画素を含むマクロブロック（単純にブロックとしても知られる）へ細分される。一旦ダウンサンプリングすると、この種のブロックはグリッド２１０により示したように４行４列のダウンサンプリング画素集合となる。ダウンサンプリング過程は、幾つかの方法で、例えば最大解像度のフレーム内で、すなわち１６行１６列の最大解像度グリッド２００から取り出されて４行４列のグリッド２１０を提供する（水平方向および垂直方向の両方で）４画素ごとに画素の部分集合を採取することにより実行し得る。しかしながら、例示実施形態では、ダウンサンプリング済みブロックは、１６行１６列の最大解像度グリッド２００をフィルタ処理し、各４行４列の画素集合を平均し、４行４列のブロック２１０の各ダウンサンプリング画素を生成することにより生成される。

動きベクトル推定の過程を図３を参照してさらに説明するが、ここには４行４列のダウンサンプリング元画像ブロック３００と４０行４０列のダウンサンプリング基準フレーム部分３１０とが図示してある。ビデオ符号化を実行すべく、符号化対象である現在のフレームの各ブロックは片や元画像ブロックとして処理され、これを次いで基準フレームと比較し、元画像ブロックが基準フレームに最も良く一致する位置を検出する。基準フレーム全体を探索することは原理的には可能であるが、これは数値計算的にかなり集約的であり、特にメモリーからより多量のデータを検索して局所的に記憶させることが要求され、本実施形態では、基準フレームの一部のみ、すなわちその４０行４０列の（ダウンサンプリング済み）部分を検査する。４０行４０列のダウンサンプリング画素の基準フレーム部分を用いる。なぜなら、これによって２行２列構成における４個の元画像ブロックを同時に処理するより効率的な探索手順が実行できるようになるからである。元画像ブロックに隣接することは、明らかに大幅に重複する基準フレームを必要とすることになり、２行２列の元画像ブロック構成では、４０行４０列の基準フレームは各元画像ブロックごとに±６４個の最大解像度画素の探索窓を提供する。これにより、図１の動きベクトル推定ユニット１２０は外部メモリー１００からの各ダウンサンプリング元画像ブロック３００と外部メモリー１００からのダウンサンプリング基準フレーム部分３１０とを検索し、探索を行いつつそれぞれをローカルバッファに記憶させる。

元画像ブロック３００は原則として先ず基準部分３１０内の予想される全ての位置と比較されるが、数値計算的な集約がより少ない手法が採用され、これは依然として満足できる結果を生み出し、そこでは元画像ブロック３００を先ず図４に概略的に示したように基準フレーム部分３１０内の所定の点集合と比較する。この点集合４００は、本実施形態ではブロック幅の半分、すなわちダウンサンプリング画素２個分で仕切って分離される。次いで、これが、基準フレーム部分３１０を参照して元画像ブロック３００を比較する対象となる１６行１６列の点集合をもたらす。次いで、これらの点から、元画像ブロックが最も良く一致する点（一例が図４に４１０と標識されている）が以下にさらに説明されるコスト関数最小化技法に従って選択される。

図５は、ダウンサンプリング元画像ブロックと比較する内挿補間ダウンサンプリング基準フレームブロックを生成すべく、ダウンサンプリング基準フレーム部分のダウンサンプリング画素間での内挿補間を概略的に示している。（図解の明確さに配慮し、本図には２行２列の内挿補間ブロックのみを図示している点に留意されたい。）この内挿補間を行うことは、ダウンサンプリング元画像ブロックがダウンサンプリング基準フレーム部分５００（ここではその一部のみを図示）内の整数位置だけでなく、これらの整数位置の中間位置でも比較できることを意味する。例えば、内挿補間ダウンサンプリング基準フレームブロック５１０は、ダウンサンプリング基準フレーム部分の整数ダウンサンプリング画素位置から１／４ダウンサンプリング画素分だけ右下へオフセットしている。別の例として、内挿補間ダウンサンプリング基準フレームブロック５２０は、ダウンサンプリング基準フレーム部分の整数位置から１／２ダウンサンプリング画素分だけ右方へオフセットしている。これらのオフセット位置は、整数位置の画素との重複領域に従って画素に重み付けすることで生成することができる。例えば、内挿補間ダウンサンプリング基準フレームブロック５２０の４個の画素はそれぞれ、それが及ぶ２個の整数位置画素のそれぞれからその値の５０％を派生させている。他方で、内挿補間ダウンサンプリング基準フレームブロック５１０の各画素は、それが主に重複する画素からの９／１６の重み付けと、直接水平方向および垂直方向の隣接画素からの３／１６の重み付けと、その隅部で重複する画素からの１／１６の重み付けとを含んでいる。

図６は、ビデオ符号化システム内で動きベクトル推定を生成する一実施形態によるデータ処理装置を概略的に示している。外部メモリー６００は、システムの残りの部分によるアクセス向けに画像（ビデオフレーム）を記憶する。これらの画像は、元画像６０５および基準画像６１５の場合と同様に共に最大解像度にて記憶され、さらにまたＤＳ元画像６１０およびＤＳ基準画像６２０の場合と同様に、ダウンサンプリング（ＤＳ）形式でも記憶される。ＤＳ元画像６１０およびＤＳ基準画像６２０は、ダウンサンプリング器６２５によりそれぞれ元画像６０５および基準画像６１５から生成される。

システムが動きベクトル推定を行うよう、制御ユニットはそこから採取されたダウンサンプリング元画像ブロックによって元画像バッファ６３５を充たすべく、ダウンサンプリング元画像６１０へアクセスする。同様に、制御ユニット６３０がダウンサンプリング基準画像６２０へアクセスし、そこから採取されたダウンサンプリング基準フレーム部分によって基準バッファ６４０を充たす。元画像バッファ６３５のコンテンツは、コスト関数算出ユニット６５０と最小化ユニット６５５と制御ユニット６６０とを備える探索ユニット６４５へ送られる。基準バッファ６４０のコンテンツの一部もまた、内挿補間器６７０を介してコスト関数算出器６５０へ送られる。従って、探索ユニット６４５は元画像バッファ６３５のコンテンツが最も良く一致する位置について基準バッファ６４０が供給する探索窓内で探索する。図３を参照して説明したように、一実施形態では、並行探索を行うべく、２行２列構成の元画像ブロックが共にメモリーから探索されるが、明確さに配慮し、図６に示す実施形態では一度に１個の元画像ブロックだけを検索する。図４Ａを参照して説明したように、この探索は先ずその探索窓内の所定の点集合を参照して行われる。この状況にあっては、内挿補間器６７０は単に４行４列の画像集合をコスト関数算出器６５０へ送り、これをそこでコスト算出器６５０が元画像バッファ６３５内に収納されている４行４列のダウンサンプリング画素と比較する。この比較はコスト関数を算出することで行われ、それは本実施形態では４行４列の画素集合それぞれの間の差分絶対値和を算出することで行われる。加えて、コスト関数算出器が算出するコスト関数はさらに、基準バッファ内で調査中の現在の位置を記述する動きベクトルの（符号化空間についての）符号化コストを表わす動きベクトル代償値を含んでいる。例えば、（基準フレームにおける元画像ブロックと標的ブロックとの間のより大きな動きを表わす）長い動きベクトルは、より短い動きベクトルよりも大きな符号化空間を必要とすることがある。いずれにせよ、本実施形態では、推定動きベクトルは最大で６４画素の長さを有するよう拘束される。

基準バッファ探索窓内の所定の位置集合のそれぞれについてコスト関数がこのように算出されると、最小化ユニット６５５がそこでコスト関数値の最低値を表わす位置を選択する。この情報は次いで制御ユニット６６０へ送られ、これが内挿補間器６７０を制御し、それぞれが片や元画像バッファ６３５のコンテンツとの比較用にコスト関数算出器６５０へ後に送られる内挿補間ダウンサンプリング基準フレームブロック集合を生成すべく、基準バッファ６４０に記憶させたダウンサンプリング基準フレームのダウンサンプリング画素間に内挿補間する。内挿補間器６７０が生成する内挿補間ダウンサンプリング基準フレームブロック集合は、最小化ユニット６５５が最低コスト関数値を有するよう先に検出された探索窓内の点の直近にある集合である。これにより、最小化ユニットが点集合の中から最低のコスト関数値を検出する反復過程を行うことができ、内挿補間器６７０はそこでその点の直近に内挿補間ダウンサンプリング基準フレームブロックを生成し、コスト関数算出器６５０がこれらブロックのそれぞれに関連するコスト関数値を算出し、最小化ユニット６５５が最低コスト関数値の一つを選択する。

この反復過程は、図７に概略的に図解されている。この図において、正方形がそれぞれ内挿補間ブロックの中心位置を表わす。ステップ７００において、元の中心位置（斜線付き）はその位置に直接隣接する内挿補間ダウンサンプリング基準フレームブロック（斜線無しのブロック）集合と併せて開始点を表わす。これらは、１／４ダウンサンプリング画素内挿補間を実行する内挿補間器により生成され、これによりこれら正方形は元の位置に対し「左上」、「上方」、「右上」、「左方」、「右方」、「左下」、「下方」、「右下」を表わす。これらの内挿補間位置の中から、最小化ユニットは下側右方（右下）位置を最低コスト関数値を有するとしてそこで選択している。次に、ステップ７１０において、内挿補間ユニットは新規の最低コスト関数値位置（そのうちの一つ（左上部）がステップ７００の中心の元の位置に対応する）の直近にさらなる内挿補間ダウンサンプリング基準フレームブロック集合を生成し、最小化回路が最低コスト関数値に帰着するブロックを選択する。最後に、ステップ７２０において、内挿補間ユニットは最低コスト関数値を有する先の段において、選択された位置直近に内挿補間ダウンサンプリング基準フレームブロック集合を再度生成するが、ここでは最低コスト関数値を有する位置は中心点に止まる。かくして、コスト関数の局所的最小値が検出され、反復過程は停止する。生成された推定動きベクトルは、この位置に対し生成される。

所定の点集合についてのコスト関数の算出（図４参照）に加え、探索ユニット６４５もまた並行して動き無しベクトル（すなわち、元画像ブロックと基準フレームとの間の位置における変化無しを表わす）についてコスト関数を算出し、さらにまた現在の元画像ブロックについて予測された動きベクトル（各元画像ブロックはその近隣から派生する関連する予測動きベクトルを有する）についてコスト関数値を算出する。これらの開始点のそれぞれから、同じ反復的最小化過程（「派生」としても知られる）もまた実行され、これら３通りの方法のそれぞれからの最低コスト関数値全体がそこで最終的な推定動きベクトルの生成用に選択される。

これら３本の連鎖に従う最小コスト関数値の算出過程を、図８Ａから８Ｄのフロー線図を参照してここで説明する。図８Ａにおいて、フローはステップ８００において始まり、そこでダウンサンプリング（ＤＳ）された元画像と基準画像とを外部メモリーから検索し、局所的にバッファ処理する。ステップ８０５において、ダウンサンプリング元画像についてダウンサンプリング基準画像上の所定の点集合（基準フレームバッファ内で選択されたもの）におけるコスト関数が算出され、ステップ８１０において最低コスト関数を有する点が特定される。次にステップ８１５においてダウンサンプリング基準画像の局所的画素に対する内挿補間が行われ、生成された各内挿補間ダウンサンプリング基準フレームブロックごとにコスト関数値が算出される。それによって先に検出されたものに対しより低いコスト関数値が検出された場合、次いでフローはステップ８２０からステップ８２５へ移行し、そこでこの過程の焦点は検出された新規最低コスト関数値に集中するようシフトされ、フローはステップ８１５へ戻り、そこでその局所的領域において内挿補間が行われ、対応するコスト関数値の算出が続く。ステップ８２０においてより小さなコスト関数値が検出されていない場合、次にフローはステップ８２５へ進み、そこで検出された最低のコスト関数値が出力として供給される。

同様に、図８Ｂ中、フローはステップ８３０において開始され、そこでダウンサンプリングされた元画像と基準画像とを外部メモリーから検索してバッファ処理する。これに関連し、必要な基準画像の一部だけが元画像ブロックの動き無しベクトルに対応する。ステップ８３５においてこの動き無しベクトルについてのコスト関数が算出され、ステップ８４０において動き無しベクトルの局所的領域における内挿補間が行われ、このようにして生成された内挿補間ダウンサンプリング基準フレームブロックに対応するコスト関数値の算出が続く。ステップ８４５において、動き無しベクトル自体が算出された時点でより低いコスト関数値が検出されていなかったかどうか検査され、その時点で検出されている場合は、同じ反復ループが開始され、検出された最低コスト関数値に集中するようステップ８５０を介して焦点をシフトし、ステップ８４０における内挿補間とコスト関数値算出とが続く。ステップ８４５においてより低いコスト関数値が全く検出されないときは、ステップ８５０においてフローを締めくくり、そこで最低のコスト関数値が出力として供給される。

最後に、図８Ｃでは、フローはバッファ処理されるダウンサンプリングされた元画像と基準画像とによりステップ８５５において同様に開始される。しかしながら、ここでステップ８６０においてコスト関数値が現在考察中の元画像ブロックの予測動きベクトルについて算出される。この予測動きベクトルは図９に示すように隣接元画像ブロックから派生し、すなわち斜線付きの元画像ブロックに関する予測動きベクトルが×を用いて記された元画像ブロックに関する算出動きベクトルから生成される。次に、これに（図８Ａ，８Ｂを参照して前述したステップ８６５，８７０，８７５からなる）同じ反復ループが続く。最後に、検出されたコスト関数値最小値がステップ８８０において出力として供給される。

反復的「派生」に関するこれら３個の開始点の算定結果は、次いで図８Ｄの最初のステップ９００において比較される。最低のコスト関数値が選択され、ステップ９１０において最低コスト関数値が検出される位置に対応して推定動きベクトルが生成される。ステップ９２０におけるこの推定動きベクトルは、次に最大解像度探索を行うべく、最大解像度探索ユニット（図１の動きベクトル生成ユニット１１０）へ送られる。ステップ９３０において、この最大解像度の動きベクトル探索がそこで推定動きベクトルの標的である８画素内で実行される。ステップ９４０において、最終的な動きベクトルが生成される。

図１０は、本発明の利点を概略示している。概ね９５０と標識するのは、それぞれ算出された動きベクトルによって注釈を付した８行８列のブロック集合である。周辺ブロックが（ドットにより表わされた）動き無しベクトルを有するのに対し、ブロック集合の中心領域にはそれぞれ右を向く動きベクトルを有するブロックの部分集合が存在することを見て取ることができる。これは、例えば静止した背景に対し右方へ移動する視界内の被写体に対応し得る。しかしながら、１ブロックについての動きベクトルは通常長く、他の動きベクトルに対し異なる角度にあることも見て取ることができる。これは、使用するダウンサンプリング画像がより低解像度であるために推定動きベクトルを誤算する推定動きベクトル算出過程から帰着するものである。これについての理由は、このブロックについて算出され９６０，９７０，９８０に示したコスト関数値グラフから明らかとなろう。

９６０に示すコスト関数グラフは、このブロックについて最大解像度で算出されたコスト関数である。ここで、このコスト関数の最低値が分布の左部の急峻な谷の先端、すなわち少数の画素において、９５０のブロックの大半が有するような短い動きベクトルに対応して発生することを見て取ることができる。

しかしながら、ダウンサンプリングされた解像度の元画像ブロックと基準フレームとから生成される９７０におけるコスト関数グラフでは、グラフの左側でダウンサンプリングが高周波特徴を喪失していることを見て取ることができ、ここでは最小値は別の箇所、すなわちより長さの長い動きベクトル（９５０に図示）において特定されている。

ダウンサンプリング基準フレーム部分を内挿補間する利点は９８０に見て取ることができ、そこでは９６０における分布についての最小値とほぼ同じ場所に短い動きベクトルに対応して最小値が再度検出されている。これにより、９８０における最小値が最大解像度での制限された範囲の探索用により有望な開始点を提示する。

従って、本発明の技法によれば、ダウンサンプリングされた元画像ブロックと基準フレーム部分とに対し動きベクトル推定を行う帯域利点が得られ、しかもダウンサンプリング基準フレーム部分の画素間に内挿補間することでコスト関数値の最小値がより正確に特定され、これにより制限付き範囲の最大解像度探索に向けより良好な開始点を提供することができる。

添付図面を参照して本発明の例示実施形態を本明細書に詳細に説明したが、本発明はこれらの厳密な実施形態に限定はされず、また添付の特許請求の範囲により定義された本発明の範囲および趣旨から逸脱することなく、そこに当業者により各種の変形ならびに改変を施すことができることを理解されたい。

１００ 外部メモリー
１１０ 動きベクトル生成ユニット
１２０ 動きベクトル推定ユニット
６００ 外部メモリー
６０５ 元画像
６１０ ダウンサンプリング元画像
６１５ 基準画像
６２０ ダウンサンプリング基準画像
６２５ ダウンサンプリング器
６３０ 制御ユニット
６３５ 元画像バッファ
６４０ 基準バッファ
６４５ 探索ユニット
６５０ コスト関数算出ユニット（コスト関数算出器）
６５５ 最小化ユニット
６６０ 制御ユニット
６７０ 内挿補間器

Claims (23)

1. 元画像フレームから生成されたダウンサンプリング元画像ブロックを受信するとともに基準フレームから生成されたダウンサンプリング基準フレーム部分を受信するよう構成したデータ処理装置において、前記基準フレームと前記元画像フレームとを一連のビデオフレームから採取する前記データ処理装置であって、
   ダウンサンプリング基準フレーム部分の画素間に内挿補間して内挿補間ダウンサンプリング基準フレームブロック集合を生成するよう構成した内挿補間回路網と、
   前記ダウンサンプリング元画像ブロックと前記各内挿補間ダウンサンプリング基準フレームブロック集合との間の差分を示すコスト関数値を算出するよう構成したコスト関数算出回路網と、
   前記コスト関数値の最小値に対応する内挿補間ダウンサンプリング基準フレームブロックを選択するよう構成した最小化回路網と、
   前記最小化回路網により選択された前記内挿補間ダウンサンプリング基準フレームブロックに依存して推定動きベクトルを生成するよう構成した推定動きベクトル生成回路網と
   を備えるデータ処理装置。
2. 前記ダウンサンプリング元画像ブロックと前記ダウンサンプリング基準フレーム部分とを生成するよう構成したダウンサンプリング回路網をさらに備える、請求項１記載のデータ処理装置。
3. 前記推定動きベクトルを入力として受信し、前記元画像と前記基準画像とから算定動きベクトルを生成するよう構成した動きベクトル生成回路網をさらに備え、前記算定動きベクトルを所定範囲内の前記推定動きベクトルに拘束する、請求項１記載のデータ処理装置。
4. 前記内挿補間ダウンサンプリング基準フレームブロック集合は前記ダウンサンプリング基準フレーム部分内の所定の点集合を参照して割り出される、請求項１記載のデータ処理装置。
5. 前記所定の点集合はブロック幅の半分に分離される、請求項４記載のデータ処理装置。
6. 前記内挿補間ダウンサンプリングフレームブロック集合は、動き無しベクトルを参照して割り出される、請求項１記載のデータ処理装置。
7. 前記内挿補間ダウンサンプリング基準フレームブロック集合は少なくとも１個の隣接元画像ブロックの少なくとも１個の所定の動きベクトルを参照して割り出される、請求項１記載のデータ処理装置。
8. 前記少なくとも１個の所定の動きベクトルは前記ダウンサンプリング元画像ブロックについての予測動きベクトルである、請求項７記載のデータ処理装置。
9. 前記コスト関数算出回路網および前記最小化回路網は、前記内挿補間ダウンサンプリング基準フレームブロック集合を反復選択して前記コスト関数値の局所的最小値を検出するよう構成される、請求項１記載のデータ処理装置。
10. 前記ダウンサンプリング基準フレーム部分は、前記ダウンサンプリング元画像ブロックよりもほぼ１桁大きさが上回る、請求項１記載のデータ処理装置。
11. 前記ダウンサンプリング元画像ブロックは、前記元画像からの画素の部分集合を含む、請求項１記載のデータ処理装置。
12. 前記ダウンサンプリング基準フレーム部分は、前記基準画像からの画素の部分集合を含む、請求項１記載のデータ処理装置。
13. 前記ダウンサンプリング元画像ブロックは、１ブロックの前記元画像のフィルタ処理版を含む、請求項１記載のデータ処理装置。
14. 前記ダウンサンプリング元画像ブロックの各画素は、前記元画像の画素集合を平均することで生成される、請求項１３記載のデータ処理装置。
15. 前記ダウンサンプリング基準フレーム部分は、１ブロックの前記基準画像のフィルタ処理版を含む、請求項１記載のデータ処理装置。
16. 前記ダウンサンプリング基準フレーム部分の各画素は、前記基準画像の画素集合を平均することで生成される、請求項１５記載のデータ処理装置。
17. 前記内挿補間回路網は、１／４画素内挿補間を行うよう構成される、請求項１記載のデータ処理装置。
18. 前記推定動きベクトルは、最大で６４画素の長さを有するよう拘束される、請求項１記載のデータ処理装置。
19. 前記コスト関数値は、前記ダウンサンプリング元画像ブロックの画素と前記各内挿補間ダウンサンプリング基準フレームブロック集合の画素との間の差分絶対値和（ＳＡＤ）から算出される、請求項１記載のデータ処理装置。
20. 前記コスト関数値は、さらに動きベクトル代償値を含む、請求項１記載のデータ処理装置。
21. 前記コスト関数値は、絶対値変換差分和（ＳＡＴＤ）アルゴリズム、二乗誤差和（ＳＳＥ）アルゴリズム、二乗誤差平均（ＭＳＥ）アルゴリズム、誤差絶対値平均（ＭＡＥ）アルゴリズム、および差分絶対値平均（ＭＡＤ）アルゴリズムのうち一つに基づき算出される、請求項１記載のデータ処理装置。
22. 推定動きベクトルの生成方法であって、
    元画像フレームから生成されたダウンサンプリング元画像ブロックを受信するとともに基準フレームから生成されたダウンサンプリング基準フレーム部分を受信するステップであって、前記基準フレームと前記元画像フレームとを一連のビデオフレームから採取するステップと、
    前記ダウンサンプリング基準フレーム部分の画素間に内挿補間し、内挿補間ダウンサンプリング基準フレームブロック集合を生成するステップと、
    前記ダウンサンプリング元画像ブロックと前記各内挿補間ダウンサンプリング基準フレームブロック集合との間の差分を示すコスト関数値を算出するステップと、
    前記コスト関数値の最小値に対応する内挿補間ダウンサンプリング基準フレームブロックを選択するステップと、
    前記最小化回路網により選択された前記内挿補間ダウンサンプリング基準フレームブロックに依存して推定動きベクトルを生成するステップと
    を含む方法。
23. 元画像フレームからダウンサンプリング元画像ブロックを受信するとともに基準フレームからダウンサンプリング基準フレーム部分を受信するよう構成したデータ処理装置において、前記基準フレームと前記元画像フレームとを一連のビデオフレームから採取する前記データ処理装置であって、
    前記ダウンサンプリング基準フレーム部分の画素間に内挿補間して内挿補間ダウンサンプリング基準フレームブロック集合を生成する内挿補間手段と、
    前記ダウンサンプリング元画像ブロックと前記各内挿補間ダウンサンプリング基準フレームブロック集合との間の差分を示すコスト関数値を算出するコスト関数算出手段と、
    前記コスト関数値の最小値に対応する内挿補間ダウンサンプリング基準フレームブロックを選択する最小化手段と、
    前記最小化手段により選択された前記内挿補間ダウンサンプリング基準フレームブロックに依存して推定動きベクトルを生成する推定動きベクトル生成手段と
    を備えるデータ処理装置。

Images