JP2008537427A - 効率的なビデオ復号化アクセラレータ - Google Patents

Abstract

本発明は、復号装置および、複数のブロックを伴う複数のビデオフレームを有する圧縮されたビデオデータを復号する方法に関するものであり、ビデオフレームを、ストライプの幅がハードウェア予測ラインサイズを超えない少なくとも２本のストライプとして第１所定方向に分割する。このとき、係数予測を、少なくとも２個のストライプにおける１個（一方）のストライプに対して実行し、少なくとも２個のストライプにおける他の少なくとも１個のストライプに対して第２所定方向、すなわち、第１所定方向に直交する第２所定方向のプレディクタ（予測因子）を提供する。さらに、フェイクブロックを発生させて、前記少なくとも２個のストライプにおける他（方）の少なくとも１個のストライプに挿入し、第２所定方向の予測を初期化する。これによって、固定処理幅を有するハードウェアアクセラレータを、より柔軟に使用できる。

Description

本発明は、ビデオデコーダ装置及び複数のブロックを伴う複数のビデオフレームを有する圧縮したビデオデータを復号する復号化方法に関するものである。

ビデオ復号化に関する広く知られる標準規格は、例えばＭＰＥＧであり、これは「Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ」の略称である。基本的に、ＭＰＥＧは、デジタル圧縮フォーマットのオーディオ‐ビジュアル（視聴覚）情報を符号化するために用いる標準規格ファミリの名称である。１９８８年に設立された団体は、ビデオＣＤ及びＭＰ３のような製品が準拠する標準規格であるＭＰＥＧ−１、デジタルテレビジョンのセットトップボックスおよびデジタル・ヴァーサタイル・ディスク（ＤＶＤ）のような製品が準拠する標準規格であるＭＰＥＧ−２、固定ウェブおよびモバイルウェブにおけるマルチメディアのための標準規格であるＭＰＥＧ−４を策定した。ＭＰＥＧ−４は、標準規格ＩＳＯ／ＩＥＣ １４４９６−２００１における、「オーディオ‐ビジュアルオブジェクトの符号化（ＣＯＲＤＩＮＧ ＯＦ ＡＵＤＩＯ−ＶＩＳＵＡＬ ＯＢＪＥＣＴＳ）」に記載されている。

少なくとも第１フェーズにおいて、従来のハードウェア解決手法として設計および実現されたＭＰＥＧ−１およびＭＰＥＧ−２と異なり、ＭＰＥＧ−４は、ソフトウェアで実装できる標準規格として着想された。このことは、対応するＩＳＯ／ＩＥＣ１４４９６標準規格のパート５が、なぜ標準規格の参照ソフトウェア実装に関するリファレンスを含んでいるかの理由である。

ＭＰＥＧビデオデータストリームは、例えばＰＡＬ（ｐｈａｓｅ ａｌｔｅｒｎａｔｉｎｇ ｌｉｎｅ）解像度におけるピクチャを含み、単一のピクチャまたは複数のピクチャは、２５Ｈｚのピクチャ周波数で幅７２０ピクセル、高さ５７６ピクセルにより構成している。すなわち、この単一ピクチャの伝送には４０ｍｓのタイムスロットがある。他のピクチャサイズ、例えばＮＴＳＣ用のサイズ、ならびに他のピクチャ周波数、例えば３０Ｈｚも可能であることに留意されたい。さらに、ＭＰＥＧにおいては、各ピクチャを、符号化のために複数個のブロックに分割する。この目的のため、１ブロックは、８×８ピクセルにより構成することができ、さらに他のサイズ、例えば、１６×１６または４×４のサイズ、または１６×８のような非正方形のものでさえも可能である。したがって、７２０×５７６ピクセルのピクチャは、８×８のブロックを６４８０個有する。ＹＵＶ色空間を用いる場合、各８×８ピクセルブロックに対して、通常６４個のＹ値（各ピクセルにつき１個の値）ではあるが、３２個のＵ値、３２個のＶ値のみが記憶（格納）される。この符号化は４：２：２方式として知られ、ＲＧＢのフォーマットでは１９２バイトを必要とする代わりに、６４ピクセル用に合計６４＋３２＋３２＝１２８バイトで済む。したがって、４：２：２方式の符号化では、ピクチャを符号化するためには、１２９６０個のブロック総数となる。４：２：２の方式の他に、他の方式、例えば４：４：４または４：２：０も可能であることに留意されたい。

デジタル化のために、三つの信号成分（ＹＵＶ）の各々は８×８ピクセルブロックに分割し、離散コサイン変換（ＤＣＴ）の適用によって空間領域から周波数領域に変換される。ＤＣＴは、各８×８ピクセルブロックを８×８ＤＣＴ係数マトリクスによって表されるそれぞれの周波数成分に分割する。周波数領域において、より大きいＤＣＴ係数値は、マトリクスの上方左側領域に位置する比較的低い周波数成分に一般的に集中する。この比較的低い周波数成分は、さらに、ゼロ周波数ＤＣＴ係数を含み、このゼロ周波数ＤＣＴ係数は、それぞれの画像ブロックの直流（ＤＣ）成分とも称される。比較的高い周波数成分は、０または０に近い振幅値のＤＣＴ係数を有する傾向がある。最も高い周波数成分は、ＤＣＴマトリクスの左下コーナーに位置する。簡潔に言うと、ＤＣＴマトリクスの下方右側領域は、それぞれの画像ブロックの小さい細部を表す。この態様は、さらに、ＤＣＴ係数の量子化において、量子化マトリクスによる符号化処理の他のステップとみなすこともできる。最後に、６４個に量子化されたＤＣＴ係数よりなる各ＤＣＴマトリクスは、マトリクス構成からアレイに変換しなければならない。この変換は、ＤＣＴマトリクスに対して、左上コーナー、すなわちＤＣ ＤＣＴ係数から始まって、右下コーナー、すなわち最も高いＤＣＴ周波数までに至るジグザグ経路によって実行することができる。この変換は量子化されたＤＣＴ係数のアレイを生じる。最後に、このアレイは、まず、走行長（ＲＬ）符号によって、またエントロピー符号、例えばハフマンエンコーダまたは可変長符号（ＶＬＣ）によって可逆的に（劣化なく）符号化される。

ブロックとして符号化されたピクチャデータは、それぞれのＭＰＥＧ標準規格に従って配列される。最後に、このようなＭＰＥＧビットストリームの特定フォーマットを知ることにより、受信装置は、転送されたビジュアル情報を復号することができる。簡潔に言うと、逆離散コサイン変換（ｉＤＣＴ）を適用することにより、各画像ブロックのＤＣＴ係数から、各単独の画像ブロックを、再構築することができる。

携帯電話は、現在、音声通信の他に、ゲーム及び動画配信を含む多種多様な高度なアプリケーションを提供する。しかし、第三世代（３Ｇ）携帯電話における、より高速の通信速度では、データ転送速度はより速くなり、更なる拡張性がビデオフォンのようなアプリケーション領域で期待され、より速い画像処理性能を有するプロセッサに対する要望がある。同時に、携帯電話に内蔵されるカメラのピクセル数が著しく増大し、時代のトレンドとしてはディスプレイ寸法の増大が予想され、このディスプレイ寸法に対処することができるプロセッサの必要性をもたらす。

このようなニーズに応じて、増大した画像処理速度を有するＭＰＥＧ−４ハードウェアアクセラレータ及びカメラインタフェースのような拡張した機能が、開発された。３Ｇ携帯電話プラットフォームにおけるＭＰＥＧ−４ビデオデコーダは、高速ＭＰＥＧ−４処理のために符号化／復号化処理能力を向上させる、このようなハードウェアアクセラレータをますます使用する。ハードウェア処理によって低い消費電力は達成されただけでなく、処理用のＣＰＵ（中央演算処理装置）の負荷もかなり減少した。このことは、動画再生、ビデオフォンおよび同様の高度な機能を組み込む、高性能で、低電力消費システムの実現を可能にする。

ハードウェアおよび／またはソフトウェア領域確保は、性能および／または最終製品のコストのための鍵であるが、また、後のソフトウェアアップグレードを可能にする。集積されたハードウェアアクセラレータ（例えば特定用途向け集積回路（ＡＳＩＣ）としての実装）における一つの問題は、柔軟性の欠如、特にそれらの内部メモリ編成に関するものである。

イントラ符号化の性能改善は、先に再構築されたＤＣ係数を用いることにより、ＤＣＴブロックのＤＣ係数を予測することによって得られた。マクロブロックまたはＶＯＰ（ビデオ・オブジェクト・プレーン）のイントラ符号化中に、そのマクロブロックまたはＶＯＰからの情報のみを用いる。ＶＯＰは、ある時間におけるビデオオブジェクトのインスタンスに対応する。

他の改善は、ＭＰＥＧ−４において、ＡＣ係数を予測することによっても得られた。ＤＣ係数は、周波数が両方の次元でゼロであるＤＣＴ係数である。ＡＣ係数は、一方または両方の次元の周波数がゼロでないＤＣＴ係数である。ＡＣ／ＤＣ予測は、ｉＤＣＴブロックからＤＣおよび／またはＡＣ値を推定することによってイントラフレームを符号化するために必要なビットの数を減少する。

図２は従来の復号化データフローの線図的フローブロック図を示し、ここで、ソフトウェアはハードウェアアクセラレータによって全て一度に実行される１個のデータセットを発生する。基本のＭＰＥＧ−４ストリームを、デコーダソフトウェア２０によって読み込み、このデコーダソフトウェア２０は単一のデータセット１２を発生し、このデータセット１２は、ランレングス符号（ＲＬ符号）化して量子化したＡＣ／ＤＣ係数２２、および単一ランの復号化プロセスを実行するためにデコーダハードウェアアクセラレータ５０が用いるマイクロプログラム２４を含む。高速化されたハードウェア復号化プロセスは、参照フレーム６０及び復号化されたフレーム６２を含む単一のフレーム領域７０に基づき、ピンポンフレームバッファを使用して、一時的予測を行う。

ＭＰＥＧ−４ビデオの場合、ハードウェアアクセラレータにおけるハードウェアブロックとしての、係数予測の実施は、ＤＣ係数およびＡＣ係数の双方により構成するプレディクタ（予測因子）のラインを内部メモリに保持し、更新する必要がある（上記の標準規格ＩＳＯ／ＩＥＣ １４４９６−２００１の§７．４．３を参照）。垂直予測のために用いられる、このラインのサイズは、設計時に分かる製品要件によるコスト上の理由で決定される。例えば、ＣＩＦ（３５２×２８８）ビデオ復号化の要件は、多くても、正確に２２個のマクロブロックプレディクタ（すなわち３５２ピクセル）のラインを生じる結果となる。この構成においては、ハードウェアに、例えば４０マクロブロックのラインが必要であるＶＧＡ（６４０×４８０）クリップのための係数予測を実行させることはできない。

一つの代案は、ソフトウェアで係数予測全体を行うことであるが、これは、ハードウェアがこの処理ステップをスキップする、または禁止するよう設計することが必要であり、かつ、ＣＰＵ負荷の劇的な増大を可能にするシステムの十分なヘッドルームがあることが必要である。

したがって、本発明の目的は、係数予測を改善し、これにより、ハードウェアアクセラレータが直面する上述の制限を取り除くことができるようにする係数予測手法を得るにある。

この目的は、請求項１に記載のビデオデコーダ装置及び請求項１３に記載の復号化方法によって達成することができる。

したがって、ハードウェアアクセラレータが直面する、最初に説明した制限は、ビデオフレームを適切な幅の複数個のストライプに分割し、これらストライプに基づいて係数の予測を実行することによって、回避することができる。

第１方向は、ビデオフレームの垂直方向に対応し、第２方向はビデオフレームの水平方向に対応させることができ、逆の対応関係にすることもできる。この場合、分割する方向は、ＡＣ／ＤＣ予測のコストを最小化できる予測方向に適応させる。

生成手段は、少なくとも２個のストライプにおける他の少なくとも１個のストライプ内に、第１カラムとして、偽ブロックを挿入する構成とする。これは、必要な予測の量をより一層減少するために役立つ。

さらに、分割手段は、少なくとも２個のストライプに対するそれぞれのマイクロプログラムを有するそれぞれのデータセット発生する構成とし、対応のデータセットおよびマイクロプログラムを予測手段が使用して係数予測を行う構成とする。予測手段はハードウェアアクセラレータを有し、分割手段はデコーダソフトウェアによって実現することができる。このように、予測手段、例えばハードウェアアクセラレータの固定処理幅により生ずる制限は、ソフトウェア動作のいくつかの最小量を（再）導入することによって軽減またはバイパスすることができる。また、生成手段は、デコーダソフトウェアによって実現することができる。

予測手段は、少なくとも２個のストライプを逐次的に処理する構成とすることができる。さらに、それは、部分的な予測を行う構成とする。少なくとも２個のストライプは、生成した偽（フェイク）ブロックを挿入する所定オーバーラップ領域でオーバーラップさせるものとする。生成手段は、少なくとも２個のストライプのうち１個のストライプに対する予測手段から得られたプレディクタ（予測因子）に基づく逆予測を実行することによって、偽ブロックを発生する構成とすることができる。

本発明が提案する改良した復号化メカニズムまたは製法のソフトウェア動作部分は、コンピュータデバイスで実行するとき、請求項１３の方法による分割および生成ステップを行い得る符号化手段を有するコンピュータプログラム製品として、実現できる。コンピュータプログラム製品は、コンピュータが読み込むことができる媒体に格納することができる。

有利には、本発明によるビデオデコーダ装置及び復号化方法は、送信機から受信機までワイヤレス接続によってビデオデータを含む、ビットストリームの転送の送信機および受信機を有するシステムに組み込むことができる。受信機は、転送されたビデオデータを表示するワイヤレスモニタにより実現する、またはワイヤレスモニタに接続することができる。送信機は、ビデオデータを含む入力ビットストリーム用のソースに実現または接続することができ、例えば、デジタルビデオソースはＤＶＤプレーヤまたはケーブルネットによってビデオプロバイダに対する接続、サテライト接続または同様のものであることができる。送信機は、カメラによって発生するビデオデータを含むビデオビットストリームを配信する、監視カメラのようなカメラに接続されることもできる。最後に、ただし重要なことであるが、好ましい実施形態による復号化方法は受信機側に用いるときに、データストリームフォーマットのための標準規格で、それぞれに用いる適合する任意のデバイスを、システムに組み込むことができる。

本発明を、以下に添付図面に参照して、好ましい実施形態に基づいて説明する。

以下において、本発明の好ましい実施形態は、ビデオデータストリーム、例えばＭＰＥＧ−４基本ストリームの係数予測動作と関連して説明する。ビデオデータストリームは、ビデオソース、例えばＤＶＤプレーヤまたはＴＶセットトップボックスから、ビデオデータストリームの画像情報を表示するディスプレイデバイス、例えば高解像のビデオＬＣＤまたはプラズマモニタに配信することができる。このようなセットトップボックスに対するビデオ／オーディオデータのためのソースとしては、例えば、地上波として（ＤＶＢ−Ｔ）、または衛星を介して（ＤＶＢ−Ｓ）配信されるデジタルビデオ放送（ＤＶＢ）信号がある。他のソースとしては、ネットワークストリーミングおよびダウンロード‐アンド‐プレイのアプリケーションに関するものがある。

マクロブロックのタイプに基づいて、動きベクトル情報及び反対側情報を、各マクロブロックにおける圧縮予測エラーによって符号化する。動きベクトルは、予測値に関する差を計算し、可変長符号を用いて符号化する。許容される動きベクトルの最大長さは、エンコーダで決定される。適正な動きベクトルを算出するのは、エンコーダの役目である。

好ましい実施形態によれば、ＡＣ／ＤＣ係数の復号化のために改良された予測プロセスは提案する。一般に、予測は、そのとき復号されているサンプル値またはデータ素子の推定を行うプレディクタ（ｐｒｅｄｉｃｔｏｒ：予測因子）を使用することを意味する。プレディクタ（予測因子）は、先に復号されたサンプル値またはデータ要素の線形結合である。前方予測は過去の参照ＶＯＰからの予測と定義し、後方予測は将来の参照ＶＯＰからの予測と定義する。

空間予測は、空間スケーラビリティに用いられる参照レイヤデコーダの復号したフレームから導き出される予測であり、この空間スケーラビリティは、エンハンスレイヤ（拡張階層）が、動きベクトルを用いることなく、より低い階層のレイヤから導き出されるサンプルデータからの予測も用いるタイプのスケーラビリティ（拡張性）である。このレイヤは、種々のＶＯＰサイズまたはＶＯＰレートを含むことができる。

ＤＣ及びＡＣ係数の予測は、イントラマクロブロック（Ｉ−ＭＢｓ）のために行う。

ＤＣ及びＡＣ予測方向の適応的選択は、復号すべきブロック周辺の、水平および垂直ＤＣ傾きの比較に基づいて行うことができる。次の事例の場合、復号すべきカレントブロック「Ｘ」を囲む３個のブロックを、「Ａ」、「Ｂ」および「Ｃ」と称し、それぞれ、ブロックＡは左側ブロック、ブロックＢは左上ブロック、ブロックＣはすぐ上のブロックに対応する。つぎに、先に復号したブロックの逆量子化ＤＣ値を使用して、ＤＣおよびＡＣ予測の方向を決定する。特に、ブロックＡとブロックＢとの間における逆量子化ＤＣ値の差の絶対値が、ブロックＢとブロックＣとの間における逆量子化ＤＣ値の差の絶対値より小さい場合、予測はブロックＣに基づく。そうでない場合、予測は、ブロックＡに基づく。

ブロックＡ、ＢまたはＣのいずれかが、ＶＯＰ境界、またはビデオパケット境界の外側にあり、またはそれらはイントラ符号化マクロブロックに属さない場合、それらの逆量子化ＤＣ値は所定値をとると仮定し、予測値を計算するのに用いる。

適応的ＤＣ予測方法は、上述したように決定された予測方向に基づいて、直前のブロックの逆量子化ＤＣ値、またはその直ぐ上方（先行ブロック行における）のブロックの逆量子化ＤＣ値のいずれかを選択することを含む。このプロセスは、適正に水平方向に直接隣接するブロックＡ、および垂直方向に直接隣接するブロックＣを用いてマクロブロックのすべてのブロックに対してそれぞれ繰り返すことができる。

ＤＣ予測は、輝度および２個の色成分のそれぞれに対して同様に実行する。

適応的ＡＣ係数予測も使用することができ、この場合、先行の符号化ブロックの、第１行（ロウ）または第１列（カラム）からの各係数を使用し、カレントブロックの共通位置における係数を予測する。１ブロック毎に、ＤＣ係数予測のため（水平方向および垂直方向のうちから）最良の方向も使用して、ＡＣ係数予測方向を選択する。このようにして、マクロブロック内で、例えば、水平方向に隣接する先行ブロックまたは垂直方向に隣接する先行ブロックのいずれかから独立して、各ブロックを予測することができる。係数の二次元アレイを逆量子化して、再構築したＤＣＴ係数を生成する。この処理は、基本的に、量子化器（クウォンタイザ）のステップサイズによる乗算である。量子化器のステップサイズは、二つのメカニズムによって変更される。加重マトリクスを使用して１ブロック内のステップサイズを変更し、またスケール係数を使用して、ステップサイズを、（新規加重マトリクス全体を符号化することと比較して）数ビットのみのコストで変更する。

好ましい実施形態によれば、上述の手順によるハードウェアによる処理迅速化の柔軟性は、ストライプ幅がハードウェア予測ラインサイズを超えないストライプにビデオフレームを垂直方向（縦）に分割することによって、向上し、これによりハードウェア予測を行うことができる。このとき、軽量（部分）予測を、最も左側のストライプに対してソフトウェアによって行い、最も右側のストライプに対する、適切な水平方向プレディクタ（予測因子）を得る。この後、最も右側のストライプにおける第１列（カラム）として挿入すべき偽（フェイク）マクロブロックを作り出し、この偽（フェイク）マクロブロックは水平予測を初期化するためのものである。

以下の説明は、２個の垂直（縦）ストライプに分割される垂直（縦）フレームの実施例に基づくものである。しかし、本発明が提案する柔軟性のある予測メカニズムは、３個以上のストライプでも同一である。

図１は、好ましい実施形態による本発明が提案するフレーム分割手法を実施する復号化データフローの線図的フローブロック図を示す。図２の従来手法に反して、デコーダソフトウェア２０は、このとき、２個のデータセットＡ及びＢを、それぞれＲＬ符号化および量子化したＡＣ／ＤＣ係数３０，４０、およびそれぞれに対応するマイクロプログラム３２，４２とともに生成し、これらマイクロプログラム３２，４２は、カレントビデオフレームにおけるそれぞれの垂直（縦）ストライプをカバーする。２個のマイクロプログラム３２，４２は、ハードウェアアクセラレータ５０によって逐次的に（すなわち、２回のハードウェアランで）実行し、最終的に目的フレーム全体をカバーする。

図３は好ましい実施形態による、フレーム分割したビデオフレームの線図的説明図を示し、データセットＡおよびＢのフレーム領域におけるそれぞれの位置を示す。とくに、図３は、ビデオフレームの幅がハードウェアアクセラレータ５０のハードウェア能力を超えるビデオフレームを表す。各ビデオフレームは、ビデオ信号の空間情報のラインを含む。進行するビデオに関しては、これらラインは、一つの瞬間から始まって、フレームの一番下に向かう順次のラインに続くサンプルを含む。フレームレート（画面書き換え速度）は、フレームが合成プロセスから出力される速度を規定する。

好ましい実施形態の実施例において、ビデオフレームは、ハードウェアアクセラレータ５０によって順次処理される、すなわちまずＢ、つぎにＡが順次処理される、２個の領域ＡおよびＢに分割する。ストライプのオーバーラップ領域（Ａ∩Ｂ）の役割は、後で説明する。

一方では、本発明が提案する垂直ストライプは、垂直予測の問題を解決する。他方では、それは、ストライプ間境界での水平予測を中断する。

この結果、最も左側のストライプが除外されて、各垂直ストライプの各マクロブロックラインは、水平予測を初期化することが必要である。したがって、水平予測は、領域Ａに対してはソフトウェア内で行わなければならない。

軽量または部分的な予測は、以下のようにして行うことができる。領域ＡとＢとの間の垂直相互作用がないとき、ＡＣ及びＤＣの水平プレディクタ（予測因子）のみをＡ領域内で計算する必要がある。ＡＣ係数に関しては、これは、ＤＣＴマトリクスの第１列（カラム）の係数だけで十分であり、第１ラインの処理コストが節約されることを意味する。よって、Ｂ領域において、予測は全く必要でない。これにより、予測コストの節約は、ＡＣ／ＤＣ予測の全体最高６０〜７０％にも達することができる。

さらにまた、初期化マクロブロックは、以下のようにして作成することができる。

Ｂ領域内の水平ＡＣ／ＤＣ予測を初期化するために、マクロブロックを作成し、Ｂ領域における各マクロブロックラインの開始として規定する。このメカニズムは、なぜＡおよびＢをオーバーラップさせるかを説明する。作成したマクロブロック列（カラム）は、Ａ∩Ｂ領域である。この領域はビデオシーケンスの一部でないとき、それは表示する前に上書きしなければならない。これは、Ｂ領域がＡ領域の前に復号化されるならば、付加な演算を必要としない。

図４は、好ましい実施形態による起こり得る予測方向を有するフレーム部分の線図的説明図を示す。とくに、これら起こり得る予測方向は、Ｂ領域における最も左側の最終的に可視となるマクロブロックに影響を与えることを示す。

破線矢印は、Ｂ領域内に適合する方向を示す。対応する予測は、ハードウェア、例えばハードウェアアクセラレータ５０によって、ソフトウェア演算なしで最適に実行される。反対に、実線矢印は、ソフトウェア、例えばデコーダソフトウェア２０によってＡ∩Ｂ領域を作り出すために、逆予測しなければならない方向である。得られた部分的なプレディクタ（予測因子）に基づいて、逆予測は、Ａ∩Ｂ領域のコンテンツを与える。

要約すれば、本発明が提案するＭＰＥＧ−４による復号化中に、フレームマクロブロックを、図３に示すように左→右、上→下の順で走査する。各マクロブロックラインに関して、マクロブロックは、ストライプに対する相対的なそれらの位置に基づいて、異なる処理を受ける。

次の表において、ソフトウェアプロセスの出力を、処理されるマクロブロックの関数として列挙する。

上記の表において、‘基本’プロセスは、ＭＰＥＧ−４標準ソフトウェア復号化、例えばビットストリームパーシング（構文解析）、可変長復号化および動き復号化により構成する。

要約すれば、復号化装置および方法は、複数のブロックを伴う複数のビデオフレームを有する圧縮したビデオデータを復号化することに関して説明したが、この場合、ビデオフレームを、ストライプの幅がハードウェア予測ラインサイズを超えない、少なくとも２個のストライプとして第１所定方向に分割する。つぎに、係数予測を、少なくとも２個のストライプにおける１個のストライプに対して行い、少なくとも２個のストライプにおける他の少なくとも１個に対する、第２所定方向のプレディクタ（予測因子）を得るようにし、ただし、第２所定方向は第１所定方向に直交するものとする。さらに、偽のブロックを生成して、少なくとも２本のストライプにおける他の少なくとも１個のストライプに挿入し、第２所定方向の予測を初期化する。これによって、固定処理幅を有するハードウェアアクセラレータを、より柔軟に用いることができる。

ＭＰＥＧビデオデータに関する本発明の上述の説明は、本発明を限定するものではないこと留意されたい。基本的に、本発明の発明の原理は、係数予測を必要とするビデオデータのいずれの復号化にも適用できる。とくに、本発明は、いわゆる Ｍｏｎｅｔ ＭＰＥＧ−４ Ｖｉｄｅｏ Ｄｅｃｏｄｅｒ ＩＰを用いる、いずれのシステムにも適用されることができ、例えば移動体通信チップにおいて適用できる。さらに、ビデオフレームは、必ずしも垂直方向（縦）に指向する必要がないが、２個以上のストライプに分割することができる。水平方向（横）に分割することも、復号化のハードウェアおよび／またはソフトウェアが適正に適合するならば、実現可能な解決法である。生成した偽ブロックの挿入は、それらが、残りの予測を初期化するために適切な起点として用いられることができるならば、任意の適切な位置で行うことができる。

最後に重要なこととして、特許請求の範囲を含む明細書 で使用する用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」は、記載した特徴、手段、ステップまたはコンポーネントの存在を特定することを意図しているが、一つ以上の他の特徴、手段、ステップ、コンポーネントまたはそのグループの存在または付加を排除するものではないことに留意されたい。さらに、特許請求の範囲の要素における冠詞「ａ」または「ａｎ」は、このような要素の複数の存在を排除するものではない。本発明はハードウェアおよびソフトウェアの両方によって実現することができ、いくつかの「手段」は同じアイテムまたはハードウェアによって表すことができる。

好ましい実施形態による復号化動作を示すブロック図である。 従来の復号化動作を示すブロック図である。 好ましい実施形態によるフレーム分割を有するビデオフレームを示す線図的説明図である。 好ましい実施形態による起こり得る予測方向とともにフレーム部分を示す線図的説明図である。

Claims (15)

1. 複数のブロックを伴う複数のビデオフレームを有する圧縮したビデオデータを復号するビデオデコーダ装置において、
   ａ）前記ビデオフレームを、第１所定方向に、ストライプの幅が前記デコーダ装置のハードウェア予測ラインサイズを超えない少なくとも２個のストライプに分割する分割手段と、
   ｂ）前記少なくとも２個のストライプにおける１個のストライプの係数予測を実行し、前記少なくとも２個のストライプにおける他の少なくとも１個のストライプに対する、前記第１所定方向に直交する第２所定方向における予測因子を発生する予測手段と、
   ｃ）前記少なくとも２個のストライプにおける前記他の少なくとも１個のストライプに挿入すべき偽ブロックを生成する生成手段と
   を有することを特徴とするビデオデコーダ装置。
2. 前記第１方向は前記ビデオフレームの垂直方向に対応し、前記第２方向は前記ビデオフレームの水平方向に対応するものとした請求項１に記載のビデオデコーダ装置。
3. 前記生成手段は、前記少なくとも２個のストライプにおける前記他の少なくとも１個のストライプ内に、第１カラムとして前記偽ブロックを挿入する構成とした請求項２に記載のビデオデコーダ装置。
4. 前記分割手段は、前記少なくとも２個のストライプ各々のためのマイクロプログラムを有する対応のデータセットを発生する構成とし、前記対応のデータセットおよび前記マイクロプログラムを前記予測手段が使用して、係数予測を行う構成とした請求項１〜３のいずれか一項に記載のビデオデコーダ装置。
5. 前記予測手段はハードウェアアクセラレータを有し、前記分割手段はデコーダソフトウェアによって実現した請求項１〜４のいずれか一項に記載のビデオデコーダ装置。
6. 前記生成手段は前記デコーダソフトウェアによって実現した請求項５に記載のビデオデコーダ装置。
7. 前記予測手段は、前記少なくとも２個のストライプを逐次的に処理する構成とした請求項１〜６のいずれか一項に記載のビデオデコーダ装置。
8. 前記予測手段は、部分的な予測を行う構成とした請求項７に記載のビデオデコーダ装置。
9. 前記少なくとも２個のストライプは、前記生成した偽ブロックを挿入する所定オーバーラップ領域でオーバーラップさせるものとした請求項７または８に記載のビデオデコーダ装置。
10. 前記予測手段は、離散コサイン変換の係数を予測する構成とした請求項１〜９のいずれか一項に記載のビデオデコーダ装置。
11. 前記生成手段は、前記少なくとも２個のストライプにおける前記１個のストライプに対する前記予測手段から得られた予測因子に基づいて逆予測を実行することによって、前記偽ブロックを生成する構成とした請求項１〜１０のいずれか一項に記載のビデオデコーダ装置。
12. 前記デコーダ装置を、ＭＰＥＧ−４デコーダとした請求項１〜１１のいずれか一項に記載のビデオデコーダ装置。
13. 複数のブロックを伴う複数のビデオフレームを有する圧縮したビデオデータを復号する復号化方法において、
    ａ）前記ビデオフレームを、第１所定方向に、ストライプの幅が前記デコーダ装置のハードウェア予測ラインサイズを越えない少なくとも２個のストライプに分割するステップと、
    ｂ）前記少なくとも２個のストライプにおける１個のストライプに対して係数予測を行うステップであって、前記少なくとも２個のストライプにおける他の少なくとも１個のストライプに対する、前記第１所定方向に直交する第２所定方向の予測因子を発生する該係数予測ステップと、
    ｃ）前記第２所定方向の予測を初期化するため、前記少なくとも２個のストライプにおける前記他の少なくとも１個のストライプに挿入すべき偽ブロック生成するステップと
    を有することを特徴とする復号化方法。
14. コンピュータデバイスで実行するときに、請求項１３に記載のステップａ）及びステップｃ）を行うよう構成したことを特徴とする符号化手段を備えたことを特徴とするコンピュータプログラム製品。
15. 請求項１４に記載のコンピュータプログラム製品を格納したコンピュータ読み込み可能媒体。

Images