JP5275454B2 - 画像復号装置 - Google Patents

Description

本開示は、符号化されたビットストリームを復号する画像復号装置に関する。

近年、デジタル画像伝送技術や撮像技術の進歩に伴い、高精細テレビジョン（ＨＤＴＶ）放送、高精細（ＨＤ）画像記録の普及が本格化してきている。また、更なる高画質化・高精細化のために、画像サイズ３８４０×２１６０画素の動画像や、カラーフォーマット４：２：２又は４：４：４の動画像の需要が高まりつつある。このような高画質化・高精細化された動画像の圧縮データを復号する際には、単純に画素数比を考えると、これまでのＨＤ画像（１９２０×１０８０画素）に比べ４〜８倍の量のデータを処理する必要があり、膨大な演算能力を備えた画像復号装置が必要となる。このため、単一の画像復号装置で処理することはコスト的にも、消費電力の面でも実用的ではなくなってきている。

これを解決するための方法として、画像復号装置を複数個用いてピクチャ内の複数のスライスの復号処理を並列に行うことにより処理を高速化する装置が、特許文献１に開示されている。ＭＰＥＧ２（Moving Picture Experts Group 2）では、１つの画像（ピクチャ）は１つ以上のスライスで構成され、１つのスライスは１マクロブロックライン以下で構成される。例えばＨＤ画像（１９２０×１０８０画素）では、ピクチャ内には必ず６８個以上のスライスが存在しており、特許文献１の装置を用いれば、複数のスライスを並列処理することによって処理を高速化することができる。

特開２００１−２１８２０１号公報

しかしながら、現在、主流となりつつあるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Sector） Ｈ．２６４やＶＣ−１といった高効率画像符号化規格では、ＭＰＥＧ２とは異なり、１ピクチャを１スライスで構成することも許容されている。スライスの大きさについてもＭＰＥＧ２に比べて柔軟に規定されており、スライスは１以上の任意の数のマクロブロックを含むことができる。複数のスライスが存在する場合には、各スライスの大きさは一定でなくてもよい。

特許文献１の装置は、スライスを単位として分割されたビットストリームに対して並列に復号処理を行うが、例えばピクチャが１つのスライスで構成されている場合には、この装置では並列処理をすることができない。また、ピクチャが複数のスライスで構成されていたとしても、スライスの大きさが均一ではない場合、例えば、ピクチャを構成するマクロブロックの８０％が１つの特定のスライスに含まれており、残りのスライスにはわずかな数のマクロブロックしか存在していない場合には、この特定スライスの復号処理時間が支配的になる。このため、並列動作のために複数の復号部を有していても、その個数に見合う処理の高速化ができるとは限らない。

本発明は、ピクチャを構成するスライスのサイズに関係なく、復号処理を並列に行う画像復号装置を提供することを目的とする。

本発明の実施形態に係る画像復号装置は、画面内予測を行って動画像を符号化することによって得られた符号化データを有する入力ビットストリームを処理する画像復号装置であって、前記入力ビットストリームを複数の分割ストリームに分割するストリーム分割器と、前記複数の分割ストリームをそれぞれ復号する複数の画像復号部とを有する。前記ストリーム分割器は、前記動画像のマクロブロックに含まれる前記画面内予測における複数の予測単位のうちの１つ以上の予測単位に対応する符号化データが前記複数の分割ストリームのそれぞれに含まれるように、前記入力ビットストリームを分割する。

これによると、マクロブロックを、そのマクロブロックに含まれる１つ以上の予測単位（例えばブロック）を単位として分割するので、ピクチャを構成するスライスの大きさに関係なく、マクロブロックを分割することができる。このため、ピクチャを構成するスライスの大きさにかかわらず、効率的な並列復号処理を行うことができる。

本発明によれば、ピクチャを構成するスライスのサイズに関係なく、マクロブロックを分割することができる。このため、効率的な並列復号処理を実現することができる。特に、スライスのサイズに制約がない場合や、画像サイズが大きい動画像のビットストリームを復号処理する場合に有利である。

本発明の実施形態に係る画像復号装置の構成を示すブロック図である。 カラーフォーマット４：２：０の場合のマクロブロックに含まれるブロックを示す説明図である。 図１の画像復号装置が復号する際に参照するブロックの例を示す説明図である。 Ｈ．２６４に従って復号する際に参照される画素の例を示す説明図である。 図１のストリーム分割器におけるビットストリームの分割についての説明図である。 図１の画像復号装置の動作の例を示すタイミングチャートである。 ブロックＹ２、Ｙ３を復号する図１の画像復号部によって参照される画素の例を示す説明図である。 図１の画像復号部の構成例を示すブロック図である。 図１の画像復号部の基本的な動作の例を示すタイミングチャートである。 輝度信号を処理する図１の画像復号部の内部の動作の例を具体的に示すタイミングチャートである。 図１の画像復号装置の第１の変形例の構成を示すブロック図である。 カラーフォーマット４：２：２の場合のマクロブロックに含まれるブロックを示す説明図である。 図１１のストリーム分割器におけるビットストリームの分割についての説明図である。 図１１の画像復号装置の動作の例を示すタイミングチャートである。 図１の画像復号装置の第２の変形例の構成を示すブロック図である。 カラーフォーマット４：４：４の場合のマクロブロックに含まれるブロックを示す説明図である。 図１の画像復号装置の第３の変形例の構成を示すブロック図である。 図１７の画像復号装置の動作の例を示すタイミングチャートである。 動きベクトル予測の際に参照されるブロックの例を示す説明図である。 ＤＣ／ＡＣ予測の際に参照されるブロックの例を示す説明図である。 図２１（ａ）は、ＤＣ係数の予測についての説明図である。図２１（ｂ）は、ＡＣ係数の予測についての説明図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。図面において下２桁が同じ参照番号で示された構成要素は、互いに対応しており、同一の又は類似の構成要素である。

本明細書における各機能ブロックは、典型的にはハードウェアで実現され得る。例えば各機能ブロックは、ＩＣ（集積回路）の一部として半導体基板上に形成され得る。ここでＩＣは、ＬＳＩ（Large-Scale Integrated circuit）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ゲートアレイ、ＦＰＧＡ（Field Programmable Gate Array）等を含む。代替としては各機能ブロックの一部又は全ては、ソフトウェアで実現され得る。例えばそのような機能ブロックは、プロセッサ上で実行されるプログラムによって実現され得る。換言すれば、本明細書で説明される各機能ブロックは、ハードウェアで実現されてもよいし、ソフトウェアで実現されてもよいし、ハードウェアとソフトウェアとの任意の組合せで実現され得る。

図１は、本発明の実施形態に係る画像復号装置の構成を示すブロック図である。図１の画像復号装置は、画面内予測を行って動画像を符号化することによって得られた符号化データを有する入力ビットストリームＩＳＴを復号する画像復号装置であって、ストリーム分割器１１０と、ストリームバッファ１２０、１２１、１２２、１２３と、パラメータ復号器１３２と、復号タイミング制御器１３４と、参照情報格納部１３６と、画像復号部１４１、１４２、１４３と、フレームメモリ１５２とを有している。ここでは、入力ビットストリームＩＳＴは、カラーフォーマット４：２：０（Ｙ：Ｃｂ（Ｐｂ）：Ｃｒ（Ｐｒ）＝４：２：０）の動画像がＩＴＵ−Ｔ Ｈ．２６４（以下ではＨ．２６４と称する）に従って符号化されて得られたビットストリームであるとする。

図２は、カラーフォーマット４：２：０の場合のマクロブロックに含まれるブロックを示す説明図である。入力ビットストリームＩＳＴの動画像に含まれる各ピクチャは、多数のマクロブロックで構成されている。各マクロブロックは、図２のように、輝度信号ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、青色差信号ブロックＣｂと、赤色差信号ブロックＣｒとを有しているとする。輝度信号ブロックＹ０〜Ｙ３は、マクロブロック内において２行２列に配置される。ブロックＹ０〜Ｙ３、Ｃｂ、及びＣｒは、いずれも、画面内予測における予測単位である。マクロブロックは、例えばＨ．２６４に定義されている。

以下では例として、各マクロブロックは１６×１６画素に対応する符号化データを有するものとして説明する。この場合、ブロックＹ０〜Ｙ３、Ｃｂ、及びＣｒは、それぞれ８×８画素に対応する符号化データを有する。マクロブロックが対応する画素数は、これには限られず、例えば８×８画素であってもよい。

いずれも動画像符号化技術であるＭＰＥＧ２とＨ．２６４との間の違いについて簡単に説明する。Ｈ．２６４には、画面内の隣接ブロック間の相関関係を利用して圧縮効率を向上させるため、イントラ予測と呼ばれる圧縮符号化技術が導入され、符号化効率の向上が図られている。

図３は、図１の画像復号装置が復号する際に参照するブロックの例を示す説明図である。図１の画像復号装置による復号の際には、画面内予測が行われる。画面内予測としては、例えば、画素値の予測を行うイントラ予測、動きベクトルを予測する動きベクトル予測、並びにＤＣＴ係数のＤＣ成分及びＡＣ成分を予測するＤＣ／ＡＣ予測のうちの少なくとも１つが行われる。ここでは、Ｈ．２６４に従ったイントラ予測について説明する。例えばフレーム構造の画像の場合には、図３に示すように、復号対象ブロックの画面内で、このブロックの左、左上、上、及び右上に配置される４つのブロックが参照され得る。復号対象ブロック毎に最適な予測方向を選択できるようになっている。ＭＰＥＧ２の場合には、異なるフレームのブロックが参照されるが、同一の画面内のブロックは参照されない。

図４は、Ｈ．２６４に従って復号する際に参照される画素の例を示す説明図である。例えばフレーム構造の画像を対象としてＨ．２６４のイントラ８×８予測が行われる場合には、対象ブロックを復号する際に、図４のように対象ブロックに隣接している画素情報が参照情報として用いられる。

図５は、図１のストリーム分割器１１０におけるビットストリームの分割についての説明図である。以下では、図１の画像復号装置によるマクロブロック層以下の復号処理動作について説明する。

ストリーム分割器１１０は、入力ビットストリームＩＳＴのビットパターン解析を行い、その解析結果に従って、入力ビットストリームＩＳＴを分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣに分割する。この際、ストリーム分割器１１０は、画素データを求める復号処理は行わない。

ストリーム分割器１１０は、入力ビットストリームＩＳＴの各マクロブロック（ＭＢ）を、マクロブロックに含まれる１つ以上のブロックの符号化データが分割ストリームＳＴＡ、ＳＴＢ、ＳＴＣのそれぞれに含まれるように、分割する。ここでは、ストリーム分割器１１０は、図５のように、分割ストリームＳＴＰにはマクロブロックヘッダ、分割ストリームＳＴＡには輝度信号ブロックＹ０及びＹ１の符号化データ、分割ストリームＳＴＢには輝度信号ブロックＹ２及びＹ３の符号化データ、分割ストリームＳＴＣには色差信号ブロックＣｂ及びＣｒの符号化データが含まれるように、入力ビットストリームＩＳＴを分割する。

ストリーム分割器１１０は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣをストリームバッファ１２０、１２１、１２２、１２３にそれぞれ出力する。ストリームバッファ１２０、１２１、１２２、１２３は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣをそれぞれ格納する。したがって、ストリームバッファ１２０には各マクロブロックの符号化情報を示す符号化データ、ストリームバッファ１２１には各マクロブロックのブロックＹ０及びＹ１の符号化データ、ストリームバッファ１２２には各マクロブロックのブロックＹ２及びＹ３の符号化データ、ストリームバッファ１２３には各マクロブロックのブロックＣｂ及びＣｒの符号化データが格納される。

パラメータ復号器１３２は、分割ストリームＳＴＰを格納しているストリームバッファ１２０からマクロブロックヘッダＭＢＨを読み出し、復号する。パラメータ復号器１３２は、復号して得られたマクロブロック符号化情報ＭＢＩを画像復号部１４１に出力し、復号が完了したことを示す完了信号ＥＰを復号タイミング制御器１３４に出力する。

復号タイミング制御器１３４は、パラメータ復号部１３２、及び画像復号部１４１〜１４３に、起動信号ＳＰ、ＳＡ、ＳＢ、ＳＣをそれぞれ出力することによって、パラメータ復号器１３２、及び画像復号部１４１〜１４３の復号処理の開始タイミングを制御する。この際、復号タイミング制御器１３４は、画像復号部１４１〜１４３のうち、復号処理に必要な隣接ブロックの画像が既に求められている画像復号部に処理を開始させる。

画像復号部１４１〜１４３は、処理を開始すべきことを復号タイミング制御器１３４から起動信号ＳＡ、ＳＢ、ＳＣによって通知されると、画像復号部１４１〜１４３の間でデータの転送を行う。転送されるデータには、マクロブロック符号化情報ＭＢＩが含まれる。画像復号部１４１〜１４３による復号の際には、イントラ予測が行われる。

画像復号部１４１は、復号タイミング制御器１３４からの起動信号ＳＡにより起動され、分割ストリームＳＴＡを格納しているストリームバッファ１２１から符号化データＣＹＡを読み出し、必要に応じてフレームメモリ１５２及び参照情報格納部１３６にアクセスしながら、符号化データＣＹＡを復号する。画像復号部１４１は、復号して得られた復号画像ＤＹＡをフレームメモリ１５２に格納させ、復号が完了したことを示す完了信号ＥＡを復号タイミング制御器１３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部１４２に出力する。

画像復号部１４２は、復号タイミング制御器１３４からの起動信号ＳＢにより起動され、分割ストリームＳＴＢを格納しているストリームバッファ１２２から符号化データＣＹＢを読み出し、必要に応じてフレームメモリ１５２及び参照情報格納部１３６にアクセスしながら、符号化データＣＹＢを復号する。画像復号部１４２は、復号して得られた復号画像ＤＹＢをフレームメモリ１５２に格納させ、復号が完了したことを示す完了信号ＥＢを復号タイミング制御器１３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部１４３に出力する。

画像復号部１４３は、復号タイミング制御器１３４からの起動信号ＳＣにより起動され、分割ストリームＳＴＣを格納しているストリームバッファ１２３から符号化データＣＣを読み出し、必要に応じてフレームメモリ１５２及び参照情報格納部１３６にアクセスしながら、符号化データＣＣを復号する。画像復号部１４３は、復号して得られた復号画像ＤＣをフレームメモリ１５２に格納させ、復号が完了したことを示す完了信号ＥＣを復号タイミング制御器１３４に出力する。

参照情報格納部１３６は、画像復号部１４１〜１４３において符号化データＣＹＡ、ＣＹＢ、ＣＣを復号する過程で必要な参照情報を格納する。格納される参照情報は、例えば、画像復号部１４１〜１４３での復号処理結果として得られた、画像（イントラ予測画素）や予測された動きベクトルである。参照情報は、画像復号部１４１〜１４３での中間段階の処理結果（例えばデブロッキングフィルタを通す前の画像）であってもよい。フレームメモリ１５２は、画像復号部１４１〜１４３で復号された復号画像ＤＹＡ、ＤＹＢ、ＤＣを格納する。

図６は、図１の画像復号装置の動作の例を示すタイミングチャートである。図６を参照しながら各期間の処理について詳しく説明する。

＜マクロブロック処理期間ＭＩ０＞
ストリームバッファ１２０〜１２３に分割ストリームがそれぞれ格納されると、復号タイミング制御器１３４は、パラメータ復号器１３２に対して起動信号ＳＰを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、ストリームバッファ１２０からマクロブロックヘッダＭＢＨを読み出して復号し、マクロブロック＃０のマクロブロック符号化情報を得る。マクロブロックヘッダＭＢＨの復号が完了すると、パラメータ復号器１３２は、復号タイミング制御器１３４に対して完了信号ＥＰを出力することによって完了通知を行う。

＜マクロブロック処理期間ＭＩ１＞
完了信号ＥＰを受けると、復号タイミング制御器１３４は、マクロブロック処理期間ＭＩ０の終了を認識し、次のマクロブロック＃１の符号化情報を得るために、起動信号ＳＰを出力してパラメータ復号器１３２を起動する。更に復号タイミング制御器１３４は、マクロブロック＃０のブロックＹ０、Ｙ１の復号処理を行うために、画像復号部１４１に対して起動信号ＳＡを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様に、ストリームバッファ１２０からマクロブロックヘッダＭＢＨを読み出して復号し、マクロブロック＃１のマクロブロック符号化情報を得る。パラメータ復号器１３２は、復号タイミング制御器１３４に対して完了信号ＥＰを出力することによって完了通知を行う。

起動信号ＳＡを受け取ると、画像復号部１４１は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩをパラメータ復号器１３２から受け取り、ストリームバッファ１２１から符号化データＣＹＡを読み出す。画像復号部１４１は、読み出された符号化データを、マクロブロック＃０のマクロブロック符号化情報ＭＢＩを用いて復号し、得られたブロックＹ０、Ｙ１の復号画像ＤＹＡをフレームメモリ１５２に出力する。復号が完了すると、画像復号部１４１は、復号タイミング制御器１３４に対して完了信号ＥＡを出力することによって完了通知を行う。画像復号部１４１は、得られたマクロブロック＃０のブロックＹ０、Ｙ１の復号画像のうち、マクロブロック＃０のブロックＹ２、Ｙ３の復号処理に必要な部分を参照情報として参照情報格納部１３６に格納させる。

＜マクロブロック処理期間ＭＩ２＞
完了信号ＥＰ及びＥＡを受けると、復号タイミング制御器１３４は、マクロブロック処理期間ＭＩ１の終了を認識し、次のマクロブロック＃２の符号化情報を得るために、起動信号ＳＰを出力してパラメータ復号器１３２を起動する。また、復号タイミング制御器１３４は、マクロブロック＃１のブロックＹ０、Ｙ１の復号処理を行うために、画像復号部１４１に対して起動信号ＳＡを出力する。

更に、復号タイミング制御器１３４は、マクロブロック＃０のブロックＹ２、Ｙ３の復号処理を行うために、画像復号部１４２に対して起動信号ＳＢを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様にしてマクロブロック＃２のマクロブロック符号化情報を得る。

画像復号部１４１は、マクロブロック＃０に代えてマクロブロック＃１に関して処理を行う点の他は、期間ＭＩ１と同様の動作を行う。画像復号部１４１は、得られたマクロブロック＃１のブロックＹ０、Ｙ１の復号画像のうち、マクロブロック＃１のブロックＹ２、Ｙ３の復号処理に必要な部分を参照情報として参照情報格納部１３６に格納させる。

図７は、ブロックＹ２、Ｙ３を復号する図１の画像復号部１４２によって参照される画素の例を示す説明図である。各マクロブロックが図７のように４つのブロックＹ０、Ｙ１、Ｙ２、及びＹ３を有しているとする。画像復号部１４２に必要な情報に着目すると、ブロックＹ２及びＹ３が復号される際には、図７のようにブロックＹ２及びＹ３に隣接する画素の情報が参照情報として用いられる。これらの画素は、
（１）ブロックＹ２及びＹ３と同じマクロブロックに属するブロックＹ０及びＹ１、
（２）左隣接マクロブロックのブロックＹ１、並びに、
（３）左隣接マクロブロックのブロックＹ３
に含まれている。

これらのうち、（１）及び（２）については、画像復号部１４１が復号処理結果として参照情報格納部１３６に格納する。（１）及び（２）は、画像復号部１４２がブロックＹ２及びＹ３を処理する前に格納される。画像復号部１４２は、（１）及び（２）を参照情報格納部１３６から読み出して用いる。（３）は、画像復号部１４２で処理されるブロックであり、ブロックＹ２及びＹ３を処理する前に処理されるマクロブロックの復号結果であるので、画像復号部１４２は、参照情報格納部１３６を経由することなく（３）を用いることができる。

起動信号ＳＢ受け取ると、画像復号部１４２は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部１４１から受け取り、ストリームバッファ１２２から符号化データＣＹＢを読み出し、読み出された符号化データを復号し、ブロックＹ２、Ｙ３の復号画像を得る。イントラ予測処理で参照が必要なマクロブロック＃０のブロックＹ０、Ｙ１の復号画像データは、期間ＭＩ１において画像復号部１４１によって参照情報として参照情報格納部１３６に格納されている。画像復号部１４２は、復号の際には、マクロブロック＃０のブロックＹ０、Ｙ１の復号画像及びその他の参照情報を読み出して処理を行う。

画像復号部１４２は、得られたブロックＹ２、Ｙ３の復号画像ＤＹＢをフレームメモリ１５２に出力する。復号が完了すると、画像復号部１４２は、復号タイミング制御器１３４に対して完了信号ＥＢを出力することによって完了通知を行う。

＜マクロブロック処理期間ＭＩ３＞
完了信号ＥＰ、ＥＡ及びＥＢを受けると、復号タイミング制御器１３４は、マクロブロック処理期間ＭＩ２の終了を認識し、次のマクロブロック＃３の符号化情報を得るために、起動信号ＳＰを出力してパラメータ復号器１３２を起動する。また、復号タイミング制御器１３４は、マクロブロック＃２のブロックＹ０、Ｙ１の復号処理を行うために、画像復号部１４１に対して起動信号ＳＡを出力する。

また、復号タイミング制御器１３４は、マクロブロック＃１のブロックＹ２、Ｙ３の復号処理を行うために、画像復号部１４２に対して起動信号ＳＢを出力する。更に、復号タイミング制御器１３４は、マクロブロック＃０のブロックＣｂ、Ｃｒの復号処理を行うために、画像復号部１４３に対して起動信号ＳＣを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様にしてマクロブロック＃３のマクロブロック符号化情報を得る。

画像復号部１４１は、マクロブロック＃０に代えてマクロブロック＃２に関して処理を行う点の他は、期間ＭＩ１と同様の動作を行う。画像復号部１４１は、得られたマクロブロック＃２のブロックＹ０、Ｙ１の復号画像のうち、マクロブロック＃２のブロックＹ２、Ｙ３の復号処理に必要な部分を参照情報として参照情報格納部１３６に格納させる。画像復号部１４２は、マクロブロック＃０に代えてマクロブロック＃１に関して処理を行う点の他は、期間ＭＩ２と同様の動作を行う。

起動信号ＳＣ受け取ると、画像復号部１４３は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部１４２から受け取り、ストリームバッファ１２３から符号化データＣＣを読み出し、読み出された符号化データを復号し、ブロックＣｂ、Ｃｒの復号画像を得る。画像復号部１４３は、得られたブロックＣｂ、Ｃｒの復号画像ＤＣをフレームメモリ１５２に出力する。復号が完了すると、画像復号部１４３は、復号タイミング制御器１３４に対して完了信号ＥＣを出力することによって完了通知を行う。

＜マクロブロック処理期間ＭＩ４＞
完了信号ＥＰ、ＥＡ、ＥＢ及びＥＣを受けると、復号タイミング制御器１３４は、マクロブロック処理期間ＭＩ３の終了を認識し、起動信号ＳＰ、ＳＡ、ＳＢ及びＳＣを出力する。画像復号部１４１、１４２、１４３は、それぞれ、１つ後のマクロブロックを処理する点の他は、期間ＭＩ３と同様の処理を行う。

マクロブロック処理期間ＭＩ５以降においても、処理対象のマクロブロックを期間毎に１つずつ後のマクロブロックとする点の他は、期間ＭＩ３と同様の処理を繰り返して行う。以上のように、パラメータ復号器１３２、画像復号部１４１〜１４３は、マクロブロックに関する処理をパイプライン式に行う。

なお、Ｈ．２６４規格においては、スキップマクロブロックや符号量が０のブロックも存在する。これらのマクロブロックやブロックが存在することは、パラメータＣｏｄｅｄ＿Ｂｌｏｃｋ＿Ｐａｔｔｅｒｎ、Ｍｂ＿Ｓｋｉｐ＿Ｆｌａｇ、又はＭｂ＿Ｓｋｉｐ＿ｒｕｎから判断することができる。このため、画像復号部１４１〜１４３は、パラメータの１つとしてＣｏｄｅｄ＿Ｂｌｏｃｋ＿Ｐａｔｔｅｒｎ又はスキップ情報を受け取ることによって、各ブロックの符号化データが分割ストリームに含まれているかどうかを判断し、Ｃｏｄｅｄ＿Ｂｌｏｃｋ＿Ｐａｔｔｅｒｎの該当ブロックを示すビットが０の場合には少なくとも可変長復号処理は行わない。

参照情報格納部１３６が少なくとも２つの領域を有し、画像復号部１４１〜１４３は、新たなマクロブロックの処理を行う毎に、参照情報格納部１３６の２つの領域に交互に書き込みを行うようにしてもよい。例えば、画像復号部１４１〜１４３は、マクロブロック＃０、＃２、＃４、…の処理結果を参照情報格納部１３６の第１の領域に書き込み、マクロブロック＃１、＃３、＃５、…の処理結果を参照情報格納部１３６の第２の領域に書き込む。

ストリーム分割器１１０が、分割ストリームＳＴＡ、ＳＴＢ、ＳＴＣのそれぞれに、あるマクロブロックのブロックが２つずつ含まれるように入力ビットストリームＩＳＴを分割する場合について説明したが、複数の分割ストリームのそれぞれに、あるマクロブロックのブロックが１つずつ又は３つ以上ずつ含まれるように入力ビットストリームＩＳＴを分割してもよい。この場合には、分割ストリームのそれぞれに対応する、ストリームバッファ及び画像復号部を用いるようにする。

以上のように、図１の画像復号装置によると、マクロブロックを、そのマクロブロックに含まれる１つ以上のブロックを単位として分割するので、ピクチャを構成するスライスの大きさに関係なく、マクロブロックを分割することができる。このため、ピクチャがいかなるスライスで構成されている場合であっても、効率的な並列復号処理を実現できる。例えばピクチャが１つのスライスで構成されている場合や、ピクチャが複数のスライスで構成されているが各スライスの大きさに極端な偏りがある場合であっても、問題なく並列処理を行うことができる。

また、画像復号部は、画面内予測に用いる参照情報として他の画像復号部の復号結果を参照し、かつ、複数の画像復号部がマクロブロック単位で同期して処理するので、分割ストリームの並列復号処理が可能となる。各マクロブロックの符号化データを均等に３分割するので、３つの画像復号部１４１〜１４３における処理の負荷をほぼ均等にすることができる。

したがって、ピクチャを構成するスライスに対する制約がないＨ．２６４等の画像符号化規格に準拠したビットストリームに対して、低消費電力かつ低コストで、並列復号処理を行うことができる。

図１の画像復号装置では画像復号部１４１〜１４３をパイプライン動作させている。しかし、ブロックＣｂ及びＣｒを処理する画像復号部１４３は画像復号部１４１及び１４２の復号結果を用いる必要がないので、画像復号部１４３が画像復号部１４１又は１４２と同時に、同じマクロブロックの処理を行うようにしてもよい。

輝度信号ブロックを復号する画像復号部１４１、１４２と色差信号ブロックを復号する画像復号部１４３とは、同様に構成されていてもよいし、画像復号部１４１、１４２は輝度信号の復号処理に、画像復号部１４３は色差信号の復号処理に特化した構成を有していてもよい。

図８は、図１の画像復号部１４１の構成例を示すブロック図である。画像復号部１４１は、可変長復号部１６１と、逆量子化部１６２と、逆変換部１６３と、動き補償部１６４と、イントラ予測部１６５と、デブロッキングフィルタ１６６とを有している。図１の画像復号部１４２及び１４３も、画像復号部１４１と同様に構成されている。画像復号部１４１〜１４３は、次のように動作することができる。

図９は、図１の画像復号部１４１の動作の例を示すタイミングチャートである。可変長復号部１６１は、期間ＮＩ０、ＮＩ１、ＮＩ２、ＮＩ３、ＮＩ４、…において、マクロブロック＃０、＃１、＃２、＃３、＃４、…に処理をそれぞれ行い、その結果を逆量子化部１６２に出力する。各マクロブロックに対する処理には、図２の６ブロックＹ０〜Ｙ３、Ｃｂ及びＣｒに対する処理を含む。

逆量子化部１６２は、期間ＮＩ１、ＮＩ２、ＮＩ３、ＮＩ４、…において、可変長復号部１６１が期間ＮＩ０、ＮＩ１、ＮＩ２、ＮＩ３、…に行った処理結果に対してそれぞれ処理を行い、その結果を逆変換部１６３に出力する。逆変換部１６３は、期間ＮＩ２、ＮＩ３、ＮＩ４、…において、逆量子化部１６２が期間ＮＩ１、ＮＩ２、ＮＩ３、…に行った処理結果に対してそれぞれ処理を行い、その結果を動き補償部１６４及びイントラ予測部１６５に出力する。

動き補償部１６４及びイントラ予測部１６５は、期間ＮＩ３、ＮＩ４、…において、逆変換部１６３が期間ＮＩ２、ＮＩ３、…に行った処理結果に対してそれぞれ処理を行い、その結果をデブロッキングフィルタ１６６に出力する。デブロッキングフィルタ１６６は、期間ＮＩ４、ＮＩ５、…において、動き補償部１６４及びイントラ予測部１６５が期間ＮＩ３、ＮＩ４、…に行った処理結果に対してそれぞれ処理を行い、その結果を出力する。

このように、画像復号部１４１は、パイプライン処理を行う。画像復号部１４２及び１４３も、図９と同様に動作を行う。

図１０は、輝度信号を処理する図１の画像復号部１４１及び１４２の内部の動作の例を具体的に示すタイミングチャートである。期間ＮＪ０において、画像復号部１４１の可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃０のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。

期間ＮＪ１において、可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃１のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。逆量子化部１６２は、可変長復号部１６１で求められたマクロブロック＃０の復号結果に逆量子化を行い、その結果を逆変換部１６３に出力する。

期間ＮＪ２において、可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃２のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。逆量子化部１６２は、可変長復号部１６１で求められたマクロブロック＃１の復号結果に逆量子化を行い、その結果を逆変換部１６３に出力する。逆変換部１６３は、逆量子化部１６２で求められたマクロブロック＃０の処理結果に逆直交変換を行い、その結果を動き補償部１６４及びイントラ予測部１６５に出力する。

期間ＮＪ３において、可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃３のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。逆量子化部１６２は、可変長復号部１６１で求められたマクロブロック＃２の復号結果に逆量子化を行い、その結果を逆変換部１６３に出力する。逆変換部１６３は、逆量子化部１６２で求められたマクロブロック＃１の処理結果に逆直交変換を行い、その結果を動き補償部１６４及びイントラ予測部１６５に出力する。動き補償部１６４及びイントラ予測部１６５は、逆変換部１６３で求められたマクロブロック＃０の処理結果に動き補償及びイントラ予測を行い、その結果をデブロッキングフィルタ１６６に出力する。

期間ＮＪ４において、可変長復号部１６１は、ストリームバッファ１２１から符号化データＣＹＡを読み出して可変長復号し、得られたマクロブロック＃４のブロックＹ０、Ｙ１の復号結果を逆量子化部１６２に出力する。逆量子化部１６２は、可変長復号部１６１で求められたマクロブロック＃３の復号結果に逆量子化を行い、その結果を逆変換部１６３に出力する。逆変換部１６３は、逆量子化部１６２で求められたマクロブロック＃２の処理結果に逆直交変換を行い、その結果を動き補償部１６４及びイントラ予測部１６５に出力する。動き補償部１６４及びイントラ予測部１６５は、逆変換部１６３で求められたマクロブロック＃１の処理結果に動き補償及びイントラ予測を行い、その結果をデブロッキングフィルタ１６６に出力する。デブロッキングフィルタ１６６は、動き補償部１６４及びイントラ予測部１６５で求められたマクロブロック＃０の処理結果にデブロッキング処理を行い、その結果を復号結果ＤＹＡとして出力する。

画像復号部１４２の可変長復号部、逆量子化部、逆変換部、動き補償部、イントラ予測部、及びデブロッキングフィルタも、各マクロブロックのブロックＹ２、Ｙ３に対して、画像復号部１４１と同様に処理を行う。但し、画像復号部１４２の処理は、期間ＮＪ１から開始される。

このように、画像復号部の内部においてもパイプライン処理を行うようにすると、図６のように処理を行う場合に比べて、各ステージの長さが短くなるので、より高速に処理を行うことができる。

図１１は、図１の画像復号装置の第１の変形例の構成を示すブロック図である。図１１の画像復号装置は、ストリームバッファ１２３に代えてストリームバッファ２２３、２２４を、画像復号部１４３に代えて画像復号部２４３、２４４を有している点が、図１の画像復号装置とは異なっている。ここでは、入力ビットストリームＩＳＴは、カラーフォーマット４：２：２（Ｙ：Ｃｂ（Ｐｂ）：Ｃｒ（Ｐｒ）＝４：２：２）の動画像がＨ．２６４に従って符号化されて得られたビットストリームであるとする。

図１２は、カラーフォーマット４：２：２の場合のマクロブロックに含まれるブロックを示す説明図である。入力ビットストリームＩＳＴの動画像に含まれる各ピクチャは、多数のマクロブロックで構成されている。各マクロブロックは、図１２のように、輝度信号ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、青色差信号ブロックＣｂ０、Ｃｂ１と、赤色差信号ブロックＣｒ０、Ｃｒ１とを有しているとする。輝度信号ブロックＹ０〜Ｙ３は、マクロブロック内において２行２列に配置される。青色差信号ブロックＣｂ０、Ｃｂ１は、マクロブロック内において２行１列に配置される。赤色差信号ブロックＣｒ０、Ｃｒ１は、マクロブロック内において２行１列に配置される。ブロックＹ０〜Ｙ３、Ｃｂ０、Ｃｂ１、Ｃｒ０及びＣｒ１は、いずれも、画面内予測における予測単位である。

各マクロブロックが１６×１６画素に対応する符号化データを有する場合、ブロックＹ０〜Ｙ３、Ｃｂ０、Ｃｂ１、Ｃｒ０及びＣｒ１は、それぞれ８×８画素に対応する符号化データを有する。マクロブロックが対応する画素数は、これには限られず、例えば８×８画素であってもよい。

図１３は、図１１のストリーム分割器２１０におけるビットストリームの分割についての説明図である。以下では、図１１の画像復号装置によるマクロブロック層以下の復号処理動作について説明する。

ストリーム分割器２１０は、入力ビットストリームＩＳＴのビットパターン解析を行い、その解析結果に従って、入力ビットストリームＩＳＴを分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤに分割する。この際、ストリーム分割器２１０は、画素データを求める復号処理は行わない。

ストリーム分割器２１０は、入力ビットストリームＩＳＴの各マクロブロックを、マクロブロックに含まれる１つ以上のブロックに対応する符号化データが分割ストリームＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤのそれぞれに含まれるように、分割する。ここでは、ストリーム分割器２１０は、図１３のように、分割ストリームＳＴＰにはマクロブロックヘッダ、分割ストリームＳＴＡには輝度信号ブロックＹ０及びＹ１の符号化データ、分割ストリームＳＴＢには輝度信号ブロックＹ２及びＹ３の符号化データ、分割ストリームＳＴＣには色差信号ブロックＣｂ０及びＣｒ０の符号化データ、分割ストリームＳＴＤには色差信号ブロックＣｂ１及びＣｒ１の符号化データが含まれるように、入力ビットストリームＩＳＴを分割する。

ストリーム分割器２１０は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤをストリームバッファ１２０、１２１、１２２、２２３、２２４にそれぞれ出力する。ストリームバッファ１２０、１２１、１２２、２２３、２２４は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤをそれぞれ格納する。したがって、ストリームバッファ１２０には各マクロブロックの符号化情報を示す符号化データ、ストリームバッファ１２１には各マクロブロックのブロックＹ０及びＹ１の符号化データ、ストリームバッファ１２２には各マクロブロックのブロックＹ２及びＹ３の符号化データ、ストリームバッファ２２３には各マクロブロックのブロックＣｂ０及びＣｒ０の符号化データ、ストリームバッファ２２４には各マクロブロックのブロックＣｂ１及びＣｒ１の符号化データが格納される。

図１４は、図１１の画像復号装置の動作の例を示すタイミングチャートである。図１１を参照しながら各期間の処理について詳しく説明する。マクロブロック処理期間ＭＩ０〜ＭＩ２については、図６を参照して行った説明と同様であるので、説明を省略する。

＜マクロブロック処理期間ＭＩ３＞
完了信号ＥＰ、ＥＡ及びＥＢを受けると、復号タイミング制御器２３４は、マクロブロック処理期間ＭＩ２の終了を認識し、次のマクロブロック＃３の符号化情報を得るために、起動信号ＳＰを出力してパラメータ復号器１３２を起動する。また、復号タイミング制御器２３４は、マクロブロック＃２のブロックＹ０、Ｙ１の復号処理を行うために、画像復号部１４１に対して起動信号ＳＡを出力する。

また、復号タイミング制御器２３４は、マクロブロック＃１のブロックＹ２、Ｙ３の復号処理を行うために、画像復号部１４２に対して起動信号ＳＢを出力する。更に、復号タイミング制御器２３４は、マクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号処理を行うために、画像復号部２４３に対して起動信号ＳＣを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様にしてマクロブロック＃３のマクロブロック符号化情報を得る。画像復号部１４１及び１４２に関しては、図６と同様であるので、説明を省略する。

起動信号ＳＣ受け取ると、画像復号部２４３は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部１４２から受け取り、ストリームバッファ２２３から符号化データＣＣ０を読み出して復号し、マクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号画像を得る。画像復号部２４３は、得られたブロックＣｂ０、Ｃｒ０の復号画像ＤＣ０をフレームメモリ２５２に出力する。復号が完了すると、画像復号部２４３は、復号タイミング制御器２３４に対して完了信号ＥＣを出力することによって完了通知を行う。画像復号部２４３は、得られたマクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号画像のうち、マクロブロック＃０のブロックＣｂ１、Ｃｒ１の復号処理に必要な部分を参照情報として参照情報格納部２３６に格納させる。

＜マクロブロック処理期間ＭＩ４＞
完了信号ＥＰ、ＥＡ、ＥＢ及びＥＣを受けると、復号タイミング制御器２３４は、マクロブロック処理期間ＭＩ３の終了を認識し、起動信号ＳＰ、ＳＡ、ＳＢ及びＳＣを出力する。画像復号部１４１、１４２、２４３は、それぞれ、１つ後のマクロブロックを処理する点の他は、期間ＭＩ３と同様の処理を行う。

復号タイミング制御器２３４は、マクロブロック＃０のブロックＣｂ１、Ｃｒ１の復号処理を行うために、画像復号部２４３に対して起動信号ＳＤを出力する。パラメータ復号器１３２は、起動信号ＳＰを受け取ると、期間ＭＩ０と同様にしてマクロブロック＃４のマクロブロック符号化情報を得る。

起動信号ＳＤ受け取ると、画像復号部２４４は、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部２４３から受け取り、ストリームバッファ２２４から符号化データＣＣ１を読み出して復号し、マクロブロック＃０のブロックＣｂ１、Ｃｒ１の復号画像を得る。イントラ予測処理で参照が必要なマクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号画像データは、期間ＭＩ３において参照情報として参照情報格納部２３６に格納されている。画像復号部２４４は、復号の際には、マクロブロック＃０のブロックＣｂ０、Ｃｒ０の復号画像及びその他の参照情報を読み出して処理を行う。

画像復号部２４４は、得られたブロックＣｂ１、Ｃｒ１の復号画像ＤＣ１をフレームメモリ２５２に出力する。復号が完了すると、画像復号部２４４は、復号タイミング制御器２３４に対して完了信号ＥＤを出力することによって完了通知を行う。

＜マクロブロック処理期間ＭＩ５＞
完了信号ＥＰ、ＥＡ、ＥＢ、ＥＣ及びＥＤを受けると、復号タイミング制御器２３４は、マクロブロック処理期間ＭＩ４の終了を認識し、起動信号ＳＰ、ＳＡ、ＳＢ、ＳＣ及びＳＤを出力する。画像復号部１４１、１４２、２４３、２４４は、それぞれ、１つ後のマクロブロックを処理する点の他は、期間ＭＩ４と同様の処理を行う。

その後のマクロブロック処理期間においても、処理対象のマクロブロックを期間毎に１つずつ後のマクロブロックとする点の他は、期間ＭＩ４と同様の処理を繰り返して行う。以上のように、パラメータ復号器１３２、画像復号部１４１、１４２、２４３、２４４は、マクロブロックに関する処理をパイプライン式に行う。

以上のように、図１１の画像復号装置によると、画像復号部は、画面内予測に用いる参照情報として他の画像復号部の復号結果を参照し、かつ、複数の画像復号部がマクロブロック単位で同期して処理するので、分割ストリームの並列復号処理が可能となる。各マクロブロックの符号化データを均等に４分割するので、４つの画像復号部１４１、１４２、２４３、２４４における処理の負荷をほぼ均等にすることができる。

なお、画像復号部２４３、２４４は画像復号部１４１及び１４２の復号結果を用いる必要がないので、画像復号部２４３が画像復号部１４１と同時に同じマクロブロックの処理を行い、画像復号部２４４が画像復号部１４２と同時に同じマクロブロックの処理を行うようにしてもよい。

図１５は、図１の画像復号装置の第２の変形例の構成を示すブロック図である。図１５の画像復号装置は、ストリームバッファ１２３に代えてストリームバッファ３２３、３２４、３２５、３２６を、画像復号部１４３に代えて画像復号部３４３、３４４、３４５、３４６を有している点が、図１の画像復号装置とは異なっている。ここでは、入力ビットストリームＩＳＴは、カラーフォーマット４：４：４（Ｙ：Ｃｂ（Ｐｂ）：Ｃｒ（Ｐｒ）＝４：４：４）の動画像がＨ．２６４に従って符号化されて得られたビットストリームであるとする。

図１６は、カラーフォーマット４：４：４の場合のマクロブロックに含まれるブロックを示す説明図である。入力ビットストリームＩＳＴの動画像に含まれる各ピクチャは、多数のマクロブロックで構成されている。各マクロブロックは、図１６のように、輝度信号ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、青色差信号ブロックＣｂ０、Ｃｂ１、Ｃｂ２、Ｃｂ３と、赤色差信号ブロックＣｒ０、Ｃｒ１、Ｃｒ２、Ｃｒ３とを有しているとする。輝度信号ブロックＹ０〜Ｙ３は、マクロブロック内において２行２列に配置される。青色差信号ブロックＣｂ０〜Ｃｂ３は、マクロブロック内において２行２列に配置される。赤色差信号ブロックＣｒ０〜Ｃｒ３は、マクロブロック内において２行２列に配置される。ブロックＹ０〜Ｙ３、Ｃｂ０〜Ｃｂ３、及びＣｒ０〜Ｃｒ３は、いずれも、画面内予測における予測単位である。

各マクロブロックが１６×１６画素に対応する符号化データを有する場合、ブロックＹ０〜Ｙ３、Ｃｂ０〜Ｃｂ３、及びＣｒ０〜Ｃｒ３は、それぞれ８×８画素に対応する符号化データを有する。マクロブロックが対応する画素数は、これには限られず、例えば８×８画素であってもよい。

以下では、図１５の画像復号装置によるマクロブロック層以下の復号処理動作について説明する。ストリーム分割器３１０は、入力ビットストリームＩＳＴのビットパターン解析を行い、その解析結果に従って、入力ビットストリームＩＳＴを分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤ、ＳＴＥ、ＳＴＦに分割する。この際、ストリーム分割器３１０は、画素データを求める復号処理は行わない。

ストリーム分割器３１０は、入力ビットストリームＩＳＴの各マクロブロックを、マクロブロックに含まれる１つ以上のブロックに対応する符号化データが分割ストリームＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤ、ＳＴＥ、ＳＴＦのそれぞれに含まれるように、分割する。ここでは、ストリーム分割器３１０は、分割ストリームＳＴＰにはマクロブロックヘッダ、分割ストリームＳＴＡには輝度信号ブロックＹ０及びＹ１の符号化データ、分割ストリームＳＴＢには輝度信号ブロックＹ２及びＹ３の符号化データ、分割ストリームＳＴＣには色差信号ブロックＣｂ０及びＣｂ１の符号化データ、分割ストリームＳＴＤには色差信号ブロックＣｂ２及びＣｒ３の符号化データ、分割ストリームＳＴＥには色差信号ブロックＣｒ０及びＣｒ１の符号化データ、分割ストリームＳＴＦには色差信号ブロックＣｒ２及びＣｒ３の符号化データが含まれるように、入力ビットストリームＩＳＴを分割する。

ストリーム分割器３１０は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤ、ＳＴＥ、ＳＴＦをストリームバッファ１２０、１２１、１２２、３２３、３２４、３２５、３２６にそれぞれ出力する。ストリームバッファ１２０〜１２２、３２３〜３２６は、分割ストリームＳＴＰ、ＳＴＡ、ＳＴＢ、ＳＴＣ、ＳＴＤ、ＳＴＥ、ＳＴＦをそれぞれ格納する。

復号タイミング制御器３３４は、画像復号部３４３〜３４６に、起動信号ＳＣ、ＳＤ、ＳＥ、ＳＦをそれぞれ出力することによって、画像復号部３４３〜３４６の復号処理の開始タイミングを制御する点の他は、図１の復号タイミング制御器１３４とほぼ同様に構成されている。画像復号部１４１、１４２については、図１の場合と同様であるので説明を省略する。

画像復号部３４３は、復号タイミング制御器３３４からの起動信号ＳＣにより起動され、分割ストリームＳＴＣを格納しているストリームバッファ３２３から符号化データＣＣＡを読み出し、必要に応じてフレームメモリ３５２及び参照情報格納部３３６にアクセスしながら、符号化データＣＣＡを復号する。画像復号部３４３は、復号して得られた復号画像ＤＣＡをフレームメモリ３５２に格納させ、復号が完了したことを示す完了信号ＥＣを復号タイミング制御器３３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部３４４に出力する。

画像復号部３４４は、復号タイミング制御器３３４からの起動信号ＳＤにより起動され、分割ストリームＳＴＤを格納しているストリームバッファ３２４から符号化データＣＣＢを読み出し、必要に応じてフレームメモリ３５２及び参照情報格納部３３６にアクセスしながら、符号化データＣＣＢを復号する。画像復号部３４４は、復号して得られた復号画像ＤＣＢをフレームメモリ３５２に格納させ、復号が完了したことを示す完了信号ＥＤを復号タイミング制御器３３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部３４５に出力する。

画像復号部３４５は、復号タイミング制御器３３４からの起動信号ＳＥにより起動され、分割ストリームＳＴＥを格納しているストリームバッファ３２５から符号化データＣＣＣを読み出し、必要に応じてフレームメモリ３５２及び参照情報格納部３３６にアクセスしながら、符号化データＣＣＣを復号する。画像復号部３４５は、復号して得られた復号画像ＤＣＣをフレームメモリ３５２に格納させ、復号が完了したことを示す完了信号ＥＥを復号タイミング制御器３３４に出力し、マクロブロック符号化情報ＭＢＩを画像復号部３４６に出力する。

画像復号部３４６は、復号タイミング制御器３３４からの起動信号ＳＦにより起動され、分割ストリームＳＴＦを格納しているストリームバッファ３２６から符号化データＣＣＤを読み出し、必要に応じてフレームメモリ３５２及び参照情報格納部３３６にアクセスしながら、符号化データＣＣＤを復号する。画像復号部３４６は、復号して得られた復号画像ＤＣＤをフレームメモリ３５２に格納させ、復号が完了したことを示す完了信号ＥＦを復号タイミング制御器３３４に出力する。

画像復号部３４３〜３４６は画像復号部１４１及び１４２の復号結果を用いる必要がないので、画像復号部３４３、３４５が画像復号部１４１と同時に同じマクロブロックの処理を行い、画像復号部３４４、３４６が画像復号部１４２と同時に同じマクロブロックの処理を行うことができる。

図１５の画像復号装置によると、画像復号部は、画面内予測に用いる参照情報として他の画像復号部の復号結果を参照し、かつ、複数の画像復号部がマクロブロック単位で同期して処理するので、分割ストリームの並列復号処理が可能となる。各マクロブロックの符号化データを均等に６分割するので、６つの画像復号部１４１、１４２、３４３〜３４６における処理の負荷をほぼ均等にすることができる。

図１７は、図１の画像復号装置の第３の変形例の構成を示すブロック図である。図１７の画像復号装置は、画像出力部４５４を更に有する点が、図１の画像復号装置とは異なっている。画像出力部４５４は、画像復号部１４１〜１４３で復号された画像を格納し、１つのマクロブロックに含まれる全てのブロック（ここではブロックＹ０〜Ｙ３、Ｃｂ、及びＣｒ）についての復号された画像が格納されると、そのマクロブロックについての復号された画像を出力する。

図１８は、図１７の画像復号装置の動作の例を示すタイミングチャートである。図１７を参照しながら各期間の処理について詳しく説明する。

＜マクロブロック処理期間ＭＩ０＞
図６の場合と同様である。

＜マクロブロック処理期間ＭＩ１＞
画像復号部１４１は、復号して得られたブロックＹ０、Ｙ１の復号画像ＤＹＡを、フレームメモリ４５２にではなく、画像出力部４５４に出力する。画像出力部４５４は、復号画像ＤＹＡを格納する。以下の期間においても同様である。その他の点は、図６の場合と同様である。

＜マクロブロック処理期間ＭＩ２＞
画像復号部１４２は、復号して得られたブロックＹ２、Ｙ３の復号画像ＤＹＢを、フレームメモリ４５２にではなく、画像出力部４５４に出力する。以下の期間においても同様である。その他の点は、図６の場合と同様である。

＜マクロブロック処理期間ＭＩ３＞
画像復号部１４３は、復号して得られたブロックＣｂ、Ｃｒの復号画像ＤＣを、フレームメモリ４５２にではなく、画像出力部４５４に出力する。以下の期間においても同様である。その他の点は、図６の場合と同様である。

＜マクロブロック処理期間ＭＩ４＞
マクロブロック＃０に含まれる全てのブロックについての復号された画像が画像出力部４５４に格納されると、復号タイミング制御器４３４は、完了信号ＥＰ、ＥＡ、ＥＢ及びＥＣを受ける。すると、復号タイミング制御器４３４は、マクロブロック処理期間ＭＩ３の終了を認識し、起動信号ＳＰ、ＳＡ、ＳＢ、ＳＣ及びＳＯを出力する。

画像出力部４５４は、起動信号ＳＯを受け取ると、復号処理に必要なマクロブロック＃０のマクロブロック符号化情報ＭＢＩを画像復号部１４３から受け取り、マクロブロック＃０に含まれる全ブロックの復号画像ＤＭＢを１マクロブロック単位でフレームメモリ４５２に出力する。フレームメモリ４５２は、復号画像ＤＭＢを格納する。出力が完了すると、画像出力部４５４は、復号タイミング制御器４３４に対して完了信号ＥＯを出力することによって完了通知を行う。その後、画像出力部４５４は、画像復号部１４１〜１４３で復号された復号画像ＤＹＡ、ＤＹＢ、ＤＣを格納する。

マクロブロック処理期間ＭＩ５以降においても、処理対象のマクロブロックを期間毎に１つずつ後のマクロブロックとする点の他は、期間ＭＩ４と同様の処理を繰り返して行う。

図１７の画像復号装置によると、並列に復号処理を行う各画像復号部１４１〜１４３の復号画像を一括して出力する画像出力部４５４を有するので、１マクロブロックのデータをまとめて転送できるようになる。転送されるデータの量が比較的少ない複数回の転送が１回の転送にまとめられるので、転送の際のオーバーヘッドを削減し、必要となるバンド幅の増加を抑えることができる。

次に、動きベクトル予測について説明する。図１９は、動きベクトル予測の際に参照されるブロックの例を示す説明図である。例えばフレーム構造の画像の場合には、図１９のように、復号対象ブロックの画面内で、このブロックの左、上、及び右上に配置される３つのブロックが参照され得る。右上に配置されるブロックが存在しない場合は左上に配置されるブロックが参照される（図３参照）。

画像復号部１４１〜１４３等は、参照情報格納部１３６に格納された参照情報、例えば、ブロックＮＡの動きベクトルＭＶＡ、ブロックＮＢの動きベクトルＭＶＢ、及びブロックＮＣの動きベクトルＭＶＣに基づいて復号対象ブロックの動きベクトルＭＶＴを求め、求められた動きベクトルＭＶＴを参照情報格納部１３６、フレームメモリ１５２等に出力する。参照情報格納部１３６は、他のブロックの動きベクトル予測のための参照情報として動きベクトルＭＶＴを格納する。

次に、ＤＣ／ＡＣ予測について説明する。図２０は、ＤＣ／ＡＣ予測の際に参照されるブロックの例を示す説明図である。例えばフレーム構造の画像の場合には、図２０のように、復号対象ブロックの画面内で、このブロックの左、上、及び左上に配置される３つのブロックが参照され得る（図２０参照）。

図２１（ａ）は、ＤＣ予測についての説明図である。ブロックＮＡのＤＣＴ係数ＤＣＡ、及びブロックＮＢのＤＣＴ係数ＤＣＢは、ＤＣ成分である。画像復号部１４１〜１４３等は、ＤＣＴ係数ＤＣＡ、又はＤＣＢを、復号対象ブロックの対応するＤＣＴ係数（ＤＣ成分）として用いる。図２１（ｂ）は、ＡＣ予測についての説明図である。ブロックＮＡの左端の列のＤＣＴ係数ＡＣＡ及びブロックＮＢの上端の行のＤＣＴ係数ＡＣＢは、ＡＣ成分である。画像復号部１４１〜１４３等は、ＤＣＴ係数ＡＣＡを復号対象ブロックの対応する列のＤＣＴ係数として、又は、ＤＣＴ係数ＡＣＢを復号対象ブロックの対応する行のＤＣＴ係数として用いる。参照情報格納部１３６は、他のブロックのＤＣ／ＡＣ予測のための参照情報として復号対象ブロックのＤＣＴ係数を格納する。

なお、以上の実施形態ではマクロブロックが輝度信号ブロックＹ０〜Ｙ３、及び色差信号ブロック（Ｃｂ及びＣｒ等）を含む場合を例として説明したが、マクロブロックがＲ（red）Ｇ（green）Ｂ（blue）を表す信号のブロックを有していてもよいし、Ｈ（hue）Ｓ（saturation）Ｖ（value）を表す信号のブロックを有していてもよい。

また、以上の実施形態では、２ブロック（例えばブロックＹ０及びＹ１、ブロックＹ２及びＹ３、又はブロックＣｂ及びＣｒ）を分割単位として、各マクロブロックを分割する例について説明したが、分割単位は１ブロックであってもよいし、ブロックに含まれる１以上のサブブロックであってもよい。１つのマクロブロックが４ブロックより多くのブロックで構成されている場合には、３ブロック以上を分割単位として、各マクロブロックを分割してもよい。例えばマクロブロックが１６ブロック（又は１６サブブロック）で構成されている場合には、４ブロック（又は４サブブロック）毎に各マクロブロックを分割してもよい。

ブロックＹ０〜Ｙ３、Ｃｂ０〜Ｃｂ３、及びＣｒ０〜Ｃｒ３がいずれも８×８画素に対応する符号化データを有する場合について説明したが、各ブロックが、例えば縦１６×横８画素、縦８×横１６画素、縦８×横４画素、縦４×横８画素、又は４×４画素に対応する符号化データを有していてもよい。

本発明の多くの特徴及び優位性は、記載された説明から明らかであり、よって添付の特許請求の範囲によって、本発明のそのような特徴及び優位性の全てをカバーすることが意図される。更に、多くの変更及び改変が当業者には容易に可能であるので、本発明は、図示され記載されたものと全く同じ構成及び動作に限定されるべきではない。したがって、全ての適切な改変物及び等価物は本発明の範囲に入るものとされる。

以上説明したように、本発明の実施形態によると、ピクチャを構成するスライスの大きさに関係なく、マクロブロックを分割することができるので、本発明は、画像復号装置等について有用である。本発明は、更には光ディスク再生装置及び記録装置、デジタルテレビジョン受信装置、ムービー装置、並びに携帯電話等としても有用である。

１１０、２１０、３１０ ストリーム分割器
１３２ パラメータ復号器
１３４、２３４、３３４、４３４ 復号タイミング制御器
１３６、２３６、３３６ 参照情報格納部
１４１〜１４３、２４３、２４４、３４３〜３４６ 画像復号部
４５４ 画像出力部

Claims (14)

1. 画面内予測を行って動画像を符号化することによって得られた符号化データを有する入力ビットストリームを処理する画像復号装置であって、
   前記入力ビットストリームを複数の分割ストリームに分割するストリーム分割器と、
   前記複数の分割ストリームをそれぞれ復号する複数の画像復号部とを備え、
   前記ストリーム分割器は、前記動画像のマクロブロックに含まれる前記画面内予測における複数の予測単位のうち、１つ以上の予測単位の符号化データが前記複数の分割ストリームのそれぞれに含まれるように、前記入力ビットストリームを分割する
   画像復号装置。
2. 請求項１に記載の画像復号装置において、
   前記複数の画像復号部のうちの少なくとも１つは、前記複数の画像復号部のうちの他の画像復号部の処理結果を参照して復号を行う
   画像復号装置。
3. 請求項２に記載の画像復号装置において、
   前記複数の画像復号部の復号処理のタイミングを制御する復号タイミング制御器を更に備える
   画像復号装置。
4. 請求項３に記載の画像復号装置において、
   前記複数の画像復号部は、前記復号タイミング制御器から処理を開始すべきことを通知されると、前記複数の画像復号部の間でデータの転送を行う
   画像復号装置。
5. 請求項４に記載の画像復号装置において、
   前記複数の画像復号部の間で転送されるデータには、マクロブロック符号化情報が含まれる
   画像復号装置。
6. 請求項２に記載の画像復号装置において、
   前記複数の画像復号部の処理結果を格納する参照情報格納部を更に備え、
   前記複数の画像復号部のうちの少なくとも１つは、前記他の画像復号部の処理結果を、前記参照情報格納部から読み出して用いる
   画像復号装置。
7. 請求項２に記載の画像復号装置において、
   前記参照情報格納部は、少なくとも２つの領域を有しており、
   前記複数の画像復号部は、マクロブロックの処理毎に、前記参照情報格納部の２つの領域に交互に書き込みを行う
   画像復号装置。
8. 請求項１に記載の画像復号装置において、
   前記複数の画像復号部で復号された画像を格納し、前記マクロブロックに含まれる全ての予測単位についての復号された画像が格納されると、当該マクロブロックについての復号された画像を出力する画像出力部を更に備える
   画像復号装置。
9. 請求項１に記載の画像復号装置において、
   前記ストリーム分割器は、前記入力ビットストリームの解析を行い、前記解析の結果に従って前記入力ビットストリームを、復号することなく分割する
   画像復号装置。
10. 請求項１に記載の画像復号装置において、
    前記ストリーム分割器は、前記複数の分割ストリームのそれぞれに前記マクロブロックの予測単位が１つのみ含まれるように、前記入力ビットストリームを分割する
    画像復号装置。
11. 請求項１に記載の画像復号装置において、
    前記ストリーム分割器は、前記複数の分割ストリームのそれぞれに前記マクロブロックの予測単位が２つ以上含まれるように、前記入力ビットストリームを分割する
    画像復号装置。
12. 請求項１１に記載の画像復号装置において、
    前記ストリーム分割器は、前記動画像のカラーフォーマットが４：２：０であって、前記マクロブロックのそれぞれが前記複数の予測単位として２行２列の４つの輝度信号ブロック、１つの青色差信号ブロック、及び１つの赤色差信号ブロックを有する場合には、
    前記輝度信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第１の分割ストリームとして、前記輝度信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第２の分割ストリームとして、前記青色差信号ブロック及び前記赤色差信号ブロックを前記複数の分割ストリームのうちの第３の分割ストリームとして出力する
    画像復号装置。
13. 請求項１１に記載の画像復号装置において、
    前記ストリーム分割器は、前記動画像のカラーフォーマットが４：２：２であって、前記マクロブロックのそれぞれが前記複数の予測単位として２行２列の４つの輝度信号ブロック、２行１列の２つの青色差信号ブロック、及び２行１列の２つの赤色差信号ブロックを有する場合には、
    前記輝度信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第１の分割ストリームとして、前記輝度信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第２の分割ストリームとして、前記青色差信号ブロックのうちの第１行のブロック及び前記赤色差信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第３の分割ストリームとして、前記青色差信号ブロックのうちの第２行のブロック及び前記赤色差信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第４の分割ストリームとして出力する
    画像復号装置。
14. 請求項１１に記載の画像復号装置において、
    前記ストリーム分割器は、前記動画像のカラーフォーマットが４：４：４であって、前記マクロブロックのそれぞれが前記複数の予測単位として２行２列の４つの輝度信号ブロック、２行２列の４つの青色差信号ブロック、及び２行２列の４つの赤色差信号ブロックを有する場合には、
    前記輝度信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第１の分割ストリームとして、前記輝度信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第２の分割ストリームとして、前記青色差信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第３の分割ストリームとして、前記青色差信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第４の分割ストリームとして、前記赤色差信号ブロックのうちの第１行のブロックを前記複数の分割ストリームのうちの第５の分割ストリームとして、前記赤色差信号ブロックのうちの第２行のブロックを前記複数の分割ストリームのうちの第６の分割ストリームとして出力する
    画像復号装置。

Images