明 細 書
画像復号化方法
技術分野
[0001] 本発明は、ストリームに含まれる符号化されたピクチャを復号化して再生する画像 復号化方法に関する。
背景技術
[0002] 近年、音声や画像などを統合的に扱うマルチメディア時代を迎え、従来からの情報 メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマ ルチメディアの対象として取り上げられるようになつてきた。一般に、マルチメディアと は、文字だけでなぐ図形、音声、特に画像等を同時に関連づけて表すことをいうが 、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル 形式にして表すことが必須条件となる。
[0003] ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もつてみ ると、文字の場合 1文字当たりの情報量は 1〜2バイトであるのに対し、音声の場合 1 秒当たり 64Kbits (電話品質)、さらに動画については 1秒当たり lOOMbits (現行テ レビ受信品質)以上の情報量が必要となり、上記情報メディアでその膨大な情報をデ イジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、 64Kbit /s〜 1. 5Mbits/sの伝送速度を持つサービス総合ディジタル網(ISDN: Integrated Services Digital Network)によってすでに実用化されている力 テレビ'カメラの映像 をそのまま ISDNで送ることは不可能である。
[0004] そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、 I TU— T (国際電気通信連合 電気通信標準化部門)で勧告された H. 261や H. 26 3規格の動画圧縮技術が用いられている。また、 MPEG— 1規格の情報圧縮技術に よると、通常の音楽用 CD (コンパクト 'ディスク)に音声情報とともに画像情報を入れる ことち可會となる。
[0005] ここで、 MPEG (Moving Picture Experts Group)とは、 ISOZlEC (国際標準化機 構 国際電気標準会議)で標準化された動画像信号圧縮の国際規格であり、 MPE
G— 1は、動画像信号を 1. 5Mbpsまで、つまりテレビ信号の情報を約 100分の 1にま で圧縮する規格である。また、 MPEG— 1規格では対象とする品質を伝送速度が主 として約 1. 5Mbpsで実現できる程度の中程度の品質としたことから、さらなる高画質 化の要求をみたすべく規格ィ匕された MPEG— 2では、動画像信号を 2〜 15Mbpsで TV放送品質を実現する。さらに現状では、 MPEG— 1及び MPEG— 2の標準化を 進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11)によって、 MPEG— 1、 MP EG - 2を上回る圧縮率を達成し、更に物体単位で符号ィ匕 '復号化'操作を可能とし 、マルチメディア時代に必要な新 ヽ機能を実現する MPEG— 4が規格ィ匕された。 MPEG— 4では、当初、低ビットレートの符号ィ匕方法の標準化を目指して進められた 力 現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号ィ匕に拡張 されている。
[0006] 更に、 2003年に、 ISOZIECと ITU—Tが共同でより高圧縮率の次世代画像符号 化方式として、 MPEG -4 AVCおよび ITU H. 264が標準化されている(例えば、 非特許文献 1参照。)。 H. 264規格は、現在 HD (High Definition)画像などに適した High Profile対応の改正規格案を策定中である。 MPEG— 2の動画像圧縮技術用 いたアプリケーションとしては、映画などを再生する DVDプレーヤが一般的になって いるが、 BD—ROM (Blu- ray Disk ROM)を用いたプレーヤでは H. 264の圧縮規格 が採用される予定であり、現在そのフォーマット規格の策定段階である。
[0007] 一般に動画像の符号ィ匕では、時間方向および空間方向の冗長性を削減することに よって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測 符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および 予測画像の作成を行 ヽ、得られた予測画像と符号化対象ピクチヤとの差分値に対し て符号化を行う。ここで、ピクチャとは 1枚の画面を表す用語であり、プログレッシブ画 像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味す る。ここで、インタレース画像とは、 1つのフレームが時刻の異なる 2つのフィールドか ら構成される画像である。インタレース画像の符号ィ匕ゃ復号ィ匕処理においては、 1つ のフレームをフレームのまま処理したり、 2つのフィールドとして処理したり、フレーム 内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができ
る。
[0008] 参照画像を持たず画面内予測符号ィ匕を行うものを Iピクチャと呼ぶ。また、 1枚のピ クチャのみを参照し画面間予測符号ィ匕を行うものを Pピクチヤと呼ぶ。また、同時に 2 枚のピクチャを参照して画面間予測符号ィ匕を行うことのできるものを Bピクチヤと呼ぶ 。 Bピクチャは表示時間が前方もしくは後方から任意の組み合わせとして 2枚のピクチ ャを参照することが可能である。参照画像 (参照ピクチャ)は符号ィ匕および復号ィ匕の 基本単位であるブロックごとに指定することができる力 符号ィ匕を行ったストリーム (ビ ットストリーム)中に先に記述される方の参照ピクチャを第 1参照ピクチャ、後に記述さ れる方を第 2参照ピクチヤとして区別する。ただし、これらのピクチャを符号ィ匕および 復号ィ匕する場合の条件として、参照するピクチャが既に符号ィ匕および復号化されて いる必要がある。
[0009] Pピクチャ又は Bピクチャの符号ィ匕には、動き補償画面間予測符号化が用いられて いる。動き補償画面間予測符号化とは、画面間予測符号ィ匕に動き補償を適用した符 号ィ匕方式である。動き補償とは、単純に参照フレームの画素値力 予測するのでは なぐピクチャ内の各部の動き量 (以下、これを動きベクトルと呼ぶ)を検出し、当該動 き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす 方式である。例えば、符号ィ匕対象ピクチヤの動きベクトルを検出し、その動きベクトル の分だけシフトした予測値と符号ィ匕対象ピクチヤとの予測残差を符号ィ匕することによ りデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が 必要になるため、動きベクトルも符号ィ匕されて記録又は伝送される。
[0010] 動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピク チヤ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲 内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより 、動きベクトルが検出される。
[0011] 図 1Aおよび図 1Bは、従来の MPEG2のストリームの構成図である。
[0012] 図 1Aおよび図 1Bに示すように MPEG— 2のストリームは以下のような階層構造を 有している。ストリーム(Stream)は、複数のグループ'ォブ 'ピクチャ(Group Of Pictur e、 GOP)から構成されており、これを符号化処理の基本単位とすることで動画像の編
集やランダムアクセスが可能になっている。グループ'ォブ 'ピクチャは、複数のピクチ ャカも構成され、各ピクチャは、 Iピクチャ、 Pピクチャ又は Bピクチャである。ストリーム 、 GOPおよびピクチャはさらにそれぞれの単位の区切りを示す同期信号 (sync)と当 該単位に共通のデータであるヘッダ(header)力 構成されて 、る。
[0013] 図 2は、他の従来のストリームの構成図である。
[0014] このストリームは、現在 ITU— Tと ISOZIECが共同で標準化中の JVT(H.264/MP EG-4 AVC)に対応する。 JVTでは、ヘッダという概念は無ぐ共通データはストリーム の先頭にパラメータセット PSという名称で配置される。また、 GOPに相当する概念は 無いが他のピクチヤに依存せずに復号ィ匕できる特別なピクチャ単位でデータを分割 すれば GOPに相当するランダムアクセス可能な単位が構成できるので、これをランダ ムアクセスユニット RAUと呼ぶことにする。パラメータセット PSには、各ピクチャのへッ ダに相当するデータであるピクチャパラメータセット PPSと、 MPEG— 2における GO P以上の単位のヘッダに相当するシーケンスパラメータセット SPSがある。各ピクチャ には前記ピクチャパラメータセット PPSおよびシーケンスパラメータセット SPSの何れ を参照するかを示す識別子が付与される。即ち、それぞれ互いに異なる複数のピク チヤパラメータセット PPSおよびシーケンスパラメータセット SPSは、 1回だけ符号ィ匕さ れ、各ピクチャではそのセットの中のどれを参照するかを識別子で示すことで、各ピク チヤ毎に同じ値のパラメータセット(ヘッダ)を何回も符号化する無駄を省き圧縮率を 向上している。ピクチャ番号 PNはピクチャを識別するための識別番号である。なお、 ここでのピクチャ番号 PNとはピクチャの表示の順番を示す番号であって、上記非特 許文献 1に記載された、復号ィ匕順を示す PictureNumberとは異なる。シーケンスパ ラメータセット SPSには、最大参照可能ピクチャ数、画像サイズ等が含まれており、ピ クチャパラメータセット PPSには、可変長符号化のタイプ (ノヽフマン符号化と算術符号 化の切替)、量子化ステップの初期値、参照ピクチャ数等が含まれている。
[0015] 図 3Aおよび図 3Bは、従来の MPEG— 2などで使用されている GOP間の参照状態 の説明図である。
[0016] 図 3Aは、 Closed GOPにおけるピクチャ間の予測構造を示す。同図で斜線をつけ たピクチャは他のピクチャ力 参照されるピクチャである。また、各ピクチャは表示順
で配列している。 Closed GOP構造では IDR (Instantaneous Decoding Refresh)ピク チヤよりも表示時刻で前になる Bピクチャ(B6、 B7)は、 IDRピクチャのみを参照した 予測符号化が可能であり、 GOPを跨いだ参照はできない。また、図 3Bは Open GO Pにおけるピクチャ間の予測構造を示す。同図で斜線をつけたピクチャは図 3Aと同 様に他のピクチャ力も参照されるピクチャである。また、各ピクチャは表示順で配列し ている。 Open GOP構造では Iピクチャ(18)よりも表示時刻で前になる Bピクチャ(B6 、 B7)は、同じ GOP3内のピクチヤに加えて直前の GOP4の Pピクチャ(P5)を参照し た予測符号ィ匕が可能となって 、る。
[0017] MPEG— 2では Pピクチャ(P2、 P5、 Pl l、 P14)は表示時刻が直前 1枚の Iピクチ ャもしくは Pピクチャのみを参照した予測符号ィ匕が可能である。また、 Bピクチャ (B0、 Bl、 B3、 B4、 B6、 B7、 B9、 B10、 B12及び B13)は表示時刻が直前 1枚と直後 1枚 の Iピクチャもしくは Pピクチャを参照した予測符号ィ匕が可能であり、更に、ストリームに 配置される順序も決まって 、る。
[0018] 一方、 H. 264の規格では、符号ィ匕効率 (圧縮率)を大きく向上させるために、非常 に柔軟なピクチャ間の予測構造を導入している。つまり、 Pピクチャは直前 1枚だけの 参照ではなぐ既に復号ィ匕した後のピクチヤで、参照ピクチャのノ ッファに管理されて V、れば、前方後方を問わず複数枚の Iピクチャもしくは Pピクチヤもしくは Bピクチャか ら符号ィ匕ブロックごとに異なるピクチャを 1枚ずつ選択することが可能である。また同 様に、 Bピクチャでは、直前の 1枚と直後の 1枚だけでなぐ前方後方を問わず複数枚 の Iピクチャもしくは Pピクチャもしくは Bピクチャ力も符号ィ匕ブロックごとに異なるピクチ ャを 2枚ずつ選択することが可能である。
[0019] BD— ROMのフォーマット規格では、 Open GOP構造となるストリーム位置でも従 来と同様にランダムアクセスユニット RAUとすることが可能である。ただし、 H. 264規 格のピクチャ間の予測符号ィ匕には例えば次の制限力 Sかかっている。
[0020] (1)ランダムアクセス再生開始点として指定されて 、る Iピクチャの表示時刻で直前 にある Bピクチャ(B6、 B7)は、表示時刻の前後のピクチャを参照する可能性がある ため、ランダムアクセス再生時には表示を行わな!/、。
[0021] (2)ランダムアクセス再生開始点として指定されている Iピクチャの表示時刻後方の
ピクチャからは、その Iピクチャよりも表示時刻で前方のピクチャを参照しては 、けな!/ヽ
[0022] 図 4は、従来の画像復号化方法を実現する画像復号化装置のブロック図である。
[0023] 図 4の画像復号ィ匕装置は、可変長復号ィ匕部 901と、動き補償部 902と、ピクチヤメ モリ 903と、カロ算咅 904と、変換咅 905とを備免ている。
[0024] 可変長復号化部 901は、ストリーム Strを復号ィ匕し、量子化値 Qco、相対インデック ス Ind、ピクチャタイプ Ptyおよび動きベクトル MVを出力する。量子化値 Qco、相対ィ ンデッタス Indおよび動きベクトル MVは、ピクチャメモリ 903、動き補償部 902および 変換部 905に入力され復号化処理が行われる。
[0025] 変換部 905は、量子化値 Qcoを逆量子化して周波数係数に復元し、さらに周波数 係数から画素差分値に逆周波数変換し、加算部 904に出力する。
[0026] 加算部 904は、画素差分値と動き補償部 902から出力される予測画像とを加算し て復号化画像 Voutを生成する。生成した復号ィ匕画像 Voutはピクチャメモリ 903〖こ 保存される。この時、複数のピクチャを参照ピクチヤとして使用することができるように 、参照するピクチャの識別番号を指定するための参照番号湘対インデックス Ind)が ブロックごとに必要となる。そこで、相対インデックス Indと、ピクチャメモリ 903中の各 ピクチャが有するピクチャ番号との対応を取ることにより、相対インデックス Indによつ て参照ピクチャを指定することが可能となる。
[0027] ピクチャメモリ 903は、参照ピクチャリストを備えて、復号ィ匕されて参照に用いられる 参照ピクチャはこの参照ピクチャリストに格納される。また、この参照ピクチャリストは、 参照ピクチャを FIFO (First In First Out)管理するリスト(STRL = Short Term Refere nce List)と、明示的に指定された参照ピクチャをリストに蓄える力破棄するかの管理 を行うリスト(LTRL = Long Term Reference List)とを有する。
[0028] 動き補償部 902は、上記処理によって検出された動きベクトルおよび相対インデッ タス Indを用いて、ピクチャメモリ 903に格納されている復号ィ匕画像から予測画像に最 適な画像領域を取り出す。そして、動き補償部 902は、上述の予測画像を生成して 加算部 904に出力する。
[0029] 次に、相対インデックス Indによってピクチャを指定するために、各ピクチャに付カロ
するピクチャ番号 PNの生成方法について説明する。ここでは、 H. 264で定義されて いる 3つのピクチャ番号 PNの生成方法力も例として 2つの方法の概略を説明する。
[0030] (ピクチャ番号の生成方法例 1)
図 5は、ピクチャ番号の生成方法例 1の説明図である。
[0031] 以下、図 5を用いてピクチャ番号の生成方法例 1を説明する。生成方法例 1では、 復号化処理にぉ 、て変数として管理するオフセット値 Msbと、それぞれのピクチャに 付加されている、オフセット値 Msbからの差分値 (カウント値 lsb)とを加算することによ りピクチャ番号 PNを生成する。
[0032] 図 5において、各ピクチャ Picは I、 Pおよび Bのいずれかのピクチヤであり、画面へ の表示順に並べられている。ただし、復号化順は、 IDR、 · ··、 P3、 Bl、 B2、 P6、 B4 、 B5、 19、 B7、 B8、…の並びで復号化されていることを想定している。 Msblと Msb 2はオフセット値 Msbの値を表しており、 Msbl = 96、 Msb2= 112となっているとす る。
[0033] ピクチャ Picの並びの先頭に示すように、ストリームの開始点や復号ィ匕対象の GOP とその前の GOPの間に参照関係がない場所には、アクセスユニット AUの最初に復 号される Iピクチャとして IDRピクチャが存在する。まず、 IDRピクチャの復号ィ匕時には 、オフセット値 Msbは 0に初期化され、カウント値 lsbも 0となっているので、その IDRピ クチャのピクチャ番号 PNは 0となる。例えば、次の Pピクチャでカウント値 lsbが 3となつ ている場合には、 Msb+lsb = 0 + 3 = 3となり、その Pピクチャに対するピクチャ番号 PNは 3となる。
[0034] また、その次の Bピクチャでカウント値 lsbが 1となっている場合には 0+ 1 = 1で、そ の Bピクチヤに対するピクチャ番号 PNは 1となり、さらにその次の Bピクチャでカウント 値 lsbが 2となって!/、る場合には 0 + 2 = 2で、その Bピクチャに対するピクチャ番号 PN は 2となる。
[0035] ここで、以上に示した動作を繰り返しつつ、カウント値 lsbのビット数が大きくなりすぎ ず、符号ィ匕効率を落とさないように、カウント値 lsbが一定の値 (最大カウント値 Lsb) になると、オフセット値 Msbに最大カウント値 Lsbをカ卩える処理を行い、カウント値 lsb の値が最大カウント値 Lsbを超えないように管理している。例えば、最大カウント値 Ls
b = 16の場合、カウント値 lsbが最大カウント値 Lsbに 6回到達するとオフセット値 Msb は 0+ 16 X 6 = 96の値に更新されて!、ることになる。
[0036] また、ピクチャ P3を復号化する時、オフセット値 Msbが 96に更新されており、カウン ト値 lsb = 12となっている場合、ピクチャ P3のピクチャ番号 PNは 96 + 12 = 108とな る。同様に、ピクチャ Bl、 B2、 P6、 B4及び B5 (復号化順)で、カウント値 lsbが 10、 1 1、 15、 13及び 14となって!/ヽる場合、ピクチャ番号 PNはそれぞれ 107、 108、 111、 109及び 110となる。
[0037] さらに、ピクチャ 19、 B7、 B8及び BIO以降はカウント値 lsbをそのまま増加させると 最大カウント値 Lsbの 16を超えてしまうので、オフセット値 Msb = Msb 1 +最大カウン ト値 Lsb = 96 + 16 = 112のようにオフセット値 Msbを更新することによって、カウント 値 lsbを 16未満の数に抑えている。そこで、ピクチャ 19、 B7、 B8及び BIOにおいて、 カウント値 lsbが 2、 0、 1及び 3となり、ピクチャ番号 PNはそれぞれ 114、 112、 113及 び 115となる。
[0038] 以上のように、ピクチャごとに付加されているカウント値 lsbと復号ィ匕処理で更新管 理するオフセット値 Msbを用いてピクチャ番号 PNを生成し、このピクチャ番号を用い て画面への表示順序や参照ピクチヤの管理を行うことが可能となる。
[0039] (ピクチャ番号の生成方法例 2)
図 6は、ピクチャ番号の生成方法例 2の説明図である。
[0040] 図 6のピクチャ番号の生成方法例 2では、復号化処理において変数として管理され て!、るオフセット値 FNOとそれぞれのピクチャに付加されて!、るフレーム番号 (カウン ト値) fnとを加算し、さらに加算結果を 2倍することによりピクチャ番号 PNを生成する。 なお、非参照のピクチャの場合は、上述の加算結果から 1を減算することにより、その ピクチャに対するピクチャ番号 PNを生成する。
[0041] FNOlと FN02は、オフセット値 FNOの値を表しており、図 6に示した例では FNO 1 = 96、 FN02= 112となって!/ヽる。
[0042] まず、 IDRピクチャを復号化する時に、オフセット値 FNOは 0に初期化され、フレー ム番号 fnも 0となり、その IDRピクチャに対するピクチャ番号 PNは 0となる。次の Bピク チヤでフレーム番号 fnが 1となっている場合には 2 X (オフセット値 FNO +フレーム番
号 fn) = 2 X (0 + 1) = 2となり、その Bピクチャに対するピクチャ番号 PNは 2となる。
[0043] また、その次の Bピクチャでフレーム番号 fnが 2となっている場合には 2 X (0 + 2) =
4で、その Bピクチャに対するピクチャ番号 PNは 4となり、さらにその次の Pピクチャで フレーム番号フレーム番号 fnが 3となっている場合には 2 X (0 + 3) =6で、その Pピク チヤに対するピクチャ番号 PNは 6となる。
[0044] フレーム番号 fnが直前に復号ィ匕したピクチャのフレーム番号よりも小さくなる場合は
、オフセット値 FNOに最大フレーム番号 MFNをカ卩える処理を行い、オフセット値 FN
Oを更新する。
[0045] これは、フレーム番号の取り得る値を一定以下に制限して符号ィ匕ビット量を削減し つつ、大きな値のピクチャ番号 PNも表現できるようにするための仕組みである。図 6 では、例えばフレーム番号 fnが直前に復号ィ匕したピクチャのフレーム番号よりも小さ くなることが 6回発生した場合のオフセット値 FNOが FNOlとなり、 7回目の発生で F N02の状態に更新して 、ることを示して 、る。
[0046] 例えば、ピクチャ Picの中のピクチャ B1を復号化する時、オフセット値 FNOが 96に 更新されており、フレーム番号 fn= 10となっているとすると、ピクチャ B1のピクチャ番 号 PNは 2 X (96 + 10) = 212となる。同様に、ピクチャ B2、 P3、 B4、 B5及び P6 (復 号化順)で、フレーム番号 fnが 11、 12、 13、 14及び 15となっている場合、ピクチャ番 号 PNはそれぞれ 214、 216、 218、 220及び 222となる。
[0047] また、ピクチャ B7を復号化する時、フレーム番号 fn力 ^になっていたとすると、直前 のピクチャのフレーム番号である 15よりも小さな値となるため、オフセット値 FNOが更 新され、オフセット値 FNO = FNO 1 +最大フレーム番号 MFN = 96 + 16 = 112とな る。従って、ピクチャ B7のピクチャ番号 PNは 2 X (112 + 0) = 224となり、同様にピク チヤ B8、 19及び BIOにおいて、フレーム番号 fnが 1、 2、 3となっている場合、ピクチャ 番号 PNはそれぞれ 226、 228及び 230となる。
[0048] 従って、ピクチャ番号の生成方法例 1と同様に、ピクチャごとに付加されているフレ ーム番号 fnの値と復号ィ匕処理で更新管理するオフセット値 FNOを用いてピクチャ番 号 PNを生成することができ、このピクチャ番号を用いて参照ピクチヤの管理を行うこと が可能となる。なお、ピクチャ番号の生成方法例 2では、復号ィ匕順と表示順は等しく
なる。
非特許文献 l : ISO/IEC 14496-10, International Standard: "Information technology - Coding of audio-visual objects - Part 10: Advanced video coding" (2003-12-01) . pp. 82-100
発明の開示
発明が解決しょうとする課題
[0049] し力しながら、上記従来の画像復号化方法では、ランダムアクセス再生が行われた ときに、不適切なピクチャを参照して復号ィ匕対象のピクチャを復号ィ匕してしまうという 問題がある。
[0050] 例えば BD— ROMにおいてランダムアクセス再生を行う時、ランダムアクセス再生 の開始点として指定されているストリームの位置が Open GOP構造をとっている場合 には、上述の BD— ROMのフォーマット制限だけでは正常な復号化処理ができない ことがある。
[0051] 従来の MPEG— 2などの画面間動き補償予測でのピクチャ参照の関係では、上述 のような問題は生じない。このような場合には、 Bピクチャによって参照されるピクチャ 力 その Bピクチャの前後の Iピクチャもしくは Pピクチャの 1枚に限定されているため、 Open GOPへのランダムアクセス再生が発生しても、再生開始点の Iピクチャよりも表 示順で前に位置する Bピクチヤのみの復号ィ匕と表示を行わな 、ことだけで、 Iピクチャ 力 正常に復号ィ匕処理することができる。
[0052] しかし、 H. 264規格の場合、複数枚の参照画像を選択できるため、 Open GOP構 造をとるランダムアクセスポイント(Random Access Point, RAP)からのランダムァクセ ス再生 (特殊再生)が発生した場合には、本来通常の連続再生でピクチャメモリ 103 に蓄えられているはずの再生開始位置より前の再生情報がないためピクチャ番号を 正常に生成できな 、ことがある。
[0053] 即ち、ランダムアクセス再生が行われたときには、参照ピクチャリストのピクチャに対 するピクチャ番号に基づく管理が乱れ、その結果、適切なピクチャを参照してストリー ムに含まれる各ピクチャを正常に復号ィ匕することができないという問題が生じるのであ る。
[0054] 以下、ランダムアクセス再生時にピクチャ番号の生成が正常にできず、参照ピクチ ャリストの管理に悪影響を与え、参照ピクチヤの選択が異常となる状況に関して 2つの 例を用いて説明する。
[0055] (ピクチャ番号の生成方法例 1を用いた誤動作例)
図 7は、ピクチャ番号の生成方法例 1による STRLの管理方法の説明図である。な お、この図 7は、図 5の復号ィ匕の流れに従った場合に FIFOにより管理される STRL の状態を示す。ここでは、説明を簡単にするため、 STRLは 4枚の参照ピクチャを管 理している。図 5と同様に、 PNはピクチャ番号を表し、 Picは復号化対象のピクチャを 表している力 異なる点としてピクチャ Picの並びは復号ィ匕順としている。 RAPはラン ダムアクセスポイントを示しており、ストリームは Open GOPの構造となっているものと する。また、 STRL (a)〜(f)は、それぞれ FIFO管理の STRLの状態を示しており、ピ クチャの復号ィ匕に伴う STRLの状態遷移を表して 、る。
[0056] ランダムアクセスユニット RAUが Closed GOP構造となっている時は、最初に IDR ピクチャが復号ィ匕される。この時 STRLで管理される各領域は全て空 (empty)になり( STRL (a)の状態)、ピクチャ番号 PNは 0に初期化される。次に、 IDRピクチャの復号 化後に、 STRLに IDRピクチャが挿入される(STRL (b)の状態)。以降、新規に参照 ピクチャとして管理する必要のあるピクチャ Picが復号ィ匕された後には、 STRLにおい て FIFO管理に従って参照ピクチヤの破棄と追カ卩が行われる。
[0057] 例えば、ピクチャ番号 PNが 108のピクチャ P3が参照ピクチヤとして復号化された場 合、 STRLカもピクチャ番号 PNが 99より小さいピクチャが非参照ピクチヤとなり、新た にピクチャ番号 PNが 108のピクチャ P3が参照ピクチヤとして STRLに追加される(ST RL (c)の状態)。また、ピクチャ番号 PNが 106、 107のピクチャ Bl、 B2が非参照ピク チヤとして復号化され、ピクチャ番号 PNが 111のピクチャ P6が参照ピクチヤとして復 号化された場合、 STRLカもピクチャ番号 PNが 99のピクチャ Pxが非参照ピクチヤと なり、新たにピクチャ番号 PNが 111のピクチャ P6が参照ピクチヤとして STRLに追カロ される(STRL (d)の状態)。
[0058] さらに、ピクチャ番号 PNが 109、 110のピクチャ B4、 B5が非参照ピクチヤとして復 号化され、ランダムアクセスポイント RAPを跨いで、ピクチャ番号 PNが 114のピクチャ
19が参照ピクチヤとして復号ィ匕された場合、 STRLカもピクチャ番号 PNが 102のピク チヤ Pyが非参照ピクチヤとなり、新たにピクチャ番号 PNが 114のピクチャ 19が参照ピ クチャとして STRLに追加される (STRL (e)の状態)。
[0059] 続いて、ピクチャ番号 PNが 112、 113のピクチャ87、 B8が非参照ピクチヤとして復 号化され、ピクチャ番号 PNが 117のピクチャ P 12が参照ピクチヤとして復号ィ匕された 場合、 STRLカもピクチャ番号 PNが 105のピクチャ Pzが非参照ピクチヤとなり、新た にピクチャ番号 PNが 117のピクチャ P 12が参照ピクチヤとして STRLに追加される(S TRL (f)の状態)。以降同様に、ピクチャ番号 PNが 115、 116のピクチャ B10、 B11が 非参照ピクチヤとして復号化され、参照ピクチヤの管理が続けて行われる。
[0060] STRLで管理される各参照ピクチャは、相対インデックス Indで指定されるために、 復号ィ匕対象のピクチャが Pピクチャであれば片方向参照用の 1つのリストに、 Bピクチ ャであれば両方向参照用の 2つのリストに並び替えられる。 LO— for— Bll— n (LOリス ト)と LI— for— B 11— n (L 1リスト)は、ピクチャ番号 PNが 116のピクチャ B 11を復号化 する時に生成されるリストである。復号ィ匕対象のピクチャが Bピクチャの場合、まず、 S TRLの参照ピクチヤのうち、復号ィ匕対象のピクチャ番号と比べてピクチャ番号が小さ い参照ピクチヤが、復号化対象ピクチヤに近い順に並べられ、次に、 STRLの参照ピ クチャのうち、復号ィ匕対象のピクチャ番号と比べてピクチャ番号が大き 、参照ピクチャ 力 復号化対象ピクチヤに近い順に並べられる。これにより上述の L0リストが生成さ れる。さらに、 STRLの参照ピクチヤのうち、復号ィ匕対象のピクチャ番号と比べてピク チヤ番号が大きい参照ピクチャ力 復号化対象ピクチヤに近い順に並べられ、次に、 STRLの参照ピクチヤのうち、復号ィ匕対象のピクチャ番号と比べてピクチャ番号が小 さい参照ピクチヤが、復号化対象ピクチヤに近い順に並べられる。これにより上述の L 1リストが生成される。相対インデックス Indを用いて、それぞれのリストからピクチャを 1枚ずつ指定することにより、参照ピクチヤが決定される。
[0061] また、 Refldxは、相対インデックス Indのリストを示し、 L0リストと L1リストのそれぞれ における参照ピクチヤの並びと対応するように各相対インデックス Indを示す。例えば 、 LO— for— Bll— nの場合、相対インデックス(indexO)によってピクチャ番号 PNが 11 4のピクチャ 19が選択され、以下同様に、相対インデックス (indexl)によってピクチャ
番号 PNが 111のピクチャ P6が選択され、相対インデックス(index2)によってピクチャ 番号 PNが 108のピクチャ P3が選択され、相対インデックス(index3)によってピクチャ 番号 PNが 117の P 12ピクチャが選択される。
[0062] ところが、上述のようなピクチャ番号 PNの生成方法では、ランダムアクセスが発生 すると、 LOリストと L1リストを適切に管理することができない場合がある。
[0063] 図 8は、ピクチャ番号の生成方法例 1によって管理されるリストによって、誤動作が 生じる例を説明するための説明図である。この図 8に示す例は、図 7のピクチャ P3より 4枚前のピクチャ番号 PNが 101番の Bピクチャを復号化した直後にピクチャ 19からス キップ再生 (ランダムアクセス再生)が行われた場合の例を示したものである。図 8に おいて図 7と同じ記号のものは同じ意味のものであるとして説明を省略する。
[0064] 図 8中の STRL (g)はピクチャ番号 PNが 101の STRLの状態を示している。また、 ST RL (h)は、前述のピクチャ番号 PNが 101の Bピクチヤの位置からピクチャ 19にスキッ プし、ピクチャ 19を復号ィ匕した後の STRLの状態を示している。ここで、スキップ動作 を行った場合には、その間のピクチャ P3、 Bl、 B2など(図中では斜線をつけたピク チヤ Pic)は復号化されない。そのため、 STRLは、 STRL (g)の状態から更新され、ォ フセット値 Msbは、その前のオフセット値 Msb (96)に維持される。従って、ピクチャ 19 、 B7及び B8のピクチャ番号はそれぞれ、 Msb +lsb = 96 + 2 = 98、 Msb +lsb = 96 + 0 = 96、及び Msb +lsb = 96 + l = 97のように生成される。ただし、ランダムァクセ ス時には、 Iピクチャの表示順で直前となる Bピクチャは復号ィ匕する必要がな 、ので、 図 8中の横線を付けて示すピクチャ B7, B8は復号ィ匕されない。また、同様にピクチャ P12のピクチャ番号は 101、ピクチャ B10のピクチャ番号は 99、ピクチャ B11のピク チヤ番号は 100としてそれぞれ生成される。
[0065] また、それぞれのピクチャに付加したピクチャ番号 PNの値と復号化対象のピクチャ 番号 PNとによって LOリストと L1リストが生成される。したがって、ピクチャ番号 PNが 1 00となるピクチャ Bl 1が復号化対象となって!/、る場合、 LOリスト(LO— for— Bl 1— rl) と L1リスト(LI— for— Bl l— rl)とはそれぞれ「# 99 : Px、 # 98 : 19、 # 101 : P12、 # 102 : Py」及び「# 101 : P12、 # 102 : Py、 # 99 : Px、 # 98 : 19」となる。
[0066] ところが、通常の連続再生の場合には、図 7に示すように、相対インデックス (indexO
)を用いれば LOリストからピクチャ 19を参照できる力 ランダムアクセス再生が行われ た場合には、図 8に示すように、上述と同様に相対インデックス (indexO)を用いてもピ クチャ 19を参照できず、誤ってピクチャ Pxを参照してしまう。即ち、ランダムアクセス再 生が行われたときには、不適切なピクチャを参照して復号ィ匕対象のピクチャを復号ィ匕 してしまう。
[0067] (ピクチャ番号の生成方法例 2の誤動作例)
図 9は、ピクチャ番号の生成方法例 2による STRLの管理方法の説明図である。
[0068] ピクチャ番号 PNの管理できる最大値を最大ピクチャ番号 MPNとし、ピクチャ 10の 場所が Open GOPのランダムアクセスポイント RAPとして指定されており、通常の連 続再生ではピクチャ 10の復号ィ匕時点でオフセット値 FNOが最大ピクチャ番号 MPN —最大フレーム番号 MFN+ 1の値になる。また、ピクチャ P8までの復号ィ匕を行った 時点で、ピクチャ P8のピクチャ番号は最大ピクチャ番号 MPNとなり、 Open GOPが 閉じられ、次の IDRピクチャ力も Closed GOPとして新たな GOP構造が始まる。また 、各ピクチャ 10、 Bl、 B2、 · ··、 B6、 B7、 P8の復号ィ匕において、フレーム番号 fnがそ れぞれ 0、 1、 2、 · ··、最大フレーム番号 MFN— 3、最大フレーム番号 MFN— 2、最 大フレーム番号 MFN— 1となる時、上記各ピクチャのピクチャ番号 PNは、 2 X (最大 ピクチャ番号 MPN—最大フレーム番号 MFN+ 1)、 2 X (最大ピクチャ番号 MPN— 最大フレーム番号 MFN + 2)、 2 X (最大ピクチャ番号 MPN—最大フレーム番号 M FN + 3)、 · ··、 2 X (最大ピクチャ番号 MPN— 2)、 2 X (最大ピクチャ番号 MPN— 1) 、 2 X (最大ピクチャ番号 MPN)となる。
[0069] ここで、再生位置がピクチャ B4力 ランダムアクセスポイント RAPに後方ジャンプ(B ackjamp)した場合について説明する。この場合、ピクチャ B4のフレーム番号 fnは最 大フレーム番号 MFN— 5であり、ジャンプ後に復号化を行うピクチャ 10のフレーム番 号 fnは 0であるので、(ピクチャ B4のフレーム番号 fn) > (ピクチャ 10のフレーム番号 f n)となる。したがって、フレーム番号 fnが小さくなるため、オフセット値 FNOは、最大 ピクチャ番号 MPN—最大フレーム番号 MFN+ 1から、最大フレーム番号 MFNを加 算した最大ピクチャ番号 MPN+ 1に更新される。従って、ピクチャ 10のピクチャ番号 PNは 2 (オフセット値 FNO +フレーム番号 fn) = 2 (最大ピクチャ番号 MPN + 1 + 0)
= 2 (最大ピクチャ番号 MPN+ 1)となってしまう。
[0070] つまり、ピクチャ番号 PNは、管理可能な最大の値である最大ピクチャ番号 MPNを 超えてしまうため、ピクチャ番号 PNのビット精度によってはピクチャ番号 PNがマイナ スの値になってしまう可能性が生じる。もし、マイナスの値が付けられてしまえば、そ のピクチャ番号 PNが STRLの中で一番小さくなつてしまうため、(ピクチャ番号の生 成方法例 1を用いた誤動作例)と同様に、 LOリストと L1リストが通常の連続再生とは 異なる状態になってしまう。その結果、相対インデックス Indを用いて正常な参照ピク チヤの指定が出来なくなってしまうため、以降の復号ィ匕が正常には行われないという 誤動作が引き起こされる。
[0071] そこで、本発明は、力かる問題に鑑みてなされたものであって、ランダムアクセス再 生が行われたときにおいても、適切なピクチャを参照して復号ィ匕対象のピクチャを復 号化する画像復号化方法を提供することを目的とする。
課題を解決するための手段
[0072] 上記目的を達成するために、本発明に係る画像復号化方法は、ストリームに含まれ る符号化された複数のピクチャを、既に復号化されてメモリに格納されたピクチャを参 照して復号ィ匕する画像復号ィ匕方法であって、前記ストリームに含まれる各ピクチャを 順に復号化し、前記各ピクチャのうち参照に用いられるピクチャを前記メモリに格納し て管理する第 1の格納ステップと、ランダムアクセス再生が指定されたか否かを判別 する判別ステップと、前記判別ステップでランダムアクセス再生が指定されたと判別さ れたときには、前記メモリ内でピクチャを管理するための管理状態を変更する状態変 更ステップと、前記状態変更ステップで変更された管理状態を初期状態として、前記 ランダムアクセス再生先力もの各ピクチャを順に復号ィ匕し、前記各ピクチャのうち参照 に用いられるピクチャを前記メモリに格納して管理する第 2の格納ステップとを含むこ とを特徴とする。例えば、前記ストリームに含まれる符号ィ匕された複数のピクチャは、 アクセス単位でグループ分けされており、前記判別ステップでは、他のアクセス単位 のピクチャを参照することが許されたアクセス単位からのランダムアクセス再生が指定 されたカゝ否かを判別する。また、前記第 1及び第 2の格納ステップでは、復号化され た各ピクチャを識別するためのピクチャ番号を生成して前記各ピクチャに付与するこ
とで、前記参照に用いられるピクチャを管理し、前記状態変更ステップでは、前記ピク チヤ番号を生成するためのオフセット値を前記管理状態として更新する。
[0073] ランダムアクセス再生が指定されたときには、従来では、オフセット値が更新されな 力つたり、オフセット値が必要以上に大きく更新されたりすることで不適切なピクチャ 番号が生成されてしまい、その結果、メモリに格納されるピクチャをそのピクチャ番号 を用いて適切に管理することができな力つた。そこで、本発明に係る画像復号化方法 では、ランダムアクセス再生が指定されたときには、それまでのオフセット値などのピ クチャを管理するための管理状態が変更されて、その変更された管理状態を初期状 態としてランダムアクセス再生が行われるため、適切なピクチャ番号を生成してメモリ に格納されるピクチャを正常に管理することができる。その結果、適切なピクチャを参 照してランダムアクセス再生先力 の復号ィ匕対象の各ピクチャを復号ィ匕することがで きる。従って、 H. 264規格を用いた BD— ROMフォーマット規格において、通常の 連続再生もランダムアクセス再生も正常に行うことが可能となる。
[0074] また、前記第 1の格納ステップでは、復号ィ匕対象のアクセス単位に含まれる全ての ピクチャが復号化されるごとに、前記オフセット値を大きくなるように更新しながら、前 記ストリームのアクセス単位ごとに各ピクチャに割り当てられたカウント値と前記オフセ ット値とを用いて、復号化された各ピクチャに対するピクチャ番号を生成し、前記状態 変更ステップでは、前記オフセット値を大きくなるように更新し、前記第 2の格納ステツ プでは、前記更新されたオフセット値を初期状態として、復号化対象のアクセス単位 に含まれる全てのピクチャが復号ィ匕されるごとに、前記オフセット値を大きくなるように 更新しながら、前記カウント値とオフセット値とを用いて、前記ランダムアクセス再生先 からの復号化された各ピクチャに対するピクチャ番号を生成することを特徴としても良 い。
[0075] これにより、ランダムアクセス再生が指定されたときには、アクセス単位に含まれる全 てのピクチャが復号ィ匕されるごとにオフセット値を大きくさせるのと同様に、オフセット 値が大きく更新されるため、ランダムアクセス再生先からのピクチャに対するピクチャ 番号力 それまでのピクチャに対するピクチャ番号よりも小さくなつてしまうことを防ぎ 、メモリに格納されるピクチャを正常に管理することができる。
[0076] 例えば、前記第 1及び第 2の格納ステップと前記状態変更ステップでは、少なくとも アクセス単位におけるカウント値の最大値だけ大きくなるように前記オフセット値を更 新する。
[0077] これにより、ランダムアクセス再生先からのピクチャに対するピクチャ番号力 それま でのピクチヤに対するピクチャ番号よりも小さくなつてしまうことを確実に防ぐことがで きる。
[0078] また、前記第 1及び第 2の格納ステップでは、復号化された各ピクチャを識別するた めのピクチャ番号を生成して前記各ピクチャに付与することで、前記参照に用いられ るピクチャを管理し、前記状態変更ステップでは、前記メモリに格納されている全ての ピクチャを非参照の状態に変更することで、前記管理状態を変更することを特徴とし ても良い。
[0079] これにより、ランダムアクセス再生が指定されたときには、それまでにメモリに格納さ れている全てのピクチャが非参照の状態に変更されるため、ランダムアクセス再生前 にメモリに格納されたピクチャと、ランダムアクセス再生後にメモリに格納されるピクチ ャとの間で、ピクチャ番号に基づく管理に乱れが生じるのを防ぐことできる。その結果 、適切なピクチャを参照してランダムアクセス再生先からの復号ィ匕対象の各ピクチャ を復号ィ匕することができる。
[0080] また、前記第 1及び第 2の格納ステップでは、復号化された各ピクチャを識別するた めのピクチャ番号を生成して前記各ピクチャに付与することで、前記参照に用いられ るピクチャを管理し、前記第 1の格納ステップでは、復号化対象のピクチャのカウント 値が直前に復号化されたピクチャのカウント値よりも小さくなるごとに、前記ピクチャ番 号を生成するためのオフセット値を大きくなるように更新しながら、前記ストリームのァ クセス単位ごとに各ピクチャに割り当てられたカウント値と前記オフセット値とを用いて 、復号化された各ピクチャに対するピクチャ番号を生成し、前記状態変更ステップで は、前記管理状態として存在する前記オフセット値を小さくなるように更新し、前記第 2の格納ステップでは、前記更新されたオフセット値を初期状態として、復号化対象 のピクチャのカウント値が直前に復号ィ匕されたピクチャのカウント値よりも小さくなるご とに、前記オフセット値を大きくなるように更新しながら、前記カウント値とオフセット値
とを用いて、前記ランダムアクセス再生先力もの復号ィ匕された各ピクチャに対するピク チヤ番号を生成することを特徴としても良い。例えば、前記状態変更ステップでは、 前記オフセット値を 0に更新する。
[0081] ランダムアクセス再生が指定されたときには、従来では、オフセット値が必要以上に 大きく更新されることで不適切なピクチャ番号が生成されてしまい、その結果、メモリ に格納されるピクチャをそのピクチャ番号を用いて適切に管理することができなかつ た。そこで、本発明に係る画像復号化方法では、ランダムアクセス再生が指定された ときには、それまでのオフセット値が小さくなるように変更されて、且つ、メモリ内のピク チヤが非参照の状態に変更されて、その変更された管理状態を初期状態としてラン ダムアクセス再生が行われるため、適切なピクチャ番号を生成してメモリに格納される ピクチャを正常に管理することができる。その結果、適切なピクチャを参照してランダ ムアクセス再生先力もの復号ィ匕対象の各ピクチャを復号ィ匕することができる。つまり、 ランダムアクセス再生が指定されたときには、前記オフセット値が小さく更新されるた め、ピクチャ番号が異常に大きくなることを要因にしてピクチャ番号に基づく管理に乱 れが生じてしまうのを防ぐことができる。
[0082] また、前記第 2の格納ステップでは、さらに、前記メモリに非参照の状態にされたピ クチャがあるときには、前記ピクチャを直前に格納された参照可能なピクチャに置き 換えることを特徴としても良い。
[0083] これにより、さらに適切なピクチャを参照することができる。
[0084] また、前記第 2の格納ステップでは、さらに、ランダムアクセス再生の開始に基づく 開始情報を用いて前記メモリに格納されるピクチャを管理することを特徴としても良い 。例えば、前記第 2の格納ステップでは、ランダムアクセス再生が開始されるごとに更 新されるランダムアクセス番号を前記開始情報として用いる。
[0085] 従来では表示時刻の最も古!、ピクチャを特定してそのピクチャをメモリから破棄して いたが、ランダムアクセス再生が多く指定されると、表示されていないにも関わらずピ クチャが破棄されてしまうことがある。そこで、本発明に係る画像復号化方法では、ラ ンダムアクセス番号を用いてピクチャを管理することで、表示されて ヽな 、ピクチャを メモリに残しておくことができる。
[0086] また、前記メモリは、ピクチャに対する管理態様が互いに異なる第 1及び第 2の格納 領域を有し、前記状態変更ステップでは、さらに、ランダムアクセス再生先に応じて、 前記第 1及び第 2の格納領域の大きさを相補的に変更することを特徴としても良い。 例えば、前記第 1の格納領域では、ピクチャが新たに格納されるときには、最も古く格 納されたピクチャが破棄され、前記第 2の格納領域では、ピクチャが新たに格納され るときには、指定されたピクチャが破棄される。
[0087] これにより、第 1及び第 2の格納領域の大きさが、通常の連続再生とランダムァクセ ス再生とで異なってしまうことを防ぎ、メモリに格納されるピクチャを正常に管理するこ とがでさる。
[0088] また、前記第 1及び第 2の格納ステップでは、復号化された各ピクチャを識別するた めのピクチャ番号を生成して前記各ピクチャに付与することで、前記参照に用いられ るピクチャを管理し、前記状態変更ステップでは、メモリに格納されているピクチャの ピクチャ番号を、ランダムアクセス再生先のピクチャのピクチャ番号よりも小さなピクチ ャ番号に変更することを特徴としてもょ 、。
[0089] これにより、ランダムアクセス再生によって復号ィ匕されな力つたピクチャ力 あたかも 通常通り復号ィ匕されてメモリに格納された状態となる。その結果、適切なピクチャを参 照してランダムアクセス再生先力 の復号ィ匕対象の各ピクチャを復号ィ匕することがで きる。
[0090] また、前記状態変更ステップでは、メモリに格納されて 、るピクチャを、ランダムァク セス再生先のピクチャのピクチャ番号よりも小さなピクチャ番号を有するダミーピクチ ャに置き換えることを特徴としてもよい。例えば、前記ダミーピクチャは、前記ストリー ムに含まれて 、な 、ピクチャや、前記第 1の格納ステップで復号ィ匕されたピクチャで ある。
[0091] これにより、上述と同様、ランダムアクセス再生によって復号ィ匕されな力つたピクチャ 力 あた力も通常通り復号ィ匕されてメモリに格納された状態となる。その結果、適切な ピクチャを参照してランダムアクセス再生先力 の復号ィ匕対象の各ピクチャを復号ィ匕 することができる。
[0092] なお、本発明は、このような画像復号ィ匕方法として実現することができるだけでなく
、その方法を用いて動作する画像復号ィヒ装置や集積回路、その方法に基づく動作 をコンピュータに実行させるプログラム、そのプログラムを格納する記憶媒体としても 実現することができる。
発明の効果
[0093] 本発明の画像復号化方法は、ランダムアクセス再生が行われたときにおいても、適 切なピクチャを参照して復号ィ匕対象のピクチャを復号ィ匕することができるという作用効 果を奏する。
図面の簡単な説明
[0094] [図 1A]図 1Aは、従来の MPEG2のストリームの構成図である。
[図 1B]図 1Bは、従来の MPEG2のストリームの他の構成図である。
[図 2]図 2は、他の従来のストリームの構成図である。
[図 3A]図 3Aは、従来の MPEG— 2などで使用されている GOP間の参照状態の説明 図である。
[図 3B]図 3Bは、従来の MPEG— 2などで使用されている他の GOP間の参照状態の 説明図である。
[図 4]図 4は、従来の画像復号化方法を実現する画像復号化装置のブロック図である
[図 5]図 5は、ピクチャ番号の生成方法例 1の説明図である。
[図 6]図 6は、ピクチャ番号の生成方法例 2の説明図である。
[図 7]図 7は、ピクチャ番号の生成方法例 1による STRLの管理方法の説明図である。
[図 8]図 8は、ピクチャ番号の生成方法例 1によって管理されるリストによって、誤動作 が生じる例を説明するための説明図である。
[図 9]図 9は、ピクチャ番号の生成方法例 2による STRLの管理方法の説明図である。
[図 10]図 10は、本発明の実施の形態 1の画像復号化方法を実現する画像復号化装 置のブロック図である。
[図 11]図 11は、同上の画像復号ィ匕装置の動作の一例を示すフロー図である。
[図 12]図 12は、同上のピクチャ番号生成部の動作を示すフロー図である。
[図 13]図 13は、同上のピクチャメモリの様子を説明するための説明図である。
[図 14]図 14は、同上の変形例 1に係る L0リストの生成方法を説明するための説明図 である。
[図 15]図 15は、同上の変形例 2に係る LOリストおよび L1リストの生成方法を説明する ための説明図である。
[図 16]図 16は、本発明の実施の形態 2の画像復号化方法を実現する画像復号化装 置のブロック図である。
[図 17]図 17は、同上の画像復号ィ匕装置の動作の一例を示すフロー図である。
[図 18]図 18は、同上のピクチャ番号生成部の動作を示すフロー図である。
[図 19]図 19は、同上の変形例 1に係る参照ピクチャリスト (STRL)の管理方法を説明 するための説明図である。
[図 20A]図 20Aは、同上の変形例 1に係るメモリ管理部が付与対象のピクチャに対し て RAID番号を付与する動作を示すフロー図である。
[図 20B]図 20Bは、同上の変形例 1に係るメモリ管理部が参照ピクチャリストに格納さ れたピクチャの中から破棄されるピクチャを選択する動作を示すフロー図である。
[図 21A]図 21Aは、同上の変形例 2における参照ピクチャリストの状態を示す図であ る。
[図 21B]図 21Bは、同上の変形例 2における参照ピクチャリストの他の状態を示す図 である。
[図 21C]図 21Cは、同上の変形例 2における参照ピクチャリストのさらに他の状態を示 す図である。
[図 21D]図 21Dは、同上の変形例 2における参照ピクチャリストのさらに他の状態を示 す図である。
[図 21E]図 21Eは、同上の変形例 2における参照ピクチャリストのさらに他の状態を示 す図である。
[図 21F]図 21Fは、同上の変形例 2における参照ピクチャリストのさらに他の状態を示 す図である。
[図 22A]図 22Aは、実施の形態 1及び 2の画像復号化方法を、フレキシブルディスク 等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する
場合の説明図である。
[図 22B]図 22Bは、実施の形態 1及び 2の画像復号化方法を、フレキシブルディスク 等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する 場合の他の説明図である。
[図 22C]図 22Cは、実施の形態 1及び 2の画像復号化方法を、フレキシブルディスク 等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する 場合のさらに他の説明図である。
[図 23]図 23は、本実施の形態 4の AV処理装置の構成を示す構成図である。
符号の説明
100 画像復号化装置
101 可変長復号化部
102 動き補償部
103 ピクチャメモリ
104 加算部
105 変換部
106 メモリ管理部
107 ピクチャ番号生成部
108 再生判別部
Pic ピクチャ
RAP ランダムアクセスポイント
PN ピクチャ番号
STRL ショートタームリファレンスリスト
LTRL ロングタームリファレンスリスト
RPL 参照ピクチャリスト
Str ストリーム
Qco 量子化値
Ind 相対インデックス
Pty ピクチャタイプ
MV 動きベクトル
Vout 復元画像
発明を実施するための最良の形態
[0096] 以下、本発明の画像復号ィ匕方法について図面を参照しながら説明する。
[0097] (実施の形態 1)
本発明の第 1の実施の形態における画像復号ィ匕方法では、図 5に示すピクチャ番 号の生成方法例 1を基礎にピクチャ番号を生成して、ストリームに含まれる各ピクチャ を復号化する。
[0098] 図 10は、本実施の形態の画像復号化方法を実現する画像復号化装置のブロック 図である。
[0099] 本実施の形態の画像復号化装置 100は、可変長復号化部 101と、動き補償部 102 と、ピクチャメモリ 103と、加算部 104と、変換部 105と、メモリ管理部 106と、ピクチャ 番号生成部 107と、再生判別部 108とを備えている。
[0100] 可変長復号ィ匕部 101は、ストリーム Strを復号ィ匕し、量子化値 Qco、相対インデック ス Ind、ピクチャタイプ Ptyおよび動きベクトル MVを出力する。量子化値 Qco、相対ィ ンデッタス Indおよび動きベクトル MVは、ピクチャメモリ 103、動き補償部 102および 変換部 105に入力され復号ィ匕処理が行われる。
[0101] 変換部 105は、量子化値 Qcoを逆量子化して周波数係数に復元し、さらに周波数 係数から画素差分値に逆周波数変換し、その画素差分値を加算部 104に出力する
[0102] 加算部 104は、画素差分値と動き補償部 102から出力される予測画像とを加算し て復号化画像 Voutを生成する。生成した復号ィ匕画像 Voutはピクチャメモリ 103〖こ 保存される。この時、複数のピクチャを参照ピクチヤとして使用することができるように 、参照するピクチャの識別番号を指定するための参照番号湘対インデックス Ind)が ブロックごとに必要となる。そこで、相対インデックス Indと、ピクチャメモリ 103中の各 ピクチャが有するピクチャ番号との対応を取ることにより、相対インデックス Indによつ て参照ピクチャを指定することが可能となる。
[0103] 動き補償部 102は、上記処理によって検出された動きベクトルおよび相対インデッ
タス Indを用いて、ピクチャメモリ 103に格納されて ヽる復号化画像から予測画像に最 適な画像領域を取り出す。そして、動き補償部 102は、上述の予測画像を生成して 加算部 104に出力する。
[0104] 再生判別部 108は、再生形式の判別を行う。即ち、再生判別部 108は、シーケンス 再生を行うときに、通常の連続再生を行うか、それとも Open GOP構造をとるランダム アクセスポイント RAPからのランダムアクセス再生を行うかの判別を行う。例えば、再 生判別部 108は、画像復号化装置の上位階層に位置するシステム制御による指示 に従って再生形式を判別する。また、再生判別部 108は、ランダムアクセスポイント R APの GOP力 DRピクチャを含むときには、その GOPは Closed GOP構造であると 判別し、 IDRピクチャを含まないときには、その GOPは Open GOP構造であると判別 する。なお、各ピクチャに付加されているフレーム番号 fnの復号ィ匕のトレース結果か ら再生形式を推定することも可能である。また、上記通常の連続再生には、 Closed GOPからのランダムアクセス再生が含まれる。
[0105] そして、再生判別部 108は、その判別結果を示す再生判別信号を出力する。
[0106] ピクチャ番号生成部 107は、再生判別部 108から再生判別信号を取得して、その 再生判別信号の示す再生形式 (通常の連続再生またはランダムアクセス再生)に基 づいて、ピクチャ番号を生成して出力する。
[0107] メモリ管理部 106は、再生判別部 108から出力された再生判別信号と、ピクチャ番 号生成部 107から出力されたピクチャ番号とを用いて、ピクチャメモリ 103に格納され るピクチャの管理を行う。
[0108] 図 11は、画像復号ィ匕装置 100の動作の一例を示すフロー図である。
[0109] まず、画像復号ィ匕装置 100は、ストリーム Strの再生処理が開始されると、開始位置 にある復号化対象のピクチャを復号化し (ステップ S 100)、生成方法例 1に基づ!/、て 、そのピクチヤに対するピクチャ番号を生成する (ステップ S102)。そして、画像復号 化装置 100は、そのピクチヤに対してピクチャ番号を付与し、そのピクチャをピクチャ メモリ 103に格納する(ステップ S104)。次に、画像復号ィ匕装置 100は、ランダムァク セス再生が指定された力否かを判別し (ステップ S106)、指定されたと判別したとき は (ステップ S 106の Y)、ピクチャの管理状態を変更する(ステップ S108)。そして、
画像復号ィ匕装置 100は、ランダムアクセス再生先のピクチヤに対して、ステップ S100 からの処理を繰り返し実行する。つまり、画像復号ィ匕装置 100は、変更された管理状 態を初期状態として、ランダムアクセス再生先力もの各ピクチャを順に復号ィ匕し、各ピ クチャのうち参照に用いられるピクチャをピクチャメモリ 103に格納して管理する。
[0110] 一方、ステップ S 106でランダムアクセス再生が指定されていないと判別したときに は(ステップ S106の N)、画像復号化装置 100は、シーケンス再生にしたがって未復 号のピクチヤがあるか否かを判別する (ステップ S 110)。未復号のピクチヤがあると判 別したときには (ステップ S 110の Y)、画像復号ィ匕装置 100は、そのピクチヤに対して 、ステップ S 100からの処理を繰り返し実行する。一方、未復号のピクチヤがないと判 別したときには (ステップ S 110の N)、ストリーム Strの再生処理を終了する。
[0111] 図 12は、ピクチャ番号生成部 107の動作を示すフロー図である。
[0112] ピクチャ番号生成部 107は、図 12に示すように、まず、再生判別部 108から再生判 別信号を取得し (ステップ S120)、その再生判別信号に基づいて、指定される再生 形式が通常の連続再生か、 Open GOP構造のランダムアクセスポイント RAPからの ランダムアクセス再生かを判定する(ステップ S 122)。
[0113] ここで、ピクチャ番号生成部 107は、ステップ S122で通常の連続再生が指定され たと判別したときには、生成方法例 1によりピクチャ番号を生成する。
[0114] 一方、ピクチャ番号生成部 107は、ステップ S 122でランダムアクセス再生が指定さ れたと判別したときには、オフセット値 Msbに最大カウント値 Lsbを加算してそのオフ セット値 Msbを更新する (ステップ S 126)。次に、ピクチャ番号生成部 107は、生成 方法例 1に基づき、ランダムアクセスポイント RAPのピクチャに対して、その更新され たオフセット値 Msbと、そのピクチヤのカウント値 lsbとを加算したピクチャ番号 PNを生 成する(ステップ S 128)。
[0115] このように本実施の形態では、ランダムアクセス再生が行われたときには、ピクチャ の管理状態を変更する、つまりオフセット値 Msbに最大カウント値 Lsbを加算してそ のオフセット値 Msbを更新することで、ランダムアクセス再生を開始した時のピクチャ 番号 PNを、 STRLに存在する既存のピクチャ Picの持つ!/、かなるピクチャ番号 PNよ りも大きな値とする。これにより、誤動作の発生を防ぐことができる。
[0116] なお、本実施の形態では、オフセット値 Msbに最大カウント値 Lsbを加算してその オフセット値 Msbを更新した力 ランダムアクセス再生を開始した時のピクチャ番号 P Nを、他の方法により、 STRLに存在する既存のピクチャ Picの持ついかなるピクチャ 番号 PNよりも大きな値としても良い。
[0117] 図 13は、本実施の形態により管理されるピクチャメモリ 103の様子を説明するため の説明図である。
[0118] まず、ピクチャ番号 101のピクチャ Bの復号ィ匕後に、スキップ (ランダムアクセス再生 )が発生してピクチャ 19が復号化されると、オフセット値 Msbは、 96 + 16 = 112に更 新される。次に、ピクチャ 19に対するピクチャ番号 PNとして、 Msb+lsb= 112 + 2 = 114が生成される。その結果、参照ピクチャリストは、更新されて STRL (h')の状態とな り、続けてピクチャ P 12の復号ィ匕後に参照ピクチャリストは STRL (i')の状態に更新さ れる。さらにピクチャ B10、ピクチャ B11の復号化が続けられる。
[0119] この時、 STRL (参照ピクチャリスト)の中でピクチャ P12のピクチャ番号 PNが最も大 きぐその次にピクチャ 19のピクチャ番号 PNが大きくなるため、図 13に示す LOリスト( LO— for— Bll— r2)と L1リスト(LI— for— Bll— r2)が生成される。その結果、従来で は通常の連続再生と同様の相対インデックス Indで指定できなかったピクチャ 19ゃピ クチャ P 12を指定することができる。
[0120] このように、本実施の形態では、ランダムアクセス再生が行われるときには、まず、ォ フセット値 Msbを強制的に大きくなるように更新してピクチャの管理状態を変更する。 したがって、図 8に示すようなランダムアクセス再生後のピクチャ番号がランダムァクセ ス再生前のピクチャ番号よりも小さくなるのを防ぐことができる。その結果、参照ピクチ ャリストのピクチャに対するピクチャ番号 PNに基づく管理の乱れを防ぎ、通常の連続 再生の場合と同様に、相対インデックス Indを用いて適切なピクチャを参照して復号 化対象のピクチャを復号ィ匕することができる。
[0121] (変形例 1)
ここで、本実施の形態のピクチャの管理状態の変更に関する変形例を説明する。
[0122] 上記実施の形態では、ランダムアクセス再生が指定されたときには、オフセット値 M sbを更新することで、ピクチャの管理状態を変更したが、本変形例では、ピクチャメモ
リ 103に参照用として格納されて 、る全てのピクチャを非参照とする。
[0123] これにより、ランダムアクセス再生時力 復号ィ匕されたピクチャのみがピクチャメモリ 103に格納されるため、ランダムアクセス再生前に格納されたピクチャと、ランダムァ クセス再生後に格納されたピクチャとの間で、混乱が生じてしまうのを防ぐことができ る。また、ランダムアクセス再生時にピクチャ番号 PNが強制的に大きくなることがない ため、ピクチャ番号 PNの管理可能な最大値 (最大ピクチャ番号 MPN)を越えてしまう ことなぐピクチャ番号 PNの増大に基づく誤動作の発生を防ぐことができる。
[0124] ここで、さらに、 LOリストの生成においても、特別な処理を行っても良い。
[0125] 図 14は、 LOリストの生成方法を説明するための説明図である。
[0126] まず、ピクチャ番号 101のピクチャ Bの復号ィ匕後に、スキップ (ランダムアクセス再生 )が発生し、ピクチャ 19が復号化されると、参照ピクチャリスト(STRL)の全てのピクチ ャが非参照となる。即ち、参照ピクチャリストに格納されていたピクチャは、参照用のピ クチャとしては消去されて、その格納されていた領域は空 (empty)となる。次に、生成 方法例 1にしたがって、ピクチャ 19に対するピクチャ番号 PNとして、 Msb+lsb = 96 + 2 = 98が生成される。その結果、参照ピクチャリストは、更新されて STRL (h')の状 態となり、続けてピクチャ P12の復号ィ匕後に参照ピクチャリストは STRL (i')の状態に 更新される。さらにピクチャ B10およびピクチャ B11の復号ィ匕が続けられる。
[0127] このような STRL (i')の状態の参照ピクチャリストから、上述の規格で定められた方法 で LOリスト(L0_for_Bll_r3)と L1リスト(Ll_for_Bll_r3)が生成される。
[0128] さらに、 LOリスト(LO— for— Bll— r3)は、最後に追加されたピクチャ番号 PNのピク チヤと同じピクチヤが空の領域に続けて挿入されることにより、 L0リスト(LO— for— B11 _r4)に更新される。
[0129] このように、空の領域にピクチャが挿入されることにより、ランダムアクセス再生が行 われた場合にも、 L0リストから所望のピクチャを参照ピクチヤとしてより適切に選択す ることがでさる。
[0130] 例えば、ピクチャ B11が前方 1枚のピクチャ 19と後方 1枚のピクチャ P12を参照する 場合を想定する。この場合、それらのピクチャ 19、 P12を参照するためには、図 7に示 す通常の連続再生の場合と同様、 L0リスト(LO for Bll r4)に対して 0番の相対
インデックス (indexO)を指定し、 L1リスト(LI— for— Bll— r3)に対して 0番の相対イン デッタス (IndexO)を指定すればよ!ヽ。
[0131] また例えば、ピクチャ B11がピクチャ P12に対して後方 2枚参照する場合を想定す る。この場合、図 7に示す通常の連続再生では、ピクチャ P12を参照するために、 LO リスト(LO— for— Bll— n)に対して 3番の相対インデックス(Index3)を指定する必要が ある。
[0132] ここで、仮に、 L0リスト(L0— for— Bll— r3)を更新することなぐ空の領域を残した ままにしておくと、 L0リスト(L0— for— Bll— r3)に対して 3番の相対インデックス(Inde x3)を指定しても、ピクチャ P 12を参照することができない。そこで、 L0リスト(L0— for — Bll_r3)を LOリスト(L0_for_Bll_r4)に更新しておく。即ち、 L0リスト(L0_for — Bll— r3)の空き領域に、直前に格納されたピクチャ P12を埋め込む。これにより、 図 7に示す通常の連続再生の場合と同様に 3番の相対インデックス (Index3)を指定 することで、ピクチャ P 12を参照することができる。また、このように L0リストの空き領域 を埋めておけば、 1番から 3番の何れの相対インデックス Indを指定しても、ピクチャ P 12を正常に参照することができる。
[0133] (変形例 2)
ここで、本実施の形態のピクチャの管理状態の変更に関する他の変形例を説明す る。
[0134] 上記実施の形態では、ランダムアクセス再生が指定されたときには、オフセット値 M sbを更新することで、ピクチャの管理状態を変更したが、本変形例では、参照可能な ピクチャの枚数だけ、ランダムアクセス再生先のピクチャのピクチャ番号よりも小さなピ クチャ番号を持つ仮のピクチャ (ダミーピクチャ)を STRLに挿入することで、ピクチャ の管理状態を変更する。
[0135] これにより、ランダムアクセスによって復号ィ匕が省かれたピクチャ力 あた力も通常通 り復号ィ匕されてピクチャメモリ 103に格納された状態となる。その結果、適切なピクチ ャを参照してランダムアクセス再生先からの復号ィ匕対象の各ピクチャを復号ィ匕するこ とがでさる。
[0136] 図 15は、本変形例に係る L0リストおよび L1リストの生成方法を説明するための説
明図である。
[0137] まず、ピクチャ番号 101のピクチャ Bの復号ィ匕後に、スキップ (ランダムアクセス再生 )が発生すると、ピクチャ 19の復号ィ匕に先立って、ピクチャ 19に割当てられるピクチャ 番号 PNが算出される。例えば、生成方法例 1にしたがって、ピクチャ 19に対するピク チヤ番号 PNとして、 Msb+lsb = 96 + 2 = 98が算出される。そして、そのピクチャ 19 のピクチャ番号 PNよりも小さなピクチャ番号 PNを持つ仮のピクチャ力 参照可能な ピクチャの枚数だけ、参照ピクチャリスト(STRL)に挿入される。その結果、参照ピク チヤリストは、 STRL (j)の状態となる。つまり、ピクチャ番号が 102のピクチャ Pyが、ピ クチャ番号が 97のダミーピクチャに置き換えられ、ピクチャ番号が 99のピクチャ Pxが 、ピクチャ番号が 96のダミーピクチャに置き換えられる。さらに、ピクチャ番号が 96の ピクチャ Pwが、ピクチャ番号が 95のダミーピクチャに置き換えられ、ピクチャ番号が 9 3のピクチャ Pvが、ピクチャ番号が 94のダミーピクチャに置き換えられる。
[0138] ここで、上述の仮のピクチャは、その後の復号ィ匕処理において実際には参照に使 用されないので、ランダムアクセス再生先のピクチャ番号よりも小さなピクチャ番号が 割り当てられた、ストリーム Strに存在しないピクチヤであってもよい。例えば、その仮 のピクチャは、全ての画素値が所定の値 (例えば 0など)を示すようなピクチャや、画 素値を持たないピクチャである。また、上述の仮のピクチャは、ストリーム Strにあるピ クチャのうち既に復号ィ匕されたピクチャであってもよい。例えば、その仮のピクチャは 直前に復号ィ匕されたピクチャである。なお、参照ピクチャリストに格納されているピク チヤを置き換えることなぐそのピクチャのピクチャ番号だけを、ランダムアクセス再生 先のピクチャ番号よりも小さなピクチャ番号に変更してもよい。
[0139] 次に、ピクチャ 19の復号ィ匕が行われると、参照ピクチャリストは更新されて STRL (h') の状態となり、続けてピクチャ P 12の復号ィ匕後に、参照ピクチャリストは STRL (0の状 態に更新される。さらにピクチャ B10およびピクチャ B11の復号ィ匕が続けられる。
[0140] このような STRL (0の状態の参照ピクチャリストから、上述の規格で定められた方法 で LOリスト(L0_for_Bll_r5)と L1リスト(Ll_for_Bll_r5)が生成される。
[0141] このように、仮のピクチャを挿入することにより、ランダムアクセス再生が行われた場 合にも、 LOリストから所望のピクチャを参照ピクチヤとしてより適切に選択することがで
きる。
[0142] 例えば、ピクチャ B11が前方 1枚のピクチャ 19と後方 1枚のピクチャ P12を参照する 場合を想定する。この場合、それらのピクチャ 19、 P12を参照するためには、図 7に示 す通常の連続再生の場合と同様、 LOリスト(L0— for— Bll— r5)に対して 0番の相対 インデックス (indexO)を指定し、 L1リスト(LI— for— Bll— r5)に対して 0番の相対イン デッタス (IndexO)を指定すればよ!ヽ。
[0143] また例えば、ピクチャ B11がピクチャ P12に対して後方 2枚参照する場合を想定す る。この場合、図 7に示す通常の連続再生では、ピクチャ P12を参照するために、 L0 リスト(L0— for— Bll— n)に対して 3番の相対インデックス(Index3)を指定する必要が あるが、その場合と全く同様に、 L0リスト(L0— for— Bll— r5)に対して 3番の相対ィ ンデッタス(Index3)を指定することで、ピクチャ P 12を参照することができる。
[0144] (実施の形態 2)
本発明の第 2の実施の形態における画像復号ィ匕方法では、図 6に示すピクチャ番 号の生成方法例 2を基礎にピクチャ番号を生成して、ストリームに含まれる各ピクチャ を復号化する。
[0145] 図 16は、本実施の形態の画像復号化方法を実現する画像復号化装置のブロック 図である。
[0146] 本実施の形態の画像復号ィ匕装置 200は、可変長復号化部 101と、動き補償部 102 と、ピクチャメモリ 103と、加算部 104と、変換部 105と、メモリ管理部 206と、ピクチャ 番号生成部 207と、再生判別部 108とを備えている。
[0147] なお、本実施の形態の画像復号ィ匕装置 200が備える構成要素のうち、実施の形態
1の画像復号ィ匕装置 100が備える構成要素と同一のものは、実施の形態 1と同一の 符号を付して示し、詳細な説明は省略する。
[0148] ピクチャ番号生成部 207は、再生判別部 108から再生判別信号を取得して、その 再生判別信号の示す再生形式 (通常の連続再生力ランダムアクセス再生)に基づ 、 て、ピクチャ番号を生成して出力する。
[0149] メモリ管理部 206は、再生判別部 108から出力された再生判別信号と、ピクチャ番 号生成部 207から出力されたピクチャ番号とを用いて、ピクチャメモリ 103に格納され
るピクチャの管理を行う。
[0150] 図 17は、画像復号ィ匕装置 200の動作の一例を示すフロー図である。
[0151] まず、画像復号ィ匕装置 200は、ストリーム Strの再生処理が開始されると、開始位置 にある復号ィ匕対象のピクチャを復号ィ匕し (ステップ S200)、生成方法例 2に基づいて 、そのピクチヤに対するピクチャ番号を生成する (ステップ S 202)。そして、画像復号 化装置 200は、そのピクチヤに対してピクチャ番号を付与し、そのピクチャをピクチャ メモリ 103に格納する(ステップ S204)。次に、画像復号ィ匕装置 200は、ランダムァク セス再生が指定された力否かを判別し (ステップ S206)、指定されたと判別したとき は (ステップ S206の Y)、実施の形態 1とは異なる態様でピクチヤの管理状態を変更 する (ステップ S 208)。そして、画像復号ィ匕装置 200は、ランダムアクセス再生先のピ クチャに対して、ステップ S 200からの処理を繰り返し実行する。つまり、画像復号ィ匕 装置 200は、変更された管理状態を初期状態として、ランダムアクセス再生先力ゝらの 各ピクチャを順に復号ィ匕し、各ピクチャのうち参照に用いられるピクチャをピクチヤメ モリ 103に格納して管理する。
[0152] 一方、ステップ S 106でランダムアクセス再生が指定されていないと判別したときに は(ステップ S206の N)、画像復号化装置 100は、シーケンス再生にしたがって未復 号のピクチヤがあるか否かを判別する (ステップ S210)。未復号のピクチヤがあると判 別したときには (ステップ S210の Y)、画像復号ィ匕装置 200は、そのピクチヤに対して 、ステップ S200からの処理を繰り返し実行する。一方、未復号のピクチヤがないと判 別したときには (ステップ S210の N)、ストリーム Strの再生処理を終了する。
[0153] 図 18は、ピクチャ番号生成部 207の動作を示すフロー図である。
[0154] ピクチャ番号生成部 207は、図 18に示すように、まず、再生判別部 108から再生判 別信号を取得し (ステップ S220)、その再生判別信号に基づいて、指定される再生 形式が通常の連続再生か、 Open GOP構造のランダムアクセスポイント RAPからの ランダムアクセス再生かを判定する(ステップ S222)。
[0155] ここで、ピクチャ番号生成部 207は、ステップ S222で通常の連続再生が指定され たと判別したときには、生成方法例 2によりピクチャ番号を生成する (ステップ S224)
[0156] 一方、ピクチャ番号生成部 207は、ステップ S222でランダムアクセス再生が指定さ れたと判別したときには、参照ピクチャリストの STRLを初期化する (ステップ S226)。 即ち、ピクチャ番号生成部 207は、参照ピクチャリストの STRLに格納されている全て のピクチャを非参照とする。例えば、 H. 264の規格ではリスト管理において、「STRL 照 (used for short term reference)」の状態; 0 「 参照 (unused for reference)」の状 態に更新される。
[0157] 参照ピクチャリストの STRLが初期化されることにより、 STRLには参照ピクチャは存 在しな 、ため、 STRLに存在するピクチャ Picの中で特殊再生(ランダムアクセス再生 )を開始した時のピクチャ番号 PNは最も大きな値をとることになる。ただし、図 9を用 いて説明したように、ピクチャ番号 PNが最大ピクチャ番号 MPN付近となってしまう時 には、ランダムアクセス再生位置からのシーケンス再生を続けていくうちにピクチャ番 号 PNが最大ピクチャ番号 MPNを越えて、誤動作が生じる可能性がある。即ち、誤 動作が生じな 、ように各ピクチャを管理するためには、ピクチャ番号 PNを 0に近 、正 の数にすれば良い。つまり、ピクチャ番号 PNがオフセット値 FNOとフレーム番号 fn 力も生成されるので、オフセット値 FNOを小さ ヽ自然数に設定し直せばよ!、。
[0158] そこで、ピクチャ番号生成部 207は、オフセット値 FNOを強制的に 0にする(ステツ プ S228)。なお、オフセット値 FNOを、 Closed GOPから再生が始まった状態に近 い値や、 0以上で小さい値にしても良い。
[0159] このような参照ピクチャリストの初期化とオフセット値 FNO = 0の設定により、ピクチ ャの管理状態が変更される。
[0160] そして、ピクチャ番号生成部 207は、変更されたピクチャの管理状態を初期状態と して、生成方法例 2に基づき、ランダムアクセスポイント RAP力もの各ピクチャに対し て、オフセット値 FNOと、そのピクチヤのフレーム番号(カウント値) fnとをカ卩算して 2 倍することにより、ピクチャ番号 PNを生成する (ステップ S 230)。
[0161] なお、ランダムアクセス再生開始直前のフレーム番号 fnの保存値を例えば 0などの 値に変更しておいても良い。これはランダムアクセス再生の開始後、オフセット値 FN Oに最大フレーム番号 MFNの加算処理が発生しオフセット値 FNO及びピクチャ番 号 PNの値が大きくなつてしまうのを防ぐためである。
[0162] このように、本実施の形態では、ランダムアクセス再生が行われるときには、まず、参 照ピクチャリストの初期化とオフセット値 FNO = 0の設定とを行ってピクチャの管理状 態を変更する。したがって、図 9に示すようなピクチャ番号 PNが最大ピクチャ番号を 越えてしまうのを防ぐことができる。その結果、参照ピクチャリストのピクチャに対する ピクチャ番号 PNに基づく管理の乱れを防ぎ、通常の連続再生の場合と同様に、相 対インデックス Indを用いて適切なピクチャを参照して復号ィ匕対象のピクチャを復号 ィ匕することがでさる。
[0163] なお、実施の形態 1と実施の形態 2において、ランダムアクセス再生時におけるピク チヤ番号 PNの生成方法を説明した力 画面表示時刻を示すプレゼンテーション'タ ィム 'スタンプ(Presentation Time Stamp, PTS)の情報がストリーム中に含まれるので あれば、通常の連続再生時とランダムアクセス再生時とでピクチャ番号 PNの生成方 法を切り替えずに PTSを流用し、 L0リストと L1リストを作り出すことも可能である。
[0164] (変形例 1)
ここで、本実施の形態の参照ピクチャリストの管理方法についての変形例について 説明する。
[0165] 図 19は、本変形例における参照ピクチャリスト(STRL)の管理方法を説明するため の説明図である。
[0166] 例えば、図 19の(a)に示すようなストリームの再生が行われることを想定する。ストリ ームに含まれる各ピクチャは、通常、図中左側から右側の順に処理される。つまり、ス トリーム上の時間は左から右に流れている。また、各ランダムアクセスポイント RAPの 先頭ピクチャはピクチャ 10、 II、 12及び 13である。
[0167] ここで、ピクチャ P4、 P5、 P6及び 17を連続再生した後、ピクチャ 13を再生し、ピクチ ャ 12を再生し、ピクチャ IIを再生し、最後にピクチャ 10を再生していく後方へのスキッ プ動作 (ランダムアクセス再生)が行われる。
[0168] 上述のようなランダムアクセス再生が行われると、上述の実施の形態では、それまで の参照ピクチャリストが初期化される、つまり参照ピクチャリストに含まれる全てのピク チヤが非参照とされる。そして、参照ピクチャリストは PTS管理されるため、それらの非 参照とされたピクチャのうち、 PTSの最も古いピクチヤが参照ピクチャリストから破棄さ
れて、その破棄された領域に新たなピクチャが格納される。
[0169] 即ち、参照ピクチャリストの状態は、図 19の(b)に示すように、ピクチャ P4から順に ピクチャ 17まで復号されたときには状態 aOOとなり、ピクチャ 13が復号ィ匕されたときに は状態 aOlとなり、ピクチャ 12が復号ィ匕されたときには状態 a02となり、ピクチャ IIが復 号ィ匕されたときには状態 a03となり、ピクチャ 10が復号ィ匕されたときには状態 a04とな る。なお、図 19中の斜線で示すピクチャは、非参照とされたピクチャであって、表示 用としてのみ残されて 、るピクチャである。
[0170] 状態 aOOにおける参照ピクチャリストでは、ピクチャ 17、 P6、 P5、 P4の順で相対イン デッタス Indが付けられ、逆に、ピクチャ P4、 P5、 P6、 P7の順で画面表示され、各ピ クチャは「表示待ち」もしくは「表示済み」のどちらかの状態になっている。
[0171] 状態 aOlにおける参照ピクチャリストでは、ピクチャ 17、 P6、 P5、 P4が「非参照」とさ れ、新たにピクチャ 13が参照ピクチヤとしてピクチャ P4に上書きされている。また各ピ クチャは、ピクチャ 13、 P5、 P6、 17の順で配置されて画面表示される。
[0172] 状態 a02における参照ピクチャリストでは、ピクチャ 13が「非参照」とされた上で、新 たにピクチャ 12が参照ピクチヤとしてそのピクチャ 13に上書きされている。また各ピク チヤは、ピクチャ 12、 P5、 P6、 17の順で配置されて画面表示される。
[0173] 状態 a03における参照ピクチャリストでは、ピクチャ 12が「非参照」とされた上で、新 たにピクチャ IIが参照ピクチヤとしてそのピクチャ 12に上書きされている。また各ピク チヤは、ピクチャ II、 P5、 P6、 17の順で配置されて画面表示される。
[0174] 状態 a04における参照ピクチャリストでは、ピクチャ 10が「非参照」とされた上で、新 たにピクチャ 10が参照ピクチヤとしてそのピクチャ IIに上書きされている。また各ピク チヤは、ピクチャ 10、 P5、 P6、 17の順で配置されて画面表示される。
[0175] 従って、画面表示のタイミングによっては、逆再生でピクチャ 10が再生された後に、 ピクチャ P5、 P6及び 17が表示されたりする。また、復号化処理が画面表示処理よりも 早く行われるような場合、参照ピクチャリストに格納されたピクチャ 13、 12、 II及び 10が 、画面表示前に、次の復号ィヒされたピクチャの上書きによって、画面表示できなかつ たりする可能性が考えられる。
[0176] そこで、本変形例では、 Open GOPのランダムアクセスポイント RAPへのアクセス
を伴うランダムアクセス再生を行う場合は、 PTSの情報を部分的に用いずに参照ピク チヤリストの管理を行うことにより前述の画面表示の誤動作を回避することができる。
[0177] 具体的に、本変形例では、ランダムアクセス再生が開始されるごとに RAID番号を 更新して、参照ピクチャリストに格納されるピクチャに対してその RAID番号を付与す る。そして、 PTSとその RAID番号とを用いて参照ピクチャリストを管理する。これによ り、図 19の(c)に示すように、参照ピクチャリストに格納されたピクチャが長期間保持 されて、上述の誤動作を防ぐことができる。
[0178] 図 20Aは、メモリ管理部 206が付与対象のピクチャに対して RAID番号を付与する 動作を示すフロー図である。
[0179] まず、メモリ管理部 206は、参照ピクチャリストに格納すべきピクチャであって、 RAI D番号の付与対象となるピクチヤが再生処理の最初にある力否かを判別する (ステツ プ S300)。例えば、参照ピクチャリストが全て非参照で表示済みのピクチャし力残つ て 、な 、状態となって 、るか否力判断する。
[0180] ここで、再生処理の最初であると判別すると (ステップ S300の Y)、メモリ管理部 20 6は、付与対象ピクチャの RAID番号を 0に決定する(ステップ S302)。一方、再生処 理の最初でないと判別すると (ステップ S300の N)、メモリ管理部 206は、さらに、付 与対象のピクチャはランダムアクセス再生の最初にある力否かを判別する (ステップ S 304)。
[0181] ここで、ランダムアクセス再生の最初であると判別すると (ステップ S 304の Y)、メモリ 管理部 206は、前回他のピクチヤに付与された RAID番号に 1を加算した値を、付与 対象ピクチャの RAID番号として決定する(ステップ S 306)。一方、ランダムアクセス 再生の最初でないと判別すると (ステップ S304の N)、メモリ管理部 206は、前回他 のピクチャに付与された RAID番号を、付与対象ピクチャの RAID番号として決定す る(ステップ S 308)。
[0182] そして、メモリ管理部 206は、上述のように、決定した RAID番号を付与対象ピクチ ャに付与して参照ピクチャリストに格納する (ステップ S310)。
[0183] 図 20Bは、メモリ管理部 206が参照ピクチャリストに格納されたピクチャの中から破 棄されるピクチャを選択する動作を示すフロー図である。
[0184] まず、メモリ管理部 206は、参照ピクチャリストに格納されているピクチャのうち、 RAI
D番号が最も小さ 、ピクチャ群を選択する (ステップ S320)。
[0185] 次に、メモリ管理部 206は、選択したピクチャ群の中で PTSの最も古いピクチャを、 破棄されるピクチャとして選択する (ステップ S322)。
[0186] なお、実際の処理では各ピクチャの状態が「参照」状態であるか「非参照」状態であ るか、及び「表示待ち」状態であるか「表示済み」状態であるかなどの判定処理も必要 となる。
[0187] 図 19の(c)は、上述のように RAID番号を用いたメモリ管理部 206の管理によって 実現される参照ピクチャリストの状態を示す図である。
[0188] 参照ピクチャリストの状態は、図 19の(c)に示すように、ピクチャ P4から順にピクチャ 17まで復号されたときには状態 alOとなり、ピクチャ 13が復号ィ匕されたときには状態 al 1となり、ピクチャ 12が復号ィ匕されたときには状態 al2となり、ピクチャ IIが復号化され たときには状態 al3となり、ピクチャ 10が復号ィ匕されたときには状態 al4となる。なお、 図 19中の斜線で示すピクチャは、非参照とされたピクチャである。
[0189] 状態 alOにおける参照ピクチャリストでは、上述の状態 aOOの参照ピクチャリストと同 様、ピクチャ 17、 P6、 P5、 P4の順で相対インデックス Indが付けられ、逆に、ピクチャ P4、 P5、 P6、 P7の順で画面表示され、各ピクチャは「表示待ち」もしくは「表示済み」 のどちらかの状態になっている。また、これらの全てのピクチャに付与された RAID番 号は 0である。
[0190] 状態 al 1における参照ピクチャリストでは、ピクチャ 17、 P6、 P5、 P4が「非参照」とさ れてピクチャ P4が破棄され、新たにピクチャ 13が参照ピクチヤとして追加されて 、る。 ここで、ピクチャ 17、 P6、 P5の RAID番号は 0であり、ピクチャ 13の RAID番号は 1で あるため、ピクチャ 17、 P6、 P5とピクチャ 13との間では PTSによる管理は行われず、 ピクチャ 17、 P6、 P5の間でのみ PTSによる管理が行われる。したがって、各ピクチャ はピクチャ P5、 P6、 17、 13の順で配列されて画面表示される。
[0191] 状態 al2における参照ピクチャリストでは、ピクチャ 13が「非参照」とされてピクチャ P 5が破棄され、新たにピクチャ 12が参照ピクチヤとして追加されている。また各ピクチャ は、ピクチャ P6、 17、 13、 12の順で配置されて画面表示される。
[0192] 状態 al 3における参照ピクチャリストでは、ピクチャ 12が「非参照」とされてピクチャ P
6が破棄され、新たにピクチャ IIが参照ピクチヤとして追加されている。また各ピクチャ は、ピクチャ 17、 13、 12、 IIの順で配置されて画面表示される。
[0193] 状態 al4における参照ピクチャリストでは、ピクチャ IIが「非参照」とされてピクチャ 17 が破棄され、新たにピクチャ 10が参照ピクチヤとして追加されている。また各ピクチャ は、ピクチャ 13、 12、 II、 10の順で配置されて画面表示される。
[0194] このように本変形例では、 PTSと RAID番号に基づいて参照ピクチャリストを管理す るため、画面表示に必要な順番でピクチャを残すことができる。
[0195] なお、本変形例では、ランダムアクセス再生が指定されたときには、オフセット値 FN
Oを更新しなくてもよい。即ち、本変形例では、オフセット値 FNOを更新することなく 参照ピクチャリストを初期化し、上述のように PTSと RAID番号に基づ 、てその参照 ピクチャリストを管理してもよ 、。
[0196] (変形例 2)
ここで、本実施の形態の参照ピクチャリストの管理方法についての他の変形例につ いて説明する。 本変形例では、参照ピクチャリストの STRLと LTRLのそれぞれで管 理されるピクチャの枚数を、ランダムアクセス再生先に合わせて相補的に変更する点 に特徴がある。
[0197] 図 21Aから図 21Fは、本変形例における参照ピクチャリストの状態を示す図である
[0198] 参照ピクチャリスト RPLは、上述のように FIFO的な管理を行う STRLと、明示的に 指定されたピクチャの格納破棄を行う LTRLとで構成されている。
[0199] 例えば、メモリ管理部 206は、図 21Aに示すように、全体で 6枚のピクチャを管理し 得るように参照ピクチャリスト RPLを構成し、 4枚のピクチャ P4、 P5、 P6及び 17を ST RLに格納し、 2枚のピクチャ P0、 PIを LTRLに格納する。
[0200] ここで、ランダムアクセス再生が行われると、メモリ管理部 206は、まず、図 21Bに示 すように、参照ピクチャリスト RPLの管理対象となる全てのピクチャを非参照とする。 即ち、 LTRL及び STRLのそれぞれに格納されて 、るピクチャが非参照に設定され る。
[0201] 次に、メモリ管理部 206は、ランダムアクセス再生先の STRL及び LTRLの管理枚 数の特定を試みる。その結果、ランダムアクセス再生先の STRLの管理枚数力 枚で LTRLの管理枚数が 2枚であることが分かれば、メモリ管理部 206は、現状の STRL 及び LTRLの管理枚数を維持する。そして、メモリ管理部 206は、 STRLに格納され ている非参照のピクチャを順に破棄し、図 21Cに示すように、新しい 4枚のピクチャ ne wO、 newl、 new2及び new3を STRLに格納する。
[0202] ここで、ランダムアクセス再生先の STRLの管理枚数が 5枚で LTRLの管理枚数が 1枚であることが分かれば、メモリ管理部 206は、図 21Eに示すように、現状の STRL 及び LTRLの管理枚数をそのランダムアクセス再生先に合わせて変更する。そして、 メモリ管理部 206は、 5枚のピクチャ newO、 newl、 new2、 new3、 new4を STRLに 格納する。
[0203] 仮に、メモリ管理部 206が、 STRL及び LTRLの管理枚数をそのランダムアクセス 再生先に合わせて変更しなければ、図 21Dに示すように、ピクチャ new4を格納する ためにピクチャ newOが破棄される。このような場合、ピクチャ newOを参照することが できなくなり、復号ィ匕処理に誤動作を引き起こしてしまう可能性が生じる。そこで、本 変形例では、上述のように、 STRL及び LTRLの管理枚数をそのランダムアクセス再 生先に合わせて変更することにより、誤動作の発生を防ぐのである。
[0204] また、メモリ管理部 206は、ランダムアクセス再生先の STRL及び LTRLの管理枚 数がそれぞれ 6枚及び 0枚であることが分かれば、図 21Fに示すように、 STRLの管 理枚数を 6枚に変更し、 LTRLの管理枚数を 0枚に変更する。なお、ランダムアクセス 再生開始後に、 LTRLにピクチャを格納する必要がある時は、特別な処理として必要 に応じて STRLの管理枚数を減らして LTRLの管理枚数を増やす処理を行ってから 、そのピクチヤの格納を行う。
[0205] また、メモリ管理部 206は、ランダムアクセス再生先の STRL及び LTRLの管理枚 数の特定を試みた結果、その管理枚数が分力ゝらなければ、 STRLの管理枚数を最 大の 6枚に変更し、 LTRLの管理枚数を最小の 0枚に変更する。なお、その後、管理 枚数が分力ゝるまでは、 LTRLへのピクチヤの格納が指示される度に、 STRLと LTRL の管理枚数を更新して、指示されたピクチャの格納を行なう。このような LTRLへのピ
クチャの格納の指示は、例えばピクチャのヘッダ情報領域にある MMCO (memory m anagement control operation)に,己されている。
[0206] このように、本変形例では、 Open GOPへのランダムアクセスが発生した場合は、ラ ンダムアクセス再生が発生した時の参照ピクチャリスト RPLの特別な管理処理として、 STRLの全てのピクチャを「非参照」にするだけでなぐ LTRLの全てのピクチャに関 しても「非参照」にした後、 STRL及び LTRLの管理枚数をそのランダムアクセス再生 先に合わせて変更する。
[0207] なお、本変形例では、ランダムアクセス再生が指定されたときには、オフセット値 FN Oを更新しなくてもよい。即ち、本変形例では、オフセット値 FNOを更新することなく 参照ピクチャリストを初期化し、上述のように STRL及び LTRLの管理枚数をそのラン ダムアクセス再生先に合わせて変更してもよ 、。
[0208] なお、本実施の形態及び各変形例にお!、も、実施の形態 1の変形例 1と同様、 L0リ ストの空き領域に、直前に格納されたピクチャを埋め込んでも良い。
[0209] なお、本実施の形態及び各変形例においも、実施の形態 1の変形例 2と同様、参 照可能なピクチャの枚数だけ、ランダムアクセス再生先のピクチャのピクチャ番号より も小さなピクチャ番号を持つ仮のピクチャを STRL及び LTRLに挿入してもよい。
[0210] (実施の形態 3)
さらに、上記各実施の形態で示した画像復号ィ匕方法を実現するためのプログラムを 、フレキシブルディスク等の記録媒体に記録することにより、上記各実施の形態で示 した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる
[0211] 図 22Aから図 22Cは、上記各実施の形態の画像復号化方法を、フレキシブルディ スク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施 する場合の説明図である。
[0212] 図 22Bは、フレキシブルディスク Fの正面図、側面図、及びフレキシブルディスク本 体 FDの正面図である。図 22Aは、記録媒体本体であるフレキシブルディスク本体 F Dの物理フォーマットの例を示している。フレキシブルディスク Fは、フレキシブルディ スク本体 FDをケースに内蔵して構成される。フレキシブルディスク本体 FDの表面に
は、同心円状に外周からは内周に向力つて複数のトラック Trが形成され、各トラック は角度方向に 16のセクタ Seに分割されている。従って、上記プログラムを格納したフ レキシブルディスク Fでは、上記フレキシブルディスク本体 FD上に割り当てられた領 域に、上記プログラムが記録されている。
[0213] また、図 22Cは、フレキシブルディスク Fに対して上記プログラムの記録再生を行う ための構成を示す。画像復号化方法を実現する上記プログラムをフレキシブルデイス ク Fに記録する場合は、コンピュータシステム Csから上記プログラムをフレキシブルデ イスクドライブ FDDを介して書き込む。また、フレキシブノレディスク F内のプログラムに より上記画像復号ィ匕方法をコンピュータシステム中に構築する場合は、フレキシブル ディスクドライブ FDDによりプログラムをフレキシブルディスク F力も読み出し、コンビュ ータシステムに転送する。
[0214] なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行った 力 光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 I Cカード、 ROMカセット等、プログラムを記録できるものであれば同様に実施すること ができる。
[0215] (実施の形態 4)
本実施の形態の AV処理装置は、上記実施の形態 1又は 2で示した画像復号ィ匕方 法を用 ヽた応用的な動作を行う。
[0216] 図 23は、本実施の形態の AV処理装置の構成を示す構成図である。
[0217] この AV処理装置 500は、ディジタル圧縮された音声及び画像を再生する DVDプ レーャゃ BD— ROMプレーヤなどとして構成されている。
[0218] ストーム入出力部 501は、外部力もストリーム exStrを取得する。画像符号化復号ィ匕 部 503は、画像の符号化及び復号化を行う。音声符号ィ匕復号ィ匕部 504は、音声の 符号化及び復号化を行う。メモリ 505は、ストリーム exStrや符号化データゃ復号化デ ータなどのデータを格納する。メモリ入出力部 506は、メモリ 505に対してデータの格 納ゃ取出しを行う。画像処理部 507は、画像信号に対してプレ処理及びポスト処理 を行う。画像入出力部 508は、画像処理部 507で処理された、もしくは画像処理部 5 07で処理されずに通過された画像信号を外部に画像信号 exVSigとして出力する。ま
た、画像入出力部 508は、外部力ゝらの画像信号 exVSigを取り込む。
[0219] また、音声処理部 509は、音声信号に対してプレ処理及びポスト処理を行う。音声 入出力部 510は、音声処理部 509で処理された、もしくは音声処理部 509で処理さ れずに通過だけされた音声信号を外部に音声信号 exASigとして出力する。また、音 声入出力部 510は、外部からの音声信号 exASigを取り込む。 AV制御部 511は、 AV 処理装置 500の全体の制御を行う。
[0220] そして、ストリーム入出力部 501、画像符号化復号化部 503、音声符号化復号化部 504、メモリ入出力部 506、画像処理部 507、音声処理部 509、及び AV制御部 511 は、ストリーム exStrや音声 '画像の復号データなどのデータを転送するノ ス 502に接 続されている。
[0221] ここで、このような AV処理装置 500の復号ィ匕動作について説明する。まず、ストリー ム入出力部 exStrIFは、光ディスクなどの蓄積メディアからのデータの読み出しや、衛 星放送など力ものデータ受信により、音声及び画像のストリーム exStrを取得する。画 像符号ィ匕復号ィ匕部 503は、そのストリーム exStrから画像ストリームを抽出し、音声符 号ィ匕復号ィ匕部 504は、音声ストリームを抽出する。
[0222] メモリ入出力部 506は、画像符号化復号化部 503によって復号化された画像デー タをメモリ 505に格納する。画像処理部 507は、メモリ 505に格納されたデータを取り 出して、ノイズ除去などの加工処理を行う。また、画像符号化復号化部 503は、メモリ 505に格納された画像データを再び取り出して、画面間動き補償予測の参照ピクチ ャとして使用する。
[0223] ここで、画像符号化復号化部 503は、実施の形態 1又は 2の画像復号化装置 100, 200を備える。なお、画像符号化復号化部 503は、画像復号ィ匕装置 100, 200のピ クチャメモリ 103を備えていなくても良い。この場合、画像符号化復号化部 503は、ピ クチャメモリ 103の代わりにメモリ 505を使用する。また、上述の画像ストリームは実施 の形態 1又は 2のストリーム Strに相当する。
[0224] 一方、メモリ入出力部 506は、音声符号化復号化部 504によって復号化された音 声データをメモリ 505に格納する。音声処理部 509は、メモリ 505に格納されたデー タを取得して、そのデータに対して音響などに関連する加工処理を行う。
[0225] 最後に、音声と画像の時間的な同期をとりながら、画像処理部 507で加工処理され たデータは、画像入出力部 508を介して画像信号 exVSigとして出力されテレビ画面 などに表示される。また、音声処理部 509で加工処理されたデータは、音声入出力 部 510を介して音声信号 exASigとして出力されスピーカなどから出力される。
[0226] なお、実施の形態 1又は 2の画像復号ィ匕装置 100, 200が有する各構成要素は、 典型的には集積回路である LSI (Large Scale Integration)として実現される。これらは 個別に 1チップィ匕されても良 、し、一部又は全てを含むように 1チップィ匕されても良 ヽ 。(例えばピクチャメモリ 103などのメモリ以外の各構成要素が 1チップ化されても良い o )
また、集積回路として LSIを挙げた力 集積度の違いにより、 IC (Integrated Circuit )、システム LSI、スーパー LSI、ウルトラ LSIとして実現しても良い。また、集積回路化 の手法は LSIに限るものではなぐ専用回路又は汎用プロセッサで実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programmable Gate Array) や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギユラブル'プロセ ッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術により LSI に置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素 の集積ィ匕を行ってもよい。なお、バイオ技術の適応等が可能性としてありえる。
[0227] また、各構成要素のうち、復号化の対象となるデータを格納するメモリ(ピクチャメモ リ 103やメモリ 505)だけ 1チップィ匕せずに別構成としても良い。
産業上の利用可能性
[0228] 本発明の画像復号化方法は、ランダムアクセス再生が行われたときにおいても、適 切なピクチャを参照して復号ィ匕対象のピクチャを復号ィ匕することができるという効果を 奏し、例えば H. 264規格を用いた画像や音声を再生する DVDプレーヤや BD—R OMプレーヤなどに適用することができる。