JP2004274734A - 画像復号化装置、画像符号化装置及びその方法 - Google Patents

Abstract

【課題】 画像サイズが変更された際のピクチャメモリの管理を規定する方法を提案する。
【解決手段】 画像復号化装置１１００は、異なるピクチャサイズの動画像ストリームを含んだ符号列を、復号化済みピクチャを参照しながら復号化する。ピクチャメモリ２０３は、復号化済みのピクチャを格納するための記憶領域を備える。ピクチャメモリ分割方法指定部２１０は、ピクチャメモリ２０３の記憶領域を所定の大きさのピクチャ領域に区分する。ピクチャメモリ制御部２０６は、新たに復号化されたピクチャ１枚分の全データを、ピクチャメモリ２０３の１以上のピクチャ領域からなる連続した記憶領域に連続して格納する。
【選択図】 図４

Description

本発明は、符号化済み又は復号化済みのピクチャを参照して画面間予測を行う動画像の復号化方法および符号化方法に関するものであり、特に復号化済みピクチャを蓄積するピクチャメモリの管理方法に関する。

近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４kbits（電話品質）、さらに動画については１秒当たり１００Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４kbps〜１．５Mbpsの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ:Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、動画面信号のディジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画面信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Mbpsに圧縮される。

さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、現在は、ＩＳＯ／ＩＥＣとＩＴＵの共同で次世代画面符号化方式として、Ｈ．２６４の標準化活動が進んでいる。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。

ここで、ピクチャとは、１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

なお、以下で示すピクチャはプログレッシブ画像でのフレームの意味で説明するが、インタレース画像でのフレームもしくはフィールドであっても同様に説明することができる。

図２８は、従来の画像符号化装置１００の構成を示すブロック図である。この画像符号化装置１００は、ピクチャメモリ１０１、予測残差符号化部１０２、符号列生成部１０３、予測残差復号化部１０４、ピクチャメモリ１０５、動きベクトル検出部１０６、動き補償符号化部１０７、動きベクトル記憶部１０８、ピクチャメモリ制御部１０９、差分演算部１１２、加算演算部１１３、スイッチ１１４およびスイッチ１１５から構成される。

符号化対象となる動画像は、表示が行われる順にピクチャ単位でピクチャメモリ１０１に入力され、ピクチャメモリ１０１において符号化の順にピクチャの並び替えが行われる。さらに各々のピクチャはマクロブロックと呼ばれる例えば水平１６×垂直１６画素のブロックに分割されブロック単位で以降の処理が行われる。

ピクチャメモリ１０１から読み出された入力画像信号は差分演算部１１２に入力され、動き補償符号化部１０７の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部１０２に出力する。予測残差符号化部１０２では周波数変換、量子化等の画像符号化処理を行い残差信号を出力する。残差信号は予測残差復号化部１０４に入力され、逆量子化、逆周波数変換等の画像復号化処理を行い残差復号化信号を出力する。加算演算部１１３では前記残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号はピクチャメモリ１０５に格納される。

一方、ピクチャメモリ１０１から読み出されたマクロブロック単位の入力画像信号は動きベクトル検出部１０６にも入力される。ここでは、ピクチャメモリ１０５に格納されている１枚もしくは複数枚の符号化済みピクチャを探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルとその際に選択されたピクチャを指し示す参照ピクチャインデックスを決定する。動きベクトルの検出はマクロブロックをさらに分割したブロック単位で行われ、得られた動きベクトルは動きベクトル記憶部１０８に格納される。動き補償符号化部１０７では、上記処理によって検出された動きベクトルおよび参照ピクチャインデックスを用いて、ピクチャメモリ１０５に格納されている符号化済みピクチャから最適な画像領域を取り出し予測画像を生成する。

上記の一連の処理によって出力された動きベクトル、参照ピクチャインデックス、残差符号化信号等の符号化情報に対して符号列生成部１０３において可変長符号化を施すことにより、この符号化処理によって出力される符号列が得られる。
以上の処理の流れは画面間予測符号化を行った場合の動作であったが、スイッチ１１４およびスイッチ１１５によって画面内予測符号化との切り替えがなされる。画面内符号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の符号化済み領域から符号化対象領域の予測画像を生成し差分を取ることによって差分画像信号を生成する。差分画像信号は画面間予測符号化の場合と同様に、予測残差符号化部１０２において残差符号化信号に変換され、符号列生成部１０３において可変長符号化を施されることにより出力される符号列が得られる。

図２９は、従来の画像復号化装置２００の構成を示すブロック図である。この画像復号化装置２００は、符号列解析部２０１、予測残差復号化部２０２、ピクチャメモリ２０３、動き補償復号化部２０４、動きベクトル記憶部２０５、ピクチャメモリ制御部２０６、加算演算部２１１およびスイッチ２１２から構成される。

まず符号列解析部２０１は、入力された符号列から動きベクトル、参照ピクチャインデックス、残差符号化信号等の各種の情報を抽出する。符号列解析器２０１で抽出された動きベクトルは動きベクトル記憶部２０５に、参照ピクチャインデックスは動き補償復号化部２０４に、残差符号化信号は予測残差復号化部２０２にそれぞれ出力される。

予測残差復号化部２０２では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。加算演算部２１１では前記残差復号化信号と動き補償符号化部２０４から出力される予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号をピクチャメモリ２０３に格納する。
動き補償復号化部２０４では、動きベクトル記憶部２０５から入力される動きベクトルおよび符号列解析部２０１から入力される参照ピクチャインデックスを用いて、ピクチャメモリ２０３に格納されている１枚もしくは複数枚の復号化済みピクチャから予測画像に最適な画像領域を取り出す。

上記の一連の処理によって生成された復号化済みピクチャは、表示されるタイミングに従って表示用画像信号としてピクチャメモリ２０３から出力される。

以上の処理の流れは画面間予測復号化を行った場合の動作であったが、スイッチ２１２によって画面内予測復号化との切り替えがなされる。画面内予測復号化を行う場合は、動き補償による予測画像の生成は行わない。その代わり、同一画面内の復号化済み領域から復号化対象領域の予測画像を生成し、残差復号化信号と加算を行うことによって再構成画像信号を生成する。これによって、得られた再構成画像信号はピクチャメモリ２０３に格納され、表示されるタイミングに従って表示用画像信号として出力される。

図３０（ａ）及び図３０（ｂ）は、入力画像におけるピクチャの参照関係を説明するための図であり、図３０（ａ）は表示順、図３０（ｂ）は符号化順にピクチャを並べた様子を示している。各ピクチャのＰに付された数字は、そのピクチャの表示順を示している。そして、この数字は、図３０（ａ）のように各ピクチャを表示順で並べたときに、全ての値が昇順になるように、各ピクチャに割り当てられている。また、図中の矢印は、画面間予測符号化又は画面間予測復号化におけるピクチャ間の参照関係を示しており、矢印の元にあるピクチャは矢印の先にあるピクチャのうちの１枚又は２枚を任意に参照することができる。

Ｐ４を例に取ると、Ｐ４はＰ０、Ｐ１、Ｐ２、Ｐ６を参照して符号化もしくは復号化を行っていることが分かる。前記参照に使用される前記複数のピクチャは対象のピクチャＰ４よりも先に符号化もしくは復号化されている必要があり、ピクチャメモリに参照可能ピクチャとして格納されているものである。図３０（ｂ）のように符号化順に並べるとＰ４によって参照されるピクチャは全てＰ４の前方に位置しているのが分かる。符号化および復号化の過程では、ピクチャＰ４はブロックごとに前記参照に使用される複数のピクチャの中から最適なものを１枚もしくは２枚選択し、選択されたピクチャを参照ピクチャとして、後で述べる画面間予測符号化及び画面間予測復号化に使用する。

ピクチャメモリに格納された各ピクチャには、参照に使用することができるかできないかを示す情報が付与されている。参照に使用されないピクチャは、本来ならばすぐにピクチャメモリから削除するべきであるが、たとえ参照に使用されないことが分かっていても、表示される順番が来るまでは他のピクチャが復号化されるのを待つ必要がある。例えば図３０（ｂ）のＰ３は、復号化される順番は２番目であるのに対して、図３０（ａ）のように表示される順番が４番目となっている。従ってＰ３は、Ｐ１とＰ２とが復号化されるまでの間、ピクチャメモリに格納しておかなければならない。このＰ３のようなピクチャを、表示待ちピクチャまたは参照不可ピクチャと呼ぶ。それに対して参照に使用することができるピクチャを参照可能ピクチャと呼ぶ。

一般に、画像符号化装置１００及び画像復号化装置２００の加算演算部１１３および加算演算部２１１において再構成された画像信号は、次のようなピクチャメモリ制御部１０９及びピクチャメモリ制御部２０６の制御の下に、ピクチャメモリ１０９及びピクチャメモリ２０３に蓄積される。図３１は、図２９に示した画像復号化装置２００における再構成画像信号のピクチャメモリ２０３への格納制御動作を示すフローチャートである。ピクチャメモリ制御部２０６は、対象ピクチャが復号化され（Ｓ４０１）、新たな再構成画像信号が生成されると、生成された再構成画像信号を格納するだけの十分な空き領域がピクチャメモリ２０３にあるかどうかを判定する（Ｓ４０２）。生成された再構成画像信号を格納するだけの十分な空き領域がない場合、ピクチャメモリ制御部２０６は、ピクチャメモリ２０３にすでに格納されている、表示順で最も古いピクチャを削除する（Ｓ４０３）。このようにして、ピクチャメモリ制御部２０６は、ステップＳ４０２とステップＳ４０３とを繰り返すことにより、ピクチャメモリ２０３内に新たな再構成画像信号を格納するのに十分な空き領域ができるまで、すでに格納されているピクチャを、表示順で最も古いものから順に削除していく。このようにして、ピクチャメモリ２０３内に新たな再構成画像信号を格納するのに十分な空き領域ができると、その空き領域に新たな再構成画像信号を格納する（Ｓ４０４）。なお、空き領域とはメモリ中の該当する領域を別のデータで再利用することを可能とする領域のことを意味するものである。また、削除するとはそのメモリ領域を別のデータの蓄積に使用することを可能とする処理を表すものであり、物理的にデータを消去する場合も、もしくは物理的には消去せずに上書きすることを許可するだけの場合も同様に扱うことが可能である（非特許文献１参照。）。

図３２（ａ）、図３２（ｂ）、図３３（ａ）、図３３（ｂ）、図３４（ａ）及び図３４（ｂ）は、図３１に示した手順に従ってピクチャメモリの管理が行われる場合のメモリ領域の利用例を示す図である。
図３２（ａ）は、復号化対象ピクチャにおいて、ピクチャのサイズが小から大に変更された場合で、サイズ変更後のピクチャを格納するだけの空き領域がピクチャメモリ２０３にあった場合の格納例を示す図である。図３２（ａ）の上部は、ピクチャメモリ２０３内に復号化されたピクチャＣを蓄積するための十分な空き領域（斜線部）がある状態を示している。この例では、図３０のピクチャ列におけるＰ２、Ｐ６、Ｐ４、Ｐ５がピクチャメモリに蓄積され、Ｐ７（＝ピクチャＣ）を復号化している状態を示している。この場合は、図３２（ａ）下部のように、復号化されたピクチャＣを、そのまま、ピクチャメモリ２０３内の空き領域の先頭からピクチャメモリ２０３に蓄積することが可能である。つまり、既にピクチャメモリ内に蓄積されているピクチャの削除は行わない。

図３２（ｂ）は、復号化対象ピクチャにおいて、ピクチャのサイズが小から大に変更された場合で、サイズ変更後のピクチャを格納するだけの空き領域がピクチャメモリ２０３になかった場合の格納例を示す図である。同図において、ピクチャに付された数字を○で囲んで示すピクチャは、新たにピクチャＣを格納するためにピクチャメモリ２０３から削除されるべきピクチャである。図３２（ｂ）上部は、ピクチャメモリ２０３内に復号化されたピクチャＣを蓄積するために十分な空き領域がない状態を示している。この例では、図３０のピクチャ列におけるＰ３、Ｐ１、Ｐ２、Ｐ６、Ｐ４、Ｐ５がピクチャメモリに蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示している。この場合はピクチャメモリ２０３に蓄積されている、ピクチャサイズ変更前のピクチャを削除して、新たに復号化されたピクチャＣを蓄積するための領域を確保する必要がある。この例では、ピクチャサイズ変更後のピクチャＣは、ピクチャサイズ変更前のピクチャよりもサイズが大きく、ピクチャＣを新たに格納するためには、すでに格納されている２枚分のピクチャを削除する必要があることが分かる。次に、削除されるピクチャは、各ピクチャが持っている表示順情報が最も古いものから順に選択される。この例では、ピクチャメモリ２０３内でＰ１の表示順情報が最も古く、Ｐ１、Ｐ２、Ｐ３・・・の順に新しくなることが分かる。ピクチャメモリ制御部２０６では、上記のような処理によって１枚もしくは複数枚の削除すべきピクチャを判定し、判定結果をピクチャメモリ２０３に出力しピクチャの削除を行う。図３２（ｂ）上部の例では前記処理によってＰ１、Ｐ２が削除され、これによって生成された空き領域の先頭から、図３２（ｂ）下部のように復号化されたピクチャＣを蓄積している。

図３３（ａ）は、復号化対象ピクチャにおいてピクチャサイズが変更されず、かつ、ピクチャメモリ内に復号化対象ピクチャと異なるピクチャサイズを持ったピクチャが存在しない場合で、新たに復号化されたピクチャＣを格納するだけの空き領域がピクチャメモリ２０３にあった場合の格納例を示す図である。つまり、ピクチャＣの時間的に近くで、ピクチャサイズの変更がなされてない場合、もしくはピクチャサイズの変更が発生しないストリームを復号化している場合に起こりうる例である。

このような場合、ピクチャメモリ２０３内にすでに格納されているピクチャも、新たに復号化されたピクチャＣもすべて同じピクチャサイズである。このため、新たに復号化されたピクチャＣを格納するためには、ピクチャメモリ２０３から１枚分のピクチャを削除するだけでよい。従って、ピクチャメモリ制御部２０６は、ピクチャメモリ２０３内の空き領域を調べ、ピクチャＣを格納するだけの空き領域があればピクチャＣをその空き領域に書き込み、ピクチャＣを格納するための空き領域がない場合は、１枚分のピクチャを削除するという判定を行う。ピクチャメモリ２０３内に蓄積されているピクチャは、ピクチャデータに加えて、表示順を表す情報を持っている。ピクチャメモリ制御部２０６は、前記表示順情報を調べることにより、削除すべきピクチャを判定し、判定結果として表示順情報の最も古いピクチャを１枚だけ削除することを、ピクチャメモリ２０３に伝達する。その結果、生成された空き領域に、復号化されたピクチャＣが蓄積される。

図３３（ａ）上部は、ピクチャメモリ２０３内に新たに復号化されたピクチャＣを蓄積するための十分な空き領域がある状態を示している。この例では、図３０のピクチャ列におけるＰ２、Ｐ６、Ｐ４、Ｐ５がピクチャメモリに蓄積されており、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示している。この場合は、図３３（ａ）下部のように、復号化したピクチャＣをそのまま空き領域に蓄積することが可能である。つまり、既にピクチャメモリ内に蓄積されているピクチャの削除は行わない。

図３３（ｂ）は、復号化対象ピクチャにおいてピクチャサイズが変更されず、かつ、ピクチャメモリ内に復号化対象ピクチャと異なるピクチャサイズを持ったピクチャが存在しない場合で、新たに復号化されたピクチャＣを格納するだけの空き領域がピクチャメモリ２０３になかった場合の格納例を示す図である。図３３（ｂ）上部は、ピクチャメモリ内に新たに復号化されたピクチャＣを蓄積するための十分な空き領域がない状態を示している。この例では、図３０のピクチャ列におけるＰ３、Ｐ１、Ｐ２、Ｐ６、Ｐ４、Ｐ５がピクチャメモリに蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示している。この場合は、ピクチャメモリ２０３に蓄積されているピクチャを１枚だけ削除して、復号化されたピクチャＣを蓄積するための領域を確保する必要がある。削除されるピクチャとしては、各ピクチャが持っている表示順情報が最も古いものが選択される。この例では、Ｐ１の表示順情報が最も古いことが分かる。ピクチャメモリ制御部２０６では、上記のような処理によって、削除されるピクチャを判定し、判定結果をピクチャメモリ２０３に出力しピクチャの削除を行う。図３３（ｂ）上部の例では前記処理によってＰ１が削除され、これによって生成された空き領域に、復号化されたピクチャＣが図３３（ｂ）下部のように蓄積される。

図３４（ａ）は、復号化対象ピクチャにおいてピクチャサイズが変更されず、かつ、ピクチャメモリ２０３内に新たに復号化されたピクチャＣと異なるピクチャサイズを持ったピクチャが存在する場合で、新たに復号化されたピクチャＣを格納するだけの空き領域がピクチャメモリ２０３にあった場合の格納例を示す図である。つまり、ピクチャサイズの変更がなされてから長時間を経過する前に、復号化対象ピクチャが復号化される場合に起こりうる例である。ピクチャメモリ制御部２０６は、ピクチャメモリ２０３内の空き領域を調べ、新たに復号化されたピクチャＣを格納するために十分な空き領域がある場合には何もせず、空き領域が足りない場合はピクチャサイズ変更後に新たに復号化されたピクチャＣのサイズと、変更前のサイズとを比較し、削除すべきピクチャの枚数および削除すべきピクチャを判定する。ピクチャメモリ制御部２０６は、表示順情報の古いピクチャから順に必要な枚数分だけピクチャを削除し、これによってできた空き領域に新たに復号化されたピクチャＣを格納するとした場合、すでに説明した表示順情報を調べることにより、削除されるピクチャを特定する。削除されるべきピクチャは、ピクチャメモリ制御部２０６からピクチャメモリ２０３に伝達される。その結果、生成された空き領域に、新たに復号化されたピクチャＣが蓄積される。

図３４（ａ）上部はピクチャメモリ２０３内に、新たに復号化されたピクチャＣを蓄積するために十分な空き領域がある状態を示している。この例では、図３０のピクチャ列におけるＰ４、Ｐ５、Ｐ７がピクチャメモリ２０３に蓄積され、現在Ｐ８を復号化している状態（すなわち、Ｃ＝Ｐ８）を示している。この場合、図３４（ａ）下部のように、新たに復号化されたピクチャＣを、そのまま空き領域に蓄積することが可能である。つまり、既にピクチャメモリ内に蓄積されているピクチャの削除は行わない。

図３４（ｂ）は、復号化対象ピクチャにおいてピクチャサイズが変更されず、かつ、ピクチャメモリ２０３内に、新たに復号化されたピクチャＣと異なるピクチャサイズを持ったピクチャが存在する場合で、新たに復号化されたピクチャＣを格納するだけの空き領域がピクチャメモリ２０３になかった場合の格納例を示す図である。図３４（ｂ）上部は、ピクチャメモリ２０３内に、新たに復号化されたピクチャＣを蓄積するための十分な空き領域がない状態を示している。この例では、図３０のピクチャ列におけるＰ２、Ｐ６、Ｐ４、Ｐ５、Ｐ７がピクチャメモリに蓄積され、現在Ｐ８を復号化している状態（すなわち、Ｃ＝Ｐ８）を示している。この場合、ピクチャメモリ２０３に蓄積されているピクチャサイズ変更前のピクチャを削除して、新たに復号化されたピクチャＣを蓄積するための領域を確保する必要がある。この例では、ピクチャサイズ変更後のピクチャＣはピクチャサイズ変更前のピクチャよりもサイズが大きく、ピクチャＣを格納するために既に空き領域になっている領域を使用しても、さらに２枚分のピクチャを削除する必要があることが分かる。次に、削除されるピクチャは、各ピクチャが持っている表示順情報が最も古いものから順に選択される。この例では、Ｐ２の表示順情報が最も古く、Ｐ２、Ｐ４、Ｐ５・・・の順に新しくなることが分かる。従って、ピクチャメモリ制御部２０６では、上記のような処理によって削除すべき１枚もしくは複数枚のピクチャを判定し、判定結果をピクチャメモリ２０３に出力し、ピクチャの削除を行う。図３４（ｂ）上部の例では前記処理によってＰ２、Ｐ４が削除され、図３４（ｂ）下部のように、新たに復号化されたピクチャＣが、生成された空き領域に蓄積される。
"Joint Final Committee Draft (JFCD) of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)" 7.4.3.3 P.65、E.2.1 P.252。

しかしながら、従来の技術で説明した復号化方法では、削除されるＰ２、Ｐ４は、ピクチャメモリ２０３内で物理的に離れた領域に格納されているため、図３４（ｂ）下部の例で発生したように、新たに復号化されたピクチャが物理的に分割された領域に蓄積されてしまう状況が発生する。特に、符号化ストリーム中に含まれるピクチャのピクチャサイズの組み合わせによっては、１枚のピクチャが異なる領域に、非常に複雑に分割されてしまう可能性がある。このように、物理的に分割された領域に蓄積されているピクチャを参照ピクチャとして使用する際には、ピクチャメモリへのアクセスが複雑になり、ピクチャメモリへのアクセス速度、引いては復号化速度の低下の原因となる可能性がある。

そこで本発明は、上記課題を解決するために、動画像ストリームの先頭または途中でピクチャサイズの変更が起こりうる場合に、ピクチャメモリへのアクセス効率を低下させないピクチャメモリの管理方法を提案することを目的とする。

本発明の画像復号化装置は、異なるピクチャサイズの動画像ストリームを含んだ符号列を、復号化済みピクチャを参照しながら復号化する画像復号化装置であって、復号化済みのピクチャを格納するための記憶領域を備えるピクチャメモリと、前記ピクチャメモリの記憶領域を所定の大きさの区分領域に区分するメモリ区分手段と、新たに復号化されたピクチャ１枚分の全データを、前記ピクチャメモリの１以上の前記区分領域からなる連続した記憶領域に連続して格納する格納手段とを備えることを特徴とする。

また、前記画像復号化装置は、さらに、新たに復号化されたピクチャのサイズと、直前に復号化されたピクチャのサイズとを比較することによってピクチャのサイズが変更されているかどうかを判定するサイズ変更判定手段を備え、前記メモリ区分手段は、前記新たに復号化されたピクチャのサイズが変更されていると判定された場合、前記区分領域の大きさが前記新たに復号化されたピクチャのサイズとなるよう、前記記憶領域を区分するとしてもよい。

また、前記画像復号化装置は、さらに、前記符号列から、前記記憶領域の区分方法を示す区分情報を読み取る読み取り手段を備え、前記メモリ区分手段は、読み取られた前記区分情報に従って前記記憶領域を区分するとしてもよい。
なお、本発明は、このような動画像の符号化装置を備える配信サーバから、符号化された動画像コンテンツを配信し、動画像の復号化装置を備えるユーザ側端末装置において、配信された動画像コンテンツを再生する動画像コンテンツ配信システムとして実現することができるだけでなく、これらの動画像コンテンツ配信システムを構成する配信サーバ及びユーザ側端末装置などの単体として実現したり、それらの配信サーバ及びユーザ側端末装置などに備えられる符号化装置及び復号化装置として実現したり、このような動画像コンテンツ配信システムが備える特徴的な手段をステップとする符号化方法及び復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

これにより、動画像ストリームの先頭または途中でピクチャサイズの変更が起こりうる場合に、ピクチャメモリへのアクセス効率を低下させない画像復号化装置を提供することができる。

これにより、符号列内で動画像ストリームのピクチャサイズの変更が起こりうる場合に、画像復号化装置単体でも、ピクチャメモリへのアクセス効率を低下させないピクチャメモリの管理方法を実現することができる。

これにより、画像復号化装置における処理負荷を著しく増大することなく、ピクチャメモリへのアクセス効率を低下させないピクチャメモリの管理方法を実現することができる。

以下、本発明の実施の形態について、図１から図２７を用いて説明する。
（実施の形態１）
従来では復号化におけるピクチャメモリの管理（メモリ領域へのピクチャの格納および削除）をピクチャ単位で行っていた。これに対し、本実施の形態では、復号化におけるピクチャメモリのメモリ領域を、１つもしくは複数の領域に分割し、分割された領域を１つの単位としてピクチャメモリの管理を行うことを特徴とする。本実施の形態では、ピクチャメモリの分割方法を指定するための情報を画像符号化装置において生成し、符号列内に記述する。このときの分割された領域のことをピクチャ領域と呼ぶ。

本発明の実施の形態１における動画像の符号化方法について図１に示したブロック図を用いて説明する。図１は、本実施の形態１の画像符号化装置８００の構成を示すブロック図である。画像符号化装置８００の構成は図２８を用いて説明した従来の画像符号化装置１００とほぼ同様である。従来の画像符号化装置１００と異なる点は、新たにピクチャメモリ分割情報符号化部８０１が追加された点である。従来の技術と全く同様の処理についてはここでは説明を省略する。

符号化対象のストリームの符号化に先立って、ピクチャメモリ分割情報符号化部８０１では復号化側のピクチャメモリを分割する方法を指定するための情報を符号化する。図２は、本実施の形態の画像符号化装置８００により生成される符号列のデータ構造を示す図である。図２（ａ）は、ストリーム中に含まれる可能性のある最大のピクチャサイズの情報を符号化する場合の符号列の一例を示す図である。図２（ｂ）は、ストリーム中に含まれる可能性のある最大のピクチャサイズに基づいてピクチャメモリを分割した場合に、ピクチャメモリ内に確保することのできる領域の数を符号化する場合の符号列の一例を示す図である。本実施の形態では、前記復号化側のピクチャメモリを分割する方法を指定する情報として、ストリーム中に含まれる可能性のある最大のピクチャサイズの情報を符号化し、図２（ａ）における符号列のピクチャ共通情報領域のmax_sizeとして記述する。ここでの最大のピクチャサイズは、例えば、画像符号化装置８００が符号化に使用することのできる最大のピクチャサイズを用いる。あるいは、ユーザが符号化を実行する際に、提示された複数のピクチャサイズのうちから所望の最大ピクチャサイズを選択して決定するとしてもよい。

符号化対象のピクチャがＩＤＲピクチャもしくはそれに代わるピクチャサイズの変更を可能とするピクチャであった場合、ピクチャメモリ制御部１０９よりピクチャメモリのリセット方法を示す信号が符号列生成部１０３に入力される。なお、ＩＤＲピクチャとは、次のような特別な性質を持つピクチャのことをいう。（１）面内予測復号化のみ可能である。（２）復号化終了後にピクチャメモリ内の全てのピクチャをリセットする。（３）ピクチャサイズを変更することが可能である。したがって、ＩＤＲピクチャの後に復号化されるピクチャはＩＤＲピクチャより先に復号化されたピクチャを参照することができない。例えば、図３０（ａ）に示したＰ８は、Ｐ７しか参照することができない。ＩＤＲピクチャは、スライスデータのヘッダ領域に図２（ａ）にあるようにreset_flagを有し、前記フラグによって前述したＩＤＲの特徴の１つであるピクチャメモリのリセットの方法が指定される。なお、スライスとは、１つのピクチャを１つもしくは複数の領域に分割した際の分割された１つ１つの領域のことを示すものである。reset_flagが０の場合は、ピクチャメモリ内の全ての参照可能ピクチャを参照不可ピクチャ（表示待ちピクチャ）に変更する。一方、reset_flagが１の場合は、参照可能もしくは参照不可に関わらず、全てのピクチャのデータをピクチャメモリから削除してしまう。つまり、reset_flagが１の場合は、ＩＤＲピクチャよりも先に復号化されたピクチャでまだ表示がされていないピクチャがあったとしても、それらピクチャを表示することなくＩＤＲピクチャ以降のピクチャの表示が行われることになる。本実施の形態では、この際に指定するピクチャメモリのリセット方法は任意であり、例えば、復号化側のピクチャメモリの動作を想定した場合に、ピクチャメモリ内に表示されていないピクチャがあるかないかよって、reset_flag を０、つまり全てのピクチャを参照不可にするだけでピクチャデータそのものは削除しない、もしくは、reset_flag を１、つまり全てのピクチャのデータそのものを削除してピクチャメモリの全領域を空き状態にする、かのどちらかを任意に選択することが可能である。符号列生成部１０３では入力された前記信号を符号化し、図２（ａ）のようにreset_flag をスライスヘッダに持った形式の符号列を生成する。

なお、max_sizeとして、ストリーム中に含まれる可能性のある最大のピクチャサイズの情報を記述する代わりに、図２（ｂ）のように復号化におけるピクチャメモリ内に確保することのできる領域の数をmin_area_num として、符号列のピクチャ共通情報領域に記述することも可能である。min_area_num は、１つのピクチャ領域のサイズが、ストリーム中に含まれる可能性のある最大のピクチャサイズであるmax_size となるよう復号化側のピクチャメモリを分割したときにできるピクチャ領域の数を示している。その場合、min_area_num の値は下記の式１によって決定される。なお、式中の割り算の演算結果は切り捨て処理によって整数値として算出されるものとする。
（min_area_num ）＝（復号化側のピクチャメモリのサイズ）／（max_size） （式１）
なお、上記のピクチャサイズおよびピクチャメモリのサイズとは、全体の画素数、もしくは全体のマクロブロックの個数、もしくは全体のビット数のいずれであっても同様に扱うことが可能である。

なお、画面間予測符号化を行う際に参照することのできるピクチャの枚数を、符号化対象とするピクチャのピクチャサイズとは無関係に常に上記の式１によって算出されるmin_area_num 以下として符号化を行うことにより、復号化側において上記分割方法によってピクチャメモリを分割して使用する場合でも、参照ピクチャがピクチャメモリ内に存在しないという状況が発生することを防ぐことが可能となる。

図３は、図２（ａ）及び図２（ｂ）に示した符号列中のピクチャ共通情報の領域に付加的情報を記述する場合の符号列の一例を示す図である。なお、図３に示したようにmax_sizeおよびmin_area_num に加えてcnf_flagを符号列のピクチャ共通情報領域に記述することも可能である。cnf_flagはmax_sizeおよびmin_area_num に従って復号化側のピクチャメモリを分割して管理を行った場合でも、ストリーム中に含まれる全てのピクチャを問題なく表示することができるかどうかを示すフラグである。例えば、値が１の場合は問題なく表示することができることを示し、値が０の場合はまだ表示されていないピクチャが、本実施の形態の処理によって既にデータを失ってしまったため表示することができなくなる可能性があることを示す。このように、cnf_flag を符号列に記述しておくことにより、この信号の値を調べることにより本実施の形態の処理を適用するかどうかを判断することができる。例えば、cnf_flag が０の場合には、本実施の形態の処理を適用すると表示できないピクチャが発生してしまう可能性があることが分かるので、替わりに従来どおりピクチャ単位でピクチャメモリの管理を行う方法に切り替えることにより、メモリ領域が細分化されてしまう恐れがあるが、全てのピクチャを問題なく表示することが可能となる。

なお、図２および図３ではmax_sizeおよびmin_area_num およびcnf_flagをピクチャ共通情報領域に記述しているが、復号化を行う際に必ずしも必要ではないが復号化処理のための補助となるようなデータを集めたデータ領域に記述することも可能である。また、シーケンス全体から参照されるシーケンス共通情報領域に記述することも可能である。また、スライスヘッダに記述することも可能である。

次に、上で述べたような符号化方法によって符号化された符号列の復号化方法を、図４〜図７を用いて説明する。図４は、本実施の形態の画像復号化装置１１００の構成を示すブロック図である。図５は、図４に示した画像復号化装置１１００における復号化処理の手順を示すフローチャートである。図６および図７は、図４に示したピクチャメモリ２０３の管理方法を示す模式図である。

図４に示した画像復号化装置１１００の構成は図２９を用いて説明した従来の画像復号化装置２００とほぼ同様である。従来の方法と異なる点は、ピクチャサイズ変更判定部２０７、削除ピクチャ領域判定部２０９、ピクチャメモリ分割方法指定部２１０が追加された点である。従来の技術と全く同様の処理については、ここでは説明を省略する。
本実施の形態は従来とは異なり、ピクチャメモリ２０３の管理をピクチャ単位で行うのではなく、ピクチャメモリ２０３を１つもしくは複数に分割したピクチャ領域と呼ばれる領域を１つの格納および削除の単位として行うことを特徴とする。そこで、符号列の復号化に先立って、ピクチャメモリ分割方法指定部２１０では、ピクチャメモリの分割方法を符号列中の信号から解析してピクチャメモリ制御部２０６に指示する。本実施の形態では、前記ピクチャメモリを分割する方法を指定する情報として、ストリーム中に含まれる可能性のある最大のピクチャサイズの情報が図２（ａ）の符号列中に含まれるmax_sizeとしてピクチャ共通情報領域に記述されている。ピクチャメモリ分割方法指定部２１０は前記信号を解析することにより、ピクチャメモリ２０３の分割方法を決定する。その際に分割される領域の数は下記の式２によって算出される。なお、式中の割り算の演算結果は切り捨て処理によって整数値として算出されるものとする。
（ピクチャ領域数）＝（画像復号化装置１１００のピクチャメモリ２０３のサイズ）／（max_size） （式２）
また、図２（ａ）の符号列の代わりに図２（ｂ）の符号列を用いた場合は、ピクチャ領域の数は下記の式３によって算出される。
（ピクチャ領域数）＝（min_area_num ） （式３）
なお、上記のピクチャサイズおよびピクチャメモリのサイズとは、全体の画素数、もしくは全体のマクロブロックの個数、もしくは全体のビット数のいずれであってもよく、それぞれ同様に扱うことが可能である。

ピクチャサイズ変更判定部２０７では、復号化対象のピクチャのピクチャサイズとそれ以前（又はその直前）に復号化されたピクチャのピクチャサイズとを比較し、ピクチャサイズの変更がなされたかどうかを判定する。
符号列中のスライスヘッダには、図２（ａ）及び図２（ｂ）にあるように、reset_flag が符号化されている。符号列解析部２０１では前記reset_flag の値を解析し、解析結果の情報をピクチャメモリ制御部２０６に出力する。本実施の形態ではピクチャサイズが変更されていた場合でもreset_flag の値は０もしくは１の両方とも選択されている可能性がある。したがって、reset_flag の値に応じて、図５のフローチャートのようにピクチャメモリの管理方法が分かれることになる。特にreset_flag が０の場合は、ピクチャメモリ内にピクチャサイズ変更前のピクチャが残っている可能性があるため、ピクチャサイズ変更後のピクチャを蓄積するためにどのピクチャ領域を削除しなくてはならないかを判定する必要がある。その判定が削除ピクチャ領域判定部２０９によってなされ、前記判定結果はピクチャメモリ制御部２０６に出力されピクチャメモリの管理が行われる。

次に復号化処理におけるピクチャメモリ制御部２０６、ピクチャサイズ変更判定部２０７、削除ピクチャ領域判定部２０９の動作の詳細について、図５のフローチャートを用いて説明を行う。なお、図５のフローチャートでは対象ピクチャの復号化を行った後にピクチャサイズの変更の判定およびreset_flag の値の判定を行っているが、この順番は任意であり、図５に示した順番に限ったものではない。

まず、復号化対象ピクチャにおいてピクチャサイズが変更され（Ｓ１２０４）、かつ、reset_flag が１のとき（Ｓ１２０５）に実行される復号化処理のフローについて説明する。reset_flag が１とは、ピクチャメモリ内の全てのピクチャデータを削除し、全ての領域を空き状態にすることを示す値である。つまりこの信号がピクチャメモリ制御部２０６に入力されると、ピクチャメモリ制御部２０６はピクチャメモリ内の全ての領域を削除し（Ｓ１２０６）、復号化を行ったピクチャサイズ変更後のピクチャをピクチャメモリ内の任意の領域に保存する（Ｓ１２０７）ことが可能である。

次いで、復号化対象ピクチャにおいてピクチャサイズが変更され（Ｓ１２０４）、かつ、reset_flag が０のとき（Ｓ１２０５）に実行される復号化処理のフローについて説明する。reset_flag が０とは、ピクチャメモリ内の全てのピクチャデータを参照不可にするがピクチャデータそのものは削除せずに蓄積したままにすることを示す値である。削除ピクチャ領域判定部２０９はピクチャメモリ内の空き領域を調べ、空き領域が足りない場合は削除するピクチャ領域を判定する（Ｓ１２０８）。ピクチャメモリ２０３内に蓄積されているピクチャは、ピクチャデータに加え表示順の情報を持っている。削除ピクチャ領域判定部２０９は、前記表示順情報を調べることにより、表示順情報の最も古いピクチャが蓄積されているピクチャ領域を指定し、指定されたピクチャ領域を削除する旨の指示をピクチャメモリ制御部２０６に伝達する。その結果、指定されたピクチャ領域が削除され、生成された空き領域に復号化されたピクチャが蓄積される（Ｓ１２１０）。

図６（ａ）及び図６（ｂ）は、新たに復号化されたピクチャが、図５のフローチャートのステップＳ１２０４〜Ｓ１２１０の手順に従ってピクチャメモリ２０３に蓄積される様子を示す図である。
図６（ａ）はピクチャメモリ２０３内に復号化された復号化対象ピクチャＣを蓄積するのに十分な空き領域があった場合の例である。この例では、図３０（ａ）及び図３０（ｂ）のピクチャ列におけるＰ４、Ｐ５がピクチャメモリに蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示している。Ｐ４、Ｐ５は分割されたピクチャ領域と同じピクチャサイズを持ったピクチャであり、つまり、シーケンス中に含まれるピクチャの中で最も大きなピクチャサイズを持ったものであることが分かる。それに対して復号化されたピクチャＣは、必ずピクチャ領域と同じピクチャサイズかもしくはそれ以下のピクチャサイズを持つことになるが、図６（ａ）の例では、復号化対象ピクチャＣがＰ４、Ｐ５よりも小さなピクチャサイズであった場合を示している。この場合は、図６（ａ）下部のように、復号化されたピクチャＣをそのまま空き領域に蓄積することが可能である。つまり、既にピクチャデータが蓄積されているピクチャ領域の削除は行わない。

図６（ｂ）上部はピクチャメモリ内に復号化したピクチャＣを蓄積するのに十分な空き領域がなかった場合の例である。この例では、図３０のピクチャ列におけるＰ６、Ｐ４、Ｐ５がピクチャメモリに蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示している。この場合はピクチャメモリ２０３に蓄積されているピクチャサイズ変更前のピクチャデータを持つピクチャ領域を削除して、復号化したピクチャＣを蓄積するための領域を確保する必要がある。本実施の形態では、復号化を行うピクチャは必ずピクチャ領域と同じピクチャサイズもしくはそれ以下のピクチャサイズを持つものである。従って、ピクチャメモリ２０３内に空き領域が無い場合は、どれか１つのピクチャ領域を削除することによって、復号化されたピクチャを蓄積するための領域を確保することができる。削除するピクチャ領域は、蓄積されているピクチャが持っている表示順情報が最も古いものが選択される。この例では、Ｐ４の表示順情報が最も古いことが分かる。削除ピクチャ領域判定部２０９では、上記のような処理によって削除するピクチャ領域を判定し、判定結果をピクチャメモリ制御部２０６に出力しピクチャ領域の削除を行う。図６（ｂ）上部の例では上記処理によってＰ４が削除され、図６（ｂ）下部のように復号化されたピクチャＣを、Ｐ４を削除することによって生成された空き領域に蓄積している。

最後に、復号化対象ピクチャにおいてはピクチャサイズが変更されずに、それ以前に変更されていた場合、もしくは全く変更がされていなかった場合（Ｓ１２０４）に実行される復号化処理のフローについて説明する。本実施の形態は従来とは異なり、ピクチャメモリ２０３内に復号化対象ピクチャＣと異なるピクチャサイズを持ったピクチャが存在していてもしていなくても全く同様の処理によってピクチャメモリ２０３を管理することが可能である。削除ピクチャ領域判定部２０９は、ピクチャメモリ２０３内の空き領域を調べ、空き領域が足りない場合は削除するピクチャ領域を判定する。ピクチャメモリ２０３内に蓄積されているピクチャはピクチャデータに加え表示順の情報を持っている。削除ピクチャ領域判定部２０９は、前記表示順情報を調べることにより、表示順情報の最も古いピクチャが蓄積されているピクチャ領域を特定し、特定されたピクチャ領域を削除する指示をピクチャメモリ制御部２０６に伝達する。その結果生成された空き領域に復号化したピクチャを蓄積する。

図７（ａ）及び図７（ｂ）は、新たに復号化されたピクチャが、図５のフローチャートのステップＳ１２０４〜Ｓ１２１３の手順に従って、ピクチャメモリ２０３に蓄積される様子を示す図である。
図７（ａ）はピクチャメモリ内に復号化したピクチャＣを蓄積するのに十分な空き領域があった場合の例である。この例では、図３０のピクチャ列におけるＰ５、Ｐ７がピクチャメモリに蓄積され、現在Ｐ８を復号化している状態（すなわち、Ｃ＝Ｐ８）を示している。Ｐ５はピクチャ領域と同じピクチャサイズを持ったピクチャであり、つまり、シーケンス中に含まれるピクチャの中で最も大きなピクチャサイズを持ったものであることが分かる。それに対して復号化されたピクチャＣは、必ずピクチャ領域と同じピクチャサイズもしくはそれ以下のピクチャサイズを持つことになる。図７（ａ）の例では、Ｐ５よりも小さなピクチャサイズであった場合を示している。この場合は、図７（ａ）下部のように、復号化したピクチャＣは、そのまま空き領域に蓄積することが可能である。ただし、この場合、復号化対象ピクチャＣは、空き領域の先頭から蓄積されるのではなく、空き領域となっているピクチャ領域の先頭から蓄積される。そして、既にピクチャメモリ内に蓄積されているピクチャデータを持つピクチャ領域の削除は行わない。

図７（ｂ）上部はピクチャメモリ２０３内に復号化されたピクチャＣを蓄積するのに十分な空き領域がなかった場合の例である。この例では、図３０のピクチャ列におけるＰ４、Ｐ５、Ｐ７がピクチャメモリに蓄積され、現在Ｐ８を復号化している状態（すなわち、Ｃ＝Ｐ８）を示している。この場合はピクチャメモリ２０３に蓄積されているピクチャデータを持つピクチャ領域を削除して、新たに復号化されたピクチャＣを蓄積するための領域を確保する必要がある。本実施の形態では、復号化を行うピクチャは必ずピクチャメモリを分割した領域であるピクチャ領域と同じピクチャサイズもしくはそれ以下のピクチャサイズを持つものである。従って、ピクチャメモリ内に空き領域が無い場合は、どれか１つのピクチャ領域を削除することによって、復号化したピクチャを蓄積するための領域を確保することができる。削除するピクチャ領域は、蓄積されているピクチャが持っている表示順情報が最も古いものが選択される。この例では、Ｐ４の表示順情報が最も古いことが分かる。削除ピクチャ領域判定部２０９では、上記のような処理によって削除するピクチャ領域を判定し、判定結果をピクチャメモリ制御部２０６に出力しピクチャの削除を行う。図７（ｂ）上部の例では上記処理によってＰ４が削除され、図７（ｂ）下部のように復号化したピクチャＣを生成された空き領域に蓄積している。

なお、上記実施の形態では、復号化におけるピクチャメモリ２０３からピクチャ領域を削除するときに、蓄積されているピクチャの持つ表示順情報が古いものから順に行っていたが、表示順情報の代わりに、復号化された順序が古いピクチャから順に削除を行うとした場合も全く同様に扱うことが可能である。

以上の説明から分かるように、本実施の形態では復号化対象ピクチャＣにおいてピクチャサイズが変更された場合でも、復号化対象ピクチャＣにおいてピクチャサイズが変更されなかった場合でも、全く同様の処理によってピクチャメモリ２０３の管理を実現することができるので、両者を区別する必要がない。つまり、符号化を行う際にピクチャサイズが変更された場合でも変更がされなかった場合でも、常に１領域分のみのピクチャ領域を削除するという単純な処理方法によって、表示されていない可能性のあるピクチャをできる限りピクチャメモリに残したまま、矛盾無くピクチャメモリの管理を行うことが可能となる。また、符号化装置側においても、従来の方法に加えて、ストリーム中に含まれる最大のピクチャサイズの情報を符号化して符号列に記述するだけで本実施の形態の処理を実現することが可能であり、画像符号化装置の実装が容易である。しかし、図６および図７の例で発生したように、新たに復号化されるピクチャ（復号化対象ピクチャＣ以降のピクチャ）が小さいピクチャサイズを持つ場合は、それぞれのピクチャ領域中に使用されない無駄な領域が発生するため、ピクチャメモリを有効に活用しきれているとは言いがたい。しかし、どのピクチャサイズのピクチャも物理的に分割されることなくメモリ上に連続して蓄積することが可能となるため、メモリのアクセスが単純化され速度を低下させることなく復号化を行うことが可能となる。また、通常の画像符号化および復号化においては、ピクチャサイズが変更されても、ピクチャの参照関係（参照に使用するピクチャの枚数等）は変更せずに処理を行うような構成が多く使用される。よって、本実施の形態で説明したような方法によって、効率の良い処理方法による復号化を実現することが可能であると言える。

（実施の形態２）
実施の形態１では、ストリーム中に含まれる可能性のある最大のピクチャサイズの情報に基づいて、復号化側のピクチャメモリ２０３を分割し、このピクチャ領域を単位としてピクチャメモリ２０３を管理した。これに対し、本実施の形態２では、ストリーム中に含まれる可能性のある最小のピクチャサイズの情報に基づいて、ピクチャメモリ２０３を管理する。

本発明の実施の形態２における動画像の符号化方法について図１に示したブロック図を用いて説明する。画像符号化装置の構成は実施の形態１で説明した画像符号化装置８００と同様である。すでに説明した構成要素と全く同様の構成要素については、ここでは説明を省略する。
符号化対象のストリームの符号化に先立って、ピクチャメモリ分割情報符号化部８０１では復号化側のピクチャメモリを分割する方法を指定するための情報を符号化する。本実施の形態では、前記復号化側のピクチャメモリ２０３を分割する方法を指定する情報として、ストリーム中に含まれる可能性のある最小のピクチャサイズの情報を符号化する。図８は、本実施の形態２の画像符号化装置８００により生成される符号列のデータ構造を示す図である。図８（ａ）は、ストリーム中に含まれる可能性のある最小のピクチャサイズの情報を符号化する場合の符号列の一例を示す図である。ピクチャメモリ分割情報符号化部８０１は、ストリーム中に含まれる可能性のある最小のピクチャサイズの情報を、図８（ａ）における符号列のピクチャ共通情報領域のmin_size として記述する。ここでの最小のピクチャサイズは、例えば、画像符号化装置が符号化に使用することのできる最小のピクチャサイズを用いるとしてもよいし、ユーザが符号化を実行する際に提示された複数のピクチャサイズのうちから１つを選択して決定するとしてもよい。

符号化対象のピクチャがＩＤＲピクチャもしくはそれに代わるピクチャサイズの変更を可能とするピクチャであった場合、従来の技術と同様にピクチャメモリ制御部１０９よりピクチャメモリのリセット方法を示す信号が符号列生成部１０３に入力される。本実施の形態では、この際に指定するピクチャメモリのリセット方法は任意であり、例えば、復号化側のピクチャメモリの動作を想定した場合に、ピクチャメモリ内に表示されていないピクチャがあるかないかよって、reset_flag を０、つまり全てのピクチャを参照不可にするだけでピクチャデータそのものは削除しない、もしくは、reset_flag を１、つまり全てのピクチャのデータそのものを削除してピクチャメモリの全領域を空き状態にする、かのどちらかを任意に選択することが可能である。符号列生成部１０３では入力された前記信号を符号化し、図８（ａ）のようにreset_flag をスライスヘッダに持った形式の符号列を生成する。

なお、min_size としてストリーム中に含まれる可能性のある最小のピクチャサイズの情報を記述する代わりに、復号化におけるピクチャメモリ２０３を分割した際のそれぞれの分割後のピクチャ領域のサイズを直接one_mem_sizeとして記述する方法もある。図８（ｂ）は、ピクチャメモリ２０３を分割して得られるピクチャ領域のサイズの情報を符号化する場合の符号列の一例を示す図である。例えば、図８（ｂ）のように、分割後のピクチャ領域のサイズを直接one_mem_sizeとしてピクチャ共通情報の中に記述するとしてもよい。このone_mem_sizeとしては、例えば、ストリーム中に含まれる最小のピクチャサイズをそのまま用いてもよいし、ストリーム中に含まれる全てのピクチャサイズの最大公約数を用いてもよいし、復号化側のメモリの動作を想定した際に最も効率良くアクセスすることが可能であるひとまとまりの領域のサイズを用いるとしてもよい。

なお、one_mem_sizeを決定する際は、１つのマクロブロックを同じ領域に蓄積できるように、もしくは画面（ピクチャ）の横方向１列分の全てのマクロブロックを同じ領域に蓄積できるようにone_mem_sizeの値の切り上げを行うことにより、効率の良いメモリ管理を実現することも可能である。また、この切り上げは、画像復号化装置側で行うようにしてもよい。例えば図９のような３種類のピクチャサイズのピクチャが１つのストリーム内で符号化されているとする。図９（ａ）は１つのストリーム内で符号化されている３通りのピクチャサイズの例を示す図である。同図において、各ピクチャのサイズは、縦横の長さがマクロブロック（例えば、１６×１６画素）いくつ分に相当するかで表されている。図９（ａ）において、ピクチャＡはマクロブロック数が縦６横７で構成されるピクチャであり、ピクチャＢはマクロブロック数が縦８横１０で構成されるピクチャであり、ピクチャＣはマクロブロック数が縦１２横１２で構成されるピクチャとなっている。図９（ｂ）は、１つのストリーム内に図９（ａ）に示した３つのピクチャサイズのピクチャが含まれる場合に、ピクチャメモリ２０３を効率よく利用するためのピクチャ領域の分割方法の一例を示す図である。この場合、one_mem_sizeとしてマクロブロック４８個分のデータを蓄積できる領域のサイズを記述すれば、図９（ｂ）のように、ピクチャＡは１つのピクチャ領域で、ピクチャＢは２つのピクチャ領域で、ピクチャＣは３つのピクチャ領域で１枚分のピクチャのデータを蓄積することが可能となる。このとき各ピクチャの横方向１列分のマクロブロックは途中で区切られることなく１つのピクチャ領域に割り当てられているのが分かる。なお、図９の例では全てのピクチャが等分に分割されているが、分割の大きさは不均一でも問題なく扱うことが可能である。

なお、one_mem_sizeとして復号化側のピクチャメモリを分割した１つ分のピクチャ領域のサイズの情報を記述する代わりに、分割したピクチャ領域の数をarea_numとして符号列のピクチャ共通情報領域に記述することも可能である。図８（ｃ）は、ピクチャメモリ２０３を分割して得られるピクチャ領域の数を符号化する場合の符号列の一例を示す図である。例えば、図８（ｃ）のように、分割後のピクチャ領域の数をarea_numとして直接ピクチャ共通情報の中に記述するとしてもよい。その場合、画像復号化装置のピクチャメモリのサイズは規格等によって一定であるので、area_numの値は下記の式４によって容易に決定される。なお、式中の割り算の演算結果は切り捨て処理によって整数値として算出されるものとする。
（area_num）＝（画像復号化装置１１００のピクチャメモリのサイズ）／（one_mem_size） （式４）
なお、上記のピクチャサイズおよびピクチャメモリのサイズとは、全体の画素数、もしくは全体のマクロブロックの個数、もしくは全体のビット数のいずれであっても同様に扱うことが可能である。

図１０（ａ）、図１０（ｂ）及び図１０（ｃ）は、図８（ａ）、図８（ｂ）及び図８（ｃ）に示した各符号列中のピクチャ共通情報の領域に、付加的情報を記述する場合の符号列の一例を示す図である。なお、図８（ａ）、図８（ｂ）及び図８（ｃ）に示した符号列は、図１０（ａ）、図１０（ｂ）及び図１０（ｃ）に示したように記述されるとしてもよい。すなわち、min_size およびone_mem_sizeおよびarea_numに加えて、cnf_flagを符号列のピクチャ共通情報領域に記述することも可能である。cnf_flagはmin_size およびone_mem_sizeおよびarea_numに従って復号化側のピクチャメモリを分割して管理を行った場合でも、ストリーム中に含まれる全てのピクチャを問題なく表示することができるかどうかを示すフラグである。例えば、値が１の場合は問題なく表示することができることを示し、値が０の場合はまだ表示されていないピクチャが、本実施の形態の処理によって既にデータを失ってしまったため表示することができなくなる可能性があることを示す。

なお、図８（ａ）、（ｂ）、（ｃ）および図１０（ａ）、（ｂ）、（ｃ）では、min_size 、 one_mem_size、area_numおよびcnf_flagをピクチャ共通情報領域に記述しているが、例えば、復号化を行う際に必ずしも必要ではないが復号化処理のための補助となるようなデータを集めたデータ領域に記述することも可能である。また、シーケンス全体から参照されるシーケンス共通情報領域に記述することも可能である。また、スライスヘッダに記述することも可能である。

次に、上で述べたような符号化方法によって符号化された符号列の復号化方法を、図４に示した画像復号化装置１１００のブロック図、および図５に示した復号化処理のフローチャート、および図１１と図１２に示したピクチャメモリの模式図を用いて説明する。
本実施の形態は実施の形態１と同様に、ピクチャメモリの管理をピクチャ単位で行うのではなくピクチャ領域と呼ばれるピクチャメモリを１つもしくは複数に分割した領域を１つの格納および削除の単位として行うことを特徴とする。そこで、符号列の復号化に先立って、ピクチャメモリ分割方法指定部２１０ではピクチャメモリの分割方法を符号列中の信号から解析してピクチャメモリ制御部２０６に指示する。本実施の形態では、前記ピクチャメモリを分割する方法を指定する情報として、ストリーム中に含まれる可能性のある最小のピクチャサイズの情報が図８（ａ）の符号列中に含まれるmin_size としてピクチャ共通情報領域に記述されている。ピクチャメモリ分割方法指定部２１０は、前記信号を解析することによりピクチャメモリの分割方法を決定する。その際に分割される領域の数は下記の式５によって算出される。なお、式中の割り算の演算結果は切り捨て処理によって整数値として算出されるものとする。
（ピクチャ領域数）＝（画像復号化装置１１００のピクチャメモリのサイズ）／（min_size ） （式５）
また、図８（ａ）の符号列の代わりに図８（ｂ）の符号列を用いた場合はピクチャ領域の数は下記の式６によって算出される。
（ピクチャ領域数）＝（画像復号化装置１１００のピクチャメモリのサイズ）／（one_mem_size） （式６）
また、図８（ａ）の符号列の代わりに図８（ｃ）の符号列を用いた場合はピクチャ領域の数は下記の式７によって算出される。
（ピクチャ領域数）＝（area_num） （式７）
なお、上記のピクチャサイズおよびピクチャメモリのサイズは、全体の画素数、もしくは全体のマクロブロックの個数、もしくは全体のビット数のいずれで表されている場合であっても同様に扱うことが可能である。

ピクチャサイズ変更判定部２０７では、復号化対象のピクチャのピクチャサイズとそれ以前（又はその直前）に復号化されたピクチャのピクチャサイズとを比較し、ピクチャサイズの変更がなされたかどうかを判定する。
符号列中のスライスヘッダには図８（ａ）、（ｂ）、（ｃ）にあるようにreset_flag が符号化されている。符号列解析部２０１では前記reset_flag の値を解析し、解析結果の情報をピクチャメモリ制御部２０６に出力する。本実施の形態ではピクチャサイズが変更されていた場合でもreset_flag の値は０もしくは１の両方とも選択されている可能性がある。したがって、reset_flag の値に応じて、図５のフローチャートのようにピクチャメモリの管理方法が分かれることになる。特にreset_flag が０の場合は、ピクチャメモリ内にピクチャサイズ変更前のピクチャが残っている可能性があるため、ピクチャサイズ変更後のピクチャを蓄積するためにどのピクチャ領域を削除しなくてはならないかを判定する必要がある。その判定が削除ピクチャ領域判定部２０９によってなされ、前記判定結果はピクチャメモリ制御部２０６に出力され、ピクチャメモリ２０３の管理が行われる。

次に復号化処理におけるピクチャメモリ制御部２０６、ピクチャサイズ変更判定部２０７、削除ピクチャ領域判定部２０９の動作の詳細について、図５のフローチャートを用いて説明を行う。なお、図５のフローチャートでは対象ピクチャの復号化を行った後にピクチャサイズの変更の判定およびreset_flag の値の判定を行っているが、この順番は任意であり、図５に示した順番に限ったものではない。

まず、復号化対象ピクチャにおいてピクチャサイズが変更され（Ｓ１２０４）、かつ、reset_flag が１のとき（Ｓ１２０５）に実行される復号化処理のフローについて説明する。reset_flag が１とは、ピクチャメモリ内の全てのピクチャデータを削除し、全ての領域を空き状態にすることを示す値である。つまりこの信号がピクチャメモリ制御部２０６に入力されると、ピクチャメモリ制御部２０６はピクチャメモリ内の全ての領域を削除し（Ｓ１２０６）、復号化を行ったピクチャサイズ変更後のピクチャをピクチャメモリ内の任意の領域に保存する（Ｓ１２０７）ことが可能である。

次いで、復号化対象ピクチャにおいてピクチャサイズが変更され（Ｓ１２０４）、かつ、reset_flag が０のとき（Ｓ１２０５）に実行される復号化処理のフローについて説明する。reset_flag が０とは、ピクチャメモリ内の全てのピクチャデータを参照不可にするがピクチャデータそのものは削除せずに蓄積したままにすることを示す値である。削除ピクチャ領域判定部２０９はピクチャメモリ内の空き領域を調べ、空き領域が足りない場合はピクチャサイズ変更後のサイズとピクチャメモリを分割した１つのピクチャ領域のサイズと比較し、復号化したピクチャの分割の方法を決定して、削除するピクチャ領域の数および削除するピクチャ領域を判定する（Ｓ１２０８）。ピクチャメモリ２０３内に蓄積されているピクチャは、ピクチャデータに加え表示順の情報を持っている。削除ピクチャ領域判定部２０９は、前記表示順情報を調べることにより、表示順情報の古いピクチャが蓄積されているピクチャ領域を指定し、指定されたピクチャ領域から順に削除する指示をピクチャメモリ制御部２０６に伝達する。その結果、指定されたピクチャ領域が削除され、生成された空き領域に復号化したピクチャが蓄積される（Ｓ１２１０）。

図１１（ａ）及び図１１（ｂ）は、新たに復号化されたピクチャが、図５のフローチャートのステップＳ１２０４〜Ｓ１２１０の手順に従って、ピクチャメモリ２０３に蓄積される様子を示す図である。
図１１（ａ）はピクチャメモリ内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域があった場合の例を示している。この例では、図３０のピクチャ列におけるＰ２、Ｐ６、Ｐ４、Ｐ５がピクチャメモリに蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示している。Ｐ２、Ｐ６、Ｐ４、Ｐ５はピクチャ領域と同じピクチャサイズを持ったピクチャであることが分かる。それに対して新たに復号化されたピクチャＣは、ピクチャ領域１つ分のサイズよりも大きなピクチャサイズであり、２つに分割して蓄積する例を示している。この場合は、図１１（ａ）下部のように新たに復号化されたピクチャＣを２つ分のピクチャ領域を使用してそのまま空き領域に蓄積することが可能である。つまり、ピクチャメモリ内において、既にピクチャデータが蓄積されているピクチャ領域の削除は行わない。

図１１（ｂ）上部はピクチャメモリ内に復号化したピクチャＣを蓄積するのに十分な空き領域がなかった場合の例を示している。この例では、図３０のピクチャ列におけるＰ３、Ｐ１、Ｐ２、Ｐ６、Ｐ４、Ｐ５がピクチャメモリに蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示している。この場合は、サイズ変更前のピクチャデータを持つピクチャ領域を削除して復号化したピクチャを蓄積するための領域を確保する必要がある。この例では、ピクチャサイズ変更後のピクチャＣはピクチャ領域１つ分のサイズよりもピクチャサイズが大きく、２つに分割して２つ分のピクチャ領域を使用して蓄積しなくてはならないことが分かる。また、削除されるピクチャ領域は、そのピクチャ領域に蓄積されているピクチャが持っている表示順情報が古いものから順に選択される。この例では、Ｐ１、Ｐ２の順に表示順情報が古いことが分かる。削除ピクチャ領域判定部２０９では、上記のような処理によって削除すべきピクチャ領域を判定し、判定結果をピクチャメモリ制御部２０６に出力し、判定されたピクチャ領域の削除を行う。図１１（ｂ）上部の例では前記ピクチャ領域の削除処理によってＰ１、Ｐ２が削除され、図１１（ｂ）下部のように新たに復号化されたピクチャＣが生成された空き領域に蓄積されている。

最後に、復号化対象ピクチャＣにおいてはピクチャサイズが変更されずに、それ以前に変更されていた場合、もしくは全く変更がされていなかった場合（Ｓ１２０４）に実行される復号化処理のフローについて説明する。本実施の形態は、ピクチャメモリ内に復号化対象ピクチャと異なるピクチャサイズを持ったピクチャが存在していてもしていなくても全く同様の処理によってピクチャメモリを管理することが可能である。削除ピクチャ領域判定部２０９はピクチャメモリ内の空き領域を調べ、空き領域が足りない場合はピクチャサイズ変更後のサイズとピクチャメモリを分割した１つのピクチャ領域のサイズと比較し、復号化したピクチャの分割の方法を決定して、削除するピクチャ領域の数および削除するピクチャ領域を判定する。ピクチャメモリ内に蓄積されているピクチャはピクチャデータに加え表示順の情報を持っている。削除ピクチャ領域判定部２０９は、前記表示順情報を調べることにより、表示順情報の最も古いピクチャが蓄積されているピクチャ領域を特定し、特定されたピクチャ領域から順に削除する旨の指示をピクチャメモリ制御部２０６に伝達する。その結果生成された空き領域に、新たに復号化されたピクチャを蓄積する。

図１２（ａ）及び図１２（ｂ）は、新たに復号化されたピクチャが、図５のフローチャートのステップＳ１２０４〜Ｓ１２１３の手順に従って、ピクチャメモリ２０３に蓄積される様子を示す図である。
図１２（ａ）はピクチャメモリ内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域があった場合の例を示している。この例では、図３０のピクチャ列におけるＰ４、Ｐ５、Ｐ７がピクチャメモリに蓄積され、現在Ｐ８を復号化している状態（すなわち、Ｃ＝Ｐ８）を示している。Ｐ４、Ｐ５はピクチャ領域と同じピクチャサイズを持ったピクチャであることが分かる。それに対して新たに復号化されたピクチャＣは、ピクチャ領域１つ分のサイズよりも大きなピクチャサイズであり、２つに分割して蓄積する例を示している。この場合は、図１２（ａ）下部のように復号化されたピクチャＣを２つ分のピクチャ領域を使用してそのまま空き領域に蓄積することが可能である。つまり、既にピクチャメモリ２０３内に蓄積されているピクチャデータを持つピクチャ領域の削除は行わない。

図１２（ｂ）上部はピクチャメモリ２０３内に、復号化された復号化対象ピクチャＣを蓄積するのに十分な空き領域がなかった場合の例である。この例では、図３０のピクチャ列におけるＰ２、Ｐ６、Ｐ４、Ｐ５、Ｐ７がピクチャメモリに蓄積され、現在Ｐ８を復号化している状態（すなわち、Ｃ＝Ｐ８）を示している。この場合はピクチャデータを持つピクチャ領域を削除して、新たに復号化されたピクチャＣを蓄積するための領域を確保する必要がある。この例では、ピクチャサイズ変更後のピクチャＣはピクチャ領域１つ分のサイズよりもピクチャサイズが大きいため、ピクチャＣを２つに分割し、２つ分のピクチャ領域を使用して蓄積しなくてはならないことが分かる。また、削除されるピクチャの領域は、蓄積されているピクチャが持っている表示順情報が古いものから順に選択される。この例では、Ｐ２、Ｐ４の順に表示順情報が古いことが分かる。削除ピクチャ領域判定部２０９では、上記のような処理によって削除するピクチャ領域を判定し、判定結果をピクチャメモリ制御部２０６に出力し、ピクチャ領域の削除を行う。図１２（ｂ）上部の例では前記削除すべきピクチャ領域の判定処理によってＰ２、Ｐ４が削除され、図１２（ｂ）下部のように、新たに復号化されたピクチャＣが、生成された空き領域に蓄積されている。

なお、上記実施の形態２では、画像復号化装置１１００におけるピクチャメモリ２０３からピクチャ領域を削除するときに、ピクチャ領域に蓄積されているピクチャの表示順情報が古いものから順に削除したが、表示順情報の代わりに、蓄積されているピクチャの復号化順が古いものから順に、ピクチャ領域の削除を行うとした場合も全く同様に扱うことが可能である。

以上の説明から分かるように、本実施の形態では復号化対象ピクチャＣにおいてピクチャサイズが変更された場合でも、復号化対象ピクチャＣにおいてピクチャサイズが変更されなかった場合でも、全く同様の処理によってピクチャメモリ２０３の管理を実現することができるので、両者を区別する必要がない。つまり、符号化を行う際にピクチャサイズが変更された場合でも変更がされなかった場合でも、常に復号化したピクチャがいくつ分の領域が必要かを判断し、必要な領域のみを削除するという単純な処理方法によって、表示されていない可能性のあるピクチャをできる限りピクチャメモリに残したまま矛盾無くピクチャメモリの管理を行うことが可能となる。また、符号化側においても、従来の方法に加えて、ストリーム中に含まれる最小のピクチャサイズの情報、もしくは復号化側を想定してピクチャメモリを分割する１つ分のピクチャ領域のサイズを符号化して符号列に記述するだけで本実施の形態の処理を実現することが可能であり、画像符号化装置の作成が容易である。また、復号化したピクチャを分割するサイズはメモリアクセスの効率を考慮して任意に設定することが可能であり、メモリアクセスに関する速度を低下させることなく復号化を行うことが可能となる。

（実施の形態３）
上記実施の形態１では、ピクチャメモリの分割方法を指定するための情報が画像符号化装置において生成され、符号列内に記述された。これに対し、本発明の実施の形態３では、ピクチャメモリの分割方法を画像復号化装置において解析し決定する。従って、本発明の実施の形態３における動画像の符号化方法は図２８を用いて説明した従来の符号化方法と同様であるので、説明を省略する。

図１３は、本発明の実施の形態３における画像復号化装置２０００の構成を示すブロック図である。以下では、本発明の実施の形態３における動画像の復号化方法について図１３に示したブロック図を用いて説明する。復号化処理の構成は図４を用いて説明した実施の形態１の方法とほぼ同様である。実施の形態１の方法と異なる点は、ピクチャメモリ分割方法指定部２１０の代わりにアドレス分割部２１０Ａが備えられた点である。ここでは実施の形態１と全く同様の処理については説明を省略する。

ピクチャサイズ変更判定部２０７では、復号化対象のピクチャのピクチャサイズとそれ以前（又はその直前）に復号化されたピクチャのピクチャサイズとを比較し、ピクチャサイズの変更がなされたかどうかを判定する。ピクチャサイズ変更判定部２０７は、ピクチャサイズの変更がなされたことを判定すると、変更後のピクチャサイズを、符号列解析部２０１を経由してアドレス分割部２１０Ａに通知する。アドレス分割部２１０Ａは、ピクチャサイズ変更判定部２０７により通知された変更後のピクチャサイズが各ピクチャ領域のサイズとなるよう、ピクチャメモリ２０３のアドレス空間を分割し、分割後のアドレスを単位としてピクチャメモリ２０３を管理するようピクチャメモリ制御部２０６に指示する。

その際に分割される領域の数は下記の式８によって算出される。なお、式中の割り算の演算結果は切り捨て処理によって整数値として算出されるものとする。
（ピクチャ領域数）＝（画像復号化装置２０００のピクチャメモリ２０３のサイズ）／（ピクチャサイズ変更後のピクチャサイズ） （式８）
なお、上記のピクチャサイズおよびピクチャメモリのサイズは、全体の画素数、もしくは全体のマクロブロックの個数、もしくは全体のビット数のいずれを単位としてもよく、それぞれ同様に扱うことが可能である。

次に復号化処理におけるピクチャメモリ制御部２０６、ピクチャサイズ変更判定部２０７、削除ピクチャ領域判定部２０９およびアドレス分割部２１０Ａの動作の詳細について、図１４を用いて説明を行う。図１４は、図１３に示した画像復号化装置２０００における復号化処理の手順を示すフローチャートである。
まず、復号化対象ピクチャにおいてピクチャサイズが変更されると（Ｓ２３０１）、アドレス分割部２１０Ａは、符号列解析部２０１を介してピクチャサイズ変更判定部２０７から復号化対象ピクチャのピクチャサイズ、すなわち、サイズ変更後のピクチャサイズを取得する（Ｓ２３０２）。アドレス分割部２１０Ａは、取得したピクチャサイズでピクチャメモリ２０３のアドレス空間を分割し、分割後のピクチャ領域を単位としてピクチャメモリ２０３を管理するよう、ピクチャメモリ制御部２０６に指示する（Ｓ２３０３）。復号化対象ピクチャにおいてピクチャサイズが変更されていない場合（Ｓ２３０１）、ステップＳ２３０２及びＳ２３０３の処理は行わない。

次いで、削除ピクチャ領域判定部２０９はピクチャメモリ２０３内の空き領域を調べ（Ｓ２３０４）、分割されたいずれか１つのピクチャ領域が連続した空き領域として存在しなければ、少なくとも１つのピクチャ領域が空き領域になるまで、ピクチャメモリ２０３内のピクチャを表示順が古いものから順に削除する（Ｓ２３０５）。具体的には、ピクチャメモリ２０３内に蓄積されているピクチャは、ピクチャデータに加えピクチャの表示順を示す情報を持っている。削除ピクチャ領域判定部２０９は、前記表示順情報を調べることにより、表示順情報の最も古いピクチャから順にピクチャを削除する旨の指示を、ピクチャメモリ制御部２０６に伝達する。ピクチャメモリ制御部２０６は、削除ピクチャ領域判定部２０９に指示されたピクチャを削除するという処理を、分割された１つ分のピクチャ領域が空き領域になるまで繰り返し、その結果、分割された１つ分のピクチャ領域が空き領域になると、空き領域になったピクチャ領域に新たに復号化されたピクチャを蓄積する（Ｓ２３０６）。分割された１つ分のピクチャ領域がはじめから空き領域であれば（Ｓ２３０４）、そのピクチャ領域に、新たに復号化されたピクチャがそのまま蓄積される（Ｓ２３０６）。

図１５（ａ）及び図１５（ｂ）は、新たに復号化されたピクチャが、図１４のフローチャートの手順に従ってピクチャメモリ２０３に蓄積される様子を示す図である。図１５（ａ）及び図１５（ｂ）では、現在の復号化対象ピクチャＣ以降のピクチャサイズが、より大きいサイズに変更された場合を示している。図１５（ａ）は、ピクチャメモリ２０３内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域があった場合の例を示している。この例では、図３０のピクチャ列におけるＰ２、Ｐ４、Ｐ５、Ｐ６がピクチャメモリに蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示しているものとする。この例では、復号化対象ピクチャＣであるＰ７からピクチャサイズが変更されており、図１５（ａ）下部に示すように、Ｐ７のピクチャサイズでピクチャメモリ２０３のアドレスが分割されている。この場合は、図１５（ａ）下部のように、新たに復号化されたピクチャＣは、そのまま空き領域に蓄積することが可能である。既にピクチャメモリ内に蓄積されているピクチャデータを持つピクチャ領域の削除は行わない。

図１５（ｂ）は、ピクチャメモリ２０３内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域がなかった場合の例を示している。この例では、図３０のピクチャ列におけるＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６がピクチャメモリ２０３に蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）であることを示している。この場合は、ピクチャメモリ２０３に蓄積されているピクチャデータを持つ領域を削除して、新たに復号化されたピクチャＣを蓄積するための領域を確保する必要がある。本実施の形態では、復号化を行うピクチャＣは必ずピクチャメモリを分割した領域であるピクチャ領域と同じピクチャサイズを持つものである。従って、ピクチャメモリ２０３内に空き領域が無い場合は、ピクチャメモリ内のどれか１つのピクチャ領域が完全に空き領域となるまでピクチャを削除すれば、新たに復号化されたピクチャを蓄積するための領域を確保することができる。削除するべきピクチャは、蓄積されているピクチャが持っている表示順情報が最も古いものから順に選択される。この例では、Ｐ１の表示順情報が最も古いことが分かる。しかし、Ｐ１を削除しただけでは、復号化対象ピクチャＣのピクチャサイズに合わせて分割されたどのピクチャ領域も、１つ分の空き領域になっていない。表示順情報に従ってＰ１に次いでＰ２及びＰ３を削除した段階で、ピクチャメモリ２０３の先頭アドレスから２番目のピクチャ領域が１つ分の空き領域となる。削除ピクチャ領域判定部２０９では、上記のような処理によって削除すべきピクチャを判定し、判定結果をピクチャメモリ制御部２０６に出力する。ピクチャメモリ制御部２０６は、削除ピクチャ領域判定部２０９の判定結果に従って、ピクチャの削除を行う。図１５（ｂ）上部の例では上記処理によってＰ１、Ｐ２、Ｐ３が削除され、図１５（ｂ）下部のように新たに復号化されたピクチャＣが生成された空き領域に蓄積されている。

図１６（ａ）及び図１６（ｂ）は、新たに復号化されたピクチャが、図１４のフローチャートの手順に従って、ピクチャメモリ２０３に蓄積される様子を示す図である。図１６（ａ）及び図１６（ｂ）では、現在の復号化対象ピクチャＣ以降のピクチャサイズが、より小さいサイズに変更された場合を示している。図１６（ａ）は、ピクチャメモリ２０３内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域があった場合の例を示している。この例では、図３０のピクチャ列におけるＰ１、Ｐ２、Ｐ３がピクチャメモリに蓄積され、現在Ｐ４を復号化している状態（すなわち、Ｃ＝Ｐ４）を示しているものとする。この例では、復号化対象ピクチャＣであるＰ４からピクチャサイズが変更されており、図１６（ａ）下部に示すように、Ｐ４のピクチャサイズでピクチャメモリ２０３のアドレスが分割される。この場合は、図１６（ａ）下部のように、新たに復号化されたピクチャＣは、空き領域内の１つのピクチャ領域にそのまま過不足なく蓄積することが可能である。そして、既にピクチャメモリ内に蓄積されているピクチャデータを持つピクチャ領域の削除は行わない。

図１６（ｂ）は、ピクチャメモリ２０３内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域がなかった場合の例を示している。この例では、図３０のピクチャ列におけるＰ１、Ｐ２、Ｐ３、Ｐ４がピクチャメモリ２０３に蓄積され、現在Ｐ５を復号化している状態（すなわち、Ｃ＝Ｐ５）である。この場合は、すでにピクチャデータが蓄積されている領域を削除して、新たに復号化されたピクチャＣを蓄積するための領域をピクチャメモリ２０３に確保する必要がある。本実施の形態では、復号化を行うピクチャＣは必ずピクチャメモリを分割した領域であるピクチャ領域と同じピクチャサイズを持つ。従って、ピクチャメモリ２０３内に空き領域が無い場合は、ピクチャメモリ内のどれか１つのピクチャ領域が完全に空き領域となるまでピクチャを削除すれば、新たに復号化されたピクチャを蓄積するための領域を確保することができる。削除するべきピクチャは、蓄積されているピクチャが持っている表示順情報が最も古いものから順に選択される。この例では、Ｐ１の表示順情報が最も古いことが分かる。そしてＰ１を削除することにより、１つ分のピクチャ領域が空き領域になる。削除ピクチャ領域判定部２０９では、上記のような処理によって削除すべきピクチャを判定し、判定結果をピクチャメモリ制御部２０６に出力する。ピクチャメモリ制御部２０６は、削除ピクチャ領域判定部２０９の判定結果に従って、ピクチャの削除を行う。図１６（ｂ）上部の例では上記処理によってＰ１が削除され、図１６（ｂ）下部のように、新たに復号化されたピクチャＣが、生成された空き領域に蓄積される。

なお、上記実施の形態では、ピクチャメモリ２０３からピクチャ領域を削除するときに、蓄積されているピクチャの持つ表示順情報が古いものから順に削除を行っていたが、表示順情報の代わりに、復号化された順番が古いピクチャから順に削除を行うとした場合も全く同様に扱うことが可能である。
以上の説明から分かるように、本実施の形態では復号化対象ピクチャＣにおいてピクチャサイズが変更された場合でも、変更されなかった場合でも、全く同様の処理によってピクチャメモリ２０３の管理を実現することができるので、両者を区別する必要がない。つまり、符号化を行う際にピクチャサイズが変更された場合でも変更がされなかった場合でも、常に１領域分のみのピクチャ領域が完全に空き領域となるまで格納されているピクチャを削除するという単純な処理方法によって、表示されていない可能性のあるピクチャをできる限りピクチャメモリに残したまま、矛盾無くピクチャメモリの管理を行うことが可能となる。しかも、新たに分割されたピクチャ領域のそれぞれのサイズは、新たに復号化されるピクチャ（復号化対象ピクチャＣ以降のピクチャ）と同じサイズであるので、ピクチャサイズが大きいサイズに変更される場合であっても、小さいサイズに変更される場合であっても、それぞれのピクチャ領域中に使用されない無駄な領域が発生しない。このため、本実施の形態の画像復号化装置２０００では、ピクチャメモリ２０３のメモリ領域を有効に活用することができている。併せて、どのピクチャサイズのピクチャも物理的に分割されることなくメモリ上に連続して蓄積することが可能となるため、メモリのアクセスが単純化され速度を低下させることなく復号化を行うことが可能となる。また、通常の画像符号化および復号化においては、ピクチャサイズが変更されても、ピクチャの参照関係（参照に使用するピクチャの枚数等）は変更せずに処理を行うような構成が多く使用される。よって、本実施の形態で説明したような方法によって、効率の良い処理方法による復号化を実現することが可能であると言える。

ただし、本実施の形態では、空き領域の先頭からピクチャデータを蓄積するのではなく、空き領域の中のピクチャ領域の先頭からピクチャデータを蓄積するので、図１５（ｂ）に示したように、復号化対象ピクチャＣを１枚分蓄積する以上の領域を削除してしまう可能性がある。このため、新たに復号化されたピクチャＣを蓄積するために、１つ分のピクチャ領域が空き領域になるまで表示順で古いものから順にピクチャを削除していくと、特に、表示順情報の古いピクチャが、ピクチャメモリ２０３内の連続した領域に表示順情報の順で蓄積されていない場合には、表示待ち状態にあるピクチャまで削除されてしまう可能性があることは否定できない。

なお、上記実施の形態３では、表示順情報の古いピクチャから順に削除し、１つ分のピクチャ領域が連続する空き領域になったとき、そのピクチャ領域に新たに復号化されたピクチャＣを蓄積した。しかし、本発明はこれに限定されず、これとは異なる方法で、復号化対象ピクチャＣを蓄積してもよい。すなわち、ピクチャの表示順情報にかかわらず、ピクチャメモリ２０３の先頭の１つのピクチャ領域が連続した空き領域になるまで、すでに蓄積されているピクチャを先頭アドレスから順に削除する。先頭の１つのピクチャ領域が連続した空き領域になると、そのピクチャ領域に、新たに復号化されたピクチャＣを蓄積する。次に復号化されたピクチャＣを蓄積する場合には、ピクチャメモリ２０３の先頭から２つ目にあるピクチャ領域が連続した空き領域になるまで、最後に削除されたピクチャの次のアドレスからアドレスの順にピクチャを削除する。図１７は、図１３に示した画像復号化装置２０００における他の復号化処理の手順を示すフローチャートである。

図１７において、ステップＳ２６０１〜ステップＳ２６０３の処理は、図１４に示したステップＳ２３０１〜ステップＳ２３０３の処理と同じである。ここでの処理により、復号化対象ピクチャにおいてピクチャサイズが変更されると、サイズ変更後のピクチャサイズでピクチャメモリ２０３のアドレス空間が分割され、分割後のピクチャ領域を単位としてピクチャメモリ２０３が管理される。

次いで、削除ピクチャ領域判定部２０９はピクチャメモリ２０３内の空き領域を調べ、新たに復号化されたピクチャを蓄積するためのピクチャ領域を含む十分な空き領域があれば、新たに復号化されたピクチャを、そのまま空きのピクチャ領域に蓄積する（Ｓ２６０６）。新たに復号化されたピクチャを蓄積するためのピクチャ領域が、１つも空き領域として存在しなければ（Ｓ２６０４）、削除ピクチャ領域判定部２０９は、ピクチャメモリ２０３の先頭から順に、復号化されたピクチャが最後に蓄積されたピクチャ領域の次のピクチャ領域を空き領域にし（Ｓ２６０５）、空き領域になったピクチャ領域に新たな復号化ピクチャを蓄積する（Ｓ２６０６）。図１８は、図１７に示したステップＳ２６０５における処理のより詳細な手順を示すフローチャートである。より具体的には、ピクチャメモリ制御部２０６は、ピクチャメモリ２０３に新たなピクチャを蓄積するための十分な空き領域がなくなったときにだけ使用される、ピクチャメモリ２０３内の特定のアドレス位置を示すポインタを設けておく。特定のアドレス位置とは、例えば、各ピクチャ領域の先頭アドレスである。また、ポインタの初期値を「０」とし、ポインタ＝０は、ピクチャメモリ２０３の先頭にあるピクチャ領域の先頭アドレスを示しているものとする。また、ポインタ＝（ｎ−１）は、ピクチャメモリ２０３の先頭からｎ番目のピクチャ領域の先頭アドレスを示している（ただし、ｎは自然数）。

削除ピクチャ領域判定部２０９は、新たに復号化されたピクチャを蓄積するためのピクチャ領域が、１つも空き領域として存在しないと判断した場合（Ｓ２６０４）、ピクチャメモリ制御部２０６に、ポインタで示されるピクチャ領域内のピクチャをアドレスの順に削除させる（Ｓ２５０１〜Ｓ２５０３）。例えば、ポインタ＝０のとき、ピクチャメモリ２０３の先頭にあるピクチャ領域が空き領域になるまでピクチャメモリ２０３内のピクチャをメモリの先頭から順に削除させる。ピクチャメモリ２０３の先頭にあるピクチャ領域が空き領域になると（Ｓ２５０２）、ピクチャメモリ制御部２０６は、ポインタを「１」インクリメントし（Ｓ２５０４）、ポインタに次のピクチャ領域の先頭アドレスをポイントさせる。ここで、ピクチャメモリ制御部２０６は、ポインタの値が全ピクチャ領域の数以上か否かを調べ、ポインタの値が全ピクチャ領域の数以上になると（Ｓ２５０５）、ポインタの値を「０」に戻し、ピクチャメモリ２０３内の先頭のピクチャ領域の先頭アドレスをポイントさせる。ポインタの値が全ピクチャ領域の数以上になった場合、ピクチャメモリ２０３内のすべてのピクチャ領域に、新たな復号化ピクチャが蓄積されたことを示している。

以上の処理により、ピクチャメモリ２０３内に新たな復号化ピクチャを蓄積するための空きのピクチャ領域がなくなった場合には、ピクチャメモリ２０３の先頭から順に、ピクチャ領域からピクチャデータが削除され、空き領域となったピクチャ領域に、新たな復号化ピクチャが蓄積されることになる。

図１９（ａ）及び図１９（ｂ）は、新たに復号化されたピクチャが、図１７及び図１８のフローチャートの手順に従ってピクチャメモリ２０３に蓄積される様子を示す図である。図１９（ａ）及び図１９（ｂ）では、現在の復号化対象ピクチャＣ以降のピクチャサイズが、より大きいサイズに変更された場合を示している。図１９（ａ）は、ピクチャメモリ２０３内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域があった場合の例を示している。この例では、図３０のピクチャ列におけるＰ２、Ｐ４、Ｐ５、Ｐ６がピクチャメモリに蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）を示しているものとする。この例では、復号化対象ピクチャＣであるＰ７からピクチャサイズが変更されており、図１９（ａ）下部に示すように、Ｐ７のピクチャサイズでピクチャメモリ２０３のアドレスが分割されている。この場合は、図１９（ａ）上部の斜線部２示すようにピクチャメモリ２０３の先頭部分に十分な空き領域があるので、図１９（ａ）下部のように、新たに復号化されたピクチャＣを、そのまま空き領域に蓄積することが可能である。従って、既にピクチャメモリ内に蓄積されているピクチャデータを持つピクチャ領域の削除は行わない。

図１９（ｂ）は、ピクチャメモリ２０３内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域がなかった場合の例を示している。この例では、図３０のピクチャ列におけるＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６がピクチャメモリ２０３に蓄積され、現在Ｐ７を復号化している状態（すなわち、Ｃ＝Ｐ７）であることを示している。この場合は、ピクチャメモリ２０３に蓄積されているピクチャデータを持つ領域を削除して、新たに復号化されたピクチャＣを蓄積するための領域を確保する必要がある。本実施の形態では、復号化を行うピクチャＣは必ずピクチャメモリを分割した領域であるピクチャ領域と同じピクチャサイズを持つものである。従って、ピクチャメモリ２０３内に空き領域が無い場合は、ピクチャメモリ内のどれか１つのピクチャ領域が完全に空き領域となるまでピクチャを削除すれば、新たに復号化されたピクチャを蓄積するための領域を確保することができる。削除するべきピクチャは、ピクチャメモリ２０３の先頭からアドレスの順に選択される。この例では、Ｐ４、Ｐ１の順で削除した段階で、ピクチャメモリ２０３の先頭から１番目のピクチャ領域が１つ分の空き領域となる。削除ピクチャ領域判定部２０９では、上記のような処理によって削除すべきピクチャを判定し、判定結果をピクチャメモリ制御部２０６に出力する。ピクチャメモリ制御部２０６は、削除ピクチャ領域判定部２０９の判定結果に従って、ピクチャの削除を行う。図１９（ｂ）上部の例では上記処理によってＰ４、Ｐ１が削除され、図１９（ｂ）下部のように新たに復号化されたピクチャＣが先頭のピクチャ領域に蓄積されている。なお、さらに次の復号化対象ピクチャＣが復号化されると、ピクチャメモリ２０３内の状態が図１９（ｂ）下部に示された状態で、新たに復号化されたピクチャを蓄積しなければならなくなる。この場合、Ｐ２、Ｐ３が削除され、空き領域となった２番目のピクチャ領域に新たな復号化ピクチャが蓄積されることになる。

図２０（ａ）及び図２０（ｂ）は、新たに復号化されたピクチャが、図１７及び図１８のフローチャートの手順に従って、ピクチャメモリ２０３に蓄積される様子を示す図である。図２０（ａ）及び図２０（ｂ）では、現在の復号化対象ピクチャＣ以降のピクチャサイズが、より小さいサイズに変更された場合を示している。図２０（ａ）は、新たに復号化されたピクチャＣを蓄積するのに十分な空き領域がピクチャメモリ２０３内にあった場合の例を示している。この例では、図３０のピクチャ列におけるＰ１、Ｐ２、Ｐ３がピクチャメモリに蓄積され、現在Ｐ４を復号化している状態（すなわち、Ｃ＝Ｐ４）であることを示しているものとする。この例では、復号化対象ピクチャＣであるＰ４以降からピクチャサイズが変更されており、図２０（ａ）下部に示すように、復号化対象ピクチャＣ（Ｐ４）のピクチャサイズでピクチャメモリ２０３のアドレスが分割される。この場合は、図２０（ａ）下部のように、新たに復号化されたピクチャＣは、空き領域内の１つのピクチャ領域にそのまま過不足なく蓄積することが可能である。そして、既にピクチャメモリ内に蓄積されているピクチャデータを持つピクチャ領域の削除は行わない。

図２０（ｂ）は、ピクチャメモリ２０３内に新たに復号化されたピクチャＣを蓄積するのに十分な空き領域がなかった場合の例を示している。この例では、図３０のピクチャ列におけるＰ１、Ｐ２、Ｐ３、Ｐ４がピクチャメモリ２０３に蓄積され、現在Ｐ５を復号化している状態（すなわち、Ｃ＝Ｐ５）であることを示している。この場合は、すでにピクチャデータが蓄積されている領域を削除して、新たに復号化されたピクチャＣを蓄積するための領域をピクチャメモリ２０３に確保する必要がある。本実施の形態では、復号化を行うピクチャＣは必ずピクチャメモリを分割して得られる領域であるピクチャ領域と同じピクチャサイズを持つ。従って、ピクチャメモリ２０３内に空き領域が無い場合は、ピクチャメモリ内のどれか１つのピクチャ領域が完全に空き領域となるまでピクチャを削除すれば、新たに復号化されたピクチャを蓄積するための領域を確保することができる。削除するべきピクチャは、ピクチャメモリ２０３の先頭から、ピクチャデータが格納されているアドレスの順に選択される。この例では、Ｐ３のアドレスが最も先頭であることが分かる。そしてＰ３を削除することにより、ピクチャメモリ２０３の先頭の１つ分のピクチャ領域が空き領域になる。削除ピクチャ領域判定部２０９では、上記のような処理によって削除すべきピクチャを判定し、判定結果をピクチャメモリ制御部２０６に出力する。ピクチャメモリ制御部２０６は、削除ピクチャ領域判定部２０９の判定結果に従って、ピクチャの削除を行う。図２０（ｂ）上部の例では上記処理によってＰ３が削除され、図２０（ｂ）下部のように、新たに復号化されたピクチャＣが、ピクチャメモリ２０３の先頭のピクチャ領域に蓄積される。この状態で、さらに次の復号化対象ピクチャＣが復号化されたときには、図２０（ｂ）下部の状態からＰ２が削除され、ピクチャメモリ２０３の先頭から２番目のピクチャ領域に、新たに復号化されたピクチャが格納される。

なお、図１７〜図２０（ｂ）の図面を用いて説明した例では、ピクチャメモリ２０３内に、新たに復号化されたピクチャを蓄積するための十分な空き領域があった場合には、空き領域となっている１つのピクチャ領域内に、新たに復号化されたピクチャを蓄積するとしたが、本発明はこれに限定されない。例えば、ピクチャメモリ２０３内に、十分な空き領域があった場合でも、ピクチャメモリ２０３の先頭からアドレスの順にピクチャ領域を選択し、選択されたピクチャ領域内に蓄積されているピクチャデータを、選択されたピクチャ領域が連続する空き領域となるまでピクチャ単位で順次削除するとしてもよい。そしてその結果、空き領域となったピクチャ領域に、新たに復号化されたピクチャを蓄積する。すなわち、図２０（ａ）上部に示したように、復号化対象ピクチャＣを蓄積するための十分な空き領域があった場合でも、ピクチャメモリ２０３の先頭に蓄積されているピクチャＰ１を削除して、空き領域となったピクチャメモリ２０３の先頭のピクチャ領域に復号化対象ピクチャＣを蓄積するとしてもよい。このようにすれば、ピクチャメモリ２０３内に、新たに復号化されたピクチャを蓄積するための十分な空き領域があった場合も、なかった場合も、同様に、ピクチャメモリ２０３の先頭からピクチャ領域をアドレスの順に選択して、選択されたピクチャ領域に、新たに復号化されたピクチャを蓄積していくことができるので、判断による分岐が少ない分、削除ピクチャ領域判定部２０９によるピクチャ領域の確保に要する処理負荷を低減することができる。

以上の説明から分かるように、本実施の形態では符号化を行う際にピクチャサイズが変更された場合でも変更がされなかった場合でも、常に１領域分のみのピクチャ領域が完全に空き領域となるまで格納されているピクチャを削除するという単純な処理方法によって、表示されていない可能性のあるピクチャをできる限りピクチャメモリに残したまま、矛盾無くピクチャメモリの管理を行うことが可能となる。しかも、新たに分割されたピクチャ領域のそれぞれのサイズは、新たに復号化されるピクチャ（復号化対象ピクチャＣ以降のピクチャ）と同じサイズであるので、ピクチャサイズが大きいサイズに変更される場合であっても、小さいサイズに変更される場合であっても、それぞれのピクチャ領域中に使用されない無駄な領域が発生しない。このため、本実施の形態の画像復号化装置２０００では、ピクチャメモリ２０３のメモリ領域を有効に活用することができている。併せて、どのピクチャサイズのピクチャも物理的に分割されることなくメモリ上に連続して蓄積することが可能となるため、メモリのアクセスが単純化され速度を低下させることなく復号化を行うことが可能となる。また、通常の画像符号化および復号化においては、ピクチャサイズが変更されても、ピクチャの参照関係（参照に使用するピクチャの枚数等）は変更せずに処理を行うような構成が多く使用される。よって、本実施の形態で説明したような方法によって、効率の良い処理方法による復号化を実現することが可能であると言える。

ただし、本実施の形態では、ピクチャメモリの先頭から順に表示順を無視して空き領域が確保できるまでピクチャを削除していくため、特に、表示順情報の新しいピクチャが、ピクチャメモリ内の先頭に近い位置に格納されている場合には、表示待ち状態にあるピクチャまで削除されてしまう可能性があることは否定できない。
なお、上記実施の形態３では、ピクチャメモリ内のどれか１つのピクチャ領域が完全に空き領域となるまで１つまたは複数のピクチャを削除する必要があるため、まだ表示されていないピクチャまで削除されてしまう可能性がある。そこで、ストリーム中に含まれる全てのピクチャを問題なく表示することができるかどうかを示すフラグとしてcnf_flagを用いても良い。例えば、値が１の場合は問題なく全てのピクチャを表示することができることを示し、値が０の場合はまだ表示されていないピクチャが、本実施の形態の処理によって既にデータを失ってしまったため表示することができなくなる可能性があることを示す。このように、cnf_flag を符号列に記述しておくことにより、この信号の値を調べることにより本実施の形態の処理を適用するかどうかを判断することができる。例えば、cnf_flag が０の場合には、本実施の形態の処理を適用すると表示できないピクチャが発生してしまう可能性があることが分かるので、替わりに従来どおりピクチャ単位でピクチャメモリの管理を行う方法に切り替えることができる。これにより、メモリ領域が細分化されてしまう恐れがあるが、全てのピクチャを問題なく表示することが可能となる。

（実施の形態４）
本発明の実施の形態４における動画像の符号化方法について図２１に示したブロック図を用いて説明する。図２１は、本実施の形態４の画像符号化装置２７００の構成を示すブロック図である。符号化処理の構成は図２８を用いて説明した従来の方法とほぼ同様である。従来の方法と異なる点は、ピクチャサイズ変更判定部１１０が追加された点である。従来の技術と全く同様の処理についてはここでは説明を省略する。図２２は、本実施の形態４の画像符号化装置２７００により生成される符号列のデータ構造を示す図である。

符号化対象のピクチャがＩＤＲピクチャもしくはそれに代わるピクチャサイズの変更を可能とするピクチャであった場合、ピクチャサイズ変更判定部１１０では、符号化対象のピクチャのピクチャサイズとそれ以前に符号化されたピクチャのピクチャサイズとを比較し、ピクチャサイズの変更がなされたかどうかを判定する。
ピクチャメモリ制御部１０９では、ピクチャサイズ変更判定部１１０から入力された判定結果が、ピクチャサイズが変更されなかったことを示すものであった場合は、通常の符号化と同様の方法を用いて符号化を行う。一方、前記判定結果がピクチャサイズが変更されたことを示すものであった場合は、復号化におけるピクチャメモリのリセット方法としてピクチャメモリ内の全てのピクチャを参照可能もしくは参照不可に関わらず削除することを示す信号を符号列生成部１０３に出力する。符号列生成部１０３では、図２２における符号列のreset_flag を１、つまり、ピクチャメモリ内の全てのピクチャを（参照可能もしくは参照不可に関わらず）削除することを示すようにフラグの値を設定して符号化する。

一方、上で述べたような符号化方法によって符号化された符号列の復号化は、図２９の従来の方法の説明で用いたブロック図と全く同様の構成を用いて行うことが可能である。従来の技術と全く同様の処理についてはここでは説明を省略する。
符号列中のスライスヘッダには図２２にあるようにreset_flag が符号化されている。符号列解析部２０１では前記reset_flag の値を解析し、解析結果の情報をピクチャメモリ制御部２０６に出力する。上で述べたような符号化方法によって生成された符号列では、ピクチャサイズが変更された場合は常にreset_flag が１、つまり、ピクチャメモリ内の全てのピクチャを参照可能もしくは参照不可に関わらず削除することを指示する。これにより、復号化を行う際は、従来の方法と全く同様にピクチャサイズが変更されたかどうかを意識することなく、reset_flag の値に従ってピクチャメモリのリセットを行うことが可能となる。ピクチャサイズが変更されていた場合は、前記reset_flag の指示によってピクチャメモリの全領域が空き状態になるため、従来どおりにピクチャサイズ変更後のピクチャを復号化しピクチャメモリに復号化したピクチャを蓄積しても、ピクチャメモリ内に異なるピクチャサイズのピクチャが混在することは無く、また復号化したピクチャを蓄積する位置も任意の領域を使用することが可能となる。

以上、本実施の形態で説明したように、符号化を行う際にピクチャサイズが変更された場合はピクチャメモリ内の全てのピクチャを削除することを示す値を持ったフラグを符号化することにより、復号化側では従来の方法と全く同様の処理を行うことにより矛盾無くピクチャメモリの管理を行うことが可能である。

（実施の形態５）
さらに、上記各実施の形態１〜４で示した動画像の符号化方法および動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態１〜５で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２３は、上記実施の形態１から実施の形態４の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。
図２３（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２３（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法および動画像復号化方法が記録されている。

また、図２３（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法および動画像復号化方法を、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態６）
さらにここで、上記実施の形態１〜５で示した動画像の符号化方法や動画像の復号化方法の応用例とそれを用いたシステムを説明する。

図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２４のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、動画像の符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態１〜５同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態１〜５で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。

図２５は、上記実施の形態１〜５で説明した動画像の符号化方法と動画像の復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図２６を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態１〜５で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態１〜５で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２７に示すようにディジタル放送用システムにも上記実施の形態１〜５の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態１〜５で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態１〜５で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態１〜５で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図２６に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態１〜５で示した動画像の符号化方法あるいは動画像の復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態１〜５で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明に係る画像符号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、ディジタル放送の放送局および携帯電話機などに備えられる画像符号化装置として有用である。
また、本発明に係る画像復号化装置は、通信機能を備えるパーソナルコンピュータ、ＰＤＡ、ディジタル放送を受信するＳＴＢおよび携帯電話機などに備えられる画像復号化装置として有用である。

本実施の形態１の画像符号化装置の構成を示すブロック図である。 図２（ａ）及び図２（ｂ）は本実施の形態の画像符号化装置８００により生成される符号列のデータ構造を示す図である。図２（ａ）は、ストリーム中に含まれる可能性のある最大のピクチャサイズの情報を符号化する場合の符号列の一例を示す図である。図２（ｂ）は、ストリーム中に含まれる可能性のある最大のピクチャサイズに基づいてピクチャメモリを分割した場合に、ピクチャメモリ内に確保することのできる領域の数を符号化する場合の符号列の一例を示す図である。 図２（ａ）及び図２（ｂ）に示した符号列中のピクチャ共通情報の領域に付加的情報を記述する場合の符号列の一例を示す図である。 本実施の形態の画像復号化装置の構成を示すブロック図である。 図４に示した画像復号化装置における復号化処理の手順を示すフローチャートである。 図６（ａ）及び図６（ｂ）は新たに復号化されたピクチャが、図５のフローチャートのステップＳ１２０４〜Ｓ１２１０の手順に従ってピクチャメモリに蓄積される様子を示す図である。図６（ａ）はピクチャメモリ内に復号化された復号化対象ピクチャＣを蓄積するのに十分な空き領域があった場合の例である。図６（ｂ）はピクチャメモリ内に復号化された復号化対象ピクチャＣを蓄積するのに十分な空き領域がなかった場合の例である。 図７（ａ）及び図７（ｂ）は新たに復号化されたピクチャが、図５のフローチャートのステップＳ１２０４〜Ｓ１２１３の手順に従って、ピクチャメモリに蓄積される様子を示す図である。図７（ａ）はピクチャメモリ内に復号化したピクチャＣを蓄積するのに十分な空き領域があった場合の例である。図７（ｂ）はピクチャメモリ内に復号化したピクチャＣを蓄積するのに十分な空き領域がなかった場合の例である。 図８（ａ）、図８（ｂ）及び図８（ｃ）は本実施の形態２の画像符号化装置により生成される符号列のデータ構造を示す図である。図８（ａ）は、ストリーム中に含まれる可能性のある最小のピクチャサイズの情報を符号化する場合の符号列の一例を示す図である。図８（ｂ）は、ピクチャメモリを分割して得られるピクチャ領域のサイズの情報を符号化する場合の符号列の一例を示す図である。図８（ｃ）は、ピクチャメモリを分割するときの領域の数を符号化する場合の符号列の一例を示す図である。 図９（ａ）は１つのストリーム内で符号化されている３通りのピクチャサイズの例を示す図である。図９（ｂ）は１つのストリーム内に図９（ａ）に示した３つのピクチャサイズのピクチャが含まれる場合に、ピクチャメモリを効率よく利用するためのピクチャ領域の分割方法の一例を示す図である。 図１０（ａ）、図１０（ｂ）及び図１０（ｃ）は図８（ａ）、図８（ｂ）及び図８（ｃ）に示した各符号列中のピクチャ共通情報の領域に、付加的情報を記述する場合の符号列の一例を示す図である。 図１１（ａ）及び図１１（ｂ）は新たに復号化されたピクチャが、図５のフローチャートのステップＳ１２０４〜Ｓ１２１０の手順に従って、ピクチャメモリに蓄積される様子を示す図である。 図１２（ａ）及び図１２（ｂ）は新たに復号化されたピクチャが、図５のフローチャートのステップＳ１２０４〜Ｓ１２１３の手順に従って、ピクチャメモリに蓄積される様子を示す図である。 本発明の実施の形態３における画像復号化装置の構成を示すブロック図である。 図１３に示した画像復号化装置における復号化処理の手順を示すフローチャートである。 図１５（ａ）及び図１５（ｂ）は新たに復号化されたピクチャが、図１４のフローチャートの手順に従ってピクチャメモリに蓄積される様子を示す図である。 図１６（ａ）及び図１６（ｂ）は新たに復号化されたピクチャが、図１４のフローチャートの手順に従って、ピクチャメモリに蓄積される様子を示す図である。 図１３に示した画像復号化装置における他の復号化処理の手順を示すフローチャートである。 図１７に示したステップＳ２６０５における処理のより詳細な手順を示すフローチャートである。 図１９（ａ）及び図１９（ｂ）は新たに復号化されたピクチャが、図１７及び図１８のフローチャートの手順に従ってピクチャメモリに蓄積される様子を示す図である。 図２０（ａ）及び図２０（ｂ）は新たに復号化されたピクチャが、図１７及び図１８のフローチャートの手順に従って、ピクチャメモリに蓄積される様子を示す図である。 本実施の形態４の画像符号化装置の構成を示すブロック図である。 本実施の形態４の画像符号化装置により生成される符号列のデータ構造を示す図である。 図２３（ａ）は記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。図２３（ｂ）はフレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。図２３（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。 コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。 上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。 携帯電話の構成を示すブロック図である。 ディジタル放送用システムの一例を示す図である。 従来の画像符号化装置の構成を示すブロック図である。 従来の画像復号化装置の構成を示すブロック図である。 図３０（ａ）及び図３０（ｂ）は入力画像におけるピクチャの参照関係を説明するための図である。図３０（ａ）は表示順ピクチャを並べた様子を示している。図３０（ｂ）は符号化順にピクチャを並べた様子を示している。 図２９に示した画像復号化装置における再構成画像信号のピクチャメモリへの格納制御動作を示すフローチャートである。 図３２（ａ）は復号化対象ピクチャにおいて、ピクチャのサイズが小から大に変更された場合で、サイズ変更後のピクチャを格納するだけの空き領域がピクチャメモリにあった場合の格納例を示す図である。図３２（ｂ）は復号化対象ピクチャにおいて、ピクチャのサイズが小から大に変更された場合で、サイズ変更後のピクチャを格納するだけの空き領域がピクチャメモリになかった場合の格納例を示す図である。 図３３（ａ）は復号化対象ピクチャにおいてピクチャサイズが変更されず、かつ、ピクチャメモリ内に復号化対象ピクチャと異なるピクチャサイズを持ったピクチャが存在しない場合で、新たに復号化されたピクチャＣを格納するだけの空き領域がピクチャメモリにあった場合の格納例を示す図である。図３３（ｂ）は復号化対象ピクチャにおいてピクチャサイズが変更されず、かつ、ピクチャメモリ内に復号化対象ピクチャと異なるピクチャサイズを持ったピクチャが存在しない場合で、新たに復号化されたピクチャＣを格納するだけの空き領域がピクチャメモリになかった場合の格納例を示す図である。 図３４（ａ）は復号化対象ピクチャにおいてピクチャサイズが変更されず、かつ、ピクチャメモリ内に新たに復号化されたピクチャＣと異なるピクチャサイズを持ったピクチャが存在する場合で、新たに復号化されたピクチャＣを格納するだけの空き領域がピクチャメモリにあった場合の格納例を示す図である。図３４（ｂ）は復号化対象ピクチャにおいてピクチャサイズが変更されず、かつ、ピクチャメモリ内に、新たに復号化されたピクチャＣと異なるピクチャサイズを持ったピクチャが存在する場合で、新たに復号化されたピクチャＣを格納するだけの空き領域がピクチャメモリになかった場合の格納例を示す図である。

符号の説明

８００ 画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 符号列生成部
１０４ 予測残差復号化部
１０５ ピクチャメモリ
１０６ 動きベクトル検出部
１０７ 動き補償符号化部
１０８ 動きベクトル記憶部
１０９ ピクチャメモリ制御部
１１２ 差分演算部
１１３ 加算演算部
１１４ スイッチ
１１５ スイッチ
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 動き補償復号化部
２０５ 動きベクトル記憶部
２０６ ピクチャメモリ制御部
２０７ ピクチャサイズ変更判定部
２０９ 削除ピクチャ領域判定部
２１０ ピクチャメモリ分割方法指定部
２１０Ａ アドレス分割部
２１１ 加算演算部
２１２ スイッチ
８０１ ピクチャメモリ分割情報符号化部
１１００ 画像復号化装置
２０００ 画像復号化装置

Claims (33)

1. 異なるピクチャサイズの動画像ストリームを含んだ符号列を、復号化済みピクチャを参照しながら復号化する画像復号化装置であって、
   復号化済みのピクチャを格納するための記憶領域を備えるピクチャメモリと、
   前記ピクチャメモリの記憶領域を所定の大きさの区分領域に区分するメモリ区分手段と、
   新たに復号化されたピクチャ１枚分の全データを、前記ピクチャメモリの１以上の前記区分領域からなる連続した記憶領域に連続して格納する格納手段と
   を備えることを特徴とする画像復号化装置。
2. 前記画像復号化装置は、さらに、
   新たに復号化されたピクチャのサイズと、直前に復号化されたピクチャのサイズとを比較することによってピクチャのサイズが変更されているかどうかを判定するサイズ変更判定手段を備え、
   前記メモリ区分手段は、前記新たに復号化されたピクチャのサイズが変更されていると判定された場合、前記区分領域の大きさが前記新たに復号化されたピクチャのサイズとなるよう、前記記憶領域を区分する
   ことを特徴とする請求の範囲１記載の画像復号化装置。
3. 前記格納手段は、少なくとも１つの前記区分領域が空き領域であるか否かを検出する第１の空き領域検出部を備え、
   前記格納手段は、少なくとも１つの前記区分領域が空き領域として検出されると、検出された前記区分領域の１つからなる連続した記憶領域に前記新たに復号化されたピクチャ１枚分の全データを連続して格納する
   ことを特徴とする請求の範囲２記載の画像復号化装置。
4. 前記格納手段は、前記ピクチャメモリ内にすでに格納されている復号化済みピクチャのうち、表示順が古いものから順に削除することによって、前記空き領域を生成する第１のピクチャ削除部を備え、
   前記格納手段は、１つの前記区分領域も空き領域として検出されないとき、少なくとも１つの前記区分領域が空き領域として検出されるまで、前記第１のピクチャ削除部に前記復号化済みピクチャを削除させる
   ことを特徴とする請求の範囲３記載の画像復号化装置。
5. 前記格納手段は、さらに、前記ピクチャメモリ内にすでに格納されている前記復号化済みピクチャにつき、表示される前に削除されてしまった場合に、当該ピクチャを表示する際に表示できないと判定する表示可能判定部を備える
   ことを特徴とする請求の範囲４記載の画像復号化装置。
6. 前記格納手段は、前記ピクチャメモリの先頭から順に前記区分領域を選択する区分領域選択部を備え、
   前記格納手段は、選択された前記区分領域からなる連続した記憶領域に、新たに復号化されたピクチャ１枚分の全データを連続して格納する
   ことを特徴とする請求の範囲２記載の画像復号化装置。
7. 前記格納手段は、選択された前記区分領域が空き領域であるか否かを検出する第２の空き領域検出部と、
   選択された前記区分領域が空き領域でない場合、前記区分領域に格納されている復号化済みピクチャを削除することによって選択された前記区分領域を空き領域にする第２のピクチャ削除部とを備え、
   前記格納手段は、選択された前記区分領域からなる連続した記憶領域に、新たに復号化されたピクチャ１枚分の全データを連続して格納する
   ことを特徴とする請求の範囲６記載の画像復号化装置。
8. 前記格納手段は、１つの前記区分領域も空き領域として検出されないとき、前記ピクチャメモリの先頭から順に前記区分領域を選択する区分領域選択部と、
   選択された前記区分領域が空き領域であるか否かを検出する第２の空き領域検出部と、
   選択された前記区分領域が空き領域でない場合、前記区分領域に格納されている復号化済みピクチャを削除することによって選択された前記区分領域を空き領域にする第２のピクチャ削除部とを備え、
   前記格納手段は、選択された前記区分領域からなる連続した記憶領域に、新たに復号化されたピクチャ１枚分の全データを連続して格納する
   ことを特徴とする請求の範囲３記載の画像復号化装置。
9. 前記画像復号化装置は、さらに、
   前記符号列から、前記記憶領域の区分方法を示す区分情報を読み取る読み取り手段を備え、
   前記メモリ区分手段は、読み取られた前記区分情報に従って前記記憶領域を区分する
   ことを特徴とする請求の範囲１記載の画像復号化装置。
10. 前記区分情報は、前記符号列に含まれる動画像ストリームのうちの最大のピクチャサイズを示し、
    前記メモリ区分手段は、前記各区分領域の大きさが、前記区分情報に示されたピクチャサイズとなるよう前記記憶領域を区分する
    ことを特徴とする請求の範囲９記載の画像復号化装置。
11. 前記区分情報は、前記記憶領域の大きさを前記最大のピクチャサイズで区分したときの区分領域の数を示し、
    前記メモリ区分手段は、前記記憶領域を前記区分領域の数に区分する
    ことを特徴とする請求の範囲９記載の画像復号化装置。
12. 前記区分情報は、前記符号列に含まれる動画像ストリームのうちの最小のピクチャサイズを示し、
    前記メモリ区分手段は、前記各区分領域の大きさが、前記区分情報に示されたピクチャサイズとなるよう前記記憶領域を区分する
    ことを特徴とする請求の範囲９記載の画像復号化装置。
13. 前記区分情報は、前記記憶領域の大きさを前記最小のピクチャサイズで区分したときの区分領域の数を示し、
    前記メモリ区分手段は、前記記憶領域を前記区分領域の数に区分する
    ことを特徴とする請求の範囲９記載の画像復号化装置。
14. 前記区分情報は、前記符号列に含まれる動画像ストリームのピクチャサイズの最大公約数を示し、
    前記メモリ区分手段は、前記各区分領域の大きさが、前記区分情報に示されたピクチャサイズとなるよう前記記憶領域を区分する
    ことを特徴とする請求の範囲９記載の画像復号化装置。
15. 前記区分情報は、少なくとも同一のマクロブロックは同一の前記区分領域内に格納されるように切り上げられている
    ことを特徴とする請求の範囲９記載の画像復号化装置。
16. 前記区分情報は、各復号化済みピクチャの水平方向１列分の全てのマクロブロックが１つの前記区分領域に格納されるように切り上げられている
    ことを特徴とする請求の範囲９記載の画像復号化装置。
17. 前記メモリ区分手段は、少なくとも同一のマクロブロックは同一の前記区分領域内に格納されるように、前記区分領域のサイズを切り上げる
    ことを特徴とする請求の範囲９記載の画像復号化装置。
18. 前記メモリ区分手段は、各復号化済みピクチャの水平方向１列分の全てのマクロブロックが１つの前記区分領域に格納されるように、前記区分領域のサイズを切り上げる
    ことを特徴とする請求の範囲９記載の画像復号化装置。
19. 前記区分情報は、さらに、前記ピクチャメモリ内にすでに格納されている前記復号化済みピクチャにつき、表示される前に削除されてしまう可能性があるか否かを示す情報を含む
    ことを特徴とする請求の範囲９記載の画像復号化装置。
20. 前記格納手段は、前記ピクチャメモリ内の少なくとも１つの前記区分領域が空き領域であるか否かを検出する第１の空き領域検出部を備え、
    前記格納手段は、前記新たに復号化されたピクチャ１枚分の全データを連続して格納することができる、１つ以上の前記区分領域からなる連続した記憶領域が空き領域として検出されると、検出された前記区分領域からなる連続した記憶領域に前記新たに復号化されたピクチャ１枚分の全データを連続して格納する
    ことを特徴とする請求の範囲９記載の画像復号化装置。
21. 前記格納手段は、前記ピクチャメモリ内にすでに格納されている復号化済みピクチャのうち、表示順が古いものから順に削除することによって、前記空き領域を生成する第１のピクチャ削除部を備え、
    前記格納手段は、前記新たに復号化されたピクチャ１枚分の全データを連続して格納するだけの区分領域が空き領域として検出されないとき、前記新たに復号化されたピクチャ１枚分の全データを連続して格納するだけの前記区分領域が空き領域として検出されるまで、前記第１のピクチャ削除部に前記復号化済みピクチャを削除させる
    ことを特徴とする請求の範囲２０記載の画像復号化装置。
22. 符号化済みのピクチャを参照しながら、異なるピクチャサイズの動画像ストリームを符号化して符号列を生成する画像符号化装置であって、
    生成される符号列に含まれる動画像ストリームのピクチャサイズを取得するピクチャサイズ取得手段と、
    取得されたピクチャサイズに基づいて、画像復号化装置側のピクチャメモリの区分方法を示した区分情報を生成する区分情報生成手段と、
    生成された前記区分情報を含む符号列を生成する符号化手段と
    を備えることを特徴とする画像符号化装置。
23. 前記区分情報生成手段は、取得されたピクチャサイズのうち、最大のピクチャサイズを示す前記区分情報を生成する
    ことを特徴とする請求の範囲２２記載の画像符号化装置。
24. 前記区分情報生成手段は、取得されたピクチャサイズのうち、最小のピクチャサイズを示す前記区分情報を生成する
    ことを特徴とする請求の範囲２２記載の画像符号化装置。
25. 復号化済みのピクチャをピクチャメモリに格納し、異なるピクチャサイズの動画像ストリームを含んだ符号列を、前記復号化済みピクチャを参照しながら復号化する画像復号化方法であって、
    前記ピクチャメモリの記憶領域を所定の大きさの区分領域に区分するメモリ区分ステップと、
    新たに復号化されたピクチャ１枚分の全データを、前記ピクチャメモリの１つ以上の前記区分領域からなる連続した記憶領域に連続して格納する格納ステップと
    を含むことを特徴とする画像復号化方法。
26. 前記画像復号化方法は、さらに、
    新たに復号化されたピクチャのサイズと、直前に復号化されたピクチャのサイズとを比較することによってピクチャのサイズが変更されているかどうかを判定するサイズ変更判定ステップを含み、
    前記メモリ区分ステップでは、前記新たに復号化されたピクチャのサイズが変更されていると判定された場合、前記区分領域の大きさが前記新たに復号化されたピクチャのサイズとなるよう、前記記憶領域を区分する
    ことを特徴とする請求の範囲２５記載の画像復号化方法。
27. 前記格納ステップは、少なくとも１つの前記区分領域が空き領域であるか否かを検出する第１の空き領域検出ステップを含み、
    前記格納ステップでは、少なくとも１つの前記区分領域が空き領域として検出されると、検出された前記区分領域の１つからなる連続した記憶領域に前記新たに復号化されたピクチャ１枚分の全データを連続して格納する
    ことを特徴とする請求の範囲２６記載の画像復号化方法。
28. 前記格納ステップは、前記ピクチャメモリ内にすでに格納されている復号化済みピクチャのうち、表示順が古いものから順に削除することによって、前記空き領域を生成する第１のピクチャ削除ステップを含み、
    前記格納ステップでは、１つの前記区分領域も空き領域として検出されないとき、少なくとも１つの前記区分領域が空き領域として検出されるまで、前記第１のピクチャ削除ステップにおいて前記復号化済みピクチャを削除する
    ことを特徴とする請求の範囲２７記載の画像復号化方法。
29. 前記格納ステップは、前記ピクチャメモリの先頭から順に前記区分領域を選択する区分領域選択ステップを含み、
    前記格納ステップでは、選択された前記区分領域からなる連続した記憶領域に、新たに復号化されたピクチャ１枚分の全データを連続して格納する
    ことを特徴とする請求の範囲２６記載の画像復号化方法。
30. 前記格納ステップは、選択された前記区分領域が空き領域であるか否かを検出する第２の空き領域検出ステップと、
    選択された前記区分領域が空き領域でない場合、前記区分領域に格納されている復号化済みピクチャを削除することによって選択された前記区分領域を空き領域にする第２のピクチャ削除ステップとを含み、
    前記格納ステップでは、選択された前記区分領域からなる連続した記憶領域に、新たに復号化されたピクチャ１枚分の全データを連続して格納する
    ことを特徴とする請求の範囲２９記載の画像復号化方法。
31. 符号化済みのピクチャを参照しながら、異なるピクチャサイズの動画像ストリームを符号化して符号列を生成する画像符号化方法であって、
    生成される符号列に含まれる動画像ストリームのピクチャサイズを取得するピクチャサイズ取得ステップと、
    取得されたピクチャサイズに基づいて、画像復号化装置側のピクチャメモリの区分方法を示した区分情報を生成する区分情報生成ステップと、
    生成された前記区分情報を含む符号列を生成する符号化ステップと
    を含むことを特徴とする画像符号化方法。
32. 復号化済みのピクチャをピクチャメモリに格納し、異なるピクチャサイズの動画像ストリームを含んだ符号列を、前記復号化済みピクチャを参照しながら復号化する画像復号化装置のためのプログラムであって、コンピュータに
    前記ピクチャメモリの記憶領域を所定の大きさの区分領域に区分するメモリ区分ステップと、
    新たに復号化されたピクチャ１枚分の全データを、前記ピクチャメモリの１以上の前記区分領域からなる連続した記憶領域に連続して格納する格納ステップとを実行させるためのプログラム。
33. 符号化済みのピクチャを参照しながら、異なるピクチャサイズの動画像ストリームを符号化して符号列を生成する画像符号化装置のためのプログラムであって、コンピュータに
    生成される符号列に含まれる動画像ストリームのピクチャサイズを取得するピクチャサイズ取得ステップと、
    取得されたピクチャサイズに基づいて、画像復号化装置側のピクチャメモリの区分方法を示した区分情報を生成する区分情報生成ステップと、
    生成された前記区分情報を含む符号列を生成する符号化ステップとを実行させるためのプログラム。

Images