JP4562999B2 - 画像復号化方法および画像復号化装置 - Google Patents
画像復号化方法および画像復号化装置 Download PDFInfo
- Publication number
- JP4562999B2 JP4562999B2 JP2003172545A JP2003172545A JP4562999B2 JP 4562999 B2 JP4562999 B2 JP 4562999B2 JP 2003172545 A JP2003172545 A JP 2003172545A JP 2003172545 A JP2003172545 A JP 2003172545A JP 4562999 B2 JP4562999 B2 JP 4562999B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- picture
- memory
- decoded
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化して表示する画像復号化方法に関する。
【0002】
【従来の技術】
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【0003】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合1文字当たりの情報量は1〜2バイトであるのに対し、音声の場合1秒当たり64Kbits(電話品質)、さらに動画については1秒当たり100Mbits(現行テレビ受信品質)以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網(ISDN : Integrated Services Digital Network)によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。 そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T(国際電気通信連合 電気通信標準化部門)で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-1規格の情報圧縮技術によると、通常の音楽用CD(コンパクト・ディスク)に音声情報とともに画像情報を入れることも可能となる。
【0004】
ここで、MPEG(Moving Picture Experts Group)とは、動画像信号圧縮の国際規格であり、MPEG-1は、動画像信号を1.5Mbit/sまで、つまりテレビ信号の情報を約100分の1にまで圧縮する規格である。また、MPEG-1規格を対象とする伝送速度が主として約1.5Mbit/sに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたMPEG-2(非特許文献1)では、動画像信号が2〜15Mbit/sに圧縮される。さらに現状では、MPEG-1,MPEG-2と標準化を進めてきた作業グループ(ISO/IEC JTC1/SC29/WG11) によって、MPEG-1,MPEG-2を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-4が規格化された。MPEG-4では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
【0005】
更に近年、MPEG-4の次世代符号化としてJVTと呼ばれる、ITU-TとISO/IEC共同による新しい画像符号化が標準化中である。
図24はピクチャの予測構造・復号順序と表示順序を示す図である。ピクチャとはフレームもしくはフィールドのいずれかを指す用語であり、本明細書ではフレームもしくはフィールドの代わりにピクチャという表現を用いる。また、画像もしくは画面という用語もピクチャと同義語である。図24で斜線のハッチングを施したピクチャは、他のピクチャの符号化・復号化の際に参照されるため、メモリに保存されるピクチャを表す。
【0006】
I0は画面内符号化ピクチャであり、P3、P6、P9は画面間予測符号化ピクチャ(Pピクチャ)である。JVT標準化案では画面間符号化では、従来のMPEG-1/2/4と異なり、複数の符号化済ピクチャから任意のピクチャを参照ピクチャとして1つ選択して、参照ピクチャから予測画像を生成することができる。たとえば、P9ピクチャは、I0、P3、P6の3つのピクチャから任意の1ピクチャを選択してそのピクチャから予測画像を生成することができる。これにより、従来のMPEG-1/2/4よりも適切な予測画像を選択できる可能性が高まり、圧縮率が向上する。B1、B2、B4、B5、B7、B8は画面間双予測符号化ピクチャ(Bピクチャ)であり、画面間予測ピクチャの予測と異なり、複数(2つ)のピクチャを選択してその選択したピクチャから予測画像を生成し符号化する。特に、時間的に前後の2つのピクチャの平均値を予測画像とする内挿予測をすることで、予測画像の精度を大幅に向上でき圧縮率が大幅に向上することが知られている。以下、画面内符号化ピクチャをI、画面間予測符号化ピクチャをP、画面間双予測符号化ピクチャをBという記号を各ピクチャに付与し、各ピクチャの符号化方法を区別する。
【0007】
Bピクチャで時間的に前後のピクチャを予測符号化で参照するためには、時間的に後方のピクチャが先に符号化・復号化されていなければならない。これは、ピクチャの並べ替え(リーオーダリング)と呼ばれ、従来のMPEG-1/2/4からよく行われている。従って、符号化順序(Stream Order)に対し、符号化されたストリームを復号化して表示する順序(Display Order)は図24のピクチャの予測構造・復号順序と表示順序を示す図のように並べ替えられることになる。なお、図24の例におけるBピクチャはストリームを復号化した瞬間に表示されるため、他の画像から参照されない場合はメモリ等に蓄積する必要が無いが、IピクチャやPピクチャは復号化した後、次のBピクチャを復号化した後に表示されるため、メモリに保存する必要がある。
【0008】
以下、ピクチャの予測構造・復号順序と表示順序を示す図においては、用語およびピクチャの斜線のハッチングの意味は図24と同じ意味で統一する。
図25は他のピクチャの予測構造・復号順序と表示順序を示す図である。同図において、図24との違いは、ピクチャ6がPピクチャで無く、Iピクチャであることである。
【0009】
図26は従来の画像符号化方法を実現するための画像符号化装置のブロック図である。以下、図26の従来の画像符号化方法を実現する画像符号化装置の動作について説明する。
ピクチャ構造決定ユニットPicStructは各ピクチャの符号化タイプ(Iピクチャ、Pピクチャ、Bピクチャ)を決定して参照ピクチャ管理ユニットRefPicCtrlにその符号化タイプおよび符号化で参照可能なピクチャを指示し、またピクチャの符号化順序を並べ替えユニットReOrderに通知する。並べ替えユニットReOrderは入力ピクチャPicInの順序を符号化順序に並べ替えて、動き検出ユニットMEおよび減算ユニットSubに並べ替えたピクチャを出力する。動き検出ユニットMEはピクチャメモリPicMem1に保存されたピクチャを参照して適切な参照ピクチャとその画素位置を指し示す動きベクトルMVとを導出し、可変長符号化ユニットVLCとピクチャメモリPicMem1、動き補償ユニットMCに送出する。ピクチャメモリPicMem1は動きベクトルMVに対応する参照ピクチャの画素を動き補償ユニットMCに出力し、動き補償ユニットMCはピクチャメモリPicMem1から得た参照ピクチャの画素と動きベクトルMVとから予測画像を生成する。
【0010】
減算ユニットSubは並べ替えユニットReOrderで並べ替えたピクチャと予測画像の差を計算し、その差を直交変換ユニットTで周波数係数に変換し、更に量子化ユニットQで周波数係数を量子化し、量子化値Coefとする。
逆量子化ユニットIQは量子化値Coefを逆量子化して周波数係数に復元し、更に逆直交変換ユニットITで周波数係数から画素差分値に逆周波数変換する。加算ユニットAddでは予測画像を画素差分値に加算して復号画像を得る。
【0011】
参照ピクチャ管理ユニットRefPicCtrlはピクチャの符号化タイプに応じ、参照ピクチャとして参照するためにピクチャメモリPicMem1に保存すべき復号画像か、ピクチャメモリPicMem1から開放(参照ピクチャとして以後参照されない)すべき復号画像があるかを判断し、その動作をメモリ管理コマンドMMCOとして通知する。
【0012】
スイッチSWは、当該復号画像がメモリ管理コマンドMMCOによって保存が指示された場合にONになり、当該復号画像がピクチャメモリPicMem1に参照ピクチャとして保存される。また、ピクチャメモリPicMem1は、メモリ管理コマンドMMCOによってピクチャメモリPicMem1から開放すべき復号画像が指示された場合は、その復号画像を保存していた領域を開放し他の復号画像をその領域に保存可能にする。
【0013】
可変長符号化ユニットVLCは、量子化値Coef、動きベクトルMV、メモリ管理コマンドMMCOを符号化し、符号化ストリームStrを出力する。
符号化として周波数変換と量子化を伴う例を示したが、周波数変換や量子化を伴わない符号化(DPCMやADPCM、線形予測符号化など)でもよい。また、周波数変換と量子化が一体化したものや、ビットプレーン符号化のように周波数変換の後に量子化を伴わない符号化でもよい。
【0014】
図27はメモリ管理コマンドMMCOの符号例である。符号化・復号化の最初や、GOPの先頭ではピクチャメモリを初期化するために、可変長符号化ユニットVLCは全メモリ開放を意味する'000'を符号化する。また、復号化した画像をピクチャメモリに保存する場合には、可変長符号化ユニットVLCは'01'を符号化する。ピクチャメモリに保存したピクチャを開放する場合は、開放するピクチャ番号を指示しなければならないので、可変長符号化ユニットVLCは'001'の次に開放するピクチャ番号を符号化する。なお、同時に複数ピクチャ開放する場合は開放するコマンドを複数回符号化する必要があり、またピクチャを開放するコマンドに加えて、ピクチャを保存する場合もある。そこで、可変長符号化ユニットVLCは複数のメモリ管理コマンドMMCOを続けて符号化し、メモリ管理コマンドMMCOが完了したことを示す'1'を最後に符号化する。以上のようにして、メモリ管理コマンドMMCOが符号化ストリームStrに符号化される。
【0015】
図28は従来の画像復号化方法を実現する画像復号化装置のブロック図である。同図において、図26の従来の画像符号化方法を実現する画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。
可変長復号化ユニットVLDは符号化ストリームStrを復号化し、メモリ管理コマンドMMCO、動きベクトルMV、量子化値Coefを出力する。ピクチャ時刻Timeは外部から入力され、表示するピクチャを指定する信号である。表示すべきピクチャが復号化した当該ピクチャであればセレクタSelで加算ユニットAddの出力が選択され、表示ユニットDispに送出される。表示すべきピクチャがピクチャメモリPicMem1に保存されているピクチャであればそれがピクチャメモリPicMem1から読み出され、レクタSelで選択され、表示ユニットDispに送出される。
【0016】
なお、上述の通り、ピクチャメモリPicMem1は動きベクトルMVに対応する画素を動き補償ユニットMCに出力し、動き補償ユニットMCはピクチャメモリPicMem1から得た画素と動きベクトルMVとから予測画像を生成する。
また、逆量子化ユニットIQは量子化値Coefを逆量子化して周波数係数に復元し、更に逆直交変換ユニットITで周波数係数から画素差分値に逆周波数変換する。加算ユニットAddはその画素差分値に予測画像を加算して復号画像とする。
【0017】
また、ピクチャメモリPicMem1は、メモリ管理コマンドMMCOによってピクチャメモリPicMem1での開放すべき復号画像が指示された場合は、その復号画像を保存していた領域を開放し他の復号画像をその領域に保存可能にする。
復号化として逆周波数変換と逆量子化を伴う例を示したが、逆周波数変換や逆量子化を伴わない復号化(DPCMやADPCM、線形予測符号化など)でもよい。また、逆周波数変換と逆量子化が一体化したものや、ビットプレーン符号化のように周波数変換の後に逆量子化を伴わない復号化でもよい。
【0018】
以上の図28の従来の画像復号化方法を実現する画像復号化装置により、図24および図25で示す従来のピクチャ符号化タイプの組み合わせは、図26の従来の画像符号化方法を実現する画像符号化装置で符号化した符号化ストリームStrを正しく復号化できることは明らかである。
【0019】
【非特許文献1】
「ISO/IEC 13818-2,Information technology -- Generic coding of moving pictures and associated audio information: Video」(1996年5月15日)
【0020】
【発明が解決しようとする課題】
さて、ピクチャ符号化タイプとして、より柔軟な組み合わせを検討した。
図1はピクチャの従来にはない予測構造・復号順序と表示順序を示す図である。図1ではピクチャ4の前後でBピクチャの予測構造が異なっている。即ち、ピクチャ2のBピクチャは保存されてピクチャ1およびピクチャ3の予測画像として参照されるものである。その結果、各ピクチャの符号化順序および表示順序は図1のようになる。
【0021】
さて、ピクチャ5とピクチャ6は予測符号化で参照されないので保存されないBピクチャである。しかしながら、図24の場合と異なり、復号化時点では他のピクチャの表示時刻であり、まだ表示する時刻になっていない。つまり、ピクチャB5の復号化時点ではピクチャP4を表示しなければならず、ピクチャB6の復号化時点ではピクチャB5を表示しなければならない。一方、ピクチャB5とピクチャB6は保存されないため、ピクチャメモリから表示時刻にピクチャB5とピクチャB6を出力することもできない。従って、予測符号化で参照されないピクチャはピクチャメモリに保存しないため、従来の符号化・復号化の方法ではピクチャB5とピクチャB6を復号化して表示できないことになる。すなわち、図24に示す例のように予測符号化で参照されないピクチャを保存しない場合ではピクチャ0、ピクチャ1、ピクチャ2、ピクチャ4、ピクチャ7だけが表示できることになる。
【0022】
このように、ピクチャ符号化タイプとして、より柔軟な組み合わせを検討すると、復号化して表示できないピクチャが生じてしまうという問題がある。また、表示用に別途、ピクチャメモリを追加し、ピクチャメモリPicMem1に保存されていないピクチャを表示用の別のピクチャメモリに保存すれば表示が可能になるが、この場合、別のピクチャメモリに大きな余分なメモリが必要になる欠点がある。
【0023】
更に、表示用の別のピクチャメモリを導入したとしても、ストリーム途中からの再生において新たな問題が発生する。図2はピクチャの予測構造・復号順序と表示順序を示す図である。同図において、図25との違いは、ピクチャ7の前後で完全に予測構造が独立となることである。I7以降のピクチャはI7より前の時刻のピクチャを符号化・復号化で参照しない。従って、I7ピクチャから復号化を開始すればI7ピクチャ以降が正しく復号化できるため、I7ピクチャはストリーム途中から再生可能であるという特徴を有する。このように、ストリーム途中にIピクチャを挿入することが良く行われ、この途中から再生できる構造をMPEG-2に準じてGOP(グループ オブ ピクチャ)と呼ぶことにする。
【0024】
さて、ストリーム途中から再生するためには、途中から再生した時点でも再生画像が符号化装置と復号化装置との間で一致することを保証しなければならず、そのためにピクチャメモリの全ピクチャ領域を初期化するのが簡単な方法である。しかしながら、ピクチャ6はピクチャ7を復号化した時点ではまだ表示されずにピクチャメモリに格納されているため、単純にピクチャ6の表示前に全てのピクチャメモリを初期化してしまうとピクチャ6の表示時刻にピクチャメモリからピクチャ6を表示できなくなってしまう。
【0025】
そこで、本発明では、画像の符号化あるいは復号化において必要なメモリ量を考慮しながら、復号化して表示できないピクチャが生じないようにすることを目的とする。
【0026】
【課題を解決するための手段】
上記目的を達成するため、本発明の復号化方法は、複数のピクチャから構成される動画像のピクチャ符号化信号を復号化する復号化方法であって、ピクチャ符号化信号からピクチャを復号化し、復号化されたピクチャが非参照ピクチャであるとき、前記復号化された非参照ピクチャが即座に表示可能であるか否かを判定し、前記復号化された非参照ピクチャが即座に表示可能でない場合、前記復号化された非参照ピクチャを即座に表示せず、バッファに格納することを特徴とする。また、本発明の画像符号化方法は、ピクチャバッファに保持されている画像を参照しながら入力画像を予測符号化し、符号化された前記入力画像を復号化する画像符号化方法であって、復号化された画像について、参照用の画像であるか否か及び表示時刻まで保持が必要な出力用の画像であるかを判定し、判定結果に基づいて参照用の画像および出力用の画像を前記ピクチャバッファに保持させることを特徴とする。
【0027】
ここで前記画像符号化方法は、復号化された画像が参照用の画像であるか否かを判定する第1の判定ステップと、復号化された画像が参照用ではなくかつ表示時刻まで保持が必要な出力用の画像であるか否かを判定する第2の判定ステップと、第1の判定ステップにおいて参照用の画像と判定された画像を前記ピクチャバッファに保持させ、第2の判定ステップにおいて出力用の画像と判定された画像を前記ピクチャバッファに保持させるようピクチャバッファを管理する管理ステップとを有する構成としても良い。
【0028】
この構成によれば、復号画像が参照用の画像であるかという判定に加えて、出力用の画像であるかという判定も行って、参照用の画像に加えて予測符号化において参照されないが復号されると同時に表示又は出力することができない画像を出力用画像としてピクチャバッファに格納する。画像符号化に際してこのような判定及びピクチャバッファ管理を行い復号動作を検証しているので、復号化装置において出力用の画像を確実にその表示時刻に表示あるいは出力することができる。
【0029】
ここで、前記ピクチャバッファは一定のサイズを有し、前記画像符号化方法は、さらに、ピクチャバッファに保持されている参照用の画像が参照済となったか否かを判定する第3の判定ステップと、ピクチャバッファに保持されている出力用の画像が出力済となったか否かを判定する第4の判定ステップとを有し、前記管理ステップにおいて、第3及び第4の判定ステップにおける各判定結果に基づいて、前記一定のサイズの範囲内でピクチャバッファ中の画像を保持している領域を再利用する構成としてもよい。
【0030】
この構成によれば、管理ステップにおいて、前記ピクチャバッファの一定のサイズの範囲内で、参照用の画像と前記出力用の画像とを、画像を保持している領域を再利用して格納するので、メモリを無駄に消費することなく復号画像ピクチャバッファを必要最小限のサイズとすることができる。
【0031】
さらに、前記画像符号化方法は、複数の符号化画像からなるシーケンス毎に、当該シーケンスの符号化において一定となる前記サイズを示す情報を符号化する符号化ステップを有するようにしてもよい。
この構成によれば、シーケンス毎に前記サイズが一定となるので、シーケンス毎に予測符号化で用いる画像のタイプを柔軟に定めることができる。
【0032】
また、前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合に、第4の判定ステップにおいて出力済になったと判定された出力用の画像を保持している領域に、第1の判定ステップにおいて参照用の画像と判定された画像および第2の判定ステップにおいて参照用の画像と判定された画像の何れかを格納する構成としてもよい。
【0033】
この構成によれば、ピクチャバッファに格納された出力用の画像の領域のうち既に出力済の画像が格納されている領域に、新たな画像を格納する。つまり出力済の画像が格納されている領域を再利用するので、出力済でない復号画像の表示をより確実にすることができる。
【0034】
さらに、前記管理ステップにおいて、前記ピクチャバッファ中に新たに画像を格納可能な領域が存在しない場合、前記ピクチャバッファに格納された出力用の画像のうち表示順で古い画像を保持している領域に、第1の判定ステップにおいて参照用の画像と判定された画像および第2の判定ステップにおいて出力用の画像と判定された画像の何れかを保持させる構成としてもよい。
【0035】
この構成によれば、出力用の画像のうち表示順で古い画像が格納されている領域には出力済の復号画像が格納されている可能性が高いので、個々の復号画像の表示時刻を正確に判断する構成でなくても、出力済でない復号画像の表示をより確実にすることができる。
【0036】
また、前記画像符号化方法は、さらに、複数の符号化画像を含むシーケンスの途中で入力画像のサイズ変更された場合、出力用の画像を保持している領域のうち、サイズ変更前の画像でかつ格納後に画像の全部又は一部が変更されていない画像を保持している領域以外の領域を開放する開放ステップを有する構成としてもよい。
【0037】
この構成によれば、サイズ変更があったとき、出力用の復号画像は復号画像ピクチャバッファに残すことができるので、サイズ変更の時点で出力済でない画像を削除することなくできるだけ多く出力することができる。
以上の様に、本発明によれば従来では正しく表示不可能であったピクチャも、余分なメモリを持つことなく、開放されたメモリ領域を有効に活用することで表示可能となり、その実用的価値は高い。
【0038】
また本発明の画像復号化方法、画像符号化装置、画像復号化装置、プログラムについても上記と同様の構成、作用、効果を有する。
また、本発明の画像符号化方法又は画像復号化方法は、以下の(1)から(16)の何れかの構成とすることができる。
【0039】
(1)復号化されメモリに保存されている復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、前記復号化済画像をメモリから参照して予測画像を生成し、前記予測画像と前記画像信号の差を符号化して符号化ストリームとするステップと、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、所定の復号画像を前記メモリに格納するステップと、前記メモリの全領域を開放して再利用可能とするか否かを示す指示情報を前記符号化ストリームに含めるステップとを含むことを特徴とする画像符号化方法。
【0040】
(2)復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、予測画像生成のために参照される画像および即座に表示不可能な画像は前記復号画像を前記メモリに格納する画像符号化方法。
【0041】
(3)復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像符号化方法。
【0042】
(4)復号化されメモリに保存されている復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、
前記復号化済画像を前記メモリから参照して予測画像を生成し、前記符号化ストリームを復号化して得られる画像信号に前記予測画像を加算して復号画像とし、所定の復号画像をメモリに格納するステップと、
前記符号化ストリームを復号化して得られるメモリの全領域を開放して再利用可能とするか否かを示す指示情報を基に、前記指示情報が示す情報に基づいた処理を行う処理ステップとを
含むことを特徴とする画像復号化方法。
【0043】
(5)復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像復号化方法。
【0044】
(6)復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像符号化方法。
【0045】
(7)復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像復号化方法。
【0046】
(8)復号化済画像を参照して画像信号を予測符号化する画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像符号化方法。
【0047】
(9)復号化済画像を参照して符号化ストリームを予測復号化する画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像復号化方法。
【0048】
(10)復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、予測画像生成のために参照される画像および即座に表示不可能な画像をメモリに格納するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果を前記メモリに格納するメモリ手段を備えた画像符号化装置。
【0049】
(11)復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって復号化装置で復号化済画像として外部に出力済である画像が保存されていた領域に格納するメモリ手段を備えた画像符号化装置。
【0050】
(12)復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって復号化済画像として外部に出力済の画像が保存されていた領域に格納するメモリ手段を備えた画像復号化装置。
【0051】
(13)復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって時刻が最も古い画像が保存されていた領域に格納するメモリ手段を備えた画像符号化装置。
【0052】
(14)復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって時刻が最も古い画像が保存されていた領域に格納するメモリ手段を備えた画像復号化装置。
【0053】
(15)復号化済画像を参照して画像信号を予測符号化する画像符号化装置であって、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記予測手段で予測した前記予測画像と前記画像信号の差を符号化し符号化ストリームとする符号化手段と、前記符号化した前記予測画像と前記画像信号の差を復号化する復号化手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であってで開放した順序が早い領域に格納するメモリ手段を備えた画像符号化装置。
【0054】
(16)復号化済画像を参照して符号化ストリームを予測復号化する画像復号化装置であって、前記符号化ストリームを復号化する復号化手段と、復号化済画像をメモリから参照して予測画像を生成する予測手段と、前記復号化手段で復号化した前記予測画像と前記画像信号の差と前記予測画像を加算する加算手段と、前記加算手段の加算結果をメモリに格納したり不要な画像をメモリから開放するよう判断する参照画像管理手段と、前記参照画像管理手段の判断に基づいて前記加算手段の加算結果をメモリ中の開放された領域であって開放した順序が早い領域に格納するメモリ手段を備えた画像復号化装置。
【0055】
また、本発明の画像符号化方法及び画像復号化方法をコンピュータに実行させるプログラムを格納する記憶媒体は、以下の(17)から(23)の何れかとしてもよい。
【0056】
(17)上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、予測画像生成のために参照される画像および即座に表示不可能な画像は前記復号画像を前記メモリに格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。
【0057】
(18)上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。
【0058】
(19)上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で表示済の画像が保存されていた領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。
【0059】
(20)上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。
【0060】
(21)上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内の開放された領域で最も古い時刻の画像が保存されていた領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。
【0061】
(22)上記プログラムはコンピュータに、復号化済画像を参照して画像信号を予測符号化させる画像符号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記予測した前記予測画像と前記画像信号の差を符号化して符号化ストリームとし、前記符号化した前記予測画像と前記画像信号の差を復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像符号化方法を、行わせるものであることを特徴とする記憶媒体。
【0062】
(23)上記プログラムはコンピュータに、復号化済画像を参照して符号化ストリームを予測復号化させる画像復号化方法であって、復号化済画像をメモリから参照して予測画像を生成し、前記符号化ストリームを復号化して前記予測画像を加算して復号画像とし、前記復号画像を前記メモリに格納したり不要になった画像を前記メモリから開放し、前記メモリに前記復号画像を格納する際は前記メモリ内で最初に開放された格納可能領域に格納する画像復号化方法を、行わせるものであることを特徴とする記憶媒体。
【0063】
また、本発明の画像符号化装置においてストリーム及び画像復号化装置に対するメモリ拘束条件を定義し、ビデオを符号化する方法は、以下の(A1)から(A26)の何れかであってもよい。
【0064】
(A1)ストリーム及び画像復号化装置に対するメモリ拘束条件を定義する、画像符号化方法であって、用いることができる参照ピクチャの最大数を決定するステップと、後方予測参照ピクチャの最大数を設定するステップと、ストリームのヘッダーに後方予測参照ピクチャの前記最大数を入れるステップと、仮想ディスプレイ遅延バッファを生成するステップと、ディスプレイ・カウンタを生成するステップと、前記参照ピクチャに対して十分な記憶空間を割り当てるステップと、前記ビデオを符号化するステップと、を含む画像符号化方法。ここで、仮想・ディスプレイ遅延バッファは、画像符号化装置内のメモリに確保される表示用領域に格納されるべき各表示用ピクチャに対応する仮想的なバッファであり、その表示用ピクチャの出力する順序を示す情報(ピクチャ順序番号等)を保持する。ディスプレイ・カウンタは、仮想的にディスプレイに出力されるべきピクチャのピクチャ順序番号を記憶及び更新する。また、十分な記憶空間とは、参照ピクチャと表示用ピクチャを格納する領域をいう。
【0065】
(A2)参照ピクチャの前記最大数は、デコーダの能力を示すレベル値に応じて決定される、(A1)に記載の画像符号化方法。
【0066】
(A3)後方予測参照ピクチャの前記最大数は、参照ピクチャの前記最大数よりも少ない、(A1)または(A2)に記載の画像符号化方法。
【0067】
(A4)ストリーム全体の前記後方予測は、後方予測参照ピクチャの前記最大数によって制限される、(A1)、(A2)または(A3)に記載の画像符号化方法。
【0068】
(A5)前記仮想・ディスプレイ遅延バッファのサイズは、後方予測参照ピクチャの前記最大数から1を引いたものである、(A1)に記載の画像符号化方法。
【0069】
(A6)前記仮想・ディスプレイ遅延バッファの物理メモリは、ピクチャの表示順序情報だけを含む、(A1)または(A5)に記載の画像符号化方法。
【0070】
(A7)前記ディスプレイ・カウンタは、仮想・ディスプレイ遅延バッファから除去されるピクチャの表示順序情報を記憶するために用いられる、(A1)に記載の画像符号化方法。
【0071】
(A8)前記画像符号化方法は、利用可能な参照ピクチャを用いて符号化対象ピクチャを予測するステップと、前記符号化対象ピクチャを符号化するステップと、前記符号化したピクチャが予測に用いられるかどうかを決定するステップと、前記符号化したピクチャを復号化するステップと、前記復号化したピクチャを前記参照ピクチャ・バッファに記憶するステップと、前記仮想・ディスプレイ遅延バッファを更新するステップと、前記ディスプレイ・カウンタを更新するステップと、を含む(A1)に記載の画像符号化方法。
【0072】
(A9)ピクチャの前記予測は、前記ピクチャが予測符号化される場合には一つ又は複数の参照ピクチャを用いることができる、(A1)または(A8)に記載の画像符号化方法。
【0073】
(A10)前記参照ピクチャは、前記参照ピクチャ・バッファがメモリ拘束条件を満足した場合にのみ用いることができる、(A1)または(A8)に記載の画像符号化方法。
【0074】
(A11)前記参照ピクチャは、前記符号化対象ピクチャが参照ピクチャとして用いられる場合に復号化される、(A1)または(A8)に記載の画像符号化方法。
【0075】
(A12)前記復号化されたピクチャの記憶は、次のピクチャに対する参照ピクチャ数のメモリ拘束条件を決定するステップと、前記参照ピクチャ・バッファから未使用参照ピクチャを除去するステップと、前記復号化したピクチャを前記参照ピクチャ・バッファに加えるステップと、を含む、(A1)、(A8)または(A10)に記載の画像符号化方法。
【0076】
(A13)次のピクチャに対する参照ピクチャの前記最大数は、ストリームに対する参照ピクチャの最大数から前記仮想・ディスプレイ遅延バッファのピクチャ数を引いた数に等しい、(A1)、(A8)、(A10)または(A12)に記載の画像符号化方法。
【0077】
(A14)前記未使用参照ピクチャのディスプレイに対する表示順序情報は、ディスプレイに対する前記表示順序情報が前記ディスプレイ・カウンタの値よりも大きい場合に仮想・ディスプレイ遅延バッファに移動される、(A1)、(A8)、(A10)または(A12)に記載の画像符号化方法。
【0078】
(A15)前記仮想・ディスプレイ遅延バッファは、前記表示順序情報が前記ディスプレイ・カウンタの値より大きい場合には、前記ピクチャの前記時間的情報を記憶する、(A1)または(A8)に記載の画像符号化方法。
【0079】
(A16)前記仮想・ディスプレイ遅延バッファは、前記表示順序情報が前記ディスプレイ・カウンタの値以下である場合には、前記ピクチャの前記表示順序情報を除去する、(A1)、(A8)または(A15)に記載の画像符号化方法。
【0080】
(A17)前記仮想・ディスプレイ遅延バッファの前記ピクチャ数は、前記仮想・ディスプレイ遅延バッファに存在するピクチャの表示順序情報の合計数によって定義される、(A1)、(A8)、(A10)、(A12)または(A13)に記載の画像符号化方法。
【0081】
(A18)前記ディスプレイ・カウンタの表示順序情報は、前記仮想・ディスプレイ遅延バッファがフルであるときか又は符号化されたピクチャ数が前記参照ピクチャの最大数に等しいときに更新を開始する、(A1)または(A8)に記載の画像符号化方法。
【0082】
(A19)前記ディスプレイ・カウンタの表示順序情報は、前記ディスプレイ・カウンタが更新を開始した後に符号化された各ピクチャの表示順序情報に基づいて更新される、(A1)、(A8)または(A18)に記載の画像符号化方法。
【0083】
(A20)前記画像符号化装置のための画像復号化装置は、ストリーム・ヘッダーから最大ポスト・デコーダ・バッファ・サイズを決定するステップと、必要な参照ピクチャの最小数を決定するステップと、参照ピクチャに対して十分な物理メモリ空間を割り当てるステップと、前記ストリームを復号化するステップと、前記ストリームを出力するステップと、を含む(A1)に記載の画像符号化方法。
【0084】
(A21)前記最大ポスト・デコーダ・バッファ・サイズは、前記画像符号化装置によって設定された後方参照ピクチャの最大数である、(A1)または(A20)に記載の画像符号化方法。
【0085】
(A22)必要な参照ピクチャの前記最小数は、同じそのストリームを復号化できる画像復号化装置の能力レベルに対して固定される、(A1)または(A20)に記載の画像符号化方法。
【0086】
(A23)前記画像復号化装置で割り当てられた前記物理メモリ空間は、参照ピクチャ及びポスト・デコーダ・ピクチャの両方を記憶するために用いることができる、(A1)または(A20)に記載の画像符号化方法。
【0087】
(A24)参照ピクチャ及びポスト・デコーダ・ピクチャの両方の合計は、前記割り当てられた物理メモリ空間を超えない、(A1)または(A20)に記載の画像符号化方法。
【0088】
(A25)前記復号化は、復号化されたピクチャの数が前記最大ポスト・デコーダ・バッファ・サイズから1を引いた数に等しいときか又は復号化されたピクチャの合計数が参照ピクチャの前記決定された最小数に等しいときのいずれか早い方に、第1の復号化されたピクチャを出力する、(A1)または(A20)に記載の画像符号化方法。
【0089】
(A26)復号化されたピクチャは、一旦それが出力のために送られたならば前記ポスト・デコーダ・バッファから除去される、(A1)または(A20)に記載の画像符号化方法。
【0090】
また、本発明の画像復号化装置においてストリーム及び画像復号化装置に対するメモリ拘束条件に基づいてストリームを復号化する方法は、以下の(A27)から(A37)の何れかであってもよい。
【0091】
(A27)ストリーム及び画像復号化装置に対するメモリ拘束条件に基づいてストリームを復号化する方法であって、ストリームに用いられる参照ピクチャの最大数を決定するステップと、後方予測参照ピクチャの最大可能数を決定するステップと、ポスト・デコーダ・バッファの最小サイズを計算するステップと、参照ピクチャ・バッファに対して十分な物理メモリ空間を割り当てるステップと、ポスト・デコーダ・バッファに対して十分な物理メモリ空間を割り当てるステップと、ストリームを復号化するステップと、参照ピクチャ・バッファに復号化したピクチャを記憶するステップと、ポスト・デコーダ・バッファに復号化したピクチャを記憶するステップと、復号化したピクチャを出力するステップと、を含む画像復号化方法。ここで、ポスト・デコーダ・バッファは、画像復号化装置内の参照ピクチャメモリにおける表示用領域をいう。
【0092】
(A28)参照ピクチャの前記最大数は、ストリームを復号化できる能力のレベルに応じて画像復号化装置に対して固定される、(A27)に記載の画像復号化方法。
【0093】
(A29)後方予測参照ピクチャの前記最大可能数は、参照ピクチャの前記最大数から1を引いた数によって定義される、(A27)に記載の画像復号化方法。
【0094】
(A30)ポスト・デコーダ・バッファの前記最小サイズは、後方予測参照ピクチャの前記最大可能数から1を引いた数として定義される、(A27)に記載の画像復号化方法。
【0095】
(A31)ポスト・デコーダ・バッファの前記最小サイズをストリームから取得する、(A27)または(A30)に記載の画像復号化方法。
【0096】
(A32)後方予測参照ピクチャの前記最大可能数は、ポスト・デコーダ・バッファの前記最小サイズに1を加えた数によって定義される、(A27)または(A31)に記載の画像復号化方法。
【0097】
(A33)参照ピクチャ・バッファの前記最小サイズは、参照ピクチャの前記最大数として定義される、(A27)に記載の画像復号化方法。
【0098】
(A34)前記参照ピクチャ・バッファは、参照ピクチャを記憶するためにだけ用いられる、(A27)または(A33)に記載の画像復号化方法。
【0099】
(A35)前記ポスト・デコーダ・バッファは、非参照ピクチャを記憶するために用いられる、(A27)、(A30)または(A31)に記載の画像復号化方法。
【0100】
(A36)参照ピクチャは、それが非参照ピクチャと判定されたときに前記参照ピクチャ・バッファから除去される、(A27)、(A32)または(A33)に記載の画像復号化方法。
【0101】
(A37)ポスト・デコーダ・バッファのピクチャは、それが出力された際に前記ポスト・デコーダ・バッファから除去される、(A27)、(A30)、(A31)または(A35)に記載の画像復号化方法。
【0102】
以上の構成によればストリーム及び画像復号化装置の両方に対して同じメモリ拘束条件で動作させることで、ストリームを正しく復号化できることが保証できる。もしそうしなければ、画像復号化装置が復号化過程でストリームを復号化するために十分なメモリ空間を確保できない場合が発生する。
【0103】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【0104】
(実施の形態1)
本発明の実施の形態1を説明する。
図3は本発明の画像符号化方法を実現する画像符号化装置のブロック図である。同図において、図26の従来の画像符号化方法を実現する画像符号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。
図26の従来の画像符号化方法を実現する画像符号化装置のブロック図との違いは、図3では表示ピクチャ管理ユニットDispPicCtrlが追加され、さらに表示ピクチャ管理ユニットDispPicCtrlの指示が参照ピクチャ管理ユニットRefPicCtrlとピクチャメモリPicMem2に出力されていることである。
【0105】
また、図3に示される画像符号化装置100では新たに、外部から変更されたピクチャサイズを取得するとともに、ピクチャ構造決定ユニットPicStructから各ピクチャの符号化タイプ(Iピクチャ、Pピクチャ、Bピクチャ)を取得して、Iピクチャのタイミングで、変更するピクチャサイズを示す情報を参照ピクチャ管理ユニットRefPicCtrlに出力するピクチャサイズ変更ユニットPicSizeが設けられている。
【0106】
ピクチャメモリPicMem2はピクチャメモリPicMem1と動作が殆ど同じであるため、異なる動作の部分のみ説明する。
表示ピクチャ管理ユニットDispPicCtrlはピクチャ時刻Timeを取得し、参照されないために本来は保存されないピクチャが即座に表示可能かどうか(ピクチャメモリに表示時刻まで格納する必要があるかどうか)を判断する。ピクチャ時刻Timeは外部から入力され、表示するピクチャを指定する信号である。ピクチャ時刻の取得は、例えばピクチャをパケット等の伝送路で伝送するためのシステムが出力する時刻情報から取得してもよいし、あるいは、ビデオストリームとオーディオストリームとを多重化するためのフォーマット中の時刻情報から取得してもよく、あるいは、ビデオストリームのフォーマット中の時刻情報から取得してもよい。また、これらはピクチャ毎に時刻がわかる絶対時刻であっても、ピクチャ間で時間の前後がわかる相対時刻であってもどちらでもよい。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。
【0107】
なお、即座に表示が可能である場合とは、加算器Addで加算して得られたピクチャがピクチャ時刻Timeで指示された表示するピクチャと一致する場合である。この場合には、ピクチャメモリPicMem2に、未表示で且つ符号化のために入力されたピクチャより前に表示されるべきピクチャがない場合のことである。即座に表示可能でなければ、参照されない画像であってもピクチャメモリPicMem2に保存するように、表示ピクチャ管理ユニットDispPicCtrlは、参照ピクチャ管理ユニットRefPicCtrlに指示を出す。その結果、即座に表示されないピクチャは参照の有無に関わらず必ずピクチャメモリPicMem2に格納されることになり、復号化装置でピクチャメモリPicMem2からピクチャを表示できるようになる。
【0108】
図4は本発明における参照ピクチャ管理ユニットRefPicCtrlの動作のフローチャートである。
当該復号画像(ピクチャ)が予測画像として参照されるために保存すべきであるかどうかを判断する(Step10)。参照されるならばStep12に進み、そうでなければStep11に進む。
【0109】
Step11では当該復号画像が即座に表示可能であるかどうかを判断する。即座に表示可能とは、復号化した時点でそのまま表示できることであり(例えば図1に示すピクチャ1)、即座に表示不可能とは後で表示しなければならない(例えば図1に示すB5)ことである。即座に表示可能であれば終了し、そうでなければStep12に進む。
【0110】
Step12ではピクチャメモリPicMem2から保存可能な領域を取得し、Step13で取得したピクチャメモリPicMem2の領域に当該復号画像を保存するようにメモリ管理コマンドMMCOで指示を出す。
以上のようにして、即座に表示されないピクチャはピクチャメモリPicMem2に保存し、表示時刻になった時点でピクチャメモリPicMem2からピクチャを表示できるようにすることができる。また、表示用の余分なピクチャメモリを必要とすることがなく、表示のために保存が必要なピクチャを参照用のピクチャメモリに保存することができる。
【0111】
上述したピクチャメモリPicMem2には、予測画像の生成のために参照される参照ピクチャが保存される参照用領域と、表示用ピクチャが保存される表示用領域が存在する。
ところで、前述したGOP(グループ オブ ピクチャ)毎にピクチャサイズの変更を行うことも可能である。このピクチャサイズの変更は、不要になった参照ピクチャの保存されたメモリの参照用領域を全て開放する(再利用可能の状態にする)場合にのみ行われる。
【0112】
しかしながら、このようにピクチャサイズの変更が行われる場合に、上述したように、未表示の表示用ピクチャはメモリ領域に保存されているが、この未表示の表示用ピクチャをどのように扱うべきか(消去すべきか、そのまま表示されるまで保存すべきか)に対する対処方法について明確に決定する必要がある。
【0113】
ここで、ピクチャサイズの変更が行われるときの、メモリへのピクチャの保存状態について段階的に説明する。
図5(a)(b)(c)は、メモリへのピクチャの保存状態を段階的に示す状態図である。
【0114】
図5(a)において、ピクチャ200a、200b、200cは、参照用に保存された参照ピクチャ(予測画像生成のために参照されるピクチャ)であり、ピクチャ201a,201b,201c,201d,201eは、表示用に保存されている表示用ピクチャ(未表示のピクチャ)である。
【0115】
ピクチャ201a,201b,201c,201d,201eは、この順番に表示される。
この図5(a)には、参照ピクチャ200a、200b、200cの保存されているメモリ領域が全て開放されて再利用可能な状態とされた状態が示されている。
【0116】
図5(b)には、図5(a)に示す状態の後にピクチャサイズが変更され、参照ピクチャ200aの保存されていたメモリ領域に、ピクチャサイズが大きくなるよう変更された参照ピクチャ202aが保存され、さらに表示用ピクチャ201aが表示されて、そのメモリ領域が開放された状態が示されている。
【0117】
図5(c)は、図5(b)に示す状態の後、さらに表示用ピクチャ201bの保存されたメモリ領域が開放され、表示用ピクチャ201a,201bの保存されていた開放されたメモリ領域に、画像サイズが大きくなるように変更された参照ピクチャ202bが保存された状態を示しており、小さなメモリ領域203が残っている。この状態で、表示用ピクチャ201cが保存されているメモリ領域を開放しても、新たに参照ピクチャ(ピクチャサイズが大きくなるように変更された)を保存することはできない。
【0118】
このように、ピクチャサイズが変更されると、メモリ内に異なるピクチャサイズのピクチャが混在する(ピクチャサイズが大きくなるように変更された参照ピクチャと、サイズ変更前の未表示の表示用ピクチャ)ことになる。
それによって、メモリが断片的に使用されるようになり、使用できない小さなメモリ領域が発生してメモリの使用効率が劣化する。また、メモリを断片的に使用しないように、発生した小さなメモリ領域がなくなるようにメモリ内でデータの再配置を行うと、メモリアクセスが非常に大きくなってその間の実時間で符号化・復号化動作を実現することが困難である。
【0119】
そのため、ピクチャサイズが変更される場合は、第1の方法として、未表示の表示用ピクチャの保存されている表示用領域と、参照ピクチャの保存されている参照用領域を開放して(再利用可能な状態として)、未表示の表示用ピクチャの表示をあきらめるようにする。このようにすることにより、サイズの異なるピクチャの混在により生じるメモリの断片的な使用を防止することができ、メモリの使用効率の劣化を抑えることができる。
【0120】
上述したピクチャサイズの変更は次のタイミングで行われる。すなわち、図3に示すピクチャサイズ変更ユニットPicSizeが、ピクチャ構造決定ユニットPicStructが決定した各ピクチャの符号化タイプ(Iピクチャ、Pピクチャ、Bピクチャ)と、外部から入力される変更するピクチャサイズとをうけて、Iピクチャのタイミングでピクチャサイズの変更を行う指令を参照ピクチャ管理ユニットRefPicCtrlに出力する。このIピクチャは、例えばGOPの最初に挿入される特別なIピクチャ(IDRピクチャ)である。
【0121】
また、ピクチャサイズが変更される場合は、第2の方法として、メモリの全領域を開放して、未表示の表示用ピクチャをあきらめるようにする手段と、あるいは参照ピクチャが保存された参照用領域のみを開放して、符号化信号(ストリーム)を復号する後述する画像復号化装置(デコーダ)の判断により、サイズ変更前のピクチャで未表示の表示用ピクチャについては表示できるものを表示するようにし、未表示の表示用ピクチャの表示を義務付けないようにする手段とを切り替えるようにしている。このとき、画像復号化装置は、未表示のピクチャについて例えば損傷していないピクチャなどの表示可能なピクチャを表示順序に従って表示するようにする。
【0122】
このような切り替えを行うとき、メモリの全領域を開放する方法と、参照ピクチャが保存された参照用領域のみを開放する方法のいずれの方法で行うかを示す指示情報(フラグ)もしくは他の識別できるような情報を画像符号化装置100から出力されるストリームStrに含めて配置する。
【0123】
画像復号化装置側では、ストリームに配置された指示情報に基づいた処理を行う。
この指示情報が示す2つの方法を切り替える際の判断基準の例としては、いずれの方法で行うかをアプリケーションによってコンテンツを作る人が決めるようにするか、メモリに余裕があれば参照用領域のみを開放して未表示の表示用ピクチャが保存されている表示用領域を開放することはしない(メモリの全領域を開放することはしない)か、あるいは、ピクチャサイズが小さくなるよう変更される場合は、参照用領域のみを開放して未表示の表示用ピクチャが保存されている表示用領域を開放することはしない(メモリの全領域を開放することはしない)などが考えられる。
以上の構成により、従来の課題を解決する画像符号化装置が実現できる。
【0124】
(実施の形態2)
本発明の実施の形態2について説明する。
本実施の形態では、図3で示した表示ピクチャ管理ユニットDispPicCtrlが、ピクチャメモリPicMem2に対して、開放したメモリにピクチャを保存する場合に、表示していないピクチャの領域には新たなピクチャを保存しないように指示する。通常、ピクチャの領域が開放されても、その領域に新しいピクチャが保存(上書き)されない限りは直前に保存したピクチャが再生できる。そこで、仮に表示していないピクチャの保存されたメモリ領域が開放されたとしても、そのメモリ領域には新しいピクチャを保存せず、表示済のピクチャが保存されていた領域に新しいピクチャを保存することで、表示時刻になった時点で、開放されているが、まだ上書きされずに残っている未表示のピクチャを表示することができる。このピクチャメモリの開放されたピクチャ領域にあるピクチャを表示用ピクチャと呼ぶことにする。なお、表示済とは、表示装置への出力済と実質的に同義であり、復号化装置においては実際に表示したこと(あるいは表示装置へ出力したこと)を意味し、符号化装置においては実際には表示(あるいは出力)するわけではなくピクチャ時刻Timeに指定されたときに表示したもの(あるいは出力したもの)とみなして扱うことを意味する。
【0125】
図6は本実施の形態における画像符号化装置100の動作を示すフローチャートである。本実施の形態は、開放領域のメモリに保存されているピクチャが表示済みかどうかで、ピクチャの保存を決定することを特徴とする。
まず、Step20で当該復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。
【0126】
保存する場合には、開放されたピクチャ領域を取得し(Step21)、開放されてピクチャ領域に保存されていたピクチャが表示済であるかどうかを確認する(Step22)。まだ表示されていなければ、Step21に戻り表示済のピクチャが保存されていた開放領域を見つけるまで処理を繰り返す。
【0127】
表示済のピクチャが保存されていた開放領域を見つけたならば、その領域に復号画像を保存する(Step23)。
このようにすることにより、未表示のピクチャが表示済みになると、その表示済のピクチャの保存されている領域が再利用されるため、未表示のピクチャは、上書きされることなく表示されるまでメモリに保存される。
【0128】
なお、メモリに保存されているピクチャが表示済みかどうかは、表示ピクチャ管理ユニットDispPicCtrlにおいて表示したかどうかの情報を管理することによって判断することができる。
また、ピクチャ領域が開放領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「used(参照ピクチャとして使用可能)」か「unused(以後、参照ピクチャとして参照されない)」なのかをメモリ管理コマンドMMCOに従ってピクチャメモリPicMem2において保持し、この保持されている情報を参照することにより判断することができる。
【0129】
以上の構成により、従来の課題を解決する画像符号化装置が実現できる。
以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。
なお、ピクチャサイズが変更になった場合の動作は、実施の形態1と同様なので説明を省略する。
【0130】
(実施の形態3)
本発明の実施の形態3を説明する。
図7は本発明の実施の形態3における画像符号化装置100の動作を示すフローチャートである。本実施の形態は、メモリを開放した時刻によってピクチャの保存を決定することを特徴とする。
まず、Step30で当該復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。
【0131】
保存する場合には、最も古い時刻に開放されたピクチャメモリ領域を取得し(Step31)、その領域に復号画像を保存する(Step32)。
また、最も古い時刻に開放されたメモリ領域をピクチャの保存領域とするのではなく、最も古い時刻にピクチャが復号化され保存されたメモリ領域、あるいは最も表示時刻が古いピクチャの保存されているメモリ領域をピクチャの保存領域としてもよい。これらのメモリ領域は、そこに保存されているピクチャが既に表示されている可能性が高いからである。
【0132】
表示時刻の情報はシステムが管理するため、画像復号化装置の作り方によっては表示時刻を入手することが困難である。最も古い時刻に保存されたピクチャの領域が、より新しい時刻に保存された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。古い表示時刻のピクチャが既に表示されている可能性が高いのは当然であるため、最も古い時刻に保存されたピクチャは既に表示されている可能性が高い。従って、最も古い時刻に保存されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャを上書きしない可能性が高くなる。また、最も古い時刻がピクチャを符号化した時刻の最も古い時刻である場合、例えば最も古い時刻に符号化されたかどうかはピクチャの予測構造・復号順序から判断することが可能である。
【0133】
また、これらの最も古い時刻は時刻である必要はなく、最も古い順序であってもよく、例えば表示される順序が最も古い順序であってもよいのは当然である。例えば表示順序が古いピクチャが既に表示されている可能性が高く、表示されたか否かに関わらず、表示順序が古いピクチャの保存されているメモリ領域から順にメモリの保存領域として再利用される。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。
【0134】
以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。また、ピクチャメモリPicMem2に保存されているピクチャが表示されているかどうかに関係なく、表示するために保存しておくべきピクチャの保存の処理をすることができる。なお、最も古い時刻が表示の時刻の最も古い時刻である場合、例えば表示ピクチャ管理ユニットDispPicCtrlにおいて表示したかどうかの情報を管理することによって、最も古い時刻に保存されたピクチャかどうかを判断することができる。
なお、ピクチャサイズが変更になった場合の動作は、実施の形態1と同様なので説明を省略する。
【0135】
(実施の形態4)
本発明の実施の形態4を説明する。
図8は本発明の実施の形態4における画像符号化装置100の動作を示すフローチャートである。本実施の形態は、メモリを開放した順番によってピクチャの保存を決定することを特徴とする。
まず、Step40で当該復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。
【0136】
保存する場合には、開放された領域の中で、最初に開放されたピクチャ領域を取得し(Step41)、その領域に復号画像を保存する(Step42)。
表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最初に開放されたピクチャの領域が、後で開放された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。すなわち、最初に開放されたピクチャは既に表示されている可能性が高い。従って、最初に開放されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャに対して上書きしない可能性が高くなる。
【0137】
なお、ピクチャ領域が最初に開放されたピクチャ領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「used:開放されていない(参照ピクチャとして使用可能)」か「unused:開放済み(以後、参照ピクチャとして参照されない)」かをメモリ管理コマンドMMCOに従ってピクチャメモリPicMem2において開放した順序を含めて保持し、この保持されている情報を参照することにより判断することができる。あるいは、ピクチャ領域の使用方法を所定の手順に固定し、その手順に従って最初に開放されたピクチャ領域かどうかを判断すればよい。例えば、ピクチャメモリPicMem2を、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数(またはピクチャ数)の画像が保存される先入れ先出し方式(FIFO)のメモリとして、最初に開放されたピクチャ領域かどうかを判断すればよい。 以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で、開放済であるが上書きされていない領域からピクチャを表示することができる。
なお、ピクチャサイズが変更になった場合の動作は、実施の形態1と同様なので説明を省略する。
【0138】
(実施の形態5)
本発明の実施の形態5を説明する。
図9は本発明の画像復号化方法を実現する画像復号化装置のブロック図である。同図において、図3の本発明の画像符号化方法を実現する画像符号化装置のブロック図および図28の従来の画像復号化方法を実現する画像復号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。
【0139】
図9の画像復号化装置150において、従来例を示す図28と異なる点は、図9では、外部から取得した変更するピクチャサイズ、および可変長復号化ユニットVLDから取得したメモリ管理コマンドMMCOを基に、特別なIピクチャ(IDR(Instantaneous Decoding Refresh)ピクチャ)のタイミングでピクチャサイズを変更する指令をピクチャメモリPicMem2に出力するピクチャサイズ変更検出ユニットPicSizeDetと、表示ピクチャ管理ユニットDispPicCtrlが新たに設けられている。
【0140】
表示ピクチャ管理ユニットDispPicCtrlはピクチャメモリPicMem2における開放した領域に対してピクチャを保存する場合に、表示していないピクチャの領域には新たなピクチャを保存しないように指示する。通常、ピクチャの領域が開放されても、その領域に新しいピクチャが保存(上書き)されない限りは直前に保存したピクチャのデータがメモリ内に残っており再生できる。そこで、仮に表示していないピクチャが開放されたとしても、表示済のピクチャが保存されていた領域に新しいピクチャを保存することで、表示時刻になった時点で開放されているがまだ上書きされずに残っている表示されていないピクチャを表示することができる。なお、表示済は、表示装置への出力済と実質的に同義である.
このようにすることにより、未表示のピクチャが表示済みになると、その表示済のピクチャの保存されているメモリ領域が再利用されるため、未表示のピクチャは、上書きされることなく表示されるまでメモリに保存される。
【0141】
以上の構成により、従来の課題を解決する画像復号化装置が実現できる。なお、画像復号化装置150は、実施の形態3、および実施の形態4に示した画像符号化装置100により符号化された符号化信号を復号するようにしてもよい。その場合にピクチャメモリの利用についての動作は、実施の形態3および実施の形態4に示された画像符号化装置と同様である。即ち、このピクチャメモリで開放された(以後、参照されない)ピクチャの再利用については、実施の形態1から実施の形態3に記載した方法で新たにピクチャを保存する領域の決定方法のいずれかを使うこともできる。
【0142】
上述した実施の形態3および実施の形態4に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。
最初に、実施の形態3に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。
【0143】
まず、画像復号化装置150における加算ユニットAddより出力される復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。
保存する場合には、最も古い時刻に開放されたピクチャメモリ領域を取得し、その領域に復号画像を保存する。
【0144】
このとき、最も古い時刻に開放されたメモリ領域をピクチャの保存領域とするのではなく、最も古い時刻にピクチャが復号化され保存されたメモリ領域、あるいは最も表示時刻が古いピクチャの保存されているメモリ領域をピクチャの保存領域としてもよい。これらのメモリ領域は、そこに保存されているピクチャが既に表示されている可能性が高いからである。
【0145】
表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最も古い時刻に保存されたピクチャの領域が、より新しい時刻に保存された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。古い表示時刻のピクチャが既に表示されている可能性が高いのは当然であるため、最も古い時刻に保存されたピクチャは既に表示されている可能性が高い。従って、最も古い時刻に保存されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャを上書きしない可能性が高くなる。また、最も古い時刻がピクチャを符号化した時刻の最も古い時刻である場合、例えば最も古い時刻に符号化されたかどうかはピクチャの予測構造・復号順序から判断することが可能である。
【0146】
また、これらの最も古い時刻は時刻である必要はなく、最も古い順序であってもよく、例えば表示される順序が最も古い順序であってもよいのは当然である。例えば表示順序が古いピクチャが既に表示されている可能性が高く、表示されたか否かに関わらず、表示順序が古いピクチャの保存されているメモリ領域から順にメモリの保存領域として再利用される。更に、通常はピクチャの表示間隔は固定であるため、ピクチャの表示の順序をその時刻として考えても良い。
【0147】
以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で開放済であるが上書きされていない領域からピクチャを表示することができる。また、余分なメモリを必要とすることがなく、表示のために保存が必要なピクチャを保存することができる。
【0148】
また、ピクチャメモリPicMem2に保存されているピクチャが表示されているかどうかに関係なく、表示するために保存しておくべきピクチャの保存の処理をすることができる。なお、最も古い時刻が表示の時刻の最も古い時刻である場合、例えば表示ピクチャ管理ユニットDispPicCtrlにおいて表示したかどうかの情報を管理することによって、最も古い時刻に保存されたピクチャかどうかを判断することができる。
【0149】
次に、実施の形態4に示された画像符号化装置により符号化された符号化信号を復号するときのメモリへのピクチャの保存方法について説明する。
まず、画像復号化装置150の上述した加算ユニットAddより出力される復号画像がピクチャメモリPicMem2に保存するものかどうかをメモリ管理コマンドMMCOの指示に基づき判断する。
【0150】
保存する場合には、開放された領域の中で、最初に開放されたピクチャ領域を取得し、その領域に復号画像を保存する。
表示時刻の情報はシステムが管理するため、ビデオ復号化装置の作り方によっては表示時刻を入手することが困難である。最初に開放されたピクチャの領域が、後で開放された領域よりも古い表示時刻のピクチャが保存されていた可能性が高い。すなわち、最初に開放されたピクチャは既に表示されている可能性が高い。従って、最初に開放されたピクチャの領域に当該復号画像を保存することで、表示されていないピクチャに対して上書きしない可能性が高くなる。
【0151】
なお、ピクチャ領域が最初に開放されたピクチャ領域かどうかは、ピクチャ領域毎に開放されているかどうかの情報、例えば「used:開放されていない(参照ピクチャとして使用可能)」か「unused:開放済み(以後、参照ピクチャとして参照されない)」かをメモリ管理コマンドMMCOに従ってピクチャメモリPicMem2において開放した順序を含めて保持し、この保持されている情報を参照することにより判断することができる。あるいは、ピクチャ領域の使用方法を所定の手順に固定し、その手順に従って最初に開放されたピクチャ領域かどうかを判断すればよい。例えば、ピクチャメモリPicMem2を、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数(またはピクチャ数)の画像が保存される先入れ先出し方式(FIFO)のメモリとして、最初に開放されたピクチャ領域かどうかを判断すればよい。
【0152】
以上のようにして、表示されていないピクチャへの新たなピクチャの上書きを防止し、表示時刻になった時点で、開放済であるが上書きされていない領域からピクチャを表示することができる。
尚、表示ユニットDispは画像復号化装置150の中に備えるのではなく、画像復号化装置150からは表示ユニットDispでピクチャを表示するために必要なデータのみを送出し、表示ユニットDispを画像復号化装置150の外部に備えて実現してもよい。
【0153】
ここで、実施の形態2で説明したピクチャサイズが変更される場合における画像復号化装置150の動作を説明する。なお、実施の形態3および4に対する以下の動作も同じなので、説明を省略する。
実施の形態2に示されたピクチャサイズが変更される場合における第1の方法に対応する方法として、画像復号化装置150は、ピクチャサイズの変更指令があったときは、メモリの参照ピクチャの保存された参照用領域と表示用ピクチャの保存された表示用領域を含む全領域を開放して初期化を行う。
【0154】
図10は、画像符号化装置150の動作を示すフローチャートである。
ピクチャサイズ変更検出ユニットPicSizeDetから出力される信号が、ピクチャサイズの変更を示すものかを判定し(Step100)、ピクチャサイズの変更がある場合は(Step100のYes)、ピクチャメモリPicMem2の全メモリ領域を開放して(再利用可能な状態として)初期化し(Step102)、処理を終了する。
【0155】
一方、ピクチャサイズの変更がない場合(Step100のNo)、可変長復号化ユニットVLDから出力されるメモリ管理コマンドMMCOが、ピクチャメモリPicMem2の全メモリ領域を開放する(初期化する)ことを示すものかを判定し(Step101)、示すものである場合は(Step101のYes)、全メモリ領域を開放し(Step102)、示すものでない場合は(Step101のNo)、参照ピクチャの保存された参照用領域のみを開放して(Step103)、処理を終了する。
【0156】
このようにメモリの全領域を開放することで、サイズの異なるピクチャが混在することにより生じるメモリの断片的な使用を防止できるため、メモリの使用効率の劣化を抑えることができる。
次に、実施の形態2に示されたピクチャサイズが変更される場合の第2の方法に対応する方法として、画像復号化装置150が行う動作について説明する。
【0157】
ピクチャサイズを変更した場合に、メモリの全領域を開放する方法か、あるいは参照ピクチャが保存された参照用領域のみを開放して、未表示のピクチャについては画像復号化装置150が判断して表示できるものを表示する方法かを切り替える。
【0158】
実施の形態2で説明したように、メモリの全領域を開放するか、参照用領域のみを開放するかを示す指示情報(フラグ)は、画像符号化装置100から出力されるストリームStrのメモリ管理コマンドMMCOに含まれる。
画像復号化装置150は、メモリ管理コマンドMMCOに含まれる指示情報に基づいて、上記2つの方法のうちいずれを行うかを判断する。
【0159】
図11は、その判断動作を示すフローチャートである。
まず、指示情報(フラグ)がメモリの全領域を初期化するか否かのいずれを示しているかを判断し(Step150)、全領域の初期化を示している場合は(Step150のYes)、未表示の表示用ピクチャの保存された表示用領域を含むメモリの全領域を開放して初期化を行い(Step151)、そうでない場合は(Step150のNo)、参照用領域のみ開放して初期化を行う(Step152)。
【0160】
この指示情報(フラグ)が全領域の初期化を示していない場合は、画像復号化装置150は、参照用領域のみの開放を行い、参照用領域以外の領域にある未表示のピクチャについては画像復号化装置150が判断して表示できるものを表示するようにする。
【0161】
この参照用領域のみの初期化を行う場合の画像復号化装置150の動作を、フローチャートを用いて説明する。
図12は画像復号化装置150(デコーダ)の動作を示すフローチャートである。
【0162】
ピクチャサイズ変更検出ユニットPicSizeDetから出力される信号が、ピクチャサイズの変更を示すものかを判定し(Step200)、ピクチャサイズの変更でない場合は(Step200のNo)、表示用領域に保存された表示すべき未表示のピクチャを表示する(Step203)。
【0163】
一方、ピクチャサイズの変更である場合は(Step200のYes)、表示用領域に保存されている表示用ピクチャがサイズ変更前のものであるかを判定し(Step201)、変更前のものでない場合は(Step201のNo)、表示すべき未表示のピクチャを表示する(Step203)。変更前のものである場合は(Step201のYes)、表示用ピクチャが表示可能か否かを判断し、表示可能なピクチャを表示する(Step202)。
【0164】
この表示可能か否かの判断についての画像復号化装置150の動作を説明する。
図13は、画像復号化装置150のピクチャの表示に関する動作を示すフローチャートである。
【0165】
図13において図12と同じものには同じ符号を付している。
表示用に保存されている表示用ピクチャがサイズ変更前のものであるかを判定し(Step201)、変更前のピクチャでない場合は(Step201のNo)、そのピクチャを表示する。一方、変更前のピクチャである場合は(Step201のYes)、表示するピクチャに損傷があるかを判定し(Step211)、損傷がない場合は(Step211のNo)、そのピクチャが表示可能であるとして表示する(Step210)。損傷がある場合は(Step211のYes)、そのピクチャを表示せずに、例えば前のピクチャを表示する。ここで損傷が無いというのは、表示すべきピクチャが格納されているピクチャの一部であっても新しいピクチャのデータを保存するために上書きされていないことを意味する。こうすることで、画像復号化装置150は、表示するピクチャに損傷があるかを判定し、損傷がないピクチャを表示可能と判断して表示する。
【0166】
このように、図11、図12、図13のフローチャートで説明したように、画像復号化装置150は、ピクチャサイズの変更があったときに、メモリの全領域を初期化するか否かを示す指示情報(フラグ)に応じた、未表示のピクチャに対する表示を行う。
【0167】
以上のような画像復号化装置150の画像復号化方法により、ピクチャサイズの変更があったときでも、メモリの全領域を初期化するか参照用領域のみを初期化して未表示の表示用ピクチャを表示可能なものは表示するようにするかを切り替えることで、適切な復号化が可能となる。すなわち、例えばメモリの空き容量が少ないときは、メモリの全領域を初期化して再利用可能とし、メモリの空き容量が大きいときは、参照用領域のみを初期化することで、未表示のピクチャの表示を可能とするようにして柔軟に対処することが可能である。
【0168】
(実施の形態6)
実施の形態6では、次の用語を用いて説明する。すなわち、参照ピクチャバッファは、画像符号化装置内のピクチャメモリPicMem2における参照用領域と表示用領域とを合わせた領域をいう。仮想・ディスプレイ遅延バッファは、画像符号化装置内のピクチャメモリPicMem2に確保される表示用領域に格納されるべき各表示用ピクチャに対応する仮想的なバッファであり、その表示用ピクチャの時間的参照番号(ピクチャ番号等)を保持する。参照メモリバッファは、画像復号化装置内のピクチャメモリPicMem2における参照用領域をいう。ポスト・デコーダ・バッファは、画像復号化装置内の参照フレームメモリにおける表示用領域をいう。時間的参照番号は、表示時刻の順序に従ったピクチャの番号をいい、ピクチャ時刻Timeに相当するものでもよい。
【0169】
まず、画像符号化装置について説明する。仮想・ディスプレイ遅延バッファは、画像符号化装置での予測符号化に用いられる参照ピクチャの最大数を制限するために用いられる。
図14は、仮想・ディスプレイ遅延バッファと後方参照ピクチャの最大数との間の関係を決定する処理を示す。図14中の各モジュールは、ピクチャ構造決定ユニットPicStruct、参照ピクチャ管理ユニットRefPicCtrl及び表示ピクチャ管理ユニットDispPicCtrlにおける機能ブロック又は処理ステップを表す。図に示すように、このプロファイル及びレベルに対する、許容された参照ピクチャの最大数NRは、モジュール401で決定される。この値は、各プロファイル及びレベル定義されており、エンコーダはNRに相当するプロファイル・レベルの値をストリームの情報として符号化し、デコーダはストリームのプロファイル・レベルの値からNRを取得する。次いで、画像符号化装置は、それがモジュール402におけるビデオ・シーケンスを符号化するのに最適な後方参照ピクチャの最大数NBを設定する。このNB値に基づき、仮想・ディスプレイ遅延バッファのサイズを決定することができる。NBが2よりも小さい場合には、仮想・ディスプレイ遅延バッファを必要としない。しかしながら、NBが2以上である場合には、NB−1ピクチャの仮想・ディスプレイ遅延バッファがモジュール404で生成される。仮想・ディスプレイ遅延バッファに格納されているピクチャの情報はメモリ中あるいは何れかのレジスタ中に確保される。この仮想・ディスプレイ遅延バッファは、画像符号化装置に大きな物理メモリ空間を必要としない。それは、画像復号化装置で復号化した画像を表示(出力)する必要がなければ、どのピクチャが表示のために仮想・ディスプレイ遅延バッファに格納されているかを判断するだけでよいため、再構成(復号)ピクチャ・データ全体でなく、どの再構成(復号)ピクチャであるかを特定する参照ピクチャの記述(ピクチャ番号等)のみが仮想・ディスプレイ遅延バッファに格納されるからである。仮想・ディスプレイ遅延バッファ以外には、ディスプレイ・カウンタがモジュール405で生成され、その値がメモリ中あるいは何れかのレジスタ中に確保される。このカウンタは、仮想・ディスプレイ遅延バッファから不要なピクチャを除去する判断に用いられる。プロファイル及びレベル定義に基づき、画像符号化装置は、次いで、モジュール406に示すように参照ピクチャに対するメモリ空間のNRピクチャ・サイズを生成する。
【0170】
最大仮想・ディスプレイ遅延バッファ・サイズ = NB−1 (1)
ここで、NB<NRである。
図15は、画像符号化装置におけるポスト・エンコーディング処理すなわち、符号化後に復号化されたピクチャ(エンコーデッド・ピクチャ又は単にピクチャと呼ぶ)について参照メモリバッファに格納する処理を示す。図中のモジュールは、参照ピクチャ管理ユニットRefPicCtrl及び表示ピクチャ管理ユニットDispPicCtrlにおける機能ブロック又は処理ステップを表す。一つのピクチャがモジュール501でエンコードされた後、ピクチャは、それがモジュール502で参照ピクチャとして用いられるかどうか判定される。ピクチャが参照ピクチャである場合には、可能な参照ピクチャの最大数が式(2)に基づき計算される。
【0171】
NMax=NR−Fv (2)
ここで、NMaxは、可能な参照ピクチャの最大数を表し、NRは、プロファイル及びレベル定義で許容される参照ピクチャの最大数を表す。Fvは、仮想・ディスプレイ遅延バッファ・フルネスつまり、仮想・ディスプレイ遅延バッファのサイズ(NB−1)のうち現に使用されている数を表す。
【0172】
参照ピクチャ・バッファの参照ピクチャの数がNMaxよりも小さい場合には、エンコーデッド・ピクチャは、モジュール506で再構成(復号)されかつモジュール507で参照ピクチャ・バッファに記憶される。十分な空きが存在しない場合には、画像符号化装置は、モジュール504に示すようにバッファからある未使用参照ピクチャ「unused(以降、参照ピクチャとして参照されない)」を除去することによって参照ピクチャ・バッファに必要な領域を確保する。バッファから除去するような未使用参照ピクチャが存在しない場合には、エンコーデッド・ピクチャは、参照ピクチャとして使用しない。エンコーデッド・ピクチャが参照ピクチャではない場合には、エンコーデッド・ピクチャの時間的参照番号は、モジュール505でディスプレイ・カウンタと比較される。非参照ピクチャの時間的参照番号がディスプレイ・カウンタよりも小さい場合には、仮想ディスプレイ遅延バッファは、モジュール508で更新される。モジュール508では、仮想・ディスプレイ遅延バッファは、ディスプレイ・カウンタに等しいかそれ以前の時間的参照番号を有するピクチャを除去しかつ現行の非参照ピクチャの時間的参照番号をバッファに加える。ディスプレイ・カウンタよりも小さい時間的参照番号を有する仮想・バッファのピクチャ数が、バッファのフルネスになる。ディスプレイ・カウンタは、エンコーデッド・ピクチャの数がNBに等しいか又は仮想ディスプレイ・カウンタがフルであるか、どちらかが早いときに、最初に更新動作を開始する。その後、ディスプレイ・カウンタは、モジュール509でエンコードされた全てのピクチャに対して符号化される毎に更新される。
【0173】
図16は、画像復号化装置におけるポスト・デコーディング処理すなわち画像復号化装置において復号化されたピクチャ(復号化ピクチャ又は単にピクチャと呼ぶ)について参照ピクチャバッファに格納する処理を示す。図中のモジュールは、表示ピクチャ管理ユニットDispPicCtrlにおける機能ブロック又は処理ステップを表す。ピクチャは、モジュール601で復号化される。モジュール602では、画像復号化装置は、ピクチャを参照ピクチャとして記憶することが必要かどうかを決定する。復号化されたピクチャを参照ピクチャとして記憶する場合には、それは、モジュール606で参照ピクチャバッファに記憶される。そうでなければ、画像復号化装置は、モジュール603でこのピクチャを表示(出力)する時間であるかどうかをチェックする。復号化されたピクチャをまだ表示(出力)すべき時刻でない場合には、ピクチャは、表示(出力)する時刻までモジュール604でポスト・デコーダ・バッファに記憶される。ポスト・デコーダ・バッファと参照ピクチャバッファは、物理的に同じメモリ領域を共用する。換言すると、同じメモリの各領域は、参照ピクチャバッファとしてあるときに用いる場合とポスト・デコーダ・バッファとして用いる場合とを切り替えることができる。
【0174】
モジュール605では、次いで画像復号化装置は、それらのディスプレイ・タイミングに基づき参照ピクチャバッファ又はポスト・デコーダ・バッファから表示(出力)するピクチャを決定する。一旦ポスト・デコーダ・バッファからのピクチャが表示(出力)されると、それは、バッファから除去される。他方、参照ピクチャは、ストリームによって今後参照されないことが示されたときに参照ピクチャバッファから除去されるか又はポスト・デコーダ・バッファに移動されるだけである。
【0175】
図17は、各ピクチャ間隔で参照ピクチャの最大数を決定するために仮想・ディスプレイ遅延バッファを用いる方法の一例を示す。この例について、許容される参照ピクチャの最大数NRは、4とする。画像符号化装置は、後方参照ピクチャの最大数NBを3に設定する。それゆえに、二つのピクチャの仮想・ディスプレイ遅延バッファが生成される。ディスプレイ・カウンタは、仮想的に表示(出力)されるピクチャの時間的参照番号を記憶及び更新するために用いられる。図中、参照メモリバッファにおける、空白の領域は空きであることを、ピクチャタイプ及び番号が記載されている領域は参照用ピクチャが格納されていることを、斜線でハッチングされた領域は表示用ピクチャが格納されていることを示す。また、仮想・ディスプレイ遅延バッファにおける空白の領域は空きであることを、ピクチャタイプ及び番号が記載されている領域は参照メモリバッファ中の表示用ピクチャに対応する時間的参照番号が格納されていることを、斜線でハッチングされた領域は、表示用ピクチャの格納領域が参照メモリバッファ中に存在しないことを示す。参照メモリバッファにおけるハッチングされた領域に対応した、同数の仮想・ディスプレイ遅延バッファは、表示用ピクチャの時間的参照番号を保持する。
【0176】
図に示すように、ピクチャB2及びB3は、参照ピクチャに対して用いられ、それゆえにそれらは、I0及びP4と一緒に参照メモリ・バッファに記憶されかつディスプレイ・カウンタは、ピクチャB3が符号化された後に更新が開始される。時間T6において、B5は、参照ピクチャとして用いられないが、それは、その時間的参照番号がディスプレイ・カウンタよりも小さいので、仮想・ディスプレイ遅延バッファに更新されることが必要である。それゆえに、そのときにおける仮想・ディスプレイ遅延バッファのフルネスfvは、1でありかつ可能な参照ピクチャの最大数NMaxは、3である。
【0177】
同様に時間T7において、ディスプレイ・カウンタよりも小さいその時間的参照番号によりB5をまだ除去することができないが、B6は、仮想・ディスプレイ遅延バッファに更新されることが必要である。それゆえに、そのときにおけるNMaxは、2である。参照ピクチャI0は、不十分なメモリにより参照メモリ・バッファから除去されなければならない。従って、そのときのB7は、P4及びP8からだけで予測することができる。
【0178】
図18は、ディスプレイ・カウンタが仮想・ディスプレイ遅延バッファを用いて先に増分されるような一例を示す。この例について、NRは、5であるとする。画像符号化装置は、複数の逆方向参照ピクチャの最大数NBを3に設定する。それゆえに、二つのピクチャの仮想・ディスプレイ遅延バッファが生成される。
【0179】
図に示すように、B1、B2、B3及びB4は、参照ピクチャに用いられないが、B7及びB8が用いられる。それゆえに、B1及びB2は、ディスプレイを待つために時間T3で仮想・ディスプレイ遅延バッファに記憶される。仮想・ディスプレイ遅延バッファは、時間T3でフルなので、ディスプレイ・カウンタは、時間T3で更新することを開始する。ディスプレイ・カウンタが、それが更新することを開始できる前に少なくとも仮想・ディスプレイ遅延バッファがフルになるのを待つことが必要な理由は、それが画像復号化装置で発生すると思われるBピクチャのリオーダリングを処理することが必要だからである。
【0180】
図17に示すように、画像復号化装置は、ポスト・デコーダ・バッファとしてその参照ピクチャバッファの一部をときどき用いる。それゆえに参照ピクチャバッファの固定物理メモリ・サイズに基づき、画像復号化装置は、そのある部分が参照ピクチャに用いられかつ残りがポスト・デコーダ・バッファとして用いられるように参照ピクチャバッファを操作する。例えば、時間T3で、参照ピクチャバッファ全体は、参照ピクチャを記憶するために用いられる。他方、時間T7で、参照ピクチャバッファの二つだけがP4及びP8参照ピクチャを記憶するために用いられる。残りは、ポスト・デコーダ・ピクチャB5及びB6を記憶するために用いられる。
【0181】
画像復号化装置側で用いられる参照ピクチャの最大数は、画像符号化装置に対するプロファイル及びレベル定義で規定される。それゆえに、画像符号化装置は、プロファイル及びレベルによって定義された参照ピクチャの最大数まで用いることができる。従って、画像符号化装置は画像復号化装置がこの拘束条件に基づいて動作を行って場合に同様の動作が実現できる(参照ピクチャ数が定義された値を超えない)ように、参照ピクチャの管理を行って符号化を行うことが必要である。
【0182】
同様に、画像復号化装置は、画像符号化装置と同じ数の参照ピクチャを有する。さらに、追加メモリ空間がポスト・デコーダ・バッファに対して必要である。ポスト・デコーダ・ピクチャの最大数は、式(3)によって定義される。
NP=NR−2 (3)
ここで、NPは、ポスト・デコーダ・ピクチャの最大数を表し、NRは、プロファイル及びレベル定義によって定義された参照ピクチャの最大数を表す。
【0183】
それゆえに、プロファイル及びレベルに対して適合する画像復号化装置に対して、このポスト・デコーダ・ピクチャの最大数は、画像復号化装置の設計で考慮しなければならない。このポスト・デコーダ・ピクチャの最大数は、式3から計算することができるか又はプロファイル及びレベル定義で特定することができる。一旦ポスト・デコーダ・ピクチャの最大数がプロファイル及びレベル定義で特定されたならば、値は、式(4)に基づいて後方予測ピクチャの最大数が導出できる。
【0184】
NB=NP+1 (4)
ここで、NBは、参照ピクチャバッファの後方予測ピクチャの最大数を表す。
本実施の形態では、それがプロファイルおよびレベル定義に準拠したストリームを復号化できるように画像復号化装置によって要求される最小メモリ要件になる。
【0185】
後方予測の数は、画像復号化装置側で参照ピクチャバッファに追加された追加ポスト・デコーダ・ピクチャの数を削減するために制限することも可能である。
例えば、後方予測の最大数が2つに制限された場合には、その場合には1つの追加ポスト・デコーダ・ピクチャだけを参照ピクチャバッファに追加することが必要であり、それは、画像復号化装置側においてポスト・デコーダ・ピクチャに余分な物理メモリ空間の割り当てが行われることを避けることができる。
【0186】
(実施の形態7)
さらに、上記各実施の形態で示した画像符号化方法及び画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【0187】
図19は、上記各実施の形態の画像符号化方法及び画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図19(b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図19(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFD1はケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD1上に割り当てられた領域に、上記プログラムが記録されている。
【0188】
また、図19(c)は、フレキシブルディスクFD1に上記プログラムの記録再生を行うための構成を示す。画像符号化方法及び画像復号化方法を実現する上記プログラムをフレキシブルディスクFD1に記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブFDDを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法及び画像復号化方法を実現する上記画像符号化方法及び画像復号化方法をコンピュータシステムCs中に構築する場合は、フレキシブルディスクドライブFDDによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムCsに転送する。
【0189】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
【0190】
(実施の形態8)
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。
図20は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
【0191】
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
【0192】
しかし、コンテンツ供給システムex100は図20のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
【0193】
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband-Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
【0194】
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。
【0195】
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【0196】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化方法あるいは画像復号化方法を用いるようにすればよい。
その一例として携帯電話について説明する。
図21は、上記実施の形態で説明した画像符号化方法と画像復号化方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
【0197】
さらに、携帯電話ex115について図22を用いて説明する。携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。
【0198】
電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
【0199】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。
【0200】
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。
【0201】
画像符号化部ex312は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。
【0202】
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。
【0203】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。
【0204】
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ストリームと音声データの符号化ストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。
【0205】
次に、画像復号化部ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【0206】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図23に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。
【0207】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。
【0208】
なお、カーナビゲーションex413の構成は例えば図22に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。
【0209】
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【0210】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
なお、本実施の形態では、本実施では表示すべき順序にピクチャの順序を並べ替えて出力することを表示と表現している。すなわち、復号化画像を表示デバイスに出力するためのプロセスを表示と表現しており、例えば他の記録機器で記録するために復号化画像を出す動作もこの表示の特殊な場合と考えられる。また、表示デバイスが画像メモリを有する場合には、復号化画像を実際の表示時刻よりも早めに表示デバイスに送信することも可能である。
【0211】
【発明の効果】
本発明の画像符号化装置によれば、復号画像が参照用の画像であるかという判定に加えて、出力用の画像であるかという判定も行って、参照用の画像に加えて予測符号化において参照されないが復号されると同時に表示又は出力することができない画像を出力用画像としてピクチャバッファに格納する。画像符号化に際してこのような判定及びピクチャバッファ管理を行い復号動作を検証しているので、復号化装置において出力用の画像を確実にその表示時刻に表示あるいは出力することができる。
【0212】
また、前記ピクチャバッファの一定のサイズの範囲内で、参照用の画像と前記出力用の画像とを、画像を保持している領域を再利用して格納するので、メモリを無駄に消費することなく復号画像ピクチャバッファを必要最小限のサイズとすることができる。
【0213】
さらに、シーケンス毎に前記サイズが一定となるので、シーケンス毎に予測符号化で用いる画像のタイプを柔軟に定めることができる。
また、ピクチャバッファに格納された出力用の画像の領域のうち既に出力済の画像が格納されている領域に、新たな画像を格納する。つまり出力済の画像が格納されている領域を再利用するので、出力済でない復号画像の表示をより確実にすることができる。
【0214】
さらに、出力用の画像のうち表示順で古い画像が格納されている領域には出力済の復号画像が格納されている可能性が高いので、個々の復号画像の表示時刻を正確に判断する構成でなくても、出力済でない復号画像の表示をより確実にすることができる。
【0215】
また、入力画像のサイズが変更されたとき、出力用の復号画像は復号画像ピクチャバッファに残すことができるので、サイズ変更の時点で出力済でない画像を削除することなくできるだけ多く出力することができる。
【図面の簡単な説明】
【図1】ピクチャの予測構造・復号順序と表示順序を示す図を示す。
【図2】ピクチャの予測構造・復号順序と表示順序を示す図を示す。
【図3】本発明の画像符号化方法を実現する画像符号化装置のブロック図(実施の形態1)を示す。
【図4】本発明の参照ピクチャ管理ユニットの動作を示すフローチャート(実施の形態1)を示す。
【図5】(a)(b)(c)はいずれもメモリへのピクチャの保存状態を示す状態図を示す。
【図6】本発明の画像符号化装置の動作を示すフローチャート(実施の形態2)を示す。
【図7】本発明の画像符号化装置の動作を示すフローチャート(実施の形態3)を示す。
【図8】本発明の画像符号化装置の動作を示すフローチャート(実施の形態4)を示す。
【図9】本発明の画像復号化方法を実現する画像復号化装置のブロック図(実施の形態5)を示す。
【図10】本発明における画像復号化装置の動作を示すフローチャート(実施の形態5)を示す。
【図11】本発明における画像復号化装置の他の動作を示すフローチャート(実施の形態5)を示す。
【図12】本発明における画像復号化装置の更に他の動作を示すフローチャート(実施の形態5)を示す。
【図13】本発明における画像復号化装置のまた更に他の動作を示すフローチャート(実施の形態5)を示す。
【図14】画像符号化装置の仮想・ディスプレイ遅延バッファの使用のブロック図を示す。
【図15】符号化における、ポスト・デコーダ・バッファ動作処理における本発明のブロック図を示す。
【図16】復号化における、ポスト・デコーダ・バッファ動作処理における本発明のブロック図を示す。
【図17】参照ピクチャの最大数を制限するために画像符号化装置における仮想・ディスプレイ遅延バッファを用いる一例を示す。
【図18】第1のピクチャをディスプレイするための時間を決定するために仮想・ディスプレイ遅延バッファを用いる一例を示す。
【図19】上記各実施の形態の画像符号化方法及び画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記憶媒体についての説明図(実施の形態7)を示す。
【図20】コンテンツ供給システムの全体構成を示すブロック図(実施の形態8)を示す。
【図21】画像符号化方法及び画像復号化方法を用いた携帯電話の例を示す外観図(実施の形態8)を示す。
【図22】携帯電話のブロック図(実施の形態8)を示す。
【図23】ディジタル放送用システムの例を示す構成図(実施の形態8)を示す。
【図24】ピクチャの予測構造・復号順序と表示順序を示す図を示す。
【図25】ピクチャの予測構造・復号順序と表示順序を示す図を示す。
【図26】従来の画像符号化方法を実現する画像符号化装置のブロック図を示す。
【図27】メモリ管理コマンドMMCOの符号例を示す対応図を示す。
【図28】従来の画像復号化方法を実現する画像復号化装置のブロック図を示す。
【符号の説明】
PicStruct ピクチャ構造決定ユニット
PicSize ピクチャサイズ変更ユニット
PicSizeDet ピクチャサイズ変更検出ユニット
RefPicCtrl 参照ピクチャ管理ユニット
DispPicCtrl 表示ピクチャ管理ユニット
PicMem1、PicMem2 ピクチャメモリ
Add 加算ユニット
Sub 減算ユニット
ME 動き検出ユニット
MC 動き補償ユニット
T 直交変換ユニット
IT 逆直交変換ユニット
Q 量子化ユニット
IQ 逆量子化ユニット
ReOrder 並べ替えユニット
VLC 可変長符号化ユニット
VLD 可変長復号化ユニット
Disp 表示ユニット
SW スイッチ
Sel セレクタ
Claims (2)
- 複数の画像から構成される動画像を予測符号化して得られた画像符号化信号を復号化する画像復号化方法であって、
前記画像符号化信号を復号化して、復号化画像を得る復号化ステップと、
前記復号化画像が、他の画像を予測復号化する際に参照される参照画像であるのか、あるいは、参照されることのない非参照画像であるのかを判定する判定ステップと、
前記判定ステップにおいて、前記復号化画像が参照画像であると判定された場合は、前記復号化画像をメモリに保存する保存ステップとを有し、
前記判定ステップにおいて、前記復号化画像が非参照画像であると判定された場合は、
前記復号化方法は、
非参照画像である前記復号化画像が、表示順序に従い、前記メモリに保存されているすべての未表示の復号化済み画像よりも先行して表示されるべきであるか否かを判定し、
非参照画像である前記復号化画像が、前記メモリに保存されているすべての未表示の復号化済み画像よりも先行して表示されるべきではないと判定された場合は、前記復号化画像を出力用の画像として出力することなく前記復号化画像を前記メモリに保存するものである、
ことを特徴とする画像復号化方法。 - 複数の画像から構成される動画像を予測符号化して得られた画像符号化信号を復号化する画像復号化装置であって、
前記画像符号化信号を復号化して、復号化画像を得る復号化手段と、
前記復号化画像が、他の画像を予測復号化する際に参照される参照画像であるのか、あるいは、参照されることのない非参照画像であるのかを判定する判定手段と、
前記判定手段で、前記復号化画像が参照画像であると判定された場合は、前記復号化画像をメモリに保存する保存手段を有し、
前記判定手段で、前記復号化画像が非参照画像であると判定された場合は、
前記復号化装置は、
非参照画像である前記復号化画像が、表示順序に従い、前記メモリに保存されているすべての未表示の復号化済み画像よりも先行して表示されるべきであるか否かを判定し、
非参照画像である前記復号化画像が、前記メモリに保存されているすべての未表示の復号化済み画像よりも先行して表示されるべきではないと判定された場合は、前記復号化画像を出力用の画像として出力することなく前記復号化画像を前記メモリに保存する、
ことを特徴とする画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003172545A JP4562999B2 (ja) | 2002-07-11 | 2003-06-17 | 画像復号化方法および画像復号化装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002202781 | 2002-07-11 | ||
JP2002207681 | 2002-07-17 | ||
JP2003006198 | 2003-01-14 | ||
JP2003172545A JP4562999B2 (ja) | 2002-07-11 | 2003-06-17 | 画像復号化方法および画像復号化装置 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008039014A Division JP4651685B2 (ja) | 2002-07-11 | 2008-02-20 | メモリ管理方法 |
JP2009031922A Division JP4914459B2 (ja) | 2002-07-11 | 2009-02-13 | 画像復号化方法及び画像復号化装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004274694A JP2004274694A (ja) | 2004-09-30 |
JP2004274694A5 JP2004274694A5 (ja) | 2009-04-02 |
JP4562999B2 true JP4562999B2 (ja) | 2010-10-13 |
Family
ID=33136105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003172545A Expired - Lifetime JP4562999B2 (ja) | 2002-07-11 | 2003-06-17 | 画像復号化方法および画像復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4562999B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4867235B2 (ja) * | 2004-10-26 | 2012-02-01 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
KR100652689B1 (ko) | 2004-10-26 | 2006-12-07 | 엘지전자 주식회사 | 휴대단말기에서의 컨텐츠의 사이즈 분석 방법 |
JP2006229457A (ja) * | 2005-02-16 | 2006-08-31 | Matsushita Electric Ind Co Ltd | 画像復号装置およびメモリ管理装置 |
US7801223B2 (en) * | 2006-07-27 | 2010-09-21 | Lsi Corporation | Method for video decoder memory reduction |
WO2008048499A2 (en) | 2006-10-13 | 2008-04-24 | Thomson Licensing | Reference picture list management syntax for multiple view video coding |
CN101523920B (zh) * | 2006-10-16 | 2013-12-04 | 汤姆森许可贸易公司 | 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法 |
EP1944978A1 (en) * | 2007-01-12 | 2008-07-16 | Koninklijke Philips Electronics N.V. | Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal |
JP5023739B2 (ja) | 2007-02-28 | 2012-09-12 | ソニー株式会社 | 画像情報符号化装置及び符号化方法 |
US8477852B2 (en) * | 2007-06-20 | 2013-07-02 | Nvidia Corporation | Uniform video decoding and display |
US9473752B2 (en) | 2011-11-30 | 2016-10-18 | Qualcomm Incorporated | Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC) |
US20150016500A1 (en) * | 2013-07-11 | 2015-01-15 | Qualcomm Incorporated | Device and method for scalable coding of video information |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997004598A1 (en) * | 1995-07-21 | 1997-02-06 | Hitachi, Ltd. | Device for decoding encoded video signal and storing and decoding device using it |
JPH10271507A (ja) * | 1997-03-24 | 1998-10-09 | Oki Electric Ind Co Ltd | 画像復号化装置 |
JP2000324484A (ja) * | 1999-05-13 | 2000-11-24 | Hitachi Ltd | 画像データ処理装置 |
-
2003
- 2003-06-17 JP JP2003172545A patent/JP4562999B2/ja not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997004598A1 (en) * | 1995-07-21 | 1997-02-06 | Hitachi, Ltd. | Device for decoding encoded video signal and storing and decoding device using it |
JPH10271507A (ja) * | 1997-03-24 | 1998-10-09 | Oki Electric Ind Co Ltd | 画像復号化装置 |
JP2000324484A (ja) * | 1999-05-13 | 2000-11-24 | Hitachi Ltd | 画像データ処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2004274694A (ja) | 2004-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5602294B2 (ja) | 画像符号化復号化方法および画像符号化復号化装置 | |
JP4562999B2 (ja) | 画像復号化方法および画像復号化装置 | |
JP2004088135A (ja) | 画像符号化装置及び画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100706 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100728 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4562999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |