JP4884290B2 - 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム - Google Patents

動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム Download PDF

Info

Publication number
JP4884290B2
JP4884290B2 JP2007122623A JP2007122623A JP4884290B2 JP 4884290 B2 JP4884290 B2 JP 4884290B2 JP 2007122623 A JP2007122623 A JP 2007122623A JP 2007122623 A JP2007122623 A JP 2007122623A JP 4884290 B2 JP4884290 B2 JP 4884290B2
Authority
JP
Japan
Prior art keywords
picture
motion compensation
decoding
pictures
integrated circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007122623A
Other languages
English (en)
Other versions
JP2008278423A (ja
Inventor
雅保 井口
潤 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007122623A priority Critical patent/JP4884290B2/ja
Priority to US12/047,897 priority patent/US20080279280A1/en
Priority to CNA2008100954086A priority patent/CN101304530A/zh
Publication of JP2008278423A publication Critical patent/JP2008278423A/ja
Application granted granted Critical
Publication of JP4884290B2 publication Critical patent/JP4884290B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像ストリームの再生に関して、画像データ格納メモリとのバスバンド幅を削減するための動画像復号化装置に関するものである。
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、前記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
ところが、前記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、更に動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、前記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ ： Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ‐Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ‐１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ‐１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ‐１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、更なる高画質化の要求を満たすべく規格化されたＭＰＥＧ‐２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。更に現状では、ＭＰＥＧ‐１、ＭＰＥＧ‐２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ‐１、ＭＰＥＧ‐２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ‐４が規格化された。ＭＰＥＧ‐４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。
更に、２００３年には、ＩＳＯ／ＩＥＣとＩＴＵ‐Ｔが共同でより高圧縮率の画像符号化方式として、非特許文献１に示すＭＰＥＧ‐４ＡＶＣ規格及びＨ．２６４規格が標準化されている。Ｈ．２６４規格は、現在ＨＤ（High Definition）画像などに適したＨｉｇｈ Ｐｒｏｆｉｌｅ対応の改正規格まで拡張されている。Ｈ．２６４規格のアプリケーションとしては、ＭＰＥＧ‐２やＭＰＥＧ‐４と同様にディジタル放送、ＤＶＤ（Digital Versatile Disk）プレーヤ／レコーダ、ハードディスクプレーヤ／レコーダ、カムコーダ、テレビ電話などに広がっている。
一般に、動画像の符号化では、時間方向及び空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出及び予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレーム又はフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚の参照画像のみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚の参照画像を参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方又は後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化の基本単位であるマクロブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。但し、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。
Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を削減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
図９は、従来の動画像符号化装置の構成を示すブロック図である。
この動画像符号化装置は、動き検出器ＭＥと、マルチフレームメモリＦｒｍＭｅｍと、減算器Ｓｕｂ１と、減算器Ｓｕｂ２と、動き補償器ＭＣと、符号化器Ｅｎｃと、加算器Ａｄｄ１と、動きベクトルメモリＭＶＭｅｍと、動きベクトル予測器ＭＶＰｒｅｄとを有している。
Ｐピクチャ又はＢピクチャなどの画面間予測では、動き検出器ＭＥはマルチフレームメモリＦｒｍＭｅｍから出力される動き検出参照画素ＭＥｐｅｌを画面信号Ｖｉｎと比較し、動きベクトルＭＶと参照フレーム番号ＲｅｆＮｏを出力する。参照フレーム番号ＲｅｆＮｏは、複数の参照画像の中から選択された、対象画像で参照する参照画像を特定する識別信号である。動きベクトルＭＶは、動きベクトルメモリＭＶＭｅｍに一時的に記憶された後、近傍動きベクトルＰｒｅｖＭＶとして出力され、動きベクトル予測器ＭＶＰｒｅｄにて予測動きベクトルＰｒｅｄＭＶを予測するために参照される近傍動きベクトルＰｒｅｖＭＶとして使用される。減算器Ｓｕｂ２は動きベクトルＭＶから予測動きベクトルＰｒｅｄＭＶを減算し、その差を動きベクトル予測差分ＤｉｆＭＶとして出力する。
一方、マルチフレームメモリＦｒｍＭｅｍは、参照フレーム番号ＲｅｆＮｏ及び動きベクトルＭＶで示される画素を動き補償参照画素ＭＣｐｅ１１として出力し、動き補償器ＭＣは小数画素精度の参照画素を生成して参照画面画素ＭＣｐｅ１２を出力する。減算器Ｓｕｂ１は画面信号Ｖｉｎから参照画面画素ＭＣｐｅ１２を減算し、画面予測誤差ＤｉｆＰｅｌを出力する。
また、符号化器Ｅｎｃは、画面予測誤差ＤｉｆＰｅｌと動きベクトル予測差分ＤｉｆＭＶと参照フレーム番号ＲｅｆＮｏとを可変長符号化し、符号化信号Ｓｔｒを出力する。尚、符号化時に画面予測誤差の復号化結果である復号画面予測誤差ＲｅｃＤｉｆＰｅｌも同時に出力する。復号画面予測誤差ＲｅｃＤｉｆＰｅｌは、画面予測誤差ＤｉｆＰｅｌに符号化誤差が重畳されたものであり、画面間予測復号化装置で符号化信号Ｓｔｒを復号化して得られる画面間予測誤差と一致する。
加算器Ａｄｄ１は、参照画面画素ＭＣｐｅ１２に復号画面予測誤差ＲｅｃＤｉｆＰｅｌを加算し、その加算結果は復号画面ＲｅｃＰｅｌとしてマルチフレームメモリＦｒｍＭｅｍに記憶される。但し、マルチフレームメモリＦｒｍＭｅｍの容量を有効に利用するため、マルチフレームメモリＦｒｍＭｅｍに記憶されている画面の領域は不要な場合は開放され、また、マルチフレームメモリＦｒｍＭｅｍに記憶する必要が無い画面の復号画面ＲｅｃＰｅｌはマルチフレームメモリＦｒｍＭｅｍに記憶されない。
図１０は従来の動画像復号化装置の構成を示すブロック図である。同図において、図９と同一符号はと同一のものを示し、その説明を省略する。
図１０に示す従来の動画像復号化装置は、図９に示す従来の動画像予測符号化装置で符号化した符号化信号Ｓｔｒを復号化して復号画面信号Ｖｏｕｔを出力するものであり、マルチフレームメモリＦｒｍＭｅｍと、動き補償器ＭＣと、加算器Ａｄｄ１と、加算器Ａｄｄ２と、動きベクトルメモリＭＶＭｅｍと、動きベクトル予測器ＭＶＰｒｅｄと、復号化器Ｄｅｃとを有している。
復号化器Ｄｅｃは、符号化信号Ｓｔｒを復号化し、復号画面予測誤差ＲｅｃＤｉｆＰｅｌ、参照フレーム番号ＲｅｆＮｏ及び動きベクトル予測差分ＤｉｆＭＶを出力する。加算器Ａｄｄ２は、動きベクトル予測器ＭＶＰｒｅｄから出力される予測動きベクトルＰｒｅｄＭＶと動きベクトル予測差分ＤｉｆＭＶを加算し、動きベクトルＭＶを復号する。
画面間予測では、マルチフレームメモリＦｒｍＭｅｍは、参照フレーム番号ＲｅｆＮｏ及び動きベクトルＭＶで示される画素を動き補償参照画素ＭＣｐｅｌ１として出力し、動き補償器ＭＣは、小数画素精度の参照画素を生成して参照画面画素ＭＣｐｅｌ２を出力する。加算器Ａｄｄ１は、参照画面画素ＭＣｐｅｌ２に復号画面予測誤差ＲｅｃＤｉｆＰｅｌを加算し、その加算結果は復号画面ＲｅｃＰｅｌとしてマルチフレームメモリＦｒｍＭｅｍに記憶される。
但し、マルチフレームメモリＦｒｍＭｅｍの容量を有効に利用するため、マルチフレームメモリＦｒｍＭｅｍに記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリＦｒｍＭｅｍに記憶する必要が無い画面の復号画面ＲｅｃＰｅｌはマルチフレームメモリＦｒｍＭｅｍに記憶されない。以上のようにして、復号画面信号Ｖｏｕｔ、すなわち、復号画面ＲｅｃＰｅｌを符号化信号Ｓｔｒから正しく復号化することができる。
また、マルチフレームメモリＦｒｍＭｅｍを外部のＳＤＲＡＭなどで構成する場合は、図中点線で囲んだ領域ＤｅｃＳｙｓが１チップとして構成される。
同様に、図９の動画像符号化装置において、マルチフレームメモリＦｒｍＭｅｍを外部のＳＤＲＡＭなどで構成する場合には、復号画面ＲｅｃＰｅｌ、動き検出参照画素ＭＥｐｅｌ、及び動き補償参照画素ＭＣｐｅ１１のメモリ転送量が膨大になるため、マルチフレームメモリＦｒｍＭｅｍのバンド幅を削減する必要が生じる。ここで、１チップとして構成する領域にキャッシュメモリを搭載することにより、マルチフレームメモリＦｒｍＭｅｍのバンド幅を削減する構成の一例が、例えば特許文献１に提案されている。
特開２００６−２７０６８３号公報 ITU-T Recomendation H.264, "SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services ?Coding of moving video:Advanced video coding for generic audiovisual services," March 2005.
動画像符号化装置において、前記マルチフレームメモリＦｒｍＭｅｍのバンド幅を削減するようにキャッシュメモリを搭載する構成としては、例えば、図９の構成において、更にキャッシュメモリを設けて、マルチフレームメモリＦｒｍＭｅｍから必要となる参照データを前記キャッシュメモリに一次転送した上で、このキャッシュメモリから動き検出参照画素ＭＥｐｅｌと動き補償参照画素ＭＣｐｅ１１とを取り出して、各々、動き検出器ＭＥと動き補償器ＭＣとに供給する構成が提案される。この構成により、参照に必要なピクチャのみ局所性を高めてアクセスすることが可能となる。
更に、画像符号化の場合において、キャッシュメモリに大きな領域、例えば２ピクチャ以上を蓄えることができるときには、参照ピクチャの枚数を制限すれば、復号画面ＲｅｃＰｅｌの画像データをそのままピクチャ単位でキャッシュメモリに蓄えることによって、そもそもマルチフレームメモリＦｒｍＭｅｍからキャッシュメモリへの一次転送が不要とすることも可能である。
ところで、図１０の動画像復号化装置において、画角の大きいＨＤ画像サイズの処理を行う場合、復号画面信号Ｖｏｕｔと動き補償参照画素ＭＣｐｅ１１の転送量が膨大になり外部メモリバンド幅が大きくなってしまう。このため、背景技術で説明した符号化処理と同様に、マルチフレームメモリＦｒｍＭｅｍを高速なＳＲＡＭで実装する必要になったり、消費電力が大きくなったりする状況が生じる。特に、動画像を撮像するムービーなどでは、バッテリー駆動となる機会が多いため、消費電力が大きくなるのは重大な課題である。
ＭＰＥＧ−２とは異なり、Ｈ．２６４規格では、参照ブロック形状が１６×１６から最小では４×４のサイズまで存在し、動き補償のためのフィルタ次数も２タップから６タップに増加している。例えば、ＭＰＥＧ−２において、１６×１６のサイズで転送する場合に、（１６＋２−１）×（１６＋２−１）＝２８９画素で可能であったものが、Ｈ．２６４で４×４のサイズで全て転送する場合、（４＋６−１）×（４＋６−１）×１６＝１，２９６画素と、４．５倍もの転送量が必要となる（但し、プロファイル・レベルや運用規格に応じて最小参照ブロックサイズなどに制限が入る）。
この状況を解消するため、前記動画像符号化装置と同様に、マルチフレームメモリＦｒｍＭｅｍに加えてキャッシュメモリＣａｃｈｅＭｅｍとして追加し、ピクチャ単位でキャッシュメモリＣａｃｈｅＭｅｍの参照画像を管理することが考えられる。例えば、録画、再生を行うムービーなどの場合、録画と再生を同時に行うことが無いので、動画像符号化装置としての実装資源と動画像復号化装置としての実装資源を共用することができる。つまり、実装資源を共用することにより、実装コストが大きいキャッシュメモリＣａｃｈｅＭｅｍの容量を抑えることが可能となる。
ここで、Ｈ．２６４規格では３枚以上の参照ピクチャから選択的に参照することが許されているため、動画像符号化では、参照するピクチャ枚数を要求される符号化性能に応じて削減することが可能であり、従って、キャッシュメモリＣａｃｈｅＭｅｍの容量に制約を加えることが可能である。
しかしながら、動画像復号化においては、参照する可能性のあるピクチャ枚数が既に動画像の符号化規格で決まってしまっているため、キャッシュメモリＣａｃｈｅＭｅｍの容量を任意に制限することが困難である。
例えば、動画像の符号化規格において、その符号化性能に応じて参照ピクチャ数が例えば１枚以下に制限された場合に、その符号化規格で符号化された符号データを復号するときには、その符号化規格に応じた容量にキャッシュメモリＣａｃｈｅＭｅｍの容量を小さく抑えることが可能となる。一方、動画像の符号化規格において、その符号化性能として高性能にするように参照ピクチャ数が例えば４枚以上に制限された場合には、その符号化規格で符号化された符号データを復号するときには、その符号化規格に応じた容量にキャッシュメモリＣａｃｈｅＭｅｍの容量を大きく設定して、マルチフレームメモリとの画素データの転送バンド幅の削減を実現する必要がある。
従って、動画像復号化においては、復号する符号データのフルデコードに対応させる要求に応えるためには、キャッシュメモリＣａｃｈｅＭｅｍの容量を既述の通り大きく設定しておく必要があって、任意の小さい容量に制限することは困難である。その結果、動画像復号化装置では、キャッシュメモリＣａｃｈｅＭｅｍの実装容量として、動画像符号化装置で実装するキャッシュメモリの容量よりも大きく設定する必要があって、その分、コストの増大を招くという課題が生じる。
本発明の目的は、前記課題を解決するために、動画像復号化装置に備えるキャッシュメモリＣａｃｈｅＭｅｍの実装容量を小容量に制限しながら、マルチフレームメモリとの画素データの転送バンド幅の削減を実現することにある。
前記の目的を達成するため、本発明では、動画像復号化装置において、動き補償に用いる可能性の高い参照ピクチャのみをピクチャ単位でキャッシュメモリに蓄えるように、参照ピクチャを管理することとする。
すなわち、請求項１記載の発明の動画像復号化集積回路は、マルチフレームメモリに格納した複数枚の参照ピクチャの画素データを利用して、ピクチャを構成するブロックの復号を行う動画像復号化集積回路であって、参照ピクチャをピクチャ単位で蓄えるためのキャッシュメモリと、前記キャッシュメモリからの画素データを用いて、ピクチャを構成するブロックの動き補償を行う動き補償手段と、動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、復号化対象ピクチャの動き補償に用いる参照頻度の高い参照ピクチャを特定し、その特定した参照頻度の高い参照ピクチャを前記キャッシュメモリにピクチャ単位で蓄えるように参照ピクチャを管理する参照ピクチャ管理手段とを備えたことを特徴とする。
請求項２記載の発明は、前記請求項１記載の動画像復号化集積回路において、前記マルチフレームメモリから転送される参照ピクチャの参照画素データと前記キャッシュメモリから転送される参照ピクチャの参照画素データとの何れか一方を選択する選択手段を備え、前記動き補償手段で処理する参照画素データとして、その参照画素データが前記キャッシュメモリに蓄えられていない場合には、前記マルチフレームメモリに格納されている参照画素データが用いられることを特徴とする。
請求項３記載の発明は、前記請求項１記載の動画像復号化集積回路において、前記参照ピクチャ管理手段は、前記マルチフレームメモリへ格納する参照ピクチャをも管理すると共に、動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、前記マルチフレームメモリへ格納する参照ピクチャのうち、復号化対象ピクチャの動き補償に用いる参照頻度の高い参照ピクチャを判断して、この復号化対象ピクチャの動き補償に用いる参照頻度の高い参照ピクチャを前記キャッシュメモリに蓄えるよう参照ピクチャを管理することを特徴とする。
請求項４記載の発明は、前記請求項１記載の動画像復号化集積回路において、前記参照ピクチャ管理手段は、前記動き補償手段により動き補償を実行中である復号化対象ピクチャがこの復号化対象ピクチャの後に復号される復号化対象ピクチャからの参照頻度が高いピクチャであるかどうかを、前記動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて判断し、この参照頻度が高いと判断したときには、前記動き補償を実行中である復号化対象ピクチャを前記キャッシュメモリに格納するよう、参照ピクチャを管理することを特徴とする。
請求項５記載の発明は、前記請求項１記載の動画像復号化集積回路において、前記参照ピクチャ管理手段は、所定の複数枚のピクチャの並びが繰り返される特定のピクチャ構造における前記複数枚のピクチャを各々参照ピクチャとして前記キャッシュメモリに格納するよう、参照ピクチャを管理することを特徴とする。
請求項６記載の発明は、前記請求項５記載の動画像復号化集積回路において、前記特定のピクチャ構造は、参照ピクチャが０枚又は１枚の符号化ブロックのみで構成されていることを特徴とする。
請求項７記載の発明は、前記請求項４記載の動画像復号化集積回路において、前記特定のピクチャ構造は、参照ピクチャがＩピクチャ又はＰピクチャであることを特徴とする。
請求項８記載の発明は、前記請求項１記載の動画像復号化集積回路において、前記参照ピクチャ管理手段は、前記動き補償に用いる参照ピクチャの参照頻度に関連する情報として、参照ピクチャの参照リストを使用し、前記参照ピクチャの参照リストの付与番号の小さい参照ピクチャを前記参照頻度の高い参照ピクチャとして前記キャッシュメモリに格納するよう、参照ピクチャを管理することを特徴とする。
請求項９記載の発明は、前記請求項１記載の動画像復号化集積回路において、前記参照ピクチャ管理手段は、前記キャッシュメモリに蓄える参照頻度の高い参照ピクチャを、半面ずつ又はその参照頻度の高い参照ピクチャを複数に分割したスライス毎に管理することを特徴とする。
請求項１０記載の発明は、前記請求項１記載の動画像復号化集積回路において、ピクチャの参照構造の周期的な並びと、この周期的な並びにおける各ピクチャ位置で参照するピクチャの参照頻度とを解析する参照構造解析手段を備え、前記参照構造解析手段による周期的な並び及びピクチャの参照頻度の解析結果は、前記動き補償に用いる参照ピクチャの参照頻度に関連する情報として、前記参照ピクチャ管理手段に入力されることを特徴とする。
請求項１１記載の発明は、前記請求項１０記載の動画像復号化集積回路において、前記参照構造解析手段は、各々の復号化対象ピクチャが参照する参照ピクチャの参照回数を前記参照頻度として予め集計し、前記解析したピクチャの参照構造の周期的な並びの中で復号化対象ピクチャと同じ周期位置となっている復号済みピクチャが参照した参照ピクチャの参照回数を、前記動き補償に用いる参照ピクチャの参照頻度に関連する情報として、前記参照ピクチャ管理手段に入力することを特徴とする。
請求項１２記載の発明は、前記請求項１０記載の動画像復号化集積回路において、前記参照構造解析手段は、特殊再生を行う場合において、その特殊再生において実際に復号しているピクチャのみの並びをピクチャの擬似的な参照構造と認識して、そのピクチャの擬似的な参照構造において動き補償に用いる参照ピクチャの参照頻度を解析することを特徴とする。
請求項１３記載の発明の動画像復号化方法は、マルチフレームメモリに格納した複数枚の参照ピクチャの画素データを利用して、ピクチャを構成するブロックの復号を行う動画像復号化方法であって、動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、復号化対象ピクチャが動き補償で参照する参照頻度の高い参照ピクチャを特定し、その特定した参照頻度の高い参照ピクチャをキャッシュメモリにピクチャ単位で蓄えるように参照ピクチャを管理しながら、その参照頻度の高い参照ピクチャをキャッシュメモリに格納する格納ステップと、前記マルチフレームメモリから転送される参照ピクチャの参照画素データと前記キャッシュメモリから転送される参照ピクチャの参照画素データとの何れか一方を動き補償に用いるために選択する選択ステップと、前記選択ステップで選択した参照画素データを用いて復号化対象ピクチャの動き補償を行う動き補償ステップとを有することを特徴とする。
請求項１４記載の発明の動画像復号化集積装置は、複数枚の参照ピクチャの画素データを利用して、ピクチャを構成するブロックの復号を行う動画像復号化集積装置であって、複数枚の参照ピクチャの参照画素データを格納するマルチフレームメモリと、参照ピクチャの参照画素データをピクチャ単位で蓄えるためのキャッシュメモリと、前記マルチフレームメモリから転送される参照ピクチャの参照画素データと前記キャッシュメモリから転送される参照ピクチャの参照画素データとの何れか一方を選択する選択手段と、前記選択手段により選択された参照ピクチャの参照画素データを用いて、ピクチャを構成するブロックの動き補償を行う動き補償手段と、動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、復号化対象ピクチャが動き補償で参照する参照頻度の高い参照ピクチャを特定し、その特定した参照頻度の高い参照ピクチャを前記キャッシュメモリにピクチャ単位で蓄えるように参照ピクチャを管理する参照ピクチャ管理手段とを備えたことを特徴とする。
請求項１５記載の発明の動画像復号化プログラムは、マルチフレームメモリに格納した複数枚の参照ピクチャの画素データを利用して、ピクチャを構成するブロックの復号を行う動画像復号化プログラムであって、動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、復号化対象ピクチャが動き補償で参照する参照頻度の高い参照ピクチャを特定し、その特定した参照頻度の高い参照ピクチャをキャッシュメモリにピクチャ単位で蓄えるように参照ピクチャを管理しながら、その参照頻度の高い参照ピクチャをキャッシュメモリに格納する格納ステップと、前記マルチフレームメモリから転送される参照ピクチャの参照画素データと前記キャッシュメモリから転送される参照ピクチャの参照画素データとの何れか一方を動き補償に用いるために選択する選択ステップと、前記選択ステップで選択した参照画素データを用いて復号化対象ピクチャの動き補償を行う動き補償ステップとを有することを特徴とする。
以上により、請求項１〜１５記載の発明では、復号対象ピクチャの各ブロックの復号処理において、その動き補償を行うために用いる参照ピクチャがキャッシュメモリに既に格納されている可能性が高いので、その復号対象ピクチャの各ブロックの復号処理で毎回マルチフレームメモリから参照ピクチャのブロックを取得する必要がなくなる。従って、キャッシュメモリ実装容量を小容量に制限しながら、マルチフレームメモリとの画素データの転送バンド幅の削減を実現することが可能である。
特に、動画画像を記録再生するムービーにおいて、自己録画したシーケンスを再生する場合には、マルチフレームメモリからの参照ピクチャの取得が不要になるので、転送バンド幅の削減を最大限に行うことが可能である。
また、請求項２記載の発明では、キャッシュメモリに存在しない参照画素データは、マルチフレームメモリから取得することが可能であるので、自己録画したシーケンスでの転送バンド幅の削減を最大限に行うことが可能となるだけでなく、自己録画以外のシーケンスに関しても、キャッシュメモリの容量を増加させ過ぎずにマルチフレームメモリとの間の参照画素データの転送バンド幅の削減を実現することが可能である。
更に、請求項３及び４記載の発明では、参照する可能性が高いピクチャを優先的にキャッシュメモリに残しながら復号化処理が行われるので、マルチフレームメモリからの参照画素データを再度取得する必要がなくなり、よって、転送バンド幅の削減を実現することが可能である。
加えて、請求項５〜７記載の発明では、復号化を行うピクチャの参照関係の解析を行うことなく、固定的な判断で参照可能性の高い参照ピクチャをキャッシュメモリに残す処理が行われるので、複雑なメモリ管理を行うことなく、マルチフレームメモリとの間の転送バンド幅の削減を実現することが可能である。
また、請求項８記載の発明では、実際の各参照ピクチャへの参照頻度を計測することなく、参照するピクチャの可能性を推定できるので、複雑な参照関係の判定処理を行うことなく、マルチフレームメモリとの間の転送バンド幅の削減を実現することが可能である。
更に、請求項９記載の発明では、参照ピクチャの全ての領域をキャッシュメモリに蓄えずに処理できるので、キャッシュメモリの実装コストを抑えつつ、マルチフレームメモリとの間の転送バンド幅の削減を実現することが可能である。
加えて、請求項１０〜１２記載の発明では、復号対象ピクチャが参照する参照ピクチャの参照頻度、又は、Ｐピクチャの間隔から判断できる周期的に同じ位置の復号化済みピクチャの参照ピクチャの参照頻度から推定した参照頻度を用いるので、キャッシュメモリに格納する参照ピクチャの有効性を向上させつつ、マルチフレームメモリからの転送バンド幅の削減を実現することが可能である。
以上説明したように、請求項１〜１５記載の発明によれば、復号対象ピクチャの各ブロックの復号処理において、その動き補償を行うのに用いる可能性が高い参照ピクチャをキャッシュメモリに格納したので、その復号対象ピクチャの復号処理でマルチフレームメモリから参照ピクチャを取得する必要をなくして、キャッシュメモリ実装容量を小容量に制限しながら、マルチフレームメモリとの画素データの転送バンド幅の削減を実現できる。
以下、本発明の実施形態について、図１〜図８を用いて説明する。
（実施形態１）
以下、本発明の実施形態１について、図１〜図６を用いて説明する。
図１は、本発明を実現する復号化装置のブロック図である。同図において、図１０と同一符号は同一のものを示し、その説明を省略する。図１と図１０との違いは、マルチフレームメモリＦｒｍＭｅｍにキャッシュメモリＣａｃｈｅＭｅｍを加えてピクチャを格納する構成とし、選択器（選択手段）ＦｒｍＳｅｌ、参照ピクチャ管理器（参照ピクチャ管理手段）ＦＭＣｔｒｌ及び参照構造解析器（参照構造解析手段）ＳｔｒＡｎａを備えている点である。
次に、前述のキャッシュメモリＣａｃｈｅＭｅｍ、選択器ＦｒｍＳｅｌ、参照ピクチャ管理器ＦＭＣｔｒｌ及び参照構造解析器ＳｔｒＡｎを含めた処理の流れを説明する。先ず、参照構造解析器ＳｔｒＡｎａにおいてデコードを行っているストリームの構造解析を行う。参照構造解析器ＳｔｒＡｎａから出力するストリームの構造解析結果ＡｎａＲｅｓを参照ピクチャ管理器ＦＭＣｔｒに入力する。参照ピクチャ管理器ＦＭＣｔｒには、同時に参照フレーム番号ＲｅｆＮｏも入力し、結果として、参照ピクチャ管理器ＦＭＣｔｒからメモリ操作を行うための制御信号ＭＣｔｒＳｉｇを出力する。
制御信号ＭＣｔｒＳｉｇによって後続のピクチャからの参照の可能性が高いと判断した場合には、復号画面信号ＶｏｕｔをマルチフレームメモリＦｒｍＭｅｍに加えてキャッシュメモリＣａｃｈｅＭｅｍの適切な領域にも格納する。また、マルチフレームメモリＦｒｍＭｅｍには存在するがキャッシュメモリＣａｃｈｅＭｅｍには存在しないピクチャであって後続のピクチャからの参照の可能性が高いものに関しては、マルチフレームメモリＦｒｍＭｅｍから出力する参照画面画素ＭＣｐｅｌ３をキャッシュメモリＣａｃｈｅＭｅｍに格納する。
最後に、動き補償器（動き補償手段）ＭＣを用いて実際の動き補償を行うときには、制御信号ＭＣｔｒＳｉｇを用いて選択器ＦｒｍＳｅｌを制御し、参照ピクチャがキャッシュメモリＣａｃｈｅＭｅｍに存在する場合には、キャッシュメモリＣａｃｈｅＭｅｍから出力する参照画面画素ＭＣｐｅｌ４を選択し、存在しない場合には、フレームメモリＦｒｍＭｅｍから出力する参照画面画素ＭＣｐｅｌ３を選択することにより、参照画面画素ＭＣｐｅｌ１を選択出力して動き補償器ＭＣに入力する。その他の信号の流れは図１０の従来の動画像復号化装置の構成を示すブロック図の動作と同じである。
＜参照構造の解析＞
次に、参照構造解析器ＳｔｒＡｎａの説明を行う。
参照構造の解析動作では、復号化対象ピクチャに関して事前に参照フレーム番号ＲｅｆＮｏを復号化しておき、各マクロブロックが参照するピクチャを集計し、何れのピクチャの参照頻度が高いかを解析することにより実現する。但し、事前に解析することが困難な場合には、次のように、復号化対象ピクチャより前のピクチャの参照構造などから類推することも可能である。
図２は、ストリームを構成するピクチャの模式図である。図２（ａ）は、ストリームＳｔｒがＧＯＰ（Group Of Picture）（参照構造）の集まりで構成されていることを示している。ＧＯＰ１Ｇ２０１、ＧＯＰ２Ｇ２０２、ＧＯＰ３Ｇ２０３、ＧＯＰ４Ｇ２０４及びＧＯＰ５Ｇ２０５は、各々ストリームを構成するＧＯＰを表している。
図２（ｂ）は、１つのＧＯＰが更にピクチャの集まりで構成されていることを示している。Ｉ１Ｉ２０１、Ｂ２Ｂ２０２、Ｂ３Ｂ２０３、Ｐ４Ｐ２０４、Ｂ５Ｂ２０５、Ｂ６Ｂ２０６、Ｐ７Ｐ２０７、Ｂ８Ｂ２０８、Ｂ９Ｂ２０９、Ｐ１０Ｐ２１０、Ｂ１１Ｂ２１１、Ｂ１２Ｂ２１２、Ｐ１３Ｐ２１３、Ｂ１４Ｐ２１４、及びＢ１５Ｂ２１５は、各々、ＧＯＰを構成するピクチャを表しており、各々の数字はデコード順で記載しているが、図面では表示順に記載している。
例えば、Ｍ２０１はＰ７Ｐ２０７とＢ８Ｂ２０８とＢ９Ｂ２０９のピクチャのセットを示しており、同様に、Ｍ２０２はＰ１０Ｐ２１０とＢ１１Ｂ２１１とＢ１２Ｂ２１２、Ｍ２０３はＰ１３Ｐ２１３とＢ１４Ｂ２１４とＢ１５Ｂ２１５のピクチャのセットを示している。ここで、ピクチャの並びは、各々、Ｂピクチャ、Ｂピクチャ、Ｐピクチャが繰り返されているので、Ｍ２０２の参照構造はＭ２０１とほぼ等しくなると判断し、同様にＭ２０３の参照構造はＭ２０２とほぼ等しくなると判断することによって、各ピクチャが参照する可能性が高いピクチャを推定することが可能となる。
また、ピクチャレベルでの周期性から参照可能性を推定するのではなく、例えばＧＯＰ４Ｇ２０４の参照構造はＧＯＰ３Ｇ２０３と類似していると判断し、同様に、ＧＯＰ５Ｇ２０５の参照構造はＧＯＰ４Ｇ２０４と類似していると判断することによって、ＧＯＰ内の各ピクチャ位置によって同一位置のピクチャが参照していた情報を用いて、参照する可能性が高い参照ピクチャを推定することも可能である。
＜参照フレーム番号の可能性推定＞
次に、何れのピクチャが参照される可能性が高いかを判定するための参照フレーム番号の推定方法に関して、図３を用いて説明を行う。
図３はリファレンスインデックスの付与方法と参照頻度を示す模式図である。同図において、Ｐ０Ｐ３００とＰ１Ｐ３０１はＰピクチャ、Ｂ２Ｂ３０２とＢ３Ｂ３０３とＢ４Ｂ３０４はＢピクチャを各々表しており、参照フレーム番号ＲｅｆＮｏとして、各々、１００、１０１、１０２、１０３、及び１０４が割り振られているものとしている。
ここで、Ｂ４Ｂ３０４に対してどの参照ピクチャの参照可能性が高いかを説明する。ＲＬ０とＲＬ１は、Ｈ．２６４規格における参照リストの一例を示したものであり、Ｂピクチャの参照は前述の参照リストＲＬ０と参照リストＲＬ１から各々一つずつ参照ピクチャを選択指定することにより、動き補償を行うための画素データを取得する。参照リストＲＬ０は、時間的に過去のピクチャを優先して参照リストを付与しており、Ｂ３Ｂ３０３が０、Ｂ２Ｂ３０２が１、Ｐ０Ｐ３００が２、及びＰ１Ｐ３０１が３に設定されている。また、参照リストＲＬ１は時間的に過去のピクチャを優先して参照リストを付与しており、Ｐ１Ｐ３０１が０、Ｂ３Ｂ３０３が１、Ｂ２Ｂ３０２が２、及びＰ０Ｐ３００が３に各々設定されている。
そもそも各参照リストの付与番号は、動画像符号化を行う時に圧縮率を高めるという理由により参照され易いピクチャに小さい番号が割り当たるように操作を行う可能性が高い。つまり、参照リストの付与番号の小さいピクチャを優先的にキャッシュメモリＣａｃｈｅＭｅｍに格納することにより、キャッシュ管理を行うことが可能である。
例えば、Ｂ４のピクチャそのものの復号化を行う場合、又はＢ４ピクチャと同じ構造位置にあるピクチャの復号化を行う場合、キャッシュメモリＣａｃｈｅＭｅｍの容量制約として参照ピクチャとして残しておけるピクチャ枚数が２枚であると仮定すると、参照リストＲＬ０の０番目からＢ３Ｂ３０３と参照リストＲＬ１の０番目からＰ１Ｐ３０１又は各ピクチャと同じ構造位置のピクチャを選択してキャッシュメモリＣａｃｈｅＭｅｍに残せば良いかを判定する。最終的に、Ｂ４のピクチャそのものの復号化を行う場合は、参照フレーム番号ＲｅｆＮｏが１０２と１０４の参照可能性が高いと判定する。
一方、実際に各マクロブロックで参照している参照ピクチャの頻度を累計して、参照可能性を判定する場合の処理の説明を続ける。ＣＲＬ０とＣＲＬ１は、各々の参照リストのピクチャが参照された回数を示している。例えば、参照リストＲＬ０の０番目から３番目まで１００、３０、６０、及び１０回となっていて、参照リストＲＬ１の０番目から３番目まで１３０、２０、１０、及び４０回となっている状態を示している。更に、ＣＲＬＴは、ＣＲＬ０とＣＲＬ１の回数をＰ０Ｐ３００、Ｐ１Ｐ３０１、Ｂ２Ｂ３０２、及びＢ３Ｂ３０３の各々で加算したものであり、順に１００、４０、１２０、及び１４０となっている状態を表している。
以上に示したように、Ｂ４ピクチャそのものの復号化を行う場合、又はＢ４ピクチャと同じ構造位置にあるピクチャの復号化を行う場合に、キャッシュメモリＣａｃｈｅＭｅｍの容量として参照ピクチャとして残しておけるピクチャ枚数が２枚であると仮定すると、参照回数によってＰ１Ｐ３０１とＢ３Ｂ３０３又は各ピクチャと同じ構造位置のピクチャをキャッシュメモリＣａｃｈｅＭｅｍに残せば良いことが判定できる。同様に、ピクチャ容量が３枚まで許されると、次に参照回数の多いＰ０Ｐ３００を残すと良いことが判定できる。最終的に、Ｂ４のピクチャそのものの復号化を行う場合には、参照フレーム番号ＲｅｆＮｏが１００と１０２と１０４の参照可能性が高いと判定する。
＜キャッシュメモリの動作説明＞
ここで、キャッシュメモリＣａｃｈｅＭｅｍのメモリ管理の動きを、図４と図５を用いて説明する。図４は本発明で管理する参照ピクチャを示す第１の模式図であり、図５は本発明で管理する参照ピクチャを示す第２の模式図である。図４では参照ピクチャの管理領域が２ピクチャ分ある場合、図５では参照ピクチャの管理領域が３ピクチャ分ある場合を各々説明する。
参照ピクチャの管理領域が２ピクチャ分ある場合の動作は以下のようになる。簡単のため、管理領域のうち１つは参照用、１つは復号し終わった直後のローカルデコード結果格納用に常に使われると想定して説明する。図４において、Ｐ０Ｐ４００、Ｐ１Ｐ４０１、Ｐ４Ｐ４０４、及びＰ７Ｐ４０７はＰピクチャを表しており、Ｂ２Ｂ４０２、Ｂ３Ｂ４０２、Ｂ５Ｂ４０５、Ｂ６Ｂ４０６、Ｂ８Ｂ４０８及びＢ９Ｂ４０９はＢピクチャを表しており、図の並びは表示順、Ｐ０やＢ２などに組み合わせている数字はデコード順を表している。また、ｃｍ４Ｂ６、ｃｍ４Ｐ７、ｃｍ４Ｂ８、及びｃｍ４Ｂ９０とｃｍ４Ｂ９１は、各々、Ｂ６Ｐ４０６、Ｐ７Ｐ４０７、Ｂ８Ｂ４０８、及びＢ９Ｂ４０９のメモリ管理状態を表しており、更に、図４（ａ）はＰ４Ｐ４０４における参照関係の頻度、図４（ｂ）はＢ５Ｂ４０５における参照関係の頻度、及び図４（ｃ）と同図（ｃ’）はＢ６Ｂ４０６における参照関係の頻度を表している。メモリ管理状態では、塗りつぶしが無いものはキャッシュメモリＣａｃｈｅＭｅｍに既存しているピクチャの領域を示し、斜線を入れているものはデコード中のピクチャを格納するための領域を示し、横線を入れているものは参照頻度が高いために改めてマルチフレームメモリＦｒｍＭｅｍから取得更新するための領域を示している。
先ず、図４（ａ）において、Ｐ４Ｐ４０４の参照関係で最も参照している頻度が高いピクチャがＰ１Ｐ４０１であり、２番目がＰ０Ｐ４００であると解析できたとする。この場合、Ｐ７Ｐ４０７でも同様の参照関係になると予測できる。従って、Ｐ７Ｐ４０７のデコードを行う時の参照ピクチャ管理領域にはＰ４Ｐ４０４を予め格納しておけば良いことが分かる。そこで、Ｂ６Ｐ４０６のメモリ管理状態ｃｍ４Ｂ６においてＢ５Ｂ４０５とＢ６Ｂ４０６が格納されている場合、メモリ管理状態ｃｍ４Ｐ７に更新するためには、Ｐ４Ｐ４０４をマルチフレームメモリＦｒｍＭｅｍから取得更新し、Ｐ７Ｐ４０７のローカルデコード結果を格納するように制御を行う。
次に、図４（ｂ）において、Ｂ５Ｂ４０５の参照関係で最も参照している頻度が高いピクチャがＰ１Ｐ４０１であり、２番目がＰ４Ｐ４０４、次がＰ０Ｐ４００であると解析できたとする。この場合、Ｂ８Ｂ４０８でも同様の参照関係になると予測できる。従って、Ｂ８Ｂ４０８のデコードを行う時の参照ピクチャ管理領域にはＰ４Ｐ４０４を予め格納しておけば良いことが分かる。この時、メモリ管理状態ｃｍ４Ｐ７では、Ｐ４Ｐ４０４とＰ７Ｐ４０７が格納されているため、メモリ管理状態ｃｍ４Ｂ８に更新するためには、Ｐ４Ｐ４０４をそのまま残しておき、Ｂ８Ｂ４０８のローカルデコード結果をＰ７Ｐ４０７の領域に上書き格納するように制御を行う。
最後に、図４（ｃ）において、Ｂ６Ｂ４０６の参照関係で最も参照している頻度が高いピクチャがＰ４Ｐ４０４であり、２番目がＢ５Ｂ４０５、次がＰ１Ｐ４０１であると解析できたとする。この場合、Ｂ９Ｂ４０９でも同様の参照関係になると予測できる。従って、Ｂ９Ｂ４０９のデコードを行う時の参照ピクチャ管理領域には、Ｐ７Ｐ４０７を予め格納しておけば良いことが分かる。この時、メモリ管理状態ｃｍ４Ｂ８では、Ｐ４Ｐ４０４とＢ８Ｂ４０８が格納されているため、メモリ管理状態ｃｍ４Ｂ９０に更新するためには、Ｐ７Ｐ４０７をマルチフレームメモリＦｒｍＭｅｍから取得更新し、Ｂ９Ｂ４０９のローカルデコード結果を格納するように制御を行う。
また、Ｂ６Ｂ４０６の参照関係で最も参照している頻度が高いピクチャがＢ５Ｂ４０５であり、２番目がＰ４Ｐ４０４、次がＰ１Ｐ４０１であると解析できた場合の領域管理を示しているのが図４（ｃ’）である。この場合は、Ｂ９Ｂ４０９のデコードを行う時の参照ピクチャ管理領域にはＢ８Ｂ４０８を予め格納しておけば良いことが分かる。この時、メモリ管理状態ｃｍ４Ｂ８ではＰ４Ｐ４０４とＢ８Ｂ４０８が格納されているため、メモリ管理状態ｃｍ４Ｂ９１に更新するためには、Ｂ８Ｂ４０８をそのまま残しておき、Ｂ９Ｂ４０９のローカルデコード結果をＰ４Ｐ４０４の領域に上書き格納するように制御を行う。
一方、参照ピクチャの管理領域が３ピクチャ分ある場合の動作は以下のようになる。簡単のため、管理領域の内１つは参照用、残り２つはローカルデコード結果格納用に常に使われると想定して説明する。図５において、Ｐ０Ｐ５００、Ｐ１Ｐ５０１、Ｐ４Ｐ５０４、Ｐ７Ｐ５０７、Ｂ２Ｂ５０２、Ｂ３Ｂ５０２、Ｂ５Ｂ５０５、Ｂ６Ｂ５０６、Ｂ８Ｂ５０８、Ｂ９Ｂ５０９、ｃｍ５Ｂ６、ｃｍ５Ｐ７、ｃｍ５Ｂ８、ｃｍ５Ｂ９０及びｃｍ５Ｂ９１は、図４におけるＰ０Ｐ４００、Ｐ１Ｐ４０１、Ｐ４Ｐ４０４、Ｐ７Ｐ４０７、Ｂ２Ｂ４０２、Ｂ３Ｂ４０２、Ｂ５Ｂ４０５、Ｂ６Ｂ４０６、Ｂ８Ｂ４０８、Ｂ９Ｂ４０９、ｃｍ４Ｂ６、ｃｍ４Ｐ７、ｃｍ４Ｂ８、ｃｍ４Ｂ９０及びｃｍ４Ｂ９１と同じ内容を表している。ここで、各ピクチャの参照頻度が図４で説明した時と同じであるとすると、以下のような動作となる。
先ず、Ｐ７Ｐ５０７をデコードする場合、図５（ａ）において、メモリ管理状態ｃｍ５Ｂ６（Ｂ５Ｐ５０５、Ｐ４Ｐ５０４、Ｂ６Ｂ５０６）からメモリ管理状態ｃｍ５Ｐ７（Ｐ１Ｐ５０１、Ｐ４Ｐ５０４、Ｐ７Ｐ５０７）にすれば良いので、Ｂ５Ｐ５０５の領域はマルチフレームメモリＦｒｍＭｅｍから得たＰ１Ｐ５０１を上書きし、Ｐ７Ｐ５０７のローカルデコード結果をＢ６Ｂ５０６の領域に上書き格納するように制御を行う。
次に、Ｂ８Ｂ５０８をデコードする場合、図５（ｂ）において、メモリ管理状態ｃｍ５Ｐ７（Ｐ１Ｐ５０１、Ｐ４Ｐ５０４、Ｐ７Ｐ５０７）からメモリ管理状態ｃｍ５Ｂ８（Ｂ８Ｂ５０８、Ｐ４Ｐ５０４、Ｐ７Ｐ５０７）にすれば良いので、Ｂ８Ｂ５０８のローカルデコード結果をＰ１Ｐ５０１の領域に上書き格納するように制御を行う。
最後に、Ｂ９Ｂ５０９をデコードする場合、図５（ｃ）において、メモリ管理状態ｃｍ５Ｂ８（Ｂ８Ｂ５０８、Ｐ４Ｐ５０４、Ｐ７Ｐ５０７）からメモリ管理状態ｃｍ５Ｂ９０（Ｂ８Ｂ５０８、Ｂ９Ｂ５０９、Ｐ７Ｐ５０７）にすれば良いので、Ｂ９Ｂ５０９のローカルデコード結果をＰ４Ｐ５０４の領域に上書き格納するように制御を行う。また、Ｂ６Ｂ５０６の参照関係で最も参照している頻度が高いピクチャがＢ５Ｂ５０５であり、２番目がＰ４Ｐ５０４、次がＰ１Ｐ５０１であると解析できた場合の領域管理を示しているのが図５（ｃ’）であるが、参照頻度の高さが１番目と２番目を格納できるため、メモリ管理状態ｃｍ５Ｂ９０とメモリ管理状態ｃｍ５Ｂ９１は同じになれば良く、動作としては図５（ｃ）と同じとなる。
尚、キャッシュメモリＣａｃｈｅＭｅｍの管理をピクチャ毎で説明しているが、ピクチャの半面ずつやピクチャを分割するスライス毎、又は復号対象ピクチャからの特定位置の領域によって参照領域の管理を行っても良い。
また、キャッシュメモリＣａｃｈｅＭｅｍの管理を２ピクチャと３ピクチャとの場合で各々説明しているが、４枚以上の領域で行っても良い。この場合、一定の管理枚数があれば、自己録再生や他社製品での記録メディアを再生する場合に、マルチフレームメモリからの再取得によるキャッシュメモリＣａｃｈｅＭｅｍの再充填の処理を不要とすることが可能となる。
更に、本実施形態では、ピクチャ間の参照関係を解析して、キャッシュメモリＣａｃｈｅＭｅｍの管理を行うことを説明したが、固定的に参照される可能性の高いＩピクチャやＰピクチャを残すようなメモリ管理を行うこともできる。
加えて、以上の説明では、画素データの参照ピクチャ管理を示したが、参照ピクチャに付属する管理情報データに関しても同様の処理を行うことが可能である。参照ピクチャに付属する管理情報データとしては、例えば、参照ピクチャの各マクロブロックが持つ動きベクトル情報、参照ピクチャが参照していた参照ピクチャ情報、マクロブロックタイプなどが考えられる。
尚、マルチフレームメモリＦｒｍＭｅｍからのデータ取得を削減することによって、電力削減の効果も生じる。
更に加えて、図１や図７に示したブロック図の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。マルチフレームメモリＦｒｍＭｅｍなどは大容量となるため、ＬＳＩに外付けする大容量のＳＤＲＡＭなどで実装することもあるが、１パッケージ化や１チップ化されることも有り得る。
また、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
（実施形態２）
以下、本発明の第２の実施形態ついて、図６を用いて説明する。本実施形態では、特殊再生を行う場合に、通常のキャッシュメモリＣａｃｈｅＭｅｍ管理を行うと、冗長なメモリの入出力制御が発生するために、メモリ管理方法を変更するものである。
図６は本発明で管理する参照ピクチャを示す第３の模式図である。同図において、Ｐ０Ｐ６００、Ｐ１Ｐ６０１、Ｐ４Ｐ６０４、Ｐ７Ｐ６０７、Ｂ２Ｂ６０２、Ｂ３Ｂ６０２、Ｂ５Ｂ６０５、Ｂ６Ｂ６０６、Ｂ８Ｂ６０８及びＢ９Ｂ６０９は、図４におけるＰ０Ｐ４００、Ｐ１Ｐ４０１、Ｐ４Ｐ４０４、Ｐ７Ｐ４０７、Ｂ２Ｂ４０２、Ｂ３Ｂ４０２、Ｂ５Ｂ４０５、Ｂ６Ｂ４０６、Ｂ８Ｂ４０８及びＢ９Ｂ４０９と同じ内容を表している。また、ｃｍ６Ｐ１、ｃｍ６Ｐ４及びｃｍ６Ｐ７は、各々、Ｐ１Ｐ６０１、Ｐ４Ｐ６０４及びＰ７Ｐ６０７の次に存在するＰピクチャにおけるメモリ管理状態を表している。
特殊再生の１つに倍速再生がある。図６を例として、例えば簡単に倍速の再生を行う方法を簡単に説明する。図６（ａ）は通常再生時のピクチャを表示順に並べたものである。倍速再生を簡単に行う手法としてＩＰ再生というものがあり、これはＩピクチャ、Ｐピクチャのみを再生し、Ｂピクチャを再生表示しないことで倍速再生を実現する。図６（ｂ）及び同図（ｃ）は同図（ａ）からＢピクチャを抜いて状態を表しており、前後にＩピクチャとＰピクチャを追加記載したものである。
つまり、例えば、ＧＯＰ構造がＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢの１５枚により構成されている場合に、倍速再生時には、擬似的にＧＯＰ構造がＩＰＰＰＰの５枚により構成されているとみなし、途中のＢピクチャのためのキャッシュメモリＣａｃｈｅＭｅｍの管理は行わない。
ここでは、簡単のため近い順に参照頻度が高くなっている状態を想定してキャッシュメモリＣａｃｈｅＭｅｍの管理状態を説明する。図６（ｂ）において、メモリ管理状態ｃｍ６Ｐ１（Ｐ０Ｐ６００、Ｐ１Ｐ６０１、直前のＩピクチャ）からｃｍ６Ｐ４（Ｐ０Ｐ６００、Ｐ１Ｐ６０１、Ｐ４Ｐ６０４）に更新するので、Ｐ４Ｐ６０４のローカルデコード結果を直前のＩピクチャの領域に上書き格納するように制御を行う。次に、図６（ｃ）において、メモリ管理状態ｃｍ６Ｐ４（Ｐ０Ｐ６００、Ｐ１Ｐ６０１、Ｐ４Ｐ６０４）からｃｍ６Ｐ７（Ｐ７Ｐ６０７、Ｐ１Ｐ６０１、Ｐ４Ｐ６０４）に更新するので、Ｐ７Ｐ６０７のローカルデコード結果を直前のＰ０Ｐ６００の領域に上書き格納するように制御を行う。
（実施形態３）
続いて、本発明の第３の実施形態を説明する。本実施形態は、前記の動画像復号化装置の応用例として、動画像符号化装置と組み合わせた画像符号化復号化装置を説明する。
図７は、Ｈ．２６４レコーダを実現するＡＶ処理部のブロック図である。同図において、ｅｘＡＶＬＳＩは、ディジタル圧縮された音声及び画像を再生するＤＶＤレコーダやハードディスクレコーダなどのＡＶ処理部を示している。
また、同図において、ｅｘＳｔｒは音声と画像のストリームデータを、ｅｘＶＳｉｇは画像データを、ｅｘＡＳｉｇは音声データを各々表している。ｅｘＢｕｓはストリームデータや音声、画像の復号データなどのデータを転送するバスを示している。ｅｘＳｔｒＩＦは前述のストリームデータｅｘＳｔｒを入力するストリーム入出力部を表しており、その一方はバスｅｘＢｕｓに接続しており、その他方は大容量蓄積デバイスｅｘＲｅｃに接続している。ｅｘＶＣｏｄｅｃは画像の符号化及び復号化を行う画像符号化復号化部であって、ｅｘＢｕｓに接続している。ｅｘＭｅｍはストリームデータや符号化データや復号化データなどのデータを格納するメモリであって、ｅｘＢｕｓに接続している。
ここで、画像符号化復号化部ｅｘＶＣｏｄｅｃは図１に示している動画像復号化装置や図９に示している動画像符号化装置などを含むものである。ストリームデータｅｘＳｔｒは、図１に示している符号化信号Ｓｔｒを含んでおり、更にメモリｅｘＭｅｍは、同じく図１に示しているマルチフレームメモリＦｒｍＭｅｍが含まれる。
ｅｘＶＰｒｏｃは、画像信号に対してプレ処理及びポスト処理を行う画像処理部を表しており、ｅｘＢｕｓに接続している。ｅｘＶｉｄｅｏＩＦは、画像処理部ｅｘＶＰｒｏｃで処理した又は画像処理部で処理をせずに通過だけさせた画像データ信号を外部に画像信号ｅｘＶＳｉｇとして出力する、又は、外部からの画像信号ｅｘＶＳｉｇを取り込むための画像入出力部を示している。
ｅｘＡＰｒｏｃは、音声信号に対してプレ処理及びポスト処理を行う音声処理部を表しており、ｅｘＢｕｓに接続している。ｅｘＡｕｄｉｏＩＦは、音声処理部ｅｘＡＰｒｏｃで処理した又は音声処理部で処理をせずに通過だけさせた音声データ信号を外部に音声信号ｅｘＡＳｉｇとして出力する、又は、外部からの音声信号ｅｘＡＳｉｇを取り込むための音声入出力部を示している。また、ｅｘＡＶＣｔｒは、ＡＶ処理部ｅｘＡＶＬＳＩの全体制御を行うＡＶ制御部を示している。
符号化処理においては、最初に画像信号ｅｘＶＳｉｇが画像入出力部ｅｘＶｉｄｅｏＩＦに入力され、音声信号ｅｘＡＳｉｇが音声入出力部ｅｘＡｕｄｉｏＩＦに入力される。
先ず、記録処理では、画像入出力部ｅｘＶｉｄｅｏＩＦに入力された画像信号ｅｘＶＳｉｇを用いて、画像処理部ｅｘＶＰｒｏｃにおいてフィルタ処理や符号化のための特徴量抽出などを行い、メモリ入出力部ｅｘＭｅｍＩＦを介してメモリＭｅｍに原画像として格納する。次に、再びメモリ入出力部ｅｘＭｅｍＩＦを介してメモリＭｅｍから画像符号化復号化部ｅｘＶＣｏｄｅｃには原画像データと参照画像データとの転送を行い、逆に画像符号化復号化部ｅｘＶＣｏｄｅｃからメモリｅｘＭｅｍには、画像符号化復号化部ｅｘＶＣｏｄｅｃで符号化した画像ストリームデータと局所復元データとの転送を行う。
一方、音声入出力部ｅｘＡｕｄｉｏＩＦに入力された音声信号ｅｘＡＳｉｇを用いて、音声処理部ｅｘＡＰｒｏｃにおいてフィルタ処理や符号化のための特徴量抽出などを行い、メモリ入出力部ｅｘＭｅｍＩＦを介してメモリｅｘＭｅｍに原音声データとして格納する。次に、再びメモリ入出力部ｅｘＭｅｍＩＦを介してメモリｅｘＭｅｍから原音声データを取り出して符号化し、再度音声ストリームデータとしてメモリｅｘＭｅｍに格納する。
符号化処理の最後に、画像ストリームと音声ストリーム及びその他のストリーム情報を１つのストリームデータとして処理し、ストリーム入出力部ｅｘＳｔｒＩＦを介してストリームデータｅｘＳｔｒを出力し、光ディスク（ＤＶＤ）やハードディスク（ＨＤＤ）などの大容量蓄積デバイスに書き込む処理を行う。
次に、復号化処理では、以下のような動作を行う。先ず、光ディスクやハードディスクや半導体メモリなどの大容量蓄積デバイスから、記録処理で蓄積しているデータの読み出しを行うことにより、音声及び画像のストリーム信号ｅｘＳｔｒがストリーム入出力部ｅｘＳｔｒＩＦを介して入力される。そのストリーム信号ｅｘＳｔｒから画像ストリームは画像符号化復号化部ｅｘＶＣｏｄｅｃに入力され、音声ストリームは音声符号化復号化部ｅｘＡＣｏｄｅｃに入力される。
画像符号化復号化部ｅｘＶＣｏｄｅｃによって復号化された画像データは、メモリ入出力部ｅｘＭｅｍＩＦを介して一時メモリＭｅｍに格納される。メモリＭｅｍに格納されたデータは、画像処理部ｅｘＶＰｒｏｃでノイズ除去などの加工処理を行う。また、メモリＭｅｍに格納された画像データは、再び画像符号化復号化部ｅｘＶＣｏｄｅｃにおいて、画面間動き補償予測の参照ピクチャとして使用されることもある。
また、音声符号化復号化部ｅｘＡＣｏｄｅｃによって復号化された音声データは、メモリ入出力部ｅｘＭｅｍＩＦを介して一時メモリＭｅｍに格納される。メモリＭｅｍに格納されたデータは、音声処理部ｅｘＡＰｒｏｃで音響などの加工処理を行う。
最後に、音声と画像の時間的な同期を取りながら、画像処理部ｅｘＶＰｒｏｃで加工処理したデータは、画像入出力部ｅｘＶｉｄｅｏＩＦを介して信号ｅｘＶＳｉｇとして出力されてテレビ画面などに表示され、音声処理部ｅｘＡＰｒｏｃで加工処理したデータは、音声入出力部ｅｘＡｕｄｉｏＩＦを介して信号ｅｘＡＳｉｇとして出力され、スピーカなどから出力される。
（実施形態４）
続いて、本発明の第４の実施形態を説明する。
本実施形態では、前記各実施形態で示した動画像復号化装置をソフトウェアにより実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、前記各実施形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となるようにするものである。
図８は、前記実施形態１〜３の動画像復号化装置を実現するプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図８（ｂ）は、フレキシブルディスクの正面から見た外観、断面構造及びフレキシブルディスクを示し、図８（ａ）は記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、前記プログラムを格納したフレキシブルディスクでは、前記フレキシブルディスクＦＤ上に割り当てられた領域に、前記プログラムとしての動画像復号化装置が記録されている。
また、図８（ｃ）は、フレキシブルディスクＦＤに前記プログラムの記録再生を行うための構成を示している。前記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから前記プログラムとしての動画像復号化装置を、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
尚、前記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば、同様に実施することができる。
以上説明したように、本発明の動画像復号化装置は、キャッシュメモリ実装容量を小容量に制限しながら、マルチフレームメモリとの参照画素データの転送バンド幅の削減を効率的に実現できるので、例えば、Ｈ．２６４規格を用いたＨＤ画像サイズなどの大画角なピクチャサイズに対応したムービー装置、プレーヤ装置、レコーダ装置などとして有用である。
本発明の第１の実施形態の動画像復号化装置のブロック図である。 ストリームを構成するピクチャの模式図である。 リファレンスインデックスの付与方法及び参照頻度を示す模式図である。 同動画像復号化装置に備える参照ピクチャ管理器が管理する参照ピクチャを示す模式図である。 同参照ピクチャ管理器が管理する参照ピクチャを示す他の模式図である。 同参照ピクチャ管理器が管理する参照ピクチャを示す更に他の模式図である。 Ｈ．２６４レコーダを実現するＡＶ処理部のブロック構成図である。 同動画像復号化装置をコンピュータシステムにより実施する場合の全体概略構成図である。 従来の動画像符号化装置の構成を示すブロック図である。 従来の動画像復号化装置の構成を示すブロック図である。
ＦｒｍＭｅｍ マルチフレームメモリ
ＣａｃｈｅＭｅｍ キャッシュメモリ
ＦｒｍＳｅｌ 選択器（選択手段）
ＦＭＣｔｒｌ 参照ピクチャ管理器（参照ピクチャ管理手段）
ＳｔｒＡｎａ 参照構造解析器（参照構造解析手段）
Ａｄｄ１ 加算器
Ａｄｄ２ 加算器
ＭＣ 動き補償器（動き補償手段）
Ｄｅｃ 復号化器
ＭＶＭｅｍ 動きベクトルメモリ
ＭＶＰｒｅｄ 動きベクトル予測器
Ｓｔｒ 符号化信号を復号化
ＲｅｃＤｉｆＰｅｌ 復号画面予測誤差
ＲｅｆＮｏ 参照フレーム番号
ＤｉｆＭＶ 動きベクトル予測差分
ＭＶ 動きベクトル
ＭＣｐｅｌ１ 動き補償参照画素
ＭＣｐｅｌ２ 参照画面画素
ＲｅｃＰｅｌ 復号画面
ＰｒｅｄＭＶ 予測動きベクトル
ＰｒｅｖＭＶ 近傍動きベクトル
ＡｎａＲｅｓ 構造解析結果
ＭＣｔｒＳｉｇ 制御信号
Ｖｏｕｔ 復号画面信号

Claims (15)

  1. マルチフレームメモリに格納した複数枚の参照ピクチャの画素データを利用して、ピクチャを構成するブロックの復号を行う動画像復号化集積回路であって、
    参照ピクチャをピクチャ単位で蓄えるためのキャッシュメモリと、
    前記キャッシュメモリからの画素データを用いて、ピクチャを構成するブロックの動き補償を行う動き補償手段と、
    動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、復号化対象ピクチャの動き補償に用いる参照頻度の高い参照ピクチャを特定し、その特定した参照頻度の高い参照ピクチャを前記キャッシュメモリにピクチャ単位で蓄えるように参照ピクチャを管理する参照ピクチャ管理手段とを備えた
    ことを特徴とする動画像復号化集積回路。
  2. 前記請求項１記載の動画像復号化集積回路において、
    前記マルチフレームメモリから転送される参照ピクチャの参照画素データと前記キャッシュメモリから転送される参照ピクチャの参照画素データとの何れか一方を選択する選択手段を備え、
    前記動き補償手段で処理する参照画素データとして、その参照画素データが前記キャッシュメモリに蓄えられていない場合には、前記マルチフレームメモリに格納されている参照画素データが用いられる
    ことを特徴とする動画像復号化集積回路。
  3. 前記請求項１記載の動画像復号化集積回路において、
    前記参照ピクチャ管理手段は、
    前記マルチフレームメモリへ格納する参照ピクチャをも管理すると共に、
    動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、前記マルチフレームメモリへ格納する参照ピクチャのうち、復号化対象ピクチャの動き補償に用いる参照頻度の高い参照ピクチャを判断して、この復号化対象ピクチャの動き補償に用いる参照頻度の高い参照ピクチャを前記キャッシュメモリに蓄えるよう参照ピクチャを管理する
    ことを特徴とする動画像復号化集積回路。
  4. 前記請求項１記載の動画像復号化集積回路において、
    前記参照ピクチャ管理手段は、
    前記動き補償手段により動き補償を実行中である復号化対象ピクチャがこの復号化対象ピクチャの後に復号される復号化対象ピクチャからの参照頻度が高いピクチャであるかどうかを、前記動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて判断し、この参照頻度が高いと判断したときには、前記動き補償を実行中である復号化対象ピクチャを前記キャッシュメモリに格納するよう、参照ピクチャを管理する
    ことを特徴とする動画像復号化集積回路。
  5. 前記請求項１記載の動画像復号化集積回路において、
    前記参照ピクチャ管理手段は、
    所定の複数枚のピクチャの並びが繰り返される特定のピクチャ構造における前記複数枚のピクチャを各々参照ピクチャとして前記キャッシュメモリに格納するよう、参照ピクチャを管理する
    ことを特徴とする動画像復号化集積回路。
  6. 前記請求項５記載の動画像復号化集積回路において、
    前記特定のピクチャ構造は、参照ピクチャが０枚又は１枚の符号化ブロックのみで構成されている
    ことを特徴とする動画像復号化集積回路。
  7. 前記請求項４記載の動画像復号化集積回路において、
    前記特定のピクチャ構造は、参照ピクチャがＩピクチャ又はＰピクチャである
    ことを特徴とする動画像復号化集積回路。
  8. 前記請求項１記載の動画像復号化集積回路において、
    前記参照ピクチャ管理手段は、
    前記動き補償に用いる参照ピクチャの参照頻度に関連する情報として、参照ピクチャの参照リストを使用し、前記参照ピクチャの参照リストの付与番号の小さい参照ピクチャを前記参照頻度の高い参照ピクチャとして前記キャッシュメモリに格納するよう、参照ピクチャを管理する
    ことを特徴とする動画像復号化集積回路。
  9. 前記請求項１記載の動画像復号化集積回路において、
    前記参照ピクチャ管理手段は、
    前記キャッシュメモリに蓄える参照頻度の高い参照ピクチャを、半面ずつ又はその参照頻度の高い参照ピクチャを複数に分割したスライス毎に管理する
    ことを特徴とする動画像復号化集積回路。
  10. 前記請求項１記載の動画像復号化集積回路において、
    ピクチャの参照構造の周期的な並びと、この周期的な並びにおける各ピクチャ位置で参照するピクチャの参照頻度とを解析する参照構造解析手段を備え、
    前記参照構造解析手段による周期的な並び及びピクチャの参照頻度の解析結果は、前記動き補償に用いる参照ピクチャの参照頻度に関連する情報として、前記参照ピクチャ管理手段に入力される
    ことを特徴とする動画像復号化集積回路。
  11. 前記請求項１０記載の動画像復号化集積回路において、
    前記参照構造解析手段は、
    各々の復号化対象ピクチャが参照する参照ピクチャの参照回数を前記参照頻度として予め集計し、前記解析したピクチャの参照構造の周期的な並びの中で復号化対象ピクチャと同じ周期位置となっている復号済みピクチャが参照した参照ピクチャの参照回数を、前記動き補償に用いる参照ピクチャの参照頻度に関連する情報として、前記参照ピクチャ管理手段に入力する
    ことを特徴とする動画像復号化集積回路。
  12. 前記請求項１０記載の動画像復号化集積回路において、
    前記参照構造解析手段は、
    特殊再生を行う場合において、その特殊再生において実際に復号しているピクチャのみの並びをピクチャの擬似的な参照構造と認識して、そのピクチャの擬似的な参照構造において動き補償に用いる参照ピクチャの参照頻度を解析する
    ことを特徴とする動画像復号化集積回路。
  13. マルチフレームメモリに格納した複数枚の参照ピクチャの画素データを利用して、ピクチャを構成するブロックの復号を行う動画像復号化方法であって、
    動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、復号化対象ピクチャが動き補償で参照する参照頻度の高い参照ピクチャを特定し、その特定した参照頻度の高い参照ピクチャをキャッシュメモリにピクチャ単位で蓄えるように参照ピクチャを管理しながら、その参照頻度の高い参照ピクチャをキャッシュメモリに格納する格納ステップと、
    前記マルチフレームメモリから転送される参照ピクチャの参照画素データと前記キャッシュメモリから転送される参照ピクチャの参照画素データとの何れか一方を動き補償に用いるために選択する選択ステップと、
    前記選択ステップで選択した参照画素データを用いて復号化対象ピクチャの動き補償を行う動き補償ステップとを有する
    ことを特徴とする動画像復号化方法。
  14. 複数枚の参照ピクチャの画素データを利用して、ピクチャを構成するブロックの復号を行う動画像復号化集積装置であって、
    複数枚の参照ピクチャの参照画素データを格納するマルチフレームメモリと、
    参照ピクチャの参照画素データをピクチャ単位で蓄えるためのキャッシュメモリと、
    前記マルチフレームメモリから転送される参照ピクチャの参照画素データと前記キャッシュメモリから転送される参照ピクチャの参照画素データとの何れか一方を選択する選択手段と、
    前記選択手段により選択された参照ピクチャの参照画素データを用いて、ピクチャを構成するブロックの動き補償を行う動き補償手段と、
    動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、復号化対象ピクチャが動き補償で参照する参照頻度の高い参照ピクチャを特定し、その特定した参照頻度の高い参照ピクチャを前記キャッシュメモリにピクチャ単位で蓄えるように参照ピクチャを管理する参照ピクチャ管理手段とを備えた
    ことを特徴とする動画像復号化集積装置。
  15. マルチフレームメモリに格納した複数枚の参照ピクチャの画素データを利用して、ピクチャを構成するブロックの復号を行う動画像復号化プログラムであって、
    動き補償に用いる参照ピクチャの参照頻度に関連する情報に基づいて、復号化対象ピクチャが動き補償で参照する参照頻度の高い参照ピクチャを特定し、その特定した参照頻度の高い参照ピクチャをキャッシュメモリにピクチャ単位で蓄えるように参照ピクチャを管理しながら、その参照頻度の高い参照ピクチャをキャッシュメモリに格納する格納ステップと、
    前記マルチフレームメモリから転送される参照ピクチャの参照画素データと前記キャッシュメモリから転送される参照ピクチャの参照画素データとの何れか一方を動き補償に用いるために選択する選択ステップと、
    前記選択ステップで選択した参照画素データを用いて復号化対象ピクチャの動き補償を行う動き補償ステップとを有する
    ことを特徴とする動画像復号化プログラム。
JP2007122623A 2007-05-07 2007-05-07 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム Expired - Fee Related JP4884290B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007122623A JP4884290B2 (ja) 2007-05-07 2007-05-07 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
US12/047,897 US20080279280A1 (en) 2007-05-07 2008-03-13 Moving picture decoding integrated circuit
CNA2008100954086A CN101304530A (zh) 2007-05-07 2008-04-18 活动图像解码集成电路、活动图像解码方法、装置及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007122623A JP4884290B2 (ja) 2007-05-07 2007-05-07 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム

Publications (2)

Publication Number Publication Date
JP2008278423A JP2008278423A (ja) 2008-11-13
JP4884290B2 true JP4884290B2 (ja) 2012-02-29

Family

ID=39969496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007122623A Expired - Fee Related JP4884290B2 (ja) 2007-05-07 2007-05-07 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム

Country Status (3)

Country Link
US (1) US20080279280A1 (ja)
JP (1) JP4884290B2 (ja)
CN (1) CN101304530A (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253496B2 (en) * 2008-12-12 2016-02-02 Qualcomm Incorporated Intelligent decoded picture buffering
JP5580541B2 (ja) 2009-03-06 2014-08-27 パナソニック株式会社 画像復号化装置および画像復号化方法
US20130128983A1 (en) * 2010-12-27 2013-05-23 Toshiyasu Sugio Image coding method and image decoding method
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
US9122609B2 (en) * 2011-03-07 2015-09-01 Texas Instruments Incorporated Caching method and system for video coding
JP2012239098A (ja) * 2011-05-13 2012-12-06 Panasonic Corp 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、録画装置、および再生装置
US9232233B2 (en) 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
KR101790401B1 (ko) 2011-08-25 2017-10-25 선 페이턴트 트러스트 주기적인 버퍼 기재를 사용하여 비디오를 부호화 및 복호하는 방법 및 장치
BR112013020486B1 (pt) 2011-09-07 2022-07-19 Sun Patent Trust Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e de decodificação de imagem
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
IN2014CN02604A (ja) * 2011-10-19 2015-08-07 Panasonic Corp
JP5898924B2 (ja) * 2011-11-10 2016-04-06 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置および動画像予測復号プログラム
JP5867050B2 (ja) * 2011-12-14 2016-02-24 富士通株式会社 画像処理装置
US20170006303A1 (en) 2015-06-30 2017-01-05 Intel Corporation Method and system of adaptive reference frame caching for video coding
EP3932069A1 (en) * 2019-03-01 2022-01-05 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Hypothetical reference decoder
JP7416380B2 (ja) 2020-04-28 2024-01-17 日本電信電話株式会社 参照画像キャッシュ、削除先決定方法及びコンピュータプログラム
CN114217687B (zh) * 2021-03-26 2023-07-07 无锡江南计算技术研究所 一种基于众核处理器的***功耗动态控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2973964B2 (ja) * 1997-01-24 1999-11-08 日本電気株式会社 フレーム・バッファ管理方式
JP3861607B2 (ja) * 2001-02-22 2006-12-20 セイコーエプソン株式会社 画像信号復号装置
JP2005102144A (ja) * 2003-08-27 2005-04-14 Renesas Technology Corp Ｍｐｅｇのデータ処理装置
GB0323284D0 (en) * 2003-10-04 2003-11-05 Koninkl Philips Electronics Nv Method and apparatus for processing image data
JP2006166308A (ja) * 2004-12-10 2006-06-22 Victor Co Of Japan Ltd 復号化装置及び復号化方法
US8019000B2 (en) * 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device
JP2006279330A (ja) * 2005-03-28 2006-10-12 Victor Co Of Japan Ltd 動き補償処理方法

Also Published As

Publication number Publication date
CN101304530A (zh) 2008-11-12
JP2008278423A (ja) 2008-11-13
US20080279280A1 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
JP4884290B2 (ja) 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム
JP4570532B2 (ja) 動き検出装置、動き検出方法、集積回路およびプログラム
JP4769717B2 (ja) 画像復号化方法
KR101227330B1 (ko) 화상 부호화 장치 및 화상 복호화 장치
US20100086053A1 (en) Motion estimation device, motion estimation method, and motion estimation program
KR101240089B1 (ko) 화상 부호화 장치 및 화상 복호화 장치
US8995530B2 (en) Moving image decoding apparatus, moving image coding apparatus, moving image decoding circuit, and moving image decoding method
WO2011004598A1 (ja) 動画像符号化方法、装置、プログラム、および集積回路
US20070058725A1 (en) Coding/decoding apparatus, coding/decoding method, coding/decoding integrated circuit and coding/decoding program
JP3403168B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JPH08331560A (ja) デコーダおよびｍｐｅｇビデオデコーダ
JP4902854B2 (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
JP2007228560A (ja) 動画像符号化方法および動画像符号化装置
KR100860661B1 (ko) 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기
JPH11239352A (ja) 画像処理方法及び画像処理装置、並びにデータ記憶媒体
JP3515565B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3403169B2 (ja) 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機
JP3374128B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3403167B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3548167B2 (ja) 画像処理装置
JP2003274412A (ja) 画像符号化方法および画像復号化方法
JP3433179B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP2001238166A (ja) 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees