JPH09247688A - Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減 - Google Patents
Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減Info
- Publication number
- JPH09247688A JPH09247688A JP9056887A JP5688797A JPH09247688A JP H09247688 A JPH09247688 A JP H09247688A JP 9056887 A JP9056887 A JP 9056887A JP 5688797 A JP5688797 A JP 5688797A JP H09247688 A JPH09247688 A JP H09247688A
- Authority
- JP
- Japan
- Prior art keywords
- data
- predictor
- buffer
- macroblock
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Input (AREA)
- Television Signal Processing For Recording (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
オ・メモリの必要量を減少させ且つ最適化させたMPE
G2ビデオ・デコ−ダと、そのMPEG2デコ−ダのビ
デオ・メモリ必要量を最適に減らす方法を提供する。 【構成】 MPEG2ビデオ・デコ−ダは、外部ビデオ
・メモリに構成されたそれぞれのバッファにデ−タを書
き込む前に、MPEG圧縮アルゴリズムのI−、P−及
びB−画像を伸張する段階を含み、また、B−画像の伸
張は前方及び後方動作補償予測子の使用を伴う。前記ビ
デオ・メモリに蓄えられた関連後方予測子を圧縮形に維
持しながら、B−画像をマクロブロックで伸張し、また
圧縮P−画像のマクロブロックを対応する前方予測子値
を使用して伸張する。伸張を行うB−画像のマクロブロ
ックの後方予測子値を含む蓄えられた圧縮後方予測子の
領域を前記伸張されたPマクロブロックを介して定め
る。さらに、前記領域から伸張を行うB−マクロブロッ
クのための対応する後方予測子値を抽出し、またMPE
Gスタンダ−ドによって動作補償ル−チンを完了する。
Description
ズムの使用に基づく集積ビデオ・デコ−ダに関し、特に
MPEGの第2及びより進歩したバ−ジョンMPEG2
のビデオ・メモリの必要量を最適に減少させる方法、及
びビデオ・メモリの必要量を最適に減少させたMPEG
2による集積ビデオ・デコ−ダに関する。
の記憶装置、例えば、CD−ROMにおいてビデオ情報
を貯蔵しまた検索する効果的方法を達成する工業的必要
性に応じて発展された。勿論、MPEG1スタンダ−ド
は、同様の装置、例えば、DAT、ウインチェスタ・デ
ィスク装置、光ディスク装置、及びISDN、並びにL
ANネットワ−クにおいてデ−タを効果的に貯蔵する為
の強力なツ−ルである。しかし、より効果的なバ−ジョ
ンのスタンダ−ドであるMPEG2が、デジタル・ビデ
オ送信用途の分野でのビットレ−ト必要量を支持して発
達された。このスタンダ−ドは、一般に、約20Mbp
sのビットレ−トまでの完全にインタ−レ−スのTV分
解画像デジタルTVシステム用に受け入れられてきた。
特殊バ−ジョンのMPEG2スタンダ−ドが、将来発生
するHDTVシステムに使用されると期待されている。
ズムや以前の国際スタンダ−ド、例えば、CCITT動
作ベクトル決定アルゴリズムH.261や静止画像の符
号化の為のISO・JPEG委員会のISO・1091
8スタンダ−ドによって決められた基準と合体して利用
されている。MPEGスタンダ−ド(1と2)の定義
は、異なる技術の実施とMPEGスタンダ−ドによる圧
縮ビデオ画像に関するデ−タの関連コ−ド・デコ−ド・
システムとを網羅した記述と共に、この問題に関する豊
富な記事や出版物に記載されており、それらの幾つかを
以下に挙げる。 1)国際規格制定草案ISO/IEC・DIS・138
18−2”情報技術−動画の汎用符号化と関連オ−デオ
情報”。 2)”MPEG符号化及び輸送システム”、レオナルド
・キアリジョ−ネ、デジタル・テレビ放送−会報。 3)”MPEGビデオ圧縮アルゴリズム”、ディディエ
−ル・J・ルガル、信号処理画像通信、エルスビア・サ
イエンス・パブリッシャ−BV、Vol.4、No.
2,1992年4月。 4)ダイジェストNo.1995/012、エレクトロ
ニクス部門、電気工学学会−ロンドン、学会、”MPE
G−2−それは何かまた何でないか”。 5)”MPEG圧縮アルゴリズムの概観”技術ノ−ト、
SGS−トムソン・マイクロエレクトロニクス(529
/0294)。 6)デ−タシ−ト:SGS−トムソン・マイクロエレク
トロニクスの”STi3500A”デ−タシ−ト。 7)”STi3500A−MPEGオ−デオ/MPEG
−2ビデオ集積デコ−ダの為の進歩した情報”(199
5年5月)。
クチャ−によれば、SGS−トムソン・マイクロエレク
トロニクス社によって市販されたMPEGオ−デオ/M
PEG2ビデオ集積デコ−ダに関する公開デ−タシ−ト
No.STi3500Aの図3に示されているように、
ここでは図1として再現されているが、ビデオ・メモリ
のよく定義された必要量が存在し、その必要量は、PA
L及びNTSC方式の為の16MビットPALビデオ信
号をサポ−トすることが出来る外部DRAMメモリの容
量である。そのメモリ容量の見積もりは次のように行う
ことが出来る。MPEG2ビデオ・デコ−ダとMPEG
オ−デオ・デコ−ダの両方が普通のインタ−フェ−ス介
して唯一の16ビット外部DRAMメモリにアクセスす
ることを考えると、オ−デオ・デコ−ダは131,07
2ビットのみアクセスに必要とし、16、646、14
4ビットが残り、これはMPEG2ビデオ・デコ−ダの
必要量を満足させるのに利用できる。ビデオ・メモリは
通例の方式によればつぎのように構成することが出来
る。
EG2スタンダ−ドが1.75Mビットプラス余分の量
で固定する圧縮デ−タの為のバッファであり、例えば、
実際に行われる非理想的伸張プロセスを考慮して83
4、722ビットになる。 2(第1の”I−フレ−ム・バッファ”は4:2:0形
式での伸張された内部画像又は略してI−画像の為のも
のである。 3)第2の”P−フレ−ム・バッファ”は4:2:0形
式での伸張された予測された画像又は略してP−画像の
為のものである。 4)第3の”B−フレ−ム・バッファ”は4:2:0形
式での伸張された双方向的予測された画像又は略してB
−画像の為のものであり、必要メモリ量を減少するよう
に最適化され、PAL又はNTSCシステムの場合に各
々フレ−ムの0.7407又は0.611になる。公知
のMPEG2スタンダ−ド技術によれば、I−、P−又
はB−画像に対処することとは関係なく、ビデオ・スタ
ンダ−ドの型に依存して、形式4:2:0における各”
フレ−ム・バッファ”は次の表1に与えられたメモリ量
を占める。
担となる場合を代表しているが、基準例としてもよく、
実際の必要メモリの全量は次のように与えられる。 1,835,008 + 835,584 + 4.976,640 + 4,976,640 + (4,9
76,640*0.7407)= 16,310,070ビット この計算はB−画像フレ−ム・バッファの0.747最
適化を考慮している。
ことに頼ることなく、B−画像の伸張を行うことにあ
り、表示ユニットの上流に機能的に置かれた専用回路ブ
ロック、通常マクロブロック−ラスタ・スンキャン・コ
ンバ−タと称する、によって集積デコ−ダ装置の内部で
同様の機能を行うことによってなされる。これは、高速
集積メモリ、例えば、100Mz及びそれ以上で機能す
る同期SDRAMから成るB−画像用内部バッファを使
用することによって行われる。このさらなる最適化を考
慮することによって、ビデオ・メモリ必要量は次のよう
にさらに減少する。 1,835,008 + 835,584 + 4,976,640 + 4,976,640 = 12,6
23,872ビット その理由は、内部B−画像バッファが、MPEG2圧縮
デ−タストリ−ムに定義されているように、TV画面上
の画像の表示処理によって必要とされるフィ−ルド又は
フレ−ム画像のライン・スキャンにおいて、各8*8画
素ブロックのスキャンを変換させるからである。
に同じ出願人によって出願されたヨ−ロッパ特許出願N
o.95830504.7は、I及びP−画像の再圧縮
工程を介して、MPEG2伸張の後、適応差動パルス符
号変調(ADPCM)方式によって、比較的小さな画質
の低下で、メモリ必要量が8Mビット以下に著しく減少
された方法及び関連MPEG2デコ−ダ・ア−キテクチ
ャ−を記述している。
不都合を取り除き、画質を低下することなく保持したま
ま、MPEG2のビデオ・メモリの必要量を最適に減少
させる方法を提供することを目的とする。本発明は、ま
た、画質を低下することなく保持したまま、ビデオ・メ
モリの必要量を減少させ且つ最適化させたMPEG2ビ
デオ・デコ−ダを提供することを目的とする。
は、最悪の場合でも、2つの前方及び後方予測子を使用
して、外部RAMメモリにおいて圧縮され且つ保管され
た、B−画像のマクロブロックによる伸張を利用してい
る。前方予測子は、伸張された形で外部メモリに保管さ
れた画像に含まれる。反対に、本発明の重要なアスペク
トによれば、後方予測子は、従来のシステムにおいてと
同様に外部RAMメモリに直ちにアクセス可能ではなく
(伸張された形では可能である)、むしろ、アクセスさ
れまたそのような後方予測子が位置するであろう所の外
部RAMメモリにおいて圧縮され且つ保管された画像の
領域を定めるP−マクロブロックから成る。
れた形で保管され、従って、本発明の方法は、関連する
前方予測子を使用して(動作補償)それらの伸張を与え
る。それらの前方予測子は、最悪の場合、前述のB−画
像マクロブロックを伸張するために使用されたものとは
異なり、また、いづれにせよ、MPEGスタンダ−ドに
よって、動作補償ル−チンを完成させる為にいつも使用
される。本発明の他のアスペクトによれば、これは、ビ
デオ・デコ−ダの”コア”の特別のア−キテクチャ−に
よって可能になり、基本のデコ−ダ方式に好ましい1つ
の伸張及びデコ−ド・メイン・パイプラインに加えて2
つの予備的伸張及びデコ−ド・パイプラインの存在によ
って特徴付けられ、またその2つの予備的パイプライン
をデコ−ド及び伸張のメイン・パイプラインMPEG2
デ−タのものの2倍のクロック周波数で機能させること
によって特徴付けられる。
図12に基づいて説明する。図1は16MビットPAL
ビデオ信号をサポ−トする事が出来る、PAL又はNT
SC方式に使用可能な、本発明のMPEG2ビデオ・デ
コ−ダの1実施態様を示す。このブロック図1は、MP
EG2ビデオ・デコ−ダの集積回路を含むチップの”コ
ア”又は”ビデオ・コア”を強調する仕方で単純化され
ている。図示のように、このシステムは、別個のチップ
に含まれた外部DRAMメモリの使用を予定しており、
その外部メモリにビデオ・デコ−ダの”ビデオ・コア”
がメモリ・バスを介してアクセスする。また、その外部
メモリは、相当するオ−デオ・バッファにアクセスする
為の(図示されているように)MPEGデコ−ダの”オ
−デオ・コア”によって共用される。そのMPEGデコ
−ダはその同じ外部メモリに形成されている。
リ・バス以外にコントロ−ル・バス(図示されていな
い)にもインタ−フェ−スされる。そのコントロ−ル・
バスを介してシステム・コントロ−ル・マイクロプロセ
ッサが専用インタ−フェ−スを通して介在する。この専
用インタ−フェ−スも図示されていないが、その機能と
ア−キテクチャは、当業者の専門家ならこの論題に関す
る豊富な文献、例えば、前文で引用した出版物等、を参
照することによって直ちに視覚化することが出来る。図
1において、ビデオ・デコ−ダの”コア”は、外部ビデ
オ・メモリ(DRAM)10と結合されており、また”
先入れ先出し”ブロック又はCD・FIFO(以下FI
FO)11を含む。このFIFO11は、外部メモリ1
0の対応バッファ内のI−,P−及びB−画像に関する
圧縮デ−タを読み出し且つ書き込む。
ビデオ・ビッストリ−ム中の画像の開始コ−ドを検知
し、関連コントロ−ル・バスを介して、マイクロプロセ
ッサによってデコ−ド化・システムの正確な同調の為の
開始信号を供給する デコ−ド化及び伸張のメイン・ブロックは、全体として
第1又はメイン・パイプライン(IVLC、RLD、i
Q、IDCT)13によって代表され、クロック周波数
fで機能する。ブロック前方予測子バッファ14は、外
部RAM10の関連バッファ(4,976,640 ビット)から
読み出された、伸張の際B−画像の現在のマクロブロッ
クに関する伸張された前方予測子値を書き込むバッファ
を表している。
予測子は、外部メモリ10の対応バッファ(1,835,008
ビット)に圧縮されたまま維持されており、伸張と同位
相でB−画像のマクロブロックに関する後方予測子特定
値は、抽出され、そのような目的の為に専用ネットワ−
クを使用する”コア”の専用後方予測子バッファ15に
保管される。この専用又は予備のネットワ−クは、前方
予測子バッファ14に加えて、後方予測子バッファ1
5、予備の第1及び第2デコ−ド化及び伸張パイプライ
ン、各々、AUX1パイプライン(IVLC、RLD、
iQ、IDTC)16及びAUX2パイプライン(IV
LC、RLD、iQ、IDTC)17、並びに2つの加
算器S1及びS2によって構成される。予備のAUX1
パイプライン16とAUX2パイプライン17は、各
々、メイン・パイプライン13と同じ構成を有し、それ
と同時に機能するが、2倍のクロック周波数2fで動
く。
うに、この追加の又は予備のネットワ−クによって、P
−画像の圧縮されたマクロブロックは、外部ビデオRA
Mメモリ10の対応するバッファから伸張された形で入
手出来る対応する前方予測子を使用してアクセスされ、
伸張される。伸張されたP−マクロブロックはビデオ領
域を選び出す。そのビデオ領域は、図1の図式に後方予
測子として表示されたRAM領域の中に圧縮された形で
貯蔵されている画像に属している。その後方予測子の中
に、伸張されたB−画像のマクロブロックに関連する後
方予測子値が保管されており、よって伸張されたB−マ
クロブロックの正しい後方予測子値の抽出が可能にな
り、またその後方予測子値の専用内部後方予測子バッフ
ァ15への保管が可能になる。
発生するように働く。マルチプレクサ(以下MUX)1
8を通して選ばれた動作補償ベクトルは、第4加算器S
4を介して、伸張されたB−画像マクロブロックの為の
動作補償手順を完了させる。動作の為に伸張され補償さ
れたB−画像のマクロブロックは、その後マクロブロッ
ク−ラスタ・スンキャン・コンバ−タ19へ送られ、マ
クロブロック−ラスタ・スンキャン・コンバ−タ19
は、画像デ−タをマクロブロック・スンキャンからラス
タ・スンキャンへ変換した後、後処理ユニット20へ送
る。後処理ユニット20は、通常、画像をTV(テレ
ビ)画面に表示する為のPAL/NTSC符号器(コ−
ダ)の前にある。画面上の表示(OSD)機能に必要な
比較的小さな容量を無視した全メモリ必要量9.05M
ビット(=9,481,378ビット)が図1に表示してある。こ
れは、標準のMPEG2デコ−ダの最適化基本必要量1
6、310、070ビットに対して約6.8Mビットの
節約を表している。
835、008ビット(1、75Mビット)の圧縮フレ
−ムの最大範囲を定めている。P−画像とB−画像を圧
縮した形で貯蔵すると、1、835、008*2=3、
670、016ビットに等しいメモリ量が必要になる。
本発明のア−キテクチャ−によれば、外部(DRAM)
メモリは、図1の図式に示されているように、次のよう
に形成することが出来る。 1)前方予測子用フレ−ム・バッファは、最初はI−画
像であるが、それは、伸張され既に表示された続くP−
画像によって徐々に更新される。また、そのサイズは、
MPEG2スタンダ−ドによって定められているよう
に、PALシステム(最も臨界の(最大の)サイズ)で
は4、976、640ビットであり、NTSCシステム
では4、147、200ビットである。 2)P−画像用バッファは、すなわち、後方予測子用で
あり、MPEG2スタンダ−ドによって予想される最悪
の場合の為に、1、835、008ビットを入れること
が可能である。 3)B−画像用バッファは、MPEG2スタンダ−ドに
よって予想される最悪の場合の為に、1、835、00
8ビットを含む。 4)特別のバッファ(40ms及びジッタ圧縮バッフ
ァ)は、チップで行われる伸張作業の非理想性を補償
し、837、722ビットの容量を有する。
有するデコ−ダを使用して行われる本発明の方法によれ
ば、デ−タの保管とビデオRAMメモリに書き入れられ
た圧縮デ−タの伸張とが次の方法で行われる。最初の工
程は、FIFO11によって、外部DRAMメモリ10
に構成された各々のバッファにデ−タ転送デマルチプレ
クサ(多重分離器)から来るビットストリ−ムを貯蔵す
ることにある。第2の工程は、システムのマイクロロセ
ッサ(図示されていない)の助けを借りて、ビットスト
リ−ムに含まれたパラメ−タのどれがデコ−ダの”コ
ア”レジスタを命令するのに使う事が出来るかを選び出
せるようにビットストリ−ム中の画像の開始コ−ドを検
知する(SCD12)ことである。
張し、図1の図表中に外部RAMメモリ10の前方予測
子用領域に保管されるが、まだ後処理ユニット20には
送られてはいない(それは4:2:0形式から4:2:
2形式に変換され、次いでTV画面に表示される)。同
時に、圧縮P−画像は、伸張されること無く、外部RA
Mメモリ10の後方予測子バッファ15に貯蔵される。
新しい圧縮B−画像が、ビットストリ−ムに到達し、そ
して外部RAMメモリ10の関連バッファ(B−画像)
に保管される。この時点で、圧縮I−画像を表示するこ
とが出来、この操作に掛かる時間は、PAL形式の場合
では、40msである。一度I−画像の表示が終わる
と、B−画像がメイン・パイプライン13を介して伸張
され、一方、予備のAUX1パイプライン16とAUX
2パイプライン17は後方予測子を伸張し、定だめる為
に使用される。同時に、マクロブロック−ラスタ・スン
キャン・コンバ−タ19は、続く表示の前に、ラスタ形
式への変換を行う。
ファに圧縮形で以前に蓄えられていたP−画像が伸張さ
れ、同時に、表示され、外部RAMメモリ10の同じバ
ッファに蓄えられ、よって新しい(更新された)前方予
測子になる。本発明のデコ−ダの”コア”の機能的図式
に言及すると、クロック周波数fで働くメイン・パイプ
ライン13は、I−、B−、及びP−画像の伸張を行
う。2倍の周波数2fで機能する2つの予備のAUX1
パイプライン16とAUX2パイプライン17は、B−
画像の正しい再構成をさせる為に後方予測子値を伸張す
るのに使用される。図2は前方予測子バッファ14の内
部ア−キテクチャ−を示している。図面から判るよう
に、この回路は、一対の上下マクロブロック・レジスタ
(16*16*2画素)141と142を有する。これ
らのレジスタ141と142は、メイン・パイプライン
13によって伸張されたB−マクロブロックの後方予測
子があるビデオ領域を定める(予備のAUX1パイプラ
イン16とAUX2パイプライン17を介した伸張に同
調して)後方マクロブロックの上下の前方予測子を蓄え
る。
Mメモリ10のB−画像バッファから読み出され、i番
目のマクロブロックがメイン・パイプライン13で伸張
去れることが考えられる。このマクロブロックから、メ
イン・パイプライン13のI−VLCブロックにおい
て、MPEG2スタンダ−ドによって、各々、前方予測
子と後方予測子を指し示す(最悪の場合に)2つの動作
ベクトルが派生する。このような予測子は、いずれにせ
よ、外部RAMメモリ10に存在する情報に関連してお
り、デコ−ダの”コア”に負荷されなければならない。
前方予測子は、すでに伸張されており、同名のRAMバ
ッファによって読み出され、図2の前方予測子レジスタ
(16*16画素)143に置かれる。
封じ込まれているので、アクセス出来ないが、メイン・
パイプライン13を介した伸張に同調して、B−マクロ
ブロックに関連する後方動作ベクトルの回りに配列され
た4つのマクロブロックによって確認される。この4つ
のマクロブロックは、図1の図表によると”後方予測
子”のRAM領域から読み出される。それらの2つは、
予備のAUX1パイプライン16に送られ、残りの2つ
は、予備のAUX2パイプライン17に送られる。その
理由は、各予備のパイプラインは、逆に通常のシステム
・クロック速度で働くメイン・パイプライン13より2
倍の速度で動作しなければならないからである。
記マクロブロックの1つが予備のAUX1パイプライン
16に入ると、ブロックI−VLCは関連動作補償の為
の前方ベクトルを抽出する。このベクトルは、メモリR
AMコントロ−ラ101に対して関係する前方予測子
(上又は下の)を読み出させ、図2の前方予測子バッフ
ァ14の上下マクロブロック・レジスタ141又は14
2に保管させる。上下マクロブロック・レジスタ141
又は142は、それを、各々、加算器S1又はS2に供
給する。この操作は、予備のAUX1パイプライン16
とAUX2パイプライン17に供給される4つのマック
ロブロックの各々に同じである。
プライン16とAUX2パイプライン17から出力した
伸張されたマクロブロックの動作補償を完了し、続いて
それらは図3に示された後方予測子バッファ15に保管
される。図3において、デコ−ダの”コア”の後方予測
子バッファ15は、一対の上下マクロブロック・レジス
タ(16*16*2画素)151及び152と、デマル
チプレクサ(以下DEMUX)153とから成る。この
上下マクロブロック・レジスタ151及び152は、各
々、メイン・パイプライン13で伸張を行うB−マクロ
ブロックの後方予測子値を定めるP−画像の上下マクロ
ブロックを保管する。また、DEMUX153は、B−
画像のマクロブロックの伸張作業の間に、動作補償加算
器S3に送られる後方予測子を選ぶ。
チャ−についての高度の平行進行は、3つの重要な同じ
デコ−ド化及び伸張化パイプライン(メイン・パイプラ
イン13、予備のAUX1パイプライン16とAUX2
パイプライン17)によって特徴づけられており、それ
らの内部構造とこれらの3つのパイプラインが協働する
方法は、図4の図表に強調されている。各パイプライン
は、普通、可変長入力デコ−ダブロックVLD131、
161、又は171と、それに続く実行長デコ−ダRL
Dと、量子化手段IQUANTと、逆離散コサイン変換
の計算器IDCTとを有するブロック132、162、
又は172とから成る。本発明の方法が基礎とするアル
ゴリズムをより良く理解する為に、本発明のシステムの
機能を、明らかに最も臨界的な状況を含む、MPEG2
デコ−ダの通常の操作中に生じる異なる特徴的な具体例
について以下に詳細に説明する。 予測子配列の第1のケ−スは、図5に示してある。
クロブロックと関係予測子IとPを示している。B−マ
クロブロックの為の動作判断は、いわゆる、”フレ−
ム”型のものである。予測子が含まれている領域を定め
る4つの16*16画素マクロブロックがあるとき、P
予測子は直ちにアクセスすることは出来ない。P型の4
つのマクロブロックの各々は、その型に関連する、その
伸張に必要な前方予測子に属している予測子(16*1
6画素)を有する。この場合、これらのマクロブロック
の各々は、いわゆる、”フレ−ム”モ−ドによって前方
予測子について判断される。4つのP−マクロブロック
の伸張が一度完了すると、B−マクロブロックの為のフ
レ−ム型予測子が抽出される。
が、それに関連する、いわゆる、”フィ−ルド”型の動
作判断を有している場合を示している。 これは、図7に示してあるように、大量の必要デ−タの
ために最も臨界的なケ−スの1つである。この図は、フ
レ−ムに属し、再構成されるB−マクロブロックを示し
ており、そのフレ−ムが、いわゆる、”フィ−ルド”型
の2つの部分から構成され、その各部分が2つのP−フ
ィ−ルドの1つの16*8予測子を指し示している。2
つのP−フィ−ルドは、相互に独立した2つの圧縮画像
である。各予想子(16*8)は、4つのP−マクロブ
ロック(16*16)によって定められた領域に囲まれ
ているので、直接にアクセスすることが出来ない。16
*8型の予測子は、4つのマクロブロックの各々の為に
定められることが出来る。何故なら、その4つのマクロ
ブロックが1つのフィ−ルドに属しているからである。
方予測子に属している2つの16*8ブロックをアクセ
スする必要がある。これはまた4つのP−マクロブロッ
クの各々にも適用する。これらの全部は、伸張されるB
−マクロブロックの両方の16*8フィ−ルド部分のた
めに繰り返される。図8は、図7の場合と同様のケ−ス
を示しているが、各P−マクロブロックは、それに関連
する、フィ−ルド型の動作判断を有していることが異な
る。代わりに、図9に示された状態では、複数のB予測
子が1つのフレ−ム型の同じ画像上に位置している。従
って、P−マクロブロックの予測子は、フレ−ム型のも
のであることができる(ないしは、別の、図10に示さ
れているように、フィ−ルド型のものであることもでき
る)。
ブロックは、(16*16)フィ−ルド型のものであ
る。従って、ケ−ス1でなされたと同じ考慮がこと場合
でも適用する。さらに、P−マクロブロックの判断は、
この場合では、16*8型のものまでも出来る。 図12に示されたケ−スは、ケ−ス2のような他の臨界
的場合を表している。ケ−ス2との違いは、B−マクロ
ブロックがフィ−ルド型(16*8画素)のものであ
り、従って、予測は16*8型のものであるという事実
である。マクロブロックは、2つの16*8、すなわ
ち、上下各々1つに分けられる。16*8B−マクロブ
ロックの各部分は、図7のケ−ス2の記載のように、予
測子を確認する。
の”コア”を示すブロック図。
ァ・ブロックの内部ア−キテクチャ−を示すブロック
図。
ァ・ブロックの内部ア−キテクチャ−を示すブロック
図。
ン・ブロック、MAIN,AUX1,AUX2の協調し
た機能を示すブロック図。
によって再構成された場合を示す概略斜視図。
タ 20 後処理ユニット 141 上マクロブロック・レジスタ 142 下マクロブロック・レジスタ 143 前方予測子レジスタ 151 上マクロブロック・レジスタ 152 下マクロブロック・レジスタ 153 DEMUX S1,S2,S3,S4 加算器
Claims (2)
- 【請求項1】 MPEG2デコ−ダがMPEG圧縮アル
ゴリズムのI−,P−及びB−画像を伸張する段階を含
み、これらの画像に関連するデ−タがビデオ・メモリに
構成された対応するバッファに蓄えられ、また、前記P
EG2デコ−ダでB−画像の伸張がそれぞれ前方及び後
方の動作補償予測子を使用して行われるMPEG2デコ
−ダのビデオ・メモリ必要量を最適に減らす方法におい
て、前記ビデオ・メモリに蓄えられた関連後方予測子を
圧縮形に維持しながら、B−画像をマクロブロックで伸
張し、また圧縮P−画像のマクロブロックを対応する前
方予測子値を使用して伸張すること;伸張を行うB−画
像のマクロブロックの後方予測子値を含む蓄えられた圧
縮後方予測子の領域を前記伸張されたPマクロブロック
を介して定めること;及び前記領域から伸張を行うB−
マクロブロックのための対応する後方予測子値を抽出
し、またMPEGスタンダ−ドによって動作補償ル−チ
ンを完了することとから成ることを特徴とするMPEG
2デコ−ダのビデオ・メモリ必要量を最適に減らす方
法。 - 【請求項2】 コントロ−ル・バスと、外部ビデオRA
Mに構成された対応する貯蔵バッファに対して書き込み
と読み出しをするビデオ画像処理に関連するデ−タ・バ
スとにインタ−フェ−スすることができるMPEG2ビ
デオ・デコ−ダであって、前記ビデオ・デコ−ダの”コ
ア”が、前記外部ビデオRAMに構成されたビデオ・ビ
ットストリ−ムのための第1バッファに対して圧縮デ−
タの読み出し書き込みをおこなう先入れ先出しバッファ
と;画像の開始符号を検知する検知回路と;デコ−ド化
と伸張をクロック周波数fで行うメイン・パイプライン
と;伸張前方予測子のための前方予測子バッファとを含
むMPEG2ビデオ・デコ−ダにおいて、前記メイン・
パイプラインと同時にデコ−ド化と伸張を2重クロック
周波数2fで行う第1及び第2の予備パイプラインと;
前記メモリから読み出されたデコ−ド及び伸張されたデ
−タを前記第1及び第2の予備パイプラインから出力さ
れたデコ−ド及び伸張されたデ−タに各々加算し、伸張
を行うB−画像マクロブロックに関連する後方予測子値
を定める伸張されたデ−タを各々出力する第1及び第2
加算器と;伸張を行うB−画像マクロブロックに関する
前記後方予測子値を貯蔵するための後方予測子バッファ
と;前記前方及び後方予測子バッファから読みだした前
方及び後方予測子デ−タを加算し、動作ベクトルを定め
る第3加算器と;前記動作ベクトルを選ぶためのマルチ
プレクサと;前記クロック周波数fで機能する前記メイ
ン・パイプラインから出力された各B−画像マクロブロ
ックのデコ−ド及び伸張されたデ−タを前記マルチプレ
クサによって選ばれた対応する動作ベクトルに加算して
動作補償デ−タを出力する第4加算器と;前記デコ−ド
及び伸張されたデ−タ及び前記動作補償デ−タを前記外
部ビデオRAMの前方予測子バッファに貯蔵するための
手段と;マクロブロック・スンキャン・デ−タをラスタ
・スンキャン・デ−タに変換するためのマクロブロック
−ラスタ・スンキャン・コンバ−タ手段と;前記マクロ
ブロック−ラスタ・スンキャン・コンバ−タ手段から出
力された変換デ−タを画像をテレビ画面に表示するビデ
オPAL/NTSCエンコ−ダに送るための後処理手段
とを備えたことを特徴とするMPEG2ビデオ・デコ−
ダ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP96830085A EP0793389B1 (en) | 1996-02-27 | 1996-02-27 | Memory reduction in the MPEG-2 main profile main level decoder |
IT96830085.5 | 1996-02-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09247688A true JPH09247688A (ja) | 1997-09-19 |
Family
ID=8225818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9056887A Pending JPH09247688A (ja) | 1996-02-27 | 1997-02-25 | Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5923375A (ja) |
EP (1) | EP0793389B1 (ja) |
JP (1) | JPH09247688A (ja) |
DE (1) | DE69614500T2 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69731342T2 (de) * | 1996-08-22 | 2005-03-17 | Matsushita Electric Industrial Co., Ltd., Kadoma | Bildverarbeitungsvorrichtung |
US6256348B1 (en) * | 1996-08-30 | 2001-07-03 | Texas Instruments Incorporated | Reduced memory MPEG video decoder circuits and methods |
US6101221A (en) * | 1997-07-31 | 2000-08-08 | Lsi Logic Corporation | Video bitstream symbol extractor for use in decoding MPEG compliant video bitstreams meeting 2-frame and letterboxing requirements |
US6122316A (en) * | 1997-07-31 | 2000-09-19 | Lsi Logic Corporation | MPEG decoding system meeting 2-frame store and letterboxing requirements |
US6122321A (en) * | 1998-05-12 | 2000-09-19 | Hitachi America, Ltd. | Methods and apparatus for reducing the complexity of inverse quantization operations |
US6470051B1 (en) * | 1999-01-25 | 2002-10-22 | International Business Machines Corporation | MPEG video decoder with integrated scaling and display functions |
KR100399932B1 (ko) | 2001-05-07 | 2003-09-29 | 주식회사 하이닉스반도체 | 메모리의 양을 감소시키기 위한 비디오 프레임의압축/역압축 하드웨어 시스템 |
US6738980B2 (en) * | 2001-11-15 | 2004-05-18 | Industrial Technology Research Institute | Methods and systems for video streaming with VCR functionality |
US7003035B2 (en) * | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
US9330060B1 (en) * | 2003-04-15 | 2016-05-03 | Nvidia Corporation | Method and device for encoding and decoding video image data |
US8660182B2 (en) * | 2003-06-09 | 2014-02-25 | Nvidia Corporation | MPEG motion estimation based on dual start points |
KR100517504B1 (ko) * | 2003-07-01 | 2005-09-28 | 삼성전자주식회사 | B-픽처의 움직임 보상 모드 결정방법 및 장치 |
US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
US8423597B1 (en) | 2003-08-29 | 2013-04-16 | Nvidia Corporation | Method and system for adaptive matrix trimming in an inverse discrete cosine transform (IDCT) operation |
US7616692B2 (en) * | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
US7623574B2 (en) * | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
US7567617B2 (en) | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
US7620106B2 (en) * | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
CN1323556C (zh) * | 2004-02-25 | 2007-06-27 | 凌阳科技股份有限公司 | 可节省暂存器的双向动态补偿方法 |
TWI277013B (en) * | 2005-02-01 | 2007-03-21 | Ind Tech Res Inst | Method for reducing buffered-frame memory sizes and accesses in a video codec |
US7924914B2 (en) | 2005-09-20 | 2011-04-12 | Intel Corporation | Dynamically configuring a video decoder cache for motion compensation |
US8731071B1 (en) | 2005-12-15 | 2014-05-20 | Nvidia Corporation | System for performing finite input response (FIR) filtering in motion estimation |
US8724702B1 (en) | 2006-03-29 | 2014-05-13 | Nvidia Corporation | Methods and systems for motion estimation used in video coding |
US8660380B2 (en) * | 2006-08-25 | 2014-02-25 | Nvidia Corporation | Method and system for performing two-dimensional transform on data value array with reduced power consumption |
US20080267295A1 (en) * | 2007-04-26 | 2008-10-30 | Chih-Ta Star Sung | Video decompression, de-interlacing and frame rate conversion with frame buffer compression |
US8756482B2 (en) * | 2007-05-25 | 2014-06-17 | Nvidia Corporation | Efficient encoding/decoding of a sequence of data frames |
US20080291209A1 (en) * | 2007-05-25 | 2008-11-27 | Nvidia Corporation | Encoding Multi-media Signals |
US9118927B2 (en) * | 2007-06-13 | 2015-08-25 | Nvidia Corporation | Sub-pixel interpolation and its application in motion compensated encoding of a video signal |
US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
US8873625B2 (en) * | 2007-07-18 | 2014-10-28 | Nvidia Corporation | Enhanced compression in representing non-frame-edge blocks of image frames |
US8666181B2 (en) * | 2008-12-10 | 2014-03-04 | Nvidia Corporation | Adaptive multiple engine image motion detection system and method |
US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
US20120236940A1 (en) * | 2011-03-16 | 2012-09-20 | Texas Instruments Incorporated | Method for Efficient Parallel Processing for Real-Time Video Coding |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
US9451257B2 (en) | 2013-03-22 | 2016-09-20 | Stmicroelectronics S.R.L. | Method and apparatus for image encoding and/or decoding and related computer program products |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5212742A (en) * | 1991-05-24 | 1993-05-18 | Apple Computer, Inc. | Method and apparatus for encoding/decoding image data |
JPH05268590A (ja) * | 1992-03-17 | 1993-10-15 | Nec Corp | 動画像符号化復号化回路 |
JP3308990B2 (ja) * | 1992-07-03 | 2002-07-29 | 松下電器産業株式会社 | 動画像の予測符号化方法及び予測符号化装置 |
JPH07240844A (ja) * | 1993-03-19 | 1995-09-12 | Mitsubishi Electric Corp | 画像データ処理装置および画像データ処理方法 |
US5815646A (en) * | 1993-04-13 | 1998-09-29 | C-Cube Microsystems | Decompression processor for video applications |
US5684534A (en) * | 1993-05-26 | 1997-11-04 | Intel Corporation | Task-splitting dual-processor system for motion estimation processing |
FR2705805B1 (fr) * | 1993-05-27 | 1996-06-28 | Sgs Thomson Microelectronics | Système de traitement d'images. |
JP2515231B2 (ja) * | 1993-06-30 | 1996-07-10 | 株式会社日本紡績用品研究所 | ル―ズボストップロ―ラ |
US5576765A (en) * | 1994-03-17 | 1996-11-19 | International Business Machines, Corporation | Video decoder |
DE4416967A1 (de) * | 1994-05-13 | 1995-11-16 | Thomson Brandt Gmbh | Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten |
US5557538A (en) * | 1994-05-18 | 1996-09-17 | Zoran Microelectronics Ltd. | MPEG decoder |
JPH0837662A (ja) * | 1994-07-22 | 1996-02-06 | Hitachi Ltd | 画像符号化復号化装置 |
TW245871B (en) * | 1994-08-15 | 1995-04-21 | Gen Instrument Corp | Method and apparatus for efficient addressing of dram in a video decompression processor |
US5623311A (en) * | 1994-10-28 | 1997-04-22 | Matsushita Electric Corporation Of America | MPEG video decoder having a high bandwidth memory |
US5644361A (en) * | 1994-11-30 | 1997-07-01 | National Semiconductor Corporation | Subsampled frame storage technique for reduced memory size |
JP3732867B2 (ja) * | 1995-03-09 | 2006-01-11 | 株式会社ルネサステクノロジ | 画像伸張装置 |
US5774206A (en) * | 1995-05-10 | 1998-06-30 | Cagent Technologies, Inc. | Process for controlling an MPEG decoder |
US5638531A (en) * | 1995-06-07 | 1997-06-10 | International Business Machines Corporation | Multiprocessor integrated circuit with video refresh logic employing instruction/data caching and associated timing synchronization |
EP0778709B1 (en) * | 1995-12-04 | 2001-05-23 | STMicroelectronics S.r.l. | MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data |
US5818533A (en) * | 1996-08-08 | 1998-10-06 | Lsi Logic Corporation | Method and apparatus for decoding B frames in video codecs with minimal memory |
US5844608A (en) * | 1996-12-12 | 1998-12-01 | Thomson Consumer Electronics, Inc. | Picture element processor for a memory management system |
-
1996
- 1996-02-27 DE DE69614500T patent/DE69614500T2/de not_active Expired - Fee Related
- 1996-02-27 EP EP96830085A patent/EP0793389B1/en not_active Expired - Lifetime
-
1997
- 1997-02-13 US US08/799,143 patent/US5923375A/en not_active Expired - Lifetime
- 1997-02-25 JP JP9056887A patent/JPH09247688A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US5923375A (en) | 1999-07-13 |
EP0793389A1 (en) | 1997-09-03 |
DE69614500T2 (de) | 2001-11-22 |
EP0793389B1 (en) | 2001-08-16 |
DE69614500D1 (de) | 2001-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH09247688A (ja) | Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減 | |
US5668599A (en) | Memory management for an MPEG2 compliant decoder | |
JP3395166B2 (ja) | 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体 | |
KR100542624B1 (ko) | Mpeg 호환 가능한 신호 처리 시스템 및 압축된 mpeg 코딩된 이미지를 나타내는 데이터의 데이터스트림을 처리하기 위한 방법 | |
KR100504471B1 (ko) | 비디오 디코딩 시스템 | |
KR19980042224A (ko) | 트랜스포트, 복호화, 시스템 제어기 기능용 통합 메모리를 가지는 엠피이지 복호화기 시스템 및 방법 | |
JP2007281630A (ja) | 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置 | |
JP2007529178A (ja) | 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ | |
WO2006006489A1 (ja) | 動き検出装置 | |
EP1147671B1 (en) | Method and apparatus for performing motion compensation in a texture mapping engine | |
JPH08280022A (ja) | 符号化ビデオ信号の復号化方法及び装置 | |
KR100381556B1 (ko) | 감소된메모리요구를갖는압축비디오데이터스트림을디코딩및코딩하기위한방법 | |
JPH11168729A (ja) | 画像復号化装置及び画像復号化方法 | |
WO2010021153A1 (ja) | 動き検出装置 | |
JP3685386B2 (ja) | 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム | |
JP2000333166A (ja) | 高効率符号化画像の復号手段及び同手段を有する画像表示装置 | |
JP2003061101A (ja) | 画像復号化方法及び装置 | |
KR100367581B1 (ko) | 멀티미디어서브장치 | |
JPH11298892A (ja) | 符号化画像の復号装置及び画像表示装置 | |
JP2000032475A (ja) | 動画像再生装置 | |
JP2002232780A (ja) | ディジタル信号復号装置及びディジタル信号復号方法 | |
JP4338727B2 (ja) | 画像処理装置 | |
JP4338726B2 (ja) | 画像処理装置 | |
JP4338725B2 (ja) | 画像処理装置 | |
TW498688B (en) | Method and device for resorting an image decode order using the pseudo-image pictures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040220 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040220 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070514 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070525 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070612 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070615 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070712 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070718 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070720 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070816 |