JPH09247688A - Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減 - Google Patents

Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減

Info

Publication number
JPH09247688A
JPH09247688A JP9056887A JP5688797A JPH09247688A JP H09247688 A JPH09247688 A JP H09247688A JP 9056887 A JP9056887 A JP 9056887A JP 5688797 A JP5688797 A JP 5688797A JP H09247688 A JPH09247688 A JP H09247688A
Authority
JP
Japan
Prior art keywords
data
predictor
buffer
macroblock
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9056887A
Other languages
English (en)
Inventor
Danilo Pau
ダニロ・パウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SGS THOMSON MICROELECTRONICS
STMicroelectronics SRL
Original Assignee
SGS THOMSON MICROELECTRONICS
SGS Thomson Microelectronics SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SGS THOMSON MICROELECTRONICS, SGS Thomson Microelectronics SRL filed Critical SGS THOMSON MICROELECTRONICS
Publication of JPH09247688A publication Critical patent/JPH09247688A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Input (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【目的】 画質を低下することなく保持したまま、ビデ
オ・メモリの必要量を減少させ且つ最適化させたMPE
G2ビデオ・デコ−ダと、そのMPEG2デコ−ダのビ
デオ・メモリ必要量を最適に減らす方法を提供する。 【構成】 MPEG2ビデオ・デコ−ダは、外部ビデオ
・メモリに構成されたそれぞれのバッファにデ−タを書
き込む前に、MPEG圧縮アルゴリズムのI−、P−及
びB−画像を伸張する段階を含み、また、B−画像の伸
張は前方及び後方動作補償予測子の使用を伴う。前記ビ
デオ・メモリに蓄えられた関連後方予測子を圧縮形に維
持しながら、B−画像をマクロブロックで伸張し、また
圧縮P−画像のマクロブロックを対応する前方予測子値
を使用して伸張する。伸張を行うB−画像のマクロブロ
ックの後方予測子値を含む蓄えられた圧縮後方予測子の
領域を前記伸張されたPマクロブロックを介して定め
る。さらに、前記領域から伸張を行うB−マクロブロッ
クのための対応する後方予測子値を抽出し、またMPE
Gスタンダ−ドによって動作補償ル−チンを完了する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、MPEG圧縮アルゴリ
ズムの使用に基づく集積ビデオ・デコ−ダに関し、特に
MPEGの第2及びより進歩したバ−ジョンMPEG2
のビデオ・メモリの必要量を最適に減少させる方法、及
びビデオ・メモリの必要量を最適に減少させたMPEG
2による集積ビデオ・デコ−ダに関する。
【0002】
【従来の技術】MPEG1スタンダ−ドは、デジタル型
の記憶装置、例えば、CD−ROMにおいてビデオ情報
を貯蔵しまた検索する効果的方法を達成する工業的必要
性に応じて発展された。勿論、MPEG1スタンダ−ド
は、同様の装置、例えば、DAT、ウインチェスタ・デ
ィスク装置、光ディスク装置、及びISDN、並びにL
ANネットワ−クにおいてデ−タを効果的に貯蔵する為
の強力なツ−ルである。しかし、より効果的なバ−ジョ
ンのスタンダ−ドであるMPEG2が、デジタル・ビデ
オ送信用途の分野でのビットレ−ト必要量を支持して発
達された。このスタンダ−ドは、一般に、約20Mbp
sのビットレ−トまでの完全にインタ−レ−スのTV分
解画像デジタルTVシステム用に受け入れられてきた。
特殊バ−ジョンのMPEG2スタンダ−ドが、将来発生
するHDTVシステムに使用されると期待されている。
【0003】MPEGスタンダ−ドは、重要なアルゴリ
ズムや以前の国際スタンダ−ド、例えば、CCITT動
作ベクトル決定アルゴリズムH.261や静止画像の符
号化の為のISO・JPEG委員会のISO・1091
8スタンダ−ドによって決められた基準と合体して利用
されている。MPEGスタンダ−ド(1と2)の定義
は、異なる技術の実施とMPEGスタンダ−ドによる圧
縮ビデオ画像に関するデ−タの関連コ−ド・デコ−ド・
システムとを網羅した記述と共に、この問題に関する豊
富な記事や出版物に記載されており、それらの幾つかを
以下に挙げる。 1)国際規格制定草案ISO/IEC・DIS・138
18−2”情報技術−動画の汎用符号化と関連オ−デオ
情報”。 2)”MPEG符号化及び輸送システム”、レオナルド
・キアリジョ−ネ、デジタル・テレビ放送−会報。 3)”MPEGビデオ圧縮アルゴリズム”、ディディエ
−ル・J・ルガル、信号処理画像通信、エルスビア・サ
イエンス・パブリッシャ−BV、Vol.4、No.
2,1992年4月。 4)ダイジェストNo.1995/012、エレクトロ
ニクス部門、電気工学学会−ロンドン、学会、”MPE
G−2−それは何かまた何でないか”。 5)”MPEG圧縮アルゴリズムの概観”技術ノ−ト、
SGS−トムソン・マイクロエレクトロニクス(529
/0294)。 6)デ−タシ−ト:SGS−トムソン・マイクロエレク
トロニクスの”STi3500A”デ−タシ−ト。 7)”STi3500A−MPEGオ−デオ/MPEG
−2ビデオ集積デコ−ダの為の進歩した情報”(199
5年5月)。
【0004】MPEG−2デコ−ダの典型的なア−キテ
クチャ−によれば、SGS−トムソン・マイクロエレク
トロニクス社によって市販されたMPEGオ−デオ/M
PEG2ビデオ集積デコ−ダに関する公開デ−タシ−ト
No.STi3500Aの図3に示されているように、
ここでは図1として再現されているが、ビデオ・メモリ
のよく定義された必要量が存在し、その必要量は、PA
L及びNTSC方式の為の16MビットPALビデオ信
号をサポ−トすることが出来る外部DRAMメモリの容
量である。そのメモリ容量の見積もりは次のように行う
ことが出来る。MPEG2ビデオ・デコ−ダとMPEG
オ−デオ・デコ−ダの両方が普通のインタ−フェ−ス介
して唯一の16ビット外部DRAMメモリにアクセスす
ることを考えると、オ−デオ・デコ−ダは131,07
2ビットのみアクセスに必要とし、16、646、14
4ビットが残り、これはMPEG2ビデオ・デコ−ダの
必要量を満足させるのに利用できる。ビデオ・メモリは
通例の方式によればつぎのように構成することが出来
る。
【0005】1)”ビット・バッファ”、それは、MP
EG2スタンダ−ドが1.75Mビットプラス余分の量
で固定する圧縮デ−タの為のバッファであり、例えば、
実際に行われる非理想的伸張プロセスを考慮して83
4、722ビットになる。 2(第1の”I−フレ−ム・バッファ”は4:2:0形
式での伸張された内部画像又は略してI−画像の為のも
のである。 3)第2の”P−フレ−ム・バッファ”は4:2:0形
式での伸張された予測された画像又は略してP−画像の
為のものである。 4)第3の”B−フレ−ム・バッファ”は4:2:0形
式での伸張された双方向的予測された画像又は略してB
−画像の為のものであり、必要メモリ量を減少するよう
に最適化され、PAL又はNTSCシステムの場合に各
々フレ−ムの0.7407又は0.611になる。公知
のMPEG2スタンダ−ド技術によれば、I−、P−又
はB−画像に対処することとは関係なく、ビデオ・スタ
ンダ−ドの型に依存して、形式4:2:0における各”
フレ−ム・バッファ”は次の表1に与えられたメモリ量
を占める。
【0006】
【表1】
【0007】従って、PALシステムの場合は、最も負
担となる場合を代表しているが、基準例としてもよく、
実際の必要メモリの全量は次のように与えられる。 1,835,008 + 835,584 + 4.976,640 + 4,976,640 + (4,9
76,640*0.7407)= 16,310,070ビット この計算はB−画像フレ−ム・バッファの0.747最
適化を考慮している。
【0008】さらなる最適化は、外部RAMに貯蔵する
ことに頼ることなく、B−画像の伸張を行うことにあ
り、表示ユニットの上流に機能的に置かれた専用回路ブ
ロック、通常マクロブロック−ラスタ・スンキャン・コ
ンバ−タと称する、によって集積デコ−ダ装置の内部で
同様の機能を行うことによってなされる。これは、高速
集積メモリ、例えば、100Mz及びそれ以上で機能す
る同期SDRAMから成るB−画像用内部バッファを使
用することによって行われる。このさらなる最適化を考
慮することによって、ビデオ・メモリ必要量は次のよう
にさらに減少する。 1,835,008 + 835,584 + 4,976,640 + 4,976,640 = 12,6
23,872ビット その理由は、内部B−画像バッファが、MPEG2圧縮
デ−タストリ−ムに定義されているように、TV画面上
の画像の表示処理によって必要とされるフィ−ルド又は
フレ−ム画像のライン・スキャンにおいて、各8*8画
素ブロックのスキャンを変換させるからである。
【0009】
【発明が解決しようとする課題】1995年12月4日
に同じ出願人によって出願されたヨ−ロッパ特許出願N
o.95830504.7は、I及びP−画像の再圧縮
工程を介して、MPEG2伸張の後、適応差動パルス符
号変調(ADPCM)方式によって、比較的小さな画質
の低下で、メモリ必要量が8Mビット以下に著しく減少
された方法及び関連MPEG2デコ−ダ・ア−キテクチ
ャ−を記述している。
【0010】
【発明の目的】本発明は、かかる従来技術の欠点および
不都合を取り除き、画質を低下することなく保持したま
ま、MPEG2のビデオ・メモリの必要量を最適に減少
させる方法を提供することを目的とする。本発明は、ま
た、画質を低下することなく保持したまま、ビデオ・メ
モリの必要量を減少させ且つ最適化させたMPEG2ビ
デオ・デコ−ダを提供することを目的とする。
【0011】
【課題を解決するための手段】基本的に、本発明の方法
は、最悪の場合でも、2つの前方及び後方予測子を使用
して、外部RAMメモリにおいて圧縮され且つ保管され
た、B−画像のマクロブロックによる伸張を利用してい
る。前方予測子は、伸張された形で外部メモリに保管さ
れた画像に含まれる。反対に、本発明の重要なアスペク
トによれば、後方予測子は、従来のシステムにおいてと
同様に外部RAMメモリに直ちにアクセス可能ではなく
(伸張された形では可能である)、むしろ、アクセスさ
れまたそのような後方予測子が位置するであろう所の外
部RAMメモリにおいて圧縮され且つ保管された画像の
領域を定めるP−マクロブロックから成る。
【0012】一方、これらのマクロブロックは、圧縮さ
れた形で保管され、従って、本発明の方法は、関連する
前方予測子を使用して(動作補償)それらの伸張を与え
る。それらの前方予測子は、最悪の場合、前述のB−画
像マクロブロックを伸張するために使用されたものとは
異なり、また、いづれにせよ、MPEGスタンダ−ドに
よって、動作補償ル−チンを完成させる為にいつも使用
される。本発明の他のアスペクトによれば、これは、ビ
デオ・デコ−ダの”コア”の特別のア−キテクチャ−に
よって可能になり、基本のデコ−ダ方式に好ましい1つ
の伸張及びデコ−ド・メイン・パイプラインに加えて2
つの予備的伸張及びデコ−ド・パイプラインの存在によ
って特徴付けられ、またその2つの予備的パイプライン
をデコ−ド及び伸張のメイン・パイプラインMPEG2
デ−タのものの2倍のクロック周波数で機能させること
によって特徴付けられる。
【0013】
【実施例】以下、本発明を実施態様を参照して図1乃至
図12に基づいて説明する。図1は16MビットPAL
ビデオ信号をサポ−トする事が出来る、PAL又はNT
SC方式に使用可能な、本発明のMPEG2ビデオ・デ
コ−ダの1実施態様を示す。このブロック図1は、MP
EG2ビデオ・デコ−ダの集積回路を含むチップの”コ
ア”又は”ビデオ・コア”を強調する仕方で単純化され
ている。図示のように、このシステムは、別個のチップ
に含まれた外部DRAMメモリの使用を予定しており、
その外部メモリにビデオ・デコ−ダの”ビデオ・コア”
がメモリ・バスを介してアクセスする。また、その外部
メモリは、相当するオ−デオ・バッファにアクセスする
為の(図示されているように)MPEGデコ−ダの”オ
−デオ・コア”によって共用される。そのMPEGデコ
−ダはその同じ外部メモリに形成されている。
【0014】もちろん、その”ビデオ・コア”は、メモ
リ・バス以外にコントロ−ル・バス(図示されていな
い)にもインタ−フェ−スされる。そのコントロ−ル・
バスを介してシステム・コントロ−ル・マイクロプロセ
ッサが専用インタ−フェ−スを通して介在する。この専
用インタ−フェ−スも図示されていないが、その機能と
ア−キテクチャは、当業者の専門家ならこの論題に関す
る豊富な文献、例えば、前文で引用した出版物等、を参
照することによって直ちに視覚化することが出来る。図
1において、ビデオ・デコ−ダの”コア”は、外部ビデ
オ・メモリ(DRAM)10と結合されており、また”
先入れ先出し”ブロック又はCD・FIFO(以下FI
FO)11を含む。このFIFO11は、外部メモリ1
0の対応バッファ内のI−,P−及びB−画像に関する
圧縮デ−タを読み出し且つ書き込む。
【0015】開始符号検知回路(以下SCD)12は、
ビデオ・ビッストリ−ム中の画像の開始コ−ドを検知
し、関連コントロ−ル・バスを介して、マイクロプロセ
ッサによってデコ−ド化・システムの正確な同調の為の
開始信号を供給する デコ−ド化及び伸張のメイン・ブロックは、全体として
第1又はメイン・パイプライン(IVLC、RLD、i
Q、IDCT)13によって代表され、クロック周波数
fで機能する。ブロック前方予測子バッファ14は、外
部RAM10の関連バッファ(4,976,640 ビット)から
読み出された、伸張の際B−画像の現在のマクロブロッ
クに関する伸張された前方予測子値を書き込むバッファ
を表している。
【0016】本発明の重要なアスペクトによると、後方
予測子は、外部メモリ10の対応バッファ(1,835,008
ビット)に圧縮されたまま維持されており、伸張と同位
相でB−画像のマクロブロックに関する後方予測子特定
値は、抽出され、そのような目的の為に専用ネットワ−
クを使用する”コア”の専用後方予測子バッファ15に
保管される。この専用又は予備のネットワ−クは、前方
予測子バッファ14に加えて、後方予測子バッファ1
5、予備の第1及び第2デコ−ド化及び伸張パイプライ
ン、各々、AUX1パイプライン(IVLC、RLD、
iQ、IDTC)16及びAUX2パイプライン(IV
LC、RLD、iQ、IDTC)17、並びに2つの加
算器S1及びS2によって構成される。予備のAUX1
パイプライン16とAUX2パイプライン17は、各
々、メイン・パイプライン13と同じ構成を有し、それ
と同時に機能するが、2倍のクロック周波数2fで動
く。
【0017】実際には、以下により広範囲に説明するよ
うに、この追加の又は予備のネットワ−クによって、P
−画像の圧縮されたマクロブロックは、外部ビデオRA
Mメモリ10の対応するバッファから伸張された形で入
手出来る対応する前方予測子を使用してアクセスされ、
伸張される。伸張されたP−マクロブロックはビデオ領
域を選び出す。そのビデオ領域は、図1の図式に後方予
測子として表示されたRAM領域の中に圧縮された形で
貯蔵されている画像に属している。その後方予測子の中
に、伸張されたB−画像のマクロブロックに関連する後
方予測子値が保管されており、よって伸張されたB−マ
クロブロックの正しい後方予測子値の抽出が可能にな
り、またその後方予測子値の専用内部後方予測子バッフ
ァ15への保管が可能になる。
【0018】第3の加算器S3は、動作補償ベクトルを
発生するように働く。マルチプレクサ(以下MUX)1
8を通して選ばれた動作補償ベクトルは、第4加算器S
4を介して、伸張されたB−画像マクロブロックの為の
動作補償手順を完了させる。動作の為に伸張され補償さ
れたB−画像のマクロブロックは、その後マクロブロッ
ク−ラスタ・スンキャン・コンバ−タ19へ送られ、マ
クロブロック−ラスタ・スンキャン・コンバ−タ19
は、画像デ−タをマクロブロック・スンキャンからラス
タ・スンキャンへ変換した後、後処理ユニット20へ送
る。後処理ユニット20は、通常、画像をTV(テレ
ビ)画面に表示する為のPAL/NTSC符号器(コ−
ダ)の前にある。画面上の表示(OSD)機能に必要な
比較的小さな容量を無視した全メモリ必要量9.05M
ビット(=9,481,378ビット)が図1に表示してある。こ
れは、標準のMPEG2デコ−ダの最適化基本必要量1
6、310、070ビットに対して約6.8Mビットの
節約を表している。
【0019】確かに、MPEG2スタンダ−ドは、1、
835、008ビット(1、75Mビット)の圧縮フレ
−ムの最大範囲を定めている。P−画像とB−画像を圧
縮した形で貯蔵すると、1、835、008*2=3、
670、016ビットに等しいメモリ量が必要になる。
本発明のア−キテクチャ−によれば、外部(DRAM)
メモリは、図1の図式に示されているように、次のよう
に形成することが出来る。 1)前方予測子用フレ−ム・バッファは、最初はI−画
像であるが、それは、伸張され既に表示された続くP−
画像によって徐々に更新される。また、そのサイズは、
MPEG2スタンダ−ドによって定められているよう
に、PALシステム(最も臨界の(最大の)サイズ)で
は4、976、640ビットであり、NTSCシステム
では4、147、200ビットである。 2)P−画像用バッファは、すなわち、後方予測子用で
あり、MPEG2スタンダ−ドによって予想される最悪
の場合の為に、1、835、008ビットを入れること
が可能である。 3)B−画像用バッファは、MPEG2スタンダ−ドに
よって予想される最悪の場合の為に、1、835、00
8ビットを含む。 4)特別のバッファ(40ms及びジッタ圧縮バッフ
ァ)は、チップで行われる伸張作業の非理想性を補償
し、837、722ビットの容量を有する。
【0020】図1に示されたようなア−キテクチャ−を
有するデコ−ダを使用して行われる本発明の方法によれ
ば、デ−タの保管とビデオRAMメモリに書き入れられ
た圧縮デ−タの伸張とが次の方法で行われる。最初の工
程は、FIFO11によって、外部DRAMメモリ10
に構成された各々のバッファにデ−タ転送デマルチプレ
クサ(多重分離器)から来るビットストリ−ムを貯蔵す
ることにある。第2の工程は、システムのマイクロロセ
ッサ(図示されていない)の助けを借りて、ビットスト
リ−ムに含まれたパラメ−タのどれがデコ−ダの”コ
ア”レジスタを命令するのに使う事が出来るかを選び出
せるようにビットストリ−ム中の画像の開始コ−ドを検
知する(SCD12)ことである。
【0021】I−画像が検知されるやいなや、これを伸
張し、図1の図表中に外部RAMメモリ10の前方予測
子用領域に保管されるが、まだ後処理ユニット20には
送られてはいない(それは4:2:0形式から4:2:
2形式に変換され、次いでTV画面に表示される)。同
時に、圧縮P−画像は、伸張されること無く、外部RA
Mメモリ10の後方予測子バッファ15に貯蔵される。
新しい圧縮B−画像が、ビットストリ−ムに到達し、そ
して外部RAMメモリ10の関連バッファ(B−画像)
に保管される。この時点で、圧縮I−画像を表示するこ
とが出来、この操作に掛かる時間は、PAL形式の場合
では、40msである。一度I−画像の表示が終わる
と、B−画像がメイン・パイプライン13を介して伸張
され、一方、予備のAUX1パイプライン16とAUX
2パイプライン17は後方予測子を伸張し、定だめる為
に使用される。同時に、マクロブロック−ラスタ・スン
キャン・コンバ−タ19は、続く表示の前に、ラスタ形
式への変換を行う。
【0022】最後に、外部RAMメモリ10の関係バッ
ファに圧縮形で以前に蓄えられていたP−画像が伸張さ
れ、同時に、表示され、外部RAMメモリ10の同じバ
ッファに蓄えられ、よって新しい(更新された)前方予
測子になる。本発明のデコ−ダの”コア”の機能的図式
に言及すると、クロック周波数fで働くメイン・パイプ
ライン13は、I−、B−、及びP−画像の伸張を行
う。2倍の周波数2fで機能する2つの予備のAUX1
パイプライン16とAUX2パイプライン17は、B−
画像の正しい再構成をさせる為に後方予測子値を伸張す
るのに使用される。図2は前方予測子バッファ14の内
部ア−キテクチャ−を示している。図面から判るよう
に、この回路は、一対の上下マクロブロック・レジスタ
(16*16*2画素)141と142を有する。これ
らのレジスタ141と142は、メイン・パイプライン
13によって伸張されたB−マクロブロックの後方予測
子があるビデオ領域を定める(予備のAUX1パイプラ
イン16とAUX2パイプライン17を介した伸張に同
調して)後方マクロブロックの上下の前方予測子を蓄え
る。
【0023】例えば、一連のマクロブッロクが外部RA
Mメモリ10のB−画像バッファから読み出され、i番
目のマクロブロックがメイン・パイプライン13で伸張
去れることが考えられる。このマクロブロックから、メ
イン・パイプライン13のI−VLCブロックにおい
て、MPEG2スタンダ−ドによって、各々、前方予測
子と後方予測子を指し示す(最悪の場合に)2つの動作
ベクトルが派生する。このような予測子は、いずれにせ
よ、外部RAMメモリ10に存在する情報に関連してお
り、デコ−ダの”コア”に負荷されなければならない。
前方予測子は、すでに伸張されており、同名のRAMバ
ッファによって読み出され、図2の前方予測子レジスタ
(16*16画素)143に置かれる。
【0024】反対に、後方予測子は、ビデオ・ゾ−ンに
封じ込まれているので、アクセス出来ないが、メイン・
パイプライン13を介した伸張に同調して、B−マクロ
ブロックに関連する後方動作ベクトルの回りに配列され
た4つのマクロブロックによって確認される。この4つ
のマクロブロックは、図1の図表によると”後方予測
子”のRAM領域から読み出される。それらの2つは、
予備のAUX1パイプライン16に送られ、残りの2つ
は、予備のAUX2パイプライン17に送られる。その
理由は、各予備のパイプラインは、逆に通常のシステム
・クロック速度で働くメイン・パイプライン13より2
倍の速度で動作しなければならないからである。
【0025】例えば、図4の説明図表を参照すると、前
記マクロブロックの1つが予備のAUX1パイプライン
16に入ると、ブロックI−VLCは関連動作補償の為
の前方ベクトルを抽出する。このベクトルは、メモリR
AMコントロ−ラ101に対して関係する前方予測子
(上又は下の)を読み出させ、図2の前方予測子バッフ
ァ14の上下マクロブロック・レジスタ141又は14
2に保管させる。上下マクロブロック・レジスタ141
又は142は、それを、各々、加算器S1又はS2に供
給する。この操作は、予備のAUX1パイプライン16
とAUX2パイプライン17に供給される4つのマック
ロブロックの各々に同じである。
【0026】加算器S1とS2は、予備のAUX1パイ
プライン16とAUX2パイプライン17から出力した
伸張されたマクロブロックの動作補償を完了し、続いて
それらは図3に示された後方予測子バッファ15に保管
される。図3において、デコ−ダの”コア”の後方予測
子バッファ15は、一対の上下マクロブロック・レジス
タ(16*16*2画素)151及び152と、デマル
チプレクサ(以下DEMUX)153とから成る。この
上下マクロブロック・レジスタ151及び152は、各
々、メイン・パイプライン13で伸張を行うB−マクロ
ブロックの後方予測子値を定めるP−画像の上下マクロ
ブロックを保管する。また、DEMUX153は、B−
画像のマクロブロックの伸張作業の間に、動作補償加算
器S3に送られる後方予測子を選ぶ。
【0027】本発明のデコ−ダの”コア”のア−キテク
チャ−についての高度の平行進行は、3つの重要な同じ
デコ−ド化及び伸張化パイプライン(メイン・パイプラ
イン13、予備のAUX1パイプライン16とAUX2
パイプライン17)によって特徴づけられており、それ
らの内部構造とこれらの3つのパイプラインが協働する
方法は、図4の図表に強調されている。各パイプライン
は、普通、可変長入力デコ−ダブロックVLD131、
161、又は171と、それに続く実行長デコ−ダRL
Dと、量子化手段IQUANTと、逆離散コサイン変換
の計算器IDCTとを有するブロック132、162、
又は172とから成る。本発明の方法が基礎とするアル
ゴリズムをより良く理解する為に、本発明のシステムの
機能を、明らかに最も臨界的な状況を含む、MPEG2
デコ−ダの通常の操作中に生じる異なる特徴的な具体例
について以下に詳細に説明する。 予測子配列の第1のケ−スは、図5に示してある。
【0028】図5は、伸張される16*16画素B−マ
クロブロックと関係予測子IとPを示している。B−マ
クロブロックの為の動作判断は、いわゆる、”フレ−
ム”型のものである。予測子が含まれている領域を定め
る4つの16*16画素マクロブロックがあるとき、P
予測子は直ちにアクセスすることは出来ない。P型の4
つのマクロブロックの各々は、その型に関連する、その
伸張に必要な前方予測子に属している予測子(16*1
6画素)を有する。この場合、これらのマクロブロック
の各々は、いわゆる、”フレ−ム”モ−ドによって前方
予測子について判断される。4つのP−マクロブロック
の伸張が一度完了すると、B−マクロブロックの為のフ
レ−ム型予測子が抽出される。
【0029】図6は、フレ−ム型のP−マクロブロック
が、それに関連する、いわゆる、”フィ−ルド”型の動
作判断を有している場合を示している。 これは、図7に示してあるように、大量の必要デ−タの
ために最も臨界的なケ−スの1つである。この図は、フ
レ−ムに属し、再構成されるB−マクロブロックを示し
ており、そのフレ−ムが、いわゆる、”フィ−ルド”型
の2つの部分から構成され、その各部分が2つのP−フ
ィ−ルドの1つの16*8予測子を指し示している。2
つのP−フィ−ルドは、相互に独立した2つの圧縮画像
である。各予想子(16*8)は、4つのP−マクロブ
ロック(16*16)によって定められた領域に囲まれ
ているので、直接にアクセスすることが出来ない。16
*8型の予測子は、4つのマクロブロックの各々の為に
定められることが出来る。何故なら、その4つのマクロ
ブロックが1つのフィ−ルドに属しているからである。
【0030】従って、それらの各々を伸張する為に、前
方予測子に属している2つの16*8ブロックをアクセ
スする必要がある。これはまた4つのP−マクロブロッ
クの各々にも適用する。これらの全部は、伸張されるB
−マクロブロックの両方の16*8フィ−ルド部分のた
めに繰り返される。図8は、図7の場合と同様のケ−ス
を示しているが、各P−マクロブロックは、それに関連
する、フィ−ルド型の動作判断を有していることが異な
る。代わりに、図9に示された状態では、複数のB予測
子が1つのフレ−ム型の同じ画像上に位置している。従
って、P−マクロブロックの予測子は、フレ−ム型のも
のであることができる(ないしは、別の、図10に示さ
れているように、フィ−ルド型のものであることもでき
る)。
【0031】図11に示されたケ−スでは、B−マクロ
ブロックは、(16*16)フィ−ルド型のものであ
る。従って、ケ−ス1でなされたと同じ考慮がこと場合
でも適用する。さらに、P−マクロブロックの判断は、
この場合では、16*8型のものまでも出来る。 図12に示されたケ−スは、ケ−ス2のような他の臨界
的場合を表している。ケ−ス2との違いは、B−マクロ
ブロックがフィ−ルド型(16*8画素)のものであ
り、従って、予測は16*8型のものであるという事実
である。マクロブロックは、2つの16*8、すなわ
ち、上下各々1つに分けられる。16*8B−マクロブ
ロックの各部分は、図7のケ−ス2の記載のように、予
測子を確認する。
【図面の簡単な説明】
【図1】本発明によって実現されたビデオ・デコ−ダ
の”コア”を示すブロック図。
【図2】図1のデコ−ダの”コア”の前方予測子バッフ
ァ・ブロックの内部ア−キテクチャ−を示すブロック
図。
【図3】図1のデコ−ダの”コア”の後方予測子バッフ
ァ・ブロックの内部ア−キテクチャ−を示すブロック
図。
【図4】図1のデコ−ダの”コア”の3つのパイプライ
ン・ブロック、MAIN,AUX1,AUX2の協調し
た機能を示すブロック図。
【図5−図12】B−画像のマクロブロックのデコ−ダ
によって再構成された場合を示す概略斜視図。
【符号の説明】
10 外部RAMメモリ 11 FIFO 12 SCD 13 メイン・パイプライン 14 前方予測子バッファ 15 後方予測子バッファ 16 予備のAUX1パイプライン 17 予備のAUX2パイプライン 18 MUX 19 マクロブロック−ラスタ・スンキャン・コンバ−
タ 20 後処理ユニット 141 上マクロブロック・レジスタ 142 下マクロブロック・レジスタ 143 前方予測子レジスタ 151 上マクロブロック・レジスタ 152 下マクロブロック・レジスタ 153 DEMUX S1,S2,S3,S4 加算器

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 MPEG2デコ−ダがMPEG圧縮アル
    ゴリズムのI−,P−及びB−画像を伸張する段階を含
    み、これらの画像に関連するデ−タがビデオ・メモリに
    構成された対応するバッファに蓄えられ、また、前記P
    EG2デコ−ダでB−画像の伸張がそれぞれ前方及び後
    方の動作補償予測子を使用して行われるMPEG2デコ
    −ダのビデオ・メモリ必要量を最適に減らす方法におい
    て、前記ビデオ・メモリに蓄えられた関連後方予測子を
    圧縮形に維持しながら、B−画像をマクロブロックで伸
    張し、また圧縮P−画像のマクロブロックを対応する前
    方予測子値を使用して伸張すること;伸張を行うB−画
    像のマクロブロックの後方予測子値を含む蓄えられた圧
    縮後方予測子の領域を前記伸張されたPマクロブロック
    を介して定めること;及び前記領域から伸張を行うB−
    マクロブロックのための対応する後方予測子値を抽出
    し、またMPEGスタンダ−ドによって動作補償ル−チ
    ンを完了することとから成ることを特徴とするMPEG
    2デコ−ダのビデオ・メモリ必要量を最適に減らす方
    法。
  2. 【請求項2】 コントロ−ル・バスと、外部ビデオRA
    Mに構成された対応する貯蔵バッファに対して書き込み
    と読み出しをするビデオ画像処理に関連するデ−タ・バ
    スとにインタ−フェ−スすることができるMPEG2ビ
    デオ・デコ−ダであって、前記ビデオ・デコ−ダの”コ
    ア”が、前記外部ビデオRAMに構成されたビデオ・ビ
    ットストリ−ムのための第1バッファに対して圧縮デ−
    タの読み出し書き込みをおこなう先入れ先出しバッファ
    と;画像の開始符号を検知する検知回路と;デコ−ド化
    と伸張をクロック周波数fで行うメイン・パイプライン
    と;伸張前方予測子のための前方予測子バッファとを含
    むMPEG2ビデオ・デコ−ダにおいて、前記メイン・
    パイプラインと同時にデコ−ド化と伸張を2重クロック
    周波数2fで行う第1及び第2の予備パイプラインと;
    前記メモリから読み出されたデコ−ド及び伸張されたデ
    −タを前記第1及び第2の予備パイプラインから出力さ
    れたデコ−ド及び伸張されたデ−タに各々加算し、伸張
    を行うB−画像マクロブロックに関連する後方予測子値
    を定める伸張されたデ−タを各々出力する第1及び第2
    加算器と;伸張を行うB−画像マクロブロックに関する
    前記後方予測子値を貯蔵するための後方予測子バッファ
    と;前記前方及び後方予測子バッファから読みだした前
    方及び後方予測子デ−タを加算し、動作ベクトルを定め
    る第3加算器と;前記動作ベクトルを選ぶためのマルチ
    プレクサと;前記クロック周波数fで機能する前記メイ
    ン・パイプラインから出力された各B−画像マクロブロ
    ックのデコ−ド及び伸張されたデ−タを前記マルチプレ
    クサによって選ばれた対応する動作ベクトルに加算して
    動作補償デ−タを出力する第4加算器と;前記デコ−ド
    及び伸張されたデ−タ及び前記動作補償デ−タを前記外
    部ビデオRAMの前方予測子バッファに貯蔵するための
    手段と;マクロブロック・スンキャン・デ−タをラスタ
    ・スンキャン・デ−タに変換するためのマクロブロック
    −ラスタ・スンキャン・コンバ−タ手段と;前記マクロ
    ブロック−ラスタ・スンキャン・コンバ−タ手段から出
    力された変換デ−タを画像をテレビ画面に表示するビデ
    オPAL/NTSCエンコ−ダに送るための後処理手段
    とを備えたことを特徴とするMPEG2ビデオ・デコ−
    ダ。
JP9056887A 1996-02-27 1997-02-25 Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減 Pending JPH09247688A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP96830085A EP0793389B1 (en) 1996-02-27 1996-02-27 Memory reduction in the MPEG-2 main profile main level decoder
IT96830085.5 1996-02-27

Publications (1)

Publication Number Publication Date
JPH09247688A true JPH09247688A (ja) 1997-09-19

Family

ID=8225818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9056887A Pending JPH09247688A (ja) 1996-02-27 1997-02-25 Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減

Country Status (4)

Country Link
US (1) US5923375A (ja)
EP (1) EP0793389B1 (ja)
JP (1) JPH09247688A (ja)
DE (1) DE69614500T2 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69731342T2 (de) * 1996-08-22 2005-03-17 Matsushita Electric Industrial Co., Ltd., Kadoma Bildverarbeitungsvorrichtung
US6256348B1 (en) * 1996-08-30 2001-07-03 Texas Instruments Incorporated Reduced memory MPEG video decoder circuits and methods
US6101221A (en) * 1997-07-31 2000-08-08 Lsi Logic Corporation Video bitstream symbol extractor for use in decoding MPEG compliant video bitstreams meeting 2-frame and letterboxing requirements
US6122316A (en) * 1997-07-31 2000-09-19 Lsi Logic Corporation MPEG decoding system meeting 2-frame store and letterboxing requirements
US6122321A (en) * 1998-05-12 2000-09-19 Hitachi America, Ltd. Methods and apparatus for reducing the complexity of inverse quantization operations
US6470051B1 (en) * 1999-01-25 2002-10-22 International Business Machines Corporation MPEG video decoder with integrated scaling and display functions
KR100399932B1 (ko) 2001-05-07 2003-09-29 주식회사 하이닉스반도체 메모리의 양을 감소시키기 위한 비디오 프레임의압축/역압축 하드웨어 시스템
US6738980B2 (en) * 2001-11-15 2004-05-18 Industrial Technology Research Institute Methods and systems for video streaming with VCR functionality
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US9330060B1 (en) * 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8660182B2 (en) * 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 B-픽처의 움직임 보상 모드 결정방법 및 장치
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8423597B1 (en) 2003-08-29 2013-04-16 Nvidia Corporation Method and system for adaptive matrix trimming in an inverse discrete cosine transform (IDCT) operation
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
CN1323556C (zh) * 2004-02-25 2007-06-27 凌阳科技股份有限公司 可节省暂存器的双向动态补偿方法
TWI277013B (en) * 2005-02-01 2007-03-21 Ind Tech Res Inst Method for reducing buffered-frame memory sizes and accesses in a video codec
US7924914B2 (en) 2005-09-20 2011-04-12 Intel Corporation Dynamically configuring a video decoder cache for motion compensation
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
US8660380B2 (en) * 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
US20080267295A1 (en) * 2007-04-26 2008-10-30 Chih-Ta Star Sung Video decompression, de-interlacing and frame rate conversion with frame buffer compression
US8756482B2 (en) * 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US20080291209A1 (en) * 2007-05-25 2008-11-27 Nvidia Corporation Encoding Multi-media Signals
US9118927B2 (en) * 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8873625B2 (en) * 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
US8666181B2 (en) * 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US20120236940A1 (en) * 2011-03-16 2012-09-20 Texas Instruments Incorporated Method for Efficient Parallel Processing for Real-Time Video Coding
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9451257B2 (en) 2013-03-22 2016-09-20 Stmicroelectronics S.R.L. Method and apparatus for image encoding and/or decoding and related computer program products

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
JPH05268590A (ja) * 1992-03-17 1993-10-15 Nec Corp 動画像符号化復号化回路
JP3308990B2 (ja) * 1992-07-03 2002-07-29 松下電器産業株式会社 動画像の予測符号化方法及び予測符号化装置
JPH07240844A (ja) * 1993-03-19 1995-09-12 Mitsubishi Electric Corp 画像データ処理装置および画像データ処理方法
US5815646A (en) * 1993-04-13 1998-09-29 C-Cube Microsystems Decompression processor for video applications
US5684534A (en) * 1993-05-26 1997-11-04 Intel Corporation Task-splitting dual-processor system for motion estimation processing
FR2705805B1 (fr) * 1993-05-27 1996-06-28 Sgs Thomson Microelectronics Système de traitement d'images.
JP2515231B2 (ja) * 1993-06-30 1996-07-10 株式会社日本紡績用品研究所 ル―ズボストップロ―ラ
US5576765A (en) * 1994-03-17 1996-11-19 International Business Machines, Corporation Video decoder
DE4416967A1 (de) * 1994-05-13 1995-11-16 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten
US5557538A (en) * 1994-05-18 1996-09-17 Zoran Microelectronics Ltd. MPEG decoder
JPH0837662A (ja) * 1994-07-22 1996-02-06 Hitachi Ltd 画像符号化復号化装置
TW245871B (en) * 1994-08-15 1995-04-21 Gen Instrument Corp Method and apparatus for efficient addressing of dram in a video decompression processor
US5623311A (en) * 1994-10-28 1997-04-22 Matsushita Electric Corporation Of America MPEG video decoder having a high bandwidth memory
US5644361A (en) * 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
JP3732867B2 (ja) * 1995-03-09 2006-01-11 株式会社ルネサステクノロジ 画像伸張装置
US5774206A (en) * 1995-05-10 1998-06-30 Cagent Technologies, Inc. Process for controlling an MPEG decoder
US5638531A (en) * 1995-06-07 1997-06-10 International Business Machines Corporation Multiprocessor integrated circuit with video refresh logic employing instruction/data caching and associated timing synchronization
EP0778709B1 (en) * 1995-12-04 2001-05-23 STMicroelectronics S.r.l. MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data
US5818533A (en) * 1996-08-08 1998-10-06 Lsi Logic Corporation Method and apparatus for decoding B frames in video codecs with minimal memory
US5844608A (en) * 1996-12-12 1998-12-01 Thomson Consumer Electronics, Inc. Picture element processor for a memory management system

Also Published As

Publication number Publication date
US5923375A (en) 1999-07-13
EP0793389A1 (en) 1997-09-03
DE69614500T2 (de) 2001-11-22
EP0793389B1 (en) 2001-08-16
DE69614500D1 (de) 2001-09-20

Similar Documents

Publication Publication Date Title
JPH09247688A (ja) Mpeg2・メイン・プロフィール・メイン・レベル・デコーダにおけるメモリ削減
US5668599A (en) Memory management for an MPEG2 compliant decoder
JP3395166B2 (ja) 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体
KR100542624B1 (ko) Mpeg 호환 가능한 신호 처리 시스템 및 압축된 mpeg 코딩된 이미지를 나타내는 데이터의 데이터스트림을 처리하기 위한 방법
KR100504471B1 (ko) 비디오 디코딩 시스템
KR19980042224A (ko) 트랜스포트, 복호화, 시스템 제어기 기능용 통합 메모리를 가지는 엠피이지 복호화기 시스템 및 방법
JP2007281630A (ja) 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
JP2007529178A (ja) 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ
WO2006006489A1 (ja) 動き検出装置
EP1147671B1 (en) Method and apparatus for performing motion compensation in a texture mapping engine
JPH08280022A (ja) 符号化ビデオ信号の復号化方法及び装置
KR100381556B1 (ko) 감소된메모리요구를갖는압축비디오데이터스트림을디코딩및코딩하기위한방법
JPH11168729A (ja) 画像復号化装置及び画像復号化方法
WO2010021153A1 (ja) 動き検出装置
JP3685386B2 (ja) 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム
JP2000333166A (ja) 高効率符号化画像の復号手段及び同手段を有する画像表示装置
JP2003061101A (ja) 画像復号化方法及び装置
KR100367581B1 (ko) 멀티미디어서브장치
JPH11298892A (ja) 符号化画像の復号装置及び画像表示装置
JP2000032475A (ja) 動画像再生装置
JP2002232780A (ja) ディジタル信号復号装置及びディジタル信号復号方法
JP4338727B2 (ja) 画像処理装置
JP4338726B2 (ja) 画像処理装置
JP4338725B2 (ja) 画像処理装置
TW498688B (en) Method and device for resorting an image decode order using the pseudo-image pictures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040220

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040220

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070514

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070612

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070615

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070712

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070718

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070720

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070816