JP2000041246A - 入力画像の処理方法 - Google Patents
入力画像の処理方法Info
- Publication number
- JP2000041246A JP2000041246A JP11172348A JP17234899A JP2000041246A JP 2000041246 A JP2000041246 A JP 2000041246A JP 11172348 A JP11172348 A JP 11172348A JP 17234899 A JP17234899 A JP 17234899A JP 2000041246 A JP2000041246 A JP 2000041246A
- Authority
- JP
- Japan
- Prior art keywords
- memory
- image
- frame
- data
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
PEGデコーダによるメモリのアクセス時間をできるだけ
少なくする。 【解決手段】 ダイナミック・メモリ(MMP)をページ構成
とし、各ページに画像のマクロブロックを2つ記憶させ
る。メモリ(MMP)に記憶された各画像の表示は、画像を
ブロック毎に取り出し、ブロック/ライン変換(BRC)を
行い、ライン毎に表示して行う。これにより、画像のフ
レームの各ラインを表示するためにメモリの中のページ
を開く回数を最少化することができる。
Description
圧縮された画像の復号処理と表示に関し、特に、その画
像の表示回路とダイナミック・メモリとの間でのデータ
の授受に関するものである。
Picture Experts Group")によれば、通常、16 x 16ピ
クセルの正方形またはマクロブロック単位で復号処理さ
れる。マクロブロックは種々のフォーマットが採られ
る。最も一般的に用いられるのは、4:2:0と呼ばれるも
ので、ピクセル当たり8ビットで8 x 8ピクセルを1ブロ
ックとする輝度データの4ブロック分と、ピクセル当た
り8ビットで8 x 8ピクセルを1ブロックとする色データ
の2ブロック分とで成り立っている。
タイプ、すなわち、いわゆる“イントラ(intra:フレ
ーム内)”と、“予測(predicted:プレディクテッ
ド)”及び“双方向(bidirectional)”がある。当業者
は、“イントラ”画像データが如何なる動き補償処理も
受けていないことを知っている。 予測画像データで
は、各マクロブロックは先に復号処理された画像データ
から取り出される、いわゆる“プレディクター(predic
tor:予測プログラム)”と呼ばれるマクロブロックと
組み合わせることによって出来る動き補償処理を受ける
ことができる。双方向画像データのマクロブロックは、
先に復号処理された2つの画像データから夫々取り出さ
れる、2つのプレディクターマクロブロックと組み合わ
せることによって出来る動き補償処理を受けることがで
きる。プレディクターマクロブロックの取り出し位置は
動きベクトルによって決められる。
コーダ”と呼ぶ)に関しては、復号処理と復号処理され
た画像の表示の実行と同じくダイナミック・メモリにつ
いて言及しなければならない。かかるメモリは、これら
画像の復号処理と表示において基本的な役割を果たす。
現在の製造技術では、下記のものが1つの同じチップ内
に造られる。MPEGデコーダ、及び、マイクロプロセッサ
で構成され、特に、例えば衛星デコーダに組み込まれた
場合、チャネル検索を行うことを目的とした処理手段、
並びに、素子図形を作成する回路など。この素子図形は
画像の中にちりばめられて遠隔操作手段によって呼び出
される操作メニューの例示となり、ユーザがテレビその
他の受信装置の動作条件を調整できるようにする。
ック・メモリを共用している。従って、特にメモリの占
用時間、すなわち、1つの回路がメモリにアクセスして
いる間のクロックサイクル数を減らせられることが基本
的に重要である。そうすることによって余裕時間を残す
ことができ、初めの回路が次のフェーズの処理を始める
前に、他の回路がこのメモリにアクセスすることができ
る。
EGデコーダのレベルで達成することを目指している。言
い換えれば、本発明の目的は、復号処理した画像データ
を表示している間のMPEGデコーダによるメモリのアクセ
ス時間をできるだけ少なくすることである。
れた入力画像のグループの下記構成による処理方法を提
案する。画像グループを逐次マクロブロックごとに復号
処理すること、復号処理された画像をメイン・メモリに
記憶し、復号処理した現時点での画像を異なるパリティ
(奇偶性)のラインに対応する2つの連続したフレーム
としてラインごとに表示する。本発明の概念に従いメイ
ン・メモリは、メモリ・ページで構成されたダイナミッ
ク・メモリであり、メイン・メモリに記憶される復号処
理された画像のマクロブロックは総てメモリ・ページに
記憶される。実際には、例えば、メモリ・ページ当たり
2つのマクロブロックが記憶可能である。メイン・ダイ
ナミック・メモリに記憶されている復号処理された画像
の各フレームを表示するには、メイン・メモリへのペー
ジ・アクセスを行い、フレームを構成する全てのライン
のデータの半マクロブロックごとの選択を行い、これら
データの補助メモリ(予め決められたフレーム当たりラ
イン数に対応した半マクロブロックの1行分以上のメモ
リ容量を持つ)への半マクロブロックごとのシーケンシ
ャルな記憶を行い、そして、フレームをラインごとに表
示するために、上記データをラインごとに(ライン順に)
シーケンシャルに抽出する。
モリに記憶され、そして、表示しようとされた画像デー
タのタイプの如何(“イントラ”又は“予測”、及び実
行中に後者が復号処理されていなければ双方向もあり得
る) にかかわらず、マクロブロックごと(マクロブロッ
ク順)に引き続くページを開くことによって、アクセス
される。マクロブロックはダイナミック・メモリの中の
出力バッファメモリに連続して記憶されている。従っ
て、表示するフレームの偶数又は奇数ラインに対応した
半マクロブロックだけが選択され、補助メモリに連続し
て記憶される。補助メモリはそれがフルの場合、表示さ
れるフレームの数ライン分、例えば8ライン分で構成さ
れる。メイン・ダイナミック・メモリのページにペアで
記憶される45のマクロブロックでフレームの各ラインが
構成されると仮定すると、補助メモリの中の半マクロブ
ロック行の8ライン分の記憶、従って、それらの連続表
示には23のメモリ・ページを開くことが要求される、
ということは、メイン・ダイナミック・メモリに直接に
ラインごとの画像データを取り出しに行く方法に比べて
8分の1になるということである。このケースの場合、
各ラインを表示するのに32のページを開くことだけが
必要であるというのがその理由である。従って、当業者
であれば、メイン・ダイナミック・メモリに記憶されて
いる画像データを表示するためにそのメモリのページを
開く回数を制限するという意味において、本発明が注目
に値することに気づくであろう。それによって、ページ
を開いたり変更したりするのに必要なサイクル数が著し
く減り、その結果、メモリの占用時間が減少する。
イプの画像データ、すなわち、“イントラ”、“予測”
及び“双方向”も含めた画像データがメイン・ダイナミ
ック・メモリに記憶されているものであれば、適用でき
る。
スにおいて特に有益な応用例を見出す。そのケースとい
うのは、双方向画像データを、表示する前にメイン・メ
モリに記憶する替わりに、“on the fly(実行中)”に復
号処理するものである。すなわち、このケースでは、画
像の第1フレームが直接表示されている間に双方向画像
データは1回目の復号処理をされ、第2フレームが表示
されている間に2回目の復号処理をされる。この変形で
は、 双方向画像データの各フレームの表示は、フレー
ムに対応するデータの補助メモリへの半マクロブロック
ごとの記憶、と、復号処理された画像データのマクロブ
ロックを呼び出し、続いてラインごとにこれらのデータ
を取り出すことによって行われる。
減らすのとメモリのサイズを小さくする(双方向画像デ
ータはそこに記憶されないので)のと両方の意味におい
て、特に注目に値するものである。
測”いずれの画像を表示する場合でもブロック/ライン
変換に使われ、また、 双方向画像の直接表示をする場
合にも使われる。
もかかわらず、ブロック単位で復号処理されたりメイン
・メモリから取り出されたりするので、補助メモリはブ
ロック単位で書き込まれ、ライン単位で読み出されなけ
ればならない。このために、データを読み出すと同時に
そのデータを書き込む必要がある。そこで、本発明の1
つの実現形態では、 現時点での補助メモリのアドレスA
i,j、即ち、現時点での半マクロブロックが書き換えら
れる前に表示される現時点でのデータが読み出されるア
ドレスは、(0<i<MN-1及び1<j<n として)次の式で計算
される。
MA)のライン数、Nはライン当たりのデータ数、nは各フ
レームのライン総数を示す。
幾ラインかが必ず記憶されているので、本発明は、補助
メモリに記憶されたフレームの少なくとも2ラインの部
分で、垂直方向のフィルタを可能にする有利さを持つ。
従って、メイン・メモリから直接ラインごとに画像デー
タを読み出して表示する場合には、メイン・メモリの出
力側でそのような垂直方向のフィルタを行うのに必要な
遅延線の使用が、本発明では不要となる。
処理するための装置も本発明の対象である。この装置
は、各画像グループにおいてマクロブロックごとに復号
処理する復号処理手段と、その復号処理手段に繋がり、
復号処理された画像データの少なくとも幾らかを記憶で
きるメイン・メモリと、現時点での画像を異なったパリ
ティのラインに対応する2つの連続したフレームとして
ラインごとに表示する表示制御手段とで構成される。本
発明の概括的な特性によれば、メイン・メモリはメモリ
・ページの形に構成されたダイナミック・メモリであ
り、そのメモリに記憶される復号処理された画像のマク
ロブロックは総てメモリ・ページに記憶される。さら
に、表示制御手段は、マルチプレクサとブロック/ライ
ン変換器とを含んで構成される。マルチプレクサは、復
号処理手段の出力に繋がる第1の入力と、メイン・メモ
リの出力に繋がる第2の入力と持つ。ブロック/ライン
変換器は、マルチプレクサの出力が入力となって、表示
する現時点での画像のフレームを構成するライン全ての
データを半マクロブロックごとに受けることができ、ま
た、その出力は上記フレームを表示するための装置へ接
続される。
補助制御手段もその構成の中に含んでいる。補助メモリ
は表示される画像フレームの予め決められたライン数に
応じた半マクロブロックの少なくとも1並び分の記憶容
量を持ったものであり、補助制御手段は、マルチプレク
サから出力される半マクロブロックごとのデータを補助
メモリにシーケンシャルに記憶するためのアドレス指定
と、これらのデータをラインごとにシーケンシャルに補
助メモリから取り出すためのアドレス指定を行う。取り
出されたデータはフレームをラインごとに表示する表示
装置へ送られる。本発明による処理装置は、主制御手段
も構成の中に含んでおり、主制御手段は、現時点の画像
データのタイプに応じてマルチプレクサを制御し、その
出力に第1の入力をリンクするか或いは第2の入力をリ
ンクする。本発明のその他の特徴及び特性は、全く制約
のない実行方法と実現形態についての詳細説明とそれに
付随した図面によって明らかになるであろう。
星用デコーダ 及び/又は テレビに組み込まれたディジ
タル画像処理システムを一般的な方法で示したものであ
る。
は、衛星用アンテナまたはディジタル・ディスク(簡略
化のため図示していない)から、例えばMPEG規格によっ
て圧縮されたデータ・ストリームを受信する。
DCD、又はMPEGデコーダは、上記の圧縮されたデータに
よる符号化画像を表示スクリーンAFFに表示するために
復号処理する。
ャネルの復号処理を制御できるマイクロプロセッサCP
U、並びに、図形情報生成器OSD-GENで構成される。この
図形情報はビデオ画像に重畳されてスクリーン上に表示
され、例えば、テレビのリモコンを操作することによっ
て得られる対話用のメニューとなる。
要素はダイナミック・メモリMMPであり、これは上記種
々の構成要素によって共用される。それ故、そのメモリ
の占用時間を減らすことが必須であり、そうすることに
より、システムSYの種々の構成要素が出来るだけ数多く
メモリにアクセスできるようになる。これが本発明の目
的の1つである。
スBBSを通して互いに対話する。
は、MDCと図示したいわゆる“復号処理”手段と、MAFと
図示したいわゆる“表示制御”手段とで構成される。
る“パイプライン”回路PPLで構成される。 PPLは64ビ
ット・バスを通して圧縮データを受け取り、処理された
マクロブロックである輝度及び色ブロックをFF1と図示
した“先入れ先出し”(FIFO)タイプのメモリを通して加
算回路へ送っている。さらに、加算回路はそれに対応し
たフィルタされたプレディクターマクロブロックを受け
取る。このプレディクターマクロブロックは、メモリMM
Pから取り出されたプレディクターマクロブロックをも
とにして予測回路FPRから送られてくる。
法で、可変長復号処理(VLD)、ゼロ・ラン・レングス復
号処理(RLD)、ジグザグ・スキャンから直線スキャンへ
の変換、及び、逆離散余弦変換(DCT-1 )を行う。
にいわゆる“半ピクセル”フィルタで構成されており、
このフィルタは プレディクターマクロブロックを取り
込むことを可能にする動きベクトルが整数でなければ、
このプレディクターマクロブロックを垂直及び/又は水
平方向に半ピクセル分シフトする。 復号処理手段MDCと
メイン・メモリMMPはバスを通して対話し、そして、こ
のメモリと デコーダDCDの種々の構成要素との間の交換
は主制御手段LMCによって管理される。
UXを含む。MUXは第1の入力が復号処理手段MDCの加算器
の出力であり、第2の入力がメモリMMPの出力である。
マルチプレクサの出力はFF2と図示したFIFOタイプの第
2のバッファ・メモリに繋がっている。 バッファ・メ
モリFF2の出力はブロック/ライン変換器BRCに繋がって
いる。BRCの構造と機能については以下に詳しく述べ
る。BRCの出力はビデオ・コントローラVDCTLに繋がれ、
表示スクリーンAFFの制御に応じる。
る画像のタイプを表わす制御信号STYに応じて第1或い
は第2の入力が選ばれて繋がる。すなわち、この実施例
の場合、双方向画像か、或いは、イントラ画像または予
測画像である。
メガビットの圧縮データ・エリアZCD、並びに、容量が
およそ1メガビットに及び、画像及び音声データに重畳
して表示される情報を記憶するのに用いられる、容量が
およそ1メガビットに及ぶエリアZXとで構成されること
を提唱している。
は、これらのエリアの他に、双方向画像の併行復号処理
に対応した2つの画像用エリアZM1及びZM2を加えて構成
される。これらのメモリZM1及びZM2のそれぞれは、PAL
画像(国際規格による最大)の720 x 576ピクセルを記憶
できる必要がある。 4:2:0形式のマクロブロックを使う
とすれば、ピクセルが12ビットであるので、画像全体の
サイズがおよそ4.9メガビットになる。
方向画像をメモリMMPのメモリ・エリアに記憶して表示
は後で行うというのではなく、実行中に双方向画像を表
示する、すなわち、復号処理をする傍らで表示を行う。
このことにより、メモリMMPのサイズを小さくすること
ができ、先に復号処理された“イントラ”と“予測”の
2つの画像を記憶するためのメモリ・エリアZM1とZM2だ
けを用意すればよいことになる。この場合、メモリMMP
に必要なサイズはメモリ・エリアのサイズ単位で減少
し、容易に構築することができる。特にPAL規格(最も強
要される)の場合、16ビット・256キロ・ワードの非同期
ダイナミック・メモリ(DRAM) 4個、或いは、16メガビッ
ト同期ダイナミック・メモリ(SDRAM) 1個で構築でき
る。
る場合、表示に先行して行われる処理は画像全体につい
て、即ち、ライン順に行われるけれども、 始めに、画
像の奇数ラインで構成される第1のフレームを表示し、
次に画像の偶数ラインで構成される第2のフレームを表
示する必要がある。このことは、もし、復号処理手段MD
Cのラインを復号処理する速さが表示する速さと同じで
あるとすれば、復号処理手段MDCがK番目のラインを処理
している時にK-1番目のラインが表示されなければなら
ないことを意味している。言い換えれば、第1のフレー
ムが表示されようとしている時点ではデコーダはこのフ
レームの半分しか復号処理できていない。
方向画像を2度づつ復号処理する措置がとられた。この
場合、2K-1番目のラインが表示される時点で2Kライン分
の復号処理が完了している。もっと明確に言えば、第1
のフレームが表示される時点で、画像全体、即ち、この
画像の2つのフレームともに復号処理が完了している。
処理はされたが表示されなかった第2のフレームは棄て
られる。第2のフレームは画像が2回目に復号処理され
た時に表示される。
に関するタイムチャートを示す。順次表示される画像は
P0,B1,B2,P3,B4,B5,P6で示されており、Pは予測画像、
Bは双方向画像を表わしている。このような画像系列はM
PEG規格では通常のものである。 各予測画像Pを再構成
するためには、先行する予測画像(又は、図示されてい
ないが、“イントラ”画像)から取り出すプレディクタ
ーマクロブロックをが必要とする。各双方向画像Bを再
構成するためには、その両側にある予測画像から取り出
すプレディクターマクロブロックを必要とする。それ
故、画像に対応して圧縮されたデータは表示とは違った
順序でデコーダDCDに送られてくる。この例では、圧縮
されたデータはP0,P3,B1,B2,P6,B4,B5の順で到着する。
始めに、画像P0が復号処理され、メモリ、例えばZM1エ
リア、に記憶される。画像P3が復号処理され、ZM2エリ
アに記憶されている間に画像P0が表示される。次に、画
像B1が2倍速で1回目の復号処理をされ、その間に、画
像B1の第1のフレームが併行して表示される。そして、
画像B1が2倍速で2回目の復号処理をされ、その間に、
画像B1の第2のフレームが併行して表示される。手段MD
Cによって行われる画像B1のそれぞれの復号処理は、ZM1
エリア及びZM2エリアに記憶されている画像P0及びP3か
ら取り出されるプレディクターマクロブロックを使って
行われる。同じ処理が画像B2に対しても行われる。次
に、画像P6が復号処理され、画像P0に替わってZM1エリ
アに記憶され、その間に画像P3が表示される。画像B4及
びB5は、画像B1及びB2と同様に、2倍速で2度復号処理
をされ、その間に表示される。画像B4及びB5の復号処理
は、ZM2エリア及びZM1エリアに記憶された画像P3及びP6
から探し出されたプレディクターマクロブロックを使っ
て行われる。
に、制御手段LMCはプログラムを変更されて、ZCDエリア
に記憶されている各双方向画像に対応した圧縮データを
パイプライン回路PPLに転送するタスクを2度実行す
る。これに関して、制御手段は25.5MHzのクロックが通
常供給され、パイプライン回路は通常34MHZの自身のク
ロックで動作する。これらの速度で回路を動作させるこ
とは、通常の技術の範囲内で完全に実現可能である。制
御手段LMCが圧縮データを2度パイプライン回路PPLに送
ることを可能にする、とりわけ簡単な実現形態と実行方
法について、特に図4及び図5を参照しながら説明す
る。
Gに準拠して圧縮されたデータ・ストリームは、継続し
た入力画像IM1、IM2、等にそれぞれ関連した継続する圧
縮データのグループで構成される。画像に関与する各デ
ータ・グループは、ヘッダETを伴う画像開始識別子PS
C("Picture Start Code")を含んで構成される。ヘッダ
は、画像系列の中の一つ一つの画像を識別できるような
特定の識別子を含んでいる。特定の識別子としてこの例
では画像の暫定参照記号TRがある。ヘッダは又、画像の
タイプ、例えば“イントラ”、“予測”、“双方向”を
識別するキューITも含んでいる。
く。
ドレス・ポインタPTBがあり、それぞれが連続したアド
レス@1,@2,等、のメモリ・エリアをパケット内のビット
まで読むことができるようにしている。
された処理手段MPを中心にして設計された手段LMCは、
配線形式などで作られた画像開始識別子検出器SCDを含
んでおり、第1のアドレス・ポインタPTAで指定された
アドレスから取り出される夫々のビット・パケットの中
に画像開始識別子PSCが有るか無いか調べている。
御するポインタ制御手段もまた処理手段MPに繋がってい
る。ポインタ制御手段は概略次のような構成になってい
る。第1のレジスタRG1の出力がマルチプレクサMUX2を
介して第2のレジスタRG2の入力に繋がっている。マル
チプレクサMUX2は画像の2回目の復号処理の制御を示す
制御信号RDCによって制御される。レジスタRG2の出力
は、アドレス・インクリメント回路とマルチプレクサMU
X2を介して、自身の入力に繋がっている。結果的に、レ
ジスタRG2がアドレス・ポインタPTBの実質の内容を記憶
している。
Rを記憶し、第四のレジスタRG4が復号処理すべき画像の
タイプを表わすキューITを記憶する。これによって、パ
イプライン回路PPLの諸手段がその時点での画像を的確
に復号処理できるようになる。
で復号処理が進められている現時点の画像についてのキ
ューTR及びIT、並びに、次の画像につてのそれらを規則
通りに記憶できる。
化のためにブロックPPLの中に図示したがPPLの外であっ
てもよい)は、ポインタPTBで指定されメモリから取り
出されたパケットに含まれるビット・データを一方で受
け、他方ではレジスタRG3の内容を受け取る。この手段M
HDはハードで具体化されても、ソフトで具体化されても
よい。その機能については後でさらに詳しく説明する。
説明してきたが、これからは図5を特に参照して説明す
る。
で進行中であり(ステップ700)、2つのアドレス・ポイ
ンタPTAとPTBがアドレス@1を指示している、と仮定す
る。
から取り出されたビット・パケットは検出器SCDで読ま
れる(ステップ701)。
開始識別子PSC2の存在を検出する(ステップ702)。この
検出結果を表わす信号がマイクロプロセッサMPに送られ
る。マイクロプロセッサMPはパケットのビット・ストリ
ング、特に、その画像に対する特定の識別子ET2並びに
画像のタイプIT2を読む(ステップ703)。画像IM2が、再
復号処理を必要とする双方向画像であれば、マイクロプ
ロセッサMPは画像IM2に対する画像開始識別子PSC2が含
まれるパケットのアドレス@1をレジスタRG1に記憶する
(ステップ704)。さらに、画像IM2の暫定参照記号TR2が
レジスタRG3に記憶され(ステップ705)、そして、この画
像のタイプIT2がレジスタRG4に記憶される(ステップ70
6)。
ケットから出てくる有効なデータCDU2の助けを得てパイ
プライン回路PPLで始められる。このとき、第2のアド
レス・ポインタPTBもアドレス@1であるので、同じパケ
ットとなる。
て内容がアドレス@2となり、その結果、アドレス・ポイ
ンタPTBが新しいアドレス@2指すことになる(ステップ70
8)。アドレス・ポインタPTAもインクリメントされて同
じくアドレス@2を指すことになる。
タCDU2の残りに対して続けられる(ステップ709)。
回路PPLの中の可変長復号処理(VLD)回路が復号終了信号
を出す。この信号は、マイクロプロセッサMPが発する制
御信号RDC(ステップ710)制御の下で、マルチプレクサMU
X2の第1の入力を有効として、レジスタRG2の内容をア
ドレス@1に書き換える(ステップ711)。
元に戻って、再びアドレス@1指定するようになる。実際
のMPEGデータ・ストリームの中では、画像開始識別子PS
Cの間隔は一定でなく、画像の内容によって変わるので
困難さを伴う。この困難さは、メモリのZCDエリアをパ
ケットごとに読み出すことと相俟って、結果的に、パケ
ットの中に存在する画像IM2の開始位置を正しく確認す
ることを出来なくしている。
号TR2を、アドレス・ポインタPTBを復号処理する画像の
開始識別子PSC2が含まれているパケットのアドレスに戻
すことと、組み合わせて使うことによって、この困難さ
を解決している。
手段MHDが、アドレス@1で読み出されたパケットの種々
のビットを調べ、その情報をレジスタRG3に記憶された
画像IM2の暫定参照記号TR2と比較する。
ち、暫定参照記号TR2の存在が再び検出されない限り、
パイプラインPPLはパケットから供給されたそのデータ
を扱うことなく、次のステップへ進む(ステップ713)。
参照記号TR2の存在が再び検出されたときだけ、手段MHD
はパイプライン回路PPLが圧縮データを扱うのを認め、
双方向画像の2回目の復号処理が行われる(ステップ71
4)。この2回目の復号処理中は、レジスタRG2がインク
リメントされることによってポインタPTBがアドレス@2
に移って(ステップ715)、画像IM2の復号処理が最後まで
続けられる(ステップ716)。
“イントラ”及び“予測”画像は通常の照会メカニズム
によって加算器の出力側にあるメモリMMPに送られる。
一方、復号処理された双方向画像Bはマクロブロックご
とにマルチプレクサ経由でバッファメモリFF2へ転送さ
れる。マルチプレクサは制御手段LMCによって発行され
る信号STYによって画像Bが選択されるように制御されて
いる。メモリMMPに記憶されている“イントラ”或いは
“予測”画像を表示するときには、信号STYの指示に従
ってマルチプレクサは, メモリMMPから順次読み出され
る画像のマクロブロックをバッファ・メモリFF2に記憶
する。
像はマクロブロック単位でシーケンシャルにバッファ・
メモリFF2に記憶される。他方、ビデオ・コントローラV
DCTLは画像ピクセルをラインごとに受け取ることを要求
する。これが、ブロック/ライン変換器BRCがバッファ
・メモリFF2とビデオ・コントローラVDCTLとの間に設け
られる理由である。
変換器BRCは、バッファ・メモリFF2に記憶されている各
マクロブロックの中の種々の輝度及び色ブロックを受け
取る入力インタフェースINDを構成要素として持つ。こ
の手段INDは照会信号RQ及び確認信号ACKに基いて動作す
る入力コントローラINCによって制御される。受け取ら
れたデータは、補助メモリMMAの中のアドレス・シーケ
ンサADSによって連続して定められたアドレスAi,jに連
続的に書き込まれる。輝度Y及び色UとVの色々な値がメ
モリMMAからラインごとに取り出され、フィルタ回路FV
に送られる。フィルタ回路FVは動作状態にあれば、これ
らのラインについて垂直方向に関するフィルタ処理を実
行する。例えば、輝度及び色についてフィルタ処理され
た値を送り出すために、これら色々な値を持つピクセル
のライン間での加重平均を算出する。変換器BRCは、ビ
デオ・コントローラVDCTLによって供給されるフレーム
同期信号VSYNCを特に受ける一般的なコントローラMCTL
によって通常の方法で制御される。この同期信号VSYNC
によってパリティの選択が可能になる。各復号処理にお
いて、ただ1つのフレーム、すなわち、偶数ラインだけ
或いは奇数ラインだけが表示される理由がこれである。
こうして、変換器BRCは、バッファ・メモリFF2から受け
取るブロックのラインの中から表示すべきフレームに対
応したパリティのラインを選び出す。半マクロブロック
ごとに(各半マクロブロックは8ラインに対応する)補
助メモリMMAに記憶させる、というのはこのことが理由
である。それ故に、マクロブロックが16ラインであるに
もかかわらず、変換器BRCの容量は8ラインである。言い
換えれば、補助メモリMMAは、少なくとも半マクロブロ
ックの1並び分(例えば、45半ブロック)を記憶する能
力を持ち、表示するフレームのライン数(この場合、
8)に対応している。
り、1つの大容量FIFOとみなされるが、ブロック(半マ
クロブロック)ごとに書き込まれ、ラインごとに読み出
されるので、連続したアクセスにはなっていない。実際
には、表示手順に従ってメモリ内に充分なフリー・エリ
アが出来次第、半マクロブロックをシーケンシャルに書
き込むように制御手段MCTLとアドレス・シーケンサがプ
ログラムされている。
リのアドレスAi,j、即ち、現時点での半マクロブロック
が書き換えられる前に表示するデータのアドレスは、ア
ドレス・シーケンサによって次の式で計算される。
ライン数、Nはライン当たりのデータ数、nは各フレーム
のラインライン総数を示す。さらに、0 < i < MN-1で1
< j< nである。
よって、メイン・メモリMMPに記憶されている“イント
ラ”或いは“予測”画像を表示するために開くページの
数を制限できる。
・ページで構成されているとすれば(図7)、例えば、ZM
1エリアに記憶される画像の各マクロブロックMBが総てZ
M1エリア内のページPAに記憶されるからである。簡単化
のために、図7ではページ当たり1つのマクロブロック
しか書かれていないが、実際には、各メモリ・ページが
2マクロ・ブロックを収容することは理解されよう。図
7において、マクロブロックMB1 - MBkの1番目の並びR
MB1はZM1エリアに記憶された画像の最初の16ライン分に
対応するので、メモリ・ページのPA1 - PAkに展開され
る。従って、パリティの同じ8ラインに対応した半マク
ロブロックの1並びを補助メモリMMAに記憶するために
は、kページ開く必要がある。続く8ライン分を補助メ
モリMMAから取り出して表示する際には、従って、メモ
リ・ページは一切開く必要がない。それ故、メモリMMP
に記憶されている画像の各フレームを完全に表示するの
に必要なページ替えの総回数は、メモリMMPから各フレ
ームのピクセルがラインごとに直接取り出される特別の
ケースに比べて著しく減少する。そのような特別のケー
スでは、1フレーム・ラインごとにkページを開かなけ
ればならないからである。
明がメモリの占用時間を相当に減らすということに気づ
くであろう。さらに、同じ変換器BRC、従って同じ補助
メモリMMAが、メモリMMPに記憶された“イントラ”及び
“予測”画像の表示に使われ、また、併行して復号処理
される双方向画像を直接表示するのに使われる。
ライン(本説明では8)を収容するので、フィルタFVをメ
モリMMAの出力に直接接続することによって、補助メモ
リに収容されている少なくとも2ラインの垂直方向のフ
ィルタ処理を、遅延線を使うことなく実行できる。(フ
レームのデータがラインごとにメモリMMPから直接取り
出されるケースでは遅延線が使われるであろう。) 本発明は上述の構成と実行様式に限られるものではな
い。次に示すような違った具体化の仕方でメモリMMPに
記憶された画像を変換器BRC経由で表示するのもメモリ
の占用時間の点で有利である。すなわち、双方向画像の
復号処理を表示と併行して同時に行うのではなく、“イ
ントラ”や“予測”画像の場合と同様にメモリMMPの中
の他のエリアに暫定的な記憶をする方法である。
ラインを表示するためにメモリの中のページを開く回数
を最少化することができ、共用するダイナミック・メモ
リの効率的な利用が図れる。
細画像処理システムのブロック図である。
る。
す。
たものである。
したものである。
ク/ライン変換器の詳細ブロック図である。
構成を示す。
Claims (8)
- 【請求項1】 圧縮データで符号化された入力画像のグ
ループを処理する方法であって、グループ内の現時点で
の画像をそれぞれマクロブロックごとに復号処理し、 メイン・メモリに復号処理された画像を少なくとも幾ら
かを記憶し、 復号処理された画像の異なるパリティのラインに対応す
る連続する2つのフレームをラインごとに表示し、 メイン・メモリはメモリ・ページの形で構成されたダイ
ナミック・メモリであり、該メイン・メモリの中に記憶
される復号処理された画像のマクロブロック(MB)が総て
メモリ・ページに記憶され、 メイン・ダイナミック・メモリに記憶されている復号処
理された各画像の各フレームの表示が、メイン・メモリ
へのページ・アクセス、該フレームを構成するライン全
てのデータを半マクロブロックごとに選択し、 これらのデータを半マクロブロックごとに補助メモリに
シーケンシャルに記憶し、 該補助メモリは、該フレームの予め定められたライン数
に対応した半マクロブロックの1並び分に少なくとも相
当した記憶容量を持ち、そして、該フレームをラインご
とに表示するためにこれらのデータをシーケンシャルに
取り出すことを含む、入力画像の処理方法。 - 【請求項2】請求項1記載の方法であって、その中の画
像のグループが、他のタイプの画像と同様に双方向タイ
プの画像も含んで構成されており、双方向タイプの画像
はその復号処理のために先行して復号処理された2つの
他のタイプの画像からのデータを必要とし、各タイプの
画像がメイン・ダイナミック・メモリ(MMP)に記憶され
るようにした前記処理方法。 - 【請求項3】請求項1記載の方法であって、その中の画
像のグループが、他のタイプの画像と同様に双方向タイ
プの画像も含んで構成されており、 双方向タイプの画像はその復号処理のために先行して復
号処理された2つの他のタイプの画像からのデータを必
要とし、非双方向タイプの画像だけがメイン・ダイナミ
ック・メモリ(MMP)に記憶され、 各双方向タイプの画像(B)はその画像の第1のフレーム
が直接表示されている間に1回目の復号処理をされ、 第2のフレームが表示されている間に2回目の復号処理
され、 双方向タイプ画像の各フレームの表示が、復号処理され
た画像のマクロブロックから取り出され該フレームに対
応したデータを該補助メモリに半マクロブロックごとに
記憶し、ラインごとにこれらのデータを取り出すように
した前記処理方法。 - 【請求項4】請求項1から3のいずれかに記載の処理方
法であって、現時点での補助メモリのアドレスAi,j、即
ち、現時点での半マクロブロックが書き換えられる前に
表示される現時点でのデータが読み出されるアドレス
が、 0<i<MN-1及び1<j<nとして次の式で計算される前記
処理方法: Ai+1,j = ( Ai,j + xj ) modulo (MN-1) xj+1 = N.xj modulo (MN-1) ここで、x1 = 1であり、 Mは補助メモリのライン数、N
はライン当たりのデータ数、nは各フレームのライン総
数を示す。さらに、0 < i < MN-1で1 < j < nである。 - 【請求項5】請求項1から4のいずれかに記載の方法で
あって、垂直方向のフィルタ(FV)が該補助メモリに記憶
されているフレームの少なくとも2ライン分について直
接行われる前記処理方法。 - 【請求項6】それぞれが圧縮データで符号化された入力
画像グループを処理する装置であって、 グループ内の現時点での画像をそれぞれマクロブロック
ごとに復号処理できる復号処理手段(MDC)と、 復号処理手段にリンクし復号処理された画像の少なくと
も幾らかを記憶できるメイン・メモリ(MMP)と、 異なるパリティのラインに対応した2つの連続したフレ
ームとして、復号処理された現時点での画像を表示する
ことができる表示制御手段(MAF)と、を備え、 前記メイン・メモリ(MMP)がメモリ・ページに構成され
るランダムアクセスメモリであり、復号処理された画像
のマクロブロックが総て前記メモリ・ページに記憶され
る形で前記メモリに記憶され、 表示制御手段(MAF)は、 前記復号手段にリンクした第1の入力、および前記メイ
ンメモリの出力にリンクした第2の入力を処理するマル
チプレクサ(MUX)と、 マルチプレクサ(MUX)の出力にリンクし、表示する現時
点での画像のフレームを構成する全てのラインのデータ
を半マクロブロックごとに受け取り、その出力が該フレ
ームを表示するための表示装置(VDCTL)にリンクしてい
るブロック/ライン変換器(BRC)と、を有し、 前記ブロック/ライン変換器は、 表示される復号処理された画像のフレームの予め定めら
れたライン数に対応した半マクロブロックの少なくとも
1並び分の記憶容量を持つ補助メモリ(MMA)と、 マルチプレクサからの半マクロブロックごとの出力を該
補助メモリにシーケンシャルに記憶するためのアドレス
指定と、これらのデータをラインごとにシーケンシャル
に取り出して該フレームを表示する表示装置に送るため
のアドレス指定をする補助メモリ・コントローラ(MCT
L、ADS)と、を有し、 その出力を第1の入力にリンクさせるか第2の入力にリ
ンクさせるかを、画像のタイプの関数として制御する制
御手段(LMC)を備える画像処理装置。 - 【請求項7】請求項6の装置であって、前記補助メモリ
・コントローラ(ADS)が、現時点での補助メモリのアド
レスAi,j、即ち、現時点での半マクロブロックが書き換
えられる前に表示される現時点でのデータが読み出され
るアドレスを、0<i<MN-1及び1<j<nとして次の式で計算
する前記画像処理装置: Ai+1,j = ( Ai,j + xj ) modulo (MN-1) xj+1 = N.xj modulo (MN-1) ここで、x1 = 1であり、 Mは補助メモリ(MMA)のライン
数、Nはライン当たりのデータ数、nは各フレームのライ
ン総数を示す。 - 【請求項8】請求項6または7記載の装置であって、前
記表示制御手段(MAF)が垂直方向フィルタ手段(FV)も構
成に含み、該フィルタ手段(FV)が前記補助メモリの出力
に直接接続され、該補助メモリに記憶されているフレー
ムの少なくとも2ライン分についての垂直方向のフィル
タを行う画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9807933 | 1998-06-23 | ||
FR9807933A FR2780185B1 (fr) | 1998-06-23 | 1998-06-23 | Procede et dispositif de traitement d'images, comprimees notamment selon les normes mpeg |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000041246A true JP2000041246A (ja) | 2000-02-08 |
Family
ID=9527749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11172348A Pending JP2000041246A (ja) | 1998-06-23 | 1999-06-18 | 入力画像の処理方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP0967577B1 (ja) |
JP (1) | JP2000041246A (ja) |
DE (1) | DE69915544D1 (ja) |
FR (1) | FR2780185B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100367804C (zh) * | 2004-01-31 | 2008-02-06 | 三星电子株式会社 | 存储器访问方法和存储器访问装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0723399A (ja) * | 1993-03-31 | 1995-01-24 | Philips Electron Nv | 圧縮されたフレームの復号方法及び装置 |
JPH08242447A (ja) * | 1994-12-07 | 1996-09-17 | Philips Electron Nv | 復号化方法及び受信装置 |
JPH08294115A (ja) * | 1995-03-14 | 1996-11-05 | Sgs Thomson Microelectron Sa | Mpeg復号化器及びその復号化方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0085210A1 (en) * | 1982-01-29 | 1983-08-10 | International Business Machines Corporation | Image processing system |
US5847762A (en) * | 1995-12-27 | 1998-12-08 | Thomson Consumer Electronics, Inc. | MPEG system which decompresses and then recompresses MPEG video data before storing said recompressed MPEG video data into memory |
-
1998
- 1998-06-23 FR FR9807933A patent/FR2780185B1/fr not_active Expired - Fee Related
-
1999
- 1999-06-14 EP EP19990401458 patent/EP0967577B1/fr not_active Expired - Lifetime
- 1999-06-14 DE DE69915544T patent/DE69915544D1/de not_active Expired - Lifetime
- 1999-06-18 JP JP11172348A patent/JP2000041246A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0723399A (ja) * | 1993-03-31 | 1995-01-24 | Philips Electron Nv | 圧縮されたフレームの復号方法及び装置 |
JPH08242447A (ja) * | 1994-12-07 | 1996-09-17 | Philips Electron Nv | 復号化方法及び受信装置 |
JPH08294115A (ja) * | 1995-03-14 | 1996-11-05 | Sgs Thomson Microelectron Sa | Mpeg復号化器及びその復号化方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100367804C (zh) * | 2004-01-31 | 2008-02-06 | 三星电子株式会社 | 存储器访问方法和存储器访问装置 |
Also Published As
Publication number | Publication date |
---|---|
DE69915544D1 (de) | 2004-04-22 |
FR2780185A1 (fr) | 1999-12-24 |
EP0967577A1 (fr) | 1999-12-29 |
FR2780185B1 (fr) | 2000-08-11 |
EP0967577B1 (fr) | 2004-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW245871B (en) | Method and apparatus for efficient addressing of dram in a video decompression processor | |
US6917652B2 (en) | Device and method for decoding video signal | |
KR100542146B1 (ko) | Mpeg 코딩된 이미지 표현 데이터의 디지털 데이터스트림을 처리하는 방법 및 시스템 | |
US5874995A (en) | MPEG video decoder having a high bandwidth memory for use in decoding interlaced and progressive signals | |
JPH08130745A (ja) | 復号化システム、復号化装置および復号化回路 | |
EP0729276B1 (en) | Memory control system and video decoder using the same | |
JPH10509569A (ja) | 3:2のプルダウンで映像をデコードしそして表示するメモリ利用法 | |
JPH11331751A (ja) | データシーケンスの圧縮及び脱圧縮におけるメモリ帯域幅を最小とさせるためのピクチャメモリマッピングにおけるタイル化 | |
US6028612A (en) | Picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences | |
US5754243A (en) | Letter-box transformation device | |
JP3141772B2 (ja) | Mpeg復号化器及びその復号化方法 | |
JP4879381B2 (ja) | 画像復号化方法および画像復号化装置 | |
JP4702967B2 (ja) | 画像復号化方法および画像処理装置 | |
JP3168922B2 (ja) | デジタル画像情報の記録再生装置 | |
JP4526145B2 (ja) | Mpegビデオ復号器およびmpegビデオ復号方法 | |
JPH06178283A (ja) | 動画像復号装置 | |
US6188727B1 (en) | Simplicity HDTV video decoder and its decoding method | |
EP1089567A1 (en) | Video processing device and method, and medium | |
JPH10178644A (ja) | 動画像復号装置 | |
JP3871348B2 (ja) | 画像信号復号化装置及び画像信号復号化方法 | |
JP2863096B2 (ja) | 並列処理による画像復号装置 | |
JP3569961B2 (ja) | ディジタル映像信号復号装置 | |
JP2000041246A (ja) | 入力画像の処理方法 | |
US20030123555A1 (en) | Video decoding system and memory interface apparatus | |
JP3685386B2 (ja) | 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100330 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100402 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100422 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100427 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100907 |