JP2000041246A - 入力画像の処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 復号処理した画像データを表示している間のM
PEGデコーダによるメモリのアクセス時間をできるだけ
少なくする。 【解決手段】 ダイナミック・メモリ(MMP)をページ構成
とし、各ページに画像のマクロブロックを２つ記憶させ
る。メモリ(MMP)に記憶された各画像の表示は、画像を
ブロック毎に取り出し、ブロック／ライン変換(BRC)を
行い、ライン毎に表示して行う。これにより、画像のフ
レームの各ラインを表示するためにメモリの中のページ
を開く回数を最少化することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はMPEG規格によって
圧縮された画像の復号処理と表示に関し、特に、その画
像の表示回路とダイナミック・メモリとの間でのデータ
の授受に関するものである。

【０００２】

【従来の技術】種々の画像圧縮規格、特にMPEG("Motion
Picture Experts Group")によれば、通常、16 x 16ピ
クセルの正方形またはマクロブロック単位で復号処理さ
れる。マクロブロックは種々のフォーマットが採られ
る。最も一般的に用いられるのは、4:2:0と呼ばれるも
ので、ピクセル当たり8ビットで8 x 8ピクセルを1ブロ
ックとする輝度データの4ブロック分と、ピクセル当た
り8ビットで8 x 8ピクセルを1ブロックとする色データ
の2ブロック分とで成り立っている。

【０００３】処理される画像データには基本的に３つの
タイプ、すなわち、いわゆる“イントラ（intra：フレ
ーム内)”と、“予測（predicted：プレディクテッ
ド)”及び“双方向（bidirectional)”がある。当業者
は、“イントラ”画像データが如何なる動き補償処理も
受けていないことを知っている。 予測画像データで
は、各マクロブロックは先に復号処理された画像データ
から取り出される、いわゆる“プレディクター（predic
tor：予測プログラム）”と呼ばれるマクロブロックと
組み合わせることによって出来る動き補償処理を受ける
ことができる。双方向画像データのマクロブロックは、
先に復号処理された２つの画像データから夫々取り出さ
れる、２つのプレディクターマクロブロックと組み合わ
せることによって出来る動き補償処理を受けることがで
きる。プレディクターマクロブロックの取り出し位置は
動きベクトルによって決められる。

【０００４】MPEG復号／表示システム（以下、“MPEGデ
コーダ”と呼ぶ）に関しては、復号処理と復号処理され
た画像の表示の実行と同じくダイナミック・メモリにつ
いて言及しなければならない。かかるメモリは、これら
画像の復号処理と表示において基本的な役割を果たす。
現在の製造技術では、下記のものが１つの同じチップ内
に造られる。MPEGデコーダ、及び、マイクロプロセッサ
で構成され、特に、例えば衛星デコーダに組み込まれた
場合、チャネル検索を行うことを目的とした処理手段、
並びに、素子図形を作成する回路など。この素子図形は
画像の中にちりばめられて遠隔操作手段によって呼び出
される操作メニューの例示となり、ユーザがテレビその
他の受信装置の動作条件を調整できるようにする。

【０００５】しかし、これらの回路は全て同じダイナミ
ック・メモリを共用している。従って、特にメモリの占
用時間、すなわち、１つの回路がメモリにアクセスして
いる間のクロックサイクル数を減らせられることが基本
的に重要である。そうすることによって余裕時間を残す
ことができ、初めの回路が次のフェーズの処理を始める
前に、他の回路がこのメモリにアクセスすることができ
る。

【０００６】

【発明が解決しようとする課題】本発明は上記目標をMP
EGデコーダのレベルで達成することを目指している。言
い換えれば、本発明の目的は、復号処理した画像データ
を表示している間のMPEGデコーダによるメモリのアクセ
ス時間をできるだけ少なくすることである。

【０００７】

【課題を解決するための手段】本発明は圧縮コード化さ
れた入力画像のグループの下記構成による処理方法を提
案する。画像グループを逐次マクロブロックごとに復号
処理すること、復号処理された画像をメイン・メモリに
記憶し、復号処理した現時点での画像を異なるパリティ
（奇偶性）のラインに対応する２つの連続したフレーム
としてラインごとに表示する。本発明の概念に従いメイ
ン・メモリは、メモリ・ページで構成されたダイナミッ
ク・メモリであり、メイン・メモリに記憶される復号処
理された画像のマクロブロックは総てメモリ・ページに
記憶される。実際には、例えば、メモリ・ページ当たり
２つのマクロブロックが記憶可能である。メイン・ダイ
ナミック・メモリに記憶されている復号処理された画像
の各フレームを表示するには、メイン・メモリへのペー
ジ・アクセスを行い、フレームを構成する全てのライン
のデータの半マクロブロックごとの選択を行い、これら
データの補助メモリ(予め決められたフレーム当たりラ
イン数に対応した半マクロブロックの１行分以上のメモ
リ容量を持つ)への半マクロブロックごとのシーケンシ
ャルな記憶を行い、そして、フレームをラインごとに表
示するために、上記データをラインごとに(ライン順に)
シーケンシャルに抽出する。

【０００８】言い換えれば、メイン・ダイナミック・メ
モリに記憶され、そして、表示しようとされた画像デー
タのタイプの如何(“イントラ”又は“予測”、及び実
行中に後者が復号処理されていなければ双方向もあり得
る) にかかわらず、マクロブロックごと(マクロブロッ
ク順)に引き続くページを開くことによって、アクセス
される。マクロブロックはダイナミック・メモリの中の
出力バッファメモリに連続して記憶されている。従っ
て、表示するフレームの偶数又は奇数ラインに対応した
半マクロブロックだけが選択され、補助メモリに連続し
て記憶される。補助メモリはそれがフルの場合、表示さ
れるフレームの数ライン分、例えば８ライン分で構成さ
れる。メイン・ダイナミック・メモリのページにペアで
記憶される45のマクロブロックでフレームの各ラインが
構成されると仮定すると、補助メモリの中の半マクロブ
ロック行の８ライン分の記憶、従って、それらの連続表
示には２３のメモリ・ページを開くことが要求される、
ということは、メイン・ダイナミック・メモリに直接に
ラインごとの画像データを取り出しに行く方法に比べて
８分の１になるということである。このケースの場合、
各ラインを表示するのに３２のページを開くことだけが
必要であるというのがその理由である。従って、当業者
であれば、メイン・ダイナミック・メモリに記憶されて
いる画像データを表示するためにそのメモリのページを
開く回数を制限するという意味において、本発明が注目
に値することに気づくであろう。それによって、ページ
を開いたり変更したりするのに必要なサイクル数が著し
く減り、その結果、メモリの占用時間が減少する。

【０００９】本発明は、変形であっても、その中で各タ
イプの画像データ、すなわち、“イントラ”、“予測”
及び“双方向”も含めた画像データがメイン・ダイナミ
ック・メモリに記憶されているものであれば、適用でき
る。

【００１０】であるから、本発明は次に示すようなケー
スにおいて特に有益な応用例を見出す。そのケースとい
うのは、双方向画像データを、表示する前にメイン・メ
モリに記憶する替わりに、“on the fly(実行中)”に復
号処理するものである。すなわち、このケースでは、画
像の第１フレームが直接表示されている間に双方向画像
データは１回目の復号処理をされ、第２フレームが表示
されている間に２回目の復号処理をされる。この変形で
は、 双方向画像データの各フレームの表示は、フレー
ムに対応するデータの補助メモリへの半マクロブロック
ごとの記憶、と、復号処理された画像データのマクロブ
ロックを呼び出し、続いてラインごとにこれらのデータ
を取り出すことによって行われる。

【００１１】本発明のこの変形は、メモリの占用時間を
減らすのとメモリのサイズを小さくする(双方向画像デ
ータはそこに記憶されないので)のと両方の意味におい
て、特に注目に値するものである。

【００１２】さらに、同じ手段が、“イントラ”、“予
測”いずれの画像を表示する場合でもブロック／ライン
変換に使われ、また、 双方向画像の直接表示をする場
合にも使われる。

【００１３】画像データはラインごとに表示されるのに
もかかわらず、ブロック単位で復号処理されたりメイン
・メモリから取り出されたりするので、補助メモリはブ
ロック単位で書き込まれ、ライン単位で読み出されなけ
ればならない。このために、データを読み出すと同時に
そのデータを書き込む必要がある。そこで、本発明の１
つの実現形態では、 現時点での補助メモリのアドレスA
_i,j、即ち、現時点での半マクロブロックが書き換えら
れる前に表示される現時点でのデータが読み出されるア
ドレスは、（0<i<MN-1及び1<j<n として）次の式で計算
される。

【００１４】

【数１】A_i+1,j = ( A_i,j + x_j ) modulo (MN-1) x_j+1 = N.x_j modulo (MN-1)

【００１５】ここで、x₁ = 1であり、 Mは補助メモリ(M
MA)のライン数、Nはライン当たりのデータ数、nは各フ
レームのライン総数を示す。

【００１６】さらに、補助メモリには各フレームの中の
幾ラインかが必ず記憶されているので、本発明は、補助
メモリに記憶されたフレームの少なくとも２ラインの部
分で、垂直方向のフィルタを可能にする有利さを持つ。
従って、メイン・メモリから直接ラインごとに画像デー
タを読み出して表示する場合には、メイン・メモリの出
力側でそのような垂直方向のフィルタを行うのに必要な
遅延線の使用が、本発明では不要となる。

【００１７】圧縮符号化された画像データのグループを
処理するための装置も本発明の対象である。この装置
は、各画像グループにおいてマクロブロックごとに復号
処理する復号処理手段と、その復号処理手段に繋がり、
復号処理された画像データの少なくとも幾らかを記憶で
きるメイン・メモリと、現時点での画像を異なったパリ
ティのラインに対応する２つの連続したフレームとして
ラインごとに表示する表示制御手段とで構成される。本
発明の概括的な特性によれば、メイン・メモリはメモリ
・ページの形に構成されたダイナミック・メモリであ
り、そのメモリに記憶される復号処理された画像のマク
ロブロックは総てメモリ・ページに記憶される。さら
に、表示制御手段は、マルチプレクサとブロック／ライ
ン変換器とを含んで構成される。マルチプレクサは、復
号処理手段の出力に繋がる第１の入力と、メイン・メモ
リの出力に繋がる第２の入力と持つ。ブロック／ライン
変換器は、マルチプレクサの出力が入力となって、表示
する現時点での画像のフレームを構成するライン全ての
データを半マクロブロックごとに受けることができ、ま
た、その出力は上記フレームを表示するための装置へ接
続される。

【００１８】ブロック／ライン変換器は、補助メモリと
補助制御手段もその構成の中に含んでいる。補助メモリ
は表示される画像フレームの予め決められたライン数に
応じた半マクロブロックの少なくとも１並び分の記憶容
量を持ったものであり、補助制御手段は、マルチプレク
サから出力される半マクロブロックごとのデータを補助
メモリにシーケンシャルに記憶するためのアドレス指定
と、これらのデータをラインごとにシーケンシャルに補
助メモリから取り出すためのアドレス指定を行う。取り
出されたデータはフレームをラインごとに表示する表示
装置へ送られる。本発明による処理装置は、主制御手段
も構成の中に含んでおり、主制御手段は、現時点の画像
データのタイプに応じてマルチプレクサを制御し、その
出力に第１の入力をリンクするか或いは第２の入力をリ
ンクする。本発明のその他の特徴及び特性は、全く制約
のない実行方法と実現形態についての詳細説明とそれに
付随した図面によって明らかになるであろう。

【００１９】

【発明の実施の形態】図１において、SYは、例えば、衛
星用デコーダ 及び／又は テレビに組み込まれたディジ
タル画像処理システムを一般的な方法で示したものであ
る。

【００２０】このシステムSYにおいて、入力手段IFE
は、衛星用アンテナまたはディジタル・ディスク（簡略
化のため図示していない）から、例えばMPEG規格によっ
て圧縮されたデータ・ストリームを受信する。

【００２１】本発明に従って画像処理をするための装置
DCD、又はMPEGデコーダは、上記の圧縮されたデータに
よる符号化画像を表示スクリーンAFFに表示するために
復号処理する。

【００２２】システムSYはさらに、例えば種々の衛星チ
ャネルの復号処理を制御できるマイクロプロセッサCP
U、並びに、図形情報生成器OSD-GENで構成される。この
図形情報はビデオ画像に重畳されてスクリーン上に表示
され、例えば、テレビのリモコンを操作することによっ
て得られる対話用のメニューとなる。

【００２３】最後に、このシステムSYの基本となる構成
要素はダイナミック・メモリMMPであり、これは上記種
々の構成要素によって共用される。それ故、そのメモリ
の占用時間を減らすことが必須であり、そうすることに
より、システムSYの種々の構成要素が出来るだけ数多く
メモリにアクセスできるようになる。これが本発明の目
的の１つである。

【００２４】図１に示す構成要素の集合は双方向性のバ
スBBSを通して互いに対話する。

【００２５】図２において、デコーダDCDは、基本的に
は、MDCと図示したいわゆる“復号処理”手段と、MAFと
図示したいわゆる“表示制御”手段とで構成される。

【００２６】復号処理手段MDCは、基本的には、いわゆ
る“パイプライン”回路PPLで構成される。 PPLは64ビ
ット・バスを通して圧縮データを受け取り、処理された
マクロブロックである輝度及び色ブロックをFF1と図示
した“先入れ先出し”(FIFO)タイプのメモリを通して加
算回路へ送っている。さらに、加算回路はそれに対応し
たフィルタされたプレディクターマクロブロックを受け
取る。このプレディクターマクロブロックは、メモリMM
Pから取り出されたプレディクターマクロブロックをも
とにして予測回路FPRから送られてくる。

【００２７】パイプライン回路PPLは、概して従来の方
法で、可変長復号処理(VLD)、ゼロ・ラン・レングス復
号処理(RLD)、ジグザグ・スキャンから直線スキャンへ
の変換、及び、逆離散余弦変換(DCT^-1 )を行う。

【００２８】MPEG規格によれば、予測回路FPRは基本的
にいわゆる“半ピクセル”フィルタで構成されており、
このフィルタは プレディクターマクロブロックを取り
込むことを可能にする動きベクトルが整数でなければ、
このプレディクターマクロブロックを垂直及び／又は水
平方向に半ピクセル分シフトする。 復号処理手段MDCと
メイン・メモリMMPはバスを通して対話し、そして、こ
のメモリと デコーダDCDの種々の構成要素との間の交換
は主制御手段LMCによって管理される。

【００２９】表示手段MAFは構成要素にマルチプレクサM
UXを含む。MUXは第１の入力が復号処理手段MDCの加算器
の出力であり、第２の入力がメモリMMPの出力である。
マルチプレクサの出力はFF2と図示したFIFOタイプの第
２のバッファ・メモリに繋がっている。 バッファ・メ
モリFF2の出力はブロック／ライン変換器BRCに繋がって
いる。BRCの構造と機能については以下に詳しく述べ
る。BRCの出力はビデオ・コントローラVDCTLに繋がれ、
表示スクリーンAFFの制御に応じる。

【００３０】マルチプレクサMUXの出力には、表示され
る画像のタイプを表わす制御信号STYに応じて第１或い
は第２の入力が選ばれて繋がる。すなわち、この実施例
の場合、双方向画像か、或いは、イントラ画像または予
測画像である。

【００３１】MPEG規格は、メモリMMPが、少なくとも2.6
メガビットの圧縮データ・エリアZCD、並びに、容量が
およそ1メガビットに及び、画像及び音声データに重畳
して表示される情報を記憶するのに用いられる、容量が
およそ1メガビットに及ぶエリアZXとで構成されること
を提唱している。

【００３２】ここで説明する実施例におけるメモリMMP
は、これらのエリアの他に、双方向画像の併行復号処理
に対応した２つの画像用エリアZM1及びZM2を加えて構成
される。これらのメモリZM1及びZM2のそれぞれは、PAL
画像(国際規格による最大)の720 x 576ピクセルを記憶
できる必要がある。 4:2:0形式のマクロブロックを使う
とすれば、ピクセルが12ビットであるので、画像全体の
サイズがおよそ4.9メガビットになる。

【００３３】ここで説明する実施例では、再構成中の双
方向画像をメモリMMPのメモリ・エリアに記憶して表示
は後で行うというのではなく、実行中に双方向画像を表
示する、すなわち、復号処理をする傍らで表示を行う。
このことにより、メモリMMPのサイズを小さくすること
ができ、先に復号処理された“イントラ”と“予測”の
２つの画像を記憶するためのメモリ・エリアZM1とZM2だ
けを用意すればよいことになる。この場合、メモリMMP
に必要なサイズはメモリ・エリアのサイズ単位で減少
し、容易に構築することができる。特にPAL規格(最も強
要される)の場合、16ビット・256キロ・ワードの非同期
ダイナミック・メモリ(DRAM) 4個、或いは、16メガビッ
ト同期ダイナミック・メモリ(SDRAM) 1個で構築でき
る。

【００３４】復号処理中の双方向画像を併行して表示す
る場合、表示に先行して行われる処理は画像全体につい
て、即ち、ライン順に行われるけれども、 始めに、画
像の奇数ラインで構成される第１のフレームを表示し、
次に画像の偶数ラインで構成される第２のフレームを表
示する必要がある。このことは、もし、復号処理手段MD
Cのラインを復号処理する速さが表示する速さと同じで
あるとすれば、復号処理手段MDCがK番目のラインを処理
している時にK-1番目のラインが表示されなければなら
ないことを意味している。言い換えれば、第１のフレー
ムが表示されようとしている時点ではデコーダはこのフ
レームの半分しか復号処理できていない。

【００３５】それで、画像を表示している期間中に各双
方向画像を２度づつ復号処理する措置がとられた。この
場合、2K-1番目のラインが表示される時点で2Kライン分
の復号処理が完了している。もっと明確に言えば、第１
のフレームが表示される時点で、画像全体、即ち、この
画像の２つのフレームともに復号処理が完了している。

【００３６】同時に併行して表示が行われるので、復号
処理はされたが表示されなかった第２のフレームは棄て
られる。第２のフレームは画像が２回目に復号処理され
た時に表示される。

【００３７】図３には、画像グループの復号処理と表示
に関するタイムチャートを示す。順次表示される画像は
P0,B1,B2,P3,B4,B5,P6で示されており、Pは予測画像、
Bは双方向画像を表わしている。このような画像系列はM
PEG規格では通常のものである。 各予測画像Pを再構成
するためには、先行する予測画像(又は、図示されてい
ないが、“イントラ”画像)から取り出すプレディクタ
ーマクロブロックをが必要とする。各双方向画像Bを再
構成するためには、その両側にある予測画像から取り出
すプレディクターマクロブロックを必要とする。それ
故、画像に対応して圧縮されたデータは表示とは違った
順序でデコーダDCDに送られてくる。この例では、圧縮
されたデータはP0,P3,B1,B2,P6,B4,B5の順で到着する。
始めに、画像P0が復号処理され、メモリ、例えばZM1エ
リア、に記憶される。画像P3が復号処理され、ZM2エリ
アに記憶されている間に画像P0が表示される。次に、画
像B1が２倍速で１回目の復号処理をされ、その間に、画
像B1の第１のフレームが併行して表示される。そして、
画像B1が２倍速で２回目の復号処理をされ、その間に、
画像B1の第２のフレームが併行して表示される。手段MD
Cによって行われる画像B1のそれぞれの復号処理は、ZM1
エリア及びZM2エリアに記憶されている画像P0及びP3か
ら取り出されるプレディクターマクロブロックを使って
行われる。同じ処理が画像B2に対しても行われる。次
に、画像P6が復号処理され、画像P0に替わってZM1エリ
アに記憶され、その間に画像P3が表示される。画像B4及
びB5は、画像B1及びB2と同様に、２倍速で２度復号処理
をされ、その間に表示される。画像B4及びB5の復号処理
は、ZM2エリア及びZM1エリアに記憶された画像P3及びP6
から探し出されたプレディクターマクロブロックを使っ
て行われる。

【００３８】双方向画像の復号処理を併行して行うため
に、制御手段LMCはプログラムを変更されて、ZCDエリア
に記憶されている各双方向画像に対応した圧縮データを
パイプライン回路PPLに転送するタスクを２度実行す
る。これに関して、制御手段は25.5MHzのクロックが通
常供給され、パイプライン回路は通常34MHZの自身のク
ロックで動作する。これらの速度で回路を動作させるこ
とは、通常の技術の範囲内で完全に実現可能である。制
御手段LMCが圧縮データを２度パイプライン回路PPLに送
ることを可能にする、とりわけ簡単な実現形態と実行方
法について、特に図４及び図５を参照しながら説明す
る。

【００３９】通常、メモリのZCDエリアに記憶されるMPE
Gに準拠して圧縮されたデータ・ストリームは、継続し
た入力画像IM1、IM2、等にそれぞれ関連した継続する圧
縮データのグループで構成される。画像に関与する各デ
ータ・グループは、ヘッダETを伴う画像開始識別子PS
C("Picture Start Code")を含んで構成される。ヘッダ
は、画像系列の中の一つ一つの画像を識別できるような
特定の識別子を含んでいる。特定の識別子としてこの例
では画像の暫定参照記号TRがある。ヘッダは又、画像の
タイプ、例えば“イントラ”、“予測”、“双方向”を
識別するキューITも含んでいる。

【００４０】ヘッダの後には画像の実効データCDUが続
く。

【００４１】第１のアドレス・ポインタPTAと,第２のア
ドレス・ポインタPTBがあり、それぞれが連続したアド
レス@1,@2,等、のメモリ・エリアをパケット内のビット
まで読むことができるようにしている。

【００４２】基本的に１つのマイクロプロセッサで構成
された処理手段MPを中心にして設計された手段LMCは、
配線形式などで作られた画像開始識別子検出器SCDを含
んでおり、第１のアドレス・ポインタPTAで指定された
アドレスから取り出される夫々のビット・パケットの中
に画像開始識別子PSCが有るか無いか調べている。

【００４３】第２のアドレス・ポインタPTBの内容を制
御するポインタ制御手段もまた処理手段MPに繋がってい
る。ポインタ制御手段は概略次のような構成になってい
る。第１のレジスタRG1の出力がマルチプレクサMUX2を
介して第２のレジスタRG2の入力に繋がっている。マル
チプレクサMUX2は画像の２回目の復号処理の制御を示す
制御信号RDCによって制御される。レジスタRG2の出力
は、アドレス・インクリメント回路とマルチプレクサMU
X2を介して、自身の入力に繋がっている。結果的に、レ
ジスタRG2がアドレス・ポインタPTBの実質の内容を記憶
している。

【００４４】第３のレジスタRG3が画像の暫定参照記号T
Rを記憶し、第四のレジスタRG4が復号処理すべき画像の
タイプを表わすキューITを記憶する。これによって、パ
イプライン回路PPLの諸手段がその時点での画像を的確
に復号処理できるようになる。

【００４５】実際、各レジスタRG3及びRG4は、回路PPL
で復号処理が進められている現時点の画像についてのキ
ューTR及びIT、並びに、次の画像につてのそれらを規則
通りに記憶できる。

【００４６】最後に、復号禁止手段MHD（図４では簡略
化のためにブロックPPLの中に図示したがPPLの外であっ
てもよい）は、ポインタPTBで指定されメモリから取り
出されたパケットに含まれるビット・データを一方で受
け、他方ではレジスタRG3の内容を受け取る。この手段M
HDはハードで具体化されても、ソフトで具体化されても
よい。その機能については後でさらに詳しく説明する。

【００４７】手段の動作の仕方について図４を参照して
説明してきたが、これからは図５を特に参照して説明す
る。

【００４８】画像IM1の復号処理がパイプライン回路PPL
で進行中であり(ステップ700)、２つのアドレス・ポイ
ンタPTAとPTBがアドレス@1を指示している、と仮定す
る。

【００４９】アドレス@1に在って、メモリのZCDエリア
から取り出されたビット・パケットは検出器SCDで読ま
れる(ステップ701)。

【００５０】すると、検出器SCDが画像IM2に対する画像
開始識別子PSC2の存在を検出する(ステップ702)。この
検出結果を表わす信号がマイクロプロセッサMPに送られ
る。マイクロプロセッサMPはパケットのビット・ストリ
ング、特に、その画像に対する特定の識別子ET2並びに
画像のタイプIT2を読む(ステップ703)。画像IM2が、再
復号処理を必要とする双方向画像であれば、マイクロプ
ロセッサMPは画像IM2に対する画像開始識別子PSC2が含
まれるパケットのアドレス@1をレジスタRG1に記憶する
(ステップ704)。さらに、画像IM2の暫定参照記号TR2が
レジスタRG3に記憶され(ステップ705)、そして、この画
像のタイプIT2がレジスタRG4に記憶される(ステップ70
6)。

【００５１】それから、画像IM2の復号処理が、同じパ
ケットから出てくる有効なデータCDU2の助けを得てパイ
プライン回路PPLで始められる。このとき、第２のアド
レス・ポインタPTBもアドレス@1であるので、同じパケ
ットとなる。

【００５２】次に、レジスタRG2はインクリメントされ
て内容がアドレス@2となり、その結果、アドレス・ポイ
ンタPTBが新しいアドレス@2指すことになる(ステップ70
8)。アドレス・ポインタPTAもインクリメントされて同
じくアドレス@2を指すことになる。

【００５３】双方向画像IM2の１回目の復号処理がデー
タCDU2の残りに対して続けられる(ステップ709)。

【００５４】１回目の復号処理の最後で、パイプライン
回路PPLの中の可変長復号処理(VLD)回路が復号終了信号
を出す。この信号は、マイクロプロセッサMPが発する制
御信号RDC(ステップ710)制御の下で、マルチプレクサMU
X2の第１の入力を有効として、レジスタRG2の内容をア
ドレス@1に書き換える(ステップ711)。

【００５５】従って、第２のアドレス・ポインタPTBも
元に戻って、再びアドレス@1指定するようになる。実際
のMPEGデータ・ストリームの中では、画像開始識別子PS
Cの間隔は一定でなく、画像の内容によって変わるので
困難さを伴う。この困難さは、メモリのZCDエリアをパ
ケットごとに読み出すことと相俟って、結果的に、パケ
ットの中に存在する画像IM2の開始位置を正しく確認す
ることを出来なくしている。

【００５６】本発明は、復号処理する画像の暫定参照記
号TR2を、アドレス・ポインタPTBを復号処理する画像の
開始識別子PSC2が含まれているパケットのアドレスに戻
すことと、組み合わせて使うことによって、この困難さ
を解決している。

【００５７】さらに詳しく言えば、そのとき、復号禁止
手段MHDが、アドレス@1で読み出されたパケットの種々
のビットを調べ、その情報をレジスタRG3に記憶された
画像IM2の暫定参照記号TR2と比較する。

【００５８】そして、この比較の結果が否定的、すなわ
ち、暫定参照記号TR2の存在が再び検出されない限り、
パイプラインPPLはパケットから供給されたそのデータ
を扱うことなく、次のステップへ進む(ステップ713)。

【００５９】上記比較の結果が肯定的、すなわち、暫定
参照記号TR2の存在が再び検出されたときだけ、手段MHD
はパイプライン回路PPLが圧縮データを扱うのを認め、
双方向画像の２回目の復号処理が行われる(ステップ71
4)。この２回目の復号処理中は、レジスタRG2がインク
リメントされることによってポインタPTBがアドレス@2
に移って(ステップ715)、画像IM2の復号処理が最後まで
続けられる(ステップ716)。

【００６０】デコーダDCDの一般的な動作に戻ると、
“イントラ”及び“予測”画像は通常の照会メカニズム
によって加算器の出力側にあるメモリMMPに送られる。
一方、復号処理された双方向画像Bはマクロブロックご
とにマルチプレクサ経由でバッファメモリFF2へ転送さ
れる。マルチプレクサは制御手段LMCによって発行され
る信号STYによって画像Bが選択されるように制御されて
いる。メモリMMPに記憶されている“イントラ”或いは
“予測”画像を表示するときには、信号STYの指示に従
ってマルチプレクサは, メモリMMPから順次読み出され
る画像のマクロブロックをバッファ・メモリFF2に記憶
する。

【００６１】マルチプレクサMUXによって出力された画
像はマクロブロック単位でシーケンシャルにバッファ・
メモリFF2に記憶される。他方、ビデオ・コントローラV
DCTLは画像ピクセルをラインごとに受け取ることを要求
する。これが、ブロック／ライン変換器BRCがバッファ
・メモリFF2とビデオ・コントローラVDCTLとの間に設け
られる理由である。

【００６２】図６にさらに詳しく図示したように、この
変換器BRCは、バッファ・メモリFF2に記憶されている各
マクロブロックの中の種々の輝度及び色ブロックを受け
取る入力インタフェースINDを構成要素として持つ。こ
の手段INDは照会信号RQ及び確認信号ACKに基いて動作す
る入力コントローラINCによって制御される。受け取ら
れたデータは、補助メモリMMAの中のアドレス・シーケ
ンサADSによって連続して定められたアドレスA_i,jに連
続的に書き込まれる。輝度Y及び色UとVの色々な値がメ
モリMMAからラインごとに取り出され、フィルタ回路FV
に送られる。フィルタ回路FVは動作状態にあれば、これ
らのラインについて垂直方向に関するフィルタ処理を実
行する。例えば、輝度及び色についてフィルタ処理され
た値を送り出すために、これら色々な値を持つピクセル
のライン間での加重平均を算出する。変換器BRCは、ビ
デオ・コントローラVDCTLによって供給されるフレーム
同期信号VSYNCを特に受ける一般的なコントローラMCTL
によって通常の方法で制御される。この同期信号VSYNC
によってパリティの選択が可能になる。各復号処理にお
いて、ただ１つのフレーム、すなわち、偶数ラインだけ
或いは奇数ラインだけが表示される理由がこれである。
こうして、変換器BRCは、バッファ・メモリFF2から受け
取るブロックのラインの中から表示すべきフレームに対
応したパリティのラインを選び出す。半マクロブロック
ごとに（各半マクロブロックは８ラインに対応する）補
助メモリMMAに記憶させる、というのはこのことが理由
である。それ故に、マクロブロックが16ラインであるに
もかかわらず、変換器BRCの容量は8ラインである。言い
換えれば、補助メモリMMAは、少なくとも半マクロブロ
ックの１並び分（例えば、45半ブロック）を記憶する能
力を持ち、表示するフレームのライン数（この場合、
８）に対応している。

【００６３】メモリMMAはダイナミック・メモリであ
り、１つの大容量FIFOとみなされるが、ブロック(半マ
クロブロック)ごとに書き込まれ、ラインごとに読み出
されるので、連続したアクセスにはなっていない。実際
には、表示手順に従ってメモリ内に充分なフリー・エリ
アが出来次第、半マクロブロックをシーケンシャルに書
き込むように制御手段MCTLとアドレス・シーケンサがプ
ログラムされている。

【００６４】さらに詳しく言えば、現時点での補助メモ
リのアドレスA_i,j、即ち、現時点での半マクロブロック
が書き換えられる前に表示するデータのアドレスは、ア
ドレス・シーケンサによって次の式で計算される。

【００６５】

【数２】A_i+1,j = ( A_i,j + x_j ) modulo (MN-1) x_j+1 = N.x_j modulo (MN-1)

【００６６】ここで、x₁ = 1であり、 Mは補助メモリの
ライン数、Nはライン当たりのデータ数、nは各フレーム
のラインライン総数を示す。さらに、0 < i < MN-1で1
< j< nである。

【００６７】変換器BRCのこの補助メモリを使うことに
よって、メイン・メモリMMPに記憶されている“イント
ラ”或いは“予測”画像を表示するために開くページの
数を制限できる。

【００６８】その理由は、メイン・メモリMMPがメモリ
・ページで構成されているとすれば(図７)、例えば、ZM
1エリアに記憶される画像の各マクロブロックMBが総てZ
M1エリア内のページPAに記憶されるからである。簡単化
のために、図７ではページ当たり１つのマクロブロック
しか書かれていないが、実際には、各メモリ・ページが
２マクロ・ブロックを収容することは理解されよう。図
７において、マクロブロックMB1 - MBkの１番目の並びR
MB1はZM1エリアに記憶された画像の最初の16ライン分に
対応するので、メモリ・ページのPA1 - PAkに展開され
る。従って、パリティの同じ８ラインに対応した半マク
ロブロックの１並びを補助メモリMMAに記憶するために
は、kページ開く必要がある。続く８ライン分を補助メ
モリMMAから取り出して表示する際には、従って、メモ
リ・ページは一切開く必要がない。それ故、メモリMMP
に記憶されている画像の各フレームを完全に表示するの
に必要なページ替えの総回数は、メモリMMPから各フレ
ームのピクセルがラインごとに直接取り出される特別の
ケースに比べて著しく減少する。そのような特別のケー
スでは、１フレーム・ラインごとにkページを開かなけ
ればならないからである。

【００６９】従って、技術に熟練した者であれば、本発
明がメモリの占用時間を相当に減らすということに気づ
くであろう。さらに、同じ変換器BRC、従って同じ補助
メモリMMAが、メモリMMPに記憶された“イントラ”及び
“予測”画像の表示に使われ、また、併行して復号処理
される双方向画像を直接表示するのに使われる。

【００７０】最後に、補助メモリが予め定められた数の
ライン(本説明では８)を収容するので、フィルタFVをメ
モリMMAの出力に直接接続することによって、補助メモ
リに収容されている少なくとも２ラインの垂直方向のフ
ィルタ処理を、遅延線を使うことなく実行できる。(フ
レームのデータがラインごとにメモリMMPから直接取り
出されるケースでは遅延線が使われるであろう。) 本発明は上述の構成と実行様式に限られるものではな
い。次に示すような違った具体化の仕方でメモリMMPに
記憶された画像を変換器BRC経由で表示するのもメモリ
の占用時間の点で有利である。すなわち、双方向画像の
復号処理を表示と併行して同時に行うのではなく、“イ
ントラ”や“予測”画像の場合と同様にメモリMMPの中
の他のエリアに暫定的な記憶をする方法である。

【００７１】

【発明の効果】この発明によると、画像のフレームの各
ラインを表示するためにメモリの中のページを開く回数
を最少化することができ、共用するダイナミック・メモ
リの効率的な利用が図れる。

【図面の簡単な説明】

【図１】 本発明による画像処理装置を取り入れた高精
細画像処理システムのブロック図である。

【図２】本発明による処理装置の詳細ブロック図であ
る。

【図３】双方向画像の表示と同時併行の復号処理を示
す。

【図４】双方向画像の二重復号処理をさらに詳しく示し
たものである。

【図５】 双方向画像の二重復号処理をさらに詳しく示
したものである。

【図６】図２に示す装置に属し、本発明に従ったブロッ
ク／ライン変換器の詳細ブロック図である。

【図７】ダイナミック・メモリの本発明によるページ化
構成を示す。

【符号の説明】

MMP : メイン・メモリ MB : マクロブロック DCD : デコーダ MMA : 補助メモリ FV : 垂直方向フィルタ手段 MDC : 復号処理手段 MAF : 表示制御手段 MUX : マルチプレクサ BRC : ブロック／ライン変換器 VDCTL : ビデオ・コントローラ MCTL : 補助メモリ・コントローラ ADS : アドレス・シーケンサ LMC : 主制御手段

Claims (8)

【特許請求の範囲】
1. 【請求項１】 圧縮データで符号化された入力画像のグ
   ループを処理する方法であって、グループ内の現時点で
   の画像をそれぞれマクロブロックごとに復号処理し、 メイン・メモリに復号処理された画像を少なくとも幾ら
   かを記憶し、 復号処理された画像の異なるパリティのラインに対応す
   る連続する２つのフレームをラインごとに表示し、 メイン・メモリはメモリ・ページの形で構成されたダイ
   ナミック・メモリであり、該メイン・メモリの中に記憶
   される復号処理された画像のマクロブロック(MB)が総て
   メモリ・ページに記憶され、 メイン・ダイナミック・メモリに記憶されている復号処
   理された各画像の各フレームの表示が、メイン・メモリ
   へのページ・アクセス、該フレームを構成するライン全
   てのデータを半マクロブロックごとに選択し、 これらのデータを半マクロブロックごとに補助メモリに
   シーケンシャルに記憶し、 該補助メモリは、該フレームの予め定められたライン数
   に対応した半マクロブロックの１並び分に少なくとも相
   当した記憶容量を持ち、そして、該フレームをラインご
   とに表示するためにこれらのデータをシーケンシャルに
   取り出すことを含む、入力画像の処理方法。
2. 【請求項２】請求項１記載の方法であって、その中の画
   像のグループが、他のタイプの画像と同様に双方向タイ
   プの画像も含んで構成されており、双方向タイプの画像
   はその復号処理のために先行して復号処理された２つの
   他のタイプの画像からのデータを必要とし、各タイプの
   画像がメイン・ダイナミック・メモリ(MMP)に記憶され
   るようにした前記処理方法。
3. 【請求項３】請求項１記載の方法であって、その中の画
   像のグループが、他のタイプの画像と同様に双方向タイ
   プの画像も含んで構成されており、 双方向タイプの画像はその復号処理のために先行して復
   号処理された２つの他のタイプの画像からのデータを必
   要とし、非双方向タイプの画像だけがメイン・ダイナミ
   ック・メモリ(MMP)に記憶され、 各双方向タイプの画像(B)はその画像の第１のフレーム
   が直接表示されている間に１回目の復号処理をされ、 第２のフレームが表示されている間に２回目の復号処理
   され、 双方向タイプ画像の各フレームの表示が、復号処理され
   た画像のマクロブロックから取り出され該フレームに対
   応したデータを該補助メモリに半マクロブロックごとに
   記憶し、ラインごとにこれらのデータを取り出すように
   した前記処理方法。
4. 【請求項４】請求項１から３のいずれかに記載の処理方
   法であって、現時点での補助メモリのアドレスA_i,j、即
   ち、現時点での半マクロブロックが書き換えられる前に
   表示される現時点でのデータが読み出されるアドレス
   が、 0<i<MN-1及び1<j<nとして次の式で計算される前記
   処理方法： A_i+1,j = ( A_i,j + x_j ) modulo (MN-1) x_j+1 = N.x_j modulo (MN-1) ここで、x₁ = 1であり、 Mは補助メモリのライン数、N
   はライン当たりのデータ数、nは各フレームのライン総
   数を示す。さらに、0 < i < MN-1で1 < j < nである。
5. 【請求項５】請求項１から４のいずれかに記載の方法で
   あって、垂直方向のフィルタ(FV)が該補助メモリに記憶
   されているフレームの少なくとも２ライン分について直
   接行われる前記処理方法。
6. 【請求項６】それぞれが圧縮データで符号化された入力
   画像グループを処理する装置であって、 グループ内の現時点での画像をそれぞれマクロブロック
   ごとに復号処理できる復号処理手段(MDC)と、 復号処理手段にリンクし復号処理された画像の少なくと
   も幾らかを記憶できるメイン・メモリ(MMP)と、 異なるパリティのラインに対応した２つの連続したフレ
   ームとして、復号処理された現時点での画像を表示する
   ことができる表示制御手段(MAF)と、を備え、 前記メイン・メモリ(MMP)がメモリ・ページに構成され
   るランダムアクセスメモリであり、復号処理された画像
   のマクロブロックが総て前記メモリ・ページに記憶され
   る形で前記メモリに記憶され、 表示制御手段(MAF)は、 前記復号手段にリンクした第１の入力、および前記メイ
   ンメモリの出力にリンクした第２の入力を処理するマル
   チプレクサ(MUX)と、 マルチプレクサ(MUX)の出力にリンクし、表示する現時
   点での画像のフレームを構成する全てのラインのデータ
   を半マクロブロックごとに受け取り、その出力が該フレ
   ームを表示するための表示装置(VDCTL)にリンクしてい
   るブロック／ライン変換器（ＢＲＣ）と、を有し、 前記ブロック／ライン変換器は、 表示される復号処理された画像のフレームの予め定めら
   れたライン数に対応した半マクロブロックの少なくとも
   １並び分の記憶容量を持つ補助メモリ(MMA)と、 マルチプレクサからの半マクロブロックごとの出力を該
   補助メモリにシーケンシャルに記憶するためのアドレス
   指定と、これらのデータをラインごとにシーケンシャル
   に取り出して該フレームを表示する表示装置に送るため
   のアドレス指定をする補助メモリ・コントローラ(MCT
   L、ADS)と、を有し、 その出力を第１の入力にリンクさせるか第２の入力にリ
   ンクさせるかを、画像のタイプの関数として制御する制
   御手段(LMC)を備える画像処理装置。
7. 【請求項７】請求項６の装置であって、前記補助メモリ
   ・コントローラ(ADS)が、現時点での補助メモリのアド
   レスA_i,j、即ち、現時点での半マクロブロックが書き換
   えられる前に表示される現時点でのデータが読み出され
   るアドレスを、0<i<MN-1及び1<j<nとして次の式で計算
   する前記画像処理装置： A_i+1,j = ( A_i,j + x_j ) modulo (MN-1) x_j+1 = N.x_j modulo (MN-1) ここで、x₁ = 1であり、 Mは補助メモリ(MMA)のライン
   数、Nはライン当たりのデータ数、nは各フレームのライ
   ン総数を示す。
8. 【請求項８】請求項６または７記載の装置であって、前
   記表示制御手段(MAF)が垂直方向フィルタ手段(FV)も構
   成に含み、該フィルタ手段(FV)が前記補助メモリの出力
   に直接接続され、該補助メモリに記憶されているフレー
   ムの少なくとも２ライン分についての垂直方向のフィル
   タを行う画像処理装置。