JP3548167B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3548167B2 JP3548167B2 JP2002152849A JP2002152849A JP3548167B2 JP 3548167 B2 JP3548167 B2 JP 3548167B2 JP 2002152849 A JP2002152849 A JP 2002152849A JP 2002152849 A JP2002152849 A JP 2002152849A JP 3548167 B2 JP3548167 B2 JP 3548167B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- decoder
- data sequence
- decoding
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法およびこれを利用可能な画像処理装置およびテレビジョン受像機に関する。本発明は、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格に従って符号化されたデータを処理する技術に関する。
【０００２】
【従来の技術】
マルチメディアで扱われる情報は、膨大な量で且つ多種多様であり、これらの情報を高速に処理することがマルチメディアの実用化を図る上で必要となる。情報を高速に処理するためには、データの圧縮・伸長技術が不可欠となる。そのようなデータの圧縮・伸長技術として「ＭＰＥＧ」方式が挙げられる。このＭＰＥＧ方式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏ−ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）傘下のＭＰＥＧ委員会（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって標準化されつつある。ＭＰＥＧ方式を利用した画像処理装置は、ムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置など、様々な画像関連機器に組み込まれている。
【０００３】
ＭＰＥＧで取り扱われるビデオデータは動画に関するものであり、その動画は１秒間に複数枚、例えば３０枚のフレーム、すなわち静止画またはコマによって構成されている。図１に示すように、ビデオデータは、シーケンス（Ｓｅｑｕｅｎｃｅ）、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）、ピクチャ（Ｐｉｃｔｕｒｅ）、スライス（Ｓｌｉｃｅ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、ブロック（Ｂｌｏｃｋ）の順に６層の階層構造から成る。１枚のピクチャを構成するスライスの個数は一定ではなく、１個のスライスを構成するマクロブロックの個数も一定ではない。なお、図１では、マクロブロック層およびブロック層については省略してある。
【０００４】
また、ＭＰＥＧには主に符号化レートの違いにより、主に、ＭＰＥＧ−１，ＭＰＥＧ−２の２つの方式がある。ＭＰＥＧ−１においてフレームはピクチャに対応している。ＭＰＥＧ−２においては、フレームまたはフィールドをピクチャに対応させることもできる。フィールドは、２枚で１枚のフレームを構成している。ピクチャにフレームが対応している構造はフレーム構造と呼ばれ、ピクチャにフィールドが対応している構造はフィールド構造と呼ばれる。
【０００５】
ＭＰＥＧでは、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測は、フレーム間のデータを時間的な相関に基づいて圧縮する。フレーム間予測では双方向予測が行われる。双方向予測とは、過去の再生画像またはピクチャから現在の再生画像を予測する順方向予測と、未来の再生画像から現在の再生画像を予測する逆方向予測とを併用することである。
【０００６】
この双方向予測は、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）と呼ばれる３つのタイプのピクチャを規定している。Ｉピクチャは、フレーム内符号化処理によって過去や未来の再生画像とは無関係に独立して生成される画像である。ランダムアクセスを行うために、ＧＯＰ内には最低１枚のＩピクチャが必要である。Ｉピクチャ内の全てのマクロブロック・タイプは、フレーム内予測画面（Ｉｎｔｒａ Ｆｒａｍｅ）である。Ｐピクチャは、フレーム間符号化処理によって、順方向予測、すなわち過去のＩピクチャまたはＰピクチャからの予測により生成される。Ｐピクチャ内のマクロブロック・タイプは、フレーム内予測画面と順方向予測画面（Ｆｏｒｗａｒｄ Ｉｎｔｅｒ Ｆｒａｍｅ）の両方を含む。
【０００７】
Ｂピクチャは、フレーム間符号化処理によって、双方向予測により生成される。双方向予測においてＢピクチャは、以下に示す３つの予測のうちいずれか１つにより生成される。
▲１▼順方向予測；過去のＩピクチャまたはＰピクチャからの予測
▲２▼逆方向予測；未来のＩピクチャまたはＰピクチャからの予測
▲３▼双方向予測；過去および未来のＩピクチャまたはＰピクチャからの予測
Ｂピクチャ内のマクロブロック・タイプは、フレーム内予測画面、順方向予測画面、逆方向予測画面（Ｂａｃｋｗａｒｄ Ｉｎｔｅｒ Ｆｒａｍｅ）、内挿的予測画面（Ｉｎｔｅｒｐｏｌａｔｉｖｅ Ｉｎｔｅｒ Ｆｒａｍｅ）の４つのタイプを含む。
【０００８】
これらＩ、Ｐ、Ｂピクチャがそれぞれ符号化される。つまり、Ｉピクチャは過去や未来のピクチャがなくても生成される。これに対し、Ｐピクチャは過去のピクチャがないと生成されず、Ｂピクチャは過去または未来のピクチャがないと生成されない。ただし、ＰピクチャやＢピクチャでも、マクロブロック・タイプが内挿的予測画面の場合、そのマクロブロックは過去や未来のピクチャがなくても生成される。
【０００９】
フレーム間予測では、まず、Ｉピクチャが周期的に生成される。次に、Ｉピクチャよりも数フレーム先のフレームがＰピクチャとして生成される。このＰピクチャは、過去から現在への一方向（順方向）の予測により生成される。つづいて、Ｉピクチャの前、Ｐピクチャの後に位置するフレームがＢピクチャとして生成される。このＢピクチャを生成するとき、順方向予測，逆方向予測，双方向予測の３つの中から最適な予測方法が選択される。連続した動画では一般的に、現在の画像とその前後の画像とはよく似ており、異なっているのは、そのごく一部分に過ぎない。そこで、前のフレームと次のフレームとは同じであると仮定し、両フレーム間に変化があればその差分のみを抽出して圧縮する。例えば、前のフレームをＩピクチャ、次のフレームをＰピクチャとし、差分がＢピクチャのデータとして抽出される。これにより、フレーム間のデータを時間的な相関に基づいて圧縮することができる。ＭＰＥＧビデオパートに準拠して符号化されたビデオデータのデータ列またはビットストリームは、ＭＰＥＧビデオストリームと呼ばれる。
【００１０】
ＭＰＥＧ−１は主に、ビデオＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＣＤ−ＲＯＭ（ＣＤ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）などの格納メディアに対応している。ＭＰＥＧ−２は、ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ），ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）などの格納メディアだけでなく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信メディア、地上波放送や衛星放送およびＣＡＴＶ（Ｃｏｍｍｕｎｉｔｙ Ａｎｔｅｎｎａ Ｔｅｌｅｖｉｓｉｏｎ）などの放送メディアをも含む伝達メディア全般に対応している。
【００１１】
ＭＰＥＧビデオパートで用いられる技術の核となるのが、動き補償付予測（ＭＣ；Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）と離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）である。ＭＣとＤＣＴを併用した符号化技術は、ハイブリッド符号化技術と呼ばれる。ＭＰＥＧビデオパートでは、符号化時にＤＣＴ（別名ＦＤＣＴ；Ｆｏｒｗａｒｄ ＤＣＴ）を用い、画像のビデオ信号を周波数成分に分解して処理する。そして、復号時にＤＣＴの逆変換（離散コサイン逆変換；ＩＤＣＴ；Ｉｎｖｅｒｓｅ ＤＣＴ）を用い、周波数成分を再び画像のビデオ信号に戻す。
【００１２】
ＭＰＥＧでは膨大な量の情報を高速に処理することができるが、上述したとおり、フレーム間予測と呼ばれる圧縮技術を用いるため、ＭＰＥＧビデオパートに準拠して時系列的に符号化されて記録されたデータ列をピクチャサーチのために逆順再生、すなわち逆方向に再生する場合、通常のビデオテープレコーダのように、記録されたデータ列を単に時間軸を遡って再生することは非常に困難である。そこで従来では、各ＧＯＰ内に割り当てられたＩピクチャのみを時間軸に遡って再生することが行われている。Ｉピクチャは、上述したとおり、フレーム内符号化処理された画像であるため、前後のピクチャを参照することなく独立して表示させることができる。
【００１３】
【発明が解決しようとする課題】
従来例にあっては、各ＧＯＰ内に割り当てられるＩピクチャの数はきわめて少なく、例えば、ＭＰＥＧでは、ＧＯＰ内に割り当てられるＩピクチャは、１５〜３０枚のピクチャのうちせいぜい１枚であり、１５〜３０コマ毎のピクチャを逆順再生したところで、通常のビデオテープレコーダのような滑らかな逆順再生画面を得ることができず、見たいシーンでタイミングよくストップさせることが困難であった。本発明はこの点に鑑みてなされたものであって、その目的のひとつは、滑らかな逆順再生画面を得ることができる画像処理の技術を提供することにある。
【００１４】
本発明はこの目的、および本明細書から明らかになるその他の目的に対して、主に画像の符号化と復号処理に関連する技術において解決を図るものである。
【００１５】
【課題を解決するための手段】
本発明のある態様は、画像処理装置に関する。この装置は、ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、この前置復号器による復号処理に利用されるとともに、第１の再生画像データ列を格納する第１のフレームメモリと、この第１のフレームメモリから読み出された第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、この第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、この後置復号器による復号処理に利用されるとともに、第２の再生画像データ列に含まれるピクチャを少なくともひとつ格納する第２のフレームメモリと、を具備する。
【００１６】
第１のフレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前置復号器による復号処理に利用される領域であってＢピクチャを少なくともひとつ格納する第３の領域と、を有する。すなわち、この態様におけるフレームメモリは、第１のフレームメモリおよび第２のフレームメモリを合わせて少なくとも４フレームぶんの容量で足りる。
【００１７】
本発明の別の態様もまた、画像処理装置に関する。この装置は、ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、この前置復号器による復号処理に利用されるとともに、第１の再生画像データ列を格納するフレームメモリと、このフレームメモリから読み出された第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、この第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、を具備する。
【００１８】
フレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前置復号器による復号処理に利用される領域であってＢピクチャを少なくともひとつ格納する第３の領域と、を有する。第３の領域は、後置復号器による復号処理に利用される領域であって後置復号器によって復号されたピクチャを格納する領域として兼用される。この態様におけるフレームメモリは、少なくとも３フレームぶんの容量で足りる。
【００１９】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、この前置復号器による復号処理に利用されるとともに、第１の再生画像データ列を格納するフレームメモリと、この前置復号器から読み出された第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、この第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、を具備する。
【００２０】
フレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前置復号器による復号処理に利用される領域であってピクチャを少なくともひとつ格納可能な第３の領域と、を有する。第３の領域は、後置復号器による復号処理に利用される領域であって後置復号器によって復号されたピクチャを格納する領域として兼用される。この態様におけるフレームメモリは、少なくとも３フレームぶんの容量で足りる。
【００２１】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、符号化データ列をそれぞれ異なる目的で復号する複数の復号器と、これら復号器の復号により生成された再生画像データ列を格納するフレームメモリと、再生画像データ列を映像ビデオ信号に変換する表示回路と、を具備する。
【００２２】
フレームメモリにおいて、いずれかの復号器の復号により生成された再生画像データ列の少なくとも一部のデータが表示回路に出力されたとき、その出力されたデータを他の復号器の復号により生成された再生画像データ列で上書きすることにより、フレームメモリに含まれる一部の領域を複数の復号器で共有する。複数の復号器には、時系列的に読み出された符号化データ列を復号する第１の復号器と、反時系列的に読み出された符号化データ列を復号する第２の復号器とが含まれ、第１の復号器の復号により生成された再生画像データ列は、これが表示回路によって映像ビデオ信号に変換されるのを待たずに、第２の復号器の復号により生成された再生画像データ列で上書きされてもよい。
【００２４】
なお、以上のいずれかの画像処理装置を搭載し、これによって画像の反時系列的な再生を動作仕様の一部に有するテレビジョン受像機を提供してもよい。「Ｉピクチャ」、「Ｂピクチャ」、「Ｐピクチャ」は、それぞれＭＰＥＧ４において「Ｉ−ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）」、「Ｂ−ＶＯＰ」、「Ｐ−ＶＯＰ」に相当するとともに、これらの概念を包含する。
【００２５】
以上、いずれの場合も、符号化または復号、および場合によりそれらに付随する処理は、所定のグループ単位で実行されてもよい。さらに、以上の任意の構成要素、処理過程等の異なる組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２６】
【発明の実施の形態】
本発明を具体化した実施形態を説明する。実施形態のいくつかに共通する処理は、画像の正順および逆順再生である。以下の説明において、「正順」「逆順」およびそれらの同義語は、説明の便宜上、画像を構成するピクチャを最終的に表示する形にしたときの順序についていうものとする。このため、以下とくに断らない限り、ピクチャの順序は表示の状態を考える。
【００２７】
後述のごとく、逆順再生においても、ＭＰＥＧデータストリームの各ＧＯＰ内のピクチャは、まず順方向、すなわち時系列的に復号される。これが再符号化され、その後の再復号の段階で、初めて逆順の並びが実現される。したがって、逆順再生における「逆順」とは、主に２回目の復号に関連する。ＭＰＥＧビットストリームは、Ｉ、Ｐ、Ｂピクチャの順序についていろいろな組合せが考えられる。各実施形態の構成に含まれるフレームメモリには、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）、ＤＲＡＭ、ラムバスＤＲＡＭ等を用いる。
【００２８】
以下の実施形態では、さまざまな構成部材が現れる。これらは、ハードウエア的には、ＣＰＵ、メモリ、その他のＬＳＩや組合せ回路などによって実現でき、ソフトウエア的にはメモリのロードされた画像処理機能のあるプログラムなどによって実現されるが、以下、それらの連携によって実現される機能を中心に描く。したがって、これらの機能がハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。なお、画像再生装置は本発明の「画像処理装置」の一例である。
【００２９】
（第１実施形態）
本実施形態は、画像処理装置を構成する各ブロックをそれぞれ仮に１チップ化した場合に考えられる構成を例示する。本実施形態の構成は特に本発明との対応を考慮しておらず、第２実施形態以降と比較参照する対象としての例示にすぎない。
図２は、第１実施形態に係る画像再生装置１のブロック回路を示す。この画像再生装置１は、伝達メディア２からのＭＰＥＧビデオストリームをディスプレイ３に出力するムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置などに組み込まれる。なお、伝達メディア２には、蓄積メディア（ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ，ＶＴＲなど）、通信メディア（ＬＡＮなど）、放送メディア（地上波放送，衛星放送，ＣＡＴＶなど）などが含まれる。また、蓄積メディアや放送メディアからのデータがＭＰＥＧビデオパートに準拠して符号化されていないデータである場合は、伝達メディアは、このデジタルデータを符号化するためのＭＰＥＧビデオエンコーダをも含む。画像再生装置１をムービーカメラまたはスチルカメラに組み込む場合は、伝達メディア２がＣＣＤなどの撮像デバイスおよびその信号処理回路に置き換えられる。
【００３０】
図２において、画像再生装置１は、ハードディスク（ＨＤ）４、ＭＰＥＧビデオデコーダ５（以下単に「デコーダ５」とも表記する）、ＭＰＥＧビデオエンコーダ６（以下単に「エンコーダ６」とも表記する）、第２のＭＰＥＧビデオデコーダ７（以下単に「第２デコーダ７」とも表記する）、第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２、第１表示回路５４、映像入力回路６４、第２表示回路７４、切替回路８、制御コア回路１０から構成される。制御コア回路１０は、デコーダ５、第２デコーダ７およびエンコーダ６を始め画像再生装置１の各構成要素の動作を制御する。ハードディスク４は、磁気ディスクから構成され、伝達メディア２から転送されてくるビデオストリームを順次蓄積する。ハードディスク４内には特別な記憶領域４ａが設けられている。
【００３１】
デコーダ５、第１フレームメモリ５２、第１表示回路５４が第１ブロック５０を構成し、エンコーダ６、第２フレームメモリ６２、映像入力回路６４が第２ブロック６０を構成する。第２デコーダ７、第３フレームメモリ７２、第２表示回路７４は第３ブロック７０を構成する。画像再生装置１全体またはその主要部は１チップのＬＳＩに搭載されていてもよく、それは他の実施形態でも同様である。本実施形態の場合、第１ブロック５０、第２ブロック６０、第３ブロック７０のそれぞれが１チップのＬＳＩに搭載される。ただし、第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２のそれぞれは外付けで搭載されてもよい。
【００３２】
デコーダ５が生成した再生画像データ列は第１フレームメモリ５２に一時的に蓄積された後、順次第１表示回路５４に入力される。第１フレームメモリ５２は、表示用バッファとしての機能、およびデコーダ５のワークエリアとしての機能を有する。第１表示回路５４は、デコーダ５から転送されたピクチャのデータから映像ビデオ信号を生成し、これを切替回路８を介して画像再生装置１に接続されたディスプレイ３へ出力する。
【００３３】
第１ブロック５０から出力される映像ビデオ信号は映像入力回路６４にも入力される。映像入力回路６４は、映像ビデオ信号を再生画像データ列に変換し、その再生画像データ列が第２フレームメモリ６２に一時的に蓄積された後、順次エンコーダ６によって再符号化される。第２フレームメモリ６２は、エンコーダ６のワークエリアとしての機能をあわせもつ。
【００３４】
第２ブロック６０から出力される符号化データ列を記憶領域４ａに記憶させた後、これを反時系列的に読み出して第２デコーダ７が再復号する。再復号された再生画像データ列は一時的に第３フレームメモリ７２に蓄積された後、第２表示回路７４によって映像ビデオ信号に変換される。第３フレームメモリ７２は、表示用バッファとしての機能、および第２デコーダ７のワークエリアとしての機能を有する。この映像ビデオ信号は、切替回路８を介して画像再生装置１に接続されたディスプレイ３へ出力される。
【００３５】
切替回路８は、制御コア回路１０の制御に従って第１ノード８ａ、第２ノード８ｂ側への接続が切り換えられる。切替回路８が第１ノード８ａ側に接続されると、第１ブロック５０の出力に基づく正順再生が行われる。第２ノード８ｂ側に接続されると、第３ブロック７０の出力に基づく逆順再生が行われる。
【００３６】
第１フレームメモリ５２は、第１領域５６、第２領域５７、第３領域５８に分けられる。第１領域５６は、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する容量を有する。第２領域５７は、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する容量を有する。第３領域５８は、Ｂピクチャを少なくともひとつ格納する容量を有する。この第３の領域は、デコーダ５による復号処理に利用されるワークエリアとしても利用される。第２フレームメモリ６２は、映像入力回路６４によって入力された再生画像データ列に含まれるピクチャを少なくともひとつ格納する容量を有する。第３フレームメモリ７２は、第２デコーダ７によって復号された再生画像データ列に含まれるピクチャを少なくともひとつ格納する容量を有する。これら第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２を合わせると、少なくとも５フレームぶんの容量をもつ。
【００３７】
図３は、デコーダ５の構成を示すブロック図である。同図において、デコーダ５は、ハフマン復号回路１４、逆量子化回路１５、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）回路１６、ＭＣ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）回路１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８，１９から構成されている。なお、デコーダ５は、他の実施形態において本発明の「前置復号器」の一例となる。
【００３８】
ハフマン復号回路１４は、ハードディスク４から読み出されたピクチャに対して、ＲＯＭ１８に記憶されたハフマンテーブルに格納されているハフマンコードに基づいた可変長復号を行う。逆量子化回路１５は、ハフマン復号回路１４の復号結果に対して、ＲＯＭ１９に記憶された量子化テーブルに格納されている量子化閾値に基づいた逆量子化を行いＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を求める。ＩＤＣＴ回路１６は、逆量子化回路１５が求めたＤＣＴ係数に対してＩＤＣＴを行う。ＭＣ回路１７は、ＩＤＣＴ回路１６の処理結果に対してＭＣを行う。
【００３９】
こうして、デコーダ５は、入力されたＭＰＥＧビデオストリームを復号して、時系列的に連続する再生画像データ列を生成する。なお、このＭＰＥＧビデオストリームは、他の実施形態において本発明の「第１の符号化データ列」の一例となる。
【００４０】
図４は、エンコーダ６の構成を示すブロック図である。同図において、エンコーダ６は、ＭＣ回路２０、ＤＣＴ回路２１、量子化回路２２、ハフマン符号化回路２３、ＲＯＭ２４，２５から構成されている。なお、エンコーダ６は、他の実施形態において本発明の「符号化器」の一例となる。
【００４１】
ＤＣＴ回路２１は、デコーダ５から入力された再生画像データをブロック単位で取り込み、２次元の離散コサイン変換を行ってＤＣＴ係数を生成する。量子化回路２２は、ＤＣＴ係数を、ＲＯＭ２４に記憶された量子化テーブルに格納されている量子化しきい値を参照して量子化する。なお、ＲＯＭ２４は、ＲＯＭ１９と兼用してもよい。
【００４２】
ハフマン符号化回路２３は、量子化されたＤＣＴ係数を、ＲＯＭ２５に記憶されたハフマンテーブルに格納されているハフマン符号を参照して可変長符号化することにより、圧縮された画像データを画面単位で生成する。なお、ＲＯＭ２５は、ＲＯＭ１８と兼用してもよい。
【００４３】
こうして、エンコーダ６は、時系列的に連続する再生画像データ列を再符号化してＭＰＥＧビデオストリームを生成する。なお、このＭＰＥＧビデオストリームは、他の実施形態において本発明の「第２の符号化データ列」の一例となる。
【００４４】
図５は、第２デコーダ７の構成を示すブロック図である。同図において、第２デコーダ７は、ハフマン復号回路２６、逆量子化回路２７、ＩＤＣＴ回路２８、ＭＣ回路２９、ＲＯＭ３０，３１から構成されている。なお、第２デコーダ７は、他の実施形態において本発明の「後置復号器」の一例となる。
【００４５】
この第２デコーダ７の構成は、デコーダ５の構成と同様である。したがって、ハフマン復号回路２６はハフマン復号回路１４と、逆量子化回路２７は逆量子化回路１５と、ＩＤＣＴ回路２８はＩＤＣＴ回路１６と、ＭＣ回路２９はＭＣ回路１７と、それぞれ同様の回路構成を有する。なお、ＲＯＭ３０は、その他のＲＯＭ１８やＲＯＭ２５と、ＲＯＭ３１は、ＲＯＭ１９やＲＯＭ２４と、それぞれ兼用してもよい。
【００４６】
以上の構成に基づいて、本実施形態の画像再生装置１における逆順再生の動作を、図６に示すフローチャートに従って説明する。画像再生装置１の動作は、制御コア回路１０の制御の下に実行される。ここでは、ＭＰＥＧビデオストリームがｉ個のＧＯＰ（ＧＯＰ０〜ＧＯＰｉ−１）からなるとする。
【００４７】
逆順再生では、各ＧＯＰが時間軸に遡ってＧＯＰｉ−１から順次処理される。ただし、各ＧＯＰ内のピクチャは、デコーダ５において順方向、すなわち時系列的に復号される。逆順再生が指示されると、切替回路８が第２ノード８ｂに接続され（Ｓ１）、ハードディスク４からＧＯＰｉ−１に相当するＭＰＥＧビデオストリームがピクチャ単位で読み出されてデコーダ５に入力され、１画面毎の再生画像データが時系列に順次生成されてエンコーダ６に入力される（Ｓ２）。エンコーダ６では、デコーダ５から入力された１ＧＯＰぶんの再生画像データ列を、Ｉピクチャなどに再符号化する（Ｓ３）。エンコーダ６からの１ＧＯＰぶんの再符号化データ列は、ハードディスク４の記憶領域４ａに上書きされる（Ｓ４）。
【００４８】
記憶領域４ａへの書き込みが終了すると、この記憶領域４ａに格納されている再符号化データ列を反時系列的に、すなわち時間軸に遡って読み出し、これを第２デコーダ７が順次復号して第２表示回路７４へ出力する（Ｓ５）。記憶領域４ａへの書込終了に伴って書込終了信号が送出され、次のＧＯＰｉ−２に相当するＭＰＥＧビデオストリームがデコーダ５に入力され、Ｓ２からの処理が行われる。すなわち、Ｓ５において、第２デコーダ７で１ＧＯＰぶんのデータ列の復号が行われているときに、デコーダ５では次の１ＧＯＰぶんのデータ列の復号が行われている。第２表示回路７４には、第２デコーダ７から再生画像データが反時系列的に入力され、ディスプレイ３上に逆順再生画面が表示される。
【００４９】
次に、正順再生のための動作を、図７に示すフローチャートに従って説明する。正順再生では時間軸に従ってＧＯＰ０から順次処理される。各ＧＯＰ内のピクチャは、当然ながらデコーダ５において順方向に復号される。正順再生が指示されると、切替回路８が第１ノード８ａに接続され（Ｓ１１）、ハードディスク４からＧＯＰ０に相当するＭＰＥＧビデオストリームがピクチャ単位で読み出されてデコーダ５に入力され、再生画像データが画面単位で時系列に順次生成され、エンコーダ６と第１表示回路５４に並列に入力される（Ｓ１２）。第１表示回路５４は、入力された画面単位の再生画像データに基づきビデオ信号を生成してディスプレイ３に出力し、これによりディスプレイ３上に正順再生画面が表示される（Ｓ１４）。
【００５０】
一方、エンコーダ６は、第１表示回路５４の処理と並行して、デコーダ５から入力された１ＧＯＰぶんの再生画像データ列をＩピクチャなどに再符号化する（Ｓ１５）。再符号化データ列は、ハードディスク４の記憶領域４ａに上書きされる（Ｓ１６）。ＧＯＰ０の処理が終了すると再びＳ１２に戻って次のＧＯＰ１の処理を行う。すなわち、正順再生の間、エンコーダ６は並行して同じ画像データ列をＧＯＰ単位で順次Ｉピクチャなどに再符号化する。
【００５１】
（第２実施形態）
本実施形態以降の形態は、本発明に対応する構成を有する。第２実施形態は第１実施形態をさらにコンパクトに設計したものである。第２実施形態が第１実施形態の画像再生装置１と異なるのは、全体としてより少ない容量でフレームメモリを構成した点にある。すなわち、第１実施形態における第１フレームメモリ５２と第２フレームメモリ６２を共通化し、全体として４フレームぶんの容量で構成する。
【００５２】
図８は、第２実施形態に係る画像再生装置１のブロック回路を示す。第１実施形態においては、第１表示回路５４から読み出された映像ビデオ信号を再生画像データ列に変換してから再符号化していたが、本実施形態においては、第１表示回路５４によって映像ビデオ信号に変換される前の再生画像データ列を読み出して、これを再符号化する。従って、第１実施形態における第２フレームメモリ６２、映像入力回路６４に対応する構成は本実施形態には含まれない。第１フレームメモリ８０は、第１領域８２、第２領域８４、第３領域８６に分けられ、それぞれ第１実施形態の第１領域５６、第２領域５７、第３領域５８に対応する。ただし、第３領域８６は、エンコーダ６による符号化処理のワークエリアとして兼用される点で第１実施形態の第３領域５８と異なる。第２フレームメモリ９０は、第１実施形態の第３フレームメモリ７２に対応する。
【００５３】
逆順再生時においてデコーダ５が生成した再生画像データ列は、ディスプレイ３にそのまま表示することはないため、エンコーダ６へ入力するだけで足り、実際には第１表示回路５４へ入力することを要しない。従って、かかるデータ列が第３領域８６からエンコーダ６へ転送された後は、第１表示回路５４によって映像ビデオ信号へ変換されるのを待たずに、エンコーダ６が第３領域８６をワークエリアとして利用開始しても差し支えはない。
【００５４】
エンコーダ６によって再符号化された符号化データ列は、時系列的な順序で記憶領域４ａに記憶させる。これを反時系列的な順序で読み出して第２デコーダ７が再復号することによって、逆順再生を実現する。
【００５５】
本実施形態におけるデコーダ５、エンコーダ６、第２デコーダ７の内部構成は、それぞれ図３、図４、図５と同一でよく、全体的な動作の流れも図６、図７と同様でよい。
【００５６】
以上、本実施形態の画像再生装置１にあっては、以下のとおりの作用効果を奏する。
（１）表示用バッファと符号化および復号のワークエリアとに兼用されるフレームメモリが４フレームぶんの容量で足り、第１実施形態のような構成と比べてメモリ容量を低減でき、低コスト化にもつながる。
（２）第１実施形態と比べて第２フレームメモリ６２、映像入力回路６４が不要であるぶん、小型化、低コスト化につながる。
（３）第２デコーダ７が反時系列的に読み出された符号化データ列を復号することにより、逆順再生を実現することができる。
【００５７】
（第３実施形態）
第３実施形態は第２実施形態をさらにコンパクトに設計したものである。第３実施形態が第２実施形態の画像再生装置１と異なるのは、全体としてさらに少ない容量でフレームメモリを構成した点にある。すなわち、第２実施形態における第１フレームメモリ８０と第２フレームメモリ９０を共通化し、全体として３フレームぶんの容量で構成する。
【００５８】
図９は、第３実施形態に係る画像再生装置１のブロック回路を示す。フレームメモリ１００は、第１領域１０２、第２領域１０４、第３領域１０６に分けられ、それぞれ第２実施形態の第１領域８２、第２領域８４、第３領域８６に対応する。ただし、第３領域１０６は、第２デコーダ７による復号処理のワークエリアとして兼用される点で第２実施形態の第３領域８６と異なる。表示回路１１０は、第２実施形態の第１表示回路５４に対応する。第２実施形態における第２フレームメモリ９０、第２表示回路７４、切替回路８に対応する構成は本実施形態に含まれない。
【００５９】
逆順再生時において、第３領域１０６に格納されたピクチャが表示回路１１０に出力されるタイミングと、このピクチャをデコーダ５によって生成されたピクチャで上書きするタイミングと、を調整することにより、第３領域１０６の共有を実現する。たとえば、ディスプレイ３において現在表示処理されているラインを把握し、表示済のラインに対応するデータを上書きするようタイミング調整してもよい。これをマクロブロック単位で調整してもよい。
【００６０】
一方、逆順再生時においてデコーダ５が生成した再生画像データ列は、ディスプレイ３にそのまま表示することはないため、かかるデータ列が第３領域１０６からエンコーダ６へ転送された後は、表示回路１１０によって映像ビデオ信号に変換されるのを待たずにこれを第２デコーダ７が生成した再生画像データ列で上書き開始するようタイミング調整してもよい。
【００６１】
本実施形態におけるデコーダ５、エンコーダ６、第２デコーダ７の内部構成は、それぞれ図３、図４、図５と同一でよく、全体的な動作の流れも図６、図７と同様でよい。
【００６２】
以上、本実施形態の画像再生装置１にあっては、以下のとおりの作用効果を奏する。
（４）表示用バッファと符号化および復号のワークエリアとに兼用されるフレームメモリが３フレームぶんの容量で足り、メモリ容量をさらに低減でき、さらなる低コスト化に寄与することができる。
（５）第１実施形態と比べて第２フレームメモリ６２、映像入力回路６４、第３フレームメモリ７２、第２表示回路７４、切替回路８が不要であるぶん、さらなる小型化、低コスト化につながる。
【００６３】
（第４実施形態）
第４実施形態は第３実施形態の変形例となる構成を有する。第４実施形態が第３実施形態の画像再生装置１と異なるのは、フレームメモリ１００から読み出された再生画像データ列ではなく、デコーダ５から直接読み出された再生画像データ列を符号化する点にある。フレームメモリ１００は、第３実施形態のフレームメモリ１００と同様、３フレーム分の容量で構成する。
【００６４】
図１０は、第４実施形態に係る画像再生装置１のブロック回路を示す。デコーダ５から出力された再生画像データ列は、フレームメモリ１００だけでなくエンコーダ６にも入力される。第３領域１０６は、エンコーダ６の符号化処理のワークエリアとして兼用される。
【００６５】
本実施形態も第３実施形態と同様に、逆順再生時においてデコーダ５によって生成された再生画像データ列は、表示回路１１０によって映像ビデオ信号に変換されるのを待たずに、これを第２デコーダ７によって生成された再生画像データ列で上書きするようタイミング調整してもよい。ただし、第３領域１０６に格納された再生画像データ列はエンコーダ６へ転送されないので、そのタイミングとの調整は不要である。
【００６６】
本実施形態におけるデコーダ５、エンコーダ６、第２デコーダ７の内部構成は、それぞれ図３、図４、図５と同一でよく、全体的な動作の流れも図６、図７と同様でよい。
【００６７】
以上、本実施形態の画像再生装置１にあっては、以下のとおりの作用効果を奏する。
（６）第３実施形態と同様、表示用バッファと符号化および復号のワークエリアとに兼用されるフレームメモリが３フレームぶんの容量で足り、メモリ容量をさらに低減でき、さらなる低コスト化に寄与することができる。
（７）第３実施形態と同様、第１実施形態と比べて第２フレームメモリ６２、映像入力回路６４、第３フレームメモリ７２、第２表示回路７４、切替回路８が不要であるぶん、さらなる小型化、低コスト化につながる。
（８）デコーダ５によって生成された再生画像データ列のフレームメモリ１００への書き込みを待たずにエンコーダ６による符号化処理が開始されるので、エンコーダ６の符号化処理が十分な処理速度を保つ限り、全体としての処理が高速化される。
【００６８】
（実施形態に関する全般的考察）
当業者には当然理解されるごとく、いままでに述べなかった実施形態の任意の組合せも可能である。例えば、以下のような配慮または変形例が可能である。
【００６９】
（ａ）ハードディスク４として、磁気ディスクに代えて、光磁気ディスク、光ディスクなどを用いる。
（ｂ）ハードディスク４として、書き換え可能な半導体メモリ、例えばＳＤＲＡＭ、ＤＲＡＭ、ラムバスＤＲＡＭ等を用いる。
（ｃ）ハードディスク４と記憶領域４ａとを独立して設ける。この場合、記憶領域４ａには書き換え可能な半導体メモリが望ましい。
【００７０】
（ｄ）ＭＰＥＧビデオストリームから１ＧＯＰではなく以下の単位でデータ列を取り出す。ＧＯＰを含め以下の単位もグループ単位の概念に含まれる。
・Ｉピクチャから始まる単位をＧＯＰとせずに、例えば、Ｐピクチャから始まる単位をＧＯＰとする。
・ＧＯＰという概念にとらわれずに、数枚のピクチャをグループ単位とする。
・グループ単位でピクチャの枚数を任意に変化させる。
【００７１】
（ｅ）ＲＯＭ１８，１９，２４，２５，３０，３１に代えて、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いる。
（ｆ）逆順再生機能を選択するための操作キーを画像再生装置に設ける。
（ｇ）キー操作に応じて１コマずつ逆順再生させる。
【００７２】
（ｈ）各実施形態において、エンコーダ６が生成した再符号化データ列に含まれるピクチャは時系列的な順序で記憶領域４ａに書き込んでいたが、これを反時系列的な順序に並べ替えながら記憶領域４ａに書き込んでもよい。この場合、第２デコーダ７は記憶領域４ａから再符号化データ列を反時系列的に読み出す必要がない。
（ｉ）第２、第３、第４実施形態において、デコーダ５と第２デコーダ７をハードウェア的に共通化する。また、第２実施形態において、第１表示回路５４と第２表示回路７４をハードウェア的に共通化する。
【００７３】
（ｊ）上記した実施形態以外に、一つの装置内に２つの符号化または復号機能を備えるアプリケーションとして以下の形態がある。従って、上記第２，４実施形態では、デコーダ５と第２デコーダ７を共用デコーダ５３として共通化する例を説明したが、２つのエンコーダを備えるものにあっては、これらのエンコーダを共通化してもよい。
（ｉ）ムービーカメラにおいて、被写体を異なる視点から同時に撮影し、そのデータをＭＰＥＧ方式で圧縮・伸長処理する場合。
（ｉｉ）テレビジョンにおいて、複数番組を同時に復号して２画面表示する場合。
（ｉｉｉ）テレビジョンにおいて、複数番組を同時に復号してチャンネル切換えをシームレスに行わせる場合。ＭＰＥＧを使った放送では、チャンネル切換えなどで一旦復号を中断すると、新しいシーケンスヘッダを検出するまでの０．５秒〜２秒の間、次に再開するのに若干時間がかかり、通常はその間、絵がフリーズするかブラックアウトするが、（ｉｉｉ）は、この問題を解消するために有効である。
（ｉｖ）ＤＶＤやデジタルスチルカメラ等と接続したテレビジョンにおいて、放送とＤＶＤやデジタルスチルカメラとを同時再生する。
（ｖ）番組の再生中、その番組または裏番組を動画や静止画状態で録画するとともに、録画した動画または静止画と放送中の番組を重ねて同時に再生する場合。
（ｖｉ）一定時間毎に再生画像をＪＰＥＧ方式で符号化してリングバッファに取り込み、これを逆転サーチにおいて近いシーンにジャンプできるようにするためのインデックスに使う場合。
【００７４】
（ｋ）逆順再生のために、１ＧＯＰ分の画像データをそっくり記憶領域４ａに保持する必要があった。ＧＯＰ内部ではデータは正順方向にしか読み出されないため、１ＧＯＰ分のデータをすべて残しておかなければ逆順再生の際にピクチャを生成できないためである。この理由から、１ＧＯＰ分の画像データを記録するだけの容量を記憶領域４ａに求めた。これから逆に、そうした構成を有効活用し、実施形態１等では、正順再生の間もエンコーダ６をフリーランで走らせ、つねに１ＧＯＰ分の逆順再生用データを生成して保持することにした。これにより、正順から逆順への切替を滑らかにする趣旨であった。
【００７５】
しかしながらその方法では、確かにフリーランをさせないときに比べて円滑な再生方向転換が実現するものの、必ずしも切替時にタイムラグが生じないわけではない。なぜなら、逆順再生がＧＯＰｎに対して行われているとき、その前のＧＯＰｎ−１については、デコーダ５が１ＧＯＰ分の符号化データを読み出して復号する必要があり、一連の処理がＧＯＰｎの逆順再生の完了までに終わらない可能性があるためである。仮に終わらない場合、そこで逆順再生が一瞬停止してしまう。
【００７６】
この対策のために、実施形態１等で述べた１ＧＯＰ分の画像データの保存を拡張し、最大２ＧＯＰ分程度の画像データを保存すれば、正順再生から逆順再生への切替の際、タイムラグを完全になくすことができる。したがって、そうした仕様を求める場合はこの対策をとればよい。
【００７７】
画素数を低減させる場合、デコーダ７におけるＩＤＣＴ処理にて、予めダウンコンバージョン形式による復号を行ってもよい。すなわち、通常であれば例えば８×８画素の正方ブロックに対してＩＤＣＴを施すべきところを、８×４画素の１／２サイズのブロックに対して施してもよい。その場合、画像再生の際にフレームメモリに記憶すべき画像データの容量が１／２になるため、その結果空いた領域に前述の２ＧＯＰぶんのピクチャを格納することができる。なお、このダウンコンバーションを行うと、高精細モード時の１９６０×１０８０画素の画像が９８０×１０８０画素になる。したがって、その再生時に横方向について各画素を二度表示するなど、解像度再現処理を施すものとする。
【００７８】
（ｌ）前述の切替時のタイムラグは、逆順再生から正順再生への移行時にも考慮すべきである。このときも上述と同様の措置、すなわち読み込まれたピクチャのデータを１〜２ＧＯＰ程度格納しておくことで対応できる。いま逆順再生のために第ｎ番のＧＯＰｎが読込処理されているとすれば、このＧＯＰｎのピクチャのデータを、逆順再生のための読出がその２つ前のＧＯＰｎ−２に達するまで保持しておく。すなわち、あるＧＯＰのデータをそのふたつ前のＧＯＰのデータの読出まで保持することにより、正順再生への切替が行われたときでも、切れ目のない再生が実現する。
【００７９】
逆順再生から正順再生への切替は、デコーダ５のみの処理で対応できるため、（ｋ）の場合に比べ、タイムラグはもともと小さい。したがって、ここでは２ＧＯＰぶんとしたが、実際にはせいぜい１ＧＯＰ強で十分と思われる。ただし、この値は装置の実装にもよるため、機種ごとに実験等により決めることが望ましい。
【００８０】
【発明の効果】
本発明により、滑らかな逆順再生を行うことのできる画像処理技術を提供することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧビデオストリームの階層構造を示す説明図である。
【図２】第１実施形態における画像再生装置のブロック回路図である。
【図３】第１実施形態におけるデコーダの概略を示すブロック図である。
【図４】第１実施形態におけるエンコーダの概略を示すブロック図である。
【図５】第１実施形態におけるデコーダの概略を示すブロック図である。
【図６】第１実施形態における画像再生装置の逆順再生動作を示すフローチャートである。
【図７】第１実施形態における画像再生装置の正順再生動作を示すフローチャートである。
【図８】第２実施形態における画像再生装置のブロック回路図である。
【図９】第３実施形態における画像再生装置のブロック回路図である。
【図１０】第４実施形態における画像再生装置のブロック回路図である。
【符号の説明】
１ 画像再生装置
２ 伝達メディア
３ ディスプレイ
４ ハードディスク
４ａ 記憶領域
５，７ ＭＰＥＧビデオデコーダ
６ ＭＰＥＧビデオエンコーダ
８ 切替回路
１０ 制御コア回路
１４，２６ ハフマン復号回路
１５，２７ 逆量子化回路
１６，２８ ＩＤＣＴ回路
１７，２０，２９ ＭＣ回路
２１ ＤＣＴ回路
２２ 量子化回路
２３ ハフマン符号化回路
１８，１９，２４，２５，３０，３１ ＲＯＭ
５２，６２，７２，８０，９０，１００ フレームメモリ
５４，７４，１１０ 表示回路
６４ 映像入力回路
【発明の属する技術分野】
本発明は、画像処理方法およびこれを利用可能な画像処理装置およびテレビジョン受像機に関する。本発明は、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格に従って符号化されたデータを処理する技術に関する。
【０００２】
【従来の技術】
マルチメディアで扱われる情報は、膨大な量で且つ多種多様であり、これらの情報を高速に処理することがマルチメディアの実用化を図る上で必要となる。情報を高速に処理するためには、データの圧縮・伸長技術が不可欠となる。そのようなデータの圧縮・伸長技術として「ＭＰＥＧ」方式が挙げられる。このＭＰＥＧ方式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏ−ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）傘下のＭＰＥＧ委員会（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって標準化されつつある。ＭＰＥＧ方式を利用した画像処理装置は、ムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置など、様々な画像関連機器に組み込まれている。
【０００３】
ＭＰＥＧで取り扱われるビデオデータは動画に関するものであり、その動画は１秒間に複数枚、例えば３０枚のフレーム、すなわち静止画またはコマによって構成されている。図１に示すように、ビデオデータは、シーケンス（Ｓｅｑｕｅｎｃｅ）、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）、ピクチャ（Ｐｉｃｔｕｒｅ）、スライス（Ｓｌｉｃｅ）、マクロブロック（Ｍａｃｒｏｂｌｏｃｋ）、ブロック（Ｂｌｏｃｋ）の順に６層の階層構造から成る。１枚のピクチャを構成するスライスの個数は一定ではなく、１個のスライスを構成するマクロブロックの個数も一定ではない。なお、図１では、マクロブロック層およびブロック層については省略してある。
【０００４】
また、ＭＰＥＧには主に符号化レートの違いにより、主に、ＭＰＥＧ−１，ＭＰＥＧ−２の２つの方式がある。ＭＰＥＧ−１においてフレームはピクチャに対応している。ＭＰＥＧ−２においては、フレームまたはフィールドをピクチャに対応させることもできる。フィールドは、２枚で１枚のフレームを構成している。ピクチャにフレームが対応している構造はフレーム構造と呼ばれ、ピクチャにフィールドが対応している構造はフィールド構造と呼ばれる。
【０００５】
ＭＰＥＧでは、フレーム間予測と呼ばれる圧縮技術を用いる。フレーム間予測は、フレーム間のデータを時間的な相関に基づいて圧縮する。フレーム間予測では双方向予測が行われる。双方向予測とは、過去の再生画像またはピクチャから現在の再生画像を予測する順方向予測と、未来の再生画像から現在の再生画像を予測する逆方向予測とを併用することである。
【０００６】
この双方向予測は、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）と呼ばれる３つのタイプのピクチャを規定している。Ｉピクチャは、フレーム内符号化処理によって過去や未来の再生画像とは無関係に独立して生成される画像である。ランダムアクセスを行うために、ＧＯＰ内には最低１枚のＩピクチャが必要である。Ｉピクチャ内の全てのマクロブロック・タイプは、フレーム内予測画面（Ｉｎｔｒａ Ｆｒａｍｅ）である。Ｐピクチャは、フレーム間符号化処理によって、順方向予測、すなわち過去のＩピクチャまたはＰピクチャからの予測により生成される。Ｐピクチャ内のマクロブロック・タイプは、フレーム内予測画面と順方向予測画面（Ｆｏｒｗａｒｄ Ｉｎｔｅｒ Ｆｒａｍｅ）の両方を含む。
【０００７】
Ｂピクチャは、フレーム間符号化処理によって、双方向予測により生成される。双方向予測においてＢピクチャは、以下に示す３つの予測のうちいずれか１つにより生成される。
▲１▼順方向予測；過去のＩピクチャまたはＰピクチャからの予測
▲２▼逆方向予測；未来のＩピクチャまたはＰピクチャからの予測
▲３▼双方向予測；過去および未来のＩピクチャまたはＰピクチャからの予測
Ｂピクチャ内のマクロブロック・タイプは、フレーム内予測画面、順方向予測画面、逆方向予測画面（Ｂａｃｋｗａｒｄ Ｉｎｔｅｒ Ｆｒａｍｅ）、内挿的予測画面（Ｉｎｔｅｒｐｏｌａｔｉｖｅ Ｉｎｔｅｒ Ｆｒａｍｅ）の４つのタイプを含む。
【０００８】
これらＩ、Ｐ、Ｂピクチャがそれぞれ符号化される。つまり、Ｉピクチャは過去や未来のピクチャがなくても生成される。これに対し、Ｐピクチャは過去のピクチャがないと生成されず、Ｂピクチャは過去または未来のピクチャがないと生成されない。ただし、ＰピクチャやＢピクチャでも、マクロブロック・タイプが内挿的予測画面の場合、そのマクロブロックは過去や未来のピクチャがなくても生成される。
【０００９】
フレーム間予測では、まず、Ｉピクチャが周期的に生成される。次に、Ｉピクチャよりも数フレーム先のフレームがＰピクチャとして生成される。このＰピクチャは、過去から現在への一方向（順方向）の予測により生成される。つづいて、Ｉピクチャの前、Ｐピクチャの後に位置するフレームがＢピクチャとして生成される。このＢピクチャを生成するとき、順方向予測，逆方向予測，双方向予測の３つの中から最適な予測方法が選択される。連続した動画では一般的に、現在の画像とその前後の画像とはよく似ており、異なっているのは、そのごく一部分に過ぎない。そこで、前のフレームと次のフレームとは同じであると仮定し、両フレーム間に変化があればその差分のみを抽出して圧縮する。例えば、前のフレームをＩピクチャ、次のフレームをＰピクチャとし、差分がＢピクチャのデータとして抽出される。これにより、フレーム間のデータを時間的な相関に基づいて圧縮することができる。ＭＰＥＧビデオパートに準拠して符号化されたビデオデータのデータ列またはビットストリームは、ＭＰＥＧビデオストリームと呼ばれる。
【００１０】
ＭＰＥＧ−１は主に、ビデオＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＣＤ−ＲＯＭ（ＣＤ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）などの格納メディアに対応している。ＭＰＥＧ−２は、ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ），ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）などの格納メディアだけでなく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信メディア、地上波放送や衛星放送およびＣＡＴＶ（Ｃｏｍｍｕｎｉｔｙ Ａｎｔｅｎｎａ Ｔｅｌｅｖｉｓｉｏｎ）などの放送メディアをも含む伝達メディア全般に対応している。
【００１１】
ＭＰＥＧビデオパートで用いられる技術の核となるのが、動き補償付予測（ＭＣ；Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）と離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）である。ＭＣとＤＣＴを併用した符号化技術は、ハイブリッド符号化技術と呼ばれる。ＭＰＥＧビデオパートでは、符号化時にＤＣＴ（別名ＦＤＣＴ；Ｆｏｒｗａｒｄ ＤＣＴ）を用い、画像のビデオ信号を周波数成分に分解して処理する。そして、復号時にＤＣＴの逆変換（離散コサイン逆変換；ＩＤＣＴ；Ｉｎｖｅｒｓｅ ＤＣＴ）を用い、周波数成分を再び画像のビデオ信号に戻す。
【００１２】
ＭＰＥＧでは膨大な量の情報を高速に処理することができるが、上述したとおり、フレーム間予測と呼ばれる圧縮技術を用いるため、ＭＰＥＧビデオパートに準拠して時系列的に符号化されて記録されたデータ列をピクチャサーチのために逆順再生、すなわち逆方向に再生する場合、通常のビデオテープレコーダのように、記録されたデータ列を単に時間軸を遡って再生することは非常に困難である。そこで従来では、各ＧＯＰ内に割り当てられたＩピクチャのみを時間軸に遡って再生することが行われている。Ｉピクチャは、上述したとおり、フレーム内符号化処理された画像であるため、前後のピクチャを参照することなく独立して表示させることができる。
【００１３】
【発明が解決しようとする課題】
従来例にあっては、各ＧＯＰ内に割り当てられるＩピクチャの数はきわめて少なく、例えば、ＭＰＥＧでは、ＧＯＰ内に割り当てられるＩピクチャは、１５〜３０枚のピクチャのうちせいぜい１枚であり、１５〜３０コマ毎のピクチャを逆順再生したところで、通常のビデオテープレコーダのような滑らかな逆順再生画面を得ることができず、見たいシーンでタイミングよくストップさせることが困難であった。本発明はこの点に鑑みてなされたものであって、その目的のひとつは、滑らかな逆順再生画面を得ることができる画像処理の技術を提供することにある。
【００１４】
本発明はこの目的、および本明細書から明らかになるその他の目的に対して、主に画像の符号化と復号処理に関連する技術において解決を図るものである。
【００１５】
【課題を解決するための手段】
本発明のある態様は、画像処理装置に関する。この装置は、ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、この前置復号器による復号処理に利用されるとともに、第１の再生画像データ列を格納する第１のフレームメモリと、この第１のフレームメモリから読み出された第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、この第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、この後置復号器による復号処理に利用されるとともに、第２の再生画像データ列に含まれるピクチャを少なくともひとつ格納する第２のフレームメモリと、を具備する。
【００１６】
第１のフレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前置復号器による復号処理に利用される領域であってＢピクチャを少なくともひとつ格納する第３の領域と、を有する。すなわち、この態様におけるフレームメモリは、第１のフレームメモリおよび第２のフレームメモリを合わせて少なくとも４フレームぶんの容量で足りる。
【００１７】
本発明の別の態様もまた、画像処理装置に関する。この装置は、ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、この前置復号器による復号処理に利用されるとともに、第１の再生画像データ列を格納するフレームメモリと、このフレームメモリから読み出された第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、この第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、を具備する。
【００１８】
フレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前置復号器による復号処理に利用される領域であってＢピクチャを少なくともひとつ格納する第３の領域と、を有する。第３の領域は、後置復号器による復号処理に利用される領域であって後置復号器によって復号されたピクチャを格納する領域として兼用される。この態様におけるフレームメモリは、少なくとも３フレームぶんの容量で足りる。
【００１９】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、この前置復号器による復号処理に利用されるとともに、第１の再生画像データ列を格納するフレームメモリと、この前置復号器から読み出された第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、この第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、を具備する。
【００２０】
フレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前置復号器による復号処理に利用される領域であってピクチャを少なくともひとつ格納可能な第３の領域と、を有する。第３の領域は、後置復号器による復号処理に利用される領域であって後置復号器によって復号されたピクチャを格納する領域として兼用される。この態様におけるフレームメモリは、少なくとも３フレームぶんの容量で足りる。
【００２１】
本発明のさらに別の態様もまた、画像処理装置に関する。この装置は、符号化データ列をそれぞれ異なる目的で復号する複数の復号器と、これら復号器の復号により生成された再生画像データ列を格納するフレームメモリと、再生画像データ列を映像ビデオ信号に変換する表示回路と、を具備する。
【００２２】
フレームメモリにおいて、いずれかの復号器の復号により生成された再生画像データ列の少なくとも一部のデータが表示回路に出力されたとき、その出力されたデータを他の復号器の復号により生成された再生画像データ列で上書きすることにより、フレームメモリに含まれる一部の領域を複数の復号器で共有する。複数の復号器には、時系列的に読み出された符号化データ列を復号する第１の復号器と、反時系列的に読み出された符号化データ列を復号する第２の復号器とが含まれ、第１の復号器の復号により生成された再生画像データ列は、これが表示回路によって映像ビデオ信号に変換されるのを待たずに、第２の復号器の復号により生成された再生画像データ列で上書きされてもよい。
【００２４】
なお、以上のいずれかの画像処理装置を搭載し、これによって画像の反時系列的な再生を動作仕様の一部に有するテレビジョン受像機を提供してもよい。「Ｉピクチャ」、「Ｂピクチャ」、「Ｐピクチャ」は、それぞれＭＰＥＧ４において「Ｉ−ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）」、「Ｂ−ＶＯＰ」、「Ｐ−ＶＯＰ」に相当するとともに、これらの概念を包含する。
【００２５】
以上、いずれの場合も、符号化または復号、および場合によりそれらに付随する処理は、所定のグループ単位で実行されてもよい。さらに、以上の任意の構成要素、処理過程等の異なる組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２６】
【発明の実施の形態】
本発明を具体化した実施形態を説明する。実施形態のいくつかに共通する処理は、画像の正順および逆順再生である。以下の説明において、「正順」「逆順」およびそれらの同義語は、説明の便宜上、画像を構成するピクチャを最終的に表示する形にしたときの順序についていうものとする。このため、以下とくに断らない限り、ピクチャの順序は表示の状態を考える。
【００２７】
後述のごとく、逆順再生においても、ＭＰＥＧデータストリームの各ＧＯＰ内のピクチャは、まず順方向、すなわち時系列的に復号される。これが再符号化され、その後の再復号の段階で、初めて逆順の並びが実現される。したがって、逆順再生における「逆順」とは、主に２回目の復号に関連する。ＭＰＥＧビットストリームは、Ｉ、Ｐ、Ｂピクチャの順序についていろいろな組合せが考えられる。各実施形態の構成に含まれるフレームメモリには、例えばＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）、ＤＲＡＭ、ラムバスＤＲＡＭ等を用いる。
【００２８】
以下の実施形態では、さまざまな構成部材が現れる。これらは、ハードウエア的には、ＣＰＵ、メモリ、その他のＬＳＩや組合せ回路などによって実現でき、ソフトウエア的にはメモリのロードされた画像処理機能のあるプログラムなどによって実現されるが、以下、それらの連携によって実現される機能を中心に描く。したがって、これらの機能がハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。なお、画像再生装置は本発明の「画像処理装置」の一例である。
【００２９】
（第１実施形態）
本実施形態は、画像処理装置を構成する各ブロックをそれぞれ仮に１チップ化した場合に考えられる構成を例示する。本実施形態の構成は特に本発明との対応を考慮しておらず、第２実施形態以降と比較参照する対象としての例示にすぎない。
図２は、第１実施形態に係る画像再生装置１のブロック回路を示す。この画像再生装置１は、伝達メディア２からのＭＰＥＧビデオストリームをディスプレイ３に出力するムービーカメラ、スチルカメラ、テレビジョン、ビデオＣＤ再生装置、ＤＶＤ再生装置などに組み込まれる。なお、伝達メディア２には、蓄積メディア（ビデオＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ，ＶＴＲなど）、通信メディア（ＬＡＮなど）、放送メディア（地上波放送，衛星放送，ＣＡＴＶなど）などが含まれる。また、蓄積メディアや放送メディアからのデータがＭＰＥＧビデオパートに準拠して符号化されていないデータである場合は、伝達メディアは、このデジタルデータを符号化するためのＭＰＥＧビデオエンコーダをも含む。画像再生装置１をムービーカメラまたはスチルカメラに組み込む場合は、伝達メディア２がＣＣＤなどの撮像デバイスおよびその信号処理回路に置き換えられる。
【００３０】
図２において、画像再生装置１は、ハードディスク（ＨＤ）４、ＭＰＥＧビデオデコーダ５（以下単に「デコーダ５」とも表記する）、ＭＰＥＧビデオエンコーダ６（以下単に「エンコーダ６」とも表記する）、第２のＭＰＥＧビデオデコーダ７（以下単に「第２デコーダ７」とも表記する）、第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２、第１表示回路５４、映像入力回路６４、第２表示回路７４、切替回路８、制御コア回路１０から構成される。制御コア回路１０は、デコーダ５、第２デコーダ７およびエンコーダ６を始め画像再生装置１の各構成要素の動作を制御する。ハードディスク４は、磁気ディスクから構成され、伝達メディア２から転送されてくるビデオストリームを順次蓄積する。ハードディスク４内には特別な記憶領域４ａが設けられている。
【００３１】
デコーダ５、第１フレームメモリ５２、第１表示回路５４が第１ブロック５０を構成し、エンコーダ６、第２フレームメモリ６２、映像入力回路６４が第２ブロック６０を構成する。第２デコーダ７、第３フレームメモリ７２、第２表示回路７４は第３ブロック７０を構成する。画像再生装置１全体またはその主要部は１チップのＬＳＩに搭載されていてもよく、それは他の実施形態でも同様である。本実施形態の場合、第１ブロック５０、第２ブロック６０、第３ブロック７０のそれぞれが１チップのＬＳＩに搭載される。ただし、第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２のそれぞれは外付けで搭載されてもよい。
【００３２】
デコーダ５が生成した再生画像データ列は第１フレームメモリ５２に一時的に蓄積された後、順次第１表示回路５４に入力される。第１フレームメモリ５２は、表示用バッファとしての機能、およびデコーダ５のワークエリアとしての機能を有する。第１表示回路５４は、デコーダ５から転送されたピクチャのデータから映像ビデオ信号を生成し、これを切替回路８を介して画像再生装置１に接続されたディスプレイ３へ出力する。
【００３３】
第１ブロック５０から出力される映像ビデオ信号は映像入力回路６４にも入力される。映像入力回路６４は、映像ビデオ信号を再生画像データ列に変換し、その再生画像データ列が第２フレームメモリ６２に一時的に蓄積された後、順次エンコーダ６によって再符号化される。第２フレームメモリ６２は、エンコーダ６のワークエリアとしての機能をあわせもつ。
【００３４】
第２ブロック６０から出力される符号化データ列を記憶領域４ａに記憶させた後、これを反時系列的に読み出して第２デコーダ７が再復号する。再復号された再生画像データ列は一時的に第３フレームメモリ７２に蓄積された後、第２表示回路７４によって映像ビデオ信号に変換される。第３フレームメモリ７２は、表示用バッファとしての機能、および第２デコーダ７のワークエリアとしての機能を有する。この映像ビデオ信号は、切替回路８を介して画像再生装置１に接続されたディスプレイ３へ出力される。
【００３５】
切替回路８は、制御コア回路１０の制御に従って第１ノード８ａ、第２ノード８ｂ側への接続が切り換えられる。切替回路８が第１ノード８ａ側に接続されると、第１ブロック５０の出力に基づく正順再生が行われる。第２ノード８ｂ側に接続されると、第３ブロック７０の出力に基づく逆順再生が行われる。
【００３６】
第１フレームメモリ５２は、第１領域５６、第２領域５７、第３領域５８に分けられる。第１領域５６は、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する容量を有する。第２領域５７は、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する容量を有する。第３領域５８は、Ｂピクチャを少なくともひとつ格納する容量を有する。この第３の領域は、デコーダ５による復号処理に利用されるワークエリアとしても利用される。第２フレームメモリ６２は、映像入力回路６４によって入力された再生画像データ列に含まれるピクチャを少なくともひとつ格納する容量を有する。第３フレームメモリ７２は、第２デコーダ７によって復号された再生画像データ列に含まれるピクチャを少なくともひとつ格納する容量を有する。これら第１フレームメモリ５２、第２フレームメモリ６２、第３フレームメモリ７２を合わせると、少なくとも５フレームぶんの容量をもつ。
【００３７】
図３は、デコーダ５の構成を示すブロック図である。同図において、デコーダ５は、ハフマン復号回路１４、逆量子化回路１５、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤｉｓｃｒｅｔｅＣｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）回路１６、ＭＣ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）回路１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８，１９から構成されている。なお、デコーダ５は、他の実施形態において本発明の「前置復号器」の一例となる。
【００３８】
ハフマン復号回路１４は、ハードディスク４から読み出されたピクチャに対して、ＲＯＭ１８に記憶されたハフマンテーブルに格納されているハフマンコードに基づいた可変長復号を行う。逆量子化回路１５は、ハフマン復号回路１４の復号結果に対して、ＲＯＭ１９に記憶された量子化テーブルに格納されている量子化閾値に基づいた逆量子化を行いＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を求める。ＩＤＣＴ回路１６は、逆量子化回路１５が求めたＤＣＴ係数に対してＩＤＣＴを行う。ＭＣ回路１７は、ＩＤＣＴ回路１６の処理結果に対してＭＣを行う。
【００３９】
こうして、デコーダ５は、入力されたＭＰＥＧビデオストリームを復号して、時系列的に連続する再生画像データ列を生成する。なお、このＭＰＥＧビデオストリームは、他の実施形態において本発明の「第１の符号化データ列」の一例となる。
【００４０】
図４は、エンコーダ６の構成を示すブロック図である。同図において、エンコーダ６は、ＭＣ回路２０、ＤＣＴ回路２１、量子化回路２２、ハフマン符号化回路２３、ＲＯＭ２４，２５から構成されている。なお、エンコーダ６は、他の実施形態において本発明の「符号化器」の一例となる。
【００４１】
ＤＣＴ回路２１は、デコーダ５から入力された再生画像データをブロック単位で取り込み、２次元の離散コサイン変換を行ってＤＣＴ係数を生成する。量子化回路２２は、ＤＣＴ係数を、ＲＯＭ２４に記憶された量子化テーブルに格納されている量子化しきい値を参照して量子化する。なお、ＲＯＭ２４は、ＲＯＭ１９と兼用してもよい。
【００４２】
ハフマン符号化回路２３は、量子化されたＤＣＴ係数を、ＲＯＭ２５に記憶されたハフマンテーブルに格納されているハフマン符号を参照して可変長符号化することにより、圧縮された画像データを画面単位で生成する。なお、ＲＯＭ２５は、ＲＯＭ１８と兼用してもよい。
【００４３】
こうして、エンコーダ６は、時系列的に連続する再生画像データ列を再符号化してＭＰＥＧビデオストリームを生成する。なお、このＭＰＥＧビデオストリームは、他の実施形態において本発明の「第２の符号化データ列」の一例となる。
【００４４】
図５は、第２デコーダ７の構成を示すブロック図である。同図において、第２デコーダ７は、ハフマン復号回路２６、逆量子化回路２７、ＩＤＣＴ回路２８、ＭＣ回路２９、ＲＯＭ３０，３１から構成されている。なお、第２デコーダ７は、他の実施形態において本発明の「後置復号器」の一例となる。
【００４５】
この第２デコーダ７の構成は、デコーダ５の構成と同様である。したがって、ハフマン復号回路２６はハフマン復号回路１４と、逆量子化回路２７は逆量子化回路１５と、ＩＤＣＴ回路２８はＩＤＣＴ回路１６と、ＭＣ回路２９はＭＣ回路１７と、それぞれ同様の回路構成を有する。なお、ＲＯＭ３０は、その他のＲＯＭ１８やＲＯＭ２５と、ＲＯＭ３１は、ＲＯＭ１９やＲＯＭ２４と、それぞれ兼用してもよい。
【００４６】
以上の構成に基づいて、本実施形態の画像再生装置１における逆順再生の動作を、図６に示すフローチャートに従って説明する。画像再生装置１の動作は、制御コア回路１０の制御の下に実行される。ここでは、ＭＰＥＧビデオストリームがｉ個のＧＯＰ（ＧＯＰ０〜ＧＯＰｉ−１）からなるとする。
【００４７】
逆順再生では、各ＧＯＰが時間軸に遡ってＧＯＰｉ−１から順次処理される。ただし、各ＧＯＰ内のピクチャは、デコーダ５において順方向、すなわち時系列的に復号される。逆順再生が指示されると、切替回路８が第２ノード８ｂに接続され（Ｓ１）、ハードディスク４からＧＯＰｉ−１に相当するＭＰＥＧビデオストリームがピクチャ単位で読み出されてデコーダ５に入力され、１画面毎の再生画像データが時系列に順次生成されてエンコーダ６に入力される（Ｓ２）。エンコーダ６では、デコーダ５から入力された１ＧＯＰぶんの再生画像データ列を、Ｉピクチャなどに再符号化する（Ｓ３）。エンコーダ６からの１ＧＯＰぶんの再符号化データ列は、ハードディスク４の記憶領域４ａに上書きされる（Ｓ４）。
【００４８】
記憶領域４ａへの書き込みが終了すると、この記憶領域４ａに格納されている再符号化データ列を反時系列的に、すなわち時間軸に遡って読み出し、これを第２デコーダ７が順次復号して第２表示回路７４へ出力する（Ｓ５）。記憶領域４ａへの書込終了に伴って書込終了信号が送出され、次のＧＯＰｉ−２に相当するＭＰＥＧビデオストリームがデコーダ５に入力され、Ｓ２からの処理が行われる。すなわち、Ｓ５において、第２デコーダ７で１ＧＯＰぶんのデータ列の復号が行われているときに、デコーダ５では次の１ＧＯＰぶんのデータ列の復号が行われている。第２表示回路７４には、第２デコーダ７から再生画像データが反時系列的に入力され、ディスプレイ３上に逆順再生画面が表示される。
【００４９】
次に、正順再生のための動作を、図７に示すフローチャートに従って説明する。正順再生では時間軸に従ってＧＯＰ０から順次処理される。各ＧＯＰ内のピクチャは、当然ながらデコーダ５において順方向に復号される。正順再生が指示されると、切替回路８が第１ノード８ａに接続され（Ｓ１１）、ハードディスク４からＧＯＰ０に相当するＭＰＥＧビデオストリームがピクチャ単位で読み出されてデコーダ５に入力され、再生画像データが画面単位で時系列に順次生成され、エンコーダ６と第１表示回路５４に並列に入力される（Ｓ１２）。第１表示回路５４は、入力された画面単位の再生画像データに基づきビデオ信号を生成してディスプレイ３に出力し、これによりディスプレイ３上に正順再生画面が表示される（Ｓ１４）。
【００５０】
一方、エンコーダ６は、第１表示回路５４の処理と並行して、デコーダ５から入力された１ＧＯＰぶんの再生画像データ列をＩピクチャなどに再符号化する（Ｓ１５）。再符号化データ列は、ハードディスク４の記憶領域４ａに上書きされる（Ｓ１６）。ＧＯＰ０の処理が終了すると再びＳ１２に戻って次のＧＯＰ１の処理を行う。すなわち、正順再生の間、エンコーダ６は並行して同じ画像データ列をＧＯＰ単位で順次Ｉピクチャなどに再符号化する。
【００５１】
（第２実施形態）
本実施形態以降の形態は、本発明に対応する構成を有する。第２実施形態は第１実施形態をさらにコンパクトに設計したものである。第２実施形態が第１実施形態の画像再生装置１と異なるのは、全体としてより少ない容量でフレームメモリを構成した点にある。すなわち、第１実施形態における第１フレームメモリ５２と第２フレームメモリ６２を共通化し、全体として４フレームぶんの容量で構成する。
【００５２】
図８は、第２実施形態に係る画像再生装置１のブロック回路を示す。第１実施形態においては、第１表示回路５４から読み出された映像ビデオ信号を再生画像データ列に変換してから再符号化していたが、本実施形態においては、第１表示回路５４によって映像ビデオ信号に変換される前の再生画像データ列を読み出して、これを再符号化する。従って、第１実施形態における第２フレームメモリ６２、映像入力回路６４に対応する構成は本実施形態には含まれない。第１フレームメモリ８０は、第１領域８２、第２領域８４、第３領域８６に分けられ、それぞれ第１実施形態の第１領域５６、第２領域５７、第３領域５８に対応する。ただし、第３領域８６は、エンコーダ６による符号化処理のワークエリアとして兼用される点で第１実施形態の第３領域５８と異なる。第２フレームメモリ９０は、第１実施形態の第３フレームメモリ７２に対応する。
【００５３】
逆順再生時においてデコーダ５が生成した再生画像データ列は、ディスプレイ３にそのまま表示することはないため、エンコーダ６へ入力するだけで足り、実際には第１表示回路５４へ入力することを要しない。従って、かかるデータ列が第３領域８６からエンコーダ６へ転送された後は、第１表示回路５４によって映像ビデオ信号へ変換されるのを待たずに、エンコーダ６が第３領域８６をワークエリアとして利用開始しても差し支えはない。
【００５４】
エンコーダ６によって再符号化された符号化データ列は、時系列的な順序で記憶領域４ａに記憶させる。これを反時系列的な順序で読み出して第２デコーダ７が再復号することによって、逆順再生を実現する。
【００５５】
本実施形態におけるデコーダ５、エンコーダ６、第２デコーダ７の内部構成は、それぞれ図３、図４、図５と同一でよく、全体的な動作の流れも図６、図７と同様でよい。
【００５６】
以上、本実施形態の画像再生装置１にあっては、以下のとおりの作用効果を奏する。
（１）表示用バッファと符号化および復号のワークエリアとに兼用されるフレームメモリが４フレームぶんの容量で足り、第１実施形態のような構成と比べてメモリ容量を低減でき、低コスト化にもつながる。
（２）第１実施形態と比べて第２フレームメモリ６２、映像入力回路６４が不要であるぶん、小型化、低コスト化につながる。
（３）第２デコーダ７が反時系列的に読み出された符号化データ列を復号することにより、逆順再生を実現することができる。
【００５７】
（第３実施形態）
第３実施形態は第２実施形態をさらにコンパクトに設計したものである。第３実施形態が第２実施形態の画像再生装置１と異なるのは、全体としてさらに少ない容量でフレームメモリを構成した点にある。すなわち、第２実施形態における第１フレームメモリ８０と第２フレームメモリ９０を共通化し、全体として３フレームぶんの容量で構成する。
【００５８】
図９は、第３実施形態に係る画像再生装置１のブロック回路を示す。フレームメモリ１００は、第１領域１０２、第２領域１０４、第３領域１０６に分けられ、それぞれ第２実施形態の第１領域８２、第２領域８４、第３領域８６に対応する。ただし、第３領域１０６は、第２デコーダ７による復号処理のワークエリアとして兼用される点で第２実施形態の第３領域８６と異なる。表示回路１１０は、第２実施形態の第１表示回路５４に対応する。第２実施形態における第２フレームメモリ９０、第２表示回路７４、切替回路８に対応する構成は本実施形態に含まれない。
【００５９】
逆順再生時において、第３領域１０６に格納されたピクチャが表示回路１１０に出力されるタイミングと、このピクチャをデコーダ５によって生成されたピクチャで上書きするタイミングと、を調整することにより、第３領域１０６の共有を実現する。たとえば、ディスプレイ３において現在表示処理されているラインを把握し、表示済のラインに対応するデータを上書きするようタイミング調整してもよい。これをマクロブロック単位で調整してもよい。
【００６０】
一方、逆順再生時においてデコーダ５が生成した再生画像データ列は、ディスプレイ３にそのまま表示することはないため、かかるデータ列が第３領域１０６からエンコーダ６へ転送された後は、表示回路１１０によって映像ビデオ信号に変換されるのを待たずにこれを第２デコーダ７が生成した再生画像データ列で上書き開始するようタイミング調整してもよい。
【００６１】
本実施形態におけるデコーダ５、エンコーダ６、第２デコーダ７の内部構成は、それぞれ図３、図４、図５と同一でよく、全体的な動作の流れも図６、図７と同様でよい。
【００６２】
以上、本実施形態の画像再生装置１にあっては、以下のとおりの作用効果を奏する。
（４）表示用バッファと符号化および復号のワークエリアとに兼用されるフレームメモリが３フレームぶんの容量で足り、メモリ容量をさらに低減でき、さらなる低コスト化に寄与することができる。
（５）第１実施形態と比べて第２フレームメモリ６２、映像入力回路６４、第３フレームメモリ７２、第２表示回路７４、切替回路８が不要であるぶん、さらなる小型化、低コスト化につながる。
【００６３】
（第４実施形態）
第４実施形態は第３実施形態の変形例となる構成を有する。第４実施形態が第３実施形態の画像再生装置１と異なるのは、フレームメモリ１００から読み出された再生画像データ列ではなく、デコーダ５から直接読み出された再生画像データ列を符号化する点にある。フレームメモリ１００は、第３実施形態のフレームメモリ１００と同様、３フレーム分の容量で構成する。
【００６４】
図１０は、第４実施形態に係る画像再生装置１のブロック回路を示す。デコーダ５から出力された再生画像データ列は、フレームメモリ１００だけでなくエンコーダ６にも入力される。第３領域１０６は、エンコーダ６の符号化処理のワークエリアとして兼用される。
【００６５】
本実施形態も第３実施形態と同様に、逆順再生時においてデコーダ５によって生成された再生画像データ列は、表示回路１１０によって映像ビデオ信号に変換されるのを待たずに、これを第２デコーダ７によって生成された再生画像データ列で上書きするようタイミング調整してもよい。ただし、第３領域１０６に格納された再生画像データ列はエンコーダ６へ転送されないので、そのタイミングとの調整は不要である。
【００６６】
本実施形態におけるデコーダ５、エンコーダ６、第２デコーダ７の内部構成は、それぞれ図３、図４、図５と同一でよく、全体的な動作の流れも図６、図７と同様でよい。
【００６７】
以上、本実施形態の画像再生装置１にあっては、以下のとおりの作用効果を奏する。
（６）第３実施形態と同様、表示用バッファと符号化および復号のワークエリアとに兼用されるフレームメモリが３フレームぶんの容量で足り、メモリ容量をさらに低減でき、さらなる低コスト化に寄与することができる。
（７）第３実施形態と同様、第１実施形態と比べて第２フレームメモリ６２、映像入力回路６４、第３フレームメモリ７２、第２表示回路７４、切替回路８が不要であるぶん、さらなる小型化、低コスト化につながる。
（８）デコーダ５によって生成された再生画像データ列のフレームメモリ１００への書き込みを待たずにエンコーダ６による符号化処理が開始されるので、エンコーダ６の符号化処理が十分な処理速度を保つ限り、全体としての処理が高速化される。
【００６８】
（実施形態に関する全般的考察）
当業者には当然理解されるごとく、いままでに述べなかった実施形態の任意の組合せも可能である。例えば、以下のような配慮または変形例が可能である。
【００６９】
（ａ）ハードディスク４として、磁気ディスクに代えて、光磁気ディスク、光ディスクなどを用いる。
（ｂ）ハードディスク４として、書き換え可能な半導体メモリ、例えばＳＤＲＡＭ、ＤＲＡＭ、ラムバスＤＲＡＭ等を用いる。
（ｃ）ハードディスク４と記憶領域４ａとを独立して設ける。この場合、記憶領域４ａには書き換え可能な半導体メモリが望ましい。
【００７０】
（ｄ）ＭＰＥＧビデオストリームから１ＧＯＰではなく以下の単位でデータ列を取り出す。ＧＯＰを含め以下の単位もグループ単位の概念に含まれる。
・Ｉピクチャから始まる単位をＧＯＰとせずに、例えば、Ｐピクチャから始まる単位をＧＯＰとする。
・ＧＯＰという概念にとらわれずに、数枚のピクチャをグループ単位とする。
・グループ単位でピクチャの枚数を任意に変化させる。
【００７１】
（ｅ）ＲＯＭ１８，１９，２４，２５，３０，３１に代えて、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いる。
（ｆ）逆順再生機能を選択するための操作キーを画像再生装置に設ける。
（ｇ）キー操作に応じて１コマずつ逆順再生させる。
【００７２】
（ｈ）各実施形態において、エンコーダ６が生成した再符号化データ列に含まれるピクチャは時系列的な順序で記憶領域４ａに書き込んでいたが、これを反時系列的な順序に並べ替えながら記憶領域４ａに書き込んでもよい。この場合、第２デコーダ７は記憶領域４ａから再符号化データ列を反時系列的に読み出す必要がない。
（ｉ）第２、第３、第４実施形態において、デコーダ５と第２デコーダ７をハードウェア的に共通化する。また、第２実施形態において、第１表示回路５４と第２表示回路７４をハードウェア的に共通化する。
【００７３】
（ｊ）上記した実施形態以外に、一つの装置内に２つの符号化または復号機能を備えるアプリケーションとして以下の形態がある。従って、上記第２，４実施形態では、デコーダ５と第２デコーダ７を共用デコーダ５３として共通化する例を説明したが、２つのエンコーダを備えるものにあっては、これらのエンコーダを共通化してもよい。
（ｉ）ムービーカメラにおいて、被写体を異なる視点から同時に撮影し、そのデータをＭＰＥＧ方式で圧縮・伸長処理する場合。
（ｉｉ）テレビジョンにおいて、複数番組を同時に復号して２画面表示する場合。
（ｉｉｉ）テレビジョンにおいて、複数番組を同時に復号してチャンネル切換えをシームレスに行わせる場合。ＭＰＥＧを使った放送では、チャンネル切換えなどで一旦復号を中断すると、新しいシーケンスヘッダを検出するまでの０．５秒〜２秒の間、次に再開するのに若干時間がかかり、通常はその間、絵がフリーズするかブラックアウトするが、（ｉｉｉ）は、この問題を解消するために有効である。
（ｉｖ）ＤＶＤやデジタルスチルカメラ等と接続したテレビジョンにおいて、放送とＤＶＤやデジタルスチルカメラとを同時再生する。
（ｖ）番組の再生中、その番組または裏番組を動画や静止画状態で録画するとともに、録画した動画または静止画と放送中の番組を重ねて同時に再生する場合。
（ｖｉ）一定時間毎に再生画像をＪＰＥＧ方式で符号化してリングバッファに取り込み、これを逆転サーチにおいて近いシーンにジャンプできるようにするためのインデックスに使う場合。
【００７４】
（ｋ）逆順再生のために、１ＧＯＰ分の画像データをそっくり記憶領域４ａに保持する必要があった。ＧＯＰ内部ではデータは正順方向にしか読み出されないため、１ＧＯＰ分のデータをすべて残しておかなければ逆順再生の際にピクチャを生成できないためである。この理由から、１ＧＯＰ分の画像データを記録するだけの容量を記憶領域４ａに求めた。これから逆に、そうした構成を有効活用し、実施形態１等では、正順再生の間もエンコーダ６をフリーランで走らせ、つねに１ＧＯＰ分の逆順再生用データを生成して保持することにした。これにより、正順から逆順への切替を滑らかにする趣旨であった。
【００７５】
しかしながらその方法では、確かにフリーランをさせないときに比べて円滑な再生方向転換が実現するものの、必ずしも切替時にタイムラグが生じないわけではない。なぜなら、逆順再生がＧＯＰｎに対して行われているとき、その前のＧＯＰｎ−１については、デコーダ５が１ＧＯＰ分の符号化データを読み出して復号する必要があり、一連の処理がＧＯＰｎの逆順再生の完了までに終わらない可能性があるためである。仮に終わらない場合、そこで逆順再生が一瞬停止してしまう。
【００７６】
この対策のために、実施形態１等で述べた１ＧＯＰ分の画像データの保存を拡張し、最大２ＧＯＰ分程度の画像データを保存すれば、正順再生から逆順再生への切替の際、タイムラグを完全になくすことができる。したがって、そうした仕様を求める場合はこの対策をとればよい。
【００７７】
画素数を低減させる場合、デコーダ７におけるＩＤＣＴ処理にて、予めダウンコンバージョン形式による復号を行ってもよい。すなわち、通常であれば例えば８×８画素の正方ブロックに対してＩＤＣＴを施すべきところを、８×４画素の１／２サイズのブロックに対して施してもよい。その場合、画像再生の際にフレームメモリに記憶すべき画像データの容量が１／２になるため、その結果空いた領域に前述の２ＧＯＰぶんのピクチャを格納することができる。なお、このダウンコンバーションを行うと、高精細モード時の１９６０×１０８０画素の画像が９８０×１０８０画素になる。したがって、その再生時に横方向について各画素を二度表示するなど、解像度再現処理を施すものとする。
【００７８】
（ｌ）前述の切替時のタイムラグは、逆順再生から正順再生への移行時にも考慮すべきである。このときも上述と同様の措置、すなわち読み込まれたピクチャのデータを１〜２ＧＯＰ程度格納しておくことで対応できる。いま逆順再生のために第ｎ番のＧＯＰｎが読込処理されているとすれば、このＧＯＰｎのピクチャのデータを、逆順再生のための読出がその２つ前のＧＯＰｎ−２に達するまで保持しておく。すなわち、あるＧＯＰのデータをそのふたつ前のＧＯＰのデータの読出まで保持することにより、正順再生への切替が行われたときでも、切れ目のない再生が実現する。
【００７９】
逆順再生から正順再生への切替は、デコーダ５のみの処理で対応できるため、（ｋ）の場合に比べ、タイムラグはもともと小さい。したがって、ここでは２ＧＯＰぶんとしたが、実際にはせいぜい１ＧＯＰ強で十分と思われる。ただし、この値は装置の実装にもよるため、機種ごとに実験等により決めることが望ましい。
【００８０】
【発明の効果】
本発明により、滑らかな逆順再生を行うことのできる画像処理技術を提供することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧビデオストリームの階層構造を示す説明図である。
【図２】第１実施形態における画像再生装置のブロック回路図である。
【図３】第１実施形態におけるデコーダの概略を示すブロック図である。
【図４】第１実施形態におけるエンコーダの概略を示すブロック図である。
【図５】第１実施形態におけるデコーダの概略を示すブロック図である。
【図６】第１実施形態における画像再生装置の逆順再生動作を示すフローチャートである。
【図７】第１実施形態における画像再生装置の正順再生動作を示すフローチャートである。
【図８】第２実施形態における画像再生装置のブロック回路図である。
【図９】第３実施形態における画像再生装置のブロック回路図である。
【図１０】第４実施形態における画像再生装置のブロック回路図である。
【符号の説明】
１ 画像再生装置
２ 伝達メディア
３ ディスプレイ
４ ハードディスク
４ａ 記憶領域
５，７ ＭＰＥＧビデオデコーダ
６ ＭＰＥＧビデオエンコーダ
８ 切替回路
１０ 制御コア回路
１４，２６ ハフマン復号回路
１５，２７ 逆量子化回路
１６，２８ ＩＤＣＴ回路
１７，２０，２９ ＭＣ回路
２１ ＤＣＴ回路
２２ 量子化回路
２３ ハフマン符号化回路
１８，１９，２４，２５，３０，３１ ＲＯＭ
５２，６２，７２，８０，９０，１００ フレームメモリ
５４，７４，１１０ 表示回路
６４ 映像入力回路
Claims (4)
- ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、
前記前置復号器による復号処理に利用されるとともに、前記第１の再生画像データ列を格納する第１のフレームメモリと、
前記第１のフレームメモリから読み出された第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、
前記第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、
前記後置復号器による復号処理に利用されるとともに、前記第２の再生画像データ列に含まれるピクチャを少なくともひとつ格納する第２のフレームメモリと、
を具備し、
前記第１のフレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前記前置復号器による復号処理に利用される領域であってＢピクチャを少なくともひとつ格納する第３の領域と、を有することを特徴とする画像処理装置。 - ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、
前記前置復号器による復号処理に利用されるとともに、前記第１の再生画像データ列を格納するフレームメモリと、
前記フレームメモリから読み出された第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、
前記第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、
を具備し、
前記フレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前記前置復号器による復号処理に利用される領域であってＢピクチャを少なくともひとつ格納する第３の領域と、を有するとともに、前記第３の領域は、前記後置復号器による復号処理に利用される領域であって前記後置復号器によって復号されたピクチャを格納する領域として兼用されることを特徴とする画像処理装置。 - ＭＰＥＧに準拠して符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャを含む第１の符号化データ列を復号して第１の再生画像データ列を生成する前置復号器と、
前記前置復号器による復号処理に利用されるとともに、前記第１の再生画像データ列を格納するフレームメモリと、
前記前置復号器から読み出された前記第１の再生画像データ列を再符号化して第２の符号化データ列を生成する符号化器と、
前記第２の符号化データ列を復号して第２の再生画像データ列を生成する後置復号器と、
を具備し、
前記フレームメモリは、ＰピクチャまたはＢピクチャの復号で前方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第１の領域と、Ｂピクチャの復号で後方参照されるＩピクチャまたはＰピクチャを少なくともひとつ格納する第２の領域と、前記前置復号器による復号処理に利用される領域であってピクチャを少なくともひとつ格納可能な第３の領域と、を有するとともに、前記第３の領域は、前記後置復号器による復号処理に利用される領域であって前記後置復号器によって復号されたピクチャを格納する領域として兼用されることを特徴とする画像処理装置。 - 符号化データ列をそれぞれ異なる目的で復号する複数の復号器と、
これら復号器の復号により生成された再生画像データ列を格納するフレームメモリと、
前記再生画像データ列を映像ビデオ信号に変換する表示回路と、
を具備し、
前記フレームメモリにおいて、いずれかの復号器の復号により生成された再生画像データ列の少なくとも一部のデータが前記表示回路に出力されたとき、その出力されたデータを他の復号器の復号により生成された再生画像データ列で上書きすることにより、前記フレームメモリに含まれる一部の領域を複数の前記復号器で共有することを特徴とする画像処理装置において、
複数の前記復号器には、時系列的に読み出された符号化データ列を復号する第１の復号器と、反時系列的に読み出された符号化データ列を復号する第２の復号器とが含まれ、
前記第１の復号器の復号により生成された再生画像データ列は、これが前記表示回路によって映像ビデオ信号に変換されるのを待たずに、前記第２の復号器の復号により生成された再生画像データ列で上書きされることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002152849A JP3548167B2 (ja) | 2001-05-31 | 2002-05-27 | 画像処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001165943 | 2001-05-31 | ||
| JP2001-165943 | 2001-05-31 | ||
| JP2002152849A JP3548167B2 (ja) | 2001-05-31 | 2002-05-27 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003052013A JP2003052013A (ja) | 2003-02-21 |
| JP3548167B2 true JP3548167B2 (ja) | 2004-07-28 |
Family
ID=26616171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002152849A Expired - Fee Related JP3548167B2 (ja) | 2001-05-31 | 2002-05-27 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3548167B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1681863A1 (en) | 2005-01-12 | 2006-07-19 | Thomson Licensing | Method and apparatus for simultaneously recording two audio/video input signals |
-
2002
- 2002-05-27 JP JP2002152849A patent/JP3548167B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003052013A (ja) | 2003-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3548136B2 (ja) | 画像処理装置 | |
| US7706445B2 (en) | Image processing employing picture type conversion | |
| JP3825719B2 (ja) | 画像再生方法、画像再生装置、および画像記録装置 | |
| US6792045B2 (en) | Image signal transcoder capable of bit stream transformation suppressing deterioration of picture quality | |
| US7245821B2 (en) | Image processing using shared frame memory | |
| JP3403168B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3813444B2 (ja) | ビデオデコーダ | |
| KR101210189B1 (ko) | 디지털 비디오 부호화를 위한 가변 정확도 화상간 타이밍 지정 방법 및 장치 | |
| Wee et al. | Compressed-domain reverse play of MPEG video streams | |
| US20070058725A1 (en) | Coding/decoding apparatus, coding/decoding method, coding/decoding integrated circuit and coding/decoding program | |
| US20030099293A1 (en) | Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods | |
| KR100860661B1 (ko) | 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기 | |
| JP3515565B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3548167B2 (ja) | 画像処理装置 | |
| JP3403169B2 (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| JP3374128B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3403167B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3403166B2 (ja) | 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機 | |
| WO1998042139A1 (en) | Video decoder with reduced size display buffer | |
| JP3433179B2 (ja) | 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 | |
| JP3663559B2 (ja) | リアルタイム逆方向再生用動画像符号化方式 | |
| JP2006187037A (ja) | 画像再生方法 | |
| JPH08307814A (ja) | 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体 | |
| JPH09233426A (ja) | 符号化データ変換方法、符号化データ記録方法、符号化データ変換装置及び符号化データ記録装置 | |
| JP2006217635A (ja) | 画像再生装置、および画像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040331 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040415 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |