JP4769268B2 - Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法 - Google Patents

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）規格に従って符号化されたビットストリームを復号化するＭＰＥＧビデオ復号器及びＭＰＥＧビデオ復号方法に関する。

画像データの高能率符号化（bit rate reduction）の国際標準規格としてＭＰＥＧが用いられている。ＭＰＥＧ規格に準拠した動画像符号化技術及び動画像復号化技術は、最近のマルチメディア環境に欠かせない技術である。そして、ＭＰＥＧ規格を採用した多くの動画像符号化装置及び動画像復号化装置が開発されている。

ＭＰＥＧ規格による高能率符号化には、符号化後のデータ発生量（データレート）がほぼ一定な固定速度符号化（constant bit rate：以下、ＣＢＲ符号化という）と、符号化後のデータレートが一定でない可変速度符号化（variable bitrate：以下、ＶＢＲ符号化という）とがある。

ＣＢＲ符号化は、伝送路がＳＴＭ（Synchronus Transfer Mode）の場合に使用されている。また、ＶＢＲ符号化は、伝送路がＡＴＭ（Asynchronus Transfer Mode）の場合や、ＤＶＤ（Digtal Video Disc)のような蓄積系メディアの場合に使用されている。

以下、ＭＰＥＧで使用されるピクチャタイプ、ビットストリーム、ＭＰＥＧビデオ符号器及び従来のＭＰＥＧビデオ復号器について説明する。

（１）ピクチャタイプ
ＭＰＥＧでは、高能率符号化のために、イントラピクチャ（intre-coded picture：以下、Ｉピクチャという）、予測符号化ピクチャ（Predictive-coded picture：以下、Ｐピクチャという）及び双方向予測符号化ピクチャ（Bidirectionally predictive-coded picture：以下、Ｂピクチャという）という３つのタイプのピクチャを使用する。

Ｉピクチャは、他のピクチャの情報を使用せず、それ自身のピクチャの情報のみで符号化される。Ｐピクチャは、過去のＩピクチャ又はＰピクチャを参照ピクチャとして符号化される。Ｂピクチャは、過去と将来のＩピクチャ又はＰピクチャを参照ピクチャとして符号化される。

Ｉピクチャは圧縮率は低いが、他のピクチャとは独立して符号化が可能であるため、ランダムアクセス時のアクセス点として利用される。Ｉピクチャの復号化には、他のピクチャの情報は不要である。ＰピクチャはＩピクチャよりも圧縮率は高いが、その復号化には過去のＩピクチャの情報が必要である。また、Ｂピクチャは圧縮率は最も高いが、その復号化には過去と将来のＩピクチャ又はＰピクチャの情報が必要である。

（２）ビットストリーム
図１４はＭＰＥＧのビットストリームの構造を示す模式図である。ビットストリームは、シーケンスヘッダ（sequence header）３１、ＧＯＰヘッダ（groupof pictures header）３２、ピクチャヘッダ（picture header）３３、ピクチャデータ（picture data）３４及びシーケンス終了コード（sequence end code）３５により構成される。ビットストリームにはこれらの他にシーケンス拡張（sequence extension）及び拡張とユーザーデータ（extension and user data）が含まれるが、ここでは、それらの図示及び説明は省略する。

シーケンスヘッダ３１は、ビットストリームの最初に必ず存在する。シーケンスヘッダ３１内には、画像の水平方向及び垂直方向の画素数（horizontal sizevalue, vertical size value）、画素アスペクト比を示すパラメータ（aspect ratio information）などが含まれる。

ＧＯＰヘッダ３２は多数のピクチャをＧＯＰ毎に管理する場合にビットストリームに付加される。ＧＯＰは複数のタイプのピクチャからなり、ＧＯＰの最初のピクチャは必ずＩピクチャである。ＧＯＰはＭＰＥＧ１では必須であるが、ＭＰＥＧ２ではオプションとなっている。

ピクチャヘッダ３３は、１ピクチャ分の符号化されたデータの開始を表わす。ピクチャヘッダ３３には、ピクチャの順番を示すパラメータ（temporal reference）や、ピクチャタイプなどが含まれる。

ピクチャデータ３４は、１ピクチャ分の符号化されたデータである。ピクチャーデータ３４の後には、ＧＯＰヘッダー３２、次のピクチャヘッダ３３又はシーケンス終了コード３５が続く。シーケンス終了コード３５は、ビットストリームの終了を示す。

（３）ＭＰＥＧビデオ符号器の構成
図１５はＭＰＥＧビデオ符号器を示すブロック図である。

ＭＰＥＧビデオ符号器は、ピクチャ並べ換え部４１、動き推定部４２、加算器４３、離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴという）部４４、量子化部４５、可変長符号化部４６、多重化部４７、バッファ４８、逆量子化部４９、逆離散コサイン変換（以下、ＩＤＣＴという）部５０、加算器５１、ピクチャ蓄積部５２及び動き予測部５３により構成されている。

ＭＰＥＧでは、過去と将来のピクチャを参照して復号化するＢピクチャが存在するため、将来のピクチャを先に処理することが必要になる。ピクチャ並び換え部４１は、処理する順番にピクチャを並べ換える。

動き推定部４２は、ピクチャ並べ換え部４１からピクチャを入力し、復号の際に必要な種々のパラメータ、例えばピクチャタイプ、表示タイムスタンプ（presentation time stamp：ＰＴＳ）、量子化ステップサイズ、動きベクトル及び符号化モード等を出力する。これらのパラメータは、動き予測部５３に入力されるとともに、多重化部４７においてビットストリームに付加される。

加算器４３は、動き推定部４２から出力されたピクチャと動き予測部５３から出力される参照ピクチャとの差分を演算する。Ｉピクチャを処理する際には動き予測部５３から参照ピクチャが出力されないので、動き推定部４２から出力されたピクチャは加算器４３を通ってＤＣＴ部４４に入力される。また、Ｐピクチャ又はＢピクチャを処理する場合、加算部４３は動き推定部４２から出力されたピクチャと動き予測部５３から出力された参照ピクチャとの差分を演算して出力する。

ＤＣＴ部４４では入力されたデータを離散コサイン変換して各周波数成分に分割し、高周波成分を除去することにより、データ量を削減する。量子化部４５は非可逆過程である量子化によって重要度の小さい情報を除去する。可変長符号化部４６は、量子化されたデータをジグザグスキャンして可変長符号化し、データ量を更に縮小する。

一方、逆量子化部４９及びＩＤＣＴ部５０は、ＤＣＴ部４４及び量子化部４５で離散コサイン変換及び量子化されたデータを逆離散コサイン変換及び逆量子化する。加算器５１は、ＩＤＣＴ部５０から出力されたデータと動き予測部５３から出力された参照ピクチャと加算してピクチャを復元して、ピクチャ蓄積部５２に格納する。動き予測部５３は、動き推定部４２から出力された動きベクトルと加算器５１の出力及びピクチャ蓄積部５２に蓄積されたピクチャを基に動き予測を行う。また、動き予測部５３は、加算器５１の出力又はピクチャ蓄積部５２に蓄積されたピクチャを参照ピクチャとし、該参照ピクチャを加算器４３に出力する。

多重化部４７では、可変長符号化部４６から出力されたデータと、動き推定部４２から出力された符号化モード及び動きベクトル等のパラメータとを多重化してビットストリームを作成する。バッファ４８では、作成されたビットストリームを一時的に格納する。

（４）ＭＰＥＧビデオ復号器の構成（その１）
図１６は従来のＭＰＥＧビデオ復号器を示すブロック図である。

このＭＰＥＧビデオ復号器は、ビットストリーム入力端子６０、ビットストリームバッファ６１、画像復号化部６２、復号フレームバッファ６３、復号スイッチ６４、ピクチャデータ出力部６５により構成されている。また、ピクチャデータ出力部６５は、表示制御部６５ａ、表示スイッチ６５ｂ及び表示バッファ６５ｃにより構成されている。

ビットストリームバッファ６１は、入力端子６０から入力したビットストリームを格納し、画像復号化部６２に順次出力する。復号スイッチ６４は、表示制御部６５ａから垂直同期信号Ｖ-Sync７１が入力されると復号開始命令７２を出力する。画像復号化部６２は、復号スイッチ６４から復号開始命令７２を入力すると、ビットストリームバッファ６１から１ピクチャ分のビットストリームを入力し、可変復号化処理、逆量子化処置、逆離散コサイン変換処理及び動き予測を行う。このようにして画像復号化部６２で復号化されたピクチャは復号フレームバッファ６３に順次格納される。なお、画像復号化部６２は、ビットストリームの復号に際し、必要に応じて先に復号フレームバッファ６３に格納されたピクチャを参照する。従って、復号フレームバッファ６３は、復号化されたピクチャを、少なくとも他のピクチャの復号化に参照されなくなるまで保持することが必要である。また、画像復号化部６２は、ビットストリームを復号化する際に、ビットストリームから表示タイムスタンプ（ＰＴＳ）７６を抽出してピクチャデータ出力部６５に出力する。

表示制御部６５ａは、復号化されたピクチャの表示タイムスタンプＰＴＳと自己の基準時計（system time clock：ＳＴＣ）とを比較し、両者が一致すると表示スイッチ６５ｂに転送命令７３を出力する。表示スイッチ６５ｂは、転送命令７３を入力すると復号フレームバッファ６３から１ピクチャ分のデータ（ピクチャデータ）を表示バッファ６５ｃに転送する。表示バッファ６５ｃに格納されたピクチャデータは、表示制御部６５ａから出力される垂直同期信号Ｖ-Sync７１に同期して表示装置６６に伝達される。

このようにして、従来のＭＰＥＧビデオ復号器では、垂直同期信号Ｖ-Sync７１に同期したタイミングでビットストリームバッファ６１から１ピクチャ分づつビットストリームを読み出して復号処理するとともに、垂直同期信号Ｖ-Sync７１に同期したタイミングで表示バッファ６５ｃから表示装置６６にピクチャを伝達する。これにより、垂直同期信号Ｖ-Syncに同期したタイミングで表示装置６６に表示される画像が更新され、表示装置６６に動画像が表示される。

ところで、スムーズな動画像を再生するために、ＭＰＥＧビデオ復号器にはビットストリームをリアルタイムで復号化することが要求される。その要求を満たすためには、ＭＰＥＧビデオ復号器は１フレーム時間（１秒当りのフレーム数の逆数）内に１ピクチャ分のビットストリームの復号化が完了し、１フレーム時間毎に１ピクチャ分のデータを表示装置に出力する能力を有することが必要となる。従来のＭＰＥＧビデオ復号器では、１ピクチャ分のビットストリームの復号化が１フレーム時間内に完了するものとしている。そして、上述したように、ＭＰＥＧビデオ復号器が１ピクチャ分のビットストリームの復号化を開始するタイミングと、ＭＰＥＧビデオ復号器から表示装置へ１ピクチャ分のデータを出力するタイミングとを、いずれも垂直同期信号Ｖ-Syncに同期させている。

（他の従来技術）
ＭＰＥＧでは、映画のようにフレームレートが２４フレーム／秒の映像を、フレームレートが３０フレーム／秒のテレビ用映像に変換（テレシネ変換）する場合、３−２プルダウンといわれる変換プロセスを行う。３−２プルダウンでは、リピートファーストフィールドというコマンドが使用される。リピートファーストフィールドコマンドは、「最初に表示したフィールドをもう一度表示せよ」という命令である。

図１７は、３−２プルダウンによるテレシネ変換を示す模式図である。この図１７において、＊印は同じく画像の繰り返しを表わし、＊'はリピートファーストフィールドによる同じ画像の繰り返しを表わす。

ＮＴＳＣ（National Television System Committee）方式のテレビ映像は、１フレームが２つのフィールド（トップフィールド及びボトムフィールド）に分割される。従って、１秒間分のテレビ映像は、６０フィールド分の画像により構成される。

図１７に示すように、映画の映像をテレビ用映像に変換する場合は、１つの画像を各フレームのトップフィールド（Ｔ）及びボトムフィールド（Ｂ）割当てることにより、２４フレーム分の画像データが生成される。しかし、そのままでは６フレーム（１２フィールド）分の画像データが不足することになる。そこで、テレシネ変換では、２４フレームのうちの１２フレームにリピートファーストフィールドコマンドを付加して、１２フィールド分の画像データを生成する。すなわち、例えば奇数番目のフレームにリピートファーストフィールドコマンドを付加することにより、奇数番目のフレームの画像が３回（３フィールド分）表示されることになる。図１７において、矢印（↓）はリピートファーストフィールドコマンドにより繰り返し表示される画像を示す。このようにして、３−２プルダウンでは２４フレーム／秒の映像を３０フレーム／秒の映像に変換することができる。

（５）ＭＰＥＧビデオ復号器の構成（その２）
図１８は３−２プルダウンに対応したＭＰＥＧビデオ復号器を示すブロック図である。このＭＰＥＧビデオ復号器は、ビットストリーム入力端子１６０、ビットストリームバッファ１６１、画像復号化部１６２、復号フレームバッファ１６３、復号制御部１６４及び表示制御部１６５により構成されている。

ビットストリームバッファ１６１は、入力端子１６０から入力したビットストリームを格納し、画像復号化部１６２に１ピクチャ分づつ順次出力する。画像復号化部１６２は、ビットストリームバッファ１６１から送られてくるビットストリームを復号する。画像復号化部１６２で復号されたピクチャは、復号フレームバッファ１６３に転送される。

復号フレームバッファ１６３は例えば３ピクチャ分の記憶領域を有しており、記憶領域が１ピクチャ毎に区切られている。１ピクチャ分毎に区画された記憶領域をバンクという。各バンクはそれぞれ固有のアドレス（バンクアドレス）を有する。

復号制御部１６４は、垂直同期信号（Ｖ-Sync）を発生するＶ-Sync発生器（図示せず）を内蔵しており、そのＶ-Sync発生器から出力されるＶ-Syncに同期して復号開始命令１７２を発行する。画像復号化部１６２は、復号開始命令１７２によりピクチャの復号を開始する。この復号開始命令１７２の発行周期は、基本的には２フィールド時間に１回、すなわち１フレーム時間に１回である。これは、表示の速度が１フレームに１枚のピクチャを表示するため、復号の速度を表示の速度と一致させるためである。

また、復号制御部１６４は、電源投入後（コールドスタート後）、ビットストリームバッファ１６１に一定量のビットストリームが格納されると、初期復号開始命令１７１を発行する。この初期復号開始命令１７１が発行されるタイミングは、Ｖ-Syncに関係していない。

表示制御部１６５は、リオーダレジスタ１６５ａ、カレントレジスタ１６５ｂ、フィールドディレイレジスタ１６５ｃ及びディスプレイレジスタ１６５ｃの４つのレジスタを有している。そして、表示制御部１６５には、復号制御部１６４から復号開始命令１７２、Ｖ-Sync１７５、バンクアドレス１７６が入力され、画像復号化部１６２からビットストリームの復号により得られたシーケンスパラメータ及びピクチャパラメータなどの各種パラメータ１７３が入力される。なお、バンクアドレス１７６は、復号されたピクチャが復号フレームバッファ１６３のどのバンクに格納されたのかを示すデータである。表示制御部１６５は、後述する条件が揃うと復号制御部１６４にフィールドウェイト命令１７４を出力する。フィールドウェイト命令１７４は、復号開始命令１７２の発行を１フィールド期間待たせる命令である。

また、表示制御部１６５は、後述する条件が満たされると表示開始命令１７８を発行する。表示制御部１６５から発行される表示開始命令１７８により、復号フレームバッファ１６３から表示装置に所定のピクチャが転送され、表示装置に画像が表示される。

以下、表示制御部１６５の４つのレジスタ１６５ａ〜１６５ｄについて、図１９の模式図を参照して説明する。

（１）リオーダレジスタ１６５ａ
リオーダレジスタ１６５ａは、Ｉピクチャ及びＰピクチャのパラメータ及びバンクアドレスを格納する。Ｉピクチャ及びＰピクチャは復号が完了してもすぐには表示せず、Ｂピクチャとの並び替え（リオーダリング）を行う必要がある。このため、Ｉピクチャ及びＰピクチャのパラメータ及びバンクアドレスをリオーダレジスタ１６５ａに一旦退避させる。

（２）カレントレジスタ１６５ｂ
カレントレジスタ１６５ｂは、これから表示するピクチャのパラメータ及びバンクアドレスを格納する。なお、Ｂピクチャは復号が完了した後、すぐに表示するので、Ｂピクチャのパラメータ及びバンクアドレスはリオーダレジスタ１６５ａには格納せず、直接カレントレジスタ１６５ｂに格納する。

表示制御部１６５は、カレントレジスタ１６５ｂに格納されたパラメータを分析し、リピートファーストフィールドフラグが「１」であれば、復号制御部１６４にフィールドウェイト命令１７４を発行する。

（３）フィールドディレイレジスタ１６５ｃ
フィールドディレイレジスタ１６５ｃは、復号時間を１フレーム時間にするために、カレントレジスタ１６５ｃから転送されてくるバンクアドレスを１フィールド時間分だけ遅延させて、次のディスプレイレジスタ１６５ｄに転送する。仮に、フィールドディレイレジスタ１６５ｃがないとすると、表示タイミングのフィールドスロットが復号タイミングのフィールドスロットの直後のフィールドスロットになって、正しいタイミングで表示することができなくなる。フィールドディレイレジスタ１６５ｃに格納するデータはバンクアドレス１７６のみである。

（４）ディスプレイレジスタ１６５ｄ
ディスプレイレジスタ１６５ｄは、今現在表示しているピクチャのバンクアドレスが格納されている。言い換えれば、表示制御部１６５は、ディスプレイレジスタ１６５ｄに格納されたバンクアドレスの指し示すピクチャを表示するように表示開始命令を発行する。ディスプレイレジスタ１６５ｄに格納するデータはバンクアドレス１７６のみである。

これらの４つのレジスタ１６５ａ〜１６５ｄは、図１９に示すように、シフトレジスタ構造になっている。リオーダレジスタ１６５ａとカレントレジスタ１６５ｂのシフトパルスは復号開始命令１７２であり、フィールドディレイレジスタ１６５ｃとディスプレイレジスタ１６５ｄのシフトパルスはＶ-Sync１７５である。バンクアドレス１７６はリオーダレジスタ１６５ａからディスプレイレジスタ１６５ｄまで全部シフトするのに対し、パラメータ１７３はカレントレジスタ１６５ｂまでしかシフトしない。

次に、上述のＭＰＥＧビデオ復号器の動作について、図２０，図２１のタイムチャートを参照して説明する。但し、この例では、ＩピクチャＩ2，ＢピクチャＢ0，ＢピクチャＢ1，ＰピクチャＰ5，ＢピクチャＢ3，ＢピクチャＢ4，…の順番でビットストリームが入力され、ピクチャＢ0，ピクチャＢ1，ピクチャＩ2，ピクチャＢ3，ピクチャＢ4，ピクチャＰ5，…の順で表示するものとする。また、ＢピクチャＢ0，Ｂ4 及びＩピクチャＩ2にはリピートファーストフィールドコマンドが付加されているものとする。

伝送路又は蓄積メディアから送られてきたＭＰＥＧビットストリームは、まず、ビットストリームバッファ１６１に格納される。ビットストリームバッファ１６１に一定量のデータ（例えば、１ピクチャ分のデータ）が蓄積されると、復号制御部１６４は初期復号開始命令１７１を発行する。画像復号化部１６２は、初期復号開始命令１７１を受信すると最初のピクチャＩ2のピクチャヘッダ（Ｉ2）のみを復号化し、ピクチャヘッダ（Ｉ2）の復号が完了すると復号処理を停止する（時刻ｔ０）。

その後、復号制御部１６４は、Ｖ-Syncに同期したタイミングで復号開始命令１７２を発行する（時刻ｔ１）。画像復号化部１６２は、復号開始命令１７２を受信するとピクチャＩ2の「係数」の復号を開始し、ピクチャＩ2の係数復号が完了すると、引き続いて次のピクチャＢ0のピクチャヘッダ（Ｂ0）を復号する。ピクチャＢ0のピクチャヘッダ（Ｂ0）の復号が完了すると復号処理を停止する（時刻ｔ２）。

一方、表示制御部１６５は、時刻ｔ１において、画像復号化部１６４からピクチャＩ2のパラメータを受け取り、リオーダレジスタ１６５ａに格納する。このとき、リオーダレジスタ１６５ａは復号開始命令１７２をラッチパルスとして、復号開始命令１７２に同期したタイミングでピクチャＩ2のパラメータを格納する。

時刻ｔ３になると、復号制御部１６４はＶ-Sync１７５に同期して再び復号開始命令１７２を発行し、これにより画像復号化部１６２でピクチャＢ0の１ピクチャ分のデータのうちピクチャヘッダを除いた部分の係数（以下、単に「係数」という）の復号が開始される。これと同時に、ピクチャＢ0のパラメータ１７３がカレントレジスタ１６５ｂに格納される。

時刻ｔ３でカレントレジスタ１６５ｂにピクチャＢ0のパラメータが格納されると、表示制御部１６５はカレントレジスタ１６５ｂに格納されたパラメータを分析する。その結果、ピクチャＢ0のリピートファーストフィールドフラグが「１」であるので、表示制御部１６５は復号制御部１６４に対してフィールドウェイト命令１７４を発行する（時刻ｔ３．５）。

復号制御部１６４は、フィールドウェイト命令１７４を受理すると、本来時刻ｔ５で発行するはずのピクチャＢ1に対する復号開始命令１７２を１フィールド分の時間だけ待って、時刻ｔ６で発行する。

時刻ｔ６でピクチャＢ1に対する復号開始命令１７２が復号制御部１６４で発行されると、画像復号化部１６２でピクチャＢ1の係数復号が開始されるとともに、表示制御部１６５のカレントレジスタ１６５ｂにピクチャＢ1のパラメータが格納される。表示制御部１６５は、カレントレジスタ１６５ｂに格納されたパラメータを分析し、その結果ピクチャＢ1はリピートファーストフィールドフラグが「０」であるから、フィールドウェイト命令１７４は発行しない。

フィールドウェイト命令が発行されないので、復号制御部１６４では次のピクチャＰ5ピクチャに対する復号開始命令１７２は１フィールド時間待つことなく、時刻ｔ７で発行される。

時刻ｔ７でピクチャＰ5に対する復号開始命令１７２が発行されると、それまでリオーダレジスタ１６５ａにあったピクチャＩ2のパラメータがカレントレジスタ１６５ｂにシフトされ、ピクチャＰ5のパラメータがリオーダレジスタ１６５ａに格納される。

表示制御部１６５によるカレントレジスタ１６５ｂの分析の結果、ピクチャＩ2はリピートファーストフィールドフラグが「１」であるから、フィールドウェイト命令１７４を発行する。

以下、この繰り返し、つまり、カレントレジスタ１６５ｂを調べて次に表示するピクチャのリピートファーストフィールドフラグが「１」であればフィールドウェイト命令１７４を発行し、復号開始命令１７２を１フィールド時間待って発行するというシーケンスを繰り返すことで、３−２プルダウンを実現する。すなわち、従来のＭＰＥＧビデオ復号器では、３−２プルダウンを、リピートファーストフィールドコマンドにより１フレーム時間だけ復号を休むという方法により実現している。
特開平１０−０９３９１７号公報 特開平０５−１２２５３８号公報 特開平０８−１２５８８５号公報 特開平０９−００９２５８号公報 特開平０９−０９３５７７号公報

ＣＢＲ符号化のようにデータレートがほぼ一定であれば、１ピクチャ分のビットストリームの復号化に要する時間はほぼ均一になり、１フレーム時間内に１ピクチャ分のビットストリームを復号化することは比較的容易である。しかし、ＡＴＭの端末やＤＶＤプレーヤのようにＶＢＲ符号化ビットストリームを復号化する場合には、データレートが大きく変化するため、１フレーム時間内に１ピクチャ分のビットストリームを復号化できないことが多くなる。１ピクチャ分のビットストリームを１フレーム時間内に復号化できないときは、次の１フレーム分の時間を使用してビットストリームの復号化を完了させる。そして、表示装置に出力するピクチャデータを１フレーム分間引きして、再生時間の調整を行う。このようにしてピクチャデータを間引きして再生時間を調整することを、エラーコンシールメント（err-concealment）という。

ＡＴＭの端末やＤＶＤプレーヤ等のＶＢＲ符号化ビットストリームを復号化する場合は、前述の如く、データレートが一定でないため、１ピクチャ分のビットストリームの復号化に１フレーム時間以上かかることが多く、エラーコンシールメントが頻繁に発生し、スムーズな動画再生が困難になる。

また、前述した従来のＭＰＥＧビデオ復号器では、３−２プルダウンと、１／２倍速や１／４倍速といったスロー再生とを同時に実現しようとすると、不都合が生じる。これは、前述したように、従来のＭＰＥＧビデオ復号器では、３−２プルダウンを、「１フレーム時間だけ復号を休む」という方法で実現しているが、スロー再生も「１フレーム時間だけ復号を休む」という方法で実現しているためである。図２２，図２３のタイミングチャートを参照して、上記の不都合をより詳細に説明する。

時刻ｔ２．２で１／２倍速表示命令（以下、１／２スロー再生命令）が発行されたとする。従来のＭＰＥＧビデオ復号器では、１／２スロー再生命令は復号制御部１６４に入力される。復号制御部１６４は、１／２スロー再生命令を復号制御部１６４自身が発行する復号開始命令１７２のタイミングでサンプリングして、復号制御を行う（時刻ｔ３）。すなわち、復号開始命令１７２を発行したときに１／２スロー再生命令が「１」ならば、その次のピクチャの復号開始を１フレーム時間だけ遅らせ、今復号開始したピクチャを２フレーム時間表示させるという制御を行う。

通常再生では、１ピクチャを１フレーム時間だけ表示するから、１ピクチャを２フレーム時間表示するということは、映像を１／２の速度で表示するということになる。

この例では、時刻ｔ３で１／２スロー再生命令をサンプリングした結果は「１」である。従って、ピクチャＢ0の復号が終わった後、次のピクチャＢ1の復号を１フレーム時間遅らせ、ｔ６．５から開始する。

ところで、ピクチャＢ0はリピートファーストフィールドフラグが「１」であるから、フィールドウェイト命令１７４が表示制御部１６５から発行される（時刻３．５）。従って、復号制御部１６４は１／２スロー再生命令による「１フレーム時間（２フィールド時間）待ち」と、フィールドウェイト命令１７４による「１フィールド時間の待ち」を両方実行することになる。このとき、前者よりも後者のほうが待ち時間が短いために、後者は無視されてしまう（時刻ｔ５〜ｔ６）。つまり、従来のＭＰＥＧビデオ復号器では、本来は「３−２プルダウン表示でかつ１／２フロー再生」をしなければならないにもかかわらず、単なる「１／２スロー再生」となってしまう。

図２２，図２３に示すように、１／２スロー再生命令が時刻ｔ２．２からｔ６．７まで「１」であったとすると、本来、ピクチャＢ0を６フレーム期間表示しなければならないにも拘わらず、２フレーム期間しか表示されないことになる。

本発明の目的は、３−２プルダウンによる映像表示にスロー再生を併用することができるＭＰＥＧビデオ復号器及びＭＰＥＧビデオ復号方法を提供することである。

上記した目的は、図５に例示するように、復号開始命令１２２によりＭＰＥＧビットストリームの復号化を開始する画像復号化部１１２と、前記画像復号化部１１２で復号化されたピクチャデータを格納する復号フレームバッファ１１３と、前記画像復号化部１１２で復号化されたピクチャデータに付随するリピートファーストフィールドフラグ及びピクチャ毎に与えられるスロー再生フラグに応じて前記復号フレームバッファ１１３から表示装置への前記ピクチャデータの転送を制御する表示制御部１１５と、前記表示制御部１１５の状態が予め設定された状態のときに前記復号開始命令１２２を出力する復号制御部１１４とを有し、前記表示制御部１１５は、予め前記ピクチャデータのパラメータ及び前記スロー再生フラグと前記表示フィールド数との関係を示すテーブルを記憶しており、該テーブルを参照して所定のピクチャ毎にピクチャの表示フィールド数を決定し、前記表示フィールド数に相当する時間だけ前記ピクチャを前記表示装置に表示させることを特徴とするＭＰＥＧビデオ復号器により達成される。

本発明においては、表示制御部１１５によりピクチャデータのパラメータを解析して、その結果に応じて復号フレームバッファ１１３から表示装置へのピクチャデータの転送を制御する。例えば、ある１つのピクチャに対し、表示制御部１１５はパラメータからピクチャ毎の表示フィールド数を決定し、その表示フィールド数に相当する時間だけ表示装置にピクチャを表示させ、その間に次のピクチャのパラメータを解析して表示フィールド数を決定する。そして、１つのピクチャの表示時間が過ぎると、次のピクチャの表示を開始させる。

この構成により、パラメータと表示フィールド数との関係を設定しておけば、３−２プルダウン再生や１／２スロー再生などの特殊再生に容易に対応することができる。例えば、３−２プルダウン再生のみのときの表示フィールド数、１／２スロー再生のときのみの表示フィールド数及び３−２プルダウン再生でかつ１／２スルー再生のときの表示フィールド数を、図９に例示するようなテーブルにして表示制御部１１５に記憶させておく。表示フィールド数を決定する際に、このテーブルを参照することにより、適切な表示フィールド数を容易に決定することができる。

表示制御部１１５には、リオーダレジスタ１１５ａ、カレントレジスタ１１５ｂ、フィールドディレイレジスタ１１５ｃ及びディスプレイレジスタ１１５ｄの４つのシフトレジスタが設けられており、これらのレジスタ１１５ａ〜１１５ｄにより復号フレームバッファ１１３内のピクチャデータを管理する。この場合、各レジスタ１１５ａ〜１１５ｄの状態が容易にわかるように、ステイタスレジスタ１１６を設けることが好ましい。復号制御部１１４は、ステイタスレジスタ１１６の状態を参照して、リオーダレジスタ１１５ａ又はカレントレジスタ１１５ｂにデータが格納されていないことがわかれば、復号開始命令１１２を出力する。また、表示フィールド数算出部１１５ｆは、ステイタスレジスタ１１６を参照してディスプレイレジスタ１１５ｄにデータが格納されたことがわかれば、ディスプレイレジスタ１１５ｄに格納されたデータに対応するピクチャの表示フィールド数を決定する。

復号制御部１１４及び表示制御部１１５がステイタスレジスタ１１６を参照するタイミングは、例えば垂直同期信号（Ｖ-Sync）に同期したタイミングとすることができる。また、本発明方法においては、復号フレームバッファに一定量のピクチャデータが蓄積されるまでピクチャの復号化を連続的に行うので、エラーコンシールメントの発生が抑制され、スムーズな動画再生が可能になる。

本願発明によれば、表示制御部１１５においてピクチャデータの「パラメータを解析し、その結果に応じて復号フレームバッファ１１３から表示装置へのピクチャデータの転送を制御するので、３−２プルダウン再生やスロー再生、３−２プルダウン再生かつフロー再生などの特殊再生を実現することができる。

以下、本発明の実施の形態について、添付の図面を参照して説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態のＭＰＥＧビデオ復号器を示すブロック図である。本実施の形態のＭＰＥＧビデオ復号器は、ビットストリーム入力端子１０、ビットストリームバッファ１１、画像復号化部１２、復号フレームバッファ１３、復号開始命令発生部１４及びピクチャデータ出力部１５により構成されている。

ビットストリーム入力端子１０には、ＡＴＭ伝送路又はＤＶＤのような蓄積メディアからＭＰＥＧビットストリームが入力される。ビットストリームバッファ１１は、ビットストリームを一時的に記憶するメモリである。

画像復号化部１２は、ビットストリームバッファ１１からビットストリームを入力し、可変長復号化処理、逆量子化処理、逆離散コサイン変換処理及び動き予測を行って復号化を行う。この画像復号化部１２は、復号開始命令発生部１４から復号開始命令２２を入力すると、１ピクチャ分のビットストリームの復号化を開始する。そして、１ピクチャ分の復号化が完了すると、復号開始命令発生部１４に復号完了通知２３を出力する。なお、画像復号化部１２は、ビットストリームを復号化する際にビットストリームから表示タイムスタンプ（ＰＴＳ）２６を抽出してピクチャデータ出力部１５に出力する。

復号フレームバッファ１３は、復号された複数のピクチャを記憶する。前述したように、ピクチャにはＩピクチャ、Ｐピクチャ及びＢピクチャの３種類がある。Ｉピクチャを復号化する場合、画像復号化部１２は他のピクチャを参照することなく復号化を行う。Ｐピクチャを復号化する場合には、画像復号化部１２は復号フレームバッファ１３に格納されている過去のピクチャ（Ｉピクチャ又はＰピクチャ）を参照する。Ｂピクチャを復号化する場合には、画像復号化部１２は復号フレームバッファ１３に格納されている過去と将来のピクチャ（Ｉピクチャ及びＰピクチャ）を参照する。従って、Ｂピクチャを使用しない場合、すなわちＩピクチャ及びＰピクチャのみの場合は表示する順番でピクチャの復号化が行われる。一方、Ｂピクチャを使用する場合は、復号化する順番と表示する順番とが異なるので、復号フレームバッファ１３内で表示順にピクチャを並べ替える。

復号化されたピクチャは、他のピクチャの復号化に参照されることがなくなるまで復号フレームバッファ１３内に保持しておくことが必要である。従って、復号フレームバッファ１３の容量はある程度大きいことが必要であるが、ここでは説明を簡単にするために、復号フレームバッファ１３は３ピクチャ分の記憶容量を有し、Ｐピクチャ又はＢピクチャの復号化の際には先に復号化された１枚又は２枚のピクチャが参照されるとする。復号フレームバッファ１３は、所定数（この例では３枚）分のピクチャを格納すると、バッファフル通知２４を出力する。

復号開始命令発生部１４は復号制御部１４ａ及び復号スイッチ１４ｂからなる。復号制御部１４ａは、外部（例えばホストコンピュータ）から伝達されるビットストリーム転送通知２５と、画像復号化部１２から出力される復号完了通知２３と、復号フレームバッファ１３から出力されるバッファフル通知２４とに基づいて復号開始許可２１を出力する。すなわち、復号制御部１４ａは、ホストコンピュータからビットストリーム転送通知２５が入力され、画像復号化部１２から復号完了通知２３が出力され、且つ、復号フレームバッファ１３からバッファフル通知２４が出力されていないときに、復号開始許可２１を出力する。復号スイッチ１４ｂは、復号制御部１４ａから復号開始許可２１が出力されると、復号開始命令２２を画像復号化部１２に出力する。

本実施の形態においては、ホストコンピュータは１ピクチャ分以上のビットストリームをビットストリームバッファ１１に転送したときにビットストリーム転送通知を出力するものとする。従って、画像復号化部１２は、ビットストリームバッファ１１に１ピクチャ分以上のビットストリームが格納された後に最初のピクチャの復号化を開始する。

ピクチャデータ出力部１５は、表示制御部１５ａ、表示スイッチ１５ｂ及び表示バッファ１５ｃにより構成されている。表示制御部１５ａは、復号化されたピクチャの表示タイムスタンプ（ＰＴＳ）２６と自己の基準時計（ＳＴＣ）が一致すると、表示スイッチ１５ｂに転送命令２９を出力する。表示スイッチ１５ｂは、転送命令２９を入力すると復号フレームバッファ１３から表示バッファ１５ｃにピクチャデータを転送する。表示バッファ１５ｃに格納されたピクチャデータは、表示制御部１５ａから出力される垂直同期信号Ｖ-Sync２８に同期して表示装置１６に伝達される。これにより、表示装置１６に画像が表示される。

なお、表示装置１６は、ＮＴＳＣ（National Television System Committee）方式のものでもよく、ＰＡＬ（Phase Alternation Line）方式のものでもよい。また、画像復号化部１２、復号制御部１４ａ及び表示制御部１５ａは、いずれもハードウェア（半導体装置）により構成されたものであってもよく、ソフトウエアにより実現されたものであってもよい。

図２は本実施の形態のＭＰＥＧビデオ復号器の動作を示すタイミングチャートである。

時刻ｔ0において、入力端子１０からビットストリームバッファ１１にビットストリームが入力開始されたとする。時刻ｔ1において、ビットストリームバッファ１１に１ピクチャ分のビットストリームの格納が完了すると、ホストコンピュータから復号制御部１４ａにビットストリーム転送通知２５が入力される。これにより、復号制御部１４ａは復号開始許可２１を出力する。復号スイッチ１４ｂは、復号制御部１４ａから復号開始許可２１を入力すると、画像復号化部１２に復号開始命令２２を出力する。これにより、画像復号化部１２は１番目のピクチャデータ（ピクチャ１）の復号化を開始し、復号フレームバッファ１３に復号化したピクチャデータを格納する。

時刻ｔ2において、ピクチャ１の復号化が完了すると、画像復号化部１２は復号完了通知２３を出力する。その後、時刻ｔ2よりも若干後に復号フレームバッファ１３へのピクチャ１の格納が完了する。このとき、復号フレームバッファ１３の３枚分の格納領域のうち１枚分の格納領域しか使われていないので、復号フレームバッファ１３からバッファフル通知２４は出力されない。従って、復号制御部１４ａは、画像復号化部１２から復号完了通知２３を入力すると、復号開始許可２１を復号スイッチ１４ｂに出力する。そして、復号スイッチ１４ｂは画像復号化部１２に復号開始命令２２を出力する。これにより、画像復号化部１２は２番目のピクチャデータ（ピクチャ２）の復号化を開始する。

画像復号化部１２は、ピクチャ２の復号化が完了すると復号完了通知２３を出力する。これにより、復号制御部１４ａは復号スイッチ１４ｂに復号開始許可２１を出力し、復号スイッチ１４ｂは画像復号化部１２に復号開始命令２２を出力する。そして、画像復号化部１２は３番目のピクチャデータ（ピクチャ３）の復号化を開始する。

一方、表示制御部１５ａは表示スイッチ１５ｂに転送命令２９を出力して復号フレームバッファ１３から表示バッファ１５ｃに１番目のピクチャデータ（ピクチャ１）を転送する。そして、垂直同期信号Ｖ-Sync２８に同期して表示バッファ１５ｃから表示装置１６にピクチャ１を伝達する。これにより、表示装置１６にピクチャ１による画像が１フレーム期間（２垂直同期期間）表示される。

時刻ｔ3においてピクチャ３の復号化が完了すると、画像復号化部１２から復号制御部１４ａに復号完了通知２２が出力される。これにより、復号制御部１４ａは復号開始許可２１を出力し、復号スイッチ１４ｂは画像復号化部１２に復号開始命令２２を出力する。これにより、画像復号化部１２は４番目のピクチャデータ（ピクチャ４）の復号化を開始する。

一方、復号フレームバッファ１３はピクチャ４の格納を開始する（時刻ｔ4）と、バッファフル通知２４を復号制御部１４ａに出力する。

時刻ｔ5において、ピクチャ４の復号化が完了すると、画像復号化部１２は復号完了通知２３を復号制御部１４ａに出力する。しかし、復号制御部１４ａは、復号フレームバッファ１３からバッファフル通知２４が出力されているので、復号開始許可２１を出力しない。従って、画像復号化部１２はピクチャデータの復号化を中断する。

時刻ｔ6において、ピクチャ１による画像の表示が完了すると、表示制御部１５ａは復号フレームバッファ１３に格納されているピクチャデータの表示タイムスタンプ（ＰＴＳ）と自己の基準時計（ＳＣＲ）とを比較する。これにより、ピクチャ２を出力すべき時間であることがわかるので、表示制御部１５ａは表示スイッチ１５ｂに転送命令２９を出力し、復号フレームバッファ１３から表示バッファ１５ｃにピクチャ２を転送する。そして、垂直同期信号Ｖ-Sync２８に同期して表示バッファ１５ｃから表示装置１６にピクチャ２を伝達する。これにより、表示装置１６にはピクチャ２による画像が表示される。

一方、復号フレームバッファ１３は、ピクチャ２が表示バッファ１５ｃに転送されたので格納領域に空きが生じる。これにより、バッファフル通知２４が解除される。従って、復号制御部１４ａから復号スイッチ１４ｂに復号開始許可２１が出力され、復号スイッチ１４ｂから画像復号化部１２に復号開始命令２２が出力される。この復号開始命令２２により、画像復号化部１２は５番目のピクチャデータ（ピクチャ５）の復号化を開始する。

時刻ｔ7 において、復号フレームバッファ１３にピクチャ５の格納が開始されると、復号フレームバッファ１３は復号制御部１４ａにバッファフル通知２４を出力する。これにより、ピクチャ５の復号化が完了して画像復号化部１２から復号制御部１４ａに復号完了通知２３が出力されても、復号制御部１４ａは復号開始許可２１を出力しない。従って、ピクチャ５の復号化が終了した後、画像復号化部１２は復号化処理を中断する。

時刻ｔ8 において、ピクチャ２による画像の表示が完了すると、表示制御部１５ａは表示スイッチ１５ｂをオンにして復号フレームバッファ１３から表示バッファ１５ｃにピクチャ３を転送する。そして、表示制御部１５ａは、垂直同期信号Ｖ-Sync２８に同期して、表示バッファ１５ｃから表示装置１６にピクチャ３を伝達する。これにより、表示装置１６にピクチャ３による画像が表示される。

また、復号フレームバッファ１３から表示バッファ１５ｃにピクチャ３が転送されたので復号フレームバッファ１３に空きが生じ、バッファフル通知２４が解除される。従って、復号制御部１４ａから復号スイッチ１４ｂに復号開始許可２１が出力され、復号スイッチ１４ｂから画像復号化部１２に復号開始命令２２が出力される。これにより、画像復号化部１２は６番目のピクチャデータ（ピクチャ６）の復号化を開始する。

このようにして、本実施の形態のＭＰＥＧビデオ復号器は、画像復号化部１２から出力される復号完了通知２３と、復号フレームバッファ１３から出力されるバッファフル通知２４とに応じたタイミングでピクチャデータの復号化を開始する。

図３は、垂直同期信号Ｖ-Syncに同期してピクチャデータの復号化を開始する従来のＭＰＥＧビデオ復号器と本実施の形態のＭＰＥＧビデオ復号器とのエラーコンシールメントが発生しやすさを比較するための図である。図３において、ハッチングはエラーコンシールメントが発生するフレームを示す。

図３に示すように、１フレーム時間内に復号化できないピクチャ（図３では、Ｐ３，Ｐ６，Ｐ７）が多く含まれるビットストリームの場合、垂直同期信号Ｖ-Syncに同期して復号化を開始する従来のＭＰＥＧビデオ復号器では、１フレーム時間（２垂直同期期間）内に１ピクチャ分のデータの復号化が完了しないときは必ずエラーコンシールメントが発生する。一方、本実施の形態のＭＰＥＧビデオ復号器では、復号フレームバッファ１３の格納領域に空きがあればピクチャを連続的に復号化するので、１フレーム時間内に１ピクチャ分のデータの復号化が完了しない場合であっても、エラーコンシールメントを回避できることがある。図３に示す例では、エラーコンシールメントが発生するのは１回だけである。

上述したように、本実施の形態のＭＰＥＧビデオ復号器は、復号開始のタイミングが垂直同期信号Ｖ-Sync２８に同期していない。すなわち、復号フレームバッファ１３の格納領域に空きがあれば、画像復号化部１２ではビットストリームの復号が連続的に行われる。これにより、１ピクチャ分のデータの復号化に１フレーム時間以上かかる場合であってもエラーコンシールメントの発生が回避され、動画像をスムーズに再生することができる。

図４は、本発明の実施の形態のＭＰＥＧビデオ復号器の表示ポーズ時の動作を示すタイミングチャートである。

時刻ｔ5から時刻ｔ7.5までの間、ホストコンピュータから表示制御部１５ａにポーズ命令２７（図１参照）が出力されたとする。時刻ｔ5では、表示装置にピクチャ１による画像が表示されている。また、復号フレームバッファ１３にはピクチャ２，３が格納されている。画像復号化部１２ではピクチャ４の復号化が終了した直後であり、ピクチャ４は復号フレームバッファ１３に格納されている途中である。

ホストコンピュータから表示制御部１５ａにポーズ命令２７が入力されると、表示制御部１５ａは復号フレームバッファ１３に格納されたピクチャの表示タイムスタンプ（ＰＴＳ）と自己の基準時計（ＳＣＲ）とが一致しても、表示スイッチ１５ｂをオンにしない。このため、時刻ｔ6になっても表示バッファ４５ｃのデータは更新されず、表示制御部１５ａは垂直同期信号Ｖ-Sync２８に同期して再度ピクチャ１を表示装置１６に伝達する。これにより、表示装置１６はピクチャ１による画像を再度表示する。また、復号フレームバッファ１３は、３つのピクチャを格納しているので、バッファフル通知２４を出力したままとなる。従って、復号制御部１４ａから復号開始許可２１が出力されず、画像復号化部１２では次のピクチャの復号化を中断する。

時刻ｔ7.5でポーズ命令２７が解除されると、表示制御部１５ａは表示スイッチ１５ｂに転送命令２９を出力して復号バッファフレーム１３からピクチャ２を表示バッファ１５ｃに転送する。そして、表示制御部１５ａは次のフレーム開始の垂直同期信号Ｖ-Sync２８に同期してピクチャ２を表示装置１６に伝達する。また、復号バッファフレーム１３の格納領域には空きが生じるので、バッファフル通知２４が解除される。これにより、復号制御部１４ａは復号スイッチ１４ｂに復号開始許可２１を出力し、復号スイッチ１４ｂは画像復号化部１２に復号開始命令２２を出力する。この復号開始命令２２により、画像復号化部１２はピクチャ５の復号化を開始する。このようにして、表示ポーズが実現される。

なお、上述した実施の形態においては、ビットストリームバッファ１１に１ピクチャ分以上のビットストリームが転送されたときに復号化が開始される場合について説明したが、復号化を開始する条件はこれに限定するものではない。

また、ホストコンピュータから入力されるビットストリーム転送通知２５に替えて、ビットストリームバッファ１１に一定量のビットストリームが蓄積されたときに、ビットストリーム１１から復号制御部１４ａに信号（ビットストリーム蓄積信号）が出力されるようにしてもよい。この場合、復号制御部１４ａはビットストリームバッファ１１から入力されるビットストリーム蓄積信号と、画像復号化部１２から出力される復号完了通知２３と、復号フレームバッファ１３から出力されるバッファフル通知２４とに応じて復号開始許可２１を出力する。

（第２の実施の形態）
図５は本発明の第２の実施の形態のＭＰＥＧビデオ復号器を示すブロック図である。本実施の形態のＭＰＥＧビデオ復号器は、ビットストリーム入力端子１１０、ビットストリームバッファ１１１、画像復号化部１１２、復号フレームバッファ１１３、復号制御部１１４、表示制御部１１５及びステイタスレジスタ１１６により構成されている。

ビットストリームバッファ１１１は、入力端子１１０から入力したビットストリームを格納し、画像復号化部１１２に１ピクチャ分づつ順次出力する。画像復号化部１１２は、復号制御部１１４で復号開始命令１２２が発行されると、ビットストリームバッファ１１１から送られてくるビットストリームの復号化を開始する。画像復号化部１１２で復号化されたピクチャは、復号フレームバッファ１１３に格納される。

復号フレームバッファ１１３は例えば３ピクチャ分の記憶領域を有している。記憶領域は複数のバンクに分割されており、１つのバンクには１つのピクチャが格納される。また、復号フレームバッファ１１３は、表示制御部１１５で表示開始命令１２７が発行されると、表示開始命令１２７に含まれるバンクアドレスのピクチャを表示装置に転送する。

復号制御部１１４は、内蔵されたＶ-Sync発生器（図示せず）から出力されるＶ-Syncに同期して画像復号化部１１２に復号開始命令１２２を発行する。この復号開始命令１２２の発行周期は、基本的には２フィールド時間に１回、すなわち１フレーム時間に１回である。

また、復号制御部１１４は、電源投入後（コールドスタート後）、ビットストリームバッファ１１１に一定量のビットストリームが格納されると、Ｖ-Syncに関係なく、初期復号開始命令１２１を発行する。

表示制御部１１５は、リオーダレジスタ１１５ａ、カレントレジスタ１１５ｂ、フィールドディレイレジスタ１１５ｃ、ディスプレイレジスタ１１５ｄの４つのレジスタの他に、Ｖ-Sync計数カウンタ１１５ｅ及び表示フィールド数算出部１１５ｆを有している。

本実施の形態では、図６に示すように、パラメータをディスプレイレジスタ１１５ｄまで転送する。本実施の形態では、表示制御部１１５でピクチャ毎に表示すべきフィールド数を決定する必要上、リピートファーストフィールドフラグをディスプレイレジスタ１１５ｄまで転送する。また、１／２スロー再生命令フラグもパラメータとしてディスプレイレジスタ１１５ｄまで転送する。表示制御部１１５は、外部からのスロー再生命令１２９を復号開始命令をトリガとしてサンプリングし、スロー再生命令１２９が「１」であれば、それをスロー再生フラグとしてディスプレイレジスタ１１５ｄまで転送する。

表示フィールド数算出部１１５ｆは、表示制御部１１５内で表示する画像フィールド数を管理するためのものである。表示フィールド数算出の動作は後述する。Ｖ-Sync計数カウンタ１１５ｅは、表示フィールド数算出部１１５ｆで決定したフィールド数分のＶ-Syncパルスを計数し、表示フィールド数算出部１１５ｆでのフィールド数の管理に使用する。

ステイタスレジスタ１１６は、リオーダレジスタ１１５ａ、カレントレジスタ１１５ｂ、フィールドディレイレジスタ１１５ｃ及びディスプレイレジスタ１１５ｄの状態を監視し、４ビットの信号で表現する。すなわち、これらのレジスタ１１５ａ〜１１５ｄにパラメータ及びバンクアドレス等のデータが格納されていればレジスタに対応するビットの値を「１」とし、格納されていなければ「０」とする。ビットの並びは、ＭＳＢ（Most Significant Bit：最大位のビット側）からリオーダ／カレント／フィールドディレイ／ディスプレイの順である。例えば、４つのレジスタ１１５ａ〜１１５ｄにいずれもデータが格納されていれば、ステイタスレジスタ１１６の値は「１１１１」となり、４つのレジスタ１１５ａ〜１１５ｄのいずれにもデータが格納されていないときは、ステイタスレジスタ１１６の値は「００００」となる。

図７は、復号制御部１１４の動作を示すフローチャートである。まず、ステップＳ１１において、内蔵Ｖ-Sync発生器で発生するＶ-Syncの立ち下がりのタイミングを検出している。そして、Ｖ-Syncの立ち下がりによりステップＳ１２に移行し、復号するピクチャがＢピクチャか否かを判定する。Ｂピクチャではない場合、すなわちＩピクチャ又はＰピクチャの場合は、ステップＳ１３に移行し、ステイタスレジスタ１１６のビット３が「１」か否かを判定する。ビット３が「１」のとき、すなわちリオーダレジスタ１１５ａにデータが格納されているときはステップＳ１３からステップＳ１１に戻る。ステップＳ１３でビット３が「０」のとき、すなわちリオーダレジスタ１１５ａにデータが格納されていないときは、ステップＳ１５に移行して復号開始命令を発行し、その後ステップＳ１１に戻る。復号されたＩピクチャ又はＰピクチャのパラメータはリオーダレジスタ１１５ａに格納される。

一方、ステップＳ１２で復号するピクチャがＢピクチャの場合は、ステップＳ１４に移行して、ステイタスレジスタ１１６のビット２が「１」か否かを判定する。ステイタスレジスタ１１６のビット２が「１」のとき、すなわちカレントレジスタ１１５ｂにデータが格納されているときは、ステップＳ１４からステップＳ１１に戻る。また、ステップＳ１４でステイタスレジスタ１１６のビット２が「０」のとき、すなわちカレントレジスタ１１５ｂにデータが格納されていないときは、ステップＳ１５に移行して復号開始命令を発行し、その後ステップＳ１１に戻る。復号されたＢピクチャのパラメータは、カレントレジスタ１１５ｂに格納される。

図８は、表示制御部１１５の動作を示すフローチャートである。ステップＳ２１において、Ｖ-Syncの立ち下がりのタイミングを検出している。そして、Ｖ-Syncの立ち下がりによりステップＳ２２に移行し、ステイタスレジスタ１１６のビット０が「１」か否かを判定する。ステイタスレジスタ１１６のＬＳＢ（Least Significant Bit：ビット０）が「０」のとき、すなわちディスプレイレジスタ１１５ｄにデータが格納されていないときは、ステップＳ２１に戻る。

一方、ステップＳ２２において、ステイタスレジスタのビット０が「１」のとき、すなわちディスプレイレジスタ１１５ｄにデータが格納されているときは、ステップＳ２３に移行して、ディスプレイレジスタ１１５ｄに格納されているデータを分析する。そして、ステップＳ２４に移行し、リピートファーストフィールドフラグ及びスロー再生命令フラグに応じて表示フィールド数を決定する。表示フィールド数が決定したら、ステップＳ２５に移行し、表示開始命令１２７を発行する。

その後、ステップＳ２６に移行し、Ｖ-Sync計数カウンタ１１５ｅによりＶ-Syncのカウントを開始する。そして、ステップＳ２７において、Ｖ-Sync計数値と表示フィールド数とが一致するまで待ち、Ｖ-Sync計数値と表示フィールド数とが一致したら、ステップＳ２８に移行して表示完了通知１２８を発行する。

図９は、表示フィールド算出部１１５ｆによる表示フィールド数算出方法を示す図である。表示制御部１１５には、図９に示すように、リピートファーストフィールドフラグ及び１／２スロー再生命令フラグと表示フィールド数との関係を示すテーブル（ルックアップテーブル）が記憶されている。表示フィールド数算出部１１５ｆは、該テーブルを参照し、リピートファーストフィールドフラグ及び１／２スロー再生フラグの状態から表示フィールド数を決定する。例えば、リピートファーストフィールドフラグ及び１／２スロー再生フラグがいずれも「０」のときは表示フィールド数を２とし、リピートファーストフィールドフラグ及び１／２スロー再生フラグがいずれも「１」のときは表示フィールド数を６とする。

図１０，図１１は本実施の形態のＭＰＥＧビデオ復号器の動作を示すタイミングチャートである。但し、この例では、ＩピクチャＩ2，ＢピクチャＢ0，ＢピクチャＢ1，ＰピクチャＰ5，ＢピクチャＢ3，ＢピクチャＢ4，…の順番でビットストリームが入力され、ピクチャＢ0，ピクチャＢ1，ピクチャＩ2，ピクチャＢ3，ピクチャＢ4，ピクチャＰ5，…の順で表示するものとする。また、ＢピクチャＢ0，Ｂ4 及びＩピクチャＩ2にはリピートファーストフィールドコマンドが付加されているものとする。

時刻ｔ０で、例えば電源がオンになると、復号制御部１１４は初期復号開始命令１２２を発行する。これにより画像復号化部１１２はピクチャＩ2のピクチャヘッダ（Ｉ2）を復号する。

次に、時刻ｔ１で復号制御部１１４はステイタスレジスタ１１６から出力されるレジスタデータ１２４ａを調べる。このとき、ステイタスレジスタ１１６の値は「００００」であるので、復号制御部１１４は復号開始命令１２２を発行し、これにより画像復号化部１１２はピクチャＩ2の係数復号を開始し、ピクチャＩ2の係数復号が完了すると続けてピクチャＢ0のピクチャヘッダ（Ｂ0）を復号する。

ピクチャＩ2のパラメータ及びバンクアドレスはリオーダレジスタ１１５ａに格納される。これにより、ステイタスレジスタ１１６の値が「１０００」になる（時刻ｔ１．５）。

更に、時刻ｔ２で、復号制御部１１４はステイタスレジスタ１１６から出力されるレジスタデータ１２４ａを調べる。このとき、レジスタデータ１２４ａの値が「１０００」であるので、復号制御部１１４はＶ-Syncに同期したタイミングで復号開始命令１１２を発行する。これにより、画像復号化部１１２はピクチャＢ0の係数復号を開始する。このとき、表示制御部１１５は、復号開始命令１２２の立ち下がりをトリガとして１／２スロー再生命令１２８をサンプリングし、１／２スロー再生命令１２８が「１」になっているので、１／２スロー再生フラグを「１」としてカレントレジスタ１１５ｂに格納する。また、この例では、ピクチャＢ0にリピートファーストフィールドコマンドが付加されているので、リピートファーストフィールドフラグを「１」としてカレントレジスタ１１５ｂに格納する。

従って、この場合は、１／２スロー再生命令フラグ及びリピートファーストフィールドフラグがいずれも「１」という値がカレントレジスタ１１５ｂに格納される。

ピクチャＢ0のデータがカレントレジスタ１１５ｂに格納されたので、バンクステイタスレジスタ１１６の値が「１１００」となる（時刻ｔ２．５）。

以下同様に、復号制御部１１４はＶ-Syncの立ち下がりでバンクステイタスレジスタ１１６の値を調べ、「０」のレジスタがあれば復号開始命令１２２を発行する。画像復号化部１１２は、復号制御部１１４で復号開始命令１２２が発行されると、係数復号を開始し、係数復号が完了すると続けて次のピクチャのピクチャヘッダを復号する。

このようにして、ピクチャＢ1，ピクチャＰ5が復号化されるが、時刻ｔ５ではバンクステイタスレジスタ１１６の値が「１１１１」となる。従って、復号制御部１１４は復号開始命令１２２の発行を停止する。これにより、画像復号化部１１２では、復号を休止する。

一方、バンクステイタスレジスタ１１６が「１１１１」ということは、ディスプレイレジスタ１１５ｄに表示すべきピクチャが存在するということなので、表示制御部１１５はディスプレイレジスタ１１５ｄのパラメータを分析する。この結果、リピートファーストフィールドフラグと１／２スロー再生フラグがともに「１」であるので、表示フィールド数算出部１１５ｆは表示フィールド数を６とする（図９参照）。そして、表示制御部１１５は、時刻ｔ５．５で表示開始命令１２７を発行する。これにより、表示装置にピクチャＢ0が転送され、ピクチャＢ0の表示が開始される。その後、表示制御部１１５は６フィールド分の表示をするため、Ｖ-Syncパルスを５回計数し、６フィールド期間分の時間が経過すると、表示完了通知１２８をステイタスレジスタ１１６に発行する。そして、表示制御部１１５は、カレントレジスタ１１５ｂとフィールドディレイレジスタ１１５ｃの内容をそれぞれフィールドディレイレジスタ１１５ｃとディスプレイレジスタ１１５ｄにシフトする。これにより、カレントレジスタ１１５ｂに空きが生じるため、ステイタスレジスタ１１６の値は「１０１１」となる（時刻ｔ５．９）。

復号制御部１１４は、時刻ｔ６でステイタスレジスタ１１６の値を調べ、「１０１１」であるので、復号開始命令を発行する。これにより、画像復号化部１１２は、ピクチャＢ3の係数復号を開始する。ピクチャＢ3のパラメータはカレントレジスタ１１５ｂに格納される。これにより、ステイタスレジスタ１１６の値は「１１１１」となる。

また、表示制御部１１５は、ディスプレイレジスタ１１５ｄに転送されたピクチャＢ1のパラメータを調べ、リピートファーストフィールドフラグが「０」、１／２スロー再生命令フラグが「１」であるから、表示フィールド数を４とする。そして、表示開始命令１２７を発行し、ピクチャＢ1の表示を開始する（時刻ｔ６．５）。ピクチャＢ1の表示期間が終了すると、表示制御部１１５は表示完了通知１２８を発行し、カレントレジスタ１１５ｂ及びフィールドディレイレジスタ１１５ｃのデータをフィールドディレイレジスタ１１５ｃ及びディスプレイレジスタ１１５ｄにシフトする。

このようにして、本実施の形態のＭＰＥＧビデオ復号器は、３−２プルダウンと１／２スロー再生とを正しく実行する。前述したように、従来は復号制御部により表示フィールド数が決定されていたのに対し、本実施の形態では、表示制御部１１５が、図９に示すようなテーブルを使用して表示フィールド数を決定する。従って、３−２プルダウン再生、１／２スロー再生、３−３プルダウン再生でかつ１／２スロー再生などの特殊再生に対応することができる。

ＭＰＥＧの各ピクチャには、ＰＴＳ（Presentation Time Stamp）が重畳されている。ＰＴＳは、当該ピクチャを表示する時間を示すデータであり、一般的に、ＭＰＥＧビデオ復号器では、ＰＴＳと復号器内部のＳＴＣ（System Time Clock）を使って再生の時間管理を行う。

図１２は、横軸に時間をとり、縦軸にＳＴＣをとって、通常再生時及び特殊再生（３−２プルダウン再生及び１／２スルー再生）時のＳＴＣの経時変化を示す図である。この図１２に示すように、通常、ＳＴＣは時間の経過とともに単調に増加する。ここで、通常再生時（ノーマルプレイ）のＳＴＣの増加量の傾きを１とすると、３−２プルダウン再生時は傾き２／３、１／２スロー再生時は傾き１／２、３−２プルダウンかつ１／２スロー再生時は１／３とならなければならない。

ところが、従来の復号器では、３−２プルダウンかつ１／２スロー再生が、１／２スロー再生となってしまうので、ＳＴＣの増加量が本来よりもΔＳＴＣだけ大きくなってしまう。従って、時刻ｔで１／２スロー再生を解除し、３−２プルダウンかつ１／２」スロー再生から３−２プルダウンのみの再生に切換えた場合は、ΔＳＴＣ分減算するか、新しいＰＴＳを使って強制的にＳＴＣを修正する必要があった。本実施の形態では、スロー再生から通常の再生に戻したときに、ＳＴＣを修正する必要がなく、再生速度を戻したときにＳＴＣを修正するという余分な処理が不要になる。

なお、上記の例では１／２スロー再生の場合についてのみ説明したが、例えば図１３に示すリピートファーストフィールドフラグ及びスロー再生命令フラグと表示フィールド数との関係を示すテーブルを用いて表示フィールド数を決定することにより、３−２プルダウン再生、１／２スロー再生、１／３スロー再生、１／４スロー再生及び１／８スロー再生が可能になる。

また、上記の実施の形態では、ピクチャの復号化をＶ-Syncに同期して行っているが、第１の実施の形態に示すようにＶ-Syncに同期させなくてもよい。

図１は本発明の第１の実施の形態のＭＰＥＧビデオ復号器を示すブロック図である。 図２は本発明の第１の実施の形態のＭＰＥＧビデオ復号器の動作を示すタイミングチャートである。 図３は、垂直同期信号Ｖ-Syncに同期してビットストリームの復号化を開始するＭＰＥＧビデオ復号器と本発明の第１の実施の形態のＭＰＥＧビデオ復号器とのエラーコンシールメントが発生しやすさを比較するための図である。 図４は、本発明の第１の実施の形態のＭＰＥＧビデオ復号器の表示ポーズ時の動作を示すタイミングチャートである。 図５は、本発明の第２の実施の形態のＭＰＥＧビデオ復号器を示すブロック図である。 図６は、本発明の第２の実施の形態の表示制御部を示すブロック図である。 図７は、本発明の第２の実施の形態の復号制御部の動作を示すフローチャートである。 図８は、本発明の第２の実施の形態の表示制御部の動作を示すフローチャートである。 図９は、本発明の第２の実施の形態の表示フィールド数算出方法を示す図である。 図１０は、本発明の第２の実施の形態のＭＰＥＧビデオ復号器の動作を示すタイミングチャート（その１）である。 図１１は、本発明の第２の実施の形態のＭＰＥＧビデオ復号器の動作を示すタイミングチャート（その２）である。 図１２は、通常再生時及び特殊再生（３−２プルダウン再生及び１／２スルー再生）時のＳＴＣの経時変化を示す図である。 図１３は、３−２プルダウン再生、１／２スロー再生、１／３スロー再生、１／４スロー再生及び１／８スロー再生を実現するためのテーブルを示す図である。 図１４は、ＭＰＥＧのビットストリームの構造を示す模式図である。 図１５は、ＭＰＥＧビデオ符号器を示すブロック図である。 図１６は、従来のＭＰＥＧビデオ復号器（その１）を示すブロック図である。 図１７は３−２プルダウンによるテレシネ変換を示す模式図である。 図１８は、従来のＭＰＥＧビデオ復号器（その２）を示すブロック図である。 図１９は、図１８のＭＰＥＧビデオ復号器の表示制御部の構成を示すブロック図である。 図２０は、図１８のＭＰＥＧビデオ復号器の動作を示すタイミングチャート（その１）である。 図２１は、図１８のＭＰＥＧビデオ復号器の動作を示すタイミングチャート（その２）である。 図２２は、図１８のＭＰＥＧビデオ復号器で３−２プルダウン再生と１／２スルー再生とを実行したときの動作を示すタイミングチャート（その１）である。 図２３は、図１８のＭＰＥＧビデオ復号器で３−２プルダウン再生と１／２スルー再生とを実行したときの動作を示すタイミングチャート（その２）である。

符号の説明

１０，６０，１１０，１６０…入力端子、
１１，６１，１１１，１６１…ビットストリームバッファ、
１２，６２，１１２，１６２…画像復号化部、
１３，６３，１１３，１６３…復号フレームバッファ、
１４…復号開始命令発生部、
１４ａ…復号制御部、
１４ｂ，６４…復号スイッチ、
１５，６５…ピクチャデータ出力部、
１５ａ，６５ａ…表示制御部、
１５ｂ，６５ｂ…表示スイッチ、
１５ｃ，６５ｃ…表示バッファ、
１６，６６…表示装置、
２１…復号開始許可、
２２，７２…復号開始命令、
２３…復号完了通知、
２４…バッファフル通知、
２５…ビットストリーム転送通知、
２６，７６…表示タイムスタンプ（ＰＴＳ）、
２７…ポーズ命令、
２８，７１…垂直同期信号Ｖ-Sync、
２９，７３…転送命令、
３１…シーケンスヘッダ、
３２…ＧＯＰヘッダ、
３３…ピクチャヘッダ、
３４…ピクチャデータ、
３５…シーケンス終了コード、
４１…ピクチャ並び替え部、
４２…動き推定部、
４３，５１…加算器、
４４…離散コサイン変換部（ＤＣＴ）、
４５…量子化部、
４６…可変長符号化部、
４７…多重化部、
４９…逆量子化部、
５０…逆離散コサイン変換部（ＩＤＣＴ）、
５２…ピクチャ蓄積部、
５３…動き予測部、
１１４，１６４…復号制御部、
１１５，１６５…表示制御部、
１１５ａ，１６５ａ…リオーダレジスタ、
１１５ｂ，１６５ｂ…カレントレジスタ、
１１５ｃ，１６５ｃ…フィールドディレイレジスタ、
１１５ｄ，１６５ｄ…ディスプレイレジスタ、
１１５ｅ…Ｖ-Sync計数カウンタ、
１１５ｆ…表示フィールド数算出部、
１１６…ステイタスレジスタ。

Claims (10)

1. 復号開始命令によりＭＰＥＧビットストリームの復号化を開始する画像復号化部と、
   前記画像復号化部で復号化されたピクチャデータを格納する復号フレームバッファと、
   前記画像復号化部で復号化されたピクチャデータに付随するリピートファーストフィールドフラグ及びピクチャ毎に与えられるスロー再生フラグに応じて前記復号フレームバッファから表示装置への前記ピクチャデータの転送を制御する表示制御部と、
   前記表示制御部の状態が予め設定された状態のときに前記復号開始命令を出力する復号制御部とを有し、
   前記表示制御部は、予め前記リピートファーストフィールドフラグ及び前記スロー再生フラグと前記表示フィールド数との関係を示すテーブルを記憶しており、該テーブルを参照して所定のピクチャ毎にピクチャの表示フィールド数を決定し、前記表示フィールド数に相当する時間だけ前記ピクチャを前記表示装置に表示させることを特徴とするＭＰＥＧビデオ復号器。
2. 前記ピクチャデータに付随するリピートファーストフィールドフラグ及びピクチャ毎に与えられるスロー再生フラグには３−２プルダウン再生、１／２スロー再生、１／３スロー再生、１／４スロー再生及び１／８スロー再生のいずれかを指示する特殊再生フラグを含むことを特徴とする請求項１に記載のＭＰＥＧビデオ復号器。
3. 前記表示制御部は、Ｉピクチャ又はＰピクチャのパラメータ及びバンクアドレスを記憶するリオーダレジスタと、次に表示するピクチャのパラメータ及びバンクアドレスを記憶するカレントレジスタと、前記カレントレジスタからシフトされたパラメータ及びバンクアドレスを１フィールド時間だけ遅延させるフィールドディレイレジスタと、現在表示中のピクチャのパラメータ及びバンクアドレスを記憶するディスプレイレジスタとの４つのシフトレジスタを有することを特徴とする請求項１に記載のＭＰＥＧビデオ復号器。
4. 前記リオーダレジスタ及び前記カレントレジスタは前記復号開始命令をシフトパルスとし、前記フィールドディレイレジスタ及び前記ディスプレイレジスタは垂直同期信号をシフトパルスとすることを特徴とする請求項３に記載のＭＰＥＧビデオ復号器。
5. 前記リオーダレジスタ、前記カレントレジスタ、前記フィールドディレイレジスタ及び前記ディスプレイレジスタの状態を示すステイタスレジスタを有することを特徴とする請求項３に記載のＭＰＥＧビデオ復号器。
6. 前記復号制御部は前記ステイタスレジスタの状態を参照して、前記リオーダレジスタ又は前記カレントレジスタにデータが格納されていないときに前記復号開始命令を発行することを特徴とする請求項５に記載のＭＰＥＧビデオ復号器。
7. 前記復号制御部は、垂直同期信号に同期したタイミングで前記ステイタスレジスタを参照することを特徴とする請求項６に記載のＭＰＥＧビデオ復号器。
8. 前記表示制御部は、前記ステイタスレジスタの状態を参照して、前記ディスプレイレジスタにパラメータ及びバンクアドレスが格納されたときに前記パラメータから前記表示フィールド数を決定することを特徴とする請求項５に記載のＭＰＥＧビデオ復号器。
9. 前記表示制御部は、垂直同期信号に同期したタイミングで前記ステイタスレジスタを参照することを特徴とする請求項８に記載のＭＰＥＧビデオ復号器。
10. 復号制御部から出力される復号開始命令によりＭＰＥＧビットストリームの復号化を開始し、
    復号化したピクチャデータを復号フレームバッファに格納し、
    前記復号化したピクチャデータに付随するリピートファーストフィールドフラグ及びピクチャ毎に与えられるスロー再生フラグを表示制御部に格納して、前記表示制御部において前記リピートファーストフィールドフラグ及び前記スロー再生フラグからピクチャ毎に表示フィールド数を決定し、各ピクチャを表示フィールド数に相当する時間だけ表示装置に表示するＭＰＥＧビデオ復号方法であって、
    前記表示制御部は、予め前記リピートファーストフィールドフラグ及び前記スロー再生フラグと前記表示フィールド数との関係を示すテーブルを記憶し、該テーブルを参照して所定のピクチャ毎にピクチャの表示フィールド数を決定することを特徴とするＭＰＥＧビデオ復号方法。

Images