JP2006279681A - 動画像復号装置、動画像復号方法、動画像復号プログラムおよびコンピュータに読み取り可能な記録媒体 - Google Patents

Abstract

【課題】フレームをコマ落ちさせないように、再生時間を短縮させてフレームを表示する事で、視覚的に違和感の少ない動画再生を可能にすること。
【解決手段】まず、入力バッファ１０１は、離散コサイン変換によって形成された情報で構成される動画を入力する。次に、可変長復号器１０２および逆量子化部１０３において、動画を構成するフレームから、マクロブロックを抽出する。次に、逆ＤＣＴ部１０４において、抽出されたマクロブロックのうち、一部の領域について逆離散コサイン変換をかけて逆変換情報を生成する。次に、逆変換情報を拡大することにより、マクロブロックに対応する復号画像を生成する。そして、加算部１０８、フォーマット変換部１０９、Ｄ−Ａ変換部１１０は、生成された復号画像を集合して、再生するフレームを生成する。
【選択図】 図１

Description

この発明は、ＤＣＴによって圧縮された動画像を復号する動画像復号装置、動画像復号方法、動画像復号プログラムおよびコンピュータに読み取り可能な記録媒体に関する。

動画再生において、再生が間に合わなくなった場合、残りのフレームを再生しないで切り捨てる方法が一般的である。この方法では、それまで連続した流れの中でフレームが表示され、自然に視聴していたところ、連続しないフレームに突然表示が飛んでしまうことになる。したがって、違和感を覚えるという問題があった。例えば、３０ＦＰＳ再生（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ、１秒間に３０フレーム）においては、２０フレームまで再生した所で１秒が経過した為に、残りの１０フレームを再生できない場合がある。このときに、この１０フレームを再生せず、次の１秒目のフレームから再生するのが一般的である。

そこで、動画再生において、コマ落ちをさせると視覚的に不自然なので、コマ落ちさせないで再生表示する技術があった。この技術では、フレーム周期内にフレームの再生が間に合わないと判断した場合に、解像度、または階調性を落としている（たとえば、特許文献１参照。）。

特開２００３−１６３９３０号公報

ところが、上述の従来技術は、プログレッシブ動画像を対象としている。すなわち、上述の従来技術において処理時間を短縮すべく解像度または階調性を下げる場合、対象はプログレッシブに圧縮変換されている動画像でなければならないので、適用範囲が限定される。例えば、この処理は、プログレッシブＪＰＥＧ、ＬｏｓｓｌｅｓｓＪＰＥＧなどに対してしか適用することができないという問題が挙げられる。一方で、プログレッシブを使用する動画像以外を対象とすることはできないという問題が挙げられる。

具体的には、解像度を下げる場合は、解像度プログレッシブに対応した動画像でなければ適用できない。また、階調性を下げる場合は、例えばＭＰＥＧ４のようにｂｉｔ深度に対する符号／複合化を行わない動画像に、上述の技術を適用することが考えられる。しかしこの場合、逆にビット演算処理が増えてしまい、フレームの再生処理が遅くなるという問題が発生する。

この発明は、上述した従来技術による問題点を解消するため、フレームをコマ落ちさせないように、再生時間を短縮させてフレームを表示する事で、視覚的に違和感の少ない動画再生を可能にする動画復号装置、動画像復号方法、動画像復号プログラムおよびコンピュータに読み取り可能な記録媒体を提供することを目的とする。

上述した課題を解決するため、本発明にかかる動画像復号装置は、離散コサイン変換によって形成された情報で構成される動画を入力する入力手段と、前記入力手段によって入力された動画を構成するフレームから、マクロブロックを抽出する抽出手段と、前記抽出手段によって抽出されたマクロブロックのうち、一部の領域について逆離散コサイン変換をかけて逆変換情報を生成する逆変換手段と、前記逆変換手段によって生成された逆変換情報に基づいた復号画像を集合して、再生するフレームを生成する生成手段と、を備えることを特徴とする。

また、前記逆変換手段によって生成された逆変換情報を拡大することにより、前記抽出手段によって抽出されたマクロブロックに対応する復号画像を生成する拡大手段を備え、前記生成手段は、前記拡大手段によって生成された復号画像を集合して、再生するフレームを生成してもよい。

また、前記拡大手段は、前記逆変換手段によって生成された逆変換情報を拡大した後の復号画像の画素数を、前記抽出手段によって抽出されたマクロブロックの画素数に一致させることによって対応する復号画像を生成してもよい。

また、前記フレームが再生されるタイミングが、前記フレームに対応した音声が再生されるタイミングに対して、第１の時間以上遅れているか否かを判定する判定手段を備え、前記判定手段によって前記フレームが再生されるタイミングが第１の時間以上遅れていると判定された場合、前記逆変換手段は、前記抽出手段によって抽出されたマクロブロックの一部の領域に対して逆離散コサイン変換をかけて逆変換情報を生成してもよい。また、第１の時間以上遅れていないと判定された場合、前記逆変換手段は、前記抽出手段によって抽出されたマクロブロックのすべての領域に対して逆離散コサイン変換をかけて逆変換情報を生成してもよい。

また、前記判定手段は、前記フレームが再生されるタイミングが、前記フレームに対応した音声が再生されるタイミングに対して、第１の時間よりも短い第２の時間以上遅れているか否かを判定し、前記判定手段によって前記フレームが再生されるタイミングが第２の時間以上遅れていると判定された場合、前記生成手段によって生成されるフレームを、毎秒１フレームまたは２フレーム破棄してもよい。

また、本発明にかかる動画像復号方法は、離散コサイン変換によって形成された情報で構成される動画を入力する入力工程と、前記入力工程によって入力された動画を構成するフレームから、マクロブロックを抽出する抽出工程と、前記抽出工程によって抽出されたマクロブロックのうち、一部の領域について逆離散コサイン変換をかけて逆変換情報を生成する逆変換工程と、前記逆変換工程によって生成された逆変換情報に基づいた復号画像を集合して、再生するフレームを生成する生成工程と、を含むことを特徴とする。

また、本発明にかかる動画像復号プログラムは、離散コサイン変換によって形成された情報で構成される動画を入力する入力工程と、前記入力工程によって入力された動画を構成するフレームから、マクロブロックを抽出する抽出工程と、前記抽出工程によって抽出されたマクロブロックのうち、一部の領域について逆離散コサイン変換をかけて逆変換情報を生成する逆変換工程と、前記逆変換工程によって生成された逆変換情報に基づいた復号画像を集合して、再生するフレームを生成する生成工程と、をコンピュータに実行させることを特徴とする。

また、コンピュータに読み取り可能な記録媒体に、上述の動画像復号プログラムを記録することもできる。

以下に添付図面を参照して、この発明にかかる動画像復号装置、動画像復号方法、動画像復号プログラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。

図１は、動画像復号装置の構成を説明するブロック図である。この動画像復号装置は、ＭＰＥＧ動画像の復号を想定しているが、ＭＰＥＧ動画像に限らず、ＤＣＴを利用している動画像および画像の復号であれば、いかなるものに対しても適用可能である。まず、入力される動画像について説明する。動画像は異なるフレームを連続して表示することにより得られるが、連続する隣接フレームは相関が高く、フレーム間の差分をとることにより冗長性を削減できる。さらに動き補償予測を用いることにより、動き部分についても差分を小さくできる。すなわち、空間方向・時間方向の画像情報圧縮が可能となる。差分信号はＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）によりフレーム内の相関が取り除かれた上で量子化される。さらに、値の発生頻度により、長さの異なる符号を割り当てる可変長符号化されている。動きベクトルや符号化モード情報も含めて可変長符号化された動画像が入力される。

入力された動画像は、符号化データ（ビットストリーム）として入力バッファ１０１に蓄積される。次に、可変長復号器１０２で、マクロブロック復号化情報が復号され、符号化モード、動きベクトル、量子化情報および量子化ＤＣＴ係数が分離される。分離されたデータは逆量子化部１０３で逆量子化される。そして、逆ＤＣＴ部１０４で、復号されたブロック量子化ＤＣＴ係数に対して逆ＤＣＴ処理を実行することにより、逆量子化されたデータを画像空間データへ変換する。

逆ＤＣＴ部１０４では、画像表示のタイミングに対して遅れていない場合には、受け取ったデータすべてに対して逆ＤＣＴ処理を実行するが、タイミングが遅れている場合には、一部のみ逆ＤＣＴ処理を実行する。たとえば、マクロブロックの８×８に対して４×４の部分のみ逆ＤＣＴ処理を実行する。

拡大部１０５は、逆ＤＣＴ部１０４において一部のみ逆ＤＣＴ処理を実行した場合、拡大処理を実行する。たとえば、マクロブロックの８×８に対して４×４の部分のみ逆ＤＣＴ処理を実行した場合、４×４の画像しか得られないことになるので、８×８の画像になるように、４×４の画像を縦横それぞれ２倍の４倍にする。逆ＤＣＴ部１０４でマクロブロック全体に逆ＤＣＴ処理を実行した場合、拡大部１０５による処理は実行しない。

マクロブロックがイントラ符号化モードの場合は、そのままフォーマット変換部１０９に出力される。また、得られたピクチャ情報（Ｉ，Ｐ，Ｂピクチャ）は、フレームメモリ１０６に蓄積し、参照画像用に用いられる。

一方、マクロブロックが動き補償予測モードの場合は、入力バッファ１０１から予測モード、動きベクトルが動き補償予測部１０７に入力される。動き補償予測部１０７は、フレームメモリ１０６からのデータおよび入力バッファ１０１からのデータにしたがって動き補償予測する。そして加算部１０８において、動き保障予測された画像データを加算して出力する。処理はマクロブロック単位で実行され、元の入力順序に入れ替えられ、出力画像フレームが復元される。フォーマット変換部１０９では、必要に応じてフォーマット変換を行う。そして、Ｄ−Ａ変換部１１０でアナログ信号に変換して動画像を出力する。

図２は、動画像の構成を説明する説明図である。画像符号化データは、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、ブロック層の６層の階層構造から構成されている。シーケンス層からブロック層まで、大きな単位から局所的なブロックまで分解される。

シーケンス層を構成するシーケンス２０１は、ＧＯＰ２０２に分解することができる。ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造では、ＧＯＰ２０２をひとまとまりにした単位と考える。ＧＯＰ２０２内では、ピクチャ２０３のランダムアクセスが可能である。いいかえると、ＭＰＥＧビットストリームはデータの途中にＧＯＰ２０２単位のエントリポイントを用意している。

ＧＯＰ２０２に分解された動画像は、ＧＯＰ層で処理される。ＧＯＰ２０２は、１または複数枚のピクチャ２０３によって構成される。ピクチャ２０３には、フレーム内符号化画像（Ｉ（Ｉｎｔｒａ−ｃｏｄｅｄ）ピクチャ）、前方向予測符号化画像（Ｐ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ）ピクチャ）、双方向予測符号化画像（Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ−ｃｏｄｅｄ）ピクチャ）がある。ＧＯＰ２０２は、１つのＩピクチャと複数のＰ、Ｂピクチャをまとめたものである。

Ｉピクチャは、予測を使わず入力信号をそのまま符号化するフレームである。Ｉピクチャは、編集点やデコード開始点などのエントリポイントとして利用できる。Ｐピクチャは片方向の動き補償予測を用いるフレームで、Ｂピクチャは双方向予測を用いるフレームである。

ＧＯＰ２０２内のＩピクチャから映像をデコードできるので、ＧＯＰ２０２単位での編集やランダムアクセスが可能となる。また、ＩピクチャあるいはＰピクチャだけを取り出してデコードすることで高速再生を実現できる。また、Ｉピクチャは、リフレッシュフレーム、キーフレームとも呼ばれ、データ復元時のエラーを伝搬させない働きもある。

スライス層を構成するスライス２０４は、帯状の領域からなり、スライス２０４の集合により１枚のピクチャ２０３を構成する。スライス２０４は、画像の左上からラスタスキャン走査順に連なる一つまたは複数のマクロブロック２０５の集まりとして構成される。また、スライス２０４は、ピクチャ２０３をまたがることはできない。そして、最初のスライス２０４は最初のマクロブロック２０５で始まり、最後のスライス２０４は画像内の最後のマクロブロック２０５で終わる。

さらに、マクロブロックを分割して一つのブロック２０６を得る。ブロック２０６は８ライン×８画素で構成される。ＤＣＴはこの単位で掛けられる。ブロック層のデータは、符号化ＤＣＴ係数とＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）で終了する。ＤＣＴ係数は係数ごとに異なる粗さで量子化することができ、イントラモード用とインターモード用に別々に設定できる。デフォルトのイントラモードでは、高い周波数成分のＤＣＴ係数は量子化される。一方、インターモードでは、全ての係数が同じ粗さで量子化される。

図３は、最初のフレームをＢピクチャとしたときのピクチャを説明する説明図である。図３に示す順にフレームが入力されるとする。まず、入力された元画像について、ＩピクチャとＢピクチャの入れ替えを行う。双方向予測では符号化する画像フレームの前後のフレームを予測に用いるため、入力フレームのうちＢピクチャをいったんメモリに蓄え、順番を入れ替えてから符号化する。したがって、Ｂピクチャを符号化／復号するには、その予測画像となるＩピクチャまたはＰピクチャを先に符号化していなければならない。よって、符号化器の中で順序の入れ替えが行われ、ＧＯＰ２０２で最初に符号化されるフレームは必ずＩピクチャとなる。その結果、図３に符号化画像として示される順番になる。再生時には受信したデータを順番に戻してから表示する。再生時の順番は、図３に復号画像として示される順番となる。

ビットストリーム上で、ＧＯＰの最初はＩピクチャである。ＧＯＰの最後はＩ，Ｐピクチャのどちらかである。一般的に、ＧＯＰ内のピクチャ数Ｎは１２か１５を使用するが、Ｎを大きくすると、ランダムアクセスの単位を大きくできる。Ｉ、Ｐピクチャの間隔Ｍが大きくなると予測が効果的に働かなくなるため、一般的に２から３程度が利用される。

図４は、Ｉ，Ｐ，Ｂピクチャによる順方向および逆方向予測を説明する説明図である。まず、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ：フレーム内符号化画像）４０１について説明する。Ｉピクチャ４０１の復号にあたっては、Ｉピクチャ４０１内の情報のみを使う。したがって、フレーム間予測を使わなくても、Ｉピクチャ４０１の情報のみで画像を復元することができる。ランダムアクセスや高速再生を実現する際には、このＩピクチャ４０１を使用する。

Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ：前方向予測符号化画像）４０２は、Ｉピクチャ４０１またはＰピクチャ４０２から順方向予測を行うことで作成されるピクチャである。Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）４０３は、双方向予測によってできるピクチャである。すでに復号されたＩピクチャ４０１またはＰピクチャ４０２のうち、時間的に前に位置するもの（図４ではＩピクチャ４０１）と、時間的に後に位置するもの（図４ではＰピクチャ４０２）を予測画像として利用することにより、Ｂピクチャ４０３を復号することができる。

図５は、マクロブロックに対する逆ＤＣＴ処理を説明する説明図である。まず、図２に示したマクロブロック２０５を、図５においてマクロブロック５０１として説明する。マクロブロック５０１は、８×８ピクセルによって構成されている。処理の遅れが発生していない場合、マクロブロック５０１はすべて、逆ＤＣＴ部１０４によって逆ＤＣＴ処理される。

一方、処理の遅れが発生している場合、追いつかせるために処理量を減らさなければならない。そこで、マクロブロック５０１のうち、ブロック５０２について逆ＤＣＴ処理をかける。ブロック５０２は、４×４ピクセルなので、量はマクロブロック５０１の１／４である。ブロック５０２は、逆ＤＣＴ部１０４に送られて、逆ＤＣＴ処理される。

逆ＤＣＴ処理された結果、ブロック５０３が得られるが、これだけでは元の画像の１／４しか画像が得られないことになる。そこで、拡大部１０５において、ブロック５０３を拡大する。具体的には、ブロック５０３を３つコピーして、４つのブロック５０３を組み合わせて新しいマクロブロック５０４を作成する。拡大部５０４で画像の量を単純に４倍にするので、もとの８×８ピクセルのマクロブロック５０４が得られる。

その結果、マクロブロック５０４を得るのに必要な逆ＤＣＴ処理も１／４になるので、処理を高速化することができ、その結果、遅れを短縮することができる。すなわち、逆ＤＣＴを８×８ｐｉｘｅｌのうちの４×４の部分のみにかけることでデコードの高速化を図り、コマ落ちを防ぐ。なお、上述の例では４×４の部分のみに逆ＤＣＴをかけることを説明したが、たとえば、５×５や６×６の部分に逆ＤＣＴ処理することもできる。

なお、エリアの大きさは遅延度に応じて決めても良い、例えば、所定の複数の遅延時間とエリアの大きさとの関係をテーブルとして持ち、算出された遅延時間を基にテーブルの中でより近い遅延時間を探し、対応するエリアの大きさを抽出する方法とすることができる。さらに、テーブルの遅延時間の中で算出された遅延時間を上下に挟む２つの遅延時間を抽出し、その２つの遅延時間と対応する２つのエリアの大きさから直線補間して遅延度に応じたエリアの大きさを求めても良い。

また、逆ＤＣＴ部１０４で４×４の部分のみ逆ＤＣＴをかけた後、拡大部１０５によって拡大しないことも考えられる。オリジナルは６４０×４８０であるとして、表示を３４０×２４０にする場合、逆ＤＣＴを４×４に対して行い、拡大せずに表示する。この場合、拡大処理によりコピーした領域を作る必要がない。したがって、６４０×４８０に対してバイリニアなどでリサイズした場合よりも画質の劣化は少ない。４つのブロック全てをデコードしないで、いずれかを逆ＤＣＴ処理して、その結果をコピーするか、または拡大する方法も考えられる。

すなわち、元の画像の解像度と表示解像度との相関から拡大率を決める。また、元の画像と表示解像度との相関から抽出するエリアの大きさを決めても良い。図５では、抽出する一部のエリアはマクロブロック５０１の左上の部分であるが、左上に限る必要は無い。図４の中で動いている車の箇所を検出し、この動きのある部分を中心として所定の一部エリアを抽出しても良い。動いている部分を検出するには、周知の動き検出手法を用いればよい。

図６は、ビデオフレームとオーディオフレームの時間経過を説明する説明図である。ビデオデータは位置６０１で再生中であり、一方でオーディオデータは位置６０２で再生中である。この実施の形態によれば、逆ＤＣＴ処理にかかる時間を短縮化することができるので、遅延時間６０３を縮めることができる。位置６０１、位置６０２および遅延時間６０３は、ストリームに記述されているタイムスタンプより算出する。具体的には、システムクロックとストリームのタイムスタンプを比較し、ストリームのタイムスタンプが遅れた時点でこの処理を行う。

通常の場合、遅延時間６０３が一定の時間を超えた場合、遅延時間６０３の間のビデオフレームは飛ばして、オーディオフレームの時間と同じ位置のビデオフレームを再生していたが、この場合、途中のビデオフレームがまったく再生されないことになってしまうの
で、画像を見ているものにとって違和感を与えることになってしまう。

この実施の形態によれば、遅延時間６０３を縮めるために、逆ＤＣＴ処理にかける時間を短縮する。その結果、逆ＤＣＴ処理にかける時間が１／４になるので、ビデオフレームの再生時間は短くなる。そして、遅延時間６０３は徐々に短縮され、画像を見ているものにとって違和感を与えることなく、ビデオフレームを再生している位置６０１を、オーディオフレームを再生している位置６０２に追いつかせることができる。

ビデオフレームの再生は３０フレーム／秒である。まず、遅延時間６０３が８３ｍｓまで広がった場合、このうち１フレームまたは２フレーム分の処理を飛ばす。まず、１フレームまたは２フレーム分の処理を飛ばすことで遅延時間６０３の短縮を図る。この省略するフレームは、ＩフレームではなくＰフレームやＢフレームとすることもできる。そして遅延時間６０３が短縮されず、１６６ｍｓまで遅延時間６０３が広がった場合に上述の逆ＤＣＴ処理を一部のみにする処理を実行することもできる。毎秒２フレームまでは省略しても、人間の視覚に違和感を与えないが、それ以上は違和感を与える場合がある。

また、１６６ｍｓの遅れは、この時間以上に遅延時間６０３が広がった場合、人間の感覚で音声と映像のずれを感じる間隔である。そこで遅延時間６０３が１６６ｍｓまで広がった時点で、上述の逆ＤＣＴ処理を一部のみにする処理を実行することにより、違和感を与えずに映像を再生することができる。

すなわち、上述の処理では、フレーム周期内にフレームの再生が間に合わないと判断した時点で周波数領域で解像度を下げる。そして、それでもフレーム周期内にフレームの再生が間に合わないと判断した時点で、逆ＤＣＴをかけるエリアを小さくすることにより、フレーム辺りの再生時間を短縮し、コマ落ちを防いでいる。

上述の説明においては、遅れが生じた場合に、１フレームまたは２フレーム分の処理を飛ばし、さらに遅れた場合には４×４の逆ＤＣＴ処理を実行するという説明をした。これに対して、まず、６×６の逆ＤＣＴを実行し、さらに遅れた場合に５×５の逆ＤＣＴを実行し、さらに遅れた場合に４×４の逆ＤＣＴを実行し、さらに遅れた場合に１フレームまたは２フレーム分の処理を飛ばすという順序を取ることもできる、また、最初に１フレームまたは２フレーム分の処理を飛ばし、それから６×６、５×５、４×４の逆ＤＣＴ処理へと処理を変えて行くこともできる。

この実施の形態によれば、フレームをコマ落ちさせないように、再生時間を短縮させてようにフレームを表示する事で、視覚的に違和感の少ない動画再生を可能にする。指定のＦＰＳを実現できない事が分かった時点で、残りのフレームにかける逆ＤＣＴのサイズを小さくする。その結果、全てのフレームを表示する事で、視覚的に違和感を軽減することができる。この実施の形態は、逆ＤＣＴの適用を使用する手法であるので、逆ＤＣＴを使う動画像復号アルゴリズムであれば適用可能である。例えば、ＭＰＥＧ１，２，４，ＪＰＥＧが該当する。モバイル放送、１セグ方法は、ＭＰＥＧ４ ＡＶＣ、Ｈ．２６４を使用しており、これらへの適用も可能である。

なお、本実施の形態で説明した動画像復号方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体でもよい。

動画像復号装置の構成を説明するブロック図。 動画像の構成を説明する説明図。 最初のフレームをＢピクチャとしたときのピクチャを説明する説明図。 Ｉ，Ｐ，Ｂピクチャによる順方向および逆方向予測を説明する説明図。 マクロブロックに対する逆ＤＣＴ処理を説明する説明図。 ビデオフレームとオーディオフレームの時間経過を説明する説明図。

符号の説明

１０１ 入力バッファ、１０２ 可変長復号器、１０３ 逆量子化部、１０４ 逆ＤＣＴ部、１０５ 拡大部、１０６ フレームメモリ、１０７ 動き補償予測部、１０８ 加算部、１０９ フォーマット変換部、１１０ Ｄ−Ａ変換部

Claims (9)

1. 離散コサイン変換によって形成された情報で構成される動画を入力する入力手段と、
   前記入力手段によって入力された動画を構成するフレームから、マクロブロックを抽出する抽出手段と、
   前記抽出手段によって抽出されたマクロブロックのうち、一部の領域について逆離散コサイン変換をかけて逆変換情報を生成する逆変換手段と、
   前記逆変換手段によって生成された逆変換情報に基づいた復号画像を集合して、再生するフレームを生成する生成手段と、
   を備えることを特徴とする動画像復号装置。
2. 前記逆変換手段によって生成された逆変換情報を拡大することにより、前記抽出手段によって抽出されたマクロブロックに対応する復号画像を生成する拡大手段を備え、
   前記生成手段は、前記拡大手段によって生成された復号画像を集合して、再生するフレームを生成することを特徴とする請求項１に記載の動画像復号装置。
3. 前記拡大手段は、前記逆変換手段によって生成された逆変換情報を拡大した後の復号画像の画素数を、前記抽出手段によって抽出されたマクロブロックの画素数に一致させることによって対応する復号画像を生成することを特徴とする請求項２に記載の動画像復号装置。
4. 前記フレームが再生されるタイミングが、前記フレームに対応した音声が再生されるタイミングに対して、第１の時間以上遅れているか否かを判定する判定手段を備え、
   前記判定手段によって前記フレームが再生されるタイミングが第１の時間以上遅れていると判定された場合、前記逆変換手段は、前記抽出手段によって抽出されたマクロブロックの一部の領域に対して逆離散コサイン変換をかけて逆変換情報を生成することを特徴とする請求項１〜３のいずれか一つに記載の動画像復号装置。
5. 前記判定手段によって前記フレームが再生されるタイミングが第１の時間以上遅れていないと判定された場合、前記逆変換手段は、前記抽出手段によって抽出されたマクロブロックのすべての領域に対して逆離散コサイン変換をかけて逆変換情報を生成することを特徴とする請求項１〜３のいずれか一つに記載の動画像復号装置。
6. 前記判定手段は、前記フレームが再生されるタイミングが、前記フレームに対応した音声が再生されるタイミングに対して、第１の時間よりも短い第２の時間以上遅れているか否かを判定し、
   前記判定手段によって前記フレームが再生されるタイミングが第２の時間以上遅れていると判定された場合、前記生成手段によって生成されるフレームを、毎秒１フレームまたは２フレーム破棄することを特徴とする請求項４または５に記載の動画像復号装置。
7. 離散コサイン変換によって形成された情報で構成される動画を入力する入力工程と、
   前記入力工程によって入力された動画を構成するフレームから、マクロブロックを抽出する抽出工程と、
   前記抽出工程によって抽出されたマクロブロックのうち、一部の領域について逆離散コサイン変換をかけて逆変換情報を生成する逆変換工程と、
   前記逆変換工程によって生成された逆変換情報に基づいた復号画像を集合して、再生するフレームを生成する生成工程と、
   を含むことを特徴とする動画像復号方法。
8. 離散コサイン変換によって形成された情報で構成される動画を入力する入力工程と、
   前記入力工程によって入力された動画を構成するフレームから、マクロブロックを抽出する抽出工程と、
   前記抽出工程によって抽出されたマクロブロックのうち、一部の領域について逆離散コサイン変換をかけて逆変換情報を生成する逆変換工程と、
   前記逆変換工程によって生成された逆変換情報に基づいた復号画像を集合して、再生するフレームを生成する生成工程と、
   をコンピュータに実行させることを特徴とする動画像復号プログラム。
9. 請求項８に記載の動画像復号プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。

Images