JP4390666B2

JP4390666B2 - 圧縮映像データ及び圧縮音声データの復号再生方法及び復号再生装置

Info

Publication number: JP4390666B2
Application number: JP2004266201A
Authority: JP
Inventors: 直也川上
Original assignee: NEC Electronics Corp
Current assignee: NEC Electronics Corp
Priority date: 2004-09-14
Filing date: 2004-09-14
Publication date: 2009-12-24
Anticipated expiration: 2024-09-14
Also published as: JP2006086553A

Description

本発明は、圧縮映像データ及び圧縮音声データの復号再生方法及び復号再生装置に関し、特に、途中再生時に映像データと音声データの同期再生を行う方法に関するものである。

デジタル化された映像データ、音声データを圧縮符号化し、１本のデータストリームに多重化する方式としてＭＰＥＧ１方式がある。ＭＰＥＧ１システムストリームのデータ構造について図３を用いて説明する。ＭＰＥＧ１方式によって圧縮符号化された映像データストリーム及び音声データストリームは、エレメンタリーストリームと呼ばれる。これらのエレメンタリーストリームはパケットと呼ばれる単位に分割されて多重化される。パケットには、パケットヘッダが付加され、パケットヘッダにはデータストリームを識別するためのストリーム識別コード、同期再生を行うための時間情報であるＰＴＳ（Presentation Time Stamp）、さらに画像データの場合はデータ復号順序を示す時間情報であるＤＴＳ（Decoding Time Stamp）等が記述される。

さらに、任意の数のパケットの集合によるパックと呼ばれる単位が形成される。パックにはパックヘッダが付加され、パックヘッダには、パック開始コード、ＳＣＲ（System Clock Reference）と呼ばれる基準クロック情報等が記述される。ＭＰＥＧ１システムでは、映像と音声の同期再生を行うためにＳＴＣ（System Time Clock）と呼ばれる基準時間が定義されており、ＭＰＥＧ１復号再生装置は９０ｋＨｚのＳＴＣを備えている。従来のＭＰＥＧ１復号再生装置は、パックヘッダ中のＳＣＲを参照して符号化時の基準時間をＳＴＣで再現することにより、映像と音声を同期再生する際に必要な基準時間を確定する。

また、図３に示すように、パックヘッダの後にシステムヘッダを付加することもでき、システムヘッダには、個々のエレメンタリーストリームのビットレート等が記述される。このように、パック単位に映像、音声等の複数のエレメンタリーストリームを多重化して１本のストリームとしたものをＭＰＥＧ１システムストリームと呼ぶ。

次に、ＭＰＥＧ１システムストリームから映像データ及び音声データの同期再生を行う従来のＭＰＥＧ１復号再生装置４０の構成を、図４を用いて説明する。復号再生を行う際には、転送装置４１から出力されたＭＰＥＧ１システムストリームがＤＥＭＵＸ４２に入力される。ここで、転送装置４１は、ＣＤ−ＲＯＭ、ハードディスク等の記憶媒体からＭＰＥＧ１システムストリームを抽出して出力する装置である。ＤＥＭＵＸ４２は、パケットヘッダ内のストリーム識別コードに基づいて、入力されたＭＰＥＧ１システムストリームを映像データストリーム（ビデオエレメンタリストリーム、以下ビデオＥＳと呼ぶ）と音声データストリーム（オーディオエレメンタリストリーム、以下オーディオＥＳと呼ぶ）に分離するデマルチプレクサであり、それぞれをビデオデコーダ４４、オーディオデコーダ４５に出力する。

また、ＤＥＭＵＸ４２は、パックヘッダから抽出したＳＣＲの値をＳＴＣ生成部４３に出力する。ＳＴＣ生成部４３は、受信したＳＣＲ値と自己のＳＴＣが一致するよう調整を行い、ビデオデコーダ４４及びオーディオデコーダ４５にＳＴＣを配信する。具体的には、ＳＣＲに符号化時の基準時刻が９０ｋＨｚ単位のカウンタ値で示されており、ＳＴＣ生成部４３は、自己が備えているＳＴＣカウンタの値を受信したＳＣＲに一致させることにより、符号化時の基準時刻を再現する。

ビデオデコーダ４４は、ＤＥＭＵＸ４２から受信したビデオＥＳをデコードし、映像信号を出力する。受信したビデオＥＳは、いったん入力バッファ４４１に蓄積される。ＤＴＳ・ＰＴＳ比較部４４３は、入力バッファ４４１に蓄積されたビデオＥＳからＤＴＳ及びＰＴＳを取得し、取得したＤＴＳ及びＰＴＳをＳＴＣ生成部４３から配信される基準時間ＳＴＣと比較する。さらに、ＤＴＳ・ＰＴＳ比較部４４３は、ＤＴＳとＳＴＣが一致するタイミングでビデオＥＳに含まれるピクチャのデコードを行うようビデオ復号部４４２に対して指示し、ＰＴＳとＳＴＣが一致するタイミングでデコード後の映像信号を出力するようビデオ復号部４４２に対して指示する。ビデオ復号部４４２は、入力バッファ４４１からビデオＥＳを取得し、ＤＴＳ・ＰＴＳ比較部４４３が指示するタイミングに従ってデコードを行い、デコード後の映像信号を出力する。

オーディオデコーダ４５は、ＤＥＭＵＸ４２から受信したオーディオＥＳをデコードし、音声信号を出力する。受信したオーディオＥＳは、いったん入力バッファ４５１に蓄積される。ＰＴＳ比較部４５３は、入力バッファ４５１に蓄積されたオーディオＥＳからＰＴＳを取得し、取得したＰＴＳをＳＴＣ生成部４３から配信されるＳＴＣと比較する。さらに、ＰＴＳ比較部４５３は、ＰＴＳとＳＴＣが一致するタイミングでデコード後の音声信号を出力するようオーディオ復号部４５２に対して指示する。オーディオ復号部４５２は、入力バッファ４５１からオーディオＥＳを取得してデコードを行い、ＰＴＳ比較部４５３が指示するタイミングに従ってデコード後の映像信号を出力する。

上述したように、従来のＭＰＥＧ１復号再生装置４０では、パケットヘッダに含まれているＰＴＳに従って映像データ及び音声データの再生出力タイミングを決定してすることにより、映像と音声の同期再生を可能としている。なお、ＭＰＥＧ１システムストリームの途中から再生を行う場合（以下、途中再生と呼ぶ）であっても、ＰＴＳを用いることによって映像と音声の同期（以下、ＡＶ同期と呼ぶ）が可能である。以下では、途中再生時におけるＰＴＳを用いたＡＶ同期処理について、図５及び図６を参照して説明する。

図５は、途中再生時のＡＶ同期を示すタイミング図である。図５の横軸はＳＴＣ値を示している。このＳＴＣ値は、ＳＴＣ生成部４３において、パックヘッダから取得したＳＣＲ値と一致するよう決められて配信されるものである。図５（ａ）は、途中再生時に転送装置４１及びＤＥＭＵＸ４２を経由して、ビデオＥＳがビデオデコーダ４４の備える入力バッファ４４１に入力されるタイミングを示している。図中のＩ１、Ｐ１、Ｂ１等はそれぞれ、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのフレームであることを示している。図５（ｂ）及び（ｃ）は、図５（ａ）に示すビデオＥＳの各ピクチャに付与されたＰＴＳ値及びＤＴＳ値を示している。

ここで、Ｉピクチャ、Ｐピクチャ及びＢピクチャとは、映像フレーム（ピクチャ）の符号化方法の違いを示したものであり、ＭＰＥＧ１方式では、ビデオＥＳを構成するピクチャは、Ｉピクチャ、Ｐピクチャ及びＢピクチャのいずれかに符号化される。Ｉピクチャは、自己のフレーム（ピクチャ）内の情報だけを使用して符号化するフレーム内符号化方式により符号化されており、他のピクチャの情報を必要とせずに復号を行うことができる。一方、Ｐピクチャは、過去のＩピクチャから順方向のフレーム（ピクチャ）間予測を行って差分を符号化したものであり、デコードの際には過去のＩピクチャの情報を必要とする。さらに、Ｂピクチャは、過去及び未来の２つのピクチャからピクチャ間予測符号化を行ったものであり、デコードの際には過去のＩピクチャの情報に加えて未来のＰピクチャの情報を必要とする。

図５（ｆ）は、図５（ｃ）のＤＴＳ値に従って図５（ａ）のビデオ復号部４４２においてビデオＥＳがデコードされるタイミングを示したものである。ここで、デコードされるピクチャの先頭はピクチャＩ１であり、ＤＴＳ値が９９乃至１０１であるピクチャＰ１、Ｂ１及びＢ２のデコードは行われない。これは、ピクチャＰ１、Ｂ１及びＢ２をデコードする際に必要となる過去のＩピクチャが途中再生されたビデオＥＳ中に存在せず、これらのフレーム間予測符号化されたピクチャをデコードすることができないためである。このため、単独でデコード可能なピクチャＩ１からデコードが開始される。なお、デコードすることができないピクチャＰ１、Ｂ１及びＢ２は入力バッファ４４１及びビデオ復号部４４２から廃棄される。

図５（ｇ）は、図５（ｂ）のＰＴＳ値に従ってデコードされた映像信号がビデオ復号部４４２から出力されるタイミングを示したものである。上述したように、ピクチャＰ１、Ｂ１及びＢ２はデコード不可能であるため、Ｉ１に対応する映像信号から出力が行われる。

一方、図５（ｄ）は、オーディオＥＳがオーディオデコーダ４５の備える入力バッファ４５１に入力されるタイミングを示しており、図５（ｅ）は、図５（ｄ）のオーディオＥＳに対応するＰＴＳ値を示している。また、図５（ｈ）は、ビデオ復号部４４２において図５（ｅ）のＰＴＳ値に従って図５（ｄ）のオーディオＥＳがデコードされ、デコード後の音声信号が出力されるタイミングを示したものである。音声信号の出力は、ＳＴＣ値１００の時点からＡ１の出力を開始することとしてもよいが、通常は、映像信号出力が可能となるＳＴＣ値１０３の時点から、映像信号Ｉ１と同一のＰＴＳ値を持つ音声信号Ａ４の出力を開始することにより、映像と音声の再生を同時に始めることが行われている。

図６は、ＰＴＳを用いたＡＶ同期処理の手順を示すフローチャートである。ステップＳ１では、オーディオデコーダ４５が備えるＰＴＳ比較部４５３が、途中再生されたオーディオＥＳの先頭パケットに付与されたオーディオＰＴＳを取得する。ステップＳ２では、ビデオデコーダ４４が備えるビデオ復号部４４２が、入力バッファ４４１に蓄積されているビデオＥＳからピクチャを順次読み出して取得する。ビデオ復号部４４２では読み出したピクチャがＩピクチャであるか判定を行い（ステップＳ３）、Ｉピクチャでないピクチャは、上述したようにデコード不可能であるため、取得したピクチャを廃棄して次のピクチャの読み出しを行う。他方、読み出したピクチャがＩピクチャである場合は、ＤＴＳ・ＰＴＳ比較部４４３において、当該Ｉピクチャに付与されたＰＴＳ及びＤＴＳの取得が行われる（ステップＳ４）。

ステップＳ５では、オーディオデコーダ４５が備えるＰＴＳ比較部４５３が、ＳＴＣ生成部４３から配信されるＳＴＣの値とステップＳ１で取得したＰＴＳ値との比較を行って、両者が一致するタイミングでオーディオ復号部４５２に対してデコード後の音声信号を出力するよう指示する。ステップＳ６では、ＰＴＳ比較部４５３から指示されたタイミングに従って、オーディオ復号部４５２がオーディオＥＳのデコード及び音声信号の出力を行う。

ステップＳ７では、ＤＴＳ・ＰＴＳ比較部４４３が、ＳＴＣ生成部４３から配信されるＳＴＣの値とステップＳ４で取得したＰＴＳ及びＤＴＳの値との比較を行って、両者が一致するタイミングでビデオ復号部４４２に対してピクチャのデコード及びデコード後の映像信号の出力を行うよう指示する。ステップＳ８では、ＤＴＳ・ＰＴＳ比較部４４３から指示されたタイミングに従って、ビデオ復号部４４２がピクチャのデコード及び映像信号の出力を行う。

以上に説明したように、従来のＭＰＥＧ１復号再生装置では、ビデオＰＴＳ及びオーディオＰＴＳがＳＴＣカウンタの値と一致するタイミングで映像信号及び音声信号の出力を開始することにより、途中再生の場合であってもＡＶ同期を行うことができる。このように、ＰＴＳを用いてＡＶ同期を確立することにより途中再生を行う復号再生装置は、例えば、特許文献１乃至２に開示されている。
特開平７−１７０４９０号公報特開平９−２１９８３８号公報

上述したように、従来のＭＰＥＧ１復号再生装置で行われるＡＶ同期処理は、ＰＴＳを使用して行われている。しかしながら、ＩＳＯ／ＩＥＣ１１１７２−１に定められるＭＰＥＧ１規格では、必ずしも全てのピクチャにビデオＰＴＳを付与する必要はなく、ＭＰＥＧ１システムストリームの先頭に位置するピクチャ以外のピクチャをパケット化する際には、ビデオＰＴＳを付与しないことも許容されている。ビデオＰＴＳが付与されなければ、上述したＰＴＳを使用する方式によってＡＶ同期を行うことはできない。このように、ビデオＰＴＳが付与されていないＭＰＥＧ１システムストリームの復号再生を開始すると、ＡＶ同期が取れないばかりでなく、映像と音声の再生開始タイミングの同期を取ることもできないため、映像と音声の出力を同時に開始することができないという課題がある。具体的には、ＰＴＳとＳＴＣの一致による再生タイミングの決定ができないために、映像信号の出力は最初に取得したＩピクチャに相当する映像信号から開始し、音声信号の出力はオーディオＥＳの先頭に相当する音声信号から開始すると、両者の出力開始時間には、先頭のＩピクチャを取得前にデコードされずに廃棄されるピクチャの再生時間の分だけタイムラグが生じることになる。

本発明にかかる復号再生方法は、少なくとも画像フレームをフレーム内符号化した第１ピクチャ及び画像フレームをフレーム間予測符号化した第２ピクチャにより構成される圧縮映像データストリームと圧縮音声データストリームから、映像データ及び音声データの復号再生を行う方法であって、前記圧縮映像データストリームの先頭からみて最初の前記第１ピクチャを検出し、前記圧縮映像データストリームの先頭から前記最初の第１ピクチャの直前に位置する前記第２ピクチャまでを再生した場合の再生時間を算出し、前記最初の第１ピクチャを復号化して得られる映像データから映像出力を開始し、前記圧縮音声データストリームを復号化して得られる音声データストリームの先頭から、前記再生時間分だけ後の音声データより音声出力を開始するものである。

一方、本発明にかかる復号再生装置は、少なくとも画像フレームをフレーム内符号化した第１ピクチャ及び画像フレームをフレーム間予測符号化した第２ピクチャにより構成される圧縮映像データストリームから映像データを復号再生するビデオデコーダと、圧縮音声データストリームから音声データを復号再生するオーディオデコーダとを備え、前記ビデオデコーダは、前記圧縮映像データストリームの先頭からみて最初の前記第１ピクチャを復号化して得られる映像データから映像出力を開始し、前記オーディオデコーダは、前記圧縮音声データストリームを復号化して得られる音声データストリームの先頭から、前記最初の第１ピクチャより前に位置する全てのピクチャの再生時間に対応する音声データを飛び越し、前記再生時間に対応する音声データより後の音声データより音声出力を開始するよう構成したものである。

本発明にかかる復号再生方法又は復号再生装置によれば、音声信号の出力開始タイミングを前記最初の第１ピクチャより前に位置するピクチャの再生時間に相当する時間だけ遅らせることができる。さらには、前記最初の第１ピクチャより前に位置するピクチャはデコードできないため、音声信号の再生開始時には再生可能な映像信号の存在しない時間がある。本発明にかかる復号再生方法又は復号再生装置によれば、この映像信号が存在しない時間に対応する音声信号を除いて再生を開始することができる。これにより、ビデオＰＴＳが検出されない場合であっても、音声信号の再生開始タイミングを映像信号の再生開始タイミングに合わせることが可能となる。

本発明により、圧縮符号化された映像ストリームにＰＴＳ等の再生時間情報が付与されていない場合であっても、映像と音声の再生開始タイミングを合わせることができる。

発明の実施の形態１．
図１に本発明の実施の形態１にかかるＭＰＥＧ１復号再生装置１０の構成を示す。ＭＰＥＧ１復号再生装置１０は、廃棄ピクチャ数をカウントするためのピクチャカウンタ１４４をビデオデコーダ１４に備え、ピクチャカウンタ１４４に集計された廃棄ピクチャ数から音声信号出力時のオフセット時間を算出するオフセット算出部１５４をオーディオデコーダ１５に備えている。ＭＰＥＧ１復号再生装置１０が備える転送装置４１、ＤＥＭＵＸ４２及びＳＴＣ生成部４３の機能は、従来のＭＰＥＧ１復号再生装置４０が備えるものと同等であるため、説明を省略する。

ビデオデコーダ１４は、ＤＥＭＵＸ４２から受信したビデオＥＳをデコードし、映像信号の出力を行う。ここで、入力バッファ４４１及びＤＴＳ・ＰＴＳ比較部４４３の機能は、図４に示した従来のＭＰＥＧ１復号再生装置４０が備えるものと同等である。

ビデオ復号部１４２は、従来のＭＰＥＧ１復号再生装置４０が備えるビデオ復号部４４２と同様に、入力バッファ４４１からピクチャを取得し、ＤＴＳ・ＰＴＳ比較部４４３の指示によって、ＤＴＳで示される復号順序に従ってデコードを行い、ＰＴＳで示される再生順序に従って復号後の映像信号を出力できるよう構成されている。加えて、ビデオ復号部１４２は、ＰＴＳが取得できないためにＤＴＳ・ＰＴＳ比較部４４３から再生タイミングの指示を得られない場合には、先頭Ｉピクチャから順次再生を行うよう構成されている。

ビデオ復号部１４２は、ビデオＥＳの先頭に位置するＩピクチャを取得するまでＰピクチャ及びＢピクチャの廃棄を行う点も従来のビデオ復号部４４２と同様であるが、さらに、ピクチャカウンタ１４４に対してピクチャを廃棄したことを通知するよう構成されている。ピクチャカウンタ１４４は、ビデオ復号部１４２においてビデオＥＳの先頭に位置するＩピクチャを検出するまでに廃棄されたピクチャ数を計数するカウンタであり、ビデオ復号部１４２がピクチャを廃棄した旨の通知を受けて廃棄ピクチャ数を順次カウントしていく。

オーディオデコーダ１５は、ＤＥＭＵＸ４２から受信したオーディオＥＳをデコードし、音声信号の出力を行う。ここで、入力バッファ４５１及びＰＴＳ比較部４５３の機能は、従来のＭＰＥＧ１復号再生装置４０が備えるものと同等である。

オフセット算出部１５４は、ピクチャカウンタ１４４が保持する廃棄ピクチャ数を参照して、廃棄ピクチャ数に相当する再生時間Ｔ_Ｐの算出を行う。再生時間Ｔ_Ｐは以下の式（１）、
Ｔ_Ｐ＝ＰＩＣ＿ＣＮＴ×Ｔ_Ｆ・・・・（１）
により算出する。ここで、ＰＩＣ＿ＣＮＴは廃棄ピクチャ数であり、Ｔ_Ｆは１ピクチャ当たりの再生時間である。Ｔ_Ｆの値は、ビデオＥＳが従うテレビ信号形式によって定まるものであり、ＮＴＳＣ方式であれば１／３０秒、ＰＡＬ方式であれば１／２４秒である。

オーディオ復号部１５２は、従来のＭＰＥＧ１復号再生装置４０が備えるオーディオ復号部４５２と同様に、入力バッファ４５１からオーディオＥＳを取得し、ＰＴＳ比較部４５３の指示によって、ＰＴＳで示される再生タイミングに従ってデコード後の映像信号を出力できるよう構成されている。加えて、オーディオ復号部１５２は、オフセット算出部１５４で算出された廃棄ピクチャ数に相当する再生時間Ｔ_Ｐ分のオーディオデータを再生される音声信号の先頭から廃棄することにより、出力開始タイミングを遅らせて出力を開始できるよう構成されている。

このような構成により、映像ストリームにＰＴＳが付与されていない場合であっても、映像と音声の再生開始タイミングを合わせることが可能となる。

続いて、本実施の形態にかかるＭＰＥＧ１復号再生装置１０で行うＡＶ同期及び再生タイミングの同期処理フローを、図２を用いて説明する。なお、ピクチャにビデオＰＴＳが付与されており、ビデオＰＴＳの取得が可能である場合におけるＡＶ同期処理は、図６を用いて説明した従来の処理と同様であるため、これに関する処理ステップには、図６と同じ記号を付与している。

まず、ステップＳ１からＳ３は、図６を用いて説明した従来の処理と同様である。ステップＳ２２では、ステップＳ３において取得したピクチャがＰピクチャ又はＢピクチャであるためにピクチャ廃棄を行った場合、ピクチャカウンタ１４４が保持する廃棄ピクチャ数のカウントアップを行う。

ステップＳ２１では、ステップＳ３において取得した先頭ＩピクチャにビデオＰＴＳが付与されているか否かの判定が、ＤＴＳ・ＰＴＳ比較部４４３において行われる。ビデオＰＴＳが付与されている場合は、ステップＳ４からＳ８の処理を行うが、これらの処理ステップは図６を用いて説明した従来の処理ステップと同様であるため説明を省略する。

他方、ステップＳ２１において先頭ＩピクチャにビデオＰＴＳが付与されていないと判断された場合は、ステップＳ２３からＳ２５の処理を行う。ステップＳ２３では、オフセット算出部１５４が、上述した（１）式により廃棄ピクチャ数に相当する再生時間Ｔ_Ｐの算出を行う。続く、ステップＳ２４では、オーディオ復号部１５２が、再生時間Ｔ_Ｐ分のオーディオデータを、オーディオＥＳの先頭から廃棄する。最後に、ステップＳ２５では、ビデオ復号部１４２が先頭Ｉピクチャから映像信号の出力を開始し、オーディオ復号部１５２がオーディオデータ廃棄後の先頭データから音声信号の出力を開始する。

このように処理することにより、音声信号の出力開始タイミングを、ビデオデコーダ１４において廃棄されたピクチャの再生時間に相当する時間だけ遅くすることができ、さらに、映像信号が存在しない部分の音声信号を除いて再生を開始することができる。これによって、ビデオＰＴＳが検出されない場合であっても、映像信号と音声信号の再生開始タイミングを合わせることが可能となる。

なお、以上の説明では、ＭＰＥＧ１システムストリームを復号再生する際にビデオＥＳからビデオＰＴＳを取得できない場合に、映像信号と音声信号の再生開始タイミングを合わせることができる復号再生装置について説明したが、本発明はＭＰＥＧ１復号再生装置に限定されるものではなく、ＭＰＥＧ２プログラムストリームを復号再生するＭＰＥＧ２復号再生装置において、ＰＥＳ（Packetized Elementary Stream）パケットからピクチャの再生タイミングを指示するＰＴＳが取得できないときにも適用可能であることは言うまでもない。

本発明にかかるＭＰＥＧ１復号再生装置の構成図である。本発明にかかるＡＶ同期処理を示すフローチャートである。ＭＰＥＧ１システムストリームのデータ構造を示す図である。従来のＭＰＥＧ１復号再生装置の構成図である。ＡＶ同期を説明するためのタイミングチャートである。従来のＡＶ同期処理を示すフローチャートである。

符号の説明

１０ＭＰＥＧ１復号再生装置
１４ビデオデコーダ
１５オーディオデコーダ
１４４ピクチャカウンタ
１５４オフセット算出部

Claims

少なくとも画像フレームをフレーム内符号化した第１ピクチャ及び画像フレームをフレーム間予測符号化した第２ピクチャにより構成される圧縮映像データストリームと圧縮音声データストリームから、映像データ及び音声データの復号再生を行う方法であって、
前記圧縮映像データストリームの先頭からみて最初の前記第１ピクチャを検出し、
前記圧縮映像データストリームにおいて前記最初の第１ピクチャより表示順序が前に位置する全てのピクチャを再生したと仮定した場合の再生時間を算出し、
前記最初の第１ピクチャを復号化して得られる映像データから映像出力を開始し、
前記圧縮音声データストリームを復号化して得られる音声データストリームの先頭から、前記再生時間分だけ後の音声データより音声出力を開始する復号再生方法。
前記再生時間は、前記圧縮映像データストリームの先頭に物理的に位置するピクチャから前記最初の第１ピクチャの直前に物理的に位置するピクチャまでのピクチャ数と、予め定められたピクチャ当たりの再生時間に基づいて算出する請求項１に記載の復号再生方法。
少なくとも画像フレームをフレーム内符号化した第１ピクチャ及び画像フレームをフレーム間予測符号化した第２ピクチャにより構成される圧縮映像データストリームから映像データを復号再生するビデオデコーダと、
圧縮音声データストリームから音声データを復号再生するオーディオデコーダとを備え、
前記ビデオデコーダは、前記圧縮映像データストリームの先頭からみて最初の前記第１ピクチャを復号化して得られる映像データから映像出力を開始し、
前記オーディオデコーダは、前記圧縮音声データストリームを復号化して得られる音声データストリームの先頭から、前記最初の第１ピクチャより表示順序が前に位置する全てのピクチャの再生時間に対応する音声データを飛び越し、前記再生時間に対応する音声データより後の音声データより音声出力を開始することを特徴とする復号再生装置。
前記再生時間を算出する算出手段をさらに備え、
前記オーディオデコーダは、前記圧縮音声データストリームを復号化して得られる音声データストリームの先頭から、前記算出手段において算出された再生時間分だけ後の音声データより音声出力を開始する請求項３に記載の復号再生装置。
前記算出手段は、前記圧縮映像データストリームの先頭からみて最初の前記第１ピクチャより物理的に前に位置するピクチャの数をカウントし、カウントして得られたピクチャ数と、予め定められたピクチャ当たりの再生時間に基づいて前記再生時間を算出する請求項４に記載の復号再生装置。