JP4992931B2 - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Description

この発明は、ビデオとそれに付随する字幕、グラフィックス等のサブピクチャの記録および再生のための情報処理装置および方法、プログラム、並びに記録媒体に関する。

ディスクメディア等のパッケージメディアに映画等のビデオ素材を記録する場合、ビデオストリームとそれに付随するオーディオ、字幕やグラフィックスを多重化したストリームが記録される。例えばＤＶＤ(Digital Versatile Disc またはDigital Video Disc) では、ＭＰＥＧ２で符号化されたビデオストリームとそれに付随するオーディオやサブピクチャ（字幕、グラフィックス、静止画等のメインのビデオ以外の映像情報を意味する）を多重化したＭＰＥＧ２プログラムストリームが記録される。

ＤＶＤのプログラムストリーム上では、あるビデオフレームのデータアドレスとそのビデオに同期表示されるサブピクチャユニットのデータアドレスが隣接していないことが多い。また、１つのサブピクチャユニットは、２０４８バイト長のパックに分割され、各パックがストリーム上で離散的に配置される。

先に、ディスク上にオーディオビデオストリーム（以下、ＡＶストリームと適宜称する）を記録する場合、高速再生のような特殊再生を可能とするために、ストリーム中のＩピクチャの位置等を記録したアドレステーブルを持つ管理方法が本願出願人によって提案されている（例えば特許文献１参照）。

ビデオ、オーディオとサブピクチャが多重化されている多重化ＡＶストリーム（例えばＤＶＤビデオのＭＰＥＧ２プログラムストリームファイル）がディスク媒体に記録されている時には、ランダムアクセス再生が図１に示すようになされる。先ず、ランダムアクセスしたい再生時間ＰＴＳ(Presentation Time Stamp;再生出力の時刻管理情報）のＩピク
チャに同期して再生されるサブピクチャが開始するパックのアドレスが求められる。図１において、Ｐm1がアクセスしたい再生時間ＰＴＳのＩピクチャが開始するパックを示す。

求められたサブピクチャのアドレスからデータのリードが開始される。図１において、Ｐs1がアクセスしたい再生時間ＰＴＳのＩピクチャに同期して再生されるサブピクチャが開始するパックを示す。そのサブピクチャのデータを全て読み出すまで、リード動作を続ける。図１では、Ｐs1，Ｐs2，・・・，Ｐsnがそのサブピクチャの全データが入っているｎ個のパックを示している。このリード動作では、サブピクチャのパックの間に存在するサブピクチャ以外のパックのデータも読み出さねばならない。

このリードが終了すると、ランダムアクセスしたい再生時間のＩピクチャが開始するパックＰm1のアドレスにジャンプする。そして、そのアドレスから読み出しを再開する。これによって、ランダムアクセスしたところのビデオとそれに同期するサブピクチャを再生することができる。

ビデオとそれに付随する符号化されたオーディオ、符号化されたサブピクチャを１つの多重化ストリームにまとめ、この多重化ストリームを記録する方法の他に、ビデオストリームとそれに付随するサブピクチャを別々のストリームとして記録する方法がある。この場合、プレーヤは、同時に複数のストリームを記録媒体から読み出して、それらを同時にデコードする必要がある。

図２は、メインＡＶストリーム（オーディオパケットおよびビデオパケットを多重化したストリーム）とサブストリーム（メインストリームのオーディオ、ビデオ以外のサブピクチャのパケットを多重化したストリーム）とが記録媒体上に別々に記録されている場合の再生方法を示す。ディスク上では、各ストリームが連続記録領域にそれぞれ記録されている。

プレーヤは、メインＡＶストリームの読み出しを開始し、サブストリームのデータが必要な時点となると、サブストリームにジャンプし（ジャンプ１）、サブストリームを再生し、必要なサブストリーム中のデータの読み出しを終了すると、メインＡＶストリームの読み出しに戻るためにジャンプする（ジャンプ２）。各ストリームから読み出されたデータは、連続再生できるようにデコーダに供給される。このように、メインＡＶストリームのリードが止まってから、次にそのリードが再開するまでに、２回のジャンプ動作が必要とされる。

特開２００２−１５８９７２号公報

図１に示されるように、ビデオとそれに付随するオーディオ、字幕、グラフィックスが１つの多重化ストリームとして記録されていると、ランダムアクセス再生時にサブピクチャのデータをストリームから取り出すことが容易でない。すなわち、サブピクチャ以外のデータも読み出す必要があるために、読み出すことが必要なデータ量が多くなる問題がある。

図２に示されるように、ビデオストリームとそれに付随する字幕やグラフィックスを別々のストリームで記録する方法では、プレーヤが２本のストリームをディスクから交互に読み出すために、読み出しの切り替え時にジャンプが必要である。さらに、読み出された各ストリームを連続再生できるように、各ストリームをデコーダに供給するために、ストリームのビットレートを低く抑えることが必要になる。そのために、ビデオストリームの符号化ビットレートを低くしなければならないので、ビデオ等の符号化画質が低下する問題がある。

したがって、この発明の目的は、オーディオビデオなどのメインストリームに付随する字幕や、グラフィックス等のサブピクチャのサブストリームが記録媒体に記録されている時に、プレーヤがサブストリームを容易に読み出せることができ、また、メインストリームのビットレートの制限が少ない情報処理装置および方法、プログラム、並びに記録媒体を提供することにある。

上述した課題を解決するために、この発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理装置であって、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータがバッファメモリに供給され、バッファメモリの出力データが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、ビデオストリーム、オーディオストリーム、および画像ストリームをそれぞれ分離する分離手段と、
再生されたストリームから分離手段によって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
分離手段によって分離されたビデオパケットおよびオーディオパケットが供給され、デコードタイムスタンプを無視してビデオストリームおよびオーディオストリームを復号する第１の復号手段と、
分離手段によって分離された画像パケットが供給され、デコードタイムスタンプを無視して画像ストリームを復号する第２の復号手段と、
第１の復号手段から出力されるビデオ信号と、第２の復号手段から出力される画像信号とを合成して表示用ビデオ信号を生成し、時刻基準生成手段で生成された時刻基準信号に基づいて、表示用ビデオ信号と、第１の復号手段から出力されるオーディオ信号とを同期して出力する手段と
からなる情報処理装置である。

この発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法であって、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータがバッファメモリに供給され、バッファメモリの出力データが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、ビデオストリーム、オーディオストリーム、および画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、デコードタイムスタンプを無視してビデオストリームおよびオーディオストリームを復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、デコードタイムスタンプを無視して画像ストリームを復号する第２の復号ステップと、
第１の復号ステップで得られるビデオ信号と、第２の復号ステップで得られる画像信号とを合成して表示用ビデオ信号を生成し、時刻基準生成ステップで生成された時刻基準信号に基づいて、表示用ビデオ信号と、第１の復号ステップから出力されるオーディオ信号とを同期して出力するステップと
を有する情報処理方法である。

この発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法のプログラムであって、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータがバッファメモリに供給され、バッファメモリの出力データが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、ビデオストリーム、オーディオストリーム、および画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、デコードタイムスタンプを無視してビデオストリームおよびオーディオストリームを復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、デコードタイムスタンプを無視して画像ストリームを復号する第２の復号ステップと、
第１の復号ステップで得られるビデオ信号と、第２の復号ステップで得られる画像信号とを合成して表示用ビデオ信号を生成し、時刻基準生成ステップで生成された時刻基準信号に基づいて、表示用ビデオ信号と、第１の復号ステップから出力されるオーディオ信号とを同期して出力するステップと
を有する情報処理方法のプログラムである。

この発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法のプログラムであって、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータがバッファメモリに供給され、バッファメモリの出力データが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、ビデオストリーム、オーディオストリーム、および画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、デコードタイムスタンプを無視してビデオストリームおよびオーディオストリームを復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、デコードタイムスタンプを無視して画像ストリームを復号する第２の復号ステップと、
第１の復号ステップで得られるビデオ信号と、第２の復号ステップで得られる画像信号とを合成して表示用ビデオ信号を生成し、時刻基準生成ステップで生成された時刻基準信号に基づいて、表示用ビデオ信号と、第１の復号ステップから出力されるオーディオ信号とを同期して出力するステップと
を有する情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体である。

この発明では、オーディオビデオなどのメインストリームと、メインストリームに付随する字幕やグラフィックスなどのサブストリームがインターリーブして連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。したがって、各ストリームを連続再生できるように、ストリームをデコーダへ供給することを保証するために、ストリームの符号化ビットレートを低くする必要がなく、ビデオ等の画質が劣化する問題が生じない。

この発明では、メインストリームとサブストリームが共通の時刻基準信号（ＳＴＣ）を参照するように、ストリームを符号化するので、メインストリームとサブストリームの同期再生を容易にできる。

メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤの値が重複しないように、ストリームを符号化するので、各エレメンタリストリームのデマルチプレックス（分離）を容易にできる。

メインＡＶデータとサブピクチャが多重化されているストリームをランダムアクセス再生する従来の方法を説明するための略線図である。 従来のＡＶストリームとサブストリームを別々のストリームとして記録した場合の従来の再生方法を説明するための略線図である。 この発明によるメインストリームおよびサブストリームの記録方法を説明するための略線図である。 トランスポートストリームの場合のこの発明による記録方法を説明するための略線図である。 この発明によるレコーダシステムの一例の構成を示すブロック図である。 この発明による記録方法の処理の流れを示すフローチャートである。 この発明によるプレーヤシステムの一例の構成を示すブロック図である。 この発明によるプレーヤシステムの他の例の構成を示すブロック図である。 この発明によるプレーヤシステムの他の例の再生方法の処理の流れを示すフローチャートである。 この発明によりインターリーブして記録されている２個のトランスポートストリームをランダムアクセス再生する方法を説明するための略線図である。

以下、この発明の一実施形態について図面を参照して説明する。図３は、この発明における記録データの生成方法の一例を示す。オーディオビデオなどのメイン多重化オーディオビデオストリームファイル（以下、適宜メインＡＶストリームと称する）と、それに付随する字幕やグラフィックス等のサブ多重化ストリームファイル（以下、適宜サブストリームと称する）とを別々に生成する。これらのストリームは、例えばＭＰＥＧ２のプログラムストリームの形式とされている。そして、これらのストリームを図３に示すように、インターリーブして記録媒体上に記録する。

図３において、メインＡＶストリームが所定時間例えば１ＧＯＰ(Group Of Picture)毎のデータユニット１ａ，１ｂ，１ｃ，・・・に分割され、また、サブストリームが同様に１ＧＯＰ等の所定時間毎のデータユニット２ａ，２ｂ，２ｃ，・・・に分割される。例えばメインＡＶストリームのデータユニット１ａと同期して、サブストリームのデータユニット２ａが再生されるようになされる。そして、メインＡＶストリームおよびサブストリームから交互にデータユニットが選択されるように、インターリーブされ、１つのストリームが形成され、このストリームがディスク上に記録される。サブストリームのデータユニットがメインストリームのデータユニットよりも先に記録されても良い。メインストリームとサブストリームとは、共通の時刻基準信号例えばシステムタイムクロックＳＴＣ(System Time Clock:基本となる同期信号）を参照して符号化されている。これは、メイン
ストリームとサブストリームの同期再生を容易とするためである。

図４は、例えば、メインストリームとサブストリームとがそれぞれトランスポートストリームである例を示す。図４において、１つの矩形の領域がトランスポートストリームパケットを示している。トランスポートストリームパケットは、１８８バイトの固定長を有し、ヘッダ部分にパケットＩＤ（ＰＩＤ：Packet Identification)と略す）が含まれる。ＰＩＤは、ストリームの識別情報で、そのパケットが含まれるストリームの属性が示される。

また、パケットのヘッダ部分にオプションで挿入できるアダプテーションフィールド内にＰＣＲ(Program Clock Reference：プログラム時刻基準参照値)が挿入される。それぞ
れのストリームのＰＣＲが共通のＳＴＣを参照する。デコーダにおける時刻基準となるＳＴＣの値がＰＣＲの示す値にセットされる。

トランスポートストリームのメインストリームとサブストリームがインターリーブされる。上述したように、メインストリーム中の１ＧＯＰ分のデータユニットとサブストリーム中の１ＧＯＰ分のデータユニットとが１つのストリームにインターリーブされる。メインストリームとサブストリームの全てのストリーム中で、ＰＩＤが重複しないように規定されている。それによって、後述するように、プレーヤシステムにおいて、デマルチプレクサの個数を１つとできる。

図５を参照して、この発明によるレコーダシステムの一例について説明する。ビデオ入力とオーディオ入力とがＡＶエンコーダ１１に入力され、符号化およびパケット化の処理を受ける。例えばＭＰＥＧ２でビデオデータが符号化され、ＡＣ−３でオーディオデータが符号化される。ＡＶエンコーダ１１からのタイムスタンプが付加されたビデオエレメンタリストリームＶと、タイムスタンプが付加されたオーディオエレメンタリストリームＡとがマルチプレクサ（図５ではＭＵＸと表記する）１２に入力される。マルチプレクサ１２は、メインのトランスポートストリームを符号化する。そして、メインのトランスポートストリームがバッファメモリ１６へ入力される。

グラフィックス入力データとサブタイトル入力データとがグラフィックスおよびサブタイトルエンコーダ１３に入力され、符号化およびパケット化の処理を受ける。エンコーダ１３からのグラフィックスエレメンタリストリームＧとサブタイトルエレメンタリストリームＳとがマルチプレクサ１４に入力される。マルチプレクサ１４は、サブのトランスポートストリームを符号化する。そして、サブのトランスポートストリームがバッファメモリ１７へ入力される。

マルチプレクサ１２および１４のそれぞれは、次のような符号化処理を行う。すなわち、
メインストリームとサブストリームがＳＴＣ生成部１５からの、共通のシステムクロックＳＴＣを参照して符号化され、
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）が重複しないようにされ、
好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。

バッファメモリ１６および１７の出力がスイッチ部１８によって、所定時間毎に例えば１ＧＯＰ毎に選択され、スイッチ部１８の出力にインターリーブされたストリームが取り出される。バッファメモリ１６、１７およびスイッチ部１８がインターリーブ装置を構成する。インターリーブされたストリームがドライブ部１９に供給され、メディア２０に記録される。図示を省略するが、通常、スイッチ部１８とドライブ部１９の間に、エラー訂正符号化の処理を行うＥＣＣエンコーダとディジタル変調を行うディジタル変調器が設けられる。

ドライブ部１９は、メディア（例えば記録可能な光ディスク）２０を回転させ、光学的ヘッドによって記録データを所定の書き込み位置に記録する構成とされている。ドライブ部１９は、メディア２０の回転サーボ、光学的ヘッドに対するトラッキングサーボおよびフォーカスサーボのためのサーボ部を有している。インターリーブされたストリームが光学的ヘッドによってメディア２０に記録される。

図６は、記録方法の処理の流れを示すフローチャートである。図６では、省略されているが、ステップＳ１０１の前の段階において、入力されたビデオデータおよびオーディオデータに対して符号化処理がなされ、グラフィックスデータおよびサブタイトルデータに対して符号化処理がなされる。

ステップＳ１０１において、ＡＶデータからなるメインのトランスポートストリーム（図ではＴＳと表記する）とグラフィックスおよびサブタイトルのデータからなるサブのトランスポートストリームの全てのエレメンタリストリームのＰＩＤの値が重複しないような値に決定される。

ステップＳ１０２において、共通のシステムタイムクロックＳＴＣを参照して、メイントランスポートストリームとサブトランスポートストリームが符号化される。好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。

ステップＳ１０３において、メイントランスポートストリームとサブトランスポートストリームがインターリーブされ、インターリーブされたストリームが記録媒体に記録される。

図７は、上述したように、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムを示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えで読み出し位置のジャンプ動作は、不要である。

入力端子３１に対してメディア例えば光ディスクから読み出されたデータが供給され、読み出しデータがバッファメモリ３２に蓄えられる。バッファメモリ３２の出力には、デインターリーブ用のスイッチ部３３が設けられている。スイッチ部３３によって、メインストリームのデータがバッファメモリ３４へ入力され、サブストリームのデータがバッファメモリ３５へ入力される。

バッファメモリ３４から出力されるメインストリームのデータがデマルチプレクサ（図中、ＤＥ−ＭＵＸと表記されている）３６へ入力される。デマルチプレクサ３６は、ＰＩＤに基づいてメインストリーム中の各パケットの属性を判別し、判別結果に基づいて属性毎にパケットデータを分離する。デマルチプレクサ３６によって抜き出されたＰＣＲパケットがＳＴＣ（システムタイムクロック）生成部３８へ供給される。

ＳＴＣ生成部３８は、ＰＣＲパケットのＰＣＲの値に基づいて２７ＭHzのクロックおよびＳＴＣを生成する。ＳＴＣ生成部３８は、一例として、ＰＣＲとカウンタの出力とを比較する比較器と、比較器の出力が供給されるローパスフィルタと、ローパスフィルタの出力が制御電圧として供給され、２７ＭHzのクロックを発生するＶＣＯ（Voltage Controlled Oscillator)と、ＶＣＯの出力が入力され、その出力が比較器に出力されるカウンタとから構成される。カウンタに対してＰＣＲの値がセットされる。

また、デマルチプレクサ３６は、メインストリーム中のオーディオストリームとビデオストリームとを分離して、各ストリームをＡＶデコーダ３９へ入力する。ＡＶデコーダ３９は、オーディオストリームおいてビデオストリームをそれぞれ復号して、復号されたビデオデータおよびオーディオデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。

一方、バッファメモリ３５から出力されるサブストリームのデータは、デマルチプレクサ３７へ入力される。デマルチプレクサ３７は、サブストリームからグラフィックスストリームと、サブタイトルストリームを分離する。グラフィックスストリームおよびサブタイトルストリームがデコーダ４０へ供給される。デコーダ４０は、グラフィックスストリームとサブタイトルストリームをそれぞれ復号する。復号されたグラフィックスデータおよびサブタイトルデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。

コントローラ４１は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ４１は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照して、ＳＴＣ生成部３８で生成された基準クロックＳＴＣに基づいて、オーディオとビデオを同期させて出力する。

次に、この発明が適用されたプレーヤシステムの他の例について説明する。他の例は、メディアに記録されるメインストリームとサブストリームを以下のように符号化することによって、デマルチプレクサの個数を減少させ、プレーヤシステムを簡単化するものである。

メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）の値が重複しないように、ストリームが符号化されている。それによって、１つのデマルチプレクサによって、各エレメンタリストリームのデマルチプレックス（分離）を行うことができる。

この場合に、メインストリームとサブストリームの中でＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値であることが好ましい。また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容を同じにすることが好ましい。すなわち、メインストリームのＰＭＴの中にサブストリームの情報も記述し、また、サブストリームのＰＭＴの中にメインストリームの情報も記述する。なお、ＭＰＥＧ２トランスポートストリームにおいて、プログラムマップテーブルは、プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのＰＩＤのリストや付属情報を記述するためのものである。

図８は、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムの他の例の構成を示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。

メディアから読み出されたデータは、入力端子５１から入力され、バッファメディア５２に蓄えられる。バッファ５２から読み出されたストリームのデータは、デマルチプレクサ５３に入力される。デマルチプレクサ５３は、最初のＰＣＲパケットを抜き出して、それをＳＴＣの初期値として、ＳＴＣ（システムタイムクロック）生成部５４内のカウンタにセットする。ＳＴＣ生成部５４内のカウンタは、ＰＬＬの構成の分周回路として機能し、カウンタがＶＣＯからの２７ＭHzのクロックをカウントし、ＳＴＣを出力する。

デマルチプレクサ５３は、オーディオビデオストリームからオーディオパケット、ビデオパケットを分離して、各パケットをＡＶデコーダ５５へ入力する。ＡＶデコーダ５５は、オーディオストリームおよびビデオストリームをそれぞれ復号して、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力する。

また、デマルチプレクサ５３は、サブストリームからグラフィックスパケットおよびサブタイトルパケットを分離し、各パケットをグラフィックスおよびサブタイトルデコーダ５６へ入力する。グラフィックスおよびサブタイトルデコーダ５６は、グラフィックスおよびサブタイトルデータを復号して、復号データをビデオコンポーザおよびシンクコントローラ５７へ入力する。

ＡＶデコーダ５５とグラフィックスおよびサブタイトルデコーダ５６は、バッファメモリ５２にデータがあれば、それを復号し、バッファメモリ５２が空になると、復号を止める。すなわち、ＡＶデコーダ５５とデコーダ５６は、多重化ストリーム中のデコードタイムスタンプ（ＤＴＳ:Decoding Time Stamp）を無視して、ストリームの復号を行う。ＤＴＳは、ＭＰＥＧにおいて、復号する順序と再生する順序が異なることから設けられている。すなわち、ＩピクチャとＰピクチャは、Ｂピクチャよりも先行してストリームに出力するようになされる。

ビデオコンポーザおよびシンクコントローラ５７は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ５７は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照してＳＴＣ生成部５４からの基準クロックＳＴＣに基づいて、オーディオとビデオを同期して出力する。

図９は、図８のプレーヤシステムにおける再生の処理の流れを示すフローチャートである。ステップＳ２０１において、インターリーブしてメディア上に記録されている２個のトランスポートストリームをデータ配置の順に読み出す。

ステップＳ２０２において、読み出されたデータをデマルチプレクサ５３に入力する。

ステップＳ２０３において、デマルチプレクサ５３が入力データからエレメンタリストリームを分離して、デコーダへ入力する。すなわち、デマルチプレクサ５３は、オーディオストリームおよびビデオストリームを分離して、ＡＶデコーダ５５へ入力する。また、デマルチプレクサ５３は、サブストリームからグラフィックスストリームおよびサブタイトルストリームを分離して、グラフィックスおよびサブタイトルデコーダ５６へ入力する。

ステップＳ２０４において、各デコーダは、ＤＴＳを無視して復号を行う。すなわち、ＡＶデコーダ５５がオーディオデータおよびビデオデータを復号し、グラフィックスおよびサブタイトルデコーダ５６がグラフィックスデータおよびサブタイトルデータを復号する。

ステップＳ２０５において、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力し、ビデオデータとグラフィックスデータを合成して表示ビデオ信号を生成する。また、ＰＴＳを参照して、オーディオビデオを同期出力する。

次に、メインストリームとサブストリームがディスク媒体にインターリーブして記録されている時のランダムアクセス再生の例について説明する。メインストリームの所定再生時間分のデータと、これに対応して同期再生される時間分のサブストリームとをインターリーブして記録すると、ランダムアクセス再生を容易にできる。

図１０は、ランダムアクセス再生動作を説明するもので、参照符号ＡＤ１は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生される字幕やグラフィックスが開始するパケットのアドレスを示す。参照符号ＡＤ２は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャが開始するパケットのアドレスを示す。

ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生されるサブストリームが開始するパケットのアドレスＡＤ１からデータのリードを開始する。メインストリームとサブストリームは、連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプ動作が不要である。これにより、ランダムアクセスしたい箇所のビデオとそれに同期するサブストリームを再生することができる。

この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、メインストリームおよびサブストリームをネットワークを介して伝送する通信に対しても適用することができる。送信装置の場合では、図５中のドライブ部１９およびメディア２０が送信部に変更される。受信装置の場合では、図７中の入力端子３１および図８中の入力端子５１に受信データが供給される。

１２，１４・・・マルチプレクサ、１５・・・ＳＴＣ生成部、１８・・・インターリーブ用スイッチ部、３３・・・デインターリーブ用スイッチ部、３６，３７・・・デマルチプレクサ、３８・・・ＳＴＣ生成部、３９・・・ＡＶデコーダ、４０・・・グラフィックスおよびサブタイトルデコーダ、４１・・・ビデオコンポーザおよびシンクコントローラ

Claims (4)

1. オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理装置であって、
   上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
   上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
   プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
   再生されたデータがバッファメモリに供給され、上記バッファメモリの出力データが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、ビデオストリーム、オーディオストリーム、および上記画像ストリームをそれぞれ分離する分離手段と、
   上記再生されたストリームから上記分離手段によって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
   上記分離手段によって分離されたビデオパケットおよびオーディオパケットが供給され、デコードタイムスタンプを無視して上記ビデオストリームおよびオーディオストリームを復号する第１の復号手段と、
   上記分離手段によって分離された画像パケットが供給され、デコードタイムスタンプを無視して上記画像ストリームを復号する第２の復号手段と、
   上記第１の復号手段から出力されるビデオ信号と、上記第２の復号手段から出力される画像信号とを合成して表示用ビデオ信号を生成し、上記時刻基準生成手段で生成された上記時刻基準信号に基づいて、上記表示用ビデオ信号と、上記第１の復号手段から出力されるオーディオ信号とを同期して出力する手段と
   からなる情報処理装置。
2. オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法であって、
   上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
   上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
   プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
   再生されたデータがバッファメモリに供給され、上記バッファメモリの出力データが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、ビデオストリーム、オーディオストリーム、および上記画像ストリームをそれぞれ分離する分離ステップと、
   上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
   上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、デコードタイムスタンプを無視して上記ビデオストリームおよびオーディオストリームを復号する第１の復号ステップと、
   上記分離ステップによって分離された画像パケットが供給され、デコードタイムスタンプを無視して上記画像ストリームを復号する第２の復号ステップと、
   上記第１の復号ステップで得られるビデオ信号と、上記第２の復号ステップで得られる画像信号とを合成して表示用ビデオ信号を生成し、上記時刻基準生成ステップで生成された上記時刻基準信号に基づいて、上記表示用ビデオ信号と、上記第１の復号ステップから出力されるオーディオ信号とを同期して出力するステップと
   を有する情報処理方法。
3. オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法のプログラムであって、
   上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
   上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
   プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
   再生されたデータがバッファメモリに供給され、上記バッファメモリの出力データが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、ビデオストリーム、オーディオストリーム、および上記画像ストリームをそれぞれ分離する分離ステップと、
   上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
   上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、デコードタイムスタンプを無視して上記ビデオストリームおよびオーディオストリームを復号する第１の復号ステップと、
   上記分離ステップによって分離された画像パケットが供給され、デコードタイムスタンプを無視して上記画像ストリームを復号する第２の復号ステップと、
   上記第１の復号ステップで得られるビデオ信号と、上記第２の復号ステップで得られる画像信号とを合成して表示用ビデオ信号を生成し、上記時刻基準生成ステップで生成された上記時刻基準信号に基づいて、上記表示用ビデオ信号と、上記第１の復号ステップから出力されるオーディオ信号とを同期して出力するステップと
   を有する情報処理方法のプログラム。
4. オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法のプログラムであって、
   上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
   上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
   プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
   再生されたデータがバッファメモリに供給され、上記バッファメモリの出力データが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、ビデオストリーム、オーディオストリーム、および上記画像ストリームをそれぞれ分離する分離ステップと、
   上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
   上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、デコードタイムスタンプを無視して上記ビデオストリームおよびオーディオストリームを復号する第１の復号ステップと、
   上記分離ステップによって分離された画像パケットが供給され、デコードタイムスタンプを無視して上記画像ストリームを復号する第２の復号ステップと、
   上記第１の復号ステップで得られるビデオ信号と、上記第２の復号ステップで得られる画像信号とを合成して表示用ビデオ信号を生成し、上記時刻基準生成ステップで生成された上記時刻基準信号に基づいて、上記表示用ビデオ信号と、上記第１の復号ステップから出力されるオーディオ信号とを同期して出力するステップと
   を有する情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体。

Images