JP4781600B2 - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents
情報処理装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP4781600B2 JP4781600B2 JP2002277603A JP2002277603A JP4781600B2 JP 4781600 B2 JP4781600 B2 JP 4781600B2 JP 2002277603 A JP2002277603 A JP 2002277603A JP 2002277603 A JP2002277603 A JP 2002277603A JP 4781600 B2 JP4781600 B2 JP 4781600B2
- Authority
- JP
- Japan
- Prior art keywords
- stream
- packet
- multiplexed
- video
- time reference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ビデオとそれに付随する字幕、グラフィックス等のサブピクチャの記録および再生のための情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
ディスクメディア等のパッケージメディアに映画等のビデオ素材を記録する場合、ビデオストリームとそれに付随するオーディオ、字幕やグラフィックスを多重化したストリームが記録される。例えばＤＶＤ(Digital Versatile Disc またはDigital Video Disc) では、ＭＰＥＧ２で符号化されたビデオストリームとそれに付随するオーディオやサブピクチャ（字幕、グラフィックス、静止画等のメインのビデオ以外の映像情報を意味する）を多重化したＭＰＥＧ２プログラムストリームが記録される。
【０００３】
ＤＶＤのプログラムストリーム上では、あるビデオフレームのデータアドレスとそのビデオに同期表示されるサブピクチャユニットのデータアドレスが隣接していないことが多い。また、１つのサブピクチャユニットは、２０４８バイト長のパックに分割され、各パックがストリーム上で離散的に配置される。
【０００４】
先に、ディスク上にオーディオビデオストリーム（以下、ＡＶストリームと適宜称する）を記録する場合、高速再生のような特殊再生を可能とするために、ストリーム中のＩピクチャの位置等を記録したアドレステーブルを持つ管理方法が本願出願人によって提案されている（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開２００２−１５８９７２号公報
【０００６】
ビデオ、オーディオとサブピクチャが多重化されている多重化ＡＶストリーム（例えばＤＶＤビデオのＭＰＥＧ２プログラムストリームファイル）がディスク媒体に記録されている時には、ランダムアクセス再生が図１に示すようになされる。先ず、ランダムアクセスしたい再生時間ＰＴＳ(Presentation Time Stamp;再生出力の時刻管理情報）のＩピクチャに同期して再生されるサブピクチャが開始するパックのアドレスが求められる。図１において、Ｐm1がアクセスしたい再生時間ＰＴＳのＩピクチャが開始するパックを示す。
【０００７】
求められたサブピクチャのアドレスからデータのリードが開始される。図１において、Ｐs1がアクセスしたい再生時間ＰＴＳのＩピクチャに同期して再生されるサブピクチャが開始するパックを示す。そのサブピクチャのデータを全て読み出すまで、リード動作を続ける。図１では、Ｐs1，Ｐs2，・・・，Ｐsnがそのサブピクチャの全データが入っているｎ個のパックを示している。このリード動作では、サブピクチャのパックの間に存在するサブピクチャ以外のパックのデータも読み出さねばならない。
【０００８】
このリードが終了すると、ランダムアクセスしたい再生時間のＩピクチャが開始するパックＰm1のアドレスにジャンプする。そして、そのアドレスから読み出しを再開する。これによって、ランダムアクセスしたところのビデオとそれに同期するサブピクチャを再生することができる。
【０００９】
ビデオとそれに付随する符号化されたオーディオ、符号化されたサブピクチャを１つの多重化ストリームにまとめ、この多重化ストリームを記録する方法の他に、ビデオストリームとそれに付随するサブピクチャを別々のストリームとして記録する方法がある。この場合、プレーヤは、同時に複数のストリームを記録媒体から読み出して、それらを同時にデコードする必要がある。
【００１０】
図２は、メインＡＶストリーム（オーディオパケットおよびビデオパケットを多重化したストリーム）とサブストリーム（メインストリームのオーディオ、ビデオ以外のサブピクチャのパケットを多重化したストリーム）とが記録媒体上に別々に記録されている場合の再生方法を示す。ディスク上では、各ストリームが連続記録領域にそれぞれ記録されている。
【００１１】
プレーヤは、メインＡＶストリームの読み出しを開始し、サブストリームのデータが必要な時点となると、サブストリームにジャンプし（ジャンプ１）、サブストリームを再生し、必要なサブストリーム中のデータの読み出しを終了すると、メインＡＶストリームの読み出しに戻るためにジャンプする（ジャンプ２）。各ストリームから読み出されたデータは、連続再生できるようにデコーダに供給される。このように、メインＡＶストリームのリードが止まってから、次にそのリードが再開するまでに、２回のジャンプ動作が必要とされる。
【００１２】
【発明が解決しようとする課題】
図１に示されるように、ビデオとそれに付随するオーディオ、字幕、グラフィックスが１つの多重化ストリームとして記録されていると、ランダムアクセス再生時にサブピクチャのデータをストリームから取り出すことが容易でない。すなわち、サブピクチャ以外のデータも読み出す必要があるために、読み出すことが必要なデータ量が多くなる問題がある。
【００１３】
図２に示されるように、ビデオストリームとそれに付随する字幕やグラフィックスを別々のストリームで記録する方法では、プレーヤが２本のストリームをディスクから交互に読み出すために、読み出しの切り替え時にジャンプが必要である。さらに、読み出された各ストリームを連続再生できるように、各ストリームをデコーダに供給するために、ストリームのビットレートを低く抑えることが必要になる。そのために、ビデオストリームの符号化ビットレートを低くしなければならないので、ビデオ等の符号化画質が低下する問題がある。
【００１４】
したがって、この発明の目的は、オーディオビデオなどのメインストリームに付随する字幕や、グラフィックス等のサブピクチャのサブストリームが記録媒体に記録されている時に、プレーヤがサブストリームを容易に読み出せることができ、また、メインストリームのビットレートの制限が少ない情報処理装置および方法、プログラム、並びに記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成する第１の多重化手段と、
オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する第２の多重化手段と、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブ手段と、
インターリーブ手段からのストリームを記録媒体に記録する手段と
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理装置である。
【００１６】
請求項２の発明は、オーディオビデオストリームを記録媒体に記録する情報処理方法において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法である。
【００１７】
請求項３の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置のプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラムである。
請求項４の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置を制御するプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体である。
【００１８】
請求項５の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理装置において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離手段と、
再生されたストリームから分離手段によって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
分離手段によって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号手段と、
分離手段によって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号手段と、
第１の復号手段から出力されるビデオ信号と、第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置である。
【００１９】
請求項６の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法である。
【００２０】
請求項７の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラムである。
請求項８の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータからオーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体である。
【００２２】
この発明では、メインストリーム中のビデオと同期して再生されるサブピクチャのサブストリームとがインターリーブされて１つのストリームとして記録または送信されるので、メインストリームとサブストリームの切り替えでジャンプ動作が不要であり、各ストリームを連続再生できる。同期再生は、時刻基準信号がメインおよびサブのストリームで共通とされているので、容易になしうる。さらに、メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤが重複しないように、ストリームを符号化することによって、エレメンタリストリームのデマルチプレックス（分離）を容易とできる。
【００２３】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図３は、この発明における記録データの生成方法の一例を示す。オーディオビデオなどのメイン多重化オーディオビデオストリームファイル（以下、適宜メインＡＶストリームと称する）と、それに付随する字幕やグラフィックス等のサブ多重化ストリームファイル（以下、適宜サブストリームと称する）を別々と生成する。これらのストリームは、例えばＭＰＥＧ２のプログラムストリームの形式とされている。そして、これらのストリームを図３に示すように、インターリーブして記録媒体上に記録する。
【００２４】
図３において、メインＡＶストリームが所定時間例えば１ＧＯＰ(Group Of Picture)毎のデータユニット１ａ，１ｂ，１ｃ，・・・に分割され、また、サブストリームが同様に１ＧＯＰ等の所定時間毎のデータユニット２ａ，２ｂ，２ｃ，・・・に分割される。例えばメインＡＶストリームのデータユニット１ａと同期して、サブストリームのデータユニット２ａが再生されるようになされる。そして、メインＡＶストリームおよびサブストリームから交互にデータユニットが選択されるように、インターリーブされ、１つのストリームが形成され、このストリームがディスク上に記録される。サブストリームのデータユニットがメインストリームのデータユニットよりも先に記録されても良い。メインストリームとサブストリームとは、共通の時刻基準信号例えばシステムタイムクロックＳＴＣ(System Time Clock:基本となる同期信号）を参照して符号化されている。これは、メインストリームとサブストリームの同期再生を容易とするためである。
【００２５】
図４は、例えば、メインストリームとサブストリームとがそれぞれトランスポートストリームである例を示す。図４において、１つの矩形の領域がトランスポートストリームパケットを示している。トランスポートストリームパケットは、１８８バイトの固定長を有し、ヘッダ部分にパケットＩＤ（ＰＩＤ：Packet Identification)と略す）が含まれる。ＰＩＤは、ストリームの識別情報で、そのパケットが含まれるストリームの属性が示される。
【００２６】
また、パケットのヘッダ部分にオプションで挿入できるアダプテーションフィールド内にＰＣＲ(Program Clock Reference：プログラム時刻基準参照値)が挿入される。それぞれのストリームのＰＣＲが共通のＳＴＣを参照する。デコーダにおける時刻基準となるＳＴＣの値がＰＣＲの示す値にセットされる。
【００２７】
トランスポートストリームのメインストリームとサブストリームがインターリーブされる。上述したように、メインストリーム中の１ＧＯＰ分のデータユニットとサブストリーム中の１ＧＯＰ分のデータユニットとが１つのストリームにインターリーブされる。メインストリームとサブストリームの全てのストリーム中で、ＰＩＤが重複しないように規定されている。それによって、後述するように、プレーヤシステムにおいて、デマルチプレクサの個数を１つとできる。
【００２８】
図５を参照して、この発明によるレコーダシステムの一例について説明する。ビデオ入力とオーディオ入力とがＡＶエンコーダ１１に入力され、符号化およびパケット化の処理を受ける。例えばＭＰＥＧ２でビデオデータが符号化され、ＡＣ−３でオーディオデータが符号化される。ＡＶエンコーダ１１からのタイムスタンプが付加されたビデオエレメンタリストリームＶと、タイムスタンプが付加されたオーディオエレメンタリストリームＡとがマルチプレクサ（図５ではＭＵＸと表記する）１２に入力される。マルチプレクサ１２は、メインのトランスポートストリームを符号化する。そして、メインのトランスポートストリームがバッファメモリ１６へ入力される。
【００２９】
グラフィックス入力データとサブタイトル入力データとがグラフィックスおよびサブタイトルエンコーダ１３に入力され、符号化およびパケット化の処理を受ける。エンコーダ１３からのグラフィックスエレメンタリストリームＧとサブタイトルエレメンタリストリームＳとがマルチプレクサ３４に入力される。マルチプレクサ３４は、サブのトランスポートストリームを符号化する。そして、サブのトランスポートストリームがバッファメモリ１７へ入力される。
【００３０】
マルチプレクサ１２および１４のそれぞれは、次のような符号化処理を行う。すなわち、
メインストリームとサブストリームがＳＴＣ生成部１５からの、共通のシステムクロックＳＴＣを参照して符号化され、
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）が重複しないようにされ、
好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。
【００３１】
バッファメモリ１６および１７の出力がスイッチ部１８によって、所定時間毎に例えば１ＧＯＰ毎に選択され、スイッチ部１８の出力にインターリーブされたストリームが取り出される。バッファメモリ１６、１７およびスイッチ部１８がインターリーブ装置を構成する。インターリーブされたストリームがドライブ部１９に供給され、メディア２０に記録される。図示を省略するが、通常、スイッチ部１８とドライブ部１９の間に、エラー訂正符号化の処理を行うＥＣＣエンコーダとディジタル変調を行うディジタル変調器が設けられる。
【００３２】
ドライブ部１９は、メディア（例えば記録可能な光ディスク）２０を回転させ、光学的ヘッドによって記録データを所定の書き込み位置に記録する構成とされている。ドライブ部１９は、メディア２０の回転サーボ、光学的ヘッドに対するトラッキングサーボおよびフォーカスサーボのためのサーボ部を有している。インターリーブされたストリームが光学的ヘッドによってメディア２０に記録される。
【００３３】
図６は、記録方法の処理の流れを示すフローチャートである。図６では、省略されているが、ステップＳ１０１の前の段階において、入力されたビデオデータおよびオーディオデータに対して符号化処理がなされ、グラフィックスデータおよびサブタイトルデータに対して符号化処理がなされる。
【００３４】
ステップＳ１０１において、ＡＶデータからなるメインのトランスポートストリーム（図ではＴＳと表記する）とグラフィックスおよびサブタイトルのデータからなるサブのトランスポートストリームの全てのエレメンタリストリームのＰＩＤの値が重複しないような値に決定される。
【００３５】
ステップＳ１０２において、共通のシステムタイムクロックＳＴＣを参照して、メイントランスポートストリームとサブトランスポートストリームが符号化される。好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。
【００３６】
ステップＳ１０３において、メイントランスポートストリームとサブトランスポートストリームがインターリーブされ、インターリーブされたストリームが記録媒体に記録される。
【００３７】
図７は、上述したように、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムを示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えで読み出し位置のジャンプ動作は、不要である。
【００３８】
入力端子３１に対してメディア例えば光ディスクから読み出されたデータが供給され、読み出しデータがバッファメモリ３２に蓄えられる。バッファメモリ３２の出力には、デインターリーブ用のスイッチ部３３が設けられている。スイッチ部３３によって、メインストリームのデータがバッファメモリ３４へ入力され、サブストリームのデータがバッファメモリ３５へ入力される。
【００３９】
バッファメモリ３４から出力されるメインストリームのデータがデマルチプレクサ（図中、ＤＥ−ＭＵＸと表記されている）３６へ入力される。デマルチプレクサ３６は、ＰＩＤに基づいてメインストリーム中の各パケットの属性を判別し、判別結果に基づいて属性毎にパケットデータを分離する。デマルチプレクサ３６によって抜き出されたＰＣＲパケットがＳＴＣ（システムタイムクロック）生成部３８へ供給される。
【００４０】
ＳＴＣ生成部３８は、ＰＣＲパケットのＰＣＲの値に基づいて２７ＭHzのクロックおよびＳＴＣを生成する。ＳＴＣ生成部３８は、一例として、ＰＣＲとカウンタの出力とを比較する比較器と、比較器の出力が供給されるローパスフィルタと、ローパスフィルタの出力が制御電圧として供給され、２７ＭHzのクロックを発生するＶＣＯ（Voltage Controlled Oscillator)と、ＶＣＯの出力が入力され、その出力が比較器に出力されるカウンタとから構成される。カウンタに対してＰＣＲの値がセットされる。
【００４１】
また、デマルチプレクサ３６は、メインストリーム中のオーディオストリームとビデオストリームとを分離して、各ストリームをＡＶデコーダ３９へ入力する。ＡＶデコーダ３９は、オーディオストリームおいてビデオストリームをそれぞれ復号して、復号されたビデオデータおよびオーディオデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。
【００４２】
一方、バッファメモリ３５から出力されるサブストリームのデータは、デマルチプレクサ３７へ入力される。デマルチプレクサ３７は、サブストリームからグラフィックスストリームと、サブタイトルストリームを分離する。グラフィックスストリームおよびサブタイトルストリームがデコーダ４０へ供給される。デコーダ４０は、グラフィックスストリームとサブタイトルストリームをそれぞれ復号する。復号されたグラフィックスデータおよびサブタイトルデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。
【００４３】
コントローラ４１は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ４１は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照して、ＳＴＣ生成部３８で生成された基準クロックＳＴＣに基づいて、オーディオとビデオを同期させて出力する。
【００４４】
次に、この発明が適用されたプレーヤシステムの他の例について説明する。他の例は、メディアに記録されるメインストリームとサブストリームを以下のように符号化することによって、デマルチプレクサの個数を減少させ、プレーヤシステムを簡単化するものである。
【００４５】
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）の値が重複しないように、ストリームが符号化されている。それによって、１つのデマルチプレクサによって、各エレメンタリストリームのデマルチプレックス（分離）を行うことができる。
【００４６】
この場合に、メインストリームとサブストリームの中でＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値であることが好ましい。また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容を同じにすることが好ましい。すなわち、メインストリームのＰＭＴの中にサブストリームの情報も記述し、また、サブストリームのＰＭＴの中にメインストリームの情報も記述する。なお、ＭＰＥＧ２トランスポートストリームにおいて、プログラムマップテーブルは、プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのＰＩＤのリストや付属情報を記述するためのものである。
【００４７】
図８は、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムの他の例の構成を示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。
【００４８】
メディアから読み出されたデータは、入力端子５１から入力され、バッファメディア５２に蓄えられる。バッファ５２から読み出されたストリームのデータは、デマルチプレクサ５３に入力される。デマルチプレクサ５３は、最初のＰＣＲパケットを抜き出して、それをＳＴＣの初期値として、ＳＴＣ（システムタイムクロック）生成部５４内のカウンタにセットする。ＳＴＣ生成部５４内のカウンタは、ＰＬＬの構成の分周回路として機能し、カウンタがＶＣＯからの２７ＭHzのクロックをカウントし、ＳＴＣを出力する。
【００４９】
デマルチプレクサ５３は、オーディオビデオストリームからオーディオパケット、ビデオパケットを分離して、各パケットをＡＶデコーダ５５へ入力する。ＡＶデコーダ５５は、オーディオストリームおよびビデオストリームをそれぞれ復号して、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力する。
【００５０】
また、デマルチプレクサ５３は、サブストリームからグラフィックスパケットおよびサブタイトルパケットを分離し、各パケットをグラフィックスおよびサブタイトルデコーダ５６へ入力する。グラフィックスおよびサブタイトルデコーダ５６は、グラフィックスおよびサブタイトルデータを復号して、復号データをビデオコンポーザおよびシンクコントローラ５７へ入力する。
【００５１】
ＡＶデコーダ５５とグラフィックスおよびサブタイトルデコーダ５６は、バッファメモリ５２にデータがあれば、それを復号し、バッファメモリ５２が空になると、復号を止める。すなわち、ＡＶデコーダ５５とデコーダ５６は、多重化ストリーム中のデコードタイムスタンプ（ＤＴＳ:Decoding Time Stamp）を無視して、ストリームの復号を行う。ＤＴＳは、ＭＰＥＧにおいて、復号する順序と再生する順序が異なることから設けられている。すなわち、ＩピクチャとＰピクチャは、Ｂピクチャよりも先行してストリームに出力するようになされる。
【００５２】
ビデオコンポーザおよびシンクコントローラ５７は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ５７は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照してＳＴＣ生成部５４からの基準クロックＳＴＣに基づいて、オーディオとビデオを同期して出力する。
【００５３】
図９は、図８のプレーヤシステムにおける再生の処理の流れを示すフローチャートである。ステップＳ２０１において、インターリーブしてメディア上に記録されている２個のトランスポートストリームをデータ配置の順に読み出す。
【００５４】
ステップＳ２０２において、読み出されたデータをデマルチプレクサ５３に入力する。
【００５５】
ステップＳ２０３において、デマルチプレクサ５３が入力データからエレメンタリストリームを分離して、デコーダへ入力する。すなわち、デマルチプレクサ５３は、オーディオストリームおよびビデオストリームを分離して、ＡＶデコーダ５５へ入力する。また、デマルチプレクサ５３は、サブストリームからグラフィックスストリームおよびサブタイトルストリームを分離して、グラフィックスおよびサブタイトルデコーダ５６へ入力する。
【００５６】
ステップＳ２０４において、各デコーダは、ＤＴＳを無視して復号を行う。すなわち、ＡＶデコーダ５５がオーディオデータおよびビデオデータを復号し、グラフィックスおよびサブタイトルデコーダ５６がグラフィックスデータおよびサブタイトルデータを復号する。
【００５７】
ステップＳ２０５において、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力し、ビデオデータとグラフィックスデータを合成して表示ビデオ信号を生成する。また、ＰＴＳを参照して、オーディオビデオを同期出力する。
【００５８】
次に、メインストリームとサブストリームがディスク媒体にインターリーブして記録されている時のランダムアクセス再生の例について説明する。メインストリームの所定再生時間分のデータと、これに対応して同期再生される時間分のサブストリームとをインターリーブして記録すると、ランダムアクセス再生を容易にできる。
【００５９】
図１０は、ランダムアクセス再生動作を説明するもので、参照符号ＡＤ１は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生される字幕やグラフィックスが開始するパケットのアドレスを示す。参照符号ＡＤ２は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャが開始するパケットのアドレスを示す。
【００６０】
ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生されるサブストリームが開始するパケットのアドレスＡＤ１からデータのリードを開始する。メインストリームとサブストリームは、連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプ動作が不要である。これにより、ランダムアクセスしたい箇所のビデオとそれに同期するサブストリームを再生することができる。
【００６１】
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、メインストリームおよびサブストリームをネットワークを介して伝送する通信に対しても適用することができる。送信装置の場合では、図５中のドライブ部１９およびメディア２０が送信部に変更される。受信装置の場合では、図７中の入力端子３１および図８中の入力端子５１に受信データが供給される。
【００６２】
【発明の効果】
この発明では、オーディオビデオなどのメインストリームと、メインストリームに付随する字幕やグラフィックスなどのサブストリームがインターリーブして連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。したがって、各ストリームを連続再生できるように、ストリームをデコーダへ供給することを保証するために、ストリームの符号化ビットレートを低くする必要がなく、ビデオ等の画質が劣化する問題が生じない。
【００６３】
この発明では、メインストリームとサブストリームが共通の時刻基準信号（ＳＴＣ）を参照するように、ストリームを符号化するので、メインストリームとサブストリームの同期再生を容易にできる。
【００６４】
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤの値が重複しないように、ストリームを符号化するので、各エレメンタリストリームのデマルチプレックス（分離）を容易にできる。
【図面の簡単な説明】
【図１】メインＡＶデータとサブピクチャが多重化されているストリームをランダムアクセス再生する従来の方法を説明するための略線図である。
【図２】従来のＡＶストリームとサブストリームを別々のストリームとして記録した場合の従来の再生方法を説明するための略線図である。
【図３】この発明によるメインストリームおよびサブストリームの記録方法を説明するための略線図である。
【図４】トランスポートストリームの場合のこの発明による記録方法を説明するための略線図である。
【図５】この発明によるレコーダシステムの一例の構成を示すブロック図である。
【図６】この発明による記録方法の処理の流れを示すフローチャートである。
【図７】この発明によるプレーヤシステムの一例の構成を示すブロック図である。
【図８】この発明によるプレーヤシステムの他の例の構成を示すブロック図である。
【図９】この発明によるプレーヤシステムの他の例の再生方法の処理の流れを示すフローチャートである。
【図１０】この発明によりインターリーブして記録されている２個のトランスポートストリームをランダムアクセス再生する方法を説明するための略線図である。
【符号の説明】
１２，１４・・・マルチプレクサ、１５・・・ＳＴＣ生成部、１８・・・インターリーブ用スイッチ部、３３・・・デインターリーブ用スイッチ部、３６，３７・・・デマルチプレクサ、３８・・・ＳＴＣ生成部、３９・・・ＡＶデコーダ、４０・・・グラフィックスおよびサブタイトルデコーダ、４１・・・ビデオコンポーザおよびシンクコントローラ
【発明の属する技術分野】
この発明は、ビデオとそれに付随する字幕、グラフィックス等のサブピクチャの記録および再生のための情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
ディスクメディア等のパッケージメディアに映画等のビデオ素材を記録する場合、ビデオストリームとそれに付随するオーディオ、字幕やグラフィックスを多重化したストリームが記録される。例えばＤＶＤ(Digital Versatile Disc またはDigital Video Disc) では、ＭＰＥＧ２で符号化されたビデオストリームとそれに付随するオーディオやサブピクチャ（字幕、グラフィックス、静止画等のメインのビデオ以外の映像情報を意味する）を多重化したＭＰＥＧ２プログラムストリームが記録される。
【０００３】
ＤＶＤのプログラムストリーム上では、あるビデオフレームのデータアドレスとそのビデオに同期表示されるサブピクチャユニットのデータアドレスが隣接していないことが多い。また、１つのサブピクチャユニットは、２０４８バイト長のパックに分割され、各パックがストリーム上で離散的に配置される。
【０００４】
先に、ディスク上にオーディオビデオストリーム（以下、ＡＶストリームと適宜称する）を記録する場合、高速再生のような特殊再生を可能とするために、ストリーム中のＩピクチャの位置等を記録したアドレステーブルを持つ管理方法が本願出願人によって提案されている（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開２００２−１５８９７２号公報
【０００６】
ビデオ、オーディオとサブピクチャが多重化されている多重化ＡＶストリーム（例えばＤＶＤビデオのＭＰＥＧ２プログラムストリームファイル）がディスク媒体に記録されている時には、ランダムアクセス再生が図１に示すようになされる。先ず、ランダムアクセスしたい再生時間ＰＴＳ(Presentation Time Stamp;再生出力の時刻管理情報）のＩピクチャに同期して再生されるサブピクチャが開始するパックのアドレスが求められる。図１において、Ｐm1がアクセスしたい再生時間ＰＴＳのＩピクチャが開始するパックを示す。
【０００７】
求められたサブピクチャのアドレスからデータのリードが開始される。図１において、Ｐs1がアクセスしたい再生時間ＰＴＳのＩピクチャに同期して再生されるサブピクチャが開始するパックを示す。そのサブピクチャのデータを全て読み出すまで、リード動作を続ける。図１では、Ｐs1，Ｐs2，・・・，Ｐsnがそのサブピクチャの全データが入っているｎ個のパックを示している。このリード動作では、サブピクチャのパックの間に存在するサブピクチャ以外のパックのデータも読み出さねばならない。
【０００８】
このリードが終了すると、ランダムアクセスしたい再生時間のＩピクチャが開始するパックＰm1のアドレスにジャンプする。そして、そのアドレスから読み出しを再開する。これによって、ランダムアクセスしたところのビデオとそれに同期するサブピクチャを再生することができる。
【０００９】
ビデオとそれに付随する符号化されたオーディオ、符号化されたサブピクチャを１つの多重化ストリームにまとめ、この多重化ストリームを記録する方法の他に、ビデオストリームとそれに付随するサブピクチャを別々のストリームとして記録する方法がある。この場合、プレーヤは、同時に複数のストリームを記録媒体から読み出して、それらを同時にデコードする必要がある。
【００１０】
図２は、メインＡＶストリーム（オーディオパケットおよびビデオパケットを多重化したストリーム）とサブストリーム（メインストリームのオーディオ、ビデオ以外のサブピクチャのパケットを多重化したストリーム）とが記録媒体上に別々に記録されている場合の再生方法を示す。ディスク上では、各ストリームが連続記録領域にそれぞれ記録されている。
【００１１】
プレーヤは、メインＡＶストリームの読み出しを開始し、サブストリームのデータが必要な時点となると、サブストリームにジャンプし（ジャンプ１）、サブストリームを再生し、必要なサブストリーム中のデータの読み出しを終了すると、メインＡＶストリームの読み出しに戻るためにジャンプする（ジャンプ２）。各ストリームから読み出されたデータは、連続再生できるようにデコーダに供給される。このように、メインＡＶストリームのリードが止まってから、次にそのリードが再開するまでに、２回のジャンプ動作が必要とされる。
【００１２】
【発明が解決しようとする課題】
図１に示されるように、ビデオとそれに付随するオーディオ、字幕、グラフィックスが１つの多重化ストリームとして記録されていると、ランダムアクセス再生時にサブピクチャのデータをストリームから取り出すことが容易でない。すなわち、サブピクチャ以外のデータも読み出す必要があるために、読み出すことが必要なデータ量が多くなる問題がある。
【００１３】
図２に示されるように、ビデオストリームとそれに付随する字幕やグラフィックスを別々のストリームで記録する方法では、プレーヤが２本のストリームをディスクから交互に読み出すために、読み出しの切り替え時にジャンプが必要である。さらに、読み出された各ストリームを連続再生できるように、各ストリームをデコーダに供給するために、ストリームのビットレートを低く抑えることが必要になる。そのために、ビデオストリームの符号化ビットレートを低くしなければならないので、ビデオ等の符号化画質が低下する問題がある。
【００１４】
したがって、この発明の目的は、オーディオビデオなどのメインストリームに付随する字幕や、グラフィックス等のサブピクチャのサブストリームが記録媒体に記録されている時に、プレーヤがサブストリームを容易に読み出せることができ、また、メインストリームのビットレートの制限が少ない情報処理装置および方法、プログラム、並びに記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成する第１の多重化手段と、
オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する第２の多重化手段と、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブ手段と、
インターリーブ手段からのストリームを記録媒体に記録する手段と
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理装置である。
【００１６】
請求項２の発明は、オーディオビデオストリームを記録媒体に記録する情報処理方法において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法である。
【００１７】
請求項３の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置のプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラムである。
請求項４の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置を制御するプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体である。
【００１８】
請求項５の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理装置において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離手段と、
再生されたストリームから分離手段によって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
分離手段によって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号手段と、
分離手段によって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号手段と、
第１の復号手段から出力されるビデオ信号と、第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置である。
【００１９】
請求項６の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法である。
【００２０】
請求項７の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラムである。
請求項８の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータからオーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体である。
【００２２】
この発明では、メインストリーム中のビデオと同期して再生されるサブピクチャのサブストリームとがインターリーブされて１つのストリームとして記録または送信されるので、メインストリームとサブストリームの切り替えでジャンプ動作が不要であり、各ストリームを連続再生できる。同期再生は、時刻基準信号がメインおよびサブのストリームで共通とされているので、容易になしうる。さらに、メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤが重複しないように、ストリームを符号化することによって、エレメンタリストリームのデマルチプレックス（分離）を容易とできる。
【００２３】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図３は、この発明における記録データの生成方法の一例を示す。オーディオビデオなどのメイン多重化オーディオビデオストリームファイル（以下、適宜メインＡＶストリームと称する）と、それに付随する字幕やグラフィックス等のサブ多重化ストリームファイル（以下、適宜サブストリームと称する）を別々と生成する。これらのストリームは、例えばＭＰＥＧ２のプログラムストリームの形式とされている。そして、これらのストリームを図３に示すように、インターリーブして記録媒体上に記録する。
【００２４】
図３において、メインＡＶストリームが所定時間例えば１ＧＯＰ(Group Of Picture)毎のデータユニット１ａ，１ｂ，１ｃ，・・・に分割され、また、サブストリームが同様に１ＧＯＰ等の所定時間毎のデータユニット２ａ，２ｂ，２ｃ，・・・に分割される。例えばメインＡＶストリームのデータユニット１ａと同期して、サブストリームのデータユニット２ａが再生されるようになされる。そして、メインＡＶストリームおよびサブストリームから交互にデータユニットが選択されるように、インターリーブされ、１つのストリームが形成され、このストリームがディスク上に記録される。サブストリームのデータユニットがメインストリームのデータユニットよりも先に記録されても良い。メインストリームとサブストリームとは、共通の時刻基準信号例えばシステムタイムクロックＳＴＣ(System Time Clock:基本となる同期信号）を参照して符号化されている。これは、メインストリームとサブストリームの同期再生を容易とするためである。
【００２５】
図４は、例えば、メインストリームとサブストリームとがそれぞれトランスポートストリームである例を示す。図４において、１つの矩形の領域がトランスポートストリームパケットを示している。トランスポートストリームパケットは、１８８バイトの固定長を有し、ヘッダ部分にパケットＩＤ（ＰＩＤ：Packet Identification)と略す）が含まれる。ＰＩＤは、ストリームの識別情報で、そのパケットが含まれるストリームの属性が示される。
【００２６】
また、パケットのヘッダ部分にオプションで挿入できるアダプテーションフィールド内にＰＣＲ(Program Clock Reference：プログラム時刻基準参照値)が挿入される。それぞれのストリームのＰＣＲが共通のＳＴＣを参照する。デコーダにおける時刻基準となるＳＴＣの値がＰＣＲの示す値にセットされる。
【００２７】
トランスポートストリームのメインストリームとサブストリームがインターリーブされる。上述したように、メインストリーム中の１ＧＯＰ分のデータユニットとサブストリーム中の１ＧＯＰ分のデータユニットとが１つのストリームにインターリーブされる。メインストリームとサブストリームの全てのストリーム中で、ＰＩＤが重複しないように規定されている。それによって、後述するように、プレーヤシステムにおいて、デマルチプレクサの個数を１つとできる。
【００２８】
図５を参照して、この発明によるレコーダシステムの一例について説明する。ビデオ入力とオーディオ入力とがＡＶエンコーダ１１に入力され、符号化およびパケット化の処理を受ける。例えばＭＰＥＧ２でビデオデータが符号化され、ＡＣ−３でオーディオデータが符号化される。ＡＶエンコーダ１１からのタイムスタンプが付加されたビデオエレメンタリストリームＶと、タイムスタンプが付加されたオーディオエレメンタリストリームＡとがマルチプレクサ（図５ではＭＵＸと表記する）１２に入力される。マルチプレクサ１２は、メインのトランスポートストリームを符号化する。そして、メインのトランスポートストリームがバッファメモリ１６へ入力される。
【００２９】
グラフィックス入力データとサブタイトル入力データとがグラフィックスおよびサブタイトルエンコーダ１３に入力され、符号化およびパケット化の処理を受ける。エンコーダ１３からのグラフィックスエレメンタリストリームＧとサブタイトルエレメンタリストリームＳとがマルチプレクサ３４に入力される。マルチプレクサ３４は、サブのトランスポートストリームを符号化する。そして、サブのトランスポートストリームがバッファメモリ１７へ入力される。
【００３０】
マルチプレクサ１２および１４のそれぞれは、次のような符号化処理を行う。すなわち、
メインストリームとサブストリームがＳＴＣ生成部１５からの、共通のシステムクロックＳＴＣを参照して符号化され、
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）が重複しないようにされ、
好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。
【００３１】
バッファメモリ１６および１７の出力がスイッチ部１８によって、所定時間毎に例えば１ＧＯＰ毎に選択され、スイッチ部１８の出力にインターリーブされたストリームが取り出される。バッファメモリ１６、１７およびスイッチ部１８がインターリーブ装置を構成する。インターリーブされたストリームがドライブ部１９に供給され、メディア２０に記録される。図示を省略するが、通常、スイッチ部１８とドライブ部１９の間に、エラー訂正符号化の処理を行うＥＣＣエンコーダとディジタル変調を行うディジタル変調器が設けられる。
【００３２】
ドライブ部１９は、メディア（例えば記録可能な光ディスク）２０を回転させ、光学的ヘッドによって記録データを所定の書き込み位置に記録する構成とされている。ドライブ部１９は、メディア２０の回転サーボ、光学的ヘッドに対するトラッキングサーボおよびフォーカスサーボのためのサーボ部を有している。インターリーブされたストリームが光学的ヘッドによってメディア２０に記録される。
【００３３】
図６は、記録方法の処理の流れを示すフローチャートである。図６では、省略されているが、ステップＳ１０１の前の段階において、入力されたビデオデータおよびオーディオデータに対して符号化処理がなされ、グラフィックスデータおよびサブタイトルデータに対して符号化処理がなされる。
【００３４】
ステップＳ１０１において、ＡＶデータからなるメインのトランスポートストリーム（図ではＴＳと表記する）とグラフィックスおよびサブタイトルのデータからなるサブのトランスポートストリームの全てのエレメンタリストリームのＰＩＤの値が重複しないような値に決定される。
【００３５】
ステップＳ１０２において、共通のシステムタイムクロックＳＴＣを参照して、メイントランスポートストリームとサブトランスポートストリームが符号化される。好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。
【００３６】
ステップＳ１０３において、メイントランスポートストリームとサブトランスポートストリームがインターリーブされ、インターリーブされたストリームが記録媒体に記録される。
【００３７】
図７は、上述したように、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムを示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えで読み出し位置のジャンプ動作は、不要である。
【００３８】
入力端子３１に対してメディア例えば光ディスクから読み出されたデータが供給され、読み出しデータがバッファメモリ３２に蓄えられる。バッファメモリ３２の出力には、デインターリーブ用のスイッチ部３３が設けられている。スイッチ部３３によって、メインストリームのデータがバッファメモリ３４へ入力され、サブストリームのデータがバッファメモリ３５へ入力される。
【００３９】
バッファメモリ３４から出力されるメインストリームのデータがデマルチプレクサ（図中、ＤＥ−ＭＵＸと表記されている）３６へ入力される。デマルチプレクサ３６は、ＰＩＤに基づいてメインストリーム中の各パケットの属性を判別し、判別結果に基づいて属性毎にパケットデータを分離する。デマルチプレクサ３６によって抜き出されたＰＣＲパケットがＳＴＣ（システムタイムクロック）生成部３８へ供給される。
【００４０】
ＳＴＣ生成部３８は、ＰＣＲパケットのＰＣＲの値に基づいて２７ＭHzのクロックおよびＳＴＣを生成する。ＳＴＣ生成部３８は、一例として、ＰＣＲとカウンタの出力とを比較する比較器と、比較器の出力が供給されるローパスフィルタと、ローパスフィルタの出力が制御電圧として供給され、２７ＭHzのクロックを発生するＶＣＯ（Voltage Controlled Oscillator)と、ＶＣＯの出力が入力され、その出力が比較器に出力されるカウンタとから構成される。カウンタに対してＰＣＲの値がセットされる。
【００４１】
また、デマルチプレクサ３６は、メインストリーム中のオーディオストリームとビデオストリームとを分離して、各ストリームをＡＶデコーダ３９へ入力する。ＡＶデコーダ３９は、オーディオストリームおいてビデオストリームをそれぞれ復号して、復号されたビデオデータおよびオーディオデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。
【００４２】
一方、バッファメモリ３５から出力されるサブストリームのデータは、デマルチプレクサ３７へ入力される。デマルチプレクサ３７は、サブストリームからグラフィックスストリームと、サブタイトルストリームを分離する。グラフィックスストリームおよびサブタイトルストリームがデコーダ４０へ供給される。デコーダ４０は、グラフィックスストリームとサブタイトルストリームをそれぞれ復号する。復号されたグラフィックスデータおよびサブタイトルデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。
【００４３】
コントローラ４１は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ４１は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照して、ＳＴＣ生成部３８で生成された基準クロックＳＴＣに基づいて、オーディオとビデオを同期させて出力する。
【００４４】
次に、この発明が適用されたプレーヤシステムの他の例について説明する。他の例は、メディアに記録されるメインストリームとサブストリームを以下のように符号化することによって、デマルチプレクサの個数を減少させ、プレーヤシステムを簡単化するものである。
【００４５】
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）の値が重複しないように、ストリームが符号化されている。それによって、１つのデマルチプレクサによって、各エレメンタリストリームのデマルチプレックス（分離）を行うことができる。
【００４６】
この場合に、メインストリームとサブストリームの中でＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値であることが好ましい。また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容を同じにすることが好ましい。すなわち、メインストリームのＰＭＴの中にサブストリームの情報も記述し、また、サブストリームのＰＭＴの中にメインストリームの情報も記述する。なお、ＭＰＥＧ２トランスポートストリームにおいて、プログラムマップテーブルは、プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのＰＩＤのリストや付属情報を記述するためのものである。
【００４７】
図８は、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムの他の例の構成を示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。
【００４８】
メディアから読み出されたデータは、入力端子５１から入力され、バッファメディア５２に蓄えられる。バッファ５２から読み出されたストリームのデータは、デマルチプレクサ５３に入力される。デマルチプレクサ５３は、最初のＰＣＲパケットを抜き出して、それをＳＴＣの初期値として、ＳＴＣ（システムタイムクロック）生成部５４内のカウンタにセットする。ＳＴＣ生成部５４内のカウンタは、ＰＬＬの構成の分周回路として機能し、カウンタがＶＣＯからの２７ＭHzのクロックをカウントし、ＳＴＣを出力する。
【００４９】
デマルチプレクサ５３は、オーディオビデオストリームからオーディオパケット、ビデオパケットを分離して、各パケットをＡＶデコーダ５５へ入力する。ＡＶデコーダ５５は、オーディオストリームおよびビデオストリームをそれぞれ復号して、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力する。
【００５０】
また、デマルチプレクサ５３は、サブストリームからグラフィックスパケットおよびサブタイトルパケットを分離し、各パケットをグラフィックスおよびサブタイトルデコーダ５６へ入力する。グラフィックスおよびサブタイトルデコーダ５６は、グラフィックスおよびサブタイトルデータを復号して、復号データをビデオコンポーザおよびシンクコントローラ５７へ入力する。
【００５１】
ＡＶデコーダ５５とグラフィックスおよびサブタイトルデコーダ５６は、バッファメモリ５２にデータがあれば、それを復号し、バッファメモリ５２が空になると、復号を止める。すなわち、ＡＶデコーダ５５とデコーダ５６は、多重化ストリーム中のデコードタイムスタンプ（ＤＴＳ:Decoding Time Stamp）を無視して、ストリームの復号を行う。ＤＴＳは、ＭＰＥＧにおいて、復号する順序と再生する順序が異なることから設けられている。すなわち、ＩピクチャとＰピクチャは、Ｂピクチャよりも先行してストリームに出力するようになされる。
【００５２】
ビデオコンポーザおよびシンクコントローラ５７は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ５７は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照してＳＴＣ生成部５４からの基準クロックＳＴＣに基づいて、オーディオとビデオを同期して出力する。
【００５３】
図９は、図８のプレーヤシステムにおける再生の処理の流れを示すフローチャートである。ステップＳ２０１において、インターリーブしてメディア上に記録されている２個のトランスポートストリームをデータ配置の順に読み出す。
【００５４】
ステップＳ２０２において、読み出されたデータをデマルチプレクサ５３に入力する。
【００５５】
ステップＳ２０３において、デマルチプレクサ５３が入力データからエレメンタリストリームを分離して、デコーダへ入力する。すなわち、デマルチプレクサ５３は、オーディオストリームおよびビデオストリームを分離して、ＡＶデコーダ５５へ入力する。また、デマルチプレクサ５３は、サブストリームからグラフィックスストリームおよびサブタイトルストリームを分離して、グラフィックスおよびサブタイトルデコーダ５６へ入力する。
【００５６】
ステップＳ２０４において、各デコーダは、ＤＴＳを無視して復号を行う。すなわち、ＡＶデコーダ５５がオーディオデータおよびビデオデータを復号し、グラフィックスおよびサブタイトルデコーダ５６がグラフィックスデータおよびサブタイトルデータを復号する。
【００５７】
ステップＳ２０５において、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力し、ビデオデータとグラフィックスデータを合成して表示ビデオ信号を生成する。また、ＰＴＳを参照して、オーディオビデオを同期出力する。
【００５８】
次に、メインストリームとサブストリームがディスク媒体にインターリーブして記録されている時のランダムアクセス再生の例について説明する。メインストリームの所定再生時間分のデータと、これに対応して同期再生される時間分のサブストリームとをインターリーブして記録すると、ランダムアクセス再生を容易にできる。
【００５９】
図１０は、ランダムアクセス再生動作を説明するもので、参照符号ＡＤ１は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生される字幕やグラフィックスが開始するパケットのアドレスを示す。参照符号ＡＤ２は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャが開始するパケットのアドレスを示す。
【００６０】
ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生されるサブストリームが開始するパケットのアドレスＡＤ１からデータのリードを開始する。メインストリームとサブストリームは、連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプ動作が不要である。これにより、ランダムアクセスしたい箇所のビデオとそれに同期するサブストリームを再生することができる。
【００６１】
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、メインストリームおよびサブストリームをネットワークを介して伝送する通信に対しても適用することができる。送信装置の場合では、図５中のドライブ部１９およびメディア２０が送信部に変更される。受信装置の場合では、図７中の入力端子３１および図８中の入力端子５１に受信データが供給される。
【００６２】
【発明の効果】
この発明では、オーディオビデオなどのメインストリームと、メインストリームに付随する字幕やグラフィックスなどのサブストリームがインターリーブして連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。したがって、各ストリームを連続再生できるように、ストリームをデコーダへ供給することを保証するために、ストリームの符号化ビットレートを低くする必要がなく、ビデオ等の画質が劣化する問題が生じない。
【００６３】
この発明では、メインストリームとサブストリームが共通の時刻基準信号（ＳＴＣ）を参照するように、ストリームを符号化するので、メインストリームとサブストリームの同期再生を容易にできる。
【００６４】
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤの値が重複しないように、ストリームを符号化するので、各エレメンタリストリームのデマルチプレックス（分離）を容易にできる。
【図面の簡単な説明】
【図１】メインＡＶデータとサブピクチャが多重化されているストリームをランダムアクセス再生する従来の方法を説明するための略線図である。
【図２】従来のＡＶストリームとサブストリームを別々のストリームとして記録した場合の従来の再生方法を説明するための略線図である。
【図３】この発明によるメインストリームおよびサブストリームの記録方法を説明するための略線図である。
【図４】トランスポートストリームの場合のこの発明による記録方法を説明するための略線図である。
【図５】この発明によるレコーダシステムの一例の構成を示すブロック図である。
【図６】この発明による記録方法の処理の流れを示すフローチャートである。
【図７】この発明によるプレーヤシステムの一例の構成を示すブロック図である。
【図８】この発明によるプレーヤシステムの他の例の構成を示すブロック図である。
【図９】この発明によるプレーヤシステムの他の例の再生方法の処理の流れを示すフローチャートである。
【図１０】この発明によりインターリーブして記録されている２個のトランスポートストリームをランダムアクセス再生する方法を説明するための略線図である。
【符号の説明】
１２，１４・・・マルチプレクサ、１５・・・ＳＴＣ生成部、１８・・・インターリーブ用スイッチ部、３３・・・デインターリーブ用スイッチ部、３６，３７・・・デマルチプレクサ、３８・・・ＳＴＣ生成部、３９・・・ＡＶデコーダ、４０・・・グラフィックスおよびサブタイトルデコーダ、４１・・・ビデオコンポーザおよびシンクコントローラ
Claims (8)
- オーディオビデオストリームを記録媒体に記録する情報処理装置において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成する第１の多重化手段と、
上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを上記時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する第２の多重化手段と、
上記メイン多重化ストリームおよび上記サブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブ手段と、
上記インターリーブ手段からのストリームを記録媒体に記録する手段と
からなり、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされる情報処理装置。 - オーディオビデオストリームを記録媒体に記録する情報処理方法において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを上記時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされる情報処理方法。 - オーディオビデオストリームを記録媒体に記録する情報処理装置のプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを上記時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラム。 - オーディオビデオストリームを記録媒体に記録する情報処理装置を制御するプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを上記時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体。 - オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理装置において、、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび上記画像ストリームをそれぞれ分離する分離手段と、
上記再生されたストリームから上記分離手段によって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
上記分離手段によって分離されたビデオパケットおよびオーディオパケットが供給され、上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号手段と、
上記分離手段によって分離された画像パケットが供給され、上記画像ストリームを上記時刻基準信号にしたがって復号する第２の復号手段と、
上記第１の復号手段から出力されるビデオ信号と、上記第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置。 - オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび上記画像ストリームをそれぞれ分離する分離ステップと、
上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号ステップと、
上記分離ステップによって分離された画像パケットが供給され、上記画像ストリームを上記時刻基準信号にしたがって復号する第２の復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法。 - オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび上記画像ストリームをそれぞれ分離する分離ステップと、
上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号ステップと、
上記分離ステップによって分離された画像パケットが供給され、上記画像ストリームを上記時刻基準信号にしたがって復号する第２の復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラム。 - オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、上記パケットＩＤに基づいて、再生されたデータからオーディオストリーム、ビデオストリームおよび上記画像ストリームをそれぞれ分離する分離ステップと、
上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号ステップと、
上記分離ステップによって分離された画像パケットが供給され、上記画像ストリームを上記時刻基準信号にしたがって復号する第２の復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002277603A JP4781600B2 (ja) | 2002-09-24 | 2002-09-24 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002277603A JP4781600B2 (ja) | 2002-09-24 | 2002-09-24 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009101955A Division JP4992931B2 (ja) | 2009-04-20 | 2009-04-20 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004120098A JP2004120098A (ja) | 2004-04-15 |
| JP4781600B2 true JP4781600B2 (ja) | 2011-09-28 |
Family
ID=32273157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002277603A Expired - Fee Related JP4781600B2 (ja) | 2002-09-24 | 2002-09-24 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4781600B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3986973B2 (ja) | 2002-10-17 | 2007-10-03 | シャープ株式会社 | Ａｖデータ記録方法、ａｖデータ記録装置、データ記録媒体、及びプログラム |
| US20060007963A1 (en) * | 2004-06-10 | 2006-01-12 | Samsung Electronics Co., Ltd. | Information storage medium containing AV stream including graphic data, and reproducing method and apparatus therefor |
| EP3094084A1 (en) | 2005-08-10 | 2016-11-16 | Mitsubishi Electric Corporation | Recording medium, reproducing apparatus, and reproducing method |
| JP4779981B2 (ja) * | 2007-02-01 | 2011-09-28 | 三菱電機株式会社 | デジタル映像情報データ生成装置、デジタル映像情報記録装置、デジタル映像情報再生装置、及びデジタル映像情報データ生成方法 |
| CN107211170B (zh) * | 2015-02-20 | 2020-07-10 | 索尼公司 | 传输装置、传输方法、接收装置以及接收方法 |
-
2002
- 2002-09-24 JP JP2002277603A patent/JP4781600B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004120098A (ja) | 2004-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5052848B2 (ja) | ビデオストリームの再生方法、再生装置、記録方法、記録装置及び記録媒体 | |
| US8886010B2 (en) | Apparatus and method for decoding data for providing browsable slide show, and data storage medium therefor | |
| US7881584B2 (en) | Reproducing apparatus and method, and recording medium | |
| JP2002519917A (ja) | 符号化されたａｖ系列のフレームの正確な編集 | |
| JP2008123693A (ja) | 再生装置、再生方法及びその記録媒体 | |
| JPH10262208A (ja) | 同期ずれ制御装置及び方法 | |
| JP4781600B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| CN110675895B (zh) | 再现方法、再现装置以及记录介质 | |
| JP4992931B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
| JP3906795B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2006352587A (ja) | 情報処理装置 | |
| RU2411596C2 (ru) | Способ воспроизведения | |
| US20070122120A1 (en) | Multi-av stream playback method and playback apparatus | |
| JP3607681B2 (ja) | 副映像データ編集装置および編集方法 | |
| JP4998574B2 (ja) | 映像音声記録装置 | |
| JP2007128641A (ja) | 情報処理装置、情報処理方法及びプログラム、記録媒体、並びにデータ構造 | |
| JP2000339860A (ja) | データ記録再生装置 | |
| US20070122115A1 (en) | Multi-av stream playback method and playback apparatus | |
| MXPA00001917A (en) | Frame-accurate editing of encoded a/v sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090417 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090427 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090529 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110418 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110706 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |