JP4781600B2 - Information processing apparatus and method, program, and recording medium - Google Patents

Information processing apparatus and method, program, and recording medium Download PDF

Info

Publication number
JP4781600B2
JP4781600B2 JP2002277603A JP2002277603A JP4781600B2 JP 4781600 B2 JP4781600 B2 JP 4781600B2 JP 2002277603 A JP2002277603 A JP 2002277603A JP 2002277603 A JP2002277603 A JP 2002277603A JP 4781600 B2 JP4781600 B2 JP 4781600B2
Authority
JP
Japan
Prior art keywords
stream
packet
multiplexed
video
time reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002277603A
Other languages
Japanese (ja)
Other versions
JP2004120098A (en
Inventor
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002277603A priority Critical patent/JP4781600B2/en
Publication of JP2004120098A publication Critical patent/JP2004120098A/en
Application granted granted Critical
Publication of JP4781600B2 publication Critical patent/JP4781600B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Time-Division Multiplex Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
この発明は、ビデオとそれに付随する字幕、グラフィックス等のサブピクチャの記録および再生のための情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
ディスクメディア等のパッケージメディアに映画等のビデオ素材を記録する場合、ビデオストリームとそれに付随するオーディオ、字幕やグラフィックスを多重化したストリームが記録される。例えばＤＶＤ(Digital Versatile Disc またはDigital Video Disc) では、ＭＰＥＧ２で符号化されたビデオストリームとそれに付随するオーディオやサブピクチャ（字幕、グラフィックス、静止画等のメインのビデオ以外の映像情報を意味する）を多重化したＭＰＥＧ２プログラムストリームが記録される。
【０００３】
ＤＶＤのプログラムストリーム上では、あるビデオフレームのデータアドレスとそのビデオに同期表示されるサブピクチャユニットのデータアドレスが隣接していないことが多い。また、１つのサブピクチャユニットは、２０４８バイト長のパックに分割され、各パックがストリーム上で離散的に配置される。
【０００４】
先に、ディスク上にオーディオビデオストリーム（以下、ＡＶストリームと適宜称する）を記録する場合、高速再生のような特殊再生を可能とするために、ストリーム中のＩピクチャの位置等を記録したアドレステーブルを持つ管理方法が本願出願人によって提案されている（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開２００２−１５８９７２号公報
【０００６】
ビデオ、オーディオとサブピクチャが多重化されている多重化ＡＶストリーム（例えばＤＶＤビデオのＭＰＥＧ２プログラムストリームファイル）がディスク媒体に記録されている時には、ランダムアクセス再生が図１に示すようになされる。先ず、ランダムアクセスしたい再生時間ＰＴＳ(Presentation Time Stamp;再生出力の時刻管理情報）のＩピクチャに同期して再生されるサブピクチャが開始するパックのアドレスが求められる。図１において、Ｐm1がアクセスしたい再生時間ＰＴＳのＩピクチャが開始するパックを示す。
【０００７】
求められたサブピクチャのアドレスからデータのリードが開始される。図１において、Ｐs1がアクセスしたい再生時間ＰＴＳのＩピクチャに同期して再生されるサブピクチャが開始するパックを示す。そのサブピクチャのデータを全て読み出すまで、リード動作を続ける。図１では、Ｐs1，Ｐs2，・・・，Ｐsnがそのサブピクチャの全データが入っているｎ個のパックを示している。このリード動作では、サブピクチャのパックの間に存在するサブピクチャ以外のパックのデータも読み出さねばならない。
【０００８】
このリードが終了すると、ランダムアクセスしたい再生時間のＩピクチャが開始するパックＰm1のアドレスにジャンプする。そして、そのアドレスから読み出しを再開する。これによって、ランダムアクセスしたところのビデオとそれに同期するサブピクチャを再生することができる。
【０００９】
ビデオとそれに付随する符号化されたオーディオ、符号化されたサブピクチャを１つの多重化ストリームにまとめ、この多重化ストリームを記録する方法の他に、ビデオストリームとそれに付随するサブピクチャを別々のストリームとして記録する方法がある。この場合、プレーヤは、同時に複数のストリームを記録媒体から読み出して、それらを同時にデコードする必要がある。
【００１０】
図２は、メインＡＶストリーム（オーディオパケットおよびビデオパケットを多重化したストリーム）とサブストリーム（メインストリームのオーディオ、ビデオ以外のサブピクチャのパケットを多重化したストリーム）とが記録媒体上に別々に記録されている場合の再生方法を示す。ディスク上では、各ストリームが連続記録領域にそれぞれ記録されている。
【００１１】
プレーヤは、メインＡＶストリームの読み出しを開始し、サブストリームのデータが必要な時点となると、サブストリームにジャンプし（ジャンプ１）、サブストリームを再生し、必要なサブストリーム中のデータの読み出しを終了すると、メインＡＶストリームの読み出しに戻るためにジャンプする（ジャンプ２）。各ストリームから読み出されたデータは、連続再生できるようにデコーダに供給される。このように、メインＡＶストリームのリードが止まってから、次にそのリードが再開するまでに、２回のジャンプ動作が必要とされる。
【００１２】
【発明が解決しようとする課題】
図１に示されるように、ビデオとそれに付随するオーディオ、字幕、グラフィックスが１つの多重化ストリームとして記録されていると、ランダムアクセス再生時にサブピクチャのデータをストリームから取り出すことが容易でない。すなわち、サブピクチャ以外のデータも読み出す必要があるために、読み出すことが必要なデータ量が多くなる問題がある。
【００１３】
図２に示されるように、ビデオストリームとそれに付随する字幕やグラフィックスを別々のストリームで記録する方法では、プレーヤが２本のストリームをディスクから交互に読み出すために、読み出しの切り替え時にジャンプが必要である。さらに、読み出された各ストリームを連続再生できるように、各ストリームをデコーダに供給するために、ストリームのビットレートを低く抑えることが必要になる。そのために、ビデオストリームの符号化ビットレートを低くしなければならないので、ビデオ等の符号化画質が低下する問題がある。
【００１４】
したがって、この発明の目的は、オーディオビデオなどのメインストリームに付随する字幕や、グラフィックス等のサブピクチャのサブストリームが記録媒体に記録されている時に、プレーヤがサブストリームを容易に読み出せることができ、また、メインストリームのビットレートの制限が少ない情報処理装置および方法、プログラム、並びに記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成する第１の多重化手段と、
オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する第２の多重化手段と、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブ手段と、
インターリーブ手段からのストリームを記録媒体に記録する手段と
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理装置である。
【００１６】
請求項２の発明は、オーディオビデオストリームを記録媒体に記録する情報処理方法において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法である。
【００１７】
請求項３の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置のプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラムである。
請求項４の発明は、オーディオビデオストリームを記録媒体に記録する情報処理装置を制御するプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
メイン多重化ストリームおよびサブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体である。
【００１８】
請求項５の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理装置において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離手段と、
再生されたストリームから分離手段によって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
分離手段によって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号手段と、
分離手段によって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号手段と、
第１の復号手段から出力されるビデオ信号と、第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置である。
【００１９】
請求項６の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法である。
【００２０】
請求項７の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータから時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラムである。
請求項８の発明は、オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
メイン多重化ストリームおよびサブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
時刻基準信号を伝送するパケットのパケットＩＤがメイン多重化ストリームおよびサブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのパケットＩＤのリストや付属情報を記述するためのテーブルをメイン多重化ストリームおよびサブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、パケットＩＤに基づいて、再生されたデータからオーディオストリーム、ビデオストリームおよび画像ストリームをそれぞれ分離する分離ステップと、
再生されたストリームから分離ステップによって分離された時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、オーディオストリームおよびビデオストリームを時刻基準信号にしたがって復号する第１の復号ステップと、
分離ステップによって分離された画像パケットが供給され、画像ストリームを時刻基準信号にしたがって復号する第２の復号ステップと、
復号されたビデオ信号と、復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体である。
【００２２】
この発明では、メインストリーム中のビデオと同期して再生されるサブピクチャのサブストリームとがインターリーブされて１つのストリームとして記録または送信されるので、メインストリームとサブストリームの切り替えでジャンプ動作が不要であり、各ストリームを連続再生できる。同期再生は、時刻基準信号がメインおよびサブのストリームで共通とされているので、容易になしうる。さらに、メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤが重複しないように、ストリームを符号化することによって、エレメンタリストリームのデマルチプレックス（分離）を容易とできる。
【００２３】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図３は、この発明における記録データの生成方法の一例を示す。オーディオビデオなどのメイン多重化オーディオビデオストリームファイル（以下、適宜メインＡＶストリームと称する）と、それに付随する字幕やグラフィックス等のサブ多重化ストリームファイル（以下、適宜サブストリームと称する）を別々と生成する。これらのストリームは、例えばＭＰＥＧ２のプログラムストリームの形式とされている。そして、これらのストリームを図３に示すように、インターリーブして記録媒体上に記録する。
【００２４】
図３において、メインＡＶストリームが所定時間例えば１ＧＯＰ(Group Of Picture)毎のデータユニット１ａ，１ｂ，１ｃ，・・・に分割され、また、サブストリームが同様に１ＧＯＰ等の所定時間毎のデータユニット２ａ，２ｂ，２ｃ，・・・に分割される。例えばメインＡＶストリームのデータユニット１ａと同期して、サブストリームのデータユニット２ａが再生されるようになされる。そして、メインＡＶストリームおよびサブストリームから交互にデータユニットが選択されるように、インターリーブされ、１つのストリームが形成され、このストリームがディスク上に記録される。サブストリームのデータユニットがメインストリームのデータユニットよりも先に記録されても良い。メインストリームとサブストリームとは、共通の時刻基準信号例えばシステムタイムクロックＳＴＣ(System Time Clock:基本となる同期信号）を参照して符号化されている。これは、メインストリームとサブストリームの同期再生を容易とするためである。
【００２５】
図４は、例えば、メインストリームとサブストリームとがそれぞれトランスポートストリームである例を示す。図４において、１つの矩形の領域がトランスポートストリームパケットを示している。トランスポートストリームパケットは、１８８バイトの固定長を有し、ヘッダ部分にパケットＩＤ（ＰＩＤ：Packet Identification)と略す）が含まれる。ＰＩＤは、ストリームの識別情報で、そのパケットが含まれるストリームの属性が示される。
【００２６】
また、パケットのヘッダ部分にオプションで挿入できるアダプテーションフィールド内にＰＣＲ(Program Clock Reference：プログラム時刻基準参照値)が挿入される。それぞれのストリームのＰＣＲが共通のＳＴＣを参照する。デコーダにおける時刻基準となるＳＴＣの値がＰＣＲの示す値にセットされる。
【００２７】
トランスポートストリームのメインストリームとサブストリームがインターリーブされる。上述したように、メインストリーム中の１ＧＯＰ分のデータユニットとサブストリーム中の１ＧＯＰ分のデータユニットとが１つのストリームにインターリーブされる。メインストリームとサブストリームの全てのストリーム中で、ＰＩＤが重複しないように規定されている。それによって、後述するように、プレーヤシステムにおいて、デマルチプレクサの個数を１つとできる。
【００２８】
図５を参照して、この発明によるレコーダシステムの一例について説明する。ビデオ入力とオーディオ入力とがＡＶエンコーダ１１に入力され、符号化およびパケット化の処理を受ける。例えばＭＰＥＧ２でビデオデータが符号化され、ＡＣ−３でオーディオデータが符号化される。ＡＶエンコーダ１１からのタイムスタンプが付加されたビデオエレメンタリストリームＶと、タイムスタンプが付加されたオーディオエレメンタリストリームＡとがマルチプレクサ（図５ではＭＵＸと表記する）１２に入力される。マルチプレクサ１２は、メインのトランスポートストリームを符号化する。そして、メインのトランスポートストリームがバッファメモリ１６へ入力される。
【００２９】
グラフィックス入力データとサブタイトル入力データとがグラフィックスおよびサブタイトルエンコーダ１３に入力され、符号化およびパケット化の処理を受ける。エンコーダ１３からのグラフィックスエレメンタリストリームＧとサブタイトルエレメンタリストリームＳとがマルチプレクサ３４に入力される。マルチプレクサ３４は、サブのトランスポートストリームを符号化する。そして、サブのトランスポートストリームがバッファメモリ１７へ入力される。
【００３０】
マルチプレクサ１２および１４のそれぞれは、次のような符号化処理を行う。すなわち、
メインストリームとサブストリームがＳＴＣ生成部１５からの、共通のシステムクロックＳＴＣを参照して符号化され、
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）が重複しないようにされ、
好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。
【００３１】
バッファメモリ１６および１７の出力がスイッチ部１８によって、所定時間毎に例えば１ＧＯＰ毎に選択され、スイッチ部１８の出力にインターリーブされたストリームが取り出される。バッファメモリ１６、１７およびスイッチ部１８がインターリーブ装置を構成する。インターリーブされたストリームがドライブ部１９に供給され、メディア２０に記録される。図示を省略するが、通常、スイッチ部１８とドライブ部１９の間に、エラー訂正符号化の処理を行うＥＣＣエンコーダとディジタル変調を行うディジタル変調器が設けられる。
【００３２】
ドライブ部１９は、メディア（例えば記録可能な光ディスク）２０を回転させ、光学的ヘッドによって記録データを所定の書き込み位置に記録する構成とされている。ドライブ部１９は、メディア２０の回転サーボ、光学的ヘッドに対するトラッキングサーボおよびフォーカスサーボのためのサーボ部を有している。インターリーブされたストリームが光学的ヘッドによってメディア２０に記録される。
【００３３】
図６は、記録方法の処理の流れを示すフローチャートである。図６では、省略されているが、ステップＳ１０１の前の段階において、入力されたビデオデータおよびオーディオデータに対して符号化処理がなされ、グラフィックスデータおよびサブタイトルデータに対して符号化処理がなされる。
【００３４】
ステップＳ１０１において、ＡＶデータからなるメインのトランスポートストリーム（図ではＴＳと表記する）とグラフィックスおよびサブタイトルのデータからなるサブのトランスポートストリームの全てのエレメンタリストリームのＰＩＤの値が重複しないような値に決定される。
【００３５】
ステップＳ１０２において、共通のシステムタイムクロックＳＴＣを参照して、メイントランスポートストリームとサブトランスポートストリームが符号化される。好ましくは、メインストリームとサブストリームの中で、ＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値とされ、また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容が同じものとされる。
【００３６】
ステップＳ１０３において、メイントランスポートストリームとサブトランスポートストリームがインターリーブされ、インターリーブされたストリームが記録媒体に記録される。
【００３７】
図７は、上述したように、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムを示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えで読み出し位置のジャンプ動作は、不要である。
【００３８】
入力端子３１に対してメディア例えば光ディスクから読み出されたデータが供給され、読み出しデータがバッファメモリ３２に蓄えられる。バッファメモリ３２の出力には、デインターリーブ用のスイッチ部３３が設けられている。スイッチ部３３によって、メインストリームのデータがバッファメモリ３４へ入力され、サブストリームのデータがバッファメモリ３５へ入力される。
【００３９】
バッファメモリ３４から出力されるメインストリームのデータがデマルチプレクサ（図中、ＤＥ−ＭＵＸと表記されている）３６へ入力される。デマルチプレクサ３６は、ＰＩＤに基づいてメインストリーム中の各パケットの属性を判別し、判別結果に基づいて属性毎にパケットデータを分離する。デマルチプレクサ３６によって抜き出されたＰＣＲパケットがＳＴＣ（システムタイムクロック）生成部３８へ供給される。
【００４０】
ＳＴＣ生成部３８は、ＰＣＲパケットのＰＣＲの値に基づいて２７ＭHzのクロックおよびＳＴＣを生成する。ＳＴＣ生成部３８は、一例として、ＰＣＲとカウンタの出力とを比較する比較器と、比較器の出力が供給されるローパスフィルタと、ローパスフィルタの出力が制御電圧として供給され、２７ＭHzのクロックを発生するＶＣＯ（Voltage Controlled Oscillator)と、ＶＣＯの出力が入力され、その出力が比較器に出力されるカウンタとから構成される。カウンタに対してＰＣＲの値がセットされる。
【００４１】
また、デマルチプレクサ３６は、メインストリーム中のオーディオストリームとビデオストリームとを分離して、各ストリームをＡＶデコーダ３９へ入力する。ＡＶデコーダ３９は、オーディオストリームおいてビデオストリームをそれぞれ復号して、復号されたビデオデータおよびオーディオデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。
【００４２】
一方、バッファメモリ３５から出力されるサブストリームのデータは、デマルチプレクサ３７へ入力される。デマルチプレクサ３７は、サブストリームからグラフィックスストリームと、サブタイトルストリームを分離する。グラフィックスストリームおよびサブタイトルストリームがデコーダ４０へ供給される。デコーダ４０は、グラフィックスストリームとサブタイトルストリームをそれぞれ復号する。復号されたグラフィックスデータおよびサブタイトルデータがビデオコンポーザおよびシンクコントローラ４１へ入力される。
【００４３】
コントローラ４１は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ４１は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照して、ＳＴＣ生成部３８で生成された基準クロックＳＴＣに基づいて、オーディオとビデオを同期させて出力する。
【００４４】
次に、この発明が適用されたプレーヤシステムの他の例について説明する。他の例は、メディアに記録されるメインストリームとサブストリームを以下のように符号化することによって、デマルチプレクサの個数を減少させ、プレーヤシステムを簡単化するものである。
【００４５】
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤ（ＰＩＤ）の値が重複しないように、ストリームが符号化されている。それによって、１つのデマルチプレクサによって、各エレメンタリストリームのデマルチプレックス（分離）を行うことができる。
【００４６】
この場合に、メインストリームとサブストリームの中でＳＴＣを伝送するパケット（ＰＣＲパケット）のパケットＩＤ（ＰＩＤ）が同じ値であることが好ましい。また、メインストリームとサブストリームの中で、プログラムマップテーブル（ＰＭＴ）の内容を同じにすることが好ましい。すなわち、メインストリームのＰＭＴの中にサブストリームの情報も記述し、また、サブストリームのＰＭＴの中にメインストリームの情報も記述する。なお、ＭＰＥＧ２トランスポートストリームにおいて、プログラムマップテーブルは、プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットのＰＩＤのリストや付属情報を記述するためのものである。
【００４７】
図８は、インターリーブして記録されているメインストリームとサブストリームを再生するプレーヤシステムの他の例の構成を示す。メインストリームとサブストリームは、インターリーブして連続的にメディア上に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。
【００４８】
メディアから読み出されたデータは、入力端子５１から入力され、バッファメディア５２に蓄えられる。バッファ５２から読み出されたストリームのデータは、デマルチプレクサ５３に入力される。デマルチプレクサ５３は、最初のＰＣＲパケットを抜き出して、それをＳＴＣの初期値として、ＳＴＣ（システムタイムクロック）生成部５４内のカウンタにセットする。ＳＴＣ生成部５４内のカウンタは、ＰＬＬの構成の分周回路として機能し、カウンタがＶＣＯからの２７ＭHzのクロックをカウントし、ＳＴＣを出力する。
【００４９】
デマルチプレクサ５３は、オーディオビデオストリームからオーディオパケット、ビデオパケットを分離して、各パケットをＡＶデコーダ５５へ入力する。ＡＶデコーダ５５は、オーディオストリームおよびビデオストリームをそれぞれ復号して、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力する。
【００５０】
また、デマルチプレクサ５３は、サブストリームからグラフィックスパケットおよびサブタイトルパケットを分離し、各パケットをグラフィックスおよびサブタイトルデコーダ５６へ入力する。グラフィックスおよびサブタイトルデコーダ５６は、グラフィックスおよびサブタイトルデータを復号して、復号データをビデオコンポーザおよびシンクコントローラ５７へ入力する。
【００５１】
ＡＶデコーダ５５とグラフィックスおよびサブタイトルデコーダ５６は、バッファメモリ５２にデータがあれば、それを復号し、バッファメモリ５２が空になると、復号を止める。すなわち、ＡＶデコーダ５５とデコーダ５６は、多重化ストリーム中のデコードタイムスタンプ（ＤＴＳ:Decoding Time Stamp）を無視して、ストリームの復号を行う。ＤＴＳは、ＭＰＥＧにおいて、復号する順序と再生する順序が異なることから設けられている。すなわち、ＩピクチャとＰピクチャは、Ｂピクチャよりも先行してストリームに出力するようになされる。
【００５２】
ビデオコンポーザおよびシンクコントローラ５７は、ビデオデータとグラフィックス・サブタイトルデータを合成して表示ビデオ信号を生成する。また、コントローラ５７は、オーディオデータとビデオデータとグラフィックス・サブタイトルデータのそれぞれのプレゼンテーションタイムスタンプ（ＰＴＳ）を参照してＳＴＣ生成部５４からの基準クロックＳＴＣに基づいて、オーディオとビデオを同期して出力する。
【００５３】
図９は、図８のプレーヤシステムにおける再生の処理の流れを示すフローチャートである。ステップＳ２０１において、インターリーブしてメディア上に記録されている２個のトランスポートストリームをデータ配置の順に読み出す。
【００５４】
ステップＳ２０２において、読み出されたデータをデマルチプレクサ５３に入力する。
【００５５】
ステップＳ２０３において、デマルチプレクサ５３が入力データからエレメンタリストリームを分離して、デコーダへ入力する。すなわち、デマルチプレクサ５３は、オーディオストリームおよびビデオストリームを分離して、ＡＶデコーダ５５へ入力する。また、デマルチプレクサ５３は、サブストリームからグラフィックスストリームおよびサブタイトルストリームを分離して、グラフィックスおよびサブタイトルデコーダ５６へ入力する。
【００５６】
ステップＳ２０４において、各デコーダは、ＤＴＳを無視して復号を行う。すなわち、ＡＶデコーダ５５がオーディオデータおよびビデオデータを復号し、グラフィックスおよびサブタイトルデコーダ５６がグラフィックスデータおよびサブタイトルデータを復号する。
【００５７】
ステップＳ２０５において、復号したオーディオデータおよびビデオデータをビデオコンポーザおよびシンクコントローラ５７へ入力し、ビデオデータとグラフィックスデータを合成して表示ビデオ信号を生成する。また、ＰＴＳを参照して、オーディオビデオを同期出力する。
【００５８】
次に、メインストリームとサブストリームがディスク媒体にインターリーブして記録されている時のランダムアクセス再生の例について説明する。メインストリームの所定再生時間分のデータと、これに対応して同期再生される時間分のサブストリームとをインターリーブして記録すると、ランダムアクセス再生を容易にできる。
【００５９】
図１０は、ランダムアクセス再生動作を説明するもので、参照符号ＡＤ１は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生される字幕やグラフィックスが開始するパケットのアドレスを示す。参照符号ＡＤ２は、ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャが開始するパケットのアドレスを示す。
【００６０】
ランダムアクセスしたい再生時間（ＰＴＳ）のＩピクチャに同期して再生されるサブストリームが開始するパケットのアドレスＡＤ１からデータのリードを開始する。メインストリームとサブストリームは、連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプ動作が不要である。これにより、ランダムアクセスしたい箇所のビデオとそれに同期するサブストリームを再生することができる。
【００６１】
この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばこの発明は、メインストリームおよびサブストリームをネットワークを介して伝送する通信に対しても適用することができる。送信装置の場合では、図５中のドライブ部１９およびメディア２０が送信部に変更される。受信装置の場合では、図７中の入力端子３１および図８中の入力端子５１に受信データが供給される。
【００６２】
【発明の効果】
この発明では、オーディオビデオなどのメインストリームと、メインストリームに付随する字幕やグラフィックスなどのサブストリームがインターリーブして連続的に記録されているので、メインストリームとサブストリームの読み出しの切り替えでジャンプが不要である。したがって、各ストリームを連続再生できるように、ストリームをデコーダへ供給することを保証するために、ストリームの符号化ビットレートを低くする必要がなく、ビデオ等の画質が劣化する問題が生じない。
【００６３】
この発明では、メインストリームとサブストリームが共通の時刻基準信号（ＳＴＣ）を参照するように、ストリームを符号化するので、メインストリームとサブストリームの同期再生を容易にできる。
【００６４】
メインストリームとサブストリームの中の全てのエレメンタリストリームのパケットＩＤの値が重複しないように、ストリームを符号化するので、各エレメンタリストリームのデマルチプレックス（分離）を容易にできる。
【図面の簡単な説明】
【図１】メインＡＶデータとサブピクチャが多重化されているストリームをランダムアクセス再生する従来の方法を説明するための略線図である。
【図２】従来のＡＶストリームとサブストリームを別々のストリームとして記録した場合の従来の再生方法を説明するための略線図である。
【図３】この発明によるメインストリームおよびサブストリームの記録方法を説明するための略線図である。
【図４】トランスポートストリームの場合のこの発明による記録方法を説明するための略線図である。
【図５】この発明によるレコーダシステムの一例の構成を示すブロック図である。
【図６】この発明による記録方法の処理の流れを示すフローチャートである。
【図７】この発明によるプレーヤシステムの一例の構成を示すブロック図である。
【図８】この発明によるプレーヤシステムの他の例の構成を示すブロック図である。
【図９】この発明によるプレーヤシステムの他の例の再生方法の処理の流れを示すフローチャートである。
【図１０】この発明によりインターリーブして記録されている２個のトランスポートストリームをランダムアクセス再生する方法を説明するための略線図である。
【符号の説明】
１２，１４・・・マルチプレクサ、１５・・・ＳＴＣ生成部、１８・・・インターリーブ用スイッチ部、３３・・・デインターリーブ用スイッチ部、３６，３７・・・デマルチプレクサ、３８・・・ＳＴＣ生成部、３９・・・ＡＶデコーダ、４０・・・グラフィックスおよびサブタイトルデコーダ、４１・・・ビデオコンポーザおよびシンクコントローラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing apparatus and method, a program, and a recording medium for recording and reproducing a sub-picture such as a video and accompanying subtitles and graphics.
[0002]
[Prior art]
When recording a video material such as a movie on a package medium such as a disk medium, a stream in which a video stream and accompanying audio, subtitles, and graphics are multiplexed is recorded. For example, in a DVD (Digital Versatile Disc or Digital Video Disc), a video stream encoded with MPEG2 and accompanying audio and sub-picture (meaning video information other than the main video such as subtitles, graphics, and still images) MPEG2 program stream is recorded.
[0003]
On a DVD program stream, the data address of a certain video frame and the data address of a sub-picture unit displayed in synchronization with the video are often not adjacent. One sub-picture unit is divided into packs having a length of 2048 bytes, and each pack is discretely arranged on the stream.
[0004]
First, when an audio video stream (hereinafter referred to as an AV stream) is recorded on a disc, an address table in which the position of an I picture in the stream is recorded to enable special playback such as high-speed playback. Has been proposed by the present applicant (see, for example, Patent Document 1).
[0005]
[Patent Document 1]
JP 2002-158972 A
[0006]
When a multiplexed AV stream (for example, an MPEG2 program stream file of a DVD video) in which video, audio, and subpicture are multiplexed is recorded on a disk medium, random access reproduction is performed as shown in FIG. First, the address of a pack at which a sub-picture to be reproduced in synchronization with an I picture of a reproduction time PTS (Presentation Time Stamp; reproduction output time management information) to be randomly accessed is obtained. In FIG. 1, Pm1Indicates a pack in which an I picture of a playback time PTS to be accessed starts.
[0007]
Data reading is started from the obtained sub-picture address. In FIG. 1, Ps1Indicates a pack in which a sub-picture that is reproduced in synchronization with the I picture of the reproduction time PTS to be accessed starts. The read operation is continued until all the data of the sub picture is read. In FIG. 1, Ps1, Ps2, ..., PsnIndicates n packs containing all data of the sub-picture. In this read operation, pack data other than sub-pictures existing between sub-picture packs must also be read.
[0008]
When this read is finished, the pack Pm where the I picture of the playback time to be randomly accessed starts.1Jump to the address. Then, reading is resumed from that address. As a result, it is possible to reproduce the randomly accessed video and the sub-picture synchronized therewith.
[0009]
In addition to a method for recording video and its associated encoded audio and encoded sub-pictures into one multiplexed stream and recording this multiplexed stream, the video stream and its associated sub-pictures are separated into separate streams. There is a way to record as. In this case, the player needs to simultaneously read a plurality of streams from the recording medium and decode them simultaneously.
[0010]
FIG. 2 shows that a main AV stream (a stream in which audio packets and video packets are multiplexed) and a sub stream (a stream in which sub-picture packets other than the main stream audio and video are multiplexed) are separately recorded on a recording medium. The reproduction method when it is done is shown. On the disc, each stream is recorded in a continuous recording area.
[0011]
The player starts reading the main AV stream, and when the substream data is needed, jumps to the substream (jump 1), reproduces the substream, and finishes reading the data in the necessary substream. Then, a jump is made to return to reading of the main AV stream (jump 2). Data read from each stream is supplied to a decoder so that it can be continuously reproduced. As described above, two jump operations are required after the main AV stream stops being read and then restarted.
[0012]
[Problems to be solved by the invention]
As shown in FIG. 1, when video and accompanying audio, subtitles, and graphics are recorded as one multiplexed stream, it is not easy to extract sub-picture data from the stream during random access reproduction. That is, since it is necessary to read data other than the sub-picture, there is a problem that the amount of data that needs to be read increases.
[0013]
As shown in FIG. 2, in the method of recording the video stream and the accompanying subtitles and graphics as separate streams, a jump is necessary when switching between readings because the player reads the two streams alternately from the disc. It is. Furthermore, in order to supply each stream to the decoder so that each read stream can be continuously reproduced, it is necessary to keep the bit rate of the stream low. Therefore, since the encoding bit rate of the video stream has to be lowered, there is a problem that the encoded image quality of video or the like is lowered.
[0014]
Accordingly, an object of the present invention is to enable a player to easily read a substream when a subtitle associated with a main stream such as audio video or a substream of a subpicture such as graphics is recorded on a recording medium. It is also possible to provide an information processing apparatus and method, a program, and a recording medium that can reduce the bit rate of the main stream.
[0015]
[Means for Solving the Problems]
  In order to solve the above-described problems, the invention of claim 1 provides an audio video stream.Record on recording mediumIn the information processing apparatus to
  Audio stream and video streamRefer to the time reference signalFirst multiplexing means for multiplexing in packet units to generate a main multiplexed stream;
  Image streams that are played back in synchronization with audio and video streamsRefer to the time reference signalA second multiplexing means for multiplexing in packet units to generate a sub-multiplexed stream;
  Main multiplexed stream and sub-multiplexed streamTo be located alternately in 1 GOP unitsInterleaving means for generating a stream by interleaving;
  Stream from the interleave meansRecord on recording mediumMeans to do
  KaraThe
  Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and sub-multiplexed stream are not duplicated,
  The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub-multiplexed stream,
  A table for describing the identification number of the program, a list of packet IDs of transport packets in which each stream of video, audio, etc. constituting the program is transmitted, and a table for describing the auxiliary information, of the main multiplexed stream and the sub multiplexed stream Each is made to haveInformation processing apparatus.
[0016]
  Claim2Invention of audio video streamRecord on recording mediumIn the information processing method to
  Audio stream and video streamRefer to the time reference signalA main multiplexed stream is generated by multiplexing in packets, and an image stream that is played back in synchronization with the audio stream and video stream is generated.Refer to the time reference signalA multiplexing step of multiplexing in packet units to generate a sub-multiplexed stream;
  Main multiplexed stream and sub-multiplexed streamTo be located alternately in 1 GOP unitsAn interleaving step for interleaving to generate one stream;
  Stream generated by interleaving stepRecord on recording mediumSteps to do
  KaraThe
  Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and sub-multiplexed stream are not duplicated,
  The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub-multiplexed stream,
  A table for describing the identification number of the program, a list of packet IDs of transport packets in which each stream of video, audio, etc. constituting the program is transmitted, and a table for describing the auxiliary information, of the main multiplexed stream and the sub multiplexed stream Each is made to haveInformation processing method.
[0017]
  Claim3Invention of audio video streamRecord on recording mediumIn the information processing apparatus program to
  Audio stream and video streamRefer to the time reference signalA main multiplexed stream is generated by multiplexing in packets, and an image stream that is played back in synchronization with the audio stream and video stream is generated.Refer to the time reference signalA multiplexing step of multiplexing in packet units to generate a sub-multiplexed stream;
  Main multiplexed stream and sub-multiplexed streamTo be located alternately in 1 GOP unitsAn interleaving step for interleaving to generate one stream;
  Stream generated by interleaving stepRecord on recording mediumSteps to do
  KaraThe
  Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and sub-multiplexed stream are not duplicated,
  The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub-multiplexed stream,
  A table for describing the identification number of the program, a list of packet IDs of transport packets in which each stream of video, audio, etc. constituting the program is transmitted, and a table for describing the auxiliary information, of the main multiplexed stream and the sub multiplexed stream Information processing methods that each hasIt is a program.
  Claim4Invention of audio video streamRecord on recording mediumIn a program for controlling an information processing apparatus,
  Audio stream and video streamRefer to the time reference signalA main multiplexed stream is generated by multiplexing in packets, and an image stream that is played back in synchronization with the audio stream and video stream is generated.Refer to the time reference signalA multiplexing step of multiplexing in packet units to generate a sub-multiplexed stream;
  Main multiplexed stream and sub-multiplexed streamTo be located alternately in 1 GOP unitsAn interleaving step for interleaving to generate one stream;
  Stream generated by interleaving stepRecord on recording mediumSteps to do
  KaraThe
  Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and sub-multiplexed stream are not duplicated,
  The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub-multiplexed stream,
  A table for describing the identification number of the program, a list of packet IDs of transport packets in which each stream of video, audio, etc. constituting the program is transmitted, and a table for describing the auxiliary information, of the main multiplexed stream and the sub multiplexed stream Each information processing method program that each hasComputerByReadableInIt is a recorded recording medium.
[0018]
  Claim5In the present invention, an audio stream and a video stream areRefer to the time reference signalThe main multiplexed stream multiplexed in packet units and the image stream that is played back in synchronization with the audio stream and video stream areRefer to the time reference signalA sub-multiplexed stream multiplexed in units of packetsTo be located alternately in 1 GOP unitsOne interleaved stream is recordedRecordedWasPlay a recording mediumIn the information processing apparatus,
  Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and sub-multiplexed stream are not duplicated,
  The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub-multiplexed stream,
  A table for describing the identification number of the program, a list of packet IDs of transport packets in which each stream of video, audio, etc. constituting the program is transmitted, and a table for describing the auxiliary information, of the main multiplexed stream and the sub multiplexed stream Each is to have,
  The regenerated data is supplied,Based on the packet ID,RawFrom collected dataA packet carrying a time reference signal,Separating means for separating the audio stream, the video stream and the image stream,
  ReRawFrom the streamBy separation meansIsolatedOf packets carrying time reference signalsA time reference generation means for setting a time reference standard value and generating a time reference signal;
  A video packet and an audio packet separated by the separation means are supplied,First decoding means for decoding an audio stream and a video stream according to a time reference signal;
  An image packet separated by the separating means is supplied,Second decoding means for decoding the image stream according to the time reference signal;
  Means for generating a display video signal from the video signal output from the first decoding means and the image signal output from the second decoding means;
  It is the information processing apparatus which consists of.
[0019]
  Claim6In the present invention, an audio stream and a video stream areRefer to the time reference signalThe main multiplexed stream multiplexed in packet units and the image stream that is played back in synchronization with the audio stream and video stream areRefer to the time reference signalA sub-multiplexed stream multiplexed in units of packetsTo be located alternately in 1 GOP unitsOne interleaved stream is recordedRecordedWasPlay a recording mediumIn the information processing method,
  Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and sub-multiplexed stream are not duplicated,
  The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub-multiplexed stream,
  A table for describing the identification number of the program, a list of packet IDs of transport packets in which each stream of video, audio, etc. constituting the program is transmitted, and a table for describing the auxiliary information, of the main multiplexed stream and the sub multiplexed stream Each is to have,
  The regenerated data is supplied,Based on the packet ID,RawFrom collected dataA packet carrying a time reference signal,A separation step of separating the audio stream, the video stream and the image stream, respectively;
  ReRawFrom the streamBy separation stepIsolatedOf packets carrying time reference signalsA time reference generation step in which a time reference reference value is set and a time reference signal is generated;
  A video packet and an audio packet separated by the separation step are supplied,Decode audio and video streams according to time reference signalsA first decoding step,
  Image packets separated by the separation step are supplied,Decode image stream according to time reference signalSecondA decryption step;
  Generating a display video signal from the decoded video signal and the decoded image signal;
  HaveInformation processing method.
[0020]
  Claim7In the present invention, an audio stream and a video stream areRefer to the time reference signalThe main multiplexed stream multiplexed in packet units and the image stream that is played back in synchronization with the audio stream and video stream areRefer to the time reference signalA sub-multiplexed stream multiplexed in units of packetsTo be located alternately in 1 GOP unitsOne interleaved stream is recordedRecordedWasPlay a recording mediumIn the information processing method,
  Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and sub-multiplexed stream are not duplicated,
  The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub-multiplexed stream,
  A table for describing the identification number of the program, a list of packet IDs of transport packets in which each stream of video, audio, etc. constituting the program is transmitted, and a table for describing the auxiliary information, of the main multiplexed stream and the sub multiplexed stream Each is to have,
  The regenerated data is supplied,Based on the packet ID,RawFrom collected dataA packet carrying a time reference signal,A separation step of separating the audio stream, the video stream and the image stream, respectively;
  ReRawFrom the streamBy separation stepIsolatedOf packets carrying time reference signalsA time reference generation step in which a time reference reference value is set and a time reference signal is generated;
  A video packet and an audio packet separated by the separation step are supplied,Decode audio and video streams according to time reference signalsA first decoding step,
  Image packets separated by the separation step are supplied,Decode image stream according to time reference signalSecondA decryption step;
  Generating a display video signal from the decoded video signal and the decoded image signal;
  HaveInformation processingMethodIt is a program.
  Claim8In the present invention, an audio stream and a video stream areRefer to the time reference signalThe main multiplexed stream multiplexed in packet units and the image stream that is played back in synchronization with the audio stream and video stream areRefer to the time reference signalA sub-multiplexed stream multiplexed in units of packetsTo be located alternately in 1 GOP unitsOne interleaved stream is recordedRecordedWasPlay a recording mediumIn the information processing method,
  Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and sub-multiplexed stream are not duplicated,
  The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub-multiplexed stream,
  A table for describing the identification number of the program, a list of packet IDs of transport packets in which each stream of video, audio, etc. constituting the program is transmitted, and a table for describing the auxiliary information, of the main multiplexed stream and the sub multiplexed stream Each is to have,
  The regenerated data is supplied,Based on the packet ID,RawSeparating the audio stream, the video stream, and the image stream from the captured data,
  ReRawFrom the streamBy separation stepIsolatedOf packets carrying time reference signalsA time reference generation step in which a time reference reference value is set and a time reference signal is generated;
  A video packet and an audio packet separated by the separation step are supplied,Decode audio and video streams according to time reference signalsA first decoding step,
  Image packets separated by the separation step are supplied,Decode image stream according to time reference signalSecondA decryption step;
  Generating a display video signal from the decoded video signal and the decoded image signal;
  HaveInformation processingMethodProgramsButComputerByReadableInIt is a recorded recording medium.
[0022]
In the present invention, the sub-stream of the sub-picture that is reproduced in synchronization with the video in the main stream is interleaved and recorded or transmitted as one stream, so that a jump operation is not required by switching between the main stream and the sub-stream. Yes, each stream can be played continuously. Synchronous playback can be easily performed because the time reference signal is common to the main and sub streams. Furthermore, the elementary streams can be easily demultiplexed (separated) by encoding the streams so that the packet IDs of all the elementary streams in the main stream and the substream do not overlap.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 3 shows an example of a recording data generation method according to the present invention. A main multiplexed audio video stream file such as audio video (hereinafter referred to as a main AV stream) and a sub-multiplexed stream file such as subtitles and graphics (hereinafter referred to as a sub stream as appropriate) are separately generated. To do. These streams are in the format of MPEG2 program streams, for example. These streams are interleaved and recorded on the recording medium as shown in FIG.
[0024]
In FIG. 3, the main AV stream is divided into data units 1a, 1b, 1c,... For each predetermined time, for example, 1 GOP (Group Of Picture), and the substreams are similarly data units for every predetermined time such as 1 GOP. It is divided into 2a, 2b, 2c,. For example, the sub-stream data unit 2a is reproduced in synchronization with the data unit 1a of the main AV stream. Then, the data units are interleaved so that data units are alternately selected from the main AV stream and the sub-stream to form one stream, and this stream is recorded on the disc. The substream data unit may be recorded before the main stream data unit. The main stream and the substream are encoded with reference to a common time reference signal such as a system time clock STC (System Time Clock). This is to facilitate synchronized playback of the main stream and substream.
[0025]
FIG. 4 shows an example in which the main stream and the substream are respectively transport streams. In FIG. 4, one rectangular area represents a transport stream packet. The transport stream packet has a fixed length of 188 bytes and includes a packet ID (PID: Packet Identification) in the header portion. PID is identification information of a stream and indicates an attribute of the stream including the packet.
[0026]
In addition, a PCR (Program Clock Reference) is inserted in an adaptation field that can be optionally inserted in the header portion of the packet. Each stream PCR refers to a common STC. The STC value serving as the time reference in the decoder is set to the value indicated by the PCR.
[0027]
The main stream and substream of the transport stream are interleaved. As described above, the data unit for 1 GOP in the main stream and the data unit for 1 GOP in the substream are interleaved into one stream. It is defined so that PIDs do not overlap in all streams of the main stream and substream. Thereby, as will be described later, the number of demultiplexers can be one in the player system.
[0028]
An example of a recorder system according to the present invention will be described with reference to FIG. The video input and the audio input are input to the AV encoder 11 and subjected to encoding and packetization processing. For example, video data is encoded by MPEG2, and audio data is encoded by AC-3. The video elementary stream V to which the time stamp is added from the AV encoder 11 and the audio elementary stream A to which the time stamp is added are input to the multiplexer 12 (denoted as MUX in FIG. 5). The multiplexer 12 encodes the main transport stream. Then, the main transport stream is input to the buffer memory 16.
[0029]
Graphics input data and subtitle input data are input to the graphics and subtitle encoder 13 and subjected to encoding and packetization processing. Graphics elementary stream G and subtitle elementary stream S from encoder 13 are input to multiplexer 34. The multiplexer 34 encodes the sub transport stream. Then, the sub transport stream is input to the buffer memory 17.
[0030]
Each of the multiplexers 12 and 14 performs the following encoding process. That is,
The main stream and the substream are encoded with reference to the common system clock STC from the STC generation unit 15,
Packet IDs (PIDs) of all elementary streams in the main stream and substream are not duplicated,
Preferably, the packet ID (PID) of the packet (PCR packet) transmitting the STC is set to the same value in the main stream and the substream, and the program map table (PMT) is set in the main stream and the substream. Are the same.
[0031]
The outputs of the buffer memories 16 and 17 are selected by the switch unit 18 every predetermined time, for example, every 1 GOP, and a stream interleaved with the output of the switch unit 18 is taken out. The buffer memories 16 and 17 and the switch unit 18 constitute an interleave device. The interleaved stream is supplied to the drive unit 19 and recorded on the medium 20. Although not shown, normally, an ECC encoder that performs error correction encoding processing and a digital modulator that performs digital modulation are provided between the switch unit 18 and the drive unit 19.
[0032]
The drive unit 19 is configured to rotate a medium (for example, a recordable optical disk) 20 and record recording data at a predetermined writing position by an optical head. The drive unit 19 includes a servo unit for rotation servo of the medium 20, tracking servo for the optical head, and focus servo. The interleaved stream is recorded on the medium 20 by an optical head.
[0033]
FIG. 6 is a flowchart showing the flow of processing of the recording method. Although omitted in FIG. 6, in the stage before step S101, the input video data and audio data are encoded, and the graphics data and subtitle data are encoded. .
[0034]
In step S101, the PID values of all the elementary streams of the main transport stream (shown as TS in the figure) composed of AV data and the sub transport stream composed of graphics and subtitle data are not duplicated. Determined by value.
[0035]
In step S102, the main transport stream and the sub-transport stream are encoded with reference to the common system time clock STC. Preferably, the packet ID (PID) of the packet (PCR packet) transmitting the STC is set to the same value in the main stream and the substream, and the program map table (PMT) is set in the main stream and the substream. Are the same.
[0036]
In step S103, the main transport stream and the sub-transport stream are interleaved, and the interleaved stream is recorded on the recording medium.
[0037]
FIG. 7 shows a player system that reproduces the main stream and the substream recorded by interleaving as described above. Since the main stream and the substream are interleaved and continuously recorded on the medium, the jump operation of the reading position is not necessary when switching between the reading of the main stream and the substream.
[0038]
Data read from a medium such as an optical disk is supplied to the input terminal 31, and the read data is stored in the buffer memory 32. At the output of the buffer memory 32, a deinterleave switch unit 33 is provided. The switch unit 33 inputs the main stream data to the buffer memory 34 and the substream data to the buffer memory 35.
[0039]
The main stream data output from the buffer memory 34 is input to a demultiplexer (denoted as DE-MUX in the figure) 36. The demultiplexer 36 determines the attribute of each packet in the main stream based on the PID, and separates the packet data for each attribute based on the determination result. The PCR packet extracted by the demultiplexer 36 is supplied to an STC (system time clock) generator 38.
[0040]
The STC generation unit 38 generates a 27 MHz clock and STC based on the PCR value of the PCR packet. For example, the STC generation unit 38 generates a 27 MHz clock by comparing a comparator that compares the output of the PCR with the output of the counter, a low-pass filter to which the output of the comparator is supplied, and an output of the low-pass filter as a control voltage. A VCO (Voltage Controlled Oscillator) and a counter that receives the output of the VCO and outputs the output to the comparator. The value of PCR is set for the counter.
[0041]
The demultiplexer 36 separates the audio stream and video stream in the main stream and inputs each stream to the AV decoder 39. The AV decoder 39 decodes each video stream in the audio stream, and the decoded video data and audio data are input to the video composer and the sync controller 41.
[0042]
On the other hand, the substream data output from the buffer memory 35 is input to the demultiplexer 37. The demultiplexer 37 separates the graphics stream and the subtitle stream from the substream. The graphics stream and subtitle stream are supplied to the decoder 40. The decoder 40 decodes the graphics stream and the subtitle stream, respectively. The decoded graphics data and subtitle data are input to the video composer and sync controller 41.
[0043]
The controller 41 combines the video data and the graphics subtitle data to generate a display video signal. In addition, the controller 41 refers to the presentation time stamps (PTS) of the audio data, video data, and graphics subtitle data, and based on the reference clock STC generated by the STC generation unit 38, the controller 41 converts the audio and video. Output in synchronization.
[0044]
Next, another example of the player system to which the present invention is applied will be described. Another example is to simplify the player system by reducing the number of demultiplexers by encoding the main stream and sub-stream recorded on the media as follows.
[0045]
The streams are encoded so that the packet ID (PID) values of all elementary streams in the main stream and the substream do not overlap. Thereby, each elementary stream can be demultiplexed (separated) by one demultiplexer.
[0046]
In this case, it is preferable that the packet ID (PID) of the packet (PCR packet) transmitting the STC in the main stream and the substream has the same value. In addition, it is preferable that the contents of the program map table (PMT) are the same in the main stream and the substream. That is, substream information is also described in the main stream PMT, and main stream information is also described in the substream PMT. In the MPEG2 transport stream, the program map table describes a program identification number, a list of PIDs of transport packets in which each stream such as video and audio constituting the program is transmitted, and additional information. Is.
[0047]
FIG. 8 shows a configuration of another example of a player system that reproduces a main stream and a substream recorded by interleaving. Since the main stream and the substream are interleaved and continuously recorded on the medium, a jump is not necessary when switching between reading of the main stream and the substream.
[0048]
Data read from the medium is input from the input terminal 51 and stored in the buffer medium 52. The stream data read from the buffer 52 is input to the demultiplexer 53. The demultiplexer 53 extracts the first PCR packet and sets it as a STC initial value in a counter in the STC (system time clock) generation unit 54. The counter in the STC generation unit 54 functions as a frequency divider circuit having a PLL configuration, and the counter counts a 27 MHz clock from the VCO and outputs an STC.
[0049]
The demultiplexer 53 separates audio packets and video packets from the audio video stream, and inputs each packet to the AV decoder 55. The AV decoder 55 decodes the audio stream and the video stream, respectively, and inputs the decoded audio data and video data to the video composer and the sync controller 57.
[0050]
Further, the demultiplexer 53 separates the graphics packet and the subtitle packet from the substream, and inputs each packet to the graphics and subtitle decoder 56. The graphics and subtitle decoder 56 decodes the graphics and subtitle data, and inputs the decoded data to the video composer and sync controller 57.
[0051]
If there is data in the buffer memory 52, the AV decoder 55 and the graphics and subtitle decoder 56 decode the data, and stop decoding when the buffer memory 52 becomes empty. That is, the AV decoder 55 and the decoder 56 ignore the decoding time stamp (DTS) in the multiplexed stream and decode the stream. The DTS is provided because the decoding order and the reproduction order are different in MPEG. That is, the I picture and the P picture are output to the stream before the B picture.
[0052]
The video composer and sync controller 57 synthesizes the video data and graphics subtitle data to generate a display video signal. The controller 57 refers to the presentation time stamps (PTS) of the audio data, video data, and graphics subtitle data, and synchronizes the audio and video based on the reference clock STC from the STC generation unit 54. Output.
[0053]
FIG. 9 is a flowchart showing the flow of playback processing in the player system of FIG. In step S201, two transport streams that are interleaved and recorded on the medium are read in the order of data arrangement.
[0054]
In step S202, the read data is input to the demultiplexer 53.
[0055]
In step S203, the demultiplexer 53 separates the elementary stream from the input data and inputs it to the decoder. That is, the demultiplexer 53 separates the audio stream and the video stream and inputs them to the AV decoder 55. Further, the demultiplexer 53 separates the graphics stream and the subtitle stream from the substream and inputs them to the graphics and subtitle decoder 56.
[0056]
In step S204, each decoder ignores the DTS and performs decoding. That is, the AV decoder 55 decodes audio data and video data, and the graphics and subtitle decoder 56 decodes graphics data and subtitle data.
[0057]
In step S205, the decoded audio data and video data are input to the video composer and sync controller 57, and the video data and graphics data are combined to generate a display video signal. Also, the audio video is synchronously output with reference to the PTS.
[0058]
Next, an example of random access reproduction when the main stream and the substream are recorded on the disc medium by interleaving will be described. Random access reproduction can be facilitated by interleaving and recording data corresponding to a predetermined reproduction time of the main stream and substreams corresponding to the time of synchronous reproduction corresponding thereto.
[0059]
FIG. 10 illustrates a random access playback operation. Reference numeral AD1 indicates the address of a packet from which subtitles and graphics are played back in synchronization with an I picture of playback time (PTS) to be randomly accessed. Reference symbol AD2 indicates an address of a packet at which an I picture having a reproduction time (PTS) to be randomly accessed starts.
[0060]
Data reading is started from the address AD1 of the packet at which the substream that is played back in synchronization with the I picture of the playback time (PTS) to be randomly accessed starts. Since the main stream and the substream are recorded continuously, a jump operation is not required when switching between reading of the main stream and the substream. As a result, it is possible to play back a video of a location where random access is desired and a substream synchronized therewith.
[0061]
The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications can be made without departing from the gist of the present invention. For example, the present invention can be applied to communication in which a main stream and a sub stream are transmitted via a network. In the case of the transmission device, the drive unit 19 and the medium 20 in FIG. 5 are changed to the transmission unit. In the case of the receiving device, the received data is supplied to the input terminal 31 in FIG. 7 and the input terminal 51 in FIG.
[0062]
【The invention's effect】
In the present invention, the main stream such as audio video and the substreams such as subtitles and graphics accompanying the main stream are continuously recorded by interleaving, so that jumping can be performed by switching between reading of the main stream and substream. It is unnecessary. Therefore, it is not necessary to lower the encoding bit rate of the stream in order to ensure that the stream is supplied to the decoder so that each stream can be continuously reproduced, and there is no problem that the image quality of video or the like deteriorates.
[0063]
In the present invention, since the stream is encoded so that the main stream and the substream refer to a common time reference signal (STC), synchronous reproduction of the main stream and the substream can be facilitated.
[0064]
Since the streams are encoded so that the packet ID values of all the elementary streams in the main stream and the substream do not overlap, demultiplexing (separation) of each elementary stream can be facilitated.
[Brief description of the drawings]
FIG. 1 is a schematic diagram for explaining a conventional method for random access reproduction of a stream in which main AV data and sub-pictures are multiplexed.
FIG. 2 is a schematic diagram for explaining a conventional reproduction method when a conventional AV stream and a substream are recorded as separate streams.
FIG. 3 is a schematic diagram for explaining a main stream and sub stream recording method according to the present invention;
FIG. 4 is a schematic diagram for explaining a recording method according to the present invention in the case of a transport stream.
FIG. 5 is a block diagram showing a configuration of an example of a recorder system according to the present invention.
FIG. 6 is a flowchart showing the flow of processing of the recording method according to the present invention.
FIG. 7 is a block diagram showing a configuration of an example of a player system according to the present invention.
FIG. 8 is a block diagram showing the configuration of another example of the player system according to the present invention.
FIG. 9 is a flowchart showing a processing flow of another example reproducing method of the player system according to the present invention.
FIG. 10 is a schematic diagram for explaining a method of performing random access reproduction of two transport streams recorded by interleaving according to the present invention.
[Explanation of symbols]
12, 14 ... multiplexer, 15 ... STC generator, 18 ... interleave switch, 33 ... deinterleave switch, 36, 37 ... demultiplexer, 38 ... STC generator 39: AV decoder, 40 ... Graphics and subtitle decoder, 41 ... Video composer and sync controller

Claims (8)

オーディオビデオストリームを記録媒体に記録する情報処理装置において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成する第１の多重化手段と、
上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを上記時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する第２の多重化手段と、
上記メイン多重化ストリームおよび上記サブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブ手段と、
上記インターリーブ手段からのストリームを記録媒体に記録する手段と
からなり、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされる情報処理装置。In an information processing apparatus for recording an audio video stream on a recording medium ,
First multiplexing means for multiplexing the audio stream and the video stream in packet units with reference to a time base signal, and generating a main multiplexed stream;
Second multiplexing means for multiplexing an image stream reproduced in synchronization with the audio stream and the video stream in units of packets with reference to the time reference signal to generate a sub-multiplexed stream;
Interleaving means for generating one stream by interleaving the main multiplexed stream and the sub-multiplexed stream alternately in units of 1 GOP ;
Ri means and Tona to be recorded on the recording medium stream from said interleaving means,
Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and the sub-multiplexed stream are not duplicated,
The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub multiplexed stream ,
A table for describing the identification number of the program, the list of packet IDs of the transport packets in which each stream of video, audio, etc. constituting the program is transmitted and the auxiliary information are shown in the main multiplexed stream and the sub multiplexed Information processing apparatus that each of the stream data has. オーディオビデオストリームを記録媒体に記録する情報処理方法において、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを上記時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされる情報処理方法。In an information processing method for recording an audio video stream on a recording medium ,
An audio stream and a video stream are multiplexed on a packet basis with reference to a time reference signal to generate a main multiplexed stream, and an image stream reproduced in synchronization with the audio stream and video stream is referred to the time reference signal. And a multiplexing step of multiplexing in packet units to generate a sub-multiplexed stream,
An interleaving step of generating one stream by interleaving the main multiplexed stream and the sub-multiplexed stream alternately in units of 1 GOP ;
Ri steps and Tona to be recorded on the recording medium stream generated by the interleaving step,
Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and the sub-multiplexed stream are not duplicated,
The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub multiplexed stream ,
A table for describing the identification number of the program, the list of packet IDs of the transport packets in which each stream of video, audio, etc. constituting the program is transmitted and the auxiliary information are shown in the main multiplexed stream and the sub multiplexed Information processing method that each stream has . オーディオビデオストリームを記録媒体に記録する情報処理装置のプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを上記時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラム。In a program for an information processing apparatus for recording an audio video stream on a recording medium ,
An audio stream and a video stream are multiplexed on a packet basis with reference to a time reference signal to generate a main multiplexed stream, and an image stream reproduced in synchronization with the audio stream and video stream is referred to the time reference signal. And a multiplexing step of multiplexing in packet units to generate a sub-multiplexed stream,
An interleaving step of generating one stream by interleaving the main multiplexed stream and the sub-multiplexed stream alternately in units of 1 GOP ;
Ri steps and Tona to be recorded on the recording medium stream generated by the interleaving step,
Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and the sub-multiplexed stream are not duplicated,
The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub multiplexed stream ,
A table for describing the identification number of the program, the list of packet IDs of the transport packets in which each stream of video, audio, etc. constituting the program is transmitted and the auxiliary information are shown in the main multiplexed stream and the sub multiplexed Program of information processing method that each of the stream data has. オーディオビデオストリームを記録媒体に記録する情報処理装置を制御するプログラムにおいて、
オーディオストリームとビデオストリームとを時刻基準信号を参照してパケット単位で多重化してメイン多重化ストリームを生成し、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームを上記時刻基準信号を参照してパケット単位で多重化してサブ多重化ストリームを生成する多重化ステップと、
上記メイン多重化ストリームおよび上記サブ多重化ストリームを１ＧＯＰ単位で交互に位置するようにインターリーブして１つのストリームを生成するインターリーブステップと、
上記インターリーブステップで生成されたストリームを記録媒体に記録するステップと
からなり、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされる情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体。In a program for controlling an information processing apparatus for recording an audio video stream on a recording medium ,
An audio stream and a video stream are multiplexed on a packet basis with reference to a time reference signal to generate a main multiplexed stream, and an image stream reproduced in synchronization with the audio stream and video stream is referred to the time reference signal. And a multiplexing step of multiplexing in packet units to generate a sub-multiplexed stream,
An interleaving step of generating one stream by interleaving the main multiplexed stream and the sub-multiplexed stream alternately in units of 1 GOP ;
Ri steps and Tona to be recorded on the recording medium stream generated by the interleaving step,
Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and the sub-multiplexed stream are not duplicated,
The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub multiplexed stream ,
A table for describing the identification number of the program, the list of packet IDs of the transport packets in which each stream of video, audio, etc. constituting the program is transmitted and the auxiliary information are shown in the main multiplexed stream and the sub multiplexed recording medium in which the program of the information processing method is recorded readably by a computer which is to have each of the streams. オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理装置において、、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび上記画像ストリームをそれぞれ分離する分離手段と、
上記再生されたストリームから上記分離手段によって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成手段と、
上記分離手段によって分離されたビデオパケットおよびオーディオパケットが供給され、上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号手段と、
上記分離手段によって分離された画像パケットが供給され、上記画像ストリームを上記時刻基準信号にしたがって復号する第２の復号手段と、
上記第１の復号手段から出力されるビデオ信号と、上記第２の復号手段から出力される画像信号とから表示用ビデオ信号を生成する手段と
からなる情報処理装置。A main multiplexed stream in which an audio stream and a video stream are multiplexed in units of packets with reference to a time reference signal, and an image stream that is reproduced in synchronization with the audio stream and video stream refers to the time reference signal. in the information processing apparatus and the sub-multiplexed streams you play recording medium interleaved one stream are recorded so as to be positioned alternately 1GOP units are multiplexed by a unit of packet Te ,,
Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and the sub-multiplexed stream are not duplicated,
The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub multiplexed stream,
A table for describing the identification number of the program, the list of packet IDs of the transport packets in which each stream of video, audio, etc. constituting the program is transmitted and the auxiliary information are shown in the main multiplexed stream and the sub multiplexed Each of the stream will have
Reproduced data is supplied, based on the packet ID, playback packet for transmitting the time reference signal from the data separation means for separating an audio stream, a video stream and the image stream, respectively,
Time reference standard value of a packet for transmitting the time reference signal separated by said separating means from said playback stream is set, the time reference generating means for generating a time reference signal,
First decoding means for receiving the video packet and the audio packet separated by the separation means, and decoding the audio stream and the video stream according to the time reference signal;
Second decoding means for receiving the image packet separated by the separation means and decoding the image stream according to the time reference signal;
An information processing apparatus comprising: a video signal output from the first decoding means; and a means for generating a display video signal from the image signal output from the second decoding means. オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび上記画像ストリームをそれぞれ分離する分離ステップと、
上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号ステップと、
上記分離ステップによって分離された画像パケットが供給され、上記画像ストリームを上記時刻基準信号にしたがって復号する第２の復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法。A main multiplexed stream in which an audio stream and a video stream are multiplexed in units of packets with reference to a time reference signal, and an image stream that is reproduced in synchronization with the audio stream and video stream refers to the time reference signal. ,, and a sub multiplexed streams multiplexed in the interleaved one information processing method stream you play recorded to a recording medium so as to be positioned alternately 1GOP units in packets Te
Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and the sub-multiplexed stream are not duplicated,
The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub multiplexed stream,
A table for describing the identification number of the program, the list of packet IDs of the transport packets in which each stream of video, audio, etc. constituting the program is transmitted and the auxiliary information are shown in the main multiplexed stream and the sub multiplexed Each of the stream will have
Reproduced data is supplied, based on the packet ID, playback packet for transmitting the time reference signal from the data, a separation step of separating an audio stream, a video stream and the image stream, respectively,
Time reference standard value of a packet for transmitting the time reference signal separated by the separating step from the playback stream is set, the time reference generating step of generating a time reference signal,
A first decoding step in which the video packet and the audio packet separated by the separation step are supplied, and the audio stream and the video stream are decoded according to the time reference signal ;
A second decoding step supplied with the image packet separated by the separation step and decoding the image stream according to the time reference signal;
Generating a display video signal from the decoded video signal and the decoded image signal;
An information processing method comprising: オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、上記パケットＩＤに基づいて、再生されたデータから上記時刻基準信号を伝送するパケット、オーディオストリーム、ビデオストリームおよび上記画像ストリームをそれぞれ分離する分離ステップと、
上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号ステップと、
上記分離ステップによって分離された画像パケットが供給され、上記画像ストリームを上記時刻基準信号にしたがって復号する第２の復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラム。A main multiplexed stream in which an audio stream and a video stream are multiplexed in units of packets with reference to a time reference signal, and an image stream that is reproduced in synchronization with the audio stream and video stream refers to the time reference signal. ,, and a sub multiplexed streams multiplexed in the interleaved one information processing method stream you play recorded to a recording medium so as to be positioned alternately 1GOP units in packets Te
Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and the sub-multiplexed stream are not duplicated,
The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub multiplexed stream,
A table for describing the identification number of the program, the list of packet IDs of the transport packets in which each stream of video, audio, etc. constituting the program is transmitted and the auxiliary information are shown in the main multiplexed stream and the sub multiplexed Each of the stream will have
Reproduced data is supplied, based on the packet ID, playback packet for transmitting the time reference signal from the data, a separation step of separating an audio stream, a video stream and the image stream, respectively,
Time reference standard value of a packet for transmitting the time reference signal separated by the separating step from the playback stream is set, the time reference generating step of generating a time reference signal,
A first decoding step in which the video packet and the audio packet separated by the separation step are supplied, and the audio stream and the video stream are decoded according to the time reference signal ;
A second decoding step supplied with the image packet separated by the separation step and decoding the image stream according to the time reference signal;
Generating a display video signal from the decoded video signal and the decoded image signal;
An information processing method program comprising: オーディオストリームとビデオストリームとが時刻基準信号を参照してパケット単位で多重化されたメイン多重化ストリームと、上記オーディオストリームおよびビデオストリームと同期して再生される画像ストリームが上記時刻基準信号を参照してパケット単位で多重化されたサブ多重化ストリームとが１ＧＯＰ単位で交互に位置するようにインターリーブされた１つのストリームが記録された記録媒体を再生する情報処理方法において、、
上記メイン多重化ストリームおよび上記サブ多重化ストリームの中の全てのエレメンタリストリームの、パケットの属性を表すパケットＩＤの値が重複しないようにされ、
上記時刻基準信号を伝送するパケットのパケットＩＤが上記メイン多重化ストリームおよび上記サブ多重化ストリームの間で同一とされ、
プログラムの識別番号と、プログラムを構成するビデオ、オーディオ等の各ストリームが伝送されているトランスポートパケットの上記パケットＩＤのリストや付属情報を記述するためのテーブルを上記メイン多重化ストリームおよび上記サブ多重化ストリームのそれぞれが持つようにされ、
再生されたデータが供給され、上記パケットＩＤに基づいて、再生されたデータからオーディオストリーム、ビデオストリームおよび上記画像ストリームをそれぞれ分離する分離ステップと、
上記再生されたストリームから上記分離ステップによって分離された上記時刻基準信号を伝送するパケットの時刻参照基準値がセットされ、時刻基準信号を生成する時刻基準生成ステップと、
上記分離ステップによって分離されたビデオパケットおよびオーディオパケットが供給され、上記オーディオストリームおよびビデオストリームを上記時刻基準信号にしたがって復号する第１の復号ステップと、
上記分離ステップによって分離された画像パケットが供給され、上記画像ストリームを上記時刻基準信号にしたがって復号する第２の復号ステップと、
上記復号されたビデオ信号と、上記復号された画像信号とから表示用ビデオ信号を生成するステップと
を有する情報処理方法のプログラムがコンピュータによって読み取り可能に記録されている記録媒体。A main multiplexed stream in which an audio stream and a video stream are multiplexed in units of packets with reference to a time reference signal, and an image stream that is reproduced in synchronization with the audio stream and video stream refers to the time reference signal. ,, and a sub multiplexed streams multiplexed in the interleaved one information processing method stream you play recorded to a recording medium so as to be positioned alternately 1GOP units in packets Te
Packet ID values representing packet attributes of all the elementary streams in the main multiplexed stream and the sub-multiplexed stream are not duplicated,
The packet ID of the packet transmitting the time reference signal is the same between the main multiplexed stream and the sub multiplexed stream,
A table for describing the identification number of the program, the list of packet IDs of the transport packets in which each stream of video, audio, etc. constituting the program is transmitted and the auxiliary information are shown in the main multiplexed stream and the sub multiplexed Each of the stream will have
Reproduced data is supplied, based on the packet ID, playback audio streams from data, a separation step of separating each video stream and the image stream,
Time reference standard value of a packet for transmitting the time reference signal separated by the separating step from the playback stream is set, the time reference generating step of generating a time reference signal,
A first decoding step in which the video packet and the audio packet separated by the separation step are supplied, and the audio stream and the video stream are decoded according to the time reference signal ;
A second decoding step supplied with the image packet separated by the separation step and decoding the image stream according to the time reference signal;
Generating a display video signal from the decoded video signal and the decoded image signal;
Recording medium in which the program of the information processing method is recorded readably by a computer having a.
JP2002277603A 2002-09-24 2002-09-24 Information processing apparatus and method, program, and recording medium Expired - Fee Related JP4781600B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002277603A JP4781600B2 (en) 2002-09-24 2002-09-24 Information processing apparatus and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002277603A JP4781600B2 (en) 2002-09-24 2002-09-24 Information processing apparatus and method, program, and recording medium

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009101955A Division JP4992931B2 (en) 2009-04-20 2009-04-20 Information processing apparatus and method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004120098A JP2004120098A (en) 2004-04-15
JP4781600B2 true JP4781600B2 (en) 2011-09-28

Family

ID=32273157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002277603A Expired - Fee Related JP4781600B2 (en) 2002-09-24 2002-09-24 Information processing apparatus and method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP4781600B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3986973B2 (en) 2002-10-17 2007-10-03 シャープ株式会社 AV data recording method, AV data recording apparatus, data recording medium, and program
US20060007963A1 (en) * 2004-06-10 2006-01-12 Samsung Electronics Co., Ltd. Information storage medium containing AV stream including graphic data, and reproducing method and apparatus therefor
EP2574049B1 (en) 2005-08-10 2016-08-31 Mitsubishi Electric Corporation Recording medium, reproducing apparatus, and reproducing method
JP4779981B2 (en) * 2007-02-01 2011-09-28 三菱電機株式会社 DIGITAL VIDEO INFORMATION DATA GENERATION DEVICE, DIGITAL VIDEO INFORMATION RECORDING DEVICE, DIGITAL VIDEO INFORMATION REPRODUCING DEVICE, AND DIGITAL VIDEO INFORMATION DATA GENERATION METHOD
US10225589B2 (en) * 2015-02-20 2019-03-05 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method

Also Published As

Publication number Publication date
JP2004120098A (en) 2004-04-15

Similar Documents

Publication Publication Date Title
JP5052848B2 (en) Video stream playback method, playback device, recording method, recording device, and recording medium
US8886010B2 (en) Apparatus and method for decoding data for providing browsable slide show, and data storage medium therefor
US7881584B2 (en) Reproducing apparatus and method, and recording medium
JP2002519917A (en) Accurate editing of encoded AV sequence frames
JP2008123693A (en) Reproducing apparatus, reproducing method, and its recording medium
JPH10262208A (en) Step-out controller and step-out control method
JP4781600B2 (en) Information processing apparatus and method, program, and recording medium
CN110675895B (en) Reproducing method, reproducing apparatus, and recording medium
JP4992931B2 (en) Information processing apparatus and method, program, and recording medium
JP3906795B2 (en) Information processing apparatus, information processing method, and program
JP2006352587A (en) Information processor
RU2411596C2 (en) Method of reproduction
US20070122120A1 (en) Multi-av stream playback method and playback apparatus
JP3607681B2 (en) Sub-picture data editing apparatus and editing method
JP4998574B2 (en) Video / audio recording device
JP2007128641A (en) Information processing device, information processing method and program, recording medium, and data structure
JP2000339860A (en) Data recording and reproducing device
US20070122115A1 (en) Multi-av stream playback method and playback apparatus
MXPA00001917A (en) Frame-accurate editing of encoded a/v sequences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090417

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090427

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110418

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110706

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees