JPWO2004080071A1 - データ処理装置 - Google Patents

Abstract

データ処理装置は、映像信号および音声信号が入力される信号入力部と、映像信号および音声信号を圧縮符号化して、映像データおよび音声データを生成する圧縮部と、映像データおよび音声データを分割してパケットを複数生成し、映像データに関する映像パケットおよび音声データに関する音声パケットを多重化したデータ単位を複数生成し、複数のデータ単位を含むデータストリームを生成するストリーム組立部と、データストリームを記録媒体に記録する記録部とを有している。このストリーム組立部は、データ単位に含める映像パケットおよび音声パケットを少なくとも映像の再生時間に基づいて決定する。そして、所定のデータ単位に格納された映像データに対応する音声データの全部が所定のデータ単位に含まれない場合には、音声データのうち、少なくとも含まれない部分である部分音声データをコピーしたコピーデータをデータストリーム内に含める。

Description

本発明は、映像および音声を含むコンテンツをリアルタイムで記録する方法および装置に関する。

映像（ビデオ）信号および音声（オーディオ）信号を低いビットレートで圧縮し符号化する種々のデータストリームが規格化されている。そのようなデータストリームの例として、ＭＰＥＧ２システム規格（ＩＳＯ／ＩＥＣ １３８１８−１）のシステムストリームが知られている。システムストリームは、プログラムストリーム（ＰＳ）、トランスポートストリーム（ＴＳ）、およびＰＥＳストリームの３種類を包含する。
近年、磁気テープに代わって、相変化光ディスク、ＭＯ等の光ディスクが、データストリームを記録するための記録媒体として注目を浴びてきている。現在、相変化光ディスク（例えばＤＶＤ）にコンテンツのデータストリームをリアルタイムで記録し、編集等を可能にする規格として、ＤＶＤビデオレコーディング規格（以下、「ＶＲ規格」と称する）が規定されている（ＤＶＤ Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｒｅ−ｗｒｉｔａｂｌｅ／Ｒｅ−ｒｅｃｏｒｄａｂｌｅ Ｄｉｓｃｓ Ｐａｒｔ３ ＶＩＤＥＯ ＲＥＣＯＲＤＩＮＧ ｖｅｒｓｉｏｎ １．０ Ｓｅｐｔｅｍｂｅｒ １９９９）。また、映画等の再生専用コンテンツのデータストリームを記録する、パッケージメディア用の規格として、ＤＶＤビデオ規格（以下、「ビデオ規格」と称する）が規定されている。
図１は、ＶＲ規格に準拠したＭＰＥＧ２プログラムストリーム１０のデータ構造を示す（以下、このストリームを「ＶＲ規格ストリーム１０」と記述する）。
ＶＲ規格ストリーム１０は、複数のビデオオブジェクト（Ｖｉｄｅｏ ＯＢｊｅｃｔ；ＶＯＢ）＃１、＃２、・・・、＃ｋを含んでいる。例えば、ＶＲ規格ストリーム１０がカムコーダで撮影されたコンテンツとすると、各ＶＯＢは、ユーザが録画を開始してから録画を停止するまでの１回の録画動作によって生成された動画データが格納されている。
各ＶＯＢは、複数のＶＯＢユニット（Ｖｉｄｅｏ ＯＢｊｅｃｔ ｕｎｉｔ；ＶＯＢＵ）＃１、＃２、・・・、＃ｎを含んでいる。各ＶＯＢＵは、主として、映像の再生時間にして０．４秒から１秒までの範囲内の映像データを含むデータ単位である。
以下、図１において最初に配置されたＶＯＢＵ＃１とその次に配置されたＶＯＢＵ＃２を例にして、ＶＯＢＵのデータ構造を説明する。
ＶＯＢＵ＃１は、ＭＰＥＧプログラムストリームの下位階層であるパックが複数集まって構成されている。ＶＲ規格ストリーム１０内の各パックのデータ長（パック長）は一定（２キロバイト（２０４８バイト））である。ＶＯＢＵの先頭には、図１に“Ｒ”で示されるリアルタイムインフォメーションパック（ＲＤＩパック）１１が配置されている。ＲＤＩパック１１の後には、“Ｖ”で示されるビデオパック（ビデオパック１２等）および“Ａ”で示されるオーディオパック（オーディオパック１３等）が複数含まれている。なお、各ＶＯＢＵのデータサイズは、再生時間が同じであっても映像データが可変ビットレートであれば最大記録再生レート以下の範囲で変動し、映像データが固定ビットレートであればほぼ一定である。
各パックは以下の情報を格納している。例えば日本国特開２００１−１９７４１７号公報に記載されているように、ＲＤＩパック１１は、ＶＲ規格ストリーム１０の再生を制御するために用いられる情報、例えばＶＯＢＵの再生タイミングを示す情報や、ＶＲ規格ストリーム１０のコピーを制御するための情報を格納している。ビデオパック１２は、ＭＰＥＧ２圧縮された映像データを格納している。オーディオパック１３は、例えばＭＰＥＧ２−オーディオ規格によって圧縮された音声データを格納している。近接するビデオパック１２およびオーディオパック１３には、例えば、同期して再生される映像データおよび音声データが格納されている。
ＶＯＢＵ＃２もまた、複数のパックから構成されている。ＶＯＢＵ＃２の先頭には、ＲＤＩパック１４が配置され、その後、ビデオパック１５およびオーディオパック１６等が複数配置されている。各パックに格納される情報の内容はＶＯＢＵ＃１と同様である。
なお、ＶＯＢ内の各ＶＯＢＵ先頭へ、ＲＤＩパックは記録されないこともある。このときは、ＶＯＢＵ先頭には必ずビデオパックが記録される。
図２は、ビデオパック内の映像データによって構成される映像ストリームと、オーディオパック内の音声データによって構成される音声ストリームとの関係を示す。
具体的には、ＶＯＢＵ＃ｉでは、ビデオパック２１ａを含む１以上のパックに格納された映像データによって、映像ストリームのピクチャ２１ｂが構成される。次いで、ビデオパック２２を含む１個以上のパックに格納された映像データによって、次のピクチャが構成され、さらに以降のビデオパックに格納された映像データによってさらに次のピクチャが構成される。一方、オーディオパック２３ａに格納された音声データによって音声フレーム２３ｂが構成される。その他のオーディオパックについても同様である。なお、１つの音声フレームのデータは２以上のオーディオパックに分割されて格納されていてもよい。また、ひとつのオーディオパック内に複数の音声フレームを含んでいてもよい。
また、ＶＯＢＵに含まれる音声フレームのデータはＶＯＢＵ内で完結しているとする。すなわち、ＶＯＢＵに含まれる音声フレームのデータはＶＯＢＵ内に全て存在し、次のＶＯＢＵには含まれないとする。
映像フレームおよび音声フレームは、各ビデオパックおよびオーディオパックのパケットヘッダに格納されている再生時刻を指定する情報（プレゼンテーションタイムスタンプ；ＰＴＳ）に基づいて再生される。図２では、ビデオピクチャ２１ｂと音声フレーム２３ｂとがほぼ同時刻に再生される。すなわち、両者は同期して再生される。
ＶＯＢＵ＃ｉのビデオパック２４ａおよび２４ｂに注目する。ビデオパック２４ａからビデオパック２４ｂまでのビデオパックに格納された映像データによって、ＶＯＢＵ＃ｉの最後のピクチャ２４ｃが構成される。上述のように、各ＶＯＢＵは映像の再生時間等を基準として構築されており、音声を考慮して特に構築されているわけではない。そのため、音声フレーム２５ｃのデータは、ビデオピクチャ２４ｃと同期して再生されるように再生時刻情報（ＰＴＳ）が付加されていても次のＶＯＢＵ＃（ｉ＋１）のオーディオパック２５ａおよび２５ｂ等に格納される。
このように、映像フレームと同期して再生される音声フレームの記録位置がずれる理由は、ビデオパックとオーディオパックの多重化ルールを規定しているシステムターゲットデコーダ（Ｐ−ＳＴＤ）内において、ビデオデータ用のバッファのデータサイズ（例えば２２４ｋバイト）が、音声データ用のバッファのサイズ（例えば４ｋバイト）よりもかなり大きいためである。音声データは蓄積可能なデータ量が少ないので、再生タイミングの直前で読み込むように多重化される。
このようなプログラムストリームに対して、ユーザは、希望するＶＯＢＵの再生順序を「プレイリスト」として登録することができる。再生装置はプレイリストに基づいて、指定されたあるＶＯＢＵのデータを取得して映像等を再生し、その後、指定されたＶＯＢＵの先頭からデータを読み出して再生を継続する。
しかし、同期して再生すべき映像データおよび音声データが異なるＶＯＢＵに格納されている場合には、プレイリストに基づく再生中、音声が途切れるという問題が生じていた。その理由は、再生対象のＶＯＢＵのデータは読み出されるが、その次に配置された非再生対象のＶＯＢＵに格納された音声データは読み出されないからである。この場合には、映像のみが再生され、それと同期して再生されるはずの音声は再生されない。
例えば、図２において、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているとする。このとき、ＶＯＢＵ＃ｉのビデオピクチャ２４ｃのデータが読み出された後は、次のＶＯＢＵ＃ｋ内のデータが読み出される。よって、ビデオピクチャ２４ｃに同期して再生されるべき、ＶＯＢＵ＃（ｉ＋１）に格納された音声フレーム２５ｃのデータは読み出されず、音声は再生されない。その結果、ユーザには途中で音声が途切れて聞こえる。
また、ＶＯＢＵ＃ｋにおいても、その先頭のビデオピクチャに対応する音声フレームがＶＯＢＵ＃ｋ内の途中のどこから格納されているのかはＶＯＢＵ毎に異なる。どこから格納されているかは、ＶＯＢＵ＃ｋとそれ以前のＶＯＢＵ（ＶＯＢＵ＃（ｋ−１））との相対関係で決定される。具体的にはプログラムストリームのビット量とシステムターゲットデコーダ（Ｐ−ＳＴＤ）のバッファサイズによって決定される。したがって、仮にＶＯＢＵ＃ｉ内に同期して再生されるべき音声フレームが全てあったとしても、ＶＯＢＵ＃ｋと同期して再生されるべき音声フレームが直ぐに格納されているとは限らない。この理由によっても、ユーザには途中で音声が途切れて聞える。
本発明の目的は、プレイリスト等に基づいて映像および音声を再生する場合であっても、音声が途切れる期間を著しく少なくする、または音声が途切れる期間がないようにすることである。

本発明によるデータ処理装置は、映像信号および音声信号が入力される信号入力部と、前記映像信号および前記音声信号を圧縮符号化して、映像データおよび音声データを生成する圧縮部と、前記映像データおよび前記音声データを分割してパケットを複数生成し、前記映像データに関する映像パケットおよび前記音声データに関する音声パケットを多重化したデータ単位を複数生成し、複数の前記データ単位を含むデータストリームを生成するストリーム組立部と、前記データストリームを記録媒体に記録する記録部とを有している。前記ストリーム組立部は、前記データ単位に含める映像パケットおよび音声パケットを少なくとも映像の再生時間に基づいて決定し、所定のデータ単位に格納された映像データに対応する音声データの全部が前記所定のデータ単位に含まれない場合には、前記音声データのうち、少なくとも含まれない部分である部分音声データをコピーしたコピーデータを前記データストリーム内に含める。
前記ストリーム組立部は、前記データ単位に対応する前記コピーデータを、後続のデータ単位の最初に配置された映像パケット内に格納してもよい。
前記ストリーム組立部は、前記データ単位内に、対応する前記コピーデータを格納してもよい。
前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用の音声ストリーム内に格納してもよい。
前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用のプライベートデータストリーム内に格納してもよい。
前記ストリーム組立部は、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータを、前記所定のデータ単位に含めてもよい。
前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用のプライベートデータストリーム内に格納してもよい。
前記ストリーム組立部は、前記映像データに同期する前記音声データのすべてをコピーしたコピーデータを、前記データストリーム内の専用の音声ストリーム内に格納してもよい。
前記ストリーム組立部は、前記映像データに同期する前記音声データのすべてをコピーしたコピーデータを、前記データストリーム内の専用の音声ストリーム内に格納し、さらに前記コピーデータの転送タイミングを示す転送タイミング情報として、前記コピー元のデータ単位内の転送タイミングよりも所定の時間だけ早くシフトした転送タイミングを規定して記録してもよい。
前記ストリーム組立部は、前記複数のデータ単位を含む第１ファイルおよび前記コピーデータを含む第２ファイルとして、前記データストリームを生成し、前記記録部は、前記データ単位とコピーデータとを前記記録媒体に連続的に記録してもよい。
前記ストリーム組立部は、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータによって前記第２ファイルを生成してもよい。
前記音声データにはレート情報が付加され、前記音声データは前記レート情報に応じたデータ長を有しており、前記圧縮部は第１レートで前記音声信号を圧縮符号化して前記音声データを生成し、前記ストリーム組立部は、前記所定のデータ単位に含まれる前記音声データに対して、前記レート情報として前記第１レートよりも早い第２レートの値を設定して前記音声データを生成し、前記第２レートに対して規定される第２データ長と、前記第１レートに対して規定される前記音声データの第１データ長との差分に対応する空き領域に、前記コピーデータを格納してもよい。
本発明によるデータ処理方法は、映像信号および音声信号を受け取るステップと、前記映像信号および前記音声信号を圧縮符号化して、映像データおよび音声データを生成するステップと、前記映像データおよび前記音声データを分割してパケットを複数生成するステップし、前記映像データに関する映像パケットおよび前記音声データに関する音声パケットを多重化したデータ単位を複数生成し、複数の前記データ単位を含むデータストリームを生成するステップと、前記データストリームを記録媒体に記録するステップとを包含する。前記データストリームを生成するステップは、前記データ単位に含める映像パケットおよび音声パケットを少なくとも映像の再生時間に基づいて決定し、所定のデータ単位に格納された映像データに対応する音声データの全部が前記所定のデータ単位に含まれない場合には、前記音声データのうち、少なくとも含まれない部分である部分音声データをコピーしたコピーデータを前記データストリーム内に含める。
前記データストリームを生成するステップは、前記データ単位に対応する前記コピーデータを、後続のデータ単位の最初に配置された映像パケット内に格納してもよい。
前記データストリームを生成するステップは、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータを、前記所定のデータ単位に含めてもよい。
前記データストリームを生成するステップは、前記複数のデータ単位を含む第１ファイルおよび前記コピーデータを含む第２ファイルに基づいて、前記データストリームを生成してもよい。
前記データストリームを生成するステップは、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータによって前記第２ファイルを生成してもよい。
前記音声データにはレート情報が付加され、前記音声データは前記レート情報に応じたデータ長を有しており、前記音声データを生成するステップは、第１レートで前記音声信号を圧縮符号化して前記音声データを生成し、前記前記データストリームを生成するステップは、前記所定のデータ単位に含まれる前記音声データに対して、前記レート情報として前記第１レートよりも早い第２レートの値を設定して前記音声データを生成し、前記第２レートに対して規定される第２データ長と、前記第１レートに対して規定される前記音声データの第１データ長との差分に対応する空き領域に、前記コピーデータを格納してもよい。
本発明の記録媒体には、複数のデータ単位を含むデータストリームが記録されている。前記複数のデータ単位の各々は、映像データに関する映像パケットおよび前記音声データに関する音声パケットが多重化して構成されている。前記映像データおよび前記映像データに対応する音声データの一部は所定のデータ単位内に格納され、前記映像データに対応する前記音声データの他の一部である部分音声データは前記所定のデータ単位内に格納されていない。前記データストリームは、さらに前記部分音声データをコピーしたコピーデータを含んでいる。
本発明によるデータ処理装置は、上述のデータストリームを受け取ってデコードし、映像信号および音声信号を出力する。データ処理装置は、データストリームに含まれるデータのうち、再生の対象となるデータの読み出しを指示する再生制御部と、前記再生制御部の指示に基づいて、前記データストリームの前記所定のデータ単位から前記映像データおよび前記映像データに対応する音声データの一部を読み出す読み出し部と、前記映像データおよび前記音声データの一部をデコードして映像信号および音声信号を同期して出力するデコード部とを有している。前記再生制御部は、前記指示の後に前記コピーデータの読み出しをさらに指示し、前記デコード部は前記音声データの一部をデコードした後に前記コピーデータをデコードして前記映像信号と同期して出力する。

図１は、ＶＲ規格に準拠したＭＰＥＧ２プログラムストリーム１０のデータ構造を示す図である。
図２は、ビデオパック内の映像データによって構成される映像ストリームと、オーディオパック内の音声データによって構成される音声ストリームとの関係を示す図である。
図３は、データ処理装置３０の機能ブロックの構成を示す図である。
図４は、ＶＲ規格ストリーム１０のデータ構造を示す図である。
図５は、ＶＲ規格ストリーム１０と光ディスク１３１の記録領域との関係を示す図である。
図６は、記録されたＶＲ規格ストリーム１０および管理情報が光ディスク１３１のファイルシステムにおいて管理されている状態を示す図である。
図７は、実施形態１によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。
図８は、データ処理装置３０の記録処理の手順を示すフローチャートである。
図９は、実施形態２によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。
図１０は、実施形態３によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。
図１１は、実施形態４によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。
図１２は、実施形態５によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。
図１３は、実施形態５の変形例によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。
図１４は、実施形態６によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。
図１５は、ＡＣ−３規格の音声フレームのデータ構造および付加情報の位置およびサイズを示す図である。
図１６（ａ）および（ｂ）は、音声データの種類に応じたサブストリームＩＤを有するオーディオパックのデータ構造を示す図である。
図１７は、ＭＰＥＧ−１オーディオ規格の音声フレームのデータ構造を示す。

（実施形態１）
以下では、本実施形態によるデータ処理装置の構成を説明し、あわせて、データ処理装置の処理に関連するデータストリームのデータ構造を説明する。その後、データ処理装置が行う記録動作および再生動作を説明する。なお、本明細書では、データストリームの例としてＤＶＤビデオレコーディング規格（ＶＲ規格）に準拠したＭＰＥＧ２プログラムストリーム（ＶＲ規格ストリーム）を例に挙げて説明する。
図３は、データ処理装置３０の機能ブロックの構成を示す。データ処理装置３０は、ＤＶＤ−ＲＡＭディスク、Ｂｌｕ−ｒａｙディスク（ＢＤ）等の相変化光ディスク１３１に代表される記録媒体に、リアルタイムでＶＲ規格ストリーム１０を記録する記録機能を有する。また、データ処理装置３０は、記録したＶＲ規格ストリーム１０を読み出して復号し、再生する再生機能も有する。ただし、本発明による処理を行う上で、データ処理装置３０は必ずしも記録機能および再生機能の両方を設けていなくてもよい。データ処理装置３０は、例えば据え置き型の装置、カムコーダである。
以下、データ処理装置３０の記録機能に関する構成を説明する。データ処理装置３０は、映像信号入力部１００と、音声信号入力部１０２と、ＭＰＥＧ２ＰＳエンコーダ１７０と、記録部１２０と、連続データ領域検出部１６０と、記録制御部１６１と、論理ブロック管理部１６３とを有する。
まず、データ処理装置３０の記録動作の概要を説明する。ＶＲ規格ストリーム１０を生成して記録する際、ＭＰＥＧ２ＰＳエンコーダ１７０のＰＳ組立部１０４（後述）は、データ単位であるビデオオブジェクトユニット（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｕｎｉｔ；ＶＯＢＵ）に含めるビデオパックおよびオーディオパックを、少なくとも映像の再生時間に基づいて決定してＶＯＢＵを生成する。そして、同一のＶＯＢＵ内に、映像に対応する音声の全てのデータが含まれない場合には、少なくとも含まれない音声データをコピーしたコピーデータをＶＲ規格ストリーム１０に含めて記録する。ここで、「映像に対応する音声」とは、「映像と同期して再生される音声」を意味する。
コピーデータは、後続のＶＯＢＵ内（例えば最初のビデオパック内のユーザデータ領域）に格納され、または、ＶＲ規格ストリーム１０のファイルとは別の音声ファイルに格納される。または、同期して再生される映像および音声が１つのＶＯＢＵ内に収まるように、音声データがプライベートストリームとして格納されてもよいし、付加情報として格納されてもよい。
さらに、映像に対応する音声のデータすべてを異なる音声ストリームとして同じＶＯＢＵ内にインターリーブしてもよい。また、ＶＲ規格ストリーム１０のファイルとは別の音声ファイルに格納してもよい。または、映像に対応する音声のデータすべてを、プライベートストリームとして格納してもよい。
以下では、図３〜６を参照しながらデータ処理装置３０の記録機能に関する各構成要素の一般的な機能を説明し、その後、図７、８等を参照しながらデータ処理装置３０のデータ処理装置３０の具体的な記録動作を説明する。
映像信号入力部１００は映像信号入力端子であり、映像データを表す映像信号を受け取る。音声信号入力部１０２は音声信号入力端子であり、音声データを表す音声信号を受け取る。例えば、データ処理装置３０がビデオレコーダである場合には、映像信号入力部１００および音声信号入力部１０２は、それぞれチューナ部（図示せず）の映像出力部および音声出力部と接続され、それぞれから映像信号および音声信号を受け取る。また、データ処理装置３０がムービーレコーダ、カムコーダ等である場合には、映像信号入力部１００および音声信号入力部１０２は、それぞれカメラのＣＣＤ（図示せず）およびマイクから出力された映像信号および音声信号を受け取る。
ＭＰＥＧ２−ＰＳエンコーダ１７０（以下、「エンコーダ１７０」と記述する）は、映像信号および音声信号を受け取り、ＶＲ規格に準拠したＭＰＥＧ２プログラムストリーム（ＰＳ）、すなわち、ＶＲ規格ストリーム１０を生成する。エンコーダ１７０は、映像圧縮部１０１と、音声圧縮部１０３と、ＰＳ組立部１０４とを有する。映像圧縮部１０１および音声圧縮部１０３は、それぞれ映像信号および音声信号から得られた映像データおよび音声データをＭＰＥＧ２規格に基づいて圧縮符号化する。ＰＳ組立部１０４は、圧縮符号化された映像データと音声データを、それぞれ２キロバイト単位のビデオパック及びオーディオパックに分割し、これらのパックが一つのＶＯＢＵを構成するよう順番に並べるとともに、先頭にＲＤＩパック２７を付加してＶＲ規格ストリーム１０を生成する。
図４は、ＶＲ規格ストリーム１０のデータ構造を示す。ＶＲ規格ストリーム１０は複数のＶＯＢＵを含んでいる。図４には２つのＶＯＢＵが記載されているが、より多く含んでいてもよい。ＶＲ規格ストリーム１０内の各ＶＯＢＵは、複数のパックから構成されている。これらのパックおよび各パックに含まれる情報は図１を参照しながら説明したとおりであるので、ここでは省略する。
以下、ビデオパック１２−１等のデータ構造を説明する。ビデオパック１２は、ＭＰＥＧ２圧縮された映像（ビデオ）データ１２ａを格納している。なお、ビデオパック１２はパックヘッダ１２ｂ、およびビデオパックであることを特定するＰＥＳパケットヘッダ１２ｃが含まれる。さらにＶＯＢＵの最初のビデオパックであればパックヘッダ１２ｂの中にシステムヘッダ（図示せず）も含まれる。
図４に示すビデオパック１２−１の映像データ１２ａは、後続のビデオパック１２−２以後の映像データ１２ｄ等とともにＩフレーム４４のデータを構成する。さらにＩフレームに続くＢフレーム４５またはＰフレームを構成するビデオパックが続けて記録される。
また、映像データ１２ａは、シーケンスヘッダ４１、ユーザデータ４２およびＧＯＰヘッダ４３を含んでいる。ＭＰＥＧ２規格では、ビデオフレームを複数まとめた「グループ・オブ・ピクチャ」（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ；ＧＯＰ）が規定されている。シーケンスヘッダ４１は、複数のＧＯＰで構成されたシーケンスの先頭を表す。一方、ＧＯＰヘッダ４３は各ＧＯＰの先頭を表す。ＧＯＰの先頭フレームはＩフレームである。これらのヘッダについては周知であるため、その詳細な説明は省略する。ユーザデータ４２は、シーケンスヘッダ４１およびＧＯＰヘッダ４３の間に設けられ、任意のデータを記述することができる。
シーケンスヘッダ４１、ユーザデータ４２およびＧＯＰヘッダ４３の先頭には、その各々を識別するための開始コードが付加されている。例えば、シーケンスヘッダ４１には“０００００１Ｂ３”、ユーザデータ４２には“０００００１Ｂ５”、およびＧＯＰヘッダ４３には“０００００１Ｂ８”である（いずれも１６進数表記）。ユーザデータ４２の読み出しは、次のＧＯＰヘッダ４３の開始コードが検出されるまで継続し、ＧＯＰヘッダ４３の開始コードが検出されると、それまでに得られたデータのうち、ユーザデータ４２の先頭ヘッダＢ５を除いた部分がユーザデータとして得られる。
なお、各ＶＯＢＵ内の全ＧＯＰの再生時間は、原則として０．４秒以上かつ１．０秒以下の範囲に収まるように調整されており、例外的に最後のＶＯＢＵの再生時間は、０秒以上かつ１．０秒以下の範囲で調整されている。ＶＲ規格ストリーム１０はリアルタイムで記録されるため、０．４秒未満のタイミングで記録が停止され得るからである。これらの範囲内であれば、各ＶＯＢＵについてビデオの再生時間の変動が許容される。
記録部１２０は、記録制御部１６１の指示に基づいてピックアップ１３０を制御し、記録制御部１６１によって指示された論理ブロック番号の位置からＶＲ規格ストリーム１０のビデオオブジェクトユニット（ＶＯＢＵ）を記録する。このとき、記録部１２０は、各ＶＯＢＵを３２Ｋバイト単位に分割し、その単位で誤り訂正符号を付加して一つの論理ブロックとして光ディスク１３１上に記録する。一つの論理ブロックの途中で一つのＶＯＢＵの記録が終了した場合は、隙間を開けることなく次のＶＯＢＵの記録を連続的に行う。
図５は、ＶＲ規格ストリーム１０と光ディスク１３１の記録領域との関係を示す。ＶＲ規格ストリーム１０の各ＶＯＢＵは、光ディスク１３１の連続データ領域に記録される。連続データ領域は物理的に連続する論理ブロックから構成されており、この領域には最大レートでの再生時間にして１７秒以上のデータが記録される。データ処理装置３０は、論理ブロックごとに誤り訂正符号を付与する。論理ブロックのデータサイズは３２ｋバイトである。各論理ブロックは、２Ｋバイトのセクタを１６個含む。
連続データ領域検出部１６０は、論理ブロック管理部１６３によって管理される光ディスク１３１のセクタの使用状況を調べ、上述の時間長に相当するデータを格納可能な、未使用の連続した空き論理ブロック領域を検出する。
なお、連続再生保証のために１７秒以上の連続した空き論理ブロック領域を常に検出することなく、例えば、余分な再生データの蓄積量を計算してトレースしながら、連続した空き論理ブロックのデータサイズを動的に決定してもよい。すなわち、記録中のある時点で２０秒分の連続データ領域を確保できたときには、その続きとしては１４秒分の連続データ領域を確保して、連続再生を保証してもよい。
記録制御部１６１は、記録部１２０の動作を制御する。記録制御部１６１は、ＶＲ規格ストリーム１０をデータファイル（例えばファイル名”ＶＲ＿ＭＯＶＩＥ．ＶＲＯ”）として記録するように記録部１２０に指示し、光ディスク１３１に記録させる。また、記録部１２０は記録制御部１６１から受け取ったＶＲ規格ストリームに対する管理情報ファイル（ファイル名ＶＲ＿ＭＡＮＧＲ．ＩＦＯ）も光ディスク１３１へ記録する。管理情報には、例えばＶＯＢＵ毎のデータサイズ、含まれる映像フィールド数、および先頭のＩフレームのデータサイズが含まれる。
記録制御部１６１のより具体的な制御動作は以下のとおりである。すなわち、記録制御部１６１は、予め連続データ領域検出部１６０に指示を出して、連続した空き論理ブロック領域を検出させておく。そして、記録制御部１６１は、論理ブロック単位の書き込みが発生するたびに当該論理ブロック番号を記録部１２０に通知し、論理ブロックが使用済みになった場合には論理ブロック管理部１６３に通知する。なお、記録制御部１６１は、連続データ領域検出部１６０に対して連続した空き論理ブロック領域のサイズを動的に検出させてもよい。連続データ領域検出部１６０は、１つの連続データ領域の残りが最大記録再生レート換算で、例えば３秒分を切った時点で、次の連続データ領域を再検出する。そして、１つの連続データ領域が一杯になると、記録制御部１６１は次の連続データ領域への書き込みを指示する。
図６は、記録されたＶＲ規格ストリーム１０および管理情報が光ディスク１３１のファイルシステムにおいて管理されている状態を示す。例えばＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｋ Ｆｏｒｍａｔ）規格のファイルシステム、またはＩＳＯ／ＩＥＣ １３３４６（Ｖｏｌｕｍｅ ａｎｄ ｆｉｌｅ ｓｔｒｕｃｔｕｒｅ ｏｆ ｗｒｉｔｅ−ｏｎｃｅ ａｎｄ ｒｅｗｒｉｔａｂｌｅ ｍｅｄｉａ ｕｓｉｎｇ ｎｏｎ−ｓｅｑｕｅｎｔｉａｌ ｒｅｃｏｒｄｉｎｇ ｆｏｒ ｉｎｆｏｒｍａｔｉｏｎ ｉｎｔｅｒｃｈａｎｇｅ）ファイルシステムが利用される。図６では、連続して記録されたＶＲ規格ストリーム１０がファイル名ＶＲ＿ＭＯＶＩＥ．ＶＲＯとして記録されている。また、管理情報はファイル名ＶＲ＿ＭＡＮＧＲ．ＩＦＯとして記録されている。各ファイルは、ファイル名及びファイル・エントリの位置が、ＦＩＤ（Ｆｉｌｅ Ｉｄｅｎｔｉｆｉｅｒ Ｄｅｓｃｒｉｐｔｏｒ）で管理される。さらに、ファイル・エントリ内のアロケーション・ディスクリプタ（Ａｌｌｏｃａｔｉｏｎ Ｄｅｓｃｒｉｐｔｏｒ）を使って、１つのファイルとそのファイルを構成するデータ領域を関係付ける。アロケーション・ディスクリプタにはファイルを構成するファイル・エントリの位置として先頭セクタ番号が設定される。ＶＲ規格ストリームファイルのファイル・エントリは、各連続データ領域（ＣＤＡ：Ｃｏｎｔｉｇｕｏｕｓ Ｄａｔａ Ａｒｅａ）ａ〜ｃを管理するアロケーション・ディスクリプタａ〜ｃを含む。１つのファイルが複数の領域ａ〜ｃに分かれている理由は、領域ａの途中に不良論理ブロック、書き込みができないＰＣファイル等が存在したからである。一方、管理情報ファイルのファイル・エントリは、管理情報を記録する領域を参照するアロケーション・ディスクリプタｄを保持する。
論理ブロック管理部１６３は、記録制御部１６１から通知された使用済み論理ブロック番号によって論理ブロック番号ごとの使用状況を把握して管理を行う。すなわち、論理ブロック番号を構成する各セクタ単位の使用状況を、ＵＤＦまたはＩＳＯ／ＩＥＣ １３３４６のファイル構成で規定されているスペース・ビット・ディスクリプタ領域を用いて、使用済みもしくは未使用であるかを記録して管理することになる。そして、記録処理の最終段階において、ファイル・アイデンティファイア（ＦＩＤ）及びファイル・エントリをディスク上のファイル管理領域へ書き込む。
なお、ＵＤＦ規格はＩＳＯ／ＩＥＣ １３３４６規格のサブセットに相当する。また、相変化光ディスクドライブを１３９４インタフェース及びＳＢＰ−２（Ｓｅｒｉａｌ Ｂｕｓ Ｐｒｏｔｏｃｏｌ−２）プロトコルを介してＰＣへ接続することにより、ＵＤＦに準拠した形態で書きこんだファイルがＰＣからも１つのファイルとして扱うことが可能である。
次に、本実施形態によるデータ処理装置３０の具体的な記録動作を説明する。以下の説明においては、「対応する」という語は、同期して再生されるべき映像および音声、または、それらに関する映像データおよび音声データを表すとする。
いま、ＰＳ組立部１０４が、対応する映像データおよび音声データのすべてが１つのＶＯＢＵに含まれていないＶＲ規格ストリーム１０を生成したとする。上述のように、ＶＯＢＵは映像の再生時間等に基づいて定められるため、音声データの一部が、対応する映像データとは異なる以降のＶＯＢＵに格納されていると考えればよい。なお、映像データと同じＶＯＢＵに含まれる音声データは、整数個の音声フレームを含む。
図７は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。最上段にＭＰＥＧファイルとして設けられるＶＲ規格ストリーム１０を構成するＶＯＢＵの集合を示し、２段目が各ＶＯＢＵに含まれる映像データの集合、３段目が映像データの集合に対応する音声データの集合を表す。ＶＯＢＵ＃ｉに含まれる映像データをＶ（ｉ）などと表す。映像データＶ（ｉ）に同期して再生される音声データは音声データＡ_０（ｉ）などと表す。最上段にＭＰＥＧ−２プログラムストリームを構成するＶＯＢＵを示す。第２段に各ＶＯＢＵに格納される映像フレームの集合を示す。第３段にそれぞれの映像フレームの集合と同期して再生される音声データＡｏ（ｉ）の格納位置とＶＯＢＵ境界との位置関係を縦の点線で示す（以降の図９、１０、１１、１２、１３、１４も概ね同様である）。
上述した想定の下では、映像データＶ（ｉ）に同期して再生される音声データＡ_０（ｉ）の格納位置はＶＯＢＵ＃ｉの途中から始まり、末尾はＶＯＢＵ（ｉ＋１）の先頭部分に格納されている。図７では、ＶＯＢＵ＃（ｉ＋１）の先頭から音声データＡ_０（ｉ＋１）の前までに格納されているデータＡが、映像データが格納されているＶＯＢＵ＃ｉとは異なるＶＯＢＵ＃（ｉ＋１）に格納されることになった音声データに相当する。この音声データを、以下「分離格納データ」と称する。
ＰＳ組立部１０４は、ＶＯＢＵ＃ｉおよびＶＯＢＵ＃（ｉ＋１）の生成時に、分離格納データと同じ内容を表すコピーデータを生成する。そして、そのコピーデータを、ＶＯＢＵ＃ｉの次のＶＯＢＵ＃（ｉ＋１）の先頭のビデオパック以降に格納する。具体的には、コピーデータを先頭のビデオパックのユーザデータ領域（例えば図４のユーザデータ領域４２）に格納する。コピーデータをユーザデータ領域４２に格納することは、映像および音声の各データをすべて１つのＶＲ規格ストリーム１０（１つのファイル）内に格納することを意味している。なお、コピーデータとは、分離格納データの音声データそのもののコピーを意味する。
なお、このとき、エレメンタリーストリームのみをコピーしてもよいし、パック単位でコピーしてもよい。だだし、パック単位のコピーを実施する場合、オーディオパックのパックヘッダのＳＣＲ値は、転送タイミングとしての意味を持たせる必要はないのでコピー値のままでよい。また、パック内のＰＥＳパケットヘッダ内のＰＴＳ値はそのまま利用可能となる。
さらに、ＰＳ組立部１０４は、ＶＯＢＵ＃（ｉ＋１）および＃（ｉ＋２）の生成時にも、映像データＶ（ｉ＋１）に対応する音声データＡ_０（ｉ＋１）のうち、ＶＯＢＵ＃（ｉ＋２）に格納される分離格納データと同じ内容を表すコピーデータを生成する。そして、そのコピーデータを、ＶＯＢＵ＃ｉの次のＶＯＢＵ＃（ｉ＋１）の先頭のビデオパックに格納する。
なお、ＰＳ組立部１０４は、映像のどのピクチャと音声のどのフレームとを同期して再生させるべきか把握してＰＴＳを付加する機能を有しているため、音声データＡ_０のうち、どの部分が分離格納データであるかを把握している。よって、分離格納データを特定することは容易である。
図８は、データ処理装置３０の記録処理の手順を示すフローチャートである。まずステップＳ８１において、映像信号入力部１００および音声信号入力部１０２は、それぞれ映像信号および音声信号を受け取る。ステップＳ８２において、映像圧縮部１０１および音声圧縮部１０３は、各信号から得られた映像データおよび音声データを圧縮符号化する。
ＰＳ組立部１０４は、次のステップＳ８３において、映像の再生時間等に基づいてＶＯＢＵ＃ｉを生成する。なお、ＶＯＢＵ＃ｉ内のビデオパック等の各パックの配置（順序）は、システムターゲットデコーダモデルの規定に従って決定される。例えば各パックの配置（順序）は、プログラムストリーム・システム・ターゲット・デコーダ（Ｐ−ＳＴＤ）モデルにおいて規定されたバッファ容量の規定を満たすように決定される。
次に、ステップＳ８４において、対応する映像データおよび音声データが同一のＶＯＢＵ内に格納されるか否かを判定する。同一のＶＯＢＵ内に格納される場合には、生成したＶＯＢＵのデータを順次記録部１２０に送る。そして記録部１２０はそのデータを光ディスク１３１に記録する。その後、ステップＳ８３からの処理が繰り返される。
対応する映像データおよび音声データが同一のＶＯＢＵ内に格納されない場合、すなわち、後続のＶＯＢＵに、映像データに対応する音声データの一部分のデータＡを分離格納データとして格納することになったときは、処理はステップＳ８５に進む。ステップＳ８５では、ＰＳ組立部１０４は、分離格納データ（図７の部分データＡ）を次のＶＯＢＵ＃（ｉ＋１）の先頭のビデオパックのユーザデータ領域に記述して記録部１２０に出力する。記録部１２０はそのデータを光ディスク１３１に記録する。
その後、ステップＳ８６において、ＰＳ組立部１０４は全ての映像データおよび音声データを処理したか否かを判定する。処理が終了していない場合にはステップＳ８３からの処理を繰り返し、処理が終了した場合には、記録動作を終了する。
次に、再び図３を参照しながら、データ処理装置３０の再生機能に関する各構成要素の機能を説明し、その後、データ処理装置３０の再生動作を説明する。
データ処理装置３０は、映像表示部１１０と、音声出力部１１２と、再生部１２１と、変換部１４１と、出力インターフェース部１４０と、再生制御部１６２と、プレイリスト再生制御部１６４と、ＭＰＥＧ２ＰＳデコーダ１７１とを有する。
映像表示部１１０は映像を出力するテレビ等の表示機器であり、音声出力部１１２は映像および音声を出力するスピーカ等である。なお、映像表示部１１０および音声出力部１１２はデータ処理装置３０の必須の要素ではなく、外部機器として設けられていてもよい。再生部１２１は、再生制御部１６２の指示に基づいて光ピックアップ１３０を介して光ディスク１３１から読み出されたアナログ信号としてのＶＲ規格ストリーム１０を、デジタル信号として再生する。再生制御部１６２は、再生の対象となるＶＯＢＵおよびそのＶＯＢＵに含まれるデータを特定して、そのデータの読み出しを光ピックアップ１３０に指示する。プレイリスト再生制御部１６４は、ユーザが指定した順序で動画の各シーンを再生する。各シーンは、例えばＶＯＢＵ単位で管理される。
ＭＰＥＧ２−ＰＳデコーダ１７１（以下、「デコーダ１７１」と記述する）は、プログラムストリーム分解部１１４、映像伸長部１１１および音声伸長部１１３を有する。プログラムストリーム分解部１１４（以下「ＰＳ分解部１１４」と記述する）は、ＶＲ規格ストリーム１０から映像データおよび音声データを分離する。映像伸長部１１１は、ＭＰＥＧ２規格に基づいて圧縮符号化された映像データをその規格にしたがってデコードして映像信号として出力する。音声伸長部１１３も同様に、ＭＰＥＧ１−オーディオ規格に基づいて圧縮符号化された音声データをその規格にしたがってデコードして音声信号として出力する。
まず、データ処理装置３０の一般的な再生動作を説明する。データ処理装置３０が記録されたＶＲ規格ストリーム１０を再生するときは、光ディスク１３１からのデータの読み出しと読み出したデータのデコード（再生）を並列的に行う。このとき、データの最大再生レートよりもデータの読出レートの方が高速となるように制御して、再生すべきデータが不足しないように動作する。その結果、ＶＲ規格ストリーム１０の再生を継続すると、単位時間あたり、データ最大再生レートとデータ読み出しレートとのレート差分だけ再生すべきデータを余分に確保できることになる。データ処理装置３０は、ピックアップ１３０がデータを読み出しできない期間中（例えばシーク動作中）に余分に確保したデータを再生することにより、途切れのないＶＲ規格ストリーム１０の再生を実現することができる。
例えば、再生部１２１のデータ読み出しレートが１１．０８Ｍｂｐｓ、ＰＳ分解部１１４のデータ最大再生レートが１０．０８Ｍｂｐｓ、ピックアップの最大移動時間が１．５秒とすると、途切れることなくＶＲ規格ストリーム１０を再生するためには、ピックアップ１３０の移動中に１５．１２Ｍビットの余分なデータが必要になる。これだけのデータを確保するためには、１５．１２秒間の連続読み出しが必要になる。すなわち、１５．１２Ｍビットを、データ読み出しレート１１．０８Ｍｂｐｓとデータ最大記録再生レート１０．０８Ｍｂｐｓの差で除算した時間だけ連続読み出しする必要がある。したがって、１５．１２秒間の連続データ読み出しの間に最大１６７．５３Ｍビット分のデータ（すなわち１６．６２秒分の再生データ）を読み出すことになるので、１６．６２秒（約１７秒）分以上の連続データ領域を確保することにより、連続的なデータ再生を保証することが可能となる。なお、連続データ領域の途中には、数個の不良論理ブロックがあってもよい。ただし、この場合には、再生時にかかる不良論理ブロックを読み込むのに必要な読み出し時間を見越して、連続データ領域を再生時間にして１６．６２秒分よりも若干多く確保する必要がある。
次に、データ処理装置３０の具体的な再生動作を説明する。まず、ＶＲ規格ストリーム１０の先頭から順に映像および音声を再生する際のデータ処理装置３０の動作を説明する。
再生制御部１６２は、再生の対象となるＶＯＢＵを特定し、その最初から順次データを読み出すように光ピックアップ１３０に指示する。ＰＳ分解部１１４は、ピックアップ１３０および再生部１２１を介して再生されたＶＲ規格ストリーム１０を映像データおよび音声データに分離する。映像伸長部１１１および音声伸長部１１３は、それぞれ映像データおよび音声データをデコードし、その結果得られた映像信号に基づく映像を映像表示部１１０において表示し、音声信号に基づく音声を音声出力部１１２において出力する。
次に、ユーザが希望するＶＯＢＵの再生順序を規定した「プレイリスト」に基づいて、データ処理装置３０が光ディスク１３１に記録されたＶＲ規格ストリーム１０を再生する動作を説明する。
いま、プレイリストのある一部分がＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているとする。プレイリスト再生制御部１６４は、まずＶＯＢＵ＃ｉの読み出しを光ピックアップ１３０に指示する。ＰＳ分解部１１４は、光ピックアップ１３０および再生部１２１を介して再生されたＶＯＢＵ＃ｉのデータを映像データおよび音声データに分離してデコードし出力する。このとき、ＶＯＢＵ＃ｉの最初に存在するビデオパックのユーザデータ領域にデータが記述されている場合には、そのデータはＶＯＢＵ＃ｉの映像に対応する音声のデータではないため無視する。
そして、ＶＯＢＵ＃ｉの最後までデータが読み出されると、プレイリスト再生制御部１６４は、後続のＶＯＢＵ＃（ｉ＋１）の最初に存在するビデオパックのユーザデータ領域のデータを読み出すように光ピックアップ１３０に指示する。このデータは、ＶＯＢＵ＃ｉに含まれる映像に対応する音声に関する分離格納データであるから、音声伸長部１１３は、ＶＯＢＵ＃ｉ内の音声データのデコード後にその分離格納データをデコードして音声として出力する。その後、プレイリスト再生制御部１６４からの指示に基づいて次の再生対象であるＶＯＢＵ＃ｋのデータが読み出され、ＰＳ分解部１１４は、再生部１２１を介して次の再生対象であるＶＯＢＵ＃ｋのデータを得て、デコードして出力する。
ＶＯＢＵの先頭にはＲＤＩパックが配置され、その次にはビデオパックが配置されるので、後続のＶＯＢＵの最初のビデオパック内の分離格納データを読み出すことは容易かつ迅速に実現できる。また、ＶＯＢＵ先頭付近の複数のビデオパックに亘って分離格納データが記録される場合も同様である。データ処理装置３０は再生時にその分離格納データをも読み出すことにより、ＶＯＢＵに含まれる映像に対応する音声のすべてのデータが得られるため、音声が途切れることなく再生される。なお、音声データＡｏ（ｉ）内の分離格納データをＶＯＢＵ（ｉ＋１）の先頭ビデオパックのユーザデータ内に格納する代わりに、ＶＯＢＵ（ｉ）内のプライベートストリーム内に格納して多重してもよい。
なお、データ処理装置３０は、記録したデータを上述のようなストリームの分離およびデコードを介することなく出力することもできる。すなわち、変換部１４１は読み出されたＶＲ規格ストリーム１０を所定のフォーマット（例えばＤＶＤビデオ規格のフォーマット）に変換し、出力インタフェース部１４０は変換後のストリームを出力する。このときも、読み出すべきＶＲ規格ストリーム１０のＶＯＢＵのデータに加えて、後続のＶＯＢＵの最初に存在するビデオパックのユーザデータ領域のデータを読み出すことにより、出力先の機器においても音声の途切れがない再生が可能になる。なお、出力インタフェース部１４０は、例えばＩＥＥＥ１３９４規格に準拠したインターフェースであり、外部機器からのデータの読み出しおよび外部機器からのデータの書き込み処理を制御することが可能である。
続く実施形態２以降の各実施形態は、本実施形態のデータ処理装置３０の記録・再生動作に関する種々のバリエーションである。実施形態１で説明したデータ処理装置３０の各構成要素は、以下の実施形態においても、特に説明しない限り同じ機能を有するとする。
（実施形態２）
実施形態１では、ＶＲ規格ストリーム１０には、対応する映像ストリームおよび音声ストリームがそれぞれ１つずつ格納されているとし、音声データのうち、映像データと同じＶＯＢＵに格納されないデータ（分離格納データ）のコピーを後続のＶＯＢＵの映像データ内（ビデオパック内）に格納していた。
本実施形態では、対応する各１つの映像ストリームおよび音声ストリームに加えて、その音声ストリームのデータをコピーした別の音声ストリームをさらに記録する。以下、本実施形態の記録動作を具体的に説明する。
図９は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。このＶＲ規格ストリーム１０は、実施形態１と同様１つのＭＰＥＧファイルとして規定されているが、実施形態１と異なり２つの音声ストリームが多重されている。いま、映像ストリームに対応する音声ストリームを「音声ストリーム＃０」とする。音声ストリーム＃０では、分離格納データが存在している。
ＰＳ組立部１０４は、音声ストリーム＃０のデータのコピーを、別の音声ストリーム＃１として光ディスク１３１に記録する。より具体的には、ＰＳ組立部１０４は、ＶＯＢＵ＃ｉに含まれる映像に対応する音声のストリーム＃０のデータをコピーして、音声ストリーム＃１のオーディオパックを生成する。そして、それらのオーディオパックをＶＲ規格ストリーム１０のＶＯＢＵ＃ｉ内に多重化する。音声ストリーム＃０および＃１は、それぞれ、各パックのパケットヘッダに記述されたストリームＩＤによって識別可能である。なお、コピーされるデータの容量は、プログラムストリームのシステム・ターゲット・デコーダ（Ｐ−ＳＴＤ）の音声バッファが許容する範囲内である等の制限を満たす必要がある。図９では、音声ストリーム＃０を構成する音声データＡ_０（ｉ）、Ａ_０（ｉ＋１）、Ａ_０（ｉ＋２）等をコピーしたデータが、Ａ_１（ｉ）、Ａ_１（ｉ＋１）、Ａ_１（ｉ＋２）等として格納される。
ただし、音声ストリーム＃１と音声ストリーム＃２のビットレートは同じであるものとしているので、Ａｏ（ｉ）のコピーデータがＶＯＢＵ＃ｉ内に格納できるとは限らない。ＶＯＢＵ＃ｉ内の映像フレームの総再生時間と、ＶＯＢＵ＃ｉのデータの総転送時間（ＶＯＢＵ＃ｉ先頭のＳＣＲ値とＶＯＢＵ＃ｉ＋１先頭のＳＣＲ値との差分）が等しい場合はＡｏ（ｉ）のコピーデータがちょうど格納可能となる。
ただし、映像に対応する音声を途切れることなく再生するためには、ＶＯＢＵ＃ｉの読み出しの終了に合わせて、その映像に対応する音声のデータを可能な限り多く取得する必要がある。そこで、ＰＳ組立部１０４は、音声ストリーム＃０に関するオーディオパックに付されるＭＰＥＧ規格のＳＣＲおよびＰＴＳを修正して、音声ストリーム＃１についてのＳＣＲおよびＰＴＳを生成する。すなわち、ＰＳ組立部１０４は、同じ音声を表すデータを格納したパックに関してみたとき、音声ストリーム＃１のオーディオパックに付されるＳＣＲおよびＰＴＳの値を、音声ストリーム＃０のパックに付されるＳＣＲおよびＰＴＳの値よりも所定量だけ小さく設定する。ＳＣＲおよびＰＴＳがより小さくなると、そのパックは、ＶＲ規格ストリーム１０内のパック配列上より早く読み出される位置に配置し得るからである。よって、実施形態１における分離格納データに相当するＶＯＢＵ＃（ｉ＋１）内のデータを、ＶＯＢＵ＃ｉ内により多く格納できるようになる。
ＰＳ組立部１０４は、ＳＣＲおよびＰＴＳを小さく設定した量を示す変化量データを、例えばＶＯＢＵ＃ｉの最初に配置されたビデオパックのユーザデータ領域４２に記述しておく。
次に、本実施形態によるデータ処理装置３０の再生動作を説明する。以下の説明はプレイリストに基づく再生時において特に有効であるため、その場合を例にして説明する。
プレイリスト再生制御部１６４は、光ディスク１３１に記録されたＶＯＢＵ＃ｉの映像のデコードにあわせて、ストリーム＃０ではなく、ストリーム＃１をデコードする。ＶＯＢＵ＃ｉ内に格納されている映像データに対応する音声データは、ストリーム＃０よりもストリーム＃１のデータのほうが多いからである。
ただし、複製データを持つ音声ストリーム＃１の音声ストリーム＃０に対する時間シフト量を記録する必要がある。その理由は上述のように、ストリーム＃１の各オーディオパックのＳＣＲおよびＰＴＳはストリーム＃０よりも小さい値に設定されているため、そのままでは映像と同期して再生させることはできないからである。よって、ＰＳ分解部１１４は、ＶＯＢＵ＃ｉの最初に配置されたビデオパックのユーザデータ領域４２から、再生タイミングのシフト量を読み出して、この値をＰＴＳに加算して、すなわち再生時間を遅らせて音声を再生する。これにより、映像と音声を同期して再生できる。
例えばＶＯＢＵ＃ｉの先頭映像フレームと同期する音声ストリーム＃０の音声フレームＡＦ＃０のＰＴＳと、ＡＦ＃０のコピーデータを含む音声フレームのＰＴＳとの差分値を、動画ストリームファイル“ＶＲ＿ＭＯＶＩＥ．ＶＲＯ”に対する管理情報ファイル内に記録してもよい。また、差分値を各ＶＯＢＵのＲＤＩパック内のメーカ独自データ領域へ記録してもよい。これにより、再生制御部は、ＶＯＢＵ＃ｉを再生する場合に、ＶＯＢＵ先頭の映像フレームのタイムスタンプ値から差分値を減算し、その減算結果以降の音声ストリーム＃１に含まれる音声フレームを再生すればよいことになる。
また、ＶＯＢＵ毎にＲＤＩパック内のメーカ独自データ領域の中に再生タイミングのシフト量を記録してもよい。
なお、ＰＣに接続された光ディスクドライブを介してＰＣの再生アプリケーションソフトが記録済みの動画ファイルを再生する場合は、音声ストリーム＃０の方が再生される。すなわち、動画ファイルを一般的なＭＰＥＧファイルとして再生される場合には音声ストリーム＃０が使われる。
各ＶＯＢＵ内に対応する全ての音声のデータが含まれない場合であっても、音声ストリーム＃０に関して生じていた分離格納データのデータ量は相当程度小さくすることができるので、プレイリストに基づく再生において、音声のほぼシームレスな再生を実現できる。
なお、音声ストリーム＃１の記録内容に関する情報を別途記録してもよい。例えば、音声ストリーム＃１内に音声ストリーム＃０の複製データが格納されていることを示すフラグを動画ストリームファイル“ＶＲ＿ＭＯＶＩＥ．ＶＲＯ”に対する管理情報ファイル内に記録してもよい。このフラグは少なくともＶＯＢ単位で記録するのが望ましい。また、動画ストリームＶＯＢ内、もしくは音声ストリーム＃１内等に記録してもよい。このフラグにより、音声ストリーム＃１内に音声ストリーム＃０とは別の音声が格納されているのか、音声ストリーム＃０のコピーが格納されているのかを区別可能になる。
（実施形態３）
実施形態１では、分離格納データはビデオパック内のユーザデータ領域４２に格納されていた。
本実施形態では、データ処理装置３０は、ＶＲ規格ストリーム１０を規定するＭＰＥＧファイルとは別のファイルのデータとして分離格納データを記録する。
図１０は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。ＰＳ組立部１０４は、ＶＯＢＵ＃ｉの生成時に、そのＶＯＢＵに関連する分離格納データを特定すると、分離格納データをコピーした音声データ＃ｉを生成する。そして、ＰＳ組立部１０４は、その音声データとＶＲ規格ストリーム１０を構成する各ＶＯＢＵとを物理的に交互に記録する。各音声データおよび各ＶＯＢＵはそれぞれ、ひとつの音声ファイルおよびひとつのＭＰＥＧファイルとして記録される。ＰＳ組立部１０４は、音声データ＃ｉをＶＯＢＵ＃ｉの直後にインターリーブする。
一方、プレイリストに基づく再生時には、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているときであっても、プレイリスト再生制御部１６４はＶＯＢＵ＃ｉだけでなく後続の音声データ＃ｉまでを読み出し、その後、次に再生すべきＶＯＢＵ＃ｋのデータを読み出す。そして、ＰＳ分解部１１４において映像データと音声データとに分離した後、映像伸長部１１１および音声伸長部１１３は映像データおよび音声データをデコードして出力する。特に、音声伸長部１１３は、ＶＯＢＵ＃ｉ内に含まれていたオーディオパック内の音声データのデコードおよび再生した後、音声データファイルに含まれていた音声データ＃ｉをデコードし再生する。
再生対象のＶＯＢＵの次に分離格納データに関する音声データが格納されているので、その音声データを連続的に読み出すことは容易かつ迅速に実現できる。データ処理装置３０は再生時にその分離格納データをも読み出すことにより、ＶＯＢＵに含まれる映像に対応する音声のデータがすべて得られるため、音声が途切れることなく再生される。
なお、本実施形態では対応するＶＯＢＵの直後に分離格納データのコピーを記録したが、対応するＶＯＢＵの直前に記録してもよい。
（実施形態４）
実施形態３では、データ処理装置は、音声ストリームのうちの分離格納データのみに基づいてＭＰＥＧファイルとは別の音声ファイルを生成し記録していた。また、例えばＶＯＢＵ＃ｉに関連する音声データ＃ｉは、ＶＯＢＵ＃ｉの直後に記録されていた。
一方、本実施形態によるデータ処理装置は、音声ストリームのすべてのデータに対して、ＭＰＥＧファイルとは別の音声ファイルを生成し記録する。さらに、各ＶＯＢＵに関連する音声データは、そのＶＯＢＵの前に記録される。
図１１は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。ＰＳ組立部１０４は、ＶＯＢＵ＃ｉの生成時に、そのＶＯＢＵに含まれる映像データＶ（ｉ）に対応する音声データＡ_０（ｉ）を特定すると、音声データＡ_０（ｉ）を構成するデータをコピーした音声データ＃ｉを生成する。そして、ＰＳ組立部１０４は、その音声データとＶＲ規格ストリーム１０を構成する各ＶＯＢＵとを物理的に交互に記録する。各音声データおよび各ＶＯＢＵはそれぞれ、ひとつの音声ファイルおよびひとつのＭＰＥＧファイルとして記録される。ＰＳ組立部１０４は、音声データ＃ｉをＶＯＢＵ＃ｉの直前にインターリーブする。
一方、プレイリストに基づく再生時には、プレイリスト再生制御部１６４は、ＶＯＢＵ＃ｉの読み出しの前に音声データ＃ｉの読み出しを先に行うように指示する。すると、ＶＯＢＵ＃ｉの読み出しが終了する前に、音声データ＃ｉの読み出しが終了し、さらに、音声伸長部１１３によるデコードが終了するので、ＶＯＢＵ＃ｉの映像に同期して、すべての音声を再生できる。よって、後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているときであっても、音声のシームレスな再生を実現できる。
なお、本実施形態ではＶＯＢＵ＃ｉの前に音声データ＃ｉを記録するとして説明したが、実施形態３と同様に、ＶＯＢＵ＃ｉの後に音声データ＃ｉを記録してもよい。このときは、ＶＯＢＵ＃ｉの再生後、他のＶＯＢＵの読み出しを開始する前に、音声データ＃ｉを読み出す必要がある。
上述の実施形態３および４では、音声ファイル内のデータの構造には特に言及していないが、音声のエレメンタリーストリームであってもよいし、音声ストリームを含むＭＰＥＧ２プログラムストリームであってもよいし、音声ストリームを含ＭＰ４ストリームであってもよいし、その他のシステムストリームであってもよい。
（実施形態５）
実施形態１では、ＶＯＢＵ＃ｉに関連する分離格納データを、次のＶＯＢＵ＃（ｉ＋１）に格納するものとした。
一方、本実施形態では、ＶＯＢＵ＃ｉに関連する分離格納データをそのＶＯＢＵ＃ｉに別のストリームとして格納する。
図１２は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。ＰＳ組立部１０４は、ＶＯＢＵ＃ｉに関連する分離格納データＡをコピーして、ＶＯＢＵ＃ｉ内に分離格納データＡの部分専用のプライベートストリームとして多重化する。
ＶＲ規格ストリーム１０では、そのストリームに含まれる映像ストリームおよび音声ストリームを識別するために、ストリームＩＤが付されている。ストリームＩＤはＰＥＳパケットヘッダに格納されており、例えば映像ストリームのストリームＩＤは、例えば０ｘＥ０、音声ストリームのストリームＩＤは０ｘＣ０またはは０ｘＢＤである。０ｘＢＤはＭＰＥＧ−２システム規格でプライベートストリーム用に規定された値である。ＶＲ規格において音声ストリームに０ｘＢＤを使用する場合は、さらにＰＥＳパケットヘッダの直後の１バイトによりその音声ストリームの圧縮符号を識別する。本実施形態において新たに設けるプライベートストリームのストリームＩＤとして、０ｘＢＤが用いられる。
プレイリストに基づく再生時には、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているときであっても、音声ストリーム＃０に続けてプライベートストリームとして含まれている分離格納データＡを読み出して再生するので、音声を途切れなくすることが容易に実現可能になる。
なお、プライベートストリームに、分離格納データＡのみでなく音声ストリームの全体のデータをコピーして、ＶＯＢＵ＃ｉ内に分離格納データＡの部分専用のプライベートストリームとして多重化することもできる。図１３は、本実施形態の変形例によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。
ＰＳ組立部１０４は、ＶＯＢＵ＃ｉに含まれる映像に対応する音声データのコピーを、ＶＯＢＵ＃ｉ内の専用のプライベートストリーム１（ｓｔｒｅａｍ＿ＩＤ＝０ｘＢＤ）として記録する。このプライベートストリーム用のシステム・ターゲット・デコーダのバッファサイズは少なくとも音声データ２秒分を蓄積可能なサイズを有するとする。ここで「２秒」の意味は、ＶＯＢＵに含まれる映像の最大の再生時間（１秒）とシステム・ターゲット・デコーダの最大再生遅延時間（１秒）を加算した数値である。
プレイリストに基づく再生時には、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているときであっても、常にプライベートストリーム１に格納された音声データ＃０のコピーの音声データを再生すれば音声を途切れなくすることが容易に実現できる。
本実施形態のように、音声ストリームをコピーしたデータをプライベートストリームとして記録することにより、ＭＰＥＧファイルのＶＯＢＵ単位で編集する場合において、音声データを容易にシームレス再生することができる。その理由は、例えば、２つのＶＯＢＵを結合する編集処理を行ったときには、それらのＶＯＢＵに含まれるプライベートストリームも結合され、結合された分離格納データが得られるからである。
（実施形態６）
実施形態５の第１の例では、ＰＳ組立部１０４は、ＶＯＢＵ＃ｉに関連する分離格納データＡを、ＶＯＢＵ＃ｉ内のプライベートストリームとして格納した。
一方、本実施形態では、ＶＯＢＵ＃ｉに関連する分離格納データＡのコピーを、ＶＯＢＵ＃ｉの音声フレーム内に付加データとして記録する。
図１４は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。ＰＳ組立部１０４は、ＶＯＢＵ＃ｉの音声ストリーム＃０に関連する分離格納データＡを、ＶＯＢＵ＃ｉの音声フレーム内の付加データ（ＡＤ）領域内にコピーして格納する。
図１５は、音声圧縮部１０３が生成するＡＣ−３規格の音声フレームのデータ構造を示す。ＡＣ−３の音声フレームは、同期情報（ＳＩ）、ビットストリーム情報（ＢＳＩ）、音声ブロック（ＡＢｎからＡＢｎ＋５）および付属情報（ＡＤ）から構成される。
同期情報（ＳＩ）には、音声フレームのビットレートを示すレート情報が記録される。本実施形態では、音声フレームのビットレートは４４８ｋｂｐｓであるとしている（フレームサイズコードが４４８ｋｂｐｓを示す）。音声フレームは、同期情報（ＳＩ）に規定されたビットレートの情報に応じたデータ長（図１５に示す１７９２バイト）を有している。ただし、音声圧縮部１０３は、実際には同期情報、ビットストリーム情報、および音声ブロックの有効データを２５６ｋｂｐｓ以下のビットレートで記録し、付属情報領域は後から記録する分離格納データＡのために空けておく。
これにより、４４８ｋｂｐｓのデータレートに対応する１フレーム分のデータ長（１７９２バイト）と、２５６ｋｂｐｓのデータレートに対応する１フレーム分のデータ長（１０２４バイト）との差分、１９２ｋｂｐｓ分のデータ長（７６８バイト）の付属情報領域が確保されることになる。ＰＳ組立部１０４は、その付属情報領域内に図１４に示す分離格納データＡのコピーデータを格納する。分離格納データＡに対応する音声の平均ビットレートは、４４８ｋｂｐｓのデータと２５６ｋｂｐｓとの差分以下である、１９２ｋｂｐｓであるものとする。
以上のように当初から記録される音声ストリームの各音声フレーム内に空き領域を設け、その空き領域に分離格納データをコピーすることにより、ＶＯＢＵ内に格納されなかった音声データ（分離格納データ）を実質的に格納できる。
プレイリストに基づく再生時には、ＶＯＢＵのデータの読み出しが終わると、ＰＳ分解部１１４がデータストリームを解析することにより、音声伸長部１１３は従来のデータ構造では得ることができない分離格納データＡのコピーデータを得ることができる。これにより、通常では音声が途切れる映像の場面においても、映像に同期して音声がシームレスに再生できる。
同期情報（ＳＩ）において規定しているビットレートの半分のビットレートを実際のビットレートに充て、残り半分を分離格納データのビットレートに充ててもよい。例えば、ＡＣ−３の音声ストリームは４４８ｋｂｐｓで、実際のビットストリームが２２４ｋｂｐｓ、分離格納データのビットストリームも２２４ｋｂｐｓとしてもよい。音声フレームをこのように構成することにより、音声ストリーム＃０の音声データを全て付属情報領域へ格納することができる。なお、分離格納データのコピーである音声ストリームは、ＡＣ−３規格に準拠した音声フレームが連続した形態であってもよく、さらに、分離格納データＡの１個の音声フレームが、２個のＡＣ−３規格の音声フレームに亘って付属情報内に記録されてもよい。また、分離格納データのデータ構造は、音声のエレメンタリーストリームを含むＭＰＥＧ２プログラムストリームであってもよいし、その他のシステムストリームであってもよい。
なお、本実施形態では分理格納データのみが付属情報領域内に格納されるものとしたが、記録スペースを確保可能であれば音声ストリーム＃０を全て格納してもよい。
（実施形態７）
実施形態６では、分離格納データＡをＡＣ−３規格の音声フレームの付加情報（ＡＤ）領域へ格納した。本実施形態では、ＭＰＥＧ−１オーディオ規格の音声フレーム内の付加データ（ａｎｃｉｌｌａｒｙ＿ｄａｔａ）領域へ分離格納データＡを格納する。他の構成は実施形態６と同様である。
図１７は本実施形態におけるＭＰＥＧ−１オーディオ規格の音声フレームのデータ構造を示す。ＭＰＥＧ−１オーディオ規格の音声フレームは、ヘッダ、エラーチェック、音声データおよび付加データ（ａｎｃｉｌｌａｒｙ＿ｄａｔａ）を有しており、音声圧縮部１０３は、図１７に示すデータ構造を有する音声フレームを生成する
ヘッダには音声フレームのビットレート、サンプリング周波数、およびレイヤを示す情報が記録される。本実施形態では、それぞれ３８４ｋｂｐｓ、４８ｋＨｚ、およびレイヤ２であるとしている。このとき、各音声フレームは、ヘッダに規定されたビットレートの情報に応じたデータ長を有している。ただし、音声圧縮部１０３は、実際にはヘッダ、エラーチェック、および音声データの合計が２５６ｋｂｐｓ相当以下となるように記録し、付加データ領域は後から記録する分離格納データＡのコピーのために空けておく。
これにより、３８４ｋｂｐｓのデータレートに対応する１フレーム分のデータ長（１１５２バイト）と、２５６ｋｂｐｓのデータレートに対応する１フレーム分のデータ長（７６８バイト）との差分、すなわち１２８ｋｂｐｓ分のデータ長（３８４バイト）の付加データ領域が確保されることになる。ＰＳ組立部１０４はこのデータ領域内に、図１４に示す分離格納データＡのコピーデータを格納する。分離格納データＡのコピーとして格納される音声のビットレートは平均１２８ｋｂｐｓ以下であるとする。
以上のように当初から記録される音声ストリームの各音声フレーム内に空き領域を設け、その空き領域に分離格納データをコピーすることにより、ＶＯＢＵ内に格納されなかった音声データ（分離格納データ）を実質的に格納できる。
プレイリストに基づく再生時には、ＶＯＢＵのデータの読み出しが終わると、ＰＳ分解部１１４がデータストリームを解析することにより、音声伸長部１１３は従来のデータ構造では得ることができない分離格納データＡのコピーデータを得ることができる。これにより、通常では音声が途切れる映像の場面においても、映像に同期して音声がシームレスに再生できる。
なお、本実施の形態では分理格納データのみが付属情報領域内に格納されるとしたが、記録スペースを確保可能であれば音声ストリーム＃０を全て格納してもよい。
なお、分離格納データのコピーである音声ストリームは、ＭＰＥＧ−１オーディオ規格に準拠した音声フレームが連続した形態であってもよく、さらに、分離格納データＡの１個の音声フレームが、２個のＭＰＥＧ−１オーディオ規格の音声フレーム内の付加データ領域に亘って記録されてもよい。また、分離格納データのデータ構造は、音声のエレメンタリーストリームを含むＭＰＥＧ２プログラムストリームであってもよいし、その他のシステムストリームであってもよい。
これまで説明した実施形態では、分離格納データのコピーまたは音声ストリーム＃０全体のコピーデータを、どのような態様で記録し、かつ再生するかを問題としていた。しかし、記録時には特段の処理を行わず、再生時に分離格納データ自身を直接読み出すようデータ処理装置３０を動作させてもよい。具体的には、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているとき、プレイリスト再生制御部１６４は、ＶＯＢＵ＃ｉのデータを読み出した後、必ず分離格納データを読み出し、その後、ＶＯＢＵ＃ｋの読み出しを開始すればよい。これによれば、分離格納データの冗長な記録が不要になるとともに、音声をシームレスに再生することも可能になる。ただし、ＭＰＥＧ２規格上は最長１秒分のプログラムストリームを読み出す必要があるため、映像のシームレス再生が困難になるおそれがある。したがって、この場合プログラムストリーム生成時に、できるだけ分離格納データが少なくなるよう生成にすることが望ましい。
分離格納データが存在しないように圧縮符号化してＶＯＢＵを構成するためには、例えば映像伸長部１１１は各ＶＯＢＵの映像フレームサイズが「映像のビットレート／１秒間のフレーム数」以下になるように各フレームを生成すればよい。これにより、音声に関して分離格納データが生成されることはなくなる。その理由は、１フレーム期間では毎回１フレーム分の音声データを伝送できるからである。なお、Ｉ（Ｉｎｔｒａ）フレームのデータサイズが制限されて画質が低下するおそれが生じる点に留意が必要である。
または、分離格納データが所定のフレーム数（例えば４フレーム）以内の音声データを含むという制限をつけて、音声伸長部１１３が音声データを圧縮符号化してもよい。
本明細書では、プログラムストリームであるＶＲ規格ストリームを例にしたが、ＭＰＥＧ１のシステムストリームまたはＭＰＥＧ２のトランスポートストリームを利用することもできる。なお、トランスポートストリームは、トランスポートストリームを用いたデジタルテレビ放送規格に準拠した形式であってもよい。また、さらにトランスポートストリームを用いたデジタルデータ放送に準拠した形式であってもよい。トランスポートストリームの利用においては、トランスポートストリームパケットが利用される。なお、「パック」とはパケットの１つの例示的な形態として知られている。
また、プログラムストリームであるＶＲ規格ストリームを例にしたが、ＩＳＯ／ＩＥＣ １４４９６−１２で規定されるＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔをベースにしたデータストリームであってもよい。
また、記録媒体は相変化光ディスクであるとしたが、例えばＢｌｕ−ｒａｙディスク、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＭＯ、ＣＤ−Ｒ、ＣＤ−ＲＷ等の光ディスクや、ハードディスク等の他のディスク形状の記録媒体も利用できる。また、フラッシュメモリ等の半導体メモリであってもよい。これに関連して、読み書きヘッドは光ディスク用のピックアップとしたが、例えば、記録媒体がＭＯの場合にはピックアップ及び磁気ヘッドとなり、またハードディスクの場合は磁気ヘッドとなる。
なお、本明細書では、プレイリスト再生時に音声が途切れなく再生できる技術を説明した。しかし、厳密には音声１フレーム分以下の間だけ音声データが存在しないケースがある。これはＶＯＢＵ＃ｉの次にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））を読み出す際に、映像フレーム周期と音声のフレーム周期が若干異なり、完全には同期できないからである。この１フレーム以下の音声データの欠落を防ぐには、分離格納データに加えて、このデータに続く１音声フレームのデータを余分に含めればよい（実施形態１、３、４および５）。そして、これにより余分な音声データを含むことになるが、余分な部分は再生しないようにすればよい。
なお、実施の形態１から５までは音声の圧縮方式として、ＭＰＥＧ−１オーディオもしくはＭＰＥＧ−２オーディオ、ＡＡＣ、ＡＣ−３等を一般に使用することができる。なお、ＡＣ−３の場合は、図１６（ａ）に示すように音声データはＶＯＢＵ内に格納される際にプライベートストリーム１（ｓｔｒｅａｍ＿ＩＤ＝０ｘＢＤ）として格納される場合がある。このときは、例えば実施形態５における、分離格納データを格納するプライベートストリームのような、別のプライベートストリーム１を使用する他のストリームと区別する必要がある。そこでＰＳ組立部１０４は、サブストリームＩＤ（０ｘ８０）をＰＥＳパケットヘッダの次に１バイトだけに設けて識別可能にする。図１６（ａ）は、サブストリームＩＤ（０ｘ８０）を有し、ＡＣ−３データを含むオーディオパックのデータ構造を示す。
実施形態５において説明したプライベートストリームとＡＣ−３用のプライベートストリームを区別して識別するために、異なる数値のサブストリームＩＤを用いてもよい。図１６（ｂ）は、サブストリームＩＤ（０ｘＦＦ）を有し、データを含むオーディオパックのデータ構造を示す。この数値は、ＤＶＤ−Ｖｉｄｅｏ規格において規定されている値（０ｘＦＦ）である。
なお、実施の形態５から７までにおいて分離格納データはエレメンタリーストリームのみか、または、ＰＥＳパケットヘッダまでがコピーされていてもよい。上述の説明では、２つのＶＯＢＵの境界における音声フレームがいずれのＶＯＢＵと同期して再生されるべきかについては言及していないが、例えば映像フレームのＰＴＳ以降の音声フレームが同じＶＯＢＵに対応すると考えればよい。なお、本実施形態では、ビデオデータとしてＭＰＥＧ−２ビデオストリームを挙げて説明したが、ＭＰＥＧ−４ビデオストリームやＭＰＥＧ−４ＡＶＣビデオストリーム等の他の圧縮符号化形式を用いることもできる。

本発明によれば、同一のデータ単位（例えばＶＯＢＵ）内に映像に対応する音声の全てのデータが含まれない場合であっても、少なくとも含まれない音声データをコピーしたコピーデータを、例えばそのデータ単位へのアクセスの際に容易にアクセスできる位置（例えば、次のＶＯＢＵの先頭部分、そのＶＯＢＵの直前または直後）に記録する記録装置を得ることができる。
これにより、特にプレイリストに基づいて映像および音声を同期して再生する場合には、映像データを含むデータ単位へのアクセスとともに、同期して再生されるべき全ての音声データが得られる。よって、シーンをまたぐ際の音声の途切れを大幅に低減でき、ユーザの視聴環境の向上に供することができる再生装置を得ることができる。

本発明は、映像および音声を含むコンテンツをリアルタイムで記録する方法および装置に関する。

映像（ビデオ）信号および音声（オーディオ）信号を低いビットレートで圧縮し符号化する種々のデータストリームが規格化されている。そのようなデータストリームの例として、ＭＰＥＧ２システム規格(ISO/IEC 13818-1)のシステムストリームが知られている。システムストリームは、プログラムストリーム（ＰＳ）、トランスポートストリーム（ＴＳ）、およびＰＥＳストリームの３種類を包含する。

近年、磁気テープに代わって、相変化光ディスク、ＭＯ等の光ディスクが、データストリームを記録するための記録媒体として注目を浴びてきている。現在、相変化光ディスク（例えばＤＶＤ）にコンテンツのデータストリームをリアルタイムで記録し、編集等を可能にする規格として、ＤＶＤビデオレコーディング規格（以下、「ＶＲ規格」と称する）が規定されている（DVD Specifications for Re-writable/Re-recordable Discs Part3 VIDEO RECORDING version 1.0 September 1999）。また、映画等の再生専用コンテンツのデータストリームを記録する、パッケージメディア用の規格として、ＤＶＤビデオ規格（以下、「ビデオ規格」と称する）が規定されている。

図１は、ＶＲ規格に準拠したＭＰＥＧ２プログラムストリーム１０のデータ構造を示す（以下、このストリームを「ＶＲ規格ストリーム１０」と記述する）。

ＶＲ規格ストリーム１０は、複数のビデオオブジェクト（Video OBject；ＶＯＢ）＃１、＃２、・・・、＃ｋを含んでいる。例えば、ＶＲ規格ストリーム１０がカムコーダで撮影されたコンテンツとすると、各ＶＯＢは、ユーザが録画を開始してから録画を停止するまでの１回の録画動作によって生成された動画データが格納されている。

各ＶＯＢは、複数のＶＯＢユニット（Video OBject unit；ＶＯＢＵ）＃１、＃２、・・・、＃ｎを含んでいる。各ＶＯＢＵは、主として、映像の再生時間にして０．４秒から１秒までの範囲内の映像データを含むデータ単位である。

以下、図１において最初に配置されたＶＯＢＵ＃１とその次に配置されたＶＯＢＵ＃２を例にして、ＶＯＢＵのデータ構造を説明する。

ＶＯＢＵ＃１は、ＭＰＥＧプログラムストリームの下位階層であるパックが複数集まって構成されている。ＶＲ規格ストリーム１０内の各パックのデータ長（パック長）は一定（２キロバイト（２０４８バイト））である。ＶＯＢＵの先頭には、図１に“Ｒ”で示されるリアルタイムインフォメーションパック（ＲＤＩパック）１１が配置されている。ＲＤＩパック１１の後には、“Ｖ”で示されるビデオパック（ビデオパック１２等）および“Ａ”で示されるオーディオパック（オーディオパック１３等）が複数含まれている。なお、各ＶＯＢＵのデータサイズは、再生時間が同じであっても映像データが可変ビットレートであれば最大記録再生レート以下の範囲で変動し、映像データが固定ビットレートであればほぼ一定である。

各パックは以下の情報を格納している。例えば日本国特開２００１−１９７４１７号公報に記載されているように、ＲＤＩパック１１は、ＶＲ規格ストリーム１０の再生を制御するために用いられる情報、例えばＶＯＢＵの再生タイミングを示す情報や、ＶＲ規格ストリーム１０のコピーを制御するための情報を格納している。ビデオパック１２は、ＭＰＥＧ２圧縮された映像データを格納している。オーディオパック１３は、例えばＭＰＥＧ２−オーディオ規格によって圧縮された音声データを格納している。近接するビデオパック１２およびオーディオパック１３には、例えば、同期して再生される映像データおよび音声データが格納されている。

ＶＯＢＵ＃２もまた、複数のパックから構成されている。ＶＯＢＵ＃２の先頭には、ＲＤＩパック１４が配置され、その後、ビデオパック１５およびオーディオパック１６等が複数配置されている。各パックに格納される情報の内容はＶＯＢＵ＃１と同様である。

なお、ＶＯＢ内の各ＶＯＢＵ先頭へ、ＲＤＩパックは記録されないこともある。このときは、ＶＯＢＵ先頭には必ずビデオパックが記録される。

図２は、ビデオパック内の映像データによって構成される映像ストリームと、オーディオパック内の音声データによって構成される音声ストリームとの関係を示す。

具体的には、ＶＯＢＵ＃ｉでは、ビデオパック２１ａを含む1以上のパックに格納された映像データによって、映像ストリームのピクチャ２１ｂが構成される。次いで、ビデオパック２２を含む１個以上のパックに格納された映像データによって、次のピクチャが構成され、さらに以降のビデオパックに格納された映像データによってさらに次のピクチャが構成される。一方、オーディオパック２３ａに格納された音声データによって音声フレーム２３ｂが構成される。その他のオーディオパックについても同様である。なお、１つの音声フレームのデータは２以上のオーディオパックに分割されて格納されていてもよい。また、ひとつのオーディオパック内に複数の音声フレームを含んでいてもよい。

また、ＶＯＢＵに含まれる音声フレームのデータはＶＯＢＵ内で完結しているとする。すなわち、ＶＯＢＵに含まれる音声フレームのデータはＶＯＢＵ内に全て存在し、次のＶＯＢＵには含まれないとする。

映像フレームおよび音声フレームは、各ビデオパックおよびオーディオパックのパケットヘッダに格納されている再生時刻を指定する情報（プレゼンテーションタイムスタンプ；ＰＴＳ）に基づいて再生される。図２では、ビデオピクチャ２１ｂと音声フレーム２３ｂとがほぼ同時刻に再生される。すなわち、両者は同期して再生される。

ＶＯＢＵ＃ｉのビデオパック２４ａおよび２４ｂに注目する。ビデオパック２４ａからビデオパック２４ｂまでのビデオパックに格納された映像データによって、ＶＯＢＵ＃ｉの最後のピクチャ２４ｃが構成される。上述のように、各ＶＯＢＵは映像の再生時間等を基準として構築されており、音声を考慮して特に構築されているわけではない。そのため、音声フレーム２５ｃのデータは、ビデオピクチャ２４ｃと同期して再生されるように再生時刻情報（ＰＴＳ）が付加されていても次のＶＯＢＵ＃（ｉ＋１）のオーディオパック２５ａおよび２５ｂ等に格納される。

このように、映像フレームと同期して再生される音声フレームの記録位置がずれる理由は、ビデオパックとオーディオパックの多重化ルールを規定しているシステムターゲットデコーダ（Ｐ−ＳＴＤ）内において、ビデオデータ用のバッファのデータサイズ（例えば２２４ｋバイト）が、音声データ用のバッファのサイズ（例えば４ｋバイト）よりもかなり大きいためである。音声データは蓄積可能なデータ量が少ないので、再生タイミングの直前で読み込むように多重化される。

このようなプログラムストリームに対して、ユーザは、希望するＶＯＢＵの再生順序を「プレイリスト」として登録することができる。再生装置はプレイリストに基づいて、指定されたあるＶＯＢＵのデータを取得して映像等を再生し、その後、指定されたＶＯＢＵの先頭からデータを読み出して再生を継続する。

しかし、同期して再生すべき映像データおよび音声データが異なるＶＯＢＵに格納されている場合には、プレイリストに基づく再生中、音声が途切れるという問題が生じていた。その理由は、再生対象のＶＯＢＵのデータは読み出されるが、その次に配置された非再生対象のＶＯＢＵに格納された音声データは読み出されないからである。この場合には、映像のみが再生され、それと同期して再生されるはずの音声は再生されない。

例えば、図２において、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているとする。このとき、ＶＯＢＵ＃ｉのビデオピクチャ２４ｃのデータが読み出された後は、次のＶＯＢＵ＃ｋ内のデータが読み出される。よって、ビデオピクチャ２４ｃに同期して再生されるべき、ＶＯＢＵ＃（ｉ＋１）に格納された音声フレーム２５ｃのデータは読み出されず、音声は再生されない。その結果、ユーザには途中で音声が途切れて聞こえる。

また、ＶＯＢＵ＃ｋにおいても、その先頭のビデオピクチャに対応する音声フレームがＶＯＢＵ＃ｋ内の途中のどこから格納されているのかはＶＯＢＵ毎に異なる。どこから格納されているかは、ＶＯＢＵ＃ｋとそれ以前のＶＯＢＵ（ＶＯＢＵ＃（ｋ−１））との相対関係で決定される。具体的にはプログラムストリームのビット量とシステムターゲットデコーダ（Ｐ−ＳＴＤ）のバッファサイズによって決定される。したがって、仮にＶＯＢＵ＃ｉ内に同期して再生されるべき音声フレームが全てあったとしても、ＶＯＢＵ＃ｋと同期して再生されるべき音声フレームが直ぐに格納されているとは限らない。この理由によっても、ユーザには途中で音声が途切れて聞える。

本発明の目的は、プレイリスト等に基づいて映像および音声を再生する場合であっても、音声が途切れる期間を著しく少なくする、または音声が途切れる期間がないようにすることである。

本発明によるデータ処理装置は、映像信号および音声信号が入力される信号入力部と、前記映像信号および前記音声信号を圧縮符号化して、映像データおよび音声データを生成する圧縮部と、前記映像データおよび前記音声データを分割してパケットを複数生成し、前記映像データに関する映像パケットおよび前記音声データに関する音声パケットを多重化したデータ単位を複数生成し、複数の前記データ単位を含むデータストリームを生成するストリーム組立部と、前記データストリームを記録媒体に記録する記録部とを有している。前記ストリーム組立部は、前記データ単位に含める映像パケットおよび音声パケットを少なくとも映像の再生時間に基づいて決定し、所定のデータ単位に格納された映像データに対応する音声データの全部が前記所定のデータ単位に含まれない場合には、前記音声データのうち、少なくとも含まれない部分である部分音声データをコピーしたコピーデータを前記データストリーム内に含める。

前記ストリーム組立部は、前記データ単位に対応する前記コピーデータを、後続のデータ単位の最初に配置された映像パケット内に格納してもよい。

前記ストリーム組立部は、前記データ単位内に、対応する前記コピーデータを格納してもよい。

前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用の音声ストリーム内に格納してもよい。

前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用のプライベートデータストリーム内に格納してもよい。

前記ストリーム組立部は、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータを、前記所定のデータ単位に含めてもよい。

前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用のプライベートデータストリーム内に格納してもよい。

前記ストリーム組立部は、前記映像データに同期する前記音声データのすべてをコピーしたコピーデータを、前記データストリーム内の専用の音声ストリーム内に格納してもよい。

前記ストリーム組立部は、前記映像データに同期する前記音声データのすべてをコピーしたコピーデータを、前記データストリーム内の専用の音声ストリーム内に格納し、さらに前記コピーデータの転送タイミングを示す転送タイミング情報として、前記コピー元のデータ単位内の転送タイミングよりも所定の時間だけ早くシフトした転送タイミングを規定して記録してもよい。

前記ストリーム組立部は、前記複数のデータ単位を含む第１ファイルおよび前記コピーデータを含む第２ファイルとして、前記データストリームを生成し、前記記録部は、前記データ単位とコピーデータとを前記記録媒体に連続的に記録してもよい。

前記ストリーム組立部は、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータによって前記第２ファイルを生成してもよい。

前記音声データにはレート情報が付加され、前記音声データは前記レート情報に応じたデータ長を有しており、前記圧縮部は第１レートで前記音声信号を圧縮符号化して前記音声データを生成し、前記ストリーム組立部は、前記所定のデータ単位に含まれる前記音声データに対して、前記レート情報として前記第１レートよりも早い第２レートの値を設定して前記音声データを生成し、前記第２レートに対して規定される第２データ長と、前記第１レートに対して規定される前記音声データの第１データ長との差分に対応する空き領域に、前記コピーデータを格納してもよい。

本発明によるデータ処理方法は、映像信号および音声信号を受け取るステップと、前記映像信号および前記音声信号を圧縮符号化して、映像データおよび音声データを生成するステップと、前記映像データおよび前記音声データを分割してパケットを複数生成し、前記映像データに関する映像パケットおよび前記音声データに関する音声パケットを多重化したデータ単位を複数生成し、複数の前記データ単位を含むデータストリームを生成するステップと、前記データストリームを記録媒体に記録するステップとを包含する。前記データストリームを生成するステップは、前記データ単位に含める映像パケットおよび音声パケットを少なくとも映像の再生時間に基づいて決定し、所定のデータ単位に格納された映像データに対応する音声データの全部が前記所定のデータ単位に含まれない場合には、前記音声データのうち、少なくとも含まれない部分である部分音声データをコピーしたコピーデータを前記データストリーム内に含める。

前記データストリームを生成するステップは、前記データ単位に対応する前記コピーデータを、後続のデータ単位の最初に配置された映像パケット内に格納してもよい。

前記データストリームを生成するステップは、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータを、前記所定のデータ単位に含めてもよい。

前記データストリームを生成するステップは、前記複数のデータ単位を含む第１ファイルおよび前記コピーデータを含む第２ファイルに基づいて、前記データストリームを生成してもよい。

前記データストリームを生成するステップは、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータによって前記第２ファイルを生成してもよい。

前記音声データにはレート情報が付加され、前記音声データは前記レート情報に応じたデータ長を有しており、前記音声データを生成するステップは、第１レートで前記音声信号を圧縮符号化して前記音声データを生成し、前記データストリームを生成するステップは、前記所定のデータ単位に含まれる前記音声データに対して、前記レート情報として前記第１レートよりも早い第２レートの値を設定して前記音声データを生成し、前記第２レートに対して規定される第２データ長と、前記第１レートに対して規定される前記音声データの第１データ長との差分に対応する空き領域に、前記コピーデータを格納してもよい。

本発明の記録媒体には、複数のデータ単位を含むデータストリームが記録されている。前記複数のデータ単位の各々は、映像データに関する映像パケットおよび前記音声データに関する音声パケットが多重化して構成されている。前記映像データおよび前記映像データに対応する音声データの一部は所定のデータ単位内に格納され、前記映像データに対応する前記音声データの他の一部である部分音声データは前記所定のデータ単位内に格納されていない。前記データストリームは、さらに前記部分音声データをコピーしたコピーデータを含んでいる。

本発明によるデータ処理装置は、上述のデータストリームを受け取ってデコードし、映像信号および音声信号を出力する。データ処理装置は、データストリームに含まれるデータのうち、再生の対象となるデータの読み出しを指示する再生制御部と、前記再生制御部の指示に基づいて、前記データストリームの前記所定のデータ単位から前記映像データおよび前記映像データに対応する音声データの一部を読み出す読み出し部と、前記映像データおよび前記音声データの一部をデコードして映像信号および音声信号を同期して出力するデコード部とを有している。前記再生制御部は、前記指示の後に前記コピーデータの読み出しをさらに指示し、前記デコード部は前記音声データの一部をデコードした後に前記コピーデータをデコードして前記映像信号と同期して出力する。

本発明によれば、同一のデータ単位（例えばＶＯＢＵ）内に映像に対応する音声の全てのデータが含まれない場合であっても、少なくとも含まれない音声データをコピーしたコピーデータを、例えばそのデータ単位へのアクセスの際に容易にアクセスできる位置（例えば、次のＶＯＢＵの先頭部分、そのＶＯＢＵの直前または直後）に記録する記録装置を得ることができる。

これにより、特にプレイリストに基づいて映像および音声を同期して再生する場合には、映像データを含むデータ単位へのアクセスとともに、同期して再生されるべき全ての音声データが得られる。よって、シーンをまたぐ際の音声の途切れを大幅に低減でき、ユーザの視聴環境の向上に供することができる再生装置を得ることができる。

（実施形態１）
以下では、本実施形態によるデータ処理装置の構成を説明し、あわせて、データ処理装置の処理に関連するデータストリームのデータ構造を説明する。その後、データ処理装置が行う記録動作および再生動作を説明する。なお、本明細書では、データストリームの例としてＤＶＤビデオレコーディング規格（ＶＲ規格）に準拠したＭＰＥＧ２プログラムストリーム（ＶＲ規格ストリーム）を例に挙げて説明する。

図３は、データ処理装置３０の機能ブロックの構成を示す。データ処理装置３０は、ＤＶＤ−ＲＡＭディスク、Ｂｌｕ−ｒａｙディスク（ＢＤ）等の相変化光ディスク１３１に代表される記録媒体に、リアルタイムでＶＲ規格ストリーム１０を記録する記録機能を有する。また、データ処理装置３０は、記録したＶＲ規格ストリーム１０を読み出して復号し、再生する再生機能も有する。ただし、本発明による処理を行う上で、データ処理装置３０は必ずしも記録機能および再生機能の両方を設けていなくてもよい。データ処理装置３０は、例えば据え置き型の装置、カムコーダである。

以下、データ処理装置３０の記録機能に関する構成を説明する。データ処理装置３０は、映像信号入力部１００と、音声信号入力部１０２と、ＭＰＥＧ２ＰＳエンコーダ１７０と、記録部１２０と、連続データ領域検出部１６０と、記録制御部１６１と、論理ブロック管理部１６３とを有する。

まず、データ処理装置３０の記録動作の概要を説明する。ＶＲ規格ストリーム１０を生成して記録する際、ＭＰＥＧ２ＰＳエンコーダ１７０のＰＳ組立部１０４（後述）は、データ単位であるビデオオブジェクトユニット（Video Object Unit；ＶＯＢＵ）に含めるビデオパックおよびオーディオパックを、少なくとも映像の再生時間に基づいて決定してＶＯＢＵを生成する。そして、同一のＶＯＢＵ内に、映像に対応する音声の全てのデータが含まれない場合には、少なくとも含まれない音声データをコピーしたコピーデータをＶＲ規格ストリーム１０に含めて記録する。ここで、「映像に対応する音声」とは、「映像と同期して再生される音声」を意味する。

コピーデータは、後続のＶＯＢＵ内（例えば最初のビデオパック内のユーザデータ領域）に格納され、または、ＶＲ規格ストリーム１０のファイルとは別の音声ファイルに格納される。または、同期して再生される映像および音声が１つのＶＯＢＵ内に収まるように、音声データがプライベートストリームとして格納されてもよいし、付加情報として格納されてもよい。

さらに、映像に対応する音声のデータすべてを異なる音声ストリームとして同じＶＯＢＵ内にインターリーブしてもよい。また、ＶＲ規格ストリーム１０のファイルとは別の音声ファイルに格納してもよい。または、映像に対応する音声のデータすべてを、プライベートストリームとして格納してもよい。

以下では、図３〜６を参照しながらデータ処理装置３０の記録機能に関する各構成要素の一般的な機能を説明し、その後、図７、８等を参照しながらデータ処理装置３０のデータ処理装置３０の具体的な記録動作を説明する。

映像信号入力部１００は映像信号入力端子であり、映像データを表す映像信号を受け取る。音声信号入力部１０２は音声信号入力端子であり、音声データを表す音声信号を受け取る。例えば、データ処理装置３０がビデオレコーダである場合には、映像信号入力部１００および音声信号入力部１０２は、それぞれチューナ部（図示せず）の映像出力部および音声出力部と接続され、それぞれから映像信号および音声信号を受け取る。また、データ処理装置３０がムービーレコーダ、カムコーダ等である場合には、映像信号入力部１００および音声信号入力部１０２は、それぞれカメラのＣＣＤ（図示せず）およびマイクから出力された映像信号および音声信号を受け取る。

ＭＰＥＧ２−ＰＳエンコーダ１７０（以下、「エンコーダ１７０」と記述する）は、映像信号および音声信号を受け取り、ＶＲ規格に準拠したＭＰＥＧ２プログラムストリーム（ＰＳ）、すなわち、ＶＲ規格ストリーム１０を生成する。エンコーダ１７０は、映像圧縮部１０１と、音声圧縮部１０３と、ＰＳ組立部１０４とを有する。映像圧縮部１０１および音声圧縮部１０３は、それぞれ映像信号および音声信号から得られた映像データおよび音声データをＭＰＥＧ２規格に基づいて圧縮符号化する。ＰＳ組立部１０４は、圧縮符号化された映像データと音声データを、それぞれ２キロバイト単位のビデオパック及びオーディオパックに分割し、これらのパックが一つのＶＯＢＵを構成するよう順番に並べるとともに、先頭にＲＤＩパック２７を付加してＶＲ規格ストリーム１０を生成する。

図４は、ＶＲ規格ストリーム１０のデータ構造を示す。ＶＲ規格ストリーム１０は複数のＶＯＢＵを含んでいる。図４には２つのＶＯＢＵが記載されているが、より多く含んでいてもよい。ＶＲ規格ストリーム１０内の各ＶＯＢＵは、複数のパックから構成されている。これらのパックおよび各パックに含まれる情報は図１を参照しながら説明したとおりであるので、ここでは省略する。

以下、ビデオパック１２−１等のデータ構造を説明する。ビデオパック１２は、ＭＰＥＧ２圧縮された映像（ビデオ）データ１２ａを格納している。なお、ビデオパック１２はパックヘッダ１２ｂ、およびビデオパックであることを特定するＰＥＳパケットヘッダ１２ｃが含まれる。さらにＶＯＢＵの最初のビデオパックであればパックヘッダ１２ｂの中にシステムヘッダ（図示せず）も含まれる。

図４に示すビデオパック１２−１の映像データ１２ａは、後続のビデオパック１２−２以後の映像データ１２ｄ等とともにＩフレーム４４のデータを構成する。さらにＩフレームに続くＢフレーム４５またはＰフレームを構成するビデオパックが続けて記録される。

また、映像データ１２ａは、シーケンスヘッダ４１、ユーザデータ４２およびＧＯＰヘッダ４３を含んでいる。ＭＰＥＧ２規格では、ビデオフレームを複数まとめた「グループ・オブ・ピクチャ」（Group Of Picture；ＧＯＰ）が規定されている。シーケンスヘッダ４１は、複数のＧＯＰで構成されたシーケンスの先頭を表す。一方、ＧＯＰヘッダ４３は各ＧＯＰの先頭を表す。ＧＯＰの先頭フレームはＩフレームである。これらのヘッダについては周知であるため、その詳細な説明は省略する。ユーザデータ４２は、シーケンスヘッダ４１およびＧＯＰヘッダ４３の間に設けられ、任意のデータを記述することができる。

シーケンスヘッダ４１、ユーザデータ４２およびＧＯＰヘッダ４３の先頭には、その各々を識別するための開始コードが付加されている。例えば、シーケンスヘッダ４１には“０００００１Ｂ３”、ユーザデータ４２には“０００００１Ｂ５”、およびＧＯＰヘッダ４３には“０００００１Ｂ８”である（いずれも１６進数表記）。ユーザデータ４２の読み出しは、次のＧＯＰヘッダ４３の開始コードが検出されるまで継続し、ＧＯＰヘッダ４３の開始コードが検出されると、それまでに得られたデータのうち、ユーザデータ４２の先頭ヘッダＢ５を除いた部分がユーザデータとして得られる。

なお、各ＶＯＢＵ内の全ＧＯＰの再生時間は、原則として０．４秒以上かつ１．０秒以下の範囲に収まるように調整されており、例外的に最後のＶＯＢＵの再生時間は、０秒以上かつ１．０秒以下の範囲で調整されている。ＶＲ規格ストリーム１０はリアルタイムで記録されるため、０．４秒未満のタイミングで記録が停止され得るからである。これらの範囲内であれば、各ＶＯＢＵについてビデオの再生時間の変動が許容される。

記録部１２０は、記録制御部１６１の指示に基づいてピックアップ１３０を制御し、記録制御部１６１によって指示された論理ブロック番号の位置からＶＲ規格ストリーム１０のビデオオブジェクトユニット（ＶＯＢＵ）を記録する。このとき、記録部１２０は、各ＶＯＢＵを３２Ｋバイト単位に分割し、その単位で誤り訂正符号を付加して一つの論理ブロックとして光ディスク１３１上に記録する。一つの論理ブロックの途中で一つのＶＯＢＵの記録が終了した場合は、隙間を開けることなく次のＶＯＢＵの記録を連続的に行う。

図５は、ＶＲ規格ストリーム１０と光ディスク１３１の記録領域との関係を示す。ＶＲ規格ストリーム１０の各ＶＯＢＵは、光ディスク１３１の連続データ領域に記録される。連続データ領域は物理的に連続する論理ブロックから構成されており、この領域には最大レートでの再生時間にして１７秒以上のデータが記録される。データ処理装置３０は、論理ブロックごとに誤り訂正符号を付与する。論理ブロックのデータサイズは３２ｋバイトである。各論理ブロックは、２Ｋバイトのセクタを１６個含む。

連続データ領域検出部１６０は、論理ブロック管理部１６３によって管理される光ディスク１３１のセクタの使用状況を調べ、上述の時間長に相当するデータを格納可能な、未使用の連続した空き論理ブロック領域を検出する。

なお、連続再生保証のために１７秒以上の連続した空き論理ブロック領域を常に検出することなく、例えば、余分な再生データの蓄積量を計算してトレースしながら、連続した空き論理ブロックのデータサイズを動的に決定してもよい。すなわち、記録中のある時点で２０秒分の連続データ領域を確保できたときには、その続きとしては１４秒分の連続データ領域を確保して、連続再生を保証してもよい。

記録制御部１６１は、記録部１２０の動作を制御する。記録制御部１６１は、ＶＲ規格ストリーム１０をデータファイル（例えばファイル名”ＶＲ＿ＭＯＶＩＥ．ＶＲＯ”）として記録するように記録部１２０に指示し、光ディスク１３１に記録させる。また、記録部１２０は記録制御部１６１から受け取ったＶＲ規格ストリームに対する管理情報ファイル（ファイル名ＶＲ＿ＭＡＮＧＲ．ＩＦＯ）も光ディスク１３１へ記録する。管理情報には、例えばＶＯＢＵ毎のデータサイズ、含まれる映像フィールド数、および先頭のＩフレームのデータサイズが含まれる。

記録制御部１６１のより具体的な制御動作は以下のとおりである。すなわち、記録制御部１６１は、予め連続データ領域検出部１６０に指示を出して、連続した空き論理ブロック領域を検出させておく。そして、記録制御部１６１は、論理ブロック単位の書き込みが発生するたびに当該論理ブロック番号を記録部１２０に通知し、論理ブロックが使用済みになった場合には論理ブロック管理部１６３に通知する。なお、記録制御部１６１は、連続データ領域検出部１６０に対して連続した空き論理ブロック領域のサイズを動的に検出させてもよい。連続データ領域検出部１６０は、１つの連続データ領域の残りが最大記録再生レート換算で、例えば３秒分を切った時点で、次の連続データ領域を再検出する。そして、１つの連続データ領域が一杯になると、記録制御部１６１は次の連続データ領域への書き込みを指示する。

図６は、記録されたＶＲ規格ストリーム１０および管理情報が光ディスク１３１のファイルシステムにおいて管理されている状態を示す。例えばＵＤＦ（Universal Disk Format）規格のファイルシステム、またはＩＳＯ／ＩＥＣ １３３４６（Volume and file structure of write-once and rewritable media using non-sequential recording for information interchange）ファイルシステムが利用される。図６では、連続して記録されたＶＲ規格ストリーム１０がファイル名ＶＲ＿ＭＯＶＩＥ．ＶＲＯとして記録されている。また、管理情報はファイル名ＶＲ＿ＭＡＮＧＲ．ＩＦＯとして記録されている。各ファイルは、ファイル名及びファイル・エントリの位置が、ＦＩＤ（File Identifier Descriptor）で管理される。さらに、ファイル・エントリ内のアロケーション・ディスクリプタ（Allocation Descriptor）を使って、１つのファイルとそのファイルを構成するデータ領域を関係付ける。アロケーション・ディスクリプタにはファイルを構成するファイル・エントリの位置として先頭セクタ番号が設定される。ＶＲ規格ストリームファイルのファイル・エントリは、各連続データ領域（ＣＤＡ：Contiguous Data Area）ａ〜ｃを管理するアロケーション・ディスクリプタａ〜ｃを含む。１つのファイルが複数の領域ａ〜ｃに分かれている理由は、領域ａの途中に不良論理ブロック、書き込みができないＰＣファイル等が存在したからである。一方、管理情報ファイルのファイル・エントリは、管理情報を記録する領域を参照するアロケーション・ディスクリプタｄを保持する。

論理ブロック管理部１６３は、記録制御部１６１から通知された使用済み論理ブロック番号によって論理ブロック番号ごとの使用状況を把握して管理を行う。すなわち、論理ブロック番号を構成する各セクタ単位の使用状況を、ＵＤＦまたはＩＳＯ／ＩＥＣ １３３４６のファイル構成で規定されているスペース・ビット・ディスクリプタ領域を用いて、使用済みもしくは未使用であるかを記録して管理することになる。そして、記録処理の最終段階において、ファイル・アイデンティファイア（ＦＩＤ）及びファイル・エントリをディスク上のファイル管理領域へ書き込む。

なお、ＵＤＦ規格はＩＳＯ／ＩＥＣ １３３４６規格のサブセットに相当する。また、相変化光ディスクドライブを１３９４インタフェース及びＳＢＰ−２（Serial Bus Protocol-2）プロトコルを介してＰＣへ接続することにより、ＵＤＦに準拠した形態で書きこんだファイルがＰＣからも１つのファイルとして扱うことが可能である。

次に、本実施形態によるデータ処理装置３０の具体的な記録動作を説明する。以下の説明においては、「対応する」という語は、同期して再生されるべき映像および音声、または、それらに関する映像データおよび音声データを表すとする。

いま、ＰＳ組立部１０４が、対応する映像データおよび音声データのすべてが１つのＶＯＢＵに含まれていないＶＲ規格ストリーム１０を生成したとする。上述のように、ＶＯＢＵは映像の再生時間等に基づいて定められるため、音声データの一部が、対応する映像データとは異なる以降のＶＯＢＵに格納されていると考えればよい。なお、映像データと同じＶＯＢＵに含まれる音声データは、整数個の音声フレームを含む。

図７は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。最上段にＭＰＥＧファイルとして設けられるＶＲ規格ストリーム１０を構成するＶＯＢＵの集合を示し、２段目が各ＶＯＢＵに含まれる映像データの集合、３段目が映像データの集合に対応する音声データの集合を表す。ＶＯＢＵ＃ｉに含まれる映像データをＶ（ｉ）などと表す。映像データＶ（ｉ）に同期して再生される音声データは音声データＡ₀（ｉ）などと表す。最上段にＭＰＥＧ−２プログラムストリームを構成するＶＯＢＵを示す。第２段に各ＶＯＢＵに格納される映像フレームの集合を示す。第３段にそれぞれの映像フレームの集合と同期して再生される音声データＡ₀（ｉ）の格納位置とＶＯＢＵ境界との位置関係を縦の点線で示す（以降の図９、１０、１１、１２、１３、１４も概ね同様である）。

上述した想定の下では、映像データＶ（ｉ）に同期して再生される音声データＡ₀（ｉ）の格納位置はＶＯＢＵ＃iの途中から始まり、末尾はＶＯＢＵ（ｉ＋１）の先頭部分に格納されている。図７では、ＶＯＢＵ＃（ｉ＋１）の先頭から音声データＡ₀（ｉ＋１）の前までに格納されているデータＡが、映像データが格納されているＶＯＢＵ＃ｉとは異なるＶＯＢＵ＃（ｉ＋１）に格納されることになった音声データに相当する。この音声データを、以下「分離格納データ」と称する。

ＰＳ組立部１０４は、ＶＯＢＵ＃ｉおよびＶＯＢＵ＃（ｉ＋１）の生成時に、分離格納データと同じ内容を表すコピーデータを生成する。そして、そのコピーデータを、ＶＯＢＵ＃ｉの次のＶＯＢＵ＃（ｉ＋１）の先頭のビデオパック以降に格納する。具体的には、コピーデータを先頭のビデオパックのユーザデータ領域（例えば図４のユーザデータ領域４２）に格納する。コピーデータをユーザデータ領域４２に格納することは、映像および音声の各データをすべて１つのＶＲ規格ストリーム１０（１つのファイル）内に格納することを意味している。なお、コピーデータとは、分離格納データの音声データそのもののコピーを意味する。

なお、このとき、エレメンタリーストリームのみをコピーしてもよいし、パック単位でコピーしてもよい。だだし、パック単位のコピーを実施する場合、オーディオパックのパックヘッダのＳＣＲ値は、転送タイミングとしての意味を持たせる必要はないのでコピー値のままでよい。また、パック内のＰＥＳパケットヘッダ内のＰＴＳ値はそのまま利用可能となる。

さらに、ＰＳ組立部１０４は、ＶＯＢＵ＃（ｉ＋１）および＃（ｉ＋２）の生成時にも、映像データＶ（ｉ＋１）に対応する音声データＡ₀（ｉ＋１）のうち、ＶＯＢＵ＃（ｉ＋２）に格納される分離格納データと同じ内容を表すコピーデータを生成する。そして、そのコピーデータを、ＶＯＢＵ＃（ｉ＋１）の次のＶＯＢＵ＃（ｉ＋２）の先頭のビデオパックに格納する。

なお、ＰＳ組立部１０４は、映像のどのピクチャと音声のどのフレームとを同期して再生させるべきか把握してＰＴＳを付加する機能を有しているため、音声データＡ₀のうち、どの部分が分離格納データであるかを把握している。よって、分離格納データを特定することは容易である。

図８は、データ処理装置３０の記録処理の手順を示すフローチャートである。まずステップＳ８１において、映像信号入力部１００および音声信号入力部１０２は、それぞれ映像信号および音声信号を受け取る。ステップＳ８２において、映像圧縮部１０１および音声圧縮部１０３は、各信号から得られた映像データおよび音声データを圧縮符号化する。

ＰＳ組立部１０４は、次のステップＳ８３において、映像の再生時間等に基づいてＶＯＢＵ＃ｉを生成する。なお、ＶＯＢＵ＃ｉ内のビデオパック等の各パックの配置（順序）は、システムターゲットデコーダモデルの規定に従って決定される。例えば各パックの配置（順序）は、プログラムストリーム・システム・ターゲット・デコーダ（Ｐ−ＳＴＤ）モデルにおいて規定されたバッファ容量の規定を満たすように決定される。

次に、ステップＳ８４において、対応する映像データおよび音声データが同一のＶＯＢＵ内に格納されるか否かを判定する。同一のＶＯＢＵ内に格納される場合には、生成したＶＯＢＵのデータを順次記録部１２０に送る。そして記録部１２０はそのデータを光ディスク１３１に記録する。その後、ステップＳ８３からの処理が繰り返される。

対応する映像データおよび音声データが同一のＶＯＢＵ内に格納されない場合、すなわち、後続のＶＯＢＵに、映像データに対応する音声データの一部分のデータＡを分離格納データとして格納することになったときは、処理はステップＳ８５に進む。ステップＳ８５では、ＰＳ組立部１０４は、分離格納データ（図７の部分データＡ）を次のＶＯＢＵ＃（ｉ＋１）の先頭のビデオパックのユーザデータ領域に記述して記録部１２０に出力する。記録部１２０はそのデータを光ディスク１３１に記録する。

その後、ステップＳ８６において、ＰＳ組立部１０４は全ての映像データおよび音声データを処理したか否かを判定する。処理が終了していない場合にはステップＳ８３からの処理を繰り返し、処理が終了した場合には、記録動作を終了する。

次に、再び図３を参照しながら、データ処理装置３０の再生機能に関する各構成要素の機能を説明し、その後、データ処理装置３０の再生動作を説明する。

データ処理装置３０は、映像表示部１１０と、音声出力部１１２と、再生部１２１と、変換部１４１と、出力インターフェース部１４０と、再生制御部１６２と、プレイリスト再生制御部１６４と、ＭＰＥＧ２ＰＳデコーダ１７１とを有する。

映像表示部１１０は映像を出力するテレビ等の表示機器であり、音声出力部１１２は音声を出力するスピーカ等である。なお、映像表示部１１０および音声出力部１１２はデータ処理装置３０の必須の要素ではなく、外部機器として設けられていてもよい。再生部１２１は、再生制御部１６２の指示に基づいて光ピックアップ１３０を介して光ディスク１３１から読み出されたアナログ信号としてのＶＲ規格ストリーム１０を、デジタル信号として再生する。再生制御部１６２は、再生の対象となるＶＯＢＵおよびそのＶＯＢＵに含まれるデータを特定して、そのデータの読み出しを光ピックアップ１３０に指示する。プレイリスト再生制御部１６４は、ユーザが指定した順序で動画の各シーンを再生する。各シーンは、例えばＶＯＢＵ単位で管理される。

ＭＰＥＧ２−ＰＳデコーダ１７１（以下、「デコーダ１７１」と記述する）は、プログラムストリーム分解部１１４、映像伸長部１１１および音声伸長部１１３を有する。プログラムストリーム分解部１１４（以下「ＰＳ分解部１１４」と記述する）は、ＶＲ規格ストリーム１０から映像データおよび音声データを分離する。映像伸長部１１１は、ＭＰＥＧ２規格に基づいて圧縮符号化された映像データをその規格にしたがってデコードして映像信号として出力する。音声伸長部１１３も同様に、ＭＰＥＧ１−オーディオ規格に基づいて圧縮符号化された音声データをその規格にしたがってデコードして音声信号として出力する。

まず、データ処理装置３０の一般的な再生動作を説明する。データ処理装置３０が記録されたＶＲ規格ストリーム１０を再生するときは、光ディスク１３１からのデータの読み出しと読み出したデータのデコード（再生）を並列的に行う。このとき、データの最大再生レートよりもデータの読出レートの方が高速となるように制御して、再生すべきデータが不足しないように動作する。その結果、ＶＲ規格ストリーム１０の再生を継続すると、単位時間あたり、データ最大再生レートとデータ読み出しレートとのレート差分だけ再生すべきデータを余分に確保できることになる。データ処理装置３０は、ピックアップ１３０がデータを読み出しできない期間中（例えばシーク動作中）に余分に確保したデータを再生することにより、途切れのないＶＲ規格ストリーム１０の再生を実現することができる。

例えば、再生部１２１のデータ読み出しレートが１１.０８Ｍｂｐｓ、ＰＳ分解部１１４のデータ最大再生レートが１０．０８Ｍｂｐｓ、ピックアップの最大移動時間が１．５秒とすると、途切れることなくＶＲ規格ストリーム１０を再生するためには、ピックアップ１３０の移動中に１５．１２Ｍビットの余分なデータが必要になる。これだけのデータを確保するためには、１５．１２秒間の連続読み出しが必要になる。すなわち、１５．１２Ｍビットを、データ読み出しレート１１.０８Ｍｂｐｓとデータ最大記録再生レート１０．０８Ｍｂｐｓの差で除算した時間だけ連続読み出しする必要がある。したがって、１５．１２秒間の連続データ読み出しの間に最大１６７．５３Ｍビット分のデータ（すなわち１６．６２秒分の再生データ）を読み出すことになるので、１６．６２秒（約１７秒）分以上の連続データ領域を確保することにより、連続的なデータ再生を保証することが可能となる。なお、連続データ領域の途中には、数個の不良論理ブロックがあってもよい。ただし、この場合には、再生時にかかる不良論理ブロックを読み込むのに必要な読み出し時間を見越して、連続データ領域を再生時間にして１６．６２秒分よりも若干多く確保する必要がある。

次に、データ処理装置３０の具体的な再生動作を説明する。まず、ＶＲ規格ストリーム１０の先頭から順に映像および音声を再生する際のデータ処理装置３０の動作を説明する。

再生制御部１６２は、再生の対象となるＶＯＢＵを特定し、その最初から順次データを読み出すように光ピックアップ１３０に指示する。ＰＳ分解部１１４は、ピックアップ１３０および再生部１２１を介して再生されたＶＲ規格ストリーム１０を映像データおよび音声データに分離する。映像伸長部１１１および音声伸長部１１３は、それぞれ映像データおよび音声データをデコードし、その結果得られた映像信号に基づく映像を映像表示部１１０において表示し、音声信号に基づく音声を音声出力部１１２において出力する。

次に、ユーザが希望するＶＯＢＵの再生順序を規定した「プレイリスト」に基づいて、データ処理装置３０が光ディスク１３１に記録されたＶＲ規格ストリーム１０を再生する動作を説明する。

いま、プレイリストのある一部分がＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているとする。プレイリスト再生制御部１６４は、まずＶＯＢＵ＃ｉの読み出しを光ピックアップ１３０に指示する。ＰＳ分解部１１４は、光ピックアップ１３０および再生部１２１を介して再生されたＶＯＢＵ＃ｉのデータを映像データおよび音声データに分離してデコードし出力する。このとき、ＶＯＢＵ＃ｉの最初に存在するビデオパックのユーザデータ領域にデータが記述されている場合には、そのデータはＶＯＢＵ＃ｉの映像に対応する音声のデータではないため無視する。

そして、ＶＯＢＵ＃ｉの最後までデータが読み出されると、プレイリスト再生制御部１６４は、後続のＶＯＢＵ＃（ｉ＋１）の最初に存在するビデオパックのユーザデータ領域のデータを読み出すように光ピックアップ１３０に指示する。このデータは、ＶＯＢＵ＃ｉに含まれる映像に対応する音声に関する分離格納データであるから、音声伸長部１１３は、ＶＯＢＵ＃ｉ内の音声データのデコード後にその分離格納データをデコードして音声として出力する。その後、プレイリスト再生制御部１６４からの指示に基づいて次の再生対象であるＶＯＢＵ＃ｋのデータが読み出され、ＰＳ分解部１１４は、再生部１２１を介して次の再生対象であるＶＯＢＵ＃ｋのデータを得て、デコードして出力する。

ＶＯＢＵの先頭にはＲＤＩパックが配置され、その次にはビデオパックが配置されるので、後続のＶＯＢＵの最初のビデオパック内の分離格納データを読み出すことは容易かつ迅速に実現できる。また、ＶＯＢＵ先頭付近の複数のビデオパックに亘って分離格納データが記録される場合も同様である。データ処理装置３０は再生時にその分離格納データをも読み出すことにより、ＶＯＢＵに含まれる映像に対応する音声のすべてのデータが得られるため、音声が途切れることなく再生される。なお、音声データＡ₀（ｉ）内の分離格納データをＶＯＢＵ＃（ｉ＋１）の先頭ビデオパックのユーザデータ内に格納する代わりに、ＶＯＢＵ＃（ｉ）内のプライベートストリーム内に格納して多重してもよい。

なお、データ処理装置３０は、記録したデータを上述のようなストリームの分離およびデコードを介することなく出力することもできる。すなわち、変換部１４１は読み出されたＶＲ規格ストリーム１０を所定のフォーマット（例えばＤＶＤビデオ規格のフォーマット）に変換し、出力インタフェース部１４０は変換後のストリームを出力する。このときも、読み出すべきＶＲ規格ストリーム１０のＶＯＢＵのデータに加えて、後続のＶＯＢＵの最初に存在するビデオパックのユーザデータ領域のデータを読み出すことにより、出力先の機器においても音声の途切れがない再生が可能になる。なお、出力インタフェース部１４０は、例えばＩＥＥＥ１３９４規格に準拠したインターフェースであり、外部機器からのデータの読み出しおよび外部機器からのデータの書き込み処理を制御することが可能である。

続く実施形態２以降の各実施形態は、本実施形態のデータ処理装置３０の記録・再生動作に関する種々のバリエーションである。実施形態１で説明したデータ処理装置３０の各構成要素は、以下の実施形態においても、特に説明しない限り同じ機能を有するとする。

（実施形態２）
実施形態１では、ＶＲ規格ストリーム１０には、対応する映像ストリームおよび音声ストリームがそれぞれ１つずつ格納されているとし、音声データのうち、映像データと同じＶＯＢＵに格納されないデータ（分離格納データ）のコピーを後続のＶＯＢＵの映像データ内（ビデオパック内）に格納していた。

本実施形態では、対応する各１つの映像ストリームおよび音声ストリームに加えて、その音声ストリームのデータをコピーした別の音声ストリームをさらに記録する。以下、本実施形態の記録動作を具体的に説明する。

図９は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。このＶＲ規格ストリーム１０は、実施形態１と同様１つのＭＰＥＧファイルとして規定されているが、実施形態１と異なり２つの音声ストリームが多重されている。いま、映像ストリームに対応する音声ストリームを「音声ストリーム＃０」とする。音声ストリーム＃０では、分離格納データが存在している。

ＰＳ組立部１０４は、音声ストリーム＃０のデータのコピーを、別の音声ストリーム＃１として光ディスク１３１に記録する。より具体的には、ＰＳ組立部１０４は、ＶＯＢＵ＃ｉに含まれる映像に対応する音声のストリーム＃０のデータをコピーして、音声ストリーム＃１のオーディオパックを生成する。そして、それらのオーディオパックをＶＲ規格ストリーム１０のＶＯＢＵ＃ｉ内に多重化する。音声ストリーム＃０および＃１は、それぞれ、各パックのパケットヘッダに記述されたストリームＩＤによって識別可能である。なお、コピーされるデータの容量は、プログラムストリームのシステム・ターゲット・デコーダ（Ｐ−ＳＴＤ）の音声バッファが許容する範囲内である等の制限を満たす必要がある。図９では、音声ストリーム＃０を構成する音声データＡ₀（ｉ）、Ａ₀（ｉ＋１）、Ａ₀（ｉ＋２）等をコピーしたデータが、Ａ₁（ｉ）、Ａ₁（ｉ＋１）、Ａ₁（ｉ＋２）等として格納される。

ただし、音声ストリーム＃１と音声ストリーム＃２のビットレートは同じであるものとしているので、Ａｏ（ｉ）のコピーデータがＶＯＢＵ＃ｉ内に格納できるとは限らない。ＶＯＢＵ＃ｉ内の映像フレームの総再生時間と、ＶＯＢＵ＃ｉのデータの総転送時間（ＶＯＢＵ＃ｉ先頭のＳＣＲ値とＶＯＢＵ＃ｉ＋１先頭のＳＣＲ値との差分）が等しい場合はＡｏ（ｉ）のコピーデータがちょうど格納可能となる。

ただし、映像に対応する音声を途切れることなく再生するためには、ＶＯＢＵ＃ｉの読み出しの終了に合わせて、その映像に対応する音声のデータを可能な限り多く取得する必要がある。そこで、ＰＳ組立部１０４は、音声ストリーム＃０に関するオーディオパックに付されるＭＰＥＧ規格のＳＣＲおよびＰＴＳを修正して、音声ストリーム＃１についてのＳＣＲおよびＰＴＳを生成する。すなわち、ＰＳ組立部１０４は、同じ音声を表すデータを格納したパックに関してみたとき、音声ストリーム＃１のオーディオパックに付されるＳＣＲおよびＰＴＳの値を、音声ストリーム＃０のパックに付されるＳＣＲおよびＰＴＳの値よりも所定量だけ小さく設定する。ＳＣＲおよびＰＴＳがより小さくなると、そのパックは、ＶＲ規格ストリーム１０内のパック配列上より早く読み出される位置に配置し得るからである。よって、実施形態１における分離格納データに相当するＶＯＢＵ＃（ｉ＋１）内のデータを、ＶＯＢＵ＃ｉ内により多く格納できるようになる。

ＰＳ組立部１０４は、ＳＣＲおよびＰＴＳを小さく設定した量を示す変化量データを、例えばＶＯＢＵ＃ｉの最初に配置されたビデオパックのユーザデータ領域４２に記述しておく。

次に、本実施形態によるデータ処理装置３０の再生動作を説明する。以下の説明はプレイリストに基づく再生時において特に有効であるため、その場合を例にして説明する。

プレイリスト再生制御部１６４は、光ディスク１３１に記録されたＶＯＢＵ＃ｉの映像のデコードにあわせて、ストリーム＃０ではなく、ストリーム＃１をデコードする。ＶＯＢＵ＃ｉ内に格納されている映像データに対応する音声データは、ストリーム＃０よりもストリーム＃１のデータのほうが多いからである。

ただし、複製データを持つ音声ストリーム＃１の音声ストリーム＃０に対する時間シフト量を記録する必要がある。その理由は上述のように、ストリーム＃１の各オーディオパックのＳＣＲおよびＰＴＳはストリーム＃０よりも小さい値に設定されているため、そのままでは映像と同期して再生させることはできないからである。よって、ＰＳ分解部１１４は、ＶＯＢＵ＃ｉの最初に配置されたビデオパックのユーザデータ領域４２から、再生タイミングのシフト量を読み出して、この値をＰＴＳに加算して、すなわち再生時間を遅らせて音声を再生する。これにより、映像と音声を同期して再生できる。

例えばＶＯＢＵ＃ｉの先頭映像フレームと同期する音声ストリーム＃０の音声フレームＡＦ＃０のＰＴＳと、ＡＦ＃０のコピーデータを含む音声フレームのＰＴＳとの差分値を、動画ストリームファイル“ＶＲ＿ＭＯＶＩＥ．ＶＲＯ”に対する管理情報ファイル内に記録してもよい。また、差分値を各ＶＯＢＵのＲＤＩパック内のメーカ独自データ領域へ記録してもよい。これにより、再生制御部は、ＶＯＢＵ＃ｉを再生する場合に、ＶＯＢＵ先頭の映像フレームのタイムスタンプ値から差分値を減算し、その減算結果以降の音声ストリーム＃１に含まれる音声フレームを再生すればよいことになる。

また、ＶＯＢＵ毎にＲＤＩパック内のメーカ独自データ領域の中に再生タイミングのシフト量を記録してもよい。

なお、ＰＣに接続された光ディスクドライブを介してＰＣの再生アプリケーションソフトが記録済みの動画ファイルを再生する場合は、音声ストリーム＃０の方が再生される。すなわち、動画ファイルを一般的なＭＰＥＧファイルとして再生される場合には音声ストリーム＃０が使われる。

各ＶＯＢＵ内に対応する全ての音声のデータが含まれない場合であっても、音声ストリーム＃０に関して生じていた分離格納データのデータ量は相当程度小さくすることができるので、プレイリストに基づく再生において、音声のほぼシームレスな再生を実現できる。

なお、音声ストリーム＃１の記録内容に関する情報を別途記録してもよい。例えば、音声ストリーム＃１内に音声ストリーム＃０の複製データが格納されていることを示すフラグを動画ストリームファイル“ＶＲ＿ＭＯＶＩＥ．ＶＲＯ”に対する管理情報ファイル内に記録してもよい。このフラグは少なくともＶＯＢ単位で記録するのが望ましい。また、動画ストリームＶＯＢ内、もしくは音声ストリーム＃１内等に記録してもよい。このフラグにより、音声ストリーム＃１内に音声ストリーム＃０とは別の音声が格納されているのか、音声ストリーム＃０のコピーが格納されているのかを区別可能になる。

（実施形態３）
実施形態１では、分離格納データはビデオパック内のユーザデータ領域４２に格納されていた。

本実施形態では、データ処理装置３０は、ＶＲ規格ストリーム１０を規定するＭＰＥＧファイルとは別のファイルのデータとして分離格納データを記録する。

図１０は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。ＰＳ組立部１０４は、ＶＯＢＵ＃ｉの生成時に、そのＶＯＢＵに関連する分離格納データを特定すると、分離格納データをコピーした音声データ＃ｉを生成する。そして、ＰＳ組立部１０４は、その音声データとＶＲ規格ストリーム１０を構成する各ＶＯＢＵとを物理的に交互に記録する。各音声データおよび各ＶＯＢＵはそれぞれ、ひとつの音声ファイルおよびひとつのＭＰＥＧファイルとして記録される。ＰＳ組立部１０４は、音声データ＃ｉをＶＯＢＵ＃ｉの直後にインターリーブする。

一方、プレイリストに基づく再生時には、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているときであっても、プレイリスト再生制御部１６４はＶＯＢＵ＃ｉだけでなく後続の音声データ＃ｉまでを読み出し、その後、次に再生すべきＶＯＢＵ＃ｋのデータを読み出す。そして、ＰＳ分解部１１４において映像データと音声データとに分離した後、映像伸長部１１１および音声伸長部１１３は映像データおよび音声データをデコードして出力する。特に、音声伸長部１１３は、ＶＯＢＵ＃ｉ内に含まれていたオーディオパック内の音声データのデコードおよび再生した後、音声データファイルに含まれていた音声データ＃ｉをデコードし再生する。

再生対象のＶＯＢＵの次に分離格納データに関する音声データが格納されているので、その音声データを連続的に読み出すことは容易かつ迅速に実現できる。データ処理装置３０は再生時にその分離格納データをも読み出すことにより、ＶＯＢＵに含まれる映像に対応する音声のデータがすべて得られるため、音声が途切れることなく再生される。

なお、本実施形態では対応するＶＯＢＵの直後に分離格納データのコピーを記録したが、対応するＶＯＢＵの直前に記録してもよい。

（実施形態４）
実施形態３では、データ処理装置は、音声ストリームのうちの分離格納データのみに基づいてＭＰＥＧファイルとは別の音声ファイルを生成し記録していた。また、例えばＶＯＢＵ＃ｉに関連する音声データ＃ｉは、ＶＯＢＵ＃ｉの直後に記録されていた。

一方、本実施形態によるデータ処理装置は、音声ストリームのすべてのデータに対して、ＭＰＥＧファイルとは別の音声ファイルを生成し記録する。さらに、各ＶＯＢＵに関連する音声データは、そのＶＯＢＵの前に記録される。

図１１は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。ＰＳ組立部１０４は、ＶＯＢＵ＃ｉの生成時に、そのＶＯＢＵに含まれる映像データＶ（ｉ）に対応する音声データＡ₀（ｉ）を特定すると、音声データＡ₀（ｉ）を構成するデータをコピーした音声データ＃ｉを生成する。そして、ＰＳ組立部１０４は、その音声データとＶＲ規格ストリーム１０を構成する各ＶＯＢＵとを物理的に交互に記録する。各音声データおよび各ＶＯＢＵはそれぞれ、ひとつの音声ファイルおよびひとつのＭＰＥＧファイルとして記録される。ＰＳ組立部１０４は、音声データ＃ｉをＶＯＢＵ＃ｉの直前にインターリーブする。

一方、プレイリストに基づく再生時には、プレイリスト再生制御部１６４は、ＶＯＢＵ＃ｉの読み出しの前に音声データ＃ｉの読み出しを先に行うように指示する。すると、ＶＯＢＵ＃ｉの読み出しが終了する前に、音声データ＃ｉの読み出しが終了し、さらに、音声伸長部１１３によるデコードが終了するので、ＶＯＢＵ＃ｉの映像に同期して、すべての音声を再生できる。よって、後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているときであっても、音声のシームレスな再生を実現できる。

なお、本実施形態ではＶＯＢＵ＃ｉの前に音声データ＃ｉを記録するとして説明したが、実施形態３と同様に、ＶＯＢＵ＃ｉの後に音声データ＃ｉを記録してもよい。このときは、ＶＯＢＵ＃ｉの再生後、他のＶＯＢＵの読み出しを開始する前に、音声データ＃ｉを読み出す必要がある。

上述の実施形態３および４では、音声ファイル内のデータの構造には特に言及していないが、音声のエレメンタリーストリームであってもよいし、音声ストリームを含むＭＰＥＧ２プログラムストリームであってもよいし、音声ストリームを含むＭＰ４ストリームであってもよいし、その他のシステムストリームであってもよい。

（実施形態５）
実施形態１では、ＶＯＢＵ＃ｉに関連する分離格納データを、次のＶＯＢＵ＃（ｉ＋１）に格納するものとした。

一方、本実施形態では、ＶＯＢＵ＃ｉに関連する分離格納データをそのＶＯＢＵ＃ｉに別のストリームとして格納する。

図１２は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。ＰＳ組立部１０４は、ＶＯＢＵ＃ｉに関連する分離格納データＡをコピーして、ＶＯＢＵ＃ｉ内に分離格納データＡの部分専用のプライベートストリームとして多重化する。

ＶＲ規格ストリーム１０では、そのストリームに含まれる映像ストリームおよび音声ストリームを識別するために、ストリームＩＤが付されている。ストリームＩＤはＰＥＳパケットヘッダに格納されており、例えば映像ストリームのストリームＩＤは、例えば０ｘＥ０、音声ストリームのストリームＩＤは０ｘＣ０またはは０ｘＢＤである。０ｘＢＤはＭＰＥＧ−２システム規格でプライベートストリーム用に規定された値である。ＶＲ規格において音声ストリームに０ｘＢＤを使用する場合は、さらにＰＥＳパケットヘッダの直後の１バイトによりその音声ストリームの圧縮符号を識別する。本実施形態において新たに設けるプライベートストリームのストリームＩＤとして、０ｘＢＤが用いられる。

プレイリストに基づく再生時には、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているときであっても、音声ストリーム＃０に続けてプライベートストリームとして含まれている分離格納データＡを読み出して再生するので、音声を途切れなくすることが容易に実現可能になる。

なお、プライベートストリームに、分離格納データＡのみでなく音声ストリームの全体のデータをコピーして、ＶＯＢＵ＃ｉ内に分離格納データＡの部分専用のプライベートストリームとして多重化することもできる。図１３は、本実施形態の変形例によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。

ＰＳ組立部１０４は、ＶＯＢＵ＃ｉに含まれる映像に対応する音声データのコピーを、ＶＯＢＵ＃ｉ内の専用のプライベートストリーム１（ｓｔｒｅａｍ＿ＩＤ＝０ｘＢＤ）として記録する。このプライベートストリーム用のシステム・ターゲット・デコーダのバッファサイズは少なくとも音声データ２秒分を蓄積可能なサイズを有するとする。ここで「２秒」の意味は、ＶＯＢＵに含まれる映像の最大の再生時間（１秒）とシステム・ターゲット・デコーダの最大再生遅延時間（１秒）を加算した数値である。

プレイリストに基づく再生時には、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているときであっても、常にプライベートストリーム１に格納された音声データ＃０のコピーの音声データを再生すれば音声を途切れなくすることが容易に実現できる。

本実施形態のように、音声ストリームをコピーしたデータをプライベートストリームとして記録することにより、ＭＰＥＧファイルのＶＯＢＵ単位で編集する場合において、音声データを容易にシームレス再生することができる。その理由は、例えば、２つのＶＯＢＵを結合する編集処理を行ったときには、それらのＶＯＢＵに含まれるプライベートストリームも結合され、結合された分離格納データが得られるからである。

（実施形態６）
実施形態５の第１の例では、ＰＳ組立部１０４は、ＶＯＢＵ＃ｉに関連する分離格納データＡを、ＶＯＢＵ＃ｉ内のプライベートストリームとして格納した。

一方、本実施形態では、ＶＯＢＵ＃ｉに関連する分離格納データＡのコピーを、ＶＯＢＵ＃ｉの音声フレーム内に付加データとして記録する。

図１４は、本実施形態によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す。ＰＳ組立部１０４は、ＶＯＢＵ＃ｉの音声ストリーム＃０に関連する分離格納データＡを、ＶＯＢＵ＃ｉの音声フレーム内の付加データ(ＡＤ)領域内にコピーして格納する。

図１５は、音声圧縮部１０３が生成するＡＣ−３規格の音声フレームのデータ構造を示す。ＡＣ−３の音声フレームは、同期情報（ＳＩ）、ビットストリーム情報（ＢＳＩ）、音声ブロック（ＡＢｎからＡＢｎ＋５）および付属情報（ＡＤ）から構成される。

同期情報（ＳＩ）には、音声フレームのビットレートを示すレート情報が記録される。本実施形態では、音声フレームのビットレートは４４８ｋｂｐｓであるとしている（フレームサイズコードが４４８ｋｂｐｓを示す）。音声フレームは、同期情報（ＳＩ）に規定されたビットレートの情報に応じたデータ長（図１５に示す１７９２バイト）を有している。ただし、音声圧縮部１０３は、実際には同期情報、ビットストリーム情報、および音声ブロックの有効データを２５６ｋｂｐｓ以下のビットレートで記録し、付属情報領域は後から記録する分離格納データＡのために空けておく。

これにより、４４８ｋｂｐｓのデータレートに対応する１フレーム分のデータ長（１７９２バイト）と、２５６ｋｂｐｓのデータレートに対応する１フレーム分のデータ長（１０２４バイト）との差分、１９２ｋｂｐｓ分のデータ長（７６８バイト）の付属情報領域が確保されることになる。ＰＳ組立部１０４は、その付属情報領域内に図１４に示す分離格納データＡのコピーデータを格納する。分離格納データＡに対応する音声の平均ビットレートは、４４８ｋｂｐｓのデータと２５６ｋｂｐｓとの差分以下である、１９２ｋｂｐｓであるものとする。

以上のように当初から記録される音声ストリームの各音声フレーム内に空き領域を設け、その空き領域に分離格納データをコピーすることにより、ＶＯＢＵ内に格納されなかった音声データ（分離格納データ）を実質的に格納できる。

プレイリストに基づく再生時には、ＶＯＢＵのデータの読み出しが終わると、ＰＳ分解部１１４がデータストリームを解析することにより、音声伸長部１１３は従来のデータ構造では得ることができない分離格納データＡのコピーデータを得ることができる。これにより、通常では音声が途切れる映像の場面においても、映像に同期して音声がシームレスに再生できる。

同期情報（ＳＩ）において規定しているビットレートの半分のビットレートを実際のビットレートに充て、残り半分を分離格納データのビットレートに充ててもよい。例えば、ＡＣ−３の音声ストリームは４４８ｋｂｐｓで、実際のビットストリームが２２４ｋｂｐｓ、分離格納データのビットストリームも２２４ｋｂｐｓとしてもよい。音声フレームをこのように構成することにより、音声ストリーム＃０の音声データを全て付属情報領域へ格納することができる。なお、分離格納データのコピーである音声ストリームは、ＡＣ−３規格に準拠した音声フレームが連続した形態であってもよく、さらに、分離格納データＡの１個の音声フレームが、２個のＡＣ−３規格の音声フレームに亘って付属情報内に記録されてもよい。また、分離格納データのデータ構造は、音声のエレメンタリーストリームを含むＭＰＥＧ２プログラムストリームであってもよいし、その他のシステムストリームであってもよい。

なお、本実施形態では分離格納データのみが付属情報領域内に格納されるものとしたが、記録スペースを確保可能であれば音声ストリーム＃０を全て格納してもよい。

（実施形態７）
実施形態６では、分離格納データＡをＡＣ−３規格の音声フレームの付加情報（ＡＤ）領域へ格納した。本実施形態では、ＭＰＥＧ−１オーディオ規格の音声フレーム内の付加データ（ancillary_data）領域へ分離格納データＡを格納する。他の構成は実施形態６と同様である。

図１７は本実施形態におけるＭＰＥＧ−１オーディオ規格の音声フレームのデータ構造を示す。ＭＰＥＧ−１オーディオ規格の音声フレームは、ヘッダ、エラーチェック、音声データおよび付加データ(ancillary_data)を有しており、音声圧縮部１０３は、図１７に示すデータ構造を有する音声フレームを生成する。

ヘッダには音声フレームのビットレート、サンプリング周波数、およびレイヤを示す情報が記録される。本実施形態では、それぞれ３８４ｋｂｐｓ、４８ｋＨｚ、およびレイヤ２であるとしている。このとき、各音声フレームは、ヘッダに規定されたビットレートの情報に応じたデータ長を有している。ただし、音声圧縮部１０３は、実際にはヘッダ、エラーチェック、および音声データの合計が２５６ｋｂｐｓ相当以下となるように記録し、付加データ領域は後から記録する分離格納データＡのコピーのために空けておく。

これにより、３８４ｋｂｐｓのデータレートに対応する１フレーム分のデータ長（１１５２バイト）と、２５６ｋｂｐｓのデータレートに対応する１フレーム分のデータ長（７６８バイト）との差分、すなわち１２８ｋｂｐｓ分のデータ長（３８４バイト）の付加データ領域が確保されることになる。ＰＳ組立部１０４はこのデータ領域内に、図１４に示す分離格納データＡのコピーデータを格納する。分離格納データＡのコピーとして格納される音声のビットレートは平均１２８ｋｂｐｓ以下であるとする。

以上のように当初から記録される音声ストリームの各音声フレーム内に空き領域を設け、その空き領域に分離格納データをコピーすることにより、ＶＯＢＵ内に格納されなかった音声データ（分離格納データ）を実質的に格納できる。

プレイリストに基づく再生時には、ＶＯＢＵのデータの読み出しが終わると、ＰＳ分解部１１４がデータストリームを解析することにより、音声伸長部１１３は従来のデータ構造では得ることができない分離格納データＡのコピーデータを得ることができる。これにより、通常では音声が途切れる映像の場面においても、映像に同期して音声がシームレスに再生できる。

なお、本実施の形態では分理格納データのみが付属情報領域内に格納されるとしたが、記録スペースを確保可能であれば音声ストリーム＃０を全て格納してもよい。

なお、分離格納データのコピーである音声ストリームは、ＭＰＥＧ−１オーディオ規格に準拠した音声フレームが連続した形態であってもよく、さらに、分離格納データＡの１個の音声フレームが、２個のＭＰＥＧ−１オーディオ規格の音声フレーム内の付加データ領域に亘って記録されてもよい。また、分離格納データのデータ構造は、音声のエレメンタリーストリームを含むＭＰＥＧ２プログラムストリームであってもよいし、その他のシステムストリームであってもよい。

これまで説明した実施形態では、分離格納データのコピーまたは音声ストリーム＃０全体のコピーデータを、どのような態様で記録し、かつ再生するかを問題としていた。しかし、記録時には特段の処理を行わず、再生時に分離格納データ自身を直接読み出すようデータ処理装置３０を動作させてもよい。具体的には、プレイリストがＶＯＢＵ＃ｉの再生後にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））の再生を指定しているとき、プレイリスト再生制御部１６４は、ＶＯＢＵ＃ｉのデータを読み出した後、必ず分離格納データを読み出し、その後、ＶＯＢＵ＃ｋの読み出しを開始すればよい。これによれば、分離格納データの冗長な記録が不要になるとともに、音声をシームレスに再生することも可能になる。ただし、ＭＰＥＧ２規格上は最長１秒分のプログラムストリームを読み出す必要があるため、映像のシームレス再生が困難になるおそれがある。したがって、この場合プログラムストリーム生成時に、できるだけ分離格納データが少なくなるよう生成にすることが望ましい。

分離格納データが存在しないように圧縮符号化してＶＯＢＵを構成するためには、例えば映像伸長部１１１は各ＶＯＢＵの映像フレームサイズが「映像のビットレート／１秒間のフレーム数」以下になるように各フレームを生成すればよい。これにより、音声に関して分離格納データが生成されることはなくなる。その理由は、１フレーム期間では毎回１フレーム分の音声データを伝送できるからである。なお、Ｉ（Ｉｎｔｒａ）フレームのデータサイズが制限されて画質が低下するおそれが生じる点に留意が必要である。

または、分離格納データが所定のフレーム数（例えば４フレーム）以内の音声データを含むという制限をつけて、音声伸長部１１３が音声データを圧縮符号化してもよい。

本明細書では、プログラムストリームであるＶＲ規格ストリームを例にしたが、ＭＰＥＧ１のシステムストリームまたはＭＰＥＧ２のトランスポートストリームを利用することもできる。なお、トランスポートストリームは、トランスポートストリームを用いたデジタルテレビ放送規格に準拠した形式であってもよい。また、さらにトランスポートストリームを用いたデジタルデータ放送に準拠した形式であってもよい。トランスポートストリームの利用においては、トランスポートストリームパケットが利用される。なお、「パック」とはパケットの１つの例示的な形態として知られている。

また、プログラムストリームであるＶＲ規格ストリームを例にしたが、ＩＳＯ／ＩＥＣ １４４９６−１２で規定されるＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔをベースにしたデータストリームであってもよい。

また、記録媒体は相変化光ディスクであるとしたが、例えばＢｌｕ−ｒａｙディスク、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＭＯ、ＣＤ−Ｒ、ＣＤ−ＲＷ等の光ディスクや、ハードディスク等の他のディスク形状の記録媒体も利用できる。また、フラッシュメモリ等の半導体メモリであってもよい。これに関連して、読み書きヘッドは光ディスク用のピックアップとしたが、例えば、記録媒体がＭＯの場合にはピックアップ及び磁気ヘッドとなり、またハードディスクの場合は磁気ヘッドとなる。

なお、本明細書では、プレイリスト再生時に音声が途切れなく再生できる技術を説明した。しかし、厳密には音声１フレーム分以下の間だけ音声データが存在しないケースがある。これはＶＯＢＵ＃ｉの次にＶＯＢＵ＃ｋ（ｋ≠（ｉ＋１））を読み出す際に、映像フレーム周期と音声のフレーム周期が若干異なり、完全には同期できないからである。この１フレーム以下の音声データの欠落を防ぐには、分離格納データに加えて、このデータに続く１音声フレームのデータを余分に含めればよい（実施形態１、３、４および５）。そして、これにより余分な音声データを含むことになるが、余分な部分は再生しないようにすればよい。

なお、実施の形態１から５までは音声の圧縮方式として、ＭＰＥＧ−１オーディオもしくはＭＰＥＧ−２オーディオ、ＡＡＣ、ＡＣ−３等を一般に使用することができる。なお、ＡＣ−３の場合は、図１６（ａ）に示すように音声データはＶＯＢＵ内に格納される際にプライベートストリーム１（ｓｔｒｅａｍ＿ＩＤ＝０ｘＢＤ）として格納される場合がある。このときは、例えば実施形態５における、分離格納データを格納するプライベートストリームのような、別のプライベートストリーム１を使用する他のストリームと区別する必要がある。そこでＰＳ組立部１０４は、サブストリームＩＤ（０ｘ８０）をＰＥＳパケットヘッダの次に１バイトだけに設けて識別可能にする。図１６（ａ）は、サブストリームＩＤ（０ｘ８０）を有し、ＡＣ−３データを含むオーディオパックのデータ構造を示す。

実施形態５において説明したプライベートストリームとＡＣ−３用のプライベートストリームを区別して識別するために、異なる数値のサブストリームＩＤを用いてもよい。図１６（ｂ）は、サブストリームＩＤ（０ｘＦＦ）を有し、データを含むオーディオパックのデータ構造を示す。この数値は、ＤＶＤ−Ｖｉｄｅｏ規格において規定されている値（０ｘＦＦ）である。

なお、実施の形態５から７までにおいて分離格納データはエレメンタリーストリームのみか、または、ＰＥＳパケットヘッダまでがコピーされていてもよい。上述の説明では、２つのＶＯＢＵの境界における音声フレームがいずれのＶＯＢＵと同期して再生されるべきかについては言及していないが、例えば映像フレームのＰＴＳ以降の音声フレームが同じＶＯＢＵに対応すると考えればよい。なお、本実施形態では、ビデオデータとしてＭＰＥＧ−２ビデオストリームを挙げて説明したが、ＭＰＥＧ−４ビデオストリームやＭＰＥＧ−４ＡＶＣビデオストリーム等の他の圧縮符号化形式を用いることもできる。

本発明によれば、同一のデータ単位（例えばＶＯＢＵ）内に映像に対応する音声の全てのデータが含まれない場合であっても、少なくとも含まれない音声データをコピーしたコピーデータを、例えばそのデータ単位へのアクセスの際に容易にアクセスできる位置（例えば、次のＶＯＢＵの先頭部分、そのＶＯＢＵの直前または直後）に記録する記録装置を得ることができる。

これにより、特にプレイリストに基づいて映像および音声を同期して再生する場合には、映像データを含むデータ単位へのアクセスとともに、同期して再生されるべき全ての音声データが得られる。よって、シーンをまたぐ際の音声の途切れを大幅に低減でき、ユーザの視聴環境の向上に供することができる再生装置を得ることができる。

ＶＲ規格に準拠したＭＰＥＧ２プログラムストリーム１０のデータ構造を示す図である。 ビデオパック内の映像データによって構成される映像ストリームと、オーディオパック内の音声データによって構成される音声ストリームとの関係を示す図である。 データ処理装置３０の機能ブロックの構成を示す図である。 ＶＲ規格ストリーム１０のデータ構造を示す図である。 ＶＲ規格ストリーム１０と光ディスク１３１の記録領域との関係を示す図である。 記録されたＶＲ規格ストリーム１０および管理情報が光ディスク１３１のファイルシステムにおいて管理されている状態を示す図である。 実施形態１によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。 データ処理装置３０の記録処理の手順を示すフローチャートである。 実施形態２によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。 実施形態３によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。 実施形態４によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。 実施形態５によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。 実施形態５の変形例によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。 実施形態６によるＶＯＢＵと、映像ストリームおよび音声ストリームとの関係を示す図である。 ＡＣ−３規格の音声フレームのデータ構造および付加情報の位置およびサイズを示す図である。 （ａ）および（ｂ）は、音声データの種類に応じたサブストリームＩＤを有するオーディオパックのデータ構造を示す図である。 ＭＰＥＧ−１オーディオ規格の音声フレームのデータ構造を示す。

Claims (18)

1. 映像信号および音声信号が入力される信号入力部と、
   前記映像信号および前記音声信号を圧縮符号化して、映像データおよび音声データを生成する圧縮部と、
   前記映像データおよび前記音声データを分割してパケットを複数生成し、前記映像データに関する映像パケットおよび前記音声データに関する音声パケットを多重化したデータ単位を複数生成し、複数の前記データ単位を含むデータストリームを生成するストリーム組立部と、
   前記データストリームを記録媒体に記録する記録部と
   を有し、前記ストリーム組立部は、前記データ単位に含める映像パケットおよび音声パケットを少なくとも映像の再生時間に基づいて決定し、所定のデータ単位に格納された映像データに対応する音声データの全部が前記所定のデータ単位に含まれない場合には、前記音声データのうち、少なくとも含まれない部分である部分音声データをコピーしたコピーデータを前記データストリーム内に含める、データ処理装置。
2. 前記ストリーム組立部は、前記データ単位に対応する前記コピーデータを、後続のデータ単位の少なくとも最初に配置された映像パケット内に格納する、請求項１に記載のデータ処理装置。
3. 前記ストリーム組立部は、前記データ単位内に、対応する前記コピーデータを格納する、請求項１に記載のデータ処理装置。
4. 前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用の音声ストリーム内に格納する、請求項１に記載のデータ処理装置。
5. 前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用のプライベートデータストリーム内に格納する、請求項１に記載のデータ処理装置。
6. 前記ストリーム組立部は、前記映像データに同期する前記音声データのすべてをコピーしたコピーデータを、前記所定のデータ単位に含める、請求項１に記載のデータ処理装置。
7. 前記ストリーム組立部は、前記コピーデータを、前記データストリーム内の専用のプライベートデータストリーム内に格納する、請求項６に記載のデータ処理装置。
8. 前記ストリーム組立部は、前記映像データに同期する前記音声データのすべてをコピーしたコピーデータを、前記データストリーム内の専用の音声ストリーム内に格納する、請求項１に記載のデータ処理装置。
9. 前記ストリーム組立部は、前記映像データに同期する前記音声データのすべてをコピーしたコピーデータを、前記データストリーム内の専用の音声ストリーム内に格納し、さらに前記コピーデータの転送タイミングを示す転送タイミング情報として、前記コピー元のデータ単位内の転送タイミングよりも所定の時間だけ早くシフトした転送タイミングを規定して記録する、請求項１に記載のデータ処理装置。
10. 前記ストリーム組立部は、前記複数のデータ単位を含む第１ファイルおよび前記コピーデータを含む第２ファイルとして、前記データストリームを生成し、
    前記記録部は、前記データ単位とコピーデータとを前記記録媒体に連続的に記録する、請求項１に記載のデータ処理装置。
11. 前記ストリーム組立部は、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータによって前記第２ファイルを生成する、請求項１０に記載のデータ処理装置。
12. 前記音声データは第１レートに応じたデータ長を有しており、
    前記圧縮部は前記第１レートよりも小さい第２のレートにより前記音声信号を圧縮符号化して前記音声データに格納し、
    前記ストリーム組立部は、前記第２レートに対して規定される第２データ長と、前記第１レートに対して規定される前記音声データの第１データ長との差分に対応する空き領域に、前記コピーデータを格納する、請求項１に記載のデータ処理装置。
13. 映像信号および音声信号を受け取るステップと、
    前記映像信号および前記音声信号を圧縮符号化して、映像データおよび音声データを生成するステップと、
    前記映像データおよび前記音声データを分割してパケットを複数生成するステップし、前記映像データに関する映像パケットおよび前記音声データに関する音声パケットを多重化したデータ単位を複数生成し、複数の前記データ単位を含むデータストリームを生成するステップと、
    前記データストリームを記録媒体に記録するステップとを包含し、
    前記データストリームを生成するステップは、前記データ単位に含める映像パケットおよび音声パケットを少なくとも映像の再生時間に基づいて決定し、所定のデータ単位に格納された映像データに対応する音声データの全部が前記所定のデータ単位に含まれない場合には、前記音声データのうち、少なくとも含まれない部分である部分音声データをコピーしたコピーデータを前記データストリーム内に含める、データ処理方法。
14. 前記データストリームを生成するステップは、前記データ単位に対応する前記コピーデータを、後続のデータ単位の最初に配置された映像パケット内に格納する、請求項１３に記載のデータ処理方法。
15. 前記データストリームを生成するステップは、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータを、前記所定のデータ単位に含める、請求項１３に記載のデータ処理方法。
16. 前記データストリームを生成するステップは、前記複数のデータ単位を含む第１ファイルおよび前記コピーデータを含む第２ファイルとして、前記データストリームを生成し、
    前記記録するステップは、前記データ単位と前記コピーデータとを前記記録媒体に連続的に記録する、請求項１３に記載のデータ処理方法。
17. 前記データストリームを生成するステップは、前記映像データに対応する前記音声データのすべてをコピーしたコピーデータによって前記第２ファイルを生成する、請求項１６に記載のデータ処理方法。
18. 前記音声データは第１レートに応じたデータ長を有しており、
    前記音声データを生成するステップは、第１レートで前記音声信号を圧縮符号化して前記音声データを生成し、
    前記前記データストリームを生成するステップは、前記所定のデータ単位に含まれる前記音声データに対して、前記レート情報として前記第１レートよりも早い第２レートの値を設定して前記音声データを生成し、前記第２レートに対して規定される第２データ長と、前記第１レートに対して規定される前記音声データの第１データ長との差分に対応する空き領域に、前記コピーデータを格納する、請求項１３に記載のデータ処理方法。

Images