JP2004104728A - データ編集可能なビデオカメラ、データ編集、記録プログラム、データ記録装置および記録媒体 - Google Patents

Abstract

【課題】分割された２つの多重化ストリームをシームレスに接続するには、ビデオとオーディオの再生時刻のギャップを調整する必要があるが、既存の方法ではエレメンタリーストリームの抽出や、再エンコード、データの再配置などが必要で、処理量が非常に大きく、ビデオカメラに実装できないという問題が生じていた。
【解決手段】接続する後側のストリームの先頭において、ビデオと比較して再生開始時刻が先行するオーディオのパケットをヌルパケットで置換し、前側のストリームの末尾において、無音オーディオパケットを追加することによって、両方のストリームにおけるビデオとオーディオの再生時刻ギャップが解消され、シームレス接続可能な多重化ストリームを作成できる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明はストリームを記録するデータ記録媒体、データ記録装置、およびストリームの記録方法を示したプログラムに関し、特にＭＰＥＧ方式などのマルチメディアデータのデータ記録媒体、データ記録装置、およびストリームの記録方法に関するプログラムに関する。
【０００２】
【従来の技術】
大容量の映像、音声情報をデジタルデータ化して記録、伝達する手法として、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式などの符号化方式が策定され、ＩＳＯ／ＩＥＣ　１１１７２規格やＩＳＯ／ＩＥＣ　１３８１８規格として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やＤＶＤなどの符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
【０００３】
またデジタルビデオカメラの発達や、ＤＶＤ−ＲＡＭ，ＤＶＤ−ＲＷなどの大容量の記録媒体の登場により、デジタル記録された映像や音声などの処理に対する要求が高まってきており、こうしたデータの高速な検索、解析、編集に対する研究開発もさかんに行われている。
【０００４】
ＩＳＯ／ＩＥＣ　１３８１８規格（以下、ＭＰＥＧ−２規格）はＩＳＯ／ＩＥＣ　１３８１８−１規格（以下、システム規格）、ＩＳＯ／ＩＥＣ　１３８１８−２規格（以下、ビデオ規格）、ＩＳＯ／ＩＥＣ　１３８１８−３規格（以下、オーディオ規格）などからなり、システム規格によりビデオ規格、オーディオ規格のストリームが多重化される構成となっている。ストリームとは、符号化された映像または音声の連続するデータを言う。ビデオのデータはピクチャ単位で符号化されるが、編集等を行う場合には動き補償予測の単位である複数のピクチャからなるグループオブピクチャ（以下、ＧＯＰ）を単位として扱われる。オーディオはオーディオアクセスユニット（以下、ＡＡＵ）を単位として符号化される。このように符号化されたデータをエレメンタリーストリームと呼ぶ。一般には、ビデオとオーディオのエレメンタリーストリームはそれぞれ独立してパケット化され多重化される。多重化には例えば、トランスポートストリーム（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ　：　ＴＳ）などが用いられる。多重化されたデータストリームを編集する場合には、あるＧＯＰの先頭を含むパケットから、次のＧＯＰの先頭を含むパケットまでの連続するパケットのユニット（以下、ＶＯＢＵ）を単位として行われる。
【０００５】
ＭＰＥＧ−２規格では、データストリームを伝送、記録のために多重化する時、ビデオ規格、オーディオ規格に準拠したエレメンタリーストリームをそれぞれ適当な長さに分割し、ヘッダを付加することによってパケット化し、このパケット単位で多重化を行うことが決められている。
【０００６】
その一方で、多重化ストリームをデコード側で分離し再生する場合には、ビデオとオーディオはそれぞれ別々のバッファに蓄えられるため、ビデオパケットとオーディオパケットはそれぞれのバッファに適したタイミングで多重化されている。ビデオとオーディオを比較すると、ビデオの方が同じ再生時間に対応するデータの量が多いため、データの復号により大きなバッファを必要とし、このため多重化ストリームではビデオパケットが先に多重化され、オーディオパケットは遅延して多重化される。図２にこの多重化ストリームを編集する様子を示す。編集点（２０１）、すなわちＶＯＢＵ境界でストリームを分割すると、前側ストリーム（２０２）では、オーディオの再生終了時刻がビデオの再生終了時刻よりも早くなり、後側ストリーム（２０３）では、ビデオの再生開始時刻がオーディオの再生開始時刻よりも早くなる。これによって再生時間のギャップ（２０４）が生じる。
【０００７】
ここで上記のようにして作成した前側ストリームと、別の箇所で作成した後側ストリームとを結合し、映像と音声が両方とも停止することなく滑らかに連続的に再生できるように編集することを考える。前記のように再生することをシームレス再生と呼び、シームレス再生できるように編集することをシームレス接続と呼ぶ。ＭＰＥＧ−２規格では、シームレス接続を行うためには、前側のストリームの末尾におけるビデオとオーディオの再生終了時刻と、後側のストリームの先頭におけるビデオとオーディオの再生開始時刻が同一（少なくとも１ＡＡＵの再生時間以内）にならなければならないという条件がある。しかし、上記のように作成されたストリームでは、再生時刻のギャップのために、このままではシームレス接続を行うことはできない。
【０００８】
従来の方式では、前側ストリームと後側ストリームについてパケットのヘッダを取り除いてエレメンタリーストリームを取りだし、映像・音声をデコードした後に調整を行って再エンコードし、再度パケット化して記録、あるいは別のストリームとして記録することにより、連続的な再生を保証しシームレス接続を行っていた。
また、特開平１１−１１２９４４では、本局から伝送された放送ストリームに、中継局で保持する放送ストリームを結合する際のオーディオギャップの調整方法について開示している。この方法では、まず受信したトランスポートストリームから、ビデオとオーディオのエレメンタリーストリームを分離し、中継局で保持するオーディオの再生時刻と、受信したオーディオの再生時刻を比較し、オーディオのギャップが生じる場合には、無音オーディオアクセスユニットによって調節を行ったのち、パケット化し、多重化してトランスポートストリームを作成する。しかし、この方法は、エレメンタリーストリームに対して処理を行うものであり、また、伝送されたストリームに対して他のストリームを結合し、新規に記録、伝送する処理を行うものである。
また特開平９−３７２０４にも、エレメンタリーストリームでのデータ編集方法を開示している。
しかしこれら従来の方法は、パケットからエレメンタリーストリームを取り出したり、デコード・再エンコードをする必要があり、また、媒体に記録されたデータに対して処理を行う場合にはデータファイルを再配置する必要があるなど、処理量が非常に大きい方法であった。このために、既存の方式ではビデオカメラなどの小型の装置でシームレス接続処理を行うことが非常に困難であった。
【０００９】
【発明が解決しようとする課題】
本発明の目的は、多重化ストリームからパケットのヘッダを取り除いてエレメンタリーストリームを取り出すことなく、またエレメンタリーストリームのデコード・エンコードやデータファイルの再配置を行わずに、簡便な方法でストリームのビデオとオーディオの再生時刻のギャップを調整し、シームレス接続処理を可能にする手法を提供し、この手法に基づいて作成された多重化ストリームと媒体、及びこれを作成するデータパケット化方式を示したプログラム、データ記録装置、及びビデオカメラを提供することにある。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、
ビデオパケットとオーディオパケットが多重化されたデータストリームを入力する入力部と、上記データストリームを分割して、第一および第二のストリームを取得する分割手段と、上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻を揃える手段と、上記第二のデータストリームに多重化されたビデオパケットとオーディオパケットの再生開始時刻を揃える手段と、上記再生終了時刻を揃えたデータストリームの終端と、上記再生開始時刻を揃えたデータストリームの始端を接続して新たなデータストリームを作成する手段と、上記新たなデータストリームを記録媒体に記録する手段を有する装置を用いる。
【００１１】
また、上記第一および第二のデータストリームを接続する手段および上記新たなデータストリームを記録する手段にかえて、上記第一および第二のデータストリームに関して変更された部分に対してのみ上記記録媒体上のデータストリームを書き換える装置を用いる。
【００１２】
【発明の実施の形態】
以下、本発明の実施例を図示により説明する。
【００１３】
図１に本発明によって作成される多重化ストリームの一実施例を示し、その特徴について述べる。
【００１４】
同図を用いて本発明によってデータ記録媒体（１０１）に記録されるデータ列（１０２）の特徴について説明する。このデータ列は連続するパケット（１０４，１０５）から構成される多重化ストリームである。ストリーム（１０３）とストリーム（１０４）は、それぞれ別々に記録されたストリームから編集によって分割されて作成され、その後、後述の簡易シームレス接続処理が行われたストリームである。多重化ストリームはビデオの格納されたビデオパケット（１０５）とオーディオの格納されたオーディオパケット（１０６）からなるものとする。
【００１５】
後側のストリーム（１０４）は先頭部分について、シームレス接続処理前にはオーディオパケットであった箇所がデコードする際にオーディオとして認識されないパケットで置換されている。このパケットは、例えばＭＰＥＧ−２規格に定められる無効なパケットを示すヌルＴＳパケットにソースパケットのヘッダを付加したヌルパケットでもよい。例えば、システム情報のパケット等を用いてもよい。これにより、後側のストリームにおいて再生開始時刻がビデオに比べて早いために余分となっていたオーディオ（１１０）が削られ、ビデオとオーディオの再生開始時刻が同一になるように調整されている。
【００１６】
前側のストリーム（１０３）は末尾に無音オーディオパケット（１０７）からなるパケット列、または前記後側のストリーム（１０４）において置換されたオーディオパケットからなるパケット列（１０７）が付加されている。付加されるパケットは無音オーディオパケットが望ましいが、オーディオパケットであれば本発明のシームレス接続は実現可能である。これにより、前側のストリームにおいて再生終了時刻がビデオに比べて早いため、オーディオが足りないためにギャップとなっていた部分（１０９）が無音オーディオ、または置換されたオーディオによって埋まり、ビデオとオーディオの再生終了時刻が同一になるように調整されている。後側のストリームにおいて置換されたオーディオパケットの数が少ないために、前側のストリームのオーディオギャップを埋めきれない場合には、無音オーディオパケットを足すことによって調整してもよい。
【００１７】
以上のように、本発明によって処理された多重化ストリームはパケットを分解することなく処理が行われ、パケットの追加および置換によってのみ処理されるので非常に簡単であり、記録媒体上の変更も最小限で済ませることができる。またこのようにしてシームレス接続された多重化ストリームは、ビデオ及びオーディオのデータが途切れることがなく常に連続してデコーダに到着するため、編集点においても映像・音声の再生が停止せず、滑らかに再生される。
【００１８】
図４に本発明にて用いるパケットの例を示し、その特徴について述べる。
【００１９】
本発明では、再生時刻のデータが格納されているパケットを用いる。用いるパケットは、一般的にヘッダとペイロードからなる。ヘッダにはペイロードに格納されるデータの特徴を示すフラグが格納される。ここにはパケットの到着時刻やデータの再生時刻が記録されていてもよい。ペイロードには、ビデオやオーディオのエレメンタリーストリームが格納される。ここにはエレメンタリーストリームを含むパケットを格納してもよい。例えば、ソースパケット（４０１）や、ＭＰＥＧ−２規格にて定められるＴＳパケット（４０２）、パック（４０３）等が挙げられる。
【００２０】
ソースパケット（４０１）は、パケットヘッダ（４０４）とＴＳパケット（４０５）からなる。パケットヘッダには、ＴＳパケット（４０５）をデコーダやネットワークに対して伝送するタイミングを指定する時刻情報や、複製する時に用いるコピーライトの情報等が格納されている。ＴＳパケット（４０５）については後述する。
【００２１】
ＴＳパケット（４０２，４０５）はＭＰＥＧ−２に定められるトランスポートストリームを伝送するためのパケットである。ＴＳパケットはヘッダ（４０６）とペイロード（４０７）からなる。ヘッダ（４０６）には、パケットの種類を表すための情報や、同期を取るための情報、優先度等を示す各種のフラグ等が格納されている。パケットの処理タイミングを示すＰＣＲも記録される。ペイロード（４０７）にはビデオデータやオーディオデータがブロックに分割されて格納される。一般的には、圧縮符号化されたビデオやオーディオのエレメンタリーストリームがＰＥＳパケットに分割され、さらにこれが一定の長さのブロックに分割されてペイロードの部分に格納される。
【００２２】
パック（４０３）はＭＰＥＧ−２に定められるプログラムストリームを伝送するためのパケットである。パック（４０３）はパックヘッダ（４０８）とペイロード（４０９）からなる。パックヘッダにはパックの処理タイミングを示すＳＣＲやパックの属性を示すフラグ等が格納されている。ペイロード（４０９）にはビデオデータやオーディオデータが格納される。一般的にはビデオやオーディオのエレメンタリーストリームがＰＥＳパケットに分割されてペイロードに格納される。
図５に本発明にて用いるストリームについて、エレメンタリーストリーム（ＥＳ）、パケタイズドエレメンタリーストリーム（ＰＥＳ）、トランスポートストリーム（ＴＳ）の関係を示し、その特徴について述べる。
【００２３】
ＥＳはビデオのＥＳまたはオーディオのＥＳなどのように１種類のデータからなるストリームである。具体的には、連続するアクセスユニット（５０１）からなる。アクセスユニットはＥＳの一定時間の再生単位であり、ビデオではピクチャ、オーディオではＡＡＵに対応する。各アクセスユニットは一定の再生時間を持つ。ビデオの場合には、シーケンスヘッダ等のストリーム全体の情報を示すデータが付加される。
【００２４】
ＰＥＳはＥＳを適当な長さに分割し、ＰＥＳヘッダ（５０２）を付加して連続するＰＥＳパケット（５０３）として記録したストリームである。ＰＥＳヘッダには、ＰＥＳパケットに含まれるアクセスユニットの再生時刻であるタイムスタンプが記録されている。タイムスタンプには、再生時刻を示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）やデコード時刻を示すＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）がある。衛星放送等で用いられるストリームの場合には、アクセスユニット毎にＰＥＳヘッダを付加してＰＥＳパケットを作成し、全てのＰＥＳヘッダにタイムスタンプが付加される。
【００２５】
ＴＳは、ＰＥＳを適当な長さに分割したデータにＴＳパケットヘッダ（５０５）を付加し、連続するＴＳパケットとして記録したストリームである。ＴＳパケット（５０４）はＴＳパケットヘッダ（５０５）とペイロード（５０６）からなる。一般にＴＳパケットは１８８バイトの固定長である。ＴＳパケットヘッダには、ＰＣＲ、ＰＩＤ　（Ｐａｃｋｅｔ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、そのパケット内にアクセスユニットの先頭が存在するかどうかを示すフラグ、そのパケット内にＰＥＳパケットの先頭が存在するかどうかを示すフラグ等が格納されている。ペイロードにはＰＥＳが分割されて記録される。
一般にＴＳは複数のＥＳから得られたパケットによって構成されている。例えば、第一のＥＳを含むパケット（５０４）と第二のＥＳを含むＴＳパケット（５０５）が多重化されて一つのＴＳとなる。ＴＳパケットにさらにソースパケットヘッダを付加して、連続するソースパケットのストリームを記録してもよい。
以下、ストリームとしてソースパケットストリームを用いた例について説明する。
図３に本発明におけるシームレス処理方法の一実施例を示し、その特徴について述べる。シームレス処理は、２つのストリームを滑らかに再生できるように調整する処理である。本発明では、再生時刻の情報を含む複数種類のパケットを多重化した２つのストリームをシームレスに接続する。これは例えば、草野球の音声付き映像をビデオカメラにて撮影した時、ある打者のシーンだけを取り出して、シームレスに再生されるダイジェストクリップを作成したい時などを想定できる。
【００２６】
ここでは、別々に記録した２つのストリームを、それぞれＶＯＢＵ境界にて分割・編集した場合を説明する。編集されたストリーム（３０１）と編集されたストリーム（３０２）は、それぞれ別々の多重化ストリームから前記の説明のようにＶＯＢＵ単位でのストリーム分割によって作成されたストリームであって、前記の説明のように再生時に必要なバッファの大きさの違いから、前側のストリーム（３０１）は、再生終了時刻がビデオよりオーディオの方が早く、後側のストリーム（３０２）は、再生開始時刻がビデオよりオーディオの方が早くなっているとする。また、これらは記録媒体上の別々の箇所にそれぞれファイルとして記録されているとする。これらのストリームを滑らかに再生できるようにシームレス接続を行うとする。ここでいうシームレス接続はビデオとオーディオが停止せずに滑らかに再生される状態を言い、必ずしもデータがひと続きになっている必要はない。ここでは、シームレス接続を行うためには、前側のストリーム（３０１）におけるビデオとオーディオの再生終了時刻の差分が１ＡＡＵの再生時間範囲以内であり、後側のストリーム（３０２）におけるビデオとオーディオの再生開始時刻の差分が１ＡＡＵの再生時間範囲以内でなければならないとする。
【００２７】
そこでまず、後側のストリーム（３０２）における再生開始時刻の差分を調整する。ビデオとオーディオの再生開始時刻の差分を計算し、これに該当するＡＡＵの含まれるオーディオパケットを特定する。そして該当するオーディオパケットをヌルパケット（３０４）で置換する。これによりビデオより先に再生されるオーディオ（３０６）が削られ、再生開始時刻の差を１ＡＡＵの再生時間未満にすることができる。一般的には、一つのオーディオパケットに複数のＡＡＵが含まれることはないので、パケットの置換のみで処理が可能である。この処理はファイル全体のサイズを変更しないので、ファイル全体を別の場所に移動したりする必要がない。パケットの置換を行う際に、取り除かれるオーディオパケットをバッファに保持しておき、次の前側のストリームにおける再生終了時刻の調整に用いてもよい。
【００２８】
次に、前側のストリーム（３０１）における再生終了時刻の差分を調整する。ビデオとオーディオの再生終了時刻の差分を計算し、この差分を埋めるのに必要な無音オーディオパケットの数を決定する。そして無音オーディオパケット（３０３）をストリームの末尾に追加する。これによりビデオより先に終了するオーディオに対して無音のオーディオ（３０５）が追加され、再生終了時刻の差を１ＡＡＵの再生時間未満にすることができる。この処理は既存のストリームの末尾にパケットを追加する処理だけなので、追加するパケットのスペースさえあればファイル全体を移動したりする必要がない。追加するパケットは無音オーディオパケットでもよいし、前述の後側ストリーム（３０２）の処理によってバッファに蓄えられたオーディオパケットでもよい。
【００２９】
これらの処理は、ストリーム（３０１）とストリーム（３０２）が分割による編集によって作成された時に行われてもよいし、これらのストリームをシームレス接続処理する際に行ってもよい。これらの処理により、再生開始時刻、再生終了時刻の調整が行われ、シームレス接続処理が可能となる。
【００３０】
図６に本発明におけるシームレス処理フローの一例を示し、その特徴について述べる。
【００３１】
まずステップ（６０１）において、前側ストリームの編集処理を行う。この処理で、多重化ストリームを分割し、編集点以降のストリームを削除することで、ビデオよりもオーディオの再生終了時刻が早い前側ストリームを作成する。例えば、ＶＯＢＵ境界で分割すると、前述のように、前側ストリームではオーディオの再生終了時刻がビデオよりも早くなる。次にステップ（６０３）に進む。
【００３２】
一方、ステップ（６０２）では、後側ストリームの編集処理を行う。この処理で、多重化ストリームを分割し、編集点以前のストリームを削除することで、ビデオよりもオーディオの再生開始時刻が早い後側ストリームを作成する。例えば、ＶＯＢＵ境界で分割すると、前述のように、後側ストリームではオーディオの再生開始時刻がビデオよりも早くなる。次にステップ（６０４）に進む。
【００３３】
ステップ（６０３）では、前側ストリームの時間計算処理を行う。前側ストリームの末尾における、ビデオとオーディオの再生終了時刻の差分を計算し、この差分を埋めるのに必要なパケットの数を計算する。このパケットは無音オーディオパケットでもよい。本ステップの詳細については後述する。次にステップ（６０５）に進む。
【００３４】
ステップ（６０４）では、後側ストリームの時間計算処理を行う。後側ストリームの先頭における、ビデオとオーディオの再生開始時刻の差分を計算し、この差分を埋めるために置換されるオーディオパケットの数、位置を計算する。本ステップの詳細については後述する。次にステップ（６０５）に進む。
【００３５】
ステップ（６０１）と（６０３）および、（６０２）と（６０４）は、同時並列的に行われてもよいし、どちらかが先に行われて続けて他方が行われてもよい。ステップ（６０３）と（６０４）は、ステップ（６０１）と（６０２）が行われてからすぐに行われてもよいし、ステップ（６０１）と（６０２）に対応する処理が行われたストリームがすでに存在する場合には、これらに対してステップ（６０３）と（６０４）の処理を行ってもよい。
【００３６】
ステップ（６０５）では、オーディオパケットの置換処理および追加処理を行う。ステップ（６０４）において計算された情報に基づき、後側ストリームの先頭付近にあるオーディオパケットを置換し、ステップ（６０３）において計算された情報に基づき、前側ストリームにパケットを追加する。置換するパケットはヌルパケットであってもよく、追加するパケットは無音オーディオパケットでもよい。本ステップの詳細については後述する。次にステップ（６０６）に進む。
【００３７】
ステップ（６０６）では、管理情報の処理を行う。管理情報は、多重化ストリームに関連する情報を管理するための情報であり、システムのメモリ上や記録媒体上のファイルに記録される。前側ストリームと後側ストリームがそれぞれ管理情報ファイルを記録媒体上にもっているとすると、これらの管理情報ファイル内には、ストリームのパケットの数、ビデオとオーディオの再生開始時刻、再生終了時刻、ストリームの先頭アドレス、終了アドレス、ビデオの解像度、ビットレート、オーディオのサンプリングレート、ビットレート等が格納されている。前記のオーディオパケット追加処理や置換処理によって、ビデオやオーディオの再生開始時刻や再生終了時刻、ストリームの終了アドレス等の情報が変化するため、これらの情報を更新する必要がある。また、これらのストリームがシームレスに接続可能かどうか、シームレス接続が可能な場合には、どのストリーム同士をシームレスに接続して再生するのか、についての情報も管理情報に格納される。シームレス接続処理を行った場合には、管理情報に格納されたこれらの情報を更新することによって、再生時にストリームがシームレスに再生されるようになる。以上のステップでシームレス接続処理が終了する。
【００３８】
図７に前側ストリームの時間計算処理の詳細を示す。これはステップ（６０３）を詳しく示したものである。本ステップでは、前側ストリームにおける、ビデオとオーディオの再生終了時刻の差分を計算する。
【００３９】
ステップ（７０１）では、前側ストリームの終端から先頭に向けてパケットをサーチしながらチェックし、ヘッダの情報等を取得する。例えば、ソースパケットストリームであれば、ヘッダが４バイト、ＴＳパケットが１８８バイトの固定長であるので、終端から１９２バイトずつ戻りながらパケットをチェックすればよい。ソースパケットのヘッダやＴＳパケットのヘッダから、パケットの到着時刻、ＰＣＲ、ＰＩＤを取得する。ＰＣＲはＴＳパケットがデコーダバッファに到着する時刻を示す情報である。ＰＩＤはパケットの種類を特定するための情報である。ＰＩＤからパケットがビデオパケットかオーディオパケットか、その他のパケットかを判別できる。ＰＩＤからパケットを判別するには、予めＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｐｅｃｉｆｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ）を取得しておく必要がある。これはストリーム中のＰＳＩ用のＰＩＤを持つパケットに記録されているか、管理情報が保持している。終端部からサーチしている時にＰＳＩパケットを判別してＰＳＩを取得してもよいし、ストリームの先頭部分にあるＰＳＩパケットを用いてもよい。ＰＳＩは、多重化ストリームに含まれているパケットやエレメンタリーストリームの特徴を記述した情報の総称である。ＰＳＩは、ＰＡＴ（Ｐｒｏｇｒａｍ　Ａｓｓｏｃｉａｔｉｏｎ　Ｔａｂｌｅ）とＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）によってストリームを管理している。ＰＡＴには多重化ストリームに含まれる映像や音声のまとまりであるプログラムに関する情報が記述されている。ＰＭＴにはそれぞれのプログラムの内容が記述されており、ビデオパケットやオーディオパケットの情報が格納されている。ＰＭＴには、ビデオパケットのＰＩＤと、オーディオパケットのＰＩＤが書かれており、これによってビデオパケットとオーディオパケットを判別することができる。次にステップ（７０２）に進む。
【００４０】
ステップ（７０２）では、ビデオまたはオーディオの再生時刻の情報を取得する。例えば、タイムスタンプ、ピクチャ、ＡＡＵを検出する。前記ステップ（７０１）において、ビデオパケットかオーディオパケットかの判別が行われ、ヘッダの情報が取得された。ここで、ＴＳパケットヘッダのフラグからＰＥＳパケットの先頭を含むと判定された場合には、ＰＥＳパケットヘッダからタイムスタンプを取得する。タイムスタンプはＰＥＳパケット内で次に現れるアクセスユニットの再生時刻を示す。また、ＴＳパケットヘッダのフラグからアクセスユニットの先頭を含むと判定された場合には、パケット内にあるアクセスユニットの先頭をチェックし、アクセスユニットの数をカウントしておく。またビデオの場合には、ピクチャのタイプと再生順序の情報も取得しておく。これらの情報を元に、次のステップ（７０３）に進み、再生終了時刻を決定する。
【００４１】
ステップ（７０３）では、ビデオ及びオーディオについて、それぞれの再生時刻の情報をもとに再生終了時刻の計算と判定を行う。
【００４２】
まずオーディオの再生終了時刻の判定方法を示す。前述の１アクセスユニット毎にＰＥＳパケット化され、ソースパケットとして多重化されたストリームを考える。この場合、最後のアクセスユニット（ＡＡＵ）の先頭を含むソースパケットにＰＥＳパケットの先頭が含まれ、タイムスタンプが記録されている。つまり、再生終了時刻を求めるには、まずストリーム終端から各パケットをチェックし、ＴＳパケットヘッダにＰＥＳパケットの先頭の存在を示すフラグが立っているパケットを見つける。そして、ＰＥＳパケットヘッダからタイムスタンプを取りだし、これに１アクセスユニットの再生時間をたせば、再生終了時刻が得られる。一方、１つのＰＥＳパケットに複数のＡＡＵが含まれるようにして多重化されているストリームもある。この場合には、まずストリーム終端から、ＴＳパケットヘッダにアクセスユニットの先頭の存在を示すフラグが立っているパケットの数をカウントしながらチェックを行い、ＰＥＳヘッダの先頭を含むパケットを見つける。再生終了時刻は、このＰＥＳヘッダから得られるタイムスタンプにストリーム末尾までのアクセスユニットの再生時間をたしたものとなる。
【００４３】
次にビデオの再生終了時刻の判定方法を示す。ビデオの再生終了時刻は、最後に表示されるピクチャの再生時刻にピクチャの再生時間をたしたものである。ＭＰＥＧ−２のビデオの場合には、ストリームに格納されているピクチャの順番が再生する順番とは異なるため、必ずしも最後のアクセスユニットが最後に再生されるピクチャとはならない。つまりビデオの場合には、ピクチャのタイプとピクチャの再生順序を考慮して最後に再生するピクチャを判定する。例えば、ストリーム終端からピクチャをチェックし、ストリームの最後のＩピクチャまたはＰピクチャの先頭を見つけ、これを含むＰＥＳパケットのタイムスタンプから、最後のＩピクチャまたはＰピクチャの再生時刻を取得し、これにピクチャの再生時間を足すことによって再生終了時刻を得る。
【００４４】
ビデオ、オーディオに関して再生終了時刻を取得できた場合にはステップ（７０４）に進む。これらを取得できるまでは、ステップ（７０１）に戻って上記のステップを繰り返す。
【００４５】
ステップ（７０４）では、ビデオとオーディオの再生終了時刻の差分を計算する。以上の処理によって、前側ストリームの時間計算処理が終了する。
【００４６】
図８に後側ストリームの時間計算処理の詳細を示す。これはステップ（６０４）を詳しく示したものである。本ステップでは、後側ストリームにおける、ビデオとオーディオの再生開始時刻の差分を計算する。
【００４７】
ステップ（８０１）では、後側ストリームの先頭からパケットをサーチしながらチェックし、ヘッダの情報等を取得する。ソースパケットのヘッダやＴＳパケットのヘッダから、パケットの到着時刻、ＰＣＲ、ＰＩＤを取得する。ＰＩＤからパケットがビデオパケットかオーディオパケットか、その他のパケットかを判別できる。判別方法は前述の通り。次にステップ（８０２）に進む。
【００４８】
ステップ（８０２）では、ビデオまたはオーディオの再生時刻の情報を取得する。例えば、タイムスタンプ、ピクチャ、ＡＡＵを検出する。検出方法は前述のステップ（７０２）で用いる方法と同様である。ここで取得した情報を元に、次のステップ（８０３）において、ビデオとオーディオの再生開始時刻を決定する。
【００４９】
ステップ（８０３）では、ビデオ及びオーディオについて、それぞれの再生時刻の情報をもとに再生開始時刻の計算と判定を行う。
【００５０】
まずオーディオの再生開始時刻の判定方法を示す。１アクセスユニット毎にＰＥＳパケット化されたストリームでは、前記と同様の手法で最初のＰＥＳパケットを見つけることにより、タイムスタンプを取得することができ、これが再生開始時刻となる。一方、１つのＰＥＳパケットに複数のＡＡＵが含まれるストリームでは、前記と同様に、最初のタイムスタンプが得られるまでＡＡＵの数をカウントし、最初のタイムスタンプからＡＡＵの数だけ再生時間をマイナスすることにより、再生開始時刻を得られる。
【００５１】
次にビデオの再生開始時刻の判定方法を示す。ビデオの再生開始時刻は、最初に表示されるピクチャの再生時刻である。前記のようにＭＰＥＧ−２のビデオの場合には、ストリームに格納されているピクチャの順番が再生する順番とは異なるため、必ずしも最初のアクセスユニットが最初に再生されるピクチャとはならない。１アクセスユニット毎にＰＥＳパケット化されたストリームでは、ピクチャの再生順序の数値を比較し、最も小さい値を持つピクチャのタイムスタンプを再生開始時刻とする。
【００５２】
ビデオ、オーディオに関して再生開始時刻を取得できた場合にはステップ（８０４）に進む。これらを取得できるまでは、ステップ（８０１）に戻って上記のステップを繰り返す。ビデオとオーディオの再生開始時刻を取得した時、先頭のアクセスユニットを含むビデオパケットとオーディオパケットのアドレス、または先頭からのパケット数を保持しておいてもよい。
【００５３】
ステップ（８０４）では、ビデオとオーディオの再生開始時刻の差分を計算する。以上の処理によって、後側ストリームの時間計算処理が終了する。
【００５４】
図９にオーディオパケットの置換処理および追加処理の詳細を示す。これはステップ（６０５）を詳しく示したものである。本ステップは、後側ストリームの先頭部にあるオーディオパケットを置換する処理であるステップ（９０７）と、前側ストリームにオーディオパケットを追加する処理であるステップ（９０８）に分けられる。これらのステップは同時並列的に行われてもよいし、連続的に行われてもよい。またどちらか一方だけの処理を行ってもよい。
【００５５】
ステップ（９０１）では、後側ストリームについて、オーディオパケットのサーチを行う。前述のステップ（６０４）において得られた情報、例えばオーディオの再生開始時刻と先頭のパケット位置等から、ビデオ再生開始時刻よりも前にあるオーディオパケットを特定する。次にステップ（９０９）に進む。
【００５６】
ステップ（９０９）では、後ろ側ストリームの再生開始時刻の差分に相当する長さのパケットを作成する。このパケットは例えばヌルパケットでもよいし、無効なＰＳＩを含むパケットなどでもよい。次にステップ（９０２）に進む。
【００５７】
ステップ（９０２）では、ビデオ再生開始時刻よりも前にあるオーディオパケットを置換する。置換するパケットは、ヌルパケットでもよく、無効なＰＳＩを含むパケットなどを用いてもよい。オーディオパケットをヌルパケットに置換することによって、ビデオに先行するオーディオが削除され、ビデオとオーディオの再生開始時刻の差分を縮めることができる。置換したオーディオパケットは捨ててしまってもよいし、バッファに保持しておいてステップ（９０８）におけるオーディオの追加処理に用いてもよい。オーディオパケットの途中にＡＡＵの先頭がある場合には、ＡＡＵの先頭以前にあるデータを捨てた新しいオーディオパケットを作成し、これに置き換えてもよい。ソースパケットのヘッダにおける到着時刻の情報は、オーディオパケットにつけられているヘッダの値をヌルパケットにそのまま用いてもよいし、受信側のバッファに問題が生じないように再計算して値をつけなおしてもよい。次にステップ（９０３）に進む。
【００５８】
ステップ（９０３）では、ビデオとオーディオの再生開始時刻が揃ったかどうかを判定し、揃った場合はステップ（９０４）に進み、そうでない場合にはステップ（９０１）に戻り置換処理を続ける。判定はオーディオのタイムスタンプを基準に行う。次に置換処理を行うオーディオパケットがＡＡＵの先頭を含み、このＡＡＵの再生時刻が、（ビデオの再生開始時刻　−　ＡＡＵの再生時間）の値よりも大きい、または、ビデオの再生開始時刻と同じ、または、（ビデオの再生開始時刻　＋　ＡＡＵの再生時間）の値よりも小さい、と判定されるとき、ビデオとオーディオの再生開始時刻が揃ったとする。上記の判定式のうちいずれかまたは複数を用いればよい。
【００５９】
ステップ（９０４）では、前側ストリームに追加するオーディオパケットの記録スペースをチェックする。記録スペースは前側ストリームと連続した位置にある必要はないが、シームレスに再生を行う時に、連続的にデータが読み出せるようにドライブのバッファの条件を考慮して記録位置を決める。次にステップ（９０５）に進む。
【００６０】
ステップ（９０５）では、ビデオとオーディオの再生終了時刻の差分から、付加するオーディオパケットの数、ＰＣＲ、タイムスタンプ、データアドレスを計算する。付加する無音オーディオパケットは、パケット内部に無音ＡＡＵ、または、ダミーＡＡＵの一部を含む。無音ＡＡＵはデコーダによって音声が出力されないＡＡＵである。ダミーＡＡＵはデコーダによって無視されるＡＡＵである。これらのＡＡＵは音声が再生されないが、再生時間は規定される。これらのＡＡＵの再生時間は、前側ストリームに含まれる通常のＡＡＵの再生時間と同じになるようにする。無音ＡＡＵ、ダミーＡＡＵをＰＥＳパケット化してタイムスタンプを付加する時も、通常のＡＡＵと同様にして再生時刻を決定すればよい。付加する無音オーディオパケットの数は、
（ビデオとオーディオの再生終了時刻の差分　÷　無音ＡＡＵの再生時間）
とする。端数は切り上げるか切り捨てるかする。必要に応じて、前側ストリームと連続となるようにＰＣＲの値やパケットの到着時刻を決定して格納する。無音オーディオパケットの代わりに、ステップ（９０２）においてバッファに保持された後側ストリームのオーディオパケットを用いてもよい。この場合、後ろ側ストリームで置換されたオーディオパケットの分の音声を失わずに再生することができる。付加するオーディオパケットの数等は、無音オーディオパケットと同じ方法を用いて求める。バッファに保持したオーディオパケットの数が少なければ無音オーディオパケットを追加し、多ければ捨てる。次にステップ（９１０）に進む。
【００６１】
ステップ（９１０）では、前側ストリームの再生終了時刻の差分に相当する長さのオーディオパケットを作成する。このオーディオパケットは無音オーディオパケットでもよい。次にステップ（９０６）に進む。
【００６２】
ステップ（９０６）では、前側ストリームの末尾にオーディオパケットを追加記録する。追加するパケットは無音オーディオパケットでもよい。前述のステップにおいてチェックした記録媒体上の位置にスペースを確保し、計算された数の無音オーディオパケットを作成して記録する。無音オーディオパケットの代わりにステップ（９０２）においてバッファに保持された後側ストリームのオーディオパケットを用いてもよい。ＡＡＵの先頭を含むＰＥＳパケットにはタイムスタンプを記録する。ソースパケットのヘッダにおける到着時刻の情報は、前側ストリームの末尾と連続となるように設定し記録する。必要に応じてＰＣＲもＴＳパケット内に記録する。この処理により、前側ストリームのオーディオ再生終了時刻が付加したオーディオパケット分だけ延長され、ビデオとオーディオの再生終了時刻を揃えることができる。
【００６３】
図１０に本発明で用いるデータ記録装置の一構成例を示し、その特徴について述べる。
【００６４】
データ記録装置は、データ記録媒体（１００１）、ドライブ装置（１００２）、コントローラ（１００３）、メモリ（１００４）、時間計算処理部（１００５）、パケット処理部（１００６）からなる。コントローラ（１００３）、時間計算処理部（１００５）、パケット処理部（１００６）、をまとめて演算装置（１００７）とする。
【００６５】
データ記録媒体（１００１）は、前記ストリームや管理情報を記録するための媒体である。記録媒体にはハードディスク、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、青色レーザを用いた高密度ディスクなどのディスク媒体や、Ｄ−ＶＨＳなどで用いられるテープ媒体、半導体メモリなどのメモリ媒体などがある。
【００６６】
ドライブ装置（１００２）は、前記データ記録媒体を駆動し、読み取るための装置である。ディスクドライブ装置、テープドライブ装置などがある。
【００６７】
コントローラ（１００３）は、入出力情報の管理を行う。ドライブ装置（１００２）から読み取られる記録媒体（１００１）上のストリームや管理情報をメモリ（１００４）に格納したり、演算装置（１００７）にストリーム・管理情報を渡したり、計算結果をメモリ（１００４）に格納したりする。
【００６８】
メモリ（１００４）はストリーム、管理情報、計算結果等を格納するための手段である。ストリームのバッファとして機能したり、様々な計算処理の中間出力、結果出力を格納したりする。
【００６９】
時間計算処理部（１００５）は、コントローラ（１００３）の指示に従い、ストリームの再生時刻に関する計算処理を行う。ビデオとオーディオのタイムスタンプの比較をしたり、バッファに対する出力タイミングを計算したりする。
【００７０】
パケット処理部（１００６）は、コントローラ（１００３）の指示に従い、パケットの内容解析処理、作成処理を行う。パケットからフラグやタイムスタンプ等のデータを抽出して時間計算処理部（１００５）に渡したり、無音オーディオパケットを作成して格納したりする。
【００７１】
図１０に示したデータ記録装置は説明のために機能毎に各手段を記述したが、これらの手段はコンピュータチップ上にまとめて実装されたり、ソフトウェアによって実現されたりしてもよい。実際にはこれらの手段はビデオカメラ、ビデオデッキ、ＰＣソフトウェアの一部として実現される。
【００７２】
図１１に本発明で用いるビデオカメラの一構成例を示し、その特徴について述べる。
【００７３】
データ記録媒体（１００１）、ドライブ装置（１００２）、コントローラ（１００３）、メモリ（１００４）については、前述のデータ記録装置と同様である。ストリームの編集を行う手段である、時間計算処理部（１００５）とパケット処理部（１００６）については、終了時刻調整部（１１０４）、開始時刻調整部（１１０５）、ストリーム切断部（１１０６）、ストリーム結合部（１１０７）、パケット生成部（１１０８）に分けて詳しく説明する。また、カメラの機能を実現するために、撮像部（１１０１）、音声入力部（１１０２）、コーデック・再生部（１１０３）を持つ。
【００７４】
撮像部（１１０１）は、レンズ、ＣＣＤ等を通して映像を入力する手段である。コントローラ（１００３）の指示に従って映像をデータ化し、演算装置（１００７）に取りこむ働きをする。
【００７５】
音声入力部（１１０２）は、マイク等を通して音声を入力する手段である。コントローラ（１００３）の指示に従って音声をデータ化し、演算装置（１００７）に取りこむ働きをする。
【００７６】
コーデック・再生部（１１０３）は、映像と音声の符号化と復号化を行う。コントローラ（１００３）の指示に従って、撮像部（１１０１）や音声入力部（１１０２）から入力された映像、音声情報に対して、ＭＰＥＧ−２規格等に準拠した圧縮符号化を行う。符号化によって作成されたストリームは、コントローラ（１００３）の指示に従って記録媒体（１００１）に記録される。一方、復号化の処理では、コントローラ（１００３）の指示に従って記録媒体（１００１）に記録された映像音声ストリームを読み出し、圧縮符号化されたデータを復号化し、映像や音声として再生する。再生された映像や音声は、ビデオカメラに内蔵されているモニタやスピーカによって出力されてもよいし、ビデオカメラに接続された外部のモニタやスピーカによって出力されてもよい。
【００７７】
終了時刻調整部（１１０４）は、編集処理を行う時に、前側ストリームの再生終了時刻に関する時間計算処理を行う。特に、前側ストリームの末尾における、ビデオとオーディオの再生終了時刻の差分を計算し、この差分を埋めるのに必要な無音オーディオパケットの数を計算する。これは前述のステップ（６０３）を実現するための手段である。
【００７８】
開始時刻調整部（１１０５）は、編集処理を行う時に、後側ストリームの再生開始時刻に関する時間計算処理を行う。特に、後側ストリームの先頭における、ビデオとオーディオの再生開始時刻の差分を計算し、この差分を埋めるために置換するオーディオパケットの数、位置を計算する。これは前述のステップ（６０４）を実現するための手段である。
【００７９】
ストリーム切断部（１１０６）は、コントローラ（１００３）の指示に従い、多重化ストリームの分割処理を行う。ＶＯＢＵ境界で多重化ストリームを分割し、編集点以降のストリームを削除して前側ストリームを作成したり、編集点以前のストリームを削除して後側ストリームを作成したりする。これは前述のステップ（６０１）、（６０２）を実現するための手段である。
【００８０】
ストリーム結合部（１１０７）は、終了時刻調整部（１１０４）および開始時刻調整部（１１０５）からの情報と、パケット生成部（１１０８）によって作成されたパケットデータを元に、コントローラ（１００３）の指示に従って、分割された多重化ストリームを結合する処理を行う。これは、前述のステップ（６０５）及びステップ（６０６）に示される、オーディオパケットの置換・追加処理と、管理情報の調整処理を行う手段である。
【００８１】
パケット生成部（１１０８）は、コントローラ（１００３）の指示に従い、ヌルパケットや無音オーディオパケットの作成を行う。
【００８２】
図１１に示したビデオカメラは説明のために機能毎に各手段を記述したが、これらの手段はコンピュータチップ上にまとめて実装されたり、ソフトウェアによって実現されたりしてもよい。
【００８３】
なお、前記実施例ではＭＰＥＧ−２規格やＡＲＩＢ規格などを例に挙げて説明してきたが、本発明はこれに限定されるわけではない。
【００８４】
【発明の効果】
本発明により、分割された２つの多重化ストリームを連続再生可能なように接続する時に、パケットの分解やデータファイルの再配置を行うことなく、パケットの追加処理、及び置換処理によって、簡単にビデオとオーディオの再生時刻のギャップを調整し、シームレスに再生が可能な多重化ストリームを作成することができる。
【００８５】
また本発明では、デコードやエンコードを行う必要がないので、これらを行う場合に比べて処理量が少なくて済み、処理能力の高い演算装置は必要なく、バッファの容量も小さくすることができる。
これによって、多重化ストリームの高度な編集が簡単にできるようになり、編集装置を簡略化させ、回路規模を縮小させることができる。
【図面の簡単な説明】
【図１】本発明で用いる多重化ストリームの一実施例の説明図である。
【図２】多重化ストリームの編集方法の説明図である。
【図３】本発明で用いるシームレス接続処理方法の一実施例の説明図である。
【図４】本発明で用いるパケットの説明図である。
【図５】本発明で用いる多重化ストリームの構成を説明した図である。
【図６】本発明で用いるシームレス接続処理方法の一実施例の説明図である。
【図７】本発明で用いるシームレス接続処理方法の一実施例を詳しく示した図である。
【図８】本発明で用いるシームレス接続処理方法の一実施例を詳しく示した図である。
【図９】本発明で用いるシームレス接続処理方法の一実施例を詳しく示した図である。
【図１０】本発明で用いるデータ記録装置の一実施例の構成図である。
【図１１】本発明で用いるビデオカメラの一実施例の構成図である。
【符号の説明】
１０１…データ記録媒体；１０２…データ列；１０３，１０４…多重化ストリーム；１０５…ビデオパケット；１０６…オーディオパケット；１０７…追加されたパケット；１０８…置換されたパケット；１０９，３０５…追加されたオーディオ時間；１１０，３０６…削除されたオーディオ時間；２０１…編集点；２０２…前側ストリーム；２０３…後側ストリーム；２０４…ギャップ；３０１，３０２…編集されたストリーム；３０３…無音オーディオパケット；３０４…ヌルパケット；４０１…ソースパケット；４０２，４０５…ＴＳパケット；４０３…パック；４０４…パケットヘッダ；４０６…ヘッダ；４０７…ペイロード；４０８…パックヘッダ；４０９…ペイロード；５０１…アクセスユニット；５０２…ＰＥＳヘッダ；５０３…ＰＥＳパケット；５０４…ＴＳパケットヘッダ、ソースパケットヘッダ；５０５…ＴＳパケット、ソースパケット；　６０１，６０２，６０３，６０４，６０５，６０６，７０１，７０２，７０３，７０４，８０１，８０２，８０３，８０４，９０１，９０２，９０３，９０４，９０５，９０６，９０７，９０８，９０９，９１０…ステップ；１００１…記録媒体；１００２…ドライブ装置；１００３…コントローラ；１００４…メモリ；１００５…時間計算処理部；１００６…パケット処理部；１００７…演算装置；１１０１…撮像部；１１０２…音声入力部；１１０３…コーデック・再生部；１１０４…終了時刻調整部；１１０５…開始時刻調整部；１１０６…ストリーム切断部；１１０７…ストリーム結合部；１１０８…パケット生成部。

Claims (10)

1. ビデオパケットとオーディオパケットが多重化されたデータストリームを入力する入力部と、上記データストリームを分割し、第一および第二のストリームを取得する分割手段と、
   上記第一のストリームに多重化された上記ビデオパケットと上記オーディオパケットの再生終了時刻を揃える手段と、
   上記第二のストリームに多重化された上記ビデオパケットと上記オーディオパケットの再生開始時刻を揃える手段と、
   上記再生終了時刻を揃えたデータストリームの終端と、上記再生開始時刻を揃えたデータストリームの始端を結合して新たなデータストリームを作成する手段と、
   上記新たなデータストリームを記録媒体に記録する手段を有することを特徴とする記録装置。
2. 上記再生終了時刻が揃ったデータストリームを作成する手段は、
   上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻の差分に相当する長さのオーディオパケットを生成する手段と、
   上記生成されたオーディオパケットを上記第一のデータストリームの終端に追加する手段を有することを特徴とする請求項１記載の記録装置。
3. 上記再生開始時刻が揃ったデータストリームを作成する手段は、
   上記第二のデータストリームに多重化されたビデオパケットとオーディオパケットの再生開始時刻の差分に相当する長さの、再生時にオーディオとして認識されないパケットを生成する手段と、
   上記第二のデータストリームに多重化されたオーディオパケットのうち、該データストリームに多重化されたビデオパケットの再生開始時刻より再生時間が前のオーディオパケットを上記生成されたパケットで置換する手段を有することを特徴とする請求項１または２に記載の記録装置。
4. 上記記録装置はバッファを有し、
   請求項２記載の上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻の差分に相当するオーディオパケットを生成する手段および上記生成した再生終了時刻の差分に相当するパケットを追加する手段にかえて、
   請求項３記載の上記第二のデータストリームに多重化されたオーディオパケットを置換する手段において置換されたオーディオパケットをバッファに記録する手段と、
   上記第一のデータストリームの終端に上記バッファに記録されたオーディオパケットを追加する手段を有することを特徴とする請求項３記載の記録装置。
5. 請求項１記載の上記新たなデータストリームを記録媒体に記録する手段にかえて、上記２つのデータストリームの変更または追加された部分の上記記録媒体上のデータストリームを書き換える手段を有することを特徴とする請求項３または４に記載の記録装置。
6. 任意の映像を撮像する撮像部と、上記映像に付随する音声を取得する音声入力部と、記録媒体と、上記映像と上記音声からなる音声付動画像を編集する編集部を備え、
   上記編集部は、請求項１乃至５のいずれかに記載の記録装置を備え、
   上記記録装置の上記入力手段に、上記映像のビデオパケットと上記音声のオーディオパケットが多重化されたデータストリームを入力することを特徴とするデータ編集可能なビデオカメラ。
7. ビデオパケットとオーディオパケットが多重化された第一および第二のデータストリームを記録媒体から読み出して入力するステップと、
   上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻を取得するステップと、
   上記再生終了時刻の差分を計算するステップと、
   上記再生終了時刻の差分を埋めるオーディオパケットを生成するステップと、
   上記第一のデータストリームの終端に上記生成されたオーディオパケットを追加するステップと、
   上記第二のデータストリームに多重化されたビデオパケットとオーディオパケットの再生開始時刻を取得するステップと、
   上記再生開始時刻の差分を計算するステップと、
   上記再生開始時刻の差分を埋めることができ、再生時にオーディオとして認識されないパケットを生成するステップと、
   上記第二のデータストリームに多重化された上記オーディオパケットのうち、上記ビデオパケットの再生開始時刻より再生時刻が前のオーディオパケットを上記生成されたパケットで置換するステップと、
   上記パケットを追加された第一のデータストリームの終端と、上記オーディオパケットを置換された第二のデータストリームの始端を接続して、新たなデータストリームを作成するステップと、
   上記作成された新たなデータストリームを記録媒体に記録するステップを有することを特徴とするデータ編集方法をコンピュータに実行させるためのプログラム。
8. 上記第二のデータストリームのビデオパケットとオーディオパケットの再生開始時刻の差分に相当するパケットを生成するステップで生成されるパケットはヌルパケットであることを特徴とする請求項７記載のデータ編集方法をコンピュータに実行させるためのプログラム。
9. 請求項７記載のデータ編集方法の、上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻の差分に相当するオーディオパケットを生成するステップおよび上記生成した再生終了時刻の差分に相当するオーディオパケットを追加するステップにかえて、上記第二のデータストリームに多重化されたオーディオパケットを置換するステップにおいて置換されたオーディオパケットをバッファに記録するステップと、上記第一のデータストリームの終端に上記バッファに記録されたオーディオパケットを追加するステップを有することを特徴とするデータ編集方法をコンピュータに実行させるためのプログラム。
10. ビデオパケットとオーディオパケットが多重化されたデータストリームを記録した記録媒体であって、
    該データストリームには無音オーディオパケットまたはヌルパケットの少なくともいずれか一方を含み、
    該記録されたデータストリームに含まれる映像および音声を再生する再生装置において、
    上記無音オーディオパケットを再生すること、
    または、
    上記ヌルパケットを無視して再生すること、
    のすくなくともいずれか一方によって、
    上記データストリームに含まれる映像および音声が停止することなく再生できることを特徴とする記録媒体。

Images