JP2004104728A - データ編集可能なビデオカメラ、データ編集、記録プログラム、データ記録装置および記録媒体 - Google Patents
データ編集可能なビデオカメラ、データ編集、記録プログラム、データ記録装置および記録媒体 Download PDFInfo
- Publication number
- JP2004104728A JP2004104728A JP2002267556A JP2002267556A JP2004104728A JP 2004104728 A JP2004104728 A JP 2004104728A JP 2002267556 A JP2002267556 A JP 2002267556A JP 2002267556 A JP2002267556 A JP 2002267556A JP 2004104728 A JP2004104728 A JP 2004104728A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- audio
- video
- data stream
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
【解決手段】接続する後側のストリームの先頭において、ビデオと比較して再生開始時刻が先行するオーディオのパケットをヌルパケットで置換し、前側のストリームの末尾において、無音オーディオパケットを追加することによって、両方のストリームにおけるビデオとオーディオの再生時刻ギャップが解消され、シームレス接続可能な多重化ストリームを作成できる。
【選択図】 図1
Description
【発明の属する技術分野】
本発明はストリームを記録するデータ記録媒体、データ記録装置、およびストリームの記録方法を示したプログラムに関し、特にMPEG方式などのマルチメディアデータのデータ記録媒体、データ記録装置、およびストリームの記録方法に関するプログラムに関する。
【0002】
【従来の技術】
大容量の映像、音声情報をデジタルデータ化して記録、伝達する手法として、MPEG(Moving Picture Experts Group)方式などの符号化方式が策定され、ISO/IEC 11172規格やISO/IEC 13818規格として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やDVDなどの符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
【0003】
またデジタルビデオカメラの発達や、DVD−RAM,DVD−RWなどの大容量の記録媒体の登場により、デジタル記録された映像や音声などの処理に対する要求が高まってきており、こうしたデータの高速な検索、解析、編集に対する研究開発もさかんに行われている。
【0004】
ISO/IEC 13818規格(以下、MPEG−2規格)はISO/IEC 13818−1規格(以下、システム規格)、ISO/IEC 13818−2規格(以下、ビデオ規格)、ISO/IEC 13818−3規格(以下、オーディオ規格)などからなり、システム規格によりビデオ規格、オーディオ規格のストリームが多重化される構成となっている。ストリームとは、符号化された映像または音声の連続するデータを言う。ビデオのデータはピクチャ単位で符号化されるが、編集等を行う場合には動き補償予測の単位である複数のピクチャからなるグループオブピクチャ(以下、GOP)を単位として扱われる。オーディオはオーディオアクセスユニット(以下、AAU)を単位として符号化される。このように符号化されたデータをエレメンタリーストリームと呼ぶ。一般には、ビデオとオーディオのエレメンタリーストリームはそれぞれ独立してパケット化され多重化される。多重化には例えば、トランスポートストリーム(Transport Stream : TS)などが用いられる。多重化されたデータストリームを編集する場合には、あるGOPの先頭を含むパケットから、次のGOPの先頭を含むパケットまでの連続するパケットのユニット(以下、VOBU)を単位として行われる。
【0005】
MPEG−2規格では、データストリームを伝送、記録のために多重化する時、ビデオ規格、オーディオ規格に準拠したエレメンタリーストリームをそれぞれ適当な長さに分割し、ヘッダを付加することによってパケット化し、このパケット単位で多重化を行うことが決められている。
【0006】
その一方で、多重化ストリームをデコード側で分離し再生する場合には、ビデオとオーディオはそれぞれ別々のバッファに蓄えられるため、ビデオパケットとオーディオパケットはそれぞれのバッファに適したタイミングで多重化されている。ビデオとオーディオを比較すると、ビデオの方が同じ再生時間に対応するデータの量が多いため、データの復号により大きなバッファを必要とし、このため多重化ストリームではビデオパケットが先に多重化され、オーディオパケットは遅延して多重化される。図2にこの多重化ストリームを編集する様子を示す。編集点(201)、すなわちVOBU境界でストリームを分割すると、前側ストリーム(202)では、オーディオの再生終了時刻がビデオの再生終了時刻よりも早くなり、後側ストリーム(203)では、ビデオの再生開始時刻がオーディオの再生開始時刻よりも早くなる。これによって再生時間のギャップ(204)が生じる。
【0007】
ここで上記のようにして作成した前側ストリームと、別の箇所で作成した後側ストリームとを結合し、映像と音声が両方とも停止することなく滑らかに連続的に再生できるように編集することを考える。前記のように再生することをシームレス再生と呼び、シームレス再生できるように編集することをシームレス接続と呼ぶ。MPEG−2規格では、シームレス接続を行うためには、前側のストリームの末尾におけるビデオとオーディオの再生終了時刻と、後側のストリームの先頭におけるビデオとオーディオの再生開始時刻が同一(少なくとも1AAUの再生時間以内)にならなければならないという条件がある。しかし、上記のように作成されたストリームでは、再生時刻のギャップのために、このままではシームレス接続を行うことはできない。
【0008】
従来の方式では、前側ストリームと後側ストリームについてパケットのヘッダを取り除いてエレメンタリーストリームを取りだし、映像・音声をデコードした後に調整を行って再エンコードし、再度パケット化して記録、あるいは別のストリームとして記録することにより、連続的な再生を保証しシームレス接続を行っていた。
また、特開平11−112944では、本局から伝送された放送ストリームに、中継局で保持する放送ストリームを結合する際のオーディオギャップの調整方法について開示している。この方法では、まず受信したトランスポートストリームから、ビデオとオーディオのエレメンタリーストリームを分離し、中継局で保持するオーディオの再生時刻と、受信したオーディオの再生時刻を比較し、オーディオのギャップが生じる場合には、無音オーディオアクセスユニットによって調節を行ったのち、パケット化し、多重化してトランスポートストリームを作成する。しかし、この方法は、エレメンタリーストリームに対して処理を行うものであり、また、伝送されたストリームに対して他のストリームを結合し、新規に記録、伝送する処理を行うものである。
また特開平9−37204にも、エレメンタリーストリームでのデータ編集方法を開示している。
しかしこれら従来の方法は、パケットからエレメンタリーストリームを取り出したり、デコード・再エンコードをする必要があり、また、媒体に記録されたデータに対して処理を行う場合にはデータファイルを再配置する必要があるなど、処理量が非常に大きい方法であった。このために、既存の方式ではビデオカメラなどの小型の装置でシームレス接続処理を行うことが非常に困難であった。
【0009】
【発明が解決しようとする課題】
本発明の目的は、多重化ストリームからパケットのヘッダを取り除いてエレメンタリーストリームを取り出すことなく、またエレメンタリーストリームのデコード・エンコードやデータファイルの再配置を行わずに、簡便な方法でストリームのビデオとオーディオの再生時刻のギャップを調整し、シームレス接続処理を可能にする手法を提供し、この手法に基づいて作成された多重化ストリームと媒体、及びこれを作成するデータパケット化方式を示したプログラム、データ記録装置、及びビデオカメラを提供することにある。
【0010】
【課題を解決するための手段】
上記課題を解決するために、
ビデオパケットとオーディオパケットが多重化されたデータストリームを入力する入力部と、上記データストリームを分割して、第一および第二のストリームを取得する分割手段と、上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻を揃える手段と、上記第二のデータストリームに多重化されたビデオパケットとオーディオパケットの再生開始時刻を揃える手段と、上記再生終了時刻を揃えたデータストリームの終端と、上記再生開始時刻を揃えたデータストリームの始端を接続して新たなデータストリームを作成する手段と、上記新たなデータストリームを記録媒体に記録する手段を有する装置を用いる。
【0011】
また、上記第一および第二のデータストリームを接続する手段および上記新たなデータストリームを記録する手段にかえて、上記第一および第二のデータストリームに関して変更された部分に対してのみ上記記録媒体上のデータストリームを書き換える装置を用いる。
【0012】
【発明の実施の形態】
以下、本発明の実施例を図示により説明する。
【0013】
図1に本発明によって作成される多重化ストリームの一実施例を示し、その特徴について述べる。
【0014】
同図を用いて本発明によってデータ記録媒体(101)に記録されるデータ列(102)の特徴について説明する。このデータ列は連続するパケット(104,105)から構成される多重化ストリームである。ストリーム(103)とストリーム(104)は、それぞれ別々に記録されたストリームから編集によって分割されて作成され、その後、後述の簡易シームレス接続処理が行われたストリームである。多重化ストリームはビデオの格納されたビデオパケット(105)とオーディオの格納されたオーディオパケット(106)からなるものとする。
【0015】
後側のストリーム(104)は先頭部分について、シームレス接続処理前にはオーディオパケットであった箇所がデコードする際にオーディオとして認識されないパケットで置換されている。このパケットは、例えばMPEG−2規格に定められる無効なパケットを示すヌルTSパケットにソースパケットのヘッダを付加したヌルパケットでもよい。例えば、システム情報のパケット等を用いてもよい。これにより、後側のストリームにおいて再生開始時刻がビデオに比べて早いために余分となっていたオーディオ(110)が削られ、ビデオとオーディオの再生開始時刻が同一になるように調整されている。
【0016】
前側のストリーム(103)は末尾に無音オーディオパケット(107)からなるパケット列、または前記後側のストリーム(104)において置換されたオーディオパケットからなるパケット列(107)が付加されている。付加されるパケットは無音オーディオパケットが望ましいが、オーディオパケットであれば本発明のシームレス接続は実現可能である。これにより、前側のストリームにおいて再生終了時刻がビデオに比べて早いため、オーディオが足りないためにギャップとなっていた部分(109)が無音オーディオ、または置換されたオーディオによって埋まり、ビデオとオーディオの再生終了時刻が同一になるように調整されている。後側のストリームにおいて置換されたオーディオパケットの数が少ないために、前側のストリームのオーディオギャップを埋めきれない場合には、無音オーディオパケットを足すことによって調整してもよい。
【0017】
以上のように、本発明によって処理された多重化ストリームはパケットを分解することなく処理が行われ、パケットの追加および置換によってのみ処理されるので非常に簡単であり、記録媒体上の変更も最小限で済ませることができる。またこのようにしてシームレス接続された多重化ストリームは、ビデオ及びオーディオのデータが途切れることがなく常に連続してデコーダに到着するため、編集点においても映像・音声の再生が停止せず、滑らかに再生される。
【0018】
図4に本発明にて用いるパケットの例を示し、その特徴について述べる。
【0019】
本発明では、再生時刻のデータが格納されているパケットを用いる。用いるパケットは、一般的にヘッダとペイロードからなる。ヘッダにはペイロードに格納されるデータの特徴を示すフラグが格納される。ここにはパケットの到着時刻やデータの再生時刻が記録されていてもよい。ペイロードには、ビデオやオーディオのエレメンタリーストリームが格納される。ここにはエレメンタリーストリームを含むパケットを格納してもよい。例えば、ソースパケット(401)や、MPEG−2規格にて定められるTSパケット(402)、パック(403)等が挙げられる。
【0020】
ソースパケット(401)は、パケットヘッダ(404)とTSパケット(405)からなる。パケットヘッダには、TSパケット(405)をデコーダやネットワークに対して伝送するタイミングを指定する時刻情報や、複製する時に用いるコピーライトの情報等が格納されている。TSパケット(405)については後述する。
【0021】
TSパケット(402,405)はMPEG−2に定められるトランスポートストリームを伝送するためのパケットである。TSパケットはヘッダ(406)とペイロード(407)からなる。ヘッダ(406)には、パケットの種類を表すための情報や、同期を取るための情報、優先度等を示す各種のフラグ等が格納されている。パケットの処理タイミングを示すPCRも記録される。ペイロード(407)にはビデオデータやオーディオデータがブロックに分割されて格納される。一般的には、圧縮符号化されたビデオやオーディオのエレメンタリーストリームがPESパケットに分割され、さらにこれが一定の長さのブロックに分割されてペイロードの部分に格納される。
【0022】
パック(403)はMPEG−2に定められるプログラムストリームを伝送するためのパケットである。パック(403)はパックヘッダ(408)とペイロード(409)からなる。パックヘッダにはパックの処理タイミングを示すSCRやパックの属性を示すフラグ等が格納されている。ペイロード(409)にはビデオデータやオーディオデータが格納される。一般的にはビデオやオーディオのエレメンタリーストリームがPESパケットに分割されてペイロードに格納される。
図5に本発明にて用いるストリームについて、エレメンタリーストリーム(ES)、パケタイズドエレメンタリーストリーム(PES)、トランスポートストリーム(TS)の関係を示し、その特徴について述べる。
【0023】
ESはビデオのESまたはオーディオのESなどのように1種類のデータからなるストリームである。具体的には、連続するアクセスユニット(501)からなる。アクセスユニットはESの一定時間の再生単位であり、ビデオではピクチャ、オーディオではAAUに対応する。各アクセスユニットは一定の再生時間を持つ。ビデオの場合には、シーケンスヘッダ等のストリーム全体の情報を示すデータが付加される。
【0024】
PESはESを適当な長さに分割し、PESヘッダ(502)を付加して連続するPESパケット(503)として記録したストリームである。PESヘッダには、PESパケットに含まれるアクセスユニットの再生時刻であるタイムスタンプが記録されている。タイムスタンプには、再生時刻を示すPTS(Presentation Time Stamp)やデコード時刻を示すDTS(Decoding Time Stamp)がある。衛星放送等で用いられるストリームの場合には、アクセスユニット毎にPESヘッダを付加してPESパケットを作成し、全てのPESヘッダにタイムスタンプが付加される。
【0025】
TSは、PESを適当な長さに分割したデータにTSパケットヘッダ(505)を付加し、連続するTSパケットとして記録したストリームである。TSパケット(504)はTSパケットヘッダ(505)とペイロード(506)からなる。一般にTSパケットは188バイトの固定長である。TSパケットヘッダには、PCR、PID (Packet Identification)、そのパケット内にアクセスユニットの先頭が存在するかどうかを示すフラグ、そのパケット内にPESパケットの先頭が存在するかどうかを示すフラグ等が格納されている。ペイロードにはPESが分割されて記録される。
一般にTSは複数のESから得られたパケットによって構成されている。例えば、第一のESを含むパケット(504)と第二のESを含むTSパケット(505)が多重化されて一つのTSとなる。TSパケットにさらにソースパケットヘッダを付加して、連続するソースパケットのストリームを記録してもよい。
以下、ストリームとしてソースパケットストリームを用いた例について説明する。
図3に本発明におけるシームレス処理方法の一実施例を示し、その特徴について述べる。シームレス処理は、2つのストリームを滑らかに再生できるように調整する処理である。本発明では、再生時刻の情報を含む複数種類のパケットを多重化した2つのストリームをシームレスに接続する。これは例えば、草野球の音声付き映像をビデオカメラにて撮影した時、ある打者のシーンだけを取り出して、シームレスに再生されるダイジェストクリップを作成したい時などを想定できる。
【0026】
ここでは、別々に記録した2つのストリームを、それぞれVOBU境界にて分割・編集した場合を説明する。編集されたストリーム(301)と編集されたストリーム(302)は、それぞれ別々の多重化ストリームから前記の説明のようにVOBU単位でのストリーム分割によって作成されたストリームであって、前記の説明のように再生時に必要なバッファの大きさの違いから、前側のストリーム(301)は、再生終了時刻がビデオよりオーディオの方が早く、後側のストリーム(302)は、再生開始時刻がビデオよりオーディオの方が早くなっているとする。また、これらは記録媒体上の別々の箇所にそれぞれファイルとして記録されているとする。これらのストリームを滑らかに再生できるようにシームレス接続を行うとする。ここでいうシームレス接続はビデオとオーディオが停止せずに滑らかに再生される状態を言い、必ずしもデータがひと続きになっている必要はない。ここでは、シームレス接続を行うためには、前側のストリーム(301)におけるビデオとオーディオの再生終了時刻の差分が1AAUの再生時間範囲以内であり、後側のストリーム(302)におけるビデオとオーディオの再生開始時刻の差分が1AAUの再生時間範囲以内でなければならないとする。
【0027】
そこでまず、後側のストリーム(302)における再生開始時刻の差分を調整する。ビデオとオーディオの再生開始時刻の差分を計算し、これに該当するAAUの含まれるオーディオパケットを特定する。そして該当するオーディオパケットをヌルパケット(304)で置換する。これによりビデオより先に再生されるオーディオ(306)が削られ、再生開始時刻の差を1AAUの再生時間未満にすることができる。一般的には、一つのオーディオパケットに複数のAAUが含まれることはないので、パケットの置換のみで処理が可能である。この処理はファイル全体のサイズを変更しないので、ファイル全体を別の場所に移動したりする必要がない。パケットの置換を行う際に、取り除かれるオーディオパケットをバッファに保持しておき、次の前側のストリームにおける再生終了時刻の調整に用いてもよい。
【0028】
次に、前側のストリーム(301)における再生終了時刻の差分を調整する。ビデオとオーディオの再生終了時刻の差分を計算し、この差分を埋めるのに必要な無音オーディオパケットの数を決定する。そして無音オーディオパケット(303)をストリームの末尾に追加する。これによりビデオより先に終了するオーディオに対して無音のオーディオ(305)が追加され、再生終了時刻の差を1AAUの再生時間未満にすることができる。この処理は既存のストリームの末尾にパケットを追加する処理だけなので、追加するパケットのスペースさえあればファイル全体を移動したりする必要がない。追加するパケットは無音オーディオパケットでもよいし、前述の後側ストリーム(302)の処理によってバッファに蓄えられたオーディオパケットでもよい。
【0029】
これらの処理は、ストリーム(301)とストリーム(302)が分割による編集によって作成された時に行われてもよいし、これらのストリームをシームレス接続処理する際に行ってもよい。これらの処理により、再生開始時刻、再生終了時刻の調整が行われ、シームレス接続処理が可能となる。
【0030】
図6に本発明におけるシームレス処理フローの一例を示し、その特徴について述べる。
【0031】
まずステップ(601)において、前側ストリームの編集処理を行う。この処理で、多重化ストリームを分割し、編集点以降のストリームを削除することで、ビデオよりもオーディオの再生終了時刻が早い前側ストリームを作成する。例えば、VOBU境界で分割すると、前述のように、前側ストリームではオーディオの再生終了時刻がビデオよりも早くなる。次にステップ(603)に進む。
【0032】
一方、ステップ(602)では、後側ストリームの編集処理を行う。この処理で、多重化ストリームを分割し、編集点以前のストリームを削除することで、ビデオよりもオーディオの再生開始時刻が早い後側ストリームを作成する。例えば、VOBU境界で分割すると、前述のように、後側ストリームではオーディオの再生開始時刻がビデオよりも早くなる。次にステップ(604)に進む。
【0033】
ステップ(603)では、前側ストリームの時間計算処理を行う。前側ストリームの末尾における、ビデオとオーディオの再生終了時刻の差分を計算し、この差分を埋めるのに必要なパケットの数を計算する。このパケットは無音オーディオパケットでもよい。本ステップの詳細については後述する。次にステップ(605)に進む。
【0034】
ステップ(604)では、後側ストリームの時間計算処理を行う。後側ストリームの先頭における、ビデオとオーディオの再生開始時刻の差分を計算し、この差分を埋めるために置換されるオーディオパケットの数、位置を計算する。本ステップの詳細については後述する。次にステップ(605)に進む。
【0035】
ステップ(601)と(603)および、(602)と(604)は、同時並列的に行われてもよいし、どちらかが先に行われて続けて他方が行われてもよい。ステップ(603)と(604)は、ステップ(601)と(602)が行われてからすぐに行われてもよいし、ステップ(601)と(602)に対応する処理が行われたストリームがすでに存在する場合には、これらに対してステップ(603)と(604)の処理を行ってもよい。
【0036】
ステップ(605)では、オーディオパケットの置換処理および追加処理を行う。ステップ(604)において計算された情報に基づき、後側ストリームの先頭付近にあるオーディオパケットを置換し、ステップ(603)において計算された情報に基づき、前側ストリームにパケットを追加する。置換するパケットはヌルパケットであってもよく、追加するパケットは無音オーディオパケットでもよい。本ステップの詳細については後述する。次にステップ(606)に進む。
【0037】
ステップ(606)では、管理情報の処理を行う。管理情報は、多重化ストリームに関連する情報を管理するための情報であり、システムのメモリ上や記録媒体上のファイルに記録される。前側ストリームと後側ストリームがそれぞれ管理情報ファイルを記録媒体上にもっているとすると、これらの管理情報ファイル内には、ストリームのパケットの数、ビデオとオーディオの再生開始時刻、再生終了時刻、ストリームの先頭アドレス、終了アドレス、ビデオの解像度、ビットレート、オーディオのサンプリングレート、ビットレート等が格納されている。前記のオーディオパケット追加処理や置換処理によって、ビデオやオーディオの再生開始時刻や再生終了時刻、ストリームの終了アドレス等の情報が変化するため、これらの情報を更新する必要がある。また、これらのストリームがシームレスに接続可能かどうか、シームレス接続が可能な場合には、どのストリーム同士をシームレスに接続して再生するのか、についての情報も管理情報に格納される。シームレス接続処理を行った場合には、管理情報に格納されたこれらの情報を更新することによって、再生時にストリームがシームレスに再生されるようになる。以上のステップでシームレス接続処理が終了する。
【0038】
図7に前側ストリームの時間計算処理の詳細を示す。これはステップ(603)を詳しく示したものである。本ステップでは、前側ストリームにおける、ビデオとオーディオの再生終了時刻の差分を計算する。
【0039】
ステップ(701)では、前側ストリームの終端から先頭に向けてパケットをサーチしながらチェックし、ヘッダの情報等を取得する。例えば、ソースパケットストリームであれば、ヘッダが4バイト、TSパケットが188バイトの固定長であるので、終端から192バイトずつ戻りながらパケットをチェックすればよい。ソースパケットのヘッダやTSパケットのヘッダから、パケットの到着時刻、PCR、PIDを取得する。PCRはTSパケットがデコーダバッファに到着する時刻を示す情報である。PIDはパケットの種類を特定するための情報である。PIDからパケットがビデオパケットかオーディオパケットか、その他のパケットかを判別できる。PIDからパケットを判別するには、予めPSI(Program Specific Information)を取得しておく必要がある。これはストリーム中のPSI用のPIDを持つパケットに記録されているか、管理情報が保持している。終端部からサーチしている時にPSIパケットを判別してPSIを取得してもよいし、ストリームの先頭部分にあるPSIパケットを用いてもよい。PSIは、多重化ストリームに含まれているパケットやエレメンタリーストリームの特徴を記述した情報の総称である。PSIは、PAT(Program Association Table)とPMT(Program Map Table)によってストリームを管理している。PATには多重化ストリームに含まれる映像や音声のまとまりであるプログラムに関する情報が記述されている。PMTにはそれぞれのプログラムの内容が記述されており、ビデオパケットやオーディオパケットの情報が格納されている。PMTには、ビデオパケットのPIDと、オーディオパケットのPIDが書かれており、これによってビデオパケットとオーディオパケットを判別することができる。次にステップ(702)に進む。
【0040】
ステップ(702)では、ビデオまたはオーディオの再生時刻の情報を取得する。例えば、タイムスタンプ、ピクチャ、AAUを検出する。前記ステップ(701)において、ビデオパケットかオーディオパケットかの判別が行われ、ヘッダの情報が取得された。ここで、TSパケットヘッダのフラグからPESパケットの先頭を含むと判定された場合には、PESパケットヘッダからタイムスタンプを取得する。タイムスタンプはPESパケット内で次に現れるアクセスユニットの再生時刻を示す。また、TSパケットヘッダのフラグからアクセスユニットの先頭を含むと判定された場合には、パケット内にあるアクセスユニットの先頭をチェックし、アクセスユニットの数をカウントしておく。またビデオの場合には、ピクチャのタイプと再生順序の情報も取得しておく。これらの情報を元に、次のステップ(703)に進み、再生終了時刻を決定する。
【0041】
ステップ(703)では、ビデオ及びオーディオについて、それぞれの再生時刻の情報をもとに再生終了時刻の計算と判定を行う。
【0042】
まずオーディオの再生終了時刻の判定方法を示す。前述の1アクセスユニット毎にPESパケット化され、ソースパケットとして多重化されたストリームを考える。この場合、最後のアクセスユニット(AAU)の先頭を含むソースパケットにPESパケットの先頭が含まれ、タイムスタンプが記録されている。つまり、再生終了時刻を求めるには、まずストリーム終端から各パケットをチェックし、TSパケットヘッダにPESパケットの先頭の存在を示すフラグが立っているパケットを見つける。そして、PESパケットヘッダからタイムスタンプを取りだし、これに1アクセスユニットの再生時間をたせば、再生終了時刻が得られる。一方、1つのPESパケットに複数のAAUが含まれるようにして多重化されているストリームもある。この場合には、まずストリーム終端から、TSパケットヘッダにアクセスユニットの先頭の存在を示すフラグが立っているパケットの数をカウントしながらチェックを行い、PESヘッダの先頭を含むパケットを見つける。再生終了時刻は、このPESヘッダから得られるタイムスタンプにストリーム末尾までのアクセスユニットの再生時間をたしたものとなる。
【0043】
次にビデオの再生終了時刻の判定方法を示す。ビデオの再生終了時刻は、最後に表示されるピクチャの再生時刻にピクチャの再生時間をたしたものである。MPEG−2のビデオの場合には、ストリームに格納されているピクチャの順番が再生する順番とは異なるため、必ずしも最後のアクセスユニットが最後に再生されるピクチャとはならない。つまりビデオの場合には、ピクチャのタイプとピクチャの再生順序を考慮して最後に再生するピクチャを判定する。例えば、ストリーム終端からピクチャをチェックし、ストリームの最後のIピクチャまたはPピクチャの先頭を見つけ、これを含むPESパケットのタイムスタンプから、最後のIピクチャまたはPピクチャの再生時刻を取得し、これにピクチャの再生時間を足すことによって再生終了時刻を得る。
【0044】
ビデオ、オーディオに関して再生終了時刻を取得できた場合にはステップ(704)に進む。これらを取得できるまでは、ステップ(701)に戻って上記のステップを繰り返す。
【0045】
ステップ(704)では、ビデオとオーディオの再生終了時刻の差分を計算する。以上の処理によって、前側ストリームの時間計算処理が終了する。
【0046】
図8に後側ストリームの時間計算処理の詳細を示す。これはステップ(604)を詳しく示したものである。本ステップでは、後側ストリームにおける、ビデオとオーディオの再生開始時刻の差分を計算する。
【0047】
ステップ(801)では、後側ストリームの先頭からパケットをサーチしながらチェックし、ヘッダの情報等を取得する。ソースパケットのヘッダやTSパケットのヘッダから、パケットの到着時刻、PCR、PIDを取得する。PIDからパケットがビデオパケットかオーディオパケットか、その他のパケットかを判別できる。判別方法は前述の通り。次にステップ(802)に進む。
【0048】
ステップ(802)では、ビデオまたはオーディオの再生時刻の情報を取得する。例えば、タイムスタンプ、ピクチャ、AAUを検出する。検出方法は前述のステップ(702)で用いる方法と同様である。ここで取得した情報を元に、次のステップ(803)において、ビデオとオーディオの再生開始時刻を決定する。
【0049】
ステップ(803)では、ビデオ及びオーディオについて、それぞれの再生時刻の情報をもとに再生開始時刻の計算と判定を行う。
【0050】
まずオーディオの再生開始時刻の判定方法を示す。1アクセスユニット毎にPESパケット化されたストリームでは、前記と同様の手法で最初のPESパケットを見つけることにより、タイムスタンプを取得することができ、これが再生開始時刻となる。一方、1つのPESパケットに複数のAAUが含まれるストリームでは、前記と同様に、最初のタイムスタンプが得られるまでAAUの数をカウントし、最初のタイムスタンプからAAUの数だけ再生時間をマイナスすることにより、再生開始時刻を得られる。
【0051】
次にビデオの再生開始時刻の判定方法を示す。ビデオの再生開始時刻は、最初に表示されるピクチャの再生時刻である。前記のようにMPEG−2のビデオの場合には、ストリームに格納されているピクチャの順番が再生する順番とは異なるため、必ずしも最初のアクセスユニットが最初に再生されるピクチャとはならない。1アクセスユニット毎にPESパケット化されたストリームでは、ピクチャの再生順序の数値を比較し、最も小さい値を持つピクチャのタイムスタンプを再生開始時刻とする。
【0052】
ビデオ、オーディオに関して再生開始時刻を取得できた場合にはステップ(804)に進む。これらを取得できるまでは、ステップ(801)に戻って上記のステップを繰り返す。ビデオとオーディオの再生開始時刻を取得した時、先頭のアクセスユニットを含むビデオパケットとオーディオパケットのアドレス、または先頭からのパケット数を保持しておいてもよい。
【0053】
ステップ(804)では、ビデオとオーディオの再生開始時刻の差分を計算する。以上の処理によって、後側ストリームの時間計算処理が終了する。
【0054】
図9にオーディオパケットの置換処理および追加処理の詳細を示す。これはステップ(605)を詳しく示したものである。本ステップは、後側ストリームの先頭部にあるオーディオパケットを置換する処理であるステップ(907)と、前側ストリームにオーディオパケットを追加する処理であるステップ(908)に分けられる。これらのステップは同時並列的に行われてもよいし、連続的に行われてもよい。またどちらか一方だけの処理を行ってもよい。
【0055】
ステップ(901)では、後側ストリームについて、オーディオパケットのサーチを行う。前述のステップ(604)において得られた情報、例えばオーディオの再生開始時刻と先頭のパケット位置等から、ビデオ再生開始時刻よりも前にあるオーディオパケットを特定する。次にステップ(909)に進む。
【0056】
ステップ(909)では、後ろ側ストリームの再生開始時刻の差分に相当する長さのパケットを作成する。このパケットは例えばヌルパケットでもよいし、無効なPSIを含むパケットなどでもよい。次にステップ(902)に進む。
【0057】
ステップ(902)では、ビデオ再生開始時刻よりも前にあるオーディオパケットを置換する。置換するパケットは、ヌルパケットでもよく、無効なPSIを含むパケットなどを用いてもよい。オーディオパケットをヌルパケットに置換することによって、ビデオに先行するオーディオが削除され、ビデオとオーディオの再生開始時刻の差分を縮めることができる。置換したオーディオパケットは捨ててしまってもよいし、バッファに保持しておいてステップ(908)におけるオーディオの追加処理に用いてもよい。オーディオパケットの途中にAAUの先頭がある場合には、AAUの先頭以前にあるデータを捨てた新しいオーディオパケットを作成し、これに置き換えてもよい。ソースパケットのヘッダにおける到着時刻の情報は、オーディオパケットにつけられているヘッダの値をヌルパケットにそのまま用いてもよいし、受信側のバッファに問題が生じないように再計算して値をつけなおしてもよい。次にステップ(903)に進む。
【0058】
ステップ(903)では、ビデオとオーディオの再生開始時刻が揃ったかどうかを判定し、揃った場合はステップ(904)に進み、そうでない場合にはステップ(901)に戻り置換処理を続ける。判定はオーディオのタイムスタンプを基準に行う。次に置換処理を行うオーディオパケットがAAUの先頭を含み、このAAUの再生時刻が、(ビデオの再生開始時刻 − AAUの再生時間)の値よりも大きい、または、ビデオの再生開始時刻と同じ、または、(ビデオの再生開始時刻 + AAUの再生時間)の値よりも小さい、と判定されるとき、ビデオとオーディオの再生開始時刻が揃ったとする。上記の判定式のうちいずれかまたは複数を用いればよい。
【0059】
ステップ(904)では、前側ストリームに追加するオーディオパケットの記録スペースをチェックする。記録スペースは前側ストリームと連続した位置にある必要はないが、シームレスに再生を行う時に、連続的にデータが読み出せるようにドライブのバッファの条件を考慮して記録位置を決める。次にステップ(905)に進む。
【0060】
ステップ(905)では、ビデオとオーディオの再生終了時刻の差分から、付加するオーディオパケットの数、PCR、タイムスタンプ、データアドレスを計算する。付加する無音オーディオパケットは、パケット内部に無音AAU、または、ダミーAAUの一部を含む。無音AAUはデコーダによって音声が出力されないAAUである。ダミーAAUはデコーダによって無視されるAAUである。これらのAAUは音声が再生されないが、再生時間は規定される。これらのAAUの再生時間は、前側ストリームに含まれる通常のAAUの再生時間と同じになるようにする。無音AAU、ダミーAAUをPESパケット化してタイムスタンプを付加する時も、通常のAAUと同様にして再生時刻を決定すればよい。付加する無音オーディオパケットの数は、
(ビデオとオーディオの再生終了時刻の差分 ÷ 無音AAUの再生時間)
とする。端数は切り上げるか切り捨てるかする。必要に応じて、前側ストリームと連続となるようにPCRの値やパケットの到着時刻を決定して格納する。無音オーディオパケットの代わりに、ステップ(902)においてバッファに保持された後側ストリームのオーディオパケットを用いてもよい。この場合、後ろ側ストリームで置換されたオーディオパケットの分の音声を失わずに再生することができる。付加するオーディオパケットの数等は、無音オーディオパケットと同じ方法を用いて求める。バッファに保持したオーディオパケットの数が少なければ無音オーディオパケットを追加し、多ければ捨てる。次にステップ(910)に進む。
【0061】
ステップ(910)では、前側ストリームの再生終了時刻の差分に相当する長さのオーディオパケットを作成する。このオーディオパケットは無音オーディオパケットでもよい。次にステップ(906)に進む。
【0062】
ステップ(906)では、前側ストリームの末尾にオーディオパケットを追加記録する。追加するパケットは無音オーディオパケットでもよい。前述のステップにおいてチェックした記録媒体上の位置にスペースを確保し、計算された数の無音オーディオパケットを作成して記録する。無音オーディオパケットの代わりにステップ(902)においてバッファに保持された後側ストリームのオーディオパケットを用いてもよい。AAUの先頭を含むPESパケットにはタイムスタンプを記録する。ソースパケットのヘッダにおける到着時刻の情報は、前側ストリームの末尾と連続となるように設定し記録する。必要に応じてPCRもTSパケット内に記録する。この処理により、前側ストリームのオーディオ再生終了時刻が付加したオーディオパケット分だけ延長され、ビデオとオーディオの再生終了時刻を揃えることができる。
【0063】
図10に本発明で用いるデータ記録装置の一構成例を示し、その特徴について述べる。
【0064】
データ記録装置は、データ記録媒体(1001)、ドライブ装置(1002)、コントローラ(1003)、メモリ(1004)、時間計算処理部(1005)、パケット処理部(1006)からなる。コントローラ(1003)、時間計算処理部(1005)、パケット処理部(1006)、をまとめて演算装置(1007)とする。
【0065】
データ記録媒体(1001)は、前記ストリームや管理情報を記録するための媒体である。記録媒体にはハードディスク、DVD−RAM、DVD−RW、DVD−R、青色レーザを用いた高密度ディスクなどのディスク媒体や、D−VHSなどで用いられるテープ媒体、半導体メモリなどのメモリ媒体などがある。
【0066】
ドライブ装置(1002)は、前記データ記録媒体を駆動し、読み取るための装置である。ディスクドライブ装置、テープドライブ装置などがある。
【0067】
コントローラ(1003)は、入出力情報の管理を行う。ドライブ装置(1002)から読み取られる記録媒体(1001)上のストリームや管理情報をメモリ(1004)に格納したり、演算装置(1007)にストリーム・管理情報を渡したり、計算結果をメモリ(1004)に格納したりする。
【0068】
メモリ(1004)はストリーム、管理情報、計算結果等を格納するための手段である。ストリームのバッファとして機能したり、様々な計算処理の中間出力、結果出力を格納したりする。
【0069】
時間計算処理部(1005)は、コントローラ(1003)の指示に従い、ストリームの再生時刻に関する計算処理を行う。ビデオとオーディオのタイムスタンプの比較をしたり、バッファに対する出力タイミングを計算したりする。
【0070】
パケット処理部(1006)は、コントローラ(1003)の指示に従い、パケットの内容解析処理、作成処理を行う。パケットからフラグやタイムスタンプ等のデータを抽出して時間計算処理部(1005)に渡したり、無音オーディオパケットを作成して格納したりする。
【0071】
図10に示したデータ記録装置は説明のために機能毎に各手段を記述したが、これらの手段はコンピュータチップ上にまとめて実装されたり、ソフトウェアによって実現されたりしてもよい。実際にはこれらの手段はビデオカメラ、ビデオデッキ、PCソフトウェアの一部として実現される。
【0072】
図11に本発明で用いるビデオカメラの一構成例を示し、その特徴について述べる。
【0073】
データ記録媒体(1001)、ドライブ装置(1002)、コントローラ(1003)、メモリ(1004)については、前述のデータ記録装置と同様である。ストリームの編集を行う手段である、時間計算処理部(1005)とパケット処理部(1006)については、終了時刻調整部(1104)、開始時刻調整部(1105)、ストリーム切断部(1106)、ストリーム結合部(1107)、パケット生成部(1108)に分けて詳しく説明する。また、カメラの機能を実現するために、撮像部(1101)、音声入力部(1102)、コーデック・再生部(1103)を持つ。
【0074】
撮像部(1101)は、レンズ、CCD等を通して映像を入力する手段である。コントローラ(1003)の指示に従って映像をデータ化し、演算装置(1007)に取りこむ働きをする。
【0075】
音声入力部(1102)は、マイク等を通して音声を入力する手段である。コントローラ(1003)の指示に従って音声をデータ化し、演算装置(1007)に取りこむ働きをする。
【0076】
コーデック・再生部(1103)は、映像と音声の符号化と復号化を行う。コントローラ(1003)の指示に従って、撮像部(1101)や音声入力部(1102)から入力された映像、音声情報に対して、MPEG−2規格等に準拠した圧縮符号化を行う。符号化によって作成されたストリームは、コントローラ(1003)の指示に従って記録媒体(1001)に記録される。一方、復号化の処理では、コントローラ(1003)の指示に従って記録媒体(1001)に記録された映像音声ストリームを読み出し、圧縮符号化されたデータを復号化し、映像や音声として再生する。再生された映像や音声は、ビデオカメラに内蔵されているモニタやスピーカによって出力されてもよいし、ビデオカメラに接続された外部のモニタやスピーカによって出力されてもよい。
【0077】
終了時刻調整部(1104)は、編集処理を行う時に、前側ストリームの再生終了時刻に関する時間計算処理を行う。特に、前側ストリームの末尾における、ビデオとオーディオの再生終了時刻の差分を計算し、この差分を埋めるのに必要な無音オーディオパケットの数を計算する。これは前述のステップ(603)を実現するための手段である。
【0078】
開始時刻調整部(1105)は、編集処理を行う時に、後側ストリームの再生開始時刻に関する時間計算処理を行う。特に、後側ストリームの先頭における、ビデオとオーディオの再生開始時刻の差分を計算し、この差分を埋めるために置換するオーディオパケットの数、位置を計算する。これは前述のステップ(604)を実現するための手段である。
【0079】
ストリーム切断部(1106)は、コントローラ(1003)の指示に従い、多重化ストリームの分割処理を行う。VOBU境界で多重化ストリームを分割し、編集点以降のストリームを削除して前側ストリームを作成したり、編集点以前のストリームを削除して後側ストリームを作成したりする。これは前述のステップ(601)、(602)を実現するための手段である。
【0080】
ストリーム結合部(1107)は、終了時刻調整部(1104)および開始時刻調整部(1105)からの情報と、パケット生成部(1108)によって作成されたパケットデータを元に、コントローラ(1003)の指示に従って、分割された多重化ストリームを結合する処理を行う。これは、前述のステップ(605)及びステップ(606)に示される、オーディオパケットの置換・追加処理と、管理情報の調整処理を行う手段である。
【0081】
パケット生成部(1108)は、コントローラ(1003)の指示に従い、ヌルパケットや無音オーディオパケットの作成を行う。
【0082】
図11に示したビデオカメラは説明のために機能毎に各手段を記述したが、これらの手段はコンピュータチップ上にまとめて実装されたり、ソフトウェアによって実現されたりしてもよい。
【0083】
なお、前記実施例ではMPEG−2規格やARIB規格などを例に挙げて説明してきたが、本発明はこれに限定されるわけではない。
【0084】
【発明の効果】
本発明により、分割された2つの多重化ストリームを連続再生可能なように接続する時に、パケットの分解やデータファイルの再配置を行うことなく、パケットの追加処理、及び置換処理によって、簡単にビデオとオーディオの再生時刻のギャップを調整し、シームレスに再生が可能な多重化ストリームを作成することができる。
【0085】
また本発明では、デコードやエンコードを行う必要がないので、これらを行う場合に比べて処理量が少なくて済み、処理能力の高い演算装置は必要なく、バッファの容量も小さくすることができる。
これによって、多重化ストリームの高度な編集が簡単にできるようになり、編集装置を簡略化させ、回路規模を縮小させることができる。
【図面の簡単な説明】
【図1】本発明で用いる多重化ストリームの一実施例の説明図である。
【図2】多重化ストリームの編集方法の説明図である。
【図3】本発明で用いるシームレス接続処理方法の一実施例の説明図である。
【図4】本発明で用いるパケットの説明図である。
【図5】本発明で用いる多重化ストリームの構成を説明した図である。
【図6】本発明で用いるシームレス接続処理方法の一実施例の説明図である。
【図7】本発明で用いるシームレス接続処理方法の一実施例を詳しく示した図である。
【図8】本発明で用いるシームレス接続処理方法の一実施例を詳しく示した図である。
【図9】本発明で用いるシームレス接続処理方法の一実施例を詳しく示した図である。
【図10】本発明で用いるデータ記録装置の一実施例の構成図である。
【図11】本発明で用いるビデオカメラの一実施例の構成図である。
【符号の説明】
101…データ記録媒体;102…データ列;103,104…多重化ストリーム;105…ビデオパケット;106…オーディオパケット;107…追加されたパケット;108…置換されたパケット;109,305…追加されたオーディオ時間;110,306…削除されたオーディオ時間;201…編集点;202…前側ストリーム;203…後側ストリーム;204…ギャップ;301,302…編集されたストリーム;303…無音オーディオパケット;304…ヌルパケット;401…ソースパケット;402,405…TSパケット;403…パック;404…パケットヘッダ;406…ヘッダ;407…ペイロード;408…パックヘッダ;409…ペイロード;501…アクセスユニット;502…PESヘッダ;503…PESパケット;504…TSパケットヘッダ、ソースパケットヘッダ;505…TSパケット、ソースパケット; 601,602,603,604,605,606,701,702,703,704,801,802,803,804,901,902,903,904,905,906,907,908,909,910…ステップ;1001…記録媒体;1002…ドライブ装置;1003…コントローラ;1004…メモリ;1005…時間計算処理部;1006…パケット処理部;1007…演算装置;1101…撮像部;1102…音声入力部;1103…コーデック・再生部;1104…終了時刻調整部;1105…開始時刻調整部;1106…ストリーム切断部;1107…ストリーム結合部;1108…パケット生成部。
Claims (10)
- ビデオパケットとオーディオパケットが多重化されたデータストリームを入力する入力部と、上記データストリームを分割し、第一および第二のストリームを取得する分割手段と、
上記第一のストリームに多重化された上記ビデオパケットと上記オーディオパケットの再生終了時刻を揃える手段と、
上記第二のストリームに多重化された上記ビデオパケットと上記オーディオパケットの再生開始時刻を揃える手段と、
上記再生終了時刻を揃えたデータストリームの終端と、上記再生開始時刻を揃えたデータストリームの始端を結合して新たなデータストリームを作成する手段と、
上記新たなデータストリームを記録媒体に記録する手段を有することを特徴とする記録装置。 - 上記再生終了時刻が揃ったデータストリームを作成する手段は、
上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻の差分に相当する長さのオーディオパケットを生成する手段と、
上記生成されたオーディオパケットを上記第一のデータストリームの終端に追加する手段を有することを特徴とする請求項1記載の記録装置。 - 上記再生開始時刻が揃ったデータストリームを作成する手段は、
上記第二のデータストリームに多重化されたビデオパケットとオーディオパケットの再生開始時刻の差分に相当する長さの、再生時にオーディオとして認識されないパケットを生成する手段と、
上記第二のデータストリームに多重化されたオーディオパケットのうち、該データストリームに多重化されたビデオパケットの再生開始時刻より再生時間が前のオーディオパケットを上記生成されたパケットで置換する手段を有することを特徴とする請求項1または2に記載の記録装置。 - 上記記録装置はバッファを有し、
請求項2記載の上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻の差分に相当するオーディオパケットを生成する手段および上記生成した再生終了時刻の差分に相当するパケットを追加する手段にかえて、
請求項3記載の上記第二のデータストリームに多重化されたオーディオパケットを置換する手段において置換されたオーディオパケットをバッファに記録する手段と、
上記第一のデータストリームの終端に上記バッファに記録されたオーディオパケットを追加する手段を有することを特徴とする請求項3記載の記録装置。 - 請求項1記載の上記新たなデータストリームを記録媒体に記録する手段にかえて、上記2つのデータストリームの変更または追加された部分の上記記録媒体上のデータストリームを書き換える手段を有することを特徴とする請求項3または4に記載の記録装置。
- 任意の映像を撮像する撮像部と、上記映像に付随する音声を取得する音声入力部と、記録媒体と、上記映像と上記音声からなる音声付動画像を編集する編集部を備え、
上記編集部は、請求項1乃至5のいずれかに記載の記録装置を備え、
上記記録装置の上記入力手段に、上記映像のビデオパケットと上記音声のオーディオパケットが多重化されたデータストリームを入力することを特徴とするデータ編集可能なビデオカメラ。 - ビデオパケットとオーディオパケットが多重化された第一および第二のデータストリームを記録媒体から読み出して入力するステップと、
上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻を取得するステップと、
上記再生終了時刻の差分を計算するステップと、
上記再生終了時刻の差分を埋めるオーディオパケットを生成するステップと、
上記第一のデータストリームの終端に上記生成されたオーディオパケットを追加するステップと、
上記第二のデータストリームに多重化されたビデオパケットとオーディオパケットの再生開始時刻を取得するステップと、
上記再生開始時刻の差分を計算するステップと、
上記再生開始時刻の差分を埋めることができ、再生時にオーディオとして認識されないパケットを生成するステップと、
上記第二のデータストリームに多重化された上記オーディオパケットのうち、上記ビデオパケットの再生開始時刻より再生時刻が前のオーディオパケットを上記生成されたパケットで置換するステップと、
上記パケットを追加された第一のデータストリームの終端と、上記オーディオパケットを置換された第二のデータストリームの始端を接続して、新たなデータストリームを作成するステップと、
上記作成された新たなデータストリームを記録媒体に記録するステップを有することを特徴とするデータ編集方法をコンピュータに実行させるためのプログラム。 - 上記第二のデータストリームのビデオパケットとオーディオパケットの再生開始時刻の差分に相当するパケットを生成するステップで生成されるパケットはヌルパケットであることを特徴とする請求項7記載のデータ編集方法をコンピュータに実行させるためのプログラム。
- 請求項7記載のデータ編集方法の、上記第一のデータストリームに多重化されたビデオパケットとオーディオパケットの再生終了時刻の差分に相当するオーディオパケットを生成するステップおよび上記生成した再生終了時刻の差分に相当するオーディオパケットを追加するステップにかえて、上記第二のデータストリームに多重化されたオーディオパケットを置換するステップにおいて置換されたオーディオパケットをバッファに記録するステップと、上記第一のデータストリームの終端に上記バッファに記録されたオーディオパケットを追加するステップを有することを特徴とするデータ編集方法をコンピュータに実行させるためのプログラム。
- ビデオパケットとオーディオパケットが多重化されたデータストリームを記録した記録媒体であって、
該データストリームには無音オーディオパケットまたはヌルパケットの少なくともいずれか一方を含み、
該記録されたデータストリームに含まれる映像および音声を再生する再生装置において、
上記無音オーディオパケットを再生すること、
または、
上記ヌルパケットを無視して再生すること、
のすくなくともいずれか一方によって、
上記データストリームに含まれる映像および音声が停止することなく再生できることを特徴とする記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002267556A JP3900050B2 (ja) | 2002-09-13 | 2002-09-13 | データ処理装置、ビデオカメラ及びデータ処理方法 |
US10/331,658 US7228055B2 (en) | 2002-09-13 | 2002-12-31 | Recording apparatus, video camera and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002267556A JP3900050B2 (ja) | 2002-09-13 | 2002-09-13 | データ処理装置、ビデオカメラ及びデータ処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004104728A true JP2004104728A (ja) | 2004-04-02 |
JP2004104728A5 JP2004104728A5 (ja) | 2005-10-27 |
JP3900050B2 JP3900050B2 (ja) | 2007-04-04 |
Family
ID=31986705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002267556A Expired - Fee Related JP3900050B2 (ja) | 2002-09-13 | 2002-09-13 | データ処理装置、ビデオカメラ及びデータ処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7228055B2 (ja) |
JP (1) | JP3900050B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009038587A (ja) * | 2007-08-01 | 2009-02-19 | Panasonic Corp | 信号処理装置 |
JP2011044931A (ja) * | 2009-08-21 | 2011-03-03 | Nec Personal Products Co Ltd | 編集装置、制御方法及びプログラム |
US8000585B2 (en) | 2004-04-07 | 2011-08-16 | Panasonic Corporation | Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor |
US8055122B2 (en) | 2004-04-07 | 2011-11-08 | Panasonic Corporation | Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor |
US8059943B2 (en) | 2004-04-07 | 2011-11-15 | Panasonic Corporation | Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor |
US8116614B2 (en) | 2004-04-07 | 2012-02-14 | Panasonic Corporation | Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor |
US8165447B2 (en) | 2004-04-07 | 2012-04-24 | Panasonic Corporation | Information recording apparatus and information converting method |
CN111711780A (zh) * | 2020-04-22 | 2020-09-25 | 天津体育学院 | 一种影像回放***及方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003280557A1 (en) * | 2002-10-10 | 2004-05-04 | Wataru Ikeda | Optical disc, reproducing device, program, reproducing method, recording method |
EP1582021A4 (en) * | 2003-01-09 | 2009-04-08 | Thomson Licensing | METHOD AND APPARATUS FOR CONVERTING A MPEG TRANSPORT STREAM IN IP PACKETS FOR BROADCAST DISTRIBUTION IN A WIRELESS LOCAL NETWORK |
US20040146211A1 (en) * | 2003-01-29 | 2004-07-29 | Knapp Verna E. | Encoder and method for encoding |
KR20050107610A (ko) * | 2003-03-10 | 2005-11-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 기록매체와, 심리스 재생을 가능하게 하는 장치 |
JP4464101B2 (ja) * | 2003-10-10 | 2010-05-19 | キヤノン株式会社 | トランスポートストリーム編集方法及び装置 |
WO2005101414A1 (en) * | 2004-04-15 | 2005-10-27 | Koninklijke Philips Electronics N.V. | Creating a seamless connection of multimedia sections without requiring recoding |
KR100698277B1 (ko) * | 2005-07-15 | 2007-03-22 | 엘지전자 주식회사 | 영상표시장치 및 이를 이용한 방송신호 재생 방법 |
US7764713B2 (en) * | 2005-09-28 | 2010-07-27 | Avaya Inc. | Synchronization watermarking in multimedia streams |
US7869420B2 (en) * | 2005-11-16 | 2011-01-11 | Cisco Technology, Inc. | Method and system for in-band signaling of multiple media streams |
JP4760572B2 (ja) * | 2006-06-30 | 2011-08-31 | ソニー株式会社 | 編集装置および編集方法、並びにプログラム |
JP2009111608A (ja) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | 再生装置および再生方法 |
JP4309940B2 (ja) * | 2007-12-27 | 2009-08-05 | 株式会社東芝 | ストリーム多重装置、ストリーム多重方法および記録媒体 |
US8538232B2 (en) * | 2008-06-27 | 2013-09-17 | Honeywell International Inc. | Systems and methods for managing video data |
KR101489351B1 (ko) * | 2008-11-28 | 2015-02-03 | 삼성전자 주식회사 | 배터리 잔량에 따른 동영상 재생 가능 시간 표시 방법 및 장치 |
WO2010099575A1 (en) | 2009-03-04 | 2010-09-10 | Honeywell International Inc. | Systems and methods for managing video data |
JP5778478B2 (ja) * | 2011-05-23 | 2015-09-16 | ルネサスエレクトロニクス株式会社 | データ処理システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2822940B2 (ja) | 1995-07-19 | 1998-11-11 | 日本電気株式会社 | 動画像音声データ編集装置 |
JPH11112944A (ja) | 1997-10-03 | 1999-04-23 | Sony Corp | 情報処理装置および方法、並びに伝送媒体 |
JP3094999B2 (ja) * | 1998-10-15 | 2000-10-03 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
CA2289958C (en) * | 1998-11-19 | 2003-01-21 | Tomoyuki Okada | Information recording medium, apparatus and method for recording or reproducing data thereof |
JP3376314B2 (ja) * | 1999-05-12 | 2003-02-10 | 株式会社東芝 | デジタル映像情報媒体、デジタル映像情報記録再生装置およびデジタル映像情報処理方法 |
JP4411499B2 (ja) | 2000-06-14 | 2010-02-10 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに記録媒体 |
-
2002
- 2002-09-13 JP JP2002267556A patent/JP3900050B2/ja not_active Expired - Fee Related
- 2002-12-31 US US10/331,658 patent/US7228055B2/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8000585B2 (en) | 2004-04-07 | 2011-08-16 | Panasonic Corporation | Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor |
US8055122B2 (en) | 2004-04-07 | 2011-11-08 | Panasonic Corporation | Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor |
US8059943B2 (en) | 2004-04-07 | 2011-11-15 | Panasonic Corporation | Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor |
US8116614B2 (en) | 2004-04-07 | 2012-02-14 | Panasonic Corporation | Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor |
US8165447B2 (en) | 2004-04-07 | 2012-04-24 | Panasonic Corporation | Information recording apparatus and information converting method |
KR101153003B1 (ko) | 2004-04-07 | 2012-06-04 | 파나소닉 주식회사 | 정보기록장치 및 정보변환방법 |
JP2009038587A (ja) * | 2007-08-01 | 2009-02-19 | Panasonic Corp | 信号処理装置 |
JP2011044931A (ja) * | 2009-08-21 | 2011-03-03 | Nec Personal Products Co Ltd | 編集装置、制御方法及びプログラム |
CN111711780A (zh) * | 2020-04-22 | 2020-09-25 | 天津体育学院 | 一种影像回放***及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20040052275A1 (en) | 2004-03-18 |
US7228055B2 (en) | 2007-06-05 |
JP3900050B2 (ja) | 2007-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3900050B2 (ja) | データ処理装置、ビデオカメラ及びデータ処理方法 | |
US7321718B2 (en) | Method for generating additional information for guaranteeing seamless playback between data streams, recording medium storing the information, and recording editing and/or playback apparatus using the same | |
US7054546B2 (en) | Data multiplexing method, data recorded medium, data recording apparatus and data recording program | |
US8676038B2 (en) | Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program | |
JP4902935B2 (ja) | 情報処理装置、情報処理方法、プログラム、及び記録媒体 | |
JP4725675B2 (ja) | 記録再生装置、記録装置、再生装置、記録方法、再生方法およびコンピュータプログラム | |
JP3892759B2 (ja) | 記録再生装置、記録装置、再生装置および記録再生方法 | |
JP2007066511A (ja) | 記録再生装置、記録装置、再生装置および記録再生方法 | |
JP5120479B2 (ja) | データ信号記録装置およびデータ信号再生装置 | |
JP5120322B2 (ja) | データ信号記録装置およびデータ信号再生装置 | |
KR100657262B1 (ko) | 데이터열간의 연속 재생을 보장하기 위한 부가 정보를저장하는 기록 매체 | |
JP2001285800A (ja) | データ信号記録再生装置およびデータ信号記録再生方法 | |
KR20040018418A (ko) | 데이터열간의 연속 재생을 보장하는 데이터의 기록및/또는 편집 장치 | |
JP2007184093A (ja) | データ信号記録再生装置およびデータ信号記録再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050726 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050726 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |