【０００１】
【発明の属する技術分野】
本発明は、ディジタル動画音声圧縮技術規格（Ｍｏｖｉｎｇ ＰｉｃｔｕｒｅＥｘｐｅｒｔｓ Ｇｒｏｕｐ：以下、ＭＰＥＧという。）を用いて、符号化ディジタル動画像データとディジタル音声データとを時分割多重化したＭＰＥＧ２トランスポートストリームデータの編集方法に関するものである。
【０００２】
【従来の技術】
現在、公知技術としてＩＥＣ／ＩＳＯ １３８１８において規定されるＭＰＥＧ規格は、日本国内及び欧米における衛星ディジタル放送や地上波ディジタル放送等においての映像（ビデオ）及び音声（オーディオ）信号を伝送するデータ方式として、ＭＰＥＧ−２ ＴＳ（ＭＰＥＧ−２トランスポートストリーム）方式が適用されている。
【０００３】
このようなＭＰＥＧ−２ ＴＳ方式で情報圧縮されたデータを、そのままのディジタル信号状態で、例えばハードディスクや光ディスク、高速読み書きが可能な半導体メモリ等のランダムアクセス可能な記録媒体に、書き込み記録やユーザーがアクセス可能なデータファイルとして保存することができれば、画質や音質をまったく劣化させることなく、高品質のＡＶプログラムを随時繰り返して視聴することや、即応性が高いランダムアクセス再生及び自由度の高いプログラム編集が可能となり得る。
【０００４】
ＭＰＥＧ−２ ＴＳは図５に示すように、１８８バイト固定サイズのＴＳパケット（トランスポートパケット）により構成され、該ＴＳパケットは４バイトのヘッダー情報部と、残り１８４バイトの実質的なＡＶ情報を持つペイロード情報部から構成される。
【０００５】
ＴＳパケットのヘッダー情報内には、ヘッダー情報以降に続くＴＳパケットのペイロード情報が映像データなのか音声データのなのかを識別する識別子（Ｐａｃｋｅｔ ＩＤ：以下、ＰＩＤという。）が存在する。
【０００６】
また該ヘッダー情報には、該ペイロード情報に新たなＰＥＳパケットデータが開始するか否かの情報ビット（ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ）が存在する。
【０００７】
ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒが”１”である場合は、新たなＰＥＳパケット（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）が開始することを意味し、そうでない場合は続くペイロードデータが、ＰＥＳパケットデータの連続する一部であることを意味する。
【０００８】
さらにＴＳパケットの特殊な情報として、ストリームを構成するデータのマップ情報を管理するＰｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ（以下、ＰＭＴという。）が規定されており、該パケットデータで対応する映像信号をもつＴＳパケット及び音声データを持つＴＳパケットのＰＩＤが一意に定められる。
【０００９】
上述の技術を用いた従来例として、ランダムアクセス可能な記録媒体上に記録したＭＰＥＧ−２ ＴＳを二つに分割する編集処理について説明する。
【００１０】
図５にはランダムアクセス可能な記録媒体にＭＰＥＧ−２ ＴＳ形式を用いて記録した場合についてのデータ構造概略図を示す。
【００１１】
図５の符号として、Ｖは映像情報をもつＴＳパケットを表し、Ａは音声情報をもつＴＳパケットであることを示す。またＶＨは映像情報をもつＴＳパケットに関してユーザーによる編集単位となるＧＯＰの先頭であること、ＡＨは音声情報をもつＴＳパケットに関して音声フレームデータの先頭が存在することを示す。Ｖ，Ａ， ＶＨ，ＡＨに付する数字は同期再生タイミングを示す。
【００１２】
通常、映像信号と音声信号の多重化を行うタイミングは、音声信号と映像信号の符号化装置の機能とＭＰＥＧ規格の復号化規定に起因するが、上記のように１ＧＯＰ分のＴＳパケット化された映像信号の途中にＴＳパケット化された音声フレーム信号が存在する場合がほとんどである。
【００１３】
上記方法によって記録媒体上に記録されたＭＰＥＧ−２ ＴＳデータを、例えば図中で示すＧＯＰ単位の境界となる位置ＤＩＶで分割する要求がユーザーから発生した場合、分割編集によって、図６に示したデータＭ１，Ｍ２が生成される。
上記のような技術に関しては、例えば、非特許文献１、非特許文献２、非特許文献３等に開示されている。
【００１４】
【非特許文献１】
ポイント図解式 最新ＭＰＥＧ教科書 監修 藤原洋 マルチメディア通信研究会アスキー出版局
【非特許文献２】
画像＆音声圧縮技術のすべて（インターネット・ディジタルテレビ・モバイル通信時代の必須技術） 監修 藤原洋 ＣＱ出版社
【非特許文献３】
ディジタル放送の基礎技術入門（インターネット、移動体通信に続く新しい情報インフラ） ＣＱ出版社
【００１５】
【発明が解決しようとする課題】
ＭＰＥＧ方式で圧縮符号化された映像信号および音声信号をＴＳ（トランスポートストリーム）の状態で記録及び編集するシステムにおいては、次の課題が存在する。
【００１６】
第一に映像信号はＧＯＰ単位でＭＰＥＧ圧縮されるが、画像のタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）、画像の絵柄等によって１フレームの画像データの長さが一定ではない（固定レートで圧縮されない）。一方、音声信号は、固定レートで圧縮される。従って、対応する映像信号と音声信号と同時にエンコードされたとしても、対応する映像信号と音声信号のパケットがＴＳ上の離れた位置に配置されてしまう可能性がある。
【００１７】
第二に、従来例で示したように、図６中における分割位置ＤＩＶでＭＰＥＧ−２ ＴＳを分割すると、分割位置近傍で１ＧＯＰ分の映像情報をもつＴＳパケットの途中に音声情報をもつＴＳパケットが存在するために、ストリーム先頭から分割位置までのデータとして作成されるストリームでは、最後の音声情報をもつデータが、分割位置からストリーム終端までのデータとして作成されるストリームでは、最初の音声情報のデータが、最小復号単位としての音声フレームのデータ構造を満たしていない不完全な音声データとなってしまう。
【００１８】
上記課題より、映像信号と音声信号のパケットがＴＳ上の離れた位置に配置される構造で多重化されたトランスポートストリームデータを途中で分割するような編集を実行すると、映像信号のつながりのタイミングと音声信号のつながりのタイミングがずれ、分割処理後のトランスポートストリームデータの再生時にデコード不良となり、ユーザーに違和感を与えるような異音の発生や無音状態を生じてしまう。
【００１９】
【課題を解決するための手段】
本発明の映像・音声信号編集方法は、ＭＰＥＧ−２トランスポートストリーム方式によって時分割多重化圧縮された映像信号データと音声信号データの編集方法において、
ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）を構成する映像信号データの境界で分割編集したとき、分割された映像信号データ内に復号単位のデータ構造を満たさない音声信号データのトランスポートパケットが存在する場合に、該トランスポートパケットを、映像情報及び音声情報を持たないトランスポートパケットで置き換えて、上書き記録を行うことを特徴とする。
【００２０】
本発明は編集対象となるＭＰＥＧ−２ ＴＳの分割位置において、ＧＯＰを構成する映像情報データを跨いで多重化された音声フレーム情報が存在する場合、分割位置前後の音声フレームデータを持つ、ＴＳパケットを構成するデータを映像情報も音声情報も持たないダミーのＴＳパケットで置き換えるものである。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２２】
本発明による実施形態として、ランダムアクセス可能な記録媒体に記録されたＭＰＥＧ−２ ＴＳデータの分割編集処理について、図１及び分割処理手順を示したフローチャートである図２〜図４を用いて説明する。図７〜図９に、１８８バイトのデータで構成されるＴＳパケットのデータ種別及び、該データ種別毎のデータ構造を示す。図７はビデオ（映像）／オーディオ（音声）パケットのデータ構造、図８はＮＵＬＬパケットのデータ構造、図９はＰＭＴパケットのデータ構造を示す図である。
【００２３】
図１は記録媒体上に記録を行ったＭＰＥＧ−２ ＴＳ形式で時分割多重化圧縮を施したＡＶ情報のデータ構造概略図である。ユーザーからの要求により、記録媒体上に記録されたＭＰＥＧ−２ ＴＳデータを、図中で示すＧＯＰ単位の境界となる分割位置ＤＩＶで分割する。
【００２４】
図２に示すように、ＭＰＥＧ−２ ＴＳを図１中のＤＩＶで表されるＧＯＰデータの境界に対応したＴＳパケット位置でユーザーがストリーム分割を要求したとする（ステップＳ１）。
【００２５】
まず、分割後に生成される二つのＭＰＥＧ−２ ＴＳである Ｍ１， Ｍ２について、ストリーム情報をもつＰｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ（ＰＭＴ）を検出する（ステップＳ２）。検出できない場合は、次のＴＳパケットをサーチする。
【００２６】
ＰＭＴ検出後、該データから音声情報をもつＴＳパケットの識別子（ＰＩＤ）を取得する（ステップＳ３）。
【００２７】
なお、ＰＭＴ検出後、該ストリームの映像及び音声データを構成するＴＳパケットの識別子（ＰＩＤ）を取得し、記憶する。この処理により分割位置前後のパケットデータを識別し、後述する映像データＴＳパケットと音声データＴＳパケットの振り分け処理、すなわち分割位置前後を構成するＴＳパケットデータに関して、映像ＴＳパケットはそのままにし、音声データＴＳパケットはＮＵＬＬＴＳパケットで置き換えることが実現できる。
【００２８】
上記の分割要求によって、分割前のＭＰＥＧ−２ ＴＳデータの先頭から分割位置までのデータＭ１と、分割位置から終端までのデータＭ２の二つのＭＰＥＧ−２ ＴＳを生成する（ステップＳ４）。
【００２９】
従来例では上記の段階で分割編集処理を終了していたため、不完全なデータ構造をもつ音声情報の存在を許していたが、本実施形態においては分割位置を跨いで存在する音声フレーム１つ分を構成する音声トランスポートパケット（音声ＴＳパケット）の領域を検索し、該データ領域に対して映像情報も音声情報も持たないＮＵＬＬ ＴＳパケット（ＭＰＥＧ規格ではＮＵＬＬパケットのＰＩＤ（０ｘ１ＦＦＦ）を一意に規定しており、このＴＳパケットのペイロードを復号器に伝送することを禁止している。つまり、データとしては無視される。）で上書き記録する。
【００３０】
本実施形態では、分割後のＭ１とＭ２に対して、それぞれ音声データに関する処理（ステップＳ６、ステップＳ７）を行う。図３はステップＳ６の処理、図４はステップＳ７の処理を示す。
【００３１】
（Ｍ１に対する処理）
図３に示すように、Ｍ１では分割位置をストリーム終端としてストリーム先頭に向かって、前方方向に音声ＴＳパケットの検索を行う。すなわち、検索したＴＳパケットが映像ＴＳパケットかどうかを判断し（ステップＳ６１）、映像ＴＳパケットであればさらに前のＴＳパケットを検索し（ステップＳ６４）、検索したＴＳパケットが映像ＴＳパケットかどうかを判断するステップＳ６１に戻る。
【００３２】
映像ＴＳパケットでなければ、音声ＴＳパケットかどうかを判断し（ステップＳ６２）、音声ＴＳパケットでなければさらに前のＴＳパケットを検索し（ステップＳ６４）、検索したＴＳパケットが映像ＴＳパケットかどうかを判断するステップＳ６１に戻る。一方、音声ＴＳパケットであれば、該ＴＳパケットのヘッダー情報を読み、該ＴＳパケットのペイロードデータに新たなＰＥＳパケットデータが開始するか否かの情報ビット（ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ）を調べる（ステップＳ６３）。
【００３３】
ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒが”０”である場合は、該ＴＳパケットを映像情報も音声情報も持たないＮＵＬＬ ＴＳパケットデータで上書き記録する（ステップＳ６５）。上書き記録後、前のＴＳパケットを検索し（ステップＳ６４）、再び処理を繰り返す。
【００３４】
ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒが”１”である場合、該ＴＳパケットデータをＮＵＬＬ ＴＳパケットで上書き記録し（ステップ６６）、一連の分割処理を終了する。
【００３５】
（Ｍ２に対する処理）
図４に示すように、Ｍ２では分割位置をストリーム先頭として、ストリーム終端に向かって、音声ＴＳパケットの検索を行う。すなわち、検索したＴＳパケットが映像ＴＳパケットかどうかを判断し（ステップＳ７１）、映像ＴＳパケットであればさらに次のＴＳパケットを検索し（ステップＳ７４）、検索したＴＳパケットが映像ＴＳパケットかどうかを判断するステップＳ７１に戻る。
【００３６】
映像ＴＳパケットでなければ、音声ＴＳパケットかどうかを判断し（ステップＳ７２）、音声ＴＳパケットでなければさらに先のＴＳパケットを検索し（ステップＳ７４）、検索したＴＳパケットが映像ＴＳパケットかどうかを判断するステップＳ７１に戻る。一方、音声ＴＳパケットであれば、該ＴＳパケットのヘッダー情報を読み、該ＴＳパケットのパイロードデータに新たなＰＥＳパケットデータが開始するか否かの情報ビット（ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒ）を調べる（ステップＳ７３）。
【００３７】
ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒが”０”である場合は、該ＴＳパケットを映像情報も音声情報も持たないＮＵＬＬ ＴＳパケットデータで上書き記録する（ステップＳ７５）。上書き記録後、次のＴＳパケットを検索し（ステップＳ７４）、再び処理を繰り返す。
【００３８】
ｕｎｉｔ＿ｓｔａｒｔ＿ｉｎｄｉｃａｔｏｒが”１”である場合、何もせずに一連の分割処理を終了する。
【００３９】
なお、上記の本発明によるＭＰＥＧストリームの編集処理を行う実施形態として、図１０に示すように、ディスク状記録媒体あるいは半導体メモリ媒体などをＡＶデータの記録装置装置として組み込みんだ撮像システムあるいは、図１１に示すように記録装置をＰＣの周辺機器の一つとして、記録媒体上のデータアクセスが可能なシステムに対し適用することが可能である。
【００４０】
図１０は編集機能を搭載したハンディカムコーダを示すブロック図である。図１０において、１１はＥＶＦ，ＬＣＤ等の表示デバイス、１２はカメラ部となる撮像デバイス、１３はＭＰＥＧ符号器／復号器、１４はハードディスク、光ディスク等のディスク状記録装置、１５は半導体メモリ記録装置である。カメラ部１２で撮影した映像・音声情報は、ＭＰＥＧ符号器／復号器１３で符号化され、ディスク状記録装置１４のディスク状記録媒体や、半導体メモリ記録装置１５の半導体メモリに記録される。カメラ部１２で撮影した映像・音声情報、又はディスク状記録装置、半導体メモリ記録装置に記録された情報はＭＰＥＧ符号器／復号器１３で復号化されて表示デバイス１１で表示される。ディスク状記録媒体に記録された情報はいったんバッファメモリに読み出される。上述したＭＰＥＧストリームの分割編集処理は、例えば、ディスク状記録装置１４で行われる。ディスク状記録装置１４は半導体メモリと、半導体メモリに記録されたデータを読み出して、図２〜図４に示した分割編集処理を行うデータ処理部とを有する。ＰＭＴ検出後に取得された、該ストリームの映像及び音声データを構成するＴＳパケットの識別子（ＰＩＤ）は半導体メモリに記憶される。図３及び図４に示した処理は順次処理されてもよいが並行処理されてもよい。並行処理は半導体メモリ、データ処理部を二つ設けることで実現できる。
【００４１】
また図２〜図４に示した分割編集処理は、図１１に示すようなコンピュータで編集ソフトを動作させることで実現することができる。
【００４２】
図１１のハードディスク装置等のディスク装置２３に図２〜図４に示した分割編集処理を行うプログラムを保存させ、光ディスク装置２４から読み出したデータを半導体メモリ２６に記憶させ、演算手段となるＣＰＵ２５によりプログラムを実行させることで、図２〜図４に示した分割編集処理を実行する。
【００４３】
光ディスク装置２４にＭＰＥＧ−２トランスポートストリーム方式によって時分割多重化圧縮された映像信号データと音声信号データが記録されており、ユーザーがキーボード２１等の入力手段から分割編集要求を行った場合、ＣＰＵ２５は前述した図２〜図４の各ステップのフローを記述したプログラムに基づいて、処理を行う。ＬＣＤ２２は処理状況や映像・音声信号を再生する表示手段となる液晶デバイスである。２７はデータバス等のバスを示す。
以上本発明の実施形態について説明したが、本発明の好適な実施の態様は以下に説明する態様である。
【００４４】
（実施態様１） 記録媒体に記録された、ＭＰＥＧ−２トランスポートストリーム方式によって時分割多重化圧縮された映像信号データと音声信号データの編集方法において、
ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）を構成する映像信号データの境界で分割編集したとき、分割された映像信号データ内に復号単位のデータ構造を満たさない音声信号データのトランスポートパケットが存在する場合に、該トランスポートパケットを、映像情報及び音声情報を持たないトランスポートパケットで置き換えて前記記録媒体に上書き記録することを特徴とする映像・音声信号編集方法。
【００４５】
（実施態様２） 実施態様１に記載の映像・音声信号編集方法において、前記上書き記録は、ユーザーがＭＰＥＧ−２トランスポートストリームファイルの分割処理を要求した際に行われることを特徴とする映像・音声信号編集方法。
【００４６】
（実施態様３） 実施態様１又は２に記載の映像・音声信号編集方法において、前記記録媒体はランダムアクセス可能な記録媒体であることを特徴とする映像・音声信号編集方法。
【００４７】
（実施態様４） 記録媒体に記録された、ＭＰＥＧ−２トランスポートストリーム方式によって時分割多重化圧縮された映像信号データと音声信号データの編集を行うＭＰＥＧ−２トランスポートストリーム記録再生装置において、
映像及び音声データを構成するトランスポートパケットの識別情報を取得して記憶手段に記憶し、この識別情報を基に分割位置前後のパケットデータが映像トランスポートパケットか音声データトランスポートパケットかを識別し、
ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）を構成する映像信号データの境界で分割編集したとき、分割された映像信号データ内に復号単位のデータ構造を満たさない音声信号データのトランスポートパケットが存在する場合に、該トランスポートパケットを、映像情報及び音声情報を持たないトランスポートパケットで置き換えて、前記記録媒体に上書き記録を行う手段を有することを特徴とするＭＰＥＧ−２トランスポートストリーム記録再生装置。
【００４８】
（実施態様５） 実施態様４に記載のＭＰＥＧ−２トランスポートストリーム記録再生装置において、前記上書き記録は、ユーザーがＭＰＥＧ−２トランスポートストリームファイルの分割処理を要求した際に行われることを特徴とするＭＰＥＧ−２トランスポートストリーム記録再生装置。
【００４９】
（実施態様６） 実施態様４又は５に記載の映像・音声信号編集装置において、前記記録媒体は、ランダムアクセス可能な記録媒体であることを特徴とする映像・音声信号編集装置。
【００５０】
（実施態様７） ＭＰＥＧ−２トランスポートストリーム方式によって時分割多重化圧縮された映像信号データと音声信号データの編集プログラムにおいて、
映像及び音声データを構成するトランスポートパケットの識別情報を取得して記憶手段に記憶し、この識別情報を基に分割位置前後のパケットデータが映像トランスポートパケットか音声データトランスポートパケットかを識別し、
演算手段により、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）を構成する映像信号データの境界で分割編集したとき、分割された映像信号データ内に復号単位のデータ構造を満たさない音声信号データのトランスポートパケットが存在する場合に、該トランスポートパケットを、映像情報及び音声情報を持たないトランスポートパケットで置き換えることを特徴とする、コンピュータに実行させるための映像・音声信号編集プログラム。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、分割後に生成された二つのストリームを復号再生した時に、ユーザーに違和感を与える可能性のある音声データを除去し、快適なＡＶ情報の視聴を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に関わる、ＭＰＥＧ−２ ＴＳの分割処理を示す図である。
【図２】本発明の実施に関わる、ＭＰＥＧ−２ ＴＳの分割処理を示すフローチャートである。
【図３】本発明の実施に関わる、ＭＰＥＧ−２ ＴＳの分割処理を示すフローチャートである。
【図４】本発明の実施に関わる、ＭＰＥＧ−２ ＴＳの分割処理を示すフローチャートである。
【図５】ＭＰＥＧ−２ ＴＳのデータ構造概略図である。
【図６】従来のＭＰＥＧ−２ ＴＳの分割処理を示す図である。
【図７】ＭＰＥＧ−２ ＴＳパケットの種別とデータ構造である。
【図８】ＭＰＥＧ−２ ＴＳパケットの種別とデータ構造である。
【図９】ＭＰＥＧ−２ ＴＳパケットの種別とデータ構造である。
【図１０】本発明の実施に関わる、装置の構成である。
【図１１】本発明の実施に関わる、装置の構成である。
【符号の説明】
ＶＨ ＧＯＰの先頭となる映像情報を持つＭＰＥＧ−２ ＴＳパケット
Ｖ 映像情報を持つＭＰＥＧ−２ ＴＳパケット
ＡＨ 音声フレームの先頭となる音声情報を持つＭＰＥＧ−２ ＴＳパケット
Ａ 音声情報を持つＭＰＥＧ−２ ＴＳパケット
Ｎ 映像情報、音声情報を持たないＮＵＬＬ ＴＳパケット[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method for editing MPEG2 transport stream data in which encoded digital video data and digital audio data are time-division multiplexed using a digital moving picture audio compression technology standard (Move Picture Experts Group: hereinafter referred to as MPEG). It is about.
[0002]
[Prior art]
At present, the MPEG standard defined by IEC / ISO 13818 as a known technique is a data system for transmitting video (video) and audio (audio) signals in satellite digital broadcasting and terrestrial digital broadcasting in Japan, Europe and the United States. The MPEG-2 TS (MPEG-2 transport stream) system is applied.
[0003]
Such data compressed by the MPEG-2 TS system can be written in a digital signal state as it is on a random accessible recording medium such as a hard disk, an optical disk, or a high-speed readable / writable semiconductor memory. If it can be saved as an accessible data file, it is possible to repeatedly watch high-quality AV programs at any time without deteriorating the image quality and sound quality, and to have random access playback with high responsiveness and program editing with a high degree of freedom May be possible.
[0004]
As shown in FIG. 5, the MPEG-2 TS is constituted by a TS packet (transport packet) having a fixed size of 188 bytes. The TS packet includes a header information part of 4 bytes and substantial AV information of the remaining 184 bytes. It has a payload information section.
[0005]
In the header information of the TS packet, there is an identifier (Packet ID: hereinafter, referred to as PID) for identifying whether the payload information of the TS packet following the header information is video data or audio data.
[0006]
The header information includes an information bit (unit_start_indicator) indicating whether or not new PES packet data starts in the payload information.
[0007]
If unit_start_indicator is “1”, it means that a new PES packet (Packetized Elementary Stream) starts, otherwise it means that the following payload data is a continuous part of PES packet data. .
[0008]
Furthermore, as special information of the TS packet, a Program Map Table (hereinafter, referred to as PMT) for managing map information of data constituting a stream is defined, and the TS packet and audio having a video signal corresponding to the packet data are defined. The PID of a TS packet having data is uniquely determined.
[0009]
As a conventional example using the above-described technique, an editing process for dividing an MPEG-2 TS recorded on a randomly accessible recording medium into two will be described.
[0010]
FIG. 5 shows a schematic diagram of a data structure in a case where the data is recorded on a randomly accessible recording medium using the MPEG-2 TS format.
[0011]
As a symbol in FIG. 5, V represents a TS packet having video information, and A represents a TS packet having audio information. The V H it is the head of the GOP to be edited unit by the user with respect to TS packets having video information, A H indicates the presence of the head of the audio frame data on TS packets having the audio information. Figures subjecting V, A, V H, the A H indicates the synchronized playback timing.
[0012]
Usually, the timing at which the video signal and the audio signal are multiplexed depends on the function of the audio signal and the video signal encoding device and the decoding specification of the MPEG standard. In most cases, an audio frame signal converted into a TS packet exists in the middle of a video signal.
[0013]
When a user issues a request to divide the MPEG-2 TS data recorded on the recording medium by the above method at, for example, a position DIV which is a boundary of a GOP unit shown in the figure, the division editing shown in FIG. Data M1 and M2 are generated.
The techniques described above are disclosed in, for example, Non-Patent Document 1, Non-Patent Document 2, and Non-Patent Document 3.
[0014]
[Non-patent document 1]
Point illustration formula Latest MPEG textbook Supervision Hiroshi Fujiwara Multimedia Communication Research Society ASCII Publishing Office [Non-patent document 2]
All about image & audio compression technology (essential technology in the era of Internet, digital television and mobile communications) Supervised by Hiroshi Fujiwara CQ Publishing Company [Non-Patent Document 3]
Introduction to basic technology of digital broadcasting (new information infrastructure following the Internet and mobile communication) CQ Publisher
[Problems to be solved by the invention]
The following problems exist in a system that records and edits a video signal and an audio signal that are compression-encoded by the MPEG method in a TS (transport stream) state.
[0016]
First, a video signal is MPEG-compressed in GOP units. However, the length of one frame of image data is not constant depending on the type of image (I picture, P picture, B picture), picture design, and the like (at a fixed rate). Not compressed). On the other hand, audio signals are compressed at a fixed rate. Therefore, even if the corresponding video signal and audio signal are encoded at the same time, there is a possibility that the packet of the corresponding video signal and audio signal is placed at a remote position on the TS.
[0017]
Second, as shown in the conventional example, when the MPEG-2 TS is divided at the division position DIV in FIG. 6, a TS packet having audio information in the middle of a TS packet having 1 GOP of video information near the division position Exists in the stream created as data from the beginning of the stream to the division position, the data having the last audio information is used in the stream created as data from the division position to the end of the stream. The data becomes incomplete audio data that does not satisfy the data structure of the audio frame as the minimum decoding unit.
[0018]
Due to the above problem, when editing is performed to divide transport stream data multiplexed in a structure in which video signal and audio signal packets are arranged at distant positions on the TS, the timing of connection of video signals The timing of the connection between the stream data and the audio signal is shifted, resulting in poor decoding at the time of reproducing the transport stream data after the division processing, resulting in the generation of abnormal noise or a silent state that gives a sense of strangeness to the user.
[0019]
[Means for Solving the Problems]
A video / audio signal editing method according to the present invention is a video / audio signal editing method for time-division multiplexed and compressed video signal data and audio signal data by the MPEG-2 transport stream method.
If the divided video signal data includes a transport packet of audio signal data that does not satisfy the data structure of the decoding unit when the divided video signal data is divided and edited at the boundary of the video signal data constituting the GOP (Group Of Pictures). The overwrite recording is performed by replacing the transport packet with a transport packet having no video information and no audio information.
[0020]
The present invention relates to a TS packet having audio frame data before and after a division position when there is audio frame information multiplexed over video information data constituting a GOP at a division position of an MPEG-2 TS to be edited. Is replaced by a dummy TS packet having neither video information nor audio information.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0022]
As an embodiment according to the present invention, a division editing process of MPEG-2 TS data recorded on a randomly accessible recording medium will be described with reference to FIG. 1 and FIGS. 2 to 4 which are flowcharts showing the division processing procedure. . FIGS. 7 to 9 show the data type of the TS packet composed of 188-byte data and the data structure for each data type. 7 shows the data structure of a video (video) / audio (sound) packet, FIG. 8 shows the data structure of a NULL packet, and FIG. 9 shows the data structure of a PMT packet.
[0023]
FIG. 1 is a schematic diagram of a data structure of AV information which has been recorded on a recording medium and subjected to time-division multiplex compression in the MPEG-2 TS format. In response to a request from the user, the MPEG-2 TS data recorded on the recording medium is divided at a division position DIV which is a boundary of a GOP unit shown in the figure.
[0024]
As shown in FIG. 2, it is assumed that a user requests stream division of an MPEG-2 TS at a TS packet position corresponding to the boundary of GOP data represented by DIV in FIG. 1 (step S1).
[0025]
First, for two MPEG-2 TSs M1 and M2 generated after division, a Program Map Table (PMT) having stream information is detected (step S2). If it cannot be detected, the next TS packet is searched.
[0026]
After the PMT is detected, an identifier (PID) of a TS packet having audio information is obtained from the data (step S3).
[0027]
After the PMT is detected, an identifier (PID) of a TS packet constituting the video and audio data of the stream is obtained and stored. By this processing, packet data before and after the division position is identified, and the video data TS packet and the audio data TS packet, which will be described later, are divided, that is, with respect to the TS packet data forming the division position before and after, the video TS packet is left as it is, The packet can be replaced with a NULLTS packet.
[0028]
In accordance with the above-mentioned division request, two MPEG-2 TSs of the data M1 from the head of the MPEG-2 TS data before division to the division position and the data M2 from the division position to the end are generated (step S4).
[0029]
In the prior art, since the divided editing process was completed at the above stage, the existence of audio information having an incomplete data structure was allowed. In the present embodiment, however, one audio frame existing across the division position is allowed. Is searched for an audio transport packet (audio TS packet) area, and a NULL TS packet (PID (0x1FFF) of a NULL packet in the MPEG standard) that has neither video information nor audio information is uniquely specified for the data area. Therefore, the transmission of the payload of the TS packet to the decoder is prohibited, that is, the TS packet is ignored as data.)
[0030]
In the present embodiment, processes (Steps S6 and S7) relating to audio data are respectively performed on M1 and M2 after division. FIG. 3 shows the process of step S6, and FIG. 4 shows the process of step S7.
[0031]
(Process for M1)
As shown in FIG. 3, at M1, a search for audio TS packets is performed in the forward direction toward the head of the stream with the division position as the end of the stream. That is, it is determined whether or not the searched TS packet is a video TS packet (step S61). If the searched TS packet is a video TS packet, a further previous TS packet is searched (step S64). It returns to step S61 to make a determination.
[0032]
If it is not a video TS packet, it is determined whether it is an audio TS packet (step S62). If it is not an audio TS packet, a further previous TS packet is searched (step S64). It returns to step S61 to make a determination. On the other hand, if the packet is a voice TS packet, the header information of the TS packet is read, and an information bit (unit_start_indicator) is checked in the payload data of the TS packet as to whether or not new PES packet data starts (step S63).
[0033]
If unit_start_indicator is "0", the TS packet is overwritten and recorded with NULL TS packet data having neither video information nor audio information (step S65). After the overwrite recording, the previous TS packet is searched (step S64), and the process is repeated again.
[0034]
If the unit_start_indicator is “1”, the TS packet data is overwritten and recorded with a NULL TS packet (step 66), and the series of division processing ends.
[0035]
(Process for M2)
As shown in FIG. 4, in M2, a search is made for audio TS packets with the division position as the stream head and toward the stream end. That is, it is determined whether or not the searched TS packet is a video TS packet (step S71). If the searched TS packet is a video TS packet, the next TS packet is further searched (step S74). It returns to step S71 to make a determination.
[0036]
If it is not a video TS packet, it is determined whether or not it is an audio TS packet (step S72). If it is not an audio TS packet, a further TS packet is searched (step S74). It returns to step S71 to make a determination. On the other hand, if the packet is a voice TS packet, the header information of the TS packet is read, and an information bit (unit_start_indicator) is checked in the payload data of the TS packet as to whether or not new PES packet data starts (step S73).
[0037]
If the unit_start_indicator is "0", the TS packet is overwritten and recorded with NULL TS packet data having neither video information nor audio information (step S75). After the overwrite recording, the next TS packet is searched (step S74), and the process is repeated again.
[0038]
When the unit_start_indicator is “1”, the series of division processing ends without doing anything.
[0039]
As an embodiment for performing the above-described editing processing of the MPEG stream according to the present invention, as shown in FIG. 10, an imaging system incorporating a disk-shaped recording medium or a semiconductor memory medium or the like as an AV data recording apparatus, or FIG. As shown in FIG. 11, the recording apparatus can be applied to a system that can access data on a recording medium by using the recording apparatus as one of peripheral devices of a PC.
[0040]
FIG. 10 is a block diagram showing a handy camcorder equipped with an editing function. 10, reference numeral 11 denotes a display device such as an EVF or LCD, 12 denotes an imaging device serving as a camera unit, 13 denotes an MPEG encoder / decoder, 14 denotes a disk-shaped recording device such as a hard disk or an optical disk, and 15 denotes a semiconductor memory recording device. It is. Video / audio information captured by the camera unit 12 is encoded by an MPEG encoder / decoder 13 and recorded on a disk-shaped recording medium of a disk-shaped recording device 14 or a semiconductor memory of a semiconductor memory recording device 15. The video / audio information photographed by the camera unit 12 or the information recorded in the disc-shaped recording device or the semiconductor memory recording device is decoded by the MPEG encoder / decoder 13 and displayed on the display device 11. The information recorded on the disk-shaped recording medium is temporarily read out to the buffer memory. The above-described split editing process of the MPEG stream is performed by, for example, the disk recording device 14. The disk-shaped recording device 14 includes a semiconductor memory and a data processing unit that reads data recorded in the semiconductor memory and performs the division editing process illustrated in FIGS. The identifier (PID) of the TS packet constituting the video and audio data of the stream obtained after the detection of the PMT is stored in the semiconductor memory. The processing shown in FIGS. 3 and 4 may be performed sequentially or may be performed in parallel. Parallel processing can be realized by providing two semiconductor memories and two data processing units.
[0041]
The divided editing processing shown in FIGS. 2 to 4 can be realized by operating editing software on a computer as shown in FIG.
[0042]
A program for performing the split editing process shown in FIGS. 2 to 4 is stored in a disk device 23 such as a hard disk device in FIG. 11, data read from the optical disk device 24 is stored in a semiconductor memory 26, and the data is read by a CPU 25 serving as arithmetic means. By executing the program, the divided editing process shown in FIGS. 2 to 4 is executed.
[0043]
The video signal data and the audio signal data which have been time-division multiplexed and compressed by the MPEG-2 transport stream system are recorded on the optical disk device 24, and when the user makes a divisional editing request from input means such as the keyboard 21, the CPU 25 Performs processing based on the above-described program describing the flow of each step in FIGS. The LCD 22 is a liquid crystal device serving as a display unit for reproducing a processing status and a video / audio signal. Reference numeral 27 denotes a bus such as a data bus.
The embodiments of the present invention have been described above, but the preferred embodiments of the present invention are the following.
[0044]
(Embodiment 1) In an editing method of video signal data and audio signal data recorded on a recording medium and time-division multiplexed and compressed by an MPEG-2 transport stream method,
If the divided video signal data includes a transport packet of audio signal data that does not satisfy the data structure of the decoding unit when the divided video signal data is divided and edited at the boundary of the video signal data constituting the GOP (Group Of Pictures). A video / audio signal editing method, wherein a transport packet is replaced with a transport packet having neither video information nor audio information, and overwritten on the recording medium.
[0045]
(Embodiment 2) In the video / audio signal editing method according to Embodiment 1, the overwrite recording is performed when a user requests division processing of an MPEG-2 transport stream file. Audio signal editing method.
[0046]
(Embodiment 3) The video / audio signal editing method according to embodiment 1 or 2, wherein the recording medium is a randomly accessible recording medium.
[0047]
(Embodiment 4) In an MPEG-2 transport stream recording / reproducing apparatus for editing video signal data and audio signal data recorded on a recording medium and time-division multiplexed and compressed by the MPEG-2 transport stream method,
The identification information of the transport packets constituting the video and audio data is obtained and stored in the storage means. Based on the identification information, it is determined whether the packet data before and after the division position is a video transport packet or an audio data transport packet. ,
If the divided video signal data includes a transport packet of audio signal data that does not satisfy the data structure of the decoding unit when the divided video signal data is divided and edited at the boundary of the video signal data constituting the GOP (Group Of Pictures). An MPEG-2 transport stream recording / reproducing apparatus, comprising: means for replacing a transport packet with a transport packet having neither video information nor audio information and performing overwrite recording on the recording medium.
[0048]
(Embodiment 5) In the MPEG-2 transport stream recording / playback apparatus according to Embodiment 4, the overwrite recording is performed when a user requests a division process of an MPEG-2 transport stream file. MPEG-2 transport stream recording / reproducing apparatus.
[0049]
(Embodiment 6) The video / audio signal editing apparatus according to Embodiment 4 or 5, wherein the recording medium is a random accessible recording medium.
[0050]
(Embodiment 7) In an editing program for video signal data and audio signal data time-division multiplexed and compressed by the MPEG-2 transport stream system,
The identification information of the transport packets constituting the video and audio data is obtained and stored in the storage means. Based on the identification information, it is determined whether the packet data before and after the division position is a video transport packet or an audio data transport packet. ,
When the arithmetic means performs divisional editing at the boundary of video signal data constituting a GOP (Group Of Pictures), there is a transport packet of audio signal data that does not satisfy the data structure of the decoding unit in the divided video signal data. A video / audio signal editing program to be executed by a computer, wherein the transport packet is replaced with a transport packet having neither video information nor audio information.
[0051]
【The invention's effect】
As described above, according to the present invention, when two streams generated after division are decoded and reproduced, audio data that may give a user a sense of discomfort is removed, and comfortable viewing of AV information is realized. be able to.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an MPEG-2 TS division process according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a process of dividing an MPEG-2 TS according to an embodiment of the present invention.
FIG. 3 is a flowchart showing a process of dividing an MPEG-2 TS according to an embodiment of the present invention.
FIG. 4 is a flowchart showing a process of dividing an MPEG-2 TS according to an embodiment of the present invention.
FIG. 5 is a schematic diagram of a data structure of MPEG-2 TS.
FIG. 6 is a diagram showing a conventional MPEG-2 TS division process.
FIG. 7 shows the type and data structure of an MPEG-2 TS packet.
FIG. 8 shows the type and data structure of an MPEG-2 TS packet.
FIG. 9 shows the type and data structure of an MPEG-2 TS packet.
FIG. 10 shows a configuration of an apparatus according to an embodiment of the present invention.
FIG. 11 shows a configuration of an apparatus according to an embodiment of the present invention.
[Explanation of symbols]
MPEG-2 TS packet having video information at the beginning of VH GOP V MPEG-2 TS packet A having video information A MPEG-2 TS packet having audio information at the beginning of H audio frame MPEG-M having audio information 2 TS packet N NULL TS packet without video information and audio information
