JP4704972B2 - ストリーム編集方法及びストリーム編集装置 - Google Patents

Description

本発明は、少なくとも音声データを含むデータストリームを編集するストリーム編集方法及びストリーム編集装置に関し、特に、圧縮したままのストリームに対応した編集を実行するためのストリーム編集方法及びストリーム編集装置に関する。

近年のデジタル技術の発展に伴い、ＭＰＥＧ（Moving Picture Experts Group）方式のようなデジタル方式の音声／画像圧縮ストリームをディスクに保存し再生する装置が実用化されている。このような装置のひとつにＤＶＤ（Digital Versatile Disk）レコーダやハードディスクレコーダがある。これらの装置では記録したストリームを別のディスクに保存する場合に、ストリームを分割して必要な部分を選択してつなぎ合わせることが行なわれる。通常はビデオのデコード画像を基準に編集を行う。しかしながら、ビデオとオーディオのストリームは時分割して記録されているため、編集後のストリームの接続箇所はオーディオやビデオのストリームに情報の欠落などが生じ、これによりノイズが発生する場合がある。

これに対し、特許文献１には、分割処理を行っても違和感を与える異音の発生や無音状態の発生の防止を図ったＭＰＥＧ−２トランスポートストリームの編集方法及び装置が開示されている。この特許文献１に記載の編集方法においては、ランダムアクセス可能な記録媒体上に記録され、ＭＰＥＧ−２トランスポート方式によって時分割多重化圧縮されたビデオ信号とオーディオ信号データの編集を行う。この場合、分割編集時にＧＯＰ（Group of Pictures）を構成するビデオ情報データの境界となる編集位置で、ビデオ情報の途中でオーディオ情報が途中に存在する場合には、分割位置から前方のストリームには分割位置を跨ぐオーディオフレームデータが完全な構成となるようにビデオ情報を持つＴＳパケットをダミーＴＳパケットデータに書き換え、分割位置以降のストリームには分割位置でのビデオ情報の再生タイミングと一致するオーディオ情報ＴＳパケットデータが現れるまでオーディオＴＳパケットをダミーＴＳパケットで上書きするものである。

また、特許文献２には、映像信号と音声信号のパケットがＴＳ上の離れた位置に配置される構造で多重化されたトランスポートストリームデータを途中で分割するような編集を実行すると、映像信号のつながりのタイミングと音声信号のつながりのタイミングがずれ、分割処理後のトランスポートストリームデータの再生時にデコード不良となり、ユーザに違和感を与えるような異音の発生や無音状態を生じてしまうことを課題とした映像・音声信号編集方法が開示されている。この特許文献２に記載の編集方法においては、ＭＰＥＧ−２トランスポートストリーム方式によって時分割多重化圧縮された映像信号データと音声信号データの編集を行なう。この場合、ＧＯＰを構成する映像信号データの境界で分割編集したとき、分割された映像信号データ内に復号単位のデータ構造を満たさない音声信号データのトランスポートパケットが存在する場合に、該トランスポートパケットを、映像情報及び音声情報を持たないトランスポートパケットで置き換えて、上書き記録を行う。
特開２００５−１１７５５６号公報 特開２００４−３３６１２８号公報

しかしながら、この特許文献に記載されたデータ処理装置においては、オーディオデータの接続点でオーディオデータの連続性が途切れるためにノイズが発生するという問題点がある。この問題が発生する原因は、ＡＶ同期をとることを優先してオーディオデータが不連続になることに起因する。

すなわち、編集箇所におけるオーディオパケットを、特許文献１に記載のダミーパケットや、特許文献２に記載の、映像情報及び音声情報を持たないトランスポートパケットに置き換えられても、デコードの際には、これらのパケットは削除されるため、不連続なオーディオ・フレームが接続される結果となる。よって、上述のような編集では接続部のデータの不連続性に起因するノイズを防止することができないという問題点がある。

本発明に係るストリーム編集方法は、少なくとも音声データを含むデータストリームの当該音声データをデコードするステップと、デコードされた前記音声データにおいて、第１の編集点と前記第１の編集点より時間的に後の第２の編集点を接続する編集を行う場合には、前記第１の編集点を含むフレームと前記第２の編集点を含むフレームの内の一方は削除し他方は残して当該編集点の接続点を決定し、前記第１の編集点より時間的に少なくとも１フレーム前の第３の編集点から、前記接続点までをフェイドアウトしてフェイドアウトフレームとし、前記接続点から、前記第２の編集点より時間的に少なくとも１フレーム後の第４の編集点までをフェイドインしてフェイドインフレームとし、前記第１の編集点と前記第２の編集点とが、無音のフレームを介すことなく接続されるようにするステップと、前記フェイドアウトフレーム及び前記フェイドインフレームを有する編集フレームを生成し、再エンコードするステップと、を有するものである。

本発明においては、データストリームを途中で切断して終了する場合、切断した位置から開始させる場合、又は切断したストリームを接続する場合において、フェイドアウトさせて終了させるか、フェイドインしながら開始させるか、接続点でフェイドインしてフェイドアウトさせることでデータストリームが不連続となってもノイズを発生させることがない。

本発明に係る他のストリーム編集方法は、ＭＰＥＧ形式の映像データを少なくとも含むデータストリームの第１の編集点と前記第１の編集点より時間的に後の第２の編集点とを接続して編集するストリーム編集方法であって、前記第２の編集点までに含まれる最新の量子化マトリクスに関する情報を含む更新シーケンス情報を生成し、前記第２の編集点より時間的に前のイントラピクチャ又はＧＯＰの先頭を検出し、前記更新シーケンス情報を挿入し、前記第１の編集点と第２の編集点とを接続した編集映像ストリームを生成するものである。

本発明においては、第１の編集点及び第２の編集点でデータストリームを接続する際に、第２の編集点までに含まれる最新の量子化マトリクス情報を含む更新シーケンス情報を生成して挿入するので、第２の編集点以降も正しく再生することができる。

本発明によれば、データストリームを編集した場合のオーディオ・フレームの不連続に起因するノイズを防止することができるストリーム編集方法及びストリーム編集装置を提供することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態にかかる編集装置を示すブロック図である。編集装置１は、ＡＶ分離部１１、ビデオ処理部２０、オーディオ処理部３０、及びストリーム生成部１２とを有する。ＡＶ分離部１１には、例えばＭＰＥＧ−２トランスポートストリーム（ＴＳ：Transport Stream）などのＡＶ（Audio Video、Audio Visual）データが入力され、ビデオパケット、オーディオパケットを分離し、ビデオ処理部２０へビデオパケットを、オーディオ処理部３０へオーディオパケットを入力する。

ビデオ処理部２０は、検出部２１、更新シーケンス情報生成部２２、シーケンス情報挿入部２３、及びビデオ編集部２４を有する。オーディオ処理部３０は、編集点検出部３１、編集フレーム生成部３２、及びオーディオ編集部３３を有する。

本実施の形態にかかる編集装置は、ＡＶデータにおける第１の編集点（以下、Ａ点という。）と、Ａ点より時間的に後の第２の編集点（以下、Ｂ点という。）との間のデータは削除し、Ａ点とＢ点とを繋ぐ編集をした際に、編集後のストリームを再生してもノイズが発生することなく、ユーザの聴感上又は視覚上、問題がない品質で再生することができる編集ストリームを生成するものである。先ず、オーディオの処理について説明する。なお、編集処理は、例えばＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現されるものである。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

編集点検出部３１は、ユーザ等外部から指示されたＡ点及びＢ点を含むオーディオ・フレームを検出する。図２は、オーディオの編集方法を説明するための図である。映像や音声にはそれぞれアクセスユニットと呼ばれる復号・再生の単位がある。ビデオであれば１フレームであり、オーディオであれば、１オーディオ・フレームである。この単位ごとに基準時間のどこで復号し、いつ再生すればよいかを示すタイムスタンプがＰＥＳパケット・ヘッダのＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）などに再生時刻情報として記述される。Ａ点及びＢ点は、アクセスユニットを再生する時刻ＰＴＳなどの時間情報により指定される。以下の説明においては、第７フレームにＡ点、第１４フレームにＢ点が含まれている場合について説明する。

編集点検出部３１は、Ａ点、Ｂ点を含むオーディオ・フレームを検出する。ここで、オーディオパケットにオーディオ・フレームの先頭がある場合にのみ、また、２以上のオーディオ・フレームが含まれる場合には先頭のオーディオ・フレームにのみ、そのオーディオ・フレームに対応するオーディオＰＴＳがパケット・ヘッダに付加される。すなわち、オーディオ・フレーム全てに対応するＰＴＳが付加されているわけではないため、各オーディオ・フレーム毎のＰＴＳは、オーディオＰＴＳと、各フレームの再生時間とから算出する。

編集フレーム生成部３２は、Ａ点より時間的に前の少なくとも１フレームをフェイドアウトしたフェイドアウトフレームと、Ｂ点より時間的に後の少なくとも１フレームをフェイドインしたフェイドイントフレームとを有する編集フレームを生成する。

図３は、編集フレーム生成部３２の構成を示すブロック図である。編集フレーム生成部３２は、無音生成部４１、フレーム置換部４２、デコーダ４３、フェイドアウト／フェイドイン処理部４４、及びエンコーダ４５を有する。

無音生成部４１は、記録されているオーディオのサンプリング周波数及び圧縮形式に合わせて無音のオーディオ・フレームを生成し、後述するエンコーダ４５などによりエンコードする。または、無音のオーディオ・ストリームを生成してもよい。

フレーム置換部４２は、編集点検出部３１がＡ点、Ｂ点を含むオーディオ・フレームを検出したら、Ａ点より数フレーム前（以下、これをＡ'点という。）と、Ｂ点より数フレーム後（以下、これをＢ'点という。）とを検出する。そして、Ａ'点とＢ'点との間を、無音生成部４１が生成した無音フレームに置き換える。Ａ'点は、Ａ点より２、３フレーム前、Ｂ'点は、Ｂ点より２、３フレーム後であることが好ましい。編集部分（編集フレーム）が合計４フレーム程度あれば、当該編集点における再生音が２０Ｈｚ〜２０ｋＨｚの可聴帯域に入らないようにすることができるためである。

デコーダ４３は、図２（ｂ）に示すようにＡ'点とＢ'点との間を無音フレームに置き換えたオーディオ・ストリームにおいて、少なくともＡ'−Ａ点を含む近傍数フレーム、Ｂ'−Ｂ点を含む近傍数フレームをデコードする。なお、デコード後に上述の無音オーディオ・ストリームで置換するようにしてもよい。

フェイドアウト／フェイドイン処理部４４は、先ず、Ａ'点における音をフェイドアウトさせる。フェイドアウトは１フレーム又はそれ以下で行なうことができる。また、Ｂ'点の音をフェイドインさせる。このフェイドインも同じく、１フレーム又はそれ以下で行なうことができる。

エンコーダ４５は、フェイドアウト／フェイドイン処理後のオーディオ・フレームを再エンコードする。

なお、本実施の形態においては、Ａ点とＢ点とを繋ぐ処理について説明するが、Ａ点が編集終了点、Ｂ点が編集開始点となる場合には、Ａ点のみ又はＢ点のみ処理を行えばよい。すなわち、編集点がＡ点で終了する場合には、Ａ点の数フレーム前のフレームをフェイドアウトフレームとし、それ以降のオーディオ・フレームを無音のフレームとする。また、Ｂ点を編集開始点とする場合には、Ｂ点の数フレーム後のフレームをフェイドアウトフレームとし、それ以前のオーディオ・フレームを無音のフレームに置き換えればよい。このような場合であっても、フェイドインフレーム又はフェイドアウトフレーム、及び無音フレームにより、編集点における雑音を防止することができる。

図１に戻ってオーディオ編集部３３は、図２（ｃ）に示すように、Ａ点、Ｂ点の間の不要なデータを削除し、Ａ点とＢ点とを繋ぐ処理をする。この場合、Ａ点、Ｂ点を含むオーディオ・フレーム（第７フレーム、第１４フレーム）のうち、一方を削除し、一方を残すようにすることで、編集後のストリームの再生時間の誤差がなくなるように調整を行なう。すなわち、Ａ点、Ｂ点を含むオーディオ・フレームをいずれも削除すると、削除部分が本来指定されたＡ点とＢ点との間の時間間隔より長くなり、また、Ａ点、Ｂ点を含むオーディオ・フレームをいずれも残すと、削除部分が指定された上記時間間隔より短くなる。そこで、Ａ点、Ｂ点を含むオーディオ・フレームのうち一方のみを削除する。
図２に示す例では、Ａ点は第７フレームに含まれ、Ｂ点は第１４フレームに含まれている。この場合は、例えば図２（ａ）に示すように、Ａ点を含む第７フレームからＢ点を含む第１４フレームの１つ手前の第１３フレームまでを削除し、図２（ｃ）に示すように、第６'フレームと第１４'フレームとが接続されたものとなる。なお、Ａ点を含む第７フレームの１つ後の第８フレームからＢ点を含む第１４フレームまでを削除するようにしてもよい。

また、本例においては、第５'フレームがフェイドインフレームとなり、第６'、第１４'フレームが無音フレームとなり、続く第１５'フレームがフェイドアウトフレームになっているが、第５'、第６'フレームの２フレームをフェイドインフレームとしてもよい。そして、続く第１４'、１５'フレームの２フレームをフェイドアウトフレームとしてもよい。この場合は、無音フレームを挿入しなくても、第４'、５'、１４'、１５'フレームからなる編集フレームにおいて５'、１４'の接続点で可聴域のノイズが発生することを防止することができる。すなわち、二つの編集点を接続した接続点前後の複数フレームで可聴域のノイズが生成されないように編集できればよい。

更に、図２に示す例においては、Ａ'点とＢ'点との間のフレーム全てを無音フレームに置き換えることとしているが、Ａ点、Ｂ点の近傍のみ取り出して処理をすることも可能である。すなわち、Ａ点であれば、Ａ点を含むフレームから数フレームを抜き出し、Ｂ点であれば、Ｂ点を含むフレームから数フレームを抜き出し処理を行えばよい。

次に、ビデオ編集部について説明する。ＭＰＥＧ−２のビデオデータは、図４に示す階層構造を有する。最上位のシーケンス層は、複数のピクチャの集合であるＧＯＰの繰り返しからなる。

ＧＯＰは、はそれぞれ符号化アルゴリズムの異なる３種類のピクチャ（Ｉ、Ｐ、Ｂ）の組み合わせにより構成されている。Ｉピクチャは画像内符号化により作られるもので、前画像からの予測符号化を行わない、すなわち、他の画像を参照せずにピクチャ内符号化を行なうものであり、復号に必要な全ての情報を有する画像である。Ｐピクチャは時間的に前のＩピクチャ又はＰピクチャを参照してピクチャ間予測符号化を行なうピクチャであり、したがって、ストリーム順で先行する既に復号化されたＩピクチャ又はＰピクチャの情報が必要な画像である。Ｂピクチャは、前後（過去及び未来）の２枚のＩピクチャ又はＰピクチャを使用し、双方向からの予測符号化を行うピクチャであり、復号には、ストリーム順で先行する既に復号化されたＩピクチャ又はＰピクチャ２画像の情報が必要な画像である。
そして、ＧＯＰには、順方向再生をした場合に先に表示されるＧＯＰのピクチャ情報を必要とするとＯｐｅｎＧＯＰと、先に表示されるＧＯＰのピクチャ情報を必要としないＣｌｏｓｅｄＧＯＰが存在し、ＣｌｏｓｅｄＧＯＰであればＩピクチャから始まり、ＯｐｅｎＧＯＰであればＢピクチャから始まる。

ピクチャは高さ１６画素の帯状の領域に分割される。これはスライスと呼ばれる。ＭＰＥＧ−２では、早送りや巻き戻し、エラー回復のためにシーケンスからスライスまでの各層の先頭に３２ビットのスタートコードを与えている。スライスは１個以上のマクロブロックから構成される。マクロブロックは１６×１６画素の領域に対応し、それぞれ８×８ 画素の４つの輝度ブロック（Ｙ）と、２つの色差ブロック（Ｃｂ、Ｃｒ）の６つのブロックから構成される。輝度ブロックまたは色差ブロックは離散コサイン変換（ＤＣＴ）により周波数成分に変換された後、低周波数のＤＣＴ係数から順に並べられる。

ストリームは、これら６階層ごとに細分化して伝送される。符号化データの伝送順序について説明する。先ず、先頭のシーケンス層としては、シーケンス層の開始同期コードであるＳＨＣ（Sequence Header Code）や、映像情報が映像として再生される際、一連の同じ属性をもつ画面（コマ）グループにおけるパラメータとして、再生映像の画面サイズに関するパラメータＨＳＶ（Horizontal Size Value）、ＶＳＶ（Vertical Size Value）、及びＡＲＩ（Aspect Ratio Information）が規定されている。ＨＳＶは、画像の横の画素数の下位１２ビットであり、ＶＳＶは、画像の縦のライン数の下位１２ビットである。

また、映像情報のビット・レートに関するパラメータとして、ＢＲＶ（Bit Rate Value）が、また、映像情報が復号される際に用いられるバッファの容量に関するパラメータとして、ＶＢＳＶ（VBV Buffer Size Value）が規定されている。ＢＲＶは、発生ビット量に対する制限のためのビット・レートの下位１８ビットを示し、ＶＢＳＶは、発生符号量仮想バッファの大きさ（ＶＢＶ）を決める値の下位１０ビットを示す。

さらに、ＤＣＴ（Discrete Cosine Transform）逆変換（画像伸長）時の量子化マトリックスの値として、ＬＩＱＭ（Load Intra Quantizer Matrix）、ＩＱＭ（Intra Quantizer Matrix）、ＬＮＩＱＭ（Load Intra Quantizer Matrix）、ＮＩＱＭ（Non Intra Quantizer Matrix）が規定されている。ＬＩＱＭは、イントラＭＢ用量子化マトリックスデータの存在を示す。ＩＱＭは、イントラＭＢ用の量子化マトリクスの値を示す。ＬＮＩＱＭは、非イントラＭＢ用量子化マトリクスのデータの存在を示す。ＮＩＱＭは、非イントラＭＢ用の量子化マトリクスの値を示す。本明細書においては、これらＬＩＱＭ、ＩＱＭ、ＬＮＩＱＭ、ＮＩＱＭを量子化マトリクス情報という。

続くＧＯＰ層は、ＧＳＣ（Group Start Code）、ＴＣ（Time Code）、ＣＧ（Closed GOP）、ＢＬ（Broken Link）が規定される。ＧＳＣは、ＧＯＰ開始同期コードであり、ＴＣは、シーケンスの先頭からの時間を示すコードであり、ＣＧは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグであり、ＢＬは、編集などによりＧＯＰ内の先頭のＢピクチャが正確に再生できないことを示すフラグである。

次いで、ピクチャ層は、映像情報が映像として再生される際の１枚の画面（コマ）について規定するパラメータが規定されている。また、シーケンス層とは別に、このマトリクス層にも、量子化マトリクス情報ＬＩＱＭ、ＩＱＭ、ＬＮＩＱＭ、ＮＩＱＭが規定されており、記述することができる。

スライス層には、例えば量子化特性など、１枚の画面を細分化した小画面に共通の情報が規定されている。また、続くマクロブロック層は、符号化の単位であり、１枚の画面（コマ）を所定のサイズに分割した画素ブロック（マクロブロック）について規定する、例えば動きベクトル値などのパラメータを含む。マクロブロック層には、マクロブロックの符号化モードを規定するためのパラメータとして、ＭＢＴ（Macroblock Type）、マクロブロックの量子化ステップサイズを規定するためのＱＳＣ（Quantizer Scale Code）等が規定されている。また、直前のマクロブロックに対する動きベクトルに関連する符号化値であるＭＨＣ（Motion Horizontal Code）やＭＶＣ（Motion Vertical Code）が規定されている。最後のブロック層には変換係数そのものが格納される。

ここで、ビデオストリームを編集すると、編集後の接続点以降のシーケンス情報が接続点前のシーケンス情報と異なる場合に画像にノイズが発生し、正しいシーケンス情報に更新されるまでノイズを出し続けるという問題が生じる。

このような問題に対し、特開２００５−３３３８２号公報には、ランダムアクセス可能な記憶媒体上に記憶されたＭＰＥＧストリームデータの途中の部分をトリミングした際に、安定した再生を行なうことを目的とした編集装置が開示されている。ＭＰＥＧ−２ストリームは、ＭＰＥＧ−２データの先頭以降に続くＭＰＥＧ−２データを、一連のシーケンスとして復号再生するために不可欠なビット・レート値や復号時の画像サイズ、圧縮方式などのシステム情報を持っていなければならない。

この公報に記載の技術においては、ＭＰＥＧ−２ＰＳストリームのトリミング、すなわち、その途中を一部分除去（削除）する処理を行なう場合、削除終了位置に後続するデータの直前の位置に、上記一連のシーケンスを復号再生するためのシステム情報を含むデータを生成し付加している。

ここで、上述したように、シーケンス層には、量子化マトリクス情報が記録される。また、ピクチャ層にも量子化マトリクス情報が記録される。これらの量子化マトリクス情報がなければ、ビデオデータを適切にデコードすることができない。ところが、シーケンス層に含まれる各情報（以下、シーケンス情報という。）は、シーケンス層の開始同期コードＳＨＣ（Sequence Header Code）が現れるタイミングで、それごと更新されるものであるのに対し、ピクチャ層の上記量子化マトリクス情報は、必要に応じて付加されるものである。以下、このピクチャ層に付加される量子化マトリクス情報を更新量子化マトリクス情報という。

上記公報の編集方法においては、Ｂ点の直前のシーケンス層の情報を検索し、シーケンス情報を付加することで、Ｂ点以降の再生を可能とするものである。しかし、シーケンス層とＢ点との間のピクチャ層に更新量子化マトリクス情報がある場合、更新量子化マトリクス情報を使用しなければＢ点以降の再生をすることができない。

すなわち、上記公報では、更新量子化マトリクス情報が考慮されていないため、編集時の接続点より前のシーケンス情報が接続点の後のシーケンス情報として使用するための正しい情報でない場合がある。これに起因し、不完全なストリームによるエラーを補正するためにノイズの状態を継続する課題を解決することはできない。

そこで、本実施の形態におけるビデオ編集部は、シーケンス情報をＢ点の前に付加する際に、更新量子化マトリクス情報があった場合には、更新量子化マトリクス情報で量子化マトリクス情報を更新してから付加するものである。このことにより、Ｂ点以降の再生を正しく行なうことができる。

図１に戻って、検出部２１は、編集点のビデオＰＴＳの検出と、後述する更新シーケンス情報の挿入位置の検出とを行なう。編集点のビデオＰＴＳの検出では、上述のＡ点、Ｂ点のビデオＰＴＳを検出する。更新シーケンス情報は、Ｂ点より時間的に前であってＢ点に最も近い挿入位置を検索する。挿入位置は、Ｂ点以前でＢ点に一番近いＩピクチャか、ＧＯＰの先頭とすることができる。すなわち、Ｂ点以降を再生するために必要なピクチャを検索するもので、後述のビデオ編集部２４における編集では当該ピクチャ以降のピクチャを残すことになる。なお、Ａ点以降であってＢ点以前のピクチャは再生はしない。

更新シーケンス情報生成部２２は、シーケンス層の量子化マトリクス情報を取得するためにシーケンス情報を収集するシーケンス情報収集部（不図示）と、ピクチャ層の更新量子化マトリクス情報を取得し、シーケンス情報の量子化マトリクス情報を更新量子化マトリクス情報に書き換えるシーケンス情報更新部（不図示）とを有する。シーケンス情報収集部は、シーケンススタートコードＳＨＣを検出し、シーケンス層の情報であるシーケンス情報をそのまま抜き出し保存する。そして、シーケンススタートコードを検出する毎に、シーケンス情報を上書き保存していく。

シーケンス情報更新部は、シーケンス層、ＧＯＰ層に続くピクチャ層に含まれる更新量子化マトリクス情報（ＬＩＱＭ、ＩＱＭ、ＬＮＩＱＭ、ＮＩＱＭ）が存在する場合、これを抜き出す。そして、既に保存されている最新のシーケンス情報の量子化マトリクス情報を、更新量子化マトリクス情報で書き換え、更新シーケンス情報とする。

シーケンス情報挿入部２３は、検出部２１からの挿入位置の通知を受け取ると、更新シーケンス情報生成部２２が更新した更新シーケンス情報を、当該挿入位置に挿入する。本実施の形態においては、シーケンス情報のみならず、ピクチャ層に存在する更新量子化マトリクス情報も考慮してシーケンス情報を更新するため、Ｂ点以降の再生を正しく行なうことができる。

ビデオ編集部２４は、Ａ点とＢ点とを接続し、その間の不要なストリームを削除する。ここで、上述したように、Ａ点以降でＢ点までのストリームを削除するのではなく、Ａ点以降で挿入位置までのピクチャを削除する。

ストリーム生成部１２は、以上のようにしてビデオ編集部２４で編集された編集ビデオストリームと、オーディオ編集部３３で編集された編集オーディオ・ストリームとを受け取り、編集したＡＶストリーム（編集ストリーム）を生成する。

次に、本実施の形態にかかるストリーム編集装置の動作について説明する。図５乃至図７は、ストリーム編集方法を説明する図であって、図５は、ストリーム編集装置の全体動作を説明する動作説明図、図６は、更新シーケンス情報の生成方法の詳細を示す図、図７は、オーディオ・ストリームの編集方法の詳細を示す図である。

ここで、図５に示すステップＳ１乃至Ｓ５のビデオストリームの編集動作と、ステップＳ７のオーディオ・ストリームの編集動作は並列的に実行される。ビデオストリームの編集においては、更新シーケンス情報の生成（ステップＳ１）と、ビデオＰＴＳ、挿入位置検出（ステップＳ２）とが並列的に実行される。

更新シーケンス情報生成部２２は、ＡＶ分離部１１からビデオストリームが入力されると更新シーケンス情報を生成する（ステップＳ１）。更新シーケンス情報は、上述したように、シーケンス層のシーケンス情報と、ピクチャ層の更新量子化マトリクス情報とから生成される。ここで、本実施の形態においては、更新シーケンス情報生成部２２は、編集点のＡ点、Ｂ点に拘わらず、ビデオストリームが入力されると更新シーケンス情報を生成するものとして説明するが、これに限るものではない。すなわち、Ｂ点以前の最新の更新シーケンス情報を生成することができればよいので、例えば、検出部２１によりＢ点のＰＴＳ情報の供給を受けてから、Ｂ点以前の最新の更新シーケンス情報を生成するようにしてもよい。

検出部２１は、更新シーケンス情報の生成と並列して、パケット・ヘッダに付加されたビデオＰＴＳを読出し、挿入位置の検出を行なう（ステップＳ２）。ここで、外部から指定されたＡ点、Ｂ点のビデオＰＴＳが存在しない場合がある。この場合、検出部２１は、Ａ点、Ｂ点より前であって最も近いＰＴＳを検出し、ピクチャの再生時間から、Ａ点、Ｂ点に一致するＰＴＳとなるピクチャを割り出す。

Ａ点、Ｂ点のビデオＰＴＳを検出し、そのピクチャを特定したら、Ａ点とＢ点との間であって、Ｂ点に最も近いＩピクチャ又はＧＯＰの先頭ピクチャ（Ｉピクチャ又はＢピクチャ）を検索する。以下、このピクチャを挿入ピクチャという。

検出部２１が挿入ピクチャを検出したら、更新シーケンス情報を挿入する（ステップＳ３）。更新シーケンス情報はシーケンス層の情報であるので、挿入ピクチャのピクチャ層の前にＧＯＰ層と共に挿入する。ここで、ＧＯＰ層としては上述したように４つの情報ＧＳＣ、ＴＣ、ＣＧ、ＢＬが規定されているが、これらの情報はシーケンス情報挿入部２３が生成する。そして、更新シーケンス情報、生成したＧＯＰ層を挿入ピクチャの前に挿入する。

そして、ビデオ編集部２４に、更新シーケンス情報が挿入されたビデオストリームが供給される。ビデオ編集部２４は、Ａ点とＢ点とを繋ぐ編集処理をする（ステップＳ４、Ｓ５）。編集処理は、Ａ点、挿入ピクチャの前でストリームを切断して接続する。

次に更新シーケンス情報の生成処理（ステップＳ１）について詳細に説明する。図６に示すように、ビデオストリームが検出されると（ステップＳ１１）、シーケンス情報の収集・保存処理（ステップＳ１２〜Ｓ１４）と、更新量子化マトリクス情報の取得・書き換え処理（ステップＳ１５〜Ｓ１７）とが並列的に実行される。

シーケンス情報の収集・保存処理では、シーケンススタートコードＳＨＣを検索する（ステップＳ１２）。シーケンススタートコードＳＨＣが検出されたらシーケンス層を抜き出し（ステップＳ１３）、図示せぬメモリに保存する（ステップＳ１４）。そして、検出部２１により挿入位置（挿入ピクチャ）が検出されるまで（ステップＳ１９）、ステップＳ１２からの処理を繰り返す。

一方、更新量子化マトリクス情報の取得・書き換え処理では、ピクチャ層における更新量子化マトリクス情報を検索する（ステップＳ１５）。更新量子化マトリクス情報が検出されたら、これを抜き出し（ステップＳ１６）、この更新量子化マトリクス情報により、ステップＳ１４でメモリに保存されているシーケンス情報の量子化マトリクス情報を更新する。そして、検出部２１により挿入位置が検出されるまで（ステップＳ１９）、ステップＳ１５からの処理を繰り返す。

挿入位置が検出されたら（ステップＳ１９：Ｙｅｓ）、この時点でメモリに保存されているシーケンス情報を更新シーケンス情報としてシーケンス情報挿入部２３に出力する。なお、更新シーケンス情報生成部２２は、挿入位置が検出されたタイミングで更新シーケンス情報を出力するのではなく、ステップＳ１４でシーケンス情報が保存されるか、又はステップＳ１７にてシーケンス情報の書換えが行なわれた時点で逐次更新シーケンス情報を出力するようにしてもよい。シーケンス情報挿入部２３は、検出部２１から挿入位置の通知を受けた時点で更新シーケンス情報生成部２２から受け取った最新の更新シーケンス情報を挿入ピクチャの前に挿入すればよい。

次に、以上のビデオ編集処理と同時に行なわれるステップＳ７のオーディオ編集処理について説明する。図７に示すように、オーディオ・ストリームを検出すると（ステップＳ３１）、編集点検出部３１は、先ず、オーディオ再生時刻情報としてのオーディオＰＴＳを検出する（ステップＳ３２）。

オーディオ・ストリームは、各オーディオ・フレーム毎のＰＴＳが付加されているわけではない。そこで、先ず、（ｎ−１）番目に付加されているオーディオＰＴＳを、ＰＴＳ＿Ａ（ｎ−１）、ｎ番目に付加されているオーディオ・フレームＰＴＳを、ＰＴＳ＿Ａ（ｎ）とすると、
ＰＴＳ＿Ａ（ｎ−１）＜Ａ点のビデオＰＴＳ＜ＰＴＳ＿Ａ（ｎ）
を満たす（ｎ−１）番目のオーディオＰＴＳを検出する。Ａ点のビデオＰＴＳは、例えば検出部２１より受け取ることができる。

ここで、（ｎ−１）番目のオーディオＰＴＳに対応するオーディオ・フレームと、ｎ番目のオーディオＰＴＳに対応するオーディオ・フレームとの間には、複数のオーディオ・フレームが存在する。そこで、次に、編集点検出部３１は、オーディオ・フレームの各再生時間を考慮し、ビデオの接続点ＰＴＳを含むオーディオ・フレームの検索を行なう（ステップＳ３３）。（ｎ−１）番目のオーディオＰＴＳに対応するオーディオ・フレームから、（ｍ−１）番目、ｍ番目のオーディオ・フレームを再生するまでの時間をＴ_ｍ−１、Ｔ_ｍとすると、
ＰＴＳ＿Ａ（ｎ−１）＋Ｔ_ｍ−１＜Ａ点のビデオＰＴＳ＜ＰＴＳ＿Ａ（ｎ−１）＋Ｔ_ｍ
を満たすｍを検索する。すなわち、（ｎ−１）番目のオーディオＰＴＳに対応するオーディオ・フレームから（ｍ−１）番目のオーディオ・フレームを、Ａ点を含むオーディオ・フレームとして検出することができる。Ｂ点を含むオーディオ・フレームも同様に検出することができる。

次いで、編集フレーム生成部３２がステップＳ３４〜Ｓ３７の処理を実行する。先ず、Ａ点、Ｂ点を含み、それぞれ各数フレームずつ前と後ろ（図２のＡ'点、Ｂ'点）の区間（編集区間）を、無音生成部４１が生成した無音フレームに置換する（ステップＳ３４）。次に、Ａ−Ａ'間、Ｂ−Ｂ'間を含むフレームをデコードする（ステップＳ３５）。このとき編集区間全てをデコードしてもよい。

そして、Ａ'点を例えば１フレームでフェイドアウトさせ、Ｂ'点より１フレーム前まで置き換えた無音のままとし、当該１フレームを使用してＢ'点にかけてＢ'の音をフェイドインさせる（ステップＳ３６）。なお、２フレーム以上使用してフェイドイン、フェイドアウトさせてもよく、１フレーム未満であってもよい。なお、本実施の形態におけるステップＳ３４においては、エンコードされた無音オーディオ・フレームに置換するものとして説明したが、デコード後のフェイドアウト乃至フェイドイン間を無音オーディオ・ストリームに置き換えるようにしてもよい。

次いでフェイドイン、フェイドアウト処理後のストリームをエンコードし（ステップＳ３７）、オーディオ編集部３３へ出力する。オーディオ編集部３３は、オーディオ・ストリームをＡ点、Ｂ点を含むフレームで切断し（ステップＳ３８）、不要なオーディオ・ストリームを削除する（ステップＳ３９）。ここで、オーディオ・ストリームを切断する際は、上述したように、一方の編集点を含むフレームを削除し、他方の編集点を含むフレームを残すことで、編集時間の調節をする。最後にストリームを接続してオーディオ・ストリームの編集を終了する（ステップＳ４０）。

本実施の形態においては、編集における接続点の前後のオーディオは無音に置き換えることで必要なオーディオの再生時間を維持しつつ接続点の音の急激な変化によるノイズを防止する。すなわち、編集部分のフレームがフェイドアウト、無音、フェイドインフレームからなるため、接続後のオーディオの再生時に急激な音の変化等によるノイズを防止することができる。

更に、編集時にＭＰＥＧのＱスケール・マトリクスなどＧＯＰやピクチャのヘッダの中で更新するシーケンスの更新情報を検出してシーケンス情報を再構築することにより、接続点以降の正しいシーケンス情報を得ることが可能となり画像のノイズを防止する。以上により、編集後のオーディオとビデオをユーザの聴感上又は視覚上、問題がない品質で再生をすることができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本発明の実施の形態にかかる編集装置を示すブロック図である。 本発明の実施の形態にかかる編集装置におけるオーディオの編集方法を説明するための図である。 本発明の実施の形態にかかる編集装置における編集フレーム生成部の構成を示すブロック図である。 ＭＰＥＧ−２のビデオデータの階層構造を示す図である。 本発明の実施の形態にかかる編集装置の編集方法を説明する図である。 図５における更新シーケンス情報の生成方法の詳細を示す図である。 図５におけるオーディオ・ストリームの編集方法の詳細を示す図である。

符号の説明

１１ ＡＶ分離部
１２ ストリーム生成部
２１ 検出部
２２ 更新シーケンス情報生成部
２３ シーケンス情報挿入部
２４ ビデオ編集部
３１ 編集点検出部
３２ 編集フレーム生成部
３３ オーディオ編集部
４１ 無音生成部
４２ フレーム置換部
４３ デコーダ
４４ フェイドアウト／フェイドイン処理部
４５ エンコーダ

Claims (13)

1. 少なくとも音声データを含むデータストリームの当該音声データをデコードするステップと、
   デコードされた前記音声データにおいて、第１の編集点と前記第１の編集点より時間的に後の第２の編集点を接続する編集を行う場合には、前記第１の編集点を含むフレームと前記第２の編集点を含むフレームの内の一方は削除し他方は残して当該編集点の接続点を決定し、前記第１の編集点より時間的に少なくとも１フレーム前の第３の編集点から、前記接続点までをフェイドアウトしてフェイドアウトフレームとし、前記接続点から、前記第２の編集点より時間的に少なくとも１フレーム後の第４の編集点までをフェイドインしてフェイドインフレームとし、前記第１の編集点と前記第２の編集点とが、無音のフレームを介すことなく接続されるようにするステップと、
   前記フェイドアウトフレーム及び前記フェイドインフレームを有する編集フレームを生成し、再エンコードするステップと、
   を有するストリーム編集方法。
2. 前記第１及び第２編集点は、外部から指定されることを特徴とする請求項１記載のストリーム編集方法。
3. 前記編集は、
   前記第１の編集点を含むフレームから前記第２の編集点を含むフレームの時間的に１つ前までのフレームのそれぞれを削除し、
   前記第１の編集点を含むフレームの時間的に１つ前のフレームと前記第２の編集点を含むフレームとを接続する
   ことを特徴とする請求項１又は２記載のストリーム編集方法。
4. 前記編集は、
   前記第１の編集点を含むフレームの時間的に１つ後のフレームから、前記第２の編集点を含むフレームとまでのフレームのそれぞれを削除し、
   前記第１の編集点を含むフレームと前記第２の編集点を含むフレームの時間的に１つ前のフレームとを接続する
   ことを特徴とする請求項１又は２記載のストリーム編集方法。
5. 前記データストリームはＭＰＥＧ（Moving Picture Experts Group）形式の映像データを含み、当該データストリームにおいて、第１の編集点と前記第１の編集点より時間的に後の第２の編集点とを接続して編集するものであって、
   前記映像データの前記第２の編集点までに含まれる最新の量子化マトリクスに関する情報を含む更新シーケンス情報を生成し、
   前記映像データにおける前記第２の編集点より時間的に前のイントラピクチャ又はＧＯＰ（Group of Pictures）の先頭を検出し、前記更新シーケンス情報を挿入し、
   前記第１の編集点と第２の編集点とを接続した編集映像ストリームを生成し、
   前記エンコーダによりエンコードされた編集音声ストリーム及び前記編集映像ストリームから編集データストリームを生成する
   ことを特徴とする請求項１記載のストリーム編集方法。
6. シーケンス層及びピクチャ層の情報を参照して前記更新シーケンス情報を生成する
   ことを特徴とする請求項５記載のストリーム編集方法。
7. 前記更新シーケンス情報の生成は、
   前記映像ストリームの前記第２の編集点までに付加されるもののうち最新のシーケンス層に含まれる少なくとも量子化マトリクスに関する情報をシーケンス情報として抜き出し、
   前記最新のシーケンス層から前記第２の編集点までの間のピクチャ層に、更新された量子化マトリクスに関する情報がある場合にはこれを抜き出して前記シーケンス情報を書き換える
   ことを特徴とする請求項６記載のストリーム編集方法。
8. 前記映像データにおける前記第１の編集点及び第２の編集点の再生時刻情報に基づき前記音声データにおける前記第１の編集点及び第２の編集点を含むフレームを検索し、前記編集フレームを生成する
   ことを特徴とする請求項５記載のストリーム編集方法。
9. 少なくとも音声データを含むデータストリームを編集するストリームの音声データをデコードするデコーダと、
   デコードされた前記音声データにおいて、第１の編集点と前記第１の編集点より時間的に後の第２の編集点を接続する編集を行う場合には、前記第１の編集点を含むフレームと前記第２の編集点を含むフレームの内の一方は削除し他方は残して当該編集点の接続点を決定し、前記第１の編集点より時間的に少なくとも１フレーム前の第３の編集点から、前記第１の編集点と前記第２の編集点との接続点までをフェイドアウトしてフェイドアウトフレームとし、前記接続点から前記第２の編集点より時間的に少なくとも１フレーム後の第４の編集点までをフェイドインしてフェイドインフレームとし、前記第１の編集点と前記第２の編集点とが無音のフレームを介すことなく接続されるようにし、前記フェイドアウトフレーム及び／又は前記フェイドインフレームを有する編集フレームを生成するフレーム編集部と、
   前記編集フレームを再エンコードするエンコーダとを有するストリーム編集装置。
10. 前記第１及び第２編集点は、外部から指定される
    ことを特徴とする請求項９記載のストリーム編集装置。
11. 前記データストリームはＭＰＥＧ形式の映像データを含み、当該データストリームにおいて、第１の編集点と前記第１の編集点より時間的に後の第２の編集点とを接続して編集するものであって、
    前記映像データにおける前記第２の編集点までに含まれる最新の量子化マトリクスに関する情報を含む更新シーケンス情報を生成する更新情報生成部と、
    前記映像データにおける前記第２の編集点より時間的に前のイントラピクチャ又はＧＯＰの先頭を検出し、前記更新シーケンス情報を挿入する更新情報挿入部と、
    前記第１の編集点と第２の編集点とを接続した編集映像ストリームを生成する編集映像ストリーム生成部と、
    前記エンコーダによりエンコードされた編集音声ストリーム及び前記編集映像ストリームから編集データストリームを生成する編集データストリーム生成部とを有する
    ことを特徴とする請求項９記載のストリーム編集方法。
12. 前記更新情報生成部は、シーケンス層及びピクチャ層の情報を参照して前記更新シーケンス情報を生成する
    ことを特徴とする請求項１１記載のストリーム編集装置。
13. 前記更新情報生成部は、前記第２の編集点前までに付加されるもののうち最新のシーケンス層に含まれる少なくとも量子化マトリクスに関する情報をシーケンス情報として抜き出し、当該最新のシーケンス層から前記第２の編集点までの間のピクチャ層に、更新された量子化マトリクスに関する情報がある場合にはこれを抜き出して前記シーケンス情報を書き換える
    ことを特徴とする請求項１１記載のストリーム編集装置。

Images