JP5131101B2 - 動画像編集装置および動画像編集プログラム - Google Patents

Description

本発明は、動画像編集装置および動画像編集プログラムに関する。

動画像データの圧縮技術として、Ｈ．２６４やＭＰＥＧ（Moving Picture Experts Group）−４ Ｐａｒｔ１０：ＡＶＣ（Advanced Video Coding）が標準化され、注目を集めている。具体的には、Ｈ．２６４は、ＩＴＵ−Ｔ（International Telecommunication Union−Telecommunication Standardization Sector）による勧告である。一方、ＭＰＥＧ−４ Ｐａｒｔ１０：ＡＶＣは、ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission） ＪＴＣ１（Joint Technical Committee 1）による標準である。Ｈ．２６４とＭＰＥＧ−４ Ｐａｒｔ１０：ＡＶＣとは技術的に同じ内容であるので、以下では、これらを総称して、Ｈ．２６４／ＡＶＣと呼ぶ。

Ｈ．２６４／ＡＶＣでは、Ｉ（Intra）ピクチャ以後のピクチャがＩピクチャ以前のピクチャを参照することを認めている。このようなピクチャの参照は、ピクチャのヘッダに含まれるframe_numやＰＯＣ（Picture Order Count）を用いて制御される。具体的には、frame_numは、参照されるピクチャをカウントアップするカウンタであり、ＰＯＣは、ピクチャの表示順序をカウントアップするカウンタであり、いずれも連続値となる。

ところで、図１１や図１２に示すように、動画像編集装置が２つの動画像データを結合する際、例えば、ＥＳ（Elementary Stream）２のＰ１２は、Ｐ（Predictive）ピクチャであるので、動画像編集装置は、Ｐ１２を再符号化する。すなわち、前方向の参照ピクチャがＰ１１からｐ９に変更されるので、動画像編集装置は、例えば、Ｐ１２をＩＤＲ（Instantaneous Decoding Refresh）ピクチャとして再符号化する。また、Ｐ１２をＩＤＲピクチャとして再符号化すると、frame_numやＰＯＣの値が『０』にリセットされるので、動画像編集装置は、後続ピクチャについても順次再符号化するとともに、後続ピクチャ全てのframe_numやＰＯＣを変更する。

この点、従来、例えば、図１３に示すように、動画像編集装置が、次のＩＤＲピクチャまでの間、後続ピクチャのヘッダを変更する手法が提案されている。また、例えば、frame_numやＰＯＣの値が不連続であることを示すフラグを符号化する手法が提案されている。なお、図１１および図１２は、従来の符号化データの結合を説明するための図であり、図１３は、ＩＤＲピクチャを用いた場合を説明するための図である。

特開２００７−６７８４２号公報 特開２００４−２７４７３２号公報

ところで、上記した従来の技術では、２つの動画像データを結合する際に、多数のピクチャのヘッダを変更しなければならないという課題があった。例えば、上記したように、次のＩＤＲピクチャまでの間、後続ピクチャのヘッダを変更する手法が提案されているが、先頭ピクチャ以外にＩＤＲピクチャが符号化されていない場合には、結局、後続ピクチャ全てのframe_numやＰＯＣを変更しなければならない。なお、不連続であることを示すフラグを符号化する手法も提案されているが、既存の復号装置との互換性を失うおそれがある。

なお、上記した課題は、動画像編集装置が、結合点のピクチャをＩＤＲピクチャとして再符号化する場合に限られない。例えば、動画像編集装置が、結合点のピクチャをＩピクチャとして再符号化する場合であっても、結合前の動画像データ各々においてframe_numやＰＯＣの値が既に設定されているので、frame_numやＰＯＣは、結合の結果、連続値とならなくなる。すると、動画像編集装置は、結合点以降、後続ピクチャ全てのframe_numやＰＯＣを変更しなければならない。

そこで、本発明は、上記した従来の技術の課題を解決するためになされたものであり、２つの動画像データを結合する際に、ヘッダを変更するピクチャの数を抑えることが可能な動画像編集装置および動画像編集プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、結合対象となる符号化データから、結合点の後続ピクチャを含む所定範囲のピクチャを抽出する。また、抽出した所定範囲のピクチャのヘッダに含まれる情報の内、復号時に連続値となるべき情報について、情報が当該所定範囲の内外で復号時に連続値となるように調整する調整情報を作成する。そして、抽出した所定範囲のピクチャのヘッダに、作成した調整情報を付加し、所定範囲のピクチャを再符号化する。

２つの動画像データを結合する際に、ヘッダを変更するピクチャの数を抑えることが可能になる。

以下に添付図面を参照して、本発明に係る動画像編集装置および動画像編集プログラムの実施例を詳細に説明する。なお、以下では、まず、実施例１に係る動画像編集装置の概要を説明し、続いて、実施例１に係る動画像編集装置の構成、処理手順、効果を説明する。次に、他の実施例を説明する。

［実施例１に係る動画像編集装置の概要］
まず、図１を用いて、実施例１に係る動画像編集装置の概要を説明する。図１は、実施例１に係る動画像編集装置の概要を説明するための図である。

図１に示すように、実施例１に係る動画像編集装置は、まず、結合対象となる符号化データから、結合点の後続ピクチャを含む所定範囲のピクチャを抽出する。なお、実施例１においては、ＥＳ１およびＥＳ２が結合対象となる符号化データである。

ここで、所定範囲のピクチャを抽出する手法としては、様々な手法が考えられる。実施例１に係る動画像編集装置は、frame_numやＰＯＣの値の調整が可能な最小範囲を予め判定した上で、判定した最小範囲を含むようにＩピクチャの直前のピクチャまでを抽出する手法を用いている。

次に、実施例１に係る動画像編集装置は、抽出された所定範囲のピクチャのヘッダに含まれる情報の内、復号時に連続値となるべき情報について、情報が所定範囲の内外で復号時に連続値となるように調整する調整情報を作成する。具体的には、図１に示すように、動画像編集装置は、ピクチャのヘッダに含まれるframe_numやＰＯＣについて、frame_numやＰＯＣの値が所定範囲の内外で復号時に連続値となるように調整する調整情報を作成する。

そして、実施例１に係る動画像編集装置は、図１に示すように、抽出された所定範囲のピクチャのヘッダに調整情報を付加し、再符号化する。

このようなことから、実施例１に係る動画像編集装置によれば、２つの動画像データを結合する際に、ヘッダを変更するピクチャの数を抑えることが可能になる。すなわち、従来、２つの動画像データを結合する際には、動画像編集装置は、frame_numやＰＯＣの値が復号時に連続値となるように、後続ピクチャ全てのframe_numやＰＯＣを変更しなければならなかった。これに対し、実施例１に係る動画像編集装置は、所定範囲のピクチャを抽出し、抽出した範囲内のピクチャでframe_numやＰＯＣの変更が完結するように範囲内で調整を行い、調整情報とともにピクチャを再符号化する。この結果、frame_numやＰＯＣの値を変更するピクチャの数を抑えることが可能になる。

［実施例１に係る動画像編集装置の構成］
次に、図２〜図５を用いて、実施例１に係る動画像編集装置の構成を説明する。図２は、実施例１に係る動画像編集装置の構成を示すブロック図である。また、図３は、ＰＯＣタイプ０における符号化データの結合を説明するための図であり、図４は、実施例１におけるＰＯＣ変更を説明するための図であり、図５は、実施例１におけるframe_num変更を説明するための図である。

図２に示すように、実施例１に係る動画像編集装置１０は、記憶部として、編集前符号化データ記憶部２１と、編集後符号化データ記憶部２２とを備える。また、動画像編集装置１０は、制御部として、ヘッダ解析部３１と、符号化データ抽出部３２と、ＰＯＣ変更部３３と、frame_num変更部３４と、Ｈ．２６４復号部３５と、Ｈ．２６４符号化部３６と、符号化データ結合部３７とを備える。

編集前符号化データ記憶部２１は、編集前の符号化データを記憶する。具体的には、編集前符号化データ記憶部２１は、ヘッダ解析部３１とＨ．２６４復号部３５と符号化データ結合部３７と接続される。また、編集前符号化データ記憶部２１が記憶する符号化データは、ヘッダ解析部３１、Ｈ．２６４復号部３５、および符号化データ結合部３７の処理に利用される。

例えば、符号化データは、ヘッダ解析部３１によって読み出され、ヘッダの解析処理に利用される。また、符号化データは、Ｈ．２６４復号部３５や符号化データ結合部３７によって読み出され、復号処理や結合処理に利用される。なお、符号化データがＨ．２６４復号部３５や符号化データ結合部３７に読み出される際には、符号化データ抽出部３２が、読み出しを制御する。

例えば、編集前符号化データ記憶部２１は、符号化データとして、図３に示すようなＥＳ１およびＥＳ２を記憶する。なお、図３においては、説明の便宜上から、ピクチャのヘッダに含まれるframe_numやＰＯＣをピクチャの上下に示す。ここで、frame_numは、参照されるピクチャをカウントアップするカウンタであり、ＰＯＣは、ピクチャの表示順序をカウントアップするカウンタである。なお、図３において、ＰＯＣ（ＬＳＢ）と示すものは、ヘッダに含まれるpic_order_cnt_lsbのことであり、ＰＯＣの計算に用いられる下位のビットのことである。

例えば、ＥＳ１のframe_numは、『10』、『11』、『11』、『11』、『12』、『12』とカウントアップされている。これは、『ｐ８』は他のピクチャから参照されるので、『ｐ９』においてframe_numを『10』から『11』にカウントアップする。一方、『ｐ９』や『ｐ１０』は他のピクチャから参照されないので、『ｐ１０』や『ｐ１１』においてframe_numを『11』からカウントアップしない。同様に、『ｐ１１』は他のピクチャから参照されるので、『ｐ１２』においてframe_numを『11』から『12』にカウントアップする。一方、『ｐ１２』は他のピクチャから参照されないので、『ｐ１３』においてframe_numを『12』からカウントアップしない。一方、ＥＳ１のＰＯＣは、『20』、『22』、『24』、『26』、『28』、『30』とカウントアップされている。

ここで、ＥＳ２のframe_numやＰＯＣに示すように、frame_numは、最大値が『15』であり、ＰＯＣは、最大値が『126』である。すなわち、frame_numやＰＯＣのカウンタとして準備されるビット数は限られていることから、frame_numやＰＯＣは、最大値までカウントアップすると初期値『0』に戻り、再びカウントアップを始める。

編集後符号化データ記憶部２２は、編集後の符号化データを記憶する。具体的には、編集後符号化データ記憶部２２は、符号化データ結合部３７と接続される。また、編集後符号化データ記憶部２２が記憶する符号化データは、符号化データ結合部３７によって格納されたものである。

ヘッダ解析部３１は、編集前の符号化データのヘッダを解析する。具体的には、ヘッダ解析部３１は、編集前符号化データ記憶部２１と符号化データ抽出部３２と接続される。また、ヘッダ解析部３１は、編集前符号化データ記憶部２１から編集前の符号化データを読み出し、結合点付近のピクチャのヘッダを復号して解析し、解析結果を符号化データ抽出部３２に通知する。

図３を用いて、ヘッダ解析部３１による解析処理を説明する。実施例１においては、ＥＳ２側の先頭ピクチャをＩＤＲピクチャとして再符号化する手法を用いるので、動画像編集装置１０は、ＥＳ１側のピクチャを変更する必要がない。このため、ヘッダ解析部３１は、ＥＳ２の『Ｐ１２』から『Ｐ２０』あたりのピクチャのヘッダを復号して解析する。また、実施例１におけるヘッダ解析部３１は、frame_numやＰＯＣの値の調整が可能な最小範囲を予め判定した上で、判定した最小範囲を含むようにＩピクチャの直前のピクチャまでを抽出する手法を用いている。

ところで、最小範囲の判定は、frame_numやＰＯＣの調整手法と密接に関連している。そこで、実施例１における調整手法についても簡単に説明すると、実施例１においては、ＰＯＣタイプ０を想定する。このため、実施例１に係る動画像編集装置１０は、まず、ＰＯＣが連続値となるように調整し、次に、参照ピクチャの枚数を調整することでframe_numが連続値となるように調整し、結果として、frame_numとＰＯＣとが連続値となるように調整する調整情報を作成する。

このような調整手法と関連して、実施例１におけるヘッダ解析部３１は、まず、復号したＰＯＣが『0』のピクチャを特定する。復号したＰＯＣが『0』のピクチャについて、再符号化時にもＰＯＣが『0』となるように調整すれば、ＰＯＣが復号時に連続値となるように調整できるからである。図３の例では、ヘッダ解析部３１は、『Ｐ１４』を特定する。

次に、ヘッダ解析部３１は、『Ｐ１４』からのピクチャ枚数が『1』である『Ｐ１５』について、『Ｐ１４』からのピクチャ枚数『1』と、『Ｐ１５』のframe_num『0』とを比較する。ＰＯＣが『0』となるように調整されたピクチャは、frame_numも『0』となるように調整されるはずであるので、その後、frame_numをカウントアップすると、最大でもピクチャ枚数分しかカウントアップできないことになる。すなわち、参照ピクチャの枚数を調整することでframe_numが連続値となるように調整するには、ピクチャの枚数の方がframe_num以上であるという関係が必要になる。

図３の例では、ピクチャ枚数の方がframe_num以上であるので、ヘッダ解析部３１は、frame_numやＰＯＣの値の調整が可能な最小範囲が『Ｐ１４』までであることを予め判定する。続いて、ヘッダ解析部３１は、『Ｐ１４』からのピクチャ枚数が『3』の範囲内にＩピクチャが存在するか否かを判定する。なお、ピクチャ枚数『3』は任意に変更できる。図３の例では、『Ｉ１７』が存在するので、ヘッダ解析部３１は、『Ｉ１７』の直前のピクチャ『Ｐ１６』までを抽出することを解析する。そして、ヘッダ解析部３１は、解析結果『Ｐ１２』〜『Ｐ１６』や、『Ｐ１２』から『Ｐ２０』あたりのピクチャのヘッダを復号して取得したＰＯＣに関する情報やframe_numに関する情報を符号化データ抽出部３２に通知する。

符号化データ抽出部３２は、編集前の符号化データから、結合点の後続ピクチャを含む所定範囲のピクチャを抽出する。具体的には、符号化データ抽出部３２は、ヘッダ解析部３１とＰＯＣ変更部３３とframe_num変更部３４と接続される。また、符号化データ抽出部３２は、ヘッダ解析部３１から解析結果を通知されると、解析結果に基づいて、所定範囲のピクチャを抽出するように、編集前符号化データ記憶部２１からの読み出しを制御する。また、符号化データ抽出部３２は、ヘッダ解析部３１から解析結果を通知されると、ＰＯＣに関する情報をＰＯＣ変更部３３に通知し、frame_numに関する情報をframe_num変更部３４に通知する。

例えば、符号化データ抽出部３２は、ヘッダ解析部３１から解析結果『Ｐ１２』〜『Ｐ１６』を通知されると、編集前符号化データ記憶部２１からＥＳ１を読み出す際には、符号化データ結合部３７によって読み出されるように制御する。また、符号化データ抽出部３２は、編集前符号化データ記憶部２１からＥＳ２を読み出す際には、『Ｐ１２』〜『Ｐ１６』以外のピクチャは、符号化データ結合部３７によって読み出されるように制御し、『Ｐ１２』〜『Ｐ１６』のピクチャは、Ｈ．２６４復号部３５によって読み出されるように制御する。

また、例えば、符号化データ抽出部３２は、ヘッダ解析部３１から、『Ｐ１２』から『Ｐ２０』あたりのピクチャのヘッダを復号して取得したＰＯＣに関する情報やframe_numに関する情報も通知されるので、解析結果『Ｐ１２』〜『Ｐ１６』とともに、『Ｐ１２』〜『Ｐ１７』のＰＯＣに関する情報をＰＯＣ変更部３３に通知する。また、符号化データ抽出部３２は、解析結果『Ｐ１２』〜『Ｐ１６』とともに、『Ｐ１２』〜『Ｐ１７』のframe_numに関する情報をframe_num変更部３４に通知する。

ＰＯＣ変更部３３は、ＰＯＣを調整する調整情報を作成する。具体的には、ＰＯＣ変更部３３は、符号化データ抽出部３２とＨ．２６４符号化部３６とframe_num変更部３４と接続される。また、ＰＯＣ変更部３３は、符号化データ抽出部３２からＰＯＣに関する情報を通知されると、ＰＯＣが、抽出した所定範囲内外で復号時に連続値となるように調整する調整情報を作成し、作成した調整情報をＨ．２６４符号化部３６およびframe_num変更部３４に通知する。

例えば、ＰＯＣ変更部３３は、符号化データ抽出部３２から、解析結果『Ｐ１２』〜『Ｐ１６』とともに、『Ｐ１２』〜『Ｐ１７』のＰＯＣに関する情報を通知されると、ＰＯＣ『0』のピクチャを特定する。ＰＯＣが『0』のピクチャについて、再符号化時にもＰＯＣが『0』となるように調整すれば、ＰＯＣが復号時に連続値となるように調整できるからである。図４の例では、ＰＯＣ変更部３３は、『Ｐ１４』を特定する。

そして、ＰＯＣ変更部３３は、図４に示すように、特定した『Ｐ１４』のヘッダに、ｍｍｃｏ＝５（memory_management_control_operationの5）を付加するように、調整情報を作成する。ここで、ｍｍｃｏ＝５とは、復号器側のピクチャバッファのリセットを指示する符号化器側からの命令である。『Ｐ１４』のヘッダにｍｍｃｏ＝５が付加されると、復号器側では、図４に示すように、『Ｐ１４』のＰＯＣを『0』にリセットするのみならず、frame_numを『0』にリセットする。

frame_num変更部３４は、frame_numを調整する調整情報を作成する。具体的には、frame_num変更部３４は、符号化データ抽出部３２とＰＯＣ変更部３３とＨ．２６４符号化部３６と接続される。また、frame_num変更部３４は、符号化データ抽出部３２からframe_numに関する情報を通知され、ＰＯＣ変更部３３から調整情報を通知されると、frame_numが、抽出した所定範囲の内外で復号時に連続値となるように調整する調整情報を作成する。そして、frame_num変更部３４は、作成した調整情報をＨ．２６４符号化部３６に通知する。

例えば、frame_num変更部３４は、符号化データ抽出部３２から、解析結果『Ｐ１２』〜『Ｐ１６』とともに、『Ｐ１２』〜『Ｐ１７』のframe_numに関する情報を通知される。また、ＰＯＣ変更部３３から、『Ｐ１４』のヘッダにｍｍｃｏ＝５を付加するとの調整情報を通知される。すると、frame_num変更部３４は、『Ｐ１４』のframe_numが『0』にリセットされる結果として図４に示すような不連続が生じることを判定するので、図５に示すように参照ピクチャの枚数を調整することで、調整情報を作成する。すなわち、frame_num変更部３４は、例えば、『Ｐ１５』を『Ｂ１５』に変更し、他のピクチャから参照されないピクチャに変更する。frame_numは、他のピクチャから参照されると、次のピクチャでカウントアップするので、『Ｂ１５』を参照されないピクチャに変更すると、frame_numのカウントアップは、『0』、『1』、『1』となり、図５に示すように、後続の『Ｉ１７』と連続値となる。

Ｈ．２６４復号部３５は、符号化データを復号する。具体的には、Ｈ．２６４復号部３５は、編集前符号化データ記憶部２１とＨ．２６４符号化部３６と接続される。また、Ｈ．２６４復号部３５は、符号化データ抽出部３２によって制御されることで、編集前符号化データ記憶部２１から所定範囲のピクチャのみを読み出し、読み出したピクチャを復号し、復号したピクチャをＨ．２６４符号化部３６に送信する。

Ｈ．２６４符号化部３６は、復号されたピクチャを再符号化する。具体的には、Ｈ．２６４符号化部３６は、ＰＯＣ変更部３３とframe_num変更部３４とＨ．２６４復号部３５と符号化データ結合部３７と接続される。また、Ｈ．２６４符号化部３６は、Ｈ．２６４復号部３５から復号したピクチャを送信されると、送信されたピクチャのヘッダにＰＯＣ変更部３３およびframe_num変更部３４から通知された調整情報を付加して再符号化し、符号化データ結合部３７に送信する。

例えば、Ｈ．２６４符号化部３６は、ＰＯＣ変更部３３から、『Ｐ１４』のヘッダにｍｍｃｏ＝５を付加するとの調整情報を通知される。このため、Ｈ．２６４符号化部３６は、Ｈ．２６４復号部３５から送信された『Ｐ１４』のヘッダにｍｍｃｏ＝５を付加して符号化する。また、Ｈ．２６４符号化部３６は、frame_num変更部３４から、『Ｐ１５』を『Ｂ１５』に変更し、他のピクチャから参照されないピクチャに変更するとの調整情報を通知される。このため、Ｈ．２６４符号化部３６は、Ｈ．２６４復号部３５から送信された『Ｐ１５』を『Ｂ１５』に変更し、他のピクチャから参照されないピクチャに変更して符号化する。

符号化データ結合部３７は、符号化データを結合する。具体的には、符号化データ結合部３７は、Ｈ．２６４符号化部３６と編集前符号化データ記憶部２１と編集後符号化データ記憶部２２と接続される。また、符号化データ結合部３７は、符号化データ抽出部３２によって制御されることで、編集前符号化データ記憶部２１から所定範囲以外のピクチャのみを読み出す。また、符号化データ結合部３７は、読み出した所定範囲以外のピクチャと、Ｈ．２６４符号化部３６から送信された再符号化された所定範囲のピクチャとを結合する。また、符号化データ結合部３７は、結合したピクチャを編集後符号化データ記憶部２２に格納する。

例えば、符号化データ結合部３７は、符号化データ抽出部３２によって制御されることで、編集前符号化データ記憶部２１からＥＳ１を読み出す。また、符号化データ結合部３７は、符号化データ抽出部３２によって制御されることで、編集前符号化データ記憶部２１からＥＳ２を読み出す際には、『Ｐ１２』〜『Ｐ１６』以外のピクチャのみを読み出す。そして、符号化データ結合部３７は、編集前符号化データ記憶部２１から読み出したピクチャと、Ｈ．２６４符号化部３６から送信された再符号化された『Ｐ１２』〜『Ｐ１６』のピクチャとを結合し、編集後符号化データ記憶部２２に格納する。

［実施例１に係る動画像編集装置による処理手順］
次に、図６を用いて、実施例１に係る動画像編集装置による処理手順を説明する。図６は、実施例１に係る動画像編集装置による処理手順を示すフローチャートである。

図６に示すように、まず、ヘッダ解析部３１は、結合処理の開始を受け付けたか否かを判定し（ステップＳ１０１）、受け付けたと判定した場合に（ステップＳ１０１肯定）、ＥＳ２の結合点付近のピクチャのヘッダを復号して解析する（ステップＳ１０２）。

続いて、ヘッダ解析部３１は、ピクチャの抽出範囲を解析し、符号化データ抽出部３２に通知する（ステップＳ１０３）。

すると、符号化データ抽出部３２は、ヘッダ解析部３１から通知された解析結果に基づいて、後続ピクチャを含む所定範囲のピクチャを抽出するように、編集前符号化データ記憶部２１からの読み出しを制御する（ステップＳ１０４）。

また、符号化データ抽出部３２から解析結果やＰＯＣ、frame_numに関する情報を通知されたＰＯＣ変更部３３やframe_num変更部３４は、ＰＯＣやframe_numが、抽出した所定範囲の内外で復号時に連続値となるように調整する調整情報を作成する（ステップＳ１０５）。

すると、Ｈ．２６４符号化部３６が、抽出された所定範囲のピクチャであって、Ｈ．２６４復号部３５において復号されたピクチャのヘッダに、ＰＯＣ変更部３３やframe_num変更部３４によって作成された調整情報を付加し、再符号化する（ステップＳ１０６）。

そして、符号化データ結合部３７は、編集前符号化データ記憶部２１から読み出した所定範囲以外のピクチャと、Ｈ．２６４符号化部３６から送信された所定範囲のピクチャとを結合し、編集後符号化データ記憶部２２に格納する（ステップＳ１０７）。こうして、動画像編集装置１０は、結合処理を終了する。

［実施例１の効果］
上記してきたように、実施例１に係る動画像編集装置１０は、符号化データ抽出部３２が、結合対象となる符号化データから、結合点の後続ピクチャを含む所定範囲のピクチャを抽出する。また、ＰＯＣ変更部３３およびframe_num変更部３４が、所定範囲のピクチャのヘッダに含まれる情報の内、復号時に連続値となるべき情報について、情報が、所定範囲の内外で復号時に連続値となるように調整する調整情報を作成する。また、Ｈ．２６４符号化部３６が、所定範囲のピクチャのヘッダに、調整情報を付加し、所定範囲のピクチャを再符号化する。

このようなことから、実施例１に係る動画像編集装置１０によれば、２つの動画像データを結合する際に、ヘッダを変更するピクチャの数を抑えることが可能になる。すなわち、従来、２つの動画像データを結合する際には、動画像編集装置は、frame_numやＰＯＣの値が復号時に連続値となるように、後続ピクチャ全てのframe_numやＰＯＣを変更しなければならなかった。これに対し、実施例１に係る動画像編集装置１０は、図７に示すように、所定範囲のピクチャを抽出し、抽出した範囲内のピクチャでframe_numやＰＯＣの変更が完結するように範囲内で調整を行い、調整情報とともにピクチャを再符号化する。この結果、frame_numやＰＯＣの値を変更するピクチャの数を抑えることが可能になる。

また、実施例１に係る動画像編集装置１０は、符号化データ抽出部３２が、ＰＯＣの符号化タイプが０である符号化データを結合する場合に、結合点の後続ピクチャのヘッダに含まれるＰＯＣのＬＳＢが、０である第一のピクチャを特定する。また、符号化データ抽出部３２は、特定した第一のピクチャよりも後続のピクチャであって、ピクチャのヘッダに含まれるframe_numが、特定した第一のピクチャからのピクチャの枚数以下である第二のピクチャを特定する。さらに、符号化データ抽出部３２は、特定した第二のピクチャ以降のピクチャまでのピクチャを所定範囲のピクチャとして抽出する。

また、ＰＯＣ変更部３３が、特定された第一のピクチャについて、調整情報として、ｍｍｃｏ＝５を指示する情報（もしくは、ピクチャタイプをＩＤＲピクチャに変更する情報でもよい）を作成する。また、frame_num変更部３４が、第一のピクチャの後続のピクチャについて調整情報として、抽出されなかったピクチャのframe_numと連続値となるように参照ピクチャの枚数を調整する情報を作成する。

このようなことから、実施例１に係る動画像編集装置１０によれば、ＰＯＣの符号化タイプが０である符号化データを結合する場合に、ヘッダを変更するピクチャの数を抑えることが可能になる。

さて、これまで、実施例１として、ＰＯＣタイプ０を想定してきたが、本発明はこれに限られるものではなく、ＰＯＣタイプ２にも同様に適用することができる。そこで、以下では、実施例２として、ＰＯＣタイプ２を想定した場合について説明する。

ＰＯＣタイプ２の場合、ＰＯＣは、frame_numから計算されることから、ＰＯＣに関する情報は符号化されない。すなわち、ＰＯＣは、
ＰＯＣ＝２＊（frame_num＋ｋ＊max_frame_num）
で、frame_numから計算される。

max_frame_numは、frame_numのビット数で決まる最大のframe_num値＋１(４ビットならば１６)である。ｋは、frame_numがモジュロ演算されているので、最大のframe_num値から０に戻った回数（ラップアラウンドした回数）である。ｋは、ＩＤＲピクチャもしくはｍｍｃｏ＝５で０にリセットされる。このため、frame_numが連続値であれば、ＰＯＣも連続値となる。

このようなことから、ＰＯＣタイプ２を想定する実施例２に係る動画像編集装置１０は、frame_numが連続値となるように調整する調整情報を作成するが、ＰＯＣを調整する調整情報を作成しない。

具体的に説明すると、実施例２に係る動画像編集装置１０は、実施例１と同様、ヘッダ解析部３１が、編集前の符号化データのヘッダを解析する。具体的には、実施例２においても、ＥＳ２側の先頭ピクチャをＩＤＲピクチャとして再符号化する手法を用いるので、ヘッダ解析部３１は、ＥＳ２の『Ｐ１２』から『Ｐ２０』あたりのピクチャのヘッダを復号して解析する。また、実施例２におけるヘッダ解析部３１は、frame_numの値の調整が可能な最小範囲を予め判定した上で、判定した最小範囲を含むようにＩピクチャの直前のピクチャまでを抽出する手法を用いている。

すなわち、実施例２におけるヘッダ解析部３１は、復号したframe_numが『0』のピクチャを特定する。復号したframe_numが『0』のピクチャについて、再符号化時にもframe_numが『0』となるように調整すれば、frame_numおよびＰＯＣが復号時に連続値となるように調整できるからである。すなわち、frame_numが『0』となるように調整すれば、ラップアラウンド（ｋのインクリメント）が解消されるため、ＰＯＣも連続値となるのである。図８の例では、ヘッダ解析部３１は、『Ｐ１５』を特定する。

次に、実施例２におけるヘッダ解析部３１は、『Ｐ１５』からのピクチャ枚数が『3』の範囲内にＩピクチャが存在するか否かを判定する。なお、ピクチャ枚数『3』は任意に変更できる。図８の例では、『Ｉ１７』が存在するので、ヘッダ解析部３１は、『Ｉ１７』の直前のピクチャ『Ｐ１６』までを抽出することを解析する。そして、ヘッダ解析部３１は、解析結果『Ｐ１２』〜『Ｐ１６』や、『Ｐ１２』から『Ｐ２０』あたりのピクチャのヘッダを復号して取得したframe_numに関する情報を符号化データ抽出部３２に通知する。

実施例２におけるframe_num変更部３４は、実施例１と同様、frame_numを調整する調整情報を作成する。例えば、frame_num変更部３４は、符号化データ抽出部３２から、解析結果『Ｐ１２』〜『Ｐ１６』とともに、『Ｐ１２』〜『Ｐ１７』のframe_numに関する情報を通知される。すると、frame_num変更部３４は、復号したframe_numが『0』のピクチャを特定し、図９に示すように、特定した『Ｐ１５』のヘッダに、ｍｍｃｏ＝５を付加するように、調整情報を作成する。『Ｐ１５』のヘッダにｍｍｃｏ＝５が付加されると、復号器側では、図９に示すように、『Ｐ１５』のframe_numを『0』にリセットするのみならず、ＰＯＣの計算式のｋを『0』にリセットする。この結果、frame_numおよびＰＯＣが連続値となる調整情報が作成される。

［実施例２の効果］
上記してきたように、実施例２に係る動画像編集装置１０は、符号化データ抽出部３２が、ＰＯＣの符号化タイプが２である符号化データを結合する場合に、結合点の後続ピクチャのヘッダに含まれるｆｒａｍｅ_ｎｕｍが、０であるピクチャを特定する。また、符号化データ抽出部３２は、特定したピクチャ以降のピクチャまでのピクチャを所定範囲のピクチャとして抽出する。そして、frame_num変更部３４が、特定されたピクチャについて、調整情報として、ｍｍｃｏ＝５を指示する情報（もしくは、ピクチャタイプをＩＤＲピクチャに変更する情報でもよい）を作成する。

このようなことから、実施例２に係る動画像編集装置１０によれば、ＰＯＣの符号化タイプが２である符号化データを結合する場合に、ヘッダを変更するピクチャの数を抑えることが可能になる。

［他の実施例］
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［符号化データの抽出］
実施例１においては、符号化データから所定範囲のピクチャを抽出する際に、ＥＳ２側のピクチャからのみピクチャを抽出していた。これは、実施例１においては、ＥＳ２側の先頭ピクチャをＩＤＲピクチャとして再符号化する手法を用いるので、動画像編集装置１０は、ＥＳ１側のピクチャを変更する必要がないからである。しかしながら、本発明はこれに限られるものではない。例えば、ＥＳ２側の先頭ピクチャをＩＤＲピクチャとして再符号化せず、Ｉピクチャとして再符号化する手法の場合には、所定範囲のピクチャとしてＥＳ１側のピクチャを抽出する必要が生じることもある。このような場合には、動画像編集装置１０は、ＥＳ１とＥＳ２との両方にまたがる所定範囲のピクチャを抽出して、調整情報を作成することになる。

また、実施例１においては、動画像編集装置１０は、frame_numやＰＯＣの値の調整が可能な最小範囲を予め判定した上で、判定した最小範囲を含むように所定範囲を抽出する手法を説明したが、本発明はこれに限られるものではない。例えば、動画像編集装置１０は、予め定めた所定枚数のピクチャを適宜抽出し、抽出した範囲内で必要に応じて調整情報を作成してもよい。この時、予め定める所定枚数には、frame_numやＰＯＣの値の調整が可能と思われる程度の十分な枚数が設定されることが望ましい。もっとも、所定枚数で調整ができなかった場合に、所定範囲を徐々に拡大していく手法でもよい。

［システム構成等］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順（図６など）、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示（図２など）の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［動画像編集プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１０を用いて、上記の実施例と同様の機能を有する動画像編集プログラムを実行するコンピュータの一例を説明する。図１０は、動画像編集プログラムを実行するコンピュータを示す図である。

図１０に示すように、動画像編集プログラム（コンピュータ）４０は、キャッシュ４１、ＲＡＭ（Random Access Memory）４２、ＨＤＤ（Hard Disk Drive）４３、ＲＯＭ（Read Only Memory）４４およびＣＰＵ４５をバス４６で接続して構成される。ここで、ＲＯＭ４４には、上記の実施例と同様の機能を発揮する動画像編集プログラム、つまり、図１０に示すように、ヘッダ解析プログラム４４ａ、符号化データ抽出プログラム４４ｂ、ＰＯＣ変更プログラム４４ｃ、frame_num変更プログラム４４ｄ、Ｈ．２６４復号プログラム４４ｅ、Ｈ．２６４符号化プログラム４４ｆ、符号化データ結合プログラム４４ｇが備えられる。

そして、ＣＰＵ４５は、これらのプログラム４４ａ〜４４ｇ読み出して実行することで、図１０に示すように、各プログラム４４ａ〜４４ｇは、ヘッダ解析プロセス４５ａ、符号化データ抽出プロセス４５ｂ、ＰＯＣ変更プロセス４５ｃ、frame_num変更プロセス４５ｄ、Ｈ．２６４復号プロセス４５ｅ、Ｈ．２６４符号化プロセス４５ｆ、符号化データ結合プロセス４５ｇとなる。なお、各プロセス４５ａ〜４５ｇは、図２に示した、ヘッダ解析部３１、符号化データ抽出部３２、ＰＯＣ変更部３３、frame_num変更部３４、Ｈ．２６４復号部３５、Ｈ．２６４符号化部３６、符号化データ結合部３７にそれぞれ対応する。

また、ＨＤＤ４３は、図１０に示すように、編集前符号化データテーブル４３ａおよび編集後符号化データテーブル４３ｂを備える。なお、編集前符号化データテーブル４３ａおよび編集後符号化データテーブル４３ｂは、図２に示した編集前符号化データ記憶部２１および編集後符号化データ記憶部２２にそれぞれ対応する。

ところで、上記した各プログラム４４ａ〜４４ｇについては、必ずしもＲＯＭ４４に記憶させておく必要はなく、例えば、コンピュータ４０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ４０の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などを介してコンピュータ４０に接続される「他のコンピュータ（またはサーバ）」に記憶させておき、コンピュータ４０がこれらからプログラムを読み出して実行するようにしてもよい。

実施例１に係る動画像編集装置の概要を説明するための図である。 実施例１に係る動画像編集装置の構成を示すブロック図である。 ＰＯＣタイプ０における符号化データの結合を説明するための図である。 実施例１におけるＰＯＣ変更を説明するための図である。 実施例１におけるｆｒａｍｅ_ｎｕｍ変更を説明するための図である。 実施例１に係る動画像編集装置による処理手順を示すフローチャートである。 実施例１の効果を説明するための図である。 ＰＯＣタイプ２における符号化データの結合を説明するための図である。 実施例２におけるＰＯＣ変更、ｆｒａｍｅ_ｎｕｍ変更を説明するための図である。 動画像編集プログラムを実行するコンピュータを示す図である。 従来の符号化データの結合を説明するための図である。 従来の符号化データの結合を説明するための図である。 ＩＤＲピクチャを用いた場合を説明するための図である。

符号の説明

１０ 動画像編集装置
２１ 編集前符号化データ記憶部
２２ 編集後符号化データ記憶部
３１ ヘッダ解析部
３２ 符号化データ抽出部
３３ ＰＯＣ変更部
３４ frame_num変更部
３５ Ｈ．２６４復号部
３６ Ｈ．２６４符号化部
３７ 符号化データ結合部

Claims (4)

1. 結合対象となる符号化データから、結合点の後続ピクチャを含む所定範囲のピクチャを抽出するピクチャ抽出手段と、
   前記ピクチャ抽出手段によって抽出された所定範囲のピクチャのヘッダに含まれる情報の内、復号時に連続値となるべき情報について、当該情報が当該所定範囲の内外で復号時に連続値となるように調整する調整情報を作成する調整情報作成手段と、
   前記ピクチャ抽出手段によって抽出された所定範囲のピクチャのヘッダに、前記調整情報作成手段によって作成された調整情報を付加し、当該所定範囲のピクチャを再符号化する再符号化手段と、を備え、
   前記ピクチャ抽出手段は、表示順序を示すＰＯＣの符号化タイプに応じてＰＯＣのＬＳＢ又はｆｒａｍｅ_ｎｕｍが０であるピクチャを特定し、結合点のピクチャから、少なくとも特定したピクチャを含む範囲を抽出することを特徴とする動画像編集装置。
2. 前記ピクチャ抽出手段は、前記ＰＯＣの符号化タイプが０である符号化データを結合する場合に、結合点の後続ピクチャのヘッダに含まれるＰＯＣのＬＳＢが、０である第一のピクチャを特定し、特定した当該第一のピクチャよりも後続のピクチャであって、ピクチャのヘッダに含まれるｆｒａｍｅ_ｎｕｍが、特定した第一のピクチャからのピクチャの枚数以下である第二のピクチャを特定し、結合点のピクチャから特定した当該第二のピクチャ以降のピクチャまでの任意のピクチャを所定範囲のピクチャとして抽出し、
   前記調整情報作成手段は、前記ピクチャ抽出手段によって特定された第一のピクチャについて、前記調整情報として、ｍｍｃｏ＝５を指示する情報もしくはピクチャタイプをＩＤＲピクチャに変更する情報を作成し、前記ピクチャ抽出手段によって特定された第一のピクチャの後続のピクチャについて、前記調整情報として、前記ピクチャ抽出手段によって抽出されなかったピクチャのｆｒａｍｅ_ｎｕｍと連続値となるように参照ピクチャの枚数を調整する情報を作成することを特徴とする請求項１に記載の動画像編集装置。
3. 前記ピクチャ抽出手段は、ＰＯＣの符号化タイプが２である符号化データを結合する場合に、結合点の後続ピクチャのヘッダに含まれるｆｒａｍｅ_ｎｕｍが、０であるピクチャを特定し、結合点のピクチャから特定した当該ピクチャ以降の任意のピクチャまでのピクチャを所定範囲のピクチャとして抽出し、
   前記調整情報作成手段は、前記ピクチャ抽出手段によって特定されたピクチャについて、前記調整情報として、ｍｍｃｏ＝５を指示する情報もしくはピクチャタイプをＩＤＲピクチャに変更する情報を作成することを特徴とする請求項１に記載の動画像編集装置。
4. 結合対象となる符号化データを記憶する記憶部から、結合点の後続ピクチャを含む所定範囲のピクチャを抽出するピクチャ抽出手順と、
   前記ピクチャ抽出手順によって抽出された所定範囲のピクチャのヘッダに含まれる情報の内、復号時に連続値となるべき情報について、当該情報が当該所定範囲の内外で復号時に連続値となるように調整する調整情報を作成する調整情報作成手順と、
   前記ピクチャ抽出手順によって抽出された所定範囲のピクチャのヘッダに、前記調整情報作成手順によって作成された調整情報を付加し、当該所定範囲のピクチャを再符号化する再符号化手順と、をコンピュータに実行させ、
   前記ピクチャ抽出手順は、表示順序を示すＰＯＣの符号化タイプに応じてＰＯＣのＬＳＢ又はｆｒａｍｅ_ｎｕｍが０であるピクチャを特定し、結合点のピクチャから、少なくとも特定したピクチャを含む範囲を抽出することを特徴とする動画像編集プログラム。

Images