JP4221676B2 - 情報処理装置および情報処理方法、記録媒体、並びに、プログラム - Google Patents

Description

本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、フレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。

MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。

しかしながら、例えば、ＨＤ（High Definition）信号のように、高精細で情報量の多い映像信号が取り扱われる場合、フレーム内圧縮のみで符号化を行うと、低い圧縮効率しか得られないため、多量のデータを伝送したり、蓄積するためには、転送速度が速かったり、記憶容量が大きかったり、または、処理速度が速いなどの、高価なシステムが必要となってしまう。すなわち、高精細で情報量の多い映像信号を安価なシステムで取り扱うためには、フレーム間予測を用いて圧縮効率を上げることが必要となる。

MPEGストリームを編集するために、従来、編集点（スプライス点）近傍のピクチャを一旦デコードし、非圧縮の画像信号を編集点でつなぎあわせた後、再エンコードする技術が用いられている（例えば、特許文献１）。
国際公開番号ＷＯ９９／０５８６４号公報

MPEGにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。

Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。

ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。

Long GOP方式で圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。

まず、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合される。

図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの圧縮映像データを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。

上述したように、編集点近傍を部分的にデコードした後、非圧縮の映像信号を接続して、接続された非圧縮の映像を再エンコードし、デコードおよび再エンコードされていない部分の圧縮映像データと結合することにより、編集を行った場合、再エンコード部分と再エンコードしない部分のVBV Buffer Occupancyの連続性を保つ必要がある。

図２を用いて、VBV Buffer Occupancyの連続性について説明する。

編集後の圧縮映像データにおいて、VBVバッファが破綻しないようにするためには、再エンコード開始部と終了部のOccupancyを、前後に結合する再エンコードしない圧縮映像データの結合部のOccupancyに一致させる必要がある。すなわち、編集後の圧縮映像の図中Ｅで示される再エンコード部分の最初のＩピクチャの図中Ｃで示されるOccupancyは、編集前の圧縮素材映像１の図中Ａで示されるOccupancyと一致するように、編集後の圧縮映像の図中Ｅで示される再エンコード部分の次のＩピクチャの図中Ｄで示されるOccupancyは、編集前の圧縮素材映像２の図中Ｂで示されるOccupancyと一致するように制御されなければならない。

編集前後のOccupancyは、Closed GOPの場合であっても、Closed GOPでないOpen GOPである場合にも、同様に、一致させる必要がある。VBV Buffer Occupancyの連続性が保たれていない場合、デコード時にデコーダのバッファが破綻し、例えば、ピクチャスキップやフリーズなどの現象が発生する原因となり得る。

PS(Program Stream)やTS(Transport Stream)においては、SCR（System Clock Reference)またはPCR（Program Clock Reference）と、PTS（Presentation Time Stamp）やDTS（Decoding Time Stamp）から、各ピクチャのVBV BufferのOccupancyを求めることができる。しかしながら、ES(Elementary Stream)においては、VBV BufferのOccupancyを容易に求めることはできない。

ＥＳにおいては、Picture HeaderのVBV Delayの値から、それぞれのピクチャのVBV BufferのOccupancyを求めることができる。しかしながら、Picture HeaderのVBV Delayのパラメータには、正確な値が入っているとは限らないため、VBV Delayのパラメータから算出されたOccupancyの値に信憑性がある（正確である）とはいえない。また、VBR(Variable Bit Rate)でエンコードされたＥＳにおいては、VBV Delayの値が固定値となるので、VBV BufferのOccupancyを求めるために利用することができない。

このように、ＥＳにおいては、VBV BufferのOccupancyを容易に求めることはできないので、ＥＳを編集するにあたり、VBV Bufferの連続性を保つように正しく再エンコードできない場合、バッファがオーバフローまたはアンダーフローしてしまい、デコードされた映像に、例えば、ピクチャスキップやフリーズなどの現象が発生してしまう恐れがある。

例えば、放送番組制作用途のシステムなどでは、映像にピクチャスキップやフリーズなどなどが発生することは許されない。しかし、従来、タイムスタンプが挿入されていないESを編集するにあたっては、VBV Buffer Occupancyの連続性を保つことはできなかった。

本発明はこのような状況に鑑みてなされたものであり、ＥＳを編集するにあたり、VBV Buffer Occupancyの連続性を保つことができるようにするものである。

本発明の一側面の情報処理装置は、複数の符号化ストリームを編集点で接続する処理を実行する情報処理装置において、第１の接続点により接続される第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の最小再エンコード区間を仮決定し、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に前記第１の編集点とは異なる第２の編集点がある場合、前記第２の編集点に基づいて、再エンコードを実行する第２の最小再エンコード区間を決定する最小再エンコード区間決定手段と、前記最小再エンコード区間決定手段により決定された第２の最小再エンコード区間において、エンコードされて生成された符号化ストリームの終了点と、エンコードされていない前記符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断する管理手段と、前記管理手段により前記オキュパンシの連続性が保たれなかったと判断された場合、前記最小再エンコード区間決定手段により決定された第２の最小再エンコード区間に続く１GOPに対応する区間を、再エンコードを実行する第１の延長再エンコード区間として、更に再エンコードを実行する延長再エンコード区間設定モードと、前記第２の最小再エンコード区間におけるエンコード処理を再度実行させる２パスエンコードモードとのいずれかに基づいて、前記符号化ストリームのうち、再エンコードを実行する区間を決定する再エンコード区間決定手段と、前記第２の最小再エンコード区間または前記第１の延長再エンコード区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームを含む複数の前記符号化ストリームをデコードして、ベースバンド信号を生成するデコード手段と、前記デコード手段により生成された複数のベースバンド信号が編集点で接続されたベースバンド信号をエンコードして再符号化ストリームを生成するエンコード手段とを備える。

複数の符号化ストリームと前記エンコード手段により生成された再符号化ストリームとを切り替えることによって、編集点で接続された編集符号化ストリームを生成する生成手段を更に備えるようにすることができる。
前記最小再エンコード区間決定手段は、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に前記第２の編集点がない場合、仮決定された前記第１の最小再エンコード区間を、再エンコードを実行する第２の最小再エンコード区間として決定することができる。

前記再エンコード区間決定手段には、前記延長再エンコード区間設定モードにおいて、前記第１の延長再エンコード区間、または、それに続く１GOPに対応する区間に前記第１の編集点または前記第２の編集点とは異なる第３の編集点がある場合、前記第３の編集点に基づいて、再エンコードを実行する第２の延長再エンコード区間を決定させるようにすることができ、前記第３の編集点がない場合、前記第１の延長再エンコード区間を、再エンコードを実行する第２の延長再エンコード区間として決定させるようにすることができる。

前記管理手段には、前記延長再エンコード区間設定モードにおいて、前記第３の編集点がない場合、前記第２の延長再エンコード区間における前記エンコード手段によるエンコード処理の発生符号量を、前記エンコード手段によりエンコードされていない符号化ストリームにおける対応する部分のオキュパンシを基に管理させるようにすることができる。

前記管理手段には、前記２パスエンコードモードにおいて、オキュパンシの連続性が保たれなかったと判断された場合におけるエンコード処理の終了点のオキュパンシに基づいて、前記エンコード手段による次のエンコード処理の前記第２の最小再エンコード区間における発生符号量を管理させるようにすることができる。

前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができる。

前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記管理手段により、前記オキュパンシの連続性が保たれたと判断された場合、前記制御手段は、エンコードが実行された、前記第２の最小再エンコード区間、前記第１の延長再エンコード区間、または、前記第２の延長再エンコード区間に続く次のGOPの最初の前方向参照フレームの直前までのフレームを、再エンコードを実行する第３の延長再エンコード区間として、更に追加させるようにすることができる。

前記エンコード手段には、ＭＰＥＧのLong GOP形式でエンコード処理を実行させるようにすることができ、前記制御手段には、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とさせ、前記基準区間に含まれるフレーム数を基に、前記第１の最小再エンコード区間を決定させるようにすることができる。

前記最小再エンコード区間決定手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記第１の最小再エンコード区間とさせるようにすることができる。

前記最小再エンコード区間決定手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記第１の最小再エンコード区間とさせるようにすることができる。

前記最小再エンコード区間決定手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記第１の最小再エンコード区間とさせるようにすることができる。

前記制御手段には、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記基準区間における前記編集点より前の部分のフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割させるようにすることができる。

前記エンコード手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記ベースバンド信号をエンコードして、符号化ストリームを生成させるようにすることができる。

前記最小再エンコード区間決定手段には、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の最小再エンコード区間とさせるようにすることができ、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の最小再エンコード区間とさせるようにすることができる。

本発明の一側面の情報処理方法は、複数の符号化ストリームを編集点で接続する処理を実行する情報処理装置の情報処理方法において、第１の接続点で接続される第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の最小再エンコード区間を仮決定し、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に、前記第１の編集点とは異なる第２の編集点がある場合、前記第２の編集点に基づいて、再エンコードを実行する第２の最小再エンコード区間を決定し、決定された第２の最小再エンコード区間において、エンコードされて生成された符号化ストリームの終了点と、エンコードされていない前記符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、前記オキュパンシの連続性が保たれなかったと判断された場合、決定された第２の最小再エンコード区間に続く１GOPに対応する区間を、再エンコードを実行する第１の延長再エンコード区間として、更に再エンコードを実行する延長再エンコード区間設定モードと、前記第２の最小再エンコード区間におけるエンコード処理を再度実行させる２パスエンコードモードとのいずれかに基づいて、前記符号化ストリームのうち、再エンコードを実行する区間を決定し、前記第２の最小再エンコード区間または前記第１の延長再エンコード区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームを含む複数の前記符号化ストリームをデコードして、ベースバンド信号を生成するとともに、生成された複数のベースバンド信号が編集点で接続されたベースバンド信号をエンコードして、再符号化ストリームを生成するステップを含む。

本発明の一側面のプログラムは、複数の符号化ストリームを編集点で接続する処理をコンピュータに制御させるためのプログラムであって、第１の接続点で接続される第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の最小再エンコード区間を仮決定し、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に、前記第１の編集点とは異なる第２の編集点がある場合、前記第２の編集点に基づいて、再エンコードを実行する第２の最小再エンコード区間を決定し、決定された第２の最小再エンコード区間において、エンコードされて生成された符号化ストリームの終了点と、エンコードされていない前記符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、前記オキュパンシの連続性が保たれなかったと判断された場合、決定された第２の最小再エンコード区間に続く１GOPに対応する区間を、再エンコードを実行する第１の延長再エンコード区間として、更に再エンコードを実行する延長再エンコード区間設定モードと、前記第２の最小再エンコード区間におけるエンコード処理を再度実行させる２パスエンコードモードとのいずれかに基づいて、前記符号化ストリームのうち、再エンコードを実行する区間を決定し、
前記第２の最小再エンコード区間または前記第１の延長再エンコード区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームを含む複数の前記符号化ストリームのデコードを制御して、ベースバンド信号の生成を制御するとともに、生成された複数のベースバンド信号が編集点で接続されたベースバンド信号のエンコードを制御して、再符号化ストリームの生成を制御するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、第１の接続点で接続される第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の最小再エンコード区間を仮決定し、仮決定された第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に、第１の編集点とは異なる第２の編集点がある場合、第２の編集点に基づいて、再エンコードを実行する第２の最小再エンコード区間が決定され、決定された第２の最小再エンコード区間において、エンコードされて生成された符号化ストリームの終了点と、エンコードされていない符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかが判断され、オキュパンシの連続性が保たれなかったと判断された場合、決定された第２の最小再エンコード区間に続く１GOPに対応する区間を、再エンコードを実行する第１の延長再エンコード区間として、更に再エンコードを実行する延長再エンコード区間設定モードと、第２の最小再エンコード区間におけるエンコード処理を再度実行させる２パスエンコードモードとのいずれかに基づいて、符号化ストリームのうち、再エンコードを実行する区間が決定され、第２の最小再エンコード区間または第１の延長再エンコード区間内の第１の符号化ストリームおよび第２の符号化ストリームを含む複数の符号化ストリームをデコードして、ベースバンド信号を生成するとともに、生成された複数のベースバンド信号が編集点で接続されたベースバンド信号をエンコードして、再符号化ストリームが生成される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

編集装置は、独立した装置であっても良いし、記録再生装置や情報処理装置の編集処理を行うブロックであっても良い。

以上のように、本発明の一側面によれば、編集処理を行うことができ、特に、近傍に複数存在する編集点に基づいて、再エンコード区間を決定し、再エンコードを実行することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図３は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。

ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するための制御信号やコマンドを生成し、出力する。ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。

メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶される。

ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ２５から供給される編集後の圧縮符号化データを記憶する。

ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給された制御信号やコマンドにしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。

デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データ、すなわち、符号化ストリームをデコードし、非圧縮の映像信号(ベースバンドの画像データ)を出力する。また、デコーダ２２乃至デコーダ２４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ２４が、独立した装置として設けられている場合、デコーダ２４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。

ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された符号化ストリーム（圧縮映像データ）を、デコーダ２４に供給したり、ＰＣＩブリッジ１７を介して、メモリ１８に供給して保存させる。また、ストリームスプライサ２５は、エンコーダ２７から、エンコード処理において取得されたデータの供給を受け、ＰＣＩブリッジ１７を介して、メモリ１８に供給して保存させることも可能である。

エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３、もしくは、入力端子２８から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給したり、入力端子２８から供給される非圧縮の映像信号をエンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号、すなわち、ベースバンド信号をエンコードして、圧縮符号化された符号化ストリームを生成しストリームスプライサ２５に供給する。

スイッチ２９は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から出力されるベースバンド画像信号、または、ストリームスプライサ２５から供給され、デコーダ２４によってデコードされたベースバンド画像信号のいずれかを、外部の、例えば、表示装置などに出力する。

次に、編集装置１の動作について説明する。

ＨＤＤ１６には、Long GOPのOpen GOP方式で圧縮された複数の圧縮素材映像データが記憶されている。ＣＰＵ１１は、図示しない操作入力部からユーザの操作入力を受け、編集される２つのストリームと、その編集点の情報を受ける。

ＣＰＵ１１は、圧縮符号化された圧縮素材映像データである複数のストリームのＧＯＰ構造、並びに、編集点を示す情報を基に、編集されるストリームのうち、再エンコードを行う区間を決定する。

このとき、ＣＰＵ１１は、再エンコードを試みる最小の区間として、最小再エンコード区間を決定する。最小再エンコード区間の決定について、図４乃至図７を用いて説明する。

すなわち、図４に示されるように、第１の編集素材であるストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、第２の編集素材であるストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。

そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たす場合、図４に示されるように、基準再エンコード区間は、そのまま、最小再エンコード区間に仮設定される。

そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ａ＋Ｂ＜Ｎ／２を満たす場合、図５に示されるように、最小再エンコード区間は、ストリームＢにおける編集点ｂを含むＧＯＰの次のＧＯＰを含ませて、αから次のＧＯＰの終了点γまでであるものと仮設定される。

そして、次のＧＯＰに含まれるフレーム数がＣであるとき、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かが判断される。Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎが満たされる場合、αからγまでが１ＧＯＰとされて、最小再エンコード区間に仮設定される。それに対して、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎが満たされない場合、換言すれば、Ｎ＜Ａ＋Ｂ＋Ｃである場合、αからγまでを、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように複数のＧＯＰに分割して、２以上のＧＯＰを設定し、これら全てを最小再エンコード区間に仮設定する。

最小再エンコード区間が、複数のＧＯＰに分割されるとき、それぞれのＧＯＰに含まれるフレーム数ができるだけ均等になるように分割されると好適である。例えば、２ＧＯＰに分割される場合、Ａ＋Ｂ＋Ｃのフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。

また、このとき、αからγまでのフレーム数が、ＧＯＰの数で割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。具体的には、例えば、αからγまでのフレーム数が１９であった場合、１つ目のＧＯＰのフレーム数を９とし、２つ目のＧＯＰのフレーム数を１０とすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。

更に、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。また、予め定められた所定のフレーム数は、それぞれのＧＯＰにおいて、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で定められるものとすると好適である。

具体的には、例えば、Ｎ＝１５のとき、Ａ＋Ｂ＋Ｃ＝１６であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を８とし、Ａ＋Ｂ＋Ｃ＝１７であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を９とし、Ａ＋Ｂ＋Ｃ＝１８であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１０とするように、２つ目のＧＯＰのフレーム数を変化させ、同様に、Ａ＋Ｂ＋Ｃ＝２２であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１４とするようにしても良い。

そして、編集点ａおよびｂを含むαからβまでの区間、すなわち、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂが、これらのストリームにおける基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たす場合、図６に示されるように、基準再エンコード区間は、基準再エンコード区間のフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に仮設定される。

この場合においても、αからβまでのフレーム数が、２で割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。

また、同様にして、この場合においても、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。

また、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１が成り立つ場合、更に、Ａ≧Ｎ／２であるか否かが判断され、Ａ≧Ｎ／２が成り立つ場合、編集点がＧＯＰの切れ目となるように設定されるものとしても良い。そして、そのとき、編集点以降に対応する後ろ側のＧＯＰの先頭をＩ２ピクチャとし、Ｂ０およびＢ１ピクチャを省略するようにしてもよい。

このように、編集点、すなわち、大きく絵が変化する部分でＧＯＰを分割し、編集点以降に対応する後ろ側のＧＯＰのディスプレイ順における先頭をＩ２ピクチャとし、Ｂ０およびＢ１ピクチャを省略するものとすると、編集点以降のＧＯＰの画質の劣化を抑制することができ、好適である。

また、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１であり、かつ、Ａ≧Ｎ／２である場合、仮設定された最小再エンコード区間において、編集点より後ろの部分のフレーム数、すなわち、フレーム数Ｂが少ない場合（例えば、Ｂ≧Ｎ／２が成り立たないような場合）、編集点より後ろの部分が所定のフレーム数以上（例えば、Ｎ／２以上）となるように、ストリームＢの続くＧＯＰを仮設定された最小再エンコード区間に加えるものとすると、極端に少ないフレーム数で構成されたＧＯＰを再エンコード区間に含ませることを防止することができる。これにより、編集点よりも後ろの部分のＧＯＰにおいて、ＶＢＶ占有量の連続性を保ちつつ、それぞれのフレームに適切な発生符号量を配分することが容易となるので、好適である。

そして、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１であるが、Ａ≧Ｎ／２ではない場合、上述した場合と同様にして、Ａ＋Ｂのフレーム数をできるだけ均等に２つのＧＯＰに分割するようにしてもよいし、上述したように、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で、予め定められた所定のフレーム数で、２つのＧＯＰに分割するものとしても良い。

このようにして、最小再エンコード区間を仮決定するようにすることにより、再エンコード区間の設定について、短いGOPを結果として残さない様にすることができ、いたずらに画質の劣化をもたらさないようにすることができる。

そして、再エンコードを行う区間の各GOPに対し、画質の劣化をもたらさないように、かつ、出来る限り大きなGOP長となる様なエンコードを実施できるため、符号化効率が向上し、より良い画質の符号化を期待することができる。

ところで、再エンコードを行う区間が終了する前に次の編集点が存在した場合、エンコード中のGOPでVBV目標点が変わってしまう。また、最小再エンコード区間の次のＧＯＰに編集点が存在した場合、再エンコード区間は、連続する。

このような状況は、例えば、第１のストリームに、非常に短い第２のストリームが挿入される場合や、図７に示されるように、例えば、ストリームＡとストリームＢとの編集点ａｂに対して、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置βより前に、他のストリームＸとの編集点ｄ´ｄが入っている場合などに発生する。

例えば、図７に示されるように、上述したようにして仮設定された最小再エンコード区間内に、他の編集点が存在した場合、最小再エンコード区間は、編集点ｄ´ｄにおいてストリームＢに接続されるストリームＸにおける編集点ｄを含むＧＯＰの終了位置δ間での区間に変更されて、設定される。すなわち、最小再エンコード区間の編集点ｄ´ｄ以降の部分は、ストリームＸに対応するデータとなり、最小再エンコード区間のエンコードにおけるＶＢＶ目標値は、ストリームＸの編集点ｄを含むＧＯＰの終了位置δにおけるＶＢＶ占有量となる。

なお、ストリームＸにおける編集点ｄが、ストリームＡおよびストリームＢの編集点ａｂに近く、更に、ストリームＸにおける編集点ｄを含むＧＯＰの終了位置δが、編集点ｄ´ｄに近い場合など、再度設定された最小再エンコード区間に含まれるフレーム数Ｚが、０≦Ｚ＜Ｎ／２を満たす場合、ストリームＸの次のＧＯＰを最小再エンコード区間に加えるものとすると好適である。そのとき、ストリームＸの次のＧＯＰ内、または、その次のＧＯＰに、異なる編集点が存在するか否かが判断され、異なる編集点が存在した場合、同様に、最小再エンコード区間を再設定する処理が実行されるのは、言うまでもない。

このように、複数の編集点が近傍に存在する場合、それらの編集点が考慮されて、最小再エンコード区間が設定される。なお、図７において、複数の編集点に基づいて設定された、すなわち、仮設定された最小再エンコード区間内、または、その次のＧＯＰに編集点が存在した場合に設定し直された最小再エンコード区間を、１ＧＯＰとしてエンコードするか、または、複数のＧＯＰとしてエンコードするか、および、複数のＧＯＰとしてエンコードする場合のＧＯＰの区切り方については、図４乃至図６を用いて説明した場合と同様である。

そして、ＣＰＵ１１は、編集素材となる複数のストリームを、VBV Buffer ModelのVBV占有量の連続性を守ったまま、編集点で接続して１つのストリームとする、すなわち、スプライシングするための処理を実行する。

すなわち、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、例えば、ストリームＡとストリームＢとが編集点ａｂで接続される場合、最小再エンコード区間に含まれる、ストリームＡの編集点ａまでの部分がデコーダ２２に供給され、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

再エンコード区間および再エンコード区間前後の部分の表示が指令されている場合、ＣＰＵ１１は、編集データを構成する素材となる複数のストリームの、再エンコード区間に対応する部分(再エンコード区間以外のフレームが再エンコード区間をデコードまたはエンコードするために必要であれば、そのフレームを含む)の、メモリ１８への供給を制御するので、ＣＰＵ２０は、１つ目の編集点を含む符号化ストリームの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力され、続いて、エフェクト／スイッチ２６から出力された、編集された部分のベースバンド画像データが、スイッチ２９を介して、外部の表示装置などに出力されるように制御する。

そして、編集装置１においては、最小再エンコード区間における再エンコード時の発生符号量の調節に失敗した場合、すなわち、スプライシングの実行時に再エンコードが実行される区間と実行されない区間とのVBV占有量の連続性が保たれなかった場合に、最小再エンコード区間において、再度エンコードを実行する、いわゆる、リトライ動作を実行することができるようになされている。そして、このとき、編集装置１においては、実行された最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間の再エンコード処理をもう一度行うことが可能なようになされている。

これにより、ＶＢＶ占有量の連続性を保ちつつ、再エンコードを実行する区間をできるだけ小さくすることができるので、再エンコード処理により画像が劣化してしまう可能性のある領域の発生量を抑制することができる。

これに対して、再度エンコードを実行するリトライ動作は、編集画像をリアルタイムで表示させる場合など、即時性が重要視されるような場合に、ユーザの要求を満たさない場合がある。

そこで、編集装置１においては、スプライシングの実行時にVBV占有量の接合ができなかった場合に、再度エンコードを実行する、いわゆる、リトライ動作を実行するのみでなく、再エンコード区間自体を延ばして処理を実行することも可能なようになされている。このことにより、装置内部のエンコーダとデコーダやつなぎ動作を実行するスイッチャー(例えば、図３のエフェクト／スイッチ２６)との調走などの複雑な動作は１回だけで済み、実装が楽になる。また、このような処理は、編集画像をリアルタイムで表示させる場合など、即時性が重要視されるような場合に用いると好適である。

まず、図４乃至図７を用いて説明した最小再エンコード区間の再エンコード(デコードおよびエンコード)が実行される。ＣＰＵ１１は、編集素材となる複数の符号化ストリームをＨＤＤ１６から読み出させ、サウスブリッジ１５、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。そして、ＣＰＵ１１は、ストリームＡおよびストリームＢのうち、最小再エンコード区間のデータが、それぞれ、デコーダ２２およびデコーダ２３に供給されてデコードされ、エフェクト／スイッチ２６において接続されて、必要に応じてエフェクトがかけられ、エンコーダ２７に供給されるように制御する。

ＣＰＵ２０は、ここで、再エンコードのVBV占有量の開始値は、最小再エンコード区間の最初、たとえば、第１の編集素材であるストリームＡのaを含むGOPの先頭におけるオリジナルのVBV占有量であり、再エンコード終了時のVBV占有量の目標値は、最小再エンコード区間の終了点に対応する編集素材における、対応する部分のVBV占有量であるものとする。すなわち、図８に示されるように、最小再エンコード区間の最後をβとした場合、次のＧＯＰの開始のＩ２ピクチャ(図中アで示される)のＶＢＶ占有量が、再エンコード終了位置のVBV占有量の第１の目標値となる。

そして、ＣＰＵ２０は、任意の発生符号量調整方法により、第１の目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了する様に再エンコードの実行を制御する。

そして、最小再エンコード区間でのエンコード終了時に、目標VBV占有量より実際のVBV占有量が大きければ、zero stuffによって、VBV占有量を連続的とすることが可能であり、そこで動作を終了させて、再エンコード結果を得ることができる。

そこで、第１の目標VBV占有量よりも実際のVBV占有量を大きくすることができた場合、続いて、次GOPのcoding順の最初のＰピクチャ（図８において図中イで示されるピクチャ）の直前までのフレームが、ストリームスプライサ２５に供給されるとともに、デコーダ２３に供給され、デコードされた後、エフェクト／スイッチ２６を介して、エンコーダ２７に供給されてエンコードされる。

このとき、次GOPのcoding順の最初のＰピクチャ（図８において図中イで示されるピクチャ）でのVBV占有量を第２の目標値とし、Ｉピクチャ（図８において図中アで示されるピクチャ）の符号量を、オリジナルのストリームＢにおける該当するＩピクチャの符号量として、次GOPの先頭から最初のPピクチャ（図８において図中イで示されるピクチャ）の手前まで(IBBか、または、IB)を、PピクチャでVBV占有量を連続的とすることができる様に(VBV占有量を第２の目標値よりも大きくする様に)、任意の発生符号調整方法により再エンコード処理が実行される。

その結果、目標Ｐピクチャで、必要に応じてzero stuffを利用して、VBV占有量を連続とすることができれば、ＣＰＵ２０は、Ｉピクチャの符号を、オリジナルのストリームＢにおける該当するＩピクチャの符号に差し替えて、エンコード結果とし、スプライシング動作を終了させる。

一方、目標Ｐピクチャで、VBV占有量を連続にすることができなかった場合、ＣＰＵ２０は、図８のβまでの再エンコード区間すなわち、GOP切れ目でのVBV占有量が連続となったエンコード結果をもって、スプライシング動作を終了させる。換言すれば、図８のβまでの再エンコード区間以降、次GOPのcoding順の最初のＰピクチャの直前までのフレーム（例えば、図８において図中アで示されるピクチャから図中イで示されるピクチャまでの範囲）において、編集後の圧縮画像データとして、再エンコードされた圧縮画像データではなく、ストリームスプライサ２５に供給されたオリジナルのストリームに含まれていたフレームが採用される。

スプライシング動作が終了された場合、ＣＰＵ２０は、ＣＰＵ１１に対して、デコーダ２２またはデコーダ２３へのストリームの供給を停止させるように、制御信号を供給する。再エンコード区間のみの表示が指令されている場合、ＣＰＵ１１は、最後の編集点以降の符号化ストリームのメモリ１８への転送をストップさせる。また、再エンコード区間前後の部分の表示が指令されている場合、ＣＰＵ１１は、最後の編集点以降の符号化ストリームのメモリ１８への転送を続ける。ＣＰＵ２０は、エフェクト／スイッチ２６から出力された、編集された部分のベースバンド画像データが、スイッチ２９を介して、外部の表示装置などに出力されるのに続いて、最後の編集点以降の符号化ストリームは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように制御する。

これに対して、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまった場合は、zero stuffによってVBV占有量を連続にすることはできないため、ＣＰＵ２０は、実行された最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間の再エンコード処理をもう一度行う、すなわち、上述したリトライ動作を実行するか、または、次GOPもエンコード対象として、後述する発生符号調整方法により再エンコードが継続されるように、各部を制御する。

最小再エンコード区間の再エンコード処理をリトライするようになされている場合、ＣＰＵ２０は、既に実行された１回目の最小再エンコード区間におけるエンコード処理の実績を基に、最小再エンコード区間における符号配分を決定する。このようにすることにより、２回目の再エンコードにおいては、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまうようなことを防ぐことができる。このような処理が実行される動作モードを、２パスエンコードモードと称する。

また、最小再エンコード区間でのエンコード終了時に、目標VBV占有量よりも占有量が小さくなってしまってもリトライ動作を実行せず、次のＧＯＰを再エンコード対象とする場合、ＣＰＵ２０は、最小再エンコード区間に対して、図９に示されるように、次のＧＯＰを延長再エンコード区間とし、任意の発生符号量調整方法により、目標VBV占有量よりも大きなVBV占有量で延長再エンコード区間のエンコードが終了する様に、目標発生符号量を設定して、再エンコードを実行させる。図中γで示される、更に続くＧＯＰの開始のVBV占有量が、再エンコード区間が延長された場合の延長再エンコード区間における再エンコード終了時のVBV占有量の目標値とされる。

そして、図９に示されるγまでの再エンコード結果、目標VBV占有量よりも実際のVBV占有量を大きくすることができた場合、上述した場合と同様に、続くGOPのcoding順の最初のＰピクチャ（図８において図中イで示されるピクチャ）でのVBV占有量を目標値として、再エンコードが実行される。図９に示されるγまでの再エンコード結果、目標VBV占有量よりも実際のVBV占有量を大きくすることができなかった場合、更に、続くＧＯＰが次の延長再エンコード区間とされ、図中γ＋で示される、更に続くＧＯＰの開始のVBV占有量が、再エンコード区間が延長された場合の延長再エンコード区間における再エンコード終了時のVBV占有量の目標値とされる。このような処理が実行される動作モードを、延長再エンコード区間設定モードと称する。

なお、最小再エンコード区間、または、延長再エンコード区間に続く次のＧＯＰにおいて、coding順で最初のＰピクチャの前にＢピクチャが配置されていなかった場合、GOP切れ目でのVBV占有量が連続となったエンコード結果を以って、スプライシング動作が終了される。また、例えば、図９に示されるように、ストリームＡとストリームＢとが、第１の編集点で接続される場合において、ストリームＡの編集点aがGOPのdisplay順先頭であった場合、最小再エンコード区間の開始はストリームＢの編集点bからであるものとすることができる。

すなわち、編集装置１においては、最小再エンコード区間の切れ目(最小再エンコード区間の最後と、続くＧＯＰの最初と)でVBV占有量をあわせることができなかった場合、最小再エンコード区間の再エンコードを、１回目における再エンコードの実績を基にもう一度行うか、次のGOP切れ目までエンコード区間が延長されて延長再エンコード区間とされて、ＶＢＶ占有量が連続性を有するまで、延長再エンコード区間が設定される。そして、再エンコード区間の切れ目でVBV占有量をあわせることができた場合、再エンコード区間の次のGOPのIピクチャにはオリジナルの符号が使用され、更に、再エンコード区間の次のGOPの最初のPピクチャまでのフレームが再エンコードされる。そして、ＰピクチャにおいてVBVを合わせることができれば、このＰピクチャの手前までで再エンコードが終了される。また、ＰピクチャにおいてVBVを合わせることができなかったときには、再エンコード区間までで再エンコードが終了される。

また、延長再エンコード区間が終了する前に次の編集点が存在した場合、エンコード中のGOPでVBV目標点が変わってしまう。また、延長再エンコード区間の次のＧＯＰに編集点が存在した場合、再エンコード区間は、連続する。

例えば、図１０に示されるように、延長再エンコード区間内に、他の編集点が存在した場合、延長再エンコード区間は、編集点ｄ´ｄにおいてストリームＢに接続されるストリームＸにおける編集点ｄを含むＧＯＰの終了位置δまでに変更される。すなわち、延長再エンコード区間の編集点ｄ´ｄ以降の部分は、ストリームＸに対応するデータとなり、延長再エンコード区間のエンコードにおけるＶＢＶ目標値は、ストリームＸの編集点ｄを含むＧＯＰの終了位置δにおけるＶＢＶ占有量となる。

このように、延長再エンコード区間が設定された場合、その区間内、または、それに続くＧＯＰに、新たな編集点が存在するか否かが検出され、新たな編集点が存在した場合、それらの編集点が考慮されて、延長再エンコード区間が再設定される。

なお、図１０において、複数の編集点に基づいて設定された延長再エンコード区間は、必ず１ＧＯＰとしてエンコードされるものとしても良いが、再設定されたフレーム数に応じて、複数のＧＯＰとしてエンコードするかを判断したり、図４乃至図６を用いて説明した場合と同様にして、複数ＧＯＰに区切るものとしても良い。

具体的には、ストリームＢにおける編集点ｄ´が、最小再エンコード区間の終了点βに近く、更に、ストリームＸにおける編集点ｄを含むＧＯＰの終了位置δが、編集点ｄ´ｄに近い場合など、再度設定された延長再エンコード区間に含まれるフレーム数Ｚが短くなってしまう可能性がある。短い区間のエンコード処理が実行された場合、終了点においてＶＢＶの連続性を保つことができず、更にストリームＸの次のＧＯＰが延長再エンコード区間として設定される可能性が高くなってしまう。

そこで、再度設定された最小再エンコード区間に含まれるフレーム数Ｚが、０≦Ｚ＜Ｎ／２を満たす場合、ストリームＸの次のＧＯＰをこの最小再エンコード区間に加えるものとしてもよい。これにより、再エンコード区間の延長量は実質変わらないが、その部分における符号発生量の自由度が増すため、符号化難易度の高いフレームが含まれていても、画質を極端に劣化させることを防止することができ、好適である。なお、そのとき、ストリームＸの次のＧＯＰ、または、更にその次のＧＯＰ内に、異なる編集点が存在するか否かが判断され、異なる編集点が存在した場合、同様に、延長再エンコード区間を再設定する処理が実行されるのは、言うまでもない。

すなわち、編集装置１においては、スプライシング実行時の動作モードとして、リトライ動作を実行する２パスエンコードモードと、再エンコードを実行する区間を延長する延長再エンコード区間設定モードとの２つの動作モードを有する。そして、いずれの場合においても、最小再エンコード区間、または、延長再エンコード区間にかかわらず、再エンコードが実行される区間またはそれに続くＧＯＰに複数の編集点が存在した場合、それらの編集点に基づいて、再エンコードが実行される区間が設定され、区間終了点のＶＢＶ目標値が設定される。編集装置１においては、例えば、編集装置１の構成または設定、もしくは、ユーザの操作入力などに基づいて、動作モードが設定されて、設定された動作モードに基づいた処理が実行されるようになされている。

２パスエンコードモードにおいては、編集点を含むＧＯＰを含んで構成される最小再エンコード区間においてのみ、ＶＢＶ占有量の連続性を守って再エンコードが実行されるので、編集後のストリームにおいて、再エンコードによって画質が劣化してしまう恐れのある部分を最小にすることが可能となる。したがって、編集結果をリアルタイムで再生して確認するよりも画質をできるだけ劣化しないようにしたい場合などに、２パスエンコードモードで編集が行われると好適である。

また、延長再エンコード区間設定モードにおいては、編集点を含むＧＯＰにより構成される最小再エンコード区間において、目標VBV占有量よりも実際のVBV占有量を大きくすることができなかった場合においても、リトライ動作を行わないようにすることができるので、リトライ動作を含むものと比較して、実装が容易になる。また、リトライ動作を行う場合と異なり、編集結果を略リアルタイムに再生出力することが可能であるので、編集結果を略リアルタイムに再生出力する必要がある場合は、延長再エンコード区間設定モードで編集が行われると好適である。

次に、図１１は、図３の編集装置１の機能の構成例を示すブロック図である。なお、図１１において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

編集装置１は、制御部１０１、取得部１０２、デコーダ２２およびデコーダ２３を含むデコーダ１０３、並びに、エンコーダ２７から構成される。

制御部１０１は、ＣＰＵ１１およびＣＰＵ２０に対応し、編集装置１の各部を制御する。取得部１０２は、制御部１０１の制御に基づいて、ＨＤＤ１６またはメモリ１８から圧縮素材映像データを取得して、再エンコード区間に対応する部分は、デコーダ２２またはデコーダ２３を含むデコーダ１０３に供給する。圧縮素材映像データが記憶されるＨＤＤ１６またはメモリ１８が取得部１０２に含まれるようにしてもよいし、取得部１０２が編集装置１に接続されている他の装置から圧縮素材映像データを取得するものとしてもよい。また、取得部１０２は、必要に応じて、再エンコード区間に対応しない部分も取得し、再エンコードされた領域と接続して編集画像を生成するために（図３におけるストリームスプライサ２５に）出力する。

デコーダ１０３は、取得部１０２から供給された圧縮素材映像データをデコードし、その結果として得られた非圧縮の映像信号をエンコーダ２７に供給する。なお、図１１に示す編集装置１には、圧縮素材映像データをデコードするデコーダとして、２つのデコーダ２２およびデコーダ２３が設けられ、編集後のストリームをデコードするデコーダとして、デコーダ２４が設けられているが、編集装置１に設けられるデコーダは１つであってもよいし、３以上であってもよい。

また、制御部１０１は、より詳細には図１２に示すような機能を有している。

すなわち、制御部１０１は、ＣＰＵ１１およびＣＰＵ２０が実行可能な機能を併せ持つものとして定義されるものである。また、ＣＰＵ１１は、操作入力取得部１３１、再エンコード区間決定部１３２、動作モード決定部１３３、ストリーム送出制御部１３４、および、パラメータ送出部１３５の機能を有し、ＣＰＵ２０は、ストリーム取得制御部１５１、パラメータ取得部１５２、復号制御部１５３、符号化制御部１５４、および、動作モード判定部１５５から構成される。

操作入力取得部１３１は、ユーザによる操作入力を受けて、編集されるストリームおよび編集点に関する情報などのユーザの操作に応じた情報を取得し、取得した情報を再エンコード区間決定部１３２またはストリーム送出制御部１３４に供給する。また、操作入力取得部１３１は、ユーザから、動作モードを設定または変更する操作入力を受けたとき、動作モード決定部１３３に、動作モードに関する操作入力の内容を供給する。

再エンコード区間決定部１３２は、まず、操作入力取得部１３１からの編集されるストリームおよび編集点に関する情報に基づいて、最小再エンコード区間を決定する。再エンコード区間決定部１３２は、決定された最小再エンコード区間を示す情報をパラメータ送出部１３５およびストリーム送出制御部１３４に供給する。そして、再エンコード区間決定部１３２は、動作モードが延長再エンコード区間設定モードであり、符号化制御部１５４から、ストリーム供給を停止させる要求を受けなかった場合、換言すれば、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回ったために、延長再エンコード区間として次のＧＯＰを設定することが要求された場合、次のＧＯＰの区間内に編集点が存在するか否かを判断し、その結果を基に、延長再エンコード区間を決定し、延長再エンコード区間を示す情報をパラメータ送出部１３５およびストリーム送出制御部１３４に供給する。

動作モード決定部１３３は、操作入力取得部１３１から供給されるユーザによる操作入力、または、編集装置１の設定に基づいて、動作モードを決定し、再エンコード区間決定部１３２および動作モード判定部１５５に供給する。

パラメータ送出部１３５は、再エンコード区間決定部１３２からの最小再エンコード区間または延長再エンコード区間を示す情報に基づいて、ストリームの再エンコードに必要な各種のパラメータをパラメータ取得部１５２に供給する。

ストリーム送出制御部１３４は、操作入力取得部１３１および再エンコード区間決定部１３２からの情報に基づいて、編集されるストリームのうちの再エンコード区間として設定された部分がデコーダ２２またはデコーダ２３に送出されるように、取得部１０２を制御する。また、ストリーム送出制御部１３４は、必要に応じて、編集されるストリームのうちの再エンコード区間として設定されていない部分も取得し、再エンコードされた部分と接続されるように、取得部１０２を制御する。また、ストリーム送出制御部１３４は、操作入力取得部１３１からの情報に基づいて、ストリームの編集、記憶、または表示などのユーザの操作に応じた処理を行うための制御信号をストリーム取得制御部１５１に供給する。

ストリーム取得制御部１５１は、ストリーム送出制御部１３４からの制御信号に基づいて、編集されるストリームの取得を制御する。また、ストリーム取得制御部１５１は、編集されるストリームのうちの再エンコードされる区間のストリームを、復号制御部１５３を制御してデコードさせるとともに、符号化制御部１５４を制御してエンコードさせる。

復号制御部１５３は、動作モード判定部１５５により判定される動作モードに基づいて、ストリームのデコードを制御する。パラメータ取得部１５２は、パラメータ送出部１３５からストリームの再エンコードに必要な各種のパラメータを取得し、符号化制御部１５４に供給する。

符号化制御部１５４は、動作モード判定部１５５により判定される動作モードに基づいて、パラメータ取得部１５２から供給されるパラメータを用いて、ストリームの再エンコードを制御する。符号化制御部１５４は、２パスエンコードモードにおいて、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回った場合、１回目のエンコード処理の結果得られる各種パラメータ（例えば、発生符号量などの実績）をエンコーダ２７から取得し、２回目のエンコード処理の符号配分の決定に用いる。また、符号化制御部１５４は、延長再エンコード区間設定モードにおいて、最小再エンコード区間の再エンコード処理の結果、ＶＢＶ占有量が、目標値よりも下回った場合、延長再エンコード区間が設定されるように、再エンコード区間決定部１３２に、ストリーム供給を停止させる要求を通知せず、延長再エンコード区間の設定を要求する。

動作モード判定部１５５は、動作モード決定部１３３により決定された動作モードに基づいて、動作モードが２パスエンコードモードであるか、延長再エンコード区間設定モードであるかを判定し、判定結果を、復号制御部１５３および符号化制御部１５４に供給する。

次に、図１３乃至図１５のフローチャートを参照して、ＣＰＵ１１の処理について説明する。

ステップＳ１において、ＣＰＵ１１は、圧縮符号化された圧縮素材映像データである複数のストリームのＧＯＰ構造、および、編集点を示す情報の入力を受ける。また、ＣＰＵ１１は、再エンコード区間前後の部分の表示が指令されている場合、最初の編集点より前の部分に対応するストリームの最小再エンコード区間以前の部分のデータが、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ２において、図１６および図１７または図１８乃至図２０を用いて後述する最小再エンコード区間決定処理が実行され、図４乃至図７を用いて説明したように、最小再エンコード区間が決定される。

ステップＳ３において、ＣＰＵ１１は、ステップＳ２において、最小再エンコード区間が決定されたか否かを判断する。ステップＳ３において、最小再エンコード区間が決定されなかったと判断された場合、処理は、終了される。

ステップＳ３において、最小再エンコード区間が決定されたと判断された場合、ステップＳ４において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。

例えば、ストリームＡとストリームＢとが第１の編集点で接続され、ストリームＢとストリームＣとが第２の編集点で接続される場合、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータには、ストリームＡにおける第１の編集点を含むＧＯＰまでのＧＯＰ数など、その位置を示す情報、ストリームＡにおける第１の編集点を含むＧＯＰにおける第１の編集点の位置を示す情報、ストリームＢにおける第１の編集点を含むＧＯＰからストリーム終了までのＧＯＰ数など、その位置を示す情報、ストリームＢにおける第１の編集点を含むＧＯＰにおける第１の編集点の位置を示す情報、ストリームＢにおける第２の編集点を含むＧＯＰまでのＧＯＰ数など、その位置を示す情報、ストリームＢにおける第２の編集点を含むＧＯＰにおける第２の編集点の位置を示す情報、ストリームＣにおける第２の編集点を含むＧＯＰからストリーム終了までのＧＯＰ数など、その位置を示す情報、ストリームＣにおける第２の編集点を含むＧＯＰにおける第２の編集点の位置を示す情報、最小再エンコード区間のはじめの位置に対応するＶＢＶ値、および、最小再エンコード区間の最後の位置に対応するフレームのＶＢＶ値（すなわち、最小再エンコード区間におけるＶＢＶ目標値）、エフェクトの有無またはエフェクトの種類を示す情報などがある。

ステップＳ５において、ＣＰＵ１１は、最小再エンコード区間のエンコード終端処理に必要なパラメータを取得する。エンコード終端処理とは、図８を用いて説明した、最小再エンコード区間の次のＧＯＰの最初のＰピクチャまでの再エンコード処理と、その結果に基づいた、編集ストリームＣの生成処理である。

最小再エンコード区間のエンコード終端処理を実行させるために必要なパラメータには、例えば、該当するＧＯＰにおけるＶＢＶ目標値、該当するＧＯＰの次のＧＯＰの最初のＰピクチャにおけるＶＢＶ値、該当するＧＯＰの次のＧＯＰのＩピクチャの発生符号量、該当するＧＯＰの次のＧＯＰの最初のＰピクチャ直前のＢピクチャの数、該当するＧＯＰの次のＧＯＰの最初のＰピクチャ直前のＢピクチャにおける量子化マトリクスなどがある。

ステップＳ６において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリームのデコーダ２２およびデコーダ２３への送出を制御する。具体的には、ＣＰＵ１１は、例えば、ストリームＡとストリームＢとが第１の編集点で接続され、ストリームＢとストリームＣとが第２の編集点で接続される場合、最小再エンコード区間の再エンコード処理を実行させるために必要なストリーム、すなわち、ストリームＡの最小再エンコード区間の開始位置から第１の編集点までの部分がデコーダ２２に供給され、ストリームＢの第１の編集点から第２の編集点の部分がデコーダ２３に供給され、ストリームＣの第２の編集点以降の部分がデコーダ２２に供給され（ストリームＡ，Ｂ，Ｃとも、最小再エンコード区間の部分のデコードに必要なフレームがこの区間外に存在する場合は、そのフレームも含む）、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ７において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ８において、ＣＰＵ１１は、最小再エンコード区間において表示出力されるストリームが、エンコーダ２７への入力データとなるようにスイッチ２９を制御させるための制御信号を、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ９において、ＣＰＵ１１は、動作モードは、２パスエンコードモードであるか否かを判断する。ステップＳ９において、２パスエンコードモードであると判断された場合、処理は、後述するステップＳ１９に進む。

ステップＳ９において、２パスエンコードモードではないと判断された場合、動作モードは、延長再エンコード区間設定モードであるので、ステップＳ１０において、ＣＰＵ１１は、次のＧＯＰを延長再エンコード区間として仮設定する。

ステップＳ１１において、ＣＰＵ１１は、ステップＳ１０において仮設定された延長再エンコード区間、または、その次のＧＯＰに次の編集点が存在するか否かを判断する。

ステップＳ１１において、次の編集点が存在すると判断された場合、ステップＳ１２において、ＣＰＵ１１は、図１０を用いて説明したように、編集点により接続されるストリームの編集点後のストリームを基に、延長再エンコード区間を設定する。

ステップＳ１１において、次の編集点が存在しないと判断された場合、ステップＳ１３において、ＣＰＵ１１は、仮に設定された延長再エンコード区間を次に再エンコードされる延長再エンコード区間とする。

ステップＳ１２またはステップＳ１３の処理の終了後、ステップＳ１４において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータを取得する。

ステップＳ１５において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間のエンコード終端処理に必要なパラメータを取得する。

ステップＳ１６において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なストリームの最小再エンコード区間に続くＧＯＰのデコーダ２３への送出を制御する。

ステップＳ１７において、ＣＰＵ１１は、次に再エンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ１８において、ＣＰＵ１１は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ２０から、デコーダ２２またはデコーダ２３へのストリーム供給を停止させる要求を受けたか否かを判断する。

すなわち、最小再エンコード区間における再エンコード処理において、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了された場合、ＣＰＵ２０は、ＣＰＵ１１に、デコーダ２２またはデコーダ２３へのストリーム供給を停止させる要求を送出する。

ステップＳ１８において、ＣＰＵ２０から、デコーダ２２またはデコーダ２３へのストリーム供給を停止させる要求を受けていない、すなわち、最小再エンコード区間における再エンコード処理において、目標VBV占有量よりも大きなVBV占有量で最小再エンコード区間のエンコードが終了されていないと判断された場合、処理は、ステップＳ１０に戻り、それ以降の処理が繰り返される。ステップＳ１８において、ＣＰＵ２０から、デコーダ２２またはデコーダ２３へのストリーム供給を停止させる要求を受けたと判断された場合、処理は、後述するステップＳ２２に進む。

ステップＳ９において、２パスエンコードモードであると判断された場合、ステップＳ１９において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリームのデコーダ２２およびデコーダ２３への送出を制御する。具体的には、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なストリームがデコーダ２２またはデコーダ２３に供給され、エフェクト／スイッチ２６によって、編集点で接続され、必要に応じてエフェクトが施されるように、各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ２０において、ＣＰＵ１１は、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ２１において、ＣＰＵ１１は、コントロールバス１９、ＰＣＩブリッジ１７、ＰＣＩバス１４、および、ノースブリッジ１２を介して、ＣＰＵ２０から、最小再エンコード区間のエンコードが成功したことの通知を受けたか否かを判断する。ステップＳ２１において、最小再エンコード区間のエンコードが成功したことの通知を受けていないと判断された場合、処理は、ステップＳ１９に戻り、それ以降の処理が繰り返される。

ステップＳ１８において、ＣＰＵ２０から、デコーダ２２またはデコーダ２３へのストリーム供給を停止させる要求を受けたと判断された場合、または、ステップＳ２１において、最小再エンコード区間のエンコードが成功したことの通知を受けたと判断された場合、ステップＳ２２において、ＣＰＵ１１は、最終的な再エンコード区間に続くフレームとして、Iピクチャに続いてBピクチャが配置されているか否かを判断する。ステップＳ２２において、Iピクチャに続いてBピクチャが配置されていない、すなわち、Ｉピクチャに続いて、Ｐピクチャが配置されていると判断された場合、処理は、後述するステップＳ２５に進む。

ステップＳ２２において、Iピクチャに続いてBピクチャが配置されていると判断された場合、ステップＳ２３において、ＣＰＵ１１は、最終的な再エンコード区間に続くIピクチャ、１枚以上のBピクチャ、および、Pピクチャ、すなわち、図８において図中アに示されるフレームから図中イに示されるフレームまでの複数のフレームは、ＨＤＤ１６から読み出され、サウスブリッジ１５、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給されているか否かを判断する。ステップＳ２３において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていると判断された場合、処理は、後述するステップＳ２５に進む。

ステップＳ２３において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていないと判断された場合、ステップＳ２４において、ＣＰＵ１１は、最終的な再エンコード区間に続くIピクチャ、１枚以上のBピクチャ、および、Pピクチャのデコーダ２３への供給を制御する。

ステップＳ２２において、Iピクチャに続いてBピクチャが配置されていない、すなわち、Ｉピクチャに続いて、Ｐピクチャが配置されていると判断された場合、ステップＳ２３において、Iピクチャ、１枚以上のBピクチャ、および、Pピクチャが、メモリ１８に供給されていると判断された場合、または、ステップＳ２４の処理の終了後、ステップＳ２５において、ＣＰＵ１１は、再エンコード区間外において表示出力されるストリームが、ストリームスプライサ２５を介してデコーダ２４に供給されてデコードされ、外部の表示装置などに供給されるように各部を制御させるための制御信号を生成し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出して、処理が終了される。

このような処理により、ＣＰＵ１１は、最小再エンコード区間を決定して、最小再エンコード区間の再エンコード処理、および、エンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出するとともに、再エンコード区間のストリームの、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介した、メモリ１８への供給と、デコーダ２３(または、必要に応じて、デコーダ２２)への供給を制御することができるようになされている。

また、ＣＰＵ１１は、２パスエンコードモードにおいて、最小再エンコード区間において実行される再エンコードの結果、ＶＢＶ占有量が連続するまで、最小再エンコード区間の再エンコードが実行されるように、各種制御を実行するので、できるだけ少ない再エンコード区間としつつ、ＶＢＶの制約を守るようにすることができる。これにより、画質の劣化を防止することができる。

また、ＣＰＵ１１は、延長再エンコード設定モードにおいて、最小再エンコード区間において実行される再エンコードの結果、ＶＢＶ占有量が連続しない場合、ＶＢＶ占有量が連続するまで、延長再エンコード区間を設定するので、リアルタイムに編集結果を表示出力することを可能とするとともに、ＶＢＶの制約を守って、編集処理を実行することができる。

また、ＣＰＵ１１は、延長再エンコード区間の設定時に、その区間内、または、その次のＧＯＰに新たな編集点があるか否かを判断し、編集点が存在した場合、編集点に基づいて、延長再エンコード区間を設定する。

更に、ＣＰＵ１１は、延長再エンコード設定モードにおいて、予め、次に再エンコードされる延長再エンコード区間の再エンコード処理、および、エンコード終端処理に必要なパラメータを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出するとともに、再エンコード区間が延長された場合に続いて再エンコードされるストリームを、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させ、デコーダ２３(または、必要に応じて、デコーダ２２)に供給させることができるようになされているので、編集装置１は、再エンコード区間が延長され、延長再エンコード区間が設定された場合であっても、処理が遅延されたりとまったりすることがない。このため、編集装置１は、連続して編集画像を再生出力させることが可能となる。

次に、図１６および図１７のフローチャートを参照して、図１３のステップＳ２において実行される処理の第１の例である、最小再エンコード区間決定処理１について説明する。

ステップＳ４１において、ＣＰＵ１１は、編集されるそれぞれのストリームにおける編集点位置の情報を基に、図４を用いて説明したように、基準再エンコード区間を決定する。すなわち、編集点ａｂにおいてストリームＢと接続されるストリームＡにおける編集点ａを含むＧＯＰの開始位置をαとし、ストリームＢにおける編集点ｂを含むＧＯＰの終了位置をβとしたとき、ストリームＡおよびストリームＢが編集点において接続されて生成されるストリームＣにおける基準再エンコード区間は、編集点ａおよびｂを含むαからβまでの区間とされる。

ステップＳ４２において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすか否かを判断する。

ステップＳ４２において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすと判断された場合、ステップＳ４３において、ＣＰＵ１１は、基準再エンコード区間を１ＧＯＰとして、最小再エンコード区間に仮設定し、処理は、図１７のステップＳ５１に進む。

ステップＳ４２において、フレーム数A＋Bは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たさないと判断された場合、ステップＳ４４において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすか否かを判断する。

ステップＳ４４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすと判断された場合、ステップＳ４５において、ＣＰＵ１１は、図６を用いて説明したように、基準再エンコード区間のフレーム数が偶数の場合は均等に分割し、奇数の場合は後ろが１フレーム多くなるように分割して、２ＧＯＰとし、最小再エンコード区間に仮設定し、処理は、図１７のステップＳ５１に進む。

また、このとき、フレーム数Ａ＋Ｂが割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。

ステップＳ４４において、フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、ステップＳ４６において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすか否かを判断する。

ステップＳ４６において、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たさないと判断された場合、フレーム数A＋Bは、２Ｎ以上の値を有するので、ステップＳ４７において、ＣＰＵ１１は、エラー処理を実行し、処理は、図１３のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ４６において、フレーム数A＋Bは、０≦Ａ＋Ｂ＜Ｎ／２を満たすと判断された場合、ステップＳ４８において、ＣＰＵ１１は、基準再エンコード区間に含まれるフレーム数A＋Bに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かを判断する。

ステップＳ４８において、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、すなわち、Ｎ＜Ａ＋Ｂ＋Ｃである場合、ステップＳ４９において、ＣＰＵ１１は、図５を用いて説明したように、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように分割して、２以上のＧＯＰを設定して、最小再エンコード区間に仮設定する。このとき、それぞれのＧＯＰに含まれるフレーム数ができるだけ均等になるように分割されると好適である。例えば、２ＧＯＰに分割される場合、Ａ＋Ｂ＋Ｃのフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、この２ＧＯＰが最小再エンコード区間に設定される。

また、このとき、フレーム数Ａ＋Ｂ＋Ｃが割り切れない値であった場合、時間的に後ろとなるＧＯＰのフレーム数が多くなるようにすると好適である。なぜなら、再エンコードされた符号化ストリームと、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるからである。

更に、Ａ＋Ｂ＋Ｃのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。また、予め定められた所定のフレーム数は、それぞれのＧＯＰにおいて、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で定められるものとすると好適である。

ステップＳ４９の処理の終了後、処理は、図１７のステップＳ５１に進む。

ステップＳ４８において、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすと判断された場合、ステップＳ５０において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを１ＧＯＰとして、最小再エンコード区間に仮設定する。

ステップＳ４３、ステップＳ４５、ステップＳ４９、または、ステップＳ５０の処理の終了後、ステップＳ５１において、ＣＰＵ１１は、仮設定された最小再エンコード区間内、または、仮設定された最小再エンコード区間の次のＧＯＰに、最小再エンコード区間の設定に考慮されていない編集点が存在するか否かを判断する。

ステップＳ５１において、編集点が存在しないと判断された場合、ステップＳ５２において、ＣＰＵ１１は、仮設定された最小再エンコード区間を最小再エンコード区間とし、処理は、図１３のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ５１において、編集点が存在すると判断された場合、ステップＳ５３において、ＣＰＵ１１は、図７を用いて説明したように、全ての編集点を考慮した最小再エンコード区間を再度仮設定する。

ステップＳ５４において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、仮設定された最小再エンコード区間に含まれるフレーム数Ｚは、N/2≦Ｚ≦Ｎを満たすか否かを判断する。

ステップＳ５４において、フレーム数Ｚは、N/2≦Ｚ≦Ｎを満たすと判断された場合、ステップＳ５５において、ＣＰＵ１１は、仮設定された最小再エンコード区間を１ＧＯＰとして、最小エンコード区間に仮設定し、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

ステップＳ５４において、フレーム数Ｚは、N/2≦Ｚ≦Ｎを満たさないと判断された場合、ステップＳ５６において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、仮設定された最小再エンコード区間に含まれるフレーム数Ｚは、N＋１≦Ｚ≦２Ｎ−１を満たすか否かを判断する。

ステップＳ５６において、フレーム数Ｚは、N＋１≦Ｚ≦２Ｎ−１を満たすと判断された場合、ステップＳ５７において、ＣＰＵ１１は、仮設定された最小再エンコード区間のフレーム数が偶数の場合は均等に分割し、奇数の場合は後ろが１フレーム多くなるように分割して、２ＧＯＰとし、最小エンコード区間に仮設定し、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

ステップＳ５６において、フレーム数Ｚは、N＋１≦Ｚ≦２Ｎ−１を満たさないと判断された場合、ステップＳ５８において、ＣＰＵ１１は、基準となる１GOPフレーム数をNとして、仮設定された最小再エンコード区間に含まれるフレーム数Ｚは、０≦Ｚ＜Ｎを満たすか否かを判断する。

ステップＳ５８において、フレーム数Ｚは、０≦Ｚ＜Ｎを満たさないと判断された場合、ステップＳ５９において、ＣＰＵ１１は、エラー処理を実行し、処理は、図１３のステップＳ２に戻り、ステップＳ３に進む。

ステップＳ５８において、フレーム数Ｚは、０≦Ｚ＜Ｎを満たすと判断された場合、ステップＳ６０において、ＣＰＵ１１は、仮設定された最小再エンコード区間に含まれるフレーム数Ｚに、次のＧＯＰのフレーム数を加えた値Ｚ´は、N/2≦Ｚ´≦Ｎを満たすか否かを判断する。

ステップＳ６０において、値Ｚ´は、N/2≦Ｚ´≦Ｎを満たすと判断された場合、ステップＳ６１において、ＣＰＵ１１は、基準再エンコード区間に次のＧＯＰを加えたものを１ＧＯＰとして、最小エンコード区間に仮設定し、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

ステップＳ６０において、値Ｚ´は、N/2≦Ｚ´≦Ｎを満たさないと判断された場合、ステップＳ６２において、ＣＰＵ１１は、基準再エンコード区間に次のＧＯＰを加えたものを、１ＧＯＰがN/2≦ｘ≦Ｎを満たすように分割して、２以上のＧＯＰを設定し、最小エンコード区間に仮設定し、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。

このような処理により、最小再エンコード区間の設定について、複数の編集点が存在した場合においても、それらに対応した最小再エンコード区間を設定することができるとともに、短いGOPを結果として残さない様にすることができ、いたずらに画質の劣化をもたらさないようにすることができる。そして、再エンコードを行う区間の各GOPに対し、出来る限り大きなGOP長となる様なエンコードを実施できるため、符号化効率が最大となり、より良い画質の符号化を期待することができる。

なお、ステップＳ４５およびステップＳ５７の処理においては、基準再エンコード区間内のフレーム数をできるだけ均等になるように分割するものとして説明したが、ここでは、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとしても良い。

次に、図１８乃至図２０のフローチャートを参照して、図１４のステップＳ２において実行される処理の第２の例である、最小再エンコード区間決定処理２について説明する。

ステップＳ７１乃至ステップＳ７４において、図１８のステップＳ４１乃至ステップＳ４４と、基本的に同様の処理が実行される。

すなわち、ＣＰＵ１１は、編集されるそれぞれのストリームにおける編集点位置の情報を基に、図４を用いて説明したように、基準再エンコード区間を決定する。そして、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たすと判断された場合、基準再エンコード区間を１ＧＯＰとして、最小再エンコード区間が仮設定される。

そして、フレーム数Ａ＋Ｂは、Ｎ／２≦Ａ＋Ｂ≦Ｎを満たさないと判断された場合、基準となる１GOPフレーム数をNとして、基準再エンコード区間に含まれるフレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすか否かが判断される。フレーム数A＋Bは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、処理は、後述するステップＳ７７に進む。

フレーム数Ａ＋Ｂは、Ｎ＋１≦Ａ＋Ｂ≦２Ｎ−１を満たすと判断された場合、ステップＳ７５において、ＣＰＵ１１は、基準再エンコード区間のうち、編集点より前にあるフレームの数Ａは、Ａ≧Ｎ／２を満たしているか否かを判断する。ステップＳ７５において、Ａ≧Ｎ／２を満たしていると判断された場合、処理は、後述するステップＳ８２に進む。

ステップＳ７５において、Ａ≧Ｎ／２を満たしていないと判断された場合、ステップＳ７６において、ＣＰＵ１１は、フレーム数Ａ＋Ｂの値に基づいた所定のフレーム数になるように分割して２ＧＯＰとし、最小再エンコード区間に仮設定して、処理は、図２０のステップＳ９０に進む。

また、このとき、例えば、２つのうちの時間的に前のＧＯＰを構成するフレーム数が必ず所定のフレーム数（例えば、Ｎ／２またはＮ／２以上となる最小の整数）となるようにして、ＧＯＰが分割されるものとしても良い。具体的には、例えば、Ｎ＝１５のとき、Ａ＋Ｂ＝１６であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を８とし、Ａ＋Ｂ＝１７であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を９とし、Ａ＋Ｂ＝１８であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１０とするように、２つ目のＧＯＰのフレーム数を変化させ、同様に、Ａ＋Ｂ＝２２であれば、１つ目のＧＯＰのフレーム数を８、２つ目のＧＯＰのフレーム数を１４とするようにしても良い。

このようにして、時間的に前のＧＯＰのフレーム数を、再エンコードが困難とならないような所定の値に固定しておき、後のＧＯＰのフレーム数が多くなるように設定すると、再エンコードしない部分の符号化ストリームとの接続部分のOccupancy（オキュパンシ）を合わせこむためのデコードおよびエンコードの処理において、時間的に後のＧＯＰのフレーム数が多いほうが、符号割り当ての自由度が高くなるため、好適である。

ステップＳ７４において、フレーム数Ａ＋Ｂは、N＋１≦Ａ＋Ｂ≦２Ｎ−１を満たさないと判断された場合、ステップＳ７７乃至ステップＳ８１において、図１８のステップＳ４６乃至ステップＳ５０と基本的に同様の処理が繰り返される。

すなわち、基準となる１GOPフレーム数をＮとして、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たすか否かが判断され、フレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たさないと判断された場合、フレーム数Ａ＋Ｂは、２Ｎ以上の値を有するので、エラー処理が実行され、処理は、図１４のステップＳ２に戻り、ステップＳ３に進む。そして、フレーム数Ａ＋Ｂは、０≦Ａ＋Ｂ＜Ｎ／２を満たすと判断された場合、基準再エンコード区間に含まれるフレーム数Ａ＋Ｂに、ストリームＢの次のＧＯＰのフレーム数を加えた値Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすか否かが判断される。

Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、すなわち、Ｎ＜Ａ＋Ｂ＋Ｃである場合、図５を用いて説明したように、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものが、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たすように分割されて、２以上のＧＯＰが設定されて、最小再エンコード区間に仮設定され、処理は、図２０のステップＳ９０に進む。このとき、Ａ＋Ｂ＋Ｃのフレーム数ができるだけ均等になるようにＧＯＰを分割するようにしてもよいし、上述したように、１ＧＯＰがＮ／２≦ｘ≦Ｎを満たす区間で、予め定められた所定のフレーム数に基づいて、ＧＯＰを分割するものとしても良い。

そして、Ａ＋Ｂ＋Ｃは、Ｎ／２≦Ａ＋Ｂ＋Ｃ≦Ｎを満たすと判断された場合、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものが１ＧＯＰとされて、最小再エンコード区間に仮設定され、処理は、図２０のステップＳ９０に進む。

ステップＳ７５において、Ａ≧Ｎ／２を満たしていると判断された場合、ステップＳ８２において、ＣＰＵ１１は、編集点をＧＯＰの切れ目としたとき、基準再エンコード区間の編集点より後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たすか否かを判断する。

ステップＳ８２において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たすと判断された場合、ステップＳ８３において、ＣＰＵ１１は、編集点をＧＯＰの切れ目として、基準再エンコード区間を２ＧＯＰに分割し、最小再エンコード区間に仮設定して、処理は、図２０のステップＳ９０に進む。

なお、ステップＳ８３の処理が実行された場合、図１４を用いて説明したＣＰＵ１１の処理のステップＳ８において、ＣＰＵ１１は、最小再エンコード区間において編集点より後ろのＧＯＰのディスプレイ順における先頭をＩ２ピクチャとする（換言すれば、Ｂ０およびＢ１ピクチャを省略する）ことを示す情報を、再エンコードに必要なパラメータとして、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に送出する。

ステップＳ８２において、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂは、Ｎ／２≦Ｂを満たさないと判断された場合、ステップＳ８４において、ＣＰＵ１１は、編集点をＧＯＰの切れ目としたとき、基準再エンコード区間の後ろのＧＯＰのＧＯＰ数Ｂに、ストリームＢの次のＧＯＰのフレーム数Ｃを加えたＢ＋Ｃは、Ｎ／２≦Ｂ＋Ｃ≦Ｎを満たすか否かを判断する。

ステップＳ８４において、Ｎ／２≦Ｂ＋Ｃ≦Ｎが満たされると判断された場合、ステップＳ８５において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目を編集点より後ろの部分として、最小再エンコード区間に仮設定して、処理は、図２０のステップＳ９０に進む。

ステップＳ８４において、Ｎ／２≦Ｂ＋Ｃ≦Ｎを満たさないと判断された場合、ステップＳ８６において、ＣＰＵ１１は、Ｂ＋Ｃは、Ｎ／２＞Ｂ＋Ｃを満たすか否かを判断する。

ステップＳ８６において、Ｎ／２＞Ｂ＋Ｃが満たされないと判断された場合、Ｂ＋Ｃ＞Ｎであるので、ステップＳ８７において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの次のＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目および３ＧＯＰ目を、編集点より後ろの部分、すなわち、フレーム数がＢ＋Ｃフレームである部分を２ＧＯＰに分割したそれぞれのＧＯＰであるものとして、この３ＧＯＰを最小再エンコード区間に仮設定し、処理は、図２０のステップＳ９０に進む。

ステップＳ８６において、Ｎ／２＞Ｂ＋Ｃが満たされると判断された場合、ステップＳ８８において、ＣＰＵ１１は、更に、ストリームＢの次のＧＯＰのフレーム数を加えたフレーム数は、Ｎ／２と等しいか、または、大きいかを判断する。ステップＳ８８において、フレーム数はＮ／２より小さいと判断された場合、フレーム数が、Ｎ／２と等しいか、または、大きいと判断されるまで、ステップＳ８８の処理が繰り返される。

ステップＳ８８において、フレーム数が、Ｎ／２と等しいか、または、大きいと判断された場合、ステップＳ８９において、ＣＰＵ１１は、基準再エンコード区間にストリームＢの複数ＧＯＰを加えたものを、１ＧＯＰ目が編集点より前、２ＧＯＰ目を編集点より後ろの部分として、最小再エンコード区間に仮設定して、処理は、図２０のステップＳ９０に進む。

そして、ステップＳ７３、ステップＳ７６、ステップＳ８０、ステップＳ８１、ステップＳ８３、ステップＳ８５、ステップＳ８７、または、ステップＳ８９の処理の終了後、ステップＳ９０乃至ステップＳ１０１においては、ステップＳ５１乃至ステップＳ６２と、基本的に同様の処理が実行される。

すなわち、仮設定された最小再エンコード区間内、または、仮設定された最小再エンコード区間の次のＧＯＰに、最小再エンコード区間の設定に考慮されていない編集点が存在するか否かが判断され、編集点が存在しないと判断された場合、仮設定された最小再エンコード区間が最小再エンコード区間とされ、処理は、図１３のステップＳ２に戻り、ステップＳ３に進む。

編集点が存在すると判断された場合、図７を用いて説明したように、全ての編集点を考慮した最小再エンコード区間が再度仮設定される。そして、基準となる１GOPフレーム数をNとして、仮設定された最小再エンコード区間に含まれるフレーム数Ｚは、N/2≦Ｚ≦Ｎを満たすか否かが判断され、フレーム数Ｚは、N/2≦Ｚ≦Ｎを満たすと判断された場合、ステップＳ５５において、ＣＰＵ１１は、仮設定された最小再エンコード区間を１ＧＯＰとして、最小エンコード区間に仮設定し、処理は、ステップＳ９０に戻り、それ以降の処理が繰り返される。

それに対して、フレーム数Ｚは、N/2≦Ｚ≦Ｎを満たさないと判断された場合、基準となる１GOPフレーム数をNとして、仮設定された最小再エンコード区間に含まれるフレーム数Ｚは、N＋１≦Ｚ≦２Ｎ−１を満たすか否かが判断され、フレーム数Ｚは、N＋１≦Ｚ≦２Ｎ−１を満たすと判断された場合、仮設定された最小再エンコード区間のフレーム数が偶数の場合は均等に分割され、奇数の場合は後ろが１フレーム多くなるように分割されて、２ＧＯＰとされ、最小エンコード区間に仮設定されて、処理は、ステップＳ９０に戻り、それ以降の処理が繰り返される。

フレーム数Ｚは、N＋１≦Ｚ≦２Ｎ−１を満たさないと判断された場合、基準となる１GOPフレーム数をNとして、仮設定された最小再エンコード区間に含まれるフレーム数Ｚは、０≦Ｚ＜Ｎを満たすか否かが判断され、フレーム数Ｚは、０≦Ｚ＜Ｎを満たさないと判断された場合、ステップＳ５９において、ＣＰＵ１１は、エラー処理を実行し、処理は、図１３のステップＳ２に戻り、ステップＳ３に進む。

フレーム数Ｚは、０≦Ｚ＜Ｎを満たすと判断された場合、仮設定された最小再エンコード区間に含まれるフレーム数Ｚに、次のＧＯＰのフレーム数を加えた値Ｚ´は、N/2≦Ｚ´≦Ｎを満たすか否かが判断され、値Ｚ´は、N/2≦Ｚ´≦Ｎを満たすと判断された場合、基準再エンコード区間に次のＧＯＰを加えたものが１ＧＯＰとされて、最小エンコード区間に仮設定され、処理は、ステップＳ９０に戻り、それ以降の処理が繰り返される。

そして、値Ｚ´は、N/2≦Ｚ´≦Ｎを満たさないと判断された場合、基準再エンコード区間に次のＧＯＰを加えたものが、１ＧＯＰがN/2≦ｘ≦Ｎを満たすように分割されて、２以上のＧＯＰが設定され、最小エンコード区間に仮設定されて、処理は、ステップＳ９０に戻り、それ以降の処理が繰り返される。

このような処理により、最小再エンコード区間の設定について、複数の編集点が存在した場合においても、それらに対応した最小再エンコード区間を設定することができるとともに、ＧＯＰを構成するフレーム数と、編集点の位置とに基づいて、いたずらに画質の劣化をもたらさないようなＧＯＰ構成とすることができる。それにより、より良い画質の符号化を期待することができる。

なお、ステップＳ７６またはステップＳ９６の処理においては、Ａ＋Ｂのフレーム数をできるだけ均等に分割する以外に、予め定められた所定のフレーム数で、ＧＯＰを分割するものとして説明したが、ここでは、基準再エンコード区間内のフレーム数をできるだけ均等になるように分割するものとしても良い。

また、この処理においては、最小再エンコード区間を仮決定した後、仮決定された最小再エンコード区間内、または、その次のＧＯＰに異なる編集点が存在するか否かを判断し、編集点が存在した場合、最小再エンコード区間を設定しなおすものとして説明しているが、例えば、基準再エンコード区間を仮決定し、仮決定された基準再エンコード区間内に異なる編集点が存在するか否かを判断し、編集点が存在した場合、基準再エンコード区間を設定しなおすようにしてもよい。そして、設定しなおされた基準再エンコード区間に基づいて、最小再エンコード区間が仮決定され、仮決定された最小再エンコード区間内、または、その次のＧＯＰに異なる編集点が存在するか否かが判断されて、編集点が存在した場合、最小再エンコード区間が設定しなおされる。

次に、図２１のフローチャートを参照して、２パスエンコードモードにおいて実行される、ＣＰＵ２０の処理１について説明する。

ステップＳ１１１において、ＣＰＵ２０は、図１３のステップＳ７においてＣＰＵ１１により送出された、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。

ステップＳ１１２において、ＣＰＵ２０は、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とを取得する。

ステップＳ１１３において、図２３を用いて後述する最小再エンコード区間の符号配分決定処理が実行される。

ステップＳ１１４において、ＣＰＵ２０は、決定された符号配分に基づいて、最小再エンコード区間のデコードおよびエンコード、並びに、編集点の接続の制御を開始する。例えば、ストリームＡとストリームＢとが編集点で接続される場合を例にすると、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から送出される制御信号を基に、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように、ＰＣＩブリッジ１７、ストリームスプライサ２５、デコーダ２４、および、スイッチ２９の動作を制御し、ストリームＡの最小再エンコード区間のデータがデコーダ２２に供給されてデコードされ、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、デコードされたそれぞれのストリームが編集点で接続され、必要に応じてエフェクトが施された後、スイッチ２９を介して、外部の表示装置などに出力されるとともに、エンコーダ２７によってエンコードされるように、ＰＣＩブリッジ１７、デコーダ２２、デコーダ２３、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９の動作を制御する。

ステップＳ１１５において、ＣＰＵ２０は、最小再エンコード区間の再エンコードは終了したか否かを判断する。最小再エンコード区間の再エンコードは終了していないと判断された場合、最小再エンコード区間の再エンコードは終了したと判断されるまで、ステップＳ１１５の処理が繰り返される。

ステップＳ１１５において、最小再エンコード区間の再エンコードは終了したと判断された場合、ステップＳ１１６において、ＣＰＵ２０は、最小再エンコード区間の再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。

例えば、ステップＳ１１２において、図２２に示される最小再エンコード区間におけるＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とが取得される。そして、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値であるＶ２より大きな値となるか否かが判断される。

ステップＳ１１６において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致しないと判断された場合、ステップＳ１１７において、ＣＰＵ２０は、最小再エンコード区間において実施された再エンコード処理に関するパラメータとして、実際のエンコード結果によるVBV到達点、および、最小再エンコード区間の符号の総発生符号量Ｇを取得する。実際のエンコード結果によるVBV到達点は、例えば、図２２において、Ｖ３で示される。

ステップＳ１１８において、ＣＰＵ２０は、ＶＢＶ目標値に対するＶＢＶ達成値の差分を求める。

すなわち、ＣＰＵ２０は、図２２に示されるように、最小再エンコード区間におけるＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２、実際のエンコード結果によるVBV到達点Ｖ３、および、最小再エンコード区間の符号の総発生符号量Ｇを基に、Ｖ２−Ｖ３をVBV Buffer上昇分の担保とする。

ステップＳ１１９において、ＣＰＵ２０は、ステップＳ１１８において求められた、ＶＢＶ目標値に対するＶＢＶ到達値の差分を基に、発生符号量の再計算を実行し、処理は、ステップＳ１１４に戻り、それ以降の処理が繰り返される。

すなわち、ＣＰＵ２０は、VBV Buffer上昇分Ｖ２−Ｖ３を考慮して、最小再エンコード区間を再度エンコードする場合、TM5の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２−Ｖ３）−Δを用いる。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。

ステップＳ１１６において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致する、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ１２０において、図２５を用いて後述するエンコード終端処理が実行され、処理が終了される。

このような処理により、再エンコード区間の終了点において、ＶＢＶ目標値に合致するか否かが判断され、ＶＢＶ目標値に合致しなかった場合、１回目のエンコードの実績に基づいて、もう一度、最小再エンコード区間の再エンコードが実行されるので、２回目には、再エンコード区間の終了点において、ＶＢＶ目標値に合致することができるような再エンコード処理が実行されるように符号配分が決定される可能性が高くなる。

なお、ここでは、ステップＳ１１３において、図２３を用いて後述する最小再エンコード区間の符号配分決定処理が実行されて、符号配分が決定されるものとして説明するが、ここでは、ＶＢＶ目標値Ｖ２に対して、最小再エンコード区間の符号配分を決定することが可能であれば、符号配分の決定方法は、いずれの方法を用いてもよい。

また、ここでは、最小再エンコード区間の１回目の再エンコード処理によってＶＢＶ目標値に到達しなかった場合、再度、最小再エンコード区間を再エンコードするものとして説明しているが、最小再エンコード区間が複数のＧＯＰで構成されているとき、全てのＧＯＰの再エンコードを繰り返すことなく、最後の１ＧＯＰのみ、または、後ろから複数のＧＯＰのみの再エンコードを、符号配分を変更して繰り返すようにしてもよい。

次に、図２３のフローチャートを参照して、図２１のステップＳ１１３において実行される最小再エンコード区間の符号配分決定処理について説明する。

ステップＳ１３１において、ＣＰＵ２０は、ステップＳ１１２において取得された、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とに基づいて、Ｖ２−Ｖ１を求める。

ステップＳ１３２において、ＣＰＵ２０は、最小再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。

すなわち、編集点を含んだ最小再エンコード区間に対して、ＶＢＶ開始点からＶＢＶ目標点までの符号化を行う際、この部分のエンコード処理に関しては、まだ、何の実績も無いので、最小再エンコード区間の終了点において、ＶＢＶ占有量がいずれの値に到達するかを推定するための根拠がない。このため、エンコード終了点におけるＶＢＶ到達点の推定処理は容易ではない。そこで、ＣＰＵ２０は、図２４に示されるように、最小再エンコード区間に含まれる画像が平均的な絵柄である、すなわち、ＶＢＶ到達点もＶ１となることを想定して、その場合の発生符号量Ｇを求める。

そして、ステップＳ１３３において、ＣＰＵ２０は、Ｖ２−Ｖ１を、VBV上昇分として考慮し、最小再エンコード区間における発生符号量を求める。

すなわち、ＣＰＵ２０は、最小再エンコード区間に含まれる画像が平均的な絵柄であることを想定した上で、ステップＳ１１２において取得された、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２に基づいて、図２４に示されるＶ２−Ｖ１を、VBV上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２−Ｖ１）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。

そして、ステップＳ１３４において、ＣＰＵ２０は、ステップＳ１３３により求められた発生符号量に基づいて、最小再エンコード区間の符号配分を決定し、処理は、図２１のステップＳ１１３に戻り、ステップＳ１１４に進む。

このような処理により、最小再エンコード区間の最初の再エンコード時における発生符号量の配分が決定される。これにより、Ｖ２−Ｖ１が正の値であっても負の値であっても、ＴＭ５の発生符号目標値計算において、Ｇの値を最小再エンコード区間に含まれる画像が平均的な絵柄であるとしたときよりも適切な発生符号量を割り当てて、バッファアンダーフローを防止しつつ、画質劣化を抑制することが可能となる。

次に、図２５のフローチャートを参照して、図２１のステップＳ１２０において実行される、エンコード終端処理について説明する。

ステップＳ１４１において、ＣＰＵ２０は、次のＧＯＰのエンコード前に、次のＧＯＰのＢピクチャの量子化マトリクスを設定する。

ステップＳ１４２において、ＣＰＵ２０は、Ｉピクチャから次のＰピクチャの直前までの区間の再エンコードを実行する。

ステップＳ１４３において、ＣＰＵ２０は、ＶＢＶ目標値を次のＧＯＰの最初のＰピクチャの直前のＶＢＶ値に設定し、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。このとき、オリジナルのストリーム(例えば、図４などにおけるストリームＢ)のＩピクチャのビット量を用いて、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かの判断が実行される。

ステップＳ１４３において、ＶＢＶ目標値に合致した、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ１４４において、ＣＰＵ２０は、再エンコードを終了し、Ｉピクチャをオリジナルのストリーム(例えば、図４などにおけるストリームＢ)のＩピクチャに置き換えて、このＧＯＰの最初のＰピクチャの直前までの再エンコード画像を、編集画像として採用するように、各部を制御して、処理は、図２１のステップＳ１２０に戻り、処理が終了される。

ステップＳ１４３において、ＶＢＶ目標値に合致しなかったと判断された場合、ステップＳ１４５において、ＣＰＵ２０は、再エンコードを終了し、前のＧＯＰまでの再エンコード画像を採用する、すなわち、ストリームスプライサ２５に供給されたオリジナルのストリームＢにおいて、最初のＰピクチャの前に配置されている１枚または複数枚のＢピクチャを編集画像として採用する処理を実行して（換言すれば、ステップＳ１４２において再エンコードされた、次のＰピクチャの直前までの区間の再エンコード結果を破棄して）、処理は、図２１のステップＳ１２０に戻り、処理が終了される。

このような処理により、ＧＯＰの切れ目でＶＢＶが連続した場合、次のＰピクチャの直前まで再エンコードされる区間が延長され、その再エンコードされる区間の終了点でＶＢＶが連続するように、再エンコードが制御される。そして、次のＰピクチャにおいてＶＢＶが連続した場合、編集データとして、次のＧＯＰの最初のＰピクチャの直前までのＢピクチャが加えられる。

次に、図２６のフローチャートを参照して、延長再エンコード区間設定モードにおいて実行される、ＣＰＵ２０の処理２について説明する。

ステップＳ１５１において、ＣＰＵ２０は、図１３のステップＳ７においてＣＰＵ１１により送出された、最小再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。

ステップＳ１５２において、ＣＰＵ２０は、最小再エンコード区間のＶＢＶ開始値Ｖ１とＶＢＶ目標値Ｖ２とを取得する。

ステップＳ１５３において、図２３を用いて説明した、最小再エンコード区間の符号配分決定処理が実行される。

ステップＳ１５４において、ＣＰＵ２０は、決定された符号配分に基づいて、最小再エンコード区間のデコードおよびエンコード、並びに、編集点の接続の制御を開始する。例えば、ストリームＡとストリームＢとが編集点で接続される場合を例にすると、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から送出される制御信号を基に、ストリームＡの最小再エンコード区間以前の部分のデータは、ストリームスプライサ２５を介して、デコーダ２４に供給され、スイッチ２９を介して、外部の表示装置などに出力されるように、ＰＣＩブリッジ１７、ストリームスプライサ２５、デコーダ２４、および、スイッチ２９の動作を制御し、ストリームＡの最小再エンコード区間のデータがデコーダ２２に供給されてデコードされ、ストリームＢの編集点ｂ以降の部分（編集点ｂ以降の部分のデコードに必要なフレームが編集点ｂ以前に存在する場合は、そのフレームも含む）がデコーダ２３に供給され、エフェクト／スイッチ２６によって、デコードされたそれぞれのストリームが編集点で接続され、必要に応じてエフェクトが施された後、スイッチ２９を介して、外部の表示装置などに出力されるとともに、エンコーダ２７によってエンコードされるように、ＰＣＩブリッジ１７、デコーダ２２、デコーダ２３、エフェクト／スイッチ２６、エンコーダ２７、および、スイッチ２９の動作を制御する。

ステップＳ１５５において、ＣＰＵ２０は、図１４のステップＳ１７においてＣＰＵ１１により送出された、延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータを取得する。

ステップＳ１５６において、ＣＰＵ２０は、延長再エンコード区間のＶＢＶ開始値Ｖ１’とＶＢＶ目標値Ｖ２’とを取得する。

ステップＳ１５７において、ＣＰＵ２０は、現在設定されている再エンコード区間(例えば、１回目のステップＳ１５７の処理においては、最小再エンコード区間、それ以降に実行されるステップＳ１５７の処理においては、延長再エンコード区間)の再エンコードは終了したか否かを判断する。ステップＳ１５７において、現在設定されている区間の再エンコードは終了していないと判断された場合、現在設定されている区間の再エンコードは終了したと判断されるまで、ステップＳ１５７の処理が繰り返される。

ステップＳ１５７において、現在設定されている区間の再エンコードは終了したと判断された場合、ステップＳ１５８において、ＣＰＵ２０は、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致するか否かを判断する。

ステップＳ１５８において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致しないと判断された場合、ステップＳ１５９において、図２７または図２９を用いて後述する、延長再エンコード区間の設定処理が実行される。

ステップＳ１６０において、ＣＰＵ２０は、ステップＳ１５９において決定した、次のＧＯＰ延長再エンコード区間の符号配分に基づいて、次に再エンコードされる延長再エンコード区間のデコードおよびエンコードの開始を制御し、処理は、ステップＳ１５５に戻り、それ以降の処理が繰り返される。

ステップＳ１５８において、再エンコード終了点のＶＢＶ値は、ＶＢＶ目標値に合致する、すなわち、Occupancyの連続性が保たれたと判断された場合、ステップＳ１６１において、図２５を用いて説明したエンコード終端処理が実行され、処理が終了される。

このような処理により、再エンコード区間の終了点において、ＶＢＶ目標値に合致するか否かが判断され、ＶＢＶ目標値に合致しなかった場合、再エンコード区間が延長されるので、再エンコードがリトライされない。そのため、編集時にリアルタイムで編集画像を表示させる場合などの応答性が向上する。

また、ある再エンコード区間の処理が終了する前に、次に再エンコードされる延長再エンコード区間を再エンコードするために必要な情報が取得されるので、再エンコード区間が延長された場合でも、処理が遅延されるようなことがない。

次に、図２７のフローチャートを参照して、図２６のステップＳ１５９において実行される処理の第１の例である、延長再エンコード区間の設定処理１について説明する。

延長再エンコード区間の設定処理１においては、この延長再エンコード区間中または、その次のＧＯＰに編集点が存在するか否かにかかわらず、同一の処理が実行される。

ステップＳ１８１において、ＣＰＵ２０は、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´とＶＢＶ目標値Ｖ２´とに基づいて、Ｖ２´−Ｖ１´を求める。

ステップＳ１８２において、ＣＰＵ２０は、延長再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。

すなわち、ＣＰＵ２０は、最小再エンコード区間における場合と同様にして、延長再エンコード区間に含まれる画像が平均的な絵柄であること、すなわち、再エンコード終了点がＶ１´となる場合を想定した発生符号量Ｇを基に、VBV Bufferの上昇分を考慮し、発生符号量Ｇ´を求めるものとする。

そして、ステップＳ１８３において、ＣＰＵ２０は、Ｖ２´−Ｖ１´を、VBV上昇分として考慮し、延長再エンコード区間における発生符号量を求める。

すなわち、ＣＰＵ２０は、延長再エンコード区間に含まれる画像が平均的な絵柄であることを想定した上で、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´とＶＢＶ目標値Ｖ２´に基づいて、Ｖ２´−Ｖ１´、すなわち、図２８に示されるＶ２´−Ｖ１´を、VBV上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ‘＝Ｇ−（Ｖ２´−Ｖ１´）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。

ステップＳ１８４において、ＣＰＵ２０は、図２６のステップＳ１５５において取得した、次にエンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータ、並びに、ステップＳ１８３において求められた延長再エンコード区間における発生符号量Ｇ´を基に、符号配分が決定され、延長再エンコード区間の再エンコードの設定を行い、処理は、図２６のステップＳ１５９に戻り、ステップＳ１６０に進む。

このような処理により、延長再エンコード区間における符号量の配分が求められる。

ところで、延長再エンコード区間において、編集点が存在しなければ、ストリームＢの編集点以降のオリジナルのエンコードにおいて、オリジナルのVBV開始点からVBV目標点までの符号化実績が存在する。したがって、延長再エンコード区間内に編集点が存在しなければ、この符号化実績を用いて、発生符号量を算出すると好適である。例えば、オリジナルの符号化実績よりも量子化を粗くすることにより、オリジナルのVBV開始点よりＶＢＶ占有量の値の少ない延長再エンコード区間開始点からオリジナルのVBV目標点へバッファ占有量が移行するような符号配分が可能となる。一方、延長再エンコード区間内に編集点が存在する場合、オリジナルの符号化ストリームにおける符号化実績を用いることはできない。

次に、図２９のフローチャートを参照して、図２６のステップＳ１５９において実行される処理の第２の例である、延長再エンコード区間の設定処理２について説明する。

延長再エンコード区間の設定処理２においては、延長再エンコード区間の設定処理１とは異なり、この延長再エンコード区間中またはその次のＧＯＰに編集点が存在するか否かによって異なる処理が実行される。

ステップＳ２０１において、ＣＰＵ２０は、前の再エンコード区間の終了点から２ＧＯＰ内、すなわち、延長再エンコード区間に仮設定される１ＧＯＰ内またはその次のＧＯＰに、編集点があるか否か、換言すれば、延長再エンコード区間は、編集点により再設定されたか否かを判断する。ステップＳ２０１において、編集点がないと判断された場合、処理は、後述するステップＳ２０３に進む。

ステップＳ２０１において、編集点があると判断された場合、ステップＳ２０２において、ＣＰＵ２０は、編集点により再設定された延長再エンコード区間に関するパラメータを取得し、処理は、後述するステップＳ２０７に進む。

ステップＳ２０１において、編集点がないと判断された場合、ステップＳ２０３において、ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から、延長再エンコード区間におけるオリジナルのＶＢＶ開始値におけるバッファ占有量Ｖ４を取得する。

すなわち、図３０に示されるように、延長再エンコード区間となるGOPのオリジナル、すなわち、編集点後の編集素材である符号化ストリームがエンコードされた場合のこの区間におけるＶＢＶ開始点のバッファ占有量をＶ４、再エンコード時のＶＢＶ開始点、すなわち、最長再エンコード区間の一つ前の区間における再エンコードの終了点におけるバッファ占有量をＶ１´、この延長再エンコード区間となるＧＯＰのＶＢＶ目標点をＶ２´とすると、延長再エンコード区間に対応するオリジナルストリームの対応するＧＯＰにおいては、符号化が実行されることによりバッファ占有量がＶ４からＶ２´に変化したという実績がある。この処理においては、この符号化実績を利用して、符号配分が設定される。

ステップＳ２０４において、ＣＰＵ２０は、ステップＳ１５６において取得された、延長再エンコード区間のＶＢＶ開始値Ｖ１´と、ステップＳ２０３において取得された延長再エンコード区間におけるオリジナルのＶＢＶ開始値におけるバッファ占有量Ｖ４に基づいて、Ｖ４−Ｖ１´を求める。

ステップＳ２０５において、ＣＰＵ２０は、図２７のステップＳ１３２における場合と同様に、延長再エンコード区間において、平均的な絵柄が続いた場合を仮定し、その場合の発生符号量Ｇを求める。

そして、ステップＳ２０６において、ＣＰＵ２０は、Ｖ４−Ｖ１´を、ＶＢＶ上昇分として考慮し、延長再エンコード区間における発生符号量を求める。

すなわち、ＣＰＵ２０は、延長再エンコード区間に対応するオリジナルストリーム、すなわち、編集素材であるストリームＢの対応するＧＯＰにおいては、符号化が実行されることによりバッファ占有量がＶ４からＶ２´に変化したという実績に基づいて、Ｖ４−Ｖ１´、すなわち、図３０に示されるＶ４−Ｖ１´を、ＶＢＶ上昇分として担保する。そして、ＣＰＵ２０は、ＴＭ５の発生符号目標値計算において、Ｇ″＝Ｇ−（Ｖ４−Ｖ１´）−Δを求める。ここで、Δは、画質を考慮した上での各機器で考慮するマージン分とする。

ステップＳ２０２またはステップＳ２０６の処理の終了後、ステップＳ２０７において、ＣＰＵ２０は、図２６のステップＳ１５５において取得した、次にエンコードされる延長再エンコード区間の再エンコード処理を実行させるために必要なパラメータおよびエンコード終端処理に必要なパラメータ、並びに、ステップＳ２０６において求められた延長再エンコード区間における発生符号量Ｇ″を基に、符号配分を決定して、延長再エンコード区間の再エンコードの設定を行い、処理は、図２６のステップＳ１５９に戻り、ステップＳ１６０に進む。

このような処理により、延長再エンコード区間が、編集点により再度設定しなおされていない場合、すなわち、延長再エンコード区間が、１つのストリームからのみ構成されている場合は、延長再エンコード区間のオリジナルのＶＢＶの値を用いて、延長再エンコード区間の発生符号量の配分が決定される。これにより、Ｖ４−Ｖ１´が正の値であっても負の値であっても、ＴＭ５の発生符号目標値計算において、Ｇの値を最小再エンコード区間に含まれる画像が平均的な絵柄であるとしたときよりも適切な発生符号量を割り当てて、バッファアンダーフローを防止しつつ、画質劣化を抑制することが可能となる。

また、延長再エンコード区間が、編集点により再度設定されている、すなわち、延長再エンコード区間が、複数のストリームから構成されている場合、延長再エンコード区間の終了点のＶＢＶ占有量など、編集点により再設定された延長再エンコード区間に関するパラメータを基に、延長再エンコード区間の設定が行われる。

なお、ここでは、コーディックの方式としてＭＰＥＧを用いた場合を例として説明しているが、フレーム相関を伴うコーディック処理を行う場合、バッファモデリングにしたがうコーディック処理を行う場合においても、本発明は適用可能であることはいうまでもない。例えば、ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などにおいて、本発明は適用可能である。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図３を用いて説明した編集装置１は、図３１に示されるようなパーソナルコンピュータ３０１により構成される。

図３１において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３１に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図３２に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。

このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。

さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。

例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。

さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、図３２に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。

例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。

更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。

さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。

さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、入力端子２８、および、スイッチ２９を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。

さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。

さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、入力端子２８、および、スイッチ２９は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

編集と部分再エンコードについて説明するための図である。 部分再エンコードおよび編集処理を実行した場合のVBVバッファについて説明するための図である。 編集装置の構成を示すブロック図である。 最小再エンコード区間の設定について説明するための図である。 最小再エンコード区間の設定について説明するための図である。 最小再エンコード区間の設定について説明するための図である。 最小再エンコード区間の設定について説明するための図である。 エンコード終端処理について説明するための図である。 再エンコード区間の延長について説明するための図である。 再エンコード区間の延長について説明するための図である。 編集装置の機能構成を示す機能ブロック図である。 制御部の機能構成を示す機能ブロック図である。 ＣＰＵ１１の処理について説明するためのフローチャートである。 ＣＰＵ１１の処理について説明するためのフローチャートである。 ＣＰＵ１１の処理について説明するためのフローチャートである。 最小再エンコード区間決定処理１について説明するためのフローチャートである。 最小再エンコード区間決定処理１について説明するためのフローチャートである。 最小再エンコード区間決定処理２について説明するためのフローチャートである。 最小再エンコード区間決定処理２について説明するためのフローチャートである。 最小再エンコード区間決定処理２について説明するためのフローチャートである。 ＣＰＵ２０の処理１について説明するためのフローチャートである。 ＶＢＶ占有量について説明するための図である。 最小再エンコード区間の符号配分決定処理について説明するためのフローチャートである。 ＶＢＶ占有量について説明するための図である。 エンコード終端処理について説明するためのフローチャートである。 ＣＰＵ２０の処理２について説明するためのフローチャートである。 延長再エンコード区間の設定処理１について説明するためのフローチャートである。 ＶＢＶ占有量について説明するための図である。 延長再エンコード区間の設定処理２について説明するためのフローチャートである。 ＶＢＶ占有量について説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。 本発明を適用可能な異なる装置の構成について説明するための図である。

符号の説明

１ 編集装置， １１ ＣＰＵ， １６ ＨＤＤ， ２０ ＣＰＵ， ２２乃至２４ デコーダ， ２５ ストリームスプライサ， ２６ エフェクト／スイッチ， ２７ エンコーダ， ２９ スイッチ， １０１ 制御部， １０２ 取得部， １０３ デコーダ， １３２ 再エンコード区間決定部， １３３ 動作モード決定部， １５４ 符号化制御部， １５５ 動作モード判定部

Claims (18)

1. 複数の符号化ストリームを編集点で接続する処理を実行する情報処理装置において、
   第１の接続点により接続される第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の最小再エンコード区間を仮決定し、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に前記第１の編集点とは異なる第２の編集点がある場合、前記第２の編集点に基づいて、再エンコードを実行する第２の最小再エンコード区間を決定する最小再エンコード区間決定手段と、
   前記最小再エンコード区間決定手段により決定された第２の最小再エンコード区間において、エンコードされて生成された符号化ストリームの終了点と、エンコードされていない前記符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断する管理手段と、
   前記管理手段により前記オキュパンシの連続性が保たれなかったと判断された場合、前記最小再エンコード区間決定手段により決定された第２の最小再エンコード区間に続く１GOPに対応する区間を、再エンコードを実行する第１の延長再エンコード区間として、更に再エンコードを実行する延長再エンコード区間設定モードと、前記第２の最小再エンコード区間におけるエンコード処理を再度実行させる２パスエンコードモードとのいずれかに基づいて、前記符号化ストリームのうち、再エンコードを実行する区間を決定する再エンコード区間決定手段と、
   前記第２の最小再エンコード区間または前記第１の延長再エンコード区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームを含む複数の前記符号化ストリームをデコードして、ベースバンド信号を生成するデコード手段と、
   前記デコード手段により生成された複数のベースバンド信号が編集点で接続されたベースバンド信号をエンコードして再符号化ストリームを生成するエンコード手段と
   を備える情報処理装置。
2. 複数の符号化ストリームと前記エンコード手段により生成された再符号化ストリームとを切り替えることによって、編集点で接続された編集符号化ストリームを生成する生成手段を更に備える
   請求項１に記載の情報処理装置。
3. 前記最小再エンコード区間決定手段は、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に前記第２の編集点がない場合、仮決定された前記第１の最小再エンコード区間を、再エンコードを実行する第２の最小再エンコード区間として決定する
   請求項１に記載の情報処理装置。
4. 前記再エンコード区間決定手段は、前記延長再エンコード区間設定モードにおいて、前記第１の延長再エンコード区間、または、それに続く１GOPに対応する区間に前記第１の編集点または前記第２の編集点とは異なる第３の編集点がある場合、前記第３の編集点に基づいて、再エンコードを実行する第２の延長再エンコード区間を決定し、
   前記第３の編集点がない場合、前記第１の延長再エンコード区間を、再エンコードを実行する第２の延長再エンコード区間として決定する
   請求項１に記載の情報処理装置。
5. 前記管理手段は、前記延長再エンコード区間設定モードにおいて、前記第３の編集点がない場合、前記第２の延長再エンコード区間における前記エンコード手段によるエンコード処理の発生符号量を、前記エンコード手段によりエンコードされていない符号化ストリームにおける対応する部分のオキュパンシを基に管理する
   請求項４に記載の情報処理装置。
6. 前記管理手段は、前記２パスエンコードモードにおいて、オキュパンシの連続性が保たれなかったと判断された場合におけるエンコード処理の終了点のオキュパンシに基づいて、前記エンコード手段による次のエンコード処理の前記第２の最小再エンコード区間における発生符号量を管理する
   請求項１に記載の情報処理装置。
7. 前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行する
   請求項１に記載の情報処理装置。
8. 前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
   前記管理手段により、前記オキュパンシの連続性が保たれたと判断された場合、前記再エンコード区間決定手段は、エンコードが実行された、前記第２の最小再エンコード区間、前記第１の延長再エンコード区間、または、前記第２の延長再エンコード区間に続く次のGOPの最初の前方向参照フレームの直前までのフレームを、再エンコードを実行する第３の延長再エンコード区間として、更に追加する
   請求項４に記載の情報処理装置。
9. 前記エンコード手段は、ＭＰＥＧのLong GOP形式でエンコード処理を実行し、
   前記最小再エンコード区間決定手段は、前記第１の符号化ストリームにおける前記編集点を含むＧＯＰの開始位置から、前記第２の符号化ストリームにおける前記編集点を含むＧＯＰの終了位置までを基準区間とし、前記基準区間に含まれるフレーム数を基に、前記第１の最小再エンコード区間を決定する
   請求項１に記載の情報処理装置。
10. 前記最小再エンコード区間決定手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ／２≦Ｍ≦Ｎを満たす場合、前記基準区間を前記第１の最小再エンコード区間とする
    請求項９に記載の情報処理装置。
11. 前記最小再エンコード区間決定手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、０≦Ｍ＜Ｎ／２を満たす場合、前記基準区間に１ＧＯＰ加えた区間を前記第１の最小再エンコード区間とする
    請求項９に記載の情報処理装置。
12. 前記最小再エンコード区間決定手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たす場合、前記基準区間を複数ＧＯＰに分割するとともに、前記基準区間を前記第１の最小再エンコード区間とする
    請求項９に記載の情報処理装置。
13. 前記最小再エンコード区間決定手段は、前記基準区間に含まれるフレーム数Ｍが、基準となる１ＧＯＰに含まれるフレーム数Ｎに対して、Ｎ＋１≦Ｍ≦２Ｎ−１を満たし、前記基準区間における前記編集点より前の部分のフレーム数Ａが、Ａ≧Ｎ／２を満たす場合、前記基準区間を、前記編集点で２つのＧＯＰに分割する
    請求項９に記載の情報処理装置。
14. 前記エンコード手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰは、表示順でＩ２ピクチャから開始されるように、前記ベースバンド信号をエンコードして、符号化ストリームを生成する
    請求項１３に記載の情報処理装置。
15. 前記最小再エンコード区間決定手段は、前記編集点で分割された２つのＧＯＰのうちの時間的に後のＧＯＰに含まれるフレーム数Ｒが、Ｎ／２≦Ｒを満たさないとき、前記基準区間に１ＧＯＰ加えた区間を前記第１の最小再エンコード区間とし、Ｎ／２≦Ｒを満たすとき、前記基準区間を前記第１の最小再エンコード区間とする
    請求項１３に記載の情報処理装置。
16. 複数の符号化ストリームを編集点で接続する処理を実行する情報処理装置の情報処理方法において、
    第１の接続点で接続される第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の最小再エンコード区間を仮決定し、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に、前記第１の編集点とは異なる第２の編集点がある場合、前記第２の編集点に基づいて、再エンコードを実行する第２の最小再エンコード区間を決定し、
    決定された第２の最小再エンコード区間において、エンコードされて生成された符号化ストリームの終了点と、エンコードされていない前記符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
    前記オキュパンシの連続性が保たれなかったと判断された場合、決定された第２の最小再エンコード区間に続く１GOPに対応する区間を、再エンコードを実行する第１の延長再エンコード区間として、更に再エンコードを実行する延長再エンコード区間設定モードと、前記第２の最小再エンコード区間におけるエンコード処理を再度実行させる２パスエンコードモードとのいずれかに基づいて、前記符号化ストリームのうち、再エンコードを実行する区間を決定し、
    前記第２の最小再エンコード区間または前記第１の延長再エンコード区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームを含む複数の前記符号化ストリームをデコードして、ベースバンド信号を生成するとともに、生成された複数のベースバンド信号が編集点で接続されたベースバンド信号をエンコードして、再符号化ストリームを生成する
    ステップを含む情報処理方法。
17. 複数の符号化ストリームを編集点で接続する処理をコンピュータに制御させるためのプログラムであって、
    第１の接続点で接続される第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の最小再エンコード区間を仮決定し、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に、前記第１の編集点とは異なる第２の編集点がある場合、前記第２の編集点に基づいて、再エンコードを実行する第２の最小再エンコード区間を決定し、
    決定された第２の最小再エンコード区間において、エンコードされて生成された符号化ストリームの終了点と、エンコードされていない前記符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
    前記オキュパンシの連続性が保たれなかったと判断された場合、決定された第２の最小再エンコード区間に続く１GOPに対応する区間を、再エンコードを実行する第１の延長再エンコード区間として、更に再エンコードを実行する延長再エンコード区間設定モードと、前記第２の最小再エンコード区間におけるエンコード処理を再度実行させる２パスエンコードモードとのいずれかに基づいて、前記符号化ストリームのうち、再エンコードを実行する区間を決定し、
    前記第２の最小再エンコード区間または前記第１の延長再エンコード区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームを含む複数の前記符号化ストリームのデコードを制御して、ベースバンド信号の生成を制御するとともに、生成された複数のベースバンド信号が編集点で接続されたベースバンド信号のエンコードを制御して、再符号化ストリームの生成を制御する
    ステップを含む処理をコンピュータに実行させるプログラム。
18. 複数の符号化ストリームを編集点で接続する処理をコンピュータに制御させるためのプログラムであって、
    第１の接続点で接続される第１の符号化ストリームおよび第２の符号化ストリームのうち、再エンコードを実行する第１の最小再エンコード区間を仮決定し、仮決定された前記第１の最小再エンコード区間、または、それに続く１GOPに対応する区間に、前記第１の編集点とは異なる第２の編集点がある場合、前記第２の編集点に基づいて、再エンコードを実行する第２の最小再エンコード区間を決定し、
    決定された第２の最小再エンコード区間において、エンコードされて生成された符号化ストリームの終了点と、エンコードされていない前記符号化ストリームにおける対応する部分とのオキュパンシの連続性が保たれたかを判断し、
    前記オキュパンシの連続性が保たれなかったと判断された場合、決定された第２の最小再エンコード区間に続く１GOPに対応する区間を、再エンコードを実行する第１の延長再エンコード区間として、更に再エンコードを実行する延長再エンコード区間設定モードと、前記第２の最小再エンコード区間におけるエンコード処理を再度実行させる２パスエンコードモードとのいずれかに基づいて、前記符号化ストリームのうち、再エンコードを実行する区間を決定し、
    前記第２の最小再エンコード区間または前記第１の延長再エンコード区間内の前記第１の符号化ストリームおよび前記第２の符号化ストリームを含む複数の前記符号化ストリームのデコードを制御して、ベースバンド信号の生成を制御するとともに、生成された複数のベースバンド信号が編集点で接続されたベースバンド信号のエンコードを制御して、再符号化ストリームの生成を制御する
    ステップを含む処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。

Images