JP3879252B2 - 編集方法および編集装置 - Google Patents
編集方法および編集装置 Download PDFInfo
- Publication number
- JP3879252B2 JP3879252B2 JP14115198A JP14115198A JP3879252B2 JP 3879252 B2 JP3879252 B2 JP 3879252B2 JP 14115198 A JP14115198 A JP 14115198A JP 14115198 A JP14115198 A JP 14115198A JP 3879252 B2 JP3879252 B2 JP 3879252B2
- Authority
- JP
- Japan
- Prior art keywords
- editing
- picture
- encoded data
- point
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、圧縮符号化例えばＭＰＥＧで符号化された画像信号を編集するのに適用される編集方法および編集装置に関する。
【０００２】
【従来の技術】
近年、画像間圧縮符号化方式の一つであるＭＰＥＧ(Moving Picture Experts Group)が広く実用化されつつある。ＭＰＥＧのような圧縮符号化を利用することによって、記録媒体を有効活用することができる。ＭＰＥＧにより符号化された画像信号を編集する場合、復号された画像信号と、外部からの画像信号をつなげて、再びＭＰＥＧで符号化し、ストリームを記録媒体に記録するような編集システムが構成できる。さらに、他の記録媒体に記録されているビデオ信号をレコーダにより記録するダビングの場合でも、他の記録媒体の再生信号が復号され、再符号化される。
【０００３】
ＭＰＥＧの場合では、ピクチャタイプとして、Ｉ、Ｐ、Ｂの３種類が存在する。Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【０００４】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【０００５】
そして、ＭＰＥＧでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるＧＯＰ(Group Of Picture)構造が規定されている。ＧＯＰに関するＭＰＥＧの規則では、第１にビットストリーム上で、ＧＯＰの最初がＩピクチャであること、第２に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャであることが規定されている。また、ＧＯＰとしては、以前のＧＯＰの最後のＩまたはＰピクチャからの予測を必要とする構造も許容されている。以前のＧＯＰの画像を使用しないで復号できるＧＯＰは、クローズドＧＯＰと称される。編集を重視する場合には、クローズドＧＯＰの構造とされることが多い。
【０００６】
ＭＰＥＧでは、ＧＯＰ単位のフレーム相関を用いてコーディングを行なっているので、ＭＰＥＧビットストリームを編集する時には、制約が発生する。すなわち、ＧＯＰの切れ目と編集点を一致させれば、クローズドＧＯＰであれば、特に問題が生じない。しかしながら、通常、一つのＧＯＰの長さは、０．５秒程度のことが多く、編集点としては、期間が長くなりすぎる。そこで、一般的には、フレーム（ピクチャ）単位の精度で編集を行うことが好ましい。
【０００７】
二つのＭＰＥＧのビデオストリームが編集点で切り換えられたストリームを考えると、フレーム単位の場合では、どのような位相で二つのストリームが接続されるかが分からない。編集点が含まれず、ＧＯＰ構造が完全に保存されているＧＯＰの場合では、編集点処理を行わないで、そのまま出力しても復号することができる。
【０００８】
編集点が含まれるために、ＧＯＰ構造が保存されない場合に問題が生じる。編集点より時間的に前のストリームでは、ＧＯＰの編集点から後のデータが破棄される。また、時間的に後のストリームでは、編集点から前のデータが破棄される。編集点をはさんで残った二つのストリームを復号する場合には、これらの二つのストリームを新たなＧＯＰとして扱う。従って、新たなＧＯＰに予測参照画像としてのＩピクチャが含まれていないと、そのＧＯＰが復号不可能となってしまう。この場合には、編集後のビットストリームの復号を可能とするために、ビットストリームをＭＰＥＧ復号で一度ベースバンドに戻し、再度符号化を行なってビットストリームを得る必要がある。
【０００９】
従来では、新たなＧＯＰの先頭のピクチャのピクチャタイプをＩピクチャに変更し、このＩピクチャを基準としてピクチャタイプを規定するようにしていた。すなわち、編集前のＧＯＰを復号し、先頭のピクチャタイプをＩピクチャとしてピクチャタイプを再度規定して再符号化することによって、新たなＧＯＰを形成していた。
【００１０】
【発明が解決しようとする課題】
しかしながら、かかる編集点の処理方法では、スイッチングを含め編集作業のたびに、復号、符号化を繰り返すことになる。通常、ベースバンド−ビットストリーム間の復号、符号化処理は、大きな画質劣化を伴う。また、再符号化のために、動きベクトルを求めるための演算が必要とされる問題があった。
【００１１】
従って、この発明の目的は、編集点の処理のために、復号処理および再符号化処理を不要とし、それによって、画質の劣化を防止でき、また、再符号化のために動きベクトルを求める演算を不要とできる編集方法および編集装置を提供することにある。
【００１２】
【課題を解決するための手段】
請求項１の発明は、上述した課題を達成するために、画像間予測符号化により符号化された符号化データを編集する編集方法において、
第１および第２の符号化データを編集点で接続するような編集を行う際に、編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第１の編集方法と、
編集点付近の第１および第２の符号化データを復号し、再符号化するようにした第２の編集方法とを組み合わせ、
第１および第２の符号化データの一方に第１の編集方法を適用し、その他方に第２の編集方法を適用することを特徴とする編集方法である。
【００１３】
請求項７の発明は、画像間予測符号化により符号化された符号化データを編集する編集装置において、
第１および第２の符号化データを編集点で接続するような編集を行う際に、編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第１の編集方法と、
編集点付近の第１および第２の符号化データを復号し、再符号化するようにした第２の編集方法とを組み合わせ、
第１および第２の符号化データの一方に第１の編集方法を適用し、その他方に第２の編集方法を適用することを特徴とする編集装置である。
【００１５】
符号化データ例えばＭＰＥＧビットストリームでもって編集し、編集後のストリームを復号するのに必要な予測参照画像を保存する。編集後のストリームを復号する時に、保存されている予測参照画像を使用する。保存した予測参照画像は、表示されない。
【００１６】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態における編集点処理方法を示すフローチャートである。最初のステップＳＴ１から編集点処理を開始する。次のステップＳＴ２では、編集により接続する２個のビットストリームで、時間的に先になるストリームの編集点（ＯＵＴ点）を含むＧＯＰ（ＧＯＰ１）の処理を開始する。
【００１７】
ステップＳＴ３では、ＧＯＰ１において、編集点がＩまたはＰピクチャの直後にあるかどうかが決定される。編集点がＩまたはＰピクチャの直後にある場合には、ステップＳＴ４において、編集点以降のビットストリームを破棄し、ステップＳＴ５において、ＧＯＰ１以前の部分をそのまま出力する。すなわち、編集点より前のストリームには、予測参照画像であるＩまたはＰピクチャが残るので、特別な処理をしないでも、編集処理後のストリーム中のこの部分を復号することができる。
【００１８】
ステップＳＴ３において、編集点がＩまたはＰピクチャの直後にない場合には、ステップＳＴ６において、編集点の直後のＩまたはＰピクチャ以外の編集点以降のピクチャを破棄する。次のステップＳＴ７において、編集点より前のピクチャと編集点直後のＩまたはＰピクチャを出力する。
【００１９】
次に、ステップＳＴ８において、編集により接続する二つのストリームの内で、時間的に後になるストリームの編集点（ＩＮ点）を含むＧＯＰ（ＧＯＰ２）の処理を開始する。ステップＳＴ９では、編集点以前のＢピクチャを全て破棄する。そして、ステップＳＴ１０では、編集点以前のＩピクチャおよびＰピクチャと、編集点以降のピクチャを出力し、編集点処理を終了する（ステップＳＴ１１）。編集点以前のＩピクチャおよびＰピクチャは、表示しないが保存する必要のあるピクチャである。
【００２０】
上述した編集点処理について、図２を参照してより具体的に説明する。図２は、時間的に前のストリームに含まれると共に、編集点が含まれるＧＯＰ１と、時間的に後のストリームに含まれると共に、編集点が含まれるＧＯＰ２とを編集点でスイッチングする例を示している。何れのストリームのＧＯＰも、ピクチャ数Ｎ＝１５で、予測参照画像（ＩまたはＰピクチャ）の現れる周期Ｍ＝３である。また、図２に示すピクチャの順序は、再生画像の順序である。再生画像の順序は、原画像および復号画像の順序と一致している。
【００２１】
最初にＧＯＰ１の編集点処理がなされる。編集点がＩピクチャ（Ｉ２２）またはＰピクチャ（Ｐ２５、Ｐ２８、Ｐ３１、Ｐ３４）の直後にはないので、ステップＳＴ３を通って、ステップＳＴ６において、編集点の直後のＰピクチャＰ２８以外の編集点以降のピクチャを破棄する。そして、編集点以前のピクチャと編集点直後のＰピクチャＰ２８を出力する（ステップＳＴ７）。ＰピクチャＰ２８を保存するのは、編集後のストリームに含まれるＢピクチャＢ２６およびＢ２７をＰ２８を予測参照画像として復号するためである。
【００２２】
次に、時間的に後のＧＯＰ２（Ｂ０〜Ｐ１４）の処理を開始する（ステップＳＴ８）。編集点以前のＢピクチャＢ０、Ｂ１、Ｂ３およびＢ４を全て破棄する（ステップＳＴ９）。そして、編集点以前のＩピクチャＩ２およびＰピクチャＰ５と編集点以降のピクチャを出力し（ステップＳＴ１０）、編集点の処理を終了する（ステップＳＴ１１）。ＩピクチャＩ２およびＰピクチャＰ５を保存するのは、ＰピクチャＰ５をＩ２を予測参照画像として復号し、復号されたＰ５を予測参照画像として編集後のストリームに含まれるＢピクチャＢ６およびＢ７を復号するためである。
【００２３】
上述した編集点処理において、保存されるＩまたはＰピクチャは、編集後のストリームに含まれるＢピクチャを復号するために必要なものであり、編集後のストリームに対応する映像信号として表示されない。保存するためには、記録媒体上の所定の領域に保存するピクチャをまとめて記録すれば良い。
【００２４】
ＧＯＰ１の場合では、編集点がＩまたはＰピクチャの直後に存在する時では、何らピクチャを保存する必要がない。一方、編集点がＩまたはＰピクチャの直後に存在しない時では、一つのＩまたはＰピクチャを保存する必要がある。ＧＯＰ２の場合では、編集点の位置によって保存する必要があるピクチャの量が異なる。編集点の位置がＧＯＰ２の後の方になると、保存するピクチャ数が徐々に増加し、最大で、Ｐ１４以外の４枚のピクチャ（Ｉ２、Ｐ５、Ｐ８、Ｐ１１）を保存する必要が生じる。このように、一つの編集点について最大で５個のピクチャを保存するために、例えば記録媒体上で冗長度が増加する問題が生じる。さらに、ＧＯＰ当たりのデータ発生量を一定に制御することができない。
【００２５】
以上の説明では、ＧＯＰ１の編集点処理を行ってからＧＯＰ２の編集点処理を行うようにしているが、その順序を逆としても良い。また、ＧＯＰ１の編集点処理とＧＯＰ２の編集信号処理とを並列に行うようにしても良い。
【００２６】
上述したように、この発明の一実施形態では、編集後のビットストリームを復号するのに必要な予測参照画像（ＩまたはＰピクチャ）を保存することによって、編集処理後の新たなＧＯＰを形成するための復号処理と、復号データの再符号化処理とを不要とできる。従って、復号および再符号化によって生じる画質劣化を防止することができ、また、再符号化のために動きベクトルを演算する必要がない。
【００２７】
この発明の一実施形態をより良く理解するために、若し、図２に示すような編集後のビットストリームを復号し、再符号化すると仮定した場合の処理について図３を参照して説明する。ＭＰＥＧエンコーダ内の順序並び替え処理によって、編集後のビットストリームは、図３に示すように、ＩおよびＰピクチャを先に符号化し、次に、Ｂピクチャを符号化するような順序に並び替えられる。
【００２８】
編集点より前側のＧＯＰでは、ＩピクチャＩ２２を予測参照画像として用い、順方向予測によってＰピクチャＰ２５を符号化し、Ｐ２５を予測参照画像として用い、順方向予測によってＰ２８を符号化する。次に、Ｉ２２、Ｐ２５、Ｐ２８を予測参照画像として用いて、ＢピクチャＢ２０、Ｂ２１、Ｂ２３、Ｂ２４、Ｂ２６、Ｂ２７をそれぞれ符号化する。ＢピクチャＢ２３、Ｂ２４、Ｂ２６、Ｂ２７の各ピクチャの符号化は、順方向動きベクトルＦｗおよび逆方向動きベクトルＢｋの両者使用した両方向予測符号化である。Ｂ２０およびＢ２１の各ピクチャの符号化は、逆方向動きベクトルのみを使用する。
【００２９】
編集点より後側のＧＯＰでは、保存されているＩ２を予測参照画像として用い、順方向予測によって、Ｐ５を符号化し、Ｐ５を予測参照画像として用い、順方向予測によって、Ｐ８を符号化する。そして、これらのＩ２、Ｐ５、Ｐ８を予測参照画像として用い、ＢピクチャＢ６、Ｂ７、Ｂ９、Ｂ１０、Ｂ１２、Ｂ１３を符号化する。例えばＢピクチャＢ６は、Ｐ５を予測参照画像として用いる順方向予測と、Ｐ８を予測参照画像として用いる逆方向予測とを組み合わせた両方向予測によって符号化される。
【００３０】
なお、図２および図３の例では、編集点の前後のＧＯＰは、クローズドＧＯＰではないが、Ｉ２を予測参照画像とするＢ２６、Ｂ２７への逆方向ベクトルを使用しない。通常、編集点の前後では、画像の相関がないからである。また、クローズドＧＯＰであるか否かは、この発明による編集処理に対して影響を与えるものではない。
【００３１】
次に、編集処理のいくつかの形態について説明する。第１の形態は、ランダムアクセス可能な記録媒体例えば書き換え可能な光ディスク上に、既に記録されている二つのストリームを接続して再生し、恰も記録済のストリームを編集したかのようにする編集処理である。保存すべきピクチャ以外には、二つのストリームを接続したものを記録する必要はない。第２の形態は、記録媒体に記録済のストリームを再生し、この再生ストリームと外部からのストリームを接続する信号処理を行い、二つのストリームを接続したストリームを記録媒体に記録する編集処理である。第３の形態は、外部からの二つのストリームを受け取り、二つのストリームを接続したストリームを記録媒体に記録する編集処理である。これらの編集処理において、編集点付近の処理に対して上述したこの発明の一実施形態を適用することができる。
【００３２】
図４は、光ディスク２０に対してＭＰＥＧビットストリームを記録すると共に、光ディスク２０からＭＰＥＧビットストリームを再生するディスクレコーダの一例を示す。図４において、２１で示す入力端子には、ディジタル映像信号が直接供給される。２２で示す入力端子には、アナログ映像信号が供給される。アナログ映像信号は、撮像信号、アンテナで受信した放送映像信号等である。アナログ映像信号は、Ａ／Ｄ変換部２３によりディジタル映像信号へ変換される。入力端子２１からのディジタル映像信号およびＡ／Ｄ変換部２３からのディジタル映像信号の一方が入力選択スイッチ２４によって選択される。選択されたディジタル映像信号がＭＰＥＧエンコーダ２５に供給される。
【００３３】
ＭＰＥＧエンコーダ２５は、ディジタル映像信号に対してＭＰＥＧによる圧縮符号化を施す。ＭＰＥＧエンコーダ２５の出力がスイッチ回路２６の一方の入力端子に供給される。スイッチ回路２６の他方の入力端子には、端子２７からＭＰＥＧビットストリームが供給される。ＭＰＥＧエンコーダ２５または外部からのビットストリームは、バスを介して統合バッファメモリ２８の記録系用バッファメモリ部２８ａに格納される。統合バッファメモリ２８は、システムコントロ−ラ３７によって制御されるメモリ制御部２９によりアドレスが指定され、
ＭＰＥＧエンコーダ２５は、動きベクトルを検出する動き予測部、ピクチャ順序並び替え部、入力映像信号とローカル復号映像信号間の予測誤差を形成する減算部、減算出力をＤＣＴ変換するＤＣＴ部、ＤＣＴ部の出力を量子化する量子化部、量子化出力を可変長符号化する可変長符号化部、一定レートで符号化データを出力するバッファメモリとから構成される。ピクチャ順序並び替え部は、ピクチャの順序を符号化処理に適したものに並び替える。つまり、ＩおよびＰピクチャを先に符号化し、その後、Ｂピクチャを符号化するのに適した順序にピクチャを並び替える。ローカル復号部は、逆量子化部、逆ＤＣＴ部、加算部、フレームメモリおよび動き補償部で構成される。動き補償部では、順方向予測、逆方向予測、両方向予測が可能とされている。イントラ符号化の場合では、減算部は、減算処理を行わず、単にデータが通過する。
【００３４】
記録系用バッファメモリ部２８ａに格納されたビットストリームは、バス、デ−タ処理部３０および記録再生切り替えスイッチ３１を介して光ディスクドライブに供給される。デ−タ処理部３０は、記録信号処理部３０ａと再生信号処理部３０ｂからなる。記録信号処理部３０ａは、エラー訂正符号化、ディジタル変調等の処理を行い、再生信号処理部３０ｂは、エラー訂正、ディジタル変調の復調等の処理を行う。
【００３５】
光ディスクドライブは、光ディスク２０に記録用のレ−ザ光を照射して信号を記録すると共に、再生用のレ−ザ光を照射して信号を再生するための光ヘッド３２と、光ディスク２０を回転駆動するスピンドルモ−タ３３とを備えている。ヘッド３２とスピンドルモ−タ３３は、ディスク／ヘッド制御部３４により制御される。光ヘッド３２によって、記録信号処理部３０ａの出力信号が光ディスク２０に記録される。光ディスク２０は、書き換え可能なもので、ＭＯ（光磁気）ディスク、相変化型ディスク等を使用できる。
【００３６】
システムコントロ−ラ３７は、光ディスクドライブの制御をディスク／ヘッド制御部３４を介して行うと共に、光ディスクドライブの状態も管理しており、その情報をメモリ制御部２９に伝え、統合バッファメモリ２８からのデ−タの供給の制御を行う。
【００３７】
次に、再生処理系について説明する。バスを介して統合バッファメモリ２８の再生系用バッファメモリ部２８ｂから供給される再生ビットストリームは、スイッチ回路３８に供給される。スイッチ回路３８は、再生ビットストリームをＭＰＥＧデコーダ３９または端子４０に選択的に出力する。ＭＰＥＧデコーダ３９は、再生ビットストリームを復号し、ＭＰＥＧデコーダ３９からの復号映像信号は、Ｄ／Ａ変換部４１によりアナログ映像信号に変換され、アナログ出力端子４２に取り出される。また、ディジタル復号映像信号が出力されるディジタル出力端子４３が設けられている。
【００３８】
ＭＰＥＧデコーダ３９は、バッファメモリ、可変長符号復号部、逆ＤＣＴ部、逆量子化部、逆量子化部の出力とローカル復号出力を加算する加算部、ピクチャ順序並び替え部並びにフレームメモリおよび動き補償部からなるローカル復号部によって構成されている。イントラ符号化の場合では、加算部での加算処理がなされず、データが加算部を通過する。加算部からの復号データがピクチャ順序並び替え部によって元の画像の順序とされる。
【００３９】
再生モ−ド時、光ディスクドライブは、ディスク／ヘッド制御部３４によりサ−ボ、ヘッド移動等が制御され、再生信号をデ−タ処理部３０の再生信号処理部３０ｂ、バスを介して再生系用バッファメモリ部２８ｂに出力する。再生系用バッファメモリ部２８ｂは、再生信号の書き込みと読み出しのバランスを取りながら、再生ビットストリームをスイッチ回路３８に供給する。スイッチ回路３８で選択されたビットストリームは、出力端子に４０に取り出されるか、または、ＭＰＥＧデコーダ３９によって復号される。ＭＰＥＧデコーダ３９からの復号映像信号は、Ｄ／Ａ変換部４１または出力端子４３に出力される。Ｄ／Ａ変換部４１は、ディジタル映像信号をアナログ映像信号に変換し、出力端子４２に出力する。
【００４０】
なお、上述したディスクレコーダは、記録系用と再生系用の記憶領域の割り当てを可変する統合バッファメモリ２８と、記録モードまたは再生モ−ドに応じて統合バッファメモリ２８の記憶領域割り当て処理がシステムコントロ−ラ３７により制御される。すなわち、記録系用バッファメモリ部２８ａと再生系用バッファメモリ部２８ｂは、メモリ制御部２９を介したシステムコントロ−ラ３７の制御により、そのエリアを可変とする。例えば、記録時には、記録系用バッファメモリ部２８ａは、統合バッファメモリ２８の全てを占める。また、再生時には、再生系用バッファメモリ部２８ｂが全てを占める。また、同時記録再生時には、半分ずつメモリ容量を確保するようにしてもよい。
【００４１】
上述したディスクレコーダと接続され、この発明による編集点処理を行うことができる編集点処理装置の一実施形態について、図５を参照して説明する。５１で示す入力端子には、ディスクレコーダから再生され、出力端子４０に取り出されるＭＰＥＧビットストリームが供給される。入力ストリームには、何らかの手段により予め編集点（ＯＵＴ点、ＩＮ点）が設定されている。例えばビットストリーム中に編集点の位置を示す情報が挿入されている。編集点の位置情報は、ビットストリームと同期するようにされたビットストリーム以外の信号経路で伝送することも可能である。
【００４２】
入力ビットストリームが編集点判定回路５２に供給される。編集点判定回路５２は、編集点情報とＭＰＥＧビットストリームに付随する符号化情報（ピクチャタイプ）とからＧＯＰ１中で破棄するピクチャと保存するピクチャとを決定し、ビットストリーム編集回路５３に対してピクチャの破棄／保存を制御するための制御信号Ｓ１０を出力する。
【００４３】
編集点判定回路５２に対してビットストリーム編集回路５３が接続される。ビットストリーム編集回路５３は、制御信号Ｓ１０に応答して、保存すべきピクチャを除いて、ピクチャを破棄する。ビットストリーム編集回路５３から出力端子５４に対して保存すべきピクチャが取り出される。この出力ピクチャは、上述したディスクレコーダの入力端子２７に供給され、記録処理を受けて光ディスク２０上の所定の領域に記録される。編集形態によっては、このように保存すべきピクチャのみを記録する場合に限らず、編集後のストリームの全体を記録する場合がある。
【００４４】
図５の構成は、上述した編集処理の形態の内で、例えば第１の形態、すなわち、光ディスク上に、既に記録されている二つのストリームを接続して再生し、恰も記録済のストリームを編集したかのようにする編集処理に適用される。この編集点処理の場合では、ディスクレコーダが最初に光ディスク２０から時間的に先のストリーム（ＳＴ１と表記する）を再生し、ストリームＳＴ１の編集点（ＯＵＴ点）の近傍のストリームを編集点処理装置の入力端子５１に供給する。図１のフローチャートに示される編集点が含まれるＧＯＰ１の処理を編集点判定回路５２およびビットストリーム編集回路５３が行う。それによって、保存すべきピクチャ（図２の例では、Ｐ２８）をビットストリーム編集回路５３が出力し、保存すべきピクチャを光ディスク２０上の所定領域に記録する。
【００４５】
次に、ディスクレコーダが時間的に後のストリーム（ＳＴ２と表記する）を光ディスク２０から再生し、ストリームＳＴ２の編集点（ＩＮ点）の近傍のストリームを編集点処理装置の入力端子５１に供給する。図１のフローチャートに示される編集点が含まれるＧＯＰ２の処理を編集点処理装置が行う。それによって、保存すべきピクチャ（図２の例では、Ｉ２およびＰ５）をビットストリーム編集回路５３が出力し、保存すべきピクチャを光ディスク２０上の所定領域に記録する。
【００４６】
そして、光ディスク２０に記録されているリンク情報に基づいてストリームＳＴ１のＯＵＴ点まで、ピクチャＰ２８、ピクチャＩ２、ピクチャＰ５、ストリームＳＴ２のＩＮ点より後のストリームを順に再生する。再生されたストリームがＭＰＥＧデコーダ３９（図４参照）に供給され、ＭＰＥＧデコーダ３９によって復号される。保存すべきピクチャＰ２８、Ｉ２、Ｐ５をそれぞれ予測参照画像として、ストリーム中のＢピクチャを復号することができる。そして、復号された映像信号中で、これらの保存すべきピクチャに対応するフレームは、表示されない。一例として、ＭＰＥＧデコーダ３９が出力する映像信号中から、保存すべきピクチャに対応するフレームが出力されないように、システムコントローラ３７によって制御される。
【００４７】
以上説明したように、この発明の一実施形態は、編集点処理が復号処理および再符号化処理を含まない。しかしながら、復号処理および再符号化処理を行う編集点処理と組み合わせる複合編集点処理も可能である。
【００４８】
復号処理および再符号化処理を行う編集点処理の一例について、図６、図７および図８を参照して説明する。図６および図７は、一連の処理を作図スペース上の制約から二つのフローチャートに分割したものである。最初のステップＳＴ３１から編集点処理を開始する。次のステップＳＴ３２では、編集により接続する２個のビットストリームで、時間的に先になるストリームの編集点（ＯＵＴ点）を含むＧＯＰ（ＧＯＰ１）の処理を開始する。ＧＯＰ１より前のＧＯＰに関しては、編集点処理が不要である。
【００４９】
ステップＳＴ３３では、ＧＯＰ１において、編集点がＩピクチャよりも前にあるかどうかが決定される。編集点がＩピクチャよりも前でない、すなわち、後ろであると決定されると、ステップＳＴ３４において、編集点がＩまたはＰピクチャの直後にあるかどうかが決定される。編集点がＩまたはＰピクチャの直後にある場合には、ステップＳＴ３５において、編集点以降のビットストリームを破棄し、ステップＳＴ３６において、ＧＯＰ１の残りの部分をそのまま出力する。すなわち、編集点より前のストリームには、予測参照画像であるＩまたはＰピクチャが残るので、特別な処理をしないでも、編集処理後のストリーム中のこの部分を復号することができる。
【００５０】
ステップＳＴ３４において、編集点がＩまたはＰピクチャの直後にない場合には、ステップＳＴ３７において、ＧＯＰ１を一旦復号して、ステップＳＴ３８において編集点以降のピクチャを破棄し、ステップＳＴ３９において、第１の再符号化処理を行う。第１の再符号化処理は、ＩまたはＰピクチャと編集点の間にあるＢピクチャをＩまたはＰピクチャを予測参照画像として順方向動きベクトルＦｗのみで再符号化する処理である。
【００５１】
上述したように、Ｂピクチャ内には、フレーム内符号化マクロブロックと、過去から未来を予測する順方向フレーム間予測マクロブロックと、未来から過去を予測する逆方向フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとが含まれる。従って、順方向動きベクトルＦｗのみで再符号化する場合、順方向フレーム間予測マクロブロックおよび両方向マクロブロックの場合では、復号時に使用した動きベクトルＦｗを再利用できる。一方、逆方向フレーム間予測マクロブロックについては、順方向動きベクトルＦｗを再計算する必要がある。
【００５２】
マクロブロックタイプは、マクロブロック単位の動きベクトルに基づいて検出できる。動きベクトルがないものは、フレーム内符号化マクロブロックであり、順方向動きベクトルのみがあるマクロブロックは、順方向フレーム間予測マクロブロックであり、逆方向動きベクトルのみがあるマクロブロックは、逆方向フレーム間予測マクロブロックであり、両方向の動きベクトルがあるマクロブロックは、両方向マクロブロックである。動きベクトル以外に、ストリーム中に挿入される情報から直接的にマクロブロックタイプを検出することもできる。
【００５３】
ステップＳＴ３３において、編集点がＩピクチャより前にあると決定されると、編集点以降を破棄した時に、Ｉピクチャが残らない。従って、ＧＯＰ１を一旦復号して、次に、編集点以降のピクチャを破棄し、そして、再符号化する。この再符号化の処理は、ＧＯＰ１（ＧＯＰ１が含まれるビットストリーム）がクローズドＧＯＰか否かによって影響を受ける。この点を考慮して、ステップＳＴ４０においてＧＯＰ１がクローズドＧＯＰかどうかが決定される。ストリーム中のＧＯＰヘッダには、符号化時に設定されたクローズドＧＯＰフラグが挿入されているので、このフラグからクローズドＧＯＰかどうかを決定できる。フラグがクローズドＧＯＰであることを示している時には、そのＧＯＰの最初の複数のＢピクチャが以前のＧＯＰに依存しない。
【００５４】
ＧＯＰ１がクローズドＧＯＰであると決定されると、ステップＳＴ４１において、ＧＯＰ１を一旦復号して、ステップＳＴ４２において編集点以降のピクチャを破棄する。そして、ステップＳＴ４３において、第２の再符号化処理がなされる。第２の再符号化処理では、最初に現れるＢピクチャをＩピクチャとして再符号化し、そのＢピクチャ以外の他のＢピクチャがある場合には、そのＢピクチャを予測参照画像（Ｉピクチャ）として、順方向動きベクトルＦｗのみを用いて他のＢピクチャを再符号化する。順方向動きベクトルＦｗは、復号画像から求める。
【００５５】
ＧＯＰ１がクローズドＧＯＰでない場合では、ステップＳＴ４０からステップＳＴ４４に処理が移る。ステップＳＴ４４で、ＧＯＰ１が復号され、編集点以降が破棄される（ステップＳＴ４５）。そして、ステップＳＴ４６において、第３の再符号化処理がなされる。つまり、クローズドＧＯＰではないので、直前のＧＯＰの最後のＰピクチャを予測参照画像として用い、順方向動きベクトルＦｗのみでＢピクチャを符号化する。順方向動きベクトルＦｗとしては、復号に使用された順方向動きベクトルを再利用できる。
【００５６】
次に、ステップＳＴ４７（図７）において、編集により接続する二つのストリームの内で、時間的に後になるストリームの編集点（ＩＮ点）を含むＧＯＰ（ＧＯＰ２）の処理を開始する。それ以外の後のＧＯＰに関しては、特別な処理をしないでビットストリームのまま出力する。
【００５７】
ステップＳＴ４８では、ＧＯＰ２において、編集点がＩピクチャより前にあるかどうかが決定される。編集点がＩピクチャよりも前でなく、すなわち、後ろにあるならば、編集点より前のストリームを破棄した時に、Ｉピクチャが失われる。この点を考慮して、ＧＯＰ２を一旦復号し、次に、編集点以前を破棄し、そして、再符号化を行う。また、ステップＳＴ４９では、ＧＯＰ１の場合と同様に、ＧＯＰ２に関して、クローズドＧＯＰか否かが決定される。クローズドＧＯＰか否かは、再符号化の処理に影響を与える。
【００５８】
クローズドＧＯＰであると決定されると、ステップＳＴ５０においてＧＯＰ２が復号され、次に、編集点以前が破棄され（ステップＳＴ５１）、そして、ステップＳＴ５２において、第４の再符号化処理がなされる。ステップＳＴ５２の第４の再符号化処理では、最初に現れるＰピクチャをＩピクチャとして再符号化する。そのＰピクチャと編集点の間にＢピクチャがある場合は、そのＰピクチャを予測参照画像として、逆方向予測のみによって、すなわち、逆方向動きベクトルＢｋのみで再符号化する。そのＰピクチャより後は、編集作業前と同じピクチャタイプの関係でもって再符号化を行う。その結果、ＰピクチャをＩピクチャに変更し、ステップＳＴ５０の復号時に使用した符号化情報、例えば動きベクトルを用いて再符号化を行う。再符号化出力を出力して編集点処理を終了する（ステップＳＴ５９）。
【００５９】
ステップＳＴ４９において、クローズドＧＯＰでないと決定されると、ステップＳＴ５３においてＧＯＰ２が復号され、次に、編集点以前が破棄され（ステップＳＴ５４）、その次のステップＳＴ５５において、直後のＧＯＰのＩピクチャ以前を復号し、そして、ステップＳＴ５６において、第５の再符号化処理がなされる。
【００６０】
ステップＳＴ５６の第５の再符号化処理では、第４の再符号化処理と同様に、最初のＰピクチャをＩピクチャとして再符号化し、以降のピクチャは編集前と同じピクチャタイプで再符号化する。Ｂピクチャの再符号化は、第４の再符号化処理と異なる。つまり、ＧＯＰ２の最後のＰピクチャを直後のＧＯＰのＩピクチャから、直後のＩピクチャより前にあるＢピクチャを再符号化して出力する。このＢピクチャの再符号化のために、ステップＳＴ２３、ＳＴ２５の復号時に使用した順方向動きベクトルおよび逆方向動きベクトルを使用できる。再符号化出力を出力して編集点処理を終了する（ステップＳＴ５９）。
【００６１】
ステップＳＴ４８において、編集点がＩピクチャより前にある場合には、ステップＳＴ５７において、編集点より前のビットストリームを破棄する。残りのビットストリームにＩピクチャが残る。そして、ステップＳＴ５８において、ＧＯＰ２の残りのビットストリームを出力し、編集点処理を終了する（ステップＳＴ５９）。
【００６２】
図６および図７に示す編集点処理について、図８を参照してより具体的に説明する。図８は、時間的に前のストリームに含まれると共に、編集点が含まれるＧＯＰ１と、時間的に後のストリームに含まれると共に、編集点が含まれるＧＯＰ２とを編集点でスイッチングする例を示している。何れのストリームのＧＯＰも、ピクチャ数Ｎ＝１５で、予測参照画像（ＩまたはＰピクチャ）の現れる周期Ｍ＝３である。一例として、クローズドＧＯＰの場合について説明するが、クローズドＧＯＰでない場合でも、再符号化処理を除いてほぼ同様の処理がなされる。また、図８に示すピクチャの順序は、再生画像の順序である。再生画像の順序は、原画像および復号画像の順序と一致する。
【００６３】
最初にＧＯＰ１の編集点処理がなされる。編集点がＩピクチャ（Ｉ２２）より後ろにあり、編集点がＩまたはＰピクチャの直後にはないので、ステップＳＴ３３、ステップＳＴ３４を通って、ステップＳＴ３７において、ＧＯＰ１が復号される。この復号に使用した符号化情報を保存する。保存する必要がある符号化情報は、ピクチャタイプ（この情報は、必ず必要）、動きベクトル、ピクチャ毎の量子化スケールである。
【００６４】
そして、ステップＳＴ８において、編集点以降（ＰピクチャＰ２８以降）が破棄されてから、ステップＳＴ９の第１の再符号化処理がなされる。すなわち、ＰピクチャＰ２５の後のＢピクチャＢ２６およびＢ２７を順方向動きベクトルＦｗのみを使用して再符号化する。順方向動きベクトルＦｗは、マクロブロックタイプによって、復号時に保存しているもの、または再計算して求めたものが使用される。Ｂ２６およびＢ２７以外のＧＯＰ１の残りの画像の再符号化は、ステップＳＴ７における復号時に使用した符号化情報をそのまま使用して行う。
【００６５】
ＢピクチャＢ２６内およびＢ２７内には、フレーム内符号化マクロブロックと、過去から未来を予測する順方向フレーム間予測マクロブロックと、未来から過去を予測する逆方向フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとが含まれる。従って、順方向動きベクトルＦｗのみで再符号化する場合、順方向フレーム間予測マクロブロックおよび両方向マクロブロックの場合では、復号時に使用した動きベクトルＦｗを再利用できる。一方、逆方向フレーム間予測マクロブロックについては、順方向動きベクトルＦｗを再計算する必要がある。
【００６６】
次に、時間的に後のＧＯＰ２（Ｂ０〜Ｐ１４）の処理を開始する。編集点がＩピクチャＩ２以前ではないので、編集点以前を破棄した時には、Ｉ２が失われてしまう。そこで、ＧＯＰ２を復号して、編集点以前（Ｂ０〜Ｐ５）を破棄する（ステップＳＴ４８、ＳＴ４９、ＳＴ５０、ＳＴ５１）。そして、ステップＳＴ５２の第４の再符号化処理がなされる。すなわち、最初のＰピクチャＰ８をＩピクチャとして、再符号化する。それ以外のピクチャは、編集前と同じピクチャタイプで再符号化する。Ｐ８の前にあるＢピクチャＢ６およびＢ７は、Ｉピクチャに変更されるＰ８を予測参照画像として逆方向動きベクトルＢｋを求め、この逆方向動きベクトルＢｋのみによって再符号化する。
【００６７】
ＢピクチャＢ２６およびＢ２７について説明したのと同様に、Ｂ６およびＢ７にそれぞれ含まれるマクロブロックの内で、逆方向フレーム間予測マクロブロックと、両方向マクロブロックとに関しては、復号時に使用した動きベクトルＢｋを再利用できる。一方、順方向フレーム間予測マクロブロックについては、逆方向動きベクトルＢｋを再計算する必要がある。
【００６８】
上述した図６、図７、図８に示すような編集点処理は、編集点以降に最初に現れる参照画像の予測方式をフレーム内符号化方式に変更する以外は、編集点より時間的に前の第１のストリームと、編集点より時間的に後の第２のストリームとに関して、編集後において、予測参照画像の現れる周期を編集前のものと同一の周期とするものである。そして、このような復号処理および再符号化処理を行う編集点処理と、これらの処理を行わないこの発明の一実施形態を組み合わせる方法としては、例えば時間的に先に現れるストリーム（ＧＯＰ１）は、復号処理および再符号化処理を行わない方式で処理し、時間的に後に現れるストリーム（ＧＯＰ２）は、復号処理および再符号化処理を行う方式で処理するものが可能である。
【００６９】
また、時間的に後に現れるＧＯＰ２内の編集点より後のピクチャ数が多い場合には、表示しないが保存するピクチャ数が少なくて済むので、復号および再符号化処理を行なわない方式で処理し、ＧＯＰ２内の編集点より後のピクチャ数が少ない合には、表示しないが保存するピクチャ数が多くなるので、復号および再符号化処理を行なう方式で処理する。このように、表示しないが、保存する必要のあるピクチャ数に適応して、編集点処理方式を選択するようになされる。また、復号画像の画質を考慮して編集点処理方式を選択するようにしても良い。
【００７０】
【発明の効果】
この発明に依れば、符号化データ例えばＭＰＥＧストリームを編集し、編集点処理のために、符号化データの復号、および再符号化を不要とできる。従って、復号−再符号化による画質の劣化を防止することができ、また、再符号化のために動きベクトルを求める計算を不要とできる。
【図面の簡単な説明】
【図１】この発明による編集点処理方法の一実施形態を説明するためのフローチャートである。
【図２】この発明による編集点処理方法の一実施形態を説明するためのタイミングチャートである。
【図３】この発明による編集点処理方法の理解の参考とした再符号化処理を説明するためのタイミングチャートである。
【図４】この発明を適用できるディスクレコーダの一例のブロック図である。
【図５】この発明による編集点処理装置の一実施形態のブロック図である。
【図６】この発明と組み合わせることが可能な編集点処理方法を説明するためのフローチャートである。
【図７】この発明と組み合わせることが可能な編集点処理方法を説明するためのフローチャートである。
【図８】この発明と組み合わせることが可能な編集点処理方法を説明するためのタイミングチャートである。
【符号の説明】
５２・・・編集点判定回路、５３・・・ビットストリーム編集回路
【発明の属する技術分野】
この発明は、圧縮符号化例えばＭＰＥＧで符号化された画像信号を編集するのに適用される編集方法および編集装置に関する。
【０００２】
【従来の技術】
近年、画像間圧縮符号化方式の一つであるＭＰＥＧ(Moving Picture Experts Group)が広く実用化されつつある。ＭＰＥＧのような圧縮符号化を利用することによって、記録媒体を有効活用することができる。ＭＰＥＧにより符号化された画像信号を編集する場合、復号された画像信号と、外部からの画像信号をつなげて、再びＭＰＥＧで符号化し、ストリームを記録媒体に記録するような編集システムが構成できる。さらに、他の記録媒体に記録されているビデオ信号をレコーダにより記録するダビングの場合でも、他の記録媒体の再生信号が復号され、再符号化される。
【０００３】
ＭＰＥＧの場合では、ピクチャタイプとして、Ｉ、Ｐ、Ｂの３種類が存在する。Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【０００４】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【０００５】
そして、ＭＰＥＧでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるＧＯＰ(Group Of Picture)構造が規定されている。ＧＯＰに関するＭＰＥＧの規則では、第１にビットストリーム上で、ＧＯＰの最初がＩピクチャであること、第２に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャであることが規定されている。また、ＧＯＰとしては、以前のＧＯＰの最後のＩまたはＰピクチャからの予測を必要とする構造も許容されている。以前のＧＯＰの画像を使用しないで復号できるＧＯＰは、クローズドＧＯＰと称される。編集を重視する場合には、クローズドＧＯＰの構造とされることが多い。
【０００６】
ＭＰＥＧでは、ＧＯＰ単位のフレーム相関を用いてコーディングを行なっているので、ＭＰＥＧビットストリームを編集する時には、制約が発生する。すなわち、ＧＯＰの切れ目と編集点を一致させれば、クローズドＧＯＰであれば、特に問題が生じない。しかしながら、通常、一つのＧＯＰの長さは、０．５秒程度のことが多く、編集点としては、期間が長くなりすぎる。そこで、一般的には、フレーム（ピクチャ）単位の精度で編集を行うことが好ましい。
【０００７】
二つのＭＰＥＧのビデオストリームが編集点で切り換えられたストリームを考えると、フレーム単位の場合では、どのような位相で二つのストリームが接続されるかが分からない。編集点が含まれず、ＧＯＰ構造が完全に保存されているＧＯＰの場合では、編集点処理を行わないで、そのまま出力しても復号することができる。
【０００８】
編集点が含まれるために、ＧＯＰ構造が保存されない場合に問題が生じる。編集点より時間的に前のストリームでは、ＧＯＰの編集点から後のデータが破棄される。また、時間的に後のストリームでは、編集点から前のデータが破棄される。編集点をはさんで残った二つのストリームを復号する場合には、これらの二つのストリームを新たなＧＯＰとして扱う。従って、新たなＧＯＰに予測参照画像としてのＩピクチャが含まれていないと、そのＧＯＰが復号不可能となってしまう。この場合には、編集後のビットストリームの復号を可能とするために、ビットストリームをＭＰＥＧ復号で一度ベースバンドに戻し、再度符号化を行なってビットストリームを得る必要がある。
【０００９】
従来では、新たなＧＯＰの先頭のピクチャのピクチャタイプをＩピクチャに変更し、このＩピクチャを基準としてピクチャタイプを規定するようにしていた。すなわち、編集前のＧＯＰを復号し、先頭のピクチャタイプをＩピクチャとしてピクチャタイプを再度規定して再符号化することによって、新たなＧＯＰを形成していた。
【００１０】
【発明が解決しようとする課題】
しかしながら、かかる編集点の処理方法では、スイッチングを含め編集作業のたびに、復号、符号化を繰り返すことになる。通常、ベースバンド−ビットストリーム間の復号、符号化処理は、大きな画質劣化を伴う。また、再符号化のために、動きベクトルを求めるための演算が必要とされる問題があった。
【００１１】
従って、この発明の目的は、編集点の処理のために、復号処理および再符号化処理を不要とし、それによって、画質の劣化を防止でき、また、再符号化のために動きベクトルを求める演算を不要とできる編集方法および編集装置を提供することにある。
【００１２】
【課題を解決するための手段】
請求項１の発明は、上述した課題を達成するために、画像間予測符号化により符号化された符号化データを編集する編集方法において、
第１および第２の符号化データを編集点で接続するような編集を行う際に、編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第１の編集方法と、
編集点付近の第１および第２の符号化データを復号し、再符号化するようにした第２の編集方法とを組み合わせ、
第１および第２の符号化データの一方に第１の編集方法を適用し、その他方に第２の編集方法を適用することを特徴とする編集方法である。
【００１３】
請求項７の発明は、画像間予測符号化により符号化された符号化データを編集する編集装置において、
第１および第２の符号化データを編集点で接続するような編集を行う際に、編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第１の編集方法と、
編集点付近の第１および第２の符号化データを復号し、再符号化するようにした第２の編集方法とを組み合わせ、
第１および第２の符号化データの一方に第１の編集方法を適用し、その他方に第２の編集方法を適用することを特徴とする編集装置である。
【００１５】
符号化データ例えばＭＰＥＧビットストリームでもって編集し、編集後のストリームを復号するのに必要な予測参照画像を保存する。編集後のストリームを復号する時に、保存されている予測参照画像を使用する。保存した予測参照画像は、表示されない。
【００１６】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態における編集点処理方法を示すフローチャートである。最初のステップＳＴ１から編集点処理を開始する。次のステップＳＴ２では、編集により接続する２個のビットストリームで、時間的に先になるストリームの編集点（ＯＵＴ点）を含むＧＯＰ（ＧＯＰ１）の処理を開始する。
【００１７】
ステップＳＴ３では、ＧＯＰ１において、編集点がＩまたはＰピクチャの直後にあるかどうかが決定される。編集点がＩまたはＰピクチャの直後にある場合には、ステップＳＴ４において、編集点以降のビットストリームを破棄し、ステップＳＴ５において、ＧＯＰ１以前の部分をそのまま出力する。すなわち、編集点より前のストリームには、予測参照画像であるＩまたはＰピクチャが残るので、特別な処理をしないでも、編集処理後のストリーム中のこの部分を復号することができる。
【００１８】
ステップＳＴ３において、編集点がＩまたはＰピクチャの直後にない場合には、ステップＳＴ６において、編集点の直後のＩまたはＰピクチャ以外の編集点以降のピクチャを破棄する。次のステップＳＴ７において、編集点より前のピクチャと編集点直後のＩまたはＰピクチャを出力する。
【００１９】
次に、ステップＳＴ８において、編集により接続する二つのストリームの内で、時間的に後になるストリームの編集点（ＩＮ点）を含むＧＯＰ（ＧＯＰ２）の処理を開始する。ステップＳＴ９では、編集点以前のＢピクチャを全て破棄する。そして、ステップＳＴ１０では、編集点以前のＩピクチャおよびＰピクチャと、編集点以降のピクチャを出力し、編集点処理を終了する（ステップＳＴ１１）。編集点以前のＩピクチャおよびＰピクチャは、表示しないが保存する必要のあるピクチャである。
【００２０】
上述した編集点処理について、図２を参照してより具体的に説明する。図２は、時間的に前のストリームに含まれると共に、編集点が含まれるＧＯＰ１と、時間的に後のストリームに含まれると共に、編集点が含まれるＧＯＰ２とを編集点でスイッチングする例を示している。何れのストリームのＧＯＰも、ピクチャ数Ｎ＝１５で、予測参照画像（ＩまたはＰピクチャ）の現れる周期Ｍ＝３である。また、図２に示すピクチャの順序は、再生画像の順序である。再生画像の順序は、原画像および復号画像の順序と一致している。
【００２１】
最初にＧＯＰ１の編集点処理がなされる。編集点がＩピクチャ（Ｉ２２）またはＰピクチャ（Ｐ２５、Ｐ２８、Ｐ３１、Ｐ３４）の直後にはないので、ステップＳＴ３を通って、ステップＳＴ６において、編集点の直後のＰピクチャＰ２８以外の編集点以降のピクチャを破棄する。そして、編集点以前のピクチャと編集点直後のＰピクチャＰ２８を出力する（ステップＳＴ７）。ＰピクチャＰ２８を保存するのは、編集後のストリームに含まれるＢピクチャＢ２６およびＢ２７をＰ２８を予測参照画像として復号するためである。
【００２２】
次に、時間的に後のＧＯＰ２（Ｂ０〜Ｐ１４）の処理を開始する（ステップＳＴ８）。編集点以前のＢピクチャＢ０、Ｂ１、Ｂ３およびＢ４を全て破棄する（ステップＳＴ９）。そして、編集点以前のＩピクチャＩ２およびＰピクチャＰ５と編集点以降のピクチャを出力し（ステップＳＴ１０）、編集点の処理を終了する（ステップＳＴ１１）。ＩピクチャＩ２およびＰピクチャＰ５を保存するのは、ＰピクチャＰ５をＩ２を予測参照画像として復号し、復号されたＰ５を予測参照画像として編集後のストリームに含まれるＢピクチャＢ６およびＢ７を復号するためである。
【００２３】
上述した編集点処理において、保存されるＩまたはＰピクチャは、編集後のストリームに含まれるＢピクチャを復号するために必要なものであり、編集後のストリームに対応する映像信号として表示されない。保存するためには、記録媒体上の所定の領域に保存するピクチャをまとめて記録すれば良い。
【００２４】
ＧＯＰ１の場合では、編集点がＩまたはＰピクチャの直後に存在する時では、何らピクチャを保存する必要がない。一方、編集点がＩまたはＰピクチャの直後に存在しない時では、一つのＩまたはＰピクチャを保存する必要がある。ＧＯＰ２の場合では、編集点の位置によって保存する必要があるピクチャの量が異なる。編集点の位置がＧＯＰ２の後の方になると、保存するピクチャ数が徐々に増加し、最大で、Ｐ１４以外の４枚のピクチャ（Ｉ２、Ｐ５、Ｐ８、Ｐ１１）を保存する必要が生じる。このように、一つの編集点について最大で５個のピクチャを保存するために、例えば記録媒体上で冗長度が増加する問題が生じる。さらに、ＧＯＰ当たりのデータ発生量を一定に制御することができない。
【００２５】
以上の説明では、ＧＯＰ１の編集点処理を行ってからＧＯＰ２の編集点処理を行うようにしているが、その順序を逆としても良い。また、ＧＯＰ１の編集点処理とＧＯＰ２の編集信号処理とを並列に行うようにしても良い。
【００２６】
上述したように、この発明の一実施形態では、編集後のビットストリームを復号するのに必要な予測参照画像（ＩまたはＰピクチャ）を保存することによって、編集処理後の新たなＧＯＰを形成するための復号処理と、復号データの再符号化処理とを不要とできる。従って、復号および再符号化によって生じる画質劣化を防止することができ、また、再符号化のために動きベクトルを演算する必要がない。
【００２７】
この発明の一実施形態をより良く理解するために、若し、図２に示すような編集後のビットストリームを復号し、再符号化すると仮定した場合の処理について図３を参照して説明する。ＭＰＥＧエンコーダ内の順序並び替え処理によって、編集後のビットストリームは、図３に示すように、ＩおよびＰピクチャを先に符号化し、次に、Ｂピクチャを符号化するような順序に並び替えられる。
【００２８】
編集点より前側のＧＯＰでは、ＩピクチャＩ２２を予測参照画像として用い、順方向予測によってＰピクチャＰ２５を符号化し、Ｐ２５を予測参照画像として用い、順方向予測によってＰ２８を符号化する。次に、Ｉ２２、Ｐ２５、Ｐ２８を予測参照画像として用いて、ＢピクチャＢ２０、Ｂ２１、Ｂ２３、Ｂ２４、Ｂ２６、Ｂ２７をそれぞれ符号化する。ＢピクチャＢ２３、Ｂ２４、Ｂ２６、Ｂ２７の各ピクチャの符号化は、順方向動きベクトルＦｗおよび逆方向動きベクトルＢｋの両者使用した両方向予測符号化である。Ｂ２０およびＢ２１の各ピクチャの符号化は、逆方向動きベクトルのみを使用する。
【００２９】
編集点より後側のＧＯＰでは、保存されているＩ２を予測参照画像として用い、順方向予測によって、Ｐ５を符号化し、Ｐ５を予測参照画像として用い、順方向予測によって、Ｐ８を符号化する。そして、これらのＩ２、Ｐ５、Ｐ８を予測参照画像として用い、ＢピクチャＢ６、Ｂ７、Ｂ９、Ｂ１０、Ｂ１２、Ｂ１３を符号化する。例えばＢピクチャＢ６は、Ｐ５を予測参照画像として用いる順方向予測と、Ｐ８を予測参照画像として用いる逆方向予測とを組み合わせた両方向予測によって符号化される。
【００３０】
なお、図２および図３の例では、編集点の前後のＧＯＰは、クローズドＧＯＰではないが、Ｉ２を予測参照画像とするＢ２６、Ｂ２７への逆方向ベクトルを使用しない。通常、編集点の前後では、画像の相関がないからである。また、クローズドＧＯＰであるか否かは、この発明による編集処理に対して影響を与えるものではない。
【００３１】
次に、編集処理のいくつかの形態について説明する。第１の形態は、ランダムアクセス可能な記録媒体例えば書き換え可能な光ディスク上に、既に記録されている二つのストリームを接続して再生し、恰も記録済のストリームを編集したかのようにする編集処理である。保存すべきピクチャ以外には、二つのストリームを接続したものを記録する必要はない。第２の形態は、記録媒体に記録済のストリームを再生し、この再生ストリームと外部からのストリームを接続する信号処理を行い、二つのストリームを接続したストリームを記録媒体に記録する編集処理である。第３の形態は、外部からの二つのストリームを受け取り、二つのストリームを接続したストリームを記録媒体に記録する編集処理である。これらの編集処理において、編集点付近の処理に対して上述したこの発明の一実施形態を適用することができる。
【００３２】
図４は、光ディスク２０に対してＭＰＥＧビットストリームを記録すると共に、光ディスク２０からＭＰＥＧビットストリームを再生するディスクレコーダの一例を示す。図４において、２１で示す入力端子には、ディジタル映像信号が直接供給される。２２で示す入力端子には、アナログ映像信号が供給される。アナログ映像信号は、撮像信号、アンテナで受信した放送映像信号等である。アナログ映像信号は、Ａ／Ｄ変換部２３によりディジタル映像信号へ変換される。入力端子２１からのディジタル映像信号およびＡ／Ｄ変換部２３からのディジタル映像信号の一方が入力選択スイッチ２４によって選択される。選択されたディジタル映像信号がＭＰＥＧエンコーダ２５に供給される。
【００３３】
ＭＰＥＧエンコーダ２５は、ディジタル映像信号に対してＭＰＥＧによる圧縮符号化を施す。ＭＰＥＧエンコーダ２５の出力がスイッチ回路２６の一方の入力端子に供給される。スイッチ回路２６の他方の入力端子には、端子２７からＭＰＥＧビットストリームが供給される。ＭＰＥＧエンコーダ２５または外部からのビットストリームは、バスを介して統合バッファメモリ２８の記録系用バッファメモリ部２８ａに格納される。統合バッファメモリ２８は、システムコントロ−ラ３７によって制御されるメモリ制御部２９によりアドレスが指定され、
ＭＰＥＧエンコーダ２５は、動きベクトルを検出する動き予測部、ピクチャ順序並び替え部、入力映像信号とローカル復号映像信号間の予測誤差を形成する減算部、減算出力をＤＣＴ変換するＤＣＴ部、ＤＣＴ部の出力を量子化する量子化部、量子化出力を可変長符号化する可変長符号化部、一定レートで符号化データを出力するバッファメモリとから構成される。ピクチャ順序並び替え部は、ピクチャの順序を符号化処理に適したものに並び替える。つまり、ＩおよびＰピクチャを先に符号化し、その後、Ｂピクチャを符号化するのに適した順序にピクチャを並び替える。ローカル復号部は、逆量子化部、逆ＤＣＴ部、加算部、フレームメモリおよび動き補償部で構成される。動き補償部では、順方向予測、逆方向予測、両方向予測が可能とされている。イントラ符号化の場合では、減算部は、減算処理を行わず、単にデータが通過する。
【００３４】
記録系用バッファメモリ部２８ａに格納されたビットストリームは、バス、デ−タ処理部３０および記録再生切り替えスイッチ３１を介して光ディスクドライブに供給される。デ−タ処理部３０は、記録信号処理部３０ａと再生信号処理部３０ｂからなる。記録信号処理部３０ａは、エラー訂正符号化、ディジタル変調等の処理を行い、再生信号処理部３０ｂは、エラー訂正、ディジタル変調の復調等の処理を行う。
【００３５】
光ディスクドライブは、光ディスク２０に記録用のレ−ザ光を照射して信号を記録すると共に、再生用のレ−ザ光を照射して信号を再生するための光ヘッド３２と、光ディスク２０を回転駆動するスピンドルモ−タ３３とを備えている。ヘッド３２とスピンドルモ−タ３３は、ディスク／ヘッド制御部３４により制御される。光ヘッド３２によって、記録信号処理部３０ａの出力信号が光ディスク２０に記録される。光ディスク２０は、書き換え可能なもので、ＭＯ（光磁気）ディスク、相変化型ディスク等を使用できる。
【００３６】
システムコントロ−ラ３７は、光ディスクドライブの制御をディスク／ヘッド制御部３４を介して行うと共に、光ディスクドライブの状態も管理しており、その情報をメモリ制御部２９に伝え、統合バッファメモリ２８からのデ−タの供給の制御を行う。
【００３７】
次に、再生処理系について説明する。バスを介して統合バッファメモリ２８の再生系用バッファメモリ部２８ｂから供給される再生ビットストリームは、スイッチ回路３８に供給される。スイッチ回路３８は、再生ビットストリームをＭＰＥＧデコーダ３９または端子４０に選択的に出力する。ＭＰＥＧデコーダ３９は、再生ビットストリームを復号し、ＭＰＥＧデコーダ３９からの復号映像信号は、Ｄ／Ａ変換部４１によりアナログ映像信号に変換され、アナログ出力端子４２に取り出される。また、ディジタル復号映像信号が出力されるディジタル出力端子４３が設けられている。
【００３８】
ＭＰＥＧデコーダ３９は、バッファメモリ、可変長符号復号部、逆ＤＣＴ部、逆量子化部、逆量子化部の出力とローカル復号出力を加算する加算部、ピクチャ順序並び替え部並びにフレームメモリおよび動き補償部からなるローカル復号部によって構成されている。イントラ符号化の場合では、加算部での加算処理がなされず、データが加算部を通過する。加算部からの復号データがピクチャ順序並び替え部によって元の画像の順序とされる。
【００３９】
再生モ−ド時、光ディスクドライブは、ディスク／ヘッド制御部３４によりサ−ボ、ヘッド移動等が制御され、再生信号をデ−タ処理部３０の再生信号処理部３０ｂ、バスを介して再生系用バッファメモリ部２８ｂに出力する。再生系用バッファメモリ部２８ｂは、再生信号の書き込みと読み出しのバランスを取りながら、再生ビットストリームをスイッチ回路３８に供給する。スイッチ回路３８で選択されたビットストリームは、出力端子に４０に取り出されるか、または、ＭＰＥＧデコーダ３９によって復号される。ＭＰＥＧデコーダ３９からの復号映像信号は、Ｄ／Ａ変換部４１または出力端子４３に出力される。Ｄ／Ａ変換部４１は、ディジタル映像信号をアナログ映像信号に変換し、出力端子４２に出力する。
【００４０】
なお、上述したディスクレコーダは、記録系用と再生系用の記憶領域の割り当てを可変する統合バッファメモリ２８と、記録モードまたは再生モ−ドに応じて統合バッファメモリ２８の記憶領域割り当て処理がシステムコントロ−ラ３７により制御される。すなわち、記録系用バッファメモリ部２８ａと再生系用バッファメモリ部２８ｂは、メモリ制御部２９を介したシステムコントロ−ラ３７の制御により、そのエリアを可変とする。例えば、記録時には、記録系用バッファメモリ部２８ａは、統合バッファメモリ２８の全てを占める。また、再生時には、再生系用バッファメモリ部２８ｂが全てを占める。また、同時記録再生時には、半分ずつメモリ容量を確保するようにしてもよい。
【００４１】
上述したディスクレコーダと接続され、この発明による編集点処理を行うことができる編集点処理装置の一実施形態について、図５を参照して説明する。５１で示す入力端子には、ディスクレコーダから再生され、出力端子４０に取り出されるＭＰＥＧビットストリームが供給される。入力ストリームには、何らかの手段により予め編集点（ＯＵＴ点、ＩＮ点）が設定されている。例えばビットストリーム中に編集点の位置を示す情報が挿入されている。編集点の位置情報は、ビットストリームと同期するようにされたビットストリーム以外の信号経路で伝送することも可能である。
【００４２】
入力ビットストリームが編集点判定回路５２に供給される。編集点判定回路５２は、編集点情報とＭＰＥＧビットストリームに付随する符号化情報（ピクチャタイプ）とからＧＯＰ１中で破棄するピクチャと保存するピクチャとを決定し、ビットストリーム編集回路５３に対してピクチャの破棄／保存を制御するための制御信号Ｓ１０を出力する。
【００４３】
編集点判定回路５２に対してビットストリーム編集回路５３が接続される。ビットストリーム編集回路５３は、制御信号Ｓ１０に応答して、保存すべきピクチャを除いて、ピクチャを破棄する。ビットストリーム編集回路５３から出力端子５４に対して保存すべきピクチャが取り出される。この出力ピクチャは、上述したディスクレコーダの入力端子２７に供給され、記録処理を受けて光ディスク２０上の所定の領域に記録される。編集形態によっては、このように保存すべきピクチャのみを記録する場合に限らず、編集後のストリームの全体を記録する場合がある。
【００４４】
図５の構成は、上述した編集処理の形態の内で、例えば第１の形態、すなわち、光ディスク上に、既に記録されている二つのストリームを接続して再生し、恰も記録済のストリームを編集したかのようにする編集処理に適用される。この編集点処理の場合では、ディスクレコーダが最初に光ディスク２０から時間的に先のストリーム（ＳＴ１と表記する）を再生し、ストリームＳＴ１の編集点（ＯＵＴ点）の近傍のストリームを編集点処理装置の入力端子５１に供給する。図１のフローチャートに示される編集点が含まれるＧＯＰ１の処理を編集点判定回路５２およびビットストリーム編集回路５３が行う。それによって、保存すべきピクチャ（図２の例では、Ｐ２８）をビットストリーム編集回路５３が出力し、保存すべきピクチャを光ディスク２０上の所定領域に記録する。
【００４５】
次に、ディスクレコーダが時間的に後のストリーム（ＳＴ２と表記する）を光ディスク２０から再生し、ストリームＳＴ２の編集点（ＩＮ点）の近傍のストリームを編集点処理装置の入力端子５１に供給する。図１のフローチャートに示される編集点が含まれるＧＯＰ２の処理を編集点処理装置が行う。それによって、保存すべきピクチャ（図２の例では、Ｉ２およびＰ５）をビットストリーム編集回路５３が出力し、保存すべきピクチャを光ディスク２０上の所定領域に記録する。
【００４６】
そして、光ディスク２０に記録されているリンク情報に基づいてストリームＳＴ１のＯＵＴ点まで、ピクチャＰ２８、ピクチャＩ２、ピクチャＰ５、ストリームＳＴ２のＩＮ点より後のストリームを順に再生する。再生されたストリームがＭＰＥＧデコーダ３９（図４参照）に供給され、ＭＰＥＧデコーダ３９によって復号される。保存すべきピクチャＰ２８、Ｉ２、Ｐ５をそれぞれ予測参照画像として、ストリーム中のＢピクチャを復号することができる。そして、復号された映像信号中で、これらの保存すべきピクチャに対応するフレームは、表示されない。一例として、ＭＰＥＧデコーダ３９が出力する映像信号中から、保存すべきピクチャに対応するフレームが出力されないように、システムコントローラ３７によって制御される。
【００４７】
以上説明したように、この発明の一実施形態は、編集点処理が復号処理および再符号化処理を含まない。しかしながら、復号処理および再符号化処理を行う編集点処理と組み合わせる複合編集点処理も可能である。
【００４８】
復号処理および再符号化処理を行う編集点処理の一例について、図６、図７および図８を参照して説明する。図６および図７は、一連の処理を作図スペース上の制約から二つのフローチャートに分割したものである。最初のステップＳＴ３１から編集点処理を開始する。次のステップＳＴ３２では、編集により接続する２個のビットストリームで、時間的に先になるストリームの編集点（ＯＵＴ点）を含むＧＯＰ（ＧＯＰ１）の処理を開始する。ＧＯＰ１より前のＧＯＰに関しては、編集点処理が不要である。
【００４９】
ステップＳＴ３３では、ＧＯＰ１において、編集点がＩピクチャよりも前にあるかどうかが決定される。編集点がＩピクチャよりも前でない、すなわち、後ろであると決定されると、ステップＳＴ３４において、編集点がＩまたはＰピクチャの直後にあるかどうかが決定される。編集点がＩまたはＰピクチャの直後にある場合には、ステップＳＴ３５において、編集点以降のビットストリームを破棄し、ステップＳＴ３６において、ＧＯＰ１の残りの部分をそのまま出力する。すなわち、編集点より前のストリームには、予測参照画像であるＩまたはＰピクチャが残るので、特別な処理をしないでも、編集処理後のストリーム中のこの部分を復号することができる。
【００５０】
ステップＳＴ３４において、編集点がＩまたはＰピクチャの直後にない場合には、ステップＳＴ３７において、ＧＯＰ１を一旦復号して、ステップＳＴ３８において編集点以降のピクチャを破棄し、ステップＳＴ３９において、第１の再符号化処理を行う。第１の再符号化処理は、ＩまたはＰピクチャと編集点の間にあるＢピクチャをＩまたはＰピクチャを予測参照画像として順方向動きベクトルＦｗのみで再符号化する処理である。
【００５１】
上述したように、Ｂピクチャ内には、フレーム内符号化マクロブロックと、過去から未来を予測する順方向フレーム間予測マクロブロックと、未来から過去を予測する逆方向フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとが含まれる。従って、順方向動きベクトルＦｗのみで再符号化する場合、順方向フレーム間予測マクロブロックおよび両方向マクロブロックの場合では、復号時に使用した動きベクトルＦｗを再利用できる。一方、逆方向フレーム間予測マクロブロックについては、順方向動きベクトルＦｗを再計算する必要がある。
【００５２】
マクロブロックタイプは、マクロブロック単位の動きベクトルに基づいて検出できる。動きベクトルがないものは、フレーム内符号化マクロブロックであり、順方向動きベクトルのみがあるマクロブロックは、順方向フレーム間予測マクロブロックであり、逆方向動きベクトルのみがあるマクロブロックは、逆方向フレーム間予測マクロブロックであり、両方向の動きベクトルがあるマクロブロックは、両方向マクロブロックである。動きベクトル以外に、ストリーム中に挿入される情報から直接的にマクロブロックタイプを検出することもできる。
【００５３】
ステップＳＴ３３において、編集点がＩピクチャより前にあると決定されると、編集点以降を破棄した時に、Ｉピクチャが残らない。従って、ＧＯＰ１を一旦復号して、次に、編集点以降のピクチャを破棄し、そして、再符号化する。この再符号化の処理は、ＧＯＰ１（ＧＯＰ１が含まれるビットストリーム）がクローズドＧＯＰか否かによって影響を受ける。この点を考慮して、ステップＳＴ４０においてＧＯＰ１がクローズドＧＯＰかどうかが決定される。ストリーム中のＧＯＰヘッダには、符号化時に設定されたクローズドＧＯＰフラグが挿入されているので、このフラグからクローズドＧＯＰかどうかを決定できる。フラグがクローズドＧＯＰであることを示している時には、そのＧＯＰの最初の複数のＢピクチャが以前のＧＯＰに依存しない。
【００５４】
ＧＯＰ１がクローズドＧＯＰであると決定されると、ステップＳＴ４１において、ＧＯＰ１を一旦復号して、ステップＳＴ４２において編集点以降のピクチャを破棄する。そして、ステップＳＴ４３において、第２の再符号化処理がなされる。第２の再符号化処理では、最初に現れるＢピクチャをＩピクチャとして再符号化し、そのＢピクチャ以外の他のＢピクチャがある場合には、そのＢピクチャを予測参照画像（Ｉピクチャ）として、順方向動きベクトルＦｗのみを用いて他のＢピクチャを再符号化する。順方向動きベクトルＦｗは、復号画像から求める。
【００５５】
ＧＯＰ１がクローズドＧＯＰでない場合では、ステップＳＴ４０からステップＳＴ４４に処理が移る。ステップＳＴ４４で、ＧＯＰ１が復号され、編集点以降が破棄される（ステップＳＴ４５）。そして、ステップＳＴ４６において、第３の再符号化処理がなされる。つまり、クローズドＧＯＰではないので、直前のＧＯＰの最後のＰピクチャを予測参照画像として用い、順方向動きベクトルＦｗのみでＢピクチャを符号化する。順方向動きベクトルＦｗとしては、復号に使用された順方向動きベクトルを再利用できる。
【００５６】
次に、ステップＳＴ４７（図７）において、編集により接続する二つのストリームの内で、時間的に後になるストリームの編集点（ＩＮ点）を含むＧＯＰ（ＧＯＰ２）の処理を開始する。それ以外の後のＧＯＰに関しては、特別な処理をしないでビットストリームのまま出力する。
【００５７】
ステップＳＴ４８では、ＧＯＰ２において、編集点がＩピクチャより前にあるかどうかが決定される。編集点がＩピクチャよりも前でなく、すなわち、後ろにあるならば、編集点より前のストリームを破棄した時に、Ｉピクチャが失われる。この点を考慮して、ＧＯＰ２を一旦復号し、次に、編集点以前を破棄し、そして、再符号化を行う。また、ステップＳＴ４９では、ＧＯＰ１の場合と同様に、ＧＯＰ２に関して、クローズドＧＯＰか否かが決定される。クローズドＧＯＰか否かは、再符号化の処理に影響を与える。
【００５８】
クローズドＧＯＰであると決定されると、ステップＳＴ５０においてＧＯＰ２が復号され、次に、編集点以前が破棄され（ステップＳＴ５１）、そして、ステップＳＴ５２において、第４の再符号化処理がなされる。ステップＳＴ５２の第４の再符号化処理では、最初に現れるＰピクチャをＩピクチャとして再符号化する。そのＰピクチャと編集点の間にＢピクチャがある場合は、そのＰピクチャを予測参照画像として、逆方向予測のみによって、すなわち、逆方向動きベクトルＢｋのみで再符号化する。そのＰピクチャより後は、編集作業前と同じピクチャタイプの関係でもって再符号化を行う。その結果、ＰピクチャをＩピクチャに変更し、ステップＳＴ５０の復号時に使用した符号化情報、例えば動きベクトルを用いて再符号化を行う。再符号化出力を出力して編集点処理を終了する（ステップＳＴ５９）。
【００５９】
ステップＳＴ４９において、クローズドＧＯＰでないと決定されると、ステップＳＴ５３においてＧＯＰ２が復号され、次に、編集点以前が破棄され（ステップＳＴ５４）、その次のステップＳＴ５５において、直後のＧＯＰのＩピクチャ以前を復号し、そして、ステップＳＴ５６において、第５の再符号化処理がなされる。
【００６０】
ステップＳＴ５６の第５の再符号化処理では、第４の再符号化処理と同様に、最初のＰピクチャをＩピクチャとして再符号化し、以降のピクチャは編集前と同じピクチャタイプで再符号化する。Ｂピクチャの再符号化は、第４の再符号化処理と異なる。つまり、ＧＯＰ２の最後のＰピクチャを直後のＧＯＰのＩピクチャから、直後のＩピクチャより前にあるＢピクチャを再符号化して出力する。このＢピクチャの再符号化のために、ステップＳＴ２３、ＳＴ２５の復号時に使用した順方向動きベクトルおよび逆方向動きベクトルを使用できる。再符号化出力を出力して編集点処理を終了する（ステップＳＴ５９）。
【００６１】
ステップＳＴ４８において、編集点がＩピクチャより前にある場合には、ステップＳＴ５７において、編集点より前のビットストリームを破棄する。残りのビットストリームにＩピクチャが残る。そして、ステップＳＴ５８において、ＧＯＰ２の残りのビットストリームを出力し、編集点処理を終了する（ステップＳＴ５９）。
【００６２】
図６および図７に示す編集点処理について、図８を参照してより具体的に説明する。図８は、時間的に前のストリームに含まれると共に、編集点が含まれるＧＯＰ１と、時間的に後のストリームに含まれると共に、編集点が含まれるＧＯＰ２とを編集点でスイッチングする例を示している。何れのストリームのＧＯＰも、ピクチャ数Ｎ＝１５で、予測参照画像（ＩまたはＰピクチャ）の現れる周期Ｍ＝３である。一例として、クローズドＧＯＰの場合について説明するが、クローズドＧＯＰでない場合でも、再符号化処理を除いてほぼ同様の処理がなされる。また、図８に示すピクチャの順序は、再生画像の順序である。再生画像の順序は、原画像および復号画像の順序と一致する。
【００６３】
最初にＧＯＰ１の編集点処理がなされる。編集点がＩピクチャ（Ｉ２２）より後ろにあり、編集点がＩまたはＰピクチャの直後にはないので、ステップＳＴ３３、ステップＳＴ３４を通って、ステップＳＴ３７において、ＧＯＰ１が復号される。この復号に使用した符号化情報を保存する。保存する必要がある符号化情報は、ピクチャタイプ（この情報は、必ず必要）、動きベクトル、ピクチャ毎の量子化スケールである。
【００６４】
そして、ステップＳＴ８において、編集点以降（ＰピクチャＰ２８以降）が破棄されてから、ステップＳＴ９の第１の再符号化処理がなされる。すなわち、ＰピクチャＰ２５の後のＢピクチャＢ２６およびＢ２７を順方向動きベクトルＦｗのみを使用して再符号化する。順方向動きベクトルＦｗは、マクロブロックタイプによって、復号時に保存しているもの、または再計算して求めたものが使用される。Ｂ２６およびＢ２７以外のＧＯＰ１の残りの画像の再符号化は、ステップＳＴ７における復号時に使用した符号化情報をそのまま使用して行う。
【００６５】
ＢピクチャＢ２６内およびＢ２７内には、フレーム内符号化マクロブロックと、過去から未来を予測する順方向フレーム間予測マクロブロックと、未来から過去を予測する逆方向フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとが含まれる。従って、順方向動きベクトルＦｗのみで再符号化する場合、順方向フレーム間予測マクロブロックおよび両方向マクロブロックの場合では、復号時に使用した動きベクトルＦｗを再利用できる。一方、逆方向フレーム間予測マクロブロックについては、順方向動きベクトルＦｗを再計算する必要がある。
【００６６】
次に、時間的に後のＧＯＰ２（Ｂ０〜Ｐ１４）の処理を開始する。編集点がＩピクチャＩ２以前ではないので、編集点以前を破棄した時には、Ｉ２が失われてしまう。そこで、ＧＯＰ２を復号して、編集点以前（Ｂ０〜Ｐ５）を破棄する（ステップＳＴ４８、ＳＴ４９、ＳＴ５０、ＳＴ５１）。そして、ステップＳＴ５２の第４の再符号化処理がなされる。すなわち、最初のＰピクチャＰ８をＩピクチャとして、再符号化する。それ以外のピクチャは、編集前と同じピクチャタイプで再符号化する。Ｐ８の前にあるＢピクチャＢ６およびＢ７は、Ｉピクチャに変更されるＰ８を予測参照画像として逆方向動きベクトルＢｋを求め、この逆方向動きベクトルＢｋのみによって再符号化する。
【００６７】
ＢピクチャＢ２６およびＢ２７について説明したのと同様に、Ｂ６およびＢ７にそれぞれ含まれるマクロブロックの内で、逆方向フレーム間予測マクロブロックと、両方向マクロブロックとに関しては、復号時に使用した動きベクトルＢｋを再利用できる。一方、順方向フレーム間予測マクロブロックについては、逆方向動きベクトルＢｋを再計算する必要がある。
【００６８】
上述した図６、図７、図８に示すような編集点処理は、編集点以降に最初に現れる参照画像の予測方式をフレーム内符号化方式に変更する以外は、編集点より時間的に前の第１のストリームと、編集点より時間的に後の第２のストリームとに関して、編集後において、予測参照画像の現れる周期を編集前のものと同一の周期とするものである。そして、このような復号処理および再符号化処理を行う編集点処理と、これらの処理を行わないこの発明の一実施形態を組み合わせる方法としては、例えば時間的に先に現れるストリーム（ＧＯＰ１）は、復号処理および再符号化処理を行わない方式で処理し、時間的に後に現れるストリーム（ＧＯＰ２）は、復号処理および再符号化処理を行う方式で処理するものが可能である。
【００６９】
また、時間的に後に現れるＧＯＰ２内の編集点より後のピクチャ数が多い場合には、表示しないが保存するピクチャ数が少なくて済むので、復号および再符号化処理を行なわない方式で処理し、ＧＯＰ２内の編集点より後のピクチャ数が少ない合には、表示しないが保存するピクチャ数が多くなるので、復号および再符号化処理を行なう方式で処理する。このように、表示しないが、保存する必要のあるピクチャ数に適応して、編集点処理方式を選択するようになされる。また、復号画像の画質を考慮して編集点処理方式を選択するようにしても良い。
【００７０】
【発明の効果】
この発明に依れば、符号化データ例えばＭＰＥＧストリームを編集し、編集点処理のために、符号化データの復号、および再符号化を不要とできる。従って、復号−再符号化による画質の劣化を防止することができ、また、再符号化のために動きベクトルを求める計算を不要とできる。
【図面の簡単な説明】
【図１】この発明による編集点処理方法の一実施形態を説明するためのフローチャートである。
【図２】この発明による編集点処理方法の一実施形態を説明するためのタイミングチャートである。
【図３】この発明による編集点処理方法の理解の参考とした再符号化処理を説明するためのタイミングチャートである。
【図４】この発明を適用できるディスクレコーダの一例のブロック図である。
【図５】この発明による編集点処理装置の一実施形態のブロック図である。
【図６】この発明と組み合わせることが可能な編集点処理方法を説明するためのフローチャートである。
【図７】この発明と組み合わせることが可能な編集点処理方法を説明するためのフローチャートである。
【図８】この発明と組み合わせることが可能な編集点処理方法を説明するためのタイミングチャートである。
【符号の説明】
５２・・・編集点判定回路、５３・・・ビットストリーム編集回路
Claims (7)
- 画像間予測符号化により符号化された符号化データを編集する編集方法において、
第１および第２の符号化データを編集点で接続するような編集を行う際に、上記編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第１の編集方法と、
上記編集点付近の上記第１および第２の符号化データを復号し、再符号化するようにした第２の編集方法とを組み合わせ、
上記第１および第２の符号化データの一方に上記第１の編集方法を適用し、その他方に上記第２の編集方法を適用することを特徴とする編集方法。 - 請求項１において、
画像間予測符号化がＭＰＥＧ方式であり、
第１および第２の符号化データが第１および第２のＧＯＰであり、
上記予測参照画像がＩまたはＰピクチャであることを特徴とする編集方法。 - 請求項１において、
記録媒体に記録されている第１および第２の符号化データを接続するように、再生する形態でもって編集を行うことを特徴とする編集方法。 - 請求項１において、
記録媒体に記録されている第１の符号化データと外部からの第２の符号化データとを接続する形態でもって、編集を行うことを特徴とする編集方法。 - 請求項１において、
外部から到来する第１および第２の符号化データを接続する形態でもって、編集を行うことを特徴とする編集方法。 - 請求項１において、
上記第２の編集方法は、
上記編集点以降に最初に現れる参照画像の予測方式を画像内符号化方式に変更する以外は、編集点より時間的に前の第１の符号化データと、上記編集点より時間的に後の第２の符号化データとに関して、編集後において、予測参照画像の現れる周期を編集前のものと同一の周期とするようにした編集方法であることを特徴とする編集方法。 - 画像間予測符号化により符号化された符号化データを編集する編集装置において、
第１および第２の符号化データを編集点で接続するような編集を行う際に、上記編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第１の編集方法と、
上記編集点付近の上記第１および第２の符号化データを復号し、再符号化するようにした第２の編集方法とを組み合わせ、
上記第１および第２の符号化データの一方に上記第１の編集方法を適用し、その他方に上記第２の編集方法を適用することを特徴とする編集装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14115198A JP3879252B2 (ja) | 1998-05-22 | 1998-05-22 | 編集方法および編集装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14115198A JP3879252B2 (ja) | 1998-05-22 | 1998-05-22 | 編集方法および編集装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11341436A JPH11341436A (ja) | 1999-12-10 |
| JP3879252B2 true JP3879252B2 (ja) | 2007-02-07 |
Family
ID=15285334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14115198A Expired - Fee Related JP3879252B2 (ja) | 1998-05-22 | 1998-05-22 | 編集方法および編集装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3879252B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100484248C (zh) | 2001-10-17 | 2009-04-29 | 松下电器产业株式会社 | 动态图像编码方法 |
| JP4435733B2 (ja) * | 2003-04-23 | 2010-03-24 | パナソニック株式会社 | データ処理装置 |
| JP2005005916A (ja) * | 2003-06-11 | 2005-01-06 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP4241839B2 (ja) | 2007-02-02 | 2009-03-18 | ソニー株式会社 | データ及びファイルシステム情報の記録装置及び記録方法 |
| WO2016026526A2 (en) * | 2014-08-20 | 2016-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Video composition |
-
1998
- 1998-05-22 JP JP14115198A patent/JP3879252B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11341436A (ja) | 1999-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3019912B2 (ja) | 画像データ編集装置 | |
| JPH11341435A (ja) | 編集方法および編集装置 | |
| US5991502A (en) | Optical recording device which calculates distances between I-frames and records I-frame addresses in a sector | |
| JP3493872B2 (ja) | 画像データ処理方法およびその装置 | |
| JP4005691B2 (ja) | 動画像符号化方法および動画像符号化装置 | |
| JP4337248B2 (ja) | 画像情報の伝送装置、伝送システムおよび伝送方法 | |
| JP3879252B2 (ja) | 編集方法および編集装置 | |
| JP3496604B2 (ja) | 圧縮画像データ再生装置および圧縮画像データ再生方法 | |
| JP3356004B2 (ja) | 可変レート符号化装置及び方法 | |
| JP3253530B2 (ja) | 動画像記録装置 | |
| JPH11289541A (ja) | 動画像符号化方法、動画像符号化装置及び記録媒体 | |
| JP3487205B2 (ja) | 画像データ編集装置 | |
| JP3258673B2 (ja) | 動画像記録装置および動画像再生装置 | |
| JP2000358219A (ja) | 記録装置 | |
| JPH11252566A (ja) | 画像信号復号方法および復号装置、画像信号符号化方法および符号化装置、画像信号処理方法および処理システム | |
| JPH0918830A (ja) | 映像編集装置 | |
| JPH08140047A (ja) | 画像データ記録装置 | |
| JPH0888854A (ja) | 動画像符号化方式 | |
| JP2000023099A (ja) | 映像信号記録再生装置、映像信号記録再生方法、映像信号再生装置、映像信号再生方法および記録媒体 | |
| JP3384563B2 (ja) | 光ディスク、再生装置および再生方法 | |
| JP2010154502A (ja) | 画像編集装置および画像編集方法 | |
| JP4284830B2 (ja) | 動画像編集復号化装置及びその方法 | |
| JP3384562B2 (ja) | 記録装置および記録方法 | |
| JPH0898142A (ja) | 画像再生装置 | |
| JP3370660B1 (ja) | 記録装置および記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050223 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061030 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |