JP3879252B2 - 編集方法および編集装置 - Google Patents
編集方法および編集装置 Download PDFInfo
- Publication number
- JP3879252B2 JP3879252B2 JP14115198A JP14115198A JP3879252B2 JP 3879252 B2 JP3879252 B2 JP 3879252B2 JP 14115198 A JP14115198 A JP 14115198A JP 14115198 A JP14115198 A JP 14115198A JP 3879252 B2 JP3879252 B2 JP 3879252B2
- Authority
- JP
- Japan
- Prior art keywords
- editing
- picture
- encoded data
- point
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
この発明は、圧縮符号化例えばMPEGで符号化された画像信号を編集するのに適用される編集方法および編集装置に関する。
【0002】
【従来の技術】
近年、画像間圧縮符号化方式の一つであるMPEG(Moving Picture Experts Group)が広く実用化されつつある。MPEGのような圧縮符号化を利用することによって、記録媒体を有効活用することができる。MPEGにより符号化された画像信号を編集する場合、復号された画像信号と、外部からの画像信号をつなげて、再びMPEGで符号化し、ストリームを記録媒体に記録するような編集システムが構成できる。さらに、他の記録媒体に記録されているビデオ信号をレコーダにより記録するダビングの場合でも、他の記録媒体の再生信号が復号され、再符号化される。
【0003】
MPEGの場合では、ピクチャタイプとして、I、P、Bの3種類が存在する。Iピクチャ(Intra-coded picture:イントラ符号化画像) は、符号化されるときその画像1枚の中だけで閉じた情報を使用するものである。従って、復号時には、Iピクチャ自身の情報のみで復号できる。Pピクチャ(Predictive-coded picture :順方向予測符号化画像)は、予測画像(差分をとる基準となる画像)として、時間的に前の既に復号されたIピクチャまたはPピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Bピクチャ(Bidirectionally predictive-coded picture :両方向予測符号化画像)は、予測画像(差分をとる基準となる画像)として、時間的に前の既に復号されたIピクチャまたはPピクチャ、時間的に後ろの既に復号されたIピクチャまたはPピクチャ、並びにこの両方から作られた補間画像の3種類を使用する。この3種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【0004】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Iピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Pピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Bピクチャ内には、上述した4種類の全てのタイプのマクロブロックが含まれる。
【0005】
そして、MPEGでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるGOP(Group Of Picture)構造が規定されている。GOPに関するMPEGの規則では、第1にビットストリーム上で、GOPの最初がIピクチャであること、第2に、原画像の順で、GOPの最後がIまたはPピクチャであることが規定されている。また、GOPとしては、以前のGOPの最後のIまたはPピクチャからの予測を必要とする構造も許容されている。以前のGOPの画像を使用しないで復号できるGOPは、クローズドGOPと称される。編集を重視する場合には、クローズドGOPの構造とされることが多い。
【0006】
MPEGでは、GOP単位のフレーム相関を用いてコーディングを行なっているので、MPEGビットストリームを編集する時には、制約が発生する。すなわち、GOPの切れ目と編集点を一致させれば、クローズドGOPであれば、特に問題が生じない。しかしながら、通常、一つのGOPの長さは、0.5秒程度のことが多く、編集点としては、期間が長くなりすぎる。そこで、一般的には、フレーム(ピクチャ)単位の精度で編集を行うことが好ましい。
【0007】
二つのMPEGのビデオストリームが編集点で切り換えられたストリームを考えると、フレーム単位の場合では、どのような位相で二つのストリームが接続されるかが分からない。編集点が含まれず、GOP構造が完全に保存されているGOPの場合では、編集点処理を行わないで、そのまま出力しても復号することができる。
【0008】
編集点が含まれるために、GOP構造が保存されない場合に問題が生じる。編集点より時間的に前のストリームでは、GOPの編集点から後のデータが破棄される。また、時間的に後のストリームでは、編集点から前のデータが破棄される。編集点をはさんで残った二つのストリームを復号する場合には、これらの二つのストリームを新たなGOPとして扱う。従って、新たなGOPに予測参照画像としてのIピクチャが含まれていないと、そのGOPが復号不可能となってしまう。この場合には、編集後のビットストリームの復号を可能とするために、ビットストリームをMPEG復号で一度ベースバンドに戻し、再度符号化を行なってビットストリームを得る必要がある。
【0009】
従来では、新たなGOPの先頭のピクチャのピクチャタイプをIピクチャに変更し、このIピクチャを基準としてピクチャタイプを規定するようにしていた。すなわち、編集前のGOPを復号し、先頭のピクチャタイプをIピクチャとしてピクチャタイプを再度規定して再符号化することによって、新たなGOPを形成していた。
【0010】
【発明が解決しようとする課題】
しかしながら、かかる編集点の処理方法では、スイッチングを含め編集作業のたびに、復号、符号化を繰り返すことになる。通常、ベースバンド−ビットストリーム間の復号、符号化処理は、大きな画質劣化を伴う。また、再符号化のために、動きベクトルを求めるための演算が必要とされる問題があった。
【0011】
従って、この発明の目的は、編集点の処理のために、復号処理および再符号化処理を不要とし、それによって、画質の劣化を防止でき、また、再符号化のために動きベクトルを求める演算を不要とできる編集方法および編集装置を提供することにある。
【0012】
【課題を解決するための手段】
請求項1の発明は、上述した課題を達成するために、画像間予測符号化により符号化された符号化データを編集する編集方法において、
第1および第2の符号化データを編集点で接続するような編集を行う際に、編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第1の編集方法と、
編集点付近の第1および第2の符号化データを復号し、再符号化するようにした第2の編集方法とを組み合わせ、
第1および第2の符号化データの一方に第1の編集方法を適用し、その他方に第2の編集方法を適用することを特徴とする編集方法である。
【0013】
請求項7の発明は、画像間予測符号化により符号化された符号化データを編集する編集装置において、
第1および第2の符号化データを編集点で接続するような編集を行う際に、編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第1の編集方法と、
編集点付近の第1および第2の符号化データを復号し、再符号化するようにした第2の編集方法とを組み合わせ、
第1および第2の符号化データの一方に第1の編集方法を適用し、その他方に第2の編集方法を適用することを特徴とする編集装置である。
【0015】
符号化データ例えばMPEGビットストリームでもって編集し、編集後のストリームを復号するのに必要な予測参照画像を保存する。編集後のストリームを復号する時に、保存されている予測参照画像を使用する。保存した予測参照画像は、表示されない。
【0016】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図1は、この発明の一実施形態における編集点処理方法を示すフローチャートである。最初のステップST1から編集点処理を開始する。次のステップST2では、編集により接続する2個のビットストリームで、時間的に先になるストリームの編集点(OUT点)を含むGOP(GOP1)の処理を開始する。
【0017】
ステップST3では、GOP1において、編集点がIまたはPピクチャの直後にあるかどうかが決定される。編集点がIまたはPピクチャの直後にある場合には、ステップST4において、編集点以降のビットストリームを破棄し、ステップST5において、GOP1以前の部分をそのまま出力する。すなわち、編集点より前のストリームには、予測参照画像であるIまたはPピクチャが残るので、特別な処理をしないでも、編集処理後のストリーム中のこの部分を復号することができる。
【0018】
ステップST3において、編集点がIまたはPピクチャの直後にない場合には、ステップST6において、編集点の直後のIまたはPピクチャ以外の編集点以降のピクチャを破棄する。次のステップST7において、編集点より前のピクチャと編集点直後のIまたはPピクチャを出力する。
【0019】
次に、ステップST8において、編集により接続する二つのストリームの内で、時間的に後になるストリームの編集点(IN点)を含むGOP(GOP2)の処理を開始する。ステップST9では、編集点以前のBピクチャを全て破棄する。そして、ステップST10では、編集点以前のIピクチャおよびPピクチャと、編集点以降のピクチャを出力し、編集点処理を終了する(ステップST11)。編集点以前のIピクチャおよびPピクチャは、表示しないが保存する必要のあるピクチャである。
【0020】
上述した編集点処理について、図2を参照してより具体的に説明する。図2は、時間的に前のストリームに含まれると共に、編集点が含まれるGOP1と、時間的に後のストリームに含まれると共に、編集点が含まれるGOP2とを編集点でスイッチングする例を示している。何れのストリームのGOPも、ピクチャ数N=15で、予測参照画像(IまたはPピクチャ)の現れる周期M=3である。また、図2に示すピクチャの順序は、再生画像の順序である。再生画像の順序は、原画像および復号画像の順序と一致している。
【0021】
最初にGOP1の編集点処理がなされる。編集点がIピクチャ(I22)またはPピクチャ(P25、P28、P31、P34)の直後にはないので、ステップST3を通って、ステップST6において、編集点の直後のPピクチャP28以外の編集点以降のピクチャを破棄する。そして、編集点以前のピクチャと編集点直後のPピクチャP28を出力する(ステップST7)。PピクチャP28を保存するのは、編集後のストリームに含まれるBピクチャB26およびB27をP28を予測参照画像として復号するためである。
【0022】
次に、時間的に後のGOP2(B0〜P14)の処理を開始する(ステップST8)。編集点以前のBピクチャB0、B1、B3およびB4を全て破棄する(ステップST9)。そして、編集点以前のIピクチャI2およびPピクチャP5と編集点以降のピクチャを出力し(ステップST10)、編集点の処理を終了する(ステップST11)。IピクチャI2およびPピクチャP5を保存するのは、PピクチャP5をI2を予測参照画像として復号し、復号されたP5を予測参照画像として編集後のストリームに含まれるBピクチャB6およびB7を復号するためである。
【0023】
上述した編集点処理において、保存されるIまたはPピクチャは、編集後のストリームに含まれるBピクチャを復号するために必要なものであり、編集後のストリームに対応する映像信号として表示されない。保存するためには、記録媒体上の所定の領域に保存するピクチャをまとめて記録すれば良い。
【0024】
GOP1の場合では、編集点がIまたはPピクチャの直後に存在する時では、何らピクチャを保存する必要がない。一方、編集点がIまたはPピクチャの直後に存在しない時では、一つのIまたはPピクチャを保存する必要がある。GOP2の場合では、編集点の位置によって保存する必要があるピクチャの量が異なる。編集点の位置がGOP2の後の方になると、保存するピクチャ数が徐々に増加し、最大で、P14以外の4枚のピクチャ(I2、P5、P8、P11)を保存する必要が生じる。このように、一つの編集点について最大で5個のピクチャを保存するために、例えば記録媒体上で冗長度が増加する問題が生じる。さらに、GOP当たりのデータ発生量を一定に制御することができない。
【0025】
以上の説明では、GOP1の編集点処理を行ってからGOP2の編集点処理を行うようにしているが、その順序を逆としても良い。また、GOP1の編集点処理とGOP2の編集信号処理とを並列に行うようにしても良い。
【0026】
上述したように、この発明の一実施形態では、編集後のビットストリームを復号するのに必要な予測参照画像(IまたはPピクチャ)を保存することによって、編集処理後の新たなGOPを形成するための復号処理と、復号データの再符号化処理とを不要とできる。従って、復号および再符号化によって生じる画質劣化を防止することができ、また、再符号化のために動きベクトルを演算する必要がない。
【0027】
この発明の一実施形態をより良く理解するために、若し、図2に示すような編集後のビットストリームを復号し、再符号化すると仮定した場合の処理について図3を参照して説明する。MPEGエンコーダ内の順序並び替え処理によって、編集後のビットストリームは、図3に示すように、IおよびPピクチャを先に符号化し、次に、Bピクチャを符号化するような順序に並び替えられる。
【0028】
編集点より前側のGOPでは、IピクチャI22を予測参照画像として用い、順方向予測によってPピクチャP25を符号化し、P25を予測参照画像として用い、順方向予測によってP28を符号化する。次に、I22、P25、P28を予測参照画像として用いて、BピクチャB20、B21、B23、B24、B26、B27をそれぞれ符号化する。BピクチャB23、B24、B26、B27の各ピクチャの符号化は、順方向動きベクトルFwおよび逆方向動きベクトルBkの両者使用した両方向予測符号化である。B20およびB21の各ピクチャの符号化は、逆方向動きベクトルのみを使用する。
【0029】
編集点より後側のGOPでは、保存されているI2を予測参照画像として用い、順方向予測によって、P5を符号化し、P5を予測参照画像として用い、順方向予測によって、P8を符号化する。そして、これらのI2、P5、P8を予測参照画像として用い、BピクチャB6、B7、B9、B10、B12、B13を符号化する。例えばBピクチャB6は、P5を予測参照画像として用いる順方向予測と、P8を予測参照画像として用いる逆方向予測とを組み合わせた両方向予測によって符号化される。
【0030】
なお、図2および図3の例では、編集点の前後のGOPは、クローズドGOPではないが、I2を予測参照画像とするB26、B27への逆方向ベクトルを使用しない。通常、編集点の前後では、画像の相関がないからである。また、クローズドGOPであるか否かは、この発明による編集処理に対して影響を与えるものではない。
【0031】
次に、編集処理のいくつかの形態について説明する。第1の形態は、ランダムアクセス可能な記録媒体例えば書き換え可能な光ディスク上に、既に記録されている二つのストリームを接続して再生し、恰も記録済のストリームを編集したかのようにする編集処理である。保存すべきピクチャ以外には、二つのストリームを接続したものを記録する必要はない。第2の形態は、記録媒体に記録済のストリームを再生し、この再生ストリームと外部からのストリームを接続する信号処理を行い、二つのストリームを接続したストリームを記録媒体に記録する編集処理である。第3の形態は、外部からの二つのストリームを受け取り、二つのストリームを接続したストリームを記録媒体に記録する編集処理である。これらの編集処理において、編集点付近の処理に対して上述したこの発明の一実施形態を適用することができる。
【0032】
図4は、光ディスク20に対してMPEGビットストリームを記録すると共に、光ディスク20からMPEGビットストリームを再生するディスクレコーダの一例を示す。図4において、21で示す入力端子には、ディジタル映像信号が直接供給される。22で示す入力端子には、アナログ映像信号が供給される。アナログ映像信号は、撮像信号、アンテナで受信した放送映像信号等である。アナログ映像信号は、A/D変換部23によりディジタル映像信号へ変換される。入力端子21からのディジタル映像信号およびA/D変換部23からのディジタル映像信号の一方が入力選択スイッチ24によって選択される。選択されたディジタル映像信号がMPEGエンコーダ25に供給される。
【0033】
MPEGエンコーダ25は、ディジタル映像信号に対してMPEGによる圧縮符号化を施す。MPEGエンコーダ25の出力がスイッチ回路26の一方の入力端子に供給される。スイッチ回路26の他方の入力端子には、端子27からMPEGビットストリームが供給される。MPEGエンコーダ25または外部からのビットストリームは、バスを介して統合バッファメモリ28の記録系用バッファメモリ部28aに格納される。統合バッファメモリ28は、システムコントロ−ラ37によって制御されるメモリ制御部29によりアドレスが指定され、
MPEGエンコーダ25は、動きベクトルを検出する動き予測部、ピクチャ順序並び替え部、入力映像信号とローカル復号映像信号間の予測誤差を形成する減算部、減算出力をDCT変換するDCT部、DCT部の出力を量子化する量子化部、量子化出力を可変長符号化する可変長符号化部、一定レートで符号化データを出力するバッファメモリとから構成される。ピクチャ順序並び替え部は、ピクチャの順序を符号化処理に適したものに並び替える。つまり、IおよびPピクチャを先に符号化し、その後、Bピクチャを符号化するのに適した順序にピクチャを並び替える。ローカル復号部は、逆量子化部、逆DCT部、加算部、フレームメモリおよび動き補償部で構成される。動き補償部では、順方向予測、逆方向予測、両方向予測が可能とされている。イントラ符号化の場合では、減算部は、減算処理を行わず、単にデータが通過する。
【0034】
記録系用バッファメモリ部28aに格納されたビットストリームは、バス、デ−タ処理部30および記録再生切り替えスイッチ31を介して光ディスクドライブに供給される。デ−タ処理部30は、記録信号処理部30aと再生信号処理部30bからなる。記録信号処理部30aは、エラー訂正符号化、ディジタル変調等の処理を行い、再生信号処理部30bは、エラー訂正、ディジタル変調の復調等の処理を行う。
【0035】
光ディスクドライブは、光ディスク20に記録用のレ−ザ光を照射して信号を記録すると共に、再生用のレ−ザ光を照射して信号を再生するための光ヘッド32と、光ディスク20を回転駆動するスピンドルモ−タ33とを備えている。ヘッド32とスピンドルモ−タ33は、ディスク/ヘッド制御部34により制御される。光ヘッド32によって、記録信号処理部30aの出力信号が光ディスク20に記録される。光ディスク20は、書き換え可能なもので、MO(光磁気)ディスク、相変化型ディスク等を使用できる。
【0036】
システムコントロ−ラ37は、光ディスクドライブの制御をディスク/ヘッド制御部34を介して行うと共に、光ディスクドライブの状態も管理しており、その情報をメモリ制御部29に伝え、統合バッファメモリ28からのデ−タの供給の制御を行う。
【0037】
次に、再生処理系について説明する。バスを介して統合バッファメモリ28の再生系用バッファメモリ部28bから供給される再生ビットストリームは、スイッチ回路38に供給される。スイッチ回路38は、再生ビットストリームをMPEGデコーダ39または端子40に選択的に出力する。MPEGデコーダ39は、再生ビットストリームを復号し、MPEGデコーダ39からの復号映像信号は、D/A変換部41によりアナログ映像信号に変換され、アナログ出力端子42に取り出される。また、ディジタル復号映像信号が出力されるディジタル出力端子43が設けられている。
【0038】
MPEGデコーダ39は、バッファメモリ、可変長符号復号部、逆DCT部、逆量子化部、逆量子化部の出力とローカル復号出力を加算する加算部、ピクチャ順序並び替え部並びにフレームメモリおよび動き補償部からなるローカル復号部によって構成されている。イントラ符号化の場合では、加算部での加算処理がなされず、データが加算部を通過する。加算部からの復号データがピクチャ順序並び替え部によって元の画像の順序とされる。
【0039】
再生モ−ド時、光ディスクドライブは、ディスク/ヘッド制御部34によりサ−ボ、ヘッド移動等が制御され、再生信号をデ−タ処理部30の再生信号処理部30b、バスを介して再生系用バッファメモリ部28bに出力する。再生系用バッファメモリ部28bは、再生信号の書き込みと読み出しのバランスを取りながら、再生ビットストリームをスイッチ回路38に供給する。スイッチ回路38で選択されたビットストリームは、出力端子に40に取り出されるか、または、MPEGデコーダ39によって復号される。MPEGデコーダ39からの復号映像信号は、D/A変換部41または出力端子43に出力される。D/A変換部41は、ディジタル映像信号をアナログ映像信号に変換し、出力端子42に出力する。
【0040】
なお、上述したディスクレコーダは、記録系用と再生系用の記憶領域の割り当てを可変する統合バッファメモリ28と、記録モードまたは再生モ−ドに応じて統合バッファメモリ28の記憶領域割り当て処理がシステムコントロ−ラ37により制御される。すなわち、記録系用バッファメモリ部28aと再生系用バッファメモリ部28bは、メモリ制御部29を介したシステムコントロ−ラ37の制御により、そのエリアを可変とする。例えば、記録時には、記録系用バッファメモリ部28aは、統合バッファメモリ28の全てを占める。また、再生時には、再生系用バッファメモリ部28bが全てを占める。また、同時記録再生時には、半分ずつメモリ容量を確保するようにしてもよい。
【0041】
上述したディスクレコーダと接続され、この発明による編集点処理を行うことができる編集点処理装置の一実施形態について、図5を参照して説明する。51で示す入力端子には、ディスクレコーダから再生され、出力端子40に取り出されるMPEGビットストリームが供給される。入力ストリームには、何らかの手段により予め編集点(OUT点、IN点)が設定されている。例えばビットストリーム中に編集点の位置を示す情報が挿入されている。編集点の位置情報は、ビットストリームと同期するようにされたビットストリーム以外の信号経路で伝送することも可能である。
【0042】
入力ビットストリームが編集点判定回路52に供給される。編集点判定回路52は、編集点情報とMPEGビットストリームに付随する符号化情報(ピクチャタイプ)とからGOP1中で破棄するピクチャと保存するピクチャとを決定し、ビットストリーム編集回路53に対してピクチャの破棄/保存を制御するための制御信号S10を出力する。
【0043】
編集点判定回路52に対してビットストリーム編集回路53が接続される。ビットストリーム編集回路53は、制御信号S10に応答して、保存すべきピクチャを除いて、ピクチャを破棄する。ビットストリーム編集回路53から出力端子54に対して保存すべきピクチャが取り出される。この出力ピクチャは、上述したディスクレコーダの入力端子27に供給され、記録処理を受けて光ディスク20上の所定の領域に記録される。編集形態によっては、このように保存すべきピクチャのみを記録する場合に限らず、編集後のストリームの全体を記録する場合がある。
【0044】
図5の構成は、上述した編集処理の形態の内で、例えば第1の形態、すなわち、光ディスク上に、既に記録されている二つのストリームを接続して再生し、恰も記録済のストリームを編集したかのようにする編集処理に適用される。この編集点処理の場合では、ディスクレコーダが最初に光ディスク20から時間的に先のストリーム(ST1と表記する)を再生し、ストリームST1の編集点(OUT点)の近傍のストリームを編集点処理装置の入力端子51に供給する。図1のフローチャートに示される編集点が含まれるGOP1の処理を編集点判定回路52およびビットストリーム編集回路53が行う。それによって、保存すべきピクチャ(図2の例では、P28)をビットストリーム編集回路53が出力し、保存すべきピクチャを光ディスク20上の所定領域に記録する。
【0045】
次に、ディスクレコーダが時間的に後のストリーム(ST2と表記する)を光ディスク20から再生し、ストリームST2の編集点(IN点)の近傍のストリームを編集点処理装置の入力端子51に供給する。図1のフローチャートに示される編集点が含まれるGOP2の処理を編集点処理装置が行う。それによって、保存すべきピクチャ(図2の例では、I2およびP5)をビットストリーム編集回路53が出力し、保存すべきピクチャを光ディスク20上の所定領域に記録する。
【0046】
そして、光ディスク20に記録されているリンク情報に基づいてストリームST1のOUT点まで、ピクチャP28、ピクチャI2、ピクチャP5、ストリームST2のIN点より後のストリームを順に再生する。再生されたストリームがMPEGデコーダ39(図4参照)に供給され、MPEGデコーダ39によって復号される。保存すべきピクチャP28、I2、P5をそれぞれ予測参照画像として、ストリーム中のBピクチャを復号することができる。そして、復号された映像信号中で、これらの保存すべきピクチャに対応するフレームは、表示されない。一例として、MPEGデコーダ39が出力する映像信号中から、保存すべきピクチャに対応するフレームが出力されないように、システムコントローラ37によって制御される。
【0047】
以上説明したように、この発明の一実施形態は、編集点処理が復号処理および再符号化処理を含まない。しかしながら、復号処理および再符号化処理を行う編集点処理と組み合わせる複合編集点処理も可能である。
【0048】
復号処理および再符号化処理を行う編集点処理の一例について、図6、図7および図8を参照して説明する。図6および図7は、一連の処理を作図スペース上の制約から二つのフローチャートに分割したものである。最初のステップST31から編集点処理を開始する。次のステップST32では、編集により接続する2個のビットストリームで、時間的に先になるストリームの編集点(OUT点)を含むGOP(GOP1)の処理を開始する。GOP1より前のGOPに関しては、編集点処理が不要である。
【0049】
ステップST33では、GOP1において、編集点がIピクチャよりも前にあるかどうかが決定される。編集点がIピクチャよりも前でない、すなわち、後ろであると決定されると、ステップST34において、編集点がIまたはPピクチャの直後にあるかどうかが決定される。編集点がIまたはPピクチャの直後にある場合には、ステップST35において、編集点以降のビットストリームを破棄し、ステップST36において、GOP1の残りの部分をそのまま出力する。すなわち、編集点より前のストリームには、予測参照画像であるIまたはPピクチャが残るので、特別な処理をしないでも、編集処理後のストリーム中のこの部分を復号することができる。
【0050】
ステップST34において、編集点がIまたはPピクチャの直後にない場合には、ステップST37において、GOP1を一旦復号して、ステップST38において編集点以降のピクチャを破棄し、ステップST39において、第1の再符号化処理を行う。第1の再符号化処理は、IまたはPピクチャと編集点の間にあるBピクチャをIまたはPピクチャを予測参照画像として順方向動きベクトルFwのみで再符号化する処理である。
【0051】
上述したように、Bピクチャ内には、フレーム内符号化マクロブロックと、過去から未来を予測する順方向フレーム間予測マクロブロックと、未来から過去を予測する逆方向フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとが含まれる。従って、順方向動きベクトルFwのみで再符号化する場合、順方向フレーム間予測マクロブロックおよび両方向マクロブロックの場合では、復号時に使用した動きベクトルFwを再利用できる。一方、逆方向フレーム間予測マクロブロックについては、順方向動きベクトルFwを再計算する必要がある。
【0052】
マクロブロックタイプは、マクロブロック単位の動きベクトルに基づいて検出できる。動きベクトルがないものは、フレーム内符号化マクロブロックであり、順方向動きベクトルのみがあるマクロブロックは、順方向フレーム間予測マクロブロックであり、逆方向動きベクトルのみがあるマクロブロックは、逆方向フレーム間予測マクロブロックであり、両方向の動きベクトルがあるマクロブロックは、両方向マクロブロックである。動きベクトル以外に、ストリーム中に挿入される情報から直接的にマクロブロックタイプを検出することもできる。
【0053】
ステップST33において、編集点がIピクチャより前にあると決定されると、編集点以降を破棄した時に、Iピクチャが残らない。従って、GOP1を一旦復号して、次に、編集点以降のピクチャを破棄し、そして、再符号化する。この再符号化の処理は、GOP1(GOP1が含まれるビットストリーム)がクローズドGOPか否かによって影響を受ける。この点を考慮して、ステップST40においてGOP1がクローズドGOPかどうかが決定される。ストリーム中のGOPヘッダには、符号化時に設定されたクローズドGOPフラグが挿入されているので、このフラグからクローズドGOPかどうかを決定できる。フラグがクローズドGOPであることを示している時には、そのGOPの最初の複数のBピクチャが以前のGOPに依存しない。
【0054】
GOP1がクローズドGOPであると決定されると、ステップST41において、GOP1を一旦復号して、ステップST42において編集点以降のピクチャを破棄する。そして、ステップST43において、第2の再符号化処理がなされる。第2の再符号化処理では、最初に現れるBピクチャをIピクチャとして再符号化し、そのBピクチャ以外の他のBピクチャがある場合には、そのBピクチャを予測参照画像(Iピクチャ)として、順方向動きベクトルFwのみを用いて他のBピクチャを再符号化する。順方向動きベクトルFwは、復号画像から求める。
【0055】
GOP1がクローズドGOPでない場合では、ステップST40からステップST44に処理が移る。ステップST44で、GOP1が復号され、編集点以降が破棄される(ステップST45)。そして、ステップST46において、第3の再符号化処理がなされる。つまり、クローズドGOPではないので、直前のGOPの最後のPピクチャを予測参照画像として用い、順方向動きベクトルFwのみでBピクチャを符号化する。順方向動きベクトルFwとしては、復号に使用された順方向動きベクトルを再利用できる。
【0056】
次に、ステップST47(図7)において、編集により接続する二つのストリームの内で、時間的に後になるストリームの編集点(IN点)を含むGOP(GOP2)の処理を開始する。それ以外の後のGOPに関しては、特別な処理をしないでビットストリームのまま出力する。
【0057】
ステップST48では、GOP2において、編集点がIピクチャより前にあるかどうかが決定される。編集点がIピクチャよりも前でなく、すなわち、後ろにあるならば、編集点より前のストリームを破棄した時に、Iピクチャが失われる。この点を考慮して、GOP2を一旦復号し、次に、編集点以前を破棄し、そして、再符号化を行う。また、ステップST49では、GOP1の場合と同様に、GOP2に関して、クローズドGOPか否かが決定される。クローズドGOPか否かは、再符号化の処理に影響を与える。
【0058】
クローズドGOPであると決定されると、ステップST50においてGOP2が復号され、次に、編集点以前が破棄され(ステップST51)、そして、ステップST52において、第4の再符号化処理がなされる。ステップST52の第4の再符号化処理では、最初に現れるPピクチャをIピクチャとして再符号化する。そのPピクチャと編集点の間にBピクチャがある場合は、そのPピクチャを予測参照画像として、逆方向予測のみによって、すなわち、逆方向動きベクトルBkのみで再符号化する。そのPピクチャより後は、編集作業前と同じピクチャタイプの関係でもって再符号化を行う。その結果、PピクチャをIピクチャに変更し、ステップST50の復号時に使用した符号化情報、例えば動きベクトルを用いて再符号化を行う。再符号化出力を出力して編集点処理を終了する(ステップST59)。
【0059】
ステップST49において、クローズドGOPでないと決定されると、ステップST53においてGOP2が復号され、次に、編集点以前が破棄され(ステップST54)、その次のステップST55において、直後のGOPのIピクチャ以前を復号し、そして、ステップST56において、第5の再符号化処理がなされる。
【0060】
ステップST56の第5の再符号化処理では、第4の再符号化処理と同様に、最初のPピクチャをIピクチャとして再符号化し、以降のピクチャは編集前と同じピクチャタイプで再符号化する。Bピクチャの再符号化は、第4の再符号化処理と異なる。つまり、GOP2の最後のPピクチャを直後のGOPのIピクチャから、直後のIピクチャより前にあるBピクチャを再符号化して出力する。このBピクチャの再符号化のために、ステップST23、ST25の復号時に使用した順方向動きベクトルおよび逆方向動きベクトルを使用できる。再符号化出力を出力して編集点処理を終了する(ステップST59)。
【0061】
ステップST48において、編集点がIピクチャより前にある場合には、ステップST57において、編集点より前のビットストリームを破棄する。残りのビットストリームにIピクチャが残る。そして、ステップST58において、GOP2の残りのビットストリームを出力し、編集点処理を終了する(ステップST59)。
【0062】
図6および図7に示す編集点処理について、図8を参照してより具体的に説明する。図8は、時間的に前のストリームに含まれると共に、編集点が含まれるGOP1と、時間的に後のストリームに含まれると共に、編集点が含まれるGOP2とを編集点でスイッチングする例を示している。何れのストリームのGOPも、ピクチャ数N=15で、予測参照画像(IまたはPピクチャ)の現れる周期M=3である。一例として、クローズドGOPの場合について説明するが、クローズドGOPでない場合でも、再符号化処理を除いてほぼ同様の処理がなされる。また、図8に示すピクチャの順序は、再生画像の順序である。再生画像の順序は、原画像および復号画像の順序と一致する。
【0063】
最初にGOP1の編集点処理がなされる。編集点がIピクチャ(I22)より後ろにあり、編集点がIまたはPピクチャの直後にはないので、ステップST33、ステップST34を通って、ステップST37において、GOP1が復号される。この復号に使用した符号化情報を保存する。保存する必要がある符号化情報は、ピクチャタイプ(この情報は、必ず必要)、動きベクトル、ピクチャ毎の量子化スケールである。
【0064】
そして、ステップST8において、編集点以降(PピクチャP28以降)が破棄されてから、ステップST9の第1の再符号化処理がなされる。すなわち、PピクチャP25の後のBピクチャB26およびB27を順方向動きベクトルFwのみを使用して再符号化する。順方向動きベクトルFwは、マクロブロックタイプによって、復号時に保存しているもの、または再計算して求めたものが使用される。B26およびB27以外のGOP1の残りの画像の再符号化は、ステップST7における復号時に使用した符号化情報をそのまま使用して行う。
【0065】
BピクチャB26内およびB27内には、フレーム内符号化マクロブロックと、過去から未来を予測する順方向フレーム間予測マクロブロックと、未来から過去を予測する逆方向フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとが含まれる。従って、順方向動きベクトルFwのみで再符号化する場合、順方向フレーム間予測マクロブロックおよび両方向マクロブロックの場合では、復号時に使用した動きベクトルFwを再利用できる。一方、逆方向フレーム間予測マクロブロックについては、順方向動きベクトルFwを再計算する必要がある。
【0066】
次に、時間的に後のGOP2(B0〜P14)の処理を開始する。編集点がIピクチャI2以前ではないので、編集点以前を破棄した時には、I2が失われてしまう。そこで、GOP2を復号して、編集点以前(B0〜P5)を破棄する(ステップST48、ST49、ST50、ST51)。そして、ステップST52の第4の再符号化処理がなされる。すなわち、最初のPピクチャP8をIピクチャとして、再符号化する。それ以外のピクチャは、編集前と同じピクチャタイプで再符号化する。P8の前にあるBピクチャB6およびB7は、Iピクチャに変更されるP8を予測参照画像として逆方向動きベクトルBkを求め、この逆方向動きベクトルBkのみによって再符号化する。
【0067】
BピクチャB26およびB27について説明したのと同様に、B6およびB7にそれぞれ含まれるマクロブロックの内で、逆方向フレーム間予測マクロブロックと、両方向マクロブロックとに関しては、復号時に使用した動きベクトルBkを再利用できる。一方、順方向フレーム間予測マクロブロックについては、逆方向動きベクトルBkを再計算する必要がある。
【0068】
上述した図6、図7、図8に示すような編集点処理は、編集点以降に最初に現れる参照画像の予測方式をフレーム内符号化方式に変更する以外は、編集点より時間的に前の第1のストリームと、編集点より時間的に後の第2のストリームとに関して、編集後において、予測参照画像の現れる周期を編集前のものと同一の周期とするものである。そして、このような復号処理および再符号化処理を行う編集点処理と、これらの処理を行わないこの発明の一実施形態を組み合わせる方法としては、例えば時間的に先に現れるストリーム(GOP1)は、復号処理および再符号化処理を行わない方式で処理し、時間的に後に現れるストリーム(GOP2)は、復号処理および再符号化処理を行う方式で処理するものが可能である。
【0069】
また、時間的に後に現れるGOP2内の編集点より後のピクチャ数が多い場合には、表示しないが保存するピクチャ数が少なくて済むので、復号および再符号化処理を行なわない方式で処理し、GOP2内の編集点より後のピクチャ数が少ない合には、表示しないが保存するピクチャ数が多くなるので、復号および再符号化処理を行なう方式で処理する。このように、表示しないが、保存する必要のあるピクチャ数に適応して、編集点処理方式を選択するようになされる。また、復号画像の画質を考慮して編集点処理方式を選択するようにしても良い。
【0070】
【発明の効果】
この発明に依れば、符号化データ例えばMPEGストリームを編集し、編集点処理のために、符号化データの復号、および再符号化を不要とできる。従って、復号−再符号化による画質の劣化を防止することができ、また、再符号化のために動きベクトルを求める計算を不要とできる。
【図面の簡単な説明】
【図1】この発明による編集点処理方法の一実施形態を説明するためのフローチャートである。
【図2】この発明による編集点処理方法の一実施形態を説明するためのタイミングチャートである。
【図3】この発明による編集点処理方法の理解の参考とした再符号化処理を説明するためのタイミングチャートである。
【図4】この発明を適用できるディスクレコーダの一例のブロック図である。
【図5】この発明による編集点処理装置の一実施形態のブロック図である。
【図6】この発明と組み合わせることが可能な編集点処理方法を説明するためのフローチャートである。
【図7】この発明と組み合わせることが可能な編集点処理方法を説明するためのフローチャートである。
【図8】この発明と組み合わせることが可能な編集点処理方法を説明するためのタイミングチャートである。
【符号の説明】
52・・・編集点判定回路、53・・・ビットストリーム編集回路
Claims (7)
- 画像間予測符号化により符号化された符号化データを編集する編集方法において、
第1および第2の符号化データを編集点で接続するような編集を行う際に、上記編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第1の編集方法と、
上記編集点付近の上記第1および第2の符号化データを復号し、再符号化するようにした第2の編集方法とを組み合わせ、
上記第1および第2の符号化データの一方に上記第1の編集方法を適用し、その他方に上記第2の編集方法を適用することを特徴とする編集方法。 - 請求項1において、
画像間予測符号化がMPEG方式であり、
第1および第2の符号化データが第1および第2のGOPであり、
上記予測参照画像がIまたはPピクチャであることを特徴とする編集方法。 - 請求項1において、
記録媒体に記録されている第1および第2の符号化データを接続するように、再生する形態でもって編集を行うことを特徴とする編集方法。 - 請求項1において、
記録媒体に記録されている第1の符号化データと外部からの第2の符号化データとを接続する形態でもって、編集を行うことを特徴とする編集方法。 - 請求項1において、
外部から到来する第1および第2の符号化データを接続する形態でもって、編集を行うことを特徴とする編集方法。 - 請求項1において、
上記第2の編集方法は、
上記編集点以降に最初に現れる参照画像の予測方式を画像内符号化方式に変更する以外は、編集点より時間的に前の第1の符号化データと、上記編集点より時間的に後の第2の符号化データとに関して、編集後において、予測参照画像の現れる周期を編集前のものと同一の周期とするようにした編集方法であることを特徴とする編集方法。 - 画像間予測符号化により符号化された符号化データを編集する編集装置において、
第1および第2の符号化データを編集点で接続するような編集を行う際に、上記編集点の前または後の不要な符号化データを破棄すると共に、編集後の符号化データを復号するのに必要とされる予測参照画像を保存し、編集のために復号および再符号化を行わないようにした第1の編集方法と、
上記編集点付近の上記第1および第2の符号化データを復号し、再符号化するようにした第2の編集方法とを組み合わせ、
上記第1および第2の符号化データの一方に上記第1の編集方法を適用し、その他方に上記第2の編集方法を適用することを特徴とする編集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14115198A JP3879252B2 (ja) | 1998-05-22 | 1998-05-22 | 編集方法および編集装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14115198A JP3879252B2 (ja) | 1998-05-22 | 1998-05-22 | 編集方法および編集装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11341436A JPH11341436A (ja) | 1999-12-10 |
JP3879252B2 true JP3879252B2 (ja) | 2007-02-07 |
Family
ID=15285334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14115198A Expired - Fee Related JP3879252B2 (ja) | 1998-05-22 | 1998-05-22 | 編集方法および編集装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3879252B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100484248C (zh) | 2001-10-17 | 2009-04-29 | 松下电器产业株式会社 | 动态图像编码方法 |
JP4435733B2 (ja) * | 2003-04-23 | 2010-03-24 | パナソニック株式会社 | データ処理装置 |
JP2005005916A (ja) * | 2003-06-11 | 2005-01-06 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP4241839B2 (ja) | 2007-02-02 | 2009-03-18 | ソニー株式会社 | データ及びファイルシステム情報の記録装置及び記録方法 |
WO2016026526A2 (en) * | 2014-08-20 | 2016-02-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Video composition |
-
1998
- 1998-05-22 JP JP14115198A patent/JP3879252B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11341436A (ja) | 1999-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3019912B2 (ja) | 画像データ編集装置 | |
JPH11341435A (ja) | 編集方法および編集装置 | |
US5991502A (en) | Optical recording device which calculates distances between I-frames and records I-frame addresses in a sector | |
JP3493872B2 (ja) | 画像データ処理方法およびその装置 | |
JP4005691B2 (ja) | 動画像符号化方法および動画像符号化装置 | |
JP4337248B2 (ja) | 画像情報の伝送装置、伝送システムおよび伝送方法 | |
JP3879252B2 (ja) | 編集方法および編集装置 | |
JP3496604B2 (ja) | 圧縮画像データ再生装置および圧縮画像データ再生方法 | |
JP3356004B2 (ja) | 可変レート符号化装置及び方法 | |
JP3253530B2 (ja) | 動画像記録装置 | |
JPH11289541A (ja) | 動画像符号化方法、動画像符号化装置及び記録媒体 | |
JP3487205B2 (ja) | 画像データ編集装置 | |
JP3258673B2 (ja) | 動画像記録装置および動画像再生装置 | |
JP2000358219A (ja) | 記録装置 | |
JPH11252566A (ja) | 画像信号復号方法および復号装置、画像信号符号化方法および符号化装置、画像信号処理方法および処理システム | |
JPH0918830A (ja) | 映像編集装置 | |
JPH08140047A (ja) | 画像データ記録装置 | |
JPH0888854A (ja) | 動画像符号化方式 | |
JP2000023099A (ja) | 映像信号記録再生装置、映像信号記録再生方法、映像信号再生装置、映像信号再生方法および記録媒体 | |
JP3384563B2 (ja) | 光ディスク、再生装置および再生方法 | |
JP2010154502A (ja) | 画像編集装置および画像編集方法 | |
JP4284830B2 (ja) | 動画像編集復号化装置及びその方法 | |
JP3384562B2 (ja) | 記録装置および記録方法 | |
JPH0898142A (ja) | 画像再生装置 | |
JP3370660B1 (ja) | 記録装置および記録方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050223 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061030 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |