JP2010130516A - 画像編集装置および画像編集方法 - Google Patents
画像編集装置および画像編集方法 Download PDFInfo
- Publication number
- JP2010130516A JP2010130516A JP2008304878A JP2008304878A JP2010130516A JP 2010130516 A JP2010130516 A JP 2010130516A JP 2008304878 A JP2008304878 A JP 2008304878A JP 2008304878 A JP2008304878 A JP 2008304878A JP 2010130516 A JP2010130516 A JP 2010130516A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- effect
- encoded stream
- encoded
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
【課題】 エフェクト部分の画質が高く、また、エフェクトの前後部分の画質劣化が少なく、レンダリング部分との切り替わり点で画質の差が少ないスマートレンダリング処理を高速に行う。
【解決手段】 制御部40により、編集点を含む第1の符号化ストリームのGOPの開始点から第2の符号化ストリームのGOPの終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト区間を設定して、復号処理部10、切換処理部20及び再エンコード処理部30の動作を制御する。上記編集区間の上記2つの符号化ストリームを上記復号処理部10により復号し、上記切換処理部20により上記2つの符号化ストリームの非圧縮画像データと上記エフェクト区間のエフェクト処理済非圧縮画像データを繋いで上記再エンコード処理部30により再エンコードして、上記2つの符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第3の符号化ストリームの2つのオープンGOPの圧縮符号化データを生成する。
【選択図】 図1
【解決手段】 制御部40により、編集点を含む第1の符号化ストリームのGOPの開始点から第2の符号化ストリームのGOPの終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト区間を設定して、復号処理部10、切換処理部20及び再エンコード処理部30の動作を制御する。上記編集区間の上記2つの符号化ストリームを上記復号処理部10により復号し、上記切換処理部20により上記2つの符号化ストリームの非圧縮画像データと上記エフェクト区間のエフェクト処理済非圧縮画像データを繋いで上記再エンコード処理部30により再エンコードして、上記2つの符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第3の符号化ストリームの2つのオープンGOPの圧縮符号化データを生成する。
【選択図】 図1
Description
本発明は、圧縮符号化された符号化ストリーム、例えば、MPEGで符号化された画像信号を編集するのに適用される画像編集装置および画像編集方法に関する。
近年、画像間圧縮符号化方式の一つであるMPEG(Moving Picture Experts Group)が広く実用化されつつある。MPEGのような圧縮符号化を利用することによって、記録媒体を有効活用することができる。MPEGにより符号化された画像信号を編集する場合、復号された画像信号と、外部からの画像信号をつなげて、再びMPEGで符号化し、ストリームを記録媒体に記録するような編集システムが構成できる。さらに、他の記録媒体に記録されているビデオ信号をレコーダにより記録するダビングの場合でも、他の記録媒体の再生信号が復号され、再符号化される。
MPEGなどに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。
MPEGの場合では、ピクチャタイプとして、I、P、Bの3種類が存在する。Iピクチャ(Intra-coded picture:イントラ符号化画像)は、符号化されるときその画像1枚の中だけで閉じた情報を使用するものである。従って、復号時には、Iピクチャ自身の情報のみで復号できる。Pピクチャ(Predictive-coded picture:順方向予測符号化画像)は、予測画像、すなわち、差分をとる基準となる画像として、時間的に前の既に復号されたIピクチャまたはPピクチャを使用するものである。
動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Bピクチャ(Bidirectionally predictive-coded picture:両方向予測符号化画像)は、予測画像、すなわち、差分をとる基準となる画像として、時間的に前の既に復号されたIピクチャまたはPピクチャ、時間的に後ろの既に復号されたIピクチャまたはPピクチャ、並びにこの両方から作られた補間画像の3種類を使用する。この3種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
従って、マクロブロックタイプとしては、フレーム内符号化(Intra)マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Iピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Pピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Bピクチャ内には、上述した4種類の全てのタイプのマクロブロックが含まれる。
そして、MPEGでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるピクチャ群としてGOP(Group Of Picture)構造が規定されている。GOPに関するMPEGの規則では、第1にビットストリーム上で、GOPの最初がIピクチャであること、第2に、原画像の順で、GOPの最後がIまたはPピクチャであることが規定されている。また、GOPとしては、以前のGOPの最後のIまたはPピクチャからの予測を必要とする構造も許容されている。以前のGOPの画像を使用しないで復号できるGOPは、クローズドGOPと称される。GOP内のみで画像を参照し、GOP内で完全にデコードが可能な、GOPで閉じた構造を持つクローズドGOPに対し、クローズドGOP構造ではないGOP構造、すなわち、GOPをまたいで画像を参照する構造のGOPは、オープンGOPと称される。
また、MPEGにおいて、双方向のフレーム間予測を用いた圧縮符号化方式は、ロングGOP方式の圧縮と呼ばれる。PピクチャやBピクチャは、データ量がIピクチャに比べて小さいため、GOPを長くすれば、すなわち、ロングGOPを構成するピクチャ数を増加させれば、映像の圧縮率を高くすることができる。したがって、デジタル放送やDVD(Digital Versatile Disk)ビデオでの利用に適している。
しかしながら、二つのMPEGのビデオストリームが編集点で切り換えられたストリームを考えると、フレーム単位の場合では、どのような位相で二つのストリームが接続されるかが分からない。編集点が含まれず、GOP構造が完全に保存されているGOPの場合では、編集点処理を行わないで、そのまま出力しても復号することができる。
編集点が含まれるために、GOP構造が保存されない場合には、編集点より時間的に前のストリームでは、GOPの編集点から後のデータが破棄される。また、時間的に後のストリームでは、編集点から前のデータが破棄される。編集点をはさんで残った二つのストリームを復号する場合には、これらの二つのストリームを新たなGOPとして扱う。従って、新たなGOPに予測参照画像としてのIピクチャが含まれていないと、そのGOPが復号不可能となってしまう。この場合には、編集後のビットストリームの復号を可能とするために、ビットストリームをMPEG復号で一度ベースバンドに戻し、再度符号化を行なってビットストリームを得る必要がある。
そこで、従来から、編集点付近の必要最小区間のみをデコードし再エンコードする手法が知られている。すなわち、削除や結合を行う部分のGOPおよび当該GOPが変化することにより影響を受けるGOPのみをデコードおよび再エンコードし、それ以外のGOPについては、GOP単位でコピーを行う。この編集点付近の必要最小区間のみをデコードし再エンコードする手法の代表的な例としては、スマートレンダリングと呼ばれる手法が一般的に知られている(例えば、特許文献1、2参照)。
従来の一般的なスマートレンダリングを図7に示す。すなわち、2つの符号化ストリーム(Stream 1),(Stream2)にエフェクト(Effect)をかけて繋ぐ場合、エフェクト部分を再エンコードし、エフェクトのない部分は単純にコピーを行っていた。
具体的な例として、2つの符号化ストリーム(Stream 1),(Stream 2)にディゾルブやワイプなどのトランジションエフェクト(Transition Effect)をかけて繋ぐ場合を図8に示す。この例の場合、第1の符号化ストリーム(Stream 1)のBピクチャ(B6)は 参照画となるPピクチャ(P8)がエフェクトにより失われデコードできなくなる。そこで、スマートレンダリングでは、このBピクチャ(B6)から再エンコードを行い、同様に第2の符号化ストリーム(Stream 2)の Bピクチャ(B10)からPピクチャ(P14)も参照画が失われるため再エンコードの対象になる。
この第1の符号化ストリーム(Stream 1)のBピクチャ(B6)から第2の符号化ストリーム(Stream 2)のPピクチャ(P14)までを 単純に再エンコードし、エフェクトのない部分は単純にコピーを行っていた。
このような従来のスマートレンダリングでは、先頭部分はクローズドGOPとしてエンコードされるので、画質の劣化が大きくなる。
また 新しくBピクチャ(B0)となるピクチャは、エフェクトがかかってなく画の変化がないにもかかわらず、エフェクトのかかっているIピクチャ(I2)を参照画としてしまうため、画質劣化が大きくなる。
同様に後部についても新たにBピクチャ(B7)からPピクチャ(P11)となる部分も 画に変化がないにもかかわらずエフェクトのかかった部分を参照するため画質劣化が大きくなる。
特開平11−34136号公報
特開2004−104361号公報
上述の如き従来のスマートレンダリングでは、必要最低限な部分、すなわち、編集により参照画とすべきピクチャがなくなりデコード不可能となるエフェクト部分のみ再エンコードしていたので、レンダリング部分の画質劣化が大きいという問題があった。すなわち、参照画がなくなったため再エンコードする部分は、画像に変化が無いにも拘わらず単純に再エンコード処理が行われるため、画質劣化が大きく、再生時に、レンダリング部分との切り替わり点で画質の差が目立つ場合がある。
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、エフェクト部分の画質が高く、また、エフェクトの前後部分の画質劣化が少なく、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を高速に行うことができる画像編集装置および画像編集方法を提供することにある。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
本発明では、トランジションエフェクト(Transition Effect)などを使った編集箇所では、エフェクトのかかった部分とその前後のエフェクトのかかっていない部分の画像には通常関連性があるという性質を利用し、エフェクトのかかっていない部分の画像をエフェクトのかかっている部分の参照画として利用する。
すなわち、本発明は、画像編集装置であって、圧縮符号化された第1の符号化ストリームと第2の圧縮符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、上記第1の符号化ストリームを復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第2の符号化ストリームを復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第1の符号化ストリームを復号して得られる上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第2の符号化ストリームを復号して得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部と、上記切換処理部により繋がれた上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、これら各部の動作を制御する制御部とを備え、上記制御部は、第1の符号化ストリームの編集点を含むGOPの開始点のフレームから第2の符号化ストリームの上記編集点を含むGOPの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定し、上記制御部により設定された上記編集区間の第1の符号化ストリームと第2の符号化ストリームを上記復号処理部により復号し、上記切換処理部により上記第1の符号化ストリームの非圧縮画像データと上記制御部により設定された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データを繋いで、上記再エンコード処理部により再エンコードして、上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第3の符号化ストリームの2つのオープンGOPの圧縮符号化データを生成することを特徴とする。
また、本発明は、画像編集方法であって、 第1の符号化ストリームと第2の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第1の符号化ストリームの上記編集点を含むGOPの開始点から上記第2の符号化ストリームの上記編集点を含むGOPと終了点までを編集区間として設定するとともに、上記編集区間内に上記エフェクト処理部によるエフェクト処理の開始点と終了点を指定してエフェクト区間を設定し、上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行い、上記復号処理により得られる上記編集点を含むエフェクト区間の上記第1の符号化ストリームの非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第1の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第2の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行い、上記切換処理により繋がれた上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データについて、上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の2フレーム前までは上記復号処理により得られた上記第1の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の1フレームの上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のPピクチャのフレームまでの上記第2の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のPピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第2の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを上記編集点でエフェクト処理を施して繋いだ2つのオープンGOPの圧縮符号化データを生成する再エンコード処理を行うことを特徴とする。
本発明では、スマートレンダリングの処理において、レンダリングを必要とする範囲だけでなく、その前後のGOP区切りにまでレンダリング範囲を拡張し、本来 レンダリングの必要がない部分については、元素材の持つパラメータ(動きベクトル,ピクチャタイプなど)を再利用して再エンコードするので、高速に再エンコードすることができる。また、本発明では、レンダリングが必要な部分については、前後のレンダリング不要な部分を参照画として使用してエンコードを行うので、エフェクト部分の画質が高く、また、エフェクトのイン点、アウト点付近が連続したGOPとしてエンコード処理されるため、切り替わり点での画質の差が少なく、エフェクトの前後部分の画質劣化が少ないレンダリング処理を行うことができる。さらに、本発明では、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を行うことができる。すなわち、本来レンダリングの必要がなかった部分については再エンコードが行われるが、元素材の持つパラメータを再利用するため画質の劣化が軽微であり、エンコード処理のうち負荷の重い動き検出などが省略されるため高速に処理を行うことができる。
したがって、本発明によれば、エフェクト部分の画質が高く、また、エフェクトの前後部分の画質劣化が少なく、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を高速に行うことができる画像編集装置および画像編集方法を提供することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
[画像編集装置の構成]
本発明は、例えば図1に示すような構成の画像編集装置100に適用される。
本発明は、例えば図1に示すような構成の画像編集装置100に適用される。
この画像編集装置100は、圧縮符号化された二つの符号化ストリーム、例えば、二つのMPEGのビデオストリーム(Stream A),(Stream B)を編集点で切り換えて繋ぐ際に、再エンコードを部分的に行うスマートレンダリング編集装置である。この画像編集装置100は、復号処理部10、切換処理部20、再エンコード処理部30と、これら動作を制御する制御部40などからなる。
上記復号処理部10は、編集区間の符号化ストリームを復号するものであって、第1の符号化ストリーム(Stream A)が入力される第1のデコーダ11と、第2の符号化ストリーム(Stream B)が入力される第2のデコーダ12からなる。
上記第1のデコーダ11は、入力された第1の符号化ストリーム(Stream A)について編集区間の復号処理を行うもので、その動作が上記制御部40により制御される。この第1のデコーダ11は、上記第1の符号化ストリーム(Stream A)を復号して得られる編集区間の第1の復号出力S1としてフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)を上記切換処理部20に供給する。
また、上記第2のデコーダ12は、入力された第2の符号化ストリーム(Stream B)について編集区間の復号処理を行うもので、その動作が上記制御部40により制御される。この第2のデコーダ12は、上記第2の符号化ストリーム(Stream B)を復号する。そして、編集区間の第2の復号出力S2としてフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)を上記切換処理部20に供給する。
すなわち、上記復号処理部10は、上記第1の符号化ストリーム(Stream A)を復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第1の復号出力S1として出力する第1のデコーダ11と、上記第2の符号化ストリーム(Stream B)を復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第2の復号出力S2として出力する第2のデコーダ12からなる。
上記切換処理部20は、上記復号出力S1と上記復号出力S2を繋ぎ部分で切り換えて再エンコード処理部30に供給するものであって、第1のパラメータ付加部21、第2のパラメータ付加部22、エフェクト処理部23、切換スイッチ部24からなる。
上記第1のパラメータ付加部21には、上記第1のデコーダ11による上記第1の復号出力S1として復号して得られたフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)が入力される。この第1のパラメータ付加部21は、上記第1のストリーム(Stream A)を復号して得られたフレーム単位の非圧縮画像データに、その符号化パラメータ(動きベクトルやピクチャタイプなど)を付加する。これにより、第1の符号化パラメータ付き非圧縮画像データを生成する。
また、上記第2のパラメータ付加部22には、上記第2のデコーダ12による上記第2の復号出力S2として得られたフレーム単位の非圧縮画像データとその符号化パラメータ(動きベクトルやピクチャタイプなど)が入力される。この第2のパラメータ付加部22は、上記第2のストリーム(Stream B)の繋ぎ部分を復号して得られたフレーム単位の非圧縮画像データに、その符号化パラメータ(動きベクトルやピクチャタイプなど)を付加する。これにより、第2の符号化パラメータ付き非圧縮画像データを生成する。
さらに、上記エフェクト処理部23には、上記第1のデコーダ11による上記第1の復号出力S2として得られたフレーム単位の非圧縮画像データと上記第2のデコーダ12により上記第2の復号出力S2として得られたフレーム単位の非圧縮画像データが入力される。このエフェクト処理部23は、二つの符号化ストリーム(Stream A),(Stream B)の繋ぎ部分にエフェクト処理を施すものである。上記第1の符号化ストリーム(Stream A)を復号して得られた非圧縮画像データと上記第2の符号化ストリーム(Stream B)を復号して得られた非圧縮画像データからエフェクト処理済非圧縮画像データを生成する。このエフェクト処理部23では、二つの符号化ストリーム(Stream A),(Stream B)の繋ぎ部分にディゾルブやワイプなどのトランジションエフェクト(Transition Effect)をかけるエフェクト処理を施す。
そして、上記切換スイッチ部24は、その動作が上記制御部40により制御され、上記第1の符号化パラメータ付き非圧縮画像データとエフェクト処理済非圧縮画像データと第2の符号化パラメータ付き非圧縮画像データを順次切り換えて、上記再エンコード処理部30に供給する。
上記再エンコード処理部30は、第1の符号化ストリーム(Stream A)と第2の符号化ストリーム(Stream B)の繋ぎ部分の再エンコード処理を行い、二つの符号化ストリーム(Stream A),(Stream B)を繋いだ第3の符号化ストリーム(Stream C)を出力するものである。この再エンコード処理部30は、エンコード部31と切換スイッチ部32からなる。
上記エンコード部31は、その動作が上記制御部40により制御され、上記切換処理部20から上記切換スイッチ部24を介して供給される編集区間の非圧縮画像データに再エンコード処理を施す。これにより、上記第1の符号化ストリーム(Stream A)と第2の符号化ストリーム(Stream B)の繋ぎ部分を圧縮符号化した2つのオープンGOPの圧縮符号化データを生成する。
すなわち、上記エンコード部31は、上記切換処理部20により繋がれた上記第1の符号化パラメータ付き非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化パラメータ付き非圧縮画像データから上記編集区間の上記第1の符号化ストリーム(Stream A)と第2の符号化ストリーム(Stream B)を上記編集点でエフェクト処理を施して繋いだ2つのオープンGOPの圧縮符号化データを生成する。
そして、上記切換スイッチ部32は、その動作が上記制御部40により制御され、上記第1の符号化ストリーム(Stream A)と、上記エンコード部31により再エンコード処理が施されて生成された繋ぎ部分の圧縮符号化データと、上記第2の符号化ストリーム(Stream B)を順次切り換える。これにより、上記二つの符号化ストリーム(Stream A),(Stream B)を繋いだ第3の符号化ストリーム(Stream C)を出力する。
上記制御部40は、上記第1の符号化ストリーム(Stream A)の編集点を含むGOPの開始点のフレームから上記第2の符号化ストリーム(Stream B)の上記編集点を含むGOPの終了点のフレームまでを編集区間として設定する。そして、上記編集区間内に上記切換処理部20におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定して、上記復号処理部10、切換処理部20及び再エンコード処理部30の動作を制御する。
[スマートレンダリング動作]
この画像編集装置100では、パラメータエンコード機能を使用したスマートレンダリングを行う。
この画像編集装置100では、パラメータエンコード機能を使用したスマートレンダリングを行う。
ここで、パラメータエンコードの概念を図2に示す。パラメータエンコードは、入力ストリームAを再エンコードして出力ストリームBを場合に、例えばビットレート変換 やスマートレンダリングなどで、元素材のビットストリームが持つパラメータの状態を基本的に維持したままエンコードを行う機能である。
具体的は、通常の再エンコードでは単純にデコードしエンコードするだけであるが、パラメータエンコードでは、デコーダ110により入力ストリームAをデコードするときに、入力ストリームAのデコード画情報Cとともに 動きベクトル情報などのパラメータDを取り出し、エンコーダ120による再エンコードして出力ストリームBを生成ときに再利用する。これにより 画質の世代劣化が抑えられ、動き検出が不要になるなど高速に処理が行われる。
この画像編集装置100では、例えば、図3の(A),(B)に示すように、2つの符号化ストリーム(Stream A),(Stream B)にトランジションエフェクトをかけて繋ぐ場合に、このエフェクト部分を含むGOPの始まりから、このGOPの終了までを編集区間としてパラメータエンコード機能を使用したスマートレンダリング処理を行う。
すなわち、上記復号処理部10の第1のデコーダ11は、第1の符号化ストリーム(Stream A)のBピクチャ(B0)からPピクチャ(P14)までを復号して第1の復号出力S1を得る。また、第2のデコーダ12は、第2の符号化ストリーム(Stream B)のBピクチャ(B0)からPピクチャ(P14)までを復号して第2の復号出力S2を得る。
そして、上記復号処理部10により得られる第1の復号出力S1と第2の復号出力S2について、上記切換処理部20において、エフェクト処理部23により繋ぎ部分にエフェクト処理を施す。これにより、エフェクト処理を施したエフェクト区間を介して第1の復号出力S1と第2の復号出力S2を繋ぐ。この切換処理部20により、2つの符号化ストリーム(Stream A),(Stream B)を編集点で繋いだ非圧縮画像データを得る。上記切換処理部20に得られる非圧縮画像データは、図4の(A)に示すような非圧縮フレームの並びになる。
上記再エンコード処理部30では、この非圧縮画像データをエンコードするわけであるが、エフェクト区間は当然パラメータの再利用はできないので、上記エフェクト処理部23は上記再エンコード処理部30に無効を表すパラメータを渡す。
また、上記切換処理部20に得られる非圧縮画像データのピクチャ(B6)については 、エフェクトがかかっていないが、参照画となるPピクチャ(P8)が エフェクトにより変化しているので、パラメータは再利用できない。そこで、上記エフェクト処理部23は、上記Bピクチャ(B6)については 、元はBピクチャであったということを示すパラメータだけを上記再エンコード処理部30に渡す。
上記切換処理部20により得られる非圧縮画像データは、Bピクチャ(B0)からPピクチャ(P5)まではエフェクトがかかっていない。そこで、上記再エンコード処理部30のエンコード部31では、上記第1のパラメータ付加部21により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、Bピクチャ(B0)からPピクチャ(P5)までを圧縮符号化する。
このように符号化パラメータを再利用することにより、Bピクチャ(B0)からPピクチャ(P5)までを劣化が少なくしかも高速で圧縮符号化することができる。
また、上記エフェクト処理部23によりエフェクト処理が施されるBピクチャ(B7)からBピクチャ(B12)までのエフェクト区間については、編集前のフレームを参照画として使え、上記再エンコード処理部30のエンコード部31では、連続したGOP構造として圧縮符号化される。これにより高画質が期待できる。
さらに、エフェクト区間後のBピクチャ(B10)からPピクチャ(P14)までについては、エフェクトがかかっていない。そこで、上記再エンコード処理部30のエンコード部31では、上記第2のパラメータ付加部22により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、Bピクチャ(B10)からPピクチャ(P14)までを圧縮符号化する。この際、エフェクトによる変化が後ろの画に影響を及ぼさないように、上記再エンコード処理部30のエンコード部31は、最初のPピクチャ(P11)を強制的にIピクチャ(I11)に変更する。
そして、上記再エンコード処理部30の切換スイッチ部32は、編集区間の前は第1の符号化ストリーム(Stream A)を選択しており、編集区間は上記エンコード部31により再エンコードされた圧縮符号化データを選択し、上記編集区間の後は第2の符号化ストリーム(Stream B)を選択することにより、図4の(B)に示すように圧縮フレームが並んだ第3の符号化ストリーム(Stream C)を出力する。
[スマートレンダリングの処理手順]
この画像編集装置100では、例えば、図5のフローチャートに示す手順に従って、制御部40が上記復号処理部10,切換処理部20及び再エンコード処理部30の動作を制御して、上記パラメータエンコード機能を使用したスマートレンダリングを行う。
この画像編集装置100では、例えば、図5のフローチャートに示す手順に従って、制御部40が上記復号処理部10,切換処理部20及び再エンコード処理部30の動作を制御して、上記パラメータエンコード機能を使用したスマートレンダリングを行う。
すなわち、この画像編集装置100において、上記制御部40は、先ず、ユーザにより操作される図示しない操作部の操作入力を受け付けて、レンダリング範囲を決定する(ステップS1)。
このステップS1では、上記図3及び図4に示した2つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記制御部40は、2つの符号化ストリーム(Stream A),(Stream B)を繋ぐ編集点を指定する操作入力を受け付けて、上記第1の符号化ストリーム(Stream A)の上記編集点を含むGOPの開始点から上記第2の符号化ストリーム(Stream B)の上記編集点を含むGOPと終了点までを編集区間として設定する。また、上記編集区間内に上記エフェクト処理部23によるエフェクト処理の開始点すなわちイン点から終了点すなわちアウト点までをエフェクト区間として設定する。
次に、上記制御部40は、上記ステップS1で決定したレンダリング範囲でレンダリング処理を行った場合のエフェクトによる画像の変化が大きいか否かを判定する(ステップS2)。
そして、上記制御部40は、上記ステップS2の判定処理における判定結果がNO、すなわち、エフェクトによる画像の変化が小さい場合には、ステップS3に進む。このステップS3では、パラメータエンコード機能を使用したスマートレンダリングを行うように、上記復号処理部10,切換処理部20及び再エンコード処理部30の動作を制御する。
ステップS3では、上記制御部40は、処理しているフレームが上記ステップS1で決定されたレンダリング範囲におけるエフェクト処理のイン点に到達したか否かを判定する。このステップS3における判定結果がNO、すなわち、イン点に到達していない場合には、ステップS4の処理に進み、また、判定結果がYES、すなわち、イン点に到達した場合には、ステップS8の処理に進む。
ステップS4では、上記復号処理部10の第1のデコーダ11により第1の符号化ストリーム(Stream A)について1フレームを復号して、第1の復号出力S1として上記1フレームの非圧縮画像データとその(動きベクトルやピクチャタイプなど)を得る。
ステップS4では、上記復号処理部10の第1のデコーダ11により第1の符号化ストリーム(Stream A)について1フレームを復号して、第1の復号出力S1として上記1フレームの非圧縮画像データとその(動きベクトルやピクチャタイプなど)を得る。
次のステップS5では、上記第1のデコーダ11により復号した第1の符号化ストリーム(Stream A)の1フレームは、参照画が有効であるか否かを判定する。このステップS5における判定結果がYES、すなわち、参照画が有効である場合には、ステップS6の処理に進み、また、判定結果がNO、すなわち、参照画が有効でない場合には、ステップS7の処理に進む。
ステップS6では、上記第1のパラメータ付加部21により、上記第1のデコーダ11による第1の復号出力S1として得られた上記第1の符号化ストリーム(Stream A)の1フレームの非圧縮画像データにその(動きベクトルやピクチャタイプなど)を付加する。
次のステップS7では、上記第1のデコーダ11により復号した第1の符号化ストリーム(Stream A)の1フレームの非圧縮画像データを上記再エンコード処理部30によりエンコードして圧縮符号化データを生成する。
上記制御部40は、処理しているフレームが上記ステップS1で決定されたレンダリング範囲におけるエフェクト処理のイン点に達するまで、上記ステップS3からステップS7の処理を繰り返し行う。
ここで、上記図3及び図4に示した2つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップS3からステップS7の処理を繰り返し行うことにより、エフェクト区間よりも前のBピクチャ(B0)からPピクチャ(P5)までを再エンコードして圧縮符号化する。
すなわち、上記エフェクト区間よりも前のBピクチャ(B0)からPピクチャ(P5)までを上記第1のデコーダ11により復号する。そして、上記エンコード部31により、符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、上記Bピクチャ(B0)からPピクチャ(P5)までを圧縮符号化する。
なお、上記切換処理部20に得られる非圧縮画像データのピクチャ(B6)については 、エフェクトがかかっていないが、参照画となるPピクチャ(P8)が エフェクトにより変化しており、パラメータは再利用できない。そこで、上記エフェクト処理部23は、元はBピクチャであったということを示すパラメータだけを上記再エンコード処理部30に渡す。
そして、上記ステップS3における判定結果がYES、すなわち、イン点に到達した場合にステップS8の処理に進んで、処理しているフレームが上記ステップS1で決定されたレンダリング範囲におけるアウト点に到達したか否かを判定する。このステップS8における判定結果がNO、すなわち、アウト点に到達していない場合には、ステップS9の処理に進み、また、判定結果がYES、すなわち、アウト点に到達した場合には、ステップS12の処理に進む。
ステップS9では、上記復号処理部10の第1及び第2のデコーダ11,12により2つの符号化ストリーム(Stream A),(Stream B)ついてそれぞれ1フレームを復号する。
次のステップS10では、上記第1及び第2のデコーダ11,12により復号した2つの符号化ストリーム(Stream A),(Stream B)の各1フレームの非圧縮画像データを用いて上記エフェクト処理部23によりエフェクト処理を行い、1フレームのエフェクト処理済非圧縮画像データを生成する。
次のステップS11では、上記エフェクト処理部23により生成した1フレームのエフェクト処理済非圧縮画像データを上記再エンコード処理部30によりエンコードして圧縮符号化データを生成する。
上記制御部40は、処理しているフレームが上記ステップS1で決定されたレンダリング範囲におけるアウト点に達するまで、上記ステップS8からステップS11の処理を繰り返し行う。
すなわち、上記図3及び図4に示した2つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップS8からステップS11の処理を繰り返し行うことにより、エフェクト区間のBピクチャ(B7)からBピクチャ(B12)までの各フレームのエフェクト処理済非圧縮画像データを上記エフェクト処理部23により生成して上記再エンコード処理部30によりエンコードして圧縮符号化データを生成する。
そして、上記ステップS8における判定結果がYES、すなわち、アウト点に到達した場合にステップS12の処理に進んで、処理しているフレームがPピクチャであるか否かを判定する。このステップS12における判定結果がNO、すなわち、Pピクチャでない場合には、ステップS13の処理に進み、また、判定結果がYES、すなわち、Pピクチャである場合には、ステップS15の処理に進む。
ステップS13では、上記復号処理部10の第2のデコーダ12により第2の符号化ストリーム(Stream B)について1フレームを復号する。
次のステップS14では、上記第2のデコーダ12により復号した第2の符号化ストリーム(Stream B)の非圧縮画像データを上記再エンコード処理部30によりエンコードして圧縮符号化データを生成する。
上記制御部40は、処理しているフレームがPピクチャになるまで、上記ステップS12からステップS14の処理を繰り返し行う。
そして、上記ステップS12における判定結果がYES、すなわち、処理しているフレームが上記ステップS1で決定されたレンダリング範囲におけるエフェクト処理のアウト点後の最初のPピクチャになると、ステップS15に進む。
ステップS15では、上記復号処理部10の第2のデコーダ12により第2の符号化ストリーム(Stream B)について次の1フレームを復号する。
次のステップS16では、上記ステップS15において上記第2のデコーダ12により復号した第2の符号化ストリーム(Stream B)の1フレームの非圧縮符号化データをIピクチャとしてエンコードするようにパラメータを設定する。
次のステップS17では、上記ステップS15において上記第2のデコーダ12に復号した第2の符号化ストリーム(Stream B)の1フレームの非圧縮符号化データを上記再エンコード処理部30によりIピクチャとしてエンコードして圧縮符号化データを生成する。
次のステップS18では、処理しているフレームが上記ステップS1で決定されたレンダリング範囲にあるか否かを判定する。このステップS18における判定結果がYES、すなわち、レンダリング範囲にある場合にはステップS19の処理に進み、判定結果がNO、すなわち、レンダリング範囲でなくなるとレンダリング処理を終了する。
ステップS19では、上記復号処理部10の第2のデコーダ12により第2の符号化ストリーム(Stream B)について次の1フレームを復号する。
次のステップS20では、上記第2のパラメータ付加部22により、上記第2のデコーダ12による第2の復号出力S2として得られた上記第2の符号化ストリーム(Stream B)の1フレームの非圧縮画像データにその(動きベクトルやピクチャタイプなど)を付加する。
次のステップS21では、上記第2のデコーダ12により復号した第2の符号化ストリーム(Stream B)の1フレームの非圧縮画像データを上記再エンコード処理部30によりエンコードして圧縮符号化データを生成する。
上記制御部40は、処理しているフレームが上記ステップS1で決定されたレンダリング範囲でなくなるまで、上記ステップS18からステップS21の処理を繰り返し行い、レンダリング範囲でなくなるとレンダリング処理を終了する。
すなわち、上記図3及び図4に示した2つの符号化ストリーム(Stream A),(Stream B)をトランジションエフェクトをかけて繋ぐ場合に対応させると、上記ステップS12からステップS21の処理により、エフェクト区間よりも後のBピクチャ(B10)からPピクチャ(P14)までを上記第2のデコーダ12により復号する。そして、上記第2のパラメータ付加部22により非圧縮画像データに付加された符号化パラメータ(動きベクトルやピクチャタイプなど)を再利用して、上記再エンコード処理部30によりBピクチャ(B10)からPピクチャ(P14)までをエンコードして圧縮符号化する。この際、エフェクトによる変化が後ろの画に影響を及ぼさないように、上記ステップS12の判定処理により最初のPピクチャ(P11)を検出して、上記ステップS15からステップS17の処理により強制的にIピクチャ(I11)としてエンコードしている。
すなわち、この画像編集装置100は、圧縮符号化された第1の符号化ストリーム(Stream A)と第2の圧縮符号化ストリーム(Stream B)を復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部10と、上記第1の符号化ストリーム(Stream A)を上記復号処理部10により復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第2の符号化ストリーム(Stream B)を上記復号処理部10により復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第1の符号化ストリーム(Stream A)の復号処理により得られた上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第2の符号化ストリーム(Stream B)の復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部20と、上記切換処理部20により繋がれた上記第1の符号化ストリーム(Stream A)の非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリーム(Stream B)の非圧縮画像データを再エンコードする再エンコード処理部30と、これら各部の動作を制御する制御部40とを備える。
上記制御部40は、上記第1の符号化ストリーム(Stream A)の編集点を含むGOPの開始点のフレームから上記第2の符号化ストリーム(Stream B)の上記編集点を含むGOPの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部20におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定して、上記復号処理部10、切換処理部20及び再エンコード処理部30の動作を制御する。
そして、上記編集区間の第1の符号化ストリーム(Stream A)と第2の符号化ストリーム(Stream B)を上記復号処理部10により復号し、上記切換処理部20により上記第1の符号化ストリーム(Stream A)の非圧縮画像データと上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリーム(Stream B)の非圧縮画像データを繋ぎ、上記再エンコード処理部30により再エンコードして、上記編集区間の上記第1の符号化ストリーム(Stream A)と上記第2の符号化ストリーム(Stream B)を上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第3の符号化ストリーム(Stream C)の2つのオープンGOPの圧縮符号化データを生成する。
この画像編集装置100のように、スマートレンダリングの処理において、レンダリングを必要とする範囲だけでなく、その前後のGOP区切りにまでレンダリング範囲を拡張し、本来レンダリングの必要がない部分については、元素材の持つパラメータ(動きベクトル,ピクチャタイプなど)を再利用して再エンコードすることにより、高速に再エンコードすることができる。また、レンダリングが必要な部分については、前後のレンダリング不要な部分を参照画として使用してエンコードを行うことにより、エフェクト部分の画質が高く、また、エフェクトのイン点、アウト点付近が連続したGOPとしてエンコード処理され、切り替わり点での画質の差が少なく、エフェクトの前後部分の画質劣化が少ないレンダリング処理を行うことができる。さらに、レンダリング部分との切り替わり点で画質の差が少ないレンダリング処理を行うことができる。すなわち、本来レンダリングの必要がなかった部分については再エンコードが行われるが、元素材の持つパラメータを再利用するため画質の劣化が軽微であり、エンコード処理のうち負荷の重い動き検出などが省略されるため高速に処理を行うことができる。
すなわち、この画像編集装置100では、第1の符号化ストリームと第2の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第1の符号化ストリームの上記編集点を含むGOPの開始点から上記第2の符号化ストリームの上記編集点を含むGOPと終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト処理の開始点から終了点までをエフェクト区間として設定し、上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う。
そして、上記復号処理により得られる上記編集点を含むエフェクト区間の上記第1の符号化ストリームの非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第1の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第2の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行う。
さらに、上記切換処理により繋がれた上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データについて、上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の2フレーム前までは上記復号処理により得られた上記第1の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の1フレームの上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のPピクチャのフレームまでの上記第2の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のPピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第2の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを上記編集点でエフェクト処理を施して繋いた2つのオープンGOPの圧縮符号化データを生成する再エンコード処理を行う。
ここで、従来のスマートレンダリング処理と上述の如きパラメータエンコード機能を使用したスマートレンダリング処理の画質の違いを見るために、一例として実際のある画像について、エフェクトのかかった再エンコード前の非圧縮状態を基準にスマートレンダリング結果のSNRを計算した結果を図6に示す。
この図6から明らかなように、パラメータエンコード機能を使用したスマートレンダリング処理を行うことによりSNRを改善することができる。
なお、エフェクトによっては、そのイン点前、または アウト点後の画像と大きく変わってしまい参照画としての利用が適さない場合がある。その場合の対処方法は、次の(1),(2)の2通りある。
(1)エンコーダが通常持っているシーンチェンジ検出機能を働かせ、GOP構成の最適化をエンコーダに行わせる。
(2)予めエフェクト内容により、元ストリームとの差が十分大きいと判断できる場合、エフェクトのイン点、アウト点 をGOPの境として指定し、クローズドとしてエンコードを行う。
(1)エンコーダが通常持っているシーンチェンジ検出機能を働かせ、GOP構成の最適化をエンコーダに行わせる。
(2)予めエフェクト内容により、元ストリームとの差が十分大きいと判断できる場合、エフェクトのイン点、アウト点 をGOPの境として指定し、クローズドとしてエンコードを行う。
そこで、上記制御部40は、上記ステップS2の判定処理における判定結果がYES、すなわち、エフェクトによる画像の変化が大きい場合には、ステップS22に進んで、通常のスマートレンダリングの処理手順に従った制御を行い、エフェクトのイン点とアウト点がGOPの再開になるようにエフェクト区間を設定して、上記再エンコード処理部30により通常のエンコード処理を行う。
10 復号処理部、11 第1のデコーダ、12 第2のデコーダ、20 切換処理部、21 第1のパラメータ付加部、22 第2のパラメータ付加部、23 エフェクト処理部、24 切換スイッチ部、30 再エンコード処理部、31 エンコード部、32 切換スイッチ部、40 制御部、100 画像編集装置
Claims (5)
- 圧縮符号化された第1の符号化ストリームと第2の圧縮符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行う復号処理部と、
上記第1の符号化ストリームを復号して得られる編集点を含むエフェクト区間の非圧縮画像データと上記第2の符号化ストリームを復号して得られる上記エフェクト区間の非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記第1の符号化ストリームを復号して得られる上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記第2の符号化ストリームを復号して得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの非圧縮画像データを繋ぐ切換処理を行う切換処理部と、
上記切換処理部により繋がれた上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データを再エンコードする再エンコード処理部と、
これら各部の動作を制御する制御部とを備え、
上記制御部は、第1の符号化ストリームの編集点を含むGOPの開始点のフレームから第2の符号化ストリームの上記編集点を含むGOPの終了点のフレームまでを編集区間として設定するとともに、上記編集区間内に上記切換処理部におけるエフェクト処理の開始点から終了点までをエフェクト区間として設定し、
上記制御部により設定された上記編集区間の第1の符号化ストリームと第2の符号化ストリームを上記復号処理部により復号し、上記切換処理部により上記第1の符号化ストリームの非圧縮画像データと上記制御部により設定された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データを繋いで、上記再エンコード処理部により再エンコードして、上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを上記編集点を含む上記エフェクト区間でエフェクト処理を施して繋いだ第3の符号化ストリームの2つのオープンGOPの圧縮符号化データを生成する画像編集装置。 - 上記再エンコード処理部は、上記切換処理により繋がれた上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データについて、上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の2フレーム前までは上記復号処理により得られた上記第1の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の1フレームの上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のPピクチャのフレームまでの上記第2の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のPピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第2の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードして、上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを上記編集点でエフェクト処理を施して繋いた2つのオープンGOPの圧縮符号化データを生成する再エンコード処理を行う請求項1記載の画像編集装置。
- 上記復号処理部は、上記第1の符号化ストリームを復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第1の復号出力として出力する第1のデコーダと、上記第2の符号化ストリームを復号し、フレーム単位の非圧縮画像データとその符号化パラメータを第2の復号出力として出力する第2のデコーダからなり、
上記切換処理部は、上記第1の復号出力として得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、第1の符号化パラメータ付き非圧縮画像データを生成する第1のパラメータ付加部と、上記第2の復号出力として得られたフレーム単位の非圧縮画像データとその符号化パラメータが入力され、上記フレーム単位の非圧縮画像データに、その符号化パラメータを付加して、第2の符号化パラメータ付き非圧縮画像データを生成する第2のパラメータ付加部と、上記第1の復号出力として得られたフレーム単位の非圧縮画像データと上記第2の復号出力として得られたフレーム単位の非圧縮画像データからエフェクト処理済非圧縮画像データを生成するエフェクト処理部と、上記第1のパラメータ付加部により生成された第1の符号化パラメータ付き非圧縮画像データと、上記エフェクト処理部により生成されたエフェクト処理済非圧縮画像データと、上記第2のパラメータ付加部により生成された第2の符号化パラメータ付き非圧縮画像データを順次切り換えて繋ぐ切換スイッチ部からなり、
上記再エンコード処理部は、上記切換処理部により繋がれた上記第1の符号化パラメータ付き非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化パラメータ付き非圧縮画像データから上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを上記編集点でエフェクト処理を施して繋いた2つのオープンGOPの圧縮符号化データを生成する再エンコード処理を行う請求項2記載の画像編集装置。 - 上記エフェクト処理部は、上記第1の符号化ストリームと上記第2の符号化ストリームの繋ぎ部分にトランジションエフェクトをかけるエフェクト処理を施す請求項3記載の画像編集装置。
- 第1の符号化ストリームと第2の符号化ストリームを編集点で切り換えて繋ぐ際に、上記第1の符号化ストリームの上記編集点を含むGOPの開始点から上記第2の符号化ストリームの上記編集点を含むGOPと終了点までを編集区間として設定するとともに、上記編集区間内にエフェクト処理の開始点から終了点までをエフェクト区間として設定し、
上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを復号して、各フレーム単位の非圧縮画像データとその符号化パラメータを得る復号処理を行い、
上記復号処理により得られる上記編集点を含むエフェクト区間の上記第1の符号化ストリームの非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データからエフェクト処理済非圧縮画像データを生成し、上記復号処理により得られた上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の前のフレームまでの上記第1の符号化ストリームの非圧縮画像データと、生成された上記エフェクト区間の上記エフェクト処理済非圧縮画像データと、上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記編集区間の終了点のフレームまでの上記第2の符号化ストリームの非圧縮画像データを繋ぐ切換処理を行い、
上記切換処理により繋がれた上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理済非圧縮画像データと上記第2の符号化ストリームの非圧縮画像データについて、上記編集点を含むGOPの開始点のフレームから上記エフェクト区間の開始点の2フレーム前までは上記復号処理により得られた上記第1の符号化ストリームの非圧縮画像データを上記復号処理により得られた符号化パラメータを用いて再エンコードし、上記復号処理により得られた上記エフェクト区間の開始点の前の1フレームの上記第1の符号化ストリームの非圧縮画像データと上記エフェクト処理により生成された上記エフェクト区間のエフェクト処理済非圧縮画像データと上記復号処理により得られた上記エフェクト区間の終了点の後のフレームから上記エフェクト区間の終了点の後の最初のPピクチャのフレームまでの上記第2の符号化ストリームの非圧縮画像データを再エンコードし、上記エフェクト区間の終了点の後の最初のPピクチャのフレームの次のフレームから上記編集区間の終了点のフレームまで上記復号処理により得られた上記第2の符号化ストリームの非圧縮画像データをその符号化パラメータ用いて再エンコードし、上記編集区間の上記第1の符号化ストリームと上記第2の符号化ストリームを上記編集点でエフェクト処理を施して繋いた2つのオープンGOPの圧縮符号化データを生成する再エンコード処理を行う画像編集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008304878A JP2010130516A (ja) | 2008-11-28 | 2008-11-28 | 画像編集装置および画像編集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008304878A JP2010130516A (ja) | 2008-11-28 | 2008-11-28 | 画像編集装置および画像編集方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010130516A true JP2010130516A (ja) | 2010-06-10 |
Family
ID=42330538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008304878A Withdrawn JP2010130516A (ja) | 2008-11-28 | 2008-11-28 | 画像編集装置および画像編集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010130516A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012182659A (ja) * | 2011-03-01 | 2012-09-20 | Jvc Kenwood Corp | 映像処理装置、ダビングシステムおよび映像処理方法 |
-
2008
- 2008-11-28 JP JP2008304878A patent/JP2010130516A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012182659A (ja) * | 2011-03-01 | 2012-09-20 | Jvc Kenwood Corp | 映像処理装置、ダビングシステムおよび映像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3019912B2 (ja) | 画像データ編集装置 | |
JP4480671B2 (ja) | ビデオ・エンコーダのモード選択によるレート歪みトレードオフの制御方法および装置 | |
JPH10145798A (ja) | デジタル符号化信号処理方式 | |
JP5090158B2 (ja) | 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体 | |
KR101119685B1 (ko) | 정보 처리 장치, 정보 처리 방법, 및 기록 매체 | |
JP2017200176A (ja) | フレーム間ビデオ圧縮におけるオープン・グループ・オブ・ピクチャからクローズ・グループ・オブ・ピクチャへの変換 | |
JP4922138B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
WO2003081594A1 (en) | Editing of encoded a/v sequences | |
JP4174728B2 (ja) | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム | |
JP2010154502A (ja) | 画像編集装置および画像編集方法 | |
JP2010130516A (ja) | 画像編集装置および画像編集方法 | |
JPH11252566A (ja) | 画像信号復号方法および復号装置、画像信号符号化方法および符号化装置、画像信号処理方法および処理システム | |
JP4393341B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JPH0888854A (ja) | 動画像符号化方式 | |
JP4399744B2 (ja) | プログラム、情報処理装置、情報処理方法、並びに、記録媒体 | |
JP3427505B2 (ja) | 画像符号化方法と編集装置 | |
JP4765961B2 (ja) | デジタル動画像記録装置 | |
JP2005159832A (ja) | 信号処理装置 | |
JP2000295567A (ja) | 符号化データ編集装置 | |
JP3461280B2 (ja) | 動画像編集装置および動画像編集方法 | |
JP2003309803A (ja) | ビデオストリーム編集装置 | |
JP2003209801A (ja) | 動画像符号化装置および動画像記録再生装置 | |
JPH11313331A (ja) | 画像信号処理システム、デコ―ダ、画像信号処理方法及び復号方法 | |
JP4974583B2 (ja) | 画像符号化装置及び符号化方法 | |
JP2010056849A (ja) | 映像信号再符号化装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120207 |