JP4651344B2

JP4651344B2 - Ｍｐｅｇ−２ストリームのワイプ切換方法

Info

Publication number: JP4651344B2
Application number: JP2004281719A
Authority: JP
Inventors: 俊貴荻原
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2004-09-28
Filing date: 2004-09-28
Publication date: 2011-03-16
Anticipated expiration: 2024-09-28
Also published as: JP2006100947A

Description

本発明は、映像信号をＭＰＥＧ−２方式により圧縮した映像ストリームを蓄積した蓄積媒体より映像ストリームを読み出してカット編集する際のＭＰＥＧ−２ストリームのワイプ切換方法に関するものである。

映像信号の圧縮方法には、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）規格による方法がある。ＭＰＥＧ−２方式では、連続したフレーム間の相関を利用し、フレーム間予測を行うことでデータ量を削減する動画圧縮方法であり、Ｉ，Ｐ及びＢピクチャの３種類のピクチャタイプで構成されている。ピクチャタイプの設定順序は、例えば、Ｉピクチャが１５フレーム間隔、Ｐピクチャが３フレーム間隔、Ｂピクチャが２フレーム連続し、１フレームスキップという設定順序となっている。フレーム内オブジェクトの動きに対しては１６×１６画素のマクロブロック単位でフレーム間の予測符号化を行い、映像信号を圧縮している。

映像の加工・編集は放送局のみならず、家庭でも行われるようになり、ＭＰＥＧ−２方式による映像データであっても編集が容易にできることが望まれる。映像信号がフレーム間予測符号化を行わないビットストリームであれば、ビットストリームをピクチャ単位で切り換える場合、切換のポイントのピクチャヘッダを検索して切り換えることができる。ピクチャヘッダのスタートポイントを示すピクチャヘッダコードはビットストリーム上でユニークなコード（値は０ｘ０００００１００）として定義されており、このスタートポイントの検索は容易であり、ピクチャ単位での切り換えが可能である。

しかし、フレーム間の予測符号化を行うビットストリームでは、ビットストリームの第１のストリームから第２のストリームへワイプして切り換える場合、フレーム間予測符号化が行われているため、ワイプ処理では、参照されるフレーム（基準画像）を用いて復号する処理を必要とする。また、ワイプ処理を行わない切り換えを行う場合においても、切り換え後の予測ピクチャが、参照されるフレーム（基準画像）が本来のフレームとは異なるフレームとなり、このような映像ストリームを復号した場合、復号画像はマクロブロック単位にアーテファクトと呼ばれるノイズを含んだ画像となる。

このアーテファクトを最小限に抑える方法としては、第２ストリームの切り換えポイントとしてＩピクチャの境界を使用する方法が考えれるが、Ｉピクチャ後に連続するＢピクチャに対して、エンコード時、クローズ型ＧＯＰ（Goup Of Picture）を（ｃｌｏｓｅｄｇｏｐ＝１）とし、何枚かの画像をまとめて処理できるように切り換えポイント（エントリーポイント）を設定するといった予測方向の制限をしない限り、アーテファクト発生を回避することができない。

上記のような切り換えポイントを制限することなく、かつアーティファクト発生を回避する方法としては、圧縮されたストリームを一旦復号して非圧縮のストリーム上でフレーム単位の切り換えを行い、再符号化する方法が考えられる。この方法は切り換えポイントの選択の自由度があり、その他の特殊効果を施すことが可能などの利点があり、柔軟で幅広い切り換え操作が可能である一方、再符号化で発生した符号歪みが重畳されるため、このような方法により圧縮された映像データをカット編集すると画質が劣化し好ましいものではない。

この種に関連する先行技術文献としては、圧縮動画像信号をワイプ等による編集が可能な圧縮動画像特殊効果装置及びＭＰＥＧストリームの切換方法が開示されている（例えば、特許文献１，２を参照）。

特開平８−２２３４８０号公報（明細書段落〔０００９〕〜〔００１４〕，図面図１）特開２０００−７８５８４号公報（明細書全文）

上述のように、ワイプ等による映像データのカット編集に際し、圧縮処理した映像信号を一旦復号して非圧縮の映像データとし、この復号された非圧縮映像信号上で切り換え処理を行い、再度圧縮する方法により、カット編集が行われたとすると、映像信号を復号し再圧縮するため処理量の増加に伴うハードウェアの追加が必要であり、カット編集を行う編集装置等が高価なものになり、さらに画質の劣化を招くという問題があった。

本発明は、ＭＰＥＧ−２方式で圧縮された映像ストリームをワイプして切り換える際に、復号及び再符号化処理を行うことなく、編集した映像の画質を劣化させないＭＰＥＧ−２ストリームのワイプ切換方法を提供することを目的とするものである。

本発明は、上記課題を解決したものであり、請求項１の発明は、ＭＰＥＧ−２方式により符号化されたＩピクチャ、Ｐピクチャ、及びＢピクチャからなる映像ストリームのワイプ切換方法において、
該映像ストリームの第１映像ストリームから第２映像ストリームにワイプして切り換える際、ワイプ開始点を前記第１映像ストリームのＩ又はＰピクチャの直前とし、前記映像ストリームのワイプ開始直後の画像を、ワイプ終了時の基準画像である前記第２映像ストリームのＩピクチャに置き換え、ワイプ開始点からワイプ終了点までの間を、前記第１及び第２映像ストリームとは異なり、動きベクトル情報のみのＢピクチャに置き換え、
ワイプ終了後の第２映像ストリームのテンポラリ・リファレンス値を、前記ワイプ前の第２映像ストリームのＰピクチャの間隔をＭ、前記動きベクトル情報のみのＢピクチャのフレーム数をＮとして、ワイプ前の第２映像ストリームのテンポラリ・リファレンス値にＮ−（Ｍ−１）を補正値として加算した値とすることを特徴とするＭＰＥＧ−２方式のワイプ切換方法である。

なお、ワイプとはビデオ切り換え時の特殊効果の一つであり、切り換え前の画像が徐々に拭うように切り換え後の画像に移行する画面切り換え技法である。また、第１と第２映像ストリームは、同一記録媒体から読み出した映像データであってもよいし、第１と第２映像ストリームが異なる映像素材であってもよく、異なった記録媒体から読み出した映像ストリーム同士を接続することができる。

なお、動きベクトル情報のみのＢピクチャとは、いわゆるダミーピクチャである。ダミーピクチャは、ダミーピクチャ作成手段により生成され、ワイプ開始時にダミーピクチャ作成手段がダミーＢピクチャを出力し、ワイプ開始点から終了点までの間のピクチャを補う。

本発明の効果について以下に説明する。
請求項１の発明では、ＭＰＥＧ−２方式により符号化されたＩピクチャ、Ｐピクチャ、及びＢピクチャからなる映像ストリームのワイプ切換方法において、
該映像ストリームの第１映像ストリームから第２映像ストリームにワイプして切り換える際、ワイプ開始点を前記第１映像ストリームのＩ又はＰピクチャの直前とし、前記映像ストリームのワイプ開始直後の画像を、ワイプ終了時の基準画像である前記第２映像ストリームのＩピクチャに置き換え、ワイプ開始点からワイプ終了点までの間を、前記第１及び第２映像ストリームとは異なり、動きベクトル情報のみのＢピクチャに置き換え、
ワイプ終了後の第２映像ストリームのテンポラリ・リファレンス値を、前記ワイプ前の第２映像ストリームのＰピクチャの間隔をＭ、前記動きベクトル情報のみのＢピクチャのフレーム数をＮとして、ワイプ前の第２映像ストリームのテンポラリ・リファレンス値にＮ−（Ｍ−１）を補正値として加算した値とすることを特徴とするＭＰＥＧ−２方式のワイプ切換方法であるので、ＭＰＥＧ−２方式で符号化された圧縮映像を蓄積している記録媒体より、圧縮映像データ（映像ストリーム）を読み出し、映像ストリームをワイプして編集する際に、復号処理及び再符号化処理を行う必要がない利点があり、簡便な演算処理で実現できるとともに、その構成は簡便なものとなる。しかも、切換え後の画質が切り換え前の画質と同等の画質を提供することが可能である。

さらに、サーバ等のメモリ容量が豊富な設備を使用することにより、編集機能をシンプルに構成することが可能である。また、本発明の第１と第２映像ストリームは、同一記録媒体から読み出した映像データであってもよいし、第１と第２映像ストリームが異なる映像素材である場合であってもよく、異なった記録媒体から読み出した映像ストリーム同士を接続することも可能であり、特殊編集に効果的である。

また、本発明では、第１及び第２映像ストリーム間のワイプ切り換え期間の画像は、動きベクトル情報のみのＢピクチャデータであり、予め作成したデータを利用することができ、ワイプ切換え装置の構成を簡便なものにすることができる。

また、本発明では、１ＧＯＰが、例えば１５ピクチャから構成されており、Ｉ又はＰピクチャの直前をワイプ開始点とすれば、編集される映像を再生した際に切れ目が発生することがない利点がある。

以下、本発明に係るＭＰＥＧ−２ストリームのワイプ切換方法の一実施形態について、説明する。本実施形態の映像ストリームのワイプ切換方法は、コンピュータによる画像処理により達成することが可能であり、コンピュータのモニタで映像及びタイムコード（映像の位置情報）を確認しながら消し去りたい映像を、ワイプ開始操作及びワイプ終了操作により編集することができる編集方法である。本実施形態の映像データは、ＭＰＥＧ−２方式で圧縮した映像データを対象とし、映像データは一枚の静止画像として取り扱う。先に説明したように、この映像データはＩピクチャ（基準として用いる画像）、Ｐピクチャ（一方向に予測した予測画像）、Ｂピクチャ（Ｐ又はＩピクチャの両方からの動きを予測した予測画像）からなる符号化した画像データである。

本実施形態は、コンピュータを利用して実行可能であり、記録媒体から読み出された映像ストリームに対し、ワイプ開始信号を入力し、ワイプ開始点設定手段により、映像ストリームのワイプ開始点を設定する。ワイプ開始点は第１映像ストリームのＩ又はＰピクチャの直前とする。ワイプ終了操作によるワイプ終了信号をワイプ終了点設定手段により、映像ストリームのワイプ終了点を設定する。ワイプ終了点設定信号に基づいて、Ｉピクチャ検索手段が第２の映像ストリームのＩピクチャを検索する。ワイプ切換制御手段が、このＩピクチャをワイプ開始点に書き込み、ダミーピクチャ生成手段が生成したＢピクチャ（ダミーＢピクチャ）を、このＩピクチャに続いて書き込み、第２の映像ストリームのワイプ終了点以降のピクチャを書き込みワイプ切り換えを行う。このような手順で切り換え操作を行うことにより、ワイプ開始点の第１映像ストリームと、ワイプ終了点の第２映像ストリームとを接続することができる。

ダミーＢピクチャは、第１及び第２映像ストリームのＢピクチャとは異なるピクチャであり、動きベクトル情報を符号化したデータで構成されている。動きベクトル情報のみのピクチャをダミーピクチャとし、ダミーピクチャはダミーピクチャ作成手段により生成される。ダミーピクチャ作成手段は、ワイプ開始時のタイミングで、ダミーＢピクチャを出力し、ワイプ開始点からワイプ終了点までの間をこのピクチャで補い、第１の映像ストリームの開始点から第２の映像ストリームの終了点を接続し、圧縮した映像データのままでワイプした映像ストリームを作成する。

以下、図１を参照し、本発明の実施形態について詳細に説明する。図１は本実施形態の映像ストリームのワイプ切換方法を説明するためにビットストリームを時間軸で表した図であり、ＭＰＥＧ−２方式で符号化された圧縮画像の第１ストリームから、同様にＭＰＥＧ−２で符号化された圧縮画像の第２ストリームとを接続した映像ストリームを作成する例を示している。

図１において、（１）は第１のストリームであり、図中のＰ_０及びＢ_０はＭＰＥＧ−２方式で符号化された圧縮画像のＰピクチャ及びＢピクチャである。（２）はダミーストリームと呼ばれるストリームであり、ＢｄはＭＰＥＧ−２で符号化されたダミーＢピクチャを示すもので、詳細は後述する。（３）は第２のストリームであり、図中のＩｎ，Ｐｎ及びＢｎは、ＭＰＥＧ−２で符号化された圧縮画像のＩピクチャ、Ｐピクチャ及びＢピクチャを示すものである。（４）は出力となるスプライスストリームである。（１）〜（４）は符号化順に図示している。（５）は（４）のスプライスストリームを表示順に並び替えたものであり、（１），（２）及び（３）の圧縮画像から構成されている。図中の点線（イ）はワイプ開始点及び点線（ロ）はワイプ終了点を示している。

本実施形態の動作について図１を参照し説明する。第１のストリームの所望の位置でワイプを開始すると、ワイプ開始点（イ）は第１のストリームのＩピクチャ又はＰピクチャの直前で切り換え開始となる。ワイプ開始点（イ）がＢピクチャのときは、ＩピクチャまたはＰピクチャが来るまで待ち、その直前で切り換え開始となる。次に、第２のストリームの所望の位置でワイプ終了する。ワイプ終了点（ロ）が第２のストリームである。第２のストリームのＩピクチャを検出する。図１（３），（４）に図示したように、ワイプ開始点（イ）における切り換え直後のＰピクチャ（Ｐ_０）を、第２のストリームのＩピクチャ（Ｉｎ）で置き換え、第２のストリームのＩピクチャ（Ｉｎ）に続くワイプ終了点（ロ）までのＢピクチャ（Ｂｎ）を削除し、ワイプ開始点（イ）からワイプ終了点（ロ）までをダミーＢピクチャ（Ｂｄ）とし、ワイプ終了点（ロ）直後は第２のストリームのＰピクチャ（Ｐｎ）とし、以後を第２のストリームのピクチャの符号化順とする。このようなワイプ切換方法により、第１と第２のストリームが切れ目なく接続され、再生時、アーテファクトが発生することがない。

図１（２）のダミーストリームのダミーＢピクチャ（Ｂｄ）について説明する。ダミーＢピクチャ（Ｂｄ）は、ＭＰＥＧ−２で符号化されたＢピクチャのみで構成されるが、全てのマクロブロック（１６画素×１６画素輝度の領域）のＤＣＴ係数（離散的コサイン変換係数であり、ＭＰＥＧ−１による機能）が除かれ、動きベクトル情報のみで構成されたピクチャである。簡単に言えば、通常のＢピクチャは予測符号化画像のため差分データが存在するが、ダミーＢピクチャには差分データ、すなわちＤＣＴ係数が存在しないピクチャである。本実施形態には、このようなダミーＢピクチャを生成するダミーピクチャ生成手段が備えられている。

図１（５）のスプライスストリームにおけるダミーＢピクチャ（Ｂｄ）は、第１のストリームの参照フレーム（Ｐ_０ピクチャ）から前方向予測が可能となり、第２のストリームの参照フレーム（Ｉｎ）から後方向予測が可能になる。なお、マクロブロックの予測タイプが、フレーム構造の場合フレーム予測、フィールド構造の場合フィールド予測となる。また、ダミーＢピクチャにはワイプ境界が存在し、ワイプ境界をシフトする際は、マクロブロックを最小単位としてシフトし、次のピクチャに新しいワイプ境界を設定する。なお、ピクチャは複数のスライスからなり、スライスはマクロブロックを複数集合したものである。

図２はダミーＢピクチャ（Ｂｄ）の参照ピクチャ対応図あり、ダミーＢピクチャ内の各マクロブロックは、前方向又は後方向の動きベクトル情報で構成され、ワイプ境界を境として予測方向が異なる。図２に矢印で前方向予測及び後方向予測を示したが、ダミーＢピクチャ（Ｂｄ）はＰ_０ピクチャにより前方向予測を行い、Ｉｎピクチャにより後方向予測を行う。図３はダミーＢピクチャ（Ｂｄ）のワイプ境界線に隣接するマクロブロックの予測方向及び動きベクトル値の算出例を示すものである。なお、図２及び図３は垂直方向に境界線を設定した例であり、水平方向のブッシュワイプ（スプライス前の画像がスプライス後の画像で押し出される効果）を示したものである。上記以外にもワイプの境界の領域を、例えば矩形などに設定すると様々なワイプ効果を表現可能となる。

本発明の実施例におけるダミーＢピクチャについて詳細に説明する。
図４はダミーＢピクチャ（Ｂｄ）のシンタクス構成の例を示し、ダミーピクチャ生成手段を構成するものである。始めに、ピクチャ水平サイズをマクロブロックサイズで割った値を変数Ｎとし、ピクチャ垂直サイズをマクロブロックサイズで割った値を変数Ｍとする。ダミーピクチャデータは、picture_ header（），picture_coding_extension（），picture_data（）の各シンタクスから構成される。picture_data（）はＭ個のスライス（slice(1) 〜slice(Ｍ)）で構成されており、各スライスは３つのマクロブロックで構成されている。

各マクロブロックは、スライス先頭のマクロブロックにあたるＭＢ（１）、ワイプ境界後最初のマクロブロックにあたるＭＢ（ｎ）、スライス最後のマクロブロックにあたるＭＢ（Ｎ）である。ｎは変数であり、２からＮ−１までの値をとり、ワイプ境界を決定するパラメータである。

各マクロブロックには前のマクロブロックとの相対マクロブロック距離を示すmacroblock_address_increment パラメータが存在する。macroblock_address_incrementの値は、ＭＢ（１）では値１、ＭＢ（ｎ）では値Ｓ１及びＭＢ（Ｎ）では値Ｓ２である。Ｓ１，Ｓ２は変数であり、ワイプ境界を設定するパラメータｎと水平マクロブロック数Ｎには以下の関係式が成り立つ。

ワイプ境界を決定するパラメータｎはワイプ境界の位置に応じて、ピクチャ間で変化する。このパラメータｎのピクチャ間の変化量は、ワイプ継続時間の長短を決定し、継続時間が短い場合、ｎの変化量は大きい。また、長い場合、ｎの変化量は小さい。また、ダミーＢピクチャ（Ｂｄ）はフレーム数やワイプパターンが既存のときは、符号化ストリームを作成できるので、予め作成することが可能である。

次に、ダミーＢピクチャのｆコード（f_code）値について説明する。ｆコード値はＭＰＥＧ−２方式のシンタクスであるpicture_coding_extension（）内に割り当てられているパラメータであり、ピクチャ内マクロブロックの動きベクトル検索範囲を制限するパラメータである。ピクチャ間での予測方向（前方向又は後方向）及びピクチャ内での予測方向（水平・垂直）それぞれに対して設定される。下記の表１は、ｆコード値と許容される検索範囲の一例を示す。

ＭＰＥＧ−２方式では、幅広いアプリケーションをサポートすることを目的としてプロファイルとレベルというカテゴリがある。プロファイルではクロマフォーマットやＢピクチャ有無などの特定の機能を制限し、レベルは画素サイズやビットレート等の量を制限している。ｆコード値はレベルカテゴリで制限されている。

次に、放送方式で用いられるＳＤＴＶ（Standard Definition Television）とＨＤＴＶ（High Definition Television）を例にしてダミーＢピクチャ（Ｂｄ）に必要なｆコード値について説明する。
ＳＤＴＶはＭａｉｎレベルに相当し、フレーム画素数は、一般に水平７２０×垂直４８０である。Ｍａｉｎレベルのｆコード値の制約は、水平（１〜８）、垂直（１〜５）である。表１よりｆコード値が８では、−１０２４．０〜＋１０２３．５画素、ｆコード値が５では、−１２８．０〜＋１２７．５画素であるため、画面端から画面端まで予測を必要とするワイプの場合、水平方向で行えるが、垂直方向では行えない。また、ＨＤＴＶの場合は、Ｈｉｇｈレベルに相当し、一般の画素数は水平１９２０×垂直１０８０である。Ｈｉｇｈレベルのｆコード値は水平（１〜９）、垂直（１〜５）で、ｆコード値が９は−２０４８．０〜＋２０４７．５画素、ｆコード値が５では、−１２８．０〜＋１２７．５画素であるため、ＳＤＴＶと同様に画面端から画面端まで予測を必要とするワイプの場合は水平方向では行えるが、垂直方向では行えない。

また、ＶＢＶバッファ制御では、すなわち（vbv_delay）値の挿入又は書き換え制御であるが、ダミーＢピクチャ（Ｂｄ）は符号量が少ないのでデコーダのバッファアンダーフローの心配はないが、オーバーフローの可能性は大きい。その問題点は、オーバーフローの可能性は、ＮＵＬＬ（Stuff）データを追加することで回避することができる。

次に、ＭＰＥＧ−２の圧縮方式では、picture_header（）内にテンポラル・リファレンス（temporal_reference）が定義されている。テンポラル・リファレンスは、ＧＯＰ単位でピクチャの表示順番を示すパラメータである。スプライスされたストリームでは、挿入されるダミーＢピクチャ（Ｂｄ）が第２のストリームの第１ＧＯＰに吸収される。従って、第２のストリームの第１ＧＯＰに属していたピクチャデータは表示順番が変わり、テンポラル・リファレンスの書き換え処理が必要となる。

図５はテンポラル・リファレンスの書き換え例を示している。同図よりダミーＢピクチャ（Ｂｄ）のフレーム数により書き換える値が変化する。従来のＧＯＰ構成でＰピクチャの間隔がＭであり、ダミーＢピクチャ（Ｂｄ）のピクチャデータがＮフレームである場合、書き換えられるテンポラル・リファレンス値（new_temporal_reference）は書き換え前のテンポラル・リファレンス値（old_temporal_reference）を使い以下の式で導出される。

以上のように、書き換えられるテンポラル・リファレンス値が簡単に算出され、ピクチャ表示順序が正しく設定される。

本実施形態は、ＭＰＥＧ−２で符号化処理されて記録された蓄積媒体から編集するときの実施例であり、リアルタイム処理を必要としないため、遅延等が発生したとしてもサーバ等で処理することにより実現することが可能である。

本発明の活用例としては、圧縮映像データのカット編集を行う圧縮動画像特殊効果装置に利用することができる。

本発明に係るＭＰＥＧ−２ストリームのワイプ切換方法の一実施形態を説明するためのストリームを時間軸で示したものであり、（１）は第１映像ストリーム、（２）はダミーストリーム、（３）は第２映像ストリーム、（４）は符号化順のスプライスストリーム、（５）は表示順のスプライスストリームである。ダミーＢピクチャの参照ピクチャの対応図である。ダミーＢピクチャのワイプ境界線に隣接するマクロブロックの予測方向及び動きベクトル値の算出例を示す図である。ダミーＢピクチャのシンタクス構成の例を示す図である。ダミーピクチャにおけるテンポラル・リファレンスの書き換えを説明するための図である。

符号の説明

Ｐ_０第１映像ストリームのＰピクチャ
Ｂ_０第１映像ストリームのＢピクチャ
Ｐｎ第２映像ストリームのＰピクチャ
Ｂｎ第２映像ストリームのＢピクチャ
Ｉｎ第２映像ストリームのＩピクチャ
ＢｄダミーＢピクチャ

Claims

ＭＰＥＧ−２方式により符号化されたＩピクチャ、Ｐピクチャ、及びＢピクチャからなる映像ストリームのワイプ切換方法において、
該映像ストリームの第１映像ストリームから第２映像ストリームにワイプして切り換える際、ワイプ開始点を前記第１映像ストリームのＩ又はＰピクチャの直前とし、前記映像ストリームのワイプ開始直後の画像を、ワイプ終了時の基準画像である前記第２映像ストリームのＩピクチャに置き換え、ワイプ開始点からワイプ終了点までの間を、前記第１及び第２映像ストリームとは異なり、動きベクトル情報のみのＢピクチャに置き換え、
ワイプ終了後の第２映像ストリームのテンポラリ・リファレンス値を、前記ワイプ前の第２映像ストリームのＰピクチャの間隔をＭ、前記動きベクトル情報のみのＢピクチャのフレーム数をＮとして、ワイプ前の第２映像ストリームのテンポラリ・リファレンス値にＮ−（Ｍ−１）を補正値として加算した値とすることを特徴とするＭＰＥＧ−２方式のワイプ切換方法。