JP5324200B2 - 圧縮されたビデオデータストリームの切換え方法 - Google Patents

Description

本発明は、特に、イントラ、予測及び双方向タイプの符号化を利用した圧縮されたビデオデータストリームの切換え方法に関する。

本発明は、たとえば、英語表現“Motion Picture Expert Group, Advance Video
Coding”の頭字語であるMpeg4-avc規格に従って符号化されたビデオ系列又はプログラムセグメントの切換えに関する。

Mpeg4-avc規格に係る符号化は、異なるタイプのピクチャ符号化を要求する。イントラ符号化（ピクチャＩ）は、前又は後のピクチャを参照しない。予測型のインター符号化（ピクチャＰ）は、前の参照画像を要求する。双方向型のインター符号化（ピクチャＢ）は、前の参照画像及び／又は後続する参照画像を要求する。

Ｍｐｅｇ規格に係るピクチャは、ＧＯＰ又はグループ オブ ピクチャでグループ化される。ＧＯＰの最初のピクチャは、イントラタイプのピクチャであり、後続する最初のタイプのＢピクチャは、同じＧＯＰのピクチャを要求し、それは閉じたＧＯＰであり、又は、同じＧＯＰからのピクチャ又は前のＧＯＰのピクチャを要求し、それは開いたＧＯＰである。

今日、フィルム又はビデオ系列は、必要とされるメモリ容量を低減するために圧縮された形式で記憶される。したがって、系列のスイッチングは、ベースバンドで行なわれないがＭｐｅｇ符号化されたデータストリームから直接に行なわれる。

たとえば圧縮された形式で記憶されたデジタルデータからの２つの連続するビデオのブロードキャストを考え、第一の圧縮されたデータビデオストリームは、旧ストリームと呼ばれる第一のピクチャ系列に対応し、この旧ストリームは、スイッチングポイントト呼ばれるポイントから、新ストリームと呼ばれ、第二のピクチャ系列に対応する第二の圧縮されたタイプのビデオデータストリームで置き換えられる。問題は、スイッチングポイントに到達するデータストリームが開いたＧＯＰで開始するときに生じる。確かに、この第二のストリームの最初のＧＯＰの圧縮されたピクチャのデコーディングは、開いたＧＯＰに対処する場合、前のＧＯＰのピクチャの使用を必要とする。別の系列のデータストリームに対応する前のＧＯＰ、この開いたＧＯＰに対応するデコードされたピクチャは、誤りを示すであろう。これらの誤りは、一般に非常に目に見えるものであり、第二の系列のこれら最初のタイプのＢピクチャのデコーディングのため、符号化のために使用されるピクチャとは異なる参照画像の使用によるものである。効果的に、ピクチャから構成されるピクチャブロック又は双方向モードで符号化される開いたＧＯＰピクチャは、同じピクチャ系列について前のＧＯＰのタイプＰ又はＩの参照画像からインター符号化されたピクチャブロックである。インター符号化されるブロック、残差情報又は予測誤差からなるブロックのデコーディングは、スイッチングポイントの後の第一の双方向タイプのピクチャについて、インター符号化された残差ブロックを計算するために使用されたものとは異なるブロックを利用する。復号化レベルで考慮される参照画像は、符号化レベルで考慮されるものとは異なる。

間違ったピクチャブロックの可視化からなる非常に厄介なブロックの効果は、第二の系列の最初のピクチャで現れる。

この問題に対するソリューションが存在し、文献ISO/IEC 13818-1annex K MPEG2規格のパート１に記載されている。このソリューションは、規格ではスプライシングポイントと呼ばれる可能性のあるスイッチングポイントに関する情報のシステムレイヤにおける統合を含んでおり、トランスポートストリームは、有益な特徴を有し、たとえば閉じたＧＯＰを使用することで、上述した誤りなしにピクチャのデコーディングを可能にする。次いで、スイッチングは、これらのポイントの１つでのみ行なうことができる。勿論、この情報は、ピクチャの符号化からデータストリームに組み込まれる必要があり、データの新たな伸張及び圧縮を実現することなしに、その後に組み込むことがもはやできない。

ＧＯＰの開始にある認可されたスイッチングポイントは、このＧＯＰが閉じたとき、双方向モードで符号化されるこのＧＯＰにおける最初のピクチャの符号化に制約を加える。これらのピクチャは、参照画像としてもはや前の画像ではなく後続の画像のみを使用し、したがって、単一の方向のモードに強制される。したがって、この互換性のあるストリーム切換えのＭｐｅｇ２符号化は、圧縮レートを低減し、フィルム又はビデオ系列の符号化のために通常は使用されない。今日、スイッチングの要件について閉じたＧＯＰを強制する製品が市場で殆どなく、コーダレベルでレートを規制するために誘発される制約について扱いにくいことが分かる。他方で、データストリームにおけるどの辺りで閉じたＧＯＰが使用される必要があるかを事前に決定し、すなわち、ブレイクが存在することとなる系列におけるポイントを予め決定し、系列の将来の利用を知るものとする。さもなければ、閉じたＧＯＰを排他的に使用することが必要となる。
EP 0982948 A (THOMSON MULTIMEDIA SA [FR]) US 2003/206596 A1 (CARVER DAVID [US] ET AL) US 6275618 B1 (KODAMA TASUMASA [JP]) JP 2007 116604 A (NIPPON ELECTRIC CO)

したがって、このソリューションは、様々な問題点を有する。ビデオデータの圧縮レートにおける低減。このストリームのスイッチングの互換性を有さないデータストリームをデコード及びリコードする必要、及びデータの記憶、画質等にリンクされる全ての問題。

１つの公知のソリューションは、中間的な交換（commutation）ピクチャをイントラモードで符号化されたピクチャと置き換えることで、該中間的な交換ピクチャを記録することからなる。このソリューションは、問題となるピクチャのデータストリームの記録を必要とする。別の公知のソリューションは、たとえばブラックピクチャのイントラ符号化によるといった、中間的な交換ピクチャを予め定義されたピクチャと置き換えることで、該中間的な交換ピクチャを符号化することである。この方法の主要な問題点は、スイッチングの面倒な視覚的な生成（yield）にある。

本発明は、上述された問題点を克服することを狙いとする。
本発明は、第一のデータストリームの与えられたスイッチングポイントにおいて、第二のビデオ系列に対応する第二のデータストリームにより後続される第一のビデオ系列に対応する第一のデータストリームの送信のための圧縮されたビデオデータストリームのスイッチング方法に関する。それぞれの系列は、ＧＯＰ（グループオブピクチャ）構造に従って符号化され、それぞれのＧＯＰは、イントラ符号化されるイントラタイプのピクチャ、インター符号化される予測タイプのピクチャ、及びインター符号化される双方向タイプのピクチャを含んでおり、第二のデータストリームは、双方向タイプのピクチャ、ピクチャの符号化順序を考慮したときに、スイッチングポイントに続く第二の系列の第一のＧＯＰのイントラピクチャに続くピクチャを、交換ピクチャと呼ばれる双方向ピクチャで置き換えることで、その送信の前に変更される。この交換ピクチャでは、ピクチャブロックは、ゼロの残余、及びピクチャにおけるブロックの位置に従い順方向又は逆方向であるゼロの動きベクトルを有する。特定の実現によれば、あるブロックの位置について、帰属される動きベクトルは、参照画像に関して属する交換ピクチャの時間的な位置にも依存する。特定の実現によれば、ピクチャブロックは、マクロブロック又はマクロブロックの小分割である。

実現の特定の手段によれば、順方向又は逆方向のベクトルは、マクロブロック又は小分割に帰属される参照画像に関するインデックスにより定義される。

特定の実現によれば、逆方向の予測における交換ピクチャのブロック数は、考慮されるピクチャの時間的な位置が後続する参照画像に近くなるとき、あるピクチャから別のピクチャに増加する。

特定の実現によれば、ピクチャブロックは、参照画像に関する予測に関して重み付けされ、重み付けレートは、参照画像に関して交換ピクチャの時間的な位置に関連される。

特定の実現によれば、重み付けレートは、マクロブロックのスライス当たり予め決定され、同じ重み付けレートが選択されるマクロブロックの位置に従ってピクチャがスライスに分割される。

特定の実現によれば、本方法は、スライスを定義するためにＦＭＯツール（Flexible Macroblock Ordering）を利用する。

特定の実現によれば、順方向又は逆方向予測のブロックの位置は、以下のステップに従って、あるピクチャについて定義される。ピクチャブロックのそれぞれについて、０と１の間のランダム数の帰属。それぞれの交換ピクチャに対する閾値の帰属。この閾値は、考慮されるピクチャが後続する参照画像に向かって時間的に移動するときに増加する。あるピクチャについて、該ピクチャに帰属される閾値を上回る番号のブロックの選択。

特定の実現によれば、ＴＶタイプのスキャンに従い、タイプＢの現在のピクチャのＮ_b個の最初のマクロブロックは、逆方向の動きベクトルを使用するものであり、Ｎ_bは以下により定義される。
Ｎ_b＝Ｎ_MB*α*ｂ
Ｎ_MB＝ピクチャ当たりのマクロブロックの数
α＝１／Ｍ，ＭはＰピクチャの周期。
ｂは、０＜ｂ＜ＭであるＩ又はＰ予測ピクチャのインターバルにおける現在のＢタイプピクチャの位置のインデックス１,２,３，．．．，である。

本方法は、最初のタイプＢの遷移ピクチャを、前もって定義されるパターンに対応するタイプＢの圧縮されたピクチャで置き換えることからなる。これらのパターンは、予測／圧縮ツール、逆方向の動きベクトル、順方向の動きベクトル及び重みからなる多かれ少なかれ複雑なセットを要求する。ひとたびピクチャが作製されると、事前にエンコードされたＢタイプのピクチャを、最初の遷移のＢタイプピクチャ、すなわち符号化順序を考慮したとき、第二の系列の最初のＩピクチャの後に位置されるピクチャに置き換える。

本発明の主要な利点は、スイッチング動作又は幾つかのスイッチング動作の間に現れる可能性がある誤りを最小にしつつ、ビデオ系列の別の系列へのスイッチング、又はビデオ系列の別の系列への挿入を可能にすることである。本発明により、互換性のない、ＧＯＰオープンなストリームのスイッチングのＭｐｅｇ符号化データストリーム、従って最適なやり方で圧縮されたビデオ系列を利用することができる。

Ｂ交換ピクチャを、予測モード、予測ベクトル及び予め定義された重みが設けられたＢピクチャで置き換えることで、スイッチは、正しく、すなわちスイッチングアーチファクトなしに、おそらく基本的な特別の作用に類似した生成により動作することができる。また、系列の遷移は、新たなデータストリームの開始で開いたＧＯＰにより生成される最も厄介なピクチャの誤りを削除することで平滑化される。

たとえばサーバレベルでデータストリームにおけるピクチャの置き換えは、所与のフォーマットについて、同じ予め定義されたピクチャから行なわれる。実現コストは、（Ｍｐｅｇ規格に従う）トランスポートストリームの構造が処理により変更されない事実のために低く、複雑なデパケット化（depacketisation）及びリパケット化（repacketisation）の動作が回避される。

本発明の他の特別の特徴及び利点は、限定するものではない例を提供することを狙いとする以下の記載で明らかに示され、添付図面に照らして明らかにされる。

図１は、ビデオ送信の間の、系列１と呼ばれるビデオ系列の系列２と呼ばれるビデオ系列へのスイッチングの原理を例示する。

使用されるビデオ系列は、Ｍｐｅｇ規格に従って符号化される系列である。ピクチャの符号化順序又は符号化される順序は、ピクチャがコーダの出力で送信される順序及び／又はコーダの入力でピクチャがデコード及び記憶される順序であり、双方向の符号化の可能性のため、これらデコードされたピクチャの表示順序とは異なる。

２つの系列１及び２はタイプＩ，Ｂ及びＰピクチャから構成されるものとし、その符号化順序は、以下である。
系列１：Ｂ１ Ｐ１** Ｂ１ Ｂ１ Ｂ１ Ｉ１ Ｂ１* Ｂ１* Ｂ１* Ｐ１
系列２：Ｂ２ Ｐ２** Ｂ２ Ｂ２ Ｂ２ Ｉ２ Ｂ２* Ｂ２* Ｂ２* Ｐ２
イントラタイプのピクチャ（Ｉ１，Ｉ２）は、新たなＧＯＰの境界を定義する。

イントラタイプのピクチャに続く３つの双方向タイプのピクチャは、アスタリスクでマークされたピクチャであり、イントラタイプのピクチャと呼ぶことができ、このイントラピクチャに先行するタイプＰピクチャは、２つのアスタリスクでマークされたピクチャであり、したがって前のＧＯＰに属する。この参照の選択は、マクロブロックのレベルで行なわれる。全体のピクチャの符号化は、２つのリファレンスであるイントラタイプのピクチャ及びタイプＰピクチャを同時に求める。

ＧＯＰレベルでのスイッチングは、系列１からＧＯＰの境界までで構成され、次いで系列２から構成される新たに送信される系列を与える。

スイッチされる系列：Ｂ１ Ｐ１** Ｂ１ Ｂ１ Ｂ１ Ｉ２ Ｂ２* Ｂ２* Ｂ２* Ｐ２
イントラタイプのピクチャに後続する３つの双方向タイプのＢ２*ピクチャは、デコーディングの間、イントラタイプのＩ２ピクチャ及び予測タイプのＰ１**ピクチャを参照する。したがって、３つのピクチャは、それらの参照画像のうちの１つを失っているので（Ｐ１**により置き換えられるＰ２**）、正しくデコードすることができない。

ここで、表示順序、すなわちディスプレイのためのリオーダリングの後の２つの符号化されたピクチャ系列を考える。
系列１：Ｂ１ Ｐ１** Ｂ１* Ｂ１* Ｂ１* Ｉ１ Ｂ１ Ｂ１ Ｂ１
系列２：Ｂ２ Ｐ２** Ｂ２* Ｂ２* Ｂ２* Ｉ２ Ｂ２ Ｂ２ Ｂ２
スイッチされる系列：Ｂ１ Ｐ１** Ｂ２* Ｂ２* Ｂ２* Ｉ２ Ｂ２ Ｂ２ Ｂ２
３つの双方向タイプのＢ２ピクチャのデコーディングは、コーディングの間に使用されるものとは異なる参照画像を利用する。この参照画像における違いは、Ｂ２ピクチャ*における視覚的な誤りの源である。

本発明に係る符号化方法は、１以上の参照画像に関して予測の残余の誤差の符号化に対応するＢ２ピクチャを、これらのタイプＢピクチャのブロックに含まれる誤った予測情報がデコーディングの間に使用される参照画像とは独立であるようなやり方で、予め決定されたコンフィギュレーションを有するピクチャで置き換えることからなる。

図１について、ビットストリームは、表示順序並びに符号化／復号化順序に従って表現される。
ａ）では、可視化順序及び表示順序に従って第一の系列のストリームが表されており、次いで、符号化順序に従って、矢印は、Ｂピクチャの参照の観点での従属を示す。（ｂ）では、第二の系列のピクチャが表されており、（ｃ）では、第一の系列の一部及び第二の系列の一部から構成される新たなビットストリームが表されており、（ｄ）では、（ｃ）におけるのと同じ例示であり、本方法が適用されてスイッチングアーチファクトの回避を可能にするピクチャであるＢと呼ばれるピクチャが表されている。

第一の方法は、ピクチャタイプの重み付け予測に基づいた、ピクチャベースと呼ばれる、系列のレベルでのプログレッシブタイプのスイッチングから構成される。第二の方法は、ピクチャのマクロブロックのレベルの特別の効果に基づいた、ブロックベースと呼ばれる、ピクチャのレベルでのプログレッシブなタイプのスイッチングから構成される。

ピクチャベースのプログレッシブなタイプのスイッチは、Ｍｐｅｇ４−ａｖｃ規格の環境で、暗黙的又は明示的な重み付けを利用する。

その後、様々に言及される「ヘッダ」及びヘッダフィールドは、Ｍｐｅｇ４−ａｖｃ規格を言及し、文献ＩＳＯ／ＭＥＣ１４４９６−１０で定義される。

暗黙的な重み付けツールは、たとえば、クロスフェージングを実行するために使用される。この例では全体で３である、Ｂ遷移ピクチャを介して２つの系列間でクロスフェージングを実現するため、ソリューションは、以下のステップに従ってＢピクチャのそれぞれを符号化することから構成される。

Ｂピクチャのヘッダにおいて、このピクチャがいわゆる暗黙の重み付けを使用することを示すステップ。この情報は、スライスヘッダにおけるピクチャパラメータセット（ＰＰＳ）フィールドで正確に発見され、スライスの全てのマクロブロックに関連する。したがって、クロスフェージングに専用とされるＰＰＳを挿入することが必要である。

それぞれ順方向又は逆方向の動きベクトルがゼロのベクトルに対応する双方向モードで、１６×１６画素に等価なルミナンスサイズのそれぞれのマクロブロック（ＭＢ）を符号化するステップ。

係るデコーディングがクロスフェージングを実行するためにサーチされる予測に対応するように、予測の残余を符号化せず、すなわちこれらゼロ値の残余を考慮する。

Ｂ_Cピクチャは、Ｉ２ピクチャを示すが、Ｐ１ピクチャも示す。Ｉ２ピクチャが古典的なイントラピクチャではないが、ＩＤＲピクチャに先行する参照画像が維持されていないこと、すなわちＰ１ピクチャが参照画像のリストから削除されていることを意味するＩＤＲタイプのイントラピクチャであるとき、Ｉ２ピクチャにおけるＩ（ＤＲ）２ピクチャの変換は、たとえば、デコーダがそのバッファから参照画像を空にしないようにヘッダを変更することで実行される。

そのように行なうことで、そのように符号化されたＢピクチャのそれぞれは、表示順序に従い時間フレーム（Ｐ１，Ｉ２）で考慮される、Ｂciピクチャの位置に依存する、図１ｄに示されるＰ１及びＩ２である参照画像の混合に従って、系列１から系列２へのプログレッシブな遷移を形成する。

Ｍ−１のＢ遷移ピクチャに基づいて、前の参照画像Ｐ_prevと後の参照画像Ｉ_nextとの間で、表示順序に従って、インデックス付けされたＢピクチャのＭＢマクロブロックについて、重み付けが以下のやり方で実行される。

ここで、ＭはＰピクチャの周期であり、α＝１／Ｍであり、ｂは、０＜ｂ＜ＭのようなＩ又はＰ予測ピクチャのインターバルにおける現在のＢタイプピクチャの位置インデックス１，２，３，．．．，である。

カップル（α，ｂ）は、暗黙的な重みの原理に対応し、Ｐ_prev（ｘ_for，ｙ_for）は、現在のマクロブロックのｘ_for及びｙ_for成分の順方向の動きベクトルにより示される、前の参照画像の表示順序におけるマクロブロックに対応する。Ｉ_next（ｘ_back，ｙ_back）は、現在のマクロブロックのｘ_back及びｙ_back成分の逆方向の動きベクトルにより示される、後の参照画像の表示順序におけるマクロブロックに対応する。

例として、Ｍ＝４の場合、インデックスｂ＝３のＢピクチャ、Ｉ_nextに先行するＢピクチャに属するマクロブロックの予測は以下のやり方で動作する。

したがって、上位の重み付けは、クロスフェージングを実行するのを可能にするピクチャＩ_nextに適用される。

たとえば、明示的な重み付けツールは、フェージングを実行するために利用される。
ピクチャのヘッダでは、重み付けされた予測フィールドは、参照画像のそれぞれに関連される重み付けファクタの値で規定される。

この例では、新たな系列に向けてブラックフェージング、次いでリバースフェージングにより遷移を動作するため、明示的な重み付けが使用される。この方法は、所定の数のＢピクチャを必要とし、このコンフィギュレーションは、Ｂピクチャの使用のみでなく、Ｍｐｅｇ４−ａｖｃ規格でＢ記憶（Bstored）と呼ばれるタイプＢの参照画像の使用の間に発見され、これらのピクチャは、参照画像としての役割を果たす。ここでのアイデアは、Ｂピクチャの第一の半分、クラシックなＢタイプのピクチャを形成すること、ブラックへの遷移を実行することであり、第二の半分は、第二の系列のＩピクチャのコンテンツに対するプログレッシブな遷移を形成する。

本方法は、以下に通りである。
遷移ピクチャの第一の半分はタイプＢ又はタイプＰピクチャとして符号化され、この場合、ＭＢマクロブロックがゼロベクトルをもち且つゼロの残余からなる順方向の予測にあり、明示的な重み付けは、以下のようにαに等しい。

ここで、ＭはＰピクチャの周期であり、α＝２／Ｍであり、ｂは０＜ｂ＜ＭのようなＩ又はＰ予測ピクチャの時間フレームにおける現在のＢタイプのピクチャの位置インデックス（１，２，３，．．．）である。
遷移ピクチャの第二の半分はタイプＢのピクチャとして符号化され、この場合、ＭＢマクロブロックはゼロベクトルをもち且つゼロの残余からなる逆方向の予測にあり、明示的な重み付けは、以下のようなαに等しい。

変形例は、ブラックにおいてＢ記憶における中央のピクチャを符号化することからなり、残りのＢピクチャは、したがって暗黙的な重み付けによりＢで符号化され、最初の部分のピクチャは、過去の参照画像及びＢ記憶ピクチャを参照し、他のＢピクチャは、Ｂ記憶ピクチャ及び新たな系列の参照画像に依存する。

前のソリューションは、ピクチャに基づいた遷移を可能にする。確かに、Ｂ遷移ピクチャの全てのマクロブロックは同様なやり方で符号化される。以下に記載されるブロックベースのスイッチングは、ベクトル、特に、ゼロ値からなる、ベクトルが示されるマクロブロックのそれぞれの参照画像のインデックスを利用することで、オリジナル及びプログレッシブな空間−時間遷移を実行するのを可能にする。

図２は、係る遷移の例を与える。これら特別の効果の例は、勿論、包括的なものではない。

図２ａは、分散されたマクロブロックによる遷移に対応し、図２ｂは、図の中央から外へのプログレッシブな遷移に対応し、図２ｃは、ピクチャの上からのプログレッシブなリニアな遷移に対応し、図２ｄは、ピクチャの左からの列における遷移に対応する。マクロブロックに帰属される番号は、ピクチャの出現の順番に対応する。移動の方向は、勿論、逆にすることができる。

このタイプの遷移は、時間的に連続して、逆方向の動きベクトルを介して、将来の参照画像、すなわちＩピクチャに向かうマクロブロックを示すことで実行され、マクロブロックは、なお、前の系列のＰピクチャを示す。

ここで、双方向の交換ピクチャは、ピクチャにおけるブロックの位置の関数である１以上の参照画像に関する予測に関連するゼロの動きベクトル、残余のゼロ値及び重み付けレートをピクチャブロックに帰属することで予め定義された順方向の予測及び逆方向の予測モードを有する。

図２ｃのラスタスキャンに関連する実現例は、以下に記載される。

ＭはＰピクチャの周期であり、α＝１／Ｍであり、ｂは０＜ｂ＜ＭであるＩ又はＰ予測ピクチャのインターバルにおける現在のＢタイプピクチャの位置のインデックス１，２，３，．．．，である。

将来の参照画像を示すｂインデックスのＢピクチャのマクロブロックのＮ_bの数は、Ｎ_b＝Ｎ_MB*α*ｂに等しく、Ｎ_MBはピクチャ当たりのマクロブロックの数である。

より詳細には、これは、ゼロ振幅の逆方向の動きベクトルにより、将来の参照画像を示す、マクロブロックによるピクチャのクラシックな符号化順序すなわちＴＶスキャンの順序に従う、ＢピクチャのＮ_bの最初のマクロブロックであり、ピクチャの残りのマクロブロックは、過去の参照画像を示し、これは、ゼロベクトルに基づいた順方向の動きベクトルである。

別の例は、図２ａの分散されたマクロブロックによる遷移からなる。これは、たとえば、関与する全てのピクチャの時間的に共に位置されるマクロブロックについて同じ数のレートで、第一のやり方で０と１の間に含まれるランダムな数をピクチャのフォーマットを構成するマクロブロックのそれぞれに帰属させることで得られる、ランダムに分散されたリパーティションを含み、次いで、そのランダムな数がα*ｂの値よりも上回るランクＢピクチャのマクロブロックが将来の参照画像を示すことになり、他のマクロブロックが、過去のインデックスピクチャをなお参照することを考慮する。実際に、これらの閾値は、後続の参照画像において示すマクロブロックのパーセンテージを定義するために設計され、Ｍ＝４の場合、１，２，３にそれぞれ等しいｂについて１／４；１／２次いで３／４である。

図３は、３つのＢタイプのピクチャのケースにおける左から右へのスイッチングの例を表し、最初のＢピクチャは、将来のＩ参照画像を示すマクロブロックの１／４を含み、Ｐピクチャを示すマクロブロックの３／４を含み、第二のＢピクチャのマクロブロックは、１／２で展開されており、第三のＢピクチャは、Ｐピクチャを示すマクロブロックの１／４を含み、Ｉピクチャを示すマクロブロックの３／４を含む。

Ｂピクチャ、更には所定のコンフィギュレーションについてＰピクチャのマクロブロックの符号化モードに関して、説明を明確にして本方法を理解する観点で順方向及び逆方向の双方向モードが使用される。幾つかのバリエーションは、Ｂピクチャの、Ｍｐｅｇ４−ａｖｃに特化した「ダイレクトモード」として知られるモード、順方向、逆方向の予測又は双方向の予測に対処するのを可能にするモードにわたり符号化コストの観点で更に効率的であることがわかる。さらに、これらダイレクトモードは、所定の条件に従って、マクロブロックの符号化コストが殆どゼロであるスキップモードと呼ばれるモード、このアプリケーションでは、残余の符号化コストがゼロに自発的に設定されるので使用される可能性が非常に高いモードと呼ばれるモードを達成する。

説明は、順方向ベクトル又は逆方向ベクトル又は双方向モードにおける両方のベクトルが帰属されるマクロブロックのエンティティに戻される動きの場の解像度から行なわれる。この選択は、シンプルな説明が行われるのを可能にする。実際、マクロブロックは、８×１６，１６×８，８×８，４×８，８×４及び４×４画素の大きさにされるルミナンスの小分割にスライスすることができる。これら小分割のなかで、これらの大きさ８×１６，１６×８、８×８は、異なるインデックスの参照画像を示すベクトルを有する。マクロブロックに適用される本方法は、これらマクロブロックの８×８の小分割にまで容易に拡張される。したがって、環状又は螺旋タイプの作用にとって非常に価値のある、空間的な作用の生成において薄い空間解像度を取得することができる。

重み付けされた予測フェージングとクロスフェージングに基づいた方法と、空間的な作用に基づいた方法の組み合わせは、このスイッチング技術の変形例を表す。参照画像に関する中間のＢピクチャの重み付けについて、ピクチャにおけるマクロブロックの数だけでなく、輝度をも考慮する必要がある。したがって、空間的な作用、又はより正確にはＢピクチャについて記載される空間的な生成に、フェージングに関連されないブロックの暗黙的な重み付け、双方向予測又は明示的な重み付け、順方向予測（リストＩ₀）又は逆方向予測（リストＩ₁）を結合することが可能である。

暗黙的又は明示的な重み付けは、マクロブロックのスライスのレベルでのみ決定される。Ｈ２６４標準に含まれるツール、Flexible Macroblock Orderingを意味するＦＭＯを利用することができ、問題となるブロックに関してマクロブロックのスライスが構築されるのを可能にし、したがって、これらの制約を低減し、したがって可能性のある効果を高めることができる。図２ｃのラスタスキャンのケースにおいて、ＦＭＯツールを使用することなしにピクチャを４つのスライスに容易に分解することができる場合、同じことが左から右への列のスキャンで進まない。このプログレッシブスキャンにおけるピクチャに関する提案は、特に、図１に例示される時間的な参照（Ｐ１，Ｉ２）で考慮されるフレームの時間的なインデックスを考慮して、インタレーススキャンにおけるピクチャにも適用可能である。

本発明の分野の残りで、本出願すなわちピクチャの置き換えを、より少ない目に見えない視覚的なスイッチング効果を可能にするように、すなわち３以上の新たなタイプのＢピクチャに限定せずに、たとえば第一のストリームの前のタイプのＩ又はＰピクチャから第二のストリームの第一のタイプのＩピクチャにまで更に重要なシーケンシャルな期間にまで拡張することが可能である。

また、本出願は、ストリーム内で前もって検出されている厳しいシーンの遷移の瞬間で既存のストリームにおいて特別な効果をなすために実現することができる。

本出願は、デジタル画像の送信に関する全てに関連し、より詳細には、圧縮されたビデオピクチャのビットストリームで直接に動作するもの関連する。これらの応用は、ビデオサーバ向けに意図される。

２つのビットストリーム間のストリームスイッチングを示す図である。 ピクチャレベルでの遷移の例を示す図である。 ある系列のレベルでの垂直方向の左から右への遷移の例を示す図である。

符号の説明

Ｉ：イントラ符号化ピクチャ
Ｂ：双方向型のインター符号化ピクチャ
Ｐ：予測型のインター符号化ピクチャ

Claims (6)

1. 第一のデータストリームの与えられたスイッチングポイントで、第二のビデオ系列に対応する第二のデータストリームにより後続される第一のビデオ系列に対応する第一のデータストリームの送信のための、圧縮されたビデオデータストリームのスイッチング方法であって、
   前記第一及び第二のビデオ系列は、グループオブピクチャ（ＧＯＰ）構造に従って符号化され、それぞれのＧＯＰは、イントラモードで符号化されるイントラタイプのピクチャ、インターモードで符号化される予測タイプのピクチャ及びインターモードで符号化される双方向タイプのピクチャを含んでおり、
   当該方法は、
   その送信の前に、ピクチャの符号化順序に関して、前記スイッチングポイントに続く第一のＧＯＰのイントラピクチャに続くピクチャ及び双方向タイプのピクチャを、交換ピクチャと呼ばれる双方向ピクチャで置き換えることで、前記第二のデータストリームを変更するステップを含み、
   前記交換ピクチャのピクチャブロックは、ゼロの残余と、前記交換ピクチャにおけるブロックの位置及びインター符号化のために使用される参照画像に関する前記交換ピクチャの時間的な位置に従って順方向又は逆方向のベクトルであるゼロの動きベクトルとを有し、
   前記順方向又は逆方向の動きベクトルは、前記マクロブロック又は前記サブパーティションに帰属される参照画像に関するインデックスにより定義され、前記第一及び第二のデータストリームはＭPEGデータストリームであり、前記ピクチャブロックは、マクロブロック又はマクロブロックのサブパーティションであり、
   前記ピクチャブロックは、参照画像に関する予測に関して重み付けされ、重み付けの割合は、前記参照画像に関して交換ピクチャの時間的な位置に関連される、
   ことを特徴とする方法。
2. 逆方向の予測の交換ピクチャにおけるブロック数は、問題とされるピクチャの時間的な位置が後続する参照画像に近くなるときに、あるピクチャから別のピクチャへと増加する、
   ことを特徴とする請求項１記載の方法。
3. 重み付けの割合は、マクロブロックのスライスごとに予め決定され、 同じ重み付けの割合が選択されるマクロブロックの位置に従ってピクチャがスライスに分割される、
   ことを特徴とする請求項１記載の方法。
4. 前記スライスを定義するためにＦＭＯ（Flexible Macroblock
   Ordering）ツールが利用される、
   ことを特徴とする請求項３記載の方法。
5. 順方向又は逆方向予測のためのブロックの位置は、あるピクチャについて、
   ピクチャブロックのそれぞれについて、０と１の間のランダム数を帰属させるステップと、
   それぞれの交換ピクチャに閾値を帰属させるステップと、前記閾値は、問題とするピクチャが後続する参照画像に向かって時間的に移動するときに増加し、
   あるピクチャについて、前記ピクチャに帰属される閾値を上回る数のブロックを選択するステップと、
   に従って定義される、
   ことを特徴とする請求項１記載の方法。
6. ＴＶタイプのスキャンに従って、現在の双方向予測タイプのピクチャのＮ_b個の最初のマクロブロックは、逆方向の動きベクトルを使用し、Ｎ_bはＮ_b＝Ｎ_MB*α*ｂにより定義され、Ｎ_MBはピクチャ当たりのマクロブロックの数であり、αは１／Ｍであり、Ｍは予測タイプのピクチャの周期であり、ｂは、０＜ｂ＜Ｍであるイントラ又は予測タイプのピクチャのインターバルにおける現在の双方向予測タイプのピクチャの位置のインデックス１,２,３，．．．，である、
   ことを特徴とする請求項１記載の方法。

Images