JP2007521696A - エラー・コンシールメントのための直接モード導出プロセス - Google Patents

Abstract

欠落／損失マクロブロックの時間的コンシールメントは、ビデオ・デコーダで通常標準化されている直接モード導出プロセスに依拠している。欠落／破損マクロブロックの形態でエラーが検出されると、第１の以前に伝送されたピクチャ内の同じ位置にあるマクロブロックを見つける。この同じ位置にあるマクロブロックの動きベクトルを決定する。この同じ位置にあるマクロブロックに対して決定した動きベクトルに従って、第２の以前に伝送されたピクチャから得られる動き補償データによって、識別されたマクロブロックを予測する。

Description

本発明は、符号化ビデオ・ストリーム中の欠落(ｍｉｓｓｉｎｇ)／破損(ｃｏｒｒｕｐｅｔ）マクロブロックの時間的コンシールメント（ｔｅｍｐｏｒａｌ ｃｏｎｃｅａｌｍｅｎｔ）を行う技術に関する。

多くの場合、記憶および伝送を容易にするために、ビデオ・ストリームを圧縮（符号化）する。現在では、しばしば簡略にＩＴＵ Ｈ．２６４またはＪＶＴと呼ばれる提案されたＩＳＯ ＭＰＥＧ ＡＶＣ／ＩＴＵ Ｈ．２６４符号化規格（標準）などのブロック方式も含めて、様々な圧縮方式がある。このような符号化されたビデオ・ストリームでは、チャネル・エラーおよび／またはネットワークの混雑状態によって伝送中にデータの損失が起きたり、またはビデオ・ストリーム自体が破損したりすることも珍しくない。こうしたデータの損失／破損は、復号時にピクセル値の欠落／破損（欠落または破損）という形式で現れ、これにより画像のアーティファクトが生じる。

空間的コンシールメント（ｓｐａｔｉａｌ ｃｏｎｃｅａｌｍｅｎｔ：空間的隠蔽）は、同じ画像内のその他の領域のピクセル値を用いて欠落／破損ピクセル値を導出しようとするものであるため、同一フレーム内の近接するブロック間の空間的冗長性を利用することになる。空間的エラー・コンシールメントとは異なり、時間的コンシールメント（時間的隠蔽）では、少なくとも１つの以前に伝送されたマクロブロックから欠落ピクセル値を推定するために、符号化された動き情報、即ち参照ピクチャ・インデックスおよび動きベクトルを回復しようと試みるので、同一シーケンスの異なるフレームのブロック間の時間的冗長性を利用することになる。

時間的エラー・コンシールメントを行う際には、一般に、それより先に伝送された１つまたは複数のマクロブロックの動き補償を行うことによって、各欠落／破損マクロブロックを推定する。現在の時間的コンシールメント戦略は、通常は、複雑さを軽減し、且つ速度を上げるために、計算量を最小限に抑えた次善の解決策を容認している。このような次善策は、通常は、欠落した動きベクトルの値を推測するために空間的近傍（同一フレーム内）を利用するか時間的近傍（他のフレーム内）を利用するかによって、２つのカテゴリに分類される。空間的近傍を利用するエラー・コンシールメントは、近傍の動き情報に基づいて、欠落したブロックの動きベクトルの回復を試みる。このような技術では、空間的に近接するブロックの変位に高い相関があることを前提としている。幾つかの動きベクトルを考慮する場合には、現在のフレーム中の欠落／破損ブロックの外部境界情報と参照フレームから得たコンシールメントされたブロックの内部境界情報の最小二乗平均誤差（ＭＳＥ）を計算することによって、最良の候補を発見する。このような手続きは、コンシールメントされた画像の平滑性を最大限に高める傾向があるが、その代わりに計算量が増大する。より高速のアルゴリズムでは、隣接する動きベクトルの中央値または平均値を計算し、この値を欠落ブロックの動きベクトルとして与える。

エラー・コンシールメントを行うもう一方の次善策では、時間的に近接するマクロブロックを利用する。この手法では、近接するフレーム内の同じ位置にあるブロックの間の時間的相関を利用して、欠落したブロックの動きベクトルの回復を試みる。通常は、時間的近接マクロブロックを利用する技術は、損失したブロックの位置が連続した２つのフレームにおいて変わらないこと、即ち当該ブロックの変位をゼロ動きベクトルでモデル化することができることを前提としている。これに基づき、現在のフレームにおける欠落したブロックの時間的コンシールメントは、その前に伝送されたフレームの同じ位置にあるブロックを単純にコピーすることによって行われる。このような手続きは、速度と簡潔さをもたらすが、動いている領域では性能が低くなる。最近提案された複数のビデオ符号化規格（標準）にも、動き情報が伝送されなかったブロックの動きベクトルを導出する同様の戦略があるが、これらの性能は制限されている。

従って、上述の問題を解決する、損失／破損マクロブロックの時間的コンシールメントを行う技術が必要とされている。

（発明の概要）
簡単に述べると、第１の好ましい実施形態によれば、直接モード（ｄｉｒｅｃｔ−ｍｏｄｅ：ダイレクト・モード）で符号化されたマクロブロックのアレイ中の欠落／破損マクロブロックの時間的コンシールメントを行う技術が提供される。直接モードは、データが伝送されないＰフレーム・スキップ・マクロブロックとは対照的に、Ｂスライスまたはピクチャのマクロブロックについてはビデオ・ストリームでは動きパラメータが伝送されない、特定のフレーム間符号化モードである。最初に、アレイ内の、欠落／破損値を有する少なくとも１つのマクロブロックを識別する。次に、マクロブロックのアレイからなる第１の以前に伝送されたピクチャ内で、同じ位置にあるマクロブロックを突き止め、その同じ位置にあるマクロブロックの動きベクトルを決定する。この動きベクトル（「同じ位置の動きベクトル」と呼ぶ）を、識別したマクロブロックと同じ位置にあるマクロブロックの間の距離にほぼ対応するピクチャ・オーダ・カウント（ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）距離に従ってスケーリングする。識別したマクロブロックを、スケーリングした同じ位置の動きベクトルに従って、第１のピクチャおよび第２の以前に伝送されたピクチャの両方からの動き補償データによって、予測する。この技術は、ＭＰＥＧ−４など、Ｂフレーム・ピクチャを使用するブロック圧縮技術で圧縮されたビデオに適用可能である。

第２の好ましい実施形態によれば、ＩＴＵ Ｈ．２６４符号化規格などの符号化規格（標準）に従って直接モードで符号化されたマクロブロックのアレイ内の欠落／破損マクロブロックの時間的コンシールメントを行う技術が提供される。最初に、アレイ内の、欠落／破損値を有する少なくとも１つのマクロブロックを識別する。次に、マクロブロックのアレイからなる第１の以前に伝送されたピクチャ内の同じ位置にあるマクロブロックを突き止め、この同じ位置にあるマクロブロックの同じ位置の動きベクトルおよび参照インデックスを決定する。この同じ位置の動きベクトルを、ピクチャ・オーダ・カウント（ＰＯＣ）距離に従ってスケーリングする。参照インデックスに従って第２の以前に伝送されたピクチャを選択し、第１および第２の以前に伝送されたピクチャからのデータを、スケーリングした同じ位置の動きベクトルを用いて動き補償して、識別したマクロブロックの予測を行う。

１．背景
本発明の原理による欠落／破損マクロブロックの時間的コンシールメントを行う技術は、ＩＴＵ Ｈ．２６４符号化規格の状況において最もよく理解することができるが、以下に述べるように、この技術は、ＭＰＥＧ−４符号化規格など、その他の符号化規格にも適用可能である。従って、ＩＴＵ Ｈ．２６４符号化規格による直接モード符号化に利用可能な導出プロセスについて簡単に説明しておくことは、後に役に立つであろう。ＩＴＵ Ｈ．２６４符号化規格では、複数の参照ピクチャをフレーム間予測に使用することができ、参照インデックスは、デコーダ（図示せず）に関連する参照ピクチャ・バッファ（図示せず）中のピクチャのうち、どのピクチャ（１つまたは複数）が使用されるかを示すように符号化される。参照ピクチャ・バッファは、２つのリスト、リスト０およびリスト１を保持する。Ｐスライス内のブロックの予測は、「ＲｅｆＩｄｘＬ０」と呼ばれる伝送された参照インデックス、および「ＭｖＬ０」と呼ばれる伝送された動きベクトルに従って、リスト０内の異なる参照ピクチャから単一の動きベクトルを用いて行うことができる。Ｂスライス内のブロックの予測は、「ＲｅｆＩｄｘＬ０」および「ＭｖＬ０」としてそれぞれ伝送されたリスト０からの参照インデックスおよび動きベクトル、またはリスト１からの参照インデックス「ＲｅｆＩｄｘＬ１」および動きベクトル「ＭｖＬ１」を用いて、リスト０またはリスト１の何れかから行うことができる。また、双方向予測モードでは、両方のリストを用いる。この最後の場合には、ブロックの内容の予測は、リスト０からの１つのブロックの内容とリスト１からの別のブロックの内容とを平均することによって行われる。

ＲｅｆＩｄｘＬ０／ＭｖＬ０および／またはＲｅｆＩｄｘＬ１／ＭｖＬ１を常に伝送することを避けるために、Ｈ．２６４規格では、Ｂスライスのブロックを直接モードで符号化することもできる。この場合には、伝送されない動きベクトルおよび参照ピクチャ・インデックスを導出する方法は、２通り存在する。（ａ）空間的直接モード（ｓｐａｔｉａｌ−ｄｉｒｅｃｔ ｍｏｄｅ）と、（ｂ）時間的直接モード（ｔｅｍｐｏｒａｌ−ｄｉｒｅｃｔ ｍｏｄｅ）である。必要な全ての情報が入手できるものと仮定して、プログレッシブ符号化の各モードについて述べる。その他の場合についての定義は、ＩＴＵ Ｈ．２６４符号化規格の仕様に記載されている。

１．１．ＩＴＵ Ｈ．２６４符号化規格における空間的直接動きベクトル予測
図１のマクロブロックＥに関する空間的直接動きベクトル予測を開始するときに、リスト０および１の参照インデックスは、以下の関係に従って、図１中の近接するブロックＡ〜Ｄから推測される。

演算子ＭｉｎＰｏｓｉｔｉｖｅは、以下の式で与えられる。

動きベクトル予測ＭｖｐＬＸ（Ｘは０または１）の各成分は、動きベクトルＭｖＬＸＡ、ＭｖＬＸＢおよびＭｖＬＸＣの対応するベクトル成分の中央値（ｍｅｄｉａｎ）で与えられる。

エラー・コンシールメントに使用するときには、図１のＥを含むスライスの外側のサンプルの予測を行うことも考えられることに留意されたい。

直接モードでは、特に様々なブロック・サイズを用いることを見込んでいるＩＴＵ Ｈ．２６４符号化規格に関しては、ブロック・サイズを決定することが重要であることがある。ｍｂタイプのＤｉｒｅｃｔ１６×１６で示される空間的直接モードを使用するときには、単一の動きベクトルと、リスト０および１の参照インデックスとを、１６×１６のマクロブロック全体について導出する。サブｍｂタイプのＤｉｒｅｃｔ８×８で示される空間直接モードを使用するときには、即ち８×８のサブ・マクロブロックの場合には、単一の動きベクトルと、リスト０および１の参照インデックスとを、８×８のサブ・マクロブロックについて導出する。

１．２．ＩＴＵ Ｈ．２６４符号化規格における時間的直接動きベクトル予測
現在のマクロブロックのアドレス（ＭｂＡｄｄｒ）を入力データとして、時間的直接動きベクトル予測の例示的なアルゴリズムは、リスト１の第１の参照ピクチャ上の同じ位置にあるブロックの位置を計算する（図２参照）。同じ位置にあるブロックは、図２に示すように、その内容を推定するためのパラメータＭｖＬ０Ｃｏｌ、ＭｖＬ１Ｃｏｌ、ＲｅｆＩｄｘＬ０ＣｏｌおよびＲｅｆＩｄｘＬ１Ｃｏｌと、ＭｖＶｅｒｔＳｃａｌｅＦａｃｔｏｒとを提供する。これらの値から、このアルゴリズムは、同じ位置の動きベクトルＭｖＣｏｌの値、並びに参照インデックスＲｅｆＩｄｘＬ０およびＲｅｆＩｄｘＬ１を、以下のように導出する。
ＲｅｆＩｄｘＬ１＝０と設定する。これはリスト１中の第１のピクチャである。
ＲｅｆＩｄｘＬ０Ｃｏｌが負でない場合には、リスト０の動きベクトルＭｖＬ０ＣｏｌをＭｖＣｏｌに割り当て、リスト０の参照インデックスＲｅｆＩｄｘＬ０ＣｏｌをＲｅｆＩｄｘＬ０に割り当てる。

ＲｅｆＩｄｘＬ１Ｃｏｌが負でない場合には、リスト１の動きベクトルＭｖＬ１ＣｏｌをＭｖＣｏｌに割り当て、リスト１の参照インデックスＲｅｆＩｄｘＬ１ＣｏｌをＲｅｆＩｄｘＬ０に割り当てる。

それ以外の場合には、同じ位置にある４×４サブ・マクロブロック・パーティションをイントラ符号化する。
以下の関係は、動きベクトルＭｖＬ０ＣｏｌおよびＭｖＬ１Ｃｏｌを規定するものである。

ここで、ｃｌｉｐ３（ａ，ｂ，ｃ）は、範囲［ａ，ｂ］のｃをクリッピングする演算子である。

時間的直接モードでは、導出された動きベクトルは、同じ位置にあるマクロブロックで使用したのと同じサイズのピクセル・ブロックに適用される。前述の諸関係から理解されるであろうが、動きベクトルは、識別されたマクロブロックと同じ位置にあるマクロブロックの間の距離にほぼ対応するピクチャ・オーダ・カウント（ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）距離に従って、スケーリングされる。

ＭＰＥＧ−４の直接符号化（ｄｉｒｅｃｔ ｃｏｄｉｎｇ）
ＭＰＥＧ−４符号化規格では、Ｐピクチャのマクロブロック動きベクトルを利用し、これらのベクトルをスケーリングしてＢピクチャのマクロブロックの順方向動きベクトルおよび逆方向動きベクトルを導出する、ＩＴＵ Ｈ．２６３符号化規格を拡張して得られた直接双方向動き補償を用いる。これは、８×８個のブロックの動きベクトルを使用することを可能にする唯一のモードである。これは、予測可能なビデオ・オブジェクト・プレーン（Ｐ−ＶＯＰ：Ｐｒｅｄｉｃｔｉｖｅ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）内の同じ位置にあるマクロブロックが８×８ＭＶモードを使用しているときにのみ可能である。ＩＴＵ Ｈ．２６３符号化規格によれば、Ｂフレーム・シンタックス（Ｂ−ｆｒａｍｅ ｓｙｎｔａｘ）を用いて、マクロブロック当たり許容されるデルタ動きベクトルは１つだけである。

図３は、ＭＰＥＧ−４符号化規格の直接符号化に関連する動きベクトルのスケーリングを示す図である。Ｈ．２６３符号化規格からＭＰＥＧ−４符号化規格への第１の拡張点は、ＭＰＥＧ−１符号化規格の場合と同様にフル・ブロック／マクロブロックに対して双方向予測を行うことができることである。ＩＴＵ Ｈ．２６３符号化規格の第２の拡張点は、補間が可能な介在するビデオ・オブジェクト・プレーン（ＶＯＰ）が１つのみでなく、複数のＶＯＰの補間を行うことができることである。動きが高速であること、またはフレーム間距離が大きいことによって予測の質が低下する場合には、その他の動き補償モードを選択することができる。

動きベクトルの計算
順方向動きベクトルおよび逆方向動きベクトルの計算では、時間的にその次の予測可能なビデオ・オブジェクト・プレーン（Ｐ−ＶＯＰ）内の同じ位置にあるブロックの線形スケーリングを行った後でデルタ・ベクトルによる補正を行うので、実際には、ＩＴＵ Ｈ．２６３符号化規格で行われる手続きと同じである。唯一わずかに異なる点は、ＭＰＥＧ−４符号化方式では、ピクチャの代わりにビデオ・オブジェクト・プレーン（ＶＯＰ）が存在し、一対の参照ピクチャの間にＢピクチャが１つしか存在しないのではなく、一対の参照ＶＯＰの間に複数の双方向ＶＯＰ（Ｂ−ＶＯＰ：ｂｉｄｉｒｅｃｔｉｏｎａｌ ＶＯＰ）が許容される点である。Ｈ．２６３符号化規格の場合と同様に、参照ＶＯＰ対の時間参照の差に対するＢ−ＶＯＰの時間参照を使用して、デルタ・ベクトルによって補正された動きベクトルを計算するためのスケーリング・ファクタを決定する。更に、同じ位置にあるマクロブロック（Ｍｂ）は、可能であれば同じインデックスを用いてＭｂとして定義される。そうでない場合には、直接モードを使用しない。

順方向動きベクトル「ＭＶ_Ｆ」および逆方向動きベクトル「ＭＶ_Ｂ」は、以下のようにハーフ・サンプル（ｈａｌｆ ｓａｍｐｌｅ）単位で与えられる。

ここで、ＭＶは、参照ＶＯＰに対する予測可能なビデオ・オブジェクト・プレーン（Ｐ−ＶＯＰ）内のマクロブロックの直接動きベクトル、ＴＲ_Ｂは、双方向ＶＯＰ（Ｂ−ＶＯＰ）とその前の参照ＶＯＰとの時間参照の差である。ＴＲ_Ｄは、Ｂ−ＶＯＰまたはスキップされたＶＯＰが中間にあると仮定して、時間的にその次の参照ＶＯＰと時間的にその前の参照ＶＯＰとの時間参照の差である。

２．エラー・コンシールメントのための空間的直接導出プロセスおよび時間的直接導出プロセスの使用
本発明の原理によれば、直接モードを使用して、（１）動きベクトル、（２）参照ピクチャ・インデックス、（３）符号化モード（リスト０／リスト１／双方向）、および（４）符号化モードをコンシールメントに適用するブロック・サイズを導出する。発明者等は、破損／欠落マクロブロックを予測するために必要な情報を導出するプロセスが、それ以前に伝送されたフレームの動き補償データによる直接符号化マクロブロックの回復に非常に近い問題を規定することを発見した。従って、直接モードで符号化されたブロックを予測するための同じアルゴリズムによって、直接モードをフレーム間符号化の具体的なケースとして定義している規格に準拠した任意のビデオ・デコーダを使用して、追加の実施コストを発生させることなく、フレーム間符号化されたフレーム上の損失した／破損したブロックを予測することができる。これは、現在のＭＰＥＧ−４ビデオ・デコーダおよびＨ．２６４ビデオ・デコーダにも当てはまり、動きベクトルを直接モードで導出するアルゴリズムを実施することによって、ＭＰＥＧ−２ビデオ・デコーダに当てはまることもある。

エラー検出およびエラー・コンシールメントは独立したプロセスを構成し、エラー・コンシールメントは、エラー検出によって受信データの一部が破損または欠落していると判定されたときにのみ開始される。マクロブロック・レベルでエラー検出を実行するときに、現在復号されているマクロブロックでエラーが検出された場合には、復号プロセスを変更することなくコンシールメントが行われる。しかし、スライス・レベルでエラー検出が行われるときには、当該スライス内の全てのマクロブロックが、エラーの前にコンシールメントを必要とする。今の段階では、最良のコンシールメント順序を決定するための数多くの戦略が存在する。１つの簡単な戦略によれば、エラー・コンシールメントは、スライス内の第１のマクロブロックに対して開始され、その前の復号順序に従って進行する。より洗練された戦略では、エラーの伝搬を回避するためにその他の方向に進行する可能性もある。

２．２．複数の導出プロセスが利用可能である場合の導出プロセスの選択基準
本発明の原理によるエラー・コンシールメントは、空間的直接モードまたは時間的直接モードのみに依拠することによって、或いは両モードを併用することによって行われる。両モードを利用するときには、特定のブロックまたはマクロブロックに対してより良好なコンシールメントが行われるモードを選択するための基準がなければならない。好ましい実施形態では、アプリオリ（ａ ｐｒｉｏｒｉ：予測的）に適用される基準、即ち２つのモードの何れかを実際に選択する前に適用される基準と、アポステリオリ（ａ ｐｏｓｔｅｒｉｏｒｉ：帰納的）に適用される基準、即ちより良好な結果をもたらすモードを選択するために両モードを実行した後で適用される基準の間には違いがある。

２．２．１．アプリオリ（予測的）に適用される基準
コンシールメントを必要とする領域のサイズは、空間的直接モードを使用するか時間的直接モードを使用するかを判定するための、アプリオリに適用される１つの基準となる。時間的直接モードのコンシールメントは、大きな領域に対してより良好な結果をもたらし、空間的直接モードは、小さな領域に対してより良好な結果をもたらす。同一ピクチャ内のその他のスライスで選択されたコンシールメント・モードは、損失した、または欠落したスライスをコンシールメントする特定のモードを選択するための、もう１つの基準となる。従って、同一ピクチャ内のその他のスライスが空間的直接モードで符号化されている場合には、当該領域に対してもそのモードを選択しなければならない。

図４Ａは、サイズや近接するスライスで使用されたコンシールメント・モードなどのアプリオリ基準によるモード選択を利用する、復号およびエラー・コンシールメントのプロセスを示す流れ図である。アプリオリ・モード選択は、選択された基準に関係のあるパラメータが入力されたときに開始される（ステップ１００）。その後、ステップ１０２で、エラー検出が行われ、欠落／破損マクロブロックの存在が検出される。ステップ１０４で、欠落／損失マクロブロックの形態でエラーが存在するかどうかを判定するチェックが行われる。ステップ１０４でエラーが発見されると、ステップ１０６に分岐し、入力された基準に従って時間的直接導出モードまたは空間的直接導出モードの一方が選択される。

ステップ１０４でエラーが発見されない場合には、ステップ１０８で、マクロブロックが直接モードで符号化されているかどうかを判定するチェックが行われる。直接モードで符号化されていない場合には、ステップ１０９に分岐し、マクロブロックに対してフレーム間予測モードの復号が行われ、その後ステップ１１１でデータが出力される。ステップ１０８でマクロブロックが直接モードで符号化されていると判定された場合、或いはステップ１０６に進んだ場合にはステップ１０６に続いて、ステップ１１０で、選択されたモードが時間的直接モードであったかどうかをチェックする。時間的直接モードであった場合には、ステップ１１２で、時間的直接モード・プロセスを用いて、動きベクトルおよび参照インデックスの回復が行われ、その後ステップ１０９に進む。そうでない場合には、ステップ１１０に続いて、空間的直接モードの導出プロセスによって動きベクトルおよび参照インデックスの回復が行われ、その後ステップ１０９が実行される。

２．２．２．アポステリオリ（帰納的）に適用される基準
前述のように、時間的直接モードの導出プロセスおよび空間的直接モードの導出プロセスの両方を行い、アポステリオリに適用される幾つかの基準のうちの１つに従って、特定の一方のプロセスの結果を選択する。例えば、両方のプロセスを行いながら、コンシールメントされたブロックとその近接するブロックの境界における移行が最も滑らかとなるプロセスの結果のみを保持する。或いは、両方のプロセスを行いながら、デブロッキング・フィルタにおいて、より低い境界強度値（エラー・コンシールメントに続いて測定される）を生じたプロセスのみを保持することができる。境界強度値が低くなると、移行がより滑らかになり、動き補償もより良好になる。

図４Ｂは、モード選択を決定するためのアポステリオリ（帰納的）な基準によるモード選択を利用する、復号およびエラー・コンシールメントのプロセスを示す流れ図である。アポステリオリな基準によるモード選択は、選択された基準に関係するパラメータが入力されたときに開始される（ステップ２００）。その後、ステップ２０２でエラー検出が行われ、欠落／破損マクロブロックが存在するかどうかを判定する。ステップ２０４で、欠落／損失マクロブロックの形態でエラーが存在するかどうかを判定するチェックが行われる。ステップ２０４でエラーが発見されると、ステップ２０６および２０８の両方への分岐が行われる。ステップ２０６では、時間的直接導出プロセスが開始され、上述の方法で、時間ドメインの近接する参照ブロックから動きベクトルおよび参照インデックスが導出される。ステップ２０８では、空間的直接導出プロセスが開始され、上述の方法で、空間ドメインの近接する参照ブロックから動きベクトルおよび参照インデックスが導出される。その後、ステップ２１０で、ステップ２００で入力された基準に従って、動きベクトル（Ｍｖ）および参照インデックス（ＲｅｆＩｄｘ）の選択が行われる。ステップ２１０に続いて、ステップ２１２で、フレーム間予測モードの復号が開始され、このステップで得られたデータが、ステップ２１３で出力される。

ステップ２０４でエラーが発見されない場合には、ステップ２１４で、マクロブロックが直接モードで符号化されているかどうかを判定するチェックが行われる。直接モードで符号化されていない場合には、前述のように、ステップ２１２への分岐が行われる。ステップ２１４でマクロブロックが直接モードで符号化されていることが分かった場合には、ステップ２１６が行われ、選択されたモードが時間的直接モードであったかどうかを判定するチェックが行われる。選択されたモードが時間的直接モードであった場合には、ステップ２１８で、時間的直接モード・プロセスを用いて、動きベクトルおよび参照インデックスの回復が行われ、その後ステップ２１２に進む。そうでない場合には、ステップ２１６に続いて、ステップ２２０で、空間的直接モードの導出プロセスによって動きベクトルおよび参照インデックスの回復が行われ、その後、ステップ２１２が実行される。

以上の記述は、符号化ビデオ・ストリーム中の欠落／破損マクロブロックの時間的コンシールメントを行う技術について述べたものである。

空間的直接モード予測に使用されるマクロブロックの部分アレイを示す図である。 第１および第２の参照ピクチャからのＢパーティションについて時間的直接モード予測を行う技術を示すグラフである。 同じ位置の動きベクトルをスケーリングする方法を示す図である。 アプリオリに適用される幾つかの基準を用いて本発明の原理によるエラー・コンシールメントを行う方法の各ステップを示す流れ図である。 アポステリオリに適用される幾つかの基準を用いて本発明の原理によるエラー・コンシールメントを行う方法の各ステップを示す流れ図である。

Claims (17)

1. 直接モードで符号化されたビデオ・ストリーム中の欠落／破損マクロブロックの時間的コンシールメントを行う方法であって、
   少なくとも１つの欠落／破損マクロブロックを識別するステップと、
   第１の以前に伝送されたピクチャ内の同じ位置にあるマクロブロックを発見するステップと、
   前記同じ位置にあるマクロブロックの同じ位置の動きベクトルを決定するステップと、
   ピクチャ・オーダ・カウント（ＰＯＣ）距離に従って前記同じ位置の動きベクトルをスケーリングするステップと、
   前記スケーリングされた同じ位置の動きベクトルに従って、前記第１の以前に伝送されたピクチャおよび第２の以前に伝送された参照ピクチャからの動き補償データによって、前記識別されたマクロブロックの欠落／破損データを予測するステップと、
   を含む、前記方法。
2. 前記欠落／破損データが、時間的直接モードを用いて予測される、請求項１に記載の方法。
3. 前記欠落／破損データが、予測前に選択される少なくとも１つの基準に従って、時間的直接モードの導出プロセスおよび空間的直接モードの導出プロセスの一方を用いて予測される、請求項１に記載の方法。
4. 前記時間的直接モードの導出プロセスおよび前記空間的直接モードの導出プロセスの一方の選択が、コンシールメント領域のサイズに従って行われる、請求項３に記載の方法。
5. 前記時間的直接モードの導出プロセスおよび前記空間的直接モードの導出プロセスの一方の選択が、近接するスライスの導出モードに応答して行われる、請求項４に記載の方法。
6. 前記欠落／破損データの予測が、
   前記時間的直接モードの導出プロセスおよび前記空間的直接モードの導出プロセスを実行するステップと、
   少なくとも１つの帰納的な基準に従って、前記時間的直接モードの導出プロセスおよび前記空間的直接モードの導出プロセスの一方の結果を選択するステップとによって行われる、請求項１に記載の方法。
7. 前記同じ位置の動きベクトルを適用する前記第１のピクチャおよび前記第２のピクチャ内のブロックのサイズを導出するステップを更に含む、請求項１に記載の方法。
8. ＩＴＵ Ｈ．２６４符号化規格により、デブロッキングの境界強度値に従って結果を選択する、請求項１に記載の方法。
9. 前記欠落／破損データが、ＩＴＵ Ｈ．２６４符号化規格に定義される時間的直接モードを用いて予測される、請求項１に記載の方法。
10. ＩＳＯ／ＩＴＵ Ｈ．２６４符号化規格に従って直接モードで符号化されたビデオ・ストリーム中の欠落／破損マクロブロックの時間的コンシールメントを行う方法であって、
    少なくとも１つの欠落／破損マクロブロックを識別するステップと、
    第１の以前に伝送されたピクチャ内の同じ位置にあるマクロブロックを発見するステップと、
    前記同じ位置にあるマクロブロックの参照インデックスおよび動きベクトルを決定するステップと、
    前記動きベクトルをスケーリングするステップと、
    前記参照インデックスに従って第２の以前に伝送されたピクチャを選択するステップと、
    前記決定された動きベクトルに従って、前記第１および第２の以前に伝送された参照ピクチャからの動き補償データによって、前記識別されたマクロブロックの欠落／破損データを予測するステップと、
    を含む、前記方法。
11. 前記欠落／破損データが、ＩＴＵ Ｈ．２６４符号化規格に定義される時間的直接モードを用いて予測される、請求項１０に記載の方法。
12. 前記欠落／破損データが、ＩＴＵ Ｈ．２６４符号化規格に定義される空間的直接モードを用いて予測される、請求項１０に記載の方法。
13. 前記欠落／破損データが、予測前に選択される少なくとも１つの基準に従って、ＩＴＵ Ｈ．２６４符号化規格に定義される時間的直接モードの導出プロセスおよび空間的直接モードの導出プロセスの一方を用いて予測される、請求項１０に記載の方法。
14. 前記時間的直接モードの導出プロセスおよび前記空間的直接モードの導出プロセスの一方の選択が、コンシールメント領域のサイズに従って行われる、請求項１０に記載の方法。
15. 前記時間的直接モードの導出プロセスおよび前記空間的直接モードの導出プロセスの一方の選択が、近接するスライスの導出モードに応答して行われる、請求項１４に記載の方法。
16. 前記欠落／破損データの予測が、
    ＩＴＵ Ｈ．２６４符号化規格に定義される前記時間的直接モードの導出プロセスおよび前記空間的直接モードの導出プロセスを実行するステップと、
    少なくとも１つの帰納的な基準に従って、前記時間的直接モードの導出プロセスおよび前記空間的直接モードの導出プロセスの一方の結果を選択するステップとによって行われる、請求項１０に記載の方法。
17. ＩＴＵ Ｈ．２６４符号化規格により、デブロッキングの境界強度値に従って結果を選択する、請求項１６に記載の方法。

Images