JP5122448B2 - ビデオ符号化方法及び装置 - Google Patents

Description

本発明は、ビデオ符号化技術に関する。

本発明は、ビデオ信号画像を復号化器によって適切に再構成可能であったか否かを明示的又は暗示的に指示する情報を復号化器端の装置が提供するバックチャネルの利益をビデオ復号化器に送信する符号化ビデオ信号ストリームを生成する符号化器が有する環境に適合する。

多くのビデオ符号化器は、１つ又は複数の先行画像に対して相対的に最新の画像を符号化するためにビデオシーケンスの連続する画像の間の動きを推定するフレーム間符号化モードをサポートする。シーケンス内の動きが推定され、推定パラメータが復号化器に送信されるとともに、推定誤差が変換され、量子化されるとともに、復号化器に送信される。

シーケンスの各画像はまた、他を参照せずに符号化されても良い。これは、フレーム内符号化として公知である。この符号化モードでは、画像内部の空間方向の相関を調べる。前記ビデオシーケンスの連続画像の間の時間方向の相関を使用しないので、符号化器から復号化器への所与の送信ビットレートに対して、フレーム間符号化よりも低いビデオ品質を達成する。

ビデオシーケンスの一部は、通常フレーム内モード符号化された最初の画像と、フレーム内モード又はフレーム間モードで符号化された後続の画像とを具備する。符号化器からの出力ストリーム内に含まれる情報は、フレーム内モード及びフレーム間モードで符号化されたマクロブロックを指示するとともに、フレーム間モードに対しては、使用すべき基準画像を指示する。

フレーム間符号化の問題は、符号化器及び復号化器間の通信チャネル上の送信エラー又はパケット損失の発生に対する振る舞いである。画像の劣化又は損失は、新規のフレーム内符号化画像が到着するまで、後続の画像に伝播する。

符号化器及び復号化器間の符号化信号の通信モードに対して、特定画像の全損失又は部分損失が発生することは通常である。例えば、ＩＰ（インターネットプロトコル）ネットワークのような、配信が保証されていないパケットネットワーク上の通信では、そのような損失は、特定のデータパケットの損失又は到達遅延により生じる。損失はまた、採用しているエラー訂正符号の訂正能力を超えるエラーが送信チャネルによってもたらされることによっても生じうる。

種々の信号損失の影響を受ける環境では、復号化器内で画質を改善するための機構を構成することが必要である。そのような機構の１つでは、復号化器が特定画像のいくつか又は全部を損失したことを符号化器に通知する前記復号化器から前記符号化器へのバックチャネルを使用する。
これによる欠点は、
・情報は時間的には特定されない、即ち、画像番号は分からない。
・情報は空間的には特定されない、即ち、復号器には既に受信された画像の部分と、損失した画像の部分との区別がつかないことである。

この情報の受信に続いて、前記符号化器は、通信エラーの影響を訂正するか、又は少なくとも低減するために、符号化の選択をする。現在の符号化器は、単にフレーム内符号化画像を、即ち、ストリーム内で以前に符号化されたエラーを具備しうる画像を参照しない画像を送信する。

これらのフレーム内符号化画像は、ディスプレイをリフレッシュするとともに、送信損失によって引き起こされたエラーを訂正するのに使用される。しかしながら、それらは、フレーム間符号化画像程の良好な品質ではない。従って、通常の画像損失補償の機構では、任意の事象が、損失後の特定の時間の間の再構成信号の品質劣化につながる。

復号化器が、符号化器に損失画像の部分をより詳細に（空間方向及び時間方向のより良い特定位置を）通知可能である公知の機構も存在する。例えば、もし復号化器による画像Ｎの処理の間に、前記復号化器が、前記画像Ｎのマクロブロックｉ，ｊ，ｋを損失したと判定したならば、次いで前記復号化器は、それらのマクロブロックの損失を符号化器に通知する。そのような機構は、特に次の文書で説明されている。
・ＩＥＴＦ／ＡＶＴ草稿、“Ｅｘｔｅｎｄｅｄ ＲＴＰ Ｐｒｏｆｉｌｅ ｆｏｒ ＲＴＣＰ−ｂａｓｅｄ Ｆｅｅｄｂａｃｋ （ＲＴＰ／ＡＶＰＦ）”， Ｏｔｔ， Ｗｅｎｇｅｒ， Ｓａｔｏ， Ｂｕｒｍｅｉｓｔｅｒ， Ｒｅｙ，２００４年８月
・ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＩＴＵ−Ｔ ＳＧ１６ Ｑ．６）
・ＶＣＥＧ−Ｘ０９， “Ｉｎｔｒｏｄｕｃｔｉｏｎ ｏｆ ａ ｂａｃｋ ｃｈａｎｎｅｌ ｆｏｒ Ｈ．２６４”， Ｌｏｒａｓ， ２００４年１０月
・ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＩＴＵ−Ｔ ＳＧ１６ Ｑ．６） ＶＣＥＧ−Ｙ１５，“Ｄｅｆｉｎｉｔｉｏｎ ｏｆ ａ ｂａｃｋ ｃｈａｎｎｅｌ ｆｏｒ Ｈ．２６４： ｓｏｍｅ ｒｅｓｕｌｔｓ”，Ｂａｉｌｌａｖｏｉｎｅ， Ｊｕｎｇ， ２００４年１月
・ＩＴＵ−Ｔ，“Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ｃｏｍｍｕｎｉｃａｔｉｏｎ， Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２４５”，２００３年７月

この種の機構の欠点は、画像の部分が損失した結果に対して、正帰還(reaction)がないことであるとともに、従って符号化器による情報受信に続く符号化器による処理がないことである。

本発明の一目的は、復号化器から符号化器へのバックチャネルが存在するときに、通信エラーに続くビデオ信号の品質を改善することである。

従って、本発明は、
ａ）符号化パラメータを生成するためにビデオシーケンスの連続画像を符号化する段階と、
ｂ）復号化器を具備する基地局に送信すべき出力ストリーム内に前記符号化パラメータを具備する段階と、
ｃ）前記復号化器によって、前記基地局から前記ビデオシーケンス画像の再構成に関するバックチャネル情報を受信する段階と、
ｄ）前記バックチャネル情報を
ｄ１）前記復号化器内で前記再構成画像の中から損失部分を具備する再構成画像を特定し、
ｄ２）前記再構成画像と符号化すべき現在の画像との間の後続の符号化画像内で、段階ｄ１）で特定された損失部分を参照する画像の部分を特定する
ために解析する段階と、
ｅ）段階ｄ）で損失部分の特定又は非特定の関数(fonction de l’identification ou de la non identification)である符号化モードでビデオシーケンスの現在の画像を符号化する段階と、
を具備するビデオ符号化方法を提案する。

これによって、前記バックチャネル情報の解析結果の関数として、符号化器内で最適な符号化モード（フレーム内、１６×１６フレーム間、８×８フレーム間等）の適用が可能となる。

特に、これによって、通信エラーが存在するときに前記符号化器内でフレーム内符号化の系統的な選択を回避可能となる。

本発明の方法の実施は、次の特徴の１つ又は複数を使用する。

・もし損失部分を段階ｄ１）の間に特定したならば、段階ｄ１）で特定した前記損失部分と、前記損失部分を参照するものと段階ｄ２）で特定した符号化画像の部分とを除いて、前記ビデオシーケンスの先行画像を参照して現在の画像を符号化する段階と、
・解析する段階ｄ）の間に、
・特定する段階ｄ１）は、再構成画像の部分の損失又は無損失のいずれかを指示する状態パラメータに応じて再構成画像に関連付けた識別子を格納する段階を具備し、
・特定する段階ｄ２）は、後続の符号化画像内で段階ｄ１）で特定された損失部分を参照する画像の部分の特定又は非特定の関数として、段階ｄ１）で格納した対応関係を更新する段階を具備し、
・解析する段階ｄ）は、再構成画像の内で前記復号化器が受信した画像の部分を特定する段階をさらに具備し、
・解析する段階ｄ）の間に、
特定する段階ｄ１）は、復号化器内で受信された再構成画像のそれぞれの部分を指示することを意図するものと、復号化器内で損失した再構成画像のそれぞれの部分を指示することを意図するものとがある複数の状態パラメータと対応させて前記再構成画像に関連付けた識別子を格納する段階を具備し、
・特定する段階ｄ２）は、後続の符号化画像内で段階ｄ１）で特定された損失部分を参照する画像の部分の特定又は非特定の関数として、段階ｄ１）で格納した対応関係を更新する段階を具備し、
・前記更新する段階は、所定の状態パラメータに範囲［０，１］内の実数値を割り当て、ここで
・値０は、前記再構成画像内の損失部分の特定と、前記損失部分を参照する符号化画像の部分の特定を指示し、
・値１は、前記再構成画像内の受信部分の特定を指示し、
・符号化すべき現在の画像の所与の画像の部分に対する符号化モードを選択する段階は、所与の画像の部分に関連付けた状態パラメータの値によって、符号化すべき現在の画像の変形と、その符号化ビット数との関数である値を重み付けする段階である。

本発明の他の構成は、ビデオ処理ユニットにインストールされ、前記ユニットの計算ユニットによってプログラムを実行するときに、上記で定義したように、ビデオ符号化の段階を実行するための命令を具備するコンピュータプログラムに関する。

本発明のさらなる構成は、
・符号化パラメータを生成するためにビデオシーケンスの連続画像を符号化する手段と、
・復号化器を具備する基地局に送信される前記符号化器の出力ストリームを構成する手段と、
・前記復号化器によって、前記基地局から、前記ビデオシーケンスの画像の前記復号化器による再構成に関するバックチャネル情報を受信する手段と、
・
・再構成画像の内で、前記復号化器内で損失部分を具備する再構成画像を特定する第１特定手段と、
・前記再構成画像及び符号化すべき現在の画像の間の後続の符号化画像の内で、前記第１特定手段によって特定した前記損失部分を参照する画像の部分を特定するための第２特定手段と、
を具備するバックチャネル情報を解析する手段と、
・前記第１特定手段による損失部分の特定又は非特定の関数である符号化モードで前記ビデオシーケンスの現在の画像を符号化する手段と、
を具備し、
前記出力ストリームは、前記符号化パラメータを具備することを特徴とするビデオ符号化器に関する。

本発明の符号化器の実施形態は、次の特徴を使用する。

・第１特定手段は、再構成画像の内で、復号化器内で受信された画像の部分をさらに特定し、
・前記第１特定手段は、前記復号化器内で受信された前記再構成画像のそれぞれの部分を指示することを意図するものと、前記復号化器内で損失した前記再構成画像のそれぞれの部分を指示することを意図するものとがある、複数の状態パラメータに対応させて、前記再構成画像に関連付けた識別子を格納する手段を具備し、
・前記第２特定手段は、前記後続の符号化画像内で、前記第１特定手段で特定された前記損失部分を参照する画像の部分の特定又は非特定の関数として、前記格納手段で格納された前記対応を更新する手段を具備し、
・前記更新手段は、所与の状態パラメータに、範囲［０，１］内の実数値を割り当てる手段を具備し、ここで、
・値０は、前記再構成画像内の損失部分の特定と、前記損失部分を参照する符号化画像の部分の特定とを指示し、
・値１は、前記再構成画像の受信済み部分の特定を指示し、
・前記符号化器は、
符号化すべき現在の画像の所与の画像の部分に対して、前記所与の画像に関連付けられた状態パラメータ値で、前記符号化すべき現在の画像の変形とその符号化ビット数との関数である値を重み付けすることによって少なくとも２つの符号化モードの１つを選択する符号化モード選択手段をさらに具備する。

本発明の他の特徴及び利点は、添付図面を参照して与えられる次の非限定的な実施形態の説明に従って明らかになる。

本発明による符号化方法は、例えば、（パケット損失を被り易い）ＩＰネットワーク上の２つの基地局Ａ，Ｂの間のビデオ会議に適用可能である。これらの基地局は、それらの通信にビデオ変換装置を参加させないという意味で、直接通信している。各基地局Ａ，Ｂは、圧縮比を増加させるために、２つの画像間で変化したものだけを送信する目的で、予測（現在の画像及び先行画像の間の差分）をベースとした規格に従って圧縮されるビデオ媒体を使用する。そのような規格の１つは、例えばＩＴＵ−Ｔ Ｈ．２６４規格である。

準備ネゴシエーション段階では、例えばＩＰビデオ会議の分野で公知であるＩＴＵ−Ｔ Ｈ．３２３プロトコルを使用して、基地局Ａ，Ｂは、対話の構成に合意するとともに、ＩＴＵ−Ｔ Ｈ．２４１プロトコルを使用して、長期間マーキング（ｍａｒｋｉｎｇ）のＨ．２６４構成と、例えばＩＴＵ−Ｔ Ｈ．２４５型のバックチャネルのセットアップとに合意する。

ビデオ会議への応用例では、各基地局Ａ，Ｂは、通常符号化器及び復号化器の両方（コーデック）を具備する。ここでは、基地局Ａがビデオ符号化器１（図２）を具備する送信器であるとともに、基地局Ｂが復号化器２（図３）を具備する受信器であると仮定する。従って、ここで注目することは、ＡからＢに送信するＨ．２６４ストリームと、ＢからＡへのバックチャネルである。

基地局Ａ，Ｂは、例えば、図１の説明図内のように、パーソナルコンピュータを具備する。

図２，３内で分かるように、コンピュータＡ，Ｂの各々は、ビデオ画像キャプチャ及び再生システムと、ＩＰネットワークへの接続のためのネットワークインターフェース３，４と、前記コンピュータの中央処理ユニットで実行するビデオ会議ソフトウェアとを具備している。ビデオコーデックのために、このソフトウェアはＨ．２６４を実施するプログラムをベースとしている。符号化器側では、前記プログラムは以下で説明する特徴を具備する。もちろん、前記コーデックは、専用プロセッサ又は特定用途向け回路を使用しても充分同等に実施可能である。説明する方法は、Ｈ．２６４以外の符号化規格にも適合可能である。

Ｈ．２６４では、復号化器２のビデオ画像再構成モジュールは、符号化器１も具備する。この再構成モジュール５は、図２及び図３のそれぞれの内にある。それは、同一参照番号５１−５７を有する実質的に同一である構成要素を具備している。現在の画像Ｆの予測からの残余、即ち、減算器６によって計算される画像Ｆと予測画像Ｐとの間の差分を、符号化器１で変換するとともに量子化する（図２内のモジュール７，８）。

エントロピー符号化モジュール９は、ビデオシーケンスの連続画像の符号化パラメータ（変換済み残余推定及び量子化パラメータ）を、符号化器１の制御モジュール１０によって取得した種々の制御パラメータとともに具備する符号化器１の出力ストリームΦを生成する。

これらの制御パラメータは、特に、現在の画像に対してどの符号化モード（フレーム間又はフレーム内）を使用するかと、フレーム間符号化で使用すべき基準画像とを指示する。

復号化器２の終端では、ネットワークインターフェース４によって受信したストリームΦを、符号化パラメータと制御パラメータとを復元するエントロピー復号化器１１に渡す。前記制御パラメータは、復号化器２の制御モジュール１２に供給する。制御モジュール１０，１２は、採用すべき符号化モードを判断するために必要なコマンドをそれらに供給し、フレーム間符号化では基準画像を指示しするとともに、変換構成要素、量子化及びフィルタリングのパラメータを構成及び設定する等、それぞれ符号化器１，復号化器２を管理する。

フレーム間符号化のために、各使用可能な基準画像Ｆ_Ｒを、再構成モジュール５のバッファ５１内に格納する。前記バッファは、現在の画像の直前のＮ枚の再構成画像（短期画像）と、前記符号化器が特にマークした適切な１つ又は複数の画像（長期画像）とのウィンドウを具備する。

メモリ内に保持する短期画像の数Ｎは、符号化器１が制御する。通常、基地局Ａ，Ｂの資源を占有しすぎないように、それは制限されている。これらの短期画像は、前記ビデオストリームのＮ枚の画像の後にリフレッシュする。

長期とマークされた各画像は、前記符号化器が対応するアンマークコマンドを生成するまで、復号化器２のバッファ５１（とともに、符号化器１のバッファ５１）内に保持される。このように、モジュール１０によって取得されるとともに、ストリームΦに挿入される制御パラメータは、長期画像をマークする及びアンマークするためのコマンドを具備する。

動き推定モジュール１５は、現在の画像Ｆ及び１枚又は複数の画像Ｆ_Ｒの関数として、公知の方法によりフレーム間符号化の予測パラメータを計算する。予測画像Ｐは、基準画像Ｆ_Ｒ及びモジュール１５によって計算された予測パラメータをベースとして動き補償モジュール５２によって生成する。

再構成モジュール５は、量子化モジュール８によって生成された量子化インデックスから変換済み及び量子化済みパラメータを復元するモジュール５３を具備する。モジュール５４は、予測残余の量子化版を復元するモジュール７と反対の変換を生成する。これは、前処理済み画像ＰＦ’のブロックを供給するために、加算器５５によって予測画像Ｐのブロックに加算される。前処理済み画像ＰＦ’は、復号化器によって配信されるとともにそのバッファ５１に格納される再構成画像Ｆ’を供給するためにブロック解除フィルタ５７によって最後に処理する。

フレーム内モードでは、現在の画像Ｆのブロックが符号化されるときに、公知の方法で空間方向予測を生成する。この予測は、既に利用可能である前処理済み画像ＰＦ’のブロックをベースとしてモジュール５６によって生成する。

所与の符号化品質に対して、フレーム内符号化済みパラメータの送信は、通常フレーム間符号化済みパラメータの送信よりも高いビットレートを必要とする。換言すると、所与の送信ビットレートに対して、ビデオシーケンス画像のフレーム内符号化は、フレーム間符号化よりも低い品質を達成する。

現在の画像に対するフレーム内モード及びフレーム間モードの間の選択は、符号化器１の制御モジュール１０（図２）によって達成する。本発明によると、前記制御モジュールは、前記選択を、特に画像の一部又は部分の損失や、受信済み画像の部分の特定のような、復号化器２の制御モジュール１２（図３）から入来するバックチャネル情報をベースとする。そのような構成は、例えばＩＴＵ−Ｔ Ｈ．２６３＋規格（Ａｐｐｅｎｄｉｘ Ｎ）で採用されているとともに、Ｈ．２６４のような他の規格にも転用可能である。

第１実施形態

第１実施形態を、主に図２，４を参照して次に説明する。そこでは、現在の画像に対して、復号化器が処理した１つ又は複数の画像の部分の損失を指示する、復号化器２（図３）からのバックチャネル情報の受信に続いて、フレーム内モード及びフレーム間モードの間で復号化器１が選択する。

示している実施例では、画像の損失部分が、前記画像のマクロブロックであると仮定する。

図２に示す実施形態では、符号化器１は、
・所与の短期又は長期基準画像に、復号化器２内で損失した前記基準画像のマクロブロックを関連付ける対応表ＴＣを格納する格納モジュール１６と、
・制御モジュール１０によるバックチャネル情報の解析結果の関数として、対応表ＴＣを更新する更新モジュール１７と、
を具備する。

特に、更新モジュール１７は、所与の短期又は長期基準画像を、復号化器２が当該画像内の１つ又は複数の損失マクロブロックを特定したか否かを指示する１つ又は複数の状態パラメータに関連付ける更新表ＴＭＡＪを具備する。

図４ａ内で示す実施例で、モジュール１６の対応表ＴＣは、３枚の短期基準画像ｎ−１，ｎ−２，ｎ−３と、長期基準画像ＬＴとを具備し、それぞれは、「画像番号」フィールド内のそれらの番号によって特定されるとともに、それぞれは、「損失マクロブロック」フィールド内の１つ又は複数の損失マクロブロックに関連付けられていると仮定する。

ここで、時刻

に、符号化器１が画像

を処理するとともに、復号化器２は、符号化器１に対していかなる損失も通知していないものと仮定する。

続いて、図４ｂを参照する。更新モジュール１７は、「画像番号」フィールドで指示される各基準画像を、「除外マクロブロック」フィールドで指示される状態パラメータ、例えば復号化器２によって損失が通知されていないので、「空」である状態パラメータに関連付けるように表ＴＭＡＪを更新する。

時刻

での更新表ＴＭＡＪの内容をベースとして、先行基準画像ｎ−１，ｎ−２，ｎ−３及びＬＴの劣化がないことから、符号化器１は、次いで、画像

を、動き補償モジュール５２を経由してフレーム間モードで符号化することを選択する。

ここで、図４ｃを参照して、時刻ｔ＋１に復号化器２が画像ｎ−１を処理するとともに、前記符号化器が画像ｎ＋１を処理すると仮定する。

処理の間、復号化器２は、画像ｎ−１のマクロブロック、例えばマクロブロックＭＢ_ｉの損失を特定する。復号化器２は、次いでこの情報を、制御モジュール１２とネットワークインターフェース４（図３）を経由して符号化器１に送信する。

符号化器１の制御モジュール１０は、この情報を解析するとともに、画像ｎ−１のマクロブロックＭＢ_ｉの損失の指示を検出する。図４ｂで分かるように、次いで時刻ｔ＋１に、画像ｎ−１が損失したマクロブロックＭＢ_ｉに関連付けられるように、対応表ＴＣを修正する。

同一の時刻ｔ＋１に、符号化すべき画像ｎ＋１が、画像ｎ−１のマクロブロックＭＢ_ｉのみでなく、例えば、マクロブロックＭＢ_ｉ，ＭＢ_ｉ＋１，ＭＢ_ｉ＋８，ＭＢ_ｉ＋９のように、画像ｎ−１のマクロブロック

を参照している画像

の全マクロブロックを除外しなければならないことを符号化器１は判断する。この目的のために、制御モジュール１０は、対応表ＴＭＡＪを更新するように更新モジュール１７を動作させる。

図４ｄから分かるように、第１に、画像ｎ−１をマクロブロックＭＢ_ｉの損失を指示する状態パラメータに関連付けるために、かつ第２に、画像

を、そのマクロブロックＭＢ_ｉ，ＭＢ_ｉ＋１，ＭＢ_ｉ＋８，ＭＢ_ｉ＋９の除外を指示する状態パラメータに関連付けるために、対応表ＴＭＡＪを時刻ｔ＋１に更新する。示してある実施例では、除外すべきマクロブロックの添え字、例えば、画像ｎ−１の最後のマクロブロックＭＢ_ｉに対して「ｉ」によって、かつ画像

から除外すべきマクロブロックに対して、「ｉ」、「ｉ＋１」、「ｉ＋８」及び「ｉ＋９」によって、各状態パラメータを表している。

時刻ｔ＋１の更新表ＴＭＡＪの内容をベースとして、次いで復号化器１は、復号化器２によって通知されたマクロブロックＭＢ_ｉの損失の検出と、前記マクロブロックＭＢ_ｉ，ＭＢ_ｉ＋１，ＭＢ_ｉ＋８，ＭＢ_ｉ＋９の除外の決定に続いて、画像ｎ＋１の品質劣化を最小化するために、動き補償モジュール５２を経由して、画像ｎ＋１をフレーム間モードで符号化することを選択する。従って、この方法は、カレント符号化器(codeurs actuels)のような、フレーム内モードでの送信エラー発生時ではなく、むしろフレーム間モードでの送信エラー発生時の符号化再開に好適である。

この方法で、ビデオシーケンスの各画像に対して、表ＴＣ及びＴＭＡＪを管理する。

第２実施形態

主に図２，５を参照して第２実施形態を次に説明する。ここで復号化器１は、現在の画像に対して、上記第１実施形態のように復号化器が処理した１つ又は複数の画像の部分の損失のみならず、復号化器２によって処理した受信済み画像の部分も指示する復号化器２からのバックチャネル情報（図３）の受信に続いて、フレーム内モード及びフレーム間モードの間で選択する。

示してある実施例では、画像の損失部分は、当該画像のマクロブロックと再度仮定している。

第２実施形態は、また、
・格納モジュール１６は、上記対応表ＴＣの内容とは異なる内容の対応表ＴＣ’を具備する点、
・更新モジュール１７は、上記更新表ＴＭＡＪの内容とは異なる内容の更新表ＴＭＡＪ’を具備する点、
で、第１実施形態と異なる。

より詳細には、所与の短期又は長期基準画像に対して、対応表ＴＣ’は、復号化器２内で損失したそのマクロブロックと、復号化器２によって受信されたそのマクロブロックとを関連付ける。
・所与の短期又は長期基準画像に対して、更新表ＴＭＡＪ’は、その損失又は受信済みマクロブロックＭＢ_０，ＭＢ_１，…，ＭＢ_ｎの各々に、以下で「信頼指数」と参照する状態パラメータＩを関連付ける。

この信頼指数Ｉは、範囲［０；１］内の実数値であり、ここで、
・所与のマクロブロックに対して、値０は、前記マクロブロックが信頼できないことを指示し、
・所与のマクロブロックに対して、値１は、前記マクロブロックが信頼できるとともに、基準マクロブロックとしてそれを使用することまでが推奨されることを指示する。

図５ａで示している実施例では、モジュール１６の対応表ＴＣ’は、２枚の短期基準画像ｎ−２，ｎ−３と長期基準画像ＬＴとを具備し、各々は、「画像番号」フィールド内のその番号によって特定されるとともに、各々は、「マクロブロック」フィールド内で、１つ又は複数の損失マクロブロック及び１つ又は複数の受信済みマクロブロックに関連付けられると仮定する。

ここで、時刻

に、符号化器１は、画像

を処理するとともに、復号化器２は画像ｎ−２を処理すると仮定する。

さらに、この時刻

に、復号化器２は、画像ｎ−２に関して符号化器１にはいかなる損失も通知しないと仮定する。

従って、時刻

に、対応表ＴＣ’は５ａ内で表されるようになる。

時刻

に、更新モジュール１７は、「画像番号」フィールド内で指示される各基準画像に対して、当該基準画像の各マクロブロックに、「信頼指数」フィールド内の信頼指数Ｉの値を関連付けるように、表ＴＭＡＪ’を更新する。

図５ｂに示すように、画像ｎ−２，ｎ−３及びＬＴに関して復号化器２はいかなる損失も通知していないので、画像ｎ−２，ｎ−３及びＬＴに関連付けられた各マクロブロックに、そのようなマクロブロックの信頼性を保証する値１の信頼指数Ｉを関連付ける。反対に、時刻

に復号化器２が未だ処理していない画像ｎ−１に関しては、次いで、当該画像に対して選択される符号化モードに関する不確実性を指示するために、示されている実施例では０．５に設定されている値である信頼指数Ｉの値を、画像ｎ−１の各マクロブロックに関連付ける。

時刻

での更新表ＴＭＡＪ’の内容をベースとして、動き補償モジュール５２及びフレーム内予測モジュール５６は、それぞれ、表ＴＭＡＪ’で特定された各マクロブロックに対し、コスト基準

を計算する。ここで、
・Ｉは、特定されたマクロブロックに関連付けられた信頼指数であり、
・Ｄは、特定されたマクロブロックの変形、即ち、フレーム間又はフレーム内符号化に関連する劣化であり、
・Ｒは、フレーム間モード又はフレーム内モードで符号化されていると特定されたマクロブロックのビット数である。

画像

をフレーム間モードで符号化するか、フレーム内モードで符号化するかを、評価した最低コスト基準Ｊの関数として時刻

に選択する。

示してある実施例では、動き推定モジュール５２によって計算したコスト基準Ｊは、最低である。従って、画像

は、フレーム間モードで符号化する。

図５ｃを参照する。ここで、時刻ｔ＋１で、復号化器２は、画像ｎ−１を処理するとともに、前記符号化器は、画像ｎ＋１を処理すると仮定する。

処理の間、復号化器２は、画像ｎ−１のマクロブロック、例えばマクロブロックＭＢ_２の損失を特定する。復号化器２は、次いで、制御モジュール１２とネットワークインターフェース４（図３）とを経由して符号化器１に当該情報を送信する。

符号化器１の制御モジュール１０は、この情報を解析するとともに、マクロブロックＭＢ_２の損失の指示を検出する。図５ｃで分かるように、対応表ＴＣ’は、次いで時刻ｔ＋１に、画像ｎ−１のマクロブロックＭＢ_２の損失が「空」状態パラメータによって特定されるように修正される。

同一の時刻ｔ＋１に、符号化器１は、符号化すべき画像ｎ＋１は、画像ｎ−１のマクロブロックＭＢ_２を除外しなければならないとともに、画像ｎ−１のマクロブロックＭＢ_２を参照する画像

の全マクロブロック、例えばマクロブロックＭＢ_２，ＭＢ_１も除外しなければならないことを決定する。この目的のために、制御モジュール１０は、対応表ＴＭＡＪ’を更新するように、更新モジュール１７を動作させる。

図５ｄから分かるように、対応表ＴＭＡＪ’は、
・画像ｎ−２，ｎ−３及びＬＴに関連付けられた各マクロブロックに、そのようなマクロブロックの信頼性を保証する信頼指数Ｉの値１を関連付け、
・画像ｎ−１に関連付けられたマクロブロックＭＢ_２には、このマクロブロックが損失しているので、値０を関連付け、画像ｎ−１の他のマクロブロックは、それぞれ信頼指数の値１に関連付け、
・マクロブロックＭＢ_２を参照する画像ｎの各マクロブロック、特にマクロブロックＭＢ_２，ＭＢ_１には、信頼指数Ｉの値０を関連付け、復号化器２が時刻ｔ＋１に未だ画像

を処理していないので、画像ｎ−１の他のマクロブロックには、信頼指数Ｉの不確実性値０．５をそれぞれさらに関連付ける
ように、時刻ｔ＋１に更新する。

時刻ｔ＋１の更新表ＴＭＡＪ’の内容をベースとして、動き補償モジュール５２及びフレーム内予測モジュール５６は、表ＴＭＡＪ’内で特定される各マクロブロックに対して、前記コスト基準Ｊを計算する。

示してある実施例では、フレーム内モジュール５６で計算したコスト基準Ｊは最低である。従って、画像ｎ＋１は、フレーム内モードで符号化する。

従って、第２実施形態では、信頼指数によるコスト基準の重み付けを利用して、符号化器１のレベルで符号化方針をさらに最適化している。これは、最適な符号化モードの選択につながる。

この第２実施形態によって、符号化効率と堅牢さ（エラー耐性）との間の好ましい妥協点が達成される。

図１は、ビデオ符号化器／復号化器を具備する２つの通信基地局を示す図である。 図２は、本発明によるビデオ符号化器のブロック図である。 図３は、図２の符号化器によって符号化された画像を再構成可能なビデオ復号化器のブロック図である。 図４ａは、第１実施形態での図２の符号化器内のバックチャネル情報の解析を示している。 図４ｂは、第１実施形態での図２の符号化器内のバックチャネル情報の解析を示している。 図４ｃは、第１実施形態での図２の符号化器内のバックチャネル情報の解析を示している。 図４ｄは、第１実施形態での図２の符号化器内のバックチャネル情報の解析を示している。 図５ａは、第２実施形態での図２の符号化器内のバックチャネル情報の解析を示している。 図５ｂは、第２実施形態での図２の符号化器内のバックチャネル情報の解析を示している。 図５ｃは、第２実施形態での図２の符号化器内のバックチャネル情報の解析を示している。 図５ｄは、第２実施形態での図２の符号化器内のバックチャネル情報の解析を示している。

符号の説明

２ 復号化器
４ ネットワークインターフェース
５ 再構成モジュール
１１ エントロピー復号化器
１２ 制御器
５１ バッファ
５２ 動き補償モジュール
５３ 復元モジュール
５４ 逆変換モジュール
５５ 加算器
５６ フレーム内予測モジュール
５７ ブロック解除フィルタ

Claims (7)

1. 次の
   ａ）符号化パラメータを生成するためにビデオシーケンスの連続画像（Ｆ）を符号化する段階と、
   ｂ）復号化器（２）を具備する基地局（Ｂ）に送信する符号化パラメータを出力ストリーム（Φ）内に具備する段階と、
   ｃ）前記基地局から、前記復号化器によるビデオシーケンス画像の再構成に関するバックチャネル情報を受信する段階と、
   ｄ）再構成画像内で、前記復号化器内で損失部分を具備する再構成画像を特定するとともに、その特定されたときに、前記再構成画像及び符号化すべき現在の画像の間の後続の符号化画像内で、前記再構成画像の損失部分を参照する画像の部分を特定するために前記バックチャネル情報を解析する段階と、
   ｅ）もし前記画像の少なくとも一部が損失したものと段階ｄ）で特定されたならば、特定された前記損失部分と、段階ｄ）で前記損失部分を参照すると特定された符号化画像の部分とを除外して、前記ビデオシーケンスの現在の画像を符号化する段階と、
   を具備し、
   解析する段階ｄ）は、
   前記再構成画像内で、前記復号化器で受信された画像の部分を特定する段階と、
   前記復号化器内で受信された前記再構成画像のそれぞれの部分を指示することを意図するものと、前記復号化器内で損失した前記再構成画像のそれぞれの部分を指示することを意図するものとがある、複数の状態パラメータに対応させて、特定された前記再構成画像に関連付けた識別子を格納する段階と、
   前記後続の符号化画像内で、前記再構成画像内の前記損失部分を参照する画像の部分の特定又は非特定の関数として格納された前記対応を更新する段階と
   をさらに具備することを特徴とするビデオ符号化方法。
2. 前記更新する段階は、所与の状態パラメータに対し、範囲［０，１］内の実数値を割り当て、ここで、
   ・値０は、前記再構成画像内の損失部分の特定及び、前記損失部分を参照する符号化画像の部分の特定を指示し、
   ・値１は、前記再構成画像内の受信済み部分の特定を指示する
   ことを特徴とする請求項１に記載の方法。
3. 符号化すべき現在の画像の所与の画像の部分に対して符号化モードを選択することは、前記所与の画像の部分に関連付けられた状態パラメータ値で、前記符号化すべき現在の画像の変形と、その符号化ビット数との関数である値を重み付けすることを具備することを特徴とする請求項２に記載の方法。
4. ビデオ処理ユニット（Ａ）にインストールされるコンピュータプログラムであり、
   前記ユニットの計算ユニットによる前記プログラムの実行の間に、請求項１−３の何れか１項に記載のビデオ符号化方法の段階を実行する命令を具備するコンピュータプログラム。
5. ・符号化パラメータを生成するためにビデオシーケンスの連続画像を符号化する手段（５−８，１０，１５）と、
   ・ｂ）復号化器（２）を具備する基地局（Ｂ）に送信する符号化器の出力ストリーム（Φ）を構成する手段（９）と、
   ・前記基地局から、ビデオシーケンス画像の前記復号化器による再構成に関するバックチャネル情報を受信する手段と、
   ・再構成画像内で、前記復号化器内で損失部分を具備する再構成画像を特定するとともに、前記再構成画像及び符号化すべき現在の画像の間の後続の符号化画像内で、前記再構成画像の損失部分を参照する画像の部分を特定する特定手段（１６−１７）を具備するバックチャネル情報を解析する手段（１０）と、
   ・もし前記画像の少なくとも一部が損失したものと前記特定手段によって特定されたならば、特定された前記損失部分と、前記損失部分を参照すると特定された符号化画像の部分とを除外して、前記ビデオシーケンスの現在の画像を符号化する手段と、
   を具備し、
   前記出力ストリームは前記符号化パラメータを具備し、
   前記解析手段は、前記再構成画像の内で、復号化器（２）内で受信された画像の部分をさらに特定し、
   前記特定手段は、
   前記復号化器内で受信された前記再構成画像のそれぞれの部分を指示することを意図するものと、前記復号化器内で損失した前記再構成画像のそれぞれの部分を指示することを意図するものとがある、複数の状態パラメータに対応させて、前記再構成画像に関連付けた識別子を格納する手段と、
   前記後続の符号化画像内で、前記特定手段で特定された前記損失部分を参照する画像の部分の特定又は非特定の関数として、前記格納手段で格納された前記対応を更新する手段とを具備することを特徴とするビデオ符号化器（１）。
6. 前記更新手段は、所与の状態パラメータに、範囲［０，１］内の実数値を割り当てる手段を具備し、ここで、
   ・値０は、前記再構成画像内の損失部分の特定と、前記損失部分を参照する符号化画像の部分の特定とを指示し、
   ・値１は、前記再構成画像内の受信済み部分の特定を指示する
   ことを特徴とする請求項５に記載の符号化器。
7. 符号化すべき現在の画像の所与の画像の部分に対して、前記所与の画像に関連付けられた状態パラメータ値で、前記符号化すべき現在の画像の変形と、その符号化ビット数との関数である値を重み付けすることによって符号化モードを選択する符号化モード選択手段（１０，５２，５６）をさらに具備することを特徴とする請求項６に記載の符号化器。

Images