JP2009510822A - ビデオ誤り隠蔽を改善するための符号化／復号化方法及び装置 - Google Patents

Abstract

ビデオ誤り隠蔽を改善するための符号化／復号化方法及び装置であって、該符号化方法は、エリアについての最も合致するエリアの関連情報を取得するステップを有し、前記最も合致するエリア及び前記エリアは共に同一の画像にあり、前記方法は更に、前記最も合致するエリアの関連情報を、前記エリアを有する符号化されたビデオストリームに符号化するステップを有する、符号化／復号化方法及び装置。本発明の誤り隠蔽を用いれば、符号化の際に数ビットが追加される必要があるのみであり、復号化及び誤り隠蔽の間、全体の画像はより自然に見え、画質も著しく改善される。

Description

本発明は、ビデオ符号化／復号化方法及び装置に関し、更に詳細には、ビデオ誤り隠蔽を改善するための符号化／復号化方法及び装置に関する。

ディジタルＴＶ（ＳＤＴＶ／ＨＤＴＶ）及びマルチメディアのアプリケーションにおいては、種々の要件を満たすために、ＭＰＥＧ（Motion Picture Experts Group）、Ｈ．２６３及びＱｕｉｃｋｔｉｍｅのような、多くのビデオ圧縮規格が出現してきた。これらの規格の主な目的は、圧縮されたビデオストリームが低いビットレートと優れた品質とを持つようにすることである。しかしながら、符号化されたビデオストリームにおけるビット誤り即ちビットストリーム誤りが、分離したものか又はバーストのものかにかかわらず、しばしば復号化器の同期失敗に帰着し、次の再同期点が到達されるまで復号化器が機能することができず、それにより画像の品質が劣化する。

画質の劣化を回避する１つのとり得る方法は、復号化装置において、誤り隠蔽手法を利用することにより、復号化された画像において誤りを持つ部分がマスクされることである。例えば、国際特許出願公開WO2004/064397は、復号化処理の間に、隣接するブロックに対して画素データ誤りを持つマクロブロック（ＭＢ）についてフレーム内予測（intra-prediction）モードを構築し、それにより誤りを訂正するために予測された画素データが導出される、復号化された画像のための誤り隠蔽方法を開示している。

しかしながら、復号化装置のための誤り隠蔽手法の効果は限定的である。例えば、上述の国際特許出願については、復号化処理の間に隣接するブロックに対して１以上のフレーム内予測モードを予測するのみであるため、画素データ誤りを持つＭＢと隣接するＭＢとの差が比較的大きい場合には、画像の品質は本方法の誤り隠蔽効果によっては改善されない。

誤り隠蔽についての他の問題は、異なる種類の符号化されたＭＢの重要度は異なるという点である。例えばＭＰＥＧ−２においては、符号化されたフレームは３つのタイプ、即ちＩフレーム、Ｐフレーム及びＢフレームに分類され得る。しかしながら、画像の時間的な冗長度が比較的低い場合には、Ｉフレーム、Ｐフレーム及びＢフレームにおけるＭＢは、全てフレーム内符号化される必要がある。フレーム内符号化処理は主に、ビットエラーにより引き起こされる参照ピクチャの浮動が現在のフレームに影響を与えることを防ぐために利用される。フレーム内符号化されたＭＢが損失されると、復号化器がビットエラーを隠蔽することが極めて困難となる。かくして、フレーム内符号化されたＭＢは一般に、フレーム間符号化されたＭＢよりも重要である。加えて、ビデオデータが、誤りが発生し易いチャネルを介して送信される場合には、フレーム内符号化されたＭＢは、画像コンテンツの幾つかのエリアを更新することにより、ビットストリームのビット誤りに対する頑強さを改善するために利用され得る。それ故、フレーム内符号化されたＭＢが損失又は損傷した場合には、フレーム内符号化されたＭＢをより適切に隠蔽することが望ましい。

ＭＢのタイプにかかわらず、上述の方法は、隣接するＭＢに基づく異なる補間又はコピー方式により誤りを隠蔽する。これらの方法は全て、ＭＢ間が近い程、その内容が類似するという１つの仮定に基づいている。該仮定が間違っている場合、誤り隠蔽は所望の効果を達成できない。それ故、復号化処理の間、より好適な誤り隠蔽を提供する、ビデオ誤り隠蔽を改善するための符号化／復号化方法及び装置が望ましい。

本発明は、置換ＭＢが元のＭＢとより類似し、全体の画像がより自然で、画像の品質がかなり改善される、ビデオ誤り隠蔽を改善するための符号化／復号化方法及び装置を提供する。

本発明の一実施例によれば、ビデオ誤り隠蔽を改善するための符号化方法であって、エリアについての最も合致するエリアの関連情報を取得するステップを有し、前記最も合致するエリア及び前記エリアは共に同一の画像にあり、前記方法は更に、前記最も合致するエリアの関連情報を、前記エリアを有する符号化されたビデオストリームに符号化するステップを有する方法が提供される。

本発明の他の実施例によれば、ビデオ誤り隠蔽を改善するための復号化方法であって、画像における損傷したＭＢの合致情報を取得するステップを有し、前記合致情報は前記画像中の少なくとも１つの合致エリアを示し、前記方法は更に、前記合致情報に従って、前記少なくとも１つの合致エリアにより前記損傷したＭＢを置換するステップを有する方法が提供される。

本発明の更に他の実施例によれば、ビデオ誤り隠蔽を改善するための符号化装置であって、エリアについての最も合致するエリアの関連情報を取得するための取得装置を有し、前記最も合致するエリア及び前記エリアは共に同一の画像にあり、前記符号化装置は更に、前記最も合致するエリアの関連情報を、前記エリアを有する符号化されたビデオストリームに符号化するための書き込み装置を有する装置が提供される。

本発明の更に他の実施例によれば、ビデオ誤り隠蔽を改善するための復号化装置であって、画像における損傷したＭＢの合致情報を取得するための取得装置を有し、前記合致情報は前記画像内の少なくとも１つの合致エリアを示し、前記復号化装置は更に、前記合致情報に従って、前記少なくとも１つの合致エリアにより前記損傷したＭＢを置換するための置換装置を有する装置を有する装置が提供される。

本発明の実施例によれば、画像の特定の範囲における探索及び照合により、最も合致するエリアが得られ、損失又は損傷したＭＢを最も合致する置換ＭＢにより置換した後には、復元されたＭＢは元のものとより類似し、画像の品質がかなり改善される。更に、符号化のときに、数ビットがビットストリームに追加される必要があるのみであり、符号化の負荷は無視できるほどとなる。

本発明の他の目的及び効果は、添付図面を参照しながら、本発明の説明及び請求項により明らかとなり、本発明は全体的に理解されるであろう。

全ての添付図面において、同一の、類似する又は対応する特徴又は機能を示すため、同一の参照番号が利用される。

本発明の実施例において、改善された誤り隠蔽方式が提供される。符号化の際、符号化されるべきＭＢが、特定のモードによって、１以上のサブユニットに分割される。当該モードの下、各サブユニットについて最も合致するエリアが探索される。該最も合致するエリアの情報は、ビットストリームへと符号化される。復号化の際、ＭＢが損失又は損傷した場合には、該ＭＢを置換するため該損失又は損傷したＭＢの最も合致するエリアが利用され、置換されるサブユニットが元のサブユニットとより類似するようにされる。かくして、全体の画像がより自然になり、一方で画像の品質もかなり改善される。

フレーム内符号化されたＭＢは他のＭＢよりも重要であるから、本発明の誤り隠蔽を改善するための符号化は、ビットストリーム中のＩフレーム、Ｐフレーム及びＢフレーム上のフレーム内符号化されたＭＢに対して実行されることができる。それにより、符号化効率が最適に改善され、より望ましい隠蔽効果を達成する。しかしながら、本発明をフレーム内符号化されたＭＢに限定することが意図されるわけではない。本発明は、本明細書の内容を理解した後、当業者によって、前方符号化、双方向符号化又は他の符号化のためのＭＢに適用され得る。

図１は、本発明の一実施例による誤り隠蔽を改善するための符号化方法のフロー図である。本実施例においては、全ての所定のモードを通して、最も合致するエリアが探索される。

最初にステップＳ１１０において、所定のモードに従って、現在の画像における符号化されるべき現在のＭＢに最も合致するエリアが、該探索モードの下で探索される。所謂モードとは、符号化されるべき現在のＭＢの分割方法である。符号化されるべきＭＢは、特定の分割モードの下、１つ以上の異なるサブユニットに分割される。各サブユニットについて、最も合致するエリアが現在の画像において探索される。本発明の一実施例によれば、探索処理は以下のように実行され得る。最初に、探索されるべきサブユニットのサイズと同じサイズを持つ探索ウィンドウを定義し、次いで、該探索ウィンドウで現在の画像を横断して、現在のサブユニットに対して最も小さな差を持つエリアを見出す。

勿論、探索ウィンドウは、ユーザによって設定される現在の画像内の特定のサイズを持つエリア（例えば、探索されるべきサブユニットを中心に持つ特定のサイズを持つ長方形のエリア）を横断するために利用されても良いことは、当業者により理解される。それにより、符号化のための計算が適切に低減され得る。

画像の異なる複雑さのため、１つの分割モードのみが利用される場合には、全てのＭＢについて望ましい効果が達成されるわけではない。それ故、本発明の実施例によれば、探索のために種々のモードが組み合わせられ、それにより得られる最も合致するエリアが、元の画像により類似するようにされ得る。例えば、多くの分割モードが予め決定されても良い。或る所定のモードを用いた探索モードが終了したときに、ステップＳ１２０において、所定のモードの全てによる探索処理が終了したか否かを決定する。否であれば、ステップ１３０において、探索されていない所定のモードに入り探索する。このことは、全ての所定のモードが探索されるまで繰り返される。

図２ａ乃至２ｄは、１つのＭＢの分割モードの、４つのとり得る例を示す。図２ａに示されたモードにおいては、符号化されるべきＭＢが、１つのサブユニットとみなされ探索される。一方、図２ｂ及び２ｃに示されるモードにおいては、符号化されるべきＭＢは、それぞれ水平及び垂直に２つのサブユニットへと分割される。図２ｄに示されるようなモードにおいては、符号化されるべきＭＢは、４つのサブユニットに平均して分割され、各サブユニットが別個に探索される。

本発明に関しては、以上に列記した４つのモードに限定されない、多くの探索モードがある。例えば、符号化されるべきＭＢが更に細かく分割されても良いし、分割が均一に又は不均一に実行されても良いし、複数のＭＢが全体として探索されるべきものとしてみなされても良い。本発明の一実施例によれば、図２ａ乃至２ｄに示されたような４つのモードを通して探索されても良く、各モードのシーケンスが予め又はランダム的に固定されても良い。

ステップＳ１４０において、全ての分割モードから得られた結果を比較し、符号化されるべきＭＢとの最小の差を持つエリアを、該符号化されるべきＭＢについての最も合致するエリアとして選択する。個々のモードの結果を比較するため、各サブユニットと最も合致するエリアとの間の差が、各分割モードの下で最初に取得される。該差は多くの形式で表現され得、例えば本発明の実施例によれば、該差は絶対差（ＳＡＤ）の合計として表現され得る。即ち、

ここでｘは、ＭＢにおける画素の横座標を示す。Ｘは、ＭＢにおけるサブユニットとして選択されたエリアの幅を示す。ｙは、ＭＢにおける画素の縦座標を示す。Ｙは、ＭＢにおけるサブユニットとして選択されたエリアの高さを示す。Ｂ_ｍａ（ｘ，ｙ）は、符号化されるべきＭＢにおける座標（ｘ，ｙ）を持つ画素の輝度成分値を示す。Ｂ_ｒｆ（ｘ，ｙ）は、探索される合致ＭＢにおける座標（ｘ，ｙ）を持つ画素の輝度成分値を示す。ＳＡＤの算出に関しては、一般にＹ輝度成分のみが利用される点に留意されたい。勿論、算出の複雑さが考慮されない場合は、付加的な２つの成分、即ち色情報における彩度（chroma）情報（Ｕ）及び色情報における色収差（chromatism）情報（Ｖ）もが利用されても良い。

該差は、平均絶対差（ＡＭＤ）によって表現されても良い。即ち、

ここでｘは、ＭＢにおける画素の横座標を示す。Ｘは、ＭＢにおけるサブユニットとして選択されたエリアの幅を示す。ｙは、ＭＢにおける画素の縦座標を示す。Ｙは、ＭＢにおけるサブユニットとして選択されたエリアの高さを示す。Ｂ_ｍａ（ｘ，ｙ）は、符号化されるべきＭＢにおける座標（ｘ，ｙ）を持つ画素の輝度成分値を示す。Ｂ_ｒｆ（ｘ，ｙ）は、探索される合致ＭＢにおける座標（ｘ，ｙ）を持つ画素の輝度成分値を示す。ＳＡＤの算出と同様に、ＭＡＤの算出に関しては、一般にＹ輝度成分のみが利用され、付加的な２つの成分、即ち色情報における彩度情報（Ｕ）及び色情報における色収差情報（Ｖ）が利用されない点に留意されたい。

各サブユニットと最も合致するエリアとの差が得られた後、これら差（ＭＡＤ）を合算することにより、符号化されるべきＭＢの差分値が得られる。異なる分割モードの下で、符号化、算出及び取得されるべきＭＢの差分値が比較される。最も小さい差分値を持つ分割モードの下での１以上の最も合致するエリアが、符号化されるべきＭＢの最も合致するエリアである。異なるモードのため、符号化されるべきＭＢの最も合致するエリアの群は、符号化されるべき画像全体に分散され得る。

探索処理のために種々のモードが利用される場合であっても、得られる最も合致するエリアは、元の画像に対して大きな差を持ち得る。この場合、誤り隠蔽ステップは、期待される効果を達成できない。依然として符号化されている場合、多くの非効率的な符号化演算が追加され、リソースの浪費に帰着する。それ故、ステップＳ１４０において得られる最も合致するエリアが、符号化効率を改善するためにフィルタリングされても良い。

ステップＳ１５０において、最も合致するエリアと元の画像との差が所定の閾値と比較され、該差が該閾値の条件を満たす場合、即ち該閾値より小さいか又は該閾値と等しい場合には、ステップＳ１６０において、該モードの下での最も合致するエリアの情報が、符号化されたビデオストリームへと符号化される。該差が該閾値を超える場合には、ステップＳ１７０において、最も合致するエリアがないことを示す情報が、符号化されたビデオストリームへと符号化される。最後に、上述の符号化処理が終了する。

本発明の実施例によれば、符号化されるべきＭＢの最も合致するエリアをフィルタリングするための閾値は、実際の条件及び経験によって得られた経験値であっても良い。例えば、該閾値は２×Ｗ×Ｈに設定されても良く、ここでＷ及びＨは利用されるサブユニットの幅及び高さである。そうでなければ、ＭＢの約２倍の値が、該閾値として利用されても良い。例えば、ＭＢが１６×１６である場合、該閾値は５１２又は約５１２の値であっても良い。勿論、該閾値を得るための多くの方法があり、従ってここでは１つ１つは列挙されない。

本発明の一実施例によれば、最も合致するエリアの情報は、モード情報と、該モードの下での最も合致するエリアに向けられた１以上の動きベクトルとを有する。１つのＭＢ、１つのＭＢの上半分の部分、１つのＭＢの左上の４分の１のエリアのようなサブユニットの特性情報は、モード情報を通して得られ得る。最も好適なエリアの位置は、動きベクトルを通して得られ得る。最も合致するエリアの情報は、例えば該最も合致するエリアの幅及び高さ並びに１つの上端点の位置を直接与えることによってのように、他の多くの方法によっても表現され得る。これら方法はここでは冗長的に列挙されない。

本発明の一実施例によれば、最も合致するエリアがないことを示す情報は、ビットストリーム中の特定の位置の符号であっても良い。例えば、符号ビットが０であれば、最も合致するエリアがないことを示し、符号ビットが１であれば、最も合致するエリアがあることを示す。

上述の実施例において望ましい効果が達成され得るが、符号化端末の限定された計算能力及び必要とされる高速な符号化速度を考えた場合、閾値についての直接のフィルタリングが実行されても良い。即ち、或る所定のモードが探索された後に毎回閾値と比較され、該閾値の条件が満たされる限り、探索がそれ以上実行されないこととなる。それ故、全ての所定のモードが探索される必要がない。

図３は、本発明の他の実施例による、誤り隠蔽を改善するための符号化方法のフロー図である。本方法においては、特定のモードで探索が実行され、当該モードの下で、符号化されるべきＭＢの全てのサブユニットについての最も合致するエリアを得る。次いで、該モードの下で、全てのサブユニットについて最も合致するエリアの差がそれぞれ閾値以下であるか否かが決定される。そうであれば、最も合致するエリアの情報が、符号化されたビデオストリームへと符号化される。そうでなければ、該閾値条件を満たす最も合致するエリアが見出されるまで、又は全ての所定のモードが探索されるまで、他のモードで探索が実行される。それ故、該閾値条件が満たされる限り、符号化処理が実行され得、計算を著しく低減させ符号化速度を増大させる。

本発明の他の実施例によれば、全てのサブユニットについての最も合致するエリアの差がそれぞれ閾値以下であるか否かの代わりに、サブユニットの一部（例えば７５％以上）についての最も合致するエリアの差がそれぞれ閾値以下であるか否かが決定されても良い。

本実施例におけるステップＳ３１０、Ｓ３３０、Ｓ３４０、Ｓ３５０、Ｓ３６０及びＳ３７０は、図１に示された実施例におけるＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１６０、Ｓ１７０及びＳ１８０に類似するものであり、ここでは冗長的に説明されない。

ステップＳ３２０において、該モード下で符号化されるべきＭＢの各サブユニットと、その最も合致するエリアとの差が、所定の閾値と比較される。全てのサブユニットの差が該閾値以下である場合、続くステップＳ３５０へと進む。閾値条件が満たされない場合、ステップＳ３３０に進み、他の所定のモードで探索が実行される。全ての所定のモードが探索された場合は、ステップＳ３６０へと進み、合致するエリアがないという情報が、符号化されたビデオストリームへと符号化される。

本実施例においては、ステップＳ３２０における閾値は、サブユニットのサイズに関連する。例えば、図２ａに示された探索モードについては、ＭＢのサイズが１６×１６でありサブユニットのサイズも１６×１６である場合、閾値は依然として５１２である。図２ｂに示されたような探索モードにおいては、サブユニットのサイズが１６×８であり１２８画素ある場合には、閾値は５１２／２＝２５６として得られ得る。同様に、図２ｃに示されたような探索モードにおいても、閾値は５１２／２＝２５６となり得、図２ｄに示されたような探索モードにおいては、閾値は５１２／４＝１２８となり得る。

最も合致するエリアの情報をビデオストリームへと符号化する方法が、以下に更に詳細に説明される。更に詳細には、ＭＰＥＧ符号化を例にとり、本発明の方式がフレーム間符号化されたＭＢにのみ適用されるという前提条件の下で、具体的な符号化方法が説明される。

図４は、一般的なＭＰＥＧ符号化された画像の構文的な構造の模式的な図である。図４に示されるように、ビデオ情報ブロック全体に加え、各画像は更に、画像ヘッダセグメント、スライスヘッダセグメント、及びＭＢヘッダセグメントを有する。更に、ＭＢの各ＭＢヘッダは、ＭＢがフレーム内符号化されたか又はフレーム間符号化されたかを示す情報（図示されていない）を有する。

図５に示されるように、本発明の一実施例によれば、スライス内のフレーム内符号化されたＭＢを示す合致情報が、各スライスのスライスヘッダへと符号化される。ＭＰＥＧ規格においては、規格に必要とされる必須情報の他に、他の情報を望みどおりに符号化するための確保フィールドが、スライスヘッダセグメントに更に含められる。本実施例においては、斯かる確保フィールドは、スライス中の各フレーム内符号化されたＭＢについて、最も合致するエリア及び最も好適な合致ベクトル情報があるか否かを示すために利用される。

図６は、フレーム内符号化されたＭＢの合致エリアの情報及び合致ベクトル情報等の、スライスヘッダセグメントへの符号化についての模式図である。スライスヘッダセグメントへと符号化される全ての関連する情報は、フレーム内符号化されたＭＢの合致情報を構成し、可変長を持つビットのシーケンスを持ち、更にとりわけ、フレーム内符号化されたＭＢが存在するか否かの符号（１）（肯定ならばフレーム内符号化されたＭＢの位置が示される）と、フレーム内符号化されたＭＢに合致するエリアが存在するか否かの符号（２）（肯定ならばフレーム内符号化されたＭＢの分割モード情報及び最も合致するエリアに向けられた動きベクトルが、ビットストリームへと符号化される）とを有する。

符号（１）の最初のビット、即ちIntra_MB_existing_flag（表１を参照）が、フレーム内符号化されたＭＢが存在するか否かを示すために利用される。

フレーム内符号化されたＭＢが存在する場合、即ちIntra_MB_existing_flagが１である場合、以下の５ビット即ちIntra_MB_position（表２を参照）が、該フレーム内符号化されたＭＢの位置を示すために利用される。存在しない場合は、Intra_MB_existing_flagが０である。

符号（２）の最初のビットは、フレーム内符号化されたＭＢに合致するエリアがあるか否かを示すための１ビットの符号、即ちMatching_area_existing_flag（表３に示される）である。

エリアが存在する場合、即ちMatching_area_existing_flagが１である場合には、以下の符号ビット即ちMB_division_mode_typeが、フレーム内符号化されたＭＢを分割するためのモードを示すために利用され、サブユニットの特性情報でもある（表４を参照）。

図２ａ乃至２ｄに示された４つのタイプのモードについては、２ビットのバイナリ符号が、これら４つのタイプのモード、例えばモードａ、モードｂ、モードｃ及びモードｄを示すために利用されることができる。４つよりも多いタイプのモードが利用される場合には、それに応じてMB_division_mode_typeのビットの数が増加させられる。

符号（２）の末尾には、該モードにより生成されたフレーム内符号化されたＭＢの各サブユニットについての最も合致するエリアに向けられたベクトルがあり、水平ベクトル即ちhorizontal_vector及び垂直ベクトル即ちvertical_vectorを有する（表５に示される）。

表６に示されるＭＰＥＧスライスヘッダの構文によれば、フレーム内符号化されたＭＢの合致情報の各８ビットは、付加情報セグメントとして働く１バイト即ちextra_information_sliceを構成し、８より少ない末尾の残りのビットは、パディングビット（例えば１）により補われ完全なバイトを形成する。付加情報セグメントは、「１」の各付加ビットセグメントの後に、即ちextra_bit_sliceの後に挿入される。例えば、１つのフレーム内符号化されたＭＢは４つのサブユニットに分割され、該サブユニットは、１（フレーム内符号化されたＭＢの存在）＋５（フレーム内符号化されたＭＢの位置）＋１（合致エリアの存在）＋２（４つのタイプの所定のモード）＋１２（水平及び垂直ベクトル）×４（サブユニットの数）＝５７ビットを含み、６４ビットを形成するための補填のため７個のパディングビット（例えば１）を伴い、全体で８バイトを含む。次いで、ＭＰＥＧの構文に従って、スライスヘッダへと符号化される。extra_information_slice及び関連する構文に関する内容は、関連するＭＰＥＧ規格を参照されたい。

上述したＭＰＥＧ規格の具体的な例を通して、フレーム内符号化されたＭＢの合致情報をビデオストリームに含める方法が説明された。勿論、以上の実施例において、多くの代替方式がある。例えば、フレーム内符号化されたＭＢの合致情報は、画像のヘッダセグメント又はＭＢのヘッダセグメントへと符号化されても良く、又は付加情報セグメントが「０」によって補われても良い。例えばＨ．２６３又はＱｕｉｃｋＴｉｍｅのような他のビデオ圧縮規格については、構文及び関連する要件はＭＰＥＧのものとは異なり、フレーム内符号化されたＭＢの合致情報は、種々の規格に応じて、ビデオストリームの異なる位置に符号化され得ることは、留意されるべきである。

図７は、本発明の一実施例によるビデオ復号化のフロー図である。ビデオストリーム中のフレーム内符号化されたＭＢの合致情報に基づいて、最も合致するエリアが存在する場合には、損失又は損傷したＭＢを最も合致するエリアにより置き換えることにより、誤り隠蔽処理が実行される。

最初に、ステップＳ７１０において、所定の規格に従って、圧縮されたビデオデータが復号化される。圧縮されたビデオストリームが可変長復号化（ＶＬＤ）された後、損失又は損傷したＭＢについて、フレーム内符号化されたＭＢの合致情報が得られる。ステップＳ７２０において、該得られたフレーム内符号化されたＭＢの合致情報から、ＭＢ中に合致エリアが存在するか否かが決定される。肯定の場合（例えばMatching_area_existing_flagが１の場合）、ステップＳ７３０において、該エリアが、前記損失又は損傷したＭＢを置換するために利用される。

ＭＢが多くのサブユニットに分割される場合、各サブユニットの最も合致するエリアが、それぞれ損失又は損傷したＭＢの対応するサブユニットを置換するために利用される。一方、損失したフレーム内符号化されたＭＢに対応する最も合致するエリアが存在しない場合（例えばMatching_area_existing_flagが０の場合）、ステップＳ７４０において、損失したＭＢの周囲の画像を用いた予測モード、補間又はコピーといった従来の方法により、損失したフレーム内符号化されたＭＢに対して誤り隠蔽が実行され、新たな復号化画像を形成する。次いでステップＳ７５０において、ビデオ画像が表示される。最後に、画像の復号化処理が終了する。

図８は、本発明の一実施例による符号化装置の模式的な図である。本図において実線により示されるように、符号化装置８００は取得装置８０５及び書き込み装置８３０を有し、取得装置８０５は探索装置８１０を有する。探索装置８１０は、特定のモードの下で、現在の画像において符号化されるべき各ＭＢの各サブユニットについて、最も合致するエリアを探索するために利用される。書き込み装置８３０は、最も合致するエリアの情報をビットストリームへと書き込むために利用される。

本発明のＭＥＰＧ符号化を用いた実施例によれば、本発明の符号化方法は、フレーム内符号化されたＭＢにのみ適用される。書き込み装置８３０は、フレーム内符号化されたＭＢが存在するか否かを示す情報、フレーム内符号化されたＭＢの位置情報、最も合致するエリアが存在するか否かを示す情報、分割モード情報、及び最も合致するエリアの位置情報を、スライスのスライスヘッダセグメントへと順次符号化し、画像の符号化を完了する。とりわけ、水平及び垂直ベクトルを含む動きベクトル情報が、最も合致するエリアの位置を示すために利用される。

本発明の一実施例によれば、取得装置８０５は更に決定装置８２０を有する。決定装置８２０は、探索装置８１０により得られた最も合致するエリアと、符号化されるべき対応するＭＢのサブユニットとの差が、閾値の条件を満たすか否か、即ち閾値以下であるか否かを決定するために利用される。上述の条件が満たされる場合には、対応する最も合致するエリアの情報が、書き込み装置８３０に送信される。

本発明の一実施例によれば、探索装置８１０において、多くの分割モードが予め決定される。特定のモードを用いた探索処理が終了すると、探索装置８１０は、全ての分割モードが実行されるまで、他の未だ実行されていない所定の分割モードを用いて探索を継続する。探索装置８１０は、個々の分割モードの探索結果を比較し、全ての分割モードのうち、符号化されるべきＭＢからの最も小さい差を持つ最も合致するエリアの情報を、決定装置８２０へと送信する。

決定装置８２０が、最も合致するエリアの情報が閾値条件を満たすと決定した場合、該最も合致するエリアの情報は、書き込み装置８３０へと送信される。そうでなければ、書き込み装置８３０は、閾値条件を満たす合致エリアがないことを通知される。書き込み装置８３０は、閾値条件を満たす合致エリアがないという情報を情報セグメントへと符号化し、これにより画像の符号化を終了する。

本発明の他の実施例によれば、探索装置８１０において、多くの分割モードが予め決定される。特定のモードの下での探索処理が終了すると、探索装置８１０は、得られた最も合致するエリアの情報を、決定装置８２０に送信する。決定装置８２０が、最も合致するエリアの情報が閾値条件を満たすと決定した場合、該最も合致するエリアの情報は、書き込み装置８３０へと送信される。閾値情報が満たされていない場合、探索装置８１０は再び（図において点線により示されるように）、全ての分割モードが実行されるまで、他の未だ実行されていない所定の分割モードを用いて探索を継続する。

全ての分割モードが実行された後、閾値条件を満たす合致エリアが依然としてない場合、書き込み装置８３０は、閾値条件を満たす合致エリアがないことを通知される。書き込み装置８３０は、閾値条件を満たす合致エリアがないという情報を情報セグメントへと符号化し、これにより画像の符号化を終了する。以上の符号化処理の詳細な説明は、上述の符号化方法の説明を参照して得られる。

符号化装置８００は更に、離散コサイン変換（ＤＣＴ）装置８４０、量子化器（Ｑ）８５０、及び可変長符号化（ＶＬＣ）装置８６０を有する。ＤＣＴ装置８４０は、ビデオ画像の元のシーケンスを受信し、離散コサイン変換を実行するために利用される。

得られたＤＣＴ係数については、量子化器８５０が、ビットレートを低減するため、種々の要件に従って種々の量子化レベルを設定するために利用される。しかしながら、量子化の後、とりわけ人間の眼の生理学的特性に応じて低周波成分と高周波成分とで異なる量子化レベルを設定した後、高周波成分の殆どについての係数は０となる。一般に、人間の眼は低周波成分により敏感であり、高周波成分にはあまり敏感ではない。それ故該量子化は、低周波成分についてはより精密であり、高周波成分についてはあまり精密ではない。

ＶＬＣ装置８６０は、量子化器８５０により供給された量子化範囲に従って、量子化器からの量子化係数を、例えばハフマン（Huffman）符号のような可変長符号へと変換し、それによりビットレートが低減される。一方、書き込み装置８３０は圧縮されたビデオストリームに合致情報を書き込む。書き込み装置８３０もＶＬＣ装置８６０に含まれることは、当業者により理解される。

図９は、本発明の一実施例による復号化装置の構造の模式的な図である。復号化装置９００は、フレーム間の関連性を利用することにより時間的な冗長さを低減させるための動き補償装置９１０を有する。動き補償は本発明の特徴ではないため、動き補償についての詳細はここでは詳しく説明されない。

動き補償装置９１０は、現在の画像中の損失又は損傷したＭＢについて該ＭＢを置き換えるための最も合致するエリアがあるか否かを決定するために利用される、誤り隠蔽装置９２０を有する。ある場合には、該最も合致するエリアにより該ＭＢを置換し、誤り隠蔽を完了させる。

本発明の一実施例によれば、誤り隠蔽装置９２０は、ビデオストリーム中の損傷したＭＢの合致情報を取得するための取得装置９３０を有しても良い。該合致情報は、現在の画像中に、損傷したＭＢを置換するための最も合致するエリアがあるか否かを示すために利用される。

本発明の一実施例によれば、誤り隠蔽装置９２０は更に、損失又は損傷したＭＢを置換するための置換装置９４０を有する。損傷したＭＢを置換するための最も合致するエリアがある場合、該ＭＢについての全ての最も合致するエリアが、分割モード情報及び該合致するエリアのビットストリームにおける位置情報を通して取得され得る。次いで、該最も合致するエリアが損失又は損傷したＭＢを置換するために利用され、それにより誤り隠蔽を完了させる。この部分については以上に詳細に説明されているので、ここでは冗長的に説明されない。本発明の一実施例によれば、最も合致するエリアが存在しない場合、他の従来の一般的な誤り隠蔽方法によって処理されても良い。

復号化装置９００は更に、可変長復号化装置（ＶＬＤ）９５０、逆量子化器（ＩＱ）９６０、及び逆離散コサイン変換装置（ＩＤＣＴ）９７０を有する。復号機能は、図８における符号化装置８００のＶＬＣ装置８６０、量子化器８５０及びＤＣＴ装置８４０の機能に対応するものであり、ここでは詳細に説明されない。

本発明の技術的な内容及び特徴が以上に説明されたが、本発明の教示及び開示から逸脱しない本発明の変形及び変更が当業者によって為され得る。それ故、本発明の保護範囲は、実施例の開示に限定されるものではなく、請求項により意図される本発明から逸脱しない変形及び変更を含む。

本発明の一実施例による誤り隠蔽のための符号化方法のフロー図である。 本発明の一実施例による１つのＭＢの異なる分類のモード図である。 本発明の一実施例による１つのＭＢの異なる分類のモード図である。 本発明の一実施例による１つのＭＢの異なる分類のモード図である。 本発明の一実施例による１つのＭＢの異なる分類のモード図である。 本発明の他の実施例による誤り隠蔽のための符号化方法のフロー図である。 ＭＰＥＧ符号化された画像についての構文的な構造の模式的な図である。 本発明の一実施例によるＭＰＥＧ符号化された画像についての構文的な構造の模式的な図である。 本発明の一実施例による、合致ベクトル情報又は合致するベクトルがないという情報のスライスヘッダへの符号化の、模式的な図である。 本発明の一実施例による誤り隠蔽のための復号化方法のフロー図である。 本発明の一実施例による符号化装置の構造の模式的な図である。 本発明の一実施例による復号化装置の構造の模式的な図である。

Claims (17)

1. ビデオ誤り隠蔽を改善するための符号化方法であって、前記方法は、
   エリアについての最も合致するエリアの関連情報を取得するステップを有し、前記最も合致するエリア及び前記エリアは共に同一の画像にあり、前記方法は更に、
   前記最も合致するエリアの関連情報を、前記エリアを有する符号化されたビデオストリームに符号化するステップを有する方法。
2. 前記エリアはマクロブロックである、請求項１に記載の方法。
3. 前記エリアはマクロブロックのサブユニットであり、前記最も合致するエリアの関連情報は前記サブユニットの特性情報を有する、請求項１に記載の方法。
4. 前記エリアはフレーム内符号化されたエリアである、請求項１に記載の方法。
5. 前記取得するステップは更に、
   前記画像の特定の範囲内で前記エリアについての前記最も合致するエリアを探索するステップと、
   前記最も合致するエリアと前記エリアとの差が閾値より小さいか否かを決定するステップと、
   を有し、前記符号化するステップは、前記決定の結果が肯定であった場合、前記最も合致するエリアの関連情報を、前記エリアを有する符号化されたビデオストリームに符号化するステップを有する、
   請求項１に記載の方法。
6. ビデオ誤り隠蔽を改善するための復号化方法であって、前記方法は、
   画像における損傷したマクロブロックの合致情報を取得するステップを有し、前記合致情報は前記画像中の少なくとも１つの合致エリアを示し、前記方法は更に、
   前記合致情報に従って、前記少なくとも１つの合致エリアにより前記損傷したマクロブロックを置換するステップを有する方法。
7. 前記損傷したマクロブロックは、フレーム内符号化されたマクロブロックである、請求項６に記載の方法。
8. 前記少なくとも１つの合致エリアの１つは、前記損傷したマクロブロックの１つのサブユニットに対応する、請求項６に記載の方法。
9. ビデオ誤り隠蔽を改善するための符号化装置であって、
   エリアについての最も合致するエリアの関連情報を取得するための取得装置を有し、前記最も合致するエリア及び前記エリアは共に同一の画像にあり、前記符号化装置は更に、
   前記最も合致するエリアの関連情報を、前記エリアを有する符号化されたビデオストリームに符号化するための書き込み装置を有する装置。
10. 前記エリアはマクロブロックである、請求項９に記載の装置。
11. 前記エリアはマクロブロックのサブユニットであり、前記最も合致するエリアの関連情報は前記サブユニットの特性情報を有する、請求項９に記載の装置。
12. 前記エリアはフレーム内符号化されたエリアである、請求項９に記載の装置。
13. 前記取得装置は更に、
    前記画像の特定の範囲内で前記エリアについての前記最も合致するエリアを探索するための探索装置と、
    前記最も合致するエリアと前記エリアとの差が閾値より小さいか否かを決定するための決定装置と、
    を有し、前記書き込み装置は、前記決定の結果が肯定であった場合、前記最も合致するエリアの関連情報を、前記エリアを有する符号化されたビデオストリームに符号化する、請求項９に記載の装置。
14. ビデオ誤り隠蔽を改善するための復号化装置であって、前記復号化装置は、
    画像における損傷したマクロブロックの合致情報を取得するための取得装置を有し、前記合致情報は前記画像内の少なくとも１つの合致エリアを示し、前記復号化装置は更に、
    前記合致情報に従って、前記少なくとも１つの合致エリアにより前記損傷したマクロブロックを置換するための置換装置を有する装置。
15. 前記取得装置は、前記少なくとも１つの合致エリアの動きベクトル情報を取得する、請求項１４に記載の装置。
16. 前記損傷したマクロブロックはフレーム内符号化されたマクロブロックである、請求項１４に記載の装置。
17. 前記少なくとも１つの合致エリアの１つは、損傷したマクロブロックの１つのサブユニットに対応する、請求項１４に記載の装置。

Images