JP5746193B2 - 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置 - Google Patents

Description

本発明は、映像符号化及び復号化に関するものであり、より詳細には、映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置に関するものである。
本出願は、2009年10月15日に提出された米国特許仮出願第61/251934号の利益を特許請求するものであり、この米国特許仮出願の内容は、引用により、その完全な形で本明細書に盛り込まれる。

ハイブリッド映像符号化のフレームワークにおいて、フィルタリング技術は、圧縮のアーチファクトを除くため又はアンチエリアシングのために一般に使用される。係るフィルタリング技術は、多くの映像圧縮の応用においてループ内で使用されるか又はループ外で使用される。映像信号の非定常の性質のため、フィルタリングプロセスは、空間領域と時間領域との両者において適応的となることが期待される。最近、多くの適応型フィルタリングスキームは、符号化効率を改善するため、符号化ピクチャをターゲットとして良好に復元するために提案されている。

映像符号化規格は、圧縮効率を達成するため、（例えば離散コサイン変換（DCT）といった）ブロックに基づく変換及び動き補償を採用する。フレームワークの損失の多い圧縮の特性のため、再構成された映像の品質は低下される。ISO/IEC（International Organization for Standardization/International Electronical Commission）MPEG-4（Moving Picture Experts Group-4）Part-10 AVC（Advanced Video Coding）規格/ITU-T（International Telecommunication Union, Telecommunication Sector）H.264 Recommendation（以下、“MPEG-4 AVC”規格）では、デブロッキングフィルタは、ブロック状アーチファクトを除くために復号化されたピクチャに適用される。MPEG-4 AVC規格の主要な技術領域（KTA: Key Technology Area）では、復号化されたピクチャの品質を改善するためにループ内又はループ外でウィーナーフィルタが使用される。時間的な適応を達成するため、オリジナルピクチャとエンコーダで復号化されたピクチャとの間の最小自乗誤差を最小化することで、それぞれのピクチャについてウィーナーフィルタが推定される。フィルタ係数は、それぞれのピクチャのオーバヘッドとして（ビットストリームで又は伝送媒体で）デコーダに送出される。空間的な適応を達成するため、ピクチャは多数の領域に分割される。それぞれの領域において、スイッチは、フィルタリングプロセスが「オン」又は「オフ」であるかを制御する。領域分割の情報及びスイッチの制御メッセージは、副情報としてデコーダに送出される。しかし、副情報を送出するコストは高く、幾つかのケースにおいて、特に低ビットレートであるが高解像度の多くの応用において手頃ではない。

さらに、フィルタ推定についてデータセットに関する制約なしに、フィルタに推定において使用されるデータセットにおいて異常値が存在することがある。データセットの最小自乗誤差を最小にすることで推定されるウィーナーフィルタは、通常は準最適である（又は最適からは程遠い）。

［主要な技術領域におけるポストフィルタ］
MPEG-4 AVC規格の主要な技術領域（KTA）では、第一の従来技術のアプローチにおいて、適応型ポストフィルタが提案された。第一の従来技術のアプローチの基本的な考えは、表示の前に復号化されたピクチャにウィーナーフィルタを適用することである。ウィーナーフィルタは、オリジナルピクチャとエンコーダで復元された（すなわち再構成された）ピクチャとの間の最小自乗誤差（MSE）を最小にすることで、それぞれのピクチャについて推定される。この場合、推定されるフィルタ係数は、オーバヘッドとしてデコーダに送出される。全体のピクチャは、推定されたフィルタでフィルタリングされる。別のケースでは、ウィーナーフィルタのセットは、オフラインでトレーニングされ、デコーダに送信されるか又はデコーダで記憶される。復号化の間、ピクチャは、画素毎にフィルタリングされる。それぞれの画素で、フィルタは、周囲の画素の統計データに基づいてフィルタから選択される。この技術では、フィルタリングインジケータは、任意のオーバヘッドを要しない。フィルタリングインジケータは、復号化されたピクチャコンテンツにより導出される。しかし、フィルタリングインジケータとピクチャコンテンツとの間のモデルは、構築するのが難しい。第一の従来技術のアプローチでは、フィルタリングインジケータと局所的分散との間の対応するモデルを発見するため、オフラインのトレーニングスキームが利用される。トレーニングは、トレーニングセットに高度に依存するので、制限されたデータでトレーニングされたモデルは、より一般的な映像信号について不正確となる。

［主要な技術領域における適応ループフィルタ］
第二の従来技術のアプローチにおいて、適応ループフィルタが提案された。第一の従来技術のアプローチに関して実行されたポストフィルタと同様に、ウィーナーフィルタは、オリジナルピクチャとエンコーダで復号化されたピクチャとの間の最小自乗誤差（MSE）を最小にすることで、それぞれのピクチャについて推定される。ウィーナーフィルタはピクチャ全体の最小自乗誤差の意味で最適であるので、幾つかの領域の品質は、ウィーナーフィルタを適用したときに品質が低下する可能性がある。フィルタリングの間にこれらの画素を除くため、オーバヘッドのコストと符号化のパフォーマンスとの間のトレードオフを達成するため、領域に基づいたソリューションが提案される。第二の従来技術のアプローチは、ウィーナーフィルターが適用される領域を示す。フィルタインジケータは、副情報としてデコーダに送出される。異なる領域が異なるブロックサイズを有するのを許容することで、４分木に基づくフラグは、大きなブロックサイズの領域において少ないビットを送出することでビットを節約する。全てのこれらの方法は、フレーム全体をカバーするためにブロックに基づくバイナリマップを必要とする。

従来技術のこれらの課題及び問題点、並びに他の課題及び問題点は、ビデオエンコーダ及びデコーダのために効率的な適応フィルタリングの方法及び装置に向けられる、本発明により対処される。

本発明の態様によれば、装置が提供される。本装置は、適応フィルタリングを使用してピクチャの少なくとも１部のピクチャデータを符号化するビデオエンコーダを含む。ビデオエンコーダは、適応フィルタリングを実行する適応フィルタを含む。適応フィルタのために使用される最終的なフィルタ係数のセットは、複数のフィルタ係数のセットを反復的に推定し、複数のフィルタ係数のセットの最後に推定されるセットに対応する最後の推定が前記少なくとも１部についての閾値を超える品質改善となるとき、複数のフィルタ係数の少なくとも推定される１つを、最終的なフィルタ係数として選択することで決定される。

本発明の別の態様によれば、ビデオエンコーダにおける方法が提供される。本方法は、適応フィルタリングを使用してピクチャの少なくとも１部のピクチャデータを符号化するステップを含む。適応フィルタリング向けに使用される最終的なフィルタ係数は、複数のフィルタ係数のセットを反復的に推定し、複数のフィルタ係数のセットのうちの最後に推定されるセットに対応する最後の推定が前記少なくとも１部について閾値を超える品質の改善となるとき、複数のフィルタ係数のセットの最後に推定されるセットを最終的なフィルタ係数のセットとして選択することで決定される。

本発明の更に別の態様によれば、装置が提供される。本装置は、入力ピクチャの少なくとも１部のピクチャデータを復号化するビデオデコーダを含む。ビデオデコーダは、複数のフィルタ係数のセットを使用してピクチャの再構成されたバージョンを反復的にフィルタリングし、入力ピクチャの出力バージョンを取得する反復フィルタを含む。

本発明の更に別の態様によれば、ビデオデコーダにおける方法が提供される。本方法は、入力ピクチャの少なくとも１部を復号化することを含む。ビデオデコーダは、複数のフィルタ係数のセットを使用してピクチャの指向性されたバージョンを反復的にフィルタリングして、入力ピクチャの出力バージョンを得る反復フィルタを含む。

本発明の更に別の態様によれば、装置が提供される。本装置は、適応フィルタリングを使用してピクチャの少なくとも１部のピクチャデータを符号化するビデオエンコーダを含む。ビデオエンコーダは、適応フィルタリングを実行する適応フィルタを含む。少なくとも、適応フィルタリングのフィルタ係数セットと、適応フィルタリングを有効又は無効の何れかにするフィルタリングの切り替え情報は、所定の候補、所定の非候補、適応フィルタリングの可能性のある候補として、ピクチャにおける１以上の領域をそれぞれ指定する暗黙的な領域に指示のアプローチを使用して暗黙的に示される。

本発明の更なる態様によれば、ビデオエンコーダにおける方法が提供される。本方法は、適応フィルタリングを使用してピクチャの少なくとも１部のピクチャデータを符号化するステップを含む。少なくとも、適応フィルタリングのフィルタ係数のセットと、適応フィルタリングを有効又は無効の何れかにするフィルタリングの切り替え情報は、所定の候補、所定の非候補、及び適応フィルタリングの可能性のある候補として、ピクチャにおける１以上の領域をそれぞれ指定する暗黙の領域の指示のアプローチを使用して暗黙的に示される。

本発明の更なる態様によれば、装置が提供される。本装置は、適応フィルタリングを使用してピクチャの少なくとも１部のピクチャデータを復号化するビデオデコーダを含む。ビデオデコーダは、適応フィルタリングを実行する適応フィルタを含む。少なくとも、適応フィルタリングのフィルタ係数のセットと、適応フィルタリングを有効又は無効のうちの何れかにするフィルタリングの切り替え情報は、所定の候補、所定の非候補、及び適応フィルタリングの可能性のある候補として、ピクチャにおける１以上の領域をそれぞれ指定する暗黙の領域を指示のアプローチを使用して暗黙的に示される。

本発明の更なる態様によれば、ビデオデコーダにおける方法が提供される。本方法は、適応フィルタリングを使用してピクチャの少なくとも１部のピクチャデータを復号化するステップを含む。ビデオデコーダは、適応フィルタリングを実行するために適応フィルタを含む。少なくとも、適応フィルタリング向けのフィルタ係数のセットと、適応フィルタリングを有効又は無効の何れかにするフィルタリングの切り替え情報は、所定の候補、所定の非候補、及び適応フィルタリングの可能性のある候補として、ピクチャにおける１以上の領域をそれぞれ指定する暗黙の領域の指示のアプローチを使用して暗黙に示される。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる、例示的な実施の形態と共に読まれることとなる、例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

本発明は、以下の例示的な図面に従って良好に理解される。
本発明の実施の形態に係る、本発明が適用される例示的なビデオエンコーダを示すブロック図である。 本発明の実施の形態に係る、本発明が適用される例示的なビデオデコーダを示すブロック図である。 本発明の実施の形態に係る、ビデオエンコーダにおいてピクチャデータを適応的且つ反復的にフィルタリングする例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオデコーダにおいてピクチャデータを適応的且つ反復的にフィルタリングする例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオエンコーダにおいてピクチャデータを適応的且つ反復的にフィルタリングする別の例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオデコーダにおいてピクチャデータを適応的且つ反復的にフィルタリングする別の例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオエンコーダにおいて暗黙のフィルタリングの信号伝達によりピクチャデータを適応的にフィルタリングする例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオデコーダにおいて暗黙のフィルタリングの信号伝達（シグナリング）によりピクチャデータを適応的にフィルタリングする例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオエンコーダにおいて暗黙のフィルタリングの信号伝達によりピクチャデータを適応的且つ反復的にフィルタリングする例示的な方法を示すフローダイアグラムである。 本発明の実施の形態に係る、ビデオデコーダにおいて暗黙のフィルタリングの信号伝達によりピクチャデータを適応的且つ反復的にフィルタリングする例示的な方法を示すフローダイアグラムである。

本発明は、ビデオエンコーダ及びデコーダのための有効な適応フィルタリングの方法及び装置に向けられる。本実施の形態は、本発明を例示するものである。従って、当業者であれば、本明細書に明示的に記載又は図示されていないが、本発明を実施する様々なアレンジメントであって、本発明の精神及び範囲に含まれる様々なアレンジメントを創作することができることを理解されるであろう。

本明細書で記載される全ての例及び条件付き言語は、当該技術分野を促進するために本発明者により寄与される本発明及び概念の理解において読者を支援することが意図され、特に記載される例及び条件に制限されるものではないことを理解されたい。

さらに、本発明の原理、態様及び実施の形態を記載する全ての説明は、本発明の特定の等価な概念と同様に、本発明の構造的に等価な概念及び機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在の知られている等価な概念と同様に、将来的に開発される等価な概念、すなわち構造に係らず同じ機能を実行する開発されたエレメントを含むことが意図される。

従って、例えば、本明細書で提示されるブロック図は、本発明を実施する例示的な回路の概念図を表すことを当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータが読取り可能な媒体で実質的に表現され、コンピュータ又はプロセッサが明示的に図示されているか否かに係らず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表す。

図示される様々なエレメントの機能は、専用ハードウェアの使用、適切なソフトウェアと関連するソフトウェアを実行可能なハードウェアの使用により提供される。プロセッサにより提供されたとき、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示しように解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）、及び不揮発性メモリを暗黙的に含む場合がある。

他のハードウェア、コンベンショナル及び／又はカスタムが含まれる場合もある。同様に、図示されるスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作、専用ロジックを通して、プログラム制御と専用ロジックの相互作用を通して、又は更に手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように、実現者により選択可能である。

本発明の特許請求の範囲では、特定の機能を実行する手段として表現されるエレメントは、例えばａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含む任意の形式でのソフトウェアを含む、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明は、様々な記載される手段により提供される機能は結合され、請求項が従属するやり方で纏められる事実にある。従って、それらの機能を提供する任意の手段は、図示されるものと等価であると考えられる。

本発明の「１実施の形態」又は「実施の形態」に対する明細書における参照は、その他のバリエーションと同様に、実施の形態と関連して記載される特定の特徴、構造、特性等は本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書を通して様々な位置に現れるフレーズ「１実施の形態では」又は「実施の形態では」の出現は、他のバリエーションと同様に、必ずしも、同じ実施の形態を参照するものではない。

「／」、「及び／又は」及び「〜の少なくとも１つ」の任意の使用は、例えば、「Ａ／Ｂ」、「Ａ及びＢ」及び「Ａ及びＢの少なくとも１つ」の場合において、最初に列挙されたオプション（Ａ）のみ、又は第二に列挙されたオプション（Ｂ）のみ、又は両方のオプション（Ａ及びＢ）の選択を包含することが意図される。更なる例として、「Ａ，Ｂ及び／又はＣ」及び「Ａ，Ｂ及びＣの少なくとも１つ」の場合、係るフレーズは、第一の列挙されたオプション（Ａ）のみ、第二の列挙されたオプション（Ｂ）のみ、第三の列挙されたオプション（Ｃ）のみ、第一及び第二の列挙されたオプション（Ａ及びＢ）のみ、第一及び第三の列挙されたオプション（Ａ及びＣ）のみ、又は第二及び第三の列挙されたオプション（Ｂ及びＣ）のみ、或いは全ての３つのオプション（Ａ及びＢ及びＣ）の選択を含むことが意図される。これは、多くのアイテムが列挙されるときに、当業者によって容易に拡張される場合がある。

本明細書で使用されるとき、単語「ピクチャ」及び「画像」は、相互交換可能に使用され、静止画像又はビデオ系列からのピクチャを示す。知られているように、ピクチャは、フレーム又はフィールドである場合がある。

先に述べたように、ビデオエンコーダ及びデコーダのための効果的な適応フィルタリングの方法及び装置が開示される。図示及び記載のため、MPEG-4 AVC規格を超える改善及び拡張を図示及び説明するためのベースラインとしてMPEG-4 AVCを使用して、MPEG-4 AVC規格を通した改善の文脈において本明細書において例が記載される。しかし、本発明は、MPEG-4 AVC規格及び／又はその拡張のみに制限されるものではないことを理解されたい。本明細書で提供される本発明の教示が与えられると、当業者であれば、他の規格の拡張に適用されたとき、又は未だ開発されていない規格に適用及び／又は盛り込まれたときに、本発明は同様に適用可能であり、少なくとも類似の利益を提供することを容易に理解されるであろう。さらに、本発明は、規格に準拠しないが、独自定義に準拠するビデオエンコーダ及びビデオデコーダにも適用されることを理解されたい。

また、例示のため、本発明、適応ループフィルタ（ALF）の文脈で記載される。しかし、本発明は、適応ループフィルタにのみ制限されるものではなく、当業者により容易に理解されるように、本明細書で提供された本発明の教示が与えられると、ループ内（n-loop）又はループ外（out-of-loop）の応用を含めて、他のタイプのフィルタに容易に適用される。

さらに、本発明と共に記載される全ての処理は輝度、色度又は輝度と色度の組み合わせについて適用される。

図１を参照して、本発明が適用される例示的なビデオエンコーダは、参照符号１００により示される。ビデオエンコーダ１００は、結合器１８５の非反転入力に接続される出力を有するフレームオーダリングバッファ１１０を含む。結合器１８５の出力は、変換及び量子化器１２５の第一の入力と接続される。変換及び量子化器１２５の出力は、エントロピーエンコーダ１４５の第一の入力と、逆変換及び逆量子化器１５０の第一の入力と接続される。エントロピーコーダ１４５の出力は、結合器１９０の第一の非反転入力と接続される。結合器１９０の出力は、出力バッファ１３５の第一の入力に接続される。

エンコーダコントローラ１０５の第一の出力は、フレームオーダリングバッファ１１０の第二の入力、逆変換及び逆量子化器１５０の第二の入力、ピクチャタイプ判定モジュール１１５の入力、マクロブロックタイプ（MBタイプ）判定モジュール１２０の第一の入力、イントラ予測モジュール１６０の第二の入力、デブロッキングフィルタ１６５の第二の入力、動き補償器１７０の第一の入力、動き予測器１７５の第一の入力、及び参照ピクチャバッファ１８０の第二の入力に接続される。

エンコーダコントローラ１０５の第二の出力は、SEI（Supplemental Enhancement Information）挿入器１３０の第一の入力、変換及び量子化器１２５の第二の入力、エントロピーコーダ１４５の第二の入力、出力バッファ１３５の第二の入力、SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器１４０の入力と接続される。

SEI挿入器１３０の出力は、結合器１９０の第二の非反転入力に接続される。ピクチャタイプ判定モジュール１１５の第一の出力は、フレームオーダリングバッファ１１０の第三の入力と接続される。ピクチャタイプ判定モジュール１１５の第二の入力は、マクロブロックタイプ判定モジュール１２０の第二の入力と接続される。

SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器１４０の出力は、結合器１９０の第二の非反転入力と接続される。

逆量子化及び逆変換器１５０の出力は、結合器１１９の第一の非反転入力と接続される。結合器１１９の出力は、イントラ予測モジュール１６０の第一の入力とデブロッキングフィルタ１６５の第一の入力と接続される。デブロッキングフィルタ１６５の出力は、適応ループフィルタ１４１の入力と接続される。適応ループフィルタ１４１の出力は、参照ピクチャバッファ１８０の第一の入力と接続される。参照ピクチャバッファ１８０の出力は、動き予測器１７５の第二の入力、動き補償器１７０の第三の入力と接続される。動き予測器１７５の第一の出力は、動き補償器１７０の第二の入力と接続される。動き予測器１７５の第二の出力は、エントロピーコーダ１４５の第三の入力と接続される。

動き補償器１７０の出力は、スイッチ１９７の第一の入力と接続される。イントラ予測モジュール１６０の出力は、スイッチ１９７の第二の入力と接続される。マクロブロックタイプ判定モジュール１２０の出力は、スイッチ１９７の第三の入力と接続される。スイッチ１９７の第三の入力は、（制御入力すなわち第三の入力に比較したとき）スイッチの「データ」入力が動き補償器１７０により供給されるか又はイントラ予測モジュール１６０により供給されるかを判定する。スイッチ１９７の出力は、結合器１１９の第二の非反転入力、結合器１８５の反転入力と接続される。

フレームオーダリングバッファ１１０の第一の入力、エンコーダコントローラ１０５の入力は、入力ピクチャを受信するため、エンコーダ１００の入力として利用可能である。さらに、SEI（Supplemental Enhancement Information）挿入器１３０の第二の入力は、メタデータを受信するため、エンコーダ１００の入力として利用可能である。出力バッファ１３５の出力は、ビットストリームを出力するため、エンコーダ１００の出力として利用可能である。

図２を参照して、本発明が適用される例示的なビデオデコーダは、参照符号２００により示される。ビデオデコーダ２００は、エントロピーデコーダ２４５の第一の入力と接続される出力を有する入力バッファ２１０を含む。エントロピーデコーダ２４５の第一の出力は、逆変換及び逆量子化器２５０の第一の入力に接続される。逆変換及び逆量子化器２５０の出力は、結合器２２５の第二の非反転入力と接続される。結合器２２５の出力は、デブロッキングフィルタ２６５の第二の入力、イントラ予測モジュール２６０の第一の入力に接続される。デブロッキングフィルタ２６５の第二の出力は、適応ループフィルタ２４１の入力と接続される。適応ループフィルタ２４１の出力は、参照ピクチャバッファ２８０の第一の入力と接続される。参照ピクチャバッファ２８０の出力は、動き補償器２７０の第二の入力と接続される。

エントロピーデコーダ２４５の第二の出力は、動き補償器２７０の第三の入力、デブロッキングフィルタ２６５の第一の入力、及びイントラ予測器２６０の第三の入力と接続される。エントロピーデコーダ２４５の第三の出力は、デコーダコントローラ２０５の入力と接続される。デコーダコントローラ２０５の第一の出力は、エントロピーデコーダ２４５の第二の入力と接続される。デコーダコントローラ２０５の第二の出力は、逆変換及び逆量子化器２５０の第二の入力と接続される。デコーダコントローラ２０５の第三の出力は、デブロッキングフィルタ２６５の第三の入力に接続される。デコーダコントローラ２０５の第四の出力は、イントラ予測モジュール２６０の第二の入力、動き補償器２７０の第一の入力、参照ピクチャバッファ２８０の第二の入力と接続される。

動き補償器２７０の出力は、スイッチ２９７の第一の入力と接続される。イントラ予測モジュール２６０の出力は、スイッチ２９７の第二の入力と接続される。スイッチ２９７の出力は、結合器２２５の第一の非反転入力と接続される。

入力バッファ２１０の入力は、例えばビットストリームを受信するため、デコーダ２００の入力として利用可能である。デブロッキングフィルタ２６５の第一の出力は、出力ピクチャを出力するため、デコーダ２００の出力として利用可能である。

先に述べたように、本発明は、ビデオエンコーダ及びデコーダにための効果的な適応フィルタリングのための方法及び装置に向けられる。

本発明の態様では、最適な回復を達成するため、復号化されたピクチャのウィーナーフィルタ及び対応するフィルタイングを反復的にリファインする方法及び装置が開示される。第一の態様に向けられる実施の形態に関して、空間的な適応は、領域及びフィルタの切り替え制御情報を定義するために多くの付加ビット（overhead bit）を払うことで得られる。

しかし、上述されたように、（例えば領域及びフィルタを切り替える制御情報を定義する）副情報を送出するコストは、幾つかの場合、特に低ビットレートの応用において手頃ではない場合がある。従って、本発明の第二の態様では、デコーダで利用可能な情報又は復号化された情報に基づいて副情報を導出する方法及び装置が開示される。係るアプローチは、副情報を送出する更なるコストを低減又は除去し、これにより符号化性能が改善される。

［反復フィルタリング］
先に述べたように、本発明によれば、ビデオ圧縮におけるウィーナーフィルタの性能を改善するために反復フィルタリングプロセスが使用される本発明の第一の態様が開示される（当業者にとって認識されるように、本発明は、ウィーナーフィルタ以外のフィルタを含むフィルタリング方法にも適用される）。より詳細には、例えばフィルタサポートサイズ及びトポロジーのようなフィルタ構造がはじめに定義される。次いで、フィルタを推定するために使用されるデータセットが定義される。再構成されるビデオ信号の任意の事前情報を使用して、データセットが定義される。次いで、フィルタ係数を推定し、従って推定されたフィルタを取得するため、定義されたデータセットが使用される。推定されるフィルタを取得した後、フィルタリングされたピクチャを取得するため、再構成されたピクチャに推定されたフィルタを適用する。現段階で、反復的な推定のうちの最初の推定が終了される。次の推定では、フィルタリングされたピクチャを使用することでフィルタを推定するために使用されるデータセットがリファインされ、前の推定で使用されたピクチャよりも良好となることが期待される。次いで、このリファインされたデータセットに基づいてフィルタ係数が推定される。次いで、推定されたフィルタは、再構成されたピクチャに適用される。ピクチャの品質の改善が十分に小さいとき、すなわち改善が閾値を下回るとき、反復的な推定が収束し、停止される。最終的に推定されるフィルタは、最適なフィルタであり、決定されたフィルタのパラメータは、（ビットストリーム、伝送媒体等で）デコーダに送出される。実施の形態では、フィルタ構造は、反復的な推定における異なる推定において異なる可能性がある。実施の形態では、反復的な推定におけるそれぞれの推定におけるそれぞれのピクチャについて複数のフィルタが使用される。

１実施の形態では、推定されるフィルタは、再構成されるピクチャにのみ適用される。次いで、最終的に推定されるフィルタのみがデコーダに送出される。フィルタの推定のために使用される画素データの位置は、反復的な推定におけるそれぞれの推定においてフィルタリングされたピクチャに基づいてリファインされる。データセットにおける画素の値は、再構成されたピクチャから得られる。フィルタは、再構成されたピクチャにのみ適用される。このストラテジは、送出されるオーバヘッドを低減する。

図３を参照して、ビデオエンコーダにおいてピクチャデータを適応的且つ再帰的にフィルタリングする例示的な方法は、参照符号３００により示される。本方法３００は、開始ブロック３０５を含み、この開始ブロックは、機能ブロック３１０に制御を進める。機能ブロック３１０は、フィルタ構造（例えばサポートサイズ及びトポロジー）を定義し、ループリミットブロック３１５に制御を進める。ループリミットブロック３１５は、ループを開始し、（delta_dist＞閾値及びK＜max_K）の間、ループを続け、機能ブロック３２０に制御を進める。機能ブロック３２０は、再構成されたピクチャImgにおけるフィルタ推定のためのデータセットＤkを決定し、機能ブロック３２５に制御を進める。機能ブロック３２５は、データセットＤkに基づいてフィルタＦkを推定し、機能ブロック３３０に制御を進める。機能ブロック３３０は、Ｆkを使用して再構成されたピクチャImgをフィルタリングして、フィルタリングされたピクチャImg_kを取得し、機能ブロック３３５に制御を進める。機能ブロック３３５は、Img_kとオリジナルピクチャorgとの間の歪みdist_kを計算し、判定ブロック３４０に制御を進める。判定ブロック３４０は、dist_k＜dist_k-1であるか否かを判定する。dist_k＜dist_k-1である場合、機能ブロック３４５に制御を進める。dist_k＜dist_k-1でない場合、機能ブロック３５０に制御を移す。機能ブロック３４５は、Ｆbest＝Ｆkを設定し、機能ブロック３５０に制御を進める。機能３５０は、Delta_dist＝|dist_k−dist_k-1|を設定し、ループリミットブロック３５５に制御を進める。ループリミットブロック３５５は、ループを終了し、機能ブロック３６０に制御を進める。機能ブロック３６０は、フィルタＦbestをエンコードし、終了ブロック３９９に制御を進める。

図４を参照して、ビデオデコーダにおいてピクチャデータを適応的且つ再帰的にフィルタリングする例示的な方法は、参照符号４００により示される。本方法４００は、開始ブロック４０５を含み、この開始ブロックは、機能ブロック４１０に制御を進める。機能ブロック４１０は、フィルタＦbestの構造及び係数を分析し、機能ブロック４１５に制御を進める。機能ブロック４１５は、Ｆbestを使用して再構成されたピクチャImgをフィルタリングして、フィルタリングされたピクチャImg_bestを取得し、終了ブロック４９９に制御を進める。

別の実施の形態では、データセットにおける画素の位置と値の両者は、前の推定から出力されたフィルタリングされたピクチャから決定される。反復的な推定におけるそれぞれの推定について、フィルタが推定された、ピクチャは、エンコーダでフィルタリングされる。フィルタは、前の推定でフィルタリングされたピクチャに連続して適用される。反復的な推定において全ての推定されたフィルタは、デコーダに送出されることが必要とされる。また、デコーダで、復号化されたピクチャは、受信された推定されたフィルタを適用することで、反復的にフィルタリングされる。

図５を参照して、ビデオエンコーダにおいてピクチャデータを適応的且つ再帰的にフィルタリングする別の例示的な方法は、参照符号５００により示される。本方法５００は、開始ブロック５０５を含む、この開始ブロックは、機能ブロック５１０に制御を進める。機能ブロック５１０は、フィルタ構造（例えばサポートサイズ及びトポロジー）を定義し、ループリミットブロック５１５に制御を進める。ループリミットブロック５１５は、ループを開始し、（delta_dist＞閾値及びK＜max_K）の間、ループを続け、機能ブロック５２０に制御を進める。機能ブロック５２０は、再構成されたピクチャImg及び／又はImg_k-1を使用して、フィルタ推定のためのデータセットＤkを決定し、機能ブロック５２５に制御を進める。機能ブロック５２５は、データセットＤkに基づいてフィルタＦkを推定し、機能ブロック５３０に制御を進める。機能ブロック５３０は、Ｆkを使用して前にフィルタリングされたピクチャImg_k-1をフィルタリングして、フィルタリングされたピクチャImg_kを取得し、機能ブロック５３５に制御を進める。機能ブロック５３５は、Img_kとオリジナルピクチャorgとの間の歪みdist_kを計算し、判定ブロック５４０に制御を移す。判定ブロック５４０は、dist_k＜dist_k-1であるか否かを判定する。dist_k＜dist_k-1である場合、機能ブロック５４５に制御を進める。dist_k＜dist_k-1でない場合、機能ブロック５５０に制御を移す。機能ブロック５４５は、Ｆbest[k]＝Ｆk，k_final＝kを設定し、機能ブロック５５０に制御を進める。機能５５０は、Delta_dist＝|dist_k−dist_k-1|を設定し、ループリミットブロック５５５に制御を進める。ループリミットブロック５５５は、ループを終了し、機能ブロック５６０に制御を進める。機能ブロック５６０は、k_final及びフィルタＦbest[k]をエンコードし、終了ブロック５９９に制御を進める。

図６を参照して、ビデオデコーダにおいてピクチャデータを適応的且つ再帰的にフィルタリングする別の例示的な方法は、参照符号６００により示される。本方法６００は、開始ブロック６０５を含み、この開始ブロックは、機能ブロック６１０に制御を進める。機能ブロック６１０は、k_finalを分析し、機能ブロック６１５に制御を進める。機能ブロック６１５は、フィルタＦbest[k]、構造及び係数をk＝0，．．．，k_finalについて分析し、ループリミットブロック６２０に制御を進める。ループリミットブロック６２０は、ループを開始し、（k＜k_final）の間、ループを続け、機能ブロック６２５に制御を進める。機能ブロック６２５は、Ｆbest[k]を使用することでピクチャImg_k-1をフィルタリングして、フィルタリングされたピクチャImg_kを取得し、ループリミットブロック６３０に制御を進める。ループリミットブロック６３０は、ループを終了し、機能ブロック６３５に制御を進める。機能ブロック６３５は、ピクチャImg_k_finalを出力し、終了ブロック６９９に制御を進める。

［暗黙のフィルタリングの信号伝達（シグナリング）］
本発明によれば、幾つかの領域についてシグナリングビットをスキップすることで、領域に基づくフィルタリングのために必要とされる副情報が低減される第二の態様が開示される。多くの領域における画素値は、フィルタリングされたときに殆ど変化しないことが観察される。フィルタリングはこれらの画素に影響を及ぼさないという観察に基づいて、本発明は、これらの領域においてフィルタ情報（例えばフィルタの切り替え情報）に関連するビットを殆ど費やさないことを狙いとする。また、フィルタは、ある領域（例えばテクスチャ領域）で明確に良好に機能するが、他の領域では、フィルタは、比較的一定である。全てのこれらの領域について、エンコーダ及びデコーダでの情報を固定して維持することができるので、フィルタの切り替え情報又はフィルタ情報を送出しない。より具体的には、本発明のこの態様によれば、はじめに、これらの領域を検出し、次いで、これらの情報について副情報をスキップする（すなわち送信しないか、及び／又はさもなければ伝達しない）。

１実施の形態では、フィルタは、はじめに、フィルタリングされたピクチャを形成するため、全体の再構成されたピクチャに適用される。次いで、フィルタリングされたピクチャ及び再構成されたピクチャは、これらの特定の領域を検出するために比較される。再構成されたフレームとフィルタリングされたフレームとの間の差が閾値よりも小さいブロック又は領域により、不必要な領域が定義される。例えば、ブロックR(X,Y)は、以下が当てはまる場合に、不必要な領域である。

ここで(i,j)は、ピクチャにおける画素の位置であり、th_unnessは、閾値であり、異なるブロックサイズについて異なる値を有し、M(i,j)は、画素(i,j)の予測マップである。M(i,j)は、以下のように定義される。

ここでImg_decは、フィルタリング前のフレームであり、Img_filteredは、フィルタリング後のフレームである。ある領域内の予測マップの値の総和が閾値よりも小さい場合、そのブロックのビットは不要であり、スキップされる。同様に、４分木のサブブロックレベル内で、あるサブブロック内の予測マップの値が閾値よりも小さい場合、そのサブブロックのビットもスキップされる。

同様に、必要な領域は、再構成されたフレームとフィルタリングされたフレームとの間の差が閾値よりも大きいブロック又は領域により、必要な領域が定義される。例えばブロックR(X,Y)は、以下が当てはまる場合に、必要な領域である。

ここで(i,j)は、ピクチャにおける画素の位置を示し、th_nessは、閾値であり、異なるブロックサイズについて異なる値を有する。

必要な領域又は不要な領域の何れかにも属さない領域は、可能性のある領域として定義される。これらの可能性のある領域は殆どが不確実性を含むので、これらの可能性のある領域のみについて副情報を送出することが必要とされる。他の２つの領域について、不要な領域はフィルタリングされる必要がなく、必要な領域は当然フィルタリングされるので、副情報は送出されない。領域又はブロックは、異なるサイズ及びトポロジーを有することを理解されたい。さらに、閾値は、異なるブロック又は領域について異なる値を取ることを理解されたい。この領域の分割を行うために必要とされる全ての情報は、再構成された画像とフィルタリングされた再構成された画像とを比較するだけなので、エンコーダ及びデコーダの両者で利用可能である。従って、領域の分割に更なるオーバヘッドを送出する必要がない。

別の実施の形態では、再構成されたフレームとフィルタリングされたフレームは、フィルタリングされた領域の粗い検出を取得するために比較される。次いで、粗い領域の検出は、例えば空間-時間の局所分散、圧縮モード、動き情報等のような、復号化されたピクチャからの多くの情報を包含することでリファインされる。リファインされた領域の検出は、最終的な分割を提供する。可能性のある領域についてのみ副情報が送出され、必要な領域及び不要な領域については、デコーダで暗黙的に決定されるので送出されない。

図７を参照して、ビデオエンコーダにおいて暗黙のフィルタリングの信号伝達によりピクチャデータを適応的にフィルタリングする例示的な方法は、参照符号７００により示される。本方法７００は、開始ブロック７０５を含み、この開始ブロックは、機能ブロック７１０に制御を進める。機能ブロック７１０は、オリジナルピクチャImg_org及び再構成されたピクチャImg_decに基づいてフィルタＦを推定する。機能ブロック７１５は、フィルタＦを再構成されたピクチャImg_decに適用して、Img_filteredを取得し、機能ブロック７２０に制御を進める。機能ブロック７２０は、式（２）に基づいて予測マップＭを生成し、機能ブロック７２５に制御を進める。機能ブロック７２５は、ピクチャImg_decを、不要な領域、必要な領域及び可能性のある領域に分割し、機能ブロック７３０に制御を移す。機能ブロック７３０は、Img_decからの特徴、符号化モード、動き情報等に基づいて分割の結果をリファインし、機能ブロック７３５に制御を進める。機能ブロック７３５は、レート歪み（RD）コストに基づいてそれぞれのブロックフィルタを「オン」又は「オフ」に切り替えるかに関して、それぞれの可能性のある領域について判定を行い、機能ブロック７４０に制御を進める。機能ブロック７４０は、必要な領域について「オン」にフィルタの切り替えを設定し、不要な領域について「オフ」にフィルタの切り替えを設定し、機能ブロック７４５に制御を進める。機能ブロック７４５は、それぞれのブロックでのフィルタの切り替え情報に基づいて、フィルタＦをピクチャImg_decに適用し、機能ブロック７５０に制御を進める。機能ブロック７５０は、可能性のある領域について切り替え情報をエンコードし、フィルタＦをエンコードし、終了ブロック７９９に制御を進める。

図８を参照して、ビデオデコーダにおいて暗黙のフィルタリングの信号伝達によりピクチャデータを適応的にフィルタリングする例示的な方法は、参照符号８００により示される。本方法８００は、開始ブロック８０５を含み、この開始ブロックは、機能ブロック８１０に制御を進める。機能ブロック８１０は、可能性のある領域について、フィルタＦを分析し、切り替え情報を分析し、機能ブロック８１５に制御を進める。機能ブロック８１５は、フィルタＦを再構成されたピクチャImg_decに適用して、Img_filteredを取得し、機能ブロック８２０に制御を進める。機能ブロック８２０は、式（２）に基づいて予測マップＭを生成し、機能ブロック８２５に制御を進める。機能ブロック８２５は、ピクチャImg_decを、不要な領域、必要な領域、及び可能性のある領域に分割し、機能ブロック８３０に制御を進める。機能ブロック８３０は、Img_decからの特徴、符号化モード、動き情報等に基づいて分割の結果をリファインし、機能ブロック８３５に制御を進める。機能ブロック８３５は、分析された結果に基づいて、可能性のある領域についてフィルタの切り替えを設定し、機能ブロック８４０に制御を進める。機能ブロック８４０は、必要な領域について「オン」にフィルタの切り替えを設定し、不要な領域について「オフ」にフィルタの切り替えを設定し、機能ブロック８４５に制御を進める。機能ブロック８４５は、それぞえのブロックでのフィルタの切り替え情報に基づいて、フィルタＦをピクチャImg_decに適用し、終了ブロック８９９に制御を進める。

［再帰的なフィルタリングと暗黙のフィルタリングの信号伝達］
先に提案された２以上の様々な実施の形態は、パフォーマンスを更に改善するために組み合わせることができる。再帰的なフィルタリングのプロセスにおいて、フィルタ推定のためにデータセットを定義することが必要とされるので、データセットを定義又はリファインするために暗黙のフィルタリングの信号伝達における領域検出技術が使用される。暗黙のフィルタリングの信号伝達の技術は、再帰的なフィルタリングプロセスにおけるそれぞれのフィルタリング又は幾つかのフィルタリングのために使用される。

１実施の形態では、再帰的なフィルタリングプロセスにおける１回のフィルタリングが実行され、推定されたフィルタ及びフィルタリングされたピクチャは、出力される。次いで、フィルタリングされたピクチャ及びフィルタリングされないピクチャ（再構成されたピクチャ）は、ピクチャを必要な領域、不要な領域、及び可能性のある領域に分割するため、領域検出を実行するために使用される。次の回のフィルタリングでは、必要な領域の画素及び可能性のある領域の画素は、フィルタ推定のためにデータセットに組み込まれる。ピクチャの再帰的なフィルタリング及びフィルタ推定のリファインが保持される。フィルタリングされたピクチャの品質がこれ以上改善しないとき（例えば閾値以下）、反復的なプロセスが終了する。

図９を参照して、ビデオエンコーダにおいて暗黙的なフィルタリングの信号伝達によりピクチャデータを適応的且つ再帰的にフィルタリングする例示的な方法は、参照符号９００により示される。本方法９００は、開始ブロック９０５を含み、この開始ブロックは、機能ブロック９１０に制御を進める。機能ブロック９１０は、フィルタ構造（例えばサポートサイズ及びトポロジー）を定義し、ループリミットブロック９１５に制御を移す。ループリミットブロック９１５は、ループを開始し、（delta_dist＞閾値及びK＜max_K）の間、ループを係属し、機能ブロック９２０に制御を進める。機能ブロック９２０は、再構成されたImg及び／又はImg_k-1を使用することで、フィルタ推定のためにデータセットＤkを決定し、機能ブロック９２５に制御を進める。機能ブロック９２５は、データセットＤkに基づいてフィルタＦkを推定し、機能ブロック９３０に制御を進める。機能ブロック９３０は、レート歪み（RD）コストに基づいて可能性のある領域について切り替え情報を決定し、必要な領域について「オン」にフィルタ切り替えを設定し、不要な領域について「オフ」にフィルタ切り替えを設定し、機能ブロック９３５に制御を進める。機能ブロック９３５は、Ｆk及び切り替え情報を使用することで、前にフィルタリングされたピクチャImg_k-1をフィルタリングして、フィルタリングされたピクチャImg_kを取得し、機能ブロック９４０に制御を進める。機能ブロック９４０は、Img_kとオリジナルピクチャorgとの間の歪みdist_kを計算し、判定ブロック９４５に制御を進める。判定ブロック９４５は、dist_k＜dist_k-1であるか否かを判定する。dist_k＜dist_k-1である場合、機能ブロック９５０に制御を進める。dist_k＜dist_k-1でない場合、機能ブロック９５５に制御を進める。機能ブロック９５０は、Ｆbest[k]＝Ｆkを設定し、k_final＝kを設定し、機能ブロック９５５に制御を進める。機能ブロック９５５は、Delta_dist＝｜dist_k−dist_k-1｜を設定し、ループリミットブロック９６０に制御を進める。ループリミットブロック９６０は、ループを終了し、機能ブロック９６５に制御を進める。機能ブロック９６５は、k_final及びフィルタＦbest[k]をエンコードし、終了ブロック９９９に制御を進める。

図１０を参照して、ビデオデコーダにおいて暗黙のフィルタリングの信号伝達によりピクチャデータを適応的且つ再帰的にフィルタリングする例示的な方法は、参照符号１０００により示される。本方法１０００は、開始ブロック１００５を含み、この開始ブロックは、機能ブロック１０１０に制御を進める。機能ブロック１０１０は、k_finalを分析し、機能ブロック１０１５に制御を進める。機能ブロック１０１５は、k＝0,...,k_finalについてフィルタＦbest[k]、構造及び係数を分析し、ループリミットブロック１０２０に制御を進める。ループリミットブロック１０２０は、ループを開始し、（k＜k_final）の間、ループを継続し、機能ブロック１０２５に制御を進める。機能ブロック１０２５は、分析された結果に基づいて可能性のある領域について切り替え情報を決定し、必要な領域について「オン」にフィルタ切り替えを設定し、不要な領域について「オフ」にフィルタ切り替えを設定し、機能ブロック１０３０に制御を進める。機能ブロック１０３０は、Ｆbest[k]及び切り替え情報を使用することで、ピクチャImg_k-1をフィルタリングして、フィルタリングされたピクチャImg_kを取得し、ループリミットブロック１０３５に制御を進める。ループリミットブロック１０３５は、ループを終了し、機能ブロック１０４０に制御を進める。機能ブロック１０４０は、ピクチャImg_k_finalを出力し、終了ブロック１０９９に制御を進める。

［シンタックス］
表１は、本発明の実施の形態に係る、例示的なピクチャ及びスライスヘッダのシンタックスを示す。

表１のシンタックスエレメントの幾つかの意味は、以下の通りである。
iterative_filtering_flagが１に等しい場合、反復のフィルタリングプロセスがそのピクチャについて有効にされる（使用される）ことを示す。iterative_filtering_flagが０に等しい場合、反復のフィルタリングプロセスがそのピクチャについて無効にされる（使用される）ことを示す。
k_finalは、反復フィルタリングプロセスの反復回数を指定する。
implicit_filter_signal_falgが１に等しい場合、暗黙のフィルタリングの信号伝達がそのピクチャについて有効にされることを示す。implicit_filter_signal_falgが０に等しい場合、暗黙のフィルタリングの信号伝達がそのピクチャについて無効にされることを示す。
filter_switch[i]が１に等しい場合、フィルタが領域iについてオンであることを示し、filter_switch[i]が０に等しい場合、フィルタが領域iについてオフであることを示す。
filter_coeff[k][j]は、ｋ回目のフィルタリングでのそのピクチャのフィルタ係数を指定する。

以下、本発明の多くの付随する利点／特徴の幾つかについて説明が与えられ、そのうちの幾つかは上に述べられた。例えば、１つの利点／特徴は、適応フィルタリングを使用してピクチャの少なくとも１部のピクチャデータを符号化するビデオエンコーダを有する装置である。ビデオエンコーダは、適応フィルタリングを実行する適応型フィルタを含む。適応フィルタリングのために使用される最終的なフィルタ係数のセットは、複数のフィルタ係数のセットを反復的に推定し、複数のフィルタ係数のセットのうちの最後に推定されたセットに対応する最後の推定により、前記少なくとも１部についての閾値を超える品質の改善が得られたときに、最終的なフィルタ係数として複数のフィルタ係数のセットのうちの最後の推定されたセットを選択することで決定される。

別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、最終的なフィルタ係数のセットを決定するために使用された反復回数は固定される。

更に別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、適応フィルタリングは、複数回にわたって反復的に実行されることを含み、複数回にわたる反復的な実行のそれぞれについて、同じフィルタタイプが使用される。

更に別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、複数のフィルタ係数のセットは、全体的に（global basis）、領域に基づいて（region basis）、局所的に（local basis）、のうちの１つで反復的に推定される。

さらに、別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、適応フィルタリングは、複数回にわたって反復的に実行されることを含み、複数のフィルタは、複数回にわたる反復的な実行のうちの１以上で使用される。

さらに、別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、適応フィルタは、ループ内のフィルタリング構成及びループ外のフィルタリング構成のうちの少なくとも１つで利用される。

また、別の利点／特徴は、適応フィルタリングを使用してピクチャの少なくとも１部のピクチャデータを符号化するビデオエンコーダを有する装置である。ビデオエンコーダは、適応フィルタリングを実行する適応フィルタを含む。少なくとも、適応フィルタリングのためのフィルタ係数のセットと、適応フィルタリングの機能を有効又は無効の何れかにするフィルタリングの切り替え情報は、暗黙の領域を指示するアプローチを使用して暗黙的に示され、このアプローチは、適応フィルタリングの所定の候補、所定の非候補、及び可能性のある候補として、ピクチャにおける１以上の領域をそれぞれ指定する。

さらに、別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、ピクチャは、１以上の領域を得るために分割される。

さらに、別の利点／特徴は、ビデオエンコーダを有する装置であり、ピクチャは、上述されたように１以上の領域を得るために分割され、特定の領域が所定の候補のうちの１つ、所定の非候補のうちの１つ、又は可能性のある候補のうちの１つであるかに関する識別は、そのピクチャに対応するフィルタリングされたフレームと再構成されたフレームを比較することで決定される。

さらに、別の利点／特徴は、ビデオエンコーダを有する装置であり、ピクチャは、上述されたように１以上の領域を得るために分割され、特定の領域が所定の候補のうちの１つ、所定の非候補のうちの１つ、又は可能性のある候補のうちの１つであるかに関する識別は、そのピクチャに対応するフィルタリングされたフレームと再構成されたフレームのうちの少なくとも１つからのコンテンツの特徴を使用して検出されるか、又はリファインされる。

また、別の利点／特徴は、ビデオエンコーダを有する装置であり、ピクチャは、上述されたように１以上の領域を得るために分割され、特定の領域は、所定の候補のうちの１つ、所定の非候補のうちの１つ、又は可能性のある候補のうちの１つであるかに関する識別は、そのピクチャに対応する符号化情報を使用して検出及びリファインされる。

さらに、別の利点／特徴は、ビデオエンコーダを有する装置であり、特定の領域は、所定の候補のうちの１つ、所定の非候補のうちの１つ、又は可能性のある候補のうちの１つであるかに関する識別は、上述されたように、そのピクチャに対応する符号化情報を使用して検出及びリファインされ、符号化情報は、符号化モード、動き情報、ピクチャタイプ及びスライスタイプのうちの少なくとも１つを含む。

さらに、別の利点／特徴は、ビデオエンコーダを有する装置であり、ピクチャは、上述されたように１以上の領域を得るために分割され、１以上の領域を分割するために使用される基準は、１以上の領域及び領域の境界のうちの異なる１つ領域及び領域の境界のうちの少なくとも１つについて可変である。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本明細書での教示に基づいて当業者により容易に確かめられる場合がある。本発明の教示は、ハードウェア、シフトウェア、ファームウェア、特定用途向けプロセッサ又はこれらの組み合わせの様々な形態で実現されることを理解されたい。

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、任意の適切なアーキテクチャを有するマシンにアップロードされ、該マシンにより実行される。好ましくは、マシンは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本明細書で記載された様々なプロセス及び機能は、CPUにより実行される、マイクロ命令コードの一部又はアプリケーションプログラムの一部、或いはその組み合わせである。さらに、様々な他の周辺ユニットは、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される。

添付図面に示されるシステム構成要素及び方法の幾つかは、ソフトウェアで実現されることが好ましいため、システム構成要素間又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされる方式に依存して異なる場合がある。本明細書での教示が与えられると、当業者であれば、本発明のこれらの実現又はコンフィギュレーション、及び、類似の実現又はコンフィギュレーションを創作することができる。

例示的な実施の形態が添付図面を参照しながら記載されたが、本発明はそれらの正確な実施の形態に限定されるものではなく、本発明の精神又は範囲から逸脱することなしに、当業者により様々な変形及び変更が実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べられる本発明の範囲に含まれることが意図される。

Claims (13)

1. 適応フィルタリングを使用して、ピクチャの少なくとも一部のピクチャデータを符号化するビデオエンコーダを備える装置であって、
   前記ビデオエンコーダは、前記適応フィルタリングを実行する適応フィルタを含み、
   前記適応フィルタリングのために使用される最終的なフィルタ係数のセットは、
   前に推定されたフィルタ係数のセットによりフィルタリングされたピクチャからのデータを用いて次のフィルタ係数のセットを推定することによって、複数のフィルタ係数のセットを反復的に推定し、
   前記少なくとも一部について閾値を超える品質の改善が得られるフィルタ係数のセットが推定される場合に、該推定されたフィルタ係数のセットを選択する
   ことで決定され、
   前記フィルタリングされたピクチャの必要な領域及び可能性がある領域からのデータのみが、前記複数のフィルタ係数のセットの反復推定のうちの最初の推定の後にフィルタ係数のセットを推定するために使用され、前記必要な領域及び可能性がある領域は、再構成されたピクチャ及びフィルタリングされたピクチャを用いて決定される、
   装置。
2. ビデオエンコーダにおける方法であって、
   前に推定されたフィルタ係数のセットによりフィルタリングされたピクチャからのデータを用いて次のフィルタ係数のセットを推定することによって、複数のフィルタ係数のセットを反復的に推定するステップと、
   前記少なくとも一部について閾値を超える品質の改善が得られるフィルタ係数のセットが推定される場合に、該推定されたフィルタ係数のセットを適応フィルタリングのための最終的なフィルタ係数のセットとして選択するステップと、
   前記適応フィルタリングのための前記最終的なフィルタ係数のセットを使用して適応フィルタリングを行うステップと、
   前記ピクチャの少なくとも一部のピクチャデータを符号化するステップと、
   を含み、
   前記フィルタリングされたピクチャの必要な領域及び可能性がある領域からのデータのみが、前記複数のフィルタ係数のセットの反復推定のうちの最初の推定の後にフィルタ係数のセットを推定するために使用され、前記必要な領域及び可能性がある領域は、再構成されたピクチャ及びフィルタリングされたピクチャを用いて決定される、方法。
3. 前記複数のフィルタ係数のセットの反復推定の回数は固定される、
   請求項２記載の方法。
4. 前記適応フィルタリングは、複数回にわたり反復的に実行され、
   前記適応フィルタリングの複数回の反復的な実行のそれぞれについて、同じフィルタタイプが使用される、
   請求項２記載の方法。
5. 前記複数のフィルタ係数のセットは、全体的に、領域毎に、局所的に、のうちの１つで反復的に推定される、
   請求項２記載の方法。
6. 前記適応フィルタリングは、複数回にわたり反復的に実行され、
   前記適応フィルタリングの複数回の反復的な実行のうちの１以上の適応フィルタリングにおいて複数のフィルタが使用される、
   請求項２記載の方法。
7. 前記適応フィルタリングは、ループ内のフィルタリング構成及びループ外のフィルタリング構成の少なくとも１つにおいて利用される、
   請求項２記載の方法。
8. 入力ピクチャの少なくとも一部のピクチャデータを復号化するビデオデコーダを備える装置であって、
   前記ビデオデコーダは、複数のフィルタ係数のセットを使用して前記入力ピクチャの再構成されたバージョンを反復的にフィルタリングするよう構成される反復フィルタを含み、該反復フィルタは、前記入力ピクチャの出力バージョンを取得するために、受信した推定されたフィルタを適用し、
   前記フィルタリングされたピクチャの必要な領域及び可能性がある領域が、前記ピクチャデータにより符号化されたデータを分析することで決定される場合に、前記必要な領域及び可能性がある領域からのデータのみが、前記反復フィルタのフィルタ係数のセットを推定するために使用される、
   装置。
9. ビデオデコーダにおける方法であって、
   受信した推定されたフィルタを反復フィルタに適用するステップと、
   前記反復フィルタにより、複数のフィルタ係数のセットを使用して、入力ピクチャの再構成されたバージョンを反復的にフィルタリングするステップと、
   前記入力ピクチャの少なくとも一部のピクチャデータを復号化して、前記入力ピクチャの出力バージョンを取得するステップと、
   を含み、
   前記フィルタリングされたピクチャの必要な領域及び可能性がある領域が、前記ピクチャデータにより符号化されたデータを分析することで決定される場合に、前記必要な領域及び可能性がある領域からのデータのみが、前記反復フィルタのフィルタ係数のセットを推定するために使用される、
   方法。
10. 前記入力ピクチャの前記出力バージョンを得るために前記入力ピクチャの前記再構成されたバージョンを反復的にフィルタリングする回数は固定される、
    請求項９記載の方法。
11. 前記フィルタリングは、複数回にわたり反復的に実行され、
    前記フィルタリングの複数回の反復的な実行のそれぞれについて同じタイプのフィルタが使用される、
    請求項９記載の方法。
12. 前記フィルタリングは、複数回にわたり反復的に実行され、
    前記フィルタリングの複数回の反復的な実行のうちの１以上において複数のフィルタリングが使用される、
    請求項９記載の方法。
13. 前記フィルタリングは、ループ内のフィルタリング構成及びループ外のフィルタリング構成のうちの少なくとも１つで実行される、
    請求項９記載の方法。

Images