JP5357898B2 - 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置 - Google Patents

多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置 Download PDF

Info

Publication number
JP5357898B2
JP5357898B2 JP2010543123A JP2010543123A JP5357898B2 JP 5357898 B2 JP5357898 B2 JP 5357898B2 JP 2010543123 A JP2010543123 A JP 2010543123A JP 2010543123 A JP2010543123 A JP 2010543123A JP 5357898 B2 JP5357898 B2 JP 5357898B2
Authority
JP
Japan
Prior art keywords
input
picture
filtering
threshold
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010543123A
Other languages
English (en)
Other versions
JP2011510561A5 (ja
JP2011510561A (ja
Inventor
チャン ドレア カミロ
ディヴォラ エスコーダ オスカル
ペン イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40885850&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5357898(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011510561A publication Critical patent/JP2011510561A/ja
Publication of JP2011510561A5 publication Critical patent/JP2011510561A5/ja
Application granted granted Critical
Publication of JP5357898B2 publication Critical patent/JP5357898B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本原理は、一般に映像の符号化および復号に関し、より詳細には、多格子スパーシティベースフィルタリング（ｍｕｌｔｉ−ｌａｔｔｉｃｅ ｓｐａｒｓｉｔｙ−ｂａｓｅｄ ｆｉｌｔｅｒｉｎｇ）を使用する、アーチファクト除去（ｄｅ−ａｒｔｉｆａｃｔ）フィルタリングのための方法および装置に関する。
関連出願の相互参照
本出願は、参照により本明細書にその全体が組み込まれている、２００８年１月１４日に出願された米国特許仮出願第６１／０２０，９４０号明細書（整理番号ＰＵ０８０００５）の利益を主張するものである。
映像符号化標準は、概して（例えばＤＣＴとも呼ばれる離散コサイン変換などだが、これだけに限定されない）ブロックベース変換、および動き補償を使用して圧縮効率を得る。変換係数を粗く量子化すること、および動き補償予測において近隣ブロックが様々な参照位置または様々な参照ピクチャを使用することは、エッジ、テクスチャ周りの歪みやブロックの不連続性など、視覚的に邪魔なアーチファクト(アーティファクトともいう)を引き起こす可能性がある。
圧縮アーチファクトを減少させ、復号映像信号の質を高めるために、映像の符号化においてフィルタリング方策が一般に適用される。ＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）Ｐａｒｔ１０ ＡＶＣ（高度映像符号化：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準／ＩＴＵ−Ｔ（国際電気通信連合・電気通信標準化部門）Ｈ．２６４勧告（本明細書では以下「ＭＰＥＧ−４ ＡＶＣ標準」とする）では、適応デブロッキングフィルタを導入して、第１の従来技術の手法に関して説明した、ブロック境界に沿って生じるアーチファクトを抑制する。より具体的には、第２の従来技術の手法および第３の従来技術の手法に関して説明したような、ブロックの不連続性についてのアーチファクトだけでなく、画像特異点（ｓｉｎｇｕｌａｒｉｔｉｅｓ）（例えばエッジおよび／またはテクスチャ）周りのアーチファクトも、これらのアーチファクトが現れ得る場合はいつでも抑制するために、アーチファクト除去手法が提案されている。しかし、性能を最大限にするために、そして第２の従来技術の手法によれば、アーチファクト除去フィルタは、映像符号化手順によって課せられる局所符号化条件を考慮しなければならない。例えば、単一フレーム内で、ＭＰＥＧ−４ ＡＶＣ標準は、互いに異なる量子化雑音統計および対応するフィルタリング要求をそれぞれが前提とする、様々な予測モード（イントラ、インター、スキップ等）を提供する。さらに、時間的な信号変動および時系列でみた場合のピクチャコンテンツの変化は、そのピクチャ内に存在する量子化雑音の統計に影響を与える場合がある。
したがって、映像の符号化において一般的に適用される、圧縮アーチファクトを減らし、復号映像信号の質を高めるためのこのフィルタリング方策に関して、適用されるフィルタは後処理段階に導入することができ、またはハイブリッド映像符号器／復号器のループ内に統合することができる。後処理段階のとき、このフィルタは符号化ループの外側（ループ外）で機能し、参照フレームに影響を及ぼさない。したがって、復号器は、必要とみなされるときに自由に後処理段階を使用することができる。その一方で、符号化ループの中（ループ内）に適用される場合、このフィルタはピクチャを改善することができ、そのピクチャは後に参照フレームとして使用される。改善された参照フレームは、動き補償に関してより高い質の予測を提供し、より優れた圧縮性能を可能にすることができる。
ＭＰＥＧ−４ ＡＶＣ標準内では、第１の従来技術の手法に関して説明したものとしてのループ内デブロッキングフィルタが採用されている。このフィルタは、ブロック境界に沿って生じるアーチファクトを減らすように機能する。そのようなアーチファクトは、変換（例えばＤＣＴ）係数を粗く量子化すること、ならびに動き補償予測によって引き起こされる。ブロックエッジに低域フィルタを適応的に適用することにより、このデブロッキングフィルタは主観的映像品質および客観的映像品質の両方を改善することができる。このフィルタは、ブロックエッジの周りのサンプルの解析を行うことによって動作し、フィルタリングの強度を適応させて、実際の画像コンテンツに関係する、概してより大きい強度差を保ちながら、ブロッキングアーチファクトに起因する小さな強度差を減少させる。いくつかのブロック符号化様式およびブロック符号化条件も、このフィルタを適用する強度を指示する役目を果たす。これらには、インター／イントラ予測の決定、符号化残留の存在、および隣接するブロック間の動きの差分が含まれる。ブロックレベルでの適応性に加え、このデブロッキングフィルタは、スライスレベルおよびサンプルレベルにおいても適応的である。スライスレベルでは、映像シーケンスの個々の特性に応じてフィルタリングの強度を調節することができる。サンプルレベルでは、サンプル値および量子化器ベースの閾値に応じて、フィルタリングを個々のサンプルでオフにすることができる。
ＭＰＥＧ−４ ＡＶＣ標準のデブロッキングフィルタによって除去されるブロッキングアーチファクトだけが、圧縮映像内に存在するアーチファクトではない。粗い量子化は、リンギング、エッジの歪み、および／またはテクスチャの破損などの他のアーチファクトにも関与する。このデブロッキングフィルタは、ブロックの内側に現れる、量子化誤差に起因するアーチファクトは低減することができない。さらに、デブロッキングで使用する低域フィルタリング技法は、平滑な画像モデルを想定しており、エッジやテクスチャなどの画像特異点を処理するのに適していない。
ＭＰＥＧ−４ ＡＶＣ標準のデブロッキングフィルタの制約を克服するために、例えば第２の従来技術の手法に関して説明したような雑音除去型非線形ループ内フィルタが最近提案されている。この非線形雑音除去フィルタは、１組の過完備線形変換および閾値処理操作を使用して、スパース画像モデルを利用する非定常画像統計に適応する。この非線形雑音除去フィルタは、自らが動作する領域に応じて高域フィルタ、低域フィルタ、または帯域フィルタ等に自動的になる。この非線形雑音除去フィルタは広範囲に適用可能であり、画像特異点を含む領域にロバストな解決策を提供する。
第２の従来技術の手法に関して説明した雑音除去ループ内フィルタは、１組の過完備変換によってもたらされる１組の雑音除去推定値（ｄｅｎｏｉｓｅｄ ｅｓｔｉｍａｔｅｓ）を使用する。この実装形態は、ウェーブレットやＤＣＴなど、所与の２次元（２Ｄ）正規直交変換Ｈのすべての可能な移動（ｔｒａｎｓｌａｔｉｏｎ）Ｈiを使用することにより、１組の過完備変換を生成する。したがって、画像Ｉを所与として、この様々な変換Ｈiを適用することにより、画像Ｉの一連の様々な変換バージョンＹiが作成される。次いで、各変換バージョンＹiは、典型的には閾値処理操作を含む雑音除去手順にかけられ、一連のＹ’iがもたらされる。次いで、この変換され閾値処理された係数Ｙ’iは、空間領域に再び逆変換され、雑音除去推定値Ｉ’iを生じさせる。過完備の設定では、雑音除去推定値の一部は他の雑音除去推定値より優れた性能を提供し、最終フィルタ済みバージョンＩ’は、そのような雑音除去推定値を平均化することによる組合せから利益を受けることが予想される。第２の従来技術の手法に関して説明した雑音除去フィルタは、雑音除去推定値Ｉ’iを重み付け平均化することを提案し、その重みは、最良の雑音除去推定値に重点を置くように最適化される。重み付けの手法は様々なものとすることができ、フィルタしようとするデータ、使用される変換、および雑音に関する統計的仮定に依拠することができる。ブロック変換を使用する場合、第２の従来技術の手法は、そのような変換がもたらす分解（ｄｅｃｏｍｐｏｓｉｔｉｏｎ）のスパースネス測定に基づく実用的な計量手法を提供する。さらに、第２の従来技術の手法に関して説明した方式は、選択したピクセルをフィルタリングにかける対象外とするマスク機能を適用し、符号化条件およびコーデックの量子化パラメータ（ＱＰ）に従ってフィルタリング閾値を局所的に決定することにより、時間的に符号化されるフレームに対応する。
第２の従来技術の手法の雑音除去フィルタは、その広範な適用可能性にもかかわらず、３つの主要な制約を示す。第１に、所与の正規直交変換の移動バージョンＨiを使用することは、１組の過完備変換の解析方向を垂直成分および水平成分のみに制約する。構造解析の方向についてのこの制約は、垂直または水平以外の向きを有する信号構造を適切にフィルタリングすることを妨げる可能性がある。第２に、一部の変換Ｈiは、映像符号化プロセスにおいて残留信号を符号化するために使用する変換と同様であり、または等しい。符号化において使用する変換は、多くの場合、復元に使用可能な係数の数を減らすことに関与する。この減らすことは、第２の従来技術の手法において、雑音除去推定値の組合せのための最適な重みを計算するために使用する、スパースネス測定を変える可能性があり、フィルタリングの後にアーチファクトがあることを許す。第３に、時間的に符号化されるフレームに対応するための機構（マスク機能および空間的に局在する閾値）にもかかわらず、閾値の選択が、信号構造、符号化モデル、および／または量子化雑音統計に時間的に適応できるわけではない。
第３の従来技術の手法の方向適応型アーチファクト除去フィルタは、ブロッキングアーチファクト、ならびにブロック内にまたは画像特異点の周りに生じるアーチファクトを含む様々な種類のアーチファクトの低減を行う、高性能の非線形ループ内フィルタである。このフィルタは、１組の過完備変換によってもたらされる雑音除去推定値の重み付き組合せに基づく。ただし、第２の従来技術の手法の雑音除去フィルタとは異なり、この第３の従来技術の手法の方向適応型アーチファクト除去フィルタは、解析の方向を垂直成分および水平成分を超えて拡張するために、フィルタしようとするピクチャの様々な副格子（ｓｕｂ−ｌａｔｔｉｃｅ）サンプリングを活用する。さらに、この方向適応型アーチファクト除去フィルタは、残留の符号化で使用する変換と同様の変換から生じ、または近接して並んだ変換から生じる雑音除去推定値を重み付き組合せから除去する。
このフィルタの方向適応性は、所与の変換Ｈの移動Ｈiを、画像の様々なサブサンプリングにわたって適用することによって実現される。向きをつけられたサブサンプリングパターンは、変換の分解の方向に適応することができる。例えば図１を見ると、直交グリッドを２つの相補的な五点形格子に分解することが、参照番号１００によって全体として示されている。この２つの相補的な五点形格子を、１組の黒い点および１組の白い点によってそれぞれ示す。直交グリッドに適した任意の変換を、格子のサブサンプルされた信号に適用し、解析の方向を垂直および水平を超えて拡張することができる。雑音除去推定値Ｉ’iは、変換、閾値処理、逆変換の手法に従い、相補的なサブサンプリングからの結果を元の格子に再び再配列することによって得ることができる。第３の従来技術の手法に関して説明したように、２つの五点形サブサンプリング格子とともに元のサンプリンググリッドを使用する、多格子処理が提案されている。この複数の格子のそれぞれから生じる雑音除去推定値は、重み付け組合せによって組み合わせられる。スパースネスがより大きい変換分解に関する雑音除去推定値の重みは、より高い値を有するとみなされる。この考えは、よりスパースな分解は最低量の雑音を含むという想定から来る。
図２を見ると、方向適応型アーチファクト除去フィルタが、参照番号２００によって全体として示されている。このフィルタ２００は、第３の従来の手法に対応する。係数雑音除去モジュール２１２、２１４、および２１６は、フィルタリング閾値の知識を必要とすることに留意すべきである。
ダウンサンプルおよびサンプル再配列モジュール２０２の出力は、（１組の冗長な変換Ｂを用いる）順変換モジュール２０８の入力に信号通信で接続される。ダウンサンプルおよびサンプル再配列モジュール２０４の出力は、（１組の冗長な変換Ｂを用いる）順変換モジュール２１０の入力に信号通信で接続される。
（１組の冗長な変換Ａを用いる）順変換モジュール２０６の出力は、係数雑音除去モジュール２１２に信号通信で接続される。（１組の冗長な変換Ｂを用いる）順変換モジュール２０８の出力は、係数雑音除去モジュール２１４に信号通信で接続される。（１組の冗長な変換Ｂを用いる）順変換モジュール２１０の出力は、係数雑音除去モジュール２１６に信号通信で接続される。
係数雑音除去モジュール２１２の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール２２６の入力、および（１組の冗長な変換Ａを用いる）逆変換モジュール２１８の入力に信号通信で接続される。係数雑音除去モジュール２１４の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール２３０の入力、および（１組の冗長な変換Ｂを用いる）逆変換モジュール２２０の入力に信号通信で接続される。係数雑音除去モジュール２１６の出力は、各ピクセルに影響する非ゼロ係数の数の計算モジュール２３２の入力、および（１組の冗長な変換Ｂを用いる）逆変換モジュール２２２の入力に信号通信で接続される。
（１組の冗長な変換Ａを用いる）逆変換モジュール２１８の出力は、結合モジュール２３６の第１の入力に信号通信で接続される。（１組の冗長な変換Ｂを用いる）逆変換モジュール２２０の出力は、アップサンプル、サンプル再配列、および剰余類（ｃｏｓｅｔｓ）マージモジュール２２４の第１の入力に信号通信で接続される。（１組の冗長な変換Ｂを用いる）逆変換モジュール２２２の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール２２４の第２の入力に信号通信で接続される。
変換ごとの各ピクセルに影響する非ゼロ係数の数の計算モジュール２３０の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール２２８の第１の入力に信号通信で接続される。変換ごとの各ピクセルに影響する非ゼロ係数の数の計算モジュール２３２の出力は、アップサンプル、サンプル再配列、および剰余類マージモジュール２２８の第２の入力に信号通信で接続される。
アップサンプル、サンプル再配列、および剰余類マージモジュール２２８の出力は、一般組合せ重み計算モジュール２３４の第１の入力に信号通信で接続される。各ピクセルに影響する非ゼロ係数の数の計算２２６の出力は、一般組合せ重み計算モジュール２３４の第２の入力に信号通信で接続される。一般組合せ重み計算モジュール２３４の出力は、結合モジュール２３６の第２の入力に信号通信で接続される。
アップサンプル、サンプル再配列、および剰余類マージモジュール２２４の出力は、結合モジュール２３６の第３の入力に信号通信で接続される。
（１組の冗長な変換Ａを用いる）順変換モジュール２０６の入力、ダウンサンプルおよびサンプル再配列モジュール２０２の入力、ならびにダウンサンプルおよびサンプル再配列モジュール２０４の入力は、入力画像を受け取るための、フィルタ２００の入力としてそれぞれ利用可能である。結合モジュール２３６の出力は、出力画像を提供するための、このフィルタの出力として利用可能である。
図３を見ると、方向適応型アーチファクト除去フィルタリングに関する方法が、参照番号３００によって全体として示されている。この方法３００は、第３の従来の手法に対応する。方法３００は、機能ブロック３１０に制御を渡す、開始ブロック３０５を含む。機能ブロック３１０は、副格子画像分解の可能な集合の形および数を設定し、ループ端ブロック３１５に制御を渡す。ループ端ブロック３１５は、すべての（副）格子の集合にわたりループｊを開始し、機能ブロック３２０に制御を渡す。機能ブロック３２０は、画像をダウンサンプルし、副格子ｊの集合に基づいてＮ個の副格子に分割し（副格子の総数はすべての集合ｊによって決まる）、ループ端ブロック３２５に制御を渡す。ループ端ブロック３２５は、（総数は集合ｊによって決まる）副格子ごとにループｉを開始し、機能ブロック３３０に制御を渡す。機能ブロック３３０は、サンプルを（例えば配列Ａ（ｊ，Ｋ）からＢに）再配列し、機能ブロック３３５に制御を渡す。機能ブロック３３５は、所与の副格子ｊの集合に関してどの変換を使えるようにするのかを選択し、ループ端ブロック３４０に制御を渡す。ループ端ブロック３４０は、許可されたすべての変換（副格子集合ｊに応じて選択され、例えば一部の変換は所与のｊに関して許可されない場合がある）にわたりループｉを開始し、機能ブロック３４５に制御を渡す。機能ブロック３４５は、変換行列ｉを用いて変換を行い、機能ブロック３５０に制御を渡す。機能ブロック３５０は、係数を雑音除去し、機能ブロック３５５に制御を渡す。機能ブロック３５５は、逆変換行列ｉを用いて逆変換を行い、ループ端ブロック３６０に制御を渡す。ループ端ブロック３６０は、ループｉを終了し、機能ブロック３６５に制御を渡す。機能ブロック３６５は、サンプルを（例えば配列ＢからＡ（ｊ，ｋ）に）再配列し、ループ端ブロック３７０に制御を渡す。ループ端ブロック３７０は、ループｋを終了し、機能ブロック３７５に制御を渡す。機能ブロック３７５は、副格子をアップサンプルし、副格子ｊの集合に基づいてマージし、ループ端ブロック３８０に制御を渡す。ループ端ブロック３８０は、ループｊを終了し、機能ブロック３８５に制御を渡す。機能ブロック３８５は、雑音除去済み係数の画像の様々な逆変換されたバージョン（の例えば局所的に適応する加重和）を結合し、終了ブロック３９０に制御を渡す。
この方向適応型アーチファクト除去フィルタは、これらの変換の合計１６個の可能な移動を生じさせる、４×４ＤＣＴまたは整数ＭＰＥＧ−４ ＡＶＣ標準変換を使用することを考慮する。元のサンプリンググリッドにわたって適用するとき、移動された変換のうちのいくつかは、残留の符号化で使用する変換と重複しまたはほぼ重複する可能性がある。この場合、量子化雑音／アーチファクトおよび信号の両方が、基底関数の同じ部分空間に含まれ、不自然に大きいスパースネス測定をもたらすことが起こり得る。これらの不測の事態を避けるために、第３の従来技術の手法は、残留の符号化で使用する変換に並んだまたはほぼ並んだ変換（例えば水平方向または垂直方向のうちの１つ以下におけるずれが１ピクセルの変換）から、雑音除去推定値を除去することを提案する。この第３の従来技術の手法の原理は、８×８ＤＣＴやＭＰＥＧ−４ ＡＶＣ標準の整数８×８変換などの他の変換にも当てはまる。
第２の従来技術の手法および第３の従来技術の手法で開示したような、雑音除去推定値の重み付き組合せに基づくフィルタリング手法では、フィルタリング閾値の選択が極めて重要である。適用される閾値は、フィルタの雑音除去能力を制御することにおいてだけでなく、より優れた雑音除去推定値に重点を置くために使用する平均化重みを計算することにおいて重要な役割を担う。不適当な閾値を選択することは、過度に平滑化された復元ピクチャをもたらす可能性があり、またはアーチファクトが残る原因となることがある。第３の従来技術の手法のアーチファクト除去構想では、すべての変換係数の雑音除去および重み計算に関連するスパースネス測定に、共通の閾値が適用される。図２のブロック図の中で、これらのフィルタリング閾値は、係数雑音除去モジュール２１２、２１４、および２１６、ならびに各ピクセルに影響する非ゼロ係数の数の計算モジュール２２６、２３０、および２３２に直接関与する。
この第３の従来技術の手法に関する方向適応型アーチファクト除去フィルタの結果は、多格子解析の有効性を示すが、固有のかつ均一な閾値の値を使用することはフィルタリングの潜在力を限定する可能性がある。例えば、この閾値の値は信号特性に依存し、その信号特性は空間および時間とともに変化し得る。閾値の適応性に関する方法を考慮すれば、イントラ符号化様式でさえ、複数の映像フレームを処理することはこの問題を引き起こすはずである。さらに、この第３の従来技術の手法は、時間的に符号化されたコンテンツについての閾値の選択を扱わない。単一フレーム内に様々な予測モード（イントラ、インター、スキップ等）が共存できるものとして、このシナリオは非常に重要であり、新たな課題を提起する。これらのモードのそれぞれは、固有の量子化雑音統計を示し、専用のフィルタリング方策を必要とする。要約すれば、第２の従来技術の手法も第３の従来技術の手法も、フィルタリングプロセスにおける量子化雑音統計の時空双方の変動を償うことができない。
図４を見ると、ＭＰＥＧ−４ ＡＶＣ標準に従って映像符号化を実行できる映像符号器が、参照番号４００によって全体として示されている。
この映像符号器４００は、結合器４８５の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ４１０を含む。結合器４８５の出力は、変換器（ｔｒａｎｓｆｏｒｍｅｒ）および量子化器４２５の第１の入力に信号通信で接続される。変換器および量子化器４２５の出力は、エントロピ符号器４４５の第１の入力、ならびに逆変換器および逆量子化器４５０の第１の入力に信号通信で接続される。エントロピ符号器４４５の出力は、結合器４９０の第１の非反転入力に信号通信で接続される。結合器４９０の出力は、出力バッファ４３５の第１の入力に信号通信で接続される。
符号器コントローラ４０５の第１の出力は、フレーム順序付けバッファ４１０の第２の入力、逆変換器および逆量子化器４５０の第２の入力、ピクチャタイプ決定モジュール４１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール４２０の第１の入力、イントラ予測モジュール４６０の第２の入力、デブロッキングフィルタ４６５の第２の入力、動き補償器４７０の第１の入力、動き推定器４７５の第１の入力、ならびに参照ピクチャバッファ４８０の第２の入力に信号通信で接続される。
符号器コントローラ４０５の第２の出力は、ＳＥＩ（付加拡張情報：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）インサータ４３０の第１の入力、変換器および量子化器４２５の第２の入力、エントロピ符号器４４５の第２の入力、出力バッファ４３５の第２の入力、ならびにＳＰＳ（シーケンスパラメータセット）およびＰＰＳ（ピクチャパラメータセット）インサータ４４０の入力に信号通信で接続される。
ＳＥＩインサータ４３０の出力は、結合器４９０の第２の非反転入力に信号通信で接続される。
ピクチャタイプ決定モジュール４１５の第１の出力は、フレーム順序付けバッファ４１０の第３の入力に信号通信で接続される。ピクチャタイプ決定モジュール４１５の第２の出力は、マクロブロックタイプ決定モジュール４２０の第２の入力に信号通信で接続される。
シーケンスパラメータセットおよびピクチャパラメータセットインサータ４４０の出力は、結合器４９０の第３の非反転入力に信号通信で接続される。
逆量子化器および逆変換器４５０の出力は、結合器４１９の第１の非反転入力に信号通信で接続される。結合器４１９の出力は、イントラ予測モジュール４６０の第１の入力、およびデブロッキングフィルタ４６５の第１の入力に信号通信で接続される。デブロッキングフィルタ４６５の出力は、参照ピクチャバッファ４８０の第１の入力に信号通信で接続される。参照ピクチャバッファ４８０の出力は、動き推定器４７５の第２の入力、および動き補償器４７０の第３の入力に信号通信で接続される。動き推定器４７５の第１の出力は、動き補償器４７０の第２の入力に信号通信で接続される。動き推定器４７５の第２の出力は、エントロピ符号器４４５の第３の入力に信号通信で接続される。
動き補償器４７０の出力は、スイッチ４９７の第１の入力に信号通信で接続される。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力に信号通信で接続される。マクロブロックタイプ決定モジュール４２０の出力は、スイッチ４９７の第３の入力に信号通信で接続される。スイッチ４９７のこの第３の入力は、このスイッチの「データ」入力が、（制御入力、すなわち第３の入力に照らして）動き補償器４７０またはイントラ予測モジュール４６０によって提供されるべきかどうかを決定する。スイッチ４９７の出力は、結合器４１９の第２の非反転入力、および結合器４８５の反転入力に信号通信で接続される。
フレーム順序付けバッファ４１０の第１の入力、および符号器コントローラ４０５の入力は、入力ピクチャを受け取るための、符号器４００の入力として利用可能である。さらに、ＳＥＩ（付加拡張情報）インサータ４３０の第２の入力は、メタデータを受け取るための、符号器４００の入力として利用可能である。出力バッファ４３５の出力は、ビットストリームを出力するための、符号器４００の出力として利用可能である。
図５を見ると、ＭＰＥＧ−４ ＡＶＣ標準に従って映像復号を実行できる映像復号器が、参照番号５００によって全体として示されている。
この映像復号器５００は、エントロピ復号器５４５の第１の入力に信号通信で接続される出力を有する、入力バッファ５１０を含む。エントロピ復号器５４５の第１の出力は、逆変換器および逆量子化器５５０の第１の入力に信号通信で接続される。逆変換器および逆量子化器５５０の出力は、結合器５２５の第２の非反転入力に信号通信で接続される。結合器５２５の出力は、デブロッキングフィルタ５６５の第２の入力、およびイントラ予測モジュール５６０の第１の入力に信号通信で接続される。デブロッキングフィルタ５６５の第２の出力は、参照ピクチャバッファ５８０の第１の入力に信号通信で接続される。参照ピクチャバッファ５８０の出力は、動き補償器５７０の第２の入力に信号通信で接続される。
エントロピ復号器５４５の第２の出力は、動き補償器５７０の第３の入力、およびデブロッキングフィルタ５６５の第１の入力に信号通信で接続される。エントロピ復号器５４５の第３の出力は、復号器コントローラ５０５の入力に信号通信で接続される。復号器コントローラ５０５の第１の出力は、エントロピ復号器５４５の第２の入力に信号通信で接続される。復号器コントローラ５０５の第２の出力は、逆変換器および逆量子化器５５０の第２の入力に信号通信で接続される。復号器コントローラ５０５の第３の出力は、デブロッキングフィルタ５６５の第３の入力に信号通信で接続される。復号器コントローラ５０５の第４の出力は、イントラ予測モジュール５６０の第２の入力、動き補償器５７０の第１の入力、および参照ピクチャバッファ５８０の第２の入力に信号通信で接続される。
動き補償器５７０の出力は、スイッチ５９７の第１の入力に信号通信で接続される。イントラ予測モジュール５６０の出力は、スイッチ５９７の第２の入力に信号通信で接続される。スイッチ５９７の出力は、結合器５２５の第１の非反転入力に信号通信で接続される。
入力バッファ５１０の入力は、入力ビットストリームを受け取るための、復号器５００の入力として利用可能である。デブロッキングフィルタ５６５の第１の出力は、出力ピクチャを出力するための、復号器５００の出力として利用可能である。
従来技術のこれらのおよび他の欠点ならびに不利点を、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる本原理によって対処する。
本原理の一態様によれば、装置が提供される。この装置は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを含む。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタのための、スパーシティベースフィルタリング閾値は時間的に変えられる。
本原理の別の態様によれば、方法が提供される。この方法は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップを含む。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタリングのためのスパーシティベースフィルタリング閾値は時間的に変えられる。
本原理のこれらのおよび他の態様、特徴ならびに利点は、添付図面に関連して読むべき、例示的実施形態についての以下の詳細な説明から明らかになろう。
本原理は、以下の例示的図面により、よりよく理解することができる。
従来技術による、直交グリッドを２つの相補的な五点形格子に分解することを示す図である。 従来技術による方向適応型アーチファクト除去フィルタのブロック図である。 従来技術による、方向適応型アーチファクト除去フィルタリングに関する方法の流れ図である。 映像符号化を実行できる例示的符号器のブロック図である。 映像復号を実行できる例示的復号器のブロック図である。 本原理の一実施形態による、符号器用の例示的ループ外方向適応型アーチファクト除去フィルタのブロック図である。 本原理の一実施形態による、符号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。 本原理の一実施形態による、復号器用の例示的ループ外方向適応型アーチファクト除去フィルタのブロック図である。 本原理の一実施形態による、復号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。 本原理の一実施形態による、本原理とともに使用するために拡張された、映像符号化を実行できる例示的映像符号器のブロック図を示す図である。 本原理の一実施形態による、本原理とともに使用するために拡張された、映像復号を実行できる例示的映像復号器のブロック図を示す図である。 本原理の一実施形態による、符号器用の例示的ループ内方向適応型アーチファクト除去フィルタのブロック図を示す図である。 本原理の一実施形態による、符号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図を示す図である。 本原理の一実施形態による、復号器用の例示的ループ内方向適応型アーチファクト除去フィルタのブロック図を示す図である。 本原理の一実施形態による、復号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法の流れ図である。 本原理の一実施形態による、本原理とともに使用するために拡張された、映像符号化を実行できる別の例示的映像符号器のブロック図である。 本原理の一実施形態による、本原理とともに使用するために拡張された、映像復号を実行できる別の例示的映像復号器のブロック図を示す図である。
本原理は、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる。
この記載は本原理について説明する。したがって、本明細書に明示的に記載されまたは示されていないが、本原理を実施し、本原理の趣旨および範囲に含まれる様々な配置を当業者は考案できることが理解されよう。
本明細書に記載するすべての例および条件つきの表現は、当技術分野の進歩に対して本発明者が貢献する、本原理および概念を読者が理解することを助けるための教育的な目的を意図し、具体的に記載するそれらの例および条件に限定されることなく解釈されるべきである。
さらに、本原理の原理、態様、および実施形態、ならびに本原理の具体例について述べる本明細書のすべての記述は、本原理の構造的等価物および機能的等価物のいずれをも含むことを意図する。さらにそのような等価物は、現在知られている等価物だけでなく将来開発される等価物、すなわち構造に関係なく同じ機能を実行する、開発される任意の要素のいずれをも含むことを意図する。
したがって、例えば本明細書に示すブロック図は、本原理を実施する例示的回路の概念図を表すことを当業者は理解されよう。同様に、任意の流れ作業図、流れ図、状態遷移図、擬似符号等が、コンピュータ可読媒体で実質的に表すことができる様々なプロセスを表し、そのためコンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されているか否かを問わず、実行されることが理解されよう。
図中に示す様々な要素の機能は、専用ハードウェア、ならびに適切なソフトウェアに関連してソフトウェアを実行できるハードウェアを使用することによって提供することができる。プロセッサによって提供される場合、これらの機能は、単一の専用プロセッサにより、単一の共用プロセッサにより、またはその一部が共用され得る複数の個別のプロセッサにより、提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的使用は、ソフトウェアを実行できるハードウェアを排他的に指すものと解釈すべきでなく、「ＤＳＰ」（デジタル信号プロセッサ）ハードウェア、ソフトウェアを記憶するための「ＲＯＭ」（読出し専用メモリ）、「ＲＡＭ」（ランダムアクセスメモリ）、および不揮発性記憶機構を限定することなく暗に含むことができる。
他の従来のおよび／または慣例のハードウェアを含むこともできる。同様に、図中に示す任意のスイッチは概念的であるに過ぎない。それらの機能は、プログラム論理の演算、専用論理、プログラム制御と専用論理との相互作用、または手動でさえも実行することができ、文脈からより詳細に理解されるように、実装者は特定の技法を選択することができる。
添付の特許請求の範囲では、指定の機能を果たすための手段として表す任意の要素は、例えば、ａ）その機能を果たす回路要素の組合せ、またはｂ）その機能を果たすために、ソフトウェアを実行するための適切な回路と組み合わせられる、ファームウェア、マイクロコード等を含む任意の形態のソフトウェアを含む、その機能を果たす任意の方法を含むことを意図する。そのような特許請求の範囲によって定義されるものとしての本原理は、記載する様々な手段が提供する機能を、特許請求の範囲が要求する方法で組み合わせ、まとめることにある。したがって、それらの機能を提供することができる任意の手段は、本明細書に示す手段と等価であるとみなす。
本明細書における、本原理の「一実施形態」または「ある実施形態」という記載ならびにその記載の他の改変形態は、その実施形態に関して説明する特定の特徴、構造、特性等が、本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の全体にわたり様々な箇所で登場する慣用句「一実施形態では」、または「ある実施形態では」、ならびに他の任意の改変形態は、必ずしもすべてが同じ実施形態を指すとは限らない。
次の「／」、「および／または」、および「の少なくとも１つ」のうちのいずれかを、例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも１つ」について使用することは、最初に記載したオプション（Ａ）のみの選択、または２番目に記載したオプション（Ｂ）のみの選択、または両方のオプション（ＡおよびＢ）の選択を含むことを意図することを理解すべきである。さらなる例として、「Ａ、Ｂ、および／またはＣ」、および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、そのような表現は、最初に記載したオプション（Ａ）のみの選択、または２番目に記載したオプション（Ｂ）のみの選択、または３番目に記載したオプション（Ｃ）のみの選択、または最初と２番目とに記載したオプション（ＡおよびＢ）のみの選択、または最初と３番目とに記載したオプション（ＡおよびＣ）のみの選択、または２番目と３番目とに記載したオプション（ＢおよびＣ）のみの選択、または３つのオプションすべて（ＡとＢとＣと）の選択を含むことを意図する。このことは、記載する多くの項目に関して、当業者により容易に明らかなように拡張することができる。
本明細書で使用するとき、用語「ピクチャ」は、静止画映像および動画映像に関係する画像ならびに／またはピクチャを含む、画像および／またはピクチャを指す。
さらに、本明細書で使用するとき、用語「スパーシティ」は、信号が変換領域において非ゼロ係数をほとんど有さない場合を指す。一例として、５個の非ゼロ係数を伴う変換表現の信号は、同じ変換フレームワークを使用する１０個の非ゼロ係数を伴う別の信号よりもスパースな表現を有する。
さらに、本明細書で使用するとき、用語「格子」または「格子ベース」をピクチャのサブサンプリングに関して使用するとき、および同様の意味合いで「副格子サンプリング」は、空間的に連続的なかつ／または空間的に非連続的なサンプルの所与の構造化パターンに従って、サンプルを選択するサブサンプリングを指す。一例では、そのようなパターンは、矩形パターンなどの幾何学的パターンとすることができる。
また、本明細書で使用するとき、用語「局所（ｌｏｃａｌ）」は、ピクセル位置レベル、および／またはピクチャ内のあるピクセル、もしくはピクセルの局所的近隣に対応する関心項目に対する（平均振幅の測度、平均雑音エネルギ、または重みの測度の導出を含むがこれだけに限定されない）関心項目の関係を指す。
さらに、本明細書で使用するとき、用語「広域（ｇｌｏｂａｌ）」は、ピクチャレベル、および／またはピクチャもしくはシーケンスのピクセル全体に対応する関心項目に対する（平均振幅の測度、平均雑音エネルギ、または重みの測度の導出を含むがこれだけに限定されない）関心項目の関係を指す。
加えて、本明細書で使用するとき、「高レベル構文」は、マクロブロック層の上に階層的にあるビットストリーム内に存在する構文を指す。例えば本明細書で使用するとき、高レベル構文は、スライスヘッダレベル、ＳＥＩ（付加拡張情報）レベル、ＰＰＳ（ピクチャパラメータセット）レベル、ＳＰＳ（シーケンスパラメータセット）レベル、およびＮＡＬ（ネットワーク抽象化層：Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットヘッダレベルにおける構文を指すことができるが、これだけに限定されない。
さらに、本明細書では本原理の１つまたは複数の実施形態をＭＰＥＧ−４ ＡＶＣ標準に関して説明するが、本原理は、この標準のみに限定されず、したがって本原理の趣旨を保ちながら他の映像符号化標準、勧告、およびＭＰＥＧ−４ ＡＶＣ標準の拡張を含むその拡張に関して利用できることを理解すべきである。
上述のように、本原理は、多格子スパーシティベースフィルタリングを使用する、アーチファクト除去フィルタリングのための方法および装置に向けられる。
有利には、本原理の実施形態は、時空的に適応性があるフィルタリング用の閾値を使用する、ピクチャの様々な副格子サンプリングに対するスパーシティベースフィルタリングに基づく、高性能のアーチファクト除去フィルタリングに向けられる。例えば一実施形態では、フィルタリングは、フィルタしようとするピクチャの様々な副格子サンプリングに適用される、いくつかのスパーシティベースフィルタリングステップの重み付き組合せに基づく。このスパーシティベースフィルタリングステップのための閾値は、量子化雑音統計および／または他のパラメータに最良適合するために、空間的および時間的に適応される。例えば、本原理は、次のものに限定されないが、信号特性、符号化構成（ループ内フィルタリングおよび／またはループ外フィルタリング）、予測モード、量子化雑音統計、復号ピクチャおよび原信号の局所符号化様式、圧縮パラメータ、圧縮要件、符号化性能、ユーザ選択（例えば、より鮮明な画像またはより平滑な画像）、ならびに質の測度および／または符号化コストの測度のうちの少なくとも１つに応じてフィルタリング閾値を適応させる。当然、フィルタリング閾値が適応される元になる上記のパラメータは単に説明するためのものに過ぎず、本明細書で提供する本原理の教示を所与として、当業者は、本原理の趣旨を保ちながら、フィルタリング閾値が適応される元になるこれらのおよび他の様々なパラメータを思いつくであろう。
本原理は、復号映像ピクチャのアーチファクトを除去するためのスパーシティベースフィルタの適用可能性を拡張し、性能を向上させる。過完備変換を使用するスパーシティベースフィルタリング技法は、とりわけエッジ、テクスチャ、および他の特異点周りの量子化雑音を減らすためのロバストな機構を提供する。しかし、これらの技法の性能は、広範な信号特性、符号化特性、およびフィルタリング特性を熟考する必要がある、適切なフィルタリング閾値を選択することに大きく依存する。有利には、本原理は、それらの技法をループ内フィルタ構成、ならびにポストフィルタリング構成および／またはループ外フィルタ構成として実装することができるという点で柔軟性をもたらす。選択した閾値は符号化され、サイド情報として復号器に伝送することができる。本原理を使用することは、大幅なビットレートの節約および表示品位の向上をもたらす。
ループ外フィルタリング
復号映像信号を向上させるために、ポストフィルタリング方策が一般に適用されている。「ループの外側」または「ループ外」と呼ばれるポストフィルタは、ハイブリッド映像符号化ループの外側に置かれる。本原理は、第３の従来技術の手法の方向適応型アーチファクト除去フィルタを、復号映像のループ外フィルタリングに修正する。このために、映像シーケンスを効率的に符号化することは、フィルタリング閾値を適応的に選択することを必要とする。本原理によれば、本発明者らはフィルタリング閾値を空間的および／または時間的に適応させる。
ループ外フィルタは映像符号化ループに関与しないので、時間的予測で使用する参照フレームは、フィルタリングの結果によっても変わらないままである。ＭＰＥＧ−４ ＡＶＣ標準にあるようなループ内フィルタリング方策とは異なり、ループ外フィルタリングは、符号化ループの処理遅延を低減することを可能にする。事実、後に符号化されるフレームを復号するために、参照フレームに対してフィルタリング操作を行う必要はない。典型的な符号化シナリオでは、イントラモードで符号化される第１のフレームは、雑音および圧縮アーチファクトを免れない。その後のフレームの符号化では、動き補償予測のために、雑音が多くアーチファクトの傾向があるデータを使用する。したがって、イントラ符号化によってもたらされ、または破損した参照データを反復することによって継承されるアーチファクトが、符号化様式に関係なく、復号映像シーケンスの各フレームの全体にわたって蔓延する。
第３の従来技術の手法の方向適応型アーチファクト除去フィルタは、イントラ符号化フレームに関して効率的に動作することが実証されている。前述したように、ループ内フィルタリングが抑制される場合、イントラフレーム内の量子化雑音およびアーチファクトの存在に関する想定は、時間的に符号化されるフレームに拡張することができる。そのような状況の下では、ループ外フィルタリングに適応される場合のこの方向適応型アーチファクト除去フィルタは、復号映像シーケンスの各フレーム内の圧縮アーチファクトを成功裏に除去する潜在力を備える。
ループ外方向適応型アーチファクト除去フィルタとしてみなされる一実施形態では、非定常信号特性を考慮に入れる。例えば、経時的なシーンコンテンツの変化は、性能を維持するために別個のフィルタリング閾値を必要とすることがある。したがって、符号化中に閾値を生成し、フレームごとに別個に選択する。
図６を見ると、符号器用の例示的ループ外方向適応型アーチファクト除去フィルタが、参照番号６００によって全体として示されている。このフィルタ６００は、方向適応型アーチファクト除去フィルタ６０５の第１の入力、および閾値セレクタ６１５の第１の入力に信号通信で接続される出力を有する、閾値生成器６１０を含む。方向適応型アーチファクト除去フィルタ６０５の出力は、閾値セレクタ６１５の第２の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ６０５の第２の入力は、入力ピクチャを受け取るための、フィルタ６００の入力として利用可能である。閾値生成器６１０の入力は、制御データを受け取るための、フィルタ６００の入力として利用可能である。閾値セレクタ６１５の第３の入力は、元のピクチャを受け取るための、フィルタ６００の入力として利用可能である。閾値セレクタ６１５の出力は、最適閾値を出力するための、フィルタ６００の出力として利用可能である。
図７を見ると、符号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号７００によって全体として示されている。この方法７００は、機能ブロック７１０に制御を渡す、開始ブロック７０５を含む。機能ブロック７１０は、現在のフレームに関する１組のフィルタリング閾値を設定し、ループ端ブロック７１５に制御を渡す。ループ端ブロック７１５は、フィルタリング閾値ごとにループ（ｔｈ）を実行し、機能ブロック７２０に制御を渡す。機能ブロック７２０は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック７２５に制御を渡す。機能ブロック７２５は、最適閾値（例えば最大のピーク信号対雑音比（ＰＳＮＲ））を選択し、アーチファクト除去済みピクチャを更新し、ループ端ブロック７３０に制御を渡す。ループ端ブロック７３０は、フィルタリング閾値ごとのループを終了し、機能ブロック７３５に制御を渡す。機能ブロック７３５は、最適閾値をビットストリームに出力し、終了ブロック７９９に制御を渡す。
図６を再び参照すると、閾値生成器６１０は、制御データを使用して、例えば符号化品質の測度、符号化コスト、または符号化品質／符号化コスト双方のうちの少なくとも１つを最大限にすることにより、最適閾値がそこから選択される組を規定する。制御データは、圧縮パラメータ（例えばＱＰ）、ユーザプリファレンス、ならびに／または信号の構造および統計とみなすことができるが、これだけに限定されない場合もある。制御データに関して検討した上記の項目は単に説明するためのものに過ぎず、したがって本明細書で提供する本原理の教示を所与として、当業者は、本原理の趣旨を保ちながら、制御データに関係するこれらのおよび他の様々な項目を思いつくことを理解すべきである。閾値セレクタ６１５は、符号器側でしか入手できない情報（元の画像Ｉ）を使用するため、選択した閾値を映像符号化方式のビットストリーム内で伝送する。次いで、復号器は、適切なループ外フィルタを用いて復号信号のアーチファクトを除去するために、ビットストリームからこの情報を抽出する。
図８を見ると、復号器用の例示的ループ外方向適応型アーチファクト除去フィルタが、参照番号８００によって全体として示されている。このフィルタ８００は、方向適応型アーチファクト除去フィルタ８０５を含む。方向適応型アーチファクト除去フィルタ８０５の第１の入力は、入力ピクチャを受け取るための、フィルタ８００の入力として利用可能である。方向適応型アーチファクト除去フィルタ８０５の第２の入力は、最適閾値を受け取るための、フィルタ８００の入力として利用可能である。方向適応型アーチファクト除去フィルタ８０５の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ８００の出力として利用可能である。
図９を見ると、復号器におけるループ外方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号９００によって全体として示されている。
この方法９００は、機能ブロック９１０に制御を渡す、開始ブロック９０５を含む。機能ブロック９１０は、最適フィルタリング閾値を取り出し、機能ブロック９１５に制御を渡す。機能ブロック９１５は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック９２０に制御を渡す。機能ブロック９２０は、アーチファクト除去済みピクチャを出力し、終了ブロック９９９に制御を渡す。
フィルタリング閾値の符号化、伝送、および復号は、映像ストリームのデータ単位の様々なレベルにおいて行うことができる。閾値は、ピクチャ領域、ピクチャ、および／またはシーケンス全体に適用することができる。これを規定するための機構を、例えばこれだけに限定されないが１つまたは複数の高レベル構文要素を使用して、ビットストリーム内に取り入れることができる。
一実施形態では、スライス当たりの閾値を符号化することができる。この閾値は、単純な均一符号を用いて符号化することができるが、そのような方法だけに限定されない。例えばそれらの閾値は、前のスライスおよび／または映像フレームを基準にして差動的に符号化することができる。また、例えばこれだけに限定されないが符号化設定、符号化プロファイル、および／または量子化パラメータに依存する平均閾値の値を、符号器と復号器とにおいて知ることができる。適応的閾値は、この平均閾値を基準にして差動的に符号化することができる。均一符号化値および／または差分値（ｄｉｆｆｅｒｅｎｔｉａｌ ｖａｌｕｅｓ）を、例えばこれだけに限定されないが均一符号、可変長符号（ＶＬＣ）、および／または算術符号化（例えばコンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ））を使用して符号化することができる。一実施形態では、各スライス／フレーム／シーケンスについて選択した閾値に関する情報を、付加拡張情報データおよび／または他の何らかの１つもしくは複数の高レベル構文要素として、符号化映像ビットストリーム内で伝送する。
一実施形態では、復元データに対するポストフィルタを、ＭＰＥＧ−４ ＡＶＣ標準に適用することができる。そのような実施形態では、図４および図５に関してそれぞれ図示し説明した標準的な符号器および復号器内のＭＰＥＧ−４ ＡＶＣ標準のデブロッキングフィルタを、このループ外方向適応型アーチファクト除去フィルタが動作している間、無効にすることができる。
図１０を見ると、本原理とともに使用するために拡張され、ＭＰＥＧ−４ ＡＶＣ標準に従って映像符号化を実行できる例示的映像符号器が、参照番号１０００によって全体として示されている。映像符号器１０００に適用される拡張は、ループ外方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
この映像符号器１０００は、結合器１０８５の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ１０１０を含む。結合器１０８５の出力は、変換器および量子化器１０２５の第１の入力に信号通信で接続される。変換器および量子化器１０２５の出力は、エントロピ符号器１０４５の第１の入力、ならびに逆変換器および逆量子化器１０５０の第１の入力に信号通信で接続される。エントロピ符号器１０４５の出力は、結合器１０９０の第１の非反転入力に信号通信で接続される。結合器１０９０の出力は、出力バッファ１０３５の第１の入力に信号通信で接続される。
（ループ外方向適応型アーチファクト除去フィルタ１０４７を制御するように）拡張された符号器コントローラ１００５の第１の出力は、フレーム順序付けバッファ１０１０の第２の入力、逆変換器および逆量子化器１０５０の第２の入力、ピクチャタイプ決定モジュール１０１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール１０２０の第１の入力、イントラ予測モジュール１０６０の第２の入力、動き補償器１０７０の第１の入力、動き推定器１０７５の第１の入力、参照ピクチャバッファ１０８０の第２の入力、ならびにループ外方向適応型アーチファクト除去フィルタ１０４７の第３の入力に信号通信で接続される。
（ループ外方向適応型アーチファクト除去フィルタ１０４７を制御するように）拡張された符号器コントローラ１００５の第２の出力は、ＳＥＩ（付加拡張情報）インサータ１０３０の第１の入力、変換器および量子化器１０２５の第２の入力、エントロピ符号器１０４５の第２の入力、出力バッファ１０３５の第２の入力、ならびにＳＰＳ（シーケンスパラメータセット）およびＰＰＳ（ピクチャパラメータセット）インサータ１０４０の入力に信号通信で接続される。
ＳＥＩインサータ１０３０の出力は、結合器１０９０の第２の非反転入力に信号通信で接続される。
ピクチャタイプ決定モジュール１０１５の第１の出力は、フレーム順序付けバッファ１０１０の第３の入力に信号通信で接続される。ピクチャタイプ決定モジュール１０１５の第２の出力は、マクロブロックタイプ決定モジュール１０２０の第２の入力に信号通信で接続される。
シーケンスパラメータセットおよびピクチャパラメータセットインサータ１０４０の出力は、結合器１０９０の第３の非反転入力に信号通信で接続される。
逆量子化器および逆変換器１０５０の出力は、結合器１０１９の第１の非反転入力に信号通信で接続される。結合器１０１９の出力は、イントラ予測モジュール１０６０の第１の入力、ループ外方向適応型アーチファクト除去フィルタ１０４７の第１の入力、および参照ピクチャバッファ１０８０の第１の入力に信号通信で接続される。参照ピクチャバッファ１０８０の出力は、動き推定器１０７５の第２の入力、および動き補償器１０７０の第３の入力に信号通信で接続される。動き推定器１０７５の第１の出力は、動き補償器１０７０の第２の入力に信号通信で接続される。動き推定器１０７５の第２の出力は、エントロピ符号器１０４５の第３の入力に信号通信で接続される。ループ外方向適応型アーチファクト除去フィルタ１０４７の第２の出力は、ＳＥＩインサータ１０３０の第３の入力に信号通信で接続される。
動き補償器１０７０の出力は、スイッチ１０９７の第１の入力に信号通信で接続される。イントラ予測モジュール１０６０の出力は、スイッチ１０９７の第２の入力に信号通信で接続される。マクロブロックタイプ決定モジュール１０２０の出力は、スイッチ１０９７の第３の入力に信号通信で接続される。スイッチ１０９７のこの第３の入力は、このスイッチの「データ」入力が、（制御入力、すなわち第３の入力に照らして）動き補償器１０７０またはイントラ予測モジュール１０６０によって提供されるべきかどうかを決定する。スイッチ１０９７の出力は、結合器１０１９の第２の非反転入力、および結合器１０８５の反転入力に信号通信で接続される。
フレーム順序付けバッファ１０１０の第１の入力、（ループ外方向適応型アーチファクト除去フィルタ１０４７を制御するように）拡張された符号器コントローラ１００５の入力、およびループ外方向適応型アーチファクト除去フィルタ１０４７の第２の入力は、入力ピクチャを受け取るための、符号器１０００の入力として利用可能である。さらに、ＳＥＩ（付加拡張情報）インサータ１０３０の第２の入力は、メタデータを受け取るための、符号器１０００の入力として利用可能である。出力バッファ１０３５の出力は、ビットストリームを出力するための、符号器１０００の出力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ１０４７の第１の出力は、フィルタされたピクチャを出力するための、符号器１０００の出力として利用可能である。
図１１を見ると、本原理とともに使用するために拡張され、ＭＰＥＧ−４ ＡＶＣ標準に従って映像復号を実行できる例示的映像復号器が、参照番号１１００によって全体として示されている。映像復号器１１００に適用される拡張は、ループ外方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
この映像復号器１１００は、エントロピ復号器１１４５の第１の入力、およびループ外方向適応型アーチファクト除去フィルタ１１４７の第３の入力に信号通信で接続される出力を有する、入力バッファ１１１０を含む。エントロピ復号器１１４５の第１の出力は、逆変換器および逆量子化器１１５０の第１の入力に信号通信で接続される。逆変換器および逆量子化器１１５０の出力は、結合器１１２５の第２の非反転入力に信号通信で接続される。結合器１１２５の出力は、イントラ予測モジュール１１６０の第１の入力、および参照ピクチャバッファ１１８０の第１の入力に信号通信で接続される。参照ピクチャバッファ１１８０の出力は、動き補償器１１７０の第２の入力に信号通信で接続される。
エントロピ復号器１１４５の第２の出力は、動き補償器１１７０の第３の入力、およびループ外方向適応型アーチファクト除去フィルタ１１４７の第１の入力に信号通信で接続される。エントロピ復号器１１４５の第３の出力は、（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の入力に信号通信で接続される。（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の第１の出力は、エントロピ復号器１１４５の第２の入力に信号通信で接続される。（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の第２の出力は、逆変換器および逆量子化器１１５０の第２の入力に信号通信で接続される。（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の第３の出力は、ループ外方向適応型アーチファクト除去フィルタ１１４７の第２の入力に信号通信で接続される。（ループ外方向適応型アーチファクト除去フィルタ１１４７を制御するように）拡張された復号器コントローラ１１０５の第４の出力は、イントラ予測モジュール１１６０の第２の入力、動き補償器１１７０の第１の入力、および参照ピクチャバッファ１１８０の第２の入力に信号通信で接続される。
動き補償器１１７０の出力は、スイッチ１１９７の第１の入力に信号通信で接続される。イントラ予測モジュール１１６０の出力は、スイッチ１１９７の第２の入力に信号通信で接続される。スイッチ１１９７の出力は、結合器１１２５の第１の非反転入力に信号通信で接続される。
入力バッファ１１１０の入力は、入力ビットストリームを受け取るための、復号器１１００の入力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ１１４７の出力は、ピクチャを出力するための、復号器１１００の出力として利用可能である。ループ外方向適応型アーチファクト除去フィルタ１１４７の第３の入力は、ＳＥＩデータからの最適閾値を受け取るための、復号器１１００の入力として利用可能である。
図８および図９にそれぞれ関係する符号器コントローラ８０５および復号器コントローラ９０５は、ループ外方向適応型フィルタ（すなわちフィルタ１０４７およびフィルタ１１４７それぞれ）を制御するように拡張された符号器コントローラ１００５および復号器コントローラ１１０５を得るために、どちらも修正される。この修正は、このループ外フィルタを最も効率的に動作させるために設定し、構成し、適応させるためのブロックレベル構文および／または高レベル構文の可能な要件に関して影響を及ぼす。このために、いくつかの構文フィールドを様々なレベルで定義することができる。表１は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なピクチャパラメータセット構文データを示す。表２は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なスライスヘッダデータを示す。当然、本原理の趣旨を保ちながら、このループ外フィルタを設定し、構成し、適応させるために、他の高レベル構文要素を使用することもできる。一実施形態では、復号器側でフィルタを適切に設定するために、スライスヘッダ内に符号化された閾値を埋め込むことができる。
Figure 0005357898
Figure 0005357898
次に、表１および表２に示す構文要素のいくつかを、一実施形態に従って説明する。
ｄｅａｒｔ＿ｆｉｌｔｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ：１に等しい場合、この方向適応型アーチファクト除去フィルタの特性を制御する１組の構文要素が、スライスヘッダ内に存在することを指定する。０に等しい場合、この方向適応型アーチファクト除去フィルタの特性を制御する１組の構文要素が、スライスヘッダ内に存在せず、それらの構文要素の推定値が効力をもつことを指定する。
ｓｅｌｅｃｔｉｏｎ＿ｆｉｌｔｅｒ＿ｔｙｐｅ：アーチファクトの除去で使用するフィルタ構成を指定する。０に等しい場合、方向適応型アーチファクト除去フィルタリングを無効にすべきであることを指定する。１に等しい場合、ループ外方向適応型アーチファクト除去フィルタリングを使用することを指定する。２に等しい場合、ループ内方向適応型アーチファクト除去フィルタリングを使用することを指定する。
ｅｎａｂｌｅ＿ｔｈｒｅｓｈｏｌｄ＿ｇｅｎｅｒａｔｉｏｎ＿ｔｙｐｅ、ｅｎａｂｌｅ＿ｔｈｒｅｓｈｏｌｄ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅ：検索することができる高レベル構文の値、例えばこれだけに限定されないが、シーケンスパラメータセットレベルおよび／またはピクチャパラメータセットレベルである。一実施形態では、これらの値はフィルタのタイプ、閾値生成形式、および閾値選択方法に関する省略時値を変更する実現性を可能にする。
ｔｈｒｅｓｈｏｌｄ＿ｇｅｎｅｒａｔｉｏｎ＿ｔｙｐｅ：方向適応型アーチファクト除去において、どの組の閾値を使用するのか指定する。例えば一実施形態では、この組は、圧縮パラメータ、ユーザプリファレンス、および／または信号特性に依存し得る。
ｔｈｒｅｓｈｏｌｄ＿ｓｅｌｅｃｔｉｏｎ＿ｔｙｐｅ：この方向適応型アーチファクト除去フィルタを用いて符号化する際、どの最適閾値選択方法を使用するのか指定する。例えば一実施形態では、符号化品質、符号化コスト、または符号化品質／符号化コスト双方を最大限にすることができる。
ループ内フィルタリング
ループ内フィルタリングの１つの利点は、映像符号器が、動きを推定し補償するためにフィルタ済み参照フレームを使用できることである。ループ外フィルタリング代替策と比較した場合、このフィルタリング構成は、映像ストリームの客観的品質および主観的品質の両方を改善することができる。とは言え、無差別なフィルタリングは、前にフィルタした参照フレームから繰り返される画像領域を巻き込む。そのような領域の、起こり得るオーバーフィルタリングを回避するために、この方向適応型アーチファクト除去フィルタのループ内実装は、ブロックレベルならびにピクセルレベルでの符号化の違いについて局所的に適応的でなければならない。
典型的なハイブリッド映像符号器内の、時間的に符号化されたブロックは、様々な量子化雑音統計の一因となる多様な局所符号化様式および局所符号化条件に服する。互いに異なる３つのブロック符号化様式またはブロック符号化条件を明らかにすることができ、それらはつまり、（１）イントラ符号化、（２）残留の符号化を伴うインター符号化、および（３）符号化される残留がないインター符号化である。
最初の２つの場合は、様々な予測符号化様式、およびその予測符号化様式の量子化効果を使用する。さらに、そのようなブロック間の境界は、様々な強度のブロッキングアーチファクトの影響を受ける。ＭＰＥＧ−４ ＡＶＣ標準のデブロッキングフィルタのフィルタリング強度の観測に基づいて、符号化される残留がない状態でインター符号化されるブロックの、複数のピクセルのブロック動きの差または別の参照フレームからの動き補償を示す境界も、ブロッキングアーチファクトの影響を受ける。
上述の条件は、専用のフィルタリング方策を必要とする画像領域を識別し、隔離するために使用することができる。輝度画像の各ピクセルは、局所符号化条件に従って個々のクラスに分けられる。例示的実施形態では、この条件は徹底的に評価され、選ばれたブロック内のピクセル、またはそのような選ばれたブロックの境界に沿ったピクセルを示す。この実施形態では、あるピクセルがあるブロックのエッジから距離ｄの範囲内にある場合、そのピクセルはそのブロックの境界に属するとみなすことを指摘しておく。
この分類は、異なる量子化効果を受ける画像領域の局所的区別を提供する、フィルタリングマップを生じさせる。ループ内方向適応型アーチファクト除去フィルタとしてみなされる一実施形態では、マップ作成モジュールが、上記の分類を実行し、映像シーケンスのフレームごとのフィルタリングマップを生み出す役割を果たす。輝度マップをサブサンプリングすることにより、画像のクロマ成分に関するフィルタリングマップが得られる。
図１２を見ると、符号器用の例示的ループ内方向適応型アーチファクト除去フィルタが、参照番号１２００によって全体として示されている。このフィルタ１２００は、（各クラス用の）閾値セレクタ１２１５の第２の入力、およびフィルタ済み画像コンストラクタ１２２５の第３の入力と信号通信する出力を有する、方向適応型アーチファクト除去フィルタ１２０５を含む。閾値セレクタ１２１５の出力は、フィルタ済み画像コンストラクタ１２２５の第２の入力に信号通信で接続される。閾値生成器１２１０の出力は、閾値セレクタ１２１５の第１の入力、および方向適応型アーチファクト除去フィルタ１２０５の第２の入力に信号通信で接続される。マップ作成器１２２０の出力は、閾値セレクタ１２１５の第４の入力、およびフィルタ済み画像コンストラクタ１２２５の第１の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ１２０５の第１の入力は、入力ピクチャを受け取るための、フィルタ１２００の入力として利用可能である。閾値生成器１２１０の入力は、制御データを受け取るための、フィルタ１２００の入力として利用可能である。閾値セレクタ１２１５の第３の入力は、元のピクチャを受け取るための、フィルタ１２００の入力として利用可能である。マップ作成器１２２０の入力は、符号化情報を受け取るための、フィルタ１２００の入力として利用可能である。閾値セレクタ１２１５の出力はさらに、クラスごとの最適閾値を出力するための、フィルタ１２００の出力として利用可能である。フィルタ済み画像コンストラクタ１２２５の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ１２００の出力として利用可能である。
図１３を見ると、符号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号１３００によって全体として示されている。この方法１３００は、機能ブロック１３１０に制御を渡す、開始ブロック１３０５を含む。機能ブロック１３１０は、現在のフレームに関する１組のフィルタリング閾値およびフィルタリングマップを設定し、ループ端ブロック１３１５に制御を渡す。ループ端ブロック１３１５は、フィルタリング閾値ごとにループ（ｔｈ）を実行し、機能ブロック１３２０に制御を渡す。機能ブロック１３２０は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、ループ端ブロック１３２５に制御を渡す。ループ端ブロック１３２５は、フィルタリングマップのクラスごとにループを実行し、機能ブロック１３３０に制御を渡す。機能ブロック１３３０は、最適閾値（例えば最大ＰＳＮＲ）を選択し、各クラス内のフィルタ済みピクセルで、アーチファクト除去済みピクチャを更新し、ループ端ブロック１３３５に制御を渡す。ループ端ブロック１３３５は、クラスごとのループを終了し、ループ端ブロック１３４０に制御を渡す。ループ端ブロック１３４０は、フィルタリング閾値ごとのループ（ｔｈ）を終了し、機能ブロック１３４５に制御を渡す。機能ブロック１３４５は、クラスごとの最適閾値をビットストリームに出力し、アーチファクト除去済みピクチャを出力し、終了ブロック１３９９に制御を渡す。
フィルタリングマップを用いて、一実施形態では、指示クラスそれぞれの中のピクセルのアーチファクトを除去する際、専用のフィルタリング閾値を適用する。図１２を再び参照すると、閾値生成器１２１０は、制御データを使用して、画像を方向適応型アーチファクト除去することに関して符号化手順の間に適用する、１組の閾値を規定する。制御データは、圧縮パラメータ（例えば量子化パラメータ（ＱＰ））、ユーザプリファレンス、局所および／もしくは広域信号特性、ならびに／または局所および／もしくは広域雑音／歪み特性とみなすことができるが、これだけに限定されない。閾値は、例えばこれだけに限定されないが、映像品質測度、符号化コスト測度のうちの少なくとも１つなどに適応的に設定することができ、双方の品質が最適化される。例えば、あるクラス内のフィルタ済みピクセルと元のピクセルとの間のＰＳＮＲが最大になるように、クラスごとに最適閾値が選択される。この様々な閾値の下でのフィルタリング操作は、並列に実施できることを理解すべきである。一実施形態では、ピクチャの様々なフィルタ済みバージョンを生成するために、各クラスに適用できる可能な閾値のうちの１つをそれぞれが使用する、いくつかの独立したフィルタリング操作を使用することができる。そのような場合のフィルタは、フィルタしようとするピクチャの様々な副格子サンプリングに対する、いくつかのスパーシティベースフィルタリングステップの重み付き組合せに基づく。一実施形態では、（例えばフィルタ済み画像コンストラクタ１２２５により）クラスごとに最適にフィルタされたデータを含む合成画像を構築し、残りの符号化モジュールに提供する。閾値セレクタ１２１５は、符号器でしか入手できない情報（元の画像）を使用するため、クラスごとに選択した閾値を映像符号化方式のビットストリーム内で伝送する。
一実施形態では、スライス当たりの選択閾値を符号化することができる。これらの閾値は、単純な均一符号を用いた符号化とすることができるが、それだけに限定されない。例えば、それらの閾値は、前のスライスおよび／または映像フレームを基準にして差動的に符号化することができる。また、例えば符号化設定、符号化プロファイル、および／または量子化パラメータに依存するいくつかの平均閾値の値を、符号器と復号器とにおいて知ることができる。適応的閾値は、この平均閾値を基準にして差動的に符号化することができる。均一符号化値および／または差分値を、例えばこれだけに限定されないが均一符号、可変長符号（ＶＬＣ）、および／または算術符号化（例えばコンテキスト適応型２値算術符号化方式（ＣＡＢＡＣ））を使用して符号化することができる。一実施形態では、各スライス／フレーム／シーケンスについて選択した閾値に関する情報を、ＳＥＩ（付加拡張情報）データとして、符号化映像ビットストリーム内で伝送する。当業者は、閾値を伝送するために、任意の高レベル構文パラメータセットおよび／またはヘッダなどの他のデータ単位（例えば、スライスパラメータセット、ピクチャパラメータセット、シーケンスパラメータセット等）も使用できることを理解されよう。
この復号器もフィルタリングマップを構築し、ビットストリームから最適閾値情報を抽出した状態で、次に各クラス内のピクセルのアーチファクトをしかるべく除去する。方向適応型アーチファクト除去フィルタリングの結果は、フィルタ済み画像を生み出すために使用し、各クラス内のピクセルは個別のフィルタリング閾値に従う。
図１４を見ると、復号器用の例示的ループ内方向適応型アーチファクト除去フィルタが、参照番号１４００によって全体として示されている。このフィルタ１４００は、フィルタ済み画像コンストラクタ１４１５の第３の入力に信号通信で接続される出力を有する、方向適応型アーチファクト除去フィルタ１４０５を含む。マップ作成器１４１０の出力は、フィルタ済み画像コンストラクタ１４１５の第１の入力に信号通信で接続される。方向適応型アーチファクト除去フィルタ１４０５の入力は、入力ピクチャを受け取るための、フィルタ１４００の入力として利用可能である。方向適応型アーチファクト除去フィルタ１４０５の第２の入力、およびフィルタ済み画像コンストラクタ１４１５の第２の入力は、クラスごとの最適閾値を受け取るための、フィルタ１４００の入力として利用可能である。マップ作成器１４１０の入力は、符号化情報を受け取るための、フィルタ１４００の入力として利用可能である。フィルタ済み画像コンストラクタ１４１５の出力は、アーチファクト除去済みピクチャを出力するための、フィルタ１４００の出力として利用可能である。
図１５を見ると、復号器におけるループ内方向適応型アーチファクト除去フィルタリングに関する例示的方法が、参照番号１５００によって全体として示されている。この方法１５００は、機能ブロック１５１０に制御を渡す、開始ブロック１５０５を含む。機能ブロック１５１０は、最適フィルタリング閾値を取り出し、現在のフレームに関するフィルタリングマップを設定し、ループ端ブロック１５１５に制御を渡す。ループ端ブロック１５１５は、フィルタリング閾値ごとにループ（ｔｈ）を実行し、機能ブロック１５２０に制御を渡す。機能ブロック１５２０は、入力ピクチャに対して方向適応型アーチファクト除去フィルタを適用し、機能ブロック１５２５に制御を渡す。機能ブロック１５２５は、フィルタリングマップの各クラスのフィルタ済みピクセルで、アーチファクト除去済みピクチャを更新し、ループ端ブロック１５３０に制御を渡す。ループ端ブロック１５３０は、フィルタリング閾値（ｔｈ）ごとのループを終了し、機能ブロック１５３５に制御を渡す。機能ブロック１５３５は、アーチファクト除去済みピクチャを出力し、終了ブロック１５９９に制御を渡す。
時空的に適応性がある閾値を用いる、このループ内方向適応型アーチファクト除去フィルタは、ハイブリッド映像符号器／復号器のループ内に組み込まれる。その映像符号器／復号器は、例えばＭＰＥＧ−４ ＡＶＣ標準の映像符号器／復号器の拡張とすることができる。この場合、このループ内方向適応型アーチファクト除去フィルタが動作している間、ＭＰＥＧ−４ ＡＶＣ標準のデブロッキングフィルタを置換し、補完し、かつ／または無効にすることができる。フレーム内の各クラスについて選択した閾値に関する情報を、例えばこれだけに限定されないがＳＥＩ（付加拡張情報）データとして、符号化映像ビットストリーム内で伝送する。
一実施形態では、復元データに対するループ内フィルタを、ＭＰＥＧ−４ ＡＶＣ標準に適用することができる。そのような場合、図８および図９に示す標準的な符号器および復号器内のＭＰＥＧ−４ ＡＶＣ標準のデブロッキングフィルタを、このループ内方向適応型アーチファクト除去フィルタが動作している間、無効にすることができる。
図１６を見ると、本原理とともに使用するために拡張され、ＭＰＥＧ−４ ＡＶＣ標準に従って映像符号化を実行できる別の例示的映像符号器が、参照番号１６００によって全体として示されている。映像符号器１６００に適用される拡張は、ループ内方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
この映像符号器１６００は、結合器１６８５の非反転入力と信号通信する出力を有する、フレーム順序付けバッファ１６１０を含む。結合器１６８５の出力は、変換器および量子化器１６２５の第１の入力に信号通信で接続される。変換器および量子化器１６２５の出力は、エントロピ符号器１６４５の第１の入力、ならびに逆変換器および逆量子化器１６５０の第１の入力に信号通信で接続される。エントロピ符号器１６４５の出力は、結合器１６９０の第１の非反転入力に信号通信で接続される。結合器１６９０の出力は、出力バッファ１６３５の第１の入力に信号通信で接続される。
（ループ内方向適応型アーチファクト除去フィルタ１６４７を制御するように）拡張された符号器コントローラ１６０５の第１の出力は、フレーム順序付けバッファ１６１０の第２の入力、逆変換器および逆量子化器１６５０の第２の入力、ピクチャタイプ決定モジュール１６１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール１６２０の第１の入力、イントラ予測モジュール１６６０の第２の入力、ループ内方向適応型アーチファクト除去フィルタ１６４７の第２の入力、動き補償器１６７０の第１の入力、動き推定器１６７５の第１の入力、ならびに参照ピクチャバッファ１６８０の第２の入力に信号通信で接続される。
（ループ内方向適応型アーチファクト除去フィルタ１６４７を制御するように）拡張された符号器コントローラ１６０５の第２の出力は、ＳＥＩ（付加拡張情報）インサータ１６３０の第１の入力、変換器および量子化器１６２５の第２の入力、エントロピ符号器１６４５の第２の入力、出力バッファ１６３５の第２の入力、ならびにＳＰＳ（シーケンスパラメータセット）およびＰＰＳ（ピクチャパラメータセット）インサータ１６４０の入力に信号通信で接続される。
ＳＥＩインサータ１６３０の出力は、結合器１６９０の第２の非反転入力に信号通信で接続される。
ピクチャタイプ決定モジュール１６１５の第１の出力は、フレーム順序付けバッファ１６１０の第３の入力に信号通信で接続される。ピクチャタイプ決定モジュール１６１５の第２の出力は、マクロブロックタイプ決定モジュール１６２０の第２の入力に信号通信で接続される。
ＳＰＳ（シーケンスパラメータセット）およびＰＰＳ（ピクチャパラメータセット）インサータ１６４０の出力は、結合器１６９０の第３の非反転入力に信号通信で接続される。
逆量子化器および逆変換器１６５０の出力は、結合器１６１９の第１の非反転入力に信号通信で接続される。結合器１６１９の出力は、イントラ予測モジュール１６６０の第１の入力、およびループ内方向適応型アーチファクト除去フィルタ１６４７の第１の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ１６６５の第１の出力は、参照ピクチャバッファ１６８０の第１の入力に信号通信で接続される。参照ピクチャバッファ１６８０の出力は、動き推定器１６７５の第２の入力、および動き補償器１６７０の第３の入力に信号通信で接続される。動き推定器１６７５の第１の出力は、動き補償器１６７０の第２の入力に信号通信で接続される。動き推定器１６７５の第２の出力は、エントロピ符号器１６４５の第３の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ１６４７の第２の出力は、ＳＥＩインサータ１６３０の第３の入力に信号通信で接続される。
動き補償器１６７０の出力は、スイッチ１６９７の第１の入力に信号通信で接続される。イントラ予測モジュール１６６０の出力は、スイッチ１６９７の第２の入力に信号通信で接続される。マクロブロックタイプ決定モジュール１６２０の出力は、スイッチ１６９７の第３の入力に信号通信で接続される。スイッチ１６９７のこの第３の入力は、このスイッチの「データ」入力が、（制御入力、すなわち第３の入力に照らして）動き補償器１６７０またはイントラ予測モジュール１６６０によって提供されるべきかどうかを決定する。スイッチ１６９７の出力は、結合器１６１９の第２の非反転入力、および結合器１６８５の反転入力に信号通信で接続される。
フレーム順序付けバッファ１６１０の第１の入力、（ループ内方向適応型アーチファクト除去フィルタ１６４７を制御するように拡張された）符号器コントローラ１６０５の入力、およびループ内方向適応型アーチファクト除去フィルタ１６４７の第３の入力は、入力ピクチャを受け取るための、符号器１６００の入力として利用可能である。さらに、ＳＥＩ（付加拡張情報）インサータ１６３０の第２の入力は、メタデータを受け取るための、符号器１６００の入力として利用可能である。出力バッファ１６３５の出力は、ビットストリームを出力するための、符号器１６００の出力として利用可能である。
図１７を見ると、本原理とともに使用するために拡張され、ＭＰＥＧ−４ ＡＶＣ標準に従って映像復号を実行できる別の例示的映像復号器が、参照番号１７００によって全体として示されている。映像復号器１７００に適用される拡張は、ループ内方向適応型アーチファクト除去フィルタリングに対するサポートを提供する。
この映像復号器１７００は、エントロピ復号器１７４５の第１の入力、およびループ内方向適応型アーチファクト除去フィルタ１７４７の第４の入力に信号通信で接続される出力を有する、入力バッファ１７１０を含む。エントロピ復号器１７４５の第１の出力は、逆変換器および逆量子化器１７５０の第１の入力に信号通信で接続される。逆変換器および逆量子化器１７５０の出力は、結合器１７２５の第２の非反転入力に信号通信で接続される。結合器１７２５の出力は、ループ内方向適応型アーチファクト除去フィルタ１７４７の第２の入力、およびイントラ予測モジュール１７６０の第１の入力に信号通信で接続される。ループ内方向適応型アーチファクト除去フィルタ１７４７の第２の出力は、参照ピクチャバッファ１７８０の第１の入力に信号通信で接続される。参照ピクチャバッファ１７８０の出力は、動き補償器１７７０の第２の入力に信号通信で接続される。
エントロピ復号器１７４５の第２の出力は、動き補償器１７７０の第３の入力、およびループ内方向適応型アーチファクト除去フィルタ１７４７の第１の入力に信号通信で接続される。エントロピ復号器１７４５の第３の出力は、復号器コントローラ１７０５の入力に信号通信で接続される。復号器コントローラ１７０５の第１の出力は、エントロピ復号器１７４５の第２の入力に信号通信で接続される。復号器コントローラ１７０５の第２の出力は、逆変換器および逆量子化器１７５０の第２の入力に信号通信で接続される。復号器コントローラ１７０５の第３の出力は、ループ内方向適応型アーチファクト除去フィルタ１７４７の第３の入力に信号通信で接続される。復号器コントローラ１７０５の第４の出力は、イントラ予測モジュール１７６０の第２の入力、動き補償器１７７０の第１の入力、および参照ピクチャバッファ１７８０の第２の入力に信号通信で接続される。
動き補償器１７７０の出力は、スイッチ１７９７の第１の入力に信号通信で接続される。イントラ予測モジュール１７６０の出力は、スイッチ１７９７の第２の入力に信号通信で接続される。スイッチ１７９７の出力は、結合器１７２５の第１の非反転入力に信号通信で接続される。
入力バッファ１７１０の入力は、入力ビットストリームを受け取るための、復号器１７００の入力として利用可能である。ループ内方向適応型アーチファクト除去フィルタ１７４７の第１の出力は、出力ピクチャを出力するための、復号器１７００の出力として利用可能である。
図８および図９にそれぞれ関係する符号器コントローラ８０５および復号器コントローラ９０５は、ループ外方向適応型フィルタ（すなわちフィルタ１６４７およびフィルタ１７４７それぞれ）を制御するように拡張された符号器コントローラ１６０５および復号器コントローラ１７０５を得るために、どちらも修正される。この修正は、このループ内フィルタを最も効率的に動作させるために設定し、構成し、適応させるためのブロックレベル構文および／または高レベル構文の可能な要件に影響を及ぼす。このために、いくつかの構文フィールドを様々なレベルで定義することができる。表１は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なピクチャパラメータセット構文データを示す。表２は、一実施形態による、ループ外およびループ内方向適応型アーチファクト除去フィルタリングのための例示的なスライスヘッダデータを示す。当然、本原理の趣旨を保ちながら、このループ外フィルタを設定し、構成し、適応させるために、他の高レベル構文要素を使用することもできる。
次に、表１および表２に示す構文要素のいくつかを、一実施形態に従って説明する。
ｅｎａｂｌｅ＿ｍａｐ＿ｃｒｅａｔｉｏｎ＿ｔｙｐｅ：例えばシーケンスパラメータセットレベルおよび／またはピクチャパラメータセットレベルに位置することができる高レベル構文要素である。一実施形態では、この要素の値は、フィルタリングマップのタイプに関する省略時値を変更する実現性を可能にする。
ｍａｐ＿ｃｒｅａｔｉｏｎ＿ｔｙｐｅ：ループ内方向適応型アーチファクト除去フィルタリングで使用する、フィルタリングマップのタイプを指定する。例えば一実施形態では、この構文要素は、クラスの数およびフィルタリングマップの境界サイズを設定するために使用することができる。
次に、一部は上記に記載した、本発明に付随する多くの利点／特徴のいくつかについて説明する。例えば１つの利点／特徴は、ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを備える装置である。ピクチャデータは、ピクチャの様々な副格子サンプリングを含む。このフィルタのための、スパーシティベースフィルタリング閾値は時間的に変えられる。
別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は空間的に変えられる。
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも１つに応じて変えられる。
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、複数のクラスに対応するクラスマップが作成され、その複数のクラスのそれぞれに関して個々の閾値が選択される。その複数のクラスのそれぞれは、１組の特定の符号化条件に対応する。
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも１つを使用して符号化される。その平均閾値の値は、少なくとも１つの符号化設定、少なくとも１つの符号化プロファイル、および少なくとも１つの量子化パラメータのうちの少なくとも１つに依存する。均一符号化値および差分値のうちの少なくとも１つは、均一符号、可変長符号、および算術符号のうちの少なくとも１つを使用して符号化される。
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、少なくとも１つの高レベル構文要素を使用して、フィルタリング閾値情報が符号化映像ビットストリーム内で伝送される。
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは、ピクチャデータのループ内処理およびループ外処理のうちの少なくとも１つに備えて構成される。
また、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは、映像符号器および映像復号器のうちの少なくとも１つに含まれる。
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値はピクチャデータまたはそのピクチャデータの一部分に対応しているピクチャ全体に選択的に適用される。
さらに、別の利点／特徴は、スパーシティベースフィルタを備える装置であり、スパーシティベースフィルタリング閾値は上述したように選択的に適用され、独立にまたは一緒に適応される。
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタが行うスパーシティベースフィルタリング操作は、結合、適応化、有効化、無効化のうちの少なくとも１つが可能である。
また、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは映像符号器に含まれ、アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも１つであるかどうかが、少なくとも１つの高レベル構文要素を使用して、対応する復号器に信号で伝えられる。
さらに、別の利点／特徴は、上述したようなスパーシティベースフィルタを備える装置であり、そのフィルタは映像復号器に含まれ、アーチファクト除去操作のいずれかが、結合、適応化、有効化、無効化のうちの少なくとも１つであるかどうかが、少なくとも１つの高レベル構文要素から明らかにされる。
本原理のこれらのおよび他の特徴／利点は、本明細書の教示に基づいて当業者は容易に確かめることができる。本原理の教示は、様々な形のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはこれらの組合せに実装できることを理解すべきである。
本原理の教示をハードウェアとソフトウェアとの組合せとして実装することが最も好ましい。さらに、そのソフトウェアは、プログラム記憶ユニット上に有形に実施されるアプリケーションプログラムとして実装することができる。そのアプリケーションプログラムは、任意の適切なアーキテクチャを含む機械にアップロードし、その機械によって実行することができる。好ましくは、その機械は、１つまたは複数の「ＣＰＵ」（中央処理装置）、「ＲＡＭ」（ランダムアクセスメモリ）、「Ｉ／Ｏ」（入出力）インタフェースなどのハードウェアを備えるコンピュータプラットフォーム上に実装される。そのコンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードをさらに含むことができる。本明細書に記載した様々な処理および機能は、ＣＰＵが実行できるマイクロ命令コードの一部、またはアプリケーションプログラムの一部、またはそれらの任意の組合せとすることができる。さらに、追加データ記憶ユニットや印刷ユニットなど、他の様々な周辺装置をこのコンピュータプラットフォームに接続することができる。
添付図面に示す構成システムのコンポーネントおよび方法の一部はソフトウェアに実装することが好ましいので、このシステムのコンポーネント間または処理機能ブロック間の実際の接続は、本原理をプログラムする方法によって異なる場合があることをさらに理解すべきである。本明細書の教示を所与として、当業者は本原理のこれらのおよび同様の実装形態または構成を思いつくことができるであろう。
例示的実施形態を、添付図面を参照して本明細書で説明したが、本原理はそれらの厳密な実施形態に限定されず、本原理の範囲または趣旨から逸脱することなく、当業者は様々な変更および修正を加えることができることを理解すべきである。そのような変更および修正はすべて、添付の特許請求の範囲に記載する本原理の範囲に含まれるものとする。

Claims (10)

  1. ピクチャのピクチャデータをアーチファクト除去フィルタリングするための、スパーシティベースフィルタを備え、
    前記アーチファクト除去フィルタリングは、
    ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類することであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、
    複数のクラスそれぞれについての閾値を決定することと、
    ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成することと、
    係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも２つの雑音除去推定値を生成することと、
    少なくとも２つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成することと、
    を含むよう最適化された、装置。
  2. 前記スパーシティベースフィルタリング閾値は、空間的に変えられる、請求項１に記載の装置。
  3. 前記スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも１つに応じて変えられる、請求項２に記載の装置。
  4. 前記スパーシティベースフィルタリング閾値は、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも１つを使用して符号化され、前記平均閾値の値は、少なくとも１つの符号化設定、少なくとも１つの符号化プロファイル、および少なくとも１つの量子化パラメータのうちの少なくとも１つに依存し、前記均一符号化値および前記差分値のうちの少なくとも１つは、均一符号、可変長符号、および算術符号のうちの少なくとも１つを使用して符号化される、請求項１に記載の装置。
  5. 前記スパーシティベースフィルタは、映像符号器および映像復号器のうちの少なくとも１つに含まれる、請求項１に記載の装置。
  6. ピクチャのピクチャデータをアーチファクト除去フィルタリングするステップと、
    ピクチャ内のピクセルを符号化条件に従った複数のクラスに分類するステップであって、前記符号化条件は、予測モードと残留情報とピクセルがインター符号化されるブロックのブロック境界に属するか否かとを含み、
    複数のクラスそれぞれについての閾値を決定するステップと、
    ピクチャをダウンサンプルして、ピクチャの副格子サンプリングを生成するステップと、
    係数閾値オペレーションを使用して、変換ドメイン内の閾値に基づいて、ピクチャおよび副格子サンプリングからピクチャの少なくとも２つの雑音除去推定値を生成するステップと、
    少なくとも２つの雑音除去推定値の加重平均をとって、アーチファクト除去フィルタリングされたピクチャを生成するステップと、
    を含む、前記方法。
  7. 前記スパーシティベースフィルタリング閾値は、空間的に変えられる、請求項６に記載の方法。
  8. 前記スパーシティベースフィルタリング閾値は、局所信号統計、広域信号統計、局所雑音、広域雑音、局所歪み、広域歪み、圧縮パラメータ、予測モード、ユーザ選択、映像品質測度、および符号化コスト測度のうちの少なくとも１つに応じて変えられる、請求項７に記載の方法。
  9. 前記スパーシティベースフィルタリング閾値を、均一符号化値、前の閾値の値を基準にして差動的に符号化された値、および平均閾値の値のうちの少なくとも１つを使用して符号化するステップをさらに含み、前記平均閾値の値は、少なくとも１つの符号化設定、少なくとも１つの符号化プロファイル、および少なくとも１つの量子化パラメータのうちの少なくとも１つに依存し、前記均一符号化値および前記差分値のうちの少なくとも１つは、均一符号、可変長符号、および算術符号のうちの少なくとも１つを使用して符号化される、請求項６に記載の方法。
  10. 前記スパーシティベースフィルタリングは、映像符号器および映像復号器のうちの少なくとも１つにおいて行われる、請求項６に記載の方法。
JP2010543123A 2008-01-14 2009-01-12 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置 Expired - Fee Related JP5357898B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US2094008P 2008-01-14 2008-01-14
US61/020,940 2008-01-14
PCT/US2009/000171 WO2009091521A2 (en) 2008-01-14 2009-01-12 Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013180327A Division JP2013258765A (ja) 2008-01-14 2013-08-30 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置

Publications (3)

Publication Number Publication Date
JP2011510561A JP2011510561A (ja) 2011-03-31
JP2011510561A5 JP2011510561A5 (ja) 2012-03-01
JP5357898B2 true JP5357898B2 (ja) 2013-12-04

Family

ID=40885850

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010543123A Expired - Fee Related JP5357898B2 (ja) 2008-01-14 2009-01-12 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置
JP2013180327A Pending JP2013258765A (ja) 2008-01-14 2013-08-30 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013180327A Pending JP2013258765A (ja) 2008-01-14 2013-08-30 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置

Country Status (7)

Country Link
US (1) US20100272191A1 (ja)
EP (1) EP2229782A2 (ja)
JP (2) JP5357898B2 (ja)
KR (1) KR20100103822A (ja)
CN (1) CN101911704A (ja)
BR (1) BRPI0906481A2 (ja)
WO (1) WO2009091521A2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
CN102292990B (zh) * 2008-11-25 2016-10-05 汤姆森特许公司 对视频编码和解码进行基于稀疏性的去伪像滤波的方法和装置
JP2010278668A (ja) * 2009-05-27 2010-12-09 Sony Corp 符号化装置及び符号化方法、並びに復号装置及び復号方法
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5604825B2 (ja) * 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
JP2011151431A (ja) * 2009-12-25 2011-08-04 Sony Corp 画像処理装置および方法
WO2012012444A2 (en) * 2010-07-19 2012-01-26 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
JP5563403B2 (ja) * 2010-08-12 2014-07-30 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
US8982960B2 (en) 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
EP2700230A4 (en) * 2011-04-21 2014-08-06 Mediatek Inc METHOD AND APPARATUS FOR ENHANCED LOOP FILTERING
KR101860606B1 (ko) * 2011-06-30 2018-05-23 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
JP2014082639A (ja) * 2012-10-16 2014-05-08 Canon Inc 画像符号化装置およびその方法
GB2516221A (en) 2013-07-01 2015-01-21 Barco Nv Method and processor for streaming video processing
WO2015059154A1 (en) 2013-10-21 2015-04-30 Dolby International Ab Audio encoder and decoder
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
EP3151559A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method for coding and decoding a plurality of picture blocks and corresponding devices
US9633416B1 (en) * 2015-12-26 2017-04-25 Intel Corporation Adaptive control for denoise filtering
US11259051B2 (en) * 2016-05-16 2022-02-22 Numeri Ltd. Pyramid algorithm for video compression and video analysis
WO2018105579A1 (ja) * 2016-12-09 2018-06-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN114469019B (zh) * 2022-04-14 2022-06-21 剑博微电子(深圳)有限公司 脉搏波信号的滤波方法、装置和计算机设备

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4665436A (en) * 1985-12-20 1987-05-12 Osborne Joseph A Narrow bandwidth signal transmission
US5031104A (en) * 1988-12-05 1991-07-09 Sumitomo Electric Industries, Ltd. Adaptive in-vehicle route guidance system
CA2079673C (en) * 1991-02-04 2001-11-20 Charles Gordon Seagrave Storage medium and apparatus and method for recovering information from such medium by oversampling
KR0141824B1 (ko) * 1991-12-23 1998-07-15 구자홍 가변길이의 적응 영상 압축 방법 및 장치
JPH07283971A (ja) * 1994-04-08 1995-10-27 Sony Corp ノイズリデューサ
JP2813548B2 (ja) * 1994-06-28 1998-10-22 松下電器産業株式会社 条件付フィルタの自動閾値設定方法及びその復号方法
US5852800A (en) * 1995-10-20 1998-12-22 Liquid Audio, Inc. Method and apparatus for user controlled modulation and mixing of digitally stored compressed data
KR100243225B1 (ko) * 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
US7239755B1 (en) * 1997-07-30 2007-07-03 Lg Electronics Inc. Method of reducing a blocking artifact when coding moving picture
US6122407A (en) * 1997-12-19 2000-09-19 Electronics For Imaging, Inc. Method and apparatus for producing threshold arrays using variance minimization and sparse image calculations
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
US6211515B1 (en) * 1998-10-19 2001-04-03 Raytheon Company Adaptive non-uniformity compensation using feedforward shunting and wavelet filter
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6535643B1 (en) * 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
JP2000215317A (ja) * 1998-11-16 2000-08-04 Sony Corp 画像処理方法及び画像処理装置
US6795586B1 (en) * 1998-12-16 2004-09-21 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image
US6625325B2 (en) * 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
US7203234B1 (en) * 2000-03-31 2007-04-10 Sharp Laboratories Of America, Inc. Method of directional filtering for post-processing compressed video
US6671374B1 (en) * 2000-08-03 2003-12-30 Globespanvirata, Inc. Adaptive filter for echo cancellation, method for operating an adaptive filter for echo cancellation, an article of manufacture for determining tap weights and a length for an adaptive filter for echo cancellation and a computer implemented control system for determining tap weights and a length for an adaptive filter for echo cancellation
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6993191B2 (en) * 2001-05-04 2006-01-31 Pts Corporation Methods and apparatus for removing compression artifacts in video sequences
US6968006B1 (en) * 2001-06-05 2005-11-22 At&T Corp. Method of content adaptive video decoding
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US8386303B2 (en) * 2001-11-02 2013-02-26 Jerry L. McKinney Sparse data environmental equipment threshold compliance alarm system and method
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US7953193B2 (en) * 2002-03-28 2011-05-31 Broadcom Corporation Sparse channel equalization
AU2003237289A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Maintaining a plurality of codebooks related to a video signal
EP1408697A4 (en) * 2002-07-11 2007-07-25 Matsushita Electric Ind Co Ltd METHOD FOR DETERMINING THE FILTRATION THICKNESS, METHOD FOR MOVING PICTOR CODING AND METHOD FOR MOVING PICTOR CODING
CN100553338C (zh) * 2002-07-15 2009-10-21 株式会社日立制作所 动态图像编码方法
US6807317B2 (en) * 2002-10-25 2004-10-19 Motorola, Inc. Method and decoder system for reducing quantization effects of a decoded image
ATE527591T1 (de) * 2002-11-15 2011-10-15 Qualcomm Inc Vorrichtung und verfahren zur mehrfachbeschreibungscodierung
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7463688B2 (en) * 2003-01-16 2008-12-09 Samsung Electronics Co., Ltd. Methods and apparatus for removing blocking artifacts of MPEG signals in real-time video reception
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
US7792194B2 (en) * 2003-04-10 2010-09-07 Lefan Zhong MPEG artifacts post-processed filtering architecture
US7362810B2 (en) * 2003-05-13 2008-04-22 Sigmatel, Inc. Post-filter for deblocking and deringing of video data
US7352909B2 (en) * 2003-06-02 2008-04-01 Seiko Epson Corporation Weighted overcomplete de-noising
US7403568B2 (en) * 2003-08-13 2008-07-22 Apple Inc. Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using temporal filtering
US7599435B2 (en) * 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7822285B2 (en) * 2004-05-20 2010-10-26 Omnivision Technologies, Inc. Methods and systems for locally adaptive image processing filters
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US7760805B2 (en) * 2005-05-31 2010-07-20 Hewlett-Packard Development Company, L.P. Method of enhancing images extracted from video
US7804896B2 (en) * 2005-09-19 2010-09-28 Intel Corporation Content adaptive noise reduction filtering for image signals
US8537903B2 (en) * 2005-09-23 2013-09-17 Entropic Communications, Inc. De-blocking and de-ringing systems and methods
KR100668346B1 (ko) * 2005-10-04 2007-01-12 삼성전자주식회사 멀티 코덱용 필터링 장치 및 방법
US7911538B2 (en) * 2006-04-06 2011-03-22 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US7974340B2 (en) * 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
JP5002286B2 (ja) * 2006-04-27 2012-08-15 キヤノン株式会社 画像符号化装置、画像符号化方法、プログラム及び記憶媒体
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
CN105376574A (zh) * 2006-11-08 2016-03-02 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
JP5345139B2 (ja) * 2007-06-08 2013-11-20 トムソン ライセンシング 多格子スパース性ベースのフィルタリングに基づくインループ・アーチファクト解除フィルタリングのための方法及び装置
KR20100024406A (ko) * 2007-06-08 2010-03-05 톰슨 라이센싱 다수-격자 성김-기반 필터링 방법 및 장치
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
KR102350436B1 (ko) * 2009-07-07 2022-01-14 인터디지털 브이씨 홀딩스 인코포레이티드 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치

Also Published As

Publication number Publication date
WO2009091521A3 (en) 2009-11-26
EP2229782A2 (en) 2010-09-22
CN101911704A (zh) 2010-12-08
JP2013258765A (ja) 2013-12-26
WO2009091521A2 (en) 2009-07-23
KR20100103822A (ko) 2010-09-28
BRPI0906481A2 (pt) 2015-07-14
US20100272191A1 (en) 2010-10-28
JP2011510561A (ja) 2011-03-31

Similar Documents

Publication Publication Date Title
JP5357898B2 (ja) 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置
US9998737B2 (en) Method and apparatus of adaptive loop filtering
JP6120896B2 (ja) ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置
JP5801363B2 (ja) 符号化及び復号化のための装置及び方法並びにコンピュータプログラム
JP5801032B2 (ja) インループのアーチファクト除去フィルタリングのための方法および装置
JP6104975B2 (ja) スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
JP6425609B2 (ja) 空間変化残差符号化を行う方法および装置
US20110069752A1 (en) Moving image encoding/decoding method and apparatus with filtering function considering edges
WO2014139393A1 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
JP2007536828A (ja) 低ビットレート映像圧縮のための画像エンハンスメント方法及び装置
JP6479548B2 (ja) アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
JP5728330B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
Cheung et al. Improving MPEG-4 coding performance by jointly optimizing both compression and blocking effect elimination

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130104

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130830

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157

LAPS Cancellation because of no payment of annual fees