JP2010515362A - 符号化された画像及びビデオにおけるブロックアーチファクトの検出 - Google Patents

符号化された画像及びビデオにおけるブロックアーチファクトの検出 Download PDF

Info

Publication number
JP2010515362A
JP2010515362A JP2009544052A JP2009544052A JP2010515362A JP 2010515362 A JP2010515362 A JP 2010515362A JP 2009544052 A JP2009544052 A JP 2009544052A JP 2009544052 A JP2009544052 A JP 2009544052A JP 2010515362 A JP2010515362 A JP 2010515362A
Authority
JP
Japan
Prior art keywords
block
artifact
picture
artifacts
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009544052A
Other languages
English (en)
Other versions
JP2010515362A5 (ja
JP5270573B2 (ja
Inventor
デーン,ゴース
ゴミラ,クリスティーナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010515362A publication Critical patent/JP2010515362A/ja
Publication of JP2010515362A5 publication Critical patent/JP2010515362A5/ja
Application granted granted Critical
Publication of JP5270573B2 publication Critical patent/JP5270573B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

符号化された画像及びビデオにおける多数の特徴を使用して、ブロックアーチファクトの検出及びブロックアーチファクトの判定の方法が提供される。本方法は、現在のブロックに関して、あるピクチャにおいて複数のオーバラップするブロックを識別するステップ910を含む。複数のオーバラップするブロックのそれぞれは、現在のブロックの一部と隣接するブロックの一部とをカバーする。本方法は、複数のオーバラップするブロックの少なくとも1つを、輝度値と色度値の少なくとも1つに対応するそれぞれの係数に変換するステップ920を更に含む。本方法は、また、複数のオーバラップするブロックの少なくとも1つに対応する係数が予め定義された値よりも大きいとき、複数のオーバラップするブロックの少なくとも1つについてブロックアーチファクトを識別するステップ930を含む。

Description

本発明は、一般に画像処理及び/又はビデオ処理に関し、より詳細には、符号化された画像及びビデオにおけるブロックアーチファクトの検出に関する。
本出願は、2006年12月28日に提出された米国特許仮出願第60/877549に対して35U.S.C.119(e)の下で優先権を主張するものであり、この米国特許仮出願は、引用により本明細書に盛り込まれる。
画像又はビデオ圧縮のアーチファクトは、利用可能なビットの不適切な分散の結果として、デジタル画像又はビデオ圧縮アルゴリズムにより導入される。ブロックアーチファクトは、最も悩ましい圧縮アーチファクトの1つであり、圧縮画像のブロックの境界で望まれない不連続として知覚される。ブロックアーチファクトは、高精細フォーマット及び高解像度ディスプレイにより特に目に見えるようになる。再符号化プロセスの一部としてアーチファクトの位置に関するオペレータによる手動的な判定は、多くの画像及びビデオ符号化アプリケーションにおいて実行可能ではない。これは、係るブロックアーチファクトを発見するために必要とされる時間量のためにプロセスが高価となるためである。したがって、自動的なブロックアーチファクトの検出を実行し、圧縮されたピクチャにおける濃淡のむらがあるアピアランス(blocky appearance)を低減することが必要である。
ひとたび特定のピクチャにおいてブロックアーチファクトが検出されると、新たな符号化パラメータにより後処理アルゴリズム又は再符号化をそのピクチャに適用して、そのピクチャの濃淡のむらがあるアピアランスを補正することができる。後処理又は再符号化アルゴリズムは、良好な画質を得るために検出されたブロックアーチファクトの位置に基づいて、符号化パラメータに対する微調整を行うことができる。ブロックアーチファクトの強さは、それらのパラメータを微調整して画質を更に改善するため、後処理又は再符号化アルゴリズムを誘導することができるアーチファクト検出の別の重要な態様である。
制限されたビットレートの制約による圧縮されたビデオ系列において自動的なアーチファクトの補正を実行する幾つかのアプリケーションでは、利用可能なビットによりどのピクチャを再符号化すべきかをビデオエンコーダが判定するため、ピクチャ当たりの全体のブロックノイズのアーチファクトのメトリックを有する任意のステップを実行することができる。すなわち、幾つかの符号化ピクチャは、他の符号化されたピクチャよりも多くのブロックアーチファクトを有する。したがって、ブロックノイズのアーチファクトのメトリックは、互いにそれぞれ符号化されたピクチャのブロックノイズを測定する標準的なやり方である。
結果的に、ブロックアーチファクトを自動的に検出し、ブロック当たり及びピクチャ当たりのアーチファクトの強さを判定するアルゴリズムが必要とされている。
ブロックアーチファクトを検出し、様々なビデオ補正技術を使用して低速ビットレートから高速ビットレートの画像で係るアーチファクトを補正する様々な従来技術のアプローチが提案されている。しかし、これらの従来技術のアプローチの殆どがアーチファクトの検出及びメトリックの判定に焦点を当てるものではない。さらに、従来技術のアプローチは、それぞれ高速ビットレートを利用するピクチャ又はビデオ圧縮方法についてブロックアーチファクトの検出の問題に対処するものではないと思われる。
第一の従来技術のアプローチでは、ブロックアーチファクトのメトリック判定アルゴリズムが提案される。第一の従来技術のアプローチは、あるマクロブロックにおける画素値の平均をその近傍のマクロブロックの平均と比較する。個々の差は、全体のブロックノイズのメトリックを得るために合計される。アーチファクトから実際のエッジを排除するため、シンプルなエッジ検出器が利用される。第二の従来技術のアプローチは、ブロックの境界での画素値を使用するアーチファクト検出メトリックを提案する。ブロック境界の2つのサイドにおける2つの連続する画素値はフィルタリングされ、フィルタリングされた値は合計されて、全体のブロックノイズのメトリックが得られる。第三の従来技術のアプローチでは、画像の輝度値に関して機能するブロックアーチファクトのメトリックが提案される。この第三の従来技術のアプローチは、一定の強度をもつブロックのみが考慮される点を除いて、ブロックの平均値を計算及び比較する意味で第一の従来技術のアプローチに類似する。
第一、第二及び第三の従来技術のアプローチは、圧縮された画像及びビデオの知覚的なファクタ及び他の特性を考慮するものではなく、従って、高解像度ディスプレイに直接適用することができない。第一、第二及び第三の従来技術のアプローチは、低速ビットレートから中速ビットレートで圧縮されたビデオ又は画像コンテンツで主にテストされる。高精細ビデオの圧縮は、高品質及び高速ビットレートを必要とする。携帯電話又はパーソナルコンピュータモニタのような小型ディスプレイにおいて目に見えない最も小さなアーチファクトでさえ、高解像度ディスプレイでは目に見える。
第四及び第五の従来技術のアプローチは、知覚要因を考慮する。第四の従来技術のアプローチでは、ブロックメトリックは、ブロックの境界での画素の差の合計を考慮することで導出され、この場合、画素の強度により重み付けされる。(たとえば8ビットグレイスケール画像における)70と90との間のグレイ値は、暗い画素及び明るい画素を超えて重み付けされる。第五の従来技術のアプローチでは、幾つかの知覚要素を考慮するブロックアーチファクトの検出スキームが提案される。特に、アーチファクトの可視性に影響を及ぼす知覚的な特徴として、バックグランドルミナンス及びバックグランドアクティビティが使用される。知覚モデルのパラメータを導出するため、視覚的な実験が実行される。異なる長さをもつエッジ及び異なるバックグランドをもつ振幅を含む画像は、人間の被写体に示され、エッジパターンの可視性は、係る被写体の視覚的な知覚に基づいて決定される。主観的な結果に基づいて、アーチファクトをマスクする知覚的なパラメータが発見される。第五の従来技術のアプローチで使用される知覚的な特徴のなかには、バックグランドアクティビティのような有効なものがあり、それらのうちの幾つかは関心のあるものではあるが、ビデオ符号化処理に組み込まれる知覚的なパラメータを得るため、周波数領域の処理のように非常に複雑である。
インループ・デブロッキングフィルタは、ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG−4(Moving Picture Experts Group−4) Part10 AVC(Advanced Video Coding)標準/ITU−T(International Telecommunication Union, Telecommunication Sector) H.264勧告(以下、MPEG−4 AVC規格)に基づいて、ビデオ圧縮アプリケーションにおいてブロックアーチファクトを抑圧する別のツールである。インループ・デブロッキングフィルタは、アーチファクトの検出及び補正の両者について提案されている。フィルタリングは、圧縮領域の情報により決定されるブロックノイズの強さに対して適応的である。フィルタリングは、ブロックの境界知覚の再構成された画素にわたり平滑化する。しかし、高解像度のコンテンツの非常に高速なビットレート符号化では、保持すべき空間的な詳細は、デブロッキングフィルタがオンにされたときに失われるか又はぼやける。
したがって、従来技術では、ブロックアーチファクトを検出する課題は、高精細のコンテンツの特性及び様々な対応する知覚の特徴に関して完全に対処及び/又は考慮されていない。
従来技術のこれらの課題及び問題、並びに他の課題及び問題は、符号化された画像及びビデオにおける多数の特徴を使用してブロックアーチファクトを検出し、ブロックアーチファクトのメトリックを判定する方法及び装置に向けられる、本発明の原理により対処される。
本発明の原理の1つの態様によれば、ブロックアーチファクトを検出する方法が提供される。本方法は、ある現在のブロックに関して、あるピクチャにおける複数のオーバラップしているブロックを識別することを含む。複数のオーバラップしているブロックのそれぞれは、現在のブロックの一部及び隣接するブロックの一部をカバーする。本方法は、複数のオーバラップしているブロックの少なくとも1つを輝度成分と色度成分の少なくとも1つに対応するそれぞれの係数に変換することを更に含む。また、本方法は、複数のオーバラップしているブロックの少なくとも1つに対応する係数が予め定義された値よりも大きいとき、複数のオーバラップしているブロックのうちの少なくとも1つについてブロックアーチファクトを識別するステップを含む。
本発明の原理の別の態様によれば、ブロックアーチファクトを検出する装置が提供される。本装置は、現在のブロックに関して、あるピクチャにおける複数のオーバラップしているブロックを識別するブロックアーチファクト検出器を含む。複数のオーバラップしているブロックのそれぞれは、現在のブロックの一部及び隣接するブロックの一部をカバーする。ブロックアーチファクト検出器は、複数のオーバラップしているブロックの少なくとも1つを、輝度成分と色度成分の少なくとも1つに対応するそれぞれの係数に変換し、複数のオーバラップしているブロックの少なくとも1つに対応する係数が予め決定された値よりも大きいときに、複数のオーバラップしているブロックの少なくとも1つについてブロックアーチファクトを識別する。
本発明の原理の更に別の態様によれば、ブロックアーチファクトを検出する方法が提供される。本方法は、特定のブロックの境界の2つのサイドでの画素値の差と特定のブロックの境界での差をフィルタリングし、2つのサイドでの画素値の差と特定のブロックの境界での差とを結合することで、あるピクチャにおける少なくとも1つのブロックの境界における少なくとも1つの画素のラインについて、ブロックの境界ラインのブロックノイズを導出するステップを含む。本方法は、少なくとも1つのブロックの境界の特定の1つで測定された少なくとも1つのブロックの境界ラインのブロックノイズの値を結合することで、ブロックの境界のブロックノイズの値を導出するステップを更に含む。また、本方法は、少なくとも1つのブロックの境界のブロックノイズの値を結合することで、あるブロックのブロックノイズの値を導出するステップを含む。
本発明の原理の更に別の態様によれば、ブロックアーチファクトを検出する装置が提供される。本装置は、特定のブロック境界の2つのサイドでの画素値の差と特定のブロック境界での差をフィルタリングし、2つのサイドでの画素値の差と特定のブロックの境界での差とを結合することで、あるピクチャにおける少なくとも1つのブロックの境界における、少なくとも1つの画素のラインについて、ブロックの境界ラインのブロックノイズを導出するブロックアーチファクト検出器を含む。ブロックアーチファクト検出器は、少なくとも1つのブロックの境界の特定の1つで測定された少なくとも1つのブロックの境界ラインのブロックノイズの値を結合することで、ブロックの境界のブロックノイズの値を導出し、少なくとも1つのブロックの境界のブロックノイズの値を結合することで、あるブロックのブロックノイズの値を導出する。
本発明の原理のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる例示的な実施の形態に関する以下の詳細な記載から明らかとなるであろう。
本発明の原理は、以下の例示的な図面に従って良好に理解することができる。
本発明の原理の実施の形態に係る、ブロックノイズの検出のための例示的なシステムのブロック図である。 本発明の原理に実施の形態に係る、ブロックアーチファクトの検出の例示的な方法のフローダイアグラムである。 本発明の原理の実施の形態に係る、オーバラップされたブロックを例示する図である。 本発明の原理の実施の形態に係る、オーバラップされたブロックを例示する図である。 本発明の原理の実施の形態に係る、オーバラップされたブロックを例示する図である。 本発明の原理の実施の形態に係る、オーバラップされたブロックを例示する図である。 本発明の原理の実施の形態に係る、変換領域においてブロックアーチファクトを検出する方法のフローダイアグラムである。 本発明の原理の実施の形態に係る、垂直方向におけるブロックの境界を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、画像ブロックの例示的な方向の処理を例示する図である。 本発明の原理の実施の形態に係る、特徴に基づいたアーチファクトのリファインメントの例示的な方法のフローダイアグラムである。 本発明の原理の実施の形態に係る、あるピクチャのブロックアーチファクトの強さを判定する例示的な方法のフローダイアグラムである。 本発明の原理の実施の形態に係る、ブロックアーチファクトを検出する例示的な方法のフローダイアグラムである。 本発明の原理の実施の形態に係る、ブロックアーチファクトを検出する例示的な方法のフローダイアグラムである。
本発明の原理は、符号化された画像及びビデオにおける多数の特徴を使用して、ブロックアーチファクトを検出し、ブロックアーチファクトのメトリクスを判定する方法及び装置に向けられる。
本実施の形態の記載は、本発明の原理を例示するものである。したがって、当業者であれば、本実施の形態で明示的に記載又は図示されないが、様々なアレンジメントに対して本実施の形態で記載される本発明の原理を実施するアレンジメントを考案することができることが理解されるべきである。
本明細書で引用される全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援する教育的な目的が意図されており、係る特定の引用される例及び条件に限定されるものではないものと解釈されるべきである。
さらに、本発明の原理、態様、及び実施の形態を引用する全ての説明は、本発明の特別の例と同様に、本発明の構造的且つ機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在公知の等価な概念と同様に、将来的に開発される等価な概念、すなわち構造にかかわらず、同じ機能を実行する開発されたエレメントをも含むことが意図される。
したがって、たとえば、本明細書で与えられるブロック図は本発明の原理を実施する例示的な回路の概念図を表すことが当業者により理解される。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータにより読み取り可能な記録媒体で実質的に表され、したがってコンピュータ又はプロセッサが明示的に示されているかに係らず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことを理解されたい。
図示される様々なエレメントの機能は、専用ハードウェアと同様に、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用を通して提供される場合がある。プロセッサにより提供された場合、機能は、単一の専用プロセッサにより、単一の共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すことが解釈されるべきではなく、限定することなしに、デジタルシグナルプロセッサ(DSP)ハードウェア、ソフトウェアを記憶するリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性ストレージを暗黙的に含む。
コンベンショナル及び/又はカスタムな他のハードウェアもまた含まれる場合がある。同様に、図示されるスイッチは概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は手動的に実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように、実現者により選択可能である。
本発明の請求項では、特定の機能を実行する手段として表現されるエレメントは、(a)その機能を実行する回路エレメントの組み合わせ、又は(b)機能を実行するためのソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含む任意の形態でのソフトウェアを含む機能を実行する任意の方法を包含することが意図される。係る請求項により定義される本発明の原理は、様々な引用される手段により提供される機能が結合され、請求項が求めるやり方で結合され纏められる事実にある。したがって、それらの機能を提供することができる任意の手段は本明細書で示されるものに等価であるとみなされる。
本発明の原理の「1実施の形態」又は「実施の形態」に対する明細書における参照は、実施の形態と共に記載される特定の特徴、構造、特徴等が本発明の原理の少なくとも1つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な場所に現れる「1実施の形態では」又は「実施の形態では」の出現は、必ずしも、同じ実施の形態を全て参照するものではない。
明細書で使用されるように、「ハイレベルシンタックス」は、マクロブロックレイヤの上の階層にあるビットストリームに存在するシンタックスを示す。たとえば、本明細書で使用されるように、ハイレベルシンタックスは、限定されるものではないが、スライスヘッダレベルでのシンタックス、シーケンスパラメータセット(SPS)レベルでのシンタックス、ピクチャパラメータセット(PPS)レベルでのシンタックス、ビューパラメータセット(VPS)レベルでのシンタックス、ネットワーク抽象レイヤ(NAL)のユニットヘッダレベルでのシンタックス、補足的な付加情報(SEI: Supplemental Enhancement Information)メッセージにおけるシンタックスを示す場合がある。
たとえば「A及び/又はB」及び「AとBの少なくとも1つ」の場合における用語「及び/又は」及び「〜の少なくとも1つ」の使用は、最初に列挙されたオプション(A)のみの選択、次に列挙されたオプション(B)のみの選択、又は両方のオプション(A及びB)の選択、を包含することが意図される。更なる例として、「A,B及び/又はC」及び「A,B及びCの少なくとも1つ」の場合、係るフレーズは、第一の列挙されたオプション(A)のみの選択、第二の列挙されたオプション(B)のみの選択、第三の列挙されたオプション(C)のみの選択、第一及び第二の列挙されたオプション(A及びB)のみの選択、第一及び第三の列挙されたオプション(A及びC)のみの選択、第二及び第三の列挙されたオプション(B及びC)のみの選択、又は、全ての3つのオプション(A及びB及びC)の選択を包含することが意図される。これは、当業者により容易に明らかであるように、列挙された多数のアイテムについて拡張される場合がある。
本発明の原理の1以上の実施の形態がMPEG−4 AVC規格に関して本明細書で記載される一方で、本発明の原理は、この規格のみに限定されるものではなく、本発明の原理の精神を維持しつつ、MPEG−4 AVC規格の拡張を含めて、他の映像符号化規格、勧告、その拡張に関して利用される場合がある。
さらに、明細書のテキストにおいて、用語「ピクチャ」、「イメージ」及び「フレーム」が使用される。この明細書及び特許請求の範囲における係る用語の使用において、用語は互いに同義語であり、動画ピクチャの系列に関連される画像データを表すことが理解される。異なるビデオ符号化規格は、異なる意味をピクチャ、画像及びフレームに割り当てることができるが、この明細書について、係る定義はこれらの用語を限定するものではないことを理解されたい。
本発明の原理の1以上の実施の形態によれば、少なくとも以下の方法及び装置を提案する。(1)ブロックアーチファクトの自動検出、(2)ブロック当たりのアーチファクトの強さの割り当て、及び(3)ピクチャ当たりのアーチファクトのメトリックの判定。これらの方法は、完全なブロックノイズの検出システムの一部として又は他のシステムにおけるコンポーネントとして互いに使用されることを理解されたい。
図1を参照して、ブロックノイズを検出する例示的なシステムは、参照符号100により一般に示される。
システム100は、ブロックアーチファクト検出手段110、特徴に基づくアーチファクト分類手段120、オリジナルピクチャに基づくアーチファクトリファイン手段130、及びアーチファクトの強さの判定手段及びメトリックの割り当て手段140を含む。
ブロックアーチファクト検出手段110は、変換領域アーチファクト検出手段112、画素領域アーチファクト検出手段114及びマージ手段116を含む。
特徴に基づくアーチファクト分類手段120は、特徴検出手段122及び特徴に基づくアーチファクト分類手段124を含む。
オリジナルピクチャに基づいたアーチファクトリファイン手段130は、アーチファクトマップリファイン手段132を含む。
アーチファクトの強さの判定及びメトリックの割り当て手段140は、アーチファクトの強さの判定手段及びメトリックの割り当て手段142を含む。
変換領域のアーチファクト検出手段112の出力は、マージ手段116の第一の入力と信号通信で接続される。画素領域のアーチファクト検出手段114の出力は、マージ手段116の第二の入力と信号通信で接続される。マージ手段116の出力は、特徴に基づくアーチファクト分類手段124の第二の入力と信号通信で接続される。
特徴に基づくアーチファクト分類手段124の出力は、アーチファクトマップのリファイン手段132の第二の入力と信号通信で接続される。特徴検出手段122の第一の出力は、特徴に基づくアーチファクト分類手段124の第一の入力と信号通信で接続される。特徴検出手段122の第二の出力は、アーチファクトの強さの判定手段及びメトリックの割り当て手段142の第一の入力と信号通信で接続される。
アーチファクトマップリファイン手段132の出力は、アーチファクトの強さの判定手段及びメトリックの割り当て手段142の第二の入力と信号通信で接続される。
変換領域のアーチファクト検出手段112、画素領域のアーチファクト検出手段114、特徴検出手段122、及びアーチファクトマップのリファイン手段のそれぞれの第一の入力は、オリジナルピクチャを受信するため、システム100の入力として利用可能である。
変換領域のアーチファクト検出手段112、画素領域のアーチファクト検出手段114及び特徴検出手段122のそれぞれの第二の入力は、再構成されたピクチャを受信するため、システム100の入力として利用可能である。
画素領域のアーチファクト検出手段114、マージ手段116、特徴に基づくアーチファクト分類手段124、アーチファクトマップのリファイン手段132、及びアーチファクトの強さの判定手段及びメトリックの割り当て手段142のそれぞれの第三の入力は、コンフィギュレーションデータを受信するため、システム100の入力として利用可能である。
アーチファクトの強さの判定手段及びメトリックの割り当て手段142の出力は、出力データを出力するため、システム100の出力として利用可能である。
図1に示される幾つかのエレメントは2以上の機能に関して図示及び記載される一方で、係るエレメントは、単一のエレメントの代わり1以上のエレメントによりそれぞれ実現され、対応する機能は、単一のエレメントの代わりに1以上にエレメントによりそれぞれ実行されることを理解されたい。本実施の形態で提供された本発明の原理の教示が与えられると、本発明の原理のこれらの変形及び実現は、本発明の原理の精神を維持しつつ、当業者により容易に考案される。
図2を参照して、ブロックアーチファクトを検出する例示的な方法は、参照符号200により一般に示される。
本方法200は、開始ブロック205を含み、この開始ブロックは、機能ブロック210に制御を移す。機能ブロック210は、アーチファクト検出のコンフィギュレーションのセットアップを実行し、機能ブロック215に制御を移す。機能ブロック215は、現在のピクチャの処理を開始し、判定ブロック220に制御を移す。判定ブロック220は、変換アルゴリズム及び画素領域アルゴリズムが同時にイネーブルにされたか否かを判定する。変換アルゴリズム及び画素領域アルゴリズムが同時にイネーブルにされた場合、機能ブロック225及び機能ブロック230の両者に制御を移す。
機能ブロック225は、画素領域のアーチファクトの検出を実行し、判定ブロック250に制御を移す。
機能ブロック230は、変換領域のブロックアーチファクトの検出を実行し、判定ブロック250に制御を移す。
判定ブロック250は、マージタイプが“AND”に等しいか否かを判定する。マージタイプが“AND”に等しい場合、機能ブロック260に制御を移す。さもなければ、機能ブロック255に制御を移す。機能ブロック260は、“AND”演算を使用してマージし、機能ブロック265に制御を移す。
機能ブロック255は、“OR”演算を使用してマージし、機能ブロック265に制御を移す。
機能ブロック265は、アーチファクトマップを生成し、機能ブロック270に制御を移す。機能ブロック270は、オリジナルピクチャ又は再構成されたピクチャに特徴検出を実行し、機能ブロック275に制御を移す。機能ブロック275は、特徴に基づくアーチファクトの補正をアーチファクトマップに実行し、機能ブロック280に制御を移す。
機能ブロック280は、特徴が改善されたアーチファクトマップを生成し、機能ブロック285に制御を移す。機能ブロック285は、オリジナルピクチャに基づいてアーチファクトマップのリファインメントを実行し、機能ブロック290に制御を移す。
機能ブロック290は、アーチファクトの強さを計算し、機能ブロック294及び機能ブロック292に制御を移す。
機能ブロック294は、アーチファクトマップを出力する。
機能ブロック292は、全体のブロックノイズのメトリックを計算し、機能ブロック296及び終了ブロック299に制御を移す。
機能ブロック296は、ログファイルを出力する。
判定ブロック235は、変換領域のアルゴリズムがイネーブルにされたか否かを判定する。変換領域のアルゴリズムがイネーブルにされた場合、機能ブロック240に制御を移す。さもなければ、機能ブロック245に制御を移す。
機能ブロック240は、変換領域のブロックアーチファクトの検出を実行し、機能ブロック265に制御を移す。
機能ブロック245は、画素領域のアーチファクトの検出を実行し、機能ブロック265に制御を移す。
方法200では、ブロック220,225,230,235,240,245,250,255,260及び265は、図1のブロックアーチファクト検出手段110に対応する。ブロック270,275及び280は、図1の特徴に基づくアーチファクトの分類手段120に対応する。ブロック285は、図1のオリジナルピクチャに基づくアーチファクトのリファイン手段130に対応する。ブロック290,292,294及び296は、図1のアーチファクトの強さの判定手段及びメトリックの割り当て手段に対応する。
本発明の原理の実施の形態によれば、オリジナルピクチャ及び再構成されたピクチャは、入力として使用される。入力ピクチャの輝度値及び/又は色度値は、アーチファクトの検出のために使用することができる。オリジナルピクチャは、画像における実際のエッジの可能な検出のような、誤ったアーチファクトの検出を除去するために使用される。また、オリジナルピクチャは、アーチファクトの可視性を判定する幾つかの情報を抽出するために使用される。オリジナルピクチャが利用可能ではないシナリオでは、再構成されたピクチャは、情報を抽出するために使用することもできる。原画像及び再構成された画像に加えて、コンフィギュレーションデータを入力として使用することもできる。コンフィギュレーションデータは、オリジナル及び再構成されたビデオソースの両者について画素及び変換領域のアーチファクトの検出のための閾値のようなパラメータ、及びアーチファクトの検出を改善するために使用することができり特徴のタイプを規定する他のパラメータを含む。
本発明の原理の実施の形態によれば、以下の2つのタイプの出力が使用される。(1)全体のピクチャのブロックアーチファクトメトリック、及び(2)たとえばブロックの位置及びブロックアーチファクトの強さのような情報を含むアーチファクトロケーションマップ。
[ブロックノイズの検出方法及び装置]
実施の形態によれば、予備的なブロックアーチファクトの検出のために2つの例示的なアルゴリズムが提案され、1つは変換領域におけるものであり、1つは画素領域におけるものである。2つのアルゴリズムは、異なるコンテンツタイプについて個々に使用されるか、又はそれぞれのアルゴリズムの出力が結合されたブロックノイズのマップを形成するためにマージされる場合に同時に使用される。アルゴリズムのタイプは、入力のコンフィギュレーションデータにより特定される。2つのアルゴリズムが同時に使用されるように規定される場合、限定されるものではないが“AND”又は“OR”演算を含むマージプロセスは、アーチファクトマップを発見するために使用される。
[変換領域におけるブロックアーチファクトの検出]
提案される変換領域のアルゴリズムは、たとえば最初の3つのAC係数に関して新たな閾値アプローチを使用して輝度又は色度ブロックの何れかの変換係数を分析することで、ブロックアーチファクトを発見する。ブロックは、処理されている現在のブロックの4つの隣接するブロックのうちの1つとすることができる。このブロックは、2つの隣接するブロックの境界を考慮して形成され、「オーバラップしたブロック」と呼ぶ。図3A〜図3Dを参照して、オーバラップしたブロックのそれぞれの例は、参照符号310,320,330及び340により一般に示される。特に、図3Aは、あるブロック及びその4つの隣接するブロックを示す。図3Bは、北側及び南側のオーバラップしたブロックを示す。たとえば、北側のオーバラップしたブロックは、現在のブロックの北側の半分と、現在のブロックの北側の隣接するブロックの南側の半分とを結合することで形成される。図3Cは、西側及び東側のオーバラップしたブロックの例を示す。図4は、西側、東側、北側及び南側のオーバラップしたブロックの例を示す。
オーバラップしたブロックを形成した後、それぞれのオーバラップしたブロックの変換が計算される。あるブロックアーチファクトが現在のブロックの特定のサイドに存在する場合、その特定のサイドに属するオーバラップしたブロックの所定の変換係数は、大きくなる。特定の実施の形態では、ブロックアーチファクトを決定するためにジグザグスキャンの順序における変換アレイの最初の2つのAC変換係数を使用することを提案する。変換は、離散コサイン変換(DCT)又はアダマール変換である。本発明の原理は、特定のタイプのDCTに限定されるものではなく、したがって整数DCT又は浮動小数点DCTのような異なるバージョンのDCTを使用することができる。以下の例は、8×8画像ブロックのDCT変換を使用したときの変換係数の計算を示す。8×8について例が与えられたが、本発明の原理は8×8画像ブロックのDCT変換のみに限定されず、限定されるものではないが、本発明の原理に従って、4×4又は16×16を含む異なるブロックサイズを使用することができる。
8×8画像ブロックの2次元DCT変換は、以下のように定義される。
Figure 2010515362
上記式では、変換係数はFUVにより表される。たとえば、F00は、画像ブロックの平均の輝度値を表す。F10及びF01は、画像ブロックの水平方向と垂直方向のそれぞれにおける強度差に関する情報を表す。したがって、ある画像が北側又は南側方向において(たとえば強い強度の差といった)ブロックアーチファクトを有する場合、F01が大きな値を有する。同様に、西側又は東側の方向でブロックアーチファクトが生じる場合、F10は大きな値を有する。
ブロックの境界に加えて、ブロックアーチファクトは、ブロック自身で生じる。ブロック内でブロックアーチファクトを発見するため、ジグザグスキャンの順序における第三のAC変換係数(F11)は、ブロックアーチファクトを決定するために使用される。
変換係数F01,F10及びF11は、閾値と比較され、ブロックは、係数が閾値よりも大きい場合にアーチファクトを有するとして宣言される。閾値は、アプリケーションに依存して調節することができる。また、閾値は、2〜3の例を挙げると、ブロックの北側の境界でのみ生じるアーチファクト、ブロックの東側の境界とブロック内で同時に生じるアーチファクトを検出するような、アーチファクトの方向に基づいて調節することもできる。
図4を参照して、変換領域におけるブロックアーチファクトの検出方法は、参照符号400により示される。
本方法400は、開始ブロック405を含み、機能ブロック410に制御を移す。機能ブロック410は、あるフレームを読取り、機能ブロック415に制御を移す。機能ブロック415は、ブロックにわたりループし、機能ブロック420に制御を移す。機能ブロック420は、サイドにわたりループし、機能ブロック425に制御を移す。機能ブロック425は、オーバラップしたブロックの変換を計算し、機能ブロック430に制御を移す。機能ブロック430は、それぞれのオーバラップしたブロックについて閾値の変換係数を決定し、判定ブロック435に制御を移す。判定ブロック435は、現在のサイドがブロックであるか否かを判定する。現在のサイドがブロックである場合、機能ブロック440に制御が移る。さもなければ、機能ブロック470に制御を移す。
機能ブロック440は、現在のサイドを濃淡のむらがあるとしてマークし、判定ブロック445に制御を移す。判定ブロック445は、現在のブロックのサイドの端に到達したか(すなわち全ての又は予め指定されたセットのサイドが処理されたか)否かを判定する。現在のブロックのサイドの端に到達した場合、機能ブロック450に制御を移す。さもなければ、機能ブロック420に制御を移す。
機能ブロック450は、ブロックレベルのブロッキングマップを形成し、判定ブロック455に制御を移す。判定ブロック455は、ブロックの端に到達したか(すなわち全ての又は予め指定されたセットのブロックが処理されたか)否かを判定する。ブロックの端に到達した場合、機能ブロック460に制御を移す。さもなければ、機能ブロック415に制御を移す。
機能ブロック460は、フレームレベルのブロックノイズマップを形成し、機能ブロック410に制御を移し、また、機能ブロック465に制御を移す。機能ブロック465は、(機能ブロック460により形成された)ブロックマップを出力し、終了ブロック499に制御を移す。
実施の形態では、変換領域のアーチファクト検出アルゴリズムから得られたアーチファクトマップは、知覚的な特徴を使用して更に改善される。
[画素領域におけるブロックアーチファクトの検出]
実施の形態では、提案される画素領域アルゴリズムは、輝度成分又は色度成分の何れかでブロックの境界での画素値を分析することで、ブロックアーチファクトを発見する。ブロックの境界での2つのサイドでの画素値の差と、ブロックの境界での差はフィルタリングされ、境界に沿って画素のフィルタリングされた値は、たとえば調節された総和の方法を使用して合計される。
図5を参照して、垂直方向におけるブロック境界の例は、参照符号500により示される。特に、図5は、4×4画像ブロック及び西側のブロックの境界の行(ROW)2からの2画素を示す。この例では、p,p,q及びqは、境界の2つのサイドでの画素である。画像ブロックにおいて4つの行が存在するので、それぞれの行について4つの画素の(p,p,q及びqの)セットが存在する。異なるブロックサイズについて、行の数は異なる。
西側の境界のそれぞれの行についてフィルタリングされた画素の差の平方はΔwで示され、Δwは、以下を使用して発見される。
Figure 2010515362
式(3)は、以下のように書くことができる。
Figure 2010515362
この場合、[f]は、フィルタ係数である。たとえば第二の従来技術の方法で提案された[1/4 −3/4 3/4 −1/4]は、フィルタとして使用される。勿論、本発明の原理は、先のフィルタのみに限定されるものではなく、ΔEiを発見するために他のフィルタも使用することができる。式(3),(4)及び(5)は、東側に加えて西側、北側及び南側のような他の方向におけるブロックノイズを発見するために容易に拡張することができる。
ブロックの1つのサイドでブロックノイズの測定を発見するため、調節された合計を使用して、フィルタリングされた画素値が合計される。提案される調節された合計は、ノイズ画素又はフィルムグレインによる誤った検出を軽減する。実施の形態では、調節された合計は、以下のように新たに定義される。
Figure 2010515362
この場合、j及びkは、最小の画素の差及び最大の画素の差の行数であり、すなわち以下のように表される。
Figure 2010515362
実施の形態では、調節された合計は、最大のフィルタリングされた画素の差のみを無視することができる。別の実施の形態では、調節された合計は、2つの最大のフィルタリングされた差を無視することができる。勿論、本発明の原理の精神を維持しつつ、調節された合計の異なる組み合わせも可能である。
それぞれのサイド(すなわち北側、南側、東側及び西側の境界)について同じ計算が実行され、得られた合計は閾値であり、合計が閾値よりも大きい場合にアーチファクトが検出される。
別の実施の形態では、限定されるものではないが、メディアンフィルタリングのようなノイズフィルタリングは、ノイズの除去のために使用され、画素に基づいたアーチファクトの検出アルゴリズムは、ノイズがフィルタリングされたピクチャに適用される。
[異なるアルゴリズムにより得られたブロックノイズマップのマージ]
変換領域及び画素領域のアルゴリズムは、異なる利点を有する。これらのアルゴリズムは、独立して使用されるか、又は結合されて同時に使用される。異なるマージ技術は、2つのアルゴリズムにより得られるブロックアーチファクトマップを結合するために使用される。1実施の形態では、2つのバイナリアーチファクトマップは、小さな閾値を使用して生成され、“AND”演算によりマージすることができる。別の実施の形態では、2つのバイナリアーチファクトマップは、大きな閾値を使用することで生成され、“OR”演算によりマージすることができる。勿論、本発明の原理は、先の閾値及びマージの組合せのみに限定されず、本発明の原理の精神を維持しつつ、異なる閾値及びマージの組み合わせを使用することができる。特定のマージ演算に従ってアーチファクトの検出の閾値を変えることで、更に信頼性の高いブロックノイズのアーチファクトマップを得る助けとなる。
[特徴に基づくブロックノイズのアーチファクトの分類手段]
上述された方法により得られる結果は、特徴に基づくブロックノイズのアーチファクトの分類手段を使用することで更に改善される。実施の形態では、この改善された方法は、限定されるものではないが、以下を含む画像における様々な知覚的な特徴の組み合わせに依存する。輝度又は色度のような色の特性、平坦性のようなテクスチャ特性、並びに、ブロックの位置及び近隣の情報。
これらの特徴は、人間の視覚的な知覚に従って予め検出されたブロックアーチファクトの重要性をランク付けするために使用される。特徴に基づいたブロックノイズのアーチファクトの分類手段は、前に検出されたアーチファクトを除去する(低い視覚的な印象)か、又は、ブロックノイズのアーチファクトマップにおけるそれらの相対的な重要性を高める(高い視覚的な印象)。実施の形態では、ブロックノイズのアーチファクトマップは、あるピクチャのそれぞれのブロックにアーチファクトが存在するか否かを示すバイナリマップ画像を含む。実施の形態では、ブロックノイズマップは、あるピクチャにおけるそれぞれのブロックのアーチファクトの強さを示す多値マップを含む。
特徴の検出は、オリジナルピクチャの輝度成分及び/又は色度成分に実行される。オリジナルピクチャが利用可能ではないシナリオでは、特徴の検出は、再構成されたピクチャに実行される。以下のセクションでは、本発明の原理に従って3つの特徴がどのように使用されるかが記載される。これらの特徴は、色、テクスチャ及び位置である。勿論、本発明の原理は、これらの特徴を使用することのみに限定されず、本発明の原理の精神を維持しつつ、他の特徴を使用することもできる。
色の特徴に関して、以下の例示的な色の特徴が記載される。明及び暗輝度マスキング(bright and dark luma masking)、中間輝度階調判定(intermediate luma tone determination)、及び皮膚色検出(skin color detection)。
明及び暗輝度マスキングに関して、人間の視覚モデルによれば、暗い領域におけるブロックアーチファクトは、中間調をもつ領域におけるアーチファクトとして知覚されない。この理由のため、画像のセグメント化が実行され、これらの領域が判定され、これにより、これらの領域で検出されるアーチファクトは、輝度の特徴を使用することで自動的に除去される。2つの領域は、以下のように輝度閾値と色度閾値を使用することで規定される。
Figure 2010515362
この場合、
[外1]
Figure 2010515362
は、ブロック当たりの平均の輝度値と色度値である。典型的に、(YUV色空間に関して)輝度はYで表される。輝度値と色度値は、画素レベルにおいて閾値が設けられる。閾値(THL,THU,THV,THL,THU,THV)は、トレイニングビデオデータを使用することで導出される。色度値を含む理由は、ビデオコンテンツのなかには低い輝度値を有するものがあるためである。しかし、ビデオコンテンツが高い色度成分を有する場合、アーチファクトはなお目に見える。
中間輝度階調判定に関して、中間のグレイレベルトーンにおけるブロックアーチファクトは、異なる可視性を有する。この理由のため、画像のセグメント化が実行されて、異なる輝度のトーンが判定され、これにより、異なる輝度領域で検出されたアーチファクトは、これに応じて改善又は除去される。中間の輝度の階調は、異なるレベルで分類することができる。実施の形態では、3つの中間レベルの階調が検出される。2つの領域は、輝度及び色度の閾値を使用することで規定される。輝度レベル(luma_level)は、以下のように決定される。
Figure 2010515362
この場合、
[外2]
Figure 2010515362
は、ブロック当たりの平均の輝度値及び色度値を表す。閾値(THLm1,THLm2,THLm3,THLm4,THLm5,THLm6)は、トレイニングビデオデータを使用して導出される。
皮膚色検出に関して、顔のような幾つかの領域は、人間の目にとってより重要である。したがって、これらの領域のアーチファクトは、より目に見えるようになる。アーチファクトの検出におけるこれらの領域の重要性に対処するため、皮膚の階調を検出するための閾値に基づいたアプローチを使用する。この方法は、1つの実施の形態であるが、本発明の原理は、この皮膚の検出方法のみに限定されるものではない。したがって、本発明の原理の精神を維持しつつ、他の皮膚の検出方法が使用される。たとえば、以下の計算を使用して、皮膚の色及び皮膚ではない色としてブロックが分類される。
Figure 2010515362
閾値(LowLimU,UpLimU,LowLimV,UpLimV)は、トレイニングビデオデータを使用して導出される。
テクスチャの特徴に関して、ある画像ブロックのテクスチャの特性は、本発明の原理に従ってブロックアーチファクトの検出を改善するために使用される別の特徴である。ブロックノイズがテクスチャをもつ領域で生じた場合、人間の視覚システムは、ブロックノイズが平滑な領域で生じた場合よりもブロックノイズを知覚する可能性が低い。テクスチャ対平滑な領域の分類は、異なる方法により実行される。実施の形態では、変換アレイの下の対角線における変換係数の数及び大きさが分析される。数及び大きさが所定の値を超える場合、そのブロックは、テクスチャブロックであるとして宣言される。同様に、非ゼロの係数の大きさ及び数が所定の値にある場合、ブロックはフラットなエリアであるとして宣言される。別の実施の形態では、ブロックの分散を使用することでテクスチャの分類が行われる。
位置及び近傍の特徴に関して、隣接したマクロブロックにおけるブロックノイズが水平、垂直及び/又は対角線の方向の同じサイドで並ぶ場合、ブロックのアーチファクトは、更に目に見えることが観察される。同様に、アーチファクトは、それらが分離されたブロックにある場合に目立たない。実施の形態では、提案されるリファインメントスキームは、分離されたアーチファクトを除去し、互いに連結されたアーチファクトを保持する。図6A〜図6Lを参照して、画像ブロックの例示的な方向の処理例は、参照符号605,610,615,620,625,630,635,640,645,650,655及び660によりそれぞれ示される。特に、図6A及び図6B、並びにこの図でそれぞれ示されるエレメント605及び610は、水平方向の処理に関連し、図6C及び図6D、並びにこの図で示されるエレメント615及び620は、垂直方向の処理に関連し、図6E,図6F,図6G及び図6H、並びにこの図で示されるエレメント625,630,635及び640は、対角線方向の処理に関し、図6I,図6J,図6K及び図6L、並びにこの図で示されるエレメント645,650,655及び660は、対角線方向の処理に関する。水平方向の処理は、北側及び南側の方向にあるアーチファクトについての強調を与え、垂直方向の処理は、東側及び西側の方向への強調を与える。対角線方向の処理は、水平方向及び垂直方向と同じように簡単ではなく、これは、異なる組み合わせが図6C及び図Dに示されるように対角線方向に存在するためである。図6A〜図6Dに示される例では、図示される対応する処理は、2又は3のブロックを含む。しかし、対角線方向の処理は、本発明の精神を維持しつつ、限定されるものではないが、4つの連続するブロックの水平方向の処理を含む他のブロック数にも適用することができることが理解される。
図7を参照して、特徴に基づいたアーチファクトのリファインメントの例示的な方法は、参照符号700により示される。図7の方法700に関するフレーズ「現在のブロック」の使用は、オリジナルのブロックに比較して、再構成されたブロックを示すことを理解されたい。さらに、以下に本実施の形態で説明された判定ブロック728は、オリジナルのブロックを示すことを理解されたい。しかしながら、図7の方法700及び、特に図7に関して記載されるブロックは、オリジナルのブロック及び/又は再構成されたブロックの何れかに適用することができる。すなわち、方法700における幾つかのブロックが現在のブロックを示す一方で、他のブロックはオリジナルのブロックを示し、これは、本発明の原理の精神を維持しつつ、現在のブロックが再構成されたブロックであり、係るブロックは、オリジナルのブロック及び/又は再構成されたブロックの何れかを使用することができることを意味する。さらに、図7の方法700に関して参照される以下の判定ブロックの1以上は、対応する判定をなすことにおいて1以上の閾値を任意に使用することができることが理解される。
方法700は、開始ブロック705を含み、この開始ブロックは、機能ブロック710に制御を移す。機能ブロック710は、中間のブロックのマップを生成及び/又は入力し、機能ブロック712に制御を移す。機能ブロック712は、現在のブロックの処理を開始し、判定ブロック714に制御を移す。図7に関して使用されるように、「現在のブロック」は、圧縮された/処理されたブロックを示し、「オリジナルのブロック」は、圧縮されていない/処理されていないブロックを示す。判定ブロック714は、中間のブロックマップにおける現在のブロックが暗い又は明るい輝度を有するか否かを判定する。中間のブロックマップにおける現在のブロックが暗い又は明るい輝度を有する場合、機能ブロック732に制御を移す。さもなければ、判定ブロック716に制御を移す。
機能ブロック732は、アーチファクトの検出閾値を増加する。
判定ブロック716は、現在のブロックが皮膚の色を含むか否かを判定する。現在のブロックが皮膚の色を含む場合、機能ブロック734に制御を移す。さもなければ、判定ブロック718に制御を移す。
機能ブロック734は、アーチファクト検出の閾値を減少する。
判定ブロック718は、現在のブロックが赤の色を含むか否かを判定する。現在のブロックが赤の色を含む場合、機能ブロック736に制御を移す。さもなければ、判定ブロック720に制御を移す。
機能ブロック736は、アーチファクトの検出の閾値を減少する。
判定ブロック720は、現在のブロックがテクスチャを含むか否かを判定する。現在のブロックがテクスチャを含む場合、機能ブロック738に制御を移す。さもなければ、判定ブロック722に制御を移す。
機能ブロック738は、アーチファクト検出の閾値を増加する。
判定ブロック722は、現在のブロックが中間の輝度値を含むか否かを判定する。現在のブロックが中間の輝度値を含む場合、機能ブロック740に制御を移す。さもなければ、判定ブロック724に制御を移す。
判定ブロック740は、アーチファクトの検出の閾値を減少する。
判定ブロック724は、現在のブロックが分離されたアーチファクトブロックであるか否かを判定する。現在のブロックが分離されたアーチファクトブロックである場合、機能ブロック742に制御を移す。さもなければ、機能ブロック744に制御を移す。機能ブロック742は、アーチファクトの検出の閾値を増加し、検出を除く。
機能ブロック744は、検出されたブロック保持し(すなわち除去しない)、機能ブロック730に制御を移す。
判定ブロック730は、(機能ブロック710により生成された)ブロックマップをリファインし、終了ブロック799に制御を移す。
方法700における列挙された特徴のそれぞれの使用は任意であり、したがって、本発明の原理が維持されつつ、たとえば1以上の更なる特徴が付加されるか、及び/又は1以上の特定の特徴が除去される。
[オリジナルのピクチャの使用により誤ったアーチファクトの検出の削除]
上述された方法の何れかによる形成されたブロックノイズのアーチファクトは、オリジナルピクチャが利用可能であるとき、オリジナルピクチャからの情報を使用することで更に改善される。特定の実施の形態では、誤って検出された圧縮のアーチファクトは、オリジナルピクチャのアーチファクトマップを計算することで、アーチファクトマップから削除される。この場合、以下の閾値に基づいた方法を使用することで、オリジナルピクチャを使用して、誤ったアーチファクトの検出を除去することを提案する。画素領域のアーチファクトの検出では、再構成された画像におけるブロックの境界において調節及びフィルタリングされた画素の差が、オリジナルの画像のブロックの境界における調節されたフィルタリングされた画素の差の幾つかのファクタよりも小さい場合、そのブロックは、アーチファクトではないとして宣言される。同様に、再構成されたピクチャにおけるブロックの特定の変換係数が、オリジナルピクチャにおいて共に位置されるブロック(co−located block)の変換係数の幾つかのファクタよりも小さい場合、ブロックは、アーチファクトではないとして宣言される。エッジは、現実のアーチファクトであることなしに、アーチファクトに含まれることが理解されるべきである。
[ブロックノイズの強さの判定方法及び装置]
ブロックノイズの強さの判定は、アプリケーションがブロックアーチファクトの補正を実行することを目的とするときに特に有効である。この特定のシナリオでは、アーチファクトの強さは、補正アルゴリズムを誘導して補正パラメータを調節するために使用される。実施の形態では、アーチファクトの強さは、知覚の特徴を使用して決定される。知覚の特徴の例は、前のセクションで提供される(色、テクスチャ、位置等。本発明の原理は記載された知覚の特徴のみに限定されるものではないことを留意されたい)。図8を参照して、ブロックアーチファクトの強さの判定の例示的な方法は、参照符号800により一般に示される。図8の方法800に関するフレーズ「現在のブロック」の使用は、再構成されたブロック及び/又はオリジナルのブロックの何れかを示すことを理解されたい。すなわち、方法800におけるブロックは、本発明の原理の精神を維持しつつ、オリジナルのブロック及び/又は再構成されたブロックの何れかを使用することができる。さらに、図8の方法800に関して参照される以下の判定ブロックの1以上は、対応する判定をなすことにおいて1以上の閾値を任意に使用することができることを理解されたい。
方法800は、開始ブロック805を含み、この開始ブロックは、機能ブロック810に制御を移す。機能ブロック810は、現在のブロックを処理し、機能ブロック812に制御を移す。機能ブロック812は、ブロックノイズの強さをゼロに設定し、判定ブロック814に制御を移す。判定ブロック814は、現在のブロックがアーチファクトを有するか否かを判定する。現在のブロックがアーチファクトを有する場合、判定ブロック816に制御を移す。さもなければ、終了ブロック899に制御を移す。
判定ブロック816は、現在のブロックが北側のサイドにアーチファクトを有するか否かを判定する。現在のブロックが北側のサイドにアーチファクトを有する場合、機能ブロック836に制御を移す。さもなければ、判定ブロック818に制御を移す。
機能ブロック836は、ブロックノイズの強さを1だけ(又は任意の他の値)増加する。
判定ブロック818は、現在のブロックが南側のアーチファクトを有するか否かを判定する。現在のブロックが南側のアーチファクトを有する場合、機能ブロック838に制御を移す。さもなければ、判定ブロック820に制御を移す。
機能ブロック838は、ブロックノイズの強さを1だけ(又は任意の他の値)増加する。
判定ブロック820は、現在のブロックが東側にアーチファクトを有するか否かを判定する。現在のブロックが東側にアーチファクトを有する場合、機能ブロック840に制御を移す。さもなければ、判定ブロック822に制御を移す。
機能ブロック840は、ブロックノイズの強さを1だけ(又は任意の他の値)増加する。
判定ブロック822は、現在のブロックが西側にアーチファクトを有するか否かを判定する。現在のブロックが西側にアーチファクトを有する場合、機能ブロック842に制御を移す。さもなければ、判定ブロック824に制御を移す。
機能ブロック842は、ブロックノイズの強さを1だけ(又は任意の他の値)増加する。
判定ブロック824は、現在のブロックがその内部にアーチファクトを有するか否かを判定する。現在のブロックがその内部にアーチファクトを有する場合、機能ブロックブロック844に制御を移す。さもなければ、判定ブロック826に制御を移す。
機能ブロック844は、ブロックノイズの強さを1だけ(又は任意の他の値)増加する。
判定ブロック826は、現在のブロックに関する近隣のブロックがアーチファクトを有するか否かを判定する。現在のブロックに関する近隣のブロックがアーチファクトを有する場合、機能ブロック846に制御を移す。さもなければ、判定ブロック828に制御を移す。
機能ブロック846は、ブロックノイズの強さを1だけ(又は任意の他の値)増加する。
判定ブロック828は、現在のブロックが皮膚の色を含むか否かを判定する。現在のブロックが皮膚の色を含む場合、機能ブロック848に制御を移す。さもなければ、判定ブロック830に制御を移す。
機能ブロック848は、ブロックノイズの強さを1だけ(又は任意の他の値)増加する。
判定ブロック830は、現在のブロックが赤の色を含むか否かを判定する。現在のブロックが赤の色を含む場合、機能ブロック850に制御を移す。さもなければ、判定ブロック832に制御を移す。
機能ブロック850は、ブロックノイズの強さを1だけ(又は任意の他の値)増加する。
判定ブロック832は、現在のブロックが暗い又は明るい輝度を有するか否かを判定する。現在のブロックが暗い又は明るい輝度を有する場合、機能ブロック852に制御を移す。さもなければ、判定ブロック834に制御を移す。
機能ブロック852は、ブロックノイズの強さを4だけ(又は任意の他の値)減少する。
判定ブロック834は、現在のブロックがテクスチャを含むか否かを判定する。現在のブロックがテクスチャを含む場合、機能ブロック854に制御を移す。さもなければ、終了ブロック899に制御を移す。
[ピクチャレベルのアーチファクトの検出方法]
ピクチャレベルのアーチファクトの検出の2つの例示的な方法は、本実施の形態で提案される。
[方法1]
ピクチャレベルの検出の第一の方法の実施の形態によれば、調節された画素の差の総和に関する重み付け総和により、全体のブロックノイズのメトリクスが定義される。重みは、本方法で使用される特徴により決定される。実施の形態では、ピクチャレベルのアーチファクトの検出は、以下のように定義される。
Figure 2010515362
この場合、Δは式(5)で与えられるフィルタリングされた画素の差の調節された総和であり、jは北側、東側、西側及び南側のようなブロックのサイドを決定するインデックスであり、Nはピクチャにおける全体のブロック数である。αは検出された特徴により決定される重み付け要素である。αは特徴パラメータの関数として表現される。たとえば、4つの特徴が使用される場合、αは以下のように表現される。
Figure 2010515362
この場合、κ,κ,κ,κは、特徴パラメータである。別の実施の形態では、異なる特徴の数を使用することもできる。1つの実施の形態では、サイドのブロックの重みを決定する関数fは、以下のように定義される。
Figure 2010515362
特徴パラメータκ,κ,κ,κは、特徴の強さに従って調節される。βはk番目のブロックでアーチファクトが検出されたか否かを判定するパラメータである。βは、以下のように定義される。
Figure 2010515362
勿論、本発明の原理は、先述のβの重み付けに限定されるものではなく、本発明の原理の精神を維持しつつ、他のβの重み付けを使用することもできる。
[方法2]
ピクチャレベルのアーチファクトの検出の第二の方法によれば、全体のブロックノイズのメトリックは、アーチファクトを有するために決定される全体のブロック数として定義される。ピクチャレベルのアーチファクトの検出は、以下のように定義される。
Figure 2010515362
γは、ブロックkの強さとして定義される。γは、可能な強さの値の範囲における値とる。たとえば、1実施の形態では、4つの強さのレベルが使用され、γは0〜4までの値であり、nは以下のように定義される。
Figure 2010515362
図9を参照して、ピクチャレベルのアーチファクトの検出の例示的な方法は、参照符号900により示される。
本方法900は、初期出力、すなわちブロックアーチファクトを含むブロックのアイデンティフィケーションを供給し、この初期出力は、限定されるものではないが、アーチファクトマップ、マップのリファインメント、1以上に特徴に基づいた検出及び/又は前の検出の再評価、アーチファクトの強度の計算、及びブロックを含むピクチャの全体のブロックノイズのメトリックの計算、を含む本発明の原理の他の実施の形態に関して使用される。
本方法900は、開始ブロック905を含み、この開始ブロックは、機能ブロック910に制御を移す。機能ブロック910は、現在のブロックに関して、複数のオーバラップするブロックのそれぞれが、現在のブロックのある部分と隣接するブロックのある部分とをカバーする、あるピクチャにおける複数のオーバラップするブロックを識別し、機能ブロック915に制御を移す。機能ブロック915は、複数のオーバラップするブロックを輝度成分と色度成分の少なくとも1つに対応するそれぞれの係数に変換し、機能ブロック920に制御を移す。機能ブロック920は、複数のオーバラップするブロックのうちの特定の1つに対応する係数が閾値よりも大きいとき、複数のオーバラップするブロックのうちの特定の1つについてブロックアーチファクトを識別し、終了ブロック999に制御を移す。
図10を参照して、ピクチャレベルのアーチファクトの検出のための例示的な方法は、参照符号1000により示される。
本方法1000は、初期の出力、すなわちブロックアーチファクトを含むブロックのアイデンティフィケーションを供給し、この初期の出力は、限定されるものではないが、アーチファクトマップの生成、マップのリファインメント、1以上の特徴に基づいた検出及び/又は前の検出の再評価、アーチファクトの強さの計算、及びブロックを含むピクチャの全体のブロックノイズのメトリックの計算、を含む本発明の原理の他の実施の形態に関して使用することができる。
本方法1000は、開始ブロック1005を含み、この開始ブロックは、機能ブロック1010に制御を移す。機能ブロック1010は、特定のブロックの境界の2つのサイドでの画素値の差と、特定のブロックの境界での差とをフィルタリングし、2つのサイドでの画素値の差と特定のブロックの境界での差とを結合することで、少なくとも1つのブロックの境界における少なくとも1つの画素のラインについてブロックの境界ラインのブロックノイズ値を導出し、機能ブロック1020に制御を移す。機能ブロック1020は、少なくとも1つのブロックの境界の特定の1つで測定された少なくとも1つのブロックの境界ラインのブロックノイズ値の結合により、ブロックの境界のブロックノイズ値を導出し、機能ブロック1030に制御を移す。機能ブロック1030は、少なくとも1つのブロックの境界のブロックノイズ値を結合することで、あるブロックのブロックノイズ値を導出し、終了ブロック1099に制御を移す。
以下、本発明の多数の付随する利点/特徴の幾つかに関する説明が与えられ、そのうちの幾つかは、先に記載された。たとえば、1つの利点/特徴は、ブロックアーチファクトを検出する方法である。本方法は、ある現在のブロックに関して、あるブロックにおいて複数のオーバラップするブロックを識別するステップを含む。複数のオーバラップするブロックのそれぞれは、現在のブロックの一部と隣接するブロックの一部とをカバーする。本方法は、複数のオーバラップするブロックの少なくとも1つを、輝度成分と色度成分の少なくとも1つに対応するそれぞれの係数に変換するステップを更に含む。また、本方法は、複数のオーバラップするブロックの少なくとも1つに対応する係数が予め定義された値よりも大きいとき、複数のオーバラップするブロックの少なくとも1つについてブロックアーチファクトを識別するステップを含む。
別の利点/特徴は、上述された方法であり、ブロックアーチファクトを識別するステップは、少なくとも1つの閾値を予め定義された値として使用し、ブロックアーチファクトが、少なくとも1つのオーバラップするブロックにおいて及び現在のブロックに関してブロックアーチファクトの可能性のある方向において存在するかを判定する。
更に別の利点/特徴は、上述された方法であり、本方法は、ブロックアーチファクトを有するピクチャにおける全体のオーバラップするブロックの数に基づいて、ピクチャの全体のブロックノイズのメトリックを計算するステップを更に含む。
更に別の利点/特徴は、上述された方法であり、本方法は、ピクチャにおけるブロックアーチファクトの位置を規定するブロックノイズのアーチファクトマップを生成するステップを更に含む。
さらに、別の利点/特徴は、上述された方法であり、本方法は、再構成されたバージョンのピクチャの少なくとも1つのオリジナルバージョンに関する特徴検出を実行し、特徴に基づいたアーチファクトの補正をブロックノイズのアーチファクトマップに実行して、特徴が改善されたブロックノイズのアーチファクトマップを生成するステップを更に含む。
さらに、別の利点/特徴は、上述された方法であり、ブロックアーチファクトを識別するステップは、再構成されたバージョンのピクチャにおける識別されたブロックアーチファクトに対応するブロックの境界での調節されたフィルタリングされた画素の差が、予め指定された量だけ、オリジナルバージョンのピクチャにおける識別されたブロックアーチファクトに対応するブロックの境界での調節されたフィルタリングされた画素の差よりも小さいとき、ブロックアーチファクトの誤った識別を除くステップを更に含む。
また、別の利点/特徴は、上述された方法であり、ブロックアーチファクトを識別するステップは、再構成されたバージョンのピクチャにおける複数のオーバラップするブロックの特定の1つの変換係数が、予め指定された量だけ、オリジナルバージョンのピクチャにおける複数のオーバラップするブロックの特定の1つの共に位置されるブロックの変換係数よりも小さいとき、ブロックアーチファクトの誤った識別を除くステップを更に含む。
さらに、別の利点/特徴は、ブロックアーチファクトを検出する方法である。本方法は、特定のブロックの境界の2つのサイドでの画素値の差と特定のブロックの境界での差とをフィルタリングし、2つのサイドでの画素値の差と特定のブロックの境界での差とを結合することで、あるピクチャにおける少なくとも1つのブロックの境界における少なくとも1つの画素のラインについてブロックの境界ラインのブロックノイズ値を導出するステップを含む。本方法は、少なくとも1つのブロックの境界の特定の1つで測定された少なくとも1つのブロックの境界ラインのブロックノイズ値の結合により、ブロックの境界のブロックノイズ値を導出するステップを更に含む。また、本方法は、少なくとも1つのブロックの境界のブロックノイズ値を結合することで、あるブロックのブロックノイズ値を導出するステップを含む。
さらに、別の利点/特徴は、上述された方法であり、本方法は、結合ステップの重み付けされた結果に基づいて、ピクチャの全体のピクチャレベルのブロックアーチファクトの検出値を計算するステップを更に含む。重み付け要素は、ピクチャにおける検出された特徴のセットに基づいて決定される。
さらに、別の利点/特徴は、上述された方法であり、ブロックアーチファクトは、ブロックのブロックノイズ値に基づいて識別され、本方法は、ピクチャにおけるブロックアーチファクトの位置を規定するブロックノイズのアーチファクトマップを生成するステップを更に含む。また、本方法は、再構成されたバージョンのピクチャの少なくとも1つのオリジナルバージョンに特徴抽出を実行し、特徴に基づいたアーチファクト補正をブロックノイズのアーチファクトマップに実行して、特徴が改善されたブロックノイズのアーチファクトマップを生成するステップを含む。
また、別の利点/特徴は、上述された方法であり、特徴検出は、輝度、色度、皮膚色、テクスチャ、位置、及び近隣の情報の少なくとも1つを含む。
さらに、別の利点/特徴は、上述された方法であり、本方法は、オリジナルのバージョンのピクチャに基づいて、特徴が改善されたブロックノイズのアーチファクトマップを改善することを更に含む。
さらに、別の利点/特徴は、上述された方法であり、本方法は、ブロックアーチファクトのアーチファクトの強さを計算するステップを更に含む。
本発明の原理のこれらの特徴及び利点、並びに他の特徴及び利点は、本明細書における教示に基づいて当業者により容易に確かめることができる。本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はそれらの組み合わせの様々な形式で実現することができる。
最も好ましくは、本発明の原理の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされて実行される。好ましくは、コンピュータは、1以上の中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、及び入力/出力(I/O)インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で記載される様々なプロセス及び機能は、マイクロ命令コードの一部又はアプリケーションプログラムの一部、或いはそれらの組み合わせとすることができ、これらは、CPUにより実行される。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される。
添付図面に示されるシステムコンポーネント及び方法の幾つかはソフトウェアで実現されることが好ましいため、システムコンポーネント又はプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされるやり方に依存して異なることを理解されたい。本明細書での教示が与えられると、当業者は、本発明の原理のこれらの実現又はコンフィギュレーション及び類似の実現又はコンフィギュレーションを考案することができる。
例示的な実施の形態が添付図面を参照して本実施の形態で記載されたが、本発明の原理は、これら正確な実施の形態に限定されるものではなく、本発明の原理の範囲又は精神から逸脱することなしに、様々な変形及び変更を実施することができることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べた本発明の原理に含まれることが意図される。

Claims (15)

  1. 現在のブロックに関して、動画系列からのピクチャにおいて複数のオーバラップするブロックを識別するステップと、前記複数のオーバラップするブロックは、前記現在のブロックの一部と隣接するブロックの一部とをカバーし、
    前記複数のオーバラップするブロックの少なくとも1つを、輝度値と色度値の少なくとも1つに対応するそれぞれの係数に変換するステップと、
    前記複数のオーバラップするブロックの少なくとも1つに対応する前記それぞれの係数がある値よりも大きいとき、前記複数のオーバラップするブロックの少なくとも1つについてブロックアーチファクトを識別するステップと、
    を含むことを特徴とするブロックアーチファクトを検出する方法。
  2. 前記ブロックアーチファクトを識別するステップは、少なくとも1つの閾値を前記値として使用して、前記ブロックアーチファクトが、前記オーバラップするブロックの少なくとも1つにおいて及び前記現在のブロックに関して前記ブロックアーチファクトの方法に存在するかを判定する、
    請求項1記載の方法。
  3. 前記ブロックアーチファクトを有するピクチャにおいてオーバラップするブロックの数に基づいて、ピクチャの全体のブロックノイズのメトリックを生成するステップを更に含む、
    請求項1記載の方法。
  4. 前記オーバラップするブロックの数は、前記ブロックアーチファクトを有する前記ピクチャにおけるオーバラップするブロックの全体の数から決定される、
    請求項3記載の方法。
  5. 前記ピクチャにおけるブロッキングアーチファクトの位置を示すブロックノイズのアーチファクトマップを生成するステップを更に含む、
    請求項1記載の方法。
  6. 再構成されたバージョンのピクチャの少なくとも1つのバージョンに特徴検出を実行するステップと、
    前記ブロックノイズのアーチファクトマップに特徴に基づいたアーチファクトの補正を実行して、特徴が改善されたブロックノイズのアーチファクトマップを生成するステップと、
    を更に含む請求項5記載の方法。
  7. 前記ブロックアーチファクトを識別するステップは、前記ブロックアーチファクトの誤った識別を除くステップを更に含む、
    請求項1記載の方法。
  8. 前記除くステップは、再構成されたバージョンのピクチャにおける識別されたブロッキングアーチファクトに対応するブロックの境界での調節及びフィルタリングされた画素の差が、ある量だけ、オリジナルバージョンのピクチャにおける識別されたブロッキングアーチファクトに対応するブロックの境界における調節されたフィルタリングされた画素の差よりも小さいときに実行される、
    請求項7記載の方法。
  9. 前記除くステップは、再構成されたバージョンのピクチャにおける前記複数のオーバラップするブロックの特定の1つの変換係数が、ある量だけ、オリジナルバージョンのピクチャにおける前記複数のオーバラップするブロックの特定の1つについて共に位置されるブロックの変換係数よりも小さいときに実行される、
    請求項7記載の方法。
  10. 特定のブロックの境界の2つのサイドでの画素値の差と特定のブロック境界での差とをフィルタリングすることで、動画系列からのピクチャにおける少なくとも1つのブロックの境界の少なくとも1つの画素のラインについてブロックの境界ラインのブロックノイズの値を導出するステップと、
    前記2つのサイドでの画素値の差と前記特定のブロックの境界での差とを結合して、あるブロックのブロックノイズ値を導出するステップと、
    を含むことを特徴とするブロックアーチファクトを検出する方法。
  11. 前記結合するステップの重み付けされた結果に基づいて、ピクチャの全体のピクチャレベルのブロックアーチファクトの検出値を計算するステップを更に含み、
    前記重み付け要素は、前記ピクチャの少なくとも1つの検出された特徴に基づいて決定される、
    請求項10記載の方法。
  12. 前記ブロックのブロックノイズ値に基づいてブロックアーチファクトが識別され、
    当該方法は、
    前記ピクチャにおけるブロックアーチファクトの位置を示すブロックノイズのアーチファクトマップを生成するステップと、
    再構成されたバージョンのピクチャの少なくとも1つのオリジナルバージョンに特徴検出を実行するステップと、
    前記ブロックノイズのアーチファクトマップに特徴に基づくアーチファクトの補正を実行して、特徴が改善されたブロックノイズのアーチファクトマップを生成するステップと、
    を更に含む請求項10記載の方法。
  13. 前記特徴検出は、輝度、色度、皮膚色、テクスチャ、位置及び近隣の情報を含む特徴のうちの少なくとも1つを含む、
    請求項12記載の方法。
  14. オリジナルバージョンのピクチャに基づいて、特徴が改善されたブロックノイズのアーチファクトマップを改善するステップを更に含む、
    請求項12記載の方法。
  15. 前記ブロックアーチファクトのアーチファクトの強さを計算するステップを更に含む、
    請求項12記載の方法。
JP2009544052A 2006-12-28 2007-12-21 ブロックアーチファクトを検出する方法及び装置 Expired - Fee Related JP5270573B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US87754906P 2006-12-28 2006-12-28
US60/877,549 2006-12-28
PCT/US2007/026213 WO2008085425A2 (en) 2006-12-28 2007-12-21 Detecting block artifacts in coded images and video

Publications (3)

Publication Number Publication Date
JP2010515362A true JP2010515362A (ja) 2010-05-06
JP2010515362A5 JP2010515362A5 (ja) 2011-02-03
JP5270573B2 JP5270573B2 (ja) 2013-08-21

Family

ID=39591061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009544052A Expired - Fee Related JP5270573B2 (ja) 2006-12-28 2007-12-21 ブロックアーチファクトを検出する方法及び装置

Country Status (7)

Country Link
US (1) US8879001B2 (ja)
EP (1) EP2127390A2 (ja)
JP (1) JP5270573B2 (ja)
KR (1) KR101437195B1 (ja)
CN (1) CN101573980B (ja)
CA (1) CA2674164A1 (ja)
WO (1) WO2008085425A2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
KR101437195B1 (ko) * 2006-12-28 2014-09-03 톰슨 라이센싱 코딩된 화상 및 영상에서 블록 아티팩트 검출
TWI330039B (en) * 2007-01-26 2010-09-01 Quanta Comp Inc Processing apparatus and method for reducing blocking effect and gibbs effect
US8285068B2 (en) * 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
CN102119400B (zh) * 2008-08-08 2017-10-31 汤姆逊许可证公司 暗噪声伪影检测方法和装置
JP5276170B2 (ja) * 2008-08-08 2013-08-28 トムソン ライセンシング バンディング・アーチファクトを検出する方法および装置
US8363978B2 (en) * 2009-03-03 2013-01-29 Samsung Electronics Co., Ltd. System and method for block edge location with varying block sizes and offsets in compressed digital video
US8891609B2 (en) * 2009-03-24 2014-11-18 Samsung Electronics Co., Ltd. System and method for measuring blockiness level in compressed digital video
US9076239B2 (en) * 2009-04-30 2015-07-07 Stmicroelectronics S.R.L. Method and systems for thumbnail generation, and corresponding computer program product
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US8615044B2 (en) * 2009-06-05 2013-12-24 Cisco Technology, Inc. Adaptive thresholding of 3D transform coefficients for video denoising
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
MY157320A (en) * 2009-10-20 2016-05-31 Sharp Kk Moving image coding device,moving image decoding device,moving image coding/decoding system,moving image coding method and moving image decoding method
JP5751679B2 (ja) * 2010-01-15 2015-07-22 マーベル ワールド トレード リミテッド 圧縮アーチファクトをマスクするためのフィルムグレインの利用
EP2534839A4 (en) * 2010-02-11 2014-06-11 Thomson Licensing METHOD FOR PROCESSING IMAGE
US8588309B2 (en) * 2010-04-07 2013-11-19 Apple Inc. Skin tone and feature detection for video conferencing compression
US9076220B2 (en) * 2010-04-29 2015-07-07 Thomson Licensing Method of processing an image based on the determination of blockiness level
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US9635308B2 (en) 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
US8542751B2 (en) * 2010-08-20 2013-09-24 Intel Corporation Techniques for identifying and reducing block artifacts
US8787443B2 (en) * 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
CN102800050B (zh) * 2011-05-25 2016-04-20 国基电子(上海)有限公司 N维特征空间连通性计算方法
WO2012174740A1 (en) * 2011-06-24 2012-12-27 Technicolor (China) Technology Co., Ltd. Method and device for assessing packet defect caused degradation in packet coded video
US20130039429A1 (en) * 2011-08-11 2013-02-14 Xue Rong Hong Computer display content coding method and system
EP2783345A4 (en) * 2011-11-24 2015-10-14 Thomson Licensing METHOD AND APPARATUS FOR PICTURE-BASED SCHEME FOR DETECTING ARTEFACTS
US9620082B2 (en) * 2015-05-15 2017-04-11 Hewlett-Packard Development Company, L.P. Correcting artifacts on a display
US9836664B1 (en) * 2016-05-27 2017-12-05 Intuit Inc. Method and system for identifying and addressing imaging artifacts to enable a software system to provide financial services based on an image of a financial document
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask
CN107992845A (zh) * 2017-12-14 2018-05-04 广东工业大学 一种面部识别辨伪方法及装置、计算机设备
CN113362246A (zh) * 2021-06-08 2021-09-07 百果园技术(新加坡)有限公司 一种图像带状伪影去除方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04280167A (ja) * 1991-01-10 1992-10-06 Olympus Optical Co Ltd 画像信号復号化装置
JPH0522709A (ja) * 1991-07-15 1993-01-29 Olympus Optical Co Ltd 画像信号復号化装置
JPH1198505A (ja) * 1997-09-09 1999-04-09 Lg Semicon Co Ltd 低速伝送での動画像のためのデブロッキングフィルタリング方法
US20030072377A1 (en) * 2001-10-16 2003-04-17 Vincent Ruol Method of detecting blocking artifacts
JP2003516054A (ja) * 1999-11-30 2003-05-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Dctドメインにおけるブロッキングアーティファクトの減少方法及び装置
WO2004049243A1 (en) * 2002-11-25 2004-06-10 Sarnoff Corporation Method and apparatus for measuring quality of compressed video sequences without references
US20060245501A1 (en) * 2005-04-27 2006-11-02 Stephen Gordon Combined filter processing for video compression
JP2007312370A (ja) * 2006-04-18 2007-11-29 Pioneer Electronic Corp ブロックノイズ除去装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454051A (en) * 1991-08-05 1995-09-26 Eastman Kodak Company Method of reducing block artifacts created by block transform compression algorithms
US5367385A (en) * 1992-05-07 1994-11-22 Picturetel Corporation Method and apparatus for processing block coded image data to reduce boundary artifacts between adjacent image blocks
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US6151420A (en) * 1995-12-15 2000-11-21 Polaroid Corporation Minimizing blocking artifacts in a filtered image
US5850294A (en) * 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
US5737451A (en) * 1996-04-10 1998-04-07 Eastman Kodak Company Method and apparatus for suppressing blocking artifacts in block-transform coded images
US5887084A (en) * 1997-11-07 1999-03-23 Polaroid Corporation Structuring a digital image into a DCT pyramid image representation
KR100366643B1 (ko) * 1998-11-25 2003-02-19 삼성전자 주식회사 구획현상제거방법및장치
US6317522B1 (en) * 1998-12-03 2001-11-13 Philips Electronics North America Corp. Systems and methods for post-processing decompressed images
KR100319557B1 (ko) 1999-04-16 2002-01-09 윤종용 블럭 단위로 부호화된 영상의 블럭 경계 잡음 성분 제거 방법
US6968006B1 (en) * 2001-06-05 2005-11-22 At&T Corp. Method of content adaptive video decoding
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US20030235250A1 (en) * 2002-06-24 2003-12-25 Ankur Varma Video deblocking
US7099518B2 (en) * 2002-07-18 2006-08-29 Tektronix, Inc. Measurement of blurring in video sequences
US7822286B2 (en) * 2003-11-07 2010-10-26 Mitsubishi Electric Research Laboratories, Inc. Filtering artifacts in images with 3D spatio-temporal fuzzy filters
KR101044940B1 (ko) * 2004-06-23 2011-06-28 삼성전자주식회사 에지 플로우 방향성 필터와 커블릿 변환을 이용한 블록현상 제거 방법 및 장치
US7545988B2 (en) * 2004-08-09 2009-06-09 George William Meeker Image blocking artifact reduction via transform pair
US7778480B2 (en) * 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
WO2006099743A1 (en) * 2005-03-25 2006-09-28 Algolith Inc. Apparatus and method for objective assessment of dct-coded video quality with or without an original video sequence
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
KR101437195B1 (ko) * 2006-12-28 2014-09-03 톰슨 라이센싱 코딩된 화상 및 영상에서 블록 아티팩트 검출
US8542751B2 (en) * 2010-08-20 2013-09-24 Intel Corporation Techniques for identifying and reducing block artifacts

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04280167A (ja) * 1991-01-10 1992-10-06 Olympus Optical Co Ltd 画像信号復号化装置
JPH0522709A (ja) * 1991-07-15 1993-01-29 Olympus Optical Co Ltd 画像信号復号化装置
JPH1198505A (ja) * 1997-09-09 1999-04-09 Lg Semicon Co Ltd 低速伝送での動画像のためのデブロッキングフィルタリング方法
JP2003516054A (ja) * 1999-11-30 2003-05-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Dctドメインにおけるブロッキングアーティファクトの減少方法及び装置
US20030072377A1 (en) * 2001-10-16 2003-04-17 Vincent Ruol Method of detecting blocking artifacts
JP2003143605A (ja) * 2001-10-16 2003-05-16 Koninkl Philips Electronics Nv ブロッキングアーチファクト検出方法
WO2004049243A1 (en) * 2002-11-25 2004-06-10 Sarnoff Corporation Method and apparatus for measuring quality of compressed video sequences without references
US20060245501A1 (en) * 2005-04-27 2006-11-02 Stephen Gordon Combined filter processing for video compression
JP2007312370A (ja) * 2006-04-18 2007-11-29 Pioneer Electronic Corp ブロックノイズ除去装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN5009019205; SHIZHONG LIU: 'Efficient DCT-Domain Blind Measurement and Reduction of Blocking Artifacts' IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY V12 N12, 20021201, P1139-1149, IEEE SERVICE CENTER *

Also Published As

Publication number Publication date
CN101573980A (zh) 2009-11-04
CN101573980B (zh) 2012-03-14
WO2008085425A2 (en) 2008-07-17
KR20090101911A (ko) 2009-09-29
KR101437195B1 (ko) 2014-09-03
EP2127390A2 (en) 2009-12-02
CA2674164A1 (en) 2008-07-17
US20100033633A1 (en) 2010-02-11
US8879001B2 (en) 2014-11-04
WO2008085425A3 (en) 2009-02-12
JP5270573B2 (ja) 2013-08-21

Similar Documents

Publication Publication Date Title
JP5270573B2 (ja) ブロックアーチファクトを検出する方法及び装置
JP5230669B2 (ja) 深度画像をフィルタリングする方法
JP5419744B2 (ja) 仮想画像を合成する方法
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
JP5448912B2 (ja) 画像をアップサンプリングする方法
US9256926B2 (en) Use of inpainting techniques for image correction
JP5391290B2 (ja) テクスチャレベルに基づく量子化調整
JP5039777B2 (ja) Dcシフトアーチファクトに対する量子化調整
US9183617B2 (en) Methods, devices, and computer readable mediums for processing a digital picture
US10013772B2 (en) Method of controlling a quality measure and system thereof
KR101112139B1 (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
US9478017B2 (en) Guided image filtering for image content
TWI677239B (zh) 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
US10134121B2 (en) Method and system of controlling a quality measure
JP2013534388A (ja) 適応ループフィルタリングの方法及び装置
JPWO2009037828A1 (ja) 画像符号化装置および画像復号化装置
CN109767408B (zh) 图像处理方法、装置、存储介质及计算机设备
JP2010514315A (ja) 画像信号を符号化するための方法及びシステム、符号化された画像信号、画像信号を復号化するための方法及びシステム
JP2011091510A (ja) 画像処理装置およびその制御方法
KR20060111528A (ko) 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출
Chen et al. Design a deblocking filter with three separate modes in DCT-based coding
KR100683060B1 (ko) 영상 프레임의 블록화 현상 제거 장치 및 그 방법
JP2009095004A (ja) 画像シーケンス中の画素をフィルタリングする方法
Doshkov et al. How to Use Texture Analysis and Synthesis Methods for Video Compression
KR20210061298A (ko) 인지 특성에 기반한 영상 처리 및 인지 화질 향상 방법 및 장치

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130509

R150 Certificate of patent or registration of utility model

Ref document number: 5270573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees