JP2012520588A - ブロックに基づいて圧縮された画像におけるぼやけの測定 - Google Patents

Abstract

ぼやけは、ビデオ品質に関連する最も重要な特徴の１つである。ビデオのぼやけのレベルを正確に推定することは、ビデオ品質を正確に評価するのに非常に役に立つ。Ｈ．２６４／ＡＶＣ，ＭＰＥＧ２等のようなブロックに基づくコーデックにより圧縮されたビデオのぼやけのレベルを推定する改善された方法が提供される。本発明によれば、局所的なぼやけの検出は、マクロブロックＭＢのエッジに基づいており、テクスチャからの影響を低減するために、コンテンツに依存する重み付けスキームが採用され、局所的なぼやけを検出したとき、検出の伝搬は、局所的な最小の輝度の位置及び局所的な最大の輝度の位置で停止する。

Description

本発明は、ビデオ／画像の品質の測定に関する。

ぼやけは、ビデオ品質に関連する最も重要な特徴のうちの１つである。ビデオのぼやけのレベルを正確に推定することは、ビデオ品質を正確に評価するために大いに役に立つ。しかし、知覚によるぼやけのレベルは、テクスチャ、輝度等のような多くの要素により影響される。さらに、圧縮により生成されたぼやけは、焦点が外れたぼやけ、モーションブラーのような、オリジナルの系列におけるぼやけとは非常に異なる。ビデオのぼやけのレベルを正確に推定することは困難である。この問題を解決する様々な方法が提案されている。これらの方法は、異なる角度からビデオ／画像のぼやけのレベルを推定することを試みるが、特に異なる任意のビデオコンテンツについて、性能は満足されるものではない。たとえばWO03092306は、現在の位置に最も近い局所的な最小の画素及び最大の画素を検出する。すなわち、同じ輝度値をもつ２以上の隣接する画素が存在する場合、その位置に最も近い画素を使用する。

本発明の目的は、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ２等のようなブロックに基づくコーデックにより圧縮されたビデオのぼやけのレベルを推定する改善された方法を提供することにある。

本発明の１態様によれば、局所的なぼやけの検出は、マクロブロック（ＭＢ）のエッジのようなビデオ符号化の単位のエッジに基づく。本発明の別の態様によれば、コンテンツに依存する重み付けスキームが採用され、テクスチャからの影響を減少する。更なる態様によれば、局所的なぼやけを検出したとき、検出の伝搬は、局所的な最小及び最大の輝度の位置で停止する。

本発明の１態様では、ブロックに基づいた符号化を使用して符号化されたビデオ画像においてぼやけを測定する方法は、以下のステップを含む。ビデオ符号化の単位、及び前記ビデオ符号化の単位における位置を選択するステップ。第一の方向で選択されたビデオ符号化単位のエッジで局所的なぼやけのレベルを検出するステップ。第一の方向は、水平又は垂直の方向である。前記位置の周囲の領域における局所的な分散を計算するステップ。局所的な分散が定義された範囲内にある場合に、局所的なぼやけの値を計算するステップ。前記領域内の画素は、それら隣接する画素と比較される。異なるビデオ符号化の単位から局所的なぼやけの値を結合するステップ。第一の方向の最終的な方向のぼやけが取得される。局所的な分散を計算するステップを繰り返すステップ。局所的なぼやけを計算して、第二の方向について局所的なぼやけの値を結合するステップ。第二の方向は、水平又は垂直方向であって、第一の方向とは異なる。第二の方向の最終的な方向のぼやけが取得される。第一の方向の最終的な方向のぼやけと第二の方向の最終的な方向のぼやけとを結合するステップ。現在の画像のぼやけの測定値である最終的なぼやけの値が取得される。

１実施の実施の形態では、局所的なぼやけの値を計算するステップでは、現在選択された（水平又は垂直）方向に沿って局所的な最小又は最大の輝度の強度を持つ画素が検出され、局所的な最小の輝度値をもつ位置と局所的な最大の輝度値をもつ位置との間の距離であるとして局所的なぼやけの値が決定される。

本発明の１態様では、ブロックに基づく符号化を使用して符号化／復号化されたビデオ画像におけるぼやけを測定する装置は、以下の構成要素を備える。水平方向又は垂直方向を選択する第一の選択モジュール。ビデオ符号化の単位と前記ビデオ符号化の単位内の位置を選択する第二の選択モジュール。選択された方向における選択されたビデオ符号化の単位のエッジでの局所的なぼやけのレベルを検出する検出モジュール。検出モジュールは、選択された方向に従って前記位置の周囲の領域における局所的な分散を計算する第一の計算モジュール、及び局所的な分散が定義された範囲内にある場合に局所的なぼやけを計算する第二の計算モジュールを備える。選択された方向の局所的なぼやけの値を結合をする第一の結合モジュール。選択された方向の最終的な方向のぼやけが取得される。最終的な水平方向のぼやけの値と最終的な垂直方向のぼやけの値とを結合する第二の結合モジュール。現在の画像のぼやけの測定値である最終的なぼやけの値が取得される。

１実施の形態では、局所的なぼやけの値を計算する第二の計算モジュールは、現在選択されている（水平又は垂直の）方向に沿って局所的な最小又は最大の輝度の強度をもつ画素を検出する検出手段を備え、第二の計算モジュールは、局所的な最小の輝度値をもつ位置と局所的な最大の輝度値をもつ位置との間の距離であるとして局所的なぼやけの値を計算する。

実施の形態では、局所的な最小／最大の輝度の位置が等しい輝度値を有する２以上の隣接する画素を有する場合、現在の位置から最も離れた画素は、検出エッジとして使用される。すなわち、検出エッジで、同じ輝度値を有する全ての画素は、ぼやけの検出に含まれる。

本発明の更なる目的、特徴及び利点は、添付図面と共に考慮されたとき、以下の詳細な説明及び特許請求の範囲を考慮することで明らかとなるであろう。

本発明の例示的な実施の形態は、添付図面を参照して記載される。
垂直方向のぼやけの計算のフローチャートである。 局所的なぼやけを計算する位置を例示する図である。 局所的な最小及び最大の輝度をもつ画素の検出を例示する図である。 簡略化された分散の計算を使用した垂直方向のぼやけの計算のフローチャートである。 分散の計算又は簡略化された分散の計算のために使用されるクロスエリアを例示する図である。 最終的なぼやけの計算のフローチャートである。 ７２０ｐデータセットにおける例示的なぼやけの比較を例示する図である。

図１は、垂直方向のぼやけの計算の例示的なフローチャートである。ビデオ符号化の単位と、ビデオ符号化の単位内におけるある位置を選択する最初のステップが前に行われる。第一のステップ１１では、垂直方向のぼやけの検出のための位置が選択される。この位置は、予め定義されたスキームに依存するが、画像の全てのマクロブロックを含む。次のステップ１２では、選択された位置での局所的な分散var_1は、以下に記載されるように計算される。決定するステップ１３では、局所的な分散が定義された範囲[a, b]内にあるか否かが判定される。局所的な分散が定義された範囲[a,
b]内にある場合、ステップ１４で、局所的なぼやけは、以下に記載されるように計算される。さもなければ、局所的な分散は、定義された範囲[a, b]の外にある場合、次のステップ１５で、全ての位置が調べれれたかが判定される。全ての位置が調べられていない場合、ステップ１１で、垂直方向のぼやけの検出のための次の位置が選択される。さもなければ、全ての位置が調べられた場合、ステップ１６で、最終的な垂直方向のぼやけが計算される。最終的な垂直方向のぼやけは、局所的な垂直方向のぼやけの関数F(local
blur)である。前に計算された局所的な垂直方向のぼやけの値は、この目的のために記憶されるか、又は選択的に蓄積される。

次いで、本発明の１態様に係る垂直方向のぼやけは、水平方向のぼやけと結合され、この水平方向のぼやけは、垂直方向のぼやけについて上述されたとの原理的に同じ方法を使用して、水平方向において計算される。

本発明の様々な態様は、以下に記載される。
本発明の１態様では、局所的なぼやけの検出がブロック／ＭＢのエッジで行われ、既知のソリューションでは、局所的なぼやけのレベルは、テクスチャエッジで検出される。しかし、これは、テクスチャ分析、すなわち画像の分析を必要とする。本発明者は、ブロックに基づく符号化スキームにより圧縮されるビデオについて、ＭＢのエッジで局所的なぼやけのレベルを検出することは、テクスチャのエッジでよりも安定且つ効果的であることを認識している。関連する実験は、Ｈ．２６４／ＡＶＣ圧縮コンテンツについて行われている。

本発明の別の態様では、テクスチャからの影響を減少させるため、コンテンツに依存する重み付けスキームが使用される。この態様は、局所的なぼやけの計算がテクスチャにより影響されるために重要である。コンテンツに依存する重み付けスキームがない場合、画像のテクスチャは、局所的なぼやけの計算にとって乱れを与えることになる。テクスチャが余りに複雑であるか又は余りに単純である場合、計算された局所的なぼやけは安定していない。コンテンツに依存した重み付けスキームは、局所的なぼやけの計算が現在選択されているブロック／ＭＢの位置で実行されるべきか否かを判定することを含む。これは、以下に記載されるように、選択された位置で、局所的な分散を計算又は推定することで実現される。局所的な分散は、古典的なやり方で計算されるか、又は簡略化されたやり方で推定される。

本発明の別の態様では、古典的な分散の計算を使用して局所的なぼやけのレベルを検出するとき、同じ輝度値を有する画素は、分散の計算に含まれる。すなわち、輝度の「局所的に最小」又は「局所的に最大」の定義は、前のソリューションとは異なる。本発明では、たとえば水平方向における局所的な最大とは、更に水平方向に隣接する画素の輝度値よりも高い、同じ輝度値を有する全ての水平方向に隣接する画素、として定義される。図３は、位置６，７，８での画素が局所的に最大であるとして互いに考慮される例を示す。これは、Ｈ．２６４における量子化によって、ＭＢ内の画素が同じ画素値を有する傾向にあるために有利なことである。主観的な評価の経験から、特定のビデオコンテンツについて、量子化パラメータ（ＱＰ）が増加されるとき、ビデオのぼやけのレベルが増加されることがわかる。この発明のポイントは、ＱＰとぼやけのレベルとの間の単調な特性を保持するために非常に重要である。対応する定義は、局所的な最小値について使用される。

特定の実施の形態及びそれらの利点は、以下に示される。
あるピクチャのぼやけの検出は、垂直及び水平の方向で行われる。図１は、古典的な分散の計算を使用した垂直方向のぼやけの検出のフローチャートを例示的に示す。このフローチャートは、以下のステップを含む。

第一のステップ１１で、局所的なぼやけを検出する位置が取得される。既知のソリューションは、テクスチャのエッジで局所的なぼやけのレベルを検出する。本発明者は、ブロックに基づく符号化スキームにより圧縮されたビデオについて、ＭＢのエッジで局所的なぼやけのレベルを検出することは、テクスチャのエッジよりも安定且つ効果的であることを認識している。

局所的な垂直方向のぼやけを計算するため、図２に示されるように、ＭＢの垂直方向のエッジの中心にある位置が設定される。P_v1及びP_v2は、ＭＢの垂直方向のエッジの中心にあり、P_h1及びP_h2は、水平方向のエッジの中心にある。これらは、局所的な水平方向のぼやけを計算する位置である。１実施の形態では、P_v1又はP_v2は、検出を開始する位置である。

第二のステップは、前に設定された位置の周囲にある領域における局所的な分散（var_1）を計算することである。以下に記載される１実施の形態は、「古典的な」分散σ²を使用している。領域の選択は、異なるテクスチャ又は異なる解像度をもつビデオ（又は画像のそれぞれ）について僅かに異なる場合がある。１実施の形態では、設定された位置を中心にする１５に等しい長さをもつクロスエリアが選択される。しかし、たとえば１６×１６又は１５×２０の矩形といった僅かに異なる、約２０の長さ又は類似した長さをもつクロスエリアとして領域が選択される場合がある。また、本実施の形態で記載される全てのケースでは、クロス（十字形）は、その軸の長さのために正確にセンタリングされない場合があり、正確なセンタリングは、奇数番号の画素についてのみ可能である。局所的なテクスチャの複雑度を決定するために局所的な分散が使用される。一般に、あるピクチャにおけるテクスチャは、連続して変化する。テクスチャは、たとえば１００×１００画素といった大きな領域で類似することがある。従って、１５×１５又は１５×２０の領域の分散は、係るケースにおいて異ならない。領域が余りに小さいか（たとえば４×４又は８×１）又は余りに大きい（たとえば２００×２００）場合、最終的な結果は、非常に影響される場合がある。約１５の長さをもつクロスエリアが本実施の形態では好ましい。

第三のステップでは、局所的な分散が所与の範囲内にあるかが判定される。局所的な分散が余りに高いか又は余りに低い場合、この範囲のテクスチャは、余りに複雑であるか又は余りに単純であり、不安定な局所的なぼやけの計算になることが分かっている。従って、局所的な分散がこの範囲外にある場合、最終的なぼやけの計算のために局所的なぼやけの値は使用されず、計算される必要がない。[a, b]の範囲は、異なるシナリオにおいて異なる場合がある。同じ範囲は、全体の画像について、及び全ての画像について使用することができる。１実施の形態では、この範囲は、[2,
20]に設定される。大部分の自然画像について、（たとえば８０％を超える）局所的な分散の大部分は、この範囲にある。この範囲は、最終的な計算に含まれるのに十分な局所的なぼやけの値が存在することを保証し、最終的な計算が安定となることに役に立つ。本発明者は、大部分の画像について、（０．８未満といった）局所的な分散が余りに低いとき、又は（４０を超えるといった）余りに高いとき、局所的なぼやけの計算は、テクスチャにより非常に影響される場合があることを認識している。上述された範囲[2,
20]は、余りに低いか又は余りに高いテクスチャをもつ位置を排除するのに十分に厳密である。（たとえば「空」といった）９０％の平坦な空間（plain space）をもつ画像のような特別のケースについて、局所的な分散は、この範囲外にあり、提案される方法の実施の形態は、効果的ではない場合がある。（たとえば「空」といった）９０％の平坦な空間を持つ画像のような特別のケースについて、平坦な空間における局所的な分散は、この範囲外にある。しかし、係る平坦な空間において生じるぼやけは、乱れが少ない。従って、ぼやけの計算は、これらの領域においてスキップされる。

第四のステップにおいて、局所的なぼやけが計算される。局所的な垂直方向のぼやけを計算するため、このステップは、垂直方向に沿った局所的な最小又は最大の輝度（すなわち強度）を持つ画素を検出する。図３が示すよう、P0は、（図２におけるP_v1又はP_v2に対応する）検出を開始する位置であり、P1及びP2は、局所的な最小及び最大の輝度の値をそれぞれ持つ位置である。P1とP2との間の距離は、局所的なぼやけの値である。たとえば、図３では、距離、従って局所的なぼやけの値は６であり、すなわち画素＃２から画素＃８への距離である。

１実施の形態では、距離は、画素の番号のシンプルな引き算（たとえば８−２＝６）により計算され、他の実施の形態では、関与する画素の実際の数を計算することもできる（たとえば画素＃２から画素＃８まで、７つの画素が含まれる）。しかし、計算ルールが維持される限り、両方のカウント方法は、ぼやけの計算の記載された目的について等価である。

図３から分かるように、局所的な最小又は最大の輝度値を持つ画素の検出において、同じ輝度値をもつ２以上の隣接する画素が（番号６−８の画素のような）局所的な最小又は最大となる場合、選択された位置P0から最も離れた画素が検出エッジとして使用される。これは、画素＃６の代わりに画素＃８である。

第五のステップでは、最終的な垂直方向のぼやけが計算される。関連される局所的な分散var_1が範囲[a, b]内にある全ての局所的なぼやけが結合され、最終的な垂直方向のぼやけが計算される。１実施の形態では、局所的な垂直方向のぼやけの値の平均は、最終的な垂直方向のぼやけを計算するために使用される。他の実施の形態において、同様の結合を使用することもできる。

水平方向のぼやけは、垂直方向のぼやけが図２におけるP_v1, P_v2のようなＭＢの水平方向のエッジで計算され、水平方向のぼやけが垂直方向のエッジ（図２におけるP_h1, P_h2）で計算される点を除いて、垂直方向のぼやけと実質的に同じやり方で計算することができる。ピクチャの最終的なぼやけは、水平方向と垂直方向である２つの方向のぼやけの結合により取得することができる。１実施の形態では、２つの方向のぼやけは、平均により結合される。特定のケースについて他の結合が存在する場合がある。

１実施の形態では、雑音が多い画像の改善が提供される。「雑音の多い」画素は、非常に高いか又は非常に低い輝度値を有し、従って容易に検出することができる。僅かな雑音をもつ系列について、検出プロセスが現実の最小又は最大の画素を発見する前に停止されるので、係る「雑音が多い」画素は局所的に最小又は最大の画素の検出に乱れを与えることが起こる場合がある。この種の画像について、局所的な最小と局所的な最大との間の範囲が平均して余りに短いので、計算されるぼやけの値は、実際のぼやけの値よりも低いことがある。

従って、本発明の１実施の形態では、より正確な古典的な局所的な分散σ²を計算する代わりに、簡略化された局所的な分散が推定される。この実施の形態では、ＭＢの境界を中心とするクロス（十字形）により定義される予め定義された領域の全ての画素を使用して局所的なぼやけが検出される。図５は、垂直方向のぼやけを検出するために８×１０のブロックR_v、及び水平方向のぼやけを検出する１０×８ブロックR_hによる実施の形態を示す。この実施の形態は、予め定義された領域R_v, R_hにおける方向（垂直又は水平方向）に沿って、所与の方向におけるその隣接する画素の輝度よりも高い輝度、低い輝度又は等しい輝度を有するがその数をカウントすることを含む。これらの数は、Ｎ_higher，Ｎ_lower及びＮ_equalと呼ばれる。たとえば、局所的な水平方向のぼやけの検出のためのＮ_higherは、それらの左側の隣接する画素の輝度値よりも高い輝度値を有する画素数であり、局所的な垂直方向のぼやけの検出のためのＮ_lowerは、それらの上側の隣接する画素の輝度値よりも低い輝度値を有する画素数である。Ｎ_higher＋Ｎ_lower＋Ｎ_equalの合計は、Ｎ_totalである。局所的なぼやけは、式（１）に置けるように計算される。ここでα，βは、予め定義されたパラメータである。

（α，β）のデフォルト値は、（０．７，０．２）であり、このデフォルト値は、大部分の画像について良好である。実験において、本発明者は、局所的なぼやけの計算は、余りに平坦なテクスチャであるか又は余りに複雑なテクスチャをもつ領域において正確でないことを認識している。係る領域について更に正確な結果を得るため、１実施の形態において、余りに平坦なテクスチャであるか又は余りに複雑なテクスチャをもつブロックが排除される。この実施の形態では、これらのブロックは、局所的なぼやけの検出結果が、以下の関係を満たすことを判定することで検出される。
Ｎ_equal ≧ α*Ｎ_total又はＮ_equal ≦ β*Ｎ_total
幾つかの特別の画像について、この制限により、多くのブロックがこの範囲の外にあり、スキップされる一方で、ほんの数個のブロックが選択されることになる。これは、最終的なぼやけの計算を不安定にする。従って、（たとえば式(１)に従い、不安定でないブロックの５０％を超えるといった）余りに多い平坦なブロックをもつ画像について、αは、０．８又は０．９といった僅かに高く設定され、余りに多く複雑にされたブロックをもつ画像について、βは、０．１又は０といった僅かに低く設定される。従って、α，βは、設定可能なパラメータである。これらのパラメータは、たとえばぼやけの計算が余りに少ない点で行うことができることが判定された後のように、アルゴリズムを調節するために使用することができる。α，βは、自動的に設定されるか、ユーザとの対話に応じて設定することができる。Ｎ_equal ≧ α*Ｎ_total又はＮ_equal ≦ β*Ｎ_totalのケースは、関連するブロックが余りに平坦なテクスチャであるか又は余りに複雑なテクスチャであることを意味する。これは、ブロックの選択のための基準である。

本発明のこの実施の形態（すなわち、簡略化された分散の推定）の利点は、雑音に対すテロバストであって、複雑でないことである。大部分のシーケンスについて、本実施の形態は、正確な分散を使用した先に記載された実施の形態と類似の性能を有するが、僅かな雑音をもつ幾つかの特別のシーケンスについて、良好な性能を有する。先に記載された実施の形態以外では、本実施の形態は、完全な局所的な分散を計算する必要がない。本実施の形態は、余りに平坦なテクスチャ又は余りに複雑なテクスチャをもつ領域の示唆として、（Ｎ_higher＋Ｎ_lower＋Ｎ_equal＝Ｎ_totalとして）Ｎ_equal ≧ α*Ｎ_total又はＮ_equal
≦ β*Ｎ_totalに従って簡略化された局所的な分散を使用する。

簡略化された局所的な分散を使用した実施の形態のフローチャートは、図４に示される。ブロック４１では、図１におけるブロック１１におけるように、次の位置が取得される。図５に示されるように、黒の８×１０ブロックR_vは、局所的な垂直方向のぼやけの計算のための領域であり、選択された位置を中心とする十字形により定義される。同様に、１０×８の画素のブロックR_hは、局所的な水平方向のぼやけの計算のための領域である。ブロック４２では、Ｎ_higher，Ｎ_lower及びＮ_equalが計算される。垂直方向に沿って、図５における領域R_vにおける垂直方向のぼやけの計算について、その輝度がそれらそれぞれの上側の隣接する画素の輝度値よりも高い画素の数、低い画素の数又は等しい画素の数が個別のカウントされる（Ｎ_higher，Ｎ_lower及びＮ_equalとしてそれぞれマークされる）。水平方向のぼやけについて、水平方向に沿った領域R_hにおいて、その輝度がそれらの左側の隣接する画素の輝度値よりも高い画素の数、低い画素の数又は等しい画素の数が個別にカウントされる（Ｎ_higher，Ｎ_lower及びＮ_equalとしてそれぞれマークされる）。

ブロック４３では、式(１)が使用され、Ｎ_equalが定義された制限された範囲にあるかが判定される。Ｎ_equalが定義された制限された範囲にある場合、ブロック４４で、局所的なぼやけが計算される。さもなければ、ブロック４１で、マクロブロックがスキップされ、次のブロックが選択される。ブロック４５では、図１のブロック１５のように、全ての位置が調べられたかが判定される。ブロック４６では、局所的な垂直方向のぼやけの平均である全体の垂直方向のぼやけが計算される。

図６は、最終的なぼやけの計算のためのフローチャートである。このフローチャートは、垂直方向のぼやけ（blur_v）を計算する垂直方向のぼやけ計算ブロック６１、水平方向のぼやけ（blur_h）を計算する水平方向ぼやけ計算ブロック６２、及び垂直方向のぼやけと水平方向のぼやけを結合する方向のぼやけを結合するブロック６３を示す。最終的なぼやけは、両方向のぼやけの関数F(blur_v,
blur_h)である。

以下の結果が実験から得られる。提案されるぼやけの検出アルゴリズムは、７２０Ｐ（２４のオリジナルシーケンス）、７２０×５７６（９のオリジナルシーケンス）及び７２０×４８０（２３のオリジナルシーケンス）のデータセットで調べられる。全てのデータセットにおいて、それぞれのオリジナルシーケンスは、ＱＰ＝２４，２９，３４，３７，４０及び４５をもつ６つの歪んだシーケンスにエンコードされる。符号化ソフトウェアは、ＪＭ１０．１である（デフォルトのデブロッキングフィルタをもつメインプロファイル）。実験は、提案されるソリューションが全ての３つのデータセットにおいて良好な性能を示すことを示している。図７は、データセット７２０Ｐにおけるテスト結果を示しており、７つ毎のポイントが同じビデオコンテンツからのものであることを示す。それらの間の違いは、ＱＰである。図７から、本発明の以下の有利な効果を見る事ができる。

はじめに、計算されたぼやけの値は、ＱＰをもつ良好な単調さを有する。同じビデオコンテンツの主観的な評価の経験から、その知覚的なぼやけのレベルは、ＱＰが増加されるときに増加する。ＱＰと知覚的なぼやけのレベルとの間に良好な単調な特性が存在する。計算されたぼやけの値は知覚的なぼやけのレベルに整合するべきであるので、ＱＰにつれて良好な単調さを有する。提案された方法は、この態様において良好な特性を示す。

第二に、計算されたぼやけの値は、従来計算されるぼやけの値よりもビデオコンテンツにより影響されない。

一般に、本発明は、以下の利点を少なくとも提供する。
計算されたぼやけの値は、ＱＰにつれて良好な単調さを有する。さらに、知覚的なぼやけは、ＱＰにつれて良好な単調さを有する。従って、ぼやけ検出アルゴリズムの性能を評価するため、計算されるぼやけとＱＰとの間の単調さが使用される場合がある。提案される方法は、他の既知のソリューションよりもこの態様において良好な性能を示す。

計算されるぼやけの値は、ビデオコンテンツにより影響されない。

計算されるぼやけの値は、主観的な品質の評価を通して得られた主観的なＭＯＳ（Mean Opinion Score）と高い相関を有する。

実験では、７２０Ｐのシーケンスから１１７６個のフレーム（それぞれのグループにおける１６８個のフレームをもつ７個のグループ）がランダムに選択され、次いでそれぞれのフレームについて主観的なスコアが与えられた。主観的なスコアと計算されたぼやけの値との間のピアソン訂正（pearson correction）は、０．８である。これまで知られているソリューションでは、ピアソン訂正は約０．４であり、従ってより悪い。

ぼやけの値は、利用可能な参照画像が存在しない場合でさえ、測定によりビデオの品質を評価するために使用される。従って、ビデオ品質の測定は、たとえばブロードキャスト受信機で行うことができる。有利なことに、従来のビデオ／画像は、更なる情報が必要とされない。

本発明の１態様によれば、ブロックに基づいた符号化を使用して符号化／復号化されたビデオ画像におけるぼやけを測定する方法は、
ビデオ符号化の単位と、前記ビデオ符号化の単位内のある位置を選択するステップと、
水平方向において、選択されたビデオ符号化の単位のエッジでの局所的なぼやけのレベルを検出するステップと、
前記位置の周囲の領域において局所的な分散を計算するステップと、
局所的な分散が定義された範囲内にある場合、前記領域内の画素を選択された方向においてそれらの隣接する画素と比較することで、局所的なぼやけの値を計算するステップと、
前記ビデオ画像の局所的なぼやけの値を結合して、最終的な水平方向のぼやけを取得するステップと、
局所的な分散を計算するステップを繰り返し、局所的なぼやけを計算し、垂直方向について局所的なぼやけの値を結合して、最終的な垂直方向のぼやけを取得するステップと、
最終的な水平方向のぼやけの値と最終的な垂直方向のぼやけの値とを結合して、現在の画像についてぼやけの測定値である最終的なぼやけの値を取得するステップとを含む。

本発明の１態様によれば、ブロックに基づいた符号化を使用して符号化されたビデオにおけるぼやけを測定する装置は、
１以上のマクロブロックのようなビデオ符号化の単位においてある位置を選択する選択手段と、
水平方向において、選択されたビデオ符号化の単位のエッジで局所的なぼやけのレベルを検出する検出手段と、
前記位置の周囲の領域における局所的な分散を計算する第一の計算手段と、
局所的な分散が定義された範囲内にあるかを判定する判定手段と、
局所的な分散が前記定義された範囲内にある場合に、水平方向に沿った局所的な最小又は最大の輝度の強度を持つ画素を検出して、局所的なぼやけを計算する第二の計算手段と、局所的な最小の輝度値をもつ位置と局所的な最大の輝度値をもつ位置との間の距離は、水平方向の局所的なぼやけの値であり、
局所的なぼやけの値を結合して、最終的な水平方向のぼやけの値を取得する結合手段と、
垂直方向について、最終的な垂直方向のぼやけの値を取得する対応する手段と、
最終的な水平方向のぼやけの値と最終的な垂直方向のぼやけの値とを結合して、現在の画像のぼやけの測定値である最終的なぼやけの値を取得する結合手段とを備える。

垂直方向の手段は、分散の計算とぼやけのレベルの計算のために画素を選択する手段が画素の垂直方向のライン又は水平方向ラインのいずれかを選択するために適合される場合、水平方向についてそれぞれ対応する手段と原理的に同じである。

本発明の好適な実施の形態に適用されたときに、本発明の基本的な新たな特徴を図示、記載及び指摘したが、開示される装置の形式及び詳細において、並びにそれらの動作において、記載された装置及び方法における様々な省略、置換及び変形は、本発明の精神から逸脱することなしに、当業者により行われる場合があることを理解されたい。本発明はＭＢに関して開示されたが、当業者であれば、本実施の形態で記載される方法及び装置は、たとえばブロック又はスーパーＭＢ（隣接するＭＢのグループ）といった他のビデオ符号化の単位にも適用される場合がある。同じ結果を達成するために実質的に同じやり方で実質的に同じ機能を実行するエレメントの全ての組み合わせは、本発明の範囲にある。ある記載された実施の形態から別の実施の形態へのエレメントの置換が十分に意図される。

本発明は例示を通して単に記載されたが、詳細の変更は本発明の範囲から逸脱することなしに行われることを理解されたい。明細書及び（必要に応じて）特許請求の範囲並びに図面で開示されるそれぞれの特徴は、独立して又は適切な組み合わせで提供される場合がある。特徴は、必要に応じて、ハードウェア、ソフトウェア、又は２つの組み合わせで実現される場合がある。

特許請求の範囲で現れる参照符号は、例示するためのものであって、請求項の範囲を限定する効果を有するものではない。

Claims (14)

1. ブロックに基づく符号化を使用して符号化されたビデオ画像におけるぼやけを測定する方法であって、
   ビデオ符号化の単位と、前記ビデオ符号化の単位におけるある位置とを選択するステップと、
   水平方向又は垂直方向である第一の方向において、選択されたビデオ符号化の単位のエッジでの局所的なぼやけのレベルを検出するステップと、
   前記位置の周囲の領域における局所的な分散を計算するステップと、
   前記局所的な分散が定義された範囲内にある場合、前記範囲内にある画素と該画素に隣接する画素とを比較することで、局所的なぼやけの値を計算するステップと、
   異なるビデオ符号化の単位からの局所的なぼやけの値を結合して、前記第一の方向の最終的な方向のぼやけを取得するステップと、
   局所的な分散を計算する前記ステップを繰返し、局所的なぼやけを計算し、前記第一の方向とは異なる方向であって、水平方向又は垂直方向である第二の方向について局所的なぼやけの値を結合して前記第二の方向の最終的な方向のぼやけを取得するステップと、
   前記第一の方向の最終的な方向のぼやけの値と前記第二の方向の最終的な方向のぼやけの値を結合して、現在の画像のぼやけの測定値である最終的なぼやけの値を取得するステップと、
   を含むことを特徴とする方法。
2. 前記ビデオ符号化の単位は、マクロブロックであるか又は２以上の隣接するマクロブロックである、
   請求項１記載の方法。
3. 前記ビデオ符号化の単位内の選択された位置は、マクロブロックの垂直方向のエッジの中心及び水平方向のエッジの中心である、
   請求項１又は２記載の方法。
4. 前記局所的な分散は、選択された位置を中心とする十字形の領域において計算される、
   請求項１乃至３の何れか記載の方法。
5. 前記十字形の領域は、矩形である、
   請求項４記載の方法。
6. 前記十字形の領域は、正方形であって、約１５画素の長さを有する、
   請求項４記載の方法。
7. ある方向の局所的なぼやけの値を計算する前記ステップは、前記方向に沿って局所的な最小の輝度値をもつ画素又は最大の輝度値をもつ画素を検出するステップを含み、
   前記局所的に最小の輝度値をもつ位置と前記局所的に最大の輝度値をもつ位置との間の距離は、前記方向の前記局所的なぼやけの値である、
   請求項１乃至６の何れか記載の方法。
8. 前記局所的に最小の輝度値又は前記局所的に最大の輝度値をもつ画素を検出する前記ステップにおいて、局所的な最小又は局所的な最大として、同じ輝度値をもつ２以上の隣接する画素が使用され、前記選択された位置から最も離れた画素は、検出エッジとして使用される、
   請求項７記載の方法。
9. 前記局所的な分散の定義された範囲は［２，２０］である、
   請求項７又は８記載の方法。
10. 前記局所的な水平方向のぼやけを計算するステップは、
    前記領域の画素をそれらの左側の隣接する画素と比較するステップと、
    前記それらの左側の隣接する画素の輝度値に等しい輝度値をもつ画素、前記それらの左側の隣接する画素の輝度値よりも高い輝度値をもつ画素、又は前記それらの左側の隣接する画素の輝度値よりも低い輝度値をもつ画素のそれぞれの合計を決定するステップと、
    以下の式
    

    

    に従って、簡略化された局所的な分散を計算するステップとを含み、
    Ｎ_higherは前記それらの左側の隣接する画素の輝度値よりも高い輝度値をもつ画素の合計であり、Ｎ_lowerは前記それらの左側の隣接する画素の輝度値よりも低い輝度値をもつ画素の合計であり、Ｎ_equalは前記それらの左側の隣接する画素の輝度値に等しい輝度値をもつ画素の合計であり、Ｎ_totalはＮ_higher，Ｎ_lower及びＮ_equalの合計である、
    請求項１乃至６の何れか記載の方法。
11. ブロックに基づく符号化を使用して符号化されたビデオ画像におけるぼやけを測定する装置であって、
    水平方向又は垂直方向を選択する第一の選択モジュールと、
    ビデオ符号化の単位と、前記ビデオ符号化の単位内のある位置を選択する第二の選択モジュールと、
    選択された方向において、選択されたビデオ符号化の単位のエッジでの局所的なぼやけのレベルを検出する検出モジュールと、
    選択された方向に従って前記位置の周囲の領域における局所的な分散を計算する第一の計算モジュールと、
    前記局所的な分散が定義された範囲内にある場合に、前記領域内の画素と前記選択された方向において該画素に隣接する画素とを比較することで、前記局所的なぼやけを計算する第二の計算モジュールと、
    選択された方向の局所的なぼやけの値を結合して、前記選択された方向の最終的な方向のぼやけの値を取得する第一の結合モジュールと、
    最終的な水平方向のぼやけの値と最終的な垂直方向のぼやけの値とを結合して、現在の画像のぼやけの測定値である最終的なぼやけの値を取得する第二の結合手段と、
    を備えることを特徴とする装置。
12. 前記局所的なぼやけを計算する第二の計算モジュールは、現在選択されている方向に沿って局所的な最小の輝度値又は局所的な最大の輝度値をもつ画素を検出する手段を有し、
    前記局所的な最小の輝度値をもつ位置と前記局所的な最大の輝度値をもつ位置との間の距離は、方向の局所的なぼやけの値である、
    請求項１１記載の方法。
13. 局所的な最小の輝度値又は局所的な最大の輝度値をもつ画素を検出する前記ステップにおいて、同じ輝度値をもつ２以上の隣接する画素が局所的な最小又は局所的な最大として使用され、
    前記選択された位置から最も離れた画素は、検出エッジとして使用される、
    請求項１２記載の方法。
14. 前記局所的なぼやけを計算する第二の計算モジュールは、
    前記領域の画素をそれらの左側の隣接する画素と比較する比較手段と、
    前記それらの左側の隣接する画素の輝度値に等しい輝度値をもつ画素、前記それらの左側の隣接する画素の輝度値よりも高い輝度値をもつ画素、又は前記それらの左側の隣接する画素の輝度値よりも低い輝度値をもつ画素のそれぞれの合計を決定する決定手段と、
    以下の式
    

    

    に従って、簡略化された局所的な分散を計算する計算手段を有し、
    Ｎ_higherは前記それらの左側の隣接する画素の輝度値よりも高い輝度値をもつ画素の合計であり、Ｎ_lowerは前記それらの左側の隣接する画素の輝度値よりも低い輝度値をもつ画素の合計であり、Ｎ_equalは前記それらの左側の隣接する画素の輝度値に等しい輝度値をもつ画素の合計であり、Ｎ_totalはＮ_higher，Ｎ_lower及びＮ_equalの合計である、
    請求項１１記載の装置。

Images