JP2006507775A - 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置 - Google Patents

Abstract

圧縮画像シーケンス、例えば、ＭＰＥＧ（モーション・ピクチャー・エキスパート・グループ）方式圧縮画像シーケンスのノーリファレンス品質測定を実施する方法及び装置である。本発明は、個々の画像フレーム（或いは、インターレース式ビデオの場合にはフィールド）から直接取り出された画像トリビュートの組から作成された圧縮画像シーケンスのためのＮＲＱ（ノーリファレンス品質）測定を開示する。これらのトリビュートは二つの大きなカテゴリー、すなわち、アーティファクトの強度（アーティファクト指標）を測定するカテゴリーと、圧縮画像シーケンスの品質を制御するため圧縮方法によって使用されるカテゴリーとに分割される。

Description

関連出願

[0001]本願は、２００２年１１月２５日に出願された米国仮特許出願第６０／４２８，８７８号に基づく優先権を主張するものであり、この米国仮特許出願の全体が参照により本明細書に組み入れられる。

[0002]また、本発明は、ＮＩＭＡ／ＰＣＥの契約番号ＮＭＡ２０２−９７−Ｄ−１０３３に基づいて米国政府の支援で行われた。米国政府は本発明に関して一定の権利を保有する。

発明の分野

[0003]本発明は、一般に、基準画像シーケンスを使用することなく圧縮画像シーケンスの品質を測定する方法及び装置に関する。より詳細には、ノーリファレンス品質（ＮＲＱ）測定が圧縮画像シーケンスから直接的に取り出されたトリビュートを計算することにより実施される。

従来技術の説明

[0004]デジタルビデオテクノロジーの急速な商品化は、生産及び販売の全体に亘ってビデオ品質の自動測定の必要性を増大させた。原画像シーケンスは処理されること、例えば、原画像シーケンスのサイズを縮小するために圧縮されることがよくある。残念なことに、利用可能な多数の圧縮方法が存在し、それぞれの方法は品質が異なる圧縮画像シーケンスを生成する。

[0005]現在、画像シーケンスの品質を測定する最も効果的な方法は、画像シーケンスと、処理、圧縮、配信又は蓄積される前の原画像シーケンスのような基準画像シーケンスとの差を測定することである。一方、圧縮画像シーケンスを解凍して、それを原画像シーケンスと比べることもできる。その差異は、画像シーケンス自体の画質を表し、また同時に、圧縮画像シーケンスを生成するため利用された圧縮方法の品質を間接的に表す。しかし、ビデオ放送、ストリーミング、又はダウンローディングのような多数のアプリケーションに対し、基準画像シーケンスは、一般にエンドユーザに公開されていない。その上、基準ベースのアプローチは二つの画像の間の差の可視性を測定するが、画質自体を測定しない。

[0006]したがって、基準画像シーケンスを必要とすることなく、画像シーケンスの品質を正確に測定する方法及び装置、すなわち、画像シーケンスのノーリファレンス品質（ＮＲＱ）測定方法が当分野では必要である。

発明の概要

[0007]一実施形態において、本発明は、圧縮画像シーケンス、例えば、ＭＰＥＧ（ムービング・ピクチャー・エキスパート・グループ）圧縮画像シーケンスのノーリファレンス品質測定を実施する方法及び装置を開示する。圧縮ビデオを使用する殆どのエンドユーザは圧縮前の原画像シーケンスにアクセスできない。したがって、ＮＲＱ測定は受信した圧縮画像シーケンスの品質を測定するユーザに有益である。

[0008]本発明は、個々の画像フレーム（又はインターレース式ビデオの場合にはフィールド）から直接取り出された画像トリビュートの組から作成された圧縮画像シーケンスのＮＲＱ測定を開示する。これらのトリビュートは二つの大きなカテゴリー、すなわち、アーティファクトの強度（アーティファクト指標）を測定するカテゴリーと、圧縮画像シーケンスの品質を制御するため圧縮方法によって使用されるカテゴリーとに分割される。

[0009]例えば、ＭＰＥＧ圧縮画像シーケンスは、ブロッキング、リンギング、又はぼけのようなアーティファクトの数が制限されるので、１つ以上のこれらのアーティファクトの基準を用いない測定は、シーケンス全体のＮＲＱの特性として最初に定めることができる。さらに、（ビットレート、量子化テーブル、品質係数のような）ＭＰＥＧの符号化パラメータ、及び量子化されたＤＣＴ係数は、また、圧縮ビデオの品質に直接的に関係する。したがって、符号化されたビットストリームが利用可能であるならば、符号化されたビットストリームの符号化パラメータはＮＲＱ測定の特性としても使用される。これらの符号化パラメータが利用できないならば、それらは推定され、それらの推定値がＮＲＱの特性として使用される。

[0010]最後に、これらの特性を組み合わせることにより、圧縮画像シーケンスのＮＲＱが定められる。ＮＲＱのパラメータは、特定の圧縮方法、例えば、ＭＰＥＧを使用して圧縮された典型的な画像シーケンスを用いる学習を通じて推定され、それらの主観品質格付けは心理学的実験によって得られる。

[0011]上記の本発明の特徴が獲得される様態が詳細に理解できるように、上記の簡単に要約された本発明を、添付図面に例示されたそれらの実施形態を参照することによっての特に具体的に説明する。

[0012]しかし、添付図面は本発明の典型的な実施形態だけを例示するため、本発明の範囲の制限であると見なされるべきではなく、本発明はその他の同様に効果的な実施形態を認めるものである。

本発明の詳細説明

[0024]画像シーケンスの一般的なＮＲＱ測定は望ましいが、確立することが非常に難しく、その理由は画像シーケンスの品質がその内容だけでなく、自然物の形状、色、テクスチャ及び動作振舞いについての人間の世界認識にも依存するためである。しかし、画像シーケンスに適用された画像処理方法が既知であるならば、処理された画像シーケンスの特性、及び／又はその処理によって取り込まれた特性を得ることが可能である。したがって、ＮＲＱ測定がそれ相応に体系化される。

[0025]本明細書では、ＭＰＥＧ圧縮画像シーケンスのＮＲＱを測定する方法及び装置が明らかにされる。現在、ＭＰＥＧ圧縮は、最先端のビデオ圧縮テクノロジーであり、映像蓄積及び配信のため広く使用されている。本発明はＭＰＥＧ符号化に関して記載されているが、本発明はこれだけに限定されない。すなわち、本発明は、Ｈ．２６１、Ｈ．２６３、ＪＶＴ、ＭＰＥＧ２、ＭＰＥＧ４、ＪＰＥＧ、ＪＰＥＧ２０００などのようなその他の圧縮方法と共に動作するように適合させることが可能である。

[0026]さらに、本発明は、画像シーケンスの圧縮の文脈の範囲内で説明される。しかし、本発明はこれだけに限定されない。他のタイプの画像処理を原入力画像シーケンスに適用し、画像シーケンスの品質に影響を与えることが可能である。これらの画像処理は画像シーケンスの圧縮を含まないことがあり、例えば、画像シーケンスの伝送ではノイズが取り込まれる。本発明は、基準画像又は基準画像シーケンスを必要とすることなく、「処理された」画像シーケンスの品質を測定するため広範囲に適用される。最後に、本発明は単一画像又は一つの画像シーケンスにも適用され得る。

[0027]図１は本発明の典型的なノーリファレンス品質（ＮＲＱ）測定システム１００を表すブロック図である。本実施例では、ノーリファレンス品質（ＮＲＱ）測定システム１００は汎用コンピュータを用いて実施される。特に、（ＮＲＱ）測定システム１００は、（ＮＲＱ）測定モジュール１４０、中央処理装置（ＣＰＵ）１１０、入出力（Ｉ／Ｏ）装置１２０、及びメモリユニット１３０を具備する。

[0028]Ｉ／Ｏ装置は、キーボード、マウス、ディスプレイ、マイクロホン、モデム、受信機、送信機、例えば、ディスクドライブ、光ドライブ、フロッピードライブのような記憶装置などを具備する。すなわち、Ｉ／Ｏ装置は、入力が（ＮＲＱ）測定システム１００に供給されることを可能にする装置と、（ＮＲＱ）測定システム１００からの出力が蓄積、表示、又はさらに処理されることを可能にする装置とを広く含む。

[0029]（ＮＲＱ）測定モジュール１４０は、パス１０５上で入力画像シーケンス、例えば、圧縮画像シーケンスを受信し、参照画像シーケンスの必要なしに画像シーケンスの品質を決定する。一実施形態において、（ＮＲＱ）測定モジュール１４０は、画像シーケンスの全体的な品質を決定するためまとめて推定される複数の画像指標を生成する。入力画像シーケンスはフレーム又はフィールドフォーマットの画像を含む。（ＮＲＱ）測定モジュール１４０及び得られた画像指標は図２に関連してさらに説明される。

[0030]中央処理装置１１０は、一般にノーリファレンス品質（ＮＲＱ）測定システム１００内の計算処理を実行する。一実施形態において、中央処理装置１１０はＩ／Ｏ装置からメモリユニット１３０へソフトウェアをロードし、メモリユニットでＣＰＵがソフトウェアを実行する。中央処理装置１２０はまた入出力装置１２０と信号を送受信する。一実施形態において、（ＮＲＱ）測定モジュール１４０の方法及びデータ構造は、記憶装置から取り出されメモリ１３０にロードされた１つ以上のソフトウェアアプリケーションとして実施される。このようにして、（ＮＲＱ）測定モジュール１４０の方法及びデータ構造はコンピュータ読み取り可能な媒体に記憶される。

[0031]或いは、上記の（ＮＲＱ）測定モジュール１４０は、通信チャネルを介してＣＰＵ１１０に接続された物理装置として実施される。したがって、（ＮＲＱ）測定モジュール１４０は、ソフトウェアとハードウェアの組み合わせによっても、すなわち、特定用途集積回路（ＡＳＩＣ）を使用して表現できる。

[0032]図２は本発明の典型的なノーリファレンス品質（ＮＲＱ）測定モジュール１４０を表すブロック図である。ノーリファレンス品質（ＮＲＱ）測定モジュール１４０は、領域セグメンテーションモジュール２１０、エッジ検出モジュール２２０、変換モジュール２３０、リンギング測定モジュール２４０、ブロック歪み又は量子化測定モジュール２４２、シャープネス測定モジュール２４４、解像度測定モジュール２４６、特徴平均化モジュール２５０、線形予測モジュール２６０及びＶＱＭ平均化モジュール２７０を具備する。

[0033]動作中に、入力画像シーケンス、例えば、圧縮画像シーケンスはパス２０５で受信される。画像（フレーム又はフィールド）は領域セグメンテーションモジュール２１０へ転送され、そこで一様領域及び非一様領域が検出される。同様に、画像（フレーム又はフィールド）はエッジ検出モジュール２２０、例えば、キャニー（Ｃａｎｎｙ）エッジ検出器へ転送され、そこで画像内のエッジが検出される。最後に、画像（フレーム又はフィールド）はまた変換モジュール、例えば、高速フーリエ変換（ＦＦＴ）モジュールへ転送され、そこで変換が画像に適用される。

[0034]次に、必要とされる情報に依存して、モジュール２１０、２２０及び２３０からの出力が４個のアーティファクト測定モジュール２４０−２４６へ供給される。これらのアーティファクトモジュールの機能は後述される。

[0035]次に、アーティファクト指標が１組のフレーム全体、例えば、３０フレームに亘って平均化される。さらに、分散がモジュール２５０によって生成される。

[0036]次に、モジュール２６０及び２７０において全体的なノーリファレンス品質（ＮＲＱ）指標又はビデオ品質指標（ＶＱＭ）を生成するため、線形予測が平均及び分散に適用される。線形予測モジュール２６０は、一般にフレーム又はフィールドに対する結果を生成し、一方、平均化モジュール２７０は複数のフレーム又はフィールドに亘る平均を生成するため使用される。

[0037]図３は本発明によるリンギングアーティファクト指標を生成する方法３００のフローチャートを示す。リンギングアーティファクトは、ＭＰＥＧ圧縮で使用される高周波成分の量子化誤差が原因となって生じる。それは一様な背景上の鮮明なエッジの周りに出現することがよくあり、そこで鮮明なエッジは大きい高周波成分を有し、一様な背景はアーティファクトをより見えやすくする。したがって、本発明は、一様領域と鮮明なエッジの周りの同じ領域のエリアとの間のアクティビティの比を計算する、リンギングアーティファクトの測定を開示する。読者は本開示内容をより良く理解するために図３及び４を同時に参照することが奨励される。

[0038]特に、方法３００はステップ３０５で始まり、ステップ３１０へ進み、そこで画像が一様領域及び非一様領域に分割される。一様領域は図４においてＵ_１ ４１０_１及びＵ_２ ４１０_２として示される。すなわち、一様領域の連結成分はＵ_ｉとして示される。

[0039]ステップ３２０において、方法３００は画像４００の範囲内で１つ以上のエッジ４２０を識別する。エッジ検出は、画像処理の当分野において周知である。エッジ検出の例は、Ａ．Ｋ．Ｊａｉｎによる「Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」、Ｐｒｅｎｔｉｃｅ Ｈａｌｌｓ、１９８９から得られ、又はＣａｎｎｙエッジ検出については、Ｊ．Ｃａｎｎｙによる「Ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ ｔｏ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ＆ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ．ＰＡＭＩ−８、Ｎｏ．６、Ｎｏｖ．１９８６、ｐｐ．６７９−９８、ＵＳＡから得られる。

[0040]ステップ３３０において、方法３００は、エッジに隣接した領域Eを定義する。方法３００は、エッジ画素ではないがエッジ４２０に隣接した画素４３０の組（例えば、８×８型ブロックのエッジ画素から離れている７個未満の画素又は１６×１６型ブロックのエッジ画素から離れている１５個未満の画素）としてＥを定義する。注意すべきことは、エッジ画素から離れている画素の個数は特定の圧縮方法によって採用されたブロックサイズに依存させ得ることである。方法３００はまたＥとＵ_ｉの交点のｊ番目の連結成分をＥ_ｉ，ｊのように表す。

[0041]ステップ３４０において、方法３００はＥ_ｉ，ｊの分散及びＵ_ｉの分散を計算する。

[0042]ステップ３５０において、方法３００は、リンギング指標を得るため、Ｅ_ｉ，ｊの分散及びＵ_ｉの分散を適用する。一実施形態では、Ｅ_ｉ，ｊのリンギングアーティファクト指標であるＲ（Ｅ_ｉ，ｊ）は、Ｅ_ｉ，ｊの画素の個数がスレッショルド（しきい値）Ｍよりも大きいならば、Ｕ_ｉの分散によって正規化されたＥ_ｉ，ｊの分散である。画素（ｉ，ｊ）に対して、

である。

[0043]Ｒ_ｉ，ｊが大きくなるほど、リンギングが出現する可能性が高くなる。その上、リンギングアーティファクト指標はまたリンギングアーティファクトの場所を示すマップを生成する。フレーム全体のリンギングアーティファクト指標Ｒはすべてが非零のＲ_ｉ，ｊのＱ−ノルムであり、ここでＱ＝１である。Ｑ＝ｑによるＱ−ノルムの定義は以下のように表現される。

[0044]すなわち、本発明は画像の範囲内のエッジに非常に接近した領域ではより多くのノイズを含む傾向があるという観測を考慮する。したがって、エッジに隣接した領域の分散が対応した一様領域の分散と実質的に異なるならば、大きいリンギングアーティファクト指標Ｒが生じる。このような大きいリンギングアーティファクト指標Ｒは符号化アルゴリズムの質が悪いことを表し、この符号化アルゴリズムはまた品質が悪い圧縮画像シーケンスを生成する。これに対して、より優れた圧縮アルゴリズムは、顕著な変更を加えることなくエッジに接近する一様領域を生成するはずであり、例えば、一様領域４１０_１の分散によって除算されたエッジに隣接した領域４３０_１の分散は値１に接近する。

[0045]或いは、エッジに隣接した領域４３０は、ある画素の周辺に中心が置かれたブロック又はウィンドウとして定義される。この代替的なアプローチは局所的な、すなわち、画素に関するリンギング測定を行うため使用される。例えば、定義は次の通りである。
Ｕ_ｋはｋ番目の一様領域であり、
Ｅ_ｋはＵ_ｋ内の強い（１個又は複数の）エッジに隣接した（例えば、４画素だけ離れた）領域であり、Ｅ_ｋは形態学的操作を使用して計算でき、
Ｅ_ｋ，ｊはＥ_ｋのｉ番目の連結成分であり、
Ｒ（ｉ，ｊ，ｎ）は画素に関する局所リンギング指標であり、ここで、σ（ｉ，ｊ；８）は（ｉ，ｊ）の８近傍であり、

である。さらに、Ｒ（ｎ）、すなわち、フレームのリンギング指標はすべての非零ローカルリンギング指標のＱ−ノルムであり、Ｑ＝４である。なお、任意のサイズのウィンドウを使用可能である。

[0046]図５は本発明によるブロッキング又は量子化アーティファクト指標を生成する方法５００のフローチャートである。リンギングアーティファクトの他に、ブロックキング又は量子化アーティファクトはＭＰＥＧ圧縮に関連した別の重大なアーティファクトである。すなわち、変換係数がある圧縮方法では頻繁に量子化される。その結果として、隣接したブロックの周囲に、特に、ブロックのコーナーにアーティファクトが現れる。

[0047]方法５００はステップ５０５で始まり、ステップ５１０へ進み、そこで方法５００は各画素の水平コントラストを計算する。例えば、各画素において、２個の隣接した画素の間のコントラストが計算され、例えば、２個の隣接した画素の間のルミナンス値は２個の画素の平均値によって除算される。例えば、水平コントラストは次のように表現される。

[0048]ステップ５１５において、方法５００は１つ以上のフィルタリング関数を適用する。例えば、水平コントラスト値は以下の通りフィルタ処理される。

[0049]したがって、これらのエッジ及びコーナーの可視性は、画像シーケンスの品質を推定する目的のため適切に評価されるべきである。例えば、エッジ及びコーナーが非常に顕著であるならば（非常に強いコントラストをもつならば）、実際には画像特徴であり、アーティファクトではない可能性がある。同様に、エッジ及びコーナーが余り顕著ではなく認知できないならば、品質問題として注目する必要はない。換言すると、量子化アーティファクトは低周波成分の量子化誤差を原因として生じるので、対応する水平又は垂直コントラストは一般に上側スレッショルドよりも小さい。また、量子化アーティファクトは可視的であるので、対応する水平又は垂直コントラストは下側スレッショルドよりも大きくする必要がある。したがって、上側スレッショルドＴ_ｕｐよりも大きいか、又は下側スレッショルドＴ_ｌｏｗよりも小さいすべてのコントラストが量子化アーティファクトを原因として生じる可能性はなく、零に設定される。なお、Ｔ_ｕｐ及びＴ_ｌｏｗは特定の実施形態に応じて選択され、０．２５及び０．０４に限定されないことに注意されたい。

[0050]さらに、コントラスト値は低速で変化するエリア及び弱いラインを取り除くためにフィルタ処理される。例えば、水平コントラスト値は以下の通りフィルタ処理される。

ここで、水平コントラストは、単独の極大であるならば増加する。

[0051]量子化アーティファクトに加えて、傾斜領域又は弱いラインはまた２個のスレッショルドの間にコントラストをもつ。これらの信号を除去するため、式（５）の画素に関するマスキングが水平コントラストと垂直コントラストに別々に独立して適用される。このステップでは、このマスキングは、一例として水平コントラストだけに関して使用されるように記述されている。Ｃ^ｈ _ｉ，ｊ及びＤ^ｈ _ｉ．ｊがそれぞれ画素（ｉ，ｊ）における水平コントラスト及びマスクされたコントラストであるとする。マスキングは、１次元における６近傍の絶対値よりも遙かに大きい絶対値をもつコントラストだけを強調する。最大限の強調はσによって定められる。傾斜領域及び弱いラインに対して、一般に同様又はそれ以上の絶対値を有する近傍が存在する。したがって、それらは強調されない。

[0052]ステップ５２０において、方法５００はスライディングウィンドウ、例えば、８×８型のブロックサイズを利用する圧縮方法と共に使用するための１×８型のスライディングウィンドウの期間に亘ってコントラスト値を合計する。例えば、Ｓ^ｈ _ｉ．ｊは１×８型スライディングウィンドウの期間に亘るＤ^ｈ _ｉ，ｊの合計である。ブロッキングアーティファクトだけが８×８型又は１６×１６型のブロック境界を生じ、量子化アーティファクトの最も顕著な特徴はブロックコーナーであるので、本発明は、ビデオフレーム内の考えられるすべてのコーナーの可視性を測定するため以下のメトリックを使用する。最初に、水平（垂直）コントラストはオーバーラップ形式で１×８（８×１）の期間に亘って加算される。方法５００は１×８型ウィンドウに亘るマスクされた水平（垂直）コントラストの合計をＳ^ｈ _ｉ，ｊ（Ｓ^ｖ _ｉ，ｊ）として決める。

[0053]ステップ５２５−５３５は、垂直コントラストを計算するためステップ５２５−５３５が適用される点を除いて、ステップ５１５−５２０と全く同じステップである。

[0054]ステップ５４０において、方法５００は量子化アーティファクト指標を計算する。すなわち、各画素（ｉ，ｊ）において、４個のコーナーの可視性が計算され、４個のうちの最大値がＶ_ｉ，ｊに割り当てられる。例えば、量子化アーティファクト指標は以下の通り表現される。

[0055]図６はこの最大値関数を表す。Ｖ_ｉ，ｊが大きくなるほど、量子化アーティファクトが発生する可能性は高くなる。その上、量子化アーティファクト指標はまたあらゆる量子化アーティファクトの場所を示すマップを生成する。フレーム全体に対する量子化アーティファクト指標Ｖは、局所分散によって正規化されたすべての非零Ｖ_ｉ，ｊのＱ−ノルムである。

式中、Ｖ_ｉ，ｊは（ｉ，ｊ）に中心が置かれた９×９型近傍の分散である。

[0056]図７は本発明による解像度アーティファクト指標を生成する方法７００のフローチャートである。ＭＰＥＧ圧縮画像シーケンスはまたぼけによる影響も受ける。すなわち、画像の現在の解像度を判定することが役立つ。本発明は、個別のフレームのそれぞれの周波数解析を用いて解像度アーティファクトを測定する方法を開示する。

[0057]方法７００はステップ７０５で始まり、ステップ７１０へ進み、そこで変換、例えば、高速フーリエ変換（ＦＦＴ）が画像全体に適用される。Ｆ_ｕ，ｖは現在フレームのＦＦＴの振幅を表すことにする。

[0058]ステップ７２０において、方法７００は、（ｕ_０，ｖ_０）をＤＣインデックスとして、半径方向周波数ｄにおけるすべての方向の振幅の平均Ｍ（ｄ）を定義し計算する。これは、図８に示される。例えば、Ｍ（ｄ）は次のように表現される。

[0059]ステップ７３０において、この方法は画像の解像度アーティファクト指標を計算する。例えば、解像度の指標Ｅは次のように表現される。

[0060]このＥは、累積された中間乃至高周波振幅と累積された低周波振幅との間の比を評価する。Ｅが小さいほど、現在フレームがより低周波成分を含み、ぼけて見えることを表す。これは図９に示されているようなプロファイルに例示される。フレームｎの解像度θ（ｎ）は、ＭＴＦより下の面積の合計が、ＭＴＦより下側の総面積の、例えば、（経験的に決定された）７５％に達するときの周波数である。画像がぼけているならば、周波数がＤＣに接近するので、曲線は急峻に降下しないが、一方、画像がぼけていないならば、周波数がＤＣに接近しないので、曲線は急峻に降下する。

[0061]図１０は本発明によるシャープネスアーティファクト指標を生成する方法１０００のフローチャートである。シャープネスは画像内のエッジのシャープネスの指標であり、この場合、シャープネスはエッジ強度として定義される。換言すると、傾斜変化の高い変化率はシャープネスを表していると判断される。別の状況では、画像内容におけるエッジのシャープネスは、圧縮アルゴリズムが画像内容の一部であるエッジをぼかすときに失われる。

[0062]方法１０００はステップ１００５で始まり、ステップ１０１０へ進み、そこで方法１０００は画像内のエッジを検出する。エッジ検出はＣａｎｎｙエッジ検出器を用いて実施される。

[0063]ステップ１０２０において、方法１０００はシャープネスアーティファクト指標としてエッジ強度を測定する。特に、Ｓ（ｎ）は、エッジ点において、例えば、Ｃａｎｎｙエッジ検出器を用いることにより、エッジ強度の平均値として定義される。ｓ_ｉ，ｊはＣａｎｎｙエッジ検出器によって計算された画素（ｉ，ｊ）におけるエッジ強度であるとする。ｗ_ｉ，ｊは、ｓ_ｉ，ｊ＞１５であるならば１、それ以外の場合には０であるとする。このようにして、Ｓ（ｎ）は次のように表現される。

[0064]したがって、入力画像シーケンスの範囲内の各フレーム又は各フィールドに対して、本発明は最大で４個までのアーティファクト指標を生成可能である。なお、生成されるアーティファクト指標の個数は特定の実施の必要条件に依存することに注意すべきである。したがって、全部で４個のアーティファクト指標、又はこれらの４個のアーティファクト指標の部分集合だけを利用することが可能である。

[0065]一実施形態において、１組のフレームに対して、例えば、３０フレームのスライディングウィンドウに対して、本発明はこれらの４個のアーティファクト指標の平均及びこれらの４個のアーティファクト指標の分散を取得する。例えば、Ｑ＝１によるＱ−ノルム（平均）は、ｍ番目のスライディングウィンドウから計算された平均特徴による将来の平均化のため使用される。例えば、平均は次のように表現される。

[0066]同じスライディングウィンドウに亘る特徴値の分散も同様に計算される。

[0067]次に、これらの平均及び分散が以下に説明する予測に適用される。

[0068]図１１はアーティファクト指標と符号化パラメータを組み合わせるノーリファレンス品質（ＮＲＱ）測定予測値を生成する方法１０００を説明する図である。すなわち、図１１は、符号化パラメータがノーリファレンス品質（ＮＲＱ）測定予測値を改良すべくアーティファクト指標を補うため得られる選択可能な方法を例示する。例えば、アーティファクト指標以外に、符号化パラメータ及び量子化ＤＣＴ係数もまたＭＰＥＧ圧縮画像シーケンスの品質に密接に関連付けられる。目標ビットレート、量子化テーブル及び量子化係数のような符号化パラメータは、圧縮画像品質を制御するため使用される。量子化テーブル、量子化係数及び量子化されたＤＣＴ係数はまたアーティファクト指標の精度をさらに改善するためにも使用される。

[0069]方法１１００はステップ１１０５で始まり、ステップ１１１０へ進み、そこで１個以上のアーティファクト指標が生成される。これらのアーティファクト指標の生成については既に説明した。

[0070]ステップ１１２０において、符号化パラメータ又は変換係数、例えば、量子化されたＤＣＴ係数が符号化されたビットストリームから得られる。符号化されたビットストリームが利用可能であるとき、これらの符号化パラメータ及び量子化されたＤＣＴ係数自体もまたＮＲＱ計算のための特徴として使用される。すなわち、符号化パラメータ及び変換係数は、このノーリファレンス品質（ＮＲＱ）測定予測を補助するために役立つ。

[0071]例えば、隣接する量子化されたＤＣ係数は、量子化レベルと一体となって、実際のブロッキングアーティファクトを、ブロッキングアーティファクトのように見える画像特徴から識別するために役立つ。例えば、量子化スケールが特に大きいならば、本発明は、任意の知覚されたアーティファクトが実際にアーティファクトであることを判定する。或いは、量子化スケールがかなり小さいならば、本発明は、任意の知覚されたアーティファクトが原画像シーケンスの単に実際の特徴であること、ならびに、画像シーケンスの品質が実際に許容可能であることを判定する。

[0072]したがって、量子化されたＡＣ係数は実際のリンギングアーティファクトをテクスチャから識別するために役立つ。同様に、量子化スケールが特に大きいならば、本発明は、任意の知覚されたアーティファクトが実際にアーティファクトであることを判定する。或いは、量子化スケールがかなり小さいならば、本発明は、任意の知覚されたアーティファクトが原画像シーケンスの単に実際の特徴であること、ならびに、画像シーケンスの品質が実際に許容可能であることを判定する。

[0073]或いは、ビットストリームが利用不能であるとしても、符号化パラメータ及び量子化されたＤＣＴ係数は依然として推定可能である。例えば、ビットレートは、画像シーケンスの条件付きエントロピーを計算すること、又は復号化されたシーケンスを非常に高いビットレートで再度符号化することによって推定可能である。同様に、量子化テーブルは、ＭＰＥＧを使用して再圧縮されたシーケンスの量子化されたＤＣＴ係数のヒストグラムを用いて推定可能である。

[0074]ステップ１１３０において、方法１１００は予測値を生成する。例えば、リンギング、量子化、解像度及びシャープネスアーティファクトの指標を獲得した後、シーケンス全体のノーリファレンス品質（ＮＲＱ）測定は、これらのアーティファクト指標の関数として定式化される。例えば、それは、４個の指標及び定数項の１次の項とクロス項との線形結合である。Ｒ、Ｖ、Ｅ及びＳは、シーケンス全体に亘る、平均リンギングアーティファクト指標、平均量子化アーティファクト指標、知覚され平均化された解像度アーティファクト指標、及び平均シャープネスアーティファクト指標であるとする。このとき、ＮＲＱは次のように表現される。

[0075]式中、ａ_ｉ、ｉ＝１，２，．．．，１１は極小の平均２乗誤差推定を使用して学習画像から計算される。

[0076]一実施例として、圧縮シーケンスのビットレートＢが利用可能であるとき、ＮＲＱはまた次のように計算できる。

[0077]式中、ａ_ｉ、ｉ＝１，２，．．．，１５はまた極小の平均２乗誤差推定を使用して学習画像から計算された重みである。

[0078]なお、本発明は、画像シーケンスを特性の異なる時空間領域に分割し、相違する領域のＮＲＱを、その領域の性質に応じて測定された種々のノーリファレンスを使用して測定する方法を実施するために一般化可能であることに注意する必要がある。例えば、画像シーケンスは、次の領域に分割される。
時空間一様領域、例えば、ブロッキング、バンディング指標が計算可能である。
時空間テクスチャ領域、例えば、時間的フリッキング指標が計算可能である。
高速移動時間領域、例えば、動き不連続性が計算可能である。
静止エッジのような静止した高空間コントラスト領域、例えば、リンギング測定。
移動するが追跡可能である高空間コントラスト領域、予測可能な振る舞いを伴う移動エッジ、例えば、リンギング／フリッキング測定。
移動し追跡不能である高空間コントラスト領域、例えば、一貫した動きの振る舞い。

[0079]或いは、本発明は、処理されたビデオシーケンスから仮想基準ビデオシーケンスを推定し、次に、基準が利用可能であるかのように、処理されたビデオのＮＲＱを計算するため仮想基準を真の基準として使用する方法を実施するため適用可能である。すなわち、様々な画像処理ステップが画像シーケンスの品質を向上させるため使用され得る。このような処理が一旦完了させられると、新たに処理された画像シーケンスを仮想「基準」画像シーケンスとして使用することが可能になる。

[0080]例えば、以下の仮想基準ビデオ生成アルゴリズムが利用可能である。
リンギング除去、ブロッキング除去、ぼけ除去、のようなノイズ除去アルゴリズムが仮想基準を生成するため使用される。
学習に基づく仮想基準生成。原ビデオの組とそれらの対応した処理済みのビデオシーケンスからの線形／非線形マッピング関数の学習。非線形関数のうちの一つは人工の神経回路網でもよい。

[0081]仮想基準が計算された後、Ｓａｒｎｏｆｆ社のＪＮＤｍｅｔｒｉｘのようなビデオ品質メトリックスが、仮想基準と処理済みのビデオシーケンスを比較することによりビデオ品質を計算するため使用される。

[0082]なお、本発明は様々な方法におけるスレッショルドの使用を記載することに注意されたい。これらのスレッショルドは特定の実施上の必要条件を満たすように選択される。さらに、これらのスレッショルドは学習中に推論可能であり、ここで、評価者はその結果を評価し、品質格付け又はスコアを割り当てる。次に、上記の方法のそれぞれについて適切なスレッショルドを決定するため、経験的なプロセスにおいてこれらの格付け及びスコアを判断することが可能である。

[0083]前述の説明は本発明の具体的な実施形態を対象としているが、本発明のその他の、及びさらなる実施形態は本発明の基本的な範囲を逸脱することなく創案され得るものである。

汎用コンピュータを用いて実施された本発明の典型的なノーリファレンス品質（ＮＲＱ）測定システムを表すブロック図である。 典型的なノーリファレンス品質（ＮＲＱ）測定モジュールを表すブロック図である。 本発明によるリンギングアーティファクト指標を生成する方法のフローチャートである。 一様な領域、エッジに隣接した領域、及び画像内のエッジを説明する図である。 本発明によるブロッキング又は量子化アーティファクト指標を生成する方法のフローチャートである。 本発明による量子化アーティファクト指標を生成するため適用されるような最大値関数を説明する図である。 本発明による解像度アーティファクト指標を生成する方法のフローチャートである。 ＦＦＴが画像に適用されるときに垂直周波数及び水平周波数の方向を説明する図である。 平均化関数のプロファイルを説明する図である。 本発明によるシャープネスアーティファクト指標を生成する方法のフローチャートである。 ノーリファレンス品質（ＮＲＱ）測定予測値を生成する方法を説明する図である。

Claims (11)

1. 処理された画像の品質を評価する方法であって、
   少なくとも１個のアーティファクト指標を生成するステップと、
   前記少なくとも１個のアーティファクト指標から、前記処理された画像の品質指標を表すノーリファレンス品質指標を生成するステップと
   を含む方法。
2. 前記ノーリファレンス品質指標が前記処理された画像から直接的に生成される、請求項１記載の方法。
3. 前記少なくとも１個のアーティファクト指標がリンギングアーティファクト指標を含む、請求項１記載の方法。
4. 前記少なくとも１個のアーティファクト指標が量子化アーティファクト指標を含む、請求項１記載の方法。
5. 前記少なくとも１個のアーティファクト指標が解像度アーティファクト指標を含む、請求項１記載の方法。
6. 前記少なくとも１個のアーティファクト指標がシャープネスアーティファクト指標を含む、請求項１記載の方法。
7. 圧縮画像シーケンスから少なくとも１個の符号化パラメータを得るステップをさらに含み、前記ノーリファレンス品質指標が前記少なくとも１個のアーティファクト指標及び前記少なくとも１個の符号化パラメータから生成される、請求項 記載の方法。
8. 前記少なくとも１個のアーティファクト指標が特性の異なる時空間領域に応じて生成される、請求項１記載の方法。
9. 前記処理された画像から直接的に仮想基準画像を生成するステップをさらに含む、請求項１記載の方法。
10. 処理された画像の品質を評価する装置であって、
    少なくとも１個のアーティファクト指標を生成する手段と、
    前記少なくとも１個のアーティファクト指標から、前記処理された画像の品質指標を表すノーリファレンス品質指標を生成する手段と
    を備える装置。
11. プロセッサによって実行されたとき前記プロセッサに
    少なくとも１個のアーティファクト指標を生成するステップと、
    前記少なくとも１個のアーティファクト指標から、処理された画像の品質指標を表すノーリファレンス品質指標を生成するステップと
    を実行させる命令を含む複数の命令が記憶されたコンピュータ読み取り可能な媒体。

Images