JP2006527948A

JP2006527948A - ビデオ品質評価におけるエッジ解析

Info

Publication number: JP2006527948A
Application number: JP2006516377A
Authority: JP
Inventors: ブール、アレクサンドル
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 2003-06-18
Filing date: 2004-06-04
Publication date: 2006-12-07
Anticipated expiration: 2024-06-04
Also published as: CA2517354A1; AU2004250357A1; CN1761975A; EP1634242B1; ATE534975T1; CA2517354C; CN100343877C; US7812857B2; US20060274618A1; KR101031685B1; GB0314162D0; KR20060018822A; AU2004250357B2; EP1634242A1; WO2004114216A1; JP5117720B2; ES2376235T3

Abstract

本発明は、総合的なビデオ品質値に貢献するように使用することができるエッジパラメタ値を生成するため、テストビデオフィールド/フレームのエッジ解析を実行するエッジ検出ステージの基礎として、いずれかの既知のエッジ検出アルゴリズムを使うビデオ品質評価方法とシステムを提供することにより、自動化されたビデオ品質評価の分野にそれ自体既知であるようなエッジ検出器の技術を適用する。エッジ検出器ステージの使用は、品質評価に対する人間のビューワにとって知覚的に重要である画像属性に関する貴重な情報に寄与し、したがって、自動化された評価により提供される結果は、主観的な評価を請け負っている人間のビューワによって行われるであろう結果とよく似た結果を与える。

Description

本発明は自動化されたビデオ品質評価を実行する方法とシステムに係り、特にエッジ解析技術を使うそのような方法とシステムに関連する。

人間のビューワを採用するビデオ品質評価技術が長い間技術において知られており、CCIR Rec.500(ITU-R BT.500“Methodology for the Subjective Assessment of the Quality of Television Picture”) で説明されている。自動化されたビデオ品質評価技術も技術において知られている。自動化されたビデオ品質評価を備える従来技術システムに関する例は、ビーバートン、オレゴン、米国のテクトロニクス株式会社から利用可能なPQA 300である。PQA 300はテストの下でシステムから作成されるテストビデオ系列を対応する基準系列と比較して、テストビデオ系列の品質を示す量的な値である映像品質評価を生成する。映像品質評価を生成するため、PQA 300は基準系列に関してテスト系列の空間的な解析、時間的な解析、およびフルカラー解析を実行する。

画像中のエッジ検出を提供することも技術の中で知られていて、多くのエッジ検出アルゴリズムが画像に適用されるかもしれない技術の中で知られている。既知のエッジ検出アルゴリズムに関する例はLaplacianエッジ検出器、Cannyエッジ検出器およびRothwellエッジ検出器である。Cannyエッジ検出器のためのCプログラミング言語によるソースコードは、優先権日以前にftp//figment. csee. usf. edu/pub/Edge Comparison/source code/canny. srcからftpを通して無料のダウンロードで利用可能であり、Rothwellエッジ検出器のためのCのソースコードはftp//figment. csee. usf. edu/pub/Edge Comparison/source code/rothwell. src. から利用可能であった。

本発明は、総合的なビデオ品質値に貢献するように使用することができるエッジパラメタ値を生成するため、テストビデオフィールド/フレームのエッジ解析を実行するエッジ検出ステージの基礎として、いずれかの既知のエッジ検出アルゴリズムを使うビデオ品質評価方法とシステムを提供することにより、自動化されたビデオ品質評価の分野にそれ自体既知である画像処理の技術としてエッジ検出器の技術を適用する。エッジ検出器ステージの使用は、品質評価に対する人間のビューワにとって知覚的に重要である画像属性に関する貴重な情報に寄与し、したがって、自動化された評価により提供される結果は、主観的な評価を請け負っている人間のビューワによって行われるであろう結果とよく似た結果を与える。

上記観点において、第1の態様は、
基準ビデオフィールド/フレームおよびテストビデオ/フレームに関するそれぞれのエッジマップを生成し、
それぞれのエッジマップ中に含まれるエッジに関連するデータを生成し、
生成されたデータを使用してビデオ品質測度値を作成するステップを含むビデオ品質評価方法が提供される。

したがって、第1の態様の発明はビデオ品質評価方法の中でエッジ検出技術を使用し、その結果、同じテスト系列の人間の主観的なテストから得られる結果でそのような方法によって得られる結果を改良する。
好ましい実施例では、データを生成するステップはそれぞれのエッジマップの対応するサブフィールド/フレーム要素の中に含まれるエッジに関連するデータを生成することをさらに含む。これは、それらが画像で起こり得る雑音と劣化に敏感であり、結果的に不一致を生じることになるエッジ抽出アルゴリズムの問題を解決する。特に、テスト系列におけるスムージング効果は、基準信号の抽出エッジと比べるとき、置換される抽出エッジで最後は終わることができる。この理由で、そのようなスムージング効果が主観的なビデオ品質評価を実行している人間のビューワによってたぶん気付かなくなっても、エッジマップの直接の画素比較は誤ったビデオ品質評価値を導くかもしれない。

そのうえ、好ましい実施例の中でデータを生成するステップは、
テストと基準のフィールド/フレームのサブ要素の中のエッジ画素を計数し、
テストと基準のフィールド/フレームにおける対応するサブフィールド/フレーム要素のそれぞれのカウント間でそれぞれの差の値を決定し、
差の値に依存してエッジパラメタ値を生成することを含む。

したがって、テストと基準信号のサブフィールド/フレーム要素の比較が行われ、引き出されたエッジパラメタ値はそれぞれのサブフィールド/フレーム要素間の差を示す。そして、エッジパラメタ値は最終的なビデオ品質評価値を作成するエッジデータを示す単一の値として直接使用することができる。

望ましくは、好ましい実施例の中で使用するステップは、ビデオ品質値を与えるために、エッジパラメタ値を他の解析技術から得られる他のパラメタ値と積分することをさらに含む。望ましくは、他の解析技術は1つ以上の空間的な解析、時間的な解析、および/またはテクスチュア解析のいずれかを含む。

望ましくは、積分するステップは予め定められた重さ値に従ってパラメタ値を重み付けして、かつ重み付けされた値を合計することを含み、結果としての合計はビデオ品質値である。
第2の態様から、本発明はまた、
基準ビデオフィールド/フレームとテストビデオ/フレームに関するそれぞれのエッジマップを生成するように使用中配置されたエッジマップ生成手段と、
それぞれのエッジマップ中に含まれたエッジに関連するデータを生成するように使用中に配置されたエッジマップ解析手段と、
生成されたデータを使用しビデオ品質測度値を作成するように使用中配置されたビデオ品質値決定手段とを含むビデオ品質評価システムを提供する。

第2の態様の中では、前に第1の態様に関して記述されたのと同じ利点が得られる。さらに、同じさらなる特徴と利点が提供されるかもしれない。
第3の態様から、本発明はさらに、コンピュータシステムにより実行されるとき、システムに第1の態様の方法を実行させるように配置されたコンピュータプログラムまたは一組のプログラム提供する。コンピュータプログラムまたはプログラムは、コンピュータプログラムまたは少なくとも1つの一組のプログラムに対応するデータを組み込んでいる変調された搬送波信号、例えば、インターネットなどのネットワーク上で搬送される信号によって具体化されるかもしれない。

さらにまた、発明のさらなる態様から、第3の態様に応じたコンピュータプログラムまたは少なくとも1つの一組のコンピュータプログラムを記憶するコンピュータ読み出し可能な記憶媒体を提供する。コンピュータ読み出し可能な記憶媒体は、コンピュータによって読むことができる磁気、光学、磁気光学、ソリッドステートまたは他の記憶媒体のいずれかであるかもしれない。

本発明のさらなる特徴と利点は、同様な参照数字が同様の部分を指す付随の図面を参照することにより、例だけの方法で示される実施例の以下の記述から明らかになるであろう。

発明の実施例が以下説明される。
図1は発明の実施例の一般的な配置の全体のシステムブロックダイアグラムを示す。図1の中では、基準系列フィールド/フレームを含む基準系列が検出器モジュール2に入力される。同様に、ビデオフィールド/フレームのテスト系列8 (テスト系列または劣化した系列のいずれかとして互換性を持ってここに引用される)が、また検出器モジュール2に入力され。テスト系列は、テストされるシステムに(例えば、ビデオ記録装置、放送システム、またはビデオコーデックなどのように) 基準系列を入力して、次にテスト系列としてテストの下でシステムの出力を取ることにより得られる。検出器モジュール2は入力基準とテストビデオのフィールド/フレームの様々なビデオの特性を検出するように動作して、次に積分モジュール4に出力されるビデオの特性値を生成する。積分モジュール4は、ビデオの特性値を一緒に積分し、そこから出力される予測された品質値10を与える。

図2は発明の実施例のより詳細な配置を示す。ここで、基準とテストのビデオ系列が、空間周波数解析器 22、輝度および色光度パワー信号対雑音比解析器 24、エッジ解析器 26、およびテクスチュア解析器 28である4つの解析器にそれぞれ入力されることが分かる。それぞれの解析器はそれぞれ行う解析のそれぞれの形式の結果として、様々なビデオ特性値を生成するように作動し、ビデオの特性値は積分モジュール4に入力される。積分モジュールは個々のビデオ特性値を結合してビデオ品質値PDMOS 10を生成し、それは発明の実施例によって評価されるテストビデオ品質に関連する量的な値である。

4つの解析器モジュール22乃至28の各々の簡潔な考察に戻って、空間周波数解析器 22は入力テストビデオフィールド/フレームおよび基準ビデオフィールド/フレームを解析するように作動し、入力基準フィールド/フレームおよびテストフィールド/フレームのピラミッド解析からピラミッドSNR値PySNR(a，b)を生成する。さらに、輝度と色光度 PSNR 解析器 24は、入力基準フィールド/フレームと入力テストフィールド/フレームを比較し、出力である輝度と色光度 PSNR値を生成する。同様に、エッジ検出器解析器 26は入力基準フィールド/フレームと入力テストフィールド/フレームを解析して、単一のエッジ検出器値EDifを出力する。最後に、テクスチュア解析器 28は、テストフィールド/フレームと基準フィールド/フレームを解析し、現在のテストフィールド/フレームの中のテクスチュアを示すパラメタTextureDeg、および現在の基準フィールド/フレームの中のテクスチュアを示すパラメタTextureRefを計算する。とにかく、これらの空間周波数解析器 22、輝度および色光度パワーSN比解析器 24、
エッジ検出器解析器 26、およびテクスチュア解析器 28のそれぞれの動作は後でより詳細に説明されるだろう。

図1に戻って、それぞれの解析器22乃至28からの出力は一緒に値を積分するように動作する積分モジュール4へそれぞれ入力され、予測されたビデオ品質値10を作成することが分かる。積分器4の動作はまた後で詳細に説明されるだろう。
図2に戻って、そこに示された個々のモジュールと解析器のそれぞれの動作は図3乃至10を参照して説明されるだろう。

最初に空間周波数解析器 22について言及すると、空間周波数解析器 22の内部の構成が図3に示される。ここに空間周波数解析器22が内部的に第1のピラミッド変換ジェネレータ222を含み、それはテストビデオフィールド/フレームを入力として受けるように配置されることが分かる。さらに、第2のピラミッド変換ジェネレータ224が提供され、それは基準ビデオフィールド/フレームを入力として受ける。２つのピラミッド変換ジェネレータ222と224は各入力フィールド/フレームについてピラミッドアレイを作成するようにそれぞれ同様に作動し、その出力は、それぞれ対応するテストビデオフィールド/フレームと基準ビデオフィールド/フレームの間でピラミッドSNR測度を生成するために、ピラミッドSNR計算器226へ供給される。ピラミッドSNR測度を作成することにおける空間周波数解析器 22の動作は図4乃至6を参照して次に説明されるだろう。

最初に図5を参照すると、図5はそれぞれのピラミッドアレイを作成するピラミッド変換ジェネレータ222または224のどちらかによって実行されるステップを示すフローチャートである。したがって、まず最初にステップ8.2では、ピラミッド変換ジェネレータはそれぞれの系列(即ち、テスト系列か基準系列)から入力フィールド/フレームを受ける。次にステップ8.4では、計数器ステージはゼロに、かつピラミッドアレイを生成するために始められる処理ループは初期化される。ピラミッドアレイを生成するために続けられる一般的な手順は3ステージ、2ステップ手順であり、ここに各ステージ0〜2に関して水平解析実行され、続いて垂直解析が行われる。水平および垂直解析の1つの特定のステージに含まれるステップは、次にステップ8.6〜8.20に関して説明される。

ピラミッド処理の特定のステージのために、ステップ8.4で始められる処理ループ内に一度入ると、ステップ8.6で実行される最初のステップは、処理されている現在のフィールド/フレームが一時的アレイに以下の通りコピーされる：
PTemp(x,y)=P(x,y) x=0..X-1 y=0..Y-1 (8-1)
次に、ステップ8.8では、水平解析限界がステージパラメタの現在の値の関数として以下のように計算される:
Tx= X/2^{（stage+1）} (8-2)
Ty= Y/2^stage (8-3)
次に、一時的アレイの要素の水平対の平均と差が以下に従ってピラミッドアレイを更新するのに使用されるように、水平解析が計算された限界の中で実行される：
P(x,y)=0.5*(PTemp(2x,y)+PTemp(2x+1,y)) x=O..Tx-1,y=O..Ty-1 (8-4)
P(x+Tx,y)=PTemp(2x,y)-PTemp(2x+1,y) x=0..Tx-1, y=0..Ty-1 (8-5)
そして、ステップ8.12では、入力フィールド/フレーム値は水平解析の結果で上書きされる。

処理の現在のステージのための垂直解析が次にステップ8.14で始まって実行され、そこで入力フィールド/フレームが再び一時的アレイにコピーされる。しかしながら、入力フィールド/フレームの中の値がステップ8.12で水平解析の結果で上書きされたことに注意するべきであり、したがって、垂直解析の現在のステージへの入力は水平解析のすぐ前の現在のステージからの出力であることが分かるであろう。

次に、ステップ8.16では、垂直解析限界がステージ値の関数として以下の通り計算される：
Tx=X/2^stage (8-6)
Ty=Y/2^{（stage+1）} (8-7)
それに続いて、垂直解析がステップ8.18に従って計算された限界内で実行されるので、一時的アレイの要素の垂直対の平均と差は以下に従ってピラミッドアレイを更新するために使用される：
P(x,y)=0.5*(PTemp(x,2y)+PTemp(x,2y+1)) x=0..Tx-1, y=0..Ty-1 (8-8)
P(x,y+Ty)=PTemp(x,2y)-PTemp(x,2y+1) x=0..Tx-1, y=0..Ty-1 (8-9)
ステップ8.20では、入力フィールド/フレームアレイの中の値が空間的な解析の第1のステージの結果に対応するように、入力フィールド/フレームはステップ8.18で実行された垂直解析の結果で上書きされる。ステップ8.22では、ピラミッドアレイを生成するために空間的な解析の各ステージが実行されたかどうかを決定するために、評価が行われ、各ステージが実行されていないなら、処理はステップ8.4に戻り、ステージ値が増加されてステップ8.6〜8.20がもう一度繰り返される。各ステージでの水平および垂直解析の各ステップに関して、入力フィールド/フレームアレイの中の値が計算された垂直および水平限界で上書きされるので、処理は各ステージを通して一歩一歩進み、入力フィールド/フレームアレイの中に保持された値は各レベルにおけるそれぞれ4つの四分円のピラミッド構造に変換されることに注意すべきである。したがって、各ステージ0〜2が完了されるときに、ステップ8.22での評価が処理ループを終わらせ、ピラミッドアレイはステップ8.24で出力されることができるように構成される。

各処理ステージの終わりに構成されたピラミッドアレイのフォーマットが図4で示される。なお特に、図4(a)はステージ0処理の終わった後の入力フィールド/フレームアレイの内容を示し、そのとき垂直解析ステップにより続けられた水平解析ステップはアレイを4つの四分円Q(stage,0〜3)に分割させ、ここにQ(0,0)は入力フィールド/フレームの4画素のブロックの平均に対応する値を含み、Q(0,1)は入力フィールド/フレームの4画素のブロックの水平差に対応する値を含み、Q(0,2)は4画素のブロックの垂直差に対応する値を含み、Q(0,3)は4画素のブロックの対角線の差に対応する値を含んでいる。

図4(a)に示されたステージ0解析からの四分円Q(0,0)出力は、ステージ1処理を実行するためFORループの第2の繰り返しに入力として使用され、その結果が図4(b)に示される。ここで、四分円Q(0,0)は4×4画素ブロックの解析に関連する結果Q(1,0〜3)によって上書きされるが、各四分円Q(1,0〜3)がステージ0に関して以前に記述されたように平均、水平差、垂直差、および対角線の差に関連する値を含むことが分かる。

図4(b)に示されたステージ1解析の出力は、図5のFORループの第3の繰り返しにおけるステージ2解析に入力として使用され、図4(c)に示される結果を与え、そこでは、四分円Q(1,0)が四分円Q(2，0〜3)によって上書きされ、各四分円Q(2,0〜3)が以前に記述したようにブロックの平均、ブロックの水平差などに関係することが分かる。解析の3つのステージの後に、図4(c)で示される結果としてのピラミッドアレイは、ステージ0(2×2画素)解析からの3ブロックのQ(0,1〜3)と、ステージ1(4×4画素)解析からの3つの四分円Q(1,1〜3)と、ステージ2(8×8画素)解析からの4つの四分円Q(2，0〜3)である、合計10ブロックの結果を持っている。図4で示されるようなピラミッドアレイを生成する図5の手順がそれぞれピラミッド変換ジェネレータ222と224によって実行されて、それぞれのピラミッドアレイprefとpdegを作成し、それらは次にSNR計算器226に入力されることが注意されるべきである。ピラミッドSNR計算器226の動作は図6で示される。

図6に関して、最初にステップ9.2で、ピラミッドSNR計算器226がそれぞれピラミッド変換ジェネレータ224と222から基準と劣化ピラミッドアレイを受ける。次に、ステップ9.4では、0〜2までの計数器値のステージの各値を処理する処理ループが始められる。これに続いて、1〜3の値の間で計数器値の四分円を処理する第2の縮小された処理ループがステップ9.6で始められる。ステップ9.8のこれらの縮小された処理ループの中では、二乗誤差測度値E(stage,quadrant)は基準とピラミッドアレイの間で以下に従って計算される：

ここにx1、x2、y1、およびy2はピラミッドアレイの中で四分円の水平および垂直限界を定義し、以下に従って、計算される：
x1(s,1)=X/2^（s+1） x2(s,1)=2*x1(s,1) y1(s,1)=0 y2(s,1)= Y/2^(s+1) (9-2)
x1(s,2)=0 x2(s,2)=X/2^(s+1) y1(s,2)= Y/2^(s+1) y2(s,2)=2*y1(s,2) (9-3)
x1(s,3)=X/2^(s+1) x2(s,3)= 2*x1(s,3) y1(s,3)=Y/2^(s+1) y2(s,3)= 2*y1(s,3)
(9-4)
次に、計算された誤差測度E(stage,quadrant) はステップ9.10で記憶され、ステップ9.12と9.14に続いて、四分円とステージ計数器の値が処理ループに対し適宜更新される。ステップ9.4〜9.14とステップ9.6からステップ9.12の処理ループの動作は計数器ステージと計数器四分円の各値について誤差測度値を計算することである。

二乗誤差測度値について計算したので、ステップ9.16では、0〜2まで計数器ステージのすべての利用可能な値を処理するさらなる処理ループが始められ、それに続いて、四分円計数器1〜3の値を処理する縮小処理ループがステップ9.18で始められる。ステップ9.20のこれらの縮小処理ループの中では、PSNR測度PySNR(stage,quadrant)が以下に従って計算される：
(E>0.0)の場合 PySNR(s,q)= 10.0*log₁₀(255²/E(s,q))
それ以外の場合 SNR=10.0*log₁₀(255²*XY²) (9-5)
次にステップ9.22で記憶される。ステップ9.24とその後のステップ9.26で計数器ステージと四分円の値が適宜処理ループに増加されるので、縮小処理ループの効果はステージの各値と四分円の各値についてPSNR測度を計算して記憶することである。パラメタステージが0〜2の値を取ることができて、パラメタ四分円が1〜3の値を取ることができると、合計9つのPSNR測度がピラミッドSNR計算器226で生成され、そのすべては積分ステージ4へ出力されることが分かる。

エッジの解析器 26の動作は図7と8を参照してこれから説明されるだろう。
図7はエッジの解析器 26の内部の構成を示す。なお特に、エッジの解析器 26はビデオフィールド/フレームを受けて、テストし、そこにエッジを検出するように配置された第1のエッジ検出器262、および整合モジュールから出力される基準ビデオフィールド/フレームを受けて、そこにエッジを検出するように配置された第2のエッジ検出器264を含む。両方のエッジ検出器262と264は望ましくは、既知のエッジ検出アルゴリズムによって作動して、技術で既に知られている方法でエッジマップを作成する。例えば、既知のエッジ検出アルゴリズムの例はLaplacianエッジ検出器と、Cannyエッジ検出器と、Rothwellエッジ検出器である。Cannyエッジ検出器のためのCプログラミング言語によるソースコードは、ftp//figment. csee. usf. edu/pub/Edge Comparison/source code/cannv. srcから優先権日以前にftpを通して無料のダウンロードで利用可能であったし、Rothwellエッジ検出器のためのCのソースコードはftp//figment. csee. usf. edu/pub/Edge Comparison/source code/rothwell. srcから利用可能であった。

それぞれのエッジ検出器262と264によって作成されたそれぞれのエッジマップはブロック整合手段266に入力され、その手段は記述される方法でそれぞれのエッジマップを比較し、比較の表現である出力パラメタEdifを生成する。エッジ解析器 26の動作は図8でより詳細に示される。

図8を参照して、最初にステップ11.2で、それぞれのエッジ検出器262と264はそれぞれの基準と劣化エッジマップを計算する。上述のように、エッジ検出器262と264によって使用されるエッジ検出アルゴリズムは、望ましくはCannyエッジ検出器などの技術で知られているものである。エッジ検出器262と264は基準と劣化エッジマップをブロック整合手段266に出力し、ステップ11.4では各基準および劣化エッジマップn×mブロックに分割される。次に、ブロック整合手段266は基準と劣化エッジマップの両方において各ブロックの中でエッジの部分を形成する各画素を計数するように作動する。したがって、ステップ11.6後に、ブロック整合手段266は基準および劣化エッジマップの各々において各ブロックについてエッジ画素のカウントを得る。

計数ステップに続いて、ステップ11.8でブロック整合手段266は、基準および劣化エッジマップにおける対応するブロック間のそれぞれの画素カウントの差を計算する。したがって、ステップ11.8後に、基準または劣化エッジマップの1つにはブロックがあるのと同じくらい多くの差値が得られたであろう。

ステップ11.8に続いて、ステップ11.10ではブロック整合手段266は、パワーQに各差値を置き、ステップ11.12で結果としての値は合計される。したがって、ステップ11.10の後、基準または劣化エッジマップの1つにブロックがあるのと同じくらい多くの値がまだあるが、ステップ11.12後には、ステップ11.10で計算された値の合計に対応している単一の結果が得られる。ステップ11.14において、結果としての合計値がパワー1/Qに置かれ、ステップ11.16では、この計算の結果がEDifパラメタとしてブロック整合手段266から出力される。図2から分かるように、EDifパラメタはエッジ解析器 26から積分ステージ4へ出力される。積分ステージの中のEDifパラメタの使用は後で説明されるだろう。

11.6〜11.16のエッジの差をとるステップにおいて、フィールド/フレームエッジから解析オフセットを考慮に入れることが、いくつかの状況で役に立つかもしれない、その場合、処理は以下の通りになる。
それぞれのエッジマップを作成した後に、ブロック整合手段は各解析ブロックのエッジ-マークド画素の数の測度を計算し、ここに、nXとnYは水平および垂直方向の解析されるべき非オーバーラップブロックの数を定義し、X1とY1はフィールドエッジからの解析オフセットを定義する。

加算の限界は以下に従って決定される。
i1=-(N div 2) i2=(N-1)div 2 (11-3)
jl=-(M div 2) j2=(M-1)div 2 (11-4)
ここに“div”演算子は整数分割を表す。

次に、全体のフィールドにわたる差の測度は以下に従って計算される。

625の放送ビデオのための720×288画素フィールドに関して：
N=4、X1=6、nX=178、 M=4、Yl=10、nY=69 (11-6)
ところが、525の放送ビデオのための720×243画素フィールドに関して：
N=4、X1=6、nX=178、 M=4、Yl=10、nY=58 （11-7）
式11-1乃至11-7によって表された上記処理は、フィールド/フレームエッジからの解析オフセットが考慮に入れられるという差を有するが、図8に関して既に説明されたことと実質的に同じであることに注意されるべきである。式11-5によって見つけたパラメタEdifは前に説明されたように同じ方法で積分ステージ4へ出力される。

テクスチュア解析器 28の動作がこれから図9に関して説明される。
デジタルビデオ圧縮は、コード化の処理中に使用されるDCT係数の量子化により画像中のテクスチュアまたは細部を低下させる傾向がある。したがって、テクスチュア解析はそのような圧縮のときに重要な情報をもたらすことができて、ビデオ特性値TextureDegおよびTextureRefを提供するため、本実施例の中で使用される。なお特に、テクスチュアパラメタ値TextureDegおよびTextureRefは、水平映像線に沿った強度信号の転換点の数を記録することにより測定される。これは図9で示されるように実行される。

図9を参照すると、最初にステップ12.2でテクスチュア解析器 28は、処理される現在のテストフィールド/フレームを受ける。図2から、テクスチュア解析器 28がテストビデオフィールド/フレーム、およびオリジナルの基準フィールド/フレームを受けることが思い出されるだろう。しかしながら、他の実施例では、テクスチュア解析器 28は基準フィールド/フレームまたはテストフィールド/フレームの1つだけを受けるかもしれない、その場合、TextureDegかTextureRefパラメタの1つだけが適宜計算される。

ステップ12.2に続いてステップ12.4では、転換点計数器合計はゼロに初期化される。そしてステップ12.6では、処理ループは限界ループ=0〜Y-1の中で入力ビデオフィールド/フレーム内の各線について始められ、ここにYはビデオフィールド/フレーム中の線の数である。処理ループ中、ステップ12.8で値last posおよびlast negがともに0に初期化される。次に、ステップ12.10において、第2の縮小された処理ループが各線yの中で各画素xを処理するために始められ、ここにxは0乃至X-2の値を取り、Xは入力ビデオフィールド/フレームの線の画素数である。

縮小された処理ループの中では、ステップ12.12で位置xにおける画素値と位置x+1における画素値との間で差値が計算される。次に、ステップ12.14では、計算された差値が0より大きいかどうか、また、値last negが値last posより大きいか否かを決定するために評価が実行される。この論理的な条件が満たされるならば、計数器値の合計は増加される。ステップ12.14に続いてステップ12.16では、ステップ12.12で計算された差値が0未満であるかどうか、および値last negが値last pos未満であるかどうかを決定するため、第2の評価が実行される。これが満たされる場合に計数器値の合計は増加される。ステップ12.14とステップ12.16の評価が互いに排他的であり、任意の単一の特定画素のために計数器値の合計が二度増加されることは可能でないことが注意されるだろう。ステップ12.16の後、ステップ12.18では計算された差値がゼロより大きいかどうかのさらなる評価が決定され、その場合、値last posは現在の画素xの数であるように設定される。代わりに、ステップ12.20では、計算された差値がゼロ未満であるかどうかを評価する第2の評価が実行され、その場合、計数器値last negが現在の画素数xになるように設定される。

ステップ12.20に続いて、ステップ12.22では現在の線の中の画素xのすべてが処理されたかどうかを決定する評価が実行され、そうでなければ、処理はステップ12.10に戻り、次の画素が処理される。しかしながら、すべての画素が処理されたなら、処理はステップ12.24に進み、線yのすべてが現在の入力フレームで処理されたかどうかを決定する評価がなされ、そうでなければ、処理はステップ12.6に戻り、次の線の処理が始められる。これらの縮小された処理ループの結果は各線の各画素が処理されるということであり、ステップ12.14とステップ12.16の評価が真に戻るときはいつも、計数器合計は増加される。したがって、処理ループが終わった後に、計数器合計は入力フィールド/フレームの中のテクスチュア転換点を示すある値を含むだろう。

計数器合計の中に保持されたこの値を使用して、ステップ12.26では、テクスチュアパラメタが計数器合計に保持された値の関数として以下の通り計算される:
Texture=sum*100/XY (12-1)
このようにして計算されたテクスチュアパラメタは、ステップ12.28においてテクスチュア解析器 28から積分器ステージ4へ出力されるかもしれない。

輝度および色光度パワー信号対雑音比解析器 24の動作がこれから説明されるだろう。
図2に示されるように、輝度および色光度パワー信号対雑音比解析器 24は入力として整合された基準ビデオフィールド/フレームと劣化ビデオフィールド/フレームを受ける。これらは次に強度および色信号対雑音比測度において以下に従った使用することができる、ここにRefYとDegYは基準と劣化強度のフィールドであり、RefU、DegU、RefVおよびDegVはYUVの標準色形式に従った色光度のフィールドである:

もちろん、RGB、およびYCbCrなどのYUV色モデルを使用しない発明の他の実施例では、当業者に明らかなように、同様の対応する測度値が計算される。
図1に戻り、整合モジュールおよび検出器モジュール2の中の解析器からの様々な出力は積分ステージ4へ供給され、そこでは様々な値はビデオ品質値10を与えるために一緒に積分される。積分ステージ4の動作はこれから図10に関して説明されるだろう。

一般に、積分ステージの動作は、解析器22乃至28によって作成されたビデオ特性パラメタ値の選択の適切な重み付けによる、テストビデオ系列の知覚されたビデオ品質の推定値を生成することである。使用されるパラメタ値の特定の集団と対応する重み付け要素の値は、テストされるビデオの特定のタイプに依存し、先の較正によって予め決定される。較正は、既知の主観的な点数をもち、望ましくはテストされるべき劣化系列と同様な特性をもつ、ビデオ系列の大きい集団で実行される。

積分手順の一般的な形は、まず第一にフィールド/フレーム検出パラメタ毎に時間が重み付けし、次に時間で重み付けされ、かつ平均化された値を結合し、総合的なビデオ品質値である予測された品質点数を与える。これを達成する過程は図10で示される。

まず第一に、積分ステージ4はステップ13.2で様々な検出器と解析器から出力されたパラメタ値を受けて、それらを記憶する。以前に説明されたように、空間周波数解析器 22はPySNR値を出力し、一方輝度および色光度パワー信号対雑音比解析器 24は使用されている色モデルにおいて各々の輝度および色光度特性のPSNR値を出力する。そのうえ、エッジ解析器 26は前述したようにEDifパラメタで出力し、テクスチュア解析器 28は少なくとも値TextureDegに与えるが、適切であるならば、また値TextureRefとTextureMrefを出力するかもしれない。特定のテストビデオフィールド/フレームに関して以前のステージの各々により出力されたパラメタと値は何でも、積分ステージは出力情報を受け取って、それを記憶する。

次に、ステップ13.4では、積分ステージはビデオタイプを選んで、その結果ビデオタイプに依存して一組の積分パラメタを選択する。例えば、1秒あたり1メガビットと1秒あたり5メガビットの間でコード化されるMPEGであり、前もっての較正により決定される、フィールド625放送ビデオ毎に288×720画素の一組の積分パラメタは、以下に与えられる。
N=400，K=6，オフセット=176.486 (4-1)

525線ビデオのための重み付け値は以下のとおりである:

様々な重さの要素の正確な値は、説明されるようにあらかじめ較正により決定される。そのうえ、積分パラメタの各集団はルックアップ表または同様のもので積分ステージ4の中に記憶される。
ビデオタイプを選んで、かつ記憶されたルックアップ表から積分パラメタを設定したので、ステップ13.6では、処理ループは値0乃至K-1内で各積分パラメタタイプkを処理し始める、ここで、各パラメタ(k)は様々な解析器または整合モジュールから受け取られるパラメタの特定の1つである。処理ループの中では、ステップ13.8でまず第一にパラメタ値の時間加重平均AvD(k)が以下に従って計算される:

ここで、nがフィールドの数であり、D(k,n)はk番目の検出パラメタのn番目のフィールドであり、mnkは“ミンコーフスキー（minkowski）”重さ要素である。次に、ステップ13.10では、時間加重平均値AvD(k)は適切な重さ要素w(k)により乗算され、積が記憶される。適切な重さ要素w(k)は積分ステージ4に記憶されたビデオタイプの適切なルックアップ表から読み出される。

ステップ13.12では、すべての積分パラメタ(k)が処理されたかどうかを決定するために評価が実行され、そうでなければ、ステップ13.6の処理ループはすべてのパラメタが処理されるまで、再び実行される。一度すべてのパラメタが処理し終わったなら、適切に重み付けされた時間加重平均値はパラメタkの各タイプについて利用可能になり、次にそれはステップ13.14で以下の通りオフセット値と一緒に合計される:

最終的なビデオ品質値PDMOSを与えるために、次にそれはステップ13.16で出力される。
出力ビデオ品質値PDMOSは多くの用途につけられるかもしれない。特に、それは品質が十分であることを確実にするために既存のビデオサービスの品質を評価するのに使用されるかもしれない、または代わりに、それは異なったビデオコーデックの性能をテストするのに使用されるかもしれない。さらに、ビデオ品質値はインターネット上の広帯域様式のビデオサービスのような、新しいビデオサービスの性能を評価するのに使用されるかもしれない。

文脈が明確に別の方法を要求しないかぎり、記述と請求項を通して、語“含む（comprise）”、“含んでいる（comprising）”および同類は排他的または徹底的に反してすべてを含むと解釈されるべきであり、即ち、“含む、しかし限定ではない”の感覚である。

さらに、疑問の回避のため、引用文献が従来技術の文書または開示に与えられたが、全体であるか一部であるかに関わらず、それらの内容は当業者である意図された読者により、本発明の実施例のどれかの動作および実施の理解に必要であり、したがって前記内容は前記引用文献によりここに組み込まれたと取られるべきである。

発明の実施例の構成要素、およびそれらの間を流れる信号を示すシステムブロックダイアグラムである。発明の実施例で使用される様々な検出器モジュールをより詳細に示すシステムブロックダイアグラムである。発明の実施例の空間的な解析器のブロックダイアグラムである。発明の実施例の中の空間的な解析器によって生成したピラミッドアレイを示す。発明の実施例の中のピラミッドアレイの生成を示すフローチャートである。発明の実施例におけるピラミッドSNR値の計算を示すフローチャートである。発明の実施例のエッジ解析器を示すブロックダイアグラムである。発明の実施例のエッジ解析器の動作を示すフローチャートである。発明の実施例のテクスチュア解析器の動作を示すフローチャートである。発明の実施例の積分器ステージの動作を示すフローチャートである。発明の第2の実施例のブロックダイアグラムである。

Claims

基準ビデオフィールド/フレームおよびテストビデオ/フレームに関するそれぞれのエッジマップを生成し、
それぞれのエッジマップ中に含まれるエッジに関連するデータを生成し、
ビデオ品質測度値を作成するために生成されたデータを使用するステップを含むビデオ品質評価方法。
データを生成するステップが、それぞれのエッジマップの対応するサブフィールド/フレーム要素中に含まれるエッジに関連するデータを生成することをさらに含む請求項1による方法。
データを生成するステップが、
テストと基準のフィールド/フレームのサブ要素中のエッジ画素を計数し、
テストと基準のフィールド/フレームにおける対応するサブフィールド/フレーム要素のそれぞれのカウント間でそれぞれ差の値を決定し、
差の値に依存してエッジパラメタ値を生成することをさらに含む請求項2による方法。
使用するステップがエッジパラメタ値を他の解析技術から得られた他のパラメタ値と積分して、ビデオ品質値を与えることをさらに含む請求項3による方法。
積分するステップが予め定められた重さ値に従ってパラメタ値を重み付けし、かつ重み付けされた値を合計することを含み、合計の結果がビデオ品質値である請求項4による方法。
コンピュータシステムにより実行されるとき、システムに請求項1乃至5のいずれか1項のプロセスを実行させるように配置されたコンピュータプログラムまたは一組のプログラム。
請求項6のコンピュータプログラムまたは少なくとも1つの一組のプログラムに対応するデータを組み込んでいる変調された搬送波信号。
請求項6によるコンピュータプログラムまたは少なくとも1つの一組のコンピュータプログラムを記憶するコンピュータ読み出し可能な記憶媒体。
基準ビデオフィールド/フレームとテストビデオ/フレームに関するそれぞれのエッジマップを生成するように使用中配置されたエッジマップ生成手段と、
それぞれのエッジマップ中に含まれたエッジに関連するデータを生成するように使用中に配置されたエッジマップ解析手段と、
生成されたデータを使用しビデオ品質測度値を作成するように使用中配置されたビデオ品質値決定手段とを含むビデオ品質評価システム。
エッジマップ解析手段が、それぞれのエッジマップの対応するサブフィールド/フレーム要素中に含まれるエッジに関連するデータを生成するように使用中さらに配置される請求項9によるシステム。
エッジマップ解析手段が、
テストと基準のフィールド/フレームのサブ要素中のエッジ画素を計数する計数手段と、
テストと基準フィールド/フレームにおける対応するサブフィールド/フレーム要素のそれぞれのカウント間でそれぞれの差の値を決定する差決定手段と、
差の値に依存してエッジパラメタ値を計算するパラメタ計算手段とを含む請求項10によるシステム。
基準とテストのビデオフィールド/フレームを解析して、それぞれの解析の結果に関連するそれぞれの解析パラメタ値を作成するように使用中それぞれ配置された1つ以上のさらなる解析手段をさらに含み、ビデオ品質値決定手段がエッジパラメタ値をさらなる解析手段から得られた他のパラメタ値と積分する積分手段をさらに含む請求項11によるシステム。
積分手段が予め定められた重さ値に従ってパラメタ値を重み付けする重み付け手段と、重み付けされた値を合計する合計器とを含み、合計の結果がビデオ品質値である請求項12によるシステム。