JP2010124104A - 映像の客観画質評価装置 - Google Patents

Abstract

【課題】映像の復号画像のベースバンド信号のみから主観画質を推定する映像のNR型の客観画質評価装置を提供する。
【解決手段】復号画像の画素ブロックに対しアダマール変換を施し、その変換係数のうち符号化ブロック境界における信号変化を表す成分の電力からブロック歪特徴量を求めるブロック歪特徴量計算部１と、前記復号画像の画素ブロック内の画素分散が所与の閾値より低い場合に、当該画素ブロックにおけるフレーム間差分を計算するフリッカ特徴量計算部２と、前記復号画像内の各画素ブロックのブロック歪特徴量の平均およびフリッカ特徴量の総和の２つを引数とする近似関数に基づき客観画質を導出する客観評価尺度計算部３とから構成される。
【選択図】図１

Description

本発明は映像の客観画質評価装置に関し、特に動画像の圧縮符号化により劣化した画像の品質を参照画像なしに評価する映像の客観画質評価装置に関するものである。

デジタル映像の蓄積、伝送に際しては、通常圧縮符号化による情報量の削減が行われる。ここで、圧縮符号化とは、一般に非可逆圧縮を意味する。非可逆圧縮とは、符号化情報（エンコードされたビットストリーム）を復号した際に符号化前の原画像を完全に再構築せず、視覚的な劣化を十分に抑える、すなわち画質を十分に高く保つという条件のもとで、情報量を削減する圧縮形式である。非可逆圧縮の典型的な例としては、MPEG-2、 H.264などが挙げられる（下記の非特許文献１，２）。

これらの非可逆圧縮においては、前述のとおり視覚的な劣化を十分に抑制した上で符号化が行われるが、圧縮率が高くなる、すなわちビットレートが低下するにつれて、劣化が視覚的に認識されるようになる。また、圧縮率が同じであっても画面内の物体の精細さや動きの大きさ、複雑さなどの映像の特徴によっても視覚的に認識される劣化の程度が異なるなどの性質がある。このため、非可逆圧縮に伴う画質劣化を定量的に測定する技術が求められている。

従来の画質の測定は、主観評価と呼ばれる手法で行われていた。これは、２０名程度の被験者を集め、被験者に映像を提示し、被験者の主観により評点を付け、その評点を統計的に処理した数値（例：評点の平均）を映像の品質として定義するものである。主観評価法の代表的な手法は、ITU-R勧告BT.500-11、ITU-T勧告P.910などに規定されている（非特許文献３，４）。しかし、主観評価は勧告が規定する厳しい視聴条件を満たすほか、多数の被験者を募集しなければならないなど、決して簡易に映像品質を評価する手段とはいえない。

そこで、映像信号の分析により、映像特徴量と呼ばれるその映像の特徴を示す１つまたは複数の数値的指標を抽出し、その映像特徴量から当該映像の品質を導出する客観画質評価が検討されている。客観画質評価により導出される画質は主観画質を推定したものであり、主観画質評価の代替として用いることを目指している。

ITU-T J.143（非特許文献５）では客観画質評価法のフレームワークを規定している。客観評価法のフレームワークは、評価のために伝送、蓄積のどの段階の映像を使用するかによって、以下の３つに分類される。

（１）Full Reference(FR)型： 圧縮符号化前の原画像および復号画像（蓄積の場合）、又は送信画像および受信画像（伝送の場合）のベースバンド情報を使用する方法。

（２）No Reference(NR)型： 復号画像又は受信画像 のベースバンド情報のみを使用する方法（原画又は送信画像の情報は使用しない）。

（３）Reduced Reference(RR)型: 情報量が制限された原画像又は送信画像の画像特徴量、および復号画像又は受信画像のベースバンド情報を利用する方法。

Full Reference型は、蓄積又は伝送の前後のベースバンド画像を利用することができるため、主観画質の推定精度は３つのフレームワークの中ではもっとも高い。一方、No Reference型は蓄積又は伝送後のベースバンド画像のみを使用するため、精度の面ではFull Referenceには劣る。Reduced Reference型はNo Reference型で利用する復号画像又は受信画像のベースバンド情報に加えて、原画像又は送信画像の画像特徴量を利用する。ここで、画像特徴量は、数十〜数百kbps程度で、原画像のベースバンド情報に比べて十分に少ない情報量に制限されたものである。RR型では、主観画質の推定精度をNR型よりも高めるという目的で、映像伝送の際この送信側の画像特徴量を映像回線とは別に用意されたデータ回線を用いて受信側に送信している。

上記３種のフレームワークのうち、FR型に基づく客観評価方式としては、ITU-T勧告J.144（非特許文献６）、ITU-T勧告J.267（非特許文献７）および特開2008-35357号公報(特許文献１１)などが存在する。非特許文献６は、標準テレビ方式(SDTV)の符号化劣化を対象とした客観画質評価方式を、非特許文献７、特許文献１１ はマルチメディアアプリケーションでよく用いられる映像フォーマットを対象とした客観画質評価方式を示している。

RR型に基づく客観評価方式としては、ITU-T勧告J.246（非特許文献８）が知られている。非特許文献８は、マルチメディアアプリケーションの映像フォーマットを前提とした客観評価方式について開示している。

一方、NR型に基づく客観評価方式については、静止画圧縮画像に対する方式が川除ら（非特許文献９）、Fariasら（非特許文献１０）などにより提案されているが、動画像のNR型評価に関してはいまだ確立された方式が存在しない。
ITU-T Recommendation H.262, "Information technology - Generic coding of moving pictures and associated audio information: Video " ITU-T Recommendation H.264, "Advanced video coding for generic audiovisual services" Recommendation ITU-R BT.500-11, "Methodology for the subjective assessment of the quality of television pictures" ITU-T Recommendation P.910, "Subjective video quality assessment methods for multimedia applications" ITU-T Recommendation J.143, "User requirements for objective perceptual video quality measurements in digital cable television" ITU-T Recommendation J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference " ITU-T Recommendation J.247, "Objective perceptual multimedia video quality measurement in the presence of a full reference" ITU-T Recommendation J.246, "Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference" Mylene C.Q. Farias et al, "NO-REFERENCE VIDEO QUALITY METRIC BASED ON ARTIFACT MEASUREMENTS", ICIP 2005, cr2987 川除ほか 「画像修復アルゴリズムを用いた符号化動画像のNR画質評価モデル」, PCSJ 2004, P-2-02 特開2008-35357号公報

上記のとおり、NR型画質評価は主観画質の推定精度の面で、FR型に劣るが、復号画像又は受信画像のみを入力とするため、システム構成が容易であるなどの利点もあり、特に伝送映像監視の目的で実用化が期待される方式である。このNR型画質評価では、動画像を対象としたNR型評価技術の確立が課題となっている。

本発明は、前記の課題に鑑み、非可逆符号化された映像の復号画像のベースバンド信号のみから主観画質を高精度で推定する映像のNR型の客観画質評価装置を提供することを目的としている。

前記目的を達成するために、本発明は、参照画像を用いず復号画像のみを使って主観画質を推定する映像の客観画質評価装置において、復号画像の画素ブロックに対しアダマール変換を施し、その変換係数のうち符号化ブロック境界における信号変化を表す成分の電力からブロック歪特徴量を求めるブロック歪特徴量計算部と、前記復号画像の画素ブロック内の画素分散が所与の閾値より低い場合に、当該画素ブロックにおけるフレーム間差分を計算するフリッカ特徴量計算部と、前記復号画像内の各画素ブロックのブロック歪特徴量の平均およびフリッカ特徴量の総和の２つを引数とする近似関数に基づき客観画質を導出する客観評価尺度計算部とを具備した点に特徴がある。

本発明によれば、参照画像（送信画像または原画像）を用いることなく符号化映像の主観画質を精度良く推定するNR型客観画質評価が可能となる。これにより、より簡易なシステム構成での高精度の画質評価や画質監視等を実現することが可能となる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示す機能ブロック図である。以下では、16×16画素ブロックに分割された復号画像の輝度信号を入力として客観評価尺度を出力する例で本発明を説明するが、本発明は、16×16画素ブロックに限定されず、他のサイズのブロックにも適用することができる。

図示されているように、本実施形態の自動監視装置は、ブロック歪特徴量計算部１，フリッカ特徴量計算部２および客観評価尺度計算部３から構成される。

まず、ブロック歪特徴量計算部１の機能について説明する。ブロック歪は、MPEG-2, H.264 などブロック単位の処理を行う符号化画像における共通の劣化要素であり、その劣化度は主観画質と高い相関を持つと考えられる。ブロック歪みは、ブロック境界で信号値が大きく変化することにより発生する。ブロック境界で輝度信号が階段状の波形成分を多く含む場合にブロックが劣化として認識されるといえる。

そこで、本実施形態では、評価画像を16×16画素ブロックに分割し、各ブロックに対してアダマール変換を施した際の[8,8]成分の電力をブロック歪尺度として用いる。評価画像のフレームf 、ブロックBの画素値の行列表現をX_{f, B}とすると、X _{f, B}の変換係数P _{f, B}は以下の通り求められる。
P _{f, B} ＝H₁₆ X _{f, B} H₁₆ ^T

ここで、Ｈ_１６は16×16のアダマール行列である。アダマール行列は、基本行列を

とするとき、下記の再帰式で定義される行列である。

H₁₆は上式において、ｎ＝４とした場合の行列となる。
H₁₆の基底画像は、図２に示すように、様々な細かさを持った矩形画像の集合となっている。ここで、白色が画素値 +1/16、黒色が画素値 -1/16を示している。

このうち、(8,8)成分は、図３に示すように、ブロック内の8ラインおよび8画素目をそれぞれ境界とするため、8×8画素ブロック境界での信号値の階段状の変化の大きさを表しており、ブロック歪尺度として適している。

最終的に、当該ブロックにおけるブロック歪特徴量Blk_f,bは以下のように定義される。

上式において直流成分P _{f, b} [0,0]で正規化を行うのは、圧縮率向上によるぼけの発生とそれによる直流成分の増加を考慮したものである。

ブロック歪特徴量計算部１では上記の処理が行われ、該ブロック歪特徴量計算部１からは、ブロック歪特徴量Blk_f,bが出力される。

次に、フリッカ特徴量計算部２の機能について説明する。フリッカは、動き補償予測符号化のイントラフレーム挿入の周期ごとに大きな品質変動がある場合などに検知される劣化であり、連続するフレーム間での輝度変化が急激に発生することにより知覚される。ブロック歪と同様主観画質との相関が高い映像特徴の一つである。

本実施形態では、16×16画素ブロック内の時間的な輝度値の変化を捉えるため、各画素ブロックにおける輝度のフレーム間差分をフリッカ特徴量として定義する。ただし、フリッカは平坦な絵柄においては視覚的に検知されやすい一方、複雑な絵柄の領域では同一の輝度値変化があった場合でも平坦領域よりも検知されにくい傾向が知られている。よって、本実施形態では、輝度信号の分散varが所与の閾値V_th以下のブロックのフレーム間差分信号のシーケンス内平均値（例えば、１０〜１５秒間の平均値）をフリッカ特徴量として抽出する。16×16画素ブロック内の信号X_{f, b}内の(i,j) 要素をX_{f, b}[i,j] と表すとき、フレームf, ブロックbのフリッカ特徴量Flk_f,bは以下のとおり定義される。

ここで、前記分散値varは例えば次のように設定することができる。１画素が８ビットで表現される場合、画素値は0〜255の範囲を持つ。ブロック内の画素値の変動が画素値の全体幅（256レベル）の１０％程度、すなわち２５レベル程度に収まる場合、視覚的には平坦な絵柄として認識される。この場合、ブロック内の分散値varは、通常100〜1000程度の範囲となるため、閾値としてはこの範囲内の適当な値に設定するのが好適である。

次に、客観評価尺度計算部３の機能について説明する。客観評価尺度計算部３は、ブロック歪特徴量のシーケンス内平均値とフリッカ特徴量のシーケンス内平均値を入力とし、客観評価尺度を出力とする。

該客観評価尺度計算部３では、まず、ブロック歪特徴量のシーケンス内平均値(Blockiness) およびフリッカ特徴量のシーケンス内総和平均値(Flickerness)を以下で定義する。

ここで、N_B, N_Fはフレーム内の16×16画素ブロックの総数およびシーケンス内のフレーム数の総数である。次いで、Blockiness, Flickernessを用いて、客観評価値Q_objを近似する。一般に、客観評価値は以下の形式で近似される。

ここで、f() は所与の関数を表す。最適な近似式は、評価対象の画像フォーマット、符号化方式、符号化ビットレートなどの条件によって異なるため、これらの条件のもとで主観評価値との相関が最大となる値が選ばれる。

f()の定義の一例としては、a , b を定数として、下式のように重み付き和で表す方法がある。

また、別の方法として、a , b , g₁, g₂ を定数とするとき、以下の式を用いた近似がある。

上式における定数a , b , g₁, g₂ は、客観評価値Q_objと主観評価値の相関が最大になるように設定される。客観評価値と主観評価値の相関は、複数の評価映像用いて得た客観評価値の系列と主観評価値の系列を回帰分析することにより得られる。

図４に回帰分析の一例を示す。上述の客観評価値を横軸に、主観評価値を縦軸にして、各データ系列をプロットした場合、両者はある回帰曲線で近似することが可能となる。回帰曲線としては、1次関数のほか、高次多項式やロジスティック関数などの非線形関数が適用される。客観画質評価の目的は主観評価値の推定であり、回帰曲線による近似の精度が高い（すなわち、グラフ上の各プロット点と回帰曲線の距離が短い）ほどその性能が高いといえる。

次に、本発明者による実験結果の一例を図５に示す。図５は、H.264 4.0, 6.0 ,8.0Mbpsで符号化したHDTV（1920×1080画素、30フレーム／秒）画像における主観画質と本発明による客観評価値の関係を示している。

客観評価値を、

と定義した場合、主観画質と客観評価値は、ロジスティック関数

で近似することができる。このときの主観画質と客観評価値の相関係数は0.75であり、高い相関を得られていることが分かる。

本発明の一実施形態の構成を示す機能ブロック図である。 Ｈ_１６の基底画像例を示す図である。 図２の（８，８）成分の拡大図である。 回帰分析の一例を示す図である。 主観画質と本発明による客観評価値との関係の実験例を示す図である。

符号の説明

１・・・ブロック歪特徴量計算部、２・・・フリッカ特徴量計算部、３・・・客観評価尺度計算部

Claims (5)

1. 参照画像を用いず復号画像のみを使って主観画質を推定する映像の客観画質評価装置において、
   復号画像の画素ブロックに対しアダマール変換を施し、その変換係数のうち符号化ブロック境界における信号変化を表す成分の電力からブロック歪特徴量を求めるブロック歪特徴量計算部と、
   前記復号画像の画素ブロック内の画素分散が所与の閾値より低い場合に、当該画素ブロックにおけるフレーム間差分を計算するフリッカ特徴量計算部と、
   前記復号画像内の各画素ブロックのブロック歪特徴量の平均およびフリッカ特徴量の総和の２つを引数とする近似関数に基づき客観画質を導出する客観評価尺度計算部とを具備したことを特徴とする映像の客観画質評価装置。
2. 請求項１に記載の映像の客観画質評価装置であって、
   前記ブロック歪特徴量計算部は、ブロック歪特徴量の計算のために、アダマール変換を16×16画素ブロック単位で行い、(8,8)成分と(0,0)成分の比の2乗をブロック歪み特徴量とすることを特徴とする映像の客観画質評価装置。
3. 請求項１または２に記載の映像の客観画質評価装置であって、
   前記フリッカ特徴量計算部は、復号画像の輝度信号のブロック内分散が所与の閾値以下の場合に、フレーム間差分信号のシーケンス内平均値をフリッカ特徴量とすることを特徴とする映像の客観画質評価装置。
4. 請求項１ないし３のいずれかに記載の映像の客観画質評価装置であって、
   前記客観評価尺度計算部は、客観画質導出のための近似関数として、復号画像内の各画素ブロックのブロック歪特徴量の平均およびフリッカ特徴量の総和の重み付き和を用いることを特徴とする映像の客観画質評価装置。
5. 請求項１ないし３のいずれかに記載の映像の客観画質評価装置であって、
   前記客観評価尺度計算部は、客観画質導出のための近似関数として、復号画像の各画素ブロックのブロック歪特徴量の平均を所定のべき指数でべき乗した数および復号画像の各画素ブロックのフリッカ特徴量の総和を所定のべき指数でべき乗した数の重み付き和を、さらに前記のべき指数とは異なる所定のべき指数でべき乗した数を用いることを特徴とする映像の客観画質評価装置。

Images