JP5708916B2 - 画像評価方法、画像評価システム及びプログラム - Google Patents

Description

本発明は画像評価方法、画像評価システム及びプログラムに関する。

映像の画質を客観的に評価する方法として、原画像と評価対象画像の画素値（輝度、色差、ＲＧＢ値など）の差分絶対値、差分二乗、ＳＮ比などを用いる方法がある。例えば、特許文献１に記載の画質評価方法では、ＳＮ比に対して、空間周波数の違いによる人間の視覚特性を考慮し、評価対象画像データの画素値とその原画像データの画素値との差分値に基づくＳＮ比を算出し、このＳＮ比に対してフレーム全体の画像データの交流成分電力に基づいた重み付けをおこない、客観画質値を求めている。

しかし、特許文献１の画質評価方法は、映像信号の時間方向の変化に対する視覚特性を考慮しないため、実際の主観評価結果との相関が高くならない場合があった。

また、他の画質評価方法が、特許文献２に記載されている。特許文献２に記載されている画質評価方法では、例えば、連続するフレーム間において画素ごとに画素値差分を求め、この差分の大きさに基づき、ＳＮ比に加重処理を施している。
特許第３４５８６００号公報 特開２００７−１１０１８９号公報

評価対象の画像のフレーム間に微小な動きがある場合、人間の視覚はその動きに追従できるため、動きが無い場合と同様に画質劣化を検知しやすくなる。つまり、微小な動きがある場合においても、動きが無い場合と同じ加重処理を施す必要がある。

しかし、特許文献２に記載の画質評価方法では、画素ごとに画素変化量を求めているので、評価対象画像のフレーム間に微小な動きが存在した場合には、画像内に存在するオブジェクトの境界近傍で、変化が大きいと判定されてしまう。この判定により加重処理が施されるため、境界近傍では適切な加重処理がおこなわれず主観画質と客観画質の相関が低くなってしまうという課題があった。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、フレーム間の映像の変化を正しく評価し、変化の大きさを客観画質評価結果に反映させる画質評価方法、画質評価システム及びプログラムを提供することにある。

上記課題を解決する本発明は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出し、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出することを特徴とする画質評価方法である。

上記課題を解決する本発明は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出部と、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出部とを有することを特徴とする画質評価システムである。

上記課題を解決する本発明は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出処理と、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出処理とを情報処理装置に実行させることを特徴とするプログラムである。

本発明の効果は、主観評価との相関が高い客観画質評価が得られる。

図１は第１の実施の形態の画像評価システムのブロック図である。 図２は第２の実施の形態の画像評価システムのブロック図である。 図３は第２の実施の形態の画像評価システムの動作フローチャートである。 図４は第２の実施の形態の具体例を説明する為の図である。 図５は第３の実施の形態の画像評価システムのブロック図である。 図６は第４の実施の形態の画像評価システムのブロック図である。 図７は第５の実施の形態の画像評価システムのブロック図である。

１０ 第１の画質値算出部
１１ フレーム間画素変化量算出部
１２ 第１の画質値重み付け部
１３ 第２の画質値算出部

本発明の実施の形態を説明する。
＜第１の実施の形態＞
本実施の形態は、第１の画像の所定フレーム間における所定のサイズの画素集合における画素変化量を算出する。そして、少なくとも所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、算出された画素変化量に基づいて加重処理を施し、加重処理後の第２の画質値に基づいて、第１の画像の画質を評価することを特徴とする。

図１に示されるように、第１の実施の形態の評価システムは、第１の画質値算出部１０と、フレーム間画素変化量算出部１１と、第１の画質値重み付け部１２と、第２の画質値算出部１３とを備える。

第１の画質値算出部１０は、少なくとも第１の画像の所定データに基づいて第１の画質値を算出する。使用されるデータは、評価対象の第１の画像のデータのみならず、比較対象となる第２の画像（例えば、原画像）の全体の画像データ、又は第２の画像の特徴量も用いても良い。算出される第１の画質値は、例えば、ブロック歪量、ボケ量、伝送エラーによる欠落による劣化の大きさなどが数値として算出される。また、第１の画像と第２の画像との所定の画素集合（ブロック：例えば１６画素×１６画素など）ごとに差分値等でも良い。この差分値は、同画素位置の輝度、色差、ＲＧＢなどの画素値の１画素ずつの差分を計算してもよいし、所定の画素の集合ごとに得られる画素値の平均値や、画像集合の交流成分の統計値（例えば、画素集合内の画素の画素値の平均値を求め、この平均値と画素集合内の各画素値との差分絶対値の平均値、または、画素集合内の画素値の分散）の差分を計算してもよい。また、画素集合を直交変換した後の変換係数の差分として求めても良い。

フレーム間画素変化量算出部１１は、所定の複数フレーム間における画素集合の画素変化量を計算する。画素集合の画素変化量は、所定の複数フレームの同一画素位置の輝度、色差、ＲＧＢ値のいずれかの画素値の差分絶対値を画素集合内で加算したものとして表現される（フレーム間差分絶対値和）。また、差分絶対値の画素あたりの平均値として表現しても良い。尚、以下の説明において、フレーム間画素変化算出部１１で算出される値をフレーム間画素変化量と記載する。尚、フレーム間画素変化量を求める画素集合のサイズと、第１の画質値の単位サイズとは異なるものであっても良い。サイズを異なるものとすることで、第１の画質値については、例えば符号化単位である１６×１６画素で画素集合を定義し、フレーム間画素変化量については、例えばフレーム内のオブジェクトの形状に合わせて画素集合を定義することで、より正確にフレーム間画素変化量を算出でき、かつブロック歪など符号化固有の劣化も算出できる。

また、第１の画質値がフレーム単位の値である場合、各画像集合のフレーム間画素変化量の単位フレーム当たりの平均値を算出するようにしても良い。前記の所定の複数フレームは、例えば画質評価を行おうとしているフレーム(現フレーム)と、その直前のフレームが用いられるが、これ以外のフレームでも良く、現フレームと、現フレームから所定の間隔だけ離れたフレームとを用いても良い。所定の間隔として、２、３、４、５フレームなどを用いる。フレームレート（1秒間に含まれるフレーム数）が高い場合などでは、数フレーム分間隔があいた際の画素変化が大きい時においても、発生した画質劣化が検知しづらくなるので、このような場合にも加重処理を導入することが望ましい。

また、前記の所定の複数フレームは、３フレーム以上のフレームを用いてもよい。例えば、現フレーム（時刻ｔ）、直前のフレーム（時刻ｔ−１）、2フレーム前のフレーム（時刻ｔ−２）の３フレームを用いて、時刻ｔと時刻ｔ−１のフレーム間での画素変化量と、時刻ｔ−１と時刻ｔ−２のフレーム間での画素変化量とを算出し、この二つの画素変化量の平均値などの統計量を時刻ｔにおける画素変化量としてもよい。

第１の画質値重み付け部１２は、フレーム間画素変化量算出部１１で算出されたフレーム間画素変化量に基づいて、第１の画質値算出部１０で算出された第１の画質値に対して加重処理を行う。加重処理は、所定の閾値とフレーム間画素変化量とを比較し、フレーム間画素変化量が閾値よりも小さい場合は、フレーム間での画素変化が小さく、わずかな画質劣化も検知しやすくなるため、フレーム間画素変化量を算出した所定のフレーム間で算出された第１の画質値に、例えば１以上の所定の定数を乗算することで重みをつける。

一方、フレーム間画素変化量が閾値よりも大きい場合は、フレーム間での画素変化が大きく、画質劣化が検知しにくくなるため、例えば１以下の所定の定数を第１の画質値に乗算することで加重処理をおこなう。閾値の種類は複数あってもよく、この場合多段階の加重処理の制御が可能となる。

また、フレーム間画素変化量を変数とする所定の関数により加重値を求めるようにしても良い。尚、加重処理の単位であるが、第１の画質値が画像集合毎であるならば、画像集合毎に、また、フレーム単位であるならばフレーム単位で行う。さらに、フレーム間の画素変化が大きいと判定された場合に、現在のフレーム以降の所定のフレーム数において上記の加重処理をおこなっても良い。これは、フレーム間の画素変化が大きい場合に画質劣化が検知しにくくなる現象が、フレーム間の画素変化が大きいと判定された時刻の１フレームだけでなく、以降の数フレームに渡って生じるためである。例えば、以降の５フレームにおいて上記の加重処理をおこなうようにする。

第２画質値算出部１３は、加重処理がされた第１の画質値に基づいて、第２の画質を算出する。第２の画質は、例えば、映像全体又は所定フレーム毎の第１の画質値の平均値などとして出力される。尚、第２の画質は、平均値以外のものでも良い。例えば、ＳＮ比として出力しても良い。

第１の実施の形態によれば、主観評価との相関が高い客観画質評価が得られる。その理由は、フレーム間の画素値の変化を画素ごとではなく、所定の画素集合ごとに算出することで、フレーム間の微小な動きが存在した場合にも、画像内に存在するオブジェクトの境界近傍で、正しくフレーム間の画素値の変化を算出でき、この画素変化量を客観画質値の算出に用いるからである。
＜第２の実施の形態＞
第２の実施の形態は、ＦＲ（Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ）方式、またはＲＲ（Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ）方式に本発明を適用した場合の実施の形態である。また、以下の説明においては、画質評価を行おうとしているフレーム(現フレーム)と、時間的に１フレーム前のフレーム中の同位置の画素集合との間で、フレーム間画素変化量を求める場合を説明する。

図２を参照すると、第２の実施の形態の画質評価システムは、原画像と評価対象画像との差分を所定の画素集合ごとに求める差分算出部１０１と、評価対象画像の隣接フレーム間の画素値変化を所定の画素集合ごとに求めるフレーム間画素変化量算出部１０２と、算出されたフレーム間の画素変化量に基づき差分算出部１０１で算出された差分に加重処理を施す差分重み付け部１０３と、加重処理された差分に基づき客観画質値を求める客観画質値算出部１０４とから構成される。

差分算出部１０１は、入力される原画像の１フレームの情報と評価対象画像の１フレームの情報とに基づいて、差分値を算出する。差分値は、所定の画素集合（例えば１６画素×１６画素など）ごとに算出される。この差分値は、原画像と評価対象画像との同画素位置の輝度、色差、ＲＧＢなどの画素値の１画素ずつの差分を計算してもよいし、所定の画素集合ごとに得られる画素値の平均値や、画像集合の交流成分の統計量（例えば、画素集合内の画素の画素値の平均値を求め、この平均値と画素集合内の各画素値との差分絶対値の平均値、または、画素集合内の画素値の分散）の差分を計算してもよい。

また、画素集合を直交変換した後の変換係数の差分として求めても良い。ここでの差分値は、差分絶対値、差分二乗値などの形で算出される。

尚、映像伝送を伴う場合などでは、原画像または評価対象画像のいずれか、または双方においてすべての画素を参照できない場合もあるが、この場合は、参照できる画素位置で差分値が計算される。

フレーム間画素変化量算出部１０２は、評価対象画像の現在処理中のフレームと１フレーム前のフレームとの間での画素変化を所定の画素集合ごとに算出する。画素変化は、輝度、色差、ＲＧＢ値のいずれかの画素ごとの差分絶対値を前記画素集合内で加算したものとして表現される（フレーム間差分絶対値和）か、差分絶対値の画素あたりの平均値として表現される。ここでは、フレーム間差分絶対値和をフレーム間画素変化量として用いているが、所定の画素集合ごとにフレーム間画素変化量を求めていれば他の値を用いても良い。例えば差分二乗和などの値を用いても良い。

尚、フレーム間画素変化量を求める画素集合のサイズと、画素値の平均値や、交流成分の統計量を算出する画素集合のサイズとは異なるものであっても良い。サイズを異なるものとすることで、差分値については、例えば符号化単位である１６×１６画素で画素集合を定義し、フレーム間画素変化については、例えばフレーム内のオブジェクトの形状に合わせて画素集合を定義することで、より正確にフレーム間画素変化を算出でき、かつブロック歪など符号化固有の劣化も算出できる。

差分重み付け部１０３は、差分算出部１０１で算出された差分値に対して加重処理を施す。加重処理は、フレーム間画素変化量算出部１０２にて算出されたフレーム間画素変化量に基づいておこなわれる。所定の閾値とフレーム間画素変化量とを比較し、フレーム間画素変化量が閾値よりも小さい場合は、フレーム間での画素変化が小さく、わずかな画質劣化も検知しやすくなるため、対応する画素集合の差分値に、例えば１以上の所定の定数を乗算することで重みをつける。一方、フレーム間画素変化量が閾値よりも大きい場合は、フレーム間での画素変化が大きく、画質劣化が検知しにくくなるため、例えば１以下の所定の定数を対応する画素集合の差分値に乗算することで加重処理をおこなう。尚、閾値の種類は複数あってもよく、この場合多段階の加重処理の制御が可能となる。また、フレーム間画素変化量を変数とする所定の関数により加重値を求めるようにしても良い。

客観画質値算出部１０４は、加重処理を施した差分値に基づき、客観画質値を算出する。客観画質値は、少なくとも１フレーム以上からなる所定のフレーム数ごとに、差分値の平均値などとして出力される。例えば、１フレームごとの平均値、所定のフレーム間隔ごとの平均値（所定フレーム数における単位フレーム当たりの平均値）、映像全体での平均値として出力される。尚、交流成分差分値に基づく客観画質値は、平均値以外のものでも良い。例えば、差分二乗値（交流成分差分値）を分母にし、対数をとりＳＮ比として出力しても良い。

図３は第２の実施の形態の画質評価システムの動作をフローチャートで表したものである。

まず、画質評価処理に必要となるパラメータ類の初期化がおこなわれる（Ｓ２０１）。ここでは、例えばフレーム位置を示すポインタの初期化や、算出される差分値の和を保存するためのパラメータのゼロリセットなどがおこなわれる。

原画像１フレーム分の画像データが画質評価システムに入力される（Ｓ２０２）。同様に、評価対象画像１フレームの画素データが画質評価システムに入力される（Ｓ２０３）。

次に、１フレーム分の画質評価処理をおこなうにあたり必要となるパラメータ類の初期化がおこなわれる（Ｓ２０４）。例えば、処理をおこなっている画素集合の位置を示すパラメータの初期化などがここでおこなわれる。

そして、原画像、評価対象画像の双方の所定の画素集合ごとに、所定の方法により差分値が算出される（Ｓ２０５）。ここでは、画素集合ごとに得られる画素値の平均値の差分として差分値Ｄｉｆｆを計算するものとする。

当該画素集合において、評価対象画像の現在処理中のフレームと、時間的に１フレーム前のフレーム中の同位置の画素集合との間で、フレーム間差分絶対値和（フレーム間画素変化量）を算出する（Ｓ２０６）。そして、このフレーム間差分絶対値和（フレーム間画素変化量）が所定の閾値ａよりも小さいか否かを判定する（Ｓ２０７）。閾値ａよりも小さいと判定された場合、差分値Ｄｉｆｆには１以上の定数Ａが乗算される（Ｓ２０８）。

一方、閾値１より小さいと判定されなかった場合は、Ｓ２０９にて前記フレーム間差分絶対値和（フレーム間画素変化量）が閾値ｂより大きいか否かを判定する。閾値ｂより大きいと判定された場合、差分値Ｄｉｆｆには１以下の定数Ｂが乗算される（Ｓ２１０）。

次に、現在の画素集合処理時点までの差分値Ｄｉｆｆの和を算出する（Ｓ２１１）。そして、１フレームすべての画素集合での差分計算が完了しているか否かを調べる（Ｓ２１２）。完了していない場合は、画素集合のポインタを次の画素集合に進め、Ｓ２０５に戻り処理を継続する。

一方、完了している場合は、Ｓ２１３にて映像の全フレームにおいて処理が完了しているか否かを調べる。完了していない場合は、フレームのポインタを次のフレームに進め、Ｓ２０２に戻り、以降のフレームについて同様の処理をおこなう。

全フレームの処理が完了している場合は、客観画質値算出装置１０４にて画像集合（映像全体）の交流成分差分値の画素集合あたりの平均値などを算出し、この値を客観画質値として出力し（Ｓ２１３）、処理を終了する。

続いて、第２の実施の形態の具体例を説明する。

ＳＤＴＶサイズ（水平７２０画素、垂直４８０画素、１秒あたり２９．９７フレーム）の動画像１と、動画像１をＭＰＥＧ−２方式４Ｍｂｐｓで符号化し、この符号化画像を復号して得られる動画像２とを、図２に記載の画質評価システムに入力する。

差分算出部１０１は、各画像の同時刻のフレームにおいて、１フレームを水平１６画素×垂直１６画素の画素集合に分割し（４５×３０ブロック）、各画素集合において交流成分の統計量を算出する。ｎブロックの交流成分の統計量Ｘ_ｎは、１６×１６＝２５６画素の輝度値の平均値Ｙを求め、この輝度値の平均値Ｙと２５６画素の各輝度値との差分絶対値の平均値として算出する。

次に、差分算出部１０１は、原画像と評価対象画像との同フレーム、同位置の画素集合の交流成分の統計量の交流成分差分値として、差分絶対値Ｄ_ｎ（以下、交流成分差分絶対値と記載する）を算出する。例えば、原画像の交流成分が１０で評価対象画像の交流成分が８の場合、交流成分差分絶対値Ｄ_ｎは２となる。この処理を、フレーム内に存在するすべての画素集合にて繰り返し、交流成分差分絶対値Ｄ_ｎを算出する。

次に、フレーム間画素変化算出部１０２は、評価対象フレームを１フレームあたり、水平１６画素×垂直１６画素の画素集合に分割し（４５×３０ブロック）、現フレームの画素集合と、その現フレームの１フレーム前のフレームの同位置の画素集合との間で、輝度値のフレーム間差分絶対値和（フレーム間画素変化量）を算出する。例えば、この画素集合内に、フレーム間で水平方向に２画素の動きを持つ物体が存在し、かつこの画素集合内にこの物体の境界が存在しているとする。図４に示すように、２画素分の動きにより、境界領域では、画素ごとの輝度のフレーム間差分絶対値が大きくなる。

特許文献２に基づく画質評価方法では、この差分絶対値が大きい画素では、フレーム間の画素変化が大きく、この画素変化により画質劣化が検知しにくいと判定されてしまう。一方、本例では、水平１６画素×垂直１６画素分の差分絶対値和に基づきフレーム間の画素変化を判定するので、他の境界領域以外での差分絶対値の影響を受け、境界領域でも変化が小さいと判定される。

次に、差分重み付け部１０３は、各画素集合の交流成分差分絶対値Ｄ_ｎに対する加重処理をおこなう。まず、フレーム間差分絶対値和（フレーム間画素変化量）を閾値と比較する。閾値１を２５６０、閾値２を５１２０、フレーム間差分絶対値和（フレーム間画素変化量）が閾値１より小さい場合の加重値Ｗ１を５．０、フレーム間差分絶対値和（フレーム間画素変化量）が閾値２より大きい場合の加重値Ｗ２を０．２５とする。閾値との比較により加重値が決定され、交流成分差分絶対値Ｄ_ｎにこの加重値が乗算される。

客観画質値算出部１０４は、加重処理が施された交流成分差分絶対値Ｄ_ｎが入力され、交流成分差分絶対値Ｄ_ｎの合計と、処理をおこなった画素集合数から、画素集合あたりの交流成分差分絶対値の平均値を算出し、この値が客観画質値として出力される。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について詳細に説明する。尚、以下の説明においては、画質評価を行おうとしているフレーム(現フレーム)と、時間的に１フレーム前のフレーム中の同位置の画素集合との間で、フレーム間画素変化量を求める場合を説明する。

図５を参照すると、本発明の画質評価システムは、原画像と評価対象画像の差分値を所定の画素集合ごとに求める差分算出部３０１と、評価対象画像の隣接フレーム間の画素値変化を所定の画素集合ごとに求めるフレーム間画素変化算出部３０２と、差分算出部３０１で算出した差分値とフレーム間画素変化量算出部３０２で算出したフレーム間画素変化量とに基づき評価対象画像のフレームが前フレームの繰り返しであるか否かを判別するフレームリピート検出部３０３と、検出されたフレームリピートの有無に基づき差分値に加重処理を施す差分重み付け部３０４と、加重処理された差分値の結果に基づき客観画質値を求める客観画質値算出部３０５とから構成される。

差分算出部３０１は、入力される原画像の１フレームの情報と評価対象画像の１フレームの情報とに基づいて、差分値を算出する。差分値は、所定の画素集合（例えば１６画素×１６画素など）ごとに算出される。

この差分値は、原画像と評価対象画像との同画素位置の輝度、色差、ＲＧＢなどの画素値の１画素ずつの差分を計算してもよいし、所定の画素集合ごとに得られる画素値の平均値や、画像集合の交流成分の統計量（例えば、画素集合内の画素の画素値の平均値を求め、この平均値と画素集合内の各画素値との差分絶対値の平均値、または、画素集合内の画素値の分散）の差分を計算してもよい。また、画素集合を直交変換した後の変換係数の差分として求めても良い。ここでの差分値は、差分絶対値、差分二乗値などの形で算出される。尚、映像伝送を伴う場合などでは、原画像または評価対象画像のいずれか、または双方においてすべての画素を参照できない場合もあるが、この場合は、参照できる画素位置で差分値が計算される。

フレーム間画素変化量算出部３０２は、評価対象画像の現在処理中のフレームと１フレーム前のフレームとの間での画素変化を所定の画素集合ごとに算出する。画素変化は、輝度、色差、ＲＧＢ値のいずれかの画素ごとの差分絶対値を画素集合内で加算したものとして表現される（フレーム間差分絶対値和）か、差分絶対値の画素あたりの平均値として表現される。ここでは、フレーム間差分絶対値和をフレーム間画素変化量として用いているが、所定の画素集合ごとにフレーム間画素変化量を求めていれば他の値を用いても良い。例えば差分二乗和などの値を用いても良い。尚、フレーム間画素変化量を求める画素集合のサイズと、画素値の平均値や、交流成分の統計量を算出する画素集合のサイズとは異なるものであっても良い。サイズを異なるものとすることで、差分値については、例えば符号化単位である１６×１６画素で画素集合を定義し、フレーム間画素変化については、例えばフレーム内のオブジェクトの形状に合わせて画素集合を定義することで、より正確にフレーム間画素変化を算出でき、かつブロック歪など符号化固有の劣化も算出できる。

フレームリピート検出部３０３は、評価対象画像がフレームの欠落により前フレームのデータの繰り返しになっているか否かを判定する。具体的には、フレーム間差分絶対値和がゼロであるか否かを調べる。ゼロでない場合は、フレーム欠落に起因するフレームリピートはないと判断する。ゼロである場合には、差分算出部３０１で算出した差分値を所定の閾値と比較する。差分値が所定の閾値よりも大きい場合は、原画像の現在処理中のフレームと、評価対象画像の現在処理中のフレームとの間でテンポラルアラインメント（フレームの表示時間の一致）がとれてない可能性が高いため、評価対象画像はフレーム欠落に起因するフレームリピートがあったと判定される。

差分重み付け部３０４は、差分算出部１０１で算出された差分値に対して加重処理を施す。加重処理は、フレーム欠落に起因するフレームリピートの有無により制御される。フレームリピートが有ると判定された場合、差分算出部３０１にて差分を算出した際に用いた原画像フレームと評価対象画像フレームとはテンポラルアラインメントが取れていないため、正しい差分値が算出できていないと判断し、ゼロを乗算し、この画素集合で算出した差分を無視する。

客観画質値算出部３０５は、加重処理を施した差分値に基づき、客観画質値を算出する。客観画質値は、少なくとも１フレーム以上からなる所定のフレーム数ごとに、差分値の平均値などとして出力される。例えば、１フレームごとの平均値、所定のフレーム間隔ごとの平均値（所定フレーム数における単位フレーム当たりの平均値）、映像全体での平均値として出力される。尚、客観画質値は、平均値以外のものでも良い。例えば、差分二乗値（交流成分差分値）を分母にし、対数をとりＳＮ比として出力しても良い。

本実施の形態は、テンポラルアラインメントが取れていない場合に算出された差分値を除外することで、画質評価の精度を向上させることができる。テンポラルアラインアラインメントが取れていない場合、原画像のフレームと、評価対象画像のフレームとは、本来異なる時刻（タイミング）で表示されるべきフレームであるので、これらのフレーム間の差分に基づき画質を評価することは適切ではないためである。

＜第４の実施の形態＞
次に、本発明の第４の発明を実施するための最良の形態について図６を参照して詳細に説明する。

第４の実施の形態では、上述した第１の実施の形態に示される画質評価システムをコンピュータシステムにより実行する。

図６を参照すると、本システムはプログラム制御プロセッサ４０１が装備されている。プログラム制御プロセッサ４０１には、原画像データバッファ４０２および評価対象画像データバッファ４０３の他に、必要なプログラムを格納したプログラムメモリ４０４が接続されている。

プログラムメモリ４０４に格納されるプログラムモジュールは、メインプログラムの他に、差分算出処理４０５と、フレーム間画素変化量算出処理４０６と、差分重み付け処理４０７と、客観画質値算出処理４０８とから構成される。

メインプログラムは、画質評価処理を実行する主プログラムである。

差分算出処理４０５、フレーム間画素変化量算出処理４０６、差分重み付け処理４０７、客観画質値算出処理４０８のプログラムモジュールは、差分算出部１０１と、フレーム間画素変化量算出部１０２と、差分重み付け部１０３と、客観画質算出部１０４との機能を実現する。

上述した第２の実施形態についても同様に各部を機能的に実現するプログラムモジュールを上記コンピュータシステムに実装することにより、コンピュータシステム上で実現可能となる。

＜第５の実施の形態＞
本発明の第５の実施の形態について図７を参照して詳細に説明する。

第５の実施の形態は、Ｎｏ（Ｎｏ Ｒｅｆｅｒｅｎｃｅ）方式に本発明を適用した場合の実施の形態である。尚、以下の説明においては、画質評価を行おうとしているフレーム(現フレーム)と、時間的に１フレーム前のフレーム中の同位置の画素集合との間で、フレーム間画素変化量を求める場合を説明する。

図７を参照すると、第５の実施の形態の画質評価システムは、評価対象画像を解析し、第１の画質値を算出する第１の画質値算出部６０１と、評価対象画像の隣接フレーム間の画素値変化を所定の画素集合ごとに求めるフレーム間画素変化量算出部６０２と、算出されたフレーム間画素変化量に基づき第１の画質値に加重処理を施す第１の画質値重み付け部６０３と、第１の画質値の加重処理結果に基づき客観画質値（第２の画質値）を求める第２の画質値算出部６０４とから構成される。

第１の画質値算出部６０１は、評価対象画像の１フレーム分の情報が入力され、所定の方法にて第１の画質値を算出する。例えば、ブロック歪量、ボケ量、伝送エラーによる欠落による劣化の大きさなどが数値として算出される。第１の画質値はここに挙げたもの意外ものでもよい。

フレーム間画素変化量算出部６０２は、評価対象画像の現在処理中のフレームと１フレーム前のフレームとの間での画素変化を所定の画素集合ごとに算出する。画素変化は、輝度、色差、ＲＧＢ値のいずれかの画素ごとの差分絶対値を前記画素集合内で加算したものとして表現される（フレーム間差分絶対値和）か、差分絶対値の画素あたりの平均値として表現される。ここでは、フレーム間差分絶対値和をフレーム間画素変化量として用いているが、所定の画素集合ごとにフレーム間画素変化量を求めていれば他の値を用いても良い。例えば差分二乗和などの値を用いても良い。

尚、フレーム間画素変化量を求める画素集合のサイズと、画素値の平均値や、交流成分の統計量を算出する画素集合のサイズとは異なるものであっても良い。サイズを異なるものとすることで、差分値については、例えば符号化単位である１６×１６画素で画素集合を定義し、フレーム間画素変化については、例えばフレーム内のオブジェクトの形状に合わせて画素集合を定義することで、より正確にフレーム間画素変化を算出でき、かつブロック歪など符号化固有の劣化も算出できる。

第１の画質値重み付け部６０３は、第１の画質値算出部６０１にて算出された第１の画質値に対して加重処理を施す。加重処理は、フレーム間画素変化量算出部６０２にて算出されたフレーム間画素変化量に基づいておこなわれる。その加重処理は、所定の閾値とフレーム間画素変化量とを比較し、フレーム間画素変化量が閾値よりも小さい場合は、フレーム間での画素変化が小さく、わずかな画質劣化も検知しやすくなるため、画質が悪いと評価されるように第１の画質値に加重処理を施す。一方、フレーム間画素変化量が閾値よりも大きい場合は、フレーム間での画素変化が大きく、画質劣化が検知しにくくなるため、画質が良いと評価されるように第１の画質値に加重処理を施す。尚、閾値の種類は複数あってもよく、この場合多段階の加重処理の制御が可能となる。また、フレーム間画素変化量を変数とする所定の関数により加重値を求めるようにしても良い。

第２の画質値算出部６０４は、加重処理を施した第１の画質値に基づき、第２の画質値（客観画質値）を算出する。第２の画質値（客観画質値）は、少なくとも１フレーム以上からなる所定のフレーム数ごとに、差分値の平均値などとして出力される。例えば、１フレームごとの平均値、所定のフレーム間隔ごとの平均値（所定フレーム数における単位フレーム当たりの平均値）、映像全体での平均値として出力される。尚、第２の画質値（客観画質値）は、平均値以外のものでも良い。例えば、差分二乗値（交流成分差分値）を分母にし、対数をとりＳＮ比として出力しても良い。

以上の如く、本発明の第１の態様は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出し、少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出することを特徴とする画質評価方法である。

本発明の第２の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームの直前のフレームとであることを特徴とする。

本発明の第３の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れたフレームとであることを特徴とする。

本発明の第４の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れた少なくとも２以上のフレームとであることを特徴とする。

本発明の第５の態様は、上記態様において、画素集合の画素変化量は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和であることを特徴とする。

本発明の第６の態様は、上記態様において、画素集合の画素変化量は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値であることを特徴とする。

本発明の第７の態様は、上記態様において、前記加重処理は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする。

本発明の第８の態様は、上記態様において、前記加重処理は、前記所定フレーム以降の数フレームにおける第１の画像の所定データに基づいて算出された第１の画質値に対しても行うことを特徴とする。

本発明の第９の態様は、上記態様において、第１の画質値は、前記第１の画像と前記第１の画像とは異なる第２の画像とを所定サイズの画素集合に分割し、前記各画素集合内における前記第１の画像を表現する所定のデータと前記第２の画像を表現する所定のデータとの差分であることを特徴とする。

本発明の第１０の態様は、上記態様において、前記差分は、前記第１の画像と前記第２の画像とにおける同フレーム、同画素位置の輝度、色差、ＲＧＢの少なくともいずれかの画素値の画素あたり差分、前記画素集合の前記画素値の平均値の差分、前記画素集合の交流成分の統計量の差分、又は、前記画素集合の画素値を直交変換した後の変換係数の差分のいずれかであることを特徴とする。

本発明の第１１の態様は、上記態様において、前記画素変化量が零であり、かつ前記第１の画質値が所定の閾値よりも大きい場合に、前記第１の画質値に零を乗算し、前記第１の画質値を無視することを特徴とする。

本発明の第１２の態様は、上記態様において、加重処理に用いる乗算定数は、前記画素変化量を引数とする所定の関数から導出されることを特徴とする。

本発明の第１３の態様は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出部と、少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出部とを有することを特徴とする画質評価システムである。

本発明の第１４の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームの直前のフレームとであることを特徴とする。

本発明の第１５の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れたフレームとであることを特徴とする。

本発明の第１６の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れた少なくとも２以上のフレームとであることを特徴とする。

本発明の第１７の態様は、上記態様において、前記画素変化量算出部は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和を、前記画素集合の画素変化量として算出することを特徴とする。

本発明の第１８の態様は、上記態様において、前記画素変化量算出部は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値を、前記画素集合の画素変化量として算出することを特徴とする。

本発明の第１９の態様は、上記態様において、前記画質値算出部は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする。

本発明の第２０の態様は、上記態様において、前記画質値算出部は、前記所定フレーム以降の数フレームにおける第１の画像の所定データに基づいて算出された第１の画質値に対しても加重処理を行うことを特徴とする。

本発明の第２１の態様は、上記態様において、前記第１の画像と前記第１の画像とは異なる第２の画像とを所定サイズの画素集合に分割し、前記各画素集合内における前記第１の画像を表現する所定のデータと前記第２の画像を表現する所定のデータとの差分である第１の画質値を算出する第１の画質値算出部を有することを特徴とする。

本発明の第２２の態様は、上記態様において、前記差分は、前記第１の画像と前記第２の画像とにおける同フレーム、同画素位置の輝度、色差、ＲＧＢの少なくともいずれかの画素値の画素あたり差分、前記画素集合の前記画素値の平均値の差分、前記画素集合の交流成分の統計量の差分、又は、前記画素集合の画素値を直交変換した後の変換係数の差分のいずれかであることを特徴とする。

本発明の第２３の態様は、上記態様において、前記画質値算出部は、前記画素変化量が零であり、かつ前記第１の画質値が所定の閾値よりも大きい場合に、前記第１の画質値に零を乗算し、前記第１の画質値を無視することを特徴とする。

本発明の第２４の態様は、上記態様において、前記画質値算出部は、加重処理に用いる乗算定数を、前記画素変化量を引数とする所定の関数から導出することを特徴とする。

本発明の第２５の態様は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出処理と、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出処理とを情報処理装置に実行させることを特徴とするプログラムである。

本発明の第２６の態様は、上記態様において、前記画素変化量算出処理は、隣接するフレームの同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和を、前記画素集合の画素変化量として算出することを特徴とする。

本発明の第２７の態様は、上記態様において、前記画素変化量算出処理は、隣接するフレームの同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値を、前記画素集合の画素変化量として算出することを特徴とする。

本発明の第２８の態様は、上記態様において、前記画質値算出処理は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする。

以上好ましい実施の形態及び態様をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び態様に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

本出願は、２００８年４月３０日に出願された日本出願特願２００８−１１８３４７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (22)

1. 第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出し、
   前記画素変化量と所定の１つ以上の閾値との比較をおこない、
   前記比較結果に基づき、所定の定数を少なくとも前記第１の画像の所定のデータに基づいた第１の画質値に乗算して加重処理を施し、前記第１の画像の第２の画質値を算出し、
   前記画素集合の画素変化量は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値である
   ことを特徴とする画質評価方法。
2. 前記加重処理は、
   前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を、少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に乗算して前記第１の画像の第２の画質値を算出し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算して前記第１の画像の第２の画質値を算出することを特徴とする請求項１に記載の画質評価方法。
3. 前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームの直前のフレームとであることを特徴とする請求項１又は請求項２に記載の画質評価方法。
4. 前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れたフレームとであることを特徴とする請求項１又は請求項２に記載の画質評価方法。
5. 前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れた少なくとも２以上のフレームとであることを特徴とする請求項１又は請求項２に記載の画質評価方法。
6. 前記加重処理は、前記所定フレーム以降の数フレームにおける第１の画像の所定データに基づいて算出された第１の画質値に対しても行うことを特徴とする請求項１又は請求項２に記載の画質評価方法。
7. 第１の画質値は、前記第１の画像と前記第１の画像とは異なる第２の画像とを所定サイズの画素集合に分割し、前記各画素集合内における前記第１の画像を表現する所定のデータと前記第２の画像を表現する所定のデータとの差分であることを特徴とする請求項１又は請求項２に記載の画質評価方法。
8. 前記差分は、前記第１の画像と前記第２の画像とにおける同フレーム、同画素位置の輝度、色差、ＲＧＢの少なくともいずれかの画素値の画素あたり差分、前記画素集合の前記画素値の平均値の差分、前記画素集合の交流成分の統計量の差分、又は、前記画素集合の画素値を直交変換した後の変換係数の差分のいずれかであることを特徴とする請求項７に記載の画質評価方法。
9. 前記画素変化量が零であり、かつ前記第１の画質値が所定の閾値よりも大きい場合に、
   前記第１の画質値に零を乗算し、前記第１の画質値を無視することを特徴とする請求項２に記載の画質評価方法。
10. 前記加重処理に用いる乗算定数は、前記画素変化量を引数とする所定の関数から導出されることを特徴とする請求項１又は請求項２に記載の画質評価方法。
11. 第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出部と、
    前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記比較結果に基づき、所定の定数を少なくとも前記第１の画像の所定のデータに基づいた第１の画質値に乗算して加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出部と
    を有し、
    前記画素変化量算出部は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値を、前記画素集合の画素変化量として算出する
    ことを特徴とする画質評価システム。
12. 前記画質値算出部は、
    前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を、少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に乗算して前記第１の画像の第２の画質値を算出し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算して前記第１の画像の第２の画質値を算出する
    ことを特徴とする請求項１１に記載の画質評価システム。
13. 前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームの直前のフレームとであることを特徴とする請求項１１又は請求項１２に記載の画質評価システム。
14. 前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れたフレームとであることを特徴とする請求項１１又は請求項１２に記載の画質評価システム。
15. 前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れた少なくとも２以上のフレームとであることを特徴とする請求項１１又は請求項１２に記載の画質評価システム。
16. 前記画質値算出部は、前記所定フレーム以降の数フレームにおける第１の画像の所定データに基づいて算出された第１の画質値に対しても加重処理を行うことを特徴とする請求項１１又は請求項１２に記載の画質評価システム。
17. 前記第１の画像と前記第１の画像とは異なる第２の画像とを所定サイズの画素集合に分割し、前記各画素集合内における前記第１の画像を表現する所定のデータと前記第２の画像を表現する所定のデータとの差分である第１の画質値を算出する第１の画質値算出部を有することを特徴とする請求項１１又は請求項１２に記載の画質評価システム。
18. 前記差分は、前記第１の画像と前記第２の画像とにおける同フレーム、同画素位置の輝度、色差、ＲＧＢの少なくともいずれかの画素値の画素あたり差分、前記画素集合の前記画素値の平均値の差分、前記画素集合の交流成分の統計量の差分、又は、前記画素集合の画素値を直交変換した後の変換係数の差分のいずれかであることを特徴とする請求項１７に記載の画質評価システム。
19. 前記画質値算出部は、前記画素変化量が零であり、かつ前記第１の画質値が所定の閾値よりも大きい場合に、前記第１の画質値に零を乗算し、前記第１の画質値を無視することを特徴とする請求項１２に記載の画質評価システム。
20. 前記画質値算出部は、加重処理に用いる乗算定数を、前記画素変化量を引数とする所定の関数から導出することを特徴とする請求項１１又は請求項１２に記載の画質評価システム。
21. 第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出処理と、
    前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記比較結果に基づき、
    所定の定数を少なくとも前記第１の画像の所定のデータに基づいた第１の画質値に乗算して加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出処理とを情報処理装置に実行させ、
    前記画素変化量算出処理は、隣接するフレームの同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値を、前記画素集合の画素変化量として算出する
    ことを特徴とするプログラム。
22. 前記画質値算出処理は、
    前記画素変化量が前記所定の閾値よりも小さい場合に、１より大きい所定の定数を、少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に乗算して前記第１の画像の第２の画質値を算出し、前記所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算して前記第１の画像の第２の画質値を算出する
    ことを特徴とする請求項２１に記載のプログラム。

Images