JP2011041077A - 映像品質推定装置、方法、およびプログラム - Google Patents

Abstract

【課題】映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定する。
【解決手段】特徴量抽出部１２により、映像受信端末２から取得した映像信号Ｓから、元の映像に対する符号化処理による当該映像の劣化度合いを示す、ブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔなどの特徴量を抽出し、映像品質算出部１３により、これら特徴量から映像品質Ｖを算出する。
【選択図】 図１

Description

本発明は、映像品質推定技術に関し、特にＩＰネットワーク経由で行う映像通信に関する映像品質を推定する技術に関する。

ＩＰネットワークや端末機器の発展に伴い、ＩＰＴＶサービス、映像配信サービス、ＴＶ電話サービスなど、映像メディアを用いた映像通信サービスが普及してきている。
映像メディアを用いた通信の場合、ネットワークの利用効率を向上させるため情報量圧縮（符号化）が行われる。符号化された映像メディアは、原映像、すなわち劣化のない映像信号と比較して、高周波成分の欠落やブロックノイズの増加などにより、ぼけ・にじみ・モザイク状の歪、ぎくしゃく感などといった現象を招く。このため、ユーザが知覚する品質、すなわちユーザ体感品質（QoE：Quality of Experience）は低下する。
このような映像通信サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス提供中の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要となる。

従来、例えば非特許文献１では、映像品質に影響を与える、ビットレートやパケット損失率などの品質パラメータから映像品質を推定する映像品質評価法が提案されている。また、例えば非特許文献２，３では、原映像信号、すなわち劣化のない映像信号と、劣化映像信号、すなわち符号化劣化やパケット損失劣化を含む映像信号とを比較することで、映像品質を推定する映像品質評価法が提案されている。これらの客観評価技術は、ある一定条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能である。

ＩＴＵ−Ｔ勧告Ｇ．１０７０ ＩＴＵ−Ｔ勧告Ｊ．２４７ ＩＴＵ−Ｔ勧告Ｊ．１４４ "A Computational Approach to Edge Detection", by J.F. Canny, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8, pp.769-798, 1986 "NO-REFERENCE PERCEPTUAL QUALITY ASSESSMENT OF JPEG COMPRESSED IMAGES", by Zhou Wang, H. R. Sheikh and Alan C. Bovik, IEEE International Conference on Image Processing, 1, pp.477-480, 2002 ＩＴＵ−Ｔ勧告Ｐ．９１１

しかしながら、前述した非特許文献１では、例えば動きの多い・少ないに基づく映像種別や、例えば圧縮効率の高いＨ．２４６エンコーダ、ＧｏＰなどの符号化パラメータに基づく端末の実装状況を仮定して、映像品質を推定しているため、映像品質のコンテンツ依存性やコーデック実装依存性を考慮することができない。

図６は、映像品質のコンテンツ依存性を示す説明図である。図７は、映像品質のコーデック実装依存性を示す説明図である。
映像品質は、図６のように、同一ビットレート条件でも、映像コンテンツの違いにより映像品質が異なるという、コンテンツ依存性を有している。また、映像品質は、図７のように、同一ビットレート条件においても、コーデックの実装の違いにより映像品質が異なるという、実装依存性を有している。したがって、映像品質を精度よく推定するためには、コンテンツ依存性およびコーデック実装依存性を加味する必要がある。

このようなコンテンツ依存性およびコーデック実装依存性を加味した映像品質を推定するためには、映像受信端末２が受信する映像信号のみを用いることが有効である。しかしながら、前述した非特許文献２、３では、受信する映像信号の他に原映像信号を必要とすることから、ユーザが利用するＳＴＢなどのエンド端末での映像品質を推定することは困難である。

本発明はこのような課題を解決するためのものであり、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる映像品質推定技術を提供することを目的としている。

このような目的を達成するために、本発明にかかる映像品質推定装置は、ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定装置であって、映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、特徴量から映像品質を算出する映像品質算出部とを備えている。

この際、特徴量抽出部で、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出部、離散コサイン変換処理に起因して低減する高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出部、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出部のうち、いずれか１つ以上またはすべてを含むようにしてもよい。

また、ブロックノイズ量算出部で、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしてもよい。

また、高周波成分量算出部で、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしてもよい。

また、動き量算出部で、映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしてもよい。

また、映像品質算出部で、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしてもよい。

また、本発明にかかる映像品質推定方法は、ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定方法であって、映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、特徴量から映像品質を算出する映像品質算出ステップとを備えている。

この際、特徴量抽出ステップとして、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出ステップ、離散コサイン変換処理に起因して除去される高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出ステップ、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出ステップのうち、いずれか１つ以上またはすべてを含むようにしてもよい。

また、ブロックノイズ量算出ステップで、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしてもよい。

また、高周波成分量算出ステップで、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしてもよい。

また、動き量算出ステップで、映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしてもよい。

また、映像品質算出ステップで、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしてもよい。

また、本発明にかかるプログラムは、コンピュータを、前述したいずれか１つの映像品質推定装置を構成する各部として機能させるためのものである。

本発明によれば、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる。このため、映像通信サービスを利用するユーザに対して、ある一定以上の映像品質を提供できているかどうかを、より正確に判断することができる。これにより、提供中のサービスの品質実態を把握・管理することが可能となる。

本実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 画素位置と輝度値の関係を示す説明図である。 本実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。 ブロック境界領域とブロック境界線との関係を示す説明図である。 品質特性係数テーブルの例である。 映像品質のコンテンツ依存性を示す説明図である。 映像品質のコーデック実装依存性を示す説明図である。

次に、本発明の一実施の形態について図面を参照して説明する。
［映像品質推定装置］
まず、図１を参照して、本実施の形態にかかる映像品質推定装置について説明する。図１は、本実施の形態にかかる映像品質推定装置の構成を示すブロック図である。

この映像品質推定装置１０は、全体としてサーバ装置やパーソナルコンピュータなどの情報処理装置からなり、映像通信サービスを利用して、ＩＰネットワーク３を介して映像配信装置１から受信した符号化映像データを、映像受信端末２で復号して得られた映像について、当該映像を視聴したユーザが知覚する映像品質Ｖ、すなわちユーザ体感品質を、当該映像の映像信号Ｓに基づいて推定する機能を有している。

［本発明の原理］
本発明は、映像受信端末２が受信再生した映像信号Ｓから符号化劣化に関する特徴量を抽出し、これら特徴量に基づき映像品質Ｖを算出することで、コンテンツ依存性およびコーデック実装依存性を加味した映像品質Ｖを推定する。具体的には、以下の３つの品質特性を捉えた特徴量、すなわちブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔを、映像信号Ｓから抽出する。

［ブロックノイズ量］
通常、映像符号化処理では、入力映像の画面を、例えば８ｘ８画素からなる矩形のブロックに区分し、ブロックごとに離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）処理を適用して画素値の高周波成分を削減しているため、ブロックの境界線の画素値（輝度値、色差値）に原映像には存在しない不自然なエッジが生じる。このエッジをブロックノイズという。このため、このようなブロックノイズ量が増加すると、ブロック境界線が顕著になり映像品質が低下する。本発明では、このブロックノイズの量を捉えた特徴量をブロックノイズ量Ｂと定義する。

劣化した映像信号にエッジ抽出フィルタを適用すると、ブロックノイズの発生したブロックの境界からエッジが抽出される。また、符号化された映像は、ブロック境界以外では高周波成分の情報が削減されるため、エッジの量が減少する。
したがって、ブロックノイズ量Ｂを抽出するためには、ブロック境界線付近の領域、すなわちブロック境界領域と、それ以外の領域、すなわち非ブロック境界領域とのエッジ量の平均値の比を算出することが有効である。本発明では、ブロック境界領域と非ブロック境界領域とのエッジ量の比をフレームごとに算出し、これらエッジ量の比をフレーム数で平均した値をブロックノイズ量Ｂとする。

［高周波成分量］
前述したように、映像符号化処理で用いる離散コサイン変換処理により、映像の画素値の高周波成分が低下する。これにより、画面全体が平坦になり、ぼけとして知覚され映像品質が低下する。本発明では、このような高周波成分を捉えた特徴量を高周波成分量Ｈと定義する。

図２は、画素位置と輝度値の関係を示す説明図である。水平方向または垂直方向において輝度値の勾配が正から負もしくは負から正に変わる画素、すなわち図２の極値画素の出現頻度は、輝度値の振動回数を意味し、映像の高周波成分の量を表している。本発明では、水平方向または垂直方向の極値画素が画面全体を占める割合を平均した値をフレームごとに算出し、これら極値画素の平均占有率をフレーム数で平均した値を高周波成分量Ｈとする。

［動き量］
隣接フレーム間で動きの量が多い映像は、ブロックノイズや高周波成分の減少（ぼけ）などの劣化が知覚され難い。このため、同じ劣化量でも、動きの量が多くなるに従い、それらの劣化が知覚され難くなり、映像品質が高くなる。本発明では、この動きの量を捉えた特徴量を動き量Ｔと定義する。
動きの量が多い映像は、隣接フレーム間での画素値の変化が大きくなる。本発明では、隣接フレーム間ごとに、両フレーム間の画素値の差分値について標準偏差値を算出し、これら標準偏差値を隣接フレーム間数で平均した値を動き量Ｔとする。

［本実施の形態の構成］
次に、図１を参照して、本実施の形態にかかる映像品質推定装置１０の構成について詳細に説明する。
この映像品質推定装置１０は、全体としてサーバ装置やパーソナルコンピュータなどの情報処理装置からなり、主な機能部として、映像信号取得部１１、特徴量抽出部１２、および映像品質算出部１３が設けられている。

映像信号取得部１１は、専用の映像インターフェース回路からなり、映像受信端末２が映像配信装置１から受信して復号し、ＬＣＤやＰＤＰなどのディスプレイ装置へ出力する映像信号Ｓを取得する機能を有している。

特徴量抽出部１２は、映像信号取得部１１で取得した映像信号Ｓから、元の映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する機能を有している。
この特徴量抽出部１２には、主な処理部として、ブロックノイズ量算出部１２Ａ、高周波成分量算出部１２Ｂ、および動き量算出部１２Ｃが設けられている。

ブロックノイズ量算出部１２Ａは、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出する機能を有している。具体的には、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出する。

高周波成分量算出部１２Ｂは、離散コサイン変換処理に起因して低減してしまう高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する機能とを有している。具体的には、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出する。

動き量算出部１２Ｃは、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する機能とを有している。具体的には、映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出する。

映像品質算出部１３は、特徴量抽出部１２で抽出した、元の映像に対する符号化処理による映像品質劣化に関する特徴量、具体的にはブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔに基づいて、復号した映像を視聴したユーザが知覚する映像品質Ｖ、すなわちユーザ体感品質を算出する機能を有している。具体的には、これら特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出する。

映像品質推定装置１０における機能部のうち、特徴量抽出部１２および映像品質算出部１３については、演算処理部により実現してもよい。演算処理部は、ＣＰＵなどのマイクロコンピュータとその周辺回路を有し、記憶部からプログラムを読み込んで実行することにより、各種機能部を実現する。

なお、映像品質推定装置１０には、一般的なサーバ装置やパーソナルコンピュータなどの情報処理装置と同様に、演算処理部や記憶部のほか、ＬＣＤなどのディスプレイ装置、キーボードやマウスなどの操作入力装置、通信インターフェース、データ入出力インターフェースなどの各種機能部が設けられているものとする。

［本実施の形態の動作］
次に、図３を参照して、本実施の形態にかかる映像品質推定装置１０の動作について説明する。図３は、本実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。
映像品質推定装置１０は、オペレータからの指示操作や外部装置（図示せず）からの指示に応じて、図３の映像品質推定処理を開始する。

まず、映像品質推定装置１０は、映像信号取得部１１により、映像受信端末２から映像信号Ｓを取得する（ステップ１００）。この映像信号Ｓ内には、輝度信号や色差信号を表す画素値が含まれている。

次に、映像品質推定装置１０は、特徴量抽出部１２により、映像信号取得部１１で取得した映像信号Ｓの画素値に基づいて、元の映像に対する符号化処理による映像信号Ｓの映像品質劣化の度合いを示す特徴量を抽出する。この際、特徴量抽出部１２は、ブロックノイズ量算出部１２Ａにより映像信号Ｓの画素値からブロックノイズ量Ｂを算出し（ステップ１０１）、高周波成分量算出部１２Ｂにより映像信号Ｓの画素値から高周波成分量Ｈを算出し（ステップ１０２）、動き量算出部１２Ｃにより映像信号Ｓの画素値から動き量Ｔを算出する（ステップ１０３）。

この後、映像品質推定装置１０は、映像品質算出部１３により、特徴量抽出部１２で算出されたブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔから映像品質Ｖを算出し（ステップ１０４）、一連の映像品質推定処理を終了する。

［ブロックノイズ量算出処理］
次に、ブロックノイズ量算出部１２Ａにおけるブロックノイズ量算出処理について詳細に説明する。
ブロックノイズ量算出部１２Ａは、まず、映像信号取得部１１で取得した映像信号Ｓに、エッジ抽出フィルタ処理を適用し、エッジ映像信号を生成する。エッジ抽出フィルタ処理の具体例としては、例えば、公知のＣａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ（非特許文献４など参照）を使用すればよい。このエッジ抽出フィルタとしては、Ｓｏｂｅｌフィルタやラプラスフィルタを適用することができるが、Ｃａｎｎｙ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒを利用すれば、今回対象とするブロックノイズによって生じるブロック間の境界線についてはより精度良く抽出できる。

この後、ブロックノイズ量算出部１２Ａは、生成されたエッジ映像信号からブロックノイズ量Ｂを算出する。まず、ブロック境界領域と非ブロック境界領域を定義する。ブロック境界領域は、離散コサイン変換の適用単位であるブロックの境界付近に位置する画素である。図４は、ブロック境界領域とブロック境界線との関係を示す説明図である。
本実施例では、図４のように、（１）ブロック境界線が画素境界に位置する場合は、ブロック境界線に隣接するすべての画素をブロック境界線領域と設定し、（２）ブロック境界線が画素内に位置する場合は、ブロック境界線を含むすべての画素およびそれらの画素に隣接するすべての画素をブロック境界線領域と設定する。

なお、ブロック境界線位置は、映像復号に用いるコーデックの種別により異なる。また、解像度の変換等の画像処理により、コーデックで定義されているブロック境界位置と一致しないことがある。例えば、解像度１４４０×１０８０の符号化映像を、解像度１９２０×１０８０のディスプレイ装置で出力する場合、８×８のブロックサイズは１０．６６×８のブロックサイズとなる。ブロック境界位置についてはシステムに基づいて予め設定しておくか、推定する必要があり、本実施例では、ブロック境界位置が既知である例を示す。これに対し、非ブロック境界領域は、ブロック境界領域以外のすべての画素を示す。

続いて、ブロックノイズ量算出部１２Ａは、次の式（１）に基づいて、フレームごとに、エッジ映像信号のブロック境界線領域内に位置する画素値の合計を、ブロック境界線領域内の画素数Ｎ₁で平均することにより、画素値平均値Ｂ₁（ｎ）を算出する。ここで、Ｅ_n（ｉ，ｊ）はエッジ映像信号のｎフレーム目の画素位置（ｉ，ｊ）の画素値を示し、Ａ₁は、ブロック境界線領域内に位置するすべての画素位置の集合である。なお、本実施例では画素値として輝度値を用いた場合を例に説明する。

また、ブロックノイズ量算出部１２Ａは、次の式（２）に基づいて、フレームごとに、エッジ映像信号の非ブロック境界線領域内に位置する画素値の合計を、非ブロック境界線領域内の画素数Ｎ₂で平均することにより、画素値平均値Ｂ₂（ｎ）を算出する。ここで、Ａ₂は、非ブロック境界線領域内に位置するすべての画素位置の集合である。

ここで、Ｂ₁（ｎ）は、ブロック境界領域内の映像の境界線およびブロックノイズによって生じたブロック間の境界線の量を表している。しかし、符号化劣化により、映像の境界線の量が減ってしまうため、画素値平均値Ｂ₁（ｎ）だけでは、ブロックノイズの増加が捉え切れない。そのため、本実施の形態では、非ブロック境界領域内の映像の境界線の量である画素値平均値Ｂ₂（ｎ）を用いて正規化することにより、ブロックノイズ量を算出している。これにより、符号化によるエッジ量の低下を考慮したブロックノイズ量を精度よく算出できる。
したがって、ブロックノイズ量算出部１２Ａは、次の式（３）に示すように、画素値平均値Ｂ₁（ｎ）と画素値平均値Ｂ₂（ｎ）の比を全フレーム数Ｎで平均した値をブロックノイズ量Ｂとして算出する。

［高周波成分量算出処理］
次に、高周波成分量算出部１２Ｂにおける高周波成分量算出処理について詳細に説明する。
高周波成分量算出部１２Ｂは、映像信号取得部１１で取得した映像信号Ｓから、高周波成分量Ｈを算出する。高周波成分量Ｈの算出方法については公知の手法を用いればよい（例えば、非特許文献５など参照）。

まず、高周波成分量算出部１２Ｂは、次の式（４）に基づいて、画面端を除く画素に関するＩ_horizontal（ｉ，ｊ，ｎ）およびＩ_vertical（ｉ，ｊ，ｎ）を、フレームごとに算出する。ここで、Ｆｎ（ｉ，ｊ）は映像信号のｎフレーム目の画素位置（ｉ，ｊ）の画素値を示す。

続いて、高周波成分量算出部１２Ｂは、次の式（５）に基づいて、これらＩ_horizontal（ｉ，ｊ，ｎ）およびＩ_vertical（ｉ，ｊ，ｎ）の平均値について、画面端を除いた画素数で平均した値Ｈｆｒａｍｅを算出する。ここで、Ｗは水平方向の画素数、Ｈは垂直方向の画素数を示す。

この後、高周波成分量算出部１２Ｂは、次の式（６）に基づいて、Ｈ_frame（ｎ）を全フレーム数Ｎで平均した値を高周波成分量Ｈとして算出する。

［動き量算出処理］
次に、動き量算出部１２Ｃにおける動き量算出処理について詳細に説明する。
動き量算出部１２Ｃは、映像信号取得部１１で取得した映像信号Ｓから、動き量Ｔを算出する。動き量Ｔの算出方法については公知の手法を用いればよい（例えば、非特許文献６など参照）。

まず、動き量算出部１２Ｃは、隣接するフレーム間の同じ画素位置の画素値の差分値Ｍ（ｉ，ｊ，ｎ）を、次の式（７）に基づき算出する。ここでＦ_n（ｉ，ｊ）は映像信号のｎフレーム目の画素位置（ｉ，ｊ）の画素値を示す。

この後、動き量算出部１２Ｃは、次の式（８）に基づいて、画面全体のＭ（ｉ，ｊ，ｎ）の標準偏差をフレームごとに算出し、これら標準偏差値を隣接フレーム間数で平均した値を動き量Ｔとして算出する。ここで、ｓｔｄ_spaceは画面内の画素値の標準偏差を示す。

［映像品質算出処理］
次に、映像品質算出部１３における映像品質算出処理について詳細に説明する。
映像品質算出部１３は、次の式（９）に基づいて、特徴量抽出部１２で抽出したブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔから、映像品質Ｖを算出する。

式（９）において、映像品質Ｖは、ブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔおよびこれら特徴量同士の乗算値に対して、個別の係数をそれぞれ乗算した値の線形和で算出される。ただし、ｖ₁，ｖ₂，ｖ₃，ｖ₄，ｖ₅，ｖ₆，ｖ₇はコーデック種別、サービス種別、映像解像度などにより決まる品質特性係数である。図５は、品質特性係数テーブルの例である。このように、コーデック種別（Ｈ．２６４、ＭＰＥＧ−２など）、サービス種別（ＩＰＴＶ、テレビ電話など）、映像解像度（１０８０ｉ、４８０ｉなど）の組み合わせごとに、予め品質特性係数を算出し、テーブルとして保持しておけばよい。

［本実施の形態の効果］
このように、本実施の形態は、特徴量抽出部１２により、映像受信端末２から取得した映像信号Ｓから、元の映像に対する符号化処理による当該映像の劣化度合いを示す、ブロックノイズ量Ｂ、高周波成分量Ｈ、および動き量Ｔなどの特徴量を抽出し、映像品質算出部１３により、これら特徴量から映像品質Ｖを算出するようにしたので、映像品質のコンテンツ依存性やコーデック実装依存性を考慮して、映像品質を高い精度で推定できる。
このため、映像通信サービスを利用するユーザに対して、ある一定以上の映像品質を提供できているかどうかを、より正確に判断することができる。これにより、提供中のサービスの品質実態を把握・管理することが可能となる。

また、本実施の形態では、特徴量抽出部１２において、離散コサイン変換処理に起因して発生するブロックノイズが映像信号に含まれている量を示すブロックノイズ量を、映像信号から特徴量として算出するブロックノイズ量算出部１２Ａ、離散コサイン変換処理に起因して低減する高周波成分が映像信号に含まれている量を示す高周波成分量を、映像信号から特徴量として算出する高周波成分量算出部１２Ｂ、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、映像信号から特徴量として算出する動き量算出部１２Ｃのうち、いずれか１つ以上またはすべてを含むようにしたので、映像品質のコンテンツ依存性やコーデック実装依存性を示す特徴量を映像信号から抽出することができる。

また、本実施の形態では、ブロックノイズ量算出部１２Ａで、映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値をブロックノイズ量として算出するようにしたので、元の映像を符号化する際の離散コサイン変換処理に起因して発生するブロックノイズが、受信映像端末２で復号した映像信号に含まれている量を精度よく算出することができる。

また、本実施の形態では、高周波成分量算出部１２Ｂで、映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するようにしたので、元の映像を符号化する際の離散コサイン変換処理に起因して低減してしまう高周波成分が、受信映像端末２で復号した映像信号に含まれている量を精度よく算出することができる。

また、本実施の形態では、動き量算出部１２Ｃで、映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を動き量として算出するようにしたので、受信映像端末２で復号した映像信号のうち、隣接フレーム間で変化する画素値の変化の大きさを示す動き量を精度よく算出することができる。

また、本実施の形態では、映像品質算出部１３により、特徴量および特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、映像品質を算出するようにしたので、複数の特徴量から精度の高い映像品質を算出することができる。

［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。

１０…映像品質推定装置、１１…映像信号取得部、１２…特徴量抽出部、１２Ａ…ブロックノイズ量算出部、１２Ｂ…高周波成分量算出部、１２Ｃ…動き量算出部、１３…映像品質算出部、１…映像配信装置、２…映像受信装置、３…ＩＰネットワーク。

Claims (13)

1. ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定装置であって、
   前記映像受信端末から取得した映像信号から、符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出部と、
   前記特徴量から映像品質を算出する映像品質算出部と
   を備えることを特徴とする映像品質推定装置。
2. 請求項１に記載の映像品質推定装置において、
   前記特徴量抽出部は、
   離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出部、
   離散コサイン変換処理に起因して低減する高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出部、
   隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出部
   のうち、いずれか１つ以上またはすべてを含むことを特徴とする映像品質推定装置。
3. 請求項２に記載の映像品質推定装置において、
   前記ブロックノイズ量算出部は、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出することを特徴とする映像品質推定装置。
4. 請求項２に記載の映像品質推定装置において、
   前記高周波成分量算出部は、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出することを特徴とする映像品質推定装置。
5. 請求項２に記載の映像品質推定装置において、
   前記動き量算出部は、前記映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出することを特徴とする映像品質推定装置。
6. 請求項２に記載の映像品質推定装置において、
   前記映像品質算出部は、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出することを特徴とする映像品質推定装置。
7. ＩＰネットワークを介して受信した符号化映像データを映像受信端末で復号して得られた映像に対して、ユーザが体感する映像品質を推定する映像品質推定方法であって、
   前記映像受信端末から取得した映像信号から、当該映像に対する符号化処理による当該映像の劣化度合いを示す特徴量を抽出する特徴量抽出ステップと、
   前記特徴量から映像品質を算出する映像品質算出ステップと
   を備えることを特徴とする映像品質推定方法。
8. 請求項７に記載の映像品質推定方法において、
   前記特徴量抽出ステップは、
   離散コサイン変換処理に起因して発生するブロックノイズが前記映像信号に含まれている量を示すブロックノイズ量を、前記映像信号から前記特徴量として算出するブロックノイズ量算出ステップ、
   離散コサイン変換処理に起因して除去される高周波成分が前記映像信号に含まれている量を示す高周波成分量を、前記映像信号から前記特徴量として算出する高周波成分量算出ステップ、
   隣接フレーム間で変化する画素値の変化の大きさを示す動き量を、前記映像信号から前記特徴量として算出する動き量算出ステップ
   のうち、いずれか１つ以上またはすべてを含むことを特徴とする映像品質推定方法。
9. 請求項８に記載の映像品質推定方法において、
   前記ブロックノイズ量算出ステップは、前記映像信号にエッジ抽出フィルタを適用して得たエッジ映像信号を構成するフレームごとに、前記離散コサイン変換処理の処理単位である画素ブロックの境界線に基づいて、当該境界線近隣のブロック境界線領域に含まれる画素の画素値平均値と、当該ブロック境界線領域以外の非ブロック境界線領域に含まれる画素の画素値平均値との比を算出し、これら比を各フレームで平均した値を前記ブロックノイズ量として算出するステップを含むことを特徴とする映像品質推定方法。
10. 請求項８に記載の映像品質推定方法において、
    前記高周波成分量算出ステップは、前記映像信号を構成するフレームごとに、当該フレーム画面に含まれる画素のうち水平方向または垂直方向の少なくともいずれか一方において画素値勾配が変化する極値画素の数を、画面端画素を除く当該フレーム画面の画素数で除算した値を算出し、これら値を各フレームで平均した値を高周波成分量として算出するステップを含むことを特徴とする映像品質推定方法。
11. 請求項８に記載の映像品質推定方法において、
    前記動き量算出ステップは、前記映像信号を構成するフレームのうち隣接する２つのフレームごとに、当該２つのフレーム間における同一画素位置の画素値の差分値について、これら差分値の分布を示す標準偏差値を算出し、これら標準偏差値を各フレームで平均した値を前記動き量として算出するステップを含むことを特徴とする映像品質推定方法。
12. 請求項８に記載の映像品質推定方法において、
    前記映像品質算出ステップは、前記特徴量および前記特徴量同士の乗算値に対して個別の係数をそれぞれ乗算した値の線形和により、前記映像品質を算出するステップを含むことを特徴とする映像品質推定方法。
13. コンピュータを、請求項１〜請求項６のいずれか１つに記載の映像品質推定装置を構成する各部として機能させるためのプログラム。

Images