JP5350300B2 - トランスコード映像品質客観評価装置及び方法及びプログラム - Google Patents

Description

本発明は、トランスコード映像品質客観評価装置及び方法及びプログラムに係り、特に、
インターネットのようなIP(Internet Protocol)ネットワーク経由で行うＩＰＴＶサービス、映像配信サービスにおけるトランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価装置及び方法及びプログラムに関する。

インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像や音声を含む映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスの普及が期待されている。

インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声及び映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が劣化してしまう。

具体的には、原映像を符号化する場合や既に符号化された映像を再符号化（トランスコード）する場合、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。

結果として、ユーザは受信した映像に、ぼけ、にじみ、やモザイク状の歪みを知覚する。

上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供前もしくは提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が高いことを監視することが重要となる。

したがって、ユーザが体感する映像の品質を適切に表現することができる映像品質客観評価技術が必要とされている。

従来、映像品質を評価する手法として、主観品質評価法（例えば、非特許文献１参照）や客観品質評価法（例えば、非特許文献２参照）がある。

主観品質評価法は、複数のユーザが実際に映像を視聴し、体感した品質を５段階（９段階や１１段階の場合もある）の品質尺度（非常に良い、良い、ふつう、悪い、非常に悪い）や妨害尺度（劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる）などにより評価し、全ユーザ数で各条件（例えば、パケット損失率０％でビットレートが２０Mbps）の映像品質評価値を平均し、その値をMOS（Mean Opinion Score）値やDMOS（Degradation Mean Opinion Score）値として定義している。

しかしながら、主観品質評価は、特別な専用機材（モニタなど）や評価環境（室内照度や室内騒音など）を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。

そこで、映像品質に影響を与える特徴量（例えば、ビットレートやフレーム単位のビット量、パケット損失情報など）を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。

従来の客観品質推定法の１つに、符号化前の原映像と符号化後の劣化映像を入力とし、両者の映像信号（つまり、画素値）を比較し、映像品質に影響を与える特徴量から映像品質評価値を導出する技術がある（例えば、非特許文献２参照）。

また、従来の客観品質評価法の１つに、符号化前の原映像を用いず、符号化後の劣化映像を入力とし、この劣化映像信号から映像品質に影響を与える特徴量を導出し、映像品質評価値を導出する技術がある（例えば、非特許文献３参照）。

さらに、従来の客観品質評価法の１つに、送信されたパケットを入力とし、これらパケットから映像品質に影響を与える特徴量を導出し、映像品質評価値を導出する技術がある（例えば、非特許文献４、５参照）。

従来の客観品質評価法の多くは、上記のように、パケットや映像信号（画素値）を用いて映像品質評価値を推定するものであった。

ITU-T勧告P.910 ITU-T勧告J.247 J. Yang, H. Choi, and T. Kim, "Noise estimation for blocking artifacts reduction in DCT coded images," IEEE Trans. on CSVT, vol. 10, no. 7, pp. 1116-1134, Oct. 2000. K. Yamagishi and T. Hayashi, "Non-intrusive Packet-layer Model for Monitoring Video Quality of IPTV Services," IEICE Trans. Fundamentals, vol. E92-A, no. 12, pp. 3297--3306, Dec. 2009. K. Watanabe, K. Yamagishi, J. Okamoto, and A. Takahashi, "Proposal of new QoE assessment approach for quality management of IPTV services," IEEE ICIP 2008, pp. 2060--2063, Oct. 2008. Stephane Pechard, Dominique Barba and Patrick Le Callet: Video Quality Model based on a spatio-temporal features extraction for H.264-coded HDTV sequences, in Proceedings of the IEEE Picture Coding Symposium, PCS2007, 2007.

しかしながら、非特許文献２の技術は、原映像信号を用いることを前提としているため、一度、符号化された映像と再符号化（トランスコード）した映像のみを用いて、トランスコード後の映像の品質を評価する場合に、品質評価精度が著しく低下するといった問題がある。

具体的には、トランスコード前の映像は、原映像を符号化しているため、ブロックノイズ、ブラー（ぼけ）ノイズ、モスキートノイズ、フリッカノイズなどのノイズを含んでいる。そのため、本来、原画像を利用できた際には、抽出できたエッジが抽出できないなどの問題が発生し、品質評価精度が著しく低下するといった問題がある。

また、非特許文献３，４，５技術は、受信映像、受信パケットを用いて映像の品質を評価する技術であるが、受信映像や受信パケットのみを用い、再符号化する前の符号化映像を用いることができないため、再符号化前の符号化映像の品質低下を捉えることができないといった問題があった。

本発明は、上記の点に鑑みなされたもので、上述の問題を解決すべく、トランスコードの前後の符号化映像から導出された特徴量から映像品質評価値を導出することで、トランスコード映像に対して、映像品質値を高精度に推定することが可能なトランスコード映像品質客観評価装置及び方法及びプログラムを提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、トランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価装置であって、
入力されたトランスコード前の符号化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出手段１００と、
エッジ・テクスチャ量抽出手段から導出されたエッジ量とテクスチャ量から導出される統計量であって、該エッジ量と該テクスチャ量の映像フレームあたりの比率に対する、全映像フレームの平均値、ある一定区間毎の平均値の集合の最大値及び標準偏差値である特徴量または、トランスコード前の符号化映像から導出される特徴量である動き量の少なくとも１つの第１の特徴量を導出する第１の特徴量抽出手段２００と、
入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像の水平方向と垂直方向の画素数を用いた差異情報から第２の特徴量を導出する第２の特徴量抽出手段４００と、
第１の特徴量抽出手段より出力された第１の特徴量より、入力されたトランスコード前の符号化映像の映像品質評価値を第１の映像品質評価値として導出する第１の映像品質手段３００と、
第１の映像品質評価値と第２の特徴量抽出手段４００から導出された第２の特徴量からトランスコード後のトランスコード映像の品質評価値を示す第２の映像品質評価値を導出する第２の映像品質推定手段５００と、を備える。

本発明（請求項２）は、トランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価装置であって、
入力されたトランスコード前の符号化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出手段と、
エッジ・テクスチャ量抽出手段から導出されたエッジ量とテクスチャ量から導出される統計量であって、該エッジ量と該テクスチャ量の映像フレームあたりの比率に対する、全映像フレームの平均値、ある一定区間毎の平均値の集合の最大値及び標準偏差値である特徴量または、トランスコード前の符号化映像から導出される特徴量である動き量の少なくとも１つの第１の特徴量を導出する第１の特徴量抽出手段と、
入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像の水平方向と垂直方向の画素数を用いた差異情報から第２の特徴量を導出する第２の特徴量抽出手段と、
第１の特徴量抽出手段より導出された第１の特徴量と第２の特徴量抽出手段から導出された第２の特徴量からトランスコード後のトランスコード映像の品質評価値を示す第２の映像品質評価値を導出する第２の映像品質推定手段と、を備える。

また、本発明（請求項４）は、請求項１または２記載の第１の特徴量抽出手段において、
エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出手段を含む。

また、本発明（請求項５）は、請求項１、２、または４記載の第１の特徴量抽出手段において、
エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出手段と、
推定対象の映像のある一定区間の複数の映像フレームに対し、映像フレーム特徴量導出手段から導出された映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出手段と、
平均特徴量導出手段より導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出手段と、
平均特徴量導出手段より導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出手段と、を更に有する。

また、本発明（請求項６）は、請求項１，２，４、又は５の第１の特徴量抽出手段において、
入力されたトランスコード前の符号化映像から映像の動きを示す動き量を導出する動き量導出手段を更に有する。

また、本発明（請求項７）は、請求項１また２記載の第２の特徴量抽出手段において、
入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像からPeak-signal-to-noise ratio（PSNR）を導出するPSNR導出手段を含む。

図２は、本発明の原理を説明するための図である。

本発明（請求項８）は、トランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価方法であって、
トランスコード映像品質客観評価装置が、
入力されたトランスコード前の符号化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出ステップ（ステップ１）と、
エッジ・テクスチャ量抽出ステップから導出されたエッジ量とテクスチャ量から導出される統計量であって、該エッジ量と該テクスチャ量の映像フレームあたりの比率に対する、全映像フレームの平均値、ある一定区間毎の平均値の集合の最大値及び標準偏差値である特徴量または、トランスコード前の符号化映像から導出される特徴量である動き量の少なくとも１つの第１の特徴量を導出する第１の特徴量抽出ステップ（ステップ２）と、
入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像の水平方向と垂直方向の画素数を用いた差異情報から第２の特徴量を導出する第２の特徴量抽出ステップ（ステップ３）と、
第１の特徴量抽出ステップより出力された第１の特徴量より、入力されたトランスコード前の符号化映像の映像品質評価値を第１の映像品質評価値として導出する第１の映像品質推定ステップ（ステップ４）と、
第１の映像品質評価値と第２の特徴量抽出ステップから導出された第２の特徴量からトランスコード後のトランスコード映像の品質評価値を示す第２の映像品質評価値を導出する第２の映像品質推定ステップ（ステップ５）と、を行う。

本発明（請求項９）は、トランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価方法であって、
トランスコード映像品質客観評価装置が、
入力されたトランスコード前の符号化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出ステップと、
エッジ・テクスチャ量抽出ステップから導出されたエッジ量とテクスチャ量から導出される統計量であって、該エッジ量と該テクスチャ量の映像フレームあたりの比率に対する、全映像フレームの平均値、ある一定区間毎の平均値の集合の最大値及び標準偏差値である特徴量または、トランスコード前の符号化映像から導出される特徴量である動き量の少なくとも１つの第１の特徴量を導出する第１の特徴量抽出ステップと、
入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像の水平方向と垂直方向の画素数を用いた差異情報から第２の特徴量を導出する第２の特徴量抽出ステップと、
第１の特徴量抽出ステップより導出された第１の特徴量と第２の特徴量抽出ステップから導出された第２の特徴量からトランスコード後のトランスコード映像の品質評価値を示す第２の映像品質評価値を導出する第２の映像品質推定ステップと、を行う。

また、本発明（請求項１０）は、請求項８または９のエッジ・テクスチャ量抽出ステップにおいて、
入力されたトランスコード前の符号化映像をキャプチャしエッジ画像を作成し、エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリングステップと、
クラスタリングステップにより導出されたクラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリングステップと、
クラスタリングにより導出されたクラスタリング画像とフィルタリングステップから導出されたフィルタリング画像の差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出ステップと、
差分クラスタリング画像導出ステップにより導出された差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウントステップと、を行う。

また、本発明（請求項１１）は、請求項８または９の第１の特徴量抽出ステップにおいて、
エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出ステップを行う。

また、本発明（請求項１２）は、請求項８、９、または１１の第１の特徴量抽出ステップにおいて、
エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出ステップと、
推定対象の映像のある一定区間の複数の映像フレームに対し、映像フレーム特徴量導出ステップから導出された映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出ステップと、
平均特徴量導出ステップより導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出ステップと、
平均特徴量導出ステップより導出された推定対象の映像のある一定区間の複数の映像フレームの平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出ステップと、を更に行う。

また、本発明（請求項１３）は、請求項８，９，１１、または、１２の第１の特徴量抽出ステップにおいて、
入力されたトランスコード前の符号化映像から映像の動きを示す動き量を導出する動き量導出ステップを更に行う。

また、本発明（請求項１４）は、請求項８または９の第２の特徴量抽出ステップにおいて、
入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像からPeak-signal-to-noise ratio（PSNR）を導出するPSNR導出ステップを行う。

本発明（請求項１５）は、請求項１乃至７のいずれか1項に記載のトランスコード映像品質客観評価装置を構成する各手段としてコンピュータを機能させるためのトランスコード映像品質客観評価プログラムである。

従来、原映像とトランスコード映像を用いブロックノイズ、ブラー（ぼけ）ノイズ、モスキートノイズ、フリッカノイズなどを抽出していた技術では、トランスコード前の符号化された原映像が入力となるため、ブロックノイズ、ブラー（ぼけ）ノイズ、モスキートノイズ、フリッカノイズなど適切に抽出できないために映像品質推定精度が著しく低下していた。また、受信映像や受信パケットのみを用い映像品質を推定する技術では、トランスコードする前の符号化映像を用いることができないため、トランスコード前の符号化映像の品質低下を捉えることできないため、映像品質推定精度が著しく低下していた。

これに対し、本発明によれば、トランスコード前の符号化映像の品質を第１の映像品質評価値として導出し、また、符号化映像とトランスコード映像の両者から特徴量を導出し、第１の映像品質評価値と符号化映像とトランスコード映像から導出された特徴量より第２の映像品質評価値を導出することで、トランスコードされた映像に対して適切に品質評価値を推定することができる。

したがって、映像通信サービスの提供者は、本発明によりユーザが実際に視聴する映像通信サービスの映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。

このため、映像通信サービスの提供者は、提供中のサービスの品質実態を従来より詳細に把握・管理することが可能となる。

本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の第１の実施の形態における映像品質客観評価装置の構成図である。 本発明の第１の実施の形態における領域分割方法を示す図である。 本発明の第１の実施の形態における差分クラスタリング画像の導出過程を概念的に説明するための図である。 本発明の第１の実施の形態における映像品質客観評価装置の動作のフローチャートである。 本発明の第２の実施の形態における映像品質客観評価装置の構成図である。 本発明の第２の実施の形態における映像品質客観評価装置の動作のフローチャートである。

以下図面と共に、本発明の実施の形態を説明する。

［第１の実施の形態］
本発明の本実施の形態にかかるトランスコード映像品質客観評価装置は、符号化映像にクラスタリング処理を施し、クラスタリング画像を作成し、そのクラスタリング画像から特徴量を導出し、トランスコード前の符号化映像の映像品質を定量的に表した第１の映像品質評価値を導出し、次に、符号化映像とトランスコード映像を用いPSNR（Peak Signal to Noise Ratio）を導出し、第１の映像品質評価値とPSNRからトランスコード映像の品質を示す第２の映像品質評価値（トランスコード映像品質評価値）を客観的な評価で実現するものである。

例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービスなど映像通信における客観的な映像品質評価を実現するために、トランスコード前の符号化映像とトランスコード後のトランスコード映像を分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表したトランスコード映像品質値を導出する。

図３は、本発明の一実施の形態における映像品質客観評価装置の構成を示す。

同図に示すように、映像品質客観評価装置１は、エッジ・テクスチャ量抽出部１００と、第１の特徴量抽出部２００と、第１の映像品質推定部３００と、第２の特徴量抽出部４００と、第２の映像品質推定部５００とから構成されている。

エッジ・テクスチャ量抽出部１００は、クラスタリング部１０と、フィルタリング部１１と、差分クラスタリング画像導出部１２と、カウント部１３とから構成されている。

第１の特徴量抽出部２００は、映像フレーム平均特徴量導出部１４と、映像フレーム特徴量導出部１５と、平均特徴量導出部１６、最大特徴量導出部１７と、標準偏差特徴量導出部１８と、動き量導出部１９とから構成されている。

クラスタリング部１０は、入力されたトランスコード前の符号化映像I(x,y,f)に、前述の非特許文献６の手法に基づきSobelフィルタFx、Fyをかけ、垂直方向（Y方向）のエッジ画像、水平方向（X方向）のエッジ画像Sx(x,y,f)及びSy(x,y,f)を導出する。具体的には、対象画素の隣接８画素の情報を用い、以下の式（１）に基づきエッジ画像を作成する。

各画素に対し導出された垂直及び水平方向のエッジ値を、図４に示す領域分割方法で１〜４の４つのクラスに分類されたクラスタリング画像（クラスタリング画像はＣ１〜Ｃ４に対応するクラスタリング値１〜４の値を持つ）を作成する。

フィルタリング部１１は、クラスタリング部１０より出力されたクラスタリング画像に図５に示すようにErosionフィルタ及びDilatationフィルタをかけフィルタリング画像を作成する。図５は、４つのクラスにクラスタリングされた画像（８×８画素の画像）に対して、パディング無し（Ａ）と、パディング有り（Ｂ）の例を示している。

具体的には、クラスタリング画像C（x,y）（xは水平画素位置、yは垂直画素位置）に以下の式（２）に基づきErosionフィルタを施し、Erosion画像E(x,y)を作成する。次に、以下の式（３）に基づきErosion画像にDilatationフィルタを施し、Dilatation画像D(x,y)（つまり、フィルタリング画像）を作成する。２種類のフィルタリングをかけることで、クラスタリング画像C(x,y)を平滑化したフィルタリング画像D(x,y)ができることになり、両者の差分からＣ３とＣ４を適切に抽出できる。

ただし、画面の端の画素に対しては、画面外に画素がないため、画面の端の画素値をパディングするか、もしくは画面の端の画素を処理しないことで対応する。

差分クラスタリング画像導出部１２は、クラスタリング部１０より出力されたクラスタリング画像C(x,y)と、フィルタリング部１１より出力されたフィルタリング画像D(x,y)との差分値（差分クラスタリング画像：C(x,y)-D(x,y)+1、もし、C(x,y)-D(x,y)+1が1未満の場合は1とする）を導出する。

カウント部１３は、差分クラスタリング画像の中で、クラスタリング値が３（エッジ量）と示された画素数ＮＣ３と、クラスタリング値が４（テクスチャ量）と示された画素数ＮＣ４をカウントする。

映像フレーム平均特徴量導出部１４は、以下の式（４）に示すように、カウント部１３より出力された映像フレーム毎のＮＣ３を全映像フレームにわたって加算し映像フレーム数で除算した値を、映像フレーム毎のＮＣ４を全映像フレームにわたって加算し映像フレーム数で除算した値で除算した映像フレーム平均特徴量Ｐを導出する。

ここで、fは映像フレーム番号、Ｆは総映像フレーム数（例えば、推定対象の映像が３０ｆｐｓ、１０秒分の場合、３００フレームとなる）を示す。

映像フレーム特徴量導出部１５は、以下の式（５）に示すように、映像フレーム毎に、カウント部１３より出力された映像フレーム毎のＮＣ３を、映像フレーム毎のＮＣ４で除算した映像フレーム特徴量P（f）を以下の式（５）に基づき導出する。

ここで、fは映像フレーム番号を示す。

平均特徴量導出部１６は、ある一定の区間（Ｚフレーム、例えば、１０フレーム）を一区間とし、以下の式（６）により、その区間の映像フレーム特徴量P（f）の平均値を平均特徴量Pt（k）とする。

ここで、fは映像フレーム番号、ｋは平均区間の番号（例えば、推定対象の映像が３００フレームから構成され、Ｚが１０フレームの場合、ｋは０〜２９の値となる）を示す。

最大特徴量導出部１７は、平均特徴量導出部１６より出力された平均特徴量Pt（k）の中で最大の値を最大特徴量MaxPtとして導出する（例えば、Pt（0）〜Pt（29）の中で、Pt（10）が最大であった場合、Pt（10）がMaxPtとなる）。

標準偏差特徴量導出部１８は、平均特徴量導出部１６より出力された平均特徴量Pt（k）の標準偏差を標準偏差特徴量StdPtとして導出する。

ここで、Stdevは、標準偏差を計算する演算子を表す。

動き量導出部１９は、映像フレーム間の動きを示す動き量TIを導出する。上記で求められたP、MaxPt、StdPtは映像フレーム単位に導出される特徴量の統計値であり，映像の動きとは無関係の特徴量であるため、動き量を考慮することで正確な品質推定が可能となる。

ここで、式（７）のI（x，y，f）は水平方向ｘ、垂直方向ｙ、映像フレーム番号ｆの画素を示す。また、式（７）、（８）のM（f）はI（x，y，f）とI（x，y，f−1）との差分画像、式（８）、（９）のTI（f）は映像フレーム毎のフレーム関差分値の標準偏差、式（９）のＦは総映像フレーム数（例えば、30fpsの映像１０秒分の場合、３００フレームとなる）を示す。

第１の映像品質推定部３００は、映像フレーム平均特徴量導出部１４より出力される映像フレーム平均特徴量Ｐ、最大特徴量導出部１７より出力される最大特徴量MaxPt、標準偏差特徴量導出部１８より出力される標準偏差特徴量StdPt、動き量導出部１９より出力される動き量TIより、第１の映像品質評価値（Vq）を以下の式（１０）に基づき導出する。

ここで、a〜iは、映像フォーマット（例えば、QCIF，VGA，HDなど）に固有の係数とする。

ただし、Vqは３次関数で表現されているが、以下に示すような他の数式で表現してもよい。

ここで、j〜lは、映像フォーマット（例えば、QCIF，VGA，HDなど）に固有の係数とする。

第２の特徴量抽出部４００は、PSNR導出部２０から構成されている。

PSNRは以下の式（１２）〜（１４）を用いて導出される。

ここで、ｙ_transcode（x,y,f））は水平方向ｘ、垂直方向ｙ、フレーム番号ｆのトランスコード映像の画素を示し、ｙ_code（x,y,f）は水平方向ｘ、垂直方向ｙ、フレーム番号ｆの符号化映像の画素を示し、Ｗは水平方向画素の総数、Ｈは垂直方向画素の総数、Ｎは総映像フレーム数を示す。

第２の映像品質推定部５００は、第１の映像品質評価値Vqと特徴量PSNRを用いて、以下の式（１５）に基づき第２の映像品質評価値を導出する。

ここで、m，n，oは映像フォーマット（例えば、QCIF，VGA，HDなど）に固有の係数とする。

但し、本実施の形態では、符号化映像とトランスコード映像の両者から抽出する特徴量をPNSRのみを用いてトランスコード映像の品質評価値を導出したが、非特許文献２のITU-T勧告J.247の中で示されるMin_HVなどの特徴量を重み付け加算し、トランスコード映像の品質評価値を評価してもよい。

次に、本実施の形態にかかる映像品質客観評価装置１の動作について説明する。

図６は、本発明の第１の実施の形態における映像品質客観評価装置の動作のフローチャートである。

映像品質客観評価装置１のクラスタリング部１０に、劣化映像が入力されると（Ｓ１０１）、クラスタリング部１０は、入力された符号化映像ｙ_code(x,y,f)（ｘは水平方向、ｙは垂直方向、ｆはフレーム番号）にSobelフィルタFx,Fyをかけ、エッジ画像Sx(x,y,f)及びSy(x,y,f)を導出し、エッジ画像Sx(x,y,f)及びSy(x,y,f)を用い、１〜４のクラスにクラスタリングし、クラスタリング画像C(x,y,f)を導出し（Ｓ１０２）、フィルタリング部１１及び差分クラスタリング画像導出部１２へ出力する。

フィルタリング部１１は、クラスタリング部１０によって導出されたクラスタリング画像C(x,y,f)を入力として、Erosionフィルタ及びDilatationフィルタをかけ、前述の式（２）、（３）によりフィルタリング画像D(x,y,f)を導出し（Ｓ１０３）、差分クラスタリング画像導出部１２へ出力する。

差分クラスタリング画像導出部１２は、クラスタリング部１０より出力されたクラスタリング画像C(x,y,f)からフィルタリング部１１より出力されたフィルタリング画像D(x,y,f)の差分値をとり、１を加え、１〜４の値を持つ差分クラスタリング画像を導出し（Ｓ１０４）、カウント部１３へ出力する。

カウント部１３は、差分クラスタリング画像導出部１２より出力された差分クラスタリング画像のＣ３（エッジ量）とＣ４（テクスチャ量）の画素数を映像フレーム毎にカウントし（Ｓ１０５）、映像フレーム平均特徴量導出部１４及び映像フレーム特徴量導出部１５へ出力する。

映像フレーム平均特徴量導出部１４は、カウント部１３より出力されたＣ３とＣ４の画素数を、全映像フレームに対して、前述の式（４）によりＣ３の総数をＣ４の総数で除算した映像フレーム平均特徴量Ｐを導出し（Ｓ１０６）、映像品質推定部２０へ出力する。

映像フレーム特徴量導出部１５は、カウント部１３より出力されたＣ３とＣ４の画素数を各映像フレームに対し、前述の式（５）によりＣ３の画素数をＣ４の画素数で除算し、映像フレーム毎の映像フレーム特徴量P（f）を導出し（Ｓ１０７）、平均特徴量導出部１６へ出力する。

平均特徴量導出部１６は、前述の式（６）により映像フレーム特徴量導出部１５より出力された映像フレーム特徴量P（f）を特定の映像フレーム数毎に平均し、平均特徴量Pt（ｋ）を導出し（Ｓ１０８）、最大特徴量導出部１７及び標準偏差特徴量導出部１８に出力する。

最大特徴量導出部１７は、平均特徴量Pt（k）の中で最大である最大特徴量MaxPtを導出し（Ｓ１０９）、映像品質推定部２０へ出力する。

標準偏差特徴量導出部１８は、平均特徴量Pt（k）の標準偏差を示す標準偏差特徴量StdPtを導出し（Ｓ１１０）、映像品質推定部２０へ出力する。

動き量導出部１９は、映像の動きを示す動き量TIを導出し（Ｓ１１１）、映像品質推定部２０へ出力する。

第１の映像品質推定部３００は、映像フレーム平均特徴量Ｐ、最大特徴量MaxPt、標準偏差特徴量StdPt及び動き量TIから前述の式（１０）または式（１１）により映像品質評価値Vqを導出し（Ｓ１１２）、第１の映像品質評価値Vqを出力する。

第２の特徴量抽出部４００は、符号化映像y_code(x,y,f)とトランスコード映像y_transcode(x,y,f)から前述の式（１２）〜（１４）から特徴量PSNRを導出し（Ｓ１１３）、第２の映像品質推定部５００に出力する。

第２の映像品質推定部５００は、前述の式（１５）により第１の映像品質評価値Vqと特徴量PSNRから第２の映像品質評価値Vq_transcodeを導出し（Ｓ１１４）、処理を終了する。

このように、本実施の形態によれば、符号化映像からトランスコード前の第１の映像品質評価値Vqを導出し、次に、符号化映像y_code(x,y,f)とトランスコード映像y_transcode(x,y,f)の両者から特徴量PSNRを導出し、第１の映像品質評価値Vqと第２の特徴量PSNRを用いることで、原映像の得られない状況下で、トランスコード映像の品質評価値Vq_transcodeを算出することができるため、従来よりも正確なトランスコード映像品質客観評価法による映像品質推定が可能となる。

したがって、映像通信サービスの提供者は、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。

［第２の実施の形態］
前述の第１の実施の形態では、第１の映像品質評価値Ｖｑを求めたのち、特徴量PSNRを重み付け加算することで、第２の映像品質評価値（トランスコード映像の映像品質評価値）を導出したが、本実施の形態では、第１の映像品質評価値を構成する特徴量と特徴量PNSRを直接重み付け加算する例を示す。

図７は、本発明の第２の実施の形態における映像品質客観評価装置の構成を示す。

同図において、図３の構成と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態では、第１の映像品質推定部３００は用いず、第２の映像品質推定部５００の代わりに映像品質推定部６００を備える。

本実施の形態の映像品質客観評価装置２では、映像フレーム平均特徴量導出部１４、最大特徴量導出部１７、標準偏差特徴量導出部１８、動き量導出部１９は各特徴量を第１の映像品質推定部３００ではなく、映像品質推定部６００に出力する。

図８は、本発明の第２の実施の形態における映像品質客観評価装置の動作のフローチャートである。Ｓ２０１〜Ｓ２１１までは、第１の実施の形態の図６のＳ１０１〜Ｓ１１１と同様であるが、Ｓ２１２において、ＰＳＮＲ導出部２０において、入力された符号化映像及びトランスコード映像に基づいてＰＳＮＲを導出した後、Ｓ２１３において、映像品質推定部６００が、式（１６）に示すように、映像フレーム平均特徴量導出部１４から取得した映像フレーム平均特徴量Ｐ、最大特徴量導出部１７から取得した最大特徴量MaxPt、標準偏差特徴量導出部１８から取得した標準偏差特徴量StdPt、動き量導出部１９から取得した動き量TIとPNSR導出部２０から取得した特徴量PSNRを直接重み付け加算することでトランスコード映像の映像品質評価値Ｖq_transcodを直接導出する。

ここで、u，v，w，x，y，zは映像フォーマット（例えば、QCIF，VGA，HDなど）に固有の係数とする。

但し、本実施の形態では、符号化映像とトランスコード映像の両者から抽出する特徴量をPSNRのみを用いてトランスコード映像の品質評価値を導出したが、非特許文献２のITU-T勧告J.247の中で示されるMin_HVなどの特徴量を重み付け加算し、トランスコード映像の品質評価値を評価してもよい。

なお、上記の第１、第２の実施の形態における映像品質客観評価装置１、２は、ＣＰＵ（中央演算装置）やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質客観評価装置１の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム（ソフトウェア）とが協働して実現される。

図３、図７に示す映像品質客観評価装置１，２の構成要素の動作をプログラムとして構築し、当該映像品質客観評価装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

ＩＰネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信のトランスコード映像品質評価値を推定するトランスコード映像品質客観評価装置に利用できる。

１，２ 映像品質客観評価装置
１０ クラスタリング部
１１ フィルタリング部
１２ 差分クラスタリング画像導出部
１３ カウント部
１４ 映像フレーム平均特徴量導出部
１５ 映像フレーム特徴量導出部
１６ 平均特徴量導出部
１７ 最大特徴量導出部
１８ 標準偏差特徴量導出部
１９ 動き量導出部
２０ ＰＳＮＲ導出部
１００ エッジ・テクスチャ量抽出手段、エッジ・テクスチャ量抽出部
２００ 第１の特徴量抽出手段、第１の特徴量抽出部
３００ 第１の映像品質推定手段、第１の映像品質推定部
４００ 第２の特徴量抽出手段、第２の特徴量抽出部
５００ 第２の映像品質推定手段
６００ 映像品質推定部

Claims (15)

1. トランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価装置であって、
   入力されたトランスコード前の符号化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出手段と、
   前記エッジ・テクスチャ量抽出手段から導出された前記エッジ量と前記テクスチャ量から導出される統計量であって、該エッジ量と該テクスチャ量の映像フレームあたりの比率に対する、全映像フレームの平均値、ある一定区間毎の平均値の集合の最大値及び標準偏差値である特徴量または、前記トランスコード前の符号化映像から導出される特徴量である動き量の少なくとも１つの第１の特徴量を導出する第１の特徴量抽出手段と、
   入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像の水平方向と垂直方向の画素数を用いた差異情報から第２の特徴量を導出する第２の特徴量抽出手段と、
   前記第１の特徴量抽出手段より出力された第１の特徴量より、入力されたトランスコード前の符号化映像の映像品質評価値を第１の映像品質評価値として導出する第１の映像品質手段と、
   前記第１の映像品質評価値と前記第２の特徴量抽出手段から導出された前記第２の特徴量からトランスコード後のトランスコード映像の品質評価値を示す第２の映像品質評価値を導出する第２の映像品質推定手段と、
   を備えることを特徴とするトランスコード映像品質客観評価装置。
2. トランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価装置であって、
   入力されたトランスコード前の符号化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出手段と、
   前記エッジ・テクスチャ量抽出手段から導出された前記エッジ量と前記テクスチャ量から導出される統計量であって、該エッジ量と該テクスチャ量の映像フレームあたりの比率に対する、全映像フレームの平均値、ある一定区間毎の平均値の集合の最大値及び標準偏差値である特徴量または、前記トランスコード前の符号化映像から導出される特徴量である動き量の少なくとも１つの第１の特徴量を導出する第１の特徴量抽出手段と、
   入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像の水平方向と垂直方向の画素数を用いた差異情報から第２の特徴量を導出する第２の特徴量抽出手段と、
   前記第１の特徴量抽出手段より導出された前記第１の特徴量と前記第２の特徴量抽出手段から導出された前記第２の特徴量からトランスコード後のトランスコード映像の品質評価値を示す第２の映像品質評価値を導出する第２の映像品質推定手段と、
   を備えることを特徴とするトランスコード映像品質客観評価装置。
3. 前記エッジ・テクスチャ量抽出手段は、
   入力されたトランスコード前の符号化映像をキャプチャしエッジ画像を作成し、エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリング手段と、
   前記クラスタリング手段により導出された前記クラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリング手段と、
   前記クラスタリングにより導出された前記クラスタリング画像と前記フィルタリング手段から導出された前記フィルタリング画像の差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出手段と、
   前記差分クラスタリング画像導出手段により導出された前記差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウント手段と、
   を含むことを特徴とする請求項１または２記載のトランスコード映像品質客観評価装置。
4. 前記第１の特徴量抽出手段は、
   前記エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出手段を
   含むことを特徴とする請求項１または２記載のトランスコード映像品質客観評価装置。
5. 前記第１の特徴量抽出手段は、
   前記エッジ・テクスチャ量抽出手段より映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出手段と、
   推定対象の映像のある一定区間の複数の映像フレームに対し、前記映像フレーム特徴量導出手段から導出された映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出手段と、
   前記平均特徴量導出手段より導出された推定対象の映像のある一定区間の複数の映像フレームの前記平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出手段と、
   前記平均特徴量導出手段より導出された推定対象の映像のある一定区間の複数の映像フレームの前記平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出手段と、
   を更に有することを特徴とする請求項１、２、または４記載のトランスコード映像品質客観評価装置。
6. 前記第１の特徴量抽出手段は、
   入力されたトランスコード前の符号化映像から映像の動きを示す動き量を導出する動き量導出手段を
   更に有することを特徴とする請求項１，２，４、又は５に記載のトランスコード映像品質客観評価装置。
7. 前記第２の特徴量抽出手段は、
   入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像からPeak-signal-to-noise ratio（PSNR）を導出するPSNR導出手段を
   含むことを特徴とする請求項１または２記載のトランスコード映像品質客観評価装置。
8. トランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価方法であって、
   トランスコード映像品質客観評価装置が、
   入力されたトランスコード前の符号化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出ステップと、
   前記エッジ・テクスチャ量抽出ステップから導出された前記エッジ量と前記テクスチャ量から導出される統計量であって、該エッジ量と該テクスチャ量の映像フレームあたりの比率に対する、全映像フレームの平均値、ある一定区間毎の平均値の集合の最大値及び標準偏差値である特徴量または、前記トランスコード前の符号化映像から導出される特徴量である動き量の少なくとも１つの第１の特徴量を導出する第１の特徴量抽出ステップと、
   入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像の水平方向と垂直方向の画素数を用いた差異情報から第２の特徴量を導出する第２の特徴量抽出ステップと、
   前記第１の特徴量抽出ステップより出力された第１の特徴量より、入力されたトランスコード前の符号化映像の映像品質評価値を第１の映像品質評価値として導出する第１の映像品質推定ステップと、
   前記第１の映像品質評価値と前記第２の特徴量抽出ステップから導出された前記第２の特徴量からトランスコード後のトランスコード映像の品質評価値を示す第２の映像品質評価値を導出する第２の映像品質推定ステップと、
   を行うことを特徴とするトランスコード映像品質客観評価方法。
9. トランスコードされた映像の品質を客観的に評価するトランスコード映像品質客観評価方法であって、
   トランスコード映像品質客観評価装置が、
   入力されたトランスコード前の符号化映像からエッジ量及びテクスチャ量を導出するエッジ・テクスチャ量抽出ステップと、
   前記エッジ・テクスチャ量抽出ステップから導出された前記エッジ量と前記テクスチャ量から導出される統計量であって、該エッジ量と該テクスチャ量の映像フレームあたりの比率に対する、全映像フレームの平均値、ある一定区間毎の平均値の集合の最大値及び標準偏差値である特徴量または、前記トランスコード前の符号化映像から導出される特徴量である動き量の少なくとも１つの第１の特徴量を導出する第１の特徴量抽出ステップと、
   入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像の水平方向と垂直方向の画素数を用いた差異情報から第２の特徴量を導出する第２の特徴量抽出ステップと、
   前記第１の特徴量抽出ステップより導出された前記第１の特徴量と前記第２の特徴量抽出ステップから導出された前記第２の特徴量からトランスコード後のトランスコード映像の品質評価値を示す第２の映像品質評価値を導出する第２の映像品質推定ステップと、
   を行うことを特徴とするトランスコード映像品質客観評価方法。
10. 前記エッジ・テクスチャ量抽出ステップにおいて、
    入力されたトランスコード前の符号化映像をキャプチャしエッジ画像を作成し、エッジ画像の各画素の値に基づきクラスタリングを実施し、クラスタリング画像を導出するクラスタリングステップと、
    前記クラスタリングステップにより導出された前記クラスタリング画像をフィルタリングし、フィルタリング画像を作成するフィルタリングステップと、
    前記クラスタリングにより導出された前記クラスタリング画像と前記フィルタリングステップから導出された前記フィルタリング画像の差分値から差分クラスタリング画像を作成する差分クラスタリング画像導出ステップと、
    前記差分クラスタリング画像導出ステップにより導出された前記差分クラスタリング画像のエッジ量とテクスチャ量を映像フレーム単位にカウントするカウントステップと、
    を行うことを特徴とする請求項８または９記載のトランスコード映像品質客観評価方法。
11. 前記第１の特徴量抽出ステップにおいて、
    前記エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、推定対象の映像の全映像フレームに対するエッジ量の合計値と、同様に、推定対象の映像の全映像フレームに対するテクスチャ量の合計値を算出し、該エッジ量の合計値を該テクスチャ量の合計値で除算した映像フレーム平均特徴量を導出する映像フレーム平均特徴量導出ステップを
    行うことを特徴とする請求項８または９記載のトランスコード映像品質客観評価方法。
12. 前記第１の特徴量抽出ステップにおいて、
    前記エッジ・テクスチャ量抽出ステップより映像フレーム単位に抽出されたエッジ量及びテクスチャ量に基づき、映像フレーム単位にエッジ量の合計値をテクスチャ量の合計値で除算した映像フレーム特徴量を導出する映像フレーム特徴量導出ステップと、
    推定対象の映像のある一定区間の複数の映像フレームに対し、前記映像フレーム特徴量導出ステップから導出された映像フレーム特徴量を合計し、映像フレーム数で除算した平均特徴量を導出する平均特徴量導出ステップと、
    前記平均特徴量導出ステップより導出された推定対象の映像のある一定区間の複数の映像フレームの前記平均特徴量に対し、推定対象の全区間の複数の平均特徴量の最大の値を示す最大特徴量を導出する最大特徴量導出ステップと、
    前記平均特徴量導出ステップより導出された推定対象の映像のある一定区間の複数の映像フレームの前記平均特徴量に対し、推定対象の全区間の複数の平均特徴量の標準偏差をとった標準偏差特徴量を導出する標準偏差特徴量導出ステップと、
    を更に行うことを特徴とする請求項８、９、または１１記載のトランスコード映像品質客観評価方法。
13. 前記第１の特徴量抽出ステップにおいて、
    入力されたトランスコード前の符号化映像から映像の動きを示す動き量を導出する動き量導出ステップを
    更に行うことを特徴とする請求項８，９，１１、又は１２に記載のトランスコード映像品質客観評価方法。
14. 前記第２の特徴量抽出ステップにおいて、
    入力されたトランスコード前の符号化映像とトランスコード後のトランスコード映像からPeak-signal-to-noise ratio（PSNR）を導出するPSNR導出ステップを
    行うことを特徴とする請求項８または９記載のトランスコード映像品質客観評価方法。
15. 請求項１乃至７のいずれか1項に記載のトランスコード映像品質客観評価装置を構成する各手段としてコンピュータを機能させるためのトランスコード映像品質客観評価プログラム。

Images