JP4970349B2 - 視覚特性解析方法および視覚特性解析装置 - Google Patents

Description

本発明は、視覚特性解析方法および視覚特性解析装置、特に、人間が映像を見たときに体感する主観品質を推定することで映像の品質を評価する場合に用いられる視覚特性解析方法に関する。

ネットワークの複雑化、ネットワーク機器の高性能化、キャリア網のＱｏＳ（Quality of Service）のグレードの細分化に伴い、ネットワークの運用管理も、従来の死活監視からサービス品質管理へと高度化していく必要がある。サービス品質管理の尺度の一つとして、国際標準化団体であるＩＵＴ−ＴではＱｏＥ（Quality of Experience）を定義する勧告が出され、利用者の体感する品質が注目されている。従来、ＱｏＥとして、例えばＩＰ電話サービスのＲ値等が存在するが、利用者の「体感」については、アンケートの結果に基づく主観評価を参照している。アンケートは、被験者による事後の報告であり、「体感」からは乖離する可能性がある等の指摘がなされている。そこで、サービスを受ける利用者の状態が行動に表れると仮定して、利用者の行動を計測することにより利用者の状態を判別することが試みられている。映像品質の評価については、被験者の視線を観察することで被験者の行動を計測することが提案されている（例えば、特許文献１参照）。

特開２００４−８０１７７号公報

上記特許文献１の技術の場合、計測された視線情報は、被験者が映像のどの部分を見ていたかによる評価の重み付けに用いられる。評価の重み付けに視線情報を用いたとしても、映像品質の劣化による利用者への影響を計測するものとはなっていない。また、被験者の視線の位置に応じて重み付けがなされた評価は、表示した映像のコンテンツの性質や被験者の興味による影響が及ぶ場合が多くなる。ネットワーク等における伝送に関わる品質について利用者に与える影響を評価するには、映像のコンテンツに依存しないことが望ましい。

本発明は、上記に鑑みてなされたものであって、映像のコンテンツに依存せずに、映像品質の劣化による利用者への影響を計測することによる映像品質の評価において適用される視覚特性解析方法および視覚特性解析装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、被験者が映像を見たときに体感する主観品質を推定することで映像の品質を評価する場合に用いられる視覚特性解析方法であって、被験者による視線の位置である視線位置を計測する視線位置計測工程と、視線位置計測工程において視線位置を計測した結果を用いて、視線位置が一定範囲の凝視領域内に存在している時間である凝視時間、及び凝視領域同士の間を視線位置が移動した距離である視線移動距離の少なくとも一方を抽出する抽出工程と、凝視時間の分布、及び視線移動距離の分布の少なくとも一方を生成する分布生成工程と、被験者の認知行動の変化を検知するために、条件ごとの凝視時間の分布を比較した結果、及び条件ごとの視線移動距離の分布を比較した結果の少なくとも一方に基づいて被験者の視覚特性を判断する工程と、を含むことを特徴とする。

この発明によれば、凝視時間の分布を比較した結果、及び視線移動距離の分布を比較した結果の少なくとも一方から、被験者による認知行動の変化を検出することにより、映像のコンテンツに依存せずに、映像品質の劣化による利用者の影響を計測することによる映像品質の評価が可能となるという効果を奏する。

以下に、図面に基づいて、本発明に係る視覚特性解析方法および視覚特性解析装置の実施の形態を詳細に説明する。

実施の形態．
図１は、本発明の実施の形態に係る視覚特性解析方法を、映像の品質の評価において適用するためのブロック構成を示す。映像を観察する利用者は、衝動性眼球運動（Saccade）による視線の移動を繰り返すことにより、映像の全体を認識する。映像にノイズが入ると、映像の認知行動に変化が生じる。ノイズは、主に映像信号や電波の乱れが原因となって生じる。本実施の形態では、映像品質の劣化による被験者の認知行動の変化を検知することにより、映像品質を評価する。

表示装置２は、映像信号に応じて映像を表示するディスプレイである。映像信号は、ネットワークを介してリアルタイムに伝送されるもの、一旦蓄積されたもののいずれであっても良い。表示装置２は、被験者から所定距離の位置に配置される。

視線計測装置３は、被験者による視線位置を計測する。視線位置とは、表示装置２のうち映像が表示されている表示領域上において被験者が注視している位置であるとする。視線計測装置３は、視線位置を表示装置２の表示領域上の座標として計測し、計測された視線位置の座標を記録する。視線計測装置３は、従来用いられるいずれのものを用いても良い。視線計測装置３は、例えば、被験者の両目を撮影するためのカメラ（不図示）と、視線位置を計算する計算部（不図示）とを有する。計算部は、カメラによる撮像から被験者の瞳孔の中心位置を求め、被験者による視線の先にある視線位置を計算する。映像品質評価装置１は、視線計測装置３による計測結果から映像の品質を評価する場合に用いられる、視覚特性の解析のための視覚特性解析装置である。

図２は、映像品質評価装置１のブロック構成を示す。視線位置データ記憶部１１は、視線計測装置３により計測された視線位置を時系列データとして蓄積する。視線位置データ解析部１２は、視線位置データ記憶部１１に蓄積された視線位置のデータを解析する。解析結果出力部１３は、視線位置データ解析部１２による解析の結果を出力する。映像品質評価装置１は、各構成の処理をハードウェア構成により実現するもの、プロセッサ上で動作させるソフトウェアを用いて実現するもののいずれであっても良い。

図３は、本実施の形態により映像の品質を評価する手順を説明するフローチャートである。ステップＳ１では、表示装置２により映像を表示しながら、視線計測装置３により被験者の視線位置を計測する。ステップＳ１は、視線位置を計測する視線位置計測工程である。ステップＳ２において、視線位置データ記憶部１１は、視線計測装置３により計測された視線位置のデータを蓄積する。視線位置データ解析部１２は、視線位置データ記憶部１１から視線位置のデータを取り出し、解析する。

視線位置のデータを解析する際に、視線位置データ解析部１２は、エラー記録除去工程であるステップＳ３において、エラー記録を除去する。エラー記録とは、表示装置２の表示領域において視線位置が検出されない場合のデータであるとする。エラー記録は、視線位置データ解析部１２による解析処理上、取り除く必要がある。例えば、瞬き等により被験者の瞼が閉じている間のデータはエラー記録となる。また、例えば、表示領域以外の領域へ視線位置が移動した場合や、被験者の周囲における照明の状況の変動により視線計測装置３が画像認識できなかった場合等、何らかの事象により視線計測装置３による視線位置の計測がなされなかった場合のデータもエラー記録となる。後述する凝視時間及び視線移動距離の抽出に先立ちエラー記録を除去することにより、映像品質を正確に評価することが可能となる。

次に、ステップＳ４において、視線位置データ解析部１２は、エラー記録が除去されたデータから凝視領域を特定し、凝視時間及び視線移動距離を算出する。ステップＳ４は、ステップＳ１において視線位置を計測した結果を用いて凝視時間及び視線移動距離を抽出する抽出工程である。凝視時間は、視線位置が一定範囲の凝視領域内に存在している時間であるとする。視線移動距離は、凝視領域同士の間を視線位置が移動した距離であるとする。

図４は、視線位置データ解析部１２により凝視時間及び視線移動距離を抽出する際に用いられる凝視領域ＡＲについて説明するものである。図５は、図４に示した凝視領域ＡＲと、視線位置の軌跡Ｌとを表したものである。軌跡Ｌ上のプロットは、視線位置が停止した位置を表すものとする。視線計測装置３は、表示装置２の表示領域において、水平方向及び鉛直方向について定義された座標を用いて、視線位置を計測する。本実施の形態では、視線計測装置３は、水平方向について０から６４００、鉛直方向について０から４８００の座標を用いて視線位置を計測するものとする。座標の１単位は、例えば、約０．０５ｍｍであるとする。

凝視領域ＡＲは、例えば、１２８座標に相当する直径の円形領域であるとする。一定範囲である直径１２８座標の凝視領域ＡＲ内に視線位置が存在している間は、被験者が特定位置を凝視しているものとして扱う。凝視時間は、ある凝視領域ＡＲ内に視線位置が入った時から、他の凝視領域ＡＲへ向けて視線位置が出る時までの時間となる。視線計測装置３による視線位置の記録が例えば６０Ｈｚで行われるとして、レコード数ｎにおいて視線位置がある凝視領域ＡＲ内に存在している場合、凝視時間は、ｎ／６０秒となる。また、視線移動距離は、ある凝視領域ＡＲから次に視線位置が移動した凝視領域ＡＲまでの距離となる。

図３に戻って、ステップＳ５において、解析の対象となるデータが最後のデータＥＯＦ（End Of File）か否かが判断される。ステップＳ５においてＥＯＦでないと判断した場合、ステップＳ１からステップＳ４を繰り返す。ステップＳ５においてＥＯＦであると判断した場合、分布生成工程であるステップＳ６において、視線位置データ解析部１２は、凝視時間の分布、及び視線移動距離の分布を生成する。凝視時間の分布の生成には、ステップＳ４において抽出された凝視時間のデータを使用する。視線移動距離の分布の生成には、ステップＳ４において抽出された視線移動距離のデータを使用する。視線位置データ解析部１２は、凝視時間及び視線移動距離を抽出し、凝視時間の分布、及び視線移動距離の分布を生成する視線位置データ解析手段として機能する。

次に、ステップＳ７において、映像の条件を変更する旨の指示の有無を判断する。ステップＳ７において条件を変更する指示が有る場合、条件が変更された映像信号が表示装置２へ入力され、再びステップＳ１からステップＳ７を繰り返す。条件を変更するごとにステップＳ１からステップＳ７を繰り返すことにより、視線位置データ解析部１２は、条件ごとに凝視時間の分布、視線移動距離の分布を生成する。

ステップＳ７において条件を変更する指示が無い場合、視線位置データ解析部１２は、ステップＳ８において、各条件について生成された凝視時間の分布同士、視線移動距離の分布同士を比較する。次に、ステップＳ９において、解析結果出力部１３は、ステップＳ８における視線位置データ解析部１２の比較結果を出力する。解析結果出力部１３は、条件ごとの凝視時間の分布を比較した結果、及び条件ごとの視線移動距離の分布を比較した結果を出力する比較結果出力手段として機能する。評価判定工程であるステップＳ１０では、ステップＳ９で出力された比較結果に基づいて、被験者の認知行動の変化を検知し、被験者が映像を見たときに体感する主観品質を推定することにより、映像の品質の評価を判定する。

図６は、凝視時間の分布を比較した結果の例を示す。図中縦軸は度数、横軸は凝視時間を表している。横軸の１単位は、視線計測装置３によるサンプリング間隔であって、１／６０秒とする。図示する例では、ノイズ無し、ノイズの継続時間が１００ｍ秒、２００ｍ秒、３００ｍ秒、４００ｍ秒である各条件における凝視時間の分布を比較している。ノイズ無しでの視線位置の計測は、検査の最初及び最後に行うものとする。

凝視時間の分布を比較した結果から、ノイズ無し（最初）、ノイズ無し（最後）、及び４００ｍ秒のノイズの場合に同様の傾向を示すことがわかる。ノイズ無し（最初）及びノイズ無し（最後）で同様の傾向を示すことから、被験者が映像を見続けることによる慣れや飽きが結果へ及ぼす影響は極めて少ないといえる。また、１００ｍ秒、２００ｍ秒、及び３００ｍ秒のノイズの場合に、凝視時間の分布が類似する傾向があることがわかる。図示する例では、１００ｍ秒、２００ｍ秒、及び３００ｍ秒のノイズの場合、ノイズ無し及び４００ｍ秒のノイズの場合に対して、５／６０秒以下の短時間の凝視が減少する傾向がある。

かかる傾向から、１００ｍ秒、２００ｍ秒、及び３００ｍ秒のノイズに対して、被験者は、ノイズを認識しながらも、元の映像を認識しようとする認知行動を取っていると考えられる。これに対して、４００ｍ秒のノイズの場合と、ノイズ無しの場合とで凝視時間の分布が同様の傾向を示すことから、４００ｍ秒のノイズに対して、被験者は、ノイズに対して元の映像を認識しようとする認知行動を取らなくなると考えられる。元の映像を認識しようとする認知行動を取らなくなると、被験者は、きれいな状態の映像と劣化した状態の映像とをはっきり認識することとなる。従って、凝視時間の分布を比較した結果から、ノイズの継続時間が３００ｍ秒から４００ｍ秒へ増大すると、被験者の認知行動に変化が生じるといえる。

図７は、視線移動距離の分布を比較した結果の例を示す。図中縦軸は度数、横軸は視線位置の移動距離を表している。横軸の１単位は、座標の１単位であって、約０．０５ｍｍとする。図６に示す凝視時間の分布の場合と同様に、図７に示す例でも、ノイズ無し、ノイズの継続時間が１００ｍ秒、２００ｍ秒、３００ｍ秒、４００ｍ秒である各条件における視線移動距離の分布を比較している。ノイズ無しでの視線位置の計測は、検査の最初及び最後に行うものとする。

視線移動距離の分布を比較した結果から、ノイズ無し（最初）、ノイズ無し（最後）、及び４００ｍ秒のノイズの場合に同様の傾向を示すことがわかる。ノイズ無し（最初）及びノイズ無し（最後）で同様の傾向を示すことから、被験者が映像を見続けることによる慣れや飽きが結果へ及ぼす影響は極めて少ないといえる。また、１００ｍ秒、２００ｍ秒、及び３００ｍ秒のノイズの場合に、視線移動距離の分布が類似する傾向があることがわかる。図示する例では、１００ｍ秒、２００ｍ秒、及び３００ｍ秒のノイズの場合、ノイズ無し及び４００ｍ秒のノイズの場合に対して、２５０座標以下の短い距離の視線移動が減少する傾向がある。

視線移動距離の分布を比較した結果から、凝視時間の分布を比較した結果と同様に、ノイズの継続時間が３００ｍ秒から４００ｍ秒へ増大すると、被験者の認知行動に変化が生じているといえる。図６に示す結果、及び図７に示す結果から、継続時間が３００ｍ秒までのノイズが混入する条件は許容されると判断される。

解析結果出力部１３は、例えば、モニタでの表示やプリンタによるプリントアウトを用いて、図６及び図７に示すようなグラフを出力する。凝視時間の分布の傾向の類似性、視線移動距離の分布の傾向の類似性は、例えば、グラフを目視することによりユーザが判断する。ユーザは、凝視時間の分布の傾向、及び視線移動距離の分布の傾向から、映像の品質の評価を判定する。被験者の認知行動の変化を検知することにより、映像の劣化が被験者へ及ぼす影響を計測可能とし、映像のコンテンツに依存しない映像品質の評価が可能となる。

これにより、映像のコンテンツに依存せずに、映像品質の劣化による利用者の影響を計測することによる映像品質の評価が可能となるという効果を奏する。本発明により、ネットワークや映像の符号化アルゴリズムが利用者に与えても許容されるノイズの限界を計測することができる。本発明は、特に、情報としての映像を伝送する用途、例えば監視のための映像を伝送する場合の映像品質の評価に用いる場合に有用である。

凝視時間の分布の傾向の類似性、視線移動距離の分布の傾向の類似性は、目視により判断する場合に限られず、例えば、カイ二乗検定の手法を用いて判断することとしても良い。この場合、映像品質評価装置１は、凝視時間の分布の傾向の類似性、視線移動距離の分布の傾向の類似性の判断に基づいて、映像品質の評価を判定することとしても良い。

本実施の形態による映像の品質の評価は、凝視時間の分布の比較結果、及び視線移動距離の分布の比較結果両方に基づいて判定する場合に限られない。本実施の形態に係る視覚特性解析方法は、条件ごとの凝視時間の分布を比較した結果、及び条件ごとの視線移動距離の分布を比較した結果の少なくとも一方に基づいて視覚特性を判断するものであれば良い。視線位置データ解析部１２は、凝視時間及び視線移動距離の少なくとも一方を抽出して分布を生成するものであれば良い。凝視時間及び視線移動距離のうち、凝視時間のほうが被験者間における個人差が生じ易い傾向があることから、凝視時間及び視線移動距離のいずれか一方を用いて映像品質を評価する場合、視線移動距離を選択することが望ましいといえる。

以上のように、本発明に係る視覚特性解析方法および視覚特性解析装置は、ネットワーク等を介して映像を伝送する場合の映像品質の評価に用いる場合に適している。

本発明の実施の形態に係る視覚特性解析方法を、映像の品質の評価におい て適用するためのブロック構成を示す図である。 映像品質評価装置のブロック構成を示す図である。 映像の品質を評価する手順を説明するフローチャートである。 凝視領域について説明する図である。 図４に示した凝視領域と、視線位置の軌跡とを表した図である。 凝視時間の分布を比較した比較結果の例を示す図である。 視線移動距離の分布を比較した比較結果の例を示す図である。

符号の説明

１ 映像品質評価装置
２ 表示装置
３ 視線計測装置
１１ 視線位置データ記憶部
１２ 視線位置データ解析部
１３ 解析結果出力部

Claims (3)

1. 被験者が映像を見たときに体感する主観品質を推定することで前記映像の品質を評価する場合に用いられる視覚特性解析方法であって、
   前記被験者による視線の位置である視線位置を計測する視線位置計測工程と、
   前記視線位置計測工程において前記視線位置を計測した結果を用いて、前記視線位置が一定範囲の凝視領域内に存在している時間である凝視時間、及び前記凝視領域同士の間を前記視線位置が移動した距離である視線移動距離の少なくとも一方を抽出する抽出工程と、
   前記凝視時間の分布、及び前記視線移動距離の分布の少なくとも一方を生成する分布生成工程と、
   前記被験者の認知行動の変化を検知するために、条件ごとの前記凝視時間の分布を比較した結果、及び条件ごとの前記視線移動距離の分布を比較した結果の少なくとも一方に基づいて前記被験者の視覚特性を判断する工程と、を含むことを特徴とする視覚特性解析方法。
2. 前記映像が表示されている表示領域において前記視線位置が検出されないエラー記録を除去するエラー記録除去工程を含むことを特徴とする請求項１に記載の視覚特性解析方法。
3. 被験者が映像を見たときに体感する主観品質を推定することで前記映像の品質を評価する場合に用いられる視覚特性解析装置であって、
   前記被験者による視線の位置である視線位置を計測した結果を用いて、前記視線位置が一定範囲の凝視領域内に存在している時間である凝視時間、及び前記凝視領域同士の間を前記視線位置が移動した距離である視線移動距離の少なくとも一方を抽出し、前記凝視時間の分布、及び前記視線移動距離の分布の少なくとも一方を生成する視線位置データ解析手段と、
   条件ごとの前記凝視時間の分布を比較した結果、及び条件ごとの前記視線移動距離の分布を比較した結果の少なくとも一方を出力する比較結果出力手段と、を有することを特徴とする視覚特性解析装置。

Images