JP6509712B2 - 印象推定装置およびプログラム - Google Patents
印象推定装置およびプログラム Download PDFInfo
- Publication number
- JP6509712B2 JP6509712B2 JP2015221019A JP2015221019A JP6509712B2 JP 6509712 B2 JP6509712 B2 JP 6509712B2 JP 2015221019 A JP2015221019 A JP 2015221019A JP 2015221019 A JP2015221019 A JP 2015221019A JP 6509712 B2 JP6509712 B2 JP 6509712B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- feature
- impression
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Description
まず概要を説明する。実施形態では、「第1の像」を注視する動物の目の動的な変化(目の動きおよび瞳孔の大きさの経時変化の少なくとも一方)に基づく「第1特徴量」を抽出し、この「第1特徴量」に基づいて、少なくとも「動物」の「第1の像」に対する印象(印象の度合い)を推定する。「印象」の例は、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。ただし、これは本発明を限定するものではなく、面白いか否かに関するものや楽しいか否かに関するものなど、その他の「印象」を推定してもよい。また好んでいるか否かのような2値分類に限らず、印象に関する複数クラス(好き嫌いの度合いに対応するクラス)のうち、どのクラスに属するかを推定してもよい。
第一実施形態について説明する。本実施形態では、人の目の動きおよび瞳孔の大きさの経時変化の少なくとも一方に基づく特徴量に基づいて、並べられた2つの画像に対する相対的な好みを推定する。
図1、図2を参照して本実施形態の印象推定装置の構成、および動作について説明する。図1に示すように、本実施形態の印象推定装置10は、画像呈示部11、眼球情報取得部12、特徴量抽出部13、および嗜好推定部14を含む。
画像呈示部11は、2つの異なる画像α,β(「第1の像」および「第2の像」)を所定の時間区間τにおいて人間(ヒト)である対象者100の視野内に呈示する(S11)。例えば、対象者100の正面に設置したモニターの左右の領域に1つずつ、観察可能な時間の長さで画像を呈示する。図3Aおよび図3Bの例では、モニターの左側の領域に画像αが呈示され、右側の領域に画像β(画像αと異なる画像)が呈示される。すなわち、画像α,βが並んで配置される。
眼球情報取得部12は、前述の時間区間τにおける、対象者100の「目の動的な変化」である「目の動き(例えば眼球の位置の経時変化)」および「瞳孔の大きさの経時変化」の少なくとも一方に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部13へ出力する。目の動的な変化に基づく特徴量として、「マイクロサッカード(microsaccade)」や「ラージサッカード(large saccade)」に関する特徴量を用いる場合、前述の時間区間τの中に、対象者100が2つの異なる画像α,β(画像領域)(図3A,図3B)をそれぞれ注視したときの一つ以上のマイクロサッカードおよびラージサッカードが含まれるように、その長さが設定される。時間区間τの長さは、数秒から数十秒程度とすることが望ましい。あるいは、対象者100に2つの画像α,βのどちらが好きかを判断するために見比べてもらうように指示し、対象者100が任意のタイミングでボタンを押すことで2つの画像α,βが呈示され、対象者100が再びボタンを押すことでこれらの呈示が終了することにしてもよい。この場合には、結果として画像α,βを呈示していた時間区間を「時間区間」としてもよい。
特徴量抽出部13は、取得した目の動的な変化に関する情報から、画像αを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む第1特徴量、および、画像βを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む第2特徴量を抽出する(S13)。言い換えると、特徴量抽出部13は、対象者100が画像αを注視する第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量(第1時間区間での特徴量)、および、対象者100が画像βを注視する第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量(第2時間区間での特徴量)を抽出する。第1特徴量および第2特徴量は、それぞれスカラーであってもよいし、ベクトル(特徴量列、ベクトル特徴量ともいう)であってもよい。例えば、特徴量抽出部13は、前述の時間区間τに対応する目の動的な変化に関する情報を受け取り、対象者100が各画像α,βを注視するときの「注視(fixation)」「マイクロサッカード(microsaccade)」「ラージサッカード(large saccade)」「縮瞳(miosis)」「散瞳(mydriasis)」「瞬目(blink)」の少なくとも何れかの特徴量を抽出する。ただし、これらは本発明を限定するものではない。特徴量抽出部13は、抽出した第1特徴量および第2特徴量を嗜好推定部14に出力する。以下に各特徴量を例示する。
注視は、ラージサッカードまたは瞬目が生じてから、次のラージサッカードまたは瞬目が生じるまでの時間の目の動きである。「注視の特徴量」としては、前述の時間区間τにおける、対象者100による各画像α,βの注視時間、注視回数、および注視領域の何れかに対応する特徴量を例示できる。対象者100が注視していた領域は、顔の基準点に対する眼球の座標および領域の座標によって定義できる。画像αの注視時間に対応する特徴量は、例えば、時間区間τにおいて、対象者100が画像αの領域を注視していた時間の合計であってもよいし、最も長く画像αを注視し続けていた時間であってもよいし、このような時間の関数値であってもよい。画像αの注視回数に対応する特徴量は、例えば、時間区間τにおいて、対象者100の視点が画像αの外側の領域から画像αに移動した回数であってもよいし、画像βから画像αに移動した回数であってもよいし、このような回数の関数値であってもよい。画像αの注視領域に対応する特徴量は、例えば、時間区間τにおいて注視された画像αの領域の広さであってもよいし、時間区間τのある時点で画像αの領域を注視していたか否かを表す値であってもよいし、それらの関数値であってもよい。これらのことは画像βの注視時間に対応する特徴量、注視回数に対応する特徴量、視領域に対応する特徴量についても同じである。また、注視時間、注視回数、および注視領域のうち複数をベクトル表記した特徴量を用いてもよい。
「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図4はマイクロサッカードを説明する図であって、横軸を時間[秒]、縦軸を視野角[度]として注視状態の眼球運動の例を示すグラフである。マイクロサッカードの例であるマイクロサッカードMSを太線で強調して示す。図4に例示するように、マイクロサッカードはある一点を注視している状態において、1〜2秒の間に1回程度、個人の意思とは関係なく(不随意に)表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者100の顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や眼球情報取得部12において水平方向と定義された方向を含む概念である。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)持続時間Dm:マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は1次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(7)減衰率λ:基準振幅Aに対するオーバーシュートの振幅Aoの比である。最大速度Vmaxに対するオーバーシュートの速度Voの比としてもよく、
と表される。
と表される。ここでG(s)は伝達係数、y(t)は位置、y'(t)は速度を表す。これに基づいて、減衰係数マイクロサッカードの減衰係数ζ、固有角振動数ωnは、
と表される。ただし、tは時刻を表すインデックスであり、sはラプラス変換によるパラメタ(複素数)である。固有角振動数ωnはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。
「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角2度以上の場合をラージサッカード、2度未満のものをマイクロサッカードとする。例えば、図6Aの例では、時間t0,t3,t8,t12からラージサッカードが開始されている。これらの振幅は時間t6,t7,t10,t13から開始されているマイクロサッカードの振幅よりも大きい。なお、図6Aの正方向はモニターの右方向(画像β側)を表し、負方向はモニターの左方向(画像α側)を表す。特徴量抽出部13は、例えば眼球の位置の時系列について1次階差系列を計算し、1次階差系列の絶対値が前述の「第2閾値」を上回る時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴量の例は、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などである。特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100のラージサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などを、画像αを注視する対象者100の眼球の動きに表れるラージサッカードの特徴量(第1時間区間での特徴量)として計算する。同様に特徴量抽出部13は、画像βを注視する対象者100のラージサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などを、画像βを注視する対象者100の眼球の動きに表れるラージサッカードの特徴量(第2時間区間での特徴量)として計算する。各画像α,βの注視時のラージサッカードが時間区間τにおいて複数検出された場合には、一つ一つのラージサッカードについて求めた特徴量それぞれの代表値を用いてもよい。また、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
人がある一点を注視しているとき、瞳孔の大きさは一定ではなく、変化している。図5Bは注視状態における瞳孔の大きさの変化を表す図であり、横軸は時間[秒]を、縦軸は瞳孔の大きさ[z-score]を表す。瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大(散瞳)し、副交感神経系の支配を受けた瞳孔括約筋によって収縮(縮瞳)する。図5Bにおいて、二重線部分は散瞳を表し、破線部分は縮瞳を表す。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の3つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動(輻輳運動)に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。
「瞬目」とは目蓋の開閉運動のことである。瞬目の特徴量の例は、単位時間(例えば1秒間)あたりの瞬目の発生回数、瞬目の発生回数、瞬目の持続時間などである。瞬目の持続時間は、瞬目が起きている時間区間の長さである。特徴量抽出部13は、例えば、眼球運動の位置が所定の閾値を下回る時間区間を、瞬目が起きている時間区間として検出すればよい。ただし、一般に瞬目の生じる時間の長さが最小で75msと考えられていることから、特徴量抽出部13は、検出された時間区間の長さが所定の閾値(たとえば、50ms)を下回る場合は、これをノイズとして瞬目から除外することが望ましい。特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像αを注視する対象者100の瞬目の特徴量(第1時間区間での特徴量)」とする。同様に、特徴量抽出部13は、例えば、時間区間τにおいて画像βを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像βを注視する対象者100の瞬目の特徴量(第2時間区間での特徴量)」とする。各画像α,βの注視時の瞬目が時間区間τにおいて複数検出された場合には、一つ一つの瞬目について求めた特徴量それぞれの代表値を用いてもよい。瞬目の発生回数、瞬目の持続時間などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
嗜好推定部14は、第1特徴量と第2特徴量とに基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定し、その推定結果を表す情報を出力する(S14)。ここで、印象とは、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。例えば、嗜好推定部14は、対象者100が2つの異なる画像αおよび画像βのうち一方の画像を他方の画像と比較して好んでいるか否かを推定する。あるいは、嗜好推定部14は、対象者100が2つの異なる画像αおよび画像βのうちのどちらの画像をより好んでいるかを推定する。
嗜好推定部14は、例えば、特徴量抽出部13が抽出した複数の第1特徴量を含む第1特徴量列と複数の第2特徴量を含む第2特徴量列とを用い、前述した「比較特徴量列」に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。例えば、複数の第1特徴量をα1,…,αmとし、複数の第2特徴量をβ1,…,βmとし、第1特徴量列を(α1,…,αm)とし、第2特徴量列を(β1,…,βm)とし、比較特徴量列を(f1,…,fm)とする。ただし、mは2以上の整数であり、k=1,…,mについて、αk>βkのときfk=0とし、αk<βkのときfk=1とする(基準11)。その逆に、αk>βkのときfk=1とし、αk<βkのときfk=0としてもよい(基準21)。あるいは、k=1,…,mごとに、基準11が適用されるか基準21が適用されるかが定められていてもよい。例えば、画像αに好意を持っているときにf1,…,fmがすべて1となる傾向を示すように、各k=1,…,mに適用される基準が定められてもよい。αk=βkのときには、fk=0としてもよいし、fk=1としてもよいし、fkをその他の値としてもよい。この場合、嗜好推定部14は、比較特徴量列(f1,…,fm)に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定する。この推定方法の具体例を示す。
嗜好推定部14は、以下のFαβを計算し、Fαβ>0.5の場合に対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、Fαβ<0.5の場合に対象者100の画像βに対する印象が画像αに対する印象よりも良い(あるいは対象者100の画像αに対する印象が画像βに対する印象よりも悪い)と推定する。Fαβ=0.5の場合には、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定してもよいし、悪いと推定してもよいし、推定不可能としてもよい。
ただし、事前学習によって、画像αに好意を持っているときにf1,…,fmがすべて1となり、画像βに好意を持っているときにf1,…,fmがすべて0となる傾向を示すように、各k=1,…,mに適用される基準(基準11または基準21)が定められている。またrkは事前に定められた重み係数である。例えば、事前学習で学習用対象者(人間)に前述のように画像α,βを同時に呈示し、その際に得られた複数のfkのサンプルと、それに対応する学習用対象者の回答(画像αを好んでいる:1、画像βを好んでいる:0)のサンプルとの相関係数を得ておき、その相関係数をrkとする。学習用対象者は、実際に印象が推定される対象者100と同一人物である必要はない。
事前学習において、学習用対象者に前述のように画像α,βを同時に呈示し、その際に得られた複数の(f1,…,fm)のサンプルをk−means等によってクラスタリングしておき、学習用対象者が「画像αが画像βよりも好ましい」と回答したときの(f1,…,fm)のサンプルが属する頻度の高いクラスタCの中心ベクトルcvからの距離に基づいて、印象が未知の画像に対する印象の推定が行われてもよい。例えば、特徴量抽出部13が抽出した第1特徴量列(α1,…,αm)と第2特徴量列(β1,…,βm)とを用いて得られた(f1,…,fm)と中心ベクトルcvとの距離をd(f1,…,fm)とする。嗜好推定部14は、d(f1,…,fm)が所定の閾値以下のときに、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、そうでないときに対象者100の画像βに対する印象が画像αに対する印象よりも良いと推定する。その他、SVMを用いてもよい。SVMを用いることにより、学習用対象者が「画像αが画像βよりも好ましい(印象が良い)」と回答したときの(f1,…,fm)のサンプルによる点群が属する空間と、画像βが画像αよりも好ましいと回答したときの(f1,…,fm)のサンプルによる点群が属する空間とを分離する超平面を事前に求めることができる。この場合、特徴量抽出部13が抽出した第1特徴量列(α1,…,αm)と第2特徴量列(β1,…,βm)とを用いて得られた(f1,…,fm)がいずれの空間に属するかによって、印象が未知の画像に対する印象を推定できる。
嗜好推定部14が、特徴量抽出部13が抽出した第1特徴量と第2特徴量との大小関係または相違の度合いに基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。
第1特徴量および第2特徴量の何れか、および比較特徴量列に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。例えば、事前学習において、学習用対象者に前述のように画像α,βを同時に呈示し、その際に得られた第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルをk−means等によってクラスタリングしておき、学習用対象者が「画像αが画像βよりも好ましい」と回答したときのサンプルが属する頻度の高いクラスタCの中心ベクトルcvからの距離に基づいて、印象の推定が行われてもよい。例えば、特徴量抽出部13が抽出した第1特徴量、第2特徴量、およびそれらに対応する比較特徴量列からなるベクトルと中心ベクトルcvとの距離をdとする。嗜好推定部14は、dが所定の閾値以下のときに、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、そうでないときに対象者100の画像βに対する印象が画像αに対する印象よりも良いと推定する。その他、SVMを用いてもよい。この場合には、学習用対象者が「画像αが画像βよりも好ましい」と回答したときの第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルによる点群が属する空間と、画像βが画像αよりも好ましいと回答したときの第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルによる点群が属する空間と、を分離する超平面を事前に求めておく。そして、特徴量抽出部13が抽出した第1特徴量、第2特徴量、およびそれらに対応する比較特徴量列からなるベクトルがいずれの空間に属するかによって、印象の推定が行われる。
本実施形態の効果を確認するための実験結果を示す。この実験では5名の対象者に対して各2セッションの試験が行われた。ただし、10セッションのうち1セッションは教示不理解のため排除した。各セッションでは比較対象となるペア画像(画像α,βを左右に並べて配置)を呈示した(図3B)。人種4条件×年齢2条件×性別2条件の合計16種類の顔の画像をそれぞれ5個ずつ用いて80枚のペア画像を生成した。各試験では、対象者がペア画像を見比べ、左右に配置されたボタンを押すことによって好きな方の顔を回答した。この際に対象者の目の動的な変化に基づく特徴量を抽出した。これらの合計720回の試行のうち不良試行を排除し、661回の試行を対象に比較特徴量列と回答結果との関係を解析した。
[注視]
f1:ボタン押しの直前に対象者が左右いずれの画像領域を見ていたか(左:1,右:0)
f2:画像呈示中に左右どちらの画像領域の注視時間が長かったか(同上)
f3:ボタン押し直前500msに左右どちらの画像領域の注視時間が長かったか(同上)
[マイクロサッカード]
f4:左右どちらの画像領域を注視しているときにマイクロサッカードの発生頻度が高かったか(同上)
f5:左右どちらの画像領域を注視しているときにマイクロサッカードの固有角振動数が大きかったか(同上)
ただし、振幅が視野角2度以下のものをマイクロサッカードとし、ラージサッカードは含まない。
[ラージサッカード]
f6:左右どちらの画像領域を到達点とするラージサッカードが多かったか(同上)
[散瞳]
f7:左右どちらの画像領域を注視しているときに散瞳の発生頻度が長かったか(同上)
f8:左右どちらの画像領域を注視しているときに散瞳の振幅が大きかったか(同上)
f9:左右どちらの画像領域を注視しているときに散瞳の持続時間が長かったか(同上)
推定精度:83.4%
このように、高い精度で対象者の画像に対する好みを推定することができた。
印象推定装置10は、画像呈示部11及び眼球情報取得部12を含まなくともよい。すなわち、画像呈示部11及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
図9は画像α,βの領域と対象者100の視線の移動との関係を例示しており、t0〜t13は時間を表している。対象者100は画像αと画像βとの間で視線を移動させ、これらの画像を見比べる。ここで「第1特徴量」の何れかが画像αを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴に対応し、「第2特徴量」の何れかが画像βを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴に対応する場合、これらのマイクロサッカードの特徴が、画像αおよび画像βを通る直線Lの法線成分Nの眼球の動きに表れる特徴を含んでもよい。あるいは、このようなマイクロサッカードの特徴が法線成分Nの眼球の動きに表れる特徴のみを含んでいてもよい。これにより、画像αと画像βとの間での視線移動(ラージサッカードなど)の影響を受けにくい方向成分のマイクロサッカードの特徴を利用できる。なお直線Lの例は、画像αの重心と画像βの重心とを通る直線である。
第1実施形態では2つの画像α,βを同時に呈示し、対象者100が画像αを注視するときの第1特徴量と画像βを注視するときの第2特徴量を用い、画像α,βの相対的な印象を推定した。本形態では、1つの画像αのみを呈示し、対象者100が画像αを注視するときの第1特徴量と、対象者100が画像α以外の領域を見ているときの第2特徴量とを用いて画像αの印象を推定する。
図1に示すように、本実施形態の印象推定装置20は、画像呈示部21、眼球情報取得部12、特徴量抽出部23、および嗜好推定部24を含む。
画像呈示部21は、所定の時間区間τにおいて、背景(Notα)に配置された1つの画像α(第1の像)を対象者100の視野内に呈示する(S21)。例えば、対象者100の正面に設置したモニターに、観察可能な時間の長さで、背景内に配置された画像αを呈示する。図10Aおよび図10Bの例では、モニターの背景内の領域に1つの画像αを呈示する。
眼球情報取得部22は、時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S22)。眼球情報取得部22は、取得した目の動的な変化に関する情報を特徴量抽出部23へ出力する。
特徴量抽出部23は、取得した目の動的な変化に関する情報から、画像αを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む第1特徴量、および、画像α以外の領域を見ている対象者100の目の動的な変化に基づく特徴を一つ以上含む第2特徴量を抽出する(S23)。言い換えると、特徴量抽出部13は、対象者100が画像αを注視する第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量(第1時間区間での特徴量)、および、対象者100が画像α以外の領域を見ている第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部23は、抽出した第1特徴量および第2特徴量を嗜好推定部24に出力する。
嗜好推定部24は、第1特徴量と第2特徴量とに基づいて、対象者100の画像αの画像α以外の領域に対する相対的な印象を推定し、その推定結果を表す情報を出力する(S24)。例えば、前述した嗜好推定部14の処理の「画像β」を「画像α以外の領域」に置換した方法を利用できる。
印象推定装置20は、画像呈示部21及び眼球情報取得部12を含まなくともよい。すなわち、画像呈示部21及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
第1実施形態では2つの画像α,βを同時に呈示したが、画像αを呈示する第1時間区間で得られた第1特徴量と、何も呈示しない(背景のみを呈示する)第2時間区間で得られた第2特徴量とを用い、画像αの印象を推定してもよい。
図1に示すように、本実施形態の印象推定装置30は、画像呈示部31、眼球情報取得部12、特徴量抽出部33、および嗜好推定部34を含む。
図11Aに例示するように、画像呈示部31は、例えば、第1時間区間で画像α(第1の像)を対象者100の視野内に呈示し、第1時間区間以外の第2時間区間で画像αを非呈示とする。なお、図11Aの例では、第1時間区間の後に第2時間区間が位置しているが、第2時間区間の後に第1時間区間が位置していてもよい。
眼球情報取得部12は、第1時間区間および第2時間区間を含む時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部33へ出力する。
特徴量抽出部33は、取得した目の動的な変化に関する情報から、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量(第1時間区間での特徴量)、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部33は、抽出した第1特徴量および第2特徴量を嗜好推定部34に出力する。
嗜好推定部34は、第1特徴量と第2特徴量とに基づいて、対象者100の画像αの画像α以外の領域に対する相対的な印象を推定し、その推定結果を表す情報を出力する(S34)。
印象推定装置30は、画像呈示部31及び眼球情報取得部12を含まなくともよい。すなわち、画像呈示部31及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
図11Bに例示するように、第1時間区間で画像αを呈示し、第2時間区間で画像β(第2の像)を呈示し、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量に基づき、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。
図12Aに例示するように、画像αを呈示する第1時間区間と何も呈示しない(背景のみを呈示する)第2時間区間とを交互に複数回繰り返し、第1時間区間で得られた第1特徴量と第2時間区間で得られた第2特徴量とを用い、画像αの印象を推定してもよい。あるいは、図12Bに例示するように、画像αを呈示する第1時間区間と画像βを呈示する第2時間区間とを交互に複数回繰り返し、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量に基づき、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。時間の経過にともなって対象者100の状態(疲労など)や周辺環境が変化することがあり、呈示された画像以外の要因(外乱)によって対象者100の目の運動が変化する場合がある。このような場合でも、第1時間区間と第2時間区間とを交互に複数回繰り返すことで外乱が第1特徴量と第2特徴量とに与える影響を平坦化できる。なお、第1特徴量は複数の第1時間区間で得られた特徴量を平均したものや加算したものであってもよいし、複数の第1時間区間で得られた特徴量を並べたベクトルであってもよい。第2特徴量も複数の第2時間区間で得られた特徴量を平均したものや加算したものであってもよいし、複数の第2時間区間で得られた特徴量を並べたベクトルであってもよい。
第1から3の実施形態では、画像αを注視する対象者100の目の動的な変化に基づく第1特徴量と、画像αを注視しない(画像βなどの画像α以外の領域を注視するか、特定の領域への注視が想定されない)対象者100の目の動的な変化に基づく第2特徴量とを用い、少なくとも画像αに対する印象を推定した。本形態では、画像αを注視する対象者100の目の動的な変化基づく第1特徴量のみを用い、当該画像αに対する印象を推定する。
図1に例示するように、本実施形態の印象推定装置40は、画像呈示部41、眼球情報取得部12、特徴量抽出部43、嗜好推定部44、およびモデル記憶部45を有する。本実施形態では、モデル記憶部25を参照することにより、対象者にとっての画像の印象を推定する。
画像呈示部41は画像αのみを呈示する。
眼球情報取得部12は、画像αが呈示された時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部43へ出力する。
特徴量抽出部43は、対象者100の目の動的な変化に関する情報を受け取り、それらから対象者100の目の動的な変化に基づく特徴量を抽出し(ステップS43)、嗜好推定部44に出力する。特徴量の例は、第1実施形態で例示した特徴量の何れかや、それらの複数の特徴量を要素とするベクトル(特徴量ベクトル)である。例えば、マイクロサッカードの減衰係数ζ、減衰率λ、発生頻度Pの少なくとも何れか1つ以上を含む特徴量を抽出する。あるいは、マイクロサッカードの減衰係数ζ、減衰率λ、発生頻度Pの少なくとも何れか1つに加えて、以下の値を要素として含む特徴量ベクトルを特徴量として抽出しても良い(図4及)。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度。
(3)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoの値は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)マイクロサッカードの前後のドリフトの速度Vd:ドリフトとは、前述の通り、固視微動の一つであり、人がある一点を注視しているときの眼球の小さな滑らかな動きのことである。
嗜好推定部44は、特徴量を受け取り、その特徴量に基づいて、画像αに対する印象を推定する(S44)。本実施形態では、抽出された特徴量から嗜好推定モデルを用いて(参照することにより)、印象を推定し、出力する。言い換えれば、嗜好推定部44は、特徴量抽出部43で抽出した特徴量を、モデル記憶部45に記憶された嗜好推定モデル(特徴量から印象を推定するためのモデル)にあてはめることにより、印象を推定する。
モデル記憶部45は、特徴量を入力として、印象を出力するような嗜好推定モデルが予め記録されている。嗜好推定モデルは、予め1人以上の人について取得した特徴量と印象との関係性を機械学習法により学習することで、作成される。つまり、嗜好推定モデルは、特徴量と印象との相関性を記述したモデルである。
印象が好き/嫌い、の2値分類に限らず、複数クラス(好き嫌いの度合いに対応するクラス)に分類するようにSVMを構成することも可能である。あるいは、複数クラス(好き嫌いの度合いに対応するクラス)識別分類するような機械学習法であれば、SVMに限らず他の機械学習法を用いてもよい。
なお、本発明は上述の実施の形態に限定されるものではない。例えば、第4実施形態では、画像αを注視する対象者100の目の動的な変化に基づく第1特徴量のみを用い、これと画像の印象との関係性を記述した嗜好推定モデルを参照することで、当該画像αに対する印象を推定した。しかしながら、第1から3実施形態のように得られた第1特徴量および第2特徴量を用い、第1特徴量および第2特徴量と、画像の印象との関係性を記述した嗜好推定モデルを参照することで、画像αおよび画像βの少なくとも一方に対する印象を推定してもよい。この場合には、学習用に用意した「第1の画像」を学習用対象者に呈示している間の学習用対象者の目の動的な変化に基づく第1特徴量と、「第1の画像」を学習用対象者に呈示していない間の学習用対象者の目の動的な変化に基づく第2特徴量を取得する。ここで抽出する特徴量は、特徴量抽出部43で抽出する特徴量と同じとする。学習用対象者の「第1の画像」に対する好き嫌いの度合い(rating)(「第1の画像」を呈示していない状態に対する「第1の画像」を呈示している状態の好き嫌いの度合い、または、「第2の画像」を呈示している状態に対する「第1の画像」を呈示している状態の好き嫌いの度合い)を学習用対象者から取得し、抽出した第1特徴量および第2特徴量と「第1の画像」に対する好き嫌いの度合いを組とするデータセットを用意する。同様の第1特徴量および第2特徴量の抽出を複数の異なる「第1の画像」について行い、それぞれの「第1の画像」に対する好き嫌いの度合い(rating)と、抽出した第1特徴量および第2特徴量とを組とするデータセットを学習用データとして取得する。この学習用データを入力データとし、機械学習法により、「第1の画像」に対する印象と第1特徴量および第2特徴量との関係を学習する。これにより、得られる嗜好推定モデルに、好き嫌いが未知の第1特徴量および第2特徴量(特徴量抽出部43で得られた第1特徴量および第2特徴量)を入力すると、その第1特徴量および第2特徴量が、呈示された画像αが(例えば、画像βよりも)「好き」であること(画像βが「嫌い」)に対応するか、画像αが(例えば、画像βよりも)「嫌い」に対応するかを推定できる。
Claims (6)
- 第1の像を注視する動物の目の動的な変化に基づく第1特徴量を抽出する特徴量抽出部と、
前記第1特徴量に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する嗜好推定部と、
を有し、
前記特徴量抽出部は、さらに前記第1の像を注視しない前記動物の目の動的な変化に基づく第2特徴量を抽出し、
前記嗜好推定部は、前記第1特徴量と前記第2特徴量とに基づいて、少なくとも前記動物の前記第1の像に対する印象を推定し、
前記特徴量抽出部は、複数の前記第1特徴量を含む第1特徴量列と複数の前記第2特徴量を含む第2特徴量列とを抽出し、
前記嗜好推定部は、前記第1特徴量および前記第2特徴量の何れか、ならびに、前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する、印象推定装置。 - 請求項1の印象推定装置であって、
前記第2特徴量の何れかは、前記第1の像と異なる第2の像を注視する前記動物の目の動的な変化に基づく、印象推定装置。 - 請求項1または2の印象推定装置であって、
前記第1特徴量の何れかは、前記第1の像を注視する前記動物の眼球の動きに表れるマイクロサッカードの特徴に対応し、
前記第2特徴量の何れかは、前記第1の像と並んで配置された第2の像を注視する前記動物の眼球の動きに表れるマイクロサッカードの特徴に対応し、
前記マイクロサッカードの特徴は、前記第1の像および前記第2の像を通る直線の法線成分の前記眼球の動きに表れる特徴を含む、印象推定装置。 - 請求項1から3の何れかの印象推定装置であって、
前記動物に前記第1の像を呈示する第1時間区間と、前記動物に前記第1の像を呈示しない第2時間区間と、が交互に複数回繰り返され、
前記第1時間区間における前記動物の目の動的な変化に基づく特徴量を前記第1特徴量の何れかとし、前記第2時間区間における前記動物の目の動的な変化に基づく特徴量を前記第2特徴量の何れかとする、印象推定装置。 - 請求項1から4の何れかの印象推定装置であって、
前記第1特徴量の何れかは、前記動物による前記第1の像の注視時間、注視回数、および注視領域の何れかに対応する、印象推定装置。 - 請求項1から5の何れかの印象推定装置としてコンピュータを機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221019A JP6509712B2 (ja) | 2015-11-11 | 2015-11-11 | 印象推定装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221019A JP6509712B2 (ja) | 2015-11-11 | 2015-11-11 | 印象推定装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017086529A JP2017086529A (ja) | 2017-05-25 |
JP6509712B2 true JP6509712B2 (ja) | 2019-05-08 |
Family
ID=58766825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015221019A Active JP6509712B2 (ja) | 2015-11-11 | 2015-11-11 | 印象推定装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6509712B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7165910B2 (ja) * | 2019-01-24 | 2022-11-07 | パナソニックIpマネジメント株式会社 | 印象評価システム、及び、印象評価方法 |
EP3937506A4 (en) | 2019-03-04 | 2023-03-08 | Maxell, Ltd. | HEAD MOUNTED INFORMATION PROCESSING DEVICE |
JP7172787B2 (ja) * | 2019-03-22 | 2022-11-16 | 株式会社Jvcケンウッド | 評価装置、評価方法、及び評価プログラム |
JP6764982B1 (ja) * | 2019-07-29 | 2020-10-07 | 清水建設株式会社 | 分布推定システム、分布推定方法、および、分布推定プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999018842A1 (en) * | 1997-10-16 | 1999-04-22 | The Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
JP2006268395A (ja) * | 2005-03-24 | 2006-10-05 | Fuji Xerox Co Ltd | 情報処理装置、情報処理方法及びプログラム |
EP1924941A2 (en) * | 2005-09-16 | 2008-05-28 | Imotions-Emotion Technology APS | System and method for determining human emotion by analyzing eye properties |
JP2010094493A (ja) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
US20110109879A1 (en) * | 2009-11-09 | 2011-05-12 | Daphna Palti-Wasserman | Multivariate dynamic profiling system and methods |
JP5438591B2 (ja) * | 2010-05-17 | 2014-03-12 | 日本電信電話株式会社 | 感情強度測定装置、感情強度測定方法、及びプログラム |
WO2013018267A1 (ja) * | 2011-07-29 | 2013-02-07 | パナソニック株式会社 | 提示制御装置、及び提示制御方法 |
WO2013033842A1 (en) * | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
JP2013258555A (ja) * | 2012-06-12 | 2013-12-26 | Sony Computer Entertainment Inc | ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法 |
-
2015
- 2015-11-11 JP JP2015221019A patent/JP6509712B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017086529A (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Berg et al. | Free viewing of dynamic stimuli by humans and monkeys | |
CN110167421B (zh) | 整体地测量视觉功能的临床参数的*** | |
Komogortsev et al. | Automated classification and scoring of smooth pursuit eye movements in the presence of fixations and saccades | |
Nyström et al. | The influence of calibration method and eye physiology on eyetracking data quality | |
JP7070605B2 (ja) | 注目範囲推定装置、その方法およびプログラム | |
US20200074380A1 (en) | Work support device, work support method, and work support program | |
JP6509712B2 (ja) | 印象推定装置およびプログラム | |
Kawai et al. | Pupil diameter variation in positive and negative emotions with visual stimulus | |
Sato et al. | How much to trust the senses: Likelihood learning | |
Blignaut et al. | Improving the accuracy of video-based eye tracking in real time through post-calibration regression | |
Rafiqi et al. | PupilWare: towards pervasive cognitive load measurement using commodity devices | |
JP6755839B2 (ja) | 運動パフォーマンス推定装置、その方法、およびプログラム | |
JP6479708B2 (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
WO2018088187A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2014101165A1 (en) | Method and system for determining concentration level of a viewer of displayed content | |
AU2014234955B2 (en) | Automatic detection of task transition | |
JP5718494B1 (ja) | 印象推定装置、その方法、及びプログラム | |
Modi et al. | Real-time camera-based eye gaze tracking using convolutional neural network: a case study on social media website | |
JP5829590B2 (ja) | 疲労感評価装置、疲労感評価方法、及びプログラム | |
JP6445418B2 (ja) | 印象推定装置、印象推定方法、およびプログラム | |
JP5718495B1 (ja) | 印象推定装置、その方法、及びプログラム | |
Gavas et al. | Enhancing the usability of low-cost eye trackers for rehabilitation applications | |
JP6377545B2 (ja) | 個人識別方法、個人識別装置、プログラム | |
WO2020003804A1 (ja) | 反射性判定装置、反射性判定方法、プログラム | |
KR101955293B1 (ko) | 시각 피로도 분석 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6509712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |