JP6445418B2 - 印象推定装置、印象推定方法、およびプログラム - Google Patents
印象推定装置、印象推定方法、およびプログラム Download PDFInfo
- Publication number
- JP6445418B2 JP6445418B2 JP2015221020A JP2015221020A JP6445418B2 JP 6445418 B2 JP6445418 B2 JP 6445418B2 JP 2015221020 A JP2015221020 A JP 2015221020A JP 2015221020 A JP2015221020 A JP 2015221020A JP 6445418 B2 JP6445418 B2 JP 6445418B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- image
- impression
- sequence
- stimulus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
まず概要を説明する。実施形態では、「第1の像」を注視する「動物」の目の動的な変化(目の動きおよび瞳孔の大きさの経時変化の少なくとも一方)に基づく複数の「第1特徴量」を含む「第1特徴量列」と、「第1の像」を注視していない当該「動物」の目の動的な変化に基づく複数の「第2特徴量」を含む「第2特徴量列」とを抽出し、「第1特徴量列」の各要素と「第2特徴量列」の各要素との比較結果を表す値を各要素とする列に基づく「比較特徴量列」を含む情報に基づいて、少なくとも動物の「第1の像」に対する印象(印象の度合い)を推定する。「比較特徴量列」の要素は「第1特徴量列」の各要素と「第2特徴量列」の各要素との比較結果に基づく。このような「比較特徴量列」は、外乱(印象以外の要因)が「第1特徴量列」や「第2特徴量列」に与えた影響を相殺または抑制したものとなる。そのため、「比較特徴量列」を用いることで印象の推定精度を向上できる。また「比較特徴量列」の要素は「第1特徴量列」の各要素と「第2特徴量列」の各要素との比較結果に基づくため、目の動的な変化に基づく特徴量と印象との関係が単純な線形関係にない場合でも、容易に印象を推定できる。さらに「比較特徴量列」を用いて印象を推定する場合の精度は、一組の「第1特徴量」と「第2特徴量」とを比較して印象を推定する場合の精度よりも高い。「比較特徴量列」は複数の「第1特徴量」と「第2特徴量」との比較結果に基づくため、「第1特徴量」や「第2特徴量」への外乱が推定結果に与える影響を抑制できるからである。
第一実施形態について説明する。本実施形態では、人の目の動きおよび瞳孔の大きさの経時変化に基づく特徴量に基づいて、並べられた2つの画像に対する相対的な好みを推定する。
図1、図2を参照して本実施形態の印象推定装置の構成、および動作について説明する。図1に示すように、本実施形態の印象推定装置10は、知覚刺激呈示部11、眼球情報取得部12、特徴量抽出部13、および嗜好推定部14を含む。
知覚刺激呈示部11は、2つの異なる画像α,β(「第1の像」および「第2の像」)を所定の時間区間τにおいて人間(ヒト)である対象者100の視野内に呈示する(S11)。例えば、対象者100の正面に設置したモニターの左右の領域に1つずつ、観察可能な時間の長さで画像を呈示する。図3Aおよび図3Bの例では、モニターの左側の領域に画像αが呈示され、右側の領域に画像β(画像αと異なる画像)が呈示される。すなわち、画像α,βが並んで配置される。
眼球情報取得部12は、前述の時間区間τにおける、対象者100の「目の動的な変化」である「目の動き(例えば眼球の位置の経時変化)」および「瞳孔の大きさの経時変化」の少なくとも一方に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部13へ出力する。目の動的な変化に基づく特徴量として、「マイクロサッカード(microsaccade)」や「ラージサッカード(large saccade)」に関する特徴量を用いる場合、前述の時間区間τの中に、対象者100が2つの異なる画像α,β(画像領域)(図3A,図3B)をそれぞれ注視したときの一つ以上のマイクロサッカードおよびラージサッカードが含まれるように、その長さが設定される。時間区間τの長さは、数秒から数十秒程度とすることが望ましい。あるいは、対象者100に2つの画像α,βのどちらが好きかを判断するために見比べてもらうように指示し、対象者100が任意のタイミングでボタンを押すことで2つの画像α,βが呈示され、対象者100が再びボタンを押すことでこれらの呈示が終了することにしてもよい。この場合には、結果として画像α,βを呈示していた時間区間を「時間区間」としてもよい。
特徴量抽出部13は、取得した目の動的な変化に関する情報から、画像αを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量、および、画像βを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量を抽出する(S13)。言い換えると、特徴量抽出部13は、対象者100が画像αを注視する第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量(第1時間区間での特徴量)、および、対象者100が画像βを注視する第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部13は、抽出した複数の第1特徴量からなる列を第1特徴量列(第1ベクトル特徴量ともいう)とし、複数の第2特徴量からなる列を第2特徴量列(第2ベクトル特徴量ともいう)とする。例えば、特徴量抽出部13は、前述の時間区間τに対応する目の動的な変化に関する情報を受け取り、対象者100が各画像α,βを注視するときの「注視(fixation)」「マイクロサッカード(microsaccade)」「ラージサッカード(large saccade)」「縮瞳(miosis)」「散瞳(mydriasis)」「瞬目(blink)」の少なくとも何れかの特徴量を抽出する。ただし、これらは本発明を限定するものではない。特徴量抽出部13は、抽出した第1特徴量列および第2特徴量列を嗜好推定部14に出力する。以下に各特徴量を例示する。
注視は、ラージサッカードまたは瞬目が生じてから、次のラージサッカードまたは瞬目が生じるまでの時間の目の動きである。「注視の特徴量」としては、前述の時間区間τにおける、対象者100による各画像α,βの注視時間、注視回数、および注視領域の何れかに対応する特徴量を例示できる。対象者100が注視していた領域は、顔の基準点に対する眼球の座標および領域の座標によって定義できる。画像αの注視時間に対応する特徴量は、例えば、時間区間τにおいて、対象者100が画像αの領域を注視していた時間の合計であってもよいし、最も長く画像αを注視し続けていた時間であってもよいし、このような時間の関数値であってもよい。画像αの注視回数に対応する特徴量は、例えば、時間区間τにおいて、対象者100の視点が画像αの外側の領域から画像αに移動した回数であってもよいし、画像βから画像αに移動した回数であってもよいし、このような回数の関数値であってもよい。画像αの注視領域に対応する特徴量は、例えば、時間区間τにおいて注視された画像αの領域の広さであってもよいし、時間区間τのある時点で画像αの領域を注視していたか否かを表す値であってもよいし、それらの関数値であってもよい。これらのことは画像βの注視時間に対応する特徴量、注視回数に対応する特徴量、視領域に対応する特徴量についても同じである。また、注視時間、注視回数、および注視領域のうち複数をベクトル表記した特徴量を用いてもよい。
「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図4はマイクロサッカードを説明する図であって、横軸を時間[秒]、縦軸を視野角[度]として注視状態の眼球運動の例を示すグラフである。マイクロサッカードの例であるマイクロサッカードMSを太線で強調して示す。図4に例示するように、マイクロサッカードはある一点を注視している状態において、1〜2秒の間に1回程度、個人の意思とは関係なく(不随意に)表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者100の顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や眼球情報取得部12において水平方向と定義された方向を含む概念である。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)持続時間Dm:マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は1次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(7)減衰率λ:基準振幅Aに対するオーバーシュートの振幅Aoの比である。最大速度Vmaxに対するオーバーシュートの速度Voの比としてもよく、
と表される。
と表される。ここでG(s)は伝達係数、y(t)は位置、y'(t)は速度を表す。これに基づいて、減衰係数マイクロサッカードの減衰係数ζ、固有角振動数ωnは、
と表される。ただし、tは時刻を表すインデックスであり、sはラプラス変換によるパラメタ(複素数)である。固有角振動数ωnはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。
「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角2度以上の場合をラージサッカード、2度未満のものをマイクロサッカードとする。例えば、図6Aの例では、時間t0,t3,t8,t12からラージサッカードが開始されている。これらの振幅は時間t6,t7,t10,t13から開始されているマイクロサッカードの振幅よりも大きい。なお、図6Aの正方向はモニターの右方向(画像β側)を表し、負方向はモニターの左方向(画像α側)を表す。特徴量抽出部13は、例えば眼球の位置の時系列について1次階差系列を計算し、1次階差系列の絶対値が前述の「第2閾値」を上回る時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴量の例は、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などである。特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100のラージサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などを、画像αを注視する対象者100の眼球の動きに表れるラージサッカードの特徴量(第1時間区間での特徴量)として計算する。同様に特徴量抽出部13は、画像βを注視する対象者100のラージサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などを、画像βを注視する対象者100の眼球の動きに表れるラージサッカードの特徴量(第2時間区間での特徴量)として計算する。各画像α,βの注視時のラージサッカードが時間区間τにおいて複数検出された場合には、一つ一つのラージサッカードについて求めた特徴量それぞれの代表値を用いてもよい。また、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
人がある一点を注視しているとき、瞳孔の大きさは一定ではなく、変化している。図5Bは注視状態における瞳孔の大きさの変化を表す図であり、横軸は時間[秒]を、縦軸は瞳孔の大きさ[z-score]を表す。
瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大(散瞳)し、副交感神経系の支配を受けた瞳孔括約筋によって収縮(縮瞳)する。図5Bにおいて、二重線部分は散瞳を表し、破線部分は縮瞳を表す。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の3つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動(輻輳運動)に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。
「瞬目」とは目蓋の開閉運動のことである。瞬目の特徴量の例は、単位時間(例えば1秒間)あたりの瞬目の発生回数、瞬目の発生回数、瞬目の持続時間などである。瞬目の持続時間は、瞬目が起きている時間区間の長さである。特徴量抽出部13は、例えば、眼球運動の位置が所定の閾値を下回る時間区間を、瞬目が起きている時間区間として検出すればよい。ただし、一般に瞬目の生じる時間の長さが最小で75msと考えられていることから、特徴量抽出部13は、検出された時間区間の長さが所定の閾値(たとえば、50ms)を下回る場合は、これをノイズとして瞬目から除外することが望ましい。特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像αを注視する対象者100の瞬目の特徴量(第1時間区間での特徴量)」とする。同様に、特徴量抽出部13は、例えば、時間区間τにおいて画像βを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像βを注視する対象者100の瞬目の特徴量(第2時間区間での特徴量)」とする。各画像α,βの注視時の瞬目が時間区間τにおいて複数検出された場合には、一つ一つの瞬目について求めた特徴量それぞれの代表値を用いてもよい。瞬目の発生回数、瞬目の持続時間などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
嗜好推定部14は、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定し、その推定結果を表す情報を出力する(S14)。ここで、印象とは、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。例えば、嗜好推定部14は、対象者100が2つの異なる画像αおよび画像βのうち一方の画像を他方の画像と比較して好んでいるか否かを推定する。あるいは、嗜好推定部14は、対象者100が2つの異なる画像αおよび画像βのうちのどちらの画像をより好んでいるかを推定する。
嗜好推定部14は、例えば、特徴量抽出部13が抽出した複数の第1特徴量を含む第1特徴量列と複数の第2特徴量を含む第2特徴量列とを用い、前述した「比較特徴量列」に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定する。例えば、複数の第1特徴量をα1,…,αmとし、複数の第2特徴量をβ1,…,βmとし、第1特徴量列を(α1,…,αm)とし、第2特徴量列を(β1,…,βm)とし、比較特徴量列を(f1,…,fm)とする。ただし、mは2以上の整数であり、k=1,…,mについて、αk>βkのときfk=0とし、αk<βkのときfk=1とする(基準11)。その逆に、αk>βkのときfk=1とし、αk<βkのときfk=0としてもよい(基準21)。あるいは、k=1,…,mごとに、基準11が適用されるか基準21が適用されるかが定められていてもよい。例えば、画像αに好意を持っているときにf1,…,fmがすべて1となる傾向を示すように、各k=1,…,mに適用される基準が定められてもよい。αk=βkのときには、fk=0としてもよいし、fk=1としてもよいし、fkをその他の値としてもよい。この場合、嗜好推定部14は、比較特徴量列(f1,…,fm)に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定する。この推定方法の具体例を示す。
嗜好推定部14は、以下のFαβを計算し、Fαβ>0.5の場合に対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、Fαβ<0.5の場合に対象者100の画像βに対する印象が画像αに対する印象よりも良い(あるいは対象者100の画像αに対する印象が画像βに対する印象よりも悪い)と推定する。Fαβ=0.5の場合には、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定してもよいし、悪いと推定してもよいし、推定不可能としてもよい。
ただし、事前学習によって、画像αに好意を持っているときにf1,…,fmがすべて1となり、画像βに好意を持っているときにf1,…,fmがすべて0となる傾向を示すように、各k=1,…,mに適用される基準(基準11または基準21)が定められている。またrkは事前に定められた重み係数である。例えば、事前学習で学習用対象者(人間)に前述のように画像α,βを同時に呈示し、その際に得られた複数のfkのサンプルと、それに対応する学習用対象者の回答(画像αを好んでいる:1、画像βを好んでいる:0)のサンプルとの相関係数を得ておき、その相関係数をrkとする。学習用対象者は、実際に印象が推定される対象者100と同一人物である必要はない。
事前学習において、学習用対象者に前述のように画像α,βを同時に呈示し、その際に得られた複数の(f1,…,fm)のサンプルをk−means等によってクラスタリングしておき、学習用対象者が「画像αが画像βよりも好ましい」と回答したときの(f1,…,fm)のサンプルが属する頻度の高いクラスタCの中心ベクトルcvからの距離に基づいて、印象が未知の画像に対する印象の推定が行われてもよい。例えば、特徴量抽出部13が抽出した第1特徴量列(α1,…,αm)と第2特徴量列(β1,…,βm)とを用いて得られた(f1,…,fm)と中心ベクトルcvとの距離をd(f1,…,fm)とする。嗜好推定部14は、d(f1,…,fm)が所定の閾値以下のときに、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、そうでないときに対象者100の画像βに対する印象が画像αに対する印象よりも良いと推定する。その他、SVMを用いてもよい。SVMを用いることにより、学習用対象者が「画像αが画像βよりも好ましい(印象が良い)」と回答したときの(f1,…,fm)のサンプルによる点群が属する空間と、画像βが画像αよりも好ましいと回答したときの(f1,…,fm)のサンプルによる点群が属する空間とを分離する超平面を事前に求めることができる。この場合、特徴量抽出部13が抽出した第1特徴量列(α1,…,αm)と第2特徴量列(β1,…,βm)とを用いて得られた(f1,…,fm)がいずれの空間に属するかによって、印象が未知の画像に対する印象を推定できる。
第1特徴量および第2特徴量の何れか、および比較特徴量列に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。例えば、事前学習において、学習用対象者に前述のように画像α,βを同時に呈示し、その際に得られた第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルをk−means等によってクラスタリングしておき、学習用対象者が「画像αが画像βよりも好ましい」と回答したときのサンプルが属する頻度の高いクラスタCの中心ベクトルcvからの距離に基づいて、印象の推定が行われてもよい。例えば、特徴量抽出部13が抽出した第1特徴量、第2特徴量、およびそれらに対応する比較特徴量列からなるベクトルと中心ベクトルcvとの距離をdとする。嗜好推定部14は、dが所定の閾値以下のときに、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、そうでないときに対象者100の画像βに対する印象が画像αに対する印象よりも良いと推定する。その他、SVMを用いてもよい。この場合には、学習用対象者が「画像αが画像βよりも好ましい」と回答したときの第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルによる点群が属する空間と、画像βが画像αよりも好ましいと回答したときの第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルによる点群が属する空間と、を分離する超平面を事前に求めておく。そして、特徴量抽出部13が抽出した第1特徴量、第2特徴量、およびそれらに対応する比較特徴量列からなるベクトルがいずれの空間に属するかによって、印象の推定が行われる。
本実施形態の効果を確認するための実験結果を示す。この実験では5名の対象者に対して各2セッションの試験が行われた。ただし、10セッションのうち1セッションは教示不理解のため排除した。各セッションでは比較対象となるペア画像(画像α,βを左右に並べて配置)を呈示した(図3B)。人種4条件×年齢2条件×性別2条件の合計16種類の顔の画像をそれぞれ5個ずつ用いて80枚のペア画像を生成した。各試験では、対象者がペア画像を見比べ、左右に配置されたボタンを押すことによって好きな方の顔を回答した。この際に対象者の目の動的な変化に基づく特徴量を抽出した。これらの合計720回の試行のうち不良試行を排除し、661回の試行を対象に比較特徴量列と回答結果との関係を解析した。
[注視]
f1:ボタン押しの直前に対象者が左右いずれの画像領域を見ていたか(左:1,右:0)
f2:画像呈示中に左右どちらの画像領域の注視時間が長かったか(同上)
f3:ボタン押し直前500msに左右どちらの画像領域の注視時間が長かったか(同上)
[マイクロサッカード]
f4:左右どちらの画像領域を注視しているときにマイクロサッカードの発生頻度が高かったか(同上)
f5:左右どちらの画像領域を注視しているときにマイクロサッカードの固有角振動数が大きかったか(同上)
ただし、振幅が視野角2度以下のものをマイクロサッカードとし、ラージサッカードは含まない。
[ラージサッカード]
f6:左右どちらの画像領域を到達点とするラージサッカードが多かったか(同上)
[散瞳]
f7:左右どちらの画像領域を注視しているときに散瞳の発生頻度が長かったか(同上)
f8:左右どちらの画像領域を注視しているときに散瞳の振幅が大きかったか(同上)
f9:左右どちらの画像領域を注視しているときに散瞳の持続時間が長かったか(同上)
推定精度:83.4%
このように、高い精度で対象者の画像に対する好みを推定することができた。
印象推定装置10は、知覚刺激呈示部11及び眼球情報取得部12を含まなくともよい。すなわち、知覚刺激呈示部11及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
図9は画像α,βの領域と対象者100の視線の移動との関係を例示しており、t0〜t13は時間を表している。対象者100は画像αと画像βとの間で視線を移動させ、これらの画像を見比べる。ここで「第1特徴量」の何れかが画像αを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴に対応し、「第2特徴量」の何れかが画像βを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴に対応する場合、これらのマイクロサッカードの特徴が、画像αおよび画像βを通る直線Lの法線成分Nの眼球の動きに表れる特徴を含んでもよい。あるいは、このようなマイクロサッカードの特徴が法線成分Nの眼球の動きに表れる特徴のみを含んでいてもよい。これにより、画像αと画像βとの間での視線移動(ラージサッカードなど)の影響を受けにくい方向成分のマイクロサッカードの特徴を利用できる。なお直線Lの例は、画像αの重心と画像βの重心とを通る直線である。
第1実施形態では2つの画像α,βを同時に呈示し、対象者100が画像αを注視するときの第1特徴量と画像βを注視するときの第2特徴量を用い、画像α,βの相対的な印象を推定した。本形態では、1つの画像αのみを呈示し、対象者100が画像αを注視するときの第1特徴量と、対象者100が画像α以外の領域を見ているときの第2特徴量とを用いて画像αの印象を推定する。
図1に示すように、本実施形態の印象推定装置20は、知覚刺激呈示部21、眼球情報取得部12、特徴量抽出部23、および嗜好推定部24を含む。
知覚刺激呈示部21は、所定の時間区間τにおいて、背景(Notα)に配置された1つの画像α(第1の像)を対象者100の視野内に呈示する(S21)。例えば、対象者100の正面に設置したモニターに、観察可能な時間の長さで、背景内に配置された画像αを呈示する。図10Aおよび図10Bの例では、モニターの背景内の領域に1つの画像αを呈示する。
眼球情報取得部22は、時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S22)。眼球情報取得部22は、取得した目の動的な変化に関する情報を特徴量抽出部23へ出力する。
特徴量抽出部23は、取得した目の動的な変化に関する情報から、画像αを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量、および、画像α以外の領域を見ている対象者100の目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量を抽出する(S23)。言い換えると、特徴量抽出部13は、対象者100が画像αを注視する第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量(第1時間区間での特徴量)、および、対象者100が画像α以外の領域を見ている第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部23は、抽出した複数の第1特徴量からなる列を第1特徴量列とし、複数の第2特徴量からなる列を第2特徴量列とし、それらを嗜好推定部24に出力する。
嗜好推定部24は、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、対象者100の画像αの画像α以外の領域に対する相対的な印象を推定し、その推定結果を表す情報を出力する(S24)。例えば、前述した嗜好推定部14の処理の「画像β」を「画像α以外の領域」に置換した方法を利用できる。
印象推定装置20は、知覚刺激呈示部21及び眼球情報取得部12を含まなくともよい。すなわち、知覚刺激呈示部21及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
第1実施形態では2つの画像α,βを同時に呈示したが、画像αを呈示する第1時間区間で得られた第1特徴量と、何も呈示しない(背景のみを呈示する)第2時間区間で得られた第2特徴量とを用い、画像αの印象を推定してもよい。
図1に示すように、本実施形態の印象推定装置30は、知覚刺激呈示部31、眼球情報取得部12、特徴量抽出部33、および嗜好推定部34を含む。
図11Aに例示するように、知覚刺激呈示部31は、例えば、第1時間区間で画像α(「第1の像」「第1の刺激」)を対象者100の視野内に呈示し、第1時間区間以外の第2時間区間で画像αを非呈示とする。なお、図11Aの例では、第1時間区間の後に第2時間区間が位置しているが、第2時間区間の後に第1時間区間が位置していてもよい。
眼球情報取得部12は、第1時間区間および第2時間区間を含む時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部33へ出力する。
特徴量抽出部33は、取得した目の動的な変化に関する情報から、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量(第1時間区間での特徴量)、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部33は、抽出した複数の第1特徴量からなる列を第1特徴量列とし、複数の第2特徴量からなる列を第2特徴量列とし、それらを嗜好推定部34に出力する。
嗜好推定部34は、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、対象者100の画像αの画像α以外の領域に対する相対的な印象を推定し、その推定結果を表す情報を出力する(S34)。
印象推定装置30は、知覚刺激呈示部31及び眼球情報取得部12を含まなくともよい。すなわち、知覚刺激呈示部31及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
図11Bに例示するように、第1時間区間で画像α(「第1の像」「第1の刺激」)を呈示し、第2時間区間で画像β(「第2の像」「第2の刺激」)を呈示し、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量からなる第1特徴量列、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量からなる第2特徴量列に基づき、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。
図12Aに例示するように、画像αを呈示する第1時間区間と何も呈示しない(背景のみを呈示する)第2時間区間とを交互に複数回繰り返し、第1時間区間で得られた複数の第1特徴量からなる第1特徴量列と第2時間区間で得られた複数の第2特徴量からなる第2特徴量列とを用い、画像αの印象を推定してもよい。あるいは、図12Bに例示するように、画像αを呈示する第1時間区間と画像βを呈示する第2時間区間とを交互に複数回繰り返し、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量からなる第1特徴量列、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量からなる第2特徴量列に基づき、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。時間の経過にともなって対象者100の状態(疲労など)や周辺環境が変化することがあり、呈示された画像以外の要因(外乱)によって対象者100の目の運動が変化する場合がある。このような場合でも、第1時間区間と第2時間区間とを交互に複数回繰り返すことで外乱が第1特徴量列と第2特徴量列とに与える影響を平坦化できる。なお、各第1特徴量は複数の第1時間区間で得られた特徴量を平均したものや加算したものであってもよいし、複数の第1時間区間で得られた特徴量を並べたベクトルであってもよい。各第2特徴量も複数の第2時間区間で得られた特徴量を平均したものや加算したものであってもよいし、複数の第2時間区間で得られた特徴量を並べたベクトルであってもよい。
第3実施形態およびその変形例において、第1時間区間で画像αを対象者100に呈示することに代えて、第1時間区間で視覚以外の感覚で知覚可能な「第1の刺激」を対象者100に呈示してもよい。同様に、第2時間区間で画像βを対象者100に呈示することに代えて、第2時間区間で視覚以外の感覚で知覚可能な「第2の刺激」を対象者100に呈示してもよい。
本変形例の効果を確認するための実験結果を示す。この実験では4名の対象者に対し、それぞれ72個のペア音(音α→音β)を呈示して試験が行われた。図13に例示するように、各試験では、第1時間区間で音αが対象者に呈示され、その後の第2時間区間で音βがその対象者に呈示された。実験では第1時間区間および第2時間区間をそれぞれ4.0[秒]とした。各ペア音を構成する音αおよびβの何れか一方を協和音(一般に美しいとされる音)とし、他方を不協和音とした。協和音および不協和音としてそれぞれ以下の3種類を用い、それらの組み合わせからなる3×3=9通りのペア音をそれぞれ8回ずつ用い、各対象者に72個のペア音が呈示された。
・2秒以内にボタン押しのなかった1試行
・マイクロサッカードが一度も生じなかった12試行
[マイクロサッカード]
f1:音α/音βどちらを聴取する際の発生頻度が高かったか(音α:0 音β:1)
f2:音α/音βどちらを聴取する際の振幅(平均値)が大きかったか(同上)
f3:音α/音βどちらを聴取する際のピーク速度(平均値)が大きかったか(同上)
f4:音α/音βどちらを聴取する際の減衰比(平均値)が高かったか(同上)
f5:音α/音βどちらを聴取する際の固有角振動数(平均値)が高かったか(同上)
ただし、振幅が視野角2度以下のものをマイクロサッカードとし、ラージサッカードは含まない。
[縮瞳]
f6:音α/音βどちらを聴取する際の発生頻度が高かったか(同上)
f7:音α/音βどちらを聴取する際の速度(平均値)が大きかったか(同上)
f8:音α/音βどちらを聴取する際の振幅(最大値)が大きかったか(同上)
f9:音α/音βどちらを聴取する際、「最大振幅の縮瞳までの潜時」が早かったか(同上)
f10:音α/音βどちらを聴取する際、「音呈示直後の縮瞳の振幅」が長かったか(同上)
f11:音α/音βどちらを聴取する際、「音呈示直後の縮瞳の持続時間」が長かったか(同上)
[散瞳]
f12:音α/音βどちらを聴取する際の発生頻度が高かったか(同上)
f13:音α/音βどちらを聴取する際の振幅(最大値)が大きかったか(同上)
(b)学習データの13個の特徴量f1,…,f13を説明変数とし、対象者の回答値(音αが好ましかったと感じた:1、音βが好ましかったと感じた:2)を目的変数とする重回帰分析を実行し、以下の回帰係数r1,…,r13を推定(計算)した。
ただし、rkは特徴量fkに関する回帰係数である。
(c)テストデータの13個の特徴量f1,…,f13と(b)で求めた回帰係数r1,…,r13を用い、式(2)によってyを計算した。得られたtがy≦1.5のときに音αが選ばれたと推定し、y>1.5のときに音βが選ばれたと推定した。
比較特徴量列から嗜好推定モデルを用いて(参照することにより)、印象を推定してもよい。
図1に例示するように、本実施形態の印象推定装置40は、第1から3実施形態およびそれらの変形例の何れかの印象推定装置の嗜好推定部を嗜好推定部44に置換し、さらにモデル記憶部45を加えたものである。
嗜好推定部44は、特徴量抽出部13,23,33の何れかから送られた第1特徴量列および第2特徴量列に基づく比較特徴量列を含む情報に基づいて、対象者100の「第1の刺激」および「第2の刺激」の少なくとも一方に対する印象を推定する(S44)。本実施形態では、得られた比較特徴量列から嗜好推定モデルを用いて(参照することにより)、印象を推定し、出力する。言い換えれば、嗜好推定部44は、比較特徴量列を、モデル記憶部45に記憶された嗜好推定モデル(特徴量から印象を推定するためのモデル)にあてはめることにより、印象を推定する。
モデル記憶部45は、比較特徴量列を入力として、印象を出力するような嗜好推定モデルが予め記録されている。嗜好推定モデルは、予め1人以上の人について取得した比較特徴量列と印象との関係性を機械学習法により学習することで、作成される。つまり、嗜好推定モデルは、比較特徴量列と印象との相関性を記述したモデルである。
要素の数を増やすことで、推定の精度を高めることができる。
印象が好き/嫌い、の2値分類に限らず、複数クラス(好き嫌いの度合いに対応するクラス)に分類するようにSVMを構成することも可能である。あるいは、複数クラス(好き嫌いの度合いに対応するクラス)識別分類するような機械学習法であれば、SVMに限らず他の機械学習法を用いてもよい。
第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列を用い、第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列と印象との関係性を記述した嗜好推定モデルを参照することで、「第1の刺激」および「第2の刺激」の少なくとも一方に対する印象を推定してもよい。
なお、本発明は上述の実施の形態に限定されるものではない。例えば、画像α,βの少なくとも一方に代えて、ポスターや絵画などの平面状の物体や人や彫刻などの立体状の物体などを「第1の像」および「第2の像」の少なくとも一方として対象者100に呈示してもよい。目の動的な変化に基づく特徴量を取得可能なメガネ型ウェアラブルデバイスを用いて「第1特徴量」および「第2特徴量」を取得してもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
Claims (8)
- 第1の像を注視する動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、前記第1の像を注視していない前記動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出する特徴量抽出部と、
前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する嗜好推定部と、
を有する印象推定装置。 - 請求項1の印象推定装置であって、
前記第2特徴量の何れかは、前記第1の像と異なる第2の像を注視する前記動物の目の動的な変化に基づく、印象推定装置。 - 請求項1または2の印象推定装置であって、
前記比較結果を表す値と前記第1の像に対する印象との関係に基づく重み係数が事前学習されており、
前記嗜好推定部は、前記比較特徴量列が含む値を前記重み係数で重み付けして得られる列に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する、印象推定装置。 - 第1の刺激を動物が知覚可能なように呈示する時間区間を第1時間区間とし、前記動物が知覚可能なように前記第1の刺激が呈示されていない時間区間を第2時間区間とし、前記第1時間区間における前記動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、前記第2時間区間における前記動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出する特徴量抽出部と、
前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも前記動物の前記第1の刺激に対する印象を推定する嗜好推定部と、
を有する印象推定装置。 - 請求項4の印象推定装置であって、
前記比較結果を表す値と前記第1の刺激に対する印象との関係に基づく重み係数が事前学習されており、
前記嗜好推定部は、前記比較特徴量列が含む値を前記重み係数で重み付けして得られる列に基づいて、少なくとも前記動物の前記第1の刺激に対する印象を推定する、印象推定装置。 - 第1の像を注視する動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、前記第1の像を注視していない前記動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出する特徴量抽出ステップと、
前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する嗜好推定ステップと、
を有する印象推定方法。 - 第1の刺激を動物が知覚可能なように呈示する時間区間を第1時間区間とし、前記動物が知覚可能なように前記第1の刺激が呈示されていない時間区間を第2時間区間とし、前記第1時間区間における前記動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、前記第2時間区間における前記動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出する特徴量抽出ステップと、
前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも前記動物の前記第1の刺激に対する印象を推定する嗜好推定ステップと、
を有する印象推定方法。 - 請求項1から5の何れかの印象推定装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221020A JP6445418B2 (ja) | 2015-11-11 | 2015-11-11 | 印象推定装置、印象推定方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221020A JP6445418B2 (ja) | 2015-11-11 | 2015-11-11 | 印象推定装置、印象推定方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017086530A JP2017086530A (ja) | 2017-05-25 |
JP6445418B2 true JP6445418B2 (ja) | 2018-12-26 |
Family
ID=58766853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015221020A Active JP6445418B2 (ja) | 2015-11-11 | 2015-11-11 | 印象推定装置、印象推定方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6445418B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020116312A (ja) * | 2019-01-28 | 2020-08-06 | スカラ株式会社 | 心身の状態の判定システム、判定装置、方法、コンピュータプログラム |
EP3937506A4 (en) | 2019-03-04 | 2023-03-08 | Maxell, Ltd. | HEAD MOUNTED INFORMATION PROCESSING DEVICE |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1924941A2 (en) * | 2005-09-16 | 2008-05-28 | Imotions-Emotion Technology APS | System and method for determining human emotion by analyzing eye properties |
US20110109879A1 (en) * | 2009-11-09 | 2011-05-12 | Daphna Palti-Wasserman | Multivariate dynamic profiling system and methods |
JP5438591B2 (ja) * | 2010-05-17 | 2014-03-12 | 日本電信電話株式会社 | 感情強度測定装置、感情強度測定方法、及びプログラム |
WO2013018267A1 (ja) * | 2011-07-29 | 2013-02-07 | パナソニック株式会社 | 提示制御装置、及び提示制御方法 |
JP5718495B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 印象推定装置、その方法、及びプログラム |
JP5718492B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 音の顕著度推定装置、その方法、及びプログラム |
JP5718494B1 (ja) * | 2014-01-16 | 2015-05-13 | 日本電信電話株式会社 | 印象推定装置、その方法、及びプログラム |
-
2015
- 2015-11-11 JP JP2015221020A patent/JP6445418B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017086530A (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110167421B (zh) | 整体地测量视觉功能的临床参数的*** | |
Berg et al. | Free viewing of dynamic stimuli by humans and monkeys | |
JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
Kawai et al. | Pupil diameter variation in positive and negative emotions with visual stimulus | |
Matran-Fernandez et al. | Towards the automated localisation of targets in rapid image-sifting by collaborative brain-computer interfaces | |
JP5718493B1 (ja) | 音の顕著度推定装置、その方法、及びプログラム | |
US10832483B2 (en) | Apparatus and method of monitoring VR sickness prediction model for virtual reality content | |
US10817057B2 (en) | Information processing device, information processing method, and program | |
Putze et al. | Decoding mental workload in virtual environments: a fNIRS study using an immersive n-back task | |
US11393252B2 (en) | Emotion sensing artificial intelligence | |
JP6509712B2 (ja) | 印象推定装置およびプログラム | |
JP6755839B2 (ja) | 運動パフォーマンス推定装置、その方法、およびプログラム | |
JP6479708B2 (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
John et al. | An evaluation of pupillary light response models for 2D screens and VR HMDs | |
JP5718494B1 (ja) | 印象推定装置、その方法、及びプログラム | |
JP6445418B2 (ja) | 印象推定装置、印象推定方法、およびプログラム | |
JP5718495B1 (ja) | 印象推定装置、その方法、及びプログラム | |
JP7214986B2 (ja) | 反射性判定装置、反射性判定方法、プログラム | |
KR101955293B1 (ko) | 시각 피로도 분석 장치 및 그 방법 | |
US10779726B2 (en) | Device and method for determining eye movements by tactile interface | |
KR20190054356A (ko) | 가상현실 장치의 사용으로 인한 사용자의 어지럼증 또는 시각피로도를 정량화하여 평가하는 방법 및 장치 | |
Suchalova et al. | The Research on Controlling Virtual Reality by EEG Sensor | |
JP2017202048A (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
Arslan et al. | The Identification of Individualized Eye Tracking Metrics in VR Using Data Driven Iterative-Adaptive Algorithm | |
KR20200069002A (ko) | 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6445418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |