JP6445418B2 - 印象推定装置、印象推定方法、およびプログラム - Google Patents

印象推定装置、印象推定方法、およびプログラム Download PDF

Info

Publication number
JP6445418B2
JP6445418B2 JP2015221020A JP2015221020A JP6445418B2 JP 6445418 B2 JP6445418 B2 JP 6445418B2 JP 2015221020 A JP2015221020 A JP 2015221020A JP 2015221020 A JP2015221020 A JP 2015221020A JP 6445418 B2 JP6445418 B2 JP 6445418B2
Authority
JP
Japan
Prior art keywords
feature
image
impression
sequence
stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015221020A
Other languages
English (en)
Other versions
JP2017086530A (ja
Inventor
惇 米家
惇 米家
茂人 古川
茂人 古川
牧夫 柏野
牧夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015221020A priority Critical patent/JP6445418B2/ja
Publication of JP2017086530A publication Critical patent/JP2017086530A/ja
Application granted granted Critical
Publication of JP6445418B2 publication Critical patent/JP6445418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、五感の何れかで知覚可能な刺激に対する印象を推定する技術に関する。
注視点解析に基づいて画像評価を行う技術がある(例えば、非特許文献1等参照)。画像に対する好みに応じて瞳孔径が変化することが知られている(例えば、非特許文献2等参照)。
Miyata, Kimiyoshi, et al. "Eye movement analysis and its application to evaluation of image quality." Color and Imaging Conference. Vol. 1997. No. 1. Society for Imaging Science and Technology, 1997. 中森志穂,水谷奈那美,山中敏正,「顔画像に対する好みは,瞳孔径にどう反映されるのか」,日本感性工学会論文誌,Vol. 10 (2010) No. 3,P 321-326.
しかし、五感の何れかで知覚可能な刺激に対する印象を精度よく推定する技術は知られていない。例えば、上述のように注視点解析に基づいて画質の評価を行う技術は知られているものの、画像に対する好みのような印象を推定するものではない。また、画像に対する好みに応じて瞳孔径が変化することは知られているものの、瞳孔径は周囲の明るさその他の要因によっても変化し、画像に対する印象のみを反映するものではない。
本発明の課題は、五感の何れかで知覚可能な刺激に対する印象を精度よく推定することである。
第1態様では、第1の像を注視する動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、第1の像を注視していない動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出し、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも動物の第1の像に対する印象を推定する。
第2態様では、第1の刺激を動物が知覚可能なように呈示する時間区間を第1時間区間とし、動物が知覚可能なように第1の刺激が呈示されていない時間区間を第2時間区間とし、第1時間区間における動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、第2時間区間における動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出し、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも動物の第1の刺激に対する印象を推定する。
本発明では、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて刺激に対する印象を推定するため、五感の何れかで知覚可能な刺激に対する印象を精度よく推定できる。
図1は、実施形態の印象推定装置の構成を示すブロック図である。 図2は、実施形態の印象推定装置の動作を示すフローチャートである。 図3Aおよび図3Bは、印象の評価対象となる画像の呈示方法を例示した図である。 図4は、マイクロサッカードを例示した図である。 図5Aは、マイクロサッカードの特徴量を説明するための図である。図5Bは、瞳孔径の特徴量を説明するための図である。 図6Aは、視野角を例示した図である。図6Bは、瞳孔径を例示した図である。 図7は、比較特徴量列を例示した図である。 図8Aおよび図8Bは、図3Aおよび図3Bのように呈示された画像に対する印象と特徴量との関係を例示した図である。 図9は、視点の動きを例示した図である。 図10Aおよび図10Bは、印象の評価対象となる画像の呈示方法を例示した図である。 図11Aおよび図11Bは、印象の評価対象となる画像の呈示方法を例示した図である。 図12Aおよび図12Bは、印象の評価対象となる画像の呈示方法を例示した図である。 図13は、印象の評価対象となる音の呈示方法を例示した図である。
以下、本発明の実施形態を説明する。以下の説明および図面では同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を付し、説明が重複する場合にはこれを省略する。
[概要]
まず概要を説明する。実施形態では、「第1の像」を注視する「動物」の目の動的な変化(目の動きおよび瞳孔の大きさの経時変化の少なくとも一方)に基づく複数の「第1特徴量」を含む「第1特徴量列」と、「第1の像」を注視していない当該「動物」の目の動的な変化に基づく複数の「第2特徴量」を含む「第2特徴量列」とを抽出し、「第1特徴量列」の各要素と「第2特徴量列」の各要素との比較結果を表す値を各要素とする列に基づく「比較特徴量列」を含む情報に基づいて、少なくとも動物の「第1の像」に対する印象(印象の度合い)を推定する。「比較特徴量列」の要素は「第1特徴量列」の各要素と「第2特徴量列」の各要素との比較結果に基づく。このような「比較特徴量列」は、外乱(印象以外の要因)が「第1特徴量列」や「第2特徴量列」に与えた影響を相殺または抑制したものとなる。そのため、「比較特徴量列」を用いることで印象の推定精度を向上できる。また「比較特徴量列」の要素は「第1特徴量列」の各要素と「第2特徴量列」の各要素との比較結果に基づくため、目の動的な変化に基づく特徴量と印象との関係が単純な線形関係にない場合でも、容易に印象を推定できる。さらに「比較特徴量列」を用いて印象を推定する場合の精度は、一組の「第1特徴量」と「第2特徴量」とを比較して印象を推定する場合の精度よりも高い。「比較特徴量列」は複数の「第1特徴量」と「第2特徴量」との比較結果に基づくため、「第1特徴量」や「第2特徴量」への外乱が推定結果に与える影響を抑制できるからである。
「印象」の例は、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。ただし、これは本発明を限定するものではなく、面白いか否かに関するものや楽しいか否かに関するものなど、その他の「印象」を推定してもよい。また好んでいるか否かのような2値分類に限らず、印象に関する複数クラス(好き嫌いの度合いに対応するクラス)のうち、どのクラスに属するかを推定してもよい。「目の動的な変化」とは、目の動きおよび瞳孔の大きさの経時変化の少なくとも一方の変化を意味する。「目の動き」とは、目の位置の経時変化を意味し、例えば、眼球の動き(眼球の位置の経時変化)および目蓋の動き(目蓋の位置の経時変化)の少なくとも一方を意味する。「第2特徴量」は、「第1の像」と異なる「第2の像」を注視する「動物」の目の動的な変化に基づく特徴量であってもよいし、特定の注視対象を設定しない状況での「動物」の目の動的な変化に基づく特徴量であってもよい。前者の場合、並べられた「第1の像」と「第2の像」とが同時に呈示されてもよいし、「第1の像」の呈示の後に「第2の像」が呈示されてもよいし、「第2の像」の呈示の後に「第1の像」が呈示されてもよい。後者の場合、「第1の像」がそれ以外の任意の背景とともに呈示されてもよいし、「第1の像」の呈示の後に「第1の像」が非呈示とされてもよいし(例えば、任意の背景のみを呈示)、「第1の像」が非呈示とされた後に「第1の像」が呈示されてもよい。前者の場合、さらに「第2の像」に対する印象が推定されてもよいし、「第2の像」に対する「第1の像」の相対的な印象が推定されてもよいし、「第1の像」に対する「第2の像」の相対的な印象が推定されてもよい。「第1の像」および「第2の像」は、視覚によって知覚可能な像であり、平面に表れる像であってもよいし、立体に表れる像であってもよい。「第1の像」および「第2の像」の例は、静止画や動画などの画像(二次元画像または立体画像)、絵画、イラスト、文字、彫刻などの美術品、時計などの実用品、人(ヒト)や犬などの動物、食物などの自然物である。「第1の像」と「第2の像」とは同じ種別の像であってもよいし、互いに異なる種別の像であってもよい。例えば、「第1の像」と「第2の像」とが共に画像であってもよいし、「第1の像」が目の前に実際に存在するもの(人間など)であり、「第2の像」がデータとして保存可能なもの(画像など)であってもよい。「動物」の例は哺乳類であり、例えば、人間(ヒト)などである。
「第1特徴量列」の要素のすべてが「第1特徴量」であってもよいし、「第1特徴量列」の一部の要素が「第1特徴量」であってもよい。同様に「第2特徴量列」の要素のすべてが「第2特徴量」であってもよいし、「第2特徴量列」の一部の要素が「第2特徴量」であってもよい。「第1特徴量列」と「第2特徴量列」との要素数は等しい。「比較結果を表す値」の例は、「第1特徴量列」の各要素と「第2特徴量列」の各要素との大小関係を表す値である。例えば、「第1特徴量列」の要素が「第2特徴量列」の要素よりも大きい場合にそれらの「比較結果を表す値」を「第1値」とし、「第1特徴量列」の要素が「第2特徴量列」の要素よりも小さい場合にそれらの「比較結果を表す値」を「第2値」とする(基準1)。あるいは「第1特徴量列」の要素が「第2特徴量列」の要素よりも小さい場合にそれらの「比較結果を表す値」を「第1値」とし、「第1特徴量列」の要素が「第2特徴量列」の要素よりも大きい場合にそれらの「比較結果を表す値」を「第2値」としてもよい(基準2)。「第1特徴量列」の要素と「第2特徴量列」の要素とが等しい場合には、「比較結果を表す値」を「第1値」としてもよいし、「第2値」としてもよいし、その他の値としてもよい。ただし「第2値」は「第1値」と異なる。「第1値」>「第2値」であってもよいし、「第2値」>「第1値」であってもよい。例えば「第1値」が1であって「第2値」が0であってもよいし、「第1値」が0であって「第2値」が1であってもよい。このように「比較特徴量列」をバイナリ列(バイナリ特徴量)とすることで、外乱に基づく印象の推定誤差を抑制でき、印象の推定精度を向上できる。さらに、特徴量と印象との関係が単純な線形関係にない場合でも、印象を推定することができる。
「第1特徴量列」および「第2特徴量列」のすべての要素に「基準1」または「基準2」の何れか一方のみが適用されてもよい。あるいは、「第1特徴量列」および「第2特徴量列」の各要素に「基準1」および「基準2」の何れの基準が適用されるかが定められていてもよい。例えば、「第1の像」に好意を持っているときに「比較結果を表す値」がすべて「第1値」となる傾向を示すように、各要素に適用される基準が定められてもよい。逆に、「第1の像」に好意を持っているときに「比較結果を表す値」がすべて「第2値」となる傾向を示すように、各要素に適用される基準が定められてもよい。「比較結果を表す値を各要素とする列」をそのまま「比較特徴量列」としてもよいし、「比較結果を表す値」に「係数」を乗算して得られる値からなる列を「比較特徴量列」としてもよい。例えば、「第1の像に対する印象」との相関が大きい「比較結果を表す値」に乗じられる「係数」の絶対値が、「第1の像に対する印象」との相関がそれよりも小さい「比較結果を表す値」に乗じられる「係数」の絶対値よりも大きくてもよい。ばらつきの小さい「比較結果を表す値」に乗じられる「係数」の絶対値が、それよりもばらつきの大きい「比較結果を表す値」に乗じられる「係数」の絶対値よりも大きくてもよい。これにより、推定精度を向上できる。
複数の「第1特徴量」を含む「第1特徴量列」と複数の「第2特徴量」を含む「第2特徴量列」とが抽出され、少なくともそれらに基づく「比較特徴量列」に基づいて、少なくとも「動物」の「第1の像」に対する印象が推定されてもよい(推定方法1)。例えば、「比較結果を表す値」と「第1の像に対する印象」との関係に基づく「重み係数」が事前学習されており、「比較特徴量列」の要素を「重み係数」で「重み付けして得られる列」に基づいて、この推定が行われてもよい。「重み係数」の例は、「比較結果を表す値」と学習用対象者の回答などによって得られた「第1の像に対する印象(例えば、好き=1、嫌い=0)」との相関係数またはその関数値である。あるいは、「第1特徴量」および「第2特徴量」の何れか、ならびに「比較特徴量列」に基づいて、この推定が行われてもよい(推定方法2)。さらに、「第1特徴量」および「第2特徴量」の何れか、ならびに「重み付けして得られる列」に基づいて、この推定が行われてもよい(推定方法3)。
「第1特徴量」および「第2特徴量」は、「動物」の目の動的な変化に基づくものであればどのようなものでもよい。例えば、眼球の動き(眼球の位置の経時変化)および瞳孔の大きさの経時変化の少なくとも一方に基づく特徴量を「第1特徴量」および「第2特徴量」とできる。このような特徴量の例は、眼球の動きに基づく「マイクロサッカードの特徴」「ラージサッカードの特徴」「注視の特徴」「瞬目の特徴」、瞳孔の大きさの経時変化に基づく「縮瞳の特徴」「散瞳の特徴」などである。「注視の特徴」の例は、動物による像の「注視時間」、「注視回数」、および「注視領域」の何れかに対応する特徴である。「第1特徴量」および「第2特徴量」は、それぞれ単数であってもよいし、複数であってもよい。
例えば「第1特徴量」の何れかが、「第1の像」を注視する「動物」の眼球の動きに表れるマイクロサッカードの特徴に対応し、「第2特徴量」の何れかが、「第1の像」と並んで配置された「第2の像」を注視する「動物」の眼球の動きに表れるマイクロサッカードの特徴に対応し、「マイクロサッカードの特徴」が、「第1の像」および「第2の像」を通る直線の法線成分の眼球の動きに表れる特徴を含んでもよい。これにより、「第1の像」と「第2の像」との間での視線移動の影響を受けにくい方向成分の「マイクロサッカードの特徴」を利用できる。「第1の像および第2の像を通る直線」の例は、「第1の像」の重心と「第2の像」の重心とを通る直線である。
「動物」に「第1の像」を呈示する「第1時間区間」と、「動物」に「第1の像」を呈示しない「第2時間区間」とが、交互に複数回繰り返され、「第1時間区間」における「動物」の目の動的な変化に基づく特徴量を「第1特徴量」の何れかとし、「第2時間区間」における「動物」の目の動的な変化に基づく特徴量を「第2特徴量」の何れかとしてもよい。これにより、時間経過に基づく「第1特徴量」および「第2特徴量」に対する外乱の影響の度合いを平坦化し、印象の推定精度を向上できる。
本発明は、視覚によって知覚可能な像に対する印象の推定を行う場合のみならず、五感(視覚,聴覚,嗅覚,触覚,味覚)の何れかで知覚可能な刺激に対する「印象」を推定する場合にも適用できる。例えば、「第1の刺激」を「動物」が知覚可能なように呈示する時間区間を「第1時間区間」とし、当該「動物」が知覚可能なように「第1の刺激」が呈示されていない時間区間を「第2時間区間」とし、「第1時間区間」における動物の目の動的な変化に基づく複数の「第1特徴量」を含む「第1特徴量列」と、「第2時間区間」における動物の目の動的な変化に基づく複数の「第2特徴量」を含む「第2特徴量列」と、を抽出し、「第1特徴量列」の各要素と「第2特徴量列」の各要素との比較結果を各要素とする列に基づく「比較特徴量列」を含む情報に基づいて、少なくとも動物の「第1の刺激」に対する「印象」を推定してもよい。
「第2時間区間」では、「動物」によって知覚可能な「第2の刺激」が呈示されてもよいし、当該「動物」が知覚可能な刺激が呈示されなくてもよい。ただし、「第2の刺激」は「第1の刺激」と異なる。「第1の刺激」と「第2の刺激」とは、同種の知覚刺激(例えば聴覚刺激)であってもよいし、互いに異なる知覚刺激(例えば、視覚刺激と聴覚刺激)であってもよい。「第1の刺激」と「第2の刺激」とが同種の知覚刺激である場合、それらの知覚刺激の種別も同一であってもよいし、知覚刺激の種別が異なっていてもよい。例えば、「第1の刺激」と「第2の刺激」とが何れもスピーカから再生された音響信号であってもよいし、「第1の刺激」が周囲の実際の音であるのに対し、「第2の刺激」がスピーカから再生された音であってもよい。「第1の刺激」および「第2の刺激」の少なくとも一方が、複数種類の知覚刺激の組み合わせであってもよい。例えば、画像と音との組み合わせや画像と味との組み合わせを「第1の刺激」および「第2の刺激」の少なくとも一方としてもよい。
「第1時間区間」は「第2時間区間」よりも前の時間区間であってもよいし、「第2時間区間」よりも後の時間区間であってもよい。「第2時間区間」で「第2の刺激」が呈示される場合、さらに「第2の刺激」に対する印象が推定されてもよいし、「第2の刺激」に対する「第1の刺激」の相対的な印象が推定されてもよいし、「第1の刺激」に対する「第2の刺激」の相対的な印象が推定されてもよい。
複数の「第1特徴量」を含む「第1特徴量列」と複数の「第2特徴量」を含む「第2特徴量列」とが抽出され、少なくともそれらに基づく「比較特徴量列」に基づいて、少なくとも「動物」の「第1の刺激」に対する印象が推定されてもよい(推定方法4)。例えば、「比較結果を表す値」と「第1の刺激に対する印象」との関係に基づく「重み係数」が事前学習されており、「比較特徴量列」の要素を「重み係数」で「重み付けして得られる列」に基づいて、この推定が行われてもよい。「重み係数」の例は、「比較結果を表す値」と学習用対象者の回答などによって得られた「第1の刺激に対する印象(例えば、好き=1、嫌い=0)」との相関係数またはその関数値である。あるいは、「第1特徴量」および「第2特徴量」の何れか、ならびに「比較特徴量列」に基づいて、この推定が行われてもよい(推定方法5)。さらに、「第1特徴量」および「第2特徴量」の何れか、ならびに「重み付けして得られる列」に基づいて、この推定が行われてもよい(推定方法6)。
推定方法1〜6による推定は、「比較特徴量列」に基づく指標(例えば、「比較特徴量列」の要素を加算または重み付け加算して得られる値)と閾値との比較によって行われてもよいし、重回帰分析、k−means、サポートベクターマシーン(SVM)、単純クラスタリングなどによって行われてもよい。
[第一実施形態]
第一実施形態について説明する。本実施形態では、人の目の動きおよび瞳孔の大きさの経時変化に基づく特徴量に基づいて、並べられた2つの画像に対する相対的な好みを推定する。
<印象推定装置の構成および動作>
図1、図2を参照して本実施形態の印象推定装置の構成、および動作について説明する。図1に示すように、本実施形態の印象推定装置10は、知覚刺激呈示部11、眼球情報取得部12、特徴量抽出部13、および嗜好推定部14を含む。
《知覚刺激呈示部11》
知覚刺激呈示部11は、2つの異なる画像α,β(「第1の像」および「第2の像」)を所定の時間区間τにおいて人間(ヒト)である対象者100の視野内に呈示する(S11)。例えば、対象者100の正面に設置したモニターの左右の領域に1つずつ、観察可能な時間の長さで画像を呈示する。図3Aおよび図3Bの例では、モニターの左側の領域に画像αが呈示され、右側の領域に画像β(画像αと異なる画像)が呈示される。すなわち、画像α,βが並んで配置される。
《眼球情報取得部12》
眼球情報取得部12は、前述の時間区間τにおける、対象者100の「目の動的な変化」である「目の動き(例えば眼球の位置の経時変化)」および「瞳孔の大きさの経時変化」の少なくとも一方に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部13へ出力する。目の動的な変化に基づく特徴量として、「マイクロサッカード(microsaccade)」や「ラージサッカード(large saccade)」に関する特徴量を用いる場合、前述の時間区間τの中に、対象者100が2つの異なる画像α,β(画像領域)(図3A,図3B)をそれぞれ注視したときの一つ以上のマイクロサッカードおよびラージサッカードが含まれるように、その長さが設定される。時間区間τの長さは、数秒から数十秒程度とすることが望ましい。あるいは、対象者100に2つの画像α,βのどちらが好きかを判断するために見比べてもらうように指示し、対象者100が任意のタイミングでボタンを押すことで2つの画像α,βが呈示され、対象者100が再びボタンを押すことでこれらの呈示が終了することにしてもよい。この場合には、結果として画像α,βを呈示していた時間区間を「時間区間」としてもよい。
対象者100の目の動的な変化に関する情報は、例えば赤外線カメラによって取得される。この場合、対象者100に2つの画像α,βのどちらが好きかを判断するために見比べてもらうように指示し、その時の眼球の動きを赤外線カメラで撮像する。眼球情報取得部12は、撮像結果を画像処理することで、フレーム毎(例えば、1000Hzのサンプリング間隔)の眼球の位置の時系列を眼球の動きに関する情報として取得する。眼球情報取得部12は、撮像装置(赤外線カメラ)と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置(赤外線カメラ)を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。また、眼球情報取得部12は、電極を用いた電位計測法を用いて眼球の動きを測定してもよい。この場合、眼球情報取得部12は、測定装置(電極を含む)と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。なお、眼球情報取得部12は左右両方の目の動的な変化に関する情報を取得してもよいし、何れか一方の目の動的な変化に関する情報のみを取得してもよい。本実施形態では、眼球情報取得部12は、一方の目の動的な変化に関する情報のみを取得するものとする。
例えば、瞳孔の大きさとして瞳孔径(瞳孔の半径)を用いる場合には、瞳孔径は赤外線カメラを用いた画像処理法で計測できる。例えば、対象者100にはある1点を注視してもらうようにし、その時の瞳孔が赤外線カメラで撮像されるものとする。眼球情報取得部12は、撮像結果を画像処理することで、フレーム毎(例えば、1000Hz のサンプリング間隔)の瞳孔の大きさの時系列を取得することができる。眼球情報取得部12は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、眼球情報取得部12は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。図5Bに示した瞳孔の大きさは、各時刻について取得した瞳孔径の全データの平均を0、標準偏差を1としたときのz-score を用いて表したものであり、約150ms 間隔でスムージングしたものである。ただし眼球情報取得部12が取得する瞳孔径はz-scoreでなくてもよく、瞳孔径の値そのものであっても良いし、瞳孔の面積や直径など、瞳孔の大きさに対応する値であれば何でも良い。瞳孔の面積や直径を用いる場合も、時間の経過とともに瞳孔の面積または直径が大きくなる区間が散瞳に対応し、時間の経過とともに瞳孔の面積または直径が小さくなる区間が縮瞳に対応する。すなわち、時間の経過とともに瞳孔の大きさが大きくなる区間が散瞳に対応し、時間の経過とともに瞳孔の大きさが小さくなる区間が縮瞳に対応する。なお、眼球情報取得部12は左右両方の瞳孔の大きさの経時変化に関する情報を取得してもよいし、何れか一方の瞳孔の大きさの経時変化に関する情報のみを取得してもよい。本実施形態では、眼球情報取得部12は一方の瞳孔の大きさの経時変化に関する情報のみを取得するものとする。
《特徴量抽出部13》
特徴量抽出部13は、取得した目の動的な変化に関する情報から、画像αを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量、および、画像βを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量を抽出する(S13)。言い換えると、特徴量抽出部13は、対象者100が画像αを注視する第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量(第1時間区間での特徴量)、および、対象者100が画像βを注視する第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部13は、抽出した複数の第1特徴量からなる列を第1特徴量列(第1ベクトル特徴量ともいう)とし、複数の第2特徴量からなる列を第2特徴量列(第2ベクトル特徴量ともいう)とする。例えば、特徴量抽出部13は、前述の時間区間τに対応する目の動的な変化に関する情報を受け取り、対象者100が各画像α,βを注視するときの「注視(fixation)」「マイクロサッカード(microsaccade)」「ラージサッカード(large saccade)」「縮瞳(miosis)」「散瞳(mydriasis)」「瞬目(blink)」の少なくとも何れかの特徴量を抽出する。ただし、これらは本発明を限定するものではない。特徴量抽出部13は、抽出した第1特徴量列および第2特徴量列を嗜好推定部14に出力する。以下に各特徴量を例示する。
注視の特徴量:
注視は、ラージサッカードまたは瞬目が生じてから、次のラージサッカードまたは瞬目が生じるまでの時間の目の動きである。「注視の特徴量」としては、前述の時間区間τにおける、対象者100による各画像α,βの注視時間、注視回数、および注視領域の何れかに対応する特徴量を例示できる。対象者100が注視していた領域は、顔の基準点に対する眼球の座標および領域の座標によって定義できる。画像αの注視時間に対応する特徴量は、例えば、時間区間τにおいて、対象者100が画像αの領域を注視していた時間の合計であってもよいし、最も長く画像αを注視し続けていた時間であってもよいし、このような時間の関数値であってもよい。画像αの注視回数に対応する特徴量は、例えば、時間区間τにおいて、対象者100の視点が画像αの外側の領域から画像αに移動した回数であってもよいし、画像βから画像αに移動した回数であってもよいし、このような回数の関数値であってもよい。画像αの注視領域に対応する特徴量は、例えば、時間区間τにおいて注視された画像αの領域の広さであってもよいし、時間区間τのある時点で画像αの領域を注視していたか否かを表す値であってもよいし、それらの関数値であってもよい。これらのことは画像βの注視時間に対応する特徴量、注視回数に対応する特徴量、視領域に対応する特徴量についても同じである。また、注視時間、注視回数、および注視領域のうち複数をベクトル表記した特徴量を用いてもよい。
マイクロサッカードの特徴量:
「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図4はマイクロサッカードを説明する図であって、横軸を時間[秒]、縦軸を視野角[度]として注視状態の眼球運動の例を示すグラフである。マイクロサッカードの例であるマイクロサッカードMSを太線で強調して示す。図4に例示するように、マイクロサッカードはある一点を注視している状態において、1〜2秒の間に1回程度、個人の意思とは関係なく(不随意に)表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者100の顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や眼球情報取得部12において水平方向と定義された方向を含む概念である。
特徴量抽出部13は、例えば眼球の位置の時系列について1次階差系列を計算し、1次階差系列の絶対値が所定の第1閾値を上回った時刻を、マイクロサッカードの起きた開始時刻として検出すればよい。ただし1次階差系列の絶対値が所定の閾値を上回る時間の長さが所定の値(通常3ms程度)以上持続しない場合は、検出から除外する。また、後述の基準振幅Aが所定の閾値(通常視野角2°程度)以上の場合はラージサッカードとして、検出から除外する。特徴量抽出部13は、取得された眼球の位置情報にノイズが多く含まれると判定した場合などには、1次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。
マイクロサッカードの特徴量としては、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、マイクロサッカードの単位時間(例えば1秒)あたりの発生回数Rmなどを例示できる。図5Aは、マイクロサッカードの特徴量について説明する図である。図5Aを参照して、マイクロサッカードの基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λについて説明する。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)持続時間Dm:マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は1次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(7)減衰率λ:基準振幅Aに対するオーバーシュートの振幅Aoの比である。最大速度Vmaxに対するオーバーシュートの速度Voの比としてもよく、

と表される。
マイクロサッカードが起きている時間区間の眼球位置の時系列を位置制御系のステップ応答としてモデル化することで計算する。位置制御系のステップ応答は、

と表される。ここでG(s)は伝達係数、y(t)は位置、y'(t)は速度を表す。これに基づいて、減衰係数マイクロサッカードの減衰係数ζ、固有角振動数ωは、

と表される。ただし、tは時刻を表すインデックスであり、sはラプラス変換によるパラメタ(複素数)である。固有角振動数ωはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。
特徴量抽出部13は、マイクロサッカードの減衰係数ζ、固有角振動数ω、基準振幅Aを、マイクロサッカードが起きている間の眼球の位置を関数y(t)でフィッティングし、最小二乗法などによって最適化することで計算してもよい。
マイクロサッカードの減衰係数ζは、運動が左右方向に依存して値が変化する傾向があるため、特徴量抽出部13は、左方向のマイクロサッカードの減衰係数の代表値、右方向のマイクロサッカードの減衰係数の代表値を分けて計算しても良い。
特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100のマイクロサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などを、画像αを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴量(第1時間区間での特徴量)として計算する。同様に特徴量抽出部13は、画像βを注視する対象者100のマイクロサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などを、画像βを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴量(第2時間区間での特徴量)として計算する。各画像α,βの注視時のマイクロサッカードが時間区間τにおいて複数検出された場合には、一つ一つのマイクロサッカードについて求めた特徴量それぞれの代表値を用いてもよい。複数の値の代表値とは、例えばそれら複数の値の平均値、最大値、最小値、最初の値に対応する値などであり、特に平均値を用いることが好ましい。また、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
ラージサッカードの特徴量:
「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角2度以上の場合をラージサッカード、2度未満のものをマイクロサッカードとする。例えば、図6Aの例では、時間t,t,t,t12からラージサッカードが開始されている。これらの振幅は時間t,t,t10,t13から開始されているマイクロサッカードの振幅よりも大きい。なお、図6Aの正方向はモニターの右方向(画像β側)を表し、負方向はモニターの左方向(画像α側)を表す。特徴量抽出部13は、例えば眼球の位置の時系列について1次階差系列を計算し、1次階差系列の絶対値が前述の「第2閾値」を上回る時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴量の例は、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などである。特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100のラージサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などを、画像αを注視する対象者100の眼球の動きに表れるラージサッカードの特徴量(第1時間区間での特徴量)として計算する。同様に特徴量抽出部13は、画像βを注視する対象者100のラージサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などを、画像βを注視する対象者100の眼球の動きに表れるラージサッカードの特徴量(第2時間区間での特徴量)として計算する。各画像α,βの注視時のラージサッカードが時間区間τにおいて複数検出された場合には、一つ一つのラージサッカードについて求めた特徴量それぞれの代表値を用いてもよい。また、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
縮瞳の特徴量および散瞳の特徴量:
人がある一点を注視しているとき、瞳孔の大きさは一定ではなく、変化している。図5Bは注視状態における瞳孔の大きさの変化を表す図であり、横軸は時間[秒]を、縦軸は瞳孔の大きさ[z-score]を表す。
瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大(散瞳)し、副交感神経系の支配を受けた瞳孔括約筋によって収縮(縮瞳)する。図5Bにおいて、二重線部分は散瞳を表し、破線部分は縮瞳を表す。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の3つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動(輻輳運動)に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。
縮瞳の開始する時刻(以下、縮瞳開始点)は、瞳孔の大きさの時系列から極大点を抽出することによって検出する。縮瞳の終了する時刻(以下、縮瞳終了点)は、縮瞳開始以降初めて散瞳が開始した点、または縮瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。縮瞳の振幅Acは、縮瞳開始点から縮瞳終了点までの瞳孔径の差である。縮瞳の持続時間Dcは、縮瞳開始点から縮瞳終了点までの時間差である。縮瞳の平均速度Vcは、(振幅Ac)/(持続時間Dc)である。
散瞳の開始する時刻(以下、散瞳開始点)は、瞳孔径の時系列から極小点を抽出することによって検出する。散瞳の終了する時刻(以下、散瞳終了点)は、散瞳開始以降初めて縮瞳が開始した点、または散瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。散瞳の振幅Adは、散瞳開始点から散瞳終了点までの瞳孔径の差である。散瞳の持続時間Ddは、散瞳開始点から散瞳終了点までの時間差である。散瞳の平均速度Vdは、(振幅Ad)/(持続時間Dd)である。
ノイズによる誤検出を防ぐために、縮瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは縮瞳の振幅が所定の閾値以下の場合は、特徴量抽出部22は、その縮瞳を検出から除外するとよい。同様に、散瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは散瞳の振幅が所定の閾値以下の場合は、その散瞳を検出から除外するとよい。
特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像αを注視する対象者100の散瞳の特徴量(第1時間区間での特徴量)」とする。同様に、特徴量抽出部13は、例えば、時間区間τにおいて画像βを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像βを注視する対象者100の散瞳の特徴量(第2時間区間での特徴量)」とする。各画像α,βの注視時の瞳孔が時間区間τにおいて複数検出された場合には、一つ一つの瞳孔について求めた特徴量それぞれの代表値を用いてもよい。散瞳の発生回数、散瞳の振幅の大きさ、散瞳の持続時間などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
瞬目の特徴量:
「瞬目」とは目蓋の開閉運動のことである。瞬目の特徴量の例は、単位時間(例えば1秒間)あたりの瞬目の発生回数、瞬目の発生回数、瞬目の持続時間などである。瞬目の持続時間は、瞬目が起きている時間区間の長さである。特徴量抽出部13は、例えば、眼球運動の位置が所定の閾値を下回る時間区間を、瞬目が起きている時間区間として検出すればよい。ただし、一般に瞬目の生じる時間の長さが最小で75msと考えられていることから、特徴量抽出部13は、検出された時間区間の長さが所定の閾値(たとえば、50ms)を下回る場合は、これをノイズとして瞬目から除外することが望ましい。特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像αを注視する対象者100の瞬目の特徴量(第1時間区間での特徴量)」とする。同様に、特徴量抽出部13は、例えば、時間区間τにおいて画像βを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像βを注視する対象者100の瞬目の特徴量(第2時間区間での特徴量)」とする。各画像α,βの注視時の瞬目が時間区間τにおいて複数検出された場合には、一つ一つの瞬目について求めた特徴量それぞれの代表値を用いてもよい。瞬目の発生回数、瞬目の持続時間などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
《嗜好推定部14》
嗜好推定部14は、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定し、その推定結果を表す情報を出力する(S14)。ここで、印象とは、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。例えば、嗜好推定部14は、対象者100が2つの異なる画像αおよび画像βのうち一方の画像を他方の画像と比較して好んでいるか否かを推定する。あるいは、嗜好推定部14は、対象者100が2つの異なる画像αおよび画像βのうちのどちらの画像をより好んでいるかを推定する。
《推定方法1》
嗜好推定部14は、例えば、特徴量抽出部13が抽出した複数の第1特徴量を含む第1特徴量列と複数の第2特徴量を含む第2特徴量列とを用い、前述した「比較特徴量列」に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定する。例えば、複数の第1特徴量をα,…,αとし、複数の第2特徴量をβ,…,βとし、第1特徴量列を(α,…,α)とし、第2特徴量列を(β,…,β)とし、比較特徴量列を(f,…,f)とする。ただし、mは2以上の整数であり、k=1,…,mについて、α>βのときf=0とし、α<βのときf=1とする(基準11)。その逆に、α>βのときf=1とし、α<βのときf=0としてもよい(基準21)。あるいは、k=1,…,mごとに、基準11が適用されるか基準21が適用されるかが定められていてもよい。例えば、画像αに好意を持っているときにf,…,fがすべて1となる傾向を示すように、各k=1,…,mに適用される基準が定められてもよい。α=βのときには、f=0としてもよいし、f=1としてもよいし、fをその他の値としてもよい。この場合、嗜好推定部14は、比較特徴量列(f,…,f)に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定する。この推定方法の具体例を示す。
具体例1:
嗜好推定部14は、以下のFαβを計算し、Fαβ>0.5の場合に対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、Fαβ<0.5の場合に対象者100の画像βに対する印象が画像αに対する印象よりも良い(あるいは対象者100の画像αに対する印象が画像βに対する印象よりも悪い)と推定する。Fαβ=0.5の場合には、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定してもよいし、悪いと推定してもよいし、推定不可能としてもよい。

ただし、事前学習によって、画像αに好意を持っているときにf,…,fがすべて1となり、画像βに好意を持っているときにf,…,fがすべて0となる傾向を示すように、各k=1,…,mに適用される基準(基準11または基準21)が定められている。またrは事前に定められた重み係数である。例えば、事前学習で学習用対象者(人間)に前述のように画像α,βを同時に呈示し、その際に得られた複数のfのサンプルと、それに対応する学習用対象者の回答(画像αを好んでいる:1、画像βを好んでいる:0)のサンプルとの相関係数を得ておき、その相関係数をrとする。学習用対象者は、実際に印象が推定される対象者100と同一人物である必要はない。
具体例2:
事前学習において、学習用対象者に前述のように画像α,βを同時に呈示し、その際に得られた複数の(f,…,f)のサンプルをk−means等によってクラスタリングしておき、学習用対象者が「画像αが画像βよりも好ましい」と回答したときの(f,…,f)のサンプルが属する頻度の高いクラスタCの中心ベクトルcvからの距離に基づいて、印象が未知の画像に対する印象の推定が行われてもよい。例えば、特徴量抽出部13が抽出した第1特徴量列(α,…,α)と第2特徴量列(β,…,β)とを用いて得られた(f,…,f)と中心ベクトルcvとの距離をd(f,…,f)とする。嗜好推定部14は、d(f,…,f)が所定の閾値以下のときに、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、そうでないときに対象者100の画像βに対する印象が画像αに対する印象よりも良いと推定する。その他、SVMを用いてもよい。SVMを用いることにより、学習用対象者が「画像αが画像βよりも好ましい(印象が良い)」と回答したときの(f,…,f)のサンプルによる点群が属する空間と、画像βが画像αよりも好ましいと回答したときの(f,…,f)のサンプルによる点群が属する空間とを分離する超平面を事前に求めることができる。この場合、特徴量抽出部13が抽出した第1特徴量列(α,…,α)と第2特徴量列(β,…,β)とを用いて得られた(f,…,f)がいずれの空間に属するかによって、印象が未知の画像に対する印象を推定できる。
《推定方法2》
第1特徴量および第2特徴量の何れか、および比較特徴量列に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。例えば、事前学習において、学習用対象者に前述のように画像α,βを同時に呈示し、その際に得られた第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルをk−means等によってクラスタリングしておき、学習用対象者が「画像αが画像βよりも好ましい」と回答したときのサンプルが属する頻度の高いクラスタCの中心ベクトルcvからの距離に基づいて、印象の推定が行われてもよい。例えば、特徴量抽出部13が抽出した第1特徴量、第2特徴量、およびそれらに対応する比較特徴量列からなるベクトルと中心ベクトルcvとの距離をdとする。嗜好推定部14は、dが所定の閾値以下のときに、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、そうでないときに対象者100の画像βに対する印象が画像αに対する印象よりも良いと推定する。その他、SVMを用いてもよい。この場合には、学習用対象者が「画像αが画像βよりも好ましい」と回答したときの第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルによる点群が属する空間と、画像βが画像αよりも好ましいと回答したときの第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルによる点群が属する空間と、を分離する超平面を事前に求めておく。そして、特徴量抽出部13が抽出した第1特徴量、第2特徴量、およびそれらに対応する比較特徴量列からなるベクトルがいずれの空間に属するかによって、印象の推定が行われる。
<実験結果>
本実施形態の効果を確認するための実験結果を示す。この実験では5名の対象者に対して各2セッションの試験が行われた。ただし、10セッションのうち1セッションは教示不理解のため排除した。各セッションでは比較対象となるペア画像(画像α,βを左右に並べて配置)を呈示した(図3B)。人種4条件×年齢2条件×性別2条件の合計16種類の顔の画像をそれぞれ5個ずつ用いて80枚のペア画像を生成した。各試験では、対象者がペア画像を見比べ、左右に配置されたボタンを押すことによって好きな方の顔を回答した。この際に対象者の目の動的な変化に基づく特徴量を抽出した。これらの合計720回の試行のうち不良試行を排除し、661回の試行を対象に比較特徴量列と回答結果との関係を解析した。
解析では以下のf,…,fからなる比較特徴量列(f,…,f)を計算した。
[注視]
:ボタン押しの直前に対象者が左右いずれの画像領域を見ていたか(左:1,右:0)
:画像呈示中に左右どちらの画像領域の注視時間が長かったか(同上)
:ボタン押し直前500msに左右どちらの画像領域の注視時間が長かったか(同上)
[マイクロサッカード]
:左右どちらの画像領域を注視しているときにマイクロサッカードの発生頻度が高かったか(同上)
:左右どちらの画像領域を注視しているときにマイクロサッカードの固有角振動数が大きかったか(同上)
ただし、振幅が視野角2度以下のものをマイクロサッカードとし、ラージサッカードは含まない。
[ラージサッカード]
:左右どちらの画像領域を到達点とするラージサッカードが多かったか(同上)
[散瞳]
:左右どちらの画像領域を注視しているときに散瞳の発生頻度が長かったか(同上)
:左右どちらの画像領域を注視しているときに散瞳の振幅が大きかったか(同上)
:左右どちらの画像領域を注視しているときに散瞳の持続時間が長かったか(同上)
図7に、図6Aおよび図6Bの測定結果に対応する比較特徴量列(f,…,f)を例示する。この例では、ボタン押しの直前に対象者が左の画像領域を見ており(f=1)、画像呈示中に右の画像領域の注視時間の方が長く(f=0)、ボタン押し直前500msに右の画像領域の注視時間の方が長く(f=0)、左の画像領域を注視しているときの方がマイクロサッカードの発生頻度が高く(f=1)、左の画像領域を注視しているときのほうがマイクロサッカードの固有角振動数が大きく(f=1)、左の画像領域を到達点とするラージサッカードの方が多く(f=1)、左の画像領域を注視しているときの方が散瞳の発生頻度が長く(f=1)、左の画像領域を注視しているときの方が散瞳の振幅が大きく(f=1)、右の画像領域を注視しているときの方が散瞳の持続時間が長い(f=1)。この場合の比較特徴量列は(1,0,0,1,1,1,1,1,0)となる。図8Aにf(ただし、k=1,…,9)のサンプルとそれらに対する対象者の回答(画像αを好んでいる:1、画像βを好んでいる:0)のサンプルとの相関係数r(回答との相関係数)、左の画像αを選択した時のfの平均値(左選択時の平均値)、および右の画像βを選択した時のfの平均値(右選択時の平均値)の関係を示す。図8Bに左の画像αを選択した時のfの平均値と右の画像βを選択した時のfの平均値とを例示する。
推定方法1の具体例1によって印象を推定した結果の回答内容に対する評価は以下の通りである。
推定精度:83.4%
このように、高い精度で対象者の画像に対する好みを推定することができた。
[第1実施形態の変形例1]
印象推定装置10は、知覚刺激呈示部11及び眼球情報取得部12を含まなくともよい。すなわち、知覚刺激呈示部11及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
[第1実施形態の変形例2]
図9は画像α,βの領域と対象者100の視線の移動との関係を例示しており、t〜t13は時間を表している。対象者100は画像αと画像βとの間で視線を移動させ、これらの画像を見比べる。ここで「第1特徴量」の何れかが画像αを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴に対応し、「第2特徴量」の何れかが画像βを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴に対応する場合、これらのマイクロサッカードの特徴が、画像αおよび画像βを通る直線Lの法線成分Nの眼球の動きに表れる特徴を含んでもよい。あるいは、このようなマイクロサッカードの特徴が法線成分Nの眼球の動きに表れる特徴のみを含んでいてもよい。これにより、画像αと画像βとの間での視線移動(ラージサッカードなど)の影響を受けにくい方向成分のマイクロサッカードの特徴を利用できる。なお直線Lの例は、画像αの重心と画像βの重心とを通る直線である。
[第2実施形態]
第1実施形態では2つの画像α,βを同時に呈示し、対象者100が画像αを注視するときの第1特徴量と画像βを注視するときの第2特徴量を用い、画像α,βの相対的な印象を推定した。本形態では、1つの画像αのみを呈示し、対象者100が画像αを注視するときの第1特徴量と、対象者100が画像α以外の領域を見ているときの第2特徴量とを用いて画像αの印象を推定する。
<印象推定装置の構成および動作>
図1に示すように、本実施形態の印象推定装置20は、知覚刺激呈示部21、眼球情報取得部12、特徴量抽出部23、および嗜好推定部24を含む。
《知覚刺激呈示部21》
知覚刺激呈示部21は、所定の時間区間τにおいて、背景(Notα)に配置された1つの画像α(第1の像)を対象者100の視野内に呈示する(S21)。例えば、対象者100の正面に設置したモニターに、観察可能な時間の長さで、背景内に配置された画像αを呈示する。図10Aおよび図10Bの例では、モニターの背景内の領域に1つの画像αを呈示する。
《眼球情報取得部22》
眼球情報取得部22は、時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S22)。眼球情報取得部22は、取得した目の動的な変化に関する情報を特徴量抽出部23へ出力する。
《特徴量抽出部23》
特徴量抽出部23は、取得した目の動的な変化に関する情報から、画像αを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量、および、画像α以外の領域を見ている対象者100の目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量を抽出する(S23)。言い換えると、特徴量抽出部13は、対象者100が画像αを注視する第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量(第1時間区間での特徴量)、および、対象者100が画像α以外の領域を見ている第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部23は、抽出した複数の第1特徴量からなる列を第1特徴量列とし、複数の第2特徴量からなる列を第2特徴量列とし、それらを嗜好推定部24に出力する。
《嗜好推定部24》
嗜好推定部24は、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、対象者100の画像αの画像α以外の領域に対する相対的な印象を推定し、その推定結果を表す情報を出力する(S24)。例えば、前述した嗜好推定部14の処理の「画像β」を「画像α以外の領域」に置換した方法を利用できる。
[第2実施形態の変形例1]
印象推定装置20は、知覚刺激呈示部21及び眼球情報取得部12を含まなくともよい。すなわち、知覚刺激呈示部21及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
[第3実施形態]
第1実施形態では2つの画像α,βを同時に呈示したが、画像αを呈示する第1時間区間で得られた第1特徴量と、何も呈示しない(背景のみを呈示する)第2時間区間で得られた第2特徴量とを用い、画像αの印象を推定してもよい。
<印象推定装置の構成および動作>
図1に示すように、本実施形態の印象推定装置30は、知覚刺激呈示部31、眼球情報取得部12、特徴量抽出部33、および嗜好推定部34を含む。
《知覚刺激呈示部31》
図11Aに例示するように、知覚刺激呈示部31は、例えば、第1時間区間で画像α(「第1の像」「第1の刺激」)を対象者100の視野内に呈示し、第1時間区間以外の第2時間区間で画像αを非呈示とする。なお、図11Aの例では、第1時間区間の後に第2時間区間が位置しているが、第2時間区間の後に第1時間区間が位置していてもよい。
《眼球情報取得部12》
眼球情報取得部12は、第1時間区間および第2時間区間を含む時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部33へ出力する。
《特徴量抽出部33》
特徴量抽出部33は、取得した目の動的な変化に関する情報から、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量(第1時間区間での特徴量)、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部33は、抽出した複数の第1特徴量からなる列を第1特徴量列とし、複数の第2特徴量からなる列を第2特徴量列とし、それらを嗜好推定部34に出力する。
《嗜好推定部34》
嗜好推定部34は、第1特徴量列の各要素と第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、対象者100の画像αの画像α以外の領域に対する相対的な印象を推定し、その推定結果を表す情報を出力する(S34)。
[第3実施形態の変形例1]
印象推定装置30は、知覚刺激呈示部31及び眼球情報取得部12を含まなくともよい。すなわち、知覚刺激呈示部31及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
[第3実施形態の変形例2]
図11Bに例示するように、第1時間区間で画像α(「第1の像」「第1の刺激」)を呈示し、第2時間区間で画像β(「第2の像」「第2の刺激」)を呈示し、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量からなる第1特徴量列、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量からなる第2特徴量列に基づき、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。
[第3実施形態の変形例3]
図12Aに例示するように、画像αを呈示する第1時間区間と何も呈示しない(背景のみを呈示する)第2時間区間とを交互に複数回繰り返し、第1時間区間で得られた複数の第1特徴量からなる第1特徴量列と第2時間区間で得られた複数の第2特徴量からなる第2特徴量列とを用い、画像αの印象を推定してもよい。あるいは、図12Bに例示するように、画像αを呈示する第1時間区間と画像βを呈示する第2時間区間とを交互に複数回繰り返し、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第1特徴量からなる第1特徴量列、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む複数の第2特徴量からなる第2特徴量列に基づき、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。時間の経過にともなって対象者100の状態(疲労など)や周辺環境が変化することがあり、呈示された画像以外の要因(外乱)によって対象者100の目の運動が変化する場合がある。このような場合でも、第1時間区間と第2時間区間とを交互に複数回繰り返すことで外乱が第1特徴量列と第2特徴量列とに与える影響を平坦化できる。なお、各第1特徴量は複数の第1時間区間で得られた特徴量を平均したものや加算したものであってもよいし、複数の第1時間区間で得られた特徴量を並べたベクトルであってもよい。各第2特徴量も複数の第2時間区間で得られた特徴量を平均したものや加算したものであってもよいし、複数の第2時間区間で得られた特徴量を並べたベクトルであってもよい。
[第3実施形態の変形例4]
第3実施形態およびその変形例において、第1時間区間で画像αを対象者100に呈示することに代えて、第1時間区間で視覚以外の感覚で知覚可能な「第1の刺激」を対象者100に呈示してもよい。同様に、第2時間区間で画像βを対象者100に呈示することに代えて、第2時間区間で視覚以外の感覚で知覚可能な「第2の刺激」を対象者100に呈示してもよい。
「第1の刺激」および「第2の刺激」の例は、聴覚で知覚可能な音声や音楽などの音、嗅覚で知覚可能な匂い、触覚で知覚可能な手触りや肌触りなどの触感や暑さや寒さなどの温感、味覚で知覚可能な味である。例えば、図11Aの例や図12Aでは、知覚刺激呈示部31は、第1時間区間で「音」「匂い」「触感」「味」の何れか、それらの組み合わせ、またはそれらと「像」との組み合わせを、対象者11が知覚可能なように呈示し、第2時間区間では何れの刺激も呈示しない。例えば、図11Bの例や図12Bでは、知覚刺激呈示部31は、第1時間区間で「音」「匂い」「触感」「味」の何れか、それらの組み合わせ、またはそれらと「像」との組み合わせである「第1の刺激」を、対象者11が知覚可能なように呈示し、第2時間区間では「第1の刺激」と異なる「音」「匂い」「触感」「味」の何れか、それらの組み合わせ、またはそれらと「像」との組み合わせである「第2の刺激」を、対象者11が知覚可能なように呈示する。
「音」はヘッドホンやスピーカなどによって呈示できる。この場合、知覚刺激呈示部31はヘッドホンやスピーカなどから対象者11が受聴可能な音量で「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「音」を呈示する。
「匂い」は公知の匂い発生装置や匂い呈示装置などによって呈示できる。この場合、知覚刺激呈示部31は、公知の匂い発生装置や匂い呈示装置などを用い、対象者11が知覚可能な強さで「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「匂い」を呈示する。あるいは、容器等に入れられた対象物の匂いを対象者11が嗅ぐことで、「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「匂い」が対象者11に呈示されてもよい。
「触感」は機械的な刺激または電気的刺激によって触感を生じさせる公知の触感呈示装置などによって呈示できる。この場合、知覚刺激呈示部31は、公知の触感呈示装置などを用い、対象者11が知覚可能な強さで「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「触感」を呈示する。あるいは、対象者11が対象物に触れたり、対処物が対象者11に触れたりすることで、「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「触感」が対象者11に呈示されてもよい。
「温感」は公知のヒータや冷却装置などによって呈示できる。この場合、知覚刺激呈示部31は、公知のヒータや冷却装置などを用い、対象者11が知覚可能な強さで「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「温感」を呈示する。あるいは、対象者11が気温の異なる部屋を移動することで、「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「温感」が対象者11に呈示されてもよい。
「味」は電気的な刺激によって味覚を生じさせる公知の電気味覚装置によって呈示できる。この場合、知覚刺激呈示部31は、公知の電気味覚装置などを用い、対象者11が知覚可能な強さで「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「味覚」を呈示する。あるいは、対象者11が対象物を味わうことで「第1の刺激」および「第2の刺激」の少なくとも一方を構成する「味覚」が対象者11に呈示されてもよい。
<実験結果>
本変形例の効果を確認するための実験結果を示す。この実験では4名の対象者に対し、それぞれ72個のペア音(音α→音β)を呈示して試験が行われた。図13に例示するように、各試験では、第1時間区間で音αが対象者に呈示され、その後の第2時間区間で音βがその対象者に呈示された。実験では第1時間区間および第2時間区間をそれぞれ4.0[秒]とした。各ペア音を構成する音αおよびβの何れか一方を協和音(一般に美しいとされる音)とし、他方を不協和音とした。協和音および不協和音としてそれぞれ以下の3種類を用い、それらの組み合わせからなる3×3=9通りのペア音をそれぞれ8回ずつ用い、各対象者に72個のペア音が呈示された。
各対象者にペア音(音α→音β)を呈示するたびに(各音βの呈示後)、呈示された音αおよびβのうち何れの方を好ましいと思ったかをボタン押しによって回答させた。具体的には、何れが好ましかったかが決まり次第、音αが好ましいと思った場合には左ボタンを押し、音βが好ましいと思った場合には右ボタンを押すように教示した。4名の対象者のうち1名は教示不理解であったため、その1名の実験結果を排除した。残り3名による3×72=216回の試行のうち、以下を不良試行として排除し、残りの203試行を対象に解析を行った。
・2秒以内にボタン押しのなかった1試行
・マイクロサッカードが一度も生じなかった12試行
解析では以下の特徴量f,…,f13からなる比較特徴量列(f,…,f13)を計算した。
[マイクロサッカード]
:音α/音βどちらを聴取する際の発生頻度が高かったか(音α:0 音β:1)
:音α/音βどちらを聴取する際の振幅(平均値)が大きかったか(同上)
:音α/音βどちらを聴取する際のピーク速度(平均値)が大きかったか(同上)
:音α/音βどちらを聴取する際の減衰比(平均値)が高かったか(同上)
:音α/音βどちらを聴取する際の固有角振動数(平均値)が高かったか(同上)
ただし、振幅が視野角2度以下のものをマイクロサッカードとし、ラージサッカードは含まない。
[縮瞳]
:音α/音βどちらを聴取する際の発生頻度が高かったか(同上)
:音α/音βどちらを聴取する際の速度(平均値)が大きかったか(同上)
:音α/音βどちらを聴取する際の振幅(最大値)が大きかったか(同上)
:音α/音βどちらを聴取する際、「最大振幅の縮瞳までの潜時」が早かったか(同上)
10:音α/音βどちらを聴取する際、「音呈示直後の縮瞳の振幅」が長かったか(同上)
11:音α/音βどちらを聴取する際、「音呈示直後の縮瞳の持続時間」が長かったか(同上)
[散瞳]
12:音α/音βどちらを聴取する際の発生頻度が高かったか(同上)
13:音α/音βどちらを聴取する際の振幅(最大値)が大きかったか(同上)
(a)全203試行のうち、特定の1試行をテストデータとみなし、その他の202試行を学習データとみなした。
(b)学習データの13個の特徴量f,…,f13を説明変数とし、対象者の回答値(音αが好ましかったと感じた:1、音βが好ましかったと感じた:2)を目的変数とする重回帰分析を実行し、以下の回帰係数r,…,r13を推定(計算)した。

ただし、rは特徴量fに関する回帰係数である。
(c)テストデータの13個の特徴量f,…,f13と(b)で求めた回帰係数r,…,r13を用い、式(2)によってyを計算した。得られたtがy≦1.5のときに音αが選ばれたと推定し、y>1.5のときに音βが選ばれたと推定した。
これらの(a)〜(c)をすべての試行が一度ずつテストデータとなるように繰り返し(203回の繰り返し)、対象者による回答に対する推定精度(正解率)を求めた。その結果、推定精度は68.5%となり、対象者ごとの最大推定精度(推定精度が最大となった対象者についての推定精度)は73.1%となった。
[第4実施形態]
比較特徴量列から嗜好推定モデルを用いて(参照することにより)、印象を推定してもよい。
<印象推定装置の構成および動作>
図1に例示するように、本実施形態の印象推定装置40は、第1から3実施形態およびそれらの変形例の何れかの印象推定装置の嗜好推定部を嗜好推定部44に置換し、さらにモデル記憶部45を加えたものである。
《嗜好推定部44》
嗜好推定部44は、特徴量抽出部13,23,33の何れかから送られた第1特徴量列および第2特徴量列に基づく比較特徴量列を含む情報に基づいて、対象者100の「第1の刺激」および「第2の刺激」の少なくとも一方に対する印象を推定する(S44)。本実施形態では、得られた比較特徴量列から嗜好推定モデルを用いて(参照することにより)、印象を推定し、出力する。言い換えれば、嗜好推定部44は、比較特徴量列を、モデル記憶部45に記憶された嗜好推定モデル(特徴量から印象を推定するためのモデル)にあてはめることにより、印象を推定する。
《モデル記憶部45》
モデル記憶部45は、比較特徴量列を入力として、印象を出力するような嗜好推定モデルが予め記録されている。嗜好推定モデルは、予め1人以上の人について取得した比較特徴量列と印象との関係性を機械学習法により学習することで、作成される。つまり、嗜好推定モデルは、比較特徴量列と印象との相関性を記述したモデルである。
例えば、学習用に用意した画像や音などの「第1の刺激」を学習用対象者に呈示している間の学習用対象者の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、「第1の刺激」を学習用対象者に呈示していない間(例えば、「第2の刺激」を学習用対象者に呈示している間、または学習用対象者が知覚可能な刺激を呈示していない間)の学習用対象者の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列を取得し、これらの情報から比較特徴量列を抽出する。ここで抽出する特徴量は、特徴量抽出部13,23,33で抽出する特徴量と同じとする。また、学習用対象者の「第1の刺激」に対する好き嫌いの度合い(rating)(「第1の刺激」を呈示していない状態に対する「第1の刺激」を呈示している状態の好き嫌いの度合い、または、「第2の刺激」を呈示している状態に対する「第1の刺激」を呈示している状態の好き嫌いの度合い)を学習用対象者から取得し、抽出した比較特徴量列と「第1の刺激」に対する好き嫌いの度合いを組とするデータセットを用意する。
同様の比較特徴量列の抽出を複数の異なる「第1の刺激」について行い、それぞれの「第1の刺激」に対する好き嫌いの度合い(rating)と抽出した比較特徴量列を組とするデータセットを学習用データとして取得する。
この学習用データを入力データとし、機械学習法により、「第1の刺激」に対する印象と比較特徴量列との関係を学習する。例えば、機械学習法としてSVM等がある。この場合は、「第1の刺激」に付与する好き嫌いの度合い(rating)を、好き(1)または嫌い(0)の2値として、比較特徴量列の次元に対応する空間において、「第1の刺激」が好きな(印象が良い)ときの比較特徴量列に対応する点群と、「第1の刺激」が嫌いな(印象が悪い)ときの比較特徴量列に対応する点群とを分離する超平面を求めることができる。これにより、得られる嗜好推定モデルに、好き嫌いが未知の比較特徴量列(特徴量抽出部13,23,33で得られた「第1特徴量列」および「第2特徴量列」基づく比較特徴量列)を入力すると、その比較特徴量列が「第1の刺激」が「好き」であることに対応するか、「嫌い」に対応するかを推定できる。
要素の数を増やすことで、推定の精度を高めることができる。
印象が好き/嫌い、の2値分類に限らず、複数クラス(好き嫌いの度合いに対応するクラス)に分類するようにSVMを構成することも可能である。あるいは、複数クラス(好き嫌いの度合いに対応するクラス)識別分類するような機械学習法であれば、SVMに限らず他の機械学習法を用いてもよい。
なお、学習用対象者は、実際に印象が推定される対象者100と同一人物である必要はない。また、複数の人について得られた学習データを基に嗜好推定モデルを学習すると、より精度の高い推定を行うことができる。また、対象者毎に、印象に対応して表れる特徴量が異なる場合があるので、学習用対象者を印象の推定を行う対象者100と同一人物として対象者毎に、嗜好推定モデルを作成すれば、個人の特性に合わせたより精度の高い推定を行うことができる。
[第4実施形態の変形例1]
第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列を用い、第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列と印象との関係性を記述した嗜好推定モデルを参照することで、「第1の刺激」および「第2の刺激」の少なくとも一方に対する印象を推定してもよい。
この場合には、上述のように学習用に用意した「第1の刺激」を学習用対象者に呈示している間の学習用対象者の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、「第1の刺激」を学習用対象者に呈示していない間の学習用対象者の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列を取得し、これらの情報から比較特徴量列を抽出する。ここで抽出する特徴量は、特徴量抽出部13,23,33で抽出する特徴量と同じとする。学習用対象者の「第1の刺激」に対する好き嫌いの度合い(rating)(「第1の刺激」を呈示していない状態に対する「第1の刺激」を呈示している状態の好き嫌いの度合い、または、「第2の刺激」を呈示している状態に対する「第1の刺激」を呈示している状態の好き嫌いの度合い)を学習用対象者から取得し、抽出した第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列と「第1の刺激」に対する好き嫌いの度合いを組とするデータセットを用意する。
同様の比較特徴量列の抽出を複数の異なる「第1の刺激」について行い、それぞれの「第1の刺激」に対する好き嫌いの度合い(rating)と、抽出した第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列を組とするデータセットを学習用データとして取得する。
この学習用データを入力データとし、機械学習法により、「第1の刺激」に対する印象と比較特徴量列との関係を学習する。これにより、得られる嗜好推定モデルに、好き嫌いが未知の第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列(特徴量抽出部13,23,33で得られた「第1特徴量列」および「第2特徴量列」に基づく比較特徴量列)を入力すると、その比較特徴量列が「第1の刺激」が(例えば、「第2の刺激」よりも)「好き」であることに対応するか、「嫌い」に対応するかを推定できる。
[その他の変形例等]
なお、本発明は上述の実施の形態に限定されるものではない。例えば、画像α,βの少なくとも一方に代えて、ポスターや絵画などの平面状の物体や人や彫刻などの立体状の物体などを「第1の像」および「第2の像」の少なくとも一方として対象者100に呈示してもよい。目の動的な変化に基づく特徴量を取得可能なメガネ型ウェアラブルデバイスを用いて「第1特徴量」および「第2特徴量」を取得してもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
10〜40 印象推定装置

Claims (8)

  1. 第1の像を注視する動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、前記第1の像を注視していない前記動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出する特徴量抽出部と、
    前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する嗜好推定部と、
    を有する印象推定装置。
  2. 請求項1の印象推定装置であって、
    前記第2特徴量の何れかは、前記第1の像と異なる第2の像を注視する前記動物の目の動的な変化に基づく、印象推定装置。
  3. 請求項1または2の印象推定装置であって、
    前記比較結果を表す値と前記第1の像に対する印象との関係に基づく重み係数が事前学習されており、
    前記嗜好推定部は、前記比較特徴量列が含む値を前記重み係数で重み付けして得られる列に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する、印象推定装置。
  4. 第1の刺激を動物が知覚可能なように呈示する時間区間を第1時間区間とし、前記動物が知覚可能なように前記第1の刺激が呈示されていない時間区間を第2時間区間とし、前記第1時間区間における前記動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、前記第2時間区間における前記動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出する特徴量抽出部と、
    前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも前記動物の前記第1の刺激に対する印象を推定する嗜好推定部と、
    を有する印象推定装置。
  5. 請求項4の印象推定装置であって、
    前記比較結果を表す値と前記第1の刺激に対する印象との関係に基づく重み係数が事前学習されており、
    前記嗜好推定部は、前記比較特徴量列が含む値を前記重み係数で重み付けして得られる列に基づいて、少なくとも前記動物の前記第1の刺激に対する印象を推定する、印象推定装置。
  6. 第1の像を注視する動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、前記第1の像を注視していない前記動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出する特徴量抽出ステップと、
    前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する嗜好推定ステップと、
    を有する印象推定方法。
  7. 第1の刺激を動物が知覚可能なように呈示する時間区間を第1時間区間とし、前記動物が知覚可能なように前記第1の刺激が呈示されていない時間区間を第2時間区間とし、前記第1時間区間における前記動物の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、前記第2時間区間における前記動物の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列と、を抽出する特徴量抽出ステップと、
    前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列を含む情報に基づいて、少なくとも前記動物の前記第1の刺激に対する印象を推定する嗜好推定ステップと、
    を有する印象推定方法。
  8. 請求項1から5の何れかの印象推定装置としてコンピュータを機能させるためのプログラム。
JP2015221020A 2015-11-11 2015-11-11 印象推定装置、印象推定方法、およびプログラム Active JP6445418B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015221020A JP6445418B2 (ja) 2015-11-11 2015-11-11 印象推定装置、印象推定方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221020A JP6445418B2 (ja) 2015-11-11 2015-11-11 印象推定装置、印象推定方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2017086530A JP2017086530A (ja) 2017-05-25
JP6445418B2 true JP6445418B2 (ja) 2018-12-26

Family

ID=58766853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221020A Active JP6445418B2 (ja) 2015-11-11 2015-11-11 印象推定装置、印象推定方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6445418B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020116312A (ja) * 2019-01-28 2020-08-06 スカラ株式会社 心身の状態の判定システム、判定装置、方法、コンピュータプログラム
EP3937506A4 (en) 2019-03-04 2023-03-08 Maxell, Ltd. HEAD MOUNTED INFORMATION PROCESSING DEVICE

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1924941A2 (en) * 2005-09-16 2008-05-28 Imotions-Emotion Technology APS System and method for determining human emotion by analyzing eye properties
US20110109879A1 (en) * 2009-11-09 2011-05-12 Daphna Palti-Wasserman Multivariate dynamic profiling system and methods
JP5438591B2 (ja) * 2010-05-17 2014-03-12 日本電信電話株式会社 感情強度測定装置、感情強度測定方法、及びプログラム
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
JP5718495B1 (ja) * 2014-01-16 2015-05-13 日本電信電話株式会社 印象推定装置、その方法、及びプログラム
JP5718492B1 (ja) * 2014-01-16 2015-05-13 日本電信電話株式会社 音の顕著度推定装置、その方法、及びプログラム
JP5718494B1 (ja) * 2014-01-16 2015-05-13 日本電信電話株式会社 印象推定装置、その方法、及びプログラム

Also Published As

Publication number Publication date
JP2017086530A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
CN110167421B (zh) 整体地测量视觉功能的临床参数的***
Berg et al. Free viewing of dynamic stimuli by humans and monkeys
JP2019513516A (ja) 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
Kawai et al. Pupil diameter variation in positive and negative emotions with visual stimulus
Matran-Fernandez et al. Towards the automated localisation of targets in rapid image-sifting by collaborative brain-computer interfaces
JP5718493B1 (ja) 音の顕著度推定装置、その方法、及びプログラム
US10832483B2 (en) Apparatus and method of monitoring VR sickness prediction model for virtual reality content
US10817057B2 (en) Information processing device, information processing method, and program
Putze et al. Decoding mental workload in virtual environments: a fNIRS study using an immersive n-back task
US11393252B2 (en) Emotion sensing artificial intelligence
JP6509712B2 (ja) 印象推定装置およびプログラム
JP6755839B2 (ja) 運動パフォーマンス推定装置、その方法、およびプログラム
JP6479708B2 (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
John et al. An evaluation of pupillary light response models for 2D screens and VR HMDs
JP5718494B1 (ja) 印象推定装置、その方法、及びプログラム
JP6445418B2 (ja) 印象推定装置、印象推定方法、およびプログラム
JP5718495B1 (ja) 印象推定装置、その方法、及びプログラム
JP7214986B2 (ja) 反射性判定装置、反射性判定方法、プログラム
KR101955293B1 (ko) 시각 피로도 분석 장치 및 그 방법
US10779726B2 (en) Device and method for determining eye movements by tactile interface
KR20190054356A (ko) 가상현실 장치의 사용으로 인한 사용자의 어지럼증 또는 시각피로도를 정량화하여 평가하는 방법 및 장치
Suchalova et al. The Research on Controlling Virtual Reality by EEG Sensor
JP2017202048A (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
Arslan et al. The Identification of Individualized Eye Tracking Metrics in VR Using Data Driven Iterative-Adaptive Algorithm
KR20200069002A (ko) 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181129

R150 Certificate of patent or registration of utility model

Ref document number: 6445418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150