JP2009508553A - 眼球性質を解析することで、人間の感情を決定するシステムおよび方法 - Google Patents

Abstract

本発明は、例えば、瞳孔サイズ、瞬目の性質、視線位置（または注視点）の性質、あるいは他の性質を含め、利用者の眼球性質を組み合わせたものを解析することにより、人間の感情を決定するシステムおよび方法に関するものである。このシステムおよび方法は、利用者に与えられた様々な刺激を知覚しながら、他のデータの中でも、利用者の眼球性質を解析することで、そのような刺激の感情的影響を測定するように構成されることがある。測定された眼球性質は、感情的反応の強さを決定するためだけでなく、正の感情的反応（例えば、快、または「好き」）、中立の感情的反応、負の感情的反応（例えば、不快、または「嫌い」）を区別するためにも、使用されることがある。

Description

本発明は、一般に、少なくとも瞳孔サイズ、瞬目（blink）の性質、および視線位置（または、注視点）の性質を含む、眼球性質を解析することで、人間の感情を決定することに関するものである。

本出願は、「SYSTEM AND METHOD FOR DETERMINING
HUMAN EMOTION BY MEASURING EYE PROPERTIES（眼球性質を測定することで、人間の感情を決定するシステムおよび方法）」と称する２００５年９月１６日出願の米国仮特許出願第６０／７１７，２６８号から優先権を主張している。この仮出願の内容は、参照によって、本明細書中に組み入れられている。

眼球運動を追跡するシステムおよび方法が一般に知られている。近年、アイトラッキング（視線追跡）装置により、マシンは、細かい眼球運動を自動的に観察し、記録することができる。利用者の感情状態を推定するために、何らかのアイトラッキング技術が、ある程度まで利用されてきた。
Lang, P.J., Bradley, M.M., &Cuthbert, B.N., "International Affective Picture System (IAPS)Technical Manual and Affective Ratings"

アイトラッキング技術の最近の進歩にもかかわらず、多くの現行システムは、様々な欠点を免れない。例えば、利用者の感情に関する情報を引き出そうとする多くの現行システムは、効果的に、かつ／または正確に情報を引き出せる能力を欠いている。一部の現行システムは、結果を、とりわけ、Lang, P.J.氏、Bradley, M.M.氏、および、Cuthbert, B.N.氏による「International
Affective Picture System(IAPS) Technical Manual and Affective Ratings（IAPS（国際情動写真体系）技術マニュアルと情動評価）」（これは、参照によって本明細書中に組み入れられている）を含む、充分了解されている基準方式または基準モデルにマッピング（対応付け）することができない。したがって、それらの結果は、一部分、それらの結果を解読するのが困難であるために、時には、充分了解されない傾向にあり、広範には適用できない傾向にもある。

さらに、現行システムは、データを収集し、かつ／または得られたデータを減らそうとするときに、脳内での感情的プロセスと理性的プロセスとを区別することの重要性を考慮に入れているようには思えない。

さらに、一部の現行のシステムおよび方法は、利用者の感情決定の精度を向上させ得る関連情報を考慮に入れることもできない。例えば、いくつかのシステムおよび方法は、瞬目を感情の指標と判断するときに、上記潜在的価値に影響を与えることができない。他の現行のシステムおよび方法は、感情を決定し、かつ／または、疑わしい感情を確認する際に、他の関連情報を使用することができない。従来手法の他の欠点には、中立の感情的反応を特定し、それを考慮に入れることができない点がある。

多くの現行システムは、利用者により着用されるか、あるいは利用者に付けられているアイトラッキング装置または他の装置を使用することが多い。アイトラッキング（および／または他の）技術のこのような侵襲的利用は、それ自体、利用者の感情状態に強い影響を与え、それにより、それらの結果を不必要に歪曲することがある。

上記および他の欠点は、公知のアイトラッキング・システムおよび感情検出方法に存在する。

本発明の一態様は、上記および他の既存の問題を解決することに関わる。一実施形態によると、本発明は、例えば、瞳孔サイズ、瞬目の性質、および視線位置（または注視点）の性質、あるいは他の性質を含め、利用者の眼球性質を組み合わせたものを解析することにより、人間の感情を決定するシステムおよび方法に関わる。本明細書に記述される測定された眼球性質は、感情的反応の強さを決定するためだけでなく、正の感情的反応（例えば、快、または、「好き」）、中立の感情的反応、および負の感情的反応（例えば、不快、または「嫌い」）を区別するためにも、使用されることがある。

本明細書に用いられる「利用者（user）」は、例えば、本発明のシステムおよび方法が、それぞれ、臨床用途（例えば、広告またはマーケッティングの研究または調査など）に利用されるか、心理学の研究に利用されるかどうかに応じて、回答者であるか、あるいは被験者をさすことがある。任意の特定のデータ収集および／または解析セッションにおいて、利用者は、積極的な参加者（例えば、指示に応じる参加者、眺める参加者、かつ／または、目に見えようと目に見えまいと様々な刺激に反応する参加者など）、あるいは、受動的な個人（例えば、データが収集されていることに気づいていない個人、刺激が与えられない個人、など）を含むことがある。本発明のシステムおよび方法の特定の用途に応じて、「利用者」に対して、さらなる名称が使用されることがある。

一実施形態では、本発明のシステムおよび方法は、利用者に与えられた様々な刺激を知覚しながら、他のデータの中でも、利用者の眼球性質を解析することで、そのような刺激の感情的影響を測定するように構成されることがある。この刺激は、任意の現実の刺激、あるいは、公知の技術または後に開発される技術を介して、利用者に与えられる任意のアナログ刺激または電子刺激を含む。利用者の五感（視覚、聴覚、嗅覚、味覚、触覚）のどれか１つまたは複数の感覚に関して、刺激を任意に組み合わせたものが与えられる。

与えられた刺激の感情的影響を測定できることにより、様々なタイプのコンテンツまたは他のインタラクション・シナリオへの感情的反応がより良く理解される。したがって、本発明は、任意の数の調査、研究、インタラクション・シナリオでの使用のため、あるいは、他の用途のためにカスタマイズされることがある。模範的な例示として、広告主は、どのタイプの広告コンテンツが正の感情的反応を引き出すのかより良く理解するために、利用者に様々な広告刺激を与えたいと思うことがある。同様に、刺激パッケージは、セキュリティ・アプリケーション、安全アプリケーション、人間工学（エルゴノミクス）、エラー防止の開発だけでなく、製品の設計、コンピュータゲームの設計、フィルム解析、メディア解析、ヒューマン・コンピュータ・インターフェースの開発、ｅラーニング・アプリケーションの開発、ホームエンターテインメント・アプリケーションの開発にも関わっている人による使用のために、あるいは、診断および／または最適化研究に関する医学用途のために、カスタマイズされる。刺激パッケージは、様々な他の分野または他の目的でもカスタマイズされることがある。

本発明の一態様によると、データを得る前に、セットアップ・較正プロセスが行われることがある。データ収集セッションの間に利用者に様々な刺激が与えられることになっている場合には、セットアップ中に、管理者または他の個人は、新たな刺激パッケージを作り出すか、あるいは、既存の刺激パッケージを検索および／または修正する。上に挙げたように、利用者の五感のどれか１つまたは複数の感覚に関して、刺激を任意に組み合わせたものが利用される。

このセットアップ・プロセスはさらに、一般の利用者情報（例えば、名前、年齢、性別など）、およびノイズをもたらすなどして、どんなセンサの読みにもマイナスの影響を与えるかもしれない任意の植え込まれた医療装置に関する情報を含む一般の健康情報、目に関係する情報（例えば、コンタクトレンズの使用、メガネの使用、任意のレーザ矯正眼科手術、緑内障または他の状態の診断または治療）、および、媒体、広告などを含む任意の数の品目について一般的な知覚または感情（例えば、好き、または嫌い）に関する情報を含む、利用者用のユーザー・プロファイルを作成することも含むことがある。ユーザー・プロファイルには、他の情報も含められることがある。

一実施例では、較正は、環境（および／または状況）に合わせて様々なセンサを調整すること、この環境内の利用者に合わせて様々なセンサを調整すること、および、この環境内の利用者に基準となる感情レベルを決定することを含む。

例えば、部屋、自動車、シミュレータなどの環境、または他の環境に合わせて較正しようとするときに、周囲の状態（例えば、光、ノイズ、温度など）は、これらの周囲の状態か、様々なセンサ（例えば、カメラ、マイク、においセンサなど）か、その一方または両方を適宜に調整するように測定されて、有意味のデータ（不在ノイズ）を確実に得られるようにする。

さらに、較正中に、上記環境内の利用者に合わせて、１つまたは複数のセンサも調整する。例えば、アイトラッキング・データの収集では、アイトラッキング装置が、利用者の左目、右目、または両目のいずれかを、遮るものなく見えるように、このアイトラッキング装置に対して相対的に、利用者を位置づける。このアイトラッキング装置は、利用者の身体には付けられないことがある。一部の実施例では、このアイトラッキング装置は利用者には目に見える。他の実施例では、利用者が、このアイトラッキング装置のあることに気づかないように、このアイトラッキング装置を目立たないように位置づける。これは、アイトラッキング装置があることに気づかずに変わっている利用者の感情状態のどんなインスタンス（事例）も緩和する（排除しない場合）のに役立つ。さらに他の実施例では、このアイトラッキング装置は、表示装置または他のユーザー・インターフェースに付けるか、あるいは、それらに組み込まれる。さらに他の実施例では、このアイトラッキング装置は、利用者により着用されるか、あるいは、任意の数の様々なインタラクション・シナリオ中に、或る環境において利用者が対話する対象物（例えば、ショッピングカート）に付けられる。

利用者の目の像が、鮮明で、ピントが合い、かつ、該当する眼球性質の追跡に適することを保証するために、このアイトラッキング装置を較正することがある。較正はさらに、所在周囲光のレベルを測定および／または調整して、利用者の瞳孔の任意の収縮または拡張が、「中立」範囲または正規範囲であると見なされる範囲に確実に入るようにすることも含む。一実施例では、この較正プロセスは、利用者の前方に位置づけられた表示装置上に表示されたビジュアル・インジケータ（視覚的な指標）の動きを、利用者が自分の目で追跡することを必要とする。このプロセスは、位置座標（例えば、ｘ、ｙ、ｚ、または他の座標）によって定められる通り、この表示装置上のどこを利用者が見ているのか決定するために、実行される。この点に関して、利用者用の枠組み（frame of reference）が設定される。

最適な条件のもとに利用者の発話を確実に得られるようにするために、発話または他の可聴入力用のマイク（または、他のオーディオ・センサ）も較正される（発話認識および／または音声認識用のハードウェアおよびソフトウェアとともに）。指および／または手のひらから皮膚導電率を測定するのに用いられる電気皮膚反応（ＧＳＲ）フィードバック計器も、呼吸数ベルトセンサ、ＥＥＧ電極とＥＭＧ電極、または他のセンサとともに較正される。触覚センサ、においセンサ、および他のセンサ、あるいは、様々な精神生理状態を監視する公知の技術が導入される。アイトラッキング・データとともに、公知の、あるいは後に開発される他の生理的技法および／または感情検出技法を使用して、本明細書に開示される感情検出技法を向上させる。

一実施例では、或る環境に合わせて、また、その環境内の利用者に合わせて、様々なセンサを同時に較正する。他の較正プロトコルも導入されることがある。

本発明の一態様によると、較正はさらに、利用者に基準となるデータを生成するために、公知のセンサ（例えば、ＧＳＲフィードバック計器、アイトラッキング装置など）を任意に組み合わせたものを使用して、利用者の感情状態（または、意識レベル）を決定することも含む場合がある。基準データは、利用されるセンサごとに、得られる。

一実施例では、較正はさらに、任意の刺激を測定するか、監視するか、あるいは与える前に、利用者が所望の感情状態（例えば、感情的に中立である状態、または他の所望の状態）にできるだけ近い状態にあることを確実にするために、利用者の感情状態を調整することも含む。一実施形態では、公知の感情モデルに基づいて、正の反応（例えば、快）、中立の反応、または負の反応（例えば、不快）を引き出すのに知られている刺激を利用者に与えながら、様々な生理的データを測定する。この刺激は、視覚的な刺激、あるいは、人体の他の４つの感覚のどれかに関係する刺激を含む。一例では、安らかになる声が利用者に向けられて、その利用者をくつろいだ精神状態に置くことがある。

一実施例では、この測定された生理的データは、眼球性質を含む。例えば、瞬目率パターン、瞳孔反応、注視点移動、および／または、他の眼球性質が所望のレベルに達するまで、利用者に、感情的に中立の刺激が与えられる。いくつかの実施形態では、較正は、利用者に対して、一回、行われ、また、較正データは、利用者用に作成されたユーザー・プロファイルとともに格納される。

本発明の他の態様によると、所望の任意の初期セットアップおよび／または較正が完了した後で、利用者に対してデータが収集されることがある。このデータ収集は、利用者に刺激を与えて、あるいは刺激を与えないで、行われる。利用者に刺激を与える場合には、収集データは、その与えられた刺激と同期化される。収集データは、眼球性質のデータ、あるいは、他の生理的データ、環境データ、および／または、他のデータを含む。

本発明の一態様によると、眼球性質データは、約５０Ｈｚにてサンプリングされるが、ただし、他のサンプリング周波数も使用されることがある。収集された眼球性質データは、利用者の瞳孔サイズ、瞬目の性質、視線位置（または注視点）の性質、あるいは、他の眼球性質に関するデータを含む。顔の表情（例えば、顔の筋肉の動き）に関するデータも収集される。収集された瞳孔データは、例えば、瞳孔サイズ、変化速度（収縮または拡張）、加速度（速度から得られることがある）、または、他の瞳孔データを含む。収集された瞬目データは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを含む。収集された注視点データは、例えば、サッカード、エクスプレス・サッカード、眼振、または他の注視点データを含む。上に挙げたいくつかの実施形態では、これらの性質は、利用者に刺激が与えられるのに応じて、測定される。この刺激は、視覚刺激、非視覚刺激、または、双方の刺激を組み合わせたものを含む。

本発明のシステムおよび方法は、利用者に与えられた様々な刺激の感情的影響を測定することに関連して、本明細書に述べられているとはいえ、本明細書に述べられる様々な作業は、刺激が与えられずに行われる場合があると理解されるべきである。したがって、この記述は、限定的なものと見なされるべきではない。

本発明の他の態様によると、収集データは、１つまたは複数の誤り検出・訂正（データ・クレンジング）技法を用いて処理されることがある。いくつかのセンサのそれぞれから収集されたデータに対して、様々な誤り検出・訂正技法が実施される。例えば、収集された眼球性質データに関しては、誤り訂正は、瞳孔の光調節を含む。例えば、瞳孔サイズの測定は、較正中にまだ考慮に入れられてない場合、あるいは、較正中に考慮に入れられる場合でも、光感度を考慮に入れるように訂正される。誤り訂正はさらに、瞬目誤り訂正、注視点誤り訂正、および、外れ値の検出と除去も含む。これらの事例では、利用者に刺激が与えられるときに、或る刺激（１つまたは複数）とは関係ないデータは、「外れ値」データと見なされて、抜き出される。他の訂正も実行されることがある。

本発明の一態様によると、データ処理はさらに、いくつかのセンサのそれぞれから収集されたデータから、該当する特徴を抜き出す（あるいは、決定する）ことも含む場合がある。例えば、収集された眼球性質データに関しては、特徴抽出は、該当する特徴に対して、瞳孔データ、瞬目データ、注視点データを処理することを含む。

瞳孔データを処理することは、例えば、刺激に応じて瞳孔サイズ（例えば、拡張または収縮）を決定すること、加速度（速度から得られることもある）だけでなく変化速度も決定すること（例えば、刺激に応じて、拡張または収縮がどれくらい速く行われるか決定する）を含む場合がある。例えば、最小の瞳孔サイズや最大の瞳孔サイズだけでなく、瞳孔の基準レベルや基準距離を含む瞳孔関係の他のデータも決定される。

本発明の一態様によると、瞬目データを処理することは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを決定することを含む場合がある。

注視点（または眼球運動）データの処理は、例えば、サッカード、エクスプレス・サッカード（例えば、速度が約１００°／秒よりも速いサッカード）、および眼振（目の急速な不随意運動）、あるいは、他のデータを解析することを含む場合がある。該当する特徴は、眼球運動の速度（°／秒）と方向、凝視時間（例えば、目が一点に集中する時間）、空間中の凝視場所（例えば、ｘ、ｙ、ｚ、または他の座標で定められる通り）、あるいは他の特徴を含む。

本発明の他の態様によると、データ処理はさらに、感情的反応解析エンジン（またはモジュール）からの１つまたは複数のルールを、収集および処理された眼球性質データ（または他のデータ）に施すことで、この処理されたデータからの感情手がかりを解読して、１つまたは複数の感情構成要素を決定することも含む場合がある。感情構成要素は、例えば、感情価、感情喚起、感情区分（または名称）、および／または感情タイプを含む。他の構成要素も決定されることがある。感情価は、所与の刺激への利用者の感情的反応が、正の感情的反応（例えば、快または「好き」）であるか、負の感情的反応（例えば、不快または「嫌い」）であるか、中立の感情的反応であるかどうかを示す。感情喚起は、所定の目盛（スケール）を用いて、この感情的反応の強さ、すなわち「感情的な強さ」を示すことを含む。

一実施例では、感情的反応解析エンジン（またはモジュール）において定義されるルールは、様々な眼球性質と、それらの性質の意味の調査に関して、確立された科学的な調査結果に基づく。例えば、利用者の感情価および感情喚起と、瞳孔サイズ、瞬目の性質、注視点などの眼球性質との間には、公知の関係がある。

この処理されたデータから決定されるさらなる感情構成要素は、感情区分（または名称）および／または感情タイプを含むことがある。感情区分（または名称）は、公知または所有者独自仕様（プロプライエタリ）の任意の感情モデルにおいて表される任意の数の感情をさすが、一方、感情タイプは、所与の刺激への利用者の感情的反応が本能的であるか、理性的であるかどうかを示す。

本発明の一態様によると、利用者が、所与の刺激への感情的反応を経験しているかどうかについて判定を下すことがある。一実施例では、処理されたデータを、較正中に収集および処理されたデータと比較して、較正中に測定された（または、得られた）感情的に中立の（または他の）状態から、何か変化が発生しているかどうか確かめる。他の実施例では、感情喚起が経験されていることの検出、あるいは、感情喚起が経験されているという決定（前述の特徴解読データ処理に基づいて）は、感情的反応を示す。感情的反応がまったく経験されていない場合には、データ収集が継続する。しかしながら、感情的反応が検出されている場合には、その感情的反応を評価する。

感情的反応を評価しているときに、その感情的反応が、本能に基づく反応を含むか、理性に基づく反応を含むかどうかについて判定が下される。刺激を知覚してから、まさに最初の数秒以内に、すなわち「見てすぐに」、辺縁系、さらに具体的に言えば扁桃核の活性化の結果として、基本的な感情（例えば、恐怖、怒り、悲しみ、喜び、嫌悪、関心、驚き）が観察される。これらの反応は、本能的なものと見なされる。例えば、フラストレーション、プライド、満足などの二次的な感情は、刺激を知覚してから、さらに長い期間（例えば、約１秒〜５秒）内に大脳皮質による理性的な処理からもたらされる。所与の刺激の理性的処理と感情的処理との間に、積極的な協働があるとはいえ、この本能的反応の重要性と、この本能的反応が人間の感情を表すことを考慮に入れることが好ましい。最初の期間（例えば、１秒）は、人間が所与の視覚刺激を好むか、嫌うかどうか本能的に自分で決めるに足る時間であることがたびたびある。この最初の期間は、大脳皮質が、その処理の最初の結果を戻し、かつ理性的な考えが支配する前に、その感情的な影響が実際に表される所である。

一実施形態により、感情的反応が本能的であるか、理性的であるかどうか判定するために、感情的反応解析エンジン（またはモジュール）からの１つまたは複数のルールが施されることがある。利用者の感情的反応が本能的反応であると判定される場合には、その感情的反応に対応するデータが、本能的な感情的影響モデルに施される。しかしながら、利用者の感情的反応が理性的反応から成っていると判定される場合には、その理性的反応に対応するデータが、理性的な感情的影響モデルに施される。

本発明の一態様によると、本能的な感情的反応と理性的な感情的反応が、様々なやり方で利用されることがある。このような利用の１つは、二次元表現、三次元表現、グラフ表現、または他の表現を用いて、本能的な感情的反応と理性的な感情的反応をマッピングする（対応付ける）ことを含む。いくつかの実施例では、これらのマップは、これらのマップを起こさせた刺激と同時に、また同期的に表示される。この点に関しては、有益な解析ツールが提供され、それにより、例えば、コンテンツの提供者は、その解析ツールが利用者から引き出す感情的反応のグラフ描写とともに、提案されたコンテンツの全部または一部を見ることができる。

収集および処理されたデータは、様々なやり方で提示されることがある。例えば、本発明の一態様によると、視覚刺激（例えば、絵）を利用者に与えている間、その視覚刺激上において、利用者の注視の大部分の対象であった範囲を強調表示する（あるいは、他の方法で図示する）ために、ゲイズ・プロットが作成される。上に挙げたように、注視点（または眼球運動）データの処理は、とりわけ、凝視時間（例えば、目が一点に集中する時間）と、空間中の凝視場所（ｘ、ｙ、ｚ、または他の座標で定められる通り）を決定することを含む。このような情報から、凝視点のクラスタが特定される。一実施例では、利用者に与えられた視覚画像または刺激にマスクが重ねられる。個々の視覚刺激に対応する、収集され、処理された注視点データに基づいて、凝視点のクラスタが決定されると、このマスクのうち、その決定された凝視点のクラスタに対応する部分を透明にして、この視覚刺激のうち、利用者がもっとも集中した部分だけを明らかにする。他のデータ提示（データ・プレゼンテーション）手法も導入されることもある。

一実施例では、結果は、結果として得られる感情マトリックスに対して形容詞を識別するのに役立つ形容詞データベースにマッピングされる。これは、結果を言葉で表現するか、あるいは、書くときに、１つまたは複数の標準化された（または特定業界向け）語彙で結果を表すのに役立つ。

本発明の他の態様によると、数人の利用者または被験者の感情的反応に基づく結果について、統計的解析が行われることがある。スキャン・パス解析、バックグラウンド変数解析、感情評価解析はそれぞれ、実施され得る様々なタイプの統計的解析の例である。他のタイプの統計的解析も実施されることがある。

本発明の一態様によると、ヒューマン・マシン対話形セッション中に、利用者入力データおよび／または他のデータに関して利用者の感情を考慮に入れることで、そのインタラクション（対話）が高められるか、あるいは、コンテンツが変更されることがある。本発明の上記手法を、様々な人工知能または知識ベースのシステムの用途に利用して、所望の人間の感情を高めるか、または抑制する。例えば、感情は、いくつかの刺激を選択して、与えることにより、起こされる。他の多数の用途が存在する。

用途に応じて、感情検出データ（または結果）は、例えば、データを報告書に織り込むか、データをディスクまたは他の公知の記憶装置に保存するか、ネットワーク（例えば、インターネット）上でデータを送るか、あるいは、他の方法で、データを提示または利用することで、公表されることがある。このデータはまた、任意の数の用途にも使用されるか、あるいは、他のやり方でも使用され、制約はない。

本発明の一態様によると、所与の刺激が利用者に与えられている間（あるいは、所与の刺激が利用者に与えられた後で）、その刺激に関して、さらに、口頭、文章、または他のコマンド・ベースの問合せに返答するように利用者に促すことがある。一例では、特定の刺激（例えば、絵）が利用者に表示される。所定の期間後に、利用者が、その刺激を正のもの（例えば、快）か、負のもの（例えば、不快）か、あるいは中立のものと認めたかどうか、および／または、その程度を示すよう、その利用者に指示する。別法として、このシステムは、利用者が特定の刺激（１つまたは複数）について意見を決めているときに、返答するように、その利用者に促すことがある。その意見を決めるのにかかった時間が格納されて、様々なやり方で利用される。利用者は、様々なアクションまたは身振りのどれか１つを通じて、例えば、表示装置上に現われるポップアップ・ウインドウでのマウス・クリックを介して、その返答を口頭でマイクに向かって話すことで、あるいは、他のアクションにより、選ばれたものを登録（記録）する。口頭の返答が望まれるときに、これらの実施形態に対して、公知の発話認識技術および／または音声認識技術が導入される。任意の数の感覚入力装置を通じて返答を要求するために利用するコマンド・ベースの問合せの数やタイプはどんなものであってもよい。この点に関しては、感情データとともに、コマンド・ベースの問合せへの返答に関するデータを含めることで、刺激の感情的影響の測定を向上させる。

本発明の一利点は、本発明が、本能的な「あらかじめ組み込まれた」感情認知的処理と、「さらにレベルの高い」理性的な感情認知的処理とを区別し、したがって、感情的影響試験において、「社会学習行動ノイズ」を排除することに役立つ点である。

本発明の他の利点は、本発明が、所与の刺激について、「真新しい」、「見てすぐの」、理解し易く、かつ解釈し易いデータを提供することである。

本発明の上記および他の目的、特徴、利点は、好ましい実施形態の詳細な説明、およびその説明に付けられた図面を通じて、明らかになろう。また、上記の一般的な説明と、以下の詳細な説明は両方とも、模範的なものであって、本発明の範囲を限定しないものと理解されたい。

図１は、本発明の一実施形態による、利用者の眼球性質を組み合わせたものを解析することで、人間の感情を決定する方法の一般的な概要を与えている図である。この方法は、利用者に与えられた様々な感情的影響を測定することに関連して述べられているとはいえ、本明細書に述べられる様々な作業は、刺激が与えられずに行われる場合があると理解されるべきである。一部の用途では、これらの作業をすべて行う必要があるとは限らない。他の用途では、図１に示される作業の一部または全部とともに、追加作業が行われることがある。一部の実施例では、１つまたは複数の作業が、同時に行われる。したがって、本記述は、模範的なものと見なされるべきであり、限定的なものであってはならない。

図１に示される作業を可能にする様々な構成要素の例は、図の種々のものを１つ１つ参照して、以下でさらに詳しく説明する。これらの構成要素はすべて必要であるとは限らない。ときには、これらの開示された構成要素の一部または全部と一緒に、追加構成要素が使用されることがある。同等な様々のものも使用できる。

本発明の一態様によると、データを収集する前に、工程４において、セットアップおよび／または較正プロセスが行われることがある。一実施例では、データ収集セッションの間に利用者に刺激が与えられることになっている場合には、管理者または他の個人は、新たな刺激パッケージを作り出すか、あるいは、既存の刺激パッケージを検索および／または修正する。刺激パッケージは、例えば、利用者の五感（視覚、聴覚、嗅覚、味覚、触覚）のどれか１つまたは複数の感覚に関して、刺激を任意に組み合わせたものを含む。この刺激は、任意の現実の刺激、あるいは、公知の技術を介して利用者に与えられる任意のアナログ刺激または電子刺激を含む。刺激はさらに、例えば、自動車を運転するか、または自動車に乗ったり、映画を見たりすることなど、生のシナリオも含む。また、様々な刺激を組み合わせて、シミュレータまたは他の制御された環境において、様々な生のシナリオをシミュレーションする。

工程４はさらに、新規利用者用のユーザー・プロファイルを作成し、かつ／または、既存の利用者用のプロファイルを修正することも含むことがある。ユーザー・プロファイルは、名前、年齢、性別、または他の一般情報を含め（ただし、それらには限定されない）、一般の利用者情報を含む。目に関係する情報も、ユーザー・プロファイルに含まれ、その情報は、レーザ矯正眼科手術などのような任意の先行処置だけでなく、コンタクトレンズまたはメガネの任意の使用に関する情報も含む。例えば、緑内障または他の状態の任意の診断（あるいは、その治療）などの目に関係する他の情報も提供される。一般の健康情報も、ユーザー・プロファイルに含まれ、その健康情報は、ノイズをもたらすなどして、データ収集中に、どんなセンサの読みにもマイナスの影響を与えるかもしれない任意の植え込まれた医療装置（例えば、ペースメーカ）に関する情報を含む。さらに、利用者はまた、例えば、視覚媒体、広告などを含む任意の数の品目について一般的な知覚または感情（例えば、好き、嫌い）を与えるか、あるいは登録（記録）するように、促される。ユーザー・プロファイルには、他の情報も含められることがある。

本発明の一態様によると、工程４において、例えば、環境（および／または状況）に合わせて様々なセンサを調整すること、この環境内の利用者に合わせて様々なセンサを調整すること、および、この環境内の利用者に基準となる感情レベルを決定することを含む様々な較正プロトコルが導入されることがある。

特定の環境（および／または状況）に合わせて様々なセンサを調整または較正することは、この環境において、周囲の状態またはパラメータ（例えば、輝度、バックグラウンドノイズ、温度など）を測定することと、必要であれば、周囲の状態か、様々なセンサ（例えば、カメラ、マイク、においセンサ、触覚センサ、生体物理（バイオフィジカル）センサなど）か、または両方を調整して、有意味のデータを確実に得られるようにすることを含む場合がある。

較正中に、この環境内の利用者に合わせて、１つまたは複数のセンサも調整（または較正）することがある。例えば、アイトラッキング・データを得るために、アイトラッキング装置が、利用者の左目、右目、または両目のいずれかを、遮るものなく見えるように、このアイトラッキング装置に対して相対的に、利用者を位置づける（すわるか、立つか、あるいは、他の方法で）。いくつかの例では、このアイトラッキング装置は、利用者の身体には付けないことがある。一部の実施例では、このアイトラッキング装置は、利用者には目に見えるように位置づけられる。他の実施例では、利用者が、このアイトラッキング装置のあることに気づかずに、利用者の眼球性質を追跡できるようにするやり方で、このアイトラッキング装置を人目につかないように位置づける。この点に関しては、このアイトラッキング装置のあることに気づかずに、利用者の感情状態が変更されるかもしれないどんな可能性も、意識的であれ、無意識的であれ、最小限に抑えられる（排除されない場合）。他の実施例では、このアイトラッキング装置は、表示装置に付けられるか、あるいは、表示装置に組み込まれる。

しかしながら、さらに他の実施例では、このアイトラッキング装置は、利用者により着用されるか、あるいは、様々なインタラクション・シナリオ中に、或る環境において利用者が対話する対象物に付けられる。

本発明の一態様によると、利用者の単眼または両眼の像が、鮮明で、ピントが合い、かつ、該当する眼球性質の追跡に適することを確かにするために、このアイトラッキング装置を較正することがある。所在周囲光のレベルも、適宜に測定および調整して、利用者の瞳孔の任意の収縮または拡張が、「中立」範囲または正規範囲であると見なされる範囲に確実に入るようにする。一実施例では、較正中、利用者の前方に位置づけられた表示装置上に表示されたビジュアル・インジケータの動きを、自分の目で追跡するように利用者に指示して、位置座標（例えば、ｘ、ｙ、ｚ、または他の座標）によって定められる通り、この表示装置上のどこを利用者が見ているのか決定する。この点に関して、利用者用の枠組みが設定される。一実施例では、このビジュアル・インジケータは、様々な形状、サイズ、または色を呈する。このビジュアル・インジケータの様々な属性は、較正を行っている間、変わらないか、あるいは、変化する。他の較正方法も使用される。

さらに、工程４において、利用者に対して、他のセンサをいくつでも較正してもよい。例えば、最適な条件のもとに利用者の発話を確実に得られるようにするために、発話または他の可聴入力用のマイク（または、他のオーディオ・センサ）が較正されることがある。必要に応じて、発話認識および／または音声認識用のハードウェアおよびソフトウェアも較正されることがある。呼吸数ベルトセンサ、ＥＥＧ電極とＥＭＧ電極、指および／または手のひらから皮膚導電率を測定するのに用いられる電気皮膚反応（ＧＳＲ）フィードバック計器も、触覚センサ、においセンサ、または他の任意のセンサ、あるいは、様々な精神生理状態を監視する公知の技術とともに、較正される。アイトラッキング・データとともに、公知の、あるいは後に開発される他の生理的技法および／または感情検出技法（およびセンサ）を使用して、本明細書に開示される感情検出技法を向上させる。

一実施例では、或る環境に合わせて、また、その環境内の利用者に合わせて、様々なセンサを同時に較正する。他の較正プロトコルも導入される。

本発明の一態様によると、工程４において、較正はさらに、利用者に基準となるデータを生成するために、公知のセンサを任意に組み合わせたものを使用して、利用者の現在の感情状態（または、意識レベル）を決定することも含む場合がある。基準データは、利用されるセンサごとに、得られる。

一実施例では、工程４において、任意の刺激を測定するか、監視するか、あるいは与える前に、利用者が所望の感情状態（例えば、感情的に中立である状態、または他の所望の状態）にできるだけ近い状態にあることを確実にするために、利用者の感情レベルも調整する場合がある。例えば、公知の感情モデルに基づいて、正の反応（例えば、快）、中立の反応、または負の反応（例えば、不快）を引き出すのに知られている画像または他の刺激を利用者に与えながら、様々な生理的データを測定する。一例では、眼球性質を測定する場合に、瞬目率パターン、瞳孔反応、衝動性眼球運動、および／または、他の眼球性質が所望のレベルに達するまで、利用者に、感情的に中立の刺激が与えられる。人体の五感のどれかに関係するただ１つの刺激または刺激の組合せが利用者に与えられる。例えば、一実施例では、安らかになる声が利用者に向けられて、その利用者をくつろいだ精神状態に置く。この安らかになる声には、心地よい視覚刺激または他の刺激がともなう（あるいは、ともなわない）。

本発明のいくつかの実施形態によると、較正は、利用者に対して、一回、行われる。それぞれの利用者に対する較正データは、その利用者用に作成されたユーザー・プロファイルとともに（あるいは、そのユーザー・プロファイルとは別に）格納される。

本発明の一態様によると、所望の任意のセットアップおよび／または較正が完了すると、利用者に対してデータが収集されることがある。このデータ収集は、利用者に刺激を与えて、あるいは刺激を与えないで、行われる。例えば、工程８において、データ収集中に利用者に刺激が与えられるかどうかについて判定が下される。利用者への与えられた刺激の感情的影響に関するデータが要望されると判定が下される場合には、工程１２において、利用者に刺激が与えられ、また、工程１６において、データが収集される（以下に述べられる）。これと対照的に、工程８において、利用者に刺激が与えられないと判定が下される場合には、工程１６において、データ収集が行われる。

工程１６において、利用者に対してデータが収集される。収集データは、眼球性質データまたは他の生理的データ、環境データ、および／または、他のデータを含む。利用者に刺激が与えられる場合には（工程１２）、収集データは、その与えられた刺激と同期化される。

本発明の一態様によると、眼球性質データは、約５０Ｈｚにて、あるいは別の適切なサンプリングレートにてサンプリングされることがある。収集された眼球性質データは、利用者の瞳孔サイズ、瞬目の性質、視線位置（または注視点）の性質、あるいは、他の眼球性質に関するデータを含む。収集された瞳孔データは、瞳孔サイズ、変化速度（収縮または拡張）、加速度（速度から得られることがある）、または、他の瞳孔データを含む。収集された瞬目データは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを含む。収集された注視点データは、例えば、サッカード、エクスプレス・サッカード、眼振、または他の注視点データを含む。顔の筋肉の動き（すなわち、一般に顔の表情）に関するデータも収集される。

本発明の一態様によると、工程１６において収集されたデータは、工程２０において、１つまたは複数の誤り検出・訂正（データ・クレンジング）技法を用いて処理されることがある。データ収集中に使用されたセンサのそれぞれから収集されたデータに対して、様々な誤り検出・訂正技法が導入される。例えば、収集された眼球性質データに関しては、誤り訂正は、瞳孔の光調節を含む。例えば、瞳孔サイズの測定は、較正中にまだ考慮に入れられてない場合、あるいは、較正中に考慮に入れられる場合でも、光感度を考慮に入れるように訂正される。誤り訂正はさらに、瞬目誤り訂正、注視点誤り訂正、および、外れ値の検出と除去も含む。これらの事例では、利用者に刺激が与えられるときに、或る刺激（１つまたは複数）とは関係ないデータは、「外れ値」データと見なされて、抜き出される。他の訂正も実行されることがある。

工程２４において、データ処理はさらに、いくつかのセンサによって収集されたデータから、該当する特徴を抜き出す（あるいは、決定する）ことも含む場合がある。収集された眼球性質データに関しては、特徴抽出は、該当する特徴に対して、瞳孔データ、瞬目データ、注視点データを処理することを含む。

工程２４において、瞳孔データを処理することは、例えば、刺激に応じて瞳孔サイズ（例えば、拡張または収縮）を決定することを含む場合がある。瞳孔データを処理することはさらに、速度から得られる加速度だけでなく、変化速度、すなわち、刺激に応じて拡張または収縮がどれくらい速く行われるかも決定することも含む。例えば、最小の瞳孔サイズや最大の瞳孔サイズだけでなく、瞳孔の基準レベルや基準距離を含む瞳孔関係の他のデータも決定される。

工程２４において、瞬目データを処理することは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを決定することを含む場合がある。瞬目回数の測定は、突然の瞬目活動間のタイムフレームを決定することを含む。

瞬目持続時間（例えば、ミリ秒で表す）はまた、注意の瞬目を生理的な瞬目と区別するように処理されることがある。５つの瞬目パターンが、それらの持続時間に基づいて区別される。中立の瞬目は、較正中に測定される瞬目に相当するものと分類される。長い瞬目間隔は、注意の高まりを示すが、一方、短い瞬目は、利用者が情報を探している可能性があることを示す。非常に短い瞬目間隔は混乱状態を示すが、一方、半分の瞬目は、警戒感が高められた徴候として役立つ。瞬目の速度は、眼球の見える大きさがどれくらい速く変化しているのかをさすが、一方、瞬目の大きさは、まばたきしながら、眼球がどれほど見えるのかをさしている。

工程２４において、注視点（または眼球運動）データの処理は、例えば、サッカード、エクスプレス・サッカード（例えば、速度が約１００°／秒よりも速いサッカード）、および眼振（目の急速な不随意運動）、あるいは、他のデータを解析することを含む場合がある。該当する特徴は、眼球運動の速度（°／秒）と方向、凝視時間（例えば、目が一点に集中する時間）、空間中の凝視場所（例えば、ｘ、ｙ、ｚ、または他の座標で定められる通り）、あるいは、凝視エリアへの戻り、関連性、奥行き評価用の両眼連動、スキャン活動を含む他の特徴を含む。

本発明の一態様によると、工程２８において、データ処理は、感情的反応解析エンジン（またはモジュール）からの１つまたは複数のルールを、（工程１６、工程２０、工程２４において）収集および処理された眼球性質データに施すことで、この処理されたデータからの感情手がかりを解読して、１つまたは複数の感情構成要素を決定することを含む場合がある。感情構成要素は、例えば、感情価、感情喚起、感情区分（または名称）、および／または感情タイプを含む。他の構成要素も決定されることがある。

感情価は、所与の刺激への利用者の感情的反応が、正の感情的反応（例えば、快または「好き」）であるか、負の感情的反応（例えば、不快または「嫌い」）であるか、中立の感情的反応であるかどうかを示すために、使用されることがある。

感情喚起は、所定の目盛（スケール）を用いて、この感情的反応の強さ、すなわち「感情的な強さ」を示すことを含む場合がある。例えば、一実施例では、この値は、負から正までの目盛で定量化される。その場合、ゼロは中立の反応を示す。他の測定目盛も導入されることがある。

一実施例により、感情的反応解析エンジン（またはモジュール）において定義されるルールは、様々な眼球性質と、それらの性質の意味の調査に関して、確立された科学的な調査結果に基づく。例えば、瞳孔サイズと感情喚起との間には関係がある。さらに、利用者の感情価と瞳孔拡張との間にも関係がある。例えば、不快、すなわち負の反応により、瞳孔は、快または中立の反応よりも大きく拡張する。

瞬目の性質はまた、利用者の感情価と感情喚起を定めるのにも役立つ。感情価に関して、不快な反応は、速くて、半ば閉じた瞬目で表現される。これと対照的に、快、すなわち正の反応は、長くて、閉じた瞬目をもたらす。負、すなわち望ましくない刺激は、頻繁な驚き瞬目をもたらすが、一方、快、すなわち正の刺激は、著しい驚き瞬目をもたらすことはない。感情喚起は、例えば、瞬目の速度を考慮に入れることで、評価される。さらに強い感情的反応があるときには、さらに速い瞬目が行われる。

視線位置と眼球運動はまた、感情手がかりを推定するのに用いられる。利用者が、特定の刺激、または刺激の一部に視線を集中する時間を測定することで、利用者の反応が正（例えば、快）であるか、負（例えば、不快）であるかどうかについて、判定を下すことができる。例えば、ある特定の刺激をじっと見つめる利用者は、この刺激への正（すなわち、快）の反応を示すが、一方、利用者が、すばやく刺激から目をそらす場合には、負（すなわち、不快）の反応が暗示される。

この処理されたデータから決定されるさらなる感情構成要素は、感情区分（または名称）および／または感情タイプを含むことがある。

感情区分（または名称）は、公知または所有者独自仕様（プロプライエタリ）の任意の感情モデルにおいて表される任意の数の感情（例えば、喜び、悲しみ、期待、驚き、信頼、嫌悪、怒り、恐怖など）をさす。感情タイプは、所与の刺激への利用者の感情的反応が本能的であるか、理性的であるかどうかを示す。

本発明の一態様によると、工程３２において、利用者が所与の刺激への感情的反応を経験しているかどうかについて、判定が下されることがある。一実施例では、処理されたデータを、較正中に収集および処理されたデータと比較して、較正中に測定された（または、得られた）感情的に中立の（または他の）状態から、何か変化が発生しているかどうか確かめる。他の実施例では、（前述の特徴解読データ処理に基づいて）感情喚起が経験されていることの検出、あるいは、感情喚起が経験されているという決定が、感情的反応を示す。

工程３２において、感情的反応がまったく経験されていないと判定が下される場合には、工程３６において、データ収集を継続すべきかどうかについて判定が下される。さらなるデータ収集が要望される場合には、処理は、工程８（上述）に進む。さらなるデータ収集がまったく要望されない場合には、処理は、工程６８において終了する。

しかしながら、工程３２において、感情的反応が検出されていると判定が下される場合には、その感情的反応が評価される。例えば、工程４０において、その感情的反応が、本能に基づく反応を含むか、理性に基づく反応を含むかどうかについて判定が下される。刺激を知覚してから、まさに最初の数秒以内に、すなわち「見てすぐに」、辺縁系、さらに具体的に言えば扁桃核の活性化の結果として、基本的な「本能的」感情（例えば、恐怖、怒り、悲しみ、喜び、嫌悪、関心、驚き）が観察される。例えば、フラストレーション、プライド、満足などの二次的な感情は、刺激を知覚してから、約１秒〜５秒のタイムフレーム内に大脳皮質の理性的な処理からもたらされる。よって、所与の刺激の理性的処理と感情的処理との間に、積極的な協働があるとはいえ、この「見てすぐ」の重要性と、この「見てすぐ」が人間の感情を表すことを考慮に入れることが好ましい。

この点に関しては、収集データは、与えられた刺激と同期化されて、収集データのどの部分が、どの与えられた刺激に対応するのか判定できるようにする。例えば、第１の刺激（例えば、第１の視覚画像）が、所定期間の間、利用者に表示される場合には、収集データのその対応する持続時間は、収集データのその持続時間が、第１の画像への利用者の反応から得られる眼球性質に対応することを示すメタデータ（あるいは、何か他のデータ・レコード）を含む。いくつかの実施例では、その所定持続時間の最初の１秒くらいが、徹底的に解析される。最初の期間（例えば、１秒）は、人間が所与の刺激を好むか、嫌うかどうか本能的に自分で決めるに足る時間であることがたびたびある。この最初の期間は、大脳皮質が、その処理の最初の結果を戻し、かつ理性的な考えが支配する前に、その感情的な影響が実際に表される所である。

本発明の一態様によると、工程４０において、感情的反応が本能的であるか、理性的であるかどうか判定するために、感情的反応解析エンジン（またはモジュール）からの１つまたは複数のルールが施されることがある。例えば、突然の瞳孔拡張、さらに小さい瞬目サイズ、および／または、他の性質は、本能的な反応を示すが、一方、拡張のピークと、さらに大きい瞬目サイズは、理性的な反応を示す。他の定義済みルールも適用されることがある。

工程４０において、利用者の感情的反応が本能的反応であると判定される場合には、工程４４において、その感情的反応に対応するデータが、本能的な感情的影響モデルに施されることがある。

これと対照的に、工程４０において、利用者の感情的反応が理性的反応から成っていると判定される場合には、工程５２において、その理性的反応に対応するデータが、理性的な感情的影響モデルに施されることがある。

本明細書に述べられるシステムおよび方法で利用できる公知の感情モデルのいくつかの例には、エクマン（Ekman）モデル、プルチック（Plutchik）モデル、イザード（Izard）モデルがある。エクマンモデルの感情は、怒り、嫌悪、恐怖、喜び、悲しみ、驚きなどの顔の表情に関係がある。プルチックモデルは、エクマンモデルの基本的感情を、容認、怒り、期待、嫌悪、喜び、恐怖、悲しみ、驚きまで広げている。イザードモデルは、怒り、軽蔑、嫌悪、恐怖、罪悪感、関心、喜び、恥ずかしさ、驚きを区別している。

本発明の一実施例では、工程４８と工程５６において、本能的な感情的反応と理性的な感情的反応がそれぞれ、様々なやり方（例えば、二次元表現または三次元表現、グラフ表現、あるいは、他の表現）でマッピングされる。いくつかの実施例では、これらのマップは、これらのマップを起こさせた刺激と同時に、また同期的に表示される。この点に関しては、有益な解析ツールが提供され、それにより、例えば、コンテンツの提供者は、その解析ツールが利用者から引き出す感情的反応のグラフ描写とともに、提案されたコンテンツの全部または一部を見ることができる。

工程６０において、用途に応じて、感情検出データ（または結果）は、公表されるか、あるいは他の方法で出力される。公表は、例えば、データを報告書に織り込むか、データをディスクまたは他の公知の記憶装置に保存するか、ネットワーク（例えば、インターネット）上でデータを送るか、あるいは、他の方法で、データを提示または利用することを含む場合がある。このデータは、任意の数の用途にも使用されるか、あるいは、他のやり方でも使用され、制約はない。

本発明の一実施形態は、図１に示される方法の一般的な概要には示されていないが、この実施形態はさらに、所与の刺激が利用者に与えられている間（あるいは、所与の刺激が利用者に与えられた後で）、その刺激に関して、コマンド・ベースの問合せに返答するように利用者に促すことも含む場合がある。このようなコマンド・ベースの問合せは、口頭、文章、または他の方法で行われる。一実施例では、例えば、特定の刺激（例えば、絵）が利用者に表示される。所定の期間後に、利用者が、その刺激を正のもの（例えば、快）か、負のもの（例えば、不快）か、あるいは中立のものと認めたかどうか、および／または、その程度を選択するよう、その利用者に指示する。

別法として、いくつかの実施例では、利用者が特定の刺激（１つまたは複数）について意見を決めているときに、返答するように、その利用者に促す。その意見を決めるのにかかった時間が格納されるか、あるいは、様々なやり方で利用される。利用者は、様々なアクションまたは身振りのどれか１つを通じて、例えば、表示装置上に現われるポップアップ・ウインドウでのマウス・クリックを介して、その返答を口頭でマイクに向かって話すことで、あるいは、他のアクションにより、選ばれたものを登録（記録）する。口頭の返答が望まれるときに、これらの実施形態に対して、公知の発話認識技術および／または音声認識技術が導入される。任意の数の感覚入力装置を通じて返答を要求するために利用するコマンド・ベースの問合せの数やタイプはどんなものであってもよい。この点に関しては、感情データとともに、コマンド・ベースの問合せへの返答に関するデータを含めることで、刺激の感情的影響の測定を向上させる。様々なさらなる実施形態が、以下でさらに詳細に述べられる。

利用者の眼球性質の組合せを解析することで、人間の感情を決定する方法の概要を与えた後で、図１に示される作業を可能にする様々な構成要素を、次に説明する。

図２に示される本発明の一実施形態によると、利用者の眼球性質の組合せを解析することで、人間の感情を決定するシステム１００が提供される。一実施形態では、システム１００は、利用者の眼球性質を解析することで、利用者に与えられた刺激の感情的影響を測定するように構成される。システム１００は、コンピュータ１１０、アイトラッキング装置１２０、表示装置１３０を含み、しかも、それらの装置が、動作可能に互いにやり取りしている。

コンピュータ１１０は、パーソナルコンピュータ、携帯型コンピュータ（例えば、ラップトップ・コンピュータ）、プロセッサ、または他の装置を含む。図３に示されるように、コンピュータ１１０は、バス１１５を介して電気的に結合されたプロセッサ１１２、インターフェース１１４、メモリ１１６、記憶装置１１８を含む。メモリ１１６は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、または、他のメモリを含む。メモリ１１６は、プロセッサ１１２で処理されるデータだけでなく、プロセッサ１１２で実行されるコンピュータ実行命令も格納する。記憶装置１１８は、コンピュータ実行命令および／またはデータを格納するフロッピー（登録商標）ディスク、ハードディスク、光ディスク、テープ、または他の公知の記憶装置を含む。

図４を参照すると、インターフェース１１４は、利用者に刺激を与えるのに用いられる表示装置１３０のインターフェースを含む。インターフェース１１４はさらに、アイトラッキング装置１２０、キーボード１４０、マウス１５０、１つまたは複数のマイク１６０、１つまたは複数のにおいセンサ１７０、１つまたは複数の触覚センサ１８０、および他のセンサ１９０を含め、利用者から感覚入力情報を得るのに用いられる周辺装置のインターフェースも含む。他のセンサ１９０は、指および／または手のひらから皮膚導電率を測定するのに用いられる呼吸数ベルトセンサ、ＥＥＧ電極、ＥＭＧ電極、電気皮膚反応（ＧＳＲ）フィードバック計器を含むが、それらには限定されない。公知の、あるいは後に開発される他の生理的センサおよび／または感情検出センサが使用される。インターフェース１１４はさらに、プリンタ、表示モニタ（表示装置１３０とは別に）、外部ディスクドライブまたはデータベースなどの他の装置のインターフェースも含む。

本発明の一態様によると、アイトラッキング装置１２０は、利用者の様々な眼球性質を記録する（または追跡する）カメラまたは他の公知のアイトラッキング装置から成っていることがある。以下でさらに詳しく説明される通り、アイトラッキング装置１２０で追跡される眼球性質の例は、瞳孔サイズ、瞬目の性質、視線位置（または注視点）の性質、あるいは他の性質を含む。アイトラッキング装置１２０は、利用者に及ぼす影響をできるだけ少なくするように選択された邪魔にならない着用不能な装置から成っている。一部の実施例では、アイトラッキング装置１２０は、利用者に見えるように位置づけられる。他の実施例では、利用者が、アイトラッキング装置１２０のあることに気づかずに、利用者の眼球性質を追跡できるようにするやり方で、このアイトラッキング装置１２０を人目につかないように位置づける。

本発明の一態様によると、アイトラッキング装置１２０は、利用者の身体には付けないことがある。この点に関しては、アイトラッキング装置１２０のあることに気づかずに、利用者が、（刺激への）自分の反応を変更するどんな可能性も、意識的であれ、無意識的であれ、最小限に抑えられる（排除されない場合）。

アイトラッキング装置１２０はまた、表示装置１３０に付けるか、あるいは、表示装置１３０に組み込まれる（例えば、携帯電話の中のカメラと同様に）ことがある。一実施例では、アイトラッキング装置１２０および／または表示装置１３０は、Tobii Technology ABから市販されている「Tobii 1750 eye-tracker」から成っている。他の市販のアイトラッキング装置および／またはアイトラッキング技術は、本明細書に述べられる様々な構成要素の代わりに使用されるか、あるいは、それらの構成要素と一体化される。

別の実施例によると、アイトラッキング装置１２０は、利用者により着用されるか、あるいは、様々なインタラクション・シナリオ中に、或る環境において利用者が対話する対象物に付けられる。

本発明の一態様によると、表示装置１３０は、グラフィカル・ユーザー・インターフェース（ＧＵＩ）を介して、利用者に視覚（または他の）刺激を与えるための、モニタまたは他の表示装置を含むことがある。以下でさらに詳しく説明される通り、視覚刺激は、例えば、絵、アートワーク、図表、グラフ、映画、マルチメディア的提示、対話形のコンテンツ（例えば、ビデオゲーム）またはシミュレーション、あるいは、他の視覚刺激を含むことがある。

一実施例では、コンピュータ１１０に結合された表示モニタに加えて、表示装置１３０が備えられる。代替実施例では、表示装置１３０は、コンピュータ１１０に結合された表示モニタを含む。

図４に示されるように、コンピュータ１１０は、様々なセンサから利用者に関して収集されたデータを解析することで、人間の感情を決定する１つまたは複数のモジュールを含むアプリケーション２００を実行する。アプリケーション２００はさらに、利用者に刺激を与えるように、また与えられた刺激の感情的影響を測定するように構成される。アプリケーション２００は、ユーザー・プロファイル・モジュール２０４、較正モジュール２０８、コントローラ２１２、刺激モジュール２１６、データ収集モジュール２２０、感情的反応解析モジュール２２４、コマンド・ベースの反応解析モジュール２２８、マッピング・モジュール２３２、データ処理モジュール２３６、言語モジュール２４０、統計モジュール２４４、および他のモジュールを含み、しかも、それらのモジュールがそれぞれ、様々な特徴および機能（本明細書に述べられる）を実装する。アプリケーション２００を構成するモジュールの１つまたは複数は、組み合わされる。いくつかの目的では、すべてのモジュールが必要であるとは限らない。

アプリケーション２００の様々な特徴および機能は、表示装置１３０、またはコンピュータ１１０に結合された表示モニタの一方、または両方に表示されたＧＵＩを介して、利用者、管理者、または他の個人によりアクセスされ、ナビゲートされる。アプリケーション２００の上記の特徴および機能はまた、別のコンピュータまたはプロセッサにより制御される。

様々な実施形態では、本明細書に述べられる機能は、ソフトウェアに加えて、またはソフトウェアの代わりに、ハードウェアおよび／またはファームウェアの様々な組合せで実行されることがあると理解されよう。

一実施形態によると、コンピュータ１１０は、アプリケーション２００をホストする。代わりの実施形態（図示されてない）では、アプリケーション２００は、サーバによりホストされる。コンピュータ１１０は、任意の数の公知通信リンクを介して、ネットワーク（例えば、インターネット、イントラネットなど）上で、このサーバのアプリケーション２００にアクセスする。この実施形態では、本発明は、このサーバとコンピュータ１１０の両方において、実行命令として格納されたソフトウェアで実行される。導入される特定タイプのクライアント／サーバ・アーキテクチャに応じて、他の実施例および構成があるかもしれない。

他の様々なシステム構成が使用されることがある。したがって、本記述は、模範的なものと見なされるべきであり、限定的なものであってはならない。

一実施例では、管理者または作業者は、初期セットアップ／較正プロセスとデータ収集セッションの一方または両方の期間中に、アプリケーション２００の様々な特徴および機能を制御するために、（利用者に加えて）居合わせている。

代わりの実施例では、利用者は、初期セットアップ／較正プロセスとデータ収集セッションの一方または両方を自己管理するために、援助も指導もなく、直接アプリケーション２００を制御する。この点に関して、別の個人がいないことは、神経質または自己認識の原因を別の個人がいるものと考えることなく、利用者が自分の感情状態を確実に変更しないようにするのに役立つ。この実施例では、コンピュータ１１０を、利用者の正面に（あるいは、利用者に充分近い所に）位置づけて、利用者がアプリケーション２００にアクセスし、アプリケーション２００を制御できるようになっている。また、表示装置１３０は、コンピュータ１１０に結合された表示モニタを含むことがある。したがって、利用者は、表示装置１３０上に表示されるアプリケーション２００に関連するＧＵＩを介して、アプリケーション２００の様々なモジュールをナビゲートする。他の構成も実施されることがある。

本発明の一態様によると、データ収集セッション中に刺激が利用者に与えられることになっている場合には、利用者、管理者、または他の個人は、新たな刺激パッケージを作成するか、あるいは、この初期セットアップの一部として、既存の刺激パッケージを検索および／または修正することがある。様々な刺激パッケージの作成と修正、および提示は、アプリケーション２００に関連するＧＵＩを使用して、アプリケーション２００の刺激モジュール２１６により、可能となる。刺激パッケージは、結果・刺激データベース２９６に格納される。

本発明の一態様によると、刺激パッケージは、利用者の五感（視覚、聴覚、嗅覚、味覚、触覚）のどれか１つまたは複数の感覚に関して、刺激を任意に組み合わせたものを含むことがある。この刺激は、任意の現実の刺激、あるいは、公知の技術を介して利用者に与えられる任意のアナログ刺激または電子刺激を含む。例えば、視覚刺激の例は、絵、アートワーク、図表、グラフ、映画、マルチメディア的提示、対話形のコンテンツ（例えば、ビデオゲーム）、または、他の視覚刺激を含む。刺激はさらに、例えば、自動車を運転するか、または自動車に乗ったり、映画を見たりすることなど、生のシナリオも含む。さらに、様々な刺激を組み合わせて、シミュレータまたは他の制御された環境において、様々な生のシナリオをシミュレーションすることもある。

刺激モジュール２１６により、様々なタイプのコンテンツへの感情的反応を理解したい望みに応じて、様々な刺激パッケージを選択して、利用者に与えることができる場合がある。例えば、広告主は、利用者が、どのタイプの広告コンテンツに正の反応（例えば、好き）、負の反応（例えば、嫌い）、あるいは、中立の反応を起こすことがあるか、より良く理解するために、様々な広告刺激を利用者に与える。同様に、刺激モジュールにより、セキュリティ・アプリケーション、安全アプリケーション、人間工学（エルゴノミクス）、エラー防止の開発だけでなく、製品の設計、コンピュータゲームの設計、フィルム解析、メディア解析、ヒューマン・コンピュータ・インターフェースの開発、ｅラーニング・アプリケーションの開発、ホームエンターテインメント・アプリケーションの開発にも関わっている人のために、あるいは、診断に関する医学用途および／または最適化研究のために、刺激パッケージをカスタマイズすることができる。刺激パッケージは、様々な他の分野または他の目的でもカスタマイズされることがある。

本発明の一態様によると、初期セットアップ中に、（アプリケーション２００の）ユーザー・プロファイル・モジュール２０４は、新規利用者用のユーザー・プロファイルを作成するために、利用者に関する情報の入力（アプリケーション２００に関連するＧＵＩによる）を促すことがある。ユーザー・プロファイル・モジュール２０４はまた、既存の利用者用のプロファイルを必要に応じて修正できるようにする。名前、年齢、性別、および他の一般情報に加えて、利用者は、例えば、レーザ矯正眼科手術などのような任意の先行処置だけでなく、コンタクトレンズまたはメガネの任意の使用に関する情報も入力するように、促される。緑内障または他の状態の任意の診断（あるいは、その治療）を含む目に関係する他の情報も含まれる。ユーザー・プロファイルはまた、ノイズをもたらすなどして、データ収集中に、どんなセンサの読みにもマイナスの影響を与えるかもしれない任意の植え込まれた医療装置（例えば、ペースメーカ）に関する情報を含め、一般の健康情報も含む。利用者はさらに、例えば、視覚媒体、広告などを含む任意の数の品目について一般的な知覚または感情（例えば、好き、嫌い）を与えるか、あるいは登録（記録）するように、促される。ユーザー・プロファイルには、他の情報も含められる。上記の情報はどれも、利用者か、管理者（もしいれば）のいずれかにより入力される。一実施形態では、ユーザー・プロファイルは、被験者・較正データベース２９４に格納される。

本発明の一態様によると、例えば、環境（および／または状況）に合わせて様々なセンサを調整すること、この環境内の利用者に合わせて様々なセンサを調整すること、および、この環境内の利用者にとって基準となる感情レベルを決定することを含む様々な較正プロトコルが導入されることがある。

特定の環境（および／または状況）に合わせて様々なセンサを調整または較正することは、この環境において、周囲の状態またはパラメータ（例えば、輝度、バックグラウンドノイズ、温度など）を測定することと、必要であれば、周囲の状態か、様々なセンサ（例えば、アイトラッキング装置１２０、マイク１６０、においセンサ１７０、触覚センサ１８０、および／または他のセンサ１９０）か、その一方または両方を調整して、有意味のデータを確実に得られるようにすることを含む場合がある。

本発明の一態様によると、較正中に、この環境内の利用者に合わせて、１つまたは複数のセンサを調整または較正することがある。例えば、アイトラッキング・データを収集するために、アイトラッキング装置１２０が、利用者の左目、右目、または両目のいずれかを、遮るものなく見えるように、利用者を位置づける（すわるか、立つか、あるいは、他の方法で）。一実施例では、単眼または両眼の像が、鮮明で、ピントが合い、かつ、該当する眼球性質の追跡に適することを保証するために、コントローラ２１２を利用して、アイトラッキング装置１２０を較正することがある。所在周囲光のレベルも、適宜に測定および調整して、利用者の瞳孔を、「中立」範囲または正規範囲であると見なされる範囲外に拡張させることも、収縮させることも確実にないようにする。コントローラ２１２は、ハードウェア装置を制御および較正できるようにするソフトウェア・モジュール（例えば、ハードウェア・ドライバを含む）であることもある。

較正モジュール２０８は、表示装置１３０上に表示されたビジュアル・インジケータの動きを、自分の目で追跡するように利用者に求めて、位置座標（例えば、ｘ、ｙ、ｚ、または他の座標）によって定められる通り、表示装置１３０上のどこを利用者が見ているのか決定するような較正プロセスを可能にする。この点に関して、利用者用の基準の枠組みが設定される。このビジュアル・インジケータは、様々な形状、サイズ、または色を呈する。このビジュアル・インジケータの様々な属性は、較正を行っている間、変わらないか、あるいは、変化する。他の較正方法も使用されることがある。

較正モジュール２０８および／またはコントローラ２１２は、利用者に対して、他のセンサをいくつでも較正できるようになっている。例えば、最適な条件のもとに利用者の発話を確実に得られるようにするために、発話または他の可聴入力用の１つまたは複数のマイク１６０（あるいは、他のオーディオ・センサ）が較正される。必要に応じて、発話認識および／または音声認識用のハードウェアおよびソフトウェアも較正される。においセンサ１７０、触覚センサ１８０、および、呼吸数ベルトセンサ、ＥＥＧ電極とＥＭＧ電極、ＧＳＲフィードバック計器を含む他のセンサ１９０も、さらなるセンサとして較正される。

一実施例では、或る環境に合わせて、また、その環境内の利用者に合わせて、様々なセンサを同時に較正する。他の較正プロトコルも導入される。

較正はさらに、利用者に基準となるデータを生成するために、公知のセンサを任意に組み合わせたものを使用して、利用者の現在の感情状態（または、意識レベル）を決定することも含む場合がある。基準データは、利用されるセンサごとに、得られる。

一実施例では、任意の刺激を測定するか、監視するか、あるいは与える前に、利用者が所望の感情状態（例えば、感情的に中立である状態、または他の所望の状態）にできるだけ近い状態にあることを確実にするために、利用者の感情レベルも調整する。例えば、公知の感情モデルに基づいて、正の反応（例えば、快）、中立の反応、または負の反応（例えば、不快）を引き出すのに知られている画像または他の刺激を利用者に与えることで、様々な生理的データが測定される。

一例では、眼球性質を測定しようとする場合に、瞬目率パターン、瞳孔反応、衝動性眼球運動、および／または、他の眼球性質が所望のレベルに達するまで、利用者に、感情的に中立の刺激が示される。人体の五感のどれかに関係するただ１つの刺激または刺激の組合せが利用者に与えられる。例えば、一実施例では、安らかになる声が利用者に向けられて、その利用者をくつろいだ精神状態に置く。この安らかになる声には、心地よい視覚刺激または他の刺激がともなう（あるいは、ともなわない）。較正モジュール２０８か、視覚モジュール２１６のいずれか一方または両方を用いて、較正刺激を与えることができる。

本発明のいくつかの実施形態によると、較正は、利用者に対して、一回、行われる。それぞれの利用者に対する較正データは、それらのユーザー・プロファイルとともに（あるいは、それらのユーザー・プロファイルとは別に）、被験者・較正データベース２９４に格納される。

本発明の一態様によると、所望の任意のセットアップおよび／または較正が完了すると、利用者に対して、データが収集されて、処理されることがある。データ収集モジュール２２０は、アイトラッキング装置１２０または他の感覚入力装置で得られた生データを受け取る。収集データは、眼球性質データまたは他の生理的データ、環境データ（その試験環境について）、および／または他のデータを含む。この生データは、収集データベース２９２に、あるいは別の適切なデータ・リポジトリに格納される。データ収集は、利用者に刺激を与えて、あるいは刺激を与えないで、行われる。

一実施例では、利用者に刺激が与えられる場合に、その刺激は、出力装置をいくつか使用して与えられる。例えば、視覚刺激は、表示装置１３０を介して利用者に与えられる。収集データが、この与えられた刺激と同期化されるように、刺激モジュール２１６とデータ収集モジュール２２０を同期させる。

図５は、一実施例によると、特に、アプリケーション２００（図４）により可能となる様々な特徴および機能が眼球性質データの収集および処理に関わるときに、それらの特徴および機能を図式的に表したものである。図５に示される特徴および機能は、本明細書に説明されている。

本発明の一態様によると、データ収集モジュール２２０は、約５０Ｈｚにて眼球性質データをサンプリングするが、ただし、他の適切なサンプリングレートも使用されることがある。データ収集モジュール２２０はさらに、利用者の瞳孔サイズ、瞬目の性質、視線位置（または注視点）の性質、あるいは、他の眼球性質に関するデータを含む眼球性質データも収集する。収集された瞳孔データは、瞳孔サイズ、変化速度（収縮または拡張）、加速度（速度から得られることがある）、または、他の瞳孔データを含む。収集された瞬目データは、例えば、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさ、または他の瞬目データを含む。収集された注視点データは、例えば、サッカード、エクスプレス・サッカード、眼振、または他の注視点データを含む。顔の筋肉の動き（すなわち、一般的に顔の表情）に関するデータも収集される。これらの眼球性質は、以下でさらに詳しく説明される通り、１つまたは複数の刺激への利用者の感情的反応を決定するために使用される。

本発明の一態様によると、収集データは、１つまたは複数の信号ノイズ除去技法または誤り検出・訂正（データ・クレンジング）技法を用いて処理される（例えば、データ処理モジュール２３６により）ことがある。データ収集中に使用されたセンサのそれぞれから収集されたデータに対して、様々な誤り検出・訂正技法が導入される。

例えば、図５に示されるように、例えば生データ５０２を含む収集された眼球性質データでは、誤り訂正は、瞳孔光調節５０４を含む。例えば、瞳孔サイズの測定は、較正中にまだ考慮に入れられてない場合、あるいは、較正中に考慮に入れられる場合でも、光感度を考慮に入れるように訂正される。誤り訂正はさらに、瞬目誤り訂正５０６、注視点誤り訂正５０８、および、外れ値の検出と除去５１０も含む。これらの事例では、利用者に刺激が与えられるときに、或る刺激（１つまたは複数）とは関係ないデータは、「外れ値」データと見なされて、抜き出される。他の訂正も実行される。一実施例では、クレンジング処理済データはまた、収集データベース２９２に、あるいは他の任意の適切なデータ・リポジトリに格納される。

本発明の一態様によると、データ処理モジュール２３６は、収集データベース２９２からの収集データおよび／または「クレンジング処理済」データをさらに処理して、該当する特徴を、収集データから抜き出す（または、決定する）ことがある。収集された眼球性質データに関して、図５に示される通り、特徴抽出は、該当する特徴を決定するために、瞳孔データ、瞬目データ、注視点データを処理することを含む場合がある。一実施例では、特徴抽出を可能にするために、入力データに様々なフィルタを施す。

瞳孔データを処理することは、例えば、刺激に応じて瞳孔サイズ（例えば、拡張または収縮）を決定することを含む。瞳孔サイズは、約１．５ｍｍから９ｍｍを超える値まで様々である。瞳孔データを処理することはさらに、速度から得られる加速度だけでなく、変化速度、すなわち、刺激に応じて拡張または収縮がどれくらい速く行われるか決定することも含む。例えば、最小の瞳孔サイズや最大の瞳孔サイズだけでなく、瞳孔の基準レベルや基準距離（５１８）を含む瞳孔関係の他のデータも決定される（５２０、５２２）。

瞬目データを処理することは、例えば、瞬目ポテンション５１２、瞬目回数５１４、瞬目持続時間と瞬目の大きさ５１６、または他の瞬目データを決定することを含む。瞬目回数の測定は、突然の瞬目活動間のタイムフレームを決定することを含む。

瞬目持続時間（例えば、ミリ秒で表す）はまた、注意の瞬目を生理的な瞬目と区別するように処理される。５つの瞬目パターンが、それらの持続時間に基づいて区別される。中立の瞬目は、較正中に測定される瞬目に相当するものと分類される。長い瞬目間隔は、注意の高まりを示すが、一方、短い瞬目は、利用者が情報を探している可能性があることを示す。非常に短い瞬目間隔は混乱状態を示すが、一方、半分の瞬目は、警戒感が高められた徴候として役立つ。瞬目の速度は、眼球の見える大きさがどれくらい速く変化しているのかをさすが、一方、瞬目の大きさは、まばたきしながら、眼球がどれほど見えるのかをさしている。

注視点（または眼球運動）データの処理５２４は、例えば、サッカード、エクスプレス・サッカード（例えば、速度が約１００°／秒よりも速いサッカード）、および眼振（目の急速な不随意運動）、あるいは、他のデータを解析することを含む。該当する特徴は、眼球運動の速度（°／秒）と方向、凝視時間（例えば、目が一点に集中する時間）、空間中の凝視場所（例えば、ｘ、ｙ、ｚ、または他の座標で定められる通り）、あるいは、凝視エリアへの戻り、関連性、奥行き評価用の両眼連動、スキャン活動を含む他の特徴を含む。

抜き出された特徴データは、特徴抽出データベース２９０に、あるいは任意の他の適切なデータ・リポジトリに格納されることがある。

本発明の他の態様によると、データ処理モジュール２３６は、感情的反応解析モジュール２２４からの１つまたは複数のルールを、抜き出された特徴データ（特徴抽出データベース２９０に格納されている）に施すことで、このデータからの感情手がかりを解読して、感情価６１０、感情喚起６２０、感情区分（または名称）６３０、および／または感情タイプ６４０を含む１つまたは複数の感情構成要素を決定することがある。図５に示され、かつ以下でさらに詳しく説明されるように、特徴解読の結果は、結果データベース２９６に、あるいは任意の他の適切なデータ・リポジトリに格納されることがある。

図６のブロック図に示されるように、感情構成要素の例は、感情価６１０、感情喚起６２０、感情区分（または名称）６３０、および／または感情タイプ６４０を含む。他の構成要素も決定されることがある。図示されるように、感情価６１０は、所与の刺激への利用者の感情的反応が、正の感情的反応（例えば、快または「好き」）であるか、負の感情的反応（例えば、不快または「嫌い」）であるか、中立の感情的反応であるかどうかを示すために使用される。感情喚起６２０は、この感情的反応の強さ、すなわち「感情的な強さ」を示すことを含む。一実施例では、この値は、負から正までの目盛で定量化される場合がある。その場合、ゼロは中立の反応を示す。他の測定目盛も導入されることがある。

本発明の一態様によると、感情的反応解析モジュール２２４（図４）において定義されるルールは、様々な眼球性質と、それらの性質の意味の調査に関して、確立された科学的な調査結果に基づくことがある。例えば、瞳孔サイズと感情喚起との間には関係がある。さらに、利用者の感情価と瞳孔拡張との間にも関係がある。例えば、不快、すなわち負の反応により、瞳孔は、快または中立の反応よりも大きく拡張する。

瞬目の性質はまた、利用者の感情価と感情喚起を定めるのにも役立つ。感情価に関して、不快な反応は、速くて、半ば閉じた瞬目で表現されることがある。これと対照的に、快、すなわち正の反応は、長くて、閉じた瞬目をもたらす。負、すなわち望ましくない刺激は、頻繁な驚き瞬目をもたらすが、一方、快、すなわち正の刺激は、著しい驚き瞬目をもたらすことはない。感情喚起は、例えば、瞬目の速度を考慮に入れることで、評価される。さらに強い感情的反応があるときには、さらに速い瞬目が行われる。

視線位置と眼球運動はまた、感情手がかりを推定するのに用いられることがある。利用者が、特定の刺激、または刺激の一部に視線を集中する時間を測定することで、利用者の反応が正（例えば、快）であるか、負（例えば、不快）であるかどうかについて、判定を下すことができる。例えば、ある特定の刺激をじっと見つめている利用者は、この刺激への正（すなわち、快）の反応を示すが、一方、利用者が、すばやく刺激から目をそらす場合には、負（すなわち、不快）の反応が暗示される。

上に挙げたように、感情区分（または名称）６３０と感情タイプ６４０はまた、データ処理モジュール２３６により処理されたデータから決定されることがある。感情区分（または名称）６３０は、公知または所有者独自仕様（プロプライエタリ）の任意の感情モデルにおいて表される任意の数の感情（例えば、喜び、悲しみ、期待、驚き、信頼、嫌悪、怒り、恐怖など）をさす。感情タイプ６４０は、以下でさらに詳しく説明される通り、所与の刺激への利用者の感情的反応が本能的であるか、理性的であるかどうかを示す。感情価６１０、感情喚起６２０、感情区分（または名称）６３０、および／または感情タイプ６４０をそれぞれ処理して、感情的反応のマップ６５０（これも、以下でさらに詳しく説明される）を作成する。

上に挙げたように、感情的反応解析モジュール２２４からの１つまたは複数のルールは、その抜き出された特徴データに施されて、１つまたは複数の感情構成要素を決定することがある。様々な作業において、様々なルールが適用される。図７は、或る点に関して、本発明による模範的な特徴解読作業の一般的な概要を示している。図７による特徴解読は、感情的反応解析モジュール２２４により行われる。以下でさらに詳しく説明される通り、特徴解読は、予備感情喚起の決定（工程７０４）、重みに基づく感情喚起区分の決定（工程７０８）、中立感情価の決定（工程７１２）および抽出（工程７１６）、正（例えば、快）の感情価の決定と負（例えば、不快）の感情価の決定（工程７２０）、および、重みに基づく感情価区分の決定（工程７２４）を含む。これらの作業はそれぞれ、各作業において適用されるルールの説明とともに、以下でさらに詳しく説明される。一部の用途では、これらの作業をすべて行う必要があるとは限らない。他の用途では、図７に示される作業の一部または全部とともに、追加作業が行われることがある。いくつかの実施例では、１つまたは複数の作業を同時に行うことがある。

さらに、それぞれの作業において適用されるルールも模範的なものであり、限定的なものと見なされるべきではない。様々な実施例において、異なるルールが適用されることがある。したがって、この説明は、模範的なものと見なされるべきであり、限定的なものであってはならない。

作業と、それに伴うルールを提示する前に、特徴、区分、重み、しきい値、および他の変数のリストが以下に与えられる。

＜ＩＡＰＳ特徴＞

変数は、感情価レベル（Vlevel）と感情喚起レベル（Alevel）を含む特徴を表現するＩＡＰＳ（国際情動写真体系）により、特定される。数値および標準偏差（ＳＤ）の変数が定義される。

＜特徴から決定されるＩＡＰＳ区分＞

区分変数は、感情価レベルおよび感情喚起レベルの変数から決定される。例えば、感情価レベル区分は、快と不快を含む。感情喚起レベル区分は、「感情喚起レベルＩ（ＡＩ）」、「感情喚起レベルＩＩ（ＡＩＩ）」、「感情喚起レベルＩＩＩ（ＡＩＩＩ）」に関して、まとめられる。

＜ＩＡＰＳしきい値＞

特徴変数（Vlevel.IAPS.Value、Alevel.IAPS.Value）に対する所定のしきい値は、感情価と感情喚起の区分を決定するために、使用される。例えば、感情価レベル値が所定のしきい値（４．３）よりも小さくて、かつ、感情喚起レベル値が、所定のしきい値（３）よりも大きい場合には、感情喚起レベル区分は、不快と判定される。同様な判定は、感情喚起区分でも行われる。

＜感情喚起特徴＞

感情喚起は、瞳孔サイズ、および／または、瞬目のカウントと回数を含む（ただし、必ずしもそれらには限定されるとは限らない）特徴量から決定される。

＜感情喚起しきい値＞

感情喚起特徴に対する所定のしきい値は、感情喚起区分（ＡＩ、ＡＩＩ、ＡＩＩＩ）の間の区分けを画定するために使用される。この例や他の例では、他のしきい値も使用される。

＜感情喚起のＳＤグループ＞

感情喚起特徴に基づくそれぞれの感情喚起区分内の標準偏差の変数が定められる。

＜特徴から決定される感情喚起のＳＤ、区分、重み＞

それぞれの感情喚起特徴に対する感情喚起の標準偏差、区分、重みの変数がさらに定められる。

＜感情価特徴＞

感情価は、瞳孔データおよび／または瞬目データを含むが、必ずしもそれらには限定されるとは限らない特徴量から決定される。

＜感情価しきい値＞

感情価特徴に対する所定のしきい値は、感情価区分（快と不快）の間の区分けを画定するために使用される。この例や他の例では、他のしきい値も使用される。

＜感情価のＳＤグループ＞

感情価特徴に基づくそれぞれの感情価区分内の標準偏差の変数が定められる。

＜特徴から決定される感情価のＳＤ、区分、重み＞

それぞれの感情価特徴に対する感情価の標準偏差、区分、重みの変数がさらに定められる。

＜最終分類と、特徴から決定される正しいヒットの確実さ＞

前述の変数の１つまたは複数は、当業者に知られ、かつ了解されている「ＩＡＰＳ」（すなわち、国際情動写真体系）を参照している。本明細書に述べられる模範的な一組の特徴解読ルールでは、ＩＡＰＳデータは、基本システム精度を測定する測定基準としてのみ使用される。しかしながら、本明細書に述べられる特徴解読ルールは、ＩＡＰＳに依存しないことと、他の精度測定基準（例えば、ＧＳＲフィードバックデータ）が、ＩＡＰＳデータの代わりに、またはＩＡＰＳデータに加えて使用される場合があると理解されるべきである。

一実施例では、工程７０４は、１つまたは複数の特徴に対して、予備感情喚起の決定を含む。上述の感情喚起は、感情的反応の強さ、すなわち「感情的な強さ」を示すことを含む。該当するそれぞれの特徴は、工程７０４において、分類されて、重みを付けられる。また、予備感情喚起のレベルは、以下に記述されるルールを用いて、決定される。

予備感情喚起を決定するのに使用される特徴には、

がある。これらの特徴を使用して、予備的に感情喚起レベル（ＡＩ、ＡＩＩ、ＡＩＩＩ）を決定する。

それぞれの特徴は、（ＡＩ、ＡＩＩ、またはＡＩＩＩ）と分類され、次に、現在の特徴と区分に対する標準偏差（ＳＤ）により、ゼロと１との間の重みが付けられて、その分類について信頼を示す。図８Ａは、Alevel.SizeSubsample.Pupil.CatおよびWeightの決定を図示する概略図である。図示される通り、これら３つの感情喚起区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔サイズに関係する感情喚起特徴（Alevel.SizeSubsample.Pupil.Size.Mean.MeanLR）に基づいて、その区分と重みを決定するために用いられる一組の繰返し（iterations）である。

＜Alevel.SizeSubsample.Pupil.CatおよびWeightを決定する＞

上記繰返しの部分は、瞳孔サイズの値が、ＡＩとＡＩＩとの間の瞳孔サイズのしきい値よりも小さいかどうか判定する。瞳孔サイズの値が、そのしきい値よりも小さい場合には、その区分はＡＩである。上記繰返しのこの部分は、次に、ゼロと１との間の重みの値を決定する。

上記繰返しの部分は、瞳孔サイズの値が、ＡＩＩとＡＩＩＩとの間の瞳孔サイズのしきい値よりも大きいかどうか判定する。瞳孔サイズの値が、そのしきい値よりも大きい場合には、その区分はＡＩＩＩである。この繰返しは、次に、ゼロと１との間の重みの値を決定する。

上記繰返しの部分は、その進行中のＩｆ文を満たせないことに基づいて、この区分がＡＩＩであると判定する。上記繰返しは、次に、ゼロと１との間の重みの値を決定する。

図８Ｂは、Alevel.SizeSubsample.Pupil.Size.Mean.MeanLR対Alevel.IAPS.Valueのプロットを描いている。これらのプロット値は、視覚的に図８Ｂに表されている。図８Ｃは、Alevel.MagnitudeIntegral.Blink.CatおよびWeightの決定を図示する概略図である。図８Ａと同様に、これら３つの感情喚起区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞬目データに関係する感情喚起特徴（Alevel.MagnitudeIntegral.Blink.Cat）に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。

＜Alevel.MagnitudeIntegral.Blink.CatおよびWeightを決定する＞

上記繰返しの部分は、瞬目データの値が、ＡＩＩＩとＡＩＩとの間の瞬目データのしきい値よりも小さいかどうか判定する（これも、図８Ｃに示される）。瞬目データの値が、そのしきい値よりも小さい場合には、その区分はＡＩＩＩである。上記繰返しの部分は、次に、ゼロと１との間の重みの値を決定する。

上記繰返しの部分は、瞬目データの値が、ＡＩＩとＡＩとの間の瞬目データのしきい値よりも大きいかどうか判定する。瞬目データの値が、そのしきい値よりも大きい場合には、その区分はＡＩである。この繰返しの部分は、次に、ゼロと１との間の重みの値を決定する。

上記繰返しの部分は、その進行中のＩｆ文を満たせないことに基づいて、この区分がＡＩＩであると判定する。上記繰返しは、次に、ゼロと１との間の重みの値を決定する。

図８Ｄは、Alevel.MagnitudeIntegral.Blink.Count*Length.Mean.MeanLR対Alevel.IAPS.Valueのプロットを描いている。

工程７０８は、重みに基づいて、感情喚起区分（１つまたは複数）の決定を含むことがある。一実施例では、Alevel.EmotionTool.Cat{AI;AII;AIII}は、最大の重みを持つ「感情喚起」特徴を見つけ出すことで、決定される。

図９は、以下の列を含む表を描いている。

上に挙げたように、感情価は、所与の刺激への利用者の感情的反応が、正の感情的反応（例えば、快）であるか、負の感情的反応（例えば、不快）であるか、中立の感情的反応であるかどうかを示すために使用される。工程７１２では、中立の感情価の決定のために（刺激が中立であるかどうか判定するために）、ルールが施される。

中立の感情価を決定するのに用いられる特徴は次のものである。

また、感情喚起の決定は次のものである。

次のものは、刺激が中立であるかどうか判定するのに使用される。

以下の４つのケースが評価されることがある。
（１）この基準距離がゼロであって、かつ、この「瞬目回数」が１．２５回よりも多い場合には、その感情的反応は、中立であると見なされる。
（２）この基準距離がゼロであって、かつ、この「感情喚起区分」がＡ１である場合には、その感情的反応は、中立であると見なされる。
（３）この基準距離がゼロであって、かつ、この「感情喚起最小時間」が１０００よりも長い場合には、その感情的反応は、中立であると見なされる。
（４）この「感情喚起区分」がＡ１である場合には、その感情的反応は、中立であると見なされる。

工程７１６において、中立であると判定された刺激は、刺激評価から除外される。これも、中立の感情価抽出として知られている。

＜重みがVlevel.Neutral.Weight.Thresholdより大きい「中立」と判定された刺激を除外する＞

工程７２０において、刺激が正（例えば、快）であるか、負（例えば、不快）であるかどうかについて、判定が下されることがある。快の感情価と不快の感情価を決定するのに使用される特徴には、

がある。これらの特徴は、刺激が「快」であるか、「不快」であるか判定するのに用いられる。

すべての特徴または選択された特徴は、分類され、次に、現在の特徴と区分に対する標準偏差により、ゼロと１との間の重みが付けられて、その分類について信頼を示すことができる。

図１０Ａは、Vlevel.TimeBasedist.Pupil.CatおよびWeightの決定を図示する概略図である。図示される通り、これら２つの感情価区分は、しきい値を用いて画定される。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔データに関係する感情価特徴（Vlevel.TimeBasedist.Pupil.tBase>>>>2000ms.Mean.MeanLR）に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。

＜Vlevel.TimeBasedist.Pupil.CatおよびWeightを決定する＞

以下の２つのケースが評価されることがある。
（１）このBasedistance（基準距離）がTimeBasedist.Thresholdよりも短い場合には、その感情的反応は、不快であると見なされる。
（２）このBasedistance（基準距離）がTimeBasedist.Thresholdよりも長い場合には、その感情的反応は、快であると見なされる。

図１０Ｂは、Vlevel.TimeBasedist.Pupil.tBase->2000ms.Mean.MeanLR対Vlevel.IAPS.Valueのプロットを描いている。

図１０Ｃは、Vlevel.BaseIntegral.Pupil.CatおよびWeightの決定を図示する概略図である。図示される通り、これら２つの感情価区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔データに関係する感情価特徴（Vlevel.TimeBasedist.Pupil.tBase>>>>tAmin.Mean.MeanLR）に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。

＜Vlevel.BaseIntegral.Pupil.CatおよびWeightを決定する＞

以下の２つのケースが評価されることがある。
（１）このBaseIntegralが、このBaseIntegral.Thresholdよりも小さい場合には、その感情的反応は、不快であると見なされる。
（２）このBaseIntegralが、このBaseIntegral.Thresholdよりも大きい場合には、その感情的反応は、快であると見なされる。

図１０Ｄは、Vlevel.BaseIntegral.Pupil.tBase->tAmin.Median.MeanLR対Vlevel.IAPS.Valueのプロットを描いている。

図１０Ｅは、Vlevel.TimeAminPupil.CatおよびWeightの決定を図示する概略図である。図示される通り、これら２つの感情価区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔データに関係する感情価特徴（Vlevel.TimeAmin.Pupil.Amin.Median5Mean10.ClusterLR）に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。

＜Vlevel.TimeAminPupil.CatおよびWeightを決定する＞

以下の２つのケースが評価されることがある。
（１）この感情喚起最小時間が、この感情喚起時間しきい値よりも短い場合には、その感情的反応は、不快であると見なされる。
（２）この感情喚起最小時間が、この感情喚起時間しきい値よりも短い場合には、その感情的反応は、快であると見なされる。

図１０Ｆは、Vlevel.TimeAmin.Pupil.Amin.Median5Mean10.ClusterLR対Vlevel.IAPS.Valueのプロットを描いている。

図１０Ｇは、Vlevel.PotentionIntegral.BlinkおよびWeightの決定を図示する概略図である。図示される通り、これら２つの感情価区分は、しきい値を用いて画定されることがある。それぞれの区分内の重みは、特徴量を、現在の特徴に対する標準偏差で除算した値により、決定される。以下のものは、瞳孔データに関係する感情価特徴（Vlevel.PotentionIntegral.Blink.1/DistNextBlink.Mean.MeanLR）に基づいて、その区分と重みを決定するために用いられる一組の繰返しである。

＜Vlevel.PotentionIntegral.BlinkおよびWeightを決定する＞

以下の２つのケースが評価されることがある。
（１）このPotentionIntegral/DistNextBlinkが、このPotentionIntegral.Thresholdよりも小さい場合には、その感情的反応は、快であると見なされる。
（２）このPotentionIntegral/DistNextBlinkが、このPotentionIntegral.Thresholdよりも大きい場合には、その感情的反応は、不快であると見なされる。

図１０Ｈは、Vlevel.PotentionIntegral.Blink.1/DistNextBlink.Mean.MeanLR対Vlevel.IAPS.Valueのプロットを描いている。

工程７２４において、感情価区分（１つまたは複数）は、重みに基づいて、決定される。
すなわち、最大の重みを持つ「感情価」特徴を見つけ出すことによるVlevel.EmotionTool.Cat{U;P}の決定である。

以下の情報を含む分類表が与えられる。

＜分類表の入口に印刷する＞

＜ＩＡＰＳの行＞

＜感情喚起の行＞

＜感情価の行＞

＜最終の分類行＞

本発明の他の態様によると、利用者が、所与の刺激への感情的反応を経験しているかどうかについて判定が下されることがある。

一実施例では、処理されたデータを、較正中に収集および処理されたデータと比較して、較正中に測定された（または、得られた）感情的に中立の（または他の）状態から、何か変化が発生しているかどうか確かめる。他の実施例では、（前述の特徴解読データ処理中に）感情喚起が経験されていることの検出、あるいは、感情喚起が経験されているという決定が、感情的反応を示す。

感情的反応が経験されてないことが明らかである場合には、データ収集モジュール２２０を介して、データ収集を続けるか、あるいは、そのデータ収集セッションが終了する。これと対照的に、感情的反応が経験されていると判定される場合には、その感情的反応が、本能ベースの反応を含むか、理性ベースの反応を含むかどうか判定する処理が行われる。

図１１に示されるように、刺激を知覚してから、まさに最初の数秒以内に、すなわち「見てすぐに」、辺縁系、さらに具体的に言えば扁桃核の活性化の結果として、基本的な感情（例えば、恐怖、怒り、悲しみ、喜び、嫌悪、関心、驚き）が観察される。多くの場合に、最初の期間（例えば、１秒）は、人間が所与の刺激を好むか、嫌うかどうか自分で決めるに足る時間である。この最初の期間は、大脳皮質が、その処理の最初の結果を戻し、かつ理性的な考えが支配する前に、この感情的な影響が実際に表される所である。例えば、フラストレーション、プライド、満足などの二次的な感情は、刺激を知覚してから約１秒〜５秒のタイムフレーム内に大脳皮質の理性的な処理からもたらされる。所与の刺激の理性的処理と感情的処理との間に、積極的な協働があるとはいえ、この「見てすぐ」の重要性と、この「見てすぐ」が人間の感情を表すことを考慮に入れることが好ましい。

本発明の一態様によると、感情的反応が本能的であるか、理性的であるかどうか判定するために、感情的反応解析モジュール２２４からの１つまたは複数のルールが施されることがある。例えば、突然の瞳孔拡張、さらに小さい瞬目サイズ、および／または、他の性質は、本能的な反応を示すが、一方、拡張のピークと、さらに大きい瞬目サイズは、理性的な反応を示す。他の定義済みルールも適用され得る。

利用者の感情的反応が本能的反応であると判定される場合には、マッピング・モジュール２３２（図４）は、その感情的反応に対応するデータを、本能的な感情的影響モデルに施す。利用者の感情的反応が理性的反応であると判定される場合には、マッピング・モジュール２３２（図４）は、その理性的反応に対応するデータを、理性的な感情的影響モデルに施す。

前に挙げたように、利用者の感情的反応に対応するデータは、エクマン(Ekman)モデル、プルチック(Plutchik)モデル、イザード（Izard)モデルを含む（ただし、それらのモデルには限定されない）様々な公知の感情モデルに施される。

本発明の一態様によると、本能的な感情的反応と理性的な感情的反応は、マッピング・モジュール２３２による、様々なやり方でマッピングされることがある。図１２Ａは、本発明の一実施形態により、感情的反応のマップの模範的な例示である。このマッピングは、図１２Ｂに描かれるプルチックの感情モデルに基づいている。一実施例では、或るモデルにおけるそれぞれの感情区分（または名称）には、異なる色が割り当てられる。他のビジュアル・インジケータが利用される。このマップの中心から外に延びている線（またはマーカ）を目盛（スケール）として使用して、この感情的反応の影響レベルを測定する。他の目盛（スケール）も導入されることがある。

本発明の一態様によると、これらのマップは、これらのマップを起こさせた刺激と同時に、また同期的に表示されることがある。例えば、図１３に示されるように、第１の刺激１３００ａは、刺激１３００ａへの利用者の感情的反応を描いている対応するマップ１３００ｂのすぐ上に表示される。同様に、第２の刺激１３０４ａは、刺激１３０４ａへの利用者の感情的反応を描いている対応するマップ１３０４ｂのすぐ上に表示され、以下同様に行われる。異なる表示形式も利用されることがある。この点に関しては、有益な解析ツールが提供され、それにより、例えば、コンテンツの提供者は、その解析ツールが利用者から引き出す感情的反応のマップとともに、提案されたコンテンツの全部または一部を見ることができる。

収集および処理されたデータは、様々なやり方で提示されることがある。例えば、本発明の一態様によると、視覚刺激（例えば、絵）を利用者に与えている間、その視覚刺激上において、利用者の注視の大部分の対象であったエリアを強調表示する（あるいは、他の方法で図示する）ために、ゲイズ・プロットが作成される。上に挙げたように、注視点（または眼球運動）データの処理は、とりわけ、凝視時間（例えば、目が一点に集中する時間）と、空間中の凝視場所（ｘ、ｙ、ｚ、または他の座標で定められる通り）を決定することを含む。このような情報から、凝視点のクラスタが特定される。一実施例では、利用者に与えられた視覚画像または刺激にマスクが重ねられる。個々の視覚刺激に対応する、収集され、処理された注視点データに基づいて、凝視点のクラスタが決定されると、このマスクのうち、その決定された凝視点のクラスタに対応する部分を透明にして、この視覚刺激のうち、利用者がもっとも集中した部分だけを明らかにする。他のデータ提示手法も導入されることもある。

一実施例では、結果は、結果として得られる感情マトリックスに対して形容詞を識別するのに役立つ形容詞データベース２９８に、言語モジュール（またはエンジン）２４０を介してマッピングされる。これは、結果を言葉で表現するか、あるいは、書くときに、１つまたは複数の標準化された（または特定業界向け）語彙で結果を表すのに役立つ。

さらにもう１つの代替実施例では、統計モジュール（またはエンジン）２４４は、数人の利用者または被験者の感情的反応に基づく結果について、統計的解析を実行できるようにする。スキャン・パス解析、バックグラウンド変数解析、感情評価解析はそれぞれ、実施され得る様々なタイプの統計的解析の例である。他のタイプの統計的解析も実施されることがある。

さらに、ヒューマン・マシン対話形セッションにおいて、利用者入力データおよび／または他のデータに関して利用者の感情を考慮に入れることで、そのインタラクション（対話）が高められるか、あるいは、コンテンツが変更されることがある。本発明の上記手法を、様々な人工知能または知識ベースのシステムの用途に利用して、所望の人間の感情を高めるか、または抑制する。例えば、感情は、いくつかの刺激を選択して、与えることにより、起こされる。他の多数の用途も存在する。

用途に応じて、結果データベース２９６からの感情検出データ（または結果）は、様々なやり方で公表されることがある。公表は、例えば、データを報告書に織り込むか、データをディスクまたは他の公知の記憶装置（コンピュータ１１０に結合されている）に保存するか、ネットワーク（例えば、インターネット）上でデータを送るか、あるいは、他の方法で、データを提示または利用することを含む。このデータは、任意の数の用途に使用されるか、あるいは、他のやり方で使用され、制約はない。

本発明の一態様によると、刺激が利用者に与えられるときに、例えば、キーボード１４０、マウス１５０、マイク１６０を介して、あるいは他の感覚入力装置を通じて、コマンド・ベースの問合せに返答するように利用者に促すことがある。このようなコマンド・ベースの問合せは、口頭、文章、または他の方法で行われることもある。一実施形態では、例えば、特定の刺激（例えば、絵）が利用者に表示される。所定の期間後に、利用者が、その刺激を正のもの（例えば、快）か、負のもの（例えば、不快）か、あるいは中立のものと認めたかどうか、および／または、その程度を選択するよう、その利用者に指示する。別法として、利用者が特定の刺激（１つまたは複数）について意見を決めているときに、返答するように、その利用者に促す。意見を決めるのにかかった時間が格納されて、様々なやり方で利用される。もちろん、他の記述子（デスクリプタ）も利用されることがある。利用者は、様々なアクションまたは身振りのどれか１つを通じて、例えば、表示装置１３０上に現われるポップアップ・ウインドウでのマウス・クリックを介して、その返答を口頭でマイク１６０に向かって話すことで、あるいは、他のアクションにより、選ばれたものを登録（記録）する。口頭の返答が望まれるときに、これらの実施形態に対して、公知の発話認識技術および／または音声認識技術が導入される。任意の数の感覚入力装置を通じて返答を要求するために利用するコマンド・ベースの問合せの数やタイプはどんなものであってもよい。コマンド・ベースの反応解析モジュール（またはエンジン）２２８は、利用者の反応に関するデータに１つまたは複数の所定ルールを施して、刺激への利用者の感情的反応を定めるのに役立てる。その結果得られたデータを利用して、アイトラッキング装置１２０から処理されたデータを補うことで、感情的反応情報を向上させる。

本発明の他の実施形態、用途、利点は、本明細書に開示される本発明の明細および実施を考慮に入れることで、当業者には明らかになろう。よって、その明細は、単に模範的なものと見なされるべきである。

本発明の一実施形態による、利用者の様々な眼球性質を解析することで、人間の感情を決定する方法の一般的な概要を与える図である。 本発明の一実施形態による、眼球性質を解析することで、与えられた刺激の感情的影響を測定するシステムを示す。 本発明の一実施形態によるコンピュータの動作実施形態の模範的な例示である。 本発明の一実施形態による模範的な作業環境の例示である。 本発明の一実施形態による眼球性質データの収集および処理に関係する様々な特徴および機能を図式的に表したものである。 本発明の一実施形態による様々な感情構成要素を描くブロック図の模範的な例示である。 本発明の一実施形態による特徴解読作業の模範的な例示である。 本発明の一実施形態による予備感情喚起作業に関するグラフ図である。 本発明の一実施形態による予備感情喚起作業に関するグラフ図である。 本発明の一実施形態による予備感情喚起作業に関するグラフ図である。 本発明の一実施形態による予備感情喚起作業に関するグラフ図である。 本発明の一実施形態によるデータ表の模範的な例示である。 本発明の一実施形態による正（例えば、快）と負（例えば、不快）の感情価決定作業に関するグラフ図である。 本発明の一実施形態による正（例えば、快）と負（例えば、不快）の感情価決定作業に関するグラフ図である。 本発明の一実施形態による正（例えば、快）と負（例えば、不快）の感情価決定作業に関するグラフ図である。 本発明の一実施形態による正（例えば、快）と負（例えば、不快）の感情価決定作業に関するグラフ図である。 本発明の一実施形態による正（例えば、快）と負（例えば、不快）の感情価決定作業に関するグラフ図である。 本発明の一実施形態による正（例えば、快）と負（例えば、不快）の感情価決定作業に関するグラフ図である。 本発明の一実施形態による正（例えば、快）と負（例えば、不快）の感情価決定作業に関するグラフ図である。 本発明の一実施形態による正（例えば、快）と負（例えば、不快）の感情価決定作業に関するグラフ図である。 本発明の一実施形態による本能的感情と理性的感情の概要を示す。 本発明の一実施形態による感情的反応のマップの模範的な例示である。 プルチック（Plutchik)感情モデルの模範的な例示である。 本発明の一実施形態による、感情的反応のマップを起こさせた刺激とともに、それらの感情的反応のマップの表示を示す。

Claims (58)

1. 少なくとも測定された生理的データに基づいて、１つまたは複数の刺激を与えるのに応じて人間の感情を検出するコンピュータ実施形式の方法であって、
   被験者に少なくとも１つの刺激を与えるステップと、
   瞳孔データ、瞬目データ、注視点データを含む生理的データを含むデータを、前記被験者から収集するステップと、
   眼球の特徴抽出処理を行って、前記収集された生理的データから、該当する眼球の特徴を決定するステップと、
   前記該当する眼球の特徴を解析して、前記少なくとも１つの刺激への被験者の感情的反応の１つまたは複数の感情構成要素を特定するステップとを含む方法。
2. 前記該当する眼球の特徴を利用して、前記少なくとも１つの刺激への前記被験者の感情的反応の本能的な感情構成要素を決定するステップをさらに含む請求項１に記載の方法。
3. 前記解析する方法が、ルール・ベースの解析を施して、前記被験者の感情的反応の１つまたは複数の感情構成要素を特定するステップをさらに含む請求項１に記載の方法。
4. 前記解析するステップが、前記被験者の年齢に対応する該当する眼球の特徴にルール・ベースの解析を施して、前記被験者の感情的反応の１つまたは複数の感情構成要素を特定するステップをさらに含む請求項１に記載の方法。
5. 前記解析するステップが、前記被験者の性別に対応するルール・ベースの解析を施して、前記被験者の感情的反応の１つまたは複数の感情構成要素を特定するステップをさらに含む請求項１に記載の方法。
6. 前記解析するステップが、統計的解析を施して、前記被験者の感情的反応の１つまたは複数の感情構成要素を特定するステップをさらに含む請求項１に記載の方法。
7. 前記該当する眼球の特徴を利用して、前記少なくとも１つの刺激への前記被験者の感情的反応の理性的な感情構成要素を決定するステップをさらに含む請求項１に記載の方法。
8. 前記感情構成要素が、感情価、感情喚起、感情区分、感情タイプを含む請求項１に記載の方法。
9. 前記収集された生理的データに、データ誤り検出・訂正を行うステップをさらに含む請求項１に記載の方法。
10. 前記データ誤り検出・訂正を行うステップが、外れ値データの決定と除去を含む請求項９に記載の方法。
11. 前記データ誤り検出・訂正を行うステップが、瞳孔拡張訂正、瞬目誤り訂正、注視点誤り訂正の１つまたは複数を含む請求項９に記載の方法。
12. 訂正されたデータを格納するステップをさらに含み、また、眼球の特徴抽出処理を行うステップが、前記格納された訂正済みデータに実施される請求項９に記載の方法。
13. ａ．１つまたは複数のデータ収集センサを較正するステップと、
    ｂ．被験者に基準となる感情レベルを決定するステップと、
    を含む較正作業を、較正モードの間に行うステップをさらに含む請求項１に記載の方法。
14. 前記１つまたは複数のデータ収集センサを較正するステップが、環境周囲条件に合わせて較正するステップを含む請求項１３に記載の方法。
15. 前記データの収集が、少なくとも一部、アイトラッキング装置により行われる方法であって、データの収集の前に、被験者の眼球に合わせて、前記アイトラッキング装置を較正するステップをさらに含む請求項１に記載の方法。
16. １つまたは複数の刺激を与えて、データ収集の前に、所望の感情状態を被験者中に引き起こすステップをさらに含む請求項１に記載の方法。
17. 被験者に前記少なくとも１つの刺激を与えるステップが、所定の一組の刺激を被験者に与えるステップをさらに含み、また、前記データ収集ステップが、前記一組のそれぞれの刺激に対して別々に、前記刺激と、前記刺激を与えるときに収集されるデータとを含む請求項１に記載の方法。
18. 被験者用のユーザー・プロファイルを作成して、前記該当する眼球の特徴を解析するステップに役立てるステップをさらに含み、また、前記ユーザー・プロファイルが、前記被験者の眼球に関係するデータ、人口統計情報、または較正情報を含む請求項１に記載の方法。
19. 前記データを収集するステップが、環境データを収集するステップをさらに含む請求項１に記載の方法。
20. 前記データを収集するステップが、或る期間にわたって、所定のサンプリング周波数にて眼球データを収集するステップを含む請求項１に記載の方法。
21. 前記眼球の特徴のデータが、瞳孔サイズ、瞳孔サイズ変化データ、瞳孔変化速度データに関する瞳孔データを指す請求項１に記載の方法。
22. 前記眼球の特徴のデータが、与えられた刺激に応じて拡張または収縮が行われるのにかかる時間に関する瞳孔データを指す請求項１に記載の方法。
23. 前記眼球の特徴のデータが、前記被験者に刺激を与える前と刺激を与えた後の瞳孔サイズに関する瞳孔データを指す請求項１に記載の方法。
24. 前記眼球の特徴のデータが、瞬目回数、瞬目持続時間、瞬目ポテンション、瞬目の大きさのデータに関する瞬目データを指す請求項１に記載の方法。
25. 前記眼球の特徴のデータが、サッカード、エクスプレス・サッカード、眼振のデータに関する注視点データを指す請求項１に記載の方法。
26. 前記眼球の特徴のデータが、凝視時間、空間中の凝視場所、凝視エリアに関する注視点データを指す請求項１に記載の方法。
27. 前記本能的な感情構成要素を決定するステップが、前記該当する特徴にルール・ベースの解析を施して、本能的な反応を決定するステップをさらに含む請求項２に記載の方法。
28. 前記本能的な感情構成要素を決定するステップが、前記該当する特徴に統計的解析を施して、本能的な反応を決定するステップをさらに含む請求項２に記載の方法。
29. 感情構成要素を感情モデルにマッピングするステップをさらに含む請求項１に記載の方法。
30. 前記本能的な感情構成要素を本能的な感情モデルに施すステップをさらに含む請求項２に記載の方法。
31. 前記理性的な感情構成要素を理性的な感情モデルに施すステップをさらに含む請求項７に記載の方法。
32. 前記該当する眼球の特徴を利用して、前記少なくとも１つの刺激への前記被験者の反応の本能的な感情構成要素と理性的な感情構成要素を決定するステップをさらに含む請求項１に記載の方法。
33. 前記本能的な感情構成要素を本能的な感情モデルに施し、かつ、前記理性的な感情構成要素を理性的な感情モデルに施すステップをさらに含む請求項３２に記載の方法。
34. 前記該当する眼球の特徴を利用して、前記少なくとも１つの刺激が前記被験者により知覚される最初の期間に対応する被験者の感情的反応の１つまたは複数の最初の感情構成要素を決定するステップをさらに含む請求項１に記載の方法。
35. 前記該当する眼球の特徴を利用して、前記最初の期間後の或る期間に対応する被験者の感情的反応の１つまたは複数の二次的な感情構成要素を決定するステップをさらに含む請求項３４に記載の方法。
36. 前記該当する眼球の特徴を利用して、前記最初の期間後の或る期間に対応する被験者の感情的反応の１つまたは複数の二次的な感情構成要素を決定し、さらに前記１つまたは複数の最初の感情構成要素に基づいて決定するステップをさらに含む請求項３４に記載の方法。
37. 前記被験者の感情的反応の感情構成要素の表示を、前記感情的反応を起こさせた対応する刺激と同時に同期化するステップをさらに含む請求項１に記載の方法。
38. 前記被験者の感情的反応の感情構成要素の時系列表示を、前記感情的反応を起こさせた対応する刺激と、個々に同期化するステップをさらに含む請求項１に記載の方法。
39. 前記感情構成要素を、感情形容詞データベースに施して、感情的反応マトリックスに基づいて、前記感情的反応に対する標識（ラベル）を決定するステップをさらに含む請求項１に記載の方法。
40. 少なくとも１つの共通の刺激への前記被験者の前記感情的反応を、２人以上の被験者に対して集計するステップをさらに含む請求項１に記載の方法。
41. 眼球のデータ以外の前記被験者の少なくとも１つの他の生理的性質に関するデータを収集し、また、前記少なくとも１つの他の生理的性質に関する前記収集したデータを利用して、前記被験者の感情的反応を決定するのに役立てるステップをさらに含む請求項１に記載の方法。
42. 刺激を与えるのに応じて前記被験者の顔の表情のデータを収集し、また、前記収集された顔の表情データを利用して、前記被験者の感情的反応を決定するのに役立てるステップをさらに含む請求項１に記載の方法。
43. 刺激を与えるのに応じて前記被験者の電気皮膚反応データを収集し、また、前記収集された皮膚反応データを利用して、前記被験者の感情的反応を決定するのに役立てるステップをさらに含む請求項１に記載の方法。
44. 前記刺激が、視覚刺激と、少なくとも１つの非視覚刺激から成っている請求項１に記載の方法。
45. 前記被験者が正の感情的反応を持ったか、負の感情的反応を持ったかどうかと、その感情的反応の大きさとを含む感情構成要素を出力するステップをさらに含む請求項２９に記載の方法。
46. 被験者が、中立でない感情的反応を持ったかどうか判定し、また前記感情的反応を持った場合には、前記被験者が正の感情的反応を持ったか、負の感情的反応を持ったかどうかと、その感情的反応の大きさとを含む前記感情的反応の指標を出力するステップをさらに含む請求項１に記載の方法。
47. 対話セッションにおいて、ユーザー入力として、前記被験者の感情的反応の前記１つまたは複数の特定された感情構成要素を利用するステップをさらに含む請求項１に記載の方法。
48. 観察セッションにおいて、前記被験者の感情的反応の前記１つまたは複数の特定された感情構成要素を記録するステップをさらに含む請求項１に記載の方法。
49. 所定の数値目盛に基づいて数値として表される感情喚起と感情価とを含め、前記感情的反応の指標を出力するステップをさらに含む請求項１に記載の方法。
50. 所定の数値目盛に基づいて数値または数値範囲として提示される感情的反応の精度に関する指標を出力するステップをさらに含む請求項１に記載の方法。
51. 本能的な感情的反応と理性的な感情的反応とを含む感情的反応の指標を出力するステップをさらに含む請求項１に記載の方法。
52. 本能的な感情的反応と二次的な感情的反応とを含む感情的反応の指標を出力するステップをさらに含む請求項１に記載の方法。
53. 前記感情的反応を起こした刺激と並置されて、かつ同時に表示される感情的反応マップを出力するステップをさらに含む請求項１に記載の方法。
54. 所与の刺激を前記被験者に与えているときに、前記刺激に関する口頭または文章による問合せに返答するように前記被験者に促すステップをさらに含む請求項１に記載の方法。
55. 所定時間の間、所与の刺激を前記被験者に表示した後で、前記刺激に関する口頭または文章による問合せに返答するように前記被験者に促すステップをさらに含む請求項１に記載の方法。
56. 指示メッセージ（プロンプト）に前記被験者が返答するのにかかる時間を記録するステップをさらに含む請求項５４に記載の方法。
57. 前記少なくとも１つの刺激が、前記被験者に与えて調査を行うためのカスタマイズされた刺激である請求項１に記載の方法。
58. 少なくとも測定された生理的データに基づいて、１つまたは複数の刺激を与えるのに応じて人間の感情を検出するコンピュータ化されたシステムであって、
    被験者に少なくとも１つの刺激を与える刺激モジュールと、
    瞳孔データ、瞬目データ、注視点データを含む生理的データを含むデータを、前記被験者から収集するデータ収集手段と、
    眼球の特徴抽出処理を行って、前記収集された生理的データから、該当する眼球の特徴を決定するデータ処理モジュールと、
    前記該当する眼球の特徴を解析して、被験者の感情的反応の１つまたは複数の感情構成要素を特定する感情的反応解析モジュールと、
    を含むシステム。

Images