WO2011042989A1

WO2011042989A1 - 視認情景に対する視認者情感判定装置

Info

Publication number: WO2011042989A1
Application number: PCT/JP2009/067659
Authority: WO
Inventors: 菊池光一; 倉島渡
Original assignee: Kikuchi Kouichi; Kurashima Wataru
Priority date: 2009-10-09
Filing date: 2009-10-09
Publication date: 2011-04-14
Also published as: JPWO2011042989A1; JP5445981B2

Abstract

　視認者の生理反応をより正確に把握し、様々な状況において、対象物または視認者自身の能力をより正確に評価する。視認者情感判定装置１００は、視認映像ａ及び眼球運動映像ｂから視認映像ａにおける視点の位置を算出するとともに、視認者の生理反応データの変化とそれに伴う加速度を算出する解析部１０２と、興味の高い対象物を見ている場合の生理反応データの変化とそれに伴う加速度を含む情報を感動値Ｋとして蓄積し、解析部１０２によって算出された生理反応データの変化とそれに伴う加速度を含む情報を解析値Ａとして蓄積する蓄積部１０３と、解析値Ａを、感動値Ｋと比較する。一方、視認者の顔の各部の変化を算出することによる顔解析手法により、視認者の特定の対象物に対する感情を解析し、情動と感情を合わせて診断する診断部１０４とを備えていることを特徴とする視認情景に対する視認者情感判定装置。

Description

視認情景に対する視認者情感判定装置

　本発明は、視認情景に対する視認者情感判定装置に関し、特に、視認情景を視認した際の視認者の生理反応の変化を解析し、対象物及び視認者自身の能力を評価する技術に関する。

　従来、テレビ番組などの映像コンテンツを評価するために、視聴率を測定することが行われている。しかしながら、視聴率だけでは、テレビチャンネルを合わせたとしても、視認者が実際に視聴したかどうか分からず、加えて、信頼性を向上させるためには莫大な調査視認者数が必要とされる、などの問題があった。そこで、視認者の眼球運動を撮像し、得られたデータから映像コンテンツの評価を効率的に行う技術が開示されている。

特開２００４－２８２４７１号公報

　上記、特許文献に記載の技術では、眼球運動を撮像することにより得られたデータとして、視線の動き、瞳孔面積、瞬目発生頻度などを用いて、映像コンテンツを視認して、その映像コンテンツについて興味・関心の度合いを判定し、映像コンテンツの評価を行っている。これにより、少ない被験者数で、従来テレビ放送で行われていた視聴率を指標とする評価手法よりも、信頼性のある高次な評価を実現している。

　しかしながら、上記特許文献に記載の技術のように、眼球運動の映像より得られた、視線の動き、瞳孔面積、瞬目発生頻度などのデータだけでは、視認者の生理反応を正確に把握することが困難であった。すなわち、上記特許文献に記載の技術では、瞬目発生頻度が減少した場合、対象物に注目していると判定し、眼球中心の位置や瞳孔面積から、視認者の情動の変化を解析しているが、これらは、対象物に対する視認者の注目度を単純に判定しているに過ぎず、より細かな視認者の情感（情動と感情）を判定しているわけではない。
なお、この特許の文章での情動と感情の定義は：
情動とは、視認対象（音を含む）または身体刺激に対して無意識に反応する生理反応である。
例として、視認対象に興味・関心があると無意識に注目する現象がある。
感情とは、人の動きや物事などに感じる気持ちのこと。喜び、悲しみ、怒り、驚き、嫌悪、恐怖などである。）
ここでは情動（Ｅ：Ｅｍｏｔｉｏｎ）と感情（Ｆ：Ｆｅｅｌｉｎｇ）をあわせて情感（ＥＦ）と定義している。

　また、上記特許文献に記載の技術は、テレビ番組などの映像コンテンツに対する注目度の評価を行っており、その他の場面に適用することは想定されていない。
さらに、瞳孔径がそのまま注目度と判断しているが、瞳孔径は視認対象の明るさ（照度および輝度）にも大きく反応するので、視認対象の明るさに相当する瞳孔径反応を取り除く手段がなく、正確な注目度による瞳孔径反応が得られない。

　そこで、前記課題を解決するため、本発明の目的は、視認者の生理反応をより正確にきめ細かに把握し、様々な状況において、対象物及び視認者自身の能力をより正確にきめ細かに評価する、視認情景(聴覚、味覚、触覚、臭覚の刺激及びイメージ想起を含む)に対する視認者情感判定装置を提供することにある。

　前記課題を解決するため、請求項１の発明は、特定の対象物を含む情景に視線を向けた視認者の、前記特定の対象物に対する情感を診断する、視認情景に対する視認者情感判定装置において、前記視認者の視認映像及び視認映像範囲の明るさ、前記視認者の顔の映像、視認者身体動作、眼球運動映像、体温を受信する受信部と、前記視認者の顔映像により、前記視認者の顔の各部の変化を算出し、また、前記視認映像及び前記眼球運動映像から前記視認映像における視点の位置を算出するとともに、前記視認者の生理反応データの変化とそれに伴う速度と加速度を算出する解析部と、前記視認者の顔の各部の平常時の位置（平常感情値）と前記視認者が興味が低く注目しない対象物を見ている場合の生理反応データの変化とそれに伴う速度と加速度を含む情報を平常情動値として蓄積し、前記視認者の怒り、恐怖、嫌悪、幸福（喜び）、悲しみ、驚きなどの視認者の感情の高い時の変化値を高感情値とし、また、前記視認者が興味が高く注目する対象物を見ている場合の生理反応データの変化とそれに伴う速度と加速度を含む情報を高情動値として蓄積し、前記解析部によって算出された前記視認者の生理反応データの変化とそれに伴う速度と加速度を含む情報を解析値として蓄積する蓄積部と、前記解析値を平常感情値および平常情動値（双方あわせて平常値と呼ぶ）あるいは前記高感情値および前記高情動値（双方あわせて感動値と呼ぶ）と比較することにより、前記視認者の前記特定の対象物に対する情感および視認者自身の反応能力を診断する診断部と、必要により身体温度測定機能を備え、身体の平常温度とエキサイト時での身体の温度と動作の測定による興奮度を診断する部分とを備えたことを特徴とする視認情景に対する視認者情感判定装置を備えたことを特徴とする。

請求項目１の視認時の対象物は、実際の対象物を手で触りながら、または操作しながら視認する場合を含む。
さらに、視覚の他、聴覚、味覚、触覚、臭覚の刺激を受ける場合も同様の反応を示すので、これらの刺激（５感）に対する注目度および視点の動きと顔の各部位の動きを解析して対象物への同様の情感判定行うことを備えたことを特徴とする。

前記「平常情動値」と「高情動値」は、「平常情動値」と「高情動値」を示す基本映像を視認することにより計測し、「平常感情値」、「高感情値」は顔の動きの「平常時」の顔の各部の位置（平常感情値）と「怒り」、「恐怖」、「嫌悪」、「幸福（喜び）」、「悲しみ」、「驚き」を示す最大の表情を演じてもらい、そのときの顔の各部の動きの変位値をもって「怒り度」、「恐怖度」、「嫌悪度」、「幸福（喜び）度」、「悲しみ度」、「驚き度」の「高感情値」として計測することを備えたことを特徴とする。

　また、請求項２の発明は、請求項１に記載の視認情景に対する視認者情感判定装置において、前記生理反応データの変化とそれに伴う速度と加速度は、前記視認者の視点が前記特定の対象物に接近する際の接近速度および加速度、あるいは、前記視認者の視点が前記特定の対象物から離脱する際の離脱速度および加速度であり、前記診断部は、前記接近速度および加速度が大きいほど前記特定の対象物に興味があり、前記接近速度および加速度が小さいほど前記特定の対象物に興味がないと診断し、前記離脱速度および加速度が大きいほど前記特定の対象物に興味がなく、前記離脱速度および加速度が小さいほど前記特定の対象物に興味があると診断することを特徴とする。
なお、視認対象は、対象物の中のある部分（たとえば商品の場合、商品名、製造会社名、賞味期限、注意書き、仕様、操作ボタン等）でも良い。

　また、請求項３の発明は、請求項２に記載の視認情景に対する視認者情感判定装置において、前記解析部は、前記視認者が頭に装着した視認情景撮影装置で視認映像を撮影する場合は、カメラにより撮影された視認映像内の静止物の位置を基点として、視認映像内の静止物の位置の変化から計算して、前記視認者の頭の移動距離、移動速度及び移動加速度を算出し、視認映像内の視点の位置の変化を加算して、前記頭の動きを含む前記特定の対象物に対する視点の接近速度および加速度あるいは離脱速度および加速度を算出することを特徴とする。
前記視認者の頭の移動方向と距離、移動速度及び移動加速度の算出には、ジャヤイロスコープによる測定方法等、既存の方法を利用しても良い。

請求項１に記載の生理反応データにおいて生理反応データが瞳孔径の変化の場合において、
視認対象が映像ディスプレイの場合、視認映像はディスプレイに表示するコンテンツであり、眼球撮影装置、顔撮影装置、明るさ計測装置は視認者の頭に装着せずに、映像ディスプレイの側に固定されていて良い。
請求項４は、視認対象が映像ディスプレイの場合、映像ディスプレイの輝度を変化させ、それに対応する視認者の瞳孔径を求め、基本輝度と瞳孔径の関係データとして蓄積し、視認者が目的の対象物を視認したときは、視認者の瞳孔径を計測すると同時に、輝度計により視認範囲を対象に輝度を計測し、対象物を視認した時の瞳孔径の値から、蓄積した基本輝度と瞳孔径の関係データの対象物視認時の輝度に相当する瞳孔径の値を差し引くことにより、対象物に対する注目度だけに相当する瞳孔径を求めることを備えたことを特徴とする視認情景に対する視認者情感判定装置。
なお、映像ディスプレイを除くその他の視認情景の場合は：眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置を一体として視認者の頭部に装着して計測する。この場合、輝度の代わり視認範囲の明るさを示す照度を適用し、輝度計の代わりに照度計を使い、「基本輝度と瞳孔径の関係データ」に相当する「基本照度と瞳孔径の関係データ」は、基本照度を変化させることのできる部屋を用意して瞳孔径を計測することで得ることができる。

請求項５は、請求項２において、映像ディスプレイの輝度に比較して視点の輝度が無視できない映像においては、ディスプレイ上の視点のあるピクセルの赤（ｒ）、緑（Ｇ）、青（Ｂ）の輝度への影響度をパラメータとして視点のあるピクセルの輝度を求め、視認者の瞳孔径から、「ディスプレイ輝度と視点輝度と瞳孔径の基本関係データ」の視認時のピクセルの輝度に相当する瞳孔径（明るさに反応する瞳孔径）を差し引くことで、ディスプレイの明るさを含む視認者の視点の注目度に相当する瞳孔径を得ることができることを特徴とする視認情景に対する視認者情感判定装置。
なお、すでに、特定のピクセルの輝度を計測する測定器があるので、その計測器により各ピクセルの輝度を求めても良い。
また、「ディスプレイ輝度と視点輝度と瞳孔径の基本関係データ」は段階的に変化させるディスプレイの明るさにおいて、１.７ｃｍ程度の円の輝度を最高（白）から最小（黒）に変化させた時に、視認者がその円を視認したときの瞳孔径を測り、「ディスプレイ輝度と視点輝度と瞳孔径の基本関係データ」を算出し、蓄積しておく。

請求項６は、請求項４および５において、基本輝度と瞳孔径の関係データにおいて、瞳孔径の最大値（映像ディスプレイが最低の輝度）と瞳孔径が最小値（映像ディスプレイが最大の輝度）の間の瞳孔径の変化範囲と視認者が対象物を視認した時の対象物だけに対する注目度に相当する瞳孔径との比を、視認者の個人差を吸収した注目度とすることを特徴とする視認情景に対する視認者情感判定装置。

　また、請求項７の発明は、請求項１に記載の視認情景に対する視認者情感判定装置にお
いて、注目度が高いと視認対象への興味・関心が高いと判定する。これは情動反応であり、この場合の注目度は情動値である。さらに、前記生理反応データの変化に伴う速度および加速度は、前記視認者の注目度の拡大速度および加速度、あるいは、前記視認者の注目度の縮小速度および加速度であり、前記診断部は、前記注目度が大きく、かつその拡大速度および加速度が大きいほど前記特定の対象物に興味・関心が極度にあると診断し、注目度が小さく、かつ、前記縮小速度および加速度が大きいほど前記特定の対象物に興味・関心がないと診断することを特徴とする。

請求項８の発明は請求項１に記載の視認情景に対する視認者の情感判定装置において、前記視認者の顔映像の各部位（鼻、目、口、眉等）の動きを計測し、その変化量を測定して、変化した各部位の大きさにより、視認者の表情による感情値の大きさを判定することを特徴とする。
この判定と請求項１から３および７の視認対象への視認時の眼球運動による注目度による情動値の大きさを合わせて、視認対象物に対する視認者の情感を判定することを特徴とする。
感情（Ｆｅｅｌｉｎｇ：Ｆ）の基本６要素である「幸福（喜び）＝Ｈａｐｐｉｎｅｓｓ（Ｊｏｙ）」、「悲しみ＝Ｓａｄｎｅｓｓ」、「怒り＝Ａｎｇｅｒ」、「恐怖＝Ｆｅａｒ」、「嫌悪＝Ｄｉｓｇｕｓｔ（Ｄｉｓｌｉｋｅ）」、「驚き＝Ｓｕｒｐｒｉｓｅ」の度合いを
「幸福（喜び）度」＝ＨＰ
「悲しみ度」＝ＳＤ
「怒り度」＝ＡＧ
「恐怖度」＝ＦＲ
「嫌悪度」＝ＤＩ
「驚き度」＝SＰ
と定義し、
　前述のとおり、情動（＝Ｅｍｏｔｉｏｎ（Ｅ））と感情（＝Ｆｅｅｌｉｎｇ（Ｆ）６要素）の大きさを合わせてＥＦ値と定義する。
　一般に情動値（Ｅ）が低い場合は対象に対して退屈か眠いか倦怠感がある。その場合、各感情値（Ｆ）は低く。したがって視認対象に対して消極的評価であると判定できる。
　情動値（Ｅ）が平常の場合は、対象に特別な興味・関心は少なく注目も少ない。この場合は一般的に各感情（Ｆ）も大きくなることは少ない。したがって特に情感を正確に判定できるとはいえない。
　情動値（Ｅ）が高い場合で各感情が高い場合、幸福感（ＨＰ）が高いと積極的、効果的と判定できる。
しかし、悲しさ（ＳＤ）の表情があると、対象に対して非積極的と判定できる。
　また、怒り、恐怖、嫌悪感が表れたらマイナス反応であり、対象に対して注目しているが逆効果であるといえる。驚き感が表れたら驚いて注目（関心）しており、対象により異なるが、一般には効果的反応である。
　また、視認対象が、たとえば映画などのコンテンツで、故意にそれぞれの感情を誘う内容の場合、感情値（Ｆ）の幸福（喜び）度（ＨＰ）と驚き（ＳＰ）、悲しみ（ＳＤ）、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が狙いどおりに高い場合は視認対象のコンテンツは意図どおりの感情反応をしていることになり効果的と判定できることを特徴とする。以下、各対象により、具体的な判定方法を述べる。

請求項９の発明は、請求項１に記載の視認情景に対する視認者情感判定装置において、
請求項１の視認時の対象物は、実際の対象物を手で触りながら、または操作しながら視認する場合と、音声だけを聞いているとき、匂いをかいでいるとき、食べているときの味覚を感じているとき、体のある部分が対象物と接触しているとき、またはそれらの複数の刺激があったときの視認者の注目度および視点の動きと顔の各部位の動きを解析して、それ
らの刺激物を対象にした情感判定をすることを特徴とする。
特に、これら前記の刺激に対して、情動値（Ｅ）が低いと、その刺激に対して反応がないと判定できる。また、情動値（Ｅ）が高い場合、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＰ）が高い場合は、その刺激は快適と判定できる。
しかし、その他の感情値（Ｆ）の悲しみ（ＳＤ）、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が高い場合は一般的にその刺激は視認者にとって快適でないと判定できる。
注目していて、驚き（ＳＰ）が高い場合は状況によるが、一般に意外性を感じていると判定できることを特徴とする。

請求項１０の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、商品であり、前記診断部は、前記視認者の前記商品に対する購買意欲を診断することを特徴とする。
　情動値が低い（関心がなく注目していない）場合は明らかに購買につながらないと判定できる。
しかし、情動値が高く（関心があって注目している）ても、単に関心が高いだけで購買意欲が高いとはいえない。
ただし、その時に一般的に感情値の幸福（喜び）度と驚きが高い場合は購買に積極的と判定できる。
しかし、その他の感情値の悲しみ、怒り、恐怖、嫌悪が高い場合は一般的に購買に積極的ではないと判定できる。

　また、請求項１１の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、学習対象（講演会、読書、教師の動き、教材等）であり、前記診断部は、前記視認者の前記学習対象に対する学習意欲を診断することを特徴とする。
　情動値が低い（関心がなく注目していない）場合は明らかに学習対象に関心がなく「退屈している」と判定できる。
しかし、情動値が高く（関心があって注目している）場合は学習意欲が高いといえる。
一般的に学習の内容がそれぞれの感情を誘う内容の場合、感情値の幸福（喜び）度と驚き、悲しみ、怒り、恐怖、嫌悪が狙い通りに高い場合はその学習は良いと判定できる。ただし、問題に取り組んでいる場合は情動値は高いが、悲しみ、怒り、恐怖、嫌悪が高い場合は、何か戸惑っており、この学習対象に問題あり、と判定できることを特徴とする。

請求項１２の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
　前記特定の対象物は、テレビ、映画等の映像コンテンツであり、
前記視認者は、前記映像コンテンツ視認者である。
映像コンテンツ製作者が、視聴者に期待する映像コンテンツの各場面の、興味・関心による注目度、および各基本感情の幸福（喜び）度、驚き度、悲しみ度、怒り度、恐怖度、嫌悪感度および興奮度のレベルを、コンテンツソフトプログラムの時間軸上に設定しておき、前記映像コンテンツ映写時に、視聴者の注目度および幸福（喜び）度、驚き度、悲しみ度、怒り度、恐怖度、嫌悪感度および興奮度が、映像コンテンツ製作者の期待したレベルにどの程度達しているかを診断し、映像コンテンツの評価をすることを特徴とする。
なお、対象コンテンツには映像と同時に音を含むが、映像なしで音だけの場合もありうる。
最も有効な利用方法は製作映画の上映事前評価、CMの視聴者反応の放映事前評価である。

また、請求項１３の発明は、請求項１から３および７から９のいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、テレビ、映画等の映像コンテンツであり、
前記視認者は、前記映像コンテンツ視認者である。
映像コンテンツの特定の場面または静止画において、複数の視認者の注目度による注目点の映像画面上の分布を表示し、コンテンツ制作者の映像画面上の訴求点と比較して、コンテンツの訴求点効果
　を判定することを特徴とする。

　また、請求項１４の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記受信部は、２つのテレビ電話から、それぞれの通話者の顔と前記視認映像及び前記眼球運動映像を受信し、前記診断部は、一方の通話者から他方の通話者に対する情感をそれぞれ診断し、さらに、一方の通話者から他方の通話者に対する情感の診断結果を他方の通話者のテレビ電話または診断センター等の仲介者に送信する送信部を備えていることを特徴とする。
情動値が低い（関心がない）場合は明らかに相手に関心がなく、相性がないと判定できる。
しかし、情動値が高く（注目している）ても、単に関心が高いだけで相性が良いとは判定できない。
ただし、その時に一般的に感情値の幸福（喜び）度が高ければ相性が良いと判定できる。驚き、怒り、恐怖、嫌悪が高い場合は、話しの内容による反応の場合は相槌の意味で相性は良いと判定できる。しかし、話しの内容と無関係で、怒り、恐怖、嫌悪が高い場合は相性が良いとする判定はできない。

　また、請求項１５の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、言葉を話すことが困難な人、あるいは動物であり、彼らの視認対象は彼らの視認するものすべてであり、彼らの視認対象への情感を判定することを特徴とする。
視認者が人間（たとえば、赤ん坊、認知症者）の場合、情動値が低い（関心がない）場合は明らかに視認対象に関心がないと判定できる。
一方、情動値が高い（注目している）場合は関心が高いと判定できる。
情動値に関係なく、一般的に感情値の幸福（喜び）度が高ければ状況がよいと判定できる。また、怒り、恐怖、嫌悪が高い場合は不満があると判定できる。
視認者が動物の場合、情動値が低い場合は明らかに視認対象に関心がないと判定できる。逆に情動値が高い場合は視認対象に関心があると判定できる。

　また、請求項１６の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、本発明の視認者情感判定装置をロボットに組み込み、前記視認者は、情感を持つ人間であり、動物であり、視認対象は視認者の視認するもののすべてである。
ロボット内の前記診断部から入力された視認者の診断結果に基づいて、前記ロボットが適切な言動をおよび応対を選択する選択部と実行機能を備えていることを特徴とする。
たとえば、視認者の情動値が低い（関心がない）場合は明らかに視認者の視認対象に関心がないと判定し、ロボットは関心のあるものに誘導する言動、動作をする。
視認者の感情の怒り、恐怖、嫌悪が高い場合、ロボットは適切な慰めの言葉を発したり、視認対象を変更するなどの対処をすることになる。

　また、請求項１７の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、犯罪容疑者であり、前記特定の対象物は、犯罪現場、犯罪用具、共犯者または被害者であることを特徴とする。視認者の情動値が低い（注目していない）場合、視認対象に犯罪容疑者にとって関連がないと判定できる。
しかし、情動値が高く（注目している）ても、単に関心が高いだけで犯罪者に関係がある
とはいえない。
この場合、一般的に情動値が高く、感情値の幸福（喜び）度、驚き、怒り、恐怖、嫌悪が高い場合は犯罪容疑者にとってなんらか関連があると判定できる。

　また、請求項１８の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、自動車または飛行機等の交通機関の運転者であり、さらに、前記診断部から、注目すべきところで注目しているかどうかを視点の位置と瞳孔径の計測で判定し、危険運転状態であると診断した場合は、前記視認者に警告またはブレーキ等の適切な操作補助を行う機能を備えていることを特徴とする。
視認者（運転者）の情動値が低い場合は明らか不注意状態か居眠り状態に近いと判定できるので危険運転状態と言える。
しかし、情動値が高く（注目している）ても、必ずしも運転良好とはいえない。
常に視点が適切なところに位置している場合に良好な運転と判定できる。
さらに、感情値の幸福（喜び）度が高ければ状況がよいと判定できる。
また、怒り、恐怖、嫌悪の感情が高い場合は、車内の会話に影響されている場合以外に、運転時になんらかの障害があると判定できる。たとえば、ストレスが高い場合などである。

　また、請求項１９の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、労働者であり、視認対象は機械の操作シミュレータまたは実機械であり、前記解析部は、前記視認者の応答装置の動作による応答データを用いて、応答遅延時間及び操作方法を解析し、前記診断部は、前記視認者の熟練度あるいは適正度を診断することを特徴とする。
視認者の情動値が低い場合は明らかに不注意状態か居眠りに近い状態と判定できる。
しかし、情動値が高く（注目している）ても、必ずしも操作良好とはいえない。
常に視線が操作対象をキープしており、
さらに、感情値の幸福（喜び）度が高ければ状況がよいと判定できる。
また、怒り、恐怖、嫌悪が高い場合は、操作時になんらかの障害があると判定できる。たとえば、労働パートナーの操作への怒り等。

　また、請求項２０の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は就業前の労働者であり、視認対象は危険箇所のある操作映像のコンテンツまたはシミュレータであり、前記診断部は、前記視認者の体調を診断して、就業への適性を判定することを特徴とする。
視認者の情動値が低い場合は、明らかに不注意状態か居眠りに近い状態と判定できる。たとえば、他のことに気を取られている等。
しかし、情動値が高く（注目している）ても、必ずしも体調良好とはいえない。
常に、視線が映像内の適切な対象をキープしており、
さらに、感情値の幸福（喜び）度が高ければ状況がよいと判定できる。
また、怒り、恐怖、嫌悪の感情が高い場合は、その時に視認者に（本人の体調、家庭、友人等の）なんらかの障害があると判定できる。

　また、請求項２１の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、運動選手であり、前記特定の対象物は、運動選手が運動する時に見る対象（野球のバッターなら投手の動きとボールの球筋、テニス選手なら相手の選手の動作とボールの球筋等）であり、前記診断部は、前記視認者の調子、熟練度あるいは適正度を診断することを特徴とする。
注目すべき対象に視線が行ってなく、視認者の情動値が低い（注目していない）場合は明らかに視認者は未熟練と判定できる。
しかし、注目すべき対象に視線が行って、情動値が高く（注目している）ても、必ずしも調子が良いと言えないが、感情値の幸福（喜び）度が高ければ状況がよいと判定できる。また、怒り、恐怖、嫌悪が高い場合は（たとえば審判に不満等）、その時になんらかの感情的問題があると判定できる。

　請求項２２の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、本発明の視認者情感判定装置をゲーム機に組み込み、前記視認者は、ゲームプレイヤーであり、視認対象は視認者の視認するゲームコンテンツである。
ゲーム機内の前記診断部から入力された視認者の診断結果に基づいて、前記ゲーム機が適切なゲームコンテンツ画面をおよび音声及びゲーム用プログラムを選択する選択部と実行機能を備えていることを特徴とする。
たとえば、視認者の情動値が低い（関心がない）場合は明らかに視認者の視認対象に関心がないと判定し、ゲーム機は関心のあるものに誘導するコンテンツ画面などを提示する。視認者の感情の驚き、怒り、恐怖、悲しみ、嫌悪、幸福（喜び）に合わせて、ゲーム機は適切な視認対象の変更（ゲームコンテンツ画面、音声、ゲーム用プログラムを変える）するなどの対処をすることになる。

　また、請求項２３の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、空間の中に配列されている物であり、前記診断部は、前記視認者から見た前記特定の対象物の配列の適切性を診断することを特徴とする。
　視認者の情動値が低い（関心がなく注目度が低い）場合は明らかにその場の棚および棚にあるものが注目されないと判定できる。
しかし、情動値が高く（注目している）ても、単に関心が高いだけで購買意欲が高いとはいえない。
ただし、一般的に感情値の幸福（喜び）度と驚き度が高い場合は好意的と判定できる。
しかし、その他の感情値の悲しみ、怒り、恐怖、嫌悪の感情が高い場合は、一般的に不満につながる要素があると判定できる。

請求項２４の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、視認者は訪問者であり、視認対象は客に応対する店員、受付者等であり、店員、受付者の応対において、視認者の情感を診断して、店員、受付者等の応対の良し悪しを判定することを特徴とする。
視認者の情動値が低い（関心がない）場合は明らかに相手に特別に問題はなく、平常の応対をしているものと判定できる。
視認者の情動値が高い（興味を引いている）場合、一般的に感情値の幸福（喜び）度が高ければ応対が良いと判定できる。
ただし、怒り、恐怖、嫌悪が高い場合は、会話内容への同調反応を除き、好ましい応対ではないと判定できる。

請求項２５の発明は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、
視認対象は放送、通信ネットワークまたは映像蓄積装置に接続したTVディスプレイ上のコンテンツであり、テレビ視聴時の視認者の興味・関心の高いコンテンツの分野を視認者の情感の解析により判定し、次の視認者のテレビ等視聴時に、視認者の興味・関心度の高いコンテンツを推薦することを特徴とする視認情景に対する視認者情感判定装置。

　請求項２６発明は、請求項１から３および７から９までのいずれか一項に記載の視認情
景に対する視認者情感判定装置において
前記視認者は、一般のテレビ視聴者であり、視認対象はネットワークまたは電波を経由して受信するテレビ受信機（映像コンテンツ受信機）である。番組を視聴中に情感度の高い瞬間に受像機の中の視点のある対象物または人物を自動的にマークし、後でネットワークを通して、そのマークした対象の情報を視認者に電子メールにて配信されてくるシステムで、その後の視認者の意思で、商品の購入、人物への連絡ができることを特徴とする。
ただし、受像機の中の視点のある対象物または人物を自動的にマークするに際して、情動（興味・関心度）が高くても、感情度において嫌悪感度と怒り度が高いものは自動的に除く。

　以上のように、本発明によれば、生理反応データの変化とそれに伴う速度および加速度と、顔の各部位の変化による顔の表情解析を組み合わせて、対象物及び視認者自身の能力を評価する。これにより、視認者の生理反応をより正確に把握し、様々な状況において、対象物及び視認者自身の能力をより正確に評価することができる。

本発明の実施形態による視認者情感判定システムの構成を示すブロック図である。本発明の実施形態による視認者情感判定装置の構成を示すブロック図である。本発明の実施形態による視点の位置を算出することを説明する図である。本発明の実施形態による視認者の頭の動きと視認映像の関係を説明するための図である。本発明の実施形態による視認映像を解析する際の座標軸の一例である。本発明の実施形態による水平方向に視認者の頭が動いた場合の頭の移動を説明する図である。本発明の実施形態によるフレーム画面Ｆ₀から次のフレーム画面Ｆ₀＋１へ頭が移動した場合の、静止物の基点の移動を示す図である。本発明の実施形態による視認映像の中の視点の移動を示す図である。本発明の実施形態によるフレーム画面Ｆ₀からフレーム画面Ｆ₀＋１に移動した際の視点の移動を示す図である。本発明の実施形態による視認映像における対象物と視点の位置関係を示す図である。本発明の実施形態による接近速度、接近加速度、離脱速度及び離脱加速度の算出方法を示すフローチャートである。本発明の実施形態による視点追尾時間の算出方法を示すフローチャートである。本発明の情感判定用の顔解析手法による顔の部位計測の図特定映像コンテンツでの視認者の平均注目度分布例（最低注目度を０、最大注目度を１００とする）特定映像コンテンツでの視認者の平均注目度集中度（％）本発明の実施形態による、相性診断に用いる視認者情感判定システムの構成を示すブロック図である。本発明の実施形態による、相性診断に用いる視認者情感判定装置の構成を示すブロック図である。本発明の実施形態による、ロボットの応対診断に用いる視認者情感判定装置の構成を示すブロック図である。本発明の実施形態による、ドライバー眠気感知診断に用いる視認者情感判定装置の構成を示すブロック図である。

　以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
〔視認者情感判定システム〕
　まず、視認者情感判定システムの構成、及び各構成部の処理について説明する。図１は、本発明の実施形態による視認者情感判定システムの構成を示すブロック図である。この視認者情感判定システムは、アイカメラ３、送信装置７、蓄積装置８、視認者の顔を含む身体動作撮影装置９、身体温度測定装置１０、明るさ計測装置１１（視認対象が映像ディスプレイの場合は輝度計測装置、視認対象がその他の場合は照度測定装置等）、応答装置１４及び視認者情感判定装置１００を備えている。

　まず、視認者１は、アイカメラ３を頭部に装備し、対象物２を含む視認情景に視線を向ける。視認対象が映像ディスプレイのコンテンツの場合は、ディスプレイの近くに、アイカメラに相当する装置が固定されていても良い。ここで、視認情景とは、視認者１が視認可能な情景であれば何でもよく、例えば、商店、広場、人間、町並の他、コンピュータ、携帯電話、テレビジョンなどのディスプレイに表示される映像データ、ウェブページデータ、コンピュータゲームデータ、コンピュータプログラムの出力するデータなども含まれる。
ディスプレイ上に表示される上記のデータには、文字列、図、記号、絵、写真または動画など、視認者１を反応させるための応答喚起情報が表示され、文字列、図、記号、絵、写真または動画など、視認者１が反応する対象となる反応対象情報が含まれる。

　アイカメラ３は、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６を備えている。なお、図１では、アイカメラ３は、蓄積装置８及び送信装置７に接続されており、視認者１は、蓄積装置８及び送信装置７も身に付けている。
また、視認対象がコンピュータ、携帯電話、テレビジョンなどのディスプレイの場合、アイカメラを頭に装着せず、ディスプレイの側に、眼球撮影装置、マイクロフォンを設置してもよい。

　眼球撮影装置４は、視認者１の眼球を撮影する。眼球撮影装置４が撮影した眼球運動映像ｂは、蓄積装置８に蓄積される。なお、眼球運動映像ｂは、動画として蓄積されてもよく、定期的に撮影された静止画として蓄積されてもよい。

　視認情景撮影装置５は、視認者１が視線を向けている対象物２を含む視認情景を撮影する。視認情景撮影装置５が撮影した視認映像ａは、蓄積装置８に蓄積される。なお、視認映像ａは、動画として蓄積されてもよく、定期的に撮影された静止画として蓄積されてもよい。

　明るさ計測装置１１は、視認対象の明るさｇを計測する機能を備えている。この場合、視認対象が映像ディスプレイの場合は、映像ディスプレイの輝度を計測する。映像ディスプレイを除くその他の視認対象の場合は、輝度の代わり視認範囲の明るさを示す照度を計測する。この明るさのデータｇは蓄積装置８に蓄積される。

　マイクロフォン６は、視認者１及び周囲の音声を捕捉する。マイクロフォン６が捕捉した音声データｃは、蓄積装置８に蓄積される。

　応答装置１４は、視認者１の動作により応答信号を取得する。視認者１の動作としては
、例えば、ボタン押し操作、キーボード操作、マウス操作、タッチパネル操作、リモコン操作、ゲーム機器付属コントローラの操作、機械の操作などの他、手を上げる、発声するなど、その他のボディアクションが挙げられる。応答装置１４が取得した応答データｄは、蓄積装置８に蓄積される。

　蓄積装置８は、視認情景撮影装置５からの視認映像ａ、眼球撮影装置４からの眼球運動映像ｂ、マイクロフォン６からの音声データｃ、及び応答装置１４からの応答データｄを、視認者の顔の映像を含む視認者身体動作映像ｅ、身体温度データｆ、明るさデータｇをそれぞれ同期したデータとして時系列に蓄積する。

　送信装置７は、蓄積装置８が蓄積した視認映像ａ、眼球運動映像ｂ、音声データｃ及び応答データｄ、視認者の顔の映像を含む視認者動作映像ｅ、身体温度データｆ、明るさデータｇを、無線または有線によって、視認者情感判定装置１００へ送信する。このとき、送信装置７は、所定の時間間隔で、各データを視認者情感判定装置１００へ送信してもよく、視認者情感判定装置１００からの指示に従って、各データを視認者情感判定装置１００へ送信してもよい。

　身体動作撮影装置９は、視認者１の顔を含む身体の各部の動作を撮影する。また、身体動作撮影装置９は、無線または有線によって、撮影した身体動作映像ｅを視認者情感判定装置１００へ送信する。
なお、この場合、視認者の顔だけを撮影する顔撮影装置を別に用意してもよく、たとえば帽子型のアイカメラの帽子のひさしの先端に装着して顔を撮影することもできる。

　身体温度測定装置１０は、視認者１の身体の温度を測定する。また、身体温度測定装置１０は、無線または有線によって、身体温度データｆを視認者情感判定装置１００へ送信する。なお、図１では、視認者１の身体の温度を身体温度測定装置１０によって遠隔から測定しているが、視認者１に装着したセンサーにより直接測定しても構わない。この場合、測定した身体温度データｆは、蓄積装置８に蓄積され、送信装置７によって視認者情感判定装置１００へ送信される。

　ここで、眼球撮影装置４、視認情景撮影装置５及び身体動作撮影装置９における映像フレームの撮影周波数は、２４０Ｈｚ以上と高速なものが適切である。また、これらの映像フレームの撮影周波数は同一であることが望ましい。

　なお、図１では、アイカメラ３及び応答装置１４は、蓄積装置８に接続されており、有線によって、各データを蓄積装置８に送信しているが、無線によって、各データを蓄積装置８に送信しても構わない。さらに、無線による場合、視認情景撮影装置５、眼球撮影装置４、明るさ計測装置１１、マイクロフォン６及び応答装置１４は、各データを直接、視認者情感判定装置１００へ送信しても構わない。

〔視認者情感判定装置〕
　次に、図１に示す視認者情感判定装置１００の構成、及び各構成部の処理について説明する。図２は、本発明の実施形態による視認者情感判定装置１００の構成を示すブロック図である。この視認者情感判定装置１００は、受信部１０１、解析部１０２、蓄積部１０３、診断部１０４及び表示部１０５を備えている。

〔受信部〕
　受信部１０１は、送信装置７から、視認映像ａ、眼球運動映像ｂ、音声データｃ、明るさデータｇ及び応答データｄを受信する。また、受信部１０１は、身体動作撮影装置９から身体動作映像ｅを受信する。さらに、受信部１０１は、身体温度測定装置１０から身体
温度データｆを受信する。そして、受信部１０１は、受信した全データを同期させ、所定の時間間隔で、あるいは、解析部１０２からの指示によって各データを解析部１０２へ出力する。受信したデータを同期させるためには、各データに時計の時刻を同期信号として含ませる方法と、視認者情感判定装置１００から同期信号を送信装置７、身体動作撮影装置９及び身体温度測定装置１０へ送り、送信装置７からの視認映像ａ、眼球運動映像ｂ、音声データｃ及び応答データｄ、身体動作撮影装置９からの身体動作映像ｅ、身体温度測定装置１０からの身体温度データｆ、明るさ計測装置１１からの明るさデータｇに同期信号データとして含ませる方法とがある。これにより、全データを同期させて処理することができる。

〔解析部〕
　解析部１０２は、所定の時間間隔で、あるいは、受信部１０１へ指示することによって、受信部１０１から視認映像ａ、眼球運動映像ｂ、音声データｃ、応答データｄ、身体動作映像ｅ、身体温度データｆ、および明るさデータｇを取得する。そして、解析部１０２は、各データａ～ｇに同期信号データを付し、蓄積部１０３へ蓄積する。また、解析部１０２は、必要に応じて、蓄積部１０３に蓄積した各データａ～ｇを読み出し、読み出した各データａ～ｇを解析のために用いる。また、解析部１０２は、視認映像ａ及び眼球運動映像ｂから視認映像ａにおける視点の位置を算出するとともに、視認者の生理反応データの変化とそれに伴う加速度を算出する。詳細については後述する。

　図３は、視認映像ａと眼球運動映像ｂとを用いて、視点の位置を算出することを説明する図である。解析部１０２は、図３に示すように、眼球運動映像ｂから視線を求め、この視線と視認映像ａとを合わせることにより、視点の位置を算出する。ここで、視線の算出方法は、様々なものがある。例えば、角膜反射法と呼ばれる眼球へ点光源の近赤外線を照射し、角膜表面における反射像（以下、プルキニエ像という。）を利用する方法がある。角膜反射法による視線の測定方法は、２種類に大別され、瞳孔中心とプルキニエ像との距離から視線を求める方法と、プルキニエ像から得られる角膜曲率中心と瞳孔中心を結ぶ線を仮想視線とし、誤差補正を行って視線を求める方法とがある。

　図４は、視認者１の頭（顔の動きを含む）の動きと視認映像ａの関係を説明するための図である。解析部１０２は、図４に示すように、視認情景撮影装置５からの視認映像ａにより、視認者１の頭の動きを解析する。
視認情景撮影装置５の撮影時におけるフレーム周波数をＳ（／秒）とするとフレーム間隔Ｆは、Ｆ＝１／Ｓ（秒）となる。図４において、頭の動きについては、視認者１が頭に装着する視認情景撮影装置５が撮影した視認映像ａだけでも、その動きを計測できる。ただし、視認映像ａを基本にした計測であるため、２次元となる。ここで、視認映像ａの視野角（横θh、縦θｖ）は視認情景撮影装置５によって、予め設定されている。また、解析部１０２は、身体動作映像ｅを用いて、頭の動きを計測することもできる。または、画像処理によって身体動作映像ｅから頭を特定し、その頭を追跡することにより、頭の動きを計測する。全く異なる技術として視認者１の頭部または視認情景撮影装置５に装着したジャイロスコープを用いて頭の動きを計測することも可能である。

　図５は、視認映像ａを解析する際の座標軸の一例である。また、図６は、水平方向に視認者１の頭が動いた場合の頭の移動を説明する図である。ここでは、視認者１の頭を中心に視野全体を球面にたとえて、頭の動きを水平方向ｈ、上下方向をｖで表している。図５に示す座標軸は、（ｈ、ｖ）ともに数字だけで表したり、ラジアン（ｒａｄ）または角度（°）で表したりしてもよい。例えば、一周をそれぞれ、１（－０．５～＋０．５）、または２πrad（－π～＋π）、または３６０°（－１８０°～＋１８０°）で表してもよい。なお、図６においては、最初のフレーム画面をＦ₀として、１／Ｓ秒後の次のフレーム画面をＦ₀＋１として表している。

　また、解析部１０２は、頭の移動距離、移動速度、移動加速度を算出する。図７は、視認映像ａのフレーム画面Ｆ₀から次のフレーム画面Ｆ₀＋１へ頭が移動した場合の、静止物の基点の移動を示す図である。視認映像ａを、左下端を原点とした座標（ｘ、ｙ）で表し、最初のフレーム画面Ｆ₀の中の動いていない物（静止物）“Ａ”の点を基点と定めて、その座標を（ｘ０、ｙ０）とする。ここで、静止物“Ａ”及びその点（座標）は、視認者情感判定装置１００を操作するオペレータが視認映像ａを見て指定することによって、決定するようにしてもよいし、予め設定された静止物“Ａ”の特徴を視認映像ａで捉え、自動的に追尾するようにしてもよい。なお、静止物“Ａ”を特定して追跡する画像処理については既知の技術であるから、ここでは詳細な説明を省略する。１／Ｓ秒後の次のフレーム画面Ｆ₀＋１における静止物“Ａ”の位置（ｘ１、ｙ１）を解析ことにより、解析部１０２は、以下のデータを算出する。
頭の水平移動距離：ｈ０＝―（ｘ１－ｘ０）
頭の垂直移動距離：ｖ０＝―（ｙ１－ｙ０）
（視認者の頭の移動は基点“A”の動きとは逆になるので、負（－）の方向になる）
頭のＦ₀からＦ₀＋１までの移動距離は：ｐｈｖ０＝（ｈ０²＋ｖ０²）^1/2
また、解析部１０２は、移動フレームを全部（ｎまで）合わせることにより、以下のデータを算出する。
全移動水平距離：ｐｈｎ＝Σｈ＝ｈ０＋ｈ１＋・・・・・＋ｈｎ
全移動垂直距離：ｐｖｎ＝Σｖ＝ｖ０＋ｖ１＋・・・・・＋ｖｎ
全体の移動距離：ｐｈｖｎ＝（ｐｈｎ²＋ｐｖｎ²）^1/2
ここで、０、１、２、・・・、ｎは最初のフレーム番号を０としたときのｎまでのフレーム番号である。また、解析部１０２は、頭の移動速度ｑｈｖ≒ｄ（ｐｈｖ）／ｄｔとして計算でき、フレーム画面Ｆ₀における頭の移動速度ｑｈｖ０は、
ｑｈｖ０≒ｄ（ｐｈｖ）／ｄｔ≒（ｐｈｖ１－ｐｈｖ０）／（１／Ｓ）
として算出する。ただし、ｔは時間を表す
また、解析部１０２は、頭の移動加速度ｋｈｖ≒ｄ（ｑｈｖ）／（１／Ｓ）として計算でき、
フレーム画面Ｆ₀における頭の移動加速度ｋｈｖ０は、
ｋｈｖ０≒ｄ（ｑｈｖ）／ｄｔ≒（ｑｈｖ１－ｑｈｖ０）／（１／Ｓ）
として算出する。

また、頭の移動距離、移動速度、移動加速度を算出する方法としてはジャイロスコープ（単位は角速度：ラジアンまたは度／秒）がある。
角速度を経過時間で積分して移動角度を算出する方法が一般的である。
Ｌフレーム時の頭の角移動速度はジャイロスコープでフレームＬ時点の移動速度（ｑｈｖ_L）を測定することで得られる。
　フレームＬ時の頭の水平移動速度＝ｑｈ_Ｌ
フレームＬ時の頭の垂直移動速度＝ｑｖ_ｌ
として
Ｎフレーム時までの頭の水平移動距離は：

Ｎフレーム時までの頭の垂直移動距離：

となる。
頭のＦ₀からＦ_Ｎまでの移動距離：ｐｈｖＮ＝（phＮ²＋pvＮ²）^1/2
となる。
また、本解析方法は、映像のフレーム単位での解析のため、
解析部１０２は、移動映像フレームを全部合わせることにより、以下のデータを算出する。
全体の移動距離：ｐｈｖＮ＝（ｐｈＮ²＋ｐｖＮ²）^1/2
また、解析部１０２は、フレーム画面Ｆ₀時における頭の移動速度ｑｈｖ０を、
ｑｈｖ０≒（ｐｈｖ１－ｐｈｖ０）／（１／Ｓ）
として算出する。
また、解析部１０２は、頭の移動加速度はｋｈｖ≒ｄ（ｑｈｖ）／（１／Ｓ）
として計算できるので、フレーム画面Ｆ₀における頭の移動加速度ｋｈｖ０を、
ｋｈｖ０≒ｄ（ｑｈｖ）／ｄｔ≒（ｑｈｖ１－ｑｈｖ０）／（１／Ｓ）
として算出する。

　また、解析部１０２は、視認映像ａの中の視点の動きを算出する。図８は、視認映像ａの中の視点Ｂの移動を示す図である。図８では、フレーム画面Ｆ₀における視認映像ａの中の視点の位置を（Ｈ０、Ｖ０）で表示する。また、次のフレーム画面Ｆ₀＋１における視点の位置を（Ｈ１、Ｖ１）で表示する。１／Ｓ秒後の次のフレーム画面Ｆ₀＋１における視点Ｂの位置（Ｈ１、Ｖ１）を測ることにより、解析部１０２は、視点の水平移動距離ｐＨ０を、
ｐＨ０＝Ｈ１－Ｈ０として算出する。
同様に、垂直移動距離ｐＶ０を、
ｐＶ０＝Ｖ１－Ｖ０として算出する。
また、視点のＦ₀からＦ₀＋１までの移動距離ｐＨＶ０を、
ｐＨＶ０＝（ｐＨ０²＋ｐＶ０²）^1/2として算出する。
また、移動フレームＦ₀からFｎまでを全部あわせた水平移動距離ｐＨを、
ｐＨｎ＝ΣｐＨ＝ｐＨ０＋ｐＨ１＋ｐＨ２＋・・・＋ｐＨｎとして算出する。
同様に、垂直移動距離ｐＶを、
ｐＶｎ＝ΣｐＶ＝ｐＶ０＋ｐＶ１＋ｐＶ２＋・・・＋ｐＶｎとして算出する。
よって、Ｆ₀からFｎまでの全体の移動距離ｐＨＶｎを、
ｐＨＶｎ＝（ｐＨｎ²＋ｐＶｎ²）^1/2として算出する。
また、フレーム画面Ｆ₀における視認映像ａの中での視点の水平速度ｑＨ０を、
ｑＨ０≒ｄ（ｐＨ）／ｄｔ≒（ｐＨ１－ｐＨ０）／（１／Ｓ）として算出する。
同様に、垂直速度ｑＶ０を、
ｑＶ０≒ｄ（ｐＶ）／ｄｔ≒（ｐＶ１－ｐＶ０）／（１／Ｓ）として算出する。
また、フレーム画面Ｆ₀における視点の移動速度ｑＨＶ０は、
ｑＨＶ０＝（ｑＨ０²＋ｑＶ０²）^1/2として算出する。
また、フレーム画面Ｆ₀における視認映像ａの中での視点の水平加速度ｋＨ０を、
ｋＨ０≒ｄ（ｑＨ）／ｄｔ≒（ｑＨ１－ｑＨ０）／（１／Ｓ）として算出する。
同様に、垂直加速度ｋＶ０を、
ｋＶ０≒ｄ（ｑＶ）／ｄｔ≒（ｑＶ１－ｑＶ０）／（１／Ｓ）として算出する。
また、フレーム画面Ｆ₀における視点の移動加速度ｋＨＶ０を、
ｋＨＶ０＝（ｋＨ０²＋ｋＶ０²）^1/2として算出する。

　また、解析部１０２は、頭の動きを含む視点の動きを算出する。図９は、フレームＦ₀からフレームＦ₀＋１に移動した際の視点の移動を示す図である。
図９において、解析部１０２は、フレームＦ₀における頭と視点を合わせた水平移動距離を、
Ｄｈ０＝ｐｈ０＋ｐＨ０として算出する。
同様に、フレームＦ₀における頭と視点を合わせた垂直移動距離を、
Ｄｖ０＝ｐｖ０＋ｐＶ０として算出する。
したがって、Ｆ₀からＦ₀＋１までの頭と視点との移動距離Ｄ０は、
Ｄ０＝（Ｄｈ０²＋Ｄｖ０²）^1/2として算出する。
また、フレーム画面Ｆ₀からFｎまでのトータルの頭と視点との全移動距離ＴＤを、
ＴＤ＝Ｄ０＋Ｄ１＋・・・＋Ｄｎとして算出する。
また、フレームＦ₀における頭を含む視点の移動速度を以下のように算出する。
視点移動の水平速度：Ｑｈ０＝ｑｈ０＋ｑＨ０
視点移動の垂直速度：Ｑｖ０＝ｑｖ０＋ｑＶ０
したがって、フレームＦ₀における視点移動速度Ｑ０は、
Ｑ０＝（Ｑｈ０²＋Ｑｖ０²）^1/2として算出する。
同様に、フレームＦ₀における頭を含む視点の移動加速度を以下のように算出する。
水平加速度：Ｋｈ０＝ｋｈ０＋ｋＨ０
垂直加速度：Ｋｖ０＝ｋｖ０＋ＫＶ０
したがって、フレームＦ₀における頭を含む視点移動の加速度Ｋ０は、
Ｋ０＝（Ｋｈ０²＋Ｋｖ０²）^1/2として算出する。

　また、解析部１０２は、視認映像ａの中で対象物の移動も視点の移動と同様の方法で算出する。

　上記の情報を用いて、解析部１０２は、対象物に視点が追尾しているか否かを解析する。図１０は、視認映像ａにおける対象物と視点の位置関係を示す図である。図１０において、視認映像ａの中で、対象物Ｃの映像の中に視点Ｂが入っている場合は、視認者の視点はその対象物を追尾していると判定する。
なお、対象物の輪郭の特定は、画像処理によって可能であり、既知の技術で対応可能であるため、ここでは詳細の説明は省略する。

　また、解析部１０２は、視点Ｂの位置（Ｈ、Ｖ）と対象物Ｃの位置（Ｘ、Ｙ）の乖離距離、視点が対象物に接近する際の接近速度（Ｂｖ）及び接近加速度（Ｂｋ）、視点が対象物から離脱する際の離脱速度（Ｂｓ）及び離脱加速度（Ｂｒ）を算出する。
なお、対象物Ｃが視認映像ａから外れたり、視点Ｂが対象物Ｃから離れて所定の時間経過したりの所定の条件を満たす場合は、明らかに視点Ｂが対象物から離脱したと判定する。

　図１１は、接近速度（Ｂｖ）、接近加速度（Ｂｋ）、離脱速度（Ｂｓ）及び離脱加速度（Ｂｒ）の算出方法を示すフローチャートである。接近速度（Ｂｖ）、接近加速度（Ｂｋ）、離脱速度（Ｂｓ）、離脱加速度（Ｂｒ）の算出方法を、図１１を参照して説明する。まず、ステップ１０１において、解析部１０２は、視点が対象物の範囲内にあるか否かを判定する。対象物が範囲内にあるか否かは、視点Ｂの位置（Ｈ、Ｖ）と対象物Ｃの位置（Ｘ、Ｙ）の乖離距離から求められる。
まず、フレームＦ₀における水平乖離距離Ｚｈ０を、
Ｚｈ０＝Ｘ０－Ｈ０として算出する。
同様に、垂直乖離距離Ｗｖ０を、
Ｗｖ０＝Ｙ０－Ｖ０として算出する。
また、乖離距離Ｕ０を、
Ｕ０＝（Ｘｈ０²＋Ｗｖ０²）^1/2として算出する。
フレームＦ₀における乖離距離をＵ０、フレームＦ₀＋１における乖離距離をＵ１とする。

　ア．視点Ｂの位置（Ｈ、Ｖ）が対象物Ｃの位置（Ｘ、Ｙ）の範囲内に含まれない場合（ステップ１０１：Ｎ）、すなわち、視点Ｂが対象物Ｃの外部に存在する場合、以下のＡ～Ｃの処理を行う。
Ａ．ステップ１０３において、Ｕ１－Ｕ０＜０のとき、視点Ｂは対象物Ｃに接近中であると判定し、ステップ１０４へ進み、接近速度および加速度を算出する。
フレームＦ₀において、視点Ｂの対象物Ｃへの接近速度（Ｂｖ）は、以下のようになる。
Ｂｖ０＝―（Ｕ１－Ｕ０）／（１／Ｓ）
また、視点Ｂの対象物Ｃへの接近加速度（Ｂｋ）は、以下のようになる。
Ｂｋ０＝―（Ｂｖ１－Ｂｖ０）／（１／Ｓ）
そして、ステップ１０１の処理へ戻る。
Ｂ．ステップ１０３において、Ｕ１－Ｕ０＞０のとき、視点Ｂは対象物Ｃから離脱中であると判定し、ステップ１０５へ進み、離脱速度および加速度を算出する。
フレームＦ₀において、視点Ｂの対象物Ｃからの離脱速度（Ｂｓ）は、以下のようになる。
　Ｂｓ０＝（Ｕ１－Ｕ０）／（１／Ｓ）
　また、視点Ｂの対象物Ｃからの離脱加速度（Ｂｒ）は、以下のようになる。
　Ｂｒ０＝（Ｂｓ１－Ｂｓ０）／（１／Ｓ）
　そして、ステップ１０１の処理へ戻る。
Ｃ．なお、ステップ１０３において、Ｕ１－Ｕ０＝０のときは、その時点での視点の移動はない。
したがって、それ以降のＵ１－Ｕ０の結果がプラス＋またはマイナス－になるまで、同じ動作を繰り返す。したがって、ステップ１０１の処理へ戻る。

視点Ｂの位置（Ｈ、Ｖ）が対象物Ｃの位置（Ｘ、Ｙ）の範囲内に含まれる場合（ステップ１０１：Ｙ）、すなわち、視点Ｂが対象物Ｃの内部に存在する場合、視点が対象物を追尾中であると判断し、ステップ１０２へ移行し、追尾中のフレーム数（Ｎ）を数えて、後述する図１２を用いて説明するように、視点追尾時間（Ｂｔ）＝（（１／Ｓ）×Ｎ）｝を算出する。

　また、解析部１０２は、視点追尾時間を算出する。図１２は、視点追尾時間の算出方法を示すフローチャートである。図１２に示す視点追尾時間の算出方法は、図１１に示したステップ１０２に対応している。各視認映像aのフレーム毎に、まず、ステップ２０１において、解析部１０２は、視点が対象物の範囲内にあるか否かを判定する。視点が対象物の範囲内にあるか否かの判定方法は、図１１において説明した方法と同様である。そして、視点が対象物の範囲内にある場合、ステップ２０２へ進み、時間をカウントする。次に、ステップ２０３において、視点が対象物の範囲内にあるか否かを判定し、範囲内にある場合は、ステップ２０２へ戻り、時間をカウントする。一方、視点が対象物の範囲内にない場合は、ステップ２０４へ進み、カウントした時間を視点追尾時間として設定するとともに、図１１のステップ１０１へ戻る。

生理反応データが瞳孔径の変化の場合において、瞳孔径は視認対象の明るさ（輝度および照度等）の影響を受ける。そこで、視認対象の明るさ（輝度および照度等）に相当する瞳孔径変化部分を消去する必要がある。
視認対象が「映像ディスプレイ」の場合は：
ディスプレイの輝度をゆっくり最低（黒画面）から最高（白画面）、逆に最高から最低に、また最低から最高に変化させる。最後の動作の時の視認者の瞳孔径を測定する。これを
「基本の輝度と瞳孔径の関係データ」とする。最後の輝度変化に対する瞳孔径の測定値を採用する理由は、最初の方の輝度変化には、視認者が「何が始まるか」といったところに関心をもってしまい、注目してしまうので、注目度の影響による瞳孔径が含まれてしまうためである。
なお、視認者が「基本の輝度と瞳孔径の関係データ」を計測した部屋環境とディスプレイで実際の評価コンテンツを計測するものとする。
視認者が「基本の輝度と瞳孔径の関係データ」を計測したディスプレイと異なるディスプレイで実際の評価コンテンツを計測する場合は、実際のコンテンツを計測するディスプレイを「基本の輝度と瞳孔径の関係データ」を計測したディスプレイと同一の部屋環境と同一の輝度、色合いになるように実際のコンテンツを計測するディスプレイを調節することを前提する。

実際のコンテンツ視認時は、ある瞬間（ｔ）の視認者の瞳孔径（Ｐｔ）を計測するときに、同時に輝度計等によりディスプレイの輝度（Ｙｔ）を計測する。
解析部１０２は、対象物２（この場合は映像ディスプレイ）を視認した時の瞳孔径（Ｐｔ）から、対象物２視認時の輝度（Ｙｔ）に相当する「基本輝度と瞳孔径の関係データ」における瞳孔径（Ｐｂｔ）を差し引くことにより、ディスプレイの輝度による瞳孔径を消去して、その瞬間（ｔ）の対象物に対する視認者の注目度だけに相当する瞳孔径（Ｐｍｔ）を求めることができる。
すなわち

この場合、Ｐｍｔ＜０の場合は平常時よりも注目度が劣り、退屈状態であることを意味する。

「基本輝度と瞳孔径の関係データ」において、映像ディスプレイが最低の輝度の時の瞳孔径平均値（Ｐｍａｘ）と映像ディスプレイが最大の輝度の時の瞳孔径の平均値（Ｐｍｉｎ）の間の瞳孔径の変化範囲をＰＨＰｎとすると：
ＰＨＰｎ＝Ｐｍａｘ―Ｐｍｉｎ

そこで、ある瞬間（ｔ）の注目度（Ｉｔ）とすると

として求めることができる。
こうすることで視認者の個人差による瞳孔径の変化をなくして、視認者共通の注目度の尺度にすることができる。
瞳孔径が非常に小さいとＰｍｔ＜０になることがあるので、
Ｉｔ＜０
となり、注目度が平常時より低く、退屈している場合と言える
逆に
Ｉｔ＞１
の場合は極度に注目している状態であると言える。
Ｉｔ≒０は、平凡で刺激の低い内容を見ている場合であって、この注目度をIｈとする。
実際の計測では、時間により変化するコンテンツのディスプレイを時間経過とともに輝度（Ｙｔ）と視認者の瞳孔径（Ｐｔ）を同時に計測し、解析して注目度を計算し、注目度を判定する。
　また、実際の計測ではコンテンツを上映するディスプレイを時間経過とともに、輝度（Ｙｔ）だけを計測しておき、その後、視認者がコンテンツを上映するディスプレイを時間経過による瞳孔径（Ｐｔ）だけを計測し、解析時に映像コンテンツの輝度（Ｙｔ）と瞳孔径（Ｐｔ）の時間（ｔ）を一致させて注目度（Ｉｔ）を計算しても良い。
なお、映像ディスプレイを除くその他の視認情景の場合は：
輝度の代わり照度を適用する。したがって、輝度計の代わりに照度計を使い、「基本輝度と瞳孔径の関係データ」に相当する「基本照度と瞳孔径の関係データ」は、基本照度を変化させることのできる部屋を用意して瞳孔径を計測することで得ることができる。
この場合、実際の対象物の計測時に、視認者の頭部に視野情景撮影装置、眼球撮影装置と並べて照度計を装着して対象物の照度を計測する。

前項「００７０」において、視認対象物が映像ディスプレイの場合で、視点の輝度がディスプレイ全体の輝度に比較して無視できない場合（画面内での明暗の差が激しいコンテンツであったり、明るくない部屋環境等の場合）、視点の輝度も瞳孔径に影響を与えるため、視点の輝度に相当する視認者の瞳孔径変化も消去する必要がある。
フレームｊの場面の時の画面全体の輝度Ｙｊは前項「００７０」で計測可能である。
ディスプレイの各ピクセルの赤（Ｒ）、緑（Ｇ）、青（Ｂ）の輝度への影響度は各メーカにより異なるが
赤（Ｒ）の輝度への影響度（Ｃｒ）
緑（Ｇ）の輝度への影響道（Ｃｇ）
青（Ｂ）の輝度への影響度（Ｃｂ）
として、
フレームｊのときのピクセル（ｘ）の
Ｒ、Ｇ、Ｂのそれぞれの強度を
赤（Ｒ）の強度（Ｓｒjｘ）
緑（Ｇ）の強度（Ｓｇjｘ）
青（Ｂ）の強度（Ｓｂjｘ）
とすると
フレームｊのときのピクセル（ｘ）の仮輝度をＢjｘと定義して、
Ｂjｘ＝（Ｓｒjｓ×Ｃｒ+Ｓｇjｓ×Ｃｇ+Ｓｂjｘ×Ｃｂ）
とし、
仮輝度と実際の輝度の比をｅとし、
フレームｊの時のピクセル（ｘ）の実際の輝度をＹjｘとすると、
Ｙｊｘ＝ｅ×Ｂｊｘ
フレームjの画面全体の輝度（Ｙj）は、ディスプレイ画面全体のピクセルをＴとして

なので

即ち

実際のコンテンツ視聴時のディスプレイ画面の輝度測定値がＹｊなので
ピクセル１つあたりの平均輝度（Ｙjｈ）は、

視点がピクセルｘの輝度（Ｙｊｘ）と画面平均輝度（Ｙｊｈ）と比較しての輝度の比（Ｗjｘ）は

即ちピクセルｘの輝度Ｙｊｘは
Ｙｊｘ＝Ｙｊｈ×Ｗｊｘ＝ｅ×Ｂｊｘ
これにより、あるピクセルの輝度が算出できる。
なお、すでに、特定のピクセルの輝度を計測する測定器があるので、その計測器により各ピクセルの輝度を求めても良い。
次に、ある視点ピクセルｘを中心にした直径１，７ｃｍ内のピクセルの輝度の合計をＹｄｘとする。
ディスプレイ全体の輝度Ｙｄを段階的に変化させ、
ある段階のディスプレイ全体の輝度毎に、ピクセルｘを中心にした直径１，７ｃｍ内のピ
クセルの輝度（Ｙｄｘ）を最大から最小まで、さらに最小から最大に、さらに最大から最小にゆっくり３回変化させ、最後の動作の時の瞳孔径を測定する。最初の方はこの動きに注目するので、注目による瞳孔径が含まれてしまうために計測はしない。
この表を「ディスプレイ輝度と視点輝度と瞳孔径の基本関係データ」とする。

実際のコンテンツ視認時の視認者の瞳孔径（Ｐｇ）を測定し、その時のディスプレイの輝度（Ｙｇ）と視点ｘを中心にした直径１，７ｃｍの輝度（Ｙｇｘ）を計測・解析し、ディスプレイ輝度（Ｙｇ）と視点のあるピクセルｘを中心にした直径１，７ｃｍ内での輝度（Ｙｇｘ）に相当する「基本ディスプレイ輝度と視点輝度の関係データ」における瞳孔径（Ｐｇｘ）を視認者の瞳孔径（Ｐｇ）から引くことで、ディスプレイの輝度の影響を含んだ視認視点での注目度に相当する瞳孔径（Ｐｃｘ）が得られる。

実際のコンテンツ視聴時の画面全体の輝度（Ｙｇ）と「基本ディスプレイ輝度と視点輝度の関係データ」の値の中間値は補間法により求めるものとする。
映像ディスプレイが最低の輝度の時の瞳孔径平均値（Ｐｍａｘ）と映像ディスプレイが最大の輝度の時の瞳孔径の平均値（Ｐｍｉｎ）の間の瞳孔径の変化範囲をＰＨＰｎとすると：
ＰＨＰｎ＝Ｐｍａｘ―Ｐｍｉｎ
であるから、
視点ピクセルｘを中心にした半径１．７ｃｍのピクセルの数をＳｇとし、
した半径１．７ｃｍのピクセル１つ当たりの輝度による瞳孔径への影響度は

また、画面全体のピクセルをＴとすると、画面全体でのピクセル一つ当たりの瞳孔径への平均瞳孔径の変化範囲は

　

したがって、あるフレーム（ｊ）の視点（ｘ）の注目度（Ｉｊｘ）は

　

として求めることができる。
こうすることで視認者の個人差による瞳孔径の変化を吸収して、ディスプレイ全体の明るさを考慮した画面内の視点の注目度が求められ、視認者共通の尺度にすることができる。なお、すでに、ピクセル毎に輝度を計測する測定器があるので、その計測器により各ピクセルの輝度を求めても良い。
Ｉｊｘは項目「００７０」のＩｔに相当するので、以後同等に扱うものとする。
したがって、以後、Ｉｔは
　　（１）ディスプレイが視認対象の場合、
　　1項目「００７０」のディスプレイの輝度による注目度はＩｔを
　　２項目「００７１」のディスプレイの視点の輝度を採用する場合はＩｊｘを
　　（２）ディスプレイを除くその他を視認対象にする場合は
　　項目「００７０」の輝度を照度に替えてＩｔを
採用するものとする。

　また、解析部１０２は、眼球運動映像ｂから、瞳孔径（Ｐ）及び瞬目回数を解析する。さらに、解析部１０２は、瞳孔径（Ｐ）のデータから、注目度（Ｉｔ）、注目度拡大速度（Ｉｔｓ）、注目度の拡大加速度（Ｉｔｋ）、を算出する。Ｉｔｓ、Ｉｔｋがマイナス（－）の場合は、それぞれ注目度縮小速度、注目度縮小加速度を表す。

　以上のように、解析部１０２は様々な値を解析し、この解析した値を解析値Ａとして、蓄積部１０３及び診断部１０４へ出力する（図２参照）。よって、解析値Ａに含まれる値としては注目度（Iｔ）、注目度変化速度（Iｔｓ）、注目度の拡大加速度（Ｉｔｋ）、視点追尾時間（Ｂｔ）、視点接近速度（Ｂｖ）、視点接近加速度（Ｂｋ）、視点離脱速度（Ｂｓ）、視点離脱加速度（Ｂｒ）の他感情値、興奮度がある

〔蓄積部〕
　再び図２を参照して、蓄積部１０３は、解析部１０２から出力された視認映像ａ、眼球運動映像ｂ、音声データｃ、応答データｄ、身体動作映像ｅ、身体温度データｆおよび、明るさデータを蓄積する。また、蓄積部１０３は、解析部１０２から出力された解析値Ａを蓄積する。さらに、蓄積部１０３は、視認者１が興味の低い、すなわち、平凡で刺激の低い対象物２を見ている場合の注目度（Iｈ）、注目度の拡大速度（Iｈｖ）、注目度の拡大加速度（Iｈｋ）、視点追尾時間（Ｂｈｔ）、視点接近速度（Ｂｈｖ）、視点接近加速度（Ｂｈｋ）、視点離脱速度（Ｂｈｓ）及び視点離脱加速度（Ｂｈｒ）を平常値Ｈとして、予め蓄積している。
また、蓄積部１０３は、視認者１の興味の高い対象物２を見ている場合の注目度（Iｅ）、注目度の拡大速度（Iｅｖ）、注目度の拡大加速度（Iｅｋ）、視点追尾時間（Ｂｅｔ）、視点接近速度（Ｂｅｖ）、視点接近加速度（Ｂｅｋ）、視点離脱速度（Ｂｅｓ）及び視点離脱加速度（Ｂｅｒ）を感動値Kとして、予め蓄積している。また、蓄積部１０３は、診断部１０４から出力された診断結果を蓄積する。

〔診断部〕
　診断部１０４は、解析部１０２から出力された解析値Ａを、蓄積部１０３に蓄積された平常値Ｈあるいは感動値Kと比較することにより、視認者１の対象物２に対する興味を診断し、視認者１が視認している対象物２または視認者１自身の能力を評価する。すなわち、診断部１０４は、解析値Ａに含まれる各パラメータを、ａ、ｂ、ｃ、・・・とし、各パラメータに対する重み付けをＡ、Ｂ、Ｃ、・・・とし、視認時（ｔ）の視認対照の評価値Ｅ（ｔ）を算出する。
Ｅ（ｔ）＝Ａ・ａ（ｔ）＋Ｂ・ｂ（ｔ）＋Ｃ・ｃ（ｔ）＋・・・

　具体的には、診断部１０４は、所定時間内における瞬目回数が所定回数よりも減少している場合、その対象物２に興味があると診断する。さらに、診断部１０４は、注目度が所定値よりも大きい場合、その対象物２に興味があると診断する。上記に加え、診断部１０４は、注目度の拡大速度及び拡大加速度が所定値よりも大きい場合、その対象物２に興味があると診断し、逆に、注目度が所定値よりも小さい場合、注目度の縮小速度及び縮小加速度が所定値よりも大きい場合、その対象物２に興味がないと診断する。また、診断部１０４は、視点接近速度及び視点接近加速度が所定値よりも大きい場合、その対象物２に興味があると診断し、逆に、視点接近速度及び視点接近加速度が所定値以下の場合、その対象物２に興味がないと診断する。また、視点離脱速度及び視点離脱加速度が所定値よりも大きい場合、その対象物２に興味がないか嫌悪感があると診断し、逆に、視点離脱速度及び視点離脱加速度が所定値以下の場合、その対象物２に興味があると診断する。

　さらに、診断部１０４は、対象物２への頭部の向きの接近移動速度及び接近加速度と、視点接近速度、視点接近加速度とを合成した視点の移動速度及び加速度を算出することにより、上記「００７５」と同様の判定を行う。視認者１は、興味がある場合、視点が対象物を追尾するために頭もその方向を維持する。なお、興味がなくても頭を対象物に向け続けることはあるが、この場合、注目度は縮小している。また、頭が対象物２からから離れ続け、注目度が縮小している場合、興味がないと診断する。

　また、診断部１０４は、視認者１がある対象物２に視点が視点追尾時間が平常値（Ｂｈｔ）より多くの時間追尾して、注目度が感動値の（Iｅ）になる場合には、その対象物に興味・関心があると診断する。すなわち、
Ｂｔ＞Ｂｈｔ
Iｔ＞Iｈ×１．３、または、Iｔ＝Iｅ
の場合、診断部１０４は、視認者１が対象物２に興味・関心があると診断する。
この場合、対象物２が動いている場合は、視認者は対象物２が見える間追尾する。
一方、動かない対象物２の場合は、平常値（Ｂｈｔ）以上の時間を追尾する。
また、診断部１０４は、一旦、視点が対象物２の範囲内を短時間｛＜Ｂｈｔ｝追尾し、注目度が感動値の値（Iｅ）までに拡大せず、視点が、視点離脱速度が平常値（Ｂｈｓ）より急速｛＞Ｂｈｓ｝に対象物２から離れ、再度視点が対象物２に戻らない場合、視認者１はその対象物２に興味がないと診断する。さらに、診断部１０４は、視認者１が一旦対象物２を見て注目度が拡大するが、所定の時間内である短時間で視点が対象物２から離脱した場合、嫌悪感があると診断する。すなわち、対象物内に視点があるとき、
Iｔ＞Iｈ、または、Iｔ＝Iｅ
であり、この時、対象物からの視点離脱速度（Ｂｓ）、視点離脱加速度（Ｂｒ）が平常値（Ｂｈｓ、Ｂｈｒ）より大きく、すなわち
Ｂｓ＞Ｂｈｓ
そして、
Ｂｒ＜Ｂｈｒ
である場合、対象物２に対して嫌悪感があると診断する。
なお、すでに１０００件以上の統計では、対象物への視点追尾時間（Ｂｔ）がＢｔ＜０．２秒である場合、明らかに嫌悪感があると診断できるという結果を得ている。

　また、診断部１０４は、身体温度データｆを用いて、当日、事前に測定した身体温度に比較して、身体温度が上昇した場合、視認者１は、対象物２に興奮していると診断する。また、診断部１０４は、応答装置１４の動作による応答データｄを用いて、応答回数、応答動作の速さ、正確度を基に、対象物２及び視認者１自身の能力を評価する。具体的な応答データｄの使用方法は後に詳述する。また、診断部１０４は、診断結果を表示部１０５及び蓄積部１０３へ出力する。

図１３は視認者動作撮影装置９からの視認者顔映像データｅである。
視認者の顔の各部位（目、唇、眉毛等）の特徴点を顔解析手法によりマークして顔の表情を解析する。
この特徴点は図では説明のために一部を示しているが、実際の顔解析手法による。
代表的な感情判定は驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみである。
視認者の平常時と顔の各部が最大に動いた時の値（最大値）を予め計測して置き、各測定時の変化量の最大値との比率により、感情の度合い（F）を判定する。
これにより、請求項１から４による目の瞳孔径または瞬目頻度の変化から解析した注目度の情動値（E）と合わせて、視認対象に対する視認者の情感（EF値）判定ができることになる。

〔表示部〕
　表示部１０５は、診断部１０４における診断結果をディスプレイなどの出力装置へ表示する。表示部１０５に表示された診断結果により、オペレータは、対象物２及び視認者１自身の能力を判断することができる。

　以上のように、本発明の実施形態による視認者情感判定装置１００によれば、生理反応データの変化とそれに伴う加速度と視認者の顔の変化を用いて、対象物２または視認者１自身の能力を評価する。
生理反応データの変化としては、注目度（Ｉｔ）とその拡大加速度（Iｔｋ）視点接近加速度（Ｂｋ）、視点離脱加速度（Ｂｒ）が挙げられる。注目度とその拡大速度と加速度（Ｉｔｋ）が大きくなるほど、あるいは、視点接近速度と加速度（Ｂｋ）が大きくなるほど、その対象物２に興味があると診断し、逆に、注目度（Ｉｔ）が小さく、その負の加速度（―Iｔｋ）が大きくなるほど、あるいは、視点離脱加速度（Ｂｒ）が大きくなるほど、その対象物２に興味がないと診断する。
また、合わせて、顔の部分変化を解析して視認者の感情の変化を判定する。
このように、本発明の実施形態による視認者情感判定装置１００によれば、視認者の生理反応をより正確に把握し、様々な状況において、対象物または視認者自身の能力をより正確に評価することができる。本発明の実施形態による視認者情感判定装置１００の適用場面については、後に詳述する。

　以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、身体動作撮影装置９及び身体温度測定装置１０は、直接、視認者情感判定装置１００にデータを送信しているが、一旦蓄積装置８に蓄積され、視認映像ａなどとともに、送信装置７から視認者情感判定装置１００へ送信しても構わない。また、アイカメラ３が、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６を備える構成としたが、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６は、必ずしも物理的に接続されている必要はなく、それぞれが単体として備えていても構わない。

　また、前記実施形態では、視点の位置を算出する際に、角膜反射法を用いたが、視点の位置を算出する方法はこれに限られず、様々な公知の方法が使用可能である。

尚、視認者情感判定装置１００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。視認者情感判定装置１００に備えた受信部１０１、解析部１０２、蓄積部１０３、診断部１０４及び表示部１０５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

　次に、本発明の実施形態による視認者情感判定装置１００が適用される場面について説明する。具体的には、購買意欲度診断、学習意欲度診断、映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度診断、コンテンツ内の注目点の分布によるコンテンツ評価、相性診断、言葉を話せない赤ん坊、認知症者、動物等との意思伝達診断、ロボットの応対方法判定、犯罪証拠診断、ドライバー眠気感知診断、自動車運転適性診断、労働安全熟練度診断、労働前適正診断、運動選手適正診断、ゲームのエキサイト度診断、空間デザイン診断、応対者応対度診断、映像コンテンツ選択優先度診断、コンテンツの中の興味・関心度の高い物または人物の自動マークについて説明する。

〔購買意欲度診断〕
　購買意欲度診断では、ある商品を一般の視認者１に見てもらい、その商品に対して、視認者１が購買意欲をもつか、持たないかの診断を行う。
視認方法は、実際の商品を見る方法でも、広告、テレビ、パソコン、モバイル端末（携帯電話含む）等のディスプレイに表示された商品でも構わない。購買力診断には、図１及び図２に示す視認者情感判定装置１００を用いる。ここでは、対象物２は実際の商品または商品の映像となる。診断部１０４は、ア．その商品を見て、瞳孔が感動値（Ｐｅ）まで拡大していない｛＜Ｐｅ｝（無関心）、イ．視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短い（興味なし）場合、視認者１がその商品に対して「購買意欲はない」と診断する。
さらに、商品からの視点離脱速度（Ｂｓ）と最初の離脱加速度（Ｂｒ）が平常値｛Ｂｈｓ、Ｂｈｒ｝より大きいときに、顔解析手法による感情値（Ｆ）の解析によりの嫌悪（ＤＩ）を判定することにより嫌悪感を判定できる。この場合、明らかに購買意欲がある場合とは反対の行動であるといえる。このことから、「購買意欲なし」という診断の度合いを測ることができる。
一方、注目度（Iｔ）が拡大していて、商品への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長く、感動値（Ｂｅｔ）に達したときに、興味はあると診断できるが、購買意欲があることまでは診断できない。すなわち、興味がない場合は、購買意欲はないが、興味があっても、購買意欲がない場合がある。そこで、顔解析手法により感情判定を組み合わせることにする。
一般的に感情値（Ｆ）の幸福（喜び）度（ＨＰ）と驚き（ＳＰ）が高いが場合は購買に積極的と判定できる。
しかし、その他の感情値（Ｆ）の悲しみ（ＳＤ）、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が高い場合は一般的に購買に消極的と判定できる。
次に、複数の商品を視認者１に視認してもらい、特定の商品を見て、他の商品より、ア．注目度が大きい、イ．視点追尾時間が長い、ウ．視点離脱速度、最初の加速度が小さい場合は、その特定商品が一番興味を引いていると判定できる。さらに、顔解析手法により、幸福（喜び）感を感じている場合、その特定商品に対して、肯定的な感情を持っていると判定できるので、診断部１０４は、他の商品より購買意欲度が高いと診断する。一方、特定の商品が、他の商品より、ア．注目度が小さい、イ．視点滞留時間が短い、ウ．視点離脱速度、最初の加速度が大きい場合で、顔解析手法により、幸福（喜び）感を感じない場
合は、肯定的な反応が少ないことになるので、診断部１０４は、購買意欲度は他の商品に比べて小さいと診断する。

〔学習意欲度診断〕
　学習意欲度診断では、学習対象（教師、教科書、教材、黒板等）を対象物２とすることにより、学習意欲度の診断を行う。学習意欲度診断には、図１及び図２に示す視認者情感判定装置１００を用いる。ここでは、診断部１０４は、視認者１が学習対象（教師、教科書、教材、黒板等）を見ている時、
ア．注目度（Ｉｔ）が感動値 (Ｉｅ)まで拡大していない（無関心）、イ．視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短い（興味なし）場合、また顔解析手法により、嫌悪感を示す場合、この学習対象が嫌いであるとの判定もできる。このことから、診断部１０４は、「学習意欲なし」と診断する。
一方、注目度（Ｉｔ）が拡大していて、学習対象への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長くても、興味・関心はあるが、学習意欲とは必ずしも結びつかない。
そこで、興味が顔解析手法の感情判定により、幸福（喜び）感を示す場合、視認対象に対して、肯定的な感情を持っていると判定できるので、学習意欲度が高いと判定できる。
一般的に学習の内容がそれぞれの目的の感情を誘う内容の場合、感情値（Ｆ）の幸福（喜び）度（ＨＰ）と驚き（ＳＰ）、悲しみ（ＳＤ）、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が高い場合はその学習は良いと判定できる。
ただし、問題に取り組んでいる場合、悲しみ（ＳＤ）、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が高い場合は、学習内容が前述の目的の感情を引き出すことを目的にする場合を除き、何か戸惑っており、この学習に問題あり、と判定できる。
次に、複数の学習対象を視認者１に視認してもらい、特定の学習対象を見て、他の学習対象より、ア．注目度が大きい、イ．視点追尾時間が長い、ウ．視点離脱速度、最初の加速度が小さい場合は、その学習対象が一番興味を引くものと判定できる。さらに、顔解析手法により、幸福（喜び）感を示す場合、その学習対象に対して、肯定的な感情を持っていると判定できるので、診断部１０４は、その学習対象が他の学習対象より学習意欲度が高いと診断する。
一方、特定の学習対象が、他の学習対象より、ア．注目度が小さい、イ．視点追尾時間が短い、ウ．視点離脱速度、その最初の加速度が大きい場合で、顔解析手法により、幸福（喜び）感を示さない場合は、肯定的な反応が少ないことになるので、診断部１０４は、その学習対象に対する学習意欲度は、他の学習対象に比べて少ないと診断する。

〔映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度診断〕
　映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度診断は、図１及び図２に示す視認者情感判定装置１００を用いる。
視認者１がテレビ、映画等で映像コンテンツを視聴している場合に、視認者１の興味・関心による注目度（情動度Ｅ）、および、感情度（Ｆ）の各基本感情の幸福（喜び）度（ＨＰ）、驚き度（ＳＰ）、悲しみ度（ＳＤ）、怒り度（ＡＧ）、恐怖度（ＦＲ）、嫌悪度（ＤＩ）および興奮度が映像コンテンツ作者の期待したレベルに対してどの程度反応しているかを診断し、映像コンテンツの評価判定をすることを特徴とする。
　すべてのコンテンツにおいて、コンテンツ製作者はこの場面では感動して泣いて欲しい、ここでは怒って欲しい、ここでは大いに笑って欲しいという意図で製作する。
そこで、コンテンツソフトプログラムに製作者の期待感情反応度を設定しておく。
　具体的には、映像コンテンツの場面（時間）上で作者の期待する情動値（ＥＦ）を情動値（E）の最大値を１００にして設定し、また期待する感情値（F）の期待値設定も、最大値を１００にして各基本感情の幸福（喜び）度（ＨＰ）、驚き度（ＳＰ）、悲しみ度（ＳＤ）、怒り度（ＡＧ）、恐怖度（ＦＲ）、嫌悪度（ＤＩ）および興奮度の期待レベルを設定する。
実際の映写時に、視聴者の情動解析による情動反応と顔解析による感情反応の度合いを測
定・解析することで、コンテンツが製作者の意図した情動反応および感情反応の期待値に対してどの程度反応をしたかを判定し、その作品を評価できる。
なお、対象コンテンツには映像と同時に音を含むが、映像なしで音だけの場合もありうる。
したがって、このコンテンツは期待どおりの作品であり、高い評価を得られると判定できる。
　そのほか、有効な利用方法はCMの視聴者反応評価である。この場合は、訴求場面での訴求点への注目度が高く、かつ嫌悪感度、怒り度が低いものが良いCMであると判定する。

「コンテンツ内の注目点の分布によるコンテンツ評価」
請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、
前記特定の対象物は、テレビ、映像の特定画面、静止画、ポスター、雑誌の１ページのようなコンテンツであり、
前記視認者は、前記コンテンツ視認者である。
　コンテンツの特定の場面または静止画において、複数視聴者の注目視点の注目度分布を表示してコンテンツ製作者の訴求点とそのレベルを判定することを特徴とする。
具体的には映像画面、静止画、ポスター、雑誌の１ページのような特定コンテンツにおいて、図１４に示すように、複数人の視点の位置と注目度による注目度の平均値を画面内で表示し、同時に図１５に示すように、全体を１００とした場合の注目度の集中度を表示して、コンテンツ製作者の意図したとおりの部分を注目しているかどうかを評価することを特徴とする。

〔相性診断〕
　相性診断では、図１６に示すように、テレビ電話機能（携帯電話を含む）で通信回線を通して、お互いに顔を見ながら通話をしている状況において、通話相手同士の相性診断を行う。相性診断には、図１６及び図１７に示す視認者情感判定装置１００を用いる。
図１６は、相性診断に用いる視認者情感判定システムの構成を示すブロック図であり、図１７は、相性診断に用いる視認者情感判定装置１００の構成を示すブロック図である。ここでは、対象物２はディスプレイ２２ａ、２２ｂに表示された顔の映像となる。まず、Ａさんが使用するテレビ電話２０ａ及びＢさんが使用するテレビ電話２０ｂは、それぞれ通信回線３０を介して、視認者情感判定装置１００に接続されている。また、図１７に示す視認者情感判定装置１００の蓄積部１０３は、視認者（ここでは、Ａさん、Ｂさん）の個人属性データを予め計測して蓄積している。個人属性データには、視認者（Ａさん、Ｂさん等）の年齢、性別、出身地等の他、平凡で刺激の低い対象物を見ている場合の平常値（「注目度」「注目度拡大速度」「注目度拡大加速度」、「視点追尾時間」、「視点接近速度」「視点接近加速度」、「視点離脱速度」「視点離脱加速度」）と、興味・関心が高い視認対象を見ている時の感動値（興味・関心のある物を見る場合の「注目度」、「注目度拡大速度」「注目度拡大加速度」、「始点の位置」「視点追尾時間」、「視点接近速度」「視点接近加速度」、「視点離脱速度」「視点離脱加速度」）が含まれている。また、顔解析手法の情感判定のために、視認者の平常時と顔の各部が最大に動いた時の値（最大値）を予め計測して置き、蓄積している。さらに、蓄積部１０３は、人間の年齢、性別、職業といった層ごと、及び、全体の平常値、感動値等の平均値を蓄積する。

　テレビ電話２０ａ、２０ｂは、それぞれ、顔カメラ２１ａ、２１ｂ、ディスプレイ２２ａ、２２ｂ、眼球カメラ２３ａ、２３ｂ及び追尾カメラ２４ａ、２４ｂを備えている。顔カメラ２１ａ、２１ｂは、通話者の顔を撮影する。ディスプレイ２２ａ、２２ｂは、通信相手を表示する。眼球カメラ２３ａ、２３ｂは、通話者の眼球を撮影する。追尾カメラ２４ａ、２４ｂは、眼球カメラ２３ａ、２３ｂの両側に設けられ、三角測量の原理を用いて通話者の眼球の位置を計測する。追尾カメラ２４ａ、２４ｂによる計測結果に応じて、眼
球カメラ２３ａ、２３ｂは、通話者の眼球を追尾する。なお、眼球カメラ２３ａ、２３ｂを省略し、顔カメラ２１ａ、２１ｂを高詳細なものにして、視認者情感判定装置１００内の解析部１０２において、通話者の顔映像を拡大して、画像解析により通話者の眼球映像を捉えても良い。また、眼球カメラ２３ａ、２３ｂを省略し、顔カメラ２１ａ、２１ｂを高詳細なものにして、視認者情感判定装置１００内の解析部１０２において、通話者の顔映像を拡大して、画像解析により通話者眼球映像を捕らえるようにした場合、追尾カメラ２４ａ、２４ｂの代わりに、テレビ電話２０ａ、２０ｂから通話者の顔までの距離を測る他の手段を用いても良い。このようにして、眼球をとらえ、距離が分かるので、瞳孔の直径が計測できる。

　Ａさんが使用するテレビ電話２０ａでは、顔カメラ２１ａでＡさんの顔を撮影し、眼球カメラ２３ａでＡさんの眼球を撮影する。そして、テレビ電話２０ａは、Ａさんの顔データ、Ａさんの眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を、通信回線３０を介して、視認者情感判定装置１００へ送信する。同様に、Ｂさんが使用するテレビ電話２０ｂでは、顔カメラ２１ｂでＢさんの顔を撮影し、眼球カメラ２３ｂでＢさんの眼球を撮影する。そして、テレビ電話２０ｂは、Ｂさんの顔データ、Ｂさんの眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を、通信回線３０を介して、視認者情感判定装置１００へ送信する。

　図１７の視認者情感判定装置１００の受信部１０１は、Ａさん及びＢさんの、顔データ及び眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を受信する。視認者情感判定装置１００の解析部１０２は、Ａさんの眼球データの視線方向データから、Ａさんの持つディスプレイ２２ａに映るＢさんの顔の映像の中の視点の位置、視点移動速度（接近速度Ｂｖ、離脱速度Ｂｓ）及び加速度（接近加速度Ｂｋ、離脱加速度Ｂｒ）を算出する。また、Ａさんの眼球データから、眼球カメラ２３ａから眼球までの距離と瞳孔映像から注目度を算出し、同時に注目度（Iｔ）の拡大速度（Iｔｓ）、拡大加速度（Iｔｋ）及び縮小加速度（－Ｉｔｋ）を算出する。一方、Ｂさんの眼球データの視線方向データから、Ｂさんの持つディスプレイ２２ｂに映るＡさんの顔映像の中の視点の位置、視点移動速度（接近速度Ｂｖ、離脱速度Ｂｓ）及び加速度（接近加速度Ｂｋ、離脱加速度Ｂｒ）を算出する。また、Ｂさんの眼球データから、眼球カメラ２３ｂから眼球までの距離と瞳孔映像から注目度を算出し、同時に注目度（Iｔ）の拡大速度（Iｔs）、拡大加速度（Iｔｋ）を算出する。解析部１０２は、解析した値を診断部１０４へ出力する。診断部１０４は、ＡさんがＡさんのディスプレイ２２ａに映るＢさんの顔を追尾する時間が、Ｂさんの顔が映っている限り追尾しており、Ａさんの注目度（Iｔ）が蓄積部１０３から読み出した感動値データ（Ｉｅ）にまで拡大していれば、ＡさんはＢさんに興味・関心を持っていると診断する。
また、顔解析により、Ｂさんの顔を視認している時のＡさんのＢさんに対する驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の感情とその程度を判定する。
送信部１０６は、この診断結果をＢさんのテレビ電話２０ｂ（または仲介者）に送信する。診断結果を受信したテレビ電話２０ｂ（または仲介者のテレビ電話）は、ディスプレイ２２ｂに、「ＡさんがＢさんに興味・関心がある」ことを示す記号（たとえばハートマーク）を特定の箇所に表示する。
逆に、ＢさんがＢさんのディスプレイ２２ｂに映るＡさんの顔を追尾する時間が、Ａさんの顔がＢさんのテレビ電話のディスプレイ２２ｂに映っている間より短く（Ｂさんの顔からＡさんの視点が早く離脱する）、注目度（Iｔ）も蓄積部１０３から引き出した感動値データ（Ｉｅ）にまで拡大することがなく、注目度の拡大速度（Ｉｔｓ）、初期注目度拡大加速度（Ｉｔｋ）が平常値（Ｉｈｖ、Ｉｈｋ）より少ない場合は、診断部１０４は、「ＢさんはＡさんに興味・関心がない」と診断する。
また、顔解析によるＡさんの顔を視認している時、ＢさんのＡさんに対する驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の感情とその程度を判定する。
送信部１０６は、この診断結果を、Ａさんのテレビ電話２０ａ（または仲介者）に送信する。
診断結果を受信したテレビ電話２０ａ（または仲介者のテレビ電話）は、ディスプレイ２２ａに、｛ＢさんがＡさんに興味・関心がない｝ことを示す記号（たとえば×マーク）と情感を特定の箇所に表示する。

　上述した相性診断を応用し、以下のような状況に適用することができる。（ア）結婚の見合いの場面に用いる。（イ）面接試験の場面に用いる。これにより、被相談者の真の心理状況を知ることができ、診断結果を発言内容の裏づけの参考にすることができる。（ウ）犯罪者との面談の場面に用いる。具体的には、刑事事件における犯罪容疑者との面談の場面に用いることにより、犯罪容疑者の心理状態を知ることができる。
これらの場面では、話の内容、表示された映像に興味があった場合には、注目度（Iｔ）が平常値（Iｈ）より大きくなる性質が利用される。

　なお、相性診断では、図１６及び図１７に示すブロック図を用いて説明したが、特に説明しなかった部については、上述した図１及び図２の構成と同様である。
また、すでに世の中にある会話音声による感情診断技術を併用することにより、より精度の高い相性診断が可能となる。

〔言葉を話せない赤ん坊、認知症者、動物等との意思伝達診断〕
　赤ん坊、認知症者、動物（ペットを含む）の生理反応による意思伝達診断では、赤ん坊、認知症者、動物（ペットを含む）の意思の診断を行う。ここでは、赤ん坊、認知症者、動物等の言葉を話すことが困難な人及び動物を視認者１として、アイカメラ３を装着させる。または、赤ん坊、動物、認知症者等がディスプレイの前に座って、ディスプレイの下にあるカメラで赤ん坊、動物、視認症患者の眼球を撮影する方法もある。赤ん坊等の意思伝達診断には、図１及び図２に示す視認者情感判定装置１００を用いる。解析部１０２は、赤ん坊、動物、認知症者等の視点の位置と注目度（Iｔ）を計測し、診断部１０４は、視認対象に視点が追尾し、注目度（Iｔ）が平常値（Iｈ）より大きいときに、その視認対象に、赤ん坊、認知症者、動物等が興味・関心があると診断する。これにより、ものを言わない赤ん坊、認知症者、動物の視認対象に対する興味を把握できる。逆に、診断部１０４は、視認対象への視点の追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短く、視点離脱速度（Ｂｓ）、加速度（Ｂｒ）が平常値（Ｂｈｓ、Ｂｈｒ）より速く、注目度（Iｔ）も感動値（Ｉｅ）より少ないときに、視認対象に対して無関心で、興味がないと診断する。これにより、ものを言わない赤ん坊、認知症者、動物への対応が可能となる。
また、赤ん坊については、顔解析手法により、赤ん坊の驚き、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の感情とその程度を判定でき、そのときの対応方法の参考になる。

〔ロボットの応対方法判定〕
　ロボットの応対診断では、ロボットに、アイカメラ３、身体動作撮影装置９、身体温度測定装置１０、及び図１８に示す視認者情感判定装置１００を組み込み、ロボットと応対する人などに対する診断を行う。
ロボットは、応対する人、言葉を話さない赤ん坊、認知症者、動物等の顔、眼球の動き、身体動作、顔の動作、身体温度の変化を常に測定している。ロボットの応対診断では、図１に示す視認者情感判定システムを用い、図１８に示す視認者情感判定装置１００を組み込む。図１８は、ロボットの応対診断に用いる視認者情感判定装置１００の構成を示すブロック図である。視認者情感判定装置１００の診断部１０４は、ロボットと応対する人、またはものを言わない赤ん坊、認知症者、動物の情感を診断する。
言動選択部１０７は、診断部１０４から入力された診断結果に基づいて、予め記憶された複数の言動の中から診断結果に見合った言動を選択する。これにより、ロボットは、診断結果に従って、応対する人及び動物の情感を把握し、適切な言葉を発することができる。
また、適切な支援行動を起こすこともできる。なお、ロボットの応対診断では、図１８に示すブロック図を用いて説明したが、特に説明しなかった部については、上述した図２の構成と同様である。

〔犯罪証拠診断〕
　犯罪証拠診断では、犯罪容疑者に、映像ディスプレイに、平凡な映像の途中に、犯罪現場を含むビデオ映像を見せることにより、犯罪の証拠となる映像を診断する。犯罪証拠診断には、図１及び図２に示す視認者情感判定装置１００を用いる。犯罪容疑者は、自己の犯罪現場を含む場面を見たときに、他の場面よりも注目度（Iｔ）が拡大することから、診断部１０４は、注目度（Iｔ）が拡大したときに見ていた映像の場所が犯罪現場であるとして、犯罪現場を特定する参考とすることができる。さらに、その対象物である映像への視点追尾時間（Ｂｔ）は平常値（Ｂｈｔ）より短く、視点離脱速度（Ｂｓ）、初期加速度（Ｂｒ）が平常値（Ｂｈｓ、Ｂｈｒ）より高いときに、診断部１０４は、その場面の映像に嫌悪感があると診断する。すなわち、犯罪容疑者はその場面を早く避けたいと思っていることになる。さらに、顔解析手法により、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の容疑者の感情とその程度を判定でき、診断部１０４による診断結果は、その場所が犯罪場所であると判定するための参考になる。
また、犯罪容疑者に被害者の映像または写真を複数の人物と織り交ぜて見せた場合、診断部１０４は、犯罪容疑者が被害者の姿の映像または写真を見て、他の人物に比べて注目度（Ｉｔ）が大きくなったときに、その視認者が犯罪容疑者の可能性があると診断する。一般に、自己の犯罪場面と被害者に対して、あまり見続けたくないので、嫌悪感と同様の反応を示すため、診断部１０４は、対象への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短く、対象から視点をそらす速度（Ｂｓ）が平常値（Ｂｈｓ）より大きく、したがって、そらす瞬間の加速度（Ｂｈｒ）も大きい場合、その容疑者が犯人の可能性があると診断する。さらに、顔解析手法により、恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の容疑者の感情とその程度を判定でき、その場所または被害者に対する嫌悪感に似た表情を示し、その場を避けたい心情を確認できる。
また、犯罪現場を含むビデオの代わりに、犯罪容疑者にアイカメラ３を装着させて犯罪現場に出向かせることにより、同様に犯罪対象物への注目、嫌悪感に近い表情を診断でき、捜査の参考にできる。

〔ドライバー眠気感知診断〕
　ドライバー眠気感知診断では、自動車運転者にアイカメラ３を装着してもらい、運転中に眼球を撮影することにより、ドライバーの眠気の有無を診断する。ドライバー眠気感知診断では、図１に示す視認者情感判定システムを用い、図１９に示す視認者情感判定装置１００を用いる。図１９は、ドライバー眠気感知診断に用いる視認者情感判定装置１００の構成を示すブロック図である。視認者情感判定装置１００の診断部１０４は、注目度（Iｔ）が平常値（Iｈ）より少ないとき、危険な運転状態であると診断する。さらに、診断部１０４は、視線の方向が前方から外れる時間が多いときに、さらに前方不注意となり危険な運転状態であると診断する。
自動車の運転席の前（ハンドルの前方上）に運転者の眼球を追尾・撮影するカメラを用いることにより、前記と同様の測定、解析及び診断を行うことができる。
警告部１０８は、診断部１０４から入力した診断結果を用い、診断結果が危険な運転状態であると判定した場合に、運転者に警告を行う。警告は、アナウンスでも、警告音の発生でもよく、運転者に注意力回復のための刺激を与えるものであればよい。

〔自動車運転適性診断〕
　自動車運転適性診断では、視認者１にアイカメラ３を装着してもらい、自動車、飛行機のシミュレーターまたは実際の自動車で、視認者１に操作してもらうことにより、自動車運転や飛行機運転の適正を診断する。自動車運転適性診断では、図１及び図２に示す視認
者情感判定装置１００を用いる。視認者情感判定装置１００の解析部１０２は、視認者１の眼球運動撮影データの視線方向と注目度データを解析し、診断部１０４は、注意すべき時に、注意すべき箇所に視点が追尾し続け、注目度（Iｔ）が平常値（Ｉｈ）より大きく、拡大速度（Ｉｔｓ）、加速度（Ｉｔｋ）も平常値（Ｉｈｖ、Ｉｈｋ）より大きいときに、注意すべき部分に視点が行き、注意しているものと診断する。
また、診断部１０４は、頭の向き及び視線の方向がいつも前面であることを診断する。さらに、応答装置１４により、応答反応すべき時間に、タイミング良くステアリングハンドル、ブレーキで応答反応しているかを判定するため、解析部１０２は、応答データｄを用いて、応答遅延時間と操作方法を解析し、診断部１０４は、操作遅延時間が危険回避のための一定時間（所定の設定時間）以下であり、かつ、応答データｄから得られる操作が、予め設定された適切な操作方法かどうかを判断し、操作遅延時間、操作方法に基づいて、視認者１の熟練度、適正度を診断する。
また、シミュレーターに、勝手な振る舞いのドライバーが運転している車の映像を入れて、視認者に運転操作をしてもらい、顔解析による視認者の怒りの度合い、恐怖の度合いを計算して、運転適正の判定をすることもできる。

〔労働安全熟練度診断〕
　労働安全熟練度診断では、アイカメラ３を装着した労働者が、シミュレーターまたは実際の機械で、機器を操作してもらうことにより、労働安全熟練度を診断する。労働安全熟練度診断では、図１及び図２に示す視認者情感判定装置１００を用いる。視認者情感判定装置１００の解析部１０２は、労働者の視線方向、注目度（Iｔ）の変化から、視点の位置と注目度、さらに不注意度を計測し、診断部１０４は、労働者が作業で、注意すべき時に注意すべき部分（これが対象物となる）に視点が行って追尾し、注目度（Iｔ）が感動値レベル（Ｉｅ）まで大きくなり、注目度の拡大の速度（Iｔs）、加速度（Iｔｋ）も感動値レベル（Ｉｅｖ、Ｉｅｋ）ほど大きいときに、注目すべき部分を注目していると診断する。さらに、解析部１０２は、応答データｄを用いて、応答装置１４を妥当なタイミングで操作しているかを解析するための応答反応の遅延時間と応答操作の正確性（正しい操作をしたか否かのデータ）を計測する。そして、診断部１０４は、所定の注意すべき時間内にタイミングよく（時間的遅延がない）適切な応答反応をしているか否かを診断する。注目度は感動値レベル（Ｉｅ）より縮小しており、視点が見るべきところに行っていない、または、身体応答反応も遅い場合、診断部１０４は、不適切な状態または不注意の状態として診断する。
以上の診断により、遅延時間、全体の操作のうちの正しい操作を行った数等のデータに基づいて、労働者の熟練度、適正度を診断する。

〔労働前適正診断〕
　労働前適正診断では、労働者が毎日、作業開始前にその日の作業の適正を診断する。
労働前適正診断では、図１及び図２に示す視認者情感判定装置１００を用いる。
各所に注意すべき点（注意して操作しないと危険な箇所）を含めた注意力判定のコンテンツを映像ディスプレイに表示して労働者に見せる。視認者情感判定装置１００の解析部１０２は、アイカメラ３からのデータの中の視線方向、注目度（Iｔ）を解析し、診断部１０４は、視点の位置と注目度、さらに不注意度を計測し、労働者が作業で注意すべき時に、注意すべき部分に視点が行って追尾し、注目度（Iｔ）が感動値レベル（Ｉｅ）まで大きくなり、注目度拡大の速度（Ｉｔｓ）、加速度（Iｔｋ）も感動値レベル（Ｉｅｖ、Ｉｅｋ）ほど大きいときに、注目すべき部分を注目していると診断し、その労働者のその日の労働の体調は正常であると判定する。しかし、危険な箇所が映し出されていても、視点の接近速度（Ｂｖ）が規定値より遅く、加速度（Ｂｋ）も規定値より遅く、タイミングが規定値より遅く、適切な応答反応そしていない場合のどれか一つでも該当するときは、その労働者のその日の体調は正常ではないと判定する。
さらに、家族、会社関係の映像を見せて、その時の顔解析をして、その時の驚き、恐れ、
嫌悪、怒り、喜び（幸福）、悲しみ等の心情を判定して、当日の情感的な問題を類推することで、当日の作業適正を判定できる。

〔運動選手適正診断〕
　運動選手適正診断では、スポーツにおいて、アイカメラ３を装着した競技者の競技時の視点方向により、どの箇所を見ているかを診断する。運動選手適正診断では、図１及び図２に示す視認者情感判定装置１００を用いる。視認者情感判定装置１００の解析部１０２は、注目度（Iｔ）の大きさや注目度の拡大速度（Ｉｔｓ）、加速度（Ｉｔｋ）により、注目度を解析する。そして、解析部１０２は、身体動作による競技者の反応（動作、遅延時間）を解析する。具体的には、解析部１０２は、応答データｄを用いて、妥当な応答装置１４を妥当なタイミングで操作しているかを解析することにより、注意すべき時間にタイミングよく（時間的遅延がない）適切な応答反応しているかを解析する。
あわせて、その時の顔解析をして、その時の心情を判定して、情感的な問題を類推する。そして、診断部１０４は、同じ競技の全競技者の適正値の平均と比較して、競技者の熟練度、適正度を診断する。

〔ゲームのエキサイト度診断〕
　ゲームのエキサイト度診断では、視認者１はアイカメラ３を装着してゲームを実施する。ゲームのエキサイト度診断では、図１及び図２に示す視認者情感判定装置１００を用いる。視認者情感判定装置１００の診断部１０４は、ゲーム中に注目度（Iｔ）が感動値レベル（Ｉｅ）まで拡大していることで、明確に興味・関心があると診断する。あわせて、その時の顔を解析して、その時の恐れ、嫌悪、怒り、喜び（幸福）、悲しみ等の心情を判定して、そのゲームの相性を判断する。
また、診断部１０４は、視認者身体温度計測により、身体温度がゲーム前の平常値より高いときに、その高さに応じた興奮度を診断する。逆に、診断部１０４は、注目度（Iｔ）が感動値レベル（Ｉｅ）まで拡大せず、身体温度が感動値にいたらないときに、エキサイトしていない、と診断する。
また、本発明の視認者情感判定装置を１００をゲーム機に組み込み、前記視認者は、ゲームプレイヤーであり、視認対象は視認者の視認するゲームコンテンツでとして、ゲーム機内の前記診断部から入力された視認者の診断結果に基づいて、前記ゲーム機が適切なゲームコンテンツ画面をおよび音声及びゲーム用プログラムを選択する選択部と実行機能を備えていることにすると、たとえば、視認者の情動値が低い（関心がない）場合は、明らかに視認者の視認対象に関心がないと判定し、ゲーム機は関心のある内容のゲームに誘導する。
また、視認者の感情の驚き、怒り、恐怖、悲しみ、嫌悪、幸福（喜び）に合わせて、ゲーム機は適切な視認対象の変更（ゲームコンテンツ画面、音声、ゲーム用プログラムを変える）するなどの対処をすることもできる。

〔空間デザイン診断〕
　空間デザイン診断では、視認者１がアイカメラ３を装着して実際の空間を歩き、視認者１が空間の中に配列されている物の中で何に視点が行き、興味を持ってみているかを診断して、視認対象の空間が訴求どおりのデザインまたは配列の中で適切な状態になっているかどうかを診断する。
視認方法は、実際の空間を見る方法でも、テレビ、ＰＣ等のディスプレイに表示された物でも構わない。また、空間とは、街の景観、デパート、商店でのデザインや陳列、展示会場でのデザインや陳列、駅の通路、駅ホーム、駅ビル、車内等の空間を指す。空間デザイン診断には、図１及び図２に示す視認者情感判定装置１００を用いる。なお、視認者情感判定装置１００の解析部１０２は、視認者１が実際の空間を前進しているか、後退しているか、左右に動いているかを、視認映像ａを解析することにより判明する。

　ここでは、対象物２は映像の中の特定の物（訴求対象であって、複数でも良い）である。診断部１０４は、ア．その対象物を見て、注目度（Ｉｔ）が感動値（Ｉｅ）まで拡大していない｛＜Ｉｅ｝（無関心）、イ．視点の追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短い（興味なし）場合、視認者１がその対象物２に対して「デザインが適切でない」と診断する。さらに、顔解析をして、その時の嫌悪、怒り、悲しみ等の感情がある判定すると、明らかに「デザインが適切である」場合とは反対の行動であるといえる。このことから、「デザインが適切でない」という診断の度合いを判定できる。
一方、注目度（Iｔ）が拡大していて、対象物への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長く、感動値（Ｂｅｔ）に達したときに、興味はあると診断できるが、「デザインが適切である」ことまでは診断できない。そこで、顔解析をして、その時の喜び（幸福）の感情が高い場合はデザインを肯定的に見ていると診断する。一方、悲しみ（ＳＤ）、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が高い場合は、デザインが適切ではないと判定する。

　次に、複数の配列デザインを視認者１に視認してもらい、対象物を見て、他のデザインでの対象物より、ア．注目度（Ｉｔ）が大きい、イ．視点追尾時間（Ｂｔ）が長い、ウ．視点離脱速度（Ｂｓ）と最初の加速度（Ｂｒ）が小さい場合は、そのデザインでの対象物が一番興味を引いていることになる。
さらに、顔解析によるその時の喜び（幸福）の心情が大きいと判定できたら、診断部１０４は、「そのデザインが他のデザインより適切である」と診断する。
一方、対象物が、他の配列デザインより、ア．注目度（Ｉｔ）が小さい、イ．視点滞留時間（Ｂｔ）が短い、ウ．視点離脱速度（Ｂｓ）、最初の加速度（Ｂｒ）が大きい、顔解析による喜び（幸福）の程度が少ない場合は、診断部１０４は、「そのデザインの対象物は他のデザインの対象物に比べて適切でない」と診断する。

〔応対者応対度診断〕
応対者応対度診断は、請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、視認対象は客に応対する店員、受付者等であり、視認者はお客の立場で行動する。店員、受付者の応対において、視認者の情感を診断して、店員、受付者等の応対の良し悪しを判定することを特徴とする。
視認者の情動値（Ｅ）が低い（関心がない）場合は明らかに相手に特別に問題はなく、平常の応対をしているものと判定できる。
視認者の情動値が高い（興味を引いている）場合、一般的に感情値（Ｆ）の幸福（喜び）度（ＨＰ）が高ければ応対が良いと判定できる。
ただし、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が高い場合は、会話内容にへの同調反応を除き、相手が好ましい応対ではないと判定できる。

〔映像コンテンツ選択優先度診断〕
請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、視認対象は放送、ネットワークまたは映像蓄積装置に接続したTVディスプレイ上のコンテンツである。
図１及び図２に示す視認者情感判定装置１００を用いる。
最初は、視聴者情感判定装置１００は、予め視認者１が基本コンテンツを視聴したときに視認者１の興味・関心度の高い場面を選定する。ただし顔解析をして、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が高い場合は、選定からはずす。さらに、視認者の興味・関心の高いコンテンツの分野を判定し、同類の興味・関心を示す他の視認者が視聴した興味・関心度の高いコンテンツを推薦コンテンツとして蓄積部１０３に蓄積しておき、視認者１が実際に視聴する時にその推薦コンテンツを表示して、その中から視認者の意思で一つのコンテンツを選択して視聴することができるようにしたものである。
一方、視認者情感判定装置１００の診断部１０４は、視認者１が、次回からの映像コンテンツ視聴中は、注目度（Iｔ）が感動値（Ｉｅ）まで拡大し、注目度拡大速度（Iｔs）、加速度（Iｔｋ）も平常値（Ｉｈ、Ｐｈｖ）より大きいとき、または身体温度が平常値より高くて興奮する場面により、視聴している場面に対して明確に興味・関心・興奮度があると診断する。ただし顔解析をして、怒り（ＡＧ）、恐怖（ＦＲ）、嫌悪（ＤＩ）が高い場面はずす。そこで、次回の視聴するコンテンツを選択する時のために、その分野のコンテンツを選択する優先度を上げる。なお、その診断結果は、蓄積部１０３に記録しておき、次の視聴時において、映像コンテンツ視聴時のコンテンツを選択するための推薦データに利用する。
逆に、診断部１０４は、視認者１がコンテンツ視聴中に、平常値より興味・関心・興奮度が低いと判定した場合に、その分野以外のコンテンツであって、以前に興味・関心・興奮度が高かった分野のまだ視聴してないコンテンツに切り替え、同時に次に視聴するコンテンツを選択する時の、その分野のコンテンツを選択する優先度を下げる。なお、その診断結果は、蓄積部１０３に記録しておき、次の視聴時間において、映像コンテンツ視聴時のコンテンツを選択するための推薦データに利用する。

〔コンテンツの中の興味・関心度の高い物または人物の自動マーク〕
請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、視認対象は放送、ネットワークまたは映像蓄積装置に接続したTVディスプレイ上のコンテンツである。
図１及び図２に示す視認者情感判定装置１００を用いる。
コンテンツの中の興味・関心度の高い物または人物の自動マークは、番組を視聴中に情感度の高い瞬間に受像機の中の視点のある対象物または人物を自動的にマークし、後にネットワークを通して、その品物または人物の情報を電子メールにて配信されてくるシステムで、後で、視認者の意思により商品の購入、人物への連絡ができることを特徴とする。
ただし、受像機の中の視点のある対象物または人物を自動的にマークするに際して、情動（興味・関心）度が高くても、顔解析による感情値において嫌悪感度と怒り度、および条件により恐怖度が高いものを自動的に除くことを特徴とする。

　上述したように、本発明の実施形態による視認者情感判定装置１００によれば、購買意欲度診断、学習意欲度診断、映像コンテンツ作者の期待感情反応度に対する視聴者感情反応度診断、コンテンツ内の注目点の分布によるコンテンツ評価、相性診断、言葉を話せない赤ん坊、認知症者、動物等との意思伝達診断、ロボットの応対方法判定、犯罪証拠診断、ドライバー眠気感知診断、自動車運転適性診断、労働安全熟練度診断、労働前適正診断、運動選手適正診断、ゲームのエキサイト度診断、空間デザイン診断、応対者応対度診断、映像コンテンツ選択優先度診断、コンテンツの中の興味・関心度の高い物または人物の自動マークなどの様々な状況において、対象物または視認者自身の能力をより正確に評価することができる。

１　視認者
２　対象物
３　アイカメラ
４　眼球撮影装置
５　視認情景撮影装置
６　マイクロフォン
７　送信装置
８　蓄積装置
９　身体動作撮影装置
１０　身体温度測定装置
１１　明るさ計測装置
１４　応答装置
２０ａ、２０ｂ　テレビ電話
２１ａ、２１ｂ　顔カメラ
２２ａ、２２ｂ　ディスプレイ
２３ａ、２３ｂ　眼球カメラ
２４ａ、２４ｂ　追尾カメラ
３０　通信回線
１００　視認者情感判定装置
１０１　受信部
１０２　解析部
１０３　蓄積部
１０４　診断部
１０５　表示部
１０６　送信部
１０７　言動選択部
１０８　警告部
３０１　顔解析におけるマーク１（特徴点）眉毛内側端
３０２　顔解析におけるマーク２（特徴点）眉毛外側端
３０３　顔解析におけるマーク３（特徴点）上瞼の真ん中上部
３０４　顔解析におけるマーク４（特徴点）顎の真ん中下端
４０１　特定映像コンテンツの映像ディスプレイ画面
４０２　特定映像コンテンツの映像ディスプレイ画面上の訴求点

Claims

　特定の対象物を含む情景に視線を向けた視認者の、前記特定の対象物に対する情感（情動と感情）を診断する、視認情景に対する視認者情感判定装置において、視認者の顔の映像を撮影する顔撮影装置と前記視認者の眼球撮影装置と、前記視認者の視認映像と視認視野の明るさ情報および前記視認者の眼球運動映像を受信する受信部と、前記視認映像及び前記眼球運動映像から前記視認映像における視点の位置を算出するとともに、前記視認者の注目度の変化による生理反応データの変化とそれに伴う加速度を算出する部分と、前記視認者の顔映像から視認者の表情を解析する部分を含む解析部と、前記視認者が興味が低く注目しない対象物を見ている場合の注目度と視点の動きの生理反応データの変化とそれに伴う加速度を含む情報を平常情動値として蓄積し、前記視認者が興味が高く注目する対象物を見ている場合の生理反応データの変化とそれに伴う加速度を含む情報を高情動値として蓄積し、前記解析部によって算出された前記視認者の生理反応データの変化とそれに伴う加速度を含む情報を情動値として蓄積する部分と、視認者の平常時の顔の各部の状態（平常感情値）と、顔の各部が最大に動いた時の値（高感情値）を蓄積する部分を含む蓄積部と、前記顔の解析値を、前記平常感情値あるいは前記高感情値と比較することにより、前記視認者の前記特定の対象物に対する感情値として蓄積する部分と、注目の情動と感情を同時に診断する部分と必要により、身体温度測定機能を備え、身体の平常温度とエキサイト時での身体の温度測定による興奮度を診断する部分とを備えたことを特徴とする視認情景に対する視認者情感判定装置。
　請求項１に記載の視認情景に対する視認者情感判定装置において、前記生理反応データの変化とそれに伴う加速度は、前記視認者の視点が前記特定の対象物に接近する際の速度および接近加速度、あるいは、前記視認者の視点が前記特定の対象物から離脱する際の離脱速度と加速度であり、前記診断部は、前記接近速度およびその加速度が大きいほど前記特定の対象物に興味があり注目する現象があり、前記接近速度およびその加速度が小さいほど前記特定の対象物に興味が低く注目しないと診断し、前記離脱速度およびその加速度が大きいほど前記特定の対象物に興味が低く注目もしない、前記離脱速度およびその加速度が小さいほど前記特定の対象物に興味があり注目すると診断することを特徴とする視認情景に対する視認者情感判定装置。
なお、視認対象は、対象物の中のある部分（たとえば商品の場合、商品名、製造会社名、賞味期限、注意書き、仕様、操作ボタン等）でも良い。
　請求項１に記載の視認情景に対する視認者情感判定装置において、前記解析部は、前記視認者の頭に装着されたカメラにより撮影された視認映像内の静止物の位置を基点として、または、ジャイロスコープにより、前記視認者の頭の移動の大きさ、移動速度及び移動加速度を算出し、さらに視認映像内での視点の位置と位置の変化速度、変化加速度を合わせて、前記頭の動きを含む、前記特定の対象物に対する視点の接近速度およびその加速度あるいは離脱速度およびその加速度を算出することを特徴とする視認情景に対する視認者情感判定装置。
請求項１に記載の生理反応データにおいて生理反応データが瞳孔径の変化の場合において、視認対象が映像ディスプレイの場合、映像ディスプレイの輝度を変化させ、それに対応する視認者の瞳孔径を求め、「基本輝度と瞳孔径の関係データ」として蓄積する。
視認者が目的の対象物を視認するときは、視認者の瞳孔径を計測すると同時に、輝度計により視認範囲を対象に輝度を計測する。
映像ディスプレイを視認した時の瞳孔径の値から、蓄積した「基本輝度と瞳孔径の関係データ」の対象物視認時の輝度に相当する瞳孔径（明るさに反応する瞳孔径）の値を差し引くことにより、対象物だけに対する注目度に相当する瞳孔径を求めることを備えたことを特徴とする視認情景に対する視認者情感判定装置。
なお、映像ディスプレイを除くその他の視認情景の場合は：
輝度の代わり照度を適用し、輝度計の代わりに照度計を使い、「基本輝度と瞳孔径の関係データ」に相当する「基本照度と瞳孔径の関係データ」は、基本照度を変化させることのできる部屋を用意して瞳孔径を計測することで得ることができる。
この場合、実際の対象物の計測時に、視認者の頭部に眼球測定装置と並べて照度計を装着して対象物の照度を計測する。
請求項４において、映像ディスプレイの場合、ディスプレイの輝度に比較して視点の輝度が無視できない映像においては、ディスプレイ上の視点のあるピクセルの赤（ｒ）、緑（Ｇ）、青（Ｂ）の輝度への影響度をパラメータとして視点のあるピクセルの輝度を求め、視認者の瞳孔径から「ディスプレイ輝度と視点輝度と瞳孔径の基本関係データ」の視認時のピクセルの輝度に相当する瞳孔径（明るさに反応する瞳孔径）を差し引くことで、視認者の視点の注目度に相当する瞳孔径を得ることができることを特徴とする視認情景に対する視認者情感判定装置。
なお、すでに存在する映像ディスプレイのピクセルの輝度を測定する計測器でピクセルの輝度を計測しても良い。
なお、「ディスプレイ輝度と視点輝度と瞳孔径の基本関係データ」は段階的に変化させるディスプレイの明るさにおいて、１，７ｃｍの円の輝度を最高（白）から最小（黒）に変化させた時のその円を視認した視認者の瞳孔径を測り、「ディスプレイ輝度と視点輝度と瞳孔径の基本関係データ」を算出し、蓄積しておく。
請求項４および５において、基本輝度と瞳孔径の関係データにおいて、瞳孔径の最大値（映像ディスプレイが最低の輝度）と瞳孔径が最小値（映像ディスプレイが最大の輝度）の間の瞳孔径の変化範囲と視認者が対象物を視認した時の対象物だけに対する注目度に相当する瞳孔径との比を、視認者の個人差を吸収した注目度とすることを特徴とする視認情景に対する視認者情感判定装置。
　請求項１に記載の視認情景に対する視認者情感判定装置において、注目度が大きいと視認対象への興味・関心が大きいと判定する。また、前記生理反応データの変化に伴う速度および加速度は、前記視認者の注目度の拡大速度および加速度、あるいは、前記視認者の注目度の縮小速度および加速度であり、
　前記診断部は、前記拡大速度および加速度が大きいほど前記特定の対象物に興味・関心があると診断し、前記縮小速度および加速度が大きいほど前記特定の対象物に興味・関心がないと診断することを特徴とする視認情景に対する視認者情感判定装置。
　請求項１から３および７のいずれか一項に記載の視認情景に対する視認者情感判定装置において、
　請求項１から３および７に記載の興味・関心度(情動度)と合わせて、
　視認者の顔の各部位の変化を計測し、その変化量により、興味・関心度の高い時および低い時の、顔の表情解析による怒り、恐怖、嫌悪、幸福（喜び）、悲しみ、驚きなどの視認者の感情度をあわせて判定することにより、視認対象に対する情動と感情を合わせた情感の度合い（情感度）を評価をすることを特徴とする視認情景に対する視認者情感判定装置。
　この顔の各部位の変化を測定することにより判定する感情度判定の技術はすでにある顔の表情判定システムとして確立しているものを用いることにする。
　請求項１に記載の視認情景に対する視認者情感判定装置において、請求項目１の視認時の対象物は、実際の対象物を手で触りながら、または操作しながら視認する場合と、音声だけを聞いているとき、匂いをかいでいるとき、体のある部分が対象物と接触しているとき、食べているときの味覚を感じているとき、またはそれらの複数の刺激があったとき、
およびイメージ想起のときの注目度および視点の動きと顔の各部位の動きを解析して、それらの刺激物を対象にした情感判定をすることを特徴とする視認者情感判定装置。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、商品（商品の中のある部分：商品名、製造会社名、賞味期限、注意書き、仕様、操作ボタン等の商品の一部を含む）であり、前記診断部は、前記視認者の前記商品に対する視認者の購買意欲度を診断することを特徴とする視認情景に対する視認者情感判定装置。
　項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、学習対象であり、前記診断部は、前記視認者の前記学習対象に対する視認者の学習意欲度を診断することを特徴とする視認情景に対する視認者情感判定装置。
請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の対象物は、映像コンテンツ製作者が、視聴者に期待するコンテンツ映像（音を含む。また、音だけの場合もある）で、各場面の興味・関心による注目度、および各基本感情の幸福（喜び）度、驚き度、悲しみ度、怒り度、恐怖度、嫌悪感度および興奮度のレベルを、コンテンツソフトの時間軸上に設定しておいた映像コンテンツであり、前記視認者は、前記映像コンテンツ視聴者であり、前記映像コンテンツ映写時に、視聴者の注目度および幸福（喜び）度、驚き度、悲しみ度、怒り度、恐怖度、嫌悪感度および興奮度の反応が、映像コンテンツ製作者の期待したレベルにどの程度達しているかを診断し、映像コンテンツの評価をすることを特徴とする視認情景に対する視認者情感判定装置。
請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記特定の視認対象は、テレビ、映像の特定画面、静止画、ポスター、雑誌の１ページのようなコンテンツの特定場面であり、前記視認者は、前記コンテンツの視認者であり、コンテンツの特定場面において、複数視聴者の注目視点の注目度分布を表示して、コンテンツ製作者の訴求点との一致の程度を判定することにより、コンテンツ特定画面の評価をすることを特徴とする視認情景に対する視認者情感判定装置。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記受信部は、２つのテレビ電話から、それぞれの通話者の映像と前記視認映像及び前記眼球運動映像を受信し、前記診断部は、一方の通話者から他方の通話者に対する興味および情感をそれぞれ診断し、さらに、一方の通話者から他方の通話者に対する興味および情感の診断結果を他方の通話者のテレビ電話または仲介者の受信装置に送信する送信部を備えていることを特徴とする視認情景に対する視認者情感判定装置。この代表的利用場面は相性診断である。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、言葉を話すことが困難な人、あるいは、動物であり、言葉を話すことが困難な人、あるいは動物のそのときの情感を判定することを特徴とする視認情景に対する視認者情感判定装置。
　　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、本発明の視認者情感判定装置をロボットに組み込み、前記視認者は、感情を持つ人間であり、動物であり、視認対象は視認者の視認するすべてであり、ロボットの前記診断部から入力された視認者の情感の診断結果に基づいて、前記ロボットの前記視認者に対する適切な言動および動作を選択する選択部を備えていることを特徴とす
る視認情景に対する視認者情感判定装置。
　　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、犯罪容疑者であり、前記特定の対象物は、犯罪現場、犯罪用具、共犯者または被害者であり、対象物に対する犯罪容疑者の情感を判定して、犯罪捜査の参考とすることを特徴とする視認情景に対する視認者情感判定装置。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、自動車または飛行機等の交通機関の運転者であり、前記特定の対象物は、運転席から見える危険箇所のある映像コンテンツ、または運転シミュレータであったり、実際の運転時で視認するすべてであり、前記診断部から入力した診断結果を用い、注意すべきところで、注目して注意しているかどうかを判定し、危険運転状態であると診断された場合は、前記視認者に警告またはブレーキ等の適切な操作を行う機能を備えていることを特徴とする視認情景に対する視認者情感判定装置。特に運転時の不注意時（居眠り時）の判定での警告に有効である。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は労働者であり、前記特定の対象物は、危険箇所のある装置の操作映像コンテンツまたは操作シミュレータであったり、実際の操作時で視認するすべてであり、前記解析部は、前記視認者が応答装置での操作による応答データを用いて、応答遅延時間及び操作方法を解析し、前記診断部は、注目して注意しているかどうかを判定し、応答遅延時間及び操作方法に基づいて、注目すべき時に注意し、適切な操作をしていることを診断し、前記視認者の熟練度あるいは適正度を診断することを特徴とする視認情景に対する視認者情感判定装置。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、労働者であり、視認対象は危険箇所のある操作映像のコンテンツまたはシミュレータであり、前記診断部は、前記視認者の情感および応答データによる応答反応を診断して、視認者の当日の体調（精神的を含む）および就業への適性を判定することを特徴とする視認情景に対する視認者情感判定装置。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、運動選手であり、前記特定の対象物は、運動選手が運動する時に見る対象（野球のバッターなら投手の動きとボールの球筋、テニス選手なら相手の選手の動作とボールの球筋等）である。前記診断部は、前記視認者の熟練度あるいは適正度を診断することを特徴とする視認情景に対する視認者情感判定装置。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、ゲームプレイヤーであり、前記特定の対象物は、ゲーム機（ディスプレイを含む）である。前記診断部は、前記視認者の注目度の変化に基づく興味による注目度と表情および身体温度データにより、前記視認者の興奮度を診断することを特徴とする視認情景に対する視認者情感判定装置。また、視認者情感判定装置をゲーム機に組み込み、ゲームプレイヤーの情感と興奮度を診断し、プレイヤーに合った（情感が高く興奮度も高い）ゲームに誘導することを特徴とする視認情景に対する視認者情感判定装置。
　請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、一般の人であり、前記特定の対象物は、空間の中に配列されている物であり、前記診断部は、前記視認者から見た前記特定の対象物の配置とデザインの適切性を診断する
ことを特徴とする視認情景に対する視認者情感判定装置。
請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、視認対象は客に対する店員、受付者等であり、視認者はお客に相当する人で、店員、受付者の応対において、視認者の情感判定により、店員、受付者等の応対の良し悪しを判定することを特徴とする視認情景に対する視認者情感判定装置。
請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、視認対象は放送、ネットワークまたは映像蓄積装置に接続したTVディスプレイ上に表示されるコンテンツであり、テレビ視聴時の視認者の興味・関心の高いコンテンツの分野を情感の解析により判定し、視認者のテレビ等視聴時に、視認者の興味・関心度の高いコンテンツを推薦することを特徴とする視認情景に対する視認者情感判定装置。
請求項１から３および７から９までのいずれか一項に記載の視認情景に対する視認者情感判定装置において、前記視認者は、一般のテレビ視聴者（映像コンテンツの受信者）であり、視認対象は放送、ネットワークまたは映像蓄積装置に接続したテレビ受信機（映像コンテンツの受信機）である。
番組を視聴中に情感度の高い瞬間に受像機の中の視点のある対象物または人物を自動的にマークし、後にネットワークを通して、その品物または人物の情報を視認者に電子メールにて配信されてくるシステムで、後で、視認者の意思により商品の購入、人物への連絡ができることを特徴とする。
ただし、受像機の中の視点のある対象物または人物を自動的にマークするに際して、情動（興味・関心度）が高くても、顔解析による感情度において嫌悪感度と怒り度、および条件により恐怖度が高いものを自動的に除くことを特徴とする視認情景に対する視認者情感判定装置。