JP2010063621A - 視認情景に対する視認者感性反応装置 - Google Patents

視認情景に対する視認者感性反応装置 Download PDF

Info

Publication number
JP2010063621A
JP2010063621A JP2008232274A JP2008232274A JP2010063621A JP 2010063621 A JP2010063621 A JP 2010063621A JP 2008232274 A JP2008232274 A JP 2008232274A JP 2008232274 A JP2008232274 A JP 2008232274A JP 2010063621 A JP2010063621 A JP 2010063621A
Authority
JP
Japan
Prior art keywords
viewer
acceleration
scene
reaction apparatus
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008232274A
Other languages
English (en)
Inventor
Koichi Kikuchi
光一 菊池
Wataru Kurashima
渡 倉島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2008232274A priority Critical patent/JP2010063621A/ja
Publication of JP2010063621A publication Critical patent/JP2010063621A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】視認者の生理反応をより正確に把握し、様々な状況において、対象物または視認者自身の能力をより正確に評価する。
【解決手段】視認情景に対する視認者感性反応装置１００は、視認映像ａ及び眼球運動映像ｂから視認映像ａにおける視点の位置を算出するとともに、視認者の生理反応データの変化に伴う加速度を算出する解析部１０２と、興味の低い対象物を見ている場合の生理反応データの変化に伴う加速度を含む情報を平常値Ｈとして蓄積し、興味の高い対象物を見ている場合の生理反応データの変化に伴う加速度を含む情報を感動値Ｅとして蓄積し、解析部１０２によって算出された生理反応データの変化に伴う加速度を含む情報を解析値Ａとして蓄積する蓄積部１０３と、解析値Ａを、平常値Ｅあるいは感動値Ｅと比較することにより、視認者の特定の対象物に対する興味を診断する診断部１０４とを備えている。
【選択図】図２

Description

本発明は、視認情景に対する視認者感性反応装置に関し、特に、視認情景を視認した際の視認者の生理反応の変化を解析し、対象物及び視認者自身の能力を評価する技術に関する。
従来、テレビ番組などの映像コンテンツを評価するために、視聴率を測定することが行われている。しかしながら、視聴率だけでは、テレビチャンネルを合わせたとしても、視認者が実際に視聴したかどうか分からず、加えて、信頼性を向上させるためには莫大な視認者数が必要とされる、などの問題があった。そこで、視認者の眼球運動を撮像し、得られたデータから映像コンテンツの評価を行う技術が開示されている（例えば、特許文献１参照）。
特許文献１に記載の技術では、眼球運動を撮像することにより得られたデータとして、視線の動き、瞳孔面積、瞬目発生頻度などを用いて、映像コンテンツについて興味の度合いを判定し、映像コンテンツの評価を行っている。これにより、少ない被験者数で、従来テレビ放送で行われていた視聴率を指標とする評価手法よりも、信頼性のある高次な評価を実現している。
特開２００４−２８２４７１号公報
しかしながら、上述した特許文献１に記載の技術のように、眼球運動の映像より得られた、視線の動き、瞳孔面積、瞬目発生頻度などのデータだけでは、視認者の生理反応を正確に把握することが困難であった。すなわち、特許文献１に記載の技術では、瞬目発生頻度が減少した場合、対象物に興味があると判定し、眼球中心の位置や瞳孔面積から、視認者の情動の変化を解析しているが、これらは、対象物に対する視認者の興味の有無を単純に判定しているに過ぎず、より細かな視認者の生理反応を考慮しているわけではない。
また、特許文献１に記載の技術では、テレビ番組などの映像コンテンツに対する興味の評価を行っており、その他の場面に適用することは想定されていない。
そこで、前記課題を解決するため、本発明の目的は、視認者の生理反応をより正確に把握し、様々な状況において、対象物及び視認者自身の能力をより正確に評価する、視認情景に対する視認者感性反応装置を提供することにある。
前記課題を解決するため、請求項１の発明は、特定の対象物を含む情景に視線を向けた視認者の、前記特定の対象物に対する興味を診断する、視認情景に対する視認者感性反応装置において、前記視認者の視認映像及び前記視認者の眼球運動映像を受信する受信部と、前記視認映像及び前記眼球運動映像から前記視認映像における視点の位置を算出するとともに、前記視認者の生理反応データの変化に伴う加速度を算出する解析部と、前記視認者が興味の低い対象物を見ている場合の生理反応データの変化に伴う加速度を含む情報を平常値として蓄積し、前記視認者が興味の高い対象物を見ている場合の生理反応データの変化に伴う加速度を含む情報を感動値として蓄積し、前記解析部によって算出された前記視認者の生理反応データの変化に伴う加速度を含む情報を解析値として蓄積する蓄積部と、前記解析値を、前記平常値あるいは前記感動値と比較することにより、前記視認者の前記特定の対象物に対する興味を診断する診断部と、を備えたことを特徴とする。
また、請求項２の発明は、請求項１に記載の視認情景に対する視認者感性反応装置において、前記生理反応データの変化に伴う加速度は、前記視認者の視点が前記特定の対象物に接近する際の接近加速度、あるいは、前記視認者の視点が前記特定の対象物から離脱する際の離脱加速度であり、前記診断部は、前記接近加速度が大きいほど前記特定の対象物に興味があり、前記接近加速度が小さいほど前記特定の対象物に興味がないと診断し、前記離脱加速度が大きいほど前記特定の対象物に興味がなく、前記離脱加速度が小さいほど前記特定の対象物に興味があると診断することを特徴とする。
また、請求項３の発明は、請求項２に記載の視認情景に対する視認者感性反応装置において、前記解析部は、前記視認者の頭に装着されたカメラにより撮影された視認映像内の静止物の位置を基点として、前記視認者の頭の移動距離、移動速度及び移動加速度を算出し、前記頭の動きを含む、前記特定の対象物に対する視点の接近加速度あるいは離脱加速度を算出することを特徴とする。
また、請求項４の発明は、請求項１に記載の視認情景に対する視認者感性反応装置において、前記生理反応データの変化に伴う加速度は、前記視認者の瞳孔径の拡大加速度、あるいは、前記視認者の瞳孔径の縮小加速度であり、前記診断部は、前記拡大加速度が大きいほど前記特定の対象物に興味があると診断し、前記縮小加速度が大きいほど前記特定の対象物に興味がないと診断することを特徴とする。
また、請求項５の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記特定の対象物は、商品であり、前記診断部は、前記視認者の前記商品に対する購買意欲を診断することを特徴とする。
また、請求項６の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記特定の対象物は、学習対象であり、前記診断部は、前記視認者の前記学習対象に対する学習意欲を診断することを特徴とする。
また、請求項７の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記受信部は、２つのテレビ電話から、それぞれの通話者の前記視認映像及び前記眼球運動映像を受信し、前記診断部は、一方の通話者から他方の通話者に対する興味をそれぞれ診断し、さらに、一方の通話者から他方の通話者に対する興味の診断結果を他方の通話者のテレビ電話にそれぞれ送信する送信部を備えていることを特徴とする。
また、請求項８の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記視認者は、言葉を話すことが困難な人、あるいは、動物であることを特徴とする。
また、請求項９の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記視認者は、ロボットであり、さらに、前記診断部から入力された診断結果に基づいて、前記ロボットの言動を選択する言動選択部を備えていることを特徴とする。
また、請求項１０の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記視認者は、犯罪容疑者であり、前記特定の対象物は、犯罪現場または被害者であることを特徴とする。
また、請求項１１の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記視認者は、自動車運転者であり、さらに、前記診断部から入力した診断結果を用い、危険運転状態であると診断された場合は、前記視認者に警告を行う警告部を備えていることを特徴とする。
また、請求項１２の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記視認者は、自動車運転者または労働者であり、前記解析部は、前記視認者の動作による応答データを用いて、応答遅延時間及び操作方法を解析し、前記診断部は、応答遅延時間及び操作方法に基づいて、前記視認者の熟練度あるいは適正度を診断することを特徴とする。
また、請求項１３の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記視認者は、労働者であり、前記診断部は、前記視認者の体調を診断することを特徴とする。
また、請求項１４の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記視認者は、運動選手であり、前記診断部は、前記視認者の熟練度あるいは適正度を診断することを特徴とする。
また、請求項１５の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記視認者は、ゲームを実施し、前記診断部は、前記視認者の身体温度データにより、前記視認者の興奮度を診断することを特徴とする。
また、請求項１６の発明は、請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、前記特定の対象物は、空間の中に配列されている物であり、前記診断部は、前記視認者から見た前記特定の対象物に対する適切性を診断することを特徴とする。
以上のように、本発明によれば、生理反応データの変化に伴う加速度を用いて、対象物及び視認者自身の能力を評価する。これにより、視認者の生理反応をより正確に把握し、様々な状況において、対象物及び視認者自身の能力をより正確に評価することができる。
以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。
〔視認者感性反応システム〕
まず、視認者感性反応システムの構成、及び各構成部の処理について説明する。図１は、本発明の実施形態による視認者感性反応システムの構成を示すブロック図である。この視認者感性反応システムは、アイカメラ３、送信装置７、蓄積装置８、身体動作撮影装置９、身体温度測定装置１０、応答装置１４及び視認者感性反応装置１００を備えている。
まず、視認者１は、アイカメラ３を頭部に装備し、対象物２を含む視認情景に視線を向ける。ここで、視認情景とは、視認者１が視認可能な情景であれば何でもよく、例えば、コンピュータ、携帯電話、テレビジョンなどのディスプレイに表示される映像データ、ウェブページデータ、コンピュータゲームデータ、コンピュータプログラムの出力するデータなども含まれる。ディスプレイ上に表示される上記のデータには、文字列、図、記号、絵、写真または動画など、視認者１を反応させるための応答喚起情報が表示され、文字列、図、記号、絵、写真または動画など、視認者１が反応する対象となる反応対象情報が含まれる。
アイカメラ３は、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６を備えている。なお、図１では、アイカメラ３は、蓄積装置８及び送信装置７に接続されており、視認者１は、蓄積装置８及び送信装置７も身に付けている。
眼球撮影装置４は、視認者１の眼球を撮影する。眼球撮影装置４が撮影した眼球運動映像ｂは、蓄積装置８に蓄積される。なお、眼球運動映像ｂは、動画として蓄積されてもよく、定期的に撮影された静止画として蓄積されてもよい。
視認情景撮影装置５は、視認者１が視線を向けている対象物２を含む視認情景を撮影する。視認情景撮影装置５が撮影した視認映像ａは、蓄積装置８に蓄積される。なお、視認映像ａは、動画として蓄積されてもよく、定期的に撮影された静止画として蓄積されてもよい。
さらに、視認映像ａには、視認映像ａにおける照度データが含まれていてもよい。視認者１の目における照度の変化が瞳孔径に影響を与えるので、視認映像ａに照度データを含めることにより、後述する視認者感性反応装置１００における解析部１０２で照度による瞳孔径の変動を補正する。
マイクロフォン６は、視認者１及び周囲の音声を捕捉する。マイクロフォン６が捕捉した音声データｃは、蓄積装置８に蓄積される。
応答装置１４は、視認者１の動作により応答信号を取得する。視認者１の動作としては、例えば、ボタン押し操作、キーボード操作、マウス操作、タッチパネル操作、リモコン操作、ゲーム機器付属コントローラの操作などの他、手を上げる、発声するなど、その他のボディアクションが挙げられる。応答装置１４が取得した応答データｄは、蓄積装置８に蓄積される。
蓄積装置８は、視認情景撮影装置５からの視認映像ａ、眼球撮影装置４からの眼球運動映像ｂ、マイクロフォン６からの音声データｃ、及び応答装置１４からの応答データｄを、それぞれ同期したデータとして時系列に蓄積する。
送信装置７は、蓄積装置８が蓄積した視認映像ａ、眼球運動映像ｂ、音声データｃ及び応答データｄを、無線または有線によって、視認者感性反応装置１００へ送信する。このとき、送信装置７は、所定の時間間隔で、各データを視認者感性反応装置１００へ送信してもよく、視認者感性反応装置１００からの指示に従って、各データを視認者感性反応装置１００へ送信してもよい。
身体動作撮影装置９は、視認者１の身体の各部の動作を撮影する。また、身体動作撮影装置９は、無線または有線によって、撮影した身体動作映像ｅを視認者感性反応装置１００へ送信する。
身体温度測定装置１０は、視認者１の身体の温度を測定する。また、身体温度測定装置１０は、無線または有線によって、身体温度データｆを視認者感性反応装置１００へ送信する。なお、図１では、視認者１の身体の温度を身体温度測定装置１０によって遠隔から測定しているが、視認者１に装着したセンサーにより直接測定しても構わない。この場合、測定した身体温度データｆは、蓄積装置８に蓄積され、送信装置７によって視認者感性反応装置１００へ送信される。
ここで、眼球撮影装置４、視認情景撮影装置５及び身体動作撮影装置９における映像フレームの撮影周波数は、２４０Ｈｚ以上と高速なものが適切である。また、これらの映像フレームの撮影周波数は同一であることが望ましい。
なお、図１では、アイカメラ３及び応答装置１４は、蓄積装置８に接続されており、有線によって、各データを蓄積装置８に送信しているが、無線によって、各データを蓄積装置８に送信しても構わない。さらに、無線による場合、視認情景撮影装置５、眼球撮影装置４、マイクロフォン６及び応答装置１４は、各データを直接、視認者感性反応装置１００へ送信しても構わない。
〔視認者感性反応装置〕
次に、図１に示す視認者感性反応装置１００の構成、及び各構成部の処理について説明する。図２は、本発明の実施形態による視認者感性反応装置１００の構成を示すブロック図である。この視認者感性反応装置１００は、受信部１０１、解析部１０２、蓄積部１０３、診断部１０４及び表示部１０５を備えている。
〔受信部〕
受信部１０１は、送信装置７から、視認映像ａ、眼球運動映像ｂ、音声データｃ及び応答データｄを受信する。また、受信部１０１は、身体動作撮影装置９から身体動作映像ｅを受信する。さらに、受信部１０１は、身体温度測定装置１０から身体温度データｆを受信する。そして、受信部１０１は、受信した全データを同期させ、所定の時間間隔で、あるいは、解析部１０２からの指示によって各データを解析部１０２へ出力する。受信したデータを同期させるためには、各データに時計の時刻を同期信号として含ませる方法と、視認者感性反応装置１００から同期信号を送信装置７、身体動作撮影装置９及び身体温度測定装置１０へ送り、送信装置７からの視認映像ａ、眼球運動映像ｂ、音声データｃ及び応答データｄ、身体動作撮影装置９からの身体動作映像ｅ、身体温度測定装置１０からの身体温度データｆに同期信号データとして含ませる方法とがある。これにより、全データを同期させて処理することができる。
〔解析部〕
解析部１０２は、所定の時間間隔で、あるいは、受信部１０１へ指示することによって、受信部１０１から視認映像ａ、眼球運動映像ｂ、音声データｃ、応答データｄ、身体動作映像ｅ及び身体温度データｆを取得する。そして、解析部１０２は、各データａ〜ｆに同期信号データを付し、蓄積部１０３へ蓄積する。また、解析部１０２は、必要に応じて、蓄積部１０３に蓄積した各データａ〜ｆを読み出し、読み出した各データａ〜ｆを解析のために用いる。また、解析部１０２は、視認映像ａ及び眼球運動映像ｂから視認映像ａにおける視点の位置を算出するとともに、視認者の生理反応データの変化に伴う加速度を算出する。詳細については後述する。
図３は、視認映像ａと眼球運動映像ｂとを用いて、視点の位置を算出することを説明する図である。解析部１０２は、図３に示すように、眼球運動映像ｂから視線を求め、この視線と視認映像ａとを合わせることにより、視点の位置を算出する。ここで、視線の算出方法は、様々なものがある。例えば、角膜反射法と呼ばれる、眼球へ点光源の近赤外線を照射し、角膜表面における反射像（以下、プルキニエ像という。）を利用する方法がある。角膜反射法による視線の測定方法は、２種類に大別され、瞳孔中心とプルキニエ像との距離から視線を求める方法と、プルキニエ像から得られる角膜曲率中心と瞳孔中心を結ぶ線を仮想視線とし、誤差補正を行って視線を求める方法とがある。
図４は、視認者１の頭（顔の動きを含む）の動きと視認映像ａの関係を説明するための図である。解析部１０２は、図４に示すように、視認映像ａによって、視認者１の頭の動きを計測する。視認情景撮影装置５の撮影時におけるフレーム周波数をＳ（／秒）とするとフレーム間隔Ｆは、Ｆ＝１／Ｓ（秒）となる。図４において、頭の動きについては、視認者１が頭に装着する視認情景撮影装置５が撮影した視認映像ａだけでも、その動きを計測できる。ただし、視認映像ａを基本にした計測であるため、２次元となる。ここで、視認映像ａの視野角（横θh、縦θｖ）は視認情景撮影装置５によって、予め設定されている。また、解析部１０２は、身体動作映像ｅを用いて、頭の動きを計測することもできる。または、画像処理によって身体動作映像ｅから頭を特定し、その頭を追跡することにより、頭の動きを計測する。
図５は、視認映像ａを解析する際の座標軸の一例である。また、図６は、水平方向に視認者１の頭が動いた場合の頭の移動を説明する図である。ここでは、視認者１の頭を中心に視野全体を球面にたとえて、頭の動きを水平方向ｈ、上下方向をｖで表している。図５に示す座標軸は、（ｈ、ｖ）ともに数字だけで表したり、ラジアン（ｒａｄ）または角度（°）で表したりしてもよい。例えば、一周をそれぞれ、１（−０．５〜＋０．５）、２πrad（−π〜＋π）、３６０°（−１８０°〜＋１８０°）で表してもよい。なお、図６においては、最初のフレーム画面をＦ0として、１／Ｓ秒後の次のフレーム画面をＦ0＋１として表している。
また、解析部１０２は、頭の移動距離、移動速度、移動加速度を算出する。図７は、フレーム画面Ｆ0から次のフレーム画面Ｆ0＋１へ頭が移動した場合の、静止物の基点の移動を示す図である。視認映像ａを、左下端を原点とした座標（ｘ，ｙ）で表し、最初のフレーム画面Ｆ0の中の動いていない物（静止物）“Ａ”の点を基点と決めて、その座標を（ｘ０，ｙ０）とする。ここで、静止物“Ａ”及びその点（座標）は、視認者感性反応装置１００を操作するオペレータが視認映像ａを見て指定することによって、決定するようにしてもよいし、予め設定された静止物“Ａ”の特徴を視認映像ａから捉え、自動的に決定するようにしてもよい。なお、静止物“Ａ”を特定して追跡する画像処理については既知の技術であるから、ここでは詳細な説明を省略する。１／Ｓ秒後の次のフレーム画面Ｆ0＋１における静止物“Ａ”の位置（ｘ１，ｙ１）を測ることにより、解析部１０２は、以下のデータを算出する。
頭の水平移動距離：ｈ０＝ｘ１−ｘ０
頭の垂直移動距離：ｖ０＝ｙ１−ｙ０
頭のＦ0からＦ0＋１までの移動距離：ｐｈｖ０＝（ｈ０2＋ｖ０2）1/2
また、解析部１０２は、移動フレームを全部合わせることにより、以下のデータを算出する。
全移動水平距離：ｐｈｎ＝Σｈ＝ｈ０＋ｈ１＋・・・・・＋ｈｎ
全移動垂直距離：ｐｖｎ＝Σｖ＝ｖ０＋ｖ１＋・・・・・＋ｖｎ
全体の移動距離：ｐｈｖｎ＝（ｐｈｎ2＋ｐｖｎ2）1/2
ここで、０，１，２，・・・，ｎは最初のフレーム番号を０としたときのフレーム番号である。また、解析部１０２は、フレーム画面Ｆ0における頭の移動速度ｑｈｖ０を、ｑｈｖ０≒ｄ（ｐｈｖ）／ｄｔ≒ｐｈｖ１−ｐｈｖ０／（１／Ｓ）として算出する。また、解析部１０２は、フレーム画面Ｆ0における頭の移動加速度ｋｈｖ０を、ｋｈｖ≒ｄ（ｑｈｖ）／（１／Ｓ）≒ｑｈｖ１−ｑｈｖ０／（１／Ｓ）として算出する。
また、解析部１０２は、視認映像ａの中の視点の動きを算出する。図８は、視認映像ａの中の視点Ｂの移動を示す図である。図８では、フレーム画面Ｆ0における視認映像ａの中の視点の位置を（Ｈ０，Ｖ０）で表示する。また、次のフレーム画面Ｆ0＋１における視点の位置を（Ｈ１，Ｖ１）で表示する。１／Ｓ秒後の次のフレーム画面Ｆ0＋１における視点Ｂの位置（Ｈ１，Ｖ１）を測ることにより、解析部１０２は、視点の水平移動距離ｐＨ０を、ｐＨ０＝Ｈ１−Ｈ０として算出する。同様に、垂直移動距離ｐＶ０を、ｐＶ０＝Ｖ１−Ｖ０として算出する。また、視点のＦ0からＦ0＋１までの移動距離ｐＨＶ０を、ｐＨＶ０＝（ｐＨ０2＋ｐＶ０2）1/2として算出する。また、移動フレームＦ0からＦｎまでを全部あわせた水平移動距離ｐＨｎを、ｐＨｎ＝ΣｐＨ＝ｐＨ０＋ｐＨ１＋ｐＨ２＋・・・＋ｐＨｎとして算出する。同様に、垂直移動距離ｐＶｎを、ｐＶｎ＝ΣｐＶ＝ｐＶ０＋ｐＶ１＋ｐＶ２＋・・・＋ｐＶｎとして算出する。よって、Ｆ0からＦｎまでの全体の移動距離ｐＨＶｎを、ｐＨＶｎ＝（ｐＨｎ2＋ｐＶｎ2）1/2として算出する。また、フレーム画面Ｆ0における視認映像ａの中での視点の水平速度ｑＨ０を、ｑＨ０≒ｄ（ｐＨ）／ｄｔ≒ｐＨ１−ｐＨ０／（１／Ｓ）として算出する。同様に、垂直速度ｑＶ０を、ｑＶ０≒ｄ（ｐＶ）／ｄｔ≒ｐＶ１−ｐＶ０／（１／Ｓ）として算出する。また、フレーム画面Ｆ0における視点の移動速度ｑＨＶ０は、ｑＨＶ０＝（ｑＨ０2＋ｑＶ０2）1/2として算出する。また、フレーム画面Ｆ0における視認映像ａの中での視点の水平加速度ｋＨ０を、ｋＨ０≒ｄ（ｑＨ）／ｄｔ≒ｑＨ１−ｑＨ０／（１／Ｓ）として算出する。同様に、垂直加速度ｋＶ０を、ｋＶ０≒ｄ（ｑＶ）／ｄｔ≒ｑＶ１−ｑＶ０／（１／Ｓ）として算出する。また、フレーム画面Ｆ0における視点の移動加速度ｋＨＶ０を、ｋＨＶ０＝（ｋＨ０2＋ｋＶ０2）1/2として算出する。
また、解析部１０２は、頭の動きを含む視点の動きを算出する。図９は、フレームＦ0からフレームＦ0＋１に移動した際の視点の移動を示す図である。図９において、解析部１０２は、フレームＦ0における頭と視点との水平移動距離を、Ｄｈ０＝ｐｈ０＋ｐＨ０として算出する。同様に、フレームＦ0における頭と視点との垂直移動距離を、Ｄｖ０＝ｐｖ０＋ｐＶ０として算出する。したがって、Ｆ0からＦ0＋１までの頭と視点との移動距離Ｄ０は、Ｄ０＝（Ｄｈ０2＋Ｄｖ０2）1/2として算出する。また、フレーム画面Ｆ0からＦｎまでのトータルの頭と視点との全移動距離ＴＤを、ＴＤｎ＝Ｄ０＋Ｄ１＋・・・＋Ｄｎとして算出する。また、フレームＦ0における頭を含む視点の移動速度を以下のように算出する。
水平速度：Ｑｈ０＝ｑｈ０＋ｑＨ０
垂直速度：Ｑｖ０＝ｑｖ０＋ｑＶ０
したがって、フレームＦ0における速度Ｑ０は、Ｑ０＝（Ｑｈ０2＋Ｑｖ０2）1/2として算出する。同様に、フレームＦ0における頭を含む視点の加速度を以下のように算出する。
水平加速度：Ｋｈ０＝ｋｈ０＋ｋＨ０
垂直加速度：Ｋｖ０＝ｋｖ０＋ＫＶ０
したがって、フレームＦ0における頭を含む視点の加速度Ｋ０は、Ｋ０＝（Ｋｈ０2＋Ｋｖ０2）1/2として算出する。
また、解析部１０２は、視認映像ａの中で対象物の移動も視点の移動と同様に算出する。
上記の情報を用いて、解析部１０２は、対象物に視点が追尾しているか否かを解析する。図１０は、視認映像ａにおける対象物と視点の位置関係を示す図である。図１０において、視認映像ａの中で、対象物Ｃの映像の中に視点Ｂが入っている場合は、視認者の視点はその対象物を追尾していると判定する。なお、対象物の輪郭の特定は、画像処理によって可能であり、既知の技術で対応可能であるため、ここでは詳細の説明は省略する。
また、解析部１０２は、視点Ｂの位置（Ｈ，Ｖ）と対象物Ｃの位置（Ｘ，Ｙ）の乖離距離、視点が対象物に接近する際の接近速度（Ｂｖ）及び接近加速度（Ｂｋ）、視点が対象物から離脱する際の離脱速度（Ｂｓ）及び離脱加速度（Ｂｒ）を算出する。なお、対象物Ｃが視認映像ａから外れたり、視点Ｂが対象物Ｃから離れて所定の時間経過したり等の所定の条件を満たす場合は、明らかに視点Ｂが対象物から離脱したと判定する。
図１１は、接近速度（Ｂｖ）、接近加速度（Ｂｋ）、離脱速度（Ｂｓ）及び離脱加速度（Ｂｒ）の算出方法を示すフローチャートである。接近速度（Ｂｖ）、接近加速度（Ｂｋ）、離脱速度（Ｂｓ）、離脱加速度（Ｂｒ）の算出方法を、図１１を参照して説明する。まず、ステップ１０１において、解析部１０２は、視点が対象物の範囲内にあるか否かを判定する。対象物が範囲内にあるか否かは、視点Ｂの位置（Ｈ，Ｖ）と対象物Ｃの位置（Ｘ，Ｙ）の乖離距離から求められる。まず、フレームＦ0における水平乖離距離Ｚｈ０を、Ｚｈ０＝Ｘ０−Ｈ０として算出する。同様に、垂直乖離距離Ｗｖ０を、Ｗｖ０＝Ｙ０−Ｖ０として算出する。また、乖離距離Ｕ０を、Ｕ０＝（Ｘｈ０2＋Ｗｖ０2）1/2として算出する。フレームＦ0における乖離距離をＵ０、フレームＦ0＋１における乖離距離をＵ１とする。
ア．視点Ｂの位置（Ｈ，Ｖ）が対象物Ｃの位置（Ｘ，Ｙ）の範囲内に含まれない場合（ステップ１０１：Ｎ）、すなわち、視点Ｂが対象物Ｃの外部に存在する場合、以下のＡ〜Ｃの処理を行う。
Ａ．ステップ１０３において、Ｕ１−Ｕ０＜０のとき、視点Ｂは対象物Ｃに接近中であると判定し、ステップ１０４へ進み、接近速度および加速度を算出する。フレームＦ0において、視点Ｂの対象物Ｃへの接近速度（Ｂｖ）は、以下のようになる。
Ｂｖ０＝Ｕ１−Ｕ０／（１／Ｓ）
また、視点Ｂの対象物Ｃへの接近加速度（Ｂｋ）は、以下のようになる。
Ｂｋ０＝Ｂｖ１−Ｂｖ０／（１／Ｓ）
そして、ステップ１０１の処理へ戻る。
Ｂ．ステップ１０３において、Ｕ１−Ｕ０＞０のとき、視点Ｂは対象物Ｃから離脱中であると判定し、ステップ１０５へ進み、離脱速度および加速度を算出する。フレームＦ0において、視点Ｂの対象物Ｃからの離脱速度（Ｂｓ）は、以下のようになる。
Ｂｓ０＝Ｕ１−Ｕ０／（１／Ｓ）
また、視点Ｂの対象物Ｃからの離脱加速度（Ｂｒ）は、以下のようになる。
Ｂｒ０＝Ｂｓ１−Ｂｓ０／（１／Ｓ）
そして、ステップ１０１の処理へ戻る。
Ｃ．なお、ステップ１０３において、Ｕ１−Ｕ０＝０のときは、その時点での視点の移動はない。したがって、それ以降のＵ１−Ｕ０の結果がプラス＋またはマイナス−になるまで判断を待つ必要がある。したがって、ステップ１０１の処理へ戻る。
イ．視点Ｂの位置（Ｈ，Ｖ）が対象物Ｃの位置（Ｘ，Ｙ）の範囲内に含まれる場合（ステップ１０１：Ｙ）、すなわち、視点Ｂが対象物Ｃの内部に存在する場合、視点追尾中であると判断し、ステップ１０２へ移行し、フレーム数（Ｎ）を数えて、後述する図１２を用いて説明するように、視点追尾時間｛＝（（１／Ｓ）×Ｎ）｝を算出する。
また、解析部１０２は、視点追尾時間を算出する。図１２は、視点追尾時間の算出方法を示すフローチャートである。図１２に示す視点追尾時間の算出方法は、図１１に示したステップ１０２に対応している。まず、ステップ２０１において、解析部１０２は、視点が対象物の範囲内にあるか否かを判定する。視点が対象物の範囲内にあるか否かの判定方法は、図１１において説明した方法と同様である。そして、視点が対象物の範囲内にある場合、ステップ２０２へ進み、時間をカウントする。次に、ステップ２０３において、視点が対象物の範囲内にあるか否かを判定し、範囲内にある場合は、ステップ２０２へ戻り、時間をカウントする。一方、視点が対象物の範囲内にない場合は、ステップ２０４へ進み、カウントした時間を視点追尾時間として設定するとともに、図１１のステップ１０１へ戻る。
また、解析部１０２は、眼球運動映像ｂから、瞳孔径（Ｐ）及び瞬目回数を測定する。さらに、解析部１０２は、複数の瞳孔径（Ｐ）のデータから、瞳孔径の拡大速度（Ｐｖ）、瞳孔径の拡大加速度（Ｐｋ）、瞳孔径の縮小速度（Ｐｓ）、瞳孔径の縮小加速度（Ｐｔ）を算出する。なお、視認映像ａに照度データが含まれている場合、解析部１０２は、照度による瞳孔径の変動を補正する。この瞳孔径の補正方法には、明瞳孔画像と暗瞳孔画像の差分による補正等があるが、これらの方法は既知の技術を用いることにし、ここでは詳細な説明は省略する。
以上のように、解析部１０２は様々な値を解析し、この解析した値を解析値Ａとして、蓄積部１０３及び診断部１０４へ出力する（図２参照）。よって、解析値Ａに含まれる値としては、瞳孔径（Ｐ）、瞳孔径の拡大速度（Ｐｖ）、瞳孔径の拡大加速度（Ｐｋ）、瞳孔径の縮小速度（Ｐｓ）、瞳孔径の縮小加速度（Ｐｔ）、視点追尾時間（Ｂｔ）、視点接近速度（Ｂｖ）、視点接近加速度（Ｂｋ）、視点離脱速度（Ｂｓ）、視点離脱加速度（Ｂｒ）の他、視認者の身体（例えば、頭）の接近移動速度、接近移動加速度、瞬目回数、音声データｃ、応答データｄ、身体温度データｆが挙げられる。
〔蓄積部〕
再び図２を参照して、蓄積部１０３は、解析部１０２から出力された視認映像ａ、眼球運動映像ｂ、音声データｃ、応答データｄ、身体動作映像ｅ及び身体温度データｆを蓄積する。また、蓄積部１０３は、解析部１０２から出力された解析値Ａを蓄積する。さらに、蓄積部１０３は、視認者１が興味の低い、すなわち、平凡で刺激の低い対象物２を見ている場合の瞳孔径（Ｐｈ）、瞳孔径の拡大速度（Ｐｈｖ）、瞳孔径の拡大加速度（Ｐｈｋ）、瞳孔径の縮小速度（Ｐｈｓ）、瞳孔径の縮小加速度（Ｐｈｔ）、視点追尾時間（Ｂｈｔ）、視点接近速度（Ｂｈｖ）、視点接近加速度（Ｂｈｋ）、視点離脱速度（Ｂｈｓ）及び視点離脱加速度（Ｂｈｒ）を平常値Ｈとして、予め蓄積している。また、蓄積部１０３は、視認者１の興味の高い対象物２を見ている場合の瞳孔径（Ｐｅ）、瞳孔径の拡大速度（Ｐｅｖ）、瞳孔径の拡大加速度（Ｐｅｋ）、瞳孔径の縮小速度（Ｐｅｓ）、瞳孔径の縮小加速度（Ｐｅｔ）、視点追尾時間（Ｂｅｔ）、視点接近速度（Ｂｅｖ）、視点接近加速度（Ｂｅｋ）、視点離脱速度（Ｂｅｓ）及び視点離脱加速度（Ｂｅｒ）を感動値Ｅとして、予め蓄積している。また、蓄積部１０３は、診断部１０４から出力された診断結果を蓄積する。
〔診断部〕
診断部１０４は、解析部１０２から出力された解析値Ａを、蓄積部１０３に蓄積された平常値Ｈあるいは感動値Ｅと比較することにより、視認者１の対象物２に対する興味を診断し、視認者１が視認している対象物２または視認者１自身の能力を評価する。すなわち、診断部１０４は、解析値Ａに含まれる各パラメータを、ａ，ｂ，ｃ，・・・とし、各パラメータに対する重み付けをＡ，Ｂ，Ｃ，・・・とし、以下の評価値Ｅ（ｔ）を算出する。
Ｅ（ｔ）＝Ａ・ａ（ｔ）＋Ｂ・ｂ（ｔ）＋Ｃ・ｃ（ｔ）＋・・・
具体的には、診断部１０４は、所定時間内における瞬目回数が所定回数よりも減少している場合、その対象物２に興味があると診断する。さらに、診断部１０４は、瞳孔径が所定値よりも大きい場合、その対象物２に興味があると診断する。上記に加え、診断部１０４は、瞳孔径の拡大速度及び拡大加速度が所定値よりも大きい場合、その対象物２に興味があると診断し、逆に、瞳孔径の縮小速度及び縮小加速度が所定値よりも大きい場合、その対象物２に興味がないと診断する。また、診断部１０４は、視点接近速度及び視点接近加速度が所定値よりも大きい場合、その対象物２に興味があると診断し、逆に、視点接近速度及び視点接近加速度が所定値以下の場合、その対象物２に興味がないと診断する。また、視点離脱速度及び視点離脱加速度が所定値よりも大きい場合、その対象物２に興味がないと診断し、逆に、視点離脱速度及び視点離脱加速度が所定値以下の場合、その対象物２に興味があると診断する。
さらに、診断部１０４は、対象物２への頭部の向きの接近移動速度及び接近加速度と、視点接近速度、視点接近加速度とを合成した視点の移動速度及び加速度を算出することにより、上記と同様の判定を行う。視認者１は、興味がある場合、視点が対象物を追尾するために頭もその方向を維持する。なお、興味がなくても頭を対象物に向け続けることはあるが、この場合、瞳孔径は縮小している。また、頭が対象物２方向から離れ続け、瞳孔径が縮小している場合、興味がないと診断する。
また、診断部１０４は、視認者１がある対象物２に視点が平常値（Ｂｈｔ）より多くの時間追尾して、瞳孔径が感動値（Ｐｅ）になる場合には、その対象物に興味・関心があると診断する。すなわち、
Ｂｔ＞Ｂｈｔ
Ｐ＞Ｐｈ×１．３、または、Ｐ＝Ｐｅ
の場合、診断部１０４は、視認者１が対象物２に興味・関心があると診断する。対象物２が動いている場合は、視認者は対象物２が見える間追尾する。一方、動かない対象物２の場合は、平常値（Ｂｈｔ）以上の時間を追尾する。また、診断部１０４は、一旦、視点が対象物２の範囲内を短時間｛＜Ｂｈｔ｝追尾し、瞳孔径が感動値（Ｐｅ）までに拡大せず、視点離脱速度が平常値（Ｂｈｓ）より急速｛＞Ｂｈｓ｝に視点が対象物２から離れ、再度視点が対象物２に戻らない場合、視認者１はその対象物２に興味がないと診断する。さらに、診断部１０４は、視認者１が一旦対象物２を見て瞳孔径が拡大するが、所定の時間内である短時間で視点が対象物２から離脱した場合、嫌悪感があると診断する。すなわち、対象物内に視点があるとき、
Ｐ＞Ｐｈ、または、Ｐ＝Ｐｅ
であり、この時、対象物からの視点離脱速度（Ｂｓ）、加速度（Ｂｒ）が平常値（Ｂｈｓ，Ｂｈｒ）より大きく、
Ｂｓ＞Ｂｈｓ
そして、
Ｂｒ＜Ｂｈｒ
である場合、対象物２に対して嫌悪感があると診断する。なお、すでに１０００件以上の統計では、対象物への視点追尾時間（Ｂｔ）がＢｔ＜０．２秒である場合、明らかに嫌悪感があると診断できるという結果を得ている。
また、診断部１０４は、身体温度データｆを用いて、身体温度が上昇した場合、視認者１は、対象物２に興奮していると診断する。また、診断部１０４は、応答データｄを用いて、対象物２及び視認者１自身の能力を評価する。具体的な応答データｄの使用方法は、後に詳述する。また、診断部１０４は、診断結果を表示部１０５及び蓄積部１０３へ出力する。
〔表示部〕
表示部１０５は、診断部１０４における診断結果をディスプレイなどの出力装置へ表示する。表示部１０５に表示された診断結果により、オペレータは、対象物２及び視認者１自身の能力を判断することができる。
以上のように、本発明の実施形態による視認者感性反応装置１００によれば、生理反応データの変化に伴う加速度を用いて、対象物２または視認者１自身の能力を評価する。生理反応データの変化としては、瞳孔径の拡大加速度（Ｐｋ）、瞳孔径の縮小加速度（Ｐｔ）、視点接近加速度（Ｂｋ）、視点離脱加速度（Ｂｒ）が挙げられる。瞳孔径の拡大加速度（Ｐｋ）が大きくなるほど、あるいは、視点接近加速度（Ｂｋ）が大きくなるほど、その対象物２に興味があると診断し、逆に、瞳孔径の縮小加速度（Ｐｔ）が大きくなるほど、あるいは、視点離脱加速度（Ｂｒ）が大きくなるほど、その対象物２に興味がないと診断する。このように、本発明の実施形態による視認者感性反応装置１００によれば、視認者の生理反応をより正確に把握し、様々な状況において、対象物または視認者自身の能力をより正確に評価することができる。本発明の実施形態による視認者感性反応装置１００の適用場面については、後に詳述する。
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、身体動作撮影装置９及び身体温度測定装置１０は、直接、視認者感性反応装置１００にデータを送信しているが、一旦蓄積装置８に蓄積され、視認映像ａなどとともに、送信装置７から視認者感性反応装置１００へ送信しても構わない。また、アイカメラ３が、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６を備える構成としたが、眼球撮影装置４、視認情景撮影装置５及びマイクロフォン６は、必ずしも物理的に接続されている必要はなく、それぞれが単体として備えていても構わない。
また、前記実施形態では、視点の位置を算出する際に、角膜反射法を用いたが、視点の位置を算出する方法はこれに限られず、様々な公知の方法が使用可能である。
尚、視認者感性反応装置１００は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。視認者感性反応装置１００に備えた受信部１０１、解析部１０２、蓄積部１０３、診断部１０４及び表示部１０５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
次に、本発明の実施形態による視認者感性反応装置１００が適用される場面について説明する。具体的には、購買意欲度診断、学習意欲度診断、ＣＭ等コンテンツ診断、相性診断、赤ん坊等の意思伝達診断、ロボットの応対診断、犯罪証拠診断、ドライバー眠気感知診断、自動車運転適性診断、労働安全熟練度診断、労働前適正診断、運動選手適正診断、ゲームのエキサイト度診断、空間デザイン診断、映像コンテンツ選択優先度診断について説明する。
〔購買意欲度診断〕
購買意欲度診断では、ある商品を一般の視認者１に見てもらい、その商品に対して、視認者１が購買意欲をもつか、持たないかの診断を行う。視認方法は、実際の商品を見る方法でも、テレビ、ＰＣ等のディスプレイに表示された商品でも構わない。購買力診断には、図１及び図２に示す視認者感性反応装置１００を用いる。ここでは、対象物２は商品の映像となる。診断部１０４は、ア．その商品を見て、瞳孔が感動値（Ｐｅ）まで拡大していない｛＜Ｐｅ｝（無関心）、イ．視点追尾時間が平常値（Ｂｈｔ）より短い（興味なし）場合、視認者１がその商品に対して「購買意欲はない」と診断する。さらに、商品からの視点離脱速度（Ｂｓ）と最初の加速度（Ｂｒ）が平常値｛Ｂｈｓ、Ｂｈｒ｝より大きいときに、嫌悪感があり、反発心があると診断する。この場合、明らかに購買意欲がある場合とは反対の行動であるといえる。このことから、「購買意欲なし」という診断の度合いを速度及び加速度の大きさによって測ることができる。一方、瞳孔径（Ｐ）が拡大していて、商品への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長く、感動値（Ｂｅｔ）に達したときに、興味はあると診断できるが、購買意欲があることまでは診断できない。すなわち、興味がない場合は、購買意欲はないが、興味があっても、購買意欲がない場合がある。次に、複数の商品を視認者１に視認してもらい、特定の商品を見て、他の商品より、ア．瞳孔径が大きい、イ．視点追尾時間が長い、ウ．視点離脱速度、最初の加速度が小さい場合は、その特定商品が一番興味を引くことから、診断部１０４は、他の商品より購買意欲度が高いと診断する。一方、特定の商品が、他の商品より、ア．瞳孔径が小さい、イ．視点滞留時間が短い、ウ．視点離脱速度、最初の加速度が大きい場合、診断部１０４は、購買意欲度は他の比べて少ないと診断する。
〔学習意欲度診断〕
学習意欲度診断では、上述した商品に代えて学習対象（教師、教科書、黒板等）を対象物２とすることにより、学習意欲度の診断を行う。学習意欲度診断には、図１及び図２に示す視認者感性反応装置１００を用いる。ここでは、対象物２は学習対象（教師、教科書、黒板等）の映像となる。診断部１０４は、視認者１が学習対象（教師、教科書、黒板等）を見ている時、ア．瞳孔径（Ｐ）が感動値(Ｐｅ)まで拡大していない（無関心）、イ．視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短い（興味なし）場合、視認者１がその学習に対して「学習意欲はない」と診断する。さらに、学習対象からの視点離脱速度（Ｂｓ）と最初の加速度（Ｂｒ）が平常値｛Ｂｈｓ、Ｂｈｒ｝より大きい場合、診断部１０４は、嫌悪感があり、反発心があると診断する。このことから、診断部１０４は、「学習意欲なし」と診断する。一方、瞳孔径（Ｐ）が拡大していて、学習対象への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長くても、興味・関心はあるが、学習意欲とは必ずしも結びつかない。すなわち、興味がない場合は、学習意欲はないが、興味があっても、学習意欲がない場合がある。次に、複数の学習対象を視認者１に視認してもらい、特定の学習対象を見て、他の学習対象より、ア．瞳孔径が大きい、イ．視点追尾時間が長い、ウ．視点離脱速度、最初の加速度が小さい場合は、その学習対象が一番興味を引くことから、診断部１０４は、他の学習対象より学習意欲度が高いと診断する。一方、特定の学習対象が、他の学習対象より、ア．瞳孔径が小さい、イ．視点追尾時間が短い、ウ．視点離脱速度、最初の加速度が大きい場合、診断部１０４は、その対象の学習意欲度は、他の学習対象に比べて少ないと診断する。
〔ＣＭ等コンテンツ診断〕
ＣＭ等コンテンツ診断では、視認者１がテレビ、映画、コンピュータ等のディスプレイでの映像、ウェブページ、ポスター等のＣＭなどのコンテンツを見ている場合に、コンテンツの診断を行う。ＣＭ等コンテンツ診断には、図１及び図２に示す視認者感性反応装置１００を用いる。ここでは、対象物２は、コンテンツに含まれる訴求対象の映像となる。訴求対象とは、コンテンツの作者が視認者１に特に見てほしいと意図している映像である。そして、診断部１０４は、視認者１がコンテンツの作者の訴求対象を見て、興味・関心度が高いと、良いコンテンツであると診断する。具体的には、診断部１０４は、対象物２が静止画の場合、視点追尾時間（Ｂｔ）がその訴求対象に平常値（Ｂｈｔ）より長時間追尾し、瞳孔径（Ｐ）も平常値（Ｐｈ）より拡大し、視線の離脱速度（Ｂｓ）、加速度（Ｂｒ）も平常値｛Ｂｈｓ、Ｂｈｒ｝より遅い、すなわち、以下の数式を満たすときに、
Ｂｔ＞Ｂｈｔ
Ｐ＞Ｐｈ、または、Ｐ＝Ｐｅ
Ｂｓ＜Ｂｈｓ
Ｂｒ＜Ｂｈｒ
その静止画は作者の意図した効果があるものと診断する。また、対象物２が動画の場合、作者の意図する山場（やまば）（いくつあっても良い）に、その場面が続く間、視認者１の視点が画面を追尾し、瞳孔径（Ｐ）が平常値（Ｐｈ）より大きく、視点の離脱速度（Ｂｓ）が平常値（Ｂｈｓ）より遅い、すなわち、以下の数式を満たすときに、
Ｂｔ＞Ｂｈｔ
Ｐ＞Ｐｈ、または、Ｐ＝Ｐｅ
Ｂｓ＜Ｂｈｓ
Ｂｒ＜Ｂｈｒ
その動画は作者の意図した効果があるものと診断する。逆に、視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短く、対象画面から視線を離脱する速度（Ｂｓ）と最初の加速度（Ｂｒ）が平常値（Ｂｈｓ、Ｂｈｒ）より大きいときに、興味・関心がないと診断する。さらに、これらの値が大きいほど、すなわち、以下の数式を満たすときに、
Ｂｔ＜Ｂｈｔ
Ｂｓ＞Ｂｈｓ
Ｂｓ＞Ｂｈｓ
Ｂｒ＞Ｂｈｒ
診断部１０４は、嫌悪感を持つと診断する。また、複数の動画ＣＭを視認者１に視認してもらい、診断部１０４は、動画ＣＭの中の訴求する対象（商品名等）に他より長時間視点が追尾し、瞳孔径が他より拡大しているＣＭほど、ＣＭとしての評価が高いと診断する。また、視認者１にポスター、ウェブページ等の静止画を見てもらい、診断部１０４は、訴求対象に視点が他より長時間追尾し、瞳孔径がより拡大している方が評価が高いと診断する。また、視認者１に、複数の比較する映像（ＴＶコンテンツ、映画等）を視認してもらい、全体にエキサイトする作品を診断する場合は、診断部１０４は、瞳孔径を作品全体の時間帯で計測し、瞳孔径の積分値の大きい方が興味・関心が高く、注目させる作品であると診断する。また、特定の山場（複数あっても良い）で興味・関心、注目して欲しい作品を診断する場合は、診断部１０４は、作者の意図する山場で瞳孔径の積分値が大きいと、その部分に興味・関心が高く、それだけ作者の意図した作品に近いと診断する。
〔相性診断〕
相性診断では、テレビ電話機能（携帯電話を含む）で通信回線を通して、お互いに顔を見ながら通話をしている状況において、通話相手同士の相性診断を行う。相性診断には、図１３及び図１４に示す視認者感性反応装置１００を用いる。図１３は、相性診断に用いる視認者感性反応システムの構成を示すブロック図であり、図１４は、相性診断に用いる視認者感性反応装置１００の構成を示すブロック図である。ここでは、対象物２はディスプレイ２２ａ、２２ｂに表示された顔の映像となる。まず、Ａさんが使用するテレビ電話２０ａ及びＢさんが使用するテレビ電話２０ｂは、それぞれ通信回線３０を介して、視認者感性反応装置１００に接続されている。また、図１４に示す視認者感性反応装置１００の蓄積部１０３は、視認者（ここでは、Ａさん、Ｂさん）の個人属性データを予め計測して蓄積している。個人属性データには、視認者（Ａさん、Ｂさん等）の年齢、性別、出身地等の他、平凡で刺激の低い対象物を見ている場合の平常値（「瞳孔径」「瞳孔径の拡大速度」「加速度」、「瞳孔径縮小速度」「加速度」、「視点追尾時間」、「視点接近速度」「加速度」、「視点離脱速度」「加速度」）と、興味・関心が高い視認対象を見ている時の感動値（興味・関心のある物を見る場合の「瞳孔径」、「瞳孔径の拡大速度」「加速度」、「瞳孔径縮小速度」「加速度」、「視点追尾時間」、「視点接近速度」「加速度」、「視点離脱速度」「加速度」）が含まれている。さらに、蓄積部１０３は、人間の年齢、性別、職業といった層ごと、及び、全体の平常値、感動値等の平均値を蓄積する。
テレビ電話２０ａ、２０ｂは、それぞれ、顔カメラ２１ａ、２１ｂ、ディスプレイ２２ａ、２２ｂ、眼球カメラ２３ａ、２３ｂ及び追尾カメラ２４ａ、２４ｂを備えている。顔カメラ２１ａ、２１ｂは、通話者の顔を撮影する。ディスプレイ２２ａ、２２ｂは、通信相手を表示する。眼球カメラ２３ａ、２３ｂは、通話者の眼球を撮影する。追尾カメラ２４ａ、２４ｂは、眼球カメラ２３ａ、２３ｂの両側に設けられ、三角測量の原理を用いて通話者の眼球の位置を計測する。追尾カメラ２４ａ、２４ｂによる計測結果に応じて、眼球カメラ２３ａ、２３ｂは、通話者の眼球を追尾する。なお、眼球カメラ２３ａ、２３ｂを省略し、顔カメラ２１ａ、２１ｂを高詳細なものにして、視認者感性反応装置１００内の解析部１０２において、通話者の顔映像を拡大して、画像解析により通話者の眼球映像を捉えても良い。また、眼球カメラ２３ａ、２３ｂを省略し、顔カメラ２１ａ、２１ｂを高詳細なものにして、視認者感性反応装置１００内の解析部１０２において、通話者の顔映像を拡大して、画像解析により通話者眼球映像を捕らえる場合、追尾カメラ２４ａ、２４ｂの代わりに、テレビ電話２０ａ、２０ｂから通話者の顔までの距離を測る他の手段を用いても良い。このようにして、眼球をとらえ、距離が分かるので、瞳孔の直径が計測できる。
Ａさんが使用するテレビ電話２０ａでは、顔カメラ２１ａでＡさんの顔を撮影し、眼球カメラ２３ａでＡさんの眼球を撮影する。そして、テレビ電話２０ａは、Ａさんの顔データ、Ａさんの眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を、通信回線３０を介して、視認者感性反応装置１００へ送信する。同様に、Ｂさんが使用するテレビ電話２０ｂでは、顔カメラ２１ｂでＢさんの顔を撮影し、眼球カメラ２３ｂでＢさんの眼球を撮影する。そして、テレビ電話２０ｂは、Ｂさんの顔データ、Ｂさんの眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を、通信回線３０を介して、視認者感性反応装置１００へ送信する。
視認者感性反応装置１００の受信部１０１は、Ａさん及びＢさんの、顔データ及び眼球データ（視線方向、瞳孔映像、カメラから眼球までの距離）を受信する。視認者感性反応装置１００の解析部１０２は、Ａさんの眼球データの視線方向データから、Ａさんの持つディスプレイ２２ａに映るＢさんの顔の映像の中の視点の位置、視点移動速度（接近速度Ｂｖ、離脱速度Ｂｓ）及び加速度（接近加速度Ｂｋ、離脱加速度Ｂｒ）を算出する。また、Ａさんの眼球データから、眼球カメラ２３ａから眼球までの距離と瞳孔映像から瞳孔径を算出し、同時に瞳孔径（Ｐ）の拡大速度（Ｐｖ）、縮小の速度（Ｐｓ）、拡大加速度（Ｐｋ）及び縮小加速度（Ｐｔ）を算出する。一方、Ｂさんの眼球データの視線方向データから、Ｂさんの持つディスプレイ２２ｂに映るＡさんの顔映像の中の視点の位置、視点移動速度（接近速度Ｂｖ、離脱速度Ｂｓ）及び加速度（接近加速度Ｂｋ、離脱加速度Ｂｒ）を算出する。また、Ｂさんの眼球データから、眼球カメラ２３ｂから眼球までの距離と瞳孔映像から瞳孔径を算出し、同時に瞳孔径（Ｐ）の拡大速度（Ｐｖ）、縮小の速度（Ｐｓ）、拡大加速度（Ｐｋ）及び縮小加速度（Ｐｔ）を算出する。解析部１０２は、解析した値を診断部１０４へ出力する。診断部１０４は、ＡさんがＢさんの顔を追尾する時間が、Ｂさんの顔が映っている限り追尾しており、Ａさんの瞳孔径（Ｐ）が蓄積部１０３から読み出した感動値データ（Ｐｅ）にまで拡大していれば、ＡさんはＢさんに興味・関心を持っていると診断する。送信部１０６は、この診断結果をＢさんのテレビ電話２０ｂに送信する。診断結果を受信したテレビ電話２０ｂは、ディスプレイ２２ｂに、｛ＡさんがＢさんに興味・関心がある｝ことを示す記号（たとえばハートマーク）を特定の箇所に表示する。逆に、ＢさんがＡさんの顔を追尾する時間が、Ａさんの顔がＢさんのテレビ電話のディスプレイ２２ｂに映っている間より短く（Ｂさんの顔からＡさんの視点が離脱する）、瞳孔径（Ｐ）も蓄積部１０３から引き出した感動値データ（Ｐｅ）にまで拡大することがなく、瞳孔の拡大速度（Ｐｖ）、初期瞳孔拡大加速度（Ｐｋ）が平常値（Ｐｈｖ、Ｐｈｋ）より少ない場合は、診断部１０４は、ＢさんはＡさんに興味・関心がないと診断する。送信部１０６は、この診断結果を、Ａさんのテレビ電話２０ａに送信する。診断結果を受信したテレビ電話２０ａは、ディスプレイ２２ａに、｛ＢさんがＡさんに興味・関心がない｝ことを示す記号（たとえば×マーク）を特定の箇所に表示する。
上述した相性診断を応用し、以下のような状況に適用することができる。（ア）結婚の見合いの場面に用いる。（イ）面接試験の場面に用いる。これにより、被相談者の真の心理状況を知ることができ、診断結果を発言内容の裏づけの参考にすることができる。（ウ）犯罪者との面談の場面に用いる。具体的には、刑事事件における犯罪容疑者との面談の
場面に用いることにより、犯罪容疑者の心理状態を知ることができる。これらの場面では、話の内容、表示された映像に興味があった場合には、瞳孔径（Ｐ）が平常値（Ｐｈ）より大きくなる性質が利用される。
なお、相性診断では、図１３及び図１４に示すブロック図を用いて説明したが、特に説明しなかった部については、上述した図１及び図２の構成と同様である。
〔赤ん坊等の意思伝達診断〕
赤ん坊、動物（ペットを含む）、認知症者の生理反応による意思伝達診断では、赤ん坊、動物（ペットを含む）、認知症者の意思の診断を行う。ここでは、赤ん坊、動物、認知症者等の言葉を話すことが困難な人及び動物を視認者１として、アイカメラ３を装着させる。または、赤ん坊、動物、認知症者等がディスプレイの前に座って、ディスプレイの下にあるカメラで赤ん坊、動物、視認症患者の眼球を撮影する方法もある。赤ん坊等の意思伝達診断には、図１及び図２に示す視認者感性反応装置１００を用いる。解析部１０２は、赤ん坊、動物、認知症者等の視点の位置と瞳孔径（Ｐ）を計測し、診断部１０４は、視認対象に視点が追尾し、瞳孔径（Ｐ）が平常値（Ｐｈ）より大きいときに、その視認対象に、赤ん坊、動物、認知症者等が興味・関心があると診断する。これにより、ものを言わない赤ん坊、認知症者、動物の視認対象に対する興味を把握できる。逆に、診断部１０４は、視認対象への視点の追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より短く、視点離脱速度（Ｂｓ）、加速度（Ｂｒ）が平常値（Ｂｈｓ、Ｂｈｒ）より速く、瞳孔径（Ｐ）も感動値（Ｐｅ）より少ないときに、視認対象に対して無関心で、興味がないと診断する。これにより、ものを言わない赤ん坊、認知症者、動物への対応が可能となる。
〔ロボットの応対診断〕
ロボットの応対診断では、ロボットに、アイカメラ３、身体動作撮影装置９、身体温度測定装置１０、及び図１５に示す視認者感性反応装置１００を組み込み、ロボットと応対する人などに対する診断を行う。ロボットは、応対する人、ものを言わない赤ん坊、認知症者、動物等の顔、眼球の動き、身体動作、身体温度の変化を常に捉えている。ロボットの応対診断では、図１に示す視認者感性反応システムを用い、図１５に示す視認者感性反応装置１００を組み込む。図１５は、ロボットの応対診断に用いる視認者感性反応装置１００の構成を示すブロック図である。視認者感性反応装置１００の診断部１０４は、ロボットと応対する人、またはものを言わない赤ん坊、認知症者、動物の感情を診断する。言動選択部１０７は、診断部１０４から入力された診断結果に基づいて、予め記憶された複数の言動の中から診断結果に見合った言動を選択する。これにより、ロボットは、診断結果に従って、応対する人及び動物の感情を把握し、適切な言葉を発することができる。また、適切な支援行動を起こすこともできる。なお、ロボットの応対診断では、図１５に示すブロック図を用いて説明したが、特に説明しなかった部については、上述した図２の構成と同様である。
〔犯罪証拠診断〕
犯罪証拠診断では、犯罪容疑者にアイカメラ３を装着し、平凡な映像の途中に、犯罪現場を含むビデオ映像を見せることにより、犯罪の証拠となる映像を診断する。犯罪証拠診断には、図１及び図２に示す視認者感性反応装置１００を用いる。犯罪容疑者は、自己の犯罪現場を含む場面を見たときに、他の場面よりも瞳孔径（Ｐ）が拡大することから、診断部１０４は、瞳孔径（Ｐ）が拡大したときに見ていた映像の場所が犯罪現場であるとして、犯罪現場を特定することができる。さらに、その対象物である映像への視点追尾時間（Ｂｔ）は平常値（Ｂｈｔ）より短く、視点離脱速度（Ｂｓ）、初期加速度（Ｂｒ）が平常値（Ｂｈｓ、Ｂｈｒ）より高いときに、診断部１０４は、その場面の映像に嫌悪感があると診断する。すなわち、犯罪容疑者はその場面を早く避けたいと思っていることになる。診断部１０４による診断結果は、その場所が犯罪場所であると判定するための参考になる。また、犯罪容疑者に被害者の映像または写真を複数の人物と織り交ぜて見せた場合、診断部１０４は、犯罪容疑者が被害者の姿の映像または写真を見て、他の人物に比べて瞳孔径が大きくなったときに、その犯罪容疑者が犯人であると診断する。一般に、自己の犯罪場面と被害者に対して、あまり見続けたくないので、嫌悪感と同様の反応を示すため、診断部１０４は、対象への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ)より短く、対象から視点をそらす速度（Ｂｓ）が平常値（Ｂｈｓ）より大きく、したがって、そらす瞬間の加速度（Ｂｈｒ）も大きい場合、その容疑者が犯人であると診断する。また、犯罪現場を含むビデオの代わりに、犯罪容疑者にアイカメラ３を装着させて犯罪現場に出向かせることにより、同様に犯罪対象物への注目、嫌悪感の度合いが診断でき、捜査の参考にできる。
〔ドライバー眠気感知診断〕
ドライバー眠気感知診断では、自動車運転者にアイカメラ３を装着してもらい、運転中に眼球を撮影することにより、ドライバーの眠気の有無を診断する。ドライバー眠気感知診断では、図１に示す視認者感性反応システムを用い、図１６に示す視認者感性反応装置１００を用いる。図１６は、ドライバー眠気感知診断に用いる視認者感性反応装置１００の構成を示すブロック図である。視認者感性反応装置１００の診断部１０４は、瞳孔径（Ｐ）が平常値（Ｐｈ）より少ないとき、危険な運転状態であると診断する。さらに、診断部１０４は、視線の方向が前方から外れる時間が多いときに、さらに前方不注意となり危険な運転状態であると診断する。自動車の運転席の前（ハンドルの前方上）に運転者の眼球を追尾・撮影するカメラを用いることにより、前記と同様の測定、解析及び診断を行うことができる。警告部１０８は、診断部１０４から入力した診断結果を用い、診断結果が危険な運転状態である場合に、運転者に警告を行う。警告は、アナウンスでも、警告音の発生でもよく、運転者に注意力回復のための刺激を与えるものであればよい。
〔自動車運転適性診断〕
自動車運転適性診断では、視認者１にアイカメラ３を装着してもらい、自動車シミュレーターまたは実際の自動車で、視認者１に操作してもらうことにより、自動車運転の適正の有無を診断する。自動車運転適性診断では、図１及び図２に示す視認者感性反応装置１００を用いる。視認者感性反応装置１００の解析部１０２は、視認者１の眼球運動撮影データの視線方向と瞳孔径データを解析し、診断部１０４は、注意すべき時に、危険箇所に視点が追尾し続け、瞳孔径（Ｐ）が平常値（Ｐｈ）より大きく、拡大速度（Ｐｖ）、加速度（Ｐｋ）も平常値（Ｐｈｖ、Ｐｈｋ）より大きいときに、注意すべき部分に視点が行き、注意しているものと診断する。また、診断部１０４は、頭の向き及び視線の方向がいつも前面であることを診断する。さらに、応答反応すべき時間にタイミングよくステアリングハンドル、ブレーキで応答反応しているかを知るため、解析部１０２は、応答データｄを用いて、応答遅延時間と操作方法を解析し、診断部１０４は、操作遅延時間が危険回避のための一定時間（所定の設定時間）以下であり、かつ、応答データｄから得られる操作が、予め設定された適切な操作方法かどうかを判断し、操作遅延時間、所定の設定時間、操作方法に基づいて、視認者１の熟練度、適正度を診断する。
〔労働安全熟練度診断〕
労働安全熟練度診断では、アイカメラ３を装着した労働者が、シミュレーターまたは実際の機械で、機器を操作してもらうことにより、労働安全熟練度の有無を診断する。労働安全熟練度診断では、図１及び図２に示す視認者感性反応装置１００を用いる。視認者感性反応装置１００の解析部１０２は、労働者の視線方向、瞳孔径（Ｐ）の運動から、視点の位置と注目度、さらに不注意度を計測し、診断部１０４は、労働者が作業で、注意すべき時に、注意すべき部分（これが対象物となる）に視点が行って追尾し、瞳孔径（Ｐ）が感動値（Ｐｅ）まで大きくなり、瞳孔径拡大の速度（Ｐｖ）、加速度（Ｐｋ）も感動値（Ｐｅｖ、Ｐｅｋ）ほど大きいときに、注目すべき部分を注目していると診断する。さらに、解析部１０２は、応答データｄを用いて、妥当な応答装置１４を妥当なタイミングで操作しているかを解析するための応答反応の遅延時間と応答操作の正確性（正しい操作をしたか否かのデータ）を計測する。そして、診断部１０４は、所定の注意すべき時間内にタイミングよく（時間的遅延がない）適切な応答反応をしているか否かを診断する。この場合、遅延時間、全体の操作のうちの正しい操作を行った数等のデータに基づいて、労働者の熟練度、適正度を診断する。また、診断部１０４は、瞳孔径は感動値（Ｐｅ）より縮小しており、視点が見るべきところに行っていない、または、身体応答反応も遅い場合、不注意時として診断する。
〔労働前適正診断〕
労働前適正診断では、労働者が毎日、作業開始前にその日の作業の適正を診断する。労働前適正診断では、図１及び図２に示す視認者感性反応装置１００を用いる。各所に注意すべき点（注意して操作しないと危険な箇所）を含めた注意力判定のコンテンツをディスプレイに表示してアイカメラ３を装着した労働者に見せる。視認者感性反応装置１００の解析部１０２は、アイカメラ３からのデータの中の視線方向、瞳孔径（Ｐ）の運動を解析し、診断部１０４は、視点の位置と注目度、さらに不注意度を計測し、労働者が作業で注意すべき時に、注意すべき部分に視点が行って追尾し、瞳孔径（Ｐ）が感動値（Ｐｅ）まで大きくなり、瞳孔径拡大の速度（Ｐｖ）、加速度（Ｐｋ）も感動値（Ｐｅｖ、Ｐｅｋ）ほど大きいときに、注目すべき部分を注目していると診断し、その労働者のその日の労働の体調は正常であると判定する。しかし、危険な箇所が映し出されていても、視点の接近速度（Ｂｖ）が遅く、加速度（Ｂｋ）も遅く、タイミングが遅く、適切な応答反応していない場合のどれか一つでも該当するときは、その労働者のその日の体調は正常ではないと判定する。
〔運動選手適正診断〕
運動選手適正診断では、スポーツにおいて、アイカメラ３を装着した競技者の競技時の視点方向により、どの箇所を見ているかを診断する。運動選手適正診断では、図１及び図２に示す視認者感性反応装置１００を用いる。視認者感性反応装置１００の解析部１０２は、瞳孔径（Ｐ）の大きさや瞳孔径の拡大速度（Ｐｖ）、加速度（Ｐｋ）により、注目度を解析する。そして、解析部１０２は、身体動作による競技者の反応（動作、遅延時間）を解析する。具体的には、解析部１０２は、応答データｄを用いて、妥当な応答装置１４を妥当なタイミングで操作しているかを解析することにより、注意すべき時間にタイミングよく（時間的遅延がない）適切な応答反応しているか解析する。そして、診断部１０４は、全競技者の適正値と比較して、競技者の熟練度、適正度を診断する。
〔ゲームのエキサイト度診断〕
ゲームのエキサイト度診断では、視認者１はアイカメラ３を装着してゲームを実施する。ゲームのエキサイト度診断では、図１及び図２に示す視認者感性反応装置１００を用いる。視認者感性反応装置１００の診断部１０４は、ゲーム中に瞳孔径（Ｐ）が感動値（Ｐｅ）まで拡大していることで、明確に興味・関心があると診断する。また、診断部１０４は、視認者身体温度計測により、身体温度が平常値より高いときに、その高さに応じた興奮度を診断する。逆に、診断部１０４は、瞳孔径（Ｐ）が感動値（Ｐｅ）まで拡大せず、身体温度が感動値にいたらないときに、エキサイトしていない、と診断する。
〔空間デザイン診断〕
空間デザイン診断では、視認者１がアイカメラ３を装着して実際の空間を歩き、視認者１が空間の中に配列されている物の中で何に視点が行き、興味を持ってみているかを診断して、視認対象の空間が訴求どおりのデザインまたは配列の中で適切な状態になっているかどうかを診断する。視認方法は、実際の空間を見る方法でも、テレビ、ＰＣ等のディスプレイに表示された物でも構わない。また、空間とは、街の景観、デパート、商店でのデザインや陳列、展示会場でのデザインや陳列、駅の通路、駅ホーム、駅ビル、車内等の空間を指す。空間デザイン診断には、図１及び図２に示す視認者感性反応装置１００を用いる。なお、視認者感性反応装置１００の解析部１０２は、視認者１が実際の空間を前進しているか、後退しているか、左右に動いているかを、視認映像ａを解析することにより判明する。
ここでは、対象物２は映像の中の特定の物（訴求対象であって、複数でも良い）である。診断部１０４は、ア．その対象物を見て、瞳孔が感動値（Ｐｅ）まで拡大していない｛＜Ｐｅ｝（無関心）、イ．視点追尾時間が平常値（Ｂｈｔ）より短い（興味なし）場合、視認者１がその対象物２に対して「デザインが適切でない」と診断する。さらに、対象物２からの視点離脱速度（Ｂｓ）と最初の加速度（Ｂｒ）が平常値｛Ｂｈｓ、Ｂｈｒ｝より大きいときに、嫌悪感があり、反発心があると診断する。この場合、明らかに「デザインが適切である」場合とは反対の行動であるといえる。このことから、「デザインが適切でない」という診断の度合いを、速度及び加速度の大きさによって測ることができる。一方、瞳孔径（Ｐ）が拡大していて、対象物への視点追尾時間（Ｂｔ）が平常値（Ｂｈｔ）より長く、感動値（Ｂｅｔ）に達したときに、興味はあると診断できるが、「デザインが適切である」ことまでは診断できない。すなわち、興味がない場合は、その「デザインが適切でない」が、興味があっても、その「デザインが適切でない」場合がある。
次に、複数の配列デザインを視認者１に視認してもらい、対象物２を見て、他のデザインでの対象物２より、ア．瞳孔径が大きい、イ．視点追尾時間が長い、ウ．視点離脱速度、最初の加速度が小さい場合は、そのデザインでの対象物が一番興味を引くことから、診断部１０４は、「そのデザインが他のデザインより適切である」と診断する。一方、対象物２が、他の配列デザインより、ア．瞳孔径が小さい、イ．視点滞留時間が短い、ウ．視点離脱速度、最初の加速度が大きい場合、診断部１０４は、「そのデザインでの対象物は他のデザインでの対象物に比べて適切でない」と診断する。
〔映像コンテンツ選択優先度診断〕
映像コンテンツ選択優先度診断では、視認者１がテレビ、映画等で映像コンテンツを視聴している場合に、視認者１の興味・関心・興奮するコンテンツ分野を判定する。視認者１はアイカメラ３を装着して映像コンテンツを視聴する。映像の興味・関心・興奮度を診断するために、図１及び図２に示す視認者感性反応装置１００を用いる。視認者感性反応装置１００の診断部１０４は、映像コンテンツ視聴中に瞳孔径（Ｐ）が感動値（Ｐｅ）まで拡大していると判定したときに、視聴しているコンテンツに対して明確に興味・関心があると診断する。また、診断部１０４は、視認者身体温度計測により、身体温度が平常値より高いときに、その高さに応じた興奮度を診断する。逆に、診断部１０４は、瞳孔径（Ｐ）が感動値（Ｐｅ）まで拡大せず、身体温度が感動値にいたらないと判定したときに、視聴しているコンテンツに対して興味・関心・興奮がない、と診断する。さらに、診断部１０４は、瞳孔径（Ｐ）の大きさ及び身体温度の高さに基づいて、しきい値によって興味・関心・興奮度が高いと判定した場合に、視聴者感性反応装置１００は、視聴者１が視聴しているコンテンツから、予め用意しておいたその分野のコンテンツ（興味・関心・興奮度が高いと判定した分野のコンテンツであって、予め用意しておいたもの）に切り替えるか、または、次に視聴するコンテンツを選択する時に、その分野のコンテンツを選択する優先度を上げる。逆に、診断部１０４は、しきい値によって興味・関心・興奮度が低いと判定した場合に、視聴者反応装置１００は、その分野以外のコンテンツであって、以前に興味・関心・興奮度が高かったコンテンツに切り替えるか、または、次に視聴するコンテンツを選択する時に、その分野のコンテンツを選択する優先度を下げる。なお、その診断結果は、蓄積部１０３に記録しておき、次の時間において、映像コンテンツ視聴時のコンテンツを選択するための推薦データに利用する。
上述したように、本発明の実施形態による視認者感性反応装置１００によれば、購買力診断、学習意欲度診断、ＣＭ等コンテンツ診断、相性診断、赤ん坊等の意思伝達診断、ロボットの応対診断、犯罪証拠診断、ドライバー眠気感知診断、自動車運転適性診断、労働安全熟練度診断、労働前適正診断、運動選手適正診断、ゲームのエキサイト度診断、空間デザイン診断、映像コンテンツ選択優先度診断などの様々な状況において、対象物または視認者自身の能力をより正確に評価することができる。
本発明の実施形態による視認者感性反応システムの構成を示すブロック図である。 本発明の実施形態による視認者感性反応装置の構成を示すブロック図である。 本発明の実施形態による視点の位置を算出することを説明する図である。 本発明の実施形態による視認者の頭の動きと視認映像の関係を説明するための図である。 本発明の実施形態による視認映像を解析する際の座標軸の一例である。 本発明の実施形態による水平方向に視認者の頭が動いた場合の頭の移動を説明する図である。 本発明の実施形態によるフレーム画面Ｆ0から次のフレーム画面Ｆ0＋１へ頭が移動した場合の、静止物の基点の移動を示す図である。 本発明の実施形態による視認映像の中の視点の移動を示す図である。 本発明の実施形態によるフレーム画面Ｆ0からフレーム画面Ｆ0＋１に移動した際の視点の移動を示す図である。 本発明の実施形態による視認映像における対象物と視点の位置関係を示す図である。 本発明の実施形態による接近速度、接近加速度、離脱速度及び離脱加速度の算出方法を示すフローチャートである。 本発明の実施形態による視点追尾時間の算出方法を示すフローチャートである。 本発明の実施形態による、相性診断に用いる視認者感性反応システムの構成を示すブロック図である。 本発明の実施形態による、相性診断に用いる視認者感性反応装置の構成を示すブロック図である。 本発明の実施形態による、ロボットの応対診断に用いる視認者感性反応装置の構成を示すブロック図である。 本発明の実施形態による、ドライバー眠気感知診断に用いる視認者感性反応装置の構成を示すブロック図である。
符号の説明
１ 視認者
２ 対象物
３ アイカメラ
４ 眼球撮影装置
５ 視認情景撮影装置
６ マイクロフォン
７ 送信装置
８ 蓄積装置
９ 身体動作撮影装置
１０ 身体温度測定装置
１４ 応答装置
２０ａ、２０ｂ テレビ電話
２１ａ、２１ｂ 顔カメラ
２２ａ、２２ｂ ディスプレイ
２３ａ、２３ｂ 眼球カメラ
２４ａ、２４ｂ 追尾カメラ
３０ 通信回線
１００ 視認者感性反応装置
１０１ 受信部
１０２ 解析部
１０３ 蓄積部
１０４ 診断部
１０５ 表示部
１０６ 送信部
１０７ 言動選択部
１０８ 警告部

Claims (16)

  1. 特定の対象物を含む情景に視線を向けた視認者の、前記特定の対象物に対する興味を診断する、視認情景に対する視認者感性反応装置において、
    前記視認者の視認映像及び前記視認者の眼球運動映像を受信する受信部と、
    前記視認映像及び前記眼球運動映像から前記視認映像における視点の位置を算出するとともに、前記視認者の生理反応データの変化に伴う加速度を算出する解析部と、
    前記視認者が興味の低い対象物を見ている場合の生理反応データの変化に伴う加速度を含む情報を平常値として蓄積し、前記視認者が興味の高い対象物を見ている場合の生理反応データの変化に伴う加速度を含む情報を感動値として蓄積し、前記解析部によって算出された前記視認者の生理反応データの変化に伴う加速度を含む情報を解析値として蓄積する蓄積部と、
    前記解析値を、前記平常値あるいは前記感動値と比較することにより、前記視認者の前記特定の対象物に対する興味を診断する診断部と、
    を備えたことを特徴とする視認情景に対する視認者感性反応装置。
  2. 請求項１に記載の視認情景に対する視認者感性反応装置において、
    前記生理反応データの変化に伴う加速度は、前記視認者の視点が前記特定の対象物に接近する際の接近加速度、あるいは、前記視認者の視点が前記特定の対象物から離脱する際の離脱加速度であり、
    前記診断部は、前記接近加速度が大きいほど前記特定の対象物に興味があり、前記接近加速度が小さいほど前記特定の対象物に興味がないと診断し、前記離脱加速度が大きいほど前記特定の対象物に興味がなく、前記離脱加速度が小さいほど前記特定の対象物に興味があると診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  3. 請求項２に記載の視認情景に対する視認者感性反応装置において、
    前記解析部は、前記視認者の頭に装着されたカメラにより撮影された視認映像内の静止物の位置を基点として、前記視認者の頭の移動距離、移動速度及び移動加速度を算出し、前記頭の動きを含む、前記特定の対象物に対する視点の接近加速度あるいは離脱加速度を算出する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  4. 請求項１に記載の視認情景に対する視認者感性反応装置において、
    前記生理反応データの変化に伴う加速度は、前記視認者の瞳孔径の拡大加速度、あるいは、前記視認者の瞳孔径の縮小加速度であり、
    前記診断部は、前記拡大加速度が大きいほど前記特定の対象物に興味があると診断し、前記縮小加速度が大きいほど前記特定の対象物に興味がないと診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  5. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記特定の対象物は、商品であり、
    前記診断部は、前記視認者の前記商品に対する購買意欲を診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  6. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記特定の対象物は、学習対象であり、
    前記診断部は、前記視認者の前記学習対象に対する学習意欲を診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  7. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記受信部は、２つのテレビ電話から、それぞれの通話者の前記視認映像及び前記眼球運動映像を受信し、
    前記診断部は、一方の通話者から他方の通話者に対する興味をそれぞれ診断し、
    さらに、一方の通話者から他方の通話者に対する興味の診断結果を他方の通話者のテレビ電話にそれぞれ送信する送信部を備えている
    ことを特徴とする視認情景に対する視認者感性反応装置。
  8. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記視認者は、言葉を話すことが困難な人、あるいは、動物である
    ことを特徴とする視認情景に対する視認者感性反応装置。
  9. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記視認者は、ロボットであり、
    さらに、前記診断部から入力された診断結果に基づいて、前記ロボットの言動を選択する言動選択部を備えている
    ことを特徴とする視認情景に対する視認者感性反応装置。
  10. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記視認者は、犯罪容疑者であり、
    前記特定の対象物は、犯罪現場または被害者である
    ことを特徴とする視認情景に対する視認者感性反応装置。
  11. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記視認者は、自動車運転者であり、
    さらに、前記診断部から入力した診断結果を用い、危険運転状態であると診断された場合は、前記視認者に警告を行う警告部を備えている
    ことを特徴とする視認情景に対する視認者感性反応装置。
  12. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記視認者は、自動車運転者または労働者であり、
    前記解析部は、前記視認者の動作による応答データを用いて、応答遅延時間及び操作方法を解析し、
    前記診断部は、応答遅延時間及び操作方法に基づいて、前記視認者の熟練度あるいは適正度を診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  13. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記視認者は、労働者であり、
    前記診断部は、前記視認者の体調を診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  14. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記視認者は、運動選手であり、
    前記診断部は、前記視認者の熟練度あるいは適正度を診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  15. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記視認者は、ゲームを実施し、
    前記診断部は、前記視認者の身体温度データにより、前記視認者の興奮度を診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
  16. 請求項１から４までのいずれか一項に記載の視認情景に対する視認者感性反応装置において、
    前記特定の対象物は、空間の中に配列されている物であり、
    前記診断部は、前記視認者から見た前記特定の対象物に対する適切性を診断する
    ことを特徴とする視認情景に対する視認者感性反応装置。
JP2008232274A 2008-09-10 2008-09-10 視認情景に対する視認者感性反応装置 Pending JP2010063621A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008232274A JP2010063621A (ja) 2008-09-10 2008-09-10 視認情景に対する視認者感性反応装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008232274A JP2010063621A (ja) 2008-09-10 2008-09-10 視認情景に対する視認者感性反応装置

Publications (1)

Publication Number Publication Date
JP2010063621A true JP2010063621A (ja) 2010-03-25

Family

ID=42189755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008232274A Pending JP2010063621A (ja) 2008-09-10 2008-09-10 視認情景に対する視認者感性反応装置

Country Status (1)

Country Link
JP (1) JP2010063621A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014515291A (ja) * 2011-05-20 2014-06-30 アイフルエンス，インコーポレイテッド 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法
CN115601825A (zh) * 2022-10-25 2023-01-13 扬州市职业大学(扬州开放大学)（Cn） 一种基于视觉定位技术评价阅读能力的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014515291A (ja) * 2011-05-20 2014-06-30 アイフルエンス，インコーポレイテッド 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法
US9931069B2 (en) 2011-05-20 2018-04-03 Google Llc Systems and methods for measuring reactions of head, eyes, eyelids and pupils
CN115601825A (zh) * 2022-10-25 2023-01-13 扬州市职业大学(扬州开放大学)（Cn） 一种基于视觉定位技术评价阅读能力的方法
CN115601825B (zh) * 2022-10-25 2023-09-19 扬州市职业大学(扬州开放大学) 一种基于视觉定位技术评价阅读能力的方法

Similar Documents

Publication Publication Date Title
JP5445981B2 (ja) 視認情景に対する視認者情感判定装置
JP2010094493A (ja) 視認情景に対する視認者情感判定装置
Foulsham et al. The where, what and when of gaze allocation in the lab and the natural environment
CN107929007B (zh) 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练***及方法
US10712998B2 (en) Information processing device, information processing method, and program
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
US9964766B2 (en) Controlling reproduction of content in a head-mounted display
US7809160B2 (en) Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
JP5841538B2 (ja) 関心度推定装置および関心度推定方法
KR102003588B1 (ko) 인간과 휴머노이드 로봇의 대화를 핸들링하기 위한 시스템, 방법 및 컴퓨터 프로그램 프로덕트
WO2015198767A1 (ja) 異常検知装置及び異常検知方法
JP2017507400A (ja) 注視によるメディア選択及び編集のためのシステム並びに方法
US20170263017A1 (en) System and method for tracking gaze position
US11084424B2 (en) Video image output apparatus, video image output method, and medium
US20120194648A1 (en) Video/ audio controller
US11173375B2 (en) Information processing apparatus and information processing method
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
Chukoskie et al. Quantifying gaze behavior during real-world interactions using automated object, face, and fixation detection
US20210116998A1 (en) Information processing apparatus, information processing method, and program
US9465981B2 (en) System and method for communication
KR20190048144A (ko) 발표 및 면접 훈련을 위한 증강현실 시스템
JP2010063621A (ja) 視認情景に対する視認者感性反応装置
WO2023037348A1 (en) System and method for monitoring human-device interactions
Shibli et al. Developing a vision-based driving assistance system
KR102038413B1 (ko) 그레이디언트 벡터 필드와 칼만 필터를 이용한 온라인 강의 모니터링 방법