以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第1軸と平行な方向をX軸方向とし、第1軸と直交する所定面の第2軸と平行な方向をY軸方向とし、第1軸及び第2軸のそれぞれと直交する第3軸と平行な方向をZ軸方向とする。所定面はXY平面を含む。
<第1実施形態>
第1実施形態について説明する。
図1は、本実施形態に係る視線検出装置100の一例を模式的に示す斜視図である。本実施形態において、視線検出装置100は、被験者の関心対象を評価する評価装置として用いられる。
図1に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103とを備える。
表示装置101は、液晶ディスプレイ(liquid crystal display:LCD)又は有機ELディスプレイ(organic electroluminescence display:OLED)のようなフラットパネルディスプレイを含む。表示装置101は、表示部として機能する。
本実施形態において、表示装置101の表示画面101Sは、XY平面と実質的に平行である。X軸方向は表示画面101Sの左右方向であり、Y軸方向は表示画面101Sの上下方向であり、Z軸方向は表示画面101Sと直交する奥行方向である。
ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bを有する。ステレオカメラ装置102は、表示装置101の表示画面101Sよりも下方に配置される。第1カメラ102Aと第2カメラ102BとはX軸方向に配置される。第1カメラ102Aは、第2カメラ102Bよりも-X方向に配置される。第1カメラ102A及び第2カメラ102Bはそれぞれ、赤外線カメラを含み、例えば波長850[nm]の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。
照明装置103は、第1光源103A及び第2光源103Bを有する。照明装置103は、表示装置101の表示画面101Sよりも下方に配置される。第1光源103Aと第2光源103BとはX軸方向に配置される。第1光源103Aは、第1カメラ102Aよりも-X方向に配置される。第2光源103Bは、第2カメラ102Bよりも+X方向に配置される。第1光源103A及び第2光源103Bはそれぞれ、LED(light emitting diode)光源を含み、例えば波長850[nm]の近赤外光を射出可能である。なお、第1光源103A及び第2光源103Bは、第1カメラ102Aと第2カメラ102Bとの間に配置されてもよい。
図2は、本実施形態に係る表示装置101とステレオカメラ装置102と照明装置103と被験者の眼球111との位置関係を模式的に示す図である。
照明装置103は、検出光である近赤外光を射出して、被験者の眼球111を照明する。ステレオカメラ装置102は、第1光源103Aから射出された検出光が眼球111に照射されたときに第2カメラ102Bで眼球111を撮影し、第2光源103Bから射出された検出光が眼球111に照射されたときに第1カメラ102Aで眼球111を撮影する。
第1カメラ102A及び第2カメラ102Bの少なくとも一方からフレーム同期信号が出力される。第1光源103A及び第2光源103Bは、フレーム同期信号に基づいて検出光を射出する。第1カメラ102Aは、第2光源103Bから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。第2カメラ102Bは、第1光源103Aから射出された検出光が眼球111に照射されたときに、眼球111の画像データを取得する。
眼球111に検出光が照射されると、その検出光の一部は瞳孔112で反射し、その瞳孔112からの光がステレオカメラ装置102に入射する。また、眼球111に検出光が照射されると、角膜の虚像である角膜反射像113が眼球111に形成され、その角膜反射像113からの光がステレオカメラ装置102に入射する。
第1カメラ102A及び第2カメラ102Bと第1光源103A及び第2光源103Bとの相対位置が適切に設定されることにより、瞳孔112からステレオカメラ装置102に入射する光の強度は低くなり、角膜反射像113からステレオカメラ装置102に入射する光の強度は高くなる。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。ステレオカメラ装置102は、取得される画像の輝度に基づいて、瞳孔112の位置及び角膜反射像113の位置を検出することができる。
図3は、本実施形態に係る視線検出装置100のハードウェア構成の一例を示す図である。図3に示すように、視線検出装置100は、表示装置101と、ステレオカメラ装置102と、照明装置103と、コンピュータシステム20と、入出力インターフェース装置30と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とを備える。コンピュータシステム20は、演算処理装置20A及び記憶装置20Bを含む。
コンピュータシステム20と、駆動回路40と、出力装置50と、入力装置60と、音声出力装置70とは、入出力インターフェース装置30を介してデータ通信する。
演算処理装置20Aは、CPU(central processing unit)のようなマイクロプロセッサを含む。記憶装置20Bは、ROM(read only memory)及びRAM(random access memory)のようなメモリ又はストレージを含む。演算処理装置20Aは、記憶装置20Bに記憶されているコンピュータプログラム20Cに従って演算処理を実施する。
駆動回路40は、駆動信号を生成して、表示装置101、ステレオカメラ装置102、及び照明装置103に出力する。また、駆動回路40は、ステレオカメラ装置102で取得された眼球111の画像データを、入出力インターフェース装置30を介してコンピュータシステム20に供給する。
出力装置50は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置50は、印刷装置を含んでもよい。入力装置60は、操作されることにより入力データを生成する。入力装置60は、コンピュータシステム用のキーボード又はマウスを含む。お、入力装置60が表示装置である出力装置50の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置70は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。
本実施形態においては、表示装置101とコンピュータシステム20とは別々の装置である。なお、表示装置101とコンピュータシステム20とが一体でもよい。例えば視線検出装置100がタブレット型パーソナルコンピュータを含む場合、そのタブレット型コンピュータに、コンピュータシステム20、入出力インターフェース装置30、駆動回路40、及び表示装置101が搭載されてもよい。
図4は、本実施形態に係る視線検出装置100の一例を示す機能ブロック図である。図4に示すように、入出力インターフェース装置30は、入出力部302を有する。駆動回路40は、表示装置101を駆動するための駆動信号を生成して表示装置101に出力する表示装置駆動部402と、第1カメラ102Aを駆動するための駆動信号を生成して第1カメラ102Aに出力する第1カメラ入出力部404Aと、第2カメラ102Bを駆動するための駆動信号を生成して第2カメラ102Bに出力する第2カメラ入出力部404Bと、第1光源103A及び第2光源103Bを駆動するための駆動信号を生成して第1光源103A及び第2光源103Bに出力する光源駆動部406とを有する。また、第1カメラ入出力部404Aは、第1カメラ102Aで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。第2カメラ入出力部404Bは、第2カメラ102Bで取得された眼球111の画像データを、入出力部302を介してコンピュータシステム20に供給する。
コンピュータシステム20は、視線検出装置100を制御する。コンピュータシステム20は、表示制御部202と、光源制御部204と、画像データ取得部206と、入力データ取得部208と、位置検出部210と、曲率中心算出部212と、注視点検出部214と、領域設定部216と、判定部218と、演算部220と、記憶部222と、評価部224と、出力制御部226とを有する。コンピュータシステム20の機能は、演算処理装置20A及び記憶装置20Bによって発揮される。
表示制御部202は、被験者に見せるための複数の対象映像を表示装置101に表示させる。また、表示制御部202は、表示装置101の基準位置に注視点を位置させるためのアイキャッチ映像を表示装置101に表示させる。
光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bの作動状態を制御する。光源制御部204は、第1光源103Aと第2光源103Bとが異なるタイミングで検出光を射出するように第1光源103A及び第2光源103Bを制御する。
画像データ取得部206は、第1カメラ102A及び第2カメラ102Bを含むステレオカメラ装置102によって取得された被験者の眼球111の画像データを、入出力部302を介してステレオカメラ装置102から取得する。
入力データ取得部208は、入力装置60が操作されることにより生成された入力データを、入出力部302を介して入力装置60から取得する。
位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部210は、画像データ取得部206で取得された眼球111の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔112の中心である。角膜反射中心は、角膜反射像113の中心である。位置検出部210は、被験者の左右それぞれの眼球111について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。
曲率中心算出部212は、画像データ取得部206で取得された眼球111の画像データに基づいて、眼球111の角膜曲率中心の位置データを算出する。
注視点検出部214は、画像データ取得部206で取得された眼球111の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置101の表示画面101Sとの交点の位置データをいう。注視点検出部214は、眼球111の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球111の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部214は、視線ベクトルと表示画面101Sとの交点を示す注視点の位置データを検出する。
領域設定部216は、表示装置101の表示画面101Sにおいて複数の対象映像のそれぞれに対応した特定領域を設定する。
判定部218は、注視点の位置データに基づいて、注視点が特定領域に存在するか否かをそれぞれ判定し、判定データを出力する。判定部218は、例えば一定時間毎に注視点が特定領域に存在するか否かをそれぞれ判定する。一定時間としては、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期(例えば50[msec]毎)とすることができる。
演算部220は、判定部218の判定データに基づいて、複数の特定領域のうち注視点が最初に検出された特定領域を示す領域データを求める。また、演算部220は、判定部218の判定データに基づいて、表示装置101に複数の対象映像が表示されてから所定時間内について注視点が特定領域に存在した存在時間を示す時間データを算出する。なお、視線検出装置100は、表示装置101に対象映像M1、M2が表示されてからの経過時間を測定するタイマを有する。また、演算部220は、各特定領域について注視点が存在すると判定された判定回数をカウントする。演算部220は、各特定領域について判定回数をカウントするカウンタを有する。
評価部224は、少なくとも領域データに基づいて、被験者の評価データを求める。評価データは、表示装置101に表示された複数の対象映像のうち、被験者が心理的に最も関心を有する対象映像を示すデータである。なお、評価部224は、領域データと時間データとに基づいて評価データを求めることも可能である。この場合、例えば時間データよりも領域データに重みをつけて評価データを求めてもよい。
記憶部222は、被験者を評価するためのデータを記憶する。本実施形態において、記憶部222は、例えば上記の領域データ、時間データ及び評価データを記憶する。また、記憶部222は、被験者の眼球の画像データを取得する処理と、画像データに基づいて、被験者の注視点の位置データを検出する処理と、複数の対象映像を表示部に表示させる処理と、表示部の表示画面において複数の対象映像のそれぞれに対応した特定領域を設定する処理と、注視点の位置データに基づいて、注視点が特定領域に存在するか否かをそれぞれ判定し、判定データを出力する処理と、判定データに基づいて、複数の特定領域のうち注視点が最初に検出された特定領域を示す領域データを求める処理と、少なくとも領域データに基づいて、被験者の評価データを求める処理と、評価データを出力する処理とをコンピュータシステム20に実行させる評価プログラムが記憶される。
出力制御部226は、表示装置101、出力装置50、及び音声出力装置70の少なくとも一つにデータを出力する。本実施形態において、出力制御部226は、演算部220で算出された領域データ及び時間データを表示装置101又は出力装置50に表示させる。また、出力制御部226は、被験者の左右それぞれの眼球111の注視点の位置データを表示装置101又は出力装置50に表示させる。また、出力制御部226は、評価部224から出力された評価データを表示装置101又は出力装置50に表示させる。
次に、本実施形態に係る曲率中心算出部212の処理の概要について説明する。曲率中心算出部212は、眼球111の画像データに基づいて、眼球111の角膜曲率中心の位データを算出する。
図5及び図6は、本実施形態に係る角膜曲率中心110の位置データの算出方法を説明するための模式図である。図5は、1つの光源103Cで眼球111が照明される例を示す。図6は、第1光源103A及び第2光源103Bで眼球111が照明される例を示す
まず、図5に示す例について説明する。光源103Cは、第1カメラ102Aと第2カ
メラ102Bとの間に配置される。瞳孔中心112Cは、瞳孔112の中心である。角膜反射中心113Cは、角膜反射像113の中心である。図5において、瞳孔中心112Cは、眼球111が1つの光源103Cで照明されたときの瞳孔中心を示す。角膜反射中心113Cは、眼球111が1つの光源103Cで照明されたときの角膜反射中心を示す。
角膜反射中心113Cは、光源103Cと角膜曲率中心110とを結ぶ直線上に存在する。角膜反射中心113Cは、角膜表面と角膜曲率中心110との中間点に位置付けられる。角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。
角膜反射中心113Cの位置データは、ステレオカメラ装置102によって検出される。角膜曲率中心110は、光源103Cと角膜反射中心113Cとを結ぶ直線上に存在する。曲率中心算出部212は、その直線上において角膜反射中心113Cからの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
次に、図6に示す例について説明する。本実施形態においては、第1カメラ102A及び第2光源103Bと、第2カメラ102B及び第1光源103Aとは、第1カメラ102Aと第2カメラ102Bとの中間位置を通る直線に対して左右対称の位置に配置される。第1カメラ102Aと第2カメラ102Bとの中間位置に仮想光源103Vが存在するとみなすことができる。
角膜反射中心121は、第2カメラ102Bで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心122は、第1カメラ102Aで眼球111を撮影した画像における角膜反射中心を示す。角膜反射中心124は、仮想光源103Vに対応する角膜反射中心を示す。
角膜反射中心124の位置データは、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて算出される。ステレオカメラ装置102は、ステレオカメラ装置102に規定される三次元ローカル座標系において角膜反射中心121の位置データ及び角膜反射中心122の位置データを検出する。ステレオカメラ装置102について、事前にステレオ較正法によるカメラ較正が実施され、ステレオカメラ装置102の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、記憶部222に記憶されている。
曲率中心算出部212は、ステレオカメラ装置102で取得された角膜反射中心121の位置データ及び角膜反射中心122の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部212は、三次元グローバル座標系で規定される角膜反射中心121の位置データ及び角膜反射中心122の位置データに基づいて、三次元グローバル座標系における角膜反射中心124の位置データを算出する。
角膜曲率中心110は、仮想光源103Vと角膜反射中心124とを結ぶ直線123上に存在する。曲率中心算出部212は、直線123上において角膜反射中心124からの距離が所定値となる位置データを、角膜曲率中心110の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、記憶部222に記憶されている。
このように、光源が2つある場合でも、光源が1つである場合の方法と同様の方法で、角膜曲率中心110が算出される。
角膜曲率半径109は、角膜表面と角膜曲率中心110との距離である。したがって、角膜表面の位置データ及び角膜曲率中心110の位置データが算出されることにより、角膜曲率半径109が算出される。
[視線検出方法]
次に、本実施形態に係る視線検出方法の一例について説明する。図7は、本実施形態に係る視線検出方法の一例を示すフローチャートである。本実施形態においては、角膜曲率中心110の位置データの算出処理及び瞳孔中心112Cと角膜曲率中心110との距離データの算出処理を含むキャリブレーション処理(ステップS100)と、注視点検出処理(ステップS200)が実施される。
(キャリブレーション処理)
キャリブレーション処理(ステップS100)について説明する。図8は、本実施形態に係るキャリブレーション処理の一例を説明するための模式図である。キャリブレーション処理は、角膜曲率中心110の位置データを算出すること、及び瞳孔中心112Cと角膜曲率中心110との距離126を算出することを含む。
被験者に注視させるための目標位置130が設定される。目標位置130は、三次元グローバル座標系において規定される。本実施形態において、目標位置130は、例えば表示装置101の表示画面101Sの中央位置に設定される。なお、目標位置130は、表示画面101Sの端部位置に設定されてもよい。
表示制御部202は、設定された目標位置130に目標画像を表示させる。これにより、被験者は、目標位置130を注視し易くなる。
直線131は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。直線132は、目標位置130と瞳孔中心112Cとを結ぶ直線である。角膜曲率中心110は、直線131と直線132との交点である。曲率中心算出部212は、仮想光源103Vの位置データと、目標位置130の位置データと、瞳孔中心112Cの位置データと、角膜反射中心113Cの位置データとに基づいて、角膜曲率中心110の位置データを算出することができる。
図9は、本実施形態に係るキャリブレーション処理(ステップS100)の一例を示すフローチャートである。出力制御部226は、表示装置101の表示画面101Sに目標画像を表示させる(ステップS101)。被験者は、目標画像を注視することにより、目標位置130を注視することができる。
次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち一方の光源から検出光を射出させる(ステップS102)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS103)。
次に、光源制御部204は、光源駆動部406を制御して、第1光源103A及び第2光源103Bのうち他方の光源から検出光を射出させる(ステップS104)。ステレオカメラ装置102は、第1カメラ102A及び第2カメラ102Bのうち検出光を射出した光源からの距離が長い方のカメラで被験者の眼を撮影する(ステップS105)。
瞳孔112は、暗い部分としてステレオカメラ装置102に検出され、角膜反射像113は、明るい部分としてステレオカメラ装置102に検出される。すなわち、ステレオカメラ装置102で取得される瞳孔112の画像は低輝度となり、角膜反射像113の画像は高輝度となる。位置検出部210は、取得される画像の輝度に基づいて、瞳孔112の位置データ及び角膜反射像113の位置データを検出することができる。また、位置検出部210は、瞳孔112の画像データに基づいて、瞳孔中心112Cの位置データを算出する。また、位置検出部210は、角膜反射像113の画像データに基づいて、角膜反射中心113Cの位置データを算出する(ステップS106)。
ステレオカメラ装置102によって検出された位置データは、3次元のローカル座標系で規定される位置データである。位置検出部210は、記憶部222に記憶されている変換パラメータを使用して、ステレオカメラ装置102で検出された瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを座標変換して、三次元グローバル座標系で規定される瞳孔中心112Cの位置データ及び角膜反射中心113Cの位置データを算出する(ステップS107)。
曲率中心算出部212は、グローバル座標系で規定される角膜反射中心113Cと仮想光源103Vとを結ぶ直線131を算出する(ステップS108)。
次に、曲率中心算出部212は、表示装置101の表示画面101Sに規定される目標位置130と瞳孔中心112Cとを結ぶ直線132を算出する(ステップS109)。曲率中心算出部212は、ステップS108で算出した直線131とステップS109で算出した直線132との交点を求め、この交点を角膜曲率中心110とする(ステップS110)。
曲率中心算出部212は、瞳孔中心112Cと角膜曲率中心110との距離126を算出して、記憶部222に記憶する(ステップS111)。記憶された距離は、ステップS200の注視点検出において、角膜曲率中心110を算出するために使用される。
(注視点検出処理)
次に、注視点検出処理(ステップS200)について説明する。注視点検出処理は、キャリブレーション処理の後に実施される。注視点検出部214は、眼111の画像データに基づいて、被験者の視線ベクトル及び注視点の位置データを算出する。
図10は、本実施形態に係る注視点検出処理の一例を説明するための模式図である。注視点検出処理は、キャリブレーション処理(ステップS100)で求めた瞳孔中心112Cと角膜曲率中心110との距離126を用いて、角膜曲率中心110の位置を補正すること、及び補正された角膜曲率中心110の位置データを使って注視点を算出することを含む。
図10において、注視点165は、一般的な曲率半径値を用いて算出された角膜曲率中心から求めた注視点を示す。注視点166は、キャリブレーション処理で求められた距離126を用いて算出された角膜曲率中心から求めた注視点を示す。
瞳孔中心112Cは、キャリブレーション処理において算出された瞳孔中心を示し、角膜反射中心113Cは、キャリブレーション処理において算出された角膜反射中心を示す。
直線173は、仮想光源103Vと角膜反射中心113Cとを結ぶ直線である。角膜曲率中心110は、一般的な曲率半径値から算出した角膜曲率中心の位置である。
距離126は、キャリブレーション処理により算出した瞳孔中心112Cと角膜曲率中心110との距離である。
角膜曲率中心110Hは、距離126を用いて角膜曲率中心110を補正した補正後の角膜曲率中心の位置を示す。
角膜曲率中心110Hは、角膜曲率中心110が直線173上に存在すること、及び瞳孔中心112Cと角膜曲率中心110との距離が距離126であることから求められる。これにより、一般的な曲率半径値を用いる場合に算出される視線177は、視線178に補正される。また、表示装置101の表示画面101S上の注視点は、注視点165から注視点166に補正される。
図11は、本実施形態に係る注視点検出処理(ステップS200)の一例を示すフローチャートである。なお、図11に示すステップS201からステップS207までの処理は、図9に示したステップS102からステップS108までの処理と同様であるため説明を省略する。
曲率中心算出部212は、ステップS207で算出した直線173上であって、瞳孔中心112Cからの距離がキャリブレーション処理によって求めた距離126と等しい位置を角膜曲率中心110Hとして算出する(ステップS208)。
注視点検出部214は、瞳孔中心112Cと角膜曲率中心110Hとを結ぶ視線ベクトルを算出する(ステップS209)。視線ベクトルは、被験者が見ている視線方向を示す。注視点検出部214は、視線ベクトルと表示装置101の表示画面101Sとの交点の位置データを算出する(ステップS210)。視線ベクトルと表示装置101の表示画面101Sとの交点の位置データが、三次元グローバル座標系で規定される表示画面101Sにおける被験者の注視点の位置データである。
注視点検出部214は、三次元グローバル座標系で規定される注視点の位置データを、2次元座標系で規定される表示装置101の表示画面101Sにおける位置データに変換する(ステップS211)。これにより、被験者が見つめる表示装置101の表示画面101S上の注視点の位置データが算出される。
次に、本実施形態に係る評価方法について説明する。本実施形態において、視線検出装置100は、例えば被験者の関心対象を評価する評価装置に使用される。以下の説明においては、視線検出装置100を適宜、評価装置100、と称する場合がある。
図12は、表示制御部202が表示装置101に表示させる対象映像の一例を示す図である。図12に示すように、表示制御部202は、表示装置101の表示画面101Sに、例えば2つの対象映像M1、M2を表示する。表示制御部202は、対象映像M1と対象映像M2とを、例えば表示画面101Sに互いに離れた状態で表示する。
対象映像M1は、例えば人物の顔についての映像である。図12では、対象映像M1として女性の顔の映像を例に挙げて示しているが、これに限定されるものではなく、男性の顔の映像であってもよい。また、対象映像M2は、幾何学模様についての映像である。図12では、対象映像M2として中心が同一で大きさが異なる複数の星形を重ねた模様の映像を例に挙げて示しているが、これに限定されるものではなく、他の幾何学模様の映像であってもよい。なお、図12では、対象映像M1、M2の周囲に枠が表示された状態が示されているが、これに限定するものではなく、当該枠については表示されなくてもよい。
また、領域設定部216は、表示画面101Sに特定領域A、Bを設定する。領域設定部216は、対象映像M1、M2に対応する領域にそれぞれ特定領域A、Bを設定する。図12に示す例において、領域設定部216は、特定領域A、Bを、例えばそれぞれ円形状で等しい寸法に設定し、対象映像M1及び対象映像M2の内側の部分に設定する。
なお、特定領域A、Bは、同一の形状及び寸法である必要はなく、形状及び寸法が互いに異なってもよい。また、特定領域A、Bは、形状が円形状に限定されるものではなく、他の形状であってもよい。例えば、特定領域A、Bは、それぞれ対象映像M1、M2の輪郭に沿った形状であってもよい。また、領域設定部216は、特定領域A、Bを、それぞれ対象映像M1及び特定領域Bの外側にはみ出した部分に設定してもよい。また、領域設定部216は、例えば人物の顔のうち目、鼻及び口を含む領域に特定領域Aを設定しているが、これに限定されない。
また、領域設定部216は、表示画面101Sに基準位置P0を設定する。領域設定部216は、例えば特定領域Aと特定領域Bとの中間の位置に基準位置P0を設定する。図13は、基準位置P0を設定する処理の一例を示す図である。図13では、3つの特定領域A0、B0、C0が設定される場合の例である。図13に示すように、特定領域の数が3つ以上の場合については、領域設定部216は、各特定領域A0、B0、C0の輪郭部分からほぼ等しい距離dにある位置を基準位置P0として設定する。なお、領域設定部216は、各特定領域A0、B0、C0の中心位置からほぼ等しい距離にある位置を基準位置P0として設定してもよい。
図14は、被験者の注視点の動きの一例を示す図であって、出力制御部226により表示装置101に表示される注視点の一例を示す図である。図14では、図12の対象映像M1及びM2を見た場合の注視点を示している。出力制御部226は、被験者の注視点の位置データを示すプロット点Pを表示装置101に表示させる。注視点の位置データの検出は、例えば第1カメラ102A及び第2カメラ102Bから出力されるフレーム同期信号の周期で(例えば50[msec]毎に)実施される。第1カメラ102A及び第2カメラ102Bは、同期して撮像する。したがって、表示画面101Sのうちプロット点Pが密集している領域ほど、被験者が注視していることを示す。また、プロット点Pの数が多い領域ほど、被験者がその領域を注視している時間が長いことを示す。
図14では、被験者の注視点が基準位置P0に位置する状態から、対象映像M1、M2が表示画面101Sに表示される場合を示している。この場合、注視点は、まず対象映像M1側(図14の左側)に移動し、特定領域Aに入っている。その後、注視点は、特定領域A内を移動した後、対象映像M2側(図14の右側)に移動し、対象映像M2の特定領域Bに入っている。この場合、注視点は、特定領域Aから領域外に移り、その後、特定領域Bに入る。図14の例では、例えば3歳を超える被験者が対象映像M1、M2を見た場合において、まず心理的に人物に興味を示して注視点を移し、その後、隣接する幾何学模様にも興味を示して注視点を移す、という動作を示している。
なお、表示制御部202は、対象映像M1、M2が表示画面101Sに表示される場合に被験者の注視点を基準位置P0から開始させるため、表示画面101Sにアイキャッチ映像を表示させた後、対象映像M1、M2を表示させる。
図15及び図16は、アイキャッチ映像の一例を示す図である。図15に示す例では、表示制御部202は、例えば漫画的に描いた動物の顔のアイキャッチ映像M3を基準位置P0に重ねて表示させる。そして、表示制御部202は、動物の目線を移動させるようにアイキャッチ映像M3を変化させて被験者の注意(注視点)を引き付ける。その後、表示制御部202は、アイキャッチ映像M3を基準位置P0に向けて縮小させる。
また、図16に示す例では、例えば対象映像M1、M2をアイキャッチ映像として用いる場合を示している。この場合、表示制御部202は、対象映像M1、M2を表示画面101Sに表示させた状態から、アイキャッチ映像M3を基準位置P0に向けて縮小させる。
このように、表示制御部202は、アイキャッチ映像を表示画面101Sに表示させた後、基準位置P0に向けて縮小させることにより、被験者の注視点を基準位置P0に引き付けることができる。なお、表示制御部202は、アイキャッチ映像を基準位置P0に向けて縮小させる場合を例に挙げて説明したが、これに限定されるものではなく、例えばアイキャッチ映像を基準位置P0に向けて移動させる等、他の態様で表示させてもよい。
被験者が発達障がい者ではない場合、幾何学模様よりも人物映像に興味を示す傾向にある。この場合、図14に示すように、注視点を示すプロット点Pが基準位置P0から人物映像に移動し、人物映像を幾何学模様よりも長い時間注視する傾向にある。一方、被験者が発達障がい者である場合、人物映像よりも幾何学模様に対して興味を示す傾向にある。この場合、注視点を示すプロット点Pが基準位置P0から幾何学模様に移動し、幾何学模様を人物映像よりも長い時間注視する傾向にある。このため、人物映像と幾何学模様を並べて表示させ、どちらを先に注視し、どちらを長く注視するかを検出することにより、被験者を評価することが可能である。
本実施形態に係る評価装置100において、演算部220は、注視点を示すプロット点Pが最初に検出された特定領域を示す領域データを求める。例えば、演算部220は、注視点が特定領域Aまたは特定領域Bに入ったか否かを示すフラグと、初見領域を示す変数である初見変数とを設定する。前記フラグは特定領域Aまたは特定領域Bに入ったことをを示す1、前記フラグは特定領域Aまたは特定領域Bに入っていないことを示す0のいずれかの値を有する。初見変数は「未定」、「領域A」、「領域B」のいずれかを示す値を有する。演算部220は、前記フラグの値及び初見変数の値に基づいて領域データを求めることができる。前記フラグの値は、例えば表示画面101Sに対象映像M1、M2が表示される時点で0に設定され、注視点が特定領域A及び特定領域Bのいずれにも入っていない状態では0のままとなる。また、前記フラグの値は、注視点が特定領域A又は特定領域Bに入った場合に1に変更される。初見変数の値は、例えば表示画面101Sに対象映像M1、M2が表示される時点で「未定」を示す値に設定され、注視点が特定領域A及び特定領域Bのいずれにも入っていない状態、つまり前記フラグの値が0の状態では初見変数が「未定」を示す値のままとなる。また、初見変数の値は、注視点が最初に入った特定領域が特定領域Aである場合には初見変数が「領域A」を示す値に変更され、注視点が最初に入った特定領域が特定領域Bである場合には初見変数が「領域B」を示す値に変更される。演算部220は、初見変数の値が「領域A」を示す場合、特定領域Aを領域データとして求める。また、演算部220は、初見変数の値が「領域B」を示す場合、特定領域Bを領域データとして求める。
また、演算部220は、表示装置101の表示画面101Sに対象映像M1、M2が表示されてから所定時間内について、注視点を示すプロット点Pが特定領域A、Bに存在した存在時間をそれぞれ示す時間データを算出する。本実施形態において、所定時間とは、例えば対象映像M1、M2の表示が終了するまでの第1時間と、被験者の心理的な好みを検出するための第2時間とを含む。なお、第2時間は、第1時間よりも短い。以下、時間データについては、所定時間が第1時間である場合の時間データを第1時間データとし、所定時間が第2時間である場合の時間データを第2時間データとする。演算部220は、タイマの測定結果を用いて第1時間及び第2時間の経過を検出することが可能である。
また、本実施形態において、判定部218において注視点が存在すると判定された回数が多い特定領域ほど、その特定領域に注視点が存在した存在時間が長いと推定することができる。したがって、本実施形態において、時間データは、例えば特定領域A、Bについて所定時間が経過するまでに判定部218で注視点が存在すると判定された回数とすることができる。つまり、時間データは、所定時間が経過するまでに特定領域A、Bのそれぞれにおいて検出されるプロット点Pの数とすることができる。演算部220は、判定部218に設けられるカウンタのカウント結果を用いて時間データを算出可能である。
本実施形態において、評価部224は、領域データ及び時間データに基づいて評価データを求める場合、例えば、以下のように行うことができる。ここで、特定領域Aについて、表示画面101Sに対象映像M1、M2が表示されてから第1時間が経過するまでのカウンタのカウント結果をカウンタ値CNTA1とし、第2時間が経過するまでのカウンタのカウント結果をカウンタ値CNTA2とする。また、特定領域Bについて、表示画面101Sに対象映像M1、M2が表示されてから第1時間が経過するまでのカウンタのカウント結果をカウンタ値CNTB1とし、第2時間が経過するまでのカウンタのカウント結果をカウンタ値CNTB2とする。この場合、評価データを求めるための評価値ANSは、例えば以下の式(1)により表される。
ANS=KS+(CNTA1-CNTB1)×K1
+(CNTA2-CNTB2)×K2 ・・・(1)
ただし、上記式(1)において、定数KSの値は、領域データが特定領域Aである場合、つまり、被験者が最初に特定領域Aを見た場合にはKS=KSAとし、領域データが特定領域Bである場合、つまり、被験者が最初に特定領域Bを見た場合にはKS=KSBとする。また、定数KSA、KSBについては、具体的には、KSAが正の値、KSBが負の値であり、絶対値が互いに等しい(|KSA|=|KSB|)値として設定することができる。
また、係数KS(KSA、KSB)、K1、K2については、被験者の心理的な関心に対応して設定される。また、係数K1と係数K2との関係については、第1時間をt1とし、第2時間をt2とすると、以下の式(2)のように設定することができる。
K2>K1×(t1/t2) ・・・(2)
式(2)の関係を用いた場合、第1時間データよりも第2時間データに重みをつけた評価データANSを求めることができる。つまり、表示画面101Sに対象映像M1、M2が表示されてから第2時間t2が経過するまでに被験者が注視した特定領域のカウンタ値(CNTA2、CNTB2)の影響が大きくなる。
上記のように各値を設定した場合、領域データが特定領域Aである場合、係数KSの値が正の値であるKSAとなる。また、特定領域Aの第1時間データが特定領域Bの第1時間データよりも大きい場合、(CNTA1-CNTB1)の値が正の値となる。また、特定領域Aの第2時間データが特定領域Bの第2時間データよりも大きい場合、(CNTA2-CNTB2)の値が正の値となる。
一方、領域データが特定領域Bである場合、係数KSの値が負の値であるKSBとなる。また、特定領域Bの第1時間データが特定領域Aの第1時間データよりも大きい場合、(CNTA1-CNTB1)の値が負の値となる。また、特定領域Bの第2時間データが特定領域Aの第2時間データよりも大きい場合、(CNTA2-CNTB2)の値が負の値となる。
したがって、評価値ANSの値が大きいほど、被験者の関心度は対象映像M1の方が高く、対象映像M2の方が低いと評価することができる。この場合、被験者が発達障がい者である可能性は低いと評価することができる。また、評価値ANSの値が小さいほど、被験者の関心度は対象映像M2の方が高く、対象映像M1の方が低いと評価することができる。この場合、被験者が発達障がい者である可能性は高いと評価することができる。
図17は、図14に示す被験者の例において、表示画面101Sに対象映像M1、M2が表示されてから第2時間が経過するまでの注視点の動きを示すタイムチャートである。なお、図17において、タイムチャートの横軸は経過時間であり、第2時間が1秒として設定されている。図17に示すように、特定領域A、Bのうち、被験者が最初に見た特定領域は特定領域Aであり、第2時間が経過するまでに注視点が存在する時間が長い特定領域は特定領域Aである。この場合、評価値ANSとしては、定数KSの値がKSAとなり、(CNTA2-CNTB2)×K2の値が正の値となる。
本実施形態において、出力制御部226は、評価部224が評価データを出力した場合、評価データに応じて、例えば「被験者は発達障がい者である可能性が低いと思われます」の文字データや、「被験者は発達障がい者である可能性が高いと思われます」の文字データ等を出力装置50に出力させることができる。
次に、本実施形態に係る評価方法の一例について、図18を参照しながら説明する。図18は、本実施形態に係る評価方法の一例を示すフローチャートである。本実施形態においては、表示制御部202は、表示装置101の表示画面101Sにアイキャッチ映像M3を表示させた後、対象映像M1、M2の再生を開始し、表示画面101Sに対象映像M1、M2を表示させる(ステップS300)。
また、対象映像M1、M2の表示を開始させると同時に、演算部220は、タイマを0にリセットして計測を開始させる(ステップS301)。また、判定部218は、カウンタを0にリセットして計測を開始させる(ステップS302)。また、演算部220は、注視点が特定領域Aまたは特定領域Bに入ったか否かを示すフラグの値を0に設定する(ステップS303)。また、演算部220は、初見変数を「未定」を示す値に設定する(ステップS304)。ステップS301、S302、S303、S304は、それぞれ同時に行う。
注視点検出部214は、表示装置101に表示された対象映像M1、M2を被験者に見せた状態で、規定のサンプリング周期(例えば50[msec])毎に、表示装置101の表示画面101Sにおける被験者の注視点の位置データを検出する(ステップS305)。
位置データが検出された場合(ステップS306のYes)、判定部218は、特定領域A、Bのそれぞれについて、注視点を示すプロット点Pが存在するか否かを判定し、判定データを出力する(ステップS307)。演算部220は、判定部218から出力された判定データが特定領域Aについての判定データか、特定領域Bについての判定データかを判断する(ステップS308、S309)。
演算部220は、判定部218から出力された判定データが特定領域Aについての判定データであると判断した場合(ステップS308のYes)、以下に説明するステップS310からステップS315の処理を行う。また、演算部220は、判定部218から出力された判定データが特定領域Bについての判定データであると判断した場合(ステップS308のNo、ステップS309のYes)、以下に説明するステップS316からステップS321の処理を行う。
まず、演算部220は、判定部218から出力された判定データが特定領域Aについての判定データであると判断した場合(ステップS308のYes)、演算部220は、注視点が特定領域Aまたは特定領域Bに入ったか否かを示すフラグの値が既に1に変更されているか否かを判定する(ステップS310)。フラグ値が1に変更されていないと判定した場合(ステップS310のNo)、演算部220は、注視点が最初に検出された特定領域が特定領域Aであると判定し(ステップS311)、初見変数を「領域A」を示す値に変更する(ステップS312)。その後、演算部220は、タイマの計測結果に基づいて第2時間が経過したか否かを判定する(ステップS313)。演算部220は、第2時間が経過していないと判定した場合(ステップS313のNo)、カウンタ値CNTA2の値を+1とする(ステップS314)。つまり、ステップS314における演算部220の処理は、対象映像M1、M2が表示されてから第2時間が経過するまでに特定領域Aでプロット点Pが存在すると判定された回数を1回分増加させる処理である。その後、演算部220は、カウンタ値CNTA1の値を+1とする(ステップS315)。つまり、ステップS315における演算部220の処理は、対象映像M1、M2が表示されてから第1時間が経過するまでに特定領域Aでプロット点Pが存在すると判定された回数を1回分増加させる処理である。なお、ステップS313において、第2時間が経過したと判定した場合(ステップS313のYes)、演算部220は、ステップS314を行うことなく、ステップS315を行う。
次に、演算部220は、判定部218から出力された判定データが特定領域Bについての判定データであると判断した場合(ステップS309のYes)、ステップS310からステップS315と同様の処理を特定領域Bについて行う。つまり、演算部220は、注視点が特定領域Aまたは特定領域Bに入ったか否かを示すフラグ値が既に1に変更されているか否かを判定する(ステップS316)。フラグ値が1に変更されていないと判定した場合(ステップS316のNo)、演算部220は、注視点が最初に検出された特定領域が特定領域Bであると判定し(ステップS317)、初見変数を「領域B」を示す値に変更する(ステップS318)。その後、演算部220は、タイマの計測結果に基づいて第2時間が経過したか否かを判定する(ステップS319)。演算部220は、第2時間が経過していないと判定した場合(ステップS319のNo)、カウンタ値CNTB2の値を+1とする(ステップS320)。つまり、ステップS320における演算部220の処理は、対象映像M1、M2が表示されてから第2時間が経過するまでに特定領域Bでプロット点Pが存在すると判定された回数を1回分増加させる処理である。その後、演算部220は、カウンタ値CNTB1の値を+1とする(ステップS321)。つまり、ステップS321における演算部220の処理は、対象映像M1、M2が表示されてから第1時間が経過するまでに特定領域Bでプロット点Pが存在すると判定された回数を1回分増加させる処理である。なお、ステップS319において、第2時間が経過したと判定した場合(ステップS319のYes)、演算部220は、ステップS320を行うことなく、ステップS321を行う。
その後、演算部220は、タイマの計測結果に基づいて第1時間が経過したか否かを判定する(ステップS322)。演算部220は、第1時間が経過していないと判定した場合(ステップS322のNo)、上記のステップS305以降の処理を繰り返し行わせる。演算部220が第1時間が経過したと判定した場合(ステップS322のYes)、表示制御部202は、対象映像M1、M2の再生を停止させて、表示を終了させる(ステップS323)。
表示を終了させた後、評価部224は、上記の処理結果から得られる領域データ及び時間データに基づいて、評価値ANSを算出し(ステップS324)、評価値ANSに基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS325)。
以上のように、本実施形態に係る評価装置100は、被験者の眼球の画像データを取得する画像データ取得部206と、画像データに基づいて、被験者の注視点の位置データを検出する注視点検出部214と、対象映像M1、M2を表示装置101に表示させる表示制御部202と、表示装置101の表示画面101Sにおいて対象映像M1、M2のそれぞれに対応した特定領域A、Bを設定する領域設定部216と、注視点の位置データに基づいて、注視点が特定領域A、Bに存在するか否かをそれぞれ判定し、判定データを出力する判定部218と、判定データに基づいて、特定領域A、Bのうち注視点が最初に検出された特定領域を示す領域データを求める演算部220と、少なくとも領域データに基づいて、被験者の評価データを求める評価部224と、評価データを出力する出力制御部226とを備える。
この構成により、表示画面101Sに対象映像M1、M2が表示された後、特定領域A、Bのうち被験者の注視点が最初に検出された特定領域を示す領域データが求められ、領域データに基づいて被験者の評価データを求められる。このため、評価装置100は、被験者の瞬間的な視線の動きにより、深層心理による本質的な関心対象を評価することができる。これにより、評価装置100は、被験者の評価を高精度に行うことが可能となる。
また、本実施形態に係る評価装置100において、演算部220は、判定データに基づいて、表示装置101に対象映像M1、M2が表示されてから所定時間が経過するまでに注視点が特定領域A、Bに存在した存在時間を示す時間データを算出し、評価部224は、領域データと時間データとに基づいて評価データを求める。これにより、評価データを求める際に用いるデータの種類が多くなるため、被験者の関心対象をより高精度に評価することができる。
また、本実施形態に係る評価装置100において、所定時間は、表示装置101に対象映像M1、M2が表示されてから対象映像M1、M2の表示が終了するまでの第1時間と、第1時間よりも短い第2時間とを含み、演算部220は、判定データに基づいて、表示装置101に対象映像M1、M2が表示されてから第1時間が経過するまでの注視点の存在時間を示す第1時間データと、表示装置101に対象映像M1、M2が表示されてから第2時間が経過するまでの注視点の存在時間を示す第2時間データと、を算出し、評価部224は、領域データと、第1時間データと、第2時間データとに基づいて評価データを求める。これにより、評価データを求める際に用いるデータの種類が多くかつ詳細になるため、被験者の関心対象をより詳細かつ高精度に評価することができる。
また、本実施形態に係る評価装置100において、評価部224は、第1時間データよりも第2時間データに重みをつけて評価データを求める。これにより、表示装置101に対象映像M1、M2が表示されてからの時間が短い場合の時間データの影響を大きくすることができるため、被験者の関心対象をより高精度に評価することができる。
また、本実施形態に係る評価装置100において、表示制御部202は、表示画面101Sの基準位置P0に注視点を位置させるためのアイキャッチ映像M3を表示させた後、対象映像M1、M2を基準位置P0に対して互いに離れた位置に表示させる。これにより、被験者の注視点をより高確率で基準位置P0に位置させることができるため、被験者の関心対象をより詳細かつ高精度に評価することができる。
なお、本実施形態において、評価装置100は、演算部220において初見変数の値が「領域A」を示すか「領域B」を示すかを判定することにより、被験者の深層心理による本質的な関心対象が対象映像M1であるか対象映像M2であるかを簡易的に評価してもよい。この場合、演算部220は、初見変数の値が「領域A」を示す場合、被験者の深層心理による本質的な関心対象が対象映像M1であると判定できる。また、演算部220は、初見変数の値が「領域B」を示す場合、被験者の深層心理による本質的な関心対象が対象映像M2であると判定できる。
<第2実施形態>
第2実施形態について説明する。以下の説明において上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。図19は、本実施形態に係る表示制御部202が表示装置101に表示させる対象映像の一例を示す図である。
図19に示すように、領域設定部216は、表示画面101Sに特定領域Aのみを設定する。領域設定部216は、対象映像M1に対応する領域に特定領域Aを設定する。図19に示す例において、領域設定部216は、第1実施形態と同様に、特定領域Aを、例えばそれぞれ円形状に設定し、対象映像M1の内側の部分に設定する。
本実施形態において、評価部224は、特定領域Aが1つだけであるため、時間データに基づいて評価データを求める。この場合、例えば、以下のように行うことができる。ここで、特定領域Aについて、表示画面101Sに対象映像M1、M2が表示されてから第1時間が経過するまでのカウンタのカウント結果をカウンタ値CNTA1とし、第2時間が経過するまでのカウンタのカウント結果をカウンタ値CNTA2とする。この場合、評価データを求めるための評価値ANSは、例えば以下の式(3)により表される。
ANS=CNTA1×K1
+CNTA2×K2 ・・・(3)
ただし、上記式(3)において、K1、K2については、被験者の心理的な関心に対応して設定される。また、係数K1と係数K2との関係については、第1時間をt1とし、第2時間をt2とすると、以下の式(4)のように設定することができる。
K2>K1×(t1/t2) ・・・(4)
式(4)の関係を用いた場合、第1時間データよりも第2時間データに重みをつけた評価データANSを求めることができる。つまり、表示画面101Sに対象映像M1、M2が表示されてから第2時間t2が経過するまでに被験者が注視した特定領域のカウンタ値CNTA2の影響が大きくなる。
次に、本実施形態に係る評価方法の一例について、図20を参照しながら説明する。図20は、本実施形態に係る評価方法の一例を示すフローチャートである。本実施形態に係る評価方法において、表示制御部202は、表示装置101の表示画面101Sにアイキャッチ映像M3を表示させた後、対象映像M1、M2の再生を開始し、表示画面101Sに対象映像M1、M2を表示させる(ステップS400)。以下、ステップS401からステップS407までの各処理は、第1実施形態のステップS301からステップS307までの各処理と同様である。
次に、演算部220は、ステップS407において判定部218から判定データが出力された場合、特定領域Aについての判定データであると判断し(ステップS408)、以降は第1実施形態におけるステップS310からステップS315と同様の処理である、ステップS410からステップS415の処理を行う。
その後、演算部220は、タイマの計測結果に基づいて第1時間が経過したか否かを判定する(ステップS422)。演算部220は、第1時間が経過していないと判定した場合(ステップS422のNo)、上記のステップS405以降の処理を繰り返し行わせる。演算部220が第1時間が経過したと判定した場合(ステップS422のYes)、表示制御部202は、対象映像M1、M2の再生を停止させて、表示を終了させる(ステップS423)。
表示を終了させた後、評価部224は、上記の処理結果から得られる領域データ及び時間データに基づいて、評価値ANSを算出し(ステップS424)、評価値ANSに基づいて評価データを求める。その後、出力制御部226は、評価部224で求められた評価データを出力する(ステップS425)。
以上のように、本実施形態によれば、表示制御部202は、表示画面101Sの基準位置P0に注視点を位置させるためのアイキャッチ映像M3を表示させた後、対象映像M1、M2を基準位置P0に対して互いに離れた位置に表示させると共に、演算部220は、判定データに基づいて、表示装置101に対象映像M1、M2が表示されてから所定時間が経過するまでに注視点が特定領域Aに存在した存在時間を示す時間データを算出し、評価部224は、時間データに基づいて評価データを求める。これにより、被験者の注視点をより高確率で基準位置P0に位置させた状態で検出を開始することができ、その後、時間データに基づいて評価データを求めるため、被験者の関心対象をより高精度に評価することができる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態において、第2時間が、被験者の心理的な好みを検出するための時間である場合を例に挙げて説明したが、これに限定するものではない。例えば、第2時間は、判定部218により判定されたプロット点Pの個数の合計が所定の個数に到達するまでの時間として設定することができる。この場合、対象映像M1、M2が表示されてから所定の個数に到達するまでのプロット点Pについては、他のプロット点Pに比べて重み付けされることになる。また、上記実施形態では、所定時間として、第1時間及び第2時間の2種類を設定したが、これに限定されるものではなく、所定時間を3種類以上の時間に区切って設定してもよい。