JP2015219892A - 視線分析システムおよび視線分析装置 - Google Patents

Abstract

【課題】 対象物を閲覧者の視野と対比してどのように見えるかを確認するのに適したヒートマップを作成することが可能な視線分析システムおよび視線分析装置を提供する。
【解決手段】 対象物を撮像するカメラを備えた視線追跡装置から、シーン画像と注視点を取得し（Ｓ１１）、シーン画像から複数のシーン画像特徴点を抽出し（Ｓ１２）、基準画像における基準画像特徴点を複数取得し（Ｓ１３）、シーン画像特徴点と基準画像特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を作成し（Ｓ１４）、作成された座標変換行列を利用して、複数のシーン画像のそれぞれについて、シーン画像と対応付けられた注視点を座標変換し、基準画像上における対応点を算出し（Ｓ１５）、基準画像上の対応点を、座標変換行列を用いて逆変換し、各シーン画像上における対応注視点を算出する（Ｓ１６）。
【選択図】 図３

Description

本発明は、人物の視線を推定し、分析するための技術に関する。

従来、評価対象印刷物を見る人物の視線を推定・追跡して、掲載商品への視線を計測することで、注視度合いや関心度合いを解析し、生活者の購買動向を評価分析することが知られている。生活者に適切な購買情報を提供するためには、評価対象印刷物の掲載情報を、どのように見ているかを知ることが重要となる。

このような評価対象印刷物の掲載情報の注目度を分析評価するため、出願人は、簡単に、被験者に無用な視線の動きを生じさせずに高い精度で、被験者の視線を推定して追跡することができる技術を提案している（特許文献１参照）。この技術を利用して、印刷物等を正面から撮像した状態である基準画像に注視点を変換した後、基準画像上にヒートマップを作成することが可能となる。ヒートマップとは、クラスタリング等の結果による数値の大小を色の濃淡等で表現したグラフの一種である。ヒートマップにより、被験者が基準画像上のどの箇所を見ていたかを確認することができる。

特開２０１３−８１７６２号公報 特開２００７−３１９１８７号公報

ＤａｖｉｄＧ．Ｌｏｗｅ、"Ｄｉｓｔｉｎｃｔｉｖｅ ｉｍａｇｅ ｆｅａｔｕｒｅｓ ｆｒｏｍ ｓｃａｌｅｉｎｖａｒｉａｎｔ ｋｅｙｐｏｉｎｔｓ"、Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｖｏｌ．６０、Ｎｏ．２、ＰＰ．９１‐１１０、２００４． Ｈ．Ｂａｙ，Ｔ．Ｔｕｙｔｅｌａａｒｓ，ａｎｄＬ．ＶａｎＧｏｏｌ、"ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ．Ｆｅａｔｕｒｅｓ"、ＩｎＥＣＣＶ、ｐｐ．４０４‐４１７、２００６． 橋本浩一、"ビジュアルサーボ−II−コンピュータビジョンの基礎"、日本バーチャルリアリティ学会論文誌、Ｖｏｌ.４、Ｎｏ．４、１９９９． トビー・テクノロジー・ジャパン株式会社、Ｔｏｂｉｉグラスアイトラッカー、［online］［平成２３年９月８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｔｏｂｉｉ．ｃｏｍ／ｊａ−ＪＰ／ｅｙｅ−ｔｒａｃｋｉｎｇ−ｒｅｓｅａｒｃｈ／ｊａｐａｎ／ｐｒｏｄｕｃｔｓ／ｈａｒｄｗａｒｅ/ｔｏｂｉｉ−ｇｌａｓｓｅｓ−ｅｙｅ−ｔｒａｃｋｅｒ／＞ ＯｐｅｎＣＶ、ＳＩＦＴ／ＳＵＲＦ、［online］［平成２３年９月８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｊｐ／ｏｐｅｎｃｖ−２．２／ｃｐｐ／ｆｅａｔｕｒｅｓ２ｄ＿ｆｅａｔｕｒｅ＿ｄｅｔｅｃｔｉｏｎ＿ａｎｄ＿ｄｅｓｃｒｉｐｔｉｏｎ．ｈｔｍｌ＞ Ｖ． Ｌｅｐｅｔｉｔ ａｎｄ Ｐ． Ｆｕａ, "Ｋｅｙｐｏｉｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅｓ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ．２８， Ｎｏ．９， ｐｐ。１４６５−１４７９， ２００６. Ｍ．Ｏｚｕｙｓａｌ，Ｐ．Ｆｕａ， Ｖ．Ｌｅｐｅｔｉｔ，−Ｆａｓｔ Ｋｅｙｐｏｉｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｔｅｎ Ｌｉｎｅｓ ｏｆ Ｃｏｄｅ．，Ｐｒｏｃ． ｏｆ Ｉｎｔ．Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（２００７）

上記特許文献１に記載の技術を利用して作成されたヒートマップを利用することにより、基準画像上のどの箇所をどの程度見ていたかを確認することはできる。しかしながら、基準画像は、印刷物等の対象物を正面から撮像した状態であるため、閲覧者の視野と対比してどのように見えるかを確認し難いという問題がある。

そこで、本発明は、対象物を閲覧者の視野と対比してどのように見えるかを確認するのに適したヒートマップを作成することが可能な視線分析システムおよび視線分析装置を提供することを課題とする。

上記課題を解決するため、本発明では、対象物を撮像するカメラを備え、被験者の注視点を取得する視線追跡装置と、当該視線追跡装置とデータ通信可能な視線分析装置を有するシステムであって、前記視線分析装置は、前記カメラにより撮像されたシーン画像と、前記シーン画像上における注視点を取得するシーン画像取得手段と、前記シーン画像から複数のシーン画像特徴点を抽出するシーン画像特徴点抽出手段と、基準画像における基準画像特徴点を複数取得する基準画像特徴点取得手段と、前記シーン画像特徴点と基準画像特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各シーン画像ごとに作成する変換行列作成手段と、前記作成された座標変換行列を利用して、複数の前記シーン画像のそれぞれについて、前記シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出する対応点算出手段と、前記基準画像上の対応点を、前記シーン画像ごとに作成された座標変換行列を用いて前記各シーン画像上の座標に逆変換し、対応注視点を算出する対応注視点算出手段と、を有することを特徴とする視線分析システムを提供する。

本発明に係る視線分析システムによれば、対象物を撮像するカメラを備え、被験者の注視点を取得する視線追跡装置を用い、カメラにより撮像されたシーン画像と、シーン画像上における注視点を取得し、シーン画像から複数のシーン画像特徴点を抽出し、基準画像における基準画像特徴点を複数取得し、シーン画像特徴点と基準画像特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各シーン画像ごとに作成し、作成された座標変換行列を利用して、複数のシーン画像のそれぞれについて、シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出し、基準画像上の対応点を、シーン画像ごとに作成された座標変換行列を用いて各シーン画像上の座標に逆変換し、対応注視点を算出するようにしたので、印刷物等を閲覧者の視野と対比してどのように見えるかを確認するのに適したヒートマップを作成することが可能となる。

また、本発明では、対象物を撮像するカメラを備え、当該カメラにより撮像されたシーン画像とシーン画像上の被験者の注視点を取得する視線追跡装置と、データ通信可能に接続された視線分析装置であって、前記カメラにより撮像されたシーン画像と、前記シーン画像上における注視点を取得するシーン画像取得手段と、前記シーン画像から複数のシーン画像特徴点を抽出するシーン画像特徴点抽出手段と、基準画像における基準画像特徴点を複数取得する基準画像特徴点取得手段と、前記シーン画像特徴点と基準画像特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各シーン画像ごとに作成する変換行列作成手段と、前記作成された座標変換行列を利用して、複数の前記シーン画像のそれぞれについて、前記シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出する対応点算出手段と、前記基準画像上の対応点を、前記シーン画像ごとに作成された座標変換行列を用いて前記各シーン画像上の座標に逆変換し、対応注視点を算出する対応注視点算出手段と、を有することを特徴とする視線分析装置を提供する。

本発明に係る視線分析装置によれば、視線追跡装置のカメラにより撮像されたシーン画像と、シーン画像上における注視点を取得し、シーン画像から複数のシーン画像特徴点を抽出し、基準画像における基準画像特徴点を複数取得し、シーン画像特徴点と基準画像特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各シーン画像ごとに作成し、作成された座標変換行列を利用して、複数のシーン画像のそれぞれについて、シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出し、基準画像上の対応点を、シーン画像ごとに作成された座標変換行列を用いて各シーン画像上の座標に逆変換し、対応注視点を算出するようにしたので、対象物を撮像するカメラを備え、カメラにより撮像されたシーン画像とシーン画像上の被験者の注視点を取得する視線追跡装置と組み合わせることにより、印刷物等を閲覧者の視野と対比してどのように見えるかを確認するのに適したヒートマップを作成することが可能となる。

また、本発明では、視線分析装置の対応注視点算出手段が、時系列情報と対応付けられた各シーン画像に、全てのシーン画像に対応して取得された注視点に対応する対応注視点を記録することを特徴とする。本発明によれば、時系列情報と対応付けられた各シーン画像に、全てのシーン画像に対応して取得された注視点に対応する対応注視点が記録されているので、全てのシーン画像において、全ての対応注視点を表示することにより、最初の視野から最後の視野まで、全ての注視点を総合したヒートマップを得ることが可能となる。

また、本発明では、視線分析装置の対応注視点算出手段が、時系列情報と対応付けられた各シーン画像に、当該シーン画像以前のシーン画像の注視点に対応する対応注視点のみを記録することを特徴とする。本発明によれば、時系列情報と対応付けられた各シーン画像に、当該シーン画像以前のシーン画像の注視点に対応する対応注視点のみが記録されているので、対応するシーン画像の時点までにおける対応注視点のみを表示することにより、時系列に即したヒートマップを得ることが可能となる。

本発明によれば、対象物を閲覧者の視野と対比してどのように見えるかを確認するのに適したヒートマップを作成することが可能となるという効果を有する。

本発明の一実施形態に係る視線分析システムの概要を示す外観図である。 本発明の一実施形態に係る視線分析システムのハードウェア構成を示す図である。 本発明の一実施形態に係る視線分析システムの処理動作を示すフローチャートである。 視線追跡装置２００により取得されるシーン画像および注視点を示す図である。 シーン画像上の注視点および特徴点を示す図である。 基準特徴点とシーン特徴点の対応関係を示す図である。 シーン画像の注視点から基準画像の対応点への変換式を示す図である。 シーン画像の注視点から基準画像の対応点への座標変換の様子を示す図である。 基準画像と、注視点を変換して得られた対応点の関係（基準画像ヒートマップ）を示す図である。 基準画像上の対応点を逆変換して得られた対応注視点と各シーン画像の関係（シーン画像ヒートマップＴｙｐｅＡ）を示す図である。 基準画像上の対応点を逆変換して得られた対応注視点と各シーン画像の関係（シーン画像ヒートマップＴｙｐｅＢ）を示す図である。 本実施形態に係る視線分析システムにより作成されたシーン画像ヒートマップの一例を示す図である。

＜１．システム構成＞
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。図１は、本発明の一実施形態に係る視線分析システムの概要を示す外観図である。図１において、１００は視線分析装置、２００は視線追跡装置、３００は対象物である。図１においては、対象物としてチラシ印刷物を用いた例を示している。

視線追跡装置２００は、付属のカメラによりメガネ型の視線追跡装置２００を掛けた人物の視点に近い位置から対象物３００を撮像してシーン画像を取得する。撮像するタイミングと同期して、赤外線センサにより視点位置を取得し、シーン画像上における注視点を取得する。シーン画像と各シーン画像に対応する注視点は、送信その他の手段によりデータとして視線分析装置１００に渡される。視線分析装置１００は、対象物３００の基準画像を記憶しておき、視線追跡装置２００から取得した各シーン画像の特徴点と、基準画像の特徴点に基づいて、シーン画像と基準画像の座標変換行列を算出し、座標変換行列を用いて各シーン画像の注視点を基準画像上の対応点に変換した後、座標変換行列を用いて逆変換を行い、シーン画像上に対応点に対応する対応注視点を記録する。

図２（ａ）は、視線分析装置１００のハードウェア構成図である。視線分析装置１００は、汎用のコンピュータに専用のプログラムを組み込むことにより実現することができる。図２に示すように、視線分析装置１００は、ＣＰＵ（Central Processing Unit）１０ａと、メインメモリであるＲＡＭ（Random Access Memory）１０ｂと、ＣＰＵ１０ａが実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の記憶装置１０ｃと、キーボード、マウス等の指示入力部１０ｄと、視線追跡装置２００やデータ記憶媒体等の外部装置とデータ通信するためのデータ入出力Ｉ／Ｆ（インタフェース）１０ｅと、液晶ディスプレイ等の表示デバイスである表示部１０ｆを備え、互いにバスを介して接続されている。記憶装置１０ｃには、基準画像と、上記特許文献１、非特許文献１〜７に記載の手法により基準画像から抽出された特徴点である基準画像特徴点が記憶されている。

図２（ｂ）は、視線追跡装置２００のハードウェア構成図である。赤外線光源２０１は、赤外線２０７を被験者の眼球３０１（角膜（瞳孔）や強膜（白目））に照射する。赤外線センサ２０２は、眼球３０１から反射された赤外線２０８（反射光）を受光する。シーンカメラ２０３は、二次元撮像素子である。シーンカメラ２０３は、被験者の視野ほぼ同等の光景（注視点を中心としたチラシを含む画像）をシーン画像として撮像する。図２（ｂ）に示した視線追跡装置２００は、特許文献１に示した公知のものを用いることができる。

処理部２０４は、演算処理回路と、記憶回路と、コネクターと、二次電池とを備える。処理部２０４は、たとえば、眼球３０１の角膜と強膜の反射率の違いを利用した強膜反射法（リンバスト・トラッキング法。特許文献２による）に基づいて、受光した反射光２０８を用いて視線を計測して、視線の方向を推定する。そして、特許文献１に示したように推定した視線の方向と三次元空間における印刷物の位置を利用して二次元平面であるシーン画像上における注視点座標を求める。また、処理部２０４は、求められた注視点と撮像したシーン画像とを、通信接続した視線分析装置１００に送信する。なお、処理部２０４は、強膜反射法の代わりに、瞳孔−角膜反射法や、角膜反射法、ダブルプリキニエ法などを用いることも可能である。コネクターは、視線追跡装置２００と視線分析装置１００とに通信接続する。二次電池は、処理部自身の各回路と、赤外線光源２０１と赤外線センサ２０２とシーンカメラ２０３とに、電力を供給する。処理部２０４は、記憶回路に記憶されたプログラムに従って演算処理回路が上記各処理を実行する。

＜２．処理動作＞
次に、図３に示したフローチャートを用いて、図１、２に示した視線分析システムの処理動作を説明する。まず、シーン画像および注視点を取得する（ステップＳ１１）。具体的には、まず、作業者は、メガネ型の視線追跡装置２００を起動するとともに、視線追跡装置２００をメガネのように掛けて、対象物３００の閲覧を開始する。視線追跡装置２００が起動されると、シーンカメラ２０３が撮像を開始し、赤外線光源２０１が発光を開始し、赤外線センサ２０２も受光を開始する。シーンカメラ２０３、赤外線光源２０１、赤外線センサ２０２は互いに同期しており、所定時間間隔で撮像画像および注視点を取得する。所定間隔としては適宜設定できるが、例えば、１秒間隔で設定することができる。また、撮影枚数も任意に設定することができる。本実施形態では、１秒間隔でシーン画像を１０枚撮影したものとして説明する。視線追跡装置２００の処理部２０４は、取得されたシーン画像と注視点を順次、図示しないデータ通信部を介して視線分析装置１００に送信する。視線分析装置１００では、データ入出力Ｉ／Ｆ１０ｅを介してシーン画像と注視点を受信する。

図４は、シーン画像Ｃと注視点Ｅの関係を示す図である。上述のように、１０枚のシーン画像が撮像された場合、視線分析装置１００は１０枚のシーン画像Ｃ１〜Ｃ１０を受信する。そして、視線分析装置１００は、各シーン画像Ｃ１〜Ｃ１０について、それぞれ対応する注視点Ｅ１〜Ｅ１０を抽出する。図４において、矩形状の枠で示したシーン画像Ｃ１〜Ｃ１０内の“・（黒丸、ドット）”は、注視点Ｅ１〜Ｅ１０の位置を示している。なお、図４の例では、シーン画像Ｃ１〜Ｃ１０として矩形状の枠のみを示しているが、実際には、図５に示すように、対象物３００の少なくとも一部（好ましくは全部）が撮像されて記録された状態となる。図５（ａ）は、１枚のシーン画像の一例を示しており、図５（ｂ）はシーン画像上に注視点がマッピングされた状態を示している。

次に、視線分析装置１００が、シーン画像特徴点の抽出を行う（ステップＳ１２）。具体的には、シーン画像を解析し、シーン画像の特徴を表現した点となるシーン画像特徴点を抽出する。シーン画像からのシーン画像特徴点の抽出は、公知の様々な手法により行うことができる。例えば、非特許文献１に記載のＳＩＦＴアルゴリズム、非特許文献２に記載のＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）アルゴリズム、非特許文献６に記載のＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅアルゴリズム、非特許文献７に記載のＦｅｒｎｓアルゴリズムを採用することができる。すなわち、上記アルゴリズムを実現するプログラムをＣＰＵ１０ａが実行することによりシーン画像からシーン画像特徴点の抽出を行う。本実施形態では、非特許文献１に記載のＳＩＦＴアルゴリズムに対応するプログラムをＣＰＵ１０ａが実行することにより、シーン画像特徴点が、シーン画像Ｃ１〜Ｃ１０からそれぞれ抽出されることになる。図５（ｃ）は、シーン画像Ｃ上から抽出された１つの特徴点Ｑを示している。

次に、基準画像特徴点を取得する（ステップＳ１３）。具体的には、基準画像から事前に抽出され、記憶されていた基準画像特徴点を記憶装置１０ｃから取得する。続いて、座標変換行列の作成を行う（ステップＳ１４）。具体的には、特許文献１等に記載の公知の手法を用い、基準画像と各シーン画像の対応する特徴点を所定数ずつ抽出して対応付けを行う。図６は、基準画像特徴点Ｐとシーン画像特徴点Ｑを対応付けた結果を示している。上記特許文献１に記載の手法を用いることにより、図６に示すように特徴点同士の対応付けが行われる。そして、基準画像特徴点（Ｘ，Ｙ）、シーン画像特徴点（ｘ，ｙ）を図７（ａ）に示した所定の変換式に代入し、座標変換行列を求める。本実施形態では、座標変換行列として、３次元平面のある平面から他の平面へ投影するためのホモグラフィ行列Ｈを利用している。図７は、ホモグラフィ行列Ｈを利用した場合の、シーン画像の注視点から基準画像の対応点への変換式を示す図である。図７（ｂ）に座標変換行列として示したホモグラフィ行列Ｈのうち、要素ｈ３３はスケールファクタであるため、ｈ３３＝１として正規化すると、残りの８個の要素を求めることにより、座標変換行列が求まる。したがって、対応する基準画像特徴点（Ｘ，Ｙ）、シーン画像特徴点（ｘ，ｙ）として、それぞれ４個以上代入することにより、要素ｈ１１、ｈ１２、ｈ１３、ｈ２１、ｈ２２、ｈ２３、ｈ３１、ｈ３２を求めることが可能となる。

次に、作成した座標変換行列を用いて、各シーン画像に対応する注視点の座標を基準画像上の座標に変換し、対応点を算出する（ステップＳ１５）。具体的には、ステップＳ１４において作成された座標変換行列を用いてシーン画像上の注視点を基準画像上の対応点に座標変換する。図８は、１枚のシーン画像Ｃの注視点Ｅを基準画像Ｋ上の対応点Ｔに座標変換する様子を示す図である。複数のシーン画像Ｃの各注視点を基準画像上に座標変換することにより、基準画像上に複数の対応点を求めることができる。

図９は、基準画像Ｋと対応点Ｔの関係を示す図である。上述のように、基準画像Ｋは、対象物３００の正面からの状態を記録した画像であり、１枚のみである。視線分析装置１００は、注視点Ｅ１〜Ｅ１０を、それぞれ各シーン画像Ｃ１〜Ｃ１０に対応する座標変換行列を用いて、座標変換し、変換された座標を対応点Ｔ１〜Ｔ１０とする。図９において、矩形状の枠で示した基準画像Ｋ内の“・（黒丸、ドット）”は、対応点Ｔ１〜Ｔ１０の位置を示している。なお、図９の例では、基準画像Ｋとして矩形状の枠のみを示しているが、実際には、対象物３００の正面からの像が記録された状態となる。

図９の例では、１枚の基準画像上に、各シーン画像に対応する対応点Ｔが計１０個得られる。なお、図９の例では、対応点が全て互いに異なる座標（画素）となる場合、すなわち１つの座標（画素）に複数の対応点が重ならない場合を示している。複数の対応点が同一の座標（画素）に重なる場合には、１つの座標（画素）に対応する対応点の数をカウントして記録する。

各シーン画像に対応する対応点が得られたら、上記座標変換行列を用いて逆変換を行うことにより、基準画像上の対応点を各シーン画像の対応注視点に変換し、シーン画像ヒートマップを作成する（ステップＳ１６）。具体的には、基準画像Ｋ上の全ての対応点Ｔ１〜Ｔ１０を、各シーン画像Ｃ１〜Ｃ１０それぞれに対応する座標変換行列を用いて、対応注視点Ｆ１〜Ｆ１０に変換する。

シーン画像ヒートマップの作成には、ＴｙｐｅＡとＴｙｐｅＢの二通りあり、作成の際に選択可能となっている。ＴｙｐｅＡは、各シーン画像に全ての対応注視点を記録したものである。図１０は、ＴｙｐｅＡの場合のシーン画像Ｃと対応注視点Ｆの関係を示す図である。図１０において、矩形状の枠で示したシーン画像Ｃ１〜Ｃ１０内の“・（黒丸、ドット）”は、対応注視点Ｆ１〜Ｆ１０の位置を示している。シーン画像Ｃ１〜Ｃ１０自体は、図４に示したシーン画像Ｃ１〜Ｃ１０と同じものである。図１０に示すように、各シーン画像に、１０個の対応注視点Ｆ１〜Ｆ１０が記録されることになる。

また、同じ数字の注視点と対応注視点は、同一座標となる。すなわち、シーン画像Ｃ１の対応注視点Ｆ１は、シーン画像Ｃ１の注視点Ｅ１と同一座標であり、シーン画像Ｃ２の対応注視点Ｆ２は、シーン画像Ｃ２の注視点Ｅ２と同一座標である。これは、例えば、シーン画像Ｃ１上の対応注視点Ｆ１の場合、シーン画像Ｃ１上の注視点Ｅ１を、シーン画像Ｃ１に対応する座標変換行列で座標変換して対応点Ｔ１を得て、シーン画像Ｃ１に対応する座標変換行列で座標逆変換して対応注視点Ｆ１を得るため当然である。

しかし、例えば、シーン画像Ｃ１上の対応注視点Ｆ２の場合、シーン画像Ｃ２上の注視点Ｅ２を、シーン画像Ｃ２に対応する座標変換行列で座標変換して、対応点Ｔ２を得て、シーン画像Ｃ１に対応する座標変換行列で座標逆変換して、対応注視点Ｆ２を得るため、シーン画像Ｃ１における対応注視点Ｆ２は、シーン画像Ｃ２における注視点Ｅ２とは異なる座標となる。

したがって、同じ数字であっても、異なるシーン画像上における対応注視点の座標は異なったものとなる。例えば、対応注視点Ｆ１は、シーン画像Ｃ１〜Ｃ１０においてそれぞれ異なった座標値をもつ。

図１０の例では、１枚のシーン画像Ｃ上に、１０個の対応注視点Ｆ１〜Ｆ１０が得られる。続いて、各シーン画像Ｃと対応注視点Ｆを利用してヒートマップを作成する。具体的には、各シーン画像Ｃの座標を所定の領域に分割したクラスタリングの実行や、ガウシアンフィルタ等を用いて対応注視点以外に着色領域等を広げる等の加工処理をすることにより、ヒートマップを作成する。対応注視点等の特定の点の座標（画素）を用いてヒートマップを作成する手法としては、公知の様々な手法を用いることができる。ここでは、シーン画像上に形成したヒートマップを特にシーン画像ヒートマップと呼ぶことにする。シーン画像ヒートマップを用いることにより、対象物３００上のどの点が被験者により注視されていたかを、被験者の視野（厳密には、被験者の視野に近いカメラの撮像範囲）を基準として、把握することができる。ＴｙｐｅＡの場合、全てのシーン画像において、全ての対応注視点を表示することにより、最初の視野から最後の視野まで、全ての注視点を総合したヒートマップを得ることが可能となる。

ＴｙｐｅＢは、時系列に記録された対応注視点について、対応するシーン画像以前に記録された注視点に対応する対応注視点のみを記録したものである。図１１は、ＴｙｐｅＢの場合のシーン画像Ｃと対応注視点Ｆの関係を示す図である。図１１において、矩形状の枠で示したシーン画像Ｃ１〜Ｃ１０内の“・（黒丸、ドット）”は、対応注視点Ｆ１〜Ｆ１０の位置を示している。シーン画像Ｃ１〜Ｃ１０自体は、図４に示したシーン画像Ｃ１〜Ｃ１０と同じものである。図１１に示すように、シーン画像に応じて、最小１個の対応注視点から、最大１０個の対応注視点が記録されている。例えば、シーン画像Ｃ１には、対応注視点Ｆ１の１個のみが記録されており、シーン画像Ｃ１０には、対応注視点Ｆ１〜Ｆ１０の１０個が記録されている。また、図１０に示したＴｙｐｅＡの場合と同様、同じ数字の注視点と対応注視点は、同一座標となる。

図１１の例においても、図１０に示した例と同様、各シーン画像Ｃの座標を所定の領域に分割したクラスタリングの実行や、ガウシアンフィルタ等を用いて対応注視点以外に着色領域等を広げる等の加工処理をすることにより、ヒートマップを作成する。ＴｙｐｅＢのシーン画像ヒートマップを用いた場合も、ＴｙｐｅＡの場合と同様、対象物３００上のどの点が被験者により注視されていたかを、被験者の視野（厳密には、被験者の視野に近いカメラの撮像範囲）を基準として、把握することができる。ＴｙｐｅＢの場合、対応するシーン画像の時点までにおける対応注視点のみを表示することにより、時系列に即したヒートマップを得ることが可能となる。

本実施形態に係る視線分析システムにより作成されたシーン画像ヒートマップの一例を図１２に示す。図１２に示したシーン画像ヒートマップは、複数のシーン画像のうち、ある一つのシーン画像に対応するものである。ある領域に対応注視点が多数含まれる場合は、熱を表現した赤系統の色になり、対応注視点が含まれる数が少なくなる程、黄色、緑色と変化していく。図１２の例では、シーン画像中に撮像された対象であるチラシ上に熱（対応注視点の数）に対応する色が上書きされた状態となっている。

１０ａ・・・ＣＰＵ（Central Processing Unit）
１０ｂ・・・ＲＡＭ（Random Access Memory）
１０ｃ・・・記憶装置
１０ｄ・・・指示入力部
１０ｅ・・・データ入出力Ｉ／Ｆ
１０ｆ・・・表示部
１００・・・視線分析装置
２００・・・視線追跡装置
２０１・・・赤外線光源
２０２・・・赤外線センサ
２０３・・・シーンカメラ
２０４・・・処理部
２０７・・・赤外線
２０８・・・赤外線（反射光）
３００・・・対象物

Claims (5)

1. 対象物を撮像するカメラを備え、被験者の注視点を取得する視線追跡装置と、当該視線追跡装置とデータ通信可能な視線分析装置を有するシステムであって、
   前記視線分析装置は、
   前記カメラにより撮像されたシーン画像と、前記シーン画像上における注視点を取得するシーン画像取得手段と、
   前記シーン画像から複数のシーン画像特徴点を抽出するシーン画像特徴点抽出手段と、
   基準画像における基準画像特徴点を複数取得する基準画像特徴点取得手段と、
   前記シーン画像特徴点と基準画像特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各シーン画像ごとに作成する変換行列作成手段と、
   前記作成された座標変換行列を利用して、複数の前記シーン画像のそれぞれについて、前記シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出する対応点算出手段と、
   前記基準画像上の対応点を、前記シーン画像ごとに作成された座標変換行列を用いて前記各シーン画像上の座標に逆変換し、対応注視点を算出する対応注視点算出手段と、
   を有することを特徴とする視線分析システム。
2. 対象物を撮像するカメラを備え、当該カメラにより撮像されたシーン画像とシーン画像上の被験者の注視点を取得する視線追跡装置と、データ通信可能に接続された視線分析装置であって、
   前記カメラにより撮像されたシーン画像と、前記シーン画像上における注視点を取得するシーン画像取得手段と、
   前記シーン画像から複数のシーン画像特徴点を抽出するシーン画像特徴点抽出手段と、
   基準画像における基準画像特徴点を複数取得する基準画像特徴点取得手段と、
   前記シーン画像特徴点と基準画像特徴点の対応関係に基づいて、両者の座標を変換する座標変換行列を、各シーン画像ごとに作成する変換行列作成手段と、
   前記作成された座標変換行列を利用して、複数の前記シーン画像のそれぞれについて、前記シーン画像と対応付けられた注視点の座標を基準画像上の座標に変換し、対応点を算出する対応点算出手段と、
   前記基準画像上の対応点を、前記シーン画像ごとに作成された座標変換行列を用いて前記各シーン画像上の座標に逆変換し、対応注視点を算出する対応注視点算出手段と、
   を有することを特徴とする視線分析装置。
3. 前記対応注視点算出手段は、時系列情報と対応付けられた各シーン画像に、全てのシーン画像に対応して取得された注視点に対応する対応注視点を記録することを特徴とする請求項２に記載の視線分析装置。
4. 前記対応注視点算出手段は、時系列情報と対応付けられた各シーン画像に、当該シーン画像以前のシーン画像の注視点に対応する対応注視点のみを記録することを特徴とする請求項２に記載の視線分析装置。
5. 請求項２から請求項４のいずれか一項に記載の視線分析装置として、コンピュータを機能させるためのプログラム。