JP7207520B2 - 興味判定装置、興味判定システム、興味判定方法及びプログラム - Google Patents

Description

本発明は、興味判定装置、興味判定システム、興味判定方法及びプログラムに関する。

例えば店舗の顧客等の商品に対する興味を判定する方法が検討されている。ここで、人の情動と瞳孔径とに関係があることが知られており、瞳孔のサイズから人間の興味を把握する方法が考えられる。一方、瞳孔径は視認対象の明るさ（照度および輝度）にも大きく反応するので、視認対象の明るさに相当する瞳孔径反応を取り除かないと、正確な注目度による瞳孔径反応が得られないおそれがある。この技術に関連し、特許文献１は、特定の対象物を含む情景に視線を向けた視認者の、特定の対象物に対する情感（情動と感情）を診断する、視認情景に対する視認者情感判定装置を開示する。

特許文献１にかかる装置は、視認対象が映像ディスプレイの場合、映像ディスプレイの輝度を変化させ、それに対応する視認者の瞳孔径を求め、基本輝度と瞳孔径の関係データとして蓄積する。特許文献１にかかる装置は、視認者が目的の対象物を視認したとき、視認者の瞳孔径を計測すると同時に、輝度計により視認範囲を対象に輝度を計測する。そして、特許文献１にかかる装置は、対象物を視認した時の瞳孔径の値から、蓄積した基本輝度と瞳孔径の関係データの対象物視認時の輝度に相当する瞳孔径の値を差し引くことにより、対象物に対する注目度だけに相当する瞳孔径を求める。

また、特許文献１にかかる装置は、視認対象が映像ディスプレイを除くその他の視認情景の場合は、眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置を一体として視認者の頭部に装着して計測する。この場合、特許文献１にかかる装置は、輝度の代わりに視認範囲の明るさを示す照度を適用し、輝度計の代わりに照度計を使って計測を行う。この場合、「基本輝度と瞳孔径の関係データ」に相当する「基本照度と瞳孔径の関係データ」は、基本照度を変化させることのできる部屋を用意して瞳孔径を計測することで得ることができる。

国際公開第２０１１／０４２９８９号

上記の特許文献１にかかる技術では、輝度計、眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置等の特別な装置を視認者が装着しないと、輝度及び照度を計測できない。したがって、特許文献１にかかる技術では、視認者が特別な装置を装着しないような任意の環境下で、視認者（対象人物）の対象物に対する興味を判定することが困難である。

本開示の目的は、このような課題を解決するためになされたものであり、任意の環境下で対象人物の対象物に対する興味を判定することが可能な興味判定装置、興味判定システム、興味判定方法及びプログラムを提供することにある。

本開示にかかる興味判定装置は、少なくとも対象人物の目が撮影された画像を取得する画像取得手段と、前記画像を用いて、前記対象人物の視線方向にある対象物を特定する対象物特定手段と、前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出する入射光量算出手段と、前記入射光量に基づいて基準瞳孔サイズを決定する基準瞳孔サイズ決定手段と、前記画像を用いて、前記対象人物の瞳孔サイズを算出する瞳孔サイズ算出手段と、前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する興味判定手段とを有する。

また、本開示にかかる興味判定システムは、少なくとも１つの撮像装置と、興味判定装置とを有し、前記興味判定装置は、前記画像取得手段は、前記撮像装置によって撮影され少なくとも対象人物の目が撮影された画像を取得する画像取得手段と、前記画像を用いて、前記対象人物の視線方向にある対象物を特定する対象物特定手段と、前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出する入射光量算出手段と、前記入射光量に基づいて基準瞳孔サイズを決定する基準瞳孔サイズ決定手段と、前記画像を用いて、前記対象人物の瞳孔サイズを算出する瞳孔サイズ算出手段と、前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する興味判定手段とを有する。

また、本開示にかかる興味判定方法は、少なくとも対象人物の目が撮影された画像を取得し、前記画像を用いて、前記対象人物の視線方向にある対象物を特定し、前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出し、前記入射光量に基づいて基準瞳孔サイズを決定し、前記画像を用いて、前記対象人物の瞳孔サイズを算出し、前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する。

また、本開示にかかるプログラムは、少なくとも対象人物の目が撮影された画像を取得するステップと、前記画像を用いて、前記対象人物の視線方向にある対象物を特定するステップと、前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出するステップと、前記入射光量に基づいて基準瞳孔サイズを決定するステップと、前記画像を用いて、前記対象人物の瞳孔サイズを算出するステップと、前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定するステップとをコンピュータに実行させる。

本開示によれば、任意の環境下で対象人物の対象物に対する興味を判定することが可能な興味判定装置、興味判定システム、興味判定方法及びプログラムを提供できる。

本開示の実施の形態にかかる興味判定装置の概要を示す図である。 実施の形態１にかかる興味判定システムの構成を示す図である。 実施の形態１にかかる興味判定装置を示す機能ブロック図である。 実施の形態１にかかる興味判定装置によって行われる、興味判定方法を示すフローチャートである。 実施の形態１にかかる対象物輝度算出部によって使用される絶対輝度テーブルを例示する図である。 実施の形態１にかかる、放射照度の算出方法を説明するための図である。 実施の形態１にかかる基準瞳孔サイズテーブルを例示する図である。

（本開示にかかる実施の形態の概要）
本開示の実施形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図１は、本開示の実施の形態にかかる興味判定装置１の概要を示す図である。興味判定装置１は、例えば、コンピュータである。

興味判定装置１は、画像取得部２と、対象物特定部４と、入射光量算出部６と、基準瞳孔サイズ決定部８と、瞳孔サイズ算出部１０と、興味判定部１２とを有する。画像取得部２は、画像取得手段として機能する。対象物特定部４は、対象物特定手段として機能する。入射光量算出部６は、入射光量算出手段として機能する。基準瞳孔サイズ決定部８は、基準瞳孔サイズ決定手段として機能する。瞳孔サイズ算出部１０は、瞳孔サイズ算出手段として機能する。興味判定部１２は、興味判定手段として機能する。

画像取得部２は、少なくとも対象人物の目が撮影された画像を取得する。ここで、対象人物とは、興味判定の対象となる人物である。対象物特定部４は、取得された画像を用いて、対象人物の視線方向にある対象物を特定する。ここで、対象物とは、対象人物が注視している物体であって、対象人物が興味を示しているかの判定の対象となる物体である。入射光量算出部６は、取得された画像を用いて、対象人物の目に入射する光の量を表す入射光量を算出する。基準瞳孔サイズ決定部８は、算出された入射光量に基づいて基準瞳孔サイズを決定する。瞳孔サイズ算出部１０は、取得された画像を用いて、対象人物の瞳孔サイズを算出する。興味判定部１２は、決定された基準瞳孔サイズと算出された瞳孔サイズとを比較することによって、対象人物の対象物に対する興味を判定する。

本実施の形態にかかる興味判定装置１は、取得された画像を用いて、対象人物の視線方向にある対象物を特定し、対象人物の目に対する入射光量を算出する。これにより、対象人物が、輝度計、眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置等の特別な装置を装着することなく、対象人物の対象物に対する興味を判定できる。したがって、本実施の形態にかかる興味判定装置１は、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。

なお、興味判定装置１によって実行される興味判定方法を用いても、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。また、興味判定方法を実行するプログラムを用いても、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。さらに、興味判定装置１と少なくとも１つの撮像装置（カメラ）を用いても、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。

（実施の形態１）
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

図２は、実施の形態１にかかる興味判定システム２０の構成を示す図である。実施の形態１にかかる興味判定システム２０は、カメラ３０Ａ，３０Ｂ、及び、興味判定装置１００を有する。興味判定装置１００は、図１に示した興味判定装置１に対応する。なお、以降、カメラ３０Ａ，３０Ｂを区別しないで説明する場合に、カメラ３０と称することがある。カメラ３０は、例えば店舗等に設置される撮像装置である。

なお、興味判定システム２０には、３つ以上のカメラ３０が設けられてもよい。あるいは、興味判定システム２０には、１つのカメラ３０のみが設けられてもよい。つまり、興味判定システム２０は、少なくとも１つの撮像装置（カメラ３０）を有する。

カメラ３０は、対象人物８０の目８２を撮影する。そして、カメラ３０は、少なくとも対象人物の目が撮影された画像（画像データ）を生成する。また、カメラ３０は、対象人物８０の目８２の視線方向にある対象物９０を撮影し得る。つまり、対象物９０は、対象人物８０の注視の対象となる物体である。なお、カメラ３０Ａが対象人物８０（目８２）を撮影し、カメラ３０Ｂが対象物９０を撮影してもよい。つまり、カメラ３０Ａは、対象人物８０を撮影可能な位置に設けられてもよい。また、カメラ３０Ｂは、対象物９０を撮影可能な位置に設けられてもよい。但し、一方のカメラ３０（例えばカメラ３０Ｂ）が、対象人物８０の目８２と対象物９０とを撮影してもよい。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味し得る。また、画像は、静止画像であってもよいし、動画像であってもよい。

興味判定装置１００は、例えばコンピュータである。興味判定装置１００は、カメラ３０と有線又は無線を介して通信可能に接続されている。興味判定装置１００は、少なくとも対象人物８０の目８２が撮影された画像を取得する。興味判定装置１００は、この画像を用いて、対象人物８０の視線方向にある対象物を特定する。また、興味判定装置１００は、画像を用いて、対象人物８０の目８２に入射する光の量を表す入射光量を算出する。また、興味判定装置１００は、算出された入射光量に基づいて基準瞳孔サイズを決定する。また、興味判定装置１００は、画像を用いて、対象人物の瞳孔サイズを算出する。そして、興味判定装置１００は、決定された基準瞳孔サイズと算出された瞳孔サイズとを比較することによって、対象人物８０の対象物９０に対する興味を判定する。

興味判定装置１００は、主要なハードウェア構成として、ＣＰＵ１０２（Central Processing Unit）と、ＲＯＭ１０４（Read Only Memory）と、ＲＡＭ１０６（Random Access Memory）と、インタフェース部１０８（ＩＦ；Interface）とを有する。ＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。

ＣＰＵ１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。ＲＯＭ１０４は、ＣＰＵ１０２によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。ＲＡＭ１０６は、処理データ等を一時的に記憶するための機能を有する。インタフェース部１０８は、有線又は無線を介して外部と信号の入出力を行う。また、インタフェース部１０８は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を表示する。例えば、インタフェース部１０８は、カメラ３０と通信を行う。

図３は、実施の形態１にかかる興味判定装置１００を示す機能ブロック図である。興味判定装置１００は、画像取得部１１０、目領域特定部１１２、視線方向推定部１１４、対象物特定部１１６、及び入射光量算出部１２０を有する。また、興味判定装置１００は、基準瞳孔サイズ決定部１３０、テーブル格納部１３２、瞳孔サイズ算出部１３４、興味判定部１４０、及び判定結果出力部１４２を有する。また、入射光量算出部１２０は、対象物輝度算出部１２２及び目領域照度算出部１２６を有する。

画像取得部１１０、目領域特定部１１２、視線方向推定部１１４、対象物特定部１１６、及び入射光量算出部１２０は、それぞれ、画像取得手段、目領域特定手段、視線方向推定手段、対象物特定手段、及び入射光量算出手段として機能する。また、対象物輝度算出部１２２及び目領域照度算出部１２６は、それぞれ、対象物輝度算出手段及び目領域照度算出手段として機能する。基準瞳孔サイズ決定部１３０、テーブル格納部１３２、瞳孔サイズ算出部１３４、及び判定結果出力部１４２は、それぞれ、基準瞳孔サイズ決定手段、テーブル格納手段、瞳孔サイズ算出手段、及び判定結果出力手段として機能する。

図３に示した各構成要素は、例えば、ＣＰＵ１０２がＲＯＭ１０４に記憶されたプログラムを実行することによって実現可能である。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールするようにしてもよい。なお、各構成要素は、上記のようにソフトウェアによって実現されることに限定されず、何らかの回路素子等のハードウェアによって実現されてもよい。また、上記構成要素の１つ以上は、物理的に別個のハードウェアによってそれぞれ実現されてもよい。なお、各構成要素の具体的な機能については後述する。

図４は、実施の形態１にかかる興味判定装置１００によって行われる、興味判定方法を示すフローチャートである。画像取得部１１０は、インタフェース部１０８を介して、カメラ３０から画像を取得する（ステップＳ１０２）。具体的には、画像取得部１１０は、カメラ３０Ａから、対象人物８０の目８２が撮影された画像を取得してもよい。また、画像取得部１１０は、カメラ３０Ｂから、対象物９０が撮影された画像を取得してもよい。

次に、興味判定装置１００は、Ｓ１０２の処理で取得された画像を用いて、対象人物８０の視線方向を推定する（ステップＳ１０４）。具体的には、目領域特定部１１２は、カメラ３０Ａから出力された画像から、対象人物８０の目８２の目領域を検出する。この目領域の検出は、例えば、機械学習によって得られた学習モデルを用いた物体検出技術によって実現できる。さらに、目領域特定部１１２は、検出された目領域における白目領域（強膜）を検出する。そして、目領域特定部１１２は、白目領域の色情報（Ｒ，Ｇ，Ｂ）を取得する。

視線方向推定部１１４は、検出された目領域から、対象人物８０の視線方向を推定する。視線方向の推定は、既存の手法によって実現できる。例えば、視線方向推定部１１４は、対象人物８０の顔が撮影された画像を用いて、対象人物８０の顔の向きを検出する。また、視線方向推定部１１４は、目領域における瞳孔中心の位置を検出する。そして、視線方向推定部１１４は、顔の向きと瞳孔中心の位置とから、視線方向を推定する。

次に、対象物特定部１１６は、対象人物８０の視線方向にある対象物９０を特定する（ステップＳ１０６）。具体的には、対象物特定部１１６は、カメラ３０Ｂから出力された画像を用いて、対象物９０を特定する。さらに具体的には、対象物特定部１１６は、カメラ３０Ａ，３０Ｂそれぞれの位置及び画角から、Ｓ１０４の処理で推定された視線方向を、カメラ３０Ａから出力された画像における座標系からカメラ３０Ｂから出力された画像における座標系に幾何変換する。これにより、対象物特定部１１６は、カメラ３０Ｂから出力された画像に、視線方向ベクトルをマッピングする。そして、対象物特定部１１６は、視線方向ベクトルの先にある物体を、対象物９０と特定する。

次に、入射光量算出部１２０は、Ｓ１０２の処理で取得された画像を用いて、対象人物８０の目８２に入射する光の量を表す入射光量を算出する（Ｓ１０８～Ｓ１１２）。対象物輝度算出部１２２は、Ｓ１０２の処理で取得された画像を用いて、対象物９０における輝度Ｌを算出する（ステップＳ１０８）。つまり、対象物輝度算出部１２２（入射光量算出部１２０）は、Ｓ１０２の処理で取得された画像における対象物９０の領域における輝度Ｌを算出する。輝度Ｌの具体的な算出方法の例については後述する。

目領域照度算出部１２６は、Ｓ１０２の処理で取得された画像を用いて、対象人物８０の目８２における照度Ｅ_Ａを算出する（ステップＳ１１０）。つまり、目領域照度算出部１２６（入射光量算出部１２０）は、Ｓ１０２の処理で取得された画像における対象人物８０の目８２の領域（白目領域）における輝度（色情報）から対象人物８０の目８２における照度Ｅ_Ａを算出する。照度Ｅ_Ａの具体的な算出方法の例については後述する。

入射光量算出部１２０は、Ｓ１０８の処理で算出された輝度Ｌ及びＳ１１０の処理で算出された照度Ｅ_Ａから、対象人物８０の目８２への入射光量ＥＥを算出する（ステップＳ１１２）。具体的には、入射光量算出部１２０は、入射光量ＥＥ、輝度Ｌ及び照度Ｅ_Ａの関係を示す関数ＥＥ＝ｆ（Ｌ，Ｅ_Ａ）を用いて、入射光量ＥＥを算出する。入射光量ＥＥの具体的な算出方法の例については後述する。

以下、Ｓ１０８～Ｓ１１２の処理の具体例について説明する。
まず、画像を用いた、対象物９０における輝度Ｌの算出方法（Ｓ１０８）について説明する。対象物輝度算出部１２２は、カメラ３０Ｂによって撮影されたカラー画像中の対象物９０の輝度Ｌを算出する。カラー画像は、ＲＧＢ色空間で構成されているものとする。このＲＧＢ色空間についてのＲＧＢ蛍光体の色度および白色の色度は、カメラ３０Ｂの色特性としてあらかじめ指定され得るとする。また、ＲＧＢデータ（色情報）は、三刺激値ＸＹＺに一意に変換され得るとする。

以下、その変換方法の一例を示す。入力画像のＲＧＢ値と三刺激値ＸＹＺとの関係は、以下の式１のように定められる。

ここで、式１において、Ｍ_ＲＸは、３×３変換行列である。また、カメラから出力される撮影画像は、一般にガンマ補正が施されたＲＧＢ空間で構成されるが、式１におけるＲＧＢ空間は、ガンマ補正が施されていないリニアな特性（γ＝１．０）を有するものとする。なお、変換式は、上記の式１に限られず、ＲＧＢ値からＸＹＺ値に一意に変換できればよい。

例えば、変換式は、以下の式２のように、２次の項を追加した形として定められてもよい。

ここで、式２において、Ｍ’_ＲＸは、３×９変換行列である。なお、Ｍ_ＲＸ及びＭ’_ＲＸは、既知のカラーパッチを用いたカメラのカラーキャリブレーションを実施することで予め算出しておくことが可能である。

撮影時におけるカメラレンズの絞り値Ｆ、シャッタースピード、及びゲインの情報を得ることで、明るさを表す三刺激値Ｙは、絶対輝度Ｌ（ｃｄ／ｍ^２）に変換され得る。つまり、対象物輝度算出部１２２（入射光量算出部１２０）は、画像における対象物９０の領域における絶対輝度Ｌを算出してもよい。

ここで、式１又は式２で算出される三刺激値Ｙを絶対輝度Ｙ（ｃｄ／ｍ^２）に変換する方法の一例を示す。一般に、カメラによる撮影では、適正露出を得るために、レンズの絞り値Ｆ、シャッタースピード、及びゲインを設定する。ここで、ゲインは１．０に設定されているものとする。この場合、カメラへの入射光の量である絶対輝度Ｌに対する撮像画像上の画素値（Ｒ、Ｇ、Ｂ）に対応する三刺激値Ｙは、レンズ絞り値Ｆ及びシャッタースピードの２つの変数で決定され得る。

まず、予め、使用するカメラについて、キャリブレーションを実施する。具体的には、入射光の量（絶対輝度Ｌ（ｃｄ／ｍ^２））、レンズ絞り値Ｆ、及びシャッタースピードＳを変化させて撮影したときの撮像画像の画素値（Ｒ、Ｇ、Ｂ）から、式１又は式２で得られる三刺激値Ｙとこれらの値との関係を把握する。このキャリブレーションにより、レンズ絞り値Ｆ、シャッタースピードＳ、及び三刺激値Ｙに対応する入射光の量である絶対輝度Ｌを得るための絶対輝度テーブル（ルックアップテーブル（ＬＵＴ：Lookup table））が生成される（図５参照）。

そして、撮影時のカメラのレンズ絞り値Ｆ及びシャッタースピードＳを記録し、その条件で撮像した画像における対象物９０の領域の画素値（Ｒ，Ｇ，Ｂ）に対応する三刺激値Ｙを算出する。これにより、ＬＵＴを用いることで、その三刺激値Ｙ等に対する入射光の量である絶対輝度Ｌ（ｃｄ／ｍ^２）が決定される。ここで、ＬＵＴを参照する場合、各画素に対応する三刺激値Ｙの平均値を用いてもよい。あるいは、各画素に対応する三刺激値それぞれについてＬＵＴを用いて絶対輝度を算出し、各画素について得られた絶対輝度の平均値を、絶対輝度Ｌとして算出してもよい。

図５は、実施の形態１にかかる対象物輝度算出部１２２によって使用される絶対輝度テーブル（ＬＵＴ）を例示する図である。絶対輝度テーブルは、後述するテーブル格納部１３２に格納されてもよい、この絶対輝度テーブル（ＬＵＴ）を作成する際に、絞り値Ｆ及びシャッタースピードＳを変化させて、完全白色板の画像を撮影する。図５の例では、完全白色板からカメラ３０に入射する光の量をＬ１，Ｌ２とし、絞り値をＦ１，Ｆ２とし、シャッタースピードをＳ１，Ｓ２としている。そして、上記を組み合わせた８通りの条件で撮影した際の各撮影画像の画素値に対する三刺激値Ｙを式１又は式２で求めることで、図５に例示するようなＬＵＴを生成する。

例えば、対象物輝度算出部１２２は、絞り値Ｆ１、シャッタースピードＳ２にて撮影した画像の画素値から三刺激値Ｙｘを計算する。そして、対象物輝度算出部１２２は、図５に例示するＬＵＴの絞り値Ｆ１、シャッタースピードＳ２における三刺激値Ｙ２とＹ６と、三刺激値Ｙｘを比較し、既存の方法である内挿計算（補間）などにより入射光の量Ｌｘを算出する。なお、このＬＵＴを作成する際には、上記のような８通りの条件ではなく、多くの条件での撮影を行い、ＬＵＴの情報量を拡充させるようにしてもよい。これにより、より精度の高い入射光の量が得られる。

なお、カメラの機種又は個体差等により、入射光の量と、レンズ絞り値Ｆと、シャッタースピードＳと、画像出力値（画素値）との関係は異なる場合がある。したがって、カメラごとのキャリブレーションを実施することで、より精度の高い絶対輝度Ｌ（ｃｄ／ｍ^２）を算出することができる。

次に、画像を用いた、対象人物８０の目８２における環境光による照度Ｅ_Ａの算出方法（Ｓ１１０）について説明する。目領域照度算出部１２６は、画像中の反射体の各画素位置における見かけの放射照度を算出する。この例では、反射体は、目８２の白目領域（強膜）に対応する。したがって、目領域照度算出部１２６は、白目領域における色情報から、対象人物８０の目８２における照度を算出する。

図６は、実施の形態１にかかる、放射照度の算出方法を説明するための図である。図６は、面光源を考慮した全周光環境モデルを示す。このモデルでは、反射体（白目領域）の任意の点を球の中心Ａにあるものとし、光源と中心Ａとの間を遮る遮蔽物はないものとして、全周辺からの光源の放射輝度分布を観測する。この放射輝度分布をＬ（θ，φ）とする。ここで、θは天頂角を表し、φは方位角を表す。

中心Ａにおける照度Ｅ_Ａは、以下の式３で示すように、微小天頂角ｄθ_ｉ及び微小方位角ｄφ_ｉで表される微小立体角ｄω_ｉで表される光源から受け取る入射光エネルギーを全方向において積分したものである。

なお、上記計算は、反射体の光の反射特性がランバート反射であることが条件となる。ここで、強膜（白目）の場合、必ずしもランバート反射とは言えないが、目という微小物体を離れた距離から観測する状況であるために、中心Ａで反射される光は、あらゆる方向から中心Ａに入射した周辺環境光が積分された形となっており、視点方向によらず一定となる。ことから、上記計算方法は妥当であると言える。

次に、中心Ａにおける反射体（白目領域）の表面反射率Ｓ_Ａ（つまり色）が既知であれば、画像として記録された反射体における輝度値Ｉ_Ａは、以下の式４で示すように、照度Ｅ_Ａと反射体の表面反射率Ｓ_Ａとの積で表される。ここで、輝度値Ｉ_Ａは、上記の式１又は式２を用いて算出される三刺激値Ｙ、及び、撮影時におけるカメラレンズの絞り値Ｆ、シャッタースピード、ゲインから決定できる絶対輝度を用いてもよい。

ここで、輝度値Ｉ_Ａは、光の波長λの関数として表されるカメラの分光感度特性を反映したものとなっている。ここで、カメラの分光感度特性がデルタ関数で近似されるとすると、波長λは定数とみなせる。したがって、点Ａにおける輝度値Ｉ_Ａ ^ｋ（ｋはｒ，ｇ，ｂ）は、以下の式５ように表される。

ここで、τ^ｋはカメラゲインである。すなわち、式５より、点Ａ（白目領域）における照度Ｅ_Ａ ^ｋは、点Ａにおける輝度値Ｉ_Ａ（色情報）およびカメラゲインから算出され得る。ここで、点Ａ（白目領域）における可視光の照度Ｅ_Ａは、Ｅ_Ａ ^ｒ、Ｅ_Ａ ^ｇ、Ｅ_Ａ ^ｂを加算することで得られ得る。したがって、照度Ｅ_Ａは、白目領域における色情報から算出される。

次に、入射光量ＥＥの算出方法（Ｓ１１２）について説明する。以上の計算により、対象人物８０が見ている対象物９０からの光の絶対輝度Ｌ、及び対象人物８０の目８２（目領域）における照度Ｅ_Ａが得られている。ここで、対象人物８０が見ている対象物９０からの輝度Ｌ（ｃｄ／ｍ^２）の光によって照らされている目領域における照度Ｅ１（ｌｘ）は、以下の式６で表され得る。
Ｅ１＝Ｌ・π ・・・（６）

また、ある照明下で、対象人物８０が注目している対象物９０からの光の影響を考慮した照度ＥＥ（入射光量）は、以下の式７のように表すことができる。
ＥＥ＝Ｅ１＋Ｅ_Ａ ・・・（７）
したがって、入射光量算出部１２０は、式６及び式７を用いて、Ｓ１０８の処理で算出された輝度Ｌ、及びＳ１１０の処理で算出された照度Ｅ_Ａから、入射光量ＥＥを算出する。

次に、基準瞳孔サイズ決定部１３０は、Ｓ１１２の処理で算出された入射光量ＥＥを用いて、基準瞳孔サイズＤ０を決定する（ステップＳ１１４）。具体的には、基準瞳孔サイズ決定部１３０は、テーブル格納部１３２に格納された基準瞳孔サイズテーブルを用いて、基準瞳孔サイズＤ０を決定する。ここで、「基準瞳孔サイズ」とは、照明下の明るさ及び対象物９０の明るさに対する対光反射によって変化する瞳孔直径のサイズである。言い換えると、基準瞳孔サイズは、対象人物８０の対象物９０に対する興味（情動）による瞳孔サイズの変化が考慮されていない瞳孔サイズである。

図７は、実施の形態１にかかる基準瞳孔サイズテーブルを例示する図である。基準瞳孔サイズテーブルは、入射光量ＥＥ（照度）と、基準瞳孔サイズとを対応付けている。一般に、入射光量０．０１，１．０，１００，１００００（ｌｘ）のときの瞳孔直径のサイズは、それぞれ、７．０，６．０，３．０，２．１（ｍｍ）とされている。本実施の形態では、照度（入射光量）に対する瞳孔直径のサイズを、基準瞳孔サイズとする。そして、テーブル格納部１３２は、これらの入射光量（照度）と基準瞳孔サイズとの関係を示すＬＵＴを、基準瞳孔サイズテーブルとして格納する。

基準瞳孔サイズ決定部１３０は、図７に例示する基準瞳孔サイズテーブルを用いて、入射光量ＥＥ（照度）に対する瞳孔直径のサイズ（基準瞳孔サイズ）を算出する。なお、算出方法は、既存の方法である内挿計算（補間）などを利用できる。また、基準瞳孔サイズテーブルを示す関数を予め準備できる場合は、基準瞳孔サイズ決定部１３０は、入射光量ＥＥをその関数に代入することで、基準瞳孔サイズを算出できる。

瞳孔サイズ算出部１３４は、対象人物８０の目８２の瞳孔サイズＤ１を算出する（ステップＳ１１６）。具体的には、瞳孔サイズ算出部１３４は、Ｓ１０２の処理で取得された画像を用いて、対象物９０を注視している対象人物８０の目８２の瞳孔サイズＤ１を算出する。さらに具体的には、瞳孔サイズ算出部１３４は、目領域特定部１１２によって特定された目領域における瞳孔領域を検出する。そして、瞳孔サイズ算出部１３４は、瞳孔領域のサイズを算出する。例えば、人間の虹彩の直径は、約１１～１２ｍｍと個人差が小さいので、瞳孔サイズ算出部１３４は、画像における瞳孔径（画素数）と虹彩径（画素数）との比から、瞳孔サイズ（瞳孔直径）Ｄ１（ｍｍ）を算出してもよい。

興味判定部１４０は、基準瞳孔サイズＤ０と瞳孔サイズＤ１とを比較して、対象人物８０の対象物９０に対する興味を判定する（Ｓ１２０～Ｓ１２４）。具体的には、興味判定部１４０は、瞳孔サイズＤ１が基準瞳孔サイズＤ０よりも大きいか否かを判定する（ステップＳ１２０）。瞳孔サイズＤ１が基準瞳孔サイズＤ０よりも大きい場合（Ｓ１２０のＹＥＳ）、興味判定部１４０は、対象人物８０は対象物９０に対して興味があると判定する（ステップＳ１２２）。一方、瞳孔サイズＤ１が基準瞳孔サイズＤ０以下である場合（Ｓ１２０のＮＯ）、興味判定部１４０は、対象人物８０は対象物９０に対して興味がないと判定する（ステップＳ１２４）。そして、判定結果出力部１４２は、興味判定部１４０による判定結果を出力する（ステップＳ１２６）。

なお、上記の例では、興味判定部１４０は、対象人物８０の対象物９０に対する興味の有無を判定するとしたが、このような構成に限られない。興味判定部１４０は、対象人物８０の対象物９０に対する興味度を判定してもよい。例えば、興味度は、以下の式８で表されてもよい。
（Ｄ１－Ｄ０）／Ｄ０ ・・・（８）

上述したように、実施の形態１にかかる興味判定装置１００は、カメラ３０によって撮影された画像を用いて、対象人物８０の目８２に入射する入射光量を算出し、入射光量に基づいて基準瞳孔サイズを決定する。そして、実施の形態１にかかる興味判定装置１００は、基準瞳孔サイズと瞳孔サイズとを比較することによって、対象人物８０の対象物９０に対する興味を判定する。これにより、対象人物８０が、輝度計、眼球撮影装置、顔撮影装置、視認情景撮影装置、明るさ計測装置等の特別な装置を装着することなく、対象人物８０の対象物９０に対する興味を判定できる。したがって、実施の形態にかかる興味判定装置１００は、任意の環境下で対象人物の対象物に対する興味を判定することが可能となる。

また、実施の形態１にかかる興味判定装置１００は、対象物９０が撮影された画像を用いて対象物９０における輝度を算出することで、入射光量を算出するように構成されている。これにより、対象人物８０が、輝度計等を装着することなく、対象人物８０の対象物９０に対する興味を判定できる。また、対象物９０がモニタ等のディスプレイでなくても、対象人物８０の対象物９０に対する興味を判定できる。

また、実施の形態１にかかる興味判定装置１００は、画像における対象物９０の領域における画素値を用いて対象物９０の絶対輝度を算出することで、入射光量を算出するように構成されている。これにより、カメラ３０の設定等によらないで、対象物９０からの光による入射光量を精度良く算出することが可能となる。

また、実施の形態１にかかる興味判定装置１００は、画像を用いて対象人物８０の目８２における照度を算出することで、入射光量を算出するように構成されている。これにより、対象人物８０が、明るさ計測装置等を装着することなく、対象人物８０の対象物９０に対する興味を判定できる。

また、実施の形態１にかかる興味判定装置１００は、画像を用いて対象人物８０の目８２における照度を算出し、対象物９０における輝度と対象人物８０の目８２における照度とに基づいて、入射光量を算出するように構成されている。同じ明るさ（照度）の環境下であっても、注視する対象物９０の明るさ（輝度）が異なると、瞳孔のサイズは異なり得る。例えば、照明が暗い環境下であっても、対象人物８０が明るい対象物９０を注視した場合、対象人物８０の瞳孔は小さくなり得る。逆に、照明が明るい環境下であっても、対象人物８０が暗い対象物９０を注視した場合、対象人物８０の瞳孔は大きくなり得る。このように、基準瞳孔サイズは、対象物９０における輝度及び対象人物８０の目８２における照度の両方を用いることで、より正確に求められ得る。そして、実施の形態１では、基準瞳孔サイズを決定する際に、対象物９０における輝度と対象人物８０の目８２における照度とに基づいて、入射光量を算出している。したがって、実施の形態１にかかる興味判定装置１００は、より正確に入射光量を算出できるので、より正確に基準瞳孔サイズを決定できる。これにより、対象人物８０の対象物９０に対する興味をより正確に判定することが可能となる。

また、実施の形態１にかかる興味判定装置１００は、画像における対象人物８０の目８２の白目領域における色情報から、対象人物８０の目８２における照度を算出するように構成されている。これにより、画像を用いて、環境光による入射光量を精度良く算出することが可能となる。

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図４に示したフローチャートの各処理の順序は、適宜、変更可能である。また、図４に示したフローチャートの処理の１つ以上は、なくてもよい。例えば、Ｓ１０４～Ｓ１１４の処理の１つ以上は、Ｓ１１６の処理の後で実行されてもよい。また、Ｓ１０４～Ｓ１０８の処理の１つ以上は、Ｓ１１０の処理の後で実行されてもよい。また、Ｓ１０８の処理及びＳ１１０の処理の一方は、なくてもよい。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
少なくとも対象人物の目が撮影された画像を取得する画像取得手段と、
前記画像を用いて、前記対象人物の視線方向にある対象物を特定する対象物特定手段と、
前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出する入射光量算出手段と、
前記入射光量に基づいて基準瞳孔サイズを決定する基準瞳孔サイズ決定手段と、
前記画像を用いて、前記対象人物の瞳孔サイズを算出する瞳孔サイズ算出手段と、
前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する興味判定手段と
を有する興味判定装置。
（付記２）
前記画像取得手段は、前記対象物が撮影された画像を取得し、
前記入射光量算出手段は、前記画像を用いて前記対象物における輝度を算出することで、前記入射光量を算出する
付記１に記載の興味判定装置。
（付記３）
前記入射光量算出手段は、前記画像における前記対象物の領域における画素値を用いて前記対象物の絶対輝度を算出することで、前記入射光量を算出する
付記２に記載の興味判定装置。
（付記４）
前記入射光量算出手段は、前記画像を用いて前記対象人物の目における照度を算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記入射光量を算出する
付記２又は３に記載の興味判定装置。
（付記５）
前記入射光量算出手段は、前記画像を用いて前記対象人物の目における照度を算出することで、前記入射光量を算出する
付記１に記載の興味判定装置。
（付記６）
前記入射光量算出手段は、前記画像における前記対象人物の目の白目領域における色情報から、前記対象人物の目における照度を算出する
付記４又は５に記載の興味判定装置。
（付記７）
少なくとも１つの撮像装置と、
付記１～６のいずれか１項に記載の興味判定装置と
を有し、
前記画像取得手段は、前記撮像装置によって撮影された前記画像を取得する
興味判定システム。
（付記８）
少なくとも対象人物の目が撮影された画像を取得し、
前記画像を用いて、前記対象人物の視線方向にある対象物を特定し、
前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出し、
前記入射光量に基づいて基準瞳孔サイズを決定し、
前記画像を用いて、前記対象人物の瞳孔サイズを算出し、
前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する
興味判定方法。
（付記９）
前記対象物が撮影された画像を取得し、
前記画像を用いて前記対象物における輝度を算出することで、前記入射光量を算出する
付記８に記載の興味判定方法。
（付記１０）
前記画像における前記対象物の領域における画素値を用いて前記対象物の絶対輝度を算出することで、前記入射光量を算出する
付記９に記載の興味判定方法。
（付記１１）
前記画像を用いて前記対象人物の目における照度を算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記入射光量を算出する
付記９又は１０に記載の興味判定方法。
（付記１２）
前記画像を用いて前記対象人物の目における照度を算出することで、前記入射光量を算出する
付記８に記載の興味判定方法。
（付記１３）
前記画像における前記対象人物の目の白目領域における色情報から、前記対象人物の目における照度を算出する
付記１１又は１２に記載の興味判定方法。
（付記１４）
少なくとも対象人物の目が撮影された画像を取得するステップと、
前記画像を用いて、前記対象人物の視線方向にある対象物を特定するステップと、
前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出するステップと、
前記入射光量に基づいて基準瞳孔サイズを決定するステップと、
前記画像を用いて、前記対象人物の瞳孔サイズを算出するステップと、
前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定するステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

１ 興味判定装置
２ 画像取得部
４ 対象物特定部
６ 入射光量算出部
８ 基準瞳孔サイズ決定部
１０ 瞳孔サイズ算出部
１２ 興味判定部
２０ 興味判定システム
３０ カメラ
１００ 興味判定装置
１１０ 画像取得部
１１２ 目領域特定部
１１４ 視線方向推定部
１１６ 対象物特定部
１２０ 入射光量算出部
１２２ 対象物輝度算出部
１２６ 目領域照度算出部
１３０ 基準瞳孔サイズ決定部
１３２ テーブル格納部
１３４ 瞳孔サイズ算出部
１４０ 興味判定部
１４２ 判定結果出力部

Claims (6)

1. 少なくとも対象人物の目が撮影された画像を取得する画像取得手段と、
   前記画像を用いて、前記対象人物の視線方向にある対象物を特定する対象物特定手段と、
   前記画像を用いて、前記対象人物の目に入射する光の量を表す入射光量を算出する入射光量算出手段と、
   前記入射光量に基づいて基準瞳孔サイズを決定する基準瞳孔サイズ決定手段と、
   前記画像を用いて、前記対象人物の瞳孔サイズを算出する瞳孔サイズ算出手段と、
   前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する興味判定手段と
   を有し、
   前記画像取得手段は、前記対象物が撮影された画像を取得し、
   前記入射光量算出手段は、前記画像を用いて、前記対象物における輝度と前記対象人物の目における照度とを算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記入射光量を算出する
   興味判定装置。
2. 前記入射光量算出手段は、前記画像における前記対象物の領域における画素値を用いて前記対象物の絶対輝度を算出することで、前記入射光量を算出する
   請求項１に記載の興味判定装置。
3. 前記入射光量算出手段は、前記画像における前記対象人物の目の白目領域における色情報から、前記対象人物の目における照度を算出する
   請求項１又は２に記載の興味判定装置。
4. 少なくとも１つの撮像装置と、
   請求項１～３のいずれか１項に記載の興味判定装置と
   を有し、
   前記画像取得手段は、前記撮像装置によって撮影された前記画像を取得する
   興味判定システム。
5. 少なくとも対象人物の目が撮影された画像を取得し、
   前記画像を用いて、前記対象人物の視線方向にある対象物を特定し、
   前記対象物が撮影された画像を取得し、
   前記画像を用いて、前記対象物における輝度と前記対象人物の目における照度とを算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記対象人物の目に入射する光の量を表す入射光量を算出し、
   前記入射光量に基づいて基準瞳孔サイズを決定し、
   前記画像を用いて、前記対象人物の瞳孔サイズを算出し、
   前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定する
   興味判定方法。
6. 少なくとも対象人物の目が撮影された画像を取得するステップと、
   前記画像を用いて、前記対象人物の視線方向にある対象物を特定するステップと、
   前記対象物が撮影された画像を取得するステップと、
   前記画像を用いて、前記対象物における輝度と前記対象人物の目における照度とを算出し、前記対象物における輝度と前記対象人物の目における照度とに基づいて、前記対象人物の目に入射する光の量を表す入射光量を算出するステップと、
   前記入射光量に基づいて基準瞳孔サイズを決定するステップと、
   前記画像を用いて、前記対象人物の瞳孔サイズを算出するステップと、
   前記基準瞳孔サイズと前記瞳孔サイズとを比較することによって、前記対象人物の前記対象物に対する興味を判定するステップと
   をコンピュータに実行させるプログラム。

Images