(本開示の基礎となる知見)
従来の三次元眼球モデルによる視線の検出方法においては、顔画像を解析することによって、両目の眼球に関する情報を検出し、当該検出した情報に基づいて視線方向が推定される。しかし、検出対象の人がわき見していることで、片方の目しか含まれていない顔画像が視線検出に用いられる場合がある。この場合、顔画像から検出可能な片目と、顔画像から検出できない片目とが共に略同じ方向を向いている等と推定する他なかった。
このように、従来の三次元眼球モデルによる視線の検出方法は、顔の片側を示す顔画像しか検出できない場合において、視線方向を精度良く検出することが困難であった。視線方向を精度良く検出できなければ、例えば、歩行者の進行方向に対して側方に設置した対象物に対して、歩行者の視線情報に基づき注視度やわき見の有無を判定することが困難になる。
本発明者は、このような課題に対して詳細な検討を行った結果、顔画像から片目しか検出できない場合、目とは異なる部位に関する情報を用いることにより、視線検出の精度を向上できるとの知見を得て、下記に示す各態様を想到するに至った。
本開示の第一の態様に係る視線検出方法は、視線検出装置における視線検出方法であって、人の顔の画像データを取得し、前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出し、前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記顔の画像データから前記人の耳を含む耳領域及び前記人の髪を含む髪領域の少なくとも一方を検出し、前記一方の目領域に含まれる一方の目の位置を示す情報と前記耳領域に含まれる耳の位置及び前記髪領域に含まれる髪の位置の少なくとも一方の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出し、前記一方の目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出する。
本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから耳領域及び髪領域の少なくとも一方が検出される。そして、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された耳領域及び髪領域の少なくとも一方に含まれる耳又は髪の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。そして、当該検出された顔の向きを示す情報と前記一方の目の位置を示す情報とに基づいて、人の視線を示す情報が検出される。
これにより、本構成は、右目又は左目だけを含む顔の画像データしか取得できない場合でも、両目の位置関係に代えて、検出された片目と耳又は髪との位置関係に基づいて、顔の向きを精度よく検出することができる。その結果、本構成は、顔画像から片方の目しか検出できない場合であっても、顔の向きを精度よく特定でき、ひいては視線の検出精度を向上させることができる。
上記態様において、前記一方の目領域のみを検出した場合、前記顔の画像データから前記耳領域を検出し、前記耳領域を検出できた場合、前記一方の目の位置を示す情報と前記耳の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出してもよい。
本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから耳領域が検出され、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された耳領域に含まれる耳の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、両目の位置関係に代えて、片目と耳の位置関係に基づいて、顔の向きを精度よく検出することができる。
上記態様において、前記耳領域を検出できなかった場合、前記顔の画像データから前記髪領域を検出し、前記一方の目の位置を示す情報と前記髪の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出してもよい。
本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから髪領域が検出され、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された髪領域に含まれる髪の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、両目の位置関係に代えて、片目と髪の位置関係に基づいて、顔の向きを精度よく検出することができる。
上記態様において、前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から前記耳の位置までの第二距離と、に基づいて、前記顔の向きを示す情報を検出してもよい。
本構成によれば、前記一方の目の位置から、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する顔の輪郭線上の点を示す輪郭点までの第一距離と、前記一方の目の位置から耳の位置までの第二距離とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、第一距離が示す、検出された片目よりも目頭側の顔の幅と、第二距離が示す、検出された片目よりも耳側、すなわち、目尻側の顔の幅とに基づいて、顔の向きを精度よく検出することができる。
上記態様において、前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から、前記一方の目の目頭の位置よりも目尻側に位置する前記髪領域内の点までの第三距離と、に基づいて、前記顔の向きを示す情報を検出してもよい。
本構成によれば、前記一方の目の位置から、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する顔の輪郭線上の点を示す輪郭点までの第一距離と、前記一方の目の位置から、前記一方の目の目頭の位置よりも目尻側に位置する髪領域内の点までの第三距離と、に基づいて、顔の向きを示す情報が検出される。これにより、本構成は、第一距離が示す、検出された片目よりも目頭側の顔の幅と、第三距離が示す、検出された片目よりも目尻側の顔の幅とに基づいて、顔の向きを精度よく検出することができる。
上記態様において、前記右目領域及び前記左目領域を検出した場合、前記顔の画像データから前記顔の向きを示す情報を検出し、前記右目領域に含まれる右目の位置及び前記左目領域に含まれる左目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出してもよい。
本構成によれば、顔の画像データから右目領域及び左目領域を検出した場合、顔の画像データから顔の向きを示す情報が検出される。そして、当該検出された顔の向きを示す情報と両目の位置を示す情報とに基づいて、人の視線を示す情報が検出される。これにより、本構成は、顔画像から両目を検出できる場合には、顔の画像データから得られる両目の位置と顔の向きとから、視線を検出することができる。
本開示の第二の態様に係る視線検出方法は、視線検出装置における視線検出方法であって、人の顔の画像データを取得し、前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出し、前記右目領域及び前記左目領域を検出した場合、前記顔の画像データから前記顔の向きを示す情報を検出し、前記右目領域に含まれる右目の位置を示す情報及び前記左目領域に含まれる左目の位置を示す情報と前記顔の向きを示す情報とを用いた第一の処理により前記人の視線を示す情報を検出し、前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記一方の目領域に含まれる一方の目の位置を示す情報と前記顔における目と異なる部位の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出し、前記一方の目の位置を示す情報と前記顔の向きを示す情報とを用いた第二の処理により前記人の視線を示す情報を検出する。
本構成によれば、顔の画像データから右目領域及び左目領域を検出した場合、顔の画像データから顔の向きを示す情報が検出される。そして、当該検出された顔の向きを示す情報と両目の位置を示す情報とを用いた第一の処理により、人の視線を示す情報が検出される。これにより、本構成は、顔画像から両目を検出できる場合には、第一の処理を行うことで、両目の位置と顔の向きとから、視線を検出することができる。
一方、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、前記一方の目領域に含まれる一方の目の位置を示す情報と、顔における目とは異なる部位の位置を示す情報と、に基づいて、顔の向きを示す情報が検出される。そして、当該検出された顔の向きを示す情報と前記一方の目の位置を示す情報とを用いた第二の処理により、人の視線を示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合には、目とは異なる部位と検出された片目との位置関係に基づいて顔の向きを検出し、第二の処理を行うことで、検出された片目の位置と当該検出された顔の向きとから、視線を検出することができる。
このように、本構成は、顔画像から検出される目の数に応じて処理を切り替えて、適切に視線を検出することができる。
上記態様において、前記異なる部位は、耳又は髪であってもよい。
本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、前記一方の目領域に含まれる一方の目の位置を示す情報と、耳又は髪の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、検出された片目と耳又は髪との位置関係に基づいて、顔の向きを精度よく検出することができる。
上記態様において、前記一方の目領域のみを検出した場合、前記顔の画像データから前記人の耳を含む耳領域を検出し、前記耳領域を検出できた場合、前記一方の目の位置を示す情報と前記耳領域に含まれる耳の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出してもよい。
本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから耳領域が検出され、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された耳領域に含まれる耳の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、両目の位置関係に代えて、片目と耳の位置関係に基づいて、顔の向きを精度よく検出することができる。
上記態様において、前記耳領域を検出できなかった場合、前記顔の画像データから前記人の髪を含む髪領域を検出し、前記一方の目の位置を示す情報と前記髪領域に含まれる髪の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出してもよい。
本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから髪領域が検出され、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された髪領域に含まれる髪の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、両目の位置関係に代えて、片目と髪の位置関係に基づいて、顔の向きを精度よく検出することができる。
上記態様において、前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と前記一方の目の位置から前記耳の位置までの第二距離とに基づいて、前記顔の向きを示す情報を検出してもよい。
本構成によれば、前記一方の目の位置から、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する顔の輪郭線上の点を示す輪郭点までの第一距離と、前記一方の目の位置から耳の位置までの第二距離とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、第一距離が示す、検出された片目よりも目頭側の顔の幅と、第二距離が示す、検出された片目よりも耳側、すなわち、目尻側の顔の幅とに基づいて、顔の向きを精度よく検出することができる。
上記態様において、前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から、前記一方の目の目頭の位置よりも目尻側に位置する前記髪領域内の点までの第三距離と、に基づいて、前記顔の向きを示す情報を検出してもよい。
本構成によれば、前記一方の目の位置から、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する顔の輪郭線上の点を示す輪郭点までの第一距離と、前記一方の目の位置から、前記一方の目の目頭の位置よりも目尻側に位置する髪領域内の点までの第三距離と、に基づいて、顔の向きを示す情報が検出される。これにより、本構成は、第一距離が示す、検出された片目よりも目頭側の顔の幅と、第三距離が示す、検出された片目よりも目尻側の顔の幅とに基づいて、顔の向きを精度よく検出することができる。
本開示は、このような視線検出方法に含まれる特徴的な各構成をコンピュータに実行させる制御プログラム、或いはこの制御プログラムによって動作する視線検出装置として実現することもできる。また、このような制御プログラムを、CD−ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
尚、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。
(実施の形態1)
図1は、本開示の実施の形態1に係る画像処理システム1の全体構成の一例を示す図である。画像処理システム1は、人物400を撮影し、得られた人物400の画像データから人物400の視線を示す視線情報を検出するシステムである。図1の例では、画像処理システム1は、表示装置300に表示された複数のオブジェクト301のうち、どのオブジェクト301を人物400が注視しているかを特定している。但し、これは一例であり、画像処理システム1は、表示装置300の表示画面上に表示されたオブジェクト301のみならず、実空間内において人物400が注視するオブジェクト301を特定してもよい。
図1の例では、画像処理システム1はデジタルサイネージシステムに適用されている。したがって、表示装置300に表示されるオブジェクト301は、広告等のサイネージの画像となる。
画像処理システム1は、画像処理装置100、カメラ200、及び表示装置300を含む。画像処理装置100は、カメラ200及び表示装置300と所定の通信路を介して接続されている。所定の通信路は、例えば、有線LAN等の有線の通信路、又は無線LAN及びブルートゥース(登録商標)等の無線の通信路である。画像処理装置100は、例えば表示装置300の周囲に設置されたコンピュータで構成されている。但し、これは一例であり、画像処理装置100は、クラウドサーバで構成されてもよい。この場合、画像処理装置100は、カメラ200及び表示装置300とインターネットを介して接続される。画像処理装置100は、カメラ200で撮像された人物400の画像データから、人物400の視線情報を検出し、表示装置300に出力する。また、画像処理装置100は、カメラ200又は表示装置300にハードウェアとして組み込まれてもよい。また、カメラ200又は表示装置300がプロセッサを備え、画像処理装置100がソフトウェアとして組み込まれていてもよい。
カメラ200は、例えば所定のフレームレートで表示装置300の周囲の環境を撮影することにより、表示装置300の周囲に位置する人物400の画像データを取得する。カメラ200は、取得した画像データを所定のフレームレートで順次に画像処理装置100に出力する。カメラ200は、可視光カメラであってもよいし、赤外光カメラであってもよい。また、カメラ200は、例えば、表示装置300又はスマートフォン等の電子機器が機能的に備える可視光カメラ又は赤外光カメラであってもよい。
表示装置300は、例えば液晶パネル又は有機ELパネル等の表示装置で構成されている。図1の例では、表示装置300は、サイネージディスプレイである。尚、図1の例では、画像処理システム1は、表示装置300を含むとして説明したが、これは一例であり、表示装置300に代えて、別の機器が採用されてもよい。例えば、画像処理システム1が視線により機器への入力を受け付けるユーザインターフェースとして利用されるのであれば、画像処理システム1は例えば表示装置300に代えて、冷蔵庫、テレビ、及び洗濯機等の家電機器が採用されてもよい。例えば、画像処理システム1が車両に搭載されるのであれば、表示装置300に代えて、自動車等の車両が採用されてもよい。この場合、カメラ200は、家電機器又は車両等が機能的に備える可視光カメラ又は赤外光カメラであってもよい。更に、表示装置300に代えてハードディスクドライブ、ソリッドステートドライブ等の記憶装置が採用されてもよい。
図2は、実施の形態1に係る画像処理システム1の詳細な構成の一例を示すブロック図である。画像処理装置100は、プロセッサ110を含む。プロセッサ110は、CPU、FPGA等の電気回路である。プロセッサ110は、視線検出装置120及び出力部130を含む。
視線検出装置120は、画像取得部121、目検出部122、両目視線検出部123、及び片目視線検出部124を含む。尚、プロセッサ110が備える各ブロックは、プロセッサ110がコンピュータを画像処理装置として機能させる制御プログラムを実行することで実現されてもよいし、専用の電気回路で構成されてもよい。
画像取得部121は、カメラ200が撮像した画像データを取得する。ここで、取得される画像データには、表示装置300の周囲の人物400(人の一例)の顔が含まれる。尚、画像取得部121が取得する画像データは、例えばウェブサイトに掲載された画像データであってもよいし、外部の記憶装置が記憶する画像データであってもよい。
目検出部122は、画像取得部121が取得した画像データから人物400の左目を含む左目領域及び人物400の右目を含む右目領域を検出する。以降、左目領域及び右目領域を総称する場合、目領域と記載する。詳細には、目検出部122は、目領域を検出するために予め作成された分類器を用いて目領域を検出すればよい。ここで用いられる分類器は、例えばオープンソースによる画像処理ライブラリにおいて目領域を検出するために予め作成されたハール(Haar)状のカスケード分類器である。
目領域は、目の大きさに所定のマージンを加えた程度のサイズを持つ矩形状の領域である。但し、これは一例であり、目領域の形状は矩形以外の、例えば、3角形、5角形、6角形、又は8角形等であってもよい。また、目領域の境界を目に対してどの位置に設定するのかは分類器の性能に依存する。
図3は、右目領域50R及び左目領域50Lの一例を示す図である。図3に示すように、本実施の形態において、目とは、上瞼の境界53と下瞼の境界54とによって取り囲まれる、白目と、黒目等の有色の部分とを含む領域を指す。瞳とは、図3に示すように、瞳孔55と、瞳孔55を取り囲むドーナツ状の虹彩56とを含む有色の部分を指す。また、本実施の形態では、説明の便宜上、右目とは人物400を正面から見て右側にある目のことを指し、左目とは人物400を正面から見て左側にある目のことを指す。図3は、目検出部122が、右目を含む右目領域50R及び左目を含む左目領域50Lを検出した例を示している。但し、これは一例であり、人物400から見て右側にある目を右目、人物400から見て左側にある目を左目としてもよい。また、本実施の形態では、紙面の右側の方向を右方、紙面の左側の方向を左方とする。
両目視線検出部123は、目検出部122が右目領域50R及び左目領域50Lを検出した場合、画像取得部121が取得した画像データから、人物400の顔の向きを示す情報(以降、顔向き情報)を検出する。そして、両目視線検出部123は、右目領域50Rに含まれる右目の位置を示す情報及び左目領域50Lに含まれる左目の位置を示す情報と、検出した顔向き情報とを用いた第一の処理により、人物400の視線を示す情報(以降、視線情報)を検出する。
具体的には、両目視線検出部123が行う顔向き情報の検出及び第一の処理には、3次元眼球モデルにより視線を検出する公知の視線検出処理を適用すればよい。両目視線検出部123は、顔向き情報の検出に適用する公知の視線検出処理に応じて、画像取得部121が取得した画像データから、顔向き情報を検出すればよい。顔向き情報には、例えば、カメラ200の光軸に対する顔の正面方向を示す角度等が含まれる。また、両目視線検出部123は、第一の処理として適用する公知の視線検出処理に応じて、目検出部122が検出した右目領域50R及び左目領域50Lから、右目及び左目の位置を示す情報を取得すればよい。右目の位置を示す情報には、例えば、右目の瞳、右目の瞳孔、右目の目頭、右目の目尻及び右目の重心の位置等が含まれる。同様に、左目の位置を示す情報には、例えば、左目の瞳、左目の瞳孔、左目の目頭、左目の目尻及び左目の重心の位置等が含まれる。
視線情報には、人物400の視線の方向を3次元的に示すベクトルが含まれてもよいし、所定の対象面(例えば表示装置300)における注視点の座標データが含まれてもよい。注視点は、例えば対象面と視線を示すベクトルとが交差する位置である。
片目視線検出部124は、目検出部122が右目領域50R又は左目領域50Lの一方の目領域50のみを検出した場合、前記一方の目領域50に含まれる一方の目の位置を示す情報と人物400の顔における目と異なる部位の位置を示す情報とに基づいて、顔向き情報を検出する。そして、片目視線検出部124は、前記一方の目の位置を示す情報と、検出した顔向き情報とを用いた第二の処理により、視線情報を検出する。尚、目と異なる部位には、例えば、耳又は髪等が含まれる。片目視線検出部124の詳細は、後述する。
出力部130は、両目視線検出部123及び片目視線検出部124によって検出された視線情報を表示装置300に出力する。出力部130は、表示装置300で表示されているオブジェクト301の情報を取得し、取得した情報と注視点の座標データとから人物400が注視するオブジェクト301(以降、注視オブジェクト)を特定し、特定結果を表示装置300に出力してもよい。
カメラ200は、図1で説明したため、ここでは説明を省略する。
表示装置300は、例えば出力部130から出力された視線情報を示すマーカーを表示する。表示装置300は、例えば出力部130から出力された人物400が注視するオブジェクト301を示すマーカーを表示してもよい。
例えば、表示装置300に対して、視線情報として注視点の座標データが出力されたとする。この場合、表示装置300は、座標データに対応する位置に、視線位置を示すマーカーを表示中の画像に重畳して表示させるといった処理を行う。例えば、表示装置300に対して、注視オブジェクトの特定結果が出力されたとする。この場合、表示装置300は、注視オブジェクトを示すマーカーを表示中の画面に重畳して表示させるといった処理を行ってもよい。
尚、画像処理システム1が、表示装置300に代えて家電機器で構成される場合、家電機器は視線情報から人物400の入力を受け付ける。また、画像処理システム1が、表示装置300に代えて記憶装置で構成される場合、記憶装置は、視線情報を記憶する。この場合、記憶装置は視線情報にタイムスタンプを対応付けて記憶してもよい。
次に、片目視線検出部124の詳細について説明する。図4は、片目視線検出部124の詳細な構成の一例を示すブロック図である。図4に示すように、片目視線検出部124は、耳検出部41(部位検出部の一例)、髪検出部42(部位検出部の一例)、顔向き検出部43、及び片側顔視線検出部44(視線検出部の一例)を含む。
耳検出部41は、画像取得部121が取得した画像データから、人物400の右耳を含む右耳領域及び人物400の左耳を含む左耳領域を検出する。詳細には、耳検出部41は、人物400の右耳を含む領域を検出するために予め作成された右耳用分類器を用いて右耳領域を検出し、人物400の左耳を含む領域を検出するために予め作成された左耳用分類器を用いて左耳領域を検出すればよい。ここで用いられる右耳用分類器及び左耳用分類器は、例えばオープンソースによる画像処理ライブラリにおいて右耳領域及び左耳領域のそれぞれを検出するために予め作成されたハール状のカスケード分類器である。以降、右耳領域及び左耳領域を総称する場合、耳領域と記載する。
耳領域は、耳の大きさ程度のサイズを持つ矩形状の領域である。但し、これは一例であり、耳領域の形状は矩形以外の、例えば、3角形、5角形、6角形、又は8角形等であってもよい。また、耳領域の境界を耳に対してどの位置に設定するのかは分類器の性能に依存する。
図5は、耳領域30の一例を示す図である。図5に示すように、本実施の形態において、耳とは、破線31で取り込まれた耳介を示す領域を指す。また、本実施の形態では、説明の便宜上、右耳とは人物400を正面から見て右側にある耳のことを指し、左耳とは人物400を正面から見て左側にある耳のことを指す。図5は、耳検出部41が、右耳用分類器を用いて右耳領域30R(不図示)を検出せずに、左耳用分類器を用いて左耳領域30Lだけを検出した例を示している。但し、これは一例であり、人物400から見て右側にある耳を右耳、人物400から見て左側にある耳を左耳としてもよい。
髪検出部42は、画像取得部121が取得した画像データから、人物400の髪を含む髪領域を検出する。以下、髪領域が検出される処理の詳細について説明する。
まず、髪検出部42は、画像取得部121が取得した画像データから、人物400の顔の少なくとも一部を含む顔領域を検出する。詳細には、髪検出部42は、顔領域を検出するために予め作成された分類器を用いて顔領域を検出すればよい。ここで用いられる分類器は、例えばオープンソースによる画像処理ライブラリにおいて顔領域を検出するために予め作成されたハール状のカスケード分類器である。
図6は、顔領域60の一例を示す図である。図6に示すように、顔領域60は、例えば顔の全体を含む程度のサイズを持つ矩形状の領域である。但し、これは一例であり、顔領域60の形状は矩形以外の例えば、3角形、5角形、6角形、又は8角形などであってもよい。また、髪検出部42は、例えば、パターンマッチングにより顔領域60を検出してもよい。
次に、髪検出部42は、検出した顔領域60を二値化する。図7は、二値化された顔領域60の一例を示す図である。ここでは、例えば大津の二値化と呼ばれる手法が採用されている。また、輝度が閾値より低い箇所が白、輝度が閾値以上の箇所が黒で表されている。
次に、髪検出部42は、二値化された顔領域60に現れる白の島にラベリング番号を付与するラベリング処理を行う。図7の例では、髪が1つの島71とみなされ、島71に「1」のラベリング番号が付与されている。また、左目が1つの島72とみなされ、島72に「2」のラベリング番号が付与されている。また、鼻の左孔が1つの島73とみなされ、島73に「3」のラベリング番号が付与されている。また、唇が一つの島74とみなされ、島74に「4」のラベリング番号が付与されている。
そして、髪検出部42は、ラベリングした島のうち、最も大きな面積を有する島を髪領域として検出する。図7の例では、島71が髪領域として検出される。
顔向き検出部43は、目検出部122によって検出された右目領域50R又は左目領域50Lの一方の目領域50に含まれる一方の目の位置を示す情報と、耳検出部41によって検出された耳領域30に含まれる耳の位置を示す情報又は髪検出部42によって検出された髪領域に含まれる髪の位置を示す情報と、に基づいて、顔向き情報を検出する。顔向き情報には、人物400の顔が右向きであるのか左向きであるのかを示す情報、及び、人物400がカメラ200の光軸に対して左右方向に顔の向きを傾けている度合(以降、顔向き度合)等が含まれる。以下、顔向き情報を検出する処理の詳細について説明する。
顔向き検出部43は、まず、人物400の顔が右向きであるのか、左向きであるのかを判断する。具体的には、耳検出部41によって左耳領域30Lが検出された場合、顔向き検出部43は、人物400が右方を向いていると判断し、顔の向きが右向きであると判断する。一方、耳検出部41によって右耳領域30Rが検出された場合、顔向き検出部43は、人物400が左方を向いていると判断し、顔の向きが左向きであると判断する。図5の例では、耳検出部41が左耳領域30Lを検出したので、顔の向きが右向きであると判定される。
尚、耳検出部41が右耳領域30Rと左耳領域30Lとを誤検出する虞がある。当該誤検出を考慮して、顔向き検出部43を以下のように構成してもよい。つまり、耳検出部41による耳領域30の検出後、顔向き検出部43が、髪検出部42と同様に、画像取得部121が取得した画像データから顔領域60を検出するようにしてもよい。そして、顔向き検出部43が、当該検出した顔領域60において、目検出部122によって検出された目領域50の位置が、耳検出部41が検出した耳領域30よりも右側にある場合に、顔の向きが右向きであると判定し、当該目領域50の位置が当該耳領域30よりも左側にある場合に、顔の向きが左向きであると判定するようにしてもよい。
また、顔向き検出部43は、髪検出部42によって髪領域として検出された島の重心の位置が、顔領域60における左半分の領域に存在する場合、人物400が右方を向いていると判断し、顔の向きが右向きであると判断する。一方、髪検出部42によって髪領域として検出された島の重心の位置が、顔領域60における右半分の領域に存在する場合、顔向き検出部43は、人物400が左方を向いていると判断し、顔の向きが左向きであると判断する。図7の例では、髪検出部42によって髪領域として検出された島71の重心の位置P71が、顔領域60における左半分の領域に存在するので、顔の向きが右向きであると判断される。
次に、顔向き検出部43は、画像取得部121が取得した画像データと、目検出部122が検出した一方の目領域50に含まれる目の位置を示す情報と、に基づいて、当該目の目尻の位置よりも当該目の目頭側に存在する人物400の顔の輪郭線上の点を示す輪郭点を検出する。以下、顔の向きが右向きであると判断された場合に、輪郭点が検出される処理の詳細について説明する。尚、顔の向きが左向きであると判断された場合に、輪郭点が検出される処理は、顔の向きが右向きであると判断された場合と同様であるので説明を省略する。
まず、顔向き検出部43は、髪検出部42と同様にして、画像取得部121が取得した画像データから顔領域60を検出して二値化する。次に、顔向き検出部43は、二値化した顔領域60に現れる白の島にラベリング番号を付与するラベリング処理を行う。図8は、二値化された顔領域60の他の一例を示す図である。
図8の例では、髪が1つの島81とみなされ、島81に「1」のラベリング番号が付与されている。左目が1つの島82とみなされ、島82に「2」のラベリング番号が付与されている。鼻の左孔が1つの島83とみなされ、島83に「3」のラベリング番号が付与されている。唇が一つの島84とみなされ、島84に「4」のラベリング番号が付与されている。左眉毛が一つの島85とみなされ、島85に「5」のラベリング番号が付与されている。右目の一部が一つの島86とみなされ、島86に「6」のラベリング番号が付与されている。
次に、顔向き検出部43は、ラベリングした島のうち、所定面積以下の面積を有する島であって、目検出部122が検出した一方の目領域50から、当該一方の目領域50に含まれる目の目頭側に最も離れている島を検出する。所定面積は、例えば目検出部122が検出した一方の目領域50の面積程度の面積に定められている。図8の例では、顔向き検出部43は、顔の向きが右向きであると判断している。そのため、顔向き検出部43は、目検出部122が検出した目領域50は、左目領域50Lであり、当該左目領域50Lに含まれる島82が左目を示していると判断する。次に、顔向き検出部43は、所定面積以下の面積を有し、且つ、左目領域50Lから、左目の目頭側である右方に最も離れている島86を検出する。
次に、顔向き検出部43は、検出した島に前記輪郭点があるとみなし、その輪郭点を検出する。図8の例では、顔向き検出部43は、検出した島86における、左目の目頭側、つまり、右方の端部P81を、輪郭点61として検出する。
次に、顔向き検出部43は、目検出部122が検出した目領域50から、当該目領域50に含まれる目の位置を示す情報として、当該目の重心及び目頭の位置を検出する。図8の例では、顔向き検出部43は、顔の向きが右向きであると判断したため、目検出部122が検出した目領域50は、左目領域50Lであり、当該左目領域50Lに含まれる島82が左目を示していると判断する。そこで、顔向き検出部43は、島82の重心の位置P82を、左目の重心の位置62として検出する。また、顔向き検出部43は、当該島82における、左目の目頭側、つまり、右方の端部P83を、左目の目頭の位置63として検出する。
次に、顔向き検出部43は、耳検出部41によって耳領域30が検出された場合、目検出部122によって検出された一方の目領域50に含まれる目の目頭の位置から輪郭点61までの第一距離を算出し、当該目頭の位置から耳検出部41によって検出された耳領域30に含まれる耳の位置までの第二距離を算出する。そして、顔向き検出部43は、第一距離と第二距離とに基づいて顔向き情報を検出する。
図8の例では、顔向き検出部43は、左目領域50Lに含まれる左目の目頭の位置63から輪郭点61までの水平方向の距離L1を第一距離(以降、第一距離L1)として算出する。顔向き検出部43は、耳検出部41によって検出された左耳領域30Lにおける、左目の目頭側、つまり、右方の端部を、当該耳領域30に含まれる耳の位置とする。そして、顔向き検出部43は、左目の目頭の位置63から当該耳の位置までの水平方向の距離L2を第二距離(以降、第二距離L2)として算出する。
図9は、上方からみた人物400の顔向き度合の一例を示す模式図である。人物400がカメラ200に向かって左右方向に顔の向きを傾ける度合が大きくなるほど、図9に示すように、カメラ200の光軸91に対する人物400の顔の正面方向92を示す角度(以降、姿勢角度)93は大きくなる。また、顔向き度合が大きくなるほど、カメラ200によって撮像される片目の目頭の位置から輪郭点までの第一距離L1は短くなり、当該目頭の位置から耳の位置までの第二距離L2は長くなる。したがって、顔向き度合を示す姿勢角度93と、第一距離L1に対する第二距離L2の比率(=L2/L1)又は第二距離L2に対する第一距離L1の比率(=L1/L2)と、の関係を示す関数(以降、第一関数)は、実験値等に基づいて予め定めることができる。
そこで、顔向き検出部43は、第一距離L1に対する第二距離L2の比率、又は、第二距離L2に対する第一距離L1の比率を算出する。そして、顔向き検出部43は、当該算出した比率を第一関数に入力することによって、当該入力した比率に対応する姿勢角度93を、顔向き度合として取得する。顔向き検出部43は、このようにして得られた顔向き度合を、顔向き情報として検出する。尚、顔向き度合の取得方法は、これに限らない。例えば、第一距離L1と第二距離L2との差分と、姿勢角度93と、の関係を示す関数を予め定め、当該関数を用いて顔向き度合が取得されてもよい。
耳が髪で覆われている人物400の顔の画像データから、耳領域30を検出することはできない。そこで、この場合、顔向き検出部43は、髪検出部42を用いて人物400の顔の画像データから髪領域を検出する。次に、顔向き検出部43は、第一距離L1を算出し、目検出部122によって検出された一方の目領域50に含まれる目の位置から、当該目の目頭の位置よりも目尻側に位置する前記髪領域内の点までの第三距離を算出する。そして、顔向き検出部43は、第一距離L1と第三距離とに基づいて顔向き情報を検出する。
以下、図7を用いて、髪領域から顔向き情報を検出する処理について説明する。図7の例では、顔向き検出部43は、図8の例と同様、左目領域50Lに含まれる島72が左目を示していると判断する。そして、顔向き検出部43は、所定面積以下の面積を有し、且つ、左目領域50Lから、左目の目頭側である右方に最も離れている島73における左目の目頭側の端部P75を、輪郭点61として検出する。また、顔向き検出部43は、左目を示す島72の重心の位置P72を左目の重心の位置62として検出し、当該島72における左目の目頭側の端部P73を左目の目頭の位置63として検出する。そして、顔向き検出部43は、検出した左目の目頭の位置63から、検出した輪郭点61までの水平方向の距離である第一距離L1を算出する。
また、顔向き検出部43は、髪検出部42によって検出された髪領域の重心の位置P71を前記髪領域内の点64として検出する。尚、前記髪領域内の点64は、これに限らず、髪領域を示す島71の輪郭線上において、左目領域50Lに含まれる左目の目頭の位置63から、左目の目尻側である左方に最も離れている点P74であってもよい。顔向き検出部43は、左目の目頭の位置63から前記髪領域内の点64までの水平方向の距離L3を、第三距離(以降、第三距離L3)として算出する。
そして、顔向き検出部43は、図8の例と同様にして、第一距離L1に対する第三距離L3の比率、又は、第三距離L3に対する第一距離L1の比率を算出する。そして、顔向き検出部43は、当該算出した比率を、第一関数と同様の第二関数に入力することによって、当該入力した比率に対応する姿勢角度93を、顔向き度合として取得する。第二関数は、姿勢角度93(図9)と、第一距離L1に対する第三距離L3の比率、又は、第三距離L3に対する第一距離L1の比率と、の関係を示す関数であり、実験値等に基づいて予め定められている。顔向き検出部43は、このようにして得られた顔向き度合を、顔向き情報として検出する。尚、顔向き度合の取得方法は、これに限らない。例えば、第一距離L1と第三距離L3との差分と、姿勢角度93と、の関係を示す関数を予め定め、当該関数を用いて顔向き度合が取得されてもよい。
片側顔視線検出部44は、目検出部122によって検出された一方の目領域50に含まれる目の位置を示す情報と、顔向き検出部43によって検出された顔向き情報と、に基づいて、視線情報を検出する第二の処理を行う。以下、第二の処理の詳細について説明する。
図10は、人物400の視野角94を示す図である。一般的に、人物400の目の視野角94は、人物400の顔の正面方向92に対して、左方及び右方に0度以上60度以下の範囲に収まるといわれている。そこで、本実施の形態では、視野角94が60度に予め定められているものとする。
片側顔視線検出部44は、第二の処理において、まず、目検出部122が検出した一方の目領域50から、当該一方の目領域50に含まれる目の目尻の位置を検出する。
図11は、視線方向の検出方法の説明図である。図11には、図8に示した左目領域50Lを拡大した図が示されている。図11の例では、片側顔視線検出部44は、顔向き検出部43によって左目を示していると判断された島82の左方の端部P85を、左目の目尻の位置65として検出する。
片側顔視線検出部44は、目検出部122によって検出された一方の目領域50に含まれる目の重心の位置62から、当該目の目尻の位置65までの水平方向の距離(以降、重心目尻間距離)を取得する。また、片側顔視線検出部44は、前記検出された一方の目領域50に含まれる目の重心の位置62から、当該目の目頭の位置63までの水平方向の距離(以降、重心目頭間距離)を取得する。そして、片側顔視線検出部44は、取得した重心目尻間距離及び重心目頭間距離と、予め定められた視野角94と、に基づき、顔の正面方向92に対する視線の方向を示す角度(以降、視線方向角度)を算出する。
具体的には、目検出部122によって検出された一方の目領域50に含まれる目の重心の位置62が当該目の目頭の位置63に近いほど、人物400の視線は、顔の正面方向92に近い方向を向いていると考えられる。一方、当該目の重心の位置62が当該目の目尻の位置65に近いほど、人物400の視線は、顔の正面方向92から離れた方向、つまり、顔の正面方向92に対して前記視野角94の分だけ左方又は右方に離れた方向に近い方向を向いていると考えられる。
そこで、図11の例では、片側顔視線検出部44は、目検出部122によって検出された左目領域50Lに含まれる左目の重心の位置62から、当該左目の目尻の位置65までの水平方向の距離である重心目尻間距離K1を取得する。また、片側顔視線検出部44は、左目の重心の位置62から左目の目頭の位置63までの水平方向の距離である重心目頭間距離K2を取得する。そして、片側顔視線検出部44は、当該取得した重心目尻間距離K1及び重心目頭間距離K2と、予め定められた視野角94の値α(=60°)と、を用いた以下の式によって、視線方向角度βを算出する。β=α×(K2/K1)。
片側顔視線検出部44は、当該算出した視線方向角度βを、顔向き検出部43によって検出された顔向き度合に加算した値を、カメラ200の光軸91に対する視線の方向を示す角度として算出する。片側顔視線検出部44は、当該算出したカメラ200の光軸91に対する視線の方向を示す角度を、視線情報として検出する。
次に、画像処理装置100の動作について説明する。図12は、実施の形態1に係る画像処理装置100の動作の一例を示すフローチャートである。
画像取得部121は、カメラ200から人物400の顔の画像データを取得する(ステップS1)。次に、目検出部122は、目領域50を検出するための分類器にステップS1で取得した画像データを入力することにより、当該画像データから右目領域50R及び左目領域50Lを検出する(ステップS2)。
ステップS2において、図3の例のように、右目領域50R及び左目領域50Lが検出されたとする(ステップS3でYES)。この場合、両目視線検出部123は、右目領域50Rに含まれる右目の位置を示す情報及び左目領域50Lに含まれる左目の位置を示す情報と、ステップS1で取得した画像データから検出した顔向き情報と、を用いた第一の処理により、視線情報を検出する(ステップS4)。
一方、図5及び図6の例のように、ステップS2において、右目領域50R又は左目領域50Lの一方の目領域50のみが検出されたとする(ステップS3でNO)。この場合、片目視線検出部124は、当該一方の目領域50に含まれる目の位置を示す情報と人物400の顔における目と異なる部位の位置を示す情報とに基づいて、顔向き情報を検出する。そして、片目視線検出部124は、当該一方の目の位置を示す情報と、検出した顔向き情報とを用いた第二の処理により、視線情報を検出する(ステップS5)。ステップS5における片目視線検出部124の動作の詳細については、後述する。
ステップS4又はステップS5の後、出力部130は、ステップS4又はステップS5で検出された視線情報を表示装置300に出力する(ステップS6)。
次に、ステップS5における片目視線検出部124の動作について説明する。図13は、実施の形態1に係る片目視線検出部124の動作の一例を示すフローチャートである。
ステップS5が開始されると、耳検出部41は、ステップS1で取得された画像データを右耳領域及び左耳領域を検出するための分類器に入力することにより、当該画像データから耳領域30を検出する(ステップS51)。例えば、ステップS51において、耳検出部41は、図5に示すように、ステップS1で取得された画像データから、左耳領域30Lを検出する。
ステップS51で耳領域30が検出された場合(ステップS52でYES)、顔向き検出部43は、ステップS2で検出された一方の目領域50に含まれる目の位置を示す情報と、ステップS51で検出された耳領域30に含まれる耳の位置を示す情報と、に基づいて、顔向き情報を検出する(ステップS53)。
例えば、ステップS51において、図5に示すように、左耳領域30Lが検出されたとする。この場合、ステップS53において、顔向き検出部43は、ステップS51で左耳領域30Lが検出されたので、顔の向きが右向きであると判断する。
この場合、顔向き検出部43は、図8に示すように、ステップS1で取得された画像データと、ステップS2で検出された左目領域50Lに含まれる左目の目頭の位置63と、に基づいて、左目の目頭の位置63から輪郭点61までの水平方向の距離である第一距離L1を算出する。顔向き検出部43は、更に、ステップS51で検出された左耳領域30Lにおける左目の目頭側の端部を当該耳領域30に含まれる耳の位置とし、左目の目頭の位置63から当該耳の位置までの水平方向の距離である第二距離L2を算出する。
そして、顔向き検出部43は、第一距離L1に対する第二距離L2の比率又は第二距離L2に対する第一距離L1の比率を算出し、当該算出した比率を第一関数に入力する。これにより、顔向き検出部43は、入力した比率に対応する姿勢角度93(図9)を、顔向き度合として取得する。顔向き検出部43は、このようにして得られた顔向き度合を、顔向き情報として検出する。
一方、ステップS51で耳領域30が検出されなかった場合(ステップS52でNO)、顔向き検出部43は、髪検出部42を用いて、ステップS1で取得された画像データから髪領域を検出する(ステップS54)。例えば、図7に示すように、ステップS54では、髪検出部42によって、ステップS1で取得された画像データから顔領域60が検出され、当該顔領域60を二値化した領域において最も大きな面積を有する島71が髪領域として検出される。
そして、顔向き検出部43は、ステップS2で検出された一方の目領域50に含まれる目の位置を示す情報と、ステップS54で検出された髪領域に含まれる髪の位置を示す情報と、に基づいて、顔向き情報を検出する(ステップS55)。
例えば、ステップS54において、図7に示すように、島71が髪領域として検出されたとする。この場合、ステップS55において、顔向き検出部43は、上述のように、髪領域として検出された島71の重心の位置P71が、顔領域60における左半分の領域に存在するので、顔の向きが右向きであると判断する。
この場合、顔向き検出部43は、図7に示すように、ステップS1で取得された画像データと、ステップS2で検出された左目領域50Lに含まれる左目の目頭の位置63と、に基づいて、左目の目頭の位置63から輪郭点61までの水平方向の距離である第一距離L1を算出する。また、顔向き検出部43は、更に、ステップS54で検出された髪領域の重心の位置P71を前記髪領域内の点64とし、左目の目頭の位置63から当該髪領域内の点64までの水平方向の距離である第三距離L3を算出する。
そして、顔向き検出部43は、第一距離L1に対する第三距離L3の比率又は第三距離L3に対する第一距離L1の比率を算出し、当該算出した比率を第二関数に入力する。これにより、顔向き検出部43は、入力した比率に対応する姿勢角度93(図9)を、顔向き度合として取得する。顔向き検出部43は、このようにして得られた顔向き度合を、顔向き情報として検出する。
ステップS53又はステップS55の後、片側顔視線検出部44は、ステップS2で検出された一方の目領域50に含まれる目の位置を示す情報と、ステップS53又はステップS55で検出された顔向き情報と、を用いた第二の処理によって、視線情報を検出する(ステップS56)。
例えば、ステップS56において、片側顔視線検出部44は、図11に示すように、ステップS2で検出された左目領域50Lに含まれる左目の重心の位置62から、当該左目の目尻の位置65までの水平方向の距離である重心目尻間距離K1を取得する。また、片側顔視線検出部44は、左目の重心の位置62から左目の目頭の位置63までの水平方向の距離である重心目頭間距離K2を取得する。そして、片側顔視線検出部44は、当該取得した重心目尻間距離K1及び重心目頭間距離K2と、予め定められた視野角94の値α(=60°)と、を用いた上記式(β=α×(K2/K1))によって、視線方向角度βを算出する。片側顔視線検出部44は、当該算出した視線方向角度βを、ステップS53又はステップS55で顔向き情報として検出された顔向き度合に加算した値を、視線情報として検出する。
以上説明したように、本実施の形態によれば、顔の画像データから、右目領域50R又は左目領域50Lの一方の目領域50のみを検出した場合、顔の画像データから耳領域30及び髪領域の少なくとも一方が検出される。そして、当該一方の目領域50に含まれる目の位置を示す情報と、当該検出された耳領域30及び髪領域の少なくとも一方に含まれる耳又は髪の位置を示す情報とに基づいて、顔向き情報が検出される。そして、当該検出された顔向き情報と前記目の位置を示す情報とに基づいて、視線情報が検出される。
これにより、本構成は、右目又は左目だけを含む顔の画像データしか取得できない場合でも、両目の位置関係に代えて、耳又は髪と検出された片目との位置関係に基づいて、顔向き情報を精度よく検出することができる。その結果、本構成は、顔画像から片方の目しか検出できない場合であっても、顔の向きを精度よく特定でき、ひいては視線の検出精度を向上させることができる。
尚、ステップS54において、髪領域が検出できない場合も考えられる。この場合、出力部130が、視線情報の検出ができない旨のエラーメッセージを表示装置300に出力するようにしてもよい。または、顔画像から検出可能な片目と、顔画像から検出できない片目とが共に略同じ方向を向いていると仮定して、ステップS4(図12)以降の処理が行われるようにしてもよい。
(実施の形態2)
実施の形態2は、人物400の関心度を推定するものである。図14は、実施の形態2に係る画像処理システム1Aの詳細な構成の一例を示すブロック図である。尚、本実施の形態において実施の形態1と同一の構成要素には同一の符号を付し、説明を省略する。また、図14において、図2と名称が同一であるが機能が異なるブロックには末尾にAの符号が付されている。
視線検出装置120Aは、更に、特徴点検出部140及び関心度推定部150を含む。
特徴点検出部140は、髪検出部42(図3)と同様、画像取得部121が取得した画像データから、顔領域を検出するために予め作成された分類器を用いて、人物400の顔の少なくとも一部を含む顔領域60を検出する。そして、特徴点検出部140は、当該検出した顔領域60から顔の特徴点を検出する。顔の特徴点とは、例えば目尻、目頭、顔の輪郭、鼻筋、口角、及び眉毛などの顔を構成する複数の部品のそれぞれにおいて、特徴的な位置にある1又は複数の点である。特徴点はランドマークとも呼ばれる。特徴点検出部140は、例えば機械学習のフレームワークのモデルファイルを利用したランドマーク検出処理を実行することで顔の特徴点を検出すればよい。
関心度推定部150は、以下の処理により人物400の関心度を推定する。まず、関心度推定部150は、特徴点検出部140により検出された顔の特徴点を用いて、顔領域60からまゆげ及び口角を検出する。ここで、関心度推定部150は、特徴点検出部140により検出された顔の特徴点において、まゆげ及び口角のそれぞれに対応するランドマーク点番号が付された特徴点を特定することで、まゆげ及び口角を検出すればよい。
次に、関心度推定部150は、両目視線検出部123又は片目視線検出部124により検出された視線情報と、検出したまゆげの位置及び口角の位置とに基づいて人物400の関心度を推定し、表示装置300に出力する。具体的には、関心度推定部150は、例えば、人が喜び、驚き、怒り、悲しみ、及び無表情等の各種表情をしている際のまゆげ及び口角の標準的な位置が予め記述されたパターンデータを例えばメモリ(図略)から取得する。そして、関心度推定部150は、検出した人物400のまゆげ及び口角の位置と、パターンデータとを照合し、人物400の表情を推定する。そして、関心度推定部150は、推定した人物400の表情と視線情報が示す視線とを用いて、人物400の視線がどの方向にある、又は人物400の注視点がどの位置にあるときに人物400がどのような表情を行ったかを特定する。すなわち、関心度推定部150は、視線情報と人物400の表情とを対応付けたデータを人物400の関心度として特定する。尚、ここでは、関心度推定部150は、まゆげ及び口角に基づいて関心度を推定するとして説明したが、これは一例であり、まゆげ及び口角の一方に基づいて関心度を推定してもよい。
以上説明したように、本実施の形態によれば、視線情報に加えてまゆげ及び口角を更に用いて人物400の関心度が推定されているため、視線情報のみに基づく関心度推定に比べてより高精度に関心度を推定できる。
(変形例)
(1)カメラ200として赤外光カメラが採用された場合、赤外光カメラは、太陽光のスペクトル強度が所定の第一波長よりも減衰した所定の第二波長の帯域の赤外光を用いる赤外光カメラで構成すればよい。所定の第一波長は、例えば850nmである。所定の第二波長は、例えば940nmである。第二波長の帯域は、例えば850nmを含まず、且つ940nmを基準(例えば中心)とする所定幅の帯域である。近赤外光を撮影する赤外光カメラとして、850nmの赤外光を用いるものが知られている。しかし、850nmでは太陽光のスペクトル強度が十分に減衰していないため、太陽光のスペクトル強度が強い屋外において高精度な視線情報の検出ができない可能性がある。そこで、本開示は、赤外光カメラとして例えば940nmの帯域の赤外光を用いるカメラを採用する。これにより、太陽光のスペクトル強度が強い屋外においても高精度な視線情報の検出を行うことができる。ここでは、所定の第二波長は940nmとしたが、これは一例であり、940nmから多少ずれた波長であってもよい。尚、第二波長の赤外光を用いる赤外光カメラは、例えば第二波長の赤外光を照射する投光器を備えるカメラである。
(2)上記実施の形態では、視線情報は注視点を示す座標データを含むとして説明したが、本開示はこれに限定されない。例えば、視線情報は、注視点を基準(例えば中心)とする所定サイズの所定形状(例えば円、四角形等)の領域である注視面を示す座標データを含んでいてもよい。これにより、人物400及び注視対象物間の距離又は注視対象物の大きさに依存することなく注視対象物を適切に判定できる。