JP2017169803A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2017169803A JP2017169803A JP2016059122A JP2016059122A JP2017169803A JP 2017169803 A JP2017169803 A JP 2017169803A JP 2016059122 A JP2016059122 A JP 2016059122A JP 2016059122 A JP2016059122 A JP 2016059122A JP 2017169803 A JP2017169803 A JP 2017169803A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processing apparatus
- cornea
- image
- polarization image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Engineering & Computer Science (AREA)
- Vascular Medicine (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】視線の検出対象の視線を検出することが可能な、情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】視線の検出対象の眼が撮像された偏光画像に基づいて、検出対象の視線を検出する処理部を備える、情報処理装置が、提供される。【選択図】図16
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
偏光画像に基づいて被写体の法線方向ベクトルを推定する技術が、開発されている。撮像位置が異なる複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
視線の検出に用いられる手法としては、例えば、IR LED(InfraRed Light Emitting Diode)などの光源の光が角膜において反射された角膜反射像(「プルキニエ像」とも呼ばれる。以下では、角膜反射像を、「プルキニエ像」または「輝点」と示す場合がある。)を用いる角膜反射法を利用する方法が、ある。角膜反射法が用いられる場合、例えば、2つのプルキニエ像を撮像デバイスで撮像して、2つのプルキニエ像を観測することによって、眼の角膜中心の3次元位置を求めることが可能である。よって、角膜反射法が用いられる場合には、人や動物などの視線の検出対象(以下、単に「検出対象」と示す場合がある。)の視線を検出することができる。
しかしながら、角膜反射法が用いられる場合には、IR LEDなどの光源の光を利用する必要があるので、下記のような弊害が生じうる。
・視線の検出精度が、プルキニエ像の観測の安定性に依存する。
・IR LEDなどの光源の光は太陽光の影響を受けやすいので、例えば屋外などでは、視線の検出精度が低下する恐れがある。
・IR LEDなどの光源の光が利用されることによって、視線の推定角度に制限がつく恐れがある。
・IR LEDなどの光源を設ける必要があるため、装置のデザインに制約が生じうる。
・視線の検出精度が、プルキニエ像の観測の安定性に依存する。
・IR LEDなどの光源の光は太陽光の影響を受けやすいので、例えば屋外などでは、視線の検出精度が低下する恐れがある。
・IR LEDなどの光源の光が利用されることによって、視線の推定角度に制限がつく恐れがある。
・IR LEDなどの光源を設ける必要があるため、装置のデザインに制約が生じうる。
本開示では、視線の検出対象の視線を検出することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、視線の検出対象の眼が撮像された偏光画像に基づいて、上記検出対象の視線を検出する処理部を備える、情報処理装置が、提供される。
また、本開示によれば、視線の検出対象の眼が撮像された偏光画像に基づいて、上記検出対象の視線を検出するステップを有する、情報処理装置により実行される情報処理方法が、提供される。
また、本開示によれば、視線の検出対象の眼が撮像された偏光画像に基づいて、上記検出対象の視線を検出する機能を、コンピュータに実現させるためのプログラムが、提供される。
本開示によれば、視線の検出対象の視線を検出することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
[1]本実施形態に係る情報処理方法の概要
上述したように、角膜反射法を用いて視線の検出を行う場合には、IR LEDなどの光源の光を利用することに起因して、様々な弊害が生じうる。
上述したように、角膜反射法を用いて視線の検出を行う場合には、IR LEDなどの光源の光を利用することに起因して、様々な弊害が生じうる。
そこで、本実施形態に係る情報処理装置は、視線の検出対象の眼が撮像された偏光画像に基づいて、検出対象の視線を検出する(検出処理)。本実施形態に係る情報処理装置は、後述するように、偏光画像に基づいて眼における角膜の中心位置を推定して、検出対象の視線を検出する。角膜の中心位置は、後述するように、偏光画像に基づき検出された眼における瞳孔の位置と、偏光画像とに基づいて、推定される。
より具体的には、本実施形態に係る情報処理装置は、偏光画像から得られる法線に基づいて、検出対象の視線を検出する。
本実施形態に係る偏光画像とは、偏光イメージング技術を利用して撮像デバイスにより撮像された撮像画像である。
図1は、本実施形態に係る情報処理方法を説明するための説明図であり、本実施形態に係る情報処理方法の適用例を示している。
図1のAは、撮像デバイスが、検出対象の頭部に装着して用いられるウェアラブル装置に備えられる場合の一例を示している。つまり、図1のAは、撮像デバイスが検出対象に対する所定位置に固定されている場合の一例を示しており、図1のAに示す例では、本実施形態に係る情報処理装置は、当該撮像デバイスから偏光画像を取得する。検出対象の頭部に装着して用いられるウェアラブル装置としては、図1のAに示すような眼鏡型のウェアラブル装置(アイウェア)や、HMD(Head Mounted Display)などが挙げられる。また、図1のAに示す例では、ウェアラブル装置が備える表示デバイスの表示画面に、UI(User Interface)に係る画像などの、様々な画像(静止画像または動画像)が、表示される。
図1のBは、撮像デバイスが、環境に設けられる例を示している。また、図1のBに示す例では、環境に設けられている表示デバイスの表示画面に様々な画像が、表示される。つまり、図1のBは、撮像デバイスが表示デバイスに対する所定位置に固定されている場合の一例を示しており、図1のBに示す例では、本実施形態に係る情報処理装置は、当該撮像デバイスから偏光画像を取得する。
以下では、検出対象が、図1に示すような人である場合を例に挙げる。
また、図1に示す適用例において、本実施形態に係る情報処理装置としては、例えば、図1のAに示すようなウェアラブル装置、図1のBに示すような表示デバイス、または、PC(Personal Computer)やサーバなどのコンピュータなどが、挙げられる。なお、本実施形態に係る情報処理装置は、上記に示す例に限られない。本実施形態に係る情報処理装置の他の適用例については、後述する。
偏光画像は、例えば、図1のAに示すようなウェアラブル装置に備えられる撮像デバイスによる撮像、または、図1のBに示すような環境に設けられる撮像デバイスによる撮像によって、得られる。
なお、本実施形態に係る撮像デバイスは、ステレオ画像を撮像するステレオカメラであってもよい。本実施形態に係る撮像デバイスがステレオカメラである場合、ステレオカメラによる撮像によって、右眼画像に対応する第1の偏光画像(または、左眼画像に対応する第1の偏光画像)と、左眼画像に対応する第2の偏光画像(または、右眼画像に対応する第2の偏光画像)という、ステレオ画像を構成する2つの偏光画像が得られる。
偏光画像は、例えば、“撮像デバイスのレンズの前(レンズからみて被写体側)に偏光版を設置し、設置された偏光板を回転させて複数回撮像すること”、“撮像デバイスの各画素に対して、偏光角が異なる偏光フィルタを配置し、1回撮像すること”などによって、得られる。
図2は、本実施形態に係る偏光画像の取得方法の一例を示す説明図であり、撮像デバイスの各画素に対して配置される偏光フィルタの一例を示している。図2では、0[度]、45[度]、90[度]、135[度]という4種類の偏光角を有する偏光フィルタが、各画素に対して配置される例を示している。
例えば図2に示すような偏光角が異なる複数の偏光フィルタを通して撮像が行われることによって、撮像デバイスでは、偏光画像が生成される。なお、本実施形態に係る偏光フィルタの例が、図2に示す例に限られないこと、および、偏光画像の取得方法が、偏光フィルタを利用した方法に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、例えば図2に示すような複数の偏光フィルタを通した撮像により得られた偏光画像に基づいて、法線を得る。本実施形態に係る情報処理装置は、例えば、偏光画像が示す光強度(複数の偏光フィルタを通して得られる強度)をコサインカーブにフィッティングし、各画素の法線ベクトルを特定することによって、法線を得る。
また、本実施形態に係る情報処理装置は、例えば、複数の偏光フィルタを通して撮像された偏光画像の平均をとることによって、輝度画像(または、RGBフィルタをさらに利用する場合はRGB画像。以下、同様とする。)を得ることが可能である。
ここで、各画素の法線ベクトルは、方位角と天頂角で表現される。
図3は、本実施形態に係る情報処理方法を説明するための説明図であり、法線ベクトルに対応する方位角と天頂角との一例を示している。
方位角は、コサインカーブの位相から算出することができ、また、天頂角は、コサインカーブの振幅から算出することができる。
ここで、方位角は180[度]の不定性を有する。そのため、被写体のある位置における法線ベクトルを一意に特定することができない場合がある。
図4は、本実施形態に係る情報処理方法を説明するための説明図であり、方位角の不定性により法線ベクトルが一意に特定されてない場合の一例を示している。
図4に示すように、方位角が180[度]の不定性を有することによって、法線ベクトル1と法線ベクトル2という2つの法線ベクトルが得られることから、被写体のある位置における法線ベクトルを一意に特定することができないことが起こりうる。
本実施形態に係る情報処理方法に係る検出処理では、後述するように、偏光画像に基づいて検出対象の視線を検出する際に、検出対象の眼における角膜表面の法線(以下、「角膜に対応する法線」と示す。)を求める。ここで、検出対象の眼は、球体であること(または、球体とみなせること)が既知であるので、偏光画像から得られる輝度画像上での瞳孔の位置を検出すれば、図4に示すような上記不定性を解消することができる。つまり、本実施形態に係る情報処理装置は、検出された眼における瞳孔の位置に基づいて、偏光画像から得られる複数の法線から、角膜に対応する法線を特定する。また、本実施形態に係る情報処理装置は、検出された眼における瞳孔の位置および角膜の形状に基づいて、角膜に対応する法線を推定する。
上記のように、本実施形態に係る情報処理装置は、偏光イメージング技術を利用して得られた偏光画像に基づいて、検出対象の眼における角膜に対応する法線を求めることが可能である。
本実施形態に係る情報処理装置は、偏光画像から得られる法線に基づいて検出対象の眼における角膜の中心位置を推定する。本実施形態に係る情報処理装置は、例えば、求められた角膜に対応する法線に基づいて、眼における角膜の中心位置を推定する。
眼における角膜の中心位置が推定されることによって、角膜反射法が用いられる場合と同様に、検出対象の視線を検出することができる。
ここで、本実施形態に係る情報処理装置は、偏光画像に基づき得られた角膜に対応する法線に基づき角膜の中心位置を推定する。つまり、本実施形態に係る情報処理装置では、角膜反射法が用いられる場合のように、プルキニエ像を利用して角膜の中心位置を推定する必要はない。
したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、検出処理を行うことによって、角膜反射法を用いて視線の検出を行う場合のような弊害を生じさせずに、検出対象の視線を検出することができる。
また、本実施形態に係る撮像デバイスがステレオカメラである場合、本実施形態に係る情報処理装置は、ステレオ画像を構成する第1の偏光画像および第2の偏光画像それぞれから得られる法線に基づいて、検出対象の視線を検出する。後述するように、本実施形態に係る情報処理装置は、第1の偏光画像および第2の偏光画像それぞれから得られる法線に基づいて、検出対象の眼における角膜の中心位置を推定することによって、検出対象の視線を検出する。
よって、本実施形態に係る情報処理装置は、ステレオ画像を構成する第1の偏光画像および第2の偏光画像に基づいて検出処理を行う場合においても、角膜反射法を用いて視線の検出を行う場合のような弊害を生じさせずに、検出対象の視線を検出することができる。
[2]本実施形態に係る情報処理方法に係る処理の一例
本実施形態に係る情報処理装置は、“偏光画像から得られる法線に基づいて、検出対象の視線を検出する検出処理”を行う。
本実施形態に係る情報処理装置は、“偏光画像から得られる法線に基づいて、検出対象の視線を検出する検出処理”を行う。
上述したように、本実施形態に係る情報処理装置は、偏光画像から得られる法線に基づいて眼における角膜の中心位置を推定して、検出対象の視線を検出する。本実施形態に係る情報処理装置は、偏光画像に基づき推定される角膜に対応する法線に基づいて、角膜の中心位置を推定する。
以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
図5は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。
本実施形態に係る情報処理装置は、偏光画像から輝度画像(または、RGB画像)を生成する(S100)。複数の偏光フィルタを通して撮像された偏光画像の平均をとることによって、輝度画像を生成する。また、本実施形態に係る情報処理装置は、さらに、RGBフィルタをかけることによって、RGB画像を生成することが可能である。以下では、ステップS100において、輝度画像が生成される場合を例に挙げる。
本実施形態に係る情報処理装置は、輝度画像から検出対象の眼における瞳孔を検出する(S102)。本実施形態に係る情報処理装置は、例えば、瞳孔検出用の辞書データを利用した機械学習によって、輝度画像から瞳孔を検出する。
本実施形態に係る情報処理装置は、輝度画像から瞳孔が検出されたか否かを判定する(S104)。ここで、ステップS104において輝度画像から瞳孔が検出されたと判定されない場合は、撮像デバイスにおける撮像により得られた偏光画像が、検出対象の眼が撮像された偏光画像ではない場合に該当する。また、ステップS104において輝度画像から瞳孔が検出されたと判定された場合は、撮像デバイスにおける撮像により得られた偏光画像が、検出対象の眼が撮像された偏光画像である場合に該当する
ステップS104において輝度画像から瞳孔が検出されたと判定されない場合、本実施形態に係る情報処理装置は、例えば、ステップS100からの処理を繰り返す。
また、ステップS104において輝度画像から瞳孔が検出されたと判定された場合には、本実施形態に係る情報処理装置は、例えば、偏光画像から法線画像を生成する(S106)。法線画像とは、例えば、偏光画像の各画素において特定される法線ベクトルで表された画像である。つまり、ステップS106の処理は、偏光画像の各画素において法線を得る処理に該当する。
本実施形態に係る情報処理装置は、ステップS102における瞳孔の検出結果と、ステップS106において生成された法線画像とに基づいて、瞳孔位置から角膜上の最近点を求める(S108)。
図6は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、角膜上の最近点の一例を示している。例えば図6に示すように、角膜上の最近点とは、例えば、天頂角が最も小さい角膜上の位置に対応する点である。
例えばステップS108の処理は、偏光画像に基づき検出された眼における瞳孔の位置と、偏光画像から得られる法線とに基づいて、角膜に対応する法線を推定する処理に、該当する。
本実施形態に係る情報処理装置は、検出対象の眼が球体とみなせる、すなわち、角膜が球体とみなせる(または、角膜が凸球面とみなせる)ということを示す情報に基づいて、上述した方位角の不定性を除去する(S110)。
図7は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、方位角の不定性を除去した後の法線ベクトルの一例を示している。
本実施形態に係る情報処理装置は、角膜の中心位置を推定する(S112)。角膜の中心位置は、例えば、3次元の座標で表される。
本実施形態に係る情報処理装置は、例えば下記の(1)に示す第1の例に係る処理〜(4)に示す第4の例に係る処理のいずれかの処理を行うことによって、角膜の中心位置を求めることによって、角膜の中心位置を推定する。
(1)角膜の中心位置の推定に係る処理の第1の例:角膜上の複数の法線に基づく推定の第1の例
本実施形態に係る情報処理装置は、例えば、角膜上の複数の法線に基づいて、角膜の中心位置を推定する。
本実施形態に係る情報処理装置は、例えば、角膜上の複数の法線に基づいて、角膜の中心位置を推定する。
本実施形態に係る情報処理装置は、例えば、角膜上の複数の法線の最近傍点を求め、求められた最近傍点を、角膜の中心位置とする。本実施形態に係る情報処理装置は、例えば、角膜の半径に基づいて、角膜上の複数の法線の最近傍点を求める。
本実施形態に係る情報処理装置が角膜の中心位置の推定に用いる角膜の半径は、予め設定されている固定値であってもよいし、検出対象に対応する調整値により当該固定値が調整される可変値であってもよい。角膜の半径が可変値である場合、本実施形態に係る情報処理装置は、例えば、“生体認証、パスワード認証などの任意の方法によって特定された、検出対象の認識結果”と、“検出対象と調整値とが対応付けられているテーブル(またはデータベース。以下、同様とする。)”とに基づいて、検出対象に対応する調整値を特定する。
(2)角膜の中心位置の推定に係る処理の第2の例:角膜上の複数の法線に基づく推定の第2の例
本実施形態に係る情報処理装置は、例えば、角膜上の複数の法線に基づいて、角膜の中心位置を推定する。
本実施形態に係る情報処理装置は、例えば、角膜上の複数の法線に基づいて、角膜の中心位置を推定する。
図8は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図8は、角膜上の2つの法線に基づいて、角膜の中心位置を推定する場合の例を示している。
撮像デバイスの中心位置(以下、「カメラ中心」と示す場合がある。)を座標系の原点O、角膜の中心位置をC=(cx,cy,cz)、角膜半径をr、角膜上の点をG1、
G2とする。また、角膜上の点G1上の法線ベクトルをN1、角膜上の点G2上の法線ベクトルをN2、撮像デバイスの中心位置Oから角膜上の点G1に向かうベクトルをI1、撮像デバイスの中心位置Oから角膜上の点G2に向かうベクトルをI2、撮像デバイスの中心位置Oと角膜上の点G1との間の距離をd1、撮像デバイスの中心位置Oと角膜上の点G2との間の距離をd2とする。以下では、撮像デバイスの中心位置Oと角膜上の点G1との間の距離d1を「距離d1」と示し、撮像デバイスの中心位置Oと角膜上の点G2との間の距離d2を「距離d2」と示す場合がある。
G2とする。また、角膜上の点G1上の法線ベクトルをN1、角膜上の点G2上の法線ベクトルをN2、撮像デバイスの中心位置Oから角膜上の点G1に向かうベクトルをI1、撮像デバイスの中心位置Oから角膜上の点G2に向かうベクトルをI2、撮像デバイスの中心位置Oと角膜上の点G1との間の距離をd1、撮像デバイスの中心位置Oと角膜上の点G2との間の距離をd2とする。以下では、撮像デバイスの中心位置Oと角膜上の点G1との間の距離d1を「距離d1」と示し、撮像デバイスの中心位置Oと角膜上の点G2との間の距離d2を「距離d2」と示す場合がある。
ここで、角膜の中心位置Cの座標、撮像デバイスの中心位置Oと角膜上の点G1との間の距離d1、および撮像デバイスの中心位置Oと角膜上の点G2との間の距離d2が、未知である。以下では、撮像デバイスの中心位置Oと角膜上の点G1との間の距離d1を「距離d1」と示し、撮像デバイスの中心位置Oと角膜上の点G2との間の距離d2を「距離d2」と示す場合がある。
本実施形態に係る情報処理装置は、例えば、角膜の中心位置Cの座標、距離d1、および距離d2を未知として、下記の数式1を距離d1、距離d2について解くことによって、角膜の中心位置Cの座標を求める。ここで、数式1で示される各ベクトルは、x座標成分、y座標成分、およびz座標成分を有するので、数式1は、非線形連立方程式に該当する。また、撮像デバイスの中心位置Oから角膜の中心位置Cへ向かうベクトルは、下記の数式2で表され、距離d1および距離d2は、下記の数式3で表される。
本実施形態に係る情報処理装置は、上記数式1より求められた距離d1、および距離d2と、上記数式3とによって、角膜上の点G1の位置および角膜上の点G2の位置を求める。そして、本実施形態に係る情報処理装置は、角膜上の点G1の位置、角膜上の点G1上の法線ベクトルN1、角膜上の点G2の位置、角膜上の点G2上の法線ベクトルN2、および角膜半径rによって、角膜の中心位置Cの座標を求める。
本実施形態に係る情報処理装置は、例えば上記のように、角膜上の2つの法線に基づいて角膜の中心位置を推定することができる。
なお、角膜上の法線がN本(Nは、3以上の整数)ある場合には、本実施形態に係る情報処理装置は、例えば、上記数式1をN本の法線に拡張し、N個の未知数を求めることによって、角膜上の2つの法線に基づく場合と同様に、角膜の中心位置Cの座標を求めることができる。ここで、角膜の中心位置Cの座標の推定に用いる角膜上の法線の数を増やすことによって、ノイズなどの影響の軽減を図ることができる。
(3)角膜の中心位置の推定に係る処理の第3の例:角膜上の複数の法線に基づく推定の第3の例
なお、角膜上の複数の法線に基づく推定の例は、上記第1の例に係る処理と、上記第2の例に係る処理とに限られない。
なお、角膜上の複数の法線に基づく推定の例は、上記第1の例に係る処理と、上記第2の例に係る処理とに限られない。
上述したように、本実施形態に係る情報処理装置は、ステレオ画像を構成する第1の偏光画像および第2の偏光画像それぞれから得られる法線に基づいて、検出対象の眼における角膜の中心位置を推定することも、可能である。
第1の偏光画像および第2の偏光画像に基づいて、検出対象の眼における角膜の中心位置を推定する場合、本実施形態に係る情報処理装置は、第1の偏光画像および第2の偏光画像に基づいて視差を求める。そして、本実施形態に係る情報処理装置は、求められた視差を利用して、角膜の中心位置を推定する。
(3−1)第1の偏光画像および第2の偏光画像に基づき視差を求める処理の一例
第1の偏光画像および第2の偏光画像に基づいて視差を求める処理の一例を説明する。図9は、本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図であり、第1の偏光画像および第2の偏光画像に基づき視差を求める処理の一例を示している。
第1の偏光画像および第2の偏光画像に基づいて視差を求める処理の一例を説明する。図9は、本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図であり、第1の偏光画像および第2の偏光画像に基づき視差を求める処理の一例を示している。
本実施形態に係る情報処理装置は、図5のステップS100と同様に、第1の偏光画像から輝度画像を生成し、第2の偏光画像から輝度画像を生成する(S200)。以下では、第1の偏光画像から生成される輝度画像を「第1の輝度画像」と示し、第2の偏光画像から生成される輝度画像を「第2の輝度画像」と示す。
なお、本実施形態に係る情報処理装置は、ステップS200の処理を行わずに、図5のステップS100の処理により生成された第1の偏光画像に対応する輝度画像と第2の偏光画像に対応する輝度画像とを、ステップS202以降の処理に用いることも可能である。
本実施形態に係る情報処理装置は、第1の偏光画像および第2の偏光画像それぞれから法線方向を推定する(S202)。本実施形態に係る情報処理装置は、例えば、図5のステップS106と同様の処理を行うことによって、第1の偏光画像および第2の偏光画像それぞれから法線方向を推定する。以下では、第1の偏光画像から生成される法線画像を「第1の法線画像」と示し、第2の偏光画像から生成される法線画像を「第2の法線画像」と示す。
なお、本実施形態に係る情報処理装置は、ステップS202の処理を行わずに、図5のステップS106の処理の結果を、ステップS204以降の処理に用いることも可能である。
本実施形態に係る情報処理装置は、ステレオ画像(第1の偏光画像および第2の偏光画像。以下、同様とする。)に対応する輝度画像、およびステレオ画像に対応する法線画像を、並行化する(S204)。本実施形態に係る情報処理装置は、例えば、第1の輝度画像と第2の輝度画像とに対して、対応する画素の法線が合うようにワーピングを行うことによって、ステレオ画像に対応する輝度画像を並行化する。また、本実施形態に係る情報処理装置は、例えば、第1の法線画像と第2の法線画像とに対して、対応する画素の法線が合うようにワーピングを行うことによって、ステレオ画像に対応する法線画像を並行化する。ワーピングの一例については、後述する。
本実施形態に係る情報処理装置は、ステレオ画像に対応する輝度画像と、ステレオ画像に対応する法線画像から得られる法線を示す法線情報とに基づいて、第1の輝度画像と第2の輝度画像とをマッチングするための特徴量(以下、「マッチング用の特徴量」と示す。)を、算出する(S206)。マッチング用の特徴量は、例えば、ステレオ画像における対応する複数の画素に対して算出される。
ここで、マッチング用の特徴量を求める手法としては、“AD(Absolute Difference)”、“SAD(Sum Of Absolute Difference)”、“NCC(Normalized Cross-Correlation)”、“Census Transform”、“LBP(Local Binary Pattern)”などが挙げられる。
しかしながら、“AD”などの既存のマッチング用の特徴量を求める手法は、主にテクスチャを特徴としたマッチングに係る処理である。そのため、既存のマッチング用の特徴量を求める手法のみを用いる場合、例えばテクスチャが少ない被写体がステレオカメラにより撮像されるときには、第1の輝度画像と第2の輝度画像とをマッチングすることができないことが起こりうる。
そこで、本実施形態に係る情報処理装置は、例えば、法線情報を利用して得られるスコアに基づいて、マッチング用の特徴量を算出する。また、後述するように、本実施形態に係る情報処理装置は、さらに、1または2以上の上記既存のマッチング用の特徴量を求める手法を利用して得られる、1または2以上のスコアに基づいて、マッチング用の特徴量を算出することも、可能である。
法線情報を利用して得られるスコアに基づきマッチング用の特徴量を算出することによって、テクスチャが少ない被写体が撮像される場合であっても、マッチングの精度を向上させることが可能となる。よって、法線情報を利用して得られるスコアに基づきマッチング用の特徴量を算出することによって、上記既存のマッチング用の特徴量を求める手法のみが用いられる場合よりも、マッチングの精度を向上を図ることができる。
本実施形態に係る情報処理装置は、例えば、下記の数式4によって、マッチング用の特徴量を算出する。
ここで、数式4に示す“Matching Score”が、マッチング用の特徴量に該当する。また、数式4に示す“ScoreA”は、一の既存のマッチング用の特徴量を求める手法により得られるスコアを示し、数式4に示す“a”は、“ScoreA”に対する重み付けを規定する係数である。数式4に示す“ScoreB”は、他の既存のマッチング用の特徴量を求める手法により得られるスコアを示しており、数式4に示す“b”は、“ScoreB”に対する重み付けを規定する係数である。また、数式4に示す“ScoreC”は、法線情報を利用して得られるスコアを示しており、数式4に示す“c”は、“ScoreC”に対する重み付けを規定する係数である。
なお、数式4に示す係数“a”、“b”、“c”それぞれは、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などによって変更可能な可変値であってもよい。また、数式4に示す係数“a”と係数“b”との一方または双方は、0(ゼロ)であってもよい。
Matching Score=a・ScoreA+b・ScoreB+c・ScoreC
・・・(数式4)
・・・(数式4)
なお、マッチング用の特徴量を算出するための数式は、上記数式4に限られない。例えば、本実施形態に係る情報処理装置は、3つ以上の既存のマッチング用の特徴量を求める手法により得られるスコアを利用して、マッチング用の特徴量を算出することも可能である。
以下、ScoreAが、“Census Transform”により得られるスコアであり、ScoreBが、“AD”により得られるスコアである場合を例に挙げ、既存のマッチング用の特徴量を求める手法によるスコアの算出方法の一例を示す。また、法線情報を利用したスコアの算出方法の一例を示す。
図10は、本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図であり、“Census Transform”によるスコアの算出方法の一例を示している。図10に示すAは、左眼に対応する輝度画像(第1の輝度画像または第2の輝度画像)を示し、図10に示すBは、右眼に対応する輝度画像(第2の輝度画像または第1の輝度画像)を示している。
“Census Transform”では、左眼に対応する輝度画像と右眼に対応する輝度画像とにおける注目画素を中心としたパッチ内において、注目画素と他の画素との大小関係を1または0で表現される。そして、“Census Transform”では、注目画素と他の画素との大小関係が表現された結果をビットパターン化したものが、特徴量とされる。
例えば、パッチが、図10のCに示すように注目画素を中心とする5×5画素で構成される場合、左眼に対応する輝度画像における注目画素と他の画素との大小関係は、図10のDのように表現され、図10のEに示すようにビットパターン化される。図10に示すようにパッチが5×5画素で構成される場合には、24[bit]の特徴量が生成される。
また、図10では示していないが、右眼に対応する輝度画像における注目画素に対しても、同様に特徴量が得られる。ここで、右眼に対応する輝度画像における注目画素は、例えば、左眼に対応する輝度画像における注目画素を基準として、右眼に対応する輝度画像における同一ラインの画素を探索することによって、特定される。
そして、“Census Transform”では、左眼に対応する輝度画像に基づく注目画素の特徴量と、右眼に対応する輝度画像に基づく注目画素の特徴量とのハミング距離が算出され、算出されたハミング距離が、スコアとされる。
なお、図9のステップS204に示すように、ステレオ画像に対応する輝度画像が並行化される場合には、注目画素を中心としたパッチの特徴量およびスコアが計算される際に、ステレオ画像に対応する輝度画像の法線方向が合うようにワーピングが行われた上で、パッチの特徴量およびスコアが計算される。
図11は、本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図であり、1つの法線を利用してワーピングが行われる例を、示している。図11に示すAは、左眼に対応する輝度画像(第1の輝度画像または第2の輝度画像)を示し、図11に示すBは、右眼に対応する輝度画像(第2の輝度画像または第1の輝度画像)を示している。また、図11に示すCは、ワーピングが行われた右眼に対応する輝度画像を示している。
左眼に対応する輝度画像と、図11のCに示すようにワーピングが行われた右眼に対応する輝度画像とに基づいて、“Census Transform”によりスコアが算出されることによって、より精度の高い視差を得ることが可能なマッチング用の特徴量を算出することができる。
なお、図11では、1つの法線を利用してワーピングが行われる例を示しているが、上述した方位角の不定性を考慮して、2つの法線を用いて2回ワーピングを行い、それぞれ特徴量およびスコアを計算した上で、より小さい値(または大きい値)を採用することも可能である。
図12は、本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図であり、“AD”によるスコアの算出方法の一例を示している。図12に示すAは、左眼に対応する輝度画像(第1の輝度画像または第2の輝度画像)を示し、図12に示すBは、右眼に対応する輝度画像(第2の輝度画像または第1の輝度画像)を示している。
“AD”では、ステレオ画像に対応する輝度画像における注目画素それぞれの画素値が特徴量とされる。そして、“AD”では、注目画素の画素値の差分の絶対値が、スコアとされる。
図13は、本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図であり、法線情報を利用したスコアの算出方法の一例を示している。図13に示すAは、左眼に対応する輝度画像(第1の輝度画像または第2の輝度画像)を示し、図13に示すBは、右眼に対応する輝度画像(第2の輝度画像または第1の輝度画像)を示している。
左眼に対応する輝度画像における注目画素を基準として、右眼に対応する輝度画像における注目画素が探索される場合、“左眼に対応する輝度画像における注目画素の法線(L_Normal_1)と、右眼に対応する輝度画像における注目画素の法線(R_Normal_1)との内積”と、“左眼に対応する輝度画像における注目画素の法線(L_Normal_1)と、右眼に対応する輝度画像における注目画素の法線(R_Normal_2)との内積”が、それぞれ算出される。そして、算出された内積のうちの大きい値が、スコアとして採用される。
ここで、注目画素において法線が2つ存在する理由は、上述したように方位角に不定性が存在するためである。なお、内積の計算には4(2×2)通りの組み合わせがあるので、4通りの組み合わせに対応する内積をとることも可能である。しかしながら、上記のように、一方の画像における法線を固定してもう他方の法線における2通りの法線との内積を計算した場合であっても、十分な精度のスコアを得ることができる。
本実施形態に係る情報処理装置は、図9のステップS206において、例えば上記数式4に示す演算を行うことによって、マッチング用の特徴量を、算出する。
再度図9を参照して、第1の偏光画像および第2の偏光画像に基づき視差を求める処理の一例を説明する。本実施形態に係る情報処理装置は、ステップS206において算出されたマッチング用の特徴量に基づいて、ステレオ画像における画像マッチングの尤度を算出し、ステレオ画像における最も尤度が高い画素の位置における視差を求める(S208)。
本実施形態に係る情報処理装置は、例えば図9に示す処理を行うことによって、第1の偏光画像および第2の偏光画像に基づいて視差を求める。なお、第1の偏光画像および第2の偏光画像に基づいて視差を求める処理の例が、図9に示す例に限られないことは、言うまでもない。
(3−2)視差を利用して角膜の中心位置を推定する処理
本実施形態に係る情報処理装置は、求められた視差を利用して、角膜の中心位置を推定する。
本実施形態に係る情報処理装置は、求められた視差を利用して、角膜の中心位置を推定する。
図14は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図14は、角膜上の2つの法線、および視差に基づいて、角膜の中心位置を推定する場合の例を示している。
ステレオカメラを構成する一の撮像デバイスの中心位置(カメラ中心)を座標系の原点O、角膜の中心位置をC=(cx,cy,cz)、角膜半径をr、角膜上の点をG1、
G2とする。また、角膜上の点G1上の法線ベクトルをN1、角膜上の点G2上の法線ベクトルをN2、一の撮像デバイスの中心位置Oから角膜上の点G1に向かうベクトルをI1、一の撮像デバイスの中心位置Oから角膜上の点G2に向かうベクトルをI2、一の撮像デバイスの中心位置Oと角膜上の点G1との間の距離をd1、一の撮像デバイスの中心位置Oと角膜上の点G2との間の距離をd2とする。以下では、一の撮像デバイスの中心位置Oと角膜上の点G1との間の距離d1を「距離d1」と示し、一の撮像デバイスの中心位置Oと角膜上の点G2との間の距離d2を「距離d2」と示す場合がある。
G2とする。また、角膜上の点G1上の法線ベクトルをN1、角膜上の点G2上の法線ベクトルをN2、一の撮像デバイスの中心位置Oから角膜上の点G1に向かうベクトルをI1、一の撮像デバイスの中心位置Oから角膜上の点G2に向かうベクトルをI2、一の撮像デバイスの中心位置Oと角膜上の点G1との間の距離をd1、一の撮像デバイスの中心位置Oと角膜上の点G2との間の距離をd2とする。以下では、一の撮像デバイスの中心位置Oと角膜上の点G1との間の距離d1を「距離d1」と示し、一の撮像デバイスの中心位置Oと角膜上の点G2との間の距離d2を「距離d2」と示す場合がある。
上記(3−1)の処理により求められた視差によって、角膜上の点G1のz座標に相当する“z1”と、角膜上の点G2のz座標に相当する“z2”とが求まる。本実施形態に係る情報処理装置は、下記の数式5に示す演算を行うことによって、距離d1および距離d2を算出する。ここで、数式5に示す“fx”は、撮像デバイスの内部パラメータの1つであるFocalLengthのx方向を示し、数式5に示す“fy”は、FocalLengthのy方向を示している。また、数式5に示す(u1,v1)は、角膜上の点G1の画像上の座標を示しており、数式5に示す(u2,v2)は、角膜上の点G2の画像上の座標を示している。数式5に示す“u1”、“v1”、“u2”、および“v2”は、例えば単位[pix]で表される。
距離d1および距離d2が算出されると、本実施形態に係る情報処理装置は、上記数式1により角膜半径rを求めて、角膜の中心位置Cの座標を求める。
上述したように、求められた距離d1、および距離d2と、上記数式3とによって、角膜上の点G1の位置および角膜上の点G2の位置が求まる。本実施形態に係る情報処理装置は、角膜上の点G1の位置、角膜上の点G1上の法線ベクトルN1、角膜上の点G2の位置、角膜上の点G2上の法線ベクトルN2、および上記数式1により求められた角膜半径rによって、角膜の中心位置Cの座標を求める。
本実施形態に係る情報処理装置は、例えば上記のように、視差を利用して角膜の中心位置を推定することができる。
なお、角膜上の法線がN本(Nは、3以上の整数)ある場合には、本実施形態に係る情報処理装置は、例えば、上記数式1をN本の法線に拡張することによって、角膜上の2つの法線に基づく場合と同様に、角膜の中心位置Cの座標を求めることが可能である。
(4)角膜の中心位置の推定に係る処理の第4の例:RANSAC(Random Sample Consensus)を利用した推定
本実施形態に係る情報処理装置は、例えばRANSACを利用して最適化問題を解くことによって、角膜の中心位置を推定する。
本実施形態に係る情報処理装置は、例えばRANSACを利用して最適化問題を解くことによって、角膜の中心位置を推定する。
本実施形態に係る情報処理装置は、例えば、M本(最小2本)の法線ベクトルから角膜の中心座標を求め、求めた角膜の中心座標を中心とする半径rの球を画像に再投影する。また、本実施形態に係る情報処理装置は、球上の法線と偏光画像から求めた法線との内積を算出し、設定されている閾値を超えた法線の数をカウントする。そして、本実施形態に係る情報処理装置は、最も本数が多かった法線を用いて最適化により球の中心座標を求め、角膜の中心位置を推定する。
図15は、本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図であり、RANSACを利用して角膜の中心位置を推定する処理の一例を示している。
本実施形態に係る情報処理装置は、例えば上記(1)に示す第1の例に係る処理と同様に、M本の法線ベクトルの最近傍点として、角膜の中心位置の座標を算出する(S300)。
本実施形態に係る情報処理装置は、ステップS300において算出された座標を中心とし、半径rの球の表面を、偏光画像に基づく輝度画像に再投影する(S302)。ここで、半径rは、角膜の半径に相当する。半径rは、予め設定されている固定値であってもよいし、検出対象に対応する調整値により当該固定値が調整される可変値であってもよい。
本実施形態に係る情報処理装置は、球上の法線と偏光画像から求めた法線との内積を算出し、設定されている閾値を超えた法線の数をカウントする(S304)。上記閾値は、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などにより変更可能な可変値であってもよい。
本実施形態に係る情報処理装置は、ステップS304においてカウントされた法線の数が、最大値を超えたか否かを判定する(S306)。ここで、最大値の初期値としては、0(ゼロ)など設定されている値が挙げられる。本実施形態に係る情報処理装置は、例えば、上記法線の数が上記最大値より大きい場合、または、上記法線の数が上記最大値以上である場合に、カウントされた法線の数が設定されている最大値を超えたと、判定する。
ステップS306において最大値を超えたと判定されない場合には、本実施形態に係る情報処理装置は、後述するステップS310からの処理を行う。
また、ステップS306において最大値を超えたと判定された場合には、本実施形態に係る情報処理装置は、最大値をカウントされた法線の数に更新し、設定されている閾値を超えた法線の位置をRAM(Random Access Memory)などの記録媒体に記憶する(S308)。
ステップS306において最大値を超えたと判定されない場合、または、ステップS308の処理が行われた場合には、本実施形態に係る情報処理装置は、L回(Lは、設定されている整数)処理が行われたか否かを判定する(S310)。Lの値は、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などにより変更可能な可変値であってもよい。
ステップS310においてL回処理が行われたと判定されない場合には、本実施形態に係る情報処理装置は、ステップS300からの処理を繰り返す。
また、ステップS310においてL回処理が行われたと判定された場合には、本実施形態に係る情報処理装置は、例えば、“ステップS302において再投影させた角膜の中心座標を中心とする半径rの球の法線と、ステップS308において記録媒体に記憶された法線との内積の和”が、最大となる角膜の中心座標を、最適化により求める(S312)。
本実施形態に係る情報処理装置は、例えば図15に示す処理を行うことによって、角膜の中心位置を推定する。なお、RANSACを利用した角膜の中心位置の推定に係る処理が、図15に示す例に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、図5のステップS112において、例えば上記(1)に示す第1の例に係る処理〜上記(4)に示す第4の例に係る処理のいずれかの処理を行うことによって、角膜の中心位置を推定する。
再度図5を参照して、本実施形態に係る情報処理方法に係る処理の一例を説明する。本実施形態に係る情報処理装置は、推定された角膜の中心位置と角膜の半径とに基づいて、眼における瞳孔の中心位置を推定する(S114)。本実施形態に係る情報処理装置は、例えば角膜反射法が用いられる場合と同様に、設定されている角膜における瞳孔間距離を利用し、また、屈折などを考慮することによって、瞳孔の中心位置を推定する。
本実施形態に係る情報処理装置は、ステップS112において推定された角膜の中心位置と、ステップS114において推定された瞳孔の中心位置とに基づいて、検出対象の視線に対応する、光軸を示す光軸ベクトルを求める(S116)。ここで、光軸とは、瞳孔の中心位置を通る角膜法線であり、例えば、角膜の中心位置と瞳孔の中心位置とを結んだ線が該当する。本実施形態に係る情報処理装置は、例えば角膜反射法が用いられる場合と同様に、光軸ベクトルを求める。
本実施形態に係る情報処理装置は、ステップS116において求められた光軸ベクトルと、キャリブレーション情報とに基づいて、検出対象の視軸を示す視線ベクトルを求める(S118)。
視軸とは、節点(水晶体中央後面)と中心窩を結ぶ線であり、実際に検出対象が見ている軸に該当する。つまり、視線ベクトルを求めることによって、検出対象の視線が検出される。
視軸と光軸とは、一般的に一致しておらず、視軸は、光軸に対して4[°]〜8[°]程度傾いている。また、光軸に対する視軸の傾き方には、個人差がある。
上記のような光軸に対する視軸のずれをより小さくするために、キャリブレーション情報に基づいて、光軸ベクトルの補正(以下、「キャリブレーション」と示す。)が行われる。キャリブレーションは、例えば、検出対象の眼ごとに行われる。
ここで、キャリブレーション情報は、キャリブレーションを行うためのデータである。キャリブレーション情報としては、光軸に対する視軸のずれ(以下、「オフセット」と示す。)を示すデータが挙げられる。オフセットは、は、例えば、下記のように得られる。
・キャリブレーション位置を検出対象に見てもらい、その時に求められた光軸ベクトルと、眼球に対応する基準位置とキャリブレーション位置とを結んだベクトルとの差分を、オフセットとして求める。
・キャリブレーション位置を検出対象に見てもらい、その時に求められた光軸ベクトルと、眼球に対応する基準位置とキャリブレーション位置とを結んだベクトルとの差分を、オフセットとして求める。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る検出処理として、例えば図5に示す処理を行うことによって、偏光画像から得られる法線に基づいて、検出対象の視線を検出する。なお、本実施形態に係る情報処理方法に係る検出処理の例が、図5に示す例に限らないことは、言うまでもない。
[3]本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
本実施形態に係る情報処理方法に係る検出処理が行われることによって、例えば下記の効果を奏することができる。なお、本実施形態に係る情報処理方法に係る検出処理が行われることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・偏光イメージングを利用することによって、LEDなどの光源を用いずに、撮像デバイスによる撮像のみで、検出対象の視線を検出することができる。
・LEDなどの光源が用いられないので、角膜反射法を用いて視線の検出を行う場合のような、プルキニエ像のアウトライヤによる視線精度の低下などが発生しない。
・偏光画像に基づき複数の法線ベクトルが得られるので、角膜の中心位置の推定精度の向上を図ることができる。
本実施形態に係る情報処理方法に係る検出処理が行われることによって、例えば下記の効果を奏することができる。なお、本実施形態に係る情報処理方法に係る検出処理が行われることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・偏光イメージングを利用することによって、LEDなどの光源を用いずに、撮像デバイスによる撮像のみで、検出対象の視線を検出することができる。
・LEDなどの光源が用いられないので、角膜反射法を用いて視線の検出を行う場合のような、プルキニエ像のアウトライヤによる視線精度の低下などが発生しない。
・偏光画像に基づき複数の法線ベクトルが得られるので、角膜の中心位置の推定精度の向上を図ることができる。
[4]本実施形態に係る情報処理方法に係る処理の他の例
なお、本実施形態に係る情報処理方法に係る処理は、“偏光画像から得られる法線に基づいて、検出対象の視線を検出する検出処理”に限られない。
なお、本実施形態に係る情報処理方法に係る処理は、“偏光画像から得られる法線に基づいて、検出対象の視線を検出する検出処理”に限られない。
例えば、本実施形態に係る情報処理装置は、“偏光画像から得られる法線に基づいて、視線以外の様々なものを検出する処理”(以下、「他の検出処理」と示す。)を行うことが可能である。本実施形態に係る他の検出処理の適用例としては、例えば、下記の(I)に示す第1の例〜(IV)に示す第4の例が、挙げられる。
(I)他の検出処理の第1の例
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線に基づいて、検出対象の眼における角膜の中心位置を検出する。本実施形態に係る情報処理装置は、例えば、図5のステップS100〜S112の処理を行うことによって、角膜の中心位置を検出する。
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線に基づいて、検出対象の眼における角膜の中心位置を検出する。本実施形態に係る情報処理装置は、例えば、図5のステップS100〜S112の処理を行うことによって、角膜の中心位置を検出する。
(II)他の検出処理の第2の例
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線と、オブジェクトの形状を示す情報とに基づいて、形状を示す情報が示すオブジェクトの姿勢と、当該オブジェクトの姿勢の変化との一方または双方を検出する。
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線と、オブジェクトの形状を示す情報とに基づいて、形状を示す情報が示すオブジェクトの姿勢と、当該オブジェクトの姿勢の変化との一方または双方を検出する。
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線の組み合わせにより、形状を示す情報が示すオブジェクトの姿勢を推定することによって、当該オブジェクトの姿勢を検出する。また、本実施形態に係る情報処理装置は、例えば、異なる時点における撮像により得られた複数の偏光画像から得られる法線の組み合わせを比較することにより、形状を示す情報が示すオブジェクトの姿勢の変化を推定することによって、当該オブジェクトの姿勢の変化を検出する。
第2の例に係る他の検出処理の適用例としては、例えば、“人などの眼が撮像された偏光画像と、眼球(オブジェクトの一例)の形状を示す情報とに基づいて、眼の姿勢を検出する例”や、“ゲーム機のコントローラが撮像された偏光画像と、当該コントローラ(オブジェクトの一例)の形状を示す情報とに基づいて、当該コントローラの姿勢を検出する例”などが、挙げられる。
また、本実施形態に係る情報処理装置は、さらに、形状を示す情報が示すオブジェクトと撮像デバイスとの間の距離に基づいて、当該オブジェクトの空間における位置(3次元位置)を検出することも可能である。上記オブジェクトと撮像デバイスとの間の距離は、例えば、TOF(Time Of Flight)などの任意の方式により距離を検出する距離センサなどによって、検出される。
(III)他の検出処理の第3の例
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線に基づいて、撮像デバイスにより撮像されたオブジェクト(被写体)のうち、撮像デバイスに対して所定の方向を向いているオブジェクトを検出する。
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線に基づいて、撮像デバイスにより撮像されたオブジェクト(被写体)のうち、撮像デバイスに対して所定の方向を向いているオブジェクトを検出する。
本実施形態に係る情報処理装置は、例えば、偏光画像に基づく輝度画像(またはRGB画像)における、偏光画像から得られる法線ベクトルが設定されている角度の範囲に含まれる領域を特定する。そして、本実施形態に係る情報処理装置は、特定された領域に対して、任意のオブジェクト認識技術に係るオブジェクト認識処理を行うことによって、撮像デバイスに対して所定の方向を向いているオブジェクトを検出する。
第3の例に係る他の検出処理の適用例としては、例えば、自動車などの移動体に搭載されている撮像デバイスにより撮像された偏光画像に基づいて、標識やかんばんなどの任意のオブジェクトを検出する例などが、挙げられる。
第3の例に係る他の検出処理が行われることによって、オブジェクト認識処理の対象となる領域を限定することが可能となる。よって、第3の例に係る他の検出処理が行われることによって、例えば、オブジェクト認識処理に係る処理負荷の低減を図ることができる。
(IV)他の検出処理の第4の例
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線と、オブジェクトの法線の組み合わせを示す情報とに基づいて、法線の組み合わせを示す情報が示すオブジェクトを、偏光画像から検出する。
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線と、オブジェクトの法線の組み合わせを示す情報とに基づいて、法線の組み合わせを示す情報が示すオブジェクトを、偏光画像から検出する。
本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線の組み合わせと、法線の組み合わせを示す情報が示す法線の組み合わせとをマッチングする。そして、本実施形態に係る情報処理装置は、例えば、偏光画像(または、偏光画像に基づく輝度画像(あるいはRGB画像))における、法線の組み合わせが一致する領域を検出することによって、法線の組み合わせを示す情報が示すオブジェクトを、偏光画像から検出する。
第4の例に係る他の検出処理の一の適用例としては、例えば、“素材が異なることに起因した拡散反射、鏡面反射の違いにより法線の組み合わせが異なることを利用して、模造品を判定する例”が挙げられる。上記一の適用例では、偏光イメージング技術を利用して撮像デバイスにより撮像することにより、模造品であるか否かが判定されるので、模造品の判別が、より簡便となる。
また、第4の例に係る他の検出処理の他の適用例としては、例えば、“撮像デバイスにより複数の被写体が撮像される場合における、偏光画像からの特定の被写体が含まれる領域を検出する例”が挙げられる。上記他の適用例では、上記第3の例に係る他の検出処理と同様に、例えば、オブジェクト認識処理に係る処理負荷の低減を図ることができる。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。
図16は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、撮像部102と、制御部104とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(図示せず)、記憶部(図示せず)、外部装置と無線または有線で通信を行うための通信部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。情報処理装置100は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。情報処理装置100は、例えば、情報処理装置100が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、辞書データやキャリブレーション情報などの本実施形態に係る情報処理方法に係るデータや、偏光画像を示す画像データ、アプリケーションなど、様々なデータを記憶する。
ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
通信部(図示せず)としては、例えば後述する通信インタフェースが挙げられる。また、操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられ、表示部(図示せず)としては、例えば後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図17は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164と、撮像デバイス166とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス168で各構成要素間を接続する。
図17は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164と、撮像デバイス166とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス168で各構成要素間を接続する。
MPU150は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する処理部110の役目を果たす。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、辞書データやキャリブレーション情報などの本実施形態に係る情報処理方法に係るデータや、偏光画像を示す画像データ、アプリケーションなど、様々なデータを記憶する。
記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
なお、入出力インタフェース158が、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや外部の表示デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部(図示せず)として機能する。通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、通信部(図示せず)は、USB(Universal Serial Bus)端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。
また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
撮像デバイス166は、情報処理装置100が備える撮像手段であり、撮像により偏光画像を生成する撮像部102として機能する。撮像デバイス166を備える場合、情報処理装置100では、例えば、撮像デバイス166において撮像により生成された偏光画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。
撮像デバイス166は、例えば、レンズ/撮像素子と信号処理回路とを含んで構成される。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えばRAW現像に係る各種処理を行う。
情報処理装置100は、例えば図17に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図17に示す構成に限られない。
例えば、外部の撮像デバイスにより撮像された偏光画像に基づき本実施形態に係る情報処理方法に係る処理が行われる場合には、情報処理装置100は、撮像デバイス166を備えていなくてもよい。
また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合、または、外部の通信デバイスにより通信を行う場合には、通信インタフェース164を備えていなくてもよい。また、情報処理装置100は、記録媒体156、操作入力デバイス160、表示デバイス162のうちの1または2以上を備えない構成をとることも可能である。
再度、図16を参照して、本実施形態に係る情報処理装置100の構成の一例について説明する。撮像部102は、撮像により偏光画像を生成する。撮像部102としては、例えば撮像デバイス166が挙げられる。
制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば処理部110を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
処理部110は、例えば、本実施形態に係る検出処理を主導的に行う役目を果たし、偏光画像から得られる法線に基づいて、検出対象の視線を検出する。処理部110は、例えば図5に示す処理を行うことによって、偏光画像に基づき検出対象の視線を検出する。
また、処理部110は、例えば、上記(I)に示す第1の例に係る他の検出処理〜(IV)に示す第4の例に係る他の検出処理のうちの1または2以上の処理を行うことが可能である。
処理部110が、上記(I)に示す第1の例に係る他の検出処理〜(IV)に示す第4の例に係る他の検出処理のうちの1または2以上の処理を行うことが可能な場合、情報処理装置100は、例えば、本実施形態に係る検出処理を行う機能に加えて、上記(I)に示す第1の例に係る他の検出処理〜(IV)に示す第4の例に係る他の検出処理のうちの1または2以上の処理をさらに行う機能をさらに有する。
情報処理装置100は、例えば図16に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、“検出処理”、または、“検出処理、および他の検出処理”)を行う。したがって、情報処理装置100は、例えば図16に示す構成によって、視線の検出対象の視線を検出することができる。
また、例えば図16に示す構成によって、情報処理装置100は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図16に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図16に示す処理部110を、制御部104とは個別に備える(例えば、別の処理回路で実現する)ことができる。また、処理部110は、複数の処理回路で実現され、各機能が複数の処理回路で分散して行われてもよい。
また、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図16に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
また、例えば、処理部110が上記(I)に示す第1の例に係る他の検出処理〜(IV)に示す第4の例に係る他の検出処理のうちの1または2以上の処理を行う機能を有する場合、本実施形態に係る情報処理装置は、本実施形態に係る検出処理を行う機能を有していない構成をとることも可能である。
また、例えば、撮像部102と同様の機能、構成を有する外部の撮像デバイスにより撮像される偏光画像に基づいて、本実施形態に係る情報処理方法に係る処理を行う場合には、本実施形態に係る情報処理装置は、撮像部102を備えていなくてもよい。
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“図1のAに示すようなアイウェアなどの検出対象の頭部に装着して用いられるウェアラブル装置”や、“PCやサーバなどのコンピュータ”、“スマートフォンなどの通信装置”、“表示装置”、“タブレット型の装置”、“ゲーム機”、“自動車などの移動体”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
また、本実施形態に係る情報処理装置は、例えば下記に示すユースケースなどの視線検出を適用することが可能な様々なユースケースに、適用することが可能である。なお、本実施形態に係る情報処理装置を適用することが可能なユースケースが、下記に示すユースケースに限られないことは、言うまでもない。また、下記のようなユースケースにおいて、本実施形態に係る情報処理装置は、上述したように、表示デバイスを備えていてもよいし、備えていなくてもよい。
・医療の現場においては、医師などの医療従事者(検出対象の一例)の視線を検出することによって、医療機器の操作入力が行われてもよい。これにより、医師などの医療従事者は手を使わずに医療機器を操作することができるため、例えば手術の効率や成功率を向上させることができる。また、視線検出により操作可能なデバイスを利用することによって、身体的障害を有する患者(検出対象の一例)などは生活行為の困難を軽減することができる。
・自動車などの移動体の運転時においては、運転者(検出対象の一例)の視線を検出することによって、例えば、表示デバイスの表示画面に表示されたナビゲーションの操作や、運転者の注視している建物などのオブジェクトに関連する情報の提供が、可能となる。建物などのオブジェクトに関連する情報は、例えば、表示デバイスの表示画面に表示されてもよいし、音声によって運転者に伝達されてもよい。これにより、運転車は手を使わずにデバイスを操作することができるため、わき見などの可能性を軽減し、運転の安全性を向上させることができる。また、例えば、運転者の注視先が記録媒体にに記録され、記録された運転者の注視先と予め定めたユーザモデルの注視データとが比較されることによって、運転者の運転レベルを判定することが可能である。また、例えば、記録された運転者の注視先と予め定めたユーザモデルの注視データとが比較されることによって、運転者の注意力が判定され、運転者に音声などで注意が促されてもよい。
・スポーツの現場においては、スポーツを行っている者(検出対象の一例)の視線を検出することによって、適切なフォームの提案などが行われてもよい。
・広告マーケティングにおいては、マーケティング対象者(検出対象の一例)の視線を検出することによって、例えば、マーケティング対象者に推薦すべき商品が提案されてもよい。
・農業においては、農業に従事する者(検出対象の一例)のを検出することによって、例えば、農業に従事する者が注視している作物の状態に関する補足情報などが、表示デバイスの表示画面などへの表示により提供されてもよい。
・畜産業においては、例えば動物の健康管理などのために、動物(検出対象の一例)の視線検出結果が利用されてもよい。例えば、検出された視線と視線のモデルデータとの比較により、動物の出産時期や体調不良などの推定を行うことが、可能である。また、厩舎内の動物の視線検出結果から、厩舎内の衛生状態が推定されてもよい。
・医療の現場においては、医師などの医療従事者(検出対象の一例)の視線を検出することによって、医療機器の操作入力が行われてもよい。これにより、医師などの医療従事者は手を使わずに医療機器を操作することができるため、例えば手術の効率や成功率を向上させることができる。また、視線検出により操作可能なデバイスを利用することによって、身体的障害を有する患者(検出対象の一例)などは生活行為の困難を軽減することができる。
・自動車などの移動体の運転時においては、運転者(検出対象の一例)の視線を検出することによって、例えば、表示デバイスの表示画面に表示されたナビゲーションの操作や、運転者の注視している建物などのオブジェクトに関連する情報の提供が、可能となる。建物などのオブジェクトに関連する情報は、例えば、表示デバイスの表示画面に表示されてもよいし、音声によって運転者に伝達されてもよい。これにより、運転車は手を使わずにデバイスを操作することができるため、わき見などの可能性を軽減し、運転の安全性を向上させることができる。また、例えば、運転者の注視先が記録媒体にに記録され、記録された運転者の注視先と予め定めたユーザモデルの注視データとが比較されることによって、運転者の運転レベルを判定することが可能である。また、例えば、記録された運転者の注視先と予め定めたユーザモデルの注視データとが比較されることによって、運転者の注意力が判定され、運転者に音声などで注意が促されてもよい。
・スポーツの現場においては、スポーツを行っている者(検出対象の一例)の視線を検出することによって、適切なフォームの提案などが行われてもよい。
・広告マーケティングにおいては、マーケティング対象者(検出対象の一例)の視線を検出することによって、例えば、マーケティング対象者に推薦すべき商品が提案されてもよい。
・農業においては、農業に従事する者(検出対象の一例)のを検出することによって、例えば、農業に従事する者が注視している作物の状態に関する補足情報などが、表示デバイスの表示画面などへの表示により提供されてもよい。
・畜産業においては、例えば動物の健康管理などのために、動物(検出対象の一例)の視線検出結果が利用されてもよい。例えば、検出された視線と視線のモデルデータとの比較により、動物の出産時期や体調不良などの推定を行うことが、可能である。また、厩舎内の動物の視線検出結果から、厩舎内の衛生状態が推定されてもよい。
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば、“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”が、挙げられる。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“検出処理”、または、“検出処理、および他の検出処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、視線の検出対象の視線を検出することができる。
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“検出処理”、または、“検出処理、および他の検出処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、視線の検出対象の視線を検出することができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果(例えば、上述した本実施形態に係る情報処理方法に係る他の検出処理によって奏される効果など)を、奏することができる。
また、コンピュータを、上記(I)に示す第1の例に係る他の検出処理〜(IV)に示す第4の例に係る他の検出処理のうちの1または2以上の処理を行う機能を有し、かつ、本実施形態に係る検出処理を行う機能を有していない、本実施形態の変形例に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る他の検出処理によって奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する処理部を備える、情報処理装置。
(2)
前記処理部は、前記偏光画像に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、(1)に記載の情報処理装置。
(3)
前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像とに基づいて、前記角膜の中心位置を推定する、(2)に記載の情報処理装置。
(4)
前記処理部は、前記偏光画像から得られる法線に基づいて、前記検出対象の視線を検出する、(1)〜(4)のいずれか1つに記載の情報処理装置。
(5)
前記処理部は、前記偏光画像から得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、(4)に記載の情報処理装置。
(6)
前記処理部は、前記偏光画像に基づき推定される前記角膜に対応する法線に基づいて、前記角膜の中心位置を推定する、(5)に記載の情報処理装置。
(7)
前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像から得られる法線とに基づいて、前記角膜に対応する法線を推定する、(6)に記載の情報処理装置。
(8)
前記処理部は、
推定された前記角膜の中心位置と前記角膜の半径とに基づいて、前記眼における瞳孔の中心位置を推定し、
推定された前記角膜の中心位置と、推定された前記瞳孔の中心位置とに基づいて、前記検出対象の視線に対応する光軸ベクトルを求め、前記検出対象の視線を検出する、請(5)〜(7)のいずれか1つに記載の情報処理装置。
(9)
前記処理部は、検出された前記眼における瞳孔の位置に基づいて、前記偏光画像から得られる複数の法線から、前記角膜に対応する法線を特定する、(7)に記載の情報処理装置。
(10)
前記処理部は、検出された前記眼における瞳孔の位置および前記角膜の形状に基づいて、前記角膜に対応する法線を推定する、(9)に記載の情報処理装置。
(11)
前記処理部は、キャリブレーション情報に基づき前記光軸ベクトルを補正し、前記検出対象の視線を検出する、(8)に記載の情報処理装置。
(12)
前記処理部は、ステレオ画像を構成する第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線に基づいて、前記検出対象の視線を検出する、(1)に記載の情報処理装置。
(13)
前記処理部は、第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、(12)に記載の情報処理装置。
(14)
前記処理部は、第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線および視差に基づいて角膜半径を推定し、推定された前記角膜半径に基づいて前記眼における角膜の中心位置を推定する、(13)に記載の情報処理装置。
(15)
前記処理部は、前記検出対象に対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、(1)〜(14)のいずれか1つに記載の情報処理装置。
(16)
前記処理部は、表示デバイスに対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、(1)〜(14)のいずれか1つに記載の情報処理装置。
(17)
表示デバイスと、
前記表示デバイスに対して固定され、前記偏光画像を取得する撮像デバイスと、
をさらに備える、(1)〜(16)のいずれか1つに記載の情報処理装置。
(18)
前記表示デバイスと前記撮像デバイスとは、前記検出対象に装着可能なウェアラブル装置を構成する、(17)に記載の情報処理装置。
(19)
視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出するステップを有する、情報処理装置により実行される情報処理方法。
(20)
視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する機能を、コンピュータに実現させるためのプログラム。
(1)
視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する処理部を備える、情報処理装置。
(2)
前記処理部は、前記偏光画像に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、(1)に記載の情報処理装置。
(3)
前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像とに基づいて、前記角膜の中心位置を推定する、(2)に記載の情報処理装置。
(4)
前記処理部は、前記偏光画像から得られる法線に基づいて、前記検出対象の視線を検出する、(1)〜(4)のいずれか1つに記載の情報処理装置。
(5)
前記処理部は、前記偏光画像から得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、(4)に記載の情報処理装置。
(6)
前記処理部は、前記偏光画像に基づき推定される前記角膜に対応する法線に基づいて、前記角膜の中心位置を推定する、(5)に記載の情報処理装置。
(7)
前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像から得られる法線とに基づいて、前記角膜に対応する法線を推定する、(6)に記載の情報処理装置。
(8)
前記処理部は、
推定された前記角膜の中心位置と前記角膜の半径とに基づいて、前記眼における瞳孔の中心位置を推定し、
推定された前記角膜の中心位置と、推定された前記瞳孔の中心位置とに基づいて、前記検出対象の視線に対応する光軸ベクトルを求め、前記検出対象の視線を検出する、請(5)〜(7)のいずれか1つに記載の情報処理装置。
(9)
前記処理部は、検出された前記眼における瞳孔の位置に基づいて、前記偏光画像から得られる複数の法線から、前記角膜に対応する法線を特定する、(7)に記載の情報処理装置。
(10)
前記処理部は、検出された前記眼における瞳孔の位置および前記角膜の形状に基づいて、前記角膜に対応する法線を推定する、(9)に記載の情報処理装置。
(11)
前記処理部は、キャリブレーション情報に基づき前記光軸ベクトルを補正し、前記検出対象の視線を検出する、(8)に記載の情報処理装置。
(12)
前記処理部は、ステレオ画像を構成する第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線に基づいて、前記検出対象の視線を検出する、(1)に記載の情報処理装置。
(13)
前記処理部は、第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、(12)に記載の情報処理装置。
(14)
前記処理部は、第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線および視差に基づいて角膜半径を推定し、推定された前記角膜半径に基づいて前記眼における角膜の中心位置を推定する、(13)に記載の情報処理装置。
(15)
前記処理部は、前記検出対象に対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、(1)〜(14)のいずれか1つに記載の情報処理装置。
(16)
前記処理部は、表示デバイスに対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、(1)〜(14)のいずれか1つに記載の情報処理装置。
(17)
表示デバイスと、
前記表示デバイスに対して固定され、前記偏光画像を取得する撮像デバイスと、
をさらに備える、(1)〜(16)のいずれか1つに記載の情報処理装置。
(18)
前記表示デバイスと前記撮像デバイスとは、前記検出対象に装着可能なウェアラブル装置を構成する、(17)に記載の情報処理装置。
(19)
視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出するステップを有する、情報処理装置により実行される情報処理方法。
(20)
視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する機能を、コンピュータに実現させるためのプログラム。
100 情報処理装置
102 撮像部
104 制御部
110 処理部
102 撮像部
104 制御部
110 処理部
Claims (20)
- 視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する処理部を備える、情報処理装置。
- 前記処理部は、前記偏光画像に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、請求項1に記載の情報処理装置。
- 前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像とに基づいて、前記角膜の中心位置を推定する、請求項2に記載の情報処理装置。
- 前記処理部は、前記偏光画像から得られる法線に基づいて、前記検出対象の視線を検出する、請求項1に記載の情報処理装置。
- 前記処理部は、前記偏光画像から得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、請求項4に記載の情報処理装置。
- 前記処理部は、前記偏光画像に基づき推定される前記角膜に対応する法線に基づいて、前記角膜の中心位置を推定する、請求項5に記載の情報処理装置。
- 前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像から得られる法線とに基づいて、前記角膜に対応する法線を推定する、請求項6に記載の情報処理装置。
- 前記処理部は、
推定された前記角膜の中心位置と前記角膜の半径とに基づいて、前記眼における瞳孔の中心位置を推定し、
推定された前記角膜の中心位置と、推定された前記瞳孔の中心位置とに基づいて、前記検出対象の視線に対応する光軸ベクトルを求め、前記検出対象の視線を検出する、請求項5に記載の情報処理装置。 - 前記処理部は、検出された前記眼における瞳孔の位置に基づいて、前記偏光画像から得られる複数の法線から、前記角膜に対応する法線を特定する、請求項7に記載の情報処理装置。
- 前記処理部は、検出された前記眼における瞳孔の位置および前記角膜の形状に基づいて、前記角膜に対応する法線を推定する、請求項9に記載の情報処理装置。
- 前記処理部は、キャリブレーション情報に基づき前記光軸ベクトルを補正し、前記検出対象の視線を検出する、請求項8に記載の情報処理装置。
- 前記処理部は、ステレオ画像を構成する第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線に基づいて、前記検出対象の視線を検出する、請求項1に記載の情報処理装置。
- 前記処理部は、第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、請求項12に記載の情報処理装置。
- 前記処理部は、第1の前記偏光画像および第2の前記偏光画像それぞれから得られる法線および視差に基づいて角膜半径を推定し、推定された前記角膜半径に基づいて前記眼における角膜の中心位置を推定する、請求項13に記載の情報処理装置。
- 前記処理部は、前記検出対象に対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、請求項1に記載の情報処理装置。
- 前記処理部は、表示デバイスに対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、請求項1に記載の情報処理装置。
- 表示デバイスと、
前記表示デバイスに対して固定され、前記偏光画像を取得する撮像デバイスと、
をさらに備える、請求項1に記載の情報処理装置。 - 前記表示デバイスと前記撮像デバイスとは、前記検出対象に装着可能なウェアラブル装置を構成する、請求項17に記載の情報処理装置。
- 視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出するステップを有する、情報処理装置により実行される情報処理方法。
- 視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する機能を、コンピュータに実現させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016059122A JP2017169803A (ja) | 2016-03-23 | 2016-03-23 | 情報処理装置、情報処理方法、およびプログラム |
EP16895539.1A EP3434174A4 (en) | 2016-03-23 | 2016-12-22 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM THEREOF |
PCT/JP2016/088300 WO2017163516A1 (ja) | 2016-03-23 | 2016-12-22 | 情報処理装置、情報処理方法、およびプログラム |
KR1020187023877A KR20180121888A (ko) | 2016-03-23 | 2016-12-22 | 정보 처리 장치, 정보 처리 방법 및 프로그램 |
US16/085,216 US10817053B2 (en) | 2016-03-23 | 2016-12-22 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016059122A JP2017169803A (ja) | 2016-03-23 | 2016-03-23 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017169803A true JP2017169803A (ja) | 2017-09-28 |
Family
ID=59899893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016059122A Pending JP2017169803A (ja) | 2016-03-23 | 2016-03-23 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10817053B2 (ja) |
EP (1) | EP3434174A4 (ja) |
JP (1) | JP2017169803A (ja) |
KR (1) | KR20180121888A (ja) |
WO (1) | WO2017163516A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019152929A (ja) * | 2018-02-28 | 2019-09-12 | パナソニックIpマネジメント株式会社 | 認証装置及び認証方法 |
WO2020054076A1 (ja) * | 2018-09-14 | 2020-03-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および物体検出方法 |
US11861941B1 (en) * | 2019-02-06 | 2024-01-02 | Apple Inc. | Eye camera systems with polarized light |
US11326763B1 (en) | 2019-02-06 | 2022-05-10 | Apple Inc. | Light-emitting diodes with optical filters |
KR20220105194A (ko) * | 2021-01-18 | 2022-07-27 | 삼성디스플레이 주식회사 | 표시 장치 및 표시 장치 제어 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4551107B2 (ja) * | 2004-03-31 | 2010-09-22 | 株式会社トプコン | 光学系の位置合わせ装置及び方法、並びにこれを用いた三次元観察状態測定装置及び方法 |
US20090275929A1 (en) * | 2008-04-30 | 2009-11-05 | Amo Development, Llc | System and method for controlling measurement in an eye during ophthalmic procedure |
US20110170061A1 (en) * | 2010-01-08 | 2011-07-14 | Gordon Gary B | Gaze Point Tracking Using Polarized Light |
JP5622431B2 (ja) * | 2010-04-21 | 2014-11-12 | オリンパス株式会社 | 頭部装着型瞳孔検出装置 |
US9330302B2 (en) * | 2014-02-26 | 2016-05-03 | Microsoft Technology Licensing, Llc | Polarized gaze tracking |
CN107111863B (zh) * | 2014-12-10 | 2020-11-17 | 瑞典爱立信有限公司 | 角膜成像的设备和方法 |
US9904051B2 (en) * | 2015-10-23 | 2018-02-27 | Thalmic Labs Inc. | Systems, devices, and methods for laser eye tracking |
-
2016
- 2016-03-23 JP JP2016059122A patent/JP2017169803A/ja active Pending
- 2016-12-22 US US16/085,216 patent/US10817053B2/en active Active
- 2016-12-22 WO PCT/JP2016/088300 patent/WO2017163516A1/ja active Application Filing
- 2016-12-22 EP EP16895539.1A patent/EP3434174A4/en active Pending
- 2016-12-22 KR KR1020187023877A patent/KR20180121888A/ko active Search and Examination
Also Published As
Publication number | Publication date |
---|---|
WO2017163516A1 (ja) | 2017-09-28 |
EP3434174A4 (en) | 2019-03-27 |
US20190079581A1 (en) | 2019-03-14 |
EP3434174A1 (en) | 2019-01-30 |
US10817053B2 (en) | 2020-10-27 |
KR20180121888A (ko) | 2018-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017163516A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP3228238B1 (en) | Information processing device, information processing method, and program | |
US9785233B2 (en) | Systems and methods of eye tracking calibration | |
US9750420B1 (en) | Facial feature selection for heart rate detection | |
JP6885935B2 (ja) | 眼の特徴を用いる眼ポーズ識別 | |
US20180267323A1 (en) | Information processing apparatus, information processing method, and program | |
KR101909006B1 (ko) | 화상 위치 맞춤 장치, 화상 위치 맞춤 방법, 및 화상 위치 맞춤 프로그램 | |
CN107357429B (zh) | 用于确定视线的方法、设备和计算机可读存储介质 | |
CN109472189B (zh) | 瞳孔半径补偿 | |
Draelos et al. | Intel realsense= real low cost gaze | |
JP2019000136A (ja) | 視線計測装置及びプログラム | |
WO2015013022A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
CN113227878A (zh) | 用于视线估计的方法和*** | |
JP2015088099A (ja) | 情報処理装置および情報処理方法 | |
JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
US20190191994A1 (en) | Information processing apparatus, information processing method, and recording medium | |
US20160247322A1 (en) | Electronic apparatus, method and storage medium | |
JP2018196730A (ja) | 眼の位置を監視するための方法およびシステム | |
JP6452235B2 (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
US20180028861A1 (en) | Information processing device and information processing method | |
US10866635B2 (en) | Systems and methods for capturing training data for a gaze estimation model | |
TW202119093A (zh) | 頭戴式顯示裝置以及距離量測器 | |
US10402939B2 (en) | Information processing device, information processing method, and program | |
WO2016129154A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |