JP7081599B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7081599B2
JP7081599B2 JP2019532400A JP2019532400A JP7081599B2 JP 7081599 B2 JP7081599 B2 JP 7081599B2 JP 2019532400 A JP2019532400 A JP 2019532400A JP 2019532400 A JP2019532400 A JP 2019532400A JP 7081599 B2 JP7081599 B2 JP 7081599B2
Authority
JP
Japan
Prior art keywords
calibration
information processing
processing apparatus
line
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019532400A
Other languages
English (en)
Other versions
JPWO2019021601A1 (ja
Inventor
卓郎 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019021601A1 publication Critical patent/JPWO2019021601A1/ja
Application granted granted Critical
Publication of JP7081599B2 publication Critical patent/JP7081599B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
多様なコンテンツが表示される表示面に対するユーザの視線を検出し、検出された視線を各種の動作に利用する技術が提案されている。例えば、特許文献１には、ファインダーを覗き込むユーザの眼球に赤外帯域の光（赤外光）を照射し、その眼球からの反射光を検出器によって捉えることによりスルー画が表示される表示面に対するユーザの視線を検出するとともに、検出された視線を自動焦点調節（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）に利用する撮像装置が開示されている。
特開平５－３３３２５９号公報
しかし、ユーザの片方の眼が正常に機能していない場合、特許文献１に記載される手法では、ユーザの視線を正しく検出することが困難である。また、左右の眼に係る視線データの検出結果に大きな差が生じる場合には、視線検出の精度が低下することも想定される。
そこで、本開示では、より精度の高い視線検出を行うことが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
本開示によれば、表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、を備え、前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、表示部に対する視線検出のキャリブレーションに係る演算処理を実行すること、を含み、前記演算処理を実行することは、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行すること、さらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、を備え、前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、両眼のうち精度低下の原因となり得る眼の影響を排除することでより精度の高い視線検出を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
眼球の構造を示す説明図である。 本開示に係る第１の実施形態の概要について説明するための図である。 同実施形態に係る表示装置の、ユーザの眼と対向する側の構成を示す説明図である。 同実施形態に係る表示装置が装着されたときの、ユーザの眼球１０と表示装置との位置関係を示す概略側面図である。 同実施形態に係る表示装置および情報処理装置の機能構成を示す機能ブロック図である。 同実施形態に係る移動して表示される注視点マーカの一表示例を示す説明図である。 同実施形態に係る瞳孔角膜反射法を用いた光軸ベクトルの算出処理について説明するための説明図である。 同実施形態に係る光軸のばらつきの評価結果の一例を示すグラフである。 同実施形態に係るマーカベクトル及び光軸ベクトルの座標を示す説明図である。 同実施形態に係る情報処理装置によるキャリブレーション処理の流れを示すフローチャートである。 同実施形態に係るキャリブレーション点ごとの利用可否判定の流れを示すフローチャートである。 同実施形態に係るキャリブレーション点位置を変更について説明するための説明図である。 同実施形態に係る表示制御部によるオブジェクトの表示制御の一例を示す図である。 同実施形態に係る左眼と右眼の両方においてキャリブレーションが実行された場合におけるオブジェクトの表示制御の一例を示す図である。 本開示の第２の実施形態に係る情報処理装置が装着された際の、ユーザの眼球１０と情報処理装置２００との位置関係を示す概略側面図である。 同実施形態に係る透明部材をユーザ側から示した正面図である。 同実施形態に係る透明部材の構造的特徴を示す斜視図である。 同実施形態に係る線状の発光点を示す図である。 同実施形態に係るメッシュ状の発光点を示す図である。 同実施形態に係る棒形状の透明部材について説明するための図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．概要
１．２．表示装置のハードウェア構成
１．３．機能構成
１．４．キャリブレーション処理
１．５．キャリブレーション処理の流れ
１．６．キャリブレーションの実行結果に基づく表示制御
２．第２の実施形態
２．１．概要
２．２．透明部材の特徴
３．ハードウェア構成例
４．まとめ
＜１．第１の実施形態＞
＜＜１．１．概要＞＞
まず、本開示の第１の実施形態に係る情報処理装置の概要について説明する。図１は、眼球の構造を示す説明図である。
本実施形態に係る情報処理装置は、ディスプレイに対するユーザの視線を検出する際に、視線検出精度を向上させるために実行されるキャリブレーションを行う装置である。本実施形態に係る情報処理装置は、例えば、瞳孔角膜反射法を用いてユーザの視線を検出する。瞳孔角膜反射法は、ユーザの眼球に対して光源から光を照射し、その光の角膜表面での反射光と瞳孔の位置とを検出して視線方向を推定する手法である。
ここで、ユーザの視線は、図１に示すように、眼球１０の水晶体１２の中央後面にある節点１２ａと中心窩１６ａとを結ぶ視軸ＡＳ上にある。一方、上述の瞳孔角膜反射法で推定される視線方向は、瞳孔１７の中心を通る角膜１４の法線上の光軸ＡＯにある。視軸Ａ Ｓと光軸ＡＯとにはずれがあり、個人差にもよるが、一般には４～８°程度傾向いている。このずれが大きくなると視線検出精度が低下するため、キャリブレーションを行い、ずれを補正する。
キャリブレーションは、以下の手順で行われる。
（手順１）視野内のある点（以下、「注視点」ともいう。）を見たときの光軸を推定
（手順２）角膜曲率中心から注視点への注視点ベクトルと推定された光軸のベクトルとの差分を測定
（手順３）（手順２）で測定した差分に基づき、任意の点を見たときの光軸より、そのときの視軸を推定
なお、眼球１０は筋肉の引っ張りにより回転するため、見る方向によってロール回転が加わる。このため、キャリブレーションのパラメータは、眼球１０の向きによって異なる。そこで、通常、視野内の複数（例えば、５点～９点）の注視点においてパラメータが取得される。
このようなキャリブレーションにおいては、瞳孔表面での反射光の検出や光軸の推定に誤差がある。この誤差のばらつきを抑えることで、視線検出の精度を高めることが可能となる。そこで、本実施形態に係る情報処理装置は、上記のような誤差のばらつきを抑えるようにキャリブレーションを行う。
また、一般的なキャリブレーションにおいては、両眼に係る視線データを用いて処理が実行される。しかし、上述したように、両眼のうち片方の眼が正常に機能していない場合などにおいては、視線検出が困難となるとなることや、視線検出の精度が著しく低下することが想定される。このため、本実施形態に係る情報処理装置は、両眼のそれぞれに関し、キャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る視線データのみを用いて、当該眼に対するキャリブレーションを実行する、ことを特徴の一つとする。
図２は、本実施形態の概要について説明するための図である。図２には、ユーザの左眼ＬＥが正常に機能し、右眼ＲＥが正常に機能していない状況が示されている。当該状況には、例えば、ユーザの右眼ＲＥが義眼である場合や、右眼ＲＥに斜視の症状が観察される場合などが該当する。
この際、本実施形態に係る情報処理装置は、左眼ＬＥおよび右眼ＲＥのそれぞれに関し、キャリブレーション可否を判定し、キャリブレーションが可能と判定した左眼ＬＥに係る視線データのみを用いて、左眼ＬＥに対してのみキャリブレーションを実行する。また、本実施形態に係る情報処理装置は、キャリブレーションを実行した左眼ＬＥに係る視線データのみを用いて視線検出を行うことができる。図２に示す一例の場合、情報処理装置は、キャリブレーションを実行した左眼ＬＥに係る視線データのみを取得して、ポイントＰ１～Ｐ３に対するユーザの視線を検出している。
本実施形態に係る情報処理装置が有する上記の機能によれば片方の眼が正常に機能していない場合であっても、ユーザの視線を検出することが可能となる。また、本実施形態に係る情報処理装置によれば、精度低下の原因となり得る眼の影響を排除することで、より精度の高い視線検出を行うことが可能となる。
＜＜１．２．表示装置のハードウェア構成＞＞
本実施形態に係る情報処理装置の説明に先立ち、図３および図４を参照して、本実施形態に係る情報処理装置によるキャリブレーションが行われる表示装置１００のハードウェア構成を説明する。なお、図３は、表示装置１００の、ユーザの眼と対向する側の構成を示す説明図である。図４は、表示装置１００が装着されたときの、ユーザの眼球１０と表示装置１００との位置関係を示す概略側面図である。
表示装置１００は、ユーザが頭部に装着し、眼と表示部とを対向させた状態で使用される装置である。表示装置１００は、例えば、非透過型、ビデオ透過型、光学透過型などのヘッドマウントディスプレイであってよい。本実施形態に係る表示装置１００の、ユーザの眼と対向する側の面には、図３に示すように、右眼及び左眼に対応する位置に、それぞれ表示部１０２Ｒ、１０２Ｌが設けられている。本実施形態に係る表示部１０２Ｒ、１０２Ｌは、略長方形に形成されている。なお、筐体１０１には、表示部１０２Ｒ、１０２Ｌの間に、ユーザの鼻が位置する凹部１０１ａが形成されていてもよい。
表示部１０２Ｒの周囲には、４つの光源１０３Ｒａ、１０３Ｒｂ、１０３Ｒｃ、１０３Ｒｄが、表示部１０２Ｒの４つの辺の略中央にそれぞれ設けられている。同様に、表示部１０２Ｌの周囲には、４つの光源１０３Ｌａ、１０３Ｌｂ、１０３Ｌｃ、１０３Ｌｄが、表示部１０２Ｌの４つの辺の略中央にそれぞれ設けられている。これらの光源１０３Ｒａ～１０３Ｒｄ、１０３Ｌａ～１０３Ｌｄは、赤外光を発する光源からなる。各光源１０３Ｒａ～１０３Ｒｄ、１０３Ｌａ～１０３Ｌｄは、これらが設けられている表示部１０２Ｒ、１０２Ｌに対向しているユーザの眼球１０に対して、光を照射する。
また、表示部１０２Ｒ、１０２Ｌの周囲には、それぞれ、眼球１０を撮影する撮像部１０４Ｒ、１０４Ｌが設けられている。各撮像部１０４Ｒ、１０４Ｌは、例えば、図３に示すように、各表示部１０２Ｒ、１０２Ｌの下部（各表示部１０２Ｒ、１０２Ｌの下部に設けられた光源１０３Ｒｃ、１０３Ｌｃよりも下部側）に設けられる。撮像部１０４Ｒ、１０４Ｌは、図４に示すように、少なくとも撮影する眼球１０の瞳孔１７が撮影範囲に含まれるように配置される。例えば、撮像部１０４Ｒ、１０４Ｌは、所定の仰角θを有するように配置される。仰角θは、例えば約３０°としてもよい。
なお、表示装置１００は、ユーザに装着されたとき、表示部１０２Ｒ、１０２Ｌがユーザの眼球１０から所定の距離だけ離れるように構成される。これにより、表示装置１００を装着したユーザは、不快なく、表示部１０２Ｒ、１０２Ｌの表示領域を視野内に収めることができる。このとき、ユーザが眼鏡Ｇを装着している場合にも、その上から重ねて表示装置１００を装着可能なように、表示部１０２Ｒ、１０２Ｌとユーザの眼球１０との距離を決定してもよい。撮像部１０４Ｒ、１０４Ｌは、この状態で、ユーザの眼球１０の瞳孔１７が撮影範囲に含まれるように配置される。
＜＜１．３．機能構成＞＞
次に、図５に基づいて、上述した表示装置１００と、表示装置１００のキャリブレーションを行う情報処理装置２００との機能構成を説明する。なお、図５は、表示装置１００および情報処理装置２００の機能構成を示す機能ブロック図である。
（表示装置１００）
表示装置１００は、図５に示すように、光源１１０と、撮像部１２０と、表示部１３０と、制御部１４０と、送受信部１５０とを備える。
光源１１０は、表示装置１００を装着したユーザの眼球１０に対して光を照射する。光源１１０は、例えば赤外光を出射する光源であって、図３の光源１０３Ｒａ～１０３Ｒｄ、１０３Ｌａ～１０３Ｌｄに相当する。光源１１０は、制御部１４０の指示に基づき、光を出射する。
撮像部１２０は、表示装置１００を装着したユーザの眼球１０を撮影する。撮像部１２０は、図３の撮像部１０４Ｒ、１０４Ｌに対応する。撮像部１２０は、制御部１４０の指示に基づき撮影を行い、撮影した撮像画像を制御部１４０に出力する。
表示部１３０は、情報を表示する出力部である。表示部１３０は、図３の表示部１０２Ｒ、１０２Ｌに相当する。表示部１３０は、例えば液晶ディスプレイや有機ＥＬディスプレイ、あるいは、投影装置により情報が表示されるレンズであってもよい。表示部１３０は、後述する情報処理装置２００の表示制御部２６０による制御に基づいて、種々の情報表示を行う。
制御部１４０は、表示装置１００の機能全般を制御する。制御部１４０は、例えば、光源１１０の点灯制御を行ったり、撮像部１２０の撮影制御を行ったりする。また、制御部１４０は、送受信部１５０を介して、情報処理装置２００との情報の送受信制御を行う。
送受信部１５０は、外部機器と情報の送受信を行うインタフェースである。本実施形態では、表示装置１００は、情報処理装置２００と情報の送受信を行うことで、キャリブレーションが行われる。この際、表示装置１００からは、撮像部１２０により撮影された撮像画像が送受信部１５０を介して情報処理装置２００へ送信される。また、情報処理装置２００から送信される、キャリブレーション時の光源１１０の点灯制御情報や、撮像部１２０に撮影を行わせる撮影制御情報、表示部１３０に表示させる表示情報等は、送受信部１５０を介して受信される。
（情報処理装置２００）
情報処理装置２００は、図５に示すように、送受信部２１０と、マーカ制御部２２０と、演算処理部２３０と、記憶部２４０と、評価部２５０と、表示制御部２６０とを備える。
送受信部２１０は、外部機器と情報の送受信を行うインタフェースである。本実施形態において、送受信部２１０は、表示装置１００と、キャリブレーションを実行させるための情報の送受信を行う。この際、送受信部２１０は、キャリブレーション時の光源１１０の点灯制御情報や、撮像部１２０に撮影を行わせる撮影制御情報、表示部１３０に表示させる表示情報等を、表示装置１００へ送信する。また、送受信部２１０は、表示制御部２６０が生成する表示制御信号を表示装置１００へ送信する。また、送受信部２１０は、表示装置１００から、撮像部１２０により撮影された撮像画像等を受信する。
マーカ制御部２２０は、キャリブレーション時に表示装置１００の表示部１３０に表示される注視点マーカの表示制御を行う。注視点マーカは、ユーザの光軸と視軸とのずれを測定するために表示領域に表示されるオブジェクトである。表示された注視点マーカにユーザの視線を向けさせることで、ユーザの瞳孔中心から注視点マーカへのベクトル（以下、「マーカベクトル」ともいう。）を得ることができ、また、そのときのユーザの光軸も推定される。
マーカ制御部２２０は、表示領域内の複数の位置においてユーザの視線データが取得されるように、注視点マーカを所定の位置（以下、「キャリブレーション点」ともいう。）に順次表示させる。マーカ制御部２２０は、注視点マーカが表示されているキャリブレーション点において所定数の視線データが取得されると、当該注視点マーカを次のキャリブレーション点に移動させるという処理を繰り返し、すべてのキャリブレーション点においてユーザの視線データを取得させる。
このとき、マーカ制御部２２０は、注視点マーカを表示させた状態で、各キャリブレーション点間で注視点マーカを移動させる。これにより、ユーザは注視点マーカを追うように視線を移動させるので、断続的に注視点マーカを表示させる場合と比較して、キャリブレーション点に表示された注視点マーカを探す時間も不要となり、注視点マーカに向けられる視線の動きも安定させることができる。
また、マーカ制御部２２０は、キャリブレーション点間を移動する注視点マーカの移動速度を制御してもよい。注視点マーカを一定の速度で移動させると、注視点マーカが移動先のキャリブレーション点に表示されたときの視線が定まりにくいという傾向がある。そこで、マーカ制御部２２０は、キャリブレーション点間を移動する注視点マーカの移動速度を、移動先のキャリブレーション点に近づくほど遅くするように制御してもよい。これにより、注視点マーカは、移動開始直後は早く移動するが、移動先のキャリブレーション点に近づくにつれて動きが遅くなる。ユーザの視線は注視点マーカの移動速度に伴って動くので、注視点マーカが移動先のキャリブレーション点に近づくとユーザの視線の動きも緩やかになり、注視点マーカがキャリブレーション点に表示されたときに視線を定めやすくすることができる。
演算処理部２３０は、各キャリブレーション点に注視点マーカを表示させたときの、ユーザの光軸及びマーカベクトルをそれぞれ演算する。演算処理部２３０は、表示装置１００から、ユーザの眼球に対して光源から光が照射された状態で、注視点マーカを注視するユーザの眼を撮影した撮影画像を取得し、ユーザの光軸及びマーカベクトルを演算する。演算された光軸及びマーカベクトルは、キャリブレーション点毎に記憶部２４０に記憶される。
また、演算処理部２３０は、視線データに基づいて両目のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る視線データのみを用いて当該眼に対するキャリブレーションを実行する、ことを特徴の一つとする。
記憶部２４０は、表示装置１００のキャリブレーション時に必要な各種情報を記憶する。記憶部２４０は、例えば、注視点マーカを表示させるキャリブレーション点の位置や注視点マーカをどのように移動させるかを規定した移動情報、各キャリブレーション点において取得する視線データの数、キャリブレーションの終了判定に用いる閾値等の設定情報が記憶される。また、記憶部２４０は、演算処理部２３０により演算された視線データが記憶される。
評価部２５０は、各キャリブレーション点において推定されたユーザの光軸のばらつきを評価する。演算処理部２３０は、例えば、上記のばらつきが許容範囲内であるか否かを判定することで、キャリブレーション可否を判定する。当該判定処理の詳細については後述する。
表示制御部２６０は、キャリブレーションが実行された眼に応じて、表示部１３０に表示させるオブジェクトの表示位置を制御する。この際、表示制御部２６０は、キャリブレーションが実行された眼に対応するエリアにオブジェクトを表示させる。表示制御部２６０による表示制御の詳細については後述する。
以上、表示装置１００及び情報処理装置２００の機能構成について説明した。なお、図５では、キャリブレーション処理を行う情報処理装置２００は表示装置１００とは別体として示したが、本開示はかかる例に限定されない。例えば、図５に示した情報処理装置２００の機能の一部または全部は表示装置１００の機能として実現されてもよい。
＜＜１．４．キャリブレーション処理＞＞
次に、図６～図１０を参照して、本実施形態に係る情報処理装置２００による表示装置１００のキャリブレーション処理について説明する。本実施形態に係る情報処理装置２００による表示装置１００のキャリブレーション処理は、表示部１３０に注視点マーカを表示し、ユーザの視線を注視点マーカに向けさせることから開始される。注視点マーカの表示制御は、情報処理装置２００のマーカ制御部２２０の指示を受けて、制御部１４０により行われる。キャリブレーションでは、表示部１３０の表示領域内の複数位置においてユーザの視線データを取得する。視線データを取得する位置であるキャリブレーション点に注視点マーカを表示させることで、ユーザに意図的に視線を注視点マーカに向けさせ、視線データを取得することが可能となる。
注視点マーカは、表示部１３０の表示領域３００内に予め設定された複数のキャリブレーション点に順に表示される。図６は、移動して表示される注視点マーカの一表示例を示す説明図である。注視点マーカＭは、例えば図６に示すように、まず、表示領域３００中央のキャリブレーション点ＣＰ１に表示される。注視点マーカＭがキャリブレーション点ＣＰ１に表示されると、ユーザは視線を注視点マーカＭに向ける。注視点マーカＭを表示させた状態とすることでユーザの視線をキャリブレーション点ＣＰ１に固定することができ、この状態で視線データが取得される。
キャリブレーション点ＣＰ１での視線データが取得されると、注視点マーカＭは、表示されたまま次の視線データの取得位置である表示領域３００左上のキャリブレーション点ＣＰ２に移動される。そして、キャリブレーション点ＣＰ２での視線データが取得される。その後、表示領域３００右上のキャリブレーション点ＣＰ３、表示領域３００左下のキャリブレーション点ＣＰ４、表示領域３００右下のキャリブレーション点ＣＰ５にて、視線データの取得と移動とが繰り返し行われる。
最初のキャリブレーション点に注視点マーカＭが表示されると、そのキャリブレーション点におけるユーザの視線データが取得される。視線データは、推定されたユーザの視線方向を表す光軸ベクトルと、ユーザの瞳孔中心から注視点マーカへのマーカベクトルとを含む。また、視線データは、左眼および右眼に関し、それぞれ取得される。
（光軸ベクトルの演算）
演算処理部２３０は、例えば、瞳孔角膜反射法を用いて光軸ベクトルを推定する。ここで、図７を参照して、瞳孔角膜反射法を用いた光軸の推定処理について説明する。図７は、瞳孔角膜反射法を用いた光軸ベクトルの算出処理について説明するための説明図である。瞳孔角膜反射法では、表示部の表示面２３を観察するユーザの眼球１０に対して光源２１から光を照射し、撮像部２２により光が照射された眼球１０を撮影する。そして、撮像部２２により撮影された撮影画像３０に基づき、光軸が推定される。ここでは説明を簡単にするため、１つの光源２１により眼球１０を照射した場合を説明する。
図７に示すように、ユーザは、表示面２３に表示されている注視点マーカＭを注視しているとする。このとき、光源２１により眼球１０に対して光を照射し、撮像部２２により眼球１０を撮影する。取得された眼球１０の撮影画像３０には、図７に示すように、ユーザの眼球１０の角膜１４、虹彩１３及び瞳孔１７が撮影されている。また、撮影画像３０では、光源２１から眼球１０に照射された照射光の輝点であるプルキニエ像（Ｐｕｒｋｉｎｊｅ Ｉｍａｇｅ）Ｐが撮影されている。
撮影画像３０が取得されると、光軸の算出処理が行われる。光軸の算出処理は、演算処理部２３０により行われる。このため、まず、撮影画像３０から瞳孔中心Ｓ及びプルキニエ像Ｐが検出される。これらの検出処理は、公知の画像認識技術により行うことができる。
例えば、瞳孔１７の像の検出処理においては、撮影画像３０に対する各種の画像処理（例えば歪みや黒レベル、ホワイトバランス等の調整処理）、撮影画像３０内の輝度分布を取得する処理等が行われる。また、取得された輝度分布に基づいて瞳孔１７の像の輪郭（エッジ）を検出する処理や、検出された瞳孔１７の像の輪郭を円又は楕円等の図形で近似する処理等が行われてもよい。検出された瞳孔１７の像より、瞳孔中心Ｓを求めることができる。
また、プルキニエ像Ｐの検出処理においては、撮影画像３０に対する各種の画像処理、撮影画像３０内の輝度分布を取得する処理、当該輝度分布に基づいて周囲の画素との輝度値の差が比較的大きい画素を検出する処理等の一連の処理が行われてもよい。また、検出されたプルキニエ像Ｐから、プルキニエ像Ｐの中心を検出してもよい。
次いで、瞳孔中心Ｓ及び角膜１４の曲率中心点Ｃの３次元座標が算出される。角膜１４の曲率中心点Ｃは、角膜１４を球の一部とみなした場合の当該球の中心である。瞳孔中心Ｓの３次元座標は、撮影画像３０から検出された瞳孔１７の像に基づいて算出される。具体的には、撮像部２２と眼球１０との位置関係、角膜１４表面における光の屈折、角膜１４の曲率中心点Ｃと瞳孔中心Ｓとの距離等に基づき、撮影画像３０における瞳孔１７の像の輪郭上の各点の３次元座標が算出される。これらの座標の中心点が、瞳孔中心Ｓの３次元座標とされる。
また、角膜１４の曲率中心点Ｃは、撮影画像３０から検出されたプルキニエ像Ｐ及びその中心に基づいて算出される。具体的には、光源２１と撮像部２２と眼球１０との位置関係、角膜１４の曲率半径等に基づき、撮像部２２とプルキニエ像Ｐの中心とを結ぶ直線上において、角膜１４の表面から眼球１０の内部に向かって角膜１４の曲率半径だけ進んだ位置が、角膜１４の曲率中心点Ｃの３次元座標として算出される。
このように算出された角膜１４の曲率中心点Ｃと瞳孔中心Ｓとを結ぶ直線が、推定された光軸となる。すなわち、光軸と表示面２３とが交差する位置の座標が、推定されたユーザの視線位置となる。なお、角膜１４の曲率中心点Ｃから瞳孔中心Ｓに向かうベクトルを光軸ベクトルｖｏとする。
（マーカベクトルの演算）
一方、ユーザの瞳孔中心Ｓから注視点マーカＭへのマーカベクトルは、上述のように撮影画像３０から特定された瞳孔中心Ｓから、現在注視点マーカＭが表示されている表示面２３上の位置に向かうベクトルとして算出することができる。
このように、演算処理部２３０は、左眼および右眼に係る光軸ベクトルとマーカベクトルを視線データとして演算により取得する。演算処理部２３０が取得した左眼および右眼に係る視線データは、記憶部２４０に記憶される。
（検出結果のばらつき抑制）
ここで、演算処理部２３０は、演算した光軸ベクトルｖｏがキャリブレーションの検出結果として利用可能な情報であるか否かを判定する。
具体的には、演算処理部２３０は、光軸ベクトルｖｏのぶれが所定の範囲内にあるか否かを判定し、演算した光軸ベクトルｖｏがこれまで取得された光軸ベクトルｖｏから大きく外れたものでないことを確認してもよい。演算処理部２３０により演算された光軸ベクトルｖｏは、記憶部２４０に履歴として記憶されている。これを用いて、演算処理部２３０は、例えば、今回演算分を含めた過去Ｎ回に取得した光軸ベクトルの平均ｖｏ＿ａｖｅと今回の光軸ベクトルｖｏとのなす角が所定値以内にあることを確認する。そして、光軸ベクトルの平均ｖｏ＿ａｖｅと今回の光軸ベクトルｖｏとのなす角が所定の閾値を超えたとき、今回演算された光軸ベクトルｖｏはぶれが大きいとして、キャリブレーションの検出結果として用いないようにする。これにより、光軸ベクトルの精度を高めることができる。
光軸ベクトルの平均ｖｏ＿ａｖｅは、例えば過去３回の光軸ベクトルｖｏを用いて算出してもよい。また、光軸ベクトルの平均ｖｏ＿ａｖｅと今回の光軸ベクトルｖｏとのなす角を判定するための閾値は、例えば３°程度としてもよい。また、ユーザが注視点マーカＭを見ていないときに撮影された撮影画像から光軸ベクトルｖｏが演算された場合にも、演算された光軸ベクトルｖｏは、光軸ベクトルの平均ｖｏ＿ａｖｅから大きく外れるものとなる。このようなものも、当該判定により検出結果から除外することができる。
また、演算処理部２３０は、例えば、演算したマーカベクトルｖｍと光軸ベクトルｖｏとのなす角ωが所定値以下であるか否かを判定してもよい。かかる判定により、推定された光軸ベクトルｖｏが、実際の視線方向から大きくずれていないかを確認することができる。ここで用いる閾値の値は、光軸と視軸とのずれや光軸の検出誤差等を考慮して決定される。
例えば、推定されたユーザの視線方向（すなわち、光軸）と、実際にユーザが見ている方向（すなわち、視軸）とは必ずしも一致しない。これは、眼球の形状や大きさ、眼球における網膜や視神経の配置等に起因する。個人差もあるが、光軸と視軸とは通常４～８°ずれている。また、光軸の検出誤差は数°、例えば±３°ほど存在すると考えられる。これらの誤差にその他の蓄積誤差±１°を加味すると、０～１２°程度の誤差の発生が想定される。この場合、演算したマーカベクトルと光軸ベクトルとのなす角ωが０～１２°の範囲内にあれば、演算した光軸ベクトルｖｏの精度は許容できるものとして、キャリブレーションの検出結果として用いるようにしてもよい。
このような判定処理を行うことで、検出結果のばらつきを抑制することができ、光軸ベクトルの精度を高めることができる。
（誤検出判定）
さらに、上述した検出結果のばらつきを抑制するための判定をクリアした場合であっても、瞳孔や輝点が誤った場所を検出し続けることもある。誤った検出結果を用いると、正しくキャリブレーション処理を行うことができない。そこで、演算処理部２３０は、このような誤った検出結果をキャリブレーションの検出結果として用いないようにする誤検出判定処理を行ってもよい。例えば、演算された左右の瞳孔の大きさが極端に異なる場合には、瞳孔として誤った場所を認識している可能性が高い。このような場合に取得された視線データは検出結果として用いないようにする。具体的には、例えば左右の瞳孔のサイズ比が所定の値（例えば１．２）を超えた場合には、左右の瞳孔の大きさが極端に異なるとして、取得された視線データは検出結果として用いないようにしてもよい。
以上の処理が行われると、演算処理部２３０は、現在注視点マーカＭが表示されているキャリブレーション点において利用可能な視線データが所定数以上取得されたか否かを判定する。ここで、利用可能な視線データが所定時間内に所定数以上取得されている場合、演算処理部２３０は、当該キャリブレーション点を利用可能なキャリブレーション点として記憶部２４０に記憶させる。演算処理部２３０は、上記の判定処理を左眼および右眼に対し、それぞれ実行する。
次に、演算処理部２３０は、すべてのキャリブレーション点について視線データが取得されたか否かを判定し、視線データが取得されていないキャリブレーション点がある場合には、マーカ制御部２２０に対して、注視点マーカＭを次のキャリブレーション点へ移動させるよう指示する。マーカ制御部２２０は、予め設定されている次のキャリブレーション点へ注視点マーカＭを移動させる指示を、送受信部２１０を介して表示装置１００へ出力する。
（注視点マーカの移動処理）
注視点マーカＭは、ユーザの視線を向けさせるために表示させるものである。ここで、ユーザの視線データを短時間で正しく取得できるように、注視点マーカＭの表示制御が行われる。
まず、注視点マーカＭは、表示された状態で、各キャリブレーション点間を移動する。これにより、ユーザは注視点マーカを追うように視線を移動させるので、断続的に注視点マーカＭを表示させる場合と比較して、キャリブレーション点に表示された注視点マーカＭを探す時間も不要となり、注視点マーカに向けられる視線の動きも安定させることができる。
そして、キャリブレーション点間を移動する注視点マーカＭの移動速度を変化させる。注視点マーカＭを一定の速度で移動させると、注視点マーカＭが移動先のキャリブレーション点に表示されたときの視線が定まりにくいという傾向がある。そこで、マーカ制御部２２０は、キャリブレーション点間を移動する注視点マーカＭの移動速度を、移動先のキャリブレーション点に近づくほど遅くするように制御する。これにより、注視点マーカＭは、移動開始直後は早く移動するが、移動先のキャリブレーション点に近づくにつれて動きが遅くなる。ユーザの視線は注視点マーカの移動速度に伴って動くので、注視点マーカＭが移動先のキャリブレーション点に近づくとユーザの視線の動きも緩やかになり、注視点マーカＭがキャリブレーション点に表示されたときに視線を定めやすくすることができる。
また、表示領域３００において視線データを取得するキャリブレーション点は、通常、ユーザが正面を向いたときに見る位置である表示領域３００の中央と、視軸と光軸とのずれが大きくなり易い表示領域３００の周縁部近辺に設定される。キャリブレーション点は、通常、視野内に複数点（例えば、５～９点）設定される。これらの位置でキャリブレーションを行うことで、表示領域３００全体として見え方が均一となるように補正処理を行うことができる。具体的には、矩形の表示領域３００の中央と四隅とにおいて、キャリブレーションを行ってもよい。あるいは、矩形の表示領域３００の中央と各辺の中心近辺とにおいて、キャリブレーションを行ってもよい。
ここで、注視点マーカＭを各キャリブレーション点に移動させるとき、なるべく移動距離が大きくなるように注視点マーカＭの移動順序を決定してもよい。ユーザは、注視点マーカＭの動きに伴い視線を移動させるが、注視点マーカＭの移動距離が小さいと、次のキャリブレーション点に表示された注視点マーカＭに視線を合わせにくく、視軸と光軸とのずれが大きくなる。また、注視点マーカＭを表示領域３００の水平方向に移動させた場合にも視軸と光軸とのずれが大きくなりやすいので、上下や斜め等、上下方向への移動も含むように注視点マーカＭを移動させてもよい。
例えば、表示領域３００の中央及び四隅に設定された５つのキャリブレーション点ＣＰ１～ＣＰ５において視線データを取得するときには、中央のキャリブレーション点ＣＰ１を表示した後、四隅のキャリブレーション点ＣＰ２～ＣＰ５をジクザグに移動させてもよい。また、中央及び各辺の中心近辺に設定された５つのキャリブレーション点ＣＰ１～ＣＰ５において視線データを取得するときには、例えば、まず、各辺の中心近辺のキャリブレーション点ＣＰ１～ＣＰ４をひし形の軌跡を描くように順に表示させる。その後、中央のキャリブレーション点ＣＰ１を表示させるようにしてもよい。
注視点マーカＭが次のキャリブレーション点へ移動されると、移動先のキャリブレーション点での視線データの取得が行われる。その後、すべてのキャリブレーション点において視線データの取得が完了するまで、処理が繰り返し実行される。
（キャリブレーション可否の判定）
すべてのキャリブレーション点において視線データが取得されると、演算処理部２３０は、左眼および右眼のそれぞれに関しキャリブレーション可否を判定する。この際、演算処理部２３０は、利用可能なキャリブレーション点に基づいて、左眼および右眼に関するキャリブレーション可否を判定してよい。より詳細には、演算処理部２３０は、利用可能なキャリブレーション点の数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定することができる。演算処理部２３０は、利用可能なキャリブレーション点が３点以上ない場合には、該当する眼がキャリブレーション不能であると判定してもよい。
一方、利用可能なキャリブレーション点の数が閾値以上である場合、評価部２５０により、光軸ベクトルｖｏのばらつきが評価される。演算処理部２３０は、両眼のそれぞれに関し、評価部２５０により評価された光軸ベクトルのばらつきに基づいて、前記キャリブレーション可否を判定することができる。
各キャリブレーション点における光軸ベクトルｖｏは、正しく推定された場合、表示領域３００でのキャリブレーション点の表示位置に対応した値となる。ここで、図６に示したキャリブレーション点ＣＰ１～ＣＰ５でキャリブレーションを行った際の光軸ベクトルｖｏの検出結果の一例を図８に示す。図８は、光軸のばらつきの評価結果の一例を示すグラフである。図８は、光軸ベクトルｖｏの上下方向の角度θと、光軸ベクトルｖｏの水平方向の角度ωとの関係を表している。なお、本実施形態において、光軸ベクトルｖｏは、図９に示す座標軸に基づき規定している。図９は、マーカベクトル及び光軸ベクトルの座標を示す説明図である。図９の座標軸において、ｘ軸は表示領域３００の水平方向、ｙ軸は表示領域３００の上下方向、ｚ軸は表示領域３００の奥行き方向を表している。角度θは光軸ベクトルｖｏとｚｘ平面とのなす角であり、角度ωは光軸ベクトルｖｏとｘｙ平面とのなす角となる。
図８上段には、キャリブレーションが正しく行われたときの光軸ベクトルｖｏの分布が示され、図８下段には、キャリブレーションが正しく行われなかったときの光軸ベクトルｖｏの分布が示されている。図８上段に示すように、キャリブレーションが正しく行われたときには、表示領域３００の中央及び四隅に設定された各キャリブレーション点の位置に対応して、光軸ベクトルｖｏはきれいに分かれて分布する。
一方、図８下段に示すように、キャリブレーションが正しく行われなかったときには、表示領域３００の右上、左上、及び中央のキャリブレーション点に対応する光軸ベクトルｖｏの上下方向の角度θが略同一になる等、きれいに分布しない。このような分布は、特に、ハードコンタクトレンズの装着者や、薄目、細目のユーザで発生しやすい。
そこで、本実施形態では、評価部２５０により、全体としての光軸ベクトルｖｏのばらつきを評価するための評価値として、マーカベクトルｖｍと光軸ベクトルｖｏとの相関係数を算出する。マーカベクトルｖｍと光軸ベクトルｖｏとの相関係数ｒｘｙは、例えば下記の数式（１）により求めることができる。
Figure 0007081599000001
なお、上記の数式（１）におけるｉは各キャリブレーション点に付された番号であり、１～ｎの値を取る。キャリブレーション点が５つ設定されている場合には、ｎは５となる。また、ｘｉ、ｙｉは光軸ベクトルｖｏのｘ座標およびｙ座標であり、ｘ￣、ｙ￣はマーカベクトルｖｍのｘ座標およびｙ座標である。なお、ｘ￣、ｙ￣は、ｘ、ｙの上に￣が添えられているものとする。
上記の数式（１）では、すべてのキャリブレーション点におけるマーカベクトルｖｍと光軸ベクトルｖｏとの、上下方向の角度θと水平方向の角度ωとの差を評価している。１または複数のキャリブレーション点においてマーカベクトルｖｍと光軸ベクトルｖｏとが一致せず、これらの角度のずれが大きくなると、数式（１）により算出される相関係数ｒ ｘｙは小さくなる。
この際、演算処理部２３０は、相関係数ｒｘｙが閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定することができる。
以上説明したように、本実施形態に係る演算処理部２３０は、利用可能なキャリブレーション点の数や、光軸ベクトルのばらつきに基づいて、左眼および右眼のそれぞれに関しキャリブレーション可否を判定することができる。また、演算処理部２３０は、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行することができる。本実施形態に係る演算処理部２３０が有する上記の機能によれば、精度低下の要因となり得る眼の影響を排除し、精度の高い視線検出を実現することが可能となる。
＜＜１．５．キャリブレーション処理の流れ＞＞
次に、本実施形態に係る情報処理装置２００によるキャリブレーション処理の流れに着目して詳細に説明する。図１０は、本実施形態に係る情報処理装置２００によるキャリブレーション処理の流れを示すフローチャートである。
図１０を参照すると、まず、情報処理装置２００は、キャリブレーション点ごとの利用可否判定を行う（Ｓ１１０１）。ステップＳ１１０１におけるキャリブレーション点ごとの利用可否判定の流れについては別途詳細に説明する。
次に、情報処理装置２００は、左眼および右眼ごとにキャリブレーション可否を判定する（Ｓ１１０２）。
キャリブレーション可否判定において、情報処理装置２００は、まず、利用可能なキャリブレーション点の数が閾値以上であるか否かを判定する（Ｓ１１０３）。
ここで、利用可能なキャリブレーション点の数が閾値を下回る場合（Ｓ１１０３：ＮＯ）、情報処理装置２００は、該当する眼がキャリブレーション不能であると判定する（Ｓ１１０５）。
一方、利用可能なキャリブレーション点の数が閾値以上である場合（Ｓ１１０３：ＹＥＳ）、続いて、情報処理装置２００は、推定した光軸ベクトルのばらつきが閾値以下であるか否かを判定する（Ｓ１１０４）。より具体的には、情報処理装置２００は、マーカベクトルｖｍと光軸ベクトルｖｏとの相関係数ｒｘｙに基づいて、上記の判定を行うことができる。
ここで、推定した光軸ベクトルのばらつきが閾値を上回る場合（Ｓ１１０４：ＮＯ）、情報処理装置２００は、該当する眼がキャリブレーション不能であると判定する（Ｓ１１０５）。
一方、推定した光軸ベクトルのばらつきが閾値以下である場合（Ｓ１１０４：ＹＥＳ）、情報処理装置２００は、該当する眼がキャリブレーション可能であると判定する（Ｓ１１０６）。
左眼および右眼ごとのキャリブレーション可否が完了すると、続いて、情報処理装置２００は、キャリブレーション可能な眼が１つ以上存在するか否かを判定する（Ｓ１１０７）。
ここで、キャリブレーション可能な眼が１つ以上存在する場合（Ｓ１１０７：ＹＥＳ）、情報処理装置２００は、キャリブレーション可能な眼に対するキャリブレーション処理を実行する（Ｓ１１０８）。
一方、キャリブレーション可能な眼が存在しない場合（Ｓ１１０７：ＮＯ）、情報処理装置２００は、ステップＳ１１０１に復帰し、キャリブレーション点ごとの利用可否判定を繰り返し実行してもよい。
続いて、ステップＳ１１０１におけるキャリブレーション点ごとの利用可否判定の流れについて詳細に説明する。図１１は、本実施形態に係るキャリブレーション点ごとの利用可否判定の流れを示すフローチャートである。
図１１を参照すると、情報処理装置２００は、左眼および右眼ごとにキャリブレーション点の利用可否判定を行う（Ｓ１２０１）。
キャリブレーション点の利用可否判定において、情報処理装置２００は、まず、キャリブレーション点に注視点マーカを表示させる（Ｓ１２０２）。
次に、情報処理装置２００は、キャリブレーション点に注視点マーカが表示されている際に撮影されたユーザの眼を含む撮影画像に基づいて、視線データを取得する（Ｓ１２０３）。上述したように、上記の視線データは、光軸ベクトルおよびマーカベクトルに係る情報を含む。
次に、情報処理装置２００は、ステップＳ１２０３において取得した視線データに基づいて、光軸ベクトルのぶれが所定の範囲内にあるか否かを判定する（Ｓ１２０４）。
ここで、光軸ベクトルのぶれが所定の範囲内にない場合（Ｓ１２０４：ＮＯ）、情報処理装置２００は、ステップＳ１２０２に復帰する。
一方、光軸ベクトルのぶれが所定の範囲内にある場合（Ｓ１２０４：ＹＥＳ）、情報処理装置２００は、続いて、光軸ベクトルとマーカベクトルとの差が所定の範囲内にあるか否かを判定する（Ｓ１２０５）。
ここで、光軸ベクトルとマーカベクトルとの差が所定の範囲内にない場合（Ｓ１２０５：ＮＯ）、情報処理装置２００は、ステップＳ１２０２に復帰する。
一方、光軸ベクトルとマーカベクトルとの差が所定の範囲内にある場合（Ｓ１２０５：ＹＥＳ）、情報処理装置２００は、ステップＳ１２０３において取得した視線データを利用可能な視線データとして蓄積する（Ｓ１２０６）。
次に、情報処理装置２００は、蓄積された視線データが所定数以上存在するか否かを判定する（Ｓ１２０７）。
ここで、蓄積された視線データが所定数以上存在する場合（Ｓ１２０７：ＹＥＳ）、情報処理装置２００は、該当するキャリブレーション点が利用可能であると判定する（Ｓ１２０８）。
一方、蓄積された視線データが所定数以上存在しない場合（Ｓ１２０７：ＮＯ）、続いて、情報処理装置２００は、予め設定された所定時間が経過しているか否かを判定する（Ｓ１２０９）
ここで、所定時間が経過している場合（Ｓ１２０９：ＹＥＳ）、情報処理装置２００は、該当するキャリブレーション点が利用不能であると判定する（Ｓ１２１０）。
一方、所定時間が経過していない場合（Ｓ１２０９：ＮＯ）、情報処理装置２００は、ステップＳ１２０２に復帰する。このように、情報処理装置２００は、所定数以上の視線データが蓄積されるか所定時間が経過するまで視線データを繰り返し取得する。なお、上記の所定時間は、動的に変更されてもよい。例えば、以前にキャリブレーションの実行実績がある場合には、本来視線データが取得できる領域であることが想定されるため、長めの時間が設定されてもよい。
一方、ステップＳ１２０８またはＳ１２０９においてキャリブレーション点の利用可否を判定した場合、情報処理装置２００は、すべてのキャリブレーション点について利用可否の判定が完了したか否かを判定する（Ｓ１２１１）。
ここで、すべてのキャリブレーション点について利用可否の判定が完了していない場合（Ｓ１２１１：ＮＯ）、情報処理装置２００は、次のキャリブレーションに注視点マーカを移動させ（Ｓ１２１２）、ステップＳ１２０１に復帰する。
すべてのキャリブレーション点について利用可否の判定が完了した場合（Ｓ１２１１：ＹＥＳ）、情報処理装置２００は、キャリブレーション点の利用可否判定を終了し、図１０におけるステップＳ１１０２の処理に移行する。
なお、上記で述べたように視線データを繰り返し取得する場合、情報処理装置２００は、キャリブレーション点の位置を変更して視線データを取得してもよい。図１２は、キャリブレーション点位置を変更について説明するための説明図である。
例えば、図１２に示すように、表示領域３００に対して、表示領域３００を所定の割合αだけ縮小した領域に基づき、最初のキャリブレーション点が設定されるとする。この際、キャリブレーション点の位置のデフォルト値を、例えば、表示領域３００の中央と、表示領域の９０％の大きさの領域の四隅とした場合を想定する。この場合、情報処理装置２００は、上記の繰り返し処理において、キャリブレーション点の位置を表示領域３００の中央に寄せる変更を行ってもよい。情報処理装置２００は、例えば、四隅のキャリブレーション点の位置を、表示領域の８０％の大きさの領域の四隅に設定することができる。このようにキャリブレーション点の位置を表示領域の中央に寄せることで、ユーザが注視点マーカを見やすくなり、正しい視線データを取得しやすくすることができる。
以上、本実施形態に係る情報処理装置２００によるキャリブレーション処理の流れについて詳細に説明した。上述したように、本実施形態に係る情報処理装置２００によれば、片方の眼が正常に機能していない場合であっても、正常に機能していると予測される眼に対してキャリブレーションを実行し、当該眼に係る視線を検出することが可能となる。また、本実施形態に係る情報処理装置２００によれば、両眼のうち精度低下の原因となり得る眼の影響を排除することで、より精度の高い視線検出を実現することが可能となる。
なお、図１１に示す一例では、情報処理装置２００が所定数の視線データが蓄積された場合にキャリブレーション点を変更する場合について説明したが、本実施形態に係る情報処理装置２００による処理の流れは係る例に限定されない。情報処理装置２００は、例えば、視線データが１点蓄積される度にキャリブレーション点を変更する処理を所定回数繰り返し行うこともできる。
また、本実施形態に係る情報処理装置２００は、上記で説明した主な制御以外にも種々の制御を行うことができる。例えば、情報処理装置２００は、過去のキャリブレーション時とは異なるキャリブレーション点を用いることで、全体の精度を向上させることも可能である。一方、情報処理装置２００は、過去のキャリブレーション結果の一部を用いることで、キャリブレーションに要する時間を短縮してもよい。
また、情報処理装置２００は、ユーザが義眼を用いている場合など、片方の眼が予めキャリブレーションが不能であることが分かっている場合には、当該眼に関するキャリブレーション可否の判定を行わなくてもよい。
また、情報処理装置２００は、キャリブレーションの結果に応じて、どちらの眼が視線検出に用いられるかをユーザに提示してもよい。また、情報処理装置２００は、過去にキャリブレーション実績がある眼がキャリブレーション不能と判定した場合、ユーザにアラートなどを提示してもよい。
また、表示装置１００がＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術などに対応している場合、情報処理装置２００は、キャリブレーション時における周囲の明るさなどに応じて、背景が視認しづらいように制御を行ったり、背景に同化しない色で注視点マーカを表示させるなどの制御を行ってもよい。
また、情報処理装置２００は、視線検出に用いられない眼に係る光源１１０や撮像部１２０の電源を落とす制御を行うことで、消費電力を効果的に低減することも可能である。本実施形態に係る情報処理装置２００が有する機能は、仕様や運用に応じて柔軟に変形可能である。
＜＜１．６．キャリブレーションの実行結果に基づく表示制御＞＞
次に、本実施形態に係るキャリブレーションの実行結果に基づく表示制御について説明する。本実施形態に係る情報処理装置２００の表示制御部２６０は、キャリブレーションの実行結果に基づいて表示装置１００の表示部１３０に表示させるオブジェクトの表示位置を制御することができる。
例えば、図３に示した表示部１０２Ｒおよび１０２Ｌで互いに対応する視野が異なる場合を想定する。ここで、片方の眼を視線検出に用いない場合、当該眼に対応する表示部１０２の一部領域では、視線検出の精度が低下することも想定される。
このため、本実施形態に係る表示制御部２６０は、表示領域３００において、キャリブレーションが実行された眼に対応するエリアにオブジェクトを表示させることで、当該オブジェクトに対する視線の検出精度を向上させることが可能である。
図１３は、本実施形態に係る表示制御部２６０によるオブジェクトの表示制御の一例を示す図である。図１３には、表示部１３０が対応する視野ＦＶが示されている。視野ＦＶは、左眼に対応する左視野ＬＦＶと右眼に対応する右視野ＲＦＶから成る。
ここで、演算処理部２３０が右眼に対するキャリブレーションを実行せず、左眼に対するキャリブレーションを実行した場合、表示制御部２６０は、キャリブレーションが実行された左眼に対応するエリアにオブジェクトＯｂを表示させてよい。
表示制御部２６０は、例えば、視野ＦＶにおいて、左目に対応する左視野ＬＦＶに寄せてオブジェクトＯｂを表示させることができる。また、表示制御部２６０は、左視野ＬＦＶのうちキャリブレーションエリアＬＣＡにオブジェクトＯｂを表示させることで、オブジェクトＯｂに係る視線検出精度をより向上させることが可能である。
ここで、上記のキャリブレーションエリアＬＣＡは、左眼に対するキャリブレーションを実行する際に用いられたキャリブレーション点に基づいて定まるエリアである。例えば、左眼に対するキャリブレーションの実行時に、図１２に示すキャリブレーション点ＣＰ１～ＣＰ５が用いられた場合、キャリブレーションエリアＬＣＡは、キャリブレーション点ＣＰ２～ＣＰ５により定義される矩形領域に対応する。このように、本実施形態に係る表示制御部２６０は、キャリブレーションに用いられた領域にオブジェクトＯｂを表示させることで、オブジェクトＯｂに係る視線検出精度を効果的に高めることができる。
一方、本実施形態に係る表示制御部２６０は、図１３に示した一例に限定されず種々の表示制御を行ってよい。図１４は、左眼と右眼の両方においてキャリブレーションが実行された場合におけるオブジェクトの表示制御の一例を示す図である。なお、図１４には、左眼に係るキャリブレーションエリアＬＣＡと右眼に係るキャリブレーションエリアＲＣＡとがそれぞれ異なる面積を有する場合の例が示されている。この際、表示制御部２６０は、図示するように、キャリブレーションエリアＬＣＡおよびＲＣＡが重複する領域にオブジェクトＯｂを表示させてもよい。本実施形態に係る表示制御部２６０は、キャリブレーションの実行結果と表示装置１００やアプリケーション等の特性とに応じて、オブジェクトＯｂの表示位置を適切かつ柔軟に制御することが可能である。
＜２．第２の実施形態＞
＜＜２．１．概要＞＞
次に、本開示の第２の実施形態について説明する。上記における第１の実施形態の説明では、視線検出に係るキャリブレーションにおいて、情報処理装置２００が両眼のそれぞれに関しキャリブレーション可否を判定し、当該判定に基づくキャリブレーションを実行する際の手法について中心に述べた。
ここで、上述したような瞳孔角膜反射法を用いた視線検出を実現するためには、赤外光を撮像可能な撮像部と当該赤外光を照射する光源とを表示装置１００に配置することが求められる。この際、視線検出の精度の観点においては、光源をユーザの視野の中心付近に配置することが望ましい。しかし、上記のような配置を行う場合、光源が、表示部による視覚情報の表示を阻害することとなる。また、上記のような配置では、光源がユーザの視野に入り込むことで、ユーザの視聴体験を著しく損なわせる弊害が生じる。
このため、視線検出の精度の観点とは異なり、視聴体験の観点からは、光源は、ユーザの視野において可能な限り目立たない位置に配置されることが望ましい。しかし、ＡＲ技術やＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術に対応する表示装置などは、広視野角を有することが求められることから、光源の配置には物理的な制約が存在するのが一般的である。また、光源を小型化することで、目立ちを低減することも想定されるが、光源の小型化には限外があると同時にコストの増加が懸念される。
本開示の第２の実施形態に係る技術思想は、上記の点に着目して発想されたものであり、ユーザの視聴体験を阻害することなく精度の高い視線検出を実現することを可能とする。このために、本開示の第２の実施形態では、光源から導光した光をユーザの眼に照射する少なくとも２つの発光点を有する透明部材が用いられる。以下、本実施形態に係る透明部材の特徴について詳細に説明する。なお、以下の説明においては、第１の実施形態との差異について中心に述べ、第１の実施形態と共通する機能構成については、詳細な説明を省略する。また、第２の実施形態においては、表示装置１００と情報処理装置２００とが一体の装置として実現される場合を例に説明する。
＜＜２．２．透明部材の特徴＞＞
図１５は、ユーザにより情報処理装置２００が装着された際の、ユーザの眼球１０と情報処理装置２００との位置関係を示す概略側面図である。図１５に示すように、本実施形態に係る情報処理装置２００は、第１の実施形態において説明した構成に加え、透明部材１０５をさらに備える。また、透明部材１０５は、情報処理装置２００においてユーザの眼球１０側に配置される。
ここで、本実施形態に係る透明部材１０５は、例えば、ガラスやアクリル樹脂などの透過性を有する素材を用いて形成される。このため、ユーザは、透明部材１０５を介して情報処理装置２００の表示部（図示しない）に表示される種々の視覚情報を視認することができる。
図１６は、本実施形態に係る透明部材１０５をユーザ側から示した正面図である。図１６に示すように、本実施形態に係る透明部材１０５は、例えば、板状に形成されてもよい。また、本実施形態に係る透明部材１０５は、光源から導光した光をユーザの眼に照射する複数の発光点ｅｐを有することを特徴の一つとする。
瞳孔角膜反射法による視線検出の精度を担保するためには、角膜上において少なくとも２つの輝点が検出されることが望ましく、また検出される輝点の数が多いほど検出精度が向上する傾向がある。このため、本実施形態に係る透明部材１０５は、少なくとも２つの発光点ｅｐを有し、当該２つの発光点ｅｐは、両眼のそれぞれにおける角膜上に２つの輝点を形成可能な位置に配置されてよい。図１６には、透明部材１０５が４つの発光点ｅｐ１～ｅｐ４を有する場合の例が示されている。また、本実施形態に係る撮像部１０４は、図１５に示すように、角膜上における少なくとも２つの輝点を撮像可能な位置に配置される。
次に、図１７を参照して、本実施形態に係る発光点ｅｐについてより詳細に説明する。図１７は、本実施形態に係る透明部材１０５の構造的特徴を示す斜視図である。上述したように、本実施形態に係る発光点ｅｐは、光源から導光した光をユーザの眼に照射する役割を担う。この際、発光点ｅｐは、図１７に示すように、透明部材１０５の側部に配置される光源１０３から発せられた光を透明部材１０５の内部において反射させることで導光を実現してもよい。図１７には、発光点ｅｐ１が光源１０３ａから光を導光し、発光点ｅｐ４が光源１０３ｂから光を導光する場合の一例が示されている。
上記のような発光点ｅｐは、例えば、切り欠き加工により形成されてもよい。切り欠き加工によれば、透明部材１０５上の任意の場所に任意の形状の発光点を低コストで形成することが可能である。上述したように、瞳孔角膜反射法による視線検出の精度を担保するためには、角膜上においてより多くの輝点が検出されることが望ましい。しかし、従来の手法では、１つの光源が１つの輝点を形成するのが一般的であり、角膜上において多くの輝点を検出しようとする場合、光源の数を物理的に増加させる必要があった。一方、本実施形態では、複数の透明部材１０５を重ねて光源１０３の発光強度を制御することで、複数の発光点ｅｐによる光の照射を切り替えることも可能であり、光源１０３に要するコストを大幅に低減すると共に、ユーザごとに輝点を使い分けることが可能である。
なお、本実施形態に係る発光点ｅｐは切り欠き加工以外の手法により形成されてもよい。発光点ｅｐは、例えば、任意箇所の反射率を周囲と変化させることで形成することもできる。反射率を変化させる手法としては、例えば、発光点ｅｐの形成箇所に周囲とは異なる素材を用いることや、発光点ｅｐの形成箇所に別途の部材を付加することなどが想定される。
また、角膜上に複数の輝点が形成される場合、当該複数の輝点は、互いにどの方向から照射された光に由来するものであるか分離可能であることが求められる。このため、従来の手法では、輝点がいずれの光源に由来するものであるかを特定するために、複数の光源の配置を調整することが一般的であった。一方、本実施形態に係る発光点ｅｐは任意の形状に形成することが可能である。このため、本実施形態では、図１７に示すように、複数の発光点ｅｐ１およびｅｐ４が互いに異なる発光形状を有するように形成することができ、すなわち輝点の形状を異ならせることで、輝点の分離を容易に実現することができる。
さらには、本実施形態に係る発光点ｅｐは、線状やメッシュ形状で形成されてもよい。図１８は、本実施形態に係る線状の発光点ｅｐＬを示す図であり、図１９は、本実施形態に係るメッシュ状の発光点ｅｐＭを示す図である。線状の発光点ｅｐＬやメッシュ状の発光点ｅｐＭを用いて対応する反射像を観察することにより、眼球表面の凹凸形状などを詳細に分析することが可能となり、より精度の高い視線検出を実現することができる。
また、本実施形態に係る透明部材１０５は、例えば、表示部と一体に形成することも可能である。このため、本実施形態に係る透明部材１０５によれば、情報処理装置２００をより小型化、軽量化することが可能となる。
以上、本実施形態に係る透明部材１０５が板状に形成される場合を中心に述べたが、本実施形態に係る透明部材１０５の形状は係る例に限定されない。本実施形態に係る透明部材１０５は、例えば、棒形状の部材により実現されてもよい。図２０は、本実施形態に係る棒形状の透明部材について説明するための図である。図２０には、ユーザの視野ＦＶと、棒形状の２つの透明部材１０５ａおよび１０５ｂが示されている。この際、棒形状の２つの透明部材１０５ａおよび１０５ｂは、それぞれ視野ＦＶの外に配置される光源１０３ａおよび１０３ｂから導光した光をユーザの眼に照射することができる。
以上、本実施形態に係る透明部材１０５および発光点ｅｐの特徴について詳細に説明した。本実施形態に係る透明部材１０５および発光点ｅｐによれば、ユーザの視野外に配置される光源１０３から導光した光を視野の中心付近など任意の場所から照射することが可能となる。また、上述したように、本実施形態に係る発光点ｅｐは、任意の形状に形成することが可能であり、用途に応じた種々の形状の発光点ｅｐを形成することで視線検出の精度を効果的に向上させることができる。また、本実施形態に係る発光点ｅｐは、プレスなどにより大量かつ安定に形成することが可能であり、製造コストを低減すると共に、光源の取り付けと比べて高い位置精度を期待することができる。
なお、本実施形態に係る透明部材１０５は、光源１０３からの直接照射と併用して用いられてもよい。また、情報処理装置２００は、発光点ｅｐや光源１０３に係る種々の制御を行うことも可能である。例えば、情報処理装置２００は、周囲が暗い状況には、光源１０３の発光強度を弱めたり、利用する発光点ｅｐの数を限定することで、消費電力を低減するなどの制御を行ってもよい。本実施形態に係る情報処理装置２００の構成および機能は、仕様や運用に応じて柔軟に変形可能である。
なお、本実施形態に係る透明部材１０５は、本開示の実施形態における演算処理を行わない情報処理装置にも適用可能である。すなわち、透明部材１０５は、本開示の実施形態における演算処理に依存する構成要素ではないと見做されても良い。本実施形態に係る透明部材１０５を適用することにより、一般的なハードウェア構成と比較してより精度の高い視線検出が提供され、結果として一般的なハードウェア構成の課題が少なくとも部分的には解決され得る点に留意されたい。
＜３．ハードウェア構成例＞
次に、本開示の一実施形態に係る情報処理装置２００のハードウェア構成例について説明する。図２１は、本開示の一実施形態に係る情報処理装置２００のハードウェア構成例を示すブロック図である。図２１を参照すると、情報処理装置２００は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
＜４．まとめ＞
以上説明したように、本開示の一実施形態に係る情報処理装置２００は、両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る視線データのみを用いて当該眼に対するキャリブレーションを実行することができる。係る構成によれば、両眼のうち精度低下の原因となり得る眼の影響を排除することでより精度の高い視線検出を行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理装置２００が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書の情報処理装置２００の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置２００の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
を備え、
前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
情報処理装置。
（２）
前記演算処理部は、両眼のそれぞれに関し、利用可能なキャリブレーション点に基づいて前記キャリブレーション可否を判定する、
前記（１）に記載の情報処理装置。
（３）
前記演算処理部は、利用可能な前記キャリブレーション点の数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
前記（２）に記載の情報処理装置。
（４）
前記演算処理部は、両眼のそれぞれに関し、利用可能なすべてのキャリブレーション点における光軸ベクトルのばらつきに基づいて、前記キャリブレーション可否を判定する、前記（１）～（３）のいずれかに記載の情報処理装置。
（５）
前記演算処理部は、前記光軸ベクトルとユーザの瞳孔中心から注視点マーカが表示されている前記キャリブレーション点へのマーカベクトルとの相関関係を表す相関係数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
前記（４）に記載の情報処理装置。
（６）
前記演算処理部は、前記キャリブレーション点において蓄積された前記視線データに基づいて、当該キャリブレーション点の利用可否を判定する、
前記（２）～（５）のいずれかに記載の情報処理装置。
（７）
前記演算処理部は、前記キャリブレーション点において蓄積された視線データの数が所定時間内に所定数を上回らないことに基づいて、当該キャリブレーション点が利用不能であると判定する、
前記（２）～（６）のいずれかに記載の情報処理装置。
（８）
前記演算処理部は、ユーザの眼に光源から光が照射され、キャリブレーション点に注視点マーカが表示されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法により、光軸ベクトルを演算する、
前記（１）～（７）のいずれかに記載の情報処理装置。
（９）
前記キャリブレーションが実行された眼に応じて、前記表示部に表示させるオブジェクトの表示位置を制御する表示制御部、
をさらに備える、
前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
前記表示制御部は、前記キャリブレーションが実行された眼に対応するエリアに前記オブジェクトを表示させる、
前記（９）に記載の情報処理装置。
（１１）
前記表示制御部は、前記キャリブレーションが実行された眼に係るキャリブレーションエリアに前記オブジェクトを表示させる、
前記（１０）に記載の情報処理装置。
（１２）
複数のキャリブレーション点について演算された光軸ベクトルのばらつきを評価する評価部、
をさらに備える、
前記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
前記表示部により表示される注視点マーカの表示位置を変化させるマーカ制御部、
をさらに備える、
前記（１）～（１２）のいずれかに記載の情報処理装置。
（１４）
光源から導光した光をユーザの眼に照射する少なくとも２つの発光点を有する透明部材、
をさらに備え、
少なくとも２つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも２つの輝点を形成可能な位置に配置される、
前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
前記透明部材は、板状に形成され、ユーザの両眼と前記表示部との間に配置される、
前記（１４）に記載の情報処理装置。
（１６）
前記発光点は、切り欠き加工により形成される、
前記（１４）または（１５）に記載の情報処理装置。
（１７）
少なくとも２つの前記発光点は、互いに異なる発光形状を有する、
前記（１４）～（１６）のいずれかに記載の情報処理装置。
（１８）
ユーザの眼球を含む画像を撮像する撮像部、
をさらに備え、
前記撮像部は、角膜上における少なくとも２つの前記輝点を撮像可能な位置に配置される、
前記（１４）～（１７）のいずれかに記載の情報処理装置。
（１９）
プロセッサが、表示部に対する視線検出のキャリブレーションに係る演算処理を実行すること、
を含み、
前記演算処理を実行することは、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行すること、
さらに含む、
情報処理方法。
（２０）
コンピュータを、
表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
を備え、
前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
情報処理装置、
として機能させるためのプログラム。
（２１）
光源から導光した光をユーザの眼に照射する少なくとも２つの発光点を有する透明部材、
を備え、
少なくとも２つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも２つの輝点を形成可能な位置に配置される、
視線検出用の表示装置。
（２２）
光源から導光した光をユーザの眼に照射する少なくとも２つの発光点、
を有し、
少なくとも２つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも２つの輝点を形成可能な位置に配置される、
視線検出用の透明部材。
１０ 眼球
１４ 角膜
１７ 瞳孔
１００ 表示装置
１１０ 光源
１２０ 撮像部
１３０ 表示部
１４０ 制御部
１５０ 送受信部
２００ 情報処理装置
２１０ 送受信部
２２０ マーカ制御部
２３０ 演算処理部
２４０ 記憶部
２５０ 評価部
２６０ 表示制御部
１０５ 透明部材

Claims (20)

  1. 表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
    を備え、
    前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
    情報処理装置。
  2. 前記演算処理部は、両眼のそれぞれに関し、利用可能なキャリブレーション点に基づいて前記キャリブレーション可否を判定する、
    請求項１に記載の情報処理装置。
  3. 前記演算処理部は、利用可能な前記キャリブレーション点の数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
    請求項２に記載の情報処理装置。
  4. 前記演算処理部は、両眼のそれぞれに関し、利用可能なすべてのキャリブレーション点における光軸ベクトルのばらつきに基づいて、前記キャリブレーション可否を判定する、請求項１に記載の情報処理装置。
  5. 前記演算処理部は、前記光軸ベクトルとユーザの瞳孔中心から注視点マーカが表示されている前記キャリブレーション点へのマーカベクトルとの相関関係を表す相関係数が閾値を下回ることに基づいて、対応する眼がキャリブレーション不能であると判定する、
    請求項４に記載の情報処理装置。
  6. 前記演算処理部は、前記キャリブレーション点において蓄積された前記視線データに基づいて、当該キャリブレーション点の利用可否を判定する、
    請求項２に記載の情報処理装置。
  7. 前記演算処理部は、前記キャリブレーション点において蓄積された視線データの数が所定時間内に所定数を上回らないことに基づいて、当該キャリブレーション点が利用不能であると判定する、
    請求項２に記載の情報処理装置。
  8. 前記演算処理部は、ユーザの眼に光源から光が照射され、キャリブレーション点に注視点マーカが表示されているときに撮影されたユーザの眼を含む撮影画像に基づいて、瞳孔角膜反射法により、光軸ベクトルを演算する、
    請求項１に記載の情報処理装置。
  9. 前記キャリブレーションが実行された眼に応じて、前記表示部に表示させるオブジェクトの表示位置を制御する表示制御部、
    をさらに備える、
    請求項１に記載の情報処理装置。
  10. 前記表示制御部は、前記キャリブレーションが実行された眼に対応するエリアに前記オブジェクトを表示させる、
    請求項９に記載の情報処理装置。
  11. 前記表示制御部は、前記キャリブレーションが実行された眼に係るキャリブレーションエリアに前記オブジェクトを表示させる、
    請求項１０に記載の情報処理装置。
  12. 複数のキャリブレーション点について演算された光軸ベクトルのばらつきを評価する評価部、
    をさらに備える、
    請求項１に記載の情報処理装置。
  13. 前記表示部により表示される注視点マーカの表示位置を変化させるマーカ制御部、
    をさらに備える、
    請求項１に記載の情報処理装置。
  14. 光源から導光した光をユーザの眼に照射する少なくとも２つの発光点を有する透明部材、
    をさらに備え、
    少なくとも２つの前記発光点は、両眼のそれぞれにおける角膜上に少なくとも２つの輝点を形成可能な位置に配置される、
    請求項１に記載の情報処理装置。
  15. 前記透明部材は、板状に形成され、ユーザの両眼と前記表示部との間に配置される、
    請求項１４に記載の情報処理装置。
  16. 前記発光点は、切り欠き加工により形成される、
    請求項１４に記載の情報処理装置。
  17. 少なくとも２つの前記発光点は、互いに異なる発光形状を有する、
    請求項１４に記載の情報処理装置。
  18. ユーザの眼球を含む画像を撮像する撮像部、
    をさらに備え、
    前記撮像部は、角膜上における少なくとも２つの前記輝点を撮像可能な位置に配置される、
    請求項１４に記載の情報処理装置。
  19. プロセッサが、表示部に対する視線検出のキャリブレーションに係る演算処理を実行すること、
    を含み、
    前記演算処理を実行することは、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行すること、
    さらに含む、
    情報処理方法。
  20. コンピュータを、
    表示部に対する視線検出のキャリブレーションに係る演算処理を実行する演算処理部、
    を備え、
    前記演算処理部は、取得された視線データに基づいて両眼のそれぞれに関しキャリブレーション可否を判定し、キャリブレーション可能と判定した眼に係る前記視線データのみを用いて当該眼に対するキャリブレーションを実行する、
    情報処理装置、
    として機能させるためのプログラム。
JP2019532400A 2017-07-27 2018-05-22 情報処理装置、情報処理方法、およびプログラム Active JP7081599B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017145346 2017-07-27
JP2017145346 2017-07-27
PCT/JP2018/019630 WO2019021601A1 (ja) 2017-07-27 2018-05-22 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019021601A1 JPWO2019021601A1 (ja) 2020-05-28
JP7081599B2 true JP7081599B2 (ja) 2022-06-07

Family

ID=65039521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019532400A Active JP7081599B2 (ja) 2017-07-27 2018-05-22 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11490808B2 (ja)
EP (1) EP3660636A4 (ja)
JP (1) JP7081599B2 (ja)
KR (1) KR20200035003A (ja)
WO (1) WO2019021601A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017211891A (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
JP2020177283A (ja) * 2019-04-15 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
JP7288792B2 (ja) 2019-04-24 2023-06-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
DE112020006467T5 (de) * 2020-01-06 2022-10-27 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerlesbares aufzeichnungsmedium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007136000A (ja) 2005-11-21 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 視線検出装置、視線検出方法、および視線検出プログラム
JP2016502120A (ja) 2012-09-03 2016-01-21 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
JP2018530798A (ja) 2015-08-15 2018-10-18 アイフルエンス, インコーポレイテッドEyefluence, Inc. 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05333259A (ja) 1992-06-02 1993-12-17 Canon Inc 視線検出手段を有した光学装置
AU4219693A (en) * 1992-09-30 1994-04-14 Apple Computer, Inc. Inter-task buffer and connections
KR20060030608A (ko) * 2004-10-06 2006-04-11 엘지전자 주식회사 기록매체, 기록매체의 재생방법과 재생장치
JP2006293909A (ja) 2005-04-14 2006-10-26 Denso Corp 運転者の視線方向検出装置
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
JP5927966B2 (ja) * 2012-02-14 2016-06-01 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
EP2899585A4 (en) 2012-09-19 2016-05-18 Nikon Corp SIGHT LINE DETECTION DEVICE, DISPLAY METHOD, SIGHT LINE DETECTION DEVICE CALIBRATION METHOD, GLASS GLASS DESIGN METHOD, GLASS SELECTION GLASS SELECTION METHOD, GLASS GLASS MANUFACTURING METHOD, PRINTED MATERIAL, SUNGLASS GLASS SELLING METHOD, OPTICAL DEVICE, SIGHT LINE INFORMATION DETECTING METHOD, OPTICAL INSTRUMENT, DESIGN METHOD, OPTICAL INSTRUMENT, OPTICAL INSTRUMENT SELECTION METHOD, AND OPTICAL INSTRUMENT PRODUCTION METHOD
JP5958303B2 (ja) * 2012-11-27 2016-07-27 株式会社デンソー テキスト読み上げ装置
JP2014160982A (ja) * 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
JP6693105B2 (ja) 2015-12-01 2020-05-13 株式会社Ｊｖｃケンウッド 視線検出装置及び視線検出方法
GB2563276B (en) * 2017-06-09 2021-12-01 Advanced Risc Mach Ltd Virtual reality systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007136000A (ja) 2005-11-21 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 視線検出装置、視線検出方法、および視線検出プログラム
JP2016502120A (ja) 2012-09-03 2016-01-21 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーＳＥＮＳＯＭＯＴＯＲＩＣ ＩＮＳＴＲＵＭＥＮＴＳ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ ｉｎｎｏｖａｔｉｖｅ Ｓｅｎｓｏｒｉｋ ｍｂＨ ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
JP2018530798A (ja) 2015-08-15 2018-10-18 アイフルエンス, インコーポレイテッドEyefluence, Inc. 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法

Also Published As

Publication number Publication date
WO2019021601A1 (ja) 2019-01-31
JPWO2019021601A1 (ja) 2020-05-28
US11490808B2 (en) 2022-11-08
US20200154997A1 (en) 2020-05-21
KR20200035003A (ko) 2020-04-01
EP3660636A4 (en) 2020-07-08
EP3660636A1 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
KR102469507B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP7081599B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10048750B2 (en) Content projection system and content projection method
CN112805659A (zh) 通过用户分类为多深度平面显示***选择深度平面
JP2024040157A (ja) ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
CN111771179A (zh) 用于确定显示器与用户的眼睛之间的配准的显示***和方法
JP2019527377A (ja) 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法
JP2019500660A (ja) 構造化光を用いた視線追跡
CN115053270A (zh) 用于基于用户身份来操作头戴式显示***的***和方法
US20160110600A1 (en) Image collection and locating method, and image collection and locating device
US20140085189A1 (en) Line-of-sight detection apparatus, line-of-sight detection method, and program therefor
US20210004081A1 (en) Information processing apparatus, information processing method, and program
JP2024069461A (ja) 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
CN114424147A (zh) 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
CN116033864A (zh) 使用非球形角膜模型的眼睛跟踪
US11650660B2 (en) Electronic device, control method, and non-transitory computer readable medium
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
WO2019116675A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230393655A1 (en) Electronic apparatus
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
JPH10179520A (ja) 視線検出方法及び装置並びに記憶媒体
WO2022064827A1 (ja) 情報処理装置、情報処理方法およびプログラム
EP4220355A1 (en) Information processing device, information processing method, and program
CN109791429B (zh) 头戴式显示设备及其输入控制方法
JP2024007776A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220509

R151 Written notification of patent or utility model registration

Ref document number: 7081599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151