JP2014211795A - Visual line detection device - Google Patents
Visual line detection device Download PDFInfo
- Publication number
- JP2014211795A JP2014211795A JP2013088321A JP2013088321A JP2014211795A JP 2014211795 A JP2014211795 A JP 2014211795A JP 2013088321 A JP2013088321 A JP 2013088321A JP 2013088321 A JP2013088321 A JP 2013088321A JP 2014211795 A JP2014211795 A JP 2014211795A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- line
- user
- information
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、視線検出装置に関する。 The present invention relates to a line-of-sight detection device.
ディスプレイ上を見つめるユーザーの視線を検出する視線検出装置において、ユーザーが見つめるディスプレイ上の位置と、検出した視線に基づいて判定されるディスプレイ上の位置との間の誤差を小さくするようにキャリブレーションを行う技術が知られている(特許文献1参照)。 In a line-of-sight detection device that detects the line of sight of a user looking at the display, calibration is performed so as to reduce the error between the position on the display that the user is looking at and the position on the display that is determined based on the detected line of sight. The technique to perform is known (refer patent document 1).
従来技術では、起動のたびに必ず初期キャリブレーションを行う必要があり、ユーザーの負担が大きいという問題があった。 In the prior art, there is a problem that it is necessary to perform initial calibration every time the system is started, which places a heavy burden on the user.
本発明による視線検出装置は、情報を表示する表示部と、表示部上におけるユーザーの視線位置を検出する視線検出部と、補正情報を用いて、視線検出部によって検出される視線位置を補正する補正部と、登録ユーザーが過去に使用した補正情報を記憶する記憶部材と、ユーザーが登録ユーザーか否かを判定する判定部と、判定部によって登録ユーザーであることが判定された場合、記憶部材に記憶されている補正情報を用いて視線検出部によって検出される視線位置を補正するように補正部を制御する補正制御部と、を備えることを特徴とする。 The line-of-sight detection device according to the present invention corrects the line-of-sight position detected by the line-of-sight detection unit using the display unit for displaying information, the line-of-sight detection unit for detecting the line-of-sight position of the user on the display unit, and the correction information. A correction unit, a storage member that stores correction information used by the registered user in the past, a determination unit that determines whether or not the user is a registered user, and a storage member that is determined by the determination unit to be a registered user A correction control unit that controls the correction unit so as to correct the line-of-sight position detected by the line-of-sight detection unit using the correction information stored in
本発明による視線検出装置は、必要な場合にのみキャリブレーション処理を行うので、ユーザーの負担を軽減できる。 Since the line-of-sight detection apparatus according to the present invention performs the calibration process only when necessary, the burden on the user can be reduced.
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態による視線検出装置10の外観を例示する図であり、図1(a)は正面図、図1(b)は背面図である。視線検出装置10は、例えば、スマートフォンと呼ばれる高機能携帯電話機によって構成されている。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. 1A and 1B are diagrams illustrating the appearance of a line-of-
図1(a)において、視線検出装置10の正面に、カメラ11と、光源12と、表示・入力部20と、が設けられる。図1(b)において、視線検出装置10の背面に、カメラ13が設けられる。
In FIG. 1A, a
図1(a)のカメラ11は、視線検出装置10で視線検出機能を使用する際に視線検出用カメラとして使用される。カメラ11はさらに、視線検出装置10でユーザー認証、ユーザー登録を行う場合、およびテレビ電話機能などを使用する場合に、ユーザー撮影用カメラとして使用される。
The
光源12は、表示・入力部20の表示画面を見るユーザーの眼に赤外光を照射する発光ダイオード(LED)によって構成される。光源12は、視線検出装置10で視線検出機能を使用する際に発光する。表示・入力部20は、画面表示部24に画像やアイコン21などを表示するディスプレイ機能と、ユーザーによる接触操作を受け付ける操作部機能と、を兼ね備えたタッチパネル液晶ディスプレイによって構成される。
The
表示・入力部20は視線検出装置10の筐体正面を覆うように設けられており、画面表示部24は、表示面かつ操作面である。表示・入力部20は、ユーザーの指で画面表示部24が接触操作されると、接触部の静電容量の変化に基づいて、接触操作されたこと、および接触位置を示す検出信号を出力する。
The display /
視線検出装置10は、表示・入力部20の画面表示部24に表示しているアイコン21に対応づけられているプログラムを起動させることにより、電話機能やメール機能、カメラ機能など、起動プログラムによって実現される機能を発揮する。なお、図1(a)に例示する画面表示部24の表示内容は、いわゆるホーム画面の例である。図1(b)のカメラ13は、視線検出装置10がカメラ機能を発揮する際に撮影用カメラとして使用される。
The line-of-
図2は、図1の視線検出装置10の要部構成を例示するブロック図である。図2において、視線検出装置10は、表示・入力部20と、制御部30と、上記カメラ11および13と、上記光源12と、通信部14とを有する。
FIG. 2 is a block diagram illustrating the main configuration of the line-of-
<表示・入力部20>
表示・入力部20は、位置検出部25と、入力情報表示部22と、一覧表示部23と、画面表示部24と、を含む。位置検出部25は、指による接触位置を示す位置検出信号と、表示制御部33が有する表示情報(表示・入力部20の画面表示部24のどの座標位置に、何を表示させているかを示す情報)とに基づいて、表示・入力部20の画面上の対象(アイコン21または後述する入力単位情報)を特定する。画面表示部24は、上述したように表示面かつ操作面である。入力情報表示部22および一覧表示部23は、それぞれ文字入力が必要なときに画面表示部24に表示される。文字入力については後述する。
<Display /
The display /
<制御部30>
制御部30は、視線検出部31と、プログラム実行部32と、表示制御部33と、通信制御部34と、不揮発性メモリ35と、を含み、視線検出装置10内の各部の動作を制御する。視線検出部31は、視線検出用として動作するカメラ11で取得された画像に基づいて、表示・入力部20の画面上においてユーザーが見つめる位置を検出する。具体的には、ユーザーの眼で反射される赤外光の画像に基づいて、ユーザーの視線方向、ひいては表示・入力部20の画面上でユーザーが見ている位置を検出する。
<
The
視線検出部31は、表示制御部33が有する表示情報(表示・入力部20の画面上のどの座標位置に、何を表示させているかを示す情報)を参照することにより、ユーザーが見ている画面上の対象(図1(a)のアイコン21または後述する入力単位情報)を特定する。本実施形態の視線検出装置10は、視線検出機能を備えたことにより、表示・入力部20の画面表示部24がユーザーの指により接触操作されなくても、視線入力によって表示・入力部20の画面上の対象を特定できる。視線検出部31はさらに、上記カメラ11で取得された画像に基づいて、ユーザーの瞬きを検出する。
The line-of-
プログラム実行部32は、上記アイコン21に対応づけられているプログラムを実行する。プログラム実行部32が実行するプログラムは、上記視線検出部31で特定されたアイコン21や、表示・入力部20の位置検出部25によって特定されたアイコン21に対応づけられ、不揮発性メモリ35に格納されているプログラムである。
The
表示制御部33は、表示・入力部20の画面表示部24に、画像やアイコン21などを表示させる。また、表示制御部33は、視線検出部31によって特定された対象をユーザーへ視覚的に知らせるため、特定対象を示すマーカ21Bを画面表示部24に表示させる。さらに表示制御部33は、文字入力が必要なとき(後述)に、入力情報表示部22および一覧表示部23を画面表示部24に表示させる。通信制御部34は、通信部14による外部機器との通信を制御する。不揮発性メモリ35は、プログラムやデータなどを格納する。
The
<通信部14>
通信部14は、通信制御部34からの指示に応じて無線通信を行う。通信部14は、無線LAN(Local Area Network)のアクセスポイントを介した通信と、携帯電話回線網を経由した通信とが可能に構成されている。
<
The
<視線検出のキャリブレーション>
視線検出装置10で行う視線検出機能のキャリブレーションについて説明する。一般に、視線検出においては、ユーザーが注視する表示・入力部20の画面表示部24上の位置と、視線検出部31が視線に基づいて判定する画面表示部24上の位置との間の誤差を小さくするために用いる補正値を決定するため、公知のキャリブレーションが必要とされる。
<Gaze detection calibration>
Calibration of the line-of-sight detection function performed by the line-of-
本実施形態では、過去の補正値データを活用し得るように構成することで、補正値データを取り直すために起動時に毎度キャリブレーションを行う場合に比べて、ユーザーの負担を軽減する。このために視線検出装置10は、ユーザー登録を行い、過去に行ったキャリブレーション情報をユーザーごとに不揮発性メモリ35に保存する。キャリブレーション情報は、眼球半径と、補正値データとを含む。一般にヒトの眼球半径は、新生児の場合に約8mmで、成長とともに大きくなり、成人の場合に約12mmとされる。そこで、本実施形態においては、登録ユーザーの年齢に応じて眼球半径を異ならせる。補正値データは、特許文献1や特開2012−65781号公報に開示されている補正係数a、補正係数bに相当するデータをいう。
In the present embodiment, by configuring so that past correction value data can be used, the burden on the user is reduced as compared with the case where calibration is performed every time at startup in order to obtain correction value data again. For this purpose, the line-of-
視線検出装置10はさらに、キャリブレーションを行った際のユーザーの眼と視線検出装置10との相対位置関係を示す情報を、上記キャリブレーション情報とともに不揮発性メモリ35に保存しておく。相対位置関係を示す情報は、例えば、キャリブレーション中にカメラ11によって撮像された画像に占めるユーザーの顔の大きさ(割合)、および画像におけるユーザーの眼の位置座標とする。
The line-of-
視線検出装置10は、キャリブレーションを行うユーザーが登録ユーザーである場合であって、ユーザーの眼と視線検出装置10との相対位置関係が不揮発性メモリ35に保存されている位置関係と一致する場合には、不揮発性メモリ35に保存されている過去のキャリブレーション情報を活用することにより、新たなキャリブレーションを不要とする。
The line-of-
一方、視線検出装置10は、登録ユーザーであってもユーザーの眼と視線検出装置10との間の相対位置関係が不揮発性メモリ35に保存されている位置関係と不一致の場合、または、登録ユーザーでない場合には、新たにキャリブレーションを行って補正値を求めるとともに、キャリブレーションを行った際のユーザーの眼と視線検出装置10との間の相対位置関係を示す情報を、キャリブレーション情報とともに不揮発性メモリ35に保存する。
On the other hand, the line-of-
<フローチャートの説明>
プログラム実行部32が、キャリブレーションのために実行する処理の流れについて、図3に例示するフローチャートを参照して説明する。プログラム実行部32は、視線検出装置10の電源オン操作が行われた場合、または視線検出装置10においてロック解除操作(例えば、画面表示部24上に表示するスライドスイッチに対するスライド操作など)が行われると、図3による処理を起動させる。
<Description of flowchart>
A flow of processing executed by the
図3のステップS10において、プログラム実行部32は、カメラ11による撮像を開始させてステップS20へ進む。これにより、カメラ11が所定のフレームレート(例えば30fps)で撮像を繰り返し行い、画像データを制御部30へ逐次送出する。ユーザーは、視線検出装置10を手で持って表示・入力部20の画面表示部24を見つめる姿勢をとる。
In step S10 of FIG. 3, the
ステップS20において、プログラム実行部32は、カメラ11によって取得された画像に基づいて顔認証処理を行う。顔認証処理は、カメラ11で取得された画像に含まれる「顔」を検出し、その「顔」が所定人物の「顔」か否かを識別する公知の技術である。プログラム実行部32は、画像に含まれる「顔」の特徴量と、あらかじめ不揮発性メモリ35に登録されている登録ユーザーの「顔」の特徴量とを比較し、画像に含まれる「顔」が登録ユーザーの「顔」であるか否かを識別する。顔認証処理は、公知の技術であるため詳細な説明は省略する。
In step S <b> 20, the
ステップS30において、プログラム実行部32は、登録ユーザーか否かを判定する。プログラム実行部32は、登録ユーザーの「顔」を識別した場合に、ステップS30を肯定判定してステップS40へ進む。プログラム実行部32は、登録ユーザーの「顔」を識別していない場合には、ステップS30を否定判定してステップS60へ進む。
In step S30, the
ステップS40において、プログラム実行部32は、視線検出装置10とユーザーの眼(頭部)との間の相対位置関係が同じか否かを判定する。プログラム実行部32は、相対位置関係を示す情報、すなわち、カメラ11によって取得された画像に占めるユーザーの「顔」の領域の割合、および当画像における眼の位置座標が、不揮発性メモリ35に保存されているユーザーの相対位置関係情報と一致する場合に、ステップS40を肯定判定してステップS50へ進む。プログラム実行部32は、相対位置関係を示す情報が、不揮発性メモリ35に保存されている相対位置関係情報と不一致の場合には、ステップS40を否定判定してステップS70へ進む。一般に、画像に占めるユーザーの「顔」の領域の割合が大きい場合は、ユーザーの頭部が表示・入力部20の画面表示部24に近い。反対に、画像に占めるユーザーの「顔」の領域の割合が小さい場合は、ユーザーの頭部が表示・入力部20の画面表示部24から遠い。
In step S40, the
ステップS50において、プログラム実行部32は、不揮発性メモリ35から、その登録ユーザーの情報であって、上記一致する相対位置情報とともに保存されている過去のキャリブレーション情報を読み込んで図3による処理を終了する。プログラム実行部32は、読み込んだキャリブレーション情報を、以降の視線検出処理(例えば、後述する文字入力処理)において視線検出時の補正値として使用する。
In step S50, the
登録ユーザーの「顔」を識別しなかった場合に進むステップS60において、プログラム実行部32は、登録処理を行ってステップS70へ進む。登録処理では、カメラ11によって取得された画像に基づいて「顔」の特徴量を求め、「顔」の特徴量データと、入力されるユーザー情報(年齢、パスワード、個人識別番号など)とを関連付けて不揮発性メモリ35に格納する。顔認証に用いる「顔」の特徴量については公知であるので、説明を省略する。
In step S60 that proceeds when the registered user's “face” is not identified, the
ステップS70において、プログラム実行部32はキャリブレーション処理を行う。キャリブレーション処理は、例えば図4に例示するように、表示・入力部20の画面表示部24の四隅に表示されるマーカM1〜マーカM4をユーザーが注視するときの、ユーザーの「眼」の特徴量を取得する。プログラム実行部32は、カメラ11による撮像タイミングに合わせて光源12を間欠発光させながら、マーカM1〜マーカM4を順番に画面表示部24に表示させる。
In step S70, the
プログラム実行部32は、カメラ11で取得される画像のうち、ユーザーの「顔」領域の画像(図5(a)に例示)に基づいて「眼」の特徴量を求める。図5(b)および図5(c)は、図5(a)において破線で囲んだ領域を拡大した図である。本実施形態において、「眼」の特徴量は、例えば図5(b)および図5(c)に例示するように、瞳孔中心51と角膜反射像52との間の距離で表すものとする。角膜反射像52は、ユーザーの眼球で赤外光が反射することによって観察される像である。
The
プログラム実行部32は、表示・入力部20の画面表示部24にマーカM1を表示させながら、カメラ11によって取得された画像に基づいて「眼」の特徴量を求める。ユーザーがマーカM1を見つめた状態で瞬きをすると、プログラム実行部32は、瞬き時の画像に基づいて求めた「眼」の特徴量をマーカM1に対応づけるとともに、マーカM1に代えてマーカM2を表示・入力部20の画面表示部24に表示させる。
The
以降同様に、プログラム実行部32は、マーカM2〜マーカM4のそれぞれに対応付けて「眼」の特徴量を求める。プログラム実行部32は、マーカM1〜マーカM4に対応する「眼」の特徴量データ4つと、マーカM1〜M4の画面表示部24における4つの座標位置とに基づいて、水平方向および垂直方向のそれぞれにおいて、ユーザーが見つめた画面表示部24上の位置と、「眼」の特徴量に基づいて算出される画面表示部24上の位置との間の誤差を小さくするように上記補正値データを求める。プログラム実行部32は、マーカM1〜マーカM4の表示を終了するとき、光源12の発光を停止させる。
Thereafter, similarly, the
ステップS80において、プログラム実行部32は、視線検出装置10とユーザーの眼(頭部)との位置関係を示す情報を取得してステップS90へ進む。プログラム実行部32は、例えば図6に示すように、上記キャリブレーション処理中にカメラ11で取得された画像におけるユーザーの眼の位置を示す情報を、視線検出装置10とユーザーの眼(頭部)との間の位置関係を示す情報とする。図6において、プログラム実行部32は、画面を複数の領域に分けて、ユーザーの「顔」に含まれる領域数に基づいて画像に占める顔領域の割合を求める。上述したように画面に占める割合が大きいほど画面表示部24に頭部が近く、画面に占める割合が小さいほど画面表示部24から頭部が遠く離れているといえる。また、プログラム実行部32は、ユーザーの「眼」を含む領域の画面内の位置座標を、ユーザーの「眼」の位置とする。プログラム実行部32は、これら顔領域の割合および「眼」の位置を含んだ情報を、上記位置関係を示す情報とする。なお、図6における画面の分割数(すなわち1分割領域当たりの大きさ)は一例であり、適宜変更して構わない。
In step S80, the
ステップS90において、プログラム実行部32は、ユーザー情報に関連付けて、ステップS80で取得した位置関係情報およびステップS70で取得したキャリブレーション情報を不揮発性メモリ35に格納する。ここで、ステップS40を否定判定したことにより、視線検出装置10とユーザーの眼(頭部)との間の新たな位置関係においてキャリブレーション処理を行った場合は、既に不揮発性メモリ35に格納されているキャリブレーション情報と別に、新たに取得したキャリブレーション情報を新たな位置関係情報とともに不揮発性メモリ35に格納して図3による処理を終了する。プログラム実行部32は、新たに保存したキャリブレーション情報を、以降の視線検出処理(例えば、後述する文字入力処理)において視線検出時の補正値として使用する。キャリブレーション情報と位置関係情報との組は、複数組を格納して構わない。
In step S90, the
<文字情報入力>
本実施形態の視線検出装置10が視線検出機能を使用して行う文字情報の入力処理の例を説明する。プログラム実行部32は、視線検出装置10で文字入力が必要なとき(例えば、電話番号や相手の名称などを登録するとき、メール文を入力するときなど)に、入力画面である入力情報表示部22および一覧表示部23を、自動的に画面表示部24に表示させる。プログラム実行部32はさらに、カメラ11に所定のフレームレート(例えば30fps)で撮像を繰り返し行わせるとともに、カメラ11による撮像タイミングに合わせて光源12を間欠発光させる。
<Input character information>
An example of character information input processing performed by the line-of-
図7は、入力情報表示部22および一覧表示部23を例示する図である。一覧表示部23には、入力単位情報27が並べて一覧表示される。入力単位情報27は、文字種類として「ひらがな」、「カタカナ」、「アルファベット」、「数字、記号」、「文字フォントの種類」、「顔文字」などが選択可能に構成される。図7は「ひらがな」が選択されている状態を示す。この場合の入力単位は「ひらがな」を構成する1文字である。
FIG. 7 is a diagram illustrating the input
ユーザーが一覧表示部23に表示されている対象を注視すると、視線検出部31は、カメラ11で取得された赤外光の画像に基づいて、一覧表示部23におけるユーザーの視線の位置を検出する。すなわち、画像から得られる「眼」の特徴量に基づいて、画面表示部24上のユーザーの視線位置を求める。表示制御部33は、視線検出部31によって特定された対象をユーザーへ視覚的に知らせるため、特定対象を示すマーカ27Bを一覧表示部23に表示させる。
When the user gazes at the target displayed on the
ユーザーは、目当ての対象の表示位置とマーカ27Bの位置とが合致している状態で、瞬きを行う。プログラム実行部32は、視線検出部31がユーザーの瞬きを検出した時点で視線検出部31が特定している対象(例えばひらがな文字「ひ」)を入力(図示しないメモリに記憶)する。
The user blinks in a state where the target display position matches the position of the
プログラム実行部32は、入力した対象(ひらがな文字「ひ」)を画面表示部24の入力情報表示部22に表示させる。このような視線検出および瞬き検出を繰り返すことにより、図7に示すように、3つのひらがな文字「ひしょ」が入力される。
The
ユーザーが入力情報表示部22に表示されている「変換」ボタン26をタップ操作すると、プログラム実行部32は、図示しないROMにあらかじめ格納されている辞書データに基づいて、入力情報表示部22に表示されているひらがな文字「ひしょ」に対して、かな→漢字変換を行う。プログラム実行部32は、複数の変換候補が存在する場合は、例えば「秘書」、「避暑」、「秘所」というように、複数の変換候補を入力情報表示部22に並べて表示させる。
When the user taps the “conversion”
ユーザーが入力情報表示部22に表示されている漢字文字「秘書」をタップ操作すると、プログラム実行部32は、漢字文字「秘書」を入力(図示しないメモリに一時記憶)する。プログラム実行部32は、入力内容(漢字文字「秘書」)を画面表示部24の入力情報表示部22に表示させる。このような視線検出およびタップ操作検出を繰り返すことにより、ひらがな文字の入力、かな→漢字変換を行う。
When the user taps the kanji character “secretary” displayed on the input
なお、一覧表示部23に表示されている対象のうち、「文字種類」は異なる文字種類の一覧表示を一覧表示部23に表示させるためのものであり、「数字記号」は数字および記号の一覧表示を一覧表示部23に表示させるためのものである。また、対象のうち「消す」は入力済みの文字を取消すためのものであり、矢印で示される対象は「Enter」に相当し、かな→漢字変換せずに入力するためのものである。
Of the objects displayed on the
プログラム実行部32は、ユーザーが入力情報表示部22の空欄のいずれかの位置をダブルタップ操作すると、入力画面の表示を終了させる。具体的には、画面表示部24から入力情報表示部22および一覧表示部23の表示を終了させる。プログラム実行部32はさらに、カメラ11による視線検出用の撮像を終了させ、光源12の間欠発光を終了させる。
The
なお、プログラム実行部32は、入力画面の終了後にユーザーが画面表示部24のいずれかの位置(アイコン21を除く)をタップ操作した場合も、再び画面表示部24に入力画面である入力情報表示部22および一覧表示部23を表示させる。加えて、カメラ11に所定のフレームレート(例えば30fps)で撮像を繰り返し行わせるとともに、カメラ11による撮像タイミングに合わせて光源12を間欠発光させる。以降、上述した場合と同様に文字入力操作を受け付ける。
Note that the
以上説明した実施形態によれば、次の作用効果が得られる。
(1)視線検出装置10は、情報を表示する表示・入力部20と、表示・入力部20上におけるユーザーの視線位置を検出する視線検出部31と、キャリブレーション情報を用いて、視線検出部31によって検出される視線位置を補正するプログラム実行部32と、登録ユーザーが過去に使用したキャリブレーション情報を記憶する不揮発性メモリ35と、ユーザーが登録ユーザーか否かを判定するプログラム実行部32と、登録ユーザーであることが判定されている場合、不揮発性メモリ35に記憶されているキャリブレーション情報を用いて、視線検出部31によって検出される視線位置を補正するようにプログラム実行部32を制御するプログラム実行部32と、を備える。これにより、登録ユーザーに対してキャリブレーションを不要としたので、ユーザーの負担を軽減できる。
According to the embodiment described above, the following operational effects can be obtained.
(1) The line-of-
(2)視線検出装置10は、表示・入力部20とユーザーの頭部との間の位置関係情報を取得するプログラム実行部32をさらに備え、不揮発性メモリ35は、位置関係情報とともにキャリブレーション情報を記憶し、プログラム実行部32は、登録ユーザーであることが判定され、かつ現在の位置関係情報が不揮発性メモリ35に記憶されている過去の位置関係情報と一致する場合に、過去の位置関係情報とともに不揮発性メモリ35に記憶されているキャリブレーション情報を用いて、視線位置を補正するように制御する。これにより、過去のキャリブレーション処理時と現在とで位置関係情報が異なることによって生じる誤差要因を取り除くことができる。
(2) The line-of-
(3)視線検出装置10は、表示・入力部20の四隅に校正用のマーカM1〜M4を表示させ、マーカM1〜M4をユーザーが注視する際に視線検出部31で検出される視線位置と、表示・入力部20におけるマーカM1〜M4の表示位置とに基づいてキャリブレーション情報を取得するプログラム実行部32をさらに備える。そして、登録ユーザーであることが判定されない場合、および現在の視線検出装置10とユーザーの眼(頭部)との間の新たな位置関係情報が不揮発性メモリ35に記憶されている過去の位置関係情報と一致しない場合において、新たに取得されたキャリブレーション情報を用いて視線位置を補正するように制御する。必要な場合にのみ新たにキャリブレーション情報を取得し直すので、毎度取得し直す場合に比べて、ユーザーの負担を軽減できる。さらに、新たに取得し直したキャリブレーション情報を用いることで、適切に視線位置を補正できる。
(3) The line-of-
(4)不揮発性メモリ35は、新たに取得されたキャリブレーション情報を、当該新たなキャリブレーション情報の取得時に取得された位置関係情報とともに記憶するようにしたので、今回取得したキャリブレーション情報を、適切に活用し得る。
(4) Since the
(5)不揮発性メモリ35は、登録ユーザーごとに、キャリブレーション情報を位置関係情報とともに記憶するので、異なるユーザーが視線検出装置10を使用する場合にも、適切に視線位置を補正し得る。
(5) Since the
(6)不揮発性メモリ35は、登録ユーザーごとに、キャリブレーション情報および位置関係情報の組を複数記憶するようにしたので、例えば、ユーザーが視線検出装置10を持つ姿勢を変えた場合にも、適切に視線位置を補正し得る。
(6) Since the
(変形例1)
上述した説明では、視線検出部31がユーザーの瞬きを検出した時点で視線検出部31が特定している対象(例えばひらがな文字「ひ」)を入力するようにした。この代わりに、検出されているユーザーの視線が同じ位置に所定時間(例えば2秒間)留まった場合に、視線検出部31が特定している対象を入力するようにしてもよい。
(Modification 1)
In the above description, an object (for example, hiragana character “hi”) specified by the line-of-
(変形例2)
上述した実施形態では、高機能携帯電話機を例に視線検出装置10を説明したが、タブレット型端末やパーソナルコンピュータなどの電子機器にも適用して構わない。
(Modification 2)
In the embodiment described above, the line-of-
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.
10…視線検出装置
11、13…カメラ
12…光源
20…表示・入力部
22…入力情報表示部
23…一覧表示部
24…画面表示部
27…入力単位情報
30…制御部
31…視線検出部
32…プログラム実行部
35…不揮発性メモリ
M1〜M4…マーカ
DESCRIPTION OF
Claims (6)
前記表示部上におけるユーザーの視線位置を検出する視線検出部と、
補正情報を用いて、前記視線検出部によって検出される前記視線位置を補正する補正部と、
登録ユーザーが過去に使用した補正情報を記憶する記憶部材と、
前記ユーザーが登録ユーザーか否かを判定する判定部と、
前記判定部によって前記登録ユーザーであることが判定された場合、前記記憶部材に記憶されている補正情報を用いて前記視線検出部によって検出される前記視線位置を補正するように前記補正部を制御する補正制御部と、
を備えることを特徴とする視線検出装置。 A display for displaying information;
A line-of-sight detection unit that detects a user's line-of-sight position on the display unit;
A correction unit that corrects the line-of-sight position detected by the line-of-sight detection unit using correction information;
A storage member for storing correction information used by registered users in the past;
A determination unit for determining whether or not the user is a registered user;
When the determination unit determines that the user is the registered user, the correction unit is controlled to correct the line-of-sight position detected by the line-of-sight detection unit using correction information stored in the storage member. A correction control unit to
A line-of-sight detection device comprising:
前記表示部と前記ユーザーの頭部との間の相対位置情報を取得する位置情報取得部をさらに備え、
前記記憶部材は、前記相対位置情報とともに前記補正情報を記憶し、
前記補正制御部は、前記判定部によって前記登録ユーザーであることが判定され、かつ前記位置情報取得部によって取得された現在の相対位置情報が前記記憶部材に記憶されている過去の相対位置情報と一致する場合に、前記過去の相対位置情報とともに前記記憶部材に記憶されている補正情報を用いて前記視線位置を補正するように前記補正部を制御することを特徴とする視線検出装置。 The line-of-sight detection device according to claim 1,
A positional information acquisition unit that acquires relative positional information between the display unit and the user's head;
The storage member stores the correction information together with the relative position information,
The correction control unit is determined to be the registered user by the determination unit, and past relative position information in which the current relative position information acquired by the position information acquisition unit is stored in the storage member; The eye gaze detection apparatus according to claim 1, further comprising: controlling the correction unit so as to correct the eye gaze position using correction information stored in the storage member together with the past relative position information.
前記表示部の所定位置に校正用の対象を表示させ、前記対象をユーザーが注視する際に前記視線検出部で検出される視線位置と、前記表示部における前記対象の表示位置とに基づいて前記補正情報を取得する校正制御部をさらに備え、
前記補正制御部は、前記判定部によって前記登録ユーザーであることが判定されない場合、および前記位置情報取得部によって取得された現在の相対位置情報が前記記憶部材に記憶されている過去の相対位置情報と一致しない場合において、前記校正制御部によって新たに取得された補正情報を用いて前記視線位置を補正するように前記補正部を制御することを特徴とする視線検出装置。 The line-of-sight detection device according to claim 2.
Based on the line-of-sight position detected by the line-of-sight detection unit when the user gazes at the target, and the display position of the target on the display unit A calibration control unit for acquiring correction information;
In the case where the determination unit does not determine that the user is the registered user, the correction control unit includes past relative position information in which the current relative position information acquired by the position information acquisition unit is stored in the storage member. The eye-gaze detection apparatus controls the correction unit so as to correct the eye-gaze position using the correction information newly acquired by the calibration control unit.
前記記憶部材は、前記校正制御部によって新たに取得された補正情報を、前記新たな補正情報の取得時に前記位置情報取得部によって取得された相対位置情報とともに記憶することを特徴とする視線検出装置。 The line-of-sight detection device according to claim 3.
The storage member stores the correction information newly acquired by the calibration control unit together with the relative position information acquired by the position information acquisition unit when the new correction information is acquired. .
前記記憶部材は、登録ユーザーごとに、前記補正情報を前記相対位置情報とともに記憶することを特徴とする視線検出装置。 The line-of-sight detection device according to claim 4.
The storage member stores the correction information together with the relative position information for each registered user.
前記記憶部材は、登録ユーザーごとに、前記補正情報および前記相対位置情報の組を複数記憶することを特徴とする視線検出装置。
The line-of-sight detection device according to claim 5.
The line-of-sight detection apparatus, wherein the storage member stores a plurality of sets of the correction information and the relative position information for each registered user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013088321A JP2014211795A (en) | 2013-04-19 | 2013-04-19 | Visual line detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013088321A JP2014211795A (en) | 2013-04-19 | 2013-04-19 | Visual line detection device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014211795A true JP2014211795A (en) | 2014-11-13 |
Family
ID=51931504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013088321A Withdrawn JP2014211795A (en) | 2013-04-19 | 2013-04-19 | Visual line detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014211795A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016150048A (en) * | 2015-02-16 | 2016-08-22 | 株式会社Jvcケンウッド | Gaze point detection device and gaze point detection method |
WO2016147499A1 (en) * | 2015-03-17 | 2016-09-22 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2021220798A1 (en) * | 2020-04-30 | 2021-11-04 | キヤノン株式会社 | Electronic apparatus, method for controlling electronic apparatus, and program |
-
2013
- 2013-04-19 JP JP2013088321A patent/JP2014211795A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016150048A (en) * | 2015-02-16 | 2016-08-22 | 株式会社Jvcケンウッド | Gaze point detection device and gaze point detection method |
WO2016147499A1 (en) * | 2015-03-17 | 2016-09-22 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2021220798A1 (en) * | 2020-04-30 | 2021-11-04 | キヤノン株式会社 | Electronic apparatus, method for controlling electronic apparatus, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102185854B1 (en) | Implementation of biometric authentication | |
KR102143148B1 (en) | Implementation of biometric authentication | |
CN111274562B (en) | Electronic device, method, and medium for biometric enrollment | |
US10495878B2 (en) | Mobile terminal and controlling method thereof | |
CN105765513B (en) | Information processing apparatus, information processing method, and program | |
CN106066537B (en) | Head-mounted display and control method of head-mounted display | |
US9354702B2 (en) | Manipulation of virtual object in augmented reality via thought | |
CN112243510A (en) | Implementation of biometric authentication | |
EP3096209B1 (en) | Method and device for recognizing object | |
KR102103866B1 (en) | Implementation of biometric authentication | |
EP3863276A1 (en) | Manipulation of virtual object in augmented reality via intent | |
US10642348B2 (en) | Display device and image display method | |
JP2015090569A (en) | Information processing device and information processing method | |
EP3410277B1 (en) | Image projection device | |
JP2014211795A (en) | Visual line detection device | |
US20240020371A1 (en) | Devices, methods, and graphical user interfaces for user authentication and device management | |
CN110032849B (en) | Implementation of biometric authentication | |
JP2014211794A (en) | Visual line detection device | |
JP2017033195A (en) | Transmission type wearable terminal, data processing unit, and data processing system | |
EP3255927A1 (en) | Method and device for accessing wi-fi network | |
JP6613865B2 (en) | Reading range detection apparatus, reading range detection method, and reading range detection computer program | |
JP2014149721A (en) | Information input device | |
JP2016051276A (en) | Electronic device and information display program | |
JP2014235437A (en) | Display device and program | |
JP6079418B2 (en) | Input device and input program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160323 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20160608 |