JP2014211795A

JP2014211795A - Visual line detection device

Info

Publication number: JP2014211795A
Application number: JP2013088321A
Authority: JP
Inventors: 井上　英也; Hideya Inoue; 英也井上; 正永中村; Masanaga Nakamura
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2013-04-19
Filing date: 2013-04-19
Publication date: 2014-11-13

Abstract

PROBLEM TO BE SOLVED: To obtain a visual line detection device that performs calibration processing only when necessary.SOLUTION: A visual line detection unit 10 includes a display unit 20 that displays information, a visual line detection unit 31 that detects a position of a user's visual line on the display unit 20, a correction unit 32 that corrects the visual line detected by the visual line detection unit 31 by using the correction information, a storage member 35 that stores correction information used by a registered user in the past, a determination unit 32 that determines whether or not a user is the registered user, and a correction control unit 32 that controls, when the user is determined to be the registered user by the determination unit 32, the correction unit 32 to correct the visual line position detected by the visual line detection unit 31 by using the correction information stored in the storage member 35.

Description

本発明は、視線検出装置に関する。 The present invention relates to a line-of-sight detection device.

ディスプレイ上を見つめるユーザーの視線を検出する視線検出装置において、ユーザーが見つめるディスプレイ上の位置と、検出した視線に基づいて判定されるディスプレイ上の位置との間の誤差を小さくするようにキャリブレーションを行う技術が知られている（特許文献１参照）。 In a line-of-sight detection device that detects the line of sight of a user looking at the display, calibration is performed so as to reduce the error between the position on the display that the user is looking at and the position on the display that is determined based on the detected line of sight. The technique to perform is known (refer patent document 1).

特開２０００−１０７２３号公報JP 2000-10723 A

従来技術では、起動のたびに必ず初期キャリブレーションを行う必要があり、ユーザーの負担が大きいという問題があった。 In the prior art, there is a problem that it is necessary to perform initial calibration every time the system is started, which places a heavy burden on the user.

本発明による視線検出装置は、情報を表示する表示部と、表示部上におけるユーザーの視線位置を検出する視線検出部と、補正情報を用いて、視線検出部によって検出される視線位置を補正する補正部と、登録ユーザーが過去に使用した補正情報を記憶する記憶部材と、ユーザーが登録ユーザーか否かを判定する判定部と、判定部によって登録ユーザーであることが判定された場合、記憶部材に記憶されている補正情報を用いて視線検出部によって検出される視線位置を補正するように補正部を制御する補正制御部と、を備えることを特徴とする。 The line-of-sight detection device according to the present invention corrects the line-of-sight position detected by the line-of-sight detection unit using the display unit for displaying information, the line-of-sight detection unit for detecting the line-of-sight position of the user on the display unit, and the correction information. A correction unit, a storage member that stores correction information used by the registered user in the past, a determination unit that determines whether or not the user is a registered user, and a storage member that is determined by the determination unit to be a registered user A correction control unit that controls the correction unit so as to correct the line-of-sight position detected by the line-of-sight detection unit using the correction information stored in

本発明による視線検出装置は、必要な場合にのみキャリブレーション処理を行うので、ユーザーの負担を軽減できる。 Since the line-of-sight detection apparatus according to the present invention performs the calibration process only when necessary, the burden on the user can be reduced.

本発明の一実施の形態による視線検出装置の外観を例示する図であり、図１(a)は正面図、図１(b)は背面図である。It is a figure which illustrates the appearance of a gaze detection device by one embodiment of the present invention, and Drawing 1 (a) is a front view and Drawing 1 (b) is a rear view. 図１の視線検出装置の要部構成を例示するブロック図である。It is a block diagram which illustrates the principal part structure of the gaze detection apparatus of FIG. キャリブレーションのために行う処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the process performed for calibration. キャリブレーション処理における画面を例示する図である。It is a figure which illustrates the screen in a calibration process. 図５(a）はユーザーの「顔」領域を例示する図であり、図５(b),図５(c）は図５(a)の破線部分を拡大した図である。FIG. 5A is a diagram illustrating the “face” region of the user, and FIGS. 5B and 5C are enlarged views of the broken line portion of FIG. 5A. 複数の領域に分けた画面を例示する図である。It is a figure which illustrates the screen divided into a plurality of fields. 入力画面を例示する図である。It is a figure which illustrates an input screen.

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による視線検出装置１０の外観を例示する図であり、図１(a)は正面図、図１(b)は背面図である。視線検出装置１０は、例えば、スマートフォンと呼ばれる高機能携帯電話機によって構成されている。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. 1A and 1B are diagrams illustrating the appearance of a line-of-sight detection device 10 according to an embodiment of the present invention. FIG. 1A is a front view and FIG. 1B is a rear view. The line-of-sight detection device 10 is configured by, for example, a high-function mobile phone called a smartphone.

図１(a)において、視線検出装置１０の正面に、カメラ１１と、光源１２と、表示・入力部２０と、が設けられる。図１(b)において、視線検出装置１０の背面に、カメラ１３が設けられる。 In FIG. 1A, a camera 11, a light source 12, and a display / input unit 20 are provided in front of the line-of-sight detection device 10. In FIG. 1B, a camera 13 is provided on the back surface of the line-of-sight detection device 10.

図１(a)のカメラ１１は、視線検出装置１０で視線検出機能を使用する際に視線検出用カメラとして使用される。カメラ１１はさらに、視線検出装置１０でユーザー認証、ユーザー登録を行う場合、およびテレビ電話機能などを使用する場合に、ユーザー撮影用カメラとして使用される。 The camera 11 in FIG. 1A is used as a gaze detection camera when the gaze detection device 10 uses a gaze detection function. The camera 11 is further used as a user photographing camera when performing user authentication and user registration with the line-of-sight detection device 10 and when using a videophone function or the like.

光源１２は、表示・入力部２０の表示画面を見るユーザーの眼に赤外光を照射する発光ダイオード（ＬＥＤ）によって構成される。光源１２は、視線検出装置１０で視線検出機能を使用する際に発光する。表示・入力部２０は、画面表示部２４に画像やアイコン２１などを表示するディスプレイ機能と、ユーザーによる接触操作を受け付ける操作部機能と、を兼ね備えたタッチパネル液晶ディスプレイによって構成される。 The light source 12 includes a light emitting diode (LED) that irradiates infrared light to the eyes of a user who views the display screen of the display / input unit 20. The light source 12 emits light when the visual line detection device 10 uses the visual line detection function. The display / input unit 20 is configured by a touch panel liquid crystal display having both a display function for displaying an image, an icon 21 and the like on the screen display unit 24 and an operation unit function for receiving a contact operation by a user.

表示・入力部２０は視線検出装置１０の筐体正面を覆うように設けられており、画面表示部２４は、表示面かつ操作面である。表示・入力部２０は、ユーザーの指で画面表示部２４が接触操作されると、接触部の静電容量の変化に基づいて、接触操作されたこと、および接触位置を示す検出信号を出力する。 The display / input unit 20 is provided so as to cover the front of the housing of the line-of-sight detection device 10, and the screen display unit 24 is a display surface and an operation surface. When the screen display unit 24 is touched with a user's finger, the display / input unit 20 outputs a detection signal indicating that the touch operation has been performed and a contact position based on a change in the capacitance of the touch unit. .

視線検出装置１０は、表示・入力部２０の画面表示部２４に表示しているアイコン２１に対応づけられているプログラムを起動させることにより、電話機能やメール機能、カメラ機能など、起動プログラムによって実現される機能を発揮する。なお、図１(a)に例示する画面表示部２４の表示内容は、いわゆるホーム画面の例である。図１(b)のカメラ１３は、視線検出装置１０がカメラ機能を発揮する際に撮影用カメラとして使用される。 The line-of-sight detection device 10 is realized by a startup program such as a telephone function, a mail function, a camera function, etc. by starting a program associated with the icon 21 displayed on the screen display unit 24 of the display / input unit 20. The function to be performed is demonstrated. In addition, the display content of the screen display part 24 illustrated to Fig.1 (a) is an example of what is called a home screen. The camera 13 in FIG. 1B is used as a photographing camera when the line-of-sight detection device 10 performs a camera function.

図２は、図１の視線検出装置１０の要部構成を例示するブロック図である。図２において、視線検出装置１０は、表示・入力部２０と、制御部３０と、上記カメラ１１および１３と、上記光源１２と、通信部１４とを有する。 FIG. 2 is a block diagram illustrating the main configuration of the line-of-sight detection device 10 of FIG. In FIG. 2, the line-of-sight detection apparatus 10 includes a display / input unit 20, a control unit 30, the cameras 11 and 13, the light source 12, and a communication unit 14.

＜表示・入力部２０＞
表示・入力部２０は、位置検出部２５と、入力情報表示部２２と、一覧表示部２３と、画面表示部２４と、を含む。位置検出部２５は、指による接触位置を示す位置検出信号と、表示制御部３３が有する表示情報（表示・入力部２０の画面表示部２４のどの座標位置に、何を表示させているかを示す情報）とに基づいて、表示・入力部２０の画面上の対象（アイコン２１または後述する入力単位情報）を特定する。画面表示部２４は、上述したように表示面かつ操作面である。入力情報表示部２２および一覧表示部２３は、それぞれ文字入力が必要なときに画面表示部２４に表示される。文字入力については後述する。 <Display / input unit 20>
The display / input unit 20 includes a position detection unit 25, an input information display unit 22, a list display unit 23, and a screen display unit 24. The position detection unit 25 indicates a position detection signal indicating a contact position by a finger, and display information (display coordinates of the screen display unit 24 of the display / input unit 20 indicating what is displayed on the display control unit 33). Information), an object (icon 21 or input unit information described later) on the screen of the display / input unit 20 is specified. The screen display unit 24 is a display surface and an operation surface as described above. The input information display unit 22 and the list display unit 23 are displayed on the screen display unit 24 when character input is required. The character input will be described later.

＜制御部３０＞
制御部３０は、視線検出部３１と、プログラム実行部３２と、表示制御部３３と、通信制御部３４と、不揮発性メモリ３５と、を含み、視線検出装置１０内の各部の動作を制御する。視線検出部３１は、視線検出用として動作するカメラ１１で取得された画像に基づいて、表示・入力部２０の画面上においてユーザーが見つめる位置を検出する。具体的には、ユーザーの眼で反射される赤外光の画像に基づいて、ユーザーの視線方向、ひいては表示・入力部２０の画面上でユーザーが見ている位置を検出する。 <Control unit 30>
The control unit 30 includes a line-of-sight detection unit 31, a program execution unit 32, a display control unit 33, a communication control unit 34, and a nonvolatile memory 35, and controls the operation of each unit in the line-of-sight detection device 10. . The line-of-sight detection unit 31 detects a position at which the user looks on the screen of the display / input unit 20 based on an image acquired by the camera 11 operating for line-of-sight detection. Specifically, based on the infrared light image reflected by the user's eyes, the user's line-of-sight direction and, in turn, the position the user is looking on the screen of the display / input unit 20 are detected.

視線検出部３１は、表示制御部３３が有する表示情報（表示・入力部２０の画面上のどの座標位置に、何を表示させているかを示す情報）を参照することにより、ユーザーが見ている画面上の対象（図１(a)のアイコン２１または後述する入力単位情報）を特定する。本実施形態の視線検出装置１０は、視線検出機能を備えたことにより、表示・入力部２０の画面表示部２４がユーザーの指により接触操作されなくても、視線入力によって表示・入力部２０の画面上の対象を特定できる。視線検出部３１はさらに、上記カメラ１１で取得された画像に基づいて、ユーザーの瞬きを検出する。 The line-of-sight detection unit 31 is viewed by the user by referring to display information (information indicating which coordinate position on the screen of the display / input unit 20 is displayed) that the display control unit 33 has. A target on the screen (the icon 21 in FIG. 1A or input unit information described later) is specified. The line-of-sight detection device 10 according to the present embodiment includes the line-of-sight detection function, so that the display / input unit 20 can be operated by line-of-sight input even when the screen display unit 24 of the display / input unit 20 is not touched by a user's finger. The target on the screen can be specified. The line-of-sight detection unit 31 further detects the blink of the user based on the image acquired by the camera 11.

プログラム実行部３２は、上記アイコン２１に対応づけられているプログラムを実行する。プログラム実行部３２が実行するプログラムは、上記視線検出部３１で特定されたアイコン２１や、表示・入力部２０の位置検出部２５によって特定されたアイコン２１に対応づけられ、不揮発性メモリ３５に格納されているプログラムである。 The program execution unit 32 executes a program associated with the icon 21. The program executed by the program execution unit 32 is associated with the icon 21 specified by the line-of-sight detection unit 31 and the icon 21 specified by the position detection unit 25 of the display / input unit 20 and stored in the nonvolatile memory 35. It is a program that has been.

表示制御部３３は、表示・入力部２０の画面表示部２４に、画像やアイコン２１などを表示させる。また、表示制御部３３は、視線検出部３１によって特定された対象をユーザーへ視覚的に知らせるため、特定対象を示すマーカ２１Ｂを画面表示部２４に表示させる。さらに表示制御部３３は、文字入力が必要なとき（後述）に、入力情報表示部２２および一覧表示部２３を画面表示部２４に表示させる。通信制御部３４は、通信部１４による外部機器との通信を制御する。不揮発性メモリ３５は、プログラムやデータなどを格納する。 The display control unit 33 displays images, icons 21, and the like on the screen display unit 24 of the display / input unit 20. In addition, the display control unit 33 causes the screen display unit 24 to display the marker 21B indicating the specific target in order to visually notify the user of the target specified by the line-of-sight detection unit 31. Further, the display control unit 33 displays the input information display unit 22 and the list display unit 23 on the screen display unit 24 when character input is necessary (described later). The communication control unit 34 controls communication with an external device by the communication unit 14. The nonvolatile memory 35 stores programs and data.

＜通信部１４＞
通信部１４は、通信制御部３４からの指示に応じて無線通信を行う。通信部１４は、無線ＬＡＮ(Local Area Network)のアクセスポイントを介した通信と、携帯電話回線網を経由した通信とが可能に構成されている。 <Communication unit 14>
The communication unit 14 performs wireless communication in response to an instruction from the communication control unit 34. The communication unit 14 is configured to be able to perform communication via a wireless LAN (Local Area Network) access point and communication via a mobile phone network.

＜視線検出のキャリブレーション＞
視線検出装置１０で行う視線検出機能のキャリブレーションについて説明する。一般に、視線検出においては、ユーザーが注視する表示・入力部２０の画面表示部２４上の位置と、視線検出部３１が視線に基づいて判定する画面表示部２４上の位置との間の誤差を小さくするために用いる補正値を決定するため、公知のキャリブレーションが必要とされる。 <Gaze detection calibration>
Calibration of the line-of-sight detection function performed by the line-of-sight detection device 10 will be described. In general, in line-of-sight detection, an error between the position on the screen display unit 24 of the display / input unit 20 at which the user gazes and the position on the screen display unit 24 determined by the line-of-sight detection unit 31 based on the line of sight is calculated. A known calibration is required to determine the correction value used to make it smaller.

本実施形態では、過去の補正値データを活用し得るように構成することで、補正値データを取り直すために起動時に毎度キャリブレーションを行う場合に比べて、ユーザーの負担を軽減する。このために視線検出装置１０は、ユーザー登録を行い、過去に行ったキャリブレーション情報をユーザーごとに不揮発性メモリ３５に保存する。キャリブレーション情報は、眼球半径と、補正値データとを含む。一般にヒトの眼球半径は、新生児の場合に約８mmで、成長とともに大きくなり、成人の場合に約１２mmとされる。そこで、本実施形態においては、登録ユーザーの年齢に応じて眼球半径を異ならせる。補正値データは、特許文献１や特開２０１２−６５７８１号公報に開示されている補正係数ａ、補正係数ｂに相当するデータをいう。 In the present embodiment, by configuring so that past correction value data can be used, the burden on the user is reduced as compared with the case where calibration is performed every time at startup in order to obtain correction value data again. For this purpose, the line-of-sight detection apparatus 10 performs user registration and stores calibration information performed in the past in the nonvolatile memory 35 for each user. The calibration information includes an eyeball radius and correction value data. In general, the eyeball radius of a human is about 8 mm for a newborn, increases with growth, and about 12 mm for an adult. Therefore, in the present embodiment, the eyeball radius is varied according to the age of the registered user. The correction value data refers to data corresponding to the correction coefficient a and the correction coefficient b disclosed in Japanese Patent Application Laid-Open No. 2012-65781.

視線検出装置１０はさらに、キャリブレーションを行った際のユーザーの眼と視線検出装置１０との相対位置関係を示す情報を、上記キャリブレーション情報とともに不揮発性メモリ３５に保存しておく。相対位置関係を示す情報は、例えば、キャリブレーション中にカメラ１１によって撮像された画像に占めるユーザーの顔の大きさ（割合）、および画像におけるユーザーの眼の位置座標とする。 The line-of-sight detection apparatus 10 further stores information indicating the relative positional relationship between the user's eye and the line-of-sight detection apparatus 10 when calibration is performed in the nonvolatile memory 35 together with the calibration information. The information indicating the relative positional relationship is, for example, the size (ratio) of the user's face in the image captured by the camera 11 during calibration, and the position coordinates of the user's eyes in the image.

視線検出装置１０は、キャリブレーションを行うユーザーが登録ユーザーである場合であって、ユーザーの眼と視線検出装置１０との相対位置関係が不揮発性メモリ３５に保存されている位置関係と一致する場合には、不揮発性メモリ３５に保存されている過去のキャリブレーション情報を活用することにより、新たなキャリブレーションを不要とする。 The line-of-sight detection device 10 is a case where the user who performs calibration is a registered user, and the relative positional relationship between the user's eyes and the line-of-sight detection device 10 matches the positional relationship stored in the nonvolatile memory 35. In this case, new calibration is not required by utilizing the past calibration information stored in the nonvolatile memory 35.

一方、視線検出装置１０は、登録ユーザーであってもユーザーの眼と視線検出装置１０との間の相対位置関係が不揮発性メモリ３５に保存されている位置関係と不一致の場合、または、登録ユーザーでない場合には、新たにキャリブレーションを行って補正値を求めるとともに、キャリブレーションを行った際のユーザーの眼と視線検出装置１０との間の相対位置関係を示す情報を、キャリブレーション情報とともに不揮発性メモリ３５に保存する。 On the other hand, the line-of-sight detection device 10 is a registered user when the relative positional relationship between the user's eyes and the line-of-sight detection device 10 does not match the positional relationship stored in the nonvolatile memory 35, or the registered user If not, a new calibration is performed to obtain a correction value, and information indicating the relative positional relationship between the user's eye and the line-of-sight detection device 10 at the time of calibration is nonvolatile together with the calibration information. Stored in the memory 35.

＜フローチャートの説明＞
プログラム実行部３２が、キャリブレーションのために実行する処理の流れについて、図３に例示するフローチャートを参照して説明する。プログラム実行部３２は、視線検出装置１０の電源オン操作が行われた場合、または視線検出装置１０においてロック解除操作（例えば、画面表示部２４上に表示するスライドスイッチに対するスライド操作など）が行われると、図３による処理を起動させる。 <Description of flowchart>
A flow of processing executed by the program execution unit 32 for calibration will be described with reference to a flowchart illustrated in FIG. The program execution unit 32 performs a lock release operation (for example, a slide operation on a slide switch displayed on the screen display unit 24) in the line-of-sight detection device 10 when the line-of-sight detection device 10 is powered on. Then, the processing according to FIG. 3 is started.

図３のステップＳ１０において、プログラム実行部３２は、カメラ１１による撮像を開始させてステップＳ２０へ進む。これにより、カメラ１１が所定のフレームレート（例えば３０ｆｐｓ）で撮像を繰り返し行い、画像データを制御部３０へ逐次送出する。ユーザーは、視線検出装置１０を手で持って表示・入力部２０の画面表示部２４を見つめる姿勢をとる。 In step S10 of FIG. 3, the program execution unit 32 starts imaging with the camera 11 and proceeds to step S20. As a result, the camera 11 repeatedly performs imaging at a predetermined frame rate (for example, 30 fps), and sequentially transmits image data to the control unit 30. The user takes an attitude of holding the line-of-sight detection device 10 by hand and staring at the screen display unit 24 of the display / input unit 20.

ステップＳ２０において、プログラム実行部３２は、カメラ１１によって取得された画像に基づいて顔認証処理を行う。顔認証処理は、カメラ１１で取得された画像に含まれる「顔」を検出し、その「顔」が所定人物の「顔」か否かを識別する公知の技術である。プログラム実行部３２は、画像に含まれる「顔」の特徴量と、あらかじめ不揮発性メモリ３５に登録されている登録ユーザーの「顔」の特徴量とを比較し、画像に含まれる「顔」が登録ユーザーの「顔」であるか否かを識別する。顔認証処理は、公知の技術であるため詳細な説明は省略する。 In step S <b> 20, the program execution unit 32 performs face authentication processing based on the image acquired by the camera 11. The face authentication process is a known technique for detecting a “face” included in an image acquired by the camera 11 and identifying whether the “face” is a “face” of a predetermined person. The program execution unit 32 compares the feature amount of the “face” included in the image with the feature amount of the “face” of the registered user registered in advance in the nonvolatile memory 35, and the “face” included in the image is determined. Whether the registered user's “face” is identified. Since the face authentication process is a known technique, a detailed description thereof will be omitted.

ステップＳ３０において、プログラム実行部３２は、登録ユーザーか否かを判定する。プログラム実行部３２は、登録ユーザーの「顔」を識別した場合に、ステップＳ３０を肯定判定してステップＳ４０へ進む。プログラム実行部３２は、登録ユーザーの「顔」を識別していない場合には、ステップＳ３０を否定判定してステップＳ６０へ進む。 In step S30, the program execution unit 32 determines whether or not the user is a registered user. When the program execution unit 32 identifies the “face” of the registered user, the program execution unit 32 makes an affirmative decision in step S30 and proceeds to step S40. If the registered user's “face” has not been identified, the program execution unit 32 makes a negative determination in step S30 and proceeds to step S60.

ステップＳ４０において、プログラム実行部３２は、視線検出装置１０とユーザーの眼（頭部）との間の相対位置関係が同じか否かを判定する。プログラム実行部３２は、相対位置関係を示す情報、すなわち、カメラ１１によって取得された画像に占めるユーザーの「顔」の領域の割合、および当画像における眼の位置座標が、不揮発性メモリ３５に保存されているユーザーの相対位置関係情報と一致する場合に、ステップＳ４０を肯定判定してステップＳ５０へ進む。プログラム実行部３２は、相対位置関係を示す情報が、不揮発性メモリ３５に保存されている相対位置関係情報と不一致の場合には、ステップＳ４０を否定判定してステップＳ７０へ進む。一般に、画像に占めるユーザーの「顔」の領域の割合が大きい場合は、ユーザーの頭部が表示・入力部２０の画面表示部２４に近い。反対に、画像に占めるユーザーの「顔」の領域の割合が小さい場合は、ユーザーの頭部が表示・入力部２０の画面表示部２４から遠い。 In step S40, the program execution unit 32 determines whether or not the relative positional relationship between the line-of-sight detection device 10 and the user's eyes (head) is the same. The program execution unit 32 stores the information indicating the relative positional relationship, that is, the ratio of the user's “face” area in the image acquired by the camera 11 and the eye position coordinates in the image in the nonvolatile memory 35. If the information matches the relative positional relationship information of the user, the determination in step S40 is affirmative and the process proceeds to step S50. If the information indicating the relative positional relationship does not match the relative positional relationship information stored in the nonvolatile memory 35, the program execution unit 32 makes a negative determination in step S40 and proceeds to step S70. In general, when the proportion of the user's “face” area in the image is large, the user's head is close to the screen display unit 24 of the display / input unit 20. On the other hand, when the ratio of the user's “face” area to the image is small, the user's head is far from the screen display unit 24 of the display / input unit 20.

ステップＳ５０において、プログラム実行部３２は、不揮発性メモリ３５から、その登録ユーザーの情報であって、上記一致する相対位置情報とともに保存されている過去のキャリブレーション情報を読み込んで図３による処理を終了する。プログラム実行部３２は、読み込んだキャリブレーション情報を、以降の視線検出処理（例えば、後述する文字入力処理）において視線検出時の補正値として使用する。 In step S50, the program execution unit 32 reads the past calibration information that is the registered user information and is stored together with the matching relative position information from the non-volatile memory 35, and ends the process of FIG. To do. The program execution unit 32 uses the read calibration information as a correction value at the time of line-of-sight detection in subsequent line-of-sight detection processing (for example, character input processing described later).

登録ユーザーの「顔」を識別しなかった場合に進むステップＳ６０において、プログラム実行部３２は、登録処理を行ってステップＳ７０へ進む。登録処理では、カメラ１１によって取得された画像に基づいて「顔」の特徴量を求め、「顔」の特徴量データと、入力されるユーザー情報（年齢、パスワード、個人識別番号など）とを関連付けて不揮発性メモリ３５に格納する。顔認証に用いる「顔」の特徴量については公知であるので、説明を省略する。 In step S60 that proceeds when the registered user's “face” is not identified, the program execution unit 32 performs a registration process and proceeds to step S70. In the registration process, the feature value of “face” is obtained based on the image acquired by the camera 11, and the feature value data of “face” is associated with input user information (age, password, personal identification number, etc.) And stored in the nonvolatile memory 35. Since the feature amount of “face” used for face authentication is known, the description thereof is omitted.

ステップＳ７０において、プログラム実行部３２はキャリブレーション処理を行う。キャリブレーション処理は、例えば図４に例示するように、表示・入力部２０の画面表示部２４の四隅に表示されるマーカＭ１〜マーカＭ４をユーザーが注視するときの、ユーザーの「眼」の特徴量を取得する。プログラム実行部３２は、カメラ１１による撮像タイミングに合わせて光源１２を間欠発光させながら、マーカＭ１〜マーカＭ４を順番に画面表示部２４に表示させる。 In step S70, the program execution unit 32 performs a calibration process. For example, as illustrated in FIG. 4, the calibration process is a feature of the user's “eye” when the user gazes at the markers M <b> 1 to M <b> 4 displayed at the four corners of the screen display unit 24 of the display / input unit 20. Get the quantity. The program execution unit 32 causes the screen display unit 24 to sequentially display the markers M1 to M4 while causing the light source 12 to emit light intermittently in accordance with the imaging timing of the camera 11.

プログラム実行部３２は、カメラ１１で取得される画像のうち、ユーザーの「顔」領域の画像（図５(a）に例示)に基づいて「眼」の特徴量を求める。図５(b)および図５(c)は、図５(a）において破線で囲んだ領域を拡大した図である。本実施形態において、「眼」の特徴量は、例えば図５(b)および図５(c)に例示するように、瞳孔中心５１と角膜反射像５２との間の距離で表すものとする。角膜反射像５２は、ユーザーの眼球で赤外光が反射することによって観察される像である。 The program execution unit 32 obtains the “eye” feature amount based on the image (illustrated in FIG. 5A) of the user's “face” region among the images acquired by the camera 11. 5 (b) and 5 (c) are enlarged views of a region surrounded by a broken line in FIG. 5 (a). In the present embodiment, the feature amount of “eye” is represented by a distance between the pupil center 51 and the cornea reflection image 52 as illustrated in FIGS. 5B and 5C, for example. The cornea reflection image 52 is an image observed when infrared light is reflected by the user's eyeball.

プログラム実行部３２は、表示・入力部２０の画面表示部２４にマーカＭ１を表示させながら、カメラ１１によって取得された画像に基づいて「眼」の特徴量を求める。ユーザーがマーカＭ１を見つめた状態で瞬きをすると、プログラム実行部３２は、瞬き時の画像に基づいて求めた「眼」の特徴量をマーカＭ１に対応づけるとともに、マーカＭ１に代えてマーカＭ２を表示・入力部２０の画面表示部２４に表示させる。 The program execution unit 32 obtains the feature amount of “eye” based on the image acquired by the camera 11 while displaying the marker M1 on the screen display unit 24 of the display / input unit 20. When the user blinks while looking at the marker M1, the program execution unit 32 associates the feature amount of the “eye” obtained based on the image at the time of blinking with the marker M1, and uses the marker M2 instead of the marker M1. It is displayed on the screen display unit 24 of the display / input unit 20.

以降同様に、プログラム実行部３２は、マーカＭ２〜マーカＭ４のそれぞれに対応付けて「眼」の特徴量を求める。プログラム実行部３２は、マーカＭ１〜マーカＭ４に対応する「眼」の特徴量データ４つと、マーカＭ１〜Ｍ４の画面表示部２４における４つの座標位置とに基づいて、水平方向および垂直方向のそれぞれにおいて、ユーザーが見つめた画面表示部２４上の位置と、「眼」の特徴量に基づいて算出される画面表示部２４上の位置との間の誤差を小さくするように上記補正値データを求める。プログラム実行部３２は、マーカＭ１〜マーカＭ４の表示を終了するとき、光源１２の発光を停止させる。 Thereafter, similarly, the program execution unit 32 determines the feature amount of “eye” in association with each of the markers M2 to M4. The program execution unit 32 performs horizontal and vertical directions based on four pieces of feature data of “eye” corresponding to the markers M1 to M4 and four coordinate positions of the markers M1 to M4 on the screen display unit 24, respectively. The correction value data is obtained so as to reduce an error between the position on the screen display unit 24 as viewed by the user and the position on the screen display unit 24 calculated based on the feature amount of “eye”. . The program execution unit 32 stops the light emission of the light source 12 when the display of the markers M1 to M4 is finished.

ステップＳ８０において、プログラム実行部３２は、視線検出装置１０とユーザーの眼（頭部）との位置関係を示す情報を取得してステップＳ９０へ進む。プログラム実行部３２は、例えば図６に示すように、上記キャリブレーション処理中にカメラ１１で取得された画像におけるユーザーの眼の位置を示す情報を、視線検出装置１０とユーザーの眼（頭部）との間の位置関係を示す情報とする。図６において、プログラム実行部３２は、画面を複数の領域に分けて、ユーザーの「顔」に含まれる領域数に基づいて画像に占める顔領域の割合を求める。上述したように画面に占める割合が大きいほど画面表示部２４に頭部が近く、画面に占める割合が小さいほど画面表示部２４から頭部が遠く離れているといえる。また、プログラム実行部３２は、ユーザーの「眼」を含む領域の画面内の位置座標を、ユーザーの「眼」の位置とする。プログラム実行部３２は、これら顔領域の割合および「眼」の位置を含んだ情報を、上記位置関係を示す情報とする。なお、図６における画面の分割数（すなわち１分割領域当たりの大きさ）は一例であり、適宜変更して構わない。 In step S80, the program execution unit 32 acquires information indicating the positional relationship between the line-of-sight detection device 10 and the user's eyes (head), and proceeds to step S90. For example, as illustrated in FIG. 6, the program execution unit 32 obtains information indicating the position of the user's eye in the image acquired by the camera 11 during the calibration process, and uses the line-of-sight detection device 10 and the user's eye (head). Information indicating the positional relationship between the two. In FIG. 6, the program execution unit 32 divides the screen into a plurality of areas, and obtains the ratio of the face area in the image based on the number of areas included in the “face” of the user. As described above, it can be said that the larger the proportion of the screen is, the closer the head is to the screen display unit 24, and the smaller the proportion of the screen is, the farther the head is from the screen display unit 24. In addition, the program execution unit 32 sets the position coordinates in the screen of the area including the user's “eye” as the position of the user's “eye”. The program execution unit 32 uses the information including the ratio of the face area and the position of the “eye” as information indicating the positional relationship. Note that the number of screen divisions in FIG. 6 (that is, the size per division area) is an example, and may be changed as appropriate.

ステップＳ９０において、プログラム実行部３２は、ユーザー情報に関連付けて、ステップＳ８０で取得した位置関係情報およびステップＳ７０で取得したキャリブレーション情報を不揮発性メモリ３５に格納する。ここで、ステップＳ４０を否定判定したことにより、視線検出装置１０とユーザーの眼（頭部）との間の新たな位置関係においてキャリブレーション処理を行った場合は、既に不揮発性メモリ３５に格納されているキャリブレーション情報と別に、新たに取得したキャリブレーション情報を新たな位置関係情報とともに不揮発性メモリ３５に格納して図３による処理を終了する。プログラム実行部３２は、新たに保存したキャリブレーション情報を、以降の視線検出処理（例えば、後述する文字入力処理）において視線検出時の補正値として使用する。キャリブレーション情報と位置関係情報との組は、複数組を格納して構わない。 In step S90, the program execution unit 32 stores the positional relationship information acquired in step S80 and the calibration information acquired in step S70 in the nonvolatile memory 35 in association with the user information. Here, when a negative determination is made in step S40, if calibration processing is performed in a new positional relationship between the line-of-sight detection device 10 and the user's eyes (head), the calibration processing is already stored in the nonvolatile memory 35. The newly acquired calibration information is stored in the nonvolatile memory 35 together with the new positional relationship information separately from the calibration information being stored, and the processing in FIG. The program execution unit 32 uses the newly stored calibration information as a correction value at the time of line-of-sight detection in subsequent line-of-sight detection processing (for example, character input processing described later). A plurality of sets of calibration information and positional relationship information may be stored.

＜文字情報入力＞
本実施形態の視線検出装置１０が視線検出機能を使用して行う文字情報の入力処理の例を説明する。プログラム実行部３２は、視線検出装置１０で文字入力が必要なとき（例えば、電話番号や相手の名称などを登録するとき、メール文を入力するときなど）に、入力画面である入力情報表示部２２および一覧表示部２３を、自動的に画面表示部２４に表示させる。プログラム実行部３２はさらに、カメラ１１に所定のフレームレート（例えば３０ｆｐｓ）で撮像を繰り返し行わせるとともに、カメラ１１による撮像タイミングに合わせて光源１２を間欠発光させる。 <Input character information>
An example of character information input processing performed by the line-of-sight detection device 10 of the present embodiment using the line-of-sight detection function will be described. The program execution unit 32 is an input information display unit that is an input screen when character input is necessary in the line-of-sight detection device 10 (for example, when a telephone number or the name of a partner is registered, or when an e-mail message is input). 22 and the list display unit 23 are automatically displayed on the screen display unit 24. The program execution unit 32 further causes the camera 11 to repeatedly perform imaging at a predetermined frame rate (for example, 30 fps), and causes the light source 12 to intermittently emit light in accordance with the imaging timing of the camera 11.

図７は、入力情報表示部２２および一覧表示部２３を例示する図である。一覧表示部２３には、入力単位情報２７が並べて一覧表示される。入力単位情報２７は、文字種類として「ひらがな」、「カタカナ」、「アルファベット」、「数字、記号」、「文字フォントの種類」、「顔文字」などが選択可能に構成される。図７は「ひらがな」が選択されている状態を示す。この場合の入力単位は「ひらがな」を構成する１文字である。 FIG. 7 is a diagram illustrating the input information display unit 22 and the list display unit 23. In the list display section 23, the input unit information 27 is displayed in a list. The input unit information 27 is configured such that “Hiragana”, “Katakana”, “Alphabet”, “Number, Symbol”, “Character Font Type”, “Emoji”, and the like can be selected as the character type. FIG. 7 shows a state in which “Hiragana” is selected. In this case, the input unit is one character constituting “Hiragana”.

ユーザーが一覧表示部２３に表示されている対象を注視すると、視線検出部３１は、カメラ１１で取得された赤外光の画像に基づいて、一覧表示部２３におけるユーザーの視線の位置を検出する。すなわち、画像から得られる「眼」の特徴量に基づいて、画面表示部２４上のユーザーの視線位置を求める。表示制御部３３は、視線検出部３１によって特定された対象をユーザーへ視覚的に知らせるため、特定対象を示すマーカ２７Ｂを一覧表示部２３に表示させる。 When the user gazes at the target displayed on the list display unit 23, the line-of-sight detection unit 31 detects the position of the user's line of sight on the list display unit 23 based on the infrared light image acquired by the camera 11. . That is, the line-of-sight position of the user on the screen display unit 24 is obtained based on the feature amount of “eye” obtained from the image. The display control unit 33 causes the list display unit 23 to display the marker 27B indicating the specific target in order to visually notify the user of the target specified by the line-of-sight detection unit 31.

ユーザーは、目当ての対象の表示位置とマーカ２７Ｂの位置とが合致している状態で、瞬きを行う。プログラム実行部３２は、視線検出部３１がユーザーの瞬きを検出した時点で視線検出部３１が特定している対象（例えばひらがな文字「ひ」）を入力（図示しないメモリに記憶）する。 The user blinks in a state where the target display position matches the position of the marker 27B. The program execution unit 32 inputs (stores in a memory (not shown)) an object (for example, hiragana character “hi”) specified by the line-of-sight detection unit 31 when the line-of-sight detection unit 31 detects a blink of the user.

プログラム実行部３２は、入力した対象（ひらがな文字「ひ」）を画面表示部２４の入力情報表示部２２に表示させる。このような視線検出および瞬き検出を繰り返すことにより、図７に示すように、３つのひらがな文字「ひしょ」が入力される。 The program execution unit 32 displays the input object (Hiragana character “Hi”) on the input information display unit 22 of the screen display unit 24. By repeating such gaze detection and blink detection, as shown in FIG. 7, three hiragana characters “hisho” are input.

ユーザーが入力情報表示部２２に表示されている「変換」ボタン２６をタップ操作すると、プログラム実行部３２は、図示しないＲＯＭにあらかじめ格納されている辞書データに基づいて、入力情報表示部２２に表示されているひらがな文字「ひしょ」に対して、かな→漢字変換を行う。プログラム実行部３２は、複数の変換候補が存在する場合は、例えば「秘書」、「避暑」、「秘所」というように、複数の変換候補を入力情報表示部２２に並べて表示させる。 When the user taps the “conversion” button 26 displayed on the input information display unit 22, the program execution unit 32 displays on the input information display unit 22 based on dictionary data stored in advance in a ROM (not shown). The kana-to-kanji conversion is performed for the hiragana character "hisho". When there are a plurality of conversion candidates, the program execution unit 32 displays the plurality of conversion candidates side by side on the input information display unit 22 such as “secretary”, “summer resort”, and “secret”.

ユーザーが入力情報表示部２２に表示されている漢字文字「秘書」をタップ操作すると、プログラム実行部３２は、漢字文字「秘書」を入力（図示しないメモリに一時記憶）する。プログラム実行部３２は、入力内容（漢字文字「秘書」）を画面表示部２４の入力情報表示部２２に表示させる。このような視線検出およびタップ操作検出を繰り返すことにより、ひらがな文字の入力、かな→漢字変換を行う。 When the user taps the kanji character “secretary” displayed on the input information display unit 22, the program execution unit 32 inputs (temporarily stores) the kanji character “secretary”. The program execution unit 32 displays the input content (kanji character “secretary”) on the input information display unit 22 of the screen display unit 24. By repeating such line-of-sight detection and tap operation detection, input of hiragana characters, kana → kanji conversion is performed.

なお、一覧表示部２３に表示されている対象のうち、「文字種類」は異なる文字種類の一覧表示を一覧表示部２３に表示させるためのものであり、「数字記号」は数字および記号の一覧表示を一覧表示部２３に表示させるためのものである。また、対象のうち「消す」は入力済みの文字を取消すためのものであり、矢印で示される対象は「Enter」に相当し、かな→漢字変換せずに入力するためのものである。 Of the objects displayed on the list display unit 23, “character type” is for displaying a list display of different character types on the list display unit 23, and “numeric symbol” is a list of numbers and symbols. The display is displayed on the list display unit 23. “Erase” among the objects is for erasing input characters, and an object indicated by an arrow is equivalent to “Enter”, and is used for input without Kana → Kanji conversion.

プログラム実行部３２は、ユーザーが入力情報表示部２２の空欄のいずれかの位置をダブルタップ操作すると、入力画面の表示を終了させる。具体的には、画面表示部２４から入力情報表示部２２および一覧表示部２３の表示を終了させる。プログラム実行部３２はさらに、カメラ１１による視線検出用の撮像を終了させ、光源１２の間欠発光を終了させる。 The program execution unit 32 terminates the display of the input screen when the user double taps any one of the blank positions in the input information display unit 22. Specifically, the display of the input information display unit 22 and the list display unit 23 is ended from the screen display unit 24. The program execution unit 32 further ends the imaging for eye gaze detection by the camera 11 and ends the intermittent light emission of the light source 12.

なお、プログラム実行部３２は、入力画面の終了後にユーザーが画面表示部２４のいずれかの位置（アイコン２１を除く）をタップ操作した場合も、再び画面表示部２４に入力画面である入力情報表示部２２および一覧表示部２３を表示させる。加えて、カメラ１１に所定のフレームレート（例えば３０ｆｐｓ）で撮像を繰り返し行わせるとともに、カメラ１１による撮像タイミングに合わせて光源１２を間欠発光させる。以降、上述した場合と同様に文字入力操作を受け付ける。 Note that the program execution unit 32 displays the input information that is the input screen again on the screen display unit 24 even when the user taps any position (except for the icon 21) on the screen display unit 24 after the input screen ends. The unit 22 and the list display unit 23 are displayed. In addition, the camera 11 is repeatedly imaged at a predetermined frame rate (for example, 30 fps), and the light source 12 is caused to intermittently emit light in accordance with the imaging timing of the camera 11. Thereafter, a character input operation is accepted in the same manner as described above.

以上説明した実施形態によれば、次の作用効果が得られる。
（１）視線検出装置１０は、情報を表示する表示・入力部２０と、表示・入力部２０上におけるユーザーの視線位置を検出する視線検出部３１と、キャリブレーション情報を用いて、視線検出部３１によって検出される視線位置を補正するプログラム実行部３２と、登録ユーザーが過去に使用したキャリブレーション情報を記憶する不揮発性メモリ３５と、ユーザーが登録ユーザーか否かを判定するプログラム実行部３２と、登録ユーザーであることが判定されている場合、不揮発性メモリ３５に記憶されているキャリブレーション情報を用いて、視線検出部３１によって検出される視線位置を補正するようにプログラム実行部３２を制御するプログラム実行部３２と、を備える。これにより、登録ユーザーに対してキャリブレーションを不要としたので、ユーザーの負担を軽減できる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The line-of-sight detection device 10 includes a display / input unit 20 that displays information, a line-of-sight detection unit 31 that detects a user's line-of-sight position on the display / input unit 20, and a line-of-sight detection unit using calibration information. A program execution unit 32 that corrects the line-of-sight position detected by 31, a nonvolatile memory 35 that stores calibration information used in the past by a registered user, and a program execution unit 32 that determines whether or not the user is a registered user. If it is determined that the user is a registered user, the program execution unit 32 is controlled to correct the line-of-sight position detected by the line-of-sight detection unit 31 using the calibration information stored in the nonvolatile memory 35. And a program execution unit 32. This eliminates the need for calibration for registered users, thereby reducing the user's burden.

（２）視線検出装置１０は、表示・入力部２０とユーザーの頭部との間の位置関係情報を取得するプログラム実行部３２をさらに備え、不揮発性メモリ３５は、位置関係情報とともにキャリブレーション情報を記憶し、プログラム実行部３２は、登録ユーザーであることが判定され、かつ現在の位置関係情報が不揮発性メモリ３５に記憶されている過去の位置関係情報と一致する場合に、過去の位置関係情報とともに不揮発性メモリ３５に記憶されているキャリブレーション情報を用いて、視線位置を補正するように制御する。これにより、過去のキャリブレーション処理時と現在とで位置関係情報が異なることによって生じる誤差要因を取り除くことができる。 (2) The line-of-sight detection device 10 further includes a program execution unit 32 that acquires positional relationship information between the display / input unit 20 and the user's head, and the nonvolatile memory 35 includes calibration information together with the positional relationship information. The program execution unit 32 determines that the user is a registered user, and if the current positional relationship information matches the past positional relationship information stored in the nonvolatile memory 35, the past positional relationship Control is performed to correct the line-of-sight position using the calibration information stored in the nonvolatile memory 35 together with the information. As a result, it is possible to eliminate an error factor caused by the difference in positional relationship information between the past calibration processing and the present.

（３）視線検出装置１０は、表示・入力部２０の四隅に校正用のマーカＭ１〜Ｍ４を表示させ、マーカＭ１〜Ｍ４をユーザーが注視する際に視線検出部３１で検出される視線位置と、表示・入力部２０におけるマーカＭ１〜Ｍ４の表示位置とに基づいてキャリブレーション情報を取得するプログラム実行部３２をさらに備える。そして、登録ユーザーであることが判定されない場合、および現在の視線検出装置１０とユーザーの眼（頭部）との間の新たな位置関係情報が不揮発性メモリ３５に記憶されている過去の位置関係情報と一致しない場合において、新たに取得されたキャリブレーション情報を用いて視線位置を補正するように制御する。必要な場合にのみ新たにキャリブレーション情報を取得し直すので、毎度取得し直す場合に比べて、ユーザーの負担を軽減できる。さらに、新たに取得し直したキャリブレーション情報を用いることで、適切に視線位置を補正できる。 (3) The line-of-sight detection apparatus 10 displays calibration markers M1 to M4 at the four corners of the display / input unit 20, and the line-of-sight position detected by the line-of-sight detection unit 31 when the user gazes at the markers M1 to M4. The program execution unit 32 further acquires calibration information based on the display positions of the markers M1 to M4 in the display / input unit 20. If it is not determined that the user is a registered user, and the past positional relationship in which new positional relationship information between the current line-of-sight detection device 10 and the user's eyes (head) is stored in the nonvolatile memory 35 When the information does not match, control is performed so as to correct the line-of-sight position using newly acquired calibration information. Since calibration information is newly acquired only when necessary, the burden on the user can be reduced as compared with the case of acquiring again each time. Furthermore, the line-of-sight position can be appropriately corrected by using newly acquired calibration information.

（４）不揮発性メモリ３５は、新たに取得されたキャリブレーション情報を、当該新たなキャリブレーション情報の取得時に取得された位置関係情報とともに記憶するようにしたので、今回取得したキャリブレーション情報を、適切に活用し得る。 (4) Since the nonvolatile memory 35 stores the newly acquired calibration information together with the positional relationship information acquired at the time of acquisition of the new calibration information, the calibration information acquired this time is Can be used appropriately.

（５）不揮発性メモリ３５は、登録ユーザーごとに、キャリブレーション情報を位置関係情報とともに記憶するので、異なるユーザーが視線検出装置１０を使用する場合にも、適切に視線位置を補正し得る。 (5) Since the nonvolatile memory 35 stores the calibration information together with the positional relationship information for each registered user, it is possible to appropriately correct the line-of-sight position even when different users use the line-of-sight detection device 10.

（６）不揮発性メモリ３５は、登録ユーザーごとに、キャリブレーション情報および位置関係情報の組を複数記憶するようにしたので、例えば、ユーザーが視線検出装置１０を持つ姿勢を変えた場合にも、適切に視線位置を補正し得る。 (6) Since the nonvolatile memory 35 stores a plurality of sets of calibration information and positional relationship information for each registered user, for example, even when the user changes the posture with the line-of-sight detection device 10, The line-of-sight position can be corrected appropriately.

（変形例１）
上述した説明では、視線検出部３１がユーザーの瞬きを検出した時点で視線検出部３１が特定している対象（例えばひらがな文字「ひ」）を入力するようにした。この代わりに、検出されているユーザーの視線が同じ位置に所定時間（例えば２秒間）留まった場合に、視線検出部３１が特定している対象を入力するようにしてもよい。 (Modification 1)
In the above description, an object (for example, hiragana character “hi”) specified by the line-of-sight detection unit 31 when the line-of-sight detection unit 31 detects a blink of the user is input. Instead, when the detected user's line of sight stays at the same position for a predetermined time (for example, 2 seconds), the target specified by the line-of-sight detection unit 31 may be input.

（変形例２）
上述した実施形態では、高機能携帯電話機を例に視線検出装置１０を説明したが、タブレット型端末やパーソナルコンピュータなどの電子機器にも適用して構わない。 (Modification 2)
In the embodiment described above, the line-of-sight detection device 10 has been described by taking a high-function mobile phone as an example, but it may also be applied to an electronic device such as a tablet terminal or a personal computer.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.

１０…視線検出装置
１１、１３…カメラ
１２…光源
２０…表示・入力部
２２…入力情報表示部
２３…一覧表示部
２４…画面表示部
２７…入力単位情報
３０…制御部
３１…視線検出部
３２…プログラム実行部
３５…不揮発性メモリ
Ｍ１〜Ｍ４…マーカ DESCRIPTION OF SYMBOLS 10 ... Line-of-sight detection apparatus 11, 13 ... Camera 12 ... Light source 20 ... Display / input part 22 ... Input information display part 23 ... List display part 24 ... Screen display part 27 ... Input unit information 30 ... Control part 31 ... Line-of-sight detection part 32 ... Program execution unit 35 ... Non-volatile memory M1-M4 ... Marker

Claims

情報を表示する表示部と、
前記表示部上におけるユーザーの視線位置を検出する視線検出部と、
補正情報を用いて、前記視線検出部によって検出される前記視線位置を補正する補正部と、
登録ユーザーが過去に使用した補正情報を記憶する記憶部材と、
前記ユーザーが登録ユーザーか否かを判定する判定部と、
前記判定部によって前記登録ユーザーであることが判定された場合、前記記憶部材に記憶されている補正情報を用いて前記視線検出部によって検出される前記視線位置を補正するように前記補正部を制御する補正制御部と、
を備えることを特徴とする視線検出装置。 A display for displaying information;
A line-of-sight detection unit that detects a user's line-of-sight position on the display unit;
A correction unit that corrects the line-of-sight position detected by the line-of-sight detection unit using correction information;
A storage member for storing correction information used by registered users in the past;
A determination unit for determining whether or not the user is a registered user;
When the determination unit determines that the user is the registered user, the correction unit is controlled to correct the line-of-sight position detected by the line-of-sight detection unit using correction information stored in the storage member. A correction control unit to
A line-of-sight detection device comprising:

請求項１に記載の視線検出装置において、
前記表示部と前記ユーザーの頭部との間の相対位置情報を取得する位置情報取得部をさらに備え、
前記記憶部材は、前記相対位置情報とともに前記補正情報を記憶し、
前記補正制御部は、前記判定部によって前記登録ユーザーであることが判定され、かつ前記位置情報取得部によって取得された現在の相対位置情報が前記記憶部材に記憶されている過去の相対位置情報と一致する場合に、前記過去の相対位置情報とともに前記記憶部材に記憶されている補正情報を用いて前記視線位置を補正するように前記補正部を制御することを特徴とする視線検出装置。 The line-of-sight detection device according to claim 1,
A positional information acquisition unit that acquires relative positional information between the display unit and the user's head;
The storage member stores the correction information together with the relative position information,
The correction control unit is determined to be the registered user by the determination unit, and past relative position information in which the current relative position information acquired by the position information acquisition unit is stored in the storage member; The eye gaze detection apparatus according to claim 1, further comprising: controlling the correction unit so as to correct the eye gaze position using correction information stored in the storage member together with the past relative position information.

請求項２に記載の視線検出装置において、
前記表示部の所定位置に校正用の対象を表示させ、前記対象をユーザーが注視する際に前記視線検出部で検出される視線位置と、前記表示部における前記対象の表示位置とに基づいて前記補正情報を取得する校正制御部をさらに備え、
前記補正制御部は、前記判定部によって前記登録ユーザーであることが判定されない場合、および前記位置情報取得部によって取得された現在の相対位置情報が前記記憶部材に記憶されている過去の相対位置情報と一致しない場合において、前記校正制御部によって新たに取得された補正情報を用いて前記視線位置を補正するように前記補正部を制御することを特徴とする視線検出装置。 The line-of-sight detection device according to claim 2.
Based on the line-of-sight position detected by the line-of-sight detection unit when the user gazes at the target, and the display position of the target on the display unit A calibration control unit for acquiring correction information;
In the case where the determination unit does not determine that the user is the registered user, the correction control unit includes past relative position information in which the current relative position information acquired by the position information acquisition unit is stored in the storage member. The eye-gaze detection apparatus controls the correction unit so as to correct the eye-gaze position using the correction information newly acquired by the calibration control unit.

請求項３に記載の視線検出装置において、
前記記憶部材は、前記校正制御部によって新たに取得された補正情報を、前記新たな補正情報の取得時に前記位置情報取得部によって取得された相対位置情報とともに記憶することを特徴とする視線検出装置。 The line-of-sight detection device according to claim 3.
The storage member stores the correction information newly acquired by the calibration control unit together with the relative position information acquired by the position information acquisition unit when the new correction information is acquired. .

請求項４に記載の視線検出装置において、
前記記憶部材は、登録ユーザーごとに、前記補正情報を前記相対位置情報とともに記憶することを特徴とする視線検出装置。 The line-of-sight detection device according to claim 4.
The storage member stores the correction information together with the relative position information for each registered user.

請求項５に記載の視線検出装置において、
前記記憶部材は、登録ユーザーごとに、前記補正情報および前記相対位置情報の組を複数記憶することを特徴とする視線検出装置。

The line-of-sight detection device according to claim 5.
The line-of-sight detection apparatus, wherein the storage member stores a plurality of sets of the correction information and the relative position information for each registered user.