JP5957996B2 - Corneal reflection detection apparatus, corneal reflection detection program, and corneal reflection detection method - Google Patents
Corneal reflection detection apparatus, corneal reflection detection program, and corneal reflection detection method Download PDFInfo
- Publication number
- JP5957996B2 JP5957996B2 JP2012062655A JP2012062655A JP5957996B2 JP 5957996 B2 JP5957996 B2 JP 5957996B2 JP 2012062655 A JP2012062655 A JP 2012062655A JP 2012062655 A JP2012062655 A JP 2012062655A JP 5957996 B2 JP5957996 B2 JP 5957996B2
- Authority
- JP
- Japan
- Prior art keywords
- reflection
- corneal reflection
- corneal
- time
- touch panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
本発明は、角膜反射検出装置等に関する。 The present invention relates to a corneal reflection detection device and the like.
利用者の視線を検出し、検出結果を利用してコンピュータを操作する視線インターフェース技術が存在する。視線インターフェースを利用することで、利用者は、マウスやキーボードを操作しなくても、画面上を目視することで、目視した位置に対するズーム操作や、目視した物体の選択操作等を行うことができる。かかる視線インターフェースは、デスクトップ型の端末装置だけでなく、タブレット型の端末装置に対しても適用可能である。 There is a line-of-sight interface technology that detects a user's line of sight and operates a computer using the detection result. By using the line-of-sight interface, the user can perform a zooming operation on a viewing position, a selection operation of a viewed object, and the like by viewing the screen without operating a mouse or a keyboard. . Such a line-of-sight interface is applicable not only to a desktop terminal device but also to a tablet terminal device.
視線インターフェースは、角膜反射法を用いて視線を検出する。角膜反射法は、近赤外線光源を用いて角膜上に反射を発生させ、反射の中心と瞳孔の中心とを画像処理により求める。そして、角膜反射法は、反射の中心と瞳孔の中心との位置関係から、利用者の視線を算出する。 The line-of-sight interface detects the line of sight using a corneal reflection method. In the corneal reflection method, reflection is generated on the cornea using a near infrared light source, and the center of reflection and the center of the pupil are obtained by image processing. In the corneal reflection method, the user's line of sight is calculated from the positional relationship between the center of reflection and the center of the pupil.
しかし、角膜反射法では、近赤外線以外に光源が存在する場合に、角膜反射が複数出現するため、正しい角膜反射を判定することになる。複数の角膜反射から、正しい角膜反射を判定する従来技術は、例えば、下記の従来技術１、２が存在する。
However, in the corneal reflection method, when a light source other than near infrared rays is present, a plurality of corneal reflections appear, and thus correct corneal reflection is determined. Conventional techniques for determining correct corneal reflection from a plurality of corneal reflections include, for example, the following
従来技術１は、反射の形状や位置を手がかりとして、角膜反射を判定する技術である。従来技術１では、閾値以上の輝度を持つ画素に対して２値化処理を実行した後に、ラベリング処理を行うことで角膜反射を特定し、角膜反射の位置と瞳孔の位置との関係から角膜反射を判定する。 Prior art 1 is a technique for determining corneal reflection using the shape and position of reflection as a clue. In Prior Art 1, after performing binarization processing on a pixel having a luminance equal to or higher than a threshold, corneal reflection is specified by performing labeling processing, and corneal reflection is determined from the relationship between the position of the corneal reflection and the position of the pupil. Determine.
従来技術２は、近赤外線の光源の出力を点滅させることで、他の光源による角膜反射と区別する技術である。他の光源による角膜反射は、発生・消滅を繰り返さず、特定したい角膜反射は発生・消滅を繰り返すため、かかる特徴の違いにより、角膜反射を区別可能となる。
しかしながら、上述した従来技術では、利用者に不快な印象を与えることなく、角膜反射を精度良く判定することができないという問題があった。 However, the above-described prior art has a problem that corneal reflection cannot be accurately determined without giving an unpleasant impression to the user.
例えば、従来技術１では、近赤外線による角膜反射と、他の光源による角膜反射との特徴が類似している場合に、各角膜反射を区別することが困難であった。例えば、各角膜反射の位置と瞳孔の位置とが類似している場合には、正しい角膜反射を特定することが出来ない。 For example, in the related art 1, it is difficult to distinguish each corneal reflection when the features of corneal reflection by near infrared rays and corneal reflection by other light sources are similar. For example, when the position of each corneal reflection is similar to the position of the pupil, the correct corneal reflection cannot be specified.
また、従来技術２では、光源として近赤外線を用いた場合でも、可視光領域を含んだ光が出力される場合がある。図１３は、近赤外線の波長と強度との関係を示す図である。図１３に示すように、ブロード型の赤外線では、可視光領域の波長７８０ｎｍに、赤外線の波長が含まれてしまう。このため、従来技術２では、利用者には赤色の光が点滅しているように見えてしまい、利用者に与える印象が良くなかった。
Moreover, in the
開示の技術は、上記に鑑みてなされたものであって、利用者に不快な印象を与えることなく、角膜反射を精度良く判定することができる角膜反射検出装置、角膜反射検出プログラムおよび角膜反射検出方法を提供することを目的とする。 The disclosed technique has been made in view of the above, and can provide a corneal reflection detection apparatus, a corneal reflection detection program, and a corneal reflection detection that can accurately determine corneal reflection without giving an unpleasant impression to a user. It aims to provide a method.
開示の角膜反射検出装置は、格納部、選択部を有する。格納部は、検出をした角膜反射と該角膜反射を検出した時間とが記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを格納する。選択部は、反射情報データベースとタッチ情報データベースを参照して、角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として選択する。 The disclosed corneal reflection detection apparatus includes a storage unit and a selection unit. The storage unit stores a reflection information database in which the detected corneal reflection and a time at which the corneal reflection is detected are recorded, and a touch information database in which the touch panel operation time is recorded. The selecting unit refers to the reflection information database and the touch information database, and selects a corneal reflection other than the corneal reflection detected at the time when the touch panel is operated as the corneal reflection corresponding to the irradiation.
開示の角膜反射検出装置によれば、利用者に不快な印象を与えることなく、角膜反射を精度良く判定することが出来るという効果を奏する。 According to the disclosed corneal reflection detection apparatus, there is an effect that corneal reflection can be accurately determined without giving an unpleasant impression to the user.
以下に、本願の開示する角膜反射検出装置、角膜反射検出プログラムおよび角膜反射検出方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Hereinafter, embodiments of a corneal reflection detection apparatus, a corneal reflection detection program, and a corneal reflection detection method disclosed in the present application will be described in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.
本実施例に係る角膜反射検出装置の構成の一例について説明する。図１は、本実施例に係る角膜反射検出装置の構成を示す機能ブロック図である。図１に示すように、この角膜反射検出装置１００は、カメラ１０、近赤外線光源１５、タッチパネル２０に接続される。角膜反射検出装置１００は、タイマ１０５、赤外線制御部１１０、タッチ検出部１２０、タッチ情報記憶部１３０を有する。角膜反射検出装置１００は、画像取得部１４０、画像記憶部１４５、目領域検出部１５０、角膜反射検出部１６０、反射情報記憶部１７０、追跡処理部１８０、追跡情報記憶部１９０、選択部２００を有する。例えば、図１に示す角膜反射検出装置１００は、タブレット端末に内蔵されていても良い。ここでは、タブレット端末に関する図示を省略する。
An example of the configuration of the corneal reflection detection apparatus according to the present embodiment will be described. FIG. 1 is a functional block diagram illustrating the configuration of the corneal reflection detection apparatus according to the present embodiment. As shown in FIG. 1, the corneal
カメラ１０は、撮像範囲の画像を撮影する撮像装置である。本実施例では、例えば、カメラ１０が撮影した画像には、利用者の顔画像が含まれているものとする。利用者がタブレット端末を操作する場合に、利用者の顔がカメラ１０の撮像範囲に含まれるように、カメラ１０の方向が予め調整されているものとする。カメラ１０は撮影した画像のデータを、角膜反射検出装置１００に順次出力する。以下の説明において、画像のデータを画像データと表記する。
The camera 10 is an imaging device that captures an image in the imaging range. In the present embodiment, for example, it is assumed that the image taken by the camera 10 includes the face image of the user. It is assumed that the direction of the camera 10 is adjusted in advance so that the user's face is included in the imaging range of the camera 10 when the user operates the tablet terminal. The camera 10 sequentially outputs captured image data to the corneal
図２は、画像データの一例を示す図である。図２に示すように、画像データ１には、利用者の顔画像１ａが含まれている。
FIG. 2 is a diagram illustrating an example of image data. As shown in FIG. 2, the image data 1 includes a user's
近赤外線光源１５は、近赤外線を照射する光源である。近赤外線光源は、ＬＥＤ（Light Emitting Diode）等に対応する。利用者がタブレット端末を操作する場合に、利用者の目に光が照射されるように、近赤外線光源１５の方向が予め調整されているものとする。また、近赤外線光源１５は、タッチパネル２０の下に設置されているものとする。
The near
タッチパネル２０は、表示と入力との２つの機能を備えた装置である。タッチパネル２０は、タブレット端末の制御部から受けた画像情報を画面に表示する。また、タッチパネル２０は、利用者に画面をタッチされた場合に、タッチされた画面上の座標を検出し、画面上の座標の情報を、角膜反射検出装置１００やタブレット端末の制御部に出力する。
The touch panel 20 is a device having two functions of display and input. The touch panel 20 displays image information received from the control unit of the tablet terminal on the screen. Further, when the user touches the screen, the touch panel 20 detects the coordinates on the touched screen and outputs information on the coordinates on the screen to the control unit of the corneal
ところで、本実施例では、タッチパネル２０の近赤外線光源１５が下側に向けられた状態で、利用者がタッチパネル２０を操作するものとする。このため、利用者がタッチパネル２０を操作する時間帯は、利用者の手や腕によって、近赤外線光源１５の光が遮られ、近赤外線光源１５の光が利用者の目に届かないものとする。
By the way, in a present Example, a user shall operate the touch panel 20 in the state in which the near-infrared
タイマ１０５は、時間情報をタッチ検出部１２０および画像取得部１４０に出力するタイマである。
The timer 105 is a timer that outputs time information to the
赤外線制御部１１０は、近赤外線光源１５のオンオフを制御する処理部である。本実施例では、赤外線制御部１１０は、近赤外線光源１５をオン状態にしておくものとする。
The
タッチ検出部１２０は、利用者がタッチしたタッチパネル２０の画面上の座標と、タッチした時間情報とを対応付けたタッチ情報を生成する処理部である。タッチ検出部１２０は、検出部の一例である。タッチ検出部１２０は、利用者がタッチパネル２０をタッチする度に、タッチ情報を生成し、タッチ情報記憶部１３０にタッチ情報を記憶させる。
The
タッチ情報記憶部１３０は、タッチ情報を記憶する記憶部である。図３は、タッチ情報記憶部のデータ構造の一例を示す図である。図３に示すように、タッチ情報記憶部１３０は、Ｘ座標、Ｙ座標、時間情報を対応付けて記憶する。図３において、Ｘ座標、Ｙ座標は、利用者がタッチしたタッチパネル２０の画面上の座標に対応する。
The touch
例えば、図３の１段目では、利用者が画面上の座標（３００，５００）をタッチした時間が「２０１１年１２月２６日８時５６分５．３５秒」であることを示している。 For example, the first row in FIG. 3 indicates that the time when the user touches the coordinates (300, 500) on the screen is “December 26, 2011, 8: 56: 5.35”. .
画像取得部１４０は、カメラ１０から順次画像データを取得し、画像データとタイマ１０５から取得する時間情報とを対応付けて、画像記憶部１４５に記憶する処理部である。
The
画像記憶部１４５は、画像データと時間情報とを対応付けて記憶する記憶部である。
The
目領域検出部１５０は、画像データから、目の領域を検出する処理部である。目領域検出部１５０は、目の領域の情報と、画像データの時間情報とを対応付けた情報を、角膜反射検出部１６０に出力する。図４は、目の領域の一例を示す図である。例えば、図２に示した画像データ１からは、図４の２に示すような目の領域の情報が抽出される。
The eye
目領域検出部１５０が、目の領域を検出する処理の一例について説明する。目領域検出部１５０は、画像データから円形状の領域を特定し、該円形状周辺の輝度値が、画像データの他の領域の輝度値と比較して低い場合に、該円形状周辺の領域を目の領域として検出する。その他、目領域検出部１５０は、公知の技術を利用して、目の領域を抽出してもよい。例えば、公知技術には＜「部分特徴テンプレートとグローバル制約による顔器官特徴の抽出」電子情報通信学会論文誌．Ｄ−ＩＩ、情報・システム、ＩＩ−情報処理Ｊ７７−Ｄ−２（８）、１６０１−１６０９、１９９４−０８−２５＞がある。
An example of processing in which the eye
角膜反射検出部１６０は、目の領域から角膜反射領域の候補を検出する処理部である。以下の説明において、角膜反射領域の候補を反射領域候補と表記する。角膜反射検出部１６０は、反射領域候補の座標と、時間情報とを対応付けて、反射情報記憶部１７０に記憶させる。
The corneal
角膜反射検出部１６０が、反射領域候補を検出する処理の一例について説明する。角膜反射検出部１６０は、目の領域を走査し、輝度値が所定の値以上、かつ、円形状となる部分領域を、反射領域候補として検出する。例えば、角膜反射検出部１６０は、輝度値が２５０以上となる円形状の部分領域を、反射領域候補として検出する。そして、角膜反射検出部１６０は、反射領域候補の重心を求め、求めた重心座標を、反射領域候補の座標とする。
An example of processing in which the corneal
図５は、反射領域候補の検出結果の一例を示す図である。図５に示す例では、反射領域候補３１〜３３が検出される。角膜反射検出部１６０は、各反射領域候補３１〜３３と、時間情報とを対応付けて、反射情報記憶部１７０に記憶させる。同一の目の領域から検出された各反射領域候補の時間情報は、同一のものとなる。角膜反射検出部１６０は、異なる時間毎に、反射領域候補を検出し、時間情報と対応付けて反射情報記憶部１７０に記憶させる。
FIG. 5 is a diagram illustrating an example of a detection result of a reflection area candidate. In the example illustrated in FIG. 5, the
反射情報記憶部１７０は、反射領域候補の座標と、時間情報とを対応付けて記憶する記憶部である。図６は、反射情報記憶部のデータ構造の一例を示す図である。図６に示すように、反射情報記憶部１７０は、Ｘ座標、Ｙ座標、時間情報を対応付けて記憶する。図６において、Ｘ座標、Ｙ座標は、各反射領域候補の座標に対応する。図６に示す例では、同一の時間情報「２０１１年１２月２６日８時５６分５．３秒」に、３種類の座標が登録されている。このため、係る時間に３種類の反射領域候補が検出されたことを示す。
The reflection
追跡処理部１８０は、反射情報記憶部１７０を参照し、前フレームの反射領域候補と、現フレームの反射領域候補との結び付けを行う処理部である。追跡処理部１８０は、前フレームの反射領域候補の座標と、現フレームの反射領域候補の座標との距離が閾値未満の場合に、各反射領域候補を結びつける。追跡処理部１８０は、結び付けた各反射領域候補の情報を、追跡情報記憶部１９０に記憶させる。
The
図７は、追跡処理部の処理を説明するための図である。図７において、各フレームＦ１〜Ｆ３は、連続する時間毎に現れる反射領域候補を含む。フレームＦ１〜Ｆ３は、それぞれ異なる時間毎の反射情報に対応する。フレームＦ１は、反射領域候補３１ａ、３２ａ、３３ａを含む。フレームＦ２は、反射領域候補３１ｂ、３２ｂ、３３ｂを含む。フレームＦ３は、反射領域候補３１ｃ、３２ｃ、３４を含む。
FIG. 7 is a diagram for explaining the processing of the tracking processing unit. In FIG. 7, each of the frames F1 to F3 includes a reflection area candidate that appears every successive time. Frames F1 to F3 correspond to reflection information at different times, respectively. The frame F1 includes
追跡処理部１８０は、フレームＦ１とフレームＦ２とを比較する。反射領域候補３１ａと、３１ｂとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３１ａ、３１ｂとを結び付ける。反射領域候補３２ａと３２ｂとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３２ａと３２ｂとを結び付ける。反射領域候補３３ａと、３３ｂとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３３ａと３３ｂとを結び付ける。
The
追跡処理部１８０は、フレームＦ２とフレームＦ３とを比較する。反射領域候補３１ｂと、３１ｃとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３１ｂ、３１ｃとを結び付ける。反射領域候補３２ｂと３２ｃとの座標の距離が閾値未満とすると、追跡処理部１８０は、反射領域候補３２ｂと３２ｃとを結び付ける。
The
なお、反射領域候補３３ｂとの距離が閾値未満となる反射領域候補がフレームＦ３に存在しない場合には、追跡処理部１８０は、反射領域候補３３ｂに対する結び付けを行わない。また、反射領域候補３４との距離が閾値未満となる反射領域候補がフレームＦ２に存在しない場合には、追跡処理部１８０は、反射領域候補３４に対する結びつけを行わない。
Note that when there is no reflection area candidate whose distance from the
図７に示す処理を実行することで、追跡処理部１８０は、反射領域候補３１ａ、３１ｂ、３１ｃを結び付ける。追跡処理部１８０は、反射領域３２ａ、３２ｂ、３２ｃを結び付ける。追跡処理部１８０は、反射領域３３ａ、３３ｂを結び付ける。
By executing the processing illustrated in FIG. 7, the
なお、図７では、一例として前後の反射領域候補の座標を比較する場合を示したが、追跡処理部１８０は、所定数先のフレームの反射領域候補の座標と比較し、各反射領域候補を結び付けても良い。
In FIG. 7, as an example, the case where the coordinates of the previous and subsequent reflection area candidates are compared is shown. However, the
追跡処理部１８０は、結び付けた各反射領域候補に反射ＩＤ（Identification）を割り振る。追跡処理部１８０は、同一の反射ＩＤに分類した反射領域候補の座標と時間情報とを対応付けて、追跡情報を生成する。追跡処理部１８０は、反射ＩＤ毎に追跡情報を生成する。追跡処理部１８０は、反射ＩＤ毎の追跡情報を、追跡情報記憶部１９０に記憶させる。
The
追跡情報記憶部１９０は、追跡情報を記憶する記憶部である。図８は、追跡情報記憶部のデータ構造の一例を示す図である。図８では一例として、反射ＩＤ「１」の追跡情報を示す。図８に示すように、追跡情報記憶部１９０は、Ｘ座標、Ｙ座標、時間情報を対応付けて記憶する。図８において、各座標は、図７で説明したように、結び付けられた反射領域候補の座標である。ここでは図示を省略するが、追跡情報記憶部１９０は、他の反射ＩＤの反射情報も記憶する。
The tracking
選択部２００は、タッチ情報記憶部１３０と追跡情報記憶部１９０とを参照する。そして、選択部２００は、各反射領域候補を検出した時間と、利用者がタッチパネル２０をタッチした時間とを基にして、各反射領域候補から、近赤外線光源１５による角膜反射を選択する処理部である。具体的に、選択部２００は、タッチした時間に消滅する反射領域候補を、近赤外線光源１５による角膜反射を選択する。
The
図９は、選択部の処理を説明するための図である。選択部２００は、反射ＩＤ毎に分類した反射領域候補が出現している時間帯と、タッチされた時間にマージンを持たせた時間帯とを比較する。以下の説明において、反射領域候補が出現している時間帯を、反射候補出現時間帯と表記する。また、タッチされた時間にマージンを持たせた時間帯をタッチ時間帯と表記する。例えば、タッチ時間の前後５０ミリ秒を、タッチ時間帯と表記する。マージンの時間は、任意の時間でよい。
FIG. 9 is a diagram for explaining processing of the selection unit. The
図９に示すように、反射ＩＤ「１」に対応する反射候補補出現時間帯は、８時５６分５秒〜８時５６分５．３秒、８時５６分５．４秒〜８時５６分５．５秒である。反射ＩＤ「２」に対応する反射候補出現時間帯は、８時５６分５．１秒〜８時５６分５．４秒である。反射ＩＤ「３」に対応する反射候補出現時間帯は、８時５６分５秒〜８時５６分５．２秒、８時５６分５．３秒〜８時５６分５．５秒である。また、タッチ時間帯は、８時５６分５．３秒〜８時５６分５．４秒である。 As shown in FIG. 9, the candidate reflection appearance time zone corresponding to the reflection ID “1” is from 8: 56: 5 to 8: 56: 5.3, 8: 56: 5.4, 8:00 to 8:00. 56 minutes and 5.5 seconds. The reflection candidate appearance time zone corresponding to the reflection ID “2” is 8: 56: 5.1 seconds to 8: 56: 5.4. The reflection candidate appearance time zones corresponding to the reflection ID “3” are 8: 56: 5 to 8: 56: 5.2, and 8: 56: 5.3 to 8: 56: 5.5. . The touch time period is 8: 56: 5.3 seconds to 8: 56: 5.4 seconds.
図９において、タッチ時間帯と、各反射候出現時間帯とを比較すると、タッチした時間に消滅する反射領域候補は、反射ＩＤ「１」の反射領域候補となる。このため、選択部２００は、反射ＩＤ「１」に分類された各反射領域候補を、近赤外線光源１５による角膜反射として選択する。選択部２００は、選択した角膜反射の情報を、視線検出処理を行う装置等に出力する。
In FIG. 9, when the touch time zone is compared with each reflection appearance time zone, the reflection region candidate that disappears at the touched time becomes the reflection region candidate of the reflection ID “1”. Therefore, the
例えば、角膜反射の情報は、角膜反射の座標と、時間情報とを含む。視線検出を行う装置は、角膜反射の情報と、画像記憶部１４５の画像データの瞳孔中心の位置とを基にして、利用者の視線を検出する。
For example, corneal reflection information includes corneal reflection coordinates and time information. The apparatus that performs line-of-sight detection detects the line of sight of the user based on information on corneal reflection and the position of the pupil center of the image data in the
次に、本実施例に係る角膜反射検出装置１００の処理手順について説明する。まず、角膜反射検出装置１００が、追跡情報を生成する処理の一例について説明する。図１０は、追跡情報を生成する処理の処理手順を示すフローチャートである。例えば、図１０に示す処理は、カメラ１０から画像データを取得することを契機にして実行される。
Next, a processing procedure of the corneal
図１０に示すように、角膜反射検出装置１００は、画像記憶部１４５から画像データを取得し（ステップＳ１０１）、目の領域を検出する（ステップＳ１０２）。
As shown in FIG. 10, the corneal
角膜反射検出装置１００は、反射領域候補を検出し、反射情報を生成する（ステップＳ１０３）。角膜反射検出装置１００は、反射情報を反射情報記憶部１７０に記憶する（ステップＳ１０４）。
The corneal
角膜反射検出装置１００は、各反射領域候補を追跡処理して追跡情報を生成し（ステップＳ１０５）、追跡情報を追跡情報記憶部１９０に登録する（ステップＳ１０６）。
The corneal
次に、角膜反射検出装置１００が、角膜反射を選択する処理について説明する。図１１は、角膜反射を選択する処理の処理手順を示すフローチャートである。
Next, processing in which the corneal
図１１に示すように、角膜反射検出装置１００は、追跡情報記憶部１９０から追跡情報を取得し（ステップＳ２０１）、タッチ情報記憶部１３０からタッチ情報を取得する（ステップＳ２０２）。
As illustrated in FIG. 11, the corneal
角膜反射検出装置１００は、追跡情報とタッチ情報とを基にして、タッチ時間帯と、各反射候補出現時間帯とを比較する（ステップＳ２０３）。角膜反射検出装置１００は、タッチ中に消滅する反射領域候補を選択する（ステップＳ２０４）。
The corneal
次に、本実施例に係る角膜反射検出装置１００の効果について説明する。本実施例に係る角膜反射検出装置１００は、画像データに含まれる利用者の目の領域から、反射領域候補を検出すると共に、タッチパネル２０に対するタッチ操作を検出する。角膜反射検出装置１００は、反射領域候補を検出した時間と、タッチ操作を検出した時間とを基にして、各反射領域候補から、赤外線による角膜反射を選択する。このため、角膜反射検出装置１００によれば、利用者に不快な印象を与えることなく、角膜反射を精度良く判定することができる。
Next, the effect of the corneal
なお、図１に示した各記憶部１３０、１４５、１７０、１９０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子に対応する。または、各記憶部１３０、１４５、１７０、１９０は、ハードディスク、光ディスクなどの記憶装置に対応する。
Note that each of the
図１に示した各処理部１１０、１２０、１４０、１５０、１６０、１８０、２００は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、各処理部は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
The
さて、これまで本発明の実施例について説明したが、本発明はその他の異なる形態にて実施されてよいものである。そこで、以下では、他の実施例を説明する。 Although the embodiments of the present invention have been described so far, the present invention may be implemented in other different forms. Therefore, other embodiments will be described below.
（１）他の装置への適用例
図１に示した角膜反射検出装置１００は、タッチ時間帯と、反射候補出現時間帯とを比較して、角膜反射を選択していたがこれに限定されるものではない。例えば、角膜反射検出装置１００は、利用者が所定のジェスチャを行って所定の命令を入力可能な装置にも適用することができる。この場合には、角膜反射検出装置１００は、画像データを解析して、利用者の人体の一部が予め指定された指定領域に入ったことを検出する。利用者の人体の一部は、利用者の手などに対応する。例えば、角膜反射検出装置１００は、画像データに対して、パターンマッチングなどにより人体の一部を検出する。
(1) Application Example to Other Apparatus The corneal
角膜反射検出装置１００は、指定領域に人体の一部が入った時間帯と、反射候補出現時間帯とを比較して、角膜反射を選択する。例えば、利用者がジェスチャを行っている最中は、赤外線が利用者の目に届かないと考えられるため、指定領域に人体の一部が入っている間に消える反射領域候補を選択する。
The corneal
（２）タブレット端末が逆さまに利用された場合の例
例えば、上記実施例の角膜反射検出装置１００を搭載したタブレット端末が逆さまの状態で利用者に操作される場合も想定される。このような場合には、利用者がタッチパネル２０を操作する時間帯に、利用者の手によって近赤外線光源１５が遮断されることはない。反対に、利用者が操作している際に、消滅する角膜反射が存在すれば、それは、近赤外線光源１５以外の光源により発生した角膜反射であるといえる。
(2) Example in which tablet terminal is used upside down For example, a case where a tablet terminal equipped with the corneal
このため、図１の選択部２００は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作が行われた場合に照射の角膜への到達が阻害されるであろうとする領域を関連付けて記録した阻害領域データベースを利用する。阻害領域データベースは、角膜反射検出装置１００が有しているものとする。また、反射情報検出部１６０は、タッチパネル２０が操作された時間と操作された座標と、その領域が操作された際のタッチパネル２０の向きを対応付けて反射情報記憶部１７０に情報を登録するものとする。
For this reason, the
選択部２００は、阻害領域データベースと、反射情報記憶部１７０を参照して、角膜反射を選択する。また、選択部２００は、加速度センサを利用して、タッチパネルの向きを判定する。具体的に、選択部２００は、反射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出された角膜反射以外の角膜反射を、照射に対応する角膜反射として選択して選択する。このような処理を選択部２００が実行することで、例えば、タブレット端末が逆さまに利用される場合でも、正確に角膜反射を検出することができる。
The
（３）システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
(3) System Configuration Of the processes described in this embodiment, all or part of the processes described as being performed automatically can be performed manually, or can be performed manually. All or part of the processing described as being performed can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.
また、実施例に示した角膜反射検出装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
Each component of the corneal
図１２は、角膜反射検出プログラムを実行するコンピュータの一例を示す図である。図１２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、タッチパネル２０２を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０３と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０４とを有する。また、コンピュータ２００は、カメラ２０５と近赤外線光源２０６を有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、ハードディスク装置２０８を有する。そして、各装置２０１〜２０８は、バス２０９に接続される。
FIG. 12 is a diagram illustrating an example of a computer that executes a corneal reflection detection program. As illustrated in FIG. 12, the
ハードディスク装置２０８は、タッチ検出プログラム２０８ａ、画像取得プログラム２０８ｂ、目領域検出プログラム２０８ｃを記憶する。また、ハードディスク装置２０８は、角膜反射検出プログラム２０８ｄ、追跡処理プログラム２０８ｅ、選択プログラム２０８ｆを記憶する。ＣＰＵ２０１は、各プログラム２０８ａ〜２０８ｆを読み出して、ＲＡＭ２０７に展開する。
The
タッチ検出プログラム２０８ａは、タッチ検出プロセス２０７ａとして機能する。画像取得プログラム２０８ｂは、画像取得プロセス２０７ｂとして機能する。目領域検出プログラム２０８ｃは、目領域検出プロセス２０７ｃとして機能する。角膜反射検出プログラム２０８ｄは、角膜反射検出プロセス２０７ｄとして機能する。追跡処理プログラム２０８ｅは、追跡処理プロセス２０７ｅとして機能する。選択プログラム２０８ｆは、選択プロセス２０７ｆとして機能する。
The touch detection program 208a functions as a
例えば、タッチ検出プロセス２０７ａは、タッチ検出部１２０に対応する。画像取得プロセス２０７ｂは、画像取得部１４０に対応する。目領域検出プロセス２０７ｃは、目領域検出部１５０に対応する。角膜反射検出プロセス２０７ｄは、角膜反射検出部１６０に対応する。追跡処理プロセス２０７ｅは、追跡処理部１８０に対応する。選択プロセス２０７ｆは、選択部２００に対応する。
For example, the
なお、各プログラム２０８ａ〜２０８ｆについては、必ずしも最初からハードディスク装置２０８に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０８ａ〜２０８ｆを読み出して実行するようにしてもよい。
Note that the programs 208a to 208f are not necessarily stored in the
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following supplementary notes are further disclosed with respect to the embodiments including the above examples.
（付記１）検出をした角膜反射と該角膜反射を検出した時間とが記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを格納した格納部と、
前記反射情報データベースと前記タッチ情報データベースを参照して、角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として選択する選択部と、
を有することを特徴とする角膜反射検出装置。
(Supplementary note 1) A storage unit storing a reflection information database in which the detected corneal reflection and the time at which the corneal reflection is detected are recorded, and a touch information database in which the time when the touch panel is operated is stored;
With reference to the reflection information database and the touch information database, a selection unit that selects a corneal reflection other than a corneal reflection detected at a time when the touch panel is operated, as a corneal reflection corresponding to irradiation, out of the corneal reflections; ,
A corneal reflection detection apparatus comprising:
（付記２）前記格納部は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作がされた場合に照射の角膜への到達が阻害されるであろうとする領域とを関連付けて記録された阻害領域データベースを併せて格納し、
前記タッチ情報データベースは、タッチパネルが操作された時間と操作をされた領域とその領域が操作をされた際のタッチパネルの向きが記録されており、
前記選択部は、前記反射情報データベースと前記タッチ情報データベースと前記阻害領域データベースを参照して、角膜反射のうち、照射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出がされた角膜反射以外の角膜反射を照射に対応する角膜反射として選択する
ことを特徴とする付記１に記載の角膜反射検出装置。
(Additional remark 2) The said storage part was linked | related with the direction of a touch panel, and the area | region which will reach | attain the area | region where irradiation to a cornea will be inhibited when operation with respect to a touch panel is performed in the applicable direction, and was recorded. Store the database together,
In the touch information database, the time when the touch panel is operated, the operated area, and the direction of the touch panel when the area is operated are recorded,
The selection unit refers to the reflection information database, the touch information database, and the inhibition region database, and performs an operation of the touch panel on a region of the corneal reflection in which the arrival of irradiation to the cornea is inhibited. The corneal reflection detection apparatus according to appendix 1, wherein a corneal reflection other than a corneal reflection detected at a predetermined time is selected as a corneal reflection corresponding to irradiation.
（付記３）コンピュータが、
記憶装置に記憶された、検出をした角膜反射と該角膜反射を検出した時間とが記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを参照し、
角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として選択する
各処理を実行することを特徴とする角膜反射検出方法。
(Supplementary note 3)
With reference to the reflection information database stored in the storage device, in which the detected corneal reflection and the time when the corneal reflection is detected are recorded, and the touch information database in which the touch panel operation time is recorded,
A corneal reflection detection method, comprising: selecting a corneal reflection other than a corneal reflection detected at a time when the touch panel is operated among corneal reflections as a corneal reflection corresponding to irradiation.
（付記４）前記記憶装置は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作がされた場合に照射の角膜への到達が阻害されるであろうとする領域とを関連付けて記録された阻害領域データベースを併せて格納し、前記タッチ情報データベースは、タッチパネルが操作された時間と操作をされた領域とその領域が操作をされた際のタッチパネルの向きが記録されており、
前記選択する処理は、前記反射情報データベースと前記タッチ情報データベースと前記阻害領域データベースを参照して、角膜反射のうち、照射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出がされた角膜反射以外の角膜反射を照射に対応する角膜反射として選択する
ことを特徴とする付記３に記載の角膜反射検出方法。
(Additional remark 4) The said memory | storage device recorded the inhibition area which linked | related the direction of a touch panel, and the area | region where the arrival to the cornea of irradiation would be inhibited when operation with respect to a touch panel was performed in the applicable direction A database is also stored, and the touch information database records the time when the touch panel is operated, the operated area, and the direction of the touch panel when the area is operated,
The selection process refers to the reflection information database, the touch information database, and the inhibition region database, and the operation of the touch panel is performed in a region of the corneal reflection in which the arrival of irradiation to the cornea is inhibited. 4. The corneal reflection detection method according to appendix 3, wherein a corneal reflection other than a corneal reflection detected at a performed time is selected as a corneal reflection corresponding to irradiation.
（付記５）コンピュータに、
記憶装置に記憶された、検出をした角膜反射と該角膜反射を検出した時間とが記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを参照し、
角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として選択する
各処理を実行させることを特徴とする角膜反射検出プログラム。
(Appendix 5)
With reference to the reflection information database stored in the storage device, in which the detected corneal reflection and the time when the corneal reflection is detected are recorded, and the touch information database in which the touch panel operation time is recorded,
A corneal reflection detection program for executing each process of selecting a corneal reflection other than a corneal reflection detected at a time when the touch panel is operated among corneal reflections as a corneal reflection corresponding to irradiation.
（付記６）前記記憶装置は、タッチパネルの向きと、該当する向きでタッチパネルに対する操作がされた場合に照射の角膜への到達が阻害されるであろうとする領域とを関連付けて記録された阻害領域データベースを併せて格納し、前記タッチ情報データベースは、タッチパネルが操作された時間と操作をされた領域とその領域が操作をされた際のタッチパネルの向きが記録されており、
前記選択する処理は、前記反射情報データベースと前記タッチ情報データベースと前記阻害領域データベースを参照して、角膜反射のうち、照射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出がされた角膜反射以外の角膜反射を照射に対応する角膜反射として選択する
ことを特徴とする付記５に記載の角膜反射検出プログラム。
(Additional remark 6) The said memory | storage device linked | related the area | region where arrival to the cornea of irradiation would be inhibited when operation with respect to a touch panel was performed in the applicable direction, and the inhibition area was recorded. A database is also stored, and the touch information database records the time when the touch panel is operated, the operated area, and the direction of the touch panel when the area is operated,
The selection process refers to the reflection information database, the touch information database, and the inhibition region database, and the operation of the touch panel is performed in a region of the corneal reflection in which the arrival of irradiation to the cornea is inhibited. 6. The corneal reflection detection program according to appendix 5, wherein a corneal reflection other than a corneal reflection detected at a performed time is selected as a corneal reflection corresponding to irradiation.
１０ カメラ
１５ 近赤外線光源
２０ タッチパネル
１００ 角膜反射検出装置
DESCRIPTION OF SYMBOLS 10
Claims (4)
前記反射情報データベースと前記タッチ情報データベースを参照して、角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として特定し、特定した角膜反射に対応付けられたデータを選択する選択部と、
を有することを特徴とする角膜反射検出装置。 A storage unit storing a reflection information database in which the coordinates of the detected corneal reflection and the time at which the corneal reflection is detected are recorded in association with each other, and a touch information database in which the touch panel operation time is recorded;
Referring to the reflection information database and the touch information database, the corneal reflection other than the corneal reflection detected at the time when the touch panel is operated is identified as the corneal reflection corresponding to the irradiation . A selector for selecting data associated with corneal reflection ;
A corneal reflection detection apparatus comprising:
前記タッチ情報データベースは、タッチパネルが操作された時間と操作をされた領域とその領域が操作をされた際のタッチパネルの向きが記録されており、
前記選択部は、前記反射情報データベースと前記タッチ情報データベースと前記阻害領域データベースを参照して、角膜反射のうち、照射の角膜への到達が阻害されるであろうとする領域にタッチパネルの操作が行われた時間に検出がされた角膜反射以外の角膜反射を照射に対応する角膜反射として特定し、特定した角膜反射に対応付けられたデータを選択する
ことを特徴とする請求項１に記載の角膜反射検出装置。 The storage unit is combined with an inhibition area database recorded in association with the direction of the touch panel and the area where irradiation to the cornea is likely to be inhibited when the touch panel is operated in the corresponding direction. Store and
In the touch information database, the time when the touch panel is operated, the operated area, and the direction of the touch panel when the area is operated are recorded,
The selection unit refers to the reflection information database, the touch information database, and the inhibition region database, and performs an operation of the touch panel on a region of the corneal reflection in which the arrival of irradiation to the cornea is inhibited. The corneal reflection other than the corneal reflection detected at a specified time is specified as a corneal reflection corresponding to irradiation, and data associated with the specified corneal reflection is selected. Reflection detection device.
記憶装置に記憶された、検出をした角膜反射の座標と該角膜反射を検出した時間とが対応付けて記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを参照し、
角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として特定し、特定した角膜反射に対応付けられたデータを選択する
各処理を実行することを特徴とする角膜反射検出方法。 Computer
A reflection information database stored in the storage device in which coordinates of the detected corneal reflection and a time at which the corneal reflection is detected are recorded in association with each other, and a touch information database in which the time at which the touch panel is operated is recorded. Browse
Among the corneal reflections, the corneal reflections other than the corneal reflection detected at the time when the touch panel is operated are specified as the corneal reflection corresponding to the irradiation, and each process for selecting the data associated with the specified corneal reflection is performed. A method for detecting corneal reflection characterized by comprising:
記憶装置に記憶された、検出をした角膜反射の座標と該角膜反射を検出した時間とが対応付けて記録された反射情報データベースと、タッチパネルが操作された時間が記録されたタッチ情報データベースとを参照し、
角膜反射のうち、タッチパネルが操作された時間に検出がされた角膜反射以外の角膜反射を、照射に対応する角膜反射として特定し、特定した角膜反射に対応付けられたデータを選択する
各処理を実行させることを特徴とする角膜反射検出プログラム。 On the computer,
A reflection information database stored in the storage device in which coordinates of the detected corneal reflection and a time at which the corneal reflection is detected are recorded in association with each other, and a touch information database in which the time at which the touch panel is operated is recorded. Browse
Among the corneal reflections, the corneal reflections other than the corneal reflection detected at the time when the touch panel is operated are specified as the corneal reflection corresponding to the irradiation, and each process for selecting the data associated with the specified corneal reflection is performed. A corneal reflection detection program that is executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012062655A JP5957996B2 (en) | 2012-03-19 | 2012-03-19 | Corneal reflection detection apparatus, corneal reflection detection program, and corneal reflection detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012062655A JP5957996B2 (en) | 2012-03-19 | 2012-03-19 | Corneal reflection detection apparatus, corneal reflection detection program, and corneal reflection detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013196364A JP2013196364A (en) | 2013-09-30 |
| JP5957996B2 true JP5957996B2 (en) | 2016-07-27 |
Family
ID=49395228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012062655A Expired - Fee Related JP5957996B2 (en) | 2012-03-19 | 2012-03-19 | Corneal reflection detection apparatus, corneal reflection detection program, and corneal reflection detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5957996B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103908066A (en) * | 2014-04-03 | 2014-07-09 | 安徽海聚信息科技有限责任公司 | Intelligent desk with sitting posture correcting function and correcting method implemented by intelligent desk |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274269A (en) * | 1993-03-24 | 1994-09-30 | Nissan Motor Co Ltd | Visual line input device |
| JP2007271773A (en) * | 2006-03-30 | 2007-10-18 | Fujitsu Hitachi Plasma Display Ltd | Plasma display device |
-
2012
- 2012-03-19 JP JP2012062655A patent/JP5957996B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013196364A (en) | 2013-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6592000B2 (en) | Dealing with glare in eye tracking | |
| TWI734024B (en) | Direction determination system and direction determination method | |
| JP6037901B2 (en) | Operation detection device, operation detection method, and display control data generation method | |
| US20130088422A1 (en) | Input apparatus and input recognition method | |
| JP5776323B2 (en) | Corneal reflection determination program, corneal reflection determination device, and corneal reflection determination method | |
| TWI617948B (en) | Module, method and computer readable medium for eye-tracking correction | |
| JP4733600B2 (en) | Operation detection device and its program | |
| JP5800175B2 (en) | Image processing apparatus, image processing method, program, and electronic apparatus | |
| US20130127705A1 (en) | Apparatus for touching projection of 3d images on infrared screen using single-infrared camera | |
| US9848175B2 (en) | Projection method and electronic device | |
| CN102196220A (en) | Information processing apparatus, information processing method and program | |
| CN110945520A (en) | Biometric authentication system | |
| US9690430B2 (en) | Touch detection apparatus, touch detection method and recording medium | |
| US20170116736A1 (en) | Line of sight detection system and method | |
| JP2013215549A (en) | Image processing device, image processing program, and image processing method | |
| US11663731B2 (en) | Determining method, information processing apparatus, and recording medium | |
| JP2018067294A (en) | Learning data creation support method, learning data creation support apparatus, and program | |
| CN110297545A (en) | Gestural control method, gesture control device and system and storage medium | |
| US9412013B2 (en) | Method and apparatus for recognizing hand motion | |
| JP5957996B2 (en) | Corneal reflection detection apparatus, corneal reflection detection program, and corneal reflection detection method | |
| JP2017199148A (en) | Visual line detection device, visual line detection method and visual line detection-purpose computer program | |
| JP6307576B2 (en) | Video display device and projector | |
| JP4972013B2 (en) | Information presenting apparatus, information presenting method, information presenting program, and recording medium recording the program | |
| US10943109B2 (en) | Electronic apparatus, method for controlling thereof and the computer readable recording medium | |
| KR101673694B1 (en) | Gaze tracking apparatus and method for detecting glint thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151013 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5957996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |