JP2017162420A - Personal authentication method and personal authentication system - Google Patents
Personal authentication method and personal authentication system Download PDFInfo
- Publication number
- JP2017162420A JP2017162420A JP2016049053A JP2016049053A JP2017162420A JP 2017162420 A JP2017162420 A JP 2017162420A JP 2016049053 A JP2016049053 A JP 2016049053A JP 2016049053 A JP2016049053 A JP 2016049053A JP 2017162420 A JP2017162420 A JP 2017162420A
- Authority
- JP
- Japan
- Prior art keywords
- display panel
- optical axis
- eyeball
- identification information
- user identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000003287 optical effect Effects 0.000 claims abstract description 157
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 156
- 238000005259 measurement Methods 0.000 claims description 71
- 230000000007 visual effect Effects 0.000 claims description 44
- 238000012795 verification Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000004438 eyesight Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 17
- 210000001508 eye Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000002763 pyramidal cell Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、個人認証方法および個人認証システムに関するものである。 The present invention relates to a personal authentication method and a personal authentication system.
一般に、デジタル機器を利用する際の個人認証として、例えば４桁のパスコード（暗証番号）を打鍵し、予め機械に記憶させた数字列と照合するというものが用いられている。
しかしながら、パスコードを見破る方法として多用されるのが、実は最もシンプルなショルダーハックといわれるものである。これは、肩越しに対象者の操作等を見て、情報を盗み出すものである。
近年、携帯端末の急速な普及に伴い、携帯端末のロック画面の解除等に必要なパスコードを指の動きを小型カメラで盗撮されるなどの様々な方法で、パスコードが盗み出される危険性が高まっている。パスコードは、一旦盗まれれば、同様に打鍵するだけで容易になりすますことができる。今後、４Ｋ、８Ｋなどの超高解像度の監視カメラが普及すれば、こういった危険性は飛躍的に高まると考えられる。
また、ショルダーハック等による盗み見を防止するだけではなく、なりすましを防止できれば、さらにセキュリティを向上させることができる。
In general, as personal authentication when using a digital device, for example, a four-digit passcode (password) is keyed and collated with a number string stored in advance in a machine.
However, what is often used as a method of finding out the passcode is actually the simplest shoulder hack. This steals information by looking at the operation of the subject over the shoulder.
In recent years, with the rapid spread of mobile terminals, there is a risk that passcodes may be stolen by various methods such as voyeuring the movement of fingers with a small camera for unlocking the lock screen of mobile terminals. It is growing. Once a passcode has been stolen, it can be easily spoofed by simply typing the same key. In the future, if surveillance cameras with ultra-high resolution such as 4K and 8K will become widespread, it is considered that such danger will increase dramatically.
Moreover, if not only spoofing by a shoulder hack etc. but also spoofing can be prevented, security can be further improved.
そこで、指による打鍵ではなく、より盗み見されにくく、かつ、なりすましが防止しやすい指紋認証や視線による認証等が考えられるが、指紋認証は、寝ている間にセンサにタッチさせられるなどすると、本人の意図に反して認証される可能性がある。これに対して、視線による認証であれば、本人が意図せず入力することがなく安全である。
視線計測で問題となるのは、外部から計測される眼球の光軸と、実際にその人が見ている視線（視軸）の間に、個人毎に異なる数度レベルのズレ角があることである。そのため、正確な視線の計測には、予め指示した点を注視させ、その人のズレを計測するというプロセス（キャリブレーション）が必要である。なお、このズレは一度計測すればほとんど変化しないとされている。
Therefore, it is possible to use fingerprint authentication or gaze-based authentication that is more difficult to see, and that can prevent spoofing, rather than keying with a finger. Fingerprint authentication can be performed by touching the sensor while sleeping. It may be authenticated against the intention of On the other hand, if the authentication is based on the line of sight, the person himself / herself does not intend to input and it is safe.
The problem with eye gaze measurement is that there is a deviation angle of several degrees that varies from person to person between the optical axis of the eyeball measured from the outside and the gaze actually seen by the person (visual axis). It is. For this reason, accurate gaze measurement requires a process (calibration) in which a point designated in advance is watched and the person's deviation is measured. It is said that this deviation hardly changes once measured.
一方、不正な認証を防止する認証装置として、画像に撮像されているユーザの視線角度を特定し、視線角度と視線方向との対応関係を示す視線方向特定情報を使用しつつ、視線方向を特定して、その特定結果から個人の認証を行う認証装置が知られている（特許文献１を参照）。
しかしながら、特許文献１に開示された認証方法は、視線方向特定情報そのもので個人を特定するものではない。また、視線角度が±２０°、±１０°と大きく、認証許可の方向を知っている他人がなりすますことが可能であるという問題がある。
On the other hand, as an authentication device that prevents unauthorized authentication, the line-of-sight direction of the user captured in the image is specified, and the line-of-sight direction information is used to indicate the correspondence between the line-of-sight angle and the line-of-sight direction. And the authentication apparatus which authenticates an individual from the specific result is known (refer patent document 1).
However, the authentication method disclosed in Patent Document 1 does not specify an individual with the line-of-sight direction specifying information itself. In addition, the line-of-sight angle is as large as ± 20 ° and ± 10 °, and there is a problem that it is possible for another person who knows the direction of authentication permission to impersonate.
上記状況に鑑みて、本発明は、視線を用いて多数の対象者の中から個人認証が可能であり、パスコードの盗まれにくさと成りすましにくさを高め、パスコード認証の安全性を向上させた個人認証方法及び個人認証システムを提供することを目的とする。 In view of the above situation, the present invention is capable of personal authentication from a large number of subjects using a line of sight, increasing the difficulty of impersonating the passcode and improving the safety of passcode authentication. An object is to provide a personal authentication method and a personal authentication system.
上記課題を解決すべく、本発明の個人認証方法は、視線でパスコードを入力する個人認証方法において、ユーザ識別情報を入力し、表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、表示パネルの空間的な３次元座標と、眼球の光軸の向きと、入力されたユーザ識別情報に関連付けて予め登録された眼球の光軸と視軸（視線）のズレ角（κ角）から、パスコードを算定して、登録されたパスコードと照合して認証する。 In order to solve the above-mentioned problems, the personal authentication method of the present invention is a personal authentication method in which a passcode is input with a line of sight. When the user identification information is input and the input key displayed on the display panel is watched, the eyeball The direction of the optical axis is measured by the camera, the spatial three-dimensional coordinates of the display panel, the direction of the optical axis of the eyeball, and the optical axis and visual axis of the eyeball registered in advance in association with the input user identification information ( The pass code is calculated from the deviation angle (kappa angle) of the line of sight, and is verified by comparing with the registered pass code.
本発明の個人認証方法によれば、眼球の光軸と視軸とのズレ角を用いてパスコード認証を行うことにより、パスコードの盗まれにくさと成りすましにくさを高め、パスコード認証の安全性を向上させることができる。つまり、指でパスコードを入力する場合と異なり、眼球の光軸と視軸とのズレ角（κ角）を個人認証に用いるため、ショルダーハックによりパスコードを盗まれる危険性が低くなり、また、視線情報は個人差があるため、なりすましの防止にも効果的である。 According to the personal authentication method of the present invention, the passcode authentication is performed using the angle of deviation between the optical axis of the eyeball and the visual axis, thereby increasing the difficulty of passing the passcode and impersonating the passcode. Safety can be improved. In other words, unlike the case where a passcode is input with a finger, the angle of deviation (κ angle) between the optical axis of the eyeball and the visual axis is used for personal authentication, so the risk of the passcode being stolen by a shoulder hack is reduced. Since the line-of-sight information varies among individuals, it is also effective in preventing impersonation.
ここで、眼球の光軸と視軸とのズレ角（κ角）は、垂直方向（上下方向）と水平方向（左右方向）の２次元の値をとる特徴量である。予め、眼球の光軸と視軸とのズレ角を計測する時は、公知の視線計測手法や装置を１回だけ利用し、キャリブレーションすることにより、ズレ角を取得する。ズレ角を計測する顔の向きも個人情報として記録しておくことにより、より正確な個人情報として利用することができる。ここで、顔の向きとは、入力キーを注視する際の顔の姿勢であり、例えば、左肩の方に１０°傾いているとか、右肩の方に１５°傾いているなど、立体角であるズレ角（κ角）に影響を与えるような向きをいう。表示パネルの前に立って、顔を右に向けてパネル上の入力キーを見ても、顔が右に向いた分だけ、眼球も回転するので、ズレ角（κ角）は変わらないが、首を中心として右肩の方に傾ける（回転する）と、その分だけズレ角（κ角）も回転してしまう。このように、ズレ角（κ角）は、正面にある表示パネルの入力キーを注視する際、常に姿勢が同じであれば、或は、単に顔を左あるいは右に向けて正面を横目で注視するのであれば、基本的には計測角度に依らないが、顔を右肩あるいは左肩の方に傾けて入力キーを注視する際は、顔の向きの計測角度がズレ角（κ角）の補正角度として重要になる。そのため、予めズレ角を計測する時には、ズレ角を計測する向きも計測して正確なズレ角を取得することが好ましい。すなわち、正確な個人情報として利用するため、眼球の光軸の向きを計測する際には、顔の向きや傾きといった計測角度を計測する。計測角度もズレ角と同様に２次元の値をとる。 Here, the angle of deviation (κ angle) between the optical axis of the eyeball and the visual axis is a feature value that takes a two-dimensional value in the vertical direction (up and down direction) and the horizontal direction (left and right direction). When measuring the deviation angle between the optical axis of the eyeball and the visual axis in advance, the deviation angle is acquired by using a known gaze measurement method or apparatus only once and performing calibration. By recording the orientation of the face for measuring the deviation angle as personal information, it can be used as more accurate personal information. Here, the direction of the face is the posture of the face when gazing at the input key, for example, a solid angle such as tilting 10 ° toward the left shoulder or tilting 15 ° toward the right shoulder. An orientation that affects a certain misalignment angle (κ angle). Even if you stand in front of the display panel and turn the face to the right and look at the input keys on the panel, the eyeball will also rotate as much as the face turns to the right, so the deviation angle (κ angle) will not change, If the head is tilted (rotated) around the neck toward the right shoulder, the misalignment angle (κ angle) will also rotate accordingly. As described above, when the gaze angle (kappa angle) is always in the same posture when gazing at the input keys on the front display panel, the gaze angle (kappa angle) is simply gaze at the front with a horizontal eye with the face facing left or right. If you do, basically it does not depend on the measurement angle, but when you tilt the face to the right shoulder or left shoulder and gaze at the input key, the measurement angle of the face direction is corrected for the deviation angle (κ angle) It becomes important as an angle. Therefore, when measuring the deviation angle in advance, it is preferable to measure the direction in which the deviation angle is measured to obtain an accurate deviation angle. That is, in order to use it as accurate personal information, when measuring the direction of the optical axis of the eyeball, measurement angles such as the direction and inclination of the face are measured. The measurement angle also takes a two-dimensional value like the deviation angle.
また、パスコードとは、数字や英数字の文字に限らず、その他の文字、記号、図形を含むコードであり、ユーザ本人あるいは個人認証サービスの提供者が決定する。パスコードは、例えば、３桁または４桁の数字であってもよいが、特定部分（特徴点）を注視するようなもの、ジェスチャー的なもの、これら以外でも構わない。安全性のレベルの違いはあるが、１桁の数字でも構わない。 The pass code is not limited to numerals and alphanumeric characters, and is a code including other characters, symbols, and figures, and is determined by the user himself or the provider of the personal authentication service. The passcode may be, for example, a three-digit or four-digit number, but may be something that looks at a specific part (feature point), a gesture-like one, or other. Although there is a difference in the level of safety, a single digit number may be used.
入力キーが注視された際に、眼球の光軸の向きを計測するのに、カメラ計測を行う。例えば、カメラ間の位置関係が固定された撮像角度が異なる２台のカメラで顔を撮影し、ワールド座標系（グローバル座標系）を用いて、眼球の光軸の向きを計測する。眼球の光軸の向きの計測方法は、公知の計測手法を用いればよい。入力キーが表示された表示パネルの形状とカメラとの位置関係がわかれば、表示パネルのワールド座標（空間的な３次元座標）がわかる。さらに、表示パネルの入力キー表示画面内のピクセル情報がわかれば、個々の入力キーのワールド座標がわかる。ここで、ピクセル情報とは、特定の入力キーがどのピクセルに表示されているのかという情報である。
ワールド座標系を用いて、眼球の光軸の向きを取得する。眼球の光軸の向きは、瞳孔中心座標と、眼球の光軸と表示パネル表面との交点座標とで表すことができる。そして、表示パネルのピクセル情報と、眼球の光軸の向きと、入力されたユーザ識別情報に関連付けされたズレ角とから、表示パネル上の注視点、すなわち、注視されたパスコードを算定することができる。
When the input key is watched, camera measurement is performed to measure the direction of the optical axis of the eyeball. For example, the face is photographed by two cameras having different imaging angles in which the positional relationship between the cameras is fixed, and the direction of the optical axis of the eyeball is measured using a world coordinate system (global coordinate system). As a method for measuring the direction of the optical axis of the eyeball, a known measurement method may be used. If the positional relationship between the shape of the display panel on which the input key is displayed and the camera is known, the world coordinates (spatial three-dimensional coordinates) of the display panel can be known. Furthermore, if the pixel information in the input key display screen of the display panel is known, the world coordinates of each input key can be known. Here, the pixel information is information indicating which pixel a specific input key is displayed on.
The direction of the optical axis of the eyeball is acquired using the world coordinate system. The direction of the optical axis of the eyeball can be represented by the pupil center coordinates and the intersection coordinates of the optical axis of the eyeball and the display panel surface. Then, from the pixel information of the display panel, the direction of the optical axis of the eyeball, and the misalignment angle associated with the input user identification information, the gaze point on the display panel, that is, the gaze pass code is calculated. Can do.
本発明の個人認証方法において、予め、ユーザ毎に、眼球の光軸と視軸のズレ角を計測して、パスコードおよびズレ角を、ユーザ識別情報に関連付けして登録した後に、個人認証を行う。
或は、本発明の個人認証方法において、予め、ユーザ毎に、パスコードを設定し、表示パネルに表示されたパスコードに対応する入力キーを注視する際の眼球の光軸の向きをカメラ計測し、入力キーの領域からのズレ角を、眼球の光軸と視軸のズレ角として、ユーザ識別情報に関連付けして登録した後に、個人認証を行う。
In the personal authentication method of the present invention, for each user, after measuring the deviation angle between the optical axis of the eyeball and the visual axis and registering the passcode and the deviation angle in association with the user identification information, the personal authentication is performed. Do.
Alternatively, in the personal authentication method of the present invention, a passcode is set in advance for each user, and the direction of the optical axis of the eyeball when gazing at the input key corresponding to the passcode displayed on the display panel is measured by the camera. Then, after the misalignment angle from the input key area is registered in association with the user identification information as the misalignment angle between the optical axis of the eyeball and the visual axis, personal authentication is performed.
具体的に、本発明の個人認証方法は、以下の登録ステップと認証ステップから成る。
まず、登録ステップは、下記１）〜４）から構成される。
１）ユーザ毎にユーザ識別情報を設定するユーザ識別情報設定ステップ
２）ユーザ毎にパスコードを設定するパスコード設定ステップ
３）ユーザ毎に、眼球の光軸と視軸とのズレ角を計測するズレ角計測ステップ
４）パスコードとズレ角を、ユーザ識別情報に関連付けして登録する記憶ステップ
Specifically, the personal authentication method of the present invention includes the following registration step and authentication step.
First, the registration step includes the following 1) to 4).
1) User identification information setting step for setting user identification information for each user 2) Passcode setting step for setting a passcode for each user 3) Measuring a deviation angle between the optical axis of the eyeball and the visual axis for each user Deviation angle measurement step 4) Storage step of registering the passcode and the deviation angle in association with the user identification information
次に、認証ステップは、下記５）〜１１）から構成される。
５）ユーザ識別情報を入力するユーザ識別情報入力ステップ
６）入力キーを表示パネルに表示する入力キー表示ステップ
７）入力キーが注視された状態を確定する注視状態確定ステップ
８）入力キーが注視された際の眼球の光軸の向きをカメラ計測する光軸計測ステップ
９）計測された眼球の光軸の向きと表示パネルの空間的な３次元座標から眼球の光軸と表示パネルの交点座標を算出する座標算出ステップ
１０）表示パネルのピクセル情報と、上記の交点座標と、入力されたユーザ識別情報に関連付けされたズレ角とから、注視されたパスコードを算定するパスコード算定ステップ
１１）算定されたパスコードと予め設定したパスコードとを照合するパスコード照合ステップ
Next, the authentication step includes the following 5) to 11).
5) User identification information input step for inputting user identification information 6) Input key display step for displaying input keys on the display panel 7) Gaze state determination step for determining the state in which the input key is watched 8) The input key is watched Optical axis measurement step 9 for measuring the direction of the optical axis of the eyeball at the time of shooting. The intersection of the optical axis of the eyeball and the display panel is determined from the measured direction of the optical axis of the eyeball and the spatial three-dimensional coordinates of the display panel. Coordinate calculation step for calculating 10) Passcode calculation step for calculating a watched passcode from the pixel information of the display panel, the above-mentioned intersection coordinates, and the shift angle associated with the input user identification information 11) Calculation Passcode verification step for verifying passcodes and preset passcodes
本発明の個人認証方法において、入力キーが注視された際の顔の向きを計測することにより、眼球の光軸から、登録されたズレ角を用いて、視軸を算出することがより好ましい。顔の向きを計測することにより、眼球の視軸を精度良く計算できる。 In the personal authentication method of the present invention, it is more preferable to calculate the visual axis using the registered deviation angle from the optical axis of the eyeball by measuring the orientation of the face when the input key is watched. By measuring the orientation of the face, the visual axis of the eyeball can be calculated with high accuracy.
本発明の個人認証方法において、入力キーが表示パネルに表示される際、ユーザと表示パネルの距離に応じて、入力キーのサイズ又は形状を変化させることが好ましい。また、入力キーの視角サイズは、カメラ計測の誤差の範囲より大きく、ズレ角に関して予め設定されたバラツキの範囲よりも小さいことが好ましい。キーの大きさが、視線計測においてバラツキが生ずる範囲より小さいと、キャリブレーションしていても本人の認証精度が悪くなってしまう、すなわち本人拒否率が高くなる。一方で、キーの大きさが、ズレ角に関して予め設定されたバラツキの範囲を超えると、何らかの方法でパスコードを他人に盗まれた場合、他人がなりすますことが可能になってしまう。そこで、上記範囲に設けられるのである。 In the personal authentication method of the present invention, when the input key is displayed on the display panel, it is preferable to change the size or shape of the input key according to the distance between the user and the display panel. The viewing angle size of the input key is preferably larger than the range of camera measurement errors and smaller than a preset range of variation with respect to the shift angle. If the size of the key is smaller than the range in which the line-of-sight measurement is varied, the authentication accuracy of the person is deteriorated even if calibration is performed, that is, the person rejection rate is increased. On the other hand, if the size of the key exceeds a preset range of variation with respect to the misalignment angle, it becomes possible for another person to impersonate if the passcode is stolen by another method. Therefore, it is provided in the above range.
視線計測における計測値のバラツキは、１〜２°とすることが可能であり、一方、ズレ値のユーザ間のバラツキの範囲は５〜７°であるというため、キーの大きさは、視線情報である立体角が、３〜４°であることを前提に、決定されることが好ましい。これにより、パスコードが盗まれにくく、認証精度が高く、たとえパスコードを盗まれてもなりすましされにくい認証方法が実現できる。 The variation of the measurement value in the line-of-sight measurement can be set to 1 to 2 °. On the other hand, the range of the variation value between the users is 5 to 7 °. It is preferable to be determined on the assumption that the solid angle is 3 to 4 °. Thereby, it is possible to realize an authentication method in which a passcode is difficult to be stolen, authentication accuracy is high, and even if a passcode is stolen, it is difficult to be spoofed.
本発明の個人認証方法において、入力キーの配列の表示は、ランダム配置、前回表示の配置から回転させた配置、前回表示の配置とは異なる配置、前回表示の行列配置の行数と列数の少なくとも何れかを増加させた配置、或は、隣接キーの間隔を変化させた配置で表示パネルに表示することが好ましい。入力キーの配列の表示を変化させることにより、認証の安全性を向上できる。 In the personal authentication method of the present invention, the display of the input key arrangement is a random arrangement, an arrangement rotated from the arrangement of the previous display, an arrangement different from the arrangement of the previous display, the number of rows and columns of the matrix arrangement of the previous display. It is preferable to display on the display panel in an arrangement in which at least one of them is increased or an arrangement in which the interval between adjacent keys is changed. The security of authentication can be improved by changing the display of the input key arrangement.
本発明の個人認証方法において、眼球の光軸と表示パネルの交点座標を算出する際は、注視開始から所定の経過時間における算出された座標分布の中央値の座標を算出することが好ましい。ここで、所定の経過時間とは１．５〜３秒、より好ましくは２秒である。人が何かに注視しているとき、眼球の光軸と視軸とのズレ角（κ角）は一定であるが、固視微動と呼ばれる眼球のブレが生じており、注視点は定まらない。固視微動にはいくつかの種類があるが、ある点を注視している場合でも、１／３°程度、数Ｈｚ／秒程度で眼球が回転している。したがって、ある１フレームにおけるカメラ画像を計測すると、κ角の計測に誤差が発生してしまう。１点を注視させた際の、眼球の光軸と表示パネルの交点座標のバラツキを統計的に調査した結果、長時間計測での平均値との誤差が、固視微動の振幅以下になるのは、注視開始から１．５〜３秒の範囲の何れかの経過時間において算出された座標分布の中央値の座標であることがわかった。 In the personal authentication method of the present invention, when calculating the intersection coordinates of the optical axis of the eyeball and the display panel, it is preferable to calculate the coordinates of the median value of the calculated coordinate distribution at a predetermined elapsed time from the start of gaze. Here, the predetermined elapsed time is 1.5 to 3 seconds, more preferably 2 seconds. When a person is gazing at something, the deviation angle (kappa angle) between the optical axis of the eyeball and the visual axis is constant, but there is blurring of the eyeball called fixation micromotion, and the gaze point is not fixed. . There are several types of microscopic eye movements, and even when a point is being watched, the eyeball rotates at about 1/3 ° and several Hz / second. Therefore, if a camera image in one frame is measured, an error occurs in the measurement of the κ angle. As a result of statistically investigating the variation in the coordinates of the intersection of the eyeball optical axis and the display panel when gazes at one point, the error from the average value in long-term measurement is less than the amplitude of fixation tremor. Is the coordinate of the median of the coordinate distribution calculated at any elapsed time in the range of 1.5 to 3 seconds from the start of gaze.
本発明の個人認証方法において、ユーザ識別情報は、ユーザＩＤ、指紋情報、掌紋情報、虹彩情報の少なくとも何れかである。ユーザの識別には、通常、ユーザＩＤを記憶したＩＤカードを用いるが、虹彩データ、指紋データ、掌紋データ、その他の個人を識別可能なデータと併用してもよい。 In the personal authentication method of the present invention, the user identification information is at least one of a user ID, fingerprint information, palm print information, and iris information. For identification of a user, an ID card storing a user ID is usually used. However, iris data, fingerprint data, palm print data, and other data that can identify an individual may be used in combination.
本発明の個人認証方法における上記の注視状態確定ステップは、具体的には、注視時間検出、確定動作検出、或は、確定意図検出により注視状態を確定する。ここで、注視時間検出とは、例えば表示パネル上のある１点を３秒間注視したことを検出することである。また、確定動作検出とは、ユーザ自身が特定の入力キーを注視したタイミングでボタン操作し、ボタン操作を検出して注視状態を確定させることや、タッチパネルでタッチ操作することや、カメラによる撮像データの画像処理によって、身体の一部の動作を検出して注視状態を確定させることなどである。また、確定意図検出は、例えば、脳波の計測により確定意思を検知することである。 In the gaze state determination step in the personal authentication method of the present invention, specifically, the gaze state is determined by gaze time detection, deterministic operation detection, or definite intention detection. Here, the gaze time detection is, for example, detecting that a certain point on the display panel is gaze for 3 seconds. In addition, the deterministic operation detection is a button operation at the timing when the user gazes at a specific input key, detects the button operation to confirm the gaze state, a touch operation on the touch panel, or imaging data from the camera. In this image processing, the movement of a part of the body is detected to determine the gaze state. Moreover, definite intention detection is detecting a definite intention by the measurement of an electroencephalogram, for example.
次に、本発明の個人認証システムについて説明する。
本発明の個人認証システムは、入力端末と認証サーバがネットワークで接続された認証システムにおいて、入力端末と認証サーバとが下記の技術特徴を有する。
１）認証サーバ
ユーザ毎に計測した眼球の光軸と視軸とのズレ角および設定されたパスコードが、ユーザ識別情報に関連付けして予め記憶されたデータベースを備える。
入力端末から受信したユーザ識別情報と、表示パネルのピクセル情報と、眼球の光軸の向きと表示パネルの空間的な３次元座標と、データベースに記憶されたズレ角とから、注視されたパスコードを算定し、前記データベースに記憶されたパスコードと照合し、照合結果を入力端末に送信する。
２）入力端末
ユーザ識別情報入力手段と、カメラ計測手段と、入力キーを表示する表示パネルとを備える。
ユーザ識別情報入力手段からユーザ識別情報を読み取り、認証サーバに送信する。
表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、計測された眼球の光軸の向きと表示パネルの空間的な３次元座標と、表示パネルのピクセル情報を認証サーバに送信する。
Next, the personal authentication system of the present invention will be described.
The personal authentication system of the present invention is an authentication system in which an input terminal and an authentication server are connected via a network, and the input terminal and the authentication server have the following technical features.
1) Authentication server A database in which a deviation angle between the optical axis of the eyeball and the visual axis measured for each user and a set passcode is stored in advance in association with user identification information is provided.
The passcode watched from the user identification information received from the input terminal, the pixel information of the display panel, the direction of the optical axis of the eyeball, the spatial three-dimensional coordinates of the display panel, and the shift angle stored in the database Is calculated, collated with the passcode stored in the database, and the collation result is transmitted to the input terminal.
2) Input terminal A user identification information input unit, a camera measurement unit, and a display panel for displaying input keys are provided.
The user identification information is read from the user identification information input means and transmitted to the authentication server.
When the input key displayed on the display panel is watched, the direction of the optical axis of the eyeball is measured by the camera, the direction of the optical axis of the measured eyeball, the spatial three-dimensional coordinates of the display panel, and the display panel Send the pixel information to the authentication server.
本発明の個人認証システムにおいて、入力キーが注視された際の顔の向きを計測することにより、眼球の光軸からズレ角を用いて、視軸を算出することが好ましい。また、入力キーが表示パネルに表示される際、ユーザと表示パネルの距離に応じて、入力キーのサイズ又は形状を変化させることが好ましい。また、入力キーの視角サイズは、カメラ計測の誤差の範囲より大きく、ズレ角に関して予め設定されたバラツキの範囲よりも小さいことが好ましい。また、入力キーの配列の表示は、ランダム配置、前回表示の配置から回転させた配置、前回表示の配置とは異なる配置、前回表示の行列配置の行数と列数の少なくとも何れかを増加させた配置、或は、隣接キーの間隔を変化させた配置で表示パネルに表示することが好ましい。また、眼球の光軸と表示パネルの交点座標を算出する際は、注視開始から所定の経過時間における算出された座標分布の中央値の座標を算出することが好ましい。 In the personal authentication system of the present invention, it is preferable to calculate the visual axis using the angle of deviation from the optical axis of the eyeball by measuring the orientation of the face when the input key is watched. Further, when the input key is displayed on the display panel, it is preferable to change the size or shape of the input key according to the distance between the user and the display panel. The viewing angle size of the input key is preferably larger than the range of camera measurement errors and smaller than a preset range of variation with respect to the shift angle. In addition, the display of the input key arrangement may be at least one of a random arrangement, an arrangement rotated from the arrangement of the previous display, an arrangement different from the arrangement of the previous display, and the number of rows and columns of the matrix arrangement of the previous display. It is preferable to display on the display panel in a different arrangement or an arrangement in which the interval between adjacent keys is changed. When calculating the intersection coordinates of the optical axis of the eyeball and the display panel, it is preferable to calculate the coordinates of the median value of the calculated coordinate distribution at a predetermined elapsed time from the start of gaze.
本発明の個人認証システムにおいて、ユーザ識別情報入力手段は、ユーザＩＤが記録されたカードの読み取り装置，指紋情報読み取り装置、掌紋情報読み取り装置、虹彩情報読み取り装置の少なくとも何れかである。
本発明の個人認証システムにおける入力端末には、注視時間検出手段、確定動作検出手段、確定意図検出手段の何れかの注視状態確定手段が更に設けられたことが好ましい。
In the personal authentication system of the present invention, the user identification information input means is at least one of a card reading device, a fingerprint information reading device, a palmprint information reading device, and an iris information reading device on which a user ID is recorded.
It is preferable that the input terminal in the personal authentication system of the present invention is further provided with a gaze state determination unit of any one of a gaze time detection unit, a definite operation detection unit, and a definite intention detection unit.
本発明の認証サーバに搭載されるプログラムは、認証サーバコンピュータを、本発明の個人認証システムにおけるユーザ識別情報受信手段、ズレ角読込み手段、座標受信手段、パスコード算定手段、パスコード照合手段、照合結果送信手段、として機能させるためのプログラムである。
本発明の入力端末に搭載されるプログラムは、入力端末コンピュータを、ユーザ識別情報送信手段、入力キー表示手段、入力キーが注視された状態を検知する手段、光軸計測手段、座標送信手段、照合結果出力手段、として機能させるためのプログラムである。
The program installed in the authentication server according to the present invention includes an authentication server computer, user identification information reception means, deviation angle reading means, coordinate reception means, passcode calculation means, passcode verification means, verification in the personal authentication system of the present invention. This is a program for functioning as result transmission means.
The program installed in the input terminal of the present invention includes an input terminal computer, user identification information transmission means, input key display means, means for detecting a state in which the input key is watched, optical axis measurement means, coordinate transmission means, verification A program for functioning as result output means.
また、他の観点によれば、本発明の個人認証方法は、視線でパスコードを入力する個人認証方法において、ユーザ識別情報を入力し、表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、表示パネルの空間的な３次元座標と、眼球の光軸の向きと、入力されたユーザ識別情報に関連付けて予め登録された眼球の光軸の向きに位置する表示パネル上の入力キーに対応するコードとを用いて認証する。
上記の方法では、眼球の光軸と視軸にズレ角が存在することに着目し、パスコードをシステム側で記憶することなく、眼球の光軸が指すコードをパスワードと擬制して、個人認証する。ユーザは自身で決めたパスコードに対応する入力キーを注視する（システム側ではパスコードはわからない）。眼球の光軸と視軸にズレ角が存在するため、ユーザが注視した入力キーと、眼球の光軸の向きに位置する入力キーが異なることになる。前提として、入力キーの視角サイズは、カメラ計測の誤差の範囲より大きく、眼球の光軸と視軸のズレ角に関して予め設定されたバラツキの範囲よりも小さいことが必要である。
眼球の光軸の向きに位置する入力キーに対応するコードは、システム側で認識可能であるので、これをユーザの決めたパスコードと擬制して、ユーザ識別情報に関連付けて予め登録しておくのである。
認証時は、同様に、入力キーが注視された際の眼球の光軸の向きに位置する入力キーに対応するコードを求め、ユーザ識別情報に関連付け登録されているコード（パスコードと擬制したコード）と照合し、個人認証するのである。
According to another aspect, the personal authentication method of the present invention is a personal authentication method in which a passcode is input with a line of sight when user identification information is input and an input key displayed on the display panel is watched. The direction of the optical axis of the eyeball is measured by the camera, the spatial three-dimensional coordinates of the display panel, the direction of the optical axis of the eyeball, and the direction of the optical axis of the eyeball registered in advance in association with the input user identification information Authentication is performed using a code corresponding to the input key on the display panel located at the location.
In the above method, paying attention to the fact that there is a misalignment angle between the optical axis of the eyeball and the visual axis, the code pointed to by the optical axis of the eyeball is impersonated as a password without storing the passcode on the system side, and personal authentication To do. The user watches the input key corresponding to the passcode determined by the user (the system does not know the passcode). Since there is a misalignment angle between the optical axis of the eyeball and the visual axis, the input key looked at by the user is different from the input key positioned in the direction of the optical axis of the eyeball. As a premise, the viewing angle size of the input key needs to be larger than the range of camera measurement error and smaller than the preset variation range with respect to the deviation angle between the optical axis of the eyeball and the viewing axis.
Since the code corresponding to the input key positioned in the direction of the optical axis of the eyeball can be recognized by the system, it is preliminarily registered in association with the user identification information by imitating it with the passcode determined by the user. It is.
Similarly, at the time of authentication, a code corresponding to the input key positioned in the direction of the optical axis of the eyeball when the input key is watched is obtained, and a code registered in association with the user identification information (a code imitated with a pass code) ) And personal authentication.
この方法では、眼球の位置とカメラ計測する装置と表示パネルとの位置関係が固定であることが前提条件とされる。また、表示パネルに表示される入力キーの配置も固定である必要がある。そのため、ユーザは認証時の立ち位置、顔の向きなどを毎回同じように振る舞う必要があるが、これらの振る舞いもパスコード同様、ユーザしか知り得ない情報であり、その意味でセキュリティレベルが向上すると言えよう。表示パネルに表示される入力キーの配置は固定であるが、例えば、表示パネルとユーザとの距離が計測し、距離に応じて入力キーのサイズを変更することにより、ユーザの立ち位置についてはある程度の自由度を持たせることでも構わない。
表示パネルとユーザとの距離が計測し、距離に応じて入力キーのサイズを変更することにより、ユーザの立ち位置についてはある程度の自由度を持たせることでも構わない。なお、表示パネルとユーザとの距離が３０ｃｍの場合における２種類のズレ角（３°と５°）を考えた場合、ｔａｎ３°で１．５ｃｍで、ｔａｎ５°で２．６ｃｍであり、仮にユーザの立ち位置が前後して距離が５ｃｍほど変わったとしても、ズレ角による表示パネル上の眼球の光軸と表示パネルの交点座標のズレはそれほど変化しないことがわかる。但し、顔の向きは重要であり、表示パネルにミラーを設置するか、アプリケーションソフトウェアによりパネルの一部をミラー状のパネルにするか等により、ユーザ自身の顔の位置を確認しながら認証するのが好ましい。
なお、眼球の光軸の向きに位置する表示パネル上の入力キーに対応するコードと代替えとして、眼球の光軸と表示パネルの交点座標を登録しておき、認証時に得られる交点座標が、登録された交点座標から一定の距離内であるか否かで認証することも可能であろう。
In this method, it is a precondition that the positional relationship between the position of the eyeball, the camera measurement device, and the display panel is fixed. In addition, the arrangement of the input keys displayed on the display panel needs to be fixed. For this reason, the user needs to behave in the same way at every authentication, such as the standing position and the orientation of the face, but these behaviors are information that only the user can know, like the passcode, and in that sense the security level is improved. I can say that. Although the arrangement of the input keys displayed on the display panel is fixed, for example, by measuring the distance between the display panel and the user and changing the size of the input key according to the distance, the user's standing position is somewhat It does not matter even if it gives the degree of freedom.
By measuring the distance between the display panel and the user and changing the size of the input key according to the distance, the user's standing position may have some degree of freedom. In addition, when considering two types of misalignment angles (3 ° and 5 °) when the distance between the display panel and the user is 30 cm, tan 3 ° is 1.5 cm and tan 5 ° is 2.6 cm. It can be seen that even if the distance of the standing position changes and the distance changes by about 5 cm, the deviation of the optical axis of the eyeball on the display panel and the coordinate of the intersection of the display panel due to the deviation angle does not change so much. However, the orientation of the face is important, and authentication is performed while checking the position of the user's own face, such as by installing a mirror on the display panel or by using application software to make a part of the panel a mirror-like panel. Is preferred.
As an alternative to the code corresponding to the input key on the display panel located in the direction of the optical axis of the eyeball, the intersection coordinates of the optical axis of the eyeball and the display panel are registered, and the intersection coordinates obtained at the time of authentication are registered. It may be possible to authenticate based on whether or not it is within a certain distance from the determined intersection coordinates.
具体的に、他の観点の個人認証方法は、以下の登録ステップと認証ステップから成る。
登録ステップは、下記１）〜５）から構成される。
１）ユーザ毎にユーザ識別情報を設定するユーザ識別情報設定ステップ
２）ユーザ自身がパスコードを決定するパスコード決定ステップ
３）ユーザ毎に、表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測する光軸事前計測ステップ
４）計測された眼球の光軸の向きと表示パネルの空間的な３次元座標から眼球の光軸と表示パネルの交点座標を算出する座標事前算出ステップ
５）交点座標に位置する入力キーに対応するコードを、ユーザ識別情報に関連付けして登録する記憶ステップ
Specifically, a personal authentication method according to another aspect includes the following registration step and authentication step.
The registration step includes the following 1) to 5).
1) User identification information setting step for setting user identification information for each user 2) Passcode determination step for determining the passcode by the user himself 3) When an input key displayed on the display panel is watched for each user , Optical axis pre-measurement step for measuring the direction of the optical axis of the eyeball with the camera 4) Calculate the intersection coordinates of the optical axis of the eyeball and the display panel from the measured optical axis direction of the eyeball and the spatial three-dimensional coordinates of the display panel Pre-coordinate calculation step 5) A storage step of registering the code corresponding to the input key located at the intersection coordinates in association with the user identification information
また、認証ステップは、下記６）〜１２）から構成される。
６）ユーザ識別情報を入力するユーザ識別情報入力ステップ
７）入力キーを表示パネルに表示する入力キー表示ステップ
８）入力キーが注視された状態を確定する注視状態確定ステップ
９）入力キーが注視された際の眼球の光軸の向きをカメラ計測する光軸計測ステップ
１０）計測された眼球の光軸の向きと表示パネルの空間的な３次元座標から眼球の光軸と表示パネルの交点座標を算出する座標算出ステップ
１１）表示パネルのピクセル情報と、上記の交点座標とから、眼球の光軸の向きに位置する入力キーに対応するコードを算定するコード算定ステップ
１２）算定されたコードとユーザ識別情報に関連付けて登録されているコードとを照合するコード照合ステップ
The authentication step includes the following 6) to 12).
6) User identification information input step for inputting user identification information Step 7) Input key display step for displaying input key on display panel 8) Gaze state determination step for confirming state where input key is watched 9) Input key is watched Optical axis measurement step for measuring the direction of the optical axis of the eyeball at the time of camera 10) The intersection of the optical axis of the eyeball and the display panel is determined from the measured optical axis direction of the eyeball and the spatial three-dimensional coordinates of the display panel. Coordinate calculation step 11) Code calculation step for calculating a code corresponding to the input key located in the direction of the optical axis of the eyeball from the pixel information of the display panel and the above-mentioned intersection coordinates 12) The calculated code and the user Code collation step for collating with codes registered in association with identification information
また、他の観点によれば、本発明の個人認証システムは、入力端末と認証サーバがネットワークで接続された認証システムにおいて、入力端末と認証サーバとが下記の技術特徴を有する。
Ａ）認証サーバ
ユーザ毎に計測した眼球の光軸と表示パネルの交点座標に位置する入力キーに対応するコードが、ユーザ識別情報に関連付けして予め記憶されたデータベースを備える。
入力端末から受信したユーザ識別情報と、表示パネルのピクセル情報と、眼球の光軸の向きと表示パネルの空間的な３次元座標とから、眼球の光軸の向きに位置する入力キーに対応するコードを算定し、データベースに記憶されたコードと照合し、照合結果を入力端末に送信する。
Ｂ）入力端末
ユーザ識別情報入力手段と、カメラ計測手段と、入力キーを表示する表示パネルとを備える。
ユーザ識別情報入力手段からユーザ識別情報を読み取り、認証サーバに送信する。
表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、計測された眼球の光軸の向きと表示パネルの空間的な３次元座標と、表示パネルのピクセル情報を認証サーバに送信する。
According to another aspect, the personal authentication system of the present invention is an authentication system in which an input terminal and an authentication server are connected via a network, and the input terminal and the authentication server have the following technical features.
A) Authentication server A database in which codes corresponding to input keys located at the intersection coordinates of the optical axis of the eyeball and the display panel measured for each user are stored in advance in association with the user identification information.
Corresponds to the input key located in the direction of the optical axis of the eyeball from the user identification information received from the input terminal, the pixel information of the display panel, the direction of the optical axis of the eyeball and the spatial three-dimensional coordinates of the display panel The code is calculated, collated with the code stored in the database, and the collation result is transmitted to the input terminal.
B) Input terminal A user identification information input unit, a camera measurement unit, and a display panel for displaying input keys are provided.
The user identification information is read from the user identification information input means and transmitted to the authentication server.
When the input key displayed on the display panel is watched, the direction of the optical axis of the eyeball is measured by the camera, the direction of the optical axis of the measured eyeball, the spatial three-dimensional coordinates of the display panel, and the display panel Send the pixel information to the authentication server.
本発明の個人認証方法および個人認証システムによれば、視線を用いて多数の対象者の中から個人認証が可能であり、パスコードの盗まれにくさと成りすましにくさを高め、パスコード認証の安全性を向上させるといった効果がある。 According to the personal authentication method and the personal authentication system of the present invention, it is possible to perform personal authentication from among a large number of subjects using a line of sight, which increases the difficulty of passcode authentication and impersonation. It has the effect of improving safety.
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。 Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings. The scope of the present invention is not limited to the following examples and illustrated examples, and many changes and modifications can be made.
人の視覚において、視軸（眼球と、視覚により知覚している対象の中心を結ぶ軸）と眼球の光軸（眼球を回転体としてとらえた場合の、幾何的な中心軸）の間には、約５°のズレがあることが知られている。これはκ角（眼球の光軸と視軸のズレ角）と呼ばれる。
視軸は、中心窩と呼ばれる、眼球の黄班の中心部に位置する錐体細胞が最も密に分布する部分、つまり最も視力のよい部分の位置に依存する。図１５に示すように、中心窩の位置には個人差がある。なお、眼球の光軸は外部から計測可能であるのに対して、視軸は、人の知覚に依存しており、３次元モデルに基づく視線計測装置を用いない場合には、外部から計測しにくい。
In human vision, there is a gap between the visual axis (the axis connecting the eyeball and the center of the object perceived by vision) and the optical axis of the eyeball (the geometrical central axis when the eyeball is viewed as a rotating body). It is known that there is a deviation of about 5 °. This is called the κ angle (deviation angle between the optical axis of the eyeball and the visual axis).
The visual axis depends on the position of the most densely distributed pyramidal cells located at the center of the macula of the eyeball, which is called the fovea, that is, the portion with the best visual acuity. As shown in FIG. 15, there are individual differences in the position of the fovea. Note that the optical axis of the eyeball can be measured from the outside, whereas the visual axis depends on human perception, and when the gaze measurement device based on the three-dimensional model is not used, the optical axis is measured from the outside. Hateful.
ちなみに、市販されている一般的な視線計測装置では、ディスプレイの２次元平面と、眼球を撮影したカメラの２次元平面を対応づけることで、人がどこを見ているかを計測している。
そのため、装置の使用前に、例えば、画面上の５点を見させ、その際のディスプレイ座標と、カメラで撮影した眼球の座標を対応づけるキャリブレーションを行う。なお、一般的には、キャリブレーションを行わない視線計測装置では、κ角に相当する約５°は校正されず、誤差として残る。
By the way, in a general line-of-sight measuring device that is commercially available, a two-dimensional plane of a display is associated with a two-dimensional plane of a camera that has photographed an eyeball to measure where a person is looking.
Therefore, before using the apparatus, for example, calibration is performed so that five points on the screen are seen and the display coordinates at that time are associated with the coordinates of the eyeballs photographed by the camera. In general, in a line-of-sight measuring apparatus that does not perform calibration, about 5 ° corresponding to the κ angle is not calibrated and remains as an error.
本実施例においては、３次元モデルに基づく視線計測装置を用い、複数台のカメラや光源を用いることで、眼球の光軸を３次元ベクトルとして算出し、また、眼球の光軸と視軸のズレ、すなわちκ角を求め、校正することで、視軸の３次元ベクトルを求める。このベクトルと、対象物との交点が、注視点である。つまり、一般的な視線計測装置とは、キャリブレーションの内容が異なる。 In this embodiment, by using a gaze measuring device based on a three-dimensional model, using a plurality of cameras and light sources, the optical axis of the eyeball is calculated as a three-dimensional vector, and the optical axis of the eyeball and the visual axis are calculated. A three-dimensional vector of the visual axis is obtained by obtaining and correcting the deviation, that is, the κ angle. The intersection of this vector and the object is the point of interest. That is, the content of calibration is different from that of a general line-of-sight measurement apparatus.
一般的な視線計測装置では、キャリブレーションに用いられるパラメータがディスプレイやカメラ等の配置に依存しているのに対し、κ角は常に一定と考えてよい。
κ角は、身長等と同じように、個人差はあるものの、正規分布すると考えられ、同一の値をとる可能性もある。したがって、指紋や光彩のように、それそのものを特徴量として、個人を識別することはできない。ただし、身長は１次元の特徴量であるのに対し、κ角は、上下方向と左右方向の２次元の値をとる特徴量である。
また、κ角を計測した際の顔の向き、すなわち計測角度についても個人情報として記録される。かかる情報がなければ、正確な個人情報として利用できないからである。ここで、基準となる角度は水平と垂直である。
In a general line-of-sight measurement device, parameters used for calibration depend on the arrangement of a display, a camera, and the like, whereas the κ angle may be considered to be always constant.
Like the height, the κ angle is considered to be a normal distribution, although there are individual differences, and may have the same value. Therefore, an individual cannot be identified using itself as a feature quantity like a fingerprint or a glow. However, while the height is a one-dimensional feature value, the κ angle is a feature value that takes two-dimensional values in the vertical and horizontal directions.
Further, the orientation of the face when the κ angle is measured, that is, the measurement angle is also recorded as personal information. This is because without such information, it cannot be used as accurate personal information. Here, the reference angle is horizontal and vertical.
図１は、実施例１の個人認証システムの概略図である。図１に示すように、個人認証システム１は、入力端末２、認証サーバ３およびネットワーク５から成り、入力端末２には、画面を表示する表示装置２１、視線による入力を確定する確定装置２２、眼球の光軸を計測する計測装置２３および個人を識別するための識別装置２４が設けられている。
ネットワーク５は、入力端末２と認証サーバ３の間のデータの送受信で用いる。本実施例とは異なり、ネットワーク５を設けず、入力端末２と認証サーバ３が直接繋がったスタンドアロン型の機器であってもよい。
認証サーバ３は、照合手段３２において、データを蓄積するデータベース３１と入力されたデータとを照合し、認証の可否を判断する。また、ネットワーク５を通じてその結果を入力端末２に伝える。
FIG. 1 is a schematic diagram of a personal authentication system according to the first embodiment. As shown in FIG. 1, the personal authentication system 1 includes an input terminal 2, an authentication server 3, and a network 5. The input terminal 2 includes a display device 21 that displays a screen, a confirmation device 22 that determines an input by line of sight, A measuring device 23 for measuring the optical axis of the eyeball and an identification device 24 for identifying an individual are provided.
The network 5 is used for data transmission / reception between the input terminal 2 and the authentication server 3. Unlike the present embodiment, the network 5 may not be provided, and a stand-alone device in which the input terminal 2 and the authentication server 3 are directly connected may be used.
The authentication server 3 collates the database 31 for storing data with the input data in the collating means 32 and determines whether or not authentication is possible. The result is transmitted to the input terminal 2 through the network 5.
ズレ角（κ角）を計測するためには、眼球の光軸と表示パネルの交点座標（以下、「眼球の光軸座標」と称する）の正確な抽出が必要となる。
人が何かに注視しているとき、κ角は一定であるが、固視微動と呼ばれる、眼球のブレが生じており、注視点は定まらない。固視微動にはいくつかの種類があるが、ある点を注視している場合でも、１／３°程度、数Ｈｚ／秒程度で眼球が回転している。したがって、ある１フレームにおけるカメラ画像を計測すると、κ角の計測に誤差が発生してしまう。
In order to measure the misalignment angle (κ angle), it is necessary to accurately extract the intersection coordinates of the optical axis of the eyeball and the display panel (hereinafter referred to as “optical axis coordinates of the eyeball”).
When a person is gazing at something, the κ angle is constant, but there is blurring of the eyeball, called fixation fixation, and the gazing point is not fixed. There are several types of microscopic eye movements, and even when a point is being watched, the eyeball rotates at about 1/3 ° and several Hz / second. Therefore, if a camera image in one frame is measured, an error occurs in the measurement of the κ angle.
図６はズレ角（κ角）の計測例を示している。この例では、横（x座標）１０２４ピクセル、縦（y座標）７６８ピクセルの１５インチディスプレイを設置し、人との距離を５０ｃｍに固定して計測している。３次元モデルに基づく視線計測装置を用いて、一点を注視させた際の眼球の光軸のｘ座標の度数を集計している。（１）は、リラックス時の人の瞬きの間隔である３秒間注視させた場合の度数であり、（２）は、正確な注視のポイントを計測するために行った９０秒間注視させた場合の度数を示している。図６（１）に示すように、短時間での視線計測では、注視する点の座標の出現座標は正規分布になっていない。これに対し、図６（２）に示すように、長時間計測では正規分布となっている。 FIG. 6 shows a measurement example of the deviation angle (κ angle). In this example, a 15-inch display with a horizontal (x coordinate) of 1024 pixels and a vertical (y coordinate) of 768 pixels is installed, and the distance to a person is fixed at 50 cm. Using a line-of-sight measuring device based on a three-dimensional model, the frequency of the x-coordinates of the optical axis of the eyeball when one point is watched is tabulated. (1) is the frequency when gazes for 3 seconds, which is the blinking interval of the person when relaxing, (2) is the gaze when 90 gps are performed to measure the exact gaze point Indicates frequency. As shown in FIG. 6 (1), in the gaze measurement in a short time, the appearance coordinates of the coordinates of the point of gaze are not a normal distribution. On the other hand, as shown in FIG. 6 (2), the normal distribution is obtained in the long-time measurement.
図７は、正規分布となった長時間計測での平均値を解とした場合の、短時間での計測における平均値、中央値および最頻値の関係図を示している。すなわち、どの程度のフレーム数で、眼球の光軸座標に対して収束していくかを示すものである。なお、本実施例の個人認証システムの処理速度は約１５フレーム／秒である。
誤差は固視微動の振幅以下（本実験では１０ピクセル以下）になればよいと考えられるので、図７に示すように、注視開始から２秒間の中央値をとることが，短時間で正確な眼球の光軸座標を求めるために最適があることが分かる。そこで、本実施例では、注視開始から２秒間の中央値をとり、使用している。
FIG. 7 shows a relationship diagram of the average value, the median value, and the mode value in the measurement in a short time when the average value in the long-time measurement having a normal distribution is used as a solution. That is, it indicates how many frames are converged with respect to the optical axis coordinate of the eyeball. The processing speed of the personal authentication system of this embodiment is about 15 frames / second.
Since it is considered that the error should be smaller than the amplitude of fixation fixation (10 pixels or less in this experiment), as shown in FIG. 7, taking the median value for 2 seconds from the start of gaze is accurate in a short time. It can be seen that there is an optimum for obtaining the optical axis coordinates of the eyeball. Therefore, in this embodiment, a median value of 2 seconds from the start of gaze is taken and used.
認証端末の表示装置に、どのような画面を表示すべきかについては、人の視覚特性に加えて、システムのロバスト性（＝本人拒否率）、安全性（＝他人受入率）に関係するため、これをどうデザインすべきか非常に重要である。 Since what kind of screen should be displayed on the display device of the authentication terminal is related to the robustness of the system (= person rejection rate) and safety (= other people acceptance rate) in addition to the human visual characteristics, How this should be designed is very important.
図８は、ズレ角（κ角）の分布図である。κ角は、５°程度であるが、上下方向および左右方向の２次元座標に分布しており、実際には、図８に示すように正規分布すると考えられる。なお、人の視覚特性について考えると、左右の眼球の構造は完全に同一ではなく、中心窩の位置も必ずしも左右対称ではない。また、効き目が存在する。このような条件下で、視覚は、視神経からの情報が脳内で適切に処理されて、知覚されていることに注意する必要がある（＝理論的に、視軸は外部から計測できない）。とくに、左目あるいは右目の、片目だけのκ角を計測した場合には、図８よりも分布が広くなる可能性が高い。なぜなら、左右の眼球の運動は一致しているため、片目で計測したκ角を用いて視線計測を行っても誤差は大きくならないものの、効き目でない側の眼球は、対象物とは異なる点を見ている可能性も高いからである。
いずれにせよ、κ角の分布から、キーの大きさを定めることができる。まず、最小のサイズは、個人のκ角の計測誤差に依存する。これは主に、前述の固視微動による誤差と、システムの計測誤差を加えた範囲になると考えられる。この長さをｌｍｉｎとする。
FIG. 8 is a distribution diagram of the deviation angle (κ angle). Although the κ angle is about 5 °, it is distributed in two-dimensional coordinates in the vertical direction and the horizontal direction, and is actually considered to be a normal distribution as shown in FIG. Considering human visual characteristics, the structures of the left and right eyeballs are not completely the same, and the position of the fovea is not necessarily symmetrical. There are also benefits. Under such conditions, it is necessary to note that information from the optic nerve is properly processed and perceived in the brain (= theoretically, the visual axis cannot be measured from the outside). In particular, when the κ angle of only one eye of the left eye or the right eye is measured, there is a high possibility that the distribution will be wider than that in FIG. This is because the movements of the left and right eyeballs are the same, and even if eye gaze measurement is performed using the κ angle measured with one eye, the error does not increase, but the eyeball on the non-effective side sees a different point from the object. This is because there is a high possibility that
In any case, the key size can be determined from the distribution of κ angles. First, the minimum size depends on the measurement error of the individual κ angle. This is considered to be mainly in the range obtained by adding the error due to the above-mentioned fixation fine movement and the measurement error of the system. This length is defined as l min .
次に、キーの最大サイズは、安全性に依存する。κ角の分布を度数に従い、ｎ等分する。分割時の距離は、縦方向、横方向ともに、中央の長さが短く、周囲に広がるにつれて長くなるが、この中で、最小の長さをｌｍａｘとする。縦方向、横方向ともにｎ等分しているので、あるユーザが他のユーザになりすまされる確率は、１／ｎ２になる。このとき、サイズよりもキーが大きくなると、なりすまされる確率が上がる。一方で、ｎを大きくしすぎるとｌｍｉｎより小さくなってしまい、個人が識別できなくなる。図９は、ｎを３として、実際に計測した９人に対してサイズの割り当てを行った例である。計測人数が少ないため、各枠内に１人というわけではないが、人数が多くなると、枠内の人数が１／ｎ２に一致していくと考えられる。 Second, the maximum key size depends on security. The k-angle distribution is divided into n equal parts according to the frequency. The distance at the time of division is short in the center in both the vertical direction and the horizontal direction, and becomes longer as it spreads to the periphery. Among these, the minimum length is l max . Since the vertical direction and the horizontal direction are equally divided into n, the probability that a user is impersonated as another user is 1 / n 2 . At this time, if the key becomes larger than the size, the probability of impersonation increases. On the other hand, if n is too large, it will be smaller than l min and the individual cannot be identified. FIG. 9 is an example in which n is set to 3 and size allocation is performed for nine actually measured people. Since the number of people to be measured is small, it is not one person in each frame. However, if the number of people increases, the number of people in the frame is considered to match 1 / n 2 .
本実施例では、システムの利用人数が多数であると想定し、なりすまされる確率を最も低くするように分布を分割している。家や車のカギなど、数人しか利用しない場合には、ユーザ達以外のκ角について拒否するように設定してもよい。 In this embodiment, it is assumed that the number of users of the system is large, and the distribution is divided so as to minimize the probability of impersonation. When only a few people use it, such as the key of a house or a car, it may be set so as to reject κ angles other than users.
以上より、キーの大きさ、すなわちキーの１辺の長さをｌｋｅｙとすると、前述のｌｍｉｎ、ｌｍａｘを用いると、画面表示におけるキーのサイズは、下記式１に示す範囲内であればよい。 From the above, assuming that the key size, i.e., the length of one side of the key is l key , the size of the key in the screen display is within the range shown in the following equation 1 by using l min and l max described above. That's fine.
（数１）
ｌｍａｘ＞ｌｋｅｙ＞ｌｍｉｎ ・・・ （式１）
(Equation 1)
lmax > lkey > lmin ... (Formula 1)
図１０は、ズレ角（κ角）の分布範囲を規定した図を示している。これは、左目を角度０°で計測した場合で、図９の分布をすべて含む面である。ここでは、通常、上方向にズレがあることと、左目では、右方向のズレのほうが大きくなっている。 FIG. 10 shows a diagram defining the distribution range of the deviation angle (κ angle). This is a surface including all of the distribution of FIG. 9 when the left eye is measured at an angle of 0 °. Here, normally, there is a shift in the upward direction, and in the left eye, the shift in the right direction is larger.
図１１は、スクリーンに表示する画面サイズと、眼球の光軸を計測すべき範囲を示した図である。
スクリーンに表示する画面サイズを個人間分散幅６と仮定すると、左上に対して右下のズレ、右上に対して左下のズレ、左下に対して右上のズレ、右下に対して左上のズレの利用者でも計測可能にする必要があるので、全体として、眼球の光軸を計測すべき範囲は、視線計測対象範囲７に定まる。これに対しては、公知の方法で、カメラや光源を配置すればよい。
FIG. 11 is a diagram showing a screen size displayed on the screen and a range in which the optical axis of the eyeball should be measured.
Assuming that the screen size to be displayed on the screen is an inter-individual width of 6, the lower right shift with respect to the upper left, the lower left shift with respect to the upper right, the upper right shift with respect to the lower left, and the upper left shift with respect to the lower right. Since it is necessary for the user to be able to measure, as a whole, the range in which the optical axis of the eyeball should be measured is determined as the visual line measurement target range 7. For this, a camera or a light source may be arranged by a known method.
キーは、上述の大きさおよび範囲のなかであれば、どのように表示してもよい。ただし、どのような配列にするかによって安全性が変化する。
図１２は表示画面におけるキー配列例であり、（１）はテンキー方式、（２）はランダム方式を示している。図１２（１）に示すように、テンキーを固定で表示している場合は、κ角が常に一定のため、１、２、３又は４などの入力からκ角を推定できるが、図１２（２）に示すようなランダムキーを用いると、１と入力するのでも、異なる１を見て入力することもできるため、κ角の推定は難しくなる。なお、本実施例では、テンキー方式を採用している。
キー配列の画面を認証サーバから送信し、入力端末に表示させることで、キー入力の安全性を高めることができる。
The key may be displayed in any manner as long as it is within the above-described size and range. However, the safety changes depending on the arrangement.
FIG. 12 shows an example of the key arrangement on the display screen, where (1) shows the ten-key method and (2) shows the random method. As shown in FIG. 12 (1), when the numeric keypad is fixedly displayed, the κ angle is always constant, so the κ angle can be estimated from inputs such as 1, 2, 3 or 4, but FIG. If a random key as shown in 2) is used, it is difficult to estimate the κ angle because it can be input by looking at a different 1 even if it is input as 1. In this embodiment, a ten key method is adopted.
By transmitting the key layout screen from the authentication server and displaying it on the input terminal, the security of key input can be improved.
以下、個人認証システム１の使用方法について説明する。
個人認証システム１の使用は、登録ステップと認証ステップに分けられる。
まず、登録ステップでは、事前に個人のＩＤを発行し、そのＩＤに対応したパスコードを、サービス提供者あるいは本人が決定する。加えて、κ角と、計測角度を利用する。ここで、３次元モデルを導入した視線計測装置を１度だけ利用し、キャリブレーションすることで、κ角と計測角度を求める。
Hereinafter, a method of using the personal authentication system 1 will be described.
Use of the personal authentication system 1 is divided into a registration step and an authentication step.
First, in the registration step, a personal ID is issued in advance, and the service provider or the person determines a passcode corresponding to the ID. In addition, the κ angle and the measurement angle are used. Here, the gaze angle and the measurement angle are obtained by using the line-of-sight measurement apparatus into which the three-dimensional model is introduced only once and performing calibration.
κ角と計測角度は、認証サーバのデータベースに記録され、パスコードの一部としても利用される。この場合、入力端末の側では、表示装置のピクセル情報と、眼球の光軸の座標を送れば、認証サーバの側でパスコードを復元することができるため、パスコードそのものは入力端末でも、ネットワークでも入力されていないので、安全にパスコード入力できる。
以上の方法で必要な情報を登録すれば、システムが利用可能になる。
The κ angle and the measurement angle are recorded in the database of the authentication server and are also used as part of the passcode. In this case, on the input terminal side, if the pixel information of the display device and the coordinates of the optical axis of the eyeball are sent, the passcode can be restored on the authentication server side. But since it is not entered, you can enter the passcode safely.
If necessary information is registered by the above method, the system can be used.
次に、認証ステップについて説明する。図２は、実施例１の認証ステップのイメージ図を示している。
図２に示すように、まず、識別装置２４でユーザ４のＩＤを読み取り、どの個人であるかを特定する。個人ＩＤは一般的には数字や文字からなる文字列であるが、生体情報をこれの代わりに利用することで、利便性を高めることができる。本実施例では、図２に示すように、指紋をＩＤとして用いている。このように、家や車の鍵の代わりに、指紋をＩＤとし、４桁のＰＩＮとκ角をパスコードとすることで、ロックを解除するようにすれば、ＰＩＮが知られたとしても、他人ではなりすましづらい。なお、本実施例とは異なり、磁気カードや文字入力によってもよい。
Next, the authentication step will be described. FIG. 2 shows an image diagram of the authentication step of the first embodiment.
As shown in FIG. 2, first, the identification device 24 reads the ID of the user 4 to identify which individual. The personal ID is generally a character string composed of numbers and characters, but convenience can be enhanced by using biometric information instead. In this embodiment, as shown in FIG. 2, a fingerprint is used as an ID. In this way, if the lock is released by using the fingerprint as the ID and the 4-digit PIN and κ angle as the passcode instead of the house or car key, even if the PIN is known, It is hard to impersonate others. Unlike this embodiment, a magnetic card or character input may be used.
次に、表示装置２１の画面表示を見て、情報を入力する。ただし、視線による入力の場合、ミダスタッチ問題という問題がある。これは、例えば、ただ見ているだけで入力されてしまうといった、意図しない動作を引き起こすことをいう。そのため、数秒注視されたことを検出する、ボタンを押すなど、視線による入力を確定させる確定装置２２が必要である。この際、計測装置２３でユーザの眼球の光軸を計測しておく。こうして計測されたデータは、ネットワーク５を介して認証サーバ３に送られる。 Next, information is input by looking at the screen display of the display device 21. However, in the case of the input by the line of sight, there is a problem of mid-touch problem. This means that, for example, an unintended operation such as an input just by looking is caused. Therefore, it is necessary to have a confirmation device 22 for confirming the input by the line of sight, such as detecting that the user has watched for several seconds or pressing a button. At this time, the measuring device 23 measures the optical axis of the user's eyeball. The data measured in this way is sent to the authentication server 3 via the network 5.
認証サーバ３では、送られてきたデータをもとに、パスコードを照合する。すなわち、表示装置のピクセル情報とκ角、計測角度の情報を利用して、認証サーバでパスコードを復元する。復元したパスコードと、登録ステップで入力されたパスコードと照合し、これが一致すれば認証が完了する。 The authentication server 3 verifies the passcode based on the transmitted data. That is, the passcode is restored by the authentication server using the pixel information of the display device, the κ angle, and the measurement angle information. The restored passcode is compared with the passcode entered in the registration step, and if this matches, the authentication is completed.
図３は、インタラクティブパスワードの説明図を示している。ここで、インタラクティブパスワードとは、既に記録されているκ角と計測角度を利用して、インタラクティブにパスワードを入力させる仕組みのことをいい、本実施例では、かかる仕組みを使用している。また、「パスワード」とは、「パスコード」と同義で用いている。
図３に示すように、ユーザ４がＰＩＮを入力する前に、認証サーバ３から入力端末２に対して、表示装置２１に表示する表示画像（２１ａ，２１ｂ）が事前に送信されている。
FIG. 3 shows an explanatory diagram of the interactive password. Here, the interactive password refers to a mechanism for interactively inputting a password using the already recorded κ angle and measurement angle, and this embodiment uses such a mechanism. “Password” is used synonymously with “passcode”.
As shown in FIG. 3, display images (21 a and 21 b) to be displayed on the display device 21 are transmitted in advance from the authentication server 3 to the input terminal 2 before the user 4 inputs the PIN.
図４は、ズレ角（κ角）が上にあるユーザにおける横並びのパスコード入力の説明図であり、（１）は入力キーの配置、（２）は視線（視軸）の動き、（３）は眼球の光軸と表示パネルの交点座標の動きを示している。図４（１）に示すように、表示画像２１ａでは、１〜９の数字は、左上から横に順に配置されている。ズレ角（κ角）が上にあるユーザであって、横並びのパスコード入力の場合、パスコードが１、２、３、４の順で有ると、視線（視軸）の動きは、図４（２）の矢印に示すように１、２、３、４の順に見ることになる。これに対して、眼球の光軸と表示パネルの交点座標の動きは、眼球の光軸と視軸のズレ角（κ角）の影響で、図４（３）の矢印に示すように、４、５、６、７の順に移動することになる。 FIG. 4 is an explanatory diagram of side-by-side passcode input for a user with a misalignment angle (κ angle) on top, (1) is the input key arrangement, (2) is the movement of the line of sight (visual axis), (3 ) Indicates the movement of the intersection coordinates of the optical axis of the eyeball and the display panel. As shown in FIG. 4A, in the display image 21a, the numbers 1 to 9 are sequentially arranged from the upper left to the side. In the case of a user with a deviation angle (kappa angle) at the top and side-by-side passcode input, if the passcodes are in the order of 1, 2, 3, and 4, the movement of the line of sight (visual axis) is as shown in FIG. As shown by the arrows in (2), the images are viewed in the order of 1, 2, 3, and 4. On the other hand, the movement of the coordinate of the intersection between the optical axis of the eyeball and the display panel is 4 due to the influence of the deviation angle (κ angle) between the optical axis of the eyeball and the visual axis, as indicated by the arrow in FIG. It moves in the order of 5, 6, and 7.
図５は、ズレ角（κ角）が上にあるユーザにおける縦並びのパスコード入力の説明図であり、（１）は入力キーの配置、（２）は視線（視軸）の動き、（３）は眼球の光軸と表示パネルの交点座標の動きを示している。図５（１）に示すように、表示画像２１ｂでは、１〜９の数字は、左上から縦に順に配置されている。ズレ角（κ角）が上にあるユーザであって、縦並びのパスコード入力の場合、パスコードが１、２、３、４の順で有ると、視線（視軸）の動きは、図５（２）の矢印に示すように１、２、３、４の順に見ることになる。これに対して、眼球の光軸と表示パネルの交点座標の動きは、図５（３）の矢印に示すように、２、３、欄外２１ｅ、５の順に移動することになる。
このように、同じ番号であっても、眼球の光軸と視軸のズレ角（κ角）の影響により、眼球の光軸と表示パネルの交点座標が変化するので、入力端末２において、ズレ角（κ角）を推定することが難しくなる。
FIGS. 5A and 5B are explanatory diagrams of vertically arranged passcode input for a user with a misalignment angle (κ angle) on top, where (1) is the input key arrangement, (2) is the movement of the line of sight (visual axis), 3) shows the movement of the intersection coordinates of the optical axis of the eyeball and the display panel. As shown in FIG. 5 (1), in the display image 21b, the numbers 1 to 9 are arranged in order from the upper left. If the user has a gap angle (kappa angle) at the top and the passcodes are arranged vertically, if the passcodes are in the order of 1, 2, 3, 4, the movement of the line of sight (visual axis) As shown by the arrow 5 (2), the images are viewed in the order of 1, 2, 3, and 4. On the other hand, the movement of the coordinate of the intersection between the optical axis of the eyeball and the display panel moves in the order of 2, 3 and margins 21e and 5 as indicated by the arrows in FIG.
Thus, even if the numbers are the same, the coordinates of the intersection between the optical axis of the eyeball and the display panel change due to the effect of the deviation angle (κ angle) between the optical axis of the eyeball and the visual axis. It becomes difficult to estimate the angle (κ angle).
本実施例の個人認証システム１を用いて、ズレ角（κ角）の分布を計測した。
まず、ボタンサイズ（ボタンの幅）を決定するために実験協力者１０人の視軸の分散を抽出した。個人間の標準偏差はｘ軸方向に１０３．０９７１２４５、ｙ軸方向に７０．８５０３６２４６、であるのに対し、個人内の標準偏差はｘ軸方向に４５．０３２５０９０７、ｙ軸方向に３５．６６３７１９２２であったため、下記式２が成立することを確認した。
Using the personal authentication system 1 of the present example, the distribution of deviation angles (κ angles) was measured.
First, in order to determine the button size (the width of the button), the variance of the visual axis of 10 experiment cooperators was extracted. The standard deviation between individuals is 103.0971245 in the x-axis direction and 70.5036246 in the y-axis direction, whereas the standard deviation within the individual is 45.032507907 in the x-axis direction and 35.66319922 in the y-axis direction. Therefore, it was confirmed that the following formula 2 was established.
（数２）
ｌｍａｘ＞ｌｍｉｎ ・・・ （式２）
(Equation 2)
l max > l min (Formula 2)
図１３は、ユーザ１０人のκ角の分散を示した図である。κ角の分布を度数に従い、３等分を行っている。ピクセルにするとおよそ１５０ｐｘ四方の閾値であったため、１５０ｐｘ四方のボタンを設定した。また、この値はｌｍａｘを９等分した値に等しいので、下記式３が成立している。 FIG. 13 is a diagram showing dispersion of κ angles of 10 users. The distribution of κ angles is divided into three equal parts according to the frequency. Since a pixel has a threshold value of about 150 px square, a 150 px square button was set. Further, since this value is equal to a value obtained by dividing l max by nine, the following expression 3 is established.
（数３）
ｌｍａｘ＞ｌｋｅｙ ・・・ （式３）
(Equation 3)
l max > l key (Formula 3)
本実施例の個人認証システム１を用いて、自己認証率と他者排他率を計測した。
まず、ユーザが自身のパスコード“３７５９”を設定し、１０回の実証のもと１００％システムに入ることができることを確認した。次に、パスコード“３７５９”が盗まれたと仮定し、ユーザ以外の人間がシステムに侵入できるかという試行を１０回行った。結果は、侵入成功率０％であった。
Using the personal authentication system 1 of this example, the self-authentication rate and the other person exclusion rate were measured.
First, it was confirmed that the user set his / her passcode “3759” and entered the 100% system under 10 trials. Next, assuming that the passcode “3759” was stolen, ten trials were made to see if a person other than the user could enter the system. As a result, the penetration success rate was 0%.
図１６は、登録ステップ及び認証ステップの処理フローを示している。図１６に示すように、登録ステップにおいては、まず、ユーザ毎にユーザ識別情報を設定する（Ｓ０１）。ユーザ毎にパスコードを設定する（Ｓ０２）。ユーザ毎に、眼球の光軸と視軸とのズレ角を計測する（Ｓ０３）。記憶ステップにおいて、パスコードとズレ角を、ユーザ識別情報に関連付けして登録する（Ｓ０４）。記憶ステップにおいて登録されたデータは、データベースに書き込まれる。 FIG. 16 shows a processing flow of the registration step and the authentication step. As shown in FIG. 16, in the registration step, first, user identification information is set for each user (S01). A passcode is set for each user (S02). The deviation angle between the optical axis of the eyeball and the visual axis is measured for each user (S03). In the storing step, the passcode and the deviation angle are registered in association with the user identification information (S04). The data registered in the storing step is written into the database.
図１６に示すように、認証ステップにおいては、まず、ユーザ識別情報を入力する（Ｓ１１）。入力キーを表示パネルに表示する（Ｓ１２）。入力キーが注視された状態を確定する（Ｓ１３）。入力キーが注視された際の眼球の光軸の向きと計測角度をカメラ計測する（Ｓ１４）。計測された眼球の光軸と表示パネルのワールド座標を算出する（Ｓ１５）。表示パネルのピクセル情報と、眼球の光軸座標と、入力されたユーザ識別情報に関連付けされたズレ角と、計測角度とから、注視されたパスコードを算定する（Ｓ１６）。予め設定したパスコードをデータベースから読込み、算定されたパスコードと予め設定したパスコードとを照合する（Ｓ１７）。照合の結果、認証がエラーとなり、再度認証を試みるときは、もう一度認証ステップを行う（Ｓ１１〜１７）。 As shown in FIG. 16, in the authentication step, first, user identification information is input (S11). The input key is displayed on the display panel (S12). The state in which the input key is watched is determined (S13). The direction of the optical axis of the eyeball when the input key is watched and the measurement angle are measured by the camera (S14). The optical axis of the measured eyeball and the world coordinates of the display panel are calculated (S15). The watched passcode is calculated from the pixel information of the display panel, the optical axis coordinates of the eyeball, the shift angle associated with the input user identification information, and the measurement angle (S16). The preset passcode is read from the database, and the calculated passcode is collated with the preset passcode (S17). If authentication results in an error as a result of verification and authentication is attempted again, the authentication step is performed again (S11 to 17).
図１７は、個人認証システムのフローを示している。例えば、ユーザＩＤ等のユーザ識別情報を入力端末が読み込むと、入力端末から認証サーバへユーザ識別情報が送信される。認証サーバ側では、受信したユーザ識別情報を用いて、データベースからズレ角とパスコードを読込む。ユーザが表示パネルに表示された入力キーを注視すると（例えば、パスコードが４ケタの数字コードであれば、４つの数字を順に注視する）、表示パネルのピクセル情報、眼球の光軸座標（４ケタの数字コードを順に注視した際の４つの光軸座標）および計測角度が、入力端末から認証サーバへ送信される。データベースから読込んだズレ角を基に認証サーバにおいて算定パスコードを算出する。算定パスコードとデータベースから読込んだパスコードにつき、パスコードの照合を行う。照合結果が、認証サーバから入力端末へ送信される。
ここで、顔の向きの計測角度の計測について、顔は傾かないという条件下で認証を行うのであれば、計測角度の計測は不要である。
FIG. 17 shows a flow of the personal authentication system. For example, when the input terminal reads user identification information such as a user ID, the user identification information is transmitted from the input terminal to the authentication server. On the authentication server side, the deviation angle and passcode are read from the database using the received user identification information. When the user gazes at the input key displayed on the display panel (for example, if the passcode is a four-digit numeric code, gazes four numbers in order), the pixel information on the display panel, the optical axis coordinates of the eyeball (4 The four optical axis coordinates when the digit codes of the digits are closely watched) and the measurement angle are transmitted from the input terminal to the authentication server. A calculation passcode is calculated in the authentication server based on the deviation angle read from the database. The passcode is verified for the calculated passcode and the passcode read from the database. The verification result is transmitted from the authentication server to the input terminal.
Here, regarding the measurement of the measurement angle of the face orientation, if the authentication is performed under the condition that the face does not tilt, the measurement angle need not be measured.
図１８は、データベースのテーブルの一例を示している。図１８に示すように、個人ＩＤが“１００１２３４５”の場合においては、パスコードは“４６８”、ズレ角は“（２°，１°）”と登録されている。また、個人ＩＤが“１００１３５０１”の場合においては、パスコードは“７５３１”、ズレ角は“（１°，３°）”と登録されている。 FIG. 18 shows an example of a database table. As shown in FIG. 18, when the personal ID is “10012345”, the pass code is registered as “468” and the deviation angle is registered as “(2 °, 1 °)”. When the personal ID is “10013501”, the pass code is registered as “7531” and the deviation angle is registered as “(1 °, 3 °)”.
図１９は、個人認証システムの機能ブロック図を示している。図１９に示すように、認証サーバ、入力端末およびネットワークから成る。
認証サーバは、データベース、個人識別情報受信手段、ズレ角・ズレ角計測角度の読込み手段、座標受信手段、パスコード算定手段、パスコード照合手段および照合結果送信手段から成る。
認証サーバにおいては、ネットワークを介して個人識別情報受信手段により取得した個人識別情報がデータベースに保存される。データベースからは、ズレ角に関する情報がズレ角・ズレ角計測角度の読込み手段へ送られ、パスコードがパスコード照合手段へと送られる。ネットワークを介して座標・計測角度に関する情報が座標受信手段へと送られ、パスコード算定手段へと送られる。算定パスコードは、パスコード算定手段からパスコード照合手段へ送られる。照合結果は、パスコード照合手段から照合結果送信手段へ送られる。
FIG. 19 shows a functional block diagram of the personal authentication system. As shown in FIG. 19, it consists of an authentication server, an input terminal, and a network.
The authentication server includes a database, personal identification information receiving means, deviation angle / shift angle measurement angle reading means, coordinate receiving means, passcode calculating means, passcode collating means, and collation result transmitting means.
In the authentication server, personal identification information acquired by the personal identification information receiving means via the network is stored in a database. From the database, information on the deviation angle is sent to the deviation angle / deviation angle measurement angle reading means, and the pass code is sent to the pass code verification means. Information on the coordinates and measurement angles is sent to the coordinate receiving means via the network, and is sent to the passcode calculating means. The calculated passcode is sent from the passcode calculating means to the passcode collating means. The verification result is sent from the passcode verification means to the verification result transmission means.
入力端末は、ユーザ識別情報入力手段と、ユーザ識別情報送信手段、カメラ計測手段、注視状態確定手段、光軸計測手段、座標送信手段、入力キー表示手段、表示パネル、照合結果出力手段から成る。
入力端末においては、入力キー表示手段により入力キーが表示パネルに表示される。ユーザ識別情報入力手段により入力されたユーザ識別情報は、ユーザ識別情報送信手段により、ネットワークを介して認証サーバへと送られる。カメラ計測手段および注視状態確定手段において得られた情報は、光軸計測手段へ送られる。座標・計測角度に関する情報は、座標送信手段により、ネットワークを介して、認証サーバへと送られる。また、認証サーバから受信した照合結果は、照合結果出力手段によって出力される。
The input terminal includes user identification information input means, user identification information transmission means, camera measurement means, gaze state determination means, optical axis measurement means, coordinate transmission means, input key display means, display panel, and verification result output means.
In the input terminal, the input key is displayed on the display panel by the input key display means. The user identification information input by the user identification information input means is sent to the authentication server via the network by the user identification information transmission means. Information obtained by the camera measurement unit and the gaze state determination unit is sent to the optical axis measurement unit. Information on the coordinates / measurement angle is sent to the authentication server via the network by the coordinate transmission means. Further, the verification result received from the authentication server is output by the verification result output means.
図１４は、表示画面におけるキーの大きさを変化させた例を示している。図１４に示すように、キーの大きさを計測ごとに変更すると、同じ番号を見ている場合にも、注視点の座標は変化する。ただし、正確には、視野角は頭部の位置と画面表示の双方に依存するため、同じ表示であっても頭部の位置により視野角は変化する。
以上のような配列、移動、拡大縮小、回転に加えて、配置の間隔を変化させたり、形状を変化させたりすることで、ロバスト性、安全性を向上させられる。その場合、入力端末の側で解析しにくい画像を用いることが好ましい。
FIG. 14 shows an example in which the key size on the display screen is changed. As shown in FIG. 14, when the key size is changed for each measurement, the coordinates of the gazing point change even when the same number is viewed. However, since the viewing angle depends on both the position of the head and the screen display, the viewing angle varies depending on the position of the head even if the display is the same.
In addition to the arrangement, movement, enlargement / reduction, and rotation as described above, robustness and safety can be improved by changing the arrangement interval and changing the shape. In that case, it is preferable to use an image that is difficult to analyze on the input terminal side.
実施例３の個人認証方法は、視線でパスコードを入力する個人認証方法において、ユーザ識別情報を入力し、表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、表示パネルの空間的な３次元座標と、眼球の光軸の向きと、入力されたユーザ識別情報に関連付けて予め登録された眼球の光軸の向きに位置する表示パネル上の入力キーに対応するコードとを用いて認証する方法である。 The personal authentication method according to the third embodiment is a personal authentication method in which a passcode is input with a line of sight. When the user identification information is input and the input key displayed on the display panel is watched, the direction of the optical axis of the eyeball is changed. Input on the display panel that is measured by the camera and positioned in the direction of the optical axis of the eyeball registered in advance in association with the spatial three-dimensional coordinates of the display panel, the direction of the optical axis of the eyeball, and the input user identification information In this method, authentication is performed using a code corresponding to a key.
例えば、ユーザは自身パスコードを１，２，３，４と決定し、それを覚えているとする。表示パネルに表示された入力キーが、図４（１）に示すような場合に、ユーザが、１，２，３，４を順に注視したとすると、図４（２）に示す矢印のように視線（視軸）と表示パネルの交点座標が動くことになる。一方、眼球の光軸と表示パネルの交点座標は、眼球の光軸と視軸のズレ角（κ角）の影響により、図４（３）に示す矢印のように、４，５，６，７の順に動くことになる。システム側では、この４，５，６，７の順をユーザのパスワードと擬制してユーザ識別情報に関連付けて記憶するのである。 For example, it is assumed that the user determines his / her own passcode as 1, 2, 3, 4 and remembers it. When the input keys displayed on the display panel are as shown in FIG. 4 (1) and the user gazes at 1, 2, 3, and 4 in order, as shown by the arrows in FIG. 4 (2). The intersection coordinates of the line of sight (visual axis) and the display panel move. On the other hand, the coordinates of the intersection of the optical axis of the eyeball and the display panel are 4, 5, 6, as indicated by the arrows shown in FIG. 4 (3) due to the influence of the deviation angle (κ angle) between the optical axis of the eyeball and the visual axis. It will move in the order of 7. On the system side, the order of 4, 5, 6 and 7 is assumed to be a user password and stored in association with user identification information.
ユーザは、表示パネルに表示された入力キーを見る立ち位置をいつも同じにして、自身パスコードとして覚えている１，２，３，４を順に注視することにより、システム側では、眼球の光軸と表示パネルの交点座標が４，５，６，７のであることから、認証されることになる。
このように、実施例３の個人認証方法の場合、システム側では、眼球の光軸と視軸のズレ角（κ角）を計算する必要がない。さらに、ユーザは、パスコード以外に立ち位置を覚えておかなければいけないことから、これがユーザしか知り得ない情報となり、より強力なパスコードになるかもしれないであろう。例えば、表示パネルに表示される入力キーのサイズが固定である場合、ユーザが正しい立ち位置から後ろにさがると、１を注視したときには眼球の光軸と表示パネルの交点座標はズレ角の影響が更に大きく現れ、７となってしまう。一方、正しい立ち位置から表示パネルに近づくと、１を注視したときには眼球の光軸と表示パネルの交点座標はズレ角の影響が小さくなって同じ１になってしまう。すなわち、立ち位置が変わることで、ユーザ識別情報に関連付けて記憶されているコード（パスコードと擬制したコード）と一致しなくなり、認証されないことになる。この点で、立ち位置も個人認証の要素になるのである。
The user always keeps the same standing position when looking at the input keys displayed on the display panel, and by paying attention to 1, 2, 3, and 4 that are remembered as the passcode in order, the system side, the optical axis of the eyeball Since the intersection coordinates of the display panel are 4, 5, 6, and 7, authentication is performed.
As described above, in the case of the personal authentication method according to the third embodiment, the system does not need to calculate the deviation angle (κ angle) between the optical axis of the eyeball and the visual axis. Furthermore, since the user must remember the standing position other than the passcode, this may become information that only the user can know and may become a stronger passcode. For example, if the size of the input key displayed on the display panel is fixed, and the user looks back from the correct standing position, when the user gazes at 1, the intersection coordinates of the optical axis of the eyeball and the display panel are affected by the shift angle. It appears even larger and becomes 7. On the other hand, when approaching the display panel from the correct standing position, when the gaze is 1, the intersection coordinates of the optical axis of the eyeball and the display panel become the same 1 due to the effect of the deviation angle. That is, when the standing position is changed, it does not match the code stored in association with the user identification information (the code imitated with the pass code) and is not authenticated. In this respect, the standing position is also an element of personal authentication.
図２０は、実施例３の個人認証方法における登録ステップ及び認証ステップの処理フローを示している。図２０に示すように、登録ステップにおいては、まず、ユーザ毎にユーザ識別情報を設定する（Ｓ２１）。ユーザは自身のパスコードを決定する（Ｓ２２）。ここで、決定されたパスコードはユーザ自身が覚えていればよく、システム側に設定登録する必要はない。次に、ユーザ毎に、表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測する（Ｓ２３）。そして、計測された眼球の光軸の向きと表示パネルの空間的な３次元座標から眼球の光軸と表示パネルの交点座標を算出する（Ｓ２４）。そして、交点座標に位置する入力キーに対応するコードを、ユーザ識別情報に関連付けしてデータベースに登録する（Ｓ２５）。 FIG. 20 shows a processing flow of the registration step and the authentication step in the personal authentication method of the third embodiment. As shown in FIG. 20, in the registration step, first, user identification information is set for each user (S21). The user determines his / her passcode (S22). Here, it is only necessary for the user to remember the determined passcode, and it is not necessary to set and register it on the system side. Next, for each user, when the input key displayed on the display panel is watched, the direction of the optical axis of the eyeball is measured by the camera (S23). Then, the intersection coordinates of the optical axis of the eyeball and the display panel are calculated from the measured direction of the optical axis of the eyeball and the spatial three-dimensional coordinates of the display panel (S24). And the code | cord | chord corresponding to the input key located in an intersection coordinate is linked | related with user identification information, and is registered into a database (S25).
図２０に示すように、認証ステップにおいては、まず、ユーザ識別情報を入力する（Ｓ３１）。入力キーを表示パネルに表示する（Ｓ３２）。入力キーが注視された状態を確定する（Ｓ３３）。入力キーが注視された際の眼球の光軸の向きと計測角度をカメラ計測する（Ｓ３４）。計測された眼球の光軸と表示パネルのワールド座標を算出する（Ｓ３５）。表示パネルのピクセル情報と、眼球の光軸座標とから、眼球の光軸の向きに位置する入力キーに対応するコードを算定する（Ｓ３６）。そして、算定されたコードとユーザ識別情報に関連付けて登録されているコードとを照合する（Ｓ３７）。照合の結果、認証がエラーとなり、再度認証を試みるときは、もう一度認証ステップを行う（Ｓ３１〜３７）。 As shown in FIG. 20, in the authentication step, first, user identification information is input (S31). The input key is displayed on the display panel (S32). The state in which the input key is watched is determined (S33). The direction of the optical axis of the eyeball when the input key is watched and the measurement angle are measured by the camera (S34). The optical axis of the measured eyeball and the world coordinates of the display panel are calculated (S35). A code corresponding to the input key positioned in the direction of the optical axis of the eyeball is calculated from the pixel information of the display panel and the optical axis coordinates of the eyeball (S36). Then, the calculated code and the code registered in association with the user identification information are collated (S37). If authentication results in an error as a result of verification and authentication is attempted again, the authentication step is performed again (S31 to 37).
図２１は、実施例３の個人認証システムのフローを示している。例えば、ユーザＩＤ等のユーザ識別情報を入力端末が読み込むと、入力端末から認証サーバへユーザ識別情報が送信される。認証サーバ側では、受信したユーザ識別情報を用いて、データベースから登録されているコードを読込む。ユーザが表示パネルに表示された入力キーを注視すると（例えば、パスコードが３ケタの数字コードであれば、３つの数字を順に注視する）、表示パネルのピクセル情報および眼球の光軸座標（３ケタの数字コードを順に注視した際の３つの光軸座標）が、入力端末から認証サーバへ送信される。
認証サーバ側では、表示パネルのピクセル情報と光軸座標から、光軸の向きに位置するコードを算定し、これをデータベースから読込んだコードと照合し、照合結果が認証サーバから入力端末へ送信される。
FIG. 21 shows a flow of the personal authentication system of the third embodiment. For example, when the input terminal reads user identification information such as a user ID, the user identification information is transmitted from the input terminal to the authentication server. On the authentication server side, the registered code is read from the database using the received user identification information. When the user gazes at the input key displayed on the display panel (for example, if the passcode is a three-digit numeric code, the user gazes at three numbers in order), the pixel information on the display panel and the optical axis coordinates of the eyeball (3 The three optical axis coordinates when the digit codes of the digits are closely watched are transmitted from the input terminal to the authentication server.
On the authentication server side, the code located in the direction of the optical axis is calculated from the pixel information on the display panel and the optical axis coordinates, this is compared with the code read from the database, and the verification result is sent from the authentication server to the input terminal. Is done.
本発明は、視線を用いた個人認証に有用である。 The present invention is useful for personal authentication using a line of sight.
１ 個人認証システム
２ 入力端末
３ 認証サーバ
４ ユーザ
５ ネットワーク
６ 個人間分散幅
７ 視線計測対象範囲
８ 眼球
９ 中心窩
１０ 視軸
１１ 眼球の光軸
２１ 表示装置
２１ａ〜２１ｄ 表示画面
２１ｅ 欄外
２２ 確定装置
２３ 計測装置
２４ 識別装置
３１ データベース
３２ 照合手段
Ｗ ボタンサイズ
DESCRIPTION OF SYMBOLS 1 Personal authentication system 2 Input terminal 3 Authentication server 4 User 5 Network 6 Individual dispersion | distribution width 7 Range of gaze measurement object 8 Eyeball 9 Fovea 10 Visual axis 11 Optical axis of eyeball 21 Display device 21a-21d Display screen 21e Outer margin 22 Determination device 23 Measuring device 24 Identification device 31 Database 32 Verification means W Button size
Claims (26)
ユーザ識別情報を入力し、表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、表示パネルの空間的な３次元座標と、眼球の光軸の向きと、入力されたユーザ識別情報に関連付けて予め登録された眼球の光軸と視軸のズレ角から、パスコードを算定して、登録されたパスコードと照合することを特徴とする個人認証方法。 In the personal authentication method of entering a passcode with a line of sight,
When the user identification information is input and the input key displayed on the display panel is watched, the direction of the optical axis of the eyeball is measured by the camera, the spatial three-dimensional coordinates of the display panel, and the direction of the optical axis of the eyeball And a personal identification method characterized in that a pass code is calculated from a deviation angle between the optical axis of the eyeball and the visual axis registered in advance in association with the input user identification information and collated with the registered passcode .
登録ステップは、
ユーザ毎にユーザ識別情報を設定するユーザ識別情報設定ステップと、
ユーザ毎にパスコードを設定するパスコード設定ステップと、
ユーザ毎に、眼球の光軸と視軸とのズレ角を計測するズレ角計測ステップと、
パスコードとズレ角を、ユーザ識別情報に関連付けして登録する記憶ステップ、
から成り、
認証ステップは、
ユーザ識別情報を入力するユーザ識別情報入力ステップと、
入力キーを表示パネルに表示する入力キー表示ステップと、
入力キーが注視された状態を確定する注視状態確定ステップと、
入力キーが注視された際の眼球の光軸の向きをカメラ計測する光軸計測ステップと、
計測された眼球の光軸の向きと表示パネルの空間的な３次元座標から眼球の光軸と表示パネルの交点座標を算出する座標算出ステップと、
表示パネルのピクセル情報と、前記交点座標と、入力されたユーザ識別情報に関連付けされたズレ角とから、注視されたパスコードを算定するパスコード算定ステップと、
算定されたパスコードと予め設定したパスコードとを照合するパスコード照合ステップ、
から成ることを特徴とする請求項１に記載の個人認証方法。 The personal authentication method consists of a registration step and an authentication step.
The registration step is
A user identification information setting step for setting user identification information for each user;
A passcode setting step for setting a passcode for each user;
For each user, a deviation angle measuring step for measuring a deviation angle between the optical axis of the eyeball and the visual axis,
A storage step of registering the passcode and the misalignment angle in association with the user identification information;
Consisting of
The authentication step is
A user identification information input step for inputting user identification information;
An input key display step for displaying the input key on the display panel;
A gaze state determination step for determining a state in which the input key is watched;
An optical axis measurement step for measuring the direction of the optical axis of the eyeball when the input key is watched by the camera;
A coordinate calculation step of calculating the intersection coordinates of the optical axis of the eyeball and the display panel from the measured direction of the optical axis of the eyeball and the spatial three-dimensional coordinates of the display panel;
A passcode calculating step for calculating a watched passcode from the pixel information of the display panel, the intersection coordinates, and the shift angle associated with the input user identification information;
A passcode verification step for verifying the calculated passcode with a preset passcode;
The personal authentication method according to claim 1, comprising:
１）認証サーバは、
ユーザ毎に計測した眼球の光軸と視軸とのズレ角および設定されたパスコードが、ユーザ識別情報に関連付けして予め記憶されたデータベースを備え、
入力端末から受信したユーザ識別情報と、表示パネルのピクセル情報と、眼球の光軸の向きと表示パネルの空間的な３次元座標と、前記データベースに記憶されたズレ角とから、注視されたパスコードを算定し、前記データベースに記憶されたパスコードと照合し、照合結果を入力端末に送信する、
２）入力端末は、
ユーザ識別情報入力手段と、カメラ計測手段と、入力キーを表示する表示パネルとを備え、
ユーザ識別情報入力手段からユーザ識別情報を読み取り、認証サーバに送信し、
表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、計測された眼球の光軸の向きと表示パネルの空間的な３次元座標と、表示パネルのピクセル情報を認証サーバに送信する、
ことを特徴とする個人認証システム。 In an authentication system in which an input terminal and an authentication server are connected via a network,
1) The authentication server
A deviation angle between the optical axis of the eyeball measured for each user and the visual axis and a set passcode are stored in advance in association with user identification information,
From the user identification information received from the input terminal, the pixel information of the display panel, the direction of the optical axis of the eyeball, the spatial three-dimensional coordinates of the display panel, and the misalignment angle stored in the database, the observed path Calculating the code, verifying it with the passcode stored in the database, and transmitting the verification result to the input terminal;
2) The input terminal is
User identification information input means, camera measurement means, and a display panel for displaying input keys,
Read the user identification information from the user identification information input means, send it to the authentication server,
When the input key displayed on the display panel is watched, the direction of the optical axis of the eyeball is measured by the camera, the direction of the optical axis of the measured eyeball, the spatial three-dimensional coordinates of the display panel, and the display panel Send pixel information to the authentication server,
A personal authentication system characterized by that.
前記データベースと、
入力端末からユーザ識別情報を受信するユーザ識別情報受信手段と、
入力端末から受信したユーザ識別情報を用いて、前記データベースを参照して当該ユーザの前記ズレ角を読み込むズレ角読込み手段と、
表示パネルのピクセル情報と、眼球の光軸の向きと表示パネルの空間的な３次元座標とを入力端末から受信する座標受信手段と、
入力端末から受信した表示パネルのピクセル情報と前記３次元座標と、前記ズレ角とから、注視されたパスコードを算定するパスコード算定手段と、
算定されたパスコードと前記データベースに記憶されたパスコードとを照合するパスコード照合手段と、
照合結果を入力端末に送信する照合結果送信手段、
から構成される認証サーバ。 An authentication server in the personal authentication system according to claim 12,
The database;
User identification information receiving means for receiving user identification information from the input terminal;
Using the user identification information received from the input terminal, referring to the database, a deviation angle reading means for reading the deviation angle of the user,
Coordinate receiving means for receiving from the input terminal pixel information of the display panel, the direction of the optical axis of the eyeball, and the spatial three-dimensional coordinates of the display panel;
Passcode calculation means for calculating a watched passcode from the pixel information of the display panel received from the input terminal, the three-dimensional coordinates, and the shift angle;
Passcode verification means for verifying the calculated passcode and the passcode stored in the database;
A verification result transmitting means for transmitting the verification result to the input terminal;
An authentication server consisting of
前記ユーザ識別情報入力手段と、
前記カメラ計測手段と、
前記表示パネルと、
前記ユーザ識別情報入力手段から読み取ったユーザ識別情報を認証サーバに送信するユーザ識別情報送信手段と、
入力キーを表示パネルに表示する入力キー表示手段と、
入力キーが注視された状態を確定する注視状態確定手段と、
入力キーが注視された際に、眼球の光軸の向きをカメラ計測する光軸計測手段と、
表示パネルのピクセル情報と、眼球の光軸の向きと表示パネルの空間的な３次元座標とを認証サーバに送信する座標送信手段、
認証サーバから照合結果を受信し照合結果を出力する照合結果出力手段、
から構成される入力端末。 An input terminal in the personal authentication system according to claim 12,
The user identification information input means;
The camera measuring means;
The display panel;
User identification information transmitting means for transmitting user identification information read from the user identification information input means to an authentication server;
An input key display means for displaying the input key on the display panel;
Gaze state determination means for determining a state in which the input key is being watched;
An optical axis measuring means for measuring the direction of the optical axis of the eyeball by the camera when the input key is watched;
Coordinate transmission means for transmitting the pixel information of the display panel, the direction of the optical axis of the eyeball, and the spatial three-dimensional coordinates of the display panel to the authentication server;
A verification result output means for receiving the verification result from the authentication server and outputting the verification result;
An input terminal consisting of
コンピュータを、
前記ユーザ識別情報受信手段、
前記ズレ角読込み手段、
前記座標受信手段、
前記パスコード算定手段、
前記パスコード照合手段、
前記照合結果送信手段、
として機能させるためのプログラム。 A program installed in the authentication server of claim 19,
Computer
The user identification information receiving means;
The deviation angle reading means;
The coordinate receiving means;
The passcode calculating means,
The passcode verification means;
The verification result transmitting means;
Program to function as.
コンピュータを、
前記ユーザ識別情報送信手段、
前記入力キー表示手段、
入力キーが注視された状態を検知する手段、
前記光軸計測手段、
前記座標送信手段、
前記照合結果出力手段、
として機能させるためのプログラム。 A program installed in the input terminal of claim 20,
Computer
The user identification information transmitting means;
The input key display means;
Means for detecting when the input key is watched,
The optical axis measuring means;
The coordinate transmission means;
The collation result output means;
Program to function as.
ユーザ識別情報を入力し、表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、表示パネルの空間的な３次元座標と、眼球の光軸の向きと、入力されたユーザ識別情報に関連付けて予め登録された前記光軸の向きに位置する表示パネル上の入力キーに対応するコードとを用いて認証を行うことを特徴とする個人認証方法。 In the personal authentication method of entering a passcode with a line of sight,
When the user identification information is input and the input key displayed on the display panel is watched, the direction of the optical axis of the eyeball is measured by the camera, the spatial three-dimensional coordinates of the display panel, and the direction of the optical axis of the eyeball And a code corresponding to the input key on the display panel located in the direction of the optical axis registered in advance in association with the input user identification information, and performing personal authentication.
登録ステップは、
ユーザ毎にユーザ識別情報を設定するユーザ識別情報設定ステップと、
ユーザ自身がパスコードを決定するパスコード決定ステップと、
ユーザ毎に、表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測する光軸事前計測ステップと、
計測された眼球の光軸の向きと表示パネルの空間的な３次元座標から眼球の光軸と表示パネルの交点座標を算出する座標事前算出ステップと、
前記交点座標に位置する入力キーに対応するコードを、ユーザ識別情報に関連付けして登録する記憶ステップ、
から成り、
認証ステップは、
ユーザ識別情報を入力するユーザ識別情報入力ステップと、
入力キーを表示パネルに表示する入力キー表示ステップと、
入力キーが注視された状態を確定する注視状態確定ステップと、
入力キーが注視された際の眼球の光軸の向きをカメラ計測する光軸計測ステップと、
計測された眼球の光軸の向きと表示パネルの空間的な３次元座標から眼球の光軸と表示パネルの交点座標を算出する座標算出ステップと、
表示パネルのピクセル情報と、前記交点座標とから、眼球の光軸の向きに位置する入力キーに対応するコードを算定するコード算定ステップと、
算定されたコードとユーザ識別情報に関連付けて登録されているコードとを照合するコード照合ステップ、
から成ることを特徴とする請求項２４に記載の個人認証方法。 The personal authentication method consists of a registration step and an authentication step.
The registration step is
A user identification information setting step for setting user identification information for each user;
A passcode determination step in which the user himself determines the passcode;
For each user, when an input key displayed on the display panel is watched, an optical axis pre-measurement step for measuring the direction of the optical axis of the eyeball by a camera;
A coordinate pre-calculation step of calculating the intersection coordinates of the optical axis of the eyeball and the display panel from the measured direction of the optical axis of the eyeball and the spatial three-dimensional coordinates of the display panel;
A storage step of registering the code corresponding to the input key located at the intersection coordinates in association with the user identification information;
Consisting of
The authentication step is
A user identification information input step for inputting user identification information;
An input key display step for displaying the input key on the display panel;
A gaze state determination step for determining a state in which the input key is watched;
An optical axis measurement step for measuring the direction of the optical axis of the eyeball when the input key is watched by the camera;
A coordinate calculation step of calculating the intersection coordinates of the optical axis of the eyeball and the display panel from the measured direction of the optical axis of the eyeball and the spatial three-dimensional coordinates of the display panel;
A code calculating step for calculating a code corresponding to an input key located in the direction of the optical axis of the eyeball from the pixel information of the display panel and the intersection coordinates;
A code verification step for verifying the calculated code and the code registered in association with the user identification information;
The personal authentication method according to claim 24, comprising:
１）認証サーバは、
ユーザ毎に計測した眼球の光軸と表示パネルの交点座標に位置する入力キーに対応するコードが、ユーザ識別情報に関連付けして予め記憶されたデータベースを備え、
入力端末から受信したユーザ識別情報と、表示パネルのピクセル情報と、眼球の光軸の向きと表示パネルの空間的な３次元座標とから、眼球の光軸の向きに位置する入力キーに対応するコードを算定し、前記データベースに記憶されたコードと照合し、照合結果を入力端末に送信する、
２）入力端末は、
ユーザ識別情報入力手段と、カメラ計測手段と、入力キーを表示する表示パネルとを備え、
ユーザ識別情報入力手段からユーザ識別情報を読み取り、認証サーバに送信し、
表示パネルに表示された入力キーが注視された際に、眼球の光軸の向きをカメラ計測し、計測された眼球の光軸の向きと表示パネルの空間的な３次元座標と、表示パネルのピクセル情報を認証サーバに送信する、
ことを特徴とする個人認証システム。
In an authentication system in which an input terminal and an authentication server are connected via a network,
1) The authentication server
A code corresponding to the input key located at the intersection coordinates of the optical axis of the eyeball measured for each user and the display panel is stored in advance in association with the user identification information,
Corresponds to the input key located in the direction of the optical axis of the eyeball from the user identification information received from the input terminal, the pixel information of the display panel, the direction of the optical axis of the eyeball and the spatial three-dimensional coordinates of the display panel Calculate the code, match the code stored in the database, and send the verification result to the input terminal.
2) The input terminal is
User identification information input means, camera measurement means, and a display panel for displaying input keys,
Read the user identification information from the user identification information input means, send it to the authentication server,
When the input key displayed on the display panel is watched, the direction of the optical axis of the eyeball is measured by the camera, the direction of the optical axis of the measured eyeball, the spatial three-dimensional coordinates of the display panel, and the display panel Send pixel information to the authentication server,
A personal authentication system characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016049053A JP6793363B2 (en) | 2016-03-13 | 2016-03-13 | Personal authentication method and personal authentication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016049053A JP6793363B2 (en) | 2016-03-13 | 2016-03-13 | Personal authentication method and personal authentication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017162420A true JP2017162420A (en) | 2017-09-14 |
| JP6793363B2 JP6793363B2 (en) | 2020-12-02 |
Family
ID=59857140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016049053A Active JP6793363B2 (en) | 2016-03-13 | 2016-03-13 | Personal authentication method and personal authentication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6793363B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310512A (en) * | 2018-12-11 | 2020-06-19 | 杭州海康威视数字技术股份有限公司 | User identity authentication method and device |
| WO2021220423A1 (en) * | 2020-04-28 | 2021-11-04 | 日本電気株式会社 | Authentication device, authentication system, authentication method, and authentication program |
| JP7434565B2 (en) | 2019-12-16 | 2024-02-20 | エレメント インク． | Methods, systems, and media for anti-spoofing using eye tracking |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7986816B1 (en) * | 2006-09-27 | 2011-07-26 | University Of Alaska | Methods and systems for multiple factor authentication using gaze tracking and iris scanning |
| JP2011172853A (en) * | 2010-02-25 | 2011-09-08 | Kobe Univ | Device, method and program for measuring visual axis |
| JP2012226665A (en) * | 2011-04-21 | 2012-11-15 | Canon Inc | Information processing device, processing method thereof, program and imaging apparatus |
-
2016
- 2016-03-13 JP JP2016049053A patent/JP6793363B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7986816B1 (en) * | 2006-09-27 | 2011-07-26 | University Of Alaska | Methods and systems for multiple factor authentication using gaze tracking and iris scanning |
| JP2011172853A (en) * | 2010-02-25 | 2011-09-08 | Kobe Univ | Device, method and program for measuring visual axis |
| JP2012226665A (en) * | 2011-04-21 | 2012-11-15 | Canon Inc | Information processing device, processing method thereof, program and imaging apparatus |
Non-Patent Citations (2)
| Title |
|---|
| MANU KUMAR ET AL.: "Reducing Shoulder-surfing by Using Gaze-based Password Entry", SOUPS '07, JPN6019049867, 18 July 2007 (2007-07-18), pages 13 - 19, XP058272922, ISSN: 0004282994, DOI: 10.1145/1280680.1280683 * |
| 長松 隆: "基礎研究", 画像ラボ 第２１巻 第１２号 IMAGE LABORATORY, vol. 第21巻, JPN6019049866, 10 December 2010 (2010-12-10), JP, pages 57 - 63, ISSN: 0004178758 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310512A (en) * | 2018-12-11 | 2020-06-19 | 杭州海康威视数字技术股份有限公司 | User identity authentication method and device |
| CN111310512B (en) * | 2018-12-11 | 2023-08-22 | 杭州海康威视数字技术股份有限公司 | User identity authentication method and device |
| JP7434565B2 (en) | 2019-12-16 | 2024-02-20 | エレメント インク． | Methods, systems, and media for anti-spoofing using eye tracking |
| WO2021220423A1 (en) * | 2020-04-28 | 2021-11-04 | 日本電気株式会社 | Authentication device, authentication system, authentication method, and authentication program |
| JP7428242B2 (en) | 2020-04-28 | 2024-02-06 | 日本電気株式会社 | Authentication device, authentication system, authentication method and authentication program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6793363B2 (en) | 2020-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102441716B1 (en) | Facial recognition authentication system including path parameters | |
| US20240211567A1 (en) | Facial recognition authentication system and method | |
| US10567376B2 (en) | System and method for providing secure access to an electronic device using multifactor authentication | |
| JP6762380B2 (en) | Identification method and equipment | |
| US10635795B2 (en) | Dynamic graphic eye-movement authentication system and method using face authentication or hand authentication | |
| US7630524B2 (en) | Biometric identification and authentication method | |
| CN104541277B (en) | User authen method and customer certification system | |
| US9275213B2 (en) | Method and system for securing the entry of data to a device | |
| US20160132670A1 (en) | Systems and methods for authenticating user identity based on user-defined image data | |
| KR20170138475A (en) | Identification and / or authentication of the user using gaze information | |
| US10460096B2 (en) | Motion-based identity authentication of an individual | |
| JP6793363B2 (en) | Personal authentication method and personal authentication system | |
| US20230177128A1 (en) | Authentication and calibration via gaze tracking | |
| US20230073410A1 (en) | Facial recognition and/or authentication system with monitored and/or controlled camera cycling | |
| KR20190095141A (en) | Face authentication method | |
| TW201535138A (en) | An authorization method and system based on eye movement behavior | |
| CA2910929C (en) | Systems and methods for authenticating user identity based on user-defined image data | |
| TWM483471U (en) | An authorization system based on eye movement behavior | |
| TWI827155B (en) | Unlocking methods using augmented reality | |
| KR20160028705A (en) | User identification method using mobile communication terminal and apparatus performing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190125 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200218 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200611 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200824 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200824 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200901 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201027 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6793363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |