JPH02193641A - Watching direction detection method - Google Patents
Watching direction detection methodInfo
- Publication number
- JPH02193641A JPH02193641A JP1011858A JP1185889A JPH02193641A JP H02193641 A JPH02193641 A JP H02193641A JP 1011858 A JP1011858 A JP 1011858A JP 1185889 A JP1185889 A JP 1185889A JP H02193641 A JPH02193641 A JP H02193641A
- Authority
- JP
- Japan
- Prior art keywords
- person
- eyeball
- subject
- image
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title description 7
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 47
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 210000001747 pupil Anatomy 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 abstract description 12
- 210000003128 head Anatomy 0.000 abstract description 11
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
【発明の詳細な説明】
（発明の属する技術分野）
本発明は１人物と非接触で人の注視（目の動き）方向を
検出する方法に関するものである。DETAILED DESCRIPTION OF THE INVENTION (Technical field to which the invention pertains) The present invention relates to a method for detecting the direction of gaze (eye movement) of a person without contacting the person.
（従来の技術）
事務機器、電子機器等の端末機に従事している人の目の
疲労度等の内部状態を研究する分野、あるいは、手足の
不自由な身体障害者のコミュニケーションの補助手段と
して１人の注視方向検出方法を用いて行なわれている。(Prior art) Field of research into the internal state of people who work with terminal devices such as office equipment and electronic equipment, such as the level of eye fatigue This is done using a single person's gaze direction detection method.
即ち、従来より、人の目の動きを追跡、処理する方法に
は、頭部等に測定装置の一部を装着して測定を行う方法
がある。また、眼球運動を追従する場合には、人体の一
部もしくは、すべてを固定して行うので１本来の運動の
自由度に制約をもたせてしまい、不自然な眼球運動のデ
ータしか得られていなかった。That is, conventionally, as a method for tracking and processing the movement of a person's eyes, there is a method in which a part of a measuring device is attached to the head or the like to perform measurements. Furthermore, when tracking eyeball movements, part or all of the human body is fixed, which limits the original degree of freedom of movement, resulting in unnatural eye movement data being obtained. Ta.
第５図は人（以下、被験者という）の頭部１ａと眼球運
動検出器２の距離をある一定の間隔で固定した後、該眼
球運動検出器２から測定用光線を眼球１ｂに照射する。In FIG. 5, the distance between the head 1a of a person (hereinafter referred to as a subject) and the eyeball movement detector 2 is fixed at a certain interval, and then the eyeball 1b is irradiated with a measurement light beam from the eyeball movement detector 2.
そして、眼球１ｂから反射した光線を再び前記眼球運動
検出器２に取り込み、データ処理を施して、被験者の眼
球１ｂの動き量を検出する。これは、被験者の比較的早
い動きの場合には、頭部１ａに装着した眼球運動検出器
２と眼球１ｂとの相対位置が初期設定位置とずれるとい
う欠点がある。Then, the light beam reflected from the eyeball 1b is taken into the eyeball movement detector 2 again and subjected to data processing to detect the amount of movement of the subject's eyeball 1b. This has the disadvantage that when the subject moves relatively quickly, the relative position between the eyeball movement detector 2 attached to the head 1a and the eyeball 1b deviates from the initial setting position.
また、第６図は被験者の頭部１ａを複数個の金具類３で
固定し、第５図と同様に眼球運動検出器２から測定用光
線を眼球１ｂに照射し、該眼球から反射した光線を再び
前記眼球運動検出器２に取り込み、データ処理を施して
被験者の眼球１ｂの微動な動きを検出可能とする。これ
は、第５図に比べより精度の高いデータを検出できる反
面、広範囲の動きを伴なったより自然なデータを得るこ
とができないという欠点がある。In addition, in FIG. 6, the subject's head 1a is fixed with a plurality of metal fittings 3, and the eyeball 1b is irradiated with a measuring light beam from the eye movement detector 2 in the same manner as in FIG. 5, and the light beam reflected from the eyeball is is again taken into the eyeball movement detector 2 and subjected to data processing to make it possible to detect minute movements of the subject's eyeball 1b. Although this method can detect data with higher precision than the method shown in FIG. 5, it has the disadvantage that it is not possible to obtain more natural data that involves a wide range of motion.
また、第７図は被験者の眼球１ｂの角膜１ｃに電磁誘導
コイル付きコンタクトレンズ４を取り付けて１頭部１ａ
の周囲に交流磁場を作り、眼球１ｂの運動によりコンタ
クトレンズ４のコイルに誘導される交流電位の変化から
眼球運動を検出する。これは、リアルタイム性に優れて
いるが、＠球運動の動きを直接的にコンタクトレンズ４
により制約しているので、やはり自然的なデータを得る
ことができないという欠点がある。In addition, FIG. 7 shows that a contact lens 4 with an electromagnetic induction coil is attached to the cornea 1c of the eyeball 1b of the subject.
An alternating current magnetic field is created around the eyeball 1b, and eyeball movement is detected from changes in the alternating current potential induced in the coil of the contact lens 4 due to the movement of the eyeball 1b. This has excellent real-time performance, but it also allows you to directly measure the movement of the ball through the contact lens 4.
However, there is a drawback that natural data cannot be obtained.
このように従来の注視方向検出方法は、被験者に対し何
等かの部材を装着する必要があり、自然な眼球運動を制
約するという問題があった。As described above, the conventional gaze direction detection method requires the subject to wear some kind of member, which has the problem of restricting natural eye movement.
（発明の目的）
本発明は、上記従来方法の問題点を解決し、より自然な
被験者の動きのもとで、眼球運動特性を検出するため、
被験者とは非接触によりその注視方向を検出できる検出
方法をうることを目的とする。(Objective of the Invention) The present invention solves the problems of the conventional method described above and detects eye movement characteristics under more natural movements of the subject.
The purpose of this study is to develop a detection method that can detect the gaze direction of a subject without contact with the subject.
（発明の構成）
（発明の特徴と従来技術との差異）
本発明は上記目的を達成するため、複数のハーフミラ−
を並列配置し、該ハーフミラ−により形成された複数の
光学路を含む撮像系内に人物像を取り込む際、特定のパ
ターンを該人物像に投影し、その特定のパターンを前記
撮像系により認識し５当該人物像の眼球位置を検出する
とともに、瞳孔上における前記特定パターンの反射パタ
ーンの位置、形状より注視方向を画像処理することを最
も主要な特徴とする。(Structure of the Invention) (Characteristics of the Invention and Differences from the Prior Art) In order to achieve the above object, the present invention includes a plurality of half mirrors.
When capturing an image of a person into an imaging system including a plurality of optical paths formed by the half mirrors arranged in parallel, a specific pattern is projected onto the image of the person, and the specific pattern is recognized by the imaging system. 5 The most important feature is to detect the eyeball position of the human image and to perform image processing on the direction of gaze based on the position and shape of the reflection pattern of the specific pattern on the pupil.
従来技術とは被験者に非接触で、目の自然の動きを追従
し、その注視方向を検出できる点が異なる。This method differs from conventional technology in that it can follow the natural movement of the eyes and detect the direction of gaze without contacting the subject.
（実施例）
本発明方法を実施するための基本構成は、被験者の向い
ている方向を検出するために、該被験者の前方に配置し
た赤外線素子より予め特定したパターンを照射しておき
、被験者の反射パターンを光学的に並列に取り込む光学
路上に配置した赤外線透過フィルターを介して撮像カメ
ラに取り込み。(Example) The basic configuration for carrying out the method of the present invention is that in order to detect the direction in which the subject is facing, a prespecified pattern is emitted from an infrared element placed in front of the subject. The reflected patterns are captured into the imaging camera via an infrared transmission filter placed on the optical path that captures them optically in parallel.
その反射パターンの位置、形状より注視方向を画像処理
により検出するものである。The direction of gaze is detected by image processing based on the position and shape of the reflection pattern.
ここで、頭部での赤外線照射による反射像は、眼球のみ
であり、頭部以外からの反射像、たとえば、眼鏡、ネッ
クレス等によるものは、その反射率が異なることと、そ
の大きさが異なることで眼球からの反射像とは容易に識
別される。Here, the reflected image due to infrared irradiation on the head is only the eyeball, and the reflected image from other than the head, such as from glasses, necklaces, etc., has a different reflectance and a different size. Therefore, it can be easily distinguished from the reflected image from the eyeball.
また、照射するパターンは一般に黒、もしくは、黒に近
い。黒付近の色度をもつ物体は、可視光より波長の長い
赤外線を吸収する。そこで、眼球に向けて赤外線を照射
するのならば、光は、瞳孔を通り抜け、眼球の奥より反
射し、再び瞳孔を通過する。眼球内部より反射した光と
その表面で反射した光は、光の輝度が異なっているので
、瞳孔を抽出できる。Further, the irradiated pattern is generally black or close to black. Objects with a chromaticity near black absorb infrared light, which has a longer wavelength than visible light. Therefore, if infrared rays are directed at the eyeball, the light passes through the pupil, is reflected from the back of the eyeball, and passes through the pupil again. Since the light reflected from inside the eyeball and the light reflected from the surface of the eyeball have different brightness, the pupil can be extracted.
第１図は本発明方法を実施するだめの光学系の構成図を
示す７図において、５は特定したパターンを発射する赤
外線素子、６は眼球切り出し用赤外線素子、７ａ、 ７
ｂ、 ７ｃ・・・は光学路８Ａを複数の光学路Ｂａｔ
８Ｊ ８ｃ・・・８ｎに分岐するためのハーフミラ−５
９は光学路８ｎを形成する全反射ミラー、１０ａは前記
分岐光学路８ａ上に設置された赤外線フィルターであり
、前記特定したパターンを発射する赤外線素子５より照
射された被験者の眼球１ｂ上の特定パターンの反射像（
反射パターン）を選択する。１０ｂは前記分岐光学路８
ｂ上に設置された赤外線フィルターであり、前記眼球切
り出し用赤外線素子６より照射された被験者の眼球１ｂ
からの反射像を選択する。ｌｌａ 、 １．１ｂ 、
ｌｌｃ・・・ｌｌｎは前記各分岐光学路８ａ、 ８ｂ、
８ｃ・・・８ｎに設けた結像レンズ、１．２ａ 、
１２ｂ 、 １２ｃ ”１２ｒＬは同じく前記各分岐光
学路に設けた撮像カメラ、１３は該複数個の撮像カメラ
１２ａ〜ｔ２ｎからの画像を演算処理を施す処理系であ
る。FIG. 1 shows a configuration diagram of an optical system for carrying out the method of the present invention, in which 5 is an infrared element that emits a specified pattern, 6 is an infrared element for cutting out an eyeball, 7a, 7
b, 7c... indicate that the optical path 8A is connected to a plurality of optical paths Bat.
8J Half mirror 5 for branching to 8c...8n
Reference numeral 9 indicates a total reflection mirror forming an optical path 8n, and reference numeral 10a indicates an infrared filter installed on the branching optical path 8a. Reflection image of the pattern (
reflection pattern). 10b is the branch optical path 8
The eyeball 1b of the subject is an infrared filter installed on the eyeball 1b, which is irradiated by the eyeball cutting infrared element 6.
Select the reflected image from. lla, 1.1b,
llc...lln are the respective branch optical paths 8a, 8b,
Imaging lens provided in 8c...8n, 1.2a,
12b, 12c'' and 12rL are imaging cameras provided in each of the branch optical paths, and 13 is a processing system that performs arithmetic processing on images from the plurality of imaging cameras 12a to t2n.
次に動作を第２図に示す特定パターン５ａ、第３図に示
す分離画像、及び第４図に示す被験者の代表的な注視方
向を示す各例図により以下説明する。Next, the operation will be explained below with reference to the specific pattern 5a shown in FIG. 2, the separated image shown in FIG. 3, and the example diagrams showing typical gaze directions of the subject shown in FIG. 4.
通常、可視光線、もしくは紫外線領域の波長を照射する
と眼球表面」−でほとんど反射してしまうので、眼球の
移動方向を確定することが難しい。Normally, when visible light or wavelengths in the ultraviolet region are irradiated, most of the light is reflected off the surface of the eyeball, making it difficult to determine the direction in which the eyeball is moving.
また、目の輪郭を抽出できるものの注視している方向ま
で検出することは難しい。Furthermore, although it is possible to extract the outline of the eyes, it is difficult to detect the direction in which the eye is being gazed.
そこで１本実施例では、上述したように光学装置側に特
定したパターンを発生させる赤外線素子５を配置し、目
の表面上に投影される特定パターン５ａ（第２図）の歪
みの度合いを像情報の１つとして取り込む。この時、照
射する波長は赤外線であるが眼球取り出し用赤外線素子
６と異なる。この赤外線を選んだ理由は、被験者が注視
している領域外からの光の認識を避けるためである。Therefore, in this embodiment, as described above, the infrared element 5 that generates a specified pattern is arranged on the optical device side, and the degree of distortion of the specified pattern 5a (FIG. 2) projected onto the surface of the eye is imaged. Take it in as a piece of information. At this time, the wavelength of the irradiation is infrared rays, which is different from that of the infrared element 6 for taking out the eyeball. The reason for choosing this infrared light was to avoid recognizing light from outside the area the subject was gazing at.
まず、被験者の頭部１ａをハーフミラ−７ａの前方に配
置し、赤外線素子５及び赤外線素子６を被験者に照射し
、第２図に示すように眼球１ｂの表面上には赤外Ｓ素子
５からの特定パターン５ａが投影されている。なお、第
２図の１ｄは眼球１ｂにおける虹彩及び瞳孔（斜線部分
）を示す。First, the subject's head 1a is placed in front of the half mirror 7a, and the infrared element 5 and infrared element 6 are irradiated onto the subject.As shown in FIG. A specific pattern 5a is projected. Note that 1d in FIG. 2 indicates the iris and pupil (shaded area) of the eyeball 1b.
被験者の情報（像）は光学路８Ａより、ハーフミラ−７
ａに入り、この光学路８Ａはｎ−１個のハーフミラ−７
ａ、 ７ｂ、 ７ｃ・・・と、１個の全反射ミラー９に
より、ｎ個の結像レンズｌｌａ 、 ｌｌｂ 、 ｌｌ
ｃ・”１１ｎへ分岐光学路８ａ、 ８ｂ、 ８ｃ・・・
８ｎを介して導かれる。この分岐光学路８ａ、８ｂでは
特定の画情報が赤外線フィルター１０ａ、１０ｂで選択
される。The information (image) of the subject is transmitted from the optical path 8A to the half mirror 7.
a, and this optical path 8A passes through n-1 half mirrors 7.
a, 7b, 7c... and one total reflection mirror 9, n imaging lenses lla, llb, ll
c. Branch optical paths 8a, 8b, 8c... to 11n.
8n. In these branch optical paths 8a, 8b, specific image information is selected by infrared filters 10a, 10b.
即ち、赤外線素子５より照射された特定パターン５ａは
、その反射パターン５ｂのみが第３図（１）に示すよう
に取り出される。また、赤外線素子６がら照射された反
射像は、被験者の瞳孔１ｄのみが第３図（２）に示すよ
うに取り出される。また、全反射ミラー９を介した被験
者の頭部１ａの像（顔）が第３図（３）に示すように取
り出される。なお、第３図に示されていないが分岐光学
路８ｃ・・・８ｎ−１からは可視像が取り出され、これ
らの各分離画像は撮像カメラ１２ａ 、 ！２ｂ 、
１２ｃ ・・４２ｎから演算処理系１３へ入力される。That is, only the reflected pattern 5b of the specific pattern 5a irradiated by the infrared element 5 is extracted as shown in FIG. 3(1). Further, from the reflected image emitted from the infrared element 6, only the pupil 1d of the subject is extracted as shown in FIG. 3(2). Further, an image (face) of the subject's head 1a is taken out through the total reflection mirror 9 as shown in FIG. 3(3). Although not shown in FIG. 3, visible images are taken out from the branch optical paths 8c...8n-1, and these separated images are captured by the imaging cameras 12a, ! 2b,
12c...Input to the arithmetic processing system 13 from 42n.
なお、第３図（１）。In addition, Fig. 3 (1).
（２）の頭部１ａの仮想破線は理解し易くするため画い
たものであり、撮像カメラ１２ａ、１２ｂには取り込ま
れない。The virtual broken line of the head 1a in (2) is drawn for ease of understanding and is not captured by the imaging cameras 12a and 12b.
第４図は上記第３図（１）の詳細図を示し、第４図（１
）〜（５）において、５ｂは赤外線素子５で投影された
特定パターン５ａの反射パターン、１ｅは被験者の鼻で
あり、その他の記号は第２図で示した眼球１ｂ、虹彩及
び瞳孔１ｄを表す。ここで、第４図（１）は、被験者が
ハーフミラ−７ａ方向の正面を注視した場合の、眼球１
ｂ上の特定パターン５ａの反射パターン５ｂと眼球１ｂ
等を示し、第４図（２）は被験者が右方向を注視した場
合の特定パターン５ａの反射パターン５ｂと眼球１ｂ等
の相対位置の関係を示す。以下同様に、第４図（３）は
被験者が左方向注視の場合、第４図（４）は上方向注視
の場合、第４図（５）の下方向注視の場合を夫々示し、
眼球１ｂの位置、反射パターン５ｂの歪みの度合いが異
なることが分る。Figure 4 shows a detailed view of Figure 3 (1) above.
) to (5), 5b is the reflection pattern of the specific pattern 5a projected by the infrared element 5, 1e is the subject's nose, and other symbols represent the eyeball 1b, iris, and pupil 1d shown in FIG. . Here, FIG. 4 (1) shows the eyeball 1 when the subject gazes at the front in the direction of the half mirror 7a.
Reflection pattern 5b of specific pattern 5a on b and eyeball 1b
FIG. 4(2) shows the relationship between the reflection pattern 5b of the specific pattern 5a and the relative position of the eyeball 1b etc. when the subject gazes in the right direction. Similarly, FIG. 4 (3) shows the case where the subject is gazing leftward, FIG. 4 (4) shows the case where the subject is gazing upward, and FIG. 4 (5) shows the case where the subject is gazing downward, respectively.
It can be seen that the position of the eyeball 1b and the degree of distortion of the reflection pattern 5b are different.
このようにした撮像カメラＨａ−１２ｎに分離した像と
像との位置合わせをより容易に行なえるようにするため
、１つの光学路８ｎだけは、直接に像を撮像カメラ１２
ｎに取り込むようにする。In order to more easily align the separated images to the imaging camera Ha-12n, only one optical path 8n directly transmits the image to the imaging camera 12n.
Make sure to import it into n.
次に、光学的処理を得た画像の処理を以下のように行う
。Next, the optically processed image is processed as follows.
まず、各光学路より入力した画像をそれぞれノイズの除
去を行う、赤外線フィルターを介して得られた２つの像
については、それぞれ輝度値の特に大きい像を含んでい
る。この輝度値の大きい所が眼球からの反射像である。First, two images obtained through an infrared filter that removes noise from images input from each optical path each include an image with a particularly large brightness value. The area where this brightness value is large is the reflected image from the eyeball.
１つの像は、特定のパターンであり、もう１つは、瞳孔
からの反射像である。これら２つの反射像に対して、１
次微分と２次微分の演算処理を行い、エツジ検出を施す
。One image is the specific pattern and the other is the reflected image from the pupil. For these two reflected images, 1
Calculation processing of the second-order differential and second-order differential is performed, and edge detection is performed.
特定パターンの歪み具合いは、初期登録した特定パター
ンとこれらエツジ像と照らし合わせることにより、わか
る。この歪み具合いから眼球の移動量と移動方向がわか
る。The degree of distortion of a specific pattern can be determined by comparing the initially registered specific pattern with these edge images. The amount and direction of movement of the eyeball can be determined from the degree of distortion.
フィルターを介さない像に関しては、フィルターを介し
て得られた眼球と眼球上の特定パターンの重ね合わせの
位置補正を行うための参照像として用いる。The image that is not filtered is used as a reference image for correcting the position of the superposition of the eyeball obtained through the filter and a specific pattern on the eyeball.
これらの合成された画像データより、これらの３つの像
を重ね合わせることにより人の注視方向を認識する。From these combined image data, the direction of a person's gaze is recognized by superimposing these three images.
以上述べた方法により、被験者の注視方向を実時間にて
行う。Using the method described above, the subject's gaze direction is determined in real time.
本実施例においては、赤外線素子５は撮像カメラの解像
度によって変更可能であることは言うまでもない。低解
像度の撮像カメラを使用する場合は被験者から２ｍ前方
の位置に一辺が２ｍの正方形に複数の素子で特定パター
ンを形成することにより検出可能であった。高解像度の
撮像カメラを使用する場合は被験者の前記２ｍに配置し
た一辺が５０Ｃ１１の正方形内に特定パターンを形成す
ることにより検出可能であった。In this embodiment, it goes without saying that the infrared element 5 can be changed depending on the resolution of the imaging camera. When using a low-resolution imaging camera, detection was possible by forming a specific pattern with a plurality of elements in a square with a side of 2 m at a position 2 m in front of the subject. When using a high-resolution imaging camera, detection was possible by forming a specific pattern within a square with a side of 50C11 placed 2 meters above the subject.
さらに、赤外線素子６は必ずしも必要ではなく、第３図
（１）及び（２）画像から注視方向の切り出しは低精度
となるが可能であった。また、特定パターンとしては実
施例に挙げた正方形頂点配置形だけでなくもっと複雑な
図形、たとえば、正１６角形頂点配置形、円形、文字形
、ランダム形などであっても動作は確認できた。Furthermore, the infrared element 6 is not necessarily necessary, and it was possible to cut out the viewing direction from the images in FIGS. 3(1) and 3(2), although with low accuracy. Moreover, the operation was confirmed not only for the square vertex arrangement mentioned in the example but also for more complicated figures such as regular hexagonal vertex arrangement, circles, character shapes, random shapes, etc. as specific patterns.
このように５一つの光路をハーフミラ−により取り込ん
だ像を分岐しているので、像と像のあいだの位置合わせ
が容易になっており、このため、演算処理系１３で演算
和を行う過程が簡単な構成で高速に行え、しかも容易に
組み込める。このように、画像データ上で輝度の違いに
よる分離を行うのではなく、光学的に前処理を行うので
、注視点の認識が高精度におこなえる。In this way, since the images captured by the single optical path 5 are branched by the half mirror, alignment between the images is facilitated, and for this reason, the process of performing the arithmetic sum in the arithmetic processing system 13 is simplified. It has a simple configuration, can be performed at high speed, and is easy to incorporate. In this way, since optical preprocessing is performed instead of separating image data based on differences in brightness, it is possible to recognize the gaze point with high precision.
（発明の効果）
以上説明したように本発明は、被験者とは非接触により
、特定パターンを被験者に照射し、比較的曖昧な画像の
中からも、該特定なパターンの反射像と眼球、鼻等の相
対的な位置を認識し選択する前処理を行なっているので
、より有効な画像データが得られ、被験者の注視方向を
より正確に検出できる。(Effects of the Invention) As explained above, the present invention irradiates the subject with a specific pattern without contacting the subject, and even from a relatively ambiguous image, the reflected image of the specific pattern, the eyeballs, the nose, etc. Since preprocessing is performed to recognize and select the relative positions of
第１図は本発明方法を実施するための光学系の構成図、
第２図は被験者の眼球に照射された特定パターンの一例
図、第３図は分離画像の各例図、第４図は被験者の代表
的な注視方向と被験者の眼球上に投影された特定パター
ンの眼球上での相対位置を示す図、第５図ないし第７図
は従来の注視方向検出方法の各側を示す図である。
１ａ・ 被験者の頭部、 ｌｂ・・・眼球、１ｃ・・
・角膜、 １ｄ・・・虹彩及び瞳孔、１ｅ・・ 鼻、
５，６ ・・・赤外線素子、５ａ・・ 特定パターン、
５ｂ・・・反射パターン、 ７ａ、７ｂ、７ｃ１・−
ハーフミラ８Ａ−・・光学路、 ８ａ、８ｂ、８ｃ”
・８ｎ・・・分岐光学路、 ９ ・・・全反射ミラ１０
ａ、１０ｂ ・・・赤外線フィルター１１ａ、 ｌｌ
ｂ、 １１ｃ”４１ｎ−結像レンズ、１２ａ、 １２ｂ
、 １２ｃ”・１２ｎ−撮像カメラ、１３・・・演算処
理系。
特許出願人 日本電信電話株式会社
第
図
５ｂ 水−ｊへクーン
第
図FIG. 1 is a configuration diagram of an optical system for carrying out the method of the present invention;
Figure 2 is an example of a specific pattern irradiated onto the subject's eyeball, Figure 3 is an example of each separated image, and Figure 4 is a representative gaze direction of the subject and the specific pattern projected onto the subject's eyeball. 5 to 7 are diagrams showing each side of the conventional gaze direction detection method. 1a・ Subject's head, lb...eyeballs, 1c...
・Cornea, 1d...iris and pupil, 1e... nose,
5, 6... Infrared element, 5a... Specific pattern,
5b...Reflection pattern, 7a, 7b, 7c1.-
Half mirror 8A--optical path, 8a, 8b, 8c"
・8n... Branch optical path, 9... Total reflection mirror 10
a, 10b...Infrared filter 11a, ll
b, 11c”41n-imaging lens, 12a, 12b
, 12c"/12n-imaging camera, 13... arithmetic processing system. Patent applicant Nippon Telegraph and Telephone Corporation Figure 5b Mizu-j Hekuhn diagram
Claims (1)
り形成された複数の光学路を含む撮像系内に人物像を取
り込む際、特定のパターンを該人物像に投影し、その特
定のパターンを前記撮像系により認識し、当該人物像の
眼球位置を検出するとともに、瞳孔上における前記特定
パターンの反射パターンの位置、形状より注視方向を画
像処理することを特徴とする注視方向検出方法。When capturing an image of a person into an imaging system including a plurality of half mirrors arranged in parallel and a plurality of optical paths formed by the half mirrors, a specific pattern is projected onto the image of the person, and the specific pattern is applied to the image pickup system. A method for detecting a direction of gaze, characterized in that the position of the eyeball of the human image is detected using a system, and the direction of gaze is image-processed based on the position and shape of the reflection pattern of the specific pattern on the pupil.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1011858A JP2648198B2 (en) | 1989-01-23 | 1989-01-23 | Gaze direction detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1011858A JP2648198B2 (en) | 1989-01-23 | 1989-01-23 | Gaze direction detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02193641A true JPH02193641A (en) | 1990-07-31 |
| JP2648198B2 JP2648198B2 (en) | 1997-08-27 |
Family
ID=11789425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1011858A Expired - Lifetime JP2648198B2 (en) | 1989-01-23 | 1989-01-23 | Gaze direction detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2648198B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003519982A (en) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | Method for transmitting image data |
| JP2006511305A (en) * | 2002-12-19 | 2006-04-06 | ボシュ・アンド・ロム・インコーポレイテッド | A system for tracking the movement of spherical objects. |
| JP2006167256A (en) * | 2004-12-17 | 2006-06-29 | National Univ Corp Shizuoka Univ | Pupil detecting apparatus |
| JP2018500108A (en) * | 2014-12-23 | 2018-01-11 | レビスカン インク． | Device and method for fixation measurement with refraction error measurement using an image detection device |
| JP2018509203A (en) * | 2015-02-20 | 2018-04-05 | レビスカン インク． | Apparatus and method for fixation measurement with refraction error measurement using wave-front error |
-
1989
- 1989-01-23 JP JP1011858A patent/JP2648198B2/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003519982A (en) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | Method for transmitting image data |
| JP2006511305A (en) * | 2002-12-19 | 2006-04-06 | ボシュ・アンド・ロム・インコーポレイテッド | A system for tracking the movement of spherical objects. |
| JP2006167256A (en) * | 2004-12-17 | 2006-06-29 | National Univ Corp Shizuoka Univ | Pupil detecting apparatus |
| JP2018500108A (en) * | 2014-12-23 | 2018-01-11 | レビスカン インク． | Device and method for fixation measurement with refraction error measurement using an image detection device |
| JP2018509203A (en) * | 2015-02-20 | 2018-04-05 | レビスカン インク． | Apparatus and method for fixation measurement with refraction error measurement using wave-front error |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2648198B2 (en) | 1997-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9070017B2 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
| EP0596868B1 (en) | Eye tracking method using an image pickup apparatus | |
| JP6159263B2 (en) | Optical measurement apparatus and method for adjusting illumination characteristics and capturing at least one parameter in at least one eye | |
| KR100342159B1 (en) | Apparatus and method for acquiring iris images | |
| CN103558909B (en) | Interaction projection display packing and interaction projection display system | |
| JP5297486B2 (en) | Device for detecting and tracking the eye and its gaze direction | |
| EP3371781B1 (en) | Systems and methods for generating and using three-dimensional images | |
| CN103648366A (en) | System and method for remote measurement of optical focus | |
| JPH0782539B2 (en) | Pupil imager | |
| CN109964230B (en) | Method and apparatus for eye metric acquisition | |
| JPH02134130A (en) | Non-contact sight line detector | |
| GB2559977A (en) | Systems and methods for obtaining information about the face and eyes of a subject | |
| JPH02224637A (en) | System for detecting glance | |
| JPH02193641A (en) | Watching direction detection method | |
| JP2017191546A (en) | Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display | |
| JP4336854B2 (en) | Gaze display device and dementia diagnosis device | |
| JP2009240551A (en) | Sight line detector | |
| US9089286B2 (en) | Optical system for following ocular movements and associated support device | |
| JPH05205030A (en) | Display device for coincidence of eyes of photographed human figure | |
| RU2352244C2 (en) | Method of measurement of fast movements of eyes and deviations of solid vision and device for its realisation | |
| US11307409B2 (en) | Methods and systems to track a gaze of an eye | |
| JPH11347016A (en) | Imaging device | |
| JP2007178742A (en) | Method and device for evaluating spectacle lens | |
| Fu et al. | Research on Eye-Movement Control System Based on Eyeglass-Based Eye-Tracking Device | |
| Potdar et al. | Real time squint eye detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 12 |