JP2013255781A - Method for adjusting point-of-gaze for visual line detection unit and pointing device for display - Google Patents
Method for adjusting point-of-gaze for visual line detection unit and pointing device for display Download PDFInfo
- Publication number
- JP2013255781A JP2013255781A JP2013089055A JP2013089055A JP2013255781A JP 2013255781 A JP2013255781 A JP 2013255781A JP 2013089055 A JP2013089055 A JP 2013089055A JP 2013089055 A JP2013089055 A JP 2013089055A JP 2013255781 A JP2013255781 A JP 2013255781A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- mark
- reduction
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、対象者の眼球を撮像するカメラ部または対象者の頭部に装着し眼球の動きを検出する電極部と、対象者の視線先に設置される表示部とを少なくとも具備する視線検出ユニット（装置等）に適用される、視線の位置情報を調整するための方法に関する。 The present invention relates to a line-of-sight detection comprising at least a camera unit that captures an eyeball of a subject or an electrode unit that is mounted on the head of the subject and detects the movement of the eyeball, and a display unit that is installed at the subject's line of sight. The present invention relates to a method for adjusting line-of-sight position information applied to a unit (device or the like).
今般、撮像カメラで対象者である人や動物の目（瞳孔、角膜）を撮像し、撮像した画像データをもとに視線の位置を検出する検出技術や、対象者の眼球運動を検出する電極を頭部に装着し装着した電極の電気信号をもとに視線の位置を検出する検出技術を用いて、フリーハンドで操作する機器や、視線の動向から居眠り防止など何らかの用途に活用するための装置、あるいは、病理的・心理的な分析等の研究開発へ活用することが進められている（例えば、特許文献１〜３等参照。）。
Nowadays, an imaging camera captures the eyes of the person or animal being the subject (pupil, cornea), and a detection technique for detecting the position of the line of sight based on the captured image data, or an electrode for detecting the eye movement of the subject. To detect the position of the line of sight based on the electrical signal of the electrode attached to the head, and to use it for some purposes such as freehand operated equipment and prevention of falling asleep from the line of sight trend Utilization for research and development such as apparatus or pathological / psychological analysis is underway (see, for example,
例えば、特許文献１には、ユーザの頭部の方向に光線を発する１つ又は複数の光源と、ユーザの頭部からの光線を撮像カメラにて受光し、そのピクチャを反復的に取り込む検知器と、眼の位置及び／又は凝視方向を決定するために前記検知器に接続された評価ユニットと、を備える眼検知装置であって、前記評価ユニットは、前記検知器によって取り込まれたピクチャ内の、単数又は複数の目の像が位置している領域を決定し、前記領域の決定後、前記検知器によって取り込まれた像の前記決定された領域に対応する連続的な、又は後続のピクチャに関する情報だけを前記評価ユニットに送るように前記検知器を制御するように構成されていることを特徴とする眼検知装置が開示されている。
For example,
また、特許文献４〜６には、前記までの眼球を撮像するカメラ（眼撮像手段）を用いず、代わりに頭部に装着したユーザの眼球の動きを検出する電極を用いた視線検出ユニット２であり、主としてイヤホンやヘッドホンを用いる電子機器を対象に、耳周辺に接触する部位へと前記電極を装着することで、ハンドブリーで視線による機器の操作や制御指示を行うことを目的に研究されている技術として開示されている。
このような各種の視線検出技術は、共通して重要な条件がある。
すなわち、対象者が実際に見ている視線の位置情報（以下、実際の視線位置を略して「実視線位置（Ｘ）」という。）と、視線検出部が対象者の目を検知して得た視線の位置情報（以下、検出部の算出して得た視線位置を略して「算出視線位置（Ｙ）」という。）の誤差をできる限り少なくすることである。
ここで誤差を少なくするためのひとつの手段として、対象者の目を検出し、対象者の視線位置を確認する手段（以下、「視線検出手段」という。）が要求される。
そして、初期設定（装置を使用する前段階）において、算出視線位置が実視線位置と合致するように、対象者ごとに、算出視線位置をその都度キャリブレーション（校正または調整も含む較正）や視線位置基準の取得テスト（以下、これらを「視線補正手段」という。）が行われる。
Such various line-of-sight detection techniques have important conditions in common.
That is, the position information of the line of sight actually viewed by the subject (hereinafter, the actual line-of-sight position is abbreviated as “actual line-of-sight position (X)”), and the line-of-sight detection unit detects the eye of the subject. In other words, the error of the position information of the line of sight (hereinafter, the line-of-sight position calculated by the detection unit is abbreviated as “calculated line-of-sight position (Y)”) is minimized.
Here, as one means for reducing the error, a means for detecting the eye of the subject and confirming the eye-gaze position of the subject (hereinafter referred to as “eye-gaze detecting means”) is required.
Then, in the initial setting (before using the device), the calculated line-of-sight position is calibrated (calibration or calibration including adjustment) or line-of-sight for each subject so that the calculated line-of-sight position matches the actual line-of-sight position. A position reference acquisition test (hereinafter referred to as “line-of-sight correction means”) is performed.
上記視線補正手段の一例を挙げると、国立大学法人静岡大学の公知文献（例えば、非特許文献１参照。）によれば、注視点検出装置において、先ず、初期設定として、表示ユニット（ディスプレイ）画面上の特定の位置に９つの円形パターン画像（以下、「補正用マーク」という。）を表示し、それを対象者へ順番に確認させることにより、実視線と測定視線との誤差を補正する視線補正手段が用いられている。
また、静岡大学の公知文献（例えば、非特許文献２参照。）によれば、９つから、２つの補正マークに少なくし、または、補正マーク無しにして、極力簡略化した手段が行われ、実視線と測定視線との誤差を補正する視線補正手段が用いられている。
As an example of the line-of-sight correction means, according to a publicly known document of the National University Corporation Shizuoka University (for example, see Non-Patent Document 1), in the gaze point detection device, first, as an initial setting, a display unit (display) screen Nine circular pattern images (hereinafter referred to as “correction marks”) are displayed at specific positions on the top, and the gaze that corrects the error between the real gaze and the measurement gaze by allowing the subject to check the images in order. Correction means are used.
Further, according to a publicly known document of Shizuoka University (for example, refer to Non-Patent Document 2), the number of correction marks is reduced from nine to two or no correction marks, and a simplified means is performed as much as possible. Line-of-sight correction means for correcting an error between the actual line of sight and the measurement line of sight is used.
しかしながら、現時点での公知技術全般の課題として、従来の視線補正手段の多くは、実視線位置と算出視線位置とを合致させる「位置合わせテスト」をし、そのテストには、通常、円形等のマーク表示が使われ、その中心位置を対象者が見ている視線位置として求めている。
ところが、例えば、テストに用いるマークが大きいため、視線の位置が“点”で検出できず、マークの表示面積分だけ対象者の視線位置検出に誤差を含む要因になる。
ここで、マークを点状に小さくすれば、対象者が見え難くなるという点や、特に乳幼児においては、言葉での説明が難しいため、小さな点を正しく見ないことに起因する位置合わせテストの難しさ、といった課題が想定される。
また、この要因の誤差を小さくする方法として、画面上に同時または連続的に数点のマークを表示し、全体の位置の平均をとる方法が挙げられる。ただし、図８ｂのように、いずれの位置が実視線に合致しているかの判別の困難さや、数点から平均化する場合には、実視線位置に完全に合致した位置が検出されたときでも、平均化され誤差を含んでしまう、といった課題が想定される。
このように、従来の課題では、総じて、補正した位置が実視線位置と適合しているかの確認・検証が困難であるという課題が想定される。
However, as a general problem of the publicly known technology at present, many of the conventional line-of-sight correction means perform an “alignment test” that matches the actual line-of-sight position and the calculated line-of-sight position. A mark display is used, and the center position is obtained as the line-of-sight position the subject is looking at.
However, for example, since the mark used for the test is large, the position of the line of sight cannot be detected by “points”, and this causes the error in detecting the line-of-sight position of the subject by the display area of the mark.
Here, if the mark is made small in dots, the subject will be difficult to see, and especially in infants, it is difficult to explain in words, so it is difficult to perform the alignment test due to not seeing small points correctly. Such a problem is assumed.
Further, as a method of reducing the error of this factor, there is a method of displaying several marks on the screen simultaneously or continuously and taking an average of the entire positions. However, as shown in FIG. 8b, it is difficult to determine which position matches the actual line of sight, or when averaging from several points, even when a position that completely matches the actual line of sight is detected. The problem of being averaged and including an error is assumed.
As described above, in the conventional problems, it is generally assumed that it is difficult to confirm and verify whether or not the corrected position matches the actual line-of-sight position.
上記の従来技術の問題点に鑑み、本発明者らは、視線補正手段の誤差の影響から、次の３点に着目した。
（１）対象者による影響：乳幼児や動物であった場合においても、格段の指示や命令をすることなく、自発的に補正マークを注視させ、視線補正手段の実施を容易とすること。
（２）補正用マークによる影響：補正用マークの形状、大きさの違いによる、視線補正手段の誤差を増加させる要因を排除し、補正マークを極力小さくすることなく、対象者に対して見やすくすること。
（３）補正タイミングによる影響：使用中に起こりうる対象者と表示体と視線検出部の位置移動に伴う誤差を増加させる要因の低減や、誤差の調整を出来うる限り、簡便かつ迅速に終了でき、調整したいタイミングでの実施に制限を受けないこと。
In view of the above-mentioned problems of the prior art, the present inventors paid attention to the following three points from the influence of errors in the line-of-sight correction means.
(1) Influence by the subject: Even if the subject is an infant or animal, the correction mark is voluntarily watched without any special instruction or command, and the gaze correction means can be easily implemented.
(2) Effect of correction mark: Eliminating factors that increase the error of the line-of-sight correction means due to differences in the shape and size of the correction mark, and making it easier for the subject to see without making the correction mark as small as possible. about.
(3) Effect of correction timing: As long as possible, it can be completed easily and quickly as long as possible to reduce the factors that increase the error associated with the position movement of the subject, the display body, and the line-of-sight detection unit. , Do not be restricted to implementation at the timing you want to adjust.
本発明の目的は、視線検出ユニット（装置等）において、実視線位置（Ｘ）と算出視線位置（Ｙ）との誤差をできる限り少なくするために、従来から提案されている「視線補正手段」とは思想を異にし、従来までの上記各文献に記載の技術にも適用または併用することが可能な、新たな「視線補正手段」によって、上記（１）〜（３）を具備し、問題点を解決する方法を提供することにある。 An object of the present invention is a “line-of-sight correction means” that has been proposed in the past in order to minimize the error between the actual line-of-sight position (X) and the calculated line-of-sight position (Y) in a line-of-sight detection unit (device or the like). The above (1) to (3) are provided by a new “line-of-sight correction means” which is different in idea and can be applied to or used in combination with the techniques described in the above documents. It is to provide a method for solving the problem.
本発明者らは、上記課題を解決すべく鋭意検討した結果、視線検出部（Ａ）と表示部（Ｂ）とを有する視線検出ユニットやディスプレイ用ポインティングデバイス（Ｕ）（当該ユニットやポインティングデバイスを導入した装置、アプリケーションを含み、以下「視線検出ユニット」と称する。）において、表示部（Ｂ）の画面上の所望の位置に、特定の条件で補正用マーク（Ｉ）を表示するとともに特定のタイミングで視線検出部（Ａ）が対象者の視線位置を確認することで、実視線位置（Ｘ）に適合した補正視線位置（Ｚ）として得る視線補正手段を有することにより、上記（１）〜（３）の着眼点を具備できることを見出し、これらの知見により、発明を完成するに至った。 As a result of intensive studies to solve the above-mentioned problems, the present inventors have found that a line-of-sight detection unit having a line-of-sight detection unit (A) and a display unit (B) and a display pointing device (U) (the unit and pointing device are (Including the introduced device and application, hereinafter referred to as “line-of-sight detection unit”), the correction mark (I) is displayed at a desired position on the screen of the display unit (B) under specific conditions and a specific By having the line-of-sight correction means that obtains the corrected line-of-sight position (Z) suitable for the actual line-of-sight position (X) by the line-of-sight detection unit (A) confirming the line-of-sight position of the subject at the timing, The inventors have found that the point of interest (3) can be provided, and based on these findings, have come to complete the invention.
すなわち、本発明の第１の発明によれば、対象者の眼球運動から実視線位置（Ｘ）を検出する視線検出部（Ａ）と、対象者に情報を提示する表示部（Ｂ）とを有する視線検出ユニット又はディスプレイ用ポインティングデバイス（Ｕ）において、
表示部（Ｂ）の画面上の所望の位置に、補正用マーク（Ｉ）を表示し、次に、該マーク（Ｉ）に特定の縮小方向を与えて縮小を開始するとともに視線検出部（Ａ）の最小検出精度または表示部（Ｂ）の最小表示限界の大きさ以下へと縮小させ、該マーク（Ｉ）の縮小を終了する時点において検出される視線検出部（Ａ）の得た算出視線位置（Ｙ）を、実視線位置（Ｘ）に適合した補正視線位置（Ｚ）として得る視線補正手段を有することを特徴とする視線検出ユニット又はディスプレイ用ポインティングデバイスのための注視点の調整方法が提供される。
That is, according to the first aspect of the present invention, the line-of-sight detection unit (A) that detects the actual line-of-sight position (X) from the eye movement of the subject and the display unit (B) that presents information to the subject. In the line-of-sight detection unit or display pointing device (U) having
The correction mark (I) is displayed at a desired position on the screen of the display unit (B). Next, a specific reduction direction is given to the mark (I) to start reduction, and the line-of-sight detection unit (A ) And the calculated line of sight obtained by the line-of-sight detection unit (A) detected at the time when the reduction of the mark (I) is completed. A method of adjusting a gazing point for a gaze detection unit or a display pointing device, characterized by having gaze correction means for obtaining a position (Y) as a corrected gaze position (Z) adapted to the actual gaze position (X) Provided.
また、本発明の第２の発明によれば、第１の発明において、前記視線補正手段は、該補正用マーク（Ｉ）の縮小を終了する時点において検出される視線検出部（Ａ）の得た算出視線位置（Ｙ）を、実視線位置（Ｘ）に適合した補正視線位置（Ｚ）として得るにあたり、
該マーク（Ｉ）に特定の縮小方向を与えて縮小を開始するとともに視線検出部（Ａ）の最小検出精度または表示部（Ｂ）の最小表示限界の大きさ以下まで縮小させるまでの間に、２点以上の対象者の検出部の視線位置（ｙａ）（ｙｂ）・・・を抽出して該マーク（Ｉ）の縮小を終了する時点における予測視線位置（ＹＹ）を得る視線位置判定手段を有することを特徴とする注視点の調整方法が提供される。
According to a second aspect of the present invention, in the first aspect, the line-of-sight correction means obtains the line-of-sight detection unit (A) detected at the time when the reduction of the correction mark (I) is completed. In obtaining the calculated gaze position (Y) as the corrected gaze position (Z) adapted to the actual gaze position (X),
While giving a specific reduction direction to the mark (I) and starting the reduction, the mark (I) is reduced to the minimum detection accuracy of the line-of-sight detection unit (A) or to the size of the minimum display limit of the display unit (B). Gaze position determination means for obtaining a predicted gaze position (YY) at the time when the gaze positions (ya), (yb),... There is provided a method of adjusting a gazing point.
さらに、本発明の第３の発明によれば、第２の発明において、前記視線位置判定手段は、前記算出視線位置（Ｙ）と、前記予測視線位置（ＹＹ）が合致したとき視線位置が適合した信号を出力することを特徴とする注視点の調整方法が提供される。 Furthermore, according to a third aspect of the present invention, in the second aspect, the line-of-sight position determining means matches the line-of-sight position when the calculated line-of-sight position (Y) matches the predicted line-of-sight position (YY). A method of adjusting a gaze point is provided, which is characterized in that the signal is output.
また、本発明の第４の発明によれば、第１の発明において、前記補正用マーク（Ｉ）は、特定の縮小方向が、表示した該マークの位置を基準として（ｉａ）該マークの中心位置に向かって縮小、（ｉｂ）該マークの輪郭線のいずれかの位置に移動しながら縮小、または（ｉｃ）該マークを画面に対し上方向もしくは下方向となる位置に移動しながら縮小のいずれかの要素が付加されたものであることを特徴とする注視点の調整方法が提供される。 According to a fourth aspect of the present invention, in the first aspect, the correction mark (I) has a specific reduction direction based on the displayed position of the mark (ia). Decrease toward the position, (ib) Decrease while moving to any position of the outline of the mark, or (ic) Decrease while moving the mark upward or downward relative to the screen There is provided a method of adjusting a point of gaze, which is characterized by adding such an element.
また、本発明の第５の発明によれば、第１または第２の発明において、前記補正用マーク（Ｉ）は、縮小の速度が（ｉｉａ）縮小開始から終了まで一定、（ｉｉｂ）縮小終了時が縮小開始時より増加、または（ｉｉｃ）縮小終了時が縮小開始時より低下のいずれかの要素が付加されたものであることを特徴とする注視点の調整方法が提供される。
さらに、本発明の第６の発明によれば、第１の発明において、前記補正用マーク（Ｉ）は、聴覚要素（ｉｉｉ）が付加されたものであることを特徴とする注視点の調整方法が提供される。
According to a fifth aspect of the present invention, in the first or second aspect, the correction mark (I) has a constant reduction speed from (ia) reduction start to end, and (iib) reduction end. There is provided a method of adjusting a point of gaze, characterized in that any element of time increases from the start of reduction or (iic) decreases at the end of reduction from the start of reduction is added.
Further, according to a sixth aspect of the present invention, in the first aspect, the correction mark (I) is provided with an auditory element (iii), and a gaze point adjustment method, Is provided.
また、本発明の第７の発明によれば、第６の発明において、前記補正用マーク（Ｉ）は、聴覚要素として、（ｉｉｉａ）縮小に伴い一定の特定周波数と音量を有する音源、（ｉｉｉｂ）縮小に伴い周波数を徐々に高くまたは低くした音源、または（ｉｉｉｃ）縮小に伴い音量を徐々に高くまたは低くする音源のいずれかの効果音を付加したものであることを特徴とする注視点の調整方法が提供される。
さらに、本発明の第８の発明によれば、第４〜６のいずれかの発明において、前記補正用マーク（Ｉ）は、表示から縮小完了までの表示を連続して複数回行ない、連続する次の補正用マーク（Ｉ）に付加される要素（ｉ〜ｉｉｉ）を変化させることを特徴とする注視点の調整方法が提供される。
According to a seventh aspect of the present invention, in the sixth aspect, the correction mark (I) is, as an auditory element, (iii) a sound source having a certain specific frequency and sound volume with reduction, (iii) ) A point of interest characterized by the addition of the sound effect of either a sound source whose frequency gradually increases or decreases with reduction, or (iii) a sound source whose sound volume gradually increases or decreases with reduction. An adjustment method is provided.
Further, according to an eighth aspect of the present invention, in any one of the fourth to sixth aspects, the correction mark (I) continuously displays a plurality of times from display to completion of reduction. There is provided a method of adjusting a gazing point characterized by changing elements (i to iii) added to the next correction mark (I).
また、本発明の第９の発明によれば、第１の発明において、前記視線補正手段は、補正視線位置（Ｚ）を一定期間に少なくとも２回に分けて得るものであって、かつ、その得た複数の補正視線位置（Ｚａ）（Ｚｂ）・・・の位置に差を生じたときは、一定期間に得たすべての検出部の算出視線位置（Ｙ）に対して、前後する補正視線位置（Ｚａ）（Ｚｂ）・・・に生じた差分だけ時間あたり平均化した位置へと補正を行うことを特徴とする注視点の調整方法が提供される。 According to a ninth aspect of the present invention, in the first aspect, the line-of-sight correction means obtains the corrected line-of-sight position (Z) at least twice in a fixed period, and When there is a difference in the position of the obtained plurality of corrected line-of-sight positions (Za), (Zb)..., The corrected line-of-sight moving forward and backward with respect to the calculated line-of-sight positions (Y) of all the detection units obtained during a certain period. A gazing point adjustment method is provided, in which correction is performed to a position that is averaged per time by the difference that has occurred at the positions (Za), (Zb).
本発明の各発明の構成により、前記課題を解決することができる。
先ず、本発明の第１の発明によれば、前記特許文献などに開示されている「視線検出技術」を応用して、かつ、この技術と連携して、本発明の視線補正手段による注視点の調整方法を用いることによって、対象者の違いによる影響、補正用マーク形状や大きさによる影響、位置の算出に生じる誤差を無くすよう考慮した、簡便かつ優れた注視点の調整方法が実現できる。
The above-described problems can be solved by the configuration of each invention of the present invention.
First, according to the first invention of the present invention, the gaze point by the gaze correction means of the present invention is applied in cooperation with this technique by applying the “line-of-sight detection technology” disclosed in the above-mentioned patent documents. By using this adjustment method, it is possible to realize a simple and excellent method for adjusting a gazing point in consideration of eliminating the influence due to the difference in the target person, the influence due to the shape and size of the correction mark, and the error occurring in the position calculation.
また、本発明の第２の発明によれば、予測視線位置（ＹＹ）を得る視線位置判定手段によって、縮小する補正マークを見る対象者の視線移動から予測して、算出視線位置（Ｙ）と実視線位置（Ｘ）の合致判定が即座に確認することができ、もって、より優れた注視点の調整方法が実現できる。
さらに、本発明の第３の発明によれば、前記視線位置判定手段が算出視線位置（Ｙ）と、前記予測視線位置（ＹＹ）が合致したとき、視線位置が適合した信号を出力することによって、調整が完了したか再度調整が必要かの確認ができ、また、誤差が使用上許容できる範囲に調整できたかどうかの確認に貢献できる。
Further, according to the second invention of the present invention, the gaze position determination means for obtaining the predicted gaze position (YY) predicts from the gaze movement of the subject who sees the correction mark to be reduced, and calculates the gaze position (Y). The coincidence determination of the actual line-of-sight position (X) can be confirmed immediately, so that a better gaze point adjustment method can be realized.
Furthermore, according to the third aspect of the present invention, when the visual line position determination means matches the calculated visual line position (Y) and the predicted visual line position (YY), by outputting a signal that matches the line-of-sight position. Thus, it can be confirmed whether the adjustment is completed or it is necessary to adjust again, and it is possible to contribute to confirming whether the error has been adjusted to an allowable range in use.
また、本発明の第４、５の発明によれば、前記補正用マーク（Ｉ）に特定の縮小方向や縮小速度の要素を付加したことにより、対象者の視線移動を安定した方向に誘導でき、より優れた注視点の調整方法が実現できる。
さらに、本発明の第６、７の発明によれば、第５の発明までの視覚要素だけでなく、特定の聴覚要素を付加することにより、対象者が乳幼児や動物であった場合においても、格段の指示や命令をすることなく、自発的に補正マークを注視させ、補正マークの目的がより伝わり易くでき、視覚要素と共動して、対象者が補正マークを見る傾向を高めて、より優れた注視点の調整方法が実現できる。
According to the fourth and fifth inventions of the present invention, by adding elements of a specific reduction direction and reduction speed to the correction mark (I), it is possible to guide the eye movement of the subject in a stable direction. Therefore, a better method of adjusting the gaze point can be realized.
Furthermore, according to the sixth and seventh inventions of the present invention, by adding not only the visual elements up to the fifth invention but also specific auditory elements, even when the subject is an infant or animal, Without any special instructions or instructions, voluntarily gazing at the correction mark, making it easier to communicate the purpose of the correction mark, working with the visual elements, increasing the tendency of the subject to see the correction mark, and more An excellent gaze adjustment method can be realized.
また、本発明の第８の発明によれば、複数回行なう補正マークの要素が変化することにより、対象者が乳幼児や動物であった場合においても、格段の指示や命令をすることなく、自発的に補正マークに注目させることができ、補正がしやすく、また、補正マークの変化で対象者に応じた視線移動の調整ができ、より優れた注視点の調整方法が実現できる。 Further, according to the eighth aspect of the present invention, the element of the correction mark to be performed a plurality of times changes, so that even when the subject is an infant or an animal, the spontaneous Therefore, it is possible to focus attention on the correction mark, and it is easy to perform correction. Further, the movement of the line of sight according to the subject can be adjusted by the change of the correction mark, so that a better gaze adjustment method can be realized.
さらに、本発明の第９の発明によれば、視線検出ユニットやディスプレイ用ポインティングデバイスの使用中に誤差が生じた場合においても、使用中であっても簡便かつ迅速に補正マークを表示しやすく、補正が容易に実施でき、より優れた注視点の調整方法が実現できる。 Furthermore, according to the ninth aspect of the present invention, even when an error occurs during use of the line-of-sight detection unit or the display pointing device, the correction mark can be easily and quickly displayed even during use. Correction can be easily performed, and a better method of adjusting a gaze point can be realized.
以下に、本発明の視線検出ユニット（Ｕ）のための調整方法について、詳細に説明する。以下の説明は、主に、視線検出ユニットで行い、ディスプレイ用ポインティングデバイスにも、適用できる。
本発明を実施するための形態は、以下の実施例に述べるものをその一つとするとともに、更にその技術思想内において、改良し得る種々の手法を含むものである。
Below, the adjustment method for the gaze detection unit (U) of this invention is demonstrated in detail. The following description is mainly performed by the line-of-sight detection unit, and can be applied to a display pointing device.
The mode for carrying out the present invention includes one described in the following examples, and further includes various methods that can be improved within the technical idea.
説明にあたっては、先ず、本発明において好適に用いられる視線検出ユニット（Ｕ）の視線検出部（Ａ）と表示部（Ｂ）について説明し、その後、補正用マーク（Ｉ）各種について説明しながら、併せて本発明の視線補正手段および視線位置判定手段について、説明する。
次いで、本発明の調整方法が適用される各種視線検出ユニット（Ｕ）の事例から、調整方法の各種態様について説明する。
In the description, first, the line-of-sight detection unit (A) and the display unit (B) of the line-of-sight detection unit (U) preferably used in the present invention will be described, and then the various correction marks (I) will be described. In addition, the line-of-sight correction means and line-of-sight position determination means of the present invention will be described.
Next, various aspects of the adjustment method will be described from examples of various visual axis detection units (U) to which the adjustment method of the present invention is applied.
〔１〕視線検出部（Ａ）、表示部（Ｂ）
図１に示すように、本発明の視線検出ユニットのための注視点の調整方法は、対象者３の視線位置を検出する視線検出部（Ａ）と利用者に情報を提示する表示部（Ｂ）とを有する視線検出ユニット（Ｕ）に適用される。視線検出ユニット（Ｕ）とは、すでに記載したとおり、視線検出ユニットやディスプレイ用ポインティングデバイスであり、当該ユニットやポインティングデバイスを導入した装置やパソコン、より具体的には、視線による操作機器、シミュレーター、視線分析、検査や研究等に用いられる機器、これらのアプリケーションを含むものである。
[1] Eye-gaze detection unit (A), display unit (B)
As shown in FIG. 1, the gaze point adjustment method for the gaze detection unit of the present invention includes a gaze detection unit (A) that detects the gaze position of the
視線検出部（Ａ）は、対象者３の目を撮像するカメラ部１と、必要に応じて、瞳孔の撮像を補助するための撮像補助照明部（図示せず）が設けられる。撮像補助照明部を設けるときは、カメラ部１の感度や周囲の明るさ、対象者との距離等必要に応じて光量を調整するとよい。
そして、視線検出部（Ａ）は、対象者３の瞳孔を検出して対象者３の見ている対象の位置を視線位置情報として出力されるようになっており、具体的には、対象者３とカメラ部１と後述する表示部（Ｂ）との位置関係から、対象者３が表示部（Ｂ）の画面上２のどの位置をいつ見ているかを、視線位置情報として出力できるように構成されたものである。
また、図示しないが、前記カメラ部１の代わりに、ヘッドホンやイヤホンのように頭部に接触して眼球の動きや位置を検出する電極（電極部）を用いてもよい。
The line-of-sight detection unit (A) includes a
The line-of-sight detection unit (A) detects the pupil of the
Although not shown, instead of the
表示部（Ｂ）は、市販のパソコンなどに用いられている大型ディスプレイから携帯電話などに用いられている小型ディスプレイが適用でき、液晶ディスプレイ、ＣＲＴやプロジェクタなど、特に限定されず、表示部分の大きさや形状も任意である。また、３次元ディスプレイでもよい。
また、これら視線検出部（Ａ）や表示部（Ｂ）は、表示ユニット（Ｕ）に組み込まれ、一体になっていてもよい。
The display unit (B) can be applied from a large display used in a commercially available personal computer to a small display used in a mobile phone or the like, and is not particularly limited, such as a liquid crystal display, a CRT, or a projector. The sheath shape is also arbitrary. A three-dimensional display may also be used.
Further, the line-of-sight detection unit (A) and the display unit (B) may be integrated into the display unit (U).
本発明では、このような視線検出部（Ａ）と表示部（Ｂ）によって、後述する表示部の画面上２の補正マークの絵柄の位置と対象者の視線位置が特定できるようになっている。
視線位置を特定する位置情報（データ）としては、対象者が画面上のどの位置に存在するかを特定できればよく、数値データや画像データのいずれかに限定するものでない。
詳細に説明すると、視線位置情報は、表示部の画面上２の位置に合致する２次元のＸ，Ｙといった相対的な位置座標を数値データとして出力するものであったり、表示部の画面上２の位置とは関係なく、視線検出部のカメラ部１から撮像した対象者３の目の位置からカメラ部１固有の絶対的な位置座標を数値データとして検出するものであってもよく、あるいは、これら数値データではなく画像データの場合は、カメラ部１で撮像した視線位置が、表示した画像データ（補正マーク）へとプロット点として直接視線位置を合成して出力されプロット点から、位置を得るものであってもよい。
In the present invention, such a line-of-sight detection unit (A) and display unit (B) can specify the position of the pattern of the correction mark on the
The position information (data) for specifying the line-of-sight position is not limited to any one of the numerical data and the image data as long as it is possible to specify the position on the screen where the subject is present.
More specifically, the line-of-sight position information outputs two-dimensional relative position coordinates such as X and Y that match the position on the
望ましい例としては、視線位置情報は、視線検出部（Ａ）の位置情報が、表示部（ディスプレイ）の解像度や表示されるドット位置情報（座標情報）に合致する位置情報に変換して出力すれば、画面上２に表示する絵柄の位置との整合がしやすくできる。一例として、視線位置情報３１は、対象者Ａの視線位置情報を、表示部の画面上２の２次元データ（Ｘ座標，Ｙ座標）に合わせて変換すればよく、例えば、表示部２が横６４０ドット（Ｘ座標）、縦４８０ドット（Ｙ座標）の画面解像度のディスプレイであれば、視線検出部（Ａ）の視線位置情報の出力も、画面解像度に相当する縦４８０、横６４０に分割した画面上２のドット位置を示す位置情報（Ｘ座標数値，Ｙ座標数値）に合致するように、変換して出力されるように調整しておくとよい。
なお、視線位置情報は、前記説明した画面上の平面的な２次元データ（Ｘ，Ｙ座標）に限るものでなく、立体的な３次元データ（Ｘ，Ｙ，Ｚ座標）であってもよい。
As a desirable example, the position information of the line-of-sight detection unit (A) is converted into position information that matches the resolution of the display unit (display) and the displayed dot position information (coordinate information). For example, it is possible to easily match the position of the pattern displayed on the
The line-of-sight position information is not limited to the above-described planar two-dimensional data (X, Y coordinates) on the screen, and may be three-dimensional three-dimensional data (X, Y, Z coordinates). .
ちなみに、市販、公知の各種視線検出手段（視線検出ユニット）として好適なものは、できるだけ対象者３の視線位置を精度良く検出することが重要となるが、例えば、代表的な視線検出ユニットとして、前記特許文献３や非特許文献１、２が挙げられる。この視線検出ユニットに、本発明の調整方法を適用すれば、対象者が、視線を検出するうえで困難とされる静止せず動き回り指示に従い難い乳幼児であったり、眼鏡をかけていたり、対象者ごと異なる目の曲率などの補正を要する場合において、誤差が少なく、高い精度でかつ小型化、簡便に視線を検出できる構成とできるため、極めて好適である。
Incidentally, it is important to detect the gaze position of the subject 3 as accurately as possible as a commercially available and known various gaze detection means (gaze detection unit). For example, as a typical gaze detection unit, The said
この代表的な視線検出ユニットの具体例としては、静岡大学製注視点検出装置［前記非特許文献２の情報科学技術フォーラム講演論文集（９（３），５８９−５９１，２０１０−０８−２０）で発表された装置、「頭部移動を許容するステレオカメラによる較正容易な注視点検出装置」］が挙げられる。本発明では、このユニットを用いて、視線検出部（Ａ）から出力される視線位置情報が表示部（Ｂ）の画面上２の位置情報に合致するように変換して出力されるように調整したものを適用したものとして、説明する。
As a specific example of this typical line-of-sight detection unit, a gazing point detection device manufactured by Shizuoka University [Proceedings of Information Science and Technology Forum of Non-Patent Document 2 (9 (3), 589-591, 2010-08-20) And “a gazing point detection device that can be easily calibrated with a stereo camera that allows head movement”]. In the present invention, using this unit, adjustment is made so that the line-of-sight position information output from the line-of-sight detection unit (A) is converted and output so as to match the position information on the
〔２〕補正マーク（Ｉ）
次に、本発明の補正マーク（Ｉ）について説明する。
補正用マーク（Ｉ）は、実視線位置（Ｘ）と算出視線位置（Ｙ）の誤差を無くすために、対象者が視線検出システムを利用する最初あるいはシステム利用中や、システム利用の最後において、表示部（Ｂ）の画面上２の所望の位置に表示する絵柄（画像）である。
[2] Correction mark (I)
Next, the correction mark (I) of the present invention will be described.
In order to eliminate an error between the actual visual line position (X) and the calculated visual line position (Y), the correction mark (I) is used at the beginning or during the use of the visual line detection system by the subject, or at the end of the system use. It is a pattern (image) displayed at a desired position on the
補正用マーク（Ｉ）は、絵柄を１つ選択し、画面上に同時に表示されず、必ず単独で用いられる。絵柄の要素として、外観、形状、大きさ、色等は任意であり、対象者３が認識可能な絵柄であれば、特に限定しない。
一例として、特定の図形画像、キャラクター画像、アニメーション画像、風景画像などいずれも適用できる。これらに用いられる画像は、予め用意した画像のほか、リアルタイムに撮像する画像を利用してもよく、特に限定しない。
中でも、対象者３が子どもから乳幼児に対しては、図３ｂのように、絵柄として興味をもつキャラクターを用いると、補正マークを注視しやすくなり、好適である。特に、幼児や乳幼児に対しては、意思疎通が限られるので、動きのある絵柄を用いてもよく、動く補正マークへの意識を高めて注視させることもできる。また、色盲または色弱の対象者３に対しては、識別できる色彩や形状の絵柄を用いて、補正マークを注視させるとよい。
前記所望の位置とは、表示する際、非表示とする際、ともに、画面上２のいずれかの表示位置が設定される。所定の表示位置を予め決めておくとよいが、視線検出部（Ａ）の検出した対象者３の画面上の視線位置に応じて、表示位置を決めてもよい。
The correction mark (I) selects one picture and is not displayed on the screen at the same time, but always used alone. Appearance, shape, size, color, and the like are arbitrary as the elements of the pattern, and are not particularly limited as long as the pattern can be recognized by the
As an example, any of specific graphic images, character images, animation images, landscape images, and the like can be applied. The images used for these may be images prepared in real time in addition to images prepared in advance, and are not particularly limited.
Among them, when the
The desired position is any display position on the
所定の表示位置に表示させる補正マーク（Ｉ）は、図３ａや図３ｂのように、画面の中央に補正マーク（Ｉ）を表示すればよいが、極端な例としては、画面全体または、図３ｃのように、補正マーク（Ｉ）が画面全体よりも大きく、その一部が画面全体に表示させた場合であっても良い。他方、所望の位置へと表示させる応用としては、瞬間的に一気に補正マークを所望の位置に表示させるだけでなく、画面の外や画面上いずれかに表示されたマークを移動して所望の位置に表示させたり、画面上で時間をかけて次第に表示されたり、プロット点のように縮小されたマークを大きく出現するようにして、所望の位置に表示させてもよく、これらを複合させてもよい。 The correction mark (I) to be displayed at the predetermined display position may be the correction mark (I) displayed at the center of the screen as shown in FIGS. 3a and 3b. As in 3c, the correction mark (I) may be larger than the entire screen, and a part of the correction mark (I) may be displayed on the entire screen. On the other hand, as an application to display to the desired position, not only the correction mark is instantaneously displayed at the desired position but also the mark displayed either on the screen or on the screen is moved to the desired position. Can be displayed on the screen, gradually displayed over time, or can be displayed at a desired position so that a reduced mark like a plot point appears large, or even if these are combined Good.
次に、非表示にするにあたっては、具体的には、表示される補正用マーク（Ｉ）が、画面上２の所望の位置に表示されたのち、特定の縮小方向が与えられ、縮小方向に縮小を開始するとともに視線検出部（Ａ）の最小検出精度または表示部（Ｂ）の最小表示限界の大きさ以下へと縮小を行う。
Next, in order to hide, specifically, after the displayed correction mark (I) is displayed at a desired position on the
補正マーク（Ｉ）を縮小しながら非表示とするまでについては、図３ａ〜ｅのように、マーク全体が画面上２の特定の位置（座標点）へと小さくなるように表示させる。
このような補正マーク（Ｉ）の縮小する方向の要素は、特に限定しないが、望ましい例としては、特定の縮小方向が、表示したマークの位置を基準として、図３ａや図３ｂのように、（ｉａ）マークの中心位置に向かって縮小すると、対象者の視線がマーク内に集中させることができる。
また、図３ｄや図３ｅのように、（ｉｂ）マークの輪郭線のいずれかの位置に移動しながら縮小すると、絵柄を確認する際には、輪郭を見る傾向から輪郭への視線移動に合致して誘導しやすくできる。円形のマークであれば、円周の一点に向かって縮小させるとよく、多角形のマークであれば、マークのいずれかの角に向かって縮小させるとよい。
特に、図３ｄのように、（ｉｃ）マークを画面に対し上方向もしくは下方向となる位置に移動しながら縮小すると、上下方向への移動に対して、より集中力が高まるため、画面上２のうち左右方向よりも上下方向の移動量が大きくなる方向への要素が大きいほうが、マークに集中する傾向を強くでき、より対象者の視線が縮小していくマークに集中することができて望ましい。
また、図３ｅのように、円形の外周に隣接して囲む矩形の一辺の角に向かって縮小させてもよい。
なお補足するが、上記の中心や輪郭とは必ずしも厳密にマークに一致させる必要はなくその付近であってもよく、また、上記の上下方向とは、厳密な垂直方向でなくてもよく上方向や下方向への移動量が左右方向の移動量より多くすればよいものであり、垂直から±０〜３０度程度までにしておくことが望ましい。
Until the correction mark (I) is reduced and not displayed, the entire mark is displayed to be reduced to a specific position (coordinate point) on the
The elements of the direction of reduction of the correction mark (I) are not particularly limited, but as a desirable example, a specific reduction direction is based on the position of the displayed mark as shown in FIGS. 3a and 3b. (Ia) When reducing toward the center position of the mark, the line of sight of the subject can be concentrated in the mark.
Also, as shown in FIG. 3d and FIG. 3e, if the image is reduced while moving to any position of the outline of the mark, when confirming the pattern, the line-of-sight movement from the tendency to see the outline is matched. It can be easily guided. If it is a circular mark, it may be reduced toward one point of the circumference, and if it is a polygonal mark, it may be reduced toward any corner of the mark.
In particular, as shown in FIG. 3d, if the (ic) mark is reduced while moving to a position that is upward or downward with respect to the screen, the concentration power increases in the vertical direction. The larger the element in the direction in which the amount of movement in the up and down direction is larger than the left and right direction, the stronger the tendency to concentrate on the mark, and it is desirable that the subject's line of sight can be more concentrated. .
Further, as shown in FIG. 3e, the image may be reduced toward the corner of one side of the rectangle that is adjacent to the circular outer periphery.
It should be noted that the center and outline do not necessarily coincide with the mark and may be in the vicinity thereof, and the vertical direction does not have to be strictly vertical and is upward. It is sufficient that the amount of movement in the downward direction is larger than the amount of movement in the left-right direction, and it is desirable that the amount is about ± 0 to 30 degrees from the vertical.
このように、補正マークを表示してから縮小を開始するとともに非表示にするまでにおいて、補正マーク（Ｉ）の縮小開始タイミングは、特に限定しない。
図３ａ〜ｅに示すように、画面上２に適宜の大きさで表示されてから、対象者が見ている間に、速やかにドット状へと縮小されて非表示になるように構成される。
Thus, the reduction start timing of the correction mark (I) is not particularly limited from when the correction mark is displayed until the reduction starts and disappears.
As shown in FIGS. 3a to 3e, after being displayed on the
補正マーク（Ｉ）の縮小開始タイミングの要素としては、表示してすみやかに縮小を開始すればよいが、視線検出部（Ａ）によって、対象者３の視線位置が表示した補正マーク（Ｉ）の表示位置内または周辺の位置にあることを確認したのちに、補正マークの縮小を開始したり、あるいは、視線の補正マークを表示する位置に、先に何らかのマークを表示し視線を誘導しておき、速やかにこのマークを非表示にしてから、続き補正マークを表示し、その後縮小を開始したりしてもよい。このようにすれば、視線位置の補正を開始するにあたり、対象者の視線位置がマークの表示位置に近くすることができ、そのため補正する短い時間において、対象者の視線の近い位置にしておき時間当たりの移動量を少なくできるため、補正する誤差も少なくでき確実な判定ができ、望ましい。 As an element of the reduction start timing of the correction mark (I), it is only necessary to display and start the reduction immediately. However, the line-of-sight detection unit (A) displays the position of the correction mark (I) displayed by the visual line detection unit (A). After confirming that it is within or around the display position, start reducing the correction mark, or display some mark first to guide the line of sight at the position where the line of sight correction mark is displayed. It is also possible to hide this mark immediately, display a subsequent correction mark, and then start reduction. In this way, when starting the correction of the line-of-sight position, the target person's line-of-sight position can be close to the mark display position. Since the amount of movement per hit can be reduced, the correction error can be reduced and a reliable determination can be made.
ここで、前記の「視線検出部（Ａ）の最小検出精度または表示部（Ｂ）の最小表示限界の大きさへと」について、説明する。これは、検出部の最小検出精度（有効精度）または画面の座標点（解像度などの有効表示能力）のいずれか大きい方が選択され、それ以下に縮小することによって、実視線位置Ｘの座標を特定するために、座標Ｙの認識誤差を含まない位置（座標）を一対一で適合させることができるためである。 Here, “to the minimum detection accuracy of the line-of-sight detection unit (A) or the minimum display limit of the display unit (B)” will be described. This is because the larger one of the minimum detection accuracy (effective accuracy) of the detection unit or the coordinate point (effective display capability such as resolution) of the screen is selected, and the coordinate of the actual line-of-sight position X is reduced by reducing it to less than that. This is because the position (coordinates) that does not include the recognition error of the coordinate Y can be matched one to one in order to specify.
この選択に考慮されるべき条件として、適用される視線検出システムに応じたその使用上、操作上において、必ずしも上記の大きさ以下となるまで補正マークを縮小させる必要がない場合もある。
具体的には、本発明の主旨からして、必ずしも上記の限界以下になるまで補正マークを縮小しなければならないものではない場合も、含まれる。例えば、表示部（Ｂ）が大画面であって、表示する一つのドットの大きさが表示体の有する最小の解像度に比べて大きい場合は、その表示される最小の点（ドットの集合）となる大きさまで、補正マークを縮小させればよく、あるいは、ポインティングデバイスについては、視線で制御する対象のターゲットのアイコンなどの大きさに応じて、その大きさ以下まで補正マークを縮小させれば、ポインティングの性能上支障を生じないように、使用上や操作上で問題の生じない誤差範囲以下まで、補正マークを縮小させればよい概念も含まれるものである。
As a condition to be considered in this selection, there is a case where it is not always necessary to reduce the correction mark until the size becomes equal to or smaller than the above size in terms of use and operation according to the applied line-of-sight detection system.
Specifically, in the gist of the present invention, a case where the correction mark does not necessarily have to be reduced until it falls below the above limit is also included. For example, when the display unit (B) has a large screen and the size of one dot to be displayed is larger than the minimum resolution of the display body, the minimum point (set of dots) to be displayed is What is necessary is just to reduce the correction mark to a certain size, or, for a pointing device, if the correction mark is reduced to the size or less according to the size of the target icon to be controlled by the line of sight, It also includes a concept that the correction mark may be reduced to an error range that does not cause a problem in use or operation so as not to hinder the pointing performance.
さらに、他の考慮されるべき条件として、詳細は後述するが、縮小を開始して終了する前段階で、先に、視線位置判定手段が対象者の視線の移動方向から縮小を完了する時点における予測視線位置（ＹＹ）を得て、視線位置を早期に特定できた場合には、補正マークの縮小を終了することを待たずに、注視点の調整が完了してもよい場合も、含まれるものである。 Further, as other conditions to be considered, details will be described later. At the stage before the start and end of the reduction, the line-of-sight position determination unit first completes the reduction from the movement direction of the subject's line of sight. When the predicted line-of-sight position (YY) is obtained and the line-of-sight position can be identified early, the case where the adjustment of the gazing point may be completed without waiting for the completion of the reduction of the correction mark is also included. Is.
補正マークの縮小開始から非表示までの時間の要素は、特に限定しないが、１回あたり０．５秒〜１秒以内、長くても２〜４秒で、縮小開始から非表示までを完了させることが望ましい。これは、１回あたりの最短時間を０．５秒に設定するのは、通常人間の反応時間が０．４秒必要とされているからで、他方、１回あたりの最長時間を４秒以下に設定するのは、通常人間の集中できる平均的な時間であり、これより長くなるほど対象者の集中が低下し、マークの中で視線が彷徨う動きを生ずるため、彷徨う動きを生じさせないためである。縮小開始前の時間は、含まず任意である。このような縮小から非表示までの時間設定は、対象者３の視覚反応速度に応じて、適宜調整し決定するとよい。ちなみに、前記１回とは、補正マークを縮小開始から非表示とするまでの回数である。
The time factor from the start of reduction of the correction mark to the non-display is not particularly limited, but within 0.5 second to 1 second per time, and 2 to 4 seconds at the longest, the process from the start of reduction to the non-display is completed. It is desirable. This is because the shortest time per time is set to 0.5 seconds because normally human reaction time is required 0.4 seconds, while the longest time per time is 4 seconds or less. The normal time that humans can concentrate is set to, and the longer the target time, the lower the concentration of the subject, and the movement of the line of sight in the mark causes the movement of the line of sight. It is. The time before the start of reduction is not included and is arbitrary. Such time setting from reduction to non-display may be appropriately adjusted and determined according to the visual reaction speed of the
補正マーク（Ｉ）を縮小させる速度の要素は、特に限定しないが、画面の大きさや画面上に表示したときのマークの外形寸法と、表示後縮小を開始してから非表示となるまでの表示時間から決定すると良い。
早すぎると、対象者の視線の移動が追いつかないケースや、遅すぎると、目線がマーク内で様々に移動する傾向が生じるケースが発生してしまうため、これらのケースを配慮して、速度を適宜調整すればよく、たとえば、補正マークを表示している際に、リアルタイムで対象者の視線位置を検出しながら、対象者の平均的な視線移動速度を検出して、その速度に合わせた速度に設定してもよい。
The speed factor for reducing the correction mark (I) is not particularly limited, but the size of the screen, the external dimensions of the mark when displayed on the screen, and the display from the start of reduction after display until it is hidden. It is good to decide from time.
If it is too early, the movement of the subject's line of sight cannot catch up, and if it is too late, there are cases where the eye line tends to move in various ways within the mark. For example, when the correction mark is displayed, while detecting the gaze position of the subject in real time, the average gaze movement speed of the subject is detected and the speed matched to that speed is detected. May be set.
また、補正マークを縮小する速度変化の要素は、特に限定しないが、一定速度での縮小するほか、加速や減速させて速度変化をつけて縮小させてもよい。
これは、対象者が補正マークを注視した際に、補正マークを意識して認識するためにマークの外形を捉えるように、見る視線の傾向を利用して、たとえば、視線検出ユニットが対象者の算出視線位置を補正マーク（Ｉ）の外形の一端に検出するまでの縮小速度を遅く、対象者の視線位置を外径の一端付近に検出したら、縮小速度を早めるなどをしてもよい。対して、縮小速度を早めて縮小を開始して、最小となり非表示とする際に、最も遅く時間をかけて非表示にするようにして、特に対象者がごく小さくなったマークをより注視しやすくしてもよく、また、これらを複合して、最初と最後を遅くあるいは早く縮小させてもよい。なお、あまり急激な速度変化は、対象者の視線移動が縮小速度に追従することが困難となるため、移動速度は、対象者の注視している視線移動と同じかやや遅い程度に設定するとよく、また、視線検出部（Ａ）が対象者３の視線の移動速度を確認して、移動速度を決定したり可変させて調整してもよい。
The speed change factor for reducing the correction mark is not particularly limited, but the correction mark may be reduced at a constant speed, or may be reduced by speed change by acceleration or deceleration.
This is because, for example, when the subject gazes at the correction mark, the gaze detection unit uses the tendency of the gaze to see so as to capture the outline of the mark in order to recognize and recognize the correction mark. The reduction speed until the calculated line-of-sight position is detected at one end of the outer shape of the correction mark (I) may be slow, and if the subject's line-of-sight position is detected near one end of the outer diameter, the reduction speed may be increased. On the other hand, when the reduction starts at a reduced speed and is minimized and hidden, the latest display takes the time to hide, and the target person pays more attention to the extremely small mark. These may be simplified, and these may be combined to reduce the beginning and end slowly or quickly. It should be noted that the movement speed should be set to the same or slightly slower than the movement of the line of sight of the subject because the movement of the line of sight of the subject makes it difficult for the movement of the line of sight to follow the reduction speed. Further, the line-of-sight detection unit (A) may confirm the movement speed of the line of sight of the subject 3 and determine or change the movement speed for adjustment.
補正マークの表示とともに、図６に示すように、聴覚要素を付加しても良く、可聴域の周波数を有する音源であれば、特に限定しないが、日常よく耳にする、話し声、乳児の泣き声、電話呼び出し音や楽器の音源や電子音を用いるとよい。特に、望ましい聴覚要素として、周波数（音の高さ）や聴力レベル（音の大きさ；音量）として、図６ａの点線で示した枠のように、５００〜２０，０００Ｈｚの周波数帯域と４０〜９０ｄＢの音の大きさにするとよい。ただし、対象者が難聴である場合には、難聴の程度に応じて、図６ｂのように周波数に応じた聞こえ難さを配慮して、聴力レベルを正常な者の聴覚と同じ大きさに聞こえる程度へと増幅して調整することが望ましい。
このような聴覚要素を、補正用マーク（Ｉ）の収縮にあわせて、出すことで対象者の補正マークを見る意識を高め、よりマークを注視させることができる。
Along with the display of the correction mark, an auditory element may be added as shown in FIG. 6, and as long as the sound source has a frequency in the audible range, it is not particularly limited, but it is often heard, spoken voice, infant cry, It is good to use a telephone ringing tone, a musical instrument sound source, or an electronic sound. In particular, as a desirable auditory element, frequency (pitch) and hearing level (sound volume; volume), as shown by a dotted line in FIG. It is good to make it 90 dB loud. However, when the target person has hearing loss, the hearing level is heard in the same magnitude as that of a normal person in consideration of the difficulty of hearing according to the frequency as shown in FIG. It is desirable to amplify and adjust to the extent.
By providing such an auditory element in accordance with the contraction of the correction mark (I), it is possible to raise the consciousness of the subject to view the correction mark and to make the mark look closer.
そして、この聴覚要素は、補正マーク（Ｉ）の縮小する変化に応じて、連動させるとよい。補正マークを縮小する際以外にも、マークの拡大や移動をするときも、任意に聴覚要素を付加しても良いが、この場合は、縮小させるときの聴覚要素とは異なる聴覚要素を用いると、補正マークの外観が変化することで、対象者のマークを見る意識を高め、結果として、縮小するマークの状態をより注視させることができ、望ましい。
特に、このような聴覚要素は、（ｉｉｉａ）縮小に伴い一定の特定周波数と音量を有する音源、（ｉｉｉｂ）縮小に伴い周波数を徐々に高くまたは低くした音源、または（ｉｉｉｃ）縮小に伴い音量を徐々に高くまたは低くする音源、のいずれかの効果音を付加したものが望ましく、特に（ｉｉｉｂ）（ｉｉｉｃ）のように、補正マークの変化とともに聴覚要素を変化させることで、対象者のマークへの意識をより高めることに、寄与できる。
And this auditory element is good to interlock | cooperate according to the change which the correction mark (I) reduces. In addition to reducing the correction mark, an auditory element may be arbitrarily added when the mark is enlarged or moved. In this case, if an auditory element different from the auditory element used for reduction is used, It is desirable that the appearance of the correction mark changes, so that the consciousness of the subject to see the mark can be increased, and as a result, the state of the mark to be reduced can be more closely watched.
In particular, such an auditory element is (iii) a sound source having a certain specific frequency and volume as the sound is reduced, (iii) a sound source whose frequency is gradually increased or lowered as the sound is reduced, or (iii) the sound volume is reduced as the sound is reduced. It is desirable to add a sound effect of either a sound source that gradually increases or decreases, especially to the subject's mark by changing the auditory element together with the change of the correction mark, as in (iiib) (iiiic). Can contribute to raising awareness of
前記補正マークを表示する回数は、後に記載する視線補正手段や視線位置判定手段によって、対象者が画面上のどの位置に存在するかを特定できれば１回でよいが、確実な視線位置情報を補正するために、複数回連続しておこなってもよい。
補正マークを複数回表示するにおいては、連続して表示する場合には、画面上の同じ位置で再表示させたり、画面上の別の位置で再表示させてたり、特に限定しない。
また、補正マークを繰り返し同じ絵柄を用いたり、異なる絵柄を用いたり、特に限定しない。
なお、対象者の補正マークに対する興味を維持させるには、補正マークの絵柄や各種要素を変化させるとよく、たとえば、絵柄や移動の要素で説明すると、図４ａのように、マークが同じ表示位置で、１回目を中央に向かって点状に縮小したのち再度もとの大きさ程度まで拡大して、再び２回目を中央に向かって点状に縮小させたり、図４ｂのように、２回目は異なる絵柄にしたり、図３ｃのように、１回目を中央下端に向かって縮小、２回目を中央上端に向かって縮小させる等をすることで、対象者がマークに注視しやすいようにするとよい。
The correction mark may be displayed once as long as the position of the target person on the screen can be specified by the line-of-sight correction means and line-of-sight position determination means described later, but correct line-of-sight position information is corrected. In order to do this, it may be carried out continuously several times.
When displaying the correction marks a plurality of times, when displaying them continuously, there is no particular limitation, such as redisplaying at the same position on the screen or redisplaying at another position on the screen.
Further, the correction mark is repeatedly used to use the same pattern or different patterns, and is not particularly limited.
In order to maintain the interest of the subject in the correction mark, it is preferable to change the pattern and various elements of the correction mark. For example, in the case of the pattern and the movement element, as shown in FIG. Then, after reducing the first size to the center and then expanding again to the original size, the second time again reducing the size to the center, or the second time as shown in FIG. It is better to make it easier for the subject to gaze at the mark by making a different pattern or reducing the first time toward the lower center edge as shown in FIG. .
〔３〕視線補正手段
次に、上記までの補正マーク（Ｉ）を用いた視線補正手段について、図１、図２と図８を示し説明する。
まず、図１と図２ａに示すように、視線検出ユニット（Ｕ）は、対象者３の目（瞳孔）の位置と視線検出部（Ａ）の位置と表示体（Ｂ）の３つの位置関係から、視線検出部Ａが算出した画面上２の対象者の算出視線位置（Ｙ’）を求めている。ここでは、前記のとおり、この算出視線位置（Ｙ’）は、これらの位置関係から計算により判断している位置情報であるから、上記３つの位置が不意に変化することによる誤差や、視線検出部の瞳孔の撮像による画像情報や電極による情報に含まれる誤差などの様々な要因による誤差を含み、プロットなどを表示するにあたり、たとえば、図８ａのように、実際に見ている矩形９の角位置と検出した位置が異なってしまったり、図８ｂのように、中央５番のボタンマークを見たにも係わらず、周辺の異なる番号を認識したり、さらには、これらの異なって表示されるマーク位置をさらに見ようとしてマーク表示が次第に遠ざかるなどの現象を生じてしまう。
[3] Line-of-Sight Correction Unit Next, the line-of-sight correction unit using the correction mark (I) described above will be described with reference to FIGS. 1, 2, and 8. FIG.
First, as shown in FIGS. 1 and 2a, the line-of-sight detection unit (U) has three positional relationships: the position of the eye (pupil) of the subject 3, the position of the line-of-sight detection unit (A), and the display body (B). Thus, the calculated gaze position (Y ′) of the subject on the
ここで、図２ｂに示すように、表示面上で視線位置に基づき、絵柄を表示したり位置を判定するとき、算出した算出視線位置（Ｙ’）では、実視線位置（Ｘ）に対して位置が異なってしまうこととなるため、実視線位置（Ｘ）に合致するために、算出視線位置（Ｙ）を求める手段、即ち、算出された算出視線位置（Ｙ’）を算出視線位置（Ｙ）へと都度補正をすることが有効となる。 Here, as shown in FIG. 2b, when displaying the pattern or determining the position based on the line-of-sight position on the display surface, the calculated line-of-sight position (Y ′) is relative to the actual line-of-sight position (X). Since the positions will be different, means for obtaining the calculated line-of-sight position (Y) to match the actual line-of-sight position (X), that is, the calculated line-of-sight position (Y ′) is calculated as the calculated line-of-sight position (Y It is effective to correct each time.
この補正をするにあたり、さらに図２ｃ〜図２ｆに示すように、これまでに説明した補正用マーク（Ｉ）を表示して、特定の縮小方向を与えて縮小を開始するとともに、視線検出部（Ａ）の最小検出精度または表示部（Ｂ）の最小表示限界の大きさ以下へと縮小させ、該マーク（Ｉ）の縮小を終了する時点において、検出される視線検出部（Ａ）の得た算出視線位置（Ｙ）を、実際の視線位置（Ｘ）に適合した表示部上の補正視線位置（Ｚ）として得るものである。 In performing this correction, as shown in FIGS. 2c to 2f, the correction mark (I) described so far is displayed, the reduction is started by giving a specific reduction direction, and the line-of-sight detection unit ( Obtained by the detected line-of-sight detection unit (A) at the point of time when the reduction of the mark (I) is completed by reducing it to a size smaller than the minimum detection accuracy of A) or the minimum display limit of the display unit (B). The calculated line-of-sight position (Y) is obtained as the corrected line-of-sight position (Z) on the display unit adapted to the actual line-of-sight position (X).
具体的に順に説明すると、図２ｃのように、補正用マーク（Ｉ）を表示すると、対象者の視線が補正マーク内あるいは付近に集中させることができる。ただし、視線がマークの中心部に位置することは無いと考えて良い。寧ろ、対象者は、マークを認識しようとしてマーク内とくに輪郭やその付近を見るように、視線が集中されるのである。
続いて、図２ｄのように、補正用マーク（Ｉ）は、特定の縮小方向を与えて縮小を開始すると、視線は縮小する方向に向かって視線が移動するように誘導することができる。このときの視線は、ほぼマークの縮小する変化を認識して、マークの縮小に追従して視線を誘導し始める。
終盤には、図２ｅのように、補正用マーク（Ｉ）がほぼ点状から非表示まで縮小が進むと、視線が図形の特定の部位へと、ピンポイントで誘導することができる。
このときの視線は、マークが図のように円形であれば、正しく円の中心部に位置するところに誘導できるのである。
最後に、点状から非表示に移行するときに、検出する算出視線位置（Ｙ）こそが、対象者の実視線位置（Ｘ）と合致している適正な位置として、得ることができるのである。
このようにすることにより、様々な誤差の要因を含む視線検出ユニット（Ｕ）であっても、このタイミングで得た算出視線位置（Ｙ’）の座標位置と、表示した補正マークの縮小を完了した位置（Ｘ）との位置の差が、算出視線位置（Ｙ）とどの程度位置がズレているかが容易に位置関係を特定し、判定することができる。
そして、この位置の差を補正視線位置（Ｚ）として得て、実視線位置（Ｘ）に対して位置の差分だけ補正を行えば、常に実視線位置（Ｘ）と算出視線位置（Ｙ）を適合させることができるのである。
Specifically, when the correction mark (I) is displayed as shown in FIG. 2c, the line of sight of the subject can be concentrated in or near the correction mark. However, it may be considered that the line of sight is not located at the center of the mark. On the contrary, the subject's line of sight is concentrated so as to see the inside of the mark, especially the outline and its vicinity, in order to recognize the mark.
Subsequently, as shown in FIG. 2D, when the correction mark (I) is given a specific reduction direction and starts to reduce, the line of sight can be guided to move toward the direction of reduction. At this time, the line of sight substantially recognizes the change of the mark, and starts to guide the line of sight following the reduction of the mark.
At the end, as shown in FIG. 2e, when the correction mark (I) is reduced from a substantially dot shape to a non-display state, the line of sight can be pinpointed to a specific part of the figure.
If the mark is circular as shown in the figure, the line of sight at this time can be guided to a position correctly located at the center of the circle.
Finally, when shifting from dot-like to non-display, the calculated gaze position (Y) to be detected can be obtained as an appropriate position that matches the actual gaze position (X) of the subject. .
By doing so, even in the line-of-sight detection unit (U) including various error factors, the coordinate position of the calculated line-of-sight position (Y ′) obtained at this timing and the reduction of the displayed correction mark are completed. The positional relationship between the calculated position (Y) and the calculated position (Y) can be easily determined by determining the positional relationship.
Then, if the difference between the positions is obtained as the corrected line-of-sight position (Z) and the position difference is corrected with respect to the actual line-of-sight position (X), the actual line-of-sight position (X) and the calculated line-of-sight position (Y) are always obtained. It can be adapted.
ここまでについて、図７を用いて、本発明の調整方法による補正マークへの注視点の誘導効果を補正手段を用いないときと対比して説明する。
図７ａは、画面上に、画面上の実寸で直径１０ｍｍのドーナツ画像を９つ整列するように、表示したものであり、対象者に対して画面の中心を見るように説明しておき、対象者に対して４秒間表示する画像である。ここで、本発明の調整方法では、画像を表示してから４秒後の対象者の視線の位置を検出するようになっている。
このうち、図７ｂは、９つあるドーナツ画像のうち画面の中心にあるドーナツ画像だけ、画面を表示してから１秒後に、３秒かけて一定の速さで外径が縮小し、点状から非表示になるように表示されるように構成された画像である。そして、表示から４秒後に、画面全体が非表示になるように設定されている。
対して、図７ｃは、４秒間画面全体が変化なく表示され、表示から４秒後に、画面全体が非表示になるように設定されている。
これを１名あたり図７ｂと図７ｃの表示を６回ずつ交互に表示し、１０名、それぞれ計６０回、表示してから４秒後の対象者の視線の位置を検出した。
図７ｂと図７ｃには、その６０回すべての検出した位置を赤い点で示したものである。
この図から分かるように、画面の中心を見ているように指示した場合でも、図７ｂのように補正マークとして、中心のドーナツ画像を縮小させ非表示にすると、図７ｃに比べて、明らかにドーナツの中心へと、より近く注視点を得ることができ、誤差を少なく調整しやすさにも貢献していることが確認できた。
Up to this point, the guidance effect of the gazing point on the correction mark by the adjustment method of the present invention will be described with reference to FIG. 7 in comparison with the case where no correction means is used.
FIG. 7 a shows a display on the screen so that nine donut images having an actual size on the screen and a diameter of 10 mm are aligned, and the subject is explained to see the center of the screen. It is an image displayed for 4 seconds to a person. Here, in the adjustment method of the present invention, the position of the line of sight of the subject 4 seconds after displaying the image is detected.
Among these, FIG. 7b shows that only the donut image in the center of the screen among the nine donut images is reduced to a point-like shape with the outer diameter decreasing at a constant rate over 3
On the other hand, FIG. 7c is set so that the entire screen is displayed without change for 4 seconds, and the entire screen is hidden after 4 seconds from the display.
The display of FIG. 7b and FIG. 7c was alternately displayed 6 times per person, and the position of the line of sight of the subject was detected 4 seconds after 10 persons were displayed 60 times in total.
In FIG. 7b and FIG. 7c, all the 60 detected positions are indicated by red dots.
As can be seen from this figure, even when instructed to look at the center of the screen, if the donut image at the center is reduced and hidden as a correction mark as shown in FIG. It was confirmed that the gaze point could be obtained closer to the center of the donut, contributing to ease of adjustment with less error.
〔４〕視線位置判定手段
続いて、上記視線位置判定手段とともに用いられる視線位置判定手段について、図５を示し説明する。
視線位置判定手段は、前記の視線補正手段において、さらに、補正マーク（Ｉ）に特定の縮小方向を与えて縮小を開始するとともに視線検出部（Ａ）の最小検出精度または表示部（Ｂ）の最小表示限界の大きさ以下まで縮小させるまでの間に、２点以上の対象者の検出部の視線位置（ｙａ）（ｙｂ）・・・を抽出することで、該マーク（Ｉ）の縮小を終了する時点における予測視線位置（ＹＹ）を算出するものである。
また、予測視線位置（ＹＹ）を得た際に、算出視線位置（Ｙ）と合致したとき視線位置が適合した信号を出力するものである。
[4] Line-of-Sight Position Determination Unit Next, the line-of-sight position determination unit used together with the line-of-sight position determination unit will be described with reference to FIG.
The line-of-sight position determining means in the above-described line-of-sight correction means further applies a specific reduction direction to the correction mark (I) to start reduction, and at the same time the minimum detection accuracy of the line-of-sight detection unit (A) or the display unit (B) By extracting the line-of-sight positions (ya) (yb)... Of the detection points of two or more subjects before the reduction to the size of the minimum display limit or less, the mark (I) can be reduced. The predicted line-of-sight position (YY) at the time of termination is calculated.
In addition, when the predicted line-of-sight position (YY) is obtained, a signal in which the line-of-sight position is matched is output when it matches the calculated line-of-sight position (Y).
具体的には、図５ａや図５ｂのように、マークが縮小している間の短時間のうちに、対象者の視線移動を細かく、ｙａ、ｙｂのように、それぞれ時間毎の視線の位置を検出して、マークの縮小が完了するタイミングの視線の移動する位置ＹＹを予測しておくものである。予測した位置を予測視線位置（ＹＹ）とする。
予測視線位置（ＹＹ）を算出するには、図５ａのように、回数は２回以上行えばこれらの位置関係から、今後移動する移動方向や位置を算出できるが、将来の予測する位置をより厳密に算出するには、さらに回数を多くした方が望ましい。
このようにして、この予測視線位置（ＹＹ）の算出を短時間で行い、縮小を終了する時点における予測視線位置（ＹＹ）を得る。
Specifically, as shown in FIGS. 5a and 5b, the gaze movement of the subject is finely performed within a short time while the mark is reduced, and the gaze position for each time, such as ya and yb, respectively. , And a position YY at which the line of sight moves at the timing when the reduction of the mark is completed is predicted. Let the predicted position be the predicted line-of-sight position (YY).
In order to calculate the predicted line-of-sight position (YY), as shown in FIG. 5a, if the number of times is performed twice or more, the moving direction and the position to move in the future can be calculated from these positional relationships. In order to calculate precisely, it is desirable to increase the number of times.
In this manner, the predicted line-of-sight position (YY) is calculated in a short time, and the predicted line-of-sight position (YY) at the time when the reduction is completed is obtained.
続いて、視線補正手段により得た算出視線位置（Ｙ）を得て、点状から非表示に移行するときに検出した算出視線位置（Ｙ）と予測視線位置（ＹＹ）との位置関係の比較を、行う。
算出視線位置（Ｙ）と予測視線位置（ＹＹ）が合致（Ｙ＝ＹＹ）していれば、実視線位置（Ｘ）と適合していることが、予測視線位置（ＹＹ）によって、簡便に判断することができる。
この合致とは、必ずしも厳密に合致している必要はなく、ユニットの使用に問題を生じない程度以下まで合致しているかで、判断すればよい。
そして、合致していない場合には、補正を再びやり直せばよく、合致していれば、視線調整手段を終了することで、確実な注視点の調整ができたことが判断できるのである。
また、外部に対して位置が合致していることを信号を出力して、対象者に提示してもよい。この信号は、電子振動に限らず、光や音や振動など適宜変換しても自由である。
Subsequently, the calculated gaze position (Y) obtained by the gaze correction means is obtained, and the positional relationship between the calculated gaze position (Y) detected when shifting from the dot shape to the non-display and the predicted gaze position (YY) is compared. I do.
If the calculated line-of-sight position (Y) and the predicted line-of-sight position (YY) match (Y = YY), it is easily determined by the predicted line-of-sight position (YY) that it matches the actual line-of-sight position (X). can do.
This match does not necessarily need to be strictly matched, and it can be determined whether or not the match does not cause a problem in the use of the unit.
If they do not match, the correction may be performed again. If they match, it can be determined that the gaze adjustment unit has been reliably adjusted by terminating the line-of-sight adjustment means.
Further, a signal indicating that the position matches the outside may be output and presented to the subject. This signal is not limited to electronic vibration, and can be freely converted as appropriate, such as light, sound, and vibration.
〔５〕調整方法の各種態様
次いで、本発明の調整方法が適用される各種視線検出ユニットの各種態様について、事例を示し説明する。
[5] Various Aspects of Adjustment Method Next, examples of various aspects of various visual axis detection units to which the adjustment method of the present invention is applied will be described.
本発明は、ユニットの使用前に調整を行うだけでなく、使用前と使用後に行ったり、ユニットの使用中に行ったりするとよい。使用中では、表示される画像やマークを利用し、それを縮小させることで、対象者に極力調整していることを意識させずに行うこともできる。
このように複数回調整を行うことで、もし補正した都度、補正視線位置（Ｚ）に差が生じた場合は、迅速に補正視線位置を適切な位置に調整が可能となる。
また、過去の補正視線位置を（Ｚａ）（Ｚｂ）のように、記憶できる場合には、補正視線位置（Ｚａ）（Ｚｂ）に差を生じた場合には、対象者の位置や視線検出部の位置や表示体の位置など何らかの要因で誤差が生じたものと判断でき、このような場合において、特に、算出視線位置（Ｙ）の情報を記録し、利用するユニットの場合には、たとえば、過去の補正視線位置において、（Ｚａ）（Ｚｂ）がそれぞれ差分だけ、その間に得た検出した算出視線位置（Ｙ）について、時間当たりの差分だけ補正をすることができ、早期に誤差発生の判断や発生後の調整がすることができる。
The present invention is not limited to adjustment before use of the unit, but may be performed before and after use or during use of the unit. During use, it is possible to use the displayed image or mark and reduce the size without making the target person aware of the adjustment as much as possible.
By performing the adjustment a plurality of times as described above, if there is a difference in the corrected gaze position (Z) each time correction is performed, the corrected gaze position can be quickly adjusted to an appropriate position.
Further, when the past corrected line-of-sight position can be stored as (Za) (Zb), if there is a difference in the corrected line-of-sight position (Za) (Zb), the position of the subject and the line-of-sight detection unit In such a case, especially in the case of a unit that records and uses information of the calculated line-of-sight position (Y), for example, In the past corrected line-of-sight position, (Za) and (Zb) can each be corrected by the difference, and the detected line-of-sight position (Y) obtained during that time can be corrected by the difference per time, and the determination of error occurrence at an early stage. And post-occurrence adjustments can be made.
また、本発明は、画面上の位置に応じて、視線補正位置（Ｚ）が特定の規則性で変化する場合においても好適に対応できる。
具体的には、カメラのレンズ特性としてよく知られているように、撮像の外周ほど寸法誤差を多く含むように、画面上の位置に応じた規則的な誤差を有する場合には、位置に応じた規則的な誤差変動分を加算して、補正視線位置を算出すればよい。
ここで、本発明を適用する視線ユニットが、位置情報の保存や加工をして何らかの用途に利用する機能を有する場合には、この規則的な誤差変動によらない不具合が生じたときに、本発明の補正視線位置（Ｚ）の過去情報（Ｚａ）（Ｚｂ）・・・との大きな変化が有るかを確認することで、ユニットの検出した情報から、不具合や異変を検出することもできるので、このような不具合発生を判断することに応用することにも、利用することができる。
In addition, the present invention can suitably cope with a case where the line-of-sight correction position (Z) changes with a specific regularity according to the position on the screen.
Specifically, as is well known as the lens characteristics of a camera, if there is a regular error according to the position on the screen so as to include more dimensional errors as the outer periphery of the image capture, it depends on the position. The corrected line-of-sight position may be calculated by adding the regular error fluctuations.
Here, when the line-of-sight unit to which the present invention is applied has a function of storing and processing position information and using it for some purpose, when a problem that does not depend on this regular error fluctuation occurs, Since it is possible to detect defects and abnormalities from the information detected by the unit by confirming whether there is a large change from the past information (Za) (Zb)... It can also be used for application to determining the occurrence of such problems.
本発明の視線検出ユニットとディスプレイ用ポインティングデバイスのための注視点の調整方法は、適用される視線検出ユニットに幅広く用いることができ、簡便且つ迅速に検出した視線位置座標のズレを補正することができ、産業上の利用可能性が高い。 The gazing point adjustment method for the sight line detection unit and the display pointing device of the present invention can be widely used in the sight line detection unit to be applied, and can correct the displacement of the detected sight line position coordinates easily and quickly. Yes, it has high industrial applicability.
１ カメラ部
２ 表示部（表示部の画面上）
３ 対象者
Ａ 視線検出部
Ｂ 表示部
Ｕ 視線検出ユニット（ディスプレイ用ポインティングデバイス）
Ｘ 実視線位置
Ｙ 算出視線位置
ＹＹ 予測視線位置
Ｚ 補正視線位置
1
3 Target person A Gaze detection unit B Display unit U Gaze detection unit (pointing device for display)
X actual gaze position Y calculated gaze position YY predicted gaze position Z corrected gaze position
Claims (9)
表示部（Ｂ）の画面上の所望の位置に、補正用マーク（Ｉ）を表示し、次に、該マーク（Ｉ）に特定の縮小方向を与えて縮小を開始するとともに視線検出部（Ａ）の最小検出精度または表示部（Ｂ）の最小表示限界の大きさ以下へと縮小させ、該マーク（Ｉ）の縮小を終了する時点において検出される視線検出部（Ａ）の得た算出視線位置（Ｙ）を、実視線位置（Ｘ）に適合した補正視線位置（Ｚ）として得る視線補正手段を有することを特徴とする視線検出ユニット又はディスプレイ用ポインティングデバイスのための注視点の調整方法。 In a line-of-sight detection unit or display pointing device (U) having a line-of-sight detection unit (A) that detects the actual line-of-sight position (X) from the eye movement of the subject and a display unit (B) that presents information to the subject ,
The correction mark (I) is displayed at a desired position on the screen of the display unit (B). Next, a specific reduction direction is given to the mark (I) to start reduction, and the line-of-sight detection unit (A ) And the calculated line of sight obtained by the line-of-sight detection unit (A) detected at the time when the reduction of the mark (I) is completed. A gaze point adjustment method for a gaze detection unit or a display pointing device, characterized by comprising gaze correction means for obtaining a position (Y) as a corrected gaze position (Z) adapted to the actual gaze position (X).
該マーク（Ｉ）に特定の縮小方向を与えて縮小を開始するとともに視線検出部（Ａ）の最小検出精度または表示部（Ｂ）の最小表示限界の大きさ以下まで縮小させるまでの間に、２点以上の対象者の検出部の視線位置（ｙａ）（ｙｂ）・・・を抽出して該マーク（Ｉ）の縮小を終了する時点における予測視線位置（ＹＹ）を得る視線位置判定手段を有することを特徴とする請求項１に記載の注視点の調整方法。 The line-of-sight correction means corrects the calculated line-of-sight position (Y) obtained by the line-of-sight detection unit (A) detected at the time when the reduction of the correction mark (I) is completed in conformity with the actual line-of-sight position (X). In obtaining the line-of-sight position (Z),
While giving a specific reduction direction to the mark (I) and starting the reduction, the mark (I) is reduced to the minimum detection accuracy of the line-of-sight detection unit (A) or to the size of the minimum display limit of the display unit (B). Gaze position determination means for obtaining a predicted gaze position (YY) at the time when the gaze positions (ya), (yb),... The gaze point adjustment method according to claim 1, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013089055A JP2013255781A (en) | 2012-05-16 | 2013-04-22 | Method for adjusting point-of-gaze for visual line detection unit and pointing device for display |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012112419 | 2012-05-16 | ||
| JP2012112419 | 2012-05-16 | ||
| JP2013089055A JP2013255781A (en) | 2012-05-16 | 2013-04-22 | Method for adjusting point-of-gaze for visual line detection unit and pointing device for display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013255781A true JP2013255781A (en) | 2013-12-26 |
Family
ID=49952742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013089055A Pending JP2013255781A (en) | 2012-05-16 | 2013-04-22 | Method for adjusting point-of-gaze for visual line detection unit and pointing device for display |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013255781A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015125243A1 (en) * | 2014-02-19 | 2015-08-27 | 三菱電機株式会社 | Display control device, display control method for display control device, gaze direction detecting system, and callibration control method for gaze direction detecting system |
| JP2016087129A (en) * | 2014-11-06 | 2016-05-23 | 株式会社フューチャーデバイス | Game machine |
| WO2016208261A1 (en) * | 2015-06-26 | 2016-12-29 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2017107511A (en) * | 2015-12-11 | 2017-06-15 | 富士通株式会社 | Information processing system, information processing method, and information processing program |
| JP2020191603A (en) * | 2019-05-23 | 2020-11-26 | リンナイ株式会社 | Voltage value detection device |
| JP2021183277A (en) * | 2020-08-11 | 2021-12-02 | 株式会社トプコン | Ophthalmologic apparatus |
-
2013
- 2013-04-22 JP JP2013089055A patent/JP2013255781A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9785235B2 (en) | 2014-02-19 | 2017-10-10 | Mitsubishi Electric Corporation | Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system |
| CN106028913A (en) * | 2014-02-19 | 2016-10-12 | 三菱电机株式会社 | Display control device, display control method for display control device, gaze direction detecting system, and callibration control method for gaze direction detecting system |
| WO2015125243A1 (en) * | 2014-02-19 | 2015-08-27 | 三菱電機株式会社 | Display control device, display control method for display control device, gaze direction detecting system, and callibration control method for gaze direction detecting system |
| JPWO2015125243A1 (en) * | 2014-02-19 | 2017-03-30 | 三菱電機株式会社 | Display control device, display control method for display control device, gaze direction detection system, and calibration control method for gaze direction detection system |
| DE112014006382B4 (en) * | 2014-02-19 | 2019-01-17 | Mitsubishi Electric Corporation | A display control device, a display control device display control method, an eye gaze direction detection system, and an eye gaze detection system calibration control method |
| JP2016087129A (en) * | 2014-11-06 | 2016-05-23 | 株式会社フューチャーデバイス | Game machine |
| WO2016208261A1 (en) * | 2015-06-26 | 2016-12-29 | ソニー株式会社 | Information processing device, information processing method, and program |
| US10496186B2 (en) | 2015-06-26 | 2019-12-03 | Sony Corporation | Information processing apparatus, information processing method, and program |
| JP2017107511A (en) * | 2015-12-11 | 2017-06-15 | 富士通株式会社 | Information processing system, information processing method, and information processing program |
| JP2020191603A (en) * | 2019-05-23 | 2020-11-26 | リンナイ株式会社 | Voltage value detection device |
| JP7292105B2 (en) | 2019-05-23 | 2023-06-16 | リンナイ株式会社 | Voltage detector |
| JP2021183277A (en) * | 2020-08-11 | 2021-12-02 | 株式会社トプコン | Ophthalmologic apparatus |
| JP7219313B2 (en) | 2020-08-11 | 2023-02-07 | 株式会社トプコン | ophthalmic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10873825B2 (en) | Audio spatialization and reinforcement between multiple headsets | |
| JP2013255781A (en) | Method for adjusting point-of-gaze for visual line detection unit and pointing device for display | |
| JP6465672B2 (en) | Information processing apparatus and information processing method | |
| US10888772B2 (en) | Information processing apparatus and warning presentation method | |
| JP2016110123A (en) | Holographic display method and device which self-adapt to different distances based on eyeball tracking | |
| JP2016208348A (en) | Display device, control method for display device, and program | |
| WO2015093315A1 (en) | Image processing device and method, and program | |
| JPWO2009107371A1 (en) | Gaze detection apparatus and gaze detection method | |
| JP6026836B2 (en) | Image display device, control method, program, and storage medium | |
| US20200202161A1 (en) | Information processing apparatus, information processing method, and program | |
| WO2016002657A1 (en) | Image generation device and image generation method | |
| JP2017514186A (en) | Display control method and apparatus, electronic device | |
| CN105739095A (en) | Display device, and method of controlling display device | |
| WO2017126433A1 (en) | Information processing device and user guide presentation method | |
| US11327317B2 (en) | Information processing apparatus and information processing method | |
| EP4011093A1 (en) | Ear-plug assembly for hear-through audio systems | |
| WO2017051595A1 (en) | Information processing device, information processing method and program | |
| JP6494305B2 (en) | Information processing apparatus, display apparatus, and information processing method | |
| WO2019073689A1 (en) | Information processing device, information processing method, and program | |
| US20210297805A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
| JP6500570B2 (en) | Image display apparatus and image display method | |
| CN113395438B (en) | Image correction method and related device for eyeball tracking technology | |
| US20230021861A1 (en) | Information processing system and non-transitory computer readable medium | |
| JP2022111143A (en) | Information processor and warning presentation method | |
| JP2018190432A (en) | Information processor and warning presentation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150917 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150928 |