JP6908902B2 - Information input device based on fluctuations in pupil diameter - Google Patents

Information input device based on fluctuations in pupil diameter Download PDF

Info

Publication number
JP6908902B2
JP6908902B2 JP2017096142A JP2017096142A JP6908902B2 JP 6908902 B2 JP6908902 B2 JP 6908902B2 JP 2017096142 A JP2017096142 A JP 2017096142A JP 2017096142 A JP2017096142 A JP 2017096142A JP 6908902 B2 JP6908902 B2 JP 6908902B2
Authority
JP
Japan
Prior art keywords
unit
fluctuation
fluctuations
pupil diameter
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017096142A
Other languages
Japanese (ja)
Other versions
JP2018194931A (en
Inventor
寛彦 金子
寛彦 金子
ゆみ子 武藤
ゆみ子 武藤
慧 金成
慧 金成
秀佳 三好
秀佳 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2017096142A priority Critical patent/JP6908902B2/en
Publication of JP2018194931A publication Critical patent/JP2018194931A/en
Application granted granted Critical
Publication of JP6908902B2 publication Critical patent/JP6908902B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は瞳孔径の変動に基づく情報入力装置に関し、特に、瞳孔径の変動を計測することで複数の選択肢の中から利用者が入力を希望する選択肢を決定する情報入力装置に関する。 The present invention relates to an information input device based on fluctuations in pupil diameter, and more particularly to an information input device that determines an option that a user desires to input from a plurality of options by measuring fluctuations in pupil diameter.

コンピュータや携帯端末やゲーム機器等に対する情報入力装置としては、指により入力可能なキーボードやゲームコントローラ等が一般的に知られている。そして、指を使わず、使用者の視線を用いた情報入力装置も知られている（例えば特許文献１や特許文献２）。このような視線を用いた入力装置は、何れも、眼電位法や角膜反射法、ビデオ画像法等により利用者の眼球の物理的方向（視線方向）を検出することにより、複数の選択肢の中から利用者が入力を希望する選択肢を注視する（視線を向ける）と、この選択肢を入力を希望する選択肢と決定するものである。 As an information input device for a computer, a mobile terminal, a game device, or the like, a keyboard or a game controller that can be input by a finger is generally known. An information input device that uses the line of sight of the user without using a finger is also known (for example, Patent Document 1 and Patent Document 2). All of the input devices using such a line of sight are selected from a plurality of options by detecting the physical direction (line of sight direction) of the user's eyeball by the electro-oculography method, the corneal reflex method, the video image method, or the like. When the user gazes at the option desired to be input (turns his / her eyes), this option is determined as the option desired to be input.

また、情報入力装置ではないが、本願出願人と同一出願人による特許文献３には、利用者の視野内の映像の輝度分布と利用者の瞳孔の大きさの変化との関係を用いて、利用者が注意している位置を推定する注意位置推定装置が開示されている。これは、瞳孔の大きさが大きい側に変化する場合には輝度分布中の輝度の低い位置を、瞳孔の大きさが小さい側に変化する場合には輝度分布中の輝度の高い位置を、利用者が注意している位置と推定するものである。即ち、視線を向けなくても利用者の注意位置を推定可能なものである。これは、瞳孔の大きさの変化を検出し、輝度分布を利用して利用者の注意位置を推定する技術であり、瞳孔径を外部刺激により変動させるものではなかった。 Further, although it is not an information input device, Patent Document 3 by the same applicant as the applicant of the present application uses the relationship between the brightness distribution of the image in the field of view of the user and the change in the size of the pupil of the user. A caution position estimation device that estimates a position that a user is paying attention to is disclosed. This uses the low brightness position in the luminance distribution when the pupil size changes to the larger side, and the high luminance position in the luminance distribution when the pupil size changes to the smaller side. It is presumed to be the position that the person is paying attention to. That is, it is possible to estimate the user's attention position without looking at it. This is a technique of detecting a change in the size of the pupil and estimating the attention position of the user by using the luminance distribution, and does not change the diameter of the pupil by an external stimulus.

特開２０１２−２２１４９８号公報Japanese Unexamined Patent Publication No. 2012-22148 特開２０１７−５０７４００号公報JP-A-2017-507400 特開２０１３−２４０４６９号公報Japanese Unexamined Patent Publication No. 2013-240469

特許文献１や特許文献２の装置は、利用者が選択肢に対して自由に視線を向けることが可能な者の場合には問題ないが、眼球を動かすことのできない障害を持つ者には使うことができなかった。さらに、特許文献１や特許文献２のような視線方向を用いるものの場合には、測定した眼球位置と実際の視線とを一致させる必要があるため、使用前に校正が必要であった。また、頭部が動くことにより視線もずれるため、頭部位置を固定するか、頭部位置を補正するアルゴリズムの導入が必要であった。さらに、視線方向は個人差が大きく、十分な精度が得られない場合もあった。 The devices of Patent Document 1 and Patent Document 2 are not a problem if the user can freely look at the options, but should be used for a person with a disability who cannot move the eyeball. I couldn't. Further, in the case of using the line-of-sight direction as in Patent Document 1 and Patent Document 2, since it is necessary to match the measured eyeball position with the actual line-of-sight, calibration is required before use. In addition, since the line of sight shifts as the head moves, it is necessary to fix the head position or introduce an algorithm that corrects the head position. Further, the line-of-sight direction varies greatly among individuals, and in some cases, sufficient accuracy cannot be obtained.

本発明は、斯かる実情に鑑み、仮に視線が動かせないような場合であっても利用者が意識するだけで高精度に入力を希望する選択肢を決定可能な瞳孔径の変動に基づく情報入力装置を提供しようとするものである。 In view of such circumstances, the present invention is an information input device based on fluctuations in pupil diameter, which enables the user to accurately determine an option for input with high accuracy even if the line of sight cannot be moved. Is intended to provide.

上述した本発明の目的を達成するために、本発明による瞳孔径の変動に基づく情報入力装置は、利用者に対して入力対象となる複数の選択肢を表示する表示部と、表示部に表示される複数の選択肢に対して各々に固有の輝度変動を施す輝度変動部と、利用者の瞳孔径の変動を計測する計測部と、輝度変動部による輝度変動と計測部による瞳孔径変動との関係を用いて、複数の選択肢の中から利用者が意識することにより入力を希望する選択肢を決定する入力決定部と、を具備するものである。 In order to achieve the above-described object of the present invention, the information input device based on the fluctuation of the pupil diameter according to the present invention is displayed on the display unit and the display unit for displaying a plurality of options to be input to the user. Relationship between the brightness fluctuation unit that applies unique brightness fluctuations to each of the plurality of options, the measurement unit that measures the fluctuation of the user's pupil diameter, and the brightness fluctuation by the brightness fluctuation unit and the pupil diameter fluctuation by the measurement unit. It is provided with an input determination unit that determines an option desired to be input by the user consciously from a plurality of options by using.

ここで、輝度変動部は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかにより輝度変動を施すものであれば良い。 Here, the luminance fluctuation unit may be any one that changes the luminance by any of frequency modulation, amplitude modulation, phase modulation, and duty ratio modulation.

また、入力決定部は、瞳孔径変動の立ち上がり時間若しくは立ち下がり時間、又は立ち上がり角度若しくは立ち下がり角度を用いて選択肢を決定するものであっても良い。 Further, the input determination unit may determine the option by using the rise time or fall time of the pupil diameter fluctuation, or the rise angle or fall angle.

また、入力決定部は、輝度変動部で施される輝度変動に無い変動が瞳孔径変動に現れる場合、その変動をノイズとして除去した上で、選択肢を決定するものであっても良い。 Further, the input determination unit may determine the option after removing the variation as noise when the variation that is not in the luminance variation applied by the luminance variation unit appears in the pupil diameter variation.

また、計測部は、さらに利用者の呼吸及び／又は心拍を計測し、入力決定部は、計測部により計測される呼吸及び／又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定するものであっても良い。 In addition, the measurement unit further measures the user's respiration and / or heartbeat, and the input determination unit determines the option after removing the fluctuation synchronized with the respiration and / or heartbeat measured by the measurement unit as noise. It may be something to do.

また、表示部は、選択肢を利用者が所定の時間意識することで階層的にさらに複数の選択肢を表示可能に構成されるものであっても良い。 Further, the display unit may be configured so that a plurality of options can be displayed hierarchically by the user being aware of the options for a predetermined time.

本発明の瞳孔径の変動に基づく情報入力装置には、仮に視線が動かせないような場合であっても利用者が意識するだけで高精度に入力を希望する選択肢を決定可能であるという利点がある。 The information input device based on the fluctuation of the pupil diameter of the present invention has an advantage that even if the line of sight cannot be moved, it is possible to determine the option desired to be input with high accuracy only by the user's consciousness. be.

図１は、本発明の情報入力装置の構成を説明するための概略ブロック図である。FIG. 1 is a schematic block diagram for explaining the configuration of the information input device of the present invention. 図２は、本発明の情報入力装置における輝度変動と瞳孔径変動の関係を説明するための変動グラフである。FIG. 2 is a fluctuation graph for explaining the relationship between luminance fluctuation and pupil diameter fluctuation in the information input device of the present invention. 図３は、本発明の情報入力装置の入力決定部において除去すべきノイズを説明するための瞳孔径変動グラフである。FIG. 3 is a pupil diameter fluctuation graph for explaining noise to be removed in the input determination unit of the information input device of the present invention.

本発明の情報入力装置は、利用者の瞳孔径の変化に基づいて情報処理装置等に所定の情報を入力するものである。ここで、情報処理装置は、コンピュータや携帯端末、ゲーム機器等であれば良い。また、情報入力装置は、所謂ヒューマンインタフェースであり、文字や記号、所定の選択肢等を適宜情報処理装置に入力するために用いられるものである。 The information input device of the present invention inputs predetermined information to an information processing device or the like based on a change in the pupil diameter of the user. Here, the information processing device may be a computer, a mobile terminal, a game device, or the like. Further, the information input device is a so-called human interface, and is used to appropriately input characters, symbols, predetermined options, and the like into the information processing device.

以下、本発明を実施するための形態を図示例と共に説明する。図１は、本発明の情報入力装置の構成を説明するための概略ブロック図である。図示の通り、利用者１の瞳孔径の変動に基づく本発明の情報入力装置は、表示部１０と、輝度変動部２０と、計測部３０と、入力決定部４０とから主に構成されている。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the illustrated examples. FIG. 1 is a schematic block diagram for explaining the configuration of the information input device of the present invention. As shown in the figure, the information input device of the present invention based on the fluctuation of the pupil diameter of the user 1 is mainly composed of a display unit 10, a brightness fluctuation unit 20, a measurement unit 30, and an input determination unit 40. ..

表示部１０は、利用者１に対して入力対象となる複数の選択肢１１を表示するものである。表示部１０としては、例えばコンピュータやゲーム機器のモニタや携帯端末の画面であれば良い。入力対象となる複数の選択肢１１として、例えば図示例では１０キーを示した。しかしながら、本発明はこれに限定されず、例えばＱＷＥＲＴＹキーやＹｅｓ・Ｎｏキー等、あらゆる選択肢を表示可能である。 The display unit 10 displays a plurality of options 11 to be input to the user 1. The display unit 10 may be, for example, a monitor of a computer or a game device or a screen of a mobile terminal. As a plurality of options 11 to be input, for example, 10 keys are shown in the illustrated example. However, the present invention is not limited to this, and any option such as a QWERTY key or a Yes / No key can be displayed.

輝度変動部２０は、表示部１０に表示される複数の選択肢１１に対して各々に固有の輝度変動を施すものである。具体的には、輝度変動部２０は、選択肢１１に対して例えば輝度変動部は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかにより輝度変動を施せば良い。即ち、例えば周波数変調であれば、各選択肢１１に対して輝度変動のリズム（周波数）をそれぞれ異ならせて表示させる。また、振幅変調であれば、各選択肢１１に対して輝度変動のピークの明るさ（強度）をそれぞれ異ならせて表示させる。また、位相変調であれば、輝度変動のピーク位置（位相）をそれぞれ異ならせて表示させる。さらに、デューティ比変調であれば、輝度変動のピーク時間（デューティ比）をそれぞれ異ならせて表示させる。また、変動波形は、正弦波や三角波、方形波等、表示部１０に表示される選択肢１１の輝度を変動させることが可能な波形であれば良い。 The brightness fluctuation unit 20 applies unique brightness fluctuations to each of the plurality of options 11 displayed on the display unit 10. Specifically, the luminance fluctuation unit 20 may perform the luminance variation with respect to the option 11, for example, by any of frequency modulation, amplitude modulation, phase modulation, and duty ratio modulation. That is, for example, in the case of frequency modulation, the rhythm (frequency) of the luminance fluctuation is displayed differently for each option 11. Further, in the case of amplitude modulation, the brightness (intensity) of the peak of the luminance fluctuation is displayed differently for each option 11. Further, in the case of phase modulation, the peak positions (phases) of the luminance fluctuations are displayed differently. Further, in the case of duty ratio modulation, the peak time (duty ratio) of the luminance fluctuation is displayed differently. Further, the variable waveform may be a waveform such as a sine wave, a triangular wave, or a square wave that can change the brightness of the option 11 displayed on the display unit 10.

計測部３０は、利用者１の瞳孔径の変動を計測するものである。計測部３０は、利用者１の瞳孔径をリアルタイムに計測可能なものであることが好ましい。具体的には、例えば計測部３０は、利用者１の眼球を撮像する撮像部と、撮像された眼球映像から、瞳孔の大きさを計測する瞳孔計測部とからなる。瞳孔径の計測については、例えばアイトラッカやアイマークレコーダ等、瞳孔径の変化が計測できる手法であれば良い。瞳孔径の計測手法は特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。 The measuring unit 30 measures the fluctuation of the pupil diameter of the user 1. It is preferable that the measuring unit 30 can measure the pupil diameter of the user 1 in real time. Specifically, for example, the measuring unit 30 includes an imaging unit that captures the eyeball of the user 1 and a pupil measuring unit that measures the size of the pupil from the captured eyeball image. As for the measurement of the pupil diameter, any method such as an eye tracker or an eye mark recorder that can measure the change in the pupil diameter may be used. The method for measuring the pupil diameter is not limited to a specific method, and it may be measured by any conventional method or a method to be developed in the future.

入力決定部４０は、複数の選択肢１１の中から利用者１が意識する（注意を向ける）ことにより入力を希望する選択肢を決定するものである。これは、輝度変動部２０による輝度変動と計測部３０による瞳孔径変動との関係を用いて決定される。ここで、輝度変動と瞳孔径変動の関係について説明する。一般的に、視線を輝度の明るい方に向けた場合には、瞳孔は収縮し小さくなり、視線を輝度の暗い方に向けた場合には、瞳孔は拡大し、大きくなることが知られている。即ち、この現象によれば、輝度変動部２０による輝度変動に連動して瞳孔径変動が起こることになる。しかしながら、本発明では、このような一般的な視線の先の輝度変動に連動する瞳孔径変動を用いるものではない。本発明では、視線を向けなくても特定の選択肢を意識する、即ち、意識を向けた先の輝度変動に連動する瞳孔径変動を用いている。これは、視線を動かさなくても、入力を希望する選択肢に意識を向けることで、意識を向けた先の選択肢の輝度変動に合わせて瞳孔径が変動する現象を用いているのである。この現象は本願発明者により見出されたものである。即ち、仮に利用者１が特定の選択肢に視線を向けていたとしても、意識をしている選択肢が他のものであれば、他の選択肢の輝度変動に合せて瞳孔径変動が起こるのである。したがって、頭部を固定しておらず視線が動いたとしても、瞳孔径の計測では視線の移動の影響を受けず、特定の意識している選択肢を入力を希望する選択肢として決定可能となる。 The input determination unit 40 determines an option for which input is desired from among the plurality of options 11 by the user 1 being aware of (attention). This is determined by using the relationship between the luminance fluctuation by the luminance fluctuation unit 20 and the pupil diameter variation by the measurement unit 30. Here, the relationship between the luminance fluctuation and the pupil diameter fluctuation will be described. It is generally known that when the line of sight is directed toward the brighter side, the pupil contracts and becomes smaller, and when the line of sight is directed toward the darker side, the pupil expands and becomes larger. .. That is, according to this phenomenon, the pupil diameter fluctuates in conjunction with the luminance fluctuation by the luminance fluctuation unit 20. However, the present invention does not use such a pupil diameter variation linked to the luminance variation at the tip of the line of sight. In the present invention, the pupil diameter fluctuation linked to the brightness fluctuation at the point where the consciousness is directed is used. This uses a phenomenon in which the pupil diameter fluctuates according to the brightness fluctuation of the option to which the consciousness is directed by focusing the consciousness on the option desired to be input without moving the line of sight. This phenomenon was discovered by the inventor of the present application. That is, even if the user 1 is looking at a specific option, if the conscious option is another option, the pupil diameter variation will occur in accordance with the brightness variation of the other option. Therefore, even if the head is not fixed and the line of sight moves, the pupil diameter measurement is not affected by the movement of the line of sight, and a specific conscious option can be determined as the option desired to be input.

ここで、輝度変動と瞳孔径変動の関係について具体的に説明する。輝度変動の周波数が高すぎたり低すぎたりした場合、これに瞳孔径の変動が追従しなくなる場合もある。したがって、瞳孔径変動が追従可能な範囲で輝度変動の周波数範囲を決定すれば良い。具体的な数値としては、例えば以下に挙げたような条件で輝度変動と瞳孔径変動の関係を調べた。表示部１０に表示する選択肢１１として、直径約６．５ｄｅｇのものを１２種類用意した。なお、背景色は１６．４ｃｄ／ｍ２で一定とした。そして、輝度変動部２０により、最低輝度０．３７ｃｄ／ｍ２から最高輝度１０８．３ｃｄ／ｍ２の範囲の輝度変動振幅で、各選択肢１１に対してそれぞれ異なる周波数変調を施した。この結果、例えば低周波側は、約０．５０Ｈｚ以上、より好ましくは０．８２Ｈｚ以上の輝度変動周波数に対して、瞳孔径変動の追従性が高くなることが分かった。また、高周波側は、約２．００Ｈｚ程度まで十分な追従性が見られた。そして、各選択肢１１に対して０．１２Ｈｚ程度以上の周波数の差異があれば、複数の選択肢１１をそれぞれ十分に区別可能な程度に瞳孔径変動の追従性が見られた。なお、これらの数値はあくまでも一例であり、本発明の情報入力装置がこれらの数値に限定されるわけではない。 Here, the relationship between the luminance fluctuation and the pupil diameter fluctuation will be specifically described. If the frequency of the luminance fluctuation is too high or too low, the pupil diameter fluctuation may not follow it. Therefore, the frequency range of the luminance fluctuation may be determined within the range in which the pupil diameter fluctuation can be followed. As specific numerical values, for example, the relationship between luminance fluctuation and pupil diameter fluctuation was investigated under the following conditions. As options 11 to be displayed on the display unit 10, 12 types having a diameter of about 6.5 deg were prepared. The background color was constant at 16.4 cd / m 2. Then, the brightness fluctuation unit 20 performed different frequency modulation for each option 11 with a brightness fluctuation amplitude in the range of the minimum brightness of 0.37 cd / m 2 to the maximum brightness of 108.3 cd / m 2. As a result, it was found that, for example, on the low frequency side, the followability of the pupil diameter fluctuation becomes high with respect to the luminance fluctuation frequency of about 0.50 Hz or more, more preferably 0.82 Hz or more. Further, on the high frequency side, sufficient followability was observed up to about 2.00 Hz. Then, if there is a frequency difference of about 0.12 Hz or more with respect to each option 11, the followability of the pupil diameter variation is observed to the extent that the plurality of options 11 can be sufficiently distinguished from each other. Note that these numerical values are merely examples, and the information input device of the present invention is not limited to these numerical values.

図２を用いて輝度変動と瞳孔径変動の関係について変動グラフにより詳細に説明する。図２は、本発明の情報入力装置における輝度変動と瞳孔径変動の関係を説明するための変動グラフである。図中、横軸が時間であり、縦軸は輝度又は瞳孔径である。また、図２（ａ）が周波数変調、図２（ｂ）が振幅変調、図２（ｃ）が位相変調、図２（ｄ）がデューティ比変調の場合の変動グラフである。なお、図２（ａ），図２（ｂ），図２（ｃ）では、輝度を正弦波で変動させたものを示し、図２（ｄ）では、方形波で変動させたものを示した。しかしながら、何れの変調方式であっても、正弦波や方形波だけでなく、三角波等により輝度を変動させることが可能である。また、各図の上段が輝度変動部２０による輝度変動グラフであり、下段が計測部３０による瞳孔径変動グラフである。そして、一例として異なる変調を施した２つの選択肢の変動を黒線とグレー線で示した。なお、これらは説明のために模式的に表したものであり、実際の計測データを示すものではない。図示の通り、輝度変動と瞳孔径変動とは、同期していることが分かる。即ち、表示部１０に複数の選択肢１１に対してそれぞれ異なる輝度変動が施されていた場合であっても、利用者１が意識を向けている選択肢１１に同期した瞳孔径変動が得られることが分かる。具体的には、図２（ａ）に示される通り、輝度変動の周波数が変われば、瞳孔径変動の周波数も変わっていることが分かる。また、図２（ｂ）に示される通り、輝度変動の振幅が変われば、瞳孔径変動の振幅も変わっていることが分かる。同様に、図２（ｃ）に示される通り、輝度変動の位相が変われば、瞳孔径変動の位相も変わっていることが分かる。さらに、図２（ｄ）に示される通り、輝度変動のデューティ比が変われば、瞳孔径変動のデューティ比も変わっていることが分かる。 The relationship between the luminance variation and the pupil diameter variation will be described in detail with reference to FIG. 2 using a variation graph. FIG. 2 is a fluctuation graph for explaining the relationship between luminance fluctuation and pupil diameter fluctuation in the information input device of the present invention. In the figure, the horizontal axis is time and the vertical axis is brightness or pupil diameter. Further, FIG. 2A is a fluctuation graph in the case of frequency modulation, FIG. 2B is amplitude modulation, FIG. 2C is phase modulation, and FIG. 2D is duty ratio modulation. In addition, FIG. 2 (a), FIG. 2 (b), and FIG. 2 (c) show the brightness changed by a sine wave, and FIG. 2 (d) shows the one changed by a square wave. .. However, in any modulation method, it is possible to change the brightness not only by a sine wave or a square wave but also by a triangular wave or the like. The upper part of each figure is a luminance fluctuation graph by the luminance fluctuation unit 20, and the lower row is a pupil diameter fluctuation graph by the measurement unit 30. Then, as an example, the fluctuations of the two options with different modulations are shown by the black line and the gray line. It should be noted that these are schematically shown for the sake of explanation, and do not show actual measurement data. As shown in the figure, it can be seen that the luminance fluctuation and the pupil diameter fluctuation are synchronized. That is, even when the display unit 10 is subjected to different luminance fluctuations for the plurality of options 11, the pupil diameter variation synchronized with the option 11 to which the user 1 is conscious can be obtained. I understand. Specifically, as shown in FIG. 2A, it can be seen that if the frequency of the luminance fluctuation changes, the frequency of the pupil diameter fluctuation also changes. Further, as shown in FIG. 2B, it can be seen that if the amplitude of the luminance fluctuation changes, the amplitude of the pupil diameter fluctuation also changes. Similarly, as shown in FIG. 2C, it can be seen that if the phase of the luminance fluctuation changes, the phase of the pupil diameter fluctuation also changes. Further, as shown in FIG. 2D, it can be seen that if the duty ratio of the luminance fluctuation changes, the duty ratio of the pupil diameter fluctuation also changes.

本発明の情報入力装置では、このような現象を利用して、入力決定部４０で、複数の選択肢１１の中から利用者１が意識することにより入力を希望する選択肢を決定する。瞳孔径の変動速度の個人差はあるものの、輝度変動に対する瞳孔径変動は所定の関係性を有して同期するため、視線を用いるよりも個人差による誤差は少ない。 In the information input device of the present invention, using such a phenomenon, the input determination unit 40 determines an option desired to be input from the plurality of options 11 by the user 1 being aware of it. Although there are individual differences in the fluctuation rate of the pupil diameter, since the pupil diameter fluctuations are synchronized with each other with a predetermined relationship, the error due to the individual differences is smaller than that using the line of sight.

ここで、入力決定部による選択肢の決定の手法についてより具体的に説明する。上述の通り、入力決定部４０では、輝度変動と瞳孔径変動の関係を用いて入力を希望する選択肢を決定するが、この際に、所定の時間、即ち、複数回分の変動の振幅の観測を待って選択肢を決定すれば良い。しかしながら、本発明の情報入力装置はこれに限定されない。例えば、入力決定部４０は、瞳孔径変動の立ち上がり時間又は立ち下がり時間を用いて選択肢を決定しても良い。即ち、利用者１が入力を希望する選択肢を意識した際に、その選択肢の輝度変動に応じた瞳孔径変動が始まるので、その瞳孔径変動の立ち上がり時間や立ち下がり時間を計測すれば、輝度変動の立ち上がり時間や立ち下がり時間と同期した特定の選択肢を決定可能となる。これは、立ち上がり時間や立ち下がり時間だけでなく、瞳孔径変動の立ち上がり角度又は立ち下がり角度であっても良い。これにより、複数回分の変動の振幅の観測を行うことなく、より反応速度の速い情報入力装置が実現可能である。具体的には、例えば１秒以下で選択肢の決定も可能となる。 Here, the method of determining the options by the input determination unit will be described more specifically. As described above, the input determination unit 40 determines the option for which input is desired by using the relationship between the luminance fluctuation and the pupil diameter fluctuation. At this time, the observation of the amplitude of the fluctuation for a predetermined time, that is, a plurality of times is observed. Just wait and decide on your options. However, the information input device of the present invention is not limited to this. For example, the input determination unit 40 may determine the option by using the rise time or the fall time of the pupil diameter fluctuation. That is, when the user 1 is aware of the option desired to be input, the pupil diameter fluctuation starts according to the brightness fluctuation of the option. Therefore, if the rise time and the fall time of the pupil diameter fluctuation are measured, the brightness fluctuation It is possible to determine a specific option synchronized with the rise time and fall time of. This may be not only the rising time and the falling time, but also the rising angle or the falling angle of the pupil diameter fluctuation. As a result, it is possible to realize an information input device having a faster reaction speed without observing the amplitude of fluctuations for a plurality of times. Specifically, for example, it is possible to determine the options in less than 1 second.

次に、図３を用いてノイズ除去について説明する。図３は、本発明の情報入力装置の入力決定部において除去すべきノイズを説明するための瞳孔径変動グラフである。図中、横軸が時間であり、縦軸は瞳孔径である。なお、輝度変動として周波数変調を用いた際の瞳孔径変動の結果を示した。ノイズが存在しない場合には、周波数変調の場合には、入力を希望する特定の選択肢を意識すれば、所定の周波数で一定の変動となるはずである。しかしながら、図示の通り、輝度変動部で施される輝度変動に無い変動が瞳孔径変動に現れる場合がある。即ち、一定の周波数から外れた周波数の変動が生じる場合がある。このときには、入力決定部４０により、その変動をノイズとして除去すれば良い。例えば、まず各振幅のピーク値を検出する。そして、ピーク値間の間隔が他の間隔と大きく異なる点を除外することでノイズを除去する。そして、それ以外のピーク値間の間隔の平均を計算する。このようなノイズ除去を施した上で、瞳孔径変動に同期した輝度変動が施された選択肢を決定するように構成すれば良い。 Next, noise removal will be described with reference to FIG. FIG. 3 is a pupil diameter fluctuation graph for explaining noise to be removed in the input determination unit of the information input device of the present invention. In the figure, the horizontal axis is time and the vertical axis is the pupil diameter. The results of pupil diameter fluctuation when frequency modulation is used as the brightness fluctuation are shown. In the absence of noise, in the case of frequency modulation, there should be constant variation at a given frequency, given the particular choice of input desired. However, as shown in the figure, fluctuations that are not included in the brightness fluctuations performed in the brightness fluctuation portion may appear in the pupil diameter fluctuations. That is, there may be fluctuations in frequencies that deviate from a certain frequency. At this time, the fluctuation may be removed as noise by the input determination unit 40. For example, first, the peak value of each amplitude is detected. Then, noise is removed by excluding points where the interval between peak values is significantly different from other intervals. Then, the average of the intervals between the other peak values is calculated. After performing such noise removal, it may be configured so as to determine an option in which the luminance fluctuation is performed in synchronization with the pupil diameter fluctuation.

また、ノイズについては、瞳孔径変動は例えば呼吸や心拍の影響を受ける場合もある。このノイズを除去するには、以下のように構成すれば良い。まず、計測部３０で、瞳孔径以外にも例えば利用者の呼吸及び／又は心拍もさらに計測する。そして、入力決定部４０では、計測部３０により計測される呼吸及び／又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定すれば良い。なお、瞬きについては、瞳孔径変動グラフに欠損が生じることになるが、それによる影響は特にない。即ち、周波数や位相等が検出できる程度に変動が計測されれば、欠損があったとしても問題なく同期した輝度変動の選択肢を決定可能である。 As for noise, pupil diameter fluctuations may be affected by, for example, respiration and heartbeat. To remove this noise, the configuration may be as follows. First, the measuring unit 30 further measures, for example, the respiration and / or heartbeat of the user in addition to the pupil diameter. Then, the input determination unit 40 may determine the option after removing the fluctuation synchronized with the respiration and / or the heartbeat measured by the measurement unit 30 as noise. Regarding blinking, a defect will occur in the pupil diameter fluctuation graph, but there is no particular effect due to this. That is, if the fluctuation is measured to the extent that the frequency, phase, etc. can be detected, it is possible to determine the synchronous luminance fluctuation option without any problem even if there is a defect.

なお、計測部３０は、他にも輻輳眼球運動や追従眼球運動、脳波変動等をさらに計測し、必要により入力決定部４０の選択肢の決定に際し、補助的情報として利用しても良い。 In addition, the measuring unit 30 may further measure the congested eye movement, the following eye movement, the electroencephalogram fluctuation, and the like, and may use it as auxiliary information when determining the options of the input determination unit 40, if necessary.

上述の図示例では、複数の選択肢を表示部１０の１つの画面に表示した例を示したが、本発明はこれに限定されない。例えば、利用者が１つの選択肢を所定の時間意識することで、階層的にさらに複数の選択肢を表示するようにしても良い。即ち、１つの選択肢と、それに関連付けられて枝分かれする複数の選択肢を階層的に表示可能に構成しても良い。これにより、所謂長押しにより別の選択肢を表示する機能を本発明の情報入力装置でも実現可能である。具体的には、例えば五十音の場合、最初の画面では「あ」、「か」、「さ」、「た」、「な」というように「あ」段のみを選択肢として表示する。そして、利用者１がこの中から例えば「か」を入力を希望する選択肢として所定時間だけ意識すると、新たな複数の選択肢として、「か」行の「か」、「き」、「く」、「け」、「こ」が表示されるように構成される。これにより、表示部１０の表示画面が小さい場合等であっても、効率良い入力が可能となる。 In the above illustrated example, an example in which a plurality of options are displayed on one screen of the display unit 10 is shown, but the present invention is not limited thereto. For example, the user may be aware of one option for a predetermined time, so that a plurality of options may be displayed hierarchically. That is, one option and a plurality of options associated with the option may be configured to be hierarchically displayable. As a result, the function of displaying another option by a so-called long press can be realized by the information input device of the present invention. Specifically, for example, in the case of the Japanese syllabary, only the "A" column is displayed as an option on the first screen, such as "A", "Ka", "Sa", "Ta", and "Na". Then, when the user 1 is conscious of, for example, "ka" as an option for which he / she wants to input for a predetermined time, as a plurality of new options, "ka", "ki", "ku", "ku" in the "ka" line, It is configured so that "ke" and "ko" are displayed. As a result, efficient input is possible even when the display screen of the display unit 10 is small.

このように、本発明の情報入力装置によれば、視線を向けなくても入力を希望する選択肢を決定することができるようになる。したがって、仮に眼球が動かせず視線を向けられないような場合であっても、利用者が入力を希望する選択肢を意識するだけで高精度に選択肢を決定可能である。 As described above, according to the information input device of the present invention, it is possible to determine an option for which input is desired without looking at the line of sight. Therefore, even if the eyeball cannot be moved and the line of sight cannot be directed, the option can be determined with high accuracy only by the user being aware of the option desired to be input.

また、本発明の情報入力装置では、表示部に表示する入力対象となる複数の選択肢は、文字だけでなく図形等、あらゆるものを用いることが可能である。また、輝度変動部による選択肢に対する輝度変動は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかの変調方式を選択可能である。ここで、選択肢によって最適な輝度変動が存在する場合には、輝度変動部では選択肢毎に最適な変調方式を動的に切り替えても良い。さらに、輝度変動部による選択肢に対する輝度変動は、１つの選択肢全体を一様に変動させなくても良く、１つの選択肢の一部分に対して輝度変動を施しても良い。また、各選択肢の変調状態を時間的に変化させ、その変調状態の変化に同期した瞳孔径変動を用いて選択肢を決定するようにしても良い。具体的には、１つの選択肢に対して、輝度変動周波数を例えば１Ｈｚから２Ｈｚに動的に変化させることで、これに同期する瞳孔径変動を特徴的な動きとなるようにすることで、より精度を高めることが可能となる。また、選択肢毎の変調状態の関係についても、それぞれ時間的に変化させても良い。具体的には、ある時間では選択肢Ａに対しては輝度変動周波数を例えば１Ｈｚで変調しその隣の選択肢Ｂに対しては輝度変動周波数を例えば２Ｈｚで変調し、次の時間では選択肢Ａを２Ｈｚで変調し選択肢Ｂを１Ｈｚで変調するというように、時間的に変化させても良い。このように、１つの選択肢や複数の選択肢間で変調状態を時間的に変化させて、識別精度を高めることも可能である。 Further, in the information input device of the present invention, it is possible to use not only characters but also figures and the like as a plurality of options to be input to be displayed on the display unit. Further, for the luminance variation with respect to the options by the luminance fluctuation unit, any modulation method of frequency modulation, amplitude modulation, phase modulation, and duty ratio modulation can be selected. Here, if the optimum brightness variation exists depending on the options, the brightness variation unit may dynamically switch the optimum modulation method for each option. Further, the brightness variation with respect to the options by the brightness variation unit does not have to uniformly change the entire one option, and the brightness variation may be applied to a part of one option. Further, the modulation state of each option may be changed with time, and the option may be determined by using the pupil diameter variation synchronized with the change of the modulation state. Specifically, for one option, the luminance fluctuation frequency is dynamically changed from, for example, 1 Hz to 2 Hz, so that the pupil diameter fluctuation synchronized with this becomes a characteristic movement. It is possible to improve the accuracy. Further, the relationship of the modulation state for each option may be changed with time. Specifically, at a certain time, the luminance fluctuation frequency is modulated at, for example, 1 Hz for option A, the luminance fluctuation frequency is modulated at, for example, 2 Hz for the adjacent option B, and at the next time, option A is modulated at 2 Hz. It may be changed with time, such as modulation with and modulation of option B at 1 Hz. In this way, it is also possible to improve the identification accuracy by changing the modulation state with time between one option or a plurality of options.

なお、本発明の瞳孔径の変動に基づく情報入力装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 The information input device based on the fluctuation of the pupil diameter of the present invention is not limited to the above-mentioned illustrated examples, and it goes without saying that various changes can be made without departing from the gist of the present invention.

１ 利用者
１０ 表示部
１１ 選択肢
２０ 輝度変動部
３０ 計測部
４０ 入力決定部 1 User 10 Display unit 11 Choices 20 Luminance fluctuation unit 30 Measurement unit 40 Input determination unit

Claims (5)

利用者の瞳孔径の変動に基づく情報入力装置であって、該情報入力装置は、
利用者に対して入力対象となる複数の選択肢を表示する表示部と、
前記表示部に表示される複数の選択肢に対して各々に固有の輝度変動を施す輝度変動部と、
利用者の瞳孔径の変動を計測する計測部と、
前記輝度変動部による輝度変動と、計測部による瞳孔径変動の立ち上がり時間若しくは立ち下がり時間、又は立ち上がり角度若しくは立ち下がり角度との関係を用いて、複数の選択肢の中から利用者が意識することにより入力を希望する選択肢を決定する入力決定部と、
を具備することを特徴とする情報入力装置。 An information input device based on fluctuations in the pupil diameter of the user, and the information input device is
A display unit that displays multiple options to be input to the user,
A luminance fluctuation unit that applies unique brightness fluctuations to each of the plurality of options displayed on the display unit, and a luminance fluctuation unit.
A measuring unit that measures fluctuations in the pupil diameter of the user,
By using the relationship between the brightness fluctuation due to the brightness fluctuation unit and the rise time or fall time of the pupil diameter fluctuation by the measurement unit, or the rise angle or fall angle , the user can be aware of the plurality of options. An input decision unit that determines the options you want to enter, and
An information input device comprising. 利用者の瞳孔径の変動に基づく情報入力装置であって、該情報入力装置は、
利用者に対して入力対象となる複数の選択肢を表示する表示部と、
前記表示部に表示される複数の選択肢に対して各々に固有の輝度変動を施す輝度変動部と、
利用者の瞳孔径の変動を計測する計測部と、
前記輝度変動部で施される輝度変動に無い変動が計測部による瞳孔径変動に現れる場合、その変動をノイズとして除去した上で、輝度変動部による輝度変動と計測部による瞳孔径変動との関係を用いて、複数の選択肢の中から利用者が意識することにより入力を希望する選択肢を決定する入力決定部と、
を具備することを特徴とする情報入力装置。 An information input device based on fluctuations in the pupil diameter of the user, and the information input device is
A display unit that displays multiple options to be input to the user,
A luminance fluctuation unit that applies unique brightness fluctuations to each of the plurality of options displayed on the display unit, and a luminance fluctuation unit.
A measuring unit that measures fluctuations in the pupil diameter of the user,
When fluctuations that are not included in the brightness fluctuations performed by the luminance fluctuation unit appear in the pupil diameter fluctuations by the measurement unit, the fluctuations are removed as noise, and then the relationship between the luminance fluctuations by the luminance fluctuation unit and the pupil diameter fluctuations by the measurement unit. An input determination unit that determines the option that the user wants to input from a plurality of options by being aware of it.
An information input device comprising. 請求項１又は請求項２に記載の情報入力装置において、前記輝度変動部は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかにより輝度変動を施すことを特徴とする情報入力装置。 The information input device according to claim 1 or 2 , wherein the luminance fluctuation unit performs luminance fluctuation by any one of frequency modulation, amplitude modulation, phase modulation, and duty ratio modulation. 請求項１乃至請求項３の何れかに記載の情報入力装置において、前記計測部は、さらに利用者の呼吸及び／又は心拍を計測し、
前記入力決定部は、計測部により計測される呼吸及び／又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定する、
ことを特徴とする情報入力装置。 In the information input device according to any one of claims 1 to 3 , the measuring unit further measures the user's respiration and / or heartbeat.
The input determination unit determines the option after removing the fluctuation synchronized with the respiration and / or the heartbeat measured by the measurement unit as noise.
An information input device characterized by the fact that. 請求項１乃至請求項４の何れかに記載の情報入力装置において、前記表示部は、選択肢を利用者が所定の時間意識することで階層的にさらに複数の選択肢を表示可能に構成されることを特徴とする情報入力装置。 In the information input device according to any one of claims 1 to 4 , the display unit is configured to be able to display a plurality of options hierarchically by the user being aware of the options for a predetermined time. An information input device characterized by.
JP2017096142A 2017-05-15 2017-05-15 Information input device based on fluctuations in pupil diameter Active JP6908902B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017096142A JP6908902B2 (en) 2017-05-15 2017-05-15 Information input device based on fluctuations in pupil diameter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017096142A JP6908902B2 (en) 2017-05-15 2017-05-15 Information input device based on fluctuations in pupil diameter

Publications (2)

Publication Number Publication Date
JP2018194931A JP2018194931A (en) 2018-12-06
JP6908902B2 true JP6908902B2 (en) 2021-07-28

Family

ID=64571179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017096142A Active JP6908902B2 (en) 2017-05-15 2017-05-15 Information input device based on fluctuations in pupil diameter

Country Status (1)

Country Link
JP (1) JP6908902B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354805B2 (en) * 2019-07-30 2022-06-07 Apple Inc. Utilization of luminance changes to determine user characteristics

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206314B2 (en) * 2008-10-28 2013-06-12 三菱自動車工業株式会社 Automotive electronics
JP5438591B2 (en) * 2010-05-17 2014-03-12 日本電信電話株式会社 Emotion intensity measuring apparatus, emotion intensity measuring method, and program
JP5765740B2 (en) * 2012-05-21 2015-08-19 国立大学法人東京工業大学 Attention position estimation device
WO2014111924A1 (en) * 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
JP6356998B2 (en) * 2014-04-10 2018-07-11 サッポロホールディングス株式会社 Product sales apparatus and image display method
JP6651536B2 (en) * 2015-10-01 2020-02-19 株式会社夏目綜合研究所 Viewer's emotion determination device and program for determining viewer's emotion
CN106295492A (en) * 2016-06-03 2017-01-04 北京奇虎科技有限公司 A kind of terminal processing method, device and mobile terminal

Also Published As

Publication number Publication date
JP2018194931A (en) 2018-12-06

Similar Documents

Publication Publication Date Title
Mahanama et al. Eye movement and pupil measures: A review
Welford et al. Reaction times
Arabadzhiyska et al. Saccade landing position prediction for gaze-contingent rendering
Yin et al. A dynamically optimized SSVEP brain–computer interface (BCI) speller
Klingner Measuring cognitive load during visual tasks by combining pupillometry and eye tracking
US9462941B2 (en) Metamorphopsia testing and related methods
JP5438591B2 (en) Emotion intensity measuring apparatus, emotion intensity measuring method, and program
Spering et al. Effects of contrast on smooth pursuit eye movements
Volberg et al. Time-based expectations entail preparatory motor activity
Nagel et al. The effect of monitor raster latency on VEPs, ERPs and Brain–Computer Interface performance
Näsänen et al. Effect of image contrast and sharpness on visual search for computer icons
Montagna et al. Transient covert attention and the perceived rate of flicker
JP6908902B2 (en) Information input device based on fluctuations in pupil diameter
JP2019111291A (en) Attention level estimation device, attention level estimation model learning device, attention level estimation method, attention level estimation model learning method, and program
Liu et al. The effect of modulating top-down attention deployment on the N2pc/PCN
US10827922B2 (en) Apparatus and method for objective visual acuity measurement using dynamic velocity threshold filter in optokinetic response processing
Madelain et al. Pursuit of the ineffable: perceptual and motor reversals during the tracking of apparent motion
Liu et al. Randomly dividing homologous samples leads to overinflated accuracies for emotion recognition
Watamaniuk et al. Allocation of attention during pursuit of large objects is no different than during fixation
US20180173305A1 (en) Line-of-sight operation apparatus, method, and medical device
Sheliga et al. Ocular-following responses to white noise stimuli in humans reveal a novel nonlinearity that results from temporal sampling
WO2014022850A1 (en) Metamorphopsia testing and related methods
CN109303546B (en) Vision detection system
RU2018142364A (en) SYSTEM FOR COMMUNICATION OF USERS WITHOUT USING MUSCULAR MOVEMENTS AND SPEECH
JP2019072473A (en) Biological information processing device, biological information processing method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210618

R150 Certificate of patent or registration of utility model

Ref document number: 6908902

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150