JP6908902B2 - Information input device based on fluctuations in pupil diameter - Google Patents
Information input device based on fluctuations in pupil diameter Download PDFInfo
- Publication number
- JP6908902B2 JP6908902B2 JP2017096142A JP2017096142A JP6908902B2 JP 6908902 B2 JP6908902 B2 JP 6908902B2 JP 2017096142 A JP2017096142 A JP 2017096142A JP 2017096142 A JP2017096142 A JP 2017096142A JP 6908902 B2 JP6908902 B2 JP 6908902B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- fluctuation
- fluctuations
- pupil diameter
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は瞳孔径の変動に基づく情報入力装置に関し、特に、瞳孔径の変動を計測することで複数の選択肢の中から利用者が入力を希望する選択肢を決定する情報入力装置に関する。 The present invention relates to an information input device based on fluctuations in pupil diameter, and more particularly to an information input device that determines an option that a user desires to input from a plurality of options by measuring fluctuations in pupil diameter.
コンピュータや携帯端末やゲーム機器等に対する情報入力装置としては、指により入力可能なキーボードやゲームコントローラ等が一般的に知られている。そして、指を使わず、使用者の視線を用いた情報入力装置も知られている(例えば特許文献1や特許文献2)。このような視線を用いた入力装置は、何れも、眼電位法や角膜反射法、ビデオ画像法等により利用者の眼球の物理的方向(視線方向)を検出することにより、複数の選択肢の中から利用者が入力を希望する選択肢を注視する(視線を向ける)と、この選択肢を入力を希望する選択肢と決定するものである。
As an information input device for a computer, a mobile terminal, a game device, or the like, a keyboard or a game controller that can be input by a finger is generally known. An information input device that uses the line of sight of the user without using a finger is also known (for example,
また、情報入力装置ではないが、本願出願人と同一出願人による特許文献3には、利用者の視野内の映像の輝度分布と利用者の瞳孔の大きさの変化との関係を用いて、利用者が注意している位置を推定する注意位置推定装置が開示されている。これは、瞳孔の大きさが大きい側に変化する場合には輝度分布中の輝度の低い位置を、瞳孔の大きさが小さい側に変化する場合には輝度分布中の輝度の高い位置を、利用者が注意している位置と推定するものである。即ち、視線を向けなくても利用者の注意位置を推定可能なものである。これは、瞳孔の大きさの変化を検出し、輝度分布を利用して利用者の注意位置を推定する技術であり、瞳孔径を外部刺激により変動させるものではなかった。
Further, although it is not an information input device,
特許文献1や特許文献2の装置は、利用者が選択肢に対して自由に視線を向けることが可能な者の場合には問題ないが、眼球を動かすことのできない障害を持つ者には使うことができなかった。さらに、特許文献1や特許文献2のような視線方向を用いるものの場合には、測定した眼球位置と実際の視線とを一致させる必要があるため、使用前に校正が必要であった。また、頭部が動くことにより視線もずれるため、頭部位置を固定するか、頭部位置を補正するアルゴリズムの導入が必要であった。さらに、視線方向は個人差が大きく、十分な精度が得られない場合もあった。
The devices of
本発明は、斯かる実情に鑑み、仮に視線が動かせないような場合であっても利用者が意識するだけで高精度に入力を希望する選択肢を決定可能な瞳孔径の変動に基づく情報入力装置を提供しようとするものである。 In view of such circumstances, the present invention is an information input device based on fluctuations in pupil diameter, which enables the user to accurately determine an option for input with high accuracy even if the line of sight cannot be moved. Is intended to provide.
上述した本発明の目的を達成するために、本発明による瞳孔径の変動に基づく情報入力装置は、利用者に対して入力対象となる複数の選択肢を表示する表示部と、表示部に表示される複数の選択肢に対して各々に固有の輝度変動を施す輝度変動部と、利用者の瞳孔径の変動を計測する計測部と、輝度変動部による輝度変動と計測部による瞳孔径変動との関係を用いて、複数の選択肢の中から利用者が意識することにより入力を希望する選択肢を決定する入力決定部と、を具備するものである。 In order to achieve the above-described object of the present invention, the information input device based on the fluctuation of the pupil diameter according to the present invention is displayed on the display unit and the display unit for displaying a plurality of options to be input to the user. Relationship between the brightness fluctuation unit that applies unique brightness fluctuations to each of the plurality of options, the measurement unit that measures the fluctuation of the user's pupil diameter, and the brightness fluctuation by the brightness fluctuation unit and the pupil diameter fluctuation by the measurement unit. It is provided with an input determination unit that determines an option desired to be input by the user consciously from a plurality of options by using.
ここで、輝度変動部は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかにより輝度変動を施すものであれば良い。 Here, the luminance fluctuation unit may be any one that changes the luminance by any of frequency modulation, amplitude modulation, phase modulation, and duty ratio modulation.
また、入力決定部は、瞳孔径変動の立ち上がり時間若しくは立ち下がり時間、又は立ち上がり角度若しくは立ち下がり角度を用いて選択肢を決定するものであっても良い。 Further, the input determination unit may determine the option by using the rise time or fall time of the pupil diameter fluctuation, or the rise angle or fall angle.
また、入力決定部は、輝度変動部で施される輝度変動に無い変動が瞳孔径変動に現れる場合、その変動をノイズとして除去した上で、選択肢を決定するものであっても良い。 Further, the input determination unit may determine the option after removing the variation as noise when the variation that is not in the luminance variation applied by the luminance variation unit appears in the pupil diameter variation.
また、計測部は、さらに利用者の呼吸及び/又は心拍を計測し、入力決定部は、計測部により計測される呼吸及び/又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定するものであっても良い。 In addition, the measurement unit further measures the user's respiration and / or heartbeat, and the input determination unit determines the option after removing the fluctuation synchronized with the respiration and / or heartbeat measured by the measurement unit as noise. It may be something to do.
また、表示部は、選択肢を利用者が所定の時間意識することで階層的にさらに複数の選択肢を表示可能に構成されるものであっても良い。 Further, the display unit may be configured so that a plurality of options can be displayed hierarchically by the user being aware of the options for a predetermined time.
本発明の瞳孔径の変動に基づく情報入力装置には、仮に視線が動かせないような場合であっても利用者が意識するだけで高精度に入力を希望する選択肢を決定可能であるという利点がある。 The information input device based on the fluctuation of the pupil diameter of the present invention has an advantage that even if the line of sight cannot be moved, it is possible to determine the option desired to be input with high accuracy only by the user's consciousness. be.
本発明の情報入力装置は、利用者の瞳孔径の変化に基づいて情報処理装置等に所定の情報を入力するものである。ここで、情報処理装置は、コンピュータや携帯端末、ゲーム機器等であれば良い。また、情報入力装置は、所謂ヒューマンインタフェースであり、文字や記号、所定の選択肢等を適宜情報処理装置に入力するために用いられるものである。 The information input device of the present invention inputs predetermined information to an information processing device or the like based on a change in the pupil diameter of the user. Here, the information processing device may be a computer, a mobile terminal, a game device, or the like. Further, the information input device is a so-called human interface, and is used to appropriately input characters, symbols, predetermined options, and the like into the information processing device.
以下、本発明を実施するための形態を図示例と共に説明する。図1は、本発明の情報入力装置の構成を説明するための概略ブロック図である。図示の通り、利用者1の瞳孔径の変動に基づく本発明の情報入力装置は、表示部10と、輝度変動部20と、計測部30と、入力決定部40とから主に構成されている。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the illustrated examples. FIG. 1 is a schematic block diagram for explaining the configuration of the information input device of the present invention. As shown in the figure, the information input device of the present invention based on the fluctuation of the pupil diameter of the
表示部10は、利用者1に対して入力対象となる複数の選択肢11を表示するものである。表示部10としては、例えばコンピュータやゲーム機器のモニタや携帯端末の画面であれば良い。入力対象となる複数の選択肢11として、例えば図示例では10キーを示した。しかしながら、本発明はこれに限定されず、例えばQWERTYキーやYes・Noキー等、あらゆる選択肢を表示可能である。
The
輝度変動部20は、表示部10に表示される複数の選択肢11に対して各々に固有の輝度変動を施すものである。具体的には、輝度変動部20は、選択肢11に対して例えば輝度変動部は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかにより輝度変動を施せば良い。即ち、例えば周波数変調であれば、各選択肢11に対して輝度変動のリズム(周波数)をそれぞれ異ならせて表示させる。また、振幅変調であれば、各選択肢11に対して輝度変動のピークの明るさ(強度)をそれぞれ異ならせて表示させる。また、位相変調であれば、輝度変動のピーク位置(位相)をそれぞれ異ならせて表示させる。さらに、デューティ比変調であれば、輝度変動のピーク時間(デューティ比)をそれぞれ異ならせて表示させる。また、変動波形は、正弦波や三角波、方形波等、表示部10に表示される選択肢11の輝度を変動させることが可能な波形であれば良い。
The
計測部30は、利用者1の瞳孔径の変動を計測するものである。計測部30は、利用者1の瞳孔径をリアルタイムに計測可能なものであることが好ましい。具体的には、例えば計測部30は、利用者1の眼球を撮像する撮像部と、撮像された眼球映像から、瞳孔の大きさを計測する瞳孔計測部とからなる。瞳孔径の計測については、例えばアイトラッカやアイマークレコーダ等、瞳孔径の変化が計測できる手法であれば良い。瞳孔径の計測手法は特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。
The
入力決定部40は、複数の選択肢11の中から利用者1が意識する(注意を向ける)ことにより入力を希望する選択肢を決定するものである。これは、輝度変動部20による輝度変動と計測部30による瞳孔径変動との関係を用いて決定される。ここで、輝度変動と瞳孔径変動の関係について説明する。一般的に、視線を輝度の明るい方に向けた場合には、瞳孔は収縮し小さくなり、視線を輝度の暗い方に向けた場合には、瞳孔は拡大し、大きくなることが知られている。即ち、この現象によれば、輝度変動部20による輝度変動に連動して瞳孔径変動が起こることになる。しかしながら、本発明では、このような一般的な視線の先の輝度変動に連動する瞳孔径変動を用いるものではない。本発明では、視線を向けなくても特定の選択肢を意識する、即ち、意識を向けた先の輝度変動に連動する瞳孔径変動を用いている。これは、視線を動かさなくても、入力を希望する選択肢に意識を向けることで、意識を向けた先の選択肢の輝度変動に合わせて瞳孔径が変動する現象を用いているのである。この現象は本願発明者により見出されたものである。即ち、仮に利用者1が特定の選択肢に視線を向けていたとしても、意識をしている選択肢が他のものであれば、他の選択肢の輝度変動に合せて瞳孔径変動が起こるのである。したがって、頭部を固定しておらず視線が動いたとしても、瞳孔径の計測では視線の移動の影響を受けず、特定の意識している選択肢を入力を希望する選択肢として決定可能となる。
The
ここで、輝度変動と瞳孔径変動の関係について具体的に説明する。輝度変動の周波数が高すぎたり低すぎたりした場合、これに瞳孔径の変動が追従しなくなる場合もある。したがって、瞳孔径変動が追従可能な範囲で輝度変動の周波数範囲を決定すれば良い。具体的な数値としては、例えば以下に挙げたような条件で輝度変動と瞳孔径変動の関係を調べた。表示部10に表示する選択肢11として、直径約6.5degのものを12種類用意した。なお、背景色は16.4cd/m2で一定とした。そして、輝度変動部20により、最低輝度0.37cd/m2から最高輝度108.3cd/m2の範囲の輝度変動振幅で、各選択肢11に対してそれぞれ異なる周波数変調を施した。この結果、例えば低周波側は、約0.50Hz以上、より好ましくは0.82Hz以上の輝度変動周波数に対して、瞳孔径変動の追従性が高くなることが分かった。また、高周波側は、約2.00Hz程度まで十分な追従性が見られた。そして、各選択肢11に対して0.12Hz程度以上の周波数の差異があれば、複数の選択肢11をそれぞれ十分に区別可能な程度に瞳孔径変動の追従性が見られた。なお、これらの数値はあくまでも一例であり、本発明の情報入力装置がこれらの数値に限定されるわけではない。
Here, the relationship between the luminance fluctuation and the pupil diameter fluctuation will be specifically described. If the frequency of the luminance fluctuation is too high or too low, the pupil diameter fluctuation may not follow it. Therefore, the frequency range of the luminance fluctuation may be determined within the range in which the pupil diameter fluctuation can be followed. As specific numerical values, for example, the relationship between luminance fluctuation and pupil diameter fluctuation was investigated under the following conditions. As
図2を用いて輝度変動と瞳孔径変動の関係について変動グラフにより詳細に説明する。図2は、本発明の情報入力装置における輝度変動と瞳孔径変動の関係を説明するための変動グラフである。図中、横軸が時間であり、縦軸は輝度又は瞳孔径である。また、図2(a)が周波数変調、図2(b)が振幅変調、図2(c)が位相変調、図2(d)がデューティ比変調の場合の変動グラフである。なお、図2(a),図2(b),図2(c)では、輝度を正弦波で変動させたものを示し、図2(d)では、方形波で変動させたものを示した。しかしながら、何れの変調方式であっても、正弦波や方形波だけでなく、三角波等により輝度を変動させることが可能である。また、各図の上段が輝度変動部20による輝度変動グラフであり、下段が計測部30による瞳孔径変動グラフである。そして、一例として異なる変調を施した2つの選択肢の変動を黒線とグレー線で示した。なお、これらは説明のために模式的に表したものであり、実際の計測データを示すものではない。図示の通り、輝度変動と瞳孔径変動とは、同期していることが分かる。即ち、表示部10に複数の選択肢11に対してそれぞれ異なる輝度変動が施されていた場合であっても、利用者1が意識を向けている選択肢11に同期した瞳孔径変動が得られることが分かる。具体的には、図2(a)に示される通り、輝度変動の周波数が変われば、瞳孔径変動の周波数も変わっていることが分かる。また、図2(b)に示される通り、輝度変動の振幅が変われば、瞳孔径変動の振幅も変わっていることが分かる。同様に、図2(c)に示される通り、輝度変動の位相が変われば、瞳孔径変動の位相も変わっていることが分かる。さらに、図2(d)に示される通り、輝度変動のデューティ比が変われば、瞳孔径変動のデューティ比も変わっていることが分かる。
The relationship between the luminance variation and the pupil diameter variation will be described in detail with reference to FIG. 2 using a variation graph. FIG. 2 is a fluctuation graph for explaining the relationship between luminance fluctuation and pupil diameter fluctuation in the information input device of the present invention. In the figure, the horizontal axis is time and the vertical axis is brightness or pupil diameter. Further, FIG. 2A is a fluctuation graph in the case of frequency modulation, FIG. 2B is amplitude modulation, FIG. 2C is phase modulation, and FIG. 2D is duty ratio modulation. In addition, FIG. 2 (a), FIG. 2 (b), and FIG. 2 (c) show the brightness changed by a sine wave, and FIG. 2 (d) shows the one changed by a square wave. .. However, in any modulation method, it is possible to change the brightness not only by a sine wave or a square wave but also by a triangular wave or the like. The upper part of each figure is a luminance fluctuation graph by the
本発明の情報入力装置では、このような現象を利用して、入力決定部40で、複数の選択肢11の中から利用者1が意識することにより入力を希望する選択肢を決定する。瞳孔径の変動速度の個人差はあるものの、輝度変動に対する瞳孔径変動は所定の関係性を有して同期するため、視線を用いるよりも個人差による誤差は少ない。
In the information input device of the present invention, using such a phenomenon, the
ここで、入力決定部による選択肢の決定の手法についてより具体的に説明する。上述の通り、入力決定部40では、輝度変動と瞳孔径変動の関係を用いて入力を希望する選択肢を決定するが、この際に、所定の時間、即ち、複数回分の変動の振幅の観測を待って選択肢を決定すれば良い。しかしながら、本発明の情報入力装置はこれに限定されない。例えば、入力決定部40は、瞳孔径変動の立ち上がり時間又は立ち下がり時間を用いて選択肢を決定しても良い。即ち、利用者1が入力を希望する選択肢を意識した際に、その選択肢の輝度変動に応じた瞳孔径変動が始まるので、その瞳孔径変動の立ち上がり時間や立ち下がり時間を計測すれば、輝度変動の立ち上がり時間や立ち下がり時間と同期した特定の選択肢を決定可能となる。これは、立ち上がり時間や立ち下がり時間だけでなく、瞳孔径変動の立ち上がり角度又は立ち下がり角度であっても良い。これにより、複数回分の変動の振幅の観測を行うことなく、より反応速度の速い情報入力装置が実現可能である。具体的には、例えば1秒以下で選択肢の決定も可能となる。
Here, the method of determining the options by the input determination unit will be described more specifically. As described above, the
次に、図3を用いてノイズ除去について説明する。図3は、本発明の情報入力装置の入力決定部において除去すべきノイズを説明するための瞳孔径変動グラフである。図中、横軸が時間であり、縦軸は瞳孔径である。なお、輝度変動として周波数変調を用いた際の瞳孔径変動の結果を示した。ノイズが存在しない場合には、周波数変調の場合には、入力を希望する特定の選択肢を意識すれば、所定の周波数で一定の変動となるはずである。しかしながら、図示の通り、輝度変動部で施される輝度変動に無い変動が瞳孔径変動に現れる場合がある。即ち、一定の周波数から外れた周波数の変動が生じる場合がある。このときには、入力決定部40により、その変動をノイズとして除去すれば良い。例えば、まず各振幅のピーク値を検出する。そして、ピーク値間の間隔が他の間隔と大きく異なる点を除外することでノイズを除去する。そして、それ以外のピーク値間の間隔の平均を計算する。このようなノイズ除去を施した上で、瞳孔径変動に同期した輝度変動が施された選択肢を決定するように構成すれば良い。
Next, noise removal will be described with reference to FIG. FIG. 3 is a pupil diameter fluctuation graph for explaining noise to be removed in the input determination unit of the information input device of the present invention. In the figure, the horizontal axis is time and the vertical axis is the pupil diameter. The results of pupil diameter fluctuation when frequency modulation is used as the brightness fluctuation are shown. In the absence of noise, in the case of frequency modulation, there should be constant variation at a given frequency, given the particular choice of input desired. However, as shown in the figure, fluctuations that are not included in the brightness fluctuations performed in the brightness fluctuation portion may appear in the pupil diameter fluctuations. That is, there may be fluctuations in frequencies that deviate from a certain frequency. At this time, the fluctuation may be removed as noise by the
また、ノイズについては、瞳孔径変動は例えば呼吸や心拍の影響を受ける場合もある。このノイズを除去するには、以下のように構成すれば良い。まず、計測部30で、瞳孔径以外にも例えば利用者の呼吸及び/又は心拍もさらに計測する。そして、入力決定部40では、計測部30により計測される呼吸及び/又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定すれば良い。なお、瞬きについては、瞳孔径変動グラフに欠損が生じることになるが、それによる影響は特にない。即ち、周波数や位相等が検出できる程度に変動が計測されれば、欠損があったとしても問題なく同期した輝度変動の選択肢を決定可能である。
As for noise, pupil diameter fluctuations may be affected by, for example, respiration and heartbeat. To remove this noise, the configuration may be as follows. First, the measuring
なお、計測部30は、他にも輻輳眼球運動や追従眼球運動、脳波変動等をさらに計測し、必要により入力決定部40の選択肢の決定に際し、補助的情報として利用しても良い。
In addition, the measuring
上述の図示例では、複数の選択肢を表示部10の1つの画面に表示した例を示したが、本発明はこれに限定されない。例えば、利用者が1つの選択肢を所定の時間意識することで、階層的にさらに複数の選択肢を表示するようにしても良い。即ち、1つの選択肢と、それに関連付けられて枝分かれする複数の選択肢を階層的に表示可能に構成しても良い。これにより、所謂長押しにより別の選択肢を表示する機能を本発明の情報入力装置でも実現可能である。具体的には、例えば五十音の場合、最初の画面では「あ」、「か」、「さ」、「た」、「な」というように「あ」段のみを選択肢として表示する。そして、利用者1がこの中から例えば「か」を入力を希望する選択肢として所定時間だけ意識すると、新たな複数の選択肢として、「か」行の「か」、「き」、「く」、「け」、「こ」が表示されるように構成される。これにより、表示部10の表示画面が小さい場合等であっても、効率良い入力が可能となる。
In the above illustrated example, an example in which a plurality of options are displayed on one screen of the
このように、本発明の情報入力装置によれば、視線を向けなくても入力を希望する選択肢を決定することができるようになる。したがって、仮に眼球が動かせず視線を向けられないような場合であっても、利用者が入力を希望する選択肢を意識するだけで高精度に選択肢を決定可能である。 As described above, according to the information input device of the present invention, it is possible to determine an option for which input is desired without looking at the line of sight. Therefore, even if the eyeball cannot be moved and the line of sight cannot be directed, the option can be determined with high accuracy only by the user being aware of the option desired to be input.
また、本発明の情報入力装置では、表示部に表示する入力対象となる複数の選択肢は、文字だけでなく図形等、あらゆるものを用いることが可能である。また、輝度変動部による選択肢に対する輝度変動は、周波数変調、振幅変調、位相変調、デューティ比変調の何れかの変調方式を選択可能である。ここで、選択肢によって最適な輝度変動が存在する場合には、輝度変動部では選択肢毎に最適な変調方式を動的に切り替えても良い。さらに、輝度変動部による選択肢に対する輝度変動は、1つの選択肢全体を一様に変動させなくても良く、1つの選択肢の一部分に対して輝度変動を施しても良い。また、各選択肢の変調状態を時間的に変化させ、その変調状態の変化に同期した瞳孔径変動を用いて選択肢を決定するようにしても良い。具体的には、1つの選択肢に対して、輝度変動周波数を例えば1Hzから2Hzに動的に変化させることで、これに同期する瞳孔径変動を特徴的な動きとなるようにすることで、より精度を高めることが可能となる。また、選択肢毎の変調状態の関係についても、それぞれ時間的に変化させても良い。具体的には、ある時間では選択肢Aに対しては輝度変動周波数を例えば1Hzで変調しその隣の選択肢Bに対しては輝度変動周波数を例えば2Hzで変調し、次の時間では選択肢Aを2Hzで変調し選択肢Bを1Hzで変調するというように、時間的に変化させても良い。このように、1つの選択肢や複数の選択肢間で変調状態を時間的に変化させて、識別精度を高めることも可能である。 Further, in the information input device of the present invention, it is possible to use not only characters but also figures and the like as a plurality of options to be input to be displayed on the display unit. Further, for the luminance variation with respect to the options by the luminance fluctuation unit, any modulation method of frequency modulation, amplitude modulation, phase modulation, and duty ratio modulation can be selected. Here, if the optimum brightness variation exists depending on the options, the brightness variation unit may dynamically switch the optimum modulation method for each option. Further, the brightness variation with respect to the options by the brightness variation unit does not have to uniformly change the entire one option, and the brightness variation may be applied to a part of one option. Further, the modulation state of each option may be changed with time, and the option may be determined by using the pupil diameter variation synchronized with the change of the modulation state. Specifically, for one option, the luminance fluctuation frequency is dynamically changed from, for example, 1 Hz to 2 Hz, so that the pupil diameter fluctuation synchronized with this becomes a characteristic movement. It is possible to improve the accuracy. Further, the relationship of the modulation state for each option may be changed with time. Specifically, at a certain time, the luminance fluctuation frequency is modulated at, for example, 1 Hz for option A, the luminance fluctuation frequency is modulated at, for example, 2 Hz for the adjacent option B, and at the next time, option A is modulated at 2 Hz. It may be changed with time, such as modulation with and modulation of option B at 1 Hz. In this way, it is also possible to improve the identification accuracy by changing the modulation state with time between one option or a plurality of options.
なお、本発明の瞳孔径の変動に基づく情報入力装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 The information input device based on the fluctuation of the pupil diameter of the present invention is not limited to the above-mentioned illustrated examples, and it goes without saying that various changes can be made without departing from the gist of the present invention.
1 利用者
10 表示部
11 選択肢
20 輝度変動部
30 計測部
40 入力決定部
1
Claims (5)
利用者に対して入力対象となる複数の選択肢を表示する表示部と、
前記表示部に表示される複数の選択肢に対して各々に固有の輝度変動を施す輝度変動部と、
利用者の瞳孔径の変動を計測する計測部と、
前記輝度変動部による輝度変動と、計測部による瞳孔径変動の立ち上がり時間若しくは立ち下がり時間、又は立ち上がり角度若しくは立ち下がり角度との関係を用いて、複数の選択肢の中から利用者が意識することにより入力を希望する選択肢を決定する入力決定部と、
を具備することを特徴とする情報入力装置。 An information input device based on fluctuations in the pupil diameter of the user, and the information input device is
A display unit that displays multiple options to be input to the user,
A luminance fluctuation unit that applies unique brightness fluctuations to each of the plurality of options displayed on the display unit, and a luminance fluctuation unit.
A measuring unit that measures fluctuations in the pupil diameter of the user,
By using the relationship between the brightness fluctuation due to the brightness fluctuation unit and the rise time or fall time of the pupil diameter fluctuation by the measurement unit, or the rise angle or fall angle , the user can be aware of the plurality of options. An input decision unit that determines the options you want to enter, and
An information input device comprising.
利用者に対して入力対象となる複数の選択肢を表示する表示部と、
前記表示部に表示される複数の選択肢に対して各々に固有の輝度変動を施す輝度変動部と、
利用者の瞳孔径の変動を計測する計測部と、
前記輝度変動部で施される輝度変動に無い変動が計測部による瞳孔径変動に現れる場合、その変動をノイズとして除去した上で、輝度変動部による輝度変動と計測部による瞳孔径変動との関係を用いて、複数の選択肢の中から利用者が意識することにより入力を希望する選択肢を決定する入力決定部と、
を具備することを特徴とする情報入力装置。 An information input device based on fluctuations in the pupil diameter of the user, and the information input device is
A display unit that displays multiple options to be input to the user,
A luminance fluctuation unit that applies unique brightness fluctuations to each of the plurality of options displayed on the display unit, and a luminance fluctuation unit.
A measuring unit that measures fluctuations in the pupil diameter of the user,
When fluctuations that are not included in the brightness fluctuations performed by the luminance fluctuation unit appear in the pupil diameter fluctuations by the measurement unit, the fluctuations are removed as noise, and then the relationship between the luminance fluctuations by the luminance fluctuation unit and the pupil diameter fluctuations by the measurement unit. An input determination unit that determines the option that the user wants to input from a plurality of options by being aware of it.
An information input device comprising.
前記入力決定部は、計測部により計測される呼吸及び/又は心拍と同期した変動をノイズとして除去した上で、選択肢を決定する、
ことを特徴とする情報入力装置。 In the information input device according to any one of claims 1 to 3 , the measuring unit further measures the user's respiration and / or heartbeat.
The input determination unit determines the option after removing the fluctuation synchronized with the respiration and / or the heartbeat measured by the measurement unit as noise.
An information input device characterized by the fact that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017096142A JP6908902B2 (en) | 2017-05-15 | 2017-05-15 | Information input device based on fluctuations in pupil diameter |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017096142A JP6908902B2 (en) | 2017-05-15 | 2017-05-15 | Information input device based on fluctuations in pupil diameter |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018194931A JP2018194931A (en) | 2018-12-06 |
JP6908902B2 true JP6908902B2 (en) | 2021-07-28 |
Family
ID=64571179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017096142A Active JP6908902B2 (en) | 2017-05-15 | 2017-05-15 | Information input device based on fluctuations in pupil diameter |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6908902B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11354805B2 (en) * | 2019-07-30 | 2022-06-07 | Apple Inc. | Utilization of luminance changes to determine user characteristics |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5206314B2 (en) * | 2008-10-28 | 2013-06-12 | 三菱自動車工業株式会社 | Automotive electronics |
JP5438591B2 (en) * | 2010-05-17 | 2014-03-12 | 日本電信電話株式会社 | Emotion intensity measuring apparatus, emotion intensity measuring method, and program |
JP5765740B2 (en) * | 2012-05-21 | 2015-08-19 | 国立大学法人東京工業大学 | Attention position estimation device |
WO2014111924A1 (en) * | 2013-01-15 | 2014-07-24 | Poow Innovation Ltd. | Dynamic icons |
JP6356998B2 (en) * | 2014-04-10 | 2018-07-11 | サッポロホールディングス株式会社 | Product sales apparatus and image display method |
JP6651536B2 (en) * | 2015-10-01 | 2020-02-19 | 株式会社夏目綜合研究所 | Viewer's emotion determination device and program for determining viewer's emotion |
CN106295492A (en) * | 2016-06-03 | 2017-01-04 | 北京奇虎科技有限公司 | A kind of terminal processing method, device and mobile terminal |
-
2017
- 2017-05-15 JP JP2017096142A patent/JP6908902B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018194931A (en) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mahanama et al. | Eye movement and pupil measures: A review | |
Welford et al. | Reaction times | |
Arabadzhiyska et al. | Saccade landing position prediction for gaze-contingent rendering | |
Yin et al. | A dynamically optimized SSVEP brain–computer interface (BCI) speller | |
Klingner | Measuring cognitive load during visual tasks by combining pupillometry and eye tracking | |
US9462941B2 (en) | Metamorphopsia testing and related methods | |
JP5438591B2 (en) | Emotion intensity measuring apparatus, emotion intensity measuring method, and program | |
Spering et al. | Effects of contrast on smooth pursuit eye movements | |
Volberg et al. | Time-based expectations entail preparatory motor activity | |
Nagel et al. | The effect of monitor raster latency on VEPs, ERPs and Brain–Computer Interface performance | |
Näsänen et al. | Effect of image contrast and sharpness on visual search for computer icons | |
Montagna et al. | Transient covert attention and the perceived rate of flicker | |
JP6908902B2 (en) | Information input device based on fluctuations in pupil diameter | |
JP2019111291A (en) | Attention level estimation device, attention level estimation model learning device, attention level estimation method, attention level estimation model learning method, and program | |
Liu et al. | The effect of modulating top-down attention deployment on the N2pc/PCN | |
US10827922B2 (en) | Apparatus and method for objective visual acuity measurement using dynamic velocity threshold filter in optokinetic response processing | |
Madelain et al. | Pursuit of the ineffable: perceptual and motor reversals during the tracking of apparent motion | |
Liu et al. | Randomly dividing homologous samples leads to overinflated accuracies for emotion recognition | |
Watamaniuk et al. | Allocation of attention during pursuit of large objects is no different than during fixation | |
US20180173305A1 (en) | Line-of-sight operation apparatus, method, and medical device | |
Sheliga et al. | Ocular-following responses to white noise stimuli in humans reveal a novel nonlinearity that results from temporal sampling | |
WO2014022850A1 (en) | Metamorphopsia testing and related methods | |
CN109303546B (en) | Vision detection system | |
RU2018142364A (en) | SYSTEM FOR COMMUNICATION OF USERS WITHOUT USING MUSCULAR MOVEMENTS AND SPEECH | |
JP2019072473A (en) | Biological information processing device, biological information processing method, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6908902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |