JPH11259225A - 視線入力装置 - Google Patents

視線入力装置

Info

Publication number
JPH11259225A
JPH11259225A JP10057021A JP5702198A JPH11259225A JP H11259225 A JPH11259225 A JP H11259225A JP 10057021 A JP10057021 A JP 10057021A JP 5702198 A JP5702198 A JP 5702198A JP H11259225 A JPH11259225 A JP H11259225A
Authority
JP
Japan
Prior art keywords
image
eyeball
sight
line
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10057021A
Other languages
English (en)
Inventor
Yasushi Kondo
泰志 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP10057021A priority Critical patent/JPH11259225A/ja
Publication of JPH11259225A publication Critical patent/JPH11259225A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【課題】 外来光からの背景ノイズに影響されることな
く、太陽光の下でも安定した視線入力を行うことが出来
る視線入力装置を提供する。 【解決手段】 ヘッドマウントディスプレイを操作者に
装着し、LCD(液晶表示装置)1にコンピュータ5か
ら送られた入力指示用画像をミラー4、ハーフミラーA
3を介して眼球に入力するとともに、赤外光源6を変調
回路10によって赤外光をオンーオフして眼球を照射
し、その時の眼球画像をハーフミラーB7を介してCC
Dカメラ(赤外カメラ)8で捉え、視線検出回路9に入
力する。視線検出回路9の差分画像記憶手段12によっ
て、赤外光源6によって照射されたときの眼球画像と、
照射されていないときの画像を差分し、背景ノイズを除
いて視線検出を行なう。したがって、太陽光の下でも安
定した視線入力をおこなうことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、HMD(ヘッドマ
ウントディスプレイ)を用いたコンピュータシステムに
おける視線入力装置に関する。
【0002】
【従来の技術】眼に映る画像のどの部分に、その人が関
心を持っているか、また、その画像のどの部分に視線を
向けているかを調べるために、さらにその画像を見て、
視線で意思表示をしたりすることのできる装置として、
視線検出装置があり、表示画像との位置ずれを少なくす
るために、ヘッドマウントディスプレイに視線検出装置
が組み込まれたものがある。
【0003】図4にこのヘッドマウントディスプレイと
コンピュータを組み合わせた視線入力装置を示す。この
装置はヘッドマウントディスプレイと、視線検出回路1
8とコンピュータ5とで構成されている。ヘッドマウン
トディスプレイは装着者が画像を観察するために、ハー
フミラーA3とミラー4と光学系2と液晶表示器LCD
1とを備え、一方眼球画像を撮像するために、赤外光源
6とハーフミラーB7と赤外カメラ(CCDカメラ8)
とを備えている。入力指示用画像はコンピュータ5から
液晶表示装置LCD1に表示され、光学系2、ミラー
4、ハーフミラーA3を介して眼球に入る。そして、低
レベルの赤外光を赤外光源6から眼球に斜めから照射
し、ハーフミラーB7を介して赤外カメラ(CCDカメ
ラ8)によって、その眼球画像及び角膜反射像を撮像
し、眼球画像信号を視線検出回路18に取り込む。
【0004】視線検出回路18は、画像撮像回路11と
2値化回路13と瞳孔・角膜反射像抽出回路14と視線
検出演算回路15と視線検出記憶回路16と光源用電源
17とで構成されている。CCDカメラ8によって画像
撮像回路11に取り込まれた眼球画像は、グレイスケー
ルの中間階調を含んだものであるため、2値化回路13
で予め設定された瞳孔抽出用および角膜反射像抽出用の
2通りの閾値を用いた2値化が行われる。そして瞳孔・
角膜反射像抽出回路14によって、赤外光源6からの赤
外光の角膜の反射像の位置、瞳孔画像の中心位置が2値
化像の輪郭から抽出され、視線検出演算回路15によっ
て、装着者の視線位置が計算される。
【0005】コンピュータ5はその視線位置情報の検出
結果によって、液晶表示装置LCD1の画像表示上のカ
ーソルを視線位置に移動させたり、入力文字を指示す
る。
【0006】
【発明が解決しようとする課題】従来の視線入力装置は
以上のように構成され、低レベルの赤外光を眼球に照射
し、赤外カメラによって眼球画像を取り込んで、特徴点
である瞳孔と赤外光源の反射像を抽出している。ところ
が、強い外来光(太陽光)が装置の光学系に入ると、外
来光に含まれる赤外光がノイズとなって、誤った場所に
視線検出を行ってしまうという問題があった。
【0007】本発明は、このような事情に鑑みてなされ
たものであって、外来光に含まれている背景ノイズを除
去して安定した視線検出を行なうことができる視線入力
装置を提供することを目的とする。
【0008】
【課題を解決するための手段】上記の目的を達成するた
め本発明の視線入力装置は、コンピュータからの指令に
従って少なくとも入力指示用画像を表示するヘッドマウ
ントディスプレイと、そのヘッドマウントディスプレイ
に装備された眼球照明用の光源と、撮像光学系を用いて
当該ディスプレイの装着者の視線を検出する視線検出手
段と、その検出結果からヘッドマウントディスプレイの
装着者による画像の注視点を演算する演算手段とを備え
た装置において、眼球照明用の光源を強度変調する変調
回路を設け、その変調信号に同期して、眼球画像を取り
込む機構を備えることを特徴とする。
【0009】また、コンピュータからの指令に従って少
なくとも入力指示用画像を表示するヘッドマウントディ
スプレイと、そのヘッドマウントディスプレイに装備さ
れた眼球照明用の光源と撮像光学系を用いて当該ディス
プレイの装着者の視線を検出する視線検出手段と、その
検出結果からヘッドマウントディスプレイの装着者によ
る画像の注視点を演算する演算手段とを備えた装置にお
いて、眼球照明用の光源を強度変調する変調回路を設
け、強度変調で眼球を照明していないときの眼球画像
と、眼球を照明しているときの眼球画像との差分を演算
記憶する差分画像記憶手段を備えることを特徴とする。
【0010】本発明の視線入力装置は上記のように構成
されており、強度変調信号に同期して眼球画像を取り込
み、照射オンと照射オフの状態での眼球画像の差分を演
算記憶することにより、外来光による背景ノイズに影響
されることなく視線検出を行なうことができる。
【0011】
【発明の実施の形態】本発明の視線入力装置の一実施例
を図1により説明する。
【0012】この視線入力装置は、ヘッドマウントディ
スプレイと、視線検出回路9とコンピュータ5とで構成
されている。ヘッドマウントディスプレイは観察のため
に、ハーフミラーA3とミラー4と光学系2と液晶表示
器LCD1とを備え、撮像のために、赤外光源6とハー
フミラーB7と赤外カメラ(CCDカメラ8)とを備え
ている。そして、入力指示用画像はコンピュータ5か
ら、液晶表示装置LCD1に表示され、光学系2、ミラ
ー4、ハーフミラーA3を介して、眼球に入る。そし
て、低レベルの赤外光を赤外光源6から眼球に斜めから
照射し、ハーフミラーB7を介して赤外カメラ(CCD
カメラ8)によって、その眼球画像及び角膜反射像を撮
像し、眼球画像信号を視線検出回路9に取り込む。
【0013】視線検出回路9は、画像撮像回路11と、
従来装置には備えられていない本発明の変調回路10と
差分画像記憶手段12と、そして2値化回路13と瞳孔
・角膜反射像抽出回路14と視線検出演算回路15と視
線検出記憶回路16とで構成されている。
【0014】赤外光源6は視線検出回路9の変調回路1
0によって、その赤外光源強度を図2に示すような矩形
波で変調され、眼球に照射される。変調回路10によっ
て駆動された赤外光源6の1/2周期に同期して、変調
回路10から画像撮像回路11に同期信号を送り、赤外
光源6によって照射された状態の眼球画像と、照射され
ていない状態の眼球画像との2種類の画像が視線検出回
路9の画像撮像回路11に入力される。
【0015】照射オフの眼球画像には外来光に含まれて
いる背景ノイズが重畳されており、照射オンの眼球画像
にはこの背景ノイズと眼球からの反射像が重畳されてい
るため、この2枚の画像の後者画像から前者画像を差し
引くことで、外来光からの背景ノイズを除去した眼球の
鮮明な反射像を得ることができる。この処理を差分画像
記憶手段12で行なう。
【0016】次に上記の処理をされた眼球画像は、グレ
イスケールの中間階調を含んだものであるため、画像の
輪郭の境界を明確にするために、2値化回路13で予め
設定された瞳孔抽出用および角膜反射像抽出用の2通り
の閾値を用いた2値化が行われる。そして瞳孔・角膜反
射像抽出回路14によって、赤外光源6からの赤外光の
角膜の反射像の位置、瞳孔画像の中心位置が、2値化画
像の輪郭から抽出される。次に視線検出演算回路15に
よって、瞳孔中心と角膜反射像の中心位置とのCCDカ
メラ8側から見た水平距離及び垂直距離を演算し、予め
決められた基準点からの水平、垂直距離から換算して、
装着者の視線位置が計算される。
【0017】コンピュータ5はその視線位置情報の検出
結果によって、液晶表示装置LCD1の画像表示上のカ
ーソルを視線位置に移動させたり、入力文字を指示す
る。
【0018】上述の赤外光源の変調には1/2周期の矩
形波を使用したが、変調回路10の駆動波形は、図2の
ような方形波の他に、図3のような正弦波も使用するこ
とができる。この場合は、正弦波の上下のピークのタイ
ミングで画像取込みを行えばよい。
【0019】
【発明の効果】本発明の視線入力装置は上記のように構
成されており、赤外線照射オフの眼球画像と照射オンの
眼球画像との2枚の画像の差分をとることによって、外
来光からの背景ノイズを除去することができ、背景ノイ
ズに影響されることなく視線検出が行えるため、太陽光
の下でも安定した視線入力を行うことが出来る。
【図面の簡単な説明】
【図1】 本発明の視線入力装置の一実施例を示す図で
ある。
【図2】 赤外光源強度と画像取込みのタイミングを示
す図である。
【図3】 赤外光源強度と画像取込みの他のタイミング
を示す図である。
【図4】 従来の視線入力装置を示す図である。
【符号の説明】
1…LCD(液晶表示装置) 2…光学系 3…ハーフミラーA 4…ミラー 5…コンピュータ 6…赤外光源 7…ハーフミラーB 8…CCDカメラ(赤外線カメラ) 9…視線検出回路 10…変調回路 11…画像撮像回路 12…差分画像記憶手段 13…2値化回路 14…瞳孔・角膜反射像抽出回路 15…視線検出演算回路 16…視線検出記憶回路 17…光源用電源 18…視線検出回路

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】コンピュータからの指令に従って少なくと
    も入力指示用画像を表示するヘッドマウントディスプレ
    イと、そのヘッドマウントディスプレイに装備された眼
    球照明用の光源と撮像光学系を用いて当該ディスプレイ
    の装着者の視線を検出する視線検出手段と、その検出結
    果からヘッドマウントディスプレイの装着者による画像
    の注視点を演算する演算手段とを備えた装置において、
    眼球照明用の光源を強度変調する変調回路を設け、その
    変調信号に同期して眼球画像を取り込む機構を備えたこ
    とを特徴とする視線入力装置。
  2. 【請求項2】コンピュータからの指令に従って少なくと
    も入力指示用画像を表示するヘッドマウントディスプレ
    イと、そのヘッドマウントディスプレイに装備された眼
    球照明用の光源と、撮像光学系を用いて当該ディスプレ
    イの装着者の視線を検出する視線検出手段と、その検出
    結果からヘッドマウントディスプレイの装着者による画
    像の注視点を演算する演算手段とを備えた装置におい
    て、眼球照明用の光源を強度変調する変調回路を設け、
    強度変調で眼球を照明していないときの眼球画像と、眼
    球を照明しているときの眼球画像との差分を演算記憶す
    る差分画像記憶手段を備えたことを特徴とする視線入力
    装置。
JP10057021A 1998-03-09 1998-03-09 視線入力装置 Pending JPH11259225A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10057021A JPH11259225A (ja) 1998-03-09 1998-03-09 視線入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10057021A JPH11259225A (ja) 1998-03-09 1998-03-09 視線入力装置

Publications (1)

Publication Number Publication Date
JPH11259225A true JPH11259225A (ja) 1999-09-24

Family

ID=13043788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10057021A Pending JPH11259225A (ja) 1998-03-09 1998-03-09 視線入力装置

Country Status (1)

Country Link
JP (1) JPH11259225A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2002229728A (ja) * 2001-02-02 2002-08-16 Newcom:Kk Cmosリニアイメージセンサを用いた位置検出装置
US7548083B2 (en) * 2004-05-31 2009-06-16 Lg.Display Co., Ltd. Test apparatus having auto probe that contacts a display device and test method using the same
JP2014064634A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 画像処理装置および視線特定装置ならびに瞳画像検出プログラムおよび方法
WO2016158281A1 (ja) * 2015-03-31 2016-10-06 国立大学法人東北大学 画像表示装置、処理方法、検出方法、及び、処理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2002229728A (ja) * 2001-02-02 2002-08-16 Newcom:Kk Cmosリニアイメージセンサを用いた位置検出装置
US7548083B2 (en) * 2004-05-31 2009-06-16 Lg.Display Co., Ltd. Test apparatus having auto probe that contacts a display device and test method using the same
JP2014064634A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 画像処理装置および視線特定装置ならびに瞳画像検出プログラムおよび方法
WO2016158281A1 (ja) * 2015-03-31 2016-10-06 国立大学法人東北大学 画像表示装置、処理方法、検出方法、及び、処理装置
JP2016189858A (ja) * 2015-03-31 2016-11-10 国立大学法人東北大学 画像表示装置、処理方法、検出方法、及び、処理装置
US10321817B2 (en) 2015-03-31 2019-06-18 Tohoku University Image display apparatus, method of processing, and processing apparatus

Similar Documents

Publication Publication Date Title
JP3618381B2 (ja) ビジュアルインフォメーションシステム並びに画像表示方法
KR102091055B1 (ko) 헤드 마운트 디스플레이
US8306279B2 (en) Operator interface for face and iris recognition devices
US9852339B2 (en) Method for recognizing iris and electronic device thereof
US7216982B2 (en) Eye image taking device
JP6586991B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN104956377A (zh) 用于采集专人数据的装置
JPH0824358B2 (ja) 画像ディスプレー装置
JP2917953B2 (ja) 視点位置検出装置
JP2006293786A (ja) 視線入力装置を備えた市場調査用機器
WO2006052004A1 (ja) 虹彩認証装置
EP1587414A1 (en) A pupilometer
JP2001340300A (ja) 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
JP2001117046A (ja) 視線検出機能付ヘッドマウントディスプレイシステム
CN1489971A (zh) 非接触眼压计
GB2494939A (en) Head-Mounted System for Image Pick-Up, Analysis and Display
JPH11259225A (ja) 視線入力装置
KR101507458B1 (ko) 대화식 디스플레이
JP2005296382A (ja) 視線検出装置
US11144755B2 (en) Support glint for remote eye tracking
JP3428920B2 (ja) 視点位置検出装置、方法及び立体画像表示システム
JPH11191856A (ja) 撮像装置および撮像方法
JP2018011681A (ja) 視線検出装置、視線検出プログラムおよび視線検出方法
CN115191931A (zh) 斜视检测方法、设备及计算机可读存储介质
JP2018190213A (ja) 顔認識装置及び視線検出装置