JP3735947B2 - 視線入力装置 - Google Patents
視線入力装置 Download PDFInfo
- Publication number
- JP3735947B2 JP3735947B2 JP16548396A JP16548396A JP3735947B2 JP 3735947 B2 JP3735947 B2 JP 3735947B2 JP 16548396 A JP16548396 A JP 16548396A JP 16548396 A JP16548396 A JP 16548396A JP 3735947 B2 JP3735947 B2 JP 3735947B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- image
- sight
- display
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000005252 bulbus oculi Anatomy 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 description 16
- 210000001747 pupil Anatomy 0.000 description 16
- 230000002207 retinal effect Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 101100096895 Mus musculus Sult2a2 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Eye Examination Apparatus (AREA)
Description
【発明の属する技術分野】
本発明は、操作者の視線方向を計測し、注視によって周辺機器(車両の場合、ナビゲーションやラジオ、エアコン等)の制御を行う視線入力装置に関する。
【0002】
【従来の技術】
従来、このような情報入力装置としては、機械式スイッチや電気式スイッチ、電子式スイッチあるいは音声認識を利用したスイッチ等が知られている。
【0003】
また、視線による情報入力の研究も行われており、1眼レフカメラやビデオカメラ用として実用化例が見られる。
【0004】
【発明が解決しようとする課題】
しかしながら、このような従来の入力装置にあっては、以下のような問題点がある。
(a)操作対象となるスイッチを目で探して手で操作するという一連の動作を必要とするため、例えば、車載されたナビゲーションシステムの目的地入力のような複雑な操作(スケール変換、スクロール、ポイント設定)では、地図情報を目で確認して手で操作し、結果を再び目で確認するというループを数多く回すことになり、操作性の観点からは必ずしも優れたマンマシン・インタフェースとは言い難い。
(b)手の届く所にスイッチを設置しなければならないため、装置のデザイン上の制約が生じる。
【0005】
(c)リモコンによる遠隔操作が普及しているが、例えば車載を考えた時、リモコンの設置場所について有効な案がないことや、車の振動や車線変更、カーブ走行によってリモコン装置が不用意に移動する等の問題がある。
(d)音声認識を利用した入力装置も提案されているが、
・指令の言葉を覚えておかなければならないため、多くの操作を音声で行わせようとすると、指令語の忘却や錯誤が発生する
・使用者に発声を要求するため、人によっては好き嫌いが生じる
・スイッチ操作中は、言葉によるコミュニケーションが阻害される
といった問題が発生する。
【0006】
先に述べたように、スイッチ操作には、スイッチ位置の確認やスイッチ動作状況の確認といった視覚に関わる作業が、必ずといってよいほど発生する。従って、視線のみで情報の伝達を行うことができれば、スイッチ操作者の意図を、手指の操作や音声を使うことなしに制御装置に伝達可能である。また、視線を利用すれば、一つの情報入力に一つの注視領域や一つの視線移動を対応付けられるため、指令の忘却・錯誤といった問題を解決できる。さらに、視線を利用すれば、言葉によるコミュニケーションを阻害しないため、上記各問題を解決することができる。
【0007】
ところが、視線方向をインタフェースの道具に使うには、一般に、高い計測精度が要求される。特に、非接触で視線を測る場合、一般にカメラで顔の2次元画像を捉え、眼球を抽出して視線方向を特定することが行われる。そこでは、使用者の動きを拘束しない広い撮影視野と高い計測精度の両立が大きな課題である。すなわち、高い計測精度を得ようとすると、狭い撮影視野を観測するカメラを使わざるをえず、使用者は、眼球が撮影視野から外れないように意識しなければならない。結果的にマンマシン・インタフェースの使い勝手を阻害する要因になってしまうという問題点がある。
【0008】
先に述べた1眼レフカメラやビデオカメラへの応用例では、使用者の眼球は必ずファインダー内にあるため、使用中に眼球がフレームアウトする心配がなく、狭い撮影視野と高い計測精度を両立可能である。
【0009】
また、例えば特開平1−274736号公報に、観察系の視野内に注視対象を表示する表示手段を持たせる旨の記載があるように、操作者に注視位置を知らせる工夫はなされている。
【0010】
しかし、完全非接触な視線計測手段を用いて、視線入力装置を自由空間で利用しようとした場合、先に述べたように操作者に注視位置を知らせるだけでは不十分である。
すなわち、カメラ視野からの眼球逸脱を操作者に容易に知らせる、あるいは操作者の眼球がカメラ視野のどこにあるのか、ピントの状態はどうかといった情報を合わせて提示する必要がある。
【0011】
本発明は、このような従来の問題点に着目してなされたもので、操作者の眼球位置の保持を容易にして、狭い撮影視野と高い視線計測精度を容易に両立可能な、優れた視線入力装置を実現するものである。
【0012】
【課題を解決するための手段】
本発明は上述の課題を解決するために、車両運転者の視線方向や眼球位置を計測するための視線検知エリアから車両運転者の視線方向や眼球位置を計測し、計測した情報によってコンソールモニタに指示を与えることにより、周辺機器の制御を行う視線入力装置において、視線検知エリアを予め車室内空間に設定しておき、視線検知エリア内からは視認可能であるが、視線検知エリア外からでは視認ができなくなる表示を行う構成とする。
【0015】
また、本発明は、表示には、車両運転者の視線方向を検出するカメラ映像内の眼球位置のアライメントに関わるターゲットマーカが含まれる構成とする。
【0016】
また、本発明は、表示には、視線入力に関わるメニューバーが含まれる構成とする。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【0018】
(第1の実施の形態)
図1及び図2は、本発明の第1の実施の形態を示す図である。
本実施の形態は、本発明を、操作者の視線方向によって目的地入力が可能な車載ナビゲーション装置に応用したものである。ナビゲーションの目的地設定は複雑な操作を伴うため、従来、車両停止中にしか行えない構成になっていた。本装置においても、車両停止時にのみ動作する構成としている。
【0019】
図1は、本装置の全体構造を示し、図2は、本装置に車載状態、および図3はナビゲーション画面の構成を示す。
【0020】
装置の構成を説明すると、本装置は、操作者の顔面領域を画像を入力するCCDカメラ等の撮像手段からなる画像入力部101、レンズ中心に画像入力部101と共軸系をなすように配された近赤外LED等の不可視光を発する照明102、照明102との相対関係が既知の位置に置かれた照明102と同一仕様を有する照明103、照明102,103の発光を制御する照明発光制御部104、画像入力部101から入力した画像信号をディジタルデータに変換するA/D変換器105、入力された画像データを保持する画像メモリ106、入力画像から網膜反射像(瞳孔位置)を抽出する瞳孔抽出部107、瞳孔近傍から照明102の角膜反射像を抽出する角膜反射像抽出部108、角膜反射像の抽出結果から、角膜反射像への合焦度合を算出する合焦判断部109、眼球の抽出結果に応じて視線入力を開始するか否かを判断する視線入力開始判断部110、抽出した瞳孔と角膜反射像の位置から注視位置を算出する注視位置算出部111、ナビゲーション画面の特定位置を注視しているか否かを判定する注視判定部112、計測に先立って行う校正作業のため、校正用視標を画面の特定位置に描画する校正用視標制御部114、校正結果から、注視位置算出に必要な変換係数を算出する校正データ算出部115、およびそのデータを記憶しておく校正データ記憶部116、校正開始を合図する校正開始スイッチ113、注視判定結果に応じてナビゲーション画面の表示を制御するナビゲーション地図制御部117、ナビ表示を行うナビ表示画面118、および、装置全体の制御を行う全体制御部119、車両操作者130とからなる。さらに、特定の位置、方向からのみ視認が可能な表示を行うための虚像表示部120が設けられている。虚像表示部120は、全体制御部119の信号を受けて表示を行う表示体121と、特定方向に投影するための光学系122、ハーフミラー123からなる。
【0021】
次に、図2の構成を説明する。図2は本発明の車載状態を示すものである。構成を説明すると、ナビゲーション用地図画面を表示するナビ表示画面118、ナビ表示画面118近傍に設置された、校正開始を指示する校正開始スイッチ113、ナビ表示画面118の下方に設置された、画像入力部101、照明102、照明103からなる。
【0022】
さらに、図3にナビ表示画面118の例を示す。ナビ表示画面118には、各種アイコンが表示されている。各アイコンの状態は、ナビゲーション制御の状態によって異なるため、詳しくは作用の項で説明する。
【0023】
以下、本発明の作用を説明する。
本装置は、本発明を車両に搭載し、車載ナビゲーション装置の目的地設定に利用したものである。ナビゲーションの目的地設定は複雑な操作を伴うため、従来、車両停止中にしか行えない構成になっていた。本装置においても、車両停止時にのみ動作する構成としている。
(a)視線方向の計測には、予め校正作業が必要となる。すなわち、操作者130は、ナビ表示画面118の近傍に設置された校正開始スイッチ113を押して校正を開始する。校正時には、ナビ表示画面118上に図4−(1)に示すような視標がひとつずつ順次呈示される。操作者130は、その間、視標を注視し続ける。
【0024】
(b)表示体121からは、虚像用の表示像が投影され、光学系122に入射する。光学系122からの表示像はハーフミラー123により反射され、操作者130へ向けて投影される。したがって、操作者130からは、あたかも表示像が、ナビ表示画面118上に表示されているように虚像が視認できる。ここで表示する虚像は、円や四角形のような単純図形でよい。この虚像を視認可能なエリアを、視線検知を行うための画像入力部101の撮影視野と同様のエリアに設定することにより、操作者130の眼球位置が画像入力部101の撮影視野にある場合、ナビ表示画面118上に虚像が視認でき、撮影視野に操作者130の眼球があるかどうかの判断が直感的に行える。
また、ここではナビ表示画面118上に表示したが、光学系122及びハーフミラー123の配置とによって、虚像の表示距離を変えることも可能である。
【0025】
(c)画像入力部101からは、操作者130の眼球を含む顔画像が入力され、A/D変換器105でディジタルデータに変換されて画像メモリ106にストアされる。この時、照明102が点灯し照明103が消灯した時の画像Aと、照明103が点灯し照明102が消灯した時の画像Bが入力される。
【0026】
(d)瞳孔抽出部107において、画像Aから画像Bの差分演算を行う。画像Aでは網膜からの反射光により瞳孔が明るく光って観測され、画像Bでは瞳孔が暗く観測されるため、両者の差分結果は、瞳孔領域が強調されたものとなる。差分画像を固定しきい値で2値化し、さらにラベリング処理を施し、領域の番号付けを行う。
差分画像の中には、網膜反射像の他に、例えば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照明の変動で生じた顔の一部等、様々なノイズが含まれる可能性がある。
これらのノイズは、一般に不定形状、かつ面積も不定であるため、予め予想される面積の円もしくは楕円として観測される網膜反射像と識別可能である。ここでは、領域の面積と形状による識別を行う。
ラベリングの結果得られた各領域の面積Riを、予め決めておいたしきい値S1,S2(S1<S2)と比較して、S1<Ri<S2を満足する領域のみ抜き出す。ここで、S1,S2は、カメラの撮像倍率から推定した、予想される瞳孔径(直径2〜8mmの瞳孔が、面積何画素の領域として観測されるか)にセットしておけばよい。
眼鏡レンズ反射像も円形領域として観測されるが、例えば、レンズの絞りを絞ることによって、網膜反射像の面積より眼鏡レンズ反射像の面積が小さくなるようにしておけば、面積により両者を識別可能である。
次に、残った領域に対して、その外接長方形に対する領域面積の比率Fを計算する。
網膜反射像は円または楕円形状で観測されるため、比率Fがある一定値Fth以上であるのに対し、例えば眼鏡フレーム反射は、フレームに沿った細長い領域になるため、仮に網膜反射像と同等の面積を有していても、Fが小さくなり識別可能である。
以上の識別の結果、残った領域を網膜反射像に決定する。なお、抽出した網膜反射像の面積Sは記憶しておく。以上までの処理の流れを簡単に図8に示す。
【0027】
(e)この時、瞬きやフレームアウトによって網膜反射像が発見されない時は、網膜反射像が発見されないことを示す表示を行う。この時は、再びステップ(b)に戻って処理が繰り返される。
【0028】
(f)角膜反射像抽出部108において、抽出した網膜反射像の重心位置(xg,yg)を求め、差分画像上で、重心位置を中心とし、網膜反射像を包含する小領域Aを設定する。小領域A内で最大輝度を有する点を角膜反射像とする。
【0029】
(g)合焦判断部109において、抽出した角膜反射像の輝度値Iを求め、小領域A内をα・I(0<α<2)で2値化する。差分画像の画素値がα・Iより大きければ1を、小さければ0を与えることにし、2値化の結果得られるα・Iより明るい画素の個数Kを算出する。もし、差分画像が焦点の合った画像であるならば、角膜反射像の輝度ピークは鋭いものとなり、Kは小さい値となる。一方、差分画像が焦点のぼけた画像であるならば、角膜反射像の輝度ピークはゆるやかなものとなり、Kは大きい値となる。
もし、Kが予め決めておいた値より大きかったら、入力した画像はピントのボケた画像であると判断する。ピントがボケていると判断された時は、ステップ(c)で算出した網膜反射像の面積Sを参照する。もし、Sが予め設定しておいたしきい値Sth1より大きい時は、操作者がカメラに近づき過ぎ(後ピン)であると判定し、逆にSが予め設定しておいたしきい値Sth2(Sth1>Sth2)より小さい時は、操作者がカメラから遠ざかり過ぎ(前ピン)であると判定する。
【0030】
(h)眼球に合焦した画像が得られ、かつ瞳孔重心が画像中央付近に観測された時、校正データ算出部115において、画像上の瞳孔重心(xg,yg)、角膜反射像座標(Px,Py)から、2個のパラメータδx=Xg−px、δy=Yg−Pyを求める。
【0031】
(i)瞳孔抽出部107、合焦判断部109では、さらに、瞳孔重心(xg,yg)と角膜反射像への合焦の有無を示す表示パターンを作成し、ナビ表示画面118に表示する。表示パターン例を図4−(1)に示す。図4−(1)では、校正用視標位置を網膜反射像の重心位置に見立て、その外部に移動フレームを設けて、該移動フレーム内の校正用視標位置によって、視野内の眼球位置を表示している。
また、同図に示すように、角膜反射像に合焦している時は校正用視標を塗りつぶしパターンにし、角膜反射像に合焦していない時は、白抜きパターンにして表示する。さらに、前ピンの時は視標を小さく、後ピンの時は視標を大きく表示する。
すなわち、フレームアウトの場合は虚像が視認できなくなることで、判定できるうえ、フレーム内の場合は、眼球が撮影視野のどこにあるかに加え、眼球にピントが合っているか否か、前ピンか後ピンかが表示されるため、操作者自身が、眼球のピントのぼけを確認でき、状況に応じて頭部位置を移動して定位置に復帰することが可能となる。
【0032】
(j)(a)〜(h)を、同一視標について、校正データがN回得られるまで行う。この結果得られたN個のδx,δyをそれぞれ平均し、視標iに対する校正結果としてδxi,δyiを得、校正データ記憶部116に記憶しておく。
【0033】
(k)用意された全ての視標(本実施の形態では、図4−(2)に示すように水平方向5点、垂直方向5点)について(a)〜(h)のループが終了すると、水平方向について算出された校正データδxのグループと、垂直方向について算出された校正データδyのグループ各々に対し、最小2乗法によって、視標位置とδxもしくはδyの変換式を決定する。すなわち、一般に視線の偏角が小さい領域においては、δxもしくはδyの値と視標位置とが1次式y=ax+bで既述されるものと考えてa,bを決定する。
【0034】
以上の処理によって校正作業が完了する。なお、この校正作業は、毎回行う必要はなく、1度行っておけばよい。得られた校正データを保存しておけば、後で再利用可能である。
【0035】
以下、実際の目的値入力の動作を説明する。
(l)ナビの目的地入力が必要になった時、ナビ表示画面118に設けられた目的地入力開始スイッチを押すと、ナビ表示画面118が図3に示すようになり、目的地入力を受け入れる状態となる。
【0036】
(m)以下、目的地入力の手順を説明する。
(m−1)地図表示のスケール変換を行って、ナビ表示画面118に目的地が表示された状態とする。この手続きは以下のように行えばよい。
(m−2)目的地入力開始スイッチ(図示せず)が押されると、その後連続して(b)〜(h)の処理が行われ、δx,δyが随時算出される。
(m−3)(m−2)と並行して、(b)〜(h)によって、画面内の瞳孔位置、角膜反射像への合焦度合が算出され、ナビ表示画面118の左上方へ眼球状態表示がなされる。
(m−4)算出されたδx,δyは、その都度(i)で求めた変換式によってナビ表示画面118上の位置座標に変換され、算出された位置に、図3に示す注視領域表示マーカがスーパーインポーズされる。
(m−5)操作者130がナビ表示画面118の下方に設定された広域表示マーカまたは詳細表示マーカを注視すると、注視領域表示が該マーカ上に移動する。
(m−6)ここで、例えば広域表示マーカを注視して暫く(300msec程度)目を閉じると、広域表示マーカが選択確定される。これは、1回の注視位置算出に100msecを要するものとした時、3回連続して眼球が発見されなかったことにより判定すればよい。通常の瞬きは約100msecで完了するため、不用意な瞬きによって選択確定が起こる危険性はない。
広域表示マーカが選択確定されると、ナビ表示画面118に表示された地図の縮尺が1ステップ変更され、再表示される。
(m−7)一般に(m−6)のステップを複数回行えば、目的地を画面内に表示することができる。
(m−8)次に、ナビ表示画面118の4辺上に設定されたスクロールマーカを注視し、暫く(300msec程度)目を閉じることによって、スクロール方向が選択確定され、所定方向への画面スクロールが行われる。
(m−9)(m−8)ステップを複数回行って、目的地近傍が画面中央に表示されるようにする。
(m−10)目的地近傍が画面中央に表示されたら、詳細表示マーカを選択確定して画面を拡大表示する。このステップを複数回繰り返し、真の目的地が画面に詳細表示されるようにする。
(m−11)真の目的地が画面に詳細表示されたら、操作者130は、自分が設定したい目的地を注視し、注視領域表示が目的地を指した時、約300msecの閉眼によって目的地を確定する。
なお、(m)のステップ全てにおいて、常に、フレームアウトの場合は虚像が視認できなくなることで判定できるうえ、フレーム内の場合は眼球が撮影視野のどこにあるかに加え、眼球にピントが合っているか否かが表示されるため、操作者自身が、眼球のピントのぼけを確認でき、状況に応じて頭部位置を移動して定位置に復帰することが可能となる。
【0037】
以上、(m−1)〜(m−11)の処理概要を、ナビ表示画面の内容とともに図5に示す。
(n)目的地が確定すると、ナビゲーション地図制御部117において、現在地から目的地までの最適経路が計算され、地図上にセットされる。
(o)ナビ表示画面118が(l)の初期状態に戻り、目的地に向けたナビゲーションが開始される。
(第2の実施の形態)
次に、本発明の第2の実施の形態を説明する。
図6は、第1の実施の形態に示したナビゲーション制御装置において、虚像表示部120は、全体制御部119及び、合焦判断部109、瞳孔抽出部107よりの信号を受けて表示を行うように構成されたものである。この構成により、表示体121の虚像用表示像として、構成用視標を表示するようにしたものである。この時、眼球アライメントの表示は図7に示すようなものでも良い。さらに、目的地入力時の注視領域マーカを表示してもよい。
この表示像は虚像で、ナビ表示画面上に重ね合わせて表示されるため、同様の効果が得られる。また、操作者のみに見えるため、他の乗員には、地図のみを視認させられるという効果もある。
【0038】
(第3の実施の形態)
次に、本発明の第3の実施の形態を説明する。
図8は、第1の実施の形態に示したナビゲーション制御装置において、虚像表示部120が、全体制御部119及び、ナビゲーション地図制御部117よりの信号を受けて表示を行うように構成されたものである。この構成により、虚像用の表示像として、図9に示すような、メニューバーを表示するようにしたものである。したがって、操作者は、メニューバーが見えた場合に、眼球の位置が撮影視野内に入ったことを確認できるため、スムーズにメニューの操作に入ることができるという効果がある。
【0039】
【発明の効果】
以上説明してきたように、本発明によると、車両運転者の視線方向や眼球位置を計測するための視線検知エリアから車両運転者の視線方向や眼球位置を計測し、計測した情報によってコンソールモニタに指示を与えることにより、周辺機器の制御を行う視線入力装置において、視線検知エリアを予め車室内空間に設定しておき、視線検知エリア内からは視認可能であるが、視線検知エリア外からでは視認ができなくなる表示を行う。
【0040】
したがって、操作者が、眼球位置の保持が容易になって、狭い撮影視野における高い視線計測精度を安定して容易に発揮できる優れた視線入力装置を実現可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の構成を示すブロック図である。
【図2】本発明の第1の実施の形態の構成を示すブロック図である。
【図3】本発明における画素の表示例である。
【図4】(1)は本発明の校正用視標の表示例、(2)は本発明の校正用視標のレイアウト図である。
【図5】目的地設定の処理を示すフローチャートである。
【図6】本発明の第2の実施の形態の構成を示す図である。
【図7】第2の実施の形態における眼球位置合致表示例である。
【図8】本発明の第3の実施の形態の構成を示す図である。
【図9】第3の実施の形態におけるメニュー画面の表示例である。
【図10】本発明における網膜反射像の抽出処理の流れを示す図である。
【符号の説明】
1,2,3,4 スクロールマーカ
101 画像入力部
102,103 照明
104 照明発光制御部
105 A/D変換器
106 画像メモリ
107 瞳孔抽出部
108 角膜反射像抽出部
109 合焦判断部
110 視線入力開始判断部
111 注視位置算出部
112 注視判定部
113 校正開始スイッチ
114 校正用視標制御部
115 校正データ算出部
116 校正データ記憶部
117 ナビゲーション地図制御部
118 ナビ表示画面
119 全体制御部
120 虚像表示部
121 表示体
122 光学系
123 ハーフミラー
130 操作者(運転者)
201 ウィンドシールド
202 ステアリング
Claims (3)
- 車両運転者の視線方向や眼球位置を計測するための視線検知エリアから車両運転者の視線方向や眼球位置を計測し、計測した情報によってコンソールモニタに指示を与えることにより、周辺機器の制御を行う視線入力装置において、
前記視線検知エリアを予め車室内空間に設定しておき、前記視線検知エリア内からは視認可能であるが、前記視線検知エリア外からでは視認ができなくなる表示を行う
ことを特徴とする視線入力装置。 - 請求項1に記載の視線入力装置において、
前記表示には、車両運転者の視線方向を検出するカメラ映像内の眼球位置のアライメントに関わるターゲットマーカが含まれることを特徴とする視線入力装置。 - 請求項1に記載の視線入力装置において、
前記表示には、視線入力に関わるメニューバーが含まれることを特徴とする視線入力装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16548396A JP3735947B2 (ja) | 1996-06-26 | 1996-06-26 | 視線入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16548396A JP3735947B2 (ja) | 1996-06-26 | 1996-06-26 | 視線入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH105178A JPH105178A (ja) | 1998-01-13 |
JP3735947B2 true JP3735947B2 (ja) | 2006-01-18 |
Family
ID=15813268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16548396A Expired - Fee Related JP3735947B2 (ja) | 1996-06-26 | 1996-06-26 | 視線入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3735947B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100325365B1 (ko) * | 1999-02-23 | 2002-03-04 | 김재희 | 응시위치 추적시스템 |
DE10050174C1 (de) * | 2000-10-11 | 2002-05-29 | Bosch Gmbh Robert | Vorrichtung zur Anzeige von Informationen in einem Fahrzeug |
JP4500992B2 (ja) * | 2004-01-14 | 2010-07-14 | 国立大学法人静岡大学 | 三次元視点計測装置 |
JP4568836B2 (ja) * | 2004-06-08 | 2010-10-27 | 国立大学法人静岡大学 | 実時間瞳孔位置検出システム |
JP4491604B2 (ja) * | 2004-12-17 | 2010-06-30 | 国立大学法人静岡大学 | 瞳孔検出装置 |
JP2007259931A (ja) * | 2006-03-27 | 2007-10-11 | Honda Motor Co Ltd | 視線検出装置 |
JP2007263931A (ja) * | 2006-03-30 | 2007-10-11 | Denso It Laboratory Inc | ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム |
JP5092776B2 (ja) * | 2008-02-06 | 2012-12-05 | 株式会社デンソー | 視線方向検出装置及び視線方向検出方法 |
JP5529660B2 (ja) * | 2010-07-20 | 2014-06-25 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
CN105042789B (zh) * | 2015-08-12 | 2018-03-16 | 深圳创维-Rgb电子有限公司 | 一种智能空调的控制方法及*** |
JP6856017B2 (ja) * | 2017-12-28 | 2021-04-07 | 株式会社Jvcケンウッド | 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法 |
KR102097390B1 (ko) * | 2019-10-10 | 2020-04-06 | 주식회사 메디씽큐 | 시선 검출 기반의 스마트 안경 표시 장치 |
WO2024105866A1 (ja) * | 2022-11-18 | 2024-05-23 | 日本電気株式会社 | 車両制御装置、車両制御方法及び非一時的なコンピュータ可読媒体 |
-
1996
- 1996-06-26 JP JP16548396A patent/JP3735947B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH105178A (ja) | 1998-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10481757B2 (en) | Eye gaze control system | |
US10506913B2 (en) | Apparatus operation device, apparatus operation method, and electronic apparatus system | |
JP6214752B2 (ja) | 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法 | |
KR101071777B1 (ko) | 차재 기기의 조작장치 | |
JP3735947B2 (ja) | 視線入力装置 | |
JP5198368B2 (ja) | 車両用画像表示装置 | |
JP3324295B2 (ja) | 車両用視線方向計測装置 | |
JP4366716B2 (ja) | 車両用情報表示装置 | |
JPH06261863A (ja) | 視線方向計測装置 | |
JP6331567B2 (ja) | 車両用表示入力装置 | |
US20160331584A1 (en) | Surgical tool tracking to control surgical system | |
WO2015001606A1 (ja) | 撮像システム | |
US11614622B2 (en) | Head-mounted display system and method for controlling a medical imaging device | |
JPH09167049A (ja) | コンソール用視線入力装置 | |
JP2018055264A (ja) | ジェスチャ検出装置 | |
JPH08179238A (ja) | 観察光学装置 | |
JPH09212082A (ja) | 視線入力装置 | |
JP2006327526A (ja) | 車載機器の操作装置 | |
JP2018103646A (ja) | 車両用情報表示装置及び車両用情報表示プログラム | |
JPH05270296A (ja) | 車両用操作装置 | |
JPH09251539A (ja) | 視線計測装置 | |
KR20170096609A (ko) | 헤드업 디스플레이의 표시 제어 장치 | |
JPH0868630A (ja) | 車両用視線方向計測装置およびこれに用いる画像入力装置 | |
JP3232873B2 (ja) | 車両用視線方向検出装置 | |
JPH1097376A (ja) | 視線操作装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050112 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |