JP2003521950A6 - 視標追跡システム - Google Patents

Abstract

【課題】
【解決手段】物体の可視像を形成するための、顕微鏡又はカメラのような光学装置を提供する。該光学装置は、像面に可視像を形成する対物レンズ、該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ、及び探知された凝視の方向に応じた該光学装置の制御可能な機能の調節手段を含む。該視線センサは、利用者の網膜から反射された光をフォーカシングするセンサレンズ、利用者の網膜の部分に関する電気的像信号を生成するために、該センサレンズに関して前記像面と共役をなす面に位置する像変換器、利用者の網膜の像の情報を記憶するメモリ、及び利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器で生成した網膜の像の信号と、前記記憶された網膜の像の情報とを比較する回路を含む。

Description

【０００１】
【発明の属する技術分野】
本発明は、利用者の凝視（視線）の方向を追跡（アイ・トラッキング）するための装置及び方法に関する。本発明は、とりわけ物体の可視像（viewable image）を形成する光学装置、例えば顕微鏡、望遠鏡等で使用する視標（視線）追跡装置に関する。
【０００２】
【従来の技術及びその問題点】
本出願人は、既に国際特許出願PCT/EP95/04178及び国際公開公報WO96/13743において視標追跡技術を採用した顕微鏡システムを提案している。この視標追跡技術により、接眼レンズを介して像を見る利用者の凝視の位置を追跡し、その凝視情報（凝視に関する情報）は、例えばオートフォーカスシステムを制御するために使用される。これは、被写界深度がしばしば限定され及び視野全体のうち小さい部分のみが何れの一時点においても焦点がシャープに合っている高倍率の場合にとりわけ有益である。この先行特許は、凝視情報が、顕微鏡の手を使う必要のない（ハンドフリーの）運動或は利用者の通常の視野に重ねられるメニュー方式コンピュータシステムの操作を含む顕微鏡の他の機能を制御するために利用できることも教示している。
【０００３】
視標追跡に利用できる種々の技術が多数存在する。これらのうち２つの最も一般的な技術は、縁郭追跡装置（Limbus trackers）及びビデオ視標追跡装置（Video eye trackers）である。
【０００４】
縁郭追跡は、通常、利用者の眼を、典型的には１つ以上の赤外ＬＥＤで照明し、かつ眼の白色部分（強膜：sclera）から反射された光を１つ以上の光検出器を用いて検出することにより行われる。目の白色部分から反射された光の量は濃色領域（瞳孔及び虹彩）の依存して変化するので、特定の視野において、利用者が現実に見ている所を決定することができる。しかし、このタイプの視標追跡システムは、虹彩−強膜間の境界の位置に関する情報しか提供しないので、凝視（視線）の角度を明確に決定することはできない。さらに、縁郭追跡技術は、眼の表面の水平（方向）位置に関する情報についてはかなり良好な情報を提供するのであるが、睫毛及び瞼により妨害されるので垂直（方向）位置は正確に決定することはできない。
【０００５】
ビデオに基づく視標追跡技術も種々のものが多数存在する。それらの内あるものは、単に眼を照明しかつ結像システムを用いて瞳孔を見るだけである。像から瞳孔の中心（の位置）を決定することにより、目が向いている方向に関する情報を得ることができる。しかし、この技術は、観察者の頭の動きと眼の動きとを区別することができないという問題がある。
【０００６】
更に高性能なビデオ利用視標追跡システムが他にも提案されたが、これは、角膜及び水晶体の表面からの光源の反射光（しばしば、ハイライトないしグリント（glint）と呼ばれる）であるプルキンエ像の位置を検出するものである。この技術は、頭の動きとは独立しているので、比較的正確であるが、プルキンエ像の中には極めて弱いものもあり、従ってはっきりと映すことが困難であるという問題がある。
【０００７】
【発明が解決しようとする課題】
本発明の目的の１つは、物体の可視像を形成する、例えば顕微鏡、カメラ等の光学装置で利用するための別個の（新規な）、正確な視標追跡技術を提供することである。
【０００８】
【課題を解決するための手段】
本発明は、第一の視点によれば、新規な視標（視線）追跡システム装置を一般的に提供し、更に、以下の物体の可視像（viewable image）を形成するための光学装置を提供する。即ち、物体の可視像を像面に形成する対物レンズ；該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ；及び探知された凝視（注視）の方向に応じた、該光学装置の制御可能な機能の調節手段を含む形式の視標追跡システム装置において、該視線センサは、（１）利用者の網膜から反射された光をフォーカシングするセンサレンズ；（２）前記センサレンズを介して調べる（探知する）ことができる利用者の網膜の部分の電気的像信号を生成するために、利用者が前記可視像を見るときに、利用者の眼の網膜に関して前記像面と共通に共役の面に位置する像変換器；（３）網膜情報を記憶するメモリ；（４）利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器で生成した網膜の像の信号を表わす信号と、前記記憶された網膜情報とを比較する比較手段を含むことを特徴とする視標追跡システム装置を提供する。このシステムには、前記視線センサで決定される凝視（視線）の方向は、利用者の頭のいかなる動きとも独立である（頭の動きに左右されない）という長所がある。
【０００９】
【発明の実施の形態】
好ましくは、可視像を見ることを容易にするために、１つ以上の接眼レンズが設けられる。本装置の好ましい一形態においては、像変換器で生成する網膜の像の質を改善するために、利用者の眼の網膜を照明する光源が設けられる。好ましくは、該光源は、複数の発光部を持ち、該発光部は、角膜のグリント（強い反射光）の効果を防ぐために、該発光部の内選択されたものが何れの一時点においても照明できるように、（装置の）光軸から外れて位置する。
【００１０】
【実施例】
本発明の実施例を図面を参照して以下に説明する。
【００１１】
図１は、外科用顕微鏡１の模式図である。該顕微鏡１は、対物レンズ３及び接眼レンズ５を含み、それらは何れも単レンズにより模式的に記載されているが、実際には、複数のレンズ及び付加的にズームレンズのようなものまで含みうる。対物レンズ３は、破線９により示される中間像面で検査される物体７の像を生成する機能を持つ。そしてこの像は、接眼レンズ５、角膜１５及び水晶体（eye lens）１７を介して観察者の眼１３の網膜１１でフォーカシング(焦点合わせ)される。
【００１２】
図１に示されるように、この（第一）実施例では、顕微鏡１は、顕微鏡１の光軸に沿って位置する２つのビームスプリッタ２１及び２３も含む。ビームスプリッタ２１は、光源２５から観察者の眼１３の網膜１１に達する、好ましくは非可視光領域の適切な波長の光を反射する機能を持つ。光源２５から眼１３の角膜１５に達する光をフォーカシングするために、光源２５とビームスプリッタ２１との間にレンズ２７を配置しても良い。網膜で直接行うよりむしろ好ましい、眼１３の角膜１５でのフォーカシングにより、網膜１１のより広い部分が水晶体１７の働きに応じて照明される。この照明光の一部は、(網膜で)反射して網膜１１の表面から逆戻りし、水晶体１７及び角膜１５を通ってビームスプリッタ２１に達し、そこで該反射光の一部は、反射して光源２５へ逆進し、(該反射光の)残りは、そこを通過し接眼レンズ５に達する。眼１３は中間像面９にフォーカシングされる(対物レンズ３により形成される物体７の像を見る)ので、水晶体１７及び接眼レンズ５は、網膜１１の照明された部分の像を中間像面９に形成するように機能する。そしてこの網膜の像は、ビームスプリッタ２３により反射され、センサ２９、好ましくはＣＣＤセンサ等上にレンズ３１によりフォーカシングされる。図１に示されるように、センサ２９により生成する像は、電子処理ユニット（ないし装置又は回路）３３に入力される。該装置３３は、本実施例では、観察者の凝視の方向を求め、それに応じて対物レンズ３のオートフォーカシングを制御するため、受け取った網膜の像を処理する操作ができる。この実施例では、本システムは、顕微鏡の視野全体に亘って、例えば３０”ピクセル（画素）”×３０”ピクセル(画素)”の解像度で凝視の方向を同定できる。換言すれば、(この実施例の)本システムは、観察者が見つめている”ピクセル(画素)”を表す、（０，０）から（２９，２９）の範囲のｘ、ｙ座標を出力する。
【００１３】
この（第一）実施例において本システムが観察者の凝視の方向を求める方法を図２〜４を参照して説明する。図２は、本実施例において観察者の凝視の方向を求めるために使用される視標追跡システムの基本要素を示すブロック線図である。図示のように、センサ２９は、網膜の像の固有の特徴を強調する（ないし、際立たせる）ためのセンサ２９により生成される網膜の像を処理する像処理ユニット４１に接続している。この（第一）実施例では、強調される特徴は血管である。なぜなら、血管は、標準像処理輪郭(エッジないし縁郭)検出技術を使用することにより比較的容易に発見しかつ強調することができるからである。使用することができる適当な処理アルゴリズムの詳細は、例えば、論文 "Image Processing for Improved eye Tracking Accuracy"（Mulligen著, 1997年, Behaviour Research methods, Instrumentation and Computersにて刊行）に見出すことができ、その内容は引用をもってここに繰込まれる。図３ａは、オリジナルの網膜の像(不図示)に存在する低周波強度変動(ないし、雑音)を除去するフィルタ処理後の、センサ２９による二次元像出力を示している。図示のように、網膜表面の微細構造及び細部は、はっきりと認識できる。そしてこの網膜の像は、像処理ユニット４１で処理されて、対応する白黒線図形を生成する。その線図形は図３ｂに記載されている。図３ｂに示されるように、この実施例においては、血管の細部のみが処理ユニット４１による処理後も残存している。
【００１４】
当業者であれば正しく認識できる通り、観察者の凝視(視線)が、眺める物体７上を動くとき、センサ２９で生成する網膜の像は変化する。それゆえ、観察者に視野に散在する複数の地点を見つめさせ、観察者がそれらの地点のそれぞれを見つめるときの網膜のセンサ像、例えばＣＣＤ像を得ることにより、観察者の網膜１１の”マップ（map）”を求めることができる。この（第一）実施例では、観察者の網膜１１のこのマッピングは、顕微鏡がオペレーションの較正モードにあるとき行われる。そして顕微鏡がオペレーションの標準モードにあるとき、観察者の凝視の方向を、センサ２９で生成した実際の網膜の像（網膜の実際像）と較正段階で形成した網膜マップとを比較することにより求めることができる。
【００１５】
図２に示されるように、コントローラ４９が設けられており、これは、顕微鏡１のオペレーションの上記各モードを制御する機能を持つ。特に、較正の要求(必要)に応じて、新たな観察者による入力がユーザインターフェース５１、コントローラ４９を介してスイッチ４５の位置を調節し、像処理ユニット４１を像モンタージュユニット４３に接続する。この実施例では、較正段階において、顕微鏡１下で観察される物体としてテストカード(不図示)が用いられ、このカードには視野に亘って配列した多数の可視点(ドット)がある。そして新たな観察者は、そのドットをそれぞれ順々に見つめるように指示される。その指示通りに行うと、モンタージュユニット４３は、センサ２９で生成した網膜の像(複数)を受け取り、新たな観察者の網膜表面のマップ４７を形成するためにそれら(センサ２９で生成した複数の網膜の像)を合わせて”合成(モンタージュ)する”。図３ｃは、ある観察者についてできた網膜マップ４７の結果を示している。そしてこの網膜マップは、顕微鏡１のオペレーションの標準モードで使用するために、メモリ(不図示)に記憶される。
【００１６】
較正段階完了後、コントローラ４９は、スイッチ４５を介して像処理ユニット４１を像コンパレータ５３に接続することにより、顕微鏡をオペレーションの標準モードに切り替える。オペレーションのこの標準モードでは、センサ２９は、観察者の網膜１１の、センサ２９が今まさに探知できる部分(所定位置)の像を生成する。そしてこの網膜の像は上述の方法で処理ユニット４１で処理され、網膜表面の微細構造の線図が生成される。そしてこの線図は、像コンパレータ５３へ伝達され、そこで目下の観察者の(較正された)網膜マップ４７と比較される。この実施例では、この比較は、実際の網膜の像と網膜マップ４７とを二次元で相関をとることにより行われる。そしてこの比較の結果は、コントローラ４９へ伝達され、それ(その結果)から観察者の凝視の方向が求められる。そしてこの実施例では、この情報は、オートフォーカスコントロールユニット５５へ伝達される。該ユニット５５は、対物レンズ３のオートフォーカシングを制御する機能を持ち、それにより観察者が今まさに見つめている物体の部分について焦点を合わせる。
【００１７】
図２に示されるように、コントローラ４９は照明制御ユニット５７にも接続しており、該ユニット５７は光源２５を制御する機能を持つ。その(構成を採る)理由はこれから説明する。図１には、光源２５は顕微鏡１の光軸と実質上同一の軸上に位置する様子が示されている。その結果、角膜１５で反射する(このことは角膜のハイライトないしグリントにより認識される)光源２５からの光は、像面９で形成される網膜の像を不明瞭にするであろう。それゆえ、図４に示すように、この実施例では、光軸の周りに配列される６つの発光部６１−１〜６１−６を有する光源が使用される。作動中は、(実際の凝視方向に関する)網膜の像に角膜のハイライトを生じさせないこれらの発光部のみが、どの任意の時点においても使用される。ある特定の凝視の方向に対しどの発光部を消灯するかについては、較正ルーチン中に予め決定することができるし、或いは実際の網膜の像の中にある角膜のハイライト（強反射）の存在をモニタリングすることによりリアルタイムで決定することもできる。この実施例では、観察者の凝視の方向は、一分間に５０回求められ、後者の(リアルタイムの)アプローチが、どの発光部を消灯すべきかを制御するのに使用される。
【００１８】
光源２５は、好ましくは800〜950nmの範囲の波長で発光する機能を持つ。その理由は、それらの波長においては、眼の媒質の透過率及び網膜の反射率は何れも大きいからである。これらの波長(の光)は、人間の眼には不可視なものでもあり、瞳孔の大きさのいかなる縮小又は顕微鏡を通して観察される像の質のいかなる低下もまず引き起こさないであろう。しかし、当業者であれば正しく認識できるように、他の(範囲の)波長の光で動作する光源が使用されることもあるであろう。この実施例では、光源２５は、850nmの高出力ＬＥＤを含み、これは眼の前部表面に凡そ0.2mW(のエネルギー)を当てる機能をもつが、この値は、現在の眼の安全基準（eye safety recommendations）と調和している。
【００１９】
当業者であれば正しく認識できるように、上述の視標追跡技術は、このような顕微鏡での適用例では良く機能する。なぜなら、観察者の眼は、中間像面９でいつもフォーカシングされるからである。その結果、網膜から反射されるどんな光もこの中間像面９にシャープな網膜の像を形成するであろう。それゆえ、センサ２９をレンズ３１に関し中間像面９と共役をなす面に配置することにより、センサ２９上に網膜の像が生ずる。
【００２０】
この視標追跡技術は、次の理由による優位性も持つ。その理由とは、頭の動きと独立している(頭の動きにその機能が左右されない)こと及び眼の大きさ、形又は位置の測定(この測定は、凝視(視線)の方向を求めるために眼の表面から反射される光を使用する他の視標追跡技術では必要とされる)に関わる必要なく観察者の凝視の位置(方向)を直接測定することである。
【００２１】
他の実施例
修正ないし変更例及び他の実施例の幾つかをこれから図５〜９を参照して説明する。
【００２２】
上述の実施例では、凝視方向情報は、顕微鏡１のオートフォーカシングを制御するために使用された。当業者であれば正しく認識できるように、凝視方向情報は、他の目的にも使用することができる。図５は、凝視(視線)情報が顕微鏡１の動作を制御するために使用される（第二）実施例で用いられる処理ブロックを示している。図２で記載されたものと同一の処理ブロックは、同一の参照符号を付している（以下、他の図においても同様）。図示のように、この（第二）実施例における唯一の相違は、サーボコントローラ６５の存在であり、該コントローラ６５は、コントローラ４９からの凝視(視線)情報出力を受け取る機能を持ち、これに応答して、観察する物体上で顕微鏡を移動する幾つかのモータ６７の動作を制御する機能を持つ。
【００２３】
図６は、本発明の他の（第三）実施例で使用される処理及び電子制御システムの形態を示している。図６に示されるように、この（第三）実施例では、網膜マップ４７を形成するのに使用される網膜の像のみが像処理ユニット４１で処理される。それゆえ、顕微鏡のオペレーションの標準モードでは、像コンパレータ５３は、センサ２９による実際の網膜の像出力と網膜マップ４７とを比較する機能を持つ。更に、図６に示すように、求められる凝視方向情報は、顕微鏡の位置決め及び対物レンズ３のフォーカシングを制御するために使用される。図６に記載された（第三）実施例によれば、凝視方向を決定するためにセンサ２９で生成する網膜の像を処理することは必須ではない。しかし、好ましい実施例において網膜の像の処理を行うのは、像コンパレータ５３で比較される必要があるデータの量を減らすためである。
【００２４】
図７は、本発明の他の更なる（第四）実施例で使用される処理及び制御ブロックを示している。図示のように、この（第四）実施例では、顕微鏡の通常の使用(通常モード)中に生じる網膜の像のみが、像コンパレータ５３により網膜マップ４７と比較される前に像処理ユニット４１で処理される。この（第四）実施例では、コントローラにより得られた凝視方向情報は、ディスプレイドライバ７１に伝達され、該ドライバ７１は、顕微鏡のファインダ内にあるディスプレイ７３上のメニュの表示を制御する。
【００２５】
上述の各実施例では、顕微鏡の光軸の周囲に実質的に配列された複数の発光部を持つ光源に設けられた発光部は、その幾つかのみがどの一時点においても使用される。この配列は、角膜のハイライトの影響を低減するために使用された。この問題を克服するために使用しうる他の技術は、円偏光を生じる光源を使用することである。とりわけ、角膜の表面から反射された円偏光は、反転した極性（位相）を持つであろう。しかし、網膜からの反射光は散乱して反射され、それゆえ本来の極性（位相）のかなりの成分を依然として含んでいるであろう。従って、四分の一波長板及び偏光器を組み合わせて使用することにより、角膜からセンサへ逆進する反射光の量を最小にすることが可能になり、網膜からの散乱光を観察することが可能となる。
【００２６】
角膜のハイライトの問題を解決する他の技術は、角膜でフォーカシングされないように照明光線の焦点をぼかす（defocus）ことである。この技術は上手くいくものの、瞳孔は眼に入射する光を制限するので、結像する網膜の大きさはかなり小さくなるという結果に至る。
【００２７】
上述の各実施例では、網膜を照明するための光（源）は、接眼レンズ５の後方（接眼レンズの眼側）に導入された。これに対し図８は、照明光（源）が接眼レンズ５の前方（接眼レンズの物体側）に導入された顕微鏡の形態（第五実施例）の模式図である。この（第五）実施例では、照明光は接眼レンズ５を通過しなければならないので、接眼レンズ５は、接眼レンズ５による照明光の直接の反射を最小にするために反射防止膜で被覆されるのが好ましい。
【００２８】
上述の各実施例では、光源２５は、観察者の眼の網膜を照明するために使用された。当業者であれば正しく認識できるように、観察される物体からの光は、網膜を照明するために十分なものであるかもしれず、そのような場合では、光源２５は必要ではない。
【００２９】
本発明の改良された一実施例では、光源の光は、ＣＣＤセンサから読み出した周波数で同期を取ったパルスの形で発せられる。これは、利用者の網膜の照射を最小化するためである。
【００３０】
上述の実施例は全て光学顕微鏡で使用される視標追跡技術に関するものであった。当業者であれば正しく認識できるように、上述の視標追跡技術は、カメラ、望遠鏡等のような他の多くの光学装置でも使用することができる。図９は、上述の視標追跡技術を採用したカメラ８１（第六実施例）の模式図である。図示のように、カメラ８１は、物体を中間像面でフォーカシングするための対物レンズ３を含んでいる。しかし、カメラでは、拡散ガラススクリーン８３を中間面に配置することにより、実像は中間像面で生成する。そして拡散ガラススクリーン８３で生成した実像は、接眼レンズ５及びプリズム８５を介して観察者により観察される。該プリズム８５は、像の向きを換えて適切な進路へと導く機能を持つ。カメラは、物体からの光をフィルム８９でフォーカシングするために上下運動できる鏡８７も持っている。視標追跡システムの他の残りの要素は、上述の顕微鏡の各実施例で使用されたものと同一であるので、ここでは言及しない。しかし、ここで注意すべきことは、この（第六）実施例では、センサ２９及びレンズ３１は、拡散ガラススクリーン８３の正面側（物体からの光が該スクリーンから射出する側）に配置することである。なぜなら、網膜の像は、拡散ガラスプレート８３を通過することができないからである。しかし、これはたいした問題ではない。というのは、センサ２９は、中間像面と共役をなす面になお配置されているからである。
【００３１】
上述の各実施例では、網膜表面の血管は、観察者の凝視（視線）の方向を同定するために利用された。当業者であれば正しく認識できるように、網膜の他の特徴も利用することができる。例えば、その（血管の）替わりに中心窩を利用することもできる。しかし、中心窩を利用するには比較的大きな倍率を必要とするので、より容易に認識できる特徴である血管を利用するのが好ましい。
【００３２】
上述の各実施例では、電子処理システムは、観察者の凝視の方向を毎秒５０回求める。その結果、このシステムはひとたび実際の凝視方向を求めると、その情報を、実際の網膜の像と網膜マップとを比較するのに必要な処理の量を減ずるために使用することができる。とりわけ、該システムは、最後に得られた凝視の方向を使用して、網膜マップの、実際の網膜の像に相応する位置を同定し、次いで網膜マップのその位置を開始地点として使用することができる。
【００３３】
上述の各実施例では、各観察者の網膜の網膜マップがまず、好ましくは当該利用者が顕微鏡を使用できるようになる以前の較正ルーチン中に、得られなければならなかった。他の一実施例においては、数人の利用者の網膜マップを組み合わせて、調節を行う利用者の網膜の像の共通の特徴をモデル化するマスターテンプレートを作ることができる。そしてこのマスターテンプレートは、誰でも使用することができ、その際新たな（マスターテンプレートのためのデータを取っていない）利用者は構成ルーチンを行う必要はない。この実施例は、テンプレートが利用者に独立に使用できるという長所がある一方で、前記システムは専らテンプレートの性能と同等であるという問題がある。
【００３４】
上述の各実施例では、観察者の凝視の方向が動いてその位置で視野の焦点がボケると、前記システムは自動的に対物レンズの焦点を調節した。ある応用例では、そのような自動焦点合わせは、望まれないかもしれない。そのような場合には、電子処理システムは、以下のように構成されても良い。即ち、オートフォーカシングが行われるのは、利用者が所定の時間に亘り同一点で焦点が合わせられたままである場合、又は観察者が焦点の位置の変更を望むことを表す制御コマンドを入力する場合のみに限るように、システムを構成できる。
【００３５】
上述の各実施例では、ビームスプリッタは、センサ及びセンサレンズを顕微鏡の（光）軸上に実質的に配置するために使用された。当業者であれば正しく認識できるように、そのようなビームスプリッタの使用は本質的ではない。例えば、センサ及びセンサレンズは、顕微鏡の光軸に対し何らかの角度を付けて配置すること、即ちセンサがなお中間（像）面を”見る”ことができるように配置することができる。他方、センサが対物レンズの直径と比べて比較的小さい時は、センサは、対物レンズの軸に沿って（光路内に）配置することもできる。しかし、この実施例は、観察者の眼に入射する光の量が減少するので好ましくない。
【００３６】
ビームスプリッタ２３を使用する代わりに、この実施例の一変形例は、センサが接眼レンズ５を介して中間像面９を望む（見る）ようにし、かつ網膜の像を光源２５の反対側（ビームスプリッタ２１を挟んで光源２５と反対側）に反射するようにビームスプリッタ２１の裏側を利用すべきであろう。そこに調節（modified）レンズ３１とセンサ２９が配置されるであろう。破線９の位置には、部分透過鏡（part transparent mirror）が、網膜の像を接眼レンズ５を介してセンサ２９へ反射するために配置されるであろう。
【００３７】
上述の各実施例では、光学装置を通る単一の光学経路が記載されている。当業者であれば正しく認識できるように、２つ（各眼に対し１つ）の光学経路がある場合には、類似の視標追跡システムをもう１つの光学経路に設けることができるであろう。一方、光学装置が、観察者が両目で物体を見ることができるものである場合には、単一の切替可能な視標追跡システムを設けることもできるであろう。
しかし、２つ（各光学経路につき１つ）の視標追跡システムの場合は、利用者の２つの眼の間の距離に応じて、対向する２つの接眼レンズを自動的に動力調節することも考慮に入れるであろう。また、この２経路システムは、両目の動きを比べると利き眼（dominant eye）の動きが検出されるかもしれないので、いつも利用者の利き眼を追跡することも考慮するであろう。
上述の実施例では、センサで生成する実際の網膜の像の出力と網膜マップとの比較は、二次元相関技術を用いて行われる。当業者であれば正しく認識できるように、他の比較技術も採用することができる。例えば、Cootes他（the University of Manchester）により開発された"動的形状モデル（active shape models）"を網膜の固有の特徴をモデル化するために使用することができる。そしてこの比較（技術）は、実際の網膜の像として生じた類似の形状モデルと網膜マップとして記憶された形状モデルとを整合する作業を伴うであろう。論文"Use of Active Shape Models for Locating Structures in Medical Images"には、次に行う同定を目的とする人体構造のモデル化の方法が記載されている。この論文の内容は、前述の国際出願（PCT）の内容と同様に、ここに引用を持って繰込まれたものとする。
上述以外の他の実施例も今や当業者には明らかであろう。上述の各実施例及び各変形例は、単なる例示として記載されたものに過ぎず、当業者であれば正しく認識できるように、実施例の何れかになされた変形ないし修正は、他の実施例にも適用できるであろう。
請求項の用語（原文）「包含する」"Comprising"は、「含む」"containing"も意味する。
【図面の簡単な説明】
【図１】 本発明の実施例である外科用顕微鏡の基本要素の模式図。
【図２】 図１の顕微鏡の電子要素のブロック線図。
【図３ａ】 図１の顕微鏡の構成要素であるセンサで生成した利用者の網膜部位を示す二次元像。
【図３ｂ】 図３ａの像を処理することにより生じた図３ａの利用者の網膜部位の線図。
【図３ｃ】 利用者が予選択された幾つかの点を見つめているときに生じた網膜の像をモンタージュして得られた利用者の網膜の全表面の線図。
【図４】 第一実施例で利用者の眼を照明するために使用される光源の模式図。
【図５】 本発明の（第二）実施例である光学装置の電子要素のブロック線図。
【図６】 本発明の（第三）実施例である光学装置の電子要素のブロック線図。
【図７】 本発明の（第四）実施例である光学装置の電子要素のブロック線図。
【図８】 本発明の（第五）実施例である顕微鏡の模式図。
【図９】 本発明の（第六）実施例であるカメラの模式図。

Claims (37)

1. 眼の凝視（視線)を検出するための視標追跡システム装置であって、
   （i） 利用者の眼の網膜から反射した光をフォーカシングするセンサレンズ；
   （ii） 前記センサレンズにより前記網膜の像が投影される面に位置し、該網膜の部分の電気的像信号を発生する像変換器；
   （iii） 前記網膜に関する網膜の像の情報を記憶するメモリ；及び
   （iv） 利用者の眼の凝視(視線)の方向を示す凝視(視線)情報を生成するために、前記像変換器で生成した前記網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報とを比較する比較手段、
   を含む視標追跡システム装置。
2. 物体の可視像を形成するための光学装置であって、
   該物体の可視像を像面に形成する対物レンズ；
   該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ；及び
   該探知された凝視の方向に応じた、該光学装置の制御可能な機能の調節手段、を含む形式の光学装置において、
   前記視線センサは、
   （ｏ） 網膜の像の収集装置；
   （iii） 利用者の網膜の像の情報を記憶するメモリ；及び
   （iv） 利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器で生成した網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報とを比較する比較手段、
   を含むことを特徴とする光学装置。
3. 光学装置であって、
   （i） 利用者の網膜から反射した光をフォーカシングするセンサレンズ、
   （ii） 利用者の網膜の部分の電気的像信号を生成するために、利用者が前記可視像を見るとき、利用者の眼の網膜に関して（物体の可視像が形成される）前記像面と共通に共役をなす面に位置する像変換器、
   を更に含むことを特徴とする請求項２に記載の装置。
4. 光学装置であって、
   利用者がそれを通して前記可視像を見ることができる接眼レンズ、
   を更に含み、
   好ましくは、該接眼レンズは、光学装置の明瞭に見える視野を拡大するレンズシステムを含む、
   ことを特徴とする請求項２又は３に記載の装置。
5. 前記センサレンズ及び前記像変換器は、該装置の光軸から外れて配置されている、
   ことを特徴とする請求項１〜４の一に記載の装置。
6. 網膜から反射された光を前記センサレンズ及び前記像変換器に反射するビームスプリッタを更に含む、
   ことを特徴とする請求項５に記載の装置。
7. 前記像変換器は、ＣＣＤセンサ、好ましくは二次元ＣＣＤセンサを含む、
   ことを特徴とする請求項１〜６の一に記載の装置。
8. 利用者の眼を照明する光源を更に含み、及び好ましくは、該光源からの光をフォーカシングする照明レンズを更に含む、
   ことを特徴とする請求項１〜７の一に記載の装置。
9. 前記照明レンズは、使用中に、光源からの光を利用者の眼の角膜にフォーカシングする機能を持つ、
   ことを特徴とする請求項８に記載の装置。
10. 前記光源は、好ましくは可視光以外の領域の、所定の波長、とりわけ凡そ800nm〜凡そ950nmの範囲の波長の光を発光する機能を持つ、
    ことを特徴とする請求項８又は９に記載の装置。
11. 前記光源は、850nmのＬＥＤを含む、
    ことを特徴とする請求項１０に記載の装置。
12. 前記光源は、顕微鏡［光学装置］の光軸に対し一定の角度をなして配置している、
    ことを特徴とする請求項８〜１１の一に記載の装置。
13. 光源からの光を眼に向かって反射するための、装置の光軸に配置するビームスプリッタを更に含む、
    ことを特徴とする請求項１２に記載の装置。
14. 中間像面に半銀鏡化鏡（ハーフミラー）を、好ましくは網膜の像を反射して接眼レンズを通過させるために、含む、
    ことを特徴とする請求項１〜１３の一に記載の装置。
15. 前記光源は、接眼レンズを介して眼を照明可能である、ことを特徴とする請求項２又は３を引用する場合において請求項８〜１４の一に記載の装置。
16. 前記接眼レンズは、光源からの光が接眼レンズから像変換器へ反射するのを妨げる反射防止膜を含む、
    ことを特徴とする請求項１５に記載の装置。
17. 前記光源は、利用者の眼をそれぞれ異なる角度で照明する機能を持つ複数の発光部を含む、
    ことを特徴とする請求項８〜１６の一に記載の装置。
18. １つ以上の前記発光部を選択的に発光させる制御手段を更に含む、
    ことを特徴とする請求項１７に記載の装置。
19. 前記制御手段は、前記１つ以上の発光部を利用者の凝視の方向に応じて選択する、
    ことを特徴とする請求項１８に記載の装置。
20. 前記制御手段は、前記１つ以上の発光部を前記像変換器による網膜の像の信号の出力に応じて選択する、
    ことを特徴とする請求項１８に記載の装置。
21. 前記像変換器は、網膜の像の信号を毎秒複数回、好ましくは毎秒１０〜５０回出力する機能を持つ、
    ことを特徴とする請求項１〜２０の一に記載の装置。
22. 光源は、前記像変換器の周波数と同期したパルスの形で発光する機能を持つ、
    ことを特徴とする請求項２１に記載の装置。
23. 網膜の像の固有の特徴を強調する（際立たせる）ために網膜の像の信号を処理する手段（処理手段）を更に含む、
    ことを特徴とする請求項１〜２２の一に記載の装置。
24. 前記固有の特徴は、血管を含む、
    ことを特徴とする請求項２３に記載の装置。
25. 前記処理手段は、網膜の像の縁郭（エッジ）を検出する縁郭検出手段を含む、
    ことを特徴とする請求項２３又は２４に記載の装置。
26. 前記記憶される網膜の像の情報は、利用者の網膜マップを含む、
    ことを特徴とする請求項１〜２５に一に記載の装置。
27. 較正ルーチン中に予め前記網膜マップが形成され、該網膜マップは、較正ルーチン中に利用者が装置の視野において予選択された複数の異った場所を見つめ、像変換器が該予選択された複数の場所の各々について網膜の像を形成することにより、前記網膜マップが規定される、
    ことを特徴とする請求項２６に記載の装置。
28. 前記制御可能な機能は、利用者が注視する視野中の部分（点）で焦点が合うようにするための対物レンズのオートフォーカシング及び／又は注視される物体上での（に対する,over）光学装置の運動、である、
    ことを特徴とする請求項１〜２７の一に記載の装置。
29. ２つの光路（立体光路）を持つ装置であって、
    前記制御可能な機能は、利用者の両眼間の距離に関した、対向する接眼レンズ相互間での調節である、
    ことを特徴とする請求項１〜２８の一に記載の装置。
30. 前記制御可能な機能は、装置の視野に光学的に重ねられる表示の内容である、
    ことを特徴とする請求項１〜２９の一に記載の装置。
31. 前記像変換器は、前記センサレンズに関して前記像面と共役をなす面に配置される、
    ことを特徴とする請求項１〜３０の一に記載の装置。
32. 前記装置は、顕微鏡であることを特徴とする請求項１〜３１の一に記載の装置。
33. 前記装置は、カメラであることを特徴とする請求項１〜３１の一に記載の装置。
34. 物体の可視像を形成するための光学装置であって、
    物体の可視像を像面に形成する対物レンズ；
    該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ；及び
    該探知された凝視の方向に応じた、前記光学装置の制御可能な機能の調節手段；
    を含む形式の光学装置において、
    前記視線センサは、
    （i） 利用者の網膜から反射された光をフォーカシングするセンサレンズ；
    （ii） 利用者の網膜の部分の電気的像信号を生成するための、該センサレンズに関して前記像面と共役をなす面に配置される像変換器；
    （iii） 利用者の網膜の像の情報を記憶するメモリ；及び
    （iv） 利用者の眼の凝視の方向を示す凝視情報を生成するために、前記像変換器で生成した網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報とを比較する比較手段；
    を含むことを特徴とする光学装置。
35. 物体の可視像を形成する光学装置であって、
    物体の可視像を像面に形成する対物レンズ；
    利用者が該可視像をそれを通して見ることができる接眼レンズ；
    該可視像を見る利用者の凝視（視線）の方向を該接眼レンズを介して探知する視線（アイ）センサ；及び
    該探知された凝視の方向に応じた、該光学装置の制御可能な機能の調節手段；を含む形式の光学装置において、
    前記視線センサは、
    （i） 利用者の網膜から反射された光をフォーカシングするセンサレンズ；
    （ii） 前記接眼レンズを介して調べる（探知する）ことができる利用者の網膜の部分の電気的像信号を生成するための、利用者が前記可視像を見るときに、利用者の眼の網膜に関して前記像面と共通に共役をなす面に配置される像変換器；
    （iii） 網膜の像の情報を記憶するメモリ；及び
    （iv） 利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器で生成した網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報とを比較する比較手段；
    を含むことを特徴とする光学装置。
36. 物体の可視像を形成するための光学装置であって、
    物体の可視像を像面に形成する対物レンズ；
    該可視像を見る利用者の凝視（視線）の方向を探知する視線（アイ）センサ；及び
    探知された凝視の方向に応じた、前記光学装置の制御可能な機能の調節手段；を含む形式の光学装置において、
    前記視線センサは、
    （i） 利用者の網膜から反射された光をフォーカシングするセンサレンズ；
    （ii） 前記変換器上で前記センサレンズにより結像される利用者の網膜の部分の電気的像信号を生成するための、利用者が前記可視像を見るときに、利用者の眼の網膜に関して前記像面と共通に共役をなす面に位置する像変換器；
    （iii） 網膜の像の情報を記憶するメモリ；及び
    （iv） 利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器で生成した網膜の像の信号を表わす信号と、前記記憶された網膜の像の情報とを比較する比較手段；
    を含むことを特徴とする光学装置。
37. 物体の可視像を形成するための光学装置の操作方法であって、
    物体の可視像を像面に形成するため対物レンズを装備し；
    該可視像を見る利用者の凝視（視線）の方向を探知し；及び
    該探知された凝視の方向に応じて、前記光学装置の制御可能な機能を調節する；
    ステップ（操作段階）を含む形式の操作方法において、
    前記探知ステップは、
    （i） 利用者の網膜から反射された光をフォーカシングするためにセンサレンズを使用し；
    （ii） 利用者の網膜の部分の電気的信号を生成するため、利用者が前記可視像を見るとき、利用者の眼の網膜に関して前記像面と共通に共役をなす面に位置するよう像変換器を装備し；及び
    （iii） 利用者の凝視の方向を示す凝視情報を生成するために、前記像変換器で生成した網膜の像の信号を象徴する信号と、記憶された網膜の像の情報とを比較する；
    ステップを含むことを特徴とする操作方法。

Images