JP6144429B2 - 目追跡のロバスト性を改善するアクティブ照明制御を行う目追跡装置動作方法及び目追跡装置 - Google Patents

Description

本発明は、ユーザの少なくとも一方の目の少なくとも１つの特性を捕捉（記録）するための目追跡（アイトラッキング）装置動作方法及び目追跡装置に関するものである。この目追跡装置は、ユーザの目の画像を捕捉しうる少なくとも１つの撮像装置（捕捉ユニット）と、ユーザの目を照らす（照明する）ことのできる複数の光源と、撮像装置により捕捉された画像を処理しうる処理ユニットと、前記複数の光源をこれらの光度において別々に制御しうる制御ユニットとを具えている。更に、撮像装置は、少なくとも１つの光源が発光している際に第１の画像を捕捉し、処理ユニットはこの第１の画像を処理し、この処理ユニットはこの第１の画像を処理することにより、この第１の画像内で反射が検出されるかどうかを決定する。本発明は更に、ユーザの少なくとも一方の目の少なくとも１つの特性を捕捉するための目追跡装置、特に遠隔式目追跡装置に関するものである。

本発明は、ユーザの目の位置、目の向き及びその他の特性、例えば、瞳孔拡張、眼内距離等を検出及び追跡する装置である目追跡装置との関連で適用されるものである。遠隔式目追跡装置は、特にユーザが目追跡装置に対し且つ、撮像装置と複数の光源を有する照明ユニットとのような目追跡装置の構成部に対し自由に移動しうるように、ユーザと機械的に密着していない目追跡装置である。

従来の技術から知られた目追跡装置、特に遠隔式目追跡装置は通常、１つの撮像装置と２つの赤外線光源、通常のＬＥＤとを用いて、捕捉領域においてユーザの目を見いだすとともに目の視線方向を計算しうるようにする。このことは、虹彩又は瞳の中心や、ユーザの目における光源の反射光、例えば、グリントを検出することにより達成しうる。これらの特徴により視線方向、従って、ユーザが見ている点を推定しうるようにする。

更に、目追跡システムの現在の状態では、画像の捕捉中に絶えずオン状態にされる照明源か、又は画像センサの露出時間窓中にパルス化され、あらゆる実際上の目的に対して同じ効果を達成する照明源が用いられている。更に、追跡品質を高めるために照明源の位置又は照度を調整しうる、従来技術から既知の追跡システムも存在する。

例えば、特開２００５−２１１３２９に開示されているように、特に医療及び認知症の臨床検査の分野において眼球の動きを測定する眼球運動測定装置が知られている。この測定装置は光源及びミラーを有しており、これらの位置を調整して、好ましくは角膜反射光学像が完全な円に近づきうるようにしている。残念なことに、このような方法は、従来の目追跡装置にはあまり適していない。その理由は、処置状態の前提条件が異なる為である。通常、患者は測定中じっとして座っているか固定点を凝視する必要があり、一方、従来の目追跡システムは、ユーザの視線方向における頻繁で高速な変化を何とかして追跡して実時間の目の追跡が得られるようにする必要がある。従って、良好な追跡品質を得るために目の追跡と相俟ってミラー又は光源の位置を変化させるには時間がかかりすぎてしまう。

更に、国際公開パンフレットＷＯ２０１３／１１７９９９Ａ１には、ヘッドマウント（頭部装着式）視線追跡システムが開示されており、この場合、ほぼ中心の位置からの目又は瞳の距離に基づいて光源の光度を修正して、良好な追跡品質を達成するようになっている。同様に、米国特許出願公開ＵＳ２０１３／０１１４８５０Ａ１にも、幾つかの光源を用いて目の全体の照明を達成するヘッドマウント視線追跡システムが開示されている。このようなヘッドマウントシステムは、不都合なことに、遠隔式目追跡の問題に対処できない。その理由は、この遠隔式目追跡中にユーザは目追跡装置に対する、従って光源に対する自分の頭部の位置を変えるおそれがある為である。従って、遠隔式目追跡システムは、極めて大きな追跡角の下での追跡のようなより一層大きな問題に対処する必要がある。更に、ユーザの目が例えばユーザの手により塞がれたりする種々の状態が生じるおそれがある。更に、ユーザが処方用の眼鏡又は他の種類の視覚補助具を装着している場合には特に問題となる。その理由は、これらを装着することにより光源の余分の反射光を生ぜしめ、これにより目の追跡に妨害を及ぼすおそれがある為である。

この問題に対処するために、特開２００５‐２９６３８３には、複数の光源を使用することが提案されており、ユーザの眼鏡からの反射光が画像内で検出された場合には、このユーザの眼鏡からの反射光がもはや検出されなくなるまで赤外線照射方向を予め決定した順序で切換えている。この処置には、眼鏡の反射光がなく、仮にあったとしても許容量の反射光で少なくとも１つの画像が得られる可能性を高めるのに多量の光源が必要となるという欠点がある。従って、目の追跡のためには多数の捕捉画像のうちの数個のみの画像しか用いることができず、これにより追跡品質を極めて低減させるとともに、これと同時に、少なくとも幾つかの使用可能な画像を得るのに多数の光源が必要となるというおそれが大きくなる。

特開２００５−２１１３２９ ＷＯ２０１３／１１７９９９Ａ１ ＵＳ２０１３／０１１４８５０Ａ１ 特開２００５‐２９６３８３

"The Focimeter- Measuring Eyeglass Lenses "（D. Kerr 氏著）（２０１０年１２月７日発行）

本発明の目的は、独立請求項の序文に記載したような目追跡装置動作方法及び目追跡装置であって、目の追跡、特に遠隔式の目の追跡のロバスト性（信頼性）を高めることのできる目追跡装置動作方法及び目追跡装置を提供することにある。

この目的は、独立請求項の特徴事項を有する目追跡装置動作方法及び目追跡装置により達成される。

本発明によれば、光源の少なくとも１つが光を放出している際に第１の画像を捕捉し、処理ユニットがこの第１の画像を処理し、この第１の画像を処理することにより、この第１の画像内に反射光が検出されるか否かを処理ユニットが決定するようにする。更に、少なくとも１つの第１の反射光が検出された場合、この少なくとも１つの第１の反射光の第１の画像内の位置が決定され、少なくともこの第１の画像内の位置に基づいて第１の反射光が分類される。第１の画像が予め規定した品質（画質）基準を満足しない場合には、前記複数の光源を、この複数の光源のうちの少なくとも１つの光源の光度を変えることにより少なくとも分類に依存させて制御する。

本発明は、眼鏡からの反射光のような、目の特性を直ちに捕捉するのに一見したところでは有用でない可能性のある各反射光が、同時に破壊的（disruptive）ではなく、また、目追跡装置が目の少なくとも１つの特性を捕捉するのを阻止するものではないことを見いだすことに基づくものである。本発明によれば有利なことに、反射光を分類する際に画像内における検出された反射光の位置を考慮する為に、本発明によれば反射光が有用であるか否か又は破壊的でさえあるかをより一層良好に評価しうるようになる。例えば、ユーザが装着している眼鏡により生ぜしめられる反射光が依然として目の特性を捕捉画像から決定しうるものである場合には、これらの反射光も原理的に破壊的ではない。従って、目からの反射光又は眼鏡からの反射光のようなどの種類の反射光が画像内で検出されるかを決定する必要があるばかりではなく、これらの反射光の位置がこれらの反射光の分類に対して重要である。これは、検出された反射光のより多くの具体的な分類を可能にし、その結果、複数の光源のより一層明確な制御を可能にする。有利なことに、予め規定した品質基準を満足する画像、例えば、目の特性を捕捉しうる画像である、より一層有用な画像を、一層短い時間で必ずしも多数の光源を用いる必要なく得ることができる。

本発明の有利な例では、前記少なくとも１つの第１の反射光を、少なくとも決定された前記位置に応じて、少なくとも２つの異なる反射光の分類のうちの１つの反射光の分類に割当て、前記第１の画像における検出された前記少なくとも１つの第１の反射光が破壊的反射光の予め決定した定義を満足する場合に、この少なくとも１つの第１の反射光を反射光分類の第１の分類に割当てるとともに、前記第１の画像における前記少なくとも１つの第１の反射光が有用な反射光の予め決定した定義を満足する場合に、この少なくとも１つの第１の反射光を反射光分類の第２の分類に割当てるようにする。このようにすることにより、検出した反射光を画像内のこれら決定された位置に基づいて互いに異なる反射光の分類に容易に割当てることができる。更に、決定された前記位置に加えて他の基準をも用いて反射光を分類する場合も有利である。従って、このように極めて独特で個別の分類を、決定された前記位置に基づいて可能にすることにより、互いに異なる状態を著しく良好に構成しうる。

検出された反射光の位置はユーザの頭部の一部に対して決定するのが好ましい。従って、前記第１の画像内で、ユーザの頭部の一部が識別された場合に、この一部の位置を決定し、検出された前記少なくとも１つの第１の反射光の位置を前記頭部の一部の位置に対して決定するのが本発明の有利な例である。頭部の一部は、例えば、ユーザの鼻又は口や耳のような如何なる部分にもすることができ、或いは頭部境界線等のようなその他の重要で容易に識別可能な部分とすることができる。しかし、反射光の位置は、検出された場合にユーザの識別された目又は目の部分に対して決定するのが好ましい。その理由は、目に対する相対位置を、反射光が破壊的であるか否かを決定するための重要な特徴として用いうる為である。反射光が例えば、ユーザの眼鏡により生ぜしめられた場合には、ユーザの目に対するこの反射光の位置により、この反射光が実際に目の前記少なくとも１つの特性を捕捉するのに破壊的でもあるか否かを決定する。特に、この有利な例は、本発明の更なる例により検出された反射光の以下の分類を可能にする。

この点で、前記少なくとも１つの第１の反射光が、第１の基準、すなわち、
‐検出された前記少なくとも１つの第１の反射光はユーザの目により反射されたものではないと決定されることと、
‐検出された前記少なくとも１つの第１の反射光は、ユーザが装着した眼鏡又はガラスにより反射されたものであることと、
‐検出された前記少なくとも１つの第１の反射光は、予め決定した値よりも大きい寸法を有していることと
の少なくとも１つを満足する場合に、前記少なくとも１つの第１の反射光が破壊的反射光の前記予め決定した定義を満足するようにする。

有利なことに、これらの第１の基準は最初に破壊的反射光の有力候補を見いだすのに役立つ。しかし、これらの第１の基準は破壊的反射光に対する必要条件として見なされるが、当然、十分条件としては見なされない。従って、前記少なくとも１つの第１の反射光が、第２の基準、すなわち
‐検出された前記少なくとも１つの第１の反射光が、前記第１の画像内で前記目の一部、特に前記目の少なくとも１つの特性を決定するのに必要とする一部を塞ぐことと、
‐検出された前記少なくとも１つの第１の反射光が、前記第１の画像内で前記目の瞳を部分的に又は完全に塞ぐことと、
‐検出された前記少なくとも１つの第１の反射光が、前記第１の画像内で前記目の虹彩を部分的に又は完全に塞ぐことと、
‐検出された前記少なくとも１つの第１の反射光が、前記第１の画像内で前記目の強膜を部分的に又は完全に塞ぐことと、
‐検出された前記少なくとも１つの第１の反射光が、前記第１の画像内で前記目の血管を部分的に又は完全に塞ぐことと、
‐検出された前記少なくとも１つの第１の反射光が、前記第１の画像内で前記目のまぶたを部分的に又は完全に塞ぐことと、
‐検出された前記少なくとも１つの第１の反射光が、前記第１の画像内で前記目のまぶたのコーナーを部分的に又は完全に塞ぐことと、
‐検出された前記少なくとも１つの第１の反射光が、前記第１の画像内で、有用な反射光の検出が予期された前記目の一部を塞ぐことと
の少なくとも１つを満足する場合に、前記少なくとも１つの第１の反射光が破壊的反射光の前記予め決定した定義を満足するようにするのが本発明の更なる有利な例である。

従って、これらの第２の基準により、反射光をユーザの目の前記少なくとも１つの特性を捕捉するために破壊的であるものとしてより正確に特定することができる。反射光は、破壊的反射光として分類するために第１の基準のうちの少なくとも１つと第２の基準の少なくとも１つとを満足する必要があるようにするのが特に有利となるであろう。この場合、第２の基準又はこれらの１つを破壊的反射光であるための十分条件として見なすことができる。前述したように、第１の基準は、通常ユーザの目によって反射されず、例えば、眼鏡又はガラスやその他のものにより反射される反射光である破壊的反射光に対する有力候補を最初に見いだす目的に役立つものである。これらの反射光は、例えば、これらの大きさにより容易に識別しうる。その理由は、これらの反射光は代表的に、グリント又はプルキンエ画像のようなユーザの目により反射された反射光よりも著しく大きな寸法を有している為である。しかし、第１の基準の少なくとも１つを満足する各反射光が破壊的反射光として見なされるものではない。このことは、第２の基準により特定されるものであり、この第２の基準によれば、ユーザの目により反射されない検出反射光も実際に、目の特性を決定するために検出する必要がある目の少なくとも一部を塞ぐことにより、目の前記少なくとも１つの特性を捕捉することを複雑にすることが確認される。

第２の基準の１つは、検出された前記少なくとも１つの第１の反射光が第１の画像内で、有用な反射光の検出が予期された目の一部を塞ぐことである。このことは、例えば、第１の画像を捕捉する際に１つよりも多い光源が目を照らすことにより容易に検出しうる。その理由は、このようにすることにより、目により反射される反射光、例えば、グリントを１つよりも多く検出しうる為である。しかし、この第１の画像内で、ユーザが装着した眼鏡によって反射された反射光のみを検出でき、更にこれらの反射光が目のある部分を塞ぐ場合には、これらの反射光が、実際にグリントを検出する必要がある目のこれらの部分を塞いでいると仮定することができる。従って、この場合も、検出された反射光は破壊的反射光として分類しうる。

更に、検出された反射光は、破壊的反射光として分類するのに第１の基準の全てと第２の基準の全てとを満足する必要がないこと明らかである。特に、破壊的反射光を識別するのに第２の基準のうちのどの基準が適しているかは、目のどの特性を目追跡装置により捕捉する必要があるかに強く依存している。例えば、ユーザの目の位置のみを決定する場合には、瞳の一部又は角膜の一部のような目の少なくとも一部を検出すれば充分であり、この場合目により反射されない反射光が完全状態の目を塞ぎ、目及びその位置の検出が不可能となる場合にはこの反射光のみが破壊的である。一方、視線方向を、グリント又はその他のプルキンエ画像の検出に基づいて目追跡装置により決定する場合には、少なくとも１つのプルキンエ画像を検出する必要がある。従って、これらの基準は使用事例自体により選択するのが有利である。更なる例では、第１の基準の任意のサブグループと第２の基準の任意のサブグループとの双方又は何れか一方の実現を、少なくとも１つの第１の反射光を破壊的反射光に対する反射光の分類に割当てるための条件とすることもできる。

本発明の更なる例では、処理ユニットが、第１の画像の処理中にこの第１の画像を解析することにより、第１の基準の少なくとも１つと第２の基準の少なくとも１つとの双方又は何れか一方を検査するようにする。第１の基準に対する検査は例えば、第１の画像内で検出された反射光をその大きさ及び形状の双方又は何れか一方に関して解析することにより行うことができる。反射光の決定された位置も考慮して、例えば、特に検出された反射光が検出された目の境界からある距離となっている場合には、この検出された反射光はユーザの目により反射されていないことを決定することができる。第２の基準を検査する場合、最初に瞳、虹彩、強膜、等のようなユーザの目の部分を処理ユニットにより決定し、検出された反射光の位置をこれらの目の部分に対し決定することができる。第１の画像を解析することにより、目の部分を決定しえない場合には、検出された反射光が目又は少なくとも決定しえない目の部分をおそらく塞いでいるものと仮定することもできる。従って、破壊的反射光の検出は極めて容易に且つ有効に行うことができる。同様に、有用な反射光の分類を実行しうる。

有用な反射光を分類する極めて簡単な方法は、例えば、検出された少なくとも１つの第１の反射光が破壊的反射光として決定及び分類されないか、又はこれら決定及び分類の一方が達成されない場合に、この第１の反射光が有用な反射光の予め決定した定義を満足するとした方法である。この場合、処理ユニットのみによりこれらの第１及び第２の基準を検査すれば充分であり、この検査の結果に基づいて、検出された反射光が有用であるか又は破壊的であるかに分類しうる。しかし、有用な反射光の定義をより詳細に行って、光源の制御をより詳細にするようにすることもできる。

従って、検出された前記少なくとも１つの第１の反射光が破壊的反射光として決定されないか又は分類されないか或いはこれらの決定及び分類の双方が達成されず、且つ第３の基準、すなわち
‐検出された前記少なくとも１つの第１の反射光が、グリント又はプルキンエ画像であり、特に前記目の角膜の外側表面と、前記目の角膜の内側表面と、前記目のレンズの前面と、前記目のレンズの後面との何れか１つ又はこれらの任意の組合せからの反射光であることと、
‐検出された前記少なくとも１つの第１の反射光が、前記目の強膜により反射されたことと、
‐検出された前記少なくとも１つの第１の反射光が、前記目のまぶたにより反射されたことと、
‐検出された前記少なくとも１つの第１の反射光が、前記目及びまぶたとは異なるユーザの顔の部分、特に前記目から最大距離内の顔の部分により反射されたことと、
‐検出された前記少なくとも１つの第１の反射光が、ユーザが装着した眼鏡のガラス前面及び後面の双方又は何れか一方により反射されたものであることと
の少なくとも１つを満足する場合に、この少なくとも１つの第１の反射光が有用な反射光の定義を満足するようにするのが本発明の有利な例である。

この場合も、反射光を有用な反射光として分類するのに第３の基準の全てが満足されるようにする必要はない。前述したように、このことは、使用事例や、目のどの特性を目追跡装置により決定する必要があるかに強く依存する。視線方向を決定するためには、プルキンエ画像が重要な役割を奏する。特に、４つのプルキンエ画像、すなわち目の角膜の外側表面と、目の角膜の内側表面と、目のレンズの前面と、目のレンズの後面とからの反射光があり、ここで第１のプルキンエ画像もグリントと称される。しかし、強膜又はまぶたにより且つ顔の部分によっても反射される反射光のような、目の他の部分からの反射光も、例えば、カメラに対するユーザの顔又は頭部の位置を決定したり、画像内のユーザの目の位置を決定又は検出したりするのに用いることができる。後に説明するように、ユーザが装着している眼鏡により反射された反射光も、非破壊的としてばかりではなく、有用でもあると分類しうるという事実が特に有利なことである。

処理ユニットは、第１の画像を処理するに当り、第３の基準の少なくとも１つを検査するようにするのが好ましい。その結果に基づいて、検出された反射光が有用であるか否かを容易に決定しうる。更に、この検査は、この場合も画像内の検出された反射光をその大きさや、その幾何学的構成や、勿論であるが目又は目の部分に対するその位置に関して解析することにより行うことができる。

検出された反射光のこの詳細な分類に基づけば、検出された１つの反射光の分類に依存して、特に１つよりも多い反射光が第１の画像内で検出された場合には、検出され且つ分類された反射光に別々に依存して、複数の光源を対応制御することにより、目の追跡のロバスト性を極めて高くすることができる。

従って、少なくとも１つの光源の光度を変えることにより、複数の光源を分類に依存させて制御する場合、これらの複数の光源は、前記少なくとも１つの第１の反射光が破壊的反射光の予め決定した定義を満足する場合に、この少なくとも１つの第１の反射光を除去するか、又は有用な反射光の予め決定した定義を満足する少なくとも１つの第２の反射光を第２の画像内に生ぜしめるか、或いはこれらの双方を達成させるように制御されるようにするのが、本発明の有利な例である。これにより、特に第１の画像に続く第２の画像を極めて有効に生ぜしめ、これにより特に、予め規定した品質基準を満足するようにすることができ、このことは、これらの第２の画像がもはや如何なる破壊的反射光をも有さず、目の前記少なくとも１つの特性を決定するのに充分な品質を有する有用な反射光が、これらの第２の画像内に生じることを意味しうる。

更に、検出された前記少なくとも１つの第１の反射光が、破壊的反射光の定義も有用な反射光の定義も満足しない場合には、この少なくとも１つの第１の反射光が、中立の反射光として分類されるとともに第３の反射光の分類に割当てるようにするのが有利である。これにより更に、光源の制御をより一層区別化させることができる。

更に、検出された前記少なくとも１つの第１の反射光が、破壊的反射光又は中立の反射光として分類される場合には、前記複数の光源のうちの少なくとも１つの光源を、この破壊的反射光又は中立の反射光を生じる光を放出したものとして決定し、この決定された少なくとも１つの光源の光度を低減させるか又は特に第２の画像を捕捉するためにこの決定された少なくとも１つの光源をスイッチオフさせるようにすることができる。光源の光度を低減させることには一般に、光源を完全にスイッチオフさせる場合も含みうるものである。これにより、特に対応する光源をスイッチオフさせる場合に、破壊的反射光を容易に除去しうる。電力の節約のためには、中立の反射光を生じる光源をスイッチオフさせるか、又は少なくともこれらの光度を低減させるのも有利である。ある状況の下では、破壊的反射光を生じる光源をスイッチオフさせずに、例えば、この光源が破壊的反射光及び同時に他の有用な反射光を生じると決定された場合に、この光源の照度をスイッチオフとは異なる照度に低減させるだけにし、従って、この光源の照度をスイッチオフとは異なる照度に低減させることにより、第１の画像における破壊的反射光が第２の画像内の中立の反射光として現れ、この光源により生ぜしめられる有用な反射光は依然として少なくとも一方の目の少なくとも１つの特性を決定するのに用いうるようにするのも好ましいこととしうる。このことは、中立の反射光と有用な反射光とを同時に生ぜしめる光源の制御にも同様に適用しうる。この場合、電力の節約のために中立の反射光を除去するのに対応する光源をスイッチオフさせない。その理由は、これらの光源により生ぜしめられる有用な反射光がより一層重要である為である。要するに、光源が破壊的反射光及び中立の反射光の双方又は何れか一方を生じるものと決定された場合に、しかしこの光源が同時に有用な反射光を生じると決定されない場合のみ、この光源をスイッチオフさせるか、又は少なくともこの光源の光度を低減させる。

更に、検出された前記少なくとも１つの第１の反射光が有用な反射光として分類されるとともに、前記予め規定した品質基準が満足されない場合には、少なくとも１つの品質特徴が前記第１の画像から取出されるとともに、前記複数の光源のうちの少なくとも１つの光源が、前記有用な反射光を生ぜしめた光を放出したものとして決定され、この決定された少なくとも１つの光源の光度を、第２の画像を捕捉するために、取出された前記品質特徴に依存して変化させるようにする。換言すれば、有用な反射光が検出された場合に、第１の画像に更なる画像分析を行い、この有用な反射光を生じた光源をその光度において如何に制御するかを決定するようにしうる。第１の画像の品質、特に識別された有用な反射光の品質が、目の少なくとも１つの特性を捕捉するのに充分に良好である場合には、光の構成又は光源の光度を変える必要はないこと勿論である。しかし、この品質が充分に良好でない場合には、画像品質を最適にするように光源を制御することができる。この目的のために、第１の画像を解析し、例えば、検出された有用な反射光が充分な飽和度を有しているか否かを、又はこれらの反射光が充分に大きいか否かを、又はこれらの反射光が過飽和しているか否かを決定しうるようにする。１つよりも多い有用な反射光が検出される場合には、以下に説明するように、これらの有用な反射光の相互間の距離をも決定しうるようにする。検出された有用な反射光が充分に飽和していないか又は充分に明るくないか、或いはあまりにも小さすぎる場合には、対応する光源の光度を高めるようにしうる。検出された有用な反射光が過飽和となる場合には、それぞれの光源の照度を低減させる。これにより、本発明は破壊的反射光を除去しうるばかりではなく、画像品質を、従って、追跡品質をも著しく改善しうるようにもなる。

他の例においては、目により反射されたものとして決定された少なくとも２つの第１の反射光が検出され、従って、これら第１の反射光を有用な反射光として分類しうるとともに、前記少なくとも２つの第１の反射光が予め決定された値よりも小さい相互間距離を有することが決定された場合に、これら少なくとも２つの反射光を生じる光を放出した光源を決定し、この決定された光源の少なくとも１つの光度を変化させ、特にスイッチオフさせるようにする。更に、第１の画像を捕捉する際に起動されていない光源（非アクティブ光源）が有用な反射光を生じるものと予期される場合に、第２の画像を捕捉する為にこの光源をスイッチオンさせる。換言すれば、２つ以上の有用な反射光が互いに近づきすぎる場合には、制御ユニットにより異なる光源の構成に切換え、更なる画像内で得られる有用な反射光が互いに更に離間されるようにする。他の構成に切換える前に、目追跡装置により、新たな光源の構成が更に離間する反射光を生じることが予期され得るか否かを検査することができ、予期しうる場合のみ新たな光源の構成に切換えるようにする。

本発明の更なる例では、有用な反射光、特に角膜の内面及び外面の双方又は何れか一方により反射される反射光を生ぜしめるために、前記複数の光源のうちの少なくとも１つの非アクティブ光源を決定し、この決定された光源を第２の画像を捕捉するためにスイッチオンさせるようにする。ここで非アクティブ光源とは、第１の画像を捕捉する際に起動されずに光を放出しなかった光源を意味する。従って、本発明によれば、第１の画像内で検出された反射光を生じた光源を決定しうるようにするばかりではなく、どの光源が有用な反射光を生ぜしめるかを予測するようにもすることもできる。この予測は例えば、特に検出された前記少なくとも１つの第１の反射光の位置に基づいて第１の画像を解析することにより行うことができる。更に、この光源を決定するためには、目のモデルと、ユーザの顔のモデルと、ユーザが装着した眼鏡のモデルと、複数の光源の、特に相対的な所定の位置と、撮像装置の、特に各光源に対する所定の位置との何れか又はこれらの任意の組合せを用い且つ考慮することができる。更に、撮像装置及び光源に対するユーザ、ユーザの顔及びユーザの目の何れか又はこれらの任意の組合せの位置を、第１の画像及び上述したモデルからの情報に基づいて決定しうる。換言すれば、有用な反射光を生じるものと予期される光源を、幾何学的条件に基づいて、特に複数の光源の相対的位置や、これら光源の撮像装置、例えば、カメラに対する位置や、撮像装置及び複数の光源に対するユーザの頭部の配置の幾何学的相関関係に基づいて、且つ目のモデルに基づく反射作用に基づいて決定しうる。同様に、第１の画像内に反射光を生ぜしめた光源も決定しうる。

更に、有用な反射光を生じるものと予期される光源は、検出された前記少なくとも１つの第１の反射光を生じる光を放出するものと決定された光源の位置に基づいて決定することができる。従って、第１の画像内で反射光が検出され、この反射光を生じた光源が決定された場合には、他の全ての光源に対する既知の相対位置を、第１の画像を捕捉する際に非アクティブであり有用な反射光を生じるものと予期される光源を決定する追加の情報として用いうるものである。従って、捕捉された画像や目追跡装置の既知の幾何学的構成から沢山の情報を取出すことができ、これらの情報を用いて第１の画像を捕捉する際に何れの光源がアクティブであったかや、どの反射光が第１の画像内で検出されたかや、第１の画像を捕捉する際に非アクティブであった光源のうちのどの光源が有用な反射光を生じるものと予期されるかを決定することができ、従って、この解析に基づいて、最大の画像品質を生ぜしめるのに如何なる照明構成が予期されるかを予測でき、これに応じて制御ユニットが光源を制御しうるようになる。

このように光源を対応する反射光や反射光の位置に割当てるのを更に強化するためには、複数の光源の各々が互いに異なる特有の特徴を有し、この特有の特徴は、特有の波長スペクトルを有する光を放出するこれら複数の光源の各々により提供されるか、又はそれぞれ独特の形状を有する放出領域から光を放出するように構成されたこれら複数の光源の各々により提供されるか、或いはこれらの双方により提供され、これら光源の独特の形状は互いに異ならせるようにするのが本発明の有利な例である。更に、処理ユニットは、この特有の特徴を用いて、検出された前記少なくとも１つの第１の反射光を放出する光源を決定するようにするようにする。これにより、処理ユニットは、どの光源が如何なる放出特性を有しているかを知るようになる。従って、特有の放出特性を用いて特有の反射光を生じる光源を識別することができる。

他の可能性としては、ステップｆ）において、前記複数の光源のうちの１つの光源をスイッチオンさせ、第２の画像を捕捉し、この第２の画像を第１の画像と比較し、この第２の画像内の第２の反射光がこの第１の画像内に存在しなかった第２の位置で決定された場合に、前記１つの光源を、この第２の反射光を生じる光を放出するものとして決定することにある。このようにすることにより、どの光源がどの反射光を生じるかを容易に識別しうるようになる。

同様に、他の例は、ステップｇ）において、前記複数の光源のうち、少なくとも１つの前記第１の画像を捕捉する際に光を放出した１つの光源を、第２の画像を捕捉するためにスイッチオフさせ、この第２の画像を捕捉し、この第２の画像を前記第１の画像と比較し、この第２の画像内の反射光がこの第１の画像に比べて消滅されている場合には、前記１つの光源を、この第２の画像内で消滅された反射光をこの第１の画像内に生ぜしめる光を放出したものとして決定することにある。この場合もこのようにすることにより、生ぜしめられた反射光に光源を容易に割当てることができる。

本発明の更なる有利な例では、どの光源がどの反射光を、特に第１の画像及びその後に捕捉された画像内のどの位置で生じ、従って更なる画像においても、どの光源がどの反射光を、特にどの反射光の分類の反射光を生じたかが完全に決定されるまで、後続の一連の捕捉画像に対して、特に複数の光源の各々に対して、ステップｆ）及びｇ）の双方又は何れか一方を繰返すようにすることができる。

換言すれば、光源をオンにしたりオフにしたりするのを互いに切換えることにより、どの光源がどの反射光に対応するかをも識別しうる。その理由は、対応する反射光が光源に対応して現れるか又は消滅する為である。この方法は、光源をこれらの対応する反射光に割当てるための極めてロバスト性のある方法であるが、一方、この種類の割当てを実行するにはより多くの画像を捕捉する必要がある。従って、光源をこれらが生じるこれらの対応する反射光に、又は特に他の画像を捕捉するために異なる光源の構成を設定する前に上述したように第１の画像の解析に基づく予測により生じるものと予期されるこれらの対応する反射光に割当てることは極めて有利で好ましいことである。割当を行う双方の方法を組合せることもでき、例えば、最初に処理ユニットにより予測を行い、この予測が、特定の反射光を生じる光源を識別しうるという目的又は有用な反射光を生じることが予期される光源を識別しえないという目的に達しない場合に、光源を対応する反射光に割当てるためにこれらの光源をスイッチオン又はスイッチオフさせることができる。

従って、第１の画像の解析及びこの第１の画像内の複数の反射光の位置から、どの光源がどの反射光を生じたかを一義的に決定しえない場合のみ、ステップｇ）及びｆ）の双方又は何れか一方を実行するとともに特に上述したように繰返す。

更に、少なくとも２つの反射光が、ユーザが装着するガラスにより反射されたものとして検出された場合には、ユーザの顔に対するガラスの位置を、検出されたこれらの少なくとも２つの反射光及びこれらの決定された位置に基づいて決定しうる。この場合、ユーザのガラスにより反射された反射光は破壊的なものとして分類されず、逆に、これらの反射光は、ユーザの顔に対するガラスの位置を決定するのに用いうるものとして有用でもある。従って、このことにより、非アクティブな光源のうちのどの光源が有用な反射光を生ぜしめるものとして予期でき、どの光源が予期できないかを予測するのに用いうる情報を提供する。

更に、ユーザのガラスによる反射光を極めて有用なものとしうる他の場合もある。すなわち、検出された少なくとも１つの第１の反射光が、ユーザが装着するガラスから反射されたものとして決定されたが、破壊的反射光として分類されない場合には、少なくとも１つの第１の反射光の位置に基づいてガラスの特性、特にガラスの屈折力が決定される。これにより、個人個人の眼鏡類に関する特性を決定しうる。特に、眼鏡類のレンズの屈折力及び曲率を評価及び推定するのに、この眼鏡類のレンズの前面及び後面で生じる検出反射光を用いうるようになる。更にこの情報は、特にガラスの決定された特性を用いてユーザの目の少なくとも１つの特性を決定することにより、追跡品質をより一層高めるのに用いることができる。例えば、ガラスの屈折力及び曲率に関する情報を用いて視線の推定を補正することができる。これにより、ユーザが装着した眼鏡により反射された反射光は目追跡品質を高めるのにも寄与しうる。これと同じことが、ユーザが装着するコンタクトレンズに対して当てはまる。

更に、ユーザの頭部及び目の双方又は何れか一方に対する目追跡装置の空間的定位を決定する加速度計、磁力計及び姿勢センサの何れか又はこれらの任意の組合せにより得られる入力信号を処理することにより、複数の光源のうち、破壊的な又は有用な又は中立の反射光を生じるか又は生じるものと予期されるか或いはこれらの双方を達成する光源を決定するのが有利である。これにより、目追跡装置の動作の正確性及びロバスト性を更に高めることができる。

更に、複数の光源のうちの少なくとも１つの光源が光を放出している際に撮像装置が第２の画像を捕捉し、処理ユニットにより第１の画像とこの第２の画像とを比較し、この第１の画像内で少なくとも１つの第１の反射光が有用な反射光として検出されるとともに、この第２の画像内では前記少なくとも１つの第１の反射光の決定された位置で反射光が検出されない場合には、第１の画像内で検出された有用な反射光に基づいて、有用な反射光を生じるものと予期される光源を決定し、第３の画像を捕捉するためにこの決定された光源をスイッチオンさせる。例えば、光源と目との間の経路が物体、例えば、ユーザの腕により塞がれる状態が生じるおそれがある。依然として目を見ることができるが一方又は双方の目において１つの反射光が失われており、このことを第１及び第２の画像を比較することにより決定しうる状態では、システムにより代わりの光源の組合せに切換えることを決定することができ、例えば、第２の画像内では失われた第１の反射光を生じた光源をスイッチオフさせ、その代り有用な反射光を生じるものと予期される他の光源を決定し、この光源をスイッチオンしうるようにする。これにより、極めて困難な追跡状態でも追跡品質を高めることができる。一般に、第２の画像は第１の画像後に捕捉される如何なる画像にもすることができるが、第２の画像は第１の画像後に続いて、これらの間で画像を捕捉することなく、捕捉する画像とするのが好ましい。このことは、第３の画像及び第２の画像の時間的関係に対しても同様に適用される。

ユーザの少なくとも一方の目の少なくとも１つの特性を捕捉する本発明による目追跡装置は、ユーザの前記少なくとも一方の目の画像を捕捉しうる少なくとも１つの撮像装置と、ユーザの前記少なくとも一方の目を照射しうる複数の光源と、前記撮像装置により撮像された画像を処理しうる処理ユニットと、前記複数の光源をこれらの光度において別々に制御しうる制御ユニットとを具える。更に、前記撮像装置（捕捉ユニット）は、前記複数の光源のうちの少なくとも１つの光源が光を放出している際に第１の画像を捕捉することができる。更に、処理ユニットは、第１の画像を処理することができるとともに、この第１の画像を処理することにより、この第１の画像内で反射光が検出されるか否かを決定することができる。少なくとも１つの第１の反射光が検出された場合、処理ユニットは更にこの少なくとも１つの第１の反射光の、第１の画像内の位置を決定することができる。又、処理ユニットは少なくともこの第１の画像内の位置に基づいて第１の反射光を分類することができるとともに、第１の画像が予め規定した品質基準を満足するか否かを検査でき、第１の画像がこの予め規定した品質基準を満足しない場合には、制御ユニットは複数の光源うちの少なくとも１つの光源の光度を変えることにより少なくとも分類に依存させて複数の光源を制御することができる。

本発明による目追跡装置動作方法に関して上述した好適例及びこれらの利点は、本発明による目追跡装置にも同様に適用される。特に、本発明による目追跡装置動作方法及びその例の上述したステップは本発明による目追跡装置の更なる例を構成する。

以下では、本発明の有利な実施例を、添付図面を参照して詳細に説明する。

図１は、眼鏡を装着しているユーザの目を複数の光源で照らしている場合のこのユーザの目の画像を示す線図である。 図２は、ユーザが装着している眼鏡から反射された破壊的反射光が有効な反射光を塞ぐ場合に、本発明の実施例により目追跡装置の光源を制御する方法を示す線図である。 図３は、検出された有効な反射光が互いに接近しすぎている場合に、本発明の他の実施例により目追跡装置の光源を制御する方法を示す線図である。 図４は、本発明の更に他の実施例による目追跡動作方法を示す線図である。 図５は、本発明の更に他の実施例による目追跡動作方法を示す線図である。 図６は、眼鏡を装着しているユーザの目の画像であって、眼鏡のガラスから反射された種々の反射光を示している画像を示す線図である。 図７は、ユーザの眼鏡のガラスにおける目追跡装置の光源の光の反射であって、光が眼鏡のガラスから異なる３方向に反射している状態の反射光を示す線図である。

本発明は、カメラのような少なくとも１つの撮像装置と、複数の光源とを有する遠隔式目追跡装置に基づくものである。これらの光源は、スイッチオンされるとユーザの目、顔又はガラス（眼鏡のガラス）において反射され、カメラ画像内に明るい反射光のスポットとして現れる。この明細書における用語の反射光とは一般に、隣接領域のレベルよりも高い、特に予め決定した値よりも高い輝度レベルを有する画像内の連結領域として規定された反射光に対し用いられており、この反射光及び隣接領域間の境界区域も予め決定した値よりも大きい輝度の勾配を有している。これらの反射光がユーザの目内に生じた場合に、これらの反射光（グリントと称する）を用いてユーザの目の位置及び視線方向を決定することができる。目の数個の層内での光源の反射光（プルキンエ反射光）も目の位置及び形状を決定するのに役立つ。

しかし、必ずしも全ての反射光がシステムにとって有用なものではない。その理由は、反射光はシステムを混乱させるか、画像を露出過多とするか、又はグリント或いは目の部分を覆うおそれがある為である。特に、グリント、瞳、虹彩、強膜、血管、まぶた又はまぶたのコーナーの全体又は一部を覆う反射光は、視線の推定のロバスト性及び正確度に悪影響を及ぼす為に破壊的とみなされている。これらの破壊的反射光は、しばしば図１に示すように光源からの光をカメラ内に反射させるガラスにより生ぜしめられる。

図１は、目追跡装置の複数の光源により眼鏡１２を装着しているユーザの目１０を照射している際のこれらの目１０の画像を示す線図である。これにより、光源は目の上に反射光を、特にユーザの眼鏡１２のガラス１２ａの上にグリント及び反射光１６を生ぜしめる。

本発明は、これらの破壊的反射光に対処する方法である。システムは、どの反射光が有用であり、中立（ニュートラル）であり又は破壊的であるかを決定する制御ユニットを具えている。一般には、例えば、グリント１４を覆うか、又は瞳１８、虹彩２０、強膜２２、血管、まぶた２４又はまぶたのコーナー２６のある部分を妨げることにより破壊的反射光を生じる光源をスイッチオフさせるか又はこれらの光源の光度を低減させる。随意ではあるが、有用な反射光を生じない光源はスイッチオフさせるか、又はこれらの光源の出力を低減させる。更に、システムは、光源により有用な反射光を生ぜしめることを予期して光源をスイッチオンさせるか又はその光度を高める。しかし、反射光の分類に応じて光源を制御することは、図４及び５に関して説明するように、より詳細に行うことができる。

図２は、破壊的反射光１６ａが検出された場合に目追跡装置３０を如何に動作させることができるかを示している。ガラス１２ａを装着するユーザは追跡を困難にする。その理由は、光源３４の光が眼鏡１２のガラス１２ａの表面又は縁から反射される為である。これらの反射光は、これらがグリント１４を覆わない限り処理することができる。ガラス１２ａの反射光が目１０の反射光を覆うか又はこの目１０の反射光に近づく場合には、本発明の有利な実施例によれば、異なる組の光源３４を用い、従って、ガラス反射光を除去するか又は少なくともガラス反射光をグリント１４から移動させるようにすることができる。

この目的のために、目追跡装置３０は、撮像装置３２と、複数の光源３４この例では４つの光源３４と、撮像装置３２により捕捉された画像３６ａ及び３６ｂを処理する処理ユニットとを具える。

一般に、光源３４は例えば、ＬＥＤとすることができる。更に、光源３４は赤外線光を、特に赤外光のみを放出しうるようにでき、撮像装置３２、例えば、カメラは赤外光を、特に赤外光のみを捕捉するようにしうる。これに代えて又はこれに加えて、光源３４が可視波長領域内の光を放出するようにでき、特に光源３４の幾つかが可視領域内と赤外領域内とで発光するようにでき、撮像装置３２は可視領域内の光を検出するようにしうる。更に、目追跡装置３０は予め規定した捕捉区域を有し、特にこの捕捉区域は、撮像装置３２が画像を捕捉しうる領域として規定する。更に、光源３４は、これらが目追跡装置３０の捕捉区域内にユーザの目を照射しうるように配置する。

更に、目追跡装置３０は、光源３４をこれらの光度において別々に制御する、特に捕捉した画像３６ａ及び３６ｂの解析結果に基づいて異なる照明構成に切換える制御ユニットを具える。図２における左側部分には、特に２つの光源３４が目１０を照らしている間に捕捉された捕捉画像３６ａの線図を示してある。この画像３６ａでは、ユーザの眼鏡１２により反射された２つの反射光１６ａ及び１６ｂと、ユーザの目１０により反射された１つの反射光１４とを検出しうる。この場合、ユーザの眼鏡１２により反射された一方の反射光１６ａが目１０の重要な部分を、特に他のグリント１４が予期される部分を塞いでいる。この左側の反射光１６ａは、特に眼鏡１２から反射されたものとして識別される反射光１６ａの大きさに基づき且つ特にユーザの目１０に対する画像３６ａ内のこの反射光の位置に基づいて、目追跡装置３０により破壊的反射光として決定することができる。この場合、目追跡装置は、この第１の画像３６ａを捕捉する際に起動されている光源（アクティブ光源）３４の１つを、破壊的反射光１６ａを生じる光を放出するものとして決定する。その後、この光源３４をスイッチオフさせ、これにより破壊的反射光１６ａを除去し、第１の画像３６ａを捕捉する際に非アクティブ光源３４の他の１つをスイッチオンさせ、これにより、図２の右側における第２の画像３６ｂから分かるように他の反射光１４を、すなわち他のグリント１４を生ぜしめる。これにより、データ品質を高めることができる。

本発明の大きな利点は、検出された反射光が画像３６ａ及び３６ｂにおけるこれら反射光の位置、特にユーザの検出された目１０に対するこれら反射光の位置に基づいて分類されるということである。画像内の反射光の位置及び目又は目の部分の位置は例えば、それぞれｘ及びｙ座標として決定しうる。撮像装置３２からの距離、すなわちｚ座標も画像３６ａ及び３６ｂから、例えば、角膜輪部（limbus）の長軸及び短軸又は眼球半径のような、動的に変化しない目の特徴の画像内の寸法から取出すことができる。

これにより、画像３６ａ及び３６ｂを捕捉し、これらの画像３６ａ及び３６ｂ内にユーザの眼鏡１２により反射された反射光１６ｂ及び１６ｃが存在する場合でも、目１０の少なくとも１つの特性を決定するのにこれらの画像を用いるようにすることができる。

従って、反射光を破壊的反射光として分類するための重要な基準は、反射光がユーザの目１０により反射されないということのみではなく、この反射光がユーザの目１０の重要な部分を塞ぐということでもある。更に、ユーザの眼鏡１２により反射された反射光は目追跡品質を更に高めるのにも用いることができる。ユーザの眼鏡１２により反射された光源３４の反射光は、ユーザが装着しているガラス１２ａの特性に関する情報を提供する。これらの情報により、ガラス１２ａの各区域における曲率及び屈折特性の推定を行い、続いてこの情報を用いて、決定された目１０の位置及び視線方向を補正することができる。従って、これに加えて、個々のガラス１２ａ又は眼鏡１２に対して、目追跡装置３０がガラス１２ａ上の非破壊的反射光を用いて個々の眼鏡類に関する幾つかの特性を決定する。又、レンズの前面及び後面で生じる反射光を用いてこれらの屈折力及び曲率を評価及び推定し、この情報を用いて視線の推定を補正する。このことは、図６及び図７を参照して後述する。

図３は、本発明の他の実施例による目追跡装置３０の動作方法を示す線図である。目追跡装置は、図２につき前述したのと同じ構成要素を有している。この場合、撮像装置３２により第１の画像３６ａが捕捉され、この画像は眼鏡のないユーザの目１０を示している。目追跡装置３０とユーザとの間の距離が増大すると、ユーザの目１０の画像内の互いに異なるグリント１４の反射光間の距離は減少する。ある個所では、図３の左側部分における第１の画像３６ａにより示す個々の反射光１４を識別するのが困難であるか又は不可能でもある程度に、これら反射光１４は互いに接近するように移動する。目追跡装置３０はこのことを検出するとともに異なる組合せの光源３４に切換え、反射光１４の距離を大きくしてカメラ３２内で見うるようにすることができる。このことは、図３の右側部分における第２の画像３６ｂにおいて見ることができる。従って、上述したように、検出された有用な反射光１４の位置に応じて光源３４を制御することにより、追跡範囲を有利に拡張することができる。

更に、本発明によれば、他の困難な状態に対処することを可能にする。例えば、本発明によれば、最大の回転角の下での目の追跡を強化する。ある状態では、ユーザがカメラ３２の方向に向かずに、頭部を著しく回転しうるようにする場合がある。この状態では、目追跡装置３０は、カメラの何れかの側にある１つの光源３４を用いる場合よりもカメラ３２の一方の側にある複数の光源３４を用いることから効果を得ることができる。この効果は、例えば、鼻により塞がれるおそれが低減され、且つ光源３４と、目１０と、カメラ３２との間の鋭角性が低減することにより生じる。この場合、撮像装置３２は第１の画像を捕捉することができ、この画像を処理ユニットにより解析することにより、検出された反射光を画像中のこれらの位置に基づいて分類することができる。この画像が、頭部を著しく回転させた場合とすることができる予め決定した品質基準を満足しない場合には、有用な反射光を生じることが予期される光源３４を決定することができる。これらの光源３４を決定するためには、沢山の情報、例えば、検出された反射光の位置、これらの反射光を生じた光源３４の位置、光源３４及びカメラに対する頭部の位置、カメラの位置自体、目１０のモデル又は顔のモデル、等を考慮することができる。これにより、システムは目追跡品質を高める照明構成を自動的に選択することができる。

更に、再構成の正確性を高めることもできる。反射光の大きさは小さい為に、目１０内の反射光の輪郭はある程度の正確度まで得られるだけである。追加の光源３４によれば、それぞれの目１０内でより多くの反射光を得ることができる。これにより、再構成の正確性を高める可能性のある追加の情報によりグリント１４を検出する目追跡装置３０が得られる。このことは、反射光及びこれら反射光の位置の検出と、反射光の位置に基づくこれら反射光の分類と、それぞれの反射光を生じる光源の決定と、有用な反射光を生じるものと予期される光源３４の決定とによっても可能となる。これにより、破壊的反射光を生じることなく目１０を照らす光源３４の個数を最大としうる。

更に、遠隔式の目追跡装置を用いる場合には、光源３４と目１０との間の経路が物体、例えば、ユーザの腕により塞がれる状態が生じるおそれがある。依然として目１０を見ることができるが一方又は双方の目１０において１つの反射光が失われている状態では、目追跡装置３０は代わりの光源の組合せに切換えることを決定しうる。このことは、例えば、撮像装置３２により捕捉された順次の画像を比較することにより達成しうる。第１の画像において、ある位置における有用な反射光が検出されるが、順次の画像においてはこのある位置における有用な反射光がもはや検出されない場合には、目追跡装置は、第１の画像において有用な反射光を生ぜしめた光源をスイッチオフさせ、これに代えて他の有用な反射光を生じるものと予期される他の光源をスイッチオンさせることを決定しうる。

従って、破壊的反射光を阻止し有用な反射光を生ぜしめるために、何れの光源３４をスイッチオンさせ、これらの光度をある時間で変えるかを積極的に且つ動的に制御することにより、追跡品質及び追跡ロバスト性を、多くの異なるしかも困難な状態で高めることができる。

図４は、本発明の実施例による目追跡装置３０の動作方法を示す線図である。この方法は、撮像装置によりユーザの第１の画像を目追跡装置３０の捕捉領域で捕捉された場合にステップＳ１０で開始される。次のステップＳ１２では、処理ユニットにより第１の画像を処理し、処理ユニットは、この第１の画像の処理により、反射光が第１の画像内で検出されるか否かを決定する。ステップＳ１４において、第１の画像内で少なくとも１つの初期反射光が検出された場合に、動作方法はステップＳ１６に進んで、この第１の画像内のこの少なくとも１つの反射光の位置が決定される。これにより、検出された場合のユーザの目１０の位置も又はユーザの目１０の少なくとも一部も決定され、この少なくとも１つの反射光の位置はユーザの目１０の位置に対して決定される。その後、ステップＳ１８において、初期反射光が少なくとも第１の画像における位置に基づいて分類される。更に、この初期反射光は、ユーザの目１０により反射された反射光とユーザの目１０により反射されなかった反射光との間を識別しうるこの初期反射光の大きさ又は形状に基づいても分類することができる。好ましくは、少なくとも３種類の異なる反射光の分類、すなわち、破壊的反射光に対する分類と、有用な反射光に対する分類と、中立の反射光に対する分類とがあるようにする。検出された反射光がユーザの目１０により反射されておらず、又は特にユーザが装着した眼鏡１２により反射されたことが決定され、このことが例えば、検出された反射光の大きさにより決定しうる場合で、更に、同時にこの反射光が、目１０の少なくとも１つの特性、例えば、瞳１８、虹彩２０、強膜２２、血管の重要な部分を、又はまぶた２４或いはまぶたのコーナー２６の重要な部分をも含む目１０の重要な部分を塞ぐことを決定する場合には、この検出された反射光を破壊的反射光に対する反射光の分類に割当てることができる。更に、反射光がグリント１４であるか又はプルキンエ画像であるか或いは強膜２２により反射されたものである場合には、反射光は有用な反射光に対する反射光の分類に割当てるのが好ましい。検出された反射光が目１０のまぶた２４により反射されたものであるか、特に目１０の領域内でユーザの顔の部分により反射されたものである場合、或いは、たとえ検出された反射光が破壊的反射光として分類されず且つユーザが装着した眼鏡１２のガラス１２ａにより反射され、この検出された反射光を個人の眼鏡類のある特性を決定するのに用いうる場合でも、この検出された反射光を有用な反射光として見ることもできる。他の全ての反射光は中立の反射光として分類しうる。

従って、ステップＳ１８において、決定された反射光が分類されると、ステップＳ２０において、目追跡装置３０は、第１の画像が予め規定した品質基準を満足しているか否かを検査する。この品質基準は、第１の画像において少なくとも１つの有用な反射光が検出され、この有用な反射光に基づいて目１０の前述した少なくとも１つの特性を決定しうるように構成しうる。これに加えて、この品質基準は更に、検出された有用な反射光が予め規定したある飽和度又は輝度或いは大きさを有する必要があるように構成しうる。更に、この品質基準は、瞳１８、虹彩２０及び強膜２２のような目１０の種々の部分が、ある最小の正確度で目１０の個々の部分を決定するのに必要なある相互間のコントラストを有する必要があるようにも構成しうる。従って、ステップＳ２０において、予め規定した品質基準が満足されたことが決定されると、目１０の前述した少なくとも１つの特性をステップＳ２２において決定でき、他の画像を捕捉することにより本例の動作方法をステップＳ１０から再開させる。

しかし、ステップＳ２０において、品質基準が満足されないことが決定された場合には、本例の動作方法はステップＳ２４に移り、複数の光源３４のうちの少なくとも１つの光源３４の光度を変えることにより、少なくとも分類化に応じて複数の光源３４を制御する。この目的のために、ステップＳ２６において最初に検出された反射光がどの分類に割当てられたかを検査する。反射光が破壊的反射光であると決定された場合には、本例の動作方法はステップＳ２８に移り、ここで第１の画像の捕捉時にアクティブ光源３４のうちのどの光源が破壊的反射光を生ぜしめた光を放出したかを決定する。その後、決定された光源３４をステップＳ３０でターンオフさせるか、又はその照度を低減させる。ステップＳ２６において、検出された反射光が中立の反射光として分類されたことが決定されると、本例の動作方法はステップＳ３２に移り、ここで目追跡装置３０により、第１の画像の捕捉に際しアクティブ光源３４のうちのどの光源が中立の反射光を生ぜしめた光を放出したかを決定し、その後ステップＳ３４において、決定された光源３４もスイッチオフさせるか又は少なくともその光度を低減させて電力を節約する。

ここで、破壊的反射光の場合と中立の反射光の場合とで光源を制御するのには依然として相違があることを指摘する必要がある。破壊的反射光の除去は中立の反射光の除去に比べて極めて高い優先度を有するが、他の態様を考慮する必要がある。例えば、光源が有用な反射光を生じるとともにこれと同時に中立の反射光を生じる場合には、この光源は更なる画像を捕捉するための如何なる状況でもスイッチオフさせない。その理由は、スイッチオフさせると、有用な反射光も失われてしまう為である。しかし、光源が有用な反射光を生じるとともにこれと同時に破壊的反射光を生じ、従って、目の前述した少なくとも１つの特性をこの破壊的反射光の為に決定できない場合には、破壊的反射光を除去する必要がある。従って、少なくとも光源の光度を低減させる必要があり、これが役に立たない場合には、光源をターンオフさせる必要がある。

更に、ステップＳ２６において、検出された反射光が有用な反射光として分類されたことが決定された場合には、本例の動作方法がステップＳ３６に移り、ここで第１の画像を処理ユニットにより更に解析する。この解析は、有用な反射光の品質が如何に改善されたかを見いだす目的のために行うものである。この目的のために、有用な反射光の飽和度、輝度又は大きさを決定しうる。ステップＳ３８において、有用な反射光が充分に飽和されていないか、又は充分に明るくないか或いはあまりにも小さすぎることが決定された場合には、本例の動作方法がステップＳ４０に移り、ここで制御ユニットが、有用な反射光を生ぜしめた光を放出した光源３４の光度が増大するようにしたこの光源３４を構成するようにする。一方、ステップＳ３８において、検出された有用な反射光が明るさに対し過飽和となるか、あまりにも大きすぎるようになった場合には、本例の動作方法がステップＳ４２に移り、ここで有用な反射光を生ぜしめた光を放出したことが決定された光源３４の光度を低減させる。更に、ステップＳ３８において、有用な反射光が１つよりも多く、これらの有用な反射光が互いに接近しすぎている場合には、制御ユニットは異なる光の構成に切換える、例えば、有用な反射光の１つ生じた１つの光源をターンオフさせるとともに、有用な反射光を生じるものと予期される他の１つの光源をスイッチオンさせる（ステップＳ４４）。

従って、ステップＳ３０、Ｓ３４、Ｓ４０及びＳ４２後に、本例の動作方法がステップＳ１０に移り、ここで撮像装置により他の画像が捕捉される。しかし、このように行う前に、任意の追加ステップＳ４４を設けることができる。このステップＳ４４では、目追跡装置３０が第１の画像の画像情報に基づいて且つ任意ではあるが追加の情報に基づいて、第１の画像を捕捉している際に複数の非アクティブ光源３４のうちのどの光源が、有用な反射光を生じるものと予期されるかを決定し、この決定後にこの光源３４又はこれらの光源３４をスイッチオンさせる。

この処置は、第１の画像内に数個の異なる反射光が検出される場合にも行うことができ、このことを図５で説明する。この場合も、第１の画像が撮像装置により捕捉された際に、動作方法はステップＳ１０で開始し、この画像がステップＳ１２において処理ユニットにより処理される。次に、ステップＳ１４で、数個の反射光、この場合３つの反射光が検出された場合には、検出された反射光の各々に対しステップＳ１６に進む。従って、初期反射光に対して画像内の対応する位置が決定され、ステップＳ１８において反射光が分類され、以下同様である。二次反射光に対して画像内のその位置が決定され、ステップＳ１８において反射光が分類され、以下同様である。又、第３の反射光に対しても画像内のその位置が決定され、ステップＳ１８において反射光が分類され、以下同様である。従って、この動作方法は、検出された反射光の各々に対し図４につき説明した方法と同様に進行する。

次に、図６及び図７を参照して、ユーザのガラス１２ａにおける非破壊的反射光１６ｄ、１６ｅ、１６ｆを如何に用いて個々の眼鏡類に関する幾つかの特性を決定することができるかを説明する。

本発明の実施例によれば、ユーザが装着しているガラスの屈折力を計算する。この測定を実行する最も一般的な手段は、レンズ、例えばガラス及びコンタクトレンズの屈折力を測定する機器であるレンズメータ（レンズ測定計）を用いることである。これは、球面屈折力、シリンダ、軸(axis)や、ガラスに関する幾つかのその他の特性、例えば、これらが可変焦点であるかないかを測定することができる。

ある種のレンズメータでは、人間が測定を行ってその結果を見る必要があり、他の種類のレンズメータでは、レンズを正しい位置に配置した後に測定が全て自動的に行われる。手動的なレンズメータと自動的なレンズメータとは双方共、測定されたレンズの屈折力を無効にする設定を見いだすことを試みることにより動作する。

手動の場合には、光学技術者は一組の明白でまっすぐなラインを見うるようになるまでレンズメータの設定値を変化させる。この状態に達した際の設定値は当該レンズのジオプターを表す。シリンダの角度及び強度に対しては異なる組のノブを用いる。

自動的なレンズメータの場合、前面（front ）と後面（back）との頂点屈折力、及び光パターンの歪みを見いだすことによりレンズの測定値を得ることができる。歪みはシリンダを計算するのに用いられる。

レンズメータ（フォシメータ（focimeter ）とも称する）は、２０１０年１２月７日に発行された文献“The Focimeter - Measuring Eyeglass Lenses ”（D. Kerr 氏著）に詳細に説明されている。更に、フォシメータは、ＩＳＯ規格“ＩＳＯ8598-1:2014”に規定されている。

本発明の実施例によれば、目追跡装置３０を用いて、ユーザが装着しているガラス１２ａの屈折力を評価する。ガラス１２ａの１つの重要な特徴は、これらの主たる屈折力は後側、すなわち目１０に近い方の側に起因するものである。目追跡装置３０の場合、このことは、ガラス１２ａの外側表面の反射光を見るだけではなく、どうにかして内側表面からの反射光をも得る必要があることを意味する。

図６は、眼鏡１２を装着しているユーザの目１０の画像を示す線図である。この画像内では、複数の反射光１４、１６ｄ、１６ｅ、１６ｆが見られる。大きい反射光１６ｄは、外側表面からの反射光であり、中位の反射光１６ｅは、内側表面からの反射光であり、小さい反射光１６ｆは、内側表面と外側表面との間で跳ね返る二次反射光である。２つの反射光１４は瞳１８において角膜から直接得られたものである。

更なる説明のために、目追跡装置３０の光源３４の光が、ユーザの眼鏡のガラス１２ａによりこれらの３つの異なる方向に反射されることを図７に線図的に示してある。ガラス１２ａの外側の面１３ａから反射された光が画像中に大きな反射光１６ｄを生ぜしめ、ガラス１２ａの内側の面１３ｂから反射された光は中位の反射光１６ｅを生ぜしめ、ガラス１２ａの外側の面１３ａ及び内側の面１３ｂにより繰返し反射された光は小さい反射光１６ｆを生ぜしめる。

これらの反射光１６ｄ、１６ｅ、１６ｆはガラス１２ａの曲率を推定するのに用いることができる。特別な光源３４、特にＬＥＤを用いることによる追加の反射光は、特にこれらのＬＥＤが共線的でない場合に、屈折力の推定の正確度を高めるのに役立つ。

一般に、ガラス１２ａ内に見られるどの反射光１６ｄ、１６ｅ、１６ｆによっても、２つの情報要素、すなわち反射光１６ｄ、１６ｅ、１６ｆの中心のＸ及びＹ成分、すなわち画像内の反射光１６ｄ、１６ｅ、１６ｆの位置のｘ座標及びｙ座標が与えられる。

ガラス１２ａの屈折力を計算しうるようにするためには、ガラス１２ａに対し如何なる種類のモデルを用いうるかに関する幾つかの条件を付ける必要がある。この場合、正確には最も基本的なガラス１２ａのモデルとなり、不正確ではあるが他のガラス１２ａのモデルとなるにすぎない簡単なモデル間で選択を行う必要がある。しかし、このような簡単なモデルのガラスは僅かな情報で極めて容易に且つ迅速に分かるものである。この場合、ガラスのモデルの簡単な説明を用いることができる。これらのガラスのモデルの各々には多数の一定の未知要素がある。その理由は、ガラス１２ａ自体は処理中に変化しない為である。

全てのガラスのモデルには、全てのフレーム、すなわち全ての捕捉画像において変化する５つの未知要素があり、これらの未知要素はレンズ、すなわちガラス１２ａの位置及び向きである。これらの５つの未知要素は、ガラスの特徴に関する如何なる追加の情報をも知りうるようになる前に、全てのフレームにおいて得られるようにする必要がある。

薄肉レンズのモデルによれば、一定の未知要素の数は１（球面）である。この薄肉レンズのモデルは、厚さがレンズ表面の曲率半径に比べて無視しうるレンズの一般的な総称である。その屈折力は、レンズの焦点距離によってのみ表される。

基本的なモデルによれば、一定の未知要素の数は１（球面）である。基本的なモデル（又は厚肉球面レンズ）では、レンズの両側の２つの面が完全に球面となっているものと仮定されている。このモデルは、薄肉レンズのモデルと同様に、１つのパラメータにより、すなわち全てのフレームにおいて必要とされる僅かな量の情報により容易に知ることのできる焦点距離により表される。５つの変更しうる未知要素と１つの一定の未知要素とが一緒になることにより、ガラス１２ａに関する何かを知るためにはガラス１２ａ上の３つの反射光１６ｄ、１６ｅ、１６ｆの中心を見いだす必要があるだけとなる。

乱視のモデルによれば、一定の未知要素の数は３（球面、シリンダ軸及びシリンダ強度）である。このモデルは、乱視のある人に対するガラス１２ａに対し必要である。これらの未知要素は、あらゆる方向で一貫性のある球面要素のみを有するのではなく、１方向で異なる効果を有する。３つの未知要素がある為に、１つのフレームのみからレンズ全体を再構成するには、反射光１６ｄ、１６ｅ、１６ｆの４つを見ることがすでに必要となっている。しかし、幾つかの異なるフレームにおいて反射光１６ｄ、１６ｅ、１６ｆを３つだけ有する場合でも、ガラス１２ａのパラメータを時間に亘りますます正確に知るのに充分である。このことを以下に説明する。

可変焦点のモデルによれば、一定の未知要素の数は４（球面、シリンダ軸、シリンダ強度及び近接（near）要素）である。可変焦点レンズは乱視レンズのようであるが、これらの可変焦点レンズはレンズ上に屈折力が異なる第２の区分を有している。これは通常、遠くを見うるようにするのに用いられるが、本を読みうるようにするのにも用いることができる。

ユーザが装着したガラス１２ａは、上述したモデルに基づいて目追跡装置３０により特に以下のようにして知ることができる。

上述したように、ガラス１２ａに関して見いだすことができ、反射光として識別でき、ＬＥＤの１つに適合しうる各反射光１６ｄ、１６ｅ、１６ｆによれば、２つの情報要素が提供される。反射光１６ｄ、１６ｅ、１６ｆのＸ及びＹ成分は、未知要素の全て、すなわち可変及び一定の未知要素を計算するのに用いることができる。

情報の追加の組は、左右のガラス１２ａが互いに同じ向き及び相対位置を常に有しているということである。従って、一方のガラス１２ａの向き及び位置が分かった場合、これらの相対位置が一旦得られると、他方のガラス１２ａの向き及び位置を計算することもできる。一方のガラス１２ａの向き及び他方のガラス１２ａの位置が分かった場合にも、同じことが言える。この状態では、追加の情報を必要とすることなく不明情報を得ることができる。

更に、ガラス１２ａと目１０との間の相対位置を知ることができる。この相対位置及び向きが一旦分かると、この情報を用いて少数の反射光１６ｄ、１６ｅ、１６ｆより多くの反射光を知ることができる。しかし、この点に対しては注意を払う必要がある。その理由は、ユーザが意識的に又は無意識でガラス１２ａを動かした場合に、目１０とガラス１２ａとの間の相対位置が変化する可能性がある為である。上述した全ての情報によれば、ある種の学習法を適用して反射光１６ｄ、１６ｅ、１６ｆと相対位置及び向きとからガラスのモデルを知ることができる。使用しうる学習方法のリストには多数の方法がある。しかし、選択される方法に対して１つの要件がある。すなわち、この方法は異常値及び雑音に対してロバスト性があるようにする必要がある。その理由は、大きな反射光１６ｄ、１６ｅ、１６ｆの中心を正確に検出したり、反射光１６ｄ、１６ｅ、１６ｆの種類や反射光を生じるＬＥＤを正しく識別したりすることが困難である為である。

全てが１つの事項を共通に有している多くの異なる学習技術に関して考えることができる。すなわち、フレーム内の反射光１６ｄ、１６ｅ、１６ｆの観測された中心に関する情報を如何に用いるかにより、レンズのモデルを知られたデータに適合させるとともにレンズパラメータを時間に亘って学習するようにする。

［学習方法Ｉ：２段階：］
学習技術の１つの可能性には２段階がある。第１の段階では、単一のフレームにおいて、推定したガラス強度を計算する。その後に、これらの値の全てを時間に亘って組合せて、レンズに対する安定で正確な屈折力を得る必要がある。

［単一のフレームに対してガラス強度を得る：］
１つの選択肢は、予めデータを収集し、その後このデータを用いて、異なる強度のガラス１２ａによりどのような反射光配置が生じるかを理解することにより教師あり学習方法を用いることである。

この場合、得られたテストデータに自動的に又は手動的に注釈をつける必要がある。ガラス方法の場合、多くの関係者はガラス強度が分かっているガラス１２ａを用い、このガラス強度をデータベース内に入力するようにしうる。この場合、全ての反射光１６ｄ、１６ｅ、１６ｆを見いだし、且つ場合によっては計算した目の位置、ガラス１２ａの大きさ等の他の値を用いて反射光の位置をガラス強度に関連付けているモデル又は関数を知ることを自動的に試みるようにしうる。

或いはまた、得られる情報の全てからあらゆるフレームにおけるガラス強度を計算するのに上述したモデルを用いることができる。

［時間に亘るガラス強度の計算：］
上述したことに関する問題は、それぞれの単一のフレームに対してガラス強度が極めて不正確となることである。このことには以下の複数の理由がある。
・反射光１６ｄ、１６ｅ、１６ｆの中心を計算すること、又は反射光１６ｄ、１６ｅ、１６ｆの最も明るい点がより正確になるように計算することは（多くの画素が飽和する為に計算することが困難となる）、常に誤りを生じる傾向がある。反射光１６ｄ、１６ｅ、１６ｆは、ガラス１２ａの形状によっては歪むおそれがあるか、ガラス１２ａのフレームによっては削除されるおそれがあるか、又は吸収されるおそれがある。
・反射光１６ｄ、１６ｅ、１６ｆの種類は、多くの状態や、これら反射光１６ｄ、１６ｅ、１６ｆを生じるＬＥＤにおいては、理解するのが困難である。
・多くのフレームは、反射光１６ｄ、１６ｅ、１６ｆ及びその他の情報から多くを知るのに充分な情報を有するようにならない。

従って、この際、データが間違っているか又はデータの量が僅かである場合に、著しく影響を受けることなく、モデルを時間に亘って信頼的に調整しうる方法が必要となる。幾つかの方法には無作為標本コンセンサス（ＲＡＮＳＡＣ）法、粒子フィルタ法、期待値最大化（Expectation Maximization）法が含まれるが、これらに限定されるものではない。
・無作為標本コンセンサス法：一組のフレームに亘って得られたガラス強度の全てに無作為標本コンセンサス法を実行して、最も可能性のある正しいガラス強度を見いだしうる。無作為標本コンセンサス法は異常値を回避するのに極めて良好なものであるが、計算上極めて費用がかかるとともに、実験により確かめていないが最適な解決策に至ることが照明されていない。無作為標本コンセンサス法は如何なる最適化方法論とも組合せることもできる。
・粒子フィルタ法：粒子フィルタ法は、一組の可能性のあるガラス強度を生ぜしめるとともにこれらをあらゆるフレームで無作為に変更する作用をする。例えば、反射光が見られるフレームを介して新たな組の観測結果が到来すると、各粒子には現在の観測に如何に適合しているかの確率が与えられる。この場合、これらの確率を用いて、新たな組の粒子を生ぜしめる。その後、クラスタリング方法を用いて粒子から最良のガラス強度を見いだすことができる。この方法の欠点は、複数のクラスタがある場合に、現在最良のガラス強度が色々と急変化（jump around ）するおそれがあることである。
・期待値最大化法：ガラス強度の未知要素の各々を統計的分布として表すことができる。期待値最大化法では、反射光１６ｄ、１６ｅ、１６ｆに対するガラス特性に関して最良の説明を見いだす為に、反射光に関して行う観測を用いることが望ましい。最も確率の高いものは、ガラス強度の推定のために用いることができるものである。
これらの学習方法によれば、ガラス１２ａの屈折力を計算し、これらの値を用いて目追跡品質を改善するようにすることができる。

［学習方法II：最良適合：］
この方法は、画像内の観測反射光にレンズを最良に適合させることによりガラスのパラメータを知るものである。アルゴリズムは、毎回、レンズモデルのパラメータの仮設を有する。これらのパラメータは、開始時に手動で入力させるか、又はデフォルト値に設定することができる。

各フレームでは、ガラス１２ａの位置及び向きは最良適合を行うことにより得られる（５つの未知要素は位置及び向きであり、所定のデータはフレーム内の反射光の観測である）。最良適合アルゴリズムによれば、未知要素（スペース内のレンズの位置／向き）に対する値を見いだし、これにより観測された反射光１６ｄ、１６ｅ、１６ｆをできるだけ最良に適合させるようにする。誤差関数の場合、所定のレンズ位置／向きに対し画像内の反射光１６ｄ、１６ｅ、１６ｆの理論的位置を計算し、この計算値を観測された反射光の位置と比較する（例えば、二乗距離基準又はその他の何らかの測定基準を用いてモデルの適合度を測定する）。この誤差関数は、何れかのローカル及びグローバル最小化法、例えば、最急勾配法、ネルダー‐ミード（Nelder-Mead ）法、遺伝的アルゴリズム法、直接又は無作為サンプリング法、等により最小化しうる。

この適合問題が過剰決定された場合には、（すなわち、少なくとも３つの反射光１６ｄ、１６ｅ、１６ｆが観測され、これにより５つの未知要素の位置／向きに対し６つの状態を与える場合には）、最良適合の結果は完全とならず、すなわち誤差関数は０とならない。この情報を用いて内部モデルパラメータ、例えば、薄肉レンズモデルの焦点距離又は他のレンズモデルのパラメータに関して学習することができる。

位置／向きが分かると、他の全てのパラメータを誤差関数の値が更に低くなるように適合させることができる。この適合は、前述した幾つかの方法で達成することができる。モデルパラメータに関する適合は時間に亘って常に信頼的且つ円滑的にする必要がある。未知要素としてのモデルパラメータに対する誤差関数は直接最小化できるとともに、これらの結果を時間に亘って平滑化することができる。異常値は廃棄する必要がある。或いはまた、モデルパラメータを誤差関数の負の勾配方向に著しくゆっくりと収束させることができる。

しかし、適合により誤差関数を低下させるとともに、このアルゴリズムを、パラメータが時間に亘り変化しないレンズを再構成するために用いる場合に、モデルパラメータを適用すると、計算したモデルパラメータが実際のパラメータに対して集束する。

以上要するに、本発明は、検出した反射光の位置に基づいて決定した反射光カテゴリに応じて一組の光源をアクティブ制御することにより追跡のロバスト性を改善し、これにより目の追跡を、極めて困難な状態でも高品質をもって実行しうるようにした目追跡装置及び目追跡装置動作方法を開示したものである。

Claims (29)

1. ユーザの少なくとも一方の目（１０）の少なくとも１つの特性を捕捉する目追跡装置（３０）であって、この目追跡装置は、ユーザの前記少なくとも一方の目（１０）の画像（３６ａ、３６ｂ）を捕捉しうる少なくとも１つの撮像装置（３２）と、ユーザの前記少なくとも一方の目（１０）を照射しうる複数の光源（３４）と、前記撮像装置（３２）により撮像された画像（３６ａ、３６ｂ）を処理しうる処理ユニットと、前記複数の光源（３４）をこれらの光度において別々に制御しうる制御ユニットと、を具えている当該目追跡装置を動作させる目追跡装置動作方法が、
   ａ）前記撮像装置（３２）により、前記複数の光源（３４）のうちの少なくとも１つの光源（３４）が光を放出している際に第１の画像（３６ａ）を捕捉するステップと、
   ｂ）前記処理ユニットにより前記第１の画像（３６ａ）を処理し、この第１の画像を処理することにより、この処理ユニットが、反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）がこの第１の画像内で検出されるか否かを決定するステップと、
   を有している当該目追跡装置動作方法において、
   ｃ）少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が検出されると、この少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）の前記第１の画像（３６ａ）内の位置を決定するステップと、
   ｄ）少なくとも前記第１の画像（３６ａ）内の位置に基づいて、前記目の前記少なくとも１つの特性を補足するのに破壊的であるか否かに関して前記第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を分類するステップと、
   ｅ）前記第１の画像（３６ａ）が予め規定した品質基準を満足しない場合に、前記複数の光源（３４）のうちの少なくとも１つの光源（３４）の光度を変化させることにより、少なくとも前記分類に依存させて前記複数の光源（３４）を制御するステップと
   を有していることを特徴とする目追跡装置動作方法。
2. 請求項１に記載の目追跡装置動作方法において、
   前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を、少なくとも決定された前記位置に応じて、少なくとも２つの異なる反射光の分類のうちの１つの反射光の分類に割当て、前記第１の画像内の検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が破壊的反射光の予め決定した定義を満足する場合に、この少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を反射光分類の第１の分類に割当てるとともに、前記第１の画像内の前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が有用な反射光の予め決定した定義を満足する場合に、この少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を反射光分類の第２の分類に割当てることを特徴とする目追跡装置動作方法。
3. 請求項１又は２に記載の目追跡装置動作方法において、
   前記第１の画像（３６ａ）内で、ユーザの頭部の一部（１０、１８、２０、２２、２４、２６）が識別された場合に、この一部（１０、１８、２０、２２、２４、２６）の位置を決定し、検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）の位置を前記頭部の一部（１０、１８、２０、２２、２４、２６）の位置に対して決定することを特徴とする目追跡装置動作方法。
4. 請求項２に記載の目追跡装置動作方法において、
   前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、第１の基準、すなわち、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）はユーザの目（１０）により反射されたものではないと決定されることと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）は、ユーザが装着した眼鏡（１２）又はガラス（１２ａ）により反射されたものであることと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）は、予め決定した値よりも大きい寸法を有していることと
   の少なくとも１つを満足する場合に、前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が破壊的反射光の前記予め決定した定義を満足するようにすることを特徴とする目追跡装置動作方法。
5. 請求項２又は４に記載の目追跡装置動作方法において、
   前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、第２の基準、すなわち
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記第１の画像（３６ａ）内で前記目（１０）の一部、特に前記目（１０）の少なくとも１つの特性を決定するのに必要とする一部を塞ぐことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記第１の画像（３６ａ）内で前記目（１０）の瞳（１８）を部分的に又は完全に塞ぐことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記第１の画像（３６ａ）内で前記目（１０）の虹彩（２０）を部分的に又は完全に塞ぐことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記第１の画像（３６ａ）内で前記目（１０）の強膜（２２）を部分的に又は完全に塞ぐことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記第１の画像（３６ａ）内で前記目（１０）の血管を部分的に又は完全に塞ぐことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記第１の画像（３６ａ）内で前記目（１０）のまぶた（２４）を部分的に又は完全に塞ぐことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記第１の画像（３６ａ）内で前記目（１０）のまぶたのコーナー（２６）を部分的に又は完全に塞ぐことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記第１の画像（３６ａ）内で、有用な反射光の検出が予期された前記目（１０）の一部を塞ぐことと
   の少なくとも１つを満足する場合に、前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が破壊的反射光の前記予め決定した定義を満足するようにすることを特徴とする目追跡装置動作方法。
6. 請求項４又は５に記載の目追跡装置動作方法において、
   前記処理ユニットは、前記第１の画像（３６ａ）の処理中にこの第１の画像（３６ａ）を解析することにより、前記第１の基準の少なくとも１つと前記第２の基準の少なくとも１つとの双方又は何れか一方を検査することを特徴とする目追跡装置動作方法。
7. 請求項１〜６の何れか一項に記載の目追跡装置動作方法において、
   前記ステップｂ）で、前記目（１０）により反射されることが決定された少なくとも２つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が検出されるとともに、予め決定された値よりも小さい相互間距離を有することを少なくとも２つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が決定された場合に、前記少なくとも２つの反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を生じる光を放出した光源（３４）を決定し、この決定された光源（３４）の少なくとも１つの光度を変化させ、特にスイッチオフさせることを特徴とする目追跡装置動作方法。
8. 請求項２及び４〜６の何れか一項に記載の目追跡装置動作方法において、
   検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、破壊的反射光として決定されないか又は分類されないか或いはこれらの決定及び分類の双方が達成されない場合に、この検出された前記少なくとも１つの第１の反射光が有用な反射光の定義を満足するようにすることを特徴とする目追跡装置動作方法。
9. 請求項２、４〜６及び８の何れか一項に記載の目追跡装置動作方法において、
   検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、破壊的反射光として決定されないか又は分類されないか或いはこれらの決定及び分類の双方が達成されず、且つ第３の基準、すなわち
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、グリント又はプルキンエ画像であり、特に前記目（１０）の角膜の外側表面と、前記目（１０）の角膜の内側表面と、前記目（１０）のレンズの前面と、前記目（１０）のレンズの後面との何れか１つ又はこれらの任意の組合せからの反射光であることと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記目（１０）の強膜（２２）により反射されたことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記目（１０）のまぶた（２４）により反射されたことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、前記目（１０）及びまぶた（２４）とは異なるユーザの顔の部分、特に前記目（１０）から最大距離内の顔の部分により反射されたことと、
   ‐検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、ユーザが装着した眼鏡（１２）のガラス（１２ａ）の前面及び後面の双方又は何れか一方により反射されたものであることと
   の少なくとも１つを満足する場合に、検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が有用な反射光の定義を満足するようにすることを特徴とする目追跡装置動作方法。
10. 請求項９に記載の目追跡装置動作方法において、
    前記処理ユニットは、前記第１の画像（３６ａ）の処理中に前記第３の基準の少なくとも１つを検査することを特徴とする目追跡装置動作方法。
11. 請求項２、４〜６及び８〜１０の何れか一項に記載の目追跡装置動作方法において、
    前記ステップｅ）で、前記複数の光源（３４）を制御して、前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が破壊的反射光の予め決定した定義を満足する場合に、この少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を除去するか、又は有用な反射光の予め決定した定義を満足する少なくとも１つの第２の反射光を捕捉された第２の画像（３６ｂ）内に生ぜしめるか、或いはこれらの双方を達成させるようにすることを特徴とする目追跡装置動作方法。
12. 請求項２、４〜６及び８〜１１の何れか一項に記載の目追跡装置動作方法において、
    検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、破壊的反射光の定義も有用な反射光の定義も満足しない場合には、この少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、中立の反射光として分類されるとともに第３の反射光の分類に割当てるようにする目追跡装置動作方法。
13. 請求項１２に記載の目追跡装置動作方法において、
    検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、破壊的反射光又は中立の反射光として分類される場合には、前記複数の光源（３４）のうちの少なくとも１つの光源（３４）を、この破壊的反射光又は中立の反射光を生じる光を放出したものとして決定し、この決定された少なくとも１つの光源（３４）の光度を低減させるか又は特に第２の画像（３６ｂ）を捕捉するためにこの決定された少なくとも１つの光源（３４）をスイッチオフさせることを特徴とする目追跡装置動作方法。
14. 請求項２、４〜６及び８〜１３の何れか一項に記載の目追跡装置動作方法において、
    検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が有用な反射光として分類されるとともに、前記予め規定した品質基準が満足されない場合には、少なくとも１つの品質特徴が前記第１の画像（３６ａ）から取出されるとともに、前記複数の光源（３４）のうちの少なくとも１つの光源（３４）が、前記有用な反射光を生ぜしめた光を放出したものとして決定され、この決定された少なくとも１つの光源（３４）の光度を、第２の画像（３６ｂ）を捕捉するために、取出された前記品質特徴に依存して変化させるようにすることを特徴とする目追跡装置動作方法。
15. 請求項１〜１４の何れか一項に記載の目追跡装置動作方法において、
    有用な反射光、特に角膜の内面及び外面の双方又は何れか一方により反射される反射光を生ぜしめるために、前記複数の光源（３４）のうちの少なくとも１つの非アクティブ光源（３４）を決定し、この決定された光源（３４）を第２の画像を捕捉するためにスイッチオンさせることを特徴とする目追跡装置動作方法。
16. 請求項１３〜１５の何れか一項に記載の目追跡装置動作方法において、
    前記第１の画像（３６ａ）を、特に検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）の位置に基づいて解析することにより、前記複数の光源のうちの少なくとも１つの光源（３４）を決定することを特徴とする目追跡装置動作方法。
17. 請求項１３〜１６の何れか一項に記載の目追跡装置動作方法において、
    前記目（１０）のモデルと、ユーザの顔のモデルと、ユーザが装着した眼鏡のモデルと、前記複数の光源（３４）の所定の位置と、前記撮像装置（３２）の所定の位置との何れか又はこれらの任意の組合せにより前記前記複数の光源のうちの少なくとも１つの光源（３４）を決定することを特徴とする目追跡装置動作方法。
18. 請求項１５〜１７の何れか一項に記載の目追跡装置動作方法において、
    有用な反射光を生じるものと予期される前記複数の光源のうちの少なくとも１つの光源（３４）は、検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を生じる光を放出するものと決定された前記複数の光源のうちの少なくとも１つの光源（３４）の位置に基づいて決定することを特徴とする目追跡装置動作方法。
19. 請求項１〜１８の何れか一項に記載の目追跡装置動作方法において、
    この目追跡装置動作方法が、
    ｆ）前記複数の光源（３４）のうちの１つの光源（３４）をスイッチオンさせ、第２の画像（３６ｂ）を捕捉し、この第２の画像（３６ｂ）を前記第１の画像（３６ａ）と比較し、この第２の画像（３６ｂ）内の第２の反射光がこの第１の画像（３６ａ）内に存在しなかった第２の位置で決定された場合に、前記１つの光源（３４）を、この第２の反射光を生じる光を放出するものとして決定するステップ
    を有することを特徴とする目追跡装置動作方法。
20. 請求項１〜１９の何れか一項に記載の目追跡装置動作方法において、
    この目追跡装置動作方法が、
    ｇ）前記複数の光源（３４）のうち、少なくとも１つの前記第１の画像（３６ａ）を捕捉する際に光を放出した１つの光源（３４）を、第２の画像（３６ｂ）を捕捉するためにスイッチオフさせ、この第２の画像（３６ｂ）を捕捉し、この第２の画像（３６ｂ）を前記第１の画像（３６ａ）と比較し、この第２の画像（３６ｂ）内の反射光がこの第１の画像（３６ａ）に比べて消滅されている場合には、前記１つの光源（３４）を、この第２の画像（３６ｂ）内で消滅された反射光をこの第１の画像（３６ａ）内に生ぜしめる光を放出したものとして決定するステップを有することを特徴とする目追跡装置動作方法。
21. 請求項１９又は２０に記載の目追跡装置動作方法において、
    どの光源（３４）がどの反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を生じたかが完全に決定されるまで、前記ステップｆ）及びｇ）の双方又は何れか一方を繰返すことを特徴とする目追跡装置動作方法。
22. 請求項１〜２１の何れか一項に記載の目追跡装置動作方法において、
    前記複数の光源（３４）の各々が互いに異なる特有の特徴を有し、この特有の特徴は、特有の波長スペクトルを有する光を放出するこれら複数の光源（３４）の各々により提供されるか、又はそれぞれ独特の形状を有する放出領域から光を放出するように構成されたこれら複数の光源（３４）の各々により提供されるか、或いはこれらの双方により提供され、各光源（３４）の独特の形状は互いに異ならせ、前記処理ユニットは、この特有の特徴を用いて、検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を放出する光源（３４）を決定するようにすることを特徴とする目追跡装置動作方法。
23. 請求項１〜２２の何れか一項に記載の目追跡装置動作方法において、
    少なくとも２つの反射光（１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、ユーザが装着したガラス（１２ａ）により反射されたものとして検出された場合には、ユーザの顔に対するこれらガラス（１２ａ）の位置を、検出された前記少なくとも２つの反射光（１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）とこれらの決定された位置とに基づいて決定することを特徴とする目追跡装置動作方法。
24. 請求項１〜２３の何れか一項に記載の目追跡装置動作方法において、
    検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が、ユーザが装着したガラス（１２ａ）から反射されたものであると決定された場合には、これらガラス（１２ａ）の特徴、特にこれらガラス（１２ａ）の屈折力が前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）の位置に基づいて決定するようにすることを特徴とする目追跡装置動作方法。
25. 請求項２４に記載の目追跡装置動作方法において、
    前記ガラス（１２ａ）の決定された特徴を用いてユーザの目（１０）の少なくとも１つの特性を決定することを特徴とする目追跡装置動作方法。
26. 請求項１〜２５の何れか一項に記載の目追跡装置動作方法において、
    前記第１の画像（３６ａ）からこの第１の画像（３６ａ）内の目（１０）の位置を決定し、検出された前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ）の位置を目（１０）の位置に対して決定することと、前記複数の光源（３４）のうち、反射光を生じる光源（３４）を目（１０）の位置及び目（１０）のモデルに基づいて決定することと、前記複数の光源（３４）のうち、有用な又は破壊的な又は中立の反射光を生じるものと予期される光源（３４）を目（１０）の位置及び目のモデルに基づいて更には前記複数の光源（３４）の位置及び前記撮像装置（３２）の位置に基づいて決定することとの何れか又はこれらの任意の組合せを達成することを特徴とする目追跡装置動作方法。
27. 請求項１〜２６の何れか一項に記載の目追跡装置動作方法において、
    ユーザの頭部及び目（１０）の双方又は何れか一方に対する前記目追跡装置（３０）の空間的定位を決定する加速度計、磁力計及び姿勢センサの何れか又はこれらの任意の組合せにより得られる入力信号を処理することにより、前記複数の光源（３４）のうち、破壊的な又は有用な又は中立の反射光を生じるか又は生じるものと予期されるか或いはこれらの双方を達成する光源（３４）を決定することを特徴とする目追跡装置動作方法。
28. 請求項１〜２７の何れか一項に記載の目追跡装置動作方法において、
    前記複数の光源（３４）のうちの前記少なくとも１つの光源（３４）が光を放出している際に前記撮像装置（３２）が第２の画像を捕捉し、前記処理ユニットにより前記第１の画像とこの第２の画像とを比較し、この第１の画像（３６ａ）内で前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が有用な反射光として検出されるとともに、この第２の画像内では前記少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）の決定された位置で反射光が検出されない場合に、前記第１の画像（３６ａ）内で検出された有用な反射光に基づいて、有用な反射光を生じるものと予期される光源（３４）を決定し、第３の画像を捕捉するためにこの決定された光源（３４）をスイッチオンさせることを特徴とする目追跡装置動作方法。
29. ユーザの少なくとも一方の目（１０）の少なくとも１つの特性を捕捉する目追跡装置であって、この目追跡装置（３０）は、ユーザの前記少なくとも一方の目（１０）の画像（３６ａ、３６ｂ）を捕捉しうる少なくとも１つの撮像装置（３２）と、ユーザの前記少なくとも一方の目（１０）を照射しうる複数の光源（３４）と、前記撮像装置（３２）により撮像された画像（３６ａ、３６ｂ）を処理しうる処理ユニットと、前記複数の光源（３４）をこれらの光度において別々に制御しうる制御ユニットとを具え、
    ａ）前記撮像装置（３２）は、前記複数の光源（３４）のうちの少なくとも１つが光を放出している際に第１の画像（３６ａ）を捕捉しうるようになっており、
    ｂ）前記処理ユニットは、前記第１の画像（３６ａ）を処理し、この第１の画像（３６ａ）を処理することにより、この処理ユニットが、反射光がこの第１の画像（３６ａ）内で検出されるか否かを決定しうるようになっている
    当該目追跡装置において、
    ｃ）少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）が検出されると、前記処理ユニットは、この少なくとも１つの第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）の前記第１の画像（３６ａ）内の位置を決定しうるようになっており、
    ｄ）前記処理ユニットは、少なくとも前記第１の画像（３６ａ）内の位置に基づいて、前記目の前記少なくとも１つの特性を補足するのに破壊的であるか否かに関して前記第１の反射光（１４、１６、１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ、１６ｆ）を分類しうるようになっており、
    ｅ）前記処理ユニットは、前記第１の画像（３６ａ）が予め規定した品質基準を満足するか否かを検査しうるようになっており、この第１の画像（３６ａ）が予め規定した品質基準を満足しない場合に、前記制御ユニットが、前記複数の光源（３４）のうちの少なくとも１つの光源（３４）の光度を変化させることにより、少なくとも前記分類に依存させて前記複数の光源（３４）を制御しうるようになっている
    ことを特徴とする目追跡装置。
    

Images