JP2016087291A - 瞳孔・視線計測装置および照明システム - Google Patents

瞳孔・視線計測装置および照明システム Download PDF

Info

Publication number
JP2016087291A
JP2016087291A JP2014227792A JP2014227792A JP2016087291A JP 2016087291 A JP2016087291 A JP 2016087291A JP 2014227792 A JP2014227792 A JP 2014227792A JP 2014227792 A JP2014227792 A JP 2014227792A JP 2016087291 A JP2016087291 A JP 2016087291A
Authority
JP
Japan
Prior art keywords
pupil
eyeball
optical system
image
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014227792A
Other languages
English (en)
Inventor
柏木 正徳
Masanori Kashiwagi
正徳 柏木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014227792A priority Critical patent/JP2016087291A/ja
Publication of JP2016087291A publication Critical patent/JP2016087291A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】眼鏡をかけた被計測者の瞳孔径および視線方向の少なくともいずれか一方を高い精度で計測することができる瞳孔・視線計測装置およびそれを用いた照明システムを提供する。【解決手段】瞳孔・視線計測装置8は、眼鏡5をかけた状態の被計測者10の眼球11に光を照射する眼球照射部1と、眼球11で反射した反射光が通過する光学系2aと、眼球11の瞳孔12にピントが合っているが、眼鏡5のレンズにピントが合っていないように、光学系2aを制御する光学系制御部2cと、光学系2aを通過した反射光を受け、眼球11の画像データを取得する撮像素子2bと、撮像素子2bによって取得された眼球11の画像データに基づいて、被計測者10の瞳孔径rおよび視線方向dのうちの少なくともいずれか一方を算出する画像処理部3aと、を備える。【選択図】図1

Description

本発明は、視線方向および瞳孔径の少なくともいずれか一方を計測する瞳孔・視線計測装置、および、それを用いた照明システムに関する。
従来から、画像処理によって視線方向を計測する際には、瞳孔中心、プルキンエ像(角膜での反射像)、およびその両方を用いることが一般的に行われている。特に、高い精度で視線方向を計測する必要がある場合には、瞳孔中心とプルキンエ像との双方が用いられている。
これに関する技術が、次の特許文献1に開示されている。この特許文献1に開示された視線計測の方法によれば、瞳孔中心とプルキンエ像との位置関係の情報、ならびに、瞳孔およびプルキンエ像の形状の情報がコンピュータで処理される。それにより、被計測者が眼鏡をかけていても、視線方向を計測することができる。
特開2006−95008号公報
しかしながら、上記の特許文献1に開示された手法によれば、眼鏡をかけた被計測者の視線方向を計測する場合には、眼鏡のレンズ上で反射した光の像が瞳孔径または視線方向の計測に悪影響を及ぼしてしまうことがある。具体的に言うと、眼鏡のレンズの表面上で反射した外乱光の像が瞳孔またはプルキンエ像に重なる場合には、瞳孔中心またはプルキンエ像を正確に認識することが困難な場合がある。その場合、眼鏡をかけた被計測者の視線方向を高い精度で計測することができないという問題が生じる。この問題は、瞳孔径に関しても同様に生じる。したがって、上記の特許文献1に開示された技術によれば、眼鏡をかけた被計測者の瞳孔径および視線方向のいずれも、高い精度で計測することができない。
本発明は、上述の問題に鑑みてなされたものである。本発明の目的は、眼鏡をかけた被計測者の瞳孔径および視線方向の少なくともいずれか一方を高い精度で計測することができる瞳孔・視線計測装置およびそれを用いた照明システムを提供することである。
本発明の第1の態様の瞳孔・視線計測装置は、眼鏡をかけた状態の被計測者の眼球に光を照射する眼球照射部と、前記眼球で反射した反射光が通過する光学系と、前記光学系を通過した前記反射光を受け、前記眼球の画像データを取得する撮像素子と、前記撮像素子によって取得された前記眼球の画像データに基づいて、前記被計測者の瞳孔径および視線方向のうちの少なくともいずれか一方を算出する画像処理部と、前記眼球の瞳孔にピントが合っているが、前記眼鏡のレンズにピントが合っていないように、前記光学系および前記撮像素子のうちの少なくともいずれか一方を制御する光学系制御部と、を備えている。
本発明の第2の態様の瞳孔・視線計測装置は、眼鏡をかけた状態の被計測者の眼球に光を照射する眼球照射部と、前記眼球で反射した反射光が通過する光学系と、前記光学系を通過した前記反射光を受け、前記眼球の画像データを取得する撮像素子と、前記撮像素子によって取得された前記眼球の画像データに基づいて、前記被計測者の瞳孔径および視線方向のうちの少なくともいずれか一方を算出する画像処理部と、前記撮像素子によって取得された前記眼球の画像データに基づいて前記眼球の画像を表示する表示部と、計測者が、前記表示部に表示されている前記眼球の画像を見ながら、前記眼球の瞳孔にピントが合っているが、前記眼鏡のレンズにピントが合っていないように、前記光学系および前記撮像素子のうちの少なくともいずれか一方を制御し得る操作部と、を備えている。
本発明の第3の態様の瞳孔・視線計測装置は、眼鏡をかけた状態の被計測者の顔の位置を固定する位置固定部と、前記位置固定部に対する位置が固定され、前記位置固定部によって前記顔の位置が固定された前記被計測者の眼球に光を照射するように位置および姿勢が設定された眼球照射部と、前記眼球で反射した反射光が通過する光学系と、前記光学系を通過した前記反射光を受け、前記眼球の画像データを取得する撮像素子と、前記撮像素子によって取得された前記眼球の画像データに基づいて、前記被計測者の瞳孔径および視線方向のうちの少なくともいずれか一方を算出する画像処理部と、を備え、前記光学系および前記撮像素子は、前記位置固定部によって前記顔の位置が固定された前記被計測者の前記眼球の瞳孔にピントが合っているが、前記眼鏡のレンズにピントが合っていないように設定されている。
本発明の照明システムは、上記した第1〜第3の態様の瞳孔・視線計測装置と、前記被計測者が存在する環境に光を照射する照明器具と、を備え、前記瞳孔・視線計測装置は、前記画像処理部によって算出された前記瞳孔径および前記視線方向の少なくともいずれか一方に基づいて、前記照明器具の照明の態様を制御する。
本発明によれば、眼鏡をかけた被計測者の瞳孔径および視線方向の少なくともいずれか一方を高い精度で計測することができる。
本発明の実施の形態1の照明システムにおける瞳孔・視線計測装置および照明器具の概略構成を示す図である。 本発明の実施の形態の瞳孔・視線計測装置において眼球の画像データを取得したときに、眼鏡のレンズで反射した外乱光が画像データに含まれた状態を説明するための図である。 本発明の実施の形態の瞳孔・視線計測装置において眼球の画像データを取得した後、画像データに含まれている眼鏡のレンズで反射した外乱光の画像がぼかされた状態を説明するための図である。 本発明の実施の形態の瞳孔・視線計測装置によって取得された眼球の画像データの所定の仮想線に沿って取得された輝度分布の一例を示す図である。 本発明の実施の形態の瞳孔・視線計測装置によって取得された眼球の画像データのうち、瞳孔の画像およびプルキンエ像の画像のみが残存させられた状態を説明するための図である。 本発明の実施の形態の瞳孔・視線計測装置によって取得された眼球の画像データの所定の仮想線に沿って取得された輝度分布の他の例を示す図である。 本発明の実施の形態の瞳孔・視線計測装置における瞳孔・視線計測処理を説明するためのフローチャートである。 光学系における絞りの大きさと被写界深度との関係を示す図であって、図8(a)は、絞りが相対的に小さい(F値が相対的に大きい)場合に被写界深度が相対的に深いことを説明するための図であり、図8(b)は、絞りが相対的に大きい(F値が相対的に小さい)場合に被写界深度が相対的に浅いことを説明するための図である。 光学系における焦点距離と被写界深度との関係を示す図であって、図9(a)は、開口径が同一であってかつ焦点距離が相対的に大きい場合に被写界深度が相対的に深いことを説明するための図であり、図9(b)は、開口径が同一であってかつ焦点距離が相対的に小さい場合に被写界深度が相対的に浅いことを説明するための図である。 本発明の実施の形態の瞳孔・視線計測装置における瞳孔径・視線方向算出処理を説明するためのフローチャートである。 瞳孔の部分画像およびプルキンエ像の部分画像を用いて瞳孔径および視線方向を算出する方法を説明するための図である。 本発明の実施の形態の瞳孔・視線計測装置における照明器具制御処理を説明するためのフローチャートである。 本発明の実施の形態の照明システムの使用形態の第1の例を示す図である。 本発明の実施の形態の照明システムの使用形態の第2の例を示す図である。 本発明の実施の形態の照明システムの使用形態の第3の例を示す図である。 本発明の実施の形態の照明システムの使用形態の第4の例を示す図である。 本発明の実施の形態2の瞳孔・視線計測装置の概略構成を示す図である。 本発明の実施の形態3の瞳孔・視線計測装置の一例の概略構成を示す図である。 本発明の実施の形態3の瞳孔・視線計測装置の他の例の概略構成を示す図である。
以下、図面を参照して、本発明の実施形態の瞳孔・視線計測装置および照明システムを詳細に説明する。以下の複数の実施の形態においては、同一の参照符号が付された部分同士は、図面上における形状に相違があっても、特段の記載がない限り、互いに同一の構成を有しているとともに、互いに同一の機能を発揮するものとする。
(実施の形態1)
図1を用いて、本発明の実施の形態1の瞳孔・視線計測装置8を含む照明システム20を説明する。
本実施の形態の照明システム20は、瞳孔・視線計測装置8および被計測者10が存在する環境に光を照射する照明器具50を備えている。本実施の形態においては、瞳孔・視線計測装置8は、算出された瞳孔径rおよび視線方向dのうちの少なくともいずれか一方に基づいて、照明器具50の照明の態様を制御する。つまり、照明システム20は、瞳孔径rおよび視線方向dのうちの少なくともいずれか一方から推測される被計測者10の状態に基づいて、照明器具50による照明の態様を変更することができる。瞳孔・視線計測装置8によって制御される照明器具50の照明の態様としては、輝度、色温度、および配光等が考えられる。ただし、瞳孔・視線計測装置8によって制御される照明器具50の照明の態様の変更は、何らかの照明特性を異なるように照明器具50の点灯の状態を変更するものであれば、いかなるものであってもよい。
本実施の形態の瞳孔・視線計測装置8は、眼鏡5をかけた被計測者10の顔15、特に、顎が、位置固定部64の接触部4に固定された状態で、被計測者10の眼球11の画像データを取得する。ただし、本実施の形態の瞳孔・視線計測装置8は、自動的に眼球11を検出し、ピントを合わせることができるものであるため、位置固定部64を必須の構成とする装置ではない。この点については、後述される。
本実施の形態においては、取得される眼球11の画像データは、眼球11の周囲の皮膚の画像、白目の画像、虹彩13の画像、および瞳孔12の画像を含んでいる。ただし、眼球11の画像データに加えて、眼鏡5のフレームの画像も取得されるものとする。眼鏡5のレンズの画像は、基本的には、取得されないものとするが、眼鏡5のレンズ上で反射した外乱光Oのみは画像データに含まれる場合がある。
図1においては、左眼鏡5Lおよび右眼鏡5R、左眼球11Lおよび右眼球11R、左虹彩12Lおよび右虹彩12R、左眼球11Lおよび右眼球11Rのように、左右の画像を区別している。左右の画像は、1つの画像として同時に取得されてもよいが、左右の画像のそれぞれが、別個の2つの画像として取得されてもよい。左右の眼球11のそれぞれを別個に撮像する場合には、左眼球11L用の瞳孔・視線計測装置8および右眼球11R用の瞳孔・視線計測装置8のそれぞれが別箇に設けられていることが好ましい。この場合、左右の瞳孔・視線計測装置8のそれぞれによって算出され左右の眼球の瞳孔径rおよび視線方向dの値の平均値を用いて照明器具50の照明の態様を制御する。ただし、以後の説明においては、説明を簡単にするため、左右の眼球の画像の区別をしない。
本実施の形態の瞳孔・視線計測装置8は、眼球照射部1、撮像機部2、および制御部3を備えている。制御部3は、眼球照射部1に被計測者10に向かって光を照射させ、撮像機部2で受け取られた被計測者10からの反射光に基づいて画像データを作成する。また、制御部3は、作成された画像データに基づいて、瞳孔径rおよび視線方向dを算出する。
眼球照射部1は、眼鏡5をかけた状態の被計測者10の眼球11に光を照射する。眼球照射部1が照射する光は、被計測者10に与える影響が小さければ、可視光線であってもよいが、可視光以外であってかつ人体に与える悪影響が小さい赤外線であることが好ましい。さらに、撮像素子2bによる画像の取得の容易さおよび人体へ与える悪影響の小ささの双方の観点から、眼球照射部1が照射する光は、近赤外線であることがさらに好ましい。
撮像機部2は、光学系2a、撮像素子2b、および光学系制御部2cを含んでいる。光学系2aは、眼球11で反射した反射光が通過する。撮像素子2bは、光学系2aを通過した反射光を受け、眼球11の画像データを取得する。
光学系2aは、パン、チルト、およびズームの3つの機能を実現する機構を有している。光学系制御部2cは、撮像素子2bによって撮像されている画像データに基づいて、眼球11の画像データが自動的に取得されるように、光学系2aの前述の3つの機能を実現する機構を制御することができる。したがって、本実施の形態の瞳孔・視線計測装置8によれば、計測者による瞳孔・視線計測装置8の操作なしに、眼球11の画像データが取得される。
また、光学系2aは、瞳孔12に自動的にピントを合わせるオートフォーカス機能を実現する機構を有している。光学系制御部2cは、撮像素子2bによって撮像されている眼球11の画像データに基づいて、瞳孔12に自動的にピントが合うように、光学系2aのオートフォーカス機能を実現する機構を制御する。つまり、本実施の形態の瞳孔・視線計測装置8によれば、計測者による瞳孔・視線計測装置8の操作なしに、瞳孔12に自動的にピントを合わせ、瞳孔12にピントが合った眼球11の画像が撮像素子2bに自動的に取得される。ただし、プルキンエ像Pを利用する場合には、光学系制御部2cは、瞳孔12に加えて眼球11の角膜にもピントが合っているように、光学系2aを制御する。
瞳孔・視線計測装置8は、眼球照射部1および撮像機部2のそれぞれの姿勢および位置を変更する位置姿勢変更機構120を備えている。したがって、光学系制御部2cは、撮像素子2bによって撮像されている眼球11の画像データに基づいて、眼球照射部1および撮像素子2bのそれぞれの姿勢および位置を変更することができる。それにより、光照射部が照射した光の眼鏡5または眼球11の周辺の身体部分での反射光が瞳孔12に重ならない。また、光学系制御部2cは、眼鏡5または眼球11の周辺の身体部分の影が瞳孔12に重ならないように、眼球照射部1および撮像素子2bのそれぞれの姿勢および位置を変更することができる。つまり、本実施の形態の瞳孔・視線計測装置8によれば、計測者の操作なしに、眼鏡5または眼球11の周辺の身体部分による悪影響が排除された状態の眼球11の画像データが自動的に取得される。位置姿勢変更機構120は、眼球照射部1および撮像機部2のうちのいずれか一方の姿勢および位置を変更するものであってもよい。
本実施の形態の光学系2aは、いわゆる、望遠レンズと呼ばれる、被写界深度Xが極めて浅い状態を形成することができるレンズ系である。本実施の形態の光学系2aおよび撮像素子2bは、瞳孔12の周辺を拡大して撮影する際に、その被写界深度Xが眼球11の角膜と眼鏡5のレンズとの間の距離よりも小さな値になり得るように構成されている。したがって、眼球11の角膜および瞳孔12にピントが合っている状態で、被写界深度Xを角膜と眼鏡5のレンズとの間の距離よりも小さな値に変更することができる。そのため、撮像素子2bによって取得される眼球11の画像において、眼鏡5のレンズ上で反射した外乱光Oの画像をぼけさせることができる。
ピントは、虹彩13、瞳孔12、角膜、およびそれらの近傍のいずれの位置に最良の状態で合わされてもよいが、少なくとも瞳孔12にはピントが合っていることが必要である。瞳孔12は、虹彩13によって囲まれた孔であるため、本明細書においては、瞳孔12にピントが合っている場合には、虹彩13にもピントが合っているものとする。また、視線方向dの算出にプルキンエ像Pを用いる場合には、瞳孔12および虹彩13に加えて、角膜にもピントが合っていることが必要になる。そのため、プルキンエ像Pを利用する場合には、被写界深度Xは、眼球11の角膜と眼鏡5のレンズとの間の距離よりも小さな値であることが必要である。ただし、プルキンエ像Pを利用しない場合には、被写界深度Xは、瞳孔12と眼鏡5のレンズとの間の距離よりも小さな値であればよい。
本実施の形態の光学系制御部2cは、上記の一般的な撮像機機能に加えて、瞳孔12(または瞳孔および角膜)にピントが合っている状態で、眼鏡5のレンズにピントが合っていないように、光学系2aおよび撮像素子2bを制御することができる。具体的には、光学系制御部2cは、瞳孔12(または瞳孔および角膜)にピントが合っている状態で、光学系2aの絞りおよび焦点距離のうちの少なくともいずれか一方を変更する。それにより、光学系制御部2cは、被写界深度Xを瞳孔12(または角膜)と眼鏡5のレンズとの間の距離よりも小さな値にする。したがって、撮像素子2bは、眼球照射部1から照射された光の眼鏡5のレンズでの反射光がぼやけさせられた状態の眼球11の画像データを取得することができる。
本実施の形態においては、光学系制御部2cは、一旦、被写界深度Xが瞳孔12(または角膜)と眼鏡5のレンズとの間の距離よりも大きい状態で、瞳孔12にピントを合わせる。その後、光学系制御部2cは、瞳孔12(または瞳孔および角膜)にピントが合っている状態が維持されように光学系2aの絞りおよび焦点距離の少なくともいずれか一方を変更しながら、被写界深度Xを瞳孔12と眼鏡5のレンズとの間の距離よりも小さくする。したがって、瞳孔12にピントが合っているが、眼鏡5のレンズにピントが合っていない状態を効率的に形成することができる。このとき、眼球11の角膜および瞳孔12の双方にピントが合っていることが必要であれば、被写界深度Xは、角膜と眼鏡5のレンズとの間の距離よりも小さくすることが好ましい。
本実施の形態においては、予め定められた瞳孔12(または角膜)と眼鏡5のレンズとの間の距離よりも小さな被写界深度Xの値が記憶されている。また、光学系制御部2cは、瞳孔12(または角膜および瞳孔)にピントが合った状態で、被写界深度Xをその記憶された値と一致するまで小さくしていく。このように光学系2aを制御するための情報は、予め光学系制御部2cに組み込まれている。
本実施の形態においては、より確実に外乱光Oをぼやけさせるために、被写界深度Xを瞳孔12(または角膜)と眼鏡5のレンズとの間の距離よりも小さくしている。しかしながら、被写界深度Xを変更することなく、ピントが合っている範囲の境界を眼鏡5側から瞳孔12側へずらすことによって、瞳孔12(または瞳孔および角膜)にピントが合っている状態で、眼鏡5のレンズにピントが合っていない状態が形成されてもよい。この場合、被写界深度Xは瞳孔12(または角膜)と眼鏡5のレンズとの間の距離よりも大きくてもよい。
制御部3は、起動スイッチ9、画像処理部3a、および表示・照明制御部3bを含んでいる。起動スイッチ9は、瞳孔・視線計測装置8を起動させるものであり、起動スイッチ9がONの状態になると、眼球照射部1が光を発する。画像処理部3aは、撮像機部2によって取得された眼球11の画像を処理し、瞳孔径rおよび視線方向dを算出する。表示・照明制御部3bは、算出された瞳孔径rおよび視線方向dの値に基づいて、後述される照明器具50の照明の態様を制御する。
表示・照明制御部3bは、眼球11の画像データを表示する表示部7を制御してもよい。この場合、表示・照明制御部3bは、眼球11の画像ならびに眼球11の瞳孔径rおよび視線方向dを表示部7に表示することができる。ただし、本実施の形態の瞳孔・視線計測装置8は、計測者を必要としない照明システム20において用いられるものであるため、眼球11の画像データを表示する表示部7を制御しなくてもよい。つまり、表示・照明制御部3bは、本実施の形態においては、照明器具50の照明の態様のみを制御するものであってもよい。
次に、図2〜図6を用いて、眼鏡5のレンズ上で反射した外乱光Oをぼけさせることにより、瞳孔12の部分画像データおよびプルキンエ像Pの部分画像データを高い精度で取得する方法を説明する。図2〜図6は、撮像素子2bによって取得される眼球11および眼鏡5のイメージ像を示している。また、図4〜図6においては、撮像素子2bに入射する反射光の輝度の値とX軸に沿った位置との関係がグラフで示されている。撮像素子2bに入射する反射光の輝度は、平坦な部分を有する。平坦な部分は、眼球11の同じ色の部分で反射した光と考えられる。たとえば、瞳孔12が黒色であるため、最も低い輝度を有する平坦部が瞳孔12の画像と考えられる。また、プルキンエ像Pは、反射光の輝度が最も高い尖った部分の先端であると考えられる。したがって、図4〜図6から分かるように、撮像素子2bに入射する反射光の輝度によって、グラフのいずれの部分が、プルキンエ像P、外乱光O、虹彩13、および瞳孔12のいずれであるのかを容易に特定することができる。
図4〜図6において、X軸に平行な複数の仮想線のそれぞれに沿った輝度のデータが取得される。それにより、眼球11の画像データのうち、瞳孔12の部分画像データおよびプルキンエ像Pの部分画像データを作成することができる。
一般に、図2に示されるように、眼鏡5のレンズ上で反射した外乱光Oは、虹彩13の画像データに重なると、虹彩13の外周が明確でなくなる場合がある。そのため、本実施の形態の瞳孔・視線計測装置8は、図3に示されるように、外乱光Oの画像データのみをぼけさせる。それにより、虹彩13の外周を特定することが可能になる。
図4および図6から分かるように、外乱光Oの画像データは、ぼけていなければ、一点鎖線で示されるように、プルキンエ像Pの画像とほぼ同一の輝度を有している。しかしながら、本実施の形態の瞳孔・視線計測装置8は、外乱光Oの画像データをぼけさせているため、図4および図6に示される符号Kの斜線領域から分かるように、外乱光Oの輝度は、ぼけていない状態に比較して、低下している。その結果、撮像素子2bによって取得されるプルキンエ像Pは、上側閾値UTよりも大きな値の輝度を有している。一方、撮像素子2bによって取得される外乱光Oは、上側閾値UTよりも小さい値の輝度を有している。したがって、輝度が上側閾値UTよりも大きい値の部分の画像データがプルキンエ像Pの部分画像データとして特定され得る。
また、図4および図6から分かるように、瞳孔12の画像の輝度は、下側閾値LTよりも小さい値の輝度を有している。そのため、輝度が下側閾値LTよりも小さい値の部分の画像データが瞳孔12の部分画像データとして特定され得る。本実施の形態においては、図4および図6から分かるように、瞳孔径rは、瞳孔12の部分画像データのX軸方向に沿った幅の最大値であるものとする。
なお、図4に示される画像のうち、瞳孔12とプルキンエ像Pのみ残存させ、他の部分を虹彩13の輝度と同一であるとすると、図5に示されるような画像が得られる。つまり、本実施の形態の瞳孔・視線計測装置8は、図5に示されるように、瞳孔12とプルキンエ像Pのみをその他の画像と区別するための画像処理を行っている。
上記のように、図6に示されるように、眼鏡5のレンズ上で反射した外乱光Oは、瞳孔12の画像データに重なると、瞳孔12の外周が明確でなくなる場合がある。この場合、瞳孔径rを高い精度で計測できない場合がある。また、瞳孔中心が明確でなくなる場合がある。これらの場合には、視線方向dも計測できない。そこで、外乱光Oの画像のみをほけさせることにより、撮像素子2b上でぼけた部分の外乱光Oの画像と瞳孔12の部分画像とを区別する。画像処理部3aは、瞳孔12の画像に重なったぼけた部分の画像を除外して、瞳孔12の画像を認識する。そのため、画像処理部3aは、眼鏡5のレンズ上で反射した外乱光Oが瞳孔12の画像に与える悪影響が排除された状態で、被計測者10の瞳孔径rおよび視線方向dを算出することができる。したがって、瞳孔径rおよび視線方向dを高い精度で算出することができる。
図4および図6においては、瞳孔12の部分画像およびプルキンエ像Pと外乱光Oとを明確に区別するためには、外乱光Oの輝度を低下させる程度を調節する必要がある。また、上側閾値UTおよび下側閾値LTのそれぞれの値を、瞳孔12の部分画像およびプルキンエ像Pの輝度のそれぞれと外乱光Oの輝度とを区別できるような値に設定しておく。具体的には、図4および図6のグラフにおいて符号Kで示される斜線領域が上側閾値UTおよび下側閾値LTのいずれをも跨がないようにする。
次に、図7〜図12を用いて、瞳孔・視線計測装置8において実行される制御処理を説明する。
まず、図7を用いて、瞳孔・視線計測処理を説明する。
ステップS1において、制御部3は、瞳孔・視線計測装置8の起動スイッチ9がON状態であるのか否かを判定する。ステップS1において、起動スイッチ9がON状態でないと判定されると、制御部3は、その状態で待機する。ステップS1において、起動スイッチ9がON状態である判定されると、制御部3は、眼球照射部1に近赤外光を照射させる。それにより、撮像素子2bは、近赤外光の反射光を受け取る。その後、撮像機部2は、光学系2aのパン・チルト・ズーム機能を利用して、被計測者10の眼球11を探す。このとき、光学系制御部2cは、ステップS3において、光学系2aの光軸の方向を様々に変化させる制御を実行しながら、ステップS4において、予め内部に記憶された眼球のモデルの画像と撮像素子2bによって撮像されている画像とを対比する。
ステップS4において、光学系制御部2cは、予め内部に記憶された眼球のモデルの画像と撮像素子2bによって撮像されている実際の眼球11の画像とが形状において一致する部分を有していない場合がある。この場合には、光学系制御部2cは、ステップS1〜ステップS4の処理を繰り返す。一方、ステップS4において、予め内部に記憶された眼球のモデルの画像と撮像素子2bによって撮像されている実際の眼球11の画像とが形状において一致する部分を有している場合がある。この場合には、光学系制御部2cは、被計測者10の眼球11が検出されたとみなし、ステップS5の処理を実行する。
ステップS5においては、光学系制御部2cは、瞳孔12にピントを合わせるように光学系2aを制御する。いわゆる、オートフォーカス機能が利用される。具体的には、光学系2aのレンズの位置を光軸に沿って前後に移動させることにより、撮像素子2bによって取得されている瞳孔12の部分画像の輝度が最も高い状態またはそれに近い状態になっている場合に、光学系2aのレンズの移動を停止する。ステップS6において、制御部3は、撮像素子2bによって取得されている画像において、瞳孔12にピントが合っているか否かを判定する。つまり、瞳孔12の部分画像の輝度が所定の値よりも高いか否かを判定する。
制御部3は、撮像素子2bによって取得されている画像において、瞳孔12にピントが合っていない場合には、ステップS1〜ステップS6の処理を繰り返す。一方、制御部3は、撮像素子2bによって取得されている画像において、瞳孔12(または瞳孔および角膜)にピントが合っている場合には、ステップS7の処理を実行する。ステップS7においては、制御部3は、撮像素子2bによって取得されている実際の眼球11の画像に、眼球照射部1が照射した光の眼鏡5または眼球11の周辺の身体部分での反射光が重なっているか否かを判定する。また、ステップS7においては、制御部3は、撮像素子2bによって取得されている実際の眼球11の画像に、眼鏡5または眼球11の周辺の身体部分の影が重なっているか否かを判定する。この判定は、撮像素子2bによって取得されている実際の眼球11の画像と影または反射光が重なっている眼球のモデル画像とを対比することにより行われる。具体的には、制御部3は、実際の瞳孔12の画像中に輝度が大きく変化する部分があると、影または反射光が瞳孔12の画像に重なっていると判定する。つまり、瞳孔12の色は単一色に近いため、ほぼ平坦の輝度分布になるはずであるが、そのようになっていない場合、制御部3は、瞳孔12の画像に反射光または影の何等かの影響が及ぼされているとみなす。
ステップS7においては、撮像素子2bによって取得されている実際の眼球11の画像に反射光および影の少なくともいずれか一方の画像が重なっている場合には、制御部3は、ステップS8の処理を実行する。ステップS8においては、制御部3は、撮像素子2bによって撮像されている眼球11の画像データに基づいて、光学系制御部2cに制御指令を送る。それにより、光学系制御部2cは、眼球照射部1が照射した光の眼鏡5または眼球11の周辺の身体部分での反射光の画像が瞳孔12の画像に重ならいように、眼球照射部1および撮像機部2の姿勢および位置を変更する。また、ステップS8においては、光学系制御部2cは、眼鏡5または眼球11の周辺の身体部分の影の画像が瞳孔12の画像に重ならないように、眼球照射部1および撮像機部2の姿勢および位置を変更する。ステップS7およびステップS8の処理は、反射光および影の画像が撮像素子2bによって取得されている瞳孔12の画像に含まれていない状態になるまで繰り返される。具体的には、眼球照射部1および撮像機部2の姿勢および位置が、予め定められた複数種類の姿勢および位置の変更パターンにしたがって順次変更される。
ステップS7においては、反射光の画像および身体部分の影の画像のいずれもが、瞳孔12の画像に重なっていない場合には、制御部3は、ステップS9の処理を実行する。
ステップS9においては、制御部3は、撮像素子2bによって取得されている画像の外乱光Oをぼけさせるための制御指令を光学系制御部2cへ送る。それにより、光学系制御部2cは、被写界深度Xを所定値以下にするか、または、被写界深度Xを所定値以下の状態で維持するように光学系2aを制御する。具体的には、制御部3は、たとえば、被写界深度Xが瞳孔12と眼鏡5のレンズとの間の距離よりも小さくなるように、光学系制御部2cに光学系2aの絞りの大きさを調節させる。被写界深度Xの変更の仕方については、後述される。
次に、ステップS10において、制御部3は、瞳孔12(または瞳孔および角膜)にピントが合っている状態で、撮像素子2bによって取得されている実際の眼球11の画像における外乱光Oの部分画像がぼけているか否かを判定する。ステップS10において、瞳孔12(または瞳孔および角膜)にピントが合った状態で、撮像素子2bによって取得されている実際の眼球11の画像における外乱光Oの部分画像がぼけていない場合がある。この場合には、制御部3は、ステップS6〜ステップS10の処理を繰り返す。
一方、ステップS10において、瞳孔12にピントが合っている状態で、撮像素子2bによって取得されている画像の外乱光Oがぼけている場合には、制御部3は、ステップS13の処理を実行する。ステップS11においては、制御部3は、撮像素子2bによって取得されている瞳孔12の部分画像データおよびプルキンエ像Pの部分画像データを用いて、瞳孔径rおよび視線方向dを算出する。その後、ステップS12において、制御部3は、その算出された瞳孔径rおよび視線方向dを用いて、照明器具50を照明の態様を制御する。
上記の制御方法によれば、光学系制御部2cは、一旦、瞳孔12および眼鏡5のレンズの双方にピントが合っている状態が形成されるように光学系2aを制御する。つまり、光学系制御部2cは、一旦、瞳孔12(または角膜)と眼鏡5のレンズとの間の距離よりも被写界深度Xが大きい状態で、瞳孔12および眼鏡5のレンズの双方を撮像素子2bに撮像させる。その後、光学系制御部2cは、瞳孔12(または瞳孔および角膜)にピントが合っている状態を維持しながら、かつ、眼鏡5のレンズにピントが合わなくなるように、光学系2aを制御する。つまり、光学系制御部2cは、瞳孔12(または角膜)にピントが合っている状態で、瞳孔12と眼鏡5のレンズとの間の距離よりも被写界深度Xを小さくしている。したがって、計測の当初から、被写界深度Xが極めて小さい状態で、瞳孔12にピントを合わせるわけではない。そのため、瞳孔12(または瞳孔および角膜)にピントが合っているが、眼鏡5のレンズにピントが合っていない状態をある程度効率的に形成することができる。
図8および図9に示されるように、上記の被写界深度Xは、撮像素子2bによって取得される画像のピントが合っているように見える被写体側の距離の範囲である。図8(a)に示されるように、焦点距離fが同一で絞り部201の開口径Dが相対的に小さい(F値=f/Dが相対的に大きい)場合に、被写界深度Xは相対的に深い。一方、図8(b)に示されるように、焦点距離fが同一で絞り部201の開口径Dが相対的に大きい(F値=f/Dが相対的に小さい)場合に、被写界深度Xは相対的に浅い。したがって、焦点距離fが同一の状態で、絞り部201の開口径Dを大きくすることにより、被写界深度Xを小さくすることができる。また、図9(a)に示されるように、焦点距離fが相対的に大きい場合に、被写界深度Xは相対的に深い。一方、図9(b)に示されるように、焦点距離fが相対的に小さい場合に、相対的に被写界深度Xは浅い。したがって、焦点距離fを小さくすることによっても、被写界深度Xを小さくすることができる。本実施の形態においては、光学系制御部2cは、被写界深度Xを変更するために、光学系2aにおける開口径Dおよび焦点距離fの少なくともいずれか一方を変更するものとする。
本実施の形態においては、光学系制御部2cは、光学系2aのみを制御することにより、眼球11の瞳孔12(または瞳孔および角膜)にピントが合っているが、眼鏡5のレンズにピントが合っていない状態を形成する。しかしながら、光学系制御部2cは、撮像素子2bを制御することにより、眼球11の瞳孔12(または瞳孔および角膜)にピントが合っているが、眼鏡5のレンズにピントが合っていない状態を形成してもよい。撮像素子2bを光軸に沿って移動させると、焦点距離fを変更することができるため、被写界深度Xを変更することができる。つまり、光学系制御部2cは、被写界深度Xの変更のために、光学系2aおよび撮像素子2bのうちの少なくともいずれか一方を制御するものであればよい。いずれの場合も、光学系制御部2cは、眼球11の瞳孔12(または瞳孔および角膜)にピントが合っているが、眼鏡5のレンズにピントが合っていない状態を形成できればよい。
次に、図10を用いて、瞳孔径・視線方向算出処理を説明する。以下の説明では、眼球11の瞳孔12および角膜の双方にピントが合っているという前提条件の下で、瞳孔径・視線方向算出処理を説明する。
本実施の形態の瞳孔・視線計測装置8においては、ステップS21において、まず、画像処理部3aが、眼球11の画像データのうち、図6に示される所定の輝度の閾値LTよりも小さい輝度を有する部分を瞳孔12の部分画像データとして認識する。本実施の形態においては、ステップS22において、画像処理部3aは、眼球11の画像データのうち、被計測者10の角膜で反射したプルキンエ像の部分画像データとして認識する。プルキンエ像の部分画像は、図6に示される所定の輝度の閾値LTよりも大きな特定の輝度の閾値UTよりも大きな輝度を有する部分である。つまり、画像処理部3aは、瞳孔12の部分画像およびプルキンエ像Pの部分画像を認識する。
次に、画像処理部3aは、ステップS23において、瞳孔12の部分画像データを用いて、瞳孔径rを算出する。本実施の形態においては、図6において、X軸と平行な仮想線をY軸方向に沿って移動させたときに、瞳孔12の部分画像データと仮想線とが重なる部分の距離の一番大きい値を瞳孔径rとする。なお。瞳孔径rの計測は、瞼のかげ等により計測誤差が生じることを考慮すると、瞳孔12の水平方向(横径)の径であること好ましい。
その後、画像処理部3aは、ステップS24において、瞳孔12の部分画像データおよびプルキンエ像Pの部分画像データを用いて、視線方向dを算出する。
視線方向dを算出するために、まず、瞳孔12の中心Tの空間座標を求める。
図11には、光学系2aのレンズ中心222と、レンズ中心222から焦点距離fだけ離れた位置にある撮像素子2bによって取得された画像の平面座標系26とが描かれている。円12aは、瞳孔12の画像の外周であり、円12aの中心点tは、瞳孔12の中心Tの画像であり、pは、平面座標系26上で取得されるプルキンエ像の画像である。中心点tの平面座標(tu、tv) は撮影画像から把握され得る。そのため、瞳孔12の中心Tの空間座標(Tx、Ty 、T z ) は、次の式によって算出される。
Tx=(Tz/f)・tuであり、Ty=(Tz/f)・tvであり、Tzは、レンズ中心222と眼球11との距離とほぼ等しい。ここで、fは、光学系2aの焦点距離である。記号「・」はスカラー積を示す。
瞳孔12の中心Tの空間座標の算出方法は、具体的には、特開2005−253778号公報に開示されている技術が用いられてもよい。ただし、瞳孔12の中心Tの空間座標は、いかなる方法によって算出されてもよい。たとえば、特開平8-140937号公報に開示されている技術が用いられてもよい。
また、視線方向dを算出するときには、本実施の形態においては、画像処理部3aは、自らが把握している(i)〜(iii)の値を用いて、プルキンエ像Pの空間座標を三角測量の原理により算出する。
(i) 図11に示される眼球照射部1の光源111とレンズ中心222とを結ぶ仮想の線分111−222の距離
(ii) 眼球照射部1の光源111とプルキンエ像Pとを結ぶ仮想の線分P−111と仮想の線分111−222とがなす角度θ1
(iii) レンズ中心222とプルキンエ像Pを結ぶ仮想の線分P−222と仮想の線分111−222とがなす角度θ2
角膜14を含む仮想の角膜球モデル14aの半径Rは、既知の一定値(たとえば、7.7mm)であるものとする。
半径Rの値は、仮想の角膜球モデル14aの中心Sとプルキンエ像Pとの間の距離である仮想の線分SPの距離に等しい。また、プルキンエ像Pから仮想の角膜球モデル14aの中心Sへ向かう方向は、眼球照射部1の光源111とレンズ中心222との中点Mとプルキンエ像Pを結ぶ仮想の線分PMの延長線上にある。そのため、仮想の角膜球モデル14aの中心Sの空間座標は、容易に算出される。
その後、画像処理部3aは、瞳孔12の中心Tの空間座標および仮想の角膜球モデル14aの中心Sの空間座標を用いて、瞳孔12の中心Tと角膜球モデル14aの中心Sとを結ぶ線のベクトルを視線方向dとして算出する。
視線方向dを算出する技術としては、特開2006−95008号公報または特開2003-79577号に開示されている技術等、いかなる技術が用いられてもよい。
眼球11の形状の特殊性が瞳孔径rおよび視線方向dの計測に悪影響を及ぼす場合には、仮想の眼球モデルを用いることにより、瞳孔径rおよび視線方向dの値を補正してもよい。まつげの影による悪影響を除去する処理は、一般的に行われている処理である。つまり、瞳孔12の画像を2値化するときに、瞳孔12の画像において水平方向(先に説明したX軸方向)に短い切れ目が発見されると、その切れ目が周囲の画像からの推定によって補完される。
本実施の形態の瞳孔径rおよび視線方向dの算出処理は上記のようなものである。特に本実施の形態においては、視線方向dの計測の精度を向上させるために、瞳孔12の部分画像データおよびプルキンエ像Pの部分画像データを用いて、視線方向dを算出している。しかしながら、瞳孔径rおよび視線方向dを算出することができる処理であれば、いかなる処理が実行されてもよい。たとえば、画像処理部3aは、虹彩13の部分画像データのみを用いて、瞳孔径rおよび視線方向dの双方を算出することも可能である。なお、本明細書においては、瞳孔12にピントが合っている場合には、虹彩13にもピントが合っているものとする。この場合、虹彩13の部分画像から楕円モデルが作成される。この楕円モデルの中心座標、長軸、短軸、軸の傾きの5つのパラメータに基づいて、視線方向dを算出してもよい。同様に、瞳孔12の部分画像のみから瞳孔径rおよび視線方向dの双方を算出されてもよい。
上記の制御によれば、瞳孔径rおよび視線方向dの計測の精度を高めるために望遠レンズで瞳孔12周辺を拡大して撮影する。その際、被写界深度Xの浅さを利用して、撮像素子2bによって取得される画像において、眼鏡5のレンズでの反射像をぼかす。それにより、2値化という簡単な画像処理によって、眼鏡5のレンズ上の反射像による悪影響を低減することができる。その結果、瞳孔径rおよび視線方向dの計測の精度がさらに向上する。
最後に、図12を用いて、本実施の形態の照明器具制御処理の一例を説明する。
ステップS41において、制御部3は、瞳孔径rが所定値よりも小さいか否かを判定する。ステップS41において、瞳孔径rが所定値よりも小さくないと判定されれば、制御部3は、被計測者10の周辺環境が明る過ぎる状態になっているわけではないとみなす。そのため、制御部3は、ステップS43の処理を実行する。一方、ステップS41において、瞳孔径rが所定値よりも小さいと判定されれば、制御部3は、周辺環境が明る過ぎる状態になっているために被計測者10が目をしかめているかまたは目を細めているとみなす。それにより、ステップS42において、制御部3は、照明器具50の照度を小さくかつ照明器具50の発光色を暗い色に変更する処理を実行する。つまり、制御部3は、明る過ぎるために瞳孔径rを過度に小さくしている被計測者10の目の負担を軽減するように照明器具50の照明の態様を変更する。ただし、照明器具50が発する光の明るさと色とはそれぞれ独立して制御されてもよい。
次に、ステップS43において、制御部3は、瞳孔径rが特定値よりも大きいか否かを判定する。ステップS43において、瞳孔径rが特定値よりも大きくないと判定されれば、制御部3は、被計測者10の周辺環境が暗過ぎる状態になっているわけではないとみなす。それにより、制御部3は、ステップS45の処理を実行する。一方、ステップS43において、瞳孔径rが特定値よりも大きいと判定されれば、制御部3は、被計測者10の周辺環境が暗過ぎる状態になっているために被計測者10が目を過度に大きく見開いているとみなす。それにより、制御部3は、ステップS44において、照明器具50の照度を大きくかつ照明器具50の発光色を明るい色に変更する処理を実行する。つまり、制御部3は、暗過ぎるために過度に瞳孔径rが大きくなっている被計測者10の負担を軽減するように照明器具50の照明の態様を変更する。ただし、この場合も、照明器具50が発する光の明るさと色とはそれぞれ独立して制御されてもよい。
その後、ステップS45において、制御部3は、視線方向dが安定しているか否かを判定する。たとえば、視線方向dがある程度の範囲の領域を通過していると、制御部3は、視線方向dが安定していると判定する。ステップS45において、視線方向dが安定していると判定されれば、制御部3は、被計測者10の集中力が適正である状態であるとみなして、ステップS41の処理を実行する。一方、ステップS45において、視線方向dが安定していないと判定される場合がある。たとえば、視線方向dがある程度の範囲の領域を通過していない時間が所定時間以上継続する場合がある。この場合、制御部3は、被計測者10の集中力が適正ではない状態であるとみなす。それにより、制御部3は、ステップS46において、照明器具50を点滅させる処理を実行する。つまり、制御部3は、視線方向dが安定していないと判定された被計測者10に集中力の欠如の注意を喚起するために、照明器具50を点滅させる。この場合、照明器具50の発光色を赤または黄色等の被計測者10に注意を喚起する色にしてもよい。
図13に示されるように、照明システム20の第1の例は、瞳孔・視線計測装置8が照明器具50としての自動車70のカーナビゲーションシステム50aの表示部のバックライトを制御する制御装置として設置されている。また、瞳孔・視線計測装置8は、車内灯50bも制御する。本実施の形態においては、被計測者10は、自動車70の運転手である。
この照明システム20が使用されている状況では、視線方向dが前方側のある範囲内の領域を通過しない状態が所定時間以上継続する場合には、被計測者10である運転手は、居眠り運転かまたは脇見運転をしているおそれがある。その場合、照明器具50の点滅または照明器具50をより明るく点灯させることにより、被計測者10に注意を喚起することができる。
また、同様に、瞳孔径rに大きなゆらぎが見られる場合には、車の運転手に眠気がおそっていることが考えられる。このような場合にも、照明器具50の照度を明るくすることにより覚醒を促したり、色温度を下げて、車の運転手をリラックスさせたりすることができる。
図14に示されるように、本実施の形態の照明システム20の第2の例は、上記したような瞳孔・視線計測装置8が、照明器具50としての液晶表示部LED150のバックライトを制御する制御装置として設置されている。液晶表示部LED150は、タブレット端末機または携帯端末機等のコンピュータの表示部である。被計測者10は、視認対象物100を見ている。この照明システム20によれば、被計測者10の状態に大きな影響を与えるバックライトによる照明の態様を、被計測者10の状態に基づいて変更することができる。たとえば、瞳孔径rが大き過ぎると、照明器具50としてのバックライトの明るさを増加させ、瞳孔径rが小さ過ぎると、照明器具50としてのバックライトの明るさを低下させる。これにより、視認対象物100を見ている被計測者10の目の疲労の度合いを低減することができる。
図15に示されるように、本実施の形態の照明システム20の第3の例は、上記したような瞳孔・視線計測装置8が、照明器具50としての机上に設置される照明器具50を制御する制御装置である。被計測者10は、室内で視認対象物100に表示されている画像をみながら、勉強している学生である。
この場合、瞳孔径rが過度に小さくなっていれば、被計測者10の勉強に対する集中力が低下しているおそれがある。このとき、照明システム20によれば、照明器具50の点滅または照明器具50をより明るく点灯させることにより、被計測者10に注意を喚起することができる。具体的には、瞳孔径rが所定値よりも小さい場合、照明器具50を点滅させるか、または、照明器具50が発する光の明るさを増加させる。この場合も、照明器具50が発する光の色を明るい色(あるいは高色温度)に変更してもよい。
逆に、瞳孔径rが過度に大きくなっていれば、被計測者10が緊張状態で興奮している場合がある。この場合、緊張をほぐすために、照明器具50が発する光の明るさを低下させてもよい。さらに、被計測者10を落ち着かせるために、照明器具50が発する光の色を暗い色(あるいは低色温度)に変更してもよい。
図16に示されるように、本実施の形態の照明システム20の第3の例は、上記したような瞳孔・視線計測装置8が、照明器具50としての天井面に取り付けられた照明器具である。被計測者10が応接室で視認対象物100としてのテレビを見ている人である。本実施の形態の瞳孔・視線計測装置8は、無線通信により、天井面に取り付けられた照明器具50の照明の態様を制御する。本実施の形態の瞳孔・視線計測装置8は、テレビ(あるいは照明器具)のリモートコントローラに内蔵され、居間のテーブルの上に置かれている。
本実施の形態の瞳孔・視線計測装置8は、明る過ぎるために瞳孔径rが過度に小さくなっている場合、被計測者10の目の負担を軽減するように照明器具50の照度を小さくする。計測された視線方向に基づいて、被計測者10がテレビ画面の中央を注視している状態であると判断されれば、テレビから発せられる光自体が明る過ぎるとみなして、テレビの明るさを下げてもよい。また、本実施の形態の瞳孔・視線計測装置8は、暗過ぎるために瞳孔径rが過度に大きくなっている場合、被計測者10の負担を軽減するように照明器具50の照度を大きくする。これにより、被計測者10としてのテレビの視聴者の目の疲労の度合いが軽減される。なお、視認対象物100は、図15のようにテーブルの上に置かれていてもよい。
本実施の形態1の瞳孔・視線計測装置8は、照明器具50を制御するものとして記載さているが、照明器具50を制御することなく、単に瞳孔径rおよび視線方向dのデータを出力のみする装置として用いられてもよい。この場合には、瞳孔・視線計測装置8が瞳孔径rおよび視線方向dのデータを表示する表示部7を有していてもよい。また、瞳孔・視線計測装置8から出力された瞳孔径rおよび視線方向dのデータが他の装置で表示されてもよい。
(実施の形態2)
次に、図17を用いて、本発明の実施の形態2の瞳孔・視線計測装置を説明する。
図17に示されるように、実施の形態2の瞳孔・視線計測装置8は、眼球照射部1、光学系2a、撮像素子2b、画像処理部3a、表示部7、および操作部2dを備えている。眼球照射部1は、眼鏡5をかけた状態の被計測者10の眼球11に光を照射する。光学系2aは、眼球11で反射した反射光が通過する。撮像素子2bは、光学系2aを通過した反射光を受け、眼球11の画像データを取得する。画像処理部3aは、撮像素子2bによって取得された前記眼球11の画像データに基づいて、被計測者10の瞳孔径rおよび視線方向dのうちの少なくともいずれか一方を算出する。これらのことは、上記実施の形態1と全く同様である。
本実施の形態の瞳孔・視線計測装置8は、上記の実施の形態の瞳孔・視線計測装置では必要ではなかった表示部7を備えている。表示部7は、撮像素子2bによって取得された眼球11の画像データに基づいて眼球11の画像を表示する。表示部7は、制御部3に内蔵された表示・照明制御部3bによって制御される。表示・照明制御部3bは、表示部7に眼球11の画像データを表示する。本実施の形態においては、表示・照明制御部3bが照明器具を制御することは必須ではないが、必要に応じて照明器具を制御してもよい。
また、実施の形態の瞳孔・視線計測装置8は、上記の実施の形態の瞳孔・視線計測装置では必要ではなかった操作部2dが撮像機部2に設けられている。操作部2dは、計測者200が、表示部7に表示されている眼球11の画像を見ながら、眼球11の瞳孔12(または瞳孔および角膜)にピントが合っているが、眼鏡5のレンズにピントが合っていないように、光学系2aを制御するためのものである。つまり、本実施の形態においては、実施の形態1の光学系制御部2cの代わりに、計測者200が、眼球11の瞳孔12(または瞳孔および角膜)にピントが合っているが、眼鏡5のレンズにピントが合っていない状態を形成する。操作部2dは、たとえば、絞り部の開口径Dおよび焦点距離fのそれぞれを変更するためのものである。計測者200は、操作部2dを操作することにより、光学系2aの形態を変更し、ピントを被計測者10の瞳孔12(または瞳孔および角膜)に合わせたり、被写界深度Xを小さくして眼鏡5のレンズの画像をぼかしたりすることができる。
本実施の形態の瞳孔・視線計測装置8によっても、瞳孔径rおよび視線方向dのうちの少なくともいずれか一方の算出の精度が向上する。また、本実施の形態の瞳孔・視線計測装置8によれば、瞳孔12(または瞳孔および角膜)にピントが合っているかどうか、および、外乱光Oがぼやけているかどうかを計測者200が確認しながら、瞳孔径rおよび視線方向dを認識することができる。したがって、瞳孔・視線計測装置8の誤作動等に起因する瞳孔径rおよび視線方向dの計測の不備を防止することができる。
なお、表示・照明制御部3bは、画像処理部3aによって算出された瞳孔径rおよび視線方向dを表示部7に表示させることが好ましい。これによれば、計測者200は、表示部7に表示されている眼球11の画像を操作部2dで変更しながら、瞳孔径rおよび視線方向dを把握することができる。
ただし、表示部7が設けられていない場合には、表示・照明制御部3bは、画像処理部3aによって算出された瞳孔径rおよび視線方向dを記録媒体に記憶させるものであってもよい。また、表示・照明制御部3bは、他のコンピュータに対して出力するものであってもよい。これらの場合、瞳孔径rおよび視線方向dは、他の装置において処理される。
実施の形態1と同様に、本実施の形態においても、表示・照明制御部3bが照明器具50を制御してもよい。この場合には、照明器具50の照明の態様の変更に応じて、瞳孔径dおよび視線方向dがどのように変化するかを、計測者200が表示部7に表示される瞳孔径rおよび視線方向dの値の変化によって把握することができる。
(実施の形態3)
図18および図19に示されるように、実施の形態3の瞳孔・視線計測装置8は、位置固定部64、眼球照射部1、撮像機部2(光学系2a,撮像素子2b)、および画像処理部3aを備えている。
実施の形態3の瞳孔・視線計測装置8は、上記の実施の形態の瞳孔・視線計測装置では必要ではなかった位置固定部64を備えている。位置固定部64は、眼鏡5をかけた状態の被計測者10の顔15の位置を固定する。眼球照射部1は、位置固定部64に対する位置が固定され、位置固定部64によって顔15の位置が固定された被計測者10の眼球11に光を照射するように位置および姿勢が設定されている。ただし、位置固定部64は、被計測者10の顔15の大きさや形状の個人差に応じて、眼球11の画像が取得できるように、その形状および姿勢等を微調整することができるように構成されている。
位置固定部64は、被計測者10の顔15が接する接触部4を備えている。位置固定部64は、眼球照射部1、撮像機部2(光学系2a,撮像素子2b)、および画像処理部3aの筐体と接触部4とを連結する連結部6を備えている。図18においては、接触部4は、被計測者10の額に接触しているが、図19においては、被計測者10の顎に接触している。接触部4は、被計測者10の顔15のいずれの位置に接触してもよい。連結部6は、眼球照射部1、撮像機部2(光学系2a,撮像素子2b)、および画像処理部3aに対する顔15の相対的位置を一定に維持する剛性を有しているものであれば、いかなるものであってもよい。
また、画像処理部3aは、撮像素子2bによって取得された眼球11の画像データに基づいて、被計測者10の瞳孔径rおよび視線方向dのうちの少なくともいずれか一方を算出する。これらの点は、上記の実施の形態と同様である。
実施の形態3の瞳孔・視線計測装置8においては、光学系2aが上記の実施の形態の瞳孔・視線計測装置8の光学系2aとは異なっている。本実施の形態の光学系2aは、位置固定部64によって顔15の位置が固定された被計測者10の眼球11の瞳孔12(または瞳孔および角膜)にピントが合っている。また、本実施の形態の光学系2aは、眼鏡5のレンズにピントが合っていないように設定されている。本実施の形態の光学系2aは、眼球11で反射した反射光が通過する点に関しては、上記の実施の形態の光学系2aと同様である。撮像素子2bは、光学系2aを通過した反射光を受け、眼球11の画像データを取得する。
上記の構成によっても、瞳孔径rおよび視線方向dのうちの少なくともいずれか一方の算出の精度が向上する。本実施の形態の瞳孔・視線計測装置8は、シンプルな構造を有しているが、瞳孔径rおよび視線方向dの算出の精度は向上する。
本実施の形態の瞳孔・視線計測装置8は、上記の実施の形態1の瞳孔・視線計測装置では必要ではなかった表示部7を備えている。表示部7は、撮像素子2bによって取得された眼球11の画像データに基づいて眼球11の画像を表示する。表示部7は、制御部3に内蔵された表示・照明制御部3bによって制御される。表示・照明制御部3bは、表示部7に眼球11の画像データを表示する。そのため、計測者200は、表示部7に表示される眼球11の画像を見ながら、位置固定部64の形状および姿勢を微調整することができる。そのため、被計測者10の顔15の大きさや形状の個人差があっても、瞳孔12(または瞳孔および角膜)にピントが合っている眼球11の画像が瞳孔・視線計測装置8によって容易に取得される。
本実施の形態においても、表示・照明制御部3bは、画像処理部3aによって算出された瞳孔径rおよび視線方向dを表示部7に表示させることが好ましい。これによれば、計測者200は、表示部7に表示されている眼球11の画像を見ながら、瞳孔径rおよび視線方向dを把握することができる。
また、本実施の形態においても、表示部7が設けられていない場合に、表示・照明制御部3bは、画像処理部3aによって算出された瞳孔径rおよび視線方向dを記録媒体に記憶させるものであってもよい。また、表示・照明制御部3bは、他のコンピュータに出力するものであってもよい。この場合、瞳孔径rおよび視線方向dは、他の装置において処理される。
実施の形態1と同様に、本実施の形態においても、表示・照明制御部3bが照明器具50を制御してもよい。この場合には、照明器具50の照明の態様の変更に応じて、瞳孔径dおよび視線方向dがどのように変化するかを、計測者200が表示部7に表示される瞳孔径rおよび視線方向dの値の変化によって把握することができる。
(実施の形態4)
本実施の形態の瞳孔・視線計測装置は、上記した実施の形態1〜3のいずれかの瞳孔・視線計測装置8が、右の眼球11および左の眼球11のそれぞれのために設けられたものである。これによれば、被計測者10の左右の眼球11の状態を同時に把握することができるため、被計測者10の状態をより高い精度で把握することができる。
(その他)
瞳孔12は目に入る光に反応して筋肉が緊張・弛緩することにより、収縮・拡張するほか、快適や不快といった感覚が自律神経を通じて、瞳孔12の動きに現れるという研究も多数行われている。上記した本実施の形態の瞳孔・視線計測装置8は、そのような研究に用いることも可能である。
以下、各実施の形態の瞳孔・視線計測装置8の特徴およびそれにより得られる効果を説明する。
(1) 実施の形態1の瞳孔・視線計測装置8は、眼球照射部1、光学系2a、撮像素子2b、および光学系制御部2cを備えている。眼球照射部1は、眼鏡5をかけた状態の被計測者10の眼球11に光を照射する。光学系2aは、眼球11で反射した反射光が通過する。撮像素子2bは、光学系2aを通過した反射光を受け、眼球11の画像データを取得する。画像処理部3aは、撮像素子2bによって取得された眼球11の画像データに基づいて、被計測者10の瞳孔径rおよび視線方向dのうちの少なくともいずれか一方を算出する。光学系制御部2cは、眼球11の瞳孔12にピントが合っているが、眼鏡5のレンズにピントが合っていないように、光学系2aおよび撮像素子2bのうちの少なくともいずれか一方を制御する。
上記の構成によれば、眼鏡5のレンズ上で反射した外乱光Oをぼけさせた状態で、撮像素子2bによって眼球11の画像データが取得される。ぼけた部分の画像が瞳孔12の画像に重なっている場合、画像処理部3aは、画像処理によってぼけた部分の画像と瞳孔12の画像とを区別できる。そのため、画像処理部3aは、瞳孔12の画像に重なったぼやけた部分の画像を除外して、瞳孔12の画像を認識する。これにより、画像処理部3aは、眼鏡5のレンズ上で反射した外乱光Oが瞳孔12の画像に与える悪影響が排除された状態で、被計測者10の瞳孔径rおよび視線方向dのうち少なくともいずれか一方を算出することができる。その結果、瞳孔径rおよび視線方向dのうちの少なくともいずれか一方の算出の精度が向上する。
(2) 実施の形態2の瞳孔・視線計測装置8は、眼球照射部1、光学系2a、撮像素子2b、画像処理部3a、表示部7、および操作部2dを備えている。眼球照射部1は、眼鏡5をかけた状態の被計測者10の眼球11に光を照射する。光学系2aは、眼球11で反射した反射光が通過する。撮像素子2bは、光学系2aを通過した反射光を受け、眼球11の画像データを取得する。画像処理部3aは、撮像素子2bによって取得された前記眼球11の画像データに基づいて、被計測者10の瞳孔径rおよび視線方向dのうちの少なくともいずれか一方を算出する。表示部7は、撮像素子2bによって取得された眼球11の画像データに基づいて眼球11の画像を表示する。操作部2dは、光学系2aおよび撮像素子2bのうちの少なくともいずれか一方を制御し得るものである。これにより、計測者200は、表示部7に表示されている眼球11の画像を見ながら、眼球11の瞳孔12にピントが合っているが、眼鏡5のレンズにピントが合っていない状態を形成する。
上記の構成によっても、瞳孔径rおよび視線方向dのうちの少なくともいずれか一方の算出の精度が向上する。
(3) 実施の形態3の瞳孔・視線計測装置8は、位置固定部64、眼球照射部1、光学系2a、撮像素子2b、および画像処理部3aを備えている。位置固定部64は、眼鏡5をかけた状態の被計測者10の顔15の位置を固定する。眼球照射部1は、位置固定部64に対する位置が固定され、位置固定部64によって顔15の位置が固定された被計測者10の眼球11に光を照射するように位置および姿勢が設定されている。
光学系2aは、眼球11で反射した反射光が通過する。撮像素子2bは、光学系2aを通過した反射光を受け、眼球11の画像データを取得する。画像処理部3aは、撮像素子2bによって取得された眼球11の画像データに基づいて、被計測者10の瞳孔径rおよび視線方向dのうちの少なくともいずれか一方を算出する。光学系2aおよび撮像素子2bは、位置固定部64によって顔15の位置が固定された被計測者10の眼球11の瞳孔12にピントが合っているが、眼鏡5のレンズにピントが合っていないように設定されている。
上記の構成によっても、瞳孔径rおよび視線方向dのうちの少なくともいずれか一方の算出の精度が向上する。
(4) 画像処理部3aは、眼球11の画像データのうち、所定の輝度の閾値LTよりも小さい輝度を有する部分を瞳孔12の部分画像データとして認識するものであってもよい。この場合、画像処理部3aは、瞳孔12の部分画像データを用いて、瞳孔径rおよび前記視線方向dのうちの少なくともいずれか一方を算出することが好ましい。
上記の構成によれば、所定の閾値を用いた画像処理によって、外乱光Oの画像が瞳孔12の画像に与える悪影響を確実に排除することができる。
(5) 瞳孔12に加えて眼球11の角膜にもピントが合っているという前提条件が成立する場合がある。この場合、画像処理部3aは、眼球11の画像データのうち、所定の輝度の閾値LTよりも大きな特定の輝度の閾値UTよりも大きな輝度を有する部分を被計測者10の角膜で反射したプルキンエ像Pの部分画像データとして認識してもよい。この場合、画像処理部3aは、瞳孔12の部分画像データおよびプルキンエ像Pの部分画像データを用いて、視線方向dを算出することが好ましい。
上記の構成によれば、外乱光Oに起因する悪影響が排除されたプルキンエ像Pを用いることにより、より高い精度で、被計測者10の視線方向dを算出することができる。
(6) 光学系2aが、パン、チルト、およびズームの3つの機能を実現する機構を有していることが好ましい。この場合、光学系制御部2cは、撮像素子2bによって撮像されている画像データに基づいて、眼球11の画像データが自動的に取得されるように、光学系2aの前述の3つの機能を実現する機構を制御することが好ましい。
上記の構成によれば、眼球11の画像データが自動的に取得される。
(7) 光学系2aが、瞳孔12に自動的にピントを合わせるオートフォーカス機能を実現する機構を有していることが好ましい。この場合、光学系制御部2cは、撮像素子2bによって撮像されている眼球11の画像データに基づいて、瞳孔12に自動的にピントが合うように、光学系2aのオートフォーカス機能を実現する機構を制御することが好ましい。
上記の構成によれば、眼球11の画像のピントを撮像素子2b上で自動的に合わせることができる。
(8) 瞳孔・視線計測装置8は、眼球照射部1、ならびに、光学系2aおよび撮像素子2bを含む撮像機部2の少なくともいずれか一方の姿勢および位置を変更する位置姿勢変更機構120をさらに備えていることが好ましい。この場合、光学系制御部2cは、撮像素子2bによって撮像されている眼球11の画像データに基づいて、眼球照射部1および撮像機部2の姿勢および位置を変更することが好ましい。それにより、眼球照射部1が照射した光の眼鏡5または眼球11の周辺の身体部分での反射光が瞳孔12に重ならず、かつ、眼鏡5または眼球11の周辺の身体部分の影が瞳孔12に重ならないようにされる。
上記の構成によれば、眼球照射部1が照射した光の眼鏡5または眼球11の周辺の身体部分での反射光による悪影響を排除した状態で、眼球11の画像を取得することができる。また、眼鏡5または眼球11の周辺の身体部分の影による悪影響を排除した状態で、眼球11の画像を取得することができる。
(9) 光学系制御部2cは、瞳孔12および眼鏡5のレンズの双方にピントが合っている状態が形成されるように光学系2aを制御することが好ましい。その後、光学系制御部2cは、瞳孔12にピントが合っている状態が維持されるように、かつ、眼鏡5のレンズにピントが合わなくなるように、光学系2aを制御することが好ましい。
上記の構成によれば、瞳孔12にピントが合っているが、眼鏡5のレンズにピントが合っていない状態を効率的に形成することができる。
(10) 実施の形態1〜3のいずれかの瞳孔・視線計測装置8が、右の眼球11および左の眼球11のそれぞれのために設けられた瞳孔・視線計測装置であることが好ましい。
上記の構成によれば、被計測者10の左右の眼球11の状態を同時に把握することができるため、被計測者10の状態をより高い精度で把握することができる。
(11) 照明システム20は、実施の形態1〜3のいずれかの瞳孔・視線計測装置8と、被計測者10が存在する環境に光を照射する照明器具50と、を備えている。この場合、瞳孔・視線計測装置8は、画像処理部3aによって算出された瞳孔径rおよび視線方向dの少なくともいずれか一方に基づいて、照明器具50の照明の態様を制御することが好ましい。
上記の構成によれば、瞳孔径rおよび視線方向dの少なくともいずれか一方から推測される被計測者10の状態に基づいて、照明器具50による照明の態様を変更することができる。
(12)照明器具50は、表示装置のバックライトであることが好ましい。これによれば、被計測者10の状態に基づいて、被計測者10の状態に大きな影響を与える視認対象物100のバックライトによる照明の態様を調節することができる。
1 眼球照射部
2a 光学系
2b 撮像素子
2c 光学系制御部
3a 画像処理部
5 眼鏡
7 表示部
8 瞳孔・視線計測装置
10 被計測者
11 眼球
12 瞳孔
20 照明システム
50 照明器具
64 位置固定部
200 計測者

Claims (12)

  1. 眼鏡をかけた状態の被計測者の眼球に光を照射する眼球照射部と、
    前記眼球で反射した反射光が通過する光学系と、
    前記光学系を通過した前記反射光を受け、前記眼球の画像データを取得する撮像素子と、
    前記撮像素子によって取得された前記眼球の画像データに基づいて、前記被計測者の瞳孔径および視線方向のうちの少なくともいずれか一方を算出する画像処理部と、
    前記眼球の瞳孔にピントが合っているが、前記眼鏡のレンズにピントが合っていないように、前記光学系および前記撮像素子のうちの少なくともいずれか一方を制御する光学系制御部と、を備えた、瞳孔・視線計測装置。
  2. 眼鏡をかけた状態の被計測者の眼球に光を照射する眼球照射部と、
    前記眼球で反射した反射光が通過する光学系と、
    前記光学系を通過した前記反射光を受け、前記眼球の画像データを取得する撮像素子と、
    前記撮像素子によって取得された前記眼球の画像データに基づいて、前記被計測者の瞳孔径および視線方向のうちの少なくともいずれか一方を算出する画像処理部と、
    前記撮像素子によって取得された前記眼球の画像データに基づいて前記眼球の画像を表示する表示部と、
    計測者が、前記表示部に表示されている前記眼球の画像を見ながら、前記眼球の瞳孔にピントが合っているが、前記眼鏡のレンズにピントが合っていないように、前記光学系および前記撮像素子のうちの少なくともいずれか一方を制御し得る操作部と、を備えた、瞳孔・視線計測装置。
  3. 眼鏡をかけた状態の被計測者の顔の位置を固定する位置固定部と、
    前記位置固定部に対する位置が固定され、前記位置固定部によって前記顔の位置が固定された前記被計測者の眼球に光を照射するように位置および姿勢が設定された眼球照射部と、
    前記眼球で反射した反射光が通過する光学系と、
    前記光学系を通過した前記反射光を受け、前記眼球の画像データを取得する撮像素子と、
    前記撮像素子によって取得された前記眼球の画像データに基づいて、前記被計測者の瞳孔径および視線方向のうちの少なくともいずれか一方を算出する画像処理部と、を備え、
    前記光学系および前記撮像素子は、前記位置固定部によって前記顔の位置が固定された前記被計測者の前記眼球の瞳孔にピントが合っているが、前記眼鏡のレンズにピントが合っていないように設定されている、瞳孔・視線計測装置。
  4. 前記画像処理部は、
    前記眼球の画像データのうち、所定の輝度の閾値よりも小さい輝度を有する部分を前記瞳孔の部分画像データとして認識し、
    前記瞳孔の部分画像データを用いて、前記瞳孔径および前記視線方向のうちの少なくともいずれか一方を算出する、請求項1〜3のいずれかに記載の瞳孔・視線計測装置。
  5. 前記瞳孔に加えて前記眼球の角膜にもピントが合っているという前提条件の下で、
    前記画像処理部は、
    前記眼球の画像データのうち、前記所定の輝度の閾値よりも大きな特定の輝度の閾値よりも大きな輝度を有する部分を前記角膜で反射したプルキンエ像の部分画像データとして認識し、
    前記瞳孔の部分画像データおよび前記プルキンエ像の部分画像データを用いて、前記視線方向を算出する、請求項4に記載の瞳孔・視線計測装置。
  6. 前記光学系が、パン、チルト、およびズームの3つの機能を実現する機構を有しており、
    前記光学系制御部は、前記撮像素子によって撮像されている画像データに基づいて、前記眼球の画像データが自動的に取得されるように、前記光学系の前記3つの機能を実現する機構を制御する、請求項1に記載の瞳孔・視線計測装置。
  7. 前記光学系が、前記瞳孔に自動的にピントを合わせるオートフォーカス機能を実現する機構を有しており、
    前記光学系制御部は、前記撮像素子によって撮像されている前記眼球の画像データに基づいて、前記瞳孔に自動的にピントが合うように、前記光学系の前記オートフォーカス機能を実現する機構を制御する、請求項1に記載の瞳孔・視線計測装置。
  8. 前記眼球照射部、ならびに、前記光学系および前記撮像素子を含む撮像機部の少なくともいずれか一方の姿勢および位置を変更する位置姿勢変更機構をさらに備え、
    前記光学系制御部は、前記撮像素子によって撮像されている前記眼球の画像データに基づいて、前記眼球照射部が照射した光の前記眼鏡または前記眼球の周辺の身体部分での反射光が前記瞳孔に重ならず、かつ、前記眼鏡または前記眼球の周辺の身体部分の影が前記瞳孔に重ならないように、前記眼球照射部および前記撮像機部の前記姿勢および位置を変更する、請求項1に記載の瞳孔・視線計測装置。
  9. 前記光学系制御部は、前記瞳孔および前記眼鏡のレンズの双方にピントが合っている状態が形成されるように前記光学系を制御し、その後、前記瞳孔にピントが合っている状態が維持されるように、かつ、前記眼鏡のレンズにピントが合わなくなるように、前記光学系を制御する、請求項1に記載の瞳孔・視線計測装置。
  10. 請求項1〜9のいずれかに記載の瞳孔・視線計測装置が、右の眼球および左の眼球のそれぞれのために設けられた、瞳孔・視線計測装置。
  11. 請求項1〜10のいずれかに記載の瞳孔・視線計測装置と、
    前記被計測者が存在する環境に光を照射する照明器具と、を備え、
    前記瞳孔・視線計測装置は、前記画像処理部によって算出された前記瞳孔径および前記視線方向の少なくともいずれか一方に基づいて、前記照明器具の照明の態様を制御する、照明システム。
  12. 前記照明器具は、表示装置のバックライトである、請求項11に記載の照明システム。
JP2014227792A 2014-11-10 2014-11-10 瞳孔・視線計測装置および照明システム Pending JP2016087291A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014227792A JP2016087291A (ja) 2014-11-10 2014-11-10 瞳孔・視線計測装置および照明システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014227792A JP2016087291A (ja) 2014-11-10 2014-11-10 瞳孔・視線計測装置および照明システム

Publications (1)

Publication Number Publication Date
JP2016087291A true JP2016087291A (ja) 2016-05-23

Family

ID=56015444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014227792A Pending JP2016087291A (ja) 2014-11-10 2014-11-10 瞳孔・視線計測装置および照明システム

Country Status (1)

Country Link
JP (1) JP2016087291A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109414167A (zh) * 2016-08-24 2019-03-01 Jvc 建伍株式会社 视线检测装置、视线检测方法以及计算机程序
CN111867445A (zh) * 2018-03-26 2020-10-30 索尼公司 信息检测装置、视频投影装置、信息检测方法以及视频投影方法
WO2021093744A1 (zh) * 2019-11-11 2021-05-20 中国科学院深圳先进技术研究院 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN113794872A (zh) * 2021-09-17 2021-12-14 融信信息科技有限公司 一种基于ar智能眼镜的图像识别***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109414167A (zh) * 2016-08-24 2019-03-01 Jvc 建伍株式会社 视线检测装置、视线检测方法以及计算机程序
CN109414167B (zh) * 2016-08-24 2021-07-16 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN111867445A (zh) * 2018-03-26 2020-10-30 索尼公司 信息检测装置、视频投影装置、信息检测方法以及视频投影方法
WO2021093744A1 (zh) * 2019-11-11 2021-05-20 中国科学院深圳先进技术研究院 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN113794872A (zh) * 2021-09-17 2021-12-14 融信信息科技有限公司 一种基于ar智能眼镜的图像识别***

Similar Documents

Publication Publication Date Title
KR101962302B1 (ko) 구조화 광을 사용한 안구 추적
CN107533362B (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
US9916005B2 (en) Gaze tracking with projector
JP6106684B2 (ja) 高分解能視線検出のためのシステムおよび方法
JP5869489B2 (ja) 個人の両眼の屈折特性の少なくとも1つを自動的に測定するための方法及び装置
US10481403B2 (en) Contact lens with retinal camera
CN111869200A (zh) 显示***中的眼睛旋转中心确定、深度平面选择和渲染相机定位
US10896324B2 (en) Line-of-sight detection device and method for detecting line of sight
US20220039645A1 (en) Determining a refractive error of an eye
JP6631951B2 (ja) 視線検出装置及び視線検出方法
JP2015524284A (ja) 人物の他覚的眼屈折及び少なくとも1つの幾何学的形態パラメータを測定する装置及び方法
JP2017102687A (ja) 視線検出装置及び視線検出方法
CN109964230B (zh) 用于眼睛度量采集的方法和设备
CN115053270A (zh) 用于基于用户身份来操作头戴式显示***的***和方法
CN114424147A (zh) 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
JP2016087291A (ja) 瞳孔・視線計測装置および照明システム
JP2008212718A (ja) 視野検出装置
US10188291B2 (en) Device for screening convergence insufficiency and related methods
JP5652973B1 (ja) 双眼ルーペの製作方法
JP6687195B2 (ja) 眼部画像処理装置
US11653831B2 (en) Visual performance examination device, visual performance examination method, and computer program