JP6555707B2 - 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム - Google Patents
瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム Download PDFInfo
- Publication number
- JP6555707B2 JP6555707B2 JP2014230030A JP2014230030A JP6555707B2 JP 6555707 B2 JP6555707 B2 JP 6555707B2 JP 2014230030 A JP2014230030 A JP 2014230030A JP 2014230030 A JP2014230030 A JP 2014230030A JP 6555707 B2 JP6555707 B2 JP 6555707B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- image
- light source
- light
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims description 427
- 238000001514 detection method Methods 0.000 title claims description 147
- 238000005286 illumination Methods 0.000 claims description 105
- 230000001678 irradiating effect Effects 0.000 claims description 43
- 229920006395 saturated elastomer Polymers 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 description 21
- 210000005252 bulbus oculi Anatomy 0.000 description 20
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010027646 Miosis Diseases 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 235000012489 doughnuts Nutrition 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
[瞳孔検出装置]
図1に示されるように、瞳孔検出装置1は、カメラ2と、光源3と、制御装置4と、を備えている。カメラ2は、筐体5と、筐体5内に収容されたCCD、CMOS等の撮像素子6と、筐体5内に収容された対物レンズ7とを有する。このカメラ2は、画像の取得フレームが非常に短い高速度カメラであってもよいし、いわゆる中速度カメラや、60Hz程度の取得フレームを有するカメラであってもよい。筐体5は、観察対象者の眼球Aと対向する面に形成された円形状の開口部8を有する。対物レンズ7は、開口部8と撮像素子6との間に配置されている。対物レンズ7の光軸L1は、開口部8の中心軸線と一致している。撮像素子6は、その受光面が対物レンズ7の光軸L1に対して垂直に交わるように固定されている。撮像素子6は、対象者の眼球Aの像を撮像することによって画像データを生成して制御装置4に出力する。制御装置4は、光源3の発光強度及び発光タイミング、並びにカメラ2の撮像タイミングを制御する。また、制御装置4は、撮像素子6から出力された画像に基づいて差分処理や瞳孔検出処理を実行する。すなわち、制御装置4は、瞳孔検出手段としても機能する。
次に、瞳孔検出装置1の動作について説明するとともに瞳孔検出方法について説明する。
次に、瞳孔検出装置1を実現するための瞳孔検出プログラムを説明する。図8に示されるように、瞳孔検出プログラムP10は、メインモジュールP11、情報保持モジュールP12、推定モジュールP13、位置合わせモジュールP14、差分画像生成モジュールP15、及び瞳孔検出モジュールP16、を備える。
ところで、既に知られているように、瞳孔は、周囲環境の照度に対応して大きさが変化する。例えば、対象者が高照度環境に存在する場合には、対象者の瞳孔が小さくなる。図6(d)は、高照度環境において取得した差分画像の一例である。図6(c)に示された差分画像では、瞳孔Pの領域内に、暗瞳孔画像における角膜反射に対応する領域R4が存在している。一方、図6(d)に示されるように、高照度環境において取得された差分画像において、角膜反射に対応する領域R5の位置は図6(c)と同じであるが、瞳孔Pの大きさが小さくなっている。したがって、領域R5が瞳孔Pのエッジと重畳している(「瞳孔画像が汚れている」ともいう)。領域R5が瞳孔Pのエッジと重畳した場合には、瞳孔中心の検出精度が低下する虞がある。特に、カメラ2における撮像素子6の分解能が十分でないときに、瞳孔中心の検出精度が低下し易くなり、瞳孔Pを利用した視線検出精度にも大きな影響を与えることがある。
第1実施形態及び第2実施形態の瞳孔検出方法において、仮想角膜反射の推定は、対象者から見たときの光源3A,3Cの見た目の位置関係を利用した。ここで、光源3A,3Cの見た目の位置関係は、対象者の位置(より厳密には角膜球の位置)によって変化する。したがって、第1実施形態及び第2実施形態の瞳孔検出方法は、推定計算の容易さを重視した近似的な方法である。そこで、第3実施形態の瞳孔検出方法では、仮想角膜反射の推定において、仮想角膜反射を厳密に推定する。すなわち、第3実施形態の瞳孔検出方法は、仮想角膜反射の推定(図5:ステップS3)における処理が第1実施形態及び第2実施形態の瞳孔検出方法と異なり、その他の処理(図5:ステップS1,S2,S4,S5,S6)は、第1実施形態及び第2実施形態の瞳孔検出方法と同様である。
例えば、第1の光源や第2の光源の数は、上記個数に限定されることはない。例えば、注視点検出のために複数の光源を配置した技術の例として、N. Iqbal, H. Lee, S.-Y. Leeらの論文([2]SmartUser Interface for Mobile Consumer Devices Using Model-Based Eye-GazeEstimation (N. Iqbal, H. Lee, S.-Y. Lee) IEEE Transactions on ConsumerElectronics, Vol. 59, No. 1, February 2013)がある。
また、図15(a)に示されるように、光源3A(第1の光源)が1個であり、光源3D(第2の光源)も1個であってもよい。この場合には、光源3Aの片側に光源3Dが配置される。このような瞳孔検出装置1Dによれば、光源3Dの数を減らすことが可能になる。したがって、瞳孔検出装置1Dの構成を簡易にすることができる。
また、図15(b)に示されるように、変形例2に係る瞳孔検出装置1Eは、第1の光源としての光源3Eに第3の光源の機能を持たせることとしてもよい。瞳孔検出装置1Eは、光源3Eと、光源3Dとを備えている。制御装置4の光源駆動ユニット12は、光源3Eに入力する電流を、明瞳孔画像を取得する第1のタイミングと、暗瞳孔画像を取得する第2のタイミングとで異なる値に制御する。より詳細には、光源駆動ユニット12は、第1のタイミングにおいて光源3Eに第1の電流を供給し、第1の発光強度を有する光を出射させる。続いて、光源駆動ユニット12は、第2のタイミングにおいて、光源3Eに第1の電流よりも小さい第2の電流を供給し、第2の発光強度を有する光を出射させると共に、光源3Dに電流を供給し、第3の発光強度を有する光を出射させる。このとき、対象者の顔面における輝度が明瞳孔画像取得時と暗瞳孔画像取得時において略同じになるように光源3E及び光源3Dに供給される電流が光源駆動ユニット12によって制御される。
Claims (8)
- 対象者の顔に向けて第1の照明光を照射して取得した明瞳孔画像、及び前記対象者の顔に向けて第2の照明光を照射して取得した暗瞳孔画像、に基づいて前記対象者の瞳孔を検出する瞳孔検出装置であって、
前記対象者の顔に向けて前記第1の照明光を照射する第1の光照射手段と、
前記対象者の顔に向けて前記第2の照明光を照射する第2の光照射手段と、
前記明瞳孔画像及び前記暗瞳孔画像を利用して、前記瞳孔を検出する瞳孔検出手段と、を備え、
前記瞳孔検出手段は、
前記第1の光照射手段と前記第2の光照射手段との間の位置関係を示す第1の情報を保持する情報保持部と、
前記第1の情報及び前記暗瞳孔画像における前記第2の照明光による角膜反射を利用して、前記暗瞳孔画像上の前記第1の照明光による角膜反射に対応する位置を示す第2の情報を推定する推定部と、
前記第2の情報及び前記明瞳孔画像における前記第1の照明光による角膜反射を利用して、前記明瞳孔画像及び前記暗瞳孔画像の位置合わせを行った後に、前記明瞳孔画像及び前記暗瞳孔画像の差分画像を生成し、前記差分画像を利用して前記瞳孔を検出する検出部と、を有する、瞳孔検出装置。 - 前記第1の光照射手段は、基準線上に配置された1個の第1の光源を有し、
前記第2の光照射手段は、前記基準線上において前記第1の光源を挟むように配置された2個の第2の光源を有し、
前記第1の情報は、前記基準線に沿った前記第1の光源から一方の前記第2の光源までの距離、及び前記基準線に沿った前記第1の光源から他方の前記第2の光源までの距離、を含む、請求項1に記載の瞳孔検出装置。 - 前記第1の光照射手段は、基準線上に配置された1個の第1の光源を有し、
前記第2の光照射手段は、第1の軸線上に配置された第2の光源と、第2の軸線上に配置された別の第2の光源と、を有し、
前記第1の軸線は、前記基準線に対して第1の角度をもって、前記第1の光源が配置された位置において前記基準線と交差し、
前記第2の軸線は、前記基準線に対して第2の角度をもって、前記第1の光源が配置された位置において前記基準線と交差し、
前記第1の情報は、前記第1の角度及び前記第2の角度を含む、請求項1に記載の瞳孔検出装置。 - 前記第1の光照射手段は、基準座標系における原点に配置された第1の光源を有し、
前記第2の光照射手段は、前記原点に重複しない別の位置に配置された一方の第2の光源と、前記原点及び前記第2の光源の位置のそれぞれに重複しない別の第2の光源と、を有し、
前記第1の情報は、前記基準座標系における、前記瞳孔、前記第1の光源、前記一方の第2の光源及び前記別の第2の光源、のそれぞれの座標位置を含み、
前記推定部は、
前記第1の情報を利用して、前記瞳孔、前記第1の光源、及び一方の前記第2の光源を含む第1の仮想平面を算出した後に、前記第1の仮想平面と前記第1の光照射手段が配置された基準線との間の第1の仮想面角度を算出し、
前記第1の情報を利用して、前記瞳孔、前記第1の光源、及び別の前記第2の光源を含む第2の仮想平面を算出した後に、前記第2の仮想平面と前記基準線との間の第2の仮想面角度を算出し、
前記第1の仮想面角度、前記第2の仮想面角度、及び前記暗瞳孔画像における前記第2の照明光による角膜反射、を利用して、第2の情報を推定する、
請求項1に記載の瞳孔検出装置。 - 前記第1の光照射手段の近傍に配置された第3の光照射手段を更に備え、
前記第3の光照射手段は、前記明瞳孔画像における前記対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための第3の照明光を、前記対象者の顔に向けて照射する、請求項1〜4の何れか一項に記載の瞳孔検出装置。 - 前記第2の光照射手段及び前記第3の光照射手段は、前記暗瞳孔画像において、前記第3の照明光により生じる眼鏡反射が飽和し、かつ前記第2の照明光により生じる角膜反射の中心検出精度を低めない程度に、前記第3の照明光による角膜反射が前記第2の照明光による角膜反射よりも暗くなるようにそれぞれ設定されている、請求項5に記載の瞳孔検出装置。
- 対象者の顔に向けて第1の照明光を照射して取得した明瞳孔画像及び前記対象者の顔に向けて第2の照明光を照射して取得した暗瞳孔画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出方法であって、
第1の光照射手段を利用して、前記対象者の顔に向けて前記第1の照明光を照射するステップと、
第2の光照射手段を利用して、前記対象者の顔に向けて前記第2の照明光を照射するステップと、
前記明瞳孔画像及び前記暗瞳孔画像を利用して、前記瞳孔を検出するステップと、を有し、
前記瞳孔を検出するステップは、
前記第1の光照射手段と前記第2の光照射手段との間の位置関係を示す第1の情報及び前記暗瞳孔画像における前記第2の照明光による角膜反射を利用して、前記暗瞳孔画像上の前記第1の照明光による角膜反射に対応する位置を示す第2の情報を推定するステップと、
前記第2の情報及び前記明瞳孔画像における前記第1の照明光による角膜反射を利用して、前記明瞳孔画像及び前記暗瞳孔画像の位置合わせを行うステップと、
前記位置合わせを行うステップの後に、前記明瞳孔画像及び前記暗瞳孔画像の差分画像を算出し、前記差分画像を利用して前記瞳孔を検出するステップと、を有する、
瞳孔検出方法。 - 対象者の顔に向けて第1の照明光を照射して取得した明瞳孔画像及び前記対象者の顔に向けて第2の照明光を照射して取得した暗瞳孔画像に基づいて、前記対象者の瞳孔を検出する瞳孔検出プログラムであって、
コンピュータを、
前記対象者の顔に向けて前記第1の照明光を照射する第1の光照射手段と、
前記対象者の顔に向けて前記第2の照明光を照射する第2の光照射手段と、
前記明瞳孔画像及び前記暗瞳孔画像を利用して、前記瞳孔を検出する瞳孔検出手段と、して機能させ、
前記瞳孔検出手段は、
前記第1の光照射手段と前記第2の光照射手段との間の位置関係を示す第1の情報を保持する情報保持部と、
前記第1の情報及び前記暗瞳孔画像における前記第2の照明光による角膜反射を利用して、前記暗瞳孔画像上の前記第1の照明光による角膜反射に対応する位置を示す第2の情報を推定する推定部と、
前記第2の情報及び前記明瞳孔画像における前記第1の照明光による角膜反射を利用して、前記明瞳孔画像及び前記暗瞳孔画像の位置合わせを行った後に、前記明瞳孔画像及び前記暗瞳孔画像の差分画像を算出し、前記差分画像を利用して前記瞳孔を検出する検出部と、を有する、瞳孔検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014230030A JP6555707B2 (ja) | 2014-11-12 | 2014-11-12 | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014230030A JP6555707B2 (ja) | 2014-11-12 | 2014-11-12 | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016095584A JP2016095584A (ja) | 2016-05-26 |
JP6555707B2 true JP6555707B2 (ja) | 2019-08-07 |
Family
ID=56070604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014230030A Active JP6555707B2 (ja) | 2014-11-12 | 2014-11-12 | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6555707B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7021783B2 (ja) * | 2016-06-01 | 2022-02-17 | ヴィディ プロプライエタリ リミテッド | 光学的測定および走査システムならびにその使用方法 |
JP6737057B2 (ja) * | 2016-08-10 | 2020-08-05 | 富士通株式会社 | 視線検出装置、視線検出方法、及び視線検出プログラム |
CN108427926A (zh) * | 2018-03-16 | 2018-08-21 | 西安电子科技大学 | 一种视线跟踪***中的瞳孔定位方法 |
US11763598B2 (en) | 2018-12-18 | 2023-09-19 | Nec Corporation | Image processing device, image processing method, and storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005004524A (ja) * | 2003-06-12 | 2005-01-06 | Oki Electric Ind Co Ltd | 識別装置および個人認証装置 |
JP4649319B2 (ja) * | 2005-11-21 | 2011-03-09 | 日本電信電話株式会社 | 視線検出装置、視線検出方法、および視線検出プログラム |
JP2008125619A (ja) * | 2006-11-17 | 2008-06-05 | National Univ Corp Shizuoka Univ | 瞳孔検出装置及び瞳孔検出方法 |
JP2009254525A (ja) * | 2008-04-15 | 2009-11-05 | Calsonic Kansei Corp | 瞳孔検知方法及び装置 |
-
2014
- 2014-11-12 JP JP2014230030A patent/JP6555707B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016095584A (ja) | 2016-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6586523B2 (ja) | 構造化光を用いた視線追跡 | |
JP6866365B2 (ja) | ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング | |
US10154254B2 (en) | Time-of-flight depth sensing for eye tracking | |
KR102366110B1 (ko) | 번쩍임의 광원에의 매핑 | |
US10878236B2 (en) | Eye tracking using time multiplexing | |
US20190250413A1 (en) | Contact Lens with Retinal Camera | |
EP3671313B1 (en) | Gaze tracking using mapping of pupil center position | |
JP6548171B2 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
US20150009313A1 (en) | Visual line detection device and visual line detection method | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
JP6555707B2 (ja) | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
CN109964230B (zh) | 用于眼睛度量采集的方法和设备 | |
JP6485819B2 (ja) | 視線検出システム、ずれ検出方法、ずれ検出プログラム | |
WO2018164104A1 (ja) | 眼部画像処理装置 | |
WO2017203769A1 (ja) | 視線検出方法 | |
WO2016142489A1 (en) | Eye tracking using a depth sensor | |
JP5429885B2 (ja) | 特徴点追跡方法及び特徴点追跡装置 | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7001612B2 (ja) | 対象物の少なくとも1つの既定点の3d座標を決定する方法および装置 | |
JP2016051317A (ja) | 視線検出装置 | |
JP6370168B2 (ja) | 照明撮像装置及びそれを備えた視線検出装置 | |
JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP2018028728A (ja) | 眼部画像処理装置 | |
JP6468755B2 (ja) | 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6555707 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |