JP7255436B2 - 眼球構造推定装置 - Google Patents
眼球構造推定装置 Download PDFInfo
- Publication number
- JP7255436B2 JP7255436B2 JP2019174079A JP2019174079A JP7255436B2 JP 7255436 B2 JP7255436 B2 JP 7255436B2 JP 2019174079 A JP2019174079 A JP 2019174079A JP 2019174079 A JP2019174079 A JP 2019174079A JP 7255436 B2 JP7255436 B2 JP 7255436B2
- Authority
- JP
- Japan
- Prior art keywords
- center
- eyeball
- coordinate system
- camera coordinate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
- A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Ophthalmology & Optometry (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Description
従来技術では、座標が既知の三次元対象を被観察者に見てもらうことにより視線ベクトルのキャリブレーションを行い、個人差に起因する誤差を吸収しており、三次元眼球モデルの構造パラメータの推定を行っていない。しかし、このキャリブレーションの手続きに手間がかかる。
また、em=f(観測変数)の形で立式できるため、時間方向の最小二乗法により式を解いている。
図2に示すように、本発明の実施の形態に係る視線計測装置10は、対象とする被験者の顔を含む画像を撮像するCCDカメラ等からなる画像撮像部12と、被験者の目に対して光を照射する照射部13と、画像処理を行うコンピュータ14と、CRT等で構成された出力部16とを備えている。
は、ピクセル単位で表される焦点距離をfとすると以下になる。
とすると、角CEDの角度ωを、以下の式に従って計算する。
(6)
はピクセル単位で表される焦点距離をfとすると以下になる。
(16)
を観測変数としたときに、以下の方程式が構成でき、カルマンフィルタを用いて解くことができる。
次に、視線計測装置10の動作について説明する。まず、照射部13により近赤外の光を被験者の目に照射しているときに、画像撮像部12で被験者の顔画像を連続的に撮像する。
12 画像撮像部
13 照射部
14 コンピュータ
16 出力部
20 画像入力部
22 角膜反射像推定部
24 瞳孔推定部
28 構造パラメータ推定部
30 カメラ座標系眼球中心座標計算部
32 見かけの瞳孔中心計算部
34、54 眼球モデル記憶部
36、56 眼球位置姿勢推定部
40 カメラ座標系角膜反射像計算部
42 角膜反射像画像座標計算部
50 カメラ座標系眼球中心座標計算部
52 カメラ座標系角膜反射像計算部
60 見かけの瞳孔中心計算部
62 瞳孔中心画像座標計算部
70 事前予測部
72 状態推定部
Claims (8)
- 被観察者の顔を撮像する撮像部と、
前記被観察者の目に対して光を照射する光照射部と、
前記撮像部によって撮像された前記顔を表す顔画像上の目の瞳孔中心位置から、眼球の構造パラメータを用いて、前記顔画像上の角膜反射像の画像座標を推定する角膜反射像推定部と、
前記顔画像上の目の角膜反射像の位置から、前記眼球の構造パラメータを用いて、前記顔画像上の瞳孔中心の画像座標を推定する瞳孔推定部と、
前記眼球の構造パラメータを含む状態ベクトルを予測する事前予測部と、
前記角膜反射像推定部によって推定された前記顔画像上の角膜反射像の画像座標、及び前記瞳孔推定部によって推定された前記顔画像上の瞳孔中心の画像座標を含む観測ベクトルと、前記事前予測部によって予測された前記状態ベクトルと、前記状態ベクトルを用いて前記観測ベクトルを表す観測方程式とから、前記状態ベクトルを推定する状態推定部と、
を含む眼球構造推定装置。 - 前記観測ベクトルは、前記角膜反射像推定部によって前記顔画像上の角膜反射像の画像座標を推定する際に計算される視線ベクトルを更に含む請求項1記載の眼球構造推定装置。
- 前記眼球の構造パラメータは、眼球の角膜曲率半径、眼球の角膜曲率中心と瞳孔中心との距離、及び前記角膜曲率中心と眼球中心との距離を含む請求項1又は2記載の眼球構造推定装置。
- 前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす
請求項1~請求項3の何れか1項記載の眼球構造推定装置。 - 前記角膜反射像推定部は、
前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の3次元座標を推定するカメラ座標系眼球中心座標計算部と、
前記顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の3次元座標を推定する瞳孔中心計算部と、
前記カメラ座標系における眼球中心の3次元座標と、前記カメラ座標系における見かけの瞳孔中心の3次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の3次元位置から瞳孔中心の3次元位置へ向かう3次元の光軸ベクトルを計算する眼球位置姿勢推定部と、
前記カメラ座標系における眼球中心の3次元座標と、前記光軸ベクトルと、予め定められた3次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の3次元座標を求める角膜反射像計算部と、
前記カメラ座標系における角膜反射像の3次元座標から、前記顔画像上の角膜反射像の画像座標を推定する画像座標計算部と、
を含む請求項1~請求項4の何れか1項記載の眼球構造推定装置。 - 前記眼球位置姿勢推定部は、
前記カメラ座標系における見かけの瞳孔中心の3次元座標と前記カメラ座標系における眼球中心の3次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の3次元座標と前記撮像部の3次元座標とを結んだ線分とのなす角を算出し、
前記なす角に対応して予め定められた角度補正量を取得し、
前記カメラ座標系における眼球中心の3次元座標と前記カメラ座標系における見かけの瞳孔中心の3次元座標とを結んだベクトルと、前記取得した前記角度補正量と、前記算出した前記なす角と、前記カメラ座標系における眼球中心の3次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の3次元位置から瞳孔中心の3次元位置へ向かう3次元の光軸ベクトルを計算する請求項5記載の眼球構造推定装置。 - 前記瞳孔推定部は、
前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の3次元座標を推定するカメラ座標系眼球中心座標計算部と、
前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の3次元座標を推定する角膜反射像計算部と、
前記カメラ座標系における眼球中心の3次元座標と、前記カメラ座標系における角膜反射像の3次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の3次元位置から角膜曲率中心の3次元位置へ向かう3次元の光軸ベクトルを計算する眼球位置姿勢推定部と、
前記カメラ座標系における眼球中心の3次元座標と、前記光軸ベクトルと、予め定められた3次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の3次元座標を求める瞳孔中心計算部と、
前記カメラ座標系における見かけの瞳孔中心の3次元座標から、前記顔画像上の瞳孔中心の画像座標を推定する画像座標計算部と、
を含む請求項1~請求項6の何れか1項記載の眼球構造推定装置。 - 前記瞳孔中心計算部は、
前記光軸ベクトルと、前記カメラ座標系における眼球中心の3次元座標とに基づいて、前記カメラ座標系における眼球中心の3次元座標と前記カメラ座標系の角膜曲率中心の3次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の3次元座標と前記撮像部の3次元座標とを結んだ線分とのなす角を算出し、
前記算出された前記なす角に対応して予め定められた角度補正量を取得し、
前記カメラ座標系における眼球中心の3次元座標と、前記光軸ベクトルと、前記角度補正量とに基づいて、前記カメラ座標系における眼球中心の3次元座標と前記カメラ座標系における見かけの瞳孔中心の3次元座標とを結んだベクトルを算出し、
前記算出されたベクトルと、前記カメラ座標系における眼球中心の3次元座標と、予め定められた3次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の3次元座標を求める請求項7記載の眼球構造推定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174079A JP7255436B2 (ja) | 2019-09-25 | 2019-09-25 | 眼球構造推定装置 |
US16/817,697 US20210085174A1 (en) | 2019-09-25 | 2020-03-13 | Eyeball structure estimation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174079A JP7255436B2 (ja) | 2019-09-25 | 2019-09-25 | 眼球構造推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021049130A JP2021049130A (ja) | 2021-04-01 |
JP7255436B2 true JP7255436B2 (ja) | 2023-04-11 |
Family
ID=74880288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019174079A Active JP7255436B2 (ja) | 2019-09-25 | 2019-09-25 | 眼球構造推定装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210085174A1 (ja) |
JP (1) | JP7255436B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115546876B (zh) * | 2022-11-07 | 2023-12-19 | 广州图语信息科技有限公司 | 一种瞳孔追踪方法及装置 |
CN115840502B (zh) * | 2022-11-23 | 2023-07-21 | 深圳市华弘智谷科技有限公司 | 三维视线追踪方法、装置、设备及存储介质 |
SE2251380A1 (en) * | 2022-11-28 | 2024-05-29 | Tobii Ab | Method and system for improving perfomance of an eye tracking system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016106668A (ja) | 2014-12-02 | 2016-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2019000135A (ja) | 2017-06-09 | 2019-01-10 | 株式会社豊田中央研究所 | 視線計測装置 |
WO2019116675A1 (ja) | 2017-12-15 | 2019-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2019
- 2019-09-25 JP JP2019174079A patent/JP7255436B2/ja active Active
-
2020
- 2020-03-13 US US16/817,697 patent/US20210085174A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016106668A (ja) | 2014-12-02 | 2016-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2019000135A (ja) | 2017-06-09 | 2019-01-10 | 株式会社豊田中央研究所 | 視線計測装置 |
WO2019116675A1 (ja) | 2017-12-15 | 2019-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021049130A (ja) | 2021-04-01 |
US20210085174A1 (en) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109008944B (zh) | 视线计测装置、rom及视线计测方法 | |
JP7255436B2 (ja) | 眼球構造推定装置 | |
JP6265348B2 (ja) | 視線計測装置、視線計測方法および視線計測プログラム | |
US10725539B2 (en) | Wearable eye tracking system with slippage detection and correction | |
EP2416113B1 (en) | Position and orientation measurement apparatus and position and orientation measurement method | |
JP6014931B2 (ja) | 視線計測方法 | |
CN107357429B (zh) | 用于确定视线的方法、设备和计算机可读存储介质 | |
JP6840697B2 (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
US20170254637A1 (en) | Triangulation device, triangulation method, and recording medium recording program therefor | |
WO2014027229A1 (en) | Method and apparatus for converting 2d images to 3d images | |
JP6479272B1 (ja) | 視線方向較正装置、視線方向較正方法および視線方向較正プログラム | |
JP7283841B2 (ja) | 視線計測装置 | |
US11181978B2 (en) | System and method for gaze estimation | |
JP6608165B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
CN114360043B (zh) | 模型参数标定方法、视线追踪方法、装置、介质及设备 | |
JP5515018B2 (ja) | 環境認識装置 | |
JP6785723B2 (ja) | 視線計測装置 | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
JP6906943B2 (ja) | 車載器 | |
JP2015232771A (ja) | 顔検出方法、顔検出システム、および顔検出プログラム | |
CN112419399A (zh) | 一种图像测距方法、装置、设备和存储介质 | |
JP2022011821A (ja) | 情報処理装置、情報処理方法、移動ロボット | |
JP2020118493A (ja) | 撮像装置および体温測定装置 | |
JP2018205205A (ja) | ステレオマッチング装置とステレオマッチング方法及びステレオマッチングプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7255436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |