JP2016122380A - 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 - Google Patents
位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 Download PDFInfo
- Publication number
- JP2016122380A JP2016122380A JP2014262787A JP2014262787A JP2016122380A JP 2016122380 A JP2016122380 A JP 2016122380A JP 2014262787 A JP2014262787 A JP 2014262787A JP 2014262787 A JP2014262787 A JP 2014262787A JP 2016122380 A JP2016122380 A JP 2016122380A
- Authority
- JP
- Japan
- Prior art keywords
- reflector
- cameras
- light emitter
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 230000010365 information processing Effects 0.000 claims abstract description 56
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 22
- 210000004087 cornea Anatomy 0.000 claims description 19
- 238000012545 processing Methods 0.000 abstract description 8
- 210000001747 pupil Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】注視点検出装置1は、対象者Aの角膜球Cを撮像する左右のカメラ10と、カメラ10のそれぞれに対する位置が既知の光源13と、カメラ10のそれぞれによって撮像された画像を基に、角膜球Cの三次元位置をステレオマッチングによって計算するとともに、画像のそれぞれにおける発光素子40の反射点と光源13の反射点とを結ぶ線の傾きを特定し、角膜球Cの三次元位置と画像における傾きとを基に発光素子40の位置を計算する情報処理装置20とを備える。
【選択図】図1
Description
Claims (10)
- 発光体が取り付けられた検出対象の位置を検出する位置検出装置であって、
前記検出対象に向けて配置された凸面を有する反射体を撮像する第1及び第2のカメラと、
前記第1及び第2のカメラのそれぞれに対する位置が既知の第1及び第2の光源と、
前記第1及び第2のカメラのそれぞれによって撮像された第1及び第2の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第1及び第2の画像のそれぞれにおける前記発光体の反射点と前記第1及び第2の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第1及び第2の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
を備える位置検出装置。 - 前記第1及び第2の光源は、それぞれ、前記反射体上の反射点が前記第1及び第2のカメラのピンホールと前記反射体とを結ぶ直線上に現れる程度において、前記第1及び第2のカメラの近傍に位置するように配置されている、
請求項1記載の位置検出装置。 - 前記情報処理部は、前記発光体の三次元位置と第1の画像における前記傾きとを基に、前記第1の光源と前記反射体と前記発光体とを通る第1の平面を特定し、前記発光体の三次元位置と第2の画像における前記傾きとを基に、前記第2の光源と前記反射体と前記発光体とを通る第2の平面を特定した後に、前記第1及び第2の平面の交線を基に前記発光体の位置を計算する、
請求項1又は2記載の位置検出装置。 - 前記第1及び第2のカメラは、位置が変更された1つ以上の前記反射体を連続的に2回以上撮像する方法、位置の異なる2つ以上の前記反射体を撮像する方法のいずれかの方法を用いるように動作し、
前記情報処理部は、前記第1及び第2のカメラによって撮像された画像を基に、前記第1の光源と前記反射体と前記発光体とを通る第3の平面を特定し、前記第2の光源と前記反射体と前記発光体とを通る第4の平面を特定した後に、前記第1及び第2の平面の交線と前記第3及び第4の交線とを基に前記発光体の位置を計算する、
請求項3記載の位置検出装置。 - 前記第1及び第2の光源は、それぞれ、前記第1及び第2のカメラの開口部近傍に設けられ、
前記情報処理部は、前記第1及び第2の画像における前記第1及び第2の光源の反射点の位置を基に前記反射体の三次元位置をステレオマッチングにより計算する、
請求項1〜4のいずれか1項に記載の位置検出装置。 - 前記反射体は球面体であり、前記反射体の三次元位置は前記球面体の中心である、
請求項1〜5のいずれか1項に記載の位置検出装置。 - 前記反射体は、人間の角膜である、
請求項1〜6のいずれか1項に記載の位置検出装置。 - 発光体が取り付けられた検出対象の位置を検出する位置検出方法であって、
第1及び第2のカメラが、前記第1及び第2のカメラのそれぞれに対する位置が既知の第1及び第2の光源を点灯させた状態で、前記検出対象に向けて配置された凸面を有する反射体を撮像するステップと、
情報処理部が、前記第1及び第2のカメラのそれぞれによって撮像された第1及び第2の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第1及び第2の画像のそれぞれにおける前記発光体の反射点と前記第1及び第2の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第1及び第2の画像における前記傾きとを基に前記発光体の位置を計算するステップと、
を備える位置検出方法。 - 発光体が取り付けられた表示画面上の対象者の注視点を検出する注視点検出装置であって、
前記対象者の角膜球を撮像する第1及び第2のカメラと、
前記第1及び第2のカメラのそれぞれに対する位置が既知の第1及び第2の光源と、
前記第1及び第2のカメラのそれぞれによって撮像された第1及び第2の画像を基に、前記角膜球の三次元位置をステレオマッチングによって計算するとともに、前記第1及び第2の画像のそれぞれにおける前記発光体の反射点と前記第1及び第2の光源の反射点とを結ぶ線の傾きを特定し、前記角膜球の三次元位置と第1及び第2の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
前記情報処理部によって計算された前記発光体の位置を基に前記表示画面の位置を特定し、前記表示画面の位置を用いて前記注視点を検出する注視点計算部と、
を備える注視点検出装置。 - 発光体が取り付けられた表示画面上に画像を表示させる画像生成装置であって、
前記検出対象に向けて配置された凸面を有する反射体を撮像する第1及び第2のカメラと、
前記第1及び第2のカメラのそれぞれに対する位置が既知の第1及び第2の光源と、
前記第1及び第2のカメラのそれぞれによって撮像された第1及び第2の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第1及び第2の画像のそれぞれにおける前記発光体の反射点と前記第1及び第2の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第1及び第2の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
前記情報処理部によって計算された前記発光体の位置を基に前記表示画面の位置を特定し、前記表示画面の位置を用いて前記表示画面上に画像を表示させる画像生成部と、
を備える画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014262787A JP6430813B2 (ja) | 2014-12-25 | 2014-12-25 | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014262787A JP6430813B2 (ja) | 2014-12-25 | 2014-12-25 | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016122380A true JP2016122380A (ja) | 2016-07-07 |
JP6430813B2 JP6430813B2 (ja) | 2018-11-28 |
Family
ID=56327444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014262787A Active JP6430813B2 (ja) | 2014-12-25 | 2014-12-25 | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6430813B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020095747A1 (ja) * | 2018-11-05 | 2020-05-14 | 京セラ株式会社 | コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体。 |
US20210223022A1 (en) * | 2020-01-16 | 2021-07-22 | Kabushiki Kaisha Toshiba | System and method |
CN114820513A (zh) * | 2022-04-25 | 2022-07-29 | 深圳市迪佳医疗智能科技有限公司 | 视力检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02134130A (ja) * | 1988-11-16 | 1990-05-23 | A T R Tsushin Syst Kenkyusho:Kk | 非接触視線検出装置 |
US20060038881A1 (en) * | 2004-08-19 | 2006-02-23 | Microsoft Corporation | Stereoscopic image display |
WO2012077713A1 (ja) * | 2010-12-08 | 2012-06-14 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
WO2013176265A1 (ja) * | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
-
2014
- 2014-12-25 JP JP2014262787A patent/JP6430813B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02134130A (ja) * | 1988-11-16 | 1990-05-23 | A T R Tsushin Syst Kenkyusho:Kk | 非接触視線検出装置 |
US20060038881A1 (en) * | 2004-08-19 | 2006-02-23 | Microsoft Corporation | Stereoscopic image display |
WO2012077713A1 (ja) * | 2010-12-08 | 2012-06-14 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
WO2013176265A1 (ja) * | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
Non-Patent Citations (1)
Title |
---|
福元清剛ほか3名: ""遠隔注視点検出装置における真の瞳孔−角膜反射ペアーの決定法とその有効性"", SSII2014 第20回画像センシングシンポジウム 講演論文集 [CD−ROM], JPN6018031932, 11 June 2014 (2014-06-11), JP, pages 2 - 33, ISSN: 0003902702 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020095747A1 (ja) * | 2018-11-05 | 2020-05-14 | 京セラ株式会社 | コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体。 |
JP2020077055A (ja) * | 2018-11-05 | 2020-05-21 | 京セラ株式会社 | コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体 |
JP7173836B2 (ja) | 2018-11-05 | 2022-11-16 | 京セラ株式会社 | コントローラ、位置判定装置、位置判定システム、表示システム、プログラム、および記録媒体 |
US11551375B2 (en) | 2018-11-05 | 2023-01-10 | Kyocera Corporation | Controller, position determination device, position determination system, and display system for determining a position of an object point in a real space based on cornea images of a first eye and a second eye of a user in captured image |
US20210223022A1 (en) * | 2020-01-16 | 2021-07-22 | Kabushiki Kaisha Toshiba | System and method |
CN114820513A (zh) * | 2022-04-25 | 2022-07-29 | 深圳市迪佳医疗智能科技有限公司 | 视力检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6430813B2 (ja) | 2018-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5858433B2 (ja) | 注視点検出方法及び注視点検出装置 | |
JP5467303B1 (ja) | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 | |
US8885177B2 (en) | Medical wide field of view optical tracking system | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
US9959678B2 (en) | Face and eye tracking using facial sensors within a head-mounted display | |
US10499808B2 (en) | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program | |
JP2019141620A (ja) | 三次元物体上の注視点決定方法及び装置 | |
WO2018030515A1 (ja) | 視線検出装置 | |
CN108354585B (zh) | 用于检测角膜顶点的用计算机实现的方法 | |
JP6560463B1 (ja) | ヘッドマウントディスプレイ内の顔センサを使用する顔および目のトラッキングおよび顔アニメーション | |
EP3252566A1 (en) | Face and eye tracking and facial animation using facial sensors within a head-mounted display | |
JPWO2012020760A1 (ja) | 注視点検出方法及び注視点検出装置 | |
US10430988B2 (en) | Facial animation using facial sensors within a head-mounted display | |
JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
EP3542308B1 (en) | Method and device for eye metric acquisition | |
JP5818233B2 (ja) | 視線計測装置および方法 | |
JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP2016099759A (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6288770B2 (ja) | 顔検出方法、顔検出システム、および顔検出プログラム | |
JP6780161B2 (ja) | 視線検出装置及び視線検出方法 | |
JP2012029940A (ja) | 視線計測方法及び視線計測装置 | |
JP4055858B2 (ja) | 視線検出システム | |
JP2016057906A (ja) | 視点位置の計測方法及び計測システム | |
JP2002017677A (ja) | 輻輳角測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6430813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |