WO2020029658A1 - 一种基于单摄像头的双眼追踪*** - Google Patents

一种基于单摄像头的双眼追踪*** Download PDF

Info

Publication number
WO2020029658A1
WO2020029658A1 PCT/CN2019/088730 CN2019088730W WO2020029658A1 WO 2020029658 A1 WO2020029658 A1 WO 2020029658A1 CN 2019088730 W CN2019088730 W CN 2019088730W WO 2020029658 A1 WO2020029658 A1 WO 2020029658A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical waveguide
prism
camera
binocular
processor
Prior art date
Application number
PCT/CN2019/088730
Other languages
English (en)
French (fr)
Inventor
崔笑宇
郑靖
王立乾
赵泽胤
赵越
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Publication of WO2020029658A1 publication Critical patent/WO2020029658A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Definitions

  • the technical problem to be solved by the present invention is to address the shortcomings of the prior art described above, and provide a binocular tracking system based on a single camera, which uses the prism's refraction effect to expand the field of view of a single camera so that it can simultaneously capture left and right eye images.
  • the interpupillary distance of the two eyes can be directly obtained by using the prism parameter and the pupil feature extraction algorithm.
  • the eye tracking coordinate system is also simplified.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种基于单摄像头的双眼追踪***，涉及基于棱镜的单目立体视觉技术领域。该***包括集成框架、光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置，利用棱镜的折射效果，扩大单相机的视野范围，使其同时捕获到左右眼图像，还可以通过棱镜参数配合瞳孔特征提取算法直接求出双眼的瞳距，在一台相机的情况下也简化了眼球追踪坐标系。

Description

一种基于单摄像头的双眼追踪*** 技术领域
本发明涉及基于棱镜的单目立体视觉技术领域，尤其涉及一种基于单摄像头的双眼追踪***。
背景技术
传统的双眼追踪如果想实现双眼同时追踪，现有头戴显示器内集成至少2台眼追踪相机，分别捕获左右眼图像，标定也需要分别进行。同时也会造成视野狭窄，也不便对所获取图像的处理。
基于棱镜的单目立体视觉测量技术是计算机视觉领域的新兴技术，这是将一个双视角棱镜放置于摄像机前，利用棱镜的“折射分光”效果来实现双相机立体视觉***的功能，使得相机的成像平面可以捕获同一物体不同角度的两个像。
近来学者提出将棱镜作为一个多面***分析，然后把所有的面组合起来，得到一个变换矩阵，这个矩阵可以表示出物体点和物体要通过棱镜折射点后的像之间的关系，同时这个矩阵还可以用极限几何和三维重建分析，之后又提出基于单目立体视觉***的多目棱镜的位置估计方法。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于单摄像头的双眼追踪***，利用棱镜的折射效果，扩大单相机的视野范围，使其同时捕获到左右眼图像，还可以通过棱镜参数配合瞳孔特征提取算法直接求出双眼的瞳距，在一台相机的情况下也简化了眼球追踪坐标系。
为解决上述技术问题，本发明所采取的技术方案是：一种基于单摄像头的双眼追踪***，包括集成框架、光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置；
所述集成框架用于安装光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置，能半包围地套在使用者头部；所述光波导显示器包括两个，分别面向使用者两眼方向，并通过活动螺丝固定在集成框架内侧的正下部，光波导处理器放在光波导显示器斜上方30度的集成框架的挡板位置上；眼球追踪装置包括红外相机和固定在红外相机表面的棱镜，眼球追踪装置固定在两个光波导显示器的正中间的上方，棱镜表面与额头表面垂直方向成30～45度，棱镜的表面面向双目，棱镜的最佳型号通过调整相机拍摄位置以及追踪人眼距离进行选取；所述计算机处理装置位于眼球追踪装置的正上方，光波导处理器与计算机 处理装置通过排线直接连接，所述双目摄像装置位于计算机处理装置的正前端，并连接在光波导处理器上，再由光波导处理器的侧面延伸出连接线连接到电脑端。
采用上述技术方案所产生的有益效果在于：本发明提供的一种基于单摄像头的双眼追踪***，利用棱镜的折射效果，扩大单相机的视野范围，使其同时捕获到左右眼图像，还可以通过棱镜参数配合瞳孔特征提取算法直接求出双眼的瞳距，在一台相机的情况下也简化了眼球追踪坐标系；本发明的***可直接应用到AR识别上，使用者可通过其捕捉到眼球的转动，传给处理器，再结合算法能快速让PC端识别所选目标。
附图说明
图1为单目立体视觉***模拟实验效果图；
图2为本发明实施例中所需拍摄使用者的光路示意图；
图3是本发明实施例提供的基于单摄像头的双眼追踪***所采用的实物框架结构图。
图中：1、***所获取的双目效果图；2、成像平面；3、相机焦点；4、棱镜；5、被成像平面；6、框架封盖；7、整体框架；8、摄像头；9、摄像头表面的棱镜；10、光波导显示器；11、显示器防护罩。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
基于单摄像头的双眼追踪***，如图3所示，包括集成框架、光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置。本***中集成框架用于安装光波导显示器、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置，能半包围地套在使用者头部。光波导显示器包括两个，位于集成框架内侧的正下部，正对着使用者的双目；眼球追踪装置位于两个光波导显示器的正中间的上方，包括红外相机和固定在红外相机表面的棱镜，其棱镜的表面面向双目，且与双眼表面约成45度角。计算机处理装置位于眼球追踪装置的正上方，光波导处理器与计算机处理装置通过排线直接连接，双目摄像装置位于计算机处理装置的正前端，并连接在光波导处理器上，再由光波导处理器的侧面延伸出连接线连接到电脑端。本***应用的原理如图1所示，所采取的六个关键点中，图f是本***中使用的原理图。
其中图a将棱镜4部分换成平面镜，直接由相机进行拍摄成像，而由照相机的原理可知，镜头相当于一个凸透镜，来自物体的光经过照相机的镜头后会聚在胶片上，成倒立、缩小的实像。由图a可知将在成像平面上是倒立，缩小并且是左右颠倒的实像。
在图1中的图b是加一个棱镜的效果图，此时可以看到这时棱镜将形成公共区域3，即 在成像平面左右都会有重叠的部分。
在图1中的图c将对于该棱镜成像作出进一步阐述，公共视野(Field of View，FOV)是指相机可以捕获图像的区域。立体视觉中的FOV表示两台或者多台相机成像的交汇范围，即公共视野。
本实施例的***最关注的的公共区域是主要分析的理论依据，在棱镜参数β确定的前提下将对参数物镜距离s对公共区域的算法研究。
在图1中图b(相关参数标注参考扩展图2)是在φ′ 2＜α′ 2＜θ时，由折射定律和三角几何原理可得到拍摄公共区域大小RS，参数表达式可得到为：
Figure PCTCN2019088730-appb-000001
由其公式可得出，公共区域的大小是距离s的一次单调递增函数，即随着物体到物镜的距离s增大，拍摄的公共区域越大。拍摄总区域PT的表达式为：
Figure PCTCN2019088730-appb-000002
在为了建立二者的联系，将其他的参数作为一定值，则求拍摄的公共区域占单侧区域比例关系式化简为：
Figure PCTCN2019088730-appb-000003
则对公式中的s求导数后可得出结论：
1.当
Figure PCTCN2019088730-appb-000004
时，随s增大，公共区域占单侧区域比例减小；
2.当
Figure PCTCN2019088730-appb-000005
时，随s增大，公共区域占单侧区域比例增大。
同理可得到拍摄公共区域占总区域的比例关系：
1.当
Figure PCTCN2019088730-appb-000006
时，随s增大，公共区域占总区域比例减小；
2.当
Figure PCTCN2019088730-appb-000007
时，随s增大，公共区域占总区域比例增大。
图1中图c是当
Figure PCTCN2019088730-appb-000008
时，此时由于光线通过棱镜折射后，光线角度发生改变，使得光线与棱镜间的夹角也相应的变化，同侧的光线经过折射后内侧折射角与外侧折射角相等。由相同的推论可知：随着拍摄区域到棱镜的距离s逐渐增大时，拍摄公共区域逐渐增大，公共 区域占单侧区域和总区域的比例值逐渐增大。
图1中d图是当
Figure PCTCN2019088730-appb-000009
时，此时两次折射的两条光线相交，外侧两条光线向内汇聚，同时内侧两条光线向外发散。而其中e图是当α′ 2＝0°时，外侧两条光线分别垂直射出棱镜。
本发明涉及到图1中图f的情况，所以将在图2中进一步扩展阐述。图f中是当
Figure PCTCN2019088730-appb-000010
时，此时，光线经过折射后，外侧两条光线向内弯折角度很大，同时内侧光向外弯折，内外光线会有两个交点，弯折交点处的图像公共区域和总图像区域相同。此距离为最佳成像效果。当棱镜角度逐渐增加后，折射的弯折角度越大，最后导致没有公共区域的情况发生。传统的思路中认为没有公共区域的情况是没有利用价值的，用不着分析，但是本发明就是利用这种情况所产生的。当物体距棱镜的距离s大于FG时，由推论可知随着拍摄物体区域与棱镜距离s增大，公共区域的大小范围逐渐减小，公共区域占总区域的比例值都减小。
针对图2由实验得出f图效果可知，可以直接对双目进行追踪。据资料考察人类的鼻梁宽度在20mm左右，即PT的长度。由算法可知初始其表达式为：
Figure PCTCN2019088730-appb-000011
可知在棱镜参数θ以及摄像头与棱镜间距离d确定的前提下可反向估算出棱镜到人眼之间距离s。同理在PT确定的情况下，根据人眼的横向长度28mm左右可知：
RS＝2(h tanφ 1+s tanφ′ 2)；
从而得出所需棱镜的垂直高度h，从而选出所需的最佳棱镜型号。
本发明通过调整相机拍摄位置以及追踪人眼距离，选取最佳棱镜型号，通过旋转眼球位置追踪拍摄。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (1)

  1. 一种基于单摄像头的双眼追踪***，其特征在于：包括集成框架(7)、光波导显示器(10)、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置；
    所述集成框架(7)用于安装光波导显示器(10)、光波导处理器、眼球追踪装置、双目摄像装置、计算机处理装置，能半包围地套在使用者头部；所述光波导显示器(10)包括两个，分别面向使用者两眼方向，并通过活动螺丝固定在集成框架(7)内侧的正下部，光波导处理器放在光波导显示器(10)斜上方30度的集成框架(7)的挡板位置上；眼球追踪装置包括红外相机(8)和固定在红外相机(8)表面的棱镜(9)，眼球追踪装置固定在两个光波导显示器(10)的正中间的上方，棱镜(9)表面与额头表面垂直方向成30-45度，棱镜(9)的表面面向双目，棱镜(9)的最佳型号通过调整相机拍摄位置以及追踪人眼距离进行选取；所述计算机处理装置位于眼球追踪装置的正上方，光波导处理器与计算机处理装置通过排线直接连接，所述双目摄像装置位于计算机处理装置的正前端，并连接在光波导处理器上，再由光波导处理器的侧面延伸出连接线连接到电脑端。
PCT/CN2019/088730 2018-08-07 2019-05-28 一种基于单摄像头的双眼追踪*** WO2020029658A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810891423.5A CN108985291B (zh) 2018-08-07 2018-08-07 一种基于单摄像头的双眼追踪***
CN201810891423.5 2018-08-07

Publications (1)

Publication Number Publication Date
WO2020029658A1 true WO2020029658A1 (zh) 2020-02-13

Family

ID=64556028

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088730 WO2020029658A1 (zh) 2018-08-07 2019-05-28 一种基于单摄像头的双眼追踪***

Country Status (2)

Country Link
CN (1) CN108985291B (zh)
WO (1) WO2020029658A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985291B (zh) * 2018-08-07 2021-02-19 东北大学 一种基于单摄像头的双眼追踪***
US10860851B2 (en) * 2019-03-05 2020-12-08 Htc Corporation Head mounted display apparatus and eye-tracking apparatus thereof
CN110069101B (zh) * 2019-04-24 2024-04-02 洪浛檩 一种穿戴式计算设备和一种人机交互方法
CN112380963B (zh) * 2020-11-11 2024-05-31 东软睿驰汽车技术（沈阳）有限公司 基于全景环视***的深度信息确定方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140266986A1 (en) * 2013-03-15 2014-09-18 Immy Inc. Head mounted display with non-pupil forming optical path
CN106291930A (zh) * 2015-06-24 2017-01-04 联发科技股份有限公司 头戴式显示器
CN106444044A (zh) * 2016-12-12 2017-02-22 中国航空工业集团公司洛阳电光设备研究所 一种民用飞机的头戴式显示器
CN206161958U (zh) * 2016-07-18 2017-05-10 深圳珑璟光电技术有限公司 用于增强现实显示的交互头戴显示设备
WO2017079333A1 (en) * 2015-11-04 2017-05-11 Magic Leap, Inc. Light field display metrology
WO2017179938A1 (ko) * 2016-04-15 2017-10-19 이문기 눈 촬영 장치
CN207625712U (zh) * 2017-12-25 2018-07-17 广东虚拟现实科技有限公司 视觉显示***以及头戴显示装置
CN108985291A (zh) * 2018-08-07 2018-12-11 东北大学 一种基于单摄像头的双眼追踪***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692139B (zh) * 2009-09-11 2011-07-20 丁守谦 全彩色高清晰眼镜式立体观像器装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140266986A1 (en) * 2013-03-15 2014-09-18 Immy Inc. Head mounted display with non-pupil forming optical path
CN106291930A (zh) * 2015-06-24 2017-01-04 联发科技股份有限公司 头戴式显示器
WO2017079333A1 (en) * 2015-11-04 2017-05-11 Magic Leap, Inc. Light field display metrology
WO2017179938A1 (ko) * 2016-04-15 2017-10-19 이문기 눈 촬영 장치
CN206161958U (zh) * 2016-07-18 2017-05-10 深圳珑璟光电技术有限公司 用于增强现实显示的交互头戴显示设备
CN106444044A (zh) * 2016-12-12 2017-02-22 中国航空工业集团公司洛阳电光设备研究所 一种民用飞机的头戴式显示器
CN207625712U (zh) * 2017-12-25 2018-07-17 广东虚拟现实科技有限公司 视觉显示***以及头戴显示装置
CN108985291A (zh) * 2018-08-07 2018-12-11 东北大学 一种基于单摄像头的双眼追踪***

Also Published As

Publication number Publication date
CN108985291B (zh) 2021-02-19
CN108985291A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
WO2020029658A1 (zh) 一种基于单摄像头的双眼追踪***
CN107506036B (zh) Vr瞳距调节方法和装置
US10002293B2 (en) Image collection with increased accuracy
US9867532B2 (en) System for detecting optical parameter of eye, and method for detecting optical parameter of eye
TWI569040B (zh) 自動調焦頭戴式顯示裝置
US9961257B2 (en) Imaging to facilitate object gaze
JP6507241B2 (ja) ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法
US20150003819A1 (en) Camera auto-focus based on eye gaze
WO2016115871A1 (zh) 能自动调节景深的双目ar头戴设备及景深调节方法
WO2016115873A1 (zh) 双目ar头戴显示设备及其信息显示方法
US20160179193A1 (en) Content projection system and content projection method
JP2019527377A (ja) 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法
WO2016115870A1 (zh) 双目ar头戴显示设备及其信息显示方法
WO2015051751A1 (en) Interactive projection display
WO2015014059A1 (zh) 成像装置及成像方法
US11134238B2 (en) Goggle type display device, eye gaze detection method, and eye gaze detection system
WO2015051606A1 (zh) 定位方法及定位***
WO2015027598A1 (zh) 提醒方法及提醒装置
CN105827960A (zh) 一种成像方法及装置
WO2015043275A1 (en) Imaging for local scaling
US20220207919A1 (en) Methods, devices and systems for determining eye parameters
US20160110600A1 (en) Image collection and locating method, and image collection and locating device
US20150035726A1 (en) Eye-accommodation-aware head mounted visual assistant system and imaging method thereof
TW201814356A (zh) 頭戴顯示裝置與其鏡片位置調整方法
US20220198789A1 (en) Systems and methods for determining one or more parameters of a user's eye

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846553

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19846553

Country of ref document: EP

Kind code of ref document: A1