CN109240510B - 基于视线追踪的增强现实人机交互设备及控制方法 - Google Patents
基于视线追踪的增强现实人机交互设备及控制方法 Download PDFInfo
- Publication number
- CN109240510B CN109240510B CN201811278631.4A CN201811278631A CN109240510B CN 109240510 B CN109240510 B CN 109240510B CN 201811278631 A CN201811278631 A CN 201811278631A CN 109240510 B CN109240510 B CN 109240510B
- Authority
- CN
- China
- Prior art keywords
- eye
- module
- layer
- network
- interaction system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 61
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000004424 eye movement Effects 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 210000001508 eye Anatomy 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims description 7
- 210000005252 bulbus oculi Anatomy 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明具体涉及一种基于视线追踪的增强现实人机交互设备及控制方法，属于视线追踪和嵌入式领域。所述设备包括：镜架、左交互***和右交互***；每个***包括微型眼追踪相机、光波导AR镜片、嵌入式处理器、驱动控制板和集线槽；所述方法包括：1)建立眼动交互***；2)训练卷积神经网络；3)对采集图像进行数据处理；4)识别眼部动作。本发明一方面改善了人们获取有效信息的途径及其效率，另一方面通过视线进行交互，弥补了语音和手势的操作，当这两种方法来源被占用时仍能进行交互。
Description
技术领域
本发明属于视线追踪和嵌入式领域，具体涉及一种基于视线追踪的增强现实人机交互设备及控制方法。
背景技术
作为一项将虚拟与现实结合起来的技术，增强现实将广泛应用于医疗、工业设计、军事、娱乐等行业，有望成为未来的通用计算平台，并将改变人们的工作生活方式。机器智能的发展使得计算机对人类的自然意识的理解越来越可靠，从而使智能交互有了从实验室走向实用的契机。GPU和其他硬件的发展极大地提高了计算能力，不仅使深度学习和人工智能有了更广泛的应用，还促进了增强现实的发展。
随着交互式设备的出现，人们与计算机交互的方式越来越多。如何高效快速便捷的与计算平台通信已经成为科学家研究的热门话题。就现有的HoloLens、Magic leap而言，其人机交互停留在语音和手势，尚未出现一种成形的使用视线的交互操作，这在一定程度上限降低了增强现实的优势。对于tobli与SMI等公司开发出的视线追踪眼镜，仅仅作为单纯的注视分析，并未上升到交互和控制层面。对照AR和眼动的技术环境，视线作为一种交互方式，与增强现实眼镜有着极大的契合度，为改善人们获取有效信息的方式提供新的契机。
深度学习(deep learning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。典型的DL架构可包括许多层的神经元和数百万个参数。在现有的DL框架中，卷积神经网络(CNN)是最流行的架构之一，它的人工神经元可以响应一部分覆盖范围内的周围单元，相比较其他深度、前馈神经网络，对于图像处理表现出更好的结果，使之成为一种颇具吸引力的深度学习结构。
发明内容
针对上述存在的技术问题，本发明提供一种基于视线追踪的增强现实人机交互设备，其特征在于，包括：镜架、左交互***和右交互***；
所述左交互***与右交互***的结构相同并对称，每个***包括微型眼追踪相机、光波导AR镜片、嵌入式处理器、驱动控制板和集线槽；
所述集线槽设置在镜架上；
所述驱动控制板安装在镜架上，与光波导AR镜片相连，连接线收纳于集线槽中；
所述嵌入式处理器安装在驱动控制板上；
所述光波导AR镜片用于显示驱动控制板的输出信息；
所述光波导AR镜片和微型眼追踪相机安装在镜架上，位于人体视觉范围内。
所述嵌入式处理器具有Pascal的GPU架构，同时具有独立的操作***。
所述微型眼追踪相机采用可以记录原始红绿蓝三通道图像的相机。
一种基于视线追踪的增强现实人机交互设备的控制方法，采用上述的基于视线追踪的增强现实人机交互设备，包括以下步骤：
步骤1，在所述交互设备内建立眼动交互***；所述眼动交互***采用基于CNN架构的卷积神经网络；
步骤2，训练所述卷积神经网络：
所述卷积神经网络的模型采用的训练集图像包括以不同肤色，人种，虹膜颜色，眼球大小等眼部三维模型在不同角度，不同模拟光照，不同视线中截取到的眼部模拟图像；
对所述训练集图像进行锐化处理，强调边缘以便于学习，并调节图像尺寸为256x256像素；
所述模型是根据ResNet网络构建，其训练过程为：
输入图像依次经过一层BatchNorm(BN)层，一层7x 7卷积核的卷积(CONV)层，一层修正线形单元(relu)层，进入卷积网络；
所述卷积网络包括第一模块、第二模块、第三模块和第四模块，输入图像顺序经过卷积网络的4个模块；
任意一个模块皆由若干个网络组成，同一个模块中各个网络是相同的；
所述模块中的各个网络由一层BN层，一层3x 3 CONV层与一层relu层依次连接而成；
第一模块的第一网络以接收的输入图像作为输入量；第一模块的其他网络的输入量皆为上个网络的输出量与输入量的和；
其他模块的第一网络的输入量为上一个模块的最后一个网络的输出量与输入量的和；其他模块的其他网络的输入量皆为上个网络的输出量与输入量的和；
第四模块的输出量，一方面经过降维并通过全连接(FC)层得出32个虹膜特征点；另一方面依次通过一层BN层，一层3x 3 CONV层与一层relu层，再降维经过FC层，得出33个其他特征点；
根据所述32个虹膜特征点得出瞳孔中心；根据所述33个其他特征点识别眼部动作；以全部的55个特征点作为输入，经过3个FC层得出2个视线向量；以两视线向量交点确定为空间上人眼的视线焦点的位置；
将得到的瞳孔中心、视线向量和视线焦点作为训练结果，使眼动交互***达到使用要求；
步骤3，所述眼动交互***通过2个微型眼追踪相机分别采集的左右眼部的原始红绿蓝三通道图像，依次进行以下操作：
(1)对图像中的红色通道进行直方图均衡化，增强大多数场景下的图像细节；
(2)提高对比度，突出皮肤与眼球以及眼白与虹膜的色彩差别；
(3)经过锐化处理，突出边缘特征；
(4)把图像的尺寸调节为256x 256像素；
步骤4，通过所述眼动交互***对经过步骤3处理后的图像进行视线移动轨迹识别，进而识别视线移动轨迹所画出的各种图案来进行相应的交互动作；同时进行眼部动作的识别。
本发明的有益效果：
本发明提出一种基于视线追踪的增强现实人机交互设备及控制方法，一方面改善了人们获取有效信息的途径及其效率，另一方面通过视线进行交互，弥补了语音和手势的操作，当这两种方法来源被占用时仍能进行交互。
本发明采用基于CNN架构的卷积神经网络的眼动交互***，使逊于红外相机的普通相机得以应用，提升了视线追踪的精确性并节约了成本。
本发明设计合理，易于实现，具有很好的实用价值。
附图说明
图1为本发明具体实施方式中所述基于视线追踪的增强现实人机交互设备的结构示意图。
图中：1、微型眼追踪相机；2、光波导AR镜片；3、驱动控制板；4、镜架；5、集线槽。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明做出进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提出一种基于视线追踪的增强现实人机交互设备，如图1所示，包括：镜架4、左交互***和右交互***；
所述左交互***和右交互***分别安装在镜架4的左半部和右半部；
所述左交互***与右交互***的结构相同并对称，每个***包括微型眼追踪相机1、光波导AR镜片2、嵌入式处理器、驱动控制板3和集线槽5；
所述集线槽5设置在镜架4上；
所述驱动控制板3安装在镜架4上，与光波导AR镜片2相连，连接线收纳于集线槽5中；
所述嵌入式处理器安装在驱动控制板3上；
所述嵌入式处理器是设备的控制中心和图像处理中心、以及对微型眼追踪相机1回传的信号进行处理后发送到光波导镜片进行显示的处理中心，具有Pascal的GPU架构，从而具有强大的图像处理能力，同时还具有独立的操作***；
所述微型眼追踪相机1用于记录眼部的原始红绿蓝三通道图像，通过双眼追踪实现人机交互；
所述光波导AR镜片2用于显示驱动控制板3的输出信息；
所述光波导AR镜片2和微型眼追踪相机1安装在镜架4上，位于人体视觉范围内；
本发明提出一种基于视线追踪的增强现实人机交互设备的控制方法，采用上述的基于视线追踪的增强现实人机交互设备，包括以下步骤：
步骤1，在所述交互设备内建立眼动交互***；所述眼动交互***采用基于CNN架构的卷积神经网络；
步骤2，训练所述卷积神经网络：
所述卷积神经网络的模型采用的训练集图像包括以不同肤色，人种，虹膜颜色，眼球大小等眼部三维模型在不同角度，不同模拟光照，不同视线中截取到的眼部模拟图像；
对所述训练集图像进行锐化处理，强调边缘以便于学习，并调节图像尺寸为256x256像素；
所述模型是根据ResNet网络构建，其训练过程为：
输入图像依次经过一层BatchNorm(BN)层，一层7x 7卷积核的卷积(CONV)层，一层修正线形单元(relu)层，进入卷积网络；
所述卷积网络包括第一模块、第二模块、第三模块和第四模块，输入图像顺序经过卷积网络的4个模块；
任意一个模块皆由若干个网络组成，同一个模块中各个网络是相同的；
所述模块中的各个网络由一层BN层，一层3x 3 CONV层与一层relu层依次连接而成；
第一模块的第一网络以接收的输入图像作为输入量；第一模块的其他网络的输入量皆为上个网络的输出量与输入量的和；
其他模块的第一网络的输入量为上一个模块的最后一个网络的输出量与输入量的和；其他模块的其他网络的输入量皆为上个网络的输出量与输入量的和；
第四模块的输出量，一方面经过降维并通过全连接(FC)层得出32个虹膜特征点；另一方面依次通过一层BN层，一层3x 3 CONV层与一层relu层，再降维经过FC层，得出33个其他特征点；
根据所述32个虹膜特征点得出瞳孔中心；根据所述33个其他特征点识别眼部动作；以全部的55个特征点作为输入，经过3个FC层得出2个视线向量；以两视线向量交点确定为空间上人眼的视线焦点的位置；
将得到的瞳孔中心、视线向量和视线焦点作为训练结果，使眼动交互***达到使用要求；
步骤3，所述眼动交互***通过2个微型眼追踪相机1分别采集的左右眼部的原始红绿蓝三通道图像，依次进行以下操作：
(1)对图像中的红色通道进行直方图均衡化，增强大多数场景下的图像细节；
(2)提高对比度，突出皮肤与眼球以及眼白与虹膜的色彩差别；
(3)经过锐化处理，突出边缘特征；
(4)把图像的尺寸调节为256x 256像素；
步骤4，通过所述眼动交互***对经过步骤3处理后的图像进行视线移动轨迹识别，进而识别视线移动轨迹所画出的各种图案来进行相应的交互动作；同时进行眼部动作的识别；
其中，以眼部动作中的眨眼动作作为眼动交互***的交互动作的开关。
Claims (3)
1.一种基于视线追踪的增强现实人机交互设备，其特征在于，包括：镜架、左交互***和右交互***；
所述左交互***与右交互***的结构相同并对称，每个***包括微型眼追踪相机、光波导AR镜片、嵌入式处理器、驱动控制板和集线槽；
所述集线槽设置在镜架上；
所述驱动控制板安装在镜架上，与光波导AR镜片相连，连接线收纳于集线槽中；
所述嵌入式处理器安装在驱动控制板上；
所述光波导AR镜片和微型眼追踪相机安装在镜架上，位于人体视觉范围内；
采用所述基于视线追踪的增强现实人机交互设备的基于视线追踪的增强现实人机交互设备的控制方法，包括如下步骤：
步骤1，在所述交互设备内建立眼动交互***；所述眼动交互***采用基于CNN架构的卷积神经网络；
步骤2，训练所述卷积神经网络：
所述卷积神经网络的模型采用的训练集图像包括以不同肤色，人种，虹膜颜色，眼球大小等眼部三维模型在不同角度，不同模拟光照，不同视线中截取到的眼部模拟图像；
对所述训练集图像进行锐化处理，强调边缘以便于学习，并调节图像尺寸为256x 256像素；
所述模型是根据ResNet网络构建，其训练过程为：
输入图像依次经过一层BatchNorm(BN)层，一层7x 7卷积核的卷积(CONV)层，一层修正线形单元(relu)层，进入卷积网络；
所述卷积网络包括第一模块、第二模块、第三模块和第四模块，输入图像顺序经过卷积网络的4个模块；
任意一个模块皆由若干个网络组成，同一个模块中各个网络是相同的；
所述模块中的各个网络由一层BN层，一层3x 3CONV层与一层relu层依次连接而成；
第一模块的第一网络以接收的输入图像作为输入量；第一模块的其他网络的输入量皆为上个网络的输出量与输入量的和；
其他模块的第一网络的输入量为上一个模块的最后一个网络的输出量与输入量的和；其他模块的其他网络的输入量皆为上个网络的输出量与输入量的和；
第四模块的输出量，一方面经过降维并通过全连接(FC)层得出32个虹膜特征点；另一方面依次通过一层BN层，一层3x 3CONV层与一层relu层，再降维经过FC层，得出33个其他特征点；
根据所述32个虹膜特征点得出瞳孔中心；根据所述33个其他特征点识别眼部动作；以全部的55个特征点作为输入，经过3个FC层得出2个视线向量；以两视线向量交点确定为空间上人眼的视线焦点的位置；
将得到的瞳孔中心、视线向量和视线焦点作为训练结果，使眼动交互***达到使用要求；
步骤3，所述眼动交互***通过2个微型眼追踪相机分别采集的左右眼部的原始红绿蓝三通道图像，依次进行以下操作：
(1)对图像中的红色通道进行直方图均衡化，增强大多数场景下的图像细节；
(2)提高对比度，突出皮肤与眼球以及眼白与虹膜的色彩差别；
(3)经过锐化处理，突出边缘特征；
(4)把图像的尺寸调节为256x 256像素；
步骤4，通过所述眼动交互***对经过步骤3处理后的图像进行视线移动轨迹识别，进而识别视线移动轨迹所画出的各种图案来进行相应的交互动作；同时进行眼部动作的识别。
2.根据权利要求1所述的基于视线追踪的增强现实人机交互设备，其特征在于，所述嵌入式处理器具有Pascal的GPU架构，同时具有独立的操作***。
3.根据权利要求1所述的基于视线追踪的增强现实人机交互设备，其特征在于，所述微型眼追踪相机采用可以记录原始红绿蓝三通道图像的相机。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278631.4A CN109240510B (zh) | 2018-10-30 | 2018-10-30 | 基于视线追踪的增强现实人机交互设备及控制方法 |
| PCT/CN2019/088729 WO2020087919A1 (zh) | 2018-10-30 | 2019-05-28 | 基于视线追踪的增强现实人机交互设备及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278631.4A CN109240510B (zh) | 2018-10-30 | 2018-10-30 | 基于视线追踪的增强现实人机交互设备及控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109240510A CN109240510A (zh) | 2019-01-18 |
| CN109240510B true CN109240510B (zh) | 2023-12-26 |
Family
ID=65079352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811278631.4A Active CN109240510B (zh) | 2018-10-30 | 2018-10-30 | 基于视线追踪的增强现实人机交互设备及控制方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109240510B (zh) |
| WO (1) | WO2020087919A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109240510B (zh) * | 2018-10-30 | 2023-12-26 | 东北大学 | 基于视线追踪的增强现实人机交互设备及控制方法 |
| CN117289788A (zh) * | 2022-11-28 | 2023-12-26 | 清华大学 | 交互方法、装置、电子设备及计算机存储介质 |
| CN116185192B (zh) * | 2023-02-09 | 2023-10-20 | 北京航空航天大学 | 基于去噪变分编码器的眼动识别vr交互方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
| CN105589551A (zh) * | 2014-10-22 | 2016-05-18 | 褚秀清 | 一种用于移动设备人机交互的眼动跟踪方法 |
| CN106354264A (zh) * | 2016-09-09 | 2017-01-25 | 电子科技大学 | 基于视线追踪的实时人机交互***及其工作方法 |
| CN106407772A (zh) * | 2016-08-25 | 2017-02-15 | 北京中科虹霸科技有限公司 | 适于虚拟现实设备的人机交互与身份认证装置及其方法 |
| CN106447184A (zh) * | 2016-09-21 | 2017-02-22 | 中国人民解放军国防科学技术大学 | 基于多传感器测量与神经网络学习的无人机操作员状态评估方法 |
| CN107105333A (zh) * | 2017-04-26 | 2017-08-29 | 电子科技大学 | 一种基于视线追踪技术的vr视频直播交互方法与装置 |
| CN107545302A (zh) * | 2017-08-02 | 2018-01-05 | 北京航空航天大学 | 一种人眼左右眼图像联合的视线方向计算方法 |
| CN107656613A (zh) * | 2017-09-08 | 2018-02-02 | 国网山东省电力公司电力科学研究院 | 一种基于眼动追踪的人机交互***及其工作方法 |
| DE102016118647A1 (de) * | 2016-09-30 | 2018-04-05 | Deutsche Telekom Ag | Augmented-Reality-Kommunikationssystem und Augmented-Reality-Interaktionsvorrichtung |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070011609A1 (en) * | 2005-07-07 | 2007-01-11 | Florida International University Board Of Trustees | Configurable, multimodal human-computer interface system and method |
| KR102450441B1 (ko) * | 2016-07-14 | 2022-09-30 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
| IL281241B (en) * | 2016-08-22 | 2022-08-01 | Magic Leap Inc | An augmented reality display device with deep learning sensors |
| US10642887B2 (en) * | 2016-12-27 | 2020-05-05 | Adobe Inc. | Multi-modal image ranking using neural networks |
| CN109240510B (zh) * | 2018-10-30 | 2023-12-26 | 东北大学 | 基于视线追踪的增强现实人机交互设备及控制方法 |
-
2018
- 2018-10-30 CN CN201811278631.4A patent/CN109240510B/zh active Active
-
2019
- 2019-05-28 WO PCT/CN2019/088729 patent/WO2020087919A1/zh active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
| CN105589551A (zh) * | 2014-10-22 | 2016-05-18 | 褚秀清 | 一种用于移动设备人机交互的眼动跟踪方法 |
| CN106407772A (zh) * | 2016-08-25 | 2017-02-15 | 北京中科虹霸科技有限公司 | 适于虚拟现实设备的人机交互与身份认证装置及其方法 |
| CN106354264A (zh) * | 2016-09-09 | 2017-01-25 | 电子科技大学 | 基于视线追踪的实时人机交互***及其工作方法 |
| CN106447184A (zh) * | 2016-09-21 | 2017-02-22 | 中国人民解放军国防科学技术大学 | 基于多传感器测量与神经网络学习的无人机操作员状态评估方法 |
| DE102016118647A1 (de) * | 2016-09-30 | 2018-04-05 | Deutsche Telekom Ag | Augmented-Reality-Kommunikationssystem und Augmented-Reality-Interaktionsvorrichtung |
| CN107105333A (zh) * | 2017-04-26 | 2017-08-29 | 电子科技大学 | 一种基于视线追踪技术的vr视频直播交互方法与装置 |
| CN107545302A (zh) * | 2017-08-02 | 2018-01-05 | 北京航空航天大学 | 一种人眼左右眼图像联合的视线方向计算方法 |
| CN107656613A (zh) * | 2017-09-08 | 2018-02-02 | 国网山东省电力公司电力科学研究院 | 一种基于眼动追踪的人机交互***及其工作方法 |
Non-Patent Citations (2)
| Title |
|---|
| A survey of Calibration methods for optical see-through head-mounted displays;Jens Grubert等;IEEE transactions on visualization and computer graphics;第2649-2662页 * |
| 虚拟与增强现实技术;雷卓石;科技创新导报;第150-152页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109240510A (zh) | 2019-01-18 |
| WO2020087919A1 (zh) | 2020-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fan et al. | Inferring shared attention in social scene videos | |
| Lian et al. | Multiview multitask gaze estimation with deep convolutional neural networks | |
| Akinyelu et al. | Convolutional neural network-based methods for eye gaze estimation: A survey | |
| CN111028330B (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
| CN111385462A (zh) | 信号处理装置、信号处理方法及相关产品 | |
| CN109240510B (zh) | 基于视线追踪的增强现实人机交互设备及控制方法 | |
| CN109558832A (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN111222486B (zh) | 手部姿态识别模型的训练方法、装置、设备及存储介质 | |
| Sincan et al. | Using motion history images with 3d convolutional networks in isolated sign language recognition | |
| CN109559332B (zh) | 一种结合双向LSTM和Itracker的视线跟踪方法 | |
| US10990170B2 (en) | Eye tracking method, electronic device, and non-transitory computer readable storage medium | |
| CN111783620A (zh) | 表情识别方法、装置、设备及存储介质 | |
| Santhalingam et al. | Sign language recognition analysis using multimodal data | |
| US20220198836A1 (en) | Gesture recognition method, electronic device, computer-readable storage medium, and chip | |
| Zhang et al. | Multimodal spatiotemporal networks for sign language recognition | |
| CN110968235B (zh) | 信号处理装置及相关产品 | |
| Lemley et al. | Eye tracking in augmented spaces: A deep learning approach | |
| CN112906520A (zh) | 一种基于姿态编码的动作识别方法及装置 | |
| CN111144374B (zh) | 人脸表情识别方法及装置、存储介质和电子设备 | |
| US20220159174A1 (en) | Method of controlling electronic device by recognizing movement in peripheral zone of field of view of camera, and electronic device therefor | |
| CN114115535A (zh) | 基于银河锐华移动操作***的眼动追踪、识别方法及*** | |
| KR20220067964A (ko) | 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치 | |
| Wang et al. | An integrated neural network model for eye-tracking during human-computer interaction | |
| CN110969246A (zh) | 信号处理装置及相关产品 | |
| Changwani et al. | Low-cost eye tracking for foveated rendering using machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |