CN105930821A - 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 - Google Patents
一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 Download PDFInfo
- Publication number
- CN105930821A CN105930821A CN201610304542.7A CN201610304542A CN105930821A CN 105930821 A CN105930821 A CN 105930821A CN 201610304542 A CN201610304542 A CN 201610304542A CN 105930821 A CN105930821 A CN 105930821A
- Authority
- CN
- China
- Prior art keywords
- human eye
- eye
- image
- face
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 210000001508 eye Anatomy 0.000 claims description 165
- 238000001514 detection method Methods 0.000 claims description 21
- 210000005252 bulbus oculi Anatomy 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 6
- 210000003128 head Anatomy 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000000205 computational method Methods 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims description 2
- 239000000700 radioactive tracer Substances 0.000 claims description 2
- 238000005728 strengthening Methods 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims 1
- 239000012528 membrane Substances 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 230000000977 initiatory effect Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 22
- 238000010586 diagram Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 238000004134 energy conservation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000532149 Iris unguicularis Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 241000790351 Iris latifolia Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
一种人眼识别跟踪技术，步骤为：a.开启虹膜空间位置采集模块；b.可见光下，通过单相机进行人脸或人眼的图像采集；c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；d.使用单相机进行虹膜中心空间位置重建；e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的空间位置信息。
Description
技术领域
本发明涉及图像处理及通信领域，尤其是涉及人眼识别跟踪的方法及其应用在裸眼3D显示领域的装置。
背景技术
裸眼3D技术是根据人眼的视差来实现的，即人的左眼和右眼在观察同一个目标时会有图像上的差异，左眼看到的影像跟右眼看到的影像在大脑里合成就成为我们看到的3D内容。由此，通过在屏幕上做一些处理，将存在视差的图像分别映射到人的左眼和右眼，人看起来就是3D影像了。
现有的裸眼3D显示技术主要为：（1）视差屏障技术：使用一个开关液晶屏、偏振膜和高分子液晶层，利用液晶层和偏振膜制造出一系列方向为90°的垂直条纹，通过它们的光形成了垂直的细条栅的“视差障壁”，将左眼和右眼的可视画面分开，使观者看到3D影像；（2）柱状透镜技术：在液晶显示屏的前面加上一层柱状透镜，使液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的像素被分成几个子像素；（3）指向光源技术：将TFT背光源配合画面以交替显示的方式使左右画面的光线投射到左右眼，利用背光模组和液晶面板使不同像素光线路径转变，视差图像经过分离后分别进入左右眼，形成立体效果。
裸眼式3D显示技术的发展摆脱了传统3D眼镜的束缚，但是裸眼3D技术的发展受到以下几个因素的制约，主要为分辨率、可视角度和可视距离等方面还存在很多不足。专利CN2016105445948提供了一种裸眼3D显示装置及显示方法，用以解决在观看中观看者视点发生变化时，不能获得较佳的3D图像画面的问题，该专利主要是在显示屏的出光侧设置光栅面板，并设置了一个视点追踪装置，用于在3D显示模式下实时获取观看者当前视点在显示屏前方的位置信息，控制装置根据观看者当前视点在显示屏前方的位置信息，调整所述光栅面板相对于所述显示屏的位置，以使得当前观看者通过所述光栅面板观看到3D图像画面。
该方法的问题在于：该视点追踪装置为红外摄像装置，应用于现有技术的手机、平板电脑或是笔记本电脑等设备上时，需要另外安装，带来不易安装固定、增加成本、
影响美观等问题。
所以将追踪眼球位置的技术应用在裸眼3D的领域还应该克服如下问题：
（1）在可见光环境下，用单相机实现对人眼球主要是虹膜空间位置的检测；
（2）在观者处于移动状态时，快速稳定的识别人眼位置；
（3）在不同光线强度时，对人眼部亮度的自动适应；
（4）观者在眨眼或闭眼时对眼睛的持续检测及睁眼后的快速追踪。
发明内容
为了解决上述将追踪眼球位置的技术应用在裸眼3D的领域所需要克服的技术问题，本发明提供了一种人眼识别跟踪的方法，其特征在于其实现步骤：
a.开启虹膜空间位置采集模块；
b.可见光下，通过单相机进行人脸或人眼的图像采集；
c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；
d.利用PNP透视多点方法进行空间位置重建；
e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的位置信息。
将上述方法应用于裸眼3D显示领域时，可以根据上述方法得到的人眼相对于显示屏的位置信息，调整裸眼3D模块的相关光学信息，包括：调节光栅或是透镜的偏转角，也可以用于调整子像素的排列位置。
所述人眼识别跟踪的方法中c步骤涉及的人脸或人眼校准方法包括：
c-1.眼球追踪模块初始化人脸或人眼的图像位置；
c-2.基于初始化的人脸或人眼区域判断人脸或人眼可能出现的区域并在此区域内对人脸和人眼进行跟踪和识别；
c-3.当c-2中的跟踪和识别过程均成功时，则直接进入c-6；
c-4.当c-2中的任何一个过程失败时，则将失败的图像放入另一个分类器中，在其中对失败的图像进行增强学习，学习失败图像的相关特征，该分类器与现有跟踪识别算法一起确定人脸或人眼的图像位置；
c-5.当c-2中的两个过程都失败时，返回c-2对全图像进行跟踪与识别；
c-6.通过人脸或人眼校准得到包括虹膜中心的人脸或人眼特征点的图像坐标。
值得注意的是，随着对失败图像的学习，所述分类器在跟踪和识别过程中的权重自适应增加，检测率提高，学习的失败图像越来越少。
上述方法中提到的单相机空间位置重建方法为:通过先验模型，使用PNP透视多点方法，其中多点的个数为至少大于3的整数，必须至少包括两个虹膜中心点，将采集到的人脸或人眼特征点的二维坐标还原成相对于相机坐标系的人脸或人眼的三维坐标，得到人眼相对于显示屏的位置信息。
其中人眼识别跟踪技术计算人眼相对于显示屏的位置信息的方法可以为：
(1).通过标定获得一个先验模型数据库，其过程包括：
a.启动特征点空间位置采集模块；
b.保持头部位置不变，变换相机位置采集人脸或人眼图像，得到多幅图像；
c.对图像进行人脸或人眼校准获取特征点的图像坐标
d.根据计算机视觉原理获取特征点的空间坐标；
e.形成特征点空间坐标数据库。
所述通过标定获得一个先验模型数据库后，再通过人眼识别跟踪技术实现对人眼虹膜空间位置的检测方法，具体过程为：
使用手机在受测者身体保持不动的情况下采集两幅以上图片(此处以两幅图片为例),通过拍摄图片计算脸部或眼部特征点的空间位置。
假设P为人脸上的某一个特征点，其在世界坐标系中的位置为Xw=[xw yw zw]T，p为这一特征点P在手机拍摄图像上的投影，点P在相机所拍摄图像上投影点p的像素图像坐标为P=[u v]T。根据透视投影原理，可以知道世界坐标系中P点的坐标与其投影点p的坐标存在以下转换关系：
公式(1)
公式(1)中，矩阵K为相机的内参数矩阵，其已由预先的检测过程获得。矩阵R和t分别表示世界坐标系向相机坐标系转换的旋转矩阵与平移矩阵，s为一个非零比例因子。
假定在标定过程中，世界坐标系与第一次拍摄过程中的相机坐标系重合；特征点P在两次拍摄图像内的投影点p1和p2的坐标分别为P1和P2(P1和P2的图像已由人脸或人眼校准方法获得)，其在世界坐标系下的坐标为X(此变量未知)，拍摄相机的内参数矩阵为K（以通过预先的检测过程获得），第二次拍摄时相机坐标系与世界坐标系之间的转换关系由平移向量t和旋转矩阵R描述。由此，根据透视投影原理存在以下转换关系：
公式（2）
公式（3）
以上两式中,s1和s2为两次透视投影过程的比例因子。
由于公式(2)所确定的方程组只有两个方程而特征点P在世界坐标系下的坐标X存在3个未知量，所以只通过公式(2)不能直接计算出点X的数值。所以需要计算出公式(3)中的旋转矩阵R与平移矩阵t以确定X的数值。其计算计算过程如下：
公式（2）两边同时乘以RK-1得：
公式（4）
公式（3）两边同时乘以K-1后，再取转置得:
公式（5）
如果t为三维向量，且t=[tx ty tz]T,则定义矩阵S为t对应的反对称矩阵：
公式（6）
且S*t=0。
公式5两边同时乘t的反对称矩阵S得：
公式（7）
这样平移矩阵就由反对称矩阵S表示。
公式7两边同时乘公式4的两边得：
公式（8）
即： 公式（9）
由公式(9)可见，旋转矩阵R与平移矩阵S可以由多个特征点在摄像机拍摄图像中的坐标确定。（公式(9)中，矩阵S与R一共包含11个未知量，理论上6个特征点就能确定矩阵S和R）当计算出S与R之后，标定过程就可以通过公式(2)和(3)计算出脸部或眼部特征点P在世界坐标系下的坐标X。已知脸部或眼部特征点P在世界坐标系下的坐标，标定方法可以将特征点的世界坐标转换为人脸或人眼坐标系下的坐标，由此，完成人脸或人眼先验模型的构建过程。
在获得人脸或人眼先验模型之后，人眼识别跟踪技术可以根据相机所拍摄图像上的投影点p的像素坐标，计算出其对应特征点P（包含左右眼虹膜中心点）的空间坐标，进而得到人眼相对于显示屏的空间位置。
其中人眼识别跟踪技术计算人眼相对于显示屏的位置信息的方法还可以为：
(2).根据相似三角形原理，根据已知的观者瞳孔间距、相机采集到的图像中瞳孔间距和相机焦距f的空间位置关系计算人眼相对于显示屏的的位置信息，如图11所示，计算方法为L/f=D/d。所述观者瞳孔间距可以为固定的65mm，也可以让用户根据实际情况手动输入。
所述人脸或人眼校准方法的关键过程是指将预设的人脸或人眼形状(即一组预先设置的脸部或眼部特征点的图像位置)校准到相应的人脸或人眼特征点(如虹膜中心点)之上，具体方法可以为判别性形状回归算法，它的总体思路可由以下过程表示:
QUOTE 公式（10）
公式(10)中， QUOTE 表示输入图像， QUOTE表示来自上一级的形状， QUOTE 表示线性回归矩阵， QUOTE表示特征映射函数。由公式(10)可见，线性回归矩阵QUOTE 和特征映射函数与图像 QUOTE和上一级的形状 QUOTE有关，检测程序可以根据先验的人脸或人眼特征点信息对其进行训练，从而获得线性回归矩阵 QUOTE 和特征映射函数 QUOTE。
当线性回归矩阵 QUOTE和特征映射函数 QUOTE已知的情况下，人脸或人眼校准方法可以通过形状回归算法使预设形状校准到相应的人脸或人眼特征点，从而确定人脸或人眼特征点在图像中所处的位置。
以上发明内容都是对人眼识别和追踪技术的整体方法的说明，在用户真正使用时，仍然会面临一些实际的应用问题，本发明针对这些实际问题，提供了如下解决方法：
由于在观看裸眼3D影片时用户眼睛位置基本固定，所以本发明在上述眼球追踪技术上，提出一种移动窗口算法，用以提高人眼识别跟踪的速率，方法为：根据已跟检测到的人眼位置信息，标示出下一帧人眼可能出现的图像区域（该区域以跟踪到的人眼区域为中心，长宽为原先人眼区域长宽的100%-500%）。当采集到下一帧图像后，优先在此区域上进行跟踪检测，如果在此区域内未能跟踪到人眼区域，则再对全图进行跟踪检测。
当观者处于不同亮度的环境中时，本发明中的控制芯片可以根据眼球追踪技术中识别到的人眼区域亮度，调节相机的参数，主要包括曝光，增益或是白平衡。具体方法是在初始识别过程中，计算待测区域的亮度均值,即将图像从RGB空间转换为YCbCr空间，然后计算待测图像区域的平均亮度值(即Y通道像素均值)，计算公式为：
QUOTE 公式（11）
公式(11)中，m,n分别表示采集图像的长宽像素数。
当检测区域平均亮度值小于设定阈值时，则检测程序根据人眼区域的亮度调节摄像头曝光等相关参数，以使检测图像达到较好的质量。
当观者处于侧光环境中时，即采集到的人脸或人眼图像呈现半暗半亮的状态时，人脸或人眼识别跟踪算法无法直接对图像进行处理。因此需要针对侧光状态的图像进行预处理操作。预处理方法为：对原始图像进行边缘检测或自适应阈值处理，将半暗半亮的图像转换为与亮度无关的图像并对其中的噪声斑点进行删除操作。之后，人脸或人眼跟踪定位方法可以对预处理图像进行检测，最终得到虹膜中心的空间位置信息。
当观者眨眼、闭眼时，检测程序会自动关闭眼球追踪模块中的虹膜空间位置重建功能及裸眼3D模块，以实现节能的目的。具体方法为：检测程序会计算识别跟踪到的上下眼睑特征点之间的距离，并将其与特定阈值进行比较（所述阈值为睁眼状态时特征点距离的30～80%）；当上下眼睑特征点之间的距离低于所述阈值时，关闭眼球追踪模块中的虹膜位置空间重建功能和裸眼3D模块。待检测到上下眼睑特征点之间距离高于所述阈值时，重新开启眼球追踪模块中的虹膜位置空间重建功能和裸眼3D模块，在节能的基础上保证了画面的连续性。
将上述人眼识别跟踪方法应用在裸眼3D显示装置上时，该裸眼3D显示装置包括：人眼识别跟踪模块，相机，显示模块和中央处理器，所述人眼识别跟踪模块包括控制芯片、存贮模块、数据接口，所述控制芯片控制相机进行图像采集，并对采集到的图像进行处理，得到人眼的空间位置信息；所述数据接口用于将控制芯片得到的人眼的空间位置信息传输给中央处理器。所述显示模块包括显示屏和裸眼3D模块，所述裸眼3D模块中有可以实现裸眼3D效果的光学部分。所述中央处理器用于将接收到的人眼空间位置信息传输给裸眼3D模块，根据人眼空间位置调整裸眼3D模块的相关光学部分组件，以实现最佳的裸眼3D效果。
其中所述的眼球追踪模块可以是集成了控制芯片、存贮模块、数据接口和相机的独立模块，通过蓝牙或是数据线与裸眼3D显示装置的中央处理器相连；所述眼球追踪模块也可以是在包括了相机和显示模块的裸眼3D显示装置的中央处理器上构建的一套算法，直接控制所述装置的相机和显示模块。
由上述本发明提供的技术方案可以看出，本发明方法的优势在于：
（1）在可见光，单相机的条件下，实现了对人眼虹膜空间位置的检测，用于裸眼3D显示装置中可以增强裸眼3D的显示效果；
（2）使用了移动窗口算法，实现了当观者处于观影状态时，快速稳定的识别人眼位置；
（3）在不同亮度环境下，实现对人眼虹膜空间位置的检测；
（4）自动识别观者的眨眼、闭眼的状态，在节能的基础上保证了观者睁眼后画面的连续性。
附图说明
图1人眼识别跟踪应用于裸眼3D显示的装置的示意图。
图2人眼识别跟踪技术的具体步骤。
图3计算人脸或人眼特征点的图像坐标的具体步骤。
图4 特征点的图像坐标与其空间坐标的对应关系。
图5人脸校准检测示意图。
图6人眼校准检测示意图。
图7预先标定的人脸模型的前视图。
图8预先标定的人脸模型的俯视图。
图9预先标定的人脸模型的侧视图。
图10获取虹膜中心空间位置的示意图。
图11 根据瞳距计算人眼与相机距离的原理图。
图12 对闭眼状态的人眼图像进行识别跟踪的结果。
图13侧光环境采集到的人脸图像。
图14 对侧光状态的图像进行处理后得到的与亮度无关的图像。
图15 对与亮度无关的图像进行去噪。
图16 侧光环境计算虹膜中心位置的图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
以在华为Mate8手机上为例介绍本发明所涉及的人眼识别跟踪方法及其应用在裸眼3D显示装置的使用步骤，其中所涉及的相机、显示模块、中央处理器为均为手机自带，涉及的眼球追踪模块为借助手机处理平台搭建的一款控制软件。
以通过标定得到先验模型数据库，对人眼虹膜空间位置的检测方法进行介绍：
（1）标定：
a.启动特征点空间位置采集模块；
b.保持头部位置不变，变换手机位置采集两幅人脸图像；
c.对采集图像进行处理，提取图像中34个脸部特征点(包括左右眼瞳孔中心)的图像坐标。
d.基于计算机视觉原理，计算采集两幅人脸图像时，手机摄像头之间的空间位置关系，进而获取人脸特征点在摄像机坐标系下的坐标。
e.基于以上信息，建立人脸坐标系，最终获取先验的人脸模型，如图7～9所示，图7～9分别为先验人脸模型的前视图，俯视图与侧视图。特征点在人脸坐标系下的坐标如下表。
| <opencv_storage> | x | y | z |
| <FaceStereoPoint0> | -6.08E+01 | 1.68E+01 | -5.39E+00 |
| <FaceStereoPoint1> | -1.70E+01 | 1.57E+01 | 9.28E+00 |
| <FaceStereoPoint2> | 1.60E+01 | 1.94E+01 | 8.78E+00 |
| <FaceStereoPoint3> | 5.86E+01 | 2.45E+01 | -3.69E+00 |
| <FaceStereoPoint4> | -3.86E+01 | 2.09E+01 | 7.48E+00 |
| <FaceStereoPoint5> | 3.68E+01 | 2.56E+01 | 6.89E+00 |
| <FaceStereoPoint6> | -5.11E+01 | 2.05E+01 | -6.12E-01 |
| <FaceStereoPoint7> | -2.74E+01 | 1.94E+01 | 7.02E+00 |
| <FaceStereoPoint8> | 2.53E+01 | 2.23E+01 | 1.13E+01 |
| <FaceStereoPoint9> | 4.92E+01 | 2.67E+01 | -4.85E-01 |
| <FaceStereoPoint10> | 9.27E-02 | 4.50E+00 | 8.23E+00 |
| <FaceStereoPoint11> | -4.99E+01 | 2.22E+00 | -6.55E+00 |
| <FaceStereoPoint12> | -2.06E+01 | -4.94E-01 | -2.41E+00 |
| <FaceStereoPoint13> | 2.09E+01 | 1.96E+00 | -5.31E+00 |
| <FaceStereoPoint14> | 4.96E+01 | 6.80E+00 | -4.31E+00 |
| <FaceStereoPoint15> | -3.51E+01 | -2.75E+00 | -2.39E+00 |
| <FaceStereoPoint16> | -3.45E+01 | 5.60E+00 | -3.22E+00 |
| <FaceStereoPoint17> | 3.59E+01 | 1.89E+00 | -4.06E+00 |
| <FaceStereoPoint18> | 3.40E+01 | 9.59E+00 | -2.84E+00 |
| <FaceStereoPoint19> | -4.30E+01 | 4.61E+00 | -4.22E+00 |
| <FaceStereoPoint20> | -2.62E+01 | 4.34E+00 | -2.57E+00 |
| <FaceStereoPoint21> | -4.27E+01 | -8.05E-01 | -5.05E+00 |
| <FaceStereoPoint22> | -2.82E+01 | -1.07E+00 | -6.51E+00 |
| <FaceStereoPoint23> | 2.59E+01 | 7.56E+00 | -3.28E+00 |
| <FaceStereoPoint24> | 4.26E+01 | 9.69E+00 | -5.90E+00 |
| <FaceStereoPoint25> | 2.85E+01 | 2.16E+00 | -5.14E+00 |
| <FaceStereoPoint26> | 4.29E+01 | 3.85E+00 | -2.67E+00 |
| <FaceStereoPoint27> | -1.33E+01 | -2.98E+01 | -9.31E-01 |
| <FaceStereoPoint28> | 1.46E+01 | -2.88E+01 | -1.04E+00 |
| <FaceStereoPoint29> | -2.02E+01 | -4.10E+01 | 1.50E+00 |
| <FaceStereoPoint30> | 2.27E+01 | -3.87E+01 | -1.41E+00 |
| <FaceStereoPoint31> | -8.82E+00 | -4.33E+01 | 6.75E+00 |
| <FaceStereoPoint32> | 1.22E+01 | -4.19E+01 | 6.77E+00 |
| <FaceStereoPoint33> | 1.68E+00 | -4.79E+01 | 5.97E+00 |
| <CoordinateCenter> | 0 | 0 | 0 |
| <CoordinateZ> | 0 | 0 | -1 |
（2）人眼识别和追踪：
a.启动虹膜空间位置采集模块；
b.启动相机，在可见光条件下采集人脸或人眼图像；
c.应用人脸或人眼校准方法对采集图像进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；
d.基于PNP透视多点方法的原理，利用先验人脸模型进行脸部特征点三维重建。
e.得到虹膜中心空间位置，人脸校准检测结果如图5，人眼校准检测结果如图6。
以对人眼的图像采集和处理为例，介绍单相机空间位置重建的方法:通过先验模型，使用PNP透视多点方法（其中特征点个数为34，包括了两个虹膜中心），将采集到的人脸特征点二维坐标还原成相对于相机坐标系的三维坐标，进而得到人脸相对于显示屏的空间位置信息。
以侧光环境为例，介绍本发明在具体应用中出现的问题及解决方法：
当观者处于侧光环境时，即采集到的人脸或人眼图像呈现半暗半亮的状态时（如图13），检测程序无法直接对图像进行处理。其需要首先对侧光状态的图像进行边缘检测或自适应阈值处理，将半暗半亮的人脸或人眼图像转换为与亮度无关的图像(如图14)；再对与亮度无关的图像进行噪音去除，得到如图15所示的检测图像。对检测图像进行识别与跟踪操作，可以最终确定人脸或人眼所处的图像位置(如图16所示)。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，所做的变化和改进，也应视为本发明的保护范围。
Claims (10)
1.一种人眼识别跟踪的方法，其特征在于其实现步骤：a.开启虹膜空间位置采集模块；b.可见光下，通过单相机进行人脸或人眼的图像采集；c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；d.使用单相机进行虹膜中心空间位置重建；e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的空间位置信息。
2.如权利要求1所述的人眼识别跟踪的方法，其特征在于：将其应用于裸眼3D显示领域时的实现步骤：根据人眼相对于显示屏的位置信息，调整其中裸眼3D模块得到观看3D图像效果的最佳视差，所述调整包括：调节光栅或是透镜的偏转角，也可以用于调整子像素的排列位置。
3.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述人脸或人眼校准方法包括：c-1.眼球追踪模块初始化人脸或人眼的图像位置；c-2.基于初始化的人脸或人眼区域判断人脸或人眼可能出现的区域并在此区域内对人脸和人眼进行跟踪和识别；c-3.当c-2中的跟踪和识别过程均成功时，则直接进入c-6；c-4.当c-2中的任何一个过程失败时，则将失败的图像放入另一个分类器中，在其中对失败的图像进行增强学，学习失败图像的相关特征，该分类器与现有跟踪识别过程一起确定人脸或人眼的图像位置； c-5.当c-2中的两个过程都失败时，返回c-2对全图像进行跟踪与识别；c-6.通过人脸或人眼校准得到包括虹膜中心的人脸或人眼特征点的图像坐标。
4.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述单相机空间位置重建的方法为:通过先验模型，使用PNP透视多点方法，其中多点的个数为至少大于3的整数，必须至少包括两个虹膜中心点，将采集到的人脸或人眼的二维图像还原成相对于相机坐标系的人脸或人眼的三维信息，得到人眼相对于显示屏的位置信息。
5.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述人眼识别跟踪技术实现对人眼虹膜空间位置的检测方法可以为：
（1）.通过标定获得一个先验模型数据库，其过程包括：a.启动特征点空间位置采集模块；b.保持头部位置不变，变换相机位置采集人脸或人眼图像，得到多幅图像；c.对图像进行人脸或人眼校准获取特征点的图像坐标并根据计算机视觉原理获取特征点的空间坐标；d.形成特征点空间坐标数据库；e.通过检测到的人眼图像信息，调用先验数据库，对其虹膜空间位置进行重建，得到人眼相对于显示屏的位置信息；
（2）.根据相似三角形原理，根据已知的观者瞳孔间距、相机采集到的图像中瞳孔间距和相机焦距f计算人眼相对于显示屏的位置信息，计算方法为L/f=D/d，所述观者瞳孔间距可以为固定的65mm，也可以让用户手动输入。
6.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述眼球追踪技术在得到包括虹膜中心的人脸或人眼特征点的图像坐标后，使用移动窗口算法对人脸或人眼进行跟踪，即在已识别到人脸或人眼图像中，标示出人脸或人眼可能出现的图像区域，在采集到下一帧图像后，优先在以上一帧图像所标示出的人脸或人眼区域为中心，以一定比例放大的范围内追踪和识别人脸或人眼，该放大范围可以是上一帧图像的一倍到五倍中的任一数值。
7.如权利要求1所述的人眼识别跟踪的方法，其特征在于：所述控制芯片可以根据眼球追踪技术中识别到的人眼区域亮度，计算待测区域的亮度均值，当检测区域平均亮度值小于一个预设定的阈值时，根据检测区域的亮度调节摄像头相关参数，包括曝光，增益或是白平衡，以使检测图像达到较好的质量。
8.如权利要求1所述的人眼识别跟踪的方法，其特征在于：观者处于侧光环境中时，即采集到的人脸或人眼图像呈现半暗半亮的状态时，所述追踪过程中的步骤c中需要先对侧光状态的图像进行预处理，所述预处理的方法为边缘检测或自适应阈值图像处理，将半暗半亮的人脸或人眼图像提取为与亮度无关的图像，并对其噪声进行处理后，再继续对人眼进行识别和追踪，最终得到虹膜中心空间位置信息。
9.如权利要求1所述的人眼识别跟踪的方法，其特征在于：当观者眨眼、闭眼状态时，可以关闭人眼识别跟踪模块中的虹膜位置空间重建功能和裸眼3D模块，具体方法为：根据所检测到眼睑的特征点之间的距离，与自适应阈值进行比较，所述阈值可以为睁眼状态时特征点距离的30～80%，当检测到的距离低于所述阈值时，关闭人眼识别跟踪模块中的虹膜空间位置重建功能和裸眼3D模块，待检测到的距离达到所述阈值时，重新开启所述人眼识别跟踪模块中的虹膜位置空间重建功能和裸眼3D模块。
10.一种应用权利要求2所述人眼识别跟踪方法的裸眼3D显示装置，包括：人眼识别跟踪模块，相机，显示模块和中央处理器，其特征在于：所述人眼识别跟踪模块包括控制芯片、存贮模块、数据接口，所述控制芯片控制相机进行图像采集，并对采集到的图像进行处理，得到人眼的空间位置信息；
所述数据接口用于将控制芯片得到的人眼的空间位置信息传输给中央处理器，所述显示模块包括显示屏和裸眼3D模块，所述裸眼3D模块中有可以实现裸眼3D效果的光学部分，所述中央处理器用于将接收到的人眼空间位置信息传输给裸眼3D模块，根据人眼空间位置调整裸眼3D模块的相关光学部分组件，以实现最佳的裸眼3D效果；
所述眼球追踪模块可以是集成了控制芯片、存贮模块、数据接口和相机的独立模块，通过有线或无线连接方式与裸眼3D显示装置的中央处理器相连，有线连接方式包括USB连接线，无线连接方式包括WIFI或蓝牙协议；所述眼球追踪模块也可以是在包括了相机和显示模块的裸眼3D显示装置的中央处理器上构建的一套算法，直接控制所述装置的相机和显示模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610304542.7A CN105930821B (zh) | 2016-05-10 | 2016-05-10 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610304542.7A CN105930821B (zh) | 2016-05-10 | 2016-05-10 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105930821A true CN105930821A (zh) | 2016-09-07 |
| CN105930821B CN105930821B (zh) | 2024-02-02 |
Family
ID=56834423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610304542.7A Active CN105930821B (zh) | 2016-05-10 | 2016-05-10 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105930821B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778713A (zh) * | 2017-03-01 | 2017-05-31 | 武汉虹识技术有限公司 | 一种动态人眼跟踪的虹膜识别装置及方法 |
| CN106772821A (zh) * | 2017-01-09 | 2017-05-31 | 河北博威集成电路有限公司 | 一种光开关阵列及可交互裸眼3d*** |
| CN107249105A (zh) * | 2017-06-16 | 2017-10-13 | 广东欧珀移动通信有限公司 | 曝光补偿方法、装置和终端设备 |
| CN107633206A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 眼球动作捕捉方法、装置及存储介质 |
| CN107861625A (zh) * | 2017-12-04 | 2018-03-30 | 北京易真学思教育科技有限公司 | 基于3d空间模型的视线跟踪***及方法 |
| CN108454553A (zh) * | 2017-12-20 | 2018-08-28 | 安徽云森物联网科技有限公司 | 一种基于人眼视觉识别技术实现障碍物检测技术 |
| CN108464812A (zh) * | 2018-03-14 | 2018-08-31 | 天津市职业大学 | 电脑验光仪人眼自动跟踪***及方法 |
| CN109753930A (zh) * | 2019-01-03 | 2019-05-14 | 京东方科技集团股份有限公司 | 人脸检测方法及人脸检测*** |
| CN109963140A (zh) * | 2017-12-25 | 2019-07-02 | 深圳超多维科技有限公司 | 裸眼立体显示方法及装置、设备和计算机可读存储介质 |
| CN110210374A (zh) * | 2018-05-30 | 2019-09-06 | 沈阳工业大学 | 基于光栅条纹投影的三维人脸定位方法 |
| CN110263657A (zh) * | 2019-05-24 | 2019-09-20 | 亿信科技发展有限公司 | 一种人眼追踪方法、装置、***、设备和存储介质 |
| CN110428321A (zh) * | 2019-09-06 | 2019-11-08 | 马鞍山市清和财务咨询有限公司 | 一种用于财务数据录入的辅助*** |
| CN111338095A (zh) * | 2020-03-13 | 2020-06-26 | 云南电网有限责任公司电力科学研究院 | 一种基于多屏折幕的裸眼3d*** |
| CN111399627A (zh) * | 2020-03-09 | 2020-07-10 | 宁波视睿迪光电有限公司 | 一种3d显示装置节能方法及*** |
| CN112558302A (zh) * | 2020-12-08 | 2021-03-26 | 恒玄科技(上海)股份有限公司 | 一种用于确定眼镜姿态的智能眼镜及其信号处理方法 |
| CN113793389A (zh) * | 2021-08-24 | 2021-12-14 | 国网甘肃省电力公司 | 一种增强现实***虚实融合标定方法及装置 |
| WO2022012454A1 (zh) * | 2020-07-15 | 2022-01-20 | 北京芯海视界三维科技有限公司 | 实现目标物体定位的方法、装置及显示器件 |
| WO2022247647A1 (zh) * | 2021-05-25 | 2022-12-01 | 北京芯海视界三维科技有限公司 | 时序控制器和显示设备 |
| CN116152883A (zh) * | 2022-11-28 | 2023-05-23 | 润芯微科技(江苏)有限公司 | 一种车载眼球识别和前玻璃智能局部显示的方法和*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285531A (ja) * | 2005-03-31 | 2006-10-19 | Advanced Telecommunication Research Institute International | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム |
| CN101520838A (zh) * | 2008-02-27 | 2009-09-02 | 中国科学院自动化研究所 | 自动跟踪和自动变焦的虹膜图像获取方法 |
| JP2011090702A (ja) * | 2006-07-18 | 2011-05-06 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
| CN103247282A (zh) * | 2013-04-24 | 2013-08-14 | 天津三星电子有限公司 | 一种显示终端屏幕亮度的控制方法及其显示终端 |
| CN105141938A (zh) * | 2015-08-18 | 2015-12-09 | 深圳先进技术研究院 | 视线定位装置 |
| CN105516280A (zh) * | 2015-11-30 | 2016-04-20 | 华中科技大学 | 一种多模态学习过程状态信息压缩记录方法 |
-
2016
- 2016-05-10 CN CN201610304542.7A patent/CN105930821B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285531A (ja) * | 2005-03-31 | 2006-10-19 | Advanced Telecommunication Research Institute International | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム |
| JP2011090702A (ja) * | 2006-07-18 | 2011-05-06 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
| CN101520838A (zh) * | 2008-02-27 | 2009-09-02 | 中国科学院自动化研究所 | 自动跟踪和自动变焦的虹膜图像获取方法 |
| CN103247282A (zh) * | 2013-04-24 | 2013-08-14 | 天津三星电子有限公司 | 一种显示终端屏幕亮度的控制方法及其显示终端 |
| CN105141938A (zh) * | 2015-08-18 | 2015-12-09 | 深圳先进技术研究院 | 视线定位装置 |
| CN105516280A (zh) * | 2015-11-30 | 2016-04-20 | 华中科技大学 | 一种多模态学习过程状态信息压缩记录方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董文博;孙哲南;谭铁牛;: "基于双目视觉和旋转云台的远距离虹膜识别***" * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106772821A (zh) * | 2017-01-09 | 2017-05-31 | 河北博威集成电路有限公司 | 一种光开关阵列及可交互裸眼3d*** |
| CN106772821B (zh) * | 2017-01-09 | 2023-04-28 | 河北博威集成电路有限公司 | 一种可交互裸眼3d*** |
| CN106778713B (zh) * | 2017-03-01 | 2023-09-22 | 武汉虹识技术有限公司 | 一种动态人眼跟踪的虹膜识别装置及方法 |
| CN106778713A (zh) * | 2017-03-01 | 2017-05-31 | 武汉虹识技术有限公司 | 一种动态人眼跟踪的虹膜识别装置及方法 |
| CN107249105A (zh) * | 2017-06-16 | 2017-10-13 | 广东欧珀移动通信有限公司 | 曝光补偿方法、装置和终端设备 |
| US10650234B2 (en) | 2017-08-17 | 2020-05-12 | Ping An Technology (Shenzhen) Co., Ltd. | Eyeball movement capturing method and device, and storage medium |
| CN107633206A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | 眼球动作捕捉方法、装置及存储介质 |
| CN107633206B (zh) * | 2017-08-17 | 2018-09-11 | 平安科技（深圳）有限公司 | 眼球动作捕捉方法、装置及存储介质 |
| CN107861625A (zh) * | 2017-12-04 | 2018-03-30 | 北京易真学思教育科技有限公司 | 基于3d空间模型的视线跟踪***及方法 |
| CN108454553A (zh) * | 2017-12-20 | 2018-08-28 | 安徽云森物联网科技有限公司 | 一种基于人眼视觉识别技术实现障碍物检测技术 |
| CN109963140A (zh) * | 2017-12-25 | 2019-07-02 | 深圳超多维科技有限公司 | 裸眼立体显示方法及装置、设备和计算机可读存储介质 |
| CN108464812A (zh) * | 2018-03-14 | 2018-08-31 | 天津市职业大学 | 电脑验光仪人眼自动跟踪***及方法 |
| CN110210374B (zh) * | 2018-05-30 | 2022-02-25 | 沈阳工业大学 | 基于光栅条纹投影的三维人脸定位方法 |
| CN110210374A (zh) * | 2018-05-30 | 2019-09-06 | 沈阳工业大学 | 基于光栅条纹投影的三维人脸定位方法 |
| CN109753930A (zh) * | 2019-01-03 | 2019-05-14 | 京东方科技集团股份有限公司 | 人脸检测方法及人脸检测*** |
| CN109753930B (zh) * | 2019-01-03 | 2021-12-24 | 京东方科技集团股份有限公司 | 人脸检测方法及人脸检测*** |
| CN110263657B (zh) * | 2019-05-24 | 2023-04-18 | 亿信科技发展有限公司 | 一种人眼追踪方法、装置、***、设备和存储介质 |
| WO2020237921A1 (zh) * | 2019-05-24 | 2020-12-03 | 亿信科技发展有限公司 | 一种人眼追踪方法、装置、***、设备和存储介质 |
| CN110263657A (zh) * | 2019-05-24 | 2019-09-20 | 亿信科技发展有限公司 | 一种人眼追踪方法、装置、***、设备和存储介质 |
| CN110428321A (zh) * | 2019-09-06 | 2019-11-08 | 马鞍山市清和财务咨询有限公司 | 一种用于财务数据录入的辅助*** |
| CN111399627A (zh) * | 2020-03-09 | 2020-07-10 | 宁波视睿迪光电有限公司 | 一种3d显示装置节能方法及*** |
| CN111338095A (zh) * | 2020-03-13 | 2020-06-26 | 云南电网有限责任公司电力科学研究院 | 一种基于多屏折幕的裸眼3d*** |
| WO2022012454A1 (zh) * | 2020-07-15 | 2022-01-20 | 北京芯海视界三维科技有限公司 | 实现目标物体定位的方法、装置及显示器件 |
| CN112558302A (zh) * | 2020-12-08 | 2021-03-26 | 恒玄科技(上海)股份有限公司 | 一种用于确定眼镜姿态的智能眼镜及其信号处理方法 |
| WO2022247647A1 (zh) * | 2021-05-25 | 2022-12-01 | 北京芯海视界三维科技有限公司 | 时序控制器和显示设备 |
| CN113793389A (zh) * | 2021-08-24 | 2021-12-14 | 国网甘肃省电力公司 | 一种增强现实***虚实融合标定方法及装置 |
| CN113793389B (zh) * | 2021-08-24 | 2024-01-26 | 国网甘肃省电力公司 | 一种增强现实***虚实融合标定方法及装置 |
| CN116152883A (zh) * | 2022-11-28 | 2023-05-23 | 润芯微科技(江苏)有限公司 | 一种车载眼球识别和前玻璃智能局部显示的方法和*** |
| CN116152883B (zh) * | 2022-11-28 | 2023-08-11 | 润芯微科技(江苏)有限公司 | 一种车载眼球识别和前玻璃智能局部显示的方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105930821B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105930821A (zh) | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 | |
| US11199706B2 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
| CN106056092B (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
| US10939034B2 (en) | Imaging system and method for producing images via gaze-based control | |
| US20160165205A1 (en) | Holographic displaying method and device based on human eyes tracking | |
| US8717352B2 (en) | Tracing-type stereo display apparatus and tracing-type stereo display method | |
| CN111415422A (zh) | 虚拟对象调整方法、装置、存储介质与增强现实设备 | |
| CN106598221A (zh) | 基于眼部关键点检测的3d视线方向估计方法 | |
| CN109074681A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN104865701B (zh) | 头戴式显示装置 | |
| US20140375778A1 (en) | Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal | |
| CN108153502B (zh) | 基于透明屏幕的手持式增强现实显示方法及装置 | |
| CN107038722A (zh) | 一种设备定位方法及装置 | |
| US11720996B2 (en) | Camera-based transparent display | |
| CN106713894B (zh) | 一种跟踪式立体显示方法及设备 | |
| US20130100125A1 (en) | Method, System and Computer Program Product for Enhancing a Depth Map | |
| US20210176555A1 (en) | Wearable device with at-ear calibration | |
| WO2019104548A1 (zh) | 图像显示方法、智能眼镜及存储介质 | |
| US20230316810A1 (en) | Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems | |
| US11627303B2 (en) | System and method for corrected video-see-through for head mounted displays | |
| Dąbała et al. | Manipulating refractive and reflective binocular disparity | |
| US20130050448A1 (en) | Method, circuitry and system for better integrating multiview-based 3d display technology with the human visual system | |
| CN107507178A (zh) | 光栅膜的检测方法及装置 | |
| CN205665712U (zh) | 一种应用人眼识别跟踪的方法的裸眼3d显示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information |
Address after: 200233 Shanghai, Yishan Road, room 822, No. 408, room Applicant after: SHANGHAI QINGYAN TECHNOLOGY CO.,LTD. Address before: 200233 Shanghai, Yishan Road, room 822, No. 408, room Applicant before: SHANGHAI QINGTECH CO.,LTD. |
|
| COR | Change of bibliographic data | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |