CN110032278B - 一种人眼感兴趣物体的位姿识别方法、装置及*** - Google Patents

一种人眼感兴趣物体的位姿识别方法、装置及*** Download PDF

Info

Publication number
CN110032278B
CN110032278B CN201910252521.9A CN201910252521A CN110032278B CN 110032278 B CN110032278 B CN 110032278B CN 201910252521 A CN201910252521 A CN 201910252521A CN 110032278 B CN110032278 B CN 110032278B
Authority
CN
China
Prior art keywords
camera
foreground
pose
eye
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910252521.9A
Other languages
English (en)
Other versions
CN110032278A (zh
Inventor
熊蔡华
仇诗凯
李全林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910252521.9A priority Critical patent/CN110032278B/zh
Priority to US16/412,010 priority patent/US11030455B2/en
Publication of CN110032278A publication Critical patent/CN110032278A/zh
Application granted granted Critical
Publication of CN110032278B publication Critical patent/CN110032278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于三维凝视点识别与计算机视觉领域，具体公开了一种人眼感兴趣物体的位姿识别方法、装置及***，其利用左眼相机和右眼相机分别识别用户的左右瞳孔的中心以此提取人眼的信息；将识别获得的左右瞳孔中心映射至前景左相机中以得到二维凝视点；利用目标识别与追踪算法提取前景左相机中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机中的位姿；将感兴趣物体在前景左相机中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿。本发明可识别用户感兴趣物体并估计该物体的位姿，具有识别准确率高、位姿估计精度高等优点。

Description

一种人眼感兴趣物体的位姿识别方法、装置及***
技术领域
本发明属于三维凝视点识别与计算机视觉领域，更具体地，涉及一种人眼感兴趣物体的位姿识别方法、装置及***。
背景技术
一方面，人眼凝视点可以由人毫不费力的发出来，并且包含丰富的信息，反映出人的心理活动与状态，另一方面，在日常生活中，人眼的行为可以向外界传达出一定的信息，例如，通过观察人的眼睛，能够知道该人大致的凝视方向和位置，结合场景信息，还能得知该人感兴趣的物体。综上，设计一款操作简便并且能捕捉人眼凝视点的三维眼动仪对于心理学研究以及特定人群的人机交互操作有很大帮助。
现有的眼动仪装置大多只提取了人眼二维凝视点用于心理学研究以及简单的人机交互，并没有提取三维凝视点，提取的信息量与发挥的作用有限，少数有三维凝视点定位功能的眼动仪的定位精度较低，且没有头部定位模块，导致用户在使用时必须保持头部固定，难以在实际生活场景中使用。例如，CN107773248A公开了一种眼动仪及图像处理算法，该眼动仪包含一个眼睛相机和多个前景相机，可以提取单眼的眼动信息与前景多目相机信息；US10007336B2公开了一种用于三维凝视点估计的眼动仪装置，该眼动仪装置同样采用了一个眼睛相机记录用户眼球运动信息，前景相机使用的是深度相机，通过结构光重建场景中的物体。
然而上述现有技术仍然存在以下问题：1)无法实现人体头部的定位，因此无法将凝视点转换到世界坐标系中供进一步操作，在使用时必须保证头部姿态固定，极大地限制了用户的使用场景，降低了使用舒适度；2)都只采用了一个眼睛相机，无法提取双眼信息，降低了凝视点识别准确率；3)无法实现感兴趣物体的识别与位姿估计，故无法用于三维的实际工作场景(助残与三维交互)；4)CN107773248A利用多个前景摄像头，在耗费空间资源的同时增加了成本，US10007336B2采用深度相机，导致装置笨重、成本高。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种人眼感兴趣物体的位姿识别方法、装置及***，其借助两个前景相机和两个眼睛相机，提取双眼瞳孔中心以确定用户凝视点，保证凝视点定位的准确性，并结合目标识别与追踪、三维重建与位姿估计、以及位姿转换精确识别用户感兴趣物体并以高精度估计该物体的位姿，具有效率高，精度高等优点。
为实现上述目的，按照本发明的第一方面，提出了一种人眼感兴趣物体的位姿识别方法，其包括如下步骤：
S1利用眼动仪上的左眼相机和右眼相机分别识别用户的左右瞳孔的中心以此提取人眼的信息；
S2将识别获得的左右瞳孔中心映射至前景左相机中以得到二维凝视点；
S3利用目标识别与追踪算法提取前景左相机中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；
S4对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机中的位姿；
S5将感兴趣物体在前景左相机中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿。
作为进一步优选的，步骤S1包括如下子步骤：
S11分别采集左眼相机和右眼相机拍摄的图像并进行平滑处理以获得平滑后的灰度图；
S12将平滑后的灰度图送入边缘检测器中得到边缘点，并进行过滤处理以滤除杂点留下瞳孔边界对应的边缘点，留下的瞳孔边界对应的边缘点构建为瞳孔边缘点集；
S13对瞳孔边界对应的边缘点进行椭圆拟合以得到左右瞳孔中心的坐标(xl,yl)和(xr,yr)。
作为进一步优选的，利用随机抽样一致性算法对瞳孔边界对应的边缘点进行椭圆拟合以得到左右瞳孔中心的坐标，具体为：
S131从瞳孔边缘点集中随机选取5个点以拟合出椭圆的平面参数方程；
S132计算瞳孔边缘点集中所有内点到椭圆的支撑函数值；
S133重复步骤S131～S132预设次数，获取使支撑函数值最大时对应的椭圆的参数方程，该椭圆的中心即为瞳孔中心。
作为进一步优选的，所述椭圆的平面参数方程为：
Q(x,y)＝Ax2+Bxy+Cy2+Dx+Ey+F
式中，A～F为待求系数；
内点定义为：
inliers＝{(x,y)|error(Q,x,y)<ε}
式中，
Figure BDA0002012743500000031
其为损失函数，α是归一化系数，ε为预设值，
Figure BDA0002012743500000032
为椭圆Q(x,y)上内点(x,y)处的法线；
支撑函数定义为：
Figure BDA0002012743500000033
式中，a,b分别为椭圆的长轴和短轴，
Figure BDA0002012743500000034
为点(x,y)的灰度梯度。
作为进一步优选的，步骤S2利用高斯过程回归算法将瞳孔中心的坐标(xl,yl)和(xr,yr)映射到前景相机中得到凝视点(xs,ys)，具体采用如下公式计算：
Figure BDA0002012743500000035
其中，
Figure BDA0002012743500000041
为期望值，其为二维向量，对应凝视点(xs,ys)，X为训练集中左右瞳孔中心坐标组成的4维向量的集合，x*为实际测得的左右瞳孔中心坐标组成的4维向量，K(x*,X)为实际测得的x*与训练集X之间的n×1协方差矩阵，K(X,X)为训练集的对称正定协方差矩阵，f为训练集中前景左相机上凝视点坐标的集合。
作为进一步优选的，步骤S3利用目标识别与追踪算法提取前景左相机中的物体具体为：
首先，利用目标识别算法识别得到前景左相机中物体的锚框，利用物体锚框初始化追踪算法中的追踪目标，该目标识别算法和追踪算法同步进行；
然后，初始化后的追踪算法进行物体的追踪，若跟丢物体，则利用目标识别算法的结果重新初始化追踪算法，从而提高前景相机中物体识别成功率。
作为进一步优选的，步骤S4中利用三维重建算法对用户感兴趣的物体进行三维重建，具体为：
S41标定得到前景左相机和前景右相机的内外参数，包括前景左右相机的内参矩阵以及重投影矩阵；
S42利用两前景相机内外参数校正对齐前景左相机和前景右相机中的图像；
S43通过特征匹配算法得到前景左相机和前景右相机图像像素的双目视差值，优选的获得满足下式的d即为所需的双目视差值：
Figure BDA0002012743500000042
其中，p(x,y)表示前景左相机中任意点的坐标，Wp表示以p为中心的矩形区域，L(x,y)、
Figure BDA0002012743500000043
表示前景左相机图像中点(x,y)处的灰度值与Wp中的灰度均值，R(x+d,y)、
Figure BDA0002012743500000051
表示前景右相机图像中点(x+d,y)处的灰度值与该点矩形区域中的灰度均值；
S44利用双目视差值与双目标定得到的重投影矩阵重建得到图像中各个像素点对应在前景左相机坐标系下的三维坐标，以此完成物体的三维重建。
作为进一步优选的，步骤S5具体包括如下子步骤：
S51利用眼动仪上的多个红外接收器结合位于世界坐标系内的红外发生器得到眼动仪坐标系相对于世界坐标系的变换矩阵，其优选包括如下步骤：
S511测得第i个红外接收器在红外发生器虚拟平面上的2D坐标(ui,vi)：
Figure BDA0002012743500000052
其中，αi为带动红外发生器水平旋转的电机在水平方向的扫射角度，βi为带动红外发生器竖直旋转的电机在竖直方向的扫射角度；
S512利用下述的PnP求解模型进行直接线性变换求解获得眼动仪坐标系相对于世界坐标系的变换矩阵[R|t]：
sxi＝[R|t]Pi
其中，s为放大因子，xi＝(ui,vi,1)T，Pi＝(Xi,Yi,Zi,1)T，(Xi,Yi,Zi)表示第i个红外接收器在眼动仪坐标系下的3D坐标；
S52通过标定获得前景左相机与眼动仪坐标系之间的变换矩阵；
S53根据上述两个变换矩阵将感兴趣物体在前景左相机中的位姿转换至世界坐标系下。
按照本发明的第二方面，提供了一种用于执行所述人眼感兴趣物体的位姿识别方法的装置，其包括眼动仪、前景左相机、前景右相机、左眼相机、右眼相机和红外线接收器，其中，所述眼动仪包括外圈主体和头戴内圈，所述外圈主体和头戴内圈通过两个移动旋转部分连接，该外圈主体上方设置有外圈上扣板、下方两侧设置有支架扣板，使用时外圈上扣板处于人体头部的后方，支架扣板处于人体面部的前方；所述前景左相机和前景右相机设于外圈主体的前侧，用于采集用户前方场景图像信息，所述左眼相机和右眼相机设于两支架扣板的前端，用于采集用户左右眼睛的图像信息，所述红外线接收器设置有6个以上，其均匀分布在外圈上扣板上。
按照本发明的第三方面，提供了一种基于人眼三维凝视点的物***姿确定***，其包括：
瞳孔识别模块，其利用左眼相机和右眼相机分别识别用户的左右瞳孔的中心；
凝视点映射模块，用于将识别获得的左右瞳孔中心映射至前景左相机中以得到二维凝视点；
感兴趣物体确定模块，利用目标识别与追踪算法提取前景左相机中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；
感兴趣物体定位模块，对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机中的位姿；
位姿转换模块，将感兴趣物体在前景左相机中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
1.本发明的方法提取了双眼瞳孔中心以确定用户的凝视点，可有效保证凝视点识别的准确性，进而保证感兴趣物***姿确定的准确性。
2.本发明借助两个前景相机和两个眼睛相机实现用户感兴趣物体的识别与位姿估计，可用于实际工作场景中，利用用户双眼信息控制机械臂手为用户抓取感兴趣物体，为残疾人士带来便利。
3.本发明通过设计均匀分布在眼动仪上的多个红外线接收器，可以保证用户头部大范围活动时仍能接收到红外光，结合红外线发射器的位置，可实现人体头部的定位，在使用时无需保证头部姿态固定，拓宽了使用场景，提高了使用舒适度，可将凝视点转换到世界坐标系中，供后续的进一步操作。
4.现有的一般单独使用目标识别算法提取相机中的物体，由于实际工作背景复杂且由于相机抖动其获取的画面不稳定，导致识别率低下，本发明利用目标识别算法融合追踪算法的方式提取前景左相机中的物体，其中目标识别算法识别得到物体锚框用来初始化追踪算法，追踪算法跟丢时利用目标识别算法的结果来重新初始化追踪算法，从而大大提高前景相机中常见物体的识别成功率。
5.本发明优选采用随机抽样一致性算法(RANSEC算法)获得左右瞳孔中心的坐标，通过对椭圆内点的定义及支撑函数的设计，大大提高瞳孔中心提取的效率与准确率。
6.本发明优选利用高斯过程回归算法将瞳孔中心坐标映射到前景相机中得到二维凝视点，具有很好的稳定性与较高的精度。
7.本发明利用三维重建算法对用户感兴趣的物体进行三维重建，可以精确定位目标物体在前景相机坐标系下的坐标，结合目标物体姿态识别可以得到目标物体的位姿。
8.本发明通过红外接收器在红外发生器虚拟平面上构造出的2D坐标结合红外接收器在眼动仪坐标系下的3D坐标构造PnP问题，通过求解PnP问题得到眼动仪在世界坐标系中的位姿，从而实现用户头部姿态的定位。
附图说明
图1是本发明实施例提供的人眼感兴趣物体的位姿识别方法的流程图；
图2是本发明实施例提供的瞳孔中心提取流程图；
图3是本发明实施例提供的感兴趣物体提取的示意图；
图4是本发明实施例提供的三维重建流程图；
图5是本发明实施例提供的基于人眼三维凝视点的物***姿确定装置的立体图；
图6是本发明实施例提供的基于人眼三维凝视点的物***姿确定装置的主视图；
图7是本发明实施例提供的基于人眼三维凝视点的物***姿确定装置穿戴在人体头部的示意图。
其中，1-红外线接收器，2-头戴内圈，3-外圈主体，4-前景左相机，5-前景右相机，6-左眼相机，7-右眼相机，8-外圈上扣板，9-移动旋转部分，10-支架扣板。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明实施例提供的一种人眼感兴趣物体的位姿识别方法，其包括如下步骤：
S1瞳孔识别：利用眼动仪上的左眼相机6和右眼相机7分别识别用户的左右瞳孔的中心以此提取人眼的信息；
S2凝视点映射：将识别获得的左右瞳孔中心映射至前景左相机4中以得到二维凝视点；
S3感兴趣物体确定(物体识别与追踪)：利用目标识别与追踪算法提取前景左相机4图像中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；
S4感兴趣物体定位(三维重建及姿态估计)：对用户感兴趣的物体进行三维重建获得感兴趣物体在前景左相机4中的位置，对用户感兴趣的物体采用现有常规姿态估计方法进行姿态估计以获得感兴趣物体在前景左相机4中的姿态，即对用户感兴趣的物体进行三维重建和姿态估计以得到感兴趣物体在前景左相机4中的位姿；
S5结合头部姿态进行坐标转换：将感兴趣物体在前景左相机4中的位姿(位置和姿态)转换至世界坐标系下，以此确定用户感兴趣物体的位姿。
具体的，如图2所示，步骤S1包括如下子步骤：
S11分别采集左眼相机6和右眼相机7拍摄的图像并进行平滑处理以获得平滑后的灰度图，其中平滑处理为进行灰度化与滤波操作；
S12将平滑后的灰度图送入边缘检测器(优选送入canny边缘检测器)中得到边缘点，并进行过滤处理以滤除杂点(即过滤掉明显不属于瞳孔边界的边缘点)留下瞳孔边界对应的边缘点，具体如何过滤，本领域技术人员可以根据需要设计过滤规则，在此不赘述，留下的瞳孔边界对应的边缘点构建为瞳孔边缘点集，采用canny边缘检测器进行边缘检测，检测效率高，精度高；
S13对过滤剩下的瞳孔边界对应的边缘点进行椭圆拟合以得到左右瞳孔中心的坐标(xl,yl)和(xr,yr)，优选的利用随机抽样一致性算法对瞳孔边界对应的边缘点进行椭圆拟合以得到左右瞳孔中心的坐标(xl,yl)和(xr,yr)，由椭圆的参数方程知其自由变量有5个，因此在使用随机抽样一致性算法进行椭圆拟合时，至少需要5个边缘点才能拟合出椭圆的参数方程，为了得到最佳的拟合椭圆，随机抽样一致性采用了迭代的方式，其具体步骤如下：
S131从瞳孔边缘点集中随机选取5个点以拟合出椭圆的平面参数方程，椭圆的平面参数方程为：
Q(x,y)＝Ax2+Bxy+Cy2+Dx+Ey+F
式中，A～F为待求系数；
S132计算瞳孔边缘点集中所有内点到椭圆的支撑函数值，具体的，内点定义为：
inliers＝{(x,y)|error(Q,x,y)<ε}
式中，
Figure BDA0002012743500000101
其为损失函数，α为归一化系数，ε为预先设定值，可根据实际需要进行选择，例如取0.5；
支撑函数定义为，即将椭圆对应的内点代入下式中计算内点到椭圆的支撑函数值：
Figure BDA0002012743500000102
式中，a,b分别为椭圆的长轴和短轴，
Figure BDA0002012743500000103
为点(x,y)的灰度梯度；根据支撑函数的定义可知，短轴与长轴的比值
Figure BDA0002012743500000104
越大，或者图像在内点处的灰度梯度方向与该椭圆族上内点处法线方向越接近(即
Figure BDA0002012743500000105
越大)，支撑函数值越高；
S133重复步骤S131～S132预设次数(例如20次)以拟合出多个椭圆，选取支撑函数值最大时对应的椭圆，该椭圆的中心即为瞳孔中心。
进一步的，可采用现有技术中常用的算法例如多项式拟合方法等将识别的瞳孔中心映射至前景左相机中以得到二维凝视点，本发明优选利用高斯过程回归算法将瞳孔中心的坐标(xl,yl)和(xr,yr)映射到前景相机中得到凝视点(xs,ys)，具体的，高斯过程是任意有限个随机变量均具有联合高斯分布的集合，其基本原理是在预测之前构建训练集，该训练集中包括一系列左右瞳孔中心坐标以及与其对应的在前景左相机上的凝视点坐标，训练集中的数据预先采集，预测时通过左右瞳孔中心构成四维向量(即测试点x*)，计算K(X,X)、K(x*,X)，然后代入期望值计算公式中获得期望值，其即为对应凝视点(xs,ys)，具体的，其数学模型为：
Figure BDA0002012743500000106
其中，f为训练集中前景左相机上凝视点坐标的集合，X为输入向量x的集合，此处输入向量为左右瞳孔中心坐标组成的4维向量x＝(xl,yl,xr,yr)，K(X,X)为训练集的对称正定协方差矩阵，K(x*,X)为实际测得的x*与训练集X之间的n×1协方差矩阵，k(x*,x*)为测试点自身的协方差，预测值的期望为：
Figure BDA0002012743500000111
其中，
Figure BDA0002012743500000112
为期望值，即为通过高斯过程回归得到的前景相机中凝视点的预测值(xs,ys)。
更进一步的，步骤S3具体包括如下子步骤：
S31利用目标识别算法识别得到前景左相机中物体的锚框，如图3所示，左边的圆柱体代表水杯，右边的圆代表球，将水杯和球包含在内的虚线即为水杯和球对应的锚框，利用物体锚框初始化追踪算法中的追踪目标，该目标识别算法和追踪算法同步进行，目标识别算法和追踪算法均可采用现有常规的方法；
S32初始化后的追踪算法进行物体的追踪，若跟丢物体，则利用目标识别算法实时识别的结果重新初始化追踪算法，然后利用初始化后的追踪算法继续进行物体追踪，以此追踪获得物体的锚框，通过上述方法可有效提高前景左相机中物体识别的成功率；
S33然后根据映射至前景左相机中的二维凝视点与物体锚框的位置关系确定用户感兴趣的物体，其中，如图3所示，若凝视点落入水杯锚框内(如图3中位于水杯锚框内的黑点)认为用户对该水杯感兴趣，若凝视点未落入水杯锚框内(如图3中位于水杯锚框之外的白点)认为用户对该水杯不感兴趣；若凝视点落入球的锚框内(如图3中位于球锚框内的黑点)认为用户对该球感兴趣，若凝视点未落入球的锚框内(如图3中位于球锚框之外的白点)认为用户对该球不感兴趣。
更为具体的，如图4所示，对用户感兴趣的物体进行三维重建具体为：
S41通过双目标定得到前景左相机和前景右相机的内外参数，具体包括前景左右相机的内参矩阵和外参矩阵，通过内外参数矩阵推导出重投影矩阵Q；
S42利用双目相机内外参数校正对齐前景左相机和前景右相机中的图像，其为现有技术，在此不赘述；
S43通过特征匹配算法得到前景左相机和前景右相机图像像素的双目视差值d，优选的，特征匹配采用归一化互相关方法，其相关性度量方式为：
Figure BDA0002012743500000121
其中，p(x,y)表示前景左相机中任意点的坐标，Wp表示以p为中心的矩形区域，L(x,y)表示前景左相机图像中点(x,y)处的灰度值，
Figure BDA0002012743500000122
表示前景左相机图像中Wp的灰度均值，R(x+d,y)表示前景右相机图像中点(x+d,y)处的灰度值，
Figure BDA0002012743500000123
表示前景右相机图像中点(x+d,y)对应的矩形区域中的灰度均值，上式中使相关性最大的d就是所求的双目视差值；
S44利用双目视差值与双目标定得到的重投影矩阵Q重建得到前景左相机图像中各个像素点在前景左相机坐标系下的三维坐标，以此完成物体的三维重建，其原理为：
[X Y Z W]T＝Q*[x y d 1]T
其中，[X Y Z W]为前景左相机坐标系下的齐次坐标，(x,y)为前景左相机图像坐标系下的二维坐标。
更具体而言，本发明优选采用下述步骤将感兴趣物体在前景左相机中的位姿转换至世界坐标系下：
S51利用眼动仪上的多个红外接收器结合位于世界坐标系内的红外发生器得到眼动仪坐标系相对于世界坐标系的变换矩阵，具体包括：
S511测得每个红外接收器在红外发生器虚拟平面上的2D坐标(ui,vi)：
Figure BDA0002012743500000131
其中，αi为带动红外发生器水平旋转的电机在水平方向的扫射角度，βi为带动红外发生器竖直旋转的电机在竖直方向的扫射角度；
S512利用下式进行直接线性变换求解获得眼动仪坐标系相对于世界坐标系的变换矩阵[R|t]：
sxi＝[R|t]Pi
上式即是求解3D到2D点对运动的方法(PnP问题)，其中，s为放大因子，xi＝(ui,vi,1)T，R和t分别表示3×3的旋转矩阵和3×1的平移向量，Pi＝(Xi,Yi,Zi,1)T，(Xi,Yi,Zi)表示红外接收器在眼动仪坐标系下的3D坐标，每组点对提供了两个线性约束，[R|t]共有12维，因此最少可通过6对匹配点求解变换矩阵[R|t]，故红外接收器设置6个以上；
S52通过标定获得前景左相机与眼动仪坐标系之间的变换矩阵；
S53根据上述两个变换矩阵将感兴趣物体在前景左相机中的位姿转换至世界坐标系下。
本发明还提供了用于执行上述方法的装置，如图5-图7所示，该装置包括眼动仪、前景左相机4、前景右相机5、左眼相机6、右眼相机7和红外线接收器1，其中，眼动仪包括外圈主体3和位于外圈主体3内部的头戴内圈2，外圈主体3和头戴内圈2通过两个移动旋转部分9连接，该外圈主体3上方设置有外圈上扣板8、下方两侧设置有支架扣板10，使用时，眼动议戴在人体头部，外圈上扣板8处于人体头部的后方，支架扣板处于人体面部的前方；前景左相机4和前景右相机5设于外圈主体3的前侧，用于采集用户前方场景图像信息，左眼相机6和右眼相机7设于两支架扣板的前端，用于采集人眼左右图像的信息，红外线接收器1设置有多个，其均匀分布在外圈上扣板上，用于接收外部的红外线，该红外线例如由设于眼动仪后方的红外发生器发射，红外发生器与眼动仪之间的距离优选超过一米。使用时，眼动仪可通过数据线将前景左相机4、前景右相机5、左眼相机6和右眼相机7数据传入数据处理***(电脑)，红外线接收器的相关数据通过无线蓝牙发送至数据处理***(电脑)，以用于头部姿态估计。
具体的，红外接收器优选设置36个，36个红外接收器均匀分布在外圈上扣板8上，可以保证用户头部大范围活动时仍能接收到红外光，通过求解PnP问题得到眼动仪坐标系到灯塔坐标系的变换矩阵。应当注意的是，36个只是一个较佳的实施例，不能用来限制本发明，原理上只要不少于6个即可。
进一步的，本发明采用灯塔定位技术，在眼动仪上安装定位标记(红外接收器)，实现较高精度的头部姿态估计。灯塔定位技术由灯塔基座(红外发生器)和红外接收器构成，灯塔基座固接在世界坐标系上，其作为世界坐标系的原点，其内部有两个旋转方向正交的电机，两个电机上分别安装有线性红外激光发射器，每个旋转周期都能扫过视野内空间中的所有点。红外接收器安装在眼动仪上，具体为一组红外接收二极管，当接收到红外激光时，能产生响应脉冲，输入到数据处理***中。灯塔基座在每个旋转周期的起始时刻有一个全局曝光，随后电机带着线性激光发射器扫过整个空间，每个周期中两个正交电机各进行一次。眼动仪上的红外接收器在全局曝光时产生一个较长时间的脉冲信号，在随后的激光扫射时产生一个较短时间的脉冲信号。处理这些脉冲信号，能够得到全局曝光与激光扫射到某个红外接收器的时间差，假设第i个接收器水平方向和竖直方向旋转激光的扫射时间差分别为Δti1、Δti2，由于电机转速r已知，可进一步算出对应水平电机和竖直电机的扫射角度：
Figure BDA0002012743500000141
进而，每个红外接收器在灯塔虚拟平面上2D点的坐标可表示为：
Figure BDA0002012743500000151
同时，眼动仪坐标系下各红外接收器的3D点坐标Pi＝(Xi,Yi,Zi)，可由外圈主体设计参数得到；
3D到2D点对的运动是一个PnP问题，可以利用直接线性变换求解：
sxi＝[R|t]Pi
其中，s为放大因子，xi＝(ui,vi,1)T，为特征点的归一化平面齐次坐标表示，R和t分别表示3×3的旋转矩阵和3×1的平移向量，Pi＝(Xi,Yi,Zi,1)T，为特征点对应空间点的齐次坐标，每组点对提供了两个线性约束，[R|t]共有12维，最少可通过6对匹配点可以求解该变换。
更进一步的，头戴内圈2的两端通过棘轮锁紧机构连接并围合成环，可以通过棘轮锁紧机构调节内圈长度以适应用户头部大小，优选的，可以在内圈内侧粘贴软海绵来提高佩戴舒适度以及防止眼动仪与头部相对滑动。前景左相机4与前景右相机5为双目相机，通过安装孔固定在外圈主体前部，两个前景相机可以采集用户前方场景图像信息，并通过目标识别算法识别目标物体，接着通过双目三维重建算法得到目标物体的三维坐标。左眼相机6和右眼相机7采用的是两个红外相机，固定在支架扣板10前端，位于外圈主体3下方，通过调节两支架扣板10可使得左眼相机6和右眼相机7分别对准用户左右眼，两个眼睛相机外侧分别有一个红外光源，当红外光源靠近相机光轴时会产生暗瞳效应，即红外相机图像中瞳孔区域颜色变深，虹膜及其他区域颜色变浅，有利于瞳孔的提取。
本发明研究设计的装置结构功能紧凑，形状美观，穿戴舒适轻便，可以对用户头部进行定位，大大弱化用户使用限制，同时也可以高精度识别并定位用户感兴趣物体。
此外，本发明还设计了与上述方法配套的***，具体的，该***包括：
瞳孔识别模块，其利用左眼相机和右眼相机分别识别用户的左右瞳孔的中心；
凝视点映射模块，用于将识别获得的左右瞳孔中心映射至前景左相机中以得到二维凝视点；
感兴趣物体确定模块，利用目标识别与追踪算法提取前景左相机中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；
感兴趣物体定位模块，对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机中的位姿；
位姿转换模块，将感兴趣物体在前景左相机中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种人眼感兴趣物体的位姿识别方法，其特征在于，包括如下步骤：
S1利用眼动仪上的左眼相机(6)和右眼相机(7)分别识别用户的左右瞳孔的中心以此提取人眼的信息；
S2将识别获得的左右瞳孔中心映射至前景左相机(4)中以得到二维凝视点；
S3利用目标识别与追踪算法提取前景左相机(4)中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；
S4对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机(4)中的位姿；
S5将感兴趣物体在前景左相机(4)中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿；
步骤S1包括如下子步骤：
S11分别采集左眼相机(6)和右眼相机(7)拍摄的图像并进行平滑处理以获得平滑后的灰度图；
S12将平滑后的灰度图送入边缘检测器中得到边缘点，并进行过滤处理以滤除杂点留下瞳孔边界对应的边缘点，留下的瞳孔边界对应的边缘点构建为瞳孔边缘点集；
S13对瞳孔边界对应的边缘点进行椭圆拟合以得到左右瞳孔中心的坐标(xl，yl)和(xr，yr)；
利用随机抽样一致性算法对瞳孔边界对应的边缘点进行椭圆拟合以得到左右瞳孔中心的坐标，具体为：
S131从瞳孔边缘点集中随机选取5个点以拟合出椭圆的平面参数方程；
S132计算瞳孔边缘点集中所有内点到椭圆的支撑函数值；
S133重复步骤S131～S132预设次数，获取使支撑函数值最大时对应的椭圆的参数方程，该椭圆的中心即为瞳孔中心；
所述椭圆的平面参数方程为：
Q(x，y)＝Ax2+Bxy+Cy2+Dx+Ey+F
式中，A～F为待求系数；
内点定义为：inliers＝{(x，y)|error(Q，x，y)<ε}
式中，
Figure FDA0002484624810000021
其为损失函数，α是归一化系数，ε为预设值，
Figure FDA0002484624810000022
为椭圆Q(x，y)上内点(x，y)处的法线；
支撑函数定义为：
Figure FDA0002484624810000023
式中，a，b分别为椭圆的长轴和短轴，
Figure FDA0002484624810000024
为内点(x，y)的灰度梯度。
2.如权利要求1所述的人眼感兴趣物体的位姿识别方法，其特征在于，步骤S2利用高斯过程回归算法将瞳孔中心的坐标(xl，yl)和(xr，yr)映射到前景相机中得到凝视点(xs，ys)，具体采用如下公式计算：
Figure FDA0002484624810000025
其中，
Figure FDA0002484624810000026
为期望值，其为二维向量，对应凝视点(xs，ys)，X为训练集中左右瞳孔中心坐标组成的4维向量的集合，x*为实际测得的左右瞳孔中心坐标组成的4维向量，K(x*，X)为实际测得的x*与训练集X之间的n×1协方差矩阵，K(X，X)为训练集的对称正定协方差矩阵，f为训练集中前景左相机上凝视点坐标的集合。
3.如权利要求1所述的人眼感兴趣物体的位姿识别方法，其特征在于，步骤S3利用目标识别与追踪算法提取前景左相机中的物体具体为：
首先，利用目标识别算法识别得到前景左相机中物体的锚框，利用物体锚框初始化追踪算法中的追踪目标，该目标识别算法和追踪算法同步进行；
然后，初始化后的追踪算法进行物体的追踪，若跟丢物体，则利用目标识别算法的结果重新初始化追踪算法，从而提高前景相机中物体识别成功率。
4.如权利要求1所述的人眼感兴趣物体的位姿识别方法，其特征在于，步骤S4中利用三维重建算法对用户感兴趣的物体进行三维重建，具体为：
S41标定得到前景左相机和前景右相机的内外参数及重投影矩阵；
S42利用前景左相机和前景右相机内外参数校正并对齐前景左相机和前景右相机中的图像；
S43通过特征匹配算法得到前景左相机和前景右相机图像像素的双目视差值，获得满足下式的d即为所需的双目视差值：
Figure FDA0002484624810000031
其中，p(x，y)表示前景左相机中任意点的坐标，Wp表示以p为中心的矩形区域，L(x，y)、
Figure FDA0002484624810000032
表示前景左相机图像中点(x，y)处的灰度值与Wp中的灰度均值，R(x+d，y)、
Figure FDA0002484624810000033
分别是前景右相机图像中点(x+d，y)处的灰度值与以点为(x+d，y)中心的矩形区域的灰度均值；
S44利用双目视差值与双目标定得到的重投影矩阵重建得到图像中各个像素点对应在前景左相机坐标系下的三维坐标，以此完成物体的三维重建。
5.如权利要求1所述的人眼感兴趣物体的位姿识别方法，其特征在于，步骤S5具体包括如下子步骤：
S51利用眼动仪上的多个红外接收器结合位于世界坐标系内的红外发生器得到眼动仪坐标系相对于世界坐标系的变换矩阵，其包括如下步骤：
S511测得第i个红外接收器在红外发生器虚拟平面上的2D坐标(ui，vi)：
Figure FDA0002484624810000041
其中，αi为带动红外发生器水平旋转的电机在水平方向的扫射角度，βi为带动红外发生器竖直旋转的电机在竖直方向的扫射角度；
S512利用下述的PnP求解模型进行直接线性变换求解获得眼动仪坐标系相对于世界坐标系的变换矩阵[R|t]：
sxi＝[R|t]Pi
其中，s为放大因子，xi＝(ui，vi，1)T，Pi＝(Xi，Yi，Zi，1)T，(Xi，Yi，Zi)表示第i个红外接收器在眼动仪坐标系下的3D坐标；
S52通过标定获得前景左相机与眼动仪坐标系之间的变换矩阵；
S53根据眼动仪坐标系相对于世界坐标系的变换矩阵和前景左相机与眼动仪坐标系之间的变换矩阵将感兴趣物体在前景左相机中的位姿转换至世界坐标系下。
6.一种用于执行如权利要求1-5任一项所述的人眼感兴趣物体的位姿识别方法的装置，其特征在于，包括眼动仪、前景左相机(4)、前景右相机(5)、左眼相机(6)、右眼相机(7)和红外线接收器(1)，其中，所述眼动仪包括外圈主体(3)和头戴内圈(2)，所述外圈主体(3)和头戴内圈(2)通过两个移动旋转部分(9)连接，该外圈主体(3)上方设置有外圈上扣板(8)、下方两侧设置有支架扣板(10)，使用时外圈上扣板处于人体头部的后方，支架扣板处于人体面部的前方；所述前景左相机(4)和前景右相机(5)设于外圈主体(3)的前侧，用于采集用户前方场景图像信息，所述左眼相机(6)和右眼相机(7)设于两支架扣板的前端，用于采集左右眼睛的图像信息，所述红外线接收器(1)设置有6个以上，其均匀分布在外圈上扣板上。
7.一种利用权利要求1-5任一项所述的位姿识别方法的位姿识别***，其特征在于，包括：
瞳孔识别模块，其利用左眼相机和右眼相机分别识别用户的左右瞳孔的中心；
凝视点映射模块，用于将识别获得的左右瞳孔中心映射至前景左相机中以得到二维凝视点；
感兴趣物体确定模块，利用目标识别与追踪算法提取前景左相机中的物体锚框，然后根据二维凝视点与物体锚框的位置关系确定用户感兴趣的物体；
感兴趣物体定位模块，对用户感兴趣的物体进行三维重建及姿态估计以得到感兴趣物体在前景左相机中的位姿；
位姿转换模块，将感兴趣物体在前景左相机中的位姿转换至世界坐标系下，以此确定用户感兴趣物体的位姿。
CN201910252521.9A 2019-03-29 2019-03-29 一种人眼感兴趣物体的位姿识别方法、装置及*** Active CN110032278B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910252521.9A CN110032278B (zh) 2019-03-29 2019-03-29 一种人眼感兴趣物体的位姿识别方法、装置及***
US16/412,010 US11030455B2 (en) 2019-03-29 2019-05-14 Pose recognition method, device and system for an object of interest to human eyes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910252521.9A CN110032278B (zh) 2019-03-29 2019-03-29 一种人眼感兴趣物体的位姿识别方法、装置及***

Publications (2)

Publication Number Publication Date
CN110032278A CN110032278A (zh) 2019-07-19
CN110032278B true CN110032278B (zh) 2020-07-14

Family

ID=67237090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910252521.9A Active CN110032278B (zh) 2019-03-29 2019-03-29 一种人眼感兴趣物体的位姿识别方法、装置及***

Country Status (2)

Country Link
US (1) US11030455B2 (zh)
CN (1) CN110032278B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110342134B (zh) * 2019-07-23 2023-06-09 珠海一微半导体股份有限公司 一种基于双目视觉的垃圾分类识别***及其方法
CN110605714B (zh) * 2019-08-06 2021-08-03 华中科技大学 一种基于人眼凝视点的手眼协调抓取方法
CN110706289B (zh) * 2019-10-24 2022-09-30 中国科学技术大学 姿态测量方法及装置
CN110910506B (zh) * 2019-12-03 2021-02-09 江苏集萃华科智能装备科技有限公司 基于法线检测的三维重建方法、装置、检测装置及***
CN111199576B (zh) * 2019-12-25 2023-08-18 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN116057451A (zh) * 2020-09-03 2023-05-02 三星电子株式会社 改变显示器的设置的方法及电子装置
CN112308932B (zh) * 2020-11-04 2023-12-08 中国科学院上海微***与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN112395973B (zh) * 2020-11-16 2023-04-25 华中科技大学鄂州工业技术研究院 一种用户意图识别方法、装置、设备和存储介质
CN112381880A (zh) * 2020-11-27 2021-02-19 航天科工智能机器人有限责任公司 一种基于圆特征的双目视觉位姿估计方法
CN113269782B (zh) * 2021-04-21 2023-01-03 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
CN113793389B (zh) * 2021-08-24 2024-01-26 国网甘肃省电力公司 一种增强现实***虚实融合标定方法及装置
CN113723293B (zh) * 2021-08-30 2024-01-05 中国科学院上海微***与信息技术研究所 一种视线方向的确定方法、装置、电子设备及存储介质
CN113673479A (zh) * 2021-09-03 2021-11-19 济南大学 基于视觉关注点识别物体的方法
US20230136191A1 (en) * 2021-10-29 2023-05-04 Sonic Star Global Limited Image capturing system and method for adjusting focus
CN114037738A (zh) * 2021-11-18 2022-02-11 湖北三闾智能科技有限公司 一种人类视觉驱动的上肢辅助机器人控制方法
CN114494594B (zh) * 2022-01-18 2023-11-28 中国人民解放军63919部队 基于深度学习的航天员操作设备状态识别方法
US11792506B2 (en) * 2022-02-09 2023-10-17 Motorola Mobility Llc Electronic devices and corresponding methods for defining an image orientation of captured images
CN114519748A (zh) * 2022-04-20 2022-05-20 清华大学 四足机器人的腿足运动学标定方法、***、设备及介质
CN116592899B (zh) * 2023-04-28 2024-03-29 哈尔滨工业大学 一种基于模块化红外靶标的位姿测量***
CN116311553B (zh) * 2023-05-17 2023-08-15 武汉利楚商务服务有限公司 应用于半遮挡图像下的人脸活体检测方法及装置
CN116821570B (zh) * 2023-05-24 2024-05-07 上海勘测设计研究院有限公司 用于明渠图像正向校正的系数估算方法、装置、终端及介质
CN116993731B (zh) * 2023-09-27 2023-12-19 山东济矿鲁能煤电股份有限公司阳城煤矿 基于图像的盾构机刀头缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107773248A (zh) * 2017-09-30 2018-03-09 优视眼动科技（北京）有限公司 眼动仪及图像处理方法
US10007336B2 (en) * 2013-09-10 2018-06-26 The Board Of Regents Of The University Of Texas System Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
CN108415955A (zh) * 2018-02-06 2018-08-17 杭州电子科技大学 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法
CN109074164A (zh) * 2016-05-03 2018-12-21 微软技术许可有限责任公司 使用视线追踪技术标识场景中的对象
CN109086726A (zh) * 2018-08-10 2018-12-25 陈涛 一种基于ar智能眼镜的局部图像识别方法及***
CN109171641A (zh) * 2018-09-21 2019-01-11 湖北英特搏智能机器有限公司 一种眼动仪头戴设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2382599B1 (en) * 2009-07-29 2012-12-12 Metaio GmbH Method for determining the pose of a camera with respect to at least one real object
KR102463169B1 (ko) * 2015-09-07 2022-11-04 삼성전자주식회사 시점 추적 방법 및 장치
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US20170277259A1 (en) * 2016-03-24 2017-09-28 Daqri, Llc Eye tracking via transparent near eye lens
CN108885469B (zh) * 2016-09-27 2022-04-26 深圳市大疆创新科技有限公司 用于在跟踪***中初始化目标物体的***和方法
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
CN109117711B (zh) * 2018-06-26 2021-02-19 西安交通大学 基于眼动数据的分层特征融合的专注度检测装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007336B2 (en) * 2013-09-10 2018-06-26 The Board Of Regents Of The University Of Texas System Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation
CN109074164A (zh) * 2016-05-03 2018-12-21 微软技术许可有限责任公司 使用视线追踪技术标识场景中的对象
CN107773248A (zh) * 2017-09-30 2018-03-09 优视眼动科技（北京）有限公司 眼动仪及图像处理方法
CN108415955A (zh) * 2018-02-06 2018-08-17 杭州电子科技大学 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法
CN109086726A (zh) * 2018-08-10 2018-12-25 陈涛 一种基于ar智能眼镜的局部图像识别方法及***
CN109171641A (zh) * 2018-09-21 2019-01-11 湖北英特搏智能机器有限公司 一种眼动仪头戴设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视线跟踪技术的头戴式实现及桌面式***的研究;冀翔;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20160315;第I138-6867页正文第15-51页 *

Also Published As

Publication number Publication date
US20200311416A1 (en) 2020-10-01
US11030455B2 (en) 2021-06-08
CN110032278A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110032278B (zh) 一种人眼感兴趣物体的位姿识别方法、装置及***
CN110605714B (zh) 一种基于人眼凝视点的手眼协调抓取方法
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和***
EP1952354B1 (en) Determining camera motion
EP2774380B1 (en) Method and system for stereo gaze tracking
WO2017211066A1 (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
JP6862569B2 (ja) 仮想光線追跡方法および光照射野の動的リフォーカス表示システム
US20030035001A1 (en) 3D video conferencing
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN105631859B (zh) 三自由度仿生立体视觉***
CN102997891A (zh) 场景深度的测量装置和方法
US10866635B2 (en) Systems and methods for capturing training data for a gaze estimation model
US20210035326A1 (en) Human pose estimation system
CN112634379A (zh) 一种基于混合视域光场的三维定位测量方法
JP7498404B2 (ja) 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
CN109872353B (zh) 基于改进迭代最近点算法的白光数据与ct数据配准方法
CN113822174B (zh) 视线估计的方法、电子设备及存储介质
CN114189623B (zh) 基于光场的屈光图形生成方法、装置、设备及存储介质
CN109543517A (zh) 一种计算机视觉人工智能应用方法及***
JP2018149234A (ja) 注視点推定システム、注視点推定方法及び注視点推定プログラム
CN111582120A (zh) 用于捕捉眼球活动特征的方法、终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant