CN108509908A - 一种基于双目立体视觉的瞳孔直径实时测量方法 - Google Patents

一种基于双目立体视觉的瞳孔直径实时测量方法 Download PDF

Info

Publication number
CN108509908A
CN108509908A CN201810279012.0A CN201810279012A CN108509908A CN 108509908 A CN108509908 A CN 108509908A CN 201810279012 A CN201810279012 A CN 201810279012A CN 108509908 A CN108509908 A CN 108509908A
Authority
CN
China
Prior art keywords
industrial camera
pupil
intersection point
human eye
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810279012.0A
Other languages
English (en)
Other versions
CN108509908B (zh
Inventor
孙彪
倪宇明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810279012.0A priority Critical patent/CN108509908B/zh
Publication of CN108509908A publication Critical patent/CN108509908A/zh
Application granted granted Critical
Publication of CN108509908B publication Critical patent/CN108509908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种基于双目立体视觉的瞳孔直径实时测量方法：采用张正友双目标定法进行相机标定，得到旋转矩阵，平移矩阵，左工业相机内参数矩阵，右工业相机内参数矩阵；对左工业相机和右工业相机采集的图像分别进行处理，得到瞳孔对应的真实椭圆；过通过左工业相机获取的瞳孔的真实椭圆中心做一条直线，该直线方程与左工业相机的真实椭圆有相交得到第一交点和第二交点；根据极线约束和顺序一致性原则，用第一交点和第二交点分别求取通过右工业相机获取的真实椭圆上与两个交点相对应的第一匹配点和第二匹配点；得到多条不同斜率直线所对应的多组瞳孔直径的初步值，求取平均值，得到最终结果。本发明测量精度很高，不需要工作人员固定工作距离，具有很大的应用价值。

Description

一种基于双目立体视觉的瞳孔直径实时测量方法
技术领域
本发明涉及一种瞳孔直径实时测量方法。特别是涉及一种基于双目立体视觉的瞳孔直径 实时测量方法。
背景技术
瞳孔振荡包含着很多重要的信息，近年来，很多研究机构研究和开发了利用瞳孔振荡信 息的各种***，瞳孔振荡可以用来研究人类情绪，如当看到令人愉快或不愉快的图像、感受 到烦躁、压力和看到激动人心的产品时的反应等；一些研究机构研究瞳孔振荡与驾驶员疲劳 之间的关系；在医学领域，瞳孔振荡也可以用来支持医生进行早期糖尿病的检测。
基于计算机视觉的瞳孔测量法可以使用可见光或红外光作为光源；尽管可见光是比较便 捷的选择，但是这种方法产生的图像中瞳孔易受各种噪声干扰，难以提取；另一方面，红外 光源可以利用瞳孔的亮瞳或暗瞳效应，通过近红外(NIR)相机简化了瞳孔检测过程；因此， 许多瞳孔直径测量***使用红外光源与NIR照相机。
瞳孔测量***也可以根据眼睛和记录设备之间的距离分类为头戴式和远程式***；头戴 式方法可以更精确的进行测量；但是，对于非接触式***的特殊要求，如驾驶员观察或基于 目视的辅助***，远程式是唯一可接受的解决方案。
远程式***中基于计算机视觉的瞳孔测量法通常分为三个步骤：面部和眼睛边界框检测、 瞳孔检测和瞳孔直径计算。
远程测量瞳孔需要一些预处理过程来从图像中检测眼部区域；基于人脸区域检测眼部区 域更容易；所以，我们需要先检测脸部区域，然后检测眼部区域；检测人脸、人眼目前有很 多算法，如Viola和Jones提出的级联人脸检测器(期刊：International Journalof Computer Vision； 著者：P.Viola and M.Jones；出版年月2004年；文章题目：Robustreal-time face detection， 页码：137-154)、漏斗结构级联检测框架(期刊：Neurocomputing；著者：M.Kan,M.Kan,S. Shan and X.Chen；出版年月：2017；文章题目：Funnel-structured cascade for multi-view face detection with alignment-awareness；页码：138-145)和Zhang K和Zhang Z提出的卷积神经 网络方法(期刊：IEEESignal Processing Letters；著者：K.Zhang,Z.Zhang,Z.Li andY.Qiao, 出版年月：2016；文章题目：Joint face detection and alignment using multitask cascadedconvolutional networks；页码：1499-1503)等。
最近，已经提出了几种瞳孔中心和边缘检测算法，如ElSe(会议：Biennial ACMSymposium on Eye Tracking Research&Applications；著者：W.Fuhl,T.C.Santini andE.Kasneci；出版年月： 2016；文章题目：ElSe:ellipse selection for robust pupildetection in real-world environments；页 码：123-130)、ExCuSe(会议：ComputerAnalysis of Images and Patterns；著者：W.Fuhl,T.Kübler, K.Sippel,W.Rosenstieland E.Kasneci；出版年月：2015；文章题目：ExCuSe:robust pupil detection in real-world scenarios；页码：39-51)和Swirski(会议：Proceedings of the Symposium on EyeTracking Research and Applications；著者：L.Swirski,A.Bulling,and N.Dodgson；出版年月：2012；文章题目：Robust real-time pupil tracking in highly off-axisimages,页码：173-176) 等，这些算法大部分都是针对头戴式***而开发的；头戴式***一般可以针对人眼区域获得 高分辨率的图形，但是，通过远程设备通常得到的人眼区域图像低分辨率较低；除了图像质 量之外，远程***还需要处理由于极端的头部角度而导致的摄像机视角不足或者图像中眼睛 不可见等问题；因此，在实际情况下，这些算法需要进行调整以适应远距离应用(会议： Proceedings of the Symposium on Eye TrackingResearch and Applications；著者：L.Swirski,A. Bulling and N.Dodgson；出版年月：2012；文章题目：Robust real-time pupil tracking in highly off-axis images；页码：173-176)。
在测量瞳孔直径时，通常需要将一个或多个相机放置在被测人员的前方；在单个相机的 情况下，通过测量标准物体来确定在图像中一个像素表示的实际尺寸，然后可以通过计算瞳 孔在图像中所占的像素数来估计瞳孔直径，这种情况需要固定的工作距离；另外，当人眼与 相机之间的角度较大时，瞳孔投影将变形为椭圆形，导致测量偏差(会议：IEEE International Conference on Systems,Man,and Cybernetics；著者：Y.Morita,H.Takano and K.Nakamura；出 版年月：2017；文章题目：Pupil diameter measurement invisible-light environment using separability filter；页码：934-939)。
发明内容
本发明所要解决的技术问题是，提供一种测量精度很高，不需要工作人员固定工作距离 的基于双目立体视觉的瞳孔直径实时测量方法。
本发明所采用的技术方案是：一种基于双目立体视觉的瞳孔直径实时测量方法，是在近 红外双目测量***上实现，所述的近红外双目测量***包括有设置在支架上的近红外光源， 设置支架上且位于所述近红外光源两侧对称设置的带有红外滤波光膜的左工业相机和右工业 相机，以及与左工业相机和右工业相机相连的计算机，方法包括如下步骤：
1)采用张正友双目标定法进行相机标定，得到旋转矩阵R，平移矩阵T，左工业相机内 参数矩阵Ml，右工业相机内参数矩阵Mr；
2)对左工业相机和右工业相机采集的图像分别进行如下处理：
2.1)采用libfacedetection算法进行人脸和人眼区域提取；
2.2)对人眼区域进行预处理；
2.3)使用卷积核对预处理后的人眼区域进行卷积处理，获取瞳孔粗定位区域；
2.4)对瞳孔粗定位区域进行高斯去噪；
2.5)使用Canny边缘滤波器对高斯去噪后的瞳孔粗定位区域进行边缘检测；
2.6)使用Suzuki85轮廓跟踪算法提取边缘检测得到的所有边缘，去除像素点个数少于6 个的边缘，对剩余的边缘分别进行最小二乘椭圆拟合，并对得到的所有拟合后的椭圆按评估 规则进行评估，得到瞳孔对应的真实椭圆；
3)过通过左工业相机获取的瞳孔的真实椭圆中心做一条直线，该直线方程与左工业相机 的真实椭圆有相交得到第一交点和第二交点；
4)根据极线约束和顺序一致性原则，用步骤3)得到的第一交点和第二交点分别求取通 过右工业相机获取的真实椭圆上与所述的两个交点相对应的第一匹配点和第二匹配点；
5)根据双目相机三维重建公式，分别求第一匹配点与第一交点对应的第一三维空间坐标， 以及第二匹配点与第二交点对应的第二三维空间坐标，求第一三维空间坐标与第二三维空间 坐标之间的欧式距离，所述的欧式距离为一个瞳孔直径的初步值；
6)重复步骤3)～到步骤5)，得到n条不同斜率直线所对应的n组瞳孔直径的初步值， 求取平均值，得到最终结果。
步骤2)中第2.2)步所述的预处理，是通过腐蚀和膨胀来消除人眼区域中的普尔钦光斑， 得到去除普尔钦光斑的图像。
步骤2)中第2.3)步包括：
(1)采用正方形的卷积核，将以卷积核中心为圆心直径为d的圆的权重为1，其余部分 的权重为0；设定卷积核的边长a小于人眼区域的高度h，并且直径d大于瞳孔直径，卷积核 参数定义及设置具体如下：
其中参数scale1设置为0.9，参数scale2设置为0.8；
(2)采用卷积核对预处理后的人眼区域进行逐行扫描，将卷积核的横向和纵向移动的步 长设置为5，在扫描中对卷积核每次覆盖的人眼区域部分分别进行卷积操作，得到若干个响 应值；
(3)选取未处理的人眼区域图像中与最小响应值对应的卷积核所覆盖的人眼区域部分相 应的部分作为瞳孔粗定位区域。
步骤2)中第2.6)步中所述的评估规则为：
椭圆的长轴小于0.8h，椭圆的短轴大于0.2h，h为人眼区域高度，椭圆的长轴小于短轴 的1.2倍。
步骤2)中第2.6)步中当存在2个以上符合评估规则的椭圆时，将像素点最多的椭圆作 为真实椭圆。
步骤4)包括：
假设其中第一交点或第二交点为Pl，则第一交点或第二交点的极线约束如下：
lpr＝FPl，
其中,F为基础矩阵，定义为:
其中，Ml和Mr分别为左工业相机和右工业相机的内参数矩阵，S是由平移矩阵T定义的反对称矩阵：
极线约束表明左工业相机平面上的一点对应右工业相机上一条直线，如果该点为左工业 相机得到的瞳孔真实椭圆上的第一交点或第二交点Pl，则直线会与右工业相机瞳孔真实椭圆 交于两点，其中一点为第一匹配点或第二匹配点Pr，另一点为错误匹配点，通过顺序一致性 原则排除错误匹配点。
步骤5)中所述的第一三维空间坐标和第二三维空间坐标求法相同，均是：
任一交点Pl＝(Xl,Yl,1)T和与该任一交点对应的匹配点Pr＝(Xr,Yr,1)T的三维空间坐标 P＝(x,y,z)T表示为:
设定左工业相机坐标系O-xyz位于世界坐标系的圆点处且无旋转，左工业相机的图像坐 标系为Ol-XlYl，有效焦距为fl；右工业相机坐标系为or-xryrzr，右工业相机的图像坐标系 为Or-XrYr，有效焦距为fr；其中，
r1、r2、r3、r7、r8和r9为左工业相机坐标系O-xyz与右工业相机坐标系or-xryrzr之间的旋转矩阵R中的参数，旋转矩阵R如下：
tx、ty和tz为左工业相机坐标系O-xyz原点O与右工业相机坐标系or-xryrzr原点or之间 的平移向量T中的参数，平移向量T如下：
本发明的一种基于双目立体视觉的瞳孔直径实时测量方法，测量精度很高，不需要工作 人员固定工作距离，具有很大的应用价值。具有如下有益效果：
(1)本发明的方法可实现远距离、无接触、高帧率、高精度测量，同时无需被测人员固 定工作距离，使得测量范围更加自由、应用场景更加广阔；
(2)本发明的方法对硬件要求低，便于移植；在采用2.7-GHzcoreTM i5-5257U CPU 处理器、大恒USB2.0相机(分辨率为1280×1024、焦距12mm)的双目相机***上，***工 作频率为28Hz，工作距离500mm左右，平均瞳孔直径测量误差为0.039mm，平均瞳孔直径 测量误差百分比为1.06％；
(3)本发明的方法中的瞳孔定位算法(中心和边缘曲线)，解决了远距离瞳孔定位问题， 当中心定位像素误差小于5个像素时，其精度为90％。
附图说明
图1是本发明方法所用的近红外双目测量***结构示意图；
图2是本发明方法的流程图；
图3是卷积核的结构示意图；
图4a是未处理的人眼区域图像；
图4b是腐蚀膨胀后的人眼区域图像；
图4c是采用卷积核对腐蚀膨胀后的人眼区域图像进行卷积获取瞳孔卷积响应示意图；
图4d是采用瞳孔卷积响应获取未处理的人眼区域图像中的瞳孔粗定位区域的示意图；
图5是采用Canny边缘滤波器对高斯去噪后的瞳孔粗定位区域进行边缘检测得到的图像；
图6是双目立体视觉测量空间点的三维模型；
图7为本发明算法和其他算法(ElSE)的瞳孔中心点定位准确率曲线，横轴为定位点和 实际点的像素误差，像素误差由两点的欧式距离求得，纵轴为像素误差小于横轴所示像素误 差值的百分比，所采用数据集为人工采集标注的175张近红外人眼图片(来自12名志愿者)。
具体实施方式
下面结合实施例和附图对本发明的一种基于双目立体视觉的瞳孔直径实时测量方法做出 详细说明。
本发明的一种基于双目立体视觉的瞳孔直径实时测量方法，是在近红外双目测量***上 实现，所述的近红外双目测量***如图1所示，包括有设置在支架1上的近红外光源2，设 置支架1上且位于所述近红外光源2两侧对称设置的带有红外滤波光膜的左工业相机3和右 工业相机3，以及与左工业相机3和右工业相机3相连的计算机4。
本发明的一种基于双目立体视觉的瞳孔直径实时测量方法，是在两台工业相机的情况下， 我们首先同时获取同一物体的两幅图像，然后通过立体匹配计算视差，最后通过三角测量法 估计物体的大小。具体包括如下步骤：
1)采用张正友双目标定法进行相机标定，得到旋转矩阵R，平移矩阵T，左工业相机内 参数矩阵Ml，右工业相机内参数矩阵Mr；
2)对左工业相机和右工业相机采集的图像分别进行如下处理：
2.1)采用libfacedetection算法进行人脸和人眼区域提取；所述的libfacedetection算法是一 个快速的人脸定位和关键点检测二进制库，速度可达到90fps(网址： https://github.com/ShiqiYu/libfacedetection；出版年月：2018)。本发明采用该算法检测到人眼 区域，进行瞳孔定位的初始化。
2.2)对人眼区域进行预处理；所述的预处理，是通过腐蚀和膨胀来消除人眼区域中的普 尔钦光斑，得到去除普尔钦光斑的图像，如图4a、图4b所示，显示了对人眼区域进行腐蚀 和膨胀的过程。
2.3)使用如图3所示的卷积核对预处理后的人眼区域进行卷积处理，获取瞳孔粗定位区 域；包括：
(1)采用正方形的卷积核，将以卷积核中心为圆心直径为d的圆的权重为1，其余部分 的权重为0；设定卷积核的边长a小于人眼区域的高度h，并且直径d大于瞳孔直径，卷积核 参数定义及设置具体如下：
其中参数scale1设置为0.9，参数scale2设置为0.8；
(2)采用卷积核对预处理后的人眼区域进行逐行扫描，将卷积核的横向和纵向移动的步 长设置为5，在扫描中对卷积核每次覆盖的人眼区域部分分别进行卷积操作，得到若干个响 应值；
(3)选取未处理的人眼区域图像中与最小响应值对应的卷积核所覆盖的人眼区域部分相 应的部分作为瞳孔粗定位区域。
2.4)对瞳孔粗定位区域进行高斯去噪；
2.5)使用Canny边缘滤波器对高斯去噪后的瞳孔粗定位区域进行边缘检测，边缘检测结 果如图5所示；
2.6)使用Suzuki85轮廓跟踪算法提取边缘检测得到的所有边缘，去除像素点个数少于6 个的边缘(无法进行最小二乘椭圆拟合)，对剩余的边缘分别进行最小二乘椭圆拟合，并对得 到的所有拟合后的椭圆按评估规则进行评估，得到瞳孔对应的真实椭圆；所述的评估规则为：
椭圆的长轴小于0.8h，椭圆的短轴大于0.2h，h为人眼区域高度，椭圆的长轴小于短轴 的1.2倍。当存在2个以上符合评估规则的椭圆时，将像素点最多的椭圆作为真实椭圆。
3)过通过左工业相机获取的瞳孔的真实椭圆中心做一条直线，该直线方程与左工业相机 的真实椭圆有相交得到第一交点和第二交点；
4)根据极线约束和顺序一致性原则，用步骤3)得到的第一交点和第二交点分别求取通 过右工业相机获取的真实椭圆上与所述的两个交点相对应的第一匹配点和第二匹配点；包括：
假设其中第一交点或第二交点为Pl，则第一交点或第二交点的极线约束如下：
lpr＝FPl，
其中,F为基础矩阵，定义为:
其中，Ml和Mr分别为左工业相机和右工业相机的内参数矩阵，S是由平移矩阵T定义的反对称矩阵：
极线约束表明左工业相机平面上的一点对应右工业相机上一条直线，如果该点为左工业 相机得到的瞳孔真实椭圆上的第一交点或第二交点Pl，则直线会与右工业相机瞳孔真实椭圆 交于两点，其中一点为第一匹配点或第二匹配点Pr，另一点为错误匹配点，通过顺序一致性 原则排除错误匹配点，这意味着左工业相机真实椭圆左侧的交点与右工业相机真实椭圆左侧 的交点匹配。
5)根据双目相机三维重建公式，分别求第一匹配点与第一交点对应的第一三维空间坐标， 以及第二匹配点与第二交点对应的第二三维空间坐标。
求第一三维空间坐标与第二三维空间坐标之间的欧式距离，所述的欧式距离为一个瞳孔 直径的初步值；所述的第一三维空间坐标和第二三维空间坐标求法相同，均是：
任一交点Pl＝(Xl,Yl,1)T和与该任一交点对应的匹配点Pr＝(Xr,Yr,1)T的三维空间坐标 P＝(x,y,z)T表示为：
如图6所示，设定左工业相机坐标系O-xyz位于世界坐标系的圆点处且无旋转，左工业 相机的图像坐标系为Ol-XlYl，有效焦距为fl；右工业相机坐标系为or-xryrzr，右工业相机 的图像坐标系为Or-XrYr，有效焦距为fr；其中，
r1、r2、r3、r7、r8和r9为左工业相机坐标系O-xyz与右工业相机坐标系or-xryrzr之间的旋转矩阵R中的参数，旋转矩阵R如下：
tx、ty和tz为左工业相机坐标系O-xyz原点O与右工业相机坐标系or-xryrzr原点or之间 的平移向量T中的参数，平移向量T如下：
6)重复步骤3)～到步骤5)，得到n条不同斜率直线所对应的n组瞳孔直径的初步值， 求取平均值，得到最终结果。
表1为采用本发明中双目视觉测量直径算法对不同标准参照小球进行测量结果，标准直 径为Dtruth，测量直径为Dest，直径测量误差Error1如下：
Error1＝|Dest-Dtruth|，
直径测量误差百分比Error2如下：
平均直径测量误差Mean_Error1如下：
平均直径测量误差百分比Mean_Error2如下：
表2为本发明方法(本发明焦距为12mm)和其他方法(Smart Eye方法，在焦距8mm和25mm两种情况)平均直径测量误差Mean_Error1的对比结果。
表1
表2
方法 Mean_Error1/mm
本发明方法 0.039481
SmartEye(8mm) 0.454757
SmartEye(25mm) 0.225901

Claims (7)

1.一种基于双目立体视觉的瞳孔直径实时测量方法，是在近红外双目测量***上实现，所述的近红外双目测量***包括有设置在支架(1)上的近红外光源(2)，设置支架(1)上且位于所述近红外光源(2)两侧对称设置的带有红外滤波光膜的左工业相机(3)和右工业相机(3)，以及与左工业相机(3)和右工业相机(3)相连的计算机(4)，其特征在于，方法包括如下步骤：
1)采用张正友双目标定法进行相机标定，得到旋转矩阵R，平移矩阵T，左工业相机内参数矩阵Ml，右工业相机内参数矩阵Mr；
2)对左工业相机和右工业相机采集的图像分别进行如下处理：
2.1)采用libfacedetection算法进行人脸和人眼区域提取；
2.2)对人眼区域进行预处理；
2.3)使用卷积核对预处理后的人眼区域进行卷积处理，获取瞳孔粗定位区域；
2.4)对瞳孔粗定位区域进行高斯去噪；
2.5)使用Canny边缘滤波器对高斯去噪后的瞳孔粗定位区域进行边缘检测；
2.6)使用Suzuki85轮廓跟踪算法提取边缘检测得到的所有边缘，去除像素点个数少于6个的边缘，对剩余的边缘分别进行最小二乘椭圆拟合，并对得到的所有拟合后的椭圆按评估规则进行评估，得到瞳孔对应的真实椭圆；
3)过通过左工业相机获取的瞳孔的真实椭圆中心做一条直线，该直线方程与左工业相机的真实椭圆有相交得到第一交点和第二交点；
4)根据极线约束和顺序一致性原则，用步骤3)得到的第一交点和第二交点分别求取通过右工业相机获取的真实椭圆上与所述的两个交点相对应的第一匹配点和第二匹配点；
5)根据双目相机三维重建公式，分别求第一匹配点与第一交点对应的第一三维空间坐标，以及第二匹配点与第二交点对应的第二三维空间坐标，求第一三维空间坐标与第二三维空间坐标之间的欧式距离，所述的欧式距离为一个瞳孔直径的初步值；
6)重复步骤3)～到步骤5)，得到n条不同斜率直线所对应的n组瞳孔直径的初步值，求取平均值，得到最终结果。
2.根据权利要求1所述的一种基于双目立体视觉的瞳孔直径实时测量方法，其特征在于，步骤2)中第2.2)步所述的预处理，是通过腐蚀和膨胀来消除人眼区域中的普尔钦光斑，得到去除普尔钦光斑的图像。
3.根据权利要求1所述的一种基于双目立体视觉的瞳孔直径实时测量方法，其特征在于，步骤2)中第2.3)步包括：
(1)采用正方形的卷积核，将以卷积核中心为圆心直径为d的圆的权重为1，其余部分的权重为0；设定卷积核的边长a小于人眼区域的高度h，并且直径d大于瞳孔直径，卷积核参数定义及设置具体如下：
其中参数scale1设置为0.9，参数scale2设置为0.8；
(2)采用卷积核对预处理后的人眼区域进行逐行扫描，将卷积核的横向和纵向移动的步长设置为5，在扫描中对卷积核每次覆盖的人眼区域部分分别进行卷积操作，得到若干个响应值；
(3)选取未处理的人眼区域图像中与最小响应值对应的卷积核所覆盖的人眼区域部分相应的部分作为瞳孔粗定位区域。
4.根据权利要求1所述的一种基于双目立体视觉的瞳孔直径实时测量方法，其特征在于，步骤2)中第2.6)步中所述的评估规则为：
椭圆的长轴小于0.8h，椭圆的短轴大于0.2h，h为人眼区域高度，椭圆的长轴小于短轴的1.2倍。
5.根据权利要求1所述的一种基于双目立体视觉的瞳孔直径实时测量方法，其特征在于，步骤2)中第2.6)步中当存在2个以上符合评估规则的椭圆时，将像素点最多的椭圆作为真实椭圆。
6.根据权利要求1所述的一种基于双目立体视觉的瞳孔直径实时测量方法，其特征在于，步骤4)包括：
假设其中第一交点或第二交点为Pl，则第一交点或第二交点的极线约束如下：
lpr＝FPl，
其中,F为基础矩阵，定义为:
其中，Ml和Mr分别为左工业相机和右工业相机的内参数矩阵，S是由平移矩阵T定义的反对称矩阵：
极线约束表明左工业相机平面上的一点对应右工业相机上一条直线，如果该点为左工业相机得到的瞳孔真实椭圆上的第一交点或第二交点Pl，则直线会与右工业相机瞳孔真实椭圆交于两点，其中一点为第一匹配点或第二匹配点Pr，另一点为错误匹配点，通过顺序一致性原则排除错误匹配点。
7.根据权利要求1所述的一种基于双目立体视觉的瞳孔直径实时测量方法，其特征在于，步骤5)中所述的第一三维空间坐标和第二三维空间坐标求法相同，均是：
任一交点Pl＝(Xl,Yl,1)T和与该任一交点对应的匹配点Pr＝(Xr,Yr,1)T的三维空间坐标P＝(x,y,z)T表示为:
设定左工业相机坐标系O-xyz位于世界坐标系的圆点处且无旋转，左工业相机的图像坐标系为Ol-XlYl，有效焦距为fl；右工业相机坐标系为or-xryrzr，右工业相机的图像坐标系为Or-XrYr，有效焦距为fr；其中，
r1、r2、r3、r7、r8和r9为左工业相机坐标系O-xyz与右工业相机坐标系or-xryrzr之间的旋转矩阵R中的参数，旋转矩阵R如下：
tx、ty和tz为左工业相机坐标系O-xyz原点O与右工业相机坐标系or-xryrzr原点or之间的平移向量T中的参数，平移向量T如下：
CN201810279012.0A 2018-03-31 2018-03-31 一种基于双目立体视觉的瞳孔直径实时测量方法 Active CN108509908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810279012.0A CN108509908B (zh) 2018-03-31 2018-03-31 一种基于双目立体视觉的瞳孔直径实时测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810279012.0A CN108509908B (zh) 2018-03-31 2018-03-31 一种基于双目立体视觉的瞳孔直径实时测量方法

Publications (2)

Publication Number Publication Date
CN108509908A true CN108509908A (zh) 2018-09-07
CN108509908B CN108509908B (zh) 2022-05-17

Family

ID=63379499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810279012.0A Active CN108509908B (zh) 2018-03-31 2018-03-31 一种基于双目立体视觉的瞳孔直径实时测量方法

Country Status (1)

Country Link
CN (1) CN108509908B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857254A (zh) * 2019-01-31 2019-06-07 京东方科技集团股份有限公司 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
CN110598692A (zh) * 2019-08-09 2019-12-20 清华大学 一种基于深度学习的椭圆识别方法
CN110929672A (zh) * 2019-11-28 2020-03-27 联想(北京)有限公司 瞳孔定位方法和电子设备
CN111160113A (zh) * 2019-12-10 2020-05-15 中山市奥珀金属制品有限公司 一种虹膜定位方法、装置及存储介质
WO2021093744A1 (zh) * 2019-11-11 2021-05-20 中国科学院深圳先进技术研究院 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN113190117A (zh) * 2021-04-29 2021-07-30 南昌虚拟现实研究院股份有限公司 瞳孔、光斑定位方法、数据计算方法及相关装置
WO2022099597A1 (zh) * 2020-11-13 2022-05-19 浙江大学 一种基于虚拟轮廓特征点的机械零件6d位姿测量方法
CN115294202A (zh) * 2022-10-08 2022-11-04 南昌虚拟现实研究院股份有限公司 瞳孔位置标注方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1566900A (zh) * 2003-06-11 2005-01-19 北京航空航天大学 一种空间圆几何参数的视觉测量方法
CN103075973A (zh) * 2012-12-31 2013-05-01 吉林大学 车身缝隙尺寸非接触在线检测方法
CN104739364A (zh) * 2015-03-14 2015-07-01 中国科学院苏州生物医学工程技术研究所 一种双目瞳孔对光反射跟踪***
CN105488803A (zh) * 2015-12-09 2016-04-13 重庆康华瑞明科技股份有限公司 一种人眼瞳孔图像判断方法
CN105740868A (zh) * 2016-01-26 2016-07-06 北京工商大学 一种基于圆形算子的图像边缘提取方法和装置
CN106969706A (zh) * 2017-04-02 2017-07-21 聊城大学 基于双目立体视觉的工件检测与三维测量***及检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1566900A (zh) * 2003-06-11 2005-01-19 北京航空航天大学 一种空间圆几何参数的视觉测量方法
CN103075973A (zh) * 2012-12-31 2013-05-01 吉林大学 车身缝隙尺寸非接触在线检测方法
CN104739364A (zh) * 2015-03-14 2015-07-01 中国科学院苏州生物医学工程技术研究所 一种双目瞳孔对光反射跟踪***
CN105488803A (zh) * 2015-12-09 2016-04-13 重庆康华瑞明科技股份有限公司 一种人眼瞳孔图像判断方法
CN105740868A (zh) * 2016-01-26 2016-07-06 北京工商大学 一种基于圆形算子的图像边缘提取方法和装置
CN106969706A (zh) * 2017-04-02 2017-07-21 聊城大学 基于双目立体视觉的工件检测与三维测量***及检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LECH SWIRSKI 等: ""Robust real-time pupil tracking in highly off-axis images"", 《ETRA "12: PROCEEDINGS OF THE SYMPOSIUM ON EYE TRACKING RESEARCH AND APPLICATIONS》 *
单宝华 等: ""一种基于实心圆靶标的立体视觉***标定方法"", 《光学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857254A (zh) * 2019-01-31 2019-06-07 京东方科技集团股份有限公司 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
US11315281B2 (en) 2019-01-31 2022-04-26 Beijing Boe Optoelectronics Technology Co., Ltd. Pupil positioning method and apparatus, VR/AR apparatus and computer readable medium
CN110598692A (zh) * 2019-08-09 2019-12-20 清华大学 一种基于深度学习的椭圆识别方法
WO2021093744A1 (zh) * 2019-11-11 2021-05-20 中国科学院深圳先进技术研究院 一种瞳孔直径的测量方法、装置及计算机可读存储介质
CN110929672A (zh) * 2019-11-28 2020-03-27 联想(北京)有限公司 瞳孔定位方法和电子设备
CN110929672B (zh) * 2019-11-28 2024-03-01 联想(北京)有限公司 瞳孔定位方法和电子设备
CN111160113A (zh) * 2019-12-10 2020-05-15 中山市奥珀金属制品有限公司 一种虹膜定位方法、装置及存储介质
WO2022099597A1 (zh) * 2020-11-13 2022-05-19 浙江大学 一种基于虚拟轮廓特征点的机械零件6d位姿测量方法
CN113190117A (zh) * 2021-04-29 2021-07-30 南昌虚拟现实研究院股份有限公司 瞳孔、光斑定位方法、数据计算方法及相关装置
CN113190117B (zh) * 2021-04-29 2023-02-03 南昌虚拟现实研究院股份有限公司 瞳孔、光斑定位方法、数据计算方法及相关装置
CN115294202A (zh) * 2022-10-08 2022-11-04 南昌虚拟现实研究院股份有限公司 瞳孔位置标注方法及***
CN115294202B (zh) * 2022-10-08 2023-01-31 南昌虚拟现实研究院股份有限公司 瞳孔位置标注方法及***

Also Published As

Publication number Publication date
CN108509908B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN108509908A (zh) 一种基于双目立体视觉的瞳孔直径实时测量方法
CN107481228B (zh) 基于计算机视觉的人体背部脊柱侧弯角度测量方法
CN103827916B (zh) 皱纹检测与皱纹评估的方法、装置和***
Kauffmann et al. Computer-aided method for quantification of cartilage thickness and volume changes using MRI: validation study using a synthetic model
EP2800058B1 (en) Improvements in and relating to imaging of the eye
DE112008002547T5 (de) Bildrekonstruktionsverfahren mittels Röntgenvolumenphotographie
Reinhart Industrial computer tomography–A universal inspection tool
JP2016198297A (ja) 光音響装置および画像処理方法
CN113159094A (zh) 利用视觉***对图像中的探针进行有效评分的方法及***
Kaashki et al. Deep learning-based automated extraction of anthropometric measurements from a single 3-D scan
Wibirama et al. Dual‐camera acquisition for accurate measurement of three‐dimensional eye movements
Škorvánková et al. Automatic estimation of anthropometric human body measurements
CN108510584B (zh) 脊椎骨旋转角度计算方法
CN111544035B (zh) 一种基于增强现实的超声辅助扫查***及方法
CN108205210A (zh) 基于傅里叶梅林及特征匹配的lcd缺陷检测***及方法
Batliner et al. Automated areas of interest analysis for usability studies of tangible screen-based user interfaces using mobile eye tracking
Sun et al. Sampling light field for photometric stereo
CN107270829B (zh) 一种基于深度图像的人体三围测量方法
Galantucci et al. Coded targets and hybrid grids for photogrammetric 3D digitisation of human faces
TWI681755B (zh) 脊椎側彎量測系統與方法
CN109785375A (zh) 基于3d建模的距离检测方法及装置
CN115969400A (zh) 眼球突出截面积测量装置
Knyaz et al. Photogrammetric techniques for paleoanthropological objects preserving and studying
Fuster-Guilló et al. 3D technologies to acquire and visualize the human body for improving dietetic treatment
HajiRassouliha et al. 3D surface profiling using arbitrarily positioned cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant