CN117530654A - 一种实时的双眼瞳孔检查***及检测方法 - Google Patents

Abstract

本发明公开一种实时的双眼瞳孔检查***，包括成像模块、图像采集模块、瞳孔位置检测模块、瞳孔提取模块、双目测距模块、瞳孔测算模块。成像模块包括光源和两组相互隔离开的双目红外相机，两组双目红外相机用于实时拍摄测试者的左眼和右眼，每只眼睛对应的双目红外相机在每一时刻都能采集到两张图像；图像采集模块用于增强图像的对比度；瞳孔位置检测模块采用训练后的轻量级目标检测模型Yolo实时检测测试者的左眼和右眼的瞳孔位置；瞳孔提取模块采用训练后的深度学习语义分割模型FastSCNN在检测到的瞳孔位置附近提取出瞳孔区域；瞳孔测算模块用于测算瞳孔直径、瞳孔形状以及进行瞳孔视线跟踪并进行眨眼检测。本发明能够同时进行双眼检测，且结果可靠。

Description

一种实时的双眼瞳孔检查***及检测方法

技术领域

本发明涉及瞳孔检测领域，具体涉及一种实时的双眼瞳孔检查***及检测方法。

背景技术

瞳孔检查是一项常规的医疗检查手段，通过观察和测量瞳孔的大小、形状和反应来初筛相关的眼部疾病和神经***疾病。传统的瞳孔检查需要医生手动测量瞳孔大小和观察瞳孔反应，这种方法存在主观性和误差性，而且需要较长的检查时间。为了解决这些问题，瞳孔计应运而生。

瞳孔计是一种基于计算机视觉技术的医疗设备，通过运行瞳孔检查相关的程序，它可以自动化地检测和测量瞳孔大小和反应，大大缩短了检查时间，提高了检查的准确性和可靠性。瞳孔计还可以记录瞳孔变化的数据，并通过比较数据来诊断和监测眼部和神经***疾病的进展。瞳孔计的应用范围也越来越广泛，不仅可以用于医院和诊所的眼科检查，还可以应用于急救、军事等领域，帮助医生和急救人员快速诊断眼部和神经***疾病。

然而，现有的瞳孔计均为逐个眼睛检查，这就导致无法在进行瞳孔对光反应检查中观察一只眼睛的同时也观察到另一个眼睛的反应情况。此外，台式瞳孔计需要固定患者的下巴，医生对于不同的患者需要频繁调整下巴支架的高度，从而降低了检查效率。此外，患者在检查过程中可能会因为光线刺激而眨眼、动眼，从而导致检查结果不准确。

发明内容

针对现有技术的不足，本发明提出一种实时的双眼瞳孔检查***及检测方法，该***及方法能够同时实时完成双眼瞳孔外形检查，自动识别眼球和瞳孔的位置，并快速、准确地测量瞳孔大小和反应，并能够进行眼动跟踪检测，消除了传统手动测量的主观性和误差性，并大大缩短检查时间。

本发明的目的通过如下的技术方案来实现：

一种实时的双眼瞳孔检查***，该***包括成像模块、图像采集模块、瞳孔位置检测模块、瞳孔提取模块、双目测距模块、瞳孔测算模块；

所述成像模块包括光源和两组相互隔离开的双目红外相机，所述光源用于在测试时提供光源刺激测试者的通孔；两组相互隔离开的双目红外相机用于实时拍摄测试者的左眼和右眼，每只眼睛对应的双目红外相机在每一时刻都能采集到两张图像，并将采集到的两两一组输入到红外图像序列中；

所述图像采集模块接收两个双目红外相机采集的红外图像序列，使用直方图均衡对图像进行预处理，增强图像的对比度；

所述瞳孔位置检测模块将经过所述图像采集模块处理后的两两一组的图像输入训练后的轻量级目标检测模型Yolo，实时检测测试者的左眼和右眼的瞳孔位置；

所述瞳孔提取模块采用训练后的深度学习语义分割模型FastSCNN在检测到的瞳孔位置附近提取出瞳孔区域；

所述双目测距模块用于计算每个瞳孔到对应的双目红外相机的实际距离；

所述瞳孔测算模块包括瞳孔直径计算子模块、瞳孔形状判断子模块和瞳孔视线跟踪子模块；所述瞳孔直径计算子模块用于计算瞳孔的实际直径；所述瞳孔形状判断子模块用于对提取出的瞳孔区域进行椭圆拟合，确定椭圆的参数；所述瞳孔视线跟踪子模块用于计算测试过程中瞳孔的实际移动距离，并进行眨眼检测。

进一步地，所述瞳孔位置包括瞳孔中心的像素坐标、瞳孔区域宽度和高度的像素表示。

进一步地，计算每个瞳孔到对应的双目红外相机的实际距离的计算公式如下：

d＝f·b/s

其中，f为双目红外相机的焦距，b为双目红外相机的两个镜头光心间距，s为左眼和右眼瞳孔中心的像素坐标的视差距离，单位为像素。

进一步地，所述瞳孔直径计算子模块计算瞳孔的实际直径size的具体过程包括：

根据瞳孔区域宽度w(单位为像素)，通过矩阵运算size＝d·M·P得出瞳孔实际直径，单位为毫米，其中P为瞳孔区域同一水平线上的左边界点和右边界点的像素坐标水平方向的像素差；M为相机的内参矩阵。

进一步地，所述瞳孔形状判断子模块在提取出的瞳孔区域进行椭圆拟合时，采用基于最小二乘法的椭圆拟合方法，即通过最小化点到椭圆的距离来确定椭圆参数。

进一步地，所述瞳孔视线跟踪子模块通过相位相关算法计算瞳孔的实际移动距离。

进一步地，还包括光源控制模块，用于控制所述光源的亮度和持续时间。

进一步地，所述光源为LED。

进一步地，还包括数据统计模块，用于将实时的瞳孔的大小、形状、瞳孔位置信息记录到数据库。

一种实时的双眼瞳孔检查方法，该方法基于双眼瞳孔检查***来实现，该方法包括如下步骤：

步骤一：开启光源刺激测试者的双眼，分别采用两个独立的双目红外相机实时拍摄测试者的左眼和右眼，每个双目红外相机在每一时刻都能同时采集到对应眼睛的两张图像，并将这两张图像两两一组送入图像采集模块；

步骤二：由所述图像采集模块使用直方图均衡对图像进行预处理，增强图像的对比度；

步骤三：由所述瞳孔位置检测模块将经过所述图像采集模块处理后的两两一组的图像输入训练后的轻量级目标检测模型Yolo，实时检测测试者的左眼和右眼的瞳孔位置，并进行眨眼检测，若当前帧被判断为眨眼状态时跳过其余步骤，执行步骤一；当检测到当前瞳孔位置不位于红外图像的边缘区域时，执行步骤四；

步骤四：由所述瞳孔提取模块采用训练后的深度学习语义分割模型FastSCNN在检测到的瞳孔位置附近提取出瞳孔区域；

步骤五：由所述双目测距模块计算出每个瞳孔到对应的双目红外相机的实际距离，当该实际距离位于预设的距离范围时，执行步骤六；

步骤六：由所述瞳孔测算模块测定瞳孔的实际直径、对提取出的瞳孔区域进行椭圆拟合，并计算测试过程中瞳孔的实际移动距离。

本发明的有益效果如下：

1.本发明的实时的双眼瞳孔检查***及检测方法能够同时进行双眼测量，在检查瞳孔对光反应时，解决了现有方法中在刺激一只眼睛的同时没有记录到另一边瞳孔大小变化的情况。

2.本发明的实时的双眼瞳孔检查***及检测方法，在检查瞳孔对光反应时，实时记录当前瞳孔相对于检查开始时移动的偏移量(单位：mm)，可以实时监测到被观测者的瞳孔是否在摄像头的监控范围内，以及瞳孔到摄像头的距离是否处于合理范围，当超出该范围时需要重新测量，提高了结果的可靠性。

3.本发明的实时的双眼瞳孔检查***及检测方法，通过轻量级目标检测模型Yolo和深度学习语义分割模型FastSCNN分别进行瞳孔定位和瞳孔提取，提高了瞳孔定位和提取的鲁棒性，一定程度上解决了红外灯在瞳孔表面的反光问题。

附图说明

图1为本发明实施例的实时的双眼瞳孔检查***的示意图。

图2为本发明实施例的实时的双眼瞳孔检查***的模块组成示意图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本实施例的实时的双眼瞳孔检查***，包括成像模块、图像采集模块、瞳孔位置检测模块、瞳孔提取模块、双目测距模块、瞳孔测算模块、光源控制模块、数据统计模块。

其中，成像模块包括光源和两组相互隔离开的双目红外相机。本实施例中光源为LED灯珠。每个双目红外相机都有两颗镜头和一个红外灯，摄像头型号为JSK-S8130X2，定焦10cm。每颗摄像头的聚焦距离为50～150mm，红外灯波长为850nm，光心间距为25mm，镜头宽度为14mm，视角为86°。LED灯可选用任意支持可调亮度的灯珠，要求是亮度范围满足5～50lux，LED灯使用Type-C接口连接。本设计为提供可靠的光照亮度，LED灯由一排7个灯珠组成。光源由一个光源控制模块控制光源的亮度和持续时间。如控制左侧灯珠发出100lux亮度，持续亮3秒。

双目红外相机将采集到的图像两两一组输入到红外图像序列中。该实施例中，摄像头和LED的固定底座和LED隔板均使用3D打印机打印。本实施例中，LED灯由LED控制模块控制，通过串口通信向LED设备发送指令，可以控制光照的强度、颜色和持续时间。串口通信协议约定，帧中包含帧头、功能码、RGB数值、灯亮持续时间和帧尾。支持的颜色标准为RGB24，即用24位来描述一个颜色。持续时间范围从0～120秒，亮度可调范围为0～1000lux。

两个双目红外相机实时拍摄测试者的左眼和右眼，对于每只眼睛，其对应的双目红外摄像头在每一时刻都能采集到两张图像，摄像头的采样速率为每秒30帧。将采集到的图像两两一组输入到红外图像序列中。

如图1所示，图像采集模块、瞳孔位置检测模块、瞳孔提取模块、双目测距模块、瞳孔测算模块、光源控制模块、数据统计模块均集成在双眼瞳孔检查***的底座中。

两个双目红外相机采集到的图像输入图像采集模块中，图像采集模块使用直方图均衡对图像进行预处理，增强图像的对比度。从图像采集模块输出的红外图像序列中以两张图像为单位提取红外图像，先提取的两张为左眼图像，后提取的两张为右眼图像，如此循环。

瞳孔位置检测模块通过训练轻量级目标检测模型Yolo用于实时监测左眼和右眼的瞳孔位置。瞳孔位置包括瞳孔中心的像素坐标(x,y)、瞳孔区域宽度w和高度h的像素表示。该实施例中，采用红外相机采集100张瞳孔图像，并标记瞳孔位置和二值掩膜用作数据集，训练轻量级目标检测模型Yolo。训练后的轻量级目标检测模型Yolo对每帧图像推断的平均用时为6ms，可达140FPS以上，满足瞳孔计检测瞳孔位置的实时性要求。

瞳孔提取模块在瞳孔位置检测模块检测出瞳孔位置后，基于瞳孔位置裁剪出瞳孔局部图像，输入到训练后的FastSCNN模型提取瞳孔区域。本实施例中，训练后的FastSCNN模型提取瞳孔区域的用时平均为2ms，可达500FPS以上，满足瞳孔提取实时性的要求。通过级联瞳孔位置检测模块和瞳孔提取模块可以得到图像中瞳孔区域，计算方式：

p＝M_FastSCNN(M_yolo(I))

其中I为输入的红外图像，M_yolo输出瞳孔的位置(x,y,w,h)，M_FastSCNN基于该位置提取出实际的瞳孔区域图像p，该图像的宽高为W、H，单位为像素。

当定位到瞳孔在图像中的位置后，就需要进行眨眼检测，即判断当前图像中人的眼睛是不是半闭合的，即介于完全睁开眼和完全闭上眼的中间过渡状态，只有在完全睁开眼的情况下才会执行后续子模块，否则跳过直接处理下一帧图像。通过对瞳孔区域图像进行二值化处理，像素值灰度大于128记为1，否则记为0，对该区域的二值化处理结果求和，并与上一帧图像的该结果比对，当变化幅度T超过T_max(此处为80％)时，当前帧被判断为眨眼的情况，即无效图像，此时跳过剩余子模块的处理，进而处理下一帧红外图像。变化幅度T的计算方法为：

T＝(B(p_cur)-B(p_prev))/B(p_prev)

其中，B表示对输入图像进行二值化，并统计其中1的个数，p_prec、p_cur分别为上一帧和当前帧提取出实际的瞳孔区域图像。

双目测距模块用于计算每个瞳孔到对应的双目红外相机的实际距离。每个双目红外相机拍摄到两张图像，从左到右分别记为红外图像1、红外图像2。对于左眼以红外图像2为准，对于右眼以红外图像1为准，从而来计算d。

具体的双目测距的距离计算公式为：

d＝f·b/s

其中，f为相机焦距(单位为毫米)、b为双目红外相机的两个镜头光心间距(单位为毫米)，s为左眼和右眼瞳孔中心的像素坐标的视差距离(单位为像素)。从而计算出瞳孔到相机的实际距离d(单位为毫米)。在10cm～20cm距离上，测距误差≤2％，基于矩阵运算方法计算的瞳孔直径误差≤3％。

瞳孔测算模块包括瞳孔直径计算子模块、瞳孔形状判断子模块和瞳孔视线跟踪子模块。根据瞳孔区域宽度w(单位为像素)，可以通过矩阵运算方法得出实际瞳孔大小(单位为毫米)，计算方式为：

size＝d·M·W

其中W为瞳孔区域图像的宽度，M为相机的内参矩阵。

使用椭圆拟合的最小二乘算法对提取出的瞳孔区域进行拟合，计算方法为：

e＝F(p)

其中，p为输入的瞳孔区域图像的二值图，F表示使用椭圆拟合算法对该二值图区域的像素点分布估计椭圆参数e，e包括椭圆的位置、角度、长轴和短轴。使用公式(a-b)/a来表示一个瞳孔区域的形状，其中a、b分别为拟合椭圆e的长轴和短轴，单位为像素。

瞳孔视线跟踪子模块通过相位相关算法用于计算测试过程中瞳孔的实际移动距离。

数据统计模块用于将实时的瞳孔的大小、形状、瞳孔位置信息记录到数据库，SQLite和Excel文件中，以及检查过程的视频数据，并分析瞳孔大小变化范围、瞳孔变化率，绘制瞳孔变化曲线、瞳孔位置分布散点图，并将这些统计数据实时展示在显示屏上。

本发明还提供一种实时的双眼瞳孔检查方法，该方法基于上述的双眼瞳孔检查***来实现，该方法包括如下步骤：

步骤一：开启光源刺激测试者的双眼，分别采用两个独立的双目红外相机实时拍摄测试者的左眼和右眼，每个双目红外相机在每一时刻都能同时采集到对应眼睛的两张图像，并将这两张图像两两一组送入图像采集模块；

步骤二：由图像采集模块使用直方图均衡对图像进行预处理，增强图像的对比度；

步骤三：由瞳孔位置检测模块将经过图像采集模块处理后的两两一组的图像输入训练后的轻量级目标检测模型Yolo，实时检测测试者的左眼和右眼的瞳孔位置，并进行眨眼检测，若当前帧被判断为眨眼状态时跳过其余步骤，执行步骤一；当检测到当前瞳孔位置不位于红外图像的边缘区域时，执行步骤四；

步骤四：由瞳孔提取模块采用训练后的深度学习语义分割模型FastSCNN在检测到的瞳孔位置附近提取出瞳孔区域；

步骤五：由双目测距模块计算出每个瞳孔到对应的双目红外相机的实际距离，当该实际距离位于预设的距离范围时，执行步骤六；

步骤六：由瞳孔测算模块测定瞳孔的实际直径、对提取出的瞳孔区域进行椭圆拟合，并计算测试过程中瞳孔的实际移动距离；

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (10)

1.一种实时的双眼瞳孔检查***，其特征在于，该***包括成像模块、图像采集模块、瞳孔位置检测模块、瞳孔提取模块、双目测距模块、瞳孔测算模块；

所述成像模块包括光源和两组相互隔离开的双目红外相机，所述光源用于在测试时提供光源刺激测试者的通孔；两组相互隔离开的双目红外相机用于实时拍摄测试者的左眼和右眼，每只眼睛对应的双目红外相机在每一时刻都能采集到两张图像，并将采集到的两两一组输入到红外图像序列中；

所述图像采集模块接收两个双目红外相机采集的红外图像序列，使用直方图均衡对图像进行预处理，增强图像的对比度；

所述瞳孔位置检测模块将经过所述图像采集模块处理后的两两一组的图像输入训练后的轻量级目标检测模型Yolo，实时检测测试者的左眼和右眼的瞳孔位置；

所述瞳孔提取模块采用训练后的深度学习语义分割模型FastSCNN在检测到的瞳孔位置附近提取出瞳孔区域；

所述双目测距模块用于计算每个瞳孔到对应的双目红外相机的实际距离；

所述瞳孔测算模块包括瞳孔直径计算子模块、瞳孔形状判断子模块和瞳孔视线跟踪子模块；所述瞳孔直径计算子模块用于计算瞳孔的实际直径；所述瞳孔形状判断子模块用于对提取出的瞳孔区域进行椭圆拟合，确定椭圆的参数；所述瞳孔视线跟踪子模块用于计算测试过程中瞳孔的实际移动距离，并进行眨眼检测。

2.根据权利要求1所述的实时的双眼瞳孔检查***，其特征在于，所述瞳孔位置包括瞳孔中心的像素坐标、瞳孔区域宽度和高度的像素表示。

3.根据权利要求1所述的实时的双眼瞳孔检查***，其特征在于，计算每个瞳孔到对应的双目红外相机的实际距离的计算公式如下：

d＝f·b/s

其中，f为双目红外相机的焦距，b为双目红外相机的两个镜头光心间距，s为左眼和右眼瞳孔中心的像素坐标的视差距离，单位为像素。

4.根据权利要求3所述的实时的双眼瞳孔检查***，其特征在于，所述瞳孔直径计算子模块计算瞳孔的实际直径size的具体过程包括：

根据瞳孔区域宽度w(单位为像素)，通过矩阵运算size＝d·M·P得出瞳孔实际直径，单位为毫米，其中P为瞳孔区域同一水平线上的左边界点和右边界点的像素坐标水平方向的像素差；M为相机的内参矩阵。

5.根据权利要求1所述的实时的双眼瞳孔检查***，其特征在于，所述瞳孔形状判断子模块在提取出的瞳孔区域进行椭圆拟合时，采用基于最小二乘法的椭圆拟合方法，即通过最小化点到椭圆的距离来确定椭圆参数。

6.根据权利要求1所述的实时的双眼瞳孔检查***，其特征在于，所述瞳孔视线跟踪子模块通过相位相关算法计算瞳孔的实际移动距离。

7.根据权利要求1所述的实时的双眼瞳孔检查***，其特征在于，还包括光源控制模块，用于控制所述光源的亮度和持续时间。

8.根据权利要求1所述的实时的双眼瞳孔检查***，其特征在于，所述光源为LED。

9.根据权利要求1所述的实时的双眼瞳孔检查***，其特征在于，还包括数据统计模块，用于将实时的瞳孔的大小、形状、瞳孔位置信息记录到数据库。

10.一种实时的双眼瞳孔检查方法，其特征在于，该方法基于权利要求1～9中任意一项所述的双眼瞳孔检查***来实现，该方法包括如下步骤：

步骤一：开启光源刺激测试者的双眼，分别采用两个独立的双目红外相机实时拍摄测试者的左眼和右眼，每个双目红外相机在每一时刻都能同时采集到对应眼睛的两张图像，并将这两张图像两两一组送入图像采集模块；

步骤二：由所述图像采集模块使用直方图均衡对图像进行预处理，增强图像的对比度；

步骤三：由所述瞳孔位置检测模块将经过所述图像采集模块处理后的两两一组的图像输入训练后的轻量级目标检测模型Yolo，实时检测测试者的左眼和右眼的瞳孔位置，并进行眨眼检测，若当前帧被判断为眨眼状态时跳过其余步骤，执行步骤一；当检测到当前瞳孔位置不位于红外图像的边缘区域时，执行步骤四；

步骤四：由所述瞳孔提取模块采用训练后的深度学习语义分割模型FastSCNN在检测到的瞳孔位置附近提取出瞳孔区域；

步骤五：由所述双目测距模块计算出每个瞳孔到对应的双目红外相机的实际距离，当该实际距离位于预设的距离范围时，执行步骤六；

步骤六：由所述瞳孔测算模块测定瞳孔的实际直径、对提取出的瞳孔区域进行椭圆拟合，并计算测试过程中瞳孔的实际移动距离。