CN113288038A - 一种基于计算机视觉的自助式视力测试方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的自助式视力测试方法，包括以下步骤：S1，判断受测者是否已经就位；S2，判断受测者哪只眼睛处于测试状态；S3，进行视力测试，并输出结果。本发明采用计算机视觉技术，自动检测受测人员的身体状态、眼睛遮挡和手势，实现了视力测试过程中的良好自然交互体验，最后形成视力检测报告，通过关联账户的方法，记录受测者的视力历史记录，反映受测者的视力发展情况。

Description

一种基于计算机视觉的自助式视力测试方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于计算机视觉的自助式视力测试方法。

背景技术

视力测试是一项非常常规的人体健康体检项目，一般是通过让受测者指认视力表来测量视力，视力表有14行大小不同开口方向各异的“E”字所组成；测量从0.1-1.5(或从4.0-5.2)；每行有标号，被检者的视力表操作方法要与1.0的一行平行，距离视力表5米。通过测试辅助人员由大到小指示不同的“E”，由测试者做出动作或者说出“E”的朝向来完成视力测试，这是传统的测试视力的方法，被广泛采用。

最近几年，随着智能手机的发展，有应用把视力表搬移到手机上，让眼睛和手机保存一定的距离，在手机屏幕上拉动视力表，通过手指点击字母“E”的朝向来完成视力测试。也有一些专门的视力检查设备，这种检查仪采用标准对数视力表测试原理设计的，由检查仪主机随机显示“E”形字符，被测者通过遥控答题器回答“E”的朝向，主机根据回答情况调整字符大小，从而确定被测者能看清的字符，达到检查视力的目的。

视力检查是一项高频的人体健康检查，现有的方法都有其缺点，传统的方法，需要一名测试辅助人员来告知受测者当前视力判断是否正确，这个无疑增加了人力成本，不能完全由测试者自主完成测试；在智能手机上测试视力，其实质是把视力表搬移到了手机上，由受测者通过点击手机屏幕告知识别结果，再由手机给出识别是否正确，这个要测试者保持眼睛和手机的距离，这是比较困难的，如果头部偏移，那么测试精度也会受影响，而且用手机测试并不符合测试视力的标准。而专用的视力测试仪，则价格昂贵，还需要手持遥控器来告知识别的结果，而遥控器是很容易遗失的，这些设备使用起来并不方便。现有的方法或者设备都不能做到完全的自助式测试或者自然交互，而这些正是本发明所着重解决的问题。

发明内容

为解决上述问题，本发明的技术方案为基于计算机视觉的自助式视力测试方法，包括以下步骤：

S1，判断受测者是否已经就位；

S2，判断受测者哪只眼睛处于测试状态；

S3，进行视力测试，并输出结果；

该方法对应的基于计算机视觉的自助式视力测试***包括主机控制模块、投射光线模块、摄像头模块、显示屏模块、语音提示模块、网络储存模块、人体检测模块、人脸五官特征定位模块、眼睛状态检测模块和手势识别模块，其中主机控制模块与投射光线模块、摄像头模块、显示屏模块、语音提示模块和网络储存模块分别连接，摄像头模块与人体检测模块、人脸五官特征定位模块、眼睛状态检测模块和手势识别模块分别连接，在摄像头模块拍摄后，对人体所处位置、人脸五官定位、眼睛状态和手势识别进行处理和分析，并反馈给主机控制模块。

优选地，所述判断受测者是否已经就位，包括以下步骤：

S11，由投射光线模块发出彩色的光线投影到距离视力测试***预设距离的地面上，语音提示模块发出站到线边沿的语音提示；

S12，摄像头模块实时获取图像，由人体检测模块抠取地面投射线区域的图像，采用深度卷积网络识别算法来判断受测者是否站到了投射光线边沿线，并检测出人体包围盒。

优选地，所述投射光线模块包括激光射线灯。

优选地，所述判断受测者哪只眼睛处于测试状态，包括以下步骤：

S21，依据人体包围盒的位置截取人头图像的感兴趣区域，人脸五官特征定位模块采用深度卷积网络定位出人脸的五官特征点位置，无论眼睛是否被遮挡，均由网络预测出所有的五官特征点；

S22，根据左右眼的特征点，截取左右眼的感兴趣区域，送入眼睛状态检测模块中的左右眼遮挡网络，输出哪只眼睛被遮住的状态。

优选地，所述进行视力测试，并输出结果，包括以下步骤：

S31，语音提示模块输出提示进入视力测试准备状态，屏幕上依次展示若干种大小和朝向的字母“E”，摄像头模块捕捉图像，送入手势识别模块中的深度神经网络进行手势的分类；

S32，在进行到某个级别的字母“E”时，如连续做出预设次数的识别错误，判定视力水平，停止测试，语音提示进行另外一只眼睛的测试；

S33，语音输出视力水平，或者通过短信或微信发送视力水平，并在主机控制模块保存记录视力水平。

本发明有益效果至少包括：

1)本发明设计的自助式视力测试***脱离了辅助人员的指导，实现了视力检查的完全自我测试；

2)采用计算机视觉技术，自动检测受测人员的身体状态、眼睛遮挡和手势，实现了视力测试过程中的良好自然交互体验，最后形成视力检测报告，通过关联账户的方法，记录受测者的视力历史记录，反映受测者的视力发展情况。

附图说明

图1为本发明实施例的基于计算机视觉的自助式视力测试方法的步骤流程图；

图2为本发明实施例的基于计算机视觉的自助式视力测试方法的对应***的结构框图；

图3为本发明实施例的基于计算机视觉的自助式视力测试方法的测试流程示意图；

图4为本发明实施例的基于计算机视觉的自助式视力测试方法的五种手势示意图；

图5为本发明实施例的基于计算机视觉的自助式视力测试方法的网络模块和网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参见图1，为本发明实施例的本发明的技术方案为基于计算机视觉的自助式视力测试方法的流程图，包括以下步骤：

S1，判断受测者是否已经就位；

S2，判断受测者哪只眼睛处于测试状态；

S3，进行视力测试，并输出结果；

参见图2，该方法对应的基于计算机视觉的自助式视力测试***包括主机控制模块10、投射光线模块20、摄像头模块30、显示屏模块40、语音提示模块50、网络储存模块60、人体检测模块31、人脸五官特征定位模块32、眼睛状态检测模块33和手势识别模块34，其中主机控制模块10与投射光线模块20、摄像头模块30、显示屏模块40、语音提示模块50、网络储存模块60分别连接，摄像头模块30与人体检测模块31、人脸五官特征定位模块32、眼睛状态检测模块33和手势识别模块34分别连接，在摄像头模块30拍摄后，对人体所处位置、人脸五官定位、眼睛状态和手势识别进行处理和分析，并反馈给主机控制模块，将结果存储于网络储存模块60。

参见图3，是本发明的***流程示意图，首先激光射线灯即投射光线模块20投射激光线到规定的位置，这个位置保证了受测者和视力表的距离，人体检测模块31截取投射线上图像区域，判定是否有人，再由人脸五官特征定位模块32和眼睛状态检测模块33分类网络判定哪知眼睛被遮挡，确定被测试是哪只眼睛，再进行视力表上字母“E”的轮询，手势识别模块34识别受测者的手臂姿势，以确定是否对当前的字母“E”朝向做出了正确响应，最后形成视力检测结果。

S1：判断受测者是否已经就位，这一步骤进一步包括：

S11：由投射光线模块发出绿色(也可以是其他颜色)的光线投影到距离视力测试***一定距离远的地面上，这个距离可以调节，因为对于不同的测试要求，距离是不同的，一般是5米，这个投影到地上的射线是为了让受测者能和受测***保持标准视力测试的距离，而且这种投影线不受环境影响，不需要人工在地上标注距离线；

S12：在整个***运行期间，摄像头都处于开启状态，要实时监控受测者的状态是不是达到了视力测试的要求，由于受测者的距离和视力准确度息息相关，摄像头将会抓取地面投射线区域的图像，并设计专门的深度神经网络算法来判断受测者是否站到了投射光线的边沿，如果超出或者距离投射光线太远，那么就会由***发出提示声，提醒受测者要调整站位，以符合标准要求。在本发明中采用ResNet-18深度神经网络来识别受测者是否站到光线后。首先采用图像颜色和霍夫变换来检测投影直线，并按比例扣取直线区域的图像送入网络，这时网络输出一个向量V_Body＝[P^b,x^b,y^b,w^b,h^b]，其中P^b是概率，表示当前的投影线区域是否有人的概率，如果概率较大则表示在这个位置有人要进行视力测量，x^b,y^b,w^b,h^b分别代表的是这个人体框的中心点坐标和长宽度，在投影线区域内的测试者位置就由这个网络确定下来了。

S2：在检测到的人体后，判断受测者哪只眼睛处于测试状态，这一步骤进一步包括：

S21：依据人体包围盒的位置和头部身体的比例截取人头图像的感兴趣区域，并采用ResNet-18深度卷积网络定位出人脸上五官的7个特征点，分别是左右眼两个眼角点、嘴巴两侧点和鼻子中心点。无论眼睛是否被遮挡，都可以用网络预测出所有的五官特征点位置。

S22：根据左右眼的特征点，截取左右眼的感兴趣区域，送入左右眼遮挡网络，本发明采用ResNet-18深度卷积主干网络，输出V_eye＝[P^Left,P^Right,P^Glass]，其中P^Left表示左眼睁开的概率，P^Right表示右眼睁开的概率。设定睁闭眼的判断阈值为0.5，概率小于阈值表示这只眼睛被遮挡了，那么就可判断另外一只眼睛在测试。P^Glass是佩戴了眼镜的概率，用于指示受测者是否戴着眼镜在进行视力测试。***会根据受测者的头部眼睛的遮挡情况，如果识别出受测者没有按规定遮挡，就会发出语音提示。

S3：受测者准备完毕后，进入视力受测环节，这一步骤进一步包括：

S31：***开始在屏幕上从大到小依次出现不同朝向的字母“E”,***开始在屏幕上从大到小依次出现不同朝向的字母“E”，每个相同级别内的“E”的朝向是随机出现的。同时屏幕周边的颜色会改变，表示等待受测者做出识别动作，在此期间***通过摄像头实时分析受测者的姿态动作，以测试右眼为例，预先定义了预备手势(附图4手势(a))、朝下手势(附图4手势(b))、朝左手势(附图4手势(c))、朝右手势(附图4手势(d))和朝上手势(附图4手势(d))。受测者一般处于预备手势(附图4手势(a))，测试左眼时的手势定义是测试右眼的横向镜像，只有在需要对字母“E”判断时才做出四个方向的手势，其他时间手臂则处于准备姿态，本发明采用ResNet-18深度神经网络识别受测者做出的动作，输出V_Gesture＝[P^Ready,P^down,P^left,P^right,P^up],分别表示五种手臂姿势的出现概率。在测试期间，受测者手臂姿势要保持一定的时间，主机识别完毕会在屏幕周边会亮起另一种颜色提示当前字母识别完毕，这时受测者要回到准备状态，等待下一个测试字母的出现。如果这五个概率都低于某个阈值，那么表示受测者做出了不合规的动作，***会发出语音提示。***根据识别结果会自动记录受测者对不同大小的字母的识别正确率。

S32：当***检测到受测者在某个字母大小的级别上受测者的正确率低于某个阈值时，或则所有等级的字母都测试完毕，则发出提示音告知受测者当前左眼(右眼)的测试结束。受测者进行到某个级别的字母“E”，连续做出几次的识别错误，***判定受测者的视力水平，停止测试，语音提示进行另外一只眼睛的测试。

S33：语音告知受测者的视力水平，***也可以根据不同的定制需求，把测试结果发送到数据库或者受测者的微信等个人账号上。

本发明中要完成人体检测、眼睛遮挡识别和动作识别都要用到深度神经网络，本发明采用基于ResNet-18的网络结构如附图5所示，详细参数如下：

(1)第一层卷积层conv1：输入三通道224*224图像，卷积核大小3*3，步长1，输出64通道特征图。

(2)第二层为残差模块ResidualBlock_A_1,输入64通道特征图，输出64通道特征图。

(3)第三层为残差模块ResidualBlock_B_1，输入64通道特征图，输出128通道特征图。

(4)第四层为残差模块ResidualBlock_A_2，输入128通道特征图，输出256通道特征图。

(5)第五层为残差模块ResidualBlock_B_2，输入256通道特征图，输出256通道特征图。

(6)第六层为残差模块ResidualBlock_A_3，输入256通道特征图，输出512通道特征图。

(7)第七层为残差模块ResidualBlock_B_3，输入512通道特征图，输出512通道特征图。

(8)第五层全连接层FC：输入512维向量。依据不同的目标，可以选择4种不同的输出。

在预测人体目标时，输出5维向量V_Body＝[P^b,x^b,y^b,w^b,h^b]，指示步骤S12中的受测人体的出现概率和位置；

在输出人体特征点定位目标时，输出人脸7个特征点的位置坐标，共有14维特征，V_Face＝[P^LeyeL,P^LeyeR,P^ReyeL,P^ReyeR,P^MouthL,P^MouthR,P^Nose],分别表示左右眼两个眼角点、嘴巴两侧点和鼻子中心点的坐标，其中P＝[x,y]是特征点的坐标，由左右眼两个眼角点特征点得到步骤S21中的眼睛感兴趣区域。

在判断眼睛状态时，输出3维特征，V_eye＝[P^Left,P^Right,P^Glass]，其中P^Left表示左眼睁开的概率，P^Right表示右眼睁开的概率，P^Glass是佩戴了眼镜的概率，用于指示受测者是否戴着眼镜在进行视力测试。得到步骤S22中的判定哪只眼睛在进行测试。

在识别手势动作时，输出5维特征，V_Gesture＝[P^Ready,P^down,P^left,P^right,P^up]，其中P^Ready表示准备动作的概率，P^down,P^left,P^right,P^up分别手势朝下、朝左、朝右和朝上的概率，用以判定受测者是否正确指示了屏幕出现的“E”的朝向。如果这五个概率都小于某个阈值，那么表示受测者做的动作不规范，要进行适当的语音提示。

训练参数如下：

使用动态学习率，从0.01开始，每10个epoch减为之前十分之一。

batchsize＝32

momentum＝0.9

把训练样本和目标真实值不断地输入到网络，使用误差反向传播进行每一层网络参数的调整，不断的迭代训练，最终实现收敛，得到网络模型。

本发明设计的自助式视力测试***要脱离辅助人员的指导，其关键点是要实现设备和受测者的自然交互，本发明采用基于深度神经网络的识别技术来处理其中几个关键的算法。本发明的***带有激光投影线，在客观上缩小了搜索受测者在图像上的空间，增加了检测人体包围盒的可靠性；加入对受测者眼睛部位的图像分析，可以自动地检测出哪只眼睛在进行测试或者是否佩戴了眼镜，***不强制要求受测者如何遮挡眼睛进行测试，而是自行分析测试的眼睛次序，这有力增加了视力测试的自然交互；最后再是手臂的姿势，为了让受测者以更加熟悉自然的动作测试视力，本***的手臂动作和人工的视力表测试动作是一致的，只是增加定义了一个准备动作，用于判断两个指示动作的间隔检测，便于***判断受测者对当前字母的视力判别，这增加了识别的精准度。在得到视力检测结果后，可以现场告知受测者测试结果，也可以发送检测结果到个人或者监护人的邮箱微信等予以保留，受测者定期来进行视力测试，则可以形成个人视力随时间变换的历史记录，方便受测者对视力的管理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于计算机视觉的自助式视力测试方法，其特征在于，包括以下步骤：

S1，判断受测者是否已经就位；

S2，判断受测者哪只眼睛处于测试状态；

S3，进行视力测试，并输出结果；

该方法对应的基于计算机视觉的自助式视力测试***包括主机控制模块、投射光线模块、摄像头模块、显示屏模块、语音提示模块、网络储存模块、人体检测模块、人脸五官特征定位模块、眼睛状态检测模块和手势识别模块，其中主机控制模块与投射光线模块、摄像头模块、显示屏模块、语音提示模块和网络储存模块分别连接，摄像头模块与人体检测模块、人脸五官特征定位模块、眼睛状态检测模块和手势识别模块分别连接，在摄像头模块拍摄后，对人体所处位置、人脸五官定位、眼睛状态和手势识别进行处理和分析，并反馈给主机控制模块。

2.根据权利要求1所述的基于计算机视觉的自助式视力测试方法，其特征在于，所述判断受测者是否已经就位，包括以下步骤：

S11，由投射光线模块发出彩色的光线投影到距离视力测试***预设距离的地面上，语音提示模块发出站到线边沿的语音提示；

S12，摄像头模块实时获取图像，由人体检测模块抠取地面投射线区域的图像，采用深度卷积网络识别算法来判断受测者是否站到了投射光线边沿线，并检测出人体包围盒。

3.根据权利要求2所述的基于计算机视觉的自助式视力测试方法，其特征在于，所述投射光线模块包括激光射线灯。

4.根据权利要求3所述的基于计算机视觉的自助式视力测试方法，其特征在于，所述判断受测者哪只眼睛处于测试状态，包括以下步骤：

S21，依据人体包围盒的位置截取人头图像的感兴趣区域，人脸五官特征定位模块采用深度卷积网络定位出人脸的五官特征点位置，无论眼睛是否被遮挡，均由网络预测出所有的五官特征点；

S22，根据左右眼的特征点，截取左右眼的感兴趣区域，送入眼睛状态检测模块中的左右眼遮挡网络，输出哪只眼睛被遮住的状态。

5.根据权利要求4所述的基于计算机视觉的自助式视力测试方法，其特征在于，所述进行视力测试，并输出结果，包括以下步骤：

S31，语音提示模块输出提示进入视力测试准备状态，屏幕上依次展示若干种大小和朝向的字母“E”，摄像头模块捕捉图像，送入手势识别模块中的深度神经网络进行手势的分类；

S32，在进行到某个级别的字母“E”时，如连续做出预设次数的识别错误，判定视力水平，停止测试，语音提示进行另外一只眼睛的测试；

S33，语音输出视力水平，或者通过短信或微信发送视力水平，并在主机控制模块保存记录视力水平。

Images