CN117197064A - 一种无接触眼红程度自动分析方法 - Google Patents

Abstract

本发明公开一种无接触眼红程度自动分析方法，包括以下步骤：对准脸部正面拍摄人眼，对拍摄图像进行人眼区域检测及图像预处理，进行缩放和预处理后使用U‑Net++模型进行巩膜区域检测，得到二值图，将二值图与缩放图进行与操作，得到巩膜区域彩色图；进行图像平滑处理与自适应直方图均衡化来增强图像对比度，使用B‑COSFIRE滤波器对图像增强图进行滤波处理，同时将图像增强图转化为LAB颜色模型，获取得到图像掩膜，最后将滤波处理图和图像掩膜进行与操作，获取血丝二值图；分别计算巩膜区域彩色图和血丝二值图中非零像素点个数，再进行比值计算，得到眼红占比。本发明提供的一种无接触眼红程度自动分析方法，自动判定适应性和准确性高，能够实现患者眼红程度的智能辅助诊断。

Description

一种无接触眼红程度自动分析方法

技术领域

本发明涉及一种无接触眼红程度自动分析方法，属于图像处理及医疗辅助诊断技术领域。

背景技术

眼红分析可判断眼表炎症的严重程度，作为干眼检测的重要指标之一，在眼科医疗诊断领域有着重要作用。传统的眼红分析由医生根据经验判定，存在误差较大的缺陷。另外，虽然出现数字图像处理方法，但是目前的数字图像处理方法的自动判定适应性和准确性不高，且无法实现患者眼红程度的智能辅助诊断。

发明内容

本发明要解决的技术问题是，克服现有技术的缺陷，提供一种无接触眼红程度自动分析方法，自动判定适应性和准确性高，能够实现患者眼红程度的智能辅助诊断。

为解决上述技术问题，本发明采用的技术方案为：

一种无接触眼红程度自动分析方法，包括以下步骤：

使用可见光成像设备对准脸部正面拍摄人眼，对拍摄图像进行人眼区域检测及图像预处理，得到预处理图像；

将预处理图像进行缩放后得到缩放图，对缩放图进行预处理后使用U-Net++模型进行巩膜区域检测，得到待检图像巩膜区域的二值图，将二值图与缩放图进行与操作，得到巩膜区域彩色图；

将巩膜区域彩色图进行图像平滑处理与自适应直方图均衡化来增强图像对比度，得到图像增强图，然后使用B-COSFIRE滤波器对图像增强图进行滤波处理，得到滤波处理图，同时将图像增强图转化为LAB颜色模型，获取得到图像掩膜，最后将滤波处理图和图像掩膜进行与操作，获取血丝二值图；

分别计算巩膜区域彩色图和血丝二值图中非零像素点个数，再对血丝二值图非零像素点个数和巩膜区域彩色图非零像素点个数进行比值计算，得到眼红占比。

所述人眼区域检测包括以下步骤：

对拍摄图像进行检测时，利用训练好的分类器在拍摄图像中从左上角开始逐区域搜索，采用相似性准则判断是否为人眼；

若判断结果为人眼，则框选出眼部区域所在的范围，判断眼部区域范围是否满足不低于256×256，若是则进入下一步流程，若否则则提示人眼图像太小，要求重新拍摄；

若判断结果为非人眼，则提示输入图像错误，要求重新拍摄；

其中，人眼分类器训练过程为：采用深度学习方法，先从网络上采集大量的人眼和非人眼样本进行预训练，得到深度学习模型参数以构建人眼分类器。

拍摄图像进行预处理包括以下步骤：

根据眼部区域框选结果，将人眼区域长宽按原比例扩展1.2倍，使最终框选的眼部区域包含眼角完整的眼部信息，以扩展后的长度为基准，平行中心线为基线，5：4的长宽比进行裁剪，使所有眼部图像符合尺寸要求及有效区域最大化。

缩放图预处理包括以下步骤：利用颜色阈值法，若判断图像整体颜色偏红，则提取图像RGB三通道中的的R通道，继续进行巩膜分割操作，否则使用直方图均衡化的方法进行图像增强后，仍然以RGB三通道彩色图进行巩膜分割操作。

U-Net++模型为改进的U-Net++模型，输入图像是缩放图，输出图像是单通道的二值图，输入输出图像形状都是512×512；在U-Net++的每一层卷积操作与ReLU激活函数操作之间，添加了归一化操作；在上层与下层之间，添加dropout操作，并在之后添加注意力机制，随后进行池化操作。

二值图与缩放图进行与操作具体为：将二值图中像素值为0的所有像素点，对应缩放图中的像素点值置为0，仅保留图像中巩膜区域，得到巩膜区域图。

眼红占比具体计算方式如下:

其中，Degree表示眼红占比，B_pixels表示血丝二值图中非0像素点个数，S_pixels表示巩膜区域图中非0像素点个数。

将眼红占比计算结果乘以100后向下取整，使得最终结果位于[0,100]范围内，最后使用分数等级制，得出相应眼红程度级别。

一种无接触眼红程度自动分析装置，包括：

眼部图像获取与处理模块，用于使用可见光成像设备对准脸部正面拍摄人眼，对拍摄图像进行人眼区域检测及图像预处理，得到预处理图像；

巩膜区域检测模块，用于将预处理图像进行缩放后得到缩放图，对缩放图进行预处理后使用U-Net++模型对缩放图进行巩膜区域检测，得到待检图像巩膜区域的二值图，将二值图与缩放图进行与操作，得到巩膜区域彩色图；

眼红区域提取模块，用于提取将巩膜区域彩色图进行图像平滑处理与自适应直方图均衡化来增强图像对比度，得到图像增强图，然后使用B-COSFIRE滤波器对图像增强图进行滤波处理，得到滤波处理图，同时将图像增强图转化为LAB颜色模型，获取得到图像掩膜，最后将滤波处理图和图像掩膜进行与操作，获取血丝二值图；

眼红占比计算模块，用于分别计算巩膜区域彩色图和血丝二值图中非零像素点个数，再对血丝二值图非零像素点个数和巩膜区域彩色图非零像素点个数进行比值计算，得到眼红占比。

一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现所述接触眼红程度自动分析方法。

本发明的有益效果：本发明提供一种无接触眼红程度自动分析方法，使用可见光成像设备对准脸部正面拍摄人眼，以使用普通智能手机照相功能或相机拍照实现，无接触的眼部图像获取，无辅助光源，结构简单，无不适；能够避免眼红呈现区域，眼周充血带来的误差，眼红位置及面积精准，提供准确数据，自动判定适应性和准确性高。

附图说明

图1为本发明一种无接触眼红程度自动分析方法的工作流程图。

图2为本发明中眼部图像获取与处理流程图；

图3为本发明中巩膜区域检测流程图；

图4为本发明中眼红区域提取流程图；

图5为本发明中眼红占比计算及眼红程度判断流程图。

具体实施方式

下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。如图1所示，本发明公开一种无接触眼红程度自动分析方法，包括以下步骤：

步骤一，眼部图像获取与处理。

使用一个可见光成像设备对准脸部正面拍摄人眼，成图中须包含完整的单只人眼。因成像设备分辨率的不同，会对巩膜区域检测神经网络训练占用的显存、巩膜区域检测结果及算法执行效率造成影响，需先进行人眼区域检测及图像预处理。使用可见光成像设备对准脸部正面拍摄人眼，可以使用普通智能手机照相功能或相机拍照实现，只需要满足眼部区域成像大小不低于256×256，并不需要额外的设备或眼科的专用仪器。

人眼区域检测，通过对采集到的大量人眼和非人眼样本进行预训练，得到模型参数以构建人眼分类器。对拍摄图像进行检测时，利用训练好的分类器在拍摄图像中从左上角开始逐区域搜索，采用相似性准则判断是否为人眼。逐区域搜索，是将输入图像进行划分，划分出若干个小的矩形区域，对每个小区域分别进行人眼的检测判断。相似性准则，是指在逐区域搜索过程中，对每个小区域内检测到的物体使用人眼分类器模型进行相似性特征的计算，计算结果表示检测到的物体与人眼的相似程度。

若判断结果为人眼，还需要框选出眼部区域所在的范围，眼部区域范围不低于256×256，则继续进行下一步图像预处理，否则提示人眼图像太小，要求重新拍摄。若判断结果为非人眼，则提示输入图像错误，要求重新拍摄。图像预处理，是根据眼部区域框选结果，将人眼区域长宽按原比例扩展1.2倍，使最终框选的眼部区域包含眼角等完整的眼部信息。以扩展后的长度为基准，平行中心线为基线、5：4的长宽比进行裁剪，使所有眼部图像符合尺寸要求及有效区域最大化。

人眼分类器是一个经过大量人眼与非人眼图像样本预训练的深度学习模型，用于区分输入图像中的人眼和非人眼，对输入结果检测为人眼的图像进行眼部区域框选，对符合眼部区域范围要求的框选结果，继续进行后续的图像预处理，巩膜区域检测、眼红区域提取与眼红占比计算分析。对眼部区域框选结果不符合要求的图像，以及输入结果检测为非人眼的图像，算法终止并给出相应的提示信息。其中，预训练，是指在目标任务之前使用大规模数据集进行模型的初始训练，让模型学习到一些通用的特征和表示。眼部区域框选，是根据人眼判定结果，使用标注框将判定为人眼的区域进行框选，并返回框选区域的图像坐标和框选结果的长宽比。框选结果应当包含内外眼角等完整的眼部信息，而尽量减少输入图像中与人眼无关的其他部分信息。眼部区域范围，是要求框选出的眼部区域长宽比不能低于256×256，便于进行后续的巩膜区域检测和眼红区域提取等步骤。若框选的眼部区域长宽比不低于256×256，则输入的眼部图像符合要求，能够继续进行后续的步骤。否则提示人眼图像太小，要求重新拍摄。

步骤二，巩膜区域检测。

将输入图像裁剪后获得的实际眼部图像缩放为512×512大小，进行预处理后使用经过改进的U-Net++模型进行巩膜区域检测。模型检测结果为待检图像巩膜区域的二值图，将二值图与缩放图进行与操作，得到巩膜区域的彩色图像。

图像缩放，是对输入图像进行眼部区域裁剪与预处理后图片长度小于512×512的进行超分辨，长度大于512×512的进行下采样，减少因缩放带来的图像细节丢失。超分辨，是对实际分辨率低于要求分辨率的目标图像，通过插值方法将图像分辨率提高，从而提高图像的细节和质量。下采样，是对实际分辨率高于要求分辨率的目标图像中的一些像素进行平均化处理，从而降低图像的空间分辨率。

图像预处理，是利用颜色阈值法，若判断图像整体颜色偏红，则提取图像RGB三通道中的的R通道，继续进行巩膜分割操作。否则使用直方图均衡化的方法进行图像增强后，仍然以RGB三通道彩色图进行巩膜分割操作。

颜色阈值法，是通过计算图像中红色通道的平均值，判断是否需要对图像提取红色单通道后再进行巩膜分割。当颜色通道的平均值超过设定的阈值时，认为需要提取图像的红色单通道，否则不需要。

直方图均衡化，通过统计图像中每个像素值的出现频率，得到像素值的直方图，对直方图进行归一化后，计算直方图的累积分布函数(Cumulative Distribution Function，CDF)，用于表示每个像素值的累积出现概率，根据CDF计算出每个像素值在新的直方图中的映射值，将原来的像素映射到新的像素值上。使用新的像素值替换原来的像素值，得到均衡化后的图像。累积分布函数CDF使用如下公式表示：

其中，x是像素值，P(i)是归一化后的图像中像素值为i的频率。

直方图归一化，是将直方图中的频率值进行标准化，使得频率值在0到1之间。此处采用的归一化方法是将每个频率值除以总像素数目，以确保归一化后的频率值之和为1。使用如下公式表示：

其中，N(i)是归一化后的频率值，H(i)是原始直方图中像素值为i的频率值，N_pixels是总像素数目。归一化后的频率值表示了像素值i出现的相对概率。

RGB三通道分别指图像的红(R)、绿(G)、蓝(B)三个颜色通道，图像每个像素由三个颜色通道的数值组成，分别表示红色、绿色和蓝色的强度或亮度，每个颜色通道的数值通常是介于0到255之间的整数，数值越高，该通道颜色分量越大，反应到该单通道上越亮。

U-Net++模型是一个用于图像分割任务的深度学习模型，是对经典U-Net模型的扩展和改进，U-Net++通过引入一种递归的网络结构来增强模型的表达能力，并提高了图像分割的性能，在医学图像分割领域得到了广泛的应用。本发明中经过改进的U-Net++模型，主要是调整了原U-Net++网络中的输入输出部分、每一层的卷积操作，以及上下层之间的部分结构。输入输出部分，输入图像是经过预处理步骤后的图像，输出图像是单通道的二值图，输入输出图像形状都是512×512。在U-Net++的每一层卷积操作与ReLU激活函数操作之间，添加了一个归一化操作。在上层与下层之间，添加了dropout操作，并在之后添加注意力机制，随后进行池化操作。按上述操作进行改进之后，在测试数据上能得到2％～3％的准确率提升。

单通道二值图是指仅包含单个通道(灰度通道)的二值图像，每个像素点只有两个可能的取值：黑色和白色。通常使用灰度值0表示黑色像素，使用灰度值255(或1)表示白色像素。

ReLU激活函数全称是Rectified Linear Unit，中文名称是线性整流函数，是神经网络中常用的激活函数。通常意义下，其指代数学中的斜坡函数。

dropout是深度学习中被广泛应用于解决模型过拟合问题的策略，dropout解决了co-adaption问题，使得训练更宽的网络成为可能。

co-adaption问题是指共适应问题，网络中的一些节点会比另外一些节点有更强的表征能力，随着网络的不断训练，具有更强表征能力的节点被不断的强化，而更弱的节点则不断弱化直到对网络的贡献可以忽略不计。这时候只有网络中的部分节点才会被训练，浪费了网络的宽度和深度，进而导致模型的效果上升受到限制。

注意力机制是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。

池化操作是模仿人的视觉***对数据进行降维，主要是在一定的区域内提出该区域的关键信息。

模型检测是使用已经训练好的改进后的U-Net++模型对输入图像进行检测，输入图像需要先经过第一步骤中的人眼分类器的检测，裁剪出人眼图像后调整图像大小为512×512，作为模型的输入，模型能够准确地检测出输入图像中的巩膜区域，并给出检测图像结果的二值图。

二值图与缩放图进行与操作，将二值图中像素值为0(黑色部分)的所有像素点，对应缩放图中的像素点值置为0，仅保留图像中巩膜区域，得到巩膜区域图。

步骤三，眼红区域提取。

以上一步获得的巩膜区域彩色图像作为输入图像，对输入图像进行图像平滑处理与自适应直方图均衡化增强图像对比度，对处理之后的图像使用B-COSFIRE滤波器对血丝进行提取，同时对图像增强处理后的彩色图像获取掩膜图，彩色图像的RGB颜色模型转为LAB颜色模型，根据L(亮度)分量设定阈值重新生成合适的掩膜，将低亮度区域(即黑灰色的背景区域)的掩膜设为0，其余部分掩膜设为1，这样可以有效的避免黑色与彩色的交界处被算法认定是血丝。对处理之后的图像使用B-COSFIRE滤波器对血丝进行提取，提取到的结果图像为血丝二值图。

图像平滑处理是采用高斯滤波方法，对图像进行高斯核函数的卷积操作来实现平滑效果，去除图像中的高频噪声和平滑图像，并保持图像的整体细节和边缘。

自适应直方图均衡化是将原始图像分割成均匀的小块或根据特定算法进行分割，对每个小块部分进行直方图均衡化，同时根据相邻小块的直方图分布情况，进行亮度修正，最终将所有小块重新组合成一幅增强后的图像。均衡化后的图像能够通过避免相对均匀区域中的噪声过度放大来改善局部对比度。

RGB颜色模型是一种用于描述彩色的模型，基于红(Red)、绿(Green)、蓝(Blue)三个基本颜色通道的组合，每隔颜色通道的值通常在0到255之间，0代表最小亮度，255代表最大亮度。

LAB颜色模型是一种用于描述颜色的模型，由亮度(L)和颜色对立性(A和B)两个通道组成，A通道表示从绿色到红色的对立性，B通道表示从蓝色到黄色的对立性。

B-COSFIRE滤波器是条状选择(Bar-selective)移位滤波器响应组合(Combination Of Shifted FIlterREsponses)的简称。B-COSFIRE滤波器通过计算一组高斯差分滤波器输出的加权几何平均值来实现方向选择性，这些滤波器的支持区域按线性方式对齐。通过对两个旋转不变的B-COSFIRE滤波器的响应进行求和并进行阈值处理，可以实现对眼部血管的分割。

旋转不变是指在处理图像时，算法或方法对于物体在不同旋转角度下具有相同的识别或分析结果。即无论物体如何旋转，算法都能够正确地识别或处理它，而不会受到旋转的影响。

B-COSFIRE滤波器响应函数为：

上式中，σ为决定响应范围的高斯函数标准差。

步骤四，眼红占比计算及眼红程度判断。

针对上述操作步骤，获取到的血丝二值图和巩膜区域图，分别计算血丝二值图和巩膜区域图中非零像素点个数，再进行比值计算，二者的比值即为眼红占比。将眼红占比计算结果乘以100后向下取整，使得最终结果位于[0,100]范围内。最后使用下述分数等级制，得出相应眼红程度级别，如表1。

其中，Degree表示眼红程度，B_pixels表示血丝二值图中非0像素点个数，S_pixels表示巩膜区域图中非0像素点个数。

表1眼红程度等级

Degree	81～100	61～80	41～60	21～40	0～20
						等级	A	B	C	D	E

本发明还公开一种无接触眼红程度自动分析装置，包括：

眼部图像获取与处理模块，用于使用可见光成像设备对准脸部正面拍摄人眼，对拍摄图像进行人眼区域检测及图像预处理，得到预处理图像；

巩膜区域检测模块，用于将预处理图像进行缩放后得到缩放图，对缩放图进行预处理后使用U-Net++模型对缩放图进行巩膜区域检测，得到待检图像巩膜区域的二值图，将二值图与缩放图进行与操作，得到巩膜区域彩色图；

眼红区域提取模块，用于提取将巩膜区域彩色图进行图像平滑处理与自适应直方图均衡化来增强图像对比度，得到图像增强图，然后使用B-COSFIRE滤波器对图像增强图进行滤波处理，得到滤波处理图，同时将图像增强图转化为LAB颜色模型，获取得到图像掩膜，最后将滤波处理图和图像掩膜进行与操作，获取血丝二值图；

眼红占比计算模块，用于分别计算巩膜区域彩色图和血丝二值图中非零像素点个数，再对血丝二值图非零像素点个数和巩膜区域彩色图非零像素点个数进行比值计算，得到眼红占比。

一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明接触眼红程度自动分析方法。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种无接触眼红程度自动分析方法，其特征在于：包括以下步骤：

使用可见光成像设备对准脸部正面拍摄人眼，对得到的拍摄图像进行人眼区域检测及图像预处理，得到预处理图像；

将预处理图像进行缩放后得到缩放图，对缩放图进行预处理后使用U-Net++模型进行巩膜区域检测，得到待检图像巩膜区域的二值图，将二值图与缩放图进行与操作，得到巩膜区域彩色图；

将巩膜区域彩色图进行图像平滑处理与自适应直方图均衡化来增强图像对比度，得到图像增强图，然后使用B-COSFIRE滤波器对图像增强图进行滤波处理，得到滤波处理图，同时将图像增强图转化为LAB颜色模型，获取得到图像掩膜，最后将滤波处理图和图像掩膜进行与操作，获取血丝二值图；

分别计算巩膜区域彩色图和血丝二值图中非零像素点个数，再对血丝二值图非零像素点个数和巩膜区域彩色图非零像素点个数进行比值计算，得到眼红占比。

2.根据权利要求1所述的一种无接触眼红程度自动分析方法，其特征在于：可见光成像设备包括智能手机和相机，需要满足眼部区域成像大小不低于256×256。

3.根据权利要求1所述的一种无接触眼红程度自动分析方法，其特征在于：所述人眼区域检测包括以下步骤：

对拍摄图像进行检测时，利用训练好的分类器在拍摄图像中从左上角开始逐区域搜索，采用相似性准则判断是否为人眼；

若判断结果为人眼，则框选出眼部区域所在的范围，判断眼部区域范围是否满足不低于256×256，若是则进入下一步流程，若否则则提示人眼图像太小，要求重新拍摄；

若判断结果为非人眼，则提示输入图像错误，要求重新拍摄；

其中，人眼分类器训练过程为：采用深度学习方法，先从网络上采集大量的人眼和非人眼样本进行预训练，得到深度学习模型参数以构建人眼分类器。

4.根据权利要求3所述的一种无接触眼红程度自动分析方法，其特征在于：拍摄图像进行预处理包括以下步骤：

根据眼部区域框选结果，将人眼区域长宽按原比例扩展1.2倍，使最终框选的眼部区域包含眼角完整的眼部信息，以扩展后的长度为基准，平行中心线为基线，5：4的长宽比进行裁剪，使所有眼部图像符合尺寸要求及有效区域最大化。

5.根据权利要求1所述的一种无接触眼红程度自动分析方法，其特征在于：缩放图预处理包括以下步骤：利用颜色阈值法，若判断图像整体颜色偏红，则提取图像RGB三通道中的的R通道，继续进行巩膜分割操作，否则使用直方图均衡化的方法进行图像增强后，仍然以RGB三通道彩色图进行巩膜分割操作。

6.根据权利要求1所述的一种无接触眼红程度自动分析方法，其特征在于：U-Net++模型为改进的U-Net++模型，输入图像是缩放图，输出图像是单通道的二值图，输入输出图像形状都是512×512；在U-Net++的每一层卷积操作与ReLU激活函数操作之间，添加了归一化操作；在上层与下层之间，添加dropout操作，并在之后添加注意力机制，随后进行池化操作。

7.根据权利要求1所述的一种无接触眼红程度自动分析方法，其特征在于：二值图与缩放图进行与操作具体为：将二值图中像素值为0的所有像素点，对应缩放图中的像素点值置为0，仅保留图像中巩膜区域，得到巩膜区域图。

8.根据权利要求1所述的一种无接触眼红程度自动分析方法，其特征在于：眼红占比具体计算方式如下:

其中，Degree表示眼红占比，B_pixels表示血丝二值图中非0像素点个数，S_pixels表示巩膜区域图中非0像素点个数。

9.根据权利要求8所述的一种无接触眼红程度自动分析方法，其特征在于：将眼红占比计算结果乘以100后向下取整，使得最终结果位于[0,100]范围内，最后使用分数等级制，得出相应眼红程度级别。

10.一种无接触眼红程度自动分析装置，其特征在于：包括：

眼部图像获取与处理模块，用于使用可见光成像设备对准脸部正面拍摄人眼，对拍摄图像进行人眼区域检测及图像预处理，得到预处理图像；

巩膜区域检测模块，用于将预处理图像进行缩放后得到缩放图，对缩放图进行预处理后使用U-Net++模型对缩放图进行巩膜区域检测，得到待检图像巩膜区域的二值图，将二值图与缩放图进行与操作，得到巩膜区域彩色图；

眼红区域提取模块，用于提取将巩膜区域彩色图进行图像平滑处理与自适应直方图均衡化来增强图像对比度，得到图像增强图，然后使用B-COSFIRE滤波器对图像增强图进行滤波处理，得到滤波处理图，同时将图像增强图转化为LAB颜色模型，获取得到图像掩膜，最后将滤波处理图和图像掩膜进行与操作，获取血丝二值图；

眼红占比计算模块，用于分别计算巩膜区域彩色图和血丝二值图中非零像素点个数，再对血丝二值图非零像素点个数和巩膜区域彩色图非零像素点个数进行比值计算，得到眼红占比。