CN115500783A - 便携型瞳孔测量装置 - Google Patents

Abstract

一种便携型瞳孔测量装置，包括一本体、一影像处理模组及一显示模组，其中该本体设有一可见光光源模组、一不可见光光源模组及一影像撷取模组，该影像撷取模组供撷取一受测瞳孔的不可见光影像资料；该影像处理模组电性连接该影像撷取模组，该影像处理模组用以执行一深度学习演算法以从该不可见光影像资料中选取一瞳孔轮廓资讯及输出与该瞳孔轮廓资讯相关联的一瞳孔特征参数；而该显示模组电性连接该影像处理模组，用以显示该瞳孔特征参数。

Description

便携型瞳孔测量装置

技术领域

本发明有关一种便携型瞳孔测量装置，尤指一种通过深度学习演算法对连续时间的瞳孔大小进行计算并量化数据，以精准地取得连续时间的瞳孔变化。

背景技术

人眼瞳孔的大小在1.5mm到9mm之间，并且是由自主神经控制，因此可以从而评估中枢和周边自此神经***相关的视神经功能。于临床上大多都是以瞳孔光感反射评估视网膜、视神经功能和脑干功能。瞳孔光感反射在眼部疾病诊断及神经***研究至关重要，瞳孔光感反射主要是量测瞳孔的大小(直径或面积)，而瞳孔的尺寸是由虹膜***和虹膜扩张肌控制。虹膜***由副交感神经***控制，虹膜扩张肌则是交感神经***控制，并以此做为判断患者身体状况的指标参数。当患者出现两边瞳孔的反应不一致或收缩的反应与常人相异时，则可能是某些疾病的征兆。

在目前的研究中，开放性青光眼于红光及蓝光的刺激下，与常人相比瞳孔收缩的幅度较小甚至是没有反应。在眼睛方面的病变除了青光眼之外，因糖尿病所引起的糖尿病性视网膜病变、非增殖性糖尿病视网膜病变、增生性糖尿病视网膜病变等患者在光源的刺激下，随着病情的加重瞳孔对于光源刺激的反应越来越少。视网膜病变通常伴随内在光敏视网膜神经节细胞的功能降低，除了照明后瞳孔反应异常之外，也会造成生理节律的失调。

瞳孔对光的反应在临床上常用来判断病人的生理状态，当医疗人员利用手持式笔灯进行光反射检查时，多以光源照射病患的眼睛并观察其瞳孔的缩放程度，借以确认其生命征象。如果出现瞳孔一大一小或者是有一边收缩的速度较慢、幅度较小，则有可能是中风、脑肿瘤、视神经肿瘤等疾病的前期症状。然而现阶段对于判断瞳孔尺寸的变化仍仰赖医护人员的经验判断瞳孔的大小，由于不同人员的经验法则不同，且可能因主观意识或其劳累程度而造成判断上并不统一，因此对于估算的尺寸变异极大，即使同样的医护人员，在不同时间所判断的尺寸大小亦有相当的差异。

目前虽可利用体积较大的仪器设备对瞳孔进行详细检测，例如ZIEMER GalileiG4、RODENSTOCK CXT 3000与Reichert OptoChek^TM Plus Auto Refractor Keratometer等产品，虽然这类仪器功能完善，但其价格昂贵且无法随意搬动，且在检测时患者需将头部或眼部靠近仪器才能进行量测，对于需要机动性的医护人员来说使用相当不便。

发明内容

有鉴于此，仍有操作流程简单易于使用、小型化且具高精准度的瞳孔量测装置的需求，以解决于临床上瞳孔大小数据无法即时量化及操作不便的问题，增进第一线医护人员的操作便利性。

本发明的主要目的在提供一种便携型瞳孔测量装置，其于影像撷取模组连续撷取一受测瞳孔的不可见光影像资料时，使影像处理模组执行一深度学习演算法以从该不可见光影像资料中选取一瞳孔轮廓资讯及输出与该瞳孔轮廓资讯相关联的一瞳孔特征参数，以对瞳孔受可见光刺激前后的变化数值进行分析。

为达上述的目的，本发明所设的便携型瞳孔测量装置包括一本体、一影像处理模组及一显示模组，其中该本体设有一可见光光源模组、一不可见光光源模组及一影像撷取模组，该影像撷取模组供撷取一受测瞳孔的不可见光影像资料；该影像处理模组电性连接该影像撷取模组，该影像处理模组用以执行一深度学习演算法以从该不可见光影像资料中选取一瞳孔轮廓资讯及输出与该瞳孔轮廓资讯相关联的一瞳孔特征参数；而该显示模组电性连接该影像处理模组，用以显示该瞳孔特征参数。

实施时，该深度学***层、完全连接层及输出层，借以通过多孔卷积层及池化层交替处理输入影像找出特征，并利用摊平层及完全连接层处理特征图或特征值后由输出层输出，以产生对应于该不可见光影像资料的瞳孔特征参数。

实施时，该卷积神经网路还包括以下运算层：激活函数、输出层、损失函数。

实施时，该深度学习演算法分析瞳孔的椭圆长轴及短轴，以得到该瞳孔特征参数。

实施时，该不可见光影像资料为连续影像资料，且该影像处理模组还用以根据该瞳孔轮廓资讯及该特征参数执行一瞳孔尺寸演算法。

实施时，该不可见光光源模组为一红外线光源模组，而该影像撷取模组为一红外线摄像模组。

实施时，其还包括一测距模组，用以于上述影像撷取模组撷取受测瞳孔的不可见光影像资料时，测量该测距模组与受测瞳孔之间的距离而产生一初始距离资讯，根据所测得的初始距离资讯搭配上述瞳孔尺寸演算法所计算的数值而取得瞳孔的实际尺寸；此外，于该受测瞳孔受到该可见光光源模组发出的可见光刺激后，上述影像撷取模组再次测量其与受测瞳孔之间的距离而产生一刺激距离资讯，供该瞳孔尺寸演算法进而调整所计算的瞳孔尺寸。

实施时，该测距模组包括深度相机，其中所述深度相机包括TOF深度相机。

实施时，该显示模组还包括一指示灯或一蜂鸣器，用以提示该瞳孔特征参数已计算完成。

通过上述架构，本发明所提出的基于深度学习的便携型瞳孔测量装置可快速判定瞳孔的尺寸，避免人工经验判断带来的判断不一致问题，并进一步判定出瞳孔缩放速度，且维持快速的判定速度。

为进一步了解本发明，以下举较佳的实施例，配合附图、附图标记，将本发明的具体构成内容及其所达成的功效详细说明如下。

附图说明

图1为本发明的一实施例的正面外观示意图；

图2为图1的实施例的背面外观示意图；

图3为图1的实施例的架构示意图；

图4a至图4e为图1的实施例于建立瞳孔影像资料集时的瞳孔图片预处理流程图；

图5为训练瞳孔影像资料集时的网路结构图；

图6为训练网路模型结构的架构示意图；

图7为进行最大池化法时的构示意图；

图8为测量瞳孔时于显示模组中所显示的瞳孔影像及距离参数示意图；

图9为测量瞳孔后于显示模组中所显示的瞳孔特征参数示意图。

附图标记说明

1: 本体

11: 电源驱动模组

12: 控制钮

2:影像处理模组

3:显示模组

31: 指示灯

32: 蜂鸣器

4:可见光光源模组

5:不可见光光源模组

6:影像撷取模组

7:测距模组。

具体实施方式

请参阅图1至图3，其为本发明的便携型瞳孔测量装置的一实施例，包括一本体1、一影像处理模组2及一显示模组3。该本体1的前侧面设有一可见光光源模组4、一用以发出红外光的不可见光光源模组5、一用以接收红外光的影像撷取模组6及一测距模组7，后侧面则设有一显示模组3所设的屏幕，且该本体1内设有一用以供应该装置电源的电源驱动模组11，其中该影像撷取模组6供撷取一受测瞳孔的不可见光影像资料。

该影像处理模组2与上述各模组电性连接，并于该本体1的后侧面设有一控制钮12。该测距模组7包括深度相机，例如TOF深度相机，用以于上述影像撷取模组6撷取受测瞳孔的不可见光影像资料时，测量该测距模组与受测瞳孔之间的距离而产生一初始距离资讯，并于该受测瞳孔受到该可见光光源模组5发出的可见光刺激后，再次测量其与受测瞳孔之间的距离而产生一刺激距离资讯。此外，该测距模组7于开始进行影像取向直至停止取像期间持续撷取其与受测瞳孔之间的距离资讯。

该影像处理模组2用以执行一深度学习演算法以从该不可见光影像资料中选取一瞳孔轮廓资讯及输出与该瞳孔轮廓资讯相关联的一瞳孔特征参数，其流程如下：

步骤S1：影像撷取模组6取得一受测瞳孔的不可见光影像资料；

步骤S2：该影像处理模组2执行一深度学习演算法以从该不可见光影像资料中选取一瞳孔轮廓资讯及输出与该瞳孔轮廓资讯相关联的一瞳孔特征参数，最后通过一瞳孔尺寸演算法将瞳孔轮廓资讯与测量距离进行计算，以取得空间中的实际瞳孔尺寸；

步骤S3：该显示模组3将影像处理模组2测得的结果显示出来。

实施时，于上述步骤S1中先按下控制钮12使该影像处理模组2开启不可见光光源模组5以发出红外光照射该受测瞳孔，使影像撷取模组6撷取该受测瞳孔响应于红外光时的红外光影像资料，并使该测距模组7测量该测距模组7与受测瞳孔之间的距离并产生一初始距离资讯，进而将此初始距离资讯与瞳孔影像显示于显示模组3中（如图8所示），同时将受测瞳孔的不可见光影像资料及该初始距离资讯传送至影像处理模组2进行处理。

接着，于上述步骤S2中，影像处理模组2执行深度学习演算法计算瞳孔特征参数。该深度学习演算法利用一深度学习模型进行瞳孔特征参数的计算。所述深度学习模型通过先对多个瞳孔影像进行标注，将其放入网路中使用多层的非线性结构进行训练而建立，使深度学习演算法学习如何于不同场域中辨识出瞳孔特征。

于标注上述模型中的瞳孔影像来建立资料集时，将瞳孔的形状设定为椭圆，使用Open CV的函式库将这些瞳孔影像图片以灰阶单通道格式读入（如图4a），先将图片的动态范围进行线性调整，并针将图片中超过255的像素值调整回255使其保持在256阶（如图4b），之后进行滤波器尺寸为3×3的中值滤波（如图4c），然后使用Canny演算法将预处理过的图片转换成轮廓资讯（如图4d），最后依照原始资料集所给的瞳孔中心筛选由Canny演算法所找出的轮廓中心并拟合成椭圆（如图4e）。图4e中的星形为原始资料集中的瞳孔中心，十字形为椭圆中心。

于预处理后，使用椭圆的直接最小平方拟合，拟合成椭圆后计算出标注的椭圆的长轴与短轴像素数量，并以此做为神经网路的输出，以接着进行资料集的训练，训练所用的网路结构为概略如图5所示的卷积神经网路。在图5中，K_{(x, y ,z)}的x、y和z是滤波器的尺寸，滤波器使用的数量固定32个，C_{(m, n, l)}的m、n和l分别是池化层前的卷积层使用次数，D_{(i, j, k)}的i、j和k分别是池化层前的多孔卷积层跨步的距离，于所有的卷积层中(包含多孔卷积)使用ReLU当作激活函数，于最后的完全连接层中则使用线性激活函数激活输出数值，并使用MAE当作的损失函数。

图6为一个网路模型结构实例，此实例中所用的网路参数为K_(3,3,3)C_(1,1,1)D_(3,2,1)。

上述卷积神经网路的运算层包括多孔卷积层、池化层、摊平层、完全连接层及输出层。其中，多孔卷积以不增加参数总量的方式将滤波器的视野放大，避免因部分特征过于相似而造成网路误判情况发生。池化以最大池化方法进行处理，先设定出核心尺寸及滑动的步距，再将特征地图依设定好的方法化分成若干方块，并将该方块中最大的值当作输出并将每个方块的输出值组合成一个新的特征地图当作下取样的结果，执行方式显示于图7中（以2×2步距为2的最大池化为例）。

通过一连串卷积与池化的组合之后，由原始图片所生成的特征地图通常为一个多通道(三维)的形态，因完全连接层需要一维的输入，所以利用摊平层将特征地图做摊平的动作，将其改为一维的数据。通过摊平层摊平的后网路通过完全连接层做最后的特征提取，并将其结果于输出层输出。

于进行完全连接层处理时，可将特征地图中的特征从输入端进入完全连接层的感知器后，在输出前会先经过激活函数将特征激活后再从输出神经元中输出。激活函数通常为非线性的并且模拟了神经元上传递讯号的方式，当超过一个固定的阈值时特征会被激活传递至下一级神经元中，以解决复杂的非线性问题。可用的激活函数如线性函数、单位阶跃函式、逻辑函数、整流线性单位函数(ReLU)等。

该输出层经过隐藏层的运算得到预测值，通过预定义的损失函数缩小预测值与实际标注值的差异，更新隐藏层的参数，借以计算所标注的数据与网路预测出来的数据的差距，并以此为调整隐藏层参数的依据，进而优化网路效能。可用的损失函数有交叉熵、均方误差、平均绝对值误差(MAE)等等。

该影像处理模组2最后通过一瞳孔尺寸演算法将瞳孔轮廓资讯与上述经训练的网路模型进行比对，找出网路模型中对应的瞳孔特征参数，并依据上述初始距离资讯及刺激距离资讯，通过三角函数计算而获得于空间中的实际瞳孔尺寸、瞳孔缩放时间及瞳孔缩放曲线图，并以此输出到该显示模组3显示（步骤3），如图9所示。

应了解上述仅列举可用于深度学习演算法的运算层，而非用以限制本发明可采用的深度学习演算法。本领域技术人员可视需求进行选择和设定运算层组合或排列方式，从而简化神经网路的结构，同时满足瞳孔尺寸的精度需求。

实施时，该显示模组3还包括一指示灯31或一蜂鸣器32，其可设置于本体1后侧面，借以于该显示模组3显示瞳孔特征参数时，发出指示灯号或指示声通知使用人员。

于另一实施例中，该不可见光影像资料为连续影像资料，且该影像处理模组2还用以根据该瞳孔轮廓资讯及该特征参数执行一缩放速度演算法，进而显示瞳孔的缩放速度数值或曲线于显示模组3中。

于另一实施例中，该影像处理模组2为低成本的行动式嵌入***ARM Cortex-A72及2GB RAM所组成，并以30以上的FPS（例如36 FPS）做深度学习演算法的实时运算。

综上所述，本发明所公开的便携型瞳孔测量装置通过深度学习演算法可对瞳孔大小进行标准测量并量化数据，不仅可使临床医护人员快速精准地取得连续时间的瞳孔变化，对于测量尺寸变异与数据不稳定情况可以大幅度改善。

Claims (11)

1.一种便携型瞳孔测量装置，其特征在于，包括：

一本体，其设有一可见光光源模组、一不可见光光源模组及一影像撷取模组，其中该影像撷取模组供撷取一受测瞳孔的不可见光影像资料；

一影像处理模组，电性连接该影像撷取模组，该影像处理模组用以执行一深度学习演算法以从该不可见光影像资料中选取一瞳孔轮廓资讯及输出与该瞳孔轮廓资讯相关联的一瞳孔特征参数；以及

一显示模组，电性连接该影像处理模组，用以显示该瞳孔特征参数。

2.如权利要求1所述的便携型瞳孔测量装置，其特征在于，该深度学习演算法为一卷积神经网路。

3.如权利要求2所述的便携型瞳孔测量装置，其特征在于，该卷积神经网路包括以下运算层：多孔卷积层、池化层、摊平层、完全连接层及输出层，借以通过多孔卷积层及池化层交替处理输入影像找出特征，并利用摊平层及完全连接层处理特征图或特征值后由输出层输出，以产生对应于该不可见光影像资料的瞳孔特征参数。

4.如权利要求3所述的便携型瞳孔测量装置，其特征在于，该卷积神经网路还包括以下运算层：激活函数、输出层、损失函数。

5.如权利要求1所述的便携型瞳孔测量装置，其特征在于，该深度学习演算法分析瞳孔的椭圆长轴及短轴，以得到该瞳孔特征参数。

6.如权利要求1所述的便携型瞳孔测量装置，其特征在于，该不可见光影像资料为连续影像资料，且该影像处理模组还用以根据该瞳孔轮廓资讯及该特征参数执行一瞳孔尺寸演算法。

7.如权利要求1所述的便携型瞳孔测量装置，其特征在于，该不可见光光源模组为一红外线光源模组，而该影像撷取模组为一红外线摄像模组。

8.如权利要求1所述的便携型瞳孔测量装置，其特征在于，还包括一测距模组，用以于上述影像撷取模组撷取受测瞳孔的不可见光影像资料时，测量该测距模组与受测瞳孔之间的距离而产生一初始距离资讯，根据所测得的初始距离资讯搭配上述瞳孔尺寸演算法所计算的数值而取得瞳孔的实际尺寸。

9.如权利要求8所述的便携型瞳孔测量装置，其特征在于，于该受测瞳孔受到该可见光光源模组发出的可见光刺激后，再次测量其与受测瞳孔之间的距离而产生一刺激距离资讯，供该瞳孔尺寸演算法进而调整所计算的瞳孔尺寸。

10.如权利要求8所述的便携型瞳孔测量装置，其特征在于，该测距模组包括深度相机，其中所述深度相机包括TOF深度相机。

11.如权利要求1所述的便携型瞳孔测量装置，其特征在于，该显示模组还包括一指示灯或一蜂鸣器，用以提示该瞳孔特征参数已计算完成。

Images