CN117770774A - 一种甲襞微循环图像处理***、方法及电子设备 - Google Patents
一种甲襞微循环图像处理***、方法及电子设备 Download PDFInfo
- Publication number
- CN117770774A CN117770774A CN202311864010.5A CN202311864010A CN117770774A CN 117770774 A CN117770774 A CN 117770774A CN 202311864010 A CN202311864010 A CN 202311864010A CN 117770774 A CN117770774 A CN 117770774A
- Authority
- CN
- China
- Prior art keywords
- image
- blood vessel
- video
- fold
- nail fold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004089 microcirculation Effects 0.000 title claims abstract description 31
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 116
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 210000000265 leukocyte Anatomy 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000025747 Rheumatic disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种甲襞微循环图像处理***、方法及电子设备,包括:外接镜头模块、图像预判断模块以及图像处理模块;所述外接镜头模块用于拍摄甲襞图像并调整放大倍数;所述图像预判断模块,用于向所述外接镜头模块发送拍摄第一甲襞图像的控制指令,所述拍摄第一甲襞图像的控制指令携带有所述第一放大倍数;所述图像处理模块,用于接收所述第三甲襞图像和所述甲襞视频,并对所述第三甲襞图像和所述甲襞视频进行分析。本发明能够实现血管检测的小型化采集,操作更加简便,方便所需人群随时随地进行甲壁检测,通过图像处理模块自动对血管进行标记并检测血管信息,有效第提升了检测效率。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种甲襞微循环图像处理***、方法及电子设备。
背景技术
甲镜检测主要是对指甲处皮肤进行拍摄,然后针对拍摄的甲襞图像获取到指甲处皮肤的血管和白细胞相关信息,从而获取血管宽度等相关参数。现有的医用甲镜检测摄像仪器价格昂贵且操作复杂,若使用移动终端拍摄则可以摆脱医院固定场景的限制。但存在由于移动终端的放大倍数不够,而无法获取到理想的甲襞微循环图像的问题。
发明内容
为解决现有存在的技术问题,本发明实施例提供一种甲襞微循环图像处理***、方法及电子设备。
第一方面,本发明实施例提供了所述外接镜头模块,安装于移动终端且与移动终端的镜头模组连接;
所述外接镜头模块,用于在接收到所述图像预判断模块发一种甲襞微循环图像处理***,包括:外接镜头模块、图像预判断模块以及图像处理模块;
送的拍摄第一甲襞图像的控制指令时,在第一放大倍数下拍摄得到第一甲襞图像,将拍摄到的所述第一甲襞图像发送给所述图像预判断模块;当获取到所述图像预判断模块发送的拍摄第二甲襞图像的控制指令时,在第二放大倍数下,拍摄得到第二甲襞图像,将拍摄到的所述第二甲襞图像发送给所述图像预判断模块;当获取到所述图像预判断模块发送的拍摄第三甲襞图像和甲襞视频的控制指令时,在第三放大倍数下,拍摄所述第三甲襞图像和所述甲襞视频,并将拍摄到的所述第三甲襞图像和所述甲襞视频发送给所述图像处理模块;其中,所述第二放大倍数大于所述第一放大倍数,所述第三放大倍数大于所述第二放大倍数;
所述图像预判断模块,用于向所述外接镜头模块发送拍摄第一甲襞图像的控制指令,所述拍摄第一甲襞图像的控制指令携带有所述第一放大倍数;
接收所述外接镜头模块发送的第一甲襞图像,利用训练得到的卷积神经网络模型对所述第一甲襞图像进行分类,当得到的分类结果指示所述第一甲襞图像具有血管时,向所述外接镜头模块发送拍摄第二甲襞图像的控制指令,所述拍摄第二甲襞图像的控制指令携带有所述第二放大倍数;
接收所述外接镜头模块发送的第二甲襞图像,利用训练得到的卷积神经网络模型对所述第二甲襞图像进行分类,当得到的分类结果指示所述第二甲襞图像为正常状态时,向所述外接镜头模块发送拍摄第三甲襞图像和甲襞视频的控制指令,所述拍摄第三甲襞图像和甲襞视频的控制指令携带有所述第三放大倍数;
所述图像处理模块,用于接收所述第三甲襞图像和所述甲襞视频,并对所述第三甲襞图像和所述甲襞视频进行分析。
第二方面,本发明实施例还提供了一种甲襞微循环图像处理方法,应用于所述甲壁微循环图像处理***,所述方法包括:
接收所述第三甲襞图像和所述甲襞视频;
对所述第三甲襞图像和所述甲襞视频进行分析。
第三方面,本发明实施例提供了一种电子设备,包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述收发器、所述存储器和所述处理器通过所述总线相连,所述计算机程序被所述处理器执行时实现上述第二方面任意一项所述的甲襞微循环图像处理方法中的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第二方面任意一项所述的甲襞微循环图像处理方法中的步骤。
本申请上述第一方面至第四方面提供的方案中,通过图像预判断模块向外接镜头模块发送控制指令,外接镜头模块根据控制指令先拍摄第一甲壁图像,若第一甲壁图像中无血管,调整外接镜头模块位置并拍摄第二甲壁图像,第二甲壁图像中存在血管时,再调整放大倍数进行第三次甲壁图像拍摄和甲壁视频拍摄,通过图像处理模块对第三甲壁图像和甲壁视频进行分析得到血管及白细胞的相关信息;与相关技术中只能通过医院大型甲镜检测仪器才可拍摄到甲壁图像相比,能够利用外接有镜头模块的移动终端实现血管检测,检测时不受时间和空间场地的限制,操作简便;同时,通过图像处理模块自动对血管进行标记并检测血管信息,有效的提升了检测效率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1示出了本发明实施例所提供的甲襞微循环图像处理***的各模块连接示意图;
图2示出了本发明实施例所提供的外接镜头模块中的旋转电机与多个摄像头安装关系示意图;
图3示出了本发明实施例所提供的甲襞微循环图像处理方法的流程示意图;
图4示出了本发明实施例所提供的甲襞微循环图像处理方法的电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。为了使本技术领域的技术人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
甲镜检测是对甲壁微循环图像的分析,甲镜检测是非侵入式微循环检测的主要方法之一,甲镜检测广泛应用于风湿性疾病、糖尿病和心血管疾病的诊断。目前若想要进行甲镜检测则只能通过医院专用的甲镜检测仪器实现。专业的甲镜检测仪器存在价格较为昂贵、功能较为有限、操作较为复杂等现象。同时甲镜检测仪器对甲壁图像的处理方式仍未医护人员手工标注,在标注的过程中不仅耗时耗力,还会导致检测效率低下。
因此,为了解决上述问题,本发明提出基于移动终端的甲壁微循环图像处理***,实现甲镜检测无需局限于医疗场所,可随时随地进行快速的甲镜检测,且操作简单。
本发明实施例提出的甲壁微循环图像处理***的执行主体是移动终端。
在一个实施方式中,移动终端包括但不限于:手机和平板电脑。
实施例1
本发明实施例提供了一种甲壁微循环图像处理***,参见图1所示的甲襞微循环图像处理***的各模块连接示意图,该***包括:外接镜头模块100、图像预判断模块101以及图像处理模块102。
所述外接镜头模块,安装于移动终端且与移动终端的镜头模组连接。
外接镜头模块100,用于在接收到所述图像预判断模块发送的拍摄第一甲襞图像的控制指令时,在第一放大倍数下拍摄得到第一甲襞图像,将拍摄到的所述第一甲襞图像发送给所述图像预判断模块;当获取到所述图像预判断模块发送的拍摄第二甲襞图像的控制指令时,在第二放大倍数下,拍摄得到第二甲襞图像,将拍摄到的所述第二甲襞图像发送给所述图像预判断模块;当获取到所述图像预判断模块发送的拍摄第三甲襞图像和甲襞视频的控制指令时,在第三放大倍数下,拍摄所述第三甲襞图像和所述甲襞视频,并将拍摄到的所述第三甲襞图像和所述甲襞视频发送给所述图像处理模块;其中,所述第二放大倍数大于所述第一放大倍数,所述第三放大倍数大于所述第二放大倍数。
具体地,参见图2所示的外接镜头模块中的旋转电机与多个摄像头安装关系示意图,外接镜头模块无法独立存在,需安装在移动终端上进行使用。外接镜头模块包括摄像镜头、单片机、旋转电机和环形光圈,其中摄像头数量为多个且含有不同放大倍数,单片机通过数据线与手机接口连接,并调节环形光圈的亮度;优选地,摄像镜头的倍数可以为20倍、50倍和200倍。多个摄像头通过杜邦线与旋转电机连接,可实现多个摄像头的切换。环形光圈通过杜邦线与旋转电机连接,移动终端可以通过控制输出的电压控制环形光圈光照强度的变化。
在一个实施方式中,外接镜头模块总共进行了三次甲壁图像拍摄,在首次拍摄时只能使用第一放大倍数的摄像头进行测试拍摄,查看拍摄的位置是否存在血管,若首次拍摄的图像无血管则移动位置进行第二放大倍数拍摄,当第二次拍摄到血管后切换摄像头的放大倍数,将第二次拍摄到图像进行分类,若为合格图像则进行第三放大倍数拍摄并进一步切换放大倍数,若为不合格图像则根据不合格类型进行外接镜头模块的调整。特别地,图像分类包括:图像清楚和图像不清楚,其中图像不清楚又包括图像模糊、图像过亮和图像过暗。针对图像模糊可以调整移动终端的摄像头焦距,若图像过亮或过暗则可以减小或增大环形光圈的光强进行调整。特别地,拍摄上述第一甲壁图像使用的摄像头涉及的第一放大倍数为20,拍摄上述第二甲壁图像使用的摄像头涉及的第二放大倍数为50,拍摄上述第三甲壁图像使用的摄像头涉及的第三放大倍数为200。需注意,在进行摄像头切换时需逐级递增,若拍摄第一甲壁图像时使用200倍的摄像头,会错过血管区域的查寻,无法逐步调整图像中心焦点区域,使得在放大的过程中血管区域易丢失。
图像预判断模块101,用于向所述外接镜头模块发送拍摄第一甲襞图像的控制指令,所述拍摄第一甲襞图像的控制指令携带有所述第一放大倍数;接收所述外接镜头模块发送的第一甲襞图像,利用训练得到的卷积神经网络模型对所述第一甲襞图像进行分类,当得到的分类结果指示所述第一甲襞图像具有血管时,向所述外接镜头模块发送拍摄第二甲襞图像的控制指令,所述拍摄第二甲襞图像的控制指令携带有所述第二放大倍数,特别地,当得到的分类结果指示所述第一甲壁图像中不具有血管时,通过移动终端向用户提示信息移动外界镜头模块。其中,上述提示信息可以是语音播报或屏幕文字显示等,利用移动终端进行语音播报和屏幕文字显示属于本领域公知常识,因此不再详细阐述其原理;
图像预判断模块101接收所述外接镜头模块发送的第二甲襞图像,利用训练得到的卷积神经网络模型对所述第二甲襞图像进行分类,当得到的分类结果指示所述第二甲襞图像为正常状态时,向所述外接镜头模块发送拍摄第三甲襞图像和甲襞视频的控制指令。反之,第二甲壁图像为不正常状态时,外接镜头模块不会接受到拍摄第三甲壁图像和甲壁视频的控制指令。其中,第二甲壁图像为不正常状态是指:图像模糊、清晰度较差、图像过明或过暗等。
具体地,图像预判断模块可以对外接镜头模块拍摄的图像进行分类识别,当识别结果为模糊、过亮或过暗图像时向外接镜头模块中的单片机发送控制指令,控制环形光圈增大或减小光强。特别地,识别图像的曝光强度和清晰度属于现有技术,此处不再作详细阐述。
图像处理模块102,用于接收所述第三甲襞图像和所述甲襞视频,并对所述第三甲襞图像和所述甲襞视频进行分析。
具体地,图像处理模块可以存储在移动终端内,或存储在云端服务器中。图像处理模块对合格图像(即上述第三甲壁图像和甲壁视频)进行分析时,图像处理模块执行以下步骤(1)至(9):
(1)、对所述第三甲襞图像进行预处理,将所述第三甲襞图像转换为特征图;
在上述步骤(1)中,第三甲壁图像转化为特征图,执行以下子步骤A1-子步骤A2:
A1、先将所述第三甲襞图像发送到所述图像预判断模块进行分类;
A2、当接收到的所述图像预判断模块返回的分类结果指示所述第三甲襞图像为正常状态时,基于基础图像模版,对所述第三甲襞图像的光强颜色做亮度矩阵和色度矩阵变换,得到所述特征图。
特别地,上述步骤A2中的基础图像模版为人为预先设置,可以预先对任一图像的清晰度、亮度和色度等按需求进行调整,并将调整后的图像当做基础图像模版预存在移动终端中或云端服务器中。
(2)、将所述特征图划分为多个区域,并提取多个区域中各区域的特征向量;
在上述步骤(2)中,特征向量是指各区域中所含有的血管特征。
具体地:将特征图恢复至原始分辨率,利用卷积神经网络模型并通过上采样和下采样对血管特征进行提取,提取后输出和基础图像模版同等大小的二值分割图,基于二值分割图可以统计图中选框的数量来确定血管的密度。特别地,将图片分辨率进行恢复为现有技术,在此不再重复阐述其原理。
(3)、利用神经网络分类算法对所述特征向量进行分类,确定所述特征向量所在的区域,并从各所述区域中,选择具有所述特征向量的区域为待选区域;特别地,对特征向量进行分类也可以选用其他算法,包括但不限于决策树算法、支持向量机算法或随机森林算法。因此,不可将本实施例中的算法理解为只有神经网络分类算法才可以对特征向量进行分类。
(4)、提取所述待选区域中的血管图像,通过轮廓提取法对所述待选区域进行处理,确定血管图像中血管的长度;
(5)、选取血管图像中位于边缘区域的特征点作为血管关键点,通过计算血管壁的法线方向的两个血管关键点之间的间距得到血管直径;
在上述步骤(5)中,血管关键点的选取是指顶端的上下左右关键点和血管之间的交叉点,关键点可以通过标注和卷积神经网络模型训练得到。
(6)、对所述甲襞视频中的每帧视频图像进行读取,并同步获取所述每帧视频图像中含有的白细胞的位置信息;
在上述步骤(6)中,白细胞的位置信息是指白细胞在每帧视频图像中所在的位置。特别地,白细胞在血管图中较为明显,通过简单的颜色阈值划分方法即根据RGB颜色的范围区分出血管中的白细胞,颜色阈值划分方法查询白细胞的具体过程为现有技术,在此不再重复阐述。
(7)、利用图像处理获取所述每帧视频图像中的血管分割图,计算血管分割图中血管的切向场信息和距离场信息;
在上述步骤(7)中,切向场信息表示血管方向的变化,距离场信息表示血管到关键点之间的距离。特别地,切向场信息和距离场信息的计算属于现有技术,因此其详细计算过程不再重复阐述。
进一步地,在得到切向场信息后,可以对所述切向场信息进行优化,排除不良连接,得到优化后的切向场信息。
(8)、利用所述白细胞中的位置信息和距离场信息,确定所述白细胞之间的间距以及血管内所述白细胞的流速信息;
在上述步骤(8)中,利用白细胞的位置信息和距离场信息确定白细胞之间的间距和白细胞的流速的过程属于现有过程,其详细计算过程不再重复阐述。
(9)、将所述白细胞之间的间距、所述位置信息、所述切向场信息和所述白细胞的流速信息作为可视化结果输出。
进一步地,图像处理模块对合格图像(第三甲壁图像和甲壁视频)进行分析时,图像处理模块还可以执行以下步骤B1至B2:
B1、对所述甲襞视频中的每帧视频图像进行关键点检测,得到视频帧图像的关键点,并利用所述视频帧图像的关键点与特征图进行初步对齐;
在上述步骤B1中,关键点与特征图的初步对齐是通过特征图关键点位置与视频帧图像中关键点位置进行矩阵除法,得到仿射变换矩阵,实现初步对齐。
B2、利用血管区域分割算法从所述视频帧图像中提取血管图像,对提取出的所述血管图像使用相位相关法对齐,并返回执行上述步骤(6)。
在上述步骤B2中,提取出的血管图像使用相位相关法对齐的对象,可以是视频帧中的第一帧图像并将第一帧图像当做基准,将剩余的视频帧图像中的血管图像与第一帧图像中的血管图像进行对齐。两幅图像之间的位置差表示两幅图像在水平和垂直方向的像素偏移量,利用剩余的视频帧图像中的血管图像与第一帧图像中的血管图像的位置差将剩余的视频帧图像中的血管图像与第一帧图像中的血管图像进行对齐。特别地,可以利用傅里叶变换分别求出第一帧图像和剩余帧图像的傅里叶频谱并相乘,得到交叉功率谱,交叉功率谱逆傅里叶变换得到交叉相关函数。其中,交叉相关函数的峰值表示第一帧图像和任一剩余帧图像中血管图像的偏移位置,偏移位置即为第一帧图像和任一剩余帧图像中血管图像的位置差,该位置差是指第一帧图像与剩余帧图像在水平和垂直方向上的像素偏移量。
综上所述,本实施例提供一种甲壁微循环图像处理***,通过图像预判断模块向外接镜头模块发送控制指令,外接镜头模块根据控制指令先拍摄第一甲壁图像,若第一甲壁图像中无血管,调整外接镜头模块位置并拍摄第二甲壁图像,第二甲壁图像中存在血管时,再调整放大倍数进行第三次甲壁图像拍摄和甲壁视频拍摄,通过图像处理模块对第三甲壁图像和甲壁视频进行分析得到血管及白细胞的相关信息;能够利用外接有镜头模块的移动终端实现血管检测,检测时不受时间和空间场地的限制,操作简便;同时,通过图像处理模块自动对血管进行标记并检测血管信息,有效的提升了检测效率。
实施例2
本发明实施例还提供了一种甲襞微循环图像处理方法,应用于实施例1的甲襞微循环图像处理***,参见图3所示的甲襞微循环图像处理方法的流程示意图,该方法包括:
步骤200:接收所述第三甲襞图像和所述甲襞视频;
步骤201:对所述第三甲襞图像和所述甲襞视频进行分析。
进一步地,所述步骤204,包括:
S1:对所述第三甲襞图像进行预处理,将所述第三甲襞图像转换为特征图;
S2:将所述特征图划分为多个区域,并提取多个区域中各区域的特征向量;
S3:利用神经网络分类算法对所述特征向量进行分类,确定所述特征向量所在的区域,并从各所述区域中,选择具有所述特征向量的区域为待选区域;
S4:提取所述待选区域中的血管图像,通过轮廓提取法对所述待选区域进行处理,确定血管图像中血管的长度;
S5:选取血管图像中位于边缘区域的特征点作为关键点,通过计算同一水平线上的两个所述关键点之间的距离得到血管直径;
S6:对所述甲襞视频中的每帧视频图像进行读取,并同步获取所述每帧视频图像中含有的白细胞的信息;
S7:利用图像处理获取所述每帧视频图像中的血管分割图,计算血管分割图中血管的切向场信息和距离场信息;
S8:对所述切向场信息进行优化,排除不良连接;
S9:利用所述白细胞中的位置信息和距离场信息,确定所述白细胞之间的间距以及血管内所述白细胞的流速信息;
S10:将所述白细胞之间的间距、所述位置信息、所述切向场信息和所述白细胞的流速信息作为可视化结果输出。
再进一步地,所述步骤204,还包括:
对所述甲襞视频中的每帧视频图像进行关键点检测,得到视频帧图像的关键点,并利用所述视频帧图像的关键点与特征图进行初步对齐;
利用血管区域分割算法从所述视频帧图像中提取血管图像,对提取出的所述血管图像使用相位相关法对齐,即通过计算两幅图像的傅里叶交叉能量谱得到两幅图像的位置差,对图像进行二次对准。
更进一步地,所述步骤S1,包括:
将所述第三甲襞图像发送到所述图像预判断模块进行分类;
当接收到的所述图像预判断模块返回的分类结果指示所述第三甲襞图像为正常状态时,基于基础图像模版,对所述第三甲襞图像的光强颜色做亮度矩阵和色度矩阵变换,得到所述特征图。
综上所述,本实施例提供一种甲壁微循环图像处理方法,通过图像预判断模块向外接镜头模块发送控制指令,外接镜头模块根据控制指令先拍摄第一甲壁图像,若第一甲壁图像中无血管,调整外接镜头模块位置并拍摄第二甲壁图像,第二甲壁图像中存在血管时,再调整放大倍数进行第三次甲壁图像拍摄和甲壁视频拍摄,通过图像处理模块对第三甲壁图像和甲壁视频进行分析得到血管及白细胞的相关信息;能够利用外接有镜头模块的移动终端实现血管检测,检测时不受时间和空间场地的限制,操作简便;同时,通过图像处理模块自动对血管进行标记并检测血管信息,有效的提升了检测效率。
实施例3
本实施例提出一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例2描述的甲襞微循环图像处理方法的步骤。具体实现可参见方法实施例2,在此不再赘述。
此外,参见图4所示的一种电子设备的结构示意图,本实施例还提出一种电子设备,上述电子设备包括总线300、处理器301、收发器302、总线接口303、存储器304和用户接口305。上述电子设备包括有存储器304。
本实施例中,上述电子设备还包括:存储在存储器304上并可在处理器301上运行的一个或者一个以上的程序,经配置以由上述处理器执行上述一个或者一个以上程序用于进行以下步骤(1)至步骤(5):
(1)将所述外接镜头模块与所述移动终端的镜头模组连接;启动所述图像预判断模块并发送拍摄第一甲襞图像的控制指令,所述第一甲襞图像的控制指令中携带有第一放大倍数;所述外接镜头模块在第一放大倍数下拍摄得到第一甲襞图像,将拍摄到的所述第一甲襞图像发送给所述图像预判断模块;
(2)再次利用所述图像预判断模块发送拍摄第二甲襞图像的控制指令,所述第二甲襞图像的控制指令携带有第二方法倍数,在第二放大倍数下,拍摄得到第二甲襞图像,将拍摄到的所述第二甲襞图像发送给所述图像预判断模块;当获取到所述图像预判断模块发送的拍摄第三甲襞图像和甲襞视频的控制指令时,拍摄所述第三甲襞图像和所述甲襞视频,并将拍摄到的所述第三甲襞图像和所述甲襞视频发送给所述图像处理模块;其中,所述第二放大倍数大于所述第一放大倍数;
(3)接收所述外接镜头模块发送的第一甲襞图像,利用训练得到的卷积神经网络模型对所述第一甲襞图像进行分类,当得到的分类结果指示所述第一甲襞图像具有血管时,向所述外接镜头模块发送拍摄第二甲襞图像的控制指令,所述拍摄第二甲襞图像的控制指令携带有所述第二放大倍数;
(4)接收所述外接镜头模块发送的第二甲襞图像,利用训练得到的卷积神经网络模型对所述第二甲襞图像进行分类,当得到的分类结果指示所述第二甲襞图像为正常状态时,向所述外接镜头模块发送拍摄第三甲襞图像和甲襞视频的控制指令;
(5)启动所述图像处理模块并接收所述第三甲襞图像和所述甲襞视频,并对所述第三甲襞图像和所述甲襞视频进行分析。
收发器302,用于在处理器301的控制下接收和发送数据。
其中,总线架构(用总线300来代表),总线300可以包括任意数量的互联的总线和桥,总线300将包括由处理器301代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本实施例不再对其进行进一步描述。总线接口303在总线300和收发器302之间提供接口。收发器302可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。例如:收发器302从其他设备接收外部数据。收发器302用于将处理器301处理后的数据发送给其他设备。取决于计算***的性质,还可以提供用户接口305,例如小键盘、显示器、扬声器、麦克风、操纵杆。
处理器301负责管理总线300和通常的处理,如前述上述运行通用操作***3041。而存储器304可以被用于存储处理器301在执行操作时所使用的数据。
可选的,处理器301可以是但不限于:中央处理器、单片机、微处理器或者可编程逻辑器件。
可以理解,本申请实施例中的存储器304可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本实施例描述的***和方法的存储器304旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器304存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:操作***3041和应用程序3042。
其中,操作***3041,包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序3042,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本申请实施例方法的程序可以包含在应用程序3042中。
以上所述,仅为本发明实施例的具体实施方式,但本发明实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明实施例的保护范围之内。因此,本发明实施例的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种甲襞微循环图像处理***,其特征在于,包括:外接镜头模块、图像预判断模块以及图像处理模块;
所述外接镜头模块,安装于移动终端且与所述移动终端的镜头模组连接;
所述外接镜头模块,用于在接收到所述图像预判断模块发送的拍摄第一甲襞图像的控制指令时,在第一放大倍数下拍摄得到第一甲襞图像,将拍摄到的所述第一甲襞图像发送给所述图像预判断模块;当获取到所述图像预判断模块发送的拍摄第二甲襞图像的控制指令时,在第二放大倍数下,拍摄得到第二甲襞图像,将拍摄到的所述第二甲襞图像发送给所述图像预判断模块;当获取到所述图像预判断模块发送的拍摄第三甲襞图像和甲襞视频的控制指令时,在第三放大倍数下,拍摄所述第三甲襞图像和所述甲襞视频,并将拍摄到的所述第三甲襞图像和所述甲襞视频发送给所述图像处理模块;其中,所述第二放大倍数大于所述第一放大倍数,所述第三放大倍数大于所述第二放大倍数;
所述图像预判断模块,用于向所述外接镜头模块发送拍摄第一甲襞图像的控制指令,所述拍摄第一甲襞图像的控制指令携带有所述第一放大倍数;
接收所述外接镜头模块发送的第一甲襞图像,利用训练得到的卷积神经网络模型对所述第一甲襞图像进行分类:
当得到的分类结果指示所述第一甲襞图像具有血管时,向所述外接镜头模块发送拍摄第二甲襞图像的控制指令,所述拍摄第二甲襞图像的控制指令携带有所述第二放大倍数;
接收所述外接镜头模块发送的第二甲襞图像,利用训练得到的卷积神经网络模型对所述第二甲襞图像进行分类,当得到的分类结果指示所述第二甲襞图像为正常状态时,向所述外接镜头模块发送拍摄第三甲襞图像和甲襞视频的控制指令,所述拍摄第三甲襞图像和甲襞视频的控制指令携带有所述第三放大倍数;
所述图像处理模块,用于接收所述第三甲襞图像和所述甲襞视频,并对所述第三甲襞图像和所述甲襞视频进行分析。
2.根据权利要求1所述的***,其特征在于,所述图像处理模块,用于对所述第三甲襞图像和所述甲襞视频进行分析,包括:
对所述第三甲襞图像进行预处理,将所述第三甲襞图像转换为特征图;
将所述特征图划分为多个区域,并提取多个区域中各区域的特征向量;
利用神经网络分类算法对所述特征向量进行分类,确定所述特征向量所在的区域,并从各所述区域中,选择具有所述特征向量的区域为待选区域;
提取所述待选区域中的血管图像,通过轮廓提取法对所述待选区域进行处理,确定血管图像中血管的长度;
选取血管图像中的血管关键点,通过计算血管壁的法线方向上两个血管关键点之间的间距得到血管直径;
利用图像处理法获取所述甲壁视频中每帧视频图像的血管分割图,计算所述血管分割图中血管的切向场信息和距离场信息。
3.根据权利要求2所述的***,其特征在于,所述图像处理模块,用于对所述第三甲襞图像和所述甲襞视频进行分析,还包括:
对所述甲襞视频中的每帧视频图像进行关键点检测,得到视频帧图像的关键点,并利用所述特征图得到的血管关键点对所述视频帧图像中的关键点进行初步对齐;
利用血管区域分割算法从所述视频帧图像中提取血管图像,对提取出的所述血管图像使用相位相关法对齐;
将对齐后的所述血管图像利用颜色阈值划分法确定所述白细胞的位置信息及所述白细胞的流速信息;
将所述白细胞的位置信息、所述白细胞的流速信息、所述血管切向场信息、所述血管距离场信息、所述血管的长度和所述血管直径作可视化结果输出。
4.根据权利要求2所述的***,其特征在于,所述图像处理模块,用于对所述第三甲襞图像进行预处理,将所述第三甲襞图像转换为特征图,包括:
将所述第三甲襞图像发送到所述图像预判断模块进行分类;
当接收到的所述图像预判断模块返回的分类结果指示所述第三甲襞图像为正常状态时,基于基础图像模版,对所述第三甲襞图像的光强颜色做亮度矩阵和色度矩阵变换,得到所述特征图。
5.一种甲襞微循环图像处理方法,用于实现权利要求1-4任一项所述甲襞微循环图像处理***中图像处理模块的功能,其特征在于,所述方法包括:
接收所述第三甲襞图像和所述甲襞视频;
对所述第三甲襞图像和所述甲襞视频进行分析。
6.根据权利要求5所述的方法,其特征在于,所述对所述第三甲襞图像和所述甲襞视频进行分析,包括:
对所述第三甲襞图像进行预处理,将所述第三甲襞图像转换为特征图;
将所述特征图划分为多个区域,并提取多个区域中各区域的特征向量;
利用神经网络分类算法对所述特征向量进行分类,确定所述特征向量所在的区域,并从各所述区域中,选择具有所述特征向量的区域为待选区域;
提取所述待选区域中的血管图像,通过轮廓提取法对所述待选区域进行处理,确定血管图像中血管的长度;
选取血管图像中的血管关键点,通过计算血管壁的法线方向上两个血管关键点之间的间距得到血管直径;
利用图像处理法获取所述甲壁视频中每帧视频图像的血管分割图,计算所述血管分割图中血管的切向场信息和距离场信息。
7.根据权利要求5所述的方法,其特征在于,所述对所述第三甲襞图像和所述甲襞视频进行分析,还包括:
对所述甲襞视频中的每帧视频图像进行关键点检测,得到视频帧图像的关键点,并利用特征图得到的血管关键点对所述视频帧图像中的关键点进行初步对齐;
利用血管区域分割算法从所述视频帧图像中提取血管图像,对提取出的所述血管图像使用相位相关法对齐;
将对齐后的所述血管图像利用颜色阈值划分法确定所述白细胞的位置信息及所述白细胞的流速信息;
将所述白细胞的位置信息、所述白细胞的流速信息、所述血管切向场信息、所述血管距离场信息、所述血管的长度和所述血管直径作可视化结果输出。
8.根据权利要求6所述的方法,其特征在于,所述对所述第三甲襞图像进行预处理,将所述第三甲襞图像转换为特征图,包括:
将所述第三甲襞图像发送到所述图像预判断模块进行分类;
当接收到的所述图像预判断模块返回的分类结果指示所述第三甲襞图像为正常状态时,基于基础图像模版,对所述第三甲襞图像的光强颜色做亮度矩阵和色度矩阵变换,得到所述特征图。
9.一种电子设备,包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述收发器、所述存储器和所述处理器通过所述总线相连,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求5至8中任一项所述的甲襞微循环监测方法中的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求5至8中任一项所述的甲襞微循环监测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311864010.5A CN117770774A (zh) | 2023-12-29 | 2023-12-29 | 一种甲襞微循环图像处理***、方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311864010.5A CN117770774A (zh) | 2023-12-29 | 2023-12-29 | 一种甲襞微循环图像处理***、方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117770774A true CN117770774A (zh) | 2024-03-29 |
Family
ID=90394544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311864010.5A Pending CN117770774A (zh) | 2023-12-29 | 2023-12-29 | 一种甲襞微循环图像处理***、方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117770774A (zh) |
-
2023
- 2023-12-29 CN CN202311864010.5A patent/CN117770774A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7140580B2 (ja) | ステレオ撮像装置 | |
WO2020192483A1 (zh) | 图像显示方法和设备 | |
US9104914B1 (en) | Object detection with false positive filtering | |
CN108229277B (zh) | 手势识别、手势控制及多层神经网络训练方法、装置及电子设备 | |
WO2020078229A1 (zh) | 目标对象的识别方法和装置、存储介质、电子装置 | |
WO2020207423A1 (zh) | 肤质检测方法、肤质等级分类方法及肤质检测装置 | |
CN111027504A (zh) | 人脸关键点检测方法、装置、设备及存储介质 | |
CN109844804B (zh) | 一种图像检测的方法、装置及终端 | |
CN111915483B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
US20160063316A1 (en) | Methods and systems for increasing facial recognition working rang through adaptive super-resolution | |
CN101983507A (zh) | 自动红眼检测 | |
CN111160202A (zh) | 基于ar设备的身份核验方法、装置、设备及存储介质 | |
CN110855957B (zh) | 图像处理方法及装置、存储介质和电子设备 | |
CN112651358A (zh) | 一种目标检测方法、装置、网络摄像机及存储介质 | |
CN110674729A (zh) | 基于热能估算的人数识别方法、计算机装置及计算机可读存储介质 | |
CN110929615B (zh) | 图像处理方法、图像处理装置、存储介质与终端设备 | |
CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
CN112036277A (zh) | 一种人脸识别方法、电子设备以及计算机可读存储介质 | |
CN116843690A (zh) | 图像质量评估方法、设备及*** | |
JP3980464B2 (ja) | 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置 | |
CN117770774A (zh) | 一种甲襞微循环图像处理***、方法及电子设备 | |
CN111353361A (zh) | 一种人脸识别方法及装置、电子设备 | |
KR102194511B1 (ko) | 대표 영상프레임 결정시스템 및 이를 이용한 방법 | |
KR20220128192A (ko) | 합성 영상을 활용한 객체 검출장치 및 그 방법 | |
CN114332993A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |