CN115908464A - 一种舌体图像分割方法及*** - Google Patents
一种舌体图像分割方法及*** Download PDFInfo
- Publication number
- CN115908464A CN115908464A CN202310024884.3A CN202310024884A CN115908464A CN 115908464 A CN115908464 A CN 115908464A CN 202310024884 A CN202310024884 A CN 202310024884A CN 115908464 A CN115908464 A CN 115908464A
- Authority
- CN
- China
- Prior art keywords
- tongue
- image
- module
- segmentation
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 77
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000010276 construction Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 26
- 238000010606 normalization Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种舌体图像分割方法及***，通过获取舌体图像；然后选择第一网络和第二网络，并预设第一预测模块和第二预测模块；并根据第一网络、第二网络、第一预测模块和第二预测模块构建第一舌体图像分割模型；将第一舌体图像分割模型进行多次训练，以获取第二舌体图像分割模型；通过舌体图像和第二舌体图像分割模型，从而获取舌体置信度矩阵图；通过舌体置信度矩阵图分割舌体图像，得到所需要的舌体。本方法通过舌体图像和构建的第二舌体图像分割模型得到的舌体置信度矩阵图来分割舌体图像，可以有效提高分割速度，缩短消耗时长以及提高舌体图像的分割精度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及到一种舌体图像分割方法及***。
背景技术
随着人工智能技术的蓬勃发展以及人们对中医舌诊的关注越来越多，舌像分割又是舌诊中极其重要的一环，出现了许多舌像检测与分割的方法。
目前的舌像分割方法，首先通过一个RCNN检测模型检测出舌像的粗位置，再结合一个传统分割方法，比如sobel边缘检测算子或是一个分割模型进行细分割，其中，使用传统分割方法存在分割精度不高，使用分割模型会增加整个算法计算量，并且分割速度太慢，耗时太长。
因此，提供一种可以有效提高分割精度以及提高分割速度、缩短消耗时长的舌体图像分割方法及***是本领域技术人员亟待解决的问题。
发明内容
本发明的目的在于提供一种舌体图像分割方法及***，该方法可以有效提高分割精度以及提高分割速度、缩短消耗时长。
基于以上目的，本发明提供的技术方案如下：
一种舌体图像分割方法，包括如下步骤：
S1.获取舌体图像；
S2.选择第一网络和第二网络，并预设第一预测模块和第二预测模块；
S3.根据所述舌体图像和所述第一网络、所述第二网络、所述第一预测模块、所述第二预测模块构建第一舌体图像分割模型；
S4.将所述第一舌体图像分割模型进行多次训练，以获取所述第二舌体图像分割模型；
S5.根据所述舌体图像和所述第二舌体图像分割模型，获取舌体置信度矩阵图；
S6.根据所述舌体置信度矩阵图分割所述舌体图像，以获取舌体；
其中，所述第一预测模块为舌体分割模块，用于舌体分割，所述第二预测模块为边缘分割模块，用于边缘分割。
优选地，所述步骤S3，包括：
A1.根据所述第一网络和所述舌体图像，获取多个第一分辨率特征；
A2.根据所述第二网络和多个所述第一分辨率特征，获取多个第二分辨率特征；
A3.堆叠多个所述第二分辨率特征以获取第三分辨率特征；
A4.根据所述第三分辨率特征和所述第一预测模块、所述第二预测模块，获取所述第一舌体图像分割模型。
优选地，所述步骤S4，包括：
B1.建立样本数据集；
B2.将所述样本数据集中每个样本的舌体图像数据和舌体标签数据输入所述第一舌体图像分割模型，以获取目标损失函数；
B3.根据所述目标损失函数调整所述第一网络的预设参数和所述第二网络的预设参数；
B4.根据已调整的所述预设参数对所述第一舌体图像分割模型进行多次训练，以获取所述第二舌体图像分割模型；
其中，所述样本数据集包括所述舌体图像数据和所述舌体标签数据；
所述舌体标签数据包括舌体分割标签数据和舌体边缘标签数据。
优选地，所述步骤B2，包括：
C1.根据所述舌体分割标签数据和所述第一舌体图像分割模型预测的舌体分割标签数据获取舌体分割损失函数；
C2.根据所述舌体边缘标签数据和所述第一舌体图像分割模型预测的舌体边缘分割标签数据获取舌体边缘检测损失函数；
C3.根据所述舌体分割损失函数和所述舌体边缘检测损失函数获取目标损失函数。
优选地，所述步骤C3，包括：
D1.将所述舌体图像输入所述第一舌体图像分割模型以获取舌体图像预测结果；
D2.根据所述目标损失函数获取所述舌体图像预测结果和所述舌体标签数据的损失差值；
D3.根据所述损失差值调整调整所述第一网络的预设参数和所述第二网络的预设参数。
优选地，所述步骤S5，包括：
F1.根据所述第一网络和所述舌体图像数据，获取多个第一分辨率特征；
F2.根据所述第二网络和多个所述第一分辨率特征，获取多个第二分辨率特征；
F3.堆叠多个所述第二分辨率特征以获取第三分辨率特征；
F4.根据所述第三分辨率特征和所述第二舌体图像分割模型，获取舌体置信度矩阵图。
优选地，所述步骤S6，包括：
G1.定义所述舌体置信度矩阵图的值为连续值；
G2.将所述连续值进行二值离散化处理；
G3.根据已处理的所述连续值和预设阈值，以获取所述舌体置信度矩阵图的像素点。
优选地，所述步骤G3，包括：
H1.若所述连续值大于预设阈值，获取所述舌体置信度矩阵图中第一像素点；
H2.若所述连续值小于预设阈值，获取所述舌体置信度矩阵图中第二像素点。
一种舌体图像分割***，其特征在于，包括获取模块、选择模块、构建模块、训练模块、置信度矩阵图模块和分割模块；
所述获取模块，用于获取舌体图像；
所述选择模块，用于选择第一网络和第二网络，并预设第一预测模块和第二预测模块；
所述构建模块，用于根据所述第一网络、所述第二网络、所述第一预测模块和所述第二预测模块构建第一舌体图像分割模型；
所述训练模块，用于将所述第一舌体图像分割模型进行多次训练，以获取所述第二舌体图像分割模型；
所述置信度矩阵图模块，用于根据所述舌体图像和所述第二舌体图像分割模型获取舌体置信度矩阵图；
所述分割模块，用于根据所述舌体置信度矩阵图分割所述舌体图像，以获取舌体；
其中，所述第一预测模块为舌体分割模块，用于舌体分割，所述第二预测模块为边缘分割模块，用于边缘分割。
本发明提供了一种舌体图像分割方法，通过获取舌体图像；然后选择第一网络和第二网络，并预设第一预测模块和第二预测模块；并根据第一网络、第二网络、第一预测模块和第二预测模块构建第一舌体图像分割模型；将第一舌体图像分割模型进行多次训练，以获取第二舌体图像分割模型；通过舌体图像和第二舌体图像分割模型，从而获取舌体置信度矩阵图；通过舌体置信度矩阵图分割舌体图像，得到所需要的舌体。本方法通过舌体图像和构建的第二舌体图像分割模型得到的舌体置信度矩阵图来分割舌体图像，可以有效提高分割速度，缩短消耗时长以及提高舌体图像的分割精度。
本发明还提供了一种舌体图像分割***，由于该***与该舌体图像分割方法解决相同的技术问题，属于相同的技术构思，理应具有相同的有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种舌体图像分割方法的流程图；
图2为本发明实施例提供的步骤S3的流程图；
图3为本发明实施例提供的步骤S4的流程图；
图4为本发明实施例提供的步骤B2的流程图；
图5为本发明实施例提供的步骤C3的流程图；
图6为本发明实施例提供的步骤S5的流程图；
图7为本发明实施例提供的步骤S6的流程图；
图8为本发明实施例提供的舌体图像分割***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种舌体图像分割方法，包括如下步骤：
S1.获取舌体图像；
S2.选择第一网络和第二网络，并预设第一预测模块和第二预测模块；
S3.根据舌体图像和第一网络、第二网络、第一预测模块、第二预测模块构建第一舌体图像分割模型；
S4.将第一舌体图像分割模型进行多次训练，以获取第二舌体图像分割模型；
S5.根据舌体图像和第二舌体图像分割模型，获取舌体置信度矩阵图；
S6.根据舌体置信度矩阵图分割舌体图像，以获取舌体;
其中，所述第一预测模块为舌体分割模块，用于舌体分割，所述第二预测模块为边缘分割模块，用于边缘分割。
步骤S1中，用户通过设备采集患者的舌体图像，并将采集的舌体图像缩放成112*112像素大小尺寸，便于后续使用；
具体的，设备可以是手机、电脑、摄像机等具有拍照功能的电子设备；舌体图像为舌体可见光图像；
步骤S2中，第一网络为轻量级高分辨率网络，轻量级高分辨率网络的网络结构从作为第一级的高分辨率卷积开始，逐渐地逐个添加从高到低分辨率的流作为新的级；其中，多个分辨率流是并行连接的；轻量级高分辨网络主体由一系列阶段组成，在每个阶段，跨分辨率的舌体图像信息被重复地交换；轻量级高分辨率网络的每个块由两个3×3的可分离卷积组成，步长为2；轻量级高分辨网络主体中的每一级包含一个剩余块序列和一个多分辨率融合；
第二网络为多尺度特征金字塔网络，具体的，多尺度特征金字塔网络的网络结构是将不同分辨率特征融合，即每个分辨率的特征图和上采样的低分辨率特征逐点相加，使得不同层次的特征增强；
第一预测模块为舌体分割模块，用于舌体分割；舌体分割模块是由两组卷积层，激活层，归一化层以及一个最大池化层组成；
具体的，卷积层核大小为3x3，卷积层核个数为256个；
需要说明的是，第一组卷积层、激活层、归一化层依次连接，第二组卷积层、激活层、归一化层依旧依次连接，具体的，第二组的归一化层与最大池化层连接；第一组与第二组相连接；
第二预测模块为边缘监督模块，用于边缘分割；边缘监督模块是由一组卷积层、激活层、归一化层以及一个最大池化层组成；
具体的，卷积层核大小为3x3，卷积层核个数为256个；
需要说明的是，卷积层、激活层、归一化层依次连接，最后一个归一化层与最大池化层相连接；
步骤S3中，通过轻量级高分辨率网络、多尺度特征金字塔网络、舌体分割模块和边缘监督模块构建第一舌体图像分割模型；
具体的，构建的第一舌体图像分割模型为初始舌体图像分割模型；
步骤S4中，将第一舌体图像分割模型进行多次训练，以得到最优舌体图像分割模型；
步骤S5中，将缩放后的舌体图像输入步骤S4所构建的第二舌体分割模型进行预测得到舌体置信度矩阵图。
如图2所示，优选地，所述步骤S3，包括：
A1.根据第一网络和舌体图像，获取多个第一分辨率特征；
A2.根据第二网络和多个第一分辨率特征，获取多个第二分辨率特征；
A3.堆叠多个第二分辨率特征以获取第三分辨率特征；
A4.根据第三分辨率特征和第一预测模块、第二预测模块，获取第一舌体图像分割模型。
步骤A1至A4中，将舌像图像经过轻量级高分辨率网络提取4个不同分辨率的特征，分辨率依次是112*112，56*56，28*28，14*14；将4个不同分辨率的特征通过多尺度特征金字塔网络得到4个高维分辨率112*112的特征，再将多尺度特征信息经过堆叠之后得到一个高维度特征，将高维度特征分别传入舌体分割模块和边缘监督模块以得到第一舌体图像分割模型。
如图3所示，优选地，所述步骤S4，包括：
B1.建立样本数据集；
B2.将样本数据集中每个样本的舌体图像数据和舌体标签数据输入第一舌体图像分割模型，以获取目标损失函数；
B3.根据目标损失函数调整第一网络的预设参数和第二网络的预设参数；
B4.根据已调整的预设参数对第一舌体图像分割模型进行多次训练，以获取第二舌体图像分割模型；
其中，样本数据集包括舌体图像数据和舌体标签数据；
舌体标签数据包括舌体分割标签数据和舌体边缘标签数据。
步骤B1中，通过步骤S1获取的舌体图像建立样本数据集并进行缩放；
具体的，样本数据集包括舌体图像数据和舌体标签数据；舌体标签数据包括舌体分割标签数据和舌体边缘标签数据；
步骤B2中，将舌体样本数据集中每个样本的舌体图像数据和舌体标签数据输入所述第一舌体图像分割模型获取目标损失函数；
步骤B3中，通过目标损失函数调整轻量级高分辨率网络的预设参数以及多尺度特征金字塔网络的预设参数，使得第一舌体图像分割模型预测结果更精准；
步骤B4中，通过已调整的轻量级高分辨率网络的预设参数以及多尺度特征金字塔网络的预设参数对第一舌体图像分割模型进行多次训练，以得到最优舌体图像分割模型。
实际应用中，样本数据集有44000张舌体图像标注数据，其中训练集有40000张舌体图像标注数据，验证集有2000张舌体图像标注数据，测试集有2000张舌体图像标注数据；并设训练次数为140，学习率为1e-4。
如图4所示，优选地，所述步骤B2，包括：
C1.根据舌体分割标签数据和第一舌体图像分割模型预测的舌体分割标签数据获取舌体分割损失函数；
C2.根据舌体边缘标签数据和第一舌体图像分割模型预测的舌体边缘分割标签数据获取舌体边缘检测损失函数；
C3.根据舌体分割损失函数和舌体边缘检测损失函数获取目标损失函数。
步骤C1中，通过舌体分割标签数据和第一舌体图像分割模型预测的舌体分割标签数据加权计算得到舌体分割损失函数；
具体的公式为：
，
其中，i表示n个样本舌体图像数据；
步骤C2中，通过舌体边缘标签数据和第一舌体图像分割模型预测的舌体边缘分割标签数据加权计算得到舌体边缘检测损失函数；
具体的公式为：
；
步骤C3中，通过舌体分割损失函数和舌体边缘检测损失函数获取目标损失函数；
具体的公式为：
。
如图5所示，优选地，所述步骤C3，包括：
D1.将舌体图像输入第一舌体图像分割模型以获取舌体图像预测结果；
D2.根据目标损失函数获取舌体图像预测结果和标签数据的损失差值；
D3.根据损失差值调整调整第一网络的预设参数和第二网络的预设参数。
步骤D1至D3中，基于每个样本数据和与每个样本数据对应的分割标签数据及边缘标签数据，通过目标损失函数计算出第一舌体图像分割模型预测结果与舌体标签数据之间的损失并最小化损失，通过最小化损失对轻量级高分辨率网络的预设参数以及多尺度特征金字塔网络的预设参数中的参数进行调整。
如图6所示，优选地，所述步骤S5，包括：
F1.根据第一网络和舌体图像数据，获取多个第一分辨率特征；
F2.根据第二网络和多个第一分辨率特征，获取多个第二分辨率特征；
F3.堆叠多个第二分辨率特征以获取第三分辨率特征；
F4.根据第三分辨率特征和第二舌体图像分割模型，获取舌体置信度矩阵图。
步骤F1至F4中，将舌体图像数据经过轻量级高分辨率网络提取4个不同分辨率的特征，分辨率依次是112*112，56*56，28*28，14*14。将4个不同分辨率的特征通过多尺度特征金字塔网络得到4个高维分辨率112*112的特征，再将多尺度特征信息经过堆叠之后得到一个高维度特征，将高维度特征分别传入舌体分割模块和边缘监督模块，通过分割模块输出舌体置信度矩阵图，通过边缘监督模块输出舌体边缘置信度矩阵图。
如图7所示，优选地，所述步骤S6，包括：
G1.定义舌体置信度矩阵图的值为连续值；
G2.将连续值进行二值离散化处理；
G3.根据已处理的连续值和预设阈值，以获取舌体置信度矩阵图的像素点。
步骤G1至G3中，将舌体置信度矩阵图在的值是在[0,1]之间的连续值，将舌体置信度矩阵图进行二值离散化处理，本实施例中阈值设定为0.7。
优选地，所述步骤F3，包括：
H1.若连续值大于预设阈值，获取舌体置信度矩阵图中第一像素点；
H2.若连续值小于预设阈值，获取舌体置信度矩阵图中第二像素点。
步骤H1至H2中，连续值大于阈值，输出矩阵图中对应像素点为1，代表舌体；连续值小于阈值，输出矩阵图中对应像素点为0代表非舌体。
如图8所示，一种舌体图像分割***，包括获取模块、选择模块、构建模块、训练模块、置信度矩阵图模块和分割模块;
获取模块，用于获取舌体图像；
选择模块，用于选择第一网络和第二网络，并预设第一预测模块和第二预测模块；
构建模块，用于根据第一网络、第二网络、第一预测模块和第二预测模块构建第一舌体图像分割模型；
训练模块，用于将第一舌体图像分割模型进行多次训练，以获取第二舌体图像分割模型；
置信度矩阵图模块，用于根据舌体图像和第二舌体图像分割模型获取舌体置信度矩阵图；
分割模块，用于根据舌体置信度矩阵图分割舌体图像，以获取舌体。
实际运用过程中，舌体图像分割***中，设置有获取模块、选择模块、构建模块、训练模块、置信度矩阵图模块和分割模块；获取模块与选择模块、构建模块和训练模块为并列关系，并与置信度矩阵图模块连接；选择模块与构建模块相连接；构建模块与训练模块相连接；置信度矩阵图模块与分割模块连接；获取模块在获取舌体图像后，将舌体图像发送至置信度矩阵图模块中；选择模块通过选择第一网络和第二网络，并预设第一预测模块和第二预测模块，将选择后的选择第一网络和第二网络，并预设第一预测模块和第二预测模块发送至构建模块中；构建模块将根据第一网络、第二网络、第一预测模块和第二预测模块构建第一舌体图像分割模型，并将第一舌体图像分割模型发送至训练模块；训练模块将第一舌体图像分割模型进行多次训练，以获取第二舌体图像分割模型后，将第二舌体图像分割模型发送至置信度矩阵图模块中；置信度矩阵图模块将通过舌体图像和第二舌体图像分割模型获取舌体置信度矩阵图后，将舌体置信度矩阵图发送至分割模块中；分割模块将通过舌体置信度矩阵图分割舌体图像，以获取舌体。
在本申请所提供的实施例中，应该理解到，所揭露的方法和***，可以通过其它的方式实现。以上所描述的***实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
另外，在本发明各实施例中的各功能模块可以全部集成在一个处理器中，也可以是各模块分别单独作为一个器件，也可以两个或两个以上模块集成在一个器件中；本发明各实施例中的各功能模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成，前述的程序指令可以存储于计算机可读取存储介质中，该程序指令在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
应当理解，本申请中如若使用了“***”、“装置”、“单元”和/或“模块”，仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
本申请中如若使用了流程图，则该流程图是用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
以上对本发明所提供的一种舌体图像分割方法及***进行了详细介绍。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种舌体图像分割方法，其特征在于，包括以下步骤：
S1.获取舌体图像；
S2.选择第一网络和第二网络，并预设第一预测模块和第二预测模块；
S3.根据所述舌体图像和所述第一网络、所述第二网络、所述第一预测模块、所述第二预测模块构建第一舌体图像分割模型；
S4.将所述第一舌体图像分割模型进行多次训练，以获取所述第二舌体图像分割模型；
S5.根据所述舌体图像和所述第二舌体图像分割模型，获取舌体置信度矩阵图；
S6.根据所述舌体置信度矩阵图分割所述舌体图像，以获取舌体；
其中，所述第一预测模块为舌体分割模块，用于舌体分割，所述第二预测模块为边缘分割模块，用于边缘分割。
2.根据根据权利要求1所述的舌体图像分割方法，其特征在于，所述步骤S3，包括：
A1.根据所述第一网络和所述舌体图像，获取多个第一分辨率特征；
A2.根据所述第二网络和多个所述第一分辨率特征，获取多个第二分辨率特征；
A3.堆叠多个所述第二分辨率特征以获取第三分辨率特征；
A4.根据所述第三分辨率特征和所述第一预测模块、所述第二预测模块，获取所述第一舌体图像分割模型。
3.根据权利要求1所述的舌体图像分割方法，其特征在于，所述步骤S4，包括：
B1.建立样本数据集；
B2.将所述样本数据集中每个样本的舌体图像数据和舌体标签数据输入所述第一舌体图像分割模型，以获取目标损失函数；
B3.根据所述目标损失函数调整所述第一网络的预设参数和所述第二网络的预设参数；
B4.根据已调整的所述预设参数对所述第一舌体图像分割模型进行多次训练，以获取所述第二舌体图像分割模型；
其中，所述样本数据集包括所述舌体图像数据和所述舌体标签数据；
所述舌体标签数据包括舌体分割标签数据和舌体边缘标签数据。
4.根据权利要求3所述的舌体图像分割方法，其特征在于，所述步骤B2，包括：
C1.根据所述舌体分割标签数据和所述第一舌体图像分割模型预测的舌体分割标签数据获取舌体分割损失函数；
C2.根据所述舌体边缘标签数据和所述第一舌体图像分割模型预测的舌体边缘分割标签数据获取舌体边缘检测损失函数；
C3.根据所述舌体分割损失函数和所述舌体边缘检测损失函数获取目标损失函数。
5.根据权利要求3所述的舌体图像分割方法，其特征在于，所述步骤C3，包括：
D1.将所述舌体图像输入所述第一舌体图像分割模型以获取舌体图像预测结果；
D2.根据所述目标损失函数获取所述舌体图像预测结果和所述舌体标签数据的损失差值；
D3.根据所述损失差值调整所述第一网络的预设参数和所述第二网络的预设参数。
6.根据权利要求1所述的舌体图像分割方法，其特征在于，所述步骤S5，包括：
F1.根据所述第一网络和所述舌体图像数据，获取多个第一分辨率特征；
F2.根据所述第二网络和多个所述第一分辨率特征，获取多个第二分辨率特征；
F3.堆叠多个所述第二分辨率特征以获取第三分辨率特征；
F4.根据所述第三分辨率特征和所述第二舌体图像分割模型，获取舌体置信度矩阵图。
7.根据权利要求1所述的舌体图像分割方法，其特征在于，所述步骤S6，包括：
G1.定义所述舌体置信度矩阵图的值为连续值；
G2.将所述连续值进行二值离散化处理；
G3.根据已处理的所述连续值和预设阈值，以获取所述舌体置信度矩阵图的像素点。
8.根据权利要求7所述的舌体图像分割方法，其特征在于，所述步骤G3，包括：
H1.若所述连续值大于预设阈值，获取所述舌体置信度矩阵图中第一像素点；
H2.若所述连续值小于预设阈值，获取所述舌体置信度矩阵图中第二像素点。
9.一种舌体图像分割***，其特征在于，包括获取模块、选择模块、构建模块、训练模块、置信度矩阵图模块和分割模块；
所述获取模块，用于获取舌体图像；
所述选择模块，用于选择第一网络和第二网络，并预设第一预测模块和第二预测模块；
所述构建模块，用于根据所述第一网络、所述第二网络、所述第一预测模块和所述第二预测模块构建第一舌体图像分割模型；
所述训练模块，用于将所述第一舌体图像分割模型进行多次训练，以获取所述第二舌体图像分割模型；
所述置信度矩阵图模块，用于根据所述舌体图像和所述第二舌体图像分割模型获取舌体置信度矩阵图；
所述分割模块，用于根据所述舌体置信度矩阵图分割所述舌体图像，以获取舌体；
其中，所述第一预测模块为舌体分割模块，用于舌体分割，所述第二预测模块为边缘分割模块，用于边缘分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310024884.3A CN115908464B (zh) | 2023-01-09 | 2023-01-09 | 一种舌体图像分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310024884.3A CN115908464B (zh) | 2023-01-09 | 2023-01-09 | 一种舌体图像分割方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115908464A true CN115908464A (zh) | 2023-04-04 |
| CN115908464B CN115908464B (zh) | 2023-05-09 |
Family
ID=85730157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310024884.3A Active CN115908464B (zh) | 2023-01-09 | 2023-01-09 | 一种舌体图像分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908464B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140343415A1 (en) * | 2013-05-17 | 2014-11-20 | Wisconsin Alumini Research Foundation | Diagnosis of Swallowing Disorders Using High Resolution Manometry |
| CN110858398A (zh) * | 2018-08-24 | 2020-03-03 | 深圳市前海安测信息技术有限公司 | 基于深度学习的舌体分割装置、方法及存储介质 |
| WO2020108436A1 (zh) * | 2018-11-26 | 2020-06-04 | 深圳市前海安测信息技术有限公司 | 舌面图像分割装置、方法及计算机存储介质 |
| CN111242940A (zh) * | 2020-01-19 | 2020-06-05 | 复旦大学 | 一种基于弱监督学习的舌体图像分割方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112418165A (zh) * | 2020-12-07 | 2021-02-26 | 武汉工程大学 | 基于改进型级联神经网络的小尺寸目标检测方法与装置 |
| CN112489053A (zh) * | 2020-11-26 | 2021-03-12 | 深圳市艾合芯科智慧医疗有限公司 | 一种舌像分割方法、装置及存储介质 |
| CN112585335A (zh) * | 2018-08-21 | 2021-03-30 | 通用电气公司 | 用于涡轮发动机的增材制造的嵌套段组件 |
| CN112651978A (zh) * | 2020-12-16 | 2021-04-13 | 广州医软智能科技有限公司 | 舌下微循环图像分割方法和装置、电子设备、存储介质 |
| CN113487483A (zh) * | 2021-07-05 | 2021-10-08 | 上海商汤智能科技有限公司 | 影像分割网络的训练方法和装置 |
| CN113538480A (zh) * | 2020-12-15 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 图像分割处理方法、装置、计算机设备和存储介质 |
| CN114022494A (zh) * | 2021-11-14 | 2022-02-08 | 北京工业大学 | 一种基于轻型卷积神经网络和知识蒸馏的中医舌图像自动分割方法 |
| CN114187308A (zh) * | 2021-12-16 | 2022-03-15 | 中国人民解放军陆军工程大学 | 基于多尺度池化金字塔的HRNet自蒸馏目标分割方法 |
| CN114333074A (zh) * | 2022-03-14 | 2022-04-12 | 南京邮电大学 | 基于动态轻量高分辨率网络的人体姿态估计方法 |
| CN114581432A (zh) * | 2022-03-18 | 2022-06-03 | 河海大学 | 一种基于深度学习的舌象仪舌象分割方法 |
| CN114627136A (zh) * | 2022-01-28 | 2022-06-14 | 河南科技大学 | 一种基于特征金字塔网络的舌象分割与对齐方法 |
| CN114943740A (zh) * | 2022-05-31 | 2022-08-26 | 南京科技职业学院 | 一种基于深度学习的舌象实时分割方法 |
| CN115082806A (zh) * | 2022-05-30 | 2022-09-20 | 青海大学 | 一种面向中高分辨率卫星遥感影像的地面物体提取方法 |
-
2023
- 2023-01-09 CN CN202310024884.3A patent/CN115908464B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140343415A1 (en) * | 2013-05-17 | 2014-11-20 | Wisconsin Alumini Research Foundation | Diagnosis of Swallowing Disorders Using High Resolution Manometry |
| CN112585335A (zh) * | 2018-08-21 | 2021-03-30 | 通用电气公司 | 用于涡轮发动机的增材制造的嵌套段组件 |
| CN110858398A (zh) * | 2018-08-24 | 2020-03-03 | 深圳市前海安测信息技术有限公司 | 基于深度学习的舌体分割装置、方法及存储介质 |
| WO2020108436A1 (zh) * | 2018-11-26 | 2020-06-04 | 深圳市前海安测信息技术有限公司 | 舌面图像分割装置、方法及计算机存储介质 |
| CN111242940A (zh) * | 2020-01-19 | 2020-06-05 | 复旦大学 | 一种基于弱监督学习的舌体图像分割方法 |
| CN112489053A (zh) * | 2020-11-26 | 2021-03-12 | 深圳市艾合芯科智慧医疗有限公司 | 一种舌像分割方法、装置及存储介质 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
| CN112418165A (zh) * | 2020-12-07 | 2021-02-26 | 武汉工程大学 | 基于改进型级联神经网络的小尺寸目标检测方法与装置 |
| CN113538480A (zh) * | 2020-12-15 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 图像分割处理方法、装置、计算机设备和存储介质 |
| CN112651978A (zh) * | 2020-12-16 | 2021-04-13 | 广州医软智能科技有限公司 | 舌下微循环图像分割方法和装置、电子设备、存储介质 |
| CN113487483A (zh) * | 2021-07-05 | 2021-10-08 | 上海商汤智能科技有限公司 | 影像分割网络的训练方法和装置 |
| CN114022494A (zh) * | 2021-11-14 | 2022-02-08 | 北京工业大学 | 一种基于轻型卷积神经网络和知识蒸馏的中医舌图像自动分割方法 |
| CN114187308A (zh) * | 2021-12-16 | 2022-03-15 | 中国人民解放军陆军工程大学 | 基于多尺度池化金字塔的HRNet自蒸馏目标分割方法 |
| CN114627136A (zh) * | 2022-01-28 | 2022-06-14 | 河南科技大学 | 一种基于特征金字塔网络的舌象分割与对齐方法 |
| CN114333074A (zh) * | 2022-03-14 | 2022-04-12 | 南京邮电大学 | 基于动态轻量高分辨率网络的人体姿态估计方法 |
| CN114581432A (zh) * | 2022-03-18 | 2022-06-03 | 河海大学 | 一种基于深度学习的舌象仪舌象分割方法 |
| CN115082806A (zh) * | 2022-05-30 | 2022-09-20 | 青海大学 | 一种面向中高分辨率卫星遥感影像的地面物体提取方法 |
| CN114943740A (zh) * | 2022-05-31 | 2022-08-26 | 南京科技职业学院 | 一种基于深度学习的舌象实时分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| C. ZHOU ET AL.: "Tonguenet: Accurate Localization and Segmentation for Tongue Images Using Deep Neural Networks", 《 IEEE ACCESS》 * |
| XIAOLAN ZHOU: "An Improved Semantic Segmentation Model for Remote Sensing Images based on HRNet", 《2021 INTERNATIONAL CONFERENCE ON COMPUTER, REMOTE SENSING AND AEROSPACE》 * |
| 刘慧琳 等: "深度学习的舌体分割研究综述", 《计算机科学与探索》 * |
| 马龙祥 等: "基于高分辨率特征的舌象分割算法研究", 《计算机工程》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115908464B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022000426A1 (zh) | 基于孪生深度神经网络的动目标分割方法及*** | |
| Hsu et al. | Adaptive fusion of multi-scale YOLO for pedestrian detection | |
| CN109886225A (zh) | 一种基于深度学习的图像手势动作在线检测与识别方法 | |
| WO2021027070A1 (zh) | 一种基于深度学习的椭圆识别方法 | |
| EP3627379A1 (en) | Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium | |
| WO2024001123A1 (zh) | 基于神经网络模型的图像识别方法、装置及终端设备 | |
| CN111428664A (zh) | 一种基于人工智能深度学习技术的计算机视觉的实时多人姿态估计方法 | |
| CN114359297A (zh) | 基于注意力金字塔的多分辨率语义分割方法及装置 | |
| CN113869282A (zh) | 人脸识别方法、超分模型训练方法及相关设备 | |
| CN111325709A (zh) | 无线胶囊内窥镜图像检测***及检测方法 | |
| CN113989556A (zh) | 一种小样本医学影像分类方法和*** | |
| CN114332942A (zh) | 基于改进YOLOv3的夜间红外行人检测方法及*** | |
| CN113297956A (zh) | 一种基于视觉的手势识别方法及*** | |
| CN111027440A (zh) | 一种基于神经网络的人群异常行为检测装置和检测方法 | |
| CN113393385B (zh) | 基于多尺度融合的无监督去雨方法、***、装置及介质 | |
| CN112686314B (zh) | 基于远距离拍摄场景的目标检测方法、装置及存储介质 | |
| CN112016592B (zh) | 基于交叉领域类别感知的领域适应语义分割方法及装置 | |
| CN112463999A (zh) | 视觉位置识别方法及装置、计算机设备及可读存储介质 | |
| CN115908464A (zh) | 一种舌体图像分割方法及*** | |
| CN112699898B (zh) | 一种基于多层特征融合的图像方向识别方法 | |
| CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN114511702A (zh) | 一种基于多尺度分权注意力的遥感图像分割方法和*** | |
| CN113792807A (zh) | 皮肤病分类模型训练方法、***、介质和电子设备 | |
| CN114155540A (zh) | 基于深度学习的文字识别方法、装置、设备及存储介质 | |
| CN112634239A (zh) | 一种基于深度学习的脑出血检测*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Country or region after: China Address before: Building 14, Phase I, Changsha Zhongdian Software Park, No. 39 Jianshan Road, Changsha High tech Development Zone, Changsha City, Hunan Province, 410205 Patentee before: Wisdom Eye Technology Co.,Ltd. Country or region before: China |