CN111260619A - 基于U-net模型的舌体自动分割方法 - Google Patents
基于U-net模型的舌体自动分割方法 Download PDFInfo
- Publication number
- CN111260619A CN111260619A CN202010034495.5A CN202010034495A CN111260619A CN 111260619 A CN111260619 A CN 111260619A CN 202010034495 A CN202010034495 A CN 202010034495A CN 111260619 A CN111260619 A CN 111260619A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- model
- pixel
- tongue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000694 effects Effects 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 230000008676 import Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 239000003814 drug Substances 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于U‑net模型的舌体自动分割方法:包括以下步骤:步骤1、舌像图像手动分割单元利用LabelMe软件对原图像进行手动分割,输出手动分割图像到数据输入单元,步骤2、图像预处理单元导入并预处理原图像和手动分割图像后,输出至模型分割单元进行自动分割训练,观察分割结果及其计算效果评价指标,并进行模型优化。步骤3、重复步骤2,观察分割结果及其计算效果评价指标并将其与步骤2所得数据结果进行比较分析。本发明建立了基于U‑net的舌体自动分割方法模型,有效提高了分割的效率与精度,避免了手动分割的误差以及效率低的劣势,节约了舌像图像的存储空间。
Description
技术领域
本发明涉及一种医学图像处理和图像智能管理领域,具体涉及一种基于U-net模型的舌体自动分割方法。
背景技术
中医药文化源远流长,已经有发展数千年的发展历史。中医基本诊断方式包括“望”、“闻”、“问”、“切”四种,其中“望”的一个重要诊断依据就是舌像。因此,舌诊在中医领域占有重要地位,舌诊简便易行,舌像的变化能客观准确地反映病情,可作为诊断疾病、了解病情的发展变化和辩证的重要依据。在疾病发展过程中,无论外感或内伤,都有一个发展、发展及转归的变动过程,舌像作为反映疾病的敏感体征,亦会随之发生相应的改变,通过对舌像的动态观察,可以了解疾病的进退、顺逆等病变势态。
从当今研究状况来看,图像分割技术广泛应用于医学图像处理领域。医学图像分割对于医学图像处理来说是一个关键的步骤,在一定程度上来说是可视化等其他处理方式技术的先决条件,即在完成图像分割的基础之上,才能在重点区域进行下一步的分析处理。目前,针对图像分割技术提出了多种方法,由于机器学习和深度学习的飞速发展,现如今,较为主流的图像分割方法有基于边缘、区域分割和语意等的方法,可以对图像分割、分类等图像处理技术实现更优的处理方法,逐步实现自动化,摆脱传统的耗时久的手动操作形式。尽管舌像的自动分割取得了很大的进展,但是仍然没有特别好的模型来解决图像数量不足,图像质量差以及拍摄环境的不同等问题。
因此,需要对现有技术进行改进。
发明内容
本发明要解决的技术问题是提供一种高效的基于U-net模型的舌体自动分割方法。
为解决上述技术问题,本发明提供一种基于U-net模型的舌体自动分割方法:包括以下步骤:
步骤1、舌像图像手动分割单元利用LabelMe软件对原图像进行手动分割,输出手动分割图像到数据输入单元,
步骤2、图像预处理单元导入并预处理原图像和手动分割图像后,输出至模型分割单元进行自动分割训练,观察分割结果及其计算效果评价指标,并进行模型优化。
作为对本发明基于U-net模型的舌体自动分割方法的改进:
还包括步骤3:
重复步骤2,观察分割结果及其计算效果评价指标并将其与步骤2所得数据结果进行比较分析。
作为对本发明基于U-net模型的舌体自动分割方法的进一步改进:
步骤2包括:
(2.1)、预处理:图像预处理单元将原图像与手动分割图像均进行图像增强,使其达到高度一致,得到预处理图像;
(2.2)、预处理图像将预处理图像输出至模型分割单元,进行分割处理得到自动分割的图像以及评价指标;
(2.3)、自动分割的图像和评价指标输出至分割效果显示单元,判断分割效果。
作为对本发明基于U-net模型的舌体自动分割方法的进一步改进:
步骤(2.2)包括:
(2.2.1)、模型共分为九层;前四层用于从图像中提取特征,输入图像逐层减小;后四层对图像特征进行升采样,逐层还原图像大小;具体计算方法如下:
(2.2.1.1)、由于卷积操作在每一层上都是相同的,每次卷积后图像大小都不会改变,因此需要使用0填充原始图像;边界0填充数:
其中P为0填充数,O为输出尺寸,S为步长,F为卷积核,I为输入尺寸;
(2.2.1.2)、根据(2.2.1.1)进行0填充后,执行卷积运算:
其中为卷积核,bnl∈Rkn×1为偏差值,nl表示层数,nl=1,…,9,n表示每层中第n个卷积;为填充后所得图像,ls表示输入大小,z3表示输入的第z3个通道;l=1,…,kn,kn表示卷积核数量;i、j表示输入矩阵中像素点的横纵坐标,1≤i≤ls-z1+1;1≤j≤ls-z2+1,其中z1、z2表示卷积核的横纵坐标;
(2.2.1.3)、根据(2.2.1.2)进行卷积运算后,运用relu激活函数使得计算成为非线性,其计算方式为:
(2.2.1.4)、使用最大池化操作对积特征图进行下采样:
(2.2.1.5)、向下采样后进行向上采样,使用2×2的反卷积核,且不进行0填充,计算卷积核步长:
其中O=2×I,I为输入特征图像尺寸且K=2;
(2.2.1.6)、根据(2.2.1.5)得到卷积核步长后,进行向上卷积运算:
Dnl[l]=Dnl[l]+bnl[l]
其中nl=5,…,8,DFnl是反卷积内核,而Dnl∈R2ls×2ls;
经过整个网络之后输出Output[l]∈R512×512,其中l=1,2;
其中Si,j是预测结果的在位置i,j处像素的分类值,yi,j是真实标签的位置i,j处像素的分类值,Outputi,j[l]代表第l层的Output矩阵中第i行、第j列的值;使用降梯度法对参数进行微调:
其中α是学习率;
步骤2.2.1.7中的S即为最终分割结果,Si,j为S中每一个元素的值,S中的元素值非0即1;
(2.2.2)、分割指标计算部件42将对于分割效果的评价指标进行计算,采用准确性(acc)和平均交并比(mIoU)来作为评价分割效果的标准:
其中TPi表示在第i个图像中正确预测的正例的像素数,TNi表示在第i个图像中正确预测的负例的像素数,FPi表示在第i个图像中预测错误的正例的像素数,FNi表示在第i个图像中误判了负示例的像素数,N是图像数;acc表示正确分割的像素数与总像素数之比;平均交并比表示真实值与预测值的交并集之比。
作为对本发明基于U-net模型的舌体自动分割方法的进一步改进:
在步骤(2.2.2)中:分割得到的图像的像素点非0即1,手动分割得到的图像也是黑白二值图,因此正确预测的正例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是1即可,正确预测的负例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是0即可,错误预测的正例的像素数只要看在模型分割得到的图像中像素为1而手动分割的图像中那些位置的像素值为0的像素点个数,错误预测的负例的像素数只要看在模型分割得到的图像中像素为0而手动分割的图像中那些位置的像素值为1的像素点个数。
作为对本发明基于U-net模型的舌体自动分割方法的进一步改进:
步骤(2.3)包括:
根据(2.2.2)计算而得的数据,得到了自动分割的图像以及评价指标:准确性(acc)和平均交并比(mIoU)的值,结果输出至分割效果显示单元,最终以acc、mIoU来评价所分割的结果优劣,两者都是越接近1表示分割效果越好。
作为对本发明基于U-net模型的舌体自动分割方法的进一步改进:
步骤3包括:重复执行步骤2.2.1.1-2.2.1.6,直到指定循环次数为止。
本发明基于U-net模型的舌体自动分割方法的技术优势为:
1、本发明建立了基于U-net的舌体自动分割方法模型,有效提高了分割的效率与精度,避免了手动分割的误差以及效率低的劣势,节约了舌像图像的存储空间。
2、本发明所采用的U-net模型具有良好的性能,能够排除外界环境等因素的干扰,优化后的模型分割结果精确,一定程度上再一步提升了舌像图像在中医诊疗过程中的价值。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1是本发明基于U-net模型的舌体自动分割方法的原理流程图;本图还体现了本发明基于U-net模型的舌体自动分割装置的模块示意图。
图2是本发明实施例中数据库中未做任何处理的舌像图像;
图3是本发明实施例中训练集中数据分割结果图,由左至右分别是原图、手动分割图像和自动分割图像;
图4是本发明实施例中测试集中数据分割结果图,由左至右分别是原图、手动分割图像和自动分割图像;
图5是本发明实施例中训练集和测试集的评价计算结果。
具体实施方式
下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此。
实施例1、基于U-net模型的舌体自动分割装置,如图1-5所示,包括依次相连的舌像图像手动分割单元1、数据输入单元2、图像预处理单元3、模型分割单元4和分割效果显示单元5。
舌像图像手动分割单元1用于处理数据集中的图像,手动分割出舌像的轮廓用于评价模型自动分割的效果;本实施例中,图像手动分割单元1分割完成的图像在步骤2中与原图像一一对应后输入图像预处理单元3。
所述数据输入单元2将舌像图像手动分割单元1中所得的结果与原图像一一配对;数据输入单元2将所有舌像图像分为训练集和测试集分别输出至图像预处理单元3;
数据输入单元2包括训练集数据21和测试集数据22;
训练集数据21输入图像预处理单元3、模型分割单元4和分割效果显示单元5完成训练以及对模型的优化后,将测试集数据22输入图像预处理单元3。
图像预处理单元3将数据输入单元2配对的图像数据进行图像增强并输出至模型分割单元4。
模型分割单元4将图像预处理单元3的处理结果输入模型中,进行自动分割,并将结果输出至分割效果显示单元5;
模型分割单元4包括舌体自动分割部件41和分割指标计算部件42;舌体自动分割部件41和分割指标计算部件42分别与分割效果显示单元5相连;
舌体自动分割部件41将图像预处理单元3完成的图像进行自动分割,将结果输出至分割效果显示单元5;
所述分割指标计算部件42将分割结果与步骤1得到的手动分割图像进行对比,计算出分割效果的评价指标,并将计算结果输出至分割效果显示单元5对分割结果进行评价。
分割效果显示单元5用于接收模型分割单元4分割完成的舌像图像数据进行显示,并对于分割结果进行评价;
结果输出部件51对于模型自动分割的结果进行显示;
效果评价部件52对于模型自动分割的效果用具体指标进行评价。
本发明提出了基于U-net模型的舌体自动分割方法,如图1-4所示,首先通过舌像图像手动分割单元1获得精确分割的舌体图像,再将训练集数据与精确分割的图像输入图像预处理单元3,对图像进行增强后,输入模型分割单元4,将结果传至分割效果显示单元5,根据分割效果对模型进行优化;将测试集数据与精确分割的图像输入图像预处理单元3,对图像进行增强后,输入优化后模型分割单元4,将结果传至分割效果显示单元5进行进一步评价。
本实施例中采用的数据集分为两部分,如图2所示,TS1是在统一的环境和操作中使用专业的舌像摄影仪器拍摄的;而TS2是作为志愿者提供的舌像图像,采用随机拍摄方法,并且图像的角度和环境都不同。
具体工作内容包括如下步骤:
步骤1、舌像图像手动分割单元1将数据集中所有舌像图像(原图像)利用LabelMe软件进行手动分割,输出手动分割图像到数据输入单元2,数据输入单元2将手动分割图像与原图像一一配对;数据输入单元2将所有舌像图像(原图像)分为训练集和测试集,再将训练集、测试集和手动分割图像输出至图像预处理单元3,如图3、图4所示。
步骤2、图像预处理单元3导入并预处理一一配对的舌像训练集图像和手动分割图像后,输出至模型分割单元4进行自动分割训练,观察分割结果及其计算效果评价指标,并进行模型优化。
具体工作流程如下:
(2.1)预处理:为了使原图像与手动分割图像配对后能够正常进行训练与测试,图像预处理单元3将原图像与手动分割图像均进行图像增强,使其达到高度一致,得到预处理图像。
(2.2)步骤(2.1)完成之后,预处理图像将会输出至模型分割单元4;模型分割单元4包括舌体自动分割部件41和分割指标计算部件42,其分割计算方法如下:
(2.2.1)、模型共分为九层。前四层用于从图像中提取特征,输入图像逐层减小。后四层对图像特征进行升采样,逐层还原图像大小。具体计算方法如下:
(2.2.1.1)、由于卷积操作在每一层上都是相同的,每次卷积后图像大小都不会改变,因此需要使用0填充原始图像。边界0填充数:
其中P为0填充数,O为输出尺寸,S为步长,F为卷积核,I为输入尺寸。
(2.2.1.2)、根据(2.2.1.1)进行0填充后,执行卷积运算:
其中为卷积核,bnl∈Rkn×1为偏差值,nl表示层数,nl=1,…,9,n表示每层中第n个卷积;为填充后所得图像,ls表示输入大小,z3表示输入的第z3个通道;l=1,…,kn,kn表示卷积核数量;i、j表示输入矩阵中像素点的横纵坐标,1≤i≤ls-z1+1;1≤j≤ls-z2+1,其中z1、z2表示卷积核的横纵坐标。
(2.2.1.3)、根据(2.2.1.2)进行卷积运算后,运用relu激活函数使得计算成为非线性,其计算方式为:
(2.2.1.4)、使用最大池化操作对积特征图进行下采样:
(2.2.1.5)、向下采样后进行向上采样,使用2×2的反卷积核,且不进行0填充,计算卷积核步长:
其中O=2×I,I为输入特征图像尺寸且K=2。
(2.2.1.6)、根据(2.2.1.5)得到卷积核步长后,进行向上卷积运算:
Dnl[l]=Dnl[l]+bnl[l]
其中nl=5,…,8,DFnl是反卷积内核,而Dnl∈R2ls×2ls。
经过整个网络之后输出Output[l]∈R512×512,其中l=1,2。
其中Si,j是预测结果的在位置i,j处像素的分类值,yi,j是真实标签的位置i,j处像素的分类值,Outputi,j[l]代表第l层的Output矩阵中第i行、第j列的值。使用降梯度法对参数进行微调:
其中α是学习率。
步骤2.2.1.7中的S即为最终分割结果,Si,j为S中每一个元素的值,S中的元素值非0即1。
(2.2.2)、分割指标计算部件42将对于分割效果的评价指标进行计算,采用准确性(acc)和平均交并比(mIoU)来作为评价分割效果的标准:
其中TPi表示在第i个图像中正确预测的正例的像素数,TNi表示在第i个图像中正确预测的负例的像素数,FPi表示在第i个图像中预测错误的正例的像素数,FNi表示在第i个图像中误判了负示例的像素数,N是图像数。acc表示正确分割的像素数与总像素数之比;平均交并比表示真实值与预测值的交并集之比。分割得到的图像的像素点非0即1(黑白二值图),手动分割得到的图像也是黑白二值图,因此正确预测的正例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是1即可,正确预测的负例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是0即可,错误预测的正例的像素数只要看在模型分割得到的图像中像素为1而手动分割的图像中那些位置的像素值为0的像素点个数,错误预测的负例的像素数只要看在模型分割得到的图像中像素为0而手动分割的图像中那些位置的像素值为1的像素点个数.
(2.3)、根据(2.2)计算而得的数据,得到了自动分割的图像(图3右图即为自动分割测试结果)以及评价指标:准确性(acc)和平均交并比(mIoU)的值,结果输出至分割效果显示单元5,分割结果由输出部件51展示和分割效果评价由评价部件52计算;最终以acc、mIoU来评价所分割的结果优劣。两者都是越接近1表示分割效果越好。
步骤3、根据步骤2.2.1.7已经进行优化的模型进行测试。获得图像预处理单元3导入并预处理一一配对的舌像训练集图像和手动分割图像后,输出至模型分割单元4进行自动分割测试(即重复步骤2计算过程),观察分割结果(图4右图即为自动分割测试结果)及其计算效果评价指标并将其与步骤2所得数据结果进行比较分析,所得计算结果如图5所示,由图可知:本发明模型具有较好的分割效果。
步骤3即为步骤2.2.1.7结束后重复执行步骤2.2.1.1-2.2.1.6,直到指定循环次数为止。
本发明提出了基于U-net模型的舌体自动分割方法,利用优化的U-net模型对舌体进行分割,这一过程大大减少了手动分割的工作量,也避免了手工分割的准确性低、分割耗时长等一系列缺点,在一定意义上推动了中医在诊疗过程中的便利性,提升了舌诊的准确性与高效性。此外,舌像图片一般需要拍照存档,需要大量的存储空间,而分割后再进行存储可节约存储空间,排除环境等因素的影响,便于对图像进行下一步分析,为其更好地在中医诊断治疗中发挥较为优秀的作用。
最后,还需要注意的是,以上列举的仅是本发明的若干个具体实施例。显然,本发明不限于以上实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,均应认为是本发明的保护范围。
Claims (7)
1.基于U-net模型的舌体自动分割方法,其特征在于:包括以下步骤:
步骤1、舌像图像手动分割单元利用LabelMe软件对原图像进行手动分割,输出手动分割图像到数据输入单元,
步骤2、图像预处理单元导入并预处理原图像和手动分割图像后,输出至模型分割单元进行自动分割训练,观察分割结果及其计算效果评价指标,并进行模型优化。
2.根据权利要求1所述的基于U-net模型的舌体自动分割方法,其特征在于:
还包括步骤3:
重复步骤2,观察分割结果及其计算效果评价指标并将其与步骤2所得数据结果进行比较分析。
3.根据权利要求2所述的基于U-net模型的舌体自动分割方法,其特征在于:
步骤2包括:
(2.1)、预处理:图像预处理单元将原图像与手动分割图像均进行图像增强,使其达到高度一致,得到预处理图像;
(2.2)、预处理图像将预处理图像输出至模型分割单元,进行分割处理得到自动分割的图像以及评价指标;
(2.3)、自动分割的图像和评价指标输出至分割效果显示单元,判断分割效果。
4.根据权利要求3所述的基于U-net模型的舌体自动分割方法,其特征在于:
步骤(2.2)包括:
(2.2.1)、模型共分为九层;前四层用于从图像中提取特征,输入图像逐层减小;后四层对图像特征进行升采样,逐层还原图像大小;具体计算方法如下:
(2.2.1.1)、由于卷积操作在每一层上都是相同的,每次卷积后图像大小都不会改变,因此需要使用0填充原始图像;边界0填充数:
其中P为0填充数,O为输出尺寸,S为步长,F为卷积核,I为输入尺寸;
(2.2.1.2)、根据(2.2.1.1)进行0填充后,执行卷积运算:
其中为卷积核,bnl∈Rkn×1为偏差值,nl表示层数,nl=1,…,9,n表示每层中第n个卷积;为填充后所得图像,ls表示输入大小,z3表示输入的第z3个通道;l=1,…,kn,kn表示卷积核数量;i、j表示输入矩阵中像素点的横纵坐标,1≤i≤ls-z1+1;1≤j≤ls-z2+1,其中z1、z2表示卷积核的横纵坐标;
(2.2.1.3)、根据(2.2.1.2)进行卷积运算后,运用relu激活函数使得计算成为非线性,其计算方式为:
(2.2.1.4)、使用最大池化操作对积特征图进行下采样:
(2.2.1.5)、向下采样后进行向上采样,使用2×2的反卷积核,且不进行0填充,计算卷积核步长:
其中O=2×I,I为输入特征图像尺寸且K=2;
(2.2.1.6)、根据(2.2.1.5)得到卷积核步长后,进行向上卷积运算:
Dnl[l]=Dnl[l]+bnl[l]
其中nl=5,…,8,DFnl是反卷积内核,而Dnl∈R2ls×2ls;
经过整个网络之后输出Output[l]∈R512×512,其中l=1,2;
其中Si,j是预测结果的在位置i,j处像素的分类值,yi,j是真实标签的位置i,j处像素的分类值,Outputi,j[l]代表第l层的Output矩阵中第i行、第j列的值;使用降梯度法对参数进行微调:
其中α是学习率;
步骤2.2.1.7中的S即为最终分割结果,Si,j为S中每一个元素的值,S中的元素值非0即1;
(2.2.2)、分割指标计算部件42将对于分割效果的评价指标进行计算,采用准确性(acc)和平均交并比(mIoU)来作为评价分割效果的标准:
其中TPi表示在第i个图像中正确预测的正例的像素数,TNi表示在第i个图像中正确预测的负例的像素数,FPi表示在第i个图像中预测错误的正例的像素数,FNi表示在第i个图像中误判了负示例的像素数,N是图像数;acc表示正确分割的像素数与总像素数之比;平均交并比表示真实值与预测值的交并集之比。
5.根据权利要求4所述的基于U-net模型的舌体自动分割方法,其特征在于:
在步骤(2.2.2)中:分割得到的图像的像素点非0即1,手动分割得到的图像也是黑白二值图,因此正确预测的正例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是1即可,正确预测的负例的像素数只要看在模型分割得到的图像和手动分割的图像中那些位置的像素都是0即可,错误预测的正例的像素数只要看在模型分割得到的图像中像素为1而手动分割的图像中那些位置的像素值为0的像素点个数,错误预测的负例的像素数只要看在模型分割得到的图像中像素为0而手动分割的图像中那些位置的像素值为1的像素点个数。
6.根据权利要求5所述的基于U-net模型的舌体自动分割方法,其特征在于:
步骤(2.3)包括:
根据(2.2.2)计算而得的数据,得到了自动分割的图像以及评价指标:准确性(acc)和平均交并比(mIoU)的值,结果输出至分割效果显示单元,最终以acc、mIoU来评价所分割的结果优劣,两者都是越接近1表示分割效果越好。
7.根据权利要求6所述的基于U-net模型的舌体自动分割方法,其特征在于:
步骤3包括:重复执行步骤2.2.1.1-2.2.1.6,直到指定循环次数为止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010034495.5A CN111260619A (zh) | 2020-01-14 | 2020-01-14 | 基于U-net模型的舌体自动分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010034495.5A CN111260619A (zh) | 2020-01-14 | 2020-01-14 | 基于U-net模型的舌体自动分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111260619A true CN111260619A (zh) | 2020-06-09 |
Family
ID=70945248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010034495.5A Pending CN111260619A (zh) | 2020-01-14 | 2020-01-14 | 基于U-net模型的舌体自动分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260619A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112070094A (zh) * | 2020-11-11 | 2020-12-11 | 北京达佳互联信息技术有限公司 | 训练数据的筛选方法、装置、电子设备及存储介质 |
CN112200091A (zh) * | 2020-10-13 | 2021-01-08 | 深圳市悦动天下科技有限公司 | 舌头区域识别的方法、装置及计算机存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009038376A1 (en) * | 2007-09-21 | 2009-03-26 | Korea Institute Of Oriental Medicine | Extraction method of tongue region using graph-based approach and geometric properties |
CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
CN109087702A (zh) * | 2018-08-03 | 2018-12-25 | 厦门大学 | 用于中医健康状态分析的四诊表征信息融合方法 |
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109584251A (zh) * | 2018-12-06 | 2019-04-05 | 湘潭大学 | 一种基于单目标区域分割的舌体图像分割方法 |
CN109785345A (zh) * | 2019-01-25 | 2019-05-21 | 中电健康云科技有限公司 | 图像分割方法及装置 |
-
2020
- 2020-01-14 CN CN202010034495.5A patent/CN111260619A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009038376A1 (en) * | 2007-09-21 | 2009-03-26 | Korea Institute Of Oriental Medicine | Extraction method of tongue region using graph-based approach and geometric properties |
CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
CN109087702A (zh) * | 2018-08-03 | 2018-12-25 | 厦门大学 | 用于中医健康状态分析的四诊表征信息融合方法 |
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109584251A (zh) * | 2018-12-06 | 2019-04-05 | 湘潭大学 | 一种基于单目标区域分割的舌体图像分割方法 |
CN109785345A (zh) * | 2019-01-25 | 2019-05-21 | 中电健康云科技有限公司 | 图像分割方法及装置 |
Non-Patent Citations (6)
Title |
---|
JIANHANG ZHOU: "TongueNet: A Precise and Fast Tongue Segmentation System Using U-Net with a Morphological Processing Layer", pages 1 - 19 * |
OLAF RONNEBERGER: "U-Net Convolutional Networks for Biomedical Image Segmentation", pages 1 - 8 * |
TINGXIAO YANG: "FULLY AUTOMATIC SEGMENTATION OF SUBLINGUAL VEINS FROM RETRAINED U-NET MODEL FOR FEW NEAR INFRARED IMAGES" * |
UNO WHOIAM: "FCN:从图片分类到像素分类", vol. 2, pages 426 - 10, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/67785943> * |
VINCENT DUMOULIN: "A guide to convolution arithmetic for deep", pages 15 * |
ZERO黑羽枫ZZZ: "语义分割网络U-Net详解", pages 1 - 6 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200091A (zh) * | 2020-10-13 | 2021-01-08 | 深圳市悦动天下科技有限公司 | 舌头区域识别的方法、装置及计算机存储介质 |
CN112070094A (zh) * | 2020-11-11 | 2020-12-11 | 北京达佳互联信息技术有限公司 | 训练数据的筛选方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及*** | |
CN112164082A (zh) | 基于3d卷积神经网络分割多模态mr脑部图像方法 | |
CN110728312B (zh) | 一种基于区域自适应注意力网络的干眼症分级*** | |
CN110321968B (zh) | 一种超声图像分类装置 | |
CN104484886B (zh) | 一种mr图像的分割方法及装置 | |
CN110838094B (zh) | 病理切片染色风格转换方法和电子设备 | |
US11756199B2 (en) | Image analysis in pathology | |
CN109949304B (zh) | 图像检测学习网络的训练和获取方法、图像检测装置和介质 | |
CN110265119A (zh) | 骨龄评估与身高预测模型、其***及其预测方法 | |
CN117132774B (zh) | 一种基于pvt的多尺度息肉分割方法及*** | |
CN110680399B (zh) | 一种产前超声图像的自动测量方法、存储介质及超声设备 | |
CN111260619A (zh) | 基于U-net模型的舌体自动分割方法 | |
CN113537446A (zh) | 深度学习算法的选择方法及深度学习算法的选择装置 | |
CN113269737B (zh) | 一种眼底视网膜动静脉血管直径计算方法及*** | |
CN115641335B (zh) | 基于时差培养箱的胚胎异常多级联智能综合分析*** | |
CN114663383A (zh) | 一种血细胞分割与识别方法、装置、电子设备和存储介质 | |
CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估*** | |
CN113744271A (zh) | 基于神经网络的视神经自动分割和受压迫程度测算方法 | |
CN105354405A (zh) | 基于机器学习的免疫组化图像自动化判读*** | |
CN108877925A (zh) | 一种肺炎病原的确定方法及装置 | |
CN107833631A (zh) | 一种医学影像计算机辅助分析方法 | |
CN111739030A (zh) | 一种语义和多尺度融合网络的眼底图像血管分割方法 | |
CN111599444A (zh) | 智能舌诊检测方法、装置、智能终端和存储介质 | |
CN116486156A (zh) | 融合多尺度特征上下文的全视野数字切片图像分类方法 | |
CN115471724A (zh) | 一种基于自适应归一化的细粒度鱼类疫病识别融合算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |