CN109948575B - 超声图像中眼球区域分割方法 - Google Patents
超声图像中眼球区域分割方法 Download PDFInfo
- Publication number
- CN109948575B CN109948575B CN201910238410.2A CN201910238410A CN109948575B CN 109948575 B CN109948575 B CN 109948575B CN 201910238410 A CN201910238410 A CN 201910238410A CN 109948575 B CN109948575 B CN 109948575B
- Authority
- CN
- China
- Prior art keywords
- training set
- directed
- distance field
- eyeball
- ophthalmic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种超声图像中眼球区域分割方法,包括:利用一定数量的、且经专家进行眼球区域标注的眼科超声图像构建训练集;分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵,由训练集中的所有图像构成训练集有向符号距离场矩阵;利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS‑Unet;将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS‑Unet,从而完成眼球区域分割。该方法可以提高眼球区域分割效率,并确保分割准确度。
Description
技术领域
本发明涉及人工智能领域,尤其涉及一种超声图像中眼球区域分割方法。
背景技术
眼科超声图像可以通过常规超声设备采集,为了在眼科超声图像中分割出眼球区域,需要重建眼球的三维结构,才能全面精确地反映后巩膜的具体形态以及与视神经的位置关系,同时,目前大多采用人工方式进行眼球区域的分割操作,不仅效率低,且分割准确度还取决于操作人员的作业水平。
鉴于此,有必要研发一种具有较高准确度的眼球区域自动分割的方案。
发明内容
本发明的目的是提供一种超声图像中眼球区域分割方法,可以提高眼球区域分割效率,并确保分割准确度。
本发明的目的是通过以下技术方案实现的:
一种超声图像中眼球区域分割方法,包括:
利用一定数量的、且经专家进行眼球区域标注的眼科超声图像构建训练集;
分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵,由训练集中的所有图像构成训练集有向符号距离场矩阵;
利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS-Unet;
将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet,从而完成眼球区域分割。
由上述本发明提供的技术方案可以看出,该方法完全基于2D卷积神经网络,极大的提高了眼球区域分割速度,同时,在数据集上测试结果显示其具有较高的分割准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种超声图像中眼球区域分割方法的示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种超声图像中眼球区域分割方法,其主要包括:
1、利用一定数量的、且经专家进行眼球区域标注的眼科超声图像构建训练集。
2、分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵,由训练集中的所有图像构成训练集有向符号距离场矩阵。
3、利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS-Unet。
4、将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet,从而完成眼球区域分割。
为了便于理解,下面针对上述方案做详细的介绍。
如图1所示,为超声图像中眼球区域分割方法的流程图。
一、构建数据集。
本发明实施例中,可以采集三维眼科超声影像,共多段(例如6段)三维(二维加上时间)影像,对每段三维影像逐帧抽取二维图像,得到多幅(例如,568幅)二维超声图像。
然后,由专家对眼科超声图像中眼球所在区域进行标注,眼球区域标注为黑色,背景区域标注为白色,以便机器学习如何自动进行区域分割。
之后,对于标注过的眼科超声图像进行数据扩充,从而构建数据集;所述数据扩充方式包括:缩放、旋转与平移。例如,对标注过的568幅图中的400幅图进行数据扩充,用缩放,旋转,平移的方法得到额外的数据,以便达到更好的训练效果。这400幅图像经过数据扩充得到4290幅图像作为训练集,而未进行数据扩充的168幅图像则用于测试。
同时,将每一眼科超声图像调整到m×n的大小;假设原始的眼科超声图像为480×470可以将它们统一调节到到96×96大小。
二、计算训练集有向符号距离场矩阵。
其中,Ωinside表示标注的眼球区域内部,Ωoutside表示标注的背景区域,pi,j表示眼科超声图像上坐标(i,j)处的点,C表示眼球区域的轮廓曲线,D(pi,j,C)表示计算眼科超声图像上的点Pi,j到轮廓曲线C的最短欧式距离:
其中,ck表示轮廓曲线C上的第k个点;
对每一眼科超声图像都计算出大小为m×n的有向符号距离场矩阵并展开成m×n×1的有向符号距离场向量,将每一眼科超声图像对应的有向符号距离场向量横向堆叠,最终由训练集中的M张眼科超声图像得到m×n×M大小的训练集有向符号距离场矩阵。
三、搭建卷积神经网络SS-Unet
还参见图1,所述卷积神经网络SS-Unet包括:特征提取路径、语义嵌入路径和上采样路径。
1、特征提取路径。
特征提取路径包括五个网络阶段,记为downstage1~downstage5;每个网络阶段的输入数据先经过两个卷积模块,每个卷积模块包含1个卷积层,1个归一化层和1个使用ReLU函数的激活层,随后通过1个池化层后输出,并作为下一个网络阶段的输入;示例性的,downstage1~downstage5输出的特征图数量依次为:32,64,12,256,512。
2、语义嵌入路径。
语义嵌入路径包括两个语义嵌入模块;第一个语义嵌入模块将特征提取路径中网络阶段downstage3、downstage4以及downstage5的输出分别通过1个卷积层和1个采用双线性插值的上采样层后,与网络阶段downstage2的输出逐像素相乘作为网络阶段downstage2的新的输出;第二个语义嵌入模块将特征提取路径中网络阶段downstage4与downstage5的输出分别通过1个卷积层和1个采用双线性插值的上采样层后,与网络阶段downstage3的输出逐像素相乘作为网络阶段downstage3的新的输出。
3、上采样路径。
上采样路径包括五个阶段,记为upstage1~upstage5;上采样路径的阶段upstage5即特征提取路径的网络阶段downstage5;第i个阶段upstagei的输出经过上采样后与网络阶段downstage i-1的输出拼接,再通过2个卷积层作为upstage i-1的输出;示例性的,upstage1~upstage5输出的特征图数量依次为:512,256,128,64,32。
在阶段upstage1输出特征图后,再接一个卷积层将通道数降为1,得到m×n大小的预测输出。
示例性的,卷积神经网络SS-Unet中所用的所有卷积核大小都为3×3,卷积步长为1×1。
四、训练卷积神经网络SS-Unet。
训练时,将训练集有向符号距离场矩阵中对应于输入眼科超声图像的有向符号距离场向量变形为m×n大小的有向符号距离场矩阵以卷积神经网络SS-Unet的预测输出与有向符号距离场矩阵/>间的均方误差作为网络损失函数:
求出损失函数值(误差)后,依据链式法则求出其对应于每个神经元的梯度,通过误差反向传播更新参数,学习率由Adam算法自动调节;卷积神经网络SS-Unet的参数学习过程一直持续到损失函数值收敛为止。
五、测试阶段。
将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet,训练完毕的卷积神经网络SS-Unet将输出相应的预测图;对预测图进行二值化,并二值图中所有值大于0的像素重新赋值为0,所有值小于0的像素重新赋值为255,得到对眼球区域的最终分割结果;其中,像素值为0表示属于眼球区域,像素值为255表示属于背景部分。
本发明实施例上述方案,可以应用于医院的影像科,对采集到的眼科超声图像自动进行眼球区域的分割检测,还可以应用于相关的科研机构;本发明实施例上述方案主要是针对眼球区域分割方案进行改进,以提高分割准确度与分割效率,其具体应用方向可以由用户自行选择。在实施上,可以以软件的方式安装于工作电脑,提供实时检测;也可以安装于后台服务器,提供大批量后台检测。
与现有方法相比,本发明实施例提供的上述方案完全基于2D卷积神经网络,在数据集上测试,眼球区域的分割准确度达到:平均像素准确率为98.81%,区域轮廓的平均误差为0.89个像素,匹配失败(区域轮廓误差大于2个像素)的概率为5.95%。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (4)
1.一种超声图像中眼球区域分割方法,其特征在于,包括:
利用一定数量的、且经专家进行眼球区域标注的眼科超声图像构建训练集;
分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵,由训练集中的所有图像构成训练集有向符号距离场矩阵;
利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS-Unet;
将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet,从而完成眼球区域分割;
其中,所述卷积神经网络SS-Unet包括:特征提取路径、语义嵌入路径和上采样路径;其中:
特征提取路径包括五个网络阶段,记为downstage1~downstage5;每个网络阶段的输入数据先经过两个卷积模块,每个卷积模块包含1个卷积层,1个归一化层和1个使用ReLU函数的激活层,随后通过1个池化层后输出,并作为下一个网络阶段的输入;
语义嵌入路径包括两个语义嵌入模块;第一个语义嵌入模块将特征提取路径中网络阶段downstage3、downstage4以及downstage5的输出分别通过1个卷积层和1个采用双线性插值的上采样层后,与网络阶段downstage2的输出逐像素相乘作为网络阶段downstage2的新的输出;第二个语义嵌入模块将特征提取路径中网络阶段downstage4与downstage5的输出分别通过1个卷积层和1个采用双线性插值的上采样层后,与网络阶段downstage3的输出逐像素相乘作为网络阶段downstage3的新的输出;
上采样路径包括五个阶段,记为upstage 1~upstage5;上采样路径的阶段upstage 5即特征提取路径的网络阶段downstage5;第i个阶段upstagei的输出经过上采样后与网络阶段downstage i-1的输出拼接,再通过2个卷积层作为upstage i-1的输出;
在upstage 1输出特征图后,再接一个卷积层将通道数降为1,得到m×n大小的预测输出;
所述利用训练集以及有向符号距离场矩阵训练预先搭建的卷积神经网络SS-Unet包括:
求出损失函数值后,依据链式法则求出其对应于每个神经元的梯度,通过误差反向传播更新参数,学习率由Adam算法自动调节;卷积神经网络SS-Unet的参数学习过程一直持续到损失函数值收敛为止。
2.根据权利要求1所述的一种超声图像中眼球区域分割方法,其特征在于,所述经专家进行眼球区域标注的眼科超声图像是指,由专家对眼科超声图像中眼球所在区域进行标注,眼球区域标注为黑色,背景区域标注为白色;
对于标注过的眼科超声图像进行数据扩充,从而构建训练集;数据扩充方式包括:缩放、旋转与平移。
3.根据权利要求1所述的一种超声图像中眼球区域分割方法,其特征在于,所述分别计算训练集中的每一眼科超声图像的有向符号距离场矩阵,由训练集中的所有图像构成训练集有向符号距离场矩阵包括:
训练集中的每一眼科超声图像的尺寸为m×n;
其中,Ωinside表示标注的眼球区域内部,Ωoutside表示标注的背景区域,pi,j表示眼科超声图像上坐标(i,j)处的点,C表示眼球区域的轮廓曲线,D(pi,j,C)表示计算眼科超声图像上的点Pi,j到轮廓曲线C的最短欧式距离:
其中,ck表示轮廓曲线C上的第k个点;
4.根据权利要求1所述的一种超声图像中眼球区域分割方法,其特征在于,所述将待分割的眼科超声图像输入至训练完毕的卷积神经网络SS-Unet,从而完成眼球区域分割包括:
训练完毕的卷积神经网络SS-Unet将输出相应的预测图;
对预测图进行二值化,并将 二值图中所有值大于0的像素重新赋值为0,所有值小于0的像素重新赋值为255,得到对眼球区域的最终分割结果;其中,像素值为0表示属于眼球区域,像素值为255表示属于背景部分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910238410.2A CN109948575B (zh) | 2019-03-27 | 2019-03-27 | 超声图像中眼球区域分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910238410.2A CN109948575B (zh) | 2019-03-27 | 2019-03-27 | 超声图像中眼球区域分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109948575A CN109948575A (zh) | 2019-06-28 |
CN109948575B true CN109948575B (zh) | 2023-03-24 |
Family
ID=67012004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910238410.2A Active CN109948575B (zh) | 2019-03-27 | 2019-03-27 | 超声图像中眼球区域分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109948575B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047608A (zh) * | 2019-12-26 | 2020-04-21 | 北京工业大学 | 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法 |
CN111047613B (zh) * | 2019-12-30 | 2021-04-27 | 北京小白世纪网络科技有限公司 | 基于分支注意力及多模型融合的眼底血管分割方法 |
CN111523578B (zh) * | 2020-04-13 | 2021-07-23 | 推想医疗科技股份有限公司 | 图像分类方法及装置、神经网络模型的训练方法及装置 |
CN111598866B (zh) * | 2020-05-14 | 2023-04-11 | 四川大学 | 一种基于眼部b超图像的晶状体关键特征定位方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102027490A (zh) * | 2008-05-14 | 2011-04-20 | 皇家飞利浦电子股份有限公司 | 基于图像分割的图像分类 |
CN108629770A (zh) * | 2018-05-03 | 2018-10-09 | 河北省计量监督检测研究院廊坊分院 | 基于支持向量机的超声图像分割方法 |
CN109214388A (zh) * | 2018-11-21 | 2019-01-15 | 济南浪潮高新科技投资发展有限公司 | 一种基于个性化融合网络的肿瘤分割方法及装置 |
CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
CN109509179A (zh) * | 2018-10-24 | 2019-03-22 | 深圳市旭东数字医学影像技术有限公司 | 基于医学图像的眼球和晶状体的自动分割方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11357474B2 (en) * | 2014-09-15 | 2022-06-14 | Peter Fedor | Method of quantitative analysis and imaging of the anterior segment of the eye |
-
2019
- 2019-03-27 CN CN201910238410.2A patent/CN109948575B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102027490A (zh) * | 2008-05-14 | 2011-04-20 | 皇家飞利浦电子股份有限公司 | 基于图像分割的图像分类 |
CN108629770A (zh) * | 2018-05-03 | 2018-10-09 | 河北省计量监督检测研究院廊坊分院 | 基于支持向量机的超声图像分割方法 |
CN109509179A (zh) * | 2018-10-24 | 2019-03-22 | 深圳市旭东数字医学影像技术有限公司 | 基于医学图像的眼球和晶状体的自动分割方法及*** |
CN109214388A (zh) * | 2018-11-21 | 2019-01-15 | 济南浪潮高新科技投资发展有限公司 | 一种基于个性化融合网络的肿瘤分割方法及装置 |
CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
Non-Patent Citations (4)
Title |
---|
ExFuse: Enhancing Feature Fusion for Semantic Segmentation;Zhenli Zhang 等;《ECCV 2018》;20181231;第3.1节,图2,图4 * |
SPNet: Shape Prediction using a Fully Convolutional Neural Network;S M Masudur Rahman Al Arif 等;《International Conference on Medical Image Computing and Computer-Assisted Intervention》;20181231;摘要,第2节,第3节,第5节 * |
基于卷积神经网络的臂丛神经超声图像分割方法;龙法宁 等;《合肥工业大学学报(自然科学版)》;20180930;第41卷(第9期);1191-1195、1296 * |
深度全卷积网络的 IVUS 图像内膜与中-外膜边界检测;袁绍锋 等;《中国图象图形学报》;20181231;第23卷(第9期);1335-1348 * |
Also Published As
Publication number | Publication date |
---|---|
CN109948575A (zh) | 2019-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948575B (zh) | 超声图像中眼球区域分割方法 | |
Fakhry et al. | Residual deconvolutional networks for brain electron microscopy image segmentation | |
CN108062756B (zh) | 基于深度全卷积网络和条件随机场的图像语义分割方法 | |
Xia et al. | Liver semantic segmentation algorithm based on improved deep adversarial networks in combination of weighted loss function on abdominal CT images | |
US20230043026A1 (en) | Learning-based active surface model for medical image segmentation | |
US20170124433A1 (en) | Unsupervised matching in fine-grained datasets for single-view object reconstruction | |
CN113728335A (zh) | 用于3d图像的分类和可视化的方法和*** | |
CN112330719B (zh) | 基于特征图分割和自适应融合的深度学习目标跟踪方法 | |
CN113554665A (zh) | 一种血管分割方法及装置 | |
CN115605878A (zh) | 使用基于自注意力的神经网络处理图像 | |
CN112949707B (zh) | 一种基于多尺度语义信息监督的跨模态人脸图像生成方法 | |
CN114565628B (zh) | 一种基于边界感知注意的图像分割方法及*** | |
CN113762265A (zh) | 肺炎的分类分割方法及*** | |
Aryal et al. | Context-aware graph-based self-supervised learning of whole slide images | |
CN108496174B (zh) | 用于面部识别的方法和*** | |
Wang et al. | Msfnet: multistage fusion network for infrared and visible image fusion | |
CN114066844A (zh) | 一种基于注意力叠加与特征融合的肺炎x光片图像分析模型及分析方法 | |
Yao et al. | PointNu-Net: Keypoint-Assisted Convolutional Neural Network for Simultaneous Multi-Tissue Histology Nuclei Segmentation and Classification | |
CN115471718A (zh) | 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法 | |
CN113516670B (zh) | 一种反馈注意力增强的非模式图像分割方法及装置 | |
Vo et al. | Brain tumor segmentation in mri images using a modified u-net model | |
CN113192076A (zh) | 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法 | |
CN114022458A (zh) | 骨架检测方法、装置、电子设备和计算机可读存储介质 | |
Li et al. | Spatial frequency enhanced salient object detection | |
Li et al. | Rethinking deep supervision for brain tumor segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |