CN110176007A - 晶状体分割方法、装置及存储介质 - Google Patents
晶状体分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110176007A CN110176007A CN201910412464.6A CN201910412464A CN110176007A CN 110176007 A CN110176007 A CN 110176007A CN 201910412464 A CN201910412464 A CN 201910412464A CN 110176007 A CN110176007 A CN 110176007A
- Authority
- CN
- China
- Prior art keywords
- crystalline lens
- shape template
- initial
- lens structure
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000695 crystalline len Anatomy 0.000 title claims abstract description 309
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000009499 grossing Methods 0.000 claims abstract description 36
- 238000003062 neural network model Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 238000005516 engineering process Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012014 optical coherence tomography Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000003475 lamination Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 208000002177 Cataract Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000291564 Allium cepa Species 0.000 description 1
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种晶状体分割方法、装置及存储介质，该方法包括：从原始图像中提取晶状体图像区域；通过预设神经网络模型，获得晶状体图像区域中的初始晶状体结构；采用形状模板对初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，该形状模板是通过对晶状体样本进行训练得到的。通过预设神经网络模型及形状模板可实现对晶状体结构的自动分割，从而在降低人工成本的同时，提高晶状体结构分割的准确度。
Description
技术领域
本发明实施例涉及图像分析领域，尤其涉及一种晶状体分割方法、装置及存储介质。
背景技术
作为常见的致盲性眼病，白内障是由于某些原因导致晶状体混浊，从而影响视网膜成像，导致患者看不清东西。其中，前段光学相干断层扫描(Anterior Segment OpticalCoherence Tomography，简称：AS-OCT)可被用来辅助诊断包括白内障等多种眼科疾病。具体地，AS-OCT是一种非侵入式无伤害的诊断方式，利用晶状体不同结构的密度来衡量白内障等眼科疾病的严重程度。
目前，基于AS-OCT影像的晶状体结构分割大多都是手动进行。但手动分割晶状体结构具有准确度低的问题，且人工成本较高。
发明内容
本发明实施例提供一种晶状体分割方法、装置及存储介质，通过自动分割晶状体结构，在降低人工成本的同时，提高晶状体结构分割的准确度。
第一方面，本发明实施例提供一种晶状体分割方法，包括：
从原始图像中提取晶状体图像区域；
通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；
采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，所述形状模板是通过对晶状体样本进行训练得到的。
一种可能的实施方式中，所述形状模板包括第一形状模板和第二形状模板，其中，所述第一形状模板用于对所述初始晶状体结构的晶状体前核进行边缘平滑处理，所述第二形状模板用于对所述初始晶状体结构的晶状体后核进行边缘平滑处理。
一种可能的实施方式中，所述形状模板的个数为多个，所述采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，包括：计算多个所述形状模板与所述初始晶状体结构的相似度；选取相似度最大的形状模板，对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。
一种可能的实施方式中，所述计算多个所述形状模板与所述初始晶状体结构的相似度，包括：
针对每一个所述形状模板，通过以下步骤得到所述形状模板与所述初始晶状体结构的相似度：
计算所述形状模板与所述初始晶状体结构的归一化参数的乘积为第一中间值，所述归一化参数为所述初始晶状体结构的对称轴在旋转过程中对应的所有距离中的最小距离；
计算所述第一中间值与预设偏移量的和为第二中间值；
根据公式(1)对所述初始晶状体结构进行边界编码，得到目标值；
根据所述目标值与所述第二中间值，确定所述相似度；
f(c,θ)＝||c-Pθ|| 公式(1)
其中，c表示所述初始晶状体结构的中心点坐标；Pθ表示所述初始晶状体结构的对称轴与所述初始晶状体结构的边界的交点坐标，其中，θ表示对称轴相对基准线的角度，所述对称轴从基准线开始，以预设角度旋转；||||表示范数符号；{f(c,θ)}表示所述目标值。
一种可能的实施方式中，所述形状模板，通过以下方式训练获得：
根据所述晶状体样本的边界点坐标，获取所述晶状体样本的中心点坐标；
获取所述晶状体样本的对称轴与所述晶状体样本的边界的交点坐标，其中，所述对称轴从基准线开始，以预设角度旋转；
根据所述中心点坐标与所述交点坐标，得到所述晶状体样本的中心点到交点的距离；
使用所述晶状体样本的归一化参数对所述距离进行归一化处理，得到所述晶状体样本的核边界，所述归一化参数为所述对称轴旋转过程中对应的所述距离中的最小距离；
提取所述核边界的中间区域；
使用预设聚类算法对M个所述晶状体样本对应的中间区域进行聚类，得到N个形状模板，M和N均为正整数，且M大于N。
一种可能的实施方式中，所述预设聚类算法包括以下聚类算法中的任一个：K均值算法，模糊C均值FCM聚类算法。
一种可能的实施方式中，所述从原始图像中提取晶状体图像区域，包括：采用canny边缘检测技术，从所述原始图像中提取所述晶状体图像区域。
第二方面，本发明实施例提供一种晶状体分割装置，包括：
提取模块，用于从原始图像中提取晶状体图像区域；
处理模块，用于通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；及，采用预设算法对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。
第三方面，本发明实施例提供一种晶状体分割装置，包括存储器和处理器，以及存储在所述存储器上可供所述处理器执行的计算机程序；所述处理器执行所述计算机程序实现如下操作：
从原始图像中提取晶状体图像区域；
通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；
采用预设算法对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。
第四方面，本发明实施例提供一种计算机可读存储介质，包括计算机可读指令，当处理器读取并执行所述计算机可读指令时，使得所述处理器执行如下操作：
从原始图像中提取晶状体图像区域；
通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；
采用预设算法对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。
本发明实施例提供的晶状体分割方法、装置及存储介质，首先从原始图像中提取晶状体图像区域；之后，通过预设神经网络模型，获得晶状体图像区域中的初始晶状体结构，并采用形状模板对初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，该形状模板是通过对晶状体样本进行训练得到的。通过预设神经网络模型及形状模板可实现对晶状体结构的自动分割，从而在降低人工成本的同时，提高晶状体结构分割的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的晶状体分割方法的流程图；
图2为本发明一实施例提供的晶状体分割方法的应用示例图；
图3示出一种晶状体的核结构；
图4为本发明一实施例提供的归一化处理前的形状模板的示例图；
图5(a)为本发明一实施例提供的第一形状模板的示例图；
图5(b)为本发明一实施例提供的第二形状模板的示例图；
图6为本发明一实施例提供的晶状体分割装置的结构示意图；
图7为本发明另一实施例提供的晶状体分割装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的说明书、权利要求书及上述附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，对于白内障的级别分类，国际上采用的是LOCSII晶状体混浊分类标准。该分类标准人为干预较大，并且经验不同的医生对不同结构的分级存在一定的差异，因此，准确分割出晶状体的结构并自动计算出混浊程度，显得极为重要。
由于手动标记大量医学图像是一项繁琐且容易出错的任务，因此，基于上述，本发明实施例提供一种晶状体分割方法、装置及存储介质，通过预设神经网络模型及形状模板，实现对晶状体结构的自动分割，从而在降低人工成本的同时，提高晶状体结构分割的准确度。其中，形状模板可改善经预设神经网络处理后的初始晶状体结构的粗糙边界，从而得到准确度较高的晶状体结构。
图1为本发明一实施例提供的晶状体分割方法的流程图。该实施例提供一种晶状体分割方法，该晶状体分割方法可以由晶状体分割装置执行。该晶状体分割装置可以通过软件和/或硬件的方式实现。示例地，该晶状体分割装置可以包括但不限于计算机、服务器等电子设备。其中，服务器可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
如图1所示，该实施例提供的晶状体分割方法包括以下步骤：
S101、从原始图像中提取晶状体图像区域。
其中，原始图像可以为实际采集到的目标图像，该目标图像不仅包括晶状体图像区域，还可以包括其他眼球区域，例如，角膜、玻璃体，等等。这里的“晶状体图像区域”，为实际待分割的晶状体结构所在的区域。补充说明的是，晶状体图像区域要小于原始图像的大小。
可选地，该步骤可以包括：采用canny边缘检测技术，从原始图像中提取晶状体图像区域。通过canny边缘检测技术提取晶状体图像区域，可减少原始图像中多余的干扰信息。
其中，canny边缘检测技术是一种多级边缘检测算法，其目标是找到一个最优边缘检测算法。具体地，最优边缘检测的含义是：
(1)最优检测：算法能够尽可能多地标识出图像中的实际边缘，漏检真实边缘的概率和误检非边缘的概率都尽可能小；
(2)最优定位准则：检测到的边缘点的位置距离实际边缘点的位置最近，或者是由于噪声影响引起检测出的边缘偏离物体的真实边缘的程度最小；
(3)检测点与边缘点一一对应：算子检测的边缘点与实际边缘点应该是一一对应。
需说明的是，canny边缘检测技术仅为一种示例，以说明如何实现从原始图像中提取晶状体图像区域，但本发明实施例不以此为限制，还可以其他技术从原始图像中提取晶状体图像区域。
S102、通过预设神经网络模型，获得晶状体图像区域中的初始晶状体结构。
其中，预设神经网络模型可以为预先训练得到的U形全卷积神经网络模型。U形全卷积神经网络可以使得预设神经网络模型有较好的稳定性和扩展性，深度学习的学习特征的能力较好。
示例性地，该步骤可以具体为：将晶状体图像区域输入预设神经网络模型，得到预设神经网络模型的输出为初始晶状体结构。
该实施例主要体现对预设神经网络模型的应用，即如何使用预设神经网络模型，其训练过程可参考相关说明，此处不再赘述。
S103、采用形状模板对初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。
其中，形状模板是通过对晶状体样本进行训练得到的。
可以理解，经预设神经网络模型处理后的初始晶状体结构，其边界是不规则的，尤其是晶状体核的分割，因此，本发明实施例使用形状模板改善晶状体核区域的粗糙边界，获得最后的分割结果。
参考图2，示出一原始图像经上述S101至S103处理的分割流程。其中，1表示AS-OCT图像；2表示感兴趣区域(Region of Interest，简称：ROI)，即晶状体，该示例将晶状体分为三个区域：皮质(cortex)区域、核(nucleus)区域、角膜区域；3表示U形全卷积神经网络，用于预测分割区域；4表示形状模板，用于改善晶状体的核区域的粗糙边界。如图2所示，有一部分核区域被错误分类为皮质区域，为了解决这个问题，设计一种形状模板，来改善晶状体核边缘的粗糙分割。
以下，结合图2解释说明预设神经网络模型。参考图2，该预设神经网络模型包含：编码部分(左边部分)和解码部分(右边部分)。
其中，解码部分中每个解卷积层包含一个级联，输入来自上一解卷积层输出的全局信息和编码部分中对应卷积层的信息。解卷积层从对应卷积层提取信息，并融合局部特征的信息，从而更有效的处理待分割物体的信息，避免了局部的干扰。
编码部分包括六个卷积层，每一卷积层包含两到三个子卷积层，每一个子卷积层会使用一个激活函数(Relu)和2x2的最大池化(MaxPooling)；为了保持有效的复原图像和提取特征，解码部分也包含六个解卷积层，每个解卷积层包含一个级联，来自相应的特征层和空间上采样，之后是用两个卷积和一个激活函数(Relu)，输入来自上一层的全局信息和网络编码过程中对应层的信息。另需说明的是，卷积层可以包含预设个数个子卷积层，该预设个数个子卷积层之间相互级联，子卷积层采用Relu激活函数和最大池化处理。
预设神经网络模型使用了六层的网络结构，在输入的晶状体图像区域尺寸较大的情况下，较深的网络能够更加有效的提取全局的信息，从而准确分割晶状体结构，比较适用现行的网络结构。
例如，晶状体图像区域的大小为1024*1024，Conv<3x3>with Relu表示的是卷积核为3*3，激活函数为Relu，使用的交叉熵损失(Cross Entropy Loss)函数为每一个side-output层的输出，在side-output层使用<1x1>卷积核，可以达到使用不同层级的特征的效果，可以进一步提升分割效果。
使用U形全卷积神经网络模型预测晶状体的角膜区域，皮质区域和核区域，从而能够在小数据上达到较好的训练，可以避免过拟合；且，U形全卷积神经网络模型可以通过使用跳跃连接获得清晰边界的分割区域。
该实施例中，首先从原始图像中提取晶状体图像区域；然后，通过预设神经网络模型，获得晶状体图像区域中的初始晶状体结构，并采用形状模板对初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，该形状模板是通过对晶状体样本进行训练得到的。通过预设神经网络模型及形状模板可实现对晶状体结构的自动分割，从而在降低人工成本的同时，提高晶状体结构分割的准确度。
在上述实施例中，一种可能的实现方式中，所述形状模板可以包括第一形状模板和第二形状模板。其中，第一形状模板用于对初始晶状体结构的晶状体前核进行边缘平滑处理，第二形状模板用于对初始晶状体结构的晶状体后核进行边缘平滑处理。
可以理解，所述形状模板的个数为多个。可选地，S103、采用形状模板对初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，可以包括：计算多个形状模板与初始晶状体结构的相似度；选取相似度最大的形状模板，对初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。示例性地，计算多个第一形状模板与初始晶状体结构的晶状体前核的相似度，选取相似度最大的第一形状模板，对初始晶状体结构的晶状体前核进行边缘平滑处理；计算多个第二形状模板与初始晶状体结构的晶状体后核的相似度；选取相似度最大的第二形状模板，对初始晶状体结构的晶状体后核进行边缘平滑处理，得到分割后的晶状体结构。
进一步地，所述计算多个形状模板与初始晶状体结构的相似度，可以包括：
针对每一个形状模板，通过以下步骤得到形状模板与初始晶状体结构的相似度：
计算形状模板与初始晶状体结构的归一化参数的乘积为第一中间值，该归一化参数为初始晶状体结构的对称轴在旋转过程中对应的所有距离中的最小距离；
计算第一中间值与预设偏移量的和为第二中间值；
根据公式(1)对初始晶状体结构进行边界编码，得到目标值；
根据目标值与第二中间值，确定所述相似度；
f(c,θ)＝||c-Pθ|| 公式(1)
其中，c表示所述初始晶状体结构的中心点坐标；Pθ表示所述初始晶状体结构的对称轴与所述初始晶状体结构的边界的交点坐标，其中，θ表示对称轴相对基准线的角度，对称轴从基准线开始，以预设角度旋转；||||表示范数符号；{f(c,θ)}表示所述目标值。
例如，形状模板的数目为N，N为正整数，分别表示为{f(cn,θ)}，n＝1,2,3,…,N，cn表示形状模板n的中心点坐标，θ表示对称轴的旋转角度；初始晶状体结构表示为St＝{xj,yj}，初始晶状体结构的中心点坐标为L表示初始晶状体结构的边界采样点个数，其归一化参数表示为zt，其中，zt＝||c-p1||，p1表示初始晶状体结构的对称轴旋转过程中对应的距离中的最小距离时，对称轴与边界的交点坐标，则对于每一个形状模板，通过以下步骤得到形状模板与初始晶状体结构的相似度：
一、计算第一中间值Tn：Tn＝{f(cn,θ)}×zt。
二、计算第二中间值T′n：T′n＝Tn+offset，offset表示预设偏移量，取值为{-10,-9,…,9,10}。
三、计算目标值{f(c,θ)}。
四、根据目标值与第二中间值，确定相似度。具体地，计算目标值与第二中间值的差值：Dn＝f(c,θ)-T′n，Dn越小，说明此时的形状模板与初始晶状体结构越相似，从而得到各形状模板与初始晶状体结构的相似度。
上述实施例说明了如何使用形状模板，接下来说明如何训练得到形状模板。具体地，通过以下方式训练获得形状模板：
根据晶状体样本的边界点坐标，获取晶状体样本的中心点坐标；获取晶状体样本的对称轴与晶状体样本的边界的交点坐标，其中，对称轴从基准线开始，以预设角度旋转；根据中心点坐标与交点坐标，得到晶状体样本的中心点到交点的距离；使用晶状体样本的归一化参数对距离进行归一化处理，得到晶状体样本的核边界，归一化参数为对称轴旋转过程中对应的距离中的最小距离；提取核边界的中间区域；使用预设聚类算法对M个晶状体样本对应的中间区域进行聚类，得到N个形状模板，M和N均为正整数，且M大于N。
晶状体的结构是一个类似洋葱的结构，而晶状体核结构是光滑的曲面结构，受到这灵感的启发，本文设计如图3所示的晶状体的核结构，用中心点，与，对称轴与边界的交点，之间的距离进行编码。其中，不同的图层共享相同的中心点，并且可以通过距中心点的距离彼此区分。
参考图3，晶状体样本m的边界表示为Si＝{xi,yi}，n＝1,2,3,…,N，晶状体样本m的中心点坐标表示为(xi,yi)是选取的晶状体样本m的第i个取样点的坐标，晶状体样本m对应的形状模板被定义为如下公式：
f(cm,θ)＝||cm-pθ||
其中，Pθ表示晶状体样本m的对称轴与晶状体样本m的边界的交点坐标，θ从基准线(图3中虚线)开始，以预设角度5度旋转，通过这种方式，可以将不同图像中的边界编译为如图4所示。在图4中，横轴表示θ，纵轴表示||cm-pθ||。使用晶状体样本m的归一化参数zm＝||cm-pm1||对图4所示形状模板进行归一化处理，得到如图5(a)和图5(b)所示的形状模板，其中，图5(a)表示第一形状模板(对称轴逆时针旋转，0度-180度)，图5(b)表示第二形状模板(对称轴逆时针旋转，180度-360度)。
核边界的中间区域为图3中粗线部分；使用预设聚类算法对M个晶状体样本对应的中间区域进行聚类，得到N个形状模板，M和N均为正整数，且M大于N。
可选地，所述预设聚类算法可以包括以下聚类算法中的任一个：K均值(K-mean)算法，模糊C均值(Fuzzy C-means，简称：FCM)聚类算法，等等。其中，对于K-mean算法及FCM聚类算法的详细说明可参考相关技术，此处不再赘述。
跟当前的晶状体分割方法相比，本发明至少具有以下有益效果：
(1)本发明设计一种基于深度学习全自动晶状体结构分割方法，由于数据获取相对困难，所以现行的晶状体分割方式采用的是人工分割的方式，一致性和准确性都依赖于分割人员的经验，所以，一个自动的分割方案对于有效稳定的分割非常有意义。
(2)根据晶状体核的结构特性设计形状模板匹配的方法，使分割结果接近真实的物理结构，考虑晶状体的内部结构上的特征，因此，设计一个形状模板来学习训练样本中的形状，然后对测试数据进行校正，能够有效地对结构进行分割。
(3)使用U形全卷积神经网络分割晶状体结构，网络能够很好的进行训练和学习数据中的特征。
(4)抗干扰能力强，具有较好的泛化能力。
图6为本发明一实施例提供的晶状体分割装置的结构示意图。如图6所示，晶状体分割装置60包括：提取模块61和处理模块62。其中：
该提取模块61，用于从原始图像中提取晶状体图像区域。
该处理模块62，与提取模块61连接，用于通过预设神经网络模型，获得提取模块61得到的晶状体图像区域中的初始晶状体结构；及，采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，所述形状模板是通过对晶状体样本进行训练得到的。
可选地，形状模板可以包括第一形状模板和第二形状模板。其中，所述第一形状模板用于对所述初始晶状体结构的晶状体前核进行边缘平滑处理，所述第二形状模板用于对所述初始晶状体结构的晶状体后核进行边缘平滑处理。
在上述实施例中，所述形状模板的个数为多个，处理模块62在用于采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构时，具体为：计算多个所述形状模板与所述初始晶状体结构的相似度；选取相似度最大的形状模板，对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。
可选地，处理模块62在用于计算多个所述形状模板与所述初始晶状体结构的相似度时，具体用于：
针对每一个所述形状模板，通过以下步骤得到所述形状模板与所述初始晶状体结构的相似度：
计算所述形状模板与所述初始晶状体结构的归一化参数的乘积为第一中间值，所述归一化参数为所述初始晶状体结构的对称轴在旋转过程中对应的所有距离中的最小距离；
计算所述第一中间值与预设偏移量的和为第二中间值；
根据公式(1)对所述初始晶状体结构进行边界编码，得到目标值；
根据所述目标值与所述第二中间值，确定所述相似度；
f(c,θ)＝||c-Pθ|| 公式(1)
其中，c表示所述初始晶状体结构的中心点坐标；Pθ表示所述初始晶状体结构的对称轴与所述初始晶状体结构的边界的交点坐标，其中，θ表示对称轴相对基准线的角度，所述对称轴从基准线开始，以预设角度旋转；||||表示范数符号；{f(c,θ)}表示所述目标值。
进一步地，所述形状模板，可以通过以下方式训练获得：
根据所述晶状体样本的边界点坐标，获取所述晶状体样本的中心点坐标；
获取所述晶状体样本的对称轴与所述晶状体样本的边界的交点坐标，其中，所述对称轴从基准线开始，以预设角度旋转；
根据所述中心点坐标与所述交点坐标，得到所述晶状体样本的中心点到交点的距离；
使用所述晶状体样本的归一化参数对所述距离进行归一化处理，得到所述晶状体样本的核边界，所述归一化参数为所述对称轴旋转过程中对应的所述距离中的最小距离；
提取所述核边界的中间区域；
使用预设聚类算法对M个所述晶状体样本对应的中间区域进行聚类，得到N个形状模板，M和N均为正整数，且M大于N。
其中，所述预设聚类算法包括以下聚类算法中的任一个：K均值算法，FCM聚类算法，等等。
另外，提取模块61可以具体用于：采用canny边缘检测技术，从原始图像中提取晶状体图像区域。
该实施例提供的晶状体分割装置，首先从原始图像中提取晶状体图像区域；然后，通过预设神经网络模型，获得晶状体图像区域中的初始晶状体结构，并采用形状模板对初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，该形状模板是通过对晶状体样本进行训练得到的。通过预设神经网络模型及形状模板可实现对晶状体结构的自动分割，从而在降低人工成本的同时，提高晶状体结构分割的准确度。
图7为本发明另一实施例提供的晶状体分割装置的结构示意图。如图7所示，晶状体分割装置70包括存储器71和处理器72，以及存储在存储器71上可供处理器72执行的计算机程序。处理器72执行计算机程序使得晶状体分割装置70实现如下操作：
从原始图像中提取晶状体图像区域；
通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；
采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，所述形状模板是通过对晶状体样本进行训练得到的。
需说明的是，对于存储器71及处理器72的个数，本发明实施例不对其进行限制，其均可以为一个或多个，图7以一个为例进行图示；存储器71以及处理器72之间，可以通过多种方式进行有线或者无线连接。
一些实施例中，所述形状模板包括第一形状模板和第二形状模板，其中，所述第一形状模板用于对所述初始晶状体结构的晶状体前核进行边缘平滑处理，所述第二形状模板用于对所述初始晶状体结构的晶状体后核进行边缘平滑处理。
可选地，所述形状模板的个数为多个，所述采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，可以包括：计算多个所述形状模板与所述初始晶状体结构的相似度；选取相似度最大的形状模板，对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。
进一步地，所述计算多个所述形状模板与所述初始晶状体结构的相似度，可以包括：针对每一个所述形状模板，通过以下步骤得到所述形状模板与所述初始晶状体结构的相似度：计算所述形状模板与所述初始晶状体结构的归一化参数的乘积为第一中间值，所述归一化参数为所述初始晶状体结构的对称轴在旋转过程中对应的所有距离中的最小距离；计算所述第一中间值与预设偏移量的和为第二中间值；根据公式(1)对所述初始晶状体结构进行边界编码，得到目标值；根据所述目标值与所述第二中间值，确定所述相似度。
可选地，所述形状模板，可以通过以下方式训练获得：根据所述晶状体样本的边界点坐标，获取所述晶状体样本的中心点坐标；获取所述晶状体样本的对称轴与所述晶状体样本的边界的交点坐标，其中，所述对称轴从基准线开始，以预设角度旋转；根据所述中心点坐标与所述交点坐标，得到所述晶状体样本的中心点到交点的距离；使用所述晶状体样本的归一化参数对所述距离进行归一化处理，得到所述晶状体样本的核边界，所述归一化参数为所述对称轴旋转过程中对应的所述距离中的最小距离；提取所述核边界的中间区域；使用预设聚类算法对M个所述晶状体样本对应的中间区域进行聚类，得到N个形状模板，M和N均为正整数，且M大于N。
其中，所述预设聚类算法可以包括以下聚类算法中的任一个：K均值算法，模糊C均值FCM聚类算法。
另外，上述从原始图像中提取晶状体图像区域，可以包括：采用canny边缘检测技术，从原始图像中提取晶状体图像区域。
在上述基础上，进一步地，晶状体分割装置70还可以输出分割后的晶状体结构。因此，晶状体分割装置70还可以包括显示屏73。该显示屏73用于输出分割后的晶状体结构。
其中，显示屏73可以为电容屏、电磁屏或者红外屏。一般而言，显示屏73用于根据处理器72的指示显示数据，还用于接收作用于显示屏73的触摸操作，并将相应的信号发送给处理器72或晶状体分割装置70的其他部件。可选地，当显示屏73为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏73的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器72或晶状体分割装置70的其他部件。
本发明实施例还提供一种计算机可读存储介质，包括计算机可读指令，当处理器读取并执行所述计算机可读指令时，使得所述处理器执行如上述任一实施例中的步骤。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种晶状体分割方法，其特征在于，包括：
从原始图像中提取晶状体图像区域；
通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；
采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，所述形状模板是通过对晶状体样本进行训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述形状模板包括第一形状模板和第二形状模板，其中，所述第一形状模板用于对所述初始晶状体结构的晶状体前核进行边缘平滑处理，所述第二形状模板用于对所述初始晶状体结构的晶状体后核进行边缘平滑处理。
3.根据权利要求1所述的方法，其特征在于，所述形状模板的个数为多个，所述采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，包括：
计算多个所述形状模板与所述初始晶状体结构的相似度；
选取相似度最大的形状模板，对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构。
4.根据权利要求3所述的方法，其特征在于，所述计算多个所述形状模板与所述初始晶状体结构的相似度，包括：
针对每一个所述形状模板，通过以下步骤得到所述形状模板与所述初始晶状体结构的相似度：
计算所述形状模板与所述初始晶状体结构的归一化参数的乘积为第一中间值，所述归一化参数为所述初始晶状体结构的对称轴在旋转过程中对应的所有距离中的最小距离；
计算所述第一中间值与预设偏移量的和为第二中间值；
根据公式(1)对所述初始晶状体结构进行边界编码，得到目标值；
根据所述目标值与所述第二中间值，确定所述相似度；
f(c,θ)＝||c-Pθ|| 公式(1)
其中，c表示所述初始晶状体结构的中心点坐标；Pθ表示所述初始晶状体结构的对称轴与所述初始晶状体结构的边界的交点坐标，其中，θ表示对称轴相对基准线的角度，所述对称轴从基准线开始，以预设角度旋转；||||表示范数符号；{f(c,θ)}表示所述目标值。
5.根据权利要求1所述的方法，其特征在于，所述形状模板，通过以下方式训练获得：
根据所述晶状体样本的边界点坐标，获取所述晶状体样本的中心点坐标；
获取所述晶状体样本的对称轴与所述晶状体样本的边界的交点坐标，其中，所述对称轴从基准线开始，以预设角度旋转；
根据所述中心点坐标与所述交点坐标，得到所述晶状体样本的中心点到交点的距离；
使用所述晶状体样本的归一化参数对所述距离进行归一化处理，得到所述晶状体样本的核边界，所述归一化参数为所述对称轴旋转过程中对应的所述距离中的最小距离；
提取所述核边界的中间区域；
使用预设聚类算法对M个所述晶状体样本对应的中间区域进行聚类，得到N个形状模板，M和N均为正整数，且M大于N。
6.根据权利要求5所述的方法，其特征在于，所述预设聚类算法包括以下聚类算法中的任一个：
K均值算法，模糊C均值FCM聚类算法。
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述从原始图像中提取晶状体图像区域，包括：
采用canny边缘检测技术，从所述原始图像中提取所述晶状体图像区域。
8.一种晶状体分割装置，其特征在于，包括：
提取模块，用于从原始图像中提取晶状体图像区域；
处理模块，用于通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；及，采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，所述形状模板是通过对晶状体样本进行训练得到的。
9.一种晶状体分割装置，其特征在于，包括存储器和处理器，以及存储在所述存储器上可供所述处理器执行的计算机程序；
所述处理器执行所述计算机程序实现如下操作：
从原始图像中提取晶状体图像区域；
通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；
采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，所述形状模板是通过对晶状体样本进行训练得到的。
10.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当处理器读取并执行所述计算机可读指令时，使得所述处理器执行如下操作：
从原始图像中提取晶状体图像区域；
通过预设神经网络模型，获得所述晶状体图像区域中的初始晶状体结构；
采用形状模板对所述初始晶状体结构进行边缘平滑处理，得到分割后的晶状体结构，所述形状模板是通过对晶状体样本进行训练得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910412464.6A CN110176007A (zh) | 2019-05-17 | 2019-05-17 | 晶状体分割方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910412464.6A CN110176007A (zh) | 2019-05-17 | 2019-05-17 | 晶状体分割方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110176007A true CN110176007A (zh) | 2019-08-27 |
Family
ID=67691473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910412464.6A Pending CN110176007A (zh) | 2019-05-17 | 2019-05-17 | 晶状体分割方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110176007A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210404A (zh) * | 2019-12-24 | 2020-05-29 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 晶状体分割难度分类方法及装置 |
| CN115712363A (zh) * | 2022-11-21 | 2023-02-24 | 北京中科睿医信息科技有限公司 | 界面色彩显示方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1776717A (zh) * | 2005-12-01 | 2006-05-24 | 上海交通大学 | 犯罪现场鞋印识别的方法 |
| CN101256631A (zh) * | 2007-02-26 | 2008-09-03 | 富士通株式会社 | 一种字符识别的方法、装置、程序和可读存储介质 |
| CN101719272A (zh) * | 2009-11-26 | 2010-06-02 | 上海大学 | 基于三维改进型脉冲耦合神经网络的三维图像分割方法 |
| CN102254172A (zh) * | 2011-06-16 | 2011-11-23 | 电子科技大学 | 一种基于细胞神经网络和形态学的指纹图像分割方法 |
| CN103984416A (zh) * | 2014-06-10 | 2014-08-13 | 北京邮电大学 | 一种基于加速度传感器的手势识别方法 |
| CN106023220A (zh) * | 2016-05-26 | 2016-10-12 | 史方 | 一种基于深度学习的车辆外观部件图像分割方法 |
| CN106780454A (zh) * | 2016-12-08 | 2017-05-31 | 苏州汉特士视觉科技有限公司 | 基于边缘反投影的视觉定位方法及自动分料上料装置 |
-
2019
- 2019-05-17 CN CN201910412464.6A patent/CN110176007A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1776717A (zh) * | 2005-12-01 | 2006-05-24 | 上海交通大学 | 犯罪现场鞋印识别的方法 |
| CN101256631A (zh) * | 2007-02-26 | 2008-09-03 | 富士通株式会社 | 一种字符识别的方法、装置、程序和可读存储介质 |
| CN101719272A (zh) * | 2009-11-26 | 2010-06-02 | 上海大学 | 基于三维改进型脉冲耦合神经网络的三维图像分割方法 |
| CN102254172A (zh) * | 2011-06-16 | 2011-11-23 | 电子科技大学 | 一种基于细胞神经网络和形态学的指纹图像分割方法 |
| CN103984416A (zh) * | 2014-06-10 | 2014-08-13 | 北京邮电大学 | 一种基于加速度传感器的手势识别方法 |
| CN106023220A (zh) * | 2016-05-26 | 2016-10-12 | 史方 | 一种基于深度学习的车辆外观部件图像分割方法 |
| CN106780454A (zh) * | 2016-12-08 | 2017-05-31 | 苏州汉特士视觉科技有限公司 | 基于边缘反投影的视觉定位方法及自动分料上料装置 |
Non-Patent Citations (1)
| Title |
|---|
| 看准资讯: "黄金比例把明星脸都变成了什么鬼", 《搜狐网》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210404A (zh) * | 2019-12-24 | 2020-05-29 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 晶状体分割难度分类方法及装置 |
| CN115712363A (zh) * | 2022-11-21 | 2023-02-24 | 北京中科睿医信息科技有限公司 | 界面色彩显示方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Computer‐assisted diagnosis for diabetic retinopathy based on fundus images using deep convolutional neural network | |
| Gao et al. | Classification of CT brain images based on deep learning networks | |
| TWI715117B (zh) | 醫療影像處理方法及裝置、電子設備及儲存介質 | |
| US10223610B1 (en) | System and method for detection and classification of findings in images | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| CN104573309B (zh) | 用于计算机辅助诊断的设备和方法 | |
| Van Rikxoort et al. | Automatic lung segmentation from thoracic computed tomography scans using a hybrid approach with error detection | |
| Banar et al. | Towards fully automated third molar development staging in panoramic radiographs | |
| Shao et al. | Brain ventricle parcellation using a deep neural network: Application to patients with ventriculomegaly | |
| US20210236080A1 (en) | Cta large vessel occlusion model | |
| CN106682435A (zh) | 一种多模型融合自动检测医学图像中病变的***及方法 | |
| CN107977952A (zh) | 医学图像分割方法及装置 | |
| CN109872325B (zh) | 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法 | |
| JP2021002338A (ja) | 画像セグメンテーション及び識別のための方法及びシステム | |
| Almotiri et al. | A multi-anatomical retinal structure segmentation system for automatic eye screening using morphological adaptive fuzzy thresholding | |
| US20240185428A1 (en) | Medical Image Analysis Using Neural Networks | |
| Yang et al. | A deep learning segmentation approach in free‐breathing real‐time cardiac magnetic resonance imaging | |
| Sreelakshmy et al. | [Retracted] An Automated Deep Learning Model for the Cerebellum Segmentation from Fetal Brain Images | |
| David et al. | Retinal Blood Vessels and Optic Disc Segmentation Using U‐Net | |
| CN110176007A (zh) | 晶状体分割方法、装置及存储介质 | |
| CN110009641A (zh) | 晶状体分割方法、装置及存储介质 | |
| US11475568B2 (en) | Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus | |
| Li et al. | A deep-learning method for the end-to-end prediction of intracranial aneurysm rupture risk | |
| Zheng et al. | Adaptive segmentation of vertebral bodies from sagittal MR images based on local spatial information and Gaussian weighted chi-square distance | |
| US20220122261A1 (en) | Probabilistic Segmentation of Volumetric Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |
|
| RJ01 | Rejection of invention patent application after publication |