CN113379691A - 一种基于先验引导的乳腺病灶深度学习分割方法 - Google Patents
一种基于先验引导的乳腺病灶深度学习分割方法 Download PDFInfo
- Publication number
- CN113379691A CN113379691A CN202110605271.XA CN202110605271A CN113379691A CN 113379691 A CN113379691 A CN 113379691A CN 202110605271 A CN202110605271 A CN 202110605271A CN 113379691 A CN113379691 A CN 113379691A
- Authority
- CN
- China
- Prior art keywords
- foreground
- image
- feature
- background
- prior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 73
- 210000000481 breast Anatomy 0.000 title claims abstract description 69
- 230000011218 segmentation Effects 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000002604 ultrasonography Methods 0.000 claims abstract description 12
- 230000003595 spectral effect Effects 0.000 claims abstract description 6
- 230000002776 aggregation Effects 0.000 claims description 23
- 238000004220 aggregation Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 4
- 239000011800 void material Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 2
- 206010006187 Breast cancer Diseases 0.000 abstract description 9
- 208000026310 Breast neoplasm Diseases 0.000 abstract description 9
- 238000007781 pre-processing Methods 0.000 abstract description 6
- 230000000295 complement effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 201000005202 lung cancer Diseases 0.000 description 2
- 208000020816 lung neoplasm Diseases 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 231100000504 carcinogenesis Toxicity 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
一种基于先验引导的乳腺病灶深度学习分割方法，包括以下步骤：S1，读取乳腺超声图像数据；S2，获取病灶区域内的至少三个标记点；S3，使用线性光谱聚类超像素方法和多尺度组合分组方法处理图像；S4，通过加权求和的方式得到包含病灶先验信息的前景图像；S5，将前景先验图像取反，获得背景先验图像；S6，利用前景与背景先验图像进行前景与背景特征提取；S7，融合互补的前景与背景特征，输出病灶分割结果。本发明通过预处理获得包含乳腺肿瘤先验信息的图像后，利用U‑Net网络框架对病灶区域进行特征提取。该方法利用前景与背景先验信息的引导，提升超声乳腺病灶的分割精度。该方法分割得到的病灶图像，纹理细节丰富，边缘清晰，图像丢失少。
Description
技术领域
本发明涉及医学影像分析技术领域，特别是涉及一种基于先验引导的乳腺病灶深度学习分割方法。
背景技术
世界卫生组织国际癌症研究机构(IARC)发布了2020年全球最新癌症负担数据。数据显示，全球乳腺癌新发病例高达226万例，超过了肺癌的220万例，乳腺癌取代肺癌，成为全球第一大癌。同时，乳腺癌亦占据女性癌症死亡人数的首位。乳腺癌的早期诊断与治疗是降低乳腺癌死亡率的重要手段。目前，超声成像因其无伤性、高敏感性以及低成本等优势，成为临床应用最为广泛的乳腺检测方法之一。但是，基于乳腺超声图像做出准确的诊断结论对放射医师有着较高的要求，不同医师的诊断结果可能存在着极大差异。因此，用于辅助医生进行临床诊断的计算机辅助诊断***在提出后便引起广泛关注。
在计算机辅助诊断***中，能否对病灶有效分割是辅助判断的重要环节。在现有的深度网络学习方法中，特别是卷积神经网络，已成功地应用于乳腺超声图像的病灶分割。然而，由于周围组织(即背景)与病灶区域(即前景)之间的模式复杂性和强度相似性，给病灶分割带来了挑战。此外，乳腺超声图像的其他特征，如1)外观对比度低，病灶与周围组织的边界模糊，难以分辨；2)病灶的形状和位置差异大，也增加了准确分割病灶的难度。因此，针对现有技术不足，提供一种基于先验引导的乳腺病灶深度学习分割方法，以克服现有技术不足甚为必要。
发明内容
本发明的目的在于避免现有技术的不足之处而提供一种基于先验引导的乳腺病灶深度学习分割方法。该方法通过预处理获得包含乳腺肿瘤先验信息的图像后，利用U-Net网络框架对病灶区域进行特征提取进行精确分割。该方法利用前景与背景先验信息的引导，提升超声乳腺病灶的分割精度。
本发明的上述目的通过以下技术措施实现。
提供一种基于先验引导的乳腺病灶深度学习分割方法，包括以下步骤：
S1，读取乳腺病灶超声原始图像。
S2，在乳腺病灶超声原始图像上随机选目标取病灶区域的至少三个标记点。
S3，使用线性光谱聚类超像素方法处理步骤S2中已标记的乳腺病灶超声原始图像，得到低层级表示图。
使用多尺度组合分组方法处理步骤S2中已标记的乳腺病灶超声原始图像，得到高层级表示图。
S4，利用步骤S2获得的标记点分别选取步骤S3中低层级表示图和高层级表示图的目标区域图像，将选取的两个目标区域的图像进行加权求和，得到前景先验图像。
S5，将步骤S4得到的前景先验图像取反，得到背景先验图像。
S6，将步骤S4得到的前景先验图像与步骤S1中的乳腺病灶超声原始图像共同输入第一学习网络支路，进行前景先验图像特征提取。
将S5得到的背景先验图像与步骤S1中的乳腺病灶超声原始图像共同输入第二学习网络支路，进行背景先验图像特征提取。
S7，在前景先验图像与背景先验图像特征聚合引导模块中，利用前景先验图像特征与背景先验图像特征的互补性，通过背景先验图像特征引导网络提取前景特征，输出最终乳腺病灶分割结果。
具体而言地，步骤S1中，所述乳腺病灶超声原始图像为单通道的二维图像。
优选地，步骤S2中，所述至少三个标记点在乳腺病灶超声原始图像上围成的区域为包含病灶信息的目标区域。
具体而言地，步骤S3中，设置三个不同的超像素块的数目
对所述乳腺病灶超声原始图像I进行处理，得到三个不同尺度下的超像素图像f(I，ni)后，使用三个标记点
分别选取目标区域，以1:1:1的权重对上述三个目标区域的图像进行加权求和，根据公式(1)得到低层级表示图yl。
其中，☉表示标记点选取目标区域的操作；i表示第i次处理设置的超像素块数，ni是设置的三种不同的超像素块数，分别是n1＝8，n2＝15，n3＝50，i＝1，2，3；pj表示步骤S2中选取的三个坐标点p1，p2，p3，j＝1，2，3。
具体而言地，步骤S3中，采用多尺度组合分组方法首先生成多尺度结构图
C表示对象建议图的不同尺度，而后将其恢复到同一尺度后，整合为一个完整的多尺度聚类图像g(I，mi)，使用相同的三个标记点选择目标区域A并将其融合，根据公式(2)得到高层级表示图yh。
其中，mi表示多尺度组合分组方法处理之后所得到对象建议图的第i个超像素块，i＝1，2，3，……，C；pj表示步骤S2中选取的三个坐标点p1，p2，p3，j＝1，2，3。
具体而言地，步骤S4中，所述前景先验图像为包含乳腺病灶先验信息的前景图像。
进一步地，步骤S4中，根据公式(3)将高层级表示图yh与低层级表示图y1以1:2的权重加权求和，得到前景先验图像yf。
yf＝ω1yl+ω2yh……公式(3)。
其中，ω1和ω2分别表示层级表示图y1与高层级表示图yh的像素在前景先验图像yf中的占比。
具体而言地，步骤S5中，根据公式(4)对前景先验图像yf采用取反的操作，得到背景先验图像yb。
其中，
表示取反操作。
优选地，步骤S6中，所述第一学习网络支路为U-net网络，所述第二学习网络支路为U-net网络，所述第一学习网络支路和所述第一学习网络支路的网络结构相同。
优选地，步骤S7中，在前景先验图像与背景先验图像特征聚合引导模块中，通过背景先验图像特征引导网络提取前景特征的具体过程如下：
A1，特征聚合引导模块首先接收来自前景特征和背景特征提取网络支路对应卷积单元的前景特征图与背景特征图，接收到的各个特征图分别经过一次卷积核为1x1的卷积操作强化，并进行前景特征图与背景特征图的通道连接。
A2，对上一个模块的输出图完成2x2上采样后，使用一次空洞率为2的1x1卷积，与步骤A1中强化后的前景特征图与背景特征图进行像素级别求和操作，将得到的前景特征图与背景特征图分别输入到不同支路中继续完成前景特征与背景特征的强化。
A3，步骤A2得到的背景特征图经过三次1x1与一次3x3卷积操作后，其中一路数据作为背景特征输出，用作下一个特征聚合引导模块的背景特征输入样本。
另一路数据在与步骤A2得到的前景特征图融合前，将背景特征图根据公式(5)进行一次自取反操作Θ。
其中，j表示第j个特征聚合引导模块，i表示特征块的第i个通道，i＝1，2，3，……，C，max{·}表示找到第i个通道特征图的最大值。
A4，对步骤A2得到的前景特征图进行1x1和3x3卷积操作。
A5，将步骤A3得到的取反后的背景特征图
在通道维度上与步骤A4得到的前景特征图连接，并通过3x3卷积操作融入至前景特征提取支路中，用作下一个特征聚合引导模块的前景特征输入样本。
本发明首先在乳腺病灶超声原始图像在病灶区域随机标记至少三个标记点，然后分别使用线性光谱聚类超像素方法和多尺度组合分组方法处理原始图像对应得到低层级表示图和高层级表示图。再通过标记点获取上述低层级表示图和高层级表示图的目标区域图像，并以2：1的权重进行求和得到前景先验图像。根据前景图像和背景图像高度互补的性质，再通过取反的操作获得背景先验图像。经过预处理的乳腺病灶超声原始图像，前景与背景初步分离，获得了较好的前景先验图像与背景先验图像。
U-net网络基于编码和解码结构，通过拼接的方式实现图像特征融合，网络结构简明且稳定。相比其它卷积神经网络模型，U-net的操作更简单，处理更方便。本发明利用两个独立的U-net网络分别对经过图像预处理的特征显著的前景先验图像与背景先验图像进行特征提取，能够进一步提高U-net网络对前景图像的特征提取，有利于原始图像的病灶分割。
本发明还设计了前景图像特征与背景图像特征聚合引导模块，利用前景图像特征与背景图像特征的高度互补性，还利用了背景图像(病灶)特征比前景图像(周边组织)特征纹理信息更丰富的优势，充分利用了病灶外的信息，通过背景显著表示来辅助前景分割，引导网络更好地提取病灶特征，取得了良好的分割效果。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1是本发明基于先验引导的超声乳腺病灶深度学习分割方法的流程框图；
图2是本发明的U-net网络框架图；
图3是本发明的特征聚合引导模块的工作流程图；
图4是经本发明步骤S3处理的部分前景与背景显著实例图；
图5是本发明的基于先验引导的超声乳腺病灶深度学习分割方法处理的部分分割结果与标签法、U-Net法的乳腺病灶分割效果对比展示图。
具体实施方式
结合以下实施例对本发明作进一步说明。
实施例1。
一种基于先验引导的乳腺病灶深度学习分割方法，图1示出了本发明方法的具体流程，包括以下步骤：
S1，读取乳腺病灶超声原始图像I。该图像数据由专用的超声成像设备采集得到，为单通道二维图像。
S2，在乳腺病灶超声原始图像I上随机选目标取病灶区域的至少三个标记点。需要说明的是，标记点数目的选择并无严格规定，一般而言，标记点越多，由标记点围成的区域越有利于精确分割病灶。但是，标记点数目增多也会提高运算的复杂程度，延长运算时间。三个标记点是确定一个区域的最少点数。经本发明的方法实践所得，选择三个标记点在耗时较少的情况下能够取得较理想结果。标记点的选取需由经验丰富的医学影像分析专业人士完成，确保所选取的标记点在乳腺病灶超声原始图像I上围成的区域为包含病灶信息的目标区域。
S3，使用线性光谱聚类超像素方法处理步骤S2中已标记的乳腺病灶超声原始图像I，得到低层级表示图yl。具体过程是：对于一张乳腺病灶超声原始图像I，由于乳腺病灶的大小存在着极端差异，为了该显著图生成方法对病灶大小的适应性，设置三个不同的超像素块的数目
对所述乳腺病灶超声原始图像I进行处理，得到三个不同尺度下的超像素图像f(I，ni)后，使用三个标记点
分别选取目标区域，以1:1:1的权重对上述三个目标区域的图像进行加权求和，根据公式(1)得到低层级表示图yl，处理效果如图4所示。
其中，☉表示标记点选取目标区域的操作；i表示第i次处理设置的超像素块数，ni是设置的三种不同的超像素块数，分别是n1＝8，n2＝15，n3＝50，i＝1，2，3；pj表示步骤S2中选取的三个坐标点p1，p2，p3，j＝1，2，3。
对于仅仅使用上述方法处理得到的先验图像yl往往不能较好覆盖病灶区域，且会丢失许多图像潜在的纹理等高层级信息。在此，可以使用多尺度组合分组方法弥补上述方法的不足：从多尺度组合分组方法生成的对象建议图选择包含标记点的目标区域，得到包含丰富纹理信息等的高层级表示图yh，即使用多尺度组合分组方法处理步骤S2中已标记的乳腺病灶超声原始图像，得到高层级表示图yh。具体过程是：采用多尺度组合分组方法首先生成多尺度结构图
C表示对象建议图的不同尺度，而后将其恢复到同一尺度后，整合为一个完整的多尺度聚类图像g(I，mi)，使用相同的三个标记点选择目标区域A并将其融合，根据公式(2)得到高层级表示图yh，处理效果如图4所示。
其中，mi表示多尺度组合分组方法处理之后所得到对象建议图的第i个超像素块，i＝1，2，3，……，C；pj表示步骤S2中选取的三个坐标点p1，p2，p3，j＝1，2，3。
S4，利用步骤S2获得的标记点分别选取步骤S3中低层级表示图yl和高层级表示图yh的目标区域图像。根据公式(3)将选取的高层级表示图yh与低层级表示图yl的目标区域图像以1:2的权重加权求和，得到前景先验图像yf，处理效果如图4所示。该前景先验图像yf为包含乳腺病灶先验信息的前景图像。
yf＝ω1yl+ω2yh……公式(3)。其中，ω1和ω2分别表示层级表示图yl与高层级表示图yh的像素在前景先验图像yf中的占比。
S5，将步骤S4得到的前景先验图像yf，根据公式(4)进行取反操作，得到背景先验图像yb，处理效果如图4所示。
S6，将步骤S4得到的前景先验图像yf与步骤S1中的乳腺病灶超声原始图像I共同输入第一学习网络支路，进行前景先验图像yf特征提取。
将S5得到的背景先验图像yb与步骤S1中的乳腺病灶超声原始图像I共同输入第二学习网络支路，进行背景先验图像yb特征提取。
第一学习网络支路为U-net网络，第二学习网络支路为U-net网络，第一学习网络支路和第一学习网络支路的网络结构相同。U-Net网络框架由两部分组成，提取图像高维特征的编码部分和恢复图像分辨率产生分割结果的解码部分。每一部分由四个卷积单元组成，每个卷积单元包含三个相同卷积核的二维卷积操作，每一次卷积操作之后进行一次归一化和激活操作。完成三次卷积操作之后，将会进行一次池化(降维)或上采样(恢复分辨率)的操作，构成一个完整的特征提取与恢复分辨率的网络框架。
本发明用于前景特征提取与背景特征提取的基础网络框架为U-Net，U-Net网络模型的参数配置表见表1。本发明的两个U-Net网络框架结构如图2所示。
表1提取前景与背景特征的U-Net模型参数配置表
S7，在前景先验图像与背景先验图像特征聚合引导模块中，利用前景先验图像特征与背景先验图像特征的互补性，通过背景先验图像特征引导网络提取前景特征，输出最终乳腺病灶分割结果。如图3所示，该特征聚合引导模块中，通过背景先验图像特征引导网络提取前景特征的具体过程如下：
A1，特征聚合引导模块首先接收来自前景特征和背景特征提取网络支路对应卷积单元的前景特征图与背景特征图，接收到的各个特征图分别经过一次卷积核为1x1的卷积操作强化，并进行前景特征图与背景特征图的通道连接。
A2，对上一个模块的输出图完成2x2上采样后，使用一次空洞率为2的1x1卷积，与步骤A1中强化后的前景特征图与背景特征图进行像素级别求和操作，将得到的前景特征图与背景特征图分别输入到不同支路中继续完成前景特征与背景特征的强化。
A3，步骤A2得到的背景特征图经过三次1x1与一次3x3卷积操作后，其中一路数据作为背景特征输出，用作下一个特征聚合引导模块的背景特征输入样本。
另一路数据在与步骤A2得到的前景特征图融合前，将背景特征图根据公式(5)进行一次自取反操作Θ；
其中，j表示第j个特征聚合引导模块，i表示特征块的第i个通道，i＝1，2，3，……，C，max{·}表示找到第i个通道特征图的最大值。
该取反过程具体是该过程具体是以通道C为单位，找到背景特征图Bj中的每张特征图
的最大值，将其与该通道的最大像素值进行像素级别的减法操作，在C张特征图上完成上述操作后最终得到取反后的特征图
A4，对步骤A2得到的前景特征图进行1x1和3x3卷积操作。
A5，将步骤A3得到的取反后的背景特征图
在通道维度上与步骤A4得到的前景特征图连接，并通过3x3卷积操作融入至前景特征提取支路中，用作下一个特征聚合引导模块的前景特征输入样本。图3中的剩余两个接近输出端的连接操作
是为了防止多层非线性特征映射后的特征消失。
本发明设置特征聚合引导模块连接两个独立的U-net网络，充分利用提取的背景特征，增强U-net网络提取前景特征的能力，引导U-net网络更好的学习前景特征。
本发明首先在乳腺病灶超声原始图像在病灶区域随机标记至少三个标记点，然后分别使用线性光谱聚类超像素方法和多尺度组合分组方法处理原始图像对应得到低层级表示图和高层级表示图。再通过标记点获取上述低层级表示图和高层级表示图的目标区域图像，并以2：1的权重进行求和得到前景先验图像。根据前景图像和背景图像高度互补的性质，再通过取反的操作获得背景先验图像。经过预处理的乳腺病灶超声原始图像，前景与背景初步分离，获得了较好的前景先验图像与背景先验图像。
U-net网络基于编码和解码结构，通过拼接的方式实现图像特征融合，网络结构简明且稳定。相比其它卷积神经网络模型，U-net的操作更简单，处理更方便。本发明利用两个独立的U-net网络分别对经过图像预处理的特征显著的前景先验图像与背景先验图像进行特征提取，能够进一步提高U-net网络对前景图像的特征提取，有利于原始图像的病灶分割。
本发明还设计了前景图像特征与背景图像特征聚合引导模块，利用前景图像特征与背景图像特征的高度互补性，还利用了背景图像(病灶)特征比前景图像(周边组织)特征纹理信息更丰富的优势，充分利用了病灶外的信息，通过背景显著表示来辅助前景分割，引导网络更好地提取病灶特征，取得了良好的分割效果。
本发明通过预处理获得包含乳腺肿瘤先验信息的图像后，利用U-Net网络框架对病灶区域进行特征提取。该方法利用前景与背景先验信息的引导，提升超声乳腺病灶的分割精度。该方法分割得到的病灶图像，纹理细节丰富，边缘清晰，图像丢失少。
实施例2。
应用步骤如实施例1的基于先验引导的乳腺病灶深度学习分割方法、标签法和U-net法对三个数据集进行病灶分割结果，如图5所示。本发明与标签法比较，本发明分割所得病灶图像范围更精确，边缘更清晰，纹理信息更丰富。本发明与传统单个U-net分割图像的方法比较，本发明分割所得病灶图像区域更连贯，图像数据丢失少。本发明通过特征聚合引导模块连接两个U-net网络，提取图像特征的能力比单个U-net网络强。
本发明通过预处理获得包含乳腺肿瘤先验信息的图像后，利用U-Net网络框架对病灶区域进行特征提取进行精确分割。该方法利用前景与背景先验信息的引导，提升超声乳腺病灶的分割精度。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (10)
1.一种基于先验引导的乳腺病灶深度学习分割方法，其特征在于，包括以下步骤：
S1，读取乳腺病灶超声原始图像；
S2，在乳腺病灶超声原始图像上随机选目标取病灶区域的至少三个标记点；
S3，使用线性光谱聚类超像素方法处理步骤S2中已标记的乳腺病灶超声原始图像，得到低层级表示图；
使用多尺度组合分组方法处理步骤S2中已标记的乳腺病灶超声原始图像，得到高层级表示图；
S4，利用步骤S2获得的标记点分别选取步骤S3中低层级表示图和高层级表示图的目标区域图像，将选取的两个目标区域的图像进行加权求和，得到前景先验图像；
S5，将步骤S4得到的前景先验图像取反，得到背景先验图像；
S6，将步骤S4得到的前景先验图像与步骤S1中的乳腺病灶超声原始图像共同输入第一学习网络支路，进行前景先验图像特征提取；
将S5得到的背景先验图像与步骤S1中的乳腺病灶超声原始图像共同输入第二学习网络支路，进行背景先验图像特征提取；
S7，在前景先验图像与背景先验图像特征聚合引导模块中，利用前景先验图像特征与背景先验图像特征的互补性，通过背景先验图像特征引导网络提取前景特征，输出最终乳腺病灶分割结果。
2.根据权利要求1所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S1中，所述乳腺病灶超声原始图像为单通道的二维图像。
3.根据权利要求1所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S2中，所述至少三个标记点在乳腺病灶超声原始图像上围成的区域为包含病灶信息的目标区域。
4.根据权利要求1所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S3中，设置三个不同的超像素块的数目
对所述乳腺病灶超声原始图像I进行处理，得到三个不同尺度下的超像素图像f(I，ni)后，使用三个标记点
分别选取目标区域，以1:1:1的权重对上述三个目标区域的图像进行加权求和，根据公式(1)得到低层级表示图yl；
其中，☉表示标记点选取目标区域的操作；i表示第i次处理设置的超像素块数，ni是设置的三种不同的超像素块数，分别是n1＝8，n2＝15，n3＝50，i＝1，2，3；pj表示步骤S2中选取的三个坐标点p1，p2，p3，j＝1，2，3。
5.根据权利要求4所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S3中，采用多尺度组合分组方法首先生成多尺度结构图
C表示对象建议图的不同尺度，而后将其恢复到同一尺度后，整合为一个完整的多尺度聚类图像g(I，mi)，使用相同的三个标记点选择目标区域A并将其融合，根据公式(2)得到高层级表示图yh；
其中，mi表示多尺度组合分组方法处理之后所得到对象建议图的第i个超像素块，i＝1，2，3，……，C；pj表示步骤S2中选取的三个坐标点p1，p2，p3，j＝1，2，3。
6.根据权利要求1所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S4中，所述前景先验图像为包含乳腺病灶先验信息的前景图像。
7.根据权利要求6所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S4中，根据公式(3)将高层级表示图yh与低层级表示图yl以1:2的权重加权求和，得到前景先验图像yf；
yf＝ω1yl+ω2yh……公式(3)；
其中，ω1和ω2分别表示层级表示图yl与高层级表示图yh的像素在前景先验图像yf中的占比。
8.根据权利要求1所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S5中，根据公式(4)对前景先验图像yf采用取反的操作，得到背景先验图像yb；
其中，
表示取反操作。
9.根据权利要求1所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S6中，所述第一学习网络支路为U-net网络，所述第二学习网络支路为U-net网络，所述第一学习网络支路和所述第一学习网络支路的网络结构相同。
10.根据权利要求1所述的基于先验引导的乳腺病灶深度学习分割方法，其特征在于，步骤S7中，在前景先验图像与背景先验图像特征聚合引导模块中，通过背景先验图像特征引导网络提取前景特征的具体过程如下：
A1，特征聚合引导模块首先接收来自前景特征和背景特征提取网络支路对应卷积单元的前景特征图与背景特征图，接收到的各个特征图分别经过一次卷积核为1x1的卷积操作强化，并进行前景特征图与背景特征图的通道连接；
A2，对上一个模块的输出图完成2x2上采样后，使用一次空洞率为2的1x1卷积，与步骤A1中强化后的前景特征图与背景特征图进行像素级别求和操作，将得到的前景特征图与背景特征图分别输入到不同支路中继续完成前景特征与背景特征的强化；
A3，步骤A2得到的背景特征图经过三次1x1与一次3x3卷积操作后，其中一路数据作为背景特征输出，用作下一个特征聚合引导模块的背景特征输入样本；
另一路数据在与步骤A2得到的前景特征图融合前，将背景特征图根据公式(5)进行一次自取反操作Θ；
其中，j表示第j个特征聚合引导模块，i表示特征块的第i个通道，i＝1，2，3，……，C，max{·}表示找到第i个通道特征图的最大值；
A4，对步骤A2得到的前景特征图进行1x1和3x3卷积操作；
A5，将步骤A3得到的取反后的背景特征图
在通道维度上与步骤A4得到的前景特征图连接，并通过3x3卷积操作融入至前景特征提取支路中，用作下一个特征聚合引导模块的前景特征输入样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605271.XA CN113379691B (zh) | 2021-05-31 | 2021-05-31 | 一种基于先验引导的乳腺病灶深度学习分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605271.XA CN113379691B (zh) | 2021-05-31 | 2021-05-31 | 一种基于先验引导的乳腺病灶深度学习分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379691A true CN113379691A (zh) | 2021-09-10 |
| CN113379691B CN113379691B (zh) | 2022-06-24 |
Family
ID=77575291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110605271.XA Active CN113379691B (zh) | 2021-05-31 | 2021-05-31 | 一种基于先验引导的乳腺病灶深度学习分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379691B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332572A (zh) * | 2021-12-15 | 2022-04-12 | 南方医科大学 | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002118843A (ja) * | 1999-09-24 | 2002-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 背景スプライトと前景オブジェクトの分離方法、及び前景の形状マスク抽出方法、並びにその装置 |
| CN106203430A (zh) * | 2016-07-07 | 2016-12-07 | 北京航空航天大学 | 一种基于前景聚集度和背景先验的显著性物体检测方法 |
| CN110163188A (zh) * | 2019-06-10 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 |
| CN110246141A (zh) * | 2019-06-13 | 2019-09-17 | 大连海事大学 | 一种基于联合角点池化的复杂交通场景下车辆图像分割方法 |
| CN111369582A (zh) * | 2020-03-06 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 图像分割方法、背景替换方法、装置、设备及存储介质 |
| CN111815582A (zh) * | 2020-06-28 | 2020-10-23 | 江苏科技大学 | 改进背景先验和前景先验的二维码区域检测方法 |
| CN111931787A (zh) * | 2020-07-22 | 2020-11-13 | 杭州电子科技大学 | 一种基于特征聚合的rgbd显著性检测方法 |
| CN112785603A (zh) * | 2021-01-15 | 2021-05-11 | 沈阳建筑大学 | 一种基于Unet和超像素的脑组织分割方法 |
-
2021
- 2021-05-31 CN CN202110605271.XA patent/CN113379691B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002118843A (ja) * | 1999-09-24 | 2002-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 背景スプライトと前景オブジェクトの分離方法、及び前景の形状マスク抽出方法、並びにその装置 |
| CN106203430A (zh) * | 2016-07-07 | 2016-12-07 | 北京航空航天大学 | 一种基于前景聚集度和背景先验的显著性物体检测方法 |
| CN110163188A (zh) * | 2019-06-10 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 |
| CN110246141A (zh) * | 2019-06-13 | 2019-09-17 | 大连海事大学 | 一种基于联合角点池化的复杂交通场景下车辆图像分割方法 |
| CN111369582A (zh) * | 2020-03-06 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 图像分割方法、背景替换方法、装置、设备及存储介质 |
| CN111815582A (zh) * | 2020-06-28 | 2020-10-23 | 江苏科技大学 | 改进背景先验和前景先验的二维码区域检测方法 |
| CN111931787A (zh) * | 2020-07-22 | 2020-11-13 | 杭州电子科技大学 | 一种基于特征聚合的rgbd显著性检测方法 |
| CN112785603A (zh) * | 2021-01-15 | 2021-05-11 | 沈阳建筑大学 | 一种基于Unet和超像素的脑组织分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHENYUAN NING，YU ZHANG ET AL.: "CF2-Net: Coarse-to-Fine Fusion Convolutional Network for", 《HTTPS://ARXIV.ORG/ABS/2003.10144》 * |
| 丁陈梅等: "基于多尺度超像素和图割的交互式图像分割算法", 《计算机与数字工程》 * |
| 黄永豪: "基于超像素分类与多尺度注意力机制的乳腺超声图像分割算法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 医药卫生科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332572A (zh) * | 2021-12-15 | 2022-04-12 | 南方医科大学 | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 |
| CN114332572B (zh) * | 2021-12-15 | 2024-03-26 | 南方医科大学 | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379691B (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和*** | |
| CN110111313B (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| Tang et al. | E 2 Net: An edge enhanced network for accurate liver and tumor segmentation on CT scans | |
| CN107909585B (zh) | 一种血管内超声影像的血管中内膜分割方法 | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断*** | |
| Shen et al. | An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy | |
| CN112950651B (zh) | 基于深度学习网络的纵隔淋巴引流区的自动勾画方法 | |
| Li et al. | Automatic cardiothoracic ratio calculation with deep learning | |
| Ying et al. | Thyroid nodule segmentation in ultrasound images based on cascaded convolutional neural network | |
| Tang et al. | High-resolution 3D abdominal segmentation with random patch network fusion | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断*** | |
| CN107451615A (zh) | 基于Faster RCNN的甲状腺***状癌超声图像识别方法及*** | |
| CN112348082B (zh) | 深度学习模型构建方法、影像处理方法及可读存储介质 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能*** | |
| CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
| CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及*** | |
| EP4141790A1 (en) | Method, device and system for automated segmentation of prostate in medical images for tumor detection | |
| EP4118617A1 (en) | Automated detection of tumors based on image processing | |
| Maity et al. | Automatic lung parenchyma segmentation using a deep convolutional neural network from chest X-rays | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及*** | |
| CN117078930A (zh) | 基于边界感知和注意力机制的医学图像分割方法 | |
| Oulefki et al. | Virtual Reality visualization for computerized COVID-19 lesion segmentation and interpretation | |
| CN113379691B (zh) | 一种基于先验引导的乳腺病灶深度学习分割方法 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |