CN111179277A - 一种无监督自适应乳腺病变分割方法 - Google Patents
一种无监督自适应乳腺病变分割方法 Download PDFInfo
- Publication number
- CN111179277A CN111179277A CN201911264888.9A CN201911264888A CN111179277A CN 111179277 A CN111179277 A CN 111179277A CN 201911264888 A CN201911264888 A CN 201911264888A CN 111179277 A CN111179277 A CN 111179277A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- domain
- target domain
- domain image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000011218 segmentation Effects 0.000 title abstract description 19
- 230000003902 lesion Effects 0.000 title description 10
- 210000005075 mammary gland Anatomy 0.000 title description 4
- 238000003709 image segmentation Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 38
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 206010028980 Neoplasm Diseases 0.000 claims description 32
- 230000003044 adaptive effect Effects 0.000 claims description 21
- 206010006187 Breast cancer Diseases 0.000 claims description 19
- 208000026310 Breast neoplasm Diseases 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 17
- 210000000481 breast Anatomy 0.000 claims description 15
- 201000011510 cancer Diseases 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000013508 migration Methods 0.000 abstract description 3
- 230000005012 migration Effects 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 16
- 210000001519 tissue Anatomy 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种无监督领域自适应图像分割方法。将目标域图像进行转换，使得其语义信息保留，图像浅层信息以源域图像为特征进行重建；然后利用源域图像建立的分割模型对于转换和重建后的目标域图像进行图像判别，从而在无新数据标注的前提下，实现模型的不同领域数据集间的迁移。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种基于无监督的自适应性乳腺病变分割方法。
背景技术
乳腺癌是女性发病率最高的癌症，早诊断和早治疗可以有效提升乳腺癌患者的长期生存率。磁共振成像(Magnetic Resonance Imaging，MRI)作为一种多参数、多对比度的成像技术，可以反映组织T1、T2和质子密度等多种特性，具有分辨率和灵敏度高的优点，已经成为乳腺癌早期筛查的重要工具之一。乳腺MRI技术已经越来越多的应用于临床实践，尤其是乳腺癌的早期筛查中。
乳腺癌MRI的筛查中，通过计算机辅助上述图像分析为本领域的发展趋势和核心技术问题。早期的医学图像分割最初采用边缘检测、纹理特征、形态滤波等，但是需要大量的手工标注和针对性分析，其解决深层结构和自适应性能力有限。而近些年间以深度学习为代表的机器学习算法，在图像识别、图像分割等预测方面取得了突破性进展，以深度神经网络(DNN，deep neural network)和卷积神经网络(Convolutional neural networks，CNNs)为代表的多种深度学习算法不断取得重大进展，在医学图像的图像分割包括其他图像分析方法中的应用，也是本领域的发展趋势。
乳腺癌的早期筛查中，病变区域和其它区域的图像分割是后续深入分析的前提，现有的图像分割技术多采用有监督的深度学习方式，即训练集中为已经对于病变区域和健康区域进行标注，通过对已知样本进行训练得到训练模型或训练网络后，再对于目标图像进行判别。但是，即使是同类型图像数据，如磁共振图像，若两个数据集使用的图像采集***或者参数设置不一致，由于数据分布差异，在一个数据集上训练的深度学习分割网络很难在另一个数据集上获得很好的分割结果。
具体到乳腺癌MRI筛查领域，不同中心使用的磁共振扫描***或磁共振成像序列可能不一致，导致采集的数据存在分布差异。该差异使得已经训练好的MRI图像分割模型在另外的***或参数下不能保证稳定的判别效果。
其中一种解决方案为：针对不同的磁共振扫描***或者不同的参数得到的成像序列分别进行手工标注，即对于每个新的条件下的数据集进行重新训练和有监督学习，以保证在每个数据集中的效果。此种方法的缺点是图像分割的标注非常耗时，并且医学图像的标注需要很强的专业知识和经验，无法实现低成本批量人工标注，并且标注的标准也很难控制和统一。
另一种解决方案是针对新的目标数据集进行已训练分割网络模型的参数微调，但此种方法需要算法设计人员的参与，且微调依然需要医学专业知识的配合，无法做到已训练好的模型在其它数据集中的无监督应用。
发明内容
为了解决上述背景技术中提到的分割模型在领域间泛化能力差的缺点，本发明提出了一种无监督领域自适应图像分割方法。将目标域图像进行转换，使得其语义信息保留，图像浅层信息以源域图像为特征进行重建；然后利用源域图像建立的分割模型对于转换和重建后的目标域图像进行图像判别，从而实现在无新数据标注的前提下，实现模型的不同领域数据集间的迁移。
根据本发明的第一个方面，提供了一种基于图像重建和图像判别领域间图像风格的转换网络方法。
S101：获得源域图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域；
获得目标域图像集中的目标域图像，所述目标域图像具有或不具有类似所述源域图像集中特征区域的待分割区域；
以所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
S102：以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre。
S103：以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl判别，并根据图像域判别网络Ncl的损失数据，来优化和调节重建网络Nre的参数。
S104：重复S103的步骤，对于重建网络Nre进行不断优化直到设定条件为止，优化后重建网络即为转换网络Ntr。
所述S104中，所述设定条件为：所述图像域判别网络Ncl的损失数据小于预设值。
根据本发明提出的转换网络Ntr，可以将目标域中的图像P，转换为保留图像信息但具有源域风格的图像P’。
根据本发明的第二个方面，提出了建立基于浅层语义特征的领域间图像分布自适应模型的方法：
S201：获得源域图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域；
获得目标域图像集中的目标域图像，所述目标域图像具有或不具有类似所述源域图像集中特征区域的待分割区域；
以所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
S202：以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre。所述重建后的图像信息中包含对应于图像浅层信息M1及深层语义信息M2，所述图像重建网络Nre中包含对应于图像浅层信息M1的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2。
S203：以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl进行判别，并根据图像域判别网络Ncl的损失数据，对于所述浅层信息模块nm1的参数进行优化和调节，所述语义信息模块nm2的参数保持不变。
S204：重复S203的步骤，对于重建网络Nre进行不断优化直到设定条件为止，优化后重建网络即为转换网络Ntr。
优选的，S201中用交叉熵损失函数作为损失函数进行训练，所述图像域判别网络Ncl为残差网络。
优选的，S202中的重建网络的损失函数为L2 Loss函数；
优选的，S202中的重建网络可采用编解码结构；
优选的，S203中图像域判别网络Ncl的损失数据采用交叉熵损失；
优选的，S204中所述设定条件为：所述图像域判别网络Ncl的损失数据小于预设值。
根据本发明提出的基于浅层语义特征的领域间图像分布自适应模型的方法，可以将目标域中的图像P，转换为保留图像深层语义信息，但在浅层特征中具有源域风格的图像P’。
根据本发明的第三个方面，提供了一种无监督自适应的图像分割方法。
S301：获得源域图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域；
获得目标域图像集中的目标域图像，所述目标域图像具有或不具有类似所述源域图像集中特征区域的待分割区域；
以所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
S302：以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre。所述重建后的图像信息中包含对应于图像浅层信息M1及深层语义信息M2，所述图像重建网络Nre中包含对应于图像浅层信息M1的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2。
S303：以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl进行判别，并根据图像域判别网络Ncl的损失数据，对于所述浅层信息模块nm1的参数进行优化和调节，所述语义信息模块nm2的参数保持不变。
S304：重复S303的步骤，对于重建网络Nre进行不断优化直到设定条件为止，优化后重建网络即为转换网络Ntr。
S305：基于源域图像集及其已标注过的特征区域，通过机器学习训练出针对于特征区域和非特征区域的图像分割网络Nse。
S306：将目标域图像集中待分析的图像P，通过转换网络Ntr进行转换为具有源域风格且保留语义信息的转换图像P’。
S307：采用所述图像分割网络Nse对上述转换图像P’进行图像分割。
优选的，S301中用交叉熵损失函数作为损失函数进行训练，所述图像域判别网络Ncl为残差网络。
优选的，S302中的重建网络的损失函数为L2 Loss函数；
优选的，S302中的重建网络可采用编解码结构；
优选的，S303中图像域判别网络Ncl的损失数据采用交叉熵损失；
优选的，S304中所述设定条件为：所述图像域判别网络Ncl的损失数据小于预设值；
优选的，S305中，其图像分割网络的训练采用UNet算法；
优选的，S305中，其图像分割网络的训练采用UNet算法结合注意力机制和/或多尺度特征表达。
根据本发明提出的上述图像分割方法，实现了从有标注的源域图像到无标注的目标域图像的图像分割方法的无监督自适应，实现了无监督的目标域图像分割的任务。
根据本发明的第四个方面，提供了一种乳腺癌筛查自适应图像分割方法。
S401：获得源域图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域，所述源域图像集为经过标记的乳腺MRI图像，所述特征区域为进行标记的肿块或癌组织区域；
获得目标域图像集中的目标域图像，所述目标域图像为未经过标记的乳腺MRI图像，所述目标域图像中可能含有对应肿块或癌组织区域的图像部分；
以所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
S402：以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre。所述重建后的图像信息中包含对应于图像浅层信息M1及深层语义信息M2，所述图像重建网络Nre中包含对应于图像浅层信息M1的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2。
S403：以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl进行判别，并根据图像域判别网络Ncl的损失数据，对于所述浅层信息模块nm1的参数进行优化和调节，所述语义信息模块nm2的参数保持不变。
S404：重复S403的步骤，对于重建网络Nre进行不断优化直到设定条件为止，优化后重建网络即为转换网络Ntr。
S405：基于源域图像集及其已标注过的特征区域，通过机器学习训练出针对于特征区域和非特征区域的图像分割网络Nse。
S406：将目标域图像集中待分析的图像P，通过转换网络Ntr进行转换为具有源域风格且保留语义信息的转换图像P’，
S407：采用所述图像分割网络Nse对上述转换图像P’进行图像分割，图像分割后的所对应的特征区域，即为疑似乳腺癌筛查的肿块或癌组织的图像区域。
优选的，S401中用交叉熵损失函数作为损失函数进行训练，所述图像域判别网络Ncl为残差网络。
优选的，S402中的重建网络的损失函数为L2 Loss函数；
优选的，S402中的重建网络可采用编解码结构；
优选的，S403中图像域判别网络Ncl的损失数据采用交叉熵损失；
优选的，S404中所述设定条件为：所述图像域判别网络Ncl的损失数据小于预设值；
优选的，S405中，其图像分割网络的训练采用UNet算法；
优选的，S405中，其图像分割网络的训练采用UNet算法结合注意力机制和/或多尺度特征表达。
根据本发明提出的上述乳腺癌筛查自适应图像分割方法，实现了从有标注的源域图像到无标注的目标域图像的乳腺病变区域分割方法的无监督自适应，完成了无监督的目标域图像分割任务。
根据本发明的第五个方面，提供了一种基于自适应图像分割的乳腺癌筛查装置，包括：
获取单元，用于获取源图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域，所述源域图像集为经过标记的乳腺MRI图像，所述特征区域为进行标记的肿块或癌组织区域；
还用于获取目标域图像集中的目标域图像，所述目标域图像为未经过标记的乳腺MRI图像，所述目标域图像中可能含有对应肿块或癌组织区域的图像部分；
图像域判别单元，用于以获取单元获取的所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
图像重建单元，以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre。所述重建后的图像信息中包含对应于图像浅层信息及深层语义信息，所述图像重建网络Nre中包含对应于图像浅层信息的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2；
图像转换网络优化单元，以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl进行判别，并根据图像域判别网络Ncl的损失数据，对于所述浅层信息模块nm1的参数进行优化和调节，所述语义信息模块nm2的参数保持不变；重复优化和调节过程直到设定条件为止，优化后重建网络作为转换网络Ntr；
源域图像分割网络训练单元，用于源域图像集及其已标注过的特征区域，通过机器学习训练出针对于特征区域和非特征区域的图像分割网络Nse；
目标域图像分割单元，将目标域图像集中待分析的图像P，通过转换网络Ntr进行转换为具有源域风格且保留语义信息的转换图像P’，采用所述图像分割网络Nse对上述转换图像P’进行图像分割；图像分割后的所对应的特征区域，即为疑似乳腺癌筛查的肿块或癌组织的图像区域。
优选的，所述图像域判别单元中，用交叉熵损失函数作为损失函数进行训练，所述图像域判别网络Ncl为残差网络。
优选的，所述图像转换网络优化单元中，所述设定条件为：所述图像域判别网络Ncl的损失数据小于预设值；
由此，本发明提出无监督的领域自适应乳腺病变分割方法，通过对新数据进行数据域转换，迫使新的数据接近已有数据集分布，从而实现分割网络的无监督领域自适应迁移。基于本方法，即使新数据集与有标注数据集存在差异，也无需对新数据集中图像进行标注，而可以直接将在有标注数据集上训练的乳腺病变分割网络自适应到新数据集并取得很好的分割效果。
因此，本发明解决了现有技术对于每一套使用特定实验参数采集的乳腺磁共振图像数据，都需要医生进行完全或部分数据标注，才能得到适应待处理数据集的分割模型，整套流程耗时耗力，成本高的缺点。本方法在一个有标注的数据集的辅助下，可以实现新数据集的无监督分割，降低了图像标注的经济成本，模型的直接优化应用也可以节约时间成本。
附图说明
图1示出了不同领域间图像自适应转换方法的示意图；
图2示出了自适应图像分割方法的示意图；
图3示意图像分割模型UNet的典型结构；
图4示出了基于自适应图像分割的乳腺癌筛查装置的示意图；
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
如图1所示，本发明提出的一种不同领域间图像自适应转换方法，基于本方法，即使新的数据集与标注数据集存在差异，也不需对于新数据集中图像进行标注，而是通过图像转换在两个数据集中进行自适应学习。从而使得未标注的数据集通过自适应转换，保留其高阶语义信息，而其图像风格、纹理、亮度等浅层表征转换为标注数据集的特征，从而可以直接将在标注数据集中训练好的网络模型直接应用至新的数据集中。
根据本发明的一个实施例的自适应图像转换方法中，包括如下的步骤:
首先，需要一个含有标注的数据集作为源域图像，该数据集可视为一个图集，后面其他数据集都以此数据集为模板。目标域的图像，例如一个没有标注的待分析的图像集，一般为待图像分析例如分类或图像分割的图像数据集。
需要注意的是，源域图像和目标域图像应当为含有类似性质的深层次特征的图像，例如均是同类型事物或者类似场景下拍摄的图像，类似性质的深层次特征使得本自适应图像转换方法有实际的意义。但是源域图像和目标域图像可能呈现不同的表象图像特征，例如光线的深浅、噪音的大小、不同的纹理或者其他的非语义特征。
例如在对于计算机辅助医学图像分析的应用中，源域图像中可以包含一系列已标注过的X光、CT或MRI图像数据，而目标域图像可能是相应的，但是可能不在同一台仪器采集或者不在相同条件下采集的对应X光、CT或MRI图像数据。而源域图像中包含有已进行标记的特征区域，此特征可能为专业医生进行识别或标记的肿块或癌变区域。
首先，要建立图像域判别网络(S301)，利用源域图像和目标域图像作为训练样本输入，建立判别网络对于任意一张新的测试样本图像进行分类，将其分类为源域图像和目标域图像。但是，对于上述分类需要计算其方差、残差或者其他损失以进行后续步骤的调整。
对于上述图像域判别网络训练的分类方法，可以使用深度神经网络中各种经典的分类和判别方法，例如采用残差网络。残差网络是一种卷积识别网络，特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
其中在训练过程中，其判别误差的计算可以采用交叉熵损失函数(CrossEntropy)。交叉熵损失函数特别适用于二分类的模型预测中的训练过程，在计算损失时使得凸优化问题有很好的收敛。给不同图像一个分类标签，如源域图像标签为1，目标域图像标签为0，在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别得到的概率为y和
此时交叉熵表达其损失为：
第二步，进行目标域图像的图像重建的学***等通过前述判别网络的优化，能够逐渐转换为源域图像的风格。
在一个典型的应用中，图像重建网络Nre可以用编解码结构SegNet。SegNet的编码器结构与解码器结构是一一对应的，即一个decoder具有与其对应的encoder相同的空间尺寸和通道数。一个基础SegNet结构，二者各有13个卷积层，其相对于对应的FCN经典图像分割模型来比较，体量要小很多，得益于SegNet中为了权衡计算量而采取的操作：用记录的池化过程的位置信息替代直接的反卷积操作。
图像损失函数可以为L2loss损失进行表达，这也是一般CNN函数损失较为常用的损失函数，因为其收敛速度相较于L1损失更快。
第三步，基于第二步(S302)的重建网络进行优化从而得到转换网络(S303)，其目的是将目标域图像转换到源域图像的风格，拉近两个领域图像的分布，以便后续对目标域图像进行分割等操作。
对于第二步(S302)中以编码器结构为例的重建后图像，包括对应于图像浅层信息M1及深层语义信息M2，相对应的，所述图像重建网络Nre中包含对应于图像浅层信息M1的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2。可以容易的理解，图像浅层信息即之前提到的图像风格亮度、纹理、噪声水平等，而深层信息例如医学图像中肿瘤的区域及边缘特征。
目标域图像，在经过第二步S302中所得到的经重建网络Nre转换后，可得到生成源域图像。用第一步S301中的图像域判别网络对于所述生成源域图像进行分类判别，判别其转换后的图像是否能够被分类为源域图像。并且针对上述分类判别中所产生的交叉熵函数，作为损失函数来修正和优化上述重建网络Nre中其浅层信息模块nm1的参数，而深层语义信息模块nm2的参数保持不变。在采用编解码结构的实施例中，也就是不断更新重建网络网络编码部分中前两三个编码模块参数，而其余部分保持不变。
将修正参数后的重建网络Nre’的输出继续输入图像域判别网络进行修正，不断重复上述过程，使得重建网络不断被优化为：可以使得目标域图像经重建后的浅层信息越来越逼近源域图像，而深层语义信息不变(S304)。
当达到一定的条件时，一个典型例子是当生成源域图像已经被判别为源域图像的分类，且交叉熵损失已经足够小到小于某阈值时，可以认为重建网络Nre的参数已经被修正和优化到一个可以接受的效果。此时得到的网络即为图像转换网络Ntr。
也就是说，一个未经标记的目标域图像，输入图像转换网络后Ntr后，其输出的图像的表征风格趋于接近源域训练集图像，而能够依然保持自己的深层特征的语义信息。从而可以直接将在标注数据集中训练好的各种网络模型直接应用至新的数据集中。
实施例二
如图2所示，本发明的另一个实施例是用于无监督领域自适应的图像分割方法，具体的可以应用至乳腺病变的MRI图像计算机辅助识别中。其主要分为：建立图像域判别网络(S401)，进行目标域图像的图像重建的学习(S402)，基于重建网络进行优化从而得到转换网络(S403，S404)，对于标注的源域图像进行图像分割网络训练(S405)，将目标域图像通过转换网络进行转换(S406)，之后采用图像分割网络对转换后的目标图像进行图像分割(S407)。
在上述步骤中，S401，S402，S403，S404的步骤都与实施例一种相应步骤相同，不再赘述。
对于标注的源域图像进行图像分割(S405)，是一个典型的基于标注图像进行有监督的图像分割的问题，具体到应用中，即为训练一个有监督的分割网络。其可为现下使用较广泛的医学图像分割网络，例如UNet。
UNet是自诞生以来在图像分割项目中应用最广的模型之一，其采用的编码器(下采样)-解码器(上采样)结构和跳跃连接是一种非常经典的设计方法。目前已有许多新的卷积神经网络设计方式，但很多仍延续了UNet的核心思想，加入了新的模块或者融入其他设计理念。
UNet的结构如图3所示，左侧可视为一个编码器，右侧可视为一个解码器。编码器有四个子模块，每个子模块包含两个卷积层，每个子模块之后有一个通过max pool实现的下采样层。输入图像的分辨率是572x572,第1-5个模块的分辨率分别是572x572,284x284,140x140,68x68和32x32。由于卷积使用的是valid模式，故这里后一个子模块的分辨率等于(前一个子模块的分辨率-4)/2。解码器包含四个子模块，分辨率通过上采样操作依次上升，直到与输入图像的分辨率一致(由于卷积使用的是valid模式，实际输出比输入图像小一些)。该网络还使用了跳跃连接，将上采样结果与编码器中具有相同分辨率的子模块的输出进行连接，作为解码器中下一个子模块的输入。
UNet的网络结构尤其适合医学图像的分割，医学图像边界模糊、梯度复杂，需要较多的高分辨率信息，深度学习可以做到这一点，比如上采样下采样以及跳跃连接；同时待分割的目标形态相似，有规律可循，比如形状近似圆，分布的区域都在某个范围。由于器官本身结构固定和语义信息没有特别丰富，所以高级语义信息和低级特征都显得很重要，此时UNet的跳跃网络和U型结构均很适合上述信息。
此外，在图像分割过程中，可以引入有效的新模块，如UNet加上注意力机制及多尺度特征表达等。
对于待分析的目标图像进行图像转换(S406)：将目标域图像集中待分析的图像P，通过转换网络Ntr进行转换为具有源域风格且保留语义信息的转换图像P’。上述转换网络及经过S402、S403和S404已经训练好的转换网络，也就是其输出的图像的表征风格趋于接近源域训练集图像，而能够依然保持自己的深层特征的语义信息。
进行图像分割并识别结果(S407)：采用S405步骤中建立的图像分割网络对上述转换后的图像P’进行图像分割，图像分割后的所对应的特征区域，在乳腺癌MRI图像的筛查中即为疑似乳腺癌筛查的肿块或癌组织的图像区域。
由以上步骤所提供的方法中，即可实现乳腺磁共振图像的无监督领域自适应病变分割。。
实施例三
参见图4，本实施例提供了一种基于自适应图像分割的乳腺癌筛查装置，包括：
获取单元，用于获取源图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域，所述源域图像集为经过标记的乳腺MRI图像，所述特征区域为进行标记的肿块或癌组织区域；
还用于获取目标域图像集中的目标域图像，所述目标域图像为未经过标记的乳腺MRI图像，所述目标域图像中可能含有对应肿块或癌组织区域的图像部分；
图像域判别单元，用于以获取单元获取的所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
图像重建单元，以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre。所述重建后的图像信息中包含对应于图像浅层信息及深层语义信息，所述图像重建网络Nre中包含对应于图像浅层信息的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2；
图像转换网络优化单元，以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl进行判别，并根据图像域判别网络Ncl的损失数据，对于所述浅层信息模块nm1的参数进行优化和调节，所述语义信息模块nm2的参数保持不变；重复优化和调节过程直到设定条件为止，优化后重建网络作为转换网络Ntr；
源域图像分割网络训练单元，用于源域图像集及其已标注过的特征区域，通过机器学习训练出针对于特征区域和非特征区域的图像分割网络Nse；
目标域图像分割单元，将目标域图像集中待分析的图像P，通过转换网络Ntr进行转换为具有源域风格且保留语义信息的转换图像P’，采用所述图像分割网络Nse对上述转换图像P’进行图像分割；图像分割后的所对应的特征区域，即为疑似乳腺癌筛查的肿块或癌组织的图像区域。
上述装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于模型训练装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行实施例二中相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如附图4中所示的模型训练装置设备，以及来实现本发明实施例的模型训练方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
实施例四
本发明的实施例四提供一种计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由处理器加载并执行前述实施例中的自适应图像分割方法。
本发明各实施例方法中的步骤可根据实际需要进行顺序调整、合并和删减。
本发明各实施例装置中的单元可根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上结合附图详细说明了本发明的技术方案，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于图像重建和图像判别的领域间图像风格的转换网络方法，其特征在于：
包括如下步骤，
S101：获得源域图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域；
获得目标域图像集中的目标域图像，所述目标域图像具有或不具有类似所述源域图像集中特征区域的待分割区域；
以所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
S102：以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre；
S103：以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl判别，并根据图像域判别网络Ncl的损失数据，来优化和调节重建网络Nre的参数；
S104：重复S103的步骤，对于重建网络Nre进行不断优化直到设定条件为止，优化后的重建网络即为转换网络Ntr；
所述转换网络Ntr，可以将目标域中的图像，转换为保留图像信息但具有源域风格的转换图像。
2.一种基于浅层语义特征的建立领域间图像分布自适应模型的方法，其特征在于：
包括如下步骤，
S201：获得源域图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域；
获得目标域图像集中的目标域图像，所述目标域图像具有或不具有类似所述源域图像集中特征区域的待分割区域；
以所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
S202：以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre；所述重建后的图像信息中包含对应于图像浅层信息M1及深层语义信息M2，所述图像重建网络Nre中包含对应于图像浅层信息M1的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2；
S203：以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl进行判别，并根据图像域判别网络Ncl的损失数据，对于所述浅层信息模块nm1的参数进行优化和调节，所述语义信息模块nm2的参数保持不变；
S204：重复S203的步骤，对于重建网络Nre进行不断优化直到设定条件为止，优化后重建网络即为转换网络Ntr，通过转换网络Ntr可建立领域间图像分布自适应模型。
3.一种如权利要求2所述的建立领域间图像分布自适应模型的方法，其特征在于：S201中采用交叉熵损失函数作为损失函数进行训练。
4.一种如权利要求2所述的建立领域间图像分布自适应模型的方法，其特征在于：S202中的重建网络可采用编解码结构。
5.一种如权利要求2所述的建立领域间图像分布自适应模型的方法，其特征在于：S204中所述设定条件为：所述图像域判别网络Ncl的损失数据小于预设值。
6.一种无监督自适应的图像分割方法，其特征在于：
包括如下步骤，
S301：获得源域图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域；
获得目标域图像集中的目标域图像，所述目标域图像具有或不具有类似所述源域图像集中特征区域的待分割区域；
以所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络Ncl；
S302：以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre；所述重建后的图像信息中包含对应于图像浅层信息M1及深层语义信息M2，所述图像重建网络Nre中包含对应于图像浅层信息M1的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2；
S303：以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl进行判别，并根据图像域判别网络Ncl的损失数据，对于所述浅层信息模块nm1的参数进行优化和调节，所述语义信息模块nm2的参数保持不变；
S304：重复S303的步骤，对于重建网络Nre进行不断优化直到设定条件为止，优化后重建网络即为转换网络Ntr；
S305：基于源域图像集及其已标注过的特征区域，通过机器学习训练出针对于特征区域和非特征区域的图像分割网络Nse；
S306：将目标域图像集中待分析的图像P，通过转换网络Ntr进行转换为具有源域风格且保留语义信息的转换图像P’；
S307：采用所述图像分割网络Nse对上述转换图像P’进行图像分割。
7.一种如权利要6所述的无监督自适应的图像分割方法，其特征在于：所述源域图像集为经过标记的乳腺MRI图像，所述特征区域为进行标记的肿块或癌组织区域，所述目标域图像为未经过标记的乳腺MRI图像。
8.一种基于自适应图像分割的乳腺癌筛查装置，其特征在于：
装置包括：
获取单元，用于获取源域图像集中的源域图像，所述源域图像集中的图像包含有已进行标记的特征区域，所述源域图像集为经过标记的乳腺MRI图像，所述特征区域为进行标记的肿块或癌组织区域；
还用于获取目标域图像集中的目标域图像，所述目标域图像集为未经过标记的乳腺MRI图像，所述目标域图像中可能含有对应肿块或癌组织区域的图像部分；
图像域判别单元，用于以获取单元获取的所述源域图像和所述目标域图像为输入，通过训练函数建立用于判别图像所属领域的图像域判别网络；
图像重建单元，以目标域图像为输入，对于目标域图像进行图像重建，得到经学习后的重建网络Nre；所述重建后的图像信息中包含对应于图像浅层信息及深层语义信息，所述图像重建网络Nre中包含对应于图像浅层信息的浅层信息模块nm1及对应于深层语义信息的语义信息模块nm2；
图像转换网络优化单元，以目标域图像为输入，经重建网络Nre后得到的图像数据，通过所述图像域判别网络Ncl进行判别，并根据图像域判别网络Ncl的损失数据，对于所述浅层信息模块nm1的参数进行优化和调节，所述语义信息模块nm2的参数保持不变；重复优化和调节过程直到设定条件为止，优化后重建网络作为转换网络Ntr；
源域图像分割网络训练单元，用于源域图像集及其已标注过的特征区域，通过机器学习训练出针对于特征区域和非特征区域的图像分割网络Nse；
目标域图像分割单元，将目标域图像集中待分析的图像P，通过转换网络Ntr进行转换为具有源域风格且保留语义信息的转换图像P’，采用所述图像分割网络Nse对上述转换图像P’进行图像分割；图像分割后的所对应的特征区域，即为疑似乳腺癌筛查的肿块或癌组织的图像区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911264888.9A CN111179277B (zh) | 2019-12-11 | 2019-12-11 | 一种无监督自适应乳腺病变分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911264888.9A CN111179277B (zh) | 2019-12-11 | 2019-12-11 | 一种无监督自适应乳腺病变分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179277A true CN111179277A (zh) | 2020-05-19 |
| CN111179277B CN111179277B (zh) | 2023-05-02 |
Family
ID=70657198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911264888.9A Active CN111179277B (zh) | 2019-12-11 | 2019-12-11 | 一种无监督自适应乳腺病变分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179277B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001398A (zh) * | 2020-08-26 | 2020-11-27 | 科大讯飞股份有限公司 | 域适应方法、装置、设备、图像处理方法及存储介质 |
| CN112686906A (zh) * | 2020-12-25 | 2021-04-20 | 山东大学 | 基于均匀分布迁移引导的图像分割方法及*** |
| CN112784879A (zh) * | 2020-12-31 | 2021-05-11 | 前线智能科技(南京)有限公司 | 一种基于小样本域自适应的医学影像分割或分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
| CN110533044A (zh) * | 2019-05-29 | 2019-12-03 | 广东工业大学 | 一种基于gan的域适应图像语义分割方法 |
-
2019
- 2019-12-11 CN CN201911264888.9A patent/CN111179277B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN110533044A (zh) * | 2019-05-29 | 2019-12-03 | 广东工业大学 | 一种基于gan的域适应图像语义分割方法 |
| CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001398A (zh) * | 2020-08-26 | 2020-11-27 | 科大讯飞股份有限公司 | 域适应方法、装置、设备、图像处理方法及存储介质 |
| CN112001398B (zh) * | 2020-08-26 | 2024-04-12 | 科大讯飞股份有限公司 | 域适应方法、装置、设备、图像处理方法及存储介质 |
| CN112686906A (zh) * | 2020-12-25 | 2021-04-20 | 山东大学 | 基于均匀分布迁移引导的图像分割方法及*** |
| CN112784879A (zh) * | 2020-12-31 | 2021-05-11 | 前线智能科技(南京)有限公司 | 一种基于小样本域自适应的医学影像分割或分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179277B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021114130A1 (zh) | 一种无监督自适应乳腺病变分割方法 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像***分割方法 | |
| Zuo et al. | R2AU‐Net: attention recurrent residual convolutional neural network for multimodal medical image segmentation | |
| CN109801272B (zh) | 肝脏肿瘤自动分割定位方法、***及存储介质 | |
| CN112102266B (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
| CN111179277B (zh) | 一种无监督自适应乳腺病变分割方法 | |
| CN112365980B (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及*** | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN114022718B (zh) | 消化***病理图像识别方法、***及计算机存储介质 | |
| CN112862805B (zh) | 听神经瘤图像自动化分割方法及*** | |
| CN113539402B (zh) | 多模态影像自动勾画模型迁移方法 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN112132815A (zh) | 肺结节检测模型训练方法、检测方法及装置 | |
| Zhou et al. | Evolutionary neural architecture search for automatic esophageal lesion identification and segmentation | |
| CN114693671A (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
| Pal et al. | A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation | |
| CN111815569A (zh) | 基于深度学习的图像分割方法、装置、设备和存储介质 | |
| CN114463320B (zh) | 一种磁共振成像脑胶质瘤idh基因预测方法及*** | |
| CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
| CN113409273B (zh) | 一种图像分析方法、装置、设备和介质 | |
| Zhang et al. | Research on brain glioma segmentation algorithm | |
| CN115187512A (zh) | 肝细胞癌大血管侵犯风险预测方法、***、装置及介质 | |
| CN113379770A (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |