CN111860618B - 用于病理数据转换的双向gan模型及其构建和应用方法 - Google Patents
用于病理数据转换的双向gan模型及其构建和应用方法 Download PDFInfo
- Publication number
- CN111860618B CN111860618B CN202010627094.0A CN202010627094A CN111860618B CN 111860618 B CN111860618 B CN 111860618B CN 202010627094 A CN202010627094 A CN 202010627094A CN 111860618 B CN111860618 B CN 111860618B
- Authority
- CN
- China
- Prior art keywords
- data
- generator
- reverse
- discriminator
- pathological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013256 Gubra-Amylin NASH model Methods 0.000 title claims abstract description 76
- 230000001575 pathological effect Effects 0.000 title claims abstract description 51
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 49
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims description 50
- 238000010276 construction Methods 0.000 title description 6
- 238000013145 classification model Methods 0.000 claims abstract description 12
- 231100000915 pathological change Toxicity 0.000 claims abstract description 7
- 230000036285 pathological change Effects 0.000 claims abstract description 7
- 238000013501 data transformation Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 58
- 210000004072 lung Anatomy 0.000 claims description 28
- 206010035664 Pneumonia Diseases 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 9
- 230000007170 pathology Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 208000019693 Lung disease Diseases 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 230000003902 lesion Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种用于病理数据转换的双向GAN模型，包括：构相同但参数组不同的正向生成器以及反向生成器；结构相同的反向语义判别器以及正向语义判别器，在分类模型的基础上增加像素加权模块，反向语义判别器的输入端连接反向生成器的输出端，正向语义判别器的输入端连接正向生成器的输出端；结构相同的反向形态判别器以及正向形态判别器，在分类模型的基础上增加通道加权模块，反向形态判别器的输入端连接反向生成器的输出端，正向形态判别器的输入端连接正向生成器的输出端，该双向GAN模型可实现病理数据的双向转换，进而辅助医护人员对医患人员的病变情况作出预测和诊断。
Description
技术领域
本发明涉及医学影像合成技术领域，特别涉及一种用于病理数据转换的双向GAN模型及其构建和应用方法。
背景技术
生成式对抗网络(GAN)，由Goodfellow在2014年提出，旨在解决如何从训练样本中学习出新样本，使得深度学习在数据生成领域的应用有了质的突破。以训练样本为图像为例，GAN模型中的生成式模型基于输入图像生成一个模拟图像，判别模型再去判断这个模拟图像和真实图像之间的差异，两个模型一起对抗训练最终达到符合训练目标要求的GAN模型。
GAN模型在医疗影像合成领域有着广泛的应用，比如CN109493308A提供一种基于条件多判别生成对抗网络的医疗图像合成与分类方法，该方法利用两个网络在对抗过程中进行训练，同时使用加入条件的多个判别网络对生成图像进行综合判断，旨在生成具有更多附加信息的合成影像；再比如CN110458786A提供一种先验GAN模型医学影像生成方法，该方法寻找未标注图像和已标注图像上的类似区域，对未标注图像进行标注和修正，以减少或取消后期专家参与数据标注，然后其上提到的GAN模型还是只能进行数据的直接生成任务，即GAN模型只能完成数据的单向转换，而且对训练数据有要求。
在实际临床中不仅仅是需要单向数据生成的GAN模型，更多的时候是需要双向数据转换的GAN模型。即，对于医护人员来说，需要获取病变后的病理图像也需要获取痊愈的病理图像，这样有利于协助医护人员对疾病进行预测和诊断。然而临床的病理图像样本量也有限，也较难获取同一患者病变前后的病理图像，进而也增大了目前GAN模型的训练难度。比如，以突然爆发的新型肺炎为例，临床上缺少针对该肺炎数据病变前后的病理图像，进而使得目前GAN模型的训练结果不佳，难以满足辅助医护人员诊断和预测肺炎情况的需求。
发明内容
本发明的目的在于提供一种用于病理数据转换的双向GAN模型及其构建和应用方法，该双向GAN模型可实现病理数据的双向转换，即可实现阴性数据和阳性数据之间的转换，进而辅助医护人员对医患人员的病变情况作出预测和诊断，特别地，该双向GAN模型可用于肺炎数据的双向转换。
本发明的目的在于提供一种用于病理数据转换的双向GAN模型及其构建和应用方法，该双向GAN模型引入双判别器机制，分别从数据的形态和语义上进行判别，提升判别器模块对生成数据的判别能力，在训练过程中增强对生成器的监督作用。
本发明的目的在于提供一种用于病理数据转换的双向GAN模型及其构建和应用方法，该GAN模型可利用非配对数据完成模型的训练，解决了配对病理数据难以收集，病理数据样本量少的问题，且在训练时可对病理数据进行筛选处理，以减少计算量和计算成本。
为实现以上目的，本技术方案提供一种用于病理数据转换的双向GAN模型，包括：
结构相同但参数组不同的正向生成器以及反向生成器；
结构相同的反向语义判别器以及正向语义判别器，在分类模型的基础上增加像素加权模块，反向语义判别器的输入端连接反向生成器的输出端，正向语义判别器的输入端连接正向生成器的输出端；
结构相同的反向形态判别器以及正向形态判别器，在分类模型的基础上增加通道加权模块，反向形态判别器的输入端连接反向生成器的输出端，正向形态判别器的输入端连接正向生成器的输出端。
本方案提供一种用于病理数据转换的双向GAN模型的应用方法，其中双向GAN模型如上所述，包括以下步骤：往训练好的双向GAN模型中输入预处理后的CT影像数据对应的CT影像切片，得到转换后的CT影像切片，若输入的是未患病的CT影像切片则可转换得到患病情况下的CT影像切片，若输入的是患病的CT影像切片则可转换为未患病情况下的CT影像切片。
相较现有技术，本方案具有以下的特点和有益效果：本方案的GAN模型引入了双判别器机制，分别为形态判别器和语义判别器，该双判别器机制针对病理区域进行判断，进而实现病理数据不需要来自于同一患者也可以实现阴性数据和阳性数据转换的训练；且双判别器机制可提升判别器的判别能力，在训练过程中加强对生成器的监督作用(通过形态判别器和语义判别器分别从形态和语义上对生成器的生成模型进行监督)，促进生成器的训练；另本方案的生成器配置两套参数数据，以使得该生成器搭配不同的参数数据就可提供不同的转换能力，实现病理数据的双向转换，具体的，该双向GAN模型可以将某个未患病用户的CT影像转换成该用户患病情况下的影像，同样可以将某个患有肺炎疾病的用户CT影像转换成该用户健康时期的影像。
附图说明
图1是根据本发明的双向GAN模型用于肺炎数据双向转换的实施例的示意图。
图2是根据本发明的双向GAN模型的框架示意图。
图3是根据本发明的双向GAN模型的生成器的结构示意图。
图4是根据本发明的双向GAN模型的形态判别器的结构示意图。
图5是根据本发明的双向GAN模型的语义判别器的结构示意图。
图中：11-正向生成器，12-反向生成器，21-反向语义判别器，22-反向形态判别器，31-正向语义判别器，32-正向形态判别器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机***通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机***的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一个或多个处理器执行的多个指令。
GAN模型作为一种非监督学习方法，由生成器和判别器两套独立的神经网络组成，其工作原理是在训练过程中生成器生成假样本，判别器用于判断生成器的样本到底是真实数据还是虚假数据，并反馈判别结果给生成器和判别器，以最终达到两者均衡和谐的状态，最终得到质量较高的生成器和判断能力强的判别器。然而，目前的GAN模型仅仅能够实现数据的单向转换，且为了保证判别器的判别准确度，往往需要配对度高的前后训练数据。
这样的GAN模型对于病理数据来说，特别是对于肺炎数据来说，常常较难获取完全配对的肺炎数据，但不同患者的病理数据的肺炎病灶区域也不够明显，这就使得单个判别器难以对转换数据进行监督，影响生成器的训练过程，在实际设计过程中，本发明人也发现使用单判别器训练的GAN模型生成结果无法保持输入数据的基本形态，通过生成器生成的数据和原始数据相比对，形态上发生了较大的改变，无法满足使用需求。
针对以上常规GAN模型应用于病理数据转换时存在的问题，本技术方案提供了一种基于双判别器机制的GAN模型，该GAN模型中针对生成器的生成结果引入形态判别器和语义判别器，通过提升判别器的判别能力，在训练过程中通过形态判别器和语义判别器分别从形态和语义上对生成器的生成模型进行监督，促成生成器的训练，且可以利用非配对数据训练得到可双向数据转换的GAN模型。
具体的，该双向GAN模型的结构如图2所示，至少包括：
正向生成器11以及反向生成器12，其中正向生成器11和反向生成器的12的结构相同，正向生成器11被训练后得到第一参数组，反向生成器12被训练后得到第二参数组；
反向语义判别器21以及正向语义判别器31，其中反向语义判别器21和正向语义判别器31的结构相同，在分类模型的基础上增加像素加权模块，反向语义判别器21的输入端连接反向生成器12的输出端，正向语义判别器31的输入端连接正向生成器11的输出端；
反向形态判别器22以及正向形态判别器32，其中反向形态判别器22和正向形态判别器32的结构相同，在分类模型的基础上增加通道加权模块，反向形态判别器22的输入端连接反向生成器12的输出端，正向形态判别器32的输入端连接正向生成器11的输出端。
反向语义判别器21和反向形态判别器22的输出数据融合生成反向判别结果，正向语义判别器31和正向形态判别器32的输出数据融合生成正向判别结果。
特别值得一提的是，正向生成器11以及反向生成器12可以是同一个生成器。当该生成器配置第一参数组时，该生成器定义为正向生成器11；当该生成器配置第二参数组时，该生成器定义为反向生成器12。也就是说，对应同一个生成器配置两套参数，通过搭配不同的参数，使得该生成器可以提供双向的转换能力。
在本方案中，正向生成器11以及反向生成器12的结构图如图3所示，在本方案中正向生成器11和反向生成器12采用具有encode和decode结构的卷积神经网络，以下以生成器统称正向生成器11和反向生成器12。本方案提供的生成器仅仅模拟病理区域的病变，由于本方案配置了双判别器，故生成器在训练时可采用非配对数据对作为训练数据集，其中没有发生病变的病理数据定义为阴性数据，发生病变的病理数据定义为阳性数据，阴性数据和阳性数据可不必来自于同一个病患，在生成器的训练初期载入初始化参数组，经过训练后分别得到第一参数组和第二参数组，进而分别得到正向生成器11和反向生成器12。
值得注意的是，初始化参数组可通过正态分布的方式选取，这样可使得生成器的参数组随着训练过程的进行更快地迭代更新。
反向语义判别器21和正向语义判别器31的结构如图5所示，以下以语义判别器统称反向语义判别器21和正向语义判别器31，语义判别器实质上是基于卷积神经网络中的分类模型，在分类模型内加入特征图加权模块(如图5中的中间位置结构所示)，特征图加权模块是基于图像的像素信息的加权模块，该特征图加权模块的加入可使得语义判别器对形态信息更加敏感。
反向形态判别器22和正向形态判别器32的结构如图4所示，以下以形态判别器统称反向形态判别器22和正向形态判别器32，形态判别器实质上是基于卷积神经网络中的分类模型，在分类模型内加入通道加权模块(如图4中的中间位置结构所示)，通道加权模块基于图像的形态信息的加权模块，该通道加权模块加权模块的加入可使得形态判别器对形态信息更加敏感。
虽然现有技术中也有采用多判别器的方案，但是现有技术中均是对判别器进行堆累操作，没有改变判别器的结构，而本方案是针对判别器的结构进行了优化，使得不同判别器分工判别任务，增加输出结果的鲁棒值，双判别器机制对多种数据信息进行利用，极大增强了GAN模型中的监督能力，对生成器的训练过程起到了促进作用。
另，本方案将每个判别器产生和生成器转换时产生的损失进行加权，优化判别器和生成器，最终得到可实现病理数据转换的双向GAN模型。
该双向GAN模型的训练过程也是本方案的一大技术要点，本方案利用双向转换的损失对双向GAN模型进行优化，经过若干次迭代循环，同时提高生成器和判别器的能力，最终得到均衡状态。
即，本方案的双向GAN模型利用针对同一病理情况的病理数据进行训练，其中没有发生病变的病理数据为阴性数据，发生病变的病理数据为阳性数据，阴性数据和阳性数据统称为训练数据，经过训练后的正向生成器(11)设置第一参数组，反向生成器(12)设置第二参数组，且训练数据在训练过程中经过正向生成器和反向生成器的双向转换，得到生成损失，训练数据生成的假性数据经过判别器判别后，得到判别损失，加权生成损失和判别损失得到优化目标，同步优化生成器和判别器。
具体的，该双向GAN模型的训练过程如下：
准备训练数据集：准备针对同一病理情况的多组病理数据，其中没有发生病变的病理数据定位为阴性数据集，阴性数据集由多个阴性数据A组成，发生病变的病理数据定义为阳性数据集，阳性数据集由多个阳性数据B组成，其中阴性数据集和阳性数据集不一定要来自同一病患。
构建双向GAN模型：其中双向GAN模型的结构框架如上介绍所述；
训练双向GAN模型：将阴性数据A和阳性数据B输入该双向GAN模型中，具体的，阴性数据A至少输入正向生成器11的输入端以及反向判别器(反向语义判别器21和反向形态判别器22)，阳性数据B至少输入反向生成器12的输入端和正向判别器(正向语义判别器31和正向形态判别器32)：
阴性数据A经过正向生成器11的生成后得到假性数据a(fake)，a(fake)输入正向判别器内进行判别，正向判别器判别a(fake)和阳性数据B之间的关系得到正向判别损失，随后a(fake)经过反向生成器12后得到第二假性数据a(fake’)，比较a(fake')和阴性数据A得到正向生成损失，加权正向判别损失和正向生成损失得到待优化目标，同时优化正向生成器和正向判别器。
与此同时，阳性数据B经过反向生成器12的生成后得到假性数据b(fake)，b(fake)输入反向判别器内进行判别，反向判别器判别b(fake)和阴性数据A之间的关系得到反向判别损失，随后b(fake)经过正向生成器11后得到第二假性数据b(fake’)，比较b(fake')和阳性数据B得到反向生成损失，加权反向判别损失和反向生成损失得到待优化目标，同时优化反向生成器和反向判别器。
其中由于生成器生成的数据和真实数据之间还是存在差异的，生成数据有生成器操作带来的“痕迹”，因此判别器可对其进行判别区分，判别器成功区分真实数据和生成数据可以促进生成器提升生成效果。二者在训练过程中属于相互竞争的关系。并不需要阳性数据B和阴性数据A来自同一个患者,这样主要是为了减少数据搜集的难度(很难收集同一个病人在患病前和患病后的CT影像)。
正向判别损失和反向判别损失的获取：
将判别器得到的判别结果(0或者1)，和该数据是真实数据还是生成数据的正确结果(0或者1)直接计算交叉熵作为判别损失。其中判别器判别生成数据直接用0或1表示是生成数据和真实数据。
在本方案中加权判别损失和生成损失得到待优化目标步骤中，选择判别器和生成器转换损失权重为1.5：1，其中同一组内的语义判别器和形态判别器的损失权重一致，生成器转换时的损失比例一致。
优化生成器和判别器的过程是同步进行的，在训练过程中，生成器生成能力变强，导致判别器判别结果的错误变多，也就是会让判别器的loss增加，这时候优化器会计算反向传播的梯度，对判别器的参数进行更新调整，从而判别器得到优化，因为生成器生成结果的好坏就是根据判别器判别结果的好坏进行衡量，判别器能力提升之后，生成器的损失会增加，这样又反过来促进生成器进行优化。
测试双向GAN模型：经过训练后的双向GAN模型的正向生成器11对应第一参数组，反向生成器12对应第二参数组，采用数据进行测试。
本方案提供的双向GAN模型可被应用于病理数据转换，即，本方案另外提供一种基于双向GAN模型的病理数据转换方法，包括如下步骤：
往训练好的双向GAN模型中输入预处理后的CT影像数据对应的CT影像切片，得到转换后的CT影像切片，若输入的是未患病的CT影像切片则可转换得到患病情况下的CT影像切片，若输入的是患病的CT影像切片则可转换为未患病情况下的CT影像切片。。
本方案以肺炎数据转换为具体的实施例进行应用说明，实施例情况如下：
选择对应肺炎疾病的肺炎数据作为病理数据，准备训练数据集，其中选择患有肺部疾病的病患肺部CT影像作为阳性数据B，未患有肺部疾病的病患肺部CT影像作为阴性数据，并对阳性数据B和阴性数据进行筛选处理，筛选过程如下：将CT影像转换为二维切片，输入经过训练后的肺部分割模型进行筛选，保留切片中含有肺部区域像素面积大于设定预制的切片，对筛选后的数据进行肺炎区域的标记并人工筛选剔除噪音过大的数据，最终得到筛选后的阳性数据B和阴性数据A，将训练数据集输入双向GAN模型中训练得到优化后的适用于肺炎数据转换的双向GAN模型。
该适用于肺炎数据转换的双向GAN模型的应用过程如下：
输入待转换的CT影像数据，对CT影响数据进行预处理，其中预处理的步骤包括使用宽窗位对数据进行调整并进行归一化操作；
利用肺部分割模型对CT影像数据进行分割，得到包含肺部区域的肺部切片；
将包含肺部区域的切片输入适用于肺炎数据转换的双向GAN模型中进行转换，若输入的是未患病病患的肺部切片，则可得到患病后的肺部切片，若输入的是患病病患的肺部切片，则可得到痊愈后的肺部切片。
在应用方案中，使用肺部分割模型对输入数据进行筛选，仅筛选后的肺部切片进行预测，减少了计算量以及额外干扰；同时，在准备训练数据集时，根据人工标注的肺炎区域面积作为指标，逐切片进行判断分类，避免了阳性数据中，不存在肺炎特征的切片产生的干扰，进一步扩大两个数据集之间的差异，进一步减小了判别器的判别难度，便于训练任务的进行。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。
Claims (9)
1.一种用于病理数据转换的双向GAN模型的训练方法，其特征在于，
准备训练数据集：准备针对同一病理情况的多组病理数据，其中没有发生病变的病理数据定位为阴性数据集，阴性数据集由多个阴性数据组成，发生病变的病理数据定义为阳性数据集，阳性数据集由多个阳性数据组成；
构建双向GAN模型：结构相同但参数组不同的正向生成器（11）以及反向生成器（12），结构相同的反向语义判别器（21）以及正向语义判别器（31），在分类模型的基础上增加像素加权模块，反向语义判别器（21）的输入端连接反向生成器（12）的输出端，正向语义判别器（31）的输入端连接正向生成器（11）的输出端；结构相同的反向形态判别器（22）以及正向形态判别器（32），在分类模型的基础上增加通道加权模块，反向形态判别器（22）的输入端连接反向生成器（12）的输出端，正向形态判别器（32）的输入端连接正向生成器（11）的输出端；
训练双向GAN模型：阴性数据至少输入正向生成器（11）的输入端以及反向判别器，阳性数据B至少输入反向生成器（12）的输入端和正向判别器，阴性数据在训练过程中得到正向判别损失和正向生成损失，加权正向判别损失和正向生成损失得到待优化目标，同时优化正向生成器和正向判别器，阳性数据在训练过程中得到反向判别损失和反向生成损失，加权反向判别损失和反向生成损失得到待优化目标，同时优化反向生成器和反向判别器。
2.根据权利要求1所述的用于病理数据转换的双向GAN模型的训练方法，其特征在于，经过训练后的正向生成器（11）设置第一参数组，反向生成器（12）设置第二参数组。
3.根据权利要求1所述的用于病理数据转换的双向GAN模型的训练方法，其特征在于，训练数据在训练过程中经过正向生成器和反向生成器的双向转换，得到生成损失，训练数据生成的假性数据经过判别器判别后，得到判别损失，加权生成损失和判别损失得到优化目标，同步优化生成器和判别器。
4.根据权利要求1所述的用于病理数据转换的双向GAN模型的训练方法，其特征在于，加权判别损失和生成损失时，判别器和生成器转换损失权重为1.5：1；同一组内的语义判别器和形态判别器的损失权重一致。
5.根据权利要求1所述的用于病理数据转换的双向GAN模型的训练方法，其特征在于，阴性数据和阳性数据为非配对数据。
6.一种用于病理数据转换的双向GAN模型的应用方法，其中双向GAN模型如权利要求1到5任一所述的用于病理数据转换的双向GAN模型的训练方法训练得到，其特征在于，包括以下步骤：往训练好的双向GAN模型中输入预处理后的CT影像数据对应的CT影像切片，得到转换后的CT影像切片，若输入的是未患病的CT影像切片则可转换得到患病情况下的CT影像切片，若输入的是患病的CT影像切片则可转换为未患病情况下的CT影像切片。
7.一种用于病理数据转换的双向GAN模型的应用方法，其中双向GAN模型如权利要求1到5任一所述的用于病理数据转换的双向GAN模型的训练方法训练得到，其中病理数据为肺炎数据，其特征在于，包括以下步骤：
输入待转换的CT影像数据，对CT影响数据进行预处理，其中预处理的步骤包括使用宽窗位对数据进行调整并进行归一化操作；
利用肺部分割模型对CT影像数据进行分割，得到包含肺部区域的肺部切片；
将包含肺部区域的切片输入适用于肺炎数据转换的双向GAN模型中进行转换，若输入的是未患病病患的肺部切片，则可得到患病后的肺部切片，若输入的是患病病患的肺部切片，则可得到痊愈后的肺部切片。
8.根据权利要求7所述的用于病理数据转换的双向GAN模型的应用方法，其特征在于，选择对应肺炎疾病的肺炎数据作为病理数据，准备训练数据集，其中选择患有肺部疾病的病患肺部CT影像作为阳性数据，未患有肺部疾病的病患肺部CT影像作为阴性数据，并对阳性数据和阴性数据进行筛选处理。
9.根据权利要求8所述的用于病理数据转换的双向GAN模型的应用方法，筛选过程如下：将CT影像转换为二维切片，输入经过训练后的肺部分割模型进行筛选，保留切片中含有肺部区域像素面积大于设定阈值的切片，对筛选后的数据进行肺炎区域的标记并人工筛选剔除噪音过大的数据，得到筛选后的阳性数据和阴性数据，将训练数据集输入双向GAN模型中训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010627094.0A CN111860618B (zh) | 2020-07-01 | 2020-07-01 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010627094.0A CN111860618B (zh) | 2020-07-01 | 2020-07-01 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860618A CN111860618A (zh) | 2020-10-30 |
| CN111860618B true CN111860618B (zh) | 2024-05-14 |
Family
ID=72989723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010627094.0A Active CN111860618B (zh) | 2020-07-01 | 2020-07-01 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860618B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335193A (zh) * | 2019-06-14 | 2019-10-15 | 大连理工大学 | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 |
| CN110444277A (zh) * | 2019-07-19 | 2019-11-12 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
| CN110503626A (zh) * | 2019-07-09 | 2019-11-26 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
| KR102095684B1 (ko) * | 2019-10-15 | 2020-03-31 | 주식회사 루닛 | 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치 |
| CN111028146A (zh) * | 2019-11-06 | 2020-04-17 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
-
2020
- 2020-07-01 CN CN202010627094.0A patent/CN111860618B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335193A (zh) * | 2019-06-14 | 2019-10-15 | 大连理工大学 | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 |
| CN110503626A (zh) * | 2019-07-09 | 2019-11-26 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
| CN110444277A (zh) * | 2019-07-19 | 2019-11-12 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
| KR102095684B1 (ko) * | 2019-10-15 | 2020-03-31 | 주식회사 루닛 | 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치 |
| CN111028146A (zh) * | 2019-11-06 | 2020-04-17 | 武汉理工大学 | 基于双判别器的生成对抗网络的图像超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860618A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110689038B (zh) | 神经网络模型的训练方法、装置和医学图像处理*** | |
| CN113040715B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
| CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
| WO2023077603A1 (zh) | 一种异常脑连接预测***、方法、装置及可读存储介质 | |
| CN110503630B (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
| CN107247971B (zh) | 一种超声甲状腺结节风险指标的智能分析方法及*** | |
| CN113314205B (zh) | 一种高效的医学影像标注与学习*** | |
| CN112102266B (zh) | 基于注意力机制的脑梗死医学影像分类模型的训练方法 | |
| WO2021186592A1 (ja) | 診断支援装置及びモデル生成装置 | |
| CN109685768A (zh) | 基于肺部ct序列的肺结节自动检测方法及*** | |
| CN112308822B (zh) | 基于深度卷积神经网络的椎间盘ct图像检测方法 | |
| CN109034360A (zh) | 一种从fMRI和DTI数据中构建脑效应连接网络的蚁群方法 | |
| CN110731773A (zh) | 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法 | |
| CN117115045B (zh) | 基于互联网生成式人工智能提升医学影像数据质量的方法 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及*** | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及*** | |
| WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
| CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| CN117854749A (zh) | 基于人工智能的内分泌代谢病远程监测与预警*** | |
| CN111860618B (zh) | 用于病理数据转换的双向gan模型及其构建和应用方法 | |
| CN116543154A (zh) | 一种基于多层次语义特征的医学影像分割方法 | |
| CN116433970A (zh) | 甲状腺结节分类方法、***、智能终端及存储介质 | |
| CN111881979B (zh) | 多模态数据标注装置及包含程序的计算机可读存储介质 | |
| CN114331996A (zh) | 基于自编码解码器的医学影像分型方法及*** | |
| CN115222680A (zh) | 基于深度学习的卵巢癌图像处理方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |