WO2022121213A1 - 一种基于gan的无造影剂医学图像增强建模方法 - Google Patents

一种基于gan的无造影剂医学图像增强建模方法 Download PDF

Info

Publication number
WO2022121213A1
WO2022121213A1 PCT/CN2021/089700 CN2021089700W WO2022121213A1 WO 2022121213 A1 WO2022121213 A1 WO 2022121213A1 CN 2021089700 W CN2021089700 W CN 2021089700W WO 2022121213 A1 WO2022121213 A1 WO 2022121213A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
contrast agent
virtual
contrast
gan
Prior art date
Application number
PCT/CN2021/089700
Other languages
English (en)
French (fr)
Inventor
张娜
郑海荣
刘新
李宗阳
胡战利
梁栋
李烨
邹超
Original Assignee
深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳先进技术研究院 filed Critical 深圳先进技术研究院
Publication of WO2022121213A1 publication Critical patent/WO2022121213A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present application sets up two models, which are respectively used to generate a virtual image and identify the virtual image, thereby ensuring the accuracy of the virtual image;
  • FIG. 3 is a schematic structural diagram of a multi-layer convolutional network according to a specific embodiment of the present application.
  • the discriminator model D discriminates the virtual image with contrast agent by extracting the features of the real image with contrast agent.
  • P R (r) represents the generated noise set, and r represents any arbitrary noise set in the noise set.
  • a data, P R (r) represents the probability of occurrence of any data in the generated noise set.
  • Image enhancement module used to enhance the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种基于GAN的无造影剂医学图像增强建模方法，涉及医学图像处理技术领域，采用GAN增强算法，根据既往患者的无造影剂图像，生成既往患者的虚拟有造影剂图像，与既往患者的真实有造影剂图像进行训练，得到既往患者的最终虚拟有造影剂图像；再与既往患者的无造影剂图像进行融合，建立图像目标分析模型。建立的虚拟有造影剂图像模型，实现了新增患者无需服用造影剂就能得到虚拟有造影剂图像，简化治疗程序，降低患者的治疗成本。

Description

一种基于GAN的无造影剂医学图像增强建模方法 技术领域
本申请涉及医学图像处理技术领域，尤其是涉及一种基于GAN的无造影剂医学图像增强建模方法。
背景技术
目前，医学上基于图像对人体部位进行判断，是一种常用的方法，为了得到人体某一部位的图像，需要给病人注入血管造影剂，在给病人造成痛苦的同时，由于血管造影剂在体内难以彻底排出，并存在多种过敏反应，给病人带来了已知与未知风险。
磁共振血管造影具有很高的临床价值，但是由于血管造影剂自身成分的问题，部分患者对其有不同程度不同类型的过敏反应，体内残留物对患者的病理影响还处于尚不明确的状态，存在一定未知隐患。单纯从改进血管造影剂的方面进行技术改进来看，尚无较大进展。
因此，如何基于既往患者的有造影图像，模拟得到新增患者的有造影图像，是目前亟待解决的问题。
发明内容
本申请的目的是提供一种基于GAN的无造影剂医学图像增强建模方法，基于既往患者无造影剂图像与真实有造影剂图像，采用GAN增强算法，由既往患者无造影剂图像创建虚拟有造影剂图像，并与真实有造影剂图像进行验证，实现从无造影剂图像，建立虚拟有造影剂图像模型，实现了新增患者无需服用造影剂就能得到虚拟有造影剂图像，简化治疗程序，降低患者的治疗成本。
第一方面，本申请的上述发明目的通过以下技术方案得以实现：
一种基于GAN的无造影剂医学图像增强建模方法，采用GAN增强算法，根据既往患者的无造影剂图像，生成既往患者的虚拟有造影剂图像，与既往患者的真实有造影剂图像进行训练，得到既往患者的最终虚拟有造影剂图像；再与既往患者的无造影剂图像进行融合，建立图像目标分析模型，将新增患者的无造影剂图像输入图像目标分析模型，模拟出新增患者的有造影剂图像。
本申请进一步设置为：所述GAN增强算法包括创建生成器模型、鉴别器模型，生成器模型用于根据无造影剂图像生成虚拟有造影剂图像，鉴别器模型用于鉴别被分析数据是虚拟有造影剂图像数据或真实有造影剂图像数据。在一些实施方案中，所述生成器模型根据鉴别结果修正下一次生成的虚拟有造影剂图像数据，直至生成器模型生成的虚拟有造影剂图像数据被鉴别器模型鉴别为真，并将其记录为最终虚拟有造影剂图像数据。
本申请进一步设置为：基于无造影剂图像数据学习得到生成器分布，生成器模型构建噪声分布到数据空间的映射，生成虚拟有造影剂图片；鉴别器模型鉴别虚拟有造影剂图片为真的概率，调整生成器模型参数、鉴别器模型参数，以实现log(1-D(G(r)))值最小以及logD(Q)值最小，即满足如下公式：
Figure PCTCN2021089700-appb-000001
式中，q表示真实有造影剂图像数据，r表示虚拟有造影剂图像数 据，E表示期望值，
Figure PCTCN2021089700-appb-000002
表示源自真实有造影剂图像数据的期望，
Figure PCTCN2021089700-appb-000003
表示源自虚拟有造影剂图像数据的期望，G(z)表示数据z放入到生成器模型中得到的结果，D(G(r))表示将G(r)放入鉴别器模型D中继续鉴别得到的结果；V表示包含有D/G两个参数的函数。
本申请进一步设置为：采用目标检测算法，对既往患者的无造影剂图像、有造影剂图像进行分割，得到无造影剂图像目标图像、无造影剂图像背景图像、有造影剂图像目标图像、有造影剂图像背景图像。在一些实施方案中，分割是指对感兴趣区域(IOU)进行制定对象的分离，以获取期望得到的IOU，例如血管横截面部分。
本申请进一步设置为：目标检测算法包括拆分图像为N个子图像、预测子图像边界框、在子图像中构建多层卷积网络提取特征。
本申请进一步设置为：采用维度聚类作为锚框预测子图像边界框，预测每个边界框的四个坐标为t x,t y,t w,t h，结合每次预测的坐标偏移量C x、C y，计算下一个预测框的坐标(b x、b y、b w、b h)为：
b x＝σ(t x)+C x；
b y＝σ(t y)+C y；
Figure PCTCN2021089700-appb-000004
Figure PCTCN2021089700-appb-000005
式中，σ(t x)和σ(t y)表示多个预测框的平均值分布；p w表示前一预测框的宽度，p h表示前一预测框的高度，(t x、t y)(b x、b y)表示锚框中心坐标，t w、b w表示锚框宽度，t h、b h表示锚框高度。
本申请进一步设置为：多层卷积网络包括卷积层、残差层、池化 层、全连接层；卷积层用于特征提取，以获取一定区域内主要的像素点；残差层用于防止梯度***；池化层用于对输入的特征图进行压缩，提取主要特征；全连接层用于将学习到的特征映射到样本标记空间，起分类器的作用。
本申请进一步设置为：对既往患者的无造影剂图像、有造影剂图像进行分割；以无造影剂图像目标图像，生成虚拟有造影剂图像目标图像，并与真实有造影剂图像目标图像进行训练，得到最终虚拟有造影剂图像目标图像；并与无造影剂图像背景图像进行融合，建立图像目标分析模型。
本申请进一步设置为：以边界处梯度最小为原则，将虚拟有造影剂图像目标图像与无造影剂图像背景图像进行融合，得到虚拟无造影剂图像确定版。
第二方面，本申请的上述发明目的通过以下技术方案得以实现：
一种基于GAN的无造影剂医学图像增强建模终端，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于GAN的无造影剂医学图像增强建模方法。
第三方面，本申请的上述发明目的通过以下技术方案得以实现：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被所述处理器执行时实现所述基于GAN的无造影剂医学图像增强建模方法。
与现有技术相比，本申请的有益技术效果为：
1.本申请采用GAN增强算法，对既往患者无造影剂图像进行增强，得到既往患者的虚拟有造影剂图像，并与既往患者的真实既往患者有造影剂图像进行验证，从而得到模型，保证了模型分析的准确性；
2.进一步地，本申请在图像增强时，建立两个模型，分别用于生成虚拟图像与鉴别虚拟图像，保证了虚拟图像的精度；
3.进一步地，本申请基于既往患者无造影剂图像的背景图像，与增强后的虚拟有造影剂目标图像进行融合，避免了背景图像对目标图像的影响，提高了模型的精确度。
附图说明
图1是本申请的一个具体实施例的建模方法结构示意图；
图2是本申请的一个具体实施例的双一种建模方法结构示意图；
图3是本申请的一个具体实施例的多层卷积网络结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本申请的一种基于GAN(Generative Adversarial Networks，生成式对抗网络)的无造影剂医学图像增强建模方法，如图1所示，包括基于既往患者的无造影剂图像，经过GAN增强算法，得到既往患者的虚拟有造影剂目标图像；同时，从既往患者的无造影剂图像中进行目标识别，分割出既往患者的无造影剂图像中的目标图像与背景图像，将虚拟有造影剂目标图像与无造影剂图像背景图像进行融合，得到既往患者的虚拟有造影剂图像，基于多个既往患者的无造影剂图像，经 过训练得到多个虚拟有造影剂图像，建立分析模型。
将新增患者的无造影剂图像输入分析模型，从而得到新增患者的虚拟有造影剂图像，避免了造影剂的使用对患者造成的经济与身体负担。
基于既往患者的无造影剂图像，经过GAN增强算法，得到既往患者的虚拟有造影剂目标图像，包括以下二种方式：
方法一、基于既往患者的无造影剂图像，经过GAN增强算法，得到既往患者的虚拟有造影剂图像，采用目标识别方法，从既往患者的虚拟有造影剂图像中分割出既往患者的虚拟有造影剂目标图像。
方法二、基于既往患者的无造影剂图像，进行目标识别，从既往患者的无造影剂图像中分割出目标图像与背景图像，采用GAN增强算法，对无造影剂目标图像进行增强，得到虚拟有造影剂目标图像，如图2所示。
下面针对方法一进行详细描述。
GAN增强算法：
创建二个模型，包括生成器模型G、鉴别器模型D，生成器模型G用于基于无造影剂图像生成虚拟有造影剂图像图像，鉴别器模型D用于鉴别虚拟有造影剂图像的真伪，即鉴别图像是虚拟有造影剂图像还是真实有造影剂图像，根据鉴别器的鉴别结果，生成器模型G在下一次生成虚拟有造影剂图像时进行修正，使虚拟有造影剂图像与真实有造影剂图像的相似度更高，直至鉴别器模型对虚拟有造影剂图像的鉴别为真时，训练结束，得到最终虚拟有造影剂图像。
具体地，基于无造影剂图像数据q上学习生成器分布P g，其中，P表示概率，g表示生成器模型。生成器模型G构建噪声分布P R(r)到数据空间的映射G(r；θ g)，其中，r表示虚拟有造影剂图像数据，θ g表示生成器的概率。鉴别器模型D输出一个标量D(q；θ d)，表示数据x源自真实有造影剂数据而非P g的概率。
每个图像是由多个像素组成，用于GAN算法的图像的像素大小是固定的，是有特定特征的图像组，在固定的像素点的像素值是相近的，生成器分布P g即为像素值分布。
生成器模型G提取第一图像特征，生成虚拟有造影剂图像。
鉴别器模型D通过提取真实有造影剂图像特征，对虚拟有造影剂图像进行鉴别。
生成器模型G提取无造影剂图像数据特征，并对无造影剂图像数据特征进行学习，并生成虚拟有造影剂图像数据。鉴别器模型D提取真实有造影剂图像数据特征，对虚拟有造影剂图像进行鉴别，鉴别虚拟有造影剂图像为真的概率。生成器模型根据鉴别器模型D的鉴别结果，修正虚拟有造影剂图像，进行进一步训练，直至鉴别器模型D对虚拟有造影剂图像的鉴别结果为真，训练结束，生成的最终虚拟有造影剂图像即为期望的特征增强图像。
在训练过程中，调整生成器模型G的参数，以最小化log{1-D[G(r)]}，调整鉴别器模型D的参数，以实现logD(Q)最小值，使虚拟有造影剂图像更接近真实有造影剂图像。
其中，G(r)表示将虚拟有造影剂图像数据r放入到生成器模型G中得 到的结果；
D[G(r)]表示将G(r)放入鉴别器模型D中继续进行鉴别，得到的结果。这个结果是一个具体的数值，范围为0到1，表示可能为真的概率，因此，1-D[G(r)]表示的就是可能为假的概率。取log是为了方便控制大小。
具体公式如下：
Figure PCTCN2021089700-appb-000006
式中，q表示真实有造影剂图像数据，r表示虚拟有造影剂图像数据，Q表示q数据集整体，R表示r数据集整体，E表示期望值，
Figure PCTCN2021089700-appb-000007
表示源自真实有造影剂图像数据的期望，
Figure PCTCN2021089700-appb-000008
表示源自虚拟有造影剂图像数据的期望，V表示包含有D/G两个参数的函数。
考虑到最初生成的数据r一般提取的特征较小，与原数据差距较大，被称为噪声，所以，P R(r)中，R也表示生成的噪声集合,r表示噪声集合中的任意一个数据，P R(r)表示在生成的噪声集合中任一数据出现的概率。
目标识别方法：
将无造影剂图像导入目标检测算法。
目标检测算法通过使用维度聚类作为锚框来预测边界框，在目标检测训练过程中，根据提取出来的特征作为参考，标注每个边界框的 坐标，包括：t x,t y,t w,t h，其中，(t x、t y)表示图像上锚框的中心坐标(x、y)，t w表示图像上锚框宽度，t h表示图像上锚框高度，
对于图像中一个确定的目标，会产生一系列的虚拟锚框，这些锚框的中心点坐标误差不会太大，用σ(t x)和σ(t y)表示多个预测框的平均值分布；在本实施例中，以像素点左上角极点作为起始端点(0、0)，整个图像为第四象限，但是y轴的值为正数，用C x、C y表示每次预测的左上角坐标偏移量，即表示原本在左上角的点同时向x轴、y轴偏移，则基于前一个预测框，计算下一个预测框的坐标(b x、b y、b w、b h)为：
b x＝σ(t x)+C x    (2)；
b y＝σ(t y)+C y    (3)；
Figure PCTCN2021089700-appb-000009
Figure PCTCN2021089700-appb-000010
对应地，(b x、b y)表示下一个预测框的中心点坐标，b w表示下一个预测框的宽度，b h表示下一个预测框的高度，p w表示前一个预测框的宽度，p h表示前一个预测框的高度；σ(t x)表示原始虚拟中心点的x坐标，σ(t y)表示原始虚拟中心点的y标。
确定边界框后，构建多层卷积网络，进行特征提取。
如图3所示，多层卷积网络包括：卷积层(Convolutional)、残差层(Residual)、池化层(Avgpool)、全连接层(Connected)；卷积层，用于特征提取，以获取一定区域内主要的像素点；残差层，用于防止梯度***；池化层，用于对输入的特征图进行压缩，提取主要特征； 全连接层，用于将学习到的特征映射到样本标记空间，起分类器的作用。
图中，Softmax代表损失函数，用来作为目标网络函数指导学习过程。Type是每个单位层结构的类别，Filter是特征提取器的个数，size是它的大小，单位是像素点。
采用GAN增强方法，根据无造影剂图像与真实有影剂图像，生成最终虚拟有影剂图像。
采用目标检测方法，对无造影剂图像进行标注分割，得到无造影剂目标图像组与无造影剂背景图像组；对最终虚拟有影剂图像进行标注分割，得到最终虚拟有影剂目标图像组与最终虚拟有影剂背景图像组；根据标注地址信息，将最终虚拟有影剂目标图像组与无造影剂背景图像组进行融合，删除掉最终虚拟有影剂背景图像组中对背景的增强。
在融合时，为保证图像边界处的自然过度，使边界处的梯度变小，计算公式如下：
Figure PCTCN2021089700-appb-000011
设S是图像定义域，Ω是S内一个封闭的子集，
Figure PCTCN2021089700-appb-000012
是这个子集的边界，f*是定义在S上减去Ω部分所包含的标量函数，而f是定义在Ω内部的未知标量函数。v为定义在Ω之上的矢量场。
Figure PCTCN2021089700-appb-000013
是梯度运算符。
Figure PCTCN2021089700-appb-000014
就是函数f进行梯度运算后的结果。
此公式表示：在函数f和f*的值相等的情况下，在Ω的范围内， 将关于f的梯度值降到最小。
公式中求差值，求绝对值，然后平方化都是为了将结果进行归一化(Normalization)，避免差异值较大。
公式6的最小解就是最终值：
Figure PCTCN2021089700-appb-000015
式中，div表示散度，用于表征空间各点矢量场发散的强弱程度。
此公式表示：在函数f与f*相等的情况下，在Ω范围的v的散度divv的值等于f的最小值Δf。
融合后，得到无造影剂医学图像增强分析模型，包括最终虚拟有影剂目标图像组与无造影剂背景图像组，将新增患者的无造影剂医学图像输入模型进行训练，得到新增患者的虚拟有影剂目标图像，用于医学分析。
对于方法二，先采用目标检测方法，对既往患者的无造影剂图像进行分割，得到既往患者的无造影剂目标图像与无造影剂背景图像，再采用GAN增强方法，对无造影剂目标图像进行增强，得到虚拟有影剂目标图像。
将虚拟有影剂目标图像与无造影剂背景图像进行融合，得到无造影剂医学图像增强分析模型。
在一些实施方案中，本申请还提供了一种基于GAN的无造影剂医学图像增强建模终端设备。该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程 序，所述处理器执行所述计算机程序时实现实施例1中建模方法。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由所述处理器执行。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于GAN的无造影剂医学图像增强建模终端设备中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能如下：
1.图像增强模块，用于对图像进行增强；
2.图像分割模块，用于对图像进行分割。
所述基于GAN的无造影剂医学图像增强建模终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于GAN的无造影剂医学图像增强建模终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述上述示例仅仅是终端设备的示例，并不构成对基于GAN的无造影剂医学图像增强建模终端设备的限定，可以包括更多或更少的部件，或组合某些部件，或不同的部件，例如所述基于GAN的无造影剂医学图像增强建模终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit，CPU),还可以是其他通用处理器、数据信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编 程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于GAN的无造影剂医学图像增强建模终端设备的控制中心，利用各种接口和线路连接整个一种基于GAN的无造影剂医学图像增强建模终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于GAN的无造影剂医学图像增强建模终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在一些实施方案中，在以软件功能单元的形式实现并作为独立的产品销售或使用时，所述一种基于GAN的无造影剂医学图像增强建模终端设备集成的模块/单元可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机 程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (11)

  1. 一种基于GAN的无造影剂医学图像增强建模方法，其特征在于：采用GAN增强算法，根据既往患者的无造影剂图像，生成既往患者的虚拟有造影剂图像，与既往患者的真实有造影剂图像进行训练，得到既往患者的最终虚拟有造影剂图像；再与既往患者的无造影剂图像进行融合，建立目标图像分析模型，将新增患者的无造影剂图像输入图像目标分析模型，模拟出新增患者的有造影剂图像。
  2. 根据权利要求1所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：所述GAN增强算法包括创建生成器模型和鉴别器模型，所述生成器模型用于根据无造影剂图像生成虚拟有造影剂图像，所述鉴别器模型用于鉴别被分析数据是虚拟有造影剂图像数据或真实有造影剂图像数据，其中所述生成器模型根据鉴别结果修正下一次生成的虚拟有造影剂图像数据，直至生成器模型生成的虚拟有造影剂图像数据被鉴别器模型鉴别为真，并将其记录为最终虚拟有造影剂图像数据。
  3. 根据权利要求2所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：基于无造影剂图像数据学习得到生成器分布，生成器模型G构建噪声分布到数据空间的映射，生成虚拟有造影剂图片；鉴别器模型D鉴别虚拟有造影剂图片为真的概率，调整生成器模型G参数、鉴别器模型D参数，以实现log(1-D(G(r)))值最小以及log D(Q)值最小，即满足如下公式：
    Figure PCTCN2021089700-appb-100001
    式中，q表示真实有造影剂图像数据，r表示虚拟有造影剂图像数据，E表示期望值，
    Figure PCTCN2021089700-appb-100002
    表示源自真实有造影剂图像数据的期望，
    Figure PCTCN2021089700-appb-100003
    表示源自虚拟有造影剂图像数据的期望，G(z)表示数据z放入到生成器模型中得到的结果，D(G(r))表示将G(r)放入鉴别器模型D中继续鉴别，得到的结果；V表示包含有D/G两个参数的函数。
  4. 根据权利要求1所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：采用目标检测算法，对既往患者的无造影剂图像、有造影剂图像进行分割，得到无造影剂图像目标图像、无造影剂图像背景图像、有造影剂图像目标图像、有造影剂图像背景图像。
  5. 根据权利要求4所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：目标检测算法包括拆分图像为N个子图像、预测子图像边界框、在子图像中构建多层卷积网络提取特征。
  6. 根据权利要求5所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：采用维度聚类作为锚框预测子图像边界框，预测每个边界框的四个坐标为t x,t y,t w,t h，结合每次预测的坐标偏移量C x、C y，计算下一个预测框的坐标(b x、b y、b w、b h)为：
    b x＝σ(t x)+C x；
    b y＝σ(t y)+C y；
    Figure PCTCN2021089700-appb-100004
    Figure PCTCN2021089700-appb-100005
    式中，σ(t x)和σ(t y)表示多个预测框的平均值分布；p w表示前一预测框的宽度，p h表示前一预测框的高度，(t x、t y)(b x、b y)表 示锚框中心坐标，t w、b w表示锚框宽度，t h、b h表示锚框高度。
  7. 根据权利要求5所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：多层卷积网络包括卷积层、残差层、池化层、全连接层；所述卷积层用于特征提取以获取一定区域内主要的像素点；所述残差层用于防止梯度***；所述池化层用于对输入的特征图进行压缩以提取主要特征；所述全连接层用于将学习到的特征映射到样本标记空间，起分类器的作用。
  8. 根据权利要求1所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：对既往患者的无造影剂图像、有造影剂图像进行分割；以无造影剂图像目标图像，生成虚拟有造影剂图像目标图像，并与真实有造影剂图像目标图像进行训练，得到最终虚拟有造影剂图像目标图像；并与无造影剂图像背景图像进行融合，建立图像目标分析模型。
  9. 根据权利要求1所述基于GAN的无造影剂医学图像增强建模方法，其特征在于：以边界处梯度最小为原则，将虚拟有造影剂图像目标图像，与无造影剂图像背景图像进行融合，得到虚拟无造影剂图像确定版。
  10. 一种基于GAN的无造影剂医学图像增强建模终端，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-9任一所述方法。
  11. 一种计算机可读存储介质，所述计算机可读存储介质存储 有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一所述方法。
PCT/CN2021/089700 2020-12-10 2021-04-25 一种基于gan的无造影剂医学图像增强建模方法 WO2022121213A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011455235.1 2020-12-10
CN202011455235.1A CN112508835B (zh) 2020-12-10 2020-12-10 一种基于gan的无造影剂医学图像增强建模方法

Publications (1)

Publication Number Publication Date
WO2022121213A1 true WO2022121213A1 (zh) 2022-06-16

Family

ID=74973425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/089700 WO2022121213A1 (zh) 2020-12-10 2021-04-25 一种基于gan的无造影剂医学图像增强建模方法

Country Status (2)

Country Link
CN (1) CN112508835B (zh)
WO (1) WO2022121213A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601283A (zh) * 2022-12-14 2023-01-13 深圳思谋信息科技有限公司（Cn） 图像增强方法、装置、计算机设备及计算机可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508835B (zh) * 2020-12-10 2024-04-26 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法
WO2023001089A1 (en) * 2021-07-20 2023-01-26 Versitech Limited Generative adversarial network-based lossless image compression model for cross-sectional imaging
CN116681790B (zh) * 2023-07-18 2024-03-22 脉得智能科技(无锡)有限公司 一种超声造影图像生成模型的训练方法及图像的生成方法
CN116664713B (zh) * 2023-07-18 2024-03-01 脉得智能科技(无锡)有限公司 一种超声造影图像生成模型的训练方法及图像的生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108634A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Contrast Dose Reduction for Medical Imaging Using Deep Learning
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111539483A (zh) * 2020-04-29 2020-08-14 上海融军科技有限公司 基于gan网络的虚假图像鉴别***及构建方法
CN112508835A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592779B2 (en) * 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier
CN110852993B (zh) * 2019-10-12 2024-03-08 拜耳股份有限公司 一种造影剂作用下的成像方法与设备
CN111612762B (zh) * 2020-05-20 2023-04-07 复影(上海)医疗科技有限公司 Mri脑肿瘤图像生成方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108634A1 (en) * 2017-10-09 2019-04-11 The Board Of Trustees Of The Leland Stanford Junior University Contrast Dose Reduction for Medical Imaging Using Deep Learning
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111539483A (zh) * 2020-04-29 2020-08-14 上海融军科技有限公司 基于gan网络的虚假图像鉴别***及构建方法
CN112508835A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 一种基于gan的无造影剂医学图像增强建模方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAO, JIANFENG: "Research on Enhancement and Detection of Hemangioma and Hepatocellular Carcinoma Based on Generative Adversarial Network", CHINESE MASTER'S THESES FULL-TEXT DATABASE, 1 March 2020 (2020-03-01), pages 1 - 77, XP055941515 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601283A (zh) * 2022-12-14 2023-01-13 深圳思谋信息科技有限公司（Cn） 图像增强方法、装置、计算机设备及计算机可读存储介质
CN115601283B (zh) * 2022-12-14 2023-04-14 深圳思谋信息科技有限公司 图像增强方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112508835A (zh) 2021-03-16
CN112508835B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
WO2022121213A1 (zh) 一种基于gan的无造影剂医学图像增强建模方法
CN108509915B (zh) 人脸识别模型的生成方法和装置
JP7446457B2 (ja) 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器
US10853409B2 (en) Systems and methods for image search
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
CN108229301B (zh) 眼睑线检测方法、装置和电子设备
CN111709956B (zh) 图像处理方法、装置、电子设备及可读存储介质
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
WO2021120961A1 (zh) 大脑成瘾结构图谱评估方法及装置
CN112966792B (zh) 血管图像分类处理方法、装置、设备及存储介质
CN114862861B (zh) 基于少样本学习的肺叶分割方法和装置
CN111815606B (zh) 图像质量评估方法、存储介质及计算装置
Dangi et al. Cine cardiac MRI slice misalignment correction towards full 3D left ventricle segmentation
CN113989293A (zh) 图像分割方法及相关模型的训练方法和装置、设备
CN110648309A (zh) 基于条件生成对抗网络合成红细胞图像的方法及相关设备
CN111292272A (zh) 图像处理方法、装置、介质以及电子设备
CN113888566B (zh) 目标轮廓曲线确定方法、装置、电子设备以及存储介质
CN110021021B (zh) 头部图像分析装置及图像分析方法
CN111724371A (zh) 一种数据处理方法、装置及电子设备
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN111598144B (zh) 图像识别模型的训练方法和装置
WO2022120734A1 (zh) 一种基于gan的无造影剂医学图像增强方法
CN110910409B (zh) 一种灰度图像处理方法、装置和计算机可读存储介质
CN114626118A (zh) 建筑物室内模型生成方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21901928

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21901928

Country of ref document: EP

Kind code of ref document: A1