CN109754447B - 图像生成方法、装置、设备和存储介质 - Google Patents

图像生成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109754447B
CN109754447B CN201811622772.3A CN201811622772A CN109754447B CN 109754447 B CN109754447 B CN 109754447B CN 201811622772 A CN201811622772 A CN 201811622772A CN 109754447 B CN109754447 B CN 109754447B
Authority
CN
China
Prior art keywords
image
target image
image generation
model
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811622772.3A
Other languages
English (en)
Other versions
CN109754447A (zh
Inventor
葛云皓
廖术
魏冬铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201811622772.3A priority Critical patent/CN109754447B/zh
Publication of CN109754447A publication Critical patent/CN109754447A/zh
Priority to US16/729,303 priority patent/US11270446B2/en
Priority to PCT/CN2019/129582 priority patent/WO2020135801A1/en
Application granted granted Critical
Publication of CN109754447B publication Critical patent/CN109754447B/zh
Priority to US17/651,806 priority patent/US11948314B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请提供一种图像生成方法、装置、设备和存储介质。该方法包括：获取原始图像；将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。由于计算机设备能够通过已经训练好的图像生成模型生成与原始图像模态和/或分辨率不同的目标图像，而不需要使用图像配准的方法生成与原始图像模态和/或分辨率不同的目标图像，因此，解决了传统技术的图像生成方法过于依赖图像配准的精度，且配准过程的难度较高，花费时间较长的技术问题，从而缩短了图像生成的时间，降低了图像生成的难度，进而提高了图像生成的效率。

Description

图像生成方法、装置、设备和存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种图像生成方法、装置、设备和存储介质。
背景技术
在医学诊断中，通常会将患者的多种模态的医学图像进行综合分析，以得到患者较为全面的信息。以患者的多种模态的医学图像为磁共振(Magnetic Resonance，MR)图像和电子计算机断层扫描(Computed Tomography，CT)图像为例，医生通常会将患者的MR图像和CT图像结合起来分析患者的病患情况。但是，采集CT图像会对患者造成辐射影响，因此，如何根据MR图像生成CT图像对于医学的发展有很重大的意义。
传统技术中，通常采用图谱配准的方法由MR图像生成CT图像。具体的过程可以为：首先需要将多对MR图像和CT图像进行配准，形成多张配准好的图谱，然后将多张图谱中的各个MR图像配准到测试MR图像上，依据多张图谱中的各个MR图像与测试MR图像的配准规则，对多张图谱中的各个CT图像进行配准，再依据配准结果生成测试MR图像对应的CT图像。
但是，由于传统技术的图像生成方法过于依赖图像配准的精度，且配准过程的难度较高，花费时间较长。
发明内容
基于此，有必要针对传统技术的图像生成方法过于依赖图像配准的精度，且配准过程的难度较高，花费时间较长的技术问题，提供一种图像生成方法、装置、设备和存储介质。
一种图像生成方法，包括：
获取原始图像；
将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。
本实施例提供的图像生成方法，在计算机设备获取到原始图像之后，计算机设备将原始图像输入至图像生成模型中，生成目标图像。由于计算机设备能够通过已经训练好的图像生成模型生成与原始图像模态和/或分辨率不同的目标图像，而不需要使用图像配准的方法生成与原始图像模态和/或分辨率不同的目标图像，因此，解决了传统技术的图像生成方法过于依赖图像配准的精度，且配准过程的难度较高，花费时间较长的技术问题，从而缩短了图像生成的时间，降低了图像生成的难度，进而提高了图像生成的效率。
在其中一个实施例中，所述将所述原始图像输入至预设的图像生成模型中，生成目标图像，包括：
将所述原始图像切分成多张子图像；
将各个所述子图像输入至所述图像生成模型中，生成每个所述子图像对应的子目标图像；
将各个所述子目标图像进行整合，得到所述原始图像对应的目标图像。
本实施例提供的图像生成方法，计算机设备可以将原始图像切分成多张子图像，再根据图像生成模型，生成每个子图像对应的子目标图像，然后将各个子目标图像进行整合，得到原始图像对应的目标图像。由于相比原始图像，子图像的大小较小，这样，在进行图像生成的过程中，便可以加快图像生成模型的计算速度，从而提高了图像生成的效率。
在其中一个实施例中，在所述将所述原始图像输入至预设的图像生成模型中，生成目标图像之前，还包括：
采用预设的对抗学习方法，根据预设的判别网络模型对预设的生成网络模型进行训练，得到所述图像生成模型。
本实施例提供的图像生成方法，在图像生成过程中，由于图像生成模型是采用预设的对抗学习方法，根据预设的判别网络模型对预设的生成网络模型进行训练得到的，即计算机设备通过判别网络模型判别生成网络模型生成的预测目标图像和实际目标图像的差距，并根据判别结果不断优化生成网络模型，因此，通过该训练过程得到的图像生成模型更优化，从而提高了依据该图像生成模型生成的图像的准确性。另外，图像生成模型的训练过程中采用的是对抗学习方法，没有使用复杂的训练算法，从而简化了模型训练的运算量，提高了模型训练的效率，进一步提高了图像生成的效率。
在其中一个实施例中，所述采用预设的对抗学习方法，根据预设的判别网络模型对预设的生成网络模型进行训练，得到所述图像生成模型，包括：
根据训练图像集、所述生成网络模型和所述判别网络模型，确定图像生成参数实际值；其中，所述生成网络模型中包括图像生成参数初始值；所述训练图像集包括所述原始图像和所述原始图像对应的实际目标图像；所述判别网络模型包括内容判别网络模型和形状判别网络模型；
将所述图像生成参数初始值替换为所述图像生成参数实际值，得到所述图像生成模型。
在其中一个实施例中，所述根据训练图像集、所述生成网络模型和所述判别网络模型，确定图像生成参数实际值，包括：
将所述原始图像输入至所述生成网络模型中，生成所述原始图像对应的预测目标图像；
采用所述内容判别网络模型对所述预测目标图像和所述实际目标图像进行分类，得到内容分类准确率；
采用所述形状判别网络模型对所述预测目标图像和所述原始图像进行分类，得到形状分类准确率；
根据所述内容分类准确率和所述形状分类准确率，调整所述图像生成参数的值，得到所述图像生成参数的实际值。
在其中一个实施例中，所述采用所述形状判别模型对所述预测目标图像和所述原始图像进行分类，得到形状分类准确率，包括：
分别提取所述预测目标图像的形状和所述原始图像的形状；
采用所述形状判别模型对所述预测目标图像和所述原始图像的形状进行分类，得到形状分类准确率。
在其中一个实施例中，在所述根据训练图像集、所述生成网络模型和所述判别网络模型，确定图像生成参数实际值之前，还包括：
对所述原始图像和所述实际目标图像进行刚性配准。
本实施例提供的图像生成方法，在图像生成模型的训练过程中，由于计算机设备可以通过训练图像集、生成网络模型、内容判别网络模型和形状判别网络模型确定图像生成参数实际值，其依据两种判别网络模型的输出结果不断优化图像生成参数值，直至生成网络模型收敛，得到图像生成模型。也就是说，最终训练得到的图像生成模型中的图像生成参数实际值不仅结合了内容判别网络模型输出的结果，还结合了形状判别网络模型输出的结果，因此，经过本实施例提供的图像生成方法训练得到的图像生成模型更优化，从而提高了生成的目标图像的准确性。
一种图像生成装置，包括：
获取模块，用于获取原始图像；
生成模块，用于将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取原始图像；
将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取原始图像；
将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。
本实施例提供的图像生成装置、设备和存储介质，在计算机设备获取到原始图像之后，能够使得计算机设备将原始图像输入至图像生成模型中，生成目标图像。由于计算机设备能够通过已经训练好的图像生成模型生成与原始图像模态和/或分辨率不同的目标图像，而不需要使用图像配准的方法生成与原始图像模态和/或分辨率不同的目标图像，因此，解决了传统技术的图像生成方法过于依赖图像配准的精度，且配准过程的难度较高，花费时间较长的技术问题，从而缩短了图像生成的时间，降低了图像生成的难度，进而提高了图像生成的效率。
附图说明
图1为一实施例提供的一种PET/MR***的结构示意图；
图2为一实施例提供的一种图像生成方法流程示意图；
图3为另一实施例提供的一种图像生成方法流程示意图；
图4为另一实施例提供的一种图像生成方法流程示意图；
图5为另一实施例提供的一种图像生成方法流程示意图；
图6为另一实施例提供的一种图像生成方法流程示意图；
图7为一实施例提供的一种图像生成装置结构示意图；
图8为另一实施例提供的一种图像生成装置结构示意图；
图9为另一实施例提供的一种图像生成装置结构示意图；
图10为另一实施例提供的一种图像生成装置结构示意图；
图11为另一实施例提供的一种图像生成装置结构示意图；
图12为另一实施例提供的一种图像生成装置结构示意图；
图13为一实施例提供的一种计算机设备的内部结构示意图。
具体实施方式
本申请实施例提供的图像生成方法，适应于各种成像***，例如正电子发射计算机断层显像(Positron Emission Tomography/Computed Tomography，PET/CT)***、PET/MR***等。以PET/MR***为例，图1为一实施例提供的PET/MR***的结构示意图，如图1所示，该PET/MR***包括PET/MR扫描设备100和计算机设备200，PET/MR扫描设备100和计算机设备200之间通过网络300连接。其中，PET/MR扫描设备100包括扫描机架101和检查床102。可选的，网络300可以为无线网络，也可以为有线网络，本申请对此不做限定。可选的，该计算机设备200可以为PC、便携式设备、服务器等具有数据处理功能的电子设备，本实施例对计算机设备200的具体形式并不做限定。
通常，PET/MR扫描设备100使用同一检查床102将患者载置扫描机架101内，从而形成扫描空间，医师通过计算机设备200控制整个PET/MR的检查过程，从而完成数据的采集以及图像的重建等过程，以达到辅助医生检查的目的。为了全面的分析患者的病患情况，在得到了患者的PET图像和MR图像，还需要结合患者的CT图像做综合分析处理。但是，采集CT图像会对患者造成辐射影响，因此，从已有的MR图像生成CT图像对于医学的发展有很重大的意义。
传统技术中，通常采用图谱配准的方法由MR图像生成CT图像。但是，传统技术的图像生成方法过于依赖图像配准的精度，且配准过程的难度较高，花费时间较长。为此，本申请提供的图像生成方法、装置、设备和存储介质旨在解决上述传统技术中存在的技术问题。
需要说明的是，本申请实施例提供的图像生成方法，其执行主体可以是图像生成装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例的执行主体以计算机设备为例来进行说明。
为了使本申请的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本申请实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
图2为一实施例提供的图像生成方法流程示意图。本实施例涉及的是计算机设备如何根据原始图像生成目标图像的具体过程。如图2所示，该方法可以包括：
S101、获取原始图像。
具体的，原始图像为某一种特定模态的图像，也可以为某一种分辨率的图像，其可以为MR图像，也可以为CT图像，还可以为PET图像，还可以为超声图像等。以原始图像为MR图像为例，可以通过MRI设备采集患者的待***位的数据，然后通过对采集到的数据进行图像重建，从而得到患者的MR图像。在实际应用中，上述原始图像可以为2D图像，也可以为3D图像，本实施例对此不做限定。当然，原始图像(MR图像)也可以预先重建好，存储在计算机设备中，当需要对其进行图像生成操作时，直接从计算机设备的存储器中读取原始图像。当然，计算机设备也可以从外部设备中获取原始图像。比如，将患者的MR图像存储在云端，当需要进行图像生成操作时，计算机设备从云端获取该患者的MR图像。本实施例对获取原始图像的获取方式不做限定。
S102、将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。
具体的，图像生成模型是经过大量的训练数据训练得到的，用于将某种模态的图像生成为另一种模态的图像。上述目标图像为对原始图像进行处理后的图像，其与原始图像的模态和/或分辨率不相同。仅以目标图像与原始图像的模态不同为例，在实际图像生成过程中，计算机设备将某种特定模态的原始图像输入到图像生成模型中后，图像生成模型依据原始图像生成另一种与原始图像模态不同的图像，并输出生成后的图像，从而得到目标图像。
在实际应用中，由于CT图像在采集过程中会产生辐射，同时，在PET图像重建过程中，需要使用CT图像对PET图像进行衰减校正，且在基于MR图像进行放射治疗时，也需要使用CT图像进行放射剂量的计算，因此，基于已有的MR图像生成CT图像具有非常重要的意义。因此，可选的，原始图像可以为MR图像，目标图像可以为CT图像。当然，原始图像也可以为CT图像，目标图像为超声图像。本实施例对原始图像和目标图像具体的模态和/或分辨率不做限定，只要原始图像和目标图像的模态和/或分辨率不相同即可。以原始图像可以为MR图像，目标图像可以为CT图像为例，介绍计算机设备由MR图像生成CT图像的过程，具体的：在计算机设备获取到MR图像之后，计算机设备将MR图像输入到图像生成模型中，图像生成模型将MR图像生成为CT图像，并输出生成的CT图像。
当然，依据本实施例提供的方法，不仅可以由MR图像生成CT图像，也可以由MR图像生成XR图像(X线图像)，还可以由US图像(超声图像)生成CT图像，还可以由US图像生成XR图像，本实施例在此不再一一列举，只要能够从一种模态的医学图像生成另一种模态的医学图像，和/或从一种分辨率的医学图像生成另一种分辨率的医学图像即可。
本实施例提供的图像生成方法，在计算机设备获取到原始图像之后，计算机设备将原始图像输入至图像生成模型中，生成目标图像。由于计算机设备能够通过已经训练好的图像生成模型生成与原始图像模态和/或分辨率不同的目标图像，而不需要使用图像配准的方法生成与原始图像模态和/或分辨率不同的目标图像，因此，解决了传统技术的图像生成方法过于依赖图像配准的精度，且配准过程的难度较高，花费时间较长的技术问题，从而缩短了图像生成的时间，降低了图像生成的难度，进而提高了图像生成的效率。
在实际应用中，为了进一步提高图像生成的效率，可以根据如图3所示的过程进行图像的生成。可选的，在上述实施例的基础上，如图3所示，上述S102可以包括：
S201、将所述原始图像切分成多张子图像。
具体的，当原始图像为3D图像时，上述子图像可以为3D图像，也可以为2D图像。作为一种可选的实施方式，为了便于计算，计算机设备可以将3D图像切分成多张3D子图像进行处理，也可以将3D图像切分成多张2D图像进行处理。可以根据实际的需求，对原始的3D图像进行切分，得到多张子图像。切分的粒度可以根据实际需求进行设置，本实施例对此不做限定。
S202、将各个所述子图像输入至所述图像生成模型中，生成每个所述子图像对应的子目标图像。
具体的，以计算机设备将3D图像切分成多张2D图像进行处理，即子图像为2D图像为例，当子图像为2D图像时，子目标图像为对2D子图像进行处理后的图像，其与2D子图像的模态不同。以2D子图像为MR图像，2D子目标目标图像为CT图像为例，计算机设备将切分后的各个2D的MR图像输入至图像生成模型中，生成每个2D的MR图像对应的2D的CT图像。
S203、将各个所述子目标图像进行整合，得到所述原始图像对应的目标图像。
具体的，继续以子图像为2D图像，且子目标图像为CT图像为例，计算机设备将生成的各个2D的CT图像进行整合，即可得到3D的MR图像对应的3D的CT图像。
需要说明的是，上述是以计算机设备将3D图像切分成多张2D图像进行处理为例进行介绍，对于计算机设备将3D图像切分成多张3D图像进行处理的过程，可以参照上述计算机设备将3D图像切分成多张2D图像进行处理的过程，本实施例在此不再赘述。
本实施例提供的图像生成方法，计算机设备可以将原始图像切分成多张子图像，再根据图像生成模型，生成每个子图像对应的子目标图像，然后将各个子目标图像进行整合，得到原始图像对应的目标图像。由于相比原始图像，子图像的大小较小，这样，在进行图像生成的过程中，便可以加快图像生成模型的计算速度，从而提高了图像生成的效率。
在实际应用中，上述图像生成模型是经过大量训练数据训练得到的，作为一种可选的实施方式，计算机设备可以通过如图4所示的过程生成目标图像，具体的，该方法可以包括：
S301、获取原始图像。
S302、采用预设的对抗学习方法，根据预设的判别网络模型对预设的生成网络模型进行训练，得到所述图像生成模型。
具体的，预设的生成网络模型是图像生成模型的初始模型，其用于将原始图像生成预测目标图像，预设的判别网络模型用于比较预测目标图像和实际目标图像，计算机设备根据判别网络模型输出的比较结果不断地调整生成网络模型，即计算机设备通过生成网络模型与判别网络模型之间的对抗学习，不断优化生成网络模型，直至生成网络模型收敛，从而得到图像生成模型。
S303、将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同。
需要说明的是，关于上述S301和S303中的具体描述可以参照上述S101和S102中的描述，本实施例在此不再赘述。
本实施例提供的图像生成方法，在图像生成过程中，由于图像生成模型是采用预设的对抗学习方法，根据预设的判别网络模型对预设的生成网络模型进行训练得到的，即计算机设备通过判别网络模型判别生成网络模型生成的预测目标图像和实际目标图像的差距，并根据判别结果不断优化生成网络模型，因此，通过该训练过程得到的图像生成模型更优化，从而提高了依据该图像生成模型生成的图像的准确性。另外，图像生成模型的训练过程中采用的是对抗学习方法，没有使用复杂的训练算法，从而简化了模型训练的运算量，提高了模型训练的效率，进一步提高了图像生成的效率。
图5为另一实施例提供的图像生成方法流程示意图。本实施例涉及的是计算机设备如何训练得到图像生成模型的具体过程。在上述实施例的基础上，可选的，上述S302可以包括：
S401、根据训练图像集、所述生成网络模型和所述判别网络模型，确定图像生成参数实际值。
具体的，训练图像集是用来训练图像生成模型的数据集，其作为模型训练过程的输入数据。该训练图像集包括原始图像和原始图像对应的实际目标图像，训练图像集中的训练图像可以来自不同个体。该模型训练过程所使用的模型包括生成网络模型和判别网络模型。其中，生成网络模型作为图像生成模型的基本模型，生成网络模型中包括图像生成参数初始值。在计算机设备得到训练图像集之后，计算机设备将原始图像输入至生成网络模型中，生成网络模型输出原始图像对应的预测目标图像，然后计算机设备将原始图像对应的预测目标图像和原始图像对应的实际目标图像输入至判别网络模型中，判别网络模型对原始图像对应的预测目标图像和原始图像对应的实际目标图像进行分类区分，输出对于二者的分类准确率，或者输出二者的相似度，计算机设备依据判别网络模型输出的分类准确率或者相似度不断优化图像生成参数初始值，从而确定图像生成参数实际值。
为了使训练得到的图像生成模型更优化，上述判别网络模型可以包括内容判别网络模型和形状判别网络模型。作为一种可选的实施方式，计算机设备可以通过以下如图6所示的过程确定图像生成参数实际值，在上述实施例的基础上，可选的，如图6所示，上述S401可以包括：
A步骤：将所述原始图像输入至所述生成网络模型中，生成所述原始图像对应的预测目标图像。
B步骤：采用所述内容判别模型对所述预测目标图像和所述实际目标图像进行分类，得到内容分类准确率。
具体的，内容判别模型用于对预测目标图像和实际目标图像的内容进行分类区分，计算机设备将预测目标图像和实际目标图像输入至内容判别模型中，内容判别模型对预测目标图像和实际目标图像的内容进行分类区分，输出内容分类准确率。当预测目标图像的内容和实际目标图像的内容不相近时，内容判别模型可以很轻易地判别出预测目标图像和实际目标图像，从而得到的内容分类准确率就越高。当预测目标图像的内容和实际目标图像的内容比较相近时，内容判别模型便不容易判别出预测目标图像和实际目标图像，从而得到的内容分类准确率就越低。当预测目标图像的内容和实际目标图像的内容非常相近时，内容判别模型几乎判别不出预测目标图像和实际目标图像，从而得到的内容分类准确率就越接近于0.5。
C步骤：采用所述形状判别模型对所述预测目标图像和所述原始图像进行分类，得到形状分类准确率。
具体的，形状判别模型用于对预测目标图像和原始图像的形状进行分类区分，计算机设备将预测目标图像和原始图像输入至形状判别模型中，形状判别模型对预测目标图像和原始图像的形状进行分类区分，输出形状分类准确率。当预测目标图像的形状和原始图像的形状不相近时，形状判别模型可以很轻易地判别出预测目标图像和原始图像，从而得到的形状分类准确率就越高。当预测目标图像的形状和原始图像的形状比较相近时，形状判别模型便不容易判别出预测目标图像和原始图像，从而得到的形状分类准确率就越低。当预测目标图像的形状和原始图像的形状非常相近时，形状判别模型几乎判别不出预测目标图像和原始图像，从而得到的形状分类准确率就越接近于0.5。
作为一种可选的实施方式，计算机设备可以通过形状提取器分别提取预测目标图像的形状和原始图像的形状，并采用形状判别网络模型对预测目标图像和原始图像的形状进行分类，得到形状分类准确率。
D步骤：根据所述内容分类准确率和所述形状分类准确率，调整所述图像生成参数的值，得到所述图像生成参数的实际值。
具体的，是否需要调整图像生成参数的值的依据为损失函数的生成损失值是否满足预设阈值。即计算机设备可以根据内容分类准确率和形状分类准确率，确定损失函数的生成损失值是否满足预设阈值。若否，则调整图像生成参数的值，并执行A步骤到D步骤，直至损失函数的生成损失值满足所述预设阈值为止。然后将调整后的图像生成参数的值作为所述图像生成参数的实际值。
上述损失函数可以为Loss＝Ladv(内容)+L1(实际目标图像，预测目标图像)+Ladv(形状)。其中，Loss为损失函数的生成损失值，Ladv(内容)为内容判别网络模型输出的结果(内容分类准确率)，Ladv(形状)为形状判别网络模型输出的结果(形状分类准确率)，L1(实际目标图像，预测目标图像)为实际目标图像和预测目标图像的灰度的1范数。上述预设阈值可以根据实际需求进行相应的设置。在计算机设备得到内容判别网络模型输出的内容分类准确率以及形状判别网络模型输出的形状分类准确率之后，计算机设备将内容分类准确率和形状分类准确率代入至损失函数中，求解损失函数的生成损失值，并将生成损失值与预设阈值进行比较，以确定生成损失值是否满足预设阈值。
S402、将所述图像生成参数初始值替换为所述图像生成参数实际值，得到所述图像生成模型。
综上所述，在得到图像生成模型的过程中，即对生成网络模型的训练过程中，不仅结合了内容判别网络模型输出的结果，还结合了形状判别网络模型输出的结果，使得最终确定的图像生成参数的实际值更优化。这样，依据图像生成模型生成的预测目标图像不仅内容上与实际目标图像相近，而且形状上也与原始图像相近，从而保证了生成的预测目标图像的准确性。
在实际应用中，原始图像和原始图像对应的实际目标图像之间可能存在翻转或者平移，为了使原始图像和原始图像对应的实际目标图像匹配，可选的，在上述S401之前，计算机设备可以对原始图像和实际目标图像进行刚性配准。
本实施例提供的图像生成方法，在图像生成模型的训练过程中，由于计算机设备可以通过训练图像集、生成网络模型、内容判别网络模型和形状判别网络模型确定图像生成参数实际值，其依据两种判别网络模型的输出结果不断优化图像生成参数值，直至生成网络模型收敛，得到图像生成模型。也就是说，最终训练得到的图像生成模型中的图像生成参数实际值不仅结合了内容判别网络模型输出的结果，还结合了形状判别网络模型输出的结果，因此，经过本实施例提供的图像生成方法训练得到的图像生成模型更优化，从而提高了生成的目标图像的准确性。
应该理解的是，虽然图2至图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一实施例提供的图像生成装置结构示意图。如图7所示，该装置可以包括：获取模块21和生成模块22。
具体的，获取模块21用于获取原始图像；
生成模块22用于将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。
本实施例提供的图像生成装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图8为另一实施例提供的图像生成装置结构示意图。可选的，在上述实施例的基础上，如图8所示，上述生成模块22可以包括：切分单元221、生成单元222和整合单元222。
具体的，切分单元221用于将所述原始图像切分成多张子图像；
生成单元222用于将各个所述子图像输入至所述图像生成模型中，生成每个所述子图像对应的子目标图像；
整合单元222用于将各个所述子目标图像进行整合，得到所述原始图像对应的目标图像。
本实施例提供的图像生成装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图9为另一实施例提供的图像生成装置结构示意图。可选的，在上述实施例的基础上，如图9所示，上述图像生成装置还可以包括：训练模块23。
具体的，训练模块23用于在生成模块22将所述原始图像输入至预设的图像生成模型中生成目标图像之前，采用预设的对抗学习方法，根据预设的判别网络模型对预设的生成网络模型进行训练，得到所述图像生成模型。
本实施例提供的图像生成装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图10为另一实施例提供的图像生成装置结构示意图。可选的，在上述实施例的基础上，如图10所示，上述训练模块23可以包括：确定单元231和替换单元232。
具体的，确定单元231用于根据训练图像集、所述生成网络模型和所述判别网络模型，确定图像生成参数实际值；其中，所述生成网络模型中包括图像生成参数初始值；所述训练图像集包括所述原始图像和所述原始图像对应的实际目标图像；所述判别网络模型包括内容判别网络模型和形状判别网络模型；
替换单元232用于将所述图像生成参数初始值替换为所述图像生成参数实际值，得到所述图像生成模型。
本实施例提供的图像生成装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图11为另一实施例提供的图像生成装置结构示意图。可选的，在上述实施例的基础上，如图11所示，上述确定单元231可以包括：生成子单元2311、第一分类子单元2312、第二分类子单元2313、处理子单元2314。
具体的，生成子单元2311用于将所述原始图像输入至所述生成网络模型中，生成所述原始图像对应的预测目标图像；
第一分类子单元2312用于采用所述内容判别网络模型对所述预测目标图像和所述实际目标图像进行分类，得到内容分类准确率；
第二分类子单元2313用于采用所述形状判别网络模型对所述预测目标图像和所述原始图像进行分类，得到形状分类准确率；
处理子单元2314用于根据所述内容分类准确率和所述形状分类准确率，调整所述图像生成参数的值，得到所述图像生成参数的实际值。
可选的，上述第二分类子单元2313具体用于分别提取所述预测目标图像的形状和所述原始图像的形状；采用所述形状判别网络模型对所述预测目标图像和所述原始图像的形状进行分类，得到形状分类准确率。
本实施例提供的图像生成装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
图12为另一实施例提供的图像生成装置结构示意图。可选的，在上述实施例的基础上，如图12所示，上述训练模块23还可以包括：刚性配准单元233。
具体的，刚性配准单元233用于在确定单元231根据训练图像集、所述生成网络模型和所述判别网络模型，确定图像生成参数实际值之前，对所述原始图像和所述实际目标图像进行刚性配准。
关于图像生成装置的具体限定可以参见上文中对于图像生成方法的限定，在此不再赘述。上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备的内部结构图可以如图13所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，示例性的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，上述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序在被所述处理器执行时实现如下步骤：
获取原始图像；
将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述原始图像切分成多张子图像；将各个所述子图像输入至所述图像生成模型中，生成每个所述子图像对应的子目标图像；将各个所述子目标图像进行整合，得到所述原始图像对应的目标图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用预设的对抗学习方法，根据预设的判别网络模型对预设的生成网络模型进行训练，得到所述图像生成模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据训练图像集、所述生成网络模型和所述判别网络模型，确定图像生成参数实际值；其中，所述生成网络模型中包括图像生成参数初始值；所述训练图像集包括所述原始图像和所述原始图像对应的实际目标图像；所述判别网络模型包括内容判别网络模型和形状判别网络模型；将所述图像生成参数初始值替换为所述图像生成参数实际值，得到所述图像生成模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：A步骤：将所述原始图像输入至所述生成网络模型中，生成所述原始图像对应的预测目标图像；B步骤：采用所述内容判别网络模型对所述预测目标图像和所述实际目标图像进行分类，得到内容分类准确率；C步骤：采用所述形状判别网络模型对所述预测目标图像和所述原始图像进行分类，得到形状分类准确率；D步骤：根据所述内容分类准确率和所述形状分类准确率，调整所述图像生成参数的值，得到所述图像生成参数的实际值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：分别提取所述预测目标图像的形状和所述原始图像的形状；采用所述形状判别网络模型对所述预测目标图像和所述原始图像的形状进行分类，得到形状分类准确率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述原始图像和所述实际目标图像进行刚性配准。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取原始图像；
将所述原始图像输入至预设的图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态和/或分辨率不同，且所述原始图像与所述目标图像为医学图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述原始图像切分成多张子图像；将各个所述子图像输入至所述图像生成模型中，生成每个所述子图像对应的子目标图像；将各个所述子目标图像进行整合，得到所述原始图像对应的目标图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用预设的对抗学习方法，根据预设的判别网络模型对预设的生成网络模型进行训练，得到所述图像生成模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据训练图像集、所述生成网络模型和所述判别网络模型，确定图像生成参数实际值；其中，所述生成网络模型中包括图像生成参数初始值；所述训练图像集包括所述原始图像和所述原始图像对应的实际目标图像；所述判别网络模型包括内容判别网络模型和形状判别网络模型；将所述图像生成参数初始值替换为所述图像生成参数实际值，得到所述图像生成模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：A步骤：将所述原始图像输入至所述生成网络模型中，生成所述原始图像对应的预测目标图像；B步骤：采用所述内容判别网络模型对所述预测目标图像和所述实际目标图像进行分类，得到内容分类准确率；C步骤：采用所述形状判别网络模型对所述预测目标图像和所述原始图像进行分类，得到形状分类准确率；D步骤：根据所述内容分类准确率和所述形状分类准确率，调整所述图像生成参数的值，得到所述图像生成参数的实际值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：分别提取所述预测目标图像的形状和所述原始图像的形状；采用所述形状判别网络模型对所述预测目标图像和所述原始图像的形状进行分类，得到形状分类准确率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述原始图像和所述实际目标图像进行刚性配准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像生成方法，其特征在于，所述方法包括：
获取原始图像；
将训练图像输入至预设的生成网络模型中，生成所述训练图像对应的预测目标图像；所述生成网络模型中包括图像生成参数的初始值；
采用内容判别模型对所述预测目标图像和实际目标图像进行分类，得到内容分类准确率；采用形状判别模型对所述预测目标图像和所述训练图像进行分类，得到形状分类准确率；
根据所述内容分类准确率和所述形状分类准确率，确定损失函数的损失值，并根据所述损失值调整所述图像生成参数的值，得到所述图像生成参数的实际值；
将所述图像生成参数的初始值替换为所述图像生成参数的实际值，得到图像生成模型；
将所述原始图像输入至所述图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态不同，且所述原始图像与所述目标图像为医学图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述原始图像输入至预设的图像生成模型中，生成目标图像，包括：
将所述原始图像切分成多张子图像；
将各个所述子图像输入至所述图像生成模型中，生成每个所述子图像对应的子目标图像；
将各个所述子目标图像进行整合，得到所述原始图像对应的目标图像。
3.根据权利要求1所述的方法，其特征在于，所述采用形状判别模型对所述预测目标图像和所述训练图像进行分类，得到形状分类准确率，包括：
分别提取所述预测目标图像的形状和所述训练图像的形状；
采用所述形状判别网络模型对所述预测目标图像和所述训练图像的形状进行分类，得到形状分类准确率。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在所述得到所述图像生成参数的实际值之前，还包括：
对所述训练图像和所述实际目标图像进行刚性配准。
5.一种图像生成装置，其特征在于，所述装置包括：
获取模块，用于获取原始图像；
训练模块，用于将训练图像输入至预设的生成网络模型中，生成所述训练图像对应的预测目标图像；所述生成网络模型中包括图像生成参数的初始值；采用内容判别模型对所述预测目标图像和实际目标图像进行分类，得到内容分类准确率；采用形状判别模型对所述预测目标图像和所述训练图像进行分类，得到形状分类准确率；根据所述内容分类准确率和所述形状分类准确率，确定损失函数的损失值，并根据所述损失值调整所述图像生成参数的值，得到所述图像生成参数的实际值；将所述图像生成参数的初始值替换为所述图像生成参数的实际值，得到图像生成模型；
生成模块，用于将所述原始图像输入至所述图像生成模型中，生成目标图像；所述目标图像与所述原始图像的模态不同，且所述原始图像与所述目标图像为医学图像。
6.根据权利要求5所述的装置，其特征在于，所述生成模块包括：切分单元、生成单元和整合单元，
所述切分单元，用于将所述原始图像切分成多张子图像；
所述生成单元，用于将各个所述子图像输入至所述图像生成模型中，生成每个所述子图像对应的子目标图像；
所述整合单元，用于将各个所述子目标图像进行整合，得到所述原始图像对应的目标图像。
7.根据权利要求5所述的装置，其特征在于，所述训练模块，具体用于分别提取所述预测目标图像的形状和所述训练图像的形状；采用所述形状判别网络模型对所述预测目标图像和所述训练图像的形状进行分类，得到形状分类准确率。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述训练模块包括刚性配准单元，所述刚性配准单元用于对所述训练图像和所述实际目标图像进行刚性配准。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述方法的步骤。
CN201811622772.3A 2018-12-28 2018-12-28 图像生成方法、装置、设备和存储介质 Active CN109754447B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811622772.3A CN109754447B (zh) 2018-12-28 2018-12-28 图像生成方法、装置、设备和存储介质
US16/729,303 US11270446B2 (en) 2018-12-28 2019-12-28 Systems and methods for image processing
PCT/CN2019/129582 WO2020135801A1 (en) 2018-12-28 2019-12-28 Systems and methods for image processing
US17/651,806 US11948314B2 (en) 2018-12-28 2022-02-20 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811622772.3A CN109754447B (zh) 2018-12-28 2018-12-28 图像生成方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109754447A CN109754447A (zh) 2019-05-14
CN109754447B true CN109754447B (zh) 2021-06-22

Family

ID=66404294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811622772.3A Active CN109754447B (zh) 2018-12-28 2018-12-28 图像生成方法、装置、设备和存储介质

Country Status (3)

Country Link
US (2) US11270446B2 (zh)
CN (1) CN109754447B (zh)
WO (1) WO2020135801A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019224800A1 (en) * 2018-05-25 2019-11-28 Mahajan Vidur Method and system for simulating and constructing original medical images from one modality to other modality
CN109754447B (zh) * 2018-12-28 2021-06-22 上海联影智能医疗科技有限公司 图像生成方法、装置、设备和存储介质
CN110288668B (zh) * 2019-05-20 2023-06-16 平安科技（深圳）有限公司 图像生成方法、装置、计算机设备及存储介质
CN110222741A (zh) * 2019-05-23 2019-09-10 上海联影智能医疗科技有限公司 医学图像的预测方法、模型、装置、设备和存储介质
CN110322432B (zh) * 2019-05-27 2021-11-23 上海联影医疗科技股份有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
CN110473233B (zh) * 2019-07-26 2022-03-01 上海联影智能医疗科技有限公司 配准方法、计算机设备和存储介质
US11348230B2 (en) * 2019-10-25 2022-05-31 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for generating and tracking shapes of a target
CN110866909B (zh) * 2019-11-13 2022-09-27 武汉中科医疗科技工业技术研究院有限公司 图像生成网络的训练方法、图像预测方法和计算机设备
CN112102385B (zh) * 2020-08-20 2023-02-10 复旦大学 一种基于深度学习的多模态肝脏磁共振影像配准***
DE102020211107A1 (de) * 2020-09-03 2022-03-03 Siemens Healthcare Gmbh Erzeugung von kombinierten Bilddaten basierend auf MR-Daten
WO2022120661A1 (zh) * 2020-12-09 2022-06-16 深圳先进技术研究院 一种用于多任务医学图像合成的先验指导型网络
US11948274B1 (en) * 2021-01-05 2024-04-02 Pixar Deep learned super resolution for feature film production
EP4275034A1 (en) * 2021-01-07 2023-11-15 The United States of America, as represented by The Secretary, Department of Health and Human Services Systems and methods for producing isotropic in-plane super-resolution images from line-scanning confocal microscopy
US11755688B2 (en) * 2021-03-30 2023-09-12 Singulos Research Inc. Apparatus and method for generating training data for a machine learning system
CN113096169B (zh) * 2021-03-31 2022-05-20 华中科技大学 一种非刚性多模医学图像的配准模型建立方法及其应用
CN114283151A (zh) * 2021-08-16 2022-04-05 腾讯科技（深圳）有限公司 用于医学图像的图像处理方法、装置、设备及存储介质
CN114359356A (zh) * 2021-12-28 2022-04-15 上海联影智能医疗科技有限公司 图像配准模型的训练方法、图像配准方法、设备及介质
WO2024094088A1 (en) * 2022-11-01 2024-05-10 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305204A (en) * 1989-07-19 1994-04-19 Kabushiki Kaisha Toshiba Digital image display apparatus with automatic window level and window width adjustment
CN102013020A (zh) * 2009-09-08 2011-04-13 王晓刚 用于合成人脸图像的方法和***
CN105957013A (zh) * 2016-06-06 2016-09-21 南阳理工学院 一种单幅图像超分辨重建方法
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN108133201A (zh) * 2018-01-17 2018-06-08 百度在线网络技术（北京）有限公司 人脸属性识别方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9779492B1 (en) * 2016-03-15 2017-10-03 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
US10387765B2 (en) 2016-06-23 2019-08-20 Siemens Healthcare Gmbh Image correction using a deep generative machine-learning model
US10043088B2 (en) 2016-06-23 2018-08-07 Siemens Healthcare Gmbh Image quality score using a deep generative machine-learning model
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
US10791983B2 (en) * 2017-03-24 2020-10-06 The Florida International University Board Of Trustees Optical imaging for preterm birth assessment
US10504268B1 (en) * 2017-04-18 2019-12-10 Educational Testing Service Systems and methods for generating facial expressions in a user interface
US10733744B2 (en) * 2017-05-11 2020-08-04 Kla-Tencor Corp. Learning based approach for aligning images acquired with different modalities
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
US11676296B2 (en) * 2017-08-11 2023-06-13 Sri International Augmenting reality using semantic segmentation
US10970829B2 (en) * 2017-08-24 2021-04-06 Siemens Healthcare Gmbh Synthesizing and segmenting cross-domain medical images
CN107945204B (zh) * 2017-10-27 2021-06-25 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
WO2019148002A1 (en) * 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US11132792B2 (en) * 2018-02-22 2021-09-28 Siemens Healthcare Gmbh Cross domain medical image segmentation
US11100632B2 (en) * 2018-04-13 2021-08-24 Elekta, Inc. Image synthesis using adversarial networks such as for radiation therapy
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
US11557390B2 (en) * 2018-04-30 2023-01-17 Elekta, Inc. Radiotherapy treatment plan modeling using generative adversarial networks
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
CN109754447B (zh) 2018-12-28 2021-06-22 上海联影智能医疗科技有限公司 图像生成方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305204A (en) * 1989-07-19 1994-04-19 Kabushiki Kaisha Toshiba Digital image display apparatus with automatic window level and window width adjustment
CN102013020A (zh) * 2009-09-08 2011-04-13 王晓刚 用于合成人脸图像的方法和***
CN105957013A (zh) * 2016-06-06 2016-09-21 南阳理工学院 一种单幅图像超分辨重建方法
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN108133201A (zh) * 2018-01-17 2018-06-08 百度在线网络技术（北京）有限公司 人脸属性识别方法和装置

Also Published As

Publication number Publication date
CN109754447A (zh) 2019-05-14
WO2020135801A1 (en) 2020-07-02
US11270446B2 (en) 2022-03-08
US20200211209A1 (en) 2020-07-02
US20220172382A1 (en) 2022-06-02
US11948314B2 (en) 2024-04-02

Similar Documents

Publication Publication Date Title
CN109754447B (zh) 图像生成方法、装置、设备和存储介质
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
CN107133996B (zh) 产生用于pet数据重建的衰减图的方法及pet/ct***
US11604949B2 (en) Image processing method and apparatus, computer-readable storage medium, and computer device
CN110796656A (zh) 图像检测方法、装置、计算机设备和存储介质
CN111161270A (zh) 医学影像的血管分割方法、计算机设备和可读存储介质
CN110210519B (zh) 分类方法、计算机设备和存储介质
US20150173705A1 (en) Apparatus and method for adapting diagnostic model for computer-aided diagnosis
CN110600107B (zh) 医学图像的筛选方法、计算机设备及可读存储介质
US11854158B2 (en) Medical image enhancement
CN110473226B (zh) 图像处理网络的训练方法、计算机设备及可读存储介质
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN111223158B (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
CN111128345A (zh) 医学图像的获取方法、医学扫描设备和计算机存储介质
CN110751187A (zh) 异常区域图像生成网络的训练方法和相关产品
US20220262471A1 (en) Document creation support apparatus, method, and program
US11062486B2 (en) Methods and apparatus for deep learning based data transfer between imaging systems
CN112102235A (zh) 人体部位识别方法、计算机设备和存储介质
CN111128348A (zh) 医学图像处理方法、装置、存储介质及计算机设备
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN113192031B (zh) 血管分析方法、装置、计算机设备和存储介质
WO2022056297A1 (en) Method and apparatus for analyzing medical image data in a latent space representation
CN112200780B (zh) 骨组织定位方法、装置、计算机设备和存储介质
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
CN111145140B (zh) 使用深度学习确定肺结节的恶性程度

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant