CN111597946A - 图像生成器的处理方法、图像生成方法及装置 - Google Patents

图像生成器的处理方法、图像生成方法及装置 Download PDF

Info

Publication number
CN111597946A
CN111597946A CN202010392503.3A CN202010392503A CN111597946A CN 111597946 A CN111597946 A CN 111597946A CN 202010392503 A CN202010392503 A CN 202010392503A CN 111597946 A CN111597946 A CN 111597946A
Authority
CN
China
Prior art keywords
image
sample
source domain
target
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010392503.3A
Other languages
English (en)
Other versions
CN111597946B (zh
Inventor
谢鑫鹏
陈嘉伟
李悦翔
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010392503.3A priority Critical patent/CN111597946B/zh
Publication of CN111597946A publication Critical patent/CN111597946A/zh
Application granted granted Critical
Publication of CN111597946B publication Critical patent/CN111597946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像生成器的处理方法、图像生成方法及装置。图像生成器的处理方法包括：获取源域图像样本和参考图像样本；通过图像生成器，生成源域图像样本在目标域的目标生成图像；分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征；根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本；将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。采用本方法能够避免迁移后的图像发生变形。

Description

图像生成器的处理方法、图像生成方法及装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像生成器的处理方法、图像生成方法及装置。
背景技术
随着人工智能的发展，机器学习模型的使用越来越广泛。通过对机器学习模型进行训练，使得机器学习模型进行数据处理。比如，对医学影像处理模型进行训练，使得医学影像处理模型可实现医学影像的分类或者分割等。
目前，在通过图像样本训练机器学习模型时，图像样本可能来自不同的图像域，比如训练集的图像样本偏暗，测试集的图像样本偏亮，这会影响机器学习模型的性能。传统技术中，可先将图像样本迁移至同一图像域，再对机器学习模型进行训练。但是，传统的图像迁移方法会导致迁移后的图像发生变形。
发明内容
基于此，有必要针对上述技术问题，提供一种能够避免迁移后的图像发生变形的图像生成器的处理方法、图像生成方法及装置。
一种图像生成器的处理方法，该方法包括：
获取图像样本集、图像生成器和互信息判别器；图像样本集包括源域图像样本和参考图像样本；
通过图像生成器，生成源域图像样本在目标域的目标生成图像；
分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征；
根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本；
将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
一种图像生成器的处理装置，装置包括：
获取模块，用于获取图像样本集、图像生成器和互信息判别器；图像样本集包括源域图像样本和参考图像样本；
生成模块，用于通过图像生成器，生成源域图像样本在目标域的目标生成图像；
提取模块，用于分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征；
生成模块，还用于根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本；
输入模块，用于将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取图像样本集、图像生成器和互信息判别器；图像样本集包括源域图像样本和参考图像样本；
通过图像生成器，生成源域图像样本在目标域的目标生成图像；
分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征；
根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本；
将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取图像样本集、图像生成器和互信息判别器；图像样本集包括源域图像样本和参考图像样本；
通过图像生成器，生成源域图像样本在目标域的目标生成图像；
分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征；
根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本；
将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
上述图像生成器的处理方法、装置、计算机设备和存储介质，获取源域图像样本、参考图像样本、图像生成器和互信息判别器，通过图像生成器，生成源域图像样本在目标域的目标生成图像，分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征，根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本，将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。这样，通过互信息判别器与图像生成器之间的对抗训练，使得通过图像生成器将图像由源域迁移至目标域时，目标域的图像与源域的图像在内容特征上一致，从而避免目标域的图像变形；并且，利用目标生成图像去训练医学影像处理模型时，能够提高医学影像处理模型的性能。
一种图像生成方法，该方法包括：
获取待迁移图像；
确定待迁移图像所属的源域和待迁移至的目标域；
查询用于将属于源域的图像迁移至目标域的图像生成器；
通过图像生成器生成待迁移图像在目标域的迁移图像；迁移图像与待迁移图像的内容特征相同；
其中，图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；目标参数为源域图像样本的内容特征和生成图像样本的内容特征之间的互信息；源域图像样本属于源域；生成图像样本属于目标域、且通过图像生成器根据源域图像样本生成。
一种图像生成装置，装置包括：
获取模块，用于获取待迁移图像；
确定模块，用于确定待迁移图像所属的源域和待迁移至的目标域；
查询模块，用于查询用于将属于源域的图像迁移至目标域的图像生成器；
生成模块，用于通过图像生成器生成待迁移图像在目标域的迁移图像；迁移图像与待迁移图像的内容特征相同；
其中，图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；目标参数为源域图像样本的内容特征和生成图像样本的内容特征之间的互信息；源域图像样本属于源域；生成图像样本属于目标域、且通过图像生成器根据源域图像样本生成。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取待迁移图像；
确定待迁移图像所属的源域和待迁移至的目标域；
查询用于将属于源域的图像迁移至目标域的图像生成器；
通过图像生成器生成待迁移图像在目标域的迁移图像；迁移图像与待迁移图像的内容特征相同；
其中，图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；目标参数为源域图像样本的内容特征和生成图像样本的内容特征之间的互信息；源域图像样本属于源域；生成图像样本属于目标域、且通过图像生成器根据源域图像样本生成。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待迁移图像；
确定待迁移图像所属的源域和待迁移至的目标域；
查询用于将属于源域的图像迁移至目标域的图像生成器；
通过图像生成器生成待迁移图像在目标域的迁移图像；迁移图像与待迁移图像的内容特征相同；
其中，图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；目标参数为源域图像样本的内容特征和生成图像样本的内容特征之间的互信息；源域图像样本属于源域；生成图像样本属于目标域、且通过图像生成器根据源域图像样本生成。
上述图像生成方法、装置、计算机设备和存储介质，获取待迁移图像，确定待迁移图像所属的源域和待迁移至的目标域，查询用于将属于源域的图像迁移至目标域的图像生成器，通过图像生成器生成待迁移图像在目标域的迁移图像，迁移图像与待迁移图像的内容特征相同，其中，该图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数，该目标参数为源域图像样本的内容特征和生成图像样本的内容特征之间的互信息，该源域图像样本属于源域，该生成图像样本属于目标域、且通过图像生成器根据源域图像样本生成。这样，通过互信息判别器与图像生成器之间的对抗训练，使得通过图像生成器将图像由源域迁移至目标域时，目标域的图像与源域的图像在内容特征上一致，从而避免目标域的图像变形；并且，利用目标生成图像去训练医学影像处理模型时，能够提高医学影像处理模型的性能。
附图说明
图1为一个实施例中图像生成器的处理方法的应用环境图；
图2为一个实施例中图像生成器的处理方法的数据流向示意图；
图3为一个实施例中图像生成器的处理方法的流程示意图；
图4为一个实施例中图像样本的示意图；
图5为一个实施例中图像生成器的训练***的结构框图；
图6为另一个实施例中图像生成器的训练***的结构框图；
图7为又一个实施例中图像生成器的训练***的结构框图；
图8为再一个实施例中图像生成器的训练***的结构框图；
图9为一个实施例中图像生成器的训练***的结构框图；
图10为又一个实施例中图像生成器的处理方法的流程示意图；
图11为一个实施例中图像生成方法的流程示意图；
图12为一个实施例中图像生成器的处理装置的结构框图；
图13为一个实施例中图像生成装置的结构框图；
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：
本申请提供的图像生成器的处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取图像样本集、图像生成器和互信息判别器，该图像样本集包括源域图像样本和参考图像样本，将获取的图像样本集、图像生成器和互信息判别器上传至服务器104；服务器104通过图像生成器，生成源域图像样本在目标域的目标生成图像；服务器104分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征；服务器104根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本；服务器104将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请提供的图像生成方法，也可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取待迁移图像，将待迁移图像上传至服务器104；服务器104获取到待迁移图像时，确定待迁移图像所属的源域和待迁移至的目标域；服务器104查询用于将属于源域的图像迁移至目标域的图像生成器；服务器104通过图像生成器生成待迁移图像在目标域的迁移图像；迁移图像与待迁移图像的内容特征相同；其中，图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；该目标参数为源域图像样本的内容特征和生成图像样本的内容特征之间的互信息；该源域图像样本属于源域；该生成图像样本属于目标域、且通过图像生成器根据源域图像样本生成。
在一个具体的实施例中，如图2所示，终端102上运行的前端可以获取用户提供的待迁移图像，前端将用户提供的待迁移图像上传至后端(服务器104)，后端则执行本申请提供的图像生成方法，并将生成的迁移图像反馈至前端。
在一个实施例中，如图3所示，提供了一种图像生成器的处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤302，获取图像样本集、图像生成器和互信息判别器，图像样本集包括源域图像样本和参考图像样本。
本申请中，模型开发人员设计了一种主动学习网络，该主动学习网络包括图像生成器和互信息判别器。其中，图像生成器用于将一种图像域(源域)的原始图像迁移至另一种图像域(目标域)，得到属于目标域的生成图像。由于通过图像生成器迁移得到的生成图像可能会发生变形(比如生成图像中的物体消失或者形变)，即生成图像与原始图像在图像内容上存在差异，故引入互信息判别器，生成对抗框架来对生成图像的图像内容进行约束，使得生成图像与原始图像在图像内容上保持一致，避免生成图像发生变形。
其中，图像样本集是用于对抗训练图像生成器和互信息判别器的数据集合。源域图像样本和参考图像样本所属的图像域可以相同，也可以不同。图像域不同，可以理解为图像风格不同，主要表现在图像的色彩、亮度上存在差异。源域图像样本是属于源域的图像。参考图像样本是属于源域或者目标域的图像。可以理解，源域用于表征图像迁移前所在的图像域。目标域用于表征图像迁移后所在的图像域。
在一个实施例中，图像样本集中的图像样本可以是医学影像样本。医学影像是一种医学领域的、特殊的专用图像，是指为了医疗或者医学研究，对目标对象以非侵入方式取得的内部组织(胃部、腹部、心脏或者脑部等)影像。不同医学场景下由于成像设备或者成像方式等不同，得到的医学影像也有所不同。比如，眼底图像、内镜图像、电子计算机断层扫描(Computed Tomography，CT)图像、磁共振成像(Magnetic Resonance Imaging，MRI)图像、超声(ultrasonic，US，如B超、彩色多普勒超声、心脏彩超及三维彩超等)图像、X光图像、心电图、脑电图以及光学摄影等由医学仪器生成的图像。
其中，不同医学场景下的医学影像可以认为是不同图像域的图像；比如，眼底图像和内镜图像分别属于不同的图像域。相同医学场景下不同成像设备或者成像方式得到的医学影像，也可以认为是不同图像域的图像；比如，通过不同的眼底相机采集得到的眼底图像分别属于不同的图像域。
在一个实施例中，图像样本集中的图像样本可以是通过图像采集装置采集的常规图像，比如通过相机拍摄的风景图像或者人物图像等。不同的图像域比如油画域或者水彩画域等。图像样本集中的图像样本还可以是视频中的视频帧。
在一个具体的实施例中，图像样本集可采用目前机器学习领域公开的训练集。比如Refuge数据集、LUNA(LUng Nodule Analysis)16肺部结节检测数据集、MICCAI(MedicalImage Computing and Computer Assisted Intervention Society)胰腺分割数据集、ImageNet数据集、MicroSoft COCO数据集等。
举例说明，如图4所示，在本实施例中图像样本集具体为Refuge数据集，且Refuge的训练集和测试集分别由不同的眼底相机采集得到，因此训练集的图像样本与测试集的图像样本所属的图像域不同，主要表现在训练集的图像样本的亮度低于测试集的图像样本的亮度。那么，在采用图4中的测试集去测试由图4中的训练集训练得到的模型时，需要将测试集中的图像迁移至训练集中图像所在的图像域后，再来进行模型测试。这样可以提高训练模型的性能。
可以理解，通过图像样本集训练医学影像处理模型时，由于训练集的图像样本与测试集的图像样本所属的图像域不同，会降低医学影像处理模型的性能。因此可将训练集的图像样本与测试集的图像样本迁移至同一图像域，比如将训练集的图像样本迁移至测试集的图像样本所属的图像域，或者将测试集的图像样本迁移至训练集的图像样本所属的图像域，从而提高医学影像处理模型的性能。
步骤304，通过图像生成器，生成源域图像样本在目标域的目标生成图像。
其中，目标生成图像是通过图像生成器，将源域图像样本由源域迁移至目标域得到的真实的图像。
在一个具体的实施例中，图像生成器可采用GAN(Generative AdversarialNetworks，生成式对抗网络)的生成器(Generator)等。
步骤306，分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征。
本申请中，由于通过图像生成器迁移得到的目标生成图像，其图像内容可能会发生改变，即其内容特征与源域图像样本在内容特征存在差异，故提取源域图像样本的第一内容特征、目标生成图像的第三内容特征，通过互信息判别器对源域图像样本的第一内容特征和目标生成图像的第三内容特征进行约束，使得源域图像样本和目标生成图像在图像内容上保持一致。
具体地，可通过一个分类任务优化互信息判别器。而引入互信息判别器的目的是：对源域图像样本的第一内容特征和目标生成图像的第三内容特征进行约束，使得源域图像样本和目标生成图像的内容特征相同。因此第一内容特征和第三内容特征不存在明显的可区分性，需要构建具有明显的可区分性的训练样本。那么，基于上述构思，将第一内容特征和第三内容特征作为一训练样本，从源域或者目标域选取参考图像样本，并提取参考图像样本的第二内容特征，根据第二内容特征与第一内容特征，或者第二内容特征与第三内容特征构建另一训练样本。
其中，内容特征可包括图像的纹理特征、形状特征、空间关系特征等。纹理特征描述了图像或图像区域所对应目标(比如景物、人物、物品等)的表面性质。形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，轮廓特征主要针对目标的外边界，而区域特征则关系到目标的整个形状区域。空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。
其中，参考图像样本与源域图像样本、目标生成图像的内容特征不同。
在一个具体的实施例中，可随机从源域除了源域图像样本之外的其它图像中，提取一图像作为参考图像样本；或者随机从目标域除了目标生成图像之外的其它图像中，提取一图像作为参考图像样本。
步骤308，根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本。
本申请中，虽然第一内容特征与第三内容特征存在差异，但是该差异小于第一内容特征与第二内容特征之间的差异，以及第二内容特征与第三内容特征之间的差异。根据第一内容特征和第三内容特征生成正样本，根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本，使得互信息判别器在训练过程中，逐步可区分出正样本和负样本。
其中，正样本包括第一内容特征、第三内容特征和对应的训练标签，负样本包括第一内容特征、第二内容特征和对应的训练标签，或者第二内容特征、第三内容特征和对应的训练标签，或者第一内容特征、第二内容特征、第三内容特征和对应的训练标签。
可以理解，这里的“正”与“负”仅用于区分训练样本，并不构成对训练样本的训练标签的限定，即也可根据第一内容特征和第三内容特征生成负样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成正样本。
在一个具体的实施例中，正样本对应的训练标签可为“real”，负样本对应的训练标签可为“fake”。
步骤310，将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
本申请中，将正样本和负样本作为对抗样本对，对图像生成器和互信息判别器进行迭代地对抗训练。对抗训练是指图像生成器和互信息判别器形成一种动态的“博弈过程”，相互对抗，相互促进。
其中，互信息用于表征变量之间的相互依赖性。第一内容特征和第三内容特征之间的互信息越大，第一内容特征和第三内容特征的分布越相似。
在一个具体的实施例中，互信息判别器可以采用通用的判别器。
在一个具体的实施例中，在对抗训练过程，可使用自适应矩估计(Adam)优化器对图像生成器和互信息判别器进行参数优化。在优化的过程中，通过不断更新模型参数和偏置参数，在每次迭代过程中，计算预测结果误差并反向传播到模型，计算梯度并更新模型的参数。
具体地，随着训练的进行，图像生成器在互信息判别器的约束下，源域图像样本与目标生成图像之间的内容特征的差异逐步变小；互信息判别器在图像生成器的约束下，分类准确度越来越高。并且，随着互信息判别器的参数的优化，第一内容特征和第三内容特征的互信息逐步增大。
可以理解，通过本申请提供的方法，可训练由目标域至源域方向的图像迁移，实现双向的图像迁移、多向的图像迁移。
上述图像生成器的处理方法中，获取源域图像样本、参考图像样本、图像生成器和互信息判别器，通过图像生成器，生成源域图像样本在目标域的目标生成图像，分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征，根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本，将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。这样，通过互信息判别器与图像生成器之间的对抗训练，使得通过图像生成器将图像由源域迁移至目标域时，目标域的图像与源域的图像在内容特征上一致，从而避免目标域的图像变形；并且，利用目标生成图像去训练医学影像处理模型时，能够提高医学影像处理模型的性能。
在一个实施例中，将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，包括：通过第一内容特征和第三内容特征的相对熵，表征第一内容特征和第三内容特征的互信息；根据第一内容特征和第三内容特征的交叉熵，构建互信息判别器的判别损失函数；交叉熵与相对熵正相关；将正样本和负样本输入互信息判别器，并结合判别损失函数对图像生成器和互信息判别器进行迭代地对抗训练，在对抗训练过程中迭代地优化判别损失函数，以及最大化互信息。
可以理解，根据第一内容特征和第三内容特征的交叉熵，构建互信息判别器的判别损失函数。其中，判别损失函数用于根据预测结果误差优化互信息判别器的参数。而交叉熵与相对熵的关系如下：
H(Za；Zab)＝H(Za)+I(DV)(Za；Zab)
其中，H(Za；Zab)为第一内容特征和第三内容特征的交叉熵，H(Za)为第一内容特征和第三内容特征的信息熵，I(DV)(Za；Zab)为第一内容特征和第三内容特征的相对熵，即KL(Kullback-Leibler)散度的DV(Donsker-Varadhan)表示。
由于第一内容特征和第三内容特征的信息熵是固定的，因此交叉熵与相对熵正相关。在对抗训练过程中，互信息判别器器的参数逐步优化，交叉熵越来越小，相对熵也越来越小。而相对熵可衡量两个分布之间的相似性，相对熵越小，两个分布之间越相似，两个分布之间的互信息越大。那么，基于上述构思，可通过第一内容特征和第三内容特征的相对熵，表征第一内容特征和第三内容特征的互信息，这样，在对抗训练过程中，第一内容特征和第三内容特征的互信息越来越大。
具体地，通过相对熵来定义第一内容特征和第三内容特征的互信息的下界，公式如下：
Figure BDA0002486341100000131
其中，I(DV)(Za；Zab)为第一内容特征和第三内容特征的相对熵，即KL(Kullback-Leibler)散度的DV(Donsker-Varadhan)表示；EJ[DMI(Za；Zab)]为第一内容特征和第三内容特征联合分布的熵；
Figure BDA0002486341100000132
为第一内容特征和第三内容特征边缘分布的熵；DMI:Za×Zab→R是互信息判别器函数，R为实数空间。
具体地，在对抗训练过程中，互信息判别器逐步区分出正样本和负样本，互信息判别器器的参数逐步优化，第一内容特征和第三内容特征的互信息的下界越来越准确，从而第一内容特征和第三内容特征的互信息越来越大。
本实施例中，通过第一内容特征和第三内容特征的相对熵，表征第一内容特征和第三内容特征的互信息；根据第一内容特征和第三内容特征的交叉熵，构建互信息判别器的判别损失函数；交叉熵与相对熵正相关；将正样本和负样本输入互信息判别器，并结合判别损失函数对图像生成器和互信息判别器进行迭代地对抗训练，在对抗训练过程中迭代地优化判别损失函数，以及最大化互信息，这样，通过分类任务优化互信息判别器器的参数，实现最大化第一内容特征和第三内容特征的互信息。
在一个实施例中，分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征，包括：获取源域编码器以及目标域编码器；通过源域编码模型将源域图像样本编码至特征空间中，得到源域图像样本的第一内容特征；通过目标域编码器将参考图像样本编码至特征空间中，得到参考图像样本的第二内容特征，并通过目标域编码器将目标生成图像编码至特征空间中，得到目标生成图像的第三内容特征。
其中，源域编码器用于从源域的图像中提取特征，并将提取的特征嵌入特征空间，得到特征向量。目标域编码器用于从目标域的图像中提取特征，并将提取的特征嵌入相同的特征空间，得到特征向量。特征空间用于存放特征向量。
在一个具体的实施例中，源域编码器、目标域编码器，均可采用通用的编码器。
本实施例中，获取源域编码器以及目标域编码器，通过源域编码器将源域图像样本编码至特征空间中，得到源域图像样本的第一内容特征，通过目标域编码器将参考图像样本编码至特征空间中，得到参考图像样本的第二内容特征，并通过目标域编码器将目标生成图像编码至特征空间中，得到目标生成图像的第三内容特征，这样，将源域图像样本、参考图像样本以及目标生成图像编码至同一特征空间中，方便后续对源域图像样本以及目标生成图像各自对应的内容特征进行约束。
在一个实施例中，将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，包括：将正样本和负样本输入互信息判别器，对图像生成器、源域编码器、目标域编码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
具体地，如图5所示，图5为一个实施例中图像生成器的训练***的结构框图。其中，Ia为源域图像样本，Ib为目标生成图像，Ic为参考图像样本，Za为第一内容特征，Zb为第三内容特征，Zc为第二内容特征。在对抗训练过程中，图像生成器、源域编码器、目标域编码器和互信息判别器形成一种动态的“博弈过程”，相互对抗，相互促进。
具体地，随着训练的进行，图像生成器在源域编码器、目标域编码器和互信息判别器的约束下，生成的目标生成图像与源域图像样本之间的内容特征的差异逐步变小；源域编码器在图像生成器、目标域编码器和互信息判别器的约束下，对源域图像样本的特征提取越来越准确；目标域编码器在图像生成器、源域编码器和互信息判别器的约束下，对目标生成图像、参考图像样本的特征提取越来越准确；互信息判别器在图像生成器、源域编码器和目标域编码器的约束下，分类准确度越来越高。
本实施例中，将正样本和负样本输入互信息判别器，对图像生成器、源域编码器、目标域编码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，这样，通过图像生成器、源域编码器、目标域编码器和互信息判别器的迭代对抗训练，提高了图像生成器的性能。
在一个实施例中，该方法还包括：获取源域解码器以及目标域解码器；通过源域解码器，将源域图像样本的第一内容特征映射至源域，得到第一重建图像；并通过目标域解码器，将源域图像样本的第一内容特征映射至目标域，得到第二重建图像；基于源域图像样本与第一重建图像之间的差异构建第一损失函数，并基于目标生成图像与第二重建图像之间的差异构建第二损失函数；将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，包括：将正样本和负样本输入互信息判别器，并结合第一损失函数和第二损失函数，对图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
可以理解，当源域编码器将第一内容特征编码至特征空间中时，源域编码器可能将源域信息一并编码至特征空间；同理，当目标编码器将第二内容特征、第三内容特征编码至特征空间中时，目标域编码器可能将目标域信息一并编码至特征空间。而源域信息、目标域信息，在一定程度上可能会影响图像生成器的训练效率。基于此，可通过源域解码器从特征空间中分离出源域信息，通过目标域解码器从特征空间中分离出目标域信息。
其中，源域解码器用于将根据源域编码器或者目标域编码器得到的特征向量，重建至源域；目标域解码器用于将根据源域编码器或者目标域编码器得到的特征向量，重建至目标域。第一重建图像是通过源域解码器，将第一内容特征重建至源域得到的真实的图像；第二重建图像是通过目标域解码器，将第一内容特征重建至目标域得到的真实的图像。第一损失函数用于降低源域图像样本与第一重建图像之间的L1范数；第二损失函数用于降低目标生成图像与第二重建图像之间的L1范数。
具体地，如图6所示，图6为另一个实施例中图像生成器的训练***的结构框图。其中，Ia为源域图像样本，Ib为目标生成图像，Za为第一内容特征，Zaa为第一重建图像，Zab为第二重建图像。当特征空间中不存在源域信息时，源域图像样本可与第一重建图像无限接近，目标生成图像可与第二重建图像无限接近。以目标生成图像和第二重建图像为例，第二重建图像也是源域图像样本在目标域相应的图像，只是与目标生成图像的生成方式不同，且目标生成图像不携带有源域信息，因此当特征空间中不存在源域信息时，第二重建图像与目标生成图像无线接近。故基于源域图像样本与第一重建图像之间的差异构建第一损失函数，通过第一损失函数减少源域图像样本与第一重建图像之间的差异，使得源域解码器学习到源域信息；并基于目标生成图像与第二重建图像之间的差异构建第二损失函数，通过第二损失函数减少目标生成图像与第二重建图像之间的差异，使得目标域解码器学习到目标域信息。
在一个实施例中，可通过源域解码器，将目标生成图像的第三内容特征映射至源域，得到第三重建图像；并通过目标域解码器，将目标生成图像的第三内容特征映射至目标域，得到第四重建图像；基于源域图像样本与第三重建图像之间的差异构建第三损失函数，并基于目标生成图像与第四重建图像之间的差异构建第四损失函数；将正样本和负样本输入互信息判别器，并结合第三损失函数和第四损失函数。
其中，第三重建图像是通过源域解码器，将第三内容特征重建至源域得到的真实的图像；第四重建图像是通过目标域解码器，将第三内容特征重建至目标域得到的真实的图像。第三损失函数用于降低源域图像样本与第三重建图像之间的L1范数；第四损失函数用于降低目标生成图像与第四重建图像之间的L1范数。
具体地，如图7所示，图7为又一个实施例中图像生成器的训练***的结构框图。其中，Ia为源域图像样本，Ib为目标生成图像，Zb为第三内容特征，Zba为第三重建图像，Zbb为第四重建图像。当特征空间中不存在目标域信息时，源域图像样本可与第三重建图像无限接近，目标生成图像与第四重建图像无限接近。故基于源域图像样本与第三重建图像之间的差异构建第三损失函数，通过第三损失函数减少源域图像样本与第三重建图像之间的差异，使得源域解码器学习到源域信息；并基于目标生成图像与第四重建图像之间的差异构建第四损失函数，通过第四损失函数减少目标生成图像与第四重建图像之间的差异，使得目标域解码器学习到目标域信息。
在一个实施例中，分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征，包括：获取源域编码器以及目标域编码器；通过源域编码器将源域图像样本编码至特征空间中，得到源域图像样本的第一编码特征；该第一编码特征至少包括第一内容特征；通过目标域编码器将参考图像样本编码至特征空间中，得到参考图像样本的第二编码特征；该第二编码特征至少包括第二内容特征，并通过目标域编码器将目标生成图像编码至特征空间中，得到目标生成图像的第三编码特征；该第三编码特征至少包括第三内容特征。
该图像生成器的处理方法还包括：获取源域解码器以及目标域解码器；通过源域解码器，将源域图像样本的第一编码特征映射至源域，得到第一重建图像；并通过目标域解码器，将源域图像样本的第一编码特征映射至目标域，得到第二重建图像；基于源域图像样本与第一重建图像之间的差异构建第一损失函数，并基于目标生成图像与第二重建图像之间的差异构建第二损失函数。
将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，包括：将正样本和负样本输入互信息判别器，并结合第一损失函数和第二损失函数，对图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，以及直至第一编码特征仅包括第一内容特征、第二编码特征仅包括第二内容特征、第三编码特征仅包括第三内容特征且达到迭代停止条件。
可以理解，在迭代地对抗训练初期，编码器编码得到的编码特征包括内容特征和域特征。比如，源域编码器编码源域图像样本得到的第一编码特征，包括第一内容特征和源域特征；再比如，目标域编码器编码目标生成图像编码得到的第三编码特征，包括第三内容特征和目标域特征。在迭代地对抗训练过程中，通过同时最小化第一损失函数和第二损失函数，使得编码器学会在编码过程中进行内容特征解离，即去除域特征，解码器学会在解码过程中恢复域特征。这样，在迭代地对抗训练后期，编码器编码得到的编码特征则可仅包括内容特征，便可更好地用于互信息判别器来最大化内容特征之间的互信息。需要说明的是，这里编码特征仅包括内容特征是指目标状态，允许存在现实中可容忍的误差。同样，由于源域和目标域两个领域之间的映射是对称的，因此由目标域到源域的映射、编码时的内容特征解离及解码时的特征恢复可类比前述实施例。
在一个具体的实施例中，源域解码器、目标域解码器，均可采用通用的解码器。
具体地，在对抗训练过程中，图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器形成一种动态的“博弈过程”，相互对抗，相互促进。随着训练的进行，图像生成器生成的目标生成图像与源域图像样本之间的内容特征的差异逐步变小，源域编码器对源域图像样本的特征提取越来越准确，目标域编码器对目标生成图像、参考图像样本的特征提取越来越准确，源域解码器逐渐从特征空间中分离出源域信息，目标域解码器逐渐从特征空间中分离出目标域信息，从而互信息判别器分类准确度越来越高。
在一个具体的实施例中，在根据第一内容特征和第三内容特征生成正样本，根据第一内容特征和第二内容特征生成负样本时，第二内容特征可来自目标域的图像样本。这是由于第一内容特征来自源域，第三内容特征来自目标域，若第二内容特征也来自目标域，可降低训练过程中域信息的干扰。同理，在根据第二内容特征和第三内容特征生成负样本时，第二内容特征可来自源域的图像样本。
本实施例中，获取源域解码器以及目标域解码器，通过源域解码器，将源域图像样本的第一内容特征映射至源域，得到第一重建图像，并通过目标域解码器，将源域图像样本的第一内容特征映射至目标域，得到第二重建图像，基于源域图像样本与第一重建图像之间的差异构建第一损失函数，并基于目标生成图像与第二重建图像之间的差异构建第二损失函数，将正样本和负样本输入互信息判别器，并结合第一损失函数和第二损失函数，对图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，这样，通过图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器的迭代对抗训练，提高了图像生成器的训练效率。
在一个实施例中，该方法还包括：获取图像判别器；将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，包括：将源域图像样本和参考图像样本输入图像判别器，以及将正样本和负样本输入互信息判别器，对图像生成器、图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件。
其中，图像判别器用于与图像生成器进行对抗训练。
可以理解，由于图像生成器生成的图像的质量缺乏约束，故引入图像判别器，基于生成对抗框架来提升目标生成图像的图像质量。如图8所示，图8为再一个实施例中图像生成器的训练***的结构框图。图像生成器根据源域图像样本生成目标生成图像，将源域图像样本和目标生成图像输入图像判别器，图像判别器对源域图像样本和目标生成图像进行区分，这样，图像生成器与图像判别器在不断对抗中，共同训练。
具体地，随着训练的进行，图像生成器在图像判别器和互信息判别器的约束下，源域图像样本与目标生成图像之间的内容特征的差异逐步变小；互信息判别器在图像生成器和图像判别器的约束下，分类准确度越来越高。
在一个具体的实施例中，图像判别器可采用GAN(Generative AdversarialNetworks，生成式对抗网络)的判别器(Discriminator)等。
本实施例中，获取图像判别器，将源域图像样本和参考图像样本输入图像判别器，以及将正样本和负样本输入互信息判别器，对图像生成器、图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件，这样，提升了图像生成器的性能和训练效率。
在一个实施例中，图像生成器为目标域图像生成器；图像判别器为目标域图像判别器；该方法还包括：获取源域图像生成器和源域图像判别器；通过源域图像生成器，生成目标生成图像在源域的恢复图像；构建源域图像生成器、源域图像判别器、目标域图像生成器和目标域图像判别器的循环一致性损失；将源域图像样本和参考图像样本输入图像判别器，以及将正样本和负样本输入互信息判别器，对图像生成器、图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件，包括：将源域图像样本和目标生成图像输入目标域图像判别器、将源域图像样本和恢复图像输入源域图像判别器、以及将正样本和负样本输入互信息判别器，结合循环一致性损失，对源域图像生成器、源域图像判别器、目标域图像生成器、目标域图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件。
其中，目标域图像生成器用于将一图像由源域迁移至目标域；目标域图像判别器用于对目标域图像生成器生成的图像进行判别；源域图像生成器用于将一图像由目标域迁移至源域；源域图像判别器用于对源域图像生成器生成的图像进行判别。恢复图像是通过源域图像生成器，生成的目标生成图像在源域的真实的图像。循环一致性损失包括目标域图像判别器计算得到的损失以及源域图像判别器计算得到的损失，其用于优化源域图像生成器、源域图像判别器、目标域图像生成器和目标域图像判别器的参数。
可以理解，由于目标域图像生成器生成的图像的质量缺乏约束，故引入源域图像生成器、目标域图像判别器、源域图像判别器，基于生成对抗框架来提升目标生成图像的质量。目标域图像生成器根据源域图像样本生成目标生成图像，将源域图像样本和目标生成图像输入目标域图像判别器，目标域图像判别器对源域图像样本和目标生成图像进行区分；通过源域图像生成器，生成目标生成图像在源域的恢复图像，将源域图像样本和恢复图像输入源域图像判别器，源域图像判别器对源域图像样本和恢复图像进行区分。这样，目标域图像生成器与源域图像生成器、目标域图像判别器、源域图像判别器在不断对抗中，共同训练。
具体地，随着训练的进行，目标域图像生成器在源域图像生成器、目标域图像判别器、源域图像判别器和互信息判别器的约束下，源域图像样本与目标生成图像之间的内容特征的差异逐步变小；而互信息判别器在目标域图像生成器、源域图像生成器、目标域图像判别器和源域图像判别器的约束下，分类准确度越来越高。
在一个具体的实施例中，目标域图像生成器、源域图像生成器可采用CycleGAN的生成器(Generator)等；目标域图像判别器、源域图像判别器可采用CycleGAN的判别器(Discriminator)等。
本实施例中，获取源域图像生成器和源域图像判别器，通过源域图像生成器，生成目标生成图像在源域的恢复图像，构建源域图像生成器、源域图像判别器、目标域图像生成器和目标域图像判别器的循环一致性损失，将源域图像样本和目标生成图像输入目标域图像判别器、将源域图像样本和恢复图像输入源域图像判别器、以及将正样本和负样本输入互信息判别器，结合循环一致性损失，对源域图像生成器、源域图像判别器、目标域图像生成器、目标域图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件，这样，提升了图像生成器的性能和训练效率。
在一个实施例中，根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本，包括：将第一内容特征和第三内容特征进行拼接，得到正样本；将第一内容特征和第三内容特征中的至少一个与第二内容特征进行拼接，得到负样本。
其中，可根据通道维度，对内容特征进行拼接。以第一内容特征和第二内容特征为例，若第一内容特征和第二内容特征均为64*64*256，那么第一内容特征和第二内容特征拼接后为64*64*512。
可以理解，负样本用于在互信息判别器进行分类的过程中，增大正样本的相对熵。因此负样本只需要与正样本存在一定的差异，使得互信息判别器可以分辨出来即可，至于负样本所包含的内容特征是第一内容特征与第二内容特征的拼接结果、或者第三内容特征与第二内容特征的拼接结果、或者第一内容特征、第三内容特征与第二内容特征的拼接结果，不会影响正样本的相对熵大小。
本实施例中，将第一内容特征和第三内容特征进行拼接，得到正样本，并将第一内容特征和第三内容特征中的至少一个与第二内容特征进行拼接，得到负样本，这样，方便后续通过正样本和负样本对互信息判别器进行训练。
在一个实施例中，提供了一种图像生成器的处理方法，如图9所示，图像生成器的训练***包括：目标域图像生成器、目标域图像判别器、源域图像生成器、源域图像判别器、源域编码器、目标域编码器、源域解码器、目标域解码器以及互信息判别器。如图10所示，该方法包括：
步骤1002，获取图像样本集、目标域图像生成器、目标域图像判别器、源域图像生成器、源域图像判别器、源域编码器、目标域编码器、源域解码器、目标域解码器以及互信息判别器。图像样本集包括源域图像样本和目标域图像样本。
步骤1004，通过目标域图像生成器，生成源域图像样本在目标域的目标生成图像，通过源域图像生成器，生成目标生成图像在源域的恢复图像，构建源域图像生成器、源域图像判别器、目标域图像生成器和目标域图像判别器的循环一致性损失。
步骤1006，通过源域编码器将源域图像样本编码至特征空间中，得到源域图像样本的第一编码特征，该第一编码特征至少包括第一内容特征，通过目标域编码器将目标域图像样本编码至特征空间中，得到目标域图像样本的第二编码特征，该第二编码特征至少包括第二内容特征，并通过目标域编码器将目标生成图像编码至特征空间中，得到目标生成图像的第三编码特征，该第三编码特征至少包括第三内容特征。
步骤1008，通过源域解码器，将源域图像样本的第一编码特征映射至源域，得到第一重建图像，并通过目标域解码器，将源域图像样本的第一编码特征映射至目标域，得到第二重建图像，基于源域图像样本与第一重建图像之间的差异构建第一损失函数，并基于目标生成图像与第二重建图像之间的差异构建第二损失函数。
步骤1010，通过源域解码器，将目标生成图像的第三编码特征映射至源域，得到第三重建图像；并通过目标域解码器，将目标生成图像的第三编码特征映射至目标域，得到第四重建图像；基于源域图像样本与第三重建图像之间的差异构建第三损失函数，并基于目标生成图像与第四重建图像之间的差异构建第四损失函数。步骤1012，将第一编码特征和第三编码特征进行拼接，得到正样本，将第一编码特征和第三编码特征中的至少一个与第二编码特征进行拼接，得到负样本。
步骤1014，根据第一编码特征和第三编码特征的交叉熵，构建互信息判别器的判别损失函数。
步骤1016，将源域图像样本和目标生成图像输入目标域图像判别器、将源域图像样本和恢复图像输入源域图像判别器、以及将正样本和负样本输入互信息判别器，结合循环一致性损失、第一损失函数、第二损失函数、第三损失函数、第四损失函数以及判别损失函数，对目标域图像生成器、目标域图像判别器、源域图像生成器、源域图像判别器、源域编码器、目标域编码器、源域解码器、目标域解码器以及互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地优化判别损失函数，以及最大化互信息，直至第一编码特征仅包括第一内容特征、第二编码特征仅包括第二内容特征、第三编码特征仅包括第三内容特征且达到迭代停止条件。
其中，器通过第一编码特征和第三编码特征的相对熵，表征第一编码特征和第三编码特征的互信息；交叉熵与相对熵正相关。在第一编码特征仅包括第一内容特征，第三编码特征仅包括第三内容特征时，第一编码特征和第三编码特征的互信息，即第一内容特征和第三内容特征的互信息。
可以理解，通过本申请提供的方法，可训练由源域至目标域方向的图像迁移以及由目标域至源域方向的图像迁移，这样，实现双向的图像迁移、多向的图像迁移。
本实施例中，通过互信息判别器与图像生成器之间的对抗训练，使得通过图像生成器将图像由源域迁移至目标域时，目标域的图像与源域的图像在内容特征上一致，从而避免目标域的图像变形；并且，利用目标生成图像去训练医学影像处理模型时，能够提高医学影像处理模型的性能。
可以理解，在本实施例中，计算机设备基于从源域到目标域的图像生成器构建了生成式对抗网络，以采用对抗式训练方式来训练图像生成器。该生成式对抗网络包括两对图像生成器和判别器、X形双重自编码器以及互信息判别器。X形双重自编码器包括源域编码器、源域解码器、目标域编码器和目标域解码器。在对抗训练的过程中，X形双重自编码器中的编码器学会在编码过程中去除域特征的能力，解码器学会在解码过程中恢复域信息的能力，互信息判别器则学会最大化源域图像样本与目标生成图像的内容特征之间的互信息。这样可以使得图像生成器在图像生成时能最大程度上减轻图像内容的形变，使得原始的图像和生成的图像的内容特征相同不发生形变，即内容特征相同。
在一个实施例中，如图11所示，提供了一种图像生成方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤1102，获取待迁移图像。
其中，待迁移图像是指待进行图像迁移处理的图像。
在一个具体的实施例中，待迁移图像可为医学影像。医学影像是一种特殊的医学领域的图像，是指为了医疗或医学研究，对目标对象以非侵入方式取得的内部组织影像。比如，眼底图像、电子计算机断层扫描(Computed Tomography，CT)图像、磁共振成像(Magnetic Resonance Imaging，MRI)图像、超声(B超、彩色多普勒超声、心脏彩超以及三维彩超)图像、X光图像、心电图、脑电图以及光学摄影等由医学仪器生成的图像。
步骤1104，确定待迁移图像所属的源域和待迁移至的目标域。
其中，源域用于表征图像迁移前所在的图像域。目标域用于表征图像迁移后所在的图像域。图像域不同，可以理解为图像风格不同，主要表现在图像的色彩、亮度上存在差异。
步骤1106，查询用于将属于源域的图像迁移至目标域的图像生成器。
其中，图像生成器用于将一图像由源域迁移至目标域。图像生成器可实现单向的图像域迁移、双向的图像域迁移以及多向的图像域迁移。单向的图像域迁移是指，通过图像生成器，可将一图像由第一图像域迁移至第二图像域，或者将一图像由第二图像域迁移至第一图像域。双向的图像迁移是指，通过图像生成器，不仅可将一图像由第一图像域迁移至第二图像域，也可将一图像由第二图像域迁移至第一图像域。多向的图像域迁移是指，可将一图像由源域迁移至至少两个不同的目标域。
步骤1108，通过图像生成器生成待迁移图像在目标域的迁移图像；迁移图像与待迁移图像的内容特征相同；其中，图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；目标参数为源域图像样本的内容特征和目标生成图像的内容特征之间的互信息；源域图像样本属于源域；目标生成图像属于目标域、且通过图像生成器根据源域图像样本生成。
其中，迁移图像是通过图像生成器，将待迁移图像由源域迁移至目标域得到的真实的图像。
其中，内容特征可包括图像的纹理特征、形状特征、空间关系特征等。纹理特征描述了图像或图像区域所对应目标(比如景物、人物、物品等)的表面性质。形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，轮廓特征主要针对目标的外边界，而区域特征则关系到目标的整个形状区域。空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。
其中，互信息判别器用于与图像生成器进行对抗训练，对图像生成器生成的目标生成图像的图像内容进行约束，使得目标生成图像与源域图像样本在图像内容上保持一致，。
在一个具体的实施例中，图像生成器可采用GAN(Generative AdversarialNetworks，生成式对抗网络)的生成器(Generator)等。互信息判别器可以采用通用的判别器。
可以理解，由于通过图像生成器迁移得到的目标生成图像，其图像内容可能会发生改变，即其内容特征与源域图像样本在内容特征存在差异，故提取源域图像样本的第一内容特征、目标生成图像的第三内容特征，通过互信息判别器对源域图像样本的第一内容特征和目标生成图像的第三内容特征进行约束，使得源域图像样本和目标生成图像在图像内容上保持一致。
具体地，可通过一个分类任务优化互信息判别器。而引入互信息判别器的目的是：对源域图像样本的第一内容特征和目标生成图像的第三内容特征进行约束，使得源域图像样本和目标生成图像的内容特征相同。因此第一内容特征和第三内容特征不存在明显的可区分性，需要构建具有明显的可区分性的训练样本。那么，基于上述构思，将第一内容特征和第三内容特征作为一训练样本，从源域或者目标域选取参考图像样本，并提取参考图像样本的第二内容特征，根据第二内容特征与第一内容特征，或者第二内容特征与第三内容特征构建另一训练样本。其中，参考图像样本与源域图像样本、目标生成图像的内容特征不同。
在一个具体的实施例中，可随机从源域除了源域图像样本之外的其它图像中，提取一图像作为参考图像样本；或者随机从目标域除了目标生成图像之外的其它图像中，提取一图像作为参考图像样本。
本申请中，虽然第一内容特征与第三内容特征存在差异，但是该差异小于第一内容特征与第二内容特征之间的差异，以及第二内容特征与第三内容特征之间的差异。根据第一内容特征和第三内容特征生成正样本，根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本，使得互信息判别器在训练过程中，逐步可区分出正样本和负样本。
其中，正样本包括第一内容特征、第三内容特征和对应的训练标签，负样本包括第一内容特征、第二内容特征和对应的训练标签，或者第二内容特征、第三内容特征和对应的训练标签，或者第一内容特征、第二内容特征、第三内容特征和对应的训练标签。可以理解，这里的“正”与“负”仅用于区分训练样本，并不构成对训练样本的训练标签的限定，即也可根据第一内容特征和第三内容特征生成负样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成正样本。在一个具体的实施例中，正样本对应的训练标签可为“real”，负样本对应的训练标签可为“fake”。
在一个具体的实施例中，将第一内容特征和第三内容特征进行拼接，得到正样本，并将第一内容特征和第三内容特征中的至少一个与第二内容特征进行拼接，得到负样本。
可以理解，负样本用于在互信息判别器进行分类的过程中，增大正样本的相对熵。因此负样本只需要与正样本存在一定的差异，使得互信息判别器可以分辨出来即可，至于负样本所包含的内容特征是第一内容特征与第二内容特征的拼接结果、或者第三内容特征与第二内容特征的拼接结果、或者第一内容特征、第三内容特征与第二内容特征的拼接结果，不会影响正样本的相对熵大小。
本申请中，将正样本和负样本作为对抗样本对，对图像生成器和互信息判别器进行迭代地对抗训练。对抗训练是指图像生成器和互信息判别器形成一种动态的“博弈过程”，相互对抗，相互促进。
在一个具体的实施例中，在对抗训练过程，可使用自适应矩估计(Adam)优化器对图像生成器和互信息判别器进行参数优化。在优化的过程中，通过不断更新模型参数和偏置参数，在每次迭代过程中，计算预测结果误差并反向传播到模型，计算梯度并更新模型的参数。
具体地，随着训练的进行，图像生成器在互信息判别器的约束下，源域图像样本与目标生成图像之间的内容特征的差异逐步变小；互信息判别器在图像生成器的约束下，分类准确度越来越高。并且，随着互信息判别器器的参数的优化，第一内容特征和第三内容特征的互信息逐步增大。
其中，互信息用于表征变量之间的相互依赖性。第一内容特征和第三内容特征之间的互信息越大，第一内容特征和第三内容特征的分布越相似。
在一个实施例中，通过第一内容特征和第三内容特征的相对熵，表征第一内容特征和第三内容特征的互信息；根据第一内容特征和第三内容特征的交叉熵，构建互信息判别器的判别损失函数；交叉熵与相对熵正相关；将正样本和负样本输入互信息判别器，并结合判别损失函数对图像生成器和互信息判别器进行迭代地对抗训练，在对抗训练过程中迭代地优化判别损失函数，以及最大化互信息。
可以理解，根据第一内容特征和第三内容特征的交叉熵，构建互信息判别器的判别损失函数。其中，判别损失函数用于根据预测结果误差优化互信息判别器的参数。而交叉熵与相对熵的关系如下：
H(Za；Zab)＝H(Za)+I(DV)(Za；Zab)
其中，H(Za；Zab)为第一内容特征和第三内容特征的交叉熵，H(Za)为第一内容特征和第三内容特征的信息熵，I(DV)(Za；Zab)为第一内容特征和第三内容特征的相对熵，即KL(Kullback-Leibler)散度的DV(Donsker-Varadhan)表示。
由于第一内容特征和第三内容特征的信息熵是固定的，因此交叉熵与相对熵正相关。在对抗训练过程中，互信息判别器器的参数逐步优化，交叉熵越来越小，相对熵也越来越小。而相对熵可衡量两个分布之间的相似性，相对熵越小，两个分布之间越相似，两个分布之间的互信息越大。那么，基于上述构思，可通过第一内容特征和第三内容特征的相对熵，表征第一内容特征和第三内容特征的互信息，这样，在对抗训练过程中，第一内容特征和第三内容特征的互信息越来越大。
在一个实施例中，获取源域编码器以及目标域编码器；通过源域编码器将源域图像样本编码至特征空间中，得到源域图像样本的第一内容特征；通过目标域编码器将参考图像样本编码至特征空间中，得到参考图像样本的第二内容特征，并通过目标域编码器将目标生成图像编码至特征空间中，得到目标生成图像的第三内容特征。
其中，源域编码器用于从源域的图像中提取特征，并将提取的特征嵌入特征空间，得到特征向量。目标域编码器用于从目标域的图像中提取特征，并将提取的特征嵌入相同的特征空间，得到特征向量。特征空间用于存放特征向量。
在一个具体的实施例中，源域编码器、目标域编码器，均可采用通用的编码器。
在一个实施例中，将正样本和负样本输入互信息判别器，对图像生成器、源域编码器、目标域编码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
具体地，如图5所示，图5为一个实施例中图像生成器的训练***的结构框图。其中，Ia为源域图像样本，Ib为目标生成图像，Ic为参考图像样本，Za为第一内容特征，Zb为第三内容特征，Zc为第二内容特征。在对抗训练过程中，图像生成器、源域编码器、目标域编码器和互信息判别器形成一种动态的“博弈过程”，相互对抗，相互促进。
具体地，随着训练的进行，图像生成器在源域编码器、目标域编码器和互信息判别器的约束下，生成的目标生成图像与源域图像样本之间的内容特征的差异逐步变小；源域编码器在图像生成器、目标域编码器和互信息判别器的约束下，对源域图像样本的特征提取越来越准确；目标域编码器在图像生成器、源域编码器和互信息判别器的约束下，对目标生成图像、参考图像样本的特征提取越来越准确；互信息判别器在图像生成器、源域编码器和目标域编码器的约束下，分类准确度越来越高。
在一个实施例中，获取源域解码器以及目标域解码器；通过源域解码器，将源域图像样本的第一内容特征映射至源域，得到第一重建图像；并通过目标域解码器，将源域图像样本的第一内容特征映射至目标域，得到第二重建图像；基于源域图像样本与第一重建图像之间的差异构建第一损失函数，并基于目标生成图像与第二重建图像之间的差异构建第二损失函数；将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，包括：将正样本和负样本输入互信息判别器，并结合第一损失函数和第二损失函数，对图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
可以理解，当源域编码器将第一内容特征编码至特征空间中时，源域编码器可能将源域信息一并编码至特征空间；同理，当目标编码器将第二内容特征、第三内容特征编码至特征空间中时，目标域编码器可能将目标域信息一并编码至特征空间。而源域信息、目标域信息，在一定程度上可能会影响图像生成器的训练效率。基于此，可通过源域解码器从特征空间中分离出源域信息，通过目标域解码器从特征空间中分离出目标域信息。
其中，源域解码器用于将根据源域编码器或者目标域编码器得到的特征向量，重建至源域；目标域解码器用于将根据源域编码器或者目标域编码器得到的特征向量，重建至目标域。第一重建图像是通过源域解码器，将第一内容特征重建至源域得到的真实的图像；第二重建图像是通过目标域解码器，将第一内容特征重建至目标域得到的真实的图像。第一损失函数用于降低源域图像样本与第一重建图像之间的L1范数；第二损失函数用于降低目标生成图像与第二重建图像之间的L1范数。
具体地，如图6所示，图6为一个实施例中图像生成器的训练***的结构框图。其中，Ia为源域图像样本，Ib为目标生成图像，Za为第一内容特征，Zaa为第一重建图像，Zab为第二重建图像。当特征空间中不存在源域信息时，源域图像样本可与第一重建图像无限接近，目标生成图像可与第二重建图像无限接近。以目标生成图像和第二重建图像为例，第二重建图像也是源域图像样本在目标域相应的图像，只是与目标生成图像的生成方式不同，且目标生成图像不携带有源域信息，因此当特征空间中不存在源域信息时，第二重建图像与目标生成图像无线接近。故基于源域图像样本与第一重建图像之间的差异构建第一损失函数，通过第一损失函数减少源域图像样本与第一重建图像之间的差异，使得源域解码器学习到源域信息；并基于目标生成图像与第二重建图像之间的差异构建第二损失函数，通过第二损失函数减少目标生成图像与第二重建图像之间的差异，使得目标域解码器学习到目标域信息。在一个实施例中，可通过源域解码器，将目标生成图像的第三内容特征映射至源域，得到第三重建图像；并通过目标域解码器，将目标生成图像的第三内容特征映射至目标域，得到第四重建图像；基于源域图像样本与第三重建图像之间的差异构建第三损失函数，并基于目标生成图像与第四重建图像之间的差异构建第四损失函数；将正样本和负样本输入互信息判别器，并结合第三损失函数和第四损失函数。
其中，第三重建图像是通过源域解码器，将第三内容特征重建至源域得到的真实的图像；第四重建图像是通过目标域解码器，将第三内容特征重建至目标域得到的真实的图像。第三损失函数用于降低源域图像样本与第三重建图像之间的L1范数；第四损失函数用于降低目标生成图像与第四重建图像之间的L1范数。
具体地，如图7所示，图7为另一个实施例中图像生成器的训练***的结构框图。其中，Ia为源域图像样本，Ib为目标生成图像，Zb为第三内容特征，Zba为第三重建图像，Zbb为第四重建图像。当特征空间中不存在目标域信息时，源域图像样本可与第三重建图像无限接近，目标生成图像与第四重建图像无限接近。故基于源域图像样本与第三重建图像之间的差异构建第三损失函数，通过第三损失函数减少源域图像样本与第三重建图像之间的差异，使得源域解码器学习到源域信息；并基于目标生成图像与第四重建图像之间的差异构建第四损失函数，通过第四损失函数减少目标生成图像与第四重建图像之间的差异，使得目标域解码器学习到目标域信息。
在一个实施例中，分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征，包括：获取源域编码器以及目标域编码器；通过源域编码器将源域图像样本编码至特征空间中，得到源域图像样本的第一编码特征；该第一编码特征至少包括第一内容特征；通过目标域编码器将参考图像样本编码至特征空间中，得到参考图像样本的第二编码特征；该第二编码特征至少包括第二内容特征，并通过目标域编码器将目标生成图像编码至特征空间中，得到目标生成图像的第三编码特征；该第三编码特征至少包括第三内容特征。
该图像生成器的处理方法还包括：获取源域解码器以及目标域解码器；通过源域解码器，将源域图像样本的第一编码特征映射至源域，得到第一重建图像；并通过目标域解码器，将源域图像样本的第一编码特征映射至目标域，得到第二重建图像；基于源域图像样本与第一重建图像之间的差异构建第一损失函数，并基于目标生成图像与第二重建图像之间的差异构建第二损失函数。
将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件，包括：将正样本和负样本输入互信息判别器，并结合第一损失函数和第二损失函数，对图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，以及直至第一编码特征仅包括第一内容特征、第二编码特征仅包括第二内容特征、第三编码特征仅包括第三内容特征且达到迭代停止条件。
可以理解，在迭代地对抗训练初期，编码器编码得到的编码特征包括内容特征和域特征。比如，源域编码器编码源域图像样本得到的第一编码特征，包括第一内容特征和源域特征；再比如，目标域编码器编码目标生成图像编码得到的第三编码特征，包括第三内容特征和目标域特征。在迭代地对抗训练过程中，通过同时最小化第一损失函数和第二损失函数，使得编码器学会在编码过程中进行内容特征解离，即去除域特征，解码器学会在解码过程中恢复域特征。这样，在迭代地对抗训练后期，编码器编码得到的编码特征则可仅包括内容特征，便可更好地用于互信息判别器来最大化内容特征之间的互信息。需要说明的是，这里编码特征仅包括内容特征是指目标状态，允许存在现实中可容忍的误差。同样，由于源域和目标域两个领域之间的映射是对称的，因此由目标域到源域的映射、编码时的内容特征解离及解码时的特征恢复可类比前述实施例。
在一个具体的实施例中，源域解码器、目标域解码器，均可采用通用的解码器。
具体地，在对抗训练过程中，图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器形成一种动态的“博弈过程”，相互对抗，相互促进。随着训练的进行，图像生成器生成的目标生成图像与源域图像样本之间的内容特征的差异逐步变小，源域编码器对源域图像样本的特征提取越来越准确，目标域编码器对目标生成图像、参考图像样本的特征提取越来越准确，源域解码器逐渐从特征空间中分离出源域信息，目标域解码器逐渐从特征空间中分离出目标域信息，从而互信息判别器分类准确度越来越高。
在一个具体的实施例中，在根据第一内容特征和第三内容特征生成正样本，根据第一内容特征和第二内容特征生成负样本时，第二内容特征可来自目标域的图像样本。这是由于第一内容特征来自源域，第三内容特征来自目标域，若第二内容特征也来自目标域，可降低训练过程中域信息的干扰。同理，在根据第二内容特征和第三内容特征生成负样本时，第二内容特征可来自源域的图像样本。
在一个实施例中，获取图像判别器；将源域图像样本和参考图像样本输入图像判别器，以及将正样本和负样本输入互信息判别器，对图像生成器、图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件。
其中，图像判别器用于与图像生成器进行对抗训练。
可以理解，由于图像生成器生成的图像的质量缺乏约束，故引入图像判别器，基于生成对抗框架来提升目标生成图像的图像质量。如图8所示，图8为又一个实施例中图像生成器的训练***的结构框图。图像生成器根据源域图像样本生成目标生成图像，将源域图像样本和目标生成图像输入图像判别器，图像判别器对源域图像样本和目标生成图像进行区分，这样，图像生成器与图像判别器在不断对抗中，共同训练。
具体地，随着训练的进行，图像生成器在图像判别器和互信息判别器的约束下，源域图像样本与目标生成图像之间的内容特征的差异逐步变小；互信息判别器在图像生成器和图像判别器的约束下，分类准确度越来越高。
在一个具体的实施例中，图像判别器可采用GAN(Generative AdversarialNetworks，生成式对抗网络)的判别器(Discriminator)等。
在一个实施例中，图像生成器为目标域图像生成器；图像判别器为目标域图像判别器；获取源域图像生成器和源域图像判别器；通过源域图像生成器，生成目标生成图像在源域的恢复图像；构建源域图像生成器、源域图像判别器、目标域图像生成器和目标域图像判别器的循环一致性损失；将源域图像样本和目标生成图像输入目标域图像判别器、将源域图像样本和恢复图像输入源域图像判别器、以及将正样本和负样本输入互信息判别器，结合循环一致性损失，对源域图像生成器、源域图像判别器、目标域图像生成器、目标域图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件。
其中，目标域图像生成器用于将一图像由源域迁移至目标域；目标域图像判别器用于对目标域图像生成器生成的图像进行判别；源域图像生成器用于将一图像由目标域迁移至源域；源域图像判别器用于对源域图像生成器生成的图像进行判别。恢复图像是通过源域图像生成器，生成的目标生成图像在源域的真实的图像。循环一致性损失包括目标域图像判别器计算得到的损失以及源域图像判别器计算得到的损失，其用于优化源域图像生成器、源域图像判别器、目标域图像生成器和目标域图像判别器的参数。
可以理解，由于目标域图像生成器生成的图像的质量缺乏约束，故引入源域图像生成器、目标域图像判别器、源域图像判别器，基于生成对抗框架来提升目标生成图像的质量。如图9所示，图9为再一个实施例中图像生成器的训练***的结构框图。目标域图像生成器根据源域图像样本生成目标生成图像，将源域图像样本和目标生成图像输入目标域图像判别器，目标域图像判别器对源域图像样本和目标生成图像进行区分；通过源域图像生成器，生成目标生成图像在源域的恢复图像，将源域图像样本和恢复图像输入源域图像判别器，源域图像判别器对源域图像样本和恢复图像进行区分。这样，目标域图像生成器与源域图像生成器、目标域图像判别器、源域图像判别器在不断对抗中，共同训练。
具体地，随着训练的进行，目标域图像生成器在源域图像生成器、目标域图像判别器、源域图像判别器和互信息判别器的约束下，源域图像样本与目标生成图像之间的内容特征的差异逐步变小；而互信息判别器在目标域图像生成器、源域图像生成器、目标域图像判别器和源域图像判别器的约束下，分类准确度越来越高。
在一个具体的实施例中，目标域图像生成器、源域图像生成器可采用CycleGAN的生成器(Generator)等；目标域图像判别器、源域图像判别器可采用CycleGAN的判别器(Discriminator)等。
上述图像生成方法，获取待迁移图像，确定待迁移图像所属的源域和待迁移至的目标域，查询用于将属于源域的图像迁移至目标域的图像生成器，通过图像生成器生成待迁移图像在目标域的迁移图像，迁移图像与待迁移图像的内容特征相同，其中，该图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数，该目标参数为源域图像样本的内容特征和目标生成图像的内容特征之间的互信息，该源域图像样本属于源域，该目标生成图像属于目标域、且通过图像生成器根据源域图像样本生成。这样，通过互信息判别器与图像生成模型之间的对抗训练，使得通过图像生成器将图像由源域迁移至目标域时，目标域的图像与源域的图像在内容特征上一致，从而避免目标域的图像变形。
在一个实施例中，该方法还包括：获取训练样本集；训练样本集包括按照第一成像条件得到的第一医学影像和按照第二成像条件得到的第二医学影像；不同成像条件所得到的医学影像所属的图像域不同；将第一医学影像作为待迁移图像；源域为第一医学影像所属的图像域；目标域为第二医学影像所属的图像域；获取第二医学影像和迁移图像作为更新后的训练样本集；根据更新后的训练样本集训练医学影像处理模型。
其中，医学影像处理模型是用于实现目标功能的机器学习模型。目标功能具体可以是对医学影像进行分类的功能、对医学影像进行分割的功能等。成像条件可以是环境条件，比如环境亮度、光照等；也可以是成像设备参数，比如同一眼底相机，成像条件不同，其得到的眼底图像所属的图像域不同。
可以理解，通过训练样本集训练医学影像处理模型时，由于训练样本集的图像样本所属的图像域不同，会降低医学影像处理模型的性能。通过图像生成模型将训练样本集的图像样本迁移至同一图像域，使得医学影像处理模型的图像样本在同一图像域，提高了医学影像处理模型的性能。
本实施例中，获取按照第一成像条件得到的第一医学影像和按照第二成像条件得到的第二医学影像，不同成像条件所得到的医学影像所属的图像域不同，将第一医学影像作为待迁移图像，源域为第一医学影像所属的图像域，目标域为第二医学影像所属的图像域，获取第二医学影像和迁移图像作为更新后的训练样本集，根据更新后的训练样本集训练医学影像处理模型，提高了医学影像处理模型的性能。
在一个实施例中，根据更新后的训练样本集训练医学影像处理模型，包括：确定医学影像处理模型的任务类型；确定更新后的训练样本集中各训练样本相应的、且与任务类型匹配的训练标签；根据各训练样本和各训练样本相应的训练标签，训练医学影像处理模型。
其中，任务类型可包括对医学影像进行分类的任务、对医学影像进行分割的任务等。
在一个具体的实施例中，分类任务可以是对医学影像所对应的成像部位进行分类。分割任务可以是对视盘(optic disc)和视杯(optic cups)进行分割。视盘是视网膜的中央黄色部分，是进入视网膜的输出血管的入口点。视杯是视盘上存在的可变尺寸的明亮中央凹陷。
本实施例中，确定医学影像处理模型的任务类型，确定更新后的训练样本集中各训练样本相应的、且与任务类型匹配的训练标签，根据各训练样本和各训练样本相应的训练标签，训练医学影像处理模型，这样，提高了医学影像处理模型的性能。
应该理解的是，虽然图3、图10、图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、图10、图11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种图像生成器的处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1202、生成模块1204、提取模块1206和输入模块1208，其中：
获取模块1202，用于获取图像样本集、图像生成器和互信息判别器；图像样本集包括源域图像样本和参考图像样本；
生成模块1204，用于通过图像生成器，生成源域图像样本在目标域的目标生成图像；
提取模块1206，用于分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征；
生成模块1204，还用于根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本；
输入模块1208，用于将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
在一个实施例中，输入模块1208，还用于：通过第一内容特征和第三内容特征的相对熵，表征第一内容特征和第三内容特征的互信息；根据第一内容特征和第三内容特征的交叉熵，构建互信息判别器的判别损失函数；交叉熵与相对熵正相关；将正样本和负样本输入互信息判别器，并结合判别损失函数对图像生成器和互信息判别器进行迭代地对抗训练，在对抗训练过程中迭代地优化判别损失函数，以及最大化互信息。
在一个实施例中，提取模块1206，还用于：获取源域编码器以及目标域编码器；通过源域编码器将源域图像样本编码至特征空间中，得到源域图像样本的第一内容特征；通过目标域编码器将参考图像样本编码至特征空间中，得到参考图像样本的第二内容特征，并通过目标域编码器将目标生成图像编码至特征空间中，得到目标生成图像的第三内容特征。
在一个实施例中，输入模块1208，还用于：将正样本和负样本输入互信息判别器，对图像生成器、源域编码器、目标域编码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
在一个实施例中，获取模块1202，还用于：获取源域解码器以及目标域解码器；图像生成器的处理装置还包括映射模块以及构建模块，映射模块，用于：通过源域解码器，将源域图像样本的第一内容特征映射至源域，得到第一重建图像；并通过目标域解码器，将源域图像样本的第一内容特征映射至目标域，得到第二重建图像；构建模块，用于：基于源域图像样本与第一重建图像之间的差异构建第一损失函数，并基于目标生成图像与第二重建图像之间的差异构建第二损失函数；输入模块1208，还用于：将正样本和负样本输入互信息判别器，并结合第一损失函数和第二损失函数，对图像生成器、源域编码器、目标域编码器、源域解码器、目标域解码器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。
在一个实施例中，获取模块1202，还用于：获取图像判别器；输入模块1208，还用于：将源域图像样本和参考图像样本输入图像判别器，以及将正样本和负样本输入互信息判别器，对图像生成器、图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件。
在一个实施例中，图像生成器为目标域图像生成器；图像判别器为目标域图像判别器；获取模块1202，还用于：获取源域图像生成器和源域图像判别器；生成模块1204，还用于：通过源域图像生成器，生成目标生成图像在源域的恢复图像；构建模块，还用于：构建源域图像生成器、源域图像判别器、目标域图像生成器和目标域图像判别器的循环一致性损失；输入模块1208，还用于：将源域图像样本和目标生成图像输入目标域图像判别器、将源域图像样本和恢复图像输入源域图像判别器、以及将正样本和负样本输入互信息判别器，结合循环一致性损失，对源域图像生成器、源域图像判别器、目标域图像生成器、目标域图像判别器和互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化互信息，直至达到迭代停止条件。
在一个实施例中，生成模块1204，还用于：将第一内容特征和第三内容特征进行拼接，得到正样本；将第一内容特征和第三内容特征中的至少一个与第二内容特征进行拼接，得到负样本。
关于图像生成器的处理装置的具体限定可以参见上文中对于图像生成器的处理方法的限定，在此不再赘述。上述图像生成器的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述图像生成器的处理装置，获取源域图像样本、参考图像样本、图像生成器和互信息判别器，通过图像生成器，生成源域图像样本在目标域的目标生成图像，分别提取源域图像样本的第一内容特征、参考图像样本的第二内容特征以及目标生成图像的第三内容特征，根据第一内容特征和第三内容特征生成正样本，并根据第一内容特征和第三内容特征中的至少一个、及第二内容特征生成负样本，将正样本和负样本输入互信息判别器，对图像生成器和互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化第一内容特征和第三内容特征的互信息，直至达到迭代停止条件。这样，通过互信息判别器与图像生成器之间的对抗训练，使得通过图像生成器将图像由源域迁移至目标域时，目标域的图像与源域的图像在内容特征上一致，从而避免目标域的图像变形；并且，利用目标生成图像去训练医学影像处理模型时，能够提高医学影像处理模型的性能。
在一个实施例中，如图13所示，提供了一种图像生成装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1302、确定模块1304、查询模块1306和生成模块1308，其中：
获取模块1302，用于获取待迁移图像；
确定模块1304，用于确定待迁移图像所属的源域和待迁移至的目标域；
查询模块1306，用于查询用于将属于源域的图像迁移至目标域的图像生成器；
生成模块1308，用于通过图像生成器生成待迁移图像在目标域的迁移图像；迁移图像与待迁移图像的内容特征相同；
其中，图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；目标参数为源域图像样本的内容特征和目标生成图像的内容特征之间的互信息；源域图像样本属于源域；目标生成图像属于目标域、且通过图像生成器根据源域图像样本生成。
在一个实施例中，获取模块1302，还用于：获取训练样本集；训练样本集包括按照第一成像条件得到的第一医学影像和按照第二成像条件得到的第二医学影像；不同成像条件所得到的医学影像所属的图像域不同；将第一医学影像作为待迁移图像；源域为第一医学影像所属的图像域；目标域为第二医学影像所属的图像域；获取模块1302，还用于：获取第二医学影像和迁移图像作为更新后的训练样本集；图像生成装置还包括训练模块，训练模块，用于：根据更新后的训练样本集训练医学影像处理模型。
在一个实施例中，训练模块，还用于：确定医学影像处理模型的任务类型；确定更新后的训练样本集中各训练样本相应的、且与任务类型匹配的训练标签；根据各训练样本和各训练样本相应的训练标签，训练医学影像处理模型。
关于图像生成装置的具体限定可以参见上文中对于图像生成方法的限定，在此不再赘述。上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述图像生成装置，获取待迁移图像，确定待迁移图像所属的源域和待迁移至的目标域，查询用于将属于源域的图像迁移至目标域的图像生成器，通过图像生成器生成待迁移图像在目标域的迁移图像，迁移图像与待迁移图像的内容特征相同，其中，该图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数，该目标参数为源域图像样本的内容特征和目标生成图像的内容特征之间的互信息，该源域图像样本属于源域，该目标生成图像属于目标域、且通过图像生成器根据源域图像样本生成。这样，通过互信息判别器与图像生成器之间的对抗训练，使得通过图像生成器将图像由源域迁移至目标域时，目标域的图像与源域的图像在内容特征上一致，从而避免目标域的图像变形；并且，利用目标生成图像去训练医学影像处理模型时，能够提高医学影像处理模型的性能。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像生成器的训练数据和/或图像生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像生成器的处理方法和/或图像生成方法。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像生成器的处理方法，其特征在于，所述方法包括：
获取图像样本集、图像生成器和互信息判别器；所述图像样本集包括源域图像样本和参考图像样本；
通过所述图像生成器，生成所述源域图像样本在目标域的目标生成图像；
分别提取所述源域图像样本的第一内容特征、所述参考图像样本的第二内容特征以及所述目标生成图像的第三内容特征；
根据所述第一内容特征和所述第三内容特征生成正样本，并根据所述第一内容特征和所述第三内容特征中的至少一个、及所述第二内容特征生成负样本；
将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件。
2.根据权利要求1所述的方法，其特征在于，所述将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件，包括：
通过所述第一内容特征和所述第三内容特征的相对熵，表征所述第一内容特征和所述第三内容特征的互信息；
根据所述第一内容特征和所述第三内容特征的交叉熵，构建所述互信息判别器的判别损失函数；所述交叉熵与所述相对熵正相关；
将所述正样本和所述负样本输入所述互信息判别器，并结合所述判别损失函数对所述图像生成器和所述互信息判别器进行迭代地对抗训练，在对抗训练过程中迭代地优化所述判别损失函数，以及最大化所述互信息。
3.根据权利要求1所述的方法，其特征在于，所述分别提取所述源域图像样本的第一内容特征、所述参考图像样本的第二内容特征以及所述目标生成图像的第三内容特征，包括：
获取源域编码器以及目标域编码器；
通过所述源域编码器将所述源域图像样本编码至特征空间中，得到所述源域图像样本的第一内容特征；
通过所述目标域编码器将所述参考图像样本编码至所述特征空间中，得到所述参考图像样本的第二内容特征，并通过所述目标域编码器将所述目标生成图像编码至所述特征空间中，得到所述目标生成图像的第三内容特征。
4.根据权利要求3所述的方法，其特征在于，所述将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件，包括：
将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器、所述源域编码器、所述目标域编码器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取源域解码器以及目标域解码器；
通过所述源域解码器，将所述源域图像样本的第一内容特征映射至源域，得到第一重建图像；并通过所述目标域解码器，将所述源域图像样本的第一内容特征映射至所述目标域，得到第二重建图像；
基于所述源域图像样本与所述第一重建图像之间的差异构建第一损失函数，并基于所述目标生成图像与所述第二重建图像之间的差异构建第二损失函数；
所述将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件，包括：
将所述正样本和所述负样本输入所述互信息判别器，并结合所述第一损失函数和所述第二损失函数，对所述图像生成器、所述源域编码器、所述目标域编码器、所述源域解码器、所述目标域解码器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取图像判别器；
所述将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件，包括：
将所述源域图像样本和所述参考图像样本输入所述图像判别器，以及将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器、所述图像判别器和所述互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化所述互信息，直至达到迭代停止条件。
7.根据权利要求6所述的方法，其特征在于，所述图像生成器为目标域图像生成器；所述图像判别器为目标域图像判别器；所述方法还包括：
获取源域图像生成器和源域图像判别器；
通过所述源域图像生成器，生成所述目标生成图像在源域的恢复图像；
构建所述源域图像生成器、所述源域图像判别器、所述目标域图像生成器和所述目标域图像判别器的循环一致性损失；
所述将所述源域图像样本和所述参考图像样本输入所述图像判别器，以及将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器、所述图像判别器和所述互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化所述互信息，直至达到迭代停止条件，包括：
将所述源域图像样本和所述目标生成图像输入所述目标域图像判别器、将所述源域图像样本和所述恢复图像输入所述源域图像判别器、以及将所述正样本和所述负样本输入所述互信息判别器，结合所述循环一致性损失，对所述源域图像生成器、所述源域图像判别器、所述目标域图像生成器、所述目标域图像判别器和所述互信息判别器进行迭代地双重对抗训练，并在对抗训练过程中迭代地最大化所述互信息，直至达到迭代停止条件。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一内容特征和所述第三内容特征生成正样本，并根据所述第一内容特征和所述第三内容特征中的至少一个、及所述第二内容特征生成所述负样本，包括：
将所述第一内容特征和所述第三内容特征进行拼接，得到所述正样本；
将所述第一内容特征和所述第三内容特征中的至少一个与所述第二内容特征进行拼接，得到所述负样本。
9.一种图像生成方法，其特征在于，所述方法包括：
获取待迁移图像；
确定所述待迁移图像所属的源域和待迁移至的目标域；
查询用于将属于所述源域的图像迁移至所述目标域的图像生成器；
通过所述图像生成器生成所述待迁移图像在所述目标域的迁移图像；所述迁移图像与所述待迁移图像的内容特征相同；
其中，所述图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；所述目标参数为源域图像样本的内容特征和生成图像样本的内容特征之间的互信息；所述源域图像样本属于所述源域；所述生成图像样本属于所述目标域、且通过所述图像生成器根据所述源域图像样本生成。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取训练样本集；所述训练样本集包括按照第一成像条件得到的第一医学影像和按照第二成像条件得到的第二医学影像；不同成像条件所得到的医学影像所属的图像域不同；
将所述第一医学影像作为待迁移图像；所述源域为所述第一医学影像所属的图像域；所述目标域为所述第二医学影像所属的图像域；
获取所述第二医学影像和所述迁移图像作为更新后的训练样本集；
根据所述更新后的训练样本集训练医学影像处理模型。
11.根据权利要求10所述的方法，其特征在于，所述根据所述更新后的训练样本集训练医学影像处理模型，包括：
确定所述医学影像处理模型的任务类型；
确定所述更新后的训练样本集中各训练样本相应的、且与所述任务类型匹配的训练标签；
根据各所述训练样本和各所述训练样本相应的训练标签，训练所述医学影像处理模型。
12.一种图像生成器的处理装置，其特征在于，所述装置包括：
获取模块，用于获取图像样本集、图像生成器和互信息判别器；所述图像样本集包括源域图像样本和参考图像样本；
生成模块，用于通过所述图像生成器，生成所述源域图像样本在目标域的目标生成图像；
提取模块，用于分别提取所述源域图像样本的第一内容特征、所述参考图像样本的第二内容特征以及所述目标生成图像的第三内容特征；
所述生成模块，还用于根据所述第一内容特征和所述第三内容特征生成正样本，并根据所述第一内容特征和所述第三内容特征中的至少一个、及所述第二内容特征生成所述负样本；
输入模块，用于将所述正样本和所述负样本输入所述互信息判别器，对所述图像生成器和所述互信息判别器进行迭代地对抗训练，并在对抗训练过程中迭代地最大化所述第一内容特征和所述第三内容特征的互信息，直至达到迭代停止条件。
13.一种图像生成装置，其特征在于，所述装置包括：
获取模块，用于获取待迁移图像；
确定模块，用于确定所述待迁移图像所属的源域和待迁移至的目标域；
查询模块，用于查询用于将属于所述源域的图像迁移至所述目标域的图像生成器；
生成模块，用于通过所述图像生成器生成所述待迁移图像在所述目标域的迁移图像；所述迁移图像与所述待迁移图像的内容特征相同；
其中，所述图像生成器通过与互信息判别器迭代地对抗训练得到，并在对抗训练过程中迭代地最大化目标参数；所述目标参数为源域图像样本的内容特征和生成图像样本的内容特征之间的互信息；所述源域图像样本属于所述源域；所述生成图像样本属于所述目标域、且通过所述图像生成器根据所述源域图像样本生成。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202010392503.3A 2020-05-11 2020-05-11 图像生成器的处理方法、图像生成方法及装置 Active CN111597946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010392503.3A CN111597946B (zh) 2020-05-11 2020-05-11 图像生成器的处理方法、图像生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010392503.3A CN111597946B (zh) 2020-05-11 2020-05-11 图像生成器的处理方法、图像生成方法及装置

Publications (2)

Publication Number Publication Date
CN111597946A true CN111597946A (zh) 2020-08-28
CN111597946B CN111597946B (zh) 2022-04-08

Family

ID=72183601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010392503.3A Active CN111597946B (zh) 2020-05-11 2020-05-11 图像生成器的处理方法、图像生成方法及装置

Country Status (1)

Country Link
CN (1) CN111597946B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633425A (zh) * 2021-03-11 2021-04-09 腾讯科技（深圳）有限公司 图像分类方法和装置
CN112686205A (zh) * 2021-01-14 2021-04-20 电子科技大学中山学院 一种参数更新方法及装置、多终端网络架构
CN113080990A (zh) * 2021-03-25 2021-07-09 南京蝶谷健康科技有限公司 一种基于CycleGAN和BiLSTM神经网络方法的心博异常检测方法
CN113393386A (zh) * 2021-05-18 2021-09-14 电子科技大学 一种基于特征解耦的非成对图像对比去雾方法
CN113435365A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 人脸图像迁移方法及装置
CN114255502A (zh) * 2021-12-23 2022-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114882220A (zh) * 2022-05-20 2022-08-09 山东力聚机器人科技股份有限公司 基于域自适应先验知识引导gan的图像生成方法及***
CN115311526A (zh) * 2022-10-11 2022-11-08 江苏智云天工科技有限公司 基于改进的Cycle GAN网络的缺陷样本生成方法和***

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653264B2 (en) * 2005-03-04 2010-01-26 The Regents Of The University Of Michigan Method of determining alignment of images in high dimensional feature space
CN107609116A (zh) * 2017-09-13 2018-01-19 星环信息科技（上海）有限公司 一种创建跨域迁移深度网络的方法及设备
CN108171320A (zh) * 2017-12-06 2018-06-15 西安工业大学 一种基于生成式对抗网络的图像域转换网络和转换方法
EP3182413B1 (en) * 2015-12-16 2018-08-29 Ruhr-Universität Bochum Adaptive line enhancer based method
CN108665058A (zh) * 2018-04-11 2018-10-16 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN108682022A (zh) * 2018-04-25 2018-10-19 清华大学 基于对抗迁移网络的视觉跟踪方法及***
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
CN109214421A (zh) * 2018-07-27 2019-01-15 阿里巴巴集团控股有限公司 一种模型训练方法、装置、及计算机设备
CN109447895A (zh) * 2018-09-03 2019-03-08 腾讯科技（武汉）有限公司 图片生成方法和装置、存储介质及电子装置
CN109740682A (zh) * 2019-01-08 2019-05-10 南京大学 一种基于域转化和生成模型的图像识别方法
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN109745062A (zh) * 2019-01-30 2019-05-14 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、设备及存储介质
CN110322446A (zh) * 2019-07-01 2019-10-11 华中科技大学 一种基于相似性空间对齐的域自适应语义分割方法
CN110414462A (zh) * 2019-08-02 2019-11-05 中科人工智能创新技术研究院(青岛)有限公司 一种无监督的跨域行人重识别方法及***
CN110598765A (zh) * 2019-08-28 2019-12-20 腾讯科技（深圳）有限公司 样本生成方法、装置、计算机设备及存储介质
CN110728295A (zh) * 2019-09-02 2020-01-24 深圳中科保泰科技有限公司 半监督式的地貌分类模型训练和地貌图构建方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653264B2 (en) * 2005-03-04 2010-01-26 The Regents Of The University Of Michigan Method of determining alignment of images in high dimensional feature space
EP3182413B1 (en) * 2015-12-16 2018-08-29 Ruhr-Universität Bochum Adaptive line enhancer based method
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
CN107609116A (zh) * 2017-09-13 2018-01-19 星环信息科技（上海）有限公司 一种创建跨域迁移深度网络的方法及设备
CN108171320A (zh) * 2017-12-06 2018-06-15 西安工业大学 一种基于生成式对抗网络的图像域转换网络和转换方法
CN108665058A (zh) * 2018-04-11 2018-10-16 徐州工程学院 一种基于分段损失的生成对抗网络方法
CN108682022A (zh) * 2018-04-25 2018-10-19 清华大学 基于对抗迁移网络的视觉跟踪方法及***
CN109214421A (zh) * 2018-07-27 2019-01-15 阿里巴巴集团控股有限公司 一种模型训练方法、装置、及计算机设备
CN109447895A (zh) * 2018-09-03 2019-03-08 腾讯科技（武汉）有限公司 图片生成方法和装置、存储介质及电子装置
CN109753992A (zh) * 2018-12-10 2019-05-14 南京师范大学 基于条件生成对抗网络的无监督域适应图像分类方法
CN109740682A (zh) * 2019-01-08 2019-05-10 南京大学 一种基于域转化和生成模型的图像识别方法
CN109745062A (zh) * 2019-01-30 2019-05-14 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、设备及存储介质
CN110322446A (zh) * 2019-07-01 2019-10-11 华中科技大学 一种基于相似性空间对齐的域自适应语义分割方法
CN110414462A (zh) * 2019-08-02 2019-11-05 中科人工智能创新技术研究院(青岛)有限公司 一种无监督的跨域行人重识别方法及***
CN110598765A (zh) * 2019-08-28 2019-12-20 腾讯科技（深圳）有限公司 样本生成方法、装置、计算机设备及存储介质
CN110728295A (zh) * 2019-09-02 2020-01-24 深圳中科保泰科技有限公司 半监督式的地貌分类模型训练和地貌图构建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KE WANG ET AL.: "Learning Domain-Independent Deep Representations by Mutual Information Minimization", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》 *
M. N. A. KHAN ET AL.: "Adapting instance weights for unsupervised domain adaptation using quadratic mutual information and subspace learning", 《2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *
R DEVON HJELM ET AL.: "Learning deep representations by mutual information estimation and maximization", 《HTTPS://ARXIV.ORG/ABS/1808.06670V5》 *
XINPENG XIE ET AL.: "Texture Deformation Based Generative Adversarial Networks for Multi-domain Face Editing", 《PRICAI 2019: TRENDS IN ARTIFICIAL INTELLIGENCE》 *
胡健 等: "基于互信息加权集成迁移学习的入侵检测方法", 《计算机应用》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686205A (zh) * 2021-01-14 2021-04-20 电子科技大学中山学院 一种参数更新方法及装置、多终端网络架构
CN112686205B (zh) * 2021-01-14 2023-10-13 电子科技大学中山学院 一种参数更新方法及装置、多终端网络架构
CN112633425A (zh) * 2021-03-11 2021-04-09 腾讯科技（深圳）有限公司 图像分类方法和装置
CN112633425B (zh) * 2021-03-11 2021-05-11 腾讯科技（深圳）有限公司 图像分类方法和装置
CN113080990A (zh) * 2021-03-25 2021-07-09 南京蝶谷健康科技有限公司 一种基于CycleGAN和BiLSTM神经网络方法的心博异常检测方法
CN113080990B (zh) * 2021-03-25 2023-01-10 南京蝶谷健康科技有限公司 一种基于CycleGAN和BiLSTM神经网络方法的心博异常检测方法
CN113393386B (zh) * 2021-05-18 2022-03-01 电子科技大学 一种基于特征解耦的非成对图像对比去雾方法
CN113393386A (zh) * 2021-05-18 2021-09-14 电子科技大学 一种基于特征解耦的非成对图像对比去雾方法
CN113435365A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 人脸图像迁移方法及装置
CN114255502A (zh) * 2021-12-23 2022-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114255502B (zh) * 2021-12-23 2024-03-29 中国电信股份有限公司 人脸图像生成方法及装置、人脸识别方法、设备、介质
CN114882220A (zh) * 2022-05-20 2022-08-09 山东力聚机器人科技股份有限公司 基于域自适应先验知识引导gan的图像生成方法及***
CN114882220B (zh) * 2022-05-20 2023-02-28 山东力聚机器人科技股份有限公司 基于域自适应先验知识引导gan的图像生成方法及***
CN115311526A (zh) * 2022-10-11 2022-11-08 江苏智云天工科技有限公司 基于改进的Cycle GAN网络的缺陷样本生成方法和***

Also Published As

Publication number Publication date
CN111597946B (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
CN111597946B (zh) 图像生成器的处理方法、图像生成方法及装置
CN111199550B (zh) 图像分割网络的训练方法、分割方法、装置和存储介质
US10929708B2 (en) Deep learning network for salient region identification in images
CN110689025B (zh) 图像识别方法、装置、***及内窥镜图像识别方法、装置
CN113077471A (zh) 一种基于u型网络的医学图像分割方法
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN112488976B (zh) 一种基于darts网络的多模态医学图像融合方法
CN111242948B (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN113822289A (zh) 图像降噪模型的训练方法、装置、设备及存储介质
CN115880720A (zh) 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法
Jin et al. Label-efficient deep learning in medical image analysis: Challenges and future directions
Wang et al. Left ventricle landmark localization and identification in cardiac MRI by deep metric learning-assisted CNN regression
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Chatterjee et al. A survey on techniques used in medical imaging processing
Mahapatra Registration of histopathogy images using structural information from fine grained feature maps
CN112233017B (zh) 一种基于生成对抗网络的病态人脸数据增强方法
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
Kumari et al. Data efficient deep learning for medical image analysis: A survey
Aguirre Nilsson et al. Classification of ulcer images using convolutional neural networks
Tawfeeq et al. Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap.
Kobayashi et al. Learning global and local features of normal brain anatomy for unsupervised abnormality detection
CN116109655B (zh) 图像编码器处理方法及装置、图像分割方法
CN117649422B (zh) 多模态图像分割模型的训练方法和多模态图像分割方法
Li et al. An optimization r-cnn method for Ovarian cyst detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027932

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210927

Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant