CN112419324A - 一种基于半监督任务驱动的医学图像数据扩充方法 - Google Patents

一种基于半监督任务驱动的医学图像数据扩充方法 Download PDF

Info

Publication number
CN112419324A
CN112419324A CN202011329403.2A CN202011329403A CN112419324A CN 112419324 A CN112419324 A CN 112419324A CN 202011329403 A CN202011329403 A CN 202011329403A CN 112419324 A CN112419324 A CN 112419324A
Authority
CN
China
Prior art keywords
data set
data
medical image
expansion
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011329403.2A
Other languages
English (en)
Other versions
CN112419324B (zh
Inventor
潘晓光
王小华
尚方信
令狐彬
张娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Sanyouhe Smart Information Technology Co Ltd
Original Assignee
Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Sanyouhe Smart Information Technology Co Ltd filed Critical Shanxi Sanyouhe Smart Information Technology Co Ltd
Priority to CN202011329403.2A priority Critical patent/CN112419324B/zh
Publication of CN112419324A publication Critical patent/CN112419324A/zh
Application granted granted Critical
Publication of CN112419324B publication Critical patent/CN112419324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明属于图像数据扩充领域，具体涉及一种基于半监督任务驱动的医学图像数据扩充方法，包括下列步骤：数据采集：获取相关的医学图像数据集，对其类别进行标注；数据扩充：使用任务驱动的数据扩充方法实现医学图像的数据扩充；构建方法：构建数据扩充方法用于医学图像的数据集扩充；数据集保存：将扩充后的数据集与原数据集结合，保存数据集。本发明通过使用一种半监督任务驱动的数据扩充方法，解决了在有限的训练数据设置中获得鲁棒分割的问题，并使得生成的增强图像提高了医学图像的分割性。本发明用于医学图像数据的扩充。

Description

一种基于半监督任务驱动的医学图像数据扩充方法
技术领域
本发明属于图像数据扩充领域，具体涉及一种基于半监督任务驱动的医学图像数据扩充方法。
背景技术
数据扩充是一种基于生成合成图像-标签对来扩大训练集的简单技术，其思想是以一种标签保持不变的方式转换图像，或者对图像和标签都定义了转换，但由于随机仿射变换，随机弹性变换和随机对比变换等扩充方法未能显著提升医学图像的分割性能，通过一种新的任务驱动的数据扩充方法，以学习有限的标记数据，其中合成数据生成器，能为分割任务提高优化性能。
准确的医学图像分割对于当前的临床应用至关重要，但获取大量的标注示例对于医学图像来说是很困难的，导致医学图像的分割准确效果不佳。目前医学图像的数据扩充是通过随机仿射变换，随机弹性变换和随机对比变换等方法进行，但实验结果表明当前方法生成的数据在本质上是不真实的，且效果不太理想。
发明内容
针对上述目前医学图像的数据扩充的数据不真实的技术问题，本发明提供了一种效率高、分割准确率高、成本低的一种基于半监督任务驱动的医学图像数据扩充方法。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于半监督任务驱动的医学图像数据扩充方法，包括下列步骤：
S1、数据采集：获取相关的医学图像数据集，对其类别进行标注；
S2、数据扩充：使用任务驱动的数据扩充方法实现医学图像的数据扩充；
S3、构建方法：构建数据扩充方法用于医学图像的数据集扩充；
S4、数据集保存：将扩充后的数据集与原数据集结合，保存数据集。
所述S1中的数据采集通过获取相关的医学图像公共数据集，对数据集进行筛选、划分操作，构建医学图像数据集。
所述S3中，所述构建方法用于生成扩充数据集，(XG,YG)＝G((XL,YL),z；wG)，其中G(·，·；wG)为数据扩充的变换方法，z为变换的随机分量，wG为变换的参数，其中数据扩充方法G，通过定义两个条件生成器，分别为变形场生成器和强度场生成器列构建形状和强度变化，通过该变换方法，对输入图像进行图像变换，获得扩充数据集，其中，训练变形场发生器Gv用于输出变形场的变换信息，Gv的变换参数为wGv，通过练数据集图像XL和随机抽取的z向量作为输入，用于生成稠密的逐像素变形场
Figure BDA0002795275690000021
根据生成的变形场v对输入图像及对应的标签进行双线性插值，获得扩充数据集XGv和相对应的标签集YGv，其表达方式为：
Figure BDA0002795275690000022
训练强度场生成器GI用于输出加性强度掩码变换，GI的变换参数为wGI，输入训练数据集图像XL和随机抽取的单位高斯分布的z向量作为输入，输入加性强度掩码
Figure BDA0002795275690000023
然后将ΔI添加到XL中，获得扩充图像集XGI和相对应的标签集YGI，其表达方式为：
Figure BDA0002795275690000024
通过变形场发生器和强度场生成器方法用于数据扩充：
Figure BDA0002795275690000025
所述S4中数据结合的方法为：将扩充后的数据集与原数据集结合，设XL为训练数据集，YL为对应的标签数据集，(XN,YN)＝(XL∪XG,YL∪YG)，所述XG、YG表示扩充的数据集和相对应的标签数据集。
本发明与现有技术相比，具有的有益效果是：
本发明通过使用一种半监督任务驱动的数据扩充方法，解决了在有限的训练数据设置中获得鲁棒分割的问题，并使得生成的增强图像提高了医学图像的分割性。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于半监督任务驱动的医学图像数据扩充方法，如图1所示，包括下列步骤：
步骤1、数据采集：获取相关的医学图像数据集，对其类别进行标注。
步骤2、数据扩充：使用任务驱动的数据扩充方法实现医学图像的数据扩充。
步骤3、构建方法：构建数据扩充方法用于医学图像的数据集扩充。
步骤4、数据集保存：将扩充后的数据集与原数据集结合，保存数据集。
进一步，步骤1中的数据采集通过获取相关的医学图像公共数据集，对数据集进行筛选、划分操作，构建医学图像数据集。
进一步，步骤3中，构建方法用于生成扩充数据集，(XG,YG)＝G((XL,YL),z；wG)，其中G(·，·。wG)为数据扩充的变换方法，z为变换的随机分量，wG为变换的参数，其中数据扩充方法G，通过定义两个条件生成器，分别为变形场生成器和强度场生成器列构建形状和强度变化，通过该变换方法，对输入图像进行图像变换，获得扩充数据集，其中，训练变形场发生器Gv用于输出变形场的变换信息，Gv的变换参数为wGv，通过练数据集图像XL和随机抽取的z向量作为输入，用于生成稠密的逐像素变形场
Figure BDA0002795275690000031
根据生成的变形场v对输入图像及对应的标签进行双线性插值，获得扩充数据集XGv和相对应的标签集YGv，其表达方式为：
Figure BDA0002795275690000032
训练强度场生成器GI用于输出加性强度掩码变换，GI的变换参数为wGI，输入训练数据集图像XL和随机抽取的单位高斯分布的z向量作为输入，输入加性强度掩码
Figure BDA0002795275690000033
然后将ΔI添加到XL中，获得扩充图像集XGI和相对应的标签集YGI，其表达方式为：
Figure BDA0002795275690000034
通过变形场发生器和强度场生成器方法用于数据扩充：
Figure BDA0002795275690000035
进一步，步骤4中数据结合的方法为：将扩充后的数据集与原数据集结合，设XL为训练数据集，YL为对应的标签数据集，(XN,YN)＝(XL∪XG,YL∪YG)，XG、YG表示扩充的数据集和相对应的标签数据集。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于半监督任务驱动的医学图像数据扩充方法，其特征在于：包括下列步骤：
S1、数据采集：获取相关的医学图像数据集，对其类别进行标注；
S2、数据扩充：使用任务驱动的数据扩充方法实现医学图像的数据扩充；
S3、构建方法：构建数据扩充方法用于医学图像的数据集扩充；
S4、数据集保存：将扩充后的数据集与原数据集结合，保存数据集。
2.根据权利要求1所述的一种基于半监督任务驱动的医学图像数据扩充方法，其特征在于：所述S1中的数据采集通过获取相关的医学图像公共数据集，对数据集进行筛选、划分操作，构建医学图像数据集。
3.根据权利要求1所述的一种基于半监督任务驱动的医学图像数据扩充方法，其特征在于：所述S3中，所述构建方法用于生成扩充数据集，(XG,YG)＝G((XL,YL),z；wG)，其中G(·，·；wG)为数据扩充的变换方法，z为变换的随机分量，wG为变换的参数，其中数据扩充方法G，通过定义两个条件生成器，分别为变形场生成器和强度场生成器列构建形状和强度变化，通过该变换方法，对输入图像进行图像变换，获得扩充数据集，其中，训练变形场发生器Gv用于输出变形场的变换信息，Gv的变换参数为wGv，通过练数据集图像XL和随机抽取的z向量作为输入，用于生成稠密的逐像素变形场
Figure FDA0002795275680000011
根据生成的变形场v对输入图像及对应的标签进行双线性插值，获得扩充数据集XGv和相对应的标签集YGv，其表达方式为：
Figure FDA0002795275680000012
训练强度场生成器GI用于输出加性强度掩码变换，GI的变换参数为wGI，输入训练数据集图像XL和随机抽取的单位高斯分布的z向量作为输入，输入加性强度掩码
Figure FDA0002795275680000013
然后将ΔI添加到XL中，获得扩充图像集XGI和相对应的标签集YGI，其表达方式为：
Figure FDA0002795275680000014
通过变形场发生器和强度场生成器方法用于数据扩充：
Figure FDA0002795275680000015
4.根据权利要求1所述的一种基于半监督任务驱动的医学图像数据扩充方法，其特征在于：所述S4中数据结合的方法为：将扩充后的数据集与原数据集结合，设XL为训练数据集，YL为对应的标签数据集，(XN,YN)＝(XL∪XG,YL∪YG)，所述XG、YG表示扩充的数据集和相对应的标签数据集。
CN202011329403.2A 2020-11-24 2020-11-24 一种基于半监督任务驱动的医学图像数据扩充方法 Active CN112419324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011329403.2A CN112419324B (zh) 2020-11-24 2020-11-24 一种基于半监督任务驱动的医学图像数据扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011329403.2A CN112419324B (zh) 2020-11-24 2020-11-24 一种基于半监督任务驱动的医学图像数据扩充方法

Publications (2)

Publication Number Publication Date
CN112419324A true CN112419324A (zh) 2021-02-26
CN112419324B CN112419324B (zh) 2022-04-19

Family

ID=74778709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329403.2A Active CN112419324B (zh) 2020-11-24 2020-11-24 一种基于半监督任务驱动的医学图像数据扩充方法

Country Status (1)

Country Link
CN (1) CN112419324B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和***
CN107885854A (zh) * 2017-11-14 2018-04-06 山东师范大学 一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法
CN109522973A (zh) * 2019-01-17 2019-03-26 云南大学 基于生成式对抗网络与半监督学习的医疗大数据分类方法及***
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和***
CN109886388A (zh) * 2019-01-09 2019-06-14 平安科技（深圳）有限公司 一种基于变分自编码器的训练样本数据扩充方法和装置
WO2020014477A1 (en) * 2018-07-11 2020-01-16 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image analysis with deep learning to predict breast cancer classes
CN110852227A (zh) * 2019-11-04 2020-02-28 中国科学院遥感与数字地球研究所 高光谱图像深度学习分类方法、装置、设备及存储介质
CN111797885A (zh) * 2019-04-05 2020-10-20 三星显示有限公司 用于分类的***和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和***
CN109690554A (zh) * 2016-07-21 2019-04-26 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和***
CN107885854A (zh) * 2017-11-14 2018-04-06 山东师范大学 一种基于特征选择和虚拟数据生成的半监督跨媒体检索方法
WO2020014477A1 (en) * 2018-07-11 2020-01-16 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image analysis with deep learning to predict breast cancer classes
CN109886388A (zh) * 2019-01-09 2019-06-14 平安科技（深圳）有限公司 一种基于变分自编码器的训练样本数据扩充方法和装置
CN109522973A (zh) * 2019-01-17 2019-03-26 云南大学 基于生成式对抗网络与半监督学习的医疗大数据分类方法及***
CN111797885A (zh) * 2019-04-05 2020-10-20 三星显示有限公司 用于分类的***和方法
CN110852227A (zh) * 2019-11-04 2020-02-28 中国科学院遥感与数字地球研究所 高光谱图像深度学习分类方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMERICO OLIVEIRA 等: "Augmenting data when training a CNN for retinal vessel segmentation: How to warp?", 《2017 IEEE 5TH PORTUGUESE MEETING ON BIOENGINEERING (ENBENG)》 *
AMY ZHAO 等: "Data Augmentation Using Learned Transformations for One-Shot Medical Image Segmentation", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
付晓 等: "基于半监督编码生成对抗网络的图像分类模型", 《自动化学报》 *
张稀珏: "阿尔茨海默病与癫痫MRI自动识别研究", 《中国优秀硕士学位论文全文数据库 医疗卫生科技辑》 *

Also Published As

Publication number Publication date
CN112419324B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
Ge et al. Preserve your own correlation: A noise prior for video diffusion models
CN106127684A (zh) 基于双向递归卷积神经网络的图像超分辨率增强方法
JP2017500651A (ja) 入力低解像度（ｌｒ）画像を処理して出力高解像度（ｈｒ）画像にする方法
Shen et al. Adaptive dynamic filtering network for image denoising
CN111062329B (zh) 基于增广网络的无监督行人重识别方法
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
Ma et al. Symmetric transformer-based network for unsupervised image registration
Zheng et al. Asynchronous generative adversarial network for asymmetric unpaired image-to-image translation
US20230162409A1 (en) System and method for generating images of the same style based on layout
CN111353938A (zh) 一种基于网络反馈的图像超分辨率学习方法
CN111861886A (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
Singh A survey of ai text-to-image and ai text-to-video generators
CN112419324B (zh) 一种基于半监督任务驱动的医学图像数据扩充方法
JP2008152619A (ja) データ処理装置およびデータ処理プログラム
Wu et al. Multi-scale non-local attention network for image super-resolution
JP2011070283A (ja) 顔画像高解像度化装置、及びプログラム
Uittenbogaard et al. Conditional transfer with dense residual attention: Synthesizing traffic signs from street-view imagery
Chen et al. Application of generative adversarial network in image color correction
Shen et al. Itsrn++: Stronger and better implicit transformer network for continuous screen content image super-resolution
Guo et al. Video super-resolution based on inter-frame information utilization for intelligent transportation
Yue et al. An external learning assisted self-examples learning for image super-resolution
Gupta et al. Super-resolution-based GAN for image processing: Recent advances and future trends
Chen et al. A study of style migration generation of traditional Chinese portraits based on DualStyleGAN
Chen et al. DensER: Density-imbalance-Eased Representation for LiDAR-based Whole Scene Upsampling
Huynh et al. Light-weight Sketch Recognition with Knowledge Distillation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant