CN110298345A - 一种医学图像数据集的感兴趣区域自动标注方法 - Google Patents

一种医学图像数据集的感兴趣区域自动标注方法 Download PDF

Info

Publication number
CN110298345A
CN110298345A CN201910606180.0A CN201910606180A CN110298345A CN 110298345 A CN110298345 A CN 110298345A CN 201910606180 A CN201910606180 A CN 201910606180A CN 110298345 A CN110298345 A CN 110298345A
Authority
CN
China
Prior art keywords
interest
area
data sets
medical images
images data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910606180.0A
Other languages
English (en)
Inventor
余春艳
杨素琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910606180.0A priority Critical patent/CN110298345A/zh
Publication of CN110298345A publication Critical patent/CN110298345A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种医学图像数据集的感兴趣区域自动标注方法，首先构建感兴趣区域检测网络，获取医学图像数据集中每张医学图像中的感兴趣区域；然后从所述感兴趣区域中选取置信度最高的N个感兴趣区域；接着利用深度网络学习并分别提取所述N个感兴趣区域的特征；然后将提取得到的N个特征分别输入到感知机中，经过sotfmax函数计算N个感兴趣区域为目标类的概率；最后将上一步得到的概率与一个Leakey noisy‑or gate结合，获得最终为目标类的可能性以完成感兴趣区域的自动标注任务。本发明同时能够解决检测步骤中的感兴趣区域漏检问题，从而提供更具意义的参考意见。

Description

一种医学图像数据集的感兴趣区域自动标注方法
技术领域
本发明涉及图像处理技术领域，特别是一种医学图像数据集的感兴趣区域自动标注方法。
背景技术
医学图像数据集和普通图像数据集标注不同，医学图像数据集的标注需要有专业知识和技能。并且，标注质量受限于医学与计算机专业的鸿沟，标注质量差。因此，难以获取大型的高质量标注数据集。
发明内容
有鉴于此，本发明的目的是提出一种医学图像数据集的感兴趣区域自动标注方法，同时能够解决检测步骤中的感兴趣区域漏检问题，从而提供更具意义的参考意见。
本发明采用以下方案实现：一种医学图像数据集的感兴趣区域自动标注方法，具体包括以下步骤：
步骤S1：构建感兴趣区域检测网络，获取医学图像数据集中每张医学图像中的感兴趣区域；
步骤S2：从所述感兴趣区域中选取置信度最高的N个感兴趣区域；
步骤S3：利用深度网络学习并分别提取所述N个感兴趣区域的特征；
步骤S4：将提取得到的N个特征分别输入到感知机中，经过sotfmax函数计算N个感兴趣区域为目标类的概率；
步骤S5：将步骤S4得到的概率与一个Leakey noisy-or gate结合，获得最终为目标类的可能性以完成感兴趣区域的自动标注任务。
进一步地，所述S1中，所述感兴趣区域检测网络由一个UNet网络作为主干网络和一个RPN网络作为输出层组成。
进一步地，步骤S2中，所述N为5，当感兴趣区域不足5个时，利用相同大小的非感兴趣区域图像补齐。
进一步地，步骤S3中，所述深度网络为复用感兴趣检测网络的主干网络UNet。
进一步地，步骤S4中，所述感知机为两层，分别为隐藏单元和输出单元，其中隐藏单元为64个，输出单元为1个，采用的激活函数为Sigmoid函数，获得感兴趣区域为目标类的概率。
进一步地，步骤S5具体为：引入一个假想的感兴趣区域为目标类的概率为Pd，并利用以下公式，获得最后的目标类概率，以完成标注任务：
式中，Pi表示第i个感兴趣区域为目标类的概率。
与现有技术相比，本发明有以下有益效果：本发明利用扰动因子以实现医学图像数据集的自动标注，能够为AI医学影像提供大量的高质量标注数据，同时，能够减少对人工标注的依赖性。本发明同时能够解决检测步骤中的感兴趣区域漏检问题，从而提供更具意义的参考意见。
附图说明
图1为本发明实施例的方法原理示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种医学图像数据集的感兴趣区域自动标注方法，具体包括以下步骤：
步骤S1：构建感兴趣区域检测网络，获取医学图像数据集中每张医学图像中的感兴趣区域；
步骤S2：从所述感兴趣区域中选取置信度最高的N个感兴趣区域；
步骤S3：利用深度网络学习并分别提取所述N个感兴趣区域的特征；
步骤S4：将提取得到的N个特征分别输入到感知机中，经过sotfmax函数计算N个感兴趣区域为目标类的概率；
步骤S5：将步骤S4得到的概率与一个Leakey noisy-or gate结合，获得最终为目标类的可能性以完成感兴趣区域的自动标注任务。
在本实施例中，所述S1中，所述感兴趣区域检测网络由一个UNet网络作为主干网络和一个RPN网络作为输出层组成。
在本实施例中，步骤S2中，所述N为5，当感兴趣区域不足5个时，利用相同大小的非感兴趣区域图像补齐。
在本实施例中，步骤S3中，所述深度网络为复用感兴趣检测网络的主干网络UNet。
在本实施例中，步骤S4中，所述感知机为两层，分别为隐藏单元和输出单元，其中隐藏单元为64个，输出单元为1个，采用的激活函数为Sigmoid函数，获得感兴趣区域为目标类的概率。
在本实施例中，步骤S5具体为：引入一个假想的感兴趣区域为目标类的概率为Pd，并利用以下公式，获得最后的目标类概率，以完成标注任务：
式中，Pi表示第i个感兴趣区域为目标类的概率。
具体的，本实施例通过肺部CT图像进行举例说明，所述图像为3D图像，具体包括以下实施步骤：
步骤一：收集数据，所用数据集为LUNA16数据集，所述数据集中包括1186个肺结节标注，患者数量为888个。
步骤二：预处理，以提取肺实质图像，所诉预处理步骤，具体如下：
1、对原图像进行HU值处理；
2、通过阈值做二值化处理，获得灰度图像；
3、对所获得的灰度图像，进行形态学腐蚀与膨胀处理，获得肺实质图像；
步骤三：将所述肺实质图像，利用大小为128x128x128x1的滑动窗口，将图像以块为基础进行输入；
步骤四：利用UNet网络和一个RPN网络作为感兴趣区域检测网络模型，提取每个CT图像的感兴趣区域，具体如下：
UNet网络分为下采样部分和上采样部分：
下采样部分具体为：
第一个块由两层3D卷积层组成，核大小为(3，3，3)，输出通道为24，BN正则化，激活函数为ReLU函数；
第二个块为残差块，由2个残差单元组成，每个残差单元由两层3D卷积层，核大小为(3，3，3)，输出通道为32，BN正则化，激活函数为ReLU函数；
中间层，最大池化层，核大小为(2，2，2)，步长为2；
第三个块为残差块，由2个残差单元组成，每个残差单元由两层3D卷积层，核大小为(3，3，3)，输出通道为64，BN正则化，激活函数为ReLU函数；
中间层，最大池化层，核大小为(2，2，2)，步长为2；
第四个块为残差块，由3个残差单元组成，每个残差单元由两层3D卷积层，核大小为(3，3，3)，输出通道为64，BN正则化，激活函数为ReLU函数；
中间层，最大池化层，核大小为(2，2，2)，步长为2；
第五个块为残差块，由3个残差单元组成，每个残差单元由两层3D卷积层，核大小为(3，3，3)，输出通道为64，BN正则化，激活函数为ReLU函数；
中间层，最大池化层，核大小为(2，2，2)，步长为2；
上采样部分，具体为：
第一个块中第一层为3D反卷积层，输入、输出通道为64，核大小为(2，2，2)，步长为2，BN正则化，激活函数为ReLU函数，和一个串联层，串联所述的上采样中第四块的输出与所述第一层的输出；
第二个块为残差块，由3个残差单元组成，每个残差单元由两层3D卷积层，核大小为(3，3，3)，输出通道为64，BN正则化，激活函数为ReLU函数；
第三个块中第一层为3D反卷积层，输入、输出通道为64，核大小为(2，2，2)，步长为2，BN正则化，激活函数为ReLU函数，和一个串联层，串联所述的上采样中第三块的输出与所述第一层的输出；
第四个块为残差块由3个残差单元组成，每个残差单元由两层3D卷积层，核大小为(3，3，3)，输出通道为64，BN正则化，激活函数为ReLU函数；
第五个块由两层3D卷积层组成，核大小为(1，1，1)，输出通道分别为64和15，BN正则化，激活函数为ReLU函数，输出的特征大小为32x32x32x15；
将UNet网络的输出特征大小重置为32x32x32x3x5，3为锚的个数尺度分别为10，30，60，5为回归值个数，接着利用真值计算损失，以完成模型训练，具体使用的损失函数如下：
L＝Lcls+pLreg
式中，Lcls为分类损失使用交叉熵函数，Lreg为回归损失使用L1函数；
步骤五：利用训练完成的所述感兴趣区域检测模型，对图像进行测试，以获得置信度最高的5个感兴趣区域，当感兴趣不足5个，则使用该图像中的非感兴趣区域补足，使得感兴趣区域保持5个；
步骤六：特征提取并获得CT图像的置信度最高的5个概率，具体为：
1、训练特征提取网络，复用所述UNet网络；
2、将5个感兴趣区域，大小为24x24x24x128，分别输入到所述已训练完成的特征提取模型，获得128-D的特征；
3、所获得的128-D特征输入到两层感知机，隐藏单元为64，和一个输出单元，激活函数为Sigmoid函数分别获得所述患者的5个感兴趣区域。
步骤七：利用Leakey noisy-or gate计算出最后为目标类的概率，获得为目标类可能性以完成标注任务，具体为：引入一个假想的感兴趣区域为目标类的概率Pd，并利用以下公式，获得最后的目标类概率后完成自动标注：
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种医学图像数据集的感兴趣区域自动标注方法，其特征在于，包括以下步骤：
步骤S1：构建感兴趣区域检测网络，获取医学图像数据集中每张医学图像中的感兴趣区域；
步骤S2：从所述感兴趣区域中选取置信度最高的N个感兴趣区域；
步骤S3：利用深度网络学习并分别提取所述N个感兴趣区域的特征；
步骤S4：将提取得到的N个特征分别输入到感知机中，经过sotfmax函数计算N个感兴趣区域为目标类的概率；
步骤S5：将步骤S4得到的概率与一个Leakey noisy-or gate结合，获得最终为目标类的可能性以完成感兴趣区域的自动标注任务。
2.根据权利要求1所述的一种医学图像数据集的感兴趣区域自动标注方法，其特征在于，所述S1中，所述感兴趣区域检测网络由一个UNet网络作为主干网络和一个RPN网络作为输出层组成。
3.根据权利要求1所述的一种医学图像数据集的感兴趣区域自动标注方法，其特征在于，步骤S2中，所述N为5，当感兴趣区域不足5个时，利用相同大小的非感兴趣区域图像补齐。
4.根据权利要求1所述的一种医学图像数据集的感兴趣区域自动标注方法，其特征在于，步骤S3中，所述深度网络为复用感兴趣检测网络的主干网络UNet。
5.根据权利要求1所述的一种医学图像数据集的感兴趣区域自动标注方法，其特征在于，步骤S4中，所述感知机为两层，分别为隐藏单元和输出单元，其中隐藏单元为64个，输出单元为1个，采用的激活函数为Sigmoid函数，获得感兴趣区域为目标类的概率。
6.根据权利要求1所述的一种医学图像数据集的感兴趣区域自动标注方法，其特征在于，步骤S5具体为：引入一个假想的感兴趣区域为目标类的概率为Pd，并利用以下公式，获得最后的目标类概率，以完成标注任务：
式中，Pi表示第i个感兴趣区域为目标类的概率。
CN201910606180.0A 2019-07-05 2019-07-05 一种医学图像数据集的感兴趣区域自动标注方法 Pending CN110298345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910606180.0A CN110298345A (zh) 2019-07-05 2019-07-05 一种医学图像数据集的感兴趣区域自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910606180.0A CN110298345A (zh) 2019-07-05 2019-07-05 一种医学图像数据集的感兴趣区域自动标注方法

Publications (1)

Publication Number Publication Date
CN110298345A true CN110298345A (zh) 2019-10-01

Family

ID=68030548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910606180.0A Pending CN110298345A (zh) 2019-07-05 2019-07-05 一种医学图像数据集的感兴趣区域自动标注方法

Country Status (1)

Country Link
CN (1) CN110298345A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348082A (zh) * 2020-11-06 2021-02-09 上海依智医疗技术有限公司 深度学习模型构建方法、影像处理方法及可读存储介质
CN114119519A (zh) * 2021-11-16 2022-03-01 高峰 一种侧支循环评估方法
CN115240014A (zh) * 2022-09-21 2022-10-25 山东大学齐鲁医院 基于残差神经网络的医学图像分类***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN108171233A (zh) * 2016-12-07 2018-06-15 三星电子株式会社 使用基于区域的深度学习模型的对象检测的方法和设备
US20180247405A1 (en) * 2017-02-27 2018-08-30 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
CN108876791A (zh) * 2017-10-23 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和***及存储介质
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN109410273A (zh) * 2017-08-15 2019-03-01 西门子保健有限责任公司 根据医学成像中表面数据的定位片预测
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN109785300A (zh) * 2018-12-27 2019-05-21 华南理工大学 一种癌症医学图像数据处理方法、***、装置和存储介质
US20190205606A1 (en) * 2016-07-21 2019-07-04 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205606A1 (en) * 2016-07-21 2019-07-04 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN108171233A (zh) * 2016-12-07 2018-06-15 三星电子株式会社 使用基于区域的深度学习模型的对象检测的方法和设备
US20180247405A1 (en) * 2017-02-27 2018-08-30 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
CN109410273A (zh) * 2017-08-15 2019-03-01 西门子保健有限责任公司 根据医学成像中表面数据的定位片预测
CN108876791A (zh) * 2017-10-23 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和***及存储介质
CN109271539A (zh) * 2018-08-31 2019-01-25 华中科技大学 一种基于深度学习的图像自动标注方法及装置
CN109523552A (zh) * 2018-10-24 2019-03-26 青岛智能产业技术研究院 基于视锥点云的三维物体检测方法
CN109785300A (zh) * 2018-12-27 2019-05-21 华南理工大学 一种癌症医学图像数据处理方法、***、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FANGZHOU LIAO等: ""Evaluate the Malignancy of Pulmonary Nodules Using the 3D Deep Leaky Noisy-or Network"", 《HTTPS://ARXIV.ORG/PDF/1711.08324.PDF》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348082A (zh) * 2020-11-06 2021-02-09 上海依智医疗技术有限公司 深度学习模型构建方法、影像处理方法及可读存储介质
CN114119519A (zh) * 2021-11-16 2022-03-01 高峰 一种侧支循环评估方法
CN115240014A (zh) * 2022-09-21 2022-10-25 山东大学齐鲁医院 基于残差神经网络的医学图像分类***

Similar Documents

Publication Publication Date Title
Xu et al. Locate globally, segment locally: A progressive architecture with knowledge review network for salient object detection
EP4002198A1 (en) Posture acquisition method and device, and key point coordinate positioning model training method and device
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
CN110458282A (zh) 一种融合多角度多模态的图像描述生成方法及***
CN110298345A (zh) 一种医学图像数据集的感兴趣区域自动标注方法
CN109087306A (zh) 动脉血管图像模型训练方法、分割方法、装置及电子设备
CN111986180B (zh) 基于多相关帧注意力机制的人脸伪造视频检测方法
CN107845129A (zh) 三维重构方法及装置、增强现实的方法及装置
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
CN104112131B (zh) 一种用于人脸检测的训练样本的生成方法及装置
Mamdouh et al. A New Model for Image Segmentation Based on Deep Learning.
Cirik et al. Following formulaic map instructions in a street simulation environment
CN117094895B (zh) 图像全景拼接方法及其***
CN109993701A (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
CN109829857A (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN106570928B (zh) 一种基于图像的重光照方法
Chen et al. Cosa: Concatenated sample pretrained vision-language foundation model
Liu et al. Video decolorization based on the CNN and LSTM neural network
Wu et al. Marker-removal networks to collect precise 3D hand data for RGB-based estimation and its application in piano
CN110147715A (zh) 一种视网膜OCT图像Bruch膜开角自动检测方法
CN106023079B (zh) 联合局部与全局特性的两阶段人脸画像生成方法
Liu et al. Fabric defect detection using fully convolutional network with attention mechanism
CN103473562A (zh) 特定人体动作的自动训练和识别***
Yang et al. Shapeediter: a stylegan encoder for face swapping
Wang et al. Personalized Hand Modeling from Multiple Postures with Multi‐View Color Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191001