CN111145209B - 一种医学图像分割方法、装置、设备及存储介质 - Google Patents

一种医学图像分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111145209B
CN111145209B CN201911367572.2A CN201911367572A CN111145209B CN 111145209 B CN111145209 B CN 111145209B CN 201911367572 A CN201911367572 A CN 201911367572A CN 111145209 B CN111145209 B CN 111145209B
Authority
CN
China
Prior art keywords
image
segmentation
cell nucleus
tissue
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911367572.2A
Other languages
English (en)
Other versions
CN111145209A (zh
Inventor
康清波
张荣国
李新阳
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN201911367572.2A priority Critical patent/CN111145209B/zh
Publication of CN111145209A publication Critical patent/CN111145209A/zh
Application granted granted Critical
Publication of CN111145209B publication Critical patent/CN111145209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种医学图像分割方法、装置、设备及存储介质。该方法包括：获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像；将组织图像和初步分割图像输入至已训练完成的细胞核分割模型中，根据细胞核分割模型的输出结果得到细胞核的目标分割图像。本发明实施例的技术方案，通过将传统图像分割算法和深度学习算法相结合，在可充分发挥深度学习算法的良好分割性能的基础上，可大大缓解深度学习算法对人工标注的完善数据的需求，这使得在只有少量的人工标注的完善数据的情况下，依然能够达到较好的分割性能，达到了以较低的人工成本和时间成本从医学图像中精准分割出细胞核图像的效果。

Description

一种医学图像分割方法、装置、设备及存储介质
技术领域
本发明实施例涉及医学图像处理技术领域，尤其涉及一种医学图像分割方法、装置、设备及存储介质。
背景技术
组织病理图像作为病理学的重要组成部分，是医护人员诊断和预后多种疾病的重要参考因素。在组织病理图像分析中，细胞核的不同形态是很多疾病是否出现的一个重要依据，因此，如何从组织病理图像中精准提取出细胞核的分割图像，这是计算机辅助诊断和医学图像自动分析的重要课题。
医学图像分割是将医学图像分割成若干具有相似性质的区域的过程，是一种逐像素的分类任务。针对医学图像分割中的细胞核分割任务，现有技术主要包括传统图像分割算法和深度学习算法。但是，传统图像分割算法具有分割精度较低、容易造成过分割和欠分割、对不同组织的病理图像的泛化能力较差的缺点；而深度学习算法需要大量的人工标注的完善数据进行模型训练，尤其是针对细胞核分割任务，其需要像素级别的精细标注，这使得获取人工标注的完善数据的人工成本和时间成本较高。
发明内容
本发明实施例提供了一种医学图像分割方法、装置、设备及存储介质，以实现从组织图像中分割出细胞核图像的效果。
第一方面，本发明实施例提供了一种医学图像分割方法，可以包括：
获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像；
将组织图像和初步分割图像输入至已训练完成的细胞核分割模型中，根据细胞核分割模型的输出结果得到细胞核的目标分割图像。
可选的，基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像，可以包括：
从组织图像中提取出细胞核的标记点图像；
基于标记点的分水岭算法，根据标记点图像从组织图像中提取出细胞核的初步分割图像。
可选的，从组织图像中提取出细胞核的标记点图像，可以包括：
获取组织图像的二值图像；
根据二值图像得到细胞核的前景图像和背景图像；
对前景图像进行连通域计算，并对前景图像和背景图像进行减法计算，以得到细胞核的标记点图像。
可选的，将组织图像和初步分割图像输入至已训练完成的细胞核分割模型中，可以包括：
将组织图像和初步分割图像进行拼接，得到拼接图像；
将拼接图像输入至已训练完成的细胞核分割模型中，其中，细胞核分割模型包括语义分割网络模型。
可选的，上述医学图像分割方法，还可以包括：
获取样本对象的样本组织图像，并基于预设图像分割算法从样本组织图像中提取出样本细胞核的样本初步分割图像；
将样本组织图像、样本初步分割图像和样本细胞核的人工标注掩膜图像作为一组训练样本，基于多组训练样本对原始卷积神经网络模型进行训练，得到细胞核分割模型。
可选的，预设图像分割算法可以包括基于阈值的图像分割算法、基于边缘的图像分割算法、基于区域的图像分割算法和基于活动轮廓模型的图像分割算法中的至少一个。
可选的，组织图像可以包括已染色的组织切片图像。
第二方面，本发明实施例还提供了一种医学图像分割装置，该装置可包括：
初步分割图像提取模块，用于获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像；
目标分割图像得到模块，用于将组织图像和初步分割图像输入至已训练完成的细胞核分割模型中，根据细胞核分割模型的输出结果得到细胞核的目标分割图像。
第三方面，本发明实施例还提供了一种设备，该设备可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的医学图像分割方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的医学图像分割方法。
本发明实施例的技术方案，通过获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像，这初步分割图像可作为一种先验知识，与组织图像一起输入至已训练完成的细胞核分割模型中，由此，可根据细胞核分割模型的输出结果得到细胞核的目标分割图像。上述技术方案，通过将传统图像分割算法和深度学习算法相结合，在可充分发挥深度学习算法的良好分割性能的基础上，可大大缓解深度学习算法对人工标注的完善数据的需求，这使得在只有少量的人工标注的完善数据的情况下，依然能够达到较好的分割性能，且可以提高单纯的深度学习算法的分割性能，达到了以较低的人工成本和时间成本从医学图像中精准分割出细胞核图像的效果。
附图说明
图1是本发明实施例一中的一种医学图像分割方法的流程图；
图2是本发明实施例一中的一种医学图像分割方法的总体结构的示意图；
图3a是本发明实施例一中的一种医学图像分割方法中基于标记点的分水岭算法的流程图；
图3b是本发明实施例一中的一种医学图像分割方法中距离变换的示意图；
图3c是本发明实施例一中的一种医学图像分割方法中U-Net模型的示意图；
图4是本发明实施例二中的一种医学图像分割装置的结构框图；
图5是本发明实施例三中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：正如上文所述，虽然传统图像分割算法和深度学习算法均具有一定的局限性，但它们亦有各自的优点：传统图像分割算法，如基于阈值的图像分割算法、基于边缘的图像分割算法、基于区域的图像分割算法、基于活动轮廓模型的图像分割算法等等，具有可解释性强、易于实施且无需人工标注的完善数据的优点；相应的，深度学习算法尤其是可用于图像分割的监督学习算法，如全卷积神经网络(Fully Convolutional Network，FCN)、端到端的全卷积神经网络(U-Net)、金字塔场景解析网络(PSPNet)等等，具有分割精度高且性能优良的优点。由此，传统图像分割算法和深度学习算法相辅相成，若将二者组合起来，可以较低的人工成本和时间成本实现医学图像的精准分割的效果。
实施例一
图1是本发明实施例一中提供的一种医学图像分割方法的流程图。本实施例可适用于从组织图像中分割出细胞核图像的情况，尤其适用于将传统图像分割算法和深度学习算法相结合以从组织图像中分割出细胞核图像的情况。该方法可以由本发明实施例提供的医学图像分割装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种设备上。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像。
其中，获取受检对象的组织图像，可选的，针对医学图像分割中的细胞核分割任务，组织图像可以包括已染色的组织切片图像，尤其是已染色的组织病理切片图像。在此基础上，可基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像，这预设图像分割算法可以是基于阈值的图像分割算法、基于边缘的图像分割算法、基于区域的图像分割算法、基于活动轮廓模型的图像分割算法等等，这初步分割图像可以是组织图像中细胞核的掩模图像。
需要说明的是，一方面，通常而言，细胞是生物体的基本结构和功能单位，细胞经过分化可形成多种形态、结构和功能不同的细胞群，且可将形态相似、结构和功能相同的细胞群称为组织，几种不同的组织按照一定的次序联合起来即可形成具有一定功能的器官。
另一方面，正如上文所述，深度学习算法需要大量的人工标注的完善数据进行模型训练，当人工标注的完善数据的数据量较为有限时，深度学习算法的学习效果较为一般。此时，虽然预设图像分割算法在细胞核图像的分割精度方面和对不同类型的组织图像的泛化能力方面有待提高，但其分割结果可以认为是一种先验知识，可将其作为深度学习算法的输入数据，也就是说，深度学习算法可在细胞核的初步分割图像上再次进行学习，其可使得深度学习算法在人工标注的完善数据的数据量较为有限的情况下，依然可以获得比较良好的细胞核图像的分割性能，也可以提高单纯的深度学习算法的分割性能。
由上可知，在人工标注的完善数据的数据量相同的情况下，与预设图像分割算法相结合的深度学习算法的学习精度更好；或是说，若想达到相同的分割精度，相较于单纯的深度学习算法，与预设图像分割算法相结合的深度学习算法在训练时所需要的人工标注的完善数据的数据量更少。
S120、将组织图像和初步分割图像输入至已训练完成的细胞核分割模型中，根据细胞核分割模型的输出结果得到细胞核的目标分割图像。
其中，初步分割图像可以作为一种先验知识，与组织图像一起输入至已训练完成的细胞核分割模型中，由此，可根据细胞核分割模型的输出结果得到细胞核的目标分割图像，这目标分割图像是从组织图像中提取出的分割精度较高的细胞核图像。上述细胞核分割模型可以包括语义分割网络模型，这语义分割网络模型可以是FCN、U-Net、PSPNet、Mask-RCNN、SegNet等等。
在此基础上，可选的，将组织图像和初步分割图像输入至已训练完成的细胞核分割模型中，具体可以包括：将组织图像和初步分割图像进行拼接，也就是说，可将初步分割图像作为组织图像的一个通道，由此得到拼接图像；然后，可将拼接图像直接输入至已训练完成的细胞核分割模型中。
另外，可选的，细胞核分割模型可通过如下步骤预先训练得到：示例性的，如图2所示，获取样本对象的样本组织图像，并基于预设图像分割算法从样本组织图像中提取出样本细胞核的样本初步分割图像；将样本组织图像、样本初步分割图像和样本细胞核的人工标注掩膜图像作为一组训练样本，基于多组训练样本对原始卷积神经网络模型进行训练，得到细胞核分割模型。此时，也可将样本组织图像和样本初步分割图像进行拼接，得到样本拼接图像；然后，将样本拼接图像输入至原始卷积神经网络模型，将原始卷积神将网络模型输出的预测分割图像以及人工标注掩膜图像进行对比，并根据对比结果调节原始卷积神将网络模型，由此生成已训练完成的细胞核分割模型。
本发明实施例的技术方案，通过获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像，这初步分割图像可作为一种先验知识，与组织图像一起输入至已训练完成的细胞核分割模型中，由此，可根据细胞核分割模型的输出结果得到细胞核的目标分割图像。上述技术方案，通过将传统图像分割算法和深度学习算法相结合，在可充分发挥深度学习算法的良好分割性能的基础上，可大大缓解深度学习算法对人工标注的完善数据的需求，这使得在只有少量的人工标注的完善数据的情况下，依然能够达到较好的分割性能，且可以提高单纯的深度学习算法的分割性能，达到了以较低的人工成本和时间成本从医学图像中精准分割出细胞核图像的效果。
一种可选的技术方案，当预设图像分割算法是基于标记点的分水岭算法时，基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像，具体可以包括：从组织图像中提取出细胞核的标记点图像；基于标记点的分水岭算法，根据标记点图像从组织图像中提取出细胞核的初步分割图像。
其中，分水岭算法是一种经典的图像分割算法，其是以相邻像素间的相似性为分割标准来对图像进行分割，从而使得在空间位置上相近且其灰度值近似的多个像素点共同组成一个封闭轮廓，这一特性特别适合分割类似细胞核等具有封闭轮廓的对象。本发明实施例可采用一种基于标记点的分水岭算法，具体而言，标记点标记了医学图像中各像素点分属于不同对象区域的轮廓，每个轮廓可有自己唯一的标记点，这些标记点可作为初始种子点。针对医学图像中非标记点的像素点，可根据分水岭算法判断它们分别属于哪个对象区域，以便从医学图像中分割出细胞核图像。
在此基础上，可选的，从组织图像中提取出细胞核的标记点图像，具体可以包括：获取组织图像的二值图像，并根据二值图像得到细胞核的前景图像和背景图像；对前景图像进行连通域计算，并对前景图像和背景图像进行减法计算，以得到细胞核的标记点图像。其中，若组织图像是已染色的组织图像，则可对组织图像进行灰度化、二值化、去除噪声等处理操作，得到组织图像的二值图像；然后，可根据二值图像得到前景图像和背景图像，其中，前景图像中的像素点是属于细胞核的像素点，背景图像中的像素点是不属于细胞核的像素点；这样一来，对前景图像进行连通域计算可得到细胞核的标记点，这标记点可描述出前景图像中哪些像素点可以作为标记点，而且，可对前景图像和背景图像进行减法计算可得到未知区域图像，这未知区域图像中的像素点可能是属于细胞核的像素点也可能是不属于细胞核的像素点；最后，根据标记点和未知区域图像可得到细胞核的标记点图像。
为了更好地理解上述步骤的具体实现过程，下面结合图3a-图3c所示的具体示例，对本实施例的医学图像分割方法进行示例性的说明。示例性的，预设图像分割算法可以是基于标记点的分水岭算法，其计算原理尤其适用于分割类似细胞核等具有封闭轮廓的对象；相应的，细胞核分割模型是U-Net模型，其是典型的端到端的全卷积神经网络，广泛应用于医学图像分割领域。
具体的，如图3a所示，对已染色的组织图像(即，图3a中的RGB图像)进行灰度化，得到灰度图像；对灰度图像进行高斯滤波去噪，得到滤波后图像；对滤波后图像进行二值化，得到二值图像；对二值图像进行形态学开运算，去除二值图像中的孤立点、毛刺和小桥等噪声，得到开运算后图像；然后，可基于距离变换算法和形态学膨胀分别得到开运算后图像的前景图像和背景图像，其中，这距离变换算法可用来计算一幅二值图像中每个目标像素点(即，非零值像素点)与最近的背景像素点(即，零值像素点)间的距离，这距离可以是欧氏距离或者非欧氏距离，且由此得到的前景图像是灰度距离图像，示例性的，如图3b所示的距离变换前后的图像；将前景图像与背景图像相减，可得到未知区域图像，且在前景图像上执行连通域计算可得到标记点，其中，连通域是一个具有相同像素值的各相邻像素点组成的集合，而连通域计算就是将一幅二值图像中不同的前景连通域找出来并给予唯一标记的过程；将未知区域图像与标记点相结合可得到标记点图像；最后，可将组织图像与标记点图像利用基于标记点的分水岭算法得到细胞核的初步分割图像(即，图3a中的分割掩模图像)，该初步分割图像可以是一个掩膜图像。在得到细胞核的初步分割图像后，可对初步分割图像和组织图像进行拼接，得到拼接图像；然后，将拼接图像输入至已训练完成的U-Net模型中，由此，可根据U-Net模型的输出结果得到细胞核的目标分割图像。
以图3c为例，U-Net模型是对称的U型架构，其由左边的编码器与右边的解码器组成。具体的，在编码器中，可使用堆叠的3*3卷积层(Conv 3x3)以及下采样操作来提取不同层次的图像特征；在解码器中，可使用堆叠的3*3卷积层以及上采样操作来恢复图像的原始尺寸；与此同时，U-Net模型还引入了跳跃连接(skip connection，即图3c中Copy andConcat)来将编码器与解码器中对应尺度的图像特征进行特征融合。
在此基础上，可选的，U-Net模型的训练过程如图3c所示，其可经过sigmoid函数输出预测分割图像，其中，Sigmoid函数的定义是
Figure BDA0002338841160000101
而且，模型训练过程中的损失函数可采用交叉熵或者Dice系数，交叉熵的定义是/>
Figure BDA0002338841160000102
其中n为训练样本的总数量，y为人工标注掩模图像中人工标注的真实值，/>
Figure BDA0002338841160000103
为正在训练的U-Net模型输出的预测值；Dice系数定义是/>
Figure BDA0002338841160000104
其中|E∩Y|表示U-Net模型输出的预测分割图像E和人工标注掩模图像Y间的交集，|E|和|E|分别表示E和Y的元素个数。可基于反向传播(BP)的优化算法或者其变种进行模型参数的更新。
实施例二
图4为本发明实施例二提供的医学图像分割装置的结构框图，该装置用于执行上述任意实施例所提供的医学图像分割方法。该装置与上述各实施例的医学图像分割方法属于同一个发明构思，在医学图像分割装置的实施例中未详尽描述的细节内容，可以参考上述医学图像分割方法的实施例。参见图4，该装置具体可包括：初步分割图像提取模块210和目标分割图像得到模块220。
其中，初步分割图像提取模块210，用于获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像；
目标分割图像得到模块220，用于将组织图像和初步分割图像输入至已训练完成的细胞核分割模型中，根据细胞核分割模型的输出结果得到细胞核的目标分割图像。
可选的，初步分割图像提取模块210，具体可以包括：
提取单元，用于从组织图像中提取出细胞核的标记点图像；
分割单元，用于基于标记点的分水岭算法，根据标记点图像从组织图像中提取出细胞核的初步分割图像。
可选的，提取单元，具体可以用于：
获取组织图像的二值图像；
根据二值图像得到细胞核的前景图像和背景图像；
对前景图像进行连通域计算，并对前景图像和背景图像进行减法计算，以得到细胞核的标记点图像。
可选的，目标分割图像得到模块220，具体可以包括：
得到单元，用于将组织图像和初步分割图像进行拼接，得到拼接图像；
输入单元，用于将拼接图像输入至已训练完成的细胞核分割模型中，其中，细胞核分割模型包括语义分割网络模型。
可选的，在上述装置的基础上，该装置还可包括：
获取模块，用于获取样本对象的样本组织图像，并基于预设图像分割算法从样本组织图像中提取出样本细胞核的样本初步分割图像；
训练模块，用于将样本组织图像、样本初步分割图像和样本细胞核的人工标注掩膜图像作为一组训练样本，基于多组训练样本对原始卷积神经网络模型进行训练，得到细胞核分割模型。
可选的，预设图像分割算法可以包括基于阈值的图像分割算法、基于边缘的图像分割算法、基于区域的图像分割算法和基于活动轮廓模型的图像分割算法中的至少一个。
可选的，组织图像可以包括已染色的组织切片图像。
本发明实施例二提供的医学图像分割装置，通过初步分割图像提取模块和目标分割图像得到模块相互配合，可获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像，这初步分割图像可作为一种先验知识，与组织图像一起输入至已训练完成的细胞核分割模型中，由此，可根据细胞核分割模型的输出结果得到细胞核的目标分割图像。上述装置，通过将传统图像分割算法和深度学习算法相结合，在可充分发挥深度学习算法的良好分割性能的基础上，可大大缓解深度学习算法对人工标注的完善数据的需求，这使得在只有少量的人工标注的完善数据的情况下，依然能够达到较好的分割性能，且可以提高单纯的深度学习算法的分割性能，达到了以较低的人工成本和时间成本从医学图像中精准分割出细胞核图像的效果。
本发明实施例所提供的医学图像分割装置可执行本发明任意实施例所提供的医学图像分割方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述医学图像分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图5为本发明实施例三提供的一种设备的结构示意图，如图5所示，该设备包括存储器310、处理器320、输入装置330和输出装置340。设备中的处理器320的数量可以是一个或多个，图5中以一个处理器320为例；设备中的存储器310、处理器320、输入装置330和输出装置340可以通过总线或其它方式连接，图5中以通过总线350连接为例。
存储器310作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的医学图像分割方法对应的程序指令/模块(例如，医学图像分割装置中的初步分割图像提取模块210和目标分割图像得到模块220)。处理器320通过运行存储在存储器310中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的医学图像分割方法。
存储器310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器310可进一步包括相对于处理器320远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
实施例四
本发明实施例四提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种医学图像分割方法，该方法包括：
获取受检对象的组织图像，并基于预设图像分割算法从组织图像中提取出细胞核的初步分割图像；
将组织图像和初步分割图像输入至已训练完成的细胞核分割模型中，根据细胞核分割模型的输出结果得到细胞核的目标分割图像。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的医学图像分割方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种医学图像分割方法，其特征在于，包括：
获取受检对象的组织图像，并基于预设图像分割算法从所述组织图像中提取出细胞核的初步分割图像；
将所述组织图像和所述初步分割图像输入至已训练完成的细胞核分割模型中，根据细胞核分割模型的输出结果得到所述细胞核的目标分割图像；
获取样本对象的样本组织图像，并基于所述预设图像分割算法从所述样本组织图像中提取出样本细胞核的样本初步分割图像；
将所述样本组织图像、所述样本初步分割图像和所述样本细胞核的人工标注掩膜图像作为一组训练样本，基于多组所述训练样本对原始卷积神经网络模型进行训练，得到所述细胞核分割模型。
2.根据权利要求1所述的方法，其特征在于，所述基于预设图像分割算法从所述组织图像中提取出细胞核的初步分割图像，包括：
从所述组织图像中提取出细胞核的标记点图像；
基于标记点的分水岭算法，根据所述标记点图像从所述组织图像中提取出所述细胞核的初步分割图像。
3.根据权利要求2所述的方法，其特征在于，所述从所述组织图像中提取出细胞核的标记点图像，包括：
获取所述组织图像的二值图像，并根据所述二值图像得到细胞核的前景图像和背景图像；
对所述前景图像进行连通域计算，并对所述前景图像和所述背景图像进行减法计算，以得到所述细胞核的标记点图像。
4.根据权利要求1所述的方法，其特征在于，所述将所述组织图像和所述初步分割图像输入至已训练完成的细胞核分割模型中，包括：
将所述组织图像和所述初步分割图像进行拼接，得到拼接图像；
将所述拼接图像输入至已训练完成的细胞核分割模型中，其中，所述细胞核分割模型包括语义分割网络模型。
5.根据权利要求1所述的方法，其特征在于，所述预设图像分割算法包括基于阈值的图像分割算法、基于边缘的图像分割算法、基于区域的图像分割算法和基于活动轮廓模型的图像分割算法中的至少一个。
6.根据权利要求1所述的方法，其特征在于，所述组织图像包括已染色的组织切片图像。
7.一种医学图像分割装置，其特征在于，包括：
初步分割图像提取模块，用于获取受检对象的组织图像，并基于预设图像分割算法从所述组织图像中提取出细胞核的初步分割图像；
目标分割图像得到模块，用于将所述组织图像和所述初步分割图像输入至已训练完成的细胞核分割模型中，根据细胞核分割模型的输出结果得到所述细胞核的目标分割图像；
获取模块，用于获取样本对象的样本组织图像，并基于预设图像分割算法从样本组织图像中提取出样本细胞核的样本初步分割图像；
训练模块，用于将样本组织图像、样本初步分割图像和样本细胞核的人工标注掩膜图像作为一组训练样本，基于多组训练样本对原始卷积神经网络模型进行训练，得到细胞核分割模型。
8.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的医学图像分割方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的医学图像分割方法。
CN201911367572.2A 2019-12-26 2019-12-26 一种医学图像分割方法、装置、设备及存储介质 Active CN111145209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911367572.2A CN111145209B (zh) 2019-12-26 2019-12-26 一种医学图像分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911367572.2A CN111145209B (zh) 2019-12-26 2019-12-26 一种医学图像分割方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111145209A CN111145209A (zh) 2020-05-12
CN111145209B true CN111145209B (zh) 2023-06-02

Family

ID=70520678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911367572.2A Active CN111145209B (zh) 2019-12-26 2019-12-26 一种医学图像分割方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111145209B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112021019996A2 (pt) 2019-04-11 2021-12-07 Agilent Technologies Inc Treinamento de segmentação de instância baseado em aprendizagem profunda por meio de camadas de regressão
CN111583282B (zh) * 2020-05-18 2024-04-23 联想(北京)有限公司 图像分割方法、装置、设备及存储介质
CN111696084B (zh) * 2020-05-20 2024-05-31 平安科技（深圳）有限公司 细胞图像分割方法、装置、电子设备及可读存储介质
CN112070722A (zh) * 2020-08-14 2020-12-11 厦门骁科码生物科技有限公司 一种荧光原位杂交细胞核分割方法及***
CN112183556B (zh) * 2020-09-27 2022-08-30 长光卫星技术股份有限公司 一种基于空间聚类与分水岭变换的港口矿堆轮廓提取方法
CN112200815B (zh) * 2020-10-12 2023-06-27 徐州医科大学附属医院 基于语义分割网络PSPNet的甲状腺结节超声图像的分割方法
CN113222944B (zh) * 2021-05-18 2022-10-14 湖南医药学院 细胞核分割方法及基于病理图像的癌症辅助分析***、装置
CN113177957B (zh) * 2021-05-24 2024-03-08 西交利物浦大学 一种细胞图像的分割方法、装置、电子设备及存储介质
CN113837168A (zh) * 2021-09-22 2021-12-24 易联众智鼎(厦门)科技有限公司 一种图像文本检测与ocr识别方法、装置及存储介质
CN113989294B (zh) * 2021-12-29 2022-07-05 北京航空航天大学 基于机器学习的细胞分割和分型方法、装置、设备及介质
CN114862877B (zh) * 2022-05-27 2024-03-22 四川大学华西医院 基于置信度评分的细胞粘连分割方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364288A (zh) * 2018-03-01 2018-08-03 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345748B (zh) * 2013-06-26 2016-08-10 福建师范大学 一种人体组织细胞双光子显微图像的定位分割方法
CN103679184A (zh) * 2013-12-06 2014-03-26 河海大学 一种基于相关向量机的白细胞自动识别方法
CN107256558B (zh) * 2017-05-18 2019-12-17 深思考人工智能机器人科技（北京）有限公司 一种无监督式的宫颈细胞图像自动分割方法及***
US10789451B2 (en) * 2017-11-16 2020-09-29 Global Life Sciences Solutions Usa Llc System and method for single channel whole cell segmentation
WO2019108888A1 (en) * 2017-11-30 2019-06-06 The Research Foundation For The State University Of New York SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS
JP7250793B2 (ja) * 2017-12-07 2023-04-03 ベンタナ メディカル システムズ， インコーポレイテッド 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
EP3776337A1 (en) * 2018-04-13 2021-02-17 Ventana Medical Systems, Inc. Systems for cell shape estimation
CN109389557B (zh) * 2018-10-20 2023-01-06 南京大学 一种基于图像先验的细胞图像超分辨方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364288A (zh) * 2018-03-01 2018-08-03 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多维PCNN的彩色枸杞细胞显微图像的边缘检测;李志强;程飞燕;安黎哲;马义德;高清祥;;兰州大学学报(自然科学版)(第05期);全文 *

Also Published As

Publication number Publication date
CN111145209A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN109154978B (zh) 用于检测植物疾病的***和方法
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
CN109389129B (zh) 一种图像处理方法、电子设备及存储介质
US20210118144A1 (en) Image processing method, electronic device, and storage medium
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN110705583A (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN109460735B (zh) 基于图半监督学习的文档二值化处理方法、***、装置
CN111402267B (zh) ***癌病理图像中上皮细胞核的分割方法、装置和终端
Jiang et al. A novel white blood cell segmentation scheme based on feature space clustering
Seyedhosseini et al. Detection of neuron membranes in electron microscopy images using multi-scale context and radon-like features
CN110110667B (zh) 一种硅藻图像的处理方法、***及相关组件
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
Tareef et al. Automated three-stage nucleus and cytoplasm segmentation of overlapping cells
EP3895122A1 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
Lv et al. Nuclei R-CNN: improve mask R-CNN for nuclei segmentation
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN110490159B (zh) 识别显微图像中的细胞的方法、装置、设备及存储介质
Kausar et al. Multi-scale deep neural network for mitosis detection in histological images
CN115439456A (zh) 一种病理图像中对象检测识别方法及装置
CN115482221A (zh) 一种病理图像的端到端弱监督语义分割标注方法
CN113724235B (zh) 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数***及方法
Lal et al. A robust method for nuclei segmentation of H&E stained histopathology images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co.,Ltd.

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant before: INFERVISION

GR01 Patent grant
GR01 Patent grant