CN113781457A - 基于病理图像的细胞探测方法、装置、设备及存储介质 - Google Patents

基于病理图像的细胞探测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113781457A
CN113781457A CN202111085582.4A CN202111085582A CN113781457A CN 113781457 A CN113781457 A CN 113781457A CN 202111085582 A CN202111085582 A CN 202111085582A CN 113781457 A CN113781457 A CN 113781457A
Authority
CN
China
Prior art keywords
image
pathological
central point
sub
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111085582.4A
Other languages
English (en)
Inventor
高楠楠
王�华
刘昌灵
张亚军
凌少平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genowis Beijing Gene Technology Co ltd
Original Assignee
Genowis Beijing Gene Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genowis Beijing Gene Technology Co ltd filed Critical Genowis Beijing Gene Technology Co ltd
Priority to CN202111085582.4A priority Critical patent/CN113781457A/zh
Publication of CN113781457A publication Critical patent/CN113781457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请提供了一种基于病理图像的细胞探测方法、装置、设备及存储介质,其中,该方法包括:获取若干已添加标注的病理图像;使用各病理图像对预先构建的细胞探测模型进行训练并评估,得到合格的细胞探测模型;使用合格的细胞探测模型获取待处理病理图像的中心点膨胀图像;对中心点膨胀图像进行斑点检测处理,得到中心点膨胀图像中各中心点膨胀区域的中心点像素位置;对各中心点膨胀区域组内中心点像素位置的数量进行统计,得到待处理病理图像中各细胞类别下细胞的数量;通过上述方法,有利于在降低人力负担的同时提高不同类别细胞的定位效率和计数效率。

Description

基于病理图像的细胞探测方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种基于病理图像的细胞探测方法、装置、设备及存储介质。
背景技术
免疫组化(Immunohistochemistry,IHC)是一种广泛用于病理诊断及指导肿瘤治疗的方法,其通过抗原抗体酶标显色的化学反应方法,对组织细胞中特定的抗原进行染色,染色后的组织切片经过数字扫描得到病理图像,该病理图像反映组织中的细胞形态及特定的蛋白分子标记物的表达情况,为医生在临床诊断中提供重要信息,指导临床肿瘤的靶向与免疫治疗制定治疗策略与方案;而且为了方便医生精准且快速的理解病理图像,需要先识别出该病理图像中的不同类别的细胞以及各类别细胞的数量。
现有方式中,为获取病理图像中不同类别的细胞的数量,需要基于人工肉眼分辨的识别方式对病理图像中的每个细胞精准定位并区分细胞类别,该方式不仅需要识别者是拥有丰富相关经验的专业人士,整个识别过程还会占用识别者大量的时间。
发明内容
有鉴于此,本申请实施例提供了一种基于病理图像的细胞探测方法、装置、设备及存储介质,有利于在降低人力负担的同时提高不同类别细胞的定位效率和计数效率。
主要包括以下几个方面:
第一方面,本申请实施例提供了一种基于病理图像的细胞探测方法,该方法包括以下步骤:
步骤S1:获取若干已添加标注的病理图像,其中,所述标注包括对所述病理图像中至少一个细胞的细胞中心位置的标注和细胞类别的标注;
步骤S2:使用各所述病理图像对预先构建的细胞探测模型进行训练并评估,得到合格的细胞探测模型,其中,所述预先构建的细胞探测模型为语义分割模型;
步骤S3:使用所述合格的细胞探测模型获取待处理病理图像的中心点膨胀图像,其中,所述中心点膨胀图像包括至少一个中心点膨胀区域组,不同的中心点膨胀区域组用于表示不同的细胞类型,针对每一个所述中心点膨胀区域组,该中心点膨胀区域组包括至少一个中心点膨胀区域,所述中心点膨胀区域用于表示所述待处理病理图像中细胞的所在位置;
步骤S4:对所述中心点膨胀图像进行斑点检测处理,得到所述中心点膨胀图像中各中心点膨胀区域的中心点像素位置,其中,所述中心点像素位置用于表示所述待处理病理图像中细胞的细胞中心位置;
步骤S5:对各所述中心点膨胀区域组内中心点像素位置的数量进行统计,得到所述待处理病理图像中各细胞类别下细胞的数量。
可选的,所述步骤S1中的病理图像包括第一全片病理图像或者第一全片病理图像中的第一指定区域;所述步骤S3中的待处理病理图像包括第二全片病理图像或者第二全片病理图像中的第二指定区域。
可选的,在所述步骤S2中对预先构建的细胞探测模型进行训练之前,所述方法还包括:
针对每一个所述病理图像,获取该病理图像对应的标签图像,其中,所述标签图像包括至少一个目标像素点集,不同的目标像素点集用于表示不同的细胞类别,不同目标像素点集中的目标像素点在所述标签图像上的像素值不同,所述目标像素点用于表示该病理图像中细胞的细胞中心位置,在所述标签图像中:除各所述目标像素点之外的其他像素点的像素值与各所述目标像素点的像素值不同;
将所述标签图像中的每一个目标像素点膨胀为第一预设大小的目标区域,得到目标标签图像。
可选的,所述步骤S2具体包括以下步骤:
步骤S201:将各所述病理图像划分为训练集和测试集;
步骤S202:对所述训练集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第一病理子图像和各第一病理子图像对应的第二预设大小的第一目标标签子图像;以及对所述测试集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第二病理子图像和各第二病理子图像对应的第二预设大小的第二目标标签子图像;
步骤S203:使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练;
步骤S204:使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度;
步骤S205:判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行所述步骤S203、所述步骤S204和所述步骤S205,直至得到所述合格的细胞探测模型。
可选的,所述步骤S3具体包括以下步骤:
步骤S301:对所述待处理病理图像进行分割,得到至少一个第二预设大小的待处理病理子图像;
步骤S302:针对每一个所述待处理病理子图像,将该待处理病理子图像输入到所述合格的细胞探测模型中,得到该待处理病理子图像对应的中心点膨胀子图像,其中,所述中心点膨胀子图像包括至少一个用于表示细胞类别的中心点膨胀区域组,不同中心点膨胀区域组包括的中心点膨胀区域在所述中心点膨胀子图像中的像素值不同,所述中心点膨胀区域用于表示所述待处理病理子图像中细胞的所在位置;
步骤S303:根据各所述待处理病理子图像在所述待处理病理图像中的位置信息,对各所述待处理病理子图像对应的中心点膨胀子图像进行拼接,得到所述中心点膨胀图像。
第二方面,本申请实施例提供了一种基于病理图像的细胞探测装置,该装置包括:
获取模块,用于获取若干已添加标注的病理图像,其中,所述标注包括对所述病理图像中至少一个细胞的细胞中心位置的标注和细胞类别的标注;
执行模块,用于使用各所述病理图像对预先构建的细胞探测模型进行训练并评估,得到合格的细胞探测模型,其中,所述预先构建的细胞探测模型为语义分割模型;
探测模块,用于使用所述合格的细胞探测模型获取待处理病理图像的中心点膨胀图像,其中,所述中心点膨胀图像包括至少一个中心点膨胀区域组,不同的中心点膨胀区域组用于表示不同的细胞类型,针对每一个所述中心点膨胀区域组,该中心点膨胀区域组包括至少一个中心点膨胀区域,所述中心点膨胀区域用于表示所述待处理病理图像中细胞的所在位置;
处理模块,用于对所述中心点膨胀图像进行斑点检测处理,得到所述中心点膨胀图像中各中心点膨胀区域的中心点像素位置,其中,所述中心点像素位置用于表示所述待处理病理图像中细胞的细胞中心位置;
统计模块,用于对各所述中心点膨胀区域组内中心点像素位置的数量进行统计,得到所述待处理病理图像中各细胞类别下细胞的数量。
可选的,所述病理图像包括第一全片病理图像或者第一全片病理图像中的第一指定区域;所述待处理病理图像包括第二全片病理图像或者第二全片病理图像中的第二指定区域。
可选的,所述执行模块在用于对预先构建的细胞探测模型进行训练之前,还用于:
针对每一个所述病理图像,获取该病理图像对应的标签图像,其中,所述标签图像包括至少一个目标像素点集,不同的目标像素点集用于表示不同的细胞类别,不同目标像素点集中的目标像素点在所述标签图像上的像素值不同,所述目标像素点用于表示该病理图像中细胞的细胞中心位置,在所述标签图像中:除各所述目标像素点之外的其他像素点的像素值与各所述目标像素点的像素值不同;
将所述标签图像中的每一个目标像素点膨胀为第一预设大小的目标区域,得到目标标签图像。
可选的,所述执行模块具体包括:
划分单元,用于将各所述病理图像划分为训练集和测试集;
第一分割单元,用于对所述训练集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第一病理子图像和各第一病理子图像对应的第二预设大小的第一目标标签子图像;以及对所述测试集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第二病理子图像和各第二病理子图像对应的第二预设大小的第二目标标签子图像;
训练单元,用于使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练;
评估单元,用于使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度;
判断单元,用于判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行步骤S203、步骤S204和步骤S205,直至得到所述合格的细胞探测模型,其中,所述步骤S203为:使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练;所述步骤S204为:使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度;所述步骤S205为:判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行所述步骤S203、所述步骤S204和所述步骤S205,直至得到所述合格的细胞探测模型。
可选的,所述探测模块具体包括:
第二分割单元,用于对所述待处理病理图像进行分割,得到至少一个第二预设大小的待处理病理子图像;
探测单元,用于针对每一个所述待处理病理子图像,将该待处理病理子图像输入到所述合格的细胞探测模型中,得到该待处理病理子图像对应的中心点膨胀子图像,其中,所述中心点膨胀子图像包括至少一个用于表示细胞类别的中心点膨胀区域组,不同中心点膨胀区域组包括的中心点膨胀区域在所述中心点膨胀子图像中的像素值不同,所述中心点膨胀区域用于表示所述待处理病理子图像中细胞的所在位置;
拼接单元,用于根据各所述待处理病理子图像在所述待处理病理图像中的位置信息,对各所述待处理病理子图像对应的中心点膨胀子图像进行拼接,得到所述中心点膨胀图像。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一所述的基于病理图像的细胞探测方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面中任一所述的基于病理图像的细胞探测方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请实施例提供的基于病理图像的细胞探测方法,先使用获取到的若干携带标注的病理图像对预设的细胞探测模型进行训练并评估,得到合格的细胞探测模型,由于上述标注包括对病理图像中细胞的细胞类别的标注和细胞中心位置的标注,所以在得到合格的细胞探测模型后,就可以使用该合格的细胞探测模型对待处理病理图像中的不同类别的细胞进行定位,得到待处理病理图像的中心点膨胀图像,在该中心点膨胀图像中;一个中心点膨胀区域代表一个细胞的所在位置,不同类型的细胞所对应的中心点膨胀区域位于不同的中心点膨胀区域组中;在得到中心点膨胀图像后,使用斑点检测方法对该中心点膨胀图像进行斑点检测处理,得到该中心点膨胀图像中各中心点膨胀区域的中心点像素位置;因为该中心点膨胀图像中不同的中心点膨胀区域组代表不同的细胞类型,所以为了确定各细胞类别下的细胞的数量,本申请通过统计检测出的各中心点膨胀区域组内的中心点像素位置的数量,确定各中心点膨胀区域组所代表的细胞类别下的细胞的数量,从而得到该待处理病理图像中各细胞类别下的细胞的数量,以辅助病理医生进行临床诊疗和科研工作;与现有技术中的人工肉眼分辨的识别方式相比,本申请全程通过服务器实现不同类别细胞的定位及计数,有利于在降低人力负担的同时提高不同类别细胞的定位效率和计数效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例一所提供的一种基于病理图像的细胞探测方法的流程图;
图2示出了本申请实施例一所提供的一种病理图像的示例图;
图3示出了本申请实施例一所提供的一种病理图像的标签图像的示例图;
图4示出了本申请实施例一所提供的一种病理图像的目标标签图像的示例图;
图5示出了本申请实施例一所提供的一种待处理病理图像的示例图;
图6示出了本申请实施例一所提供的一种待处理病理子图像的示例图;
图7示出了本申请实施例一所提供的一种待处理病理子图像的中心点膨胀子图像的示例图;
图8示出了本申请实施例一所提供的一种待处理病理图像的中心点膨胀图像的示例图;
图9示出了本申请实施例二所提供的一种基于病理图像的细胞探测装置的结构示意图;
图10示出了本申请实施例三所提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种基于病理图像的细胞探测方法、装置、设备及存储介质,下面通过实施例进行描述。
实施例一
图1示出了本申请实施例一所提供的一种基于病理图像的细胞探测方法的流程图,如图1所示,该方法包括以下步骤:
步骤S101:获取若干已添加标注的病理图像,其中,所述标注包括对所述病理图像中至少一个细胞的细胞中心位置的标注和细胞类别的标注。
具体的,每一个病理图像均包括至少一种细胞(即:存在至少一个细胞类别),为了训练并评估预先构建的细胞探测模型,需要获取若干已添加标注的病理图像(即:携带标注的病理图像),针对每一个病理图像,该病理图像上的标注包括对该病理图像中各细胞的细胞中心位置的标注和对各细胞的细胞类别的标注,细胞中心位置指的是细胞的中心点所在的位置,细胞类别可以根据实际情况进行设定,比如细胞类别包括阴性细胞和阳性细胞,有关具体的细胞类别在此不做具体限定,由此,可以通过病理图像上的标注确定病理图像中的每一个细胞的位置和类别。
需要说明的是,上述病理图像为染色后的病理图像,在该染色后的病理图像中,可以更容易根据不同类型细胞的染色特征确定细胞的类别和中心位置,上述染色特征包括染色后的细胞形态、染色强度等,上述病理图像可以是任意一种不同表达模式的免疫组化分子标记物染色的图像,比如:细胞膜表达(PD-L1、HER2、CD3、CD20、CD79a等)、细胞膜浆表达(AE1/AE3、CK5/6、CK19等)、细胞核表达(ER、PR、Ki-67、TdT、CyclinD1等)。
需要再次说明的是,上述获取到的病理图像可以为RGB三通道图像,该RGB三通道图像的每一个通道中代表红、绿、蓝三种颜色。
需要再次说明的是,上述标注的方法可以根据实际情况进行设定,比如可以使用病理图像标注软件,将病理图像导入到标注软件中,在标注软件中使用不同颜色或者不同形状的框在病理图像中框选出不同类别的细胞的中心点,其中,不同的颜色代表不同的细胞类别,或者不同的形状代表不同的细胞类别,框的中心点所在的位置用于表示细胞的中心点所在的位置(即:细胞中心位置),标注软件会自动记录每个细胞的中心位置和细胞所属类别,并保存在文件中,关于标注的方法在此不作具体限定。
举例说明,图2示出了本申请实施例一所提供的一种病理图像的示例图,如图2所示,该病理图像为PD-L1染色的病理图像,PD-L1(Programmed Death Ligand-1,程序性死亡受体配体1)是免疫组化检测中一种蛋白标记物,其染色特征为细胞膜着色,是一种膜阳性表达的分子标记物,组织切片经过免疫组化PD-L1染色后,会使组织中细胞核呈蓝色,细胞膜呈棕色;本申请实施例一将病理图像中的细胞按照细胞染色特征分为阴性细胞和阳性细胞,其中,阴性细胞无细胞膜着色,阳性细胞为细胞膜着色(棕色)。
步骤S102:使用各所述病理图像对预先构建的细胞探测模型进行训练并评估,得到合格的细胞探测模型,其中,所述预先构建的细胞探测模型为语义分割模型。
具体的,在获取到若干携带标注的病理图像后,需要使用各病理图像对预先构建的细胞探测模型(语义分割模型)进行训练,并对训练后的细胞探测模型进行评估,通过上述训练并评估的方式,得到合格的细胞探测模型。
需要说明的是,对于预先构建的细胞探测模型的结构,该结构可以为现有的语义分割模型结构,如FCN(Fully Convolution Network,全卷积网络)、U-Net、DeepLab等,也可以为在现有的语义分割模型结构基础上改进的模型结构,比如:改进的U-Net模型结构,改进的U-Net模型结构在原始的U-Net基础上加入了残差块。
步骤S103:使用所述合格的细胞探测模型获取待处理病理图像的中心点膨胀图像,其中,所述中心点膨胀图像包括至少一个中心点膨胀区域组,不同的中心点膨胀区域组用于表示不同的细胞类型,针对每一个所述中心点膨胀区域组,该中心点膨胀区域组包括至少一个中心点膨胀区域,所述中心点膨胀区域用于表示所述待处理病理图像中细胞的所在位置。
具体的,在得到合格的细胞探测模型后,就可以使用该合格的细胞探测模型对待处理病理图像进行处理,即:使用合格的细胞探测模型获取该待处理病理图像的中心点膨胀图像,其中,该待处理病理图像为未添加标注的图像,且该待处理病理图像包括至少一种细胞(即:至少一个细胞类型)。
需要说明的是,不同的中心点膨胀区域组所包括的中心点膨胀区域在上述中心点膨胀图像中的像素值是不同的,比如:中心点膨胀图像包括两个中心点膨胀区域组,分别为第一中心点膨胀区域组和第二中心点膨胀区域组,第一中心点膨胀区域组中包括两个中心点膨胀区域,分别为中心点膨胀区域A和中心点膨胀区域B,该中心点膨胀区域A和该中心点膨胀区域B在中心点膨胀图像中的像素值均为1,第二中心点膨胀区域组中包括一个中心点膨胀区域,为中心点膨胀区域C,该中心点膨胀区域C在中心点膨胀图像中的像素值为2,除中心点膨胀区域组以外的区域的像素值为0。
需要再次说明的是,中心点膨胀区域在中心点膨胀图像中的表现形式可以为实心圆点,也可以为实心方框,有关中心点膨胀区域的具体表现形式在此不做具体限定。
举例说明:待处理病理图像包括细胞A、细胞B、细胞C、细胞D和细胞E,其中,细胞A、细胞B和细胞C均是阴性细胞,细胞D和细胞E为阳性细胞,则在该待处理图像的中心点膨胀图像中,包括两个中心点膨胀区域组,分别为第一中心点膨胀区域组和第二中心点膨胀区域组,第一中心点膨胀区域组代表阴性细胞,该第一中心点膨胀区域组包括三个中心点膨胀区域,这三个中心点膨胀区域分别表示细胞A、细胞B和细胞C的所在位置,第二中心点膨胀区域组代表阳性细胞,该第二中心点膨胀区域组包括两个中心点膨胀区域,这两个中心点膨胀区域分别表示细胞D和细胞E的所在位置。
需要再次说明的是,当待处理病理图像中仅包括一种细胞类别的细胞时,该待处理病理图像的中心点膨胀图像仅包括一组中心点膨胀区域组。
步骤S104:对所述中心点膨胀图像进行斑点检测处理,得到所述中心点膨胀图像中各中心点膨胀区域的中心点像素位置,其中,所述中心点像素位置用于表示所述待处理病理图像中细胞的细胞中心位置。
具体的,针对得到的每一个中心点膨胀区域的中心点像素位置,该中心点像素位置指的是该中心点膨胀区域的中心点在上述中心点膨胀图像中对应的像素点的位置,且一个中心点像素位置用于表示上述待处理图像中一个细胞的细胞中心位置。
需要说明的是,斑点检测方法可以检测图像中与周围像素值有差异的区域;对于斑点检测方法中使用的算法,可以根据实际情况进行设定,比如:可以是基于求导的微分方法中的高斯拉普拉斯算法,该算法通过高斯滤波器和拉普拉斯滤波器对图像进行卷积操作来进行斑点检测,也可以是基于局部极值的分水岭算法,关于斑点检测方法中使用的具体算法,在此不做具体限定。
步骤S105:对各所述中心点膨胀区域组内中心点像素位置的数量进行统计,得到所述待处理病理图像中各细胞类别下细胞的数量。
具体的,在得到中心点膨胀图像中每一个中心点膨胀区域的中心点像素位置后,针对每一个中心点膨胀区域组,统计该中心点膨胀区域组包括的中心点膨胀区域的中心点像素位置的数量,以将该数量作为该中心点膨胀区域组所代表的细胞类别下细胞的数量。
举例说明,待处理病理图像中细胞的细胞类别包括:阳性细胞和阴性细胞,该待处理病理图像的中心点膨胀图像包括两个中心点膨胀区域组,分别为中心点膨胀区域组A和中心点膨胀区域组B,中心点膨胀区域组A用于表示阳性细胞,中心点膨胀区域组B用于表示阴性细胞,中心点膨胀区域组A包括2个中心点膨胀区域,即:中心点膨胀区域组A内中心点像素位置的数量为2,因此阳性细胞的数量为2;中心点膨胀区域组B包括3个中心点膨胀区域,即:中心点膨胀区域组B内中心点像素位置的数量为3,因此阴性细胞的数量为3。
图一提供的基于病理图像的细胞探测方法,先使用获取到的若干携带标注的病理图像对预设的细胞探测模型进行训练并评估,得到合格的细胞探测模型,由于上述标注包括对病理图像中细胞的细胞类别的标注和细胞中心位置的标注,所以在得到合格的细胞探测模型后,就可以使用该合格的细胞探测模型对待处理病理图像中的不同类别的细胞进行定位,得到待处理病理图像的中心点膨胀图像,在该中心点膨胀图像中;一个中心点膨胀区域代表一个细胞的所在位置,不同类型的细胞所对应的中心点膨胀区域位于不同的中心点膨胀区域组中;在得到中心点膨胀图像后,使用斑点检测方法对该中心点膨胀图像进行斑点检测处理,得到该中心点膨胀图像中各中心点膨胀区域的中心点像素位置;因为该中心点膨胀图像中不同的中心点膨胀区域组代表不同的细胞类型,所以为了确定各细胞类别下的细胞的数量,本申请通过统计检测出的各中心点膨胀区域组内的中心点像素位置的数量,确定各中心点膨胀区域组所代表的细胞类别下的细胞的数量,从而得到该待处理病理图像中各细胞类别下的细胞的数量,以辅助病理医生进行临床诊疗和科研工作;与现有技术中的人工肉眼分辨的识别方式相比,本申请全程通过服务器实现不同类别细胞的定位及计数,有利于在降低人力负担的同时提高不同类别细胞的定位效率和计数效率。
在另一种可行的实施方案中,在执行上述步骤S105后,所述方法还包括:在所述待处理病理图像中,确定各细胞类别下的细胞的数量与所有细胞的总数量的比值。
在一种可行的实施方案中,上述步骤S101中的病理图像包括第一全片病理图像或者第一全片病理图像中的第一指定区域;上述步骤S103中的待处理病理图像包括第二全片病理图像或者第二全片病理图像中的第二指定区域。
具体的,上述步骤S101中获取到的已添加标注的病理图像可以是全片病理图像(即:第一全片病理图像),也可以是全片病理图像中的一个指定区域(即:第一指定区域);同理,上述步骤S103中的待处理病理图像可以是全片病理图像(即:第二全片病理图像),也可以是全片病理图像中的一个指定区域(即:第二指定区域)。
需要说明的是,全片病理图像指的是全视野数字切片图像(Whole Slide Image,WSI),该全片病理图像的获取过程为:通过数字扫描仪等扫描设备对病理组织切片进行逐块连续扫描采集成像,并通过图像压缩存储软件将其拼接为整张全视野数字切片图像,全片病理图像中的指定区域为在全片病理图像中框选出的区域,需要说明的是,该指定区域可以依据该全片病理图像中细胞的聚集趋势进行框选,也可以依据相关人员的兴趣进行框选,在此不做具体限定。
在一种可行的实施方案中,在执行上述步骤S102中对预先构建的细胞探测模型进行训练之前,还需要执行以下操作:
针对每一个所述病理图像,获取该病理图像对应的标签图像,其中,所述标签图像包括至少一个目标像素点集,不同的目标像素点集用于表示不同的细胞类别,不同目标像素点集中的目标像素点在所述标签图像上的像素值不同,所述目标像素点用于表示该病理图像中细胞的细胞中心位置,在所述标签图像中:除各所述目标像素点之外的其他像素点的像素值与各所述目标像素点的像素值不同。
具体的,在获取到若干携带标注的病理图像后,为了训练并评估预先构建的细胞探测模型,需要获取每一个病理图像对应的目标标签图像,目标标签图像是通过对标签图像中的目标像素点进行膨胀处理后得到的,所以需要先获取每一个病理图像的标签图像,针对每一个病理图像,该病理图像的标签图像的特征为:
第一,该标签图像的高度值与该病理图像的高度值相同,以及该标签图像的宽度值与该病理图像的宽度值相同,比如:病理图像高度值为H,宽度值为W,则该病理图像的标签图像的高度值为H,宽度值为W;第二,该标签图像中的像素点的位置与该病理图像中的像素点的位置一一对应;第三,该标签图像为单通道图像;第四,该标签图像包含至少一个目标像素点集,一个目标像素点集用于表示一个细胞类别,不同目标像素点集中的目标像素点在该标签图像中的像素值不同,且在该标签图像中:除各目标像素点之外的其他像素点用于表示图像背景,所以除各目标像素点之外的其他像素点的像素值与各目标像素点的像素值不同,比如:病理图像中有两类细胞,分别为阴性细胞和阳性细胞,则病理图像的标签图像包含两个目标像素点集,一个目标像素点集用于表示阴性细胞,另一个目标像素点集用于表示阳性细胞,其中,表示阳性细胞的目标像素点集中的每一个目标像素点在标签图像中的像素值为2,表示阴性细胞的目标像素点集中的每一个目标像素点在标签图像中的像素值为1,在标签图像中,除各目标像素点之外的其他像素点的像素值为0(用于表示背景的像素点);第五,针对该标签图像的每一个目标像素点集,该目标像素点集包括至少一个目标像素点,其中,一个目标像素点用于表示一个细胞的细胞中心位置,即:目标像素点为细胞的细胞中心位置在标签图像中对应的像素点。
将所述标签图像中的每一个目标像素点膨胀为第一预设大小的目标区域,得到目标标签图像。
在获取到各病理图像的标签图像后,就可以对各病理图像的标签图像中的目标像素点进行膨胀处理,以得到各病理图像的目标标签图像,针对每一个病理图像的标签图像,膨胀处理具体为:将该标签图像中的每一个目标像素点膨胀为第一预设大小的目标区域,其中,目标像素点包括该标签图像中各目标像素点集中的目标像素点,第一预设大小不能超过细胞的平均尺寸,比如:第一预设大小可以是细胞的一半大小,细胞的平均尺寸可以根据人为经验进行设定;有关目标区域的形状,可以根据实际情况进行设定,比如可以为实心圆点,也可以为实心方框,关于目标区域的具体形状在此不做具体限定。
举例说明,图3示出了本申请实施例一所提供的一种病理图像的标签图像的示例图,如图3所示,图3示出的标签图像为图2示出的病理图像对应的标签图像,其中,在该标签图像中,代表阴性细胞的各目标像素点的像素值为1,代表阳性细胞的各目标像素点的像素值为2,除各目标像素点之外的其他像素点的像素值为0;图4示出了本申请实施例一所提供的一种病理图像的目标标签图像的示例图,如图4所示,图4示出的目标标签图像是通过将图3示出的标签图像中的各目标像素点膨胀为第一预设大小的实心圆点得到的,在该目标标签图像中,代表阴性细胞的各目标像素点的膨胀区域的像素值为1,代表阳性细胞的各目标像素点的膨胀区域的像素值为2,其他像素点的像素值为0。
在一种可行的实施方案中,在执行上述步骤S102时,具体通过以下步骤实现:
步骤S201:将各所述病理图像划分为训练集和测试集。
需要说明的是,对于训练集和测试集的划分比例,可以根据实际情况进行设定,比如可以按照训练集:测试集=8:2进行划分,也可以按照训练集:测试集=6:4进行划分,关于具体的划分比例在此不做具体限定。
步骤S202:对所述训练集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第一病理子图像和各第一病理子图像对应的第二预设大小的第一目标标签子图像;以及对所述测试集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第二病理子图像和各第二病理子图像对应的第二预设大小的第二目标标签子图像。
具体的,针对训练集包括的每一个病理图像,对该病理图像及其对应的目标标签图像进行分割,得到若干第二预设大小的第一病理子图像,针对每一个第一病理子图像,存在唯一与其对应的第二预设大小的第一目标标签子图像;同理,针对测试集包括的每一个病理图像,对该病理图像及其对应的目标标签图像进行分割,得到若干第二预设大小的第二病理子图像,针对每一个第二病理子图像,存在唯一与其对应的第二预设大小的第二目标标签子图像。
以上述训练集或测试集中的任一病理图像为例,一副像素大小768*256的病理图像1,该病理图像1对应的目标标签图像也为768*256像素大小,预置的第二预设大小为256*256像素大小,按照第二预设大小对病理图像1进行切割,得到三个病理子图像,从左到右依次为病理子图像1、病理子图像2和病理子图像3,按照上述第二预设大小对上述病理图像1对应的目标标签图像进行切割,得到三个目标标签子图像,从左到右依次为目标标签子图像1、目标标签子图像2和目标标签子图像3,其中,与病理子图像1唯一对应的目标标签子图像为目标标签子图像1,与病理子图像2唯一对应的目标标签子图像为目标标签子图像2,与病理子图像3唯一对应的目标标签子图像为目标标签子图像3。
需要说明的是,第二预设大小可以根据实际情况进行设定,比如本申请实施例一中第二预设大小为256*256像素,有关第二预设大小在此不做具体限定。
需要再次说明的是,各第一病理子图像对应的目标标签子图像在对所述预先构建的细胞探测模型进行训练之前要转换为one-hot编码(独热编码)形式。
步骤S203:使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练。
具体的,将各第一病理子图像作为预先构建的细胞探测模型的输入图像,通过细胞探测模型对输入图像进行处理,得到预测图像,使各第一病理子图像对应的第一目标标签子图像和各第一病理子图像对应的预测图像之间的损失逐渐减小,以实现对该预先构建的细胞探测模型的训练。
在一种可行的实施方案中,可以设置预先构建的细胞探测模型在训练过程中使用的超参数、损失函数和优化算法,比如:批处理大小设为32,学习率设为0.001,最大迭代次数设为200epochs(迭代轮次),损失函数设为categorical_crossentropy(交叉熵),优化算法设为Adam算法。
步骤S204:使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度。
步骤S205:判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行上述步骤S203、上述步骤S204和上述步骤S205,直至得到所述合格的细胞探测模型。
具体的,将各第二病理子图像输入到训练后的细胞探测模型中,得到各第二病理子图像对应的中心点膨胀子图像,针对每一个第二病理子图像对应的中心点膨胀子图像,该中心点膨胀子图像包括至少一个用于表示该第二病理子图像中细胞的位置信息和类别信息的中心点膨胀区域,所以通过该中心点膨胀子图像可以确定该第二病理子图像中细胞的第一位置信息和第一数量,然后通过该第二病理子图像对应的第二目标标签子图像确定该第二病理子图像中细胞的第二位置信息和第二数量,将第一位置信息所代表的细胞作为第一细胞,将第二位置信息所代表的细胞作为第二细胞,根据各第一细胞的第一位置信息以及各第二细胞的第二位置信息,在各第一细胞中确定目标细胞,其中,在各第二细胞中存在与目标细胞的距离小于预设距离的第二细胞;计算所述目标细胞的目标数量与所述第一细胞的第一数量的比值,得到所述训练后的细胞探测模型的精确度;以及计算所述目标细胞的目标数量与第二细胞的第二数量的比值,得到所述训练后的细胞模型的灵敏度;判断所述精确度和所述灵敏度是否均大于所述预设阈值,即:上述精确度大于预设阈值且上述灵敏度大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞模型作为合格的细胞探测模型;否则,重复依次执行上述步骤S203、上述步骤S204和上述步骤S205,直至得到所述合格的细胞探测模型。
需要说明的是,预设阈值的数值大小可以根据实际情况进行设定,比如:本申请实施例一中合格的细胞探测模型的灵敏度和精确度均大于85%,有关预设阈值的数值大小在此不做具体限定。
在一种可行的实施方案中,在执行上述步骤S103时,具体通过以下步骤实现:
步骤S301:对所述待处理病理图像进行分割,得到至少一个第二预设大小的待处理病理子图像。
需要说明的是,待处理病理图像的分辨率数值与训练集包括的病理图像的分辨率数值相同,步骤S301中的第二预设大小的数值与上述步骤S202中的第二预设大小的数值是相同的。
步骤S302:针对每一个所述待处理病理子图像,将该待处理病理子图像输入到所述合格的细胞探测模型中,得到该待处理病理子图像对应的中心点膨胀子图像,其中,所述中心点膨胀子图像包括至少一个用于表示细胞类别的中心点膨胀区域组,不同中心点膨胀区域组包括的中心点膨胀区域在所述中心点膨胀子图像中的像素值不同,所述中心点膨胀区域用于表示所述待处理病理子图像中细胞的所在位置。
具体的,针对每一个待处理病理子图像,将该待处理病理子图像输入到合格的细胞探测模型中,得到该合格的细胞探测模型输出的该待处理病理子图像对应的像素概率图,其中,该像素概率图的长度和宽度与该待处理病理子图像的长度和宽度相同,且该像素概率图包括至少两个图像通道,不同的图像通道用于表示不同的像素点类别,该像素点类别包括:用于表示细胞类别的像素点类别和用于表示背景的像素点类别,针对用于表示细胞类别的像素点类别:一个细胞类别对应一个像素点类别,针对该像素概率图中的每一个像素点:该像素点对应至少两个概率值,概率值的数量与图像通道的数量相同,一个概率值对应一个图像通道,各概率值的和值为1;其中,该像素概率图的每一个图像通道下的像素点对应的像素值表示该待处理病理子图像上对应像素点属于图像通道所表示的像素点类别的概率大小;针对上述像素概率图中的每一个像素点,在该像素点对应的各概率值中,将数值最大的概率值所对应的图像通道编号作为像素概率图对应的中心点膨胀子图像上该像素点的像素值,得到该待处理病理子图像对应的中心点膨胀子图像,其中,上述中心点膨胀子图像为单通道图像,不同像素点类别下的像素点在上述中心点膨胀子图像中的像素值不同。
针对每一个待处理病理子图像对应的中心点膨胀子图像,举例说明,图5示出了本申请实施例一所提供的一种待处理病理图像的示例图,如图5所示,待处理病理图像为PD-L1染色的病理图像,存在两种类型的细胞,分别为阴性细胞和阳性细胞;图6示出了本申请实施例一所提供的一种待处理病理子图像的示例图,如图6所示,图6中的待处理病理子图像是通过对图5中的待处理病理图像进行分割得到的;图7示出了本申请实施例一所提供的一种待处理病理子图像的中心点膨胀子图像的示例图,如图7所示,该中心点膨胀子图像包括两个中心点膨胀区域组,分别为灰色圆点组成的第一中心点膨胀区域组和白色圆点组成的第二中心点膨胀区域组,第一中心点膨胀区域组用于表示阳性细胞,第二中心点膨胀区域组用于表示阴性细胞,第一中心点膨胀区域组中的每一个灰色圆点代表该待处理病理子图像中一个阳性细胞的所在位置,各灰色圆点在该中心点膨胀子图像中的像素值为2,第二中心点膨胀区域组中的每一个白色圆点代表该待处理病理子图像中一个阴性细胞的所在位置,各白色圆点在该中心点膨胀子图像中的像素值为1,除圆点外的用于表示背景的每一个像素点的像素值为0。
步骤S303:根据各所述待处理病理子图像在所述待处理病理图像中的位置信息,对各所述待处理病理子图像对应的中心点膨胀子图像进行拼接,得到所述中心点膨胀图像。
举例说明,待处理病理图像对应的待处理病理子图像有三个,分别为待处理病理子图像1、待处理病理子图像2、待处理病理子图像3,其中,待处理病理子图像1位于待处理病理图像的左边,待处理病理子图像2位于待处理病理图像的中间,待处理病理子图像2位于待处理病理图像的右边,则拼接各待处理病理子图像对应的中心点膨胀子图像时,将待处理病理子图像1对应的中心点膨胀子图像放在左边,将待处理病理子图像2对应的中心点膨胀子图像放在中间,将待处理病理子图像3对应的中心点膨胀子图像放在右边,通过该拼接方式得到待处理病理图像对应的中心点膨胀图像;图8示出了本申请实施例一所提供的一种待处理病理图像的中心点膨胀图像的示例图,如图8所示,图8示出的中心点膨胀图像为图5示出的待处理病理图像的中心点膨胀图像。
实施例二
图9示出了本申请实施例二所提供的一种基于病理图像的细胞探测装置的结构示意图,如图9所示,该基于病理图像的细胞探测装置包括:
获取模块501,用于获取若干已添加标注的病理图像,其中,所述标注包括对所述病理图像中至少一个细胞的细胞中心位置的标注和细胞类别的标注;
执行模块502,用于使用各所述病理图像对预先构建的细胞探测模型进行训练并评估,得到合格的细胞探测模型,其中,所述预先构建的细胞探测模型为语义分割模型;
探测模块503,用于使用所述合格的细胞探测模型获取待处理病理图像的中心点膨胀图像,其中,所述中心点膨胀图像包括至少一个中心点膨胀区域组,不同的中心点膨胀区域组用于表示不同的细胞类型,针对每一个所述中心点膨胀区域组,该中心点膨胀区域组包括至少一个中心点膨胀区域,所述中心点膨胀区域用于表示所述待处理病理图像中细胞的所在位置;
处理模块504,用于对所述中心点膨胀图像进行斑点检测处理,得到所述中心点膨胀图像中各中心点膨胀区域的中心点像素位置,其中,所述中心点像素位置用于表示所述待处理病理图像中细胞的细胞中心位置;
统计模块505,用于对各所述中心点膨胀区域组内中心点像素位置的数量进行统计,得到所述待处理病理图像中各细胞类别下细胞的数量。
在一种可行的实施方案中,所述病理图像包括第一全片病理图像或者第一全片病理图像中的第一指定区域;所述待处理病理图像包括第二全片病理图像或者第二全片病理图像中的第二指定区域。
在一种可行的实施方案中,所述执行模块502在用于对预先构建的细胞探测模型进行训练之前,还用于:
针对每一个所述病理图像,获取该病理图像对应的标签图像,其中,所述标签图像包括至少一个目标像素点集,不同的目标像素点集用于表示不同的细胞类别,不同目标像素点集中的目标像素点在所述标签图像上的像素值不同,所述目标像素点用于表示该病理图像中细胞的细胞中心位置,在所述标签图像中:除各所述目标像素点之外的其他像素点的像素值与各所述目标像素点的像素值不同;
将所述标签图像中的每一个目标像素点膨胀为第一预设大小的目标区域,得到目标标签图像。
在一种可行的实施方案中,所述执行模块502具体包括:
划分单元,用于将各所述病理图像划分为训练集和测试集;
第一分割单元,用于对所述训练集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第一病理子图像和各第一病理子图像对应的第二预设大小的第一目标标签子图像;以及对所述测试集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第二病理子图像和各第二病理子图像对应的第二预设大小的第二目标标签子图像;
训练单元,用于使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练;
评估单元,用于使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度;
判断单元,用于判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行步骤S203、步骤S204和步骤S205,直至得到所述合格的细胞探测模型,其中,所述步骤S203为:使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练;所述步骤S204为:使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度;所述步骤S205为:判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行所述步骤S203、所述步骤S204和所述步骤S205,直至得到所述合格的细胞探测模型。
在一种可行的实施方案中,所述探测模块503具体包括:
第二分割单元,用于对所述待处理病理图像进行分割,得到至少一个第二预设大小的待处理病理子图像;
探测单元,用于针对每一个所述待处理病理子图像,将该待处理病理子图像输入到所述合格的细胞探测模型中,得到该待处理病理子图像对应的中心点膨胀子图像,其中,所述中心点膨胀子图像包括至少一个用于表示细胞类别的中心点膨胀区域组,不同中心点膨胀区域组包括的中心点膨胀区域在所述中心点膨胀子图像中的像素值不同,所述中心点膨胀区域用于表示所述待处理病理子图像中细胞的所在位置;
拼接单元,用于根据各所述待处理病理子图像在所述待处理病理图像中的位置信息,对各所述待处理病理子图像对应的中心点膨胀子图像进行拼接,得到所述中心点膨胀图像。
本申请实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的***、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
本申请实施例提供的基于病理图像的细胞探测方法,先使用获取到的若干携带标注的病理图像对预设的细胞探测模型进行训练并评估,得到合格的细胞探测模型,由于上述标注包括对病理图像中细胞的细胞类别的标注和细胞中心位置的标注,所以在得到合格的细胞探测模型后,就可以使用该合格的细胞探测模型对待处理病理图像中的不同类别的细胞进行定位,得到待处理病理图像的中心点膨胀图像,在该中心点膨胀图像中;一个中心点膨胀区域代表一个细胞的所在位置,不同类型的细胞所对应的中心点膨胀区域位于不同的中心点膨胀区域组中;在得到中心点膨胀图像后,使用斑点检测方法对该中心点膨胀图像进行斑点检测处理,得到该中心点膨胀图像中各中心点膨胀区域的中心点像素位置;因为该中心点膨胀图像中不同的中心点膨胀区域组代表不同的细胞类型,所以为了确定各细胞类别下的细胞的数量,本申请通过统计检测出的各中心点膨胀区域组内的中心点像素位置的数量,确定各中心点膨胀区域组所代表的细胞类别下的细胞的数量,从而得到该待处理病理图像中各细胞类别下的细胞的数量,以辅助病理医生进行临床诊疗和科研工作;与现有技术中的人工肉眼分辨的识别方式相比,本申请全程通过服务器实现不同类别细胞的定位及计数,有利于在降低人力负担的同时提高不同类别细胞的定位效率和计数效率。
实施例三
本申请实施例还提供了一种计算机设备600,图10示出了本申请实施例三所提供的一种计算机设备的结构示意图,如图10所示,该设备包括存储器601、处理器602及存储在该存储器601上并可在该处理器602上运行的计算机程序,其中,上述处理器602执行上述计算机程序时实现上述基于病理图像的细胞探测方法。
具体地,上述存储器601和处理器602能够为通用的存储器和处理器,这里不做具体限定,当处理器602运行存储器601存储的计算机程序时,能够执行上述基于病理图像的细胞探测方法,有利于在降低人力负担的同时提高不同类别细胞的定位效率和计数效率。
实施例四
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述基于病理图像的细胞探测方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述基于病理图像的细胞探测方法,有利于在降低人力负担的同时提高不同类别细胞的定位效率和计数效率。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于病理图像的细胞探测方法,其特征在于,所述方法包括以下步骤:
步骤S1:获取若干已添加标注的病理图像,其中,所述标注包括对所述病理图像中至少一个细胞的细胞中心位置的标注和细胞类别的标注;
步骤S2:使用各所述病理图像对预先构建的细胞探测模型进行训练并评估,得到合格的细胞探测模型,其中,所述预先构建的细胞探测模型为语义分割模型;
步骤S3:使用所述合格的细胞探测模型获取待处理病理图像的中心点膨胀图像,其中,所述中心点膨胀图像包括至少一个中心点膨胀区域组,不同的中心点膨胀区域组用于表示不同的细胞类型,针对每一个所述中心点膨胀区域组,该中心点膨胀区域组包括至少一个中心点膨胀区域,所述中心点膨胀区域用于表示所述待处理病理图像中细胞的所在位置;
步骤S4:对所述中心点膨胀图像进行斑点检测处理,得到所述中心点膨胀图像中各中心点膨胀区域的中心点像素位置,其中,所述中心点像素位置用于表示所述待处理病理图像中细胞的细胞中心位置;
步骤S5:对各所述中心点膨胀区域组内中心点像素位置的数量进行统计,得到所述待处理病理图像中各细胞类别下细胞的数量。
2.如权利要求1所述的方法,其特征在于,所述步骤S1中的病理图像包括第一全片病理图像或者第一全片病理图像中的第一指定区域;所述步骤S3中的待处理病理图像包括第二全片病理图像或者第二全片病理图像中的第二指定区域。
3.如权利要求1所述的方法,其特征在于,在所述步骤S2中对预先构建的细胞探测模型进行训练之前,所述方法还包括:
针对每一个所述病理图像,获取该病理图像对应的标签图像,其中,所述标签图像包括至少一个目标像素点集,不同的目标像素点集用于表示不同的细胞类别,不同目标像素点集中的目标像素点在所述标签图像上的像素值不同,所述目标像素点用于表示该病理图像中细胞的细胞中心位置,在所述标签图像中:除各所述目标像素点之外的其他像素点的像素值与各所述目标像素点的像素值不同;
将所述标签图像中的每一个目标像素点膨胀为第一预设大小的目标区域,得到目标标签图像。
4.如权利要求3所述的方法,其特征在于,所述步骤S2具体包括以下步骤:
步骤S201:将各所述病理图像划分为训练集和测试集;
步骤S202:对所述训练集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第一病理子图像和各第一病理子图像对应的第二预设大小的第一目标标签子图像;以及对所述测试集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第二病理子图像和各第二病理子图像对应的第二预设大小的第二目标标签子图像;
步骤S203:使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练;
步骤S204:使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度;
步骤S205:判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行所述步骤S203、所述步骤S204和所述步骤S205,直至得到所述合格的细胞探测模型。
5.如权利要求1所述的方法,其特征在于,所述步骤S3具体包括以下步骤:
步骤S301:对所述待处理病理图像进行分割,得到至少一个第二预设大小的待处理病理子图像;
步骤S302:针对每一个所述待处理病理子图像,将该待处理病理子图像输入到所述合格的细胞探测模型中,得到该待处理病理子图像对应的中心点膨胀子图像,其中,所述中心点膨胀子图像包括至少一个用于表示细胞类别的中心点膨胀区域组,不同中心点膨胀区域组包括的中心点膨胀区域在所述中心点膨胀子图像中的像素值不同,所述中心点膨胀区域用于表示所述待处理病理子图像中细胞的所在位置;
步骤S303:根据各所述待处理病理子图像在所述待处理病理图像中的位置信息,对各所述待处理病理子图像对应的中心点膨胀子图像进行拼接,得到所述中心点膨胀图像。
6.一种基于病理图像的细胞探测装置,其特征在于,包括:
获取模块,用于获取若干已添加标注的病理图像,其中,所述标注包括对所述病理图像中至少一个细胞的细胞中心位置的标注和细胞类别的标注;
执行模块,用于使用各所述病理图像对预先构建的细胞探测模型进行训练并评估,得到合格的细胞探测模型,其中,所述预先构建的细胞探测模型为语义分割模型;
探测模块,用于使用所述合格的细胞探测模型获取待处理病理图像的中心点膨胀图像,其中,所述中心点膨胀图像包括至少一个中心点膨胀区域组,不同的中心点膨胀区域组用于表示不同的细胞类型,针对每一个所述中心点膨胀区域组,该中心点膨胀区域组包括至少一个中心点膨胀区域,所述中心点膨胀区域用于表示所述待处理病理图像中细胞的所在位置;
处理模块,用于对所述中心点膨胀图像进行斑点检测处理,得到所述中心点膨胀图像中各中心点膨胀区域的中心点像素位置,其中,所述中心点像素位置用于表示所述待处理病理图像中细胞的细胞中心位置;
统计模块,用于对各所述中心点膨胀区域组内中心点像素位置的数量进行统计,得到所述待处理病理图像中各细胞类别下细胞的数量。
7.如权利要求6所述的装置,其特征在于,所述执行模块在用于对预先构建的细胞探测模型进行训练之前,还用于:
针对每一个所述病理图像,获取该病理图像对应的标签图像,其中,所述标签图像包括至少一个目标像素点集,不同的目标像素点集用于表示不同的细胞类别,不同目标像素点集中的目标像素点在所述标签图像上的像素值不同,所述目标像素点用于表示该病理图像中细胞的细胞中心位置,在所述标签图像中:除各所述目标像素点之外的其他像素点的像素值与各所述目标像素点的像素值不同;
将所述标签图像中的每一个目标像素点膨胀为第一预设大小的目标区域,得到目标标签图像。
8.如权利要求6所述的装置,其特征在于,所述执行模块具体包括:
划分单元,用于将各所述病理图像划分为训练集和测试集;
第一分割单元,用于对所述训练集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第一病理子图像和各第一病理子图像对应的第二预设大小的第一目标标签子图像;以及对所述测试集包括的各病理图像及各病理图像对应的目标标签图像进行分割,得到若干第二预设大小的第二病理子图像和各第二病理子图像对应的第二预设大小的第二目标标签子图像;
训练单元,用于使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练;
评估单元,用于使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度;
判断单元,用于判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行步骤S203、步骤S204和步骤S205,直至得到所述合格的细胞探测模型,其中,所述步骤S203为:使用各所述第一病理子图像及各第一病理子图像对应的第一目标标签子图像,对所述预先构建的细胞探测模型进行训练;所述步骤S204为:使用各所述第二病理子图像及各第二病理子图像对应的第二目标标签子图像,对训练后的细胞探测模型进行评估,得到所述训练后的细胞探测模型的灵敏度和精确度;所述步骤S205为:判断所述精确度和所述灵敏度是否均大于预设阈值,若均大于所述预设阈值,将所述训练后的细胞探测模型作为所述合格的细胞探测模型;否则,重复执行所述步骤S203、所述步骤S204和所述步骤S205,直至得到所述合格的细胞探测模型。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1-5中任一项所述的方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1-5中任一项所述的方法的步骤。
CN202111085582.4A 2021-09-16 2021-09-16 基于病理图像的细胞探测方法、装置、设备及存储介质 Pending CN113781457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111085582.4A CN113781457A (zh) 2021-09-16 2021-09-16 基于病理图像的细胞探测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111085582.4A CN113781457A (zh) 2021-09-16 2021-09-16 基于病理图像的细胞探测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113781457A true CN113781457A (zh) 2021-12-10

Family

ID=78844479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111085582.4A Pending CN113781457A (zh) 2021-09-16 2021-09-16 基于病理图像的细胞探测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113781457A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661815A (zh) * 2022-12-07 2023-01-31 赛维森(广州)医疗科技服务有限公司 基于全局特征映射的病理图像分类方法、图像分类装置
CN117218139A (zh) * 2023-09-12 2023-12-12 珠海横琴圣澳云智科技有限公司 样本细胞密度的确定方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661815A (zh) * 2022-12-07 2023-01-31 赛维森(广州)医疗科技服务有限公司 基于全局特征映射的病理图像分类方法、图像分类装置
CN115661815B (zh) * 2022-12-07 2023-09-12 赛维森(广州)医疗科技服务有限公司 基于全局特征映射的病理图像分类方法、图像分类装置
CN117218139A (zh) * 2023-09-12 2023-12-12 珠海横琴圣澳云智科技有限公司 样本细胞密度的确定方法和装置
CN117218139B (zh) * 2023-09-12 2024-05-24 珠海横琴圣澳云智科技有限公司 样本细胞密度的确定方法和装置

Similar Documents

Publication Publication Date Title
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US11436718B2 (en) Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm
US11977984B2 (en) Using a first stain to train a model to predict the region stained by a second stain
US10755138B2 (en) Systems and methods for finding regions of interest in hematoxylin and eosin (H and E) stained tissue images and quantifying intratumor cellular spatial heterogeneity in multiplexed/hyperplexed fluorescence tissue images
CN106780522B (zh) 一种基于深度学习的骨髓液细胞分割方法
CN111242961B (zh) 一种用于pd-l1抗体染色切片的自动读片方法及其***
CN111931751B (zh) 深度学习训练方法、目标物识别方法、***和存储介质
US20140219538A1 (en) Method and software for analysing microbial growth
CN113781457A (zh) 基于病理图像的细胞探测方法、装置、设备及存储介质
US11538261B2 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN112819821B (zh) 一种细胞核图像检测方法
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
KR101813223B1 (ko) 영상 표면의 결함을 검출 및 분류하는 방법 및 장치
CN115578560A (zh) 基于深度学习的ihc膜浆表达病理图像的癌区分割方法
CN111950544A (zh) 一种确定病理图像中感兴趣区域的方法及装置
US8824768B1 (en) Fertilization test method and apparatus
JP7393769B2 (ja) 生物学的サンプルの画像に対するコンピュータ実装プロセス
CN111951271A (zh) 一种识别病理图像中癌细胞的方法及装置
DK2901415T3 (en) PROCEDURE FOR IDENTIFICATION OF CELLS IN A BIOLOGICAL Tissue
CN116153497A (zh) 一种结直肠癌p53蛋白的免疫组化图像自动评分***
CN114898346A (zh) 一种场景文本检测模型的训练方法、装置和存储介质
CN115641578A (zh) 基于核质比筛选阳性突变细胞的方法及***
CN118135312A (zh) 确定培养类器官过程中的操作节点的方法、电子设备、存储介质
CN116343203A (zh) 一种基于显微光场模型的目标快速提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination