CN113469939B - 一种基于特性曲线的her-2免疫组化自动判读*** - Google Patents

一种基于特性曲线的her-2免疫组化自动判读*** Download PDF

Info

Publication number
CN113469939B
CN113469939B CN202110578133.7A CN202110578133A CN113469939B CN 113469939 B CN113469939 B CN 113469939B CN 202110578133 A CN202110578133 A CN 202110578133A CN 113469939 B CN113469939 B CN 113469939B
Authority
CN
China
Prior art keywords
image
color
determining
module
characteristic curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110578133.7A
Other languages
English (en)
Other versions
CN113469939A (zh
Inventor
王书浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thorough Future Technology Co ltd
Original Assignee
Touche Image Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Touche Image Beijing Technology Co ltd filed Critical Touche Image Beijing Technology Co ltd
Priority to CN202110578133.7A priority Critical patent/CN113469939B/zh
Publication of CN113469939A publication Critical patent/CN113469939A/zh
Application granted granted Critical
Publication of CN113469939B publication Critical patent/CN113469939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于特性曲线的HER‑2免疫组化自动判读***，包括将HER‑2的病理图片的颜色进行归一化处理，生成同色病理图像。将所述同色病理图像前景和背景分割，生成二值化图像。将所述二值化图像碎片化，并将碎片后无效背景小于预设阀值的碎片图像作为待处理图像；将所述待处理图像导入基于机器学习的聚类算法模型，确定只含有染色区域的目标图像；特性曲线生成模块将所述目标图像的染色区域通过RGB控制键转换到HSV空间，并在HSV空间中生成特性曲线，并计算所述特性曲线的函数多项式特征；根据所述函数多项式特征，对每个目标图像进行自动判读，确定每个目标图像可视化人工智能分析结果。

Description

一种基于特性曲线的HER-2免疫组化自动判读***
技术领域
本发明涉及病理诊断技术领域，特别涉及一种基于特性曲线的HER-2免疫组化自动判读***。
背景技术
目前，通过免疫组化(Immunohistochemistry，IHC)染色技术检测HER-2(humanepidermal growth factor receptor 2)蛋白，根据染色区域细胞膜完整度和深浅进行0，1+，2+，3+的评分。比如对浸润性乳腺癌，具体评分标准如下：0：无染色或≤10％的浸润性癌细胞呈现不完整的、微弱的细胞膜染色；1+：>10％的浸润性癌细胞呈现不完整、微弱的细胞膜染色；2+：>10％的浸润性癌细胞呈现弱-中等的、完整的细胞膜染色或≤10％的浸润性癌细胞呈现强、完整的细胞膜染色；3+：>10％的浸润性癌细胞呈现强、完整、均匀的细胞膜染色。其中，0/1+将判为阴性，2+将做后续原位荧光杂交法(FISH)进一步判定，3+将判为阳性且可以应用靶向HER-2药物。
随着人工技能的发展以及人工智能与医疗领域的结合，病理医生的缺失，通过传统的图像处理或机器学习，深度学习等人工智能技术在HER-2自动判分技术上取得一定成效。但由于每个病理医生可能对评分判读评分理解不同，染色试剂不同导致染色颜色不统一，可训练的数据集缺少，标注成本高，训练集真值难统一等问题，此前已有的技术仍未实现成熟的临床应用。
发明内容
本发明提供一种基于特性曲线的HER-2免疫组化自动判读***，用以解决病理医生可能对评分判读评分理解不同，染色试剂不同导致染色颜色不统一，可训练的数据集缺少，标注成本高，训练集真值难统一的情况。
一种基于特性曲线的HER-2免疫组化自动判读***，包括：
图像归一化模块：用于将HER-2的病理图片的颜色进行归一化处理，生成同色病理图像；
前景背景分割模块：用于将所述同色病理图像前景和背景分割，生成二值化图像；
前处理模块：用于将所述二值化图像碎片化，并将碎片后无效背景小于预设阀值的碎片图像作为待处理图像；
染色区域提取模块：用于将所述待处理图像导入基于机器学习的聚类算法模型，确定只含有染色区域的目标图像；
特性曲线生成模块：用于将所述目标图像的染色区域通过RGB控制键转换到HSV空间，并在HSV空间中生成特性曲线，并计算所述特性曲线的函数多项式特征；
判读模块：用于根据所述函数多项式特征，对每个目标图像进行自动判读，确定每个目标图像的评分，并输入可视化人工智能分析设备，确定分析结果。
作为本发明的一种实施例：所述图像归一化模块包括：
图片获取单元：用于通过预设的扫描设备获取待处理病理图片；
检测单元：用于将所述病理图片进行染色检测，确定每张待处理病理图片的染色试剂，并确定染色颜色；
归一化处理单元：用于根据所述染色颜色，将所述待处理病理图片的颜色分布参数，并根据所述颜色分布参数将所述待处理病理图像进行颜色归一化处理，生成同色病理图像。
作为本发明的一种实施例：所述图像归一化模块生成同色病理图像，还包括如下步骤：
步骤1：根据所述归一化处理，确定同色病理图像中每个图像区域的归一化值：
Figure BDA0003085213880000031
Figure BDA0003085213880000032
Figure BDA0003085213880000033
Figure BDA0003085213880000034
其中，T(i)表示第i个染色点的归一化值；Si表示第i个染色区域的面积；i∈A表示第i个染色点为A区域的像素点；i∈min表示第i个染色点为为最小染色区域的像素点；i∈max表示第i个像素点为最大染色区域的像素点；n为正整数，i∈n；步骤2：根据所述归一化值，构建同色病理图像：
Figure BDA0003085213880000035
其中，Yi表示第i个染色点的颜色深度；δ表示拼接系数；G(x)表示X区域；B表示同色病理图像。
作为本发明的一种实施例：所述前景背景分割模块包括：
前景检测单元：用于对所述同色病理图像的染色区域和组织细胞进行检测，并将所述染色区域和组织细胞的区域作为前景图像；
背景检测单元：用于根据所述前景图像，确定所述同色病理图像中的非前景图像部分，并将其作为无效背景图像；
分割单元：用于根据所述前景图像和无效背景图像，对所述同色病理图像进行均匀分割，生成相同大小的分割图像；
区分单元：用于将所述病理图像进行缩小，并在缩小后通过形态学开运算和闭运算，并根据运算结果和预设阀值进行组织区分，确定组织区分信息，并将组织区分后的图像放大至原图像大小；
二值化单元：用于根据所述分割图像和组织区分信息，生成背景分离的二值化图像，
作为本发明的一种实施例：所述前处理模块包括：
背景检测单元：用于对所述二值化图像进行检测，确定背景分布信息；
阀值设定单元：用于获取用户的检测需求，确定病理图像中背景要求，根据所述背景要求，设定背景保留阀值；
碎片化单元：用于将所述二值化图像划分为小于所述背景保留阀值的碎片图像；
待处理模块：用于对所述碎片图像进行整理，并作为待处理图像。
作为本发明的一种实施例：所述染色区域提取模块包括：
RGB空间检测单元：用于将所述待处理图像进行基于RGB颜色空间的分析，确定所述待处理图像的RGB信息；
分离单元：用于根据所述RGB信息，通过基于机器学习聚类算法将所述待处理图像进行RGB颜色空间分离，确定个待分类图像每一聚类的中心点的RGB；
标签单元：用于根据所述待分类图像中像素点和所述中心点的欧几里得距离确定染色区域的颜色标签；
形态学计算单元：用于根据所述颜色标签，通过形态学开运算计算所述待处理图像，确定染色区域，并生成只含有染色区域的目标图像。
作为本发明的一种实施例：所述特性曲线生成模块包括：
转化模块：用于将所述目标图像的染色区域从RGB空间转换至HSV空间，并确定第一空间饱和度；
计算单元：用于计算所述目标图像在HSV空间中的第二空间饱和度，并确定所述第二空间饱和度在明度不变的情况下，高于预设区间的对比比例；
特性曲线搭建单元：用于根据所述对比比例，构建所述预设区间中每张目标图像的特性曲线；
多项式计算单元：用于根据所述特性曲线在预设区间上的取值和斜率特征，生成拟合后的函数多项式特征。
作为本发明的一种实施例：所述特性曲线搭建单元确定目标图像的特性曲线包括：
根据所述对比比例和HSV空间的参数，构建特性曲线：
Figure BDA0003085213880000061
其中，Qmax表示预设区间的区间最大值；Qmin表示预设区间的最小值；Y表示对比比例；a表示色调参数；b表示饱和度参数；c表示明度参数；M表示特性曲线。
作为本发明的一种实施例：所述判读模块包括：
评分标准确定单元：用于根据所述函数多项式特征，确定目标图像取值评分标准和斜率评分标准；
判断单元：用于根据所述取值评分标准和斜率评分标准，分别对每张目标图像进行自动判读，确定判读评分；
最终评分单元：用于根据所述判断评分，确定每个分值下目标图像的比例，根据比例对所述判断评分在此计算，确定最终评分；
智能化分析单元：用于根据所述最终评分，通过预设可视化人工智能分析设备，对不同最终评分的目标图像进行分析，确定分析结果。
本发明有益效果在于：本发明的这套***将支持高分辨率的全扫描图像或显微镜下图像对HER-2评分判读，能够在极短的时间内给出每张病理图片的人工智能分析结果。作为支持HER-2免疫组化诊断的***，具有快速分析，精确诊断，适应范围广，无训练成本的优点,没有人的参与，评分结果不会因为医生的思路不同而出现差异。本发明解决了大尺寸、高分辨率的全扫描病理图像，或显微镜下图像判读HER-2问题。在短时间内，将整个病理图像分割成分块碎片，过滤掉无关背景过多的碎片，单独对各分块碎片进行处理判读，再对整张图像进行判读，一次性快速获取整张病理图片判读结果。通过对输入图像进行颜色归一化，解决染色剂染色颜色不同导致的自动化评分判读标准不一致，表现不稳定，准确度降低的问题。解决机器学习或深度学习标注成本高，难标注，计算密集，耗时长的问题。通过更准确的前处理方法提取到染色区域，仅运用根据颜色强度信息而构造出来的特性曲线，快速获得不亚于甚至高于机器学习或深度学习准确度的智能检测结果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于特性曲线的HER-2免疫组化自动判读***的***组成图；
图2为本发明实施例中一种基于特性曲线的HER-2免疫组化自动判读***的判读流程图；
图3为特性曲线的函数多项式特征图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
全扫描图像(whole slide image，WSI)：通过全自动显微镜或光学放大***扫描采集得到高分辨数字图像，通过计算机进行高精度多视野无缝隙拼接和处理，从而获得的多层级可视化的图像。
HER-2(human epidermal growth factor receptor 2)：是表皮生长因子受体家族成员，具有酪氨酸激酶活性，在很多恶性肿瘤中会呈现过度增值。
免疫组织化学(Immunohistochemistry，IHC)：免疫组织化学是指带显色剂标记的特异性抗体在组织细胞原位通过抗原抗体反应和组织化学的呈色反应，对相应抗原进行定性、定位、定量测定的一项新技术。
在现有技术中：HER-2判读方法目前主要仍靠病理医生人工判读获得的病理图像为主。已有自动判读技术主要通过传统图像处理的方法结合机器学习分类器或深度学习的技术。
现有技术的缺点
在人工判读上：
判读速度慢。病理医生需要通过放大对一整张病理图像或显微镜下成像进行检查，完成一张HER-2免疫组化的病理图像时间要远大于自动化判读的时间。
存在标准不统一：
例如：每个医院每个医生保守性不同，对HER-2判读的标准与实际标准可能会有不同，并且在人工判读过程中，由于病理图像整体与部分的判读难以统一，很有可能由于在检查病理图像过程中造成误判，漏判。
病理医生紧缺。病理医生专业人才工作量大，培养周期长，已有病理医生数量远未达到需求标准，自动判读***需求因此日益增高。
在机器学习/深度学习方法上：
训练成本高。通过机器学习分类器或深度学习模型在经过预处理的病理图像上进行训练过程中，需要足够的训练数据集。但是由于已公开或可用HER-2的IHC染色图像极少，对真值病理专家意见不统一，图像分辨率极高导致训练周期长，训练结果难解释，无法真正实施到辅助诊断的过程中或集成在智能显微镜下。
表现不稳定。由于每个医院所用染色试剂盒不同，染色后染色区域颜色深浅，色调不统一，导致可能在当前测试集表现良好，但在其他测试集，或不同医院应用不同颜色的染色剂时，会导致模型表现不稳定。
精度不理想。即使应用机器学习分类器或深度学习网络，但由于特征选择过多或过少，训练集与测试集特征关系不同，使得目前模型的准确率大部分仍在90％以下。
如附图1所示，本发明为一种基于特性曲线的HER-2免疫组化自动判读***，包括：
图像归一化模块：用于将HER-2的病理图片的颜色进行归一化处理，生成同色病理图像；本发明通过对HER-2的病理图片的颜色进行归一化处理，这个颜色是根据病理图片中的颜色分布，根据区域计算每个区域的归一化数值，这个归一化数值用于表示颜色的数值，通过这个颜色数值进行病理图像划分，然后把相同颜色的区域划分出来，生成同色病理图像。
前景背景分割模块：用于将所述同色病理图像前景和背景分割，生成二值化图像；前景和背景分割就是将染色区域和细胞组织区域划分出来，作为前景图像，而将除了前景图像，其他部分，没有用的图片部分就是背景分割的部分。然后通过两个图像的形态学运算生成二值化图像。
前处理模块：用于将所述二值化图像碎片化，并将碎片后无效背景小于预设阀值的碎片图像作为待处理图像；碎片化的作用是划分出无效背景大和小的图像，进而能够筛选出待处理图像，确定染色的可以进行处理的图像。
染色区域提取模块：用于将所述待处理图像导入基于机器学习的聚类算法模型，确定只含有染色区域的目标图像；机器学习的聚类算法模型是为了对待处理图像进行划分，确定出目标图像。
特性曲线生成模块：用于将所述目标图像的染色区域通过RGB控制键转换到HSV空间，并在HSV空间中生成特性曲线，并计算所述特性曲线的函数多项式特征；染色空间转换的作用是生成更加精确的特性曲线，并生成函数多项式特征。
判读模块：用于根据所述函数多项式特征，对每个目标图像进行自动判读，确定每个目标图像的评分，并输入可视化人工智能分析设备，确定分析结果。判断模块是根据这个函数多项式，目标图像进行评分，评分后的分值就是每张图像显示的具体的判读数值，也就是患者的监测结果。
本发明有益效果在于：本发明的这套***将支持高分辨率的全扫描图像或显微镜下图像对HER-2评分判读，能够在极短的时间内给出每张病理图片的人工智能分析结果。作为支持HER-2免疫组化诊断的***，具有快速分析，精确诊断，适应范围广，无训练成本的优点。本发明解决了大尺寸、高分辨率的全扫描病理图像，或显微镜下图像判读HER-2问题。在短时间内，将整个病理图像分割成分块碎片，过滤掉无关背景过多的碎片，单独对各分块碎片进行处理判读，再对整张图像进行判读，一次性快速获取整张病理图片判读结果。通过对输入图像进行颜色归一化，解决染色剂染色颜色不同导致的自动化评分判读标准不一致，表现不稳定，准确度降低的问题。解决机器学习或深度学习标注成本高，难标注，计算密集，耗时长的问题。通过更准确的前处理方法提取到染色区域，仅运用根据颜色强度信息而构造出来的特性曲线，快速获得不亚于甚至高于机器学习或深度学习准确度的智能检测结果。
作为本发明的一种实施例：所述图像归一化模块包括：
图片获取单元：用于通过预设的扫描设备获取待处理病理图片；所有的病理图片都是通过扫描获得。
检测单元：用于将所述病理图片进行染色检测，确定每张待处理病理图片的染色试剂，并确定染色颜色；染色是为了更好的观察病理状态，所以需要预先确定染色颜色。
归一化处理单元：用于根据所述染色颜色，将所述待处理病理图片的颜色分布参数，并根据所述颜色分布参数将所述待处理病理图像进行颜色归一化处理，生成同色病理图像。归一化处理的目的是颜色归一化，便于进行同色处理。
本发明有益效果在于：图片颜色归一化模块能处理任何经过不同IHC颜色染色试剂染色的病理图片。由于每个医院运用的试剂盒不同，深浅不同的染色试剂可能会对根据色彩饱和度强度构造的特性曲线自动预测结果造成影响。经过自动化的颜色归一化模块处理，针对不同染色试剂染色的图像能有统一的颜色，提高之后预测准确性。
所述图像归一化模块生成同色病理图像，还包括如下步骤：
步骤1：根据所述归一化处理，确定同色病理图像中每个图像区域的归一化值：
Figure BDA0003085213880000121
Figure BDA0003085213880000122
Figure BDA0003085213880000123
Figure BDA0003085213880000124
其中，T(i)表示第i个染色点的归一化值；Si表示第i个染色区域的面积；i∈A表示第i个染色点为A区域的像素点；i∈min表示第i个染色点为为最小染色区域的像素点；i∈max表示第i个像素点为最大染色区域的像素点；n为正整数，i∈n；步骤2：根据所述归一化值，构建同色病理图像：
本发明的原理和有益效果在于：在步骤1中是一种归一化方法，本发明采用的是平均归一化。在这过程中，本发明会计算最大染色区域和最小染色区域的归一化特征参数，进而实现归一化值的计算。
Figure BDA0003085213880000131
其中，Yi表示第i个染色点的颜色深度；δ表示拼接系数；G(x)表示X区域；B表示同色病理图像。
本发明的步骤2是一个连立的同色病理图像模型，G(x)＝
Figure BDA0003085213880000132
主要是用于判断需要进行归一化计算的第x区域是不是属于同色，在归一化值相同的时候，其就属于同色。然后通过
Figure BDA0003085213880000133
确定铜色病理图像的图像状态函数。其在进行图像化之后，显示为同色病理的坐标图象。
作为本发明的一种实施例：所述前景背景分割模块包括：
前景检测单元：用于对所述同色病理图像的染色区域和组织细胞进行检测，并将所述染色区域和组织细胞的区域作为前景图像；
染色区域就是进行试剂染色的挣个区域，组织细胞也是染过色后的组织细胞，检测的作用是确定是不是染色区域和细胞组织，进而确定含有染色区域和细胞组织的区域作为前景图像。
背景检测单元：用于根据所述前景图像，确定所述同色病理图像中的非前景图像部分，并将其作为无效背景图像；在前景图像确定之后，同色病理图像上，虽然颜色相同但是，并没有进行染色的区域就要进行区分，而这个区分方式就是直接区分，不是前景图像就是非前景图像。
分割单元：用于根据所述前景图像和无效背景图像，对所述同色病理图像进行均匀分割，生成相同大小的分割图像；分割单元就是进行均匀切割方式，进行图像划分的单元，根据前景图像和无效背景图像，是因为，在均匀化的时候，本发明会将前景图像尽量和前景图像划分到一起。而无效背景图像在分割图像中，分割图像无效背景图像也是尽量一起。
区分单元：用于将所述病理图像进行缩小，并在缩小后通过形态学开运算和闭运算，并根据运算结果和预设阀值进行组织区分，确定组织区分信息，并将组织区分后的图像放大至原图像大小；区分单元是在病理图像缩小之后，通过形态学运算实现组织区分，就是将细胞组织和图像进行区分，进而确定组织区的信息。
二值化单元：用于根据所述分割图像和组织区分信息，生成背景分离的二值化图像，
本发明有益效果在于：前景背景分割模块能区分任意IHC染色后病理图像的前景(组织细胞及染色区域)和无效背景。为了提升自动分割前景背景效率，解决病理全扫描图像或显微镜视野下图像最大分辨率层级过高导致的GPU显存用量过高或过载的问题，先将病理全扫描图像缩小再进行形态学开，闭运算，再设置阈值获得前景，背景分离的二值化图像，最后再放大回输入图片原大小。
作为本发明的一种实施例：所述前处理模块包括：
背景检测单元：用于对所述二值化图像进行检测，确定背景分布信息；背景分布信息是二值化图像检测之后，二值化图像上背景图像的分布状况。包括背景图像的面积和位置。
阀值设定单元：用于获取用户的检测需求，确定病理图像中背景要求，根据所述背景要求，设定背景保留阀值；阀值设定的目的是确定病理图像需要保留的必要背景大小，而把不需要的背景全部删除，进而实现在进行自动判读的时候加大判读的正确率。
碎片化单元：用于将所述二值化图像划分为小于所述背景保留阀值的碎片图像；小于背景保留阀值，是因为得到的都是需要保留的图像，是后期进行使用进行判断的图像。
待处理模块：用于对所述碎片图像进行整理，并作待处理图像。
本发明有益效果在于：针对大规模图像处理的前处理模块能处理任意大小的图像。病理全扫描图像，或显微镜视野下数字图像最大分辨率的层级大概是200000×150000的图像，无法一次性加载到GPU的显存中处理。前处理模块采用分块的方法，将其划分为一系列的碎片，分别进行处理。全扫描图像或显微镜视野下图像中除了组织细胞和染色区域的部分，也包含了很大一部分的背景部分，为了提高分析效率，无效的背景占比过大的碎片将前景背景分割模块获得的背景舍弃。
作为本发明的一种实施例：所述染色区域提取模块包括：
RGB空间检测单元：用于将所述待处理图像进行基于RGB颜色空间的分析，确定所述待处理图像的RGB信息；
分离单元：用于根据所述RGB信息，通过基于机器学习聚类算法将所述待处理图像进行RGB颜色空间分离，确定个待分类图像每一聚类的中心点的RGB；
标签单元：用于根据所述待分类图像中像素点和所述中心点的欧几里得距离确定染色区域的颜色标签；
形态学计算单元：用于根据所述颜色标签，通过形态学开运算计算所述待处理图像，确定染色区域，并生成只含有染色区域的目标图像。
本发明有益效果在于：染色区域提取模块能精确提取输入病理图像的染色区域。HER-2的判分标准与被染色的细胞膜完整度，染色区域颜色深浅强度有关。再一张包含被染色细胞膜，细胞核，其他细胞成分，以及杂质噪点的病理全扫描图像或显微镜视野下图像中，运用机器学习的聚类算法，将图片RGB颜色空间分离，并获得每一聚类的中心点的RGB。之后，通过图片像素点到聚类中心点的欧几里得距离来确定染色区域颜色标签。根据染色区域颜色标签，经过形态学开运算，精确获得只含有染色区域的图像。
作为本发明的一种实施例：所述特性曲线生成模块包括：
转化模块：用于将所述目标图像的染色区域从RGB空间转换至HSV空间，并确定第一空间饱和度；
计算单元：用于计算所述目标图像在HSV空间中的第二空间饱和度，并确定所述第二空间饱和度在明度不变的情况下，高于预设区间的对比比例；
特性曲线搭建单元：用于根据所述对比比例，构建所述预设区间中每张目标图像的特性曲线；
多项式计算单元：用于根据所述特性曲线在预设区间上的取值和斜率特征，生成拟合后的函数多项式特征。函数多项式如附图3所示。
本发明有益效果在于：将染色区域RGB空间转换到HSV(色调(H)，饱和度(S)，明度(V))空间并提取饱和度S，计算当前图像(碎片)像素点饱和度S在色调H，明度V不变的情况下高于[0.1，0.5]区间的比例，获得在此区间的特性曲线。由于HER-2的0，1+，2+，3+图像的特性曲线有明显区别，依据得到特性曲线在区间上的取值，斜率特征，或经过拟合的函数多项式特征，对图像进行评分。
作为本发明的一种实施例：所述特性曲线搭建单元确定目标图像的特性曲线包括：
根据所述对比比例和HSV空间的参数，构建特性曲线：
Figure BDA0003085213880000171
其中，Qmax表示预设区间的区间最大值；Qmin表示预设区间的最小值；Y表示对比比例；a表示色调参数；b表示饱和度参数；c表示明度参数；M表示特性曲线。
本发明在进行特性曲线计算的时候，引入了色调、饱和度、明度，生成特性曲线，最后得到的特性曲线并于显示每张图片具体特性，而这些特性就是以各种参数体现。
作为本发明的一种实施例：所述判读模块包括：
评分标准确定单元：用于根据所述函数多项式特征，确定目标图像取值评分标准和斜率评分标准；
判断单元：用于根据所述取值评分标准和斜率评分标准，分别对每张目标图像进行自动判读，确定判读评分；
最终评分单元：用于根据所述判断评分，确定每个分值下目标图像的比例，根据比例对所述判断评分在此计算，确定最终评分；
智能化分析单元：用于根据所述最终评分，通过预设可视化人工智能分析设备，对不同最终评分的目标图像进行分析，确定分析结果。
本发明有益效果在于：在完成所有碎片图像自动评分判读任务后，根据预测为0，1+，2+，3+分数的碎片数量占所有碎片数量的比值，确定全扫描图像或显微镜下图像的最后评分，获得智能化分析结果。在获得最终HER-2评分基础上，输入图像中每块有效碎片的自动判分结果也给予可视化。能够辅助病理医生进行HER-2病理诊断的评分判读和阴阳性初筛，大幅提高病理医生的工作效率，减少漏判，误判的可能性，使得病理诊断更加精确，对后续追加测试及治疗方案的指定具有重大的指导意义。对图像进行颜色归一化以及运用聚类算法以及形态学运算作为预处理，使染色区域提取的更加准确，适用范围更广，具有更高的鲁棒性，对项目落地辅助病理医生更加便捷。运用特性曲线对染色强度和完整性特征进行等价，不同评分图像的染色区域的特性曲线有明显差别，解释性更强，更可靠。在评分过程中实现图像到判读可视化完全自动，短时间内直接出结果，并且可视化过程，可以另病理医生在想查看可视化结果的时候更有针对性的去选择部分查看癌区染色程度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于特性曲线的HER-2免疫组化自动判读***，其特征在于，包括：
图像归一化模块：用于将HER-2的病理图片的颜色进行归一化处理，生成同色病理图像；
前景背景分割模块：用于将所述同色病理图像前景和背景分割，生成二值化图像；
前处理模块：用于将所述二值化图像碎片化，并将碎片后无效背景小于预设阀值的碎片图像作为待处理图像；
染色区域提取模块：用于将所述待处理图像导入基于机器学习的聚类算法模型，确定只含有染色区域的目标图像；
特性曲线生成模块：用于将所述目标图像的染色区域通过RGB控制键转换到HSV空间，并在HSV空间中生成特性曲线，并计算所述特性曲线的函数多项式特征；
判读模块：用于根据所述函数多项式特征，对每个目标图像进行自动判读，确定每个目标图像的评分，并输入可视化人工智能分析设备，确定分析结果;
所述图像归一化模块生成同色病理图像，包括如下步骤：
步骤1：根据所述归一化处理，确定同色病理图像中每个图像区域的归一化值：
Figure DEST_PATH_IMAGE001
Figure 953350DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure 323021DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
表示第
Figure 40441DEST_PATH_IMAGE006
个染色点的归一化特征参数；
Figure DEST_PATH_IMAGE007
表示第
Figure 124066DEST_PATH_IMAGE006
个染色区域的面积；
Figure 469596DEST_PATH_IMAGE008
表示第
Figure 26480DEST_PATH_IMAGE006
个染色点为
Figure 700038DEST_PATH_IMAGE009
区域的像素点；
Figure 695675DEST_PATH_IMAGE010
表示第
Figure 20346DEST_PATH_IMAGE006
个染色点为最小染色区域的像素点；
Figure 544869DEST_PATH_IMAGE011
表示第
Figure 33619DEST_PATH_IMAGE006
个染色体对应的染色区域;
Figure 177155DEST_PATH_IMAGE012
表示第
Figure 497278DEST_PATH_IMAGE006
个像素点为最大染色区域的像素点；
Figure 75590DEST_PATH_IMAGE013
为正整数，
Figure 848374DEST_PATH_IMAGE014
；
步骤2：根据所述归一化值，构建同色病理图像：
Figure 857919DEST_PATH_IMAGE015
，
Figure 907914DEST_PATH_IMAGE016
其中，
Figure 39818DEST_PATH_IMAGE017
表示第
Figure 424532DEST_PATH_IMAGE006
个染色点的颜色深度；
Figure 34505DEST_PATH_IMAGE018
表示拼接系数；
Figure 266903DEST_PATH_IMAGE019
表示
Figure 445075DEST_PATH_IMAGE020
区域；
Figure 926872DEST_PATH_IMAGE021
表示同色病 理图像;
所述特性曲线生成模块包括：
转化模块：用于将所述目标图像的染色区域从RGB空间转换至HSV空间，并确定第一空间饱和度；
计算单元：用于计算所述目标图像在HSV空间中的第二空间饱和度，并确定所述第二空间饱和度在明度不变的情况下，高于预设区间的对比比例；
特性曲线搭建单元：用于根据对比比例，构建所述预设区间中每张目标图像的特性曲线；
多项式计算单元：用于根据所述特性曲线在预设区间上的取值和斜率特征，生成拟合后的函数多项式特征
所述特性曲线搭建单元确定目标图像的特性曲线包括：
根据对比比例和HSV空间的参数，构建特性曲线：
Figure 232213DEST_PATH_IMAGE022
；
其中，
Figure 115856DEST_PATH_IMAGE023
表示预设区间的区间最大值；
Figure 464929DEST_PATH_IMAGE024
表示预设区间的最小值；
Figure 434022DEST_PATH_IMAGE025
表示对比比例；
Figure 589060DEST_PATH_IMAGE026
表示色调参数；
Figure 717421DEST_PATH_IMAGE027
表示饱和度参数；
Figure 362029DEST_PATH_IMAGE028
表示明度参数；
Figure 693785DEST_PATH_IMAGE029
表示特性曲线。
2.如权利要求1所述的一种基于特性曲线的HER-2免疫组化自动判读***，其特征在于，所述图像归一化模块包括：
图片获取单元：用于通过预设的扫描设备获取待处理病理图片；
检测单元：用于将所述病理图片进行染色检测，确定每张待处理病理图片的染色试剂，并确定染色颜色；
归一化处理单元：用于根据所述染色颜色，确定所述待处理病理图片的颜色分布参数，并根据所述颜色分布参数将所述待处理病理图像进行颜色归一化处理，生成同色病理图像。
3.如权利要求1所述的一种基于特性曲线的HER-2免疫组化自动判读***，其特征在于，所述前景背景分割模块包括：
前景检测单元：用于对所述同色病理图像的染色区域和组织细胞进行检测，并将所述染色区域和组织细胞的区域作为前景图像；
背景检测单元：用于根据所述前景图像，确定所述同色病理图像中的非前景图像部分，并将其作为无效背景图像；
分割单元：用于根据所述前景图像和无效背景图像，对所述同色病理图像进行均匀分割，生成相同大小的分割图像；
区分单元：用于将所述病理图像进行缩小，并在缩小后通过形态学开运算和闭运算，并根据运算结果和预设阀值进行组织区分，确定组织区分信息，并将组织区分后的图像放大至原图像大小；
二值化单元：用于根据所述分割图像和组织区分信息，生成背景分离的二值化图像。
4.如权利要求1所述的一种基于特性曲线的HER-2免疫组化自动判读***，其特征在于，所述前处理模块包括：
背景检测单元：用于对所述二值化图像进行检测，确定背景分布信息；
阀值设定单元：用于获取用户的检测需求，确定病理图像中背景要求，根据所述背景要求，设定背景保留阀值；
碎片化单元：用于将所述二值化图像划分为小于所述背景保留阀值的碎片图像；
待处理模块：用于对所述碎片图像进行整理，并作为待处理图像。
5.如权利要求1所述的一种基于特性曲线的HER-2免疫组化自动判读***，其特征在于，所述染色区域提取模块包括：
RGB空间检测单元：用于将所述待处理图像进行基于RGB颜色空间的分析，确定所述待处理图像的RGB信息；
分离单元：用于根据所述RGB信息，通过基于机器学习聚类算法将所述待处理图像进行RGB颜色空间分离，确定个待分类图像每一聚类的中心点的RGB；
标签单元：用于根据所述待分类图像中像素点和所述中心点的欧几里得距离确定染色区域的颜色标签；
形态学计算单元：用于根据所述颜色标签，通过形态学开运算计算所述待处理图像，确定染色区域，并生成只含有染色区域的目标图像。
6.如权利要求1所述的一种基于特性曲线的HER-2免疫组化自动判读***，其特征在于，所述判读模块包括：
评分标准确定单元：用于根据所述函数多项式特征，确定目标图像取值评分标准和斜率评分标准；
判断单元：用于根据所述取值评分标准和斜率评分标准，分别对每张目标图像进行自动判读，确定判读评分；
最终评分单元：用于根据所述判读评分，确定每个分值下目标图像的比例，根据比例对所述判读评分在此计算，确定最终评分；
智能化分析单元：用于根据所述最终评分，通过预设可视化人工智能分析设备，对不同最终评分的目标图像进行分析，确定分析结果。
CN202110578133.7A 2021-05-26 2021-05-26 一种基于特性曲线的her-2免疫组化自动判读*** Active CN113469939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110578133.7A CN113469939B (zh) 2021-05-26 2021-05-26 一种基于特性曲线的her-2免疫组化自动判读***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110578133.7A CN113469939B (zh) 2021-05-26 2021-05-26 一种基于特性曲线的her-2免疫组化自动判读***

Publications (2)

Publication Number Publication Date
CN113469939A CN113469939A (zh) 2021-10-01
CN113469939B true CN113469939B (zh) 2022-05-03

Family

ID=77871322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110578133.7A Active CN113469939B (zh) 2021-05-26 2021-05-26 一种基于特性曲线的her-2免疫组化自动判读***

Country Status (1)

Country Link
CN (1) CN113469939B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116643975B (zh) * 2023-05-12 2024-06-25 深圳市火族科技有限公司 图片生成模块输出稳定性的测试方法、***及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354405A (zh) * 2014-08-20 2016-02-24 中国科学院上海高等研究院 基于机器学习的免疫组化图像自动化判读***
CN107402296A (zh) * 2017-08-22 2017-11-28 亚能生物技术（深圳）有限公司 一种循环肿瘤细胞的免疫荧光染色及判读方法
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及***
CN111145176A (zh) * 2019-04-15 2020-05-12 青岛大学 一种基于深度神经网络的胃癌***染色病理图像自动识别方法和***
CN111247596A (zh) * 2017-10-20 2020-06-05 基恩菲特公司 组织学图像的自动化图案识别和评分方法
CN111583185A (zh) * 2020-04-14 2020-08-25 山东省千佛山医院 基于病理免疫组织化学的Ki67细胞核计数方法及***

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
EP3839812A3 (en) * 2014-09-03 2021-09-01 Ventana Medical Systems, Inc. Systems and methods for generating regions in an image encompassing tumor cells
CN105550651B (zh) * 2015-12-14 2019-12-24 中国科学院深圳先进技术研究院 一种数字病理切片全景图像自动分析方法及***
CN110088804B (zh) * 2016-12-22 2023-06-27 文塔纳医疗***公司 基于原色和免疫组织化学图像的计算机评分
CN106846343A (zh) * 2017-03-09 2017-06-13 东南大学 一种基于聚类超像素分割的病理图像特征提取方法
CN107705336B (zh) * 2017-04-15 2021-08-06 北京航空航天大学 一种病理图像染色成分调节方法
CN117174263A (zh) * 2017-08-04 2023-12-05 文塔纳医疗***公司 用于图像处理的自动测定评估和归一化
CN111448569B (zh) * 2017-12-06 2023-09-26 文塔纳医疗***公司 存储和检索数字病理学分析结果的方法
CN108830874A (zh) * 2018-04-19 2018-11-16 麦克奥迪（厦门）医疗诊断***有限公司 一种数字病理全切片图像空白区域自动分割方法
CN110246116B (zh) * 2019-04-24 2020-12-25 创新工场(北京)企业管理股份有限公司 数字病理切片由he染色到ihc染色的计算机自动生成方法
CN110223303A (zh) * 2019-05-13 2019-09-10 清华大学 He染色器官病理图像分割方法、装置
CN110265142B (zh) * 2019-06-11 2020-06-09 透彻影像(北京)科技有限公司 一种用于病变区域复原图的辅助诊断***
CN111048183B (zh) * 2019-11-15 2024-01-30 广州金域医学检验中心有限公司 数字病理图像均一化的方法、装置、设备及存储介质
CN111401214B (zh) * 2020-03-12 2023-04-18 四川大学华西医院 一种基于深度学习的多分辨率集成her2判读方法
CN111564205A (zh) * 2020-05-14 2020-08-21 湖南品信生物工程有限公司 一种病理图像染色归一化方法及装置
CN112435243A (zh) * 2020-11-26 2021-03-02 山东第一医科大学附属省立医院(山东省立医院) 一种全切片数字病理图像的自动分析***及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354405A (zh) * 2014-08-20 2016-02-24 中国科学院上海高等研究院 基于机器学习的免疫组化图像自动化判读***
CN107402296A (zh) * 2017-08-22 2017-11-28 亚能生物技术（深圳）有限公司 一种循环肿瘤细胞的免疫荧光染色及判读方法
CN111247596A (zh) * 2017-10-20 2020-06-05 基恩菲特公司 组织学图像的自动化图案识别和评分方法
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及***
CN111145176A (zh) * 2019-04-15 2020-05-12 青岛大学 一种基于深度神经网络的胃癌***染色病理图像自动识别方法和***
CN111583185A (zh) * 2020-04-14 2020-08-25 山东省千佛山医院 基于病理免疫组织化学的Ki67细胞核计数方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Temperature‐regulated gold nanoparticle sensors for immune chromatographic rapid test kits with reproducible sensitivity: a study;Prince Manta等;《IET Nanobiotechnology》;20201023;第338-346页 *
免疫组化彩色细胞图像自动分割的研究;傅蓉;《中国医学物理学杂志》;20081115;第25卷(第06期);第890-894、898页 *
同一观察者对乳腺癌Ki67免疫组化检测结果判读重复性研究;于鹤;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20190115(第（2019）01期);E072-3158 *
数字图像分析在病理诊断中的应用综述;余婷等;《解放军医学院学报》;20200531;第41卷(第5期);第539-542页 *

Also Published As

Publication number Publication date
CN113469939A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
Malpica et al. Applying watershed algorithms to the segmentation of clustered nuclei
JP6086949B2 (ja) 色原体分離に基づく画像解析の方法
CN109903284B (zh) 一种her2免疫组化图像自动判别方法及***
JP7458519B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
CN112435243A (zh) 一种全切片数字病理图像的自动分析***及方法
CN111986150B (zh) 一种数字病理图像的交互式标注精细化方法
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN112990015B (zh) 一种病变细胞自动识别方法、装置和电子设备
Jia et al. Multi-layer segmentation framework for cell nuclei using improved GVF Snake model, Watershed, and ellipse fitting
CN110060229A (zh) 一种骨髓白细胞的细胞自动定位分割方法
CN109785310A (zh) 一种基于乳腺***全景图像计算的自动分期***
CN112990214A (zh) 一种医学图像特征识别预测模型
Anari et al. Computer-aided detection of proliferative cells and mitosis index in immunohistichemically images of meningioma
CN113469939B (zh) 一种基于特性曲线的her-2免疫组化自动判读***
CN113470041B (zh) 免疫组化细胞图像细胞核分割与计数方法和***
JP7156361B2 (ja) 画像処理方法、画像処理装置及びプログラム
CN114743672A (zh) 一种nsclc***转移风险的智能预测方法及***
CN113762395B (zh) 一种胰胆管型壶腹癌分类模型生成方法及图像分类方法
CN115206495A (zh) 基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置
CN114782372A (zh) Dna荧光原位杂交bcr/abl融合状态检测方法、检测***
CN114387596A (zh) 细胞病理涂片自动判读***
CN112967262B (zh) 一种基于形态学分割和深度学习的尿沉渣管型识别方法
CN117496276B (zh) 肺癌细胞形态学分析、识别方法及计算机可读存储介质
Yang et al. Application of intelligent image processing in precision diagnosis of pulmonary ground glass nodules

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221026

Address after: 100000 608, Floor 6, No. 39, Lianhuachi East Road, Haidian District, Beijing

Patentee after: Beijing Thorough Future Technology Co.,Ltd.

Address before: Room 513, 5 / F, building C, 18 Xihuan South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee before: TOUCHE IMAGE (BEIJING) TECHNOLOGY Co.,Ltd.