CN111095358B - 辅助组织样本分析的载玻片图像颜色反卷积***及方法 - Google Patents
辅助组织样本分析的载玻片图像颜色反卷积***及方法 Download PDFInfo
- Publication number
- CN111095358B CN111095358B CN201880058968.6A CN201880058968A CN111095358B CN 111095358 B CN111095358 B CN 111095358B CN 201880058968 A CN201880058968 A CN 201880058968A CN 111095358 B CN111095358 B CN 111095358B
- Authority
- CN
- China
- Prior art keywords
- dye
- vector
- image
- tissue
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004458 analytical method Methods 0.000 title claims abstract description 27
- 239000011521 glass Substances 0.000 title description 3
- 239000013598 vector Substances 0.000 claims abstract description 67
- 238000010186 staining Methods 0.000 claims abstract description 22
- 239000000975 dye Substances 0.000 claims description 98
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 16
- 239000012472 biological sample Substances 0.000 claims description 9
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 7
- 239000000470 constituent Substances 0.000 claims description 3
- 238000009826 distribution Methods 0.000 abstract description 17
- 238000004043 dyeing Methods 0.000 abstract description 5
- 230000003595 spectral effect Effects 0.000 abstract description 5
- 210000001519 tissue Anatomy 0.000 description 75
- 238000003860 storage Methods 0.000 description 18
- 239000000090 biomarker Substances 0.000 description 17
- 239000000523 sample Substances 0.000 description 11
- 210000004027 cell Anatomy 0.000 description 10
- 238000003556 assay Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 239000003550 marker Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 102000004169 proteins and genes Human genes 0.000 description 7
- 108090000623 proteins and genes Proteins 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000002055 immunohistochemical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 238000004113 cell culture Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 210000002865 immune cell Anatomy 0.000 description 2
- 238000007901 in situ hybridization Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- -1 tissue sections Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000001744 histochemical effect Effects 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001926 lymphatic effect Effects 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 210000002536 stromal cell Anatomy 0.000 description 1
- 239000013076 target substance Substances 0.000 description 1
- 230000004797 therapeutic response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
一种组织分析***和方法,用于通过估计从染色***配置获得的染料分量图像,对从染色生物组织样品获得的RGB数字图像进行光谱反卷积,其中假设参考染料向量从已知的颜色分布中采样。染色***的染料差异性的先验知识被用作初始参考染料向量及其差异性的统计分布。基于初始参考染料向量分布,组织分析***确定输入图像的参考染料向量和染料分量图像。然后基于参考染料向量和染料分量图像对图像进行反卷积。
Description
技术领域
本公开总体上涉及用于癌症组织诊断的数字病理学中的成像***和方法。更具体地,本公开涉及H&E染色的载玻片图像的颜色反卷积,所述载玻片图像被数字捕获为多色通道图像,例如红、绿和蓝(RGB)通道图像,用于同时估计染料分量图像和识别化验的生理学上可信的参考染料向量。
背景技术
在诸如组织切片、血液、细胞培养物等生物样本的分析中,生物样本被安置在载玻片上并用染料和生物标记物的一种或多种组合进行染色,并且对所得的组织载玻片进行观察或成像以供进一步分析。组织载玻片可以包括生物样本,例如来自人类受试者的组织切片,其用包含荧光团或色原体的染料处理,所述荧光团或色原体与结合样本中的蛋白质、蛋白质片段或其他靶的抗体结合。
观察组织切片有助于各种过程,包括疾病的诊断、治疗反应的评估,以及抗疾病新药的开发。在扫描组织载玻片时,包括颜色通道的多个图像数据通道被导出,每个观察到的通道包括多个信号的混合。
化验染色最常见的例子之一是苏木精-伊红(H&E)染色,其包括两种有助于识别组织解剖信息的染料。H染料主要用通常呈蓝色的颜色来对细胞核染色,而E染料主要作为细胞质的通常呈粉红色的染料。特殊的染色化验可以根据组织中的靶物质的化学特性、生物特性或病理特性来识别这些靶物质。
免疫组织化学(IHC)化验包括一种或多种与抗体结合的染料,所述抗体与样本中的蛋白质、蛋白质片段或其他感兴趣的结构(以下称为靶)结合。将样本中的靶与染料结合的抗体和其他化合物(或物质)在本文中被称为生物标记物。
对于H&E或特殊染色化验,生物标记物与染料(例如苏木精复染)有固定的关系,而对于IHC化验,可以针对生物标记物利用染料的选择来开发和创建新的化验。生物样本在成像前根据化验进行制备。在向组织施加单个光源、一系列多个光源或任何其他输入光谱源时,组织载玻片可以由观察者评估,通常通过显微镜,或者可以从化验中获取图像数据用于进一步处理。
在这样的采集中,导出多个通道(例如颜色通道)的图像数据,每个所观察的通道包括多个信号的混合,其中每个信号代表组织中特定的染料表达,并且信号的数量对应于用于对组织进行染色的染料数量。所述图像数据的处理可以包括颜色反卷积的方法,也称为光谱解混、颜色分离等,用于从观察到的一个或多个图像数据通道中确定特定染料的局部浓度。对于在显示器上描绘的通过自动方法处理的图像数据,或者对于由观察者观察的组织载玻片,可以确定染色组织的局部外观与所应用的染料和生物标记物之间的关系,以确定染色组织中生物标记物分布的模型。
通常,颜色反卷积用于确定一个或多个所观察的通道中特定染料的浓度。扫描图像的每个像素由图像值的向量或颜色向量表示,并且每种染料对应于参考染料向量,本文中也称为参考向量,并且被称为参考光谱。一个像素处的局部染料浓度由参考染料向量的比例因子表示。
然而,根据常规的颜色反卷积方法,包含具有不同浓度的多个共定位染料的像素的颜色向量被假定为所有当前染料的参考光谱的线性组合。通常,荧光成像颜色通道直接提供图像向量和参考光谱。在明场成像中,染色组织发出的光强度被转换到光密度空间,这是捕获的RGB图像数据的对数转换,不同染料的混合也由贡献参考光谱的线性加权组合来表示。
反卷积过程提取染色特异性通道,以使用标准类型的组织和染料组合中众所周知的参考光谱来确定单个染料的局部浓度。然而,在染色和组织固定期间,纯染料的参考光谱往往随组织类型、受控和非受控过程参数而变化。例如,基于组织的年龄,染料的年龄,组织如何储存、脱水、固定、嵌入、切割等,组织类型内总是存在差异。这些差异会影响染料的呈现方式,并且会在解混过程的结果中产生不想要的伪像。结果,将颜色分解过程表示为具有假设的固定和已知参考向量的线性矩阵方程的传统方法不一定能够识别组织载玻片内生理学上可信的染料分量图像。当参考向量被假定为先验未知时,该问题是一个非线性优化问题,其中参考染料向量以及染料分量图像需要被估计。
当将包含3个彩色(RGB)通道的亮场图像反卷积为双通道、H&E分量图像时,这种担心变得明显。类似地,当将多通道荧光图像反卷积时,这种担心进一步加剧,假设已知和固定的参考向量,包含几个过滤接收器通道(例如,在一个荧光扫描仪中,16个通道)到相应的染料分量图像中。
解决颜色反卷积问题的常用方法是假设参考向量是固定的且已知的。结果,颜色反卷积问题被简化为在每个像素处求解线性矩阵方程,以便识别生理学上可信的染料分量图像。参考以下出版物:
·Ruifrok,Arnout C.,and Dennis A.Johnston.“Quantification ofhistochemical staining by color deconvolution.”Analytical and quantitativecytology and histology 23.4(2001):291-299.
·Niethammer、Marc等人“Appearance normalization of histology slides.”International Workshop on Machine Learning in Medical Imaging.Springer BerlinHeidelberg,2010。
然而,在参考染料向量和染料分量图像都是未知的并且都需要被估计的情况下,颜色反卷积方程是非线性的。求解非线性方程的常规解法可分为两种不同的类型。第一种类型是使用非负矩阵因式分解(NNMF)方法的数学变体,其中以迭代方式输出参考向量的数学最优解和染料分量图像。第二种类型是利用图像分析方法,首先分割图像,以近似识别细胞目标轮廓和组织背景,从中估计参考向量,随后通过求解线性方程来计算染料分量图像。文献中已经提出了这种方法的多种变体。在任何一种情况下,非线性问题的数学解都是非唯一的,因此所获得的解既不被约束也不保证估计并且与对应于物理染色过程的参考向量一致。
在本公开出现之前,还没有从组织载玻片的图像中同时估计唯一颜色参考向量和染料分量图像的方法。
发明内容
本公开尤其通过提供一种组织分析***和方法来解决上述问题,该组织分析***和方法用于通过估计从染色***配置中获得的染料分量图像来对组织图像进行反卷积,其中假设参考染料向量是从已知颜色分布中采样的。本组织分析***包括存储数字编码指令的数字存储介质,该数字编码指令可由处理器执行以实现本公开的方法。
染色***的染料差异性的先验知识被用作初始参考染料向量及其差异性的统计分布。在一个实施方案中,输入图像的参考染料向量和染料分量图像都是基于初始参考染料向量分布来确定的。然后,基于参考染料向量和染料分量图像,所述图像被反卷积成至少两通道的构成染料分量图像。
染料差异性的先验知识可以通过在转移概率上分配高斯先验(作为矩阵框架中的参考向量)而被成功采用。随后,高斯先验可以使用期望最大化(EM)模型在两个连续的E步和M步中迭代应用,直到获得收敛。
根据另一个实施方案,人工潜变量被定义为包括作为苏木精向量和伊红向量的叉积的人工潜变量留数,Resi,以便产生独立于第一和第二染料向量的向量。
在一个具体的示例性实施方案中,本公开提供了一种组织分析***和一种方法,用于对从染色的生物H&E组织样品获得的像素化的RGB数字图像进行光谱/颜色反卷积。所述反卷积方法包括输入从生物组织样品获得的图像数据,并从存储器读取参考数据,其中参考数据可以描述每个像素的染料颜色。
输入图像的每个像素可以被分解成无监督的潜变量,可以对其应用高斯先验,以便监督图像的反卷积。然后,将人工潜变量分配给图像中包含的可疑异质像素,并呈现两个监督的构成反卷积H&E图像(或分量)以供分析或进一步处理。
附图说明
本专利或申请文件含有至少一个彩制附图。本专利或专利申请出版物的彩色附图副本将由官方应要求提供,并需支付必要的费用。
将参考具体实施方式、权利要求和附图更详细地描述本公开文本的各种特征以及实现它们的方式,其中:
图1描绘了根据本主题公开的示例性实施方案的用于图像反卷积的基于计算机的自动组织分析***;
图2示出了根据本主题公开的示例性实施方案的由图1的组织分析***将RGB染色图像反卷积成两个H&E图像的工作流程;并且
图3描绘了根据本公开的示例性实施方案的将RGB图像反卷积成H&E图像(或分量)的图示。
应当明白,为了说明的简单和清楚起见,可以在附图中重复使用附图标记来指示对应或类似的特征。
具体实施方式
图1描绘了根据本主题公开的示例性实施方案的基于计算机的自动分析***100,用于将三通道染色载玻片数字RGB组织图像210(图3)反卷积成双通道分量图像,例如H通道图像290和E通道图像291(图3)。分析***100可适于分析生物样本,例如载玻片上提供的组织。如本文所用,术语“组织样本”包括任何类型的生物样本,例如组织切片、血液、细胞培养物和类似的生物样品,它们可以安置在载玻片上。
该组织图像可以是例如多通道彩色图像,例如RGB(或任何等效的颜色空间,例如CYMK、Lab、YUV HSV等)或组织样品的其他多通道彩色图像。特别地,图像数据可以包括由代表组织图像的多个像素组成的像素矩阵。多通道彩色图像可以包括多个颜色通道,例如3到数个(例如在荧光***中为16个)颜色通道。这样,每个像素可以包括每个颜色通道(例如,RGB图像的红色、绿色和蓝色通道中的每一个通道)的颜色信息。
分析***100可以存储和处理代表组织图像的图像数据。如本文所使用的,术语“图像数据”包括(例如通过光学传感器或传感器阵列,在本文中被整体称作成像模块110)从生物组织样品获取的像素的原始图像数据。分析***100可以包括组织图像数据存储模块或数据库170,其存储代表RGB组织图像210的多个像素。
数据库170可以存储颜色数据,例如指示染料颜色的颜色数据。这种颜色数据也被称为“参考数据”。颜色数据可以描述染料的单一频率或特征光谱曲线。成像模块110可以存储多种染料中的每一种的颜色数据。在本文中,术语“染料”可以广义地理解为任何类型的标记物,例如抗体、着色剂或适于对组织中的生物标记物进行标记(即“染色”)的染料。此外,动词“染色”不限于将染料应用于组织,而是同样可以包括将组织暴露于任何类型的标记物,例如抗体或着色剂,以标记组织中的生物标记物。
在本公开中,术语“标记物”可以被理解为允许生物标记物与周围组织和/或其他生物标记物相区别的染料、着色剂或标签。术语“生物标记物”可以在组织特征的意义上理解,例如特定细胞类型的存在,例如免疫细胞,更具体地,指示医学状况的组织特征。生物标记物可以通过组织特征中特定分子(例如蛋白质)的存在来识别。
标签可能被染色或着色。标签可以是抗体,例如,对特定生物标记物的蛋白质具有亲和力的抗体。标记物可对特定生物标记物具有亲和力,例如对特定分子、蛋白质、细胞结构或指示特定生物标记物的细胞。标记物对其具有亲和力的生物标记物对于相应的标记物可以是特异性的或独特的。标记物可以用颜色标记组织,即组织中的生物标记物。由相应的标记物标记的组织的颜色对于相应的标记物可以是特异性的或独特的。
分析***100可包括可由计算机101或处理器102执行的多个处理模块或逻辑指令。本文所理解的“模块”可以实现为硬件模块,或者实现为包含软件、指令代码、硬件模块或其组合的软件模块,其提供相应的功能,并且可以存储在存储器105中(或者可以由处理器101访问的另一个存储器中)。除了处理器102和存储器105,计算机101还可以包括用户输入和输出设备,例如键盘、鼠标、触笔和显示器/触摸屏。如将在下面的讨论中解释的,处理器102可以执行存储在存储器105中的逻辑指令,执行图像分析和其他定量操作,使结果输出到操作计算机101的用户或经由网络输出结果。
在一个实施方案中,成像模块110可以将来自一个或多个扫描载玻片的图像数据提供给例如存储器105或数据库170。图像数据可以包括图像,以及与所使用的特定染料和生成图像的成像平台相关的任何信息。本公开可适用于示出染色组织切片的一组RGB数字图像210(图2)。尽管为了说明的目的,在此描述的载玻片用苏木精和伊红(H&E)染色,但是应该清楚的是,也可以使用其他染色方法,例如:特殊染色、免疫组织化学(IHC)、原位杂交(ISH)或其他具有明场显色原或荧光标记的染色技术。可以在产生视场图像、大面积扫描或全载玻片扫描的明视场或荧光成像器中产生RGB数字图像210。
可以执行感兴趣对象提取模块120,以便于后续的自动图像分析来识别和提取感兴趣对象。在一个实施方案中,感兴趣的对象包括组织样本内的所有细胞。应当理解,虽然本公开将组织细胞称为感兴趣的对象,但是本公开不限于组织细胞,并且可以扩展到例如组织上的一系列细胞,如肿瘤细胞、免疫细胞或基质细胞,或者包括在数字图像中描绘的其他感兴趣的对象,如血管、***、肿瘤腺体、气道、淋巴聚集物和其他对象。
特征提取模块130可以被执行来采样和构造不同染料的参考向量的概率分布,以便于通过使用例如已知或可用的图像处理方法来提取和测量每个单独细胞的特征来进行特征提取。待提取的示例性细胞特征可包括细胞坐标(或位置)、染色强度、染色反应、染料颜色等。
在一个实施方案中,在RGB组织载玻片上的颜色外观是由于两个不同的来源:反映染色***差异性的染料参考颜色向量,以及反映潜在生物组织差异性的染料分量图像,如下式所示,其中下式的每个元素代表一个矩阵:
[R,G,B组织切片]=[H的颜色向量,E的颜色向量]X
[H的染料分量图像,E的染料分量图像]
染色***的差异性可以是染色平台中典型的***与***之间的差异性,例如所使用的特定批次试剂,固定时间、温度和其他***参数的选择,以及用于数字化组织载玻片的组织载玻片扫描仪。因此,染色过程中的差异性导致参考染料向量在某些特定界限内的随机颜色变化,这些特定界限是特定染色***配置所特有的。
尽管参考染料向量是未知的,但是对于特定的染色***配置,特定组织载玻片中的参考染料向量可以被假设为从已知的颜色向量概率分布中随机采样的观察。对于给定的染色***和所使用的试剂(例如VENTANA Symphony或Ventana HE 600)以及特定的组织载玻片扫描仪(例如VENTANA iScan HT或iScan Coreo),可以通过实验测量颜色向量分布,以及根据在不同条件下染色和数字化的若干组织载玻片的训练样品集来表征颜色向量分布。
等效地,参考颜色向量是从几个组织切片中的一组细胞和组织背景手动采样的,并且将统计参数概率模型拟合到采样的像素数据。例如,对于染料的3维颜色向量(RGB),相应的颜色分布可以是RGB或光密度空间中的3维高斯分布。
为此,模块140使用可存储在存储装置或数据库170中的染料差异性的先验知识。由于用于生成RGB数字图像210的染料的制造商特征是已知的(或通过实验获得的),所以这些特征可以存储在存储装置或数据库170中,并被模块140用作先验高斯分布的参数设置。染料差异性的先验知识可以通过在转移概率上分配高斯先验(作为矩阵框架中的参考向量)而被成功采用。
这个特性代表了对标准潜变量分解(LVD)模型的一种新的背离。分析***100将对象数据分解成无监督的潜变量。换句话说,分析***100通过实现概率LVD模型在RGB数字图像210(图2)上建立颜色反卷积。LVD颜色分解模型可由以下等式(1)表示:
其中Pn(f)表示在nth数据(具体为像素)中绘制特征f的概率(例如,特征可以是像素颜色(R,G,B)的光密度变换),并且其中P(f|z)是列特定条件概率给定潜变量z(具体为H和E),并且Pn(z)是nth数据(像素)的潜变量的概率。在这里,P(f|z)反映了参考染料向量,并且Pn(z)与任意nth像素位置的染料分量图像成比例。并且Pn(f)与像素RGB强度值的光密度表示成比例。对于MxN的图像,n的值在1到M*N的范围内,并且索引z,参考染料的潜变量和在H&E图像中(因为有两个通道(H和E))z取两个离散值1和2。
基于前述LVD模型等式(1),模块140可以将高斯先验分配给绘制特征的概率f,P(f|z),如以下等式(2)所示:
P(f|z)~N(τz,f,qz,f) (2)
其中τz,f和qz,f表示高斯分布的均值和标准差。这种分布代表特定染色配置的参考颜色分布。为此,并且为了统计地估计潜变量,模块140可以根据下面的等式(3)和(4),使用期望最大化(EM)算法,在两个连续的步骤中迭代地应用高斯先验:
E步:
M步:
这两个步骤将继续迭代应用,从E步骤开始,直到达到收敛,此时迭代终止。Pn(z|f)是参考染料向量的估计。
在前述分析中,标准潜变量分解假设数据是同质的,并且只能被描述为参考染料向量的线性组合,省略了不能被容易地分类为苏木精染料或伊红染料的单个区域(也称为像差或异质对象)300(图3)。例如,这些区域对应于组织载玻片上的透明玻璃背景或对应于组织中的脂肪和腔的空白。为了解决这个问题,分析***100的模块150将人工潜变量分配给可疑异质对象300。人工潜变量对应于不能被描述为任何参考颜色的线性组合的颜色。
为此,基于前述等式(1)和(2),模块150创建人工潜变量留数或“Resi”,其参考概率被定义为苏木精(H)向量和伊红(E)向量的叉积,以便生成独立于苏木精(H)向量和伊红向量€的向量。由下列等式(5)和(6)得到的H和E向量的叉积:
其中约束条件为Resi∈N(H,E)。
反卷积H&E通道渲染模块180可以完成H通道图像290和E通道图像291的渲染,并且可以将渲染的H&E图像290、291传输到存储装置/数据库170用于存储或进一步处理。然后,本地或远程用户站、服务器或网络可以访问渲染的H&E图像290、291。
进一步参考图2,工作流200可以通过成像模块110将一组RGB数字图像210与染色组织切片输入到分析***100。在步骤220,可以使用自动、半自动或交互式图像分析方法或算法来检测RGB数字图像210中的每个感兴趣的对象,例如每个像素。
在步骤230,可以执行特征提取模块130来提取期望的定量特征,例如每个像素的颜色(步骤230)。基于提取的特征,模块140使用可存储在存储装置或数据库170中的染料差异性的先验知识,以便监督潜变量(步骤240)。如前所述,模块140可以使用期望最大化(EM)算法,在两个连续的E然后M的步骤中迭代地应用高斯先验。这两个步骤将继续迭代应用,从E步骤开始,直到达到收敛,此时迭代终止。
在步骤250,分析***100的模块150通过创建人工潜变量留数或“Resi”(其参考概率被定义为E和H的叉积)来将人工潜变量分配给可疑异质对象300。所得到的反卷积H&E图像290、291然后被渲染并存储在存储装置或数据库170中,用于评估或处理。
在本文描述的每个流程图中,一种或多种方法可以被实施在包含计算机可读代码的计算机可读介质中,使得当计算机可读代码在计算装置上执行时一系列步骤被完成。在一些实施方式中,在不脱离本发明的精神和范围的情况下,方法的某些步骤被组合、同时或以不同顺序完成或者可能被省略。因此,虽然以具体顺序描述和展示了方法步骤,但是特定步骤顺序的使用并不意味着暗示对本发明的任何限制。在不脱离本公开文本的精神或范围的情况下,可以对步骤顺序进行改变。因此,具体顺序的使用不应被视为具有限制意义,并且本公开文本的范围仅由所附权利要求书限定。
如本领域技术人员将明白的,本公开文本的各方面可以被实施为***、方法或计算机程序产品。因此,本公开的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或将软件及硬件方面组合的实施方案的形式,这些方面通常在本文中可以称为“电路”、“模块”或“***”。另外,本公开的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式,该计算机可读介质具有在其上实现的计算机可读程序代码。
还应理解,可以使用软件、固件或硬件的任何组合来实施本公开文本的实施方案中的过程。作为在软件中实践本公开文本的准备步骤,编程代码(无论是软件还是固件)通常会存储在一个或多个计算机可读存储介质中,这些计算机可读存储介质例如但不限于电子、磁性、光学、电磁、红外、或半导体***、设备或装置或者前述各项的任何合适的组合。计算机可读存储介质的更具体例子(非详尽列表)将包括以下项:具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述各项的任何合适的组合。在本文档的上下文中,计算机可读存储介质可以是可以包含或存储由指令执行***、设备或装置使用或者结合指令执行***、设备或装置使用的程序的任何有形介质。
包含编程代码的制品通过以下项来使用:直接从存储装置执行代码、或将代码从存储装置复制到另一个存储装置(诸如硬盘、RAM等)、或传输代码以供使用传输类型介质(诸如数字和模拟通信链路)的远程执行之用。可以通过将包含根据本公开文本的代码的一个或多个机器可读存储装置与适当的处理硬件组合以执行其中包含的代码来实践本公开文本的方法。用于实践本公开文本的设备可以是一个或多个处理装置和存储***,其包含或具有对根据本公开文本编码的程序的网络访问。
计算机可读信号介质可以包括其中实施了计算机可读程序代码的传播数据信号,例如在基带中或作为载波的部分。这种传播信号可以采取各种形式中的任何一种形式,包括(但不限于)电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质,其不是计算机可读存储介质并且可以通信、传播或传输程序,以供指令执行***、设备或装置使用或与指令执行***、设备或装置结合使用。
计算机可读介质上包括的程序代码可以使用任何适当的介质传输,该介质包括但不限于无线、有线、光纤电缆、射频等或前述各项的任何合适的组合。用于执行本公开的各方面的操作的计算机程序代码可以一种或多种编程语言(包括诸如Java、Smalltalk、C++等-面向对象的编程语言)与常规的程序化编程语言(诸如“C”编程语言或类似编程语言)的任何组合来编写。程序代码可完全在用户的计算机上、部分地在用户的计算机上执行作为独立的软件包、部分在用户的计算机且部分在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种情况中,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或者可以(例如,通过使用互联网服务供应商的因特网)连接到外部计算机。
因此,重要的是,虽然在具有安装(或执行)的软件的全功能计算机(服务器)***的背景中描述了本公开文本的展示性实施方案,但是本领域技术人员将会明白的是,本公开文本的展示性实施方案的软件方面能够以各种形式作为程序产品分发,并且本公开文本的展示性实施方案同样适用,而与用于实际执行分发的特定类型的介质无关。
另外,虽然已经参考示例性实施方案描述了本公开文本,但是本领域技术人员将会理解的是,在不脱离本公开文本的范围的情况下,可进行各种改变并且可用等同物替换其元件。另外,在不脱离本公开文本的实质范围的情况下,可以进行许多修改以使具体的***、装置或其部件适应本公开文本的教导。因此,意图是本公开文本不限于为实现本公开文本而公开的具体实施方案,而是本公开文本将包括落入所附权利要求书范围内的所有实施方案。
如本文所用,除非在上下文另外明确指出,否则单数形式“一”、“一个”和“该/所述”也旨在包括复数形式。应进一步理解的是,说明书中所用的术语“包括”和/或“包含”指定存在所述特征、整体、步骤、操作、元件和/或部件,但并不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合。另外,术语第一、第二等的使用不表示任何顺序或重要性,而是术语第一、第二等用于将一个元件与另一个元件区分开。另外,本文和所附权利要求中出于描述目的使用诸如“a”、“b”、“c”、“第一”、“第二”和“第三”等列举术语,并且这些术语不旨在指示或暗示相对重要性或意义。
下面的权利要求书中所有方法或步骤及功能元件的对应结构、材料、作用和等效物意图包括用于结合具体要求的其他所要求的元件来实现该功能的任何结构、材料或作用。本公开文本的描述已经为了展示及描述目的而呈现,但是不旨在详尽或限于所公开的形式的公开内容。在不脱离本公开文本范围和精神的前提下,本领域普通技术人员可显而易见地做出许多修改和变化。所选和所述的实施方案用于最好地解释本公开文本的原理及实践应用,同时让本领域普通技术人员了解多个实施方案,这些实施方案可针对特定的目标用途做出各种修改。
Claims (6)
1.一种用于对通过染色***染色的生物样本的多色通道图像进行反卷积的计算机执行的方法,其中所述图像具有未定义的参考染料向量和染料分量图像,所述方法包括:
接收通过染色***染色的生物样本的多色通道图像;
检测多色图像内的一个或多个图像对象;
自所述一个或多个图像对象提取特征;
使用提取的特征和与所述染色***对应的染料差异性数据指定高斯先验,其中所述染料差异性数据访问自数据库且包含多种染料中的每种染料的已知特征;
基于指定的高斯先验和概率潜变量模型,估计参考染料向量,
其中,通过迭代地应用指定的高斯先验估计所述概率潜变量模型的潜变量,
其中,使用期望最大化模型,在两个连续的E步和M步中迭代地应用所述高斯先验,从而估计所述参考染料向量,
且其中,所述两个连续的E步和M步继续迭代应用,并且在达到收敛后终止迭代;和
基于估计的参考染料向量,将多色图像反卷积成至少两个构成染料分量图像。
2.根据权利要求1所述的方法,其进一步包括:分配人工潜变量,包括将人工潜变量留数定义为第一染料向量和第二染料向量的叉积,以便生成独立于所述第一染料向量和第二染料向量的向量。
3.根据权利要求2所述的方法,其中所述第一染料向量包括苏木精向量,并且所述第二染料向量包括伊红向量。
4.根据权利要求1-3中任一项所述的方法,其中所述多色通道图像被反卷积成苏木精图像和伊红图像。
5.一种包括指令的非暂时性计算机可读介质,所述指令在由组织分析***的一个或多个处理器执行时使得所述组织分析***执行根据权利要求1-4中任一项所述的方法。
6.一种组织分析***,其包括一个或多个处理器,并联接到存储指令的至少一个存储器,所述指令在被所述一个或多个处理器执行时使所述组织分析***执行根据权利要求1-4中任一项所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762541628P | 2017-08-04 | 2017-08-04 | |
US62/541,628 | 2017-08-04 | ||
PCT/EP2018/070924 WO2019025515A1 (en) | 2017-08-04 | 2018-08-02 | SYSTEM AND METHOD FOR COLOR DECONVOLUTION OF A SLIDE TO HELP ANALYZE A TISSUE SPECIMEN |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111095358A CN111095358A (zh) | 2020-05-01 |
CN111095358B true CN111095358B (zh) | 2023-07-14 |
Family
ID=63165340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880058968.6A Active CN111095358B (zh) | 2017-08-04 | 2018-08-02 | 辅助组织样本分析的载玻片图像颜色反卷积***及方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11417021B2 (zh) |
EP (1) | EP3662448A1 (zh) |
JP (1) | JP7011036B2 (zh) |
CN (1) | CN111095358B (zh) |
WO (1) | WO2019025515A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022546430A (ja) | 2019-08-28 | 2022-11-04 | ベンタナ メディカル システムズ, インコーポレイテッド | 振動分光法によるバイオマーカー発現の無標識評価 |
US11621078B2 (en) | 2020-03-18 | 2023-04-04 | International Business Machines Corporation | Pre-processing whole slide images in cognitive medical pipelines |
CN112037208B (zh) * | 2020-09-01 | 2023-02-07 | 郑州中普医疗器械有限公司 | 离体生物样本染色图像的清晰度计算方法、电子设备和计算机可读存储介质 |
CN112651368B (zh) * | 2020-12-30 | 2023-03-28 | 宁波江丰生物信息技术有限公司 | 一种用于大尺寸细胞显微图像的dna倍体分析方法 |
US11455753B1 (en) * | 2021-05-12 | 2022-09-27 | PAIGE.AI, Inc. | Systems and methods to process electronic images to adjust attributes of the electronic images |
CN117495742B (zh) * | 2023-08-01 | 2024-05-31 | 西交利物浦大学 | 图像的染色转移方法、装置、设备及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140120321A (ko) * | 2012-02-01 | 2014-10-13 | 벤타나 메디컬 시스템즈, 인코포레이티드 | 조직 샘플들에 있어서의 유전자들을 검출하는 시스템 |
WO2014195193A1 (en) * | 2013-06-03 | 2014-12-11 | Ventana Medical Systems, Inc. | Image adaptive physiologically plausible color separation |
EP3053138B1 (en) | 2013-09-30 | 2018-08-22 | Ventana Medical Systems, Inc. | Systems and methods for adaptive histopathology image unmixing |
JP6604960B2 (ja) * | 2014-02-21 | 2019-11-13 | ベンタナ メディカル システムズ, インコーポレイテッド | バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析 |
WO2016016306A1 (en) * | 2014-08-01 | 2016-02-04 | Ventana Medical Systems, Inc. | Systems and methods for color deconvolution |
CN104408717A (zh) * | 2014-11-24 | 2015-03-11 | 北京航空航天大学 | 一种基于着色分离的病理图像颜色质量综合评价方法 |
CN105550651B (zh) * | 2015-12-14 | 2019-12-24 | 中国科学院深圳先进技术研究院 | 一种数字病理切片全景图像自动分析方法及*** |
CN105741266B (zh) * | 2016-01-22 | 2018-08-21 | 北京航空航天大学 | 一种病理图像细胞核快速定位方法 |
-
2018
- 2018-08-02 JP JP2020505315A patent/JP7011036B2/ja active Active
- 2018-08-02 WO PCT/EP2018/070924 patent/WO2019025515A1/en unknown
- 2018-08-02 CN CN201880058968.6A patent/CN111095358B/zh active Active
- 2018-08-02 EP EP18752711.4A patent/EP3662448A1/en active Pending
-
2020
- 2020-01-31 US US16/779,274 patent/US11417021B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11417021B2 (en) | 2022-08-16 |
JP7011036B2 (ja) | 2022-01-26 |
CN111095358A (zh) | 2020-05-01 |
US20200167965A1 (en) | 2020-05-28 |
EP3662448A1 (en) | 2020-06-10 |
JP2020530612A (ja) | 2020-10-22 |
WO2019025515A1 (en) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111095358B (zh) | 辅助组织样本分析的载玻片图像颜色反卷积***及方法 | |
CN111448582B (zh) | 用于单通道全细胞分割的***和方法 | |
US10755406B2 (en) | Systems and methods for co-expression analysis in immunoscore computation | |
EP3486836B1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
EP3662484B1 (en) | Automatic assay assessment and normalization for image processing | |
US10109052B2 (en) | Systems and methods for detection of structures and/or patterns in images | |
EP3005293B1 (en) | Image adaptive physiologically plausible color separation | |
JP5822425B2 (ja) | 顕微鏡像用に試料を染色する方法 | |
US7826650B2 (en) | Method for quantitative video-microscopy and associated system and computer software program product | |
US20200226462A1 (en) | Histopathological image analysis | |
US9792693B2 (en) | Spectral unmixing | |
US20160358335A1 (en) | Group sparsity model for image unmixing | |
EP3053138B1 (en) | Systems and methods for adaptive histopathology image unmixing | |
RU2690224C2 (ru) | Обследующее устройство для обработки и анализа изображения | |
US20100054560A1 (en) | Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program | |
US10430945B2 (en) | Systems and methods for color deconvolution | |
CN111656393A (zh) | 组织学图像分析 | |
Bengtsson et al. | Computer‐aided diagnostics in digital pathology | |
US11222194B2 (en) | Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen | |
US9122904B2 (en) | Method for optimization of quantitative video-microscopy and associated system | |
WO2023107844A1 (en) | Label-free virtual immunohistochemical staining of tissue using deep learning | |
CN117529750A (zh) | 使用多重免疫荧光成像的组织学染色的数字合成 | |
WO2024081150A1 (en) | Expression-level prediction for biomarkers in digital pathology images | |
CN113409888A (zh) | 一种肿瘤微环境及肿瘤基因突变检测***、方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |