CN115457550A - 病理学明场像中的自动化染色查找 - Google Patents
病理学明场像中的自动化染色查找 Download PDFInfo
- Publication number
- CN115457550A CN115457550A CN202211271513.7A CN202211271513A CN115457550A CN 115457550 A CN115457550 A CN 115457550A CN 202211271513 A CN202211271513 A CN 202211271513A CN 115457550 A CN115457550 A CN 115457550A
- Authority
- CN
- China
- Prior art keywords
- optical density
- stains
- pixels
- image
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007170 pathology Effects 0.000 title abstract description 7
- 230000003287 optical effect Effects 0.000 claims abstract description 222
- 230000001131 transforming effect Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 68
- 230000015654 memory Effects 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000013442 quality metrics Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 abstract description 102
- 238000010186 staining Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 22
- 238000003491 array Methods 0.000 description 19
- 230000033001 locomotion Effects 0.000 description 15
- 238000005286 illumination Methods 0.000 description 12
- 239000000203 mixture Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 239000000975 dye Substances 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000000386 microscopy Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 210000003743 erythrocyte Anatomy 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- ORFSSYGWXNGVFB-UHFFFAOYSA-N sodium 4-amino-6-[[4-[4-[(8-amino-1-hydroxy-5,7-disulfonaphthalen-2-yl)diazenyl]-3-methoxyphenyl]-2-methoxyphenyl]diazenyl]-5-hydroxynaphthalene-1,3-disulfonic acid Chemical compound COC1=C(C=CC(=C1)C2=CC(=C(C=C2)N=NC3=C(C4=C(C=C3)C(=CC(=C4N)S(=O)(=O)O)S(=O)(=O)O)O)OC)N=NC5=C(C6=C(C=C5)C(=CC(=C6N)S(=O)(=O)O)S(=O)(=O)O)O.[Na+] ORFSSYGWXNGVFB-UHFFFAOYSA-N 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 102000004506 Blood Proteins Human genes 0.000 description 1
- 108010017384 Blood Proteins Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 239000002299 complementary DNA Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
病理学明场像中的自动化染色查找。在一个实施方案中,接收包括一种或多种染色的样本的图像。针对所述图像中的多个像素中的每一个,确定所述像素的光密度矢量。所述光密度矢量包括所述一种或多种染色中的每一种的值,并且表示光密度空间中的点,所述光密度空间具有等于所述一种或多种染色的数目的维数。将所述光密度矢量从所述光密度空间变换成更低维空间中的表示。所述更低维空间具有等于所述光密度空间的所述维数减一的维数。基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
Description
本申请是申请人为徕卡生物***公司、申请日为2016年9月16日、申请号为201680053670.7、发明名称为“病理学明场像中的自动化染色查找”的分案申请。
技术领域
本文描述的实施方案总体涉及自动化染色查找,并且更具体地,涉及病理学明场像中的染色查找。
背景技术
为了产生准确的结果,量化图像中染色的量的数字病理学算法需要每种染色的光密度值。传统上,光密度值是从用单染色着色的载片获得,由用户通过颜色挑选工具手动选择多染色图像中的每种染色的最纯像素来获得,或者从参考数据库选择每种染色的光密度值来获得。这些方法中的每一种都具有显著的缺点。
例如,单染色法要求分离地对来自同一组织的另外的样本进行着色(例如,针对三种分离的染色具有三个另外的样本)。这大大增加了所要求的劳动和时间的量。
使用颜色挑选工具(例如,新墨西哥州Corrales的Indica实验室的ImageScopeEyedropper ToolTM)手动选择单独的染色像素要求用户手动选择混合染色图像中的每种染色的最纯像素。这种方法存在准确性和再现性问题。例如,对于用户来说难以通过肉眼定位图像中的最纯像素,从而导致准确性问题。另外,不同的用户将可能选择不同的像素来表示每种染色的最纯像素,从而导致再现性问题。
使用参考数据库来确定光密度值具有类似的缺点。例如,来自参考数据库的光密度值与通过特定成像***成像的特定组织上的特定染色的实际光密度值匹配的可能性非常低。这个结果导致准确性和再现性问题。另外,图像可能包括在参考数据库中不可获得的染色,由此需要使用不同的方法来获得光密度值。
所需要的是一种不存在常规方法的缺点的用于自动识别染色的方法。
发明内容
在一个实施方案中,公开一种方法。所述方法包括使用至少一个硬件处理器来:接收包括一种或多种染色的样本的图像;针对所述图像中的多个像素中的每一个,确定所述像素的光密度矢量,其中所述光密度矢量包括所述一种或多种染色中的每一种的值,并且其中所述光密度矢量表示光密度空间中的点,所述光密度空间具有等于所述一种或多种染色的数目的维数;将所述光密度矢量从所述光密度空间变换成更低维空间中的表示,其中所述更低维空间具有等于所述光密度空间的所述维数减一的维数;并且基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
在另外的实施方案中,公开一种***。所述***包括至少一个硬件处理器;以及一个或多个可执行软件模块,其在由所述至少一个硬件处理器执行时,接收包括一种或多种染色的样本的图像;针对所述图像中的多个像素中的每一个,确定所述像素的光密度矢量,其中所述光密度矢量包括所述一种或多种染色中的每一种的值,并且其中所述光密度矢量表示光密度空间中的点,所述光密度空间具有等于所述一种或多种染色的数目的维数;将所述光密度矢量从所述光密度空间变换成更低维空间中的表示,其中所述更低维空间具有等于所述光密度空间的所述维数减一的维数;并且基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
在另外的实施方案中,一种具有存储在其中的一个或多个指令序列的非暂态计算机可读介质。所述一个或多个指令序列在由处理器执行时导致所述处理器:接收包括一种或多种染色的样本的图像;针对所述图像中的多个像素中的每一个,确定所述像素的光密度矢量,其中所述光密度矢量包括所述一种或多种染色中的每一种的值,并且其中所述光密度矢量表示光密度空间中的点,所述光密度空间具有等于所述一种或多种染色的数目的维数;将所述光密度矢量从所述光密度空间变换成更低维空间中的表示,其中所述更低维空间具有等于所述光密度空间的所述维数减一的维数;并且基于所述表示来识别与所述一种或多种染色中的每一种相对应的光密度矢量。
附图说明
通过研究附图可部分地查明本发明关于其结构和操作两者的细节,其中相同参考数字指代相同部分,并且其中:
图1A展示根据一个实施方案的表示三种染色的混合物的图像的光密度空间;
图1B展示根据一个实施方案的表示两种染色的混合物的图像的光密度空间;
图2A和2B展示根据一个实施方案的具有三种染色的样本的图像根据两种不同方法的三角拟合;
图3展示根据一个实施方案的用于确定图像中的染色的光密度矢量的过程;
图4A和4B展示一个根据实施方案的用于实施图3中的过程300中的步骤362的两种不同方法;并且
图5A-5D展示根一个据实施方案的可在其上执行本文描述的一个或多个过程的处理***。
具体实施方式
在一个实施方案中,公开用于使用几何技术来自动识别多染色图像中的分离染色的***、方法和介质,例如,通过识别表示多染色图像中的每种染色的纯像素的光密度矢量。所公开实施方案不具有病理学领域中采用的常规方法所固有的准确性和再现性问题,并且不需要依赖于手动用户输入。此外,与常规方法相比,所公开实施方案能够正确地识别图像中的染色,即使染色不是在图像内的任何地方都以纯的、未混合状态来表示。
在阅读本说明书之后,本领域的技术人员将明白如何在各种替代实施方案和替代应用中实现本发明。然而,尽管本文将描述本发明的各种实施方案,但是应理解,这些实施方案仅以举例和说明而非限制的方式呈现。如此,这对各种实施方案的详细描述不应被解释为限制如所附权利要求书中阐述的本发明的范围或广度。
过程概述
现在将详细描述用于识别多染色图像中的染色的过程的实施方案。应理解,所描述过程可以在由一个或多个硬件处理器(例如,图5中的处理器510)执行的一个或多个软件模块中实施。所描述过程可以实现为以源代码、目标代码和/或机器代码表示的指令。这些指令可以由硬件处理器直接执行,或者可替代地,可以由在目标代码与硬件处理器之间操作的虚拟机执行。这些指令可以由图像采集设备(诸如,载片扫描仪)中的硬件处理器执行,或者在直接或间接地从图像采集设备(诸如,载片扫描仪)接收图像的***内执行。
在一个实施方案中,所述过程实现为分析图像的算法(例如,软件算法)。在定位图像的光密度矢量之前,可以将那个图像内太暗或太亮的像素从分析中去除。这些像素表示噪声。因此,如果在分析过程中考虑这些像素,那么在转换成光密度空间之后,它们可能造成不准确的光密度矢量。相应地,在一个实施方案中,可以从将暗度大于预定义阈值的像素和亮度大于预定义阈值的像素从分析中去除。应理解,这些预定义阈值可以应用于从最暗(例如,纯黑色)到最亮(例如,纯白色)的值的频谱,使得如果像素的值低于较低的第一阈值(表示太暗)或高于较高的第二阈值(表示太亮),那么将所述像素从分析中排除。另一方面,如果像素的值在较低的第一阈值与较高的第二阈值之间,那么将所述像素包括在分析中。从分析中去除无关像素为由所述算法进行进一步分析创造无噪声环境。
在一个实施方案中,所述算法利用以下假设:染色在光密度空间中以线性方式混合,以便在样本的多染色图像中定位来自每种染色的混合最少或最纯的像素。如本文所使用,光密度空间由图像中所表示的染色的数目限定。例如,如果图像是具有三种染色的样本的,那么光密度空间将是三维的,其中三维空间中的每个点表示包括三种染色中的每一种的光密度值的光密度矢量。因此,如果三种染色是红色、绿色和蓝色,那么三维光密度空间中的每个点将由包括红色通道的光密度值、绿色通道的光密度值以及蓝色通道的光密度值的光密度矢量表示。另一方面,如果图像是具有两种染色(例如,红色和绿色)的样本的,那么光密度空间将是二维的,其中二维空间中的每个点表示包括两种染色中的每一种的光密度值的光密度矢量(例如,包括红色通道的光密度值和绿色通道的光密度值的光密度矢量)。类似地,如果图像是具有一种染色(例如,红色)的样本的,那么光密度空间将是一维的,其中一维空间中的每个点表示仅包括这一种染色的单个光密度值的光密度矢量(例如,包括红色通道的光密度值的光密度矢量)。
在一些情况下,如果图像中由于非染色元素(例如,红血细胞)而存在另外的颜色,那么可将这些另外的颜色与染色一样地进行处理。因此,例如,如果图像是包含红血细胞并且具有绿色染色和蓝色染色的样本的,那么光密度空间可以是三维的,其中三维空间中的每个点表示包括红血细胞的红色通道的光密度值、绿色染色的绿色通道的光密度值以及蓝色染色的蓝色通道的光密度值的光密度矢量。
如果假设染色以线性方式混合,那么在具有三种染色的样本的图像中,这三种染色的光密度矢量将表示限定延伸到无穷远的四面体的边缘的点。图像的像素中所表示的所有其他光密度矢量将包含在四面体的边缘内。如果使这三种染色中的每一种的光密度矢量延伸到无穷远并且用平面切割四面体,那么四面体与平面的交叉将形成三角形。在此相交平面中,最纯像素的光密度矢量必须定位在三角形的顶点处,并且表示染色混合物的所有像素的光密度矢量必须在三角形的边缘内部。
图1A展示根据一个实施方案的表示三种染色的混合物的图像的光密度空间。为了便于理解和描绘,已经用染色比替换光密度矢量。在所展示实例中,三种染色的颜色是红色、绿色和蓝色。如图1A中所展示,在无噪声环境中(例如,排除太暗或太亮的像素,如上面所讨论),染色混合物将在光密度空间中形成三角形。此三角形可以从三维光密度空间变换到较低的二维空间中。纯染色(例如,展示为纯红色、纯绿色和纯蓝色)由定位在三角形的顶点处的光密度矢量表示。
从上面讨论的使用三种染色的实例可以概括出染色少于三种的情况。例如,如果图像是仅具有两种染色的样本的,那么光密度矢量作为光密度空间中的点将沿着线而不是三角形聚集。如果图像是仅具有一种染色的样本的,那么光密度矢量作为光密度空间中的点将聚集在单个点周围。换句话说,所述算法针对具有三种染色的图像确定三角形,针对具有两种染色的图像确定线,并且针对具有一种染色的图像确定点。
图1B展示根据一个实施方案的表示两种染色的混合物的图像的光密度空间。为了便于理解和描绘,已经用染色比替换光密度矢量。在所展示实例中,两种染色的颜色是绿色和蓝色。如图1B中所展示,在无噪声环境中(例如,排除太暗或太亮的像素,如上面所讨论),染色混合物将在光密度空间中形成大约一条线。这条线可以从二维光密度空间变换到较低的一维空间中,例如,使用用于确定最佳拟合线的最佳拟合方法。纯染色(例如,展示为纯绿色和纯蓝色)定位在线的端点处。
所述算法力图以尽可能最有效率的方式实现其设计目标。如上面所讨论,在具有单个染色的图像的情况下,光密度矢量将聚集在点的周围。在一个实施方案中,为了找到这个点,所述算法将光密度矢量归一化到单位长度,然后计算所有光密度矢量的平均值。此平均值表示光密度矢量在其周围聚集的点。因此,返回这个点作为所找到染色。
如上面所讨论,在具有两种染色的图像的情况下,光密度矢量将沿着线段聚集。在一个实施方案中,为了找到这个线段,所述算法将光密度矢量归一化到单位长度,计算光密度矢量的均值,通过从每个光密度矢量减去所计算均值来对数据进行中心化,然后将归一化且中心化的光密度矢量投影到由回归空间中的主线描述的线。回归空间是指光密度空间中的最佳拟合表示(例如,针对在二维光密度空间中表示的两种染色的最佳拟合线,针对在三维光密度空间中表示的三种染色的最佳拟合平面)。在一个实施方案中,最佳拟合表示可以使用奇异值分解(SVD)来计算(例如,针对一种染色的点、针对两种染色的线、针对三种染色的平面)。然而,应理解,可以使用任何回归方法来计算回归空间中的最佳拟合表示。接下来,所述算法识别主回归线上的最小值和最大值的位置(即,线段的端点),然后返回与这两个位置相对应的光密度矢量作为两种所找到染色。
如上面所讨论,在具有三种染色的图像的情况下,光密度矢量将聚集在三角形中,其中三角形的顶点表示三种纯染色的光密度值,并且所有其他光密度矢量(即,表示染色的混合物)在三角形内。在一个实施方案中,为了找到这个三角形,所述算法将光密度矢量归一化到单位长度,计算光密度矢量的均值,通过从每个光密度矢量减去均值来对数据进行中心化,然后将归一化且中心化的光密度矢量投影到回归平面上(例如,如上面所讨论)。
随后,针对回归平面中的光密度矢量确定最佳拟合三角形。将描述用于确定这个三角形的两种方法。在第一方法中,如果需要将染色限制到图像中所存在的染色阴影,那么所述算法可以使用N-FINDR算法的原始版本来查找三个点(表示变换的光密度矢量),这三个点描述回归空间中的可以用来自图像的光密度矢量形成的最大面积三角形(即,在与光密度矢量相对应的点内具有最大面积的三角形)。N-FINDR算法的一个实施方案公开于M.E.Winter的“N-FINDER:an algorithm for fast autonomous spectral end-memberdetermination in hyperspectral data”,Proc.SPIE,第2753卷,第266-275页(1999)中,其特此以引用方式并入本文。接下来,所述算法识别这个最大面积三角形的三个顶点的位置,然后返回与这三个位置相对应的光密度矢量作为三种染色。所找到由于三角形的顶点是从图像中所存在的光密度点中选择的,所以只有染色以纯的、未混合状态存在于图像中的某处,才能通过此第一方法找到纯染色。
在第二方法中,即使染色不以纯的、未混合状态存在于图像中,也可以找到纯染色。与寻求可以用现有光密度矢量形成的最大面积三角形的第一方法相比,第二方法寻求包含所有变换光密度矢量的最小面积三角形(即,具有最小面积的三角形)。当所有三种染色都以其未混合状态存在于图像中时,最大面积三角形210和最小面积三角形220将重合,如图2A中所展示。然而,如果三种染色中的一种或多种不以未混合状态存在于图像中,那么第一方法将返回混合染色,而第二方法仍然可以定位所有三种未混合染色,前提是图像中存在表示仅两种染色的混合物的一个或多个像素。
根据第二方法,所述算法计算所有光密度矢量的凸包作为点。点集的凸包是包含那个点集的最小凸集,其中凸集是以下这样的区域:针对区域内的每个点对,与那个点对相交的直线段上的每个点也在所述区域内。凸包的利用将所述算法必须在其上进行迭代的点的数量减小了一个数量级。
根据第二方法,一旦所述算法已经计算出凸包,所述算法就使用最小面积三角法来查找具有最小面积的界定凸包的三角形(即,包围凸包的最小面积单形)。最小面积三角法的一个实施方案公开于J.O’Rourke等人的“An optimal algorithm for findingminimal enclosing triangles”,J.Algorithms,第7卷,第2期,第258-269页(1986)中,其特此以引用方式并入本文。所述算法可以将三角形的顶点处的点从回归空间转换回到光密度空间中,并且返回与那些点相对应的光密度矢量作为所找到染色。所返回的光密度矢量中的每一个将表示纯染色,即使图像不包括任何表示纯染色的像素。
图2A和2B展示根据一个实施方案的具有三种染色的样本的图像在第一方法与第二方法之间的三角拟合的差异。为了便于理解和描绘,已经用染色比替换光密度矢量。如图2A中所展示,如果图像中存在未混合染色的区域(例如,一个或多个像素),那么第一方法和第二方法两者返回相同三角形。确切地,通过第一方法计算的三角法三角形210和通过第二方法计算的并且包含凸包的最小面积三角形220是完全相同的。两个三角形210和220的三个顶点分别表示三种纯染色的光深度矢量。相比之下,如图2B中所展示,如果图像中不存在未混合染色的区域(例如,一个或多个像素),那么通过第一方法计算的最大面积三角形210的顶点将不表示纯染色的光深度矢量。相反地,最大面积三角形210的顶点将表示三种染色中的两种或更多种的混合物的光深度矢量。然而,如果图像中存在仅两种混合染色的区域,那么通过第二方法计算的并且包含凸包的最小面积三角形220的三个顶点将表示三种纯染色的光深度矢量,尽管图像内不存在未混合染色的区域。换句话说,只要图像中存在仅两种混合染色的区域,第二方法就返回表示纯染色的光深度矢量,无论图像内是否存在未混合染色的区域。
尽管已经相对于至多三种染色或通道对所述算法进行描述,但只要有图像的其中存在三种或更少染色的区域(即,像素),所述算法就可以找到多于三种染色的光密度矢量。例如,在具有四种染色A、B、C和D的样本的图像中,所述算法可以通过分析图像的其中存在仅前三种染色A、B和C的第一区域(如上面相对于三种染色的分析所讨论地)来找到所有四种染色,并且分离地在图像的其中存在仅后三种染色B、C和D的第二区域上进行操作(同样地,如上面相对于三种染色的分析所讨论地)。第一区域和第二区域可以由用户手动选择或由所述算法自动确定。
图3作为过程300展示根据一个实施方案的的上面描述的算法。在步骤305中,接收图像。应理解,此图像可以是完整样本或样本的一部分的图像,包括完整样本的图像的一部分。样本可以是已经由图像采集设备(诸如,载片扫描仪)扫描的显微镜载片上的组织样本或其他样本,并且过程300可以直接或间接以及本地或远程地从图像采集设备接收图像。还应理解,过程300可以在存储在载片扫描仪的存储器中的软件或容纳在图像采集设备(诸如,载片扫描仪)内的硬件中实现,或者可以在与任何特定图像采集设备分离的***中的软件和/或硬件中实现。
在步骤310中,可以从考虑中去除图像内的无关像素。例如,可以从考虑中去除比第一预定义阈值更暗的像素和/或比第二预定义阈值更亮的像素。因此,过程300的后续步骤可以考虑仅预定义暗度/亮度范围内的像素。
在步骤315中,计算每个剩余像素的光密度矢量。然后,在步骤320中,将在步骤315中计算的光密度矢量归一化到单位长度。在步骤325中,计算归一化光密度矢量的均值。
如步骤330所表示,过程300中的下一个步骤取决于图像中存在多少染色。染色的数目可以是用户提供(例如,通过用户界面)的或自动确定(例如,通过另一个过程,作为固定的或可配置的***设置等)的过程300的输入。
如果图像中存在仅一种染色,那么返回在步骤325中计算的归一化光密度矢量的均值作为表示图像中的这一种染色的光密度矢量。
如果图像中存在两种染色,那么在步骤340中,通过从来自图像的每个光密度矢量减去在步骤325中计算的归一化光密度矢量的均值来对光密度矢量进行中心化。在步骤342中,将归一化且中心化的光密度矢量从二维光密度空间变换成一维回归空间中的具有两个端点的线段。在步骤344中,确定线段的这两个端点。最后,在步骤346中,可以将两个端点从回归空间变换回到光密度空间中,以识别与两个端点相对应的两个光密度矢量。返回这两个光密度矢量作为表示图像中的这两种染色的光密度矢量。
如果图像中存在三种染色,那么在步骤360中,通过从每个光密度矢量减去在步骤325中计算的归一化光密度矢量的均值来对光密度矢量进行中心化。步骤360可以与步骤340完全相同或类似。在步骤362中,将归一化且中心化的光密度矢量从三维光密度空间变换成二维回归空间中的具有三个端点的三角形。步骤362可以与步骤342类似,但是使用从三维到二维中的投影,而不是从二维到一维中的投影。在步骤364中,确定三角形的三个顶点。最后,在步骤366中,可以将三个顶点从回归空间变换回到光密度空间中,以识别与三个顶点相对应的三个光密度矢量。返回这三个光密度矢量作为表示图像中的这三种染色的光密度矢量。应理解,通过将步骤342和362中的变换推广到N维空间,可以将这些步骤(即,步骤340-346以及360-366)推广用于任何N数目种染色。
图4A展示根据一个实施方案的使用第一方法362A的过程300的步骤362。在第一方法362B的步骤402中,将来自过程300中的步骤360的归一化且中心化的光密度矢量从三维光密度空间变换成二维回归空间中的平面。然后,在第一方法362A的步骤412中,例如根据N-FINDR算法,在回归空间中找到形成具有最大面积的三角形的三个点。第一方法362A然后前进到过程300中的步骤364。
图4B展示根据一个实施方案的使用第二方法362B的过程300的步骤362。在第二方法362B的步骤402中,将来自过程300中的步骤360的归一化且中心化的光密度矢量从三维光密度空间变换成二维回归空间中的平面。第二方法362B中的步骤402可以与第一方法362A中的步骤402完全相同或类似。在第二方法362B的步骤422中,计算与在过程300的步骤305中接收的图像中的像素的光密度矢量相对应的二维回归空间中的所有点的凸包。然后,在第二方法362B的步骤424中,例如使用最小面积三角法,在二维回归空间中找到形成具有最小面积的界定在步骤422中计算出的凸包的三角形的三个点。第二方法362B然后前进到过程300中的步骤364。
在一个实施方案中,除返回所找到染色的光密度矢量之外,所述算法还可以返回染色分离质量的量度和/或图像重建质量的量度。染色分离质量度量给定图像区域内的染色的分离程度有多高。在一个实施方案中,染色分离质量是通过以下方式来确定:首先相对于表示所找到染色的光密度矢量将图像中的每个像素的光密度值转换成重心坐标。在重心坐标中,表示所找到染色的每个光密度矢量对每个像素的贡献可以指示为从0.0到1.0的值。例如,对于具有第一染色、第二染色和第三染色的图像,包含仅第一染色的像素将具有坐标(1.0,0.0,0.0)、包含仅第二染色的像素将具有坐标(0.0,1.0,0.0),并且包含仅第三染色的像素将具有坐标(0.0,0.0,1.0)。总体上,主要包含一种染色的像素将使得其坐标之一接近1.0并使其另外两个坐标接近0.0,而包含等量染色混合物的像素将具有大小相等的多个坐标。染色分离质量可以通过以下方式来计算:在所有像素上计算最大重心坐标与另外两个重心坐标的和之间的差值的平均值,其限制是:将低于0.0的任何差值设置为0.0。此量度将返回0.0与1.0之间的数字,其中0.0指示染色完全不分离(即,是混合的),并且1.0指示染色完全分离(即,是纯的)。
图像重建质量度量图像中可以通过表示通过所述算法找到的染色的所返回光密度矢量来重建的像素的百分比。在一个实施方案中,图像重建质量通过以下方式来确定:首先将每个像素的归一化光密度矢量表达为所找到染色矢量的线性组合。接下来,计算所计算的与实际的光密度矢量之间的差值的量度(例如,平均距离),或者可以计算均方差。为了获得图像重建质量的量度,可以计算归一化平均差E并将其表达为一减去归一化平均差(即,1-E)。针对归一化平均距离,已经根据经验找到95%或更大的图像重建质量(即,指示5%或更小的误差)来表示所希望的图像重建质量。在一个实施方案中,可以将染色分离质量和图像重建质量的量度组合(例如,通过加权平均)到染色质量的聚合量度中。
这些质量量度可以由利用所公开的染色查找算法(例如,核明场算法)的面向用户的算法在内部使用。可替代地或另外地,面向用户的算法的开发者可以选择将这些质量量度中的一个或两个(可能地以组合的方式)作为所选择图像样本对染色分离的适合性的总体指标来显示给用户(例如,在用户界面内)。
示例性扫描仪设备
图5A是展示根据本发明实施方案的示例性扫描仪***550的框图。在所展示实施方案中,扫描仪***550包括:一个或多个处理器555;一个或多个存储器565;一个或多个运动控制器570;一个或多个接口***575;一个或多个可移动载物台580,其各自支撑具有一个或多个样本590的一个或多个载玻片585;一个或多个照明***595,其照射样本;一个或多个物镜600,其各自限定沿着光轴行进的光学路径605;一个或多个物镜***630;一个或多个任选的落射***635(例如,包括在荧光扫描仪***中);一个或多个聚焦光学器件610;一个或多个线扫描照相机615和/或一个或多个面扫描照相机620,其中的每一个在样本590和/或载玻片585上限定分离的视场625。扫描仪***550的各种元件通过一根或多根通信总线560通信联接。尽管扫描仪***550的各种元件中的每一种可以有一个或多个,但是在以下描述中为了简化目的,除了需要以复数形式描述以传达适当信息时,都将以单数形式描述这些元件。
一个或多个处理器555可以包括,例如,能够并行处理指令的中央处理单元(“CPU”)和分离的图形处理单元(“GPU”),或者一个或多个处理器555可以包括能够并行处理指令的多核处理器。还可以提供另外的分离处理器以控制特定部件或执行特定功能,诸如图像处理。例如,另外的处理器可以包括:用于管理数据输入的辅助处理器;用于执行浮点数学运算的辅助处理器;具有适合用于快速执行信号处理算法的架构的专用处理器(例如,数字信号处理器);从属于主处理器的从处理器(例如,后端处理器);用于控制线扫描照相机615、载物台580、物镜225和/或显示器(未示出)的另外的处理器。这类另外的处理器可以是分离的分立处理器或可以与处理器555集成。
存储器565存储可以由处理器555执行的程序的数据和指令。存储器565可以包括存储数据和指令的一个或多个易失性和持久性计算机可读存储介质,例如,随机存取存储器、只读存储器、硬盘驱动器、可移动存储驱动器等。处理器555被配置来执行存储在存储器565中的指令并且通过通信总线560与扫描仪***550的各种元件通信,以执行扫描仪***550的总体功能。
一根或多根通信总线560可以包括被配置来传达模拟电信号的通信总线560,并且可以包括被配置来传达数字数据的通信总线560。相应地,通过一根或多根通信总线560的来自处理器555、运动控制器570和/或接口***575的通信可以包括电信号和数字数据两者。处理器555、运动控制器570和/或接口***575还可以被配置来通过无线通信链路与扫描***550的各种元件中的一个或多个通信。
运动控制***570被配置来精确地控制并协调载物台580和物镜600的XYZ移动(例如,通过物镜***630)。运动控制***570还被配置来控制扫描仪***550中的任何其他移动部分的移动。例如,在荧光扫描仪实施方案中,运动控制***570被配置来协调落射***635中的光学滤波器等的移动。
接口***575允许扫描仪***550与其他***和人类操作员对接。例如,接口***575可以包括用户界面,以直接向操作员提供信息和/或允许来自操作员的直接输入。接口***575还被配置来促进扫描***550与直接连接的一个或多个外部设备(例如,打印机、可移动存储介质)或通过网络(未示出)连接到扫描仪***550的外部设备(诸如,图像服务器***、操作员站、用户站和管理服务器***)之间的通信和数据传输。
照明***595被配置来照射样本590的一部分。照明***可以包括例如光源和照明光学器件。光源可以是具有凹面反射镜以最大化光输出并且具有KG-1滤波器以抑制热量的可变强度卤素光源。光源还可以是任何类型的弧光灯、激光器或其他光源。在一个实施方案中,照明***595以透射模式照射样本590,使得线扫描照相机615和/或面扫描照相机620感测透射穿过样本590的光能。可替代地或组合地,照明***595还可以被配置来以反射模式照射样本590,使得线扫描照相机615和/或面扫描照相机620感测从样本590反射的光能。总体而言,照明***595被配置成适合用于以任何已知的光学显微镜模式询问显微镜样本590。
在一个实施方案中,扫描仪***550任选地包括落射***635以将扫描仪***550优化用于荧光扫描。荧光扫描是对包括荧光分子的样本590的扫描,所述荧光分子是可以吸收特定波长的光(激发)的光子敏感分子。这些光子敏感分子还发射更高波长的光(发射)。因为这种光致发光现象的效率非常低,所以所发射光的量通常非常低。这种低量的发射光通常使用于对样本590进行扫描和数字化的常规技术(例如,透射模式显微镜法)受挫。有利地,在扫描仪***550的任选的荧光扫描仪***实施方案中,包括多个线性传感器阵列的线扫描照相机615(例如,时间延迟积分(TDI)线扫描照相机)的使用通过将样本590的同一区域暴露于线扫描照相机615的多个线性传感器阵列中的每一个来提高对线扫描照相机的光的灵敏度。这在用低发射光扫描微弱荧光样本时特别有用。
因此,在荧光扫描仪***实施方案中,线扫描照相机615优选地是单色TDI线扫描照相机。有利地,单色图像在荧光显微镜法中是理想的,因为它们提供对来自样本上所存在的各种通道的实际信号的更准确表示。如本领域的技术人员将理解的,可以用发射不同波长的光的多种荧光染料来标记荧光样本590,所述荧光染料也称为“通道”。
此外,因为各种荧光样本的低端和高端信号电平呈现宽波长光谱以供线扫描照相机615感测,所以希望线扫描照相机615能够感测到的低端和高端信号电平的宽度类似。因此,在荧光扫描仪实施方案中,荧光扫描***550中所使用的线扫描照相机615是单色10位64线性阵列TDI线扫描照相机。应注意,可以采用线扫描照相机615的各种各样的位深度来与扫描***550的荧光扫描仪实施方案一起使用。
可移动载物台580被配置用于在处理器555或运动控制器570的控制下进行精确的XY移动。可移动载物台还被配置用于在处理器555或运动控制器570的控制下在Z中移动。可移动载物台被配置来将样本定位于在由线扫描照相机615和/或面扫描照相机进行图像数据捕获期间所希望的位置中。可移动载物台还被配置来在扫描方向上将样本590加速到大体上恒定的速度,然后在由线扫描照相机615进行图像数据捕获期间维持所述大体上恒定的速度。在一个实施方案中,扫描仪***550可以采用高精度且紧密协调的XY网格来帮助将样本590定位在可移动载物台580上。在一个实施方案中,可移动载物台580是在X轴和Y轴两者上采用高精度编码器的基于线性电动机的XY载物台。例如,可以在扫描方向上的轴上和垂直于扫描方向的方向上的轴上以及与扫描方向相同的平面上使用非常精确的纳米编码器。载物台还被配置来支撑样本590设置在其上的载玻片585。
样本590可以是可通过光学显微镜法询问的任何事物。例如,显微镜载玻片585经常用作样品的观察基底,所述样品包括组织和细胞、染色体、DNA、蛋白质、血液、骨髓、尿液、细菌、珠、活组织检查材料,或者死或活、着色或未着色、标记或未标记的任何其他类型的生物材料或物质。样本590还可以是沉积在任何类型的载片或其他基底上的任何类型的DNA或DNA相关材料(诸如,cDNA或RNA或蛋白质)的阵列,包括通常称为微阵列的任何和所有样本。样本590可以是微量滴定板,例如96孔板。样本590的其他实例包括:集成电路板、电泳记录、培养皿、膜、半导体材料、电子取证材料或加工件。
物镜600安装在物镜***630上,在一个实施实施方案中,物镜***630可以采用非常精确的线性电动机来沿着由物镜600限定的光轴移动物镜600。例如,物镜***630的线性电动机可以包括50纳米编码器。载物台580和物镜600在XYZ轴上的相对位置是在处理器555的控制下使用运动控制器570以闭环方式来协调和控制,处理器555采用存储器565来存储信息和指令,包括用于总体扫描***550操作的计算机可执行的编程步骤。
在一个实施方案中,物镜600是具有与所希望的最高空间分辨率相对应的数值孔径的平场复消色差(“APO”)无限远校正物镜,其中物镜600适合用于透射模式照明显微镜法、反射模式照明显微镜法和/或落射模式荧光显微镜法(例如,Olympus 40X,0.75NA或20X,0.75NA)。有利地,物镜600能够针对色像差和球面像差进行校正。因为物镜600是无限远校正的,所以聚焦光学器件610可以在光学路径605中放置在物镜600上方的一定位置处,在所述位置处,穿过物镜的光束变成准直光束。聚焦光学器件610将由物镜600捕获的光学信号聚焦到线扫描照相机615和/或面扫描照相机620的光响应元件上,并且可以包括光学部件(诸如,滤波器、放大变换器透镜等)。与聚焦光学器件610组合的物镜600提供扫描***550的总放大倍数。在一个实施方案中,聚焦光学器件610可以含有镜筒透镜和任选的2X放大变换器。有利地,2X放大变换器允许原本的20X物镜600以40X放大倍数扫描样本590。
线扫描照相机615包括至少一个图片元素(“像素”)线性阵列。线扫描照相机可以是单色或彩色的。彩色线扫描照相机通常具有至少三个线性阵列,而单色线扫描照相机可具有单个线性阵列或多个线性阵列。还可以使用任何类型的单数性阵列或复数线性阵列(无论是封装成照相机的一部分还是定制集成到成像电子模块中)。例如,还可以使用3线性阵列(“红-绿-蓝”或“RGB”)彩色线扫描照相机或96线性阵列单色TDI。TDI线扫描照相机通常通过以下方式来在输出信号中提供大体上更好的信噪比(“SNR”):对来自样品的先前成像区域的强度数据进行求和,从而产生与积分级的数量的平方根成比例的SNR的增大。TDI线扫描照相机包括多个线性阵列,例如,TDI线扫描照相机可具有24、32、48、64、96个或甚至更多的线性阵列。扫描仪***550还支持以各种各样的样式制造的线性阵列,所述样式包括:具有512个像素的一些阵列、具有1024个像素的一些阵列以及具有多达4096个像素的其他阵列。类似地,还可以在扫描仪***550中使用具有各种各样的像素大小的线性阵列。对选择任何类型的线扫描照相机615的突出要求是:在对样本590进行数字图像捕获期间,可以使载物台580的运动与线扫描照相机615的线速率同步,使得载物台580可以相对于线扫描照相机615处于运动中。
由线扫描照相机615生成的图像数据存储在存储器565的一部分中,并且由处理器555处理以生成样本590的至少一部分的连续数字图像。连续数字图像可以由处理器555进一步处理,并且修订的连续数字图像也可以存储在存储器565中。
在具有两个或更多个线扫描照相机615的实施方案中,线扫描照相机615中的至少一个可以被配置成用作聚焦传感器,所述聚焦传感器与线扫描照相机中被配置成用作成像传感器的至少一个结合操作。聚焦传感器可以与成像传感器在逻辑上定位在同一光学路径上,或者聚焦传感器可以相对于扫描仪***550的扫描方向在逻辑上定位在成像传感器之前或之后。在具有用作聚焦传感器的至少一个线扫描照相机615的这种实施方案中,由聚焦传感器生成的图像数据存储在存储器565的一部分中并且由一个或多个处理器555处理以生成聚焦信息,从而允许扫描仪***550调整样本590与物镜600之间的相对距离,以在扫描期间维持聚焦在样本上。
在操作中,扫描仪***550的各种部件和存储在存储器565中的编程模块使得能够对设置在载玻片585上的样本590进行自动扫描和数字化。载玻片585牢固地放置在扫描仪***550的可移动载物台580上以便扫描样本590。在处理器555的控制下,可移动载物台580将样本590加速到大体上恒定的速度以便由线扫描照相机615进行感测,其中载物台的速度与线扫描照相机615的线速率同步。在扫描图像数据条带之后,可移动载物台580减速并使样本590大体上完全停止。然后,可移动载物台580正交于扫描方向移动以定位样本590,以便扫描随后的图像数据条带,例如相邻条带。随后扫描另外的条带,直到样本590的整个部分或整个样本590被扫描为止。
例如,在对样本590进行数字扫描期间,样本590的连续数字图像作为多个连续的视场被获取,所述多个连续的视场组合在一起以形成图像条。多个相邻图像条类似地组合在一起以形成部分或整个样本590的连续数字图像。对样本590的扫描可以包括获取垂直图像条或水平图像条。对样本590的扫描可以是从上到下、从下到上、或者两者(双向)的,并且可以在样本上的任何点处开始。可替代地,对样本590的扫描可以是从左到右、从右到左、或者两者(双向)的,并且可以在样本上的任何点处开始。另外,不需要以相邻或连续的方式获取图像条。此外,样本590的所得图像可以是整个样本590的图像或仅样本590的一部分的图像。
在一个实施方案中,计算机可执行指令(例如,编程的模块和软件)存储在存储器565中,并且当被执行时,使得扫描***550能够执行本文描述的各种功能。在本说明书中,术语“计算机可读存储介质”用来指代用于存储计算机可执行指令并将其提供给扫描***550以供由处理器555执行的任何介质。这些介质的实例包括:存储器565以及直接或间接(例如,通过网络(未示出))与扫描***550通信联接的任何可移动或外部存储介质(未示出)。
图5B展示具有可以实现为电耦设备(“CCD”)阵列的单个线性阵列640的线扫描照相机。单个线性阵列640包括多个单独的像素645。在所展示实施方案中,单个线性阵列640具有4096个像素。在替代实施方案中,线性阵列640可以具有更多或更少的像素。例如,常见样式的线性阵列包括512个像素、1024个像素以及4096个像素。像素645按线性方式排列以限定线性阵列640的视场625。视场的大小根据扫描仪***550的放大倍数而变化。
图5C展示具有各自可以实现为CCD阵列的三个线性阵列的线扫描照相机。这三个线性阵列组合以形成彩色阵列650。在一个实施方案中,彩色阵列650中的每个单独线性阵列检测不同的颜色强度,例如红色、绿色或蓝色。来自彩色阵列650中的每个单独线性阵列的彩色图像数据被组合以形成彩色图像数据的单个视场625。
图5D展示具有各自可以实现为CCD阵列的多个线性阵列的线扫描照相机。所述多个线性阵列组合以形成TDI阵列655。有利地,TDI线扫描照相机通常通过以下方式来在其输出信号中提供大体上更好的SNR:对来自样品的先前成像区域的强度数据进行求和,从而产生与线性阵列(也称为积分级)的数量的平方根成比例的SNR的增大。TDI线扫描照相机可以包括更大的各种数目的线性阵列,例如常见样式的TDI线扫描照相机包括24、32、48、64、96、120个以及甚至更多的线性阵列。
此外,本领域的技术人员将理解,结合上述附图和本文公开的实施方案描述的各种说明性的逻辑块、模块、电路和方法步骤通常可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,上文已经就功能性总体地描述了各种说明性的部件、块、模块、电路和步骤。这种功能性是实现为硬件还是软件取决于特定的应用和强加于整个***的设计约束。技术人员可以针对每种特定应用以不同的方式实现所描述功能性,但是这类实现决策不应被解释为导致背离本发明的范围。另外,模块、块、电路或步骤内的功能的分组是为了便于描述。在不背离本发明的情况下,可以将特定的功能或步骤从一个模块、块或电路移动到另一个。
此外,结合本文公开的实施方案描述的各种说明性的逻辑块、模块、功能和方法可以用被设计来执行本文所描述功能的通用处理器、数字信号处理器(DSP)、ASIC、FPGA或其他可编程逻辑设备、分立门或晶体管逻辑、分立硬件部件或其任何组合来实现或执行。通用处理器可以是微处理器,但是在替代方案中,处理器可以是任何处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合,例如,DSP与微处理器的组合、多个微处理器、一个或多个微处理器结合DSP内核,或者任何其他这种配置。
此外,结合本文公开的实施方案描述的方法或算法的步骤可以直接在硬件、由处理器执行的软件模块或两者的组合中实施。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或包括网络存储介质的任何其他形式的存储介质中。示例性存储介质可以联接到处理器,使得处理器可以从存储介质读取信息并将信息写入到存储介质。在替代方案中,存储介质可以与处理器集成。处理器和存储介质还可以驻留在ASIC中。
本文描述的任何软件部件可以采取各种各样的形式。例如,部件可以是独立的软件包,或者它可以是作为“工具”合并在更大的软件产品中的软件包。部件可能够作为独立的产品或作为用于安装在现有软件应用程序中的插件包从网络(例如,网站)下载。部件还可以作为客户端-服务器软件应用程序、作为支持web的软件应用程序和/或作为移动应用程序获得。
提供以上对所公开实施方案的描述以使本领域的任何技术人员能够制作或使用本发明。本领域技术人员将容易明白这些实施方案的各种修改,并且本文描述的一般原理在不背离本发明的精神或范围的情况下可以应用于其他实施方案。因此,应理解,本文呈现的描述和附图表示本发明的当前优选的实施方案,并且因此表示本发明广泛预期的主题。应进一步理解,本发明的范围完全涵盖对本领域技术人员可能变得显而易见的其他实施方案,并且本发明的范围因此不受限制。
Claims (10)
1.一种用于分析从一图像采集设备获得的一组织样本的一图像的***,所述图像包括多个像素且所述组织样本具有一种或多种染色,所述***包括:
一存储器经配置以存储从所述图像采集设备获得的所述组织样本的所述图像;以及
至少一个硬件处理器联接到所述存储器,且经配置以:
接收所述组织样本的所述图像,所述图像包括造成不准确的光密度的离群像素,
针对所述图像中的多个像素中的每一个:
将所述像素的一颜色值与第一阀值进行比较,所述第一阀值朝向亮度频谱的纯黑色端,
将所述像素的所述颜色值与第二阀值进行比较,所述第二阀值朝向所述亮度频谱的纯白色端,所述第二阀值大于所述第一阀值,
确定所述像素的所述颜色值是否小于所述第一阀值或大于所述第二阀值,以及
将所述颜色值小于所述第一阀值或大于所述第二阀值的每一像素从进一步分析中排除;
确定未被排除的每一像素的光密度,其中所述光密度包括所述一种或多种染色中的每一种的光密度值,
根据未被排除的每一所述像素的所述光密度,识别所述一种或多种染色中的每一种的光密度;
对未被排除的每一所述像素的所述光密度进行归一化;
计算所述光密度的均值,其中,当所述一种或多种染色的数目是大于等于二,所述至少一个硬件处理器还经配置以:针对未被排除的每一所述像素的所述光密度,通过从所述光密度减去所计算均值来对所述光密度进行中心化;以及
根据所述一种或多种染色的识别光密度,量化所述一种或多种染色中的每一种的量。
2.如权利要求1所述的***,其中,当所述一种或多种染色的所述数目是二,每一所述像素的所述光密度表示光密度空间中的点,所述光密度空间是二维的,所述至少一个硬件处理器还经配置以:
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成一维空间中的线段;以及
识别与所述线段的每个端点相对应的光密度;
其中,识别所述一种或多种染色中的每一种的光密度还根据与所述线段的每个端点相对应的所述光密度。
3.如权利要求1所述的***,其中,当所述一种或多种染色的所述数目是三,每一所述像素的所述光密度表示光密度空间中的点,所述光密度空间是三维的,所述至少一个硬件处理器还经配置以:
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成二维空间中的三角形;以及
识别与所述三角形的每个顶点相对应的光密度;
其中,识别所述一种或多种染色中的每一种的光密度还根据与所述三角形的每个顶点相对应的所述光密度。
4.如权利要求3所述的***,其中,所述至少一个硬件处理器还经配置以:
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成所述二维空间中的点;
计算所述二维空间中的所述点的凸包;以及
确定所述三角形为以最小面积的界定所述凸包的三角形。
5.如权利要求3所述的***,其中,所述至少一个硬件处理器还经配置以:
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成所述二维空间中的点;以及
在所投影的点内确定具有最大面积的三角形。
6.如权利要求1所述的***,其中,当所述一种或多种染色的数目是一,所述至少一个硬件处理器还经配置以使用所述光密度的所计算均值作为所述染色的所述光密度。
7.如权利要求1所述的***,其中,所述至少一个硬件处理器还经配置以:
将未被排除的每一所述像素的所述光密度变换成所述光密度空间中的点;
计算所变换的点的凸包;以及
在所变换的点内确定具有最大面积的单形。
8.如权利要求1所述的***,其中,所述至少一个硬件处理器还经配置以:
产生染色质量量度,所述染色质量量度包括:染色分离质量的量度和图像重建质量的量度中的一个或多个。
9.一种方法,其包括:使用至少一个硬件处理器来:
接收从一图像采集设备获得的一组织样本的一图像,所述图像包括多个像素且所述组织样本具有一种或多种染色;
针对所述图像中的多个像素中的每一个:
将所述像素的一颜色值与朝向亮度频谱的纯黑色端的第一阀值进行比较,
将所述像素的所述颜色值与第二阀值进行比较,所述第二阀值朝向所述亮度频谱的纯白色端,所述第二阀值大于所述第一阀值,
如果所述像素的所述颜色值小于所述第一阀值或大于所述第二阀值,则确定所述像素是离群值,以及
只有将离群像素从进一步分析中排除;
确定未被排除的每一所述像素的光密度,其中所述光密度包括所述一种或多种染色中的每一种的光密度值,
根据未被排除的每一所述像素的所述光密度,识别所述一种或多种染色中的每一种的光密度;
对未被排除的每一所述像素的所述光密度进行归一化;
计算所述光密度的均值,其中,当所述一种或多种染色的数目是大于等于二,针对未被排除的每一所述像素的所述光密度,通过从所述光密度减去所计算均值来对所述光密度进行中心化;以及
根据所述一种或多种染色的识别光密度,量化所述一种或多种染色中的每一种的量。
10.如权利要求9所述的方法,其中,
当所述一种或多种染色的所述数目是二,每一所述像素的所述光密度表示光密度空间中的点,所述光密度空间是二维的,所述方法包括:
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成一维空间中的线段;以及
识别与所述线段的每个端点相对应的光密度;
其中,识别所述一种或多种染色中的每一种的光密度还根据与所述线段的每个端点相对应的所述光密度;
当所述一种或多种染色的所述数目是三,每一所述像素的所述光密度表示光密度空间中的点,所述光密度空间是三维的,所述方法包括:
将所述归一化且中心化的未被排除的每一所述像素的所述光密度变换成二维空间中的三角形;以及
识别与所述三角形的每个顶点相对应的光密度;
其中,识别所述一种或多种染色中的每一种的光密度还根据与所述三角形的每个顶点相对应的所述光密度。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562219526P | 2015-09-16 | 2015-09-16 | |
US62/219,526 | 2015-09-16 | ||
PCT/US2016/052331 WO2017049226A1 (en) | 2015-09-16 | 2016-09-16 | Automated stain finding in pathology bright-field images |
CN201680053670.7A CN108140104B (zh) | 2015-09-16 | 2016-09-16 | 病理学明场像中的自动化染色查找 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680053670.7A Division CN108140104B (zh) | 2015-09-16 | 2016-09-16 | 病理学明场像中的自动化染色查找 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115457550A true CN115457550A (zh) | 2022-12-09 |
Family
ID=58289657
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680053670.7A Active CN108140104B (zh) | 2015-09-16 | 2016-09-16 | 病理学明场像中的自动化染色查找 |
CN202211271513.7A Pending CN115457550A (zh) | 2015-09-16 | 2016-09-16 | 病理学明场像中的自动化染色查找 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680053670.7A Active CN108140104B (zh) | 2015-09-16 | 2016-09-16 | 病理学明场像中的自动化染色查找 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11403861B2 (zh) |
EP (1) | EP3353712B1 (zh) |
JP (1) | JP6605716B2 (zh) |
CN (2) | CN108140104B (zh) |
WO (1) | WO2017049226A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108140104B (zh) | 2015-09-16 | 2022-11-01 | 徕卡生物***公司 | 病理学明场像中的自动化染色查找 |
US10430943B2 (en) * | 2016-10-07 | 2019-10-01 | Sony Corporation | Automated nuclei area/number estimation for IHC image analysis |
CN111512383B (zh) * | 2017-08-04 | 2023-09-19 | 文塔纳医疗***公司 | 用于图像处理的自动测定评估和归一化 |
JP7216707B2 (ja) * | 2017-08-04 | 2023-02-01 | ベンタナ メディカル システムズ, インコーポレイテッド | 散乱補正を用いた色分離 |
CA3075288C (en) * | 2017-09-29 | 2022-08-30 | Leica Biosystems Imaging, Inc. | Real-time autofocus scanning |
CN113129356B (zh) * | 2020-01-16 | 2022-08-23 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜***及其图像染色面积识别方法及存储介质 |
US11621078B2 (en) * | 2020-03-18 | 2023-04-04 | International Business Machines Corporation | Pre-processing whole slide images in cognitive medical pipelines |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0925554B1 (en) * | 1996-09-16 | 2004-06-30 | Syddansk Universitet | Method and computer program for analyzing images |
US6636623B2 (en) * | 2001-08-10 | 2003-10-21 | Visiongate, Inc. | Optical projection imaging system and method for automatically detecting cells with molecular marker compartmentalization associated with malignancy and disease |
US7272252B2 (en) | 2002-06-12 | 2007-09-18 | Clarient, Inc. | Automated system for combining bright field and fluorescent microscopy |
GB2395263A (en) * | 2002-11-12 | 2004-05-19 | Qinetiq Ltd | Image analysis |
WO2005027015A2 (en) * | 2003-09-10 | 2005-03-24 | Bioimagene, Inc. | Method and system for quantitatively analyzing biological samples |
WO2006124651A2 (en) * | 2005-05-13 | 2006-11-23 | Tripath Imaging, Inc. | Methods of chromogen separation-based image analysis |
WO2014065868A1 (en) | 2012-10-23 | 2014-05-01 | Aperio Technologies, Inc. | Systems and methods for an image repository for pathology |
AU2014277034A1 (en) | 2013-06-03 | 2015-10-29 | Ventana Medical Systems, Inc. | Image adaptive physiologically plausible color separation |
CN104200428B (zh) * | 2014-08-18 | 2017-07-18 | 南京信息工程大学 | 基于非负矩阵分解的显微图像彩色去卷积方法及分割方法 |
CN104408717A (zh) * | 2014-11-24 | 2015-03-11 | 北京航空航天大学 | 一种基于着色分离的病理图像颜色质量综合评价方法 |
CN108140104B (zh) | 2015-09-16 | 2022-11-01 | 徕卡生物***公司 | 病理学明场像中的自动化染色查找 |
-
2016
- 2016-09-16 CN CN201680053670.7A patent/CN108140104B/zh active Active
- 2016-09-16 CN CN202211271513.7A patent/CN115457550A/zh active Pending
- 2016-09-16 EP EP16847494.8A patent/EP3353712B1/en active Active
- 2016-09-16 JP JP2018513596A patent/JP6605716B2/ja active Active
- 2016-09-16 WO PCT/US2016/052331 patent/WO2017049226A1/en active Application Filing
- 2016-09-16 US US15/761,038 patent/US11403861B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018530823A (ja) | 2018-10-18 |
US11403861B2 (en) | 2022-08-02 |
JP6605716B2 (ja) | 2019-11-13 |
CN108140104A (zh) | 2018-06-08 |
EP3353712B1 (en) | 2021-08-25 |
US20180260609A1 (en) | 2018-09-13 |
CN108140104B (zh) | 2022-11-01 |
WO2017049226A1 (en) | 2017-03-23 |
EP3353712A4 (en) | 2019-05-29 |
EP3353712A1 (en) | 2018-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108140104B (zh) | 病理学明场像中的自动化染色查找 | |
KR102523559B1 (ko) | 디지털 스캐닝 장치 | |
JP6985506B2 (ja) | リアルタイムオートフォーカス合焦アルゴリズム | |
CN110140129B (zh) | 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像 | |
CN111164484B (zh) | 双程微距图像 | |
US10930241B2 (en) | Color monitor settings refresh | |
JP2021512346A (ja) | 衝撃再走査システム | |
US11422349B2 (en) | Dual processor image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |