CN108352062A - 用于组织识别的方法和设备 - Google Patents

用于组织识别的方法和设备 Download PDF

Info

Publication number
CN108352062A
CN108352062A CN201680055726.2A CN201680055726A CN108352062A CN 108352062 A CN108352062 A CN 108352062A CN 201680055726 A CN201680055726 A CN 201680055726A CN 108352062 A CN108352062 A CN 108352062A
Authority
CN
China
Prior art keywords
image
data
image data
comparator
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680055726.2A
Other languages
English (en)
Inventor
P.哈米顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN108352062A publication Critical patent/CN108352062A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了一种计算机实施的图像处理方法。所述方法包括：将选择的滤波器应用到图像数据，以识别定义图像的若干离散空间区的图像数据子集，其中离散空间区包括小于该图像的整个区域；从数据储存库选择一组定量图像度量，其中所述定量图像度量是根据指示组织类型的描述符数据来选择的；对于每个离散空间区，根据与所述或每个离散空间区相关联的图像数据子集，确定对于该组定量图像度量的每个定量图像度量的样本区数据值；使用描述符数据从数据储存库中选择组织模型数据值的至少一个比较器组，其中每个比较器组是与不同的对应的比较器组织结构相关联的，以及每个比较器组包括对于对应的比较器组织结构的那组定量图像度量的数据值；比较针对每个离散区的样本区数据值与所述至少一个比较器组；以及在针对所述或每个离散区的样本区数据值匹配于该比较器组的情形下，根据对应的比较器组织结构的本性，确定是否进一步分析所述或每个离散区。

Description

用于组织识别的方法和设备
技术领域
本发明涉及组织样本的细胞学和组织学分析，更具体地，涉及例如染色的组织样本的显微镜图像的分析的方法和用于所述方法的设备。再更具体地，本公开涉及用于数字病理学和完整载玻片成像目的的显微镜图像的数字图像处理。
背景技术
也可以被称为虚拟显微镜学或虚拟病理学的数字病理学牵涉到管理、分析和解译数字信息。本公开涉及到在组织分析和癌症检测中“机器视觉”和“计算机化的图像理解”的方法的应用。它也涉及到多分辨率询问和图案驱动的（patter driven）分析（例如，在数据中的图案驱动处理功能）及选择性图像处理（全局处理中的减小，以及不同的图像处理功能的选择性应用）。
该过程牵涉到玻璃载片的生成和通过使用数字病理学解决方案将这些转换成数字病理学载玻片。然后生成数字载玻片扫描，其允许数字病理学图像的高分辨率观看、解译和图像分析。数字病理学解决方案中的发展已经完全改变了研究实验室管理和解译玻璃载片的方式，使组织学图像的分析和解译现在在计算机屏幕上进行。
随着在全球范围内的势头不断增长，数字病理学正在跨健康和医药部门、教育和合同研究机构地使用。凭借范围广泛的应用，这种先进技术的已实现优势促进了针对数字病理学解决方案的市场的高速增长，该市场到2020年时估计价值为57亿美元。
完整载玻片成像和数字病理学是重要的进行中的研究领域。本案中的方法对这个技术领域中的新进展做出贡献。细胞核分析牵涉到在苏木精和伊红染色的组织样本内细胞边界和核边界的自动识别。这可以通过颜色去卷积（colour deconvolution）的过程而达到，以及可被进一步处理来识别生物学对象，诸如核。通常，核是在苏木精和伊红染色的组织样本中能最容易识别的部分。这种细胞核分析是提供准确诊断时的关键工具。
提供准确诊断的能力对于提供医疗保健是关键的。识别诸如癌症那样的疾病的存在的活组织检查是在这样的诊断中有用的工具。它们也可以允许对病人的疾病的将来发展和在精密或个性化医疗的背景下病人对于治疗的反应作出预测。准确的预后评估也是至关重要的，因为它使得能够采取行动来对抗疾病的进一步发展。组织样本的显微镜图像已经被用于这些目的许多年。
已经为这一目的开发了大量的显微镜成像***，每个具有它们自己的特定的特性。完整载玻片成像***通过使显微镜的视场扫描越过肉眼可见的组织样本以获得一系列的数字图像，而获得整个显微镜载玻片的数字图像。最终得到的数字图像然后可被级联在一起，以提供描述整个显微镜载玻片的单个图像，或图像集。通过相同的方法也可以获得载玻片的局部图像。
参与根据这些种类的图像做出诊断的病理学家可能依赖于定性的判断。这样的判断可以是基于他们的科学知识，也基于个人经验。这必定是主观的过程。结果，诊断、预后评估、预测性评估、病人对于临床试验的选择、和新的生物标记的发现和验证不总是可以再现的——不同的病理学家可以根据组织样本的相同图像做出不同的判断。
在做出诊断判断时，病理学家的任务变得更加困难，因为可能牵涉到大的组织样本。在这样的情形下，可能需要分析来自单个患者的数十甚至于数百个显微镜图像，并且在某些情形下，可能需要以多种分辨率仔细察看这多个显微镜图像的区（region）。在多个组织活检已经从诸如***的、身体的相对较大区域（area）取得的情况下，尤其如此。这些问题使得再现性的问题更复杂，因为评估同一个患者的组织样本的两位不同的病理学家可能考虑同一个组织样本的不同图像的不同区域的特征。
获得组织样本的条件、以及在对那个样本成像之前对于该样本的处理（例如，就应用到该样本的染色剂的浓度而言）、被使用来获取图像的成像***，以及图像伪影的存在，都会造成图像之间的变化。虽然需要艰苦的分析，但人类病理学家至少能够直观地将这样的混淆考虑进去。因此，由人类病理学家进行评估的主观性质虽然有问题，但其至少提供了一种解决图像间变化性的这些问题的方式。对于直观判断的这种需要阻止了显微镜图像的诊断和预后评估的直截了当的自动化。
还有另外的障碍要克服。
发明内容
本发明的方面和实例在权利要求中被阐述，并且目的是解决诸如以上略述的那些的技术问题。本发明的方面和实例也在本文被描述。
附图说明
现在参照附图仅仅作为例子描述本公开的实施例，其中：
图1包括指示获得和分析图像数据的方法的流程图；
图2是图像处理设备的功能性框图；
图3图示指示分析图像数据的方法的流程图；
图4图示指示分析图像数据的另一个方法的流程图；
图5图示指示图4的方法的例子的流程图；
图6显示图像处理设备的非常示意性的图解说明；
图7是图像处理设备的功能性框图。
在附图上，同样的参考标号被使用来指同样的单元。
具体实施方式
本文公开了一种图像分析和组织识别***，其可以实行苏木精和伊红染色的图像的分析，以及能够根据它们的复合图案识别不同的组织类型、在特定的组织类型内的不同类型的疾病，和根据解剖知识，识别在这些图像中捕获的、健康的和疾病中的不同组织结构，以及可以通过使用数学算子和比较器数据（comparator data）而分析图像的内容。
本公开的实施例涉及到图像处理方法和设备，目的在于使得能够在图像之间进行客观的比较，且目的在于改进自动化诊断以及基于显微镜图像的预测性和预后评估的计算效率。这是通过分析图像和排除该图像的不感兴趣的部分，然后对于该图像的感兴趣的部分执行进一步分析而完成的。
为了完成这一点，计算机获得指示所述图像包含的图像数据的类型的描述符数据，以及根据所述描述符数据，选择被配置成识别在该图像数据中的结构的图像算子。例如，这个图像算子可包括阈值化（thresholding）运算，或者可包括用来在该图像中识别具有处于选择范围中的空间长度尺度（length scale）的数据的运算。计算机将图像算子应用到该图像，识别由该图像的多个离散空间区形成的图像数据子集。这些离散空间区包括小于该图像的整个区域。计算机还根据描述符数据选择一组定量图像度量，以及根据在原始图像的每个离散空间区中的图像数据确定对于定量图像度量的样本区数据。这个样本区数据包括选择的定量图像度量的值。然后它被对照这些相同的定量图像度量的比较器数据值进行比较。根据比较的结果，计算机确定图像的所述或每个离散空间区是否要进一步分析。
形成这个分析的基础的离散空间区（感兴趣区）一旦被识别为提供合成图像——或者标识组织的哪些区域对应于哪些类型的组织结构的该组织的图，则它们可以被重新组合。
感兴趣区的进一步分析可包括修正该图像算子，或将不同的图像算子应用到该区，然后尝试（或重新尝试）进行该图像区的分类。各种各样这样的实施例在这里被揭示。
图1图示一个这样的计算机实施的方法。在这个方法中，计算机首先获得2显微镜图像数据用于分析。这个显微镜图像数据可包括完整载玻片图像。所述图像数据常常定义苏木精和伊红染色的组织样本的显微镜载玻片图像，但这些载玻片也可以通过使用藏红花（如在HES染色中）而被染色。数据本身可以从计算机的存储器中的数据存储装置获得和/或可以通过网络被接收。作为方法的一部分，这个数据也可以由显微镜成像***从组织样本获得，并且被直接传送到计算机。图像数据可以源于完整载玻片成像***。
计算机的存储器包括诸如查找表那样的关联，它将描述符数据的多个项与对应的多组的定量图像度量相链接。描述符数据的每个项包括组织类型的机器可读的标识符。所述关联将描述符数据的每个项链接到与该组织类型相关联的一组（或几组）定量图像度量。这使得能够从存储器检索正确的图像度量，以用于任何给定的组织类型（如由描述符数据标识的）的分析。描述符的每个项也是与至少一组对应的比较器数据值相关联的。每组比较器数据值指示从已知（或被预期为）在由对应描述符标识的组织类型中发现的组织结构获得的定量图像度量的值。
例如，描述符数据可以标识组织类型，诸如***组织、***组织、肺组织、胰腺组织和其它类型的组织。在本公开的上下文中将会意识到，这些组织类型的每个组织类型可包括不同类型的结构。相应地，通常多于一个比较器数据组被与每个描述符关联。这些比较器数据组中的每个描述已知（或被预期）存在于该组织类型中的不同的组织结构。
因此，将会意识到，每个描述符是在计算机存储器中与以下项相关联的：（a）一组定量图像度量和（b）那些图像度量的比较器数据值组，其中每组比较器值描述该组织类型中的不同结构。例如，对于***组织的描述符可以与一组定量图像度量以及那些度量的、用于以下每个组织的对应比较器数据值相关联：脂肪组织、血管、导管、小叶、LCIS（小叶原位癌）、DCIS（导管原位癌）、以及或许一种或多种其它类型的肿瘤。
这可以使得能通过（1）计算相关的图像度量和（2）将那些度量与比较器数据值进行比较以发现匹配，而识别在特定的组织类型中的特定结构。这可以使得能在特定的组织类型中的不同结构之间加以区别。取决于由描述符数据所标识的组织类型，比较器数据可包括用于以下的一项或多项的比较器数据：坏死、炎性细胞、有丝***、小叶、其它解剖结构、PIN（***上皮内瘤）、结直肠发育不良、浸润性癌和一种或多种其它类型的肿瘤。可以在癌前细胞与癌细胞之间进一步加以区别，以及癌前细胞例如可以具有与癌前和癌细胞不同的比较器数据。
这些比较器组中的每个组包括针对一组定量图像度量的数据值。例如，这些可包括从以下的列表中选择的一个或多个项：细胞核面积（µm2）、核形状因子（例如核面积与周长的比值）、细胞面积（µm2）、细胞形状因子——诸如细胞面积与细胞周长的比值、标识的细胞群体的数量、细胞密度（基于每单位面积的对象的相对数量）、光密度、RGB去卷积的通道的灰度值、核质特征、腺体面积（µm2）、腺体形状、核层化、Delauney(狄洛尼)三角度量、和/或在该图像中对于所述或每个对应的比较器组织结构的特定组织对象的数量。
描述符数据然后由计算机获得4，例如，它可以与显微镜图像数据一起被提供，或它可以与该图像数据一起被存储在存储器中。
然后，描述符数据被使用来从计算机存储器中的数据存储装置选择6图像算子，图像算子可被配置成识别具有选择的空间特性（例如，在选择的范围中的空间长度尺度）的图像数据。图像算子的例子包括空间滤波器和特征提取算子，诸如形态滤波器（它们的例子在下面更详细地阐述）。空间滤波器的例子包括诸如空间带通滤波器的频域算子，例如低通滤波器，例如高斯滤波器。在本公开的上下文中将会意识到，可以例如通过以下方式在频域中应用这样的算子：将图像数据变换到频域中，应用所述算子，然后将滤波后的图像数据变换回到图像域。空间滤波器的例子还包括图像内核，例如平滑内核，其可以在图像域中应用。
图像算子由计算机根据描述符数据和根据首先要被识别的、与该描述符相关联的组织类型内的结构的类型进行选择6。例如，多个图像算子可与每项描述符数据相关联地存储在存储器中。这些图像算子中的每个图像算子可被配置成增强具有对应于已知（或被预期为）在该组织类型中发现的结构的长度尺度/形状特性的图像区。
图像算子的某些例子可被配置成识别有特定尺寸的特征，例如，在落入选择的范围内的空间长度尺度上变化的那些特征。这个长度尺度可以根据要被识别的结构类型（例如，在***组织背景下的导管或小叶），或根据如由描述符数据标识的组织类型中的细胞类型，来挑选。
可被使用于这个用途的图像算子的一个例子是形态滤波器。这样的形态滤波器的结构单元的尺寸和形状可以根据描述符数据来选择。例如，每项描述符数据可以与一个或多个不同的形态滤波器相关联。形态滤波器可被配置成提供腐蚀操作、膨胀操作或可包括腐蚀和膨胀操作的组合——诸如 “开”操作，它是腐蚀操作后跟着膨胀操作，或是“闭”操作，它是膨胀操作后跟着腐蚀操作。这样的图像算子和操作的使用可以使得能解析和识别可能存在于组织样本中的关键组织结构。而且，它也可以提供可被使用来识别不同的组织和细胞结构的一系列度量。这些进而又可被使用来区分组织样本中不同的病状。这些病状可包括肿瘤或异常细胞，它们可以是例如良性、癌前和/或癌细胞。作为例子，如果存在乳腺癌，则细胞核可能是大得多、不规则和更密实的。而且，低级别DCIS可能呈现圆形的、规则到轻度不规则的核，可达红血球尺寸的大约二倍或三倍。高级别 DCIS可呈现不规则形状的核，它可以是红血球尺寸的至少三倍。DCIS图案（pattern）可包括“筛状的”、“大毛细管的”和/或 “实性的”，以及有可能定量地和/或用数字描述所有的这些图案。
无论选择哪个图像算子，计算机然后将该图像算子应用8 到显微镜图像数据，以获得滤波的图像数据。所述滤波的图像数据可包括这样的一些区，即：其中的图像强度因为在该图像的那个区中的结构不具有由图像算子选择的空间特性而被减小。因此，通过将强度阈值应用到滤波的图像数据，可以识别显微镜图像的若干离散空间区。这些离散空间区可以具有空间特性（例如，尺寸和/或形状），在那个组织类型的上下文中，它们可以暗示：它们可以是一个或多个可能的候选结构。例如，第一图像算子可包括形态滤波器，其具有适于选择对应于***组织导管、或导管原位癌的尺寸和形状的结构，和抑制其它结构。将会意识到，对导管和DCIS的参考仅仅是例子，以及可以应用不同的图像算子来识别不同的组织结构，诸如，脂肪组织、血管、基质细胞、上皮组织、腺体、导管、小叶、肿瘤型（tumor pattern）、和一种或多种类型的肿瘤。还将会意识到，图像算子本身可包括一系列分量算子——例如，第一分量算子可包括形态滤波器，其被配置成识别和桥接（例如，合并）包括上皮组织的毗邻的图像区；第二分量算子可比较桥接的毗邻的图像区的尺寸和/或形状与针对所选择的已知结构（诸如导管）的尺寸和形状范围。在这些实施例中，已滤波的图像数据可包括该图像的匹配于这些选择的已知结构的区域，图像数据的其它非匹配的区域可被从已滤波的图像数据排除。
在应用第一图像算子后，计算机然后从存储器中选择10相关的一组定量图像度量——例如基于描述符数据，和/或第一图像算子的尺寸/形状特性。这组定量图像度量包括对于已知（或预期为）在那个组织类型中发现的那个尺寸/形状的结构的度量。这组定量图像度量可包括从包含以下项的列表中选择的一个或多个项：频域度量、纹理度量、灰度共生矩阵（“GLCM”）度量、光密度、颜色或任何其它的适合的度量。这些度量可被使用来为所述或每个离散空间区确定签名，而不是以指纹的方式。
这组定量图像度量可包括基于在所述或每个离散区中的光密度的度量。正如在本公开的上下文中将会意识到的，光密度描述光通过所述或每个离散区中的透射，并且它可被定义为透射通过样本的入射光的分率（fraction）的对数值（以10为底）的负值，例如，其中所述透射在0与1之间变化。通过与比较器数据值进行比较，所述或每个离散区的光的透射的水平（因此，光密度）可被使用来获得关于所述或每个离散区的内容的信息。
这组定量图像度量可包括基于在所述或每个离散区中在空间频率的选择的范围中的空间频率数据的度量。空间频率数据可以通过执行频率变换（诸如，拉普拉斯或傅立叶类型变换，例如DFT、例如FFT、例如DCT）而获得。最终得到的空间频率数据可被使用来识别在所述或每个离散区中的图像数据中存在的空间频率。然后，这个空间频率数据进而又可被使用来通过比较从所述或每个离散区获得的空间频率数据值与关联于所述组织类型（如由描述符数据标识的）的比较器数据值，而获得关于所述或每个离散区的内容的信息。在本案中的发明人已经意识到，虽然正常的细胞和癌细胞可以在空间域中显示它们的几何结构中的相对细微的差别，但是这些相对细微的差别可以在频域中更有效地测量，其中更精确的测量可被提取来表征不同的组织图案（tissue pattern）。而且，图像的频域分析可能使得在空间域看不见的信息能够被检测到，从而提供更有效和准确的图像分析。
这组定量图像度量可包括基于可被分析的、所述或每个离散区的纹理的度量，以便检测可能出现的特定的特性，和/或使得重复的图案或别样的图案可以被检测到。作为例子，Haralick（哈拉利克）纹理特征和/或共生矩阵可被使用来分析要被分析的所述或每个离散区的纹理。然而，应当理解，任何适合的方法可被使用来定量地描述在所述或每个离散区中的底层（underlying）组织图案。
计算机然后对于每个离散空间区，通过将定量图像度量应用到在所述离散空间区中的图像数据，而计算12至少一个样本数据值。这组定量图像度量可包括一个度量，诸如以上识别的那些度量，或事实上可包括多于一个度量。所述或每个定量图像度量可以并行地或以预定义的序列被应用，或者它们可以以如下面参照图2解释的分等级的（图案驱动的）性质被应用。
计算机使用14描述符数据从计算机存储器获得该组（或几组）比较器数据值（例如，这些定量图像度量的值）。例如，计算机存储器可包括查找表或其它存储器参考结构，它使得能够通过使用描述符数据作为索引来选择比较器数据值。这样的数据结构的一个例子在下面参照图7上的组织数据的存储进行解释。如在那里说明的，比较器组可包括用于已知的比较器结构的比较器数据值。这样的结构可包括，例如，原位癌、腺体、导管、小叶、脂肪组织等等，或可能感兴趣的其它人工产物或结构。比较器数据值可以早先通过在已知包含这些已知比较器结构之一的组织的样本中对这些定量图像度量求值（evaluate）而获得。
计算机然后比较16从样本图像获得的数据值与这些比较器数据值组中的至少一个比较器数据值组。这些比较器数据组可以定义多种特征，其可例如包括不同的容差范围。如果从样本图像获得的数据值落在这个容差范围内或者容差范围组内，则样本数据可被分类为匹配于与该数据组相关联的比较器数据结构。这个比较可以通过使用每个度量对照在比较器数据组中的模型的简单数值比较而获得。替换地或相组合地，它也可以在多变量设置中被实现，和/或可以计算相似性指数，例如雅卡尔（Jaccard）系数和/或欧几里德（Euclidean）距离。
在样本数据值匹配于来自组织类型中的已知类型的结构的比较器数据值的情形下，从其计算那些样本数据值的区被标识为那种类型的结构。根据以上的运算，样本图像数据的某些部分可被标识为属于由比较器组描述的一个或多个组织结构。这些比较器组中的一个或多个比较器组可以对应于已知看起来类似于某些类型的癌症或是癌前的组织类型。这样的组织结构的例子包括在***组织中的LCIS和DCIS，但也存在其它这样的例子。在计算机在一个或多个离散空间区中识别出这些选择类型的组织之一的情形下，计算机然后可以确定18是否进一步分析所述或每个离散空间区。
被确定18为要进一步分析的那些离散空间区可以具有应用到其上的后续处理步骤。不要进一步分析的那些离散空间区可以被排除在图像数据的后续分析之外。这可以使得高分辨率或计算强度大的识别算法能只应用到通过计算强度不太大的方法不能达到明确识别的图像数据。这样的算法的例子在下面参照图7进行描述。
图2图示了被配置成执行图案驱动的分析的方法的设备——也就是说，组织的图像的图案和特征驱动所述处理功能。为此，图2上图示的设备被配置成以分等级的方式——也就是说，以这样的序列应用一系列定量图像度量，即：该序列是根据在该序列中的至少一个（多个）在前度量的结果而被选择的。将会意识到，这是多多少少有点复杂的过程，因此，为了清晰起见——这里说明简单的例子，但本文将设想和揭示这个原理的更多进展。
作为说明这个图案驱动法的第一个例子，我们注意到，它可被应用到在以上参照图1说明的分析期间所识别的图像数据的离散区。然而，将会意识到，它可被独立于那个方法地例如应用到图像的其它的选择的部分，或应用到整个图像。
分等级法的这个第一例子可以如下地进行：第一定量图像度量被应用到该图像数据，以获得结果，以及第二定量图像度量然后根据该结果进行选择。这个第二定量图像度量然后被应用到图像数据，以及第三定量图像度量然后根据应用第二定量图像度量的结果以及或许还根据第一定量图像度量的结果进行选择。在每个阶段，所获得的结果与比较器数据进行比较，以确定所述结果（或结果的序列）是否匹配于比较器数据。在所述结果确实匹配的情形下，则根据这个匹配，该图像数据可以与已知（或预期为）在该种类型的组织（如由描述符数据标识的）中发现的组织结构相关联。这个过程可以通过一系列度量继续进行，直至所述结果匹配于给出已知组织结构的签名的比较器值为止。
图2图示的实施例包括图像数据储存库100、组织数据储存库102、控制器104和用户接口106。控制器104被耦合以将数据传送到图像数据储存库100、组织数据储存库和用户接口中的每一个，和从其中传送出数据。
图像数据储存库100和组织数据储存库都包括用于存储和检索数字图像数据的易失性和/或非易失性数据存储器，以及数据接口，其使得能从该存储器读出数据和写入数据到该存储器。每个储存库被耦合到控制器104，使得控制器104能够从图像数据储存库100获得图像数据，和从组织数据储存库102获得组织数据，诸如定量图像度量和比较器数据。图像数据储存库100还被配置成：对于图像数据的每个项，存储该图像所源于的组织类型的对应的描述符。这些描述符各自包括指示组织类型的标记。这样的组织类型的例子包括***组织、***组织、肺组织、胰腺组织和其它类型的组织。
对于每个描述符110，组织数据储存库102存储一组元组（tuple）108。每个元组提供在(a)已知（或预期为）在由描述符标识的组织类型中发现的结构、(b) 一组定量图像度量、和(c)指示在该结构中那些图像度量的预期值的一组比较器数据值之间的关联。组织数据储存库102还存储一组规则112、114，其被配置成使得控制器104以自适应的、选择的序列——图案驱动的序列，应用这些定量图像度量。对于每个描述符，规则112、114各自定义要被应用到具有该描述符的图像数据的第一定量图像度量。这些规则还定义在该图像度量的至少两个存储的结果值（或结果值的范围）的每一个与至少两个另外的定量图像度量的每一个之间的关联。虽然图2上只图示了两个规则，但将会意识到，这仅仅是例子，以及可以提供更大数目的规则。
控制器104包括处理逻辑，其被配置成写数据到图像数据储存库100和组织数据储存库102中的存储装置以及从该存储装置读数据。控制器104被配置成将定量图像度量应用到从图像数据储存库100获得的图像数据。用于应用这些定量图像度量的过程可以在被装载到控制器104中的固件中表达，或它可以在控制器104的逻辑电路中进行硬连线，或它们可以通过固件、硬件和软件配置的混合来提供。控制器104还被配置成按照由在组织数据储存库102中存储的规则定义的序列应用这些定量图像度量。具体地，控制器104被配置成通过使用描述符从组织数据储存库102选择一个规则，然后应用由该规则提供给图像数据的定量图像度量。控制器104然后可以比较从应用该定量图像度量到图像数据所获得的结果与在该规则中存储的结果值（或者值的范围），以及根据如由所述规则定义的该比较——例如根据在存储的结果值与组成（make up）所述规则的所述至少两个另外的定量图像度量之间的关联，选择要被应用的下一个度量。控制器104因此可操作来对于该图像数据（例如，对应于子区或更大图像的一部分）获得一系列结果值，每个与不同的定量图像度量相关联。这一系列的值可以提供一个签名，它可以对照比较器数据（诸如被存储在元组中的数据）进行比较。控制器104被配置成使用这个比较的结果，来预测在图像数据中所显示的（多个）结构的本性（identity）。
在操作中，图像数据和它的伴随的描述符由控制器104从图像数据储存库100中读出。控制器104然后使用描述符从组织数据储存库102中选择相关的规则，以及对于该图像数据对该规则中规定的定量图像度量求值。控制器104然后比较对该定量图像度量求值的结果与在该规则中规定的存储的结果值（或范围）。因此，根据这个比较来识别下一个定量图像度量。
控制器104然后通过从组织数据储存库102中挑选与这下一个定量图像度量和伴随所述图像数据的描述符相关联的规则，而获得下一个规则。由这下一个规则规定的定量图像度量被对于该图像数据求值，以及对这个度量求值的结果或一些结果然后与在该规则中规定的存储的结果值（或范围）进行比较。
选择下一个度量、标识下一个相关的规则、对该下一个度量求值和使用所述规则和该度量的结果值来选择再下一个度量的这个过程可以重复进行。在每次迭代时（例如，在对每个度量求值后）所述结果或系列结果可以与比较器数据，诸如被存储在组织数据储存库102的元组中的比较器数据，进行比较。在所述结果或系列结果匹配于在给定元组中的一组比较器数据的情形下，控制器104可以指示所述图像数据是与在该元组中标识的结构相关联的。
图3显示也可被利用来进一步分析离散空间区的另外的方法步骤。这个分析的方法可以具体地针对细胞核特征的识别——也就是说，与细胞核的尺寸和形状特性以及细胞边界（例如，细胞膜）相关的特征的识别。
在图3图示的方法中，计算机将另外的图像算子应用22到被标识为希望进行进一步分析的每个离散空间区中的图像数据。这个另外的图像算子可包括形态滤波器，其具有被配置成识别细胞核的结构单元——例如，它可以具有有被选择来识别细胞核的形状的结构单元——例如，所述结构单元可以是圆的，例如椭圆的，例如圆圈。结构单元的尺寸可被选择来识别细胞核，例如，它可以具有小于20微米，例如小于10微米的宽度。这个结构单元的特定形状和尺寸可以是基于描述符数据。例如，它可以基于已知（或预期）在由该描述符所标识的图像数据中存在的细胞核类型的尺寸和形状特性。 选择还可以是基于与在上面参照图1描述的方法中被发现匹配于所述或每个离散区的比较器数据所关联的结构。将会意识到，虽然这个另外的图像算子在这里被描述为包括形态滤波器——但也可以使用其它图像操作，并且这个另外的图像算子本身可包括一系列运算，诸如空间滤波、阈值化和其它运算。虽然这个运算或系列运算可以很大地变化，但在本实施例中，关键要求在于：这个另外的图像算子适于提供细胞核数据，细胞核数据根据那些核的尺寸和/或形状特性，识别细胞核在图像数据中的位置。
计算机然后确定24通过细胞核数据识别的细胞核的宽度。计算机还确定由这些细胞核占用的面积，以及还可以确定它的边界的长度。这使得计算机能够确定以下的至少一项的度量：核形状、它的面积、它的形状因子（例如，它的边界长度（或该长度的平方）与它的面积的比值）。这些度量仅仅是例子，也可以使用其它度量。
计算机还可以使用细胞核数据来确定以下的至少一项的度量：密度、染色质纹理和核仁特征。这些度量仅仅是例子，也可以使用其它度量。然后这个度量可以与比较器数据进行比较26，以确定28所述至少一个离散区是否多半可能包括癌细胞。例如，在识别到高度不规则形状的细胞核的情形下，这可被用作为在所分析的离散区中的组织可能有必要——例如，由操作人员来进行进一步检查的指示。
除了确定步骤24外，或作为其替换例，计算机还可以确定图像数据中细胞边界的形状和/或尺寸。为了达到这一点，被配置成识别细胞边界的另外的图像算子被应用到图像数据。被配置成识别细胞边界的图像算子的例子包括分水岭算法。这个另外的图像算子的输出是细胞边界数据，其标识细胞边界的位置。计算机然后可以使用图像数据中的细胞边界的位置来确定这些细胞边界的长度和它们围住的面积的尺寸，尤其是蜂窝特性，诸如它的形状因子。
计算机然后将描述用该方法分析的图像数据的细胞核特征的数据同已知组织类型和结构的特性进行比较26。例如，计算机可以存储一组或多组细胞核比较器数据，其指示以下的一个或多个的预期的范围：细胞面积、细胞形状因子、细胞面积与核面积的比值、核形状因子和核面积。计算机还可以存储这些组的细胞核比较器数据与在特定的组织结构中发现的细胞之间的关联，诸如：健康组织结构，以及癌前结构和/或癌结构。这可以使得计算机能根据这个比较结果，识别28图像数据中的细胞类型的一种或多种。
而且，计算机可以将以上描述的方法应用到多个图像，且应用到那些图像的多个单独的区。在这些实施例中，计算机将在每个图像和/或那些区的每个区与一分数之间的关联存储在存储器中，所述分数是基于（a）指示组织样本所源于的组织类型的描述符数据和/或（b）在那些图像或区与比较器数据组之间的匹配（例如，这样的匹配的统计的可信度水平）。计算机然后根据该分数选择呈现这些载玻片图像给操作人员的序列。计算机还可以根据与那些图像区相关联的分数来加亮这些图像的特定区。
被包含在图像数据内的组织样本可包括多种病状，它们例如可以在同一个图像中包括良性细胞、癌前细胞和/或癌细胞；由良性细胞、癌前细胞和/或癌细胞组成；或完全由其组成。
为了分析这些病状和识别被包含着其中的病状，在一个例子中，计算机可以将图像处理方法跨图像数据地应用，以识别腺体、测量那些腺体、将那些腺体识别为例如DCIS（根据它们的度量），于是可以随后从将来的分析中排除那些腺体区。图像数据然后可以用分开的一组图像处理方法作进一步处理，以便分析该图像的其余部分。
图像数据可包括众多的正常成分（component）和/或结构，诸如细胞、导管等等，以及多个非正常的成分和/或结构，它们例如可包括癌前细胞和/或癌细胞。这些正常的和非正常的成分和/或结构可以组合在一系列复杂和可变的图案中。本文描述的图像分析技术可以使得能进行这样的成分和/或结构的有效的和高效的分解和分离以及随后对它们的分析。
对这些正常的和非正常的成分和/或结构的分析虑及了要生成的跨该图像的这些区的“图（map）”。这样的图可以使得能进行更准确的和多样化的诊断和分析，以及可以允许以一瞥的方式，去识别被包含在图像数据内的可能需要进一步分析的组织的区域。
图4显示可被利用来更进一步分析图像数据的另外的方法步骤。在这个方法中，从数字显微镜图像获得202第一图像数据集。
然后将图像变换应用206到该第一图像数据，以获得第二图像数据。然后通过将这个第二图像数据中的结构与比较器数据进行比较，以将它们识别为属于已知（或预期为）在组织类型内发现的多个结构之一，而对它们进行分类。
在第二图像数据中仍旧有未分类的结构的情形下，图像变换被修正，且再次被应用208到至少该图像数据的包括未分类的结构的部分。这提供第三图像数据集。然后可以通过将这个第三图像数据中的结构与比较器数据进行比较而对它们进行分类。
尝试分类、接着修正图像变换、接着重新尝试分类新变换的（未分类的）图像结构的这个过程可以重复进行，直至在图像中所有的结构（或那些结构的可接受的比例）都被适当地分类为止。正如结合以上的图像处理方法阐述的，这个方法可以单独地、组合地和/或以分等级的性质被应用。另外的图像分析技术可以根据被存储在描述符数据中的组织类型来选择，以及当组合地和/或以分等级的性质被应用时，这些另外的图像分析技术可以以预定的次序被应用，次序可以是基于被存储在描述符数据中的组织类型。另外，正如以上阐述的，这些另外的图像分析技术的分等级应用可以以多个分辨率跨图像地应用。
以与上文阐述的方法类似的方式，计算机获得202用于分析的显微镜图像数据，然后，获得204描述符数据，所述描述符数据可以与显微镜图像数据一起被提供，其指示组织样本所源于的组织的类型。
描述符数据然后可被使用来从计算机存储器中的数据存储装置选择206一个图像变换。这样的图像变换的例子的描述在下面阐述。应用208所述图像变换以获得第一变换的图像数据。
计算机然后使用描述符数据，以从计算机存储器获得一组（或几组）比较器数据值（例如，这些定量图像度量的值）。然后，将第一变换的图像数据与这个比较器数据进行比较210，以识别在所述第一变换的图像数据中的结构。计算机然后确定212是否已识别足够多数目的结构（例如，是否有多于阈值数目或比例的结构仍旧是未识别的）。在没有足够多数目的结构被识别的情形下，计算机回到步骤206，且或者(a)选择新的图像变换，或者(b)修正以前的变换。然后这个新的变换被应用208，以及步骤210和212可以重复进行，以确定是否还需要应用另外的变换。
图4是可被应用来提供苏木精和伊红染色的组织样本的显微镜载玻片图像的图的方法的例子。也可以使用这样的方法的其它例子。
这样的方法包括选择被配置成变换所述图像数据的图像操作，然后将选择的图像操作应用到图像数据，以识别图像的多个离散空间区。为了识别这些感兴趣区（ROI），然后可以将定量图像度量（诸如，本文描述的任何一个或多个这样的度量）应用到ROI。这提供对于每个ROI（离散空间区）的样本区数据值，在尝试识别该区时，它们可以与至少一组比较器数据进行比较。
在样本区数据值匹配于一个比较器组的情形下，可以通过尝试对照比较器数据来匹配它而对下一个区进行测试。通过这样地处置图像的每个区域，可以装配该图像的一个图，其中图像的每个区域（或者至少若干区域）被标记为属于特定的组织结构。这可被使用来提供该组织的合成的数字图像。
图5图示诸如以上描述的计算机实施的图像处理方法的一个例子。这个方法可被应用来识别已知或预期为在特定的组织类型中发现的组织结构。例如，如果方法被应用到***组织，则它可被使用来识别诸如腺体、导管、小叶那样的结构，或在这样的组织中发现的其它结构。当然，它也可以被应用到其它组织类型，在这种情形下，可以使用用于不同类型的结构的比较器数据。
如图5所图示的，计算机获得1202用于分析的显微镜图像数据。这个显微镜图像数据可以伴随有指示从其获得显微镜图像的组织的类型的描述符数据。显微镜图像数据还可以包括从完整载玻片扫描（例如在32比特彩色图像中）所捕获的数据。这样的图像数据可以在进一步处理之前被转换成光密度图像数据。
计算机然后将阈值，例如光密度阈值，应用1204到图像数据，以获得第一变换的图像数据。这个第一变换的图像数据通过应用阈值来进行变换，从某种意义来说，它是前景（阈上）和背景（阈下）像素的双状态图像，例如，它可以是二进制数据。
然后，通过将这个第一变换的图像数据中的结构与比较器数据进行比较来对其进行分类。在这个实施例中，为了对结构分类（毗邻的阈上区），计算机首先识别1206每个毗邻的阈上像素群组。这可以通过所谓的“斑点（blob）提取”方法来完成，诸如已连接成分标记。例如，计算机可以依次处理每个阈上像素，并且对于每个这样的像素，识别出该像素的也是阈上的相邻者，并且将这些相邻者识别（标记）为与该像素相同的毗邻群组的一部分。这个过程可被迭代地重复进行，直至每个毗邻的像素群组被标记为止。这些毗邻的像素群组可以各自代表从其获得图像数据的底层组织中的结构（或结构的一部分）。
这些单独的感兴趣区(ROI)的每个区然后与比较器数据进行比较，以尝试对底层组织的那个区分类。为了执行这种分类，选择1208这些ROI的第一个ROI，以及计算机确定1210以下定量图像度量的至少一项：
• ROI的尺寸，
• ROI的形状，
• ROI的光密度，
• ROI的边界，以及
• ROI是否包括任何可识别的子ROI成分。
也可以使用其它图像度量。为了确定ROI的尺寸，计算机可以对组成ROI的像素的数目计数。为了确定ROI的形状，计算机可以使用各种各样不同技术的任一项技术，例如，可以使用基于模板的匹配方法，和/或（1）ROI的面积与（2）它边界的长度的平方的比值可被使用来获得关于ROI的圆度的信息。基于模板的匹配方法可包括计算机将一系列卷积核应用到ROI，每个具有不同的形状。在这些情形下，ROI的形状可以通过识别产生具有最大总强度的输出的卷积核而被确定。也可以使用识别ROI的形状的其它方法。
计算机然后从计算机存储器获得一组（或几组）比较器数据值。例如，计算机可以使用描述符数据，来从它的存储器检索与已知或预期为在从其获得图像数据的组织类型中发现的结构相关联的比较器数据。例如，如果描述符指示***组织，则计算机可以获得与在***组织中发现的结构，诸如腺体，相关联的比较器数据。在本公开的上下文中，将会意识到，腺体仅仅代表一种类型的结构，它们在这里的使用仅仅是例子。对于核、基质、血管、管腔、肌肉和其它结构可以实行类似的过程。
然后将对于选择的ROI的定量图像度量（例如，尺寸、形状、密度等等）的值与比较器数据进行比较1212。如果对于该ROI的那些度量的测量的值匹配于（例如，在规定的公差内）用于一种类型的结构的比较器数据，则该ROI被分类为那种类型的结构。计算机将该ROI的图像像素标记1214为属于那种类型的结构。
在ROI不匹配于比较器数据的情形下，它被分类为未分辨的ROI。计算机然后选择1216要被应用到所述未分辨的ROI的操作。要被应用的操作可以根据该ROI的特性进行选择。所选择的操作然后被应用1218到所述未分辨的ROI，获得修正的ROI。例如，如果ROI大于某个尺寸，则应用腐蚀操作，以修正该ROI。这具有修正由初始的阈值化操作提供的变换的效果，至少就其涉及该ROI而言。也可以使用修正被应用于未分辨的ROI的变换的其它方式。
计算机然后再次尝试通过对于这个修正的ROI计算以下定量图像度量的至少一项，而对这个新修正的ROI进行分类1210：
• 修正的ROI的尺寸，
• 修正的ROI的形状，
• 修正的ROI的光密度，
• 修正的ROI的边界，以及
• 修正的ROI是否包括任何可识别的子ROI成分。
如上所述，也可以使用其它图像度量。在修正的ROI中从这些度量获得的数据值然后再次对照比较器数据进行比较。如果对于该修正的ROI的那些度量的测量值匹配于（例如，在规定的容差内）用于一种类型的结构的比较器数据，则该修正的ROI被分类为那种类型的结构。计算机将该修正的ROI的图像像素标记为属于那种类型的结构。
在修正的未分辨的ROI也不匹配于比较器数据的情形下，计算机可以确定1220是否将它作为局部结构对待。这可以通过识别1222在原始数据中处在靠近原先的未分辨的ROI（例如，在离边界一个选择的距离内）的图像像素和将修订的阈值应用到那些像素而完成。这可以识别出围绕ROI的另外的阈上的像素群组。计算机然后合并1226这些另外的阈上区与原先的未分辨的ROI（例如，在上述的腐蚀操作之前的ROI），以创建合并的ROI。
计算机然后再次尝试通过对于这个合并的ROI计算以下定量图像度量的至少一项，而对这个合并的ROI进行分类1210：
• 修正的ROI的尺寸，
• 修正的ROI的形状，
• 修正的ROI的光密度，
• 修正的ROI的边界，以及
• 修正的ROI是否包括任何可识别的子ROI成分。
如上所述，也可以使用其它图像度量。在修正的ROI中从这些度量获得的数据值然后再次对照比较器数据进行比较。如果对于该合并的ROI的那些度量的测量值匹配于（例如，在规定的容差内）用于一种类型的结构的比较器数据，则该修正的ROI被分类为那种类型的结构。计算机将该合并的ROI的图像像素标记为属于那种类型的结构。
一旦所有的ROI被这样地标记，最终得到的标记的像素数据可被使用来提供组织的图，它标识组织的哪些区是与不同类型的结构相关联的。
在本公开的上下文中将会意识到，这只是可被用来通过使用诸如参照图4描述的那些方法识别结构的操作的一种顺序。这个实施例参照使用阈值化操作的图像变换进行描述，阈值化操作可以是基于对光密度数据阈值化。也可以使用其它种类的变换。
例如，在图4或图5的实施例中使用的图像变换可包括强度变换。这可以减小该图像数据中在一个或多个空间频带中的变化，例如，它可包括带通滤波，例如，平滑（低通滤波器）或边缘增强（高通滤波器）。在这些实施例中，当ROI不匹配于比较器数据时修正该变换可包括改变滤波器的通带，例如，使用不同的空间频率截止，例如，使用更宽的平滑核。强度变换可被配置成减小在图像数据中强度级别的数目。例如，它可包括将低于某个阈值的所有值设置为底值（floor value），例如，背景值（例如，恒定的参考值，诸如零）。强度变换可包括二进制阈值化操作，其中将低于阈值的像素设置为第一值（例如，逻辑“假”值，例如0），以及将高于阈值的像素设置为第二值（例如，逻辑“真”值，例如1）。在这些实施例中，修正所述变换包括改变阈值。强度变换可包括形态滤波器，其适于根据选择的图像结构的尺寸和形状，来增强和抑制它们。在本公开的上下文中，将会意识到，形态滤波器包括选择的尺寸和形状的结构单元。在这些实施例中，修正所述变换可包括改变结构单元的尺寸和形状的至少一项。形态滤波器的类型包括腐蚀、膨胀、开、闭。修正所述变换还可以包括保持结构单元恒定以及改变要被应用的形态滤波器的类型。
图像变换还可以包括直方图均衡。直方图均衡可以提供用于修正图像的动态范围和对比度的方法，这是通过更改该图像使得它的强度直方图具有想要的形状而进行的。这样的方法可以利用映射函数，诸如非线性和非单调转移函数，来在输入和输出图像中的像素强度值之间映射。因此，输出图像包含强度的修正的分布（举例而言，更均匀，例如平的直方图）。通过这样做，感知的细节水平可以增加，因此，它可以提供可能在其中更容易识别结构的图像数据。在这些情形下，修正变换可包括修正被使用来变换图像数据的映射函数。可以应用下面参照图7描述的其它图像变换。
另外，可以设想这些另外的图像分析方法可以被应用到按照上面阐述的方法获得的图像数据，直至在该图像数据内已识别预定的阈值数目的结构为止。
这样的另外的技术的应用可以使得能在数字病理学中以多个分辨率进行迭代图像处理，并且还可以使得能构建离散的组织模型和/或知识文件，它们包含新图像可以对照其进行比较的、关于组织结构的信息。另外，这些过程可以被迭代地应用，通过每次迭代使最终得到的输出数据被精炼以及附加信息在图像数据中被识别。当达到特定的可信度水平时，这样的迭代过程可以被终止，和/或在特定的间隔阈值处被停止。在一个例子中，迭代过程可以在对于组织的识别已达到小于10%，例如小于5%的p值时被停止。而且，以上参照的组织模型和/或知识文件可以通过迭代学习过程被构建。通过使用某些或所有的以上讨论的技术而获得的数据也可以与包含苏木精和伊红染色的组织样本的、原先的图像数据相组合，以使得数据被映射在该图像上，使得图像数据与得出的数据的组合被组合成提供载玻片和/或组织样本的内容的详细代表。这个信息可以取修正的图像的形式，并且可以被呈现，使得用户可以获得组织样本或载玻片的图像的“增大的可视化”。
图6图示被配置成执行计算机实施的图像处理方法的图像处理设备40。硬件的其它配置也可以被使用于执行所述相同的方法，和类似于它的方法。
设备40还可以被配置成根据所述比较步骤的至少一个的结果，提供以下的至少一项：(a)包括所述比较步骤的至少一个的结果的指示的、增扩的图像，和(b)在组织中存在癌细胞的诊断指示。
图4的设备40包括图像获得器42和处理器43。处理器43包括图像数据储存库44、描述符数据获得器46、空间滤波器储存库47、空间滤波器选择器48、空间滤波器应用器50、定量图像储存库51、定量图像度量选择器52、数据值区确定器54、比较器选择器56和比较器58。
虽然图上未示出，但这些单元的每个单元通常包括计算机可读存储装置和逻辑模块，它们可以以硬件实现，诸如逻辑门的组合、和/或可编程逻辑（诸如现场可编程门阵列FPGA）、和/或专用集成电路，和/或可以通过与适当地配置的固件和软件相组合的通用可编程处理器实现。这些单元的一个或多个单元可被配置成提供数据和/或矩阵的有效处理。
数据获得器42包括数据通信接口，用于获得定义苏木精和伊红染色的组织样本的显微镜载玻片图像的显微镜图像数据。数据通信接口的例子包括以太网、和串行接口，诸如通用串行总线接口——也可以使用数据通信接口的其它例子。
图4显示的设备40的每个单元被耦合成传送数据和/或命令到一个或多个其它装置。具体地，数据获得器42被耦合到处理器43，因此，耦合到图像数据储存库44、空间滤波器应用器50、和数据值区确定器54。空间滤波器选择器48和定量图像度量选择器52被连接到图像数据储存库44。
数据获得器42包括数据通信接口，用于获得定义苏木精和伊红染色的组织样本的显微镜载玻片图像的显微镜图像数据。数据通信接口的例子包括以太网、和串行接口，诸如通用串行总线接口——也可以使用数据通信接口的其它例子。
图像数据储存库44包括用于存储图像数据的数据储存存储器，所述图像数据可包含代表所述或每个图像的总体颜色的灰度或三种颜色分量数据元素。本文描述的这个和其它的计算机存储器可以包括易失性和/或非易失性存储器——例如，随机存取存储器RAM、或芯片上高速缓冲存储器、硬盘驱动HDD、或固态驱动SSD。
描述符数据获得器46适于从图像数据储存库44获得描述符数据。描述符数据可以指示组织样本所源于的组织类型，如上面阐述的。
空间滤波器选择器48适于从空间滤波器储存库47中选择一个或多个空间滤波器，它们可被配置成识别结构化的图像数据，结构化的图像数据描述具有在选择的范围中的空间长度尺度的结构，如以上阐述的。空间滤波器选择器48可以使用由描述符数据获得器46获得的描述符数据来选择空间滤波器。
空间滤波器应用器50被配置成将选择的空间滤波器应用到所述图像数据，并且还被配置成识别包括小于图像的整个区域的、该图像的多个离散空间区。
定量图像度量选择器52被配置成根据从图像数据储存库44获得的描述符数据，从定量图像度量储存库51中选择定量图像度量。
数据值确定器54被配置成应用由选择器52选择的一个或多个定量图像度量，以便如以上定义的、从该图像的所述或每个离散空间区中获得样本区数据。
比较器选择器56被配置成从图像数据储存库44中选择组织模型数据的一个比较器组，以及比较器58被配置成将样本区数据对照组织模型数据的所述比较器组进行比较。
在操作中，数据获得器42从图像数据储存库44中获得载有苏木精和伊红染色的组织样本的显微镜载玻片的数字图像。数字图像载玻片可包括染色的组织样本的彩色图像，或替换地，可包括染色的组织样本的灰度图像。
描述符数据获得器46然后从图像数据储存库44获得描述符数据，它可以指示组织样本所源于的一种类型的组织。然后，描述符数据被空间滤波器选择器48使用来从空间滤波器储存库47中选择一个或多个空间滤波器。所述一个或多个空间滤波器可被配置成识别描述具有在选择的范围中的空间长度尺度的结构的结构化图像数据。
空间滤波器应用器50然后将选择的滤波器应用到图像数据，以识别定义该图像的多个离散空间区的图像数据子集，其中离散空间区包括小于该图像的整个区域。定量图像度量选择器52然后根据描述符数据，从定量图像度量储存库51中选择一组定量图像度量。
数据值确定器54然后对于每个离散空间区，应用所述或每个定量图像度量，以根据与所述或每个离散空间区相关联的图像数据子集，获得对于所述或每个定量图像度量的样本区数据值。
比较器选择器56然后从图像数据储存库44获得组织模型数据的至少一个比较器组，每个比较器组与不同的对应比较器组织结构相关联，以及每个比较器组包括对于对应的比较器组织结构的那组定量图像度量的数据值。
然后比较器58比较对于每个离散区的样本区数据值与所述至少一个比较器组，以及在对于所述或每个离散区的样本区数据值匹配于所述比较器组的情形下，处理器根据对应的比较器组织结构的本性，确定是否进一步分析所述或每个离散区。
图7涉及到被配置成执行用于识别在数字显微镜图像中的结构的计算机实施的显微镜图像处理方法的设备。在这个方法中，从数字显微镜图像获得第一图像数据集。
然后将图像变换应用到该第一图像数据，以获得第二图像数据。然后通过以下方式对这个第二图像数据中的结构进行分类：将它们与比较器数据进行比较，以便将它们标识为属于已知或(预期为)在组织类型中发现的多个结构之一。
在第二图像数据中仍剩余未分类的结构的情形下，图像变换被修正，并且被再次应用到至少包括图像数据的未分类的结构的部分。这提供第三图像数据集。然后可以通过将这个第三图像数据中的结构与比较器数据进行比较而对它们进行分类。
这个尝试分类、接着修正图像变换、接着重新尝试分类新变换的（未分类的）图像结构的过程可以重复进行，直至图像中的所有结构（或那些结构的可接受比例）都被适当地分类为止。
在本方法中使用的图像变换可包括对比度拉伸、空间滤波（例如，形态滤波）、直方图均衡、颜色通道去卷积和其它变换。现在将描述本方法的特定实施例，其中图像变换包括形态滤波器。然而，将会意识到，也可以使用这其它变换操作的任何变换操作。
图7上图示的实施例包括图像数据储存库100、组织数据储存库102、控制器104和用户接口。控制器104被耦合成传送去往和来自图像数据储存库100、组织数据储存库102和用户接口106的每个装置的数据。
图像数据储存库100和组织数据储存库102均包括用于存储和检索数字图像数据的易失性和/或非易失性数据存储器，以及使得能从该存储器读出数据和将数据写入到该存储器的数据接口。各自被耦合到控制器104，使得控制器104能够从图像数据储存库100获得图像数据和从组织数据储存库102获得诸如定量图像度量那样的组织数据和比较器数据。图像数据储存库100还被配置成：对于图像的每个项，存储该图像所源于的那种组织类型的对应的描述符。组织数据储存库102存储多个描述符、标记，每个对应于不同的组织类型。这样的组织类型的例子包括***组织、***组织、肺组织、胰腺组织和其它类型的组织。组织数据储存库102还对于每个描述符存储一组元组。每个元组提供在(a)已知(或预期为)在由所述描述符标识的组织类型中发现的结构，(b)一组定量图像度量，和(c)指示在该结构中那些图像度量的期望值的一组比较器数据值之间的关联。
控制器104包括处理逻辑，被配置成从图像数据储存库100和组织数据储存库102的存储装置读出数据和将数据写入到该存储装置中。控制器104还可操作来将图像变换应用到从图像数据储存库100获得的图像数据。该图像变换包括具有选择的形状和尺寸的结构单元的形态滤波器，但是正如上面解释的，这只是一种类型变换的一个例子。控制器104可操作来改变该结构单元的尺寸和/或形状。控制器104还被配置成从图像数据储存库100获得图像数据和那个图像的描述符。控制器104被配置成使用该描述符来从组织数据储存库102中选择相关的那组元组。控制器104还可操作来选择那些元组中的一个（例如，与已知或预期为在组织类型中发现的特定结构相关联的），由此获得一组定量图像度量。控制器104可操作来将这些定量图像度量应用到图像数据，以及通过对这些度量求值，获得表征图像数据的一组样本数据值。这些样本数据值可被认为是一种类型的指纹，它可被使用于推论所述图像数据或该图像数据的一部分可能源于的结构。因此，控制器104被配置成将样本数据值与被存储在用于该图像结构的元组中的比较器数据值进行比较。这使得控制器104能够确定图像数据的指纹可能与该元组所关联的结构的指纹匹配的程度。取决于图像度量的性质，该比较可以通过以下方式而被执行，即：确定通过对任何特定度量求值而获得的数据是否落在由相关的比较器数据定义的、对于该度量的值的选择的范围内。
在操作中，控制器104从图像数据储存库100读出图像数据和对应的描述符。控制器104然后将形态滤波器应用到这第一图像数据，以将所述数据变换成第二图像数据。控制器104然后在组织数据储存库102中识别与图像数据的描述符相关联的那组元组——例如，它使用描述符作为索引来查找相关的那组元组。
控制器104然后从由该组元组标识的这组结构中间选择第一结构。控制器104然后通过将（在对于该第一结构的元组中列出的）定量图像度量应用到第二图像数据而对那些度量求值。控制器104然后将数据值（通过对用于第二图像数据的这些度量求值而获得的）与被存储在用于第一结构的元组中的比较器数据进行比较。在与第二图像数据的一个或多个部分相关联的数据值匹配于用于给定结构的比较器数据的情形下，控制器104可以将那一个或多个部分分类为属于那个结构。控制器104然后可以为与描述符相关联的那些结构的每个结构执行相同的过程，直至所有的图像数据被分类或者与该描述符相关联的所有结构被检验为止。
在这个过程后第二图像数据的一个或多个区域仍保持为未分类的情形下，控制器104通过例如改变形态滤波器的结构单元的尺寸和/或形状而修正该滤波器，然后将修正的滤波器应用到第一图像数据的未分类的区域。通过应用这个修正的图像变换，控制器104获得第三图像数据。控制器104然后通过对与每个结构相关联的定量图像度量求值，并且执行以上所说明的比较，来完成对该数据进行分类的过程。在某些图像数据在这个过程的结尾仍保持为未分类的情形下，控制器104可以进一步修正形态滤波器和重复所述过程。这可以迭代地进行，直至差不多可接受量的数据已被分类为止。
在本公开的上下文中将会意识到，以上描述的过程仅仅是示例性的，它可以以许多方式变化。例如，单个结构可以与每个组织类型描述符相关联，因此该组元组可以仅仅包括一单个元组。另外，每个结构可以仅仅与单个定量图像度量相关联。
适当的定量图像度量的例子是从包括以下项的列表中选择的一个或多个项：频率域度量、纹理度量（诸如灰度共生矩阵（“GLCM”）度量）、光密度、颜色和任何其它的适当的度量。这些度量可以具有特征，并且可以以上面说明的方式被应用。
组织数据被描述为被存储在元组中，但可以使用能够存储数据的单元之间的关联的任何数据结构。例子包括列表、链接列表、阵列、查找表等等。
预期有其它变例。例如，在某些实施例中，图像变换可能不由形态滤波器提供。例如，可以使用诸如平滑或锐化滤波器那样的图像变换。这种变换可以增强和/或衰减图像的被选择的空间频率分量。在这些实施例中，修正图像变换可包括修正被应用到那些空间频率分量的一个或多个的衰减或增强的程度和/或使得滤波器衰减或增强不同的被选择的空间频率分量。这可以通过改变滤波器的转移函数而达到。
作为另一个例子，控制器104可被配置成应用不同类型的图像变换。例如，形态滤波器可以首先被应用，然后如果使用通过应用该滤波器而获得的滤波的数据不能分类所有的数据，则可以应用不同类型的图像变换。图像变换可以根据以下的至少一个被选择：(a)图像数据的至少一个定量图像度量；和(b)指示所述显微镜图像所源于的组织的类型的描述符数据。例如，——如果描述符数据指示所述组织是***组织，以及所述数据的空间频率度量指示具有在对应于导管和小叶的频带中的长度尺度的结构的存在，则控制器104可以选择形态滤波器（或其它图像变换），来识别这些结构。例如，形态滤波器的结构单元的尺寸和形状可被选择为匹配于导管或小叶的形状和/或尺寸。这当然仅仅是示范性的，且图像变换可以根据在由描述符标识的组织中已知（或预期为）存在的结构的任何其他已知特性而进行选择。
正如已经提到的，许多不同类型的图像变换可被使用于参照图7解释的方法。例如，图像变换可包括强度变换，其适于修正它所应用到的图像数据的至少一个颜色通道的强度。
图像变换可包括直方图变换，例如，被配置成修正图像像素值的频率分布的操作。例如，这可以是直方图均衡——即，增加图像像素值的频率分布的均匀性的操作。这样的操作可包括将映射函数应用到它所应用到的图像数据的至少一个颜色通道的强度。在这些例子中，修正所述图像变换可包括修正这个映射函数。同样地，图像变换可包括对比度拉伸操作。对比度拉伸操作的例子包括应用线性变换到它所应用到的图像数据的至少一个颜色通道的强度。正如将会意识到的，线性变换可包括加法项（additive term）和线性缩放。修正这样的变换可包括改变加法项的值（或正负号）和/或改变线性缩放的值（或正负号）。
在本公开的上下文中还将意识到，本文所指的图像数据可以起源于多个不同类别的成像***的任一个。这些***可以各自使用不同的图像获取协议和不同类型的光学器件。例如，某些***获取一系列单色图像，每个使用一系列不同的彩色滤光器中的不同的彩色滤光器。如果样本是在离散的、界限分明的彩色频带中，则最终得到的单色图像然后可被组合成提供彩色图像。其它***与多带滤波器相组合地使用彩色照相机。这样的滤波器可以具有例如三个预定义的颜色通带，以便在单次拍摄时生成彩色图像。通带可以根据样本或分析技术的特性进行选择。完整载玻片成像***的某些例子包括Aperia ScanScope FL（可从Aperio, Vista, CA得到）、Leica SCN400F （可从Leica Biosystems, Richmond, IL得到）。3DHistech P250（可从3DHistech, Budapest, Hungary得到）是这种扫描仪的例子。完整载玻片成像***的其它例子包括the Omnyx VL140（可从Omnyx, Pittsburgh, PA得到）、the Olympus VS120 （可从Olympus Corporation, Tokyo, Japan得到）和thePhilips UFS System （可从Philips Digital Pathology Solutions, Best, TheNetherlands得到）。还存在另外的***，且它们将来无疑将会发展——本发明的实施例可以允许处理源于任何一个或多个这样的***的图像数据和在这些图像数据之间进行比较。
完整载玻片显微镜图像可以具有几百纳米（例如250 nm）的分辨率。组织样本本身可以各自是十毫米宽（across）或更多，例如，约15 mm X 15 mm。这样的样本的完整载玻片图像可包括至少108个像素，例如，至少109个像素。在某些实施例中，完整载玻片图像包括108到1010个像素。
在某些方法可被应用到活的人或动物体的方面来说，将会意识到，这样的方法可能不提供任何外科或治疗效果。另外，将会意识到，这样的方法可以离体地应用到不是活的人或动物体的一部分的组织样本。例如，这里描述的方法可以在肉、组织样本、尸体和其它非活的对象上被实践。
总的参照附图，将会意识到，示意性功能框图被使用来指示这里描述的***和设备的功能性。然而，将会意识到，所述功能性不需要这样地划分，且不应当被理解为暗示除下面所描述和要求的之外的硬件的特定结构。附图上显示的一个或多个单元的功能还可以被进一步再划分和/或被分布在本公开的设备中。在某些实施例中，在附图上显示的一个或多个单元的功能可以被集成在单个功能单元中。
以上的实施例要被理解为说明性的例子。设想另外的实施例。应当理解，相对于任何一个实施例描述的任何特征可以单独地或与描述的其它特征相组合地被使用，且还可以与任何其他的实施例的一个或多个特征或者任何其他实施例的任何组合，相组合地使用。而且，也可以采用以上没有描述的等同物和修正，而不背离在所附权利要求中限定的本发明的范围。
例如，在某些实施例中，这里描述的方法包括在已确定该图像数据的一个或多个离散区要被进一步分析的情形下，将形态滤波器应用到图像数据。例如，这样的形态滤波器可以只被应用到已被选择为要被进一步分析的区。这样的形态滤波器可以具有被选择来提供识别细胞核的细胞核数据的结构单元。例如，所述结构单元可以是圆形，并且可以具有小于20微米，例如小于10微米，的直径。这个细胞核数据可以使得能确定所述至少一个离散区是否包括癌细胞。例如，这样的方法可包括从细胞核数据确定核形状和核尺寸的至少一项的度量，以及将核形状和核尺寸的所述至少一项与比较器数据进行比较，以确定所述至少一个离散区是否包括癌细胞。这样的方法还可以包括获得识别在所述或每个离散区中细胞边界的细胞边界数据和/或根据所述细胞边界数据确定所述至少一个离散区是否包括癌细胞。例如，这可包括从细胞边界数据确定细胞形状和细胞尺寸的至少一项，以及将细胞形状和细胞尺寸的所述至少一项与比较器数据进行比较，以确定所述至少一个离散区是否包括癌细胞。
在某些例子中，一个或多个存储器单元可以存储数据和/或程序指令，其被使用来实施本文描述的操作。本公开的实施例提供有形的、非瞬态的存储介质，其包括可操作来编程处理器去执行本文描述的和/或要求的任何一个或多个方法和/或提供本文描述的和/或要求的数据处理设备的程序指令。
本文概述的活动和设备可以用诸如逻辑门的组装部件那样的固定逻辑或诸如由处理器执行的软件和/或计算机程序指令那样的可编程逻辑来实施。其它种类的可编程逻辑包括可编程处理器、可编程数字逻辑（例如，现场可编程门阵列（FPGA）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM））、专用集成电路ASIC、或任何其它种类的数字逻辑、软件代码、电子指令、快闪存储器、光盘、CD-ROM、DVD ROM、磁卡或光卡、适合于存储电子指令的其它类型的机器可读介质、或它们的任何适当的组合。
在某些例子中，计算机和/或处理器的功能性可以由数字逻辑提供，数字逻辑是诸如现场可编程门阵列FPGA、专用集成电路ASIC、数字信号处理器DSP，或可以由被装载在可编程的处理器中的软件提供。处理器和它的程序的功能性可以在单个集成单元中提供，或者它可以分布在多个处理器之间，这些处理器可被安排成通过网络进行通信，诸如“云”计算。这可以使得例如能够在远离图像捕获和图像分析的一个（或多个）设备处执行所述方法的处理步骤。
在本公开的上下文中，本文描述的设备和方法的其它例子和变例对于本领域技术人员将是显而易见的。其它例子和变例都是在本公开的范围内，如在所附权利要求中阐述的。

Claims (42)

1.一种计算机实施的图像处理方法，所述方法包括：
获得定义苏木精和伊红染色的组织样本的显微镜载玻片图像的显微镜图像数据，其中所述显微镜载玻片图像数据包括多个图像像素；
获得指示所述组织样本所源于的组织的类型的描述符数据；
根据所述描述符数据，选择被配置成识别结构化图像数据的空间滤波器，所述结构化图像数据描述具有在选择的范围中的空间长度尺度的结构；
将所选择的滤波器应用到该图像数据，识别定义该图像的多个离散空间区的图像数据子集，其中所述离散空间区包括小于该图像的整个区域；
从数据储存库选择一组定量图像度量，其中所述定量图像度量是根据描述符数据被选择的；
对于每个离散空间区，根据与所述或每个离散空间区相关联的图像数据子集，确定对于该组定量图像度量的每个定量图像度量的样本区数据值；
使用描述符数据从数据储存库中选择组织模型数据值的至少一个比较器组，其中每个比较器组是与不同的对应比较器组织结构相关联的，以及每个比较器组包括对于该对应比较器组织结构的那组定量图像度量的数据值；
比较对于每个离散区的样本区数据值与所述至少一个比较器组；以及
在对于所述或每个离散区的样本区数据值匹配于该比较器组的情形下，根据该对应比较器组织结构的本性，确定是否进一步分析所述或每个离散区。
2.按照权利要求1的方法，其中所述空间滤波器包括具有根据描述符数据选择的结构单元的形态滤波器。
3.按照权利要求2的方法，其中所述结构单元的尺寸和形状的至少一项是根据描述符数据选择的。
4.按照任一前述权利要求的方法，其中该组定量图像度量包括基于在所述或每个离散区中的光密度的度量。
5.按照任一前述权利要求的方法，其中该组定量图像度量包括基于在所述或每个离散区中的在空间频率的选择范围中的空间频率数据的度量。
6.按照任一前述权利要求的方法，其中所述定量图像度量包括基于在所述或每个离散区中的纹理数据的度量。
7.按照任一前述权利要求的方法，其中所述比较器结构包括原位癌。
8.按照任一前述权利要求的方法，其中在所述或每个离散区不要被进一步分析的情形下，所述或每个离散区被从所述图像数据的后续分析中排除。
9.按照任一前述权利要求的方法，包括在所述或每个离散区要被进一步分析的情形下，将第一形态滤波器应用到所述或每个离散区中的图像数据，其中所述形态滤波器具有被选择来提供识别细胞核的细胞核数据的结构单元。
10.按照任一前述权利要求的方法，其中该组定量图像度量包括在基于描述符数据选择的长度尺度上的组织形态的至少一个度量。
11.按照任一前述权利要求的方法，包括从多个显微镜载玻片图像获得所述组定量图像度量的数据值，根据所述组的定量图像度量的至少之一的数据值，选择该多个显微镜载玻片图像的序列。
12.按照权利要求11的方法，包括以所选择的序列将该多个显微镜载玻片图像呈现给操作人员。
13.按照任一前述权利要求的方法，其中所述图像数据包括光密度数据。
14.一种被配置成执行按照任一前述权利要求的方法的诊断设备。
15.按照权利要求14的设备，其被配置成根据所述比较步骤的至少一个的结果，提供以下的至少一项：(a)包括所述比较步骤的至少一个的结果的指示的增扩的图像；和(b)在组织中存在癌细胞的诊断指示。
16.一种设备，包括：
图像获得器，被配置成获得显微镜图像数据和将所述数据提供到图像处理器，其中所述图像数据定义苏木精和伊红染色的组织样本的显微镜载玻片图像，以及所述显微镜载玻片图像数据包括多个图像像素；以及
处理器，用于对图像数据执行操作，以及被配置成：
获得指示所述组织样本所源于的组织的类型的描述符数据；
根据所述描述符数据，选择空间滤波器，该空间滤波器被配置成识别描述具有在选择的范围中的空间长度尺度的结构的结构化图像数据；
将所选择的滤波器应用到该图像数据，以识别定义该图像的多个离散空间区的图像数据子集，其中所述离散空间区包括小于该图像的整个区域；
根据描述符数据，选择一组定量图像度量；
对于每个离散空间区，根据与所述或每个离散空间区相关联的图像数据子集，确定对于该组定量图像度量的每个定量图像度量的样本区数据值；
获得组织模型数据值的至少一个比较器组，其中每个比较器组是与不同的对应比较器组织结构相关联的，以及每个比较器组包括对于对应比较器组织结构的该组定量图像度量的数据值；
比较对于每个离散区的样本区数据值与所述至少一个比较器组；以及
其中该处理器被配置成使得在对于所述或每个离散区的样本区数据值匹配于所述比较器组的情形下，处理器根据该对应比较器组织结构的本性，确定是否进一步分析所述或每个离散区。
17.按照权利要求16的设备，其中处理器被配置成在所述或每个离散区要被进一步分析的情形下，将第一形态滤波器应用到所述或每个离散区中的图像数据，其中所述形态滤波器具有被选择成提供识别细胞核的细胞核数据的结构单元。
18.按照权利要求17的设备，其中第一形态滤波器的结构单元是圆形，且具有小于20微米，例如小于10微米的直径。
19.按照权利要求17或18的设备，其中处理器被配置成根据细胞核数据增扩该图像数据，以及提供已增扩的图像数据，以支持在组织样本中存在癌组织的诊断。
20.按照权利要求19的设备，其中处理器被配置成根据从所述细胞核数据确定的核形状和核尺寸的至少一项的度量，增扩该图像数据。
21.按照权利要求20的设备，其中处理器被配置成根据核形状和核尺寸的所述至少一项与比较器数据的比较来增扩该图像数据，以指示所述至少一个离散区是否包括癌细胞。
22.按照权利要求16到21的任一项的设备，其中处理器被配置成根据识别在所述或每个离散区中的细胞边界的细胞边界数据，增扩该图像数据。
23.按照权利要求22的设备，其中处理器被配置成例如根据分水岭，从所述或每个离散区的梯度图像数据，确定细胞边界数据。
24.按照权利要求22或23的设备，其中所述细胞边界数据包括细胞形状和细胞尺寸的至少一项。
25.按照权利要求14到24的任一项的设备，其中处理器被配置成从多个显微镜载玻片图像获得所述组定量图像度量的数据值，以及其中增扩图像数据包括根据所述组的定量图像度量的至少之一的数据值选择所述多个显微镜载玻片图像的序列。
26.按照权利要求25的设备，其中处理器被配置成以所选择的序列将该多个显微镜载玻片图像呈现给操作人员。
27.按照权利要求19到26的任一项的设备，其中处理器被配置成通过加亮所述或每个离散区而增扩该图像数据。
28.按照权利要求16到27的任一项的设备，被配置成根据所述比较步骤的至少一个的结果，提供以下的至少一项：(a)包括所述比较步骤的至少一个的结果的指示的增扩的图像；和(b)在组织中存在癌细胞的诊断指示。
29.一种用于识别结构的计算机实施的显微镜方法，所述方法包括：
从数字显微镜图像获得第一图像数据；
将图像变换应用到所述第一图像数据，以获得第二图像数据，其中所述第二图像数据的至少某些像素数据值不同于所述第一图像数据的对应的像素数据值；
比较所述第二图像数据与至少一个比较器，以及根据所述比较，对显微镜图像中的结构进行分类；
识别在所述第二图像数据中的至少一个未分类的结构；
修正所述图像变换；
将修正的图像变换应用到从数字显微镜图像获得的图像数据，以获得第三图像数据；以及
比较所述第三图像数据与所述至少一个比较器，用于识别所述至少一个未分类的结构。
30.一种用于识别结构的计算机实施的显微镜方法，所述方法包括：
从数字显微镜图像获得第一图像数据；
将图像变换应用到所述第一图像数据，以获得第二图像数据，其中所述第二图像数据的至少某些像素值不同于所述第一图像数据的对应的像素值；
比较所述第二图像数据与至少一个比较器，以及根据所述比较，对显微镜图像中的结构进行分类。
31.按照权利要求30的方法，其中所述图像变换包括对比度拉伸操作，所述方法包括：
修正对比度拉伸操作；
将修正的对比度拉伸操作应用到从数字显微镜图像获得的图像数据，以获得第三强度数据；以及
比较所述第三强度数据与所述至少一个比较器，用于识别至少一个未分类的结构。
32.按照权利要求29到31的任一项的方法，其中所述图像变换包括一种操作，该操作被配置成衰减或增强所述图像数据中的、向其应用所述图像变换的一个或多个选择的空间频带。
33.按照权利要求32的方法，其中修正所述图像变换包括修正对于所述一个或多个空间频带中的一个或多个的衰减或增强。
34.按照权利要求29到33的任一项的方法，包括根据以下的至少一项选择所述图像变换：
（a）图像数据的至少一个定量图像度量；以及
（b）指示所述显微镜图像所源于的组织的类型的描述符数据。
35.按照权利要求29到34的任一项的方法，其中所述图像变换包括强度变换，该强度变换适于修正它被应用到的、该图像数据的至少一个颜色通道的强度。
36.按照权利要求35的方法，其中所述图像变换包括直方图均衡。
37.按照权利要求36的方法，其中直方图均衡包括将映射函数应用到它被应用到的、该图像数据的至少一个颜色通道的强度，以及其中修正图像变换包括修正所述映射函数。
38.按照权利要求29到37的任一项的方法，其中所述图像变换包括对比度拉伸操作。
39.按照权利要求38的方法，其中所述对比度拉伸操作包括将线性缩放应用到它被应用到的、该图像数据的至少一个颜色通道的强度，以及其中修正所述图像变换包括修正所述线性缩放。
40.按照权利要求29或权利要求31到39的任一项的方法，其中所述修正的图像变换被应用到包括至少一个未分类的结构的图像数据子集。
41.按照权利要求29或权利要求31到40的任一项的方法，其中所述修正的图像变换被应用到排除至少一个分类的结构的图像数据子集。
42.按照权利要求31到39的任一项的方法，包括迭代地重复所述修正、比较和分类步骤，直至小于选择数目的对象仍保持未分类。
CN201680055726.2A 2015-09-23 2016-09-23 用于组织识别的方法和设备 Pending CN108352062A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1516871.9 2015-09-23
GB1516871.9A GB2543029A (en) 2015-09-23 2015-09-23 Method and apparatus for tissue recognition
PCT/GB2016/052973 WO2017051190A1 (en) 2015-09-23 2016-09-23 Method and apparatus for tissue recognition

Publications (1)

Publication Number Publication Date
CN108352062A true CN108352062A (zh) 2018-07-31

Family

ID=54544704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055726.2A Pending CN108352062A (zh) 2015-09-23 2016-09-23 用于组织识别的方法和设备

Country Status (6)

Country Link
US (1) US10565706B2 (zh)
EP (1) EP3353742A1 (zh)
JP (1) JP6745874B2 (zh)
CN (1) CN108352062A (zh)
GB (1) GB2543029A (zh)
WO (1) WO2017051190A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213031A (zh) * 2018-08-13 2019-01-15 祝爱莲 窗体加固控制平台
CN111307249A (zh) * 2018-11-27 2020-06-19 宁波旭磊电子科技有限公司 水沿高度报警平台
CN115439445A (zh) * 2022-09-05 2022-12-06 青岛埃米博创医疗科技有限公司 一种肝血管及肝肿瘤识别***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467754B1 (en) * 2017-02-15 2019-11-05 Google Llc Phenotype analysis of cellular image data using a deep metric network
US10769501B1 (en) 2017-02-15 2020-09-08 Google Llc Analysis of perturbed subjects using semantic embeddings
ES2684373B2 (es) * 2017-12-19 2019-05-27 Univ Leon Procedimiento y sistema de vision artificial para la descripcion y clasificacion automatica de tejidos no patologicos del sistema cardiovascular humano
US11126649B2 (en) 2018-07-11 2021-09-21 Google Llc Similar image search for radiology

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557687A (en) * 1989-10-19 1996-09-17 Fuji Photo Film Co., Ltd. Abnormal pattern detecting apparatus
WO2003105675A2 (en) * 2002-06-18 2003-12-24 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
CN1502310A (zh) * 2002-11-27 2004-06-09 通用电气公司 用于测量与疾病相关的组织变化的方法和***
US20060127880A1 (en) * 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
CN101176116A (zh) * 2005-05-13 2008-05-07 三路影像公司 基于色原分离的图像分析方法
CN102044069A (zh) * 2010-12-01 2011-05-04 华中科技大学 一种白细胞图像分割方法
CN102297873A (zh) * 2011-05-03 2011-12-28 杭州一二八医院 利用软x射线显微成像进行癌细胞图形识别的方法
CN103489188A (zh) * 2013-09-23 2014-01-01 华南理工大学 一种宫颈lct图像的异常细胞核定位方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7864380B2 (en) * 2001-03-19 2011-01-04 Dmetrix, Inc. Slide-borne imaging instructions
WO2005027015A2 (en) 2003-09-10 2005-03-24 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
WO2006020627A1 (en) * 2004-08-11 2006-02-23 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
JP5648479B2 (ja) * 2008-10-09 2015-01-07 日本電気株式会社 病理組織診断支援システム、病理組織診断支援プログラム、病理組織診断支援方法
CN102421916A (zh) * 2009-04-21 2012-04-18 日本电气株式会社 用于评估癌症的方法
JP5547597B2 (ja) * 2010-09-29 2014-07-16 大日本スクリーン製造株式会社 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US20150141278A1 (en) * 2012-05-30 2015-05-21 Clarient Diagnostic Services, Inc. Multiplexed assay method for lung cancer classification
CA2920492C (en) * 2013-09-30 2019-08-13 Ventana Medical Systems, Inc. Systems and methods for adaptive histopathology image unmixing
JP2016541039A (ja) * 2013-10-07 2016-12-28 ベンタナ メディカル システムズ， インコーポレイテッド 包括的なマルチアッセイ組織分析のためのシステムおよび方法
US9558394B2 (en) * 2014-03-10 2017-01-31 Case Western Reserve University Histogram of hosoya index (HoH) features for quantitative histomorphometry
US9424460B2 (en) * 2014-03-10 2016-08-23 Case Western Reserve University Tumor plus adjacent benign signature (TABS) for quantitative histomorphometry
US9298968B1 (en) * 2014-09-12 2016-03-29 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5557687A (en) * 1989-10-19 1996-09-17 Fuji Photo Film Co., Ltd. Abnormal pattern detecting apparatus
WO2003105675A2 (en) * 2002-06-18 2003-12-24 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
CN1502310A (zh) * 2002-11-27 2004-06-09 通用电气公司 用于测量与疾病相关的组织变化的方法和***
US20060127880A1 (en) * 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
CN101176116A (zh) * 2005-05-13 2008-05-07 三路影像公司 基于色原分离的图像分析方法
CN102044069A (zh) * 2010-12-01 2011-05-04 华中科技大学 一种白细胞图像分割方法
CN102297873A (zh) * 2011-05-03 2011-12-28 杭州一二八医院 利用软x射线显微成像进行癌细胞图形识别的方法
CN103489188A (zh) * 2013-09-23 2014-01-01 华南理工大学 一种宫颈lct图像的异常细胞核定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
查悦明 等: ""基于Vision Builder AI的生物医学图像智能化自动处理分析"", 《实验室研究与探索》 *
江少锋 等: ""利用感兴趣区域从脑部MRI中提取脑组织"", 《中国图象图形学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213031A (zh) * 2018-08-13 2019-01-15 祝爱莲 窗体加固控制平台
CN111307249A (zh) * 2018-11-27 2020-06-19 宁波旭磊电子科技有限公司 水沿高度报警平台
CN115439445A (zh) * 2022-09-05 2022-12-06 青岛埃米博创医疗科技有限公司 一种肝血管及肝肿瘤识别***

Also Published As

Publication number Publication date
JP2018535470A (ja) 2018-11-29
WO2017051190A1 (en) 2017-03-30
US10565706B2 (en) 2020-02-18
JP6745874B2 (ja) 2020-08-26
EP3353742A1 (en) 2018-08-01
GB2543029A (en) 2017-04-12
GB201516871D0 (en) 2015-11-04
US20180350067A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
CN108352062A (zh) 用于组织识别的方法和设备
US8391575B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
CN106462767B (zh) 用于处理和分析图像的检查设备
US10388014B2 (en) Vessel analysis in multiplexed images
CN108140239A (zh) 用于组织辨识的方法和装置
JP2014525252A (ja) 組織分類のためのシステム及び方法
JP2018512072A (ja) 自動化スライド全域解析の品質管理
JP2000513465A (ja) 生体組織の試料および体液の試料の自動顕微鏡支援検査方法
JP6392476B1 (ja) 生体組織解析装置および生体組織解析プログラム
JPH09509487A (ja) 細胞試料自動分類装置及び方法
Elsalamony Anaemia cells detection based on shape signature using neural networks
WO2017051195A1 (en) Pattern driven image processing method & apparatus for tissue recognition
WO2018128091A1 (ja) 画像解析プログラム及び画像解析方法
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持***和方法
Yamaguchi Computer-aided differentiation for pathology images
Alomari et al. Adaptive Localization of Focus Point Regions via Random Patch Probabilistic Density from Whole‐Slide, Ki‐67‐Stained Brain Tumor Tissue
US20220261996A1 (en) Systems and Methods for Analyzing, Detecting, and Treating Fibrotic Connective Tissue Network Formation
Kharazmi et al. Automatic segmentation of vascular patterns in dermoscopy images
Placidi et al. Numerical methods for the semi-automatic analysis of multimodal wound healing images
JP2019519794A (ja) サンプルの画像の中の、生体要素のうち少なくとも１つの関心ある要素の判別を支援するための方法及び電子デバイス、関連するコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180731