CN107646115A - 图像分析***及相关方法 - Google Patents
图像分析***及相关方法 Download PDFInfo
- Publication number
- CN107646115A CN107646115A CN201680030097.8A CN201680030097A CN107646115A CN 107646115 A CN107646115 A CN 107646115A CN 201680030097 A CN201680030097 A CN 201680030097A CN 107646115 A CN107646115 A CN 107646115A
- Authority
- CN
- China
- Prior art keywords
- image
- vector
- scoring
- analyte
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本文所公开的实施例涉及用于确定分析物在生物样本中的存在和量的***和方法。所述用于确定分析物的存在的***和方法利用样本载玻片的多个图像,所述多个图像包括在其中具有多个焦面的多个视野。所述***和方法利用被配置用于对所述多个图像进行色彩和灰度强度平衡并基于此判定所述多个图像是否在其中包含所述分析物的算法。
Description
优先权申请的所有主题在此类主题不与本文冲突的程度上通过引用结合在此。
背景技术
显微镜技术用于诊断若干疾病、血液病症等。一些显微镜技术需要专用显微镜或其他设备以达到足够用于适当诊断的分辨率。
显微镜可以用于使用涂片(诸如,厚血涂片)检测分析物(诸如,疟疾)。典型地,显微镜包括油浸透镜,所述油浸透镜具有相对浅的景深以便达到检测引起疟疾的寄生原生动物所需的分辨率。透镜典型地展现出仅数微米、约一微米或小于一微米的景深。典型地,涂片的整个厚度被成像以结论性地诊断由分析物的存在指示的病症。然而,涂片的厚度大于数微米,这可以引起取决于图像的焦面的诊断问题。为了确保得以分析整个涂片,可以减小或增大样本与透镜之间的距离,以便捕获涂片中的每个视野(FoV)的多个焦面。
典型显微镜包括常规聚焦***,所述常规聚焦***被构造用于以微米位移增大或减小透镜与样本之间的距离。然而,这种常规聚焦***可能是昂贵且复杂的,这使得常规聚焦***不适合用于疟疾最普遍的区域,诸如在贫困区域中。典型诊断措施包括雇用人类技师来细看显微镜中的载玻片以便在视觉上判定分析物是否存在。然而,限制人类显微镜工作者的敏感性和一致性的因素包括个体间和个体内可变性、疏忽、眼疲劳、疲劳以及缺乏训练。缺乏训练在高素质显微镜工作者相比于疾病(诸如,疟疾)负担可能供应不足的资源匮乏的环境中是尤其相关的。另外地,人类技师可能不能够识别或量化样本载玻片中的特别低浓度的分析物(例如,低寄生虫血症)。
因此,显微镜的开发者和使用者继续寻求对用于在确定分析物的存在中使用的显微镜和诊断技术的改进。
发明内容
本文所公开的实施例涉及用于诊断、识别和量化生物样本中的生物分析物的***和方法。在一个实施例中,公开了一种用于确定分析物在血液中的存在的***。所述***包括:至少一个存储器存储介质,被配置用于存储样本载玻片的多个图像。所述多个图像包括:多个视野,每个视野各自包括所述样本载玻片的唯一x和y坐标;以及多个焦面,每个焦面各自具有所述样本载玻片的唯一z坐标。所述***包括:至少一个处理器,所述至少一个处理器可操作地耦接到所述至少一个存储器存储介质上。所述至少一个处理器被配置用于:确定白平衡变换并将其应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像。所述至少一个处理器被配置用于:确定自适应灰度变换并将其应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像。所述至少一个处理器被配置用于:检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象。所述至少一个处理器被配置用于:至少部分地基于所述一个或多个候选对象的一个或多个特性提取所述一个或多个候选对象并对其进行评分,至少部分地基于所述评分过滤所述一个或多个候选对象,并且输出每个已过滤候选对象的一个或多个经色彩校正的像斑和一个或多个自适应灰度强度像斑。所述至少一个处理器被配置用于:从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取一个或多个特征向量并输出所述一个或多个特征向量。所述至少一个处理器被配置用于:将每个特征向量分类为对应于伪像或分析物。所述至少一个处理器被配置用于:判定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
在一个实施例中,公开了一种用于确定分析物在血液中的存在的方法。所述方法包括:接收样本载玻片的多个图像。所述多个图像包括:多个视野,每个视野各自包括所述样本载玻片的唯一x和y坐标;以及多个焦面,每个焦面各自具有所述样本载玻片的唯一z坐标。所述方法包括:将白平衡变换应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像。所述方法包括:将自适应灰度变换应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像。所述方法包括:检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象。所述方法包括:至少部分地基于评分过滤所述一个或多个候选对象并输出每个已过滤候选对象的一个或多个经色彩校正的像斑和一个或多个自适应灰度强度像斑,所述评分至少部分地基于所述一个或多个候选对象的一个或多个特性。所述方法包括:从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取一个或多个特征向量并输出所述一个或多个特征向量。所述方法包括:将每个特征向量分类为对应于伪像或分析物。所述方法包括:判定被分类为分析物的特征向量是高于还是低于与阳性诊断相关联的阈值水平。
在一个实施例中,公开了一种用于确定疟疾寄生虫在血液中的存在的***。所述***包括:显微镜,被配置用于捕获血液载玻片的多个图像。所述多个图像中的每一个包括:多个视野,每个视野各自包括所述血液载玻片的唯一x和y坐标;以及多个焦面,每个焦面各自具有所述血液载玻片的唯一z坐标。所述***包括:至少一个存储器存储介质,被配置用于存储所述血液载玻片的所述多个图像。所述***包括:至少一个处理器,所述至少一个处理器可操作地耦接到所述至少一个存储器存储介质上。所述至少一个处理器被配置用于:确定白平衡变换并将其应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像。所述至少一个处理器被配置用于:确定自适应灰度变换并将其应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像。所述至少一个处理器被配置用于:检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象。所述至少一个处理器被配置用于:提取所述一个或多个候选对象的一个或多个特性并对其进行评分,至少部分地基于所述评分过滤所述一个或多个候选对象。所述至少一个处理器被配置用于:提取所述一个或多个已过滤候选对象的经色彩校正的像斑和自适应灰度强度像斑并输出每个已过滤候选对象的一个或多个特征向量。所述至少一个处理器被配置用于:将每个特征向量分类为伪像或分析物。所述至少一个处理器被配置用于:判定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
来自所公开的实施例中的任何的特征可以彼此结合使用而不具有限制。另外,本领域的普通技术人员通过考虑以下详细说明和附图将明了本公开的其他特征和优点。
前述概述仅仅是说明性的,并且并不意图以任意方式作为限制。除以上描述的这些说明性的方面、实施例及特征之外,通过参考图示以及以下详细描述将明了另外的方面、实施例以及特征。
附图说明
图1是疟疾生命周期图。
图2A和2B是环状寄生虫的示意图。
图2C是根据一个实施例的多个图像的示意图。
图3A是根据一个实施例的用于自动地检测和量化样本中的一种或多种分析物的***的多个模块的示意图。
图3B和3C是根据一个实施例的输入到图3A的***的模块中的多个图像的示意图。
图4是根据一个实施例的图3A的***的图像预处理模块的详细示意图。
图5是根据一个实施例的红色、绿色和蓝色轴线的色彩值空间中的不同向量之间的关系的图解。
图6A和6B是根据不同实施例的不同灰度图像的不同像素的灰度强度直方图。
图7是根据一个实施例的具有多个焦面的不同FoV的图像的并排比较,其中一个FoV包括寄生虫并且另一个FoV在其中包括伪像。
图8是根据一个实施例的图3A的***的候选对象检测模块的详细示意图。
图9是根据一个实施例的图3A的***的特征提取模块的详细示意图。
图10A和10B对应地是穿过简单透镜和具有消色差校正的透镜而折射到不同焦面的光线的图解。
图10C是针对图10A和10B所示的简单透镜和具有消色差校正的透镜的焦点对波长曲线的图。
图11是根据一个实施例的Giemsa染色的DNA样本的吸收光谱的图。
图12是根据一个实施例的用于确定分析物在样本中的存在的***的示意图
图13是根据一个实施例的用于确定分析物在样本中的存在的方法的流程图。
具体实施方式
本文所公开的实施例涉及图像分析***及其使用方法。本文所公开的图像包括呈任何计算机可读格式(诸如,png、jpeg、gif、tiff、bmp或任何其他适合的文件类型)的图像。在此的图像分析***和相关方法可以贯穿载玻片上的样本涂片(例如,厚血涂片)的整个竖直厚度(例如,基本上平行于显微镜上的光轴或z轴)和横向区段(例如,基于x和y轴的尺寸)解析和分析图像。在此的***和方法可以识别不同焦面(z水平)中的对象,这些对象事实上是同一对象,但由于不同的焦深而呈现出是不同的,或者由于相机抖动而具有不同x-y坐标。如以下更详细解释的,可以使用限定血涂片的离散横向(子)区段的多个视野(FoV)和贯穿血涂片的厚度限定离散(竖直堆叠)平面的多个焦面来分析血涂片。在此的图像分析***可以准确地识别寄生虫或其他分析物在样本中的存在,并且在一些实施例中,识别其种类或阶段。本文所公开的***和方法可以在等于或高于训练有素的人类显微镜使用者的性能水平下对生物样品中的一种或多种分析物提供自动诊断和量化中的一者或多者。如在此所使用,术语“分析物”并不旨在限制于特定化学种类,而是旨在至少延伸到进行分析的样本中的寄生虫(例如,疟疾等)、血液成分或其他对象中的一者或多者。本文所公开的***和方法提供综合机器学习框架,所述综合机器学习框架使用包括支持向量机(SVM)和卷积神经网络(CNN)的计算机视觉和机器学习技术来检测分析物。
在此的图像分析***和相关方法包括多个模块(例如,程序或算法),所述多个模块被配置用于执行不同功能以便准确地确定感染或病症在样本中的存在,即使在低浓度下(例如,低寄生虫血症)也是如此,并且不需要人类观察。所述多个模块可以包括预处理模块、候选检测模块、特征提取模块、分类模块以及诊断模块。虽然为了清楚在此被描述为单独“模块”,但这些“模块”中的每一个可以是存储在至少一个存储器存储装置中并且可能够由可操作地耦接到其上的处理器执行的一个或多个算法或基于所述一个或多个算法的机器可读程序。所述多个模块可以包括存储在至少一个控制器(例如,计算机)的存储器存储介质中或所述至少一个控制器中的一个或多个处理器中的离散编程模块和子模块,所述一个或多个处理器各自具有被配置用于执行相关模块的功能的编程。
总体上,每个模块被配置用于使得所述控制器或所述处理器执行以下所描述的功能。虽然为了便于理解而在下文紧接着总体上描述对这些功能的高级综述,但在下文中更详细公开每个模块的特定方面。
图像预处理模块可以生成多个图像的自适应白平衡彩色图像和自适应灰度强度图像,所述多个图像包括样本载玻片的多个FoV和多个焦面(例如,所述多个焦面中的每一个基本上垂直于光轴)。候选检测模块可以至少部分地基于图像中的候选对象的一个或多个属性(例如,强度、色彩类型、聚焦水平或其他属性)识别一个或多个候选对象,基于所述一个或多个属性识别并排除一个或多个伪像(例如,样本中的非分析物对象,诸如包括白血细胞的非寄生虫对象),并且可以提取包含每个候选对象的经色彩校正的像斑和自适应灰度强度像斑。特征提取模块可以识别并输出特定图像(例如,特定FoV及其焦面的一个或多个向量)中的候选对象(多个)的一个或多个数据集。特征提取模块可以使所述识别基于手动特征,包括候选对象的最佳聚焦评分、跨FoV中的焦面的聚焦评分的标准偏差(或离差的其他度量)、或红移评分中的一个或多个。特征提取模块可以另外地或可替代地至少部分地基于一个或多个自动特征来识别并输出一个或多个图像,所述一个或多个自动特征包括阳性样本、阴性样本或两者的计算机学习特性(例如,由卷积神经网络学习的一个或多个向量)。分类模块可以被配置用于:至少部分地基于从已知阳性样本和阴性样本学习的权重(例如,包括寄生虫的存在、类型、阶段或种类)判定所提取特征是否具有高概率评分(指示分析物或伪像存在),并确定样本中分析物(例如,寄生虫血症)的浓度的估计量。
以下数学符号将在贯穿本公开所公开的算法中所使用的等式中使用。呈斜体的小写字母或大写字母表示标量值(例如,k)。呈粗斜体的小写字母表示列向量(例如,ξ)。呈粗斜体的大写字母表示矩阵(例如,A)。上标T代表矩阵转置(例如,ξT)。图像平面坐标被称为<x,y>,并且竖直方向上(即,平行于光轴)的坐标被称为<z>。
本公开的图像分析***接收从高分辨率图像捕获装置(例如,高分辨率显微镜)采集的一系列生物样品图像作为输入,并且产生与生物样品的状态有关的诊断信息作为输出,所述状态是关于一种或多种分析物(例如,病原体诸如寄生虫,或天然存在的成分诸如血液成分)的存在、种类和计数。
在一个实施例中,生物样品包括样本的显微镜载玻片(例如,血涂片),并且在此的图像分析***分析一个或多个所采集样本载玻片图像以便确定一种或多种分析物(例如,疟疾寄生虫)在其中的存在或不存在。在此的图像分析***针对分析物的存在、计数和种类识别而分析样本载玻片。虽然本文所公开的***和方法不限制于与血涂片一起使用,但血涂片将贯穿本公开被用作实施例以便说明概念,并且应当理解,本公开适用于其他生物样本而不受限制。
在一个实施例中,在对血涂片中的一种或多种分析物诸如疟疾进行组织病理学诊断之前,用Giemsa染液对血涂片进行染色。Giemsa染液是亚甲基蓝、曙红Y和天青B的组合物;它将红细胞(红血细胞,此后为“RBC”)染成粉红色并且将白细胞核(白血细胞,此后为“WBC”)染成深洋红色。尽管在外观上没有白细胞核那么深,但疟疾寄生虫核也将染成洋红色。疟原虫细胞质将染成浅蓝色至中蓝色。虽然本文所公开的***和方法不限制于检测疟疾,但疟疾将贯穿本公开被用作示例性实施例以便说明概念,并且应当理解,本公开适用于其他分析物而不受限制。此外,可以使用与正在测试的分析物互补的其他染液和染色方法。例如,适合的染液可以包括Field染液、Jaswant Singh Bhattacharya(JSB)染液、Leishman染液等。
在一个实施例中,在此的这些***和方法可以用于至少部分地基于分析物的形状、色彩或大小中的一个或多个来检测和量化样本中的分析物的量。在一些实施例中,分析物可以具有多于一种构象或外观。本文的这些***和方法可以被配置用于检测或量化分析物的一种或多种构象、类型或种类。作为示例性实施例,人类疟疾寄生虫属于五种不同种类的疟原虫(Plasmodium)属:恶性疟原虫(falciparum)、间日疟原虫(vivax)、卵形疟原虫(ovale)、三日疟原虫(malariae)和诺氏疟原虫(knowlesi)。这些种类中的每一种的个体在其生命周期中经历复杂的一系列阶段。在每个阶段,寄生虫呈现不同的物理外观,并且在此的这些***和方法可以检测并识别来自五种不同种类中的每一种的寄生虫。
图1是承蒙国家过敏症与传染病研究所提供的疟疾生命周期的图。图1的右侧示出在蚊子体内发生的疟疾寄生虫生命周期中的阶段。图的左侧示出在受感染人类体内的阶段。在蚊子中,雄性和雌性疟疾寄生虫都以配子体形式开始。配子体繁殖以形成配子,所述配子最终发展并增殖成子孢子。子孢子迁移到蚊子唾液腺。当蚊子咬人时,子孢子进入血流并行进到肝并且感染肝细胞(肝脏细胞)。子孢子增殖成裂殖子,破裂受感染宿主的肝脏细胞,并且返回到血流。单独裂殖子感染红血细胞并发展成环状体,所述环状体是未成熟滋养子。环状体发展成更成熟的滋养子并且最终发展成裂殖体。每个裂殖体将***成多个裂殖子,所述多个裂殖子中的每一个寻找其自己的红血细胞以进行感染。以此方式,繁殖周期的无性部分自身重复,这由图1的左上方所示的人类血细胞周期指示。一些裂殖子可以发展成配子体,所述配子体如果由咬人的蚊子摄取就将继续寄生虫生命周期。
不同种类具有不同生命周期持续时间,并且即使在相同生命周期阶段,也具有相异的物理外观。由于疟疾种类之间的治疗方案有所不同,重要的是在进行组织病理学疟疾诊断时在疟疾种类之间进行区分。本公开的***的方法可以自动地在不同疟疾阶段或种类(或分析物)之间进行区别。
图2A和2B是环状寄生虫的示意图。环状寄生虫常见于外周血中。环状寄生虫的物理外观变化很大。环状寄生虫典型地以包含寄生虫的核物质的一个(图2A)或两个(图2B)染色质点201为特征。染色质点201在Giemsa染液下染成洋红色,如以上所指出。环状寄生虫还以小束状细胞质202为特征,所述小束状细胞质在Giemsa下染成浅蓝色至中蓝色,如以上所指出。染色质点201的直径典型地为约1μm,并且整个环状的直径在约3μm以下。在此的这些***和方法可以用于识别或量化约200nm或更大诸如约200nm至约100μm、约500nm至约10μm、约1μm至约5μm、或小于约50μm的分析物。在一个实施例中,为了获得这么小的对象的高质量图像,使用以高分辨率透镜为特征的显微镜。例如,适合的高分辨率显微镜可以包括具有大于或等于约1.2的数值孔径的油浸100x物镜。显微镜可以配备有数字图像捕获装置,诸如相机。在此的高放大率光学***的景深可以是约0.35μm或更小(例如,0.3μm、0.2μm、0.1μm,或在前述任一项之间的范围内),而血涂片可以是这个景深的若干倍大。在实施例中,针对每个FoV捕获多个焦面以便捕获寄生虫的对焦图像,这些对焦图像可以在竖直方向上位于血涂片的底部与顶部之间的任何地方。每FoV所捕获的焦面的数量被特指为nz。
图2C是根据一个实施例的多个图像301的示意图。所述多个图像301被安排在多个行和列中。图像的行和列共同地限定血涂片或其他样本载玻片。例如,血涂片可以基本上整个地由安排在y行、x列和z个焦面的集合中的多个图像捕获。所捕获FoV的数量被特指为nxy。每个FOV的横向延伸(例如,x和y延伸)由透镜的放大率或成像装置的图像传感器大小中的一个或多个限定。给定大小的血涂片可能需要多个FoV以便提供适合于在此的这些目的的图像分辨率。每个FoV可以具有与其相对应的多个焦面图像。例如,与所述多个图像中的x,y-坐标相对应的FoV可以包括z个焦面图像,所述z个焦面图像对应于所述数量的焦面,这些图像在对应FoV处在所述数量的焦面处被捕获。也就是说,对应于FoV的特定图像可以由唯一的x和y坐标特指,并且焦面可以由FoV中的唯一z坐标特指。每个图像(例如,特定FoV和焦面)可以在其中包含数个像斑。像斑是FoV(在特定焦面处)的横向子区段,所述横向子区段在其中具有一个或多个坐标对象并且限定血液载玻片的甚至更小的子区段。本文所公开的***和方法利用由nxy个FoV和nz个焦面组成的多个图像来识别和量化样本中的分析物。
在一些实施例中,由在此的显微镜捕获的FoV的大小可以是大约10,000μm2或更大,诸如10,000μm2至约20,000μm2。在一些实施例中,由在此的显微镜捕获的FoV的大小可以小于约10,000μm2,诸如1,000μm2至约10,000μm2。约10,000μm2的FoV对应于厚涂片血液样本中约3x10-4μL的血液。具有100个寄生虫/μL的寄生虫血症的疟疾患者的血涂片的FoV中的寄生虫数量将是Poisson分布的,平均来说每FoV具有3x10-2个寄生虫。
在一些实施例中,300个或更多的FoV可以被捕获以便达到足以用于在低寄生虫血症下对寄生虫进行可靠的检测和计数的统计量。例如,可以捕获约300至2000个FoV,或可以捕获约500至1000个FoV。在一些实施例中,300个或更少的FoV可以被捕获以便达到足以用于在低寄生虫血症下对寄生虫进行可靠的检测和计数的统计量。例如,可以捕获约10至300个FoV,或可以捕获约50至200个FoV。特定分析物的最低可检测寄生虫血症水平被叫做检测极限(LoD)。一般而言,所捕获FoV的数量越大,LoD就将越低。
上述段落提供对用作本文所公开的图像分析***的输入的图像的特性的综述。
图3A是根据一个实施例的用于自动地检测和量化样本中的一种或多种分析物的***300的多个模块的示意图。这些模块可以是共同地被配置用于确定寄生虫在样本中的存在的算法或包括这些算法(例如,这些算法电子地存储在其中)的控制器。图3B和3C对应地是输入到***300的模块中的多个图像301和所述模块的输出图像311的示意图。
参考图3A,一个或多个模块包括图像预处理模块310、候选对象检测模块320、特征提取模块330、对象分类器模块340以及诊断模块350。如以上所指出,在此的这些模块和子模块可以是指存储在至少一个存储器存储装置(例如,计算机硬盘驱动器)中并且由可操作地耦接到其上的至少一个处理器可执行的一个或多个算法和机器可读程序。在此描述的模块和子模块可以类似地是指自动地检测和量化样本中的一种或多种分析物的方法中的动作。
到***中的输入301可以包括样本载玻片的一个或多个FoV图像。存在各自包括nz个焦面的nxy个FoV,每个焦面包括红色、绿色和蓝色信道图像(如图3B所示)。
在图3A中所示的实施例中,***300可以在图像预处理模块310处接收所述多个图像301作为输入。所述多个图像301可以包括多个FoV和针对每个FoV的多个焦面。图像预处理模块310可以输出包括经色彩校正的图像和自适应灰度强度图像的多个输出图像311。所述多个经色彩校正的图像和自适应灰度强度图像可以在候选对象检测模块320和特征提取模块330处作为输入被接收。候选对象检测模块320接收经色彩校正的图像和自适应灰度强度图像,并输出包含候选对象的经色彩校正的R、G、B像斑321及其所有nz个焦面。特征提取模块330接收经色彩校正的R、G、B像斑321作为输入(基于输出图像311中的所述多个经色彩校正的图像和自适应灰度强度图像)。特征提取模块330提取并输出经色彩校正的R、G、B像斑321和自适应灰度强度像斑中的候选对象的特征向量331。特征向量是表示对象的数值特征的多维向量。换言之,特征向量是包括描述对象的一个或多个特性(例如,色彩、大小、位置等)的一个或多个变量的向量表示。对象分类器340接收特征向量331作为输入,并输出对应于每个候选对象作为分析物或伪像的分类的已分类对象数据341。已分类对象数据在诊断模块350处作为输入被接收,诊断模块确定并提供对样本的诊断。诊断模块可以输出分析物(例如,寄生虫血症)的诊断351和相对浓度。图像分析***模块310、320、330、340和350中的每一个在下文中进行详细描述。
A.图像预处理模块
组织学染色(例如,利用Giemsa染液)的显微镜载玻片典型地显示载玻片之内(载玻片内)以及来自不同样品的载玻片之间(载玻片间)的色彩变化。这个种色彩变化可能是由于染液的pH值的差异和染色过程的持续时间。在未校正的情况下,这些色彩差异可以降低目的在于对图像中的感兴趣对象进行检测和分类的图像分析***的性能。
白平衡技术可以用于使图像中的色彩标准化。白平衡技术可以如以下计算线性色彩变换。图像中的最亮像素的平均色彩被计算并表示为红-绿-蓝列向量:
其中R,G,B对应地是红色、绿色和蓝色信道像素值。对最亮像素进行求和,并且N是总和中所包括的像素的数量。
对角变换矩阵A计算如下:
像素的色彩校正值ξ′通过由等式1限定的线性变换获得:
其中b被选择成使得色彩校正像素值在[0,k]范围内;k通常被选择为1或255。在本公开中从此以后,为了符号表示法的简单起见,将放弃上撇号ξ′和R′,G′,B′而优选使用ξ和R,G,B,对此的理解是:色彩校正值是所预期的。
如以上所指出,在一些实施例中,可以针对每个血液样本捕获大约至少300个FoV。不是所有的这些图像都将包括白色部分,并且因此对每个单独的FoV图像进行白平衡可能导致色彩失真。为了补救这个问题,可以通过分开地在显微镜载玻片的白色部分上采集一个或多个图像来确定白平衡变换。然而,这给工作流引入了额外的扫描步骤。
在此的这些***和方法避免了通过强迫根据每个FoV自己的最亮像素对FoV进行白平衡所引入的色彩失真。在此的这些***和方法还规避了对作为额外步骤另外地扫描载玻片的清晰区域的需要。
图3A中的图像预处理模块310可以被配置用于通过跨多个FoV累计最亮像素来确定样本的白平衡变换。图4示出图像预处理模块310的框图。在一个实施例中,在子模块400处随机选择全体的输入FoV图像301的子集401。FoV图像子集401中的FoV的数量足够大,从而使得在像素集合中包括清晰区域的概率逼近一。子模块410使用由等式2中的公式限定的经色彩校正的红色、绿色和蓝色信道像素值的加权和来将FoV图像子集401转换成标准灰度强度图像411:
φs=0.299R+0.587G+0.114B 等式2
其中φs是像素的标准灰度强度值。
使用灰度强度值;子模块450可选择子集411中的采样的最亮像素451的红色、绿色和蓝色值并将其存储在数据存储区(例如,存储器存储介质)中。子模块460根据来自采样的最亮像素451中的每一个的所存储红色、绿色和蓝色值来计算白平衡变换461。白平衡变换参数461可以保存在数据存储区中。子模块470将白平衡变换应用于输入图像301以便产生色彩校正FoV图像471。在此详细描述白平衡变换算法及其相关联参数。
图像预处理模块考虑到等式1中的变换矩阵的一般仿射矩阵。
在一个实施例中,仿射矩阵A是旋转矩阵(还被注释为A)。
如以上所述,向量是采样的最亮像素451的平均色彩。这些像素在图5中在红色、绿色、蓝色像素值空间中示出。白颜色由白色向量ω=[k k k]T表示。白平衡变换是由围绕轴向量n将向量旋转到向量ω的旋转所限定的,所述轴向量垂直于白色向量ω和平均色彩向量两者。图5是红色、绿色和蓝色轴线的色彩值空间中的向量ω与n之间的关系的图解。旋转轴向量n可以由所述***使用向量积来计算:
旋转矩阵A可以由所述***使用以下等式3来计算:
在等式3中,是在旋转轴n的方向上的单位向量,其中‖·‖指示标准L2范数。向量与ω之间的角度θ的余弦可以经由点积来计算,其中并且
再次参考图3A,图像预处理模块310可以如以上所概括地补偿输入图像301中的色彩变化,并输出包括色彩校正FoV图像和自适应灰度强度图像的多个输出图像311,这些图像各自在其中包括一个或多个焦面。图像分析***300的处理流水线中的下一阶段是候选对象检测模块320。候选对象检测模块320被配置用于找到潜在地可能是分析物(例如,疟疾寄生虫)的图像位置。为了找到此类潜在分析物位置,候选对象检测模块320可以使用所述多个输出图像311中的多个自适应灰度变换图像和多个色彩校正(例如,白平衡变换)图像。所述多个输出图像311(包括所述多个自适应灰度变换图像和所述多个经色彩校正的图像)可以由图像预处理模块310确定并输出。
候选寄生虫核可以通过将暗阈值应用于经由等式2中所示的加权和计算的标准灰度强度图像来检测。这个加权和可以被视为在先前介绍并在图5中示出的红色、绿色和蓝色像素空间中的投影。这个投影是在由等式4限定的向量的方向上:
将像素的红色、绿色和蓝色值表示为列向量ξ,等式2中的灰度投影可以被写为φs=ws Tξ。为了检测候选寄生虫核,可以将暗阈值应用于每个像素的标准灰度强度图像强度φs,之后是可以应用于通过应用暗阈值检测到的斑点(例如,候选对象聚类)的面积、色彩和形状滤子中的一个或多个。标准暗阈值是至少部分地基于候选对象的每个像素的灰度强度与样本中存在的背景或其他非分析物像素的灰度强度之间的所确定差异起作用的滤子。因此,标准暗阈值可以用于过滤(选择或删除)未超过(例如,高于)暗度阈值的像素。
以上指出的用于检测候选寄生虫核的技术的灵敏性和特异性性能受到限制。尽管总体趋势是寄生虫核是暗的并且背景是亮的,但寄生虫核与背景灰度像素值之间存在大量重叠。图6A示出背景像素601、WBC核像素602和寄生虫核像素603的灰度强度直方图。寄生虫核与背景灰度强度值之间的重叠在图6A中被示为交叉阴影线区域604。
使寄生虫核与背景灰度强度值之间的重叠最小化增强在此的检测算法的灵敏性和特异性性能。在此的这些***和方法确定(例如,学习)并应用自适应灰度投影向量wa,所述向量取代等式4中所限定的标准灰度投影向量ws。此类确定可以使用机器学习技术来实现。此类应用可以提供对应于白血细胞核像素和分析物(例如,疟疾寄生虫)像素的灰度强度值与对应于背景像素的灰度强度值的更大分离。
本文所公开的重叠的最小化利用了在标准灰度强度图像中易于检测并且与寄生虫核物质类似地染色的血液成分的存在。
在Giemsa染液下,环状寄生虫的核物质染成洋红色,如以上所指出。具体地,核物质总体上比周围背景物质更暗,所述周围背景物质包括已经由在Giemsa染色过程中使用的水的作用下裂解的红血细胞(RBC)物质以及其他血液成分(诸如,血小板)。这种背景物质可以染成从浅粉红色到中蓝色的光谱色彩。除了寄生虫(如果血液的确被感染的话)、裂解的RBC以及血小板之外;WBC在血涂片中无所不在。如以上所指出,WBC核在Giemsa下染成深洋红色,这是与寄生虫核物质相同的颜色,尽管染色的WBC核因为它们更大并吸收更多的光而在很大程度上比染色的寄生虫核更暗。WBC核相对易于检测到并进行分类,因为它们是大的、形状规则的并且在色彩上是深洋红色的。因此,在一些实施例中,WBC核可以用作用于寄生虫核的可易于检测的类似物。在此的这些***和方法将暗阈值应用于标准灰度强度图像,之后是面积、色彩或形状滤子中的一个或多个,以便以足够高的灵敏性和特异性获得WBC核。
再次参考图4中的图像预处理模块的示意图,WBC检测器子模块420使用以上所概括的简单明了的WBC检测算法而应用于灰度FoV图像子集411,从而产生指示哪些图像像素是WBC核的一部分的一系列二进制图像421。子模块430累计所检测WBC核像素的R,G,B值的随机样本431并将其存储在数据存储区中。不是WBC的一部分的像素被分类为潜在背景像素。将暗像素从背景像素中排除以便避免寄生虫核像素(由于它们太小而无法被WBC检测器检测到)或来自对应于染色伪像(例如,RBC、血小板等)的暗区域的像素污染背景像素。在此的这些***和方法可以包括子模块440,所述子模块可以累计合格背景像素的随机样本441,将其存储在数据存储区中。
WBC核像素值431和背景像素值441可以由机器学习算法(或模块)用来确定优化WBC核与背景之间的分离的自适应灰度投影向量wa(在红色、绿色、蓝色像素值空间中)。在一个实施例中,可以(例如,由存储在至少一个存储器存储介质中的至少一个处理器)使用岭回归技术来学习最佳向量wa。在一些实施例中,设计矩阵X可以通过诸如根据以下矩阵堆叠WBC核和背景像素的红色、绿色和蓝色值来构造:
其中N是WBC核像素的数量,并且M是累计的背景像素的数量。相应目标变量η向量可以诸如根据以下矩阵被构造为堆叠在M个零的顶部上的N个一:
在一些实施例中,岭回归的目标在于找到使具有由以下等式5限定的公式的以下L2-正则化最佳化问题最小化的向量wa:
其中C是适合地选择的正则化常数。在此的这些***和方法可以使用自适应灰度方向向量wa来经由具有公式φa=wa Tξ的投影计算自适应灰度强度φa。
如图6B所示,使用自适应灰度强度图像代替标准灰度强度图像导致比在标准灰度强度图像中发现的分离更大的WBC核与背景灰度强度值之间的分离,并且因此还有寄生虫核与背景灰度强度值之间的更大分离。图6B中示出自适应灰度强度图像的直方图,其中可以看出:重叠面积614相比于图6A中使用标准灰度强度图像确定的重叠面积604显著地减小。
在一些实施例中,可以使用多项式回归替代如以上所描述的线性回归。多项式回归是线性回归的延伸并且允许目标变量η向量与预测器变量(多个)(例如,ξ)之间的非线性关系。例如,多项式回归可以由在此的这些方法和***用来找到目标变量η与二阶多项式预测器变量ζ之间的线性关系。在一个实施例中,二阶多项式预测器变量ζ可以由以下等式6限定。
ζ=[R G B R2 G2 B2 RG RB GB]T 等式6
在一些实施例中,更高阶多项式可以合并到用于确定自适应灰度强度的回归中,以便提供自适应灰度强度图像。这个概念可以进一步泛化为包括是R、G和B值的有理函数的预测器变量成分。在一个实施例中,可以使用24-成分预测器变量ζ来确定自适应灰度强度,以便提供具有背景像素与WBC像素和分析物像素之间的更大强度值分离的自适应灰度强度图像。在一个实施例中,24-成分预测器变量ζ可以具有由以下等式7限定的公式:
其中是适合地选择的常数以便防止这些比的分母等于零。在其他实施例中,使用R、G和B成分的其他非线性函数。目标变量与预测器变量之间的非线性关系的引入用于进一步增强自适应灰度强度图像中寄生虫核像素与背景像素之间的分离。针对以上公开的回归计算使用某种形式的正则化。正则化用于弥补预测器变量ζ的成分之间的多重共线性的消极结果。在不同实施例中,正则化回归技术选自以下各项中:岭回归、套索回归、主成分回归以及偏最小二乘回归。
再次参考图4,子模块480计算预测器变量ξ或ζ与目标变量η之间的回归模型。回归模型的参数481可以存储在数据存储区中,并且连同输入图像301由子模块490用来计算自适应灰度强度图像491。经色彩校正的图像471连同自适应灰度强度图像491是图像预处理模块310的输出图像311(图3A和3C)。输出图像311包括nxy个FoV,它们各自包括nz个焦面,每个焦面包括经色彩校正的红色、绿色和蓝色成分图像(多个)以及自适应灰度强度图像(多个),如图3C所示。
如先前所指出,位于FoV中的寄生虫在所捕获的nz个焦面的任何一个中可以是最佳对焦的。图7是具有多个焦面的FoV的并排比较,一个FoV包括分析物(例如,寄生虫)并且另一个FoV在其中包括伪像(例如,血小板)。在此的图像分析***被配置用于检查每个输入FoV的所有焦面,以便找到潜在寄生虫位置。寄生虫的外观在每个焦面图像中将是不同的。每个FoV可以包括1个或多个焦面,诸如1、2、3、4、5、6、7、8、9或多于9个焦面。图7的左列示出在一个实施方案中具有nz=7个焦面(例如,七个不同焦面)的FoV的包含寄生虫的小区段。在一些实施例中,可以在一个或多个焦面中在寄生虫附近检测到指示候选对象的一个或多个像素聚类(例如,斑点),诸如通过对这些焦面中的每一个的自适应灰度强度图像应用阈值。以此相同方式,可以在比背景更暗的伪像附近、例如在血小板附近检测到候选对象。图7的右列示出FoV的包含候选对象的小区段,所述候选对象不是寄生虫而是伪像(例如,它可以是血小板或染色聚合体)。
B.候选对象检测模块
图8是同样在图3A中示出的候选对象检测模块320的示意图。输出图像311(例如,一组色彩校正RGB图像和自适应灰度级图像)被输入到候选对象检测模块310。候选对象检测模块310可以包括各自如以下所描述地配置的多个子模块。子模块810可以对自适应灰度级图像执行阈值处理操作并输出一个或多个检测掩码811。子模块820可以被配置用于将彼此靠近(在<x,y>图像坐标中)的指示候选对象的所检测像素聚类(此后被称为“斑点”)关联为一个候选对象的一部分并输出对象聚类的位置821。子模块830可以被配置用于通过确定包含所检测候选对象的像斑(例如,FoV的在其中具有候选对象的子区段)的具有最高聚焦评分的焦面来找到每个候选对象或其一部分的最佳焦面831。子模块830可以确定、选择并输出每个候选对象的具有最高聚焦评分831的焦面(多个)。在一个实施例中,Brenner评分可以用于找到由z*指示的最佳焦面831。在其他实施例中,可以使用其他聚焦评分。在图7所示的实施例中,z*=5是其中的左列中的候选对象(寄生虫)的最佳焦面。图7的右列中的候选对象(伪像)的最佳焦面是z*=4。子模块830还识别最佳焦面中的最暗斑点并考虑到(例如,确定、假设或至少暂时指定)这个斑点表示感兴趣的候选对象。在另一个实施例中,最圆斑点被指定为表示感兴趣的候选对象。更圆的斑点可以更密切地对应于疟疾寄生虫或其一部分(诸如,细胞质或核)。在不同实施例中,可以使用其他属性或属性的组合来选择代表性斑点。斑点中心对应地由图7的两列中的十字准线z*=5和z*=4标记。
参考图8,子模块840被配置用于确定(例如,计算)每个候选对象的主斑点的属性841。诸如面积、圆度、灰度强度等的属性由子模块840计算。子模块850可以被配置用于至少部分地基于所确定属性过滤候选对象。至少部分地基于所确定属性过滤候选对象减少了候选对象的集合中的伪像的数量,如851处所指示。子模块850可以被配置为或包括伪像分类器,所述伪像分类器被配置用于至少部分地基于一个或多个属性对候选对象进行评分。子模块850可以被配置用于基于本文所公开的任何所确定属性中的一个或多个来确定候选对象的评分,诸如至少部分地基于所述一个或多个候选对象的一个或多个特性(强度、色彩、形状、大小等)的关于候选对象是分析物的概率的评分。子模块850可以被配置用于放弃评分低于阈值评分的候选对象。
子模块850的伪像分类器可以用以下对象的图像来预训练,这些对象的真实数据(ground truth)身份(作为分析物或非分析物)是通过注解过程已知的,寄生虫事先由人类专家借助注解过程来标记。注释过程存储大量寄生虫的<x,y>位置和最佳焦面<z>。靠近已知寄生虫位置的候选对象被认为表示寄生虫。不靠近已知寄生虫位置的候选对象被认为表示伪像。已知寄生虫和伪像的属性和真实数据分类用于预训练伪像分类器850。在一个实施例中,伪像分类器被配置为非线性内核SVM。在其他实施例中,使用其他分类器。子模块860可以被配置用于提取并输出已过滤候选对象的像斑861。像斑861是色彩校正RGB图像和自适应灰度强度图像的包含候选对象的小区段。这些像斑861(图3A中的321)被输出到特征提取模块,所述特征提取模块在图3A中被示为方框330。
C.特征提取模块
图9是同样在图3A中示出的特征提取模块330的示意图。特征提取模块330被配置用于将每个候选对象表示为特征向量并输出所述特征向量。所述特征向量(多个)可以由图3A的对象分类器模块340分类为寄生虫(甚至是寄生虫的哪些种类或哪个阶段)或伪像。特征提取模块330被配置用于计算如图9所示的两种类型的特征中的至少一种。这些特征可以是手动特征或自动特征。特征提取模块330具有两组输入,一组用于手动特征提取并且另一组用于自动特征提取。特征提取模块330可以在两种模式(手动特征提取打开或手动特征提取关闭)中的一个下操作。在不同实施例中,手动特征提取可以打开或关闭,而自动特征提取始终打开。
特征提取的第一途径是计算机视域中的手动特征提取或特征工程。这些是故意地被设计用于测量候选对象的特定属性的特征,并且非常依赖于所学习(例如,先前已知或预编程)的领域知识。
用于手动特征的输入901是包含候选对象的经色彩校正的R、G、B像斑及其所有nz个焦面。特征提取模块330的子模块910向特征向量贡献三个手动特征911。
第一手动特征是候选对象的最佳聚焦评分(例如,Brenner评分)。返回参考图7,聚焦评分是在nz个焦面中的每一个的像斑区域内计算的,并且最佳焦面是具有最高聚焦评分的一个。第二手动特征是跨在其中具有候选对象特征的FoV的焦面的聚焦评分的标准偏差(和/或离差的其他量度)。这背后的动机在于:一些伪像(像样品上的气泡和灰尘粒子)将跨所有焦面具有相同聚焦评分,因为它们远远未对焦,但是环状疟疾寄生虫(或其他分析物)将具有将最佳焦面容纳在内的窄聚焦评分分布并且因此具有小聚焦评分标准偏差。
子模块910可以被配置用于提取第三手动特征,所述第三手动特征被叫做红移评分(红移在此被用作描述性术语并且与由多普勒效应引起的红移现象无关)。红移评分有助于在寄生虫与伪像之间进行区分。红移评分依赖于两个概念的融合。第一概念是光色散,它是指根据波长的折射率的变化。这意味着未校正的简单透镜将在不同焦面(例如,远离透镜的不同长度)处聚焦不同波长的光。
图10A和10B对应地是穿过简单透镜和具有消色差校正的透镜而折射到不同焦面的光线的图解。在图10A中,光谱的红色、绿色和色蓝部分中的***性波长的光射线被示出为对应地在平面1001、1002和1003处聚焦。当光穿过简单透镜1010时,红色、绿色和蓝色波长折射到不同焦面。图10C中示出简单透镜的焦点对波长曲线1030,并且在1001、1002和1003处聚焦的射线的代表性焦面对应地由曲线1030上在1031、1032和1033处的点指示。
具有消色差校正的透镜有助于限制由色散引起的色差的量。图10B中示出消色差校正透镜,连同光谱的红色、绿色和蓝色部分中的***性波长。消色差校正透镜可以包括例如安装或结合到凹面消色差组件1020(例如,火石玻璃组件)的凸面简单透镜组件1010(例如,冕玻璃组件)。消色差校正透镜被设计用于使两种波长在相同平面处聚焦,诸如图10B所示的平面1005。如图所示,在一些实施例中,两种波长是在光谱的红色和蓝色部分中。
消色差透镜的焦点对波长曲线在图10C中被示出为曲线1040,并且在1004和1005处聚焦的射线的代表性焦面对应地由曲线1040上的点1044和1045指示。在图10C中可以看出,曲线1040在光谱的红色区域(640nm-700nm)中的部分比曲线1040在蓝色区域(450nm-500nm)中的部分更缓和地向上倾斜。因此,当显微镜上的焦点设置朝向图的上部分移动时,蓝光将比红光更快地散焦。当显微镜焦点向上偏移时,绿光没有光的红色抑或蓝色成分那么快速地离焦。这可以从图10C中的曲线1040的底部的相对平坦度看出,所述底部在光谱的绿色区域中。第一概念依赖于在调整显微镜焦点时在光焦面中的这种偏移。
红移评分所依靠的第二概念是分析物(例如,DNA)在染色(诸如,利用Giemsa)时的光吸收特性。图11是吸收光谱1101的图,所述图示出光谱的绿色区域中的峰值吸收。由亚甲基蓝和曙红Y的共轭物对绿光的吸收在DNA的存在下被放大。这意味着显微镜载玻片上包含DNA—例如细胞核—的物质将主要地吸收绿光并透射红光和蓝光,这对它们在透射光显镜微术中的洋红色作出解释。伪像对象不包含DNA,并且因此倾向于吸收光谱的绿色部分中的更少部分。因此,伪像在图像中不呈现洋红色。
基于向上改变显微镜的焦面将使蓝色波长比红色波长更快地散焦的以上观察,得出的结论是:洋红色对象将呈现得更红,因为光的蓝色成分将比红光更多地漫射到更大空间区域。这是测量所检测候选对象的最暗部分的红度增大的红移评分的基础,对于真实疟疾寄生虫来说,最暗部分是寄生虫细胞的核。在显微镜的焦点向上偏移时,更均等地透射红光、绿光和蓝光的伪像将不会变得更红,这抵消了如以上所描述的红色和蓝色成分的红移效应。因此,红移评分提供用于在寄生虫与伪像之间进行区分的基础。
本文所公开的***和方法被配置用于针对红移分析候选对象图像并基于所述红移提供评分。手动特征提取子模块910(和相关联显微镜)可以被配置用于如以上所描述地确定红移评分。尽管DNA、疟疾寄生虫和红颜色作为示例被提供,但红移评分的概念可以适用于不同颜色和分析物而不受限制。
由特征提取模块提取的第二类型的特征是自动特征,这些自动特征可以由包括至少一个存储器存储装置和至少一个处理器的***(诸如卷积神经网络(CNN))自动地学习。CNN是学习多级表示的深度学习模型(由计算机***应用)。从原始输入层开始,每个相继的层(例如,卷积、池化、二次采样或全连接层)在稍微更抽象的层处表示图像中的信息。每个层中的权重(滤子)使用标准学习规程(诸如,误差的反传(反向传播)来学习。在CNN中,(计算的)每个层由多个相异神经元(处理模块)执行,并且每个卷积层中的神经元并不完全地与***的相邻层中的所有神经元互连。相反地,卷积层中的神经元仅与相邻卷积层具有选择的连接性,以便减少传送到相继的卷积层的输入的量。在每个卷积层处,卷积内核限定与先前层中的神经元具有连接性的区域。卷积内核有时被称为卷积层中的神经元的感受野。CNN中的最终层中的一个或多个是与紧接的先前层具有完全连接性、以基于从其提供的(已经贯穿这些层重复地抽象化的)数据有效执行高级推理的全连接层。在一些实施例中,(多个)真实数据(例如,已经由人类专家识别的包含真实数据对象的像斑)可以用于经由学习规程来训练CNN的权重。CNN可以存储在具有一个或多个处理器(例如,中央处理单元(CPU)或图形处理单元(GPU))的计算机上并由其执行。真实数据图像或像斑可以包括已知阳性样本(例如,向CNN识别为具有感兴趣的分析物)和已知阴性样本(例如,向CNN识别为在其中不具有分析物或仅在其中具有已知伪像或其他非分析物对象)。因此,CNN可以从已知分析物和非分析物种类学习权重,这些权重可以用于识别样本中的分析物和非分析物种类。
在一个实施例中,计算机视觉***(诸如,可操作地耦接到数字记录器上的显微镜)可以可操作地耦接到CNN。此类***在准确性方面可以超过人类水平性能。自动特征提取子模块920可以被配置用于至少部分地基于权重、池化和非线性操作的前馈应用来执行特征提取。
由于模型的丰度,需要大量的数据来训练CNN。如果没有充足数据可供用于训练,可能出现过拟合,这导致不良的泛化性能。在一些实施例中,在此的这些***和方法可以通过至少部分地基于训练数据自身生成人工数据来增加训练数据的量。这个过程被称为增强。增强可以采取应用于训练图像的一个或多个随机变换的形式。增强变换的示例是平移、旋转、缩放、反射和色彩失真。
用于色彩失真的一种技术包括以下步骤。首先,计算训练图像在R,G,B色彩空间中的主成分变换。本征向量被指示为p1,p2,p3,对应地具有相应本征值λ1,λ2,λ3。三个随机数r1,r2,r3是从有界分布(例如,具有零均值和标准偏差0.1的高斯分布)采样的。为了生成增强图像,将以下量添加到图像中的每个像素:
[p1 p2 p3][r1λ1 r2λ2 r3λ3]T
在CNN的训练过程中,每图像呈现采样随机数r1,r2,r3一次。
以上用于色彩失真的技术可以导致具有不真实色彩的图像。所希望的是引进在提供足够的色彩失真以避免CNN的过拟合的同时生成具有真实色彩的图像的色彩失真方法(和用于执行所述方法的***)。这种色彩失真可以有助于使由于样本间染液的色彩变化造成的图像中的色彩变化标准化。例如,在Giemsa染液中,染色样本中所存在的嗜碱蓝和嗜酸曙红(红色)的相对量取决于染液的pH值,所述pH值在领域内有所改变。在此的通过失真方法进行的色彩标准化可以有助于实现更准确的诊断。在本公开的第二色彩增强方法中,可以用伽马非线性(也被称为伽马矫正)使图像的红色、绿色和蓝色信道(例如,成分)中的每一个可以失真,尽管在这种情况下,伽马非线性被用于变换图像的色彩而不是对其进行校正。伽马校正由等式8中的以下非线性变换限定:
其中ψ是输入值,是输出值,并且0<γ<∞是非线性的指数,并且α是缩放常数。当输入值ψ在[0,1]范围内时,缩放常数α=1。本公开的色彩增强方法从具有零均值和标准偏差σ的高斯分布中采样四个随机数r1,r2,r3,r4。然后,经由关系计算四个γ值,其中e是自然对数的底数。增强的红色、绿色和蓝色以及自适应灰色信道/成分图像对应地由如下的等式9生成:
每图像、每增强采样随机数r1,r2,r3,r4一次。因此,R、G、B和强度φ信道中的每一个可以单独地和共同地被增强,以便提供更多采样的数据来训练适合与在此的***和方法一起使用的CNN。
再次参考图9,像斑921是到CNN提取器930的输入。在一些实施例中,已经使用数据增强方案增强的一组增强的真实数据像斑可以用于训练CNN,以便辨识分析物或非分析物对象。也就是说,如以上所描述地使用平移、旋转、缩放、反射和基于伽马的色彩失真来增强原始图像或其部分(诸如,像斑)。在一些实施例中,所述至少一个处理器(与CNN相关联)被配置用于至少部分地基于已经根据本文所公开的方法中的任何方法增强的一组增强的真实数据像斑、经色彩校正的像斑或灰度强度像斑中的一个或多个来学***均。在一些实施例中,所述至少一个处理器被配置用于在与经色彩校正的像斑和自适应灰度强度像斑中的每一个的增强版本相对应的特征向量上对机器学***均。
CNN特征提取子模块930的输出是特征向量的CNN成分931。在使用手动特征和CNN特征两者的实施例中,手动特征911和CNN特征931可以连结以形成完整输出特征向量941。在不具有手动特征的实施例中,手动特征提取子模块910不执行,并且手动特征911不被内部前***到输出特征向量941。
返回到图3A中的***图,特征提取模块330的输出是候选对象的特征向量331。
D.对象分类器模块
对象分类器模块340被配置用于将特征向量331分类为对应于分析物(例如,寄生虫)或伪像。对象分类器模块340被配置用于使用机器学习分类器将来自特征向量提取模块330的特征向量331或输出分类为寄生虫或伪像。机器学习分类器可以是存储在一个或多个存储器存储介质中的程序,所述程序是由诸如计算机***或网络中的一个或多个处理器=可执行的。对象分类器模块340可以使用在以上公开的寄生虫真实数据数据来如以上所描述地训练。对象分类器模块340的不同实施例可以包括不同类型的分类器。在一个实施例中,对象分类器模块340被配置为线性支持向量机。例如,线性支持向量机可以包括被配置用于执行线性支持向量分类的计算装置。在不同实施例中,对象分类器模块340可以被配置为以下类型的分类器中的一个或多个:非线性内核支持向量机、神经网络、逻辑回归、随机森林决策树、梯度提升决策树、AdaBoost或朴素贝叶斯分类器。
对象分类器模块340的输出可以包括候选对象是寄生虫(例如,分析物)或伪像的校准概率。对象分类器模块340被配置用于输出已分类对象数据341(图3A)。已分类对象数据341可以包括对应于真实数据对象(多个)与候选对象(多个)之间的相似度(例如,指示相似程度)的评分(多个)。相似度可以表达为候选对象(或其一个或多个方面)是分析物(诸如,寄生虫(或其一个或多个方面))的概率。在一些实施例中,对象分类器模块340(机器学***均来对所述一个或多个特征向量进行分类。
E.诊断模块
诊断模块350(图3A)可以被配置用于至少部分地基于已分类对象数据341确定并输出样本(例如,血液载玻片)的诊断351,即,阳性—样本包含疟疾寄生虫,抑或阴性—样本不包含疟疾寄生虫。诊断351可以包括疟原虫血症的估计量(如以下等式10中所用的)。在一些实施例中,诊断模块350可以被配置用于确定寄生虫血症。在一些实施例中,诊断模块被配置用于运行对对象分类器评分高于某一阈值Θc的候选对象的数量Nc进行计数的诊断算法。在一些实施例中,一次可以对多于一种类型的候选对象(例如,环状疟疾寄生虫和后期寄生虫对象)进行计数。随后,在某一水平ΘN处对具有高于Θc的对象分类器评分的候选对象的数量进行阈值处理。换言之,如果Nc>ΘN,样本被标志为阳性,否则为阴性。阈值Θc和ΘN可以基于通过由人类专家进行的显微镜检查抑或诸如聚合酶链式反应(PCR)的分子检测而已知其诊断的验证集来优化。优化至少部分地基于验证集的给定目标,诸如使平衡准确度最大化或使固定水平的特异性下的灵敏度最大化。
本文所公开的图像分析***(是现实世界***)可以具有取决于应用于对象分类器评分的阈值的某一残余噪声本底。换言之,在一些对象分类器阈值处,一些非寄生虫对象将具有高于那个阈值的评分。在一些实施例中,基于验证集中的阴性样本将中值对象级误报率计算为对象分类器评分阈值Θq的函数。同时,基于验证集中的阳性样本将中值对象级灵敏率计算为同一分类器阈值Θq的函数。然后使用等式10将所估计的寄生虫血症计算为:
其中Nq是具有高于阈值Θq的分类器评分的候选对象的数量。应当理解,是对象分类器评分阈值Θq的函数。分类器评分阈值Θq通过跨验证集优化给定目标、诸如均方寄生虫血症误差来确定。
F.***硬件
图12是根据一个实施例的用于确定分析物在样本中的存在的***1200的示意图。在一些实施例中,***1200可以被配置用于执行本文所公开的任何算法或其他操作中的一个或多个。所述***可以包括计算装置1202。在一些实施例中,计算装置1202可以包括至少一个存储器存储介质1210和至少一个存储器1220。在一些实施例中,计算装置1202可以包括用户接口1230。***1200可以包括可操作地耦接到其上的成像装置1240。下文更详细描述***组件的方面。
在一些实施例中,计算装置1202可以包括个人计算机、计算机网络、一个或多个服务器、膝上型计算机、平板计算机或蜂窝电话中的一个或多个。在一些实施例中,计算装置1202的一个或多个组件可以集成到显微镜(成像装置)中。在一些实施例中,计算装置的一个或多个组件可以远离成像装置定位。在此类实施例中,计算装置1202的所述一个或多个组件可以通过有线或无线连接1206可操作地耦接到成像装置1240上。在一些实施例中,计算装置的所述一个或多个部件可以被配置用于间接地(诸如通过盘、闪存驱动器、电子邮件或其他手段)接收由成像装置间接地捕获的图像。
所述至少一个存储器存储介质1210可以包括硬盘驱动器、固态驱动器、盘或任何其他有形的非瞬态存储器存储装置中的一个或多个。所述至少一个存储器存储介质1210可以包括本文所公开的模块或子模块中的任何一个作为存储在其上的机器可读且可执行的程序。在一些实施例中,***1200可以包括各自具有存储在其上的一个或多个模块或子模块的多个存储器存储介质1210。
所述至少一个处理器1220可以被配置用于读取并执行存储在所述至少一个存储器存储介质1210中的一个或多个程序。例如,所述至少一个处理器1220可以被配置用于读取并执行本文所公开的任何模块或子模块中的一个或多个。在一些实施例中,所述至少一个处理器1220可以包括多个处理器。在此类实施例中,所述多个处理器中的每一个可以被配置用于读取并执行存储在所述至少一个存储介质1220上的一个或多个模块或子模块。在一些实施例中,多个处理器1220中的每一个可以可操作地耦接到多个存储器存储介质1220中的相应一个上,并且专用于并被配置用于仅运行在此的模块或子模块中的一个。
在一些实施例中,用户接口1230可以包括显示屏、键盘、触摸屏、一个或多个指示器(例如,灯、蜂鸣器、扬声器等)或一个或多个按钮(例如,电源按钮或启动按钮)中的一个或多个。在一些实施例中,用户接口可以物理地连接到计算装置上。在一些实施例中,用户接口1230可以被配置用于显示来自本文所公开的模块或子模块中的任何一个的输出或输入。例如,用户接口1230可以被配置用于显示诊断、寄生虫血症或本文所公开的任何数据或图像中的一个或多个。在一些实施例中,用户接口可以被配置用于接受来自用户的输入,诸如经由键盘、USB端口等。用户接口1230可以经由有线或无线连接可操作地耦接到计算装置上。在一些实施例中,用户接口1230可以远离计算装置1202定位,诸如在远离计算装置1202的计算机、平板计算机或蜂窝电话上。在此类实施例中,这些模块中的一个或多个可以远离用户接口1202执行。
在一些实施例中,计算装置1202可以包括电源1208。电源1208可以包括电池(例如,锂离子蓄电池、铅酸蓄电池、镍镉蓄电池或任何其他适合的蓄电池)、太阳能电池或电插座(例如,墙插座)中的一个或多个。电源1208可以可操作地耦接到***1200的组件中的任何一个并被配置用于向其提供电力。
成像装置1240可以包括在其上包括数字图像记录器的显微镜,诸如高倍显微镜。数字成像装置1240可以被配置用于将样本载玻片1250固持在其上。数字成像装置1240可以包括高倍透镜和数字图像记录器以便捕获样本载玻片的一个或多个高分辨率图像。所述一个或多个高分辨率图像可以包括样本载玻片1250的一个或多个FoV的图像和每个FoV的一个或多个焦面的图像。成像装置可以直接地耦接(例如,有线或无线地连接)或间接地耦接(例如,经由计算机网络)到计算装置上(例如,到计算装置的存储器存储介质(多个)、处理器(多个)或用户接口中的一个或多个上)。在此类实施例中,成像装置1240可以被配置用于向所述至少一个存储器存储介质1210或所述至少一个处理器1220输出一个或多个样本图像。在一些实施例中,成像装置1240可以被配置用于对来自计算装置(或其组件,诸如处理器)的一个或多个指令作出响应。在此类实施例中,成像装置1240可以至少部分地基于存储在所述至少一个存储器存储介质1210中并由所述至少一个处理器1220执行的操作指令来操作。例如,成像装置1220可以至少部分地基于来自计算装置1202的指令改变焦面或FoV之间的距离或者焦面或FoV的数量。
本文所公开的单独模块或子模块中的任何一个可以包括如本文所公开的机器学习装置或计算机或使用其来应用。
G.诊断分析物的方法
图13是根据一个实施例的用于确定分析物在样本中的存在的方法1300的流程图。以上还参考本文所公开的模块和子模块中的每一个描述了用于诊断样本中的分析物的方法和单独动作,并且为了简洁起见,不参考方法1300对其进行原样重复。方法1300包括:使用样本载玻片的多个图像来确定分析物在样本中的存在。方法1300可以包括动作1305:诸如利用存储器存储介质或处理器来接收样本载玻片的多个图像。所述多个图像可以包括:多个FoV,它们各自包括样本载玻片的唯一x和y坐标;以及多个焦面,每个焦面各自具有样本载玻片的唯一z坐标。方法1300可以包括:使用***1200的一个或多个组件来执行本文所公开的动作中的任何一个。
方法1300可以包括动作1310:将白平衡变换应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像。方法1300可以包括动作1320:将自适应灰度变换应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像。方法1300可以包括动作1330:检测并识别所述多个经色彩校正(例如,经白平衡)图像和所述自适应灰度强度图像中的一个或多个候选对象。方法1300可以包括步骤1340:至少部分地基于所述一个或多个候选对象的一个或多个特性的评分来过滤所述一个或多个候选对象,并输出一个或多个经色彩校正的像斑和一个或多个自适应灰度强度像斑。方法1300可以包括动作1350:从经色彩校正的像斑和自适应灰度强度像斑中提取一个或多个特征向量,并输出所述一个或多个特征向量。方法1300可以包括动作1360:将每个特征向量分类为对应于伪像或分析物。方法1300可以包括动作1370:判定被分类的特征向量是高于还是低于与阳性诊断相关联的阈值水平。下文更详细讨论动作1310-1370中的每一个。
将白平衡变换应用于所述多个图像中的每个图像以便有效产生多个经色彩校正的图像的动作1310可以使用参考以上公开的图像预处理模块310公开的技术中的任何技术来执行。例如,动作1310可以包括:从所述多个图像的子集中选择多个最亮像素,所述子集被选择为使得存在位于子集中的清晰像素的概率逼近(基本上是)1,如在此所公开。动作1310可以包括:计算并应用图像子集的每个像素的标准灰度强度以便确定所述多个图像的所述子集中的每个图像中的所述多个最亮像素,如在此所公开。动作1310可以包括:确定所述多个最亮像素中的每一个的红色值R、绿色值G和蓝色值B,如在此所公开。动作1310可以包括:计算由所述多个最亮像素的平均色彩限定的平均色彩向量,如在此所公开。动作1310可以包括:确定白色向量并且确定轴向量,所述轴向量垂直于平均色彩向量和白色向量两者并且是根据这两者的叉积计算得到的。动作1310可以包括:根据轴向量和白色向量与平均色彩向量之间的角度来计算仿射变换矩阵;并且将仿射变换矩阵应用于所述多个图像中的每个图像中的每个像素以便提供多个经色彩校正的图像。
将自适应灰度变换应用于所述多个图像中的每个图像以便针对所述多个图像中的每一个提供自适应灰度强度图像的动作1320可以使用参考以上公开的图像预处理模块310公开的技术中的任何技术来执行。例如,动作1320可以包括:接收多个经色彩校正的图像和标准灰度强度图像作为输入并在暗阈值处对标准灰度强度图像进行阈值处理以便检测可能潜在地是白血细胞核的斑点。动作1320可以包括:按照属性(例如,色彩、面积或形状滤子)过滤潜在白血细胞核斑点以便识别白血细胞核,如在此所公开。动作1320可以包括:输出来自在其中包含白血细胞核的输入经色彩校正的图像的一个或多个像素的红色值R、绿色值G和蓝色值B作为白血细胞向量数据。动作1320可以包括:输出所述经色彩校正的图像中的多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是如根据对在灰度强度上比所述暗阈值更亮的像素进行的随机采样而确定的。动作1320可以包括:根据白血细胞向量数据和背景向量数据来确定自适应灰度投影向量。动作1320可以包括:输出多个自适应灰度强度图像。
检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象的动作1330可以使用参考以上公开的候选对象检测模块320公开的技术中的任何技术来执行。例如,检测并识别一个或多个候选对象可以包括:基于多个经色彩校正的图像或多个自适应灰度强度图像中的一个或多个来确定一个或多个潜在分析物位置。动作1330可以包括:确定所述多个FoV中的哪些FoV在其中包括一个或多个候选对象。动作1330可以包括:对其中的所述一个或多个候选对象进行聚类以便提供由其中的相邻(例如,附近或重叠)候选对象限定的候选对象聚类。聚类是至少部分地基于候选对象之间的接近度或距离来进行的。动作1330可以包括:确定针对所述一个或多个候选对象中的每一个具有最佳聚焦评分的焦面,如在此所公开。
至少部分地基于一个或多个候选对象的一个或多个特性过滤所述一个或多个候选对象并输出一个或多个经色彩校正的像斑和一个或多个自适应灰度强度像斑的动作1340可以使用参考以上公开的候选对象检测模块320公开的技术中的任何技术来执行。动作1340可以包括:输出所述一个或多个候选对象中的每一个的一个或多个特性的评分,所述一个或多个特性包括面积、灰度强度、形状或色彩中的至少一项。动作1340可以包括:至少部分地基于评分过滤候选对象,所述评分至少部分地基于所述一个或多个特性。过滤所述一个或多个候选对象可以包括:将至少部分地基于所述一个或多个候选对象的一个或多个特性的评分与至少部分地基于所述一个或多个特性的阈值评分进行比较。过滤候选对象可以包括:输出评分高于阈值评分的所述一个或多个候选对象作为潜在分析物位置并抛弃评分低于阈值评分的所述一个或多个候选对象。动作1340可以包括:输出自适应灰度像斑和经色彩校正的像斑以及在其中具有潜在分析物位置的相关联焦面。
从经色彩校正的像斑和自适应灰度强度像斑中提取一个或多个特征向量并输出所述一个或多个特征向量的动作1350可以使用参考以上公开的特征提取模块330公开的技术中的任何技术来执行。例如,动作1350可以包括:接收与所述多个图像中的所述一个或多个潜在分析物位置相对应的多个经色彩校正的像斑和多个自适应灰度强度像斑作为输入并输出各自表示潜在分析物的一个或多个特征向量。动作1350可以包括:接收所述一个或多个经色彩校正的像斑以及一个或多个自适应灰度强度像斑并至少部分地基于所述一个或多个真实数据像斑教授CNN一组权重。在一些实施例中,教授所述一组权重包括使用数据增强方案来增强一个或多个真实数据图像(例如,像斑)。数据增强方案可以包括对真实数据像斑的红色、绿色、蓝色或灰度强度成分中的一个或多个进行随机伽马校正。在一些实施例中,向CNN教授一组权重可以包括:接受真实数据样本中的分析物的一个或多个注解图像和真实数据样本中的伪像的一个或多个注解图像作为真实数据。注解图像可以包括:已知分析物和伪像,它们被配置用于训练CNN以辨识分析物和伪像。在一些实施例中,接受真实数据样本中的分析物的一个或多个注解图像以及真实数据样本中的伪像的一个或多个注解图像作为真实数据可以包括:至少部分地基于所述一个或多个真实数据像斑来教授机器学习分类器一组权重。动作1350可以包括:确定并提取与所述一个或多个潜在分析物位置相对应的所述多个色彩校正图像和所述多个自适应灰度强度图像中的一个或多个候选对象的一个或多个特征(例如,手动特征或自动特征中的一个或多个)。动作1350可以包括:将所述一个或多个所提取特征表示为所述一个或多个特征向量。
将每个特征向量分类为对应于伪像或分析物的动作1360可以使用参考以上公开的对象分类器模块340公开的技术中的任何技术来执行。例如,动作1360可以包括:接收候选对象的一个或多个特征向量作为输入并将所述一个或多个特征向量分类为对应于伪像或分析物之一。分类可以通过利用机器学***均。在一些实施例中,所述方法可以包括:输出在其中包含候选对象(例如,被分类为分析物或伪像)的一个或多个像斑,以便由人类用户检查。此类像斑可以被输出到用户接口,诸如计算机屏幕。
判定已分类特征向量是高于还是低于与阳性诊断相关联的阈值水平的动作1370可以使用参考以上公开的诊断模块350公开的技术中的任何技术来执行。例如,判定已分类分析物是高于还是低于与阳性诊断相关联的阈值水平可以包括:判定分析物是否存在并基于被分类为分析物的一个或多个特征向量的量或所述量与阈值或背景噪声值的关系给出对分析物的存在或不存在的指示。在一个实施例中,方法1300可以包括:将诊断或分析物浓度输出到诸如用户接口(例如,显示分析物浓度的诊断)。
在一些实施例中,方法1300可以包括以下动作:从受检对象获得样本、诸如获得血液样本。在一些实施例中,方法1300可以包括:将样本涂抹在样本载玻片上。在一些实施例中,方法1300可以包括:拍摄样本载玻片的多个图像。所述多个(样本)图像可以包括多个FoV和焦面。在一个实施例中,方法1300可以包括:从图像装置输出所述多个(样本)图像。方法1300可以包括:在计算装置处接收所述多个(样本)图像。
在一些实施例中,方法1300可以包括:确定样本中的分析物(例如,寄生虫血症)的浓度或量。在一些实施例中,分析物可以包括:寄生虫,诸如疟疾、罗阿丝虫、包柔氏螺旋体、蠕虫、结核、锥虫病或任何其他寄生虫。在一些实施例中,在此的这些***和方法可以用于基于特定寄生虫(例如,疟疾)的一个或多个特性检测特定寄生虫构象或种类。
简单地说,检测样本中的分析物的方法可以包括:接受来自一定地理位置的生物样本中的分析物(例如,疟疾寄生虫)的一组注释图像作为真实数据。所述方法可以包括:接受来自自动显微镜装置的一组未表征的图像,这些未表征的图像是从在所述地理位置中取得的生物样本获得的。所述方法可以包括:对所述组未表征的图像进行预处理以便创建具有一致色彩外观的一组图像。所述方法可以包括:对具有一致色彩外观的所述一组图像进行候选位置分类以便生成一组候选对象图像。所述方法可以进一步包括:至少部分地基于真实数据对所述一组候选对象图像进行寄生虫检测分类以便生成一组被标记对象。所述方法可以包括:对所述一组被标记对象进行分割分析,所述分割分析描绘所述一组被标记对象中的每一个中的结构(例如,核和细胞质)。所述方法可以包括:对所述一组被标记对象中的每一个执行特征提取分析。所述方法可以进一步包括:利用与分析物(例如,疟疾寄生虫)存在于被标记对象中的每一个中的概率相关的分类器评分对被标记对象中的每一个进行分类。在一些实施例中,方法1300可以包括:至少部分地基于对应于地理位置、季节或与样本相关联的其他指标中的一个或多个的元数据从存储器存储装置导入与一个或多个候选寄生虫种类相关联的真实数据数据,并且使用所述真实数据数据来确定或识别样本中的寄生虫的种类、阶段或类型,如以上所公开。
读者将认识到,现有技术已经进展到***的各方面的硬件与软件实现方式之间剩下极小差别;硬件和软件的使用总体上(但并不总是,因为在某些背景下,硬件与软件之间的选择可能变得很重要)是表示成本对效率折中的设计选择。读者将理解,存在各种载体(例如,硬件、软件和/或固件),在此所描述的过程和/或***和/或其他技术会受到这些载体的影响,并且优选的载体将随其中部署了这些过程和/或***和/或其他技术的环境而变化。例如,如果实现者确定速度和准确度是最重要的,实现者可以选取主要硬件和/或固件载体;可替代地,如果灵活性是最重要的,实现者可以选取主要软件实现方式;或又再可替代地,实现者可以选取硬件、软件和/或固件的某种组合。因此,存在若干可能的媒介物,在此所描述的过程和/或装置和/或其他技术可能会受到这些媒介物的影响,它们中的任意一个都不在本质上优于另一个,这是因为任意有待利用的媒介物都是取决于以下的一个选择:媒介物将被部署的环境以及执行者的具体关注点(例如,速度、灵活性或可预测性),它们中的任一个都可能发生变化。读者将认识到,实现方式的各个光学方面将典型地采用光学定向的硬件、软件和或固件。
前述详细描述已经通过使用框图、流程图和/或示例陈述了设备和/或过程的各种实施例。到此为止,这些框图、流程图和/或示例含有一个或多个功能和/或操作,本领域的普通技术人员将认识到,这些框图、流程图或示例中的每一个功能和/或操作都可以通过广泛范围的硬件、软件、固件或几乎其任何组合来单独地和/或共同地实现。在一个实施例中,本文描述的主题的若干部分可以经由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成的形式来实施。然而,本领域技术人员将认识到,本文所公开的实施例的一些方面的整体或一部分可以等效地在集成电路中实施为在一个或多个计算机上运行的一个或多个计算机程序(例如,在一个或多个计算机***上运行的一个或多个程序)、在一个或多个处理器上运行的一个或多个程序(例如,在一个或多个微处理器上运行的一个或多个程序)、固件、或以上各项的几乎任何组合,并且根据本公开,设计电路***和/或编写软件和或固件的代码将完全在本领域技术人员的技能之内。另外,读者将理解,在此所描述的主题的机制能够以多种形式作为程序产品来发布,并且在此所描述的主题的说明性实施例都适用,而不考虑用来实际上进行所述发布的信号承载介质的具体类型。信号承载介质的示例包括但不限于以下各项:可记录类型的介质,诸如软盘、硬盘驱动器、光碟(CD)、数字视频光盘(DVD)、数字磁带、计算机存储器等;以及传输类型的介质,诸如数字和/或模拟通信介质(例如,纤维光缆、波导、有线通信链路、无线通信链路等)。
在一般性意义上,在此描述的各种实施例可以由各种类型的机电***来单独地和/或共同地实施,所述机电***具有广泛范围的电气组件(诸如,硬件、软件、固件和/或其几乎任何组合);以及可赋予机械力或运动的广泛范围的组件(诸如,刚性主体、弹簧或扭转主体、液压装置和电磁致动的装置、或其几乎任何组合)。因此,如在此所使用的“机电***”包括但是不限于:可操作地耦接到换能器(例如,致动器、电机、压电晶体等)的电路***,具有至少一个分立电路的电路***,具有至少一个集成电路的电路***,具有至少一个专用集成电路的电路***,形成由计算机程序配置的通用计算装置的电路***(例如,由至少部分地执行在此描述的过程和/或装置的计算机程序配置的通用计算机;或者由至少部分地执行在此描述的过程和/或装置的计算机程序配置的微处理器),形成存储器装置(例如,随机存取存储器的形式)的电路***,形成通信装置(例如,调制解调器、通信交换机或光电设备)的电路***,及其任何非电子的类似物,诸如光学或其他的类似物。本领域技术人员还应了解,机电***的实例包括但不限于多种消费电气***以及其他***如机动化运输***、工厂自动化***、安全***以及通信/计算***。本领域技术人员将认识到,如在此所使用的机电不必限于同时具有电气和机械致动的***,除非上下文可能以其他方式指明。
在一般性意义上,在此所描述的可以通过大范围的硬件、软件、固件或其任何组合来独立地和/或共同地实施的不同方面可以看作由不同类型的“电路***”组成。因此,如在此所使用的“电路***”包括但是不限于:具有至少一个分立电路的电路***,具有至少一个集成电路的电路***,具有至少一个专用集成电路的电路***,形成由计算机程序配置的计算装置(例如,由至少部分地执行在此描述的过程和/或装置的计算机程序配置的通用计算机;或者由至少部分地执行在此描述的过程和/或装置的计算机程序配置的微处理器)的电路***,形成存储器装置(例如,随机存取存储器的形式)的电路***,和/或形成通信装置(例如,调制解调器、通信交换机或光电设备)的电路***。在此所描述的主题可以以模拟或数字或二者的某个结合的形式实施。
本公开已经参考不同示例性实施例。然而,本领域技术人员将认识到,在不脱离本公开的范围的情况下,可以对实施例做出改变和修改。例如,各种操作步骤以及用于执行操作步骤的组件可以根据特定应用或鉴于与***的操作相关联的任何数量的成本函数来以替代方式实施;例如,这些步骤中的一个或多个可以被删除、修改或与其他步骤组合。
另外地,如本领域的普通技术人员应当理解的,本公开、包括组件的原理可以反映在计算机可读存储介质上的计算机程序产品中,所述计算机可读存储介质具有体现在存储介质中的计算机可读程序代码装置。可以利用任何有形的非暂态计算机可读存储介质,包括磁存储装置(硬盘、软盘等)、光学存储装置(CD-ROM、DVD、蓝光光盘等)、闪存器和/或类似物。这些计算机程序指令可以被加载到通用计算机、专用计算机或其他可编程数据处理设备的处理器上以便产生一种机器,这样使得在计算机或其他可编程数据处理设备上执行的指令产生了用于实现所指定功能的装置。这些计算机程序指令还可以存储在计算机可读存储器中,这些指令可以引导计算机或其他可编程数据处理设备以特定方式运行,这样使得存储在计算机可读存储器中的指令产生一种制品,包括实现所指定功能的实施装置。计算机程序指令还可以被加载到计算机或其他可编程数据处理设备上,以便引起在计算机或其他可编程数据处理设备上执行一系列操作步骤,从而产生计算机实现的过程,这样使得在计算机或其他可编程设备上执行的指令提供用于实现所指定功能的步骤。
在一个实施例中,本文所公开的印刷***可以被集成,其方式为使得印刷***作为特别地被配置用于印刷(例如,三维打印)的功能的唯一***来操作,并且印刷***的任何相关联计算装置作为用于所要求保护的***的目的的专用计算机而不是作为通用计算机来操作。在一个实施例中,印刷***的至少一个相关联计算装置作为用于所要求保护的***的目的的专用计算机而不是作为通用计算机来操作。在一个实施例中,印刷***的相关联计算装置中的至少一个与特定ROM硬连线以便命令所述至少一个计算装置。在一个实施例中,本领域技术人员认识到,印刷装置和印刷***实现了至少在三维打印的技术领域上的改进。
在此所描述的组件(例如,步骤)、设备、对象以及伴随它们的讨论被用作为了概念清楚的示例。因此,如在此所使用,所陈述的具体示例和所附讨论旨在代表它们的更多的通用类型。一般来说,任何具体示例在此的使用还旨在代表它的类别,并且在此的这类具体部件(例如,步骤)、设备和物件的不包括不应该被看做是指明了希望有限制。
关于在此使用的基本上任何复数和/或单数术语,读者应根据上下文和/或应用的需要将复数翻译成单数和/或将单数翻译成复数。为了清晰起见,各种单数/复数的转换在此并没有清晰地阐述。
在此所描述的主题有时说明的是不同的其他组件内含有的不同组件或与不同的其他组件连接的不同组件。应理解到,这种所描绘的架构仅是示例性的,并且实际上,可以实现达到相同功能性的许多其他架构。在概念性意义上,任何实现相同功能性的组件的安排都是有效地“相关联的”,这样使得所期望的功能性得以实现。因此,在此被组合来实现具体功能性的任何两个组件都可以被视为彼此“相关联”,这样使得所期望的功能性得以实现,而与架构或中间组件无关。同样,如此相关联的任何两个组件也可以被视为彼此“可操作地连接的”,或“可操作地耦接的”,以达成所希望的功能性,并且任何能够如此相关联的两个组件也可以被视为彼此“可操作地可耦接的”,以达成所希望的功能性。能以可操作方式耦接的具体示例包含但不限于能在物理上配合和/或在物理上进行交互的部件,和/或能以无线方式交互和/或以无线方式进行交互的部件,和/或在逻辑上进行交互和/或能在逻辑上交互的部件。
在一些示例中,一个或多个组件在此可以被称为“被配置用于”。读者将认识到,“被配置用于”可以通常涵盖主动状态组件和/或被动状态组件和/或待机状态组件,除非上下文另外要求。
虽然已经示出并且描述了在此描述的本发明的主题的具体方面,但本领域技术人员应清楚,基于在此的教授内容,在不背离在此描述的主题和它的更广泛方面的情况下,可以进行改变和修改,并且因此所附权利要求书将在其范围内涵盖所有此类改变和修改,就如同处于在此描述的主题的真正精神和范围内一般。此外,应该理解本发明由所附权利要求书界定。大体上,在此以及尤其在所附权利要求书(例如,所附权利要求书的主体)中使用的术语大体上旨在作为“开放”术语(例如,术语“包括”应该被理解为“包括但不限于,”术语“具有”应该被理解为“至少具有,”术语“包括”应该被理解为“包括但不限于,”等)。本领域技术人员另外将认识到的是,如果意指特定数目的一种所介绍的权利要求陈述,那么将在该权利要求中明确陈述这种意思,并且在无这类陈述的存在下,不呈现这种意思。例如,为了帮助理解,以下所附权利要求书可能包含使用介绍性短语“至少一个”和“一个或多个”来介绍权利要求陈述。然而,这些短语的使用不应当解释为暗示权利要求的陈述通过不定冠词“一个”或“一种”的引入,限制任意具体权利要求包含这样引入的权利要求陈述的发明,只包含一个这样的陈述,甚至当相同的权利要求包含所述引导短语“一个或多个”,或“至少一个”时,而用不定冠词“一个”或“一种”(例如,“一个”和/或“一种”应该代表性地解释为“一个或多个”,或“至少一个”);这同样对于用来介绍权利要求陈述的定冠词的使用有效。另外,即使明确地陈述一个所引入的权利要求陈述的特定数目,此陈述也典型地应当解释为意味着至少所述陈述的数目(例如,没有其他修饰语的“两个陈述,”典型地意味着至少两个陈述,或者两个或更多个陈述)。此外,在使用类似于“A、B和C中的至少一项等等”的惯例的情况下,通常,这种构造旨在所述惯例的意义上(例如,“一个***具有A、B和C中的至少一项”将包括但是不限于***单独具有A、单独具有B、单独具有C、A与B一起、A与C一起、B与C一起和/或A、B和C三者一起,等等)。在使用类似于“A、B或C中的至少一项等等”的惯例的情况下,通常,这种构造旨在所述惯例的意义上(例如,“一个***具有A、B或C中的至少一项”将包括但是不限于***单独具有A、单独具有B、单独具有C、A与B一起、A与C一起、B与C一起和/或A、B和C三者一起,等等)。无论是在说明书、权利要求书还是附图中,呈现两个或更多个替代性术语的几乎任何分隔性词语和/或短语都应当被理解为考虑到了包括这些术语中的一个、这些术语中的任一个或这两个术语的可能性。例如,短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。
关于所附权利要求书,其中所陈述的操作一般可以按照任何顺序执行。此类交替排序的示例可以包括重叠、交叉、中断、重排、增量、预备、补充、同时、逆向、或其他变化的排序,除非上下文另外规定。关于上下文,即使是“对应于,”“关于,”或者其他过去式形容词通常不是为了排除这样的变化,除非上下文另有暗示。
在此所描述的主题的各方面在以下编号的条款中陈述:
1.一种用于确定分析物在血液中的存在的***,所述***包括:
至少一个存储器存储介质,被配置用于存储样本载玻片的多个图像,所述多个图像包括,
多个视野,每个视野各自包括所述样本载玻片的唯一x和y坐标;以及
多个焦面,每个焦面各自具有所述样本载玻片的唯一z坐标;
至少一个处理器,可操作地耦接到所述至少一个存储器存储介质上,所述至少一个处理器被配置用于:
确定白平衡变换并将其应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像;
确定自适应灰度变换并将其应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像;
检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象;
至少部分地基于所述一个或多个候选对象的一个或多个特性提取所述一个或多个候选对象并对其进行评分,至少部分地基于所述评分过滤所述一个或多个候选对象,并且输出每个已过滤候选对象的一个或多个经色彩校正的像斑和一个或多个自适应灰度强度像斑;
从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取一个或多个特征向量并输出所述一个或多个特征向量;
将所述一个或多个特征向量中的每一个分类为对应于伪像或分析物;并且
判定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
2.如条款1所述的***,其中,所述至少一个存储器存储介质包括存储在其中的图像预处理模块、候选对象检测模块、特征提取模块、分类模块以及诊断模块作为由所述至少一个处理器可执行的计算机可读程序。
3.如条款1所述的***,其中,所述至少一个处理器被配置用于至少部分地基于所述多个图像中的多个最亮像素确定白平衡变换并将其应用于所述多个图像。
4.如条款3所述的***,其中,至少一个处理器被配置用于根据以下各项确定所述白平衡变换:
来自所述多个图像的子集的多个最亮像素,所述子集被随机地选择为使得其中存在清晰像素的概率基本上是1;
所述多个图像的所述子集的每个像素的计算标准灰度强度,用于确定所述多个图像的所述子集中的每个图像中的所述多个最亮像素;
所述多个最亮像素中的每一个的红色值R、绿色值G和蓝色值B;
平均色彩向量,所述平均色彩向量由所述多个最亮像素的平均色彩限定;
白色向量;
轴向量,所述轴向量垂直于所述平均色彩向量和所述白色向量两者并且是根据这两者的叉积计算得到的;以及
仿射变换矩阵,所述仿射变换矩阵是根据所述轴向量以及所述平均色彩向量与所述白色向量之间的角度计算得到的。
5.如条款4所述的***,其中,所述至少一个处理器被配置用于将所述白平衡变换应用于所述多个图像的所述像素中的每个像素的由其中的所述R值、G值和B值限定的色彩向量并基于此输出所述经色彩校正的图像。
6.如条款1所述的***,其中,所述至少一个处理器被配置用于确定自适应灰度变换并将其应用于所述多个图像并输出多个自适应灰度强度图像。
7.如条款1所述的***,其中,至少一个处理器被配置用于:
接收多个经色彩校正的图像和标准灰度强度图像作为输入;
在暗阈值下对所述标准灰度强度图像进行阈值处理以便检测斑点;
对一个或多个所检测斑点的色彩、面积或形状中的至少一项进行过滤以便以高灵敏度和特异性定位并识别白血细胞核;
向所述存储器存储介质输出来自所述经色彩校正的图像的其中包含白血细胞核的一个或多个像素的红色值R、绿色值G和蓝色值B作为白血细胞向量数据;并且
向所述存储器存储介质输出所述经色彩校正的图像中的多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是如根据对在灰度强度上比所述暗阈值更亮的像素进行的随机采样而确定的;并且
将所述白血细胞向量数据和所述背景向量数据供应至存储在所述至少一个存储器存储介质中并由所述至少一个存储器执行的机器学习模块,所述机器学习模块被配置用于确定自适应灰度投影向量。
8.如条款7所述的***,其中,所述至少一个处理器被配置用于:
基于自适应灰度投影向量确定所述自适应灰度变换,所述自适应灰度投影向量至少部分地基于多个白血细胞像素和多个合格背景像素;并且
利用回归来确定所述自适应灰度投影向量。
9.如条款8所述的***,其中,所述至少一个处理器被配置用于执行正则化回归以便确定所述自适应灰度投影向量,所述正则化回归包括岭回归、套索回归、主成分回归或偏最小二乘法回归中的一种或多种。
10.如条款8所述的***,其中,所述至少一个处理器被配置用于计算自适应灰度强度并将其应用于所述多个图像中的每一个以便有效提供多个自适应灰度强度图像。
11.如条款8所述的***,其中,所述至少一个处理器被配置用于使用二阶或更高阶多项式预测器变量矩阵来计算并应用多项式回归,以便确定并应用所述自适应灰度变换。
12.如条款8所述的***,其中,所述至少一个处理器被配置用于使用其中具有所述一个或多个像素的所述红色值R、所述绿色值G和所述蓝色值B的有理函数的预测器变量矩阵来计算并应用回归,以便确定并应用所述自适应灰度变换。
13.如条款1所述的***,其中,所述至少一个处理器被配置用于基于多个经色彩校正的图像或多个自适应灰度强度图像中的一个或多个确定一个或多个潜在分析物位置。
14.如条款13所述的***,其中,所述至少一个处理器被配置用于:
确定所述多个视野中的哪些视野在其中包括一个或多个候选对象;
至少部分地基于在视野中的所述一个或多个候选对象中的一个或多个相邻候选对象之间的距离对候选对象进行聚类,以便提供由其中的一个或多个相邻候选对象限定的候选对象聚类;
确定针对所述一个或多个候选对象中的每一个具有最佳聚焦评分的焦面;
输出所述一个或多个候选对象中的每一个的评分,所述评分至少部分地基于所述一个或多个候选对象中的每一个的一个或多个特性,所述一个或多个特性包括面积、灰度强度、形状或色彩中的至少一项;并且
至少部分地基于所述一个或多个特性的所述评分过滤所述一个或多个候选对象。
15.如条款14所述的***,其中,所述至少一个处理器被配置用于通过将所述一个或多个候选对象的一个或多个特性的所述评分与所述一个或多个特性中的每一个的阈值评分进行比较来过滤所述一个或多个候选对象,输出评分高于所述阈值评分的所述一个或多个候选对象作为潜在分析物位置,并且抛弃评分低于所述阈值评分的所述一个或多个候选对象。
16.如条款15所述的***,其中,所述至少一个处理器被配置用于基于训练到所述至少一个存储器存储介质中并由所述至少一个处理器访问的真实数据对象的属性来确定阈值评分。
17.如条款15所述的***,其中,所述至少一个处理器被配置用于输出与一个或多个潜在分析物位置相对应的经色彩校正的像斑和自适应灰度强度像斑。
18.如条款1所述***,其中,所述至少一个处理器被配置用于接收与所述多个图像中的所述一个或多个潜在分析物位置相对应的多个经色彩校正的像斑和多个自适应灰度强度像斑作为输入并输出各自表示潜在分析物的一个或多个特征向量。
19.如条款18所述的***,其中,所述至少一个处理器被配置用于通过确定以下各项中的一项或多项来确定并提取所述一个或多个候选对象的一个或多个手动特征,
包含所述一个或多个候选对象的多个经色彩校正的像斑和自适应灰度强度像斑中的每个像斑的最佳焦面,所述最佳聚焦评分包括来自在其中具有所述一个或多个候选对象的像斑中的所述多个焦面的多个聚焦评分中的最高评分;
跨在其中具有所述一个或多个候选对象的像斑的所有所述多个焦面的聚焦评分的标准偏差或其他离差量度;以及
每个像斑的红移评分,所述红移评分至少部分地基于每个像斑中的所述多个焦面之间所述一个或多个候选对象的最暗部分在红度上的偏移。
20.如条款1所述的***,其中,所述至少一个处理器被配置用于确定并提取所述多个图像中的一个或多个候选对象的一个或多个特征并将所述一个或多个特征表示为一个或多个特征向量。
21.如条款20所述的***,其中,所述至少一个处理器被配置用于确定并提取所述一个或多个候选对象的一个或多个特征,其中所述一个或多个特征是自动学习的特征。
22.如条款20所述的***,其中,所述***包括机器学习模块,所述机器学习模块被配置用于至少部分地基于在其中具有一个或多个真实数据对象的多个真实数据图像自动地学习一组权重,其中,所述一个或多个真实数据对象包括所述分析物的样本和伪像的样本。
23.如条款22所述的***,其中,所述机器学习模块包括卷积神经网络。
24.如条款23所述的***,其中,所述至少一个处理器被配置用于至少部分地基于已经使用数据增强方案增强的一组增强真实数据像斑来学习所述卷积神经网络中的所述一组权重。
25.如条款24所述的***,其中,所述数据增强方案包括对所述真实数据像斑的红色、绿色、蓝色或灰度强度成分中的一个或多个进行随机伽马校正。
26.如条款1所述的***,其中,所述至少一个处理器被配置用于接收所述一个或多个候选对象的一个或多个特征向量作为输入并将所述一个或多个特征向量分类为对应于所述伪像或所述分析物之一。
27.如条款26所述的***,其中,所述至少一个处理器被配置为输出评分的机器学习分类器,所述评分指示所述一个或多个候选对象的所述一个或多个特征向量中的每一个与分析物相对应。
28.如条款27所述的***,其中,所述至少一个处理器被配置用于使用增强方案来增强所述经色彩校正的像斑和所述自适应灰度强度像斑,并且用于在与所述经色彩校正的像斑和所述自适应灰度强度像斑中的每一个的增强版本相对应的所述特征向量上对所述机器学***均。
29.如条款28所述的***,其中,所述数据增强方案包括对所述输入像斑的经色彩校正的红色、绿色、蓝色或自适应灰度强度成分中的一个或多个进行随机伽马校正。
30.如条款26所述的***,其中,所述至少一个存储器存储介质和所述至少一个处理器包括被配置用于至少部分地基于所述一个或多个真实数据像斑学习的机器学习分类器。
31.如条款1所述的***,其中,所述至少一个处理器被配置用于判定分析物是否存在并给出对所述分析物的存在或不存在的指示。
32.如条款31所述的***,其中,所述分析物包括寄生虫。
33.如条款32所述的***,其中,所述寄生虫包括疟疾寄生虫。
34.如条款1所述的***,其中,所述***包括图像捕获装置。
35.如条款34所述的***,其中,所述图像捕获装置包括显微镜。
36.如条款1所述的***,其中,所述***被配置用于至少部分地基于一个或多个图像特性来识别一个或多个候选对象的种类,所述图像特性包括形状、大小或色彩中的一个或多个。
37.一种用于确定分析物在血液中的存在的方法,所述方法包括:
接收样本载玻片的多个图像,所述多个图像包括,
多个视野,每个视野各自包括所述样本载玻片的唯一x和y坐标;以及
多个焦面,每个焦面各自具有所述样本载玻片的唯一z坐标;
将白平衡变换应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像;以及
将自适应灰度变换应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像;
检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象;
至少部分地基于评分过滤所述一个或多个候选对象并输出每个已过滤候选对象的一个或多个经色彩校正的像斑和一个或多个自适应灰度强度像斑,所述评分至少部分地基于所述一个或多个候选对象的一个或多个特性;
从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取一个或多个特征向量并输出所述一个或多个特征向量;
将每个特征向量分类为对应于伪像或分析物;以及
判定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
38.如条款37所述的方法,其中,使用至少一个存储器存储介质来执行所述方法,所述至少一个存储器存储介质包括存储在其中的图像预处理模块、候选对象检测模块、特征提取模块、分类模块和诊断模块作为由可操作地耦接到所述至少一个存储器存储介质的至少一个处理器可执行的计算机可读程序。
39.如条款37所述的方法,其中,将白平衡变换应用于所述多个图像包括:使用所述多个图像中的多个最亮像素。
40.如条款39所述的方法,其中,应用白平衡变换包括:确定所述白平衡变换,包括,
从所述多个图像的子集中选择多个最亮像素,所述子集被随机地选择为使得其中存在清晰像素的概率基本上是1;
计算并应用所述多个图像的所述子集的每个像素的标准灰度强度,以便确定所述多个图像的所述子集的每个图形中的所述多个最亮像素;
确定所述多个最亮像素中的每一个的红色值R、绿色值G和蓝色值B;
计算平均色彩向量,所述平均色彩向量由所述多个最亮像素的平均色彩限定;
确定白色向量;
确定轴向量,所述轴向量垂直于所述平均色彩向量和所述白色向量两者并且是根据这两者的叉积计算得到的;以及
确定仿射变换矩阵,所述仿射变换矩阵是根据所述轴向量以及所述平均色彩向量与所述白色向量之间的角度计算得到的。
41.如条款40所述的方法,其中,应用所述白平衡变换包括:将所述白平衡变换应用于所述多个图像的每个像素的由其中的所述红色值R、绿色值G和蓝色值B值限定的色彩向量并基于此输出所述经色彩校正的图像。
42.如条款37所述的方法,其中,将自适应灰度变换应用于所述多个图像包括:输出多个自适应灰度强度图像。
43.如条款42所述的方法,其中,应用自适应灰度变换包括:
接收多个经色彩校正的图像和标准灰度强度图像作为输入;
在暗阈值处对所述标准灰度强度图像进行阈值处理以便检测一个或多个斑点;
对所检测的一个或多个斑点的色彩、面积或形状中的至少一项进行过滤以便以高灵敏度和特异性定位并识别白血细胞核;
输出来自所述经色彩校正的图像的其中包含白血细胞核的一个或多个像素的红色值R、绿色值G和蓝色值B作为白血细胞向量数据;
输出所述经色彩校正的图像中的多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是如根据对在灰度强度上比所述暗阈值更亮的像素进行的随机采样而确定的;以及根据所述白血细胞向量数据和所述背景向量数据确定自适应灰度投影向量。
44.如条款42所述的方法,其中,应用自适应灰度变换包括:使用多个白血细胞像素、多个合格背景像素和回归确定所述自适应灰度投影并将其作为向量来应用。
45.如条款44所述的方法,其中,利用回归包括:利用岭回归、套索回归、主成分回归或偏最小二乘法回归中的一种或多种
46.如条款42所述的方法,其中,应用自适应灰度变换包括:计算自适应灰度强度并将其应用于所述多个图像中的每一个以便有效提供多个自适应灰度强度图像。
47.如条款42所述的方法,其中,应用自适应灰度变换包括:使用二阶或更高阶多项式预测器变量矩阵来计算并应用多项式回归。
48.如条款42所述的方法,其中,应用自适应灰度变换包括:使用具有红色值R、绿色值G和蓝色值B的有理函数的预测器变量矩阵计算多项式回归并应用所述多项式回归。
49.如条款37所述的方法,其中,检测并识别一个或多个候选对象包括:基于多个经色彩校正的图像或多个自适应灰度强度图像中的一个或多个确定一个或多个潜在分析物位置。
50.如条款37所述的方法,其中,检测并识别一个或多个候选对象包括:
确定所述多个视野中的哪些视野在其中包括一个或多个候选对象;
至少部分地基于在视野中的所述一个或多个候选对象中的相邻候选对象之间的距离对一个或多个候选对象进行聚类,以便提供由其中的所述相邻候选对象限定的候选对象聚类;
确定针对所述一个或多个候选对象中的每一个具有最佳聚焦评分的所述焦面;
输出评分,所述评分至少部分地基于所述一个或多个候选对象中的每一个的一个或多个特性,所述一个或多个特性包括面积、灰度强度、形状或色彩中的至少一项;以及
至少部分地基于所述一个或多个特性的所述评分过滤所述候选对象。
51.如条款50所述的方法,其中,至少部分地基于所述一个或多个特性的所述评分过滤所述候选对象包括:基于训练到存储器存储介质中并由至少一个处理器访问的真实数据对象的属性来确定阈值评分。
52.如条款50所述的方法,其中,过滤所述候选对象包括:
通过将所述一个或多个候选对象的一个或多个特性的所述评分与所述一个或多个特性中的每一个的阈值评分进行比较来过滤所述一个或多个候选对象;
输出评分高于所述阈值评分的所述一个或多个候选对象作为潜在分析物位置,以及
抛弃评分低于所述阈值评分的所述一个或多个候选对象。
53.如条款52所述的方法,进一步包括:输出与一个或多个潜在分析物位置相对应的经色彩校正的像斑和自适应灰度强度像斑。
54.如条款37所述的方法,其中,从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取所述一个或多个特征向量包括:
接收与所述多个图像中的一个或多个潜在分析物位置相对应的多个经色彩校正的像斑和多个自适应灰度强度像斑作为输入;以及
输出各自表示潜在分析物的一个或多个特征向量。
55.如条款54所述的方法,其中,从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取所述一个或多个特征向量包括:
确定并提取与所述一个或多个潜在分析物位置相对应的所述多个经色彩校正的像斑和所述多个自适应灰度强度像斑中的一个或多个候选对象的一个或多个特征;以及
将与所述一个或多个候选对象相关联的一个或多个特征表示为一个或多个特征向量。
56.如条款55所述的方法,其中,确定并提取所述候选对象的一个或多个特征包括:提取一个或多个自动学习的特征。
57.如条款56所述的方法,其中,提取所述自动学习的特征包括:至少部分地基于在其中具有一个或多个真实数据对象的真实数据像斑来教授机器学习模块一组权重,其中,所述一个或多个真实数据对象包括所述分析物的样本和伪像的样本。
58.如条款57所述的方法,其中,所述机器学习模块包括卷积神经网络。
59.如条款58所述的方法,其中,至少部分地基于真实数据像斑来教授所述机器学习模块一组权重包括:使用数据增强方案来增强所述真实数据像斑。
60.如条款59所述的方法,其中,所述数据增强方案包括对所述真实数据像斑的红色、绿色、蓝色或灰度强度成分中的一个或多个进行随机伽马校正。
61.如条款54所述的方法,其中,从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取所述一个或多个特征向量包括:
至少部分地基于最佳聚焦评分确定包含所述候选对象的多个经色彩校正的像斑和自适应灰度强度像斑中的每个像斑的最佳焦面,所述最佳聚焦评分包括来自在其中具有候选对象的像斑中的所述多个焦面的多个聚焦评分中的最高评分;
确定跨在其中具有所述候选对象的每个像斑的所有所述多个焦面的聚焦评分的标准偏差;以及
至少部分地基于每个像斑中的所述多个焦面之间候选对象的最暗部分在红度上的偏移来确定每个像斑的红移评分。
62.如条款37所述的方法,其中,将每个特征向量分类为对应于伪像或分析物包括:接收候选对象的一个或多个特征向量作为输入并将所述一个或多个特征向量分类为对应于所述伪像或所述分析物之一。
63.如条款62所述的方法,其中,将每个特征向量分类为对应于伪像或分析物包括:使用输出评分的机器学习分类器,所述评分指示所述一个或多个候选对象的所述一个或多个特征向量中的每一个与分析物相对应。
64.如条款63所述的方法,其中,所述经色彩校正的像斑和所述自适应灰度强度像斑的所述输出包括:使用增强方案来增强所述经色彩校正的像斑和所述自适应灰度强度像斑,并且分类所述一个或多个特征向量包括:在与所述经色彩校正的像斑和所述自适应灰度强度像斑中的每一个的增强版本相对应的所述特征向量上对所述机器学***均。
65.如条款64所述的方法,其中,所述数据增强方案包括对所述经色彩校正的像斑或所述自适应灰度强度像斑的经色彩校正的红色、绿色、蓝色或自适应灰度强度成分中的一个或多个进行随机伽马校正。
66.如条款37所述的方法,进一步包括:接受真实数据样本中的所述分析物的一个或多个注解图像和真实数据样本中的伪像的一个或多个注解图像作为真实数据。
67.如条款66所述的方法,其中,接受真实数据样本中的所述分析物的一个或多个注解图像以及真实数据样本中的伪像的一个或多个注解图像作为真实数据包括:至少部分地基于所述一个或多个所学习真实数据像斑来教授机器学习分类器一组权重。
68.如条款67所述的方法,其中,所述机器学习分类器包括卷积神经网络,并且至少部分地基于所述一个或多个真实数据像斑来教授所述机器学习分类器一组权重包括:将真实数据样本中的所述分析物的所述一个或多个注解图像和真实数据样本中的伪像的所述一个或多个注解图像加载到所述卷积神经网络中。
69.如条款68所述的方法,其中,至少部分地基于所述一个或多个真实数据像斑来教授所述机器学习分类器一组权重包括:使用数据增强方案来增强所述真实数据像斑。
70.如条款69所述的方法,其中,所述数据增强方案包括对所述真实数据像斑的红色、绿色、蓝色或灰度强度成分中的一个或多个进行随机伽马校正。
71.如条款37所述的方法,其中,判定被分类为对应于分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平包括:判定所述分析物是否存在并基于被分类为所述分析物的一个或多个特征向量的量给出对所述分析物的存在或不存在的指示。
72.如条款37所述的方法,进一步包括:至少部分地基于一个或多个图像特性来识别一个或多个候选对象的种类,所述图像特性包括形状、大小或色彩中的一个或多个。
73.如条款37所述的方法,其中,所述分析物包括寄生虫。
74.如条款73所述的方法,其中,所述寄生虫包括疟疾寄生虫。
75.如条款37所述的方法,进一步包括:用显微镜记录一个或多个样本载玻片的一个或多个图像。
76.一种用于确定疟疾寄生虫在血液中的存在的自动化***,所述***包括:
显微镜,被配置用于捕获血液载玻片的多个图像,所述多个图像中的每一个包括,
多个视野,每个视野各自包括所述血液载玻片的唯一x和y坐标;以及
多个焦面,每个焦面各自具有所述血液载玻片的唯一z坐标;
至少一个存储器存储介质,被配置用于存储所述血液载玻片的所述多个图像;
至少一个处理器,可操作地耦接到所述至少一个存储器存储介质上,所述至少一个处理器被配置用于:
确定白平衡变换并将其应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像;并且
确定自适应灰度变换并将其应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像;
检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象;
提取所述一个或多个候选对象的一个或多个特性并对其进行评分,至少部分地基于所述评分过滤所述一个或多个候选对象;
提取所述一个或多个已过滤候选对象的经色彩校正的像斑和自适应灰度强度像斑;
输出每个已过滤候选对象的一个或多个特征向量;
将每个特征向量分类为伪像或分析物;并且
判定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
虽然已经在此公开了不同方面和实施例,但本文所公开的不同方面以及实施例是为了说明的目的,而且并不旨在进行限制,其中真实的范围以及精神是由以下权利要求书指示的。
Claims (53)
1.一种用于确定分析物在血液中的存在的***,所述***包括:
至少一个存储器存储介质,被配置用于存储样本载玻片的多个图像,所述多个图像包括,
多个视野,每个视野各自包括所述样本载玻片的唯一x和y坐标;以及
多个焦面,每个焦面各自具有所述样本载玻片的唯一z坐标;
至少一个处理器,可操作地耦接到所述至少一个存储器存储介质上,所述至少一个处理器被配置用于:
确定白平衡变换并将其应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像;
确定自适应灰度变换并将其应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像;
检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象;
至少部分地基于所述一个或多个候选对象的一个或多个特性提取所述一个或多个候选对象并对其进行评分,至少部分地基于所述评分过滤所述一个或多个候选对象,并且输出每个已过滤候选对象的一个或多个经色彩校正的像斑和一个或多个自适应灰度强度像斑;
从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取一个或多个特征向量并输出所述一个或多个特征向量;
将所述一个或多个特征向量中的每一个分类为对应于伪像或分析物;并且
判定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
2.如权利要求1所述的***,其中,所述至少一个存储器存储介质包括存储在其中的图像预处理模块、候选对象检测模块、特征提取模块、分类模块以及诊断模块作为由所述至少一个处理器可执行的计算机可读程序。
3.如权利要求1所述的***,其中,所述至少一个处理器被配置用于至少部分地基于所述多个图像中的多个最亮像素确定白平衡变换并将其应用于所述多个图像。
4.如权利要求3所述的***,其中,至少一个处理器被配置用于根据以下各项确定所述白平衡变换:
来自所述多个图像的子集的多个最亮像素,所述子集被随机地选择为使得其中存在清晰像素的概率基本上是1;
所述多个图像的所述子集的每个像素的计算标准灰度强度,用于确定所述多个图像的所述子集中的每个图像中的所述多个最亮像素;
所述多个最亮像素中的每一个的红色值R、绿色值G和蓝色值B;
平均色彩向量,所述平均色彩向量由所述多个最亮像素的平均色彩限定;
白色向量;
轴向量,所述轴向量垂直于所述平均色彩向量和所述白色向量两者并且是根据这两者的叉积计算得到的;以及
仿射变换矩阵,所述仿射变换矩阵是根据所述轴向量以及所述平均色彩向量与所述白色向量之间的角度计算得到的。
5.如权利要求4所述的***,其中,所述至少一个处理器被配置用于将所述白平衡变换应用于所述多个图像的所述像素中的每个像素的由其中的所述R值、G值和B值限定的色彩向量并基于此输出所述经色彩校正的图像。
6.如权利要求1所述的***,其中,所述至少一个处理器被配置用于确定自适应灰度变换并将其应用于所述多个图像并输出多个自适应灰度强度图像。
7.如权利要求1所述的***,其中,至少一个处理器被配置用于:
接收多个经色彩校正的图像和标准灰度强度图像作为输入;
在暗阈值下对所述标准灰度强度图像进行阈值处理以便检测斑点;
对一个或多个所检测斑点的色彩、面积或形状中的至少一项进行过滤以便以高灵敏度和特异性定位并识别白血细胞核;
向所述存储器存储介质输出来自所述经色彩校正的图像的其中包含白血细胞核的一个或多个像素的红色值R、绿色值G和蓝色值B作为白血细胞向量数据;并且
向所述存储器存储介质输出所述经色彩校正的图像中的多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是如根据对在灰度强度上比所述暗阈值更亮的像素进行的随机采样而确定的;并且
将所述白血细胞向量数据和所述背景向量数据供应至存储在所述至少一个存储器存储介质中并由所述至少一个存储器执行的机器学习模块,所述机器学习模块被配置用于确定自适应灰度投影向量。
8.如权利要求7所述的***,其中,所述至少一个处理器被配置用于:
基于自适应灰度投影向量确定所述自适应灰度变换,所述自适应灰度投影向量至少部分地基于多个白血细胞像素和多个合格背景像素;并且
利用回归来确定所述自适应灰度投影向量。
9.如权利要求8所述的***,其中,所述至少一个处理器被配置用于计算自适应灰度强度并将其应用于所述多个图像中的每一个以便有效提供多个自适应灰度强度图像。
10.如权利要求1所述的***,其中,所述至少一个处理器被配置用于基于多个经色彩校正的图像或多个自适应灰度强度图像中的一个或多个确定一个或多个潜在分析物位置。
11.如权利要求10所述的***,其中,所述至少一个处理器被配置用于:
确定所述多个视野中的哪些视野在其中包括一个或多个候选对象;
至少部分地基于在视野中的所述一个或多个候选对象中的一个或多个相邻候选对象之间的距离对候选对象进行聚类,以便提供由其中的一个或多个相邻候选对象限定的候选对象聚类;
确定针对所述一个或多个候选对象中的每一个具有最佳聚焦评分的焦面;
输出所述一个或多个候选对象中的每一个的评分,所述评分至少部分地基于所述一个或多个候选对象中的每一个的一个或多个特性,所述一个或多个特性包括面积、灰度强度、形状或色彩中的至少一项;并且
至少部分地基于所述一个或多个特性的所述评分过滤所述一个或多个候选对象。
12.如权利要求11所述的***,其中,所述至少一个处理器被配置用于通过将所述一个或多个候选对象的一个或多个特性的所述评分与所述一个或多个特性中的每一个的阈值评分进行比较来过滤所述一个或多个候选对象,输出评分高于所述阈值评分的所述一个或多个候选对象作为潜在分析物位置,并且抛弃评分低于所述阈值评分的所述一个或多个候选对象。
13.如权利要求12所述的***,其中,所述至少一个处理器被配置用于基于训练到所述至少一个存储器存储介质中并由所述至少一个处理器访问的真实数据对象的属性来确定阈值评分。
14.如权利要求1所述***,其中,所述至少一个处理器被配置用于接收与所述多个图像中的所述一个或多个潜在分析物位置相对应的多个经色彩校正的像斑和多个自适应灰度强度像斑作为输入并输出各自表示潜在分析物的一个或多个特征向量。
15.如权利要求14所述的***,其中,所述至少一个处理器被配置用于通过确定以下各项中的一项或多项来确定并提取所述一个或多个候选对象的一个或多个手动特征,
包含所述一个或多个候选对象的多个经色彩校正的像斑和自适应灰度强度像斑中的每个像斑的最佳焦面,所述最佳聚焦评分包括来自在其中具有所述一个或多个候选对象的像斑中的所述多个焦面的多个聚焦评分中的最高评分;
跨在其中具有所述一个或多个候选对象的像斑的所有所述多个焦面的聚焦评分的标准偏差或其他离差量度;以及
每个像斑的红移评分,所述红移评分至少部分地基于每个像斑中的所述多个焦面之间所述一个或多个候选对象的最暗部分在红度上的偏移。
16.如权利要求1所述的***,其中,所述至少一个处理器被配置用于确定并提取所述多个图像中的一个或多个候选对象的一个或多个特征并将所述一个或多个特征表示为一个或多个特征向量。
17.如权利要求1所述的***,其中,所述至少一个处理器被配置用于接收所述一个或多个候选对象的一个或多个特征向量作为输入并将所述一个或多个特征向量分类为对应于所述伪像或所述分析物之一。
18.如权利要求17所述的***,其中,所述至少一个处理器被配置为输出评分的机器学习分类器,所述评分指示所述一个或多个候选对象的所述一个或多个特征向量中的每一个与分析物相对应。
19.如权利要求17所述的***,其中,所述至少一个存储器存储介质和所述至少一个处理器包括被配置用于至少部分地基于所述一个或多个真实数据像斑学习的机器学习分类器。
20.如权利要求1所述的***,其中,所述至少一个处理器被配置用于判定分析物是否存在并给出对所述分析物的存在或不存在的指示。
21.如权利要求20所述的***,其中,所述分析物包括寄生虫。
22.如权利要求21所述的***,其中,所述寄生虫包括疟疾寄生虫。
23.如权利要求1所述的***,其中,所述***包括图像捕获装置。
24.如权利要求23所述的***,其中,所述图像捕获装置包括显微镜。
25.一种用于确定分析物在血液中的存在的方法,所述方法包括:
接收样本载玻片的多个图像,所述多个图像包括,
多个视野,每个视野各自包括所述样本载玻片的唯一x和y坐标;以及
多个焦面,每个焦面各自具有所述样本载玻片的唯一z坐标;
将白平衡变换应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像;以及
将自适应灰度变换应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像;
检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象;
至少部分地基于评分过滤所述一个或多个候选对象并输出每个已过滤候选对象的一个或多个经色彩校正的像斑和一个或多个自适应灰度强度像斑,所述评分至少部分地基于所述一个或多个候选对象的一个或多个特性;
从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取一个或多个特征向量并输出所述一个或多个特征向量;
将每个特征向量分类为对应于伪像或分析物;以及
判定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
26.如权利要求25所述的方法,其中,将白平衡变换应用于所述多个图像包括:使用所述多个图像中的多个最亮像素。
27.如权利要求26所述的方法,其中,应用白平衡变换包括:确定所述白平衡变换,包括,
从所述多个图像的子集中选择多个最亮像素,所述子集被随机地选择为使得其中存在清晰像素的概率基本上是1;
计算并应用所述多个图像的所述子集的每个像素的标准灰度强度,以便确定所述多个图像的所述子集的每个图形中的所述多个最亮像素;
确定所述多个最亮像素中的每一个的红色值R、绿色值G和蓝色值B;
计算平均色彩向量,所述平均色彩向量由所述多个最亮像素的平均色彩限定;
确定白色向量;
确定轴向量,所述轴向量垂直于所述平均色彩向量和所述白色向量两者并且是根据这两者的叉积计算得到的;以及
确定仿射变换矩阵,所述仿射变换矩阵是根据所述轴向量以及所述平均色彩向量与所述白色向量之间的角度计算得到的。
28.如权利要求27所述的方法,其中,应用所述白平衡变换包括:将所述白平衡变换应用于所述多个图像的每个像素的由其中的所述红色值R、绿色值G和蓝色值B值限定的色彩向量并基于此输出所述经色彩校正的图像。
29.如权利要求25所述的方法,其中,将自适应灰度变换应用于所述多个图像包括:输出多个自适应灰度强度图像。
30.如权利要求29所述的方法,其中,应用自适应灰度变换包括:
接收多个经色彩校正的图像和标准灰度强度图像作为输入;
在暗阈值处对所述标准灰度强度图像进行阈值处理以便检测一个或多个斑点;
对所检测的一个或多个斑点的色彩、面积或形状中的至少一项进行过滤以便以高灵敏度和特异性定位并识别白血细胞核;
输出来自所述经色彩校正的图像的其中包含白血细胞核的一个或多个像素的红色值R、绿色值G和蓝色值B作为白血细胞向量数据;
输出所述经色彩校正的图像中的多个合格背景像素的红色值R、绿色值G和蓝色值B作为背景向量数据,所述多个合格背景像素是如根据对在灰度强度上比所述暗阈值更亮的像素进行的随机采样而确定的;以及
根据所述白血细胞向量数据和所述背景向量数据确定自适应灰度投影向量。
31.如权利要求29所述的方法,其中,应用自适应灰度变换包括:使用多个白血细胞像素、多个合格背景像素和回归确定所述自适应灰度投影并将其作为向量来应用。
32.如权利要求31所述的方法,其中,利用回归包括:利用岭回归、套索回归、主成分回归或偏最小二乘法回归中的一种或多种
33.如权利要求29所述的方法,其中,应用自适应灰度变换包括:计算自适应灰度强度并将其应用于所述多个图像中的每一个以便有效提供多个自适应灰度强度图像。
34.如权利要求29所述的方法,其中,应用自适应灰度变换包括:使用二阶或更高阶多项式预测器变量矩阵来计算并应用多项式回归。
35.如权利要求29所述的方法,其中,应用自适应灰度变换包括:使用具有红色值R、绿色值G和蓝色值B的有理函数的预测器变量矩阵计算多项式回归并应用所述多项式回归。
36.如权利要求25所述的方法,其中,检测并识别一个或多个候选对象包括:基于多个经色彩校正的图像或多个自适应灰度强度图像中的一个或多个确定一个或多个潜在分析物位置。
37.如权利要求25所述的方法,其中,检测并识别一个或多个候选对象包括:
确定所述多个视野中的哪些视野在其中包括一个或多个候选对象;
至少部分地基于在视野中的所述一个或多个候选对象中的相邻候选对象之间的距离对一个或多个候选对象进行聚类,以便提供由其中的所述相邻候选对象限定的候选对象聚类;
确定针对所述一个或多个候选对象中的每一个具有最佳聚焦评分的所述焦面;
输出评分,所述评分至少部分地基于所述一个或多个候选对象中的每一个的一个或多个特性,所述一个或多个特性包括面积、灰度强度、形状或色彩中的至少一项;以及
至少部分地基于所述一个或多个特性的所述评分过滤所述候选对象。
38.如权利要求37所述的方法,其中,至少部分地基于所述一个或多个特性的所述评分过滤所述候选对象包括:基于训练到存储器存储介质中并由至少一个处理器访问的真实数据对象的属性来确定阈值评分。
39.如权利要求37所述的方法,其中,过滤所述候选对象包括:
通过将所述一个或多个候选对象的一个或多个特性的所述评分与所述一个或多个特性中的每一个的阈值评分进行比较来过滤所述一个或多个候选对象;
输出评分高于所述阈值评分的所述一个或多个候选对象作为潜在分析物位置,以及
抛弃评分低于所述阈值评分的所述一个或多个候选对象。
40.如权利要求39所述的方法,进一步包括:输出与一个或多个潜在分析物位置相对应的经色彩校正的像斑和自适应灰度强度像斑。
41.如权利要求25所述的方法,其中,从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取所述一个或多个特征向量包括:
接收与所述多个图像中的一个或多个潜在分析物位置相对应的多个经色彩校正的像斑和多个自适应灰度强度像斑作为输入;以及
输出各自表示潜在分析物的一个或多个特征向量。
42.如权利要求41所述的方法,其中,从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取所述一个或多个特征向量包括:
确定并提取与所述一个或多个潜在分析物位置相对应的所述多个经色彩校正的像斑和所述多个自适应灰度强度像斑中的一个或多个候选对象的一个或多个特征;以及
将与所述一个或多个候选对象相关联的一个或多个特征表示为一个或多个特征向量。
43.如权利要求41所述的方法,其中,从所述经色彩校正的像斑和所述自适应灰度强度像斑中提取所述一个或多个特征向量包括:
至少部分地基于最佳聚焦评分确定包含所述候选对象的多个经色彩校正的像斑和自适应灰度强度像斑中的每个像斑的最佳焦面,所述最佳聚焦评分包括来自在其中具有候选对象的像斑中的所述多个焦面的多个聚焦评分中的最高评分;
确定跨在其中具有所述候选对象的每个像斑的所有所述多个焦面的聚焦评分的标准偏差;以及
至少部分地基于每个像斑中的所述多个焦面之间候选对象的最暗部分在红度上的偏移来确定每个像斑的红移评分。
44.如权利要求25所述的方法,其中,将每个特征向量分类为对应于伪像或分析物包括:接收候选对象的一个或多个特征向量作为输入并将所述一个或多个特征向量分类为对应于所述伪像或所述分析物之一。
45.如权利要求44所述的方法,其中,将每个特征向量分类为对应于伪像或分析物包括:使用输出评分的机器学习分类器,所述评分指示所述一个或多个候选对象的所述一个或多个特征向量中的每一个与分析物相对应。
46.如权利要求25所述的方法,进一步包括:接受真实数据样本中的所述分析物的一个或多个注解图像和真实数据样本中的伪像的一个或多个注解图像作为真实数据。
47.如权利要求46所述的方法,其中,接受真实数据样本中的所述分析物的一个或多个注解图像以及真实数据样本中的伪像的一个或多个注解图像作为真实数据包括:至少部分地基于所述一个或多个所学习真实数据像斑来教授机器学习分类器一组权重。
48.如权利要求47所述的方法,其中,所述机器学习分类器包括卷积神经网络,并且至少部分地基于所述一个或多个真实数据像斑来教授所述机器学习分类器一组权重包括:将真实数据样本中的所述分析物的所述一个或多个注解图像和真实数据样本中的伪像的所述一个或多个注解图像加载到所述卷积神经网络中。
49.如权利要求48所述的方法,其中,至少部分地基于所述一个或多个真实数据像斑来教授所述机器学习分类器一组权重包括:使用数据增强方案来增强所述真实数据像斑。
50.如权利要求25所述的方法,其中,判定被分类为对应于分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平包括:判定所述分析物是否存在并基于被分类为所述分析物的一个或多个特征向量的量给出对所述分析物的存在或不存在的指示。
51.如权利要求25所述的方法,进一步包括:至少部分地基于一个或多个图像特性来识别一个或多个候选对象的种类,所述图像特性包括形状、大小或色彩中的一个或多个。
52.如权利要求25所述的方法,进一步包括:用显微镜记录一个或多个样本载玻片的一个或多个图像。
53.一种用于确定疟疾寄生虫在血液中的存在的自动化***,所述***包括:
显微镜,被配置用于捕获血液载玻片的多个图像,所述多个图像中的每一个包括,
多个视野,每个视野各自包括所述血液载玻片的唯一x和y坐标;以及
多个焦面,每个焦面各自具有所述血液载玻片的唯一z坐标;
至少一个存储器存储介质,被配置用于存储所述血液载玻片的所述多个图像;
至少一个处理器,可操作地耦接到所述至少一个存储器存储介质上,所述至少一个处理器被配置用于:
确定白平衡变换并将其应用于所述多个图像中的每一个以便有效产生多个经色彩校正的图像;并且
确定自适应灰度变换并将其应用于所述多个图像中的每一个以便针对所述多个图像中的每一个提供自适应灰度强度图像;
检测并识别所述多个经色彩校正的图像和所述自适应灰度强度图像中的一个或多个候选对象;
提取所述一个或多个候选对象的一个或多个特性并对其进行评分,至少部分地基于所述评分过滤所述一个或多个候选对象;
提取所述一个或多个已过滤候选对象的经色彩校正的像斑和自适应灰度强度像斑;
输出每个已过滤候选对象的一个或多个特征向量;
将每个特征向量分类为伪像或分析物;并且
判定被分类为分析物的所述特征向量是高于还是低于与阳性诊断相关联的阈值水平。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562167452P | 2015-05-28 | 2015-05-28 | |
US62/167,452 | 2015-05-28 | ||
US15/154,824 US9836839B2 (en) | 2015-05-28 | 2016-05-13 | Image analysis systems and related methods |
US15/154,824 | 2016-05-13 | ||
PCT/US2016/034050 WO2016191462A1 (en) | 2015-05-28 | 2016-05-25 | Image analysis systems and related methods |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107646115A true CN107646115A (zh) | 2018-01-30 |
CN107646115B CN107646115B (zh) | 2022-02-18 |
Family
ID=57393678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680030097.8A Active CN107646115B (zh) | 2015-05-28 | 2016-05-25 | 图像分析***及相关方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9836839B2 (zh) |
EP (1) | EP3304050A4 (zh) |
JP (1) | JP2018517209A (zh) |
CN (1) | CN107646115B (zh) |
HK (1) | HK1247380A1 (zh) |
TW (1) | TW201710949A (zh) |
WO (1) | WO2016191462A1 (zh) |
ZA (1) | ZA201708766B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110007455A (zh) * | 2018-08-21 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 病理显微镜、显示模组、控制方法、装置及存储介质 |
CN110806636A (zh) * | 2018-07-20 | 2020-02-18 | 奥林巴斯软成像解决方案公司 | 显微镜分析方法 |
CN111402307A (zh) * | 2020-03-17 | 2020-07-10 | 中国科学院云南天文台 | 一种电水准图像的处理方法 |
CN111527508A (zh) * | 2018-12-03 | 2020-08-11 | 戴斯数字有限责任公司 | 利用动态关系认知的数据交互平台 |
CN111527314A (zh) * | 2018-04-16 | 2020-08-11 | 株式会社小松制作所 | 液压油的监控***及液压油的监控方法 |
CN112153892A (zh) * | 2018-05-28 | 2020-12-29 | 拜耳动物保健有限责任公司 | 用于苍蝇管理的装置 |
CN113454439A (zh) * | 2018-11-29 | 2021-09-28 | 乐卓博大学 | 鉴定结构的自动化方法 |
Families Citing this family (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE538435C2 (en) * | 2014-05-14 | 2016-06-28 | Cellavision Ab | Method, device and computer program product for determining color transforms between images comprising a plurality of image elements |
WO2018065897A1 (en) * | 2016-10-03 | 2018-04-12 | Sigtuple Technologies Private Limited | Method and system for acquisition of optimal images of object in multi-layer sample |
EP3336774B1 (en) * | 2016-12-13 | 2020-11-25 | Axis AB | Method, computer program product and device for training a neural network |
WO2018140014A1 (en) * | 2017-01-25 | 2018-08-02 | Athelas, Inc. | Classifying biological samples using automated image analysis |
EP3579981A4 (en) | 2017-02-07 | 2021-03-31 | Essenlix Corporation | COMPRESSED OPEN FLOW TEST AND USE |
EP3580565B1 (en) | 2017-02-09 | 2024-05-29 | Essenlix Corporation | Assay using different spacing heights |
TWI756365B (zh) * | 2017-02-15 | 2022-03-01 | 美商脫其泰有限責任公司 | 圖像分析系統及相關方法 |
US10742850B2 (en) * | 2017-04-17 | 2020-08-11 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof for white balance adjustment |
US20180313950A1 (en) * | 2017-05-01 | 2018-11-01 | Farrokh Mohamadi | CNN-Based Remote Locating and Tracking of Individuals Through Walls |
US10255693B2 (en) * | 2017-05-02 | 2019-04-09 | Techcyte, Inc. | Machine learning classification and training for digital microscopy images |
US10902577B2 (en) * | 2017-06-19 | 2021-01-26 | Apeel Technology, Inc. | System and method for hyperspectral image processing to identify object |
US10902581B2 (en) * | 2017-06-19 | 2021-01-26 | Apeel Technology, Inc. | System and method for hyperspectral image processing to identify foreign object |
US10726307B2 (en) | 2017-06-30 | 2020-07-28 | Ai Systems Co., Ltd. | Real-time identification of moving objects in video images |
CN107688823B (zh) | 2017-07-20 | 2018-12-04 | 北京三快在线科技有限公司 | 一种图像特征获取方法及装置,电子设备 |
JP7336755B2 (ja) * | 2017-07-28 | 2023-09-01 | パナソニックIpマネジメント株式会社 | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム |
WO2019027963A1 (en) * | 2017-07-31 | 2019-02-07 | Essenlix Corporation | REDUCED INTERFERENCE ASSAYS |
US11227386B2 (en) * | 2017-08-15 | 2022-01-18 | Siemens Healthcare Gmbh | Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks |
US10049323B1 (en) * | 2017-10-13 | 2018-08-14 | StradVision, Inc. | Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same |
US10083375B1 (en) * | 2017-10-13 | 2018-09-25 | StradVision, Inc. | Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same |
US11609224B2 (en) | 2017-10-26 | 2023-03-21 | Essenlix Corporation | Devices and methods for white blood cell analyses |
US11237113B2 (en) | 2017-10-26 | 2022-02-01 | Essenlix Corporation | Rapid pH measurement |
EP3701260A4 (en) * | 2017-10-26 | 2021-10-27 | Essenlix Corporation | IMAGE-BASED ANALYSIS SYSTEM AND METHODS USING MACHINE LEARNING AND CROF |
US10807095B2 (en) | 2017-10-26 | 2020-10-20 | Essenlix Corporation | Making and tracking assay card |
AU2018374207A1 (en) * | 2017-11-30 | 2020-04-30 | Nantomics, Llc | Detecting intratumor heterogeneity of molecular subtypes in pathology slide images using deep-learning |
CA3084287A1 (en) * | 2017-12-20 | 2019-06-27 | Intervet International B.V. | System for external fish parasite monitoring in aquaculture |
AU2018390171A1 (en) | 2017-12-20 | 2020-06-11 | Intervet International B.V. | System for external fish parasite monitoring in aquaculture |
US11825814B2 (en) | 2017-12-20 | 2023-11-28 | Intervet Inc. | System for external fish parasite monitoring in aquaculture |
WO2019171546A1 (ja) * | 2018-03-08 | 2019-09-12 | 株式会社島津製作所 | 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法 |
EP3547211B1 (en) * | 2018-03-30 | 2021-11-17 | Naver Corporation | Methods for training a cnn and classifying an action performed by a subject in an inputted video using said cnn |
US10706328B2 (en) * | 2018-05-07 | 2020-07-07 | Google Llc | Focus-weighted, machine learning disease classifier error prediction for microscope slide images |
JP2019195304A (ja) | 2018-05-10 | 2019-11-14 | 学校法人順天堂 | 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法 |
CN108805865B (zh) * | 2018-05-22 | 2019-12-10 | 杭州智微信息科技有限公司 | 一种基于饱和度聚类的骨髓白细胞定位方法 |
US20210200986A1 (en) * | 2018-05-25 | 2021-07-01 | Sony Corporation | Control device, control method, and program |
KR102172213B1 (ko) * | 2018-06-04 | 2020-10-30 | 주식회사 딥바이오 | 투 페이스 질병 진단 시스템 및 그 방법 |
US10936905B2 (en) * | 2018-07-06 | 2021-03-02 | Tata Consultancy Services Limited | Method and system for automatic object annotation using deep network |
AU2019303237B2 (en) * | 2018-07-11 | 2023-11-09 | Centre Regional Francois Baclesse | Computer-implemented process on an image of a biological sample |
JP7115114B2 (ja) * | 2018-07-27 | 2022-08-09 | コニカミノルタ株式会社 | X線画像物体認識システム |
JP7218118B2 (ja) * | 2018-07-31 | 2023-02-06 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2020033593A1 (en) * | 2018-08-07 | 2020-02-13 | Britescan, Llc | Portable scanning device for ascertaining attributes of sample materials |
KR102641116B1 (ko) | 2018-08-23 | 2024-02-27 | 삼성전자주식회사 | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 |
KR102174379B1 (ko) * | 2018-08-27 | 2020-11-04 | 주식회사 딥바이오 | 세그멘테이션을 수행하는 뉴럴 네트워크를 이용한 질병 진단 시스템 및 방법 |
US11719618B2 (en) * | 2018-08-28 | 2023-08-08 | Essenlix Corporation | Assay accuracy improvement |
JP7144244B2 (ja) * | 2018-08-31 | 2022-09-29 | 株式会社日立ハイテク | パターン検査システム |
KR102103727B1 (ko) * | 2018-09-03 | 2020-04-24 | 네이버 주식회사 | 스킴―픽셀cnn을 이용한 이미지 자동 생성 방법 및 이미지 자동 생성 장치 |
KR102210806B1 (ko) * | 2018-10-02 | 2021-02-01 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
EP3874313A2 (en) * | 2018-11-02 | 2021-09-08 | Hologic, Inc. | Digital imaging system and method |
US10943681B2 (en) | 2018-11-21 | 2021-03-09 | Enlitic, Inc. | Global multi-label generating system |
US10311336B1 (en) * | 2019-01-22 | 2019-06-04 | StradVision, Inc. | Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles |
CN109829501B (zh) * | 2019-02-01 | 2021-02-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
US10896316B2 (en) | 2019-02-04 | 2021-01-19 | Tokitae, LLC | Automated microscopy scanning systems and methods |
WO2020163658A1 (en) * | 2019-02-06 | 2020-08-13 | Essenlix Corporation | Assays with reduced interference (iii) |
US11210554B2 (en) | 2019-03-21 | 2021-12-28 | Illumina, Inc. | Artificial intelligence-based generation of sequencing metadata |
US11347965B2 (en) | 2019-03-21 | 2022-05-31 | Illumina, Inc. | Training data generation for artificial intelligence-based sequencing |
JP2020156903A (ja) * | 2019-03-27 | 2020-10-01 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法 |
JP7381003B2 (ja) * | 2019-04-26 | 2023-11-15 | 学校法人順天堂 | 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム |
US11593649B2 (en) * | 2019-05-16 | 2023-02-28 | Illumina, Inc. | Base calling using convolutions |
RU2732895C1 (ru) * | 2019-05-27 | 2020-09-24 | Общество с ограниченной ответственностью "ПЛАТФОРМА ТРЕТЬЕ МНЕНИЕ" | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей |
JP7279526B2 (ja) * | 2019-05-31 | 2023-05-23 | 富士通株式会社 | 解析プログラム、解析装置及び解析方法 |
EP4028750A1 (en) * | 2019-09-13 | 2022-07-20 | Celly.Ai | Artificial intelligence (ai) powered analysis of objects observable through a microscope |
EP4042224A4 (en) * | 2019-10-10 | 2023-11-08 | Georgia Tech Research Corporation | LABEL-FREE HEMATOLOGICAL AND HISTOPATHOLOGICAL ANALYSIS USING UV MICROSCOPY |
TWI718750B (zh) | 2019-11-07 | 2021-02-11 | 國立中央大學 | 來源分離方法、裝置及非暫態電腦可讀取媒體 |
TWI727497B (zh) * | 2019-11-11 | 2021-05-11 | 瑞昱半導體股份有限公司 | 基於感測器特性的影像處理方法 |
US11200671B2 (en) * | 2019-12-31 | 2021-12-14 | International Business Machines Corporation | Reference image guided object detection in medical image processing |
US11410387B1 (en) | 2020-01-17 | 2022-08-09 | Facebook Technologies, Llc. | Systems, methods, and media for generating visualization of physical environment in artificial reality |
US10950034B1 (en) | 2020-01-27 | 2021-03-16 | Facebook Technologies, Llc | Systems, methods, and media for generating visualization of physical environment in artificial reality |
US11451758B1 (en) * | 2020-02-12 | 2022-09-20 | Meta Platforms Technologies, Llc | Systems, methods, and media for colorizing grayscale images |
BR112022016415A2 (pt) | 2020-02-20 | 2022-10-11 | Illumina Inc | Múltiplas chamadas de base à base de inteligência artificial |
EP3896967A1 (en) * | 2020-04-17 | 2021-10-20 | Leica Microsystems CMS GmbH | Digital imaging device and method for generating a digital color image |
US11379697B2 (en) | 2020-05-20 | 2022-07-05 | Bank Of America Corporation | Field programmable gate array architecture for image analysis |
US11295430B2 (en) | 2020-05-20 | 2022-04-05 | Bank Of America Corporation | Image analysis architecture employing logical operations |
CN111951217B (zh) * | 2020-07-07 | 2022-01-14 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、医疗图像处理方法及电子设备 |
TWI796664B (zh) * | 2021-04-01 | 2023-03-21 | 宏正自動科技股份有限公司 | 影像校正方法與裝置 |
CN113256636B (zh) * | 2021-07-15 | 2021-11-05 | 北京小蝇科技有限责任公司 | 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法 |
TWI819627B (zh) * | 2022-05-26 | 2023-10-21 | 緯創資通股份有限公司 | 用於深度學習網路的優化方法、運算裝置及電腦可讀取媒體 |
KR102562741B1 (ko) * | 2022-09-29 | 2023-08-02 | 노을 주식회사 | 인공지능을 이용하여 적혈구 검체에서 말라리아 감염을 진단하는 방법 및 그 장치 |
CN117522718B (zh) * | 2023-11-20 | 2024-04-30 | 广东海洋大学 | 基于深度学习的水下图像增强方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5828776A (en) * | 1994-09-20 | 1998-10-27 | Neopath, Inc. | Apparatus for identification and integration of multiple cell patterns |
US20060110046A1 (en) * | 2004-11-23 | 2006-05-25 | Hui Luo | Method for automatic shape classification |
US20100074506A1 (en) * | 2008-09-24 | 2010-03-25 | Sysmex Corporation | Sample imaging apparatus |
US7706606B1 (en) * | 2006-05-31 | 2010-04-27 | Adobe Systems Incorporated | Fast, adaptive color to grayscale conversion |
CN103020639A (zh) * | 2012-11-27 | 2013-04-03 | 河海大学 | 一种白细胞自动识别计数方法 |
US20130279789A1 (en) * | 2010-12-22 | 2013-10-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for determining objects in a color recording |
CN104081412A (zh) * | 2012-02-01 | 2014-10-01 | 文塔纳医疗***公司 | 用于检测组织样本中的基因的*** |
CN104246482A (zh) * | 2012-04-19 | 2014-12-24 | 霍夫曼-拉罗奇有限公司 | 用于测定血液中的分析物浓度的方法和设备 |
WO2015007697A1 (en) * | 2013-07-18 | 2015-01-22 | Ventana Medical Systems, Inc. | Auto-focus methods and systems for multi-spectral imaging |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6172349B1 (en) * | 1997-03-31 | 2001-01-09 | Kla-Tencor Corporation | Autofocusing apparatus and method for high resolution microscope system |
US7236623B2 (en) * | 2000-04-24 | 2007-06-26 | International Remote Imaging Systems, Inc. | Analyte recognition for urinalysis diagnostic system |
US8326084B1 (en) | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
US8103102B2 (en) | 2006-12-13 | 2012-01-24 | Adobe Systems Incorporated | Robust feature extraction for color and grayscale images |
US8150165B2 (en) | 2008-04-11 | 2012-04-03 | Recognition Robotics, Inc. | System and method for visual recognition |
JP2012506060A (ja) | 2008-10-14 | 2012-03-08 | サンフォード−バーナム メディカル リサーチ インスティテュート | 多面画像取得に色収差を使用する自動化された走査型サイトメトリー |
US8284998B2 (en) * | 2010-07-01 | 2012-10-09 | Arcsoft Hangzhou Co., Ltd. | Method of estimating depths from a single image displayed on display |
US9041791B2 (en) * | 2011-02-01 | 2015-05-26 | Roche Diagnostics Hematology, Inc. | Fast auto-focus in imaging |
US20120207360A1 (en) | 2011-02-11 | 2012-08-16 | Courosh Mehanian | Systems and Methods for Object Identification |
US10001622B2 (en) | 2011-10-25 | 2018-06-19 | Sanford Burnham Medical Research Institute | Multifunction autofocus system and method for automated microscopy |
US9063091B2 (en) * | 2012-04-06 | 2015-06-23 | Ixensor Inc. | Test strips and method for reading test strips |
US9311520B2 (en) * | 2012-08-08 | 2016-04-12 | Scanadu Incorporated | Method and apparatus for performing and quantifying color changes induced by specific concentrations of biological analytes in an automatically calibrated environment |
-
2016
- 2016-05-13 US US15/154,824 patent/US9836839B2/en active Active
- 2016-05-25 WO PCT/US2016/034050 patent/WO2016191462A1/en unknown
- 2016-05-25 JP JP2017561292A patent/JP2018517209A/ja active Pending
- 2016-05-25 EP EP16800658.3A patent/EP3304050A4/en not_active Withdrawn
- 2016-05-25 CN CN201680030097.8A patent/CN107646115B/zh active Active
- 2016-05-27 TW TW105116623A patent/TW201710949A/zh unknown
-
2017
- 2017-12-21 ZA ZA2017/08766A patent/ZA201708766B/en unknown
-
2018
- 2018-05-25 HK HK18106816.9A patent/HK1247380A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5828776A (en) * | 1994-09-20 | 1998-10-27 | Neopath, Inc. | Apparatus for identification and integration of multiple cell patterns |
US20060110046A1 (en) * | 2004-11-23 | 2006-05-25 | Hui Luo | Method for automatic shape classification |
US7706606B1 (en) * | 2006-05-31 | 2010-04-27 | Adobe Systems Incorporated | Fast, adaptive color to grayscale conversion |
US20100074506A1 (en) * | 2008-09-24 | 2010-03-25 | Sysmex Corporation | Sample imaging apparatus |
US20130279789A1 (en) * | 2010-12-22 | 2013-10-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for determining objects in a color recording |
CN104081412A (zh) * | 2012-02-01 | 2014-10-01 | 文塔纳医疗***公司 | 用于检测组织样本中的基因的*** |
CN104246482A (zh) * | 2012-04-19 | 2014-12-24 | 霍夫曼-拉罗奇有限公司 | 用于测定血液中的分析物浓度的方法和设备 |
CN103020639A (zh) * | 2012-11-27 | 2013-04-03 | 河海大学 | 一种白细胞自动识别计数方法 |
WO2015007697A1 (en) * | 2013-07-18 | 2015-01-22 | Ventana Medical Systems, Inc. | Auto-focus methods and systems for multi-spectral imaging |
Non-Patent Citations (2)
Title |
---|
YUN ZHONG ET AL.: "Study on the impacting injure principle of blood in the high-speed axial flow blood pump and its experiment analysis", 《 2011 INTERNATIONAL CONFERENCE ON ELECTRONICS, COMMUNICATIONS AND CONTROL (ICECC)》 * |
吕尚征 等: "CD4细胞显微图像的预处理研究", 《河南广播电视大学学报》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111527314A (zh) * | 2018-04-16 | 2020-08-11 | 株式会社小松制作所 | 液压油的监控***及液压油的监控方法 |
CN111527314B (zh) * | 2018-04-16 | 2022-05-17 | 株式会社小松制作所 | 液压油的监控***及液压油的监控方法 |
US11401700B2 (en) | 2018-04-16 | 2022-08-02 | Komatsu Ltd. | Hydraulic oil monitoring system and hydraulic oil monitoring method |
CN112153892B (zh) * | 2018-05-28 | 2024-01-30 | 拜耳动物保健有限责任公司 | 用于苍蝇管理的装置 |
CN112153892A (zh) * | 2018-05-28 | 2020-12-29 | 拜耳动物保健有限责任公司 | 用于苍蝇管理的装置 |
CN110806636B (zh) * | 2018-07-20 | 2024-01-23 | 奥林巴斯软成像解决方案公司 | 显微镜分析方法 |
CN110806636A (zh) * | 2018-07-20 | 2020-02-18 | 奥林巴斯软成像解决方案公司 | 显微镜分析方法 |
CN110007455A (zh) * | 2018-08-21 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 病理显微镜、显示模组、控制方法、装置及存储介质 |
CN113454439A (zh) * | 2018-11-29 | 2021-09-28 | 乐卓博大学 | 鉴定结构的自动化方法 |
CN111527508A (zh) * | 2018-12-03 | 2020-08-11 | 戴斯数字有限责任公司 | 利用动态关系认知的数据交互平台 |
CN111527508B (zh) * | 2018-12-03 | 2023-08-29 | 戴斯数字有限责任公司 | 利用动态关系认知的数据交互平台 |
CN111402307B (zh) * | 2020-03-17 | 2023-04-18 | 中国科学院云南天文台 | 一种电水准图像的处理方法 |
CN111402307A (zh) * | 2020-03-17 | 2020-07-10 | 中国科学院云南天文台 | 一种电水准图像的处理方法 |
Also Published As
Publication number | Publication date |
---|---|
HK1247380A1 (zh) | 2018-09-21 |
EP3304050A1 (en) | 2018-04-11 |
ZA201708766B (en) | 2019-06-26 |
CN107646115B (zh) | 2022-02-18 |
US20160350914A1 (en) | 2016-12-01 |
JP2018517209A (ja) | 2018-06-28 |
EP3304050A4 (en) | 2019-02-27 |
WO2016191462A1 (en) | 2016-12-01 |
TW201710949A (zh) | 2017-03-16 |
US9836839B2 (en) | 2017-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107646115A (zh) | 图像分析***及相关方法 | |
CN110462627A (zh) | 图像分析***和相关方法 | |
JP6915349B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US10061972B2 (en) | Image analysis systems and related methods | |
Mehanian et al. | Computer-automated malaria diagnosis and quantitation using convolutional neural networks | |
US20230127698A1 (en) | Automated stereology for determining tissue characteristics | |
Horstmeyer et al. | Convolutional neural networks that teach microscopes how to image | |
Quinn et al. | Automated blood smear analysis for mobile malaria diagnosis | |
JP5394485B2 (ja) | 印環細胞検出器及び関連する方法 | |
Memeu | A rapid malaria diagnostic method based on automatic detection and classification of plasmodium parasites in stained thin blood smear images | |
Ge et al. | Coarse-to-fine foraminifera image segmentation through 3D and deep features | |
Kovalev et al. | Deep learning in big image data: Histology image classification for breast cancer diagnosis | |
Ojaghi et al. | Label-free automated neutropenia detection and grading using deep-ultraviolet microscopy | |
Hu et al. | Automatic detection of tuberculosis bacilli in sputum smear scans based on subgraph classification | |
Chima et al. | Malaria cell image classification using deep learning | |
Richmond et al. | Deadnet: Identifying phototoxicity from label-free microscopy images of cells using deep convnets | |
Wang et al. | Multiplexed illumination for classifying visually similar objects | |
Grimmeiss Grahm et al. | Segmentation of white blood cells using deep learning | |
Nesse | Classifying Dinoflagellates in Palynological Slides Using Convolutional Neural Networks | |
Smal | Particle filtering methods for subcellular motion analysis | |
Mohana et al. | Diagnosis of Malaria from Peripheral Blood Smear Images using Convolutional Neural Networks | |
Mabaso | Automatic Approach for Spot Detection in Microscopy Imaging Based on Image Processing and Statistical Analysis | |
YEMER | AUTOMATIC DETECTION, CLASSIFICATION AND COUNTING OF MALARIA PARASITES IN BLOOD SMEARS BY IMAGE PROCESSING | |
Kirkvik | Facial emotion recognition using deep learning | |
Preißinger et al. | An automated neural network-based stage-specific malaria detection software using dimension reduction: the Malaria Stage Classifier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1247380 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |