CN112689763A - 用于样本分类的假设与验证网络和方法 - Google Patents

用于样本分类的假设与验证网络和方法 Download PDF

Info

Publication number
CN112689763A
CN112689763A CN201980061643.8A CN201980061643A CN112689763A CN 112689763 A CN112689763 A CN 112689763A CN 201980061643 A CN201980061643 A CN 201980061643A CN 112689763 A CN112689763 A CN 112689763A
Authority
CN
China
Prior art keywords
classification
sample
network
index
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980061643.8A
Other languages
English (en)
Inventor
V·纳拉辛哈墨菲
V·辛赫
张耀仁
B·S·波拉克
A·卡普尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of CN112689763A publication Critical patent/CN112689763A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • G01N35/00722Communications; Identification
    • G01N35/00732Identification of carriers, materials or components in automatic analysers
    • G01N2035/00742Type of codes
    • G01N2035/00752Type of codes bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

提供了一种将样本表征为包含溶血、黄疸或脂血的方法。该方法包括捕捉样本的一个或多个图像,其中所述一个或多个图像包括样本的血清或血浆部分。通过捕捉图像生成像素数据。使用在计算机上执行的第一网络来处理样本的一个或多个图像的像素数据,以预测血清或血浆部分的分类,其中所述分类包括溶血、黄疸和脂血。使用一个或多个验证网络验证预测的分类。描述了适于执行该方法的质量检查模块和样本测试装置,以及其他方面。

Description

用于样本分类的假设与验证网络和方法
相关申请
本申请要求于2018年9月20日提交的并且标题为“HYPOTHESIZE ANDHIERARCHICAL VERIFICATION NETWORK FOR CLASSIFICATION/REGRESSION TASK”的美国临时专利申请号62/734,007的优先权,出于所有目的,通过引用将其全部并入本文。
技术领域
本公开的实施例涉及用于在自动诊断分析***中表征样本的方法和装置。
背景技术
自动诊断分析***可使用一个或多个试剂进行化验或临床分析,以标识血液采样的血清或血浆部分中的分析物或其他成分。自动测试技术的改进伴随着称为实验室自动化***(LAS)的自动样本准备***的分析前(pre-analytical)样本准备和处理操作的相应进展,分析前样本准备和处理操作诸如是分拣(sorting)、批准备、样本容器的离心以分离样本分量、盖移除以促进流体进入、HILN(溶血、黄疸和/或脂血或正常)的预筛选以及诸如此类。LAS还可以自动将样本容器中的样本运输到多个样本处理站,因此各种操作(例如,预分析或分析测试)可以在其上执行。
在样本是全血的情况下,可以将凝胶分离器添加到样本容器,以帮助将沉降的(settled)血液部分与血清或血浆部分分离。在预处理之后,可以将样本容器运输到适当的分析器,该分析器可以从样本容器提取生物流体的一部分(例如,血清或血浆部分),并将该流体与反应器皿(例如,比色皿)中的一个或多个试剂以及可能的其他材料组合。然后可以通过使用询问辐射(interrogating radiation)或诸如此类的束经由光度或荧光吸收读数来执行分析测量。该测量允许确定终点速率(end-poing rate)或其他值,由此确定生物流体中分析物或其他成分的量。
然而,可能源于患者状况或采样处理的样本中任何干扰物(例如溶血、黄疸和/或脂血)的存在都可能不利地影响从一个或多个分析器获得的分析物或成分测量的测试结果。例如,可能与患者的疾病状态无关的样本中的溶血(H)的存在可能引起对患者的疾病状况的不同解释。此外,样本中的黄疸(I)和/或脂血(L)的存在也可能引起对患者的疾病状况的不同解释。
在一些***中,熟练的实验室技术人员可以目视检查样本的血清或血浆部分的完整性并将样本的血清或血浆部分的完整性评级(rate)为正常(N)或具有H、I和/或L的程度(例如,通过分配指数(index))。该过程可能涉及对照已知标准对血清或血浆部分的颜色的审核(review)。然而,这种人工目视检查是非常主观的、劳动密集的,并且可以涉及可能的人为错误。
因为人工检查可能有问题,所以已经做出努力来评估样本完整性而不使用实验室技术人员的人工目视检查,而是通过使用自动机器视觉检查装置,其中,这种评估在预分析测试(以下称为“预筛选”)期间发生。预筛选涉及通过分馏(例如,通过离心)从全血获得的血清或血浆部分中的诸如H、I和/或L之类的干扰物的自动检测。
在某些情况下,可以将一个或多个标签直接粘贴在样本容器上。此类标签可能部分地遮挡和遮盖样本的某些侧面视点,使得可能存在某些定向,这些定向没有提供目视观察血清或血浆部分的清楚机会。因此,这种预筛选的自动化包括了例如以虑及对H、I和/或L或N的自动预筛选的这样的方式旋转定向样本(参见例如美国专利号9,322,761)。在其他***中,从多个视点对样本容器和样本进行成像并用基于模型的***对其进行处理,使得不需要样本容器的旋转(参见例如WO 2016/133,900)。
在一些情况下,仅一小部分血清或血浆部分可能是可见的,使得在血清或血浆部分上获取的任何H、I和/或L或N读数可能不涉及高水平置信度。而且,这样的***可能是复杂的,并且图像数据的处理可能在计算上是繁重的。
因此,存在对于一种鲁棒并且高效的方法和装置的未满足的需要,所述方法和装置用于表征样本的血清或血浆部分,以便确定溶血(H)、黄疸(I)和/或脂血(L)的存在和程度,或样本的血清或血浆部分是否正常(N)。更特别地,存在对于用于确定样本是否包括H、I和/或L以及到什么程度或是否正常(N)的改进的方法和装置的未满足的需要。
发明内容
根据第一方面,提供了一种表征样本的方法。该方法包括用一个或多个图像捕捉设备捕捉样本的一个或多个图像,该一个或多个图像包括样本的血清或血浆部分,该捕捉生成像素数据;使用在计算机上执行的第一网络来处理样本的一个或多个图像的像素数据,以预测血清或血浆部分的分类,其中该分类包括溶血、黄疸和脂血;并且使用在计算机上执行的一个或多个验证网络来验证预测的分类。
根据另一方面,提供了一种质量检查模块。质量检查模块包括多个图像捕捉设备,可操作以从其中包含样本的血清或血浆部分的样本容器的一个或多个视点捕捉一个或多个图像;以及耦合到多个图像捕捉设备的计算机,该计算机被配置为和可操作为:捕捉样本的一个或多个图像,该一个或多个图像包括样本的血清或血浆部分,捕捉生成像素数据;使用在计算机上执行的第一网络来处理样本的一个或多个图像的像素数据,以预测血清或血浆部分的分类,其中该分类包括溶血、黄疸和脂血;以及使用在计算机上执行的一个或多个验证网络来验证预测的分类。
在另一方面中,提供了一种样本测试装置。样本测试装置包括轨道;载体,其可在轨道上移动并被配置为包含样本容器,样本容器在其中包含样本的血清或血浆部分;多个图像捕捉设备,被布置在轨道周围并且可操作以从样本容器和样本的血清或血浆部分的一个或多个视点捕捉一个或多个图像;以及耦合到多个图像捕捉设备的计算机,该计算机被配置为和可操作为:捕捉样本的一个或多个图像,该一个或多个图像包括样本的血清或血浆部分,捕捉生成像素数据;使用在计算机上执行的第一网络来处理样本的一个或多个图像的像素数据,以预测血清或血浆部分的分类,其中该分类包括溶血、黄疸和脂血;以及使用在计算机上执行的一个或多个验证网络来验证预测的分类。
根据通过包括构想的最佳模式的多个示例实施例和实现说明的以下详细描述,本公开的其他方面、特征和优势可以容易地清楚。本公开也可能能够具有其他和不同实施例,并且其若干细节可以在各个方面中进行修改。因此,附图和描述本质上应被认为是说明性的,并且不被认为是限制性的。附图不一定按比例绘制。本公开涵盖落入附加权利要求的范围内的所有修改、等同物和替代物。
附图说明
以下描述的附图用于说明目的并且不一定按比例绘制。因此,附图和描述本质上应被认为是说明性的并且不应被认为是限制性的。附图无意以任何方式限制本发明的范围。
图1A示出了根据一个或多个实施例的质量检查模块(顶部被移除)的示意性俯视图,其包括样本容器的多个视点并且被配置为捕捉和分析样本容器的多个背光图像以使能确定干扰物的存在和程度。
图1B示出了根据一个或多个实施例的沿图1A的剖面线1B-1B取得的图1A的质量检查模块(前壳体壁被移除)的示意性侧视图。
图1C示出了根据一个或多个实施例的样本测试装置的俯视示意图,样本测试装置包括一个或多个质量检查模块,质量检查模块被配置为执行HILN确定方法。
图2示出了根据一个或多个实施例的样本容器的侧视图,样本容器包括具有血清或血浆部分和沉降的血液部分的分离样本,其中样本容器在其上包括标签。
图3A示出了根据一个或多个实施例的质量检查模块的功能部件的框图,质量检查模块包括假设网络和验证网络,可操作为输出样本容器中的样本的血清或血浆部分的干扰物分类以及分类的确定性的程度。
图3B示出了根据一个或多个实施例的质量检查模块的功能部件的框图,质量检查模块包括假设网络和指数验证网络,可操作以输出样本容器中的样本的血清或血浆部分的干扰物分类指数和分类指数的确定性的程度。
图4示出了根据一个或多个实施例的质量检查模块的功能部件的框图,质量检查模块包括分割(segmentation)卷积神经网络(SCNN),可操作以输出样本容器中的样本的血清或血浆部分的干扰物分类指数。
图5示出了根据一个或多个实施例的图4的SCNN的深度语义分割网络(DSSN)的架构的框图。
图6是根据一个或多个实施例的表征和检验样本容器内的样本的方法的流程图。
具体实施方式
如所述,可能源于患者状况或采样处理的样本中的任何干扰物(例如溶血、黄疸和/或脂血)的存可能不利地影响从一个或多个分析器获得的分析物或成分测量的测试结果。例如,可能与患者的疾病状态无关的样本中的溶血(H)的存在可能引起对患者的疾病状况的不同解释。此外,样本中的黄疸(I)和/或脂血(L)的存在也可能引起对患者的疾病状况的不同解释。
如本文所用,诸如H、I和/或L之类的干扰物或正常(N)的确定(以下称为“HILN”)是指样本的血清或血浆部分中的溶血(H)、黄疸(I)或脂血(L)中的至少一种的存在。“N”是指“正常”,其可以被定义为包括可接受的低量的H、I和L的血清或血浆部分。溶血可以被定义为血清或血浆部分中的一种状况,其中红细胞(red blood cell)在处理期间被毁掉,其导致血红蛋白从红细胞释放到血清或血浆部分中,使得血清或血浆部分呈现微红色调(reddish hue)。溶血的程度可以通过分配溶血指数来量化。黄疸可以被定义为血液的一种状况,其中由胆汁色素(胆红素)累积而引起的血清或血浆部分脱色为深黄色。黄疸的程度可以通过分配黄疸指数来量化。脂血可以被定义为血液中存在异常高浓度的乳化脂肪,使得血清或血浆部分具有发白或乳白色的外观。脂血的程度可以通过分配脂血指数来量化。
本文公开的网络、***和方法包括验证HIL预测的网络(例如,神经网络)。例如,第一网络(例如,假设网络)假设或预测样本的HILN分类并且后面阶段的网络(例如,验证网络)验证该预测。表示样本的图像数据或像素数据可以被输入到第一网络,在该第一网络中进行HILN分类的假设或预测。基于HILN分类的假设,像素数据由一个或多个专业的验证网络进一步分析。在一些实施例中,一个或多个专用网络可以进一步分析由第一网络生成的最后层或接近最后层的层。在一些实施例中,可以存在针对HIL或HILN分类中的每个的专业的验证网络。例如,如果第一网络假设样本中的溶血分类,则可以通过训练以验证和/或检测溶血的验证网络来进一步分析像素数据。其他验证网络可以验证黄疸和/或脂血假设。在一些实施例中,(一个或多个)***可以包括类似的验证网络以验证正常分类。在一些实施例中,第一网络可以为尚未离心的样本的血清或血浆部分预测或假设未离心(U)类别。
除了前述内容之外,根据本文公开的实施例的方法、***和装置可以包括第一网络,该第一网络预测或假设溶血的分类指数(例如,在一些实施例中为H0-H6并且在其他实施例中更多或更少),黄疸的分类指数(例如,在一些实施例中为I0-I6并且在其他实施例中更多或更少),和/或脂血的分类指数(例如,在一些实施例中为L0-L4并且在其他实施例中更多或更少)。在一些实施例中,可以通过回归以输出HIL浓度来执行分类。分类指数可以称为具体HIL分类的程度或子类。可以将第一网络的结果输入到特定于由第一网络预测的干扰物的分类指数的一个或多个指数验证网络中。在一些实施例中,验证网络可以提供标识第一网络的预测是否正确的加权响应(例如,百分比)。在其他实施例中,验证网络可以提供二进制输出,该二进制输出标识第一网络的预测是正确还是不正确。
在一些实施例中,第一网络可以分类(或“分割”)样本容器和样本的各个区域,诸如血清或血浆部分、沉降的血液部分、凝胶分离器(如果使用)、空气、标签、样本容器的类型(指示例如高度和宽度/直径),和/或样本容器盖的类型和/或颜色。样本容器支持物(holder)和/或背景也可以被分类。
鉴于上述挑战,在第一广泛方面中,本公开的实施例提供了被配置为确定HILN的存在和/或程度的方法和装置。第一网络(例如,假设网络)可以使用分割卷积神经网络(SCNN),其包括输出样本的预测分类和/或分类指数的深度语义分割网络(DSSN)。在一些实施例中,DSSN可以至少部分地基于由血清或血浆部分的像素数据表示的颜色预测在样本容器中标识的样本的血清或血浆部分的分类指数。在一些实施例中,DSSN可以包括大于100个操作层,这在下面进一步描述。SCNN还可以包括前端容器分割网络(CSN),以确定容器类型和容器边界。然后,可以经由附加的输入通道将该所确定的容器信息输入到DSSN,如下文进一步所述。基于分类预测,可以由专业的验证网络执行进一步的分析以验证预测。在一些实施例中,该装置和方法可以包括用于每个HIL分类指数的至少一个指数验证网络。
在一些实施例中,对SCNN的输入可以是多光谱、多曝光(exposure)像素数据或图像数据,其可以被合并和归一化,并且从一个或多个图像捕捉设备获得。图像捕捉设备可以是能够捕捉用于分析的像素化图像(例如,数字图像)的任何设备,诸如数字照相机、CCD(电荷耦合设备)、一个或多个CMOS(互补金属氧化物半导体)传感器、传感器阵列或诸如此类。两个或更多图像捕捉设备可以被布置和配置为从多个视点(例如,三个视点;其他数量的视点是可能的)捕捉图像。在一些实施例中,本文描述的方法、装置和***可以使用样本容器和血清或血浆部分的高动态范围(HDR)图像处理作为SCNN的输入。HDR成像可能涉及在使用多个光谱照明时捕捉多个曝光。在一些实施例中,训练SCNN以识别被样本容器上的一个或多个标签遮挡的区域,使得SCNN可以在表征H、I、L或N中更好地计及从任何视点的样本容器的后侧上的标签的存在。
根据一些方面,表征方法可以由质量检查模块来执行,并且在样本测试***中执行,每个样本测试***包括SCNN。SCNN可以包括操作层,操作层包括例如BatchNorm、ReLU激活、卷积(例如2D)、丢弃(dropout)和解卷积(例如2D)层以提取特征,诸如血清或血浆部分和包含标签的区域的简单的边缘、纹理以及部分。诸如全卷积层之类的顶层可用于提供部分之间的相关性。可以将层的输出馈送到SoftMax层,该层在每个像素(或每个小块(patch)-包括nxn像素)的基础上产生关于每个像素或小块是否包含H、I、L或N的输出。在一些实施例中,可以从SCNN提供仅H、I、L或N的输出。在其他实施例中,SCNN的输出可以是具有大于H、I、L或N的20个血清类别或指数的细粒度的H、I、L或N,使得对于存在的每个干扰物,也获得干扰物的水平(指数)的估计。
如果发现样本包含H、I和L中的一个或多个,则可以向操作者提供合适的通知,和/或可以使样本容器下线(take off line)(1)以执行补救来矫正H、I或L中的一个或多个,(2)以重新绘制(redraw)样本,或(3)以执行其他处理。因此,诸如在离心后以及在一个或多个分析器进行分析之前的第一可能时刻(instance)处,对H、I、L或N进行预筛选的能力可能有利地(a)最小化分析对于分析而言不具有适当质量的样本浪费的时间,(b)避免或最小化错误的测试结果,(c)最小化患者测试结果延迟,和/或(d)避免浪费患者样本。
将参考本文图1A-6进一步描述表征和验证方法、被配置为执行表征和验证方法的装置、***和质量检查模块以及包括一个或多个质量检查模块的样本测试装置的进一步细节。
现在参考图1A和图1B,它们示出了质量检查模块100的实施例,该质量检查模块100被配置为执行如本文所示和所述的表征和验证方法。质量检查模块100可以被配置为在一个或多个分析器(图3C)进行分析之前,对位于样本容器106中的样本104中的干扰物(例如,H、I和/或L)的存在和程度(例如,指数)进行预筛选,一个或多个分析器耦合到质量检查模块。该方式的预筛选虑及在不浪费宝贵的分析器资源或可能存在干扰物影响测试结果的真实性(veracity)的情况下对样本104的附加的处理、附加的量化或表征,和/或丢弃和/或重新绘制。质量检查模块100还可以确定样本104是否正常。
除了本文所述的干扰物检测方法之外,在质量检查模块100处可以对包含在样本容器106中的样本104执行其他检测方法。例如,可以在质量检查模块100处执行方法以提供分割作为来自容器分割网络(CSN 462-图4)的输出。分割数据可以用在后处理步骤中以量化样本104,即确定样本104的某些物理尺寸特性。
另外参考图2,其示出了根据一个或多个实施例的包括样本104的样本容器106的侧视图。样本104可以包括凝胶分离器207,其将样本104的血清或血浆部分204SP与样本104的沉降的血液部分204SB分离。可以在血清或血浆部分204SP上方提供空气208,并且将在它们之间的划界(demarcation)的线定义为液-气界面(LA)。盖209可以密封样本容器106。通过分割至少部分地确定的物理特性可以包括样本容器106的顶部(TC)的位置、样本容器106的高度(HT)、样本容器106的宽度(W)、样本容器106的内部宽度(Wi)和样本容器106的壁的厚度(Tw)。此外,分割数据可以提供位置液-气界面(LA)、样本104的总高度(HTOT),以及凝胶分离器207的上部位置(GU)和下部位置(GL)。上部位置(GU)和下部位置(GL)之间的差提供了凝胶分离器207的高度。特性可以进一步包括血清或血浆部分204SP的高度HSP和沉降的血液部分204SB的高度HSB。量化还可以涉及估计血清或血浆部分的体积和/或沉降的血液部分的体积。还可以确定其他可量化的几何特征,诸如盖209的大小和颜色。
样本容器106可以配备有标签210,该标签210可以在其上包括标识信息210i(即,标记),诸如条形码、字母、数字或其组合。标识信息210i可以在包括质量检查模块100处的各个位置处是机器可读的。机器可读信息可以比标签材料(例如,白纸)更暗(例如,黑),使得其可以容易地成像。标识信息210i可以经由实验室信息***(LIS)指示患者的标识以及将在样本104上执行的测试或可能否则与它们相关。标识信息210i可以指示其他或附加信息。可以在标签210上提供上述标识信息210i,标签210可以粘贴到或否则提供在样本容器106的外表面上。如在图2中所示,标签210可能不一直围绕样本容器106或一直沿着样本容器106的长度延伸,使得从所示的特定前面视点,血清或血浆部分204SP的大部分是可见的(该部分虚线所示)并且不受标签210的阻碍。
在一些实施例中,可能已经提供了多个标签(诸如来自已经处理了样本容器106的多个设施),并且多个标签可以在某种程度上彼此重叠。例如,可以提供两个标签(例如,制造商的标签和条形码标签)并且所述两个标签可以重叠以及可以遮挡(阻碍)一个或多个视点中的一些或全部。因此,应当理解,在一些实施例中,尽管(一个或多个)标签210可以遮挡样本104的某部分(遮挡的部分),但是从至少一个视点(未遮挡的部分),样本104以及血清或血浆部分204SP的某部分可能仍旧是可见的。因此,根据本公开的另一方面,可以训练被配置成执行表征方法的SCNN的实施例以识别被遮挡的部分和未被遮挡的部分,使得可以提供改进的HILN检测。
再次参考图1A和1B,质量检查模块100可以包括一个或多个图像捕捉设备110A、110B、110C,其分别通过视点1、2和3对样本容器106成像。在图1A中示出了三个图像捕捉设备110A-110C,但是可选地,可以使用两个或四个或更多。图像捕捉设备110A-110C可以是用于捕捉定义明确的数字图像的任何合适的设备,诸如能够捕捉像素化图像的常规数字照相机、电荷耦合设备(CCD)、光电探测器的阵列、一个或多个CMOS传感器或诸如此类。图1A中示出的三个图像捕捉设备110A-110C被配置为从三个不同的侧向视点(标记为1、2和3的视点)捕捉图像。在一些实施例中,捕捉的图像大小可以是例如大约2560×694像素。在另一个实施例中,图像捕捉设备110A-110C可以捕捉例如可以是大约1280×387像素的图像大小。可以使用其他图像大小和像素密度。
每个图像捕捉设备110A-110C可以被配置并且可操作为捕捉样本容器106的至少一部分和样本104的至少一部分的侧向图像。例如,图像捕捉设备110A -110C可捕捉标签210的一部分以及血清或血浆部分204SP的部分或全部(图2A和2B)。在一些情况下,标签210可以部分地遮挡视点1-3的部分。在一些实施例中,可以完全遮挡视点1-3中的一个或多个,即,无血清或血浆部分204SP的清楚视图可能是可能的。然而,即使在视点1-3的一侧(正面或背面)被一个或多个标签210完全遮挡的情况下,表征方法仍然可能能够通过一个或多个标签210区分血清或血浆部分204SP的边界。
在所示的实施例中,多个图像捕捉设备110A-110C被配置为从多个视点1-3在成像位置116处捕捉样本容器106和样本104的侧向图像。如图所示,视点1-3可以被布置为使得它们彼此大致相等地间隔,诸如彼此大约120°。如所描绘的,图像捕捉设备110A-110C可以围绕轨道118布置,在该轨道118上运输样本容器106。可以使用多个图像捕捉设备110A-110C的其他布置。这样,可以在样本容器106驻留在成像位置116处的载体120中时获取样本容器106中的样本104的图像。图像捕捉设备110A-110C获得的多个图像的视场在周向范围(circumferential extent)可能稍微重叠。
在一个或多个实施例中,可以将载体120停止在质量检查模块100中的预定位置处,诸如成像位置116处。在该位置处,来自每个图像捕捉设备110A-110C的法向矢量(normal vector)彼此相交。可以提供载体120的门(gate)或线性电动机(未示出)以将载体120停止在成像位置116处,使得可以在那里捕捉多个图像。在质量检查模块100处存在门的实施例中,一个或多个传感器(未示出)可用于确定在质量检查模块100处的载体120的存在。
在一些实施例中,质量检查模块100可以包括壳体128,该壳体128可以至少部分地包围或覆盖轨道118以最小化外部照明影响。在图像捕捉序列期间,样本容器106可以位于壳体128内部。壳体128可以包括一个或多个开口(和/或入口(door))128D,以允许载体120进入壳体128中和/或从壳体128退出。在一些实施例中,顶板可以包括开口128O,以允许通过包括可移动的机器人手指的机器人(未示出)从上方将样本容器106装载到载体120中。
图像捕捉设备110A-110C可以紧密接近地提供以及被训练或聚焦以在成像位置116处捕捉图像窗口,其中图像窗口是包括样本容器106的预期位置的区域。因此,在一些实施例中,样本容器106可以被停止,使得其大致位于图像窗口的中心。
在质量检查模块100的操作中,可以响应于可以由计算机124发送的通信线路122A、122B、122C中提供的触发信号来触发和捕捉每个图像。根据本文描述的一个或多个实施例,可以由计算机124来对每个捕捉的图像进行处理。在一些方法中,可以使用高动态范围(HDR)处理来捕捉和处理来自捕捉的图像的图像数据。更详细地,在质量检查模块100处以多个不同的曝光(例如,在不同的曝光时间处)捕捉样本104的多个图像,同时用一个或多个不同的光谱顺序照射。例如,在具有多个光谱中的每个的不同曝光时间处,每个图像捕捉设备110A-110C可以捕捉包括血清或血浆部分204SP(图2)的样本容器106的4-8个图像。例如,当样本104被具有红色光谱的光源126A背光照明时,图像捕捉设备110A可以在视点1处捕捉4-8个图像。可以在视点2和3处顺序捕捉附加的类似图像。可以捕捉其他数量的图像。
在一些实施例中,可以使用发射不同光谱照明的不同光源126A、126B和126C来完成捕捉多个光谱图像。光源126A-126C可以背景照亮样本容器106(如所示)。在一些实施例中,光扩散器可以与光源126A-126C结合使用。多个不同光谱的光源126A-126C可以是红色、绿色、蓝色(RGB)光源,诸如发射634nm +/- 35nm(红色)、537nm +/- 35nm(绿色)和455nm+/- 35nm(蓝色)的标称波长的发光二极管(LED)。在其他实施例中,光源126A-126C可以是白光源。在标签210遮盖多个视点的情况下,可以使用红外(IR)背光照明或近红外(NIR)背光照明。此外,即使在存在标签遮挡时,在某些情况下也可以使用RGB光源。在其他实施例中,光源126A-126C可以发射具有在大约700 nm与大约1200 nm之间的标称波长的一个或多个光谱。可以使用其他光源和/或波长。
作为非限制性示例,为了以第一波长捕捉图像,可以使用三个红色光源126A-126C(波长约为634 nm +/- 35 nm)从三个侧向位置顺序照亮样本104。光源126A-126C的红色照明可能在每个图像捕捉设备110A-110C从每个视点1-3捕捉不同曝光时间处的多个图像(例如4-8个图像或更多)时发生。在一些实施例中,曝光时间可以在大约0.1 ms与256 ms之间。可以使用其他曝光时间。在一些实施例中,例如,可以顺序地获取每个图像捕捉设备110A-110C的各个图像中的每个。因此,对于每个视点1-3,可以顺序地获得具有红色光谱背光照明和多个曝光(例如4-8个曝光,诸如不同的曝光时间)的图像的组。可以以循环(roundrobin)方式捕捉图像,例如,其中捕捉来自视点1的所有图像,然后依次捕捉视点2和3。
一旦在图1A-1B的实施例中捕捉了红色照明的图像,就可以打开例如来自绿色光谱光源126A-126C的光的另一个光谱(标称波长为约537 nm,具有约+/- 35 nm的带宽),并且在不同曝光时间处的多个图像(例如,4-8个或更多图像)可以由每个图像捕捉设备110A-110C顺序地捕捉。对于每个图像捕捉设备110A-110C,可以用蓝色光谱光源126A-126C(标称波长为约455 nm,具有约+/- 35 nm的带宽)重复这一点。例如,不同的标称波长光谱光源126A-126C可以通过包括可选择性地打开和关闭的不同期望的光谱光源(例如,R、G、B、W、IR和/或NIR)的组(bank)的灯板(light panel)来完成。可以使用用于背光照明的其他装置。
在一些实施例中,可以快速连续地获得针对每个相应的波长光谱的在多个曝光(例如,曝光时间)获取的多个图像,使得可以在例如少于几秒钟的时间内获得从多个视点1-3的样本容器106和样本104的背光图像的整个收集(collection)。在一些实施例中,使用图像捕捉设备110A-110C和具有RGB光源126A-126C的背景照明的在三个视点1-3处针对每个波长的四个不同的曝光图像将导致4个图像x 3个光谱x 3个图像捕捉设备= 36个图像。在另一个实施例中,使用图像捕捉设备110A-110C以及具有R、G、B、W、IR和NIR光源126A-126C的背景照明的在三个视点处针对每个波长的四个不同的曝光图像将导致4个图像×6个光谱x 3个照相机 = 72个图像。可以使用其他数量的图像。
根据本文提供的表征和验证方法的实施例,图像数据或像素数据的处理可以涉及预处理步骤,该预处理步骤包括例如从每个波长光谱处的不同曝光时间处以及针对每个图像捕捉设备110A-110C的多个捕捉的图像选择最佳曝光像素,以便针对每个光谱并且针对每个视点1-3生成最佳曝光的像素数据。
对于每个相应的像素(或像素的小块),根据每个图像捕捉设备110A-110C捕捉的每个图像,可以从每个视点1-3的不同的曝光图像中的每个选择表现出最佳图像强度的像素(或小块)。在一些实施例中,最佳图像强度可以是落在强度的预定范围内的像素(或小块),诸如例如在0-255的标度(scale)上在180与254之间。在另一个实施例中,最佳图像强度可以例如在0-255的标度上在16与254之间。例如,如果确定两个曝光图像的对应像素(或小块)位置中的一个以上像素(或小块)被最佳地曝光,则可以选择两个中较高的那个。
表现出最佳图像强度的选择的像素(或小块)可以通过它们相应的曝光时间进行归一化。结果是针对照明光谱(例如,R、G、B、白光、IR和/或NIR——取决于所使用的组合)以及针对每个图像捕捉设备110A-110C的多个归一化和合并的光谱图像数据集合,其中所有像素(或小块)被最佳地曝光(例如,每个光谱一个图像数据集合)并被归一化。换句话说,对于每个视点1-3,由计算机124执行的数据预处理可以导致多个最佳曝光和归一化的图像数据集合,一个针对所采用的每个照明光谱。
图1C示出了示例样本检测装置150,该样本检测装置150能够自动处理包含样本104的多个样本容器106。样本容器106可以在运输至一个或多个分析器(例如,第一分析器156、第二分析器158和/或第三分析器160)并由一个或多个分析器(例如,第一分析器156、第二分析器158和/或第三分析器160)进行分析之前被提供在装载区域154处的一个或多个架子(rack)152中,一个或多个分析器(例如,第一分析器156、第二分析器158和/或第三分析器160)围绕样本测试装置150布置。可以使用更多或更少数量的分析器。分析器可以是临床化学分析器和/或化验仪器或诸如此类的任何组合。样本容器106可以是任何合适的透明或半透明的容器,诸如血液收集管、试管、采样杯、比色皿或其他透明或不透明的玻璃或塑料容器,其能够包含并允许对其中包含的样本104进行成像。样本容器106的大小可以变化。
更详细地,样本测试装置150可以包括可以在其上安装轨道118的基座162(例如,框架、地板或其他结构)。轨道118可以是有轨(railed)轨道(例如,单轨道或多轨道)、传送带、传送链、可移动平台的集合或任何其他合适类型的传送机构。在一些实施例中,轨道118可以是圆形的或任何其他合适的形状,并且可以是闭合的轨道(例如,环形(endless)轨道)。轨道118可以在操作中将样本容器106中的个体样本容器在载体120中运输到围绕轨道118间隔的各个位置。
载体120可以是被动的(passive)、非机动的(non-motored)圆盘(puck),其可以被配置为在轨道118上承载单个样本容器106,或者可选地,可以是包括诸如线性电动机之类的机载驱动电动机的自动化载体,自动化载体被编程为围绕轨道118移动并停在预编程的位置处。可以使用载体120的其他配置。在一些实施例中,在从一个或多个架子152卸载之后,载体120可以离开装载区域154。装载区域154可以起到双重功能,即还允许在预筛选和/或分析完成后将样本容器106从载体120重新装载到装载区域154。
机器人166可以被提供在装载区域154处,并且可以被配置为从一个或多个架子152抓取样本容器106,并将样本容器106装载到载体120上,诸如装载到轨道118的输入通道上。机器人166也可以被配置为将样本容器106从载体120重新装载到一个或多个架子152。机器人166可以包括一个或多个(例如,至少两个)机器人臂或能够X(侧向)和Z(竖直-页面外,如所示)、Y和Z、X、Y和Z、或r(径向)和塞塔(theta)(旋转)运动的部件。机器人166可以是龙门机器人、多关节机器人、R-塞塔机器人或其他合适的机器人,其中机器人166可以配备有机器人爪指(gripper finger),其被定向、取大小和配置为拾取并放置样本容器106。
在被装载到轨道118上时,由载体120承载的样本容器106可以前进到第一预处理站168。例如,第一预处理站168可以是被配置为进行样本104的分馏的自动离心机。可以将承载样本容器106的载体120通过流入通道或其他合适的机器人转移到第一预处理站168。在被离心之后,样本容器106可以在流出通道上退出,或者以其他方式由机器人移除,并且沿着轨道118继续。在所描绘的实施例中,接下来可以将载体120中的样本容器106运输到质量检查模块100以执行在本文中进一步描述的预筛选。
可以在轨道118上或沿轨道118的一个或多个位置处提供(一个或多个)附加站。(一个或多个)附加站可以包括解盖(de-capping)站、等分(aliquoting)站、一个或多个附加质量检查模块100以及诸如此类。
样本测试装置150可以在轨道118周围的一个或多个位置处包括多个传感器170。传感器170可以用于通过读取标识信息210i或在每个载体120上提供的类似信息(未示出)来检测轨道118上的样本容器106的位置。可以使用用于跟踪位置的任何合适的手段,诸如接近传感器。所有传感器170都可以与计算机172对接,使得可以始终知道每个样本容器106的位置。
预处理站和分析器156、158和160可配备有被配置为从轨道118移除载体120的机器人机构和/或流入通道,以及配备有被配置为使载体120重新进入轨道118的机器人机构和/或流出通道。
样本测试装置150可以由计算机172控制,计算机172可以是基于微处理器的中央处理单元(CPU),其具有合适的存储器以及合适的调节电子器件和驱动器,用于操作各种***部件。计算机172可以作为样本测试装置150的基座162的部分被容纳或与之分离。计算机172可以可操作以控制载体120去往和来自装载区域154的移动、围绕轨道118的运动、去往和来自第一预处理站168的运动以及第一预处理站168(例如离心机)的操作、去往和来自质量检查模块100的运动以及质量检查模块100的操作以及去往和来自每个分析器156、158、160的运动以及用于执行各种类型的测试(例如化验或临床化学)的每个分析器156、158、160的操作。图1A和1B的计算机124可以是图1C的计算机172的部分或与之分离。
附加参考图3A,其示出了装置330A,该装置330A包括被配置为执行本文所述的HIL或HILN表征和验证方法的功能部件。装置330A可以体现在由计算机124和/或172控制的质量检查模块100(图1A-1C)内。例如,每个功能部件可以以软件、硬件或软件和硬件的组合来实现。如上所述,样本容器106可以被提供在质量检查模块100的成像位置116(图1A)处。样本容器106的多视图图像可以由多个图像捕捉设备110A-110C中的一个或多个在图像收集子***332中捕捉。如上所述,可以在预处理子***334中对多视图、多光谱、多曝光图像中的每个的像素数据进行预处理,以提供多个最佳曝光和归一化的图像数据集合(以下称为“图像数据集合”)。假设网络338可以使用样本容器的图像的一个或多个图像数据集合来预测样本分类。在一些实施例中,假设网络338可以是分割网络和/或分类网络。
给定一个或多个图像数据集合的情况下,假设网络338可操作为基于图像的每个像素的象素数据值所指示的图像的每个像素的局部外观向图像的每个像素分配HILN分类。在一些实施例中,假设网络338可基于颜色或至少部分地基于由血清或血浆部分的像素数据表示的颜色来预测样本的血清或血浆部分的分类。在一些实施例中,分类可以包括未离心类别。分类可以包括更少或更多的类别和子类。在一些实施例中,假设网络可以确定采样是否已经被离心。如果采样尚未被离心,则可以生成通知以通知实验室技术人员不能执行HIL分类。另外,装置330A可以跳过未离心采样的HIL分类。
装置330A在验证子***340中验证样本的预测分类。验证子***340可以包括或耦合到一个或多个验证网络342。图3A中示出的实施例包括四个验证网络342。可以关于溶血分类训练溶血验证网络342A(有时称为“第一验证网络”)从而验证溶血预测。可以关于黄疸分类训练黄疸验证网络342B(有时称为“第二验证网络”)以验证黄疸预测。可以关于脂血分类训练脂血验证网络342C(有时称为“第三验证网络”)以验证脂血预测。可以训练第四验证网络342D以验证正常预测。一些实施例不包括第四验证网络342D并且不验证正常分类。可以使用其他数量和类型的验证网络342。
例如,在装置330A的操作期间,假设网络338可以预测样本的溶血分类。验证子***340然后可以将一个或多个图像数据集合传输到溶血验证网络342A,该溶血验证网络342A可以被单独训练以验证溶血。溶血验证网络342A可以生成指示正确或不正确的溶血预测的信号。
装置330A可以输出验证的分类(使用输出子***344),其可以基于验证网络342的输出而生成。输出子***344的验证的输出可以基于验证网络342所生成的肯定结果。例如,验证网络342可以验证或拒绝由假设网络338生成的HIL分类的预测。如果验证网络342验证了假设网络338,则输出子***344可以以大于确定性的预定水平的确定性输出假设网络338的HIL确定。例如,验证的输出以及因此装置330A的输出可以以98%的确定性确定HIL分类是正确的。可以使用其他确定性水平。在一些实施例中,验证的输出可以是指示装置330A不能在确定性的预定水平内确定HIL分类的信号。在某些情况下,验证的输出可以指示应手动分析样本。
另外参考图3B,其示出了预测分类指数并验证样本的预测的分类指数的装置330B的实施例。例如,装置330B预测并验证HIL类别内的分类指数。装置330B类似于图3A的装置330A但是包括假设网络348,假设网络348代替图3A的假设网络338并且预测样本的分类指数。在一些实施例中,分类指数可以包括21个血清类别,包括未离心的类别、正常类别和19个HIL类别/子类。分类指数可以包括更少或更多或不同的类别和子类。
装置330B包括代替图3A的验证子***340并且诸如通过使用指数验证网络352来验证预测的分类指数的验证子***350。可以对指数验证网络352进行训练以验证具体的HIL分类指数。例如,一个或多个指数验证网络352可以是二进制分类器,其确定由假设网络339或假设网络348生成的假设是否正确。
可以训练溶血指数验证网络352A(有时称为“第一指数验证网络”)来验证个体溶血分类指数。可以训练黄疸指数验证网络352B(有时称为“第二指数验证网络”)来验证个体黄疸分类指数。可以训练脂血指数验证网络352C(有时称为“第三指数验证网络”)以验证个体脂血分类指数。指数验证网络352可以包括第四验证网络340D,其可以被训练为验证如上所述的正常分类。一些实施例不包括第四验证网络342D并且不验证正常分类。可以使用其他数量和类型的指数验证网络。
溶血指数验证网络352A可以验证多个个体预测溶血分类指数。在一些实施例中,溶血指数验证网络352A可以包括个体神经网络,诸如CNN,以验证每个预测溶血分类指数。黄疸指数验证网络352B可以验证多个个体预测黄疸分类指数。在一些实施例中,黄疸指数验证网络352B可以包括个体神经网络,诸如CNN,以验证每个预测黄疸分类指数。以相同的方式,脂血指数验证网络352C可以验证多个预测脂血分类指数。在一些实施例中,脂血指数验证网络可以包括个体神经网络,诸如CNN,以验证每个脂血分类指数。
作为装置330B的操作的示例,假设网络348可以例如预测样本的H3的溶血分类指数。验证子***350然后可以将一个或多个图像数据集合传输到溶血指数验证网络352A,溶血指数验证网络352A可以被单独训练以验证H3的溶血分类指数。溶血指数验证网络352A可以生成指示正确或不正确预测的信号。在一些实施例中,指数验证网络352可以生成与预测的确定性有关的加权响应,诸如百分比。例如,加权响应可以确定预测是否超过预定的置信度。
装置330B可以使用输出子***354来输出验证的分类指数,验证的分类指数可以基于指数验证网络352的输出来生成。输出子***354的验证的输出可以基于由指数验证网络352生成的肯定结果。例如,指数验证网络352可以验证或拒绝假设网络348预测的HIL分类指数的预测。如果指数验证网络352验证了假设网络348,则输出子***354可以以确定性的预定义水平输出由假设网络348预测的HIL分类指数。例如,验证的输出以及因此装置330B的输出可以具有预测的HIL分类指数是正确的的98%的确定性。可以使用其他确定性水平。在一些实施例中,验证的输出可以是指示装置330B不能在预定的确定性内确定HIL分类指数的信号。在某些情况下,验证的输出可能指示应手动分析样本。
在一些情况下,第一分类指数可以接近第二分类指数。在第一分类指数和第二分类指数之间可能发生混淆,诸如将第一分类指数标识为第二分类指数或反之亦然。为了克服这些问题,指数验证网络352可以包括在分类指数之间进行区分的验证网络。例如,指数验证网络可以包括诸如专家网络之类的网络,其被训练以将上述第一分类指数与第二分类指数区分开。因此,减轻了紧密分类指数之间的混淆。
图4示出了假设网络458的实施例,该假设网络458包括被配置为执行本文所述的HIL(N)假设方法的功能部件。图4中描绘的假设网络458耦合到多个指数验证网络352(例如352A-C)。假设网络458可以体现在由计算机124和/或172控制的质量检查模块100(图1A-1C)内(例如,在与计算机124和/或172通信或在计算机124和/或172内的存储器中)。假设网络458可以是神经网络,诸如例如卷积神经网络。如上所述,样本容器106可以被提供在质量检查模块100的成像位置116(图1A)处。多视图图像可以由一个或多个图像捕捉设备110A-110C(图1A)捕捉。如上所述,可以对多视图、多光谱、多曝光图像中的每个的图像数据或像素数据进行预处理,以提供多个最佳曝光和/或归一化的图像数据集合。计算机124和/或172可以预处理像素数据以生成图像数据集合。图像数据集合可以被提供作为假设网络458的输入,假设网络458可以是或包括分割卷积神经网络(SCNN)460。假设网络458和/或SCNN460可以是在计算机124和/或172上运行的程序。
由假设网络458执行的任务是表征在诸如样本容器106之类的样本容器中的样本(例如,图1A-1B的样本104)。该任务可以包括样本容器与其背景的分离以及粘贴到样本容器的任何标签的分割,然后是血清或血浆部分204SP(图2)的分类。所有这些任务都可以利用执行像素级分类的SCNN 460完成。给定包括像素数据的输入图像数据集合,SCNN 460可操作为基于如图像的每个像素的像素数据值所指示的图像的每个像素的局部外观,将分类指数分配给图像的每个像素。提取的像素指数信息可以由SCNN 460进一步处理以确定最终的HILN分类和/或最终的HILN分类指数。在一些实施例中,分类指数可包括21个血清类别,包括未离心类别、正常类别和19个HIL类别/子类(指数),如下文更详细地描述的那样。分类和/或分类指数可以包括不同的、更少或更多的类别和子类
如上所述,确定HIL分类或分类指数的挑战可能源自H、I和L类别的每个子类中的小外观差异。如上所述,附加的挑战源自不同的样本容器大小和形状以及可以发生的各种样本容器标签遮挡。例如,样本容器标签可以阻挡样本容器中样本的视图或者可以在样本容器的背面生成阴影区域,可以使样本的外观变暗。
为了克服这些挑战,SCNN 460可以包括(非常)深的语义分割网络(DSSN)462,其在一些实施例中包括多于100个操作层。拥有这样的深网络的益处在于,它可以增加网络接收域(field),利用更多的上下文信息而不是小的局部区域。此外,密集连接的网络将特征从低级连结(concatenate)到高级层,以及从编码连结到解码区域。通过这样做,与被配置用于相同任务的其他卷积神经网络相比,可以更容易地训练DSSN 462以从图像识别更详细的特征。SCNN 460可以包括其他神经网络。
为了克服可能由样本容器类型(例如,大小和/或形状)的变化引起的外观差异,SCNN 460可以在DSSN 462的前端处包括小容器分割网络(SCN)464。SCN 464可以被配置为并且可操作为确定容器类型和容器边界信息466。容器类型和容器边界信息466可以经由附加输入通道被输入到DSSN 462,并且在一些实施例中,SCNN 460可以提供作为输出的确定的容器类型和边界468。在一些实施例中,SCN 464可以具有与DSSN 462类似的网络结构,但是更浅(即,具有少得多的层)。
为了克服可能由(一个或多个)样本容器标签引起的外观差异,可以配置网络损失功能以支持多标签损失。即,在一些已知的网络中,对于每个图像像素可以输出仅一个值。在SCNN 460中,可以为每个图像像素输出两个值——一个用于血清类别并且一个用于样本容器标签类别。样本容器标签类别的值可以从0(意味着无样本容器标签)变动到3(意味着像素可能被三层标签覆盖)。通过将两个值组合,SCNN 460能够更好地确定一个或多个样本容器标签后遮盖的样本流体区域的血清或血浆部分类别。
如图4中所示,SCNN 460的输出可以是预测的分类(或分类指数)470,在一些实施例中,其可以包括未离心类别470U、正常类别470N、溶血类别470H、黄疸类别470I和脂血类别470L(或相应的类别指数)。在一些实施例中,溶血类别470H可包括子类别或指数H0、H1、H2、H3、H4和H5。黄疸类别470I可以包括子类别或指数I0、I1、I2、I3、I4和I5。脂血类别470L可以包括子类别L0、L1、L2和L3。在其他实施例中,溶血类别470H、黄疸类别470I和/或脂血类别470L中的每个可以具有其他数量的子类别或指数。
预测的分类(或分类指数)470的结果可以被转发到如参考验证子***340(图3A)所描述的验证网络342(图3A)或者转发到如参考验证子***350(图3B)所描述的指数验证网络352。SCNN 460可以采用在计算机124和/或172上运行的神经网络,诸如卷积神经网络,以生成预测的分类或分类指数470。
图4中描绘的指数验证网络352可包括未离心验证网络472,其验证假设网络458的如下预测:样本104尚未被分离成血清或血浆部分204SP和沉降的血液部分204SB。指数验证网络352可以包括多个个体验证网络,其中可以训练每个个体验证网络以验证个体分类指数。例如,可以单独地训练第一个体验证网络以验证H2,并且可以单独地训练第二个体验证网络以验证H3。在一些实施例中,每个个体验证网络可以是神经网络,诸如卷积神经网络。在一些实施例中,个体验证网络可以是DenseNet和/或ResNet网络。
在图4中所描绘的实施例中,由假设网络458生成的每个分类指数可以具有对应的验证网络。例如,如果假设网络458预测样本104的H4分类指数,则可以通过关于H4具体训练的溶血指数验证网络352A内的网络来处理像素数据和/或图像数据集合。指数验证网络352然后可以分析像素数据和/或图像数据集合以验证预测的H4分类指数或使预测的H4分类指数无效(nullify)。
图5示出了DSSN 462的架构500和实施例。可以使用任何合适的科学计算框架、程序或工具箱来对DSSN 462进行编码,任何合适的科学计算框架、程序或工具箱诸如例如是可从Berkley Vision和Learning Center(BVLC)获得的Caffe、学习算法的Montreal研究所开发的Theano Python库、TensorFlow、Torch以及诸如此类。架构500可以包括例如如图5中所示布置的以下操作层:两个卷积(CONV)层501和547;十一个密集块层DB4 503、DB5 507、DB7 511、DB10 515、DB12 519、DB15 523、DB12 527、DB10 531、DB4 535、DB5 539和DB4543;五个向下过渡层TD 505、TD 509、TD 513、TD 517和TD 521;五个向上过渡层TU 525、TU529、TU 533、TU 537和TU 541,以及完全连接的层545,其中输出分类指数470。可以使用其他数量、类型和/或布置的层。
在一些实施例中,每个密集块层DB4 503、535和543可包括四个密集层。密集块层DB5 507和539中的每个可以包括五个密集层。密集块层DB7 511可以包括七个密集层。密集块层DB10 515和531中的每个可以包括十个密集层。密集块层DB12 519和527中的每个可以包括十二个密集层,并且密集块层DB15 523可以包括十五个密集层。在一些实施例中,每个密集层可以包括批归一化操作、ReLU层以及3×3卷积层,具有丢弃p = 0.2,其中第一密集层接收输入并输出多个像素标签图,这些像素标签图被连结到输入。然后,第二密集层接收连结的输出作为其输入并输出多个像素标签图,这些像素标签图再次被连结到先前的像素标签图。可以对密集块层中的每个密集层重复这一点。可以使用其他数量和/或类型的密集层。
在一些实施例中,每个向下过渡层TD 505、TD 509、TD 513、TD 517和TD 521可包括批归一化操作,其后是ReLu层,其后是具有丢弃p = 0.2的3x3卷积层,其后是2x2最大池化(pooling)层。请注意,根据导致最佳结果的实验测试运行,丢弃概率可以从0到1变动。在一些实施例中,在层TD 505的输出处的像素标签图的数量可以是112,在TD 509的输出处可以是192,在TD 513的输出处可以是304,在TD 517的输出处可以是464,并且在TD 521的输出处可以是656。在其他实施例中,可以使用其他类型的向下过渡层和/或可以输出其他数量的像素标签图。在一些实施例中,每个向上过渡层TU 525、TU 529、TU 533、TU 537和TU541可以包括具有跨度(stride)2的3×3转置的卷积层。可以使用其他向上过渡层参数。
在一些实施例中,在DB15 523的输出处的像素标签图的数量可以是896,在DB12527的输出处可以是1088,在DB10 531的输出处可以是816,在DB4 535的输出处可以是578,在DB5 539的输出处可以是384,并且在DB4 543的输出处可以是256。在其他实施例中,可以输出其他数量的像素标签图。
现在参考图6,其示出了描绘表征样本(例如样本104)的方法600的流程图。方法600包括在602处捕捉样本的一个或多个图像,该一个或多个图像包括样本的血清或血浆部分(例如,血清或血浆部分204SP),捕捉生成像素数据。方法600包括,在604处,使用在计算机(例如,计算机124和/或172)上执行的第一网络(例如,SCNN 460)来处理样本的一个或多个图像的像素数据,以预测血清或血浆部分的分类,其中分类包括溶血、黄疸和脂血。该方法包括在606处使用一个或多个验证网络(例如,验证网络342)来验证预测的分类。可以执行类似的方法来验证预测的分类指数。
如本文中所使用的,卷积层是可以将过滤器(也称为内核)应用于输入图像数据(例如,像素强度值)以输出可以指示在输入图像数据中的某些空间位置处检测到某些具体类型的颜色或特征的激活图(activation map)的处理步骤(例如,从应用第一卷积层后的简单曲线到应用若干卷积层后的稍微更复杂的特征)。
最大池化层是如下处理步骤:可以应用过滤器以生成具有在从卷积层接收的一个或多个激活图中出现的最大像素值的输出激活图。
ReLU(矫正线性单元)层是如下处理步骤:可以将非线性函数应用于所接收的激活图中的所有值,导致例如所有负激活值被分配零的值。
完全连接的层是如下处理步骤,聚合先前的激活图(其中每个激活图都可以指示对较低水平特征的检测)以指示对较高水平特征的检测。
softmax层通常是最终处理步骤,其输出突出显示或标识来自图像特征的类别的一个或多个图像的最可能特征的概率分布。确定HIL分类指数的另一个挑战是使SCNN 460输出同质结构。也就是说,挑战在于避免将血清或血浆部分分类为不同HIL类别的组合。之所以可能发生这种情况,是因为语义分割网络中的损失函数可能单独地评估每个像素。尽管DSSN 462响应于大的接收域而使用上下文信息,但是否则可能不存对针对样本容器的相同图像的每个像素的输出同质类别的限制。
尽管在此参考具体实施例描述了本公开,但是本公开并不旨在限于所描述的细节。相反,在不脱离本公开的情况下,可以在本公开的等同物的范围内在细节上进行各种修改。

Claims (21)

1.一种表征样本的方法,包括:
捕捉所述样本的一个或多个图像,所述一个或多个图像包括所述样本的血清或血浆部分,所述捕捉生成像素数据;
使用在计算机上执行的第一网络来处理所述样本的所述一个或多个图像的像素数据以预测所述血清或血浆部分的分类,其中所述分类包括溶血、黄疸和脂血;和
使用一个或多个验证网络验证预测的分类。
2.根据权利要求1所述的方法,还包括:
响应于所述第一网络预测所述样本的溶血分类,通过关于溶血训练的验证网络来验证所述预测的分类;
响应于所述第一网络预测所述样本的黄疸分类,通过关于黄疸训练的验证网络来验证所述预测的分类;和
响应于所述第一网络预测所述样本的脂血分类,通过关于脂血训练的验证网络来验证所述预测的分类。
3.根据权利要求1所述的方法,其中:
处理像素数据包括预测溶血、黄疸和脂血中的至少一种的分类指数;和
验证所述预测的分类包括使用关于预测的分类指数训练的一个或多个指数验证网络来验证所述预测的分类指数。
4.根据权利要求1所述的方法,其中:
处理像素数据包括预测溶血分类指数;和
验证所述预测的分类包括使用关于所述预测的溶血分类指数训练的指数验证网络来验证所述预测的溶血分类指数。
5.根据权利要求1所述的方法,其中:
处理像素数据包括预测黄疸分类指数;和
验证所述预测的分类包括使用关于所述预测的黄疸分类指数训练的指数验证网络来验证所述预测的黄疸分类指数。
6.根据权利要求1所述的方法,其中:
处理像素数据包括预测脂血分类指数;和
验证所述预测的分类包括使用关于所述预测的脂血分类指数训练的指数验证网络来验证所述预测的脂血分类指数。
7.根据权利要求1所述的方法,其中,所述分类还包括正常分类。
8.根据权利要求7所述的方法,还包括使用关于正常分类训练的验证网络来验证所述正常分类。
9.根据权利要求1所述的方法,其中,使用第一网络处理所述样本的所述一个或多个图像的像素数据包括使用分割网络来处理所述样本的所述一个或多个图像的像素数据。
10.根据权利要求1所述的方法,其中,使用第一网络处理所述样本的所述一个或多个图像的像素数据包括使用分类网络来处理所述样本的所述一个或多个图像的像素数据。
11.根据权利要求1所述的方法,其中,处理像素数据包括:
使用深度语义分割网络标识所述样本中的血清或血浆部分;和
至少部分地基于由所述血清或血浆部分的所述像素数据表示的颜色,使用所述深度语义分割网络预测所述样本的所述血清或血浆部分的分类指数。
12.根据权利要求1所述的方法,其中,所述第一网络包括包括至少十一个密集块层的架构。
13.根据权利要求1所述的方法,还包括响应于使用所述一个或一个验证网络来验证所述预测的分类而生成置信度。
14.根据权利要求1所述的方法,还包括响应于使用一个或多个验证网络来验证所述预测的分类而生成置信度,以及响应于所述置信度在预定水平之下而生成信号。
15.根据权利要求1所述的方法,其中,所述一个或多个验证网络包括一个或多个卷积神经网络。
16.一种质量检查模块,包括:
多个图像捕捉设备,可操作为从其中包含样本的血清或血浆部分的样本容器的一个或多个视点捕捉一个或多个图像;和
耦合到所述多个图像捕捉设备的计算机,所述计算机被配置和可操作为:
捕捉所述样本的一个或多个图像,所述一个或多个图像包括所述样本的血清或血浆部分,所述捕捉生成像素数据;
使用在所述计算机上执行的第一网络来处理所述样本的所述一个或多个图像的像素数据以预测所述血清或血浆部分的分类,其中所述分类包括溶血、黄疸和脂血;和
使用在所述计算机上执行的一个或多个验证网络验证预测的分类。
17.根据权利要求16所述的质量检查模块,其中,所述计算机还被配置并且可操作为处理像素数据以预测所述血清或血浆部分的正常分类。
18.根据权利要求16所述的质量检查模块,其中,所述计算机被配置并且可操作为:
处理像素数据以预测分类指数;和
使用关于所述预测的分类指数训练的一个或多个验证网络来验证所述预测的分类指数。
19.根据权利要求16所述的质量检查模块,其中,所述计算机被配置并且可操作为:
响应于所述第一网络预测所述样本的溶血分类,通过关于溶血训练的验证网络来验证所述预测的分类;
响应于所述第一网络预测所述样本的黄疸分类,通过关于黄疸训练的验证网络来验证所述预测的分类;和
响应于所述第一网络预测所述样本的脂血分类,通过关于脂血训练的验证网络来验证所述预测的分类。
20.根据权利要求16所述的质量检查模块,其中,所述一个或多个验证网络包括一个或多个卷积神经网络。
21.一种样本测试装置,包括:
轨道;
载体,可在所述轨道上移动并被配置为包含样本容器,所述样本容器在其中包含样本的血清或血浆部分;
多个图像捕捉设备,被布置在所述轨道周围并且可操作为从所述样本容器和所述样本的所述血清或血浆部分的一个或多个视点捕捉一个或多个图像;和
计算机,耦合到所述多个图像捕捉设备,所述计算机被配置和可操作为:
捕捉所述样本的一个或多个图像,所述一个或多个图像包括所述样本的血清或血浆部分,所述捕捉生成像素数据;
使用在所述计算机上执行的第一网络来处理所述样本的所述一个或多个图像的像素数据以预测所述血清或血浆部分的分类,其中所述分类包括溶血、黄疸和脂血;和
使用在所述计算机上执行的一个或多个验证网络验证预测的分类。
CN201980061643.8A 2018-09-20 2019-09-19 用于样本分类的假设与验证网络和方法 Pending CN112689763A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862734007P 2018-09-20 2018-09-20
US62/734007 2018-09-20
PCT/US2019/052014 WO2020061370A1 (en) 2018-09-20 2019-09-19 Hypothesizing and verification networks and methods for specimen classification

Publications (1)

Publication Number Publication Date
CN112689763A true CN112689763A (zh) 2021-04-20

Family

ID=69887852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061643.8A Pending CN112689763A (zh) 2018-09-20 2019-09-19 用于样本分类的假设与验证网络和方法

Country Status (5)

Country Link
US (1) US20210333298A1 (zh)
EP (1) EP3853616A4 (zh)
JP (1) JP7203206B2 (zh)
CN (1) CN112689763A (zh)
WO (1) WO2020061370A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230194555A1 (en) * 2021-12-20 2023-06-22 Instrumentation Laboratory Co. Microfluidic image analysis system
CN116704248A (zh) * 2023-06-07 2023-09-05 南京大学 一种基于多语义不平衡学习的血清样本图像分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014153423A2 (en) * 2013-03-19 2014-09-25 Cireca Theranostics, Llc Method and system for analyzing biological specimens by spectral imaging
CN105354611A (zh) * 2015-10-08 2016-02-24 程涛 一种基于人工神经网络的最佳质量图像扫描方法及***
CN106250866A (zh) * 2016-08-12 2016-12-21 广州视源电子科技股份有限公司 基于神经网络的图像特征提取建模、图像识别方法及装置
CN107430693A (zh) * 2015-03-13 2017-12-01 北京市商汤科技开发有限公司 用于车辆分类和验证的设备和***
CN107424159A (zh) * 2017-07-28 2017-12-01 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
WO2018089938A1 (en) * 2016-11-14 2018-05-17 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2885823B2 (ja) 1989-04-11 1999-04-26 株式会社豊田中央研究所 視覚認識装置
JPH08315144A (ja) * 1995-05-16 1996-11-29 Hitachi Ltd パターン分類装置及びそのパターン分類方法
JPH09120455A (ja) * 1995-10-26 1997-05-06 Meidensha Corp ニューラルネットワークによる特徴識別方法
JPH09133687A (ja) * 1995-11-13 1997-05-20 Meiji Denki Kogyo Kk 採血試験管における血清量測定装置
US6549661B1 (en) 1996-12-25 2003-04-15 Hitachi, Ltd. Pattern recognition apparatus and pattern recognition method
JPH10302067A (ja) * 1997-04-23 1998-11-13 Hitachi Ltd パターン認識装置
JP4900013B2 (ja) 2007-04-16 2012-03-21 富士通セミコンダクター株式会社 検証方法及び検証装置
JP5597248B2 (ja) 2009-04-03 2014-10-01 バッテル メモリアル インスティチュート 生物学的及び化学的収集及び検出
CN106462724B (zh) 2014-04-11 2019-08-02 北京市商汤科技开发有限公司 基于规范化图像校验面部图像的方法和***
CN109072304A (zh) 2016-04-11 2018-12-21 新加坡科技研究局 用于准确预测化合物诱导的肝损伤的高通量法
GB2552570B (en) 2016-04-22 2020-12-16 Innospec Ltd A method of treating hair using a composition comprising an alpha-substituted aldehyde
WO2018022280A1 (en) 2016-07-25 2018-02-01 Siemens Healthcare Diagnostics Inc. Systems, methods and apparatus for identifying a specimen container cap
CN111278348A (zh) 2017-06-09 2020-06-12 株式会社Ai医疗服务 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援***、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014153423A2 (en) * 2013-03-19 2014-09-25 Cireca Theranostics, Llc Method and system for analyzing biological specimens by spectral imaging
CN107430693A (zh) * 2015-03-13 2017-12-01 北京市商汤科技开发有限公司 用于车辆分类和验证的设备和***
CN105354611A (zh) * 2015-10-08 2016-02-24 程涛 一种基于人工神经网络的最佳质量图像扫描方法及***
CN106250866A (zh) * 2016-08-12 2016-12-21 广州视源电子科技股份有限公司 基于神经网络的图像特征提取建模、图像识别方法及装置
WO2018089938A1 (en) * 2016-11-14 2018-05-17 Siemens Healthcare Diagnostics Inc. Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen
CN107424159A (zh) * 2017-07-28 2017-12-01 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法
CN107909566A (zh) * 2017-10-28 2018-04-13 杭州电子科技大学 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230194555A1 (en) * 2021-12-20 2023-06-22 Instrumentation Laboratory Co. Microfluidic image analysis system
US11940451B2 (en) * 2021-12-20 2024-03-26 Instrumentation Laboratory Co. Microfluidic image analysis system
CN116704248A (zh) * 2023-06-07 2023-09-05 南京大学 一种基于多语义不平衡学习的血清样本图像分类方法

Also Published As

Publication number Publication date
JP7203206B2 (ja) 2023-01-12
EP3853616A4 (en) 2021-11-17
WO2020061370A1 (en) 2020-03-26
EP3853616A1 (en) 2021-07-28
JP2022501595A (ja) 2022-01-06
US20210333298A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
CN110573859B (zh) 用于使用卷积神经网络的hiln表征的方法和装置
CN108738338B (zh) 用于检测样本中的干扰物的方法和装置
CN108603817B (zh) 适于从多个侧视图标识样本容器的方法和装置
US11313869B2 (en) Methods and apparatus for determining label count during specimen characterization
JP7324757B2 (ja) 訓練が低減されたニューラルネットワークを使用したバイオ流体検体の特徴付けのための方法および装置
EP3610270B1 (en) Methods and apparatus for label compensation during specimen characterization
US11927736B2 (en) Methods and apparatus for fine-grained HIL index determination with advanced semantic segmentation and adversarial training
US11763461B2 (en) Specimen container characterization using a single deep neural network in an end-to-end training fashion
CN112673261B (zh) 针对血清和血浆采样两者利用深度适应网络的用于hiln确定的方法和装置
JP7203206B2 (ja) 標本分類のための仮説および検証ネットワークおよび方法
JP7177917B2 (ja) 視覚化分析装置および視覚的学習方法
EP4052162A1 (en) Methods and apparatus for protecting patient information during characterization of a specimen in an automated diagnostic analysis system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045684

Country of ref document: HK