CN110573859A - 用于使用卷积神经网络的hiln表征的方法和装置 - Google Patents

Abstract

一种在被一个或多个标签遮蔽的区域中表征样本的血清和血浆部分的方法。该表征可以被用于确定样本的血清或血浆部分的溶血（H）、黄疸（I）和/或脂血（L）或者正常（N）。该方法包括捕获包括血清或血浆部分的有标签的样本容器的一个或多个图像，利用卷积神经网络来处理一个或多个图像以提供溶血（H）、黄疸（I）和/或脂血（L）或者正常（N）的确定。在另外的实施例中，卷积神经网络可以提供N'类分割信息。在其他方面一样，描述了被适配成执行该方法的质量检查模块和测试装置。

Description

用于使用卷积神经网络的HILN表征的方法和装置

相关申请的交叉引用

本申请要求2017年4月13日提交的美国临时申请序列号62/485,254的优先权，该临时申请的内容通过引用整体地结合于本文中。

技术领域

本公开涉及用于表征样本容器和样本的方法和装置，并且更具体地涉及用于确定样本是否包括溶血（H）、黄疸（I）和/或脂血（L）或者是否正常（N）的方法和装置。

背景技术

自动化测试***可以被用来使用一种或多种试剂进行临床化学或化验测试，以识别样本中的分析物或其他成分，该样本诸如尿液、血清、血浆、间质液、脑脊髓液等等。出于方便和安全的原因，这些样本可以包含在样本容器（例如，血液收集管）内。化验或测试反应会生成各种改变，可以读取和/或操控这些改变以确定样本中存在的分析物或其他成分的浓度。这样的样本容器可以具有在其上提供的一个或多个标签。（一个或多个）标签可以是制造商的标签和/或包括识别信息的标签，该识别信息有助于样本和可能要在其上实行的测试的识别。在大多数情况下，至少一个标签包括诸如条形码（在下文中为“条形码标签”）之类的识别信息。例如，（一个或多个）标签可以由具有粘性背衬的纸制成。在一些情况下，可以将凝胶分离物（gel separator）添加于样本容器，以有助于在离心期间将沉降的血液部分与血清或血浆部分分离。

自动化测试技术方面的改善伴随着预分析样本制备和处理操作的对应进步，诸如通过自动化***进行分选、批量制备、使样本容器离心以分离样本成分、去除盖子以便于样本进入、等分样本制备以及针对HILN的预筛查，该自动化***可以是实验室自动化***（LAS）的部分。LAS可以将样本容器中的样本自动传输到一个或多个预分析样本处理站，以及到包含临床化学分析仪和/或化验仪器（在下文中统称为“分析仪”）的一个或多个分析仪站。

这些LAS可以同时处置许多不同的样本，并且可以使用条形码标签以供跟踪和路由。条形码标签可以包含可以对可能与人口统计信息相关的登记号的代码，该人口统计信息可以与测试次序和/或其他信息一起输入到医院的实验室信息***（LIS）中，其中LIS与LAS对接。操作者可以将有标签的样本容器放置到与LAS***上，并且可以自动地路由样本容器以供一次或多次预分析操作；全部的这些都可能在样本实际经受通过可能是LAS的部分的一个或多个分析仪进行的临床分析或化验之前。

在分馏和随后的预分析处理之后，可以将样本容器传输到适当的分析仪，该分析仪可以经由抽吸从样本容器中提取血清或血浆部分，并且在反应容器（例如，比色皿或其他容器）中将血清或血浆部分与一个或多个试剂组合。例如，然后可以通常使用询问辐射束或者通过使用光度或荧光吸收读数等等来实行分析测量。该测量允许终点或速率值的确定，从中可以使用公知的技术来确定分析物或其他成分的浓度。

令人遗憾的是，由于患者状况或样品处理，样本中存在任何干扰物（例如，H、I和/或L）都有可能不利地影响从一个或多个分析仪获得的分析物或成分测量的测试结果。例如，样本中存在溶血（其可能与患者疾病状态无关）可能引起对患者疾病状况的不同解释。此外，样本中存在黄疸和/或脂血也可能引起对患者疾病状况的不同解释。

在一些现有技术的***中，可以由熟练的实验室技术人员视觉检查样本的血清或血浆部分的完整性，并且对H、I和/或L的程度（例如，通过分配指数）或指示为是正常的（N）进行评定。这可能涉及针对已知的标准来审查血清或血浆部分的颜色。正常（N）血清或血浆部分具有浅黄色至浅琥珀色的颜色。含有溶血（H）的血清或血浆部分具有微红的颜色。含有黄疸（I）的血清或血浆部分由于胆红素增加而具有深黄色颜色，并且含有脂血（L）的血清或血浆部分具有发白或乳白色外观。取决于颜色，实验室技术人员分配了干扰物类型和指数值。然而，人、甚至技术人员的这样的视觉检查是非常主观、劳动密集的，并且充满了人为错误的可能性。

因为人工检查包括以上所列的问题，所以已经努力不使用实验室技术人员视觉检查，而是通过使用自动化的机器视觉检查装置来评估样本完整性，其中这样的评估在预分析测试（在下文中为“预筛查”）期间进行。预筛查涉及自动化检测通过分馏（例如，通过离心）从全血获得的血清或血浆部分中的干扰物，诸如H、I和/或L。

然而，在一些情况下，以上所述标签中的一个或多个可以被直接提供给（例如，粘附到）样本容器。这样的（一个或多个）标签可以部分地遮挡和遮蔽样本的某些横向视点，使得可能有一些取向并不为视觉观察血清或血浆部分提供清楚机会。因此，这样的预筛查的自动化包括了例如以允许对H、I和/或L或N进行自动化预筛查这样的方式来对样本进行旋转定向。

例如，在一些***中，诸如Miller的题为“Methods And Apparatus ForAscertaining Interferents And Physical Dimensions in Liquid Samples AndContainers To Be Analyzed By A Clinical Analyzer”的美国专利号9,322,761中描述的那些，旋转样本容器以找到未被标签遮蔽的视窗，在这之后实施成像。

在其他***中，诸如在Park等人的WO2016/133,900中描述的那些***中，从多个视点对样本容器和样本进行成像，并且利用基于模型的***进行处理，从而不需要样本容器的旋转。

在某些情况下，可能只有一小部分血清或血浆部分是可见的，使得对血清或血浆部分进行的任何H、I和/或L或N读数都不会涉及高置信度水平。此外，这样的***可能是复杂的，并且图像数据的处理可能在计算上是繁重的。

因此，对于被适配成表征样本的血清或血浆部分的鲁棒且有效的方法和装置存在未满足的需求，以便能够确定存在H、I和/或L或N。

发明内容

根据第一方面，提供了一种表征方法。该表征方法包括：捕获包括样本的血清或血浆部分的样本容器的多个图像；将来自多个图像的图像数据输入到卷积神经网络；以及利用卷积神经网络来处理该图像数据；以及从卷积神经网络输出：作为溶血、黄疸、脂血和正常中的一种或多种的血清或血浆部分的分类。

根据另一方面，提供了一种质量检查模块，其被适配成确定样本容器内包含的样本中的干扰物的存在。该质量检查模块包括：图像捕获设备，其被配置成捕获包含样本的血清或血浆部分的样本容器的多个图像；以及计算机，其耦合到图像捕获设备，该计算机被配置且能够***作以：将来自多个图像的图像数据输入到卷积神经网络，并且利用卷积神经网络来处理该图像数据，以及从卷积神经网络输出作为溶血、黄疸、脂血和正常中的一种或多种的血清或血浆部分的分类。

在另一方面，提供了一种样本测试装置，其被适配成确定样本容器内包含的样本中存在干扰物。该样本测试装置包括：轨道；载体，其可在轨道上移动，并且被配置成包含含有样本的血清或血浆部分的样本容器；图像捕获设备，其被布置在轨道周围，并且被配置成从多个视点捕获样本容器和样本的血清或血浆部分的多个图像；以及计算机，其耦合到图像捕获设备，该计算机被配置并且能够操作以：将来自多个图像的图像数据输入到卷积神经网络，并且利用卷积神经网络来处理该图像数据，以及从卷积神经网络输出作为溶血、黄疸、脂血和正常中的一种或多种的血清或血浆部分的分类。

通过说明许多示例实施例和实现方式，包括预期用于执行本发明的最佳方式，本公开的仍其他方面、特征和优点将根据以下描述是容易地显而易见的。本发明还可以具有其他和不同的实施例，并且可以在各个方面修改其若干细节，所有这些都不脱离本发明的范围。本公开意图覆盖落入所附权利要求范围内的所有修改、等同物和替换方案。

附图说明

下面描述的附图是出于说明性目的的，并且不一定按比例绘制。因此，附图和描述要被视为在本质上是说明性的，而不要被视为限制性的。附图不意图以任何方式限制本发明的范围。

图1图示了根据一个或多个实施例的包括被配置成执行HILN检测方法的一个或多个质量检查模块的样本测试装置的顶部示意图。

图2图示了包括具有含有干扰物的血清或血浆部分的分离样本的样本容器的侧面视图，并且其中样本容器包括在其上的标签。

图3A图示了包括标签、包括含有干扰物的血清或血浆部分的分离样本以及其中的凝胶分离物的样本容器的侧面视图。

图3B图示了包括标签、在血清或血浆部分中含有干扰物的分离样本、凝胶分离物的样本容器的侧面视图，并且其中样本容器被示出为在直立取向中被保持在保持器中。

图4A图示了根据一个或多个实施例的质量检查模块（其中顶板被移除）的示意性顶视图，该质量检查模块包括多个视点，并且被配置成捕获和分析多个背光图像以使得能够实现确定干扰物的存在。

图4B图示了根据一个或多个实施例的沿图4A的剖面线4B-4B截取的图4A的质量检查模块（其中前围护壁被移除）的示意性侧面视图。

图5A图示了根据一个或多个实施例的包括CNN的质量检查模块的功能组件的框图，该质量检查模块被配置成确定样本中存在H、I和/或L或者N。

图5B图示了根据一个或多个实施例的另一包括CNN的质量检查模块的功能组件的框图，该另一质量检查模块包括被配置成确定存在N类溶血、N类黄疸和/或N类脂血或者N。

图5C图示了根据一个或多个实施例的另一质量检查模块的功能组件的框图，该框图示出了被配置成确定存在H1、H2、H3、I1、I2、I3、L1、L2、L3或者N的CNN的一种架构。

图5D图示了根据一个或多个实施例的另一包括CNN的质量检查模块的功能组件的框图，该另一质量检查模块包括被配置成确定存在N'类分割，连同N类溶血、N类黄疸和/或N类脂血或者N一起。

图5E图示了根据一个或多个实施例的质量检查模块的功能组件的框图，该框图示出了被配置成包括两个分支的CNN的架构，第一分支要确定N'类分割，并且第二分支要确定N类HILN。

图5F图示了根据一个或多个实施例的另一质量检查模块的功能组件的框图，该框图示出了三分支CNN架构的架构，其被配置成确定N'类分割、N类HILN和n类盖子类型。

图5G图示了根据一个或多个实施例的另一包括CNN的质量检查模块的功能组件的框图，该另一质量检查模块被配置成确定4类HILN。

图6A图示了根据一个或多个实施例的来自第一视点的第一图像。

图6B图示了根据一个或多个实施例的来自第二视点的第二图像。

图6C图示了根据一个或多个实施例的来自第三视点的第三图像。

图6D图示了根据一个或多个实施例的图示了各个视点的示意性顶视图。

图7是根据一个或多个实施例的确定样本中的H、I和/或L或者N的方法的流程图。

具体实施方式

在对样品容器中包含的样品进行预分析表征（预筛查）时，诸如在质量检查模块处，提供了一种确定血清或血浆部分中存在干扰物（诸如H、I和/或L）或者N（在下文中为“HILN”）的方法。该方法可以仅确定HILN或N类H（例如，H1、H2、H3或更多）、N类I（例如，I1、I2、I3或更多）和/或N类L（例如，L1、L2、L3或更多）或者N。此外，该方法可以对样本容器和样本的各个区域进行分类（在下文中为“分割”），诸如血清或血浆部分、沉降的血液部分、凝胶分离物（如果使用的话）、标签、样本容器（例如，管）、空气、盖子。保持器或背景可能也被分类。血清和血浆部分与包括一个或多个标签的区域的区分是特别令人烦恼的问题，因为一个或多个标签可能以不同的程度环绕样品容器。因此，一个或多个标签可能遮蔽一个或多个视图，使得可能难以获得血清或血浆部分的清晰视图。

因此，由于来自一个或多个标签的干扰，血清或血浆部分的分类可能是相当具有挑战性的，标签的放置从一个样本容器到下一个被预筛查的样本容器可能显著地有所不同。特别地，考虑到一个或多个标签可能出现在样本容器的背侧上，并且因此影响在前侧处接收到的光透射，由一个或多个标签引起的遮蔽可能严重地影响诸如来自各个视点的光谱响应。

此外，期望质量检查模块和方法在计算上是有效的。因此，考虑到上述挑战，在第一广泛方面，本公开的实施例提供了被配置成使用卷积神经网络（CNN）来确定HILN的存在的方法、装置和***。

对CNN的输入是多光谱、多曝光图像数据，可以对其进行合并和归一化，并且从一个或多个图像捕获设备获得。一个或多个图像捕获设备可以包括多个图像捕获设备，它们被布置和配置成从多于一个视点（例如，三个视点）捕获图像。在一些实施例中，训练CNN以识别被标签遮挡的区域，使得CNN可以更好地计及从表征HILN的任何视点来看的背面上的标签的存在。

因此，在其中存在标签遮蔽的情况下，血清或血浆区域的更有效的分类是可获得的，并且可以改善被标签遮挡的血清或血浆部分的那些区域的强度读数中的置信度。因此，可以从CNN输出对HILN和/或HIL的程度的经改善的确定

根据一个方面，该表征方法可以由质量检查模块来执行，并且在包括卷积神经网络（CNN）的样本测试***中执行。CNN可以包括包含卷积和池化的层，以提取特征，诸如血清或血浆部分及含标记区域的简单边缘、纹理和部分。诸如完全卷积层之类的顶层可以被用来提供各部分之间的相关性。可以将最后的连接层的输出馈送到解卷积层和SoftMax层，后者逐像素地（或每个块——包括nxn像素）产生有关每个像素或块是否包括HILN的输出。在一些实施例中，从CNN仅提供HILN的输出。在其他实施例中，CNN的输出可以是细粒化（fin-grained）的HILN，诸如H1、H2、H3、I1、I2、I3、L1、L2、L3或者N，使得对于存在的每种干扰物，还获得干扰物水平（指数）的估计。

在其他实施例中，可以提供分割输出和HILN输出的组合。输出可能由于CNN的多个分支。分支可以包括单独的卷积层以及解卷积和SoftMax层，其中一个分支可以专用于分割，并且另一个专用于HILN检测。还可以提供包括HILN、分割和盖子类型检测的多分支实施例。

定义

如本文中使用的“干扰物”意指在样本的血清或血浆部分中存在溶血（H）、黄疸（I）或脂血（L）中的至少一种。溶血（H）、黄疸（I）和脂血（L）在本文中统称为“HIL”。

“溶血”被定义为血清或血浆部分的状况，其中在处理过程中，红细胞被破坏，这导致血红蛋白从红细胞释放到血清或血浆部分中，使得血清或血浆部分呈现微红色彩。溶血程度可通过分配溶血指数来量化。

“黄疸”被定义为血液的状况，其中血清或血浆部分由胆汁色素（胆红素）的积累引起褪色，呈深黄色。黄疸程度可通过分配黄疸指数来量化。

“脂血”被定义为血液中存在异常高浓度的乳化脂肪，使得血清或血浆部分包括发白或乳白色外观。脂血程度可通过分配脂血指数来量化。

“正常”被定义为包括可接受的少量H、I和L的血清或血浆部分。

“血清或血浆部分”是血液的液体组分。它被发现位于在分馏（例如，通过离心）后的沉降血液部分上方。血浆和血清的凝血组分（主要是纤维蛋白原）含量不同。血浆是未凝结的液体，而血清指代已被允许在内源酶或外源组分的影响下凝结的血液血浆。

“沉降的血液部分”是从血清或血浆部分聚合并分离出来的一种堆积的半固体构成的血细胞，诸如白细胞（白血球）、红细胞（红血球）和血小板（凝血细胞）。在分馏后，在样本容器的底部部分发现沉降的血液部分，其在血清或血浆部分的下方。

“图像捕获设备”是能够捕获用于分析的像素化图像（例如，数字图像）的任何设备，诸如数码相机、CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体）、传感器阵列等等。

如本文中使用的“像素化图像”意指包括单个像素或像素分组的图像，诸如包括多于一个像素的超像素或图像块（块）。

“标签”被定义为样本容器外部表面上的区，其被适配成包含识别信息（即，标记）。标签可以是不透明的纸、塑料、涂料或者施加（例如，粘附）于样本容器的外表面的其他材料。标记可以是条形码、字母字符、数字字符或其组合。标签可以是制造商标签，或者可以是由抽血者或由可以包括条形码的后续样本处理实体后施加的标签。

“LA”被定义为液体-空气界面，并且是血清或血浆部分与血清或血浆部分上方的空气之间的分界线（横向查看）。

“SB”是血清-血液界面，其是血清或血浆部分与沉降的血液部分之间的分界线（横向查看）。

“TC”是管帽界面，其是在空气与盖子之间的界面处的分界线（横向查看）。

“HT”是管的高度，并且被定义为从管的最底部部分到盖子的底部的高度。

在没有使用凝胶分离物的情况下，“HSP”是血清或血浆部分的高度，并且被定义为从血清或血浆部分的顶部到沉降的血液部分的顶部（即，从LA到SB）的高度。

在使用凝胶分离物的情况下（图2B），“HSP”是血清或血浆部分的高度，并且被定义为从LA处的血清或血浆部分的顶部到SG处的凝胶分离物顶部（即，从LA到SG）的高度。

在没有使用凝胶分离物的情况下，“HSB”是沉降的血液部分的高度，并且被定义为从沉降的血液部分的底部到SB处的沉降的血液部分的顶部的高度。

在使用凝胶分离物的情况下，“HSB”是沉降的血液部分的高度，并且被定义为从沉降的血液部分的底部到BG处的凝胶分离物底部的高度。

在没有使用凝胶分离物的情况下，“HTOT”是样本的总高度，并且等于HSP+HSB。

在使用凝胶分离物的情况下，“HTOT”是样本的总高度，并且等于HSP+HSB+凝胶分离物的高度。

“Tw”是样本容器的壁厚。

“W”是样本容器的外部宽度。

“Wi”是样本容器的内部宽度。

“载体”是被配置成诸如在实验室自动化***（LAS）内支承和输送样本容器的设备。

“VSP”是样本容器中的血清或血浆部分的体积。

“VSB”是样本容器中的沉降的血液部分的体积。

如本文中使用的“溶血指数”意指基于存在于血清或血浆部分中的确定的溶血含量（程度或量）而被给予特定样本的等级。

如本文中使用的“黄疸指数”意指基于存在于血清或血浆部分中的确定的黄疸含量（程度或量）而被给予特定样本的等级。

如本文中使用的“脂血指数”意指基于存在于血清或血浆部分中的确定的脂血含量（程度或量）而被给予血清或血浆部分的等级。

如本文中使用的“卷积”意指学习和应用过滤器内核的处理步骤。在前向通过过程中，通过计算点积来将过滤器应用于输入图像数据。这导致了该过滤器的激活地图。因此，该网络对当该处理在输入图像数据中的某个空间方位处检测到某个特定类型的特征时激活的过滤器进行学习。

如本文中使用的“池化”意指实行非线性下采样的处理步骤。通常，应用最大池化。通过将最大滤波器应用于表示的非重叠子区域来实现最大池化。

如本文中使用的“解卷积”意指反向卷积。解卷积对应于朝目标图像尺寸学习的上采样步骤。

如本文中使用的“SoftMax”是被用于预测N个互斥类别中的单个类别的损耗。

如本文中使用的“ReLU”意指经整流的线性单元，并且是应用激活函数而不饱和的处理步骤。ReLU增加了决策函数和整个CNN的非线性属性，而不影响特定卷积层的接受字段。

如本文中使用的“LRN”意指局部响应归一化，并且是实现横向抑制的处理步骤。当使用ReLU以便克服无限激活时，该LRN层是有用的。因此，使用LRN，应用了归一化。

如上面讨论的，血清或血浆部分中存在一种或多种干扰物（H、I和/或L）可能影响对一个或多个分析仪在随后的测试（例如，临床化学或化验测试）中的结果的解释。因此，预筛查HILN的能力（诸如在离心后并且在通过一个或多个分析仪进行分析之前的第一可能实例处）可以有利地使分析不具有用于分析的适当质量的样本所浪费的时间最小化，可以避免或使错误的测试结果最小化，可以使患者测试结果延迟最小化，并且可以避免浪费患者样本。此外，在一个或多个实施例中，可以在其中发现H、I和/或L的预筛查之后发生补救措施。

如本文中描述的，样本可以被收集在诸如血液收集管之类的样本容器中，并且可以包括分馏后（例如，通过离心分离）的沉降的血液部分以及血清和血浆部分。在一些样本容器中，可以使用凝胶分离物，其在离心期间将其自身定位在沉降的血液部分与血清或血浆部分之间。凝胶分离物用作两个部分（液体和半固体、沉降的血细胞）之间的物理屏障，并且可以使其再混合最小化。样本容器可以具有不同的大小，并且因此可以被提供用于预筛查以及以许多不同的配置被提供给分析仪。例如，样本容器可以具有诸如13 mm×75 mm、13mm×100 mm、16 mm×100 mm和16 mm×125 mm之类的大小。可以使用其他合适的大小。

根据一个或多个实施例，包括CNN的表征方法可以提供一个或多个标签的更详细的表征。因此，在一方面，改善的表征方法提供了对被含标记物区域遮挡的血清或血浆部分的更好表征。因此，该方法可以在被（一个或多个）标签遮蔽了背光的区域中提供血清或血浆部分的更好分类。因此，可以提供改善的干扰物检测。该方法使用样本容器和血清或血浆部分的高动态范围（HDR）图像处理作为对CNN的输入。HDR成像涉及在使用多个光谱照明的同时捕获多次曝光。

在一个或多个实施例中，质量检查模块可以被配置成执行表征方法。可以在任何合适的区中提供质量检查模块，其中机器人机构（例如，手爪机器人）或轨道可以便于样本容器到其的输送。在一些实施例中，可以在样本测试装置的轨道上或沿着该轨道提供质量检查模块。如果样本的预筛查确定它是正常的（N）的话，轨道将样本运送到一个或多个分析仪上的一个或多个远处位置以供分析（例如，临床化学测试或化验）。

在一些实施例中，可以在轨道上直接提供质量检查模块，使得在驻留于轨道上时就能够完成针对干扰物的存在的测试（针对HILN进行测试）。在实施例中，样本容器可以被样本容器保持器（在下文中为“保持器”）保持在直立方位。保持器可以包括在捕获图像期间保持样本容器的指状物或其他合适的物品。

如果发现样本包含H、I和L中的一种或多种，则可以向操作者提供合适的通知，和/或可以将样本带离以实行修复从而精馏（rectify）H、I或L中的一种或多种，以用于进一步量化H、I或L从而更准确地测量干扰物存在的程度、以用于重新抽取，或者以用于进行其他处理。

本文中描述的方法是基于图像的，即，基于像素化图像（例如，数字图像）。在一些实施例中，可以通过被定位的多个图像捕获设备来获得图像，以便从多个视点（例如，多个横向视点）捕获图像。可以在质量检查模块处获得多个图像，并且可以在以具有不同标称波长的多个光谱提供照明（例如，背光照明）的同时，以多次曝光（即，曝光时间）捕获多个图像。例如，多个照明光谱可以包括红色（R）、绿色（G）、蓝色（B）、白色（W）、IR和近IR（NIR）的发射照明。在一些实施例中，仅使用R、G和B光源。照明可以包括背光照明，其中图像捕获设备位于一侧上，并且背光源位于样本容器的相对侧上。曝光时间可以基于所使用的照明强度和光谱以及图像捕获设备的特征而有所不同。可以针对每个光谱和针对每个图像捕获设备（针对不同视点）使用多种曝光时间（例如，4-8次不同曝光）。

在预处理操作中，对于在特定光谱（以不同的曝光时间）下的多个捕获图像的每个对应像素（或块，如果是逐块处理的话），可以选择表现出最佳图像强度的像素（或块）。表现出最佳图像强度的这些所选像素（或块）也可以被归一化。结果可以是多个合并且归一化的彩色图像数据集，针对每个不同的照明光谱（例如，R、G、B、W、IR和/或NIR）以及针对每个视点的一个图像数据集。这些数据集可以采用数据矩阵的形式而被提供为层，并且CNN对其进行操作以确定HILN。在一些实施例中，仅提供对HILN的确定作为来自CNN的输出。在其他实施例中，输出是N类HILN（例如，3类HILN）。在另外的实施例中，可以从CNN输出HILN和分割的组合。分割可以确定被分类为血清或血浆部分以及其他类别（例如，沉降的血液部分、标记、凝胶分离物、管、盖子和/或空气）的像素或块。

在HILN检测中，CNN可以输出关于HILN的类别的每像素数据（或每个块）数据。该数据可以作为直方图输出，并且被用来确定作为HILN的血清或血浆部分的总体表征。可以通过任何合适的手段来聚集逐像素地（或逐块地）输出的数据，以确定对血清或血浆部分的HILN的总体确定。HILN输出可以被用于做出进一步的决策，诸如拒绝样本、提供对样本的进一步处理、要求重新抽取样本、提供HILN表征中的不确定性水平的指示等等。

如上面讨论的，样本容器上存在一个或多个标签可能不利地影响所捕获的（一个或多个）图像的强度值。例如，从一个视点来看标签位于样本容器的背面上的存在可能会遮蔽可以传过血清或血浆部分的背光，并且从而影响在该视点处被图像捕获设备测量的图像强度。包括用于处理图像数据的CNN的本公开的实施例通过被预先训练来识别遮蔽区域来计及这样的（一个或多个）标签的存在。因此，本公开的实施例提供了对来自在该所选视点中发生标签遮挡的区的血清或血浆部分的图像强度的更好且更准确的评估。根据这种经改善的表征，可以提供HILN的更准确的确定。

此外，基于血清或血浆部分的更准确的表征，在一些实施例中可以提供对干扰物类型和/或干扰物水平（干扰物指数）的经改善的确定。在一些实施例中，CNN可以输出干扰物水平（指数）。例如，细粒化N类输出可能包括干扰物类型，以及还有某个干扰物水平的量度。例如，三个水平的溶血指数可能是来自CNN的可能结果（例如，H1、H2、H3等）。同样地，黄疸指数和脂血指数可能具有来自CNN的三个可能水平的可能结果（例如，I1、I2、I3和L1、L2和L3）。可以提供其他数量的干扰物水平。

在本文中将参照图1-7进一步描述本发明的表征方法、被配置成执行该表征方法的质量检查模块以及包括一个或多个质量检查模块的样本测试装置的另外的细节。

图1图示了样本测试装置100，其能够自动处理多个样本容器102（例如，参见图2-3B），每个样本容器包含样本212。在将样本容器102输送到围绕样本测试装置100布置的一个或多个分析仪（例如，分别为第一、第二和第三分析仪106、108和/或110）并由它们进行分析之前，可以在装载区105处提供的一个或多个机架104中提供样本容器102。可以使用更多或更少数目的分析仪。分析仪可以是临床化学分析仪和/或化验仪器等等的任何组合。样本容器102可以是任何合适的透明或半透明容器，诸如血液收集管、试管、样品杯、比色皿或能够容纳并允许包含在其中的样本212成像的其他透明或不透明玻璃或塑料容器。样本容器102的大小可以变化。

可以将样本212（图2-3B）提供给样本容器102中的样本测试装置100，该样本容器102可以用盖子214盖住。盖子214可以具有不同的类型（例如，红色、宝蓝色、浅蓝色、绿色、灰色、棕褐色、黄色或颜色组合），这在样本容器102被用于什么测试、在其中包括的添加物类型、容器是否包括凝胶分离物等等方面可能具有意义。可以使用其他颜色。在一个实施例中，盖子类型可以通过本文中描述的表征方法来确定。

样本容器102中的每一个都可以被提供有标签218，在标签上可以包括识别信息218i（即，标记），诸如条形码、字母、数字或其组合。在围绕样本测试装置100的各个位置处，识别信息218i可以是机器可读的。机器可读信息可以比标签材料（例如，白色纸）更暗（例如，黑色的），使得它可以被容易地成像。识别信息218i可以经由实验室信息***（LIS）147指示，或者可以以其他方式与例如患者的身份证明以及要在样本212上完成的测试或其他信息相关。可以在标签218上提供这样的识别信息218i，标签218可以粘附到管215的外部表面上或以其他方式提供在管215的外部表面上。在图2所描绘的实施例中，标签218可以不是一直围绕样本容器102延伸，或者全部都沿着样本容器102的长度，并且从所示的特定前视点来看，大部分的血清或血浆部分212SP是可见的（部分以虚线示出）并且未被标签218遮蔽。

然而，在一些实施例中，可以已经提供了多个标签218（诸如来自已经处理样本容器102的多个设施），并且它们可以在某种程度上相互重叠。例如，提供了两个标签（例如，制造商的标签和条形码标签），并且它们可以是重叠的，并且可以遮挡（遮蔽）一个或多个视点中的一些或全部视点。

因此，应当理解的是，在一些实施例中，尽管（一个或多个）标签218可以遮挡样本212的某个部分（被遮挡部分），但是样本212以及血清和血浆部分212SP的某个部分仍然可以从至少一个视点可见（未遮挡部分）。因此，根据本公开的另一方面，可以训练被配置成执行表征方法的CNN的实施例来识别被遮挡部分和未遮挡部分，使得可以提供经改善的HILN检测。

再次参考图2，样本212可以包括血清或血浆部分212SP和包含在管215内的沉降的血液部分212SB。空气216可以被提供在血清和血浆部分212SP上方，并且它们之间的分界线被定义为液体-空气界面（LA）。血清或血浆部分212SP与沉降的血液部分212SB之间的分界线被定义为血清-血液界面（SB）。空气216与盖子214之间的界面被定义为管帽界面（TC）。管的高度（HT）被定义为从管215的最底部部分到盖子214的底部的高度，并且可以被用于确定管大小。血清或血浆部分212SP的高度是（HSP），并且被定义为从血清或血浆部分212SP的顶部到沉降的血液部分212SB的顶部的高度。沉降的血液部分212SB的高度是（HSB），并且被定义为从沉降的血液部分212SB的底部到SB处的沉降的血液部分212SB的顶部的高度。HTOT是样本212的总高度，并且等于HSP加HSB。

在使用凝胶分离物313的情况下（图3A），血清或血浆部分212SP的高度是（HSP），并且被定义为从LA处的血清或血浆部分212SP的顶上到SG处的凝胶分离物313的顶部的高度，其中SG是血清或血浆部分212SP与凝胶分离物313之间的界面。沉降的血液部分212SB的高度是（HSB），并且被定义为从沉降的血液部分212SB的底部到BG处的凝胶分离物313的底部的高度，其中BG是沉降的血液部分212SB与凝胶分离物313之间的界面。HTOT是样本212的总高度，并且等于HSP加HSB加凝胶分离物313的高度。在每种情况下，Tw是壁厚，W是外部宽度，其也可以被用于确定样本容器102的大小，并且Wi是样本容器102的内部宽度。

更详细地，样本测试装置100可以包括基座120（例如，框架、地板或其他结构），轨道121可以安装在基座120上。轨道121可以是有轨轨道（例如，单轨或多轨），传送带、传送链、可移动平台的集合，或任何其他合适类型的传送机构。在一些实施例中，轨道121可以是圆形或任何其他合适的形状，并且可以是闭合轨道（例如，无端轨道）。在操作中，轨道121可以将样本容器102中的单个容器输送到载体122中围绕轨道121间隔开的各个位置。

载体122可以是无源的、非机动圆盘（puck），其可以被配置成在轨道121上运送单个样本容器102，或者可选地，可以是包括机载驱动电动机（诸如线性电动机）的自动化载体，其被编程为围绕轨道121移动并且在预编程位置处停止。可以使用载体122的其他配置。载体122可以均包括保持器122H（图3B），该保持器122H被配置成将样本容器102保持在限定的直立方位和取向中。保持器122H可以包括将样本容器102固定在载体122上的多个指状物或叶片弹簧，但是一些可以是可移动的或柔性的以适应不同大小的样本容器102。在一些实施例中，载体122可以在被从一个或多个机架104卸载之后从装载区105离开。装载区105可以提供双重功能，即在完成预筛查和/或分析之后还允许将样本容器102从载体122重新装载到装载区105。

机器人124可以被提供在装载区105处，并且可以被配置成从一个或多个机架104抓取样本容器102，以及将样本容器102装载到载体122上，诸如在轨道121的输入通道上。机器人124还可以被配置成将样本容器102从载体122重新装载到一个或多个机架104。机器人124可以包括一个或多个（例如，至少两个）机器人手臂或组件，它们能够X（横向）和Z（垂直——纸张外，如所示的），Y和Z，X、Y和Z，或r（径向）和θ（旋转）运动。机器人124可以是龙门式（gantry）机器人、关节式机器人、R-θ机器人或其他合适的机器人，其中机器人124可以装备有被定向、定大小和配置成拾取和放置样本容器102的机械手爪。

在被装载到轨道121上时，由载体122运送的样本容器102可以前进到第一预处理站125。例如，第一预处理站125可以是被配置成执行样本212的分馏的自动化离心机。承载样本容器102的载体122可以通过流入通道或其他合适的机器人转移到第一预处理站125。在离心之后，样本容器102可以在流出通道上离开，或者以其它方式由机器人移除，并且沿着轨道121继续。在所描绘的实施例中，接着可以将载体122中的样本容器102输送到质量检查模块130以执行预筛查，如将在本文中参考图4A-7进一步描述的。

质量检查模块130被配置成预筛查和执行本文中描述的表征方法，并且可以被配置成自动确定样本212中包含的H、I和/或L的存在以及可能的程度或者样本是否是正常的（N）。如果发现包含有效低量的H、I和/或L以致被认为是正常的（N），则样本212可以在轨道121上继续，并且然后可以被一个或多个分析仪（例如，第一、第二和/或第三分析仪106、108和/或110）分析。此后，样本容器102可以返回到装载区105以便重新装载到一个或多个机架104。

在一些实施例中，除了HILN的检测之外，可以发生样本容器102和样本212的分割。根据分割数据，后处理可以被用于样本212的量化（即，HSP、HSB、HTOT的确定，以及SB或SG以及LA的位置的确定）。在一些实施例中，可以在质量检查模块130处进行样本容器102的物理属性（例如，大小）的表征。这样的表征可以包括确定HT和W，以及可能的TC和/或Wi。根据该表征，可以提取样本容器102的大小。此外，在一些实施例中，质量检查模块130还可以确定盖子类型，这可以被用作安全检查并且可以捕捉是否为预定的测试使用了错误的管类型。

在一些实施例中，可以在样本测试装置100上提供远程站132，其不直接链接到轨道121。例如，独立机器人133（虚线示出）可以将包含样本212的样本容器102运送到远程站132，并且在测试/预处理之后使它们返回。可选地，可以手动移除和返回样本容器102。远程站132可以被用来测试某些成分（诸如溶血水平），或者可以被用于进一步处理，以便例如通过一次或多次添加和/或通过附加的处理来降低脂血水平，或者以便去除凝块、气泡或泡沫。可以在远程站132处完成本文中描述的其他使用HILN检测方法的预筛查。

可以在轨道121上或沿轨道121的一个或多个位置处提供（一个或多个）附加站。该（一个或多个）附加站可以包括去盖站、等分站、一个或多个附加质量检查模块130等等。

样本测试装置100可以包括在轨道121周围的一个或多个位置处的许多传感器116。传感器116可以被用来借助于读取识别信息218i，或者在每个载体122上提供的类似信息（未示出）来检测样本容器102在轨道121上的位置。可以使用用于跟踪位置的任何合适的部件，诸如接近传感器。全部的传感器116都可以与计算机143对接，使得可以始终知道每个样本容器102的位置。

预处理站和分析仪106、108、110可以装备有被配置成从轨道121移除载体122的机器人机构和/或流入通道，以及被配置成让载体122重新进入轨道121的机器人机构和/或流出通道。

样本测试装置100可以由计算机143控制，计算机143可以是基于微处理器的中央处理单元CPU，具有合适的存储器以及用于操作各种***组件的合适的调节电子器件和驱动器。计算机143可以被收容为样本测试装置100的基座120的部分或与其分离。计算机143可以进行操作以控制载体122来往装载区105的移动、围绕轨道121的运动、来往第一预处理站125的运动以及第一预处理站125（例如，离心机）的操作、来往质量检查模块130的运动以及质量检查模块130的操作，以及来往每个分析仪106、108、110的运动以及每个分析仪106、108、110的操作以便执行各种类型的测试（例如，化验或临床化学）。

对于除质量检查模块130以外的所有模块，计算机143可以根据软件、固件和/或硬件命令或电路（诸如在由纽约塔里敦的西门子医疗诊断公司出售的Dimension®临床化学分析仪上使用的那些）来控制样本测试装置100，并且这样的控制对于基于计算机的机电控制编程领域的技术人员来说是典型的，并且在本文中将不再进一步描述。然而，可以使用用于控制样本测试装置100的其他合适的***。质量检查模块130的控制也可以由计算机143提供，但是根据本文中详细描述的本发明的表征方法。

被用于为本文中描述的表征方法所执行的图像处理所使用的计算机143可以包括CPU或GPU、足够的处理能力和RAM，以及合适的存储。在一个示例中，计算机143可以是装备有多处理器的PC，其具有一个或多个GPU、8GB Ram或更多，以及太字节或更多的存储。在另一示例中，计算机143可以是以并行模式操作的装备有GPU的PC，或者可选地是装备有CPU的PC。也可以使用MKL，8 GB RAM或更多，以及合适的存储。

可以使用计算机接口模块（CIM）145来实现本公开的实施例，该计算机接口模块允许用户容易且快速地访问各种各样的控制和状态显示屏幕。这些控制和状态显示屏幕可以显示并使得能够控制被用于制备和分析样本212的多个互相关联的自动化设备的一些或所有方面。CIM145可以被采用以提供关于多个互相关联的自动化设备的操作状态的信息，以及描述任何样本212的位置的信息，以及要对样本212实行或正对其实行的测试的状态。因此，CIM 145被适配成便于操作者与样本测试装置100之间的交互。CIM 145可以包括显示屏幕，该显示屏幕被适配成显示包括图标、滚动条、框和按钮的菜单，操作者可以通过该菜单与样本测试装置100对接。菜单可以包括许多功能元件，它们被编程以显示和/或操作样本测试装置100的功能方面。

参照图4A-4B，示出并描述了质量检查模块130的第一实施例，该质量检查模块130被配置成执行表征方法。质量检查模块130可以被配置并被适配成在由一个或多个分析仪106、108、110进行分析之前预筛查样本212中（例如，在其血清或血浆部分212SP中）的干扰物（例如，H、I和/或L）的存在。以这种方式的预筛查允许对样本212进行附加的处理、附加的量化或表征、丢弃和/或重新抽取，而不浪费珍贵的分析仪资源或可能地使干扰物的存在影响测试结果的真实性。

除了本文中描述的干扰物检测方法之外，还可以在质量检查模块130处的样本容器102中包含的样本212上进行其他检测方法。例如，可以在质量检查模块130处执行用以提供分割作为来自CNN的输出的方法。分割数据可以被用在后处理步骤中以量化样本212，即，确定样本212的某些物理尺寸特性（例如，LA和SB，和/或确定HSP、HSB和/或HTOT）。例如，量化还可以涉及估计血清或血浆部分的体积（VSP）和/或沉降的血液部分的体积（VSB）。还可以确定其他可量化的几何特征。

另外，质量检查模块130可以被用来量化样本容器102的几何结构，即，量化样本容器102的某些物理尺寸特性，诸如TC、HT的位置和/或样本容器102的W或Wi。

现在参考图1、4A和4B，质量检查模块130的第一实施例被示出包括多个图像捕获设备440A-440C。示出了三个图像捕获设备440A-440C并且它们是优选的，但是可选地可以使用两个或更多个或者四个或更多个。图像捕获设备440A-440C可以是用于捕获界限清楚的数字图像的任何合适的设备，诸如能够捕获像素化图像的常规数码相机、电荷耦合器件（CCD）、光电探测器阵列、一个或多个CMOS传感器等等。例如，在图4A中图示了三个图像捕获设备440A、440B、440C，并且它们被配置成从三个不同的横向视点（被标记为1、2和3的视点）捕获图像。例如，捕获图像的大小可以是例如约2560×694像素。在另一实施例中，图像捕获设备440A、440B、440C可以捕获例如可以是约1280×387像素的图像大小。可以使用其他图像大小和像素密度。

图像捕获设备440A、440B和440C中的每一个可以被配置并可操作以捕获样本容器102的至少一部分和样本212的至少一部分的横向图像。例如，图像捕获设备440A-440C可以捕获标签218的一部分以及血清或血浆部分212SP的部分或全部。例如，在一些情况下，视点1-3的部分可能被标签218部分地遮挡。在一些实施例中，视点1-3中的一个或多个可以被完全地遮挡，即，血清或血浆部分212SP的清晰视图是不可能的。然而，即使在视点1-3的侧面（正面或背面）被一个或多个标签218完全遮挡的情况下，该表征方法仍然可以能够通过一个或多个遮挡标签218来区分血清或血浆部分212SP的边界。

在所示实施例中，多个图像捕获设备440A、440B、440C被配置成在成像位置432处从多个视点1-3捕获样本容器102和样本212的横向图像。视点1-3可以被间隔开，使得它们彼此大致等间隔，诸如彼此大约120°，如所示的。如描绘的，图像捕获设备440A、440B、440C可以围绕轨道121布置。可以使用多个图像捕获设备440A、440B和440C的其他布置。以这种方式，可以在样本容器102驻留在成像位置432处的载体122中时拍摄样本容器102中的样本212的图像。由图像捕获设备440A、440B和440C获得的多个图像的视野可以在圆周范围内略微重叠。

在一个或多个实施例中，载体122可以在质量检查模块130中的预定位置处停止，诸如在成像位置432处，即，诸如在来自图像捕获设备440a、440b和440c中的每一个的法向量彼此相交的点处。可以提供门（gate）或载体122的线性电动机以使载体122在成像位置432处停止，使得可以在那里捕获多个质量图像。在质量检查模块130处有门的实施例中，可以使用一个或多个传感器（比如传感器116）来确定质量检查模块130处存在载体122。

可以紧邻成像位置432处的图像窗口提供图像捕获设备440A、440B、440C并且将它们训练或聚焦以捕获成像位置432处的图像窗口，其中图像窗口是包括样本容器102的预期位置的区。因此，在一些实施例中，可以使样本容器102停止，使得其大致位于视窗的中心。在所捕获的图像内，可以存在一个或多个参考基准。

在质量检查模块130的操作中，响应于可以由计算机143发送的通信线路443A、443B、443C中提供的触发信号，可以触发和捕获每个图像。计算机143可以根据一个或多个实施例来处理捕获图像中的每一个。在一种特别有效的方法中，可以使用高数据速率（HDR）处理来捕获和处理来自捕获图像的图像数据。更详细地，以多次不同的曝光（例如，以不同的曝光时间）同时被以一个或多个不同的光谱顺序照明时，捕获质量检查模块130处的样本212的多个图像。例如，每个图像捕获设备440A、440B、440C可以以光谱中的每一个、以不同的曝光时间拍摄包括血清或血浆部分212SP的样本容器102的4-8个图像。例如，可以在视点1处由图像捕获设备440A拍摄4-8个图像，同时利用具有红色光谱的光源444A对样本212进行背光照明。可以在视点2和3处顺序地拍摄附加的类似图像。

在一些实施例中，可以使用发射不同光谱照明的不同光源444A-444C来完成多个光谱图像。光源444A-444C可以对样本容器102进行背光（如所示的）。在一些实施例中，光扩散器可以与光源444A-444C结合使用。多个不同光谱光源444A-444C可以是RGB光源，诸如发射634 nm+/-35 nm（红色）、537 nm+/-35 nm（绿色）和455 nm+/-35 nm（蓝色）的标称波长的LED。在其他实施例中，光源444A-444C可以是白光源。在标签218遮蔽多个视点的情况下，可以使用IR背光照明或NIR背光照明。另外，即使当存在标签遮挡时，在一些情况下也可以使用RGB光源。在其他实施例中，光源444A-444C可以发射一个或多个具有在约700 nm与约1200 nm之间的标称波长的光谱。

按照非限制性示例，为了以第一波长捕获图像，可以使用三个红色光源440A-440C（波长为约634 nm+/-35 nm）从三个横向位置顺序照亮样本212。当每个图像捕获设备440A-440C从每个视点1-3捕获以不同的曝光时间的多个图像（例如，4-8个图像或更多个）时，可以发生光源444A-444C的红色照明。在一些实施例中，曝光时间可以在约0.1 ms至256 ms之间。可以使用其他曝光时间。在一些实施例中，例如，每个图像捕获设备440A-440C的相应图像中的每一个都可以按顺序拍摄。因此，对于每个视点1-3，顺序获得具有红色光谱背光照明和（例如，诸如不同曝光时间之类的4-8次曝光）多次曝光的一组图像。例如，以轮询的方式拍摄图像，其中拍摄来自视点1的全部图像，接着顺序地由视点2和3拍摄。

在每个实施例中，质量检查模块130可以包括壳体446，该壳体446可以至少部分地围绕或覆盖轨道121，以使外部照明影响最小化。在图像拍摄顺序期间，样本容器102可以位于壳体446内部。壳体446可以包括一个或多个门446D，以允许载体122进入到壳体446中和/或从壳体446离开。在一些实施例中，顶板可以包括开口446O，以允许包括可移动机器人手指的机器人将样本容器102从上方装载到载体122中。

一旦在图4A-4B的实施例中捕获到红色照明的图像，就可以打开另一个光的光谱，例如，绿色光谱光源444A-444C（标称波长为约537 nm，其中带宽为约+/-35 nm），并且每个图像捕获设备440A、440B、440C可以顺序地捕获以不同曝光时间的多个图像（例如，4-8个或更多个图像）。对于每个图像捕获设备440A、440B、440C，这可以利用蓝色光谱光源444A-444C（标称波长为约455 nm，其中带宽为约+/-35 nm）进行重复。例如，不同标称波长的光谱光源444A-444C可以通过包括可以选择性地打开和关闭的成排的不同期望光谱光源（例如，R、G、B、W、IR和/或NIR）的光板来完成。可以使用其他用于背光照明的部件。

可以快速连续地获得针对每个相应波长光谱的、以多次曝光（例如，曝光时间）拍摄的多个图像，使得例如可以在不到几秒钟内获得来自多个视点1-3的样本容器102和样本212的整个背光图像集合。在一个示例中，使用图像捕获设备440A、440B、440C和利用RGB光源444A-444C的背光照明、在三个视点1-3处的针对每个波长的4个不同曝光图像将导致4个图像×3个光谱×3个图像捕获设备=36个图像。在另一示例中，使用图像捕获设备440A、440B、440C和利用R、G、B、W、IR和/或NIR光源444A-444C的背光照明、在三个视点处的针对每个波长的4个不同曝光图像将导致4个图像×6个光谱×3个相机=72个图像。

根据该表征方法的实施例，图像数据的处理可以涉及预处理步骤，其包括例如从以每个波长光谱、以不同曝光时间且针对每个图像捕获设备440A-440C捕获的多个图像中选择最佳曝光像素，以便为每个光谱且为每个视点1-3生成最佳曝光图像数据。这在本文中被称为“图像合并”。

对于每个对应的像素（或块），对于来自每个图像捕获设备440A-440C的每一个图像，可以从每个视点1-3的不同曝光图像中的每一个中选择表现出最佳图像强度的像素（或块）。在一个实施例中，最佳图像强度可以是例如落在预定强度范围内（例如，按0-255的比例尺在180-254之间）的像素（或块）。在另一实施例中，最佳图像强度例如可以在16-254（按0-255的比例尺）之间。如果两个曝光图像的对应像素（或块）位置中的多于一个像素（或块）被确定是最佳曝光的，则选择两者中的较高者。

表现出最佳图像强度的所选像素（或块）可以通过它们各自的曝光时间来归一化。其结果是照明光谱（例如，R、G、B、白光、IR和/或IR——取决于所使用的组合）和每个图像捕获设备440A-440C的多个归一化且合并的光谱图像数据集，其中所有的像素（或块）都是最佳曝光的（例如，每个光谱一个图像数据集）并且是归一化的。换言之，对于每个视点1-3，由计算机143执行的数据预处理会导致多个最佳曝光且归一化的图像数据集，每个所采用的照明光谱一个。

在图5中示出了被配置成执行HILN表征方法的装置500A的一个实施例的功能组件。装置500A可以体现为质量检查模块130。如上面描述的，在502中，样本容器102被提供在质量检查模块130中的成像位置432处（图4A-4B）。在504中，由一个或多个图像捕获设备440A-440C捕获多光谱、多曝光图像。如上面讨论的，在506中，可以对多光谱、多曝光图像中的每一个的图像数据进行预处理，以提供多个最佳曝光且归一化的图像数据集（在下文中为“图像数据集”）。这些图像数据集可以被作为层（作为矩阵）作为输入而提供给CNN 535，先前已对CNN进行训练以识别HILN。

使用多组训练示例来训练CNN 535。在CNN培训中训练CNN 535，该训练通过利用质量检查模块130对包含样本212的样本容器102的大量样本进行成像，该成像通过图形化地描画具有各种样本HILN条件的样本212的大量示例的各个区域的轮廓、描画被标签218遮挡的各个区域的轮廓、血清或血浆部分212SP的水平等等。连同图形轮廓，提供了每个区域的类别表征信息。多达500个或更多个、1000个或更多个、2,000个或更多个，甚至5,000个或更多个图像可以被用于训练CNN 535。每个训练图像可以至少具有血清或血浆部分212SP，其已识别的H、I、L或N，各种指数水平（如果输出的话）以及被手动描画轮廓的标签218，以识别和教导CNN 535属于每个类别的区，这将是可能的输出。可以利用抽样样本容器间歇性地测试CNN 535，来看CNN 535是否以足够高水平的置信度进行操作。如果在确定正确的HILN配置作为输出时未以100％（例如98％的置信度水平或更高）进行操作，则可以对更多训练样本进行成像并且将其连同相关联的表征信息一起输入。在还提供分割的实施例中，该训练涉及：概述被输出的分割的类，并且包括作为输入的类别识别信息。

在图5A的本实施例中，来自CNN 535的输出是529H处的溶血（H）、529I处的黄疸（I）、529L处的脂血（L）和529N处的正常（N）之一。由CNN 535处理的每个（像素或块）都具有对于HILN之一的输出。可以将这些每像素（或每个块）的结果求和，并且基于HILN中的哪一个具有最高计数来确定HILN。在一些实施例中，当完成了对被识别为血清或血浆部分212SP的全部像素（或块）的处理时，可能存在对HILN中的多于一种具有实质性投票的像素（或块）。例如，可能有大数目的H的计数，并且还有大数目的L的计数。

为了估计针对HILN的最终投票，可以提供后处理以从每个视点遍历全部血清像素（或块），并且在全部事件（计数）上面创建直方图。该直方图可以被归一化成1.00。因此，取决于有多少像素（或块）对特定类别有投票权，可能有多于一个类别输出（例如，H和L）低于1.00。因此，在一些实施例中，基于针对每个类别所获得的归一化投票的数目，输出可以是主要类别和次要类别。

现在参考图5B，示出了装置500B的另一实施例，其中，CNN 535的输出可以是N类溶血529H、N类黄疸529I、N类脂血529L或正常（N）529N，其中N类是该干扰物类别中的类别选项的数目（N）。如前面的，将多光谱、多曝光合并且归一化的图像数据集输入到CNN 535中，并且由CNN 535来对图像数据集进行操作和处理。在535中利用CNN进行处理的输出对于HIL中的每一个、并且当然对于每个视点可以是多个输出可能性（N类）。

例如，如图5C的装置500B中所示，其表示一种可能的CNN架构，CNN的输出可以是HIL的N类（n=3）以及HILN的每通道置信度水平（CL），其中在526B处，每个通道1-10与特定的类别类型（例如，H1、H2、H3、I1、I2、I3、L1、L2、L3和N）相关。因此，对于每个像素（或块），提供了输出的类别（H1-N）。这些每像素（或每个块）的输出可以通过任何合适的后处理例程进行聚集，以加起来或以其他方式处理每个通道的结果，并且从可用的类别（例如，H1、H2、H3、I1、I2、I3、L1、L2、L3和N）到达HILN的总体确定。可以使用任何合适的投票方案，诸如最终像素类别＝最大CL，并且然后将血清或血浆部分212SP的最大CL的数目相加。可以每视点地实现这种相同的处理。视点的每像素（或每个块）的分类结果或总体结果可以相加或以其他方式合并或平均。尽管示出了H、I和L的三个可能的水平，但是应当意识到的是，更多或更少个输出选项是可能的（例如，2个、4个、5个或更多个）。

基于针对被预筛查的任何特定的样本容器102和样本212的CNN 535的输出，可以实现一个或多个另外的动作。例如，如果针对H、I或L水平的预筛查过高（例如，高于阈值），则可以拒绝样本212，使其经受进一步处理，使其经受重新测试，和/或可以将其从质量控制模块130或样本测试装置100卸载。来自CNN 535的预筛查HILN结果的通知可以被提供给样本测试装置100的操作者和/或LIS 147。

在图5C中示出了CNN 535的一个示例架构。可以使用任何合适的科学计算框架、程序或工具箱（诸如例如可从伯克利视觉和学习中心（BVLC）获得的Caffe、Theano、用于快速计算数学表达式的Python框架、TensorFlow、Torch等等）来编码本文中描述的这种CNN 535和其他CNN。

更详细地，CNN 535可以包括适当数目的操作层以提供深度学习。例如，CNN可以包括一种架构，该架构包括至少两个包括卷积和池化的层，以及至少两个附加的全卷积层。在本实施例中，提供了三个操作层538、540、542，以及两个全卷积层。所描述的CNN架构可以被用于从可以利用移动窗口方法进行扫描的图像数据的每一层对输入块225进行分类。例如，输入块225的移动窗口可以是64×64块（64×64像素）。然而，可以使用其他大小的块。例如，示出了三个主要的操作层。第一层538可以提取非常局部的结构边缘；第二层540学习纹理，该纹理是边缘的组合；并且第三层542形成多个部分（parts）。CNN 535的每一个层538、540、542受益于被处理的多通道输入（例如，多光谱、多曝光信息）。深度学习网络可以轻松地处理和表示各种输入层、并且特别其是三个输入层（例如，RGB）上面的这些操作。该框架自然地集成了低、中和高级特征，并且导致了多层分类。在一个或多个实施例中，图像数据可以从分类中排除条形码区域，因为它们可能引入由于信号阻塞所致的伪像。

在数据准备期间，可以提取满足定义标准的小块。例如，该标准可以包括血清或血浆部分212SP以及仅具有低方差的标签区域218，诸如没有条形码元素和/或字体的白色区域。训练可以首先利用对由16×16元素定义的区域的腐蚀操作。具有1像素步幅的输入块225的移动窗口（例如，大小为64×64像素）可以被用来扫描通过被侵蚀的区域。如果一些所得到的块以属于被侵蚀的区域的像素为中心，则将考虑它。使用来自训练图像的块进行采样可以创建深度学习所需的表示。这些特征被存储在数据库中，并且被用于之后的测试。训练CNN 535可以涉及N类分类任务，其在526B处利用关于每一个可能的类别结果（H1-N）的输入。训练可以继续包括提供作为输入的（注释）血清或血浆部分212SP和标记218的图形轮廓，并且提供类别信息，直到实现CNN 535中的适合的置信度为止。

再次参考图5C，CNN 535包括：第一层538，该第一层538包括卷积层（Conv1），该卷积层可以包括例如10个大小为5×5×12的滤波器。可以使用其他数目的过滤器和过滤器大小。然后将所得到的10个特征图馈送到最大池化（池1），该最大池化可以分别针对每个通道在2×2空间邻域上利用步幅1来获取最大值。该层的目的是要提取低级特征，尤其是像简单边缘这样的特征。接着是第二层540，其包括可以具有10个大小为5×5×20的滤波器的卷积层（Conv 2），以及可以在3×3空间上利用步幅2来获取最大值的最大池化层（池2）。第二层540的目的是要学***均，在多个视点上聚集每视点结果以获得确信的决策。

图5D和5E图示了装置500C的另一实施例，其示出了被配置成执行表征方法的功能组件，其中装置500C提供了HILN检测以及还有分割以作为来自CNN 535的输出。本文中描述的装置500C如先前在图5B-5C的实施例中描述的，除了该实施例中的CNN 535包括两个分支之外。第一分支在522中提供N'类分割，其中N'是在526A处的分割类别输出选项的数目。例如，N'类分割可能会导致例如以下各项中的两种或更多种的分割输出数据：1-血清或血浆部分（SPP），2-沉降的血液部分（SBP），3-标签，4-空气，5-盖子，6-管，7-凝胶分离物（GS）。其他分割输出选项可以包括背景和/或保持器。输出到通道1-7的每个像素（或每个块）可以提供关于分类对比像素（或块）位置的语义数据。这样的语义数据可以被聚集，并且可以被映射以提供语义地图539。语义地图539可以是每个视点的，或者以其他方式被聚合以提供3D语义地图。

第二分支可以提供N类溶血529H、N类黄疸529I和/或N类脂血529L或者正常（N）529N的输出分类，如前所述。通道8-17提供了多个类别选项（H1-N）作为来自CNN 535的输出。还可以将HILN的输出数据作为每视点的语义地图539的部分或者作为具有HILN地图的3D语义来提供。语义地图539可以存储在计算机143中的数据库中。在一些实施例中，语义地图539可以被图形地显示，并且可以针对HILN而被颜色编码。

CNN 535的架构可以是如上所述的，除了每个分支包括全卷积层Conv 4A、Conv5A、Conv 4B、Conv 5B以及单独的解卷积层（Deconv A、Deconv B）和Softmax层（SoftMaxA、SoftMaxB）之外。

因为在每个视点1-3中上从光源444A-444C到样本容器102的背面上的背光可能被位于背面上的标签218的存在所阻挡，所以在与包含标签218的后视图区域相对应的前视图区域中、由图像捕获设备440A-440C捕获的前视图图像的强度可能受到影响。由此，那些区域中的强度可能是可疑的，并且CNN可以适当地调整和/或补偿这一点，以使得对来自这些被遮挡区域的CNN的输出进行调整，并且使它们等于血清或血浆部分212SP的其他未遮挡区域。因此，根据本公开的一个或多个实施例，该表征方法考虑了来自背面的标签遮挡。

图5F图示了包括三个分支的CNN 535的另一实施例，该三个分支包括分类选项526A-526C。第一和第二分支可以与上面描述的相同，而第三分支被配置成对盖子类型526C进行分类。可以从CNN 535的第三分支中输出任何数目的n类盖子类型。例如，盖子类型输出选项可以构成不同的颜色和/或盖子形状，这些颜色和/或盖子形状先前已经通过输入图形上轮廓化的盖子区域以及对应的盖子信息和颜色而被训练到CNN 535中。相对于来自LIS147的预定测试，在526C处的该结果可以被用作检查，以确保适当的样本容器102被用于所预订的测试。CNN 535的架构可以如先前描述的，并且其中第三分支包括单独的全卷积层Conv 4C、Conv 5C、解卷积层（Deconv C）和Softmax层（SoftMax C）。在CNN 535的一些实施例中，上述全卷积层Conv 4、Conv 5可以被全连接层代替。如前所述，可以基于来自分割526A、HILN 526B和盖子类型检测526C的CNN 535的输出结果来生成语义地图。

图5G图示了装置500A的另一实施例，其图示了被配置成执行该表征方法并且包括CNN 535的不同架构的功能组件。例如，该架构可以被用于图5A的装置500A。CNN 535的架构可以如先前所述的，包括全卷积层C1、C2，解卷积层（DC）和Softmax层（S）。然而，在该实施例中，第一层538、第二层540和第三层542可以均包括用于实行激活功能（ReLU）的LRN和ReLU特征，LRN通过归一化来补偿不同的值范围。来自CNN 535的输出是HILN。因此，CNN 535包括多个层，该层包括卷积、LRN和ReLU、全卷积层、解卷积层和SoftMax层。

图6A和6B图示了来自图像捕获设备440A、440B的第一视点1和第二视点2的正面语义图像640A、640B（参见图6D）。在图6A和6B中，一些血清或血浆部分212SP被标记218遮挡，并且从光源444A、444B（图6D）发射的一些背光被后视图标签218B（即，虚线示出的被遮挡的标签218的部分）阻挡。

图6C图示了来自图像捕获设备440C（图6D）的视点3的正面语义图像640C，在图6C中，从视点3来看，全部的血清或血浆部分212SP被标记218遮挡。对于这些视点1、2、3中的每一个，CNN 535可以逐像素地（或逐块地）输出HILN。因此，该表征方法可以聚集每个视点1、2、3的结果，并且为每个视点提供HILN的总体确定。在每种情况下，经训练的CNN 535考虑到可见的血清或血浆部分212SP，但是也考虑到被后视图标签218B遮挡的区域。来自每个视图的结果可以被聚集或被平均以获得总体读数。例如，在一些实施例中，可以包括来自视点1和视点2的HILN结果。视点的结果，因为它被完全遮挡了所以可以忽略不计，或者如果可以获得合适的HILN量度，那么也可以对其取平均，以获得血清或血浆部分212SP的总体HILN读数。在其他实施例中，可以仅报告最佳视图，其可以是具有最未被遮挡的视图的视点。

因此，在一个实施例中，如果大多数像素（或块）被分类为N，则可以将血清或血浆部分212SP归类为正常（N）。如果大多数像素（或块）被分类为H，则可以将血清或血浆部分212SP归类为含有溶血（H）。同样地，如果大多数像素（或块）被分类为I或L，则可以将血清或血浆部分212SP分别归类为黄疸（I）或脂血（L）。在其他实施例中，加权多数投票方案也可以被用来使用来自HILN结果的概率作为权重来对样本212进行分类。可以使用用于整体上表征血清或血浆部分212SP的其他手段。此外，如果输出数据集包含被分类为两个或多个干扰物类别（例如，H和I、H和L、I和L，或甚至H、I和L）的相对大量的像素（或块），则该干扰物检测方法可以报告存在多种干扰物类型。

图7图示了根据本公开的实施例的表征方法700的流程图。可以通过如本文中描述的质量检查模块130来执行表征方法700。特别地，表征方法700可以根据一个或多个实施例来确定样本212中存在干扰物。表征方法700包括：在702中捕获包括样本（例如，样本212）的血清或血浆部分（例如，血清或血浆部分212SP）的样本容器（例如，样本容器102）的多个图像。该捕获多个图像可以从多个视点（例如，视点1、2和3）进行。此外，样本容器102可以包括在其上的一个或多个标签（例如，标签218）。一个或多个图像可以是使用一个或多个图像捕获设备（例如，图像捕获设备440A-440C）捕获的数字像素化图像。

表征方法700进一步包括，在704中，将来自多个图像的图像数据（例如，合并且归一化的图像数据集）输入到卷积神经网络（例如，CNN 535），并且利用卷积神经网络来处理该图像数据。在对CNN 535进行适当训练后，可以通过本文所述的计算机143来完成该处理。

表征方法700进一步包括，在706中，作为是溶血、黄疸、脂血和正常（即，H、I、L、H和I、H和L，I和L、H、I和L或N）中的一种或多种，从卷积神经网络（例如，CNN 535）输出血清或血浆部分的分类。

多个图像可以包括在每个视点处的以不同曝光时间和/或以不同光谱照明（例如，R、G、B、白光、IR和/或近IR）的多个图像。例如，在不同的光谱照明条件下，每个视点以不同的曝光时间可能拍摄有4-8次不同的曝光或更多次。

在可选的方面中，除了HILN确定之外，还可以获得图像数据集的分割。方法700可以在708中从卷积神经网络（例如，图5D-5F的CNN 535）输出对样本容器102和样本212的分割。图像数据可以被分割成N'类（例如，7个类别），诸如1-管、2-凝胶分离物、3-盖子、4-空气、5-标签、6-沉淀的血液部分和/或7-血清或血浆部分。可以使用其它数目的类别。

表征方法700可以可选地包括：在710中，从卷积神经网络（例如，图5F的CNN 535）输出盖子类型，该盖子类型可以是被预先训练到CNN 535中的特定的盖子形状或盖子颜色。

因此，基于前述内容，应该显而易见的是，提供了一种经改善的表征方法700，其通过计及可能遮挡一个或多个视点的标记来更好地表征血清或血浆部分212SP。经改善的表征可以被用来提供对样本212存在HILN的快速且鲁棒的表征（图5A-5G），并且在一些实施例中，可以评估和从CNN 535输出干扰物水平（H1、H2、H3、I1、I2、I3、L1、L2、L3）（参见图5C-5F）。

如应该显而易见的，可以使用质量检查模块（例如，质量检查模块130）来执行上述表征方法，该质量检查模块包括：多个图像捕获设备（例如，图像捕获设备）440A-440C，它们被布置在成像位置（例如，成像位置432）周围，并且被配置成从多个视点（例如，多个视点1-3）捕获样本容器102的多个图像，该样本容器包括一个或多个标签218并且包含样本212的血清或血浆部分212SP；以及计算机（例如，计算机143），其耦合到多个图像捕获设备并且被适配成处理多个图像的图像数据。计算机（例如，计算机143）可以被配置并且能够***作以处理来自多个视点（例如，视点1-3）的多个图像，以结合多个视点中的每一个视点的分割来提供HILN确定或HILN确定。

此外，表征方法700可以在包括质量检查模块130的样本测试装置100上执行。样本测试设备100可以包括轨道121和可在轨道121上移动的载体122。载体122可以被配置成容纳和支撑样本容器102，该样本容器102包括一个或多个标签218并且包含样本212的血清或血浆部分 212SP，并且将样本容器102运送到质量检查模块130以完成表征和针对干扰物存在的预筛查。

在本文中可以单独描述各种所选组件、特征或实施例。应当注意的是，这样的组件、特征或实施例可以被用于替代其他单独描述的组件、特征或实施例，或者甚至与本文中的其他所描述的组件、特征或实施例组合使用，如实践的那样。虽然本发明易受各种修改和替换形式的影响，但是在附图中已作为示例示出了具体的装置、***和方法，并且在本文中对它们进行了详细描述。然而，应该理解的是，并不意图将本公开限制于所公开的特定装置、***和方法，而是相反地，本发明要覆盖落入所附权利要求范围内的全部修改、等同物和替换方案。

Claims (20)

1.一种表征方法，其包括：

捕获包括样本的血清或血浆部分的样本容器的多个图像；

将来自所述多个图像的图像数据输入到卷积神经网络，并且利用所述卷积神经网络来处理所述图像数据；以及

从所述卷积神经网络输出作为溶血、黄疸、脂血和正常中的一种或多种的所述血清或血浆部分的分类。

2.根据权利要求1所述的方法，其中，捕获的多个图像包括针对多个光谱中的每一个光谱的不同曝光。

3.根据权利要求1所述的方法，其中，所述捕获的多个图像包括为红色、绿色和蓝色的每个光谱提供不同的曝光时间。

4.根据权利要求1所述的方法，其中，所述多个图像是从多个视点捕获的，并且包括针对每个视点的多光谱、多曝光图像。

5.根据权利要求4所述的方法，其中，所述样本容器包括一个或多个标签，所述一个或多个标签遮挡一个视点的至少一部分。

6.根据权利要求1所述的方法，其中，所述卷积神经网络包括一种架构，所述架构包括含有卷积和池化的至少两个层，以及至少两个附加的完全卷积层。

7.根据权利要求1所述的方法，其中，所述卷积神经网络包括含有解卷积层的架构。

8.根据权利要求1所述的方法，其中，所述卷积神经网络包括含有SoftMax层的架构。

9.根据权利要求1所述的方法，其中，所述卷积神经网络包括一种架构，所述架构包括含有卷积和池化的至少三个层，以及至少两个完全卷积层、解卷积层和SoftMax层。

10.根据权利要求1所述的方法，其中，所述卷积神经网络包括：

多个层，其包括卷积、LRN和ReLU、完全卷积层、解卷积层和SoftMax层。

11.根据权利要求1所述的方法，其中，所述血清或血浆部分的分类包括针对溶血、黄疸、和脂血中的每一种的N类的输出选项。

12.根据权利要求1所述的方法，其中，所述血清或血浆部分的分类包括：针对溶血、黄疸和脂血中的每一种的细粒化指数的输出选项。

13.根据权利要求1所述的方法，其中，所述血清或血浆部分的分类包括：输出溶血、黄疸和脂血中的一种或多种的细粒化指数。

14.根据权利要求1所述的方法，其中，捕获所述多个图像包括：利用包括R、G、B、白光、IR和近IR的一个或多个光谱的光源进行背光照明。

15.根据权利要求1所述的方法，其中，来自所述多个图像的图像数据包括来自多次曝光的合并像素或块数据。

16.根据权利要求1所述的方法，其中，所述卷积神经网络进一步输出N'类分割数据。

17.根据权利要求1所述的方法，其中，所述卷积神经网络进一步包括：

第一网络分支，其包括N'类分割输出，以及

第二网络分支，其包括针对溶血、黄疸和脂血中的每一种的N类输出选项类别。

18.根据权利要求1所述的方法，其中，所述卷积神经网络进一步包括：

网络分支，其包括针对盖子类型的n类输出选项。

19.一种质量检查模块，其包括：

图像捕获设备，其被配置成捕获包含样本的血清或血浆部分的样本容器的多个图像；以及

计算机，其耦合到所述图像捕获设备，所述计算机被配置并且能够***作以：

将来自所述多个图像的图像数据输入到卷积神经网络，并且利用所述卷积神经网络来处理所述图像数据，以及

从所述卷积神经网络输出作为溶血、黄疸、脂血和正常中的一种或多种的血清或血浆部分的分类。

20.一种样本测试装置，其包括：

轨道；

载体，其可在所述轨道上移动，并且被配置成包含含有样本的血清或血浆部分的样本容器；

图像捕获设备，其被布置在所述轨道周围，并且被配置成从多个视点捕获样本容器和样本的血清或血浆部分的多个图像；以及

计算机，其耦合到所述图像捕获设备，所述计算机被配置并且能够操作以：

将来自所述多个图像的图像数据输入到卷积神经网络，并且利用所述卷积神经网络来处理所述图像数据，以及

从所述卷积神经网络输出作为溶血、黄疸、脂血和正常中的一种或多种的血清或血浆部分的分类。