CN113508418A - 使用三维定量相位成像识别微生物 - Google Patents

使用三维定量相位成像识别微生物 Download PDF

Info

Publication number
CN113508418A
CN113508418A CN201980093334.9A CN201980093334A CN113508418A CN 113508418 A CN113508418 A CN 113508418A CN 201980093334 A CN201980093334 A CN 201980093334A CN 113508418 A CN113508418 A CN 113508418A
Authority
CN
China
Prior art keywords
neural network
microorganism
bacteria
dimensional
microorganisms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980093334.9A
Other languages
English (en)
Inventor
洪起贤
闵铉皙
朴龙根
金健
曹荣住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donmore Cooper
Original Assignee
Donmore Cooper
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donmore Cooper, Korea Advanced Institute of Science and Technology KAIST filed Critical Donmore Cooper
Publication of CN113508418A publication Critical patent/CN113508418A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Abstract

用于识别一个或多个微生物的预测类型的方法、***和装置，包括编码在计算机存储介质上的计算机程序。一方面，***包括相差显微镜和微生物分类***。相差显微镜被配置为生成一个或多个微生物的三维定量相位图像。微生物分类***被配置为使用神经网络处理三维定量相位图像以生成表征微生物的神经网络输出，然后使用神经网络输出来识别微生物的预测类型。

Description

使用三维定量相位成像识别微生物
对相关申请的交叉引用
本申请根据35 U.S.C.§119要求于2019年3月13日提交的题为“RAPIDIDENTIFICATION OF BIOLOGICAL ENTITIES”的序列号为62/817,680的美国临时专利申请和2019年6月3日提交的题为“IDENTIFYING MICROORGANISMS USING THREE-DIMENSIONALQUANTITATIVE PHASE IMAGING”的第62/856,290号美国临时专利申请的优先权。这两个临时专利申请的全部内容通过引用并入本文。
技术领域
本说明书涉及使用三维(3D)定量相位成像(quantitative phase imaging)来识别微生物(microorganisms)。本说明书通过引用整体并入2019年3月13日提交的题为“生物实体的快速识别(Rapid identification of biological entities)”的美国专利申请序列号62/817,680。
背景技术
术语微生物可以指例如细菌、病毒或真菌。微生物的类型可以指例如微生物的属(genus)、种(species)、品系(strain)、代谢性质(metabolism)、形态(morphology)、能动性(motility)或任何其他适合的特性。
定量相位成像通过对在光穿过样品时引起的相移进行量化来表征样品。
发明内容
本说明书描述了用于通过使用神经网络(例如，3D卷积神经网络)处理微生物的3D定量相位图像(QPI)来识别微生物的一种方法和装置。
根据第一方面，提供了一种用于识别一个或多个微生物的预测类型的方法。该方法包括使用相差显微镜(phase-contrast microscope)生成一个或多个微生物的三维定量相位图像，其中该三维定量相位图像包括微生物的三维表示。使用具有一个或多个三维卷积层的卷积神经网络来处理三维定量相位图像。该神经网络被配置为根据神经网络的经训练的参数值来处理三维定量相位图像以生成表征微生物的神经网络输出。使用该神经网络输出来识别微生物的预测类型。
在一些实现方案中，神经网络输出包括针对预定数量的微生物类型中的每一种微生物类型的相应概率值。给定的微生物类型的概率值指示微生物属于该给定的微生物类型的可能性。
在一些实现方案中，微生物的预测类型被识别为具有神经网络输出中的最高概率值的微生物类型。
在一些实现方案中，神经网络输出包括微生物类型的概率值，该概率值指示微生物属于该微生物类型的可能性。
在一些实现方案中，微生物的预测类型选自由属、种、品系、革兰氏染色性(gram-stainability)、代谢性质、形态和能动性组成的组。
在一些实现方案中，微生物的三维定量相位图像是三维折射率断层图(three-dimensional refractive index tomogram)。
在一些实现方案中，微生物选自由细菌、病毒、真菌、寄生虫和微藻组成的组
在一些实现方案中，微生物包括存在于患者血液样本中的细菌。
在一些实现方案中，该方法包括基于细菌的预测类型向患者施用抗生素疗法。
在一些实现方案中，相差显微镜、定量相位显微镜或数字全息显微镜被用于以多个照明角度的每一个照明角度生成微生物的相位和幅度图像，并且三维折射率断层图是使用这些相位和幅度图像来重建的。
在一些实现方案中，该方法最多花费一小时。
根据第二方面，提供了一种用于通过使用神经网络根据神经网络的经训练的参数值来处理一个或多个微生物的三维定量相位图像从而识别一个或多个微生物的预测类型的方法。
在一些实现方案中，神经网络包括一个或多个三维卷积层。
在一些实现方案中，神经网络被配置为生成表征微生物的神经网络输出，并且微生物的预测类型是至少部分地基于神经网络输出来识别的。
在一些实现方案中，该方法最多花费一小时。
根据第三方面，提供了一种用于识别一个或多个微生物的预测类型的方法。该方法包括提供来自患有细菌感染的患者的生物样本。通过使用具有一个或多个三维卷积层的神经网络根据神经网络的经训练的参数值处理从该生物样本分离的一个或多个细菌的三维定量相位图像，以生成表征这些细菌的神经网络输出，从而在获得来自患者的生物样本的一小时内识别患者体内细菌的预测类型。细菌的预测类型是使用神经网络输出来识别的。
在一些实现方案中，生物样本包括血液样本。
在一些实现方案中，在提供来自患者的生物样本的45分钟内识别患者体内细菌的预测类型。
在一些实现方案中，在提供来自患者的生物样本的30分钟内识别患者体内细菌的预测类型。
在一些实现方案中，在提供来自患者的生物样本的15分钟内识别患者体内细菌的预测类型。
根据第四方面，提供了一种用于识别一个或多个微生物的预测类型的方法。该方法包括提供来自被怀疑患有细菌感染的患者的生物样本。通过使用具有一个或多个三维卷积层的神经网络根据神经网络的经训练的参数值处理从生物样本分离的一个或多个细菌的三维定量相位图像，以生成表征细菌的神经网络输出，从而在提供来自患者的生物样本的一小时内识别患者体内细菌的预测类型。细菌的预测类型是使用神经网络输出来识别的。
根据第五方面，提供了一种包括相差显微镜和微生物分类***的***。相差显微镜被配置为生成一个或多个微生物的三维定量相位图像，其中该三维定量相位图像包括微生物的三维表示。微生物分类***被配置为使用神经网络来处理三维定量相位图像，其中神经网络是具有一个或多个三维卷积层的卷积神经网络，并且神经网络被配置为根据神经网络的经训练的参数值处理三维定量相位图像以生成表征微生物的神经网络输出。微生物的预测类型是使用神经网络输出来识别的。
根据第六方面，提供了一种或多种存储指令的非暂时性计算机可读存储介质，当这些指令由一个或多个计算机执行时，使一个或多个计算机接收使用相差显微镜生成的一个或多个微生物的三维定量相位图像，其中三维定量相位图像包括微生物的三维表示。使用神经网络处理三维定量相位图像，其中神经网络是具有一个或多个三维卷积层的卷积神经网。神经网络被配置为根据神经网络的经训练的参数值处理三维定量相位图像，以生成表征微生物的神经网络输出。微生物的预测类型是使用神经网络输出来识别的。
可以实现本说明书中描述的主题的特定实施例以实现以下优势中的一个或多个。
与一些常规方法相比，本说明书中描述的方法可以使微生物能够被更快速和/或更一致地识别。
例如，基于血培养的筛选(screening based on blood culture)是用于识别细菌种类的常规方法。虽然血培养可以揭示细菌的存在，但细菌通常需要数小时到数天才能生长并形成明显的菌落。此外，质谱分析或针对各种抗生素的敏感性测试通常用于确定细菌的确切类型。包括抗血清测试、脱氧核糖核酸(DNA)微阵列和实时聚合酶链反应(PCR)的其他生化方法可以识别细菌的类型。然而，由于它们对生化反应或分子特异性信号的依赖，这些常规方法也会涉及长达一小时到长达一天的过程并且涉及专门的生化试剂的维护和使用。
相比之下，本说明中描述的技术(在一些情况下)可以在一小时内实现准确的细菌识别。例如，微流体工程技术(microfluidic engineering)和抗体工程技术(antibodyengineering)的进步已经实现了在一小时内从与患有细菌感染的患者体内血液中浓度一样低的浓度中分离细菌。获取细菌样本的3D QPI不需要涉及耗时的过程(诸如培养或染色)，并且分类神经网络使用输入数据进行预测仅消耗毫秒或更短的时间。
与一些常规方法相比，本说明书中描述的技术可以使微生物能够被更一致地识别，因为它在测量和分析过程中不易受到人为因素的影响。例如，一些常规方法依赖于由人执行的物理实验，但本说明书中描述的技术可以可利用使用计算技术(即，分类神经网络)进行的一致的测量结果(即，使用定量相位成像生成的测量结果)。
通过处理3D QPI，本说明中描述的技术(在一些情况下)与原本可能通过处理2DQPI相比，可以更准确地识别微生物。具体地，对应于特定照明角度的2D QPI通常包括噪声图像伪影，这些噪声图像伪影是由灰尘颗粒造成的散射或多次反射所引起的干扰导致的。仅数百纳米厚的微生物(例如，细菌)的图像尤其容易受到这样的伪影的影响。从多个2DQPI重建的3D QPI的信噪比(SNR)可能高于2D QPI，因为噪声伪影取决于照明角度，而微生物的影响保持一致。
通过使用3D卷积神经网络，本说明书中描述的技术与原本可能通过使用例如2D卷积神经网络或其他机器学习模型相比，(在一些情况下)可以更准确地识别微生物。具体地，3D卷积神经网络可以被训练以利用3D QPI的不同部分之间复杂的3D空间关系来准确识别3D QPI中描绘的微生物。
本说明书的主题的一个或多个实施例的某些细节在附图和以下描述中阐述。本主题的其他特征、方面和优势将从描述、附图和权利要求中变得清楚。
附图说明
图1是从微生物的3D QPI预测一组一个或多个微生物的类型的示例环境的框图。
图2示出了示例训练***。
图3是示例的一组训练数据的图示。
图4是用于使用相差显微镜和微生物分类***来确定适合治疗患有细菌感染的患者的抗生素疗法的示例过程的图示。
图5是用于使用相差显微镜生成微生物的3D QPI的示例过程的图示。
图6A-6G示出了分类神经网络被训练以从细菌的3D折射率断层图中预测19种引发败血症的细菌的种类的实验结果。
图7是分类神经网络的示例架构的图示，该分类神经网络被配置为处理微生物的3D QPI以生成表征微生物的预测类型的分类输出。
图8是用于识别一个或多个微生物的预测类型的示例过程的流程图。
图9是被用于生成3D折射率断层图的Mach-Zehnder相差显微镜装置的图示。
各个图中的相同参考数字和名称指示相同的元素。
具体实施方式
本说明书描述了一种微生物分类***，该***可以通过使用3D卷积分类神经网络处理微生物的三维(3D)定量相位图像(QPI)来预测微生物(例如，细菌)的类型(例如，种类)。该微生物分类***可以被部署在临床环境中用于诊断应用。这些特征和其他特征将在下面更具体地描述。
图1是示例环境100的框图，其中从微生物104的3D QPI 106中预测一组一个或多个微生物104的类型102。
微生物104可以是细菌、病毒、真菌、寄生虫、微藻或任何其他适合的种类的微生物。微生物104可以是致病的(例如，引发败血症的)，但不是必须是致病的。
微生物104可以源自多种来源中的任何一种。例如，微生物104可以是通过使用细菌(或真菌)分离技术处理患有细菌(或真菌)感染的患者的血液样本而获得的细菌(或真菌)，如将参考图4更具体地描述的。
微生物104的预测类型102可以定义例如微生物的预测的种类(例如，鲍曼不动杆菌、枯草芽孢杆菌或阴沟肠杆菌)、预测的属、预测的品系、预测的革兰氏染色性(例如，革兰氏阳性或革兰氏阴性)、预测的代谢性质(例如，需氧或厌氧)、预测的形态(例如，球菌、芽孢杆菌或球杆菌)、预测的能动性(例如，能动的或非能动的)或任何其他适合的特性。
可选地，微生物104的预测类型102可以定义对微生物104的多个特性的预测。例如，微生物104的预测类型102可以定义微生物的预测种类和微生物的预测能动性两者。
环境100包括相差显微镜108和微生物分类***110。微生物分类***110可以在一个或多个位置的一个或多个计算机上实现为计算机程序。
相差显微镜108被用于生成微生物104的3D定量相位图像106(即，3D QPI 106)。广义上，3D QPI 106是微生物104的3D表示，其通过量化在光穿过微生物104时引起的相移来表征微生物的形态和生物物理属性。
通常，微生物104的3D QPI 106可以被表示为数值(例如，浮点值)的3D矩阵，其中3D矩阵的每个分量对应于微生物104中或周围的相应3D空间位置。在一个示例中，3D QPI106可以是“折射率(RI)断层图”，其中3D矩阵的每个分量定义了材料(例如，微生物的一部分)在对应于该分量的空间位置处的折射率。
相差显微镜108可以使用各种不同技术中的任一种来生成微生物104的3D QPI106。参考图5更具体地描述了用于使用相差显微镜108生成微生物104的3D QPI 106的示例方法。
微生物分类***110被配置为使用分类神经网络112根据分类神经网络112的模型参数114的经训练的值来处理微生物104的3D QPI106，以生成分类输出116。此后，微生物分类***110使用分类输出116来识别微生物104的预测类型102。下面是几个示例。
在一个示例中，分类输出116定义预定数量的可能微生物类型的概率分布；即，分类输出116包括对应于每种可能的微生物类型的相应数值概率值。在此示例中，***110可以通过分类输出116将微生物104的预测类型102识别为与最高概率值相关联的微生物类型。
在另一个示例中，分类输出116从预定的一组可能的索引中定义一个索引(例如，正整数值)，其中每个索引对应于相应的可能的微生物类型。在此示例中，***110可以将微生物104的预测类型102识别为与分类输出116所定义的索引对应的微生物类型。
在一些情况下，由相差显微镜108生成的3D QPI 106可以描绘大量(例如，数千)微生物。例如，相差显微镜108可以生成描绘安装在显微镜载玻片上的数千微生物(例如，细菌)的3D QPI 106。***110可以检测3D QPI 106中的各个微生物(例如，使用被训练以检测微生物的物体检测神经网络)并且从3D QPI 106中裁剪多个区域，每个区域描绘一个或多个相应的微生物。对于从3D QPI 106裁剪的每个区域，***110可以使用分类神经网络112处理该区域以生成表征在所裁剪的区域中描绘的一个或多个微生物的相应分类输出116。此后，***110可以使用为所裁剪的区域生成的相应分类输出来生成对原始3D QPI106中描绘的微生物类型的“总体”预测。下面是几个示例。
在一个示例中，由分类神经网络112为从3D QPI 106裁剪的每个区域生成的相应分类输出116定义可能的微生物类型的概率分布(如前所述)。在此示例中，***110可以组合(例如，平均)为从3D QPI106裁剪的区域中的每个区域生成的可能的微生物类型的概率分布以生成可能的微生物类型的“总体”概率分布。***110可以通过可能的微生物类型的总体概率分布将3D QPI 106中描绘的微生物的总体预测类型识别为与最高概率值相关联的微生物类型。
在另一个示例中，由分类神经网络112为从3D QPI 106裁剪的每个区域生成的相应分类输出116定义与可能的微生物类型相关联的索引(如前所述)。在此示例中，***110可以确定由分类神经网络112为从3D QPI 106裁剪的区域生成的索引集合中最频繁出现的索引(即，“模式索引”)。***110可以将3D QPI 106中描绘的微生物的总体预测类型识别为与模式索引相关联的可能的微生物类型。
通过处理从3D QPI裁剪的多个区域来生成对3D QPI中描绘的微生物类型的总体预测可以提高***110的鲁棒性。
在一些情况下，***110可以使用多个分类神经网络112的集成(而不是使用单个分类神经网络112)来确定预测的微生物类型102。该集成中的分类神经网络可以以多种方式的任一种而彼此不同。例如，集成中的一些或全部分类神经网络可能具有不同的神经网络架构，例如，不同的3D卷积神经网络架构。作为另一个示例，集成中的一些或全部分类神经网络可以被不同地训练，例如，通过使它们的模型参数值被不同地初始化而被不同地训练。集成中的每个分类神经网络可以处理3D QPI 106以生成相应的分类输出116，并且***110可以使用相应的分类输出生成对3D QPI 106中描绘的微生物类型的总体预测(如前所述)。
可选地，可以提供由分类神经网络112通过处理3D QPI 106生成的一个或多个中间输出，以用于表征微生物104。中间输出(其也可以被称为潜在特征)是指由分类神经网络112的中间层(即，输入层和输出层之间的层)生成的输出。中间输出可以被表示为数值的有序集合，例如，数值的向量或矩阵。由分类神经网络112生成的中间输出可以被用作3D QPI106的紧凑描述符，其可以由另一个机器学习模型(例如，支持向量机(SVM)或随机森林(RF))处理以生成表征微生物104的预测输出。图6B是由分类神经网络112生成的一些中间输出(即，潜在特征)的示例的图示。
分类神经网络112的模型参数114是指定义由分类神经网络的层执行的操作的参数，例如，分类神经网络112的层的权重矩阵和偏差向量。
分类神经网络112可以具有任何适合的神经网络架构。例如，分类神经网络112可以是3D卷积神经网络，即，包括一个或多个3D卷积层的神经网络。3D卷积层是指被配置为使用一个或多个3D卷积滤波器处理一个或多个3D输入(例如，被表示为数值的3D矩阵)以生成一个或多个3D输出的卷积层。
除了3D卷积层之外，分类神经网络112可以包括以任何适合配置连接的任何适合类型的附加神经网络层(例如，池化层或全连接层)。参考图7更具体地描述了示例分类神经网络架构。
训练***可以通过在一组训练示例上训练分类神经网络112来确定分类神经网络112的模型参数114的经训练的值。参考图2更具体地描述了训练***的示例。
相差显微镜108和微生物分类***110可以被部署在临床环境中用于诊断应用。例如，如参考图4描述的，相差显微镜108和微生物分类***110可以被用于为患有细菌感染的患者识别适合的抗生素疗法。
图2示出了示例训练***200。训练***200是在一个或多个位置的一个或多个计算机上实现为计算机程序的***的示例，下面描述的***、组件和技术都在其中实现。
训练***200使用一组训练数据202和训练引擎204来确定分类神经网络112的模型参数114的经训练的值。
训练数据202包括多个训练示例。每个训练示例包括：(i)一个或多个微生物(例如，细菌)的3D QPI，以及(ii)定义该3D QPI中描绘的微生物类型的“目标微生物类型”。目标微生物类型指定应该由分类神经网络112通过处理3D QPI而生成的分类输出。
通常，训练数据202包括对应于每种可能的微生物类型(即，来自可以由分类神经网络112预测的可能的微生物类型的预定集合)的至少一个训练示例。图3提供了示例的一组训练数据202的图示。
训练引擎204被配置为在多次训练迭代中的每一次训练迭代处迭代地调整分类神经网络112的模型参数114的当前值。
在每次训练迭代时，训练引擎204从训练数据202中选择(例如，随机采样)一批(即，一组)一个或多个训练示例206，并处理每个训练示例206中包括的3D QPI以生成对应的预测的微生物类型208。
然后，训练引擎204基于以下各项来确定对模型参数114的当前值的参数值更新210：(i)由分类神经网络112生成的预测的微生物类型208，以及(ii)由训练示例206指定的目标微生物类型。更具体地，为了在当前训练迭代时确定参数值更新210，训练引擎204确定目标函数关于分类神经网络112的模型参数114的梯度。通常，目标函数取决于由分类神经网络112生成的预测的微生物类型208和由训练示例206指定的目标微生物类型。训练引擎204可以基于目标函数的梯度(例如，根据任何适合的梯度下降优化算法(例如，Adam或RMSprop)的更新规则)来确定参数值更新210。
参数值更新210可以以任何适合的数字格式表示，例如，作为数值的有序集合(例如，数值的向量)112，其包括对应于分类神经网络的每个模型参数114的相应数值。训练***200可以在训练迭代时确定模型参数114的经更新的值，作为将参数值更新210添加到模型参数114的当前值的结果。
训练引擎204可以以任何适合的方式确定目标函数的梯度，例如，使用反向传播技术。目标函数可以是任何适合的分类目标函数，例如，交叉熵目标函数。
当训练终止标准被满足时，训练***200可以确定分类神经网络112的训练完成。例如，训练终止标准可以是已经执行了预定次数的训练迭代。作为另一示例，训练终止标准可以是分类神经网络112的准确度，在提供的(held-out)一组训练示例上评估，达到至少预定阈值。
在确定训练终止标准被满足之后，训练***200可以将分类神经网络112的模型参数114的经训练的值提供给微生物分类***110(即，参考图1描述的)。模型参数114的“经训练的值”是指在训练***200执行的最后一次训练迭代结束时模型参数114的值。
训练***200可以远离微生物分类***110，在该情况下，训练***200可以例如通过有线或无线连接将模型参数114的经训练的值提供给微生物分类***。
图3是示例的一组训练数据202的图示300。训练数据202的训练示例每个包括：(i)引发败血症的细菌的3D QPI，以及(ii)定义该细菌的种类的目标微生物类型。
图示300描绘了与19种不同的引发败血症的种类中的每一种相对应的细菌的示例性3D QPI。具体地，根据图像标签(i)至(xix)排序，图3中的3D QPI分别描绘了以下示例：鲍曼不动杆菌(A.baumannii)、枯草芽孢杆菌(B.subtilis)、阴沟肠杆菌(E.cloacae)、粪肠球菌(E.faecalis)、大肠杆菌(E.coli)、流感杆菌(H.influenza)、肺炎克雷伯菌(K.pneumonia)、单核细胞增生李斯特菌(L.monocytogenes)、藤黄微球菌(M.luteus)、奇异变形杆菌(P.mirabilis)、铜绿假单胞菌(P.aeruginosa)、粘质沙雷氏菌(S.marcescens)、金黄色葡萄球菌(S.aureus)、表皮葡萄球菌(S.epidermidis)、嗜麦芽窄食单胞菌(S.maltophilia)、无乳链球菌(S.agalactiae)、咽峡炎链球菌(S.anginosus)、肺炎链球菌(S.pneumonia)和酿脓链球菌(S.pyogenes)细菌。
可选地，在使用训练数据202来训练分类神经网络112(例如，如参考图2描述的)之前，训练数据202可以使用增强引擎302“增强”。更具体地，增强引擎302可以处理训练数据202中的现有训练示例以生成随后可以被用于训练分类神经网络112的“新”训练示例。
为了从现有训练示例生成新的训练示例，增强引擎302可以修改来自现有训练示例的3D QPI图像，例如，通过添加随机噪声值、旋转、弹性变形或平移来自现有训练示例的3D QPI图像。新的训练示例将包括：(i)经修改的3D QPI图像，以及(ii)与现有训练示例相同的目标微生物类型。
使用通过增强引擎302生成的新训练示例而增强的训练数据202来训练分类神经网络112可以例如通过减轻过度拟合的潜在影响来提高所训练的分类神经网络的准确度。
图4是用于使用相差显微镜108和微生物分类***110(例如，如参考图1描述的)来确定适合于治疗患有细菌感染的患者404的抗生素疗法402的示例过程400的图示。
提供来自患者404的血液样本406，例如通过从患者404抽取血液。为方便起见，图4的描述指“血液样本”，但其他生物样本可以被使用，例如组织活检样本(例如，来自胃组织)、巴氏涂片样本(例如，来自子宫颈)、尿液样本、粪便样本或唾液样本。
将细菌分离技术应用于血液样本406以分离导致患者404体内细菌感染的细菌408。即，细菌分离技术被应用以从血液样本406中去除细菌408的样本。任何适合的细菌分离技术可以被应用于将细菌408分离到任何适合的纯度水平。细菌分离技术的示例包括离心、用带孔的过滤器过滤、以及使用微流体或微芯片设备进行分离。
相差显微镜108被用于生成细菌408的3D QPI 412。例如，相差显微镜可以生成细菌408的3D折射率断层图(如前所述)。
微生物分类***110处理细菌408的3D QPI 412以生成输出，该输出定义导致患者404体内细菌感染的细菌408的预测种类410。细菌408可以是例如引起败血症的、引起疟疾的或引起结核病的。
细菌408的预测种类410被用于选择适合于治疗患者404体内细菌感染的抗生素疗法402(或其他治疗)。具体地，可以选择在抑制或破坏预测的细菌种类410方面特别有效的抗生素疗法。
所选择的抗生素疗法402此后可以被用于治疗患者404体内的细菌感染，例如，通过给患者404静脉注射所选择的抗生素。
过程400可以实现对导致患者的感染的细菌种类的快速识别。例如，微流体工程技术和抗体工程技术的进步已经实现了在一小时内从与患有细菌感染的患者的血液中存在的浓度一样低的浓度中分离细菌。获取细菌样本的3D QPI不需要诸如培养或染色的耗时的过程，并且微生物分类***(具体地，经训练的分类神经网络)使用输入数据进行预测消耗毫秒或更短的时间。因此，在一些情况下，过程400可以在一小时内实现准确的细菌识别。在一些特定情况下，过程400可以在45分钟内、30分钟内或15分钟内实现准确的细菌识别。在细菌408被从血液样本406中分离出之后(这可能是过程400的最耗时的步骤)，生成3DQPI412和对细菌种类的预测410可以发生在10分钟内、5分钟内、3分钟内或1分钟内，诸如1到45秒(例如，1到30秒、1到20秒、1到10秒)。
相比之下，医院中的典型细菌种类识别(即，没有借助于3D定量相位成像和微生物分类***110)可能需要12小时或更长时间，因为涉及血培养和后续分析。
快速识别引起或导致患者的感染的细菌种类可以使适合的抗生素(即，有效抑制或破坏该种细菌的抗生素)能够被迅速向患者施用。对患有细菌感染的患者迅速施用适当的抗生素可以极大改善患者的临床结果。
例如，在一些情况下，挽救败血症患者的生命取决于在入院后的最初几个小时内对患者进行有效治疗。随着初始抗生素疗法的延迟，败血症患者的死亡率可能激增。因此，由3D相差成像和微生物分类***110促进的快速抗生素疗法可以对降低败血症患者的死亡率起着至关重要的作用。
过程400只是其中可以使用相差显微镜108和微生物分类***110的设置的一个示例。下面是一些其他示例。在一个示例中，相差显微镜108和分类***110可以被用于连续地监测患有传染病的住院患者，例如，通过在多个时间点中的每一个时间点处预测当前导致传染病的细菌种类。在另一个示例中，相差显微镜108和分类***110可以被用于识别农业环境(例如，养鱼场)中存在的细菌的预测种类。在另一个示例中，相差显微镜108和分类***110可以被用于识别食品、药品或两者中存在的细菌的预测种类。
图5是用于使用相差显微镜生成微生物的3D QPI的示例过程的图示。通过使用相差显微镜，微生物的相应相位图像(例如，相位图像502)和相应的幅度图像(例如，幅度图像504)被从多个照明角度(例如，照明角度θ1至θ70)测量。然后，使用光学衍射断层扫描(ODT)技术(其也可以被称为折射率断层扫描技术、断层扫描相位显微镜技术等)，3D QPI(例如，3D折射率断层图506)基于该组多角度的相位和幅度图像被重建。
图6A-6G示出了其中分类神经网络被训练以从细菌的3D QPI中预测19种引发败血症的细菌的种类的实验结果。19种引发败血症的细菌为：鲍曼不动杆菌、枯草芽孢杆菌、阴沟肠杆菌、粪肠球菌、大肠杆菌、流感杆菌、肺炎克雷伯菌、单核细胞增生李斯特菌、藤黄微球菌、奇异变形杆菌、铜绿假单胞菌、粘质沙雷氏菌、金黄色葡萄球菌、表皮葡萄球菌、嗜麦芽窄食单胞菌、无乳链球菌、咽峡炎链球菌、肺炎链球菌和酿脓链球菌细菌。在此实验中，3DQPI是折射率断层图，每个折射率断层图对应于7.2×7.2×4.0μm3的长方体区域，该长方体内有一个或多个经标记的种类样品。x、y和z方向的像素大小分别为0.1、0.1和0.2μm。参考图7进行更具体地描述了此实验中使用的分类神经网络的架构。实验在5041张引发败血症的细菌的3D RI断层图上进行；对于每个种类，相同数量的断层图被随机分配到测试组和验证组。
经训练的分类神经网络在种类分类的盲测中准确度为94.6％。每个种类的平均灵敏度、特异性和精密度分别为94.6％、99.7％和94.7％。任何种类的灵敏度、特异性和精确度都不低于85％。分别对于7.5％的大肠杆菌和肺炎链球菌，发生与将大肠杆菌错误分类为肺炎克雷伯菌和将肺炎链球菌错误分类为酿脓链球菌有关的误差。包括流感杆菌、单核细胞增生李斯特菌、铜绿假单胞菌、咽峡炎链球菌的四种种类的识别具有100％的灵敏度。奇异变形杆菌具有85％的识别灵敏度。奇异变形杆菌、铜绿假单胞菌和嗜麦芽窄食单胞菌具有100％的识别特异性。大肠杆菌和肺炎克雷伯菌具有99.17％的特异性。奇异变形杆菌、铜绿假单胞菌和嗜麦芽窄食单胞菌中的每一个具有100％的识别精确度。大肠杆菌的识别具有85.7％的识别精确度。
图6A是表征经训练的分类神经网络的准确度的表600的图示。表600的与第i行和第j列对应的部分的阴影表征分类神经网络有多频繁地预测与行i对应的种类的细菌属于与列j对应的种类。
图6B示出了散点图602，其示出了由经训练的分类神经网络针对不同细菌种类的3D折射率断层图提取的“潜在特征”。具体地，对于相应的3D折射率断层图，散点图中的每个点是提供给分类神经网络的最后的全连接层(即，如参考图7描述的全连接层730)的输入的表示。使用t分布随机邻域嵌入(t-SNE)，高维潜在特征被映射到二维(2D)平面。与被正确分类的3D折射率断层图对应的潜在特征被描绘为圆圈，并且与被错误分类的3D折射率断层像对应的潜在特征被用“x”符号描绘。可以理解，经训练的分类神经网络生成潜在特征，这些潜在特征将3D折射率断层图聚类到潜在特征空间中的相应组中。广义上，散点图中的簇中的每一个簇对应于相应的细菌种类。例如，簇604广泛地对应于鲍曼不动杆菌细菌的3D折射率断层图(即，簇604中的大多数点对应于鲍曼不动杆菌细菌的3D折射率断层图)。也可以示出散点图602基于其他特性(例如，革兰氏染色性和代谢性质)来近似地对3D折射率断层图进行聚类。
图6C示出了条形图606，其示出了分类神经网络在其已经被训练以处理不同形式的输入数据之后的准确度。比较了总共六种类型的数据：2D光学相位延迟图像、来自多个照明角度的一组2D光学相位延迟图像(即，其可以被处理以生成3D RI断层图)、3D RI断层图、和这三种类型的图像的基于阈值的二元掩模(binary mask)(如参考图6D所示)。这三种类型的图像和对应的分类方法在本说明书中被称为2D、多视图(multi-view)和3D。2D相位和3D RI图像中的阈值被设置为0.05π和1.3425，以适应细菌中多种多样的相位和RI值。在多视图方法和2D方法中，分类神经网络是2D卷积神经网络。在多视图方法中，对2D图像的预测可以被集成平均以作出对多视图数据的预测。条形图606表明，在此实验中，处理3D RI断层图使分类神经网络能够做出最准确的细菌种类预测。经训练的分类神经网络的准确度对于2D、多视图和3D断层图分别为74.2％、92.2％和94.6％，对于对应的二元掩模输入数据分别为49.6％、75.9％和92.4％。
图6D是被阈值化在0.05π以生成对应的二元掩模图像610的2D相位图像608、来自多个照明角度的每个被阈值化在0.05π以生成对应的二元掩模图像614的一组多视图相位延迟图像612，以及被阈值化在1.3425以生成对应的二元掩模图像618的3D RI断层像616的图示。比例尺表示2μm。
图6E示出了被经训练的分类神经网络正确分类的3D RI断层图620和被经训练的分类神经网络错误分类的3D RI断层图628。3D RI断层图620描绘了枯草芽孢杆菌细菌，624描绘了3D RI断层图620的三个横截面，并且626描绘了使用Grad-CAM++技术为3D RI断层图620生成的显著图(saliency map)的三个横截面。3D RI断层图的显著图中点的强度可以被理解为指示该点对于由经训练的分类神经网络生成的针对3D RI断层图的预测的重要性。3D RI断层图628描绘了金黄色葡萄球菌细菌，630描绘了3D RI断层图628的三个横截面，并且632描绘了使用Grad-CAM++技术为3D RI断层图628生成的显著图的三个横截面。比例尺表示2μm。图例622表征3D RI断层图620和628的视觉化；横轴表示折射率值(其可以是无单位的)，并且纵轴表示折射率的梯度(其可以以任意单位表示)。例如，视觉化620和628的较暗区域对应于3D RI断层图的、具有1.375到1.4范围内的折射率且折射率梯度大于10的部分。
图6F示出了描绘被经训练的分类神经网络通过处理3D RI断层图正确分类的流感杆菌细菌的3D RI断层图的三个横截面634，以及使用Grad CAM++技术为该3D RI断层图生成的显著图的三个横截面636。638示出了被经训练的分类神经网络(即，具有2D卷积结构)处理并被错误分类为描绘金黄色葡萄球菌细菌的相同的流感杆菌细菌的一组多角度2D相位图像，并且640示出了使用Grad-CAM++技术为该2D相位图像638中的每一个生成的相应的显著图。比例尺表示2μm。
图6G示出了使用经训练的分类神经网络有多准确地识别细菌的各种属性(例如，属、能动性、形态、革兰氏染色性和需氧性(aerobicity))的示例。一组一个或多个细菌的属性可以通过使用经训练的分类神经网络处理细菌的3D RI断层图来预测细菌的种类，然后基于细菌的预测种类来识别细菌的属性。表642表征了使用经训练的分类神经网络识别19种引发败血症的细菌种类的15个属的准确度(总体：95.5％)。表644表征了使用经训练的分类神经网络识别属于葡萄球菌属的细菌种类的准确度(总体：98.7％)。表646表征了使用经训练的分类神经网络识别属于链球菌属的细菌种类的准确度(总体：96.2％)。条形图648表征了使用经训练的分类神经网络识别细菌的能动性的准确度(总体：98.2％)。条形图650表征了使用经训练的分类神经网络识别三组细菌(芽孢杆菌、球杆菌和球菌)的形态的准确度(总体：98.0％)。条形图652表征了使用经训练的分类神经网络识别细菌的革兰氏染色性的准确度(总体：97.5％)。使用经训练的分类神经网络来识别细菌的需氧性达98.2％的总体准确度。
图7是被配置为处理微生物的3D QPI 702以生成表征微生物的预测类型的分类输出704的分类神经网络的示例架构的图示。该架构具有一系列层，按顺序包括：具有7x7x7维度的卷积滤波器的3D卷积层706、6个瓶颈层的序列708(其中，跳跃连接使得到第一个瓶颈层之后的每个瓶颈层的输入包括前一个瓶颈层的输出和到第一个瓶颈层的输入之和)、具有1x1x1卷积滤波器的3D卷积层710、3D 2x2x2平均池化层712、12个瓶颈层的序列714，具有1x1x1卷积滤波器的3D卷积层716、3D 2x2x2平均池化层718、32个瓶颈层的序列720，具有1x1x1卷积滤波器的3D卷积层722、3D 2x2x2平均池化层724、32个瓶颈层的序列726、3D7x7x7全局平均池化层728、全连接层730和soft-max输出层732。
可以基于由分类神经网络做出的预测的性质来选择分类神经网络的某些超参数。例如，可以基于被预测的细菌种类的细菌(已知的)尺寸来选择分类神经网络的一个或多个卷积层的过滤器的维度。
图8是用于识别一个或多个微生物的预测类型的示例过程800的流程图。
相差显微镜被用于生成一个或多个微生物的3D QPI(802)。微生物的3D QPI包括微生物的3D表示。3D QPI可以是例如3D折射率断层图。微生物可以是例如细菌、病毒或真菌。在特定示例中，微生物可以是从患有细菌感染的患者的血液样本中分离的细菌。
使用分类神经网络根据分类神经网络的经训练的参数值来处理3DQPI，以生成表征微生物的神经网络输出(804)。分类神经网络可以是包括一个或多个3D卷积神经网络层的卷积神经网络。在一个示例中，神经网络输出定义预定数量的可能的微生物类型的概率分布。在另一个示例中，神经网络输出定义来自预定的一组可能索引中的索引，其中每个索引对应于相应的可能的微生物类型。
微生物的预测类型是使用神经网络输出来识别的(806)。在一个示例中，微生物的预测类型可以通过神经网络输出被识别为与最高概率值相关联的微生物类型。在另一个例子中，微生物的预测类型可以被识别为与由神经网络输出定义的索引对应的微生物类型。
图9是用于在参考图6A-6G描述的实验中生成细菌的3D RI断层图的示例性装置(Mach-Zehnder相差显微镜装置)900的图示。一组多向2D QPI测量结果在空间频率域中被组合以使用光学衍射断层扫描(ODT)技术生成3D RI断层图。每个2D QPI测量结果都是使用离轴全息术获得的。使用数字微镜设备(DMD)，即，使用由DMD上的光栅图案衍射的+1阶光束，来控制照射样品(例如细菌样本)的光的入射角。使用波长为532nm的连续波激光器和数值孔径为1.2的两个水浸物镜，根据奈奎斯特定理，光学分辨率在水平轴上为110nm并且在垂直轴上为330nm。用100nm宽和200nm高的体素对3D RI断层图重新采样。在装置6900的图示中，“BC”指光束准直器，“BS”指分束器，“CL”指聚光镜，“FC”指光纤耦合器，“LP”指线性偏振器，“OL”指物镜，“TL”指管镜。
通常，可以使用任何适合的装置来生成3D RI断层图。参考：K.Kim、H.Yoon、M.Diez-Silva、M.Dao、R.R.Dasari和Y.Park：“使用光学衍射断层扫描对被恶性疟原虫寄生的红细胞和原位疟原虫色素晶体进行高分辨率三维成像(High-resolution three-dimensional imaging of red blood cells parasitized by Plasmodium falciparumand in situ hemozoin crystals using optical diffraction tomography)”，生物医学光学杂志19(1),011005(2013年6月25日)，描述了可以被用于生成3D RI断层图的装置的另一个示例，出于文章中公开的装置的目的，该文章通过引用并入本文。参考：F.Charriere、A.Marian、F.Montfort、J.Kuehn、T.Colomb、E.Cuche、P.Marquet和C.Depeursinge：“通过数字全息显微镜进行的细胞折射率断层扫描(Cell refractive index tomography bydigital holographic microscopy)，”光学快报，31(2)，第178-180页(2006年)，描述了可以被用于生成3DRI断层图的装置的另一个示例，出于文章中公开的装置的目的，该文章通过引用并入本文。
本说明书与***和计算机程序组件相关联地使用了术语“被配置”。对于一个或多个计算机的***被配置为执行特定操作或动作意味着该***已在其上安装了在操作时使***执行操作或动作的软件、固件、硬件或它们的组合。对于一个或多个计算机程序被配置为执行特定操作或动作意味着一个或多个程序包括在由数据处理装置执行时使装置执行操作或动作的指令。
本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件中、在包括本说明书中公开的结构和它们的结构等同物的计算机硬件中、或者在它们中的一个或多个的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即，编码在有形非暂时性存储介质上用于由数据处理装置执行或控制数据处理装置的操作的计算机程序指令的一个或多个模块。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。替代地或附加地，程序指令可以被编码在人工生成的传播信号(例如，机器生成的电、光或电磁信号)上，该信号被生成以对信息进行编码以传输到合适的接收器装置以由数据处理装置执行。
术语“数据处理装置”是指数据处理硬件并且涵盖用于处理数据的各种装置、设备和机器，例如包括可编程处理器、计算机、或多个处理器或计算机。装置还可以是或还包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理***、操作***、或它们中的一个或多个的组合的代码。
计算机程序，其也可以被称为或描述为程序、软件、软件应用程序、应用程序、模块、软件模块、脚本或代码，可以用任何形式的编程语言编写，包括编译或解释性语言，或声明性或程序性语言；并且它可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适于计算环境中使用的其他单元。程序可以，但不是必须，对应于文件***中的文件。程序可以存储在持有其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中，存储在专用于相关程序的单个文件中，或存储在多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署以在一台计算机上执行，也可以在位于一个站点或分布在多个站点并通过数据通信网络互连的多台计算机上执行。
在本说明书中，术语“引擎”被广泛用于指一种基于软件的***、子***或过程，该***、子***或过程被编程为执行一个或多个具体功能。通常，引擎将被实现为一个或多个软件模块或组件，安装在一个或多个位置的一个或多个计算机上。在一些情况下，一个或多个计算机将专用于特定引擎；在其他情况下，可以在相同的一个或多个计算机上安装和运行多个引擎。
本说明书中描述的过程和逻辑流程可由一个或多个可编程计算机执行，该计算机执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA或ASIC)或由专用逻辑电路和一个或多个编程的计算机的组合来执行。
适于执行计算机程序的计算机可以基于通用或专用微处理器或两者，或任何其他种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本要素是用于执行或执行运行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可由专用逻辑电路补充或被合并到专用逻辑电路中。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或在操作上耦合以从其接收数据或向其传输数据，或两者。然而，计算机不需要有这样的设备。此外，计算机可以被嵌入到另一个设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位***(GPS)接收器或便携式存储设备例如，通用串行总线(USB)闪存驱动器，仅举几例。
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如包括半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD ROM和DVD-ROM盘。
为了提供与用户的交互，本说明书中描述的主题的实施例可以在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以通过其向计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)的计算机上实现。也可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音和/或触觉输入。此外，计算机可以通过向用户使用的设备发送文档和从其接收文档来与用户交互；例如，通过响应于从网络浏览器收到的请求来将网页发送到用户设备上的网络浏览器。此外，计算机可以通过向个人设备(例如，运行消息传递应用程序的智能手机)发送文本消息或其他形式的消息并反过来从用户接收响应消息来与用户交互。
用于实现机器学习模型的数据处理装置还可以包括例如专用硬件加速器单元，用于处理机器学习训练或生产(production)的通用和计算密集型部分，即推理、工作负载。
可以使用机器学习框架(例如，TensorFlow框架、Microsoft Cognitive Toolkit框架、Apache Singa框架或Apache MXNet框架)来实现和部署机器学习模型。
本说明书中描述的主题的实施例可以在计算***中实现，该计算***包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面的客户端计算机、网络浏览器或用户可以通过其与本说明书中描述的主题的实现进行交互的应用程序)，或一个或多个这样的后端、中间件或前端组件的任何组合。***的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如，互联网。
计算***可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系是由于在相应的计算机上运行的计算机程序而产生的，并且彼此之间具有客户端-服务器关系。在一些实施例中，服务器将数据(例如，HTML页面)发送到用户设备，例如，用于向与作为客户端的设备交互的用户显示数据和从其接收用户输入。可以在服务器处从设备接收在用户设备处生成的数据，例如，用户交互的结果。
虽然本说明书包含许多具体的实现细节，但这些不应被解释为对任何发明的范围或可能被要求保护的范围的限制，而是对可能特定于特定发明的特定实施例的特征的描述。本说明书中在独立实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中独立地或在任何合适的子组合中实现。此外，尽管上面的特征可能被描述为在某些组合中起作用，并且甚至最初被要求如此，但在一些情况下，来自要求保护的组合的一个或多个特征可以被从组合中删除，并且要求保护的组合可以针对子组合或子组合的变体。
类似地，虽然按特定顺序在附图中描述了并在权利要求中叙述了操作，但这不应被理解为需要按所示的特定顺序或按连续顺序执行这些操作，或者要求执行所有示出的操作，以达到期望的效果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中各种***模块和组件的分离不应被理解为在所有实施例中需要这样的分离，并且应当理解所描述的程序组件和***一般可以被一起集成到单个软件产品中或被打包成多个软件产品。
虽然已经描述了某些实施例，但是本公开不限于这样的实施例。
例如，虽然上文公开了某些细菌，但在一些实施例中，细菌可能涉及性传播感染，诸如，例如，淋病、梅毒或衣原体。在这样的实施例中，微生物分类***可以将细菌种类识别为例如***、生殖支原体、淋病奈瑟菌、微小脲原体、人型支原体、解脲支原体、***加德纳菌、沙眼衣原体、***毛滴虫、白色念珠菌或杜克雷嗜血杆菌。因此，本公开提供了对性传播感染的相对快速的诊断，这也可以产生对这样的感染的相对快速的治疗。
已经描述了主题的特定实施例。其他实施例在以下权利要求的范围内。例如，权利要求中所述的动作可以以不同的顺序执行并且仍然达到期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或连续顺序来达到期望的结果。在一些情况下，多任务和并行处理可能是有利的。

Claims (23)

1.一种方法，包括：
使用相差显微镜生成一个或多个微生物的三维定量相位图像，其中所述三维定量相位图像包括所述微生物的三维表示；以及
使用神经网络来处理所述三维定量相位图像，其中：
所述神经网络是包括一个或多个三维卷积层的卷积神经网络；并且
所述神经网络被配置为根据所述神经网络的经训练的参数值来处理所述三维定量相位图像以生成表征所述微生物的神经网络输出；以及
使用所述神经网络输出来识别所述微生物的预测类型。
2.如权利要求1所述的方法，其中：
所述神经网络输出包括预定数量的微生物类型中的每一种微生物类型的相应概率值；以及
给定的微生物类型的概率值指示所述微生物属于所述给定的微生物类型的可能性。
3.如权利要求2所述的方法，其中，使用所述神经网络输出来识别所述微生物的所述预测类型包括：
将所述微生物的所述预测类型识别为具有所述神经网络输出中的最高概率值的微生物类型。
4.如权利要求1所述的方法，其中，所述神经网络输出包括微生物类型的概率值，所述微生物类型的概率值指示所述微生物属于所述微生物类型的可能性。
5.如权利要求1所述的方法，其中，所述微生物的所述预测类型选自由属、种、品系、革兰氏染色性、代谢性质、形态和能动性组成的组。
6.如权利要求1所述的方法，其中，所述微生物的所述三维定量相位图像是三维折射率断层图。
7.如权利要求1所述的方法，其中，所述微生物选自由细菌、病毒、真菌、寄生虫和微藻组成的组。
8.如权利要求7所述的方法，其中，所述微生物包括细菌。
9.如权利要求8所述的方法，其中，所述细菌存在于患者血液样本中。
10.如权利要求9所述的方法，还包括：基于所述细菌的预测类型向所述患者施用抗生素疗法。
11.如权利要求1所述的方法，其中，使用相差显微镜生成所述微生物的三维定量相位图像包括：
使用所述相差显微镜以多个照明角度的每一个照明角度生成所述微生物的相位和幅度图像；以及
使用所述相位和幅度图像重建三维折射率断层图。
12.如权利要求1所述的方法，其中，所述方法最多花费一小时。
13.一种方法，包括：
通过使用神经网络根据所述神经网络的经训练的参数值处理一个或多个微生物的三维定量相位图像来识别所述一个或多个微生物的预测类型。
14.如权利要求13所述的方法，其中，所述神经网络包括一个或多个三维卷积层。
15.如权利要求13所述的方法，其中：
所述神经网络被配置为生成表征所述微生物的神经网络输出；以及
识别所述微生物的所述预测类型包括至少部分地基于所述神经网络输出来识别所述微生物的所述预测类型。如权利要求13所述的方法，其中所述方法最多花费一小时。
16.一种方法，包括：
提供来自患有细菌感染的患者的生物样本；以及
在获得来自所述患者的所述生物样本的一小时内，识别所述患者的细菌的预测类型，包括：
通过使用包括一个或多个三维卷积层的神经网络，根据所述神经网络的经训练的参数值，处理从所述生物样本分离的一个或多个细菌的三维定量相位图像，以生成表征所述细菌的神经网络输出；以及
使用所述神经网络输出来识别所述细菌的所述预测类型。
17.如权利要求15所述的方法，其中，所述生物样本包括血液样本。
18.如权利要求15所述的方法，其中，在提供来自所述患者的所述生物样本的45分钟内识别所述患者的细菌的所述预测类型。
19.如权利要求15所述的方法，其中，在提供来自所述患者的所述生物样本的30分钟内识别所述患者的细菌的所述预测类型。
20.如权利要求13所述的方法，其中，在提供来自所述患者的所述生物样本的15分钟内识别所述患者的细菌的所述预测类型。
21.一种方法，包括：
提供来自被怀疑患有细菌感染的患者的生物样本；以及
在提供来自所述患者的所述生物样本的一小时内识别所述患者的细菌的预测类型，包括：
使用包括一个或多个三维卷积层的神经网络，根据所述神经网络的经训练的参数值，处理从所述生物样本分离的一个或多个细菌的三维定量相位图像，以生成表征所述细菌的神经网络输出；以及
使用所述神经网络输出来识别所述细菌的所述预测类型。
22.一种***，包括：
相差显微镜，被配置为生成一个或多个微生物的三维定量相位图像，其中所述三维定量相位图像包括所述微生物的三维表示；以及
微生物分类***，被配置为执行操作，所述操作包括：
使用神经网络处理所述三维定量相位图像，其中：
所述神经网络是包括一个或多个三维卷积层的卷积神经网络；并且
所述神经网络被配置为根据所述神经网络的经训练的参数值处理所述三维定量相位图像以生成表征所述微生物的神经网络输出；以及
使用所述神经网络输出来识别所述微生物的预测类型。
23.一种或多种非暂时性计算机可读存储介质，其存储指令，当所述指令由一个或多个计算机执行时，使所述一个或多个计算机执行操作，所述操作包括：
接收一个或多个微生物的使用相差显微镜生成的三维定量相位图像，其中所述三维定量相位图像包括所述微生物的三维表示；以及
使用神经网络处理所述三维定量相位图像，其中：
所述神经网络是包括一个或多个三维卷积层的卷积神经网络；并且
所述神经网络被配置为根据所述神经网络的经训练的参数值来处理所述三维定量相位图像以生成表征所述微生物的神经网络输出；以及
使用所述神经网络输出来识别所述微生物的预测类型。
CN201980093334.9A 2019-03-13 2019-09-27 使用三维定量相位成像识别微生物 Pending CN113508418A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962817680P 2019-03-13 2019-03-13
US62/817,680 2019-03-13
US201962856290P 2019-06-03 2019-06-03
US62/856,290 2019-06-03
PCT/IB2019/058248 WO2020183231A1 (en) 2019-03-13 2019-09-27 Identifying microorganisms using three-dimensional quantitative phase imaging

Publications (1)

Publication Number Publication Date
CN113508418A true CN113508418A (zh) 2021-10-15

Family

ID=72427798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093334.9A Pending CN113508418A (zh) 2019-03-13 2019-09-27 使用三维定量相位成像识别微生物

Country Status (6)

Country Link
US (2) US20220156561A1 (zh)
EP (1) EP3906526A4 (zh)
JP (1) JP2022526084A (zh)
KR (1) KR20210128505A (zh)
CN (1) CN113508418A (zh)
WO (1) WO2020183231A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118261910A (zh) * 2024-05-29 2024-06-28 南昌千麦医学检验实验室有限公司 一种基于图像识别的菌株检测方法及***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508418A (zh) * 2019-03-13 2021-10-15 唐摩库柏公司 使用三维定量相位成像识别微生物
US11557033B2 (en) * 2019-08-09 2023-01-17 International Business Machines Corporation Bacteria classification
DE102021114287A1 (de) * 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder
US11850005B1 (en) * 2022-10-27 2023-12-26 Mammen Thomas Use of immersive real-time metaverse and avatar and 3-D hologram for medical and veterinary applications using spatially coordinated multi-imager based 3-D imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885682A (zh) * 2016-02-26 2018-11-23 谷歌有限责任公司 使用神经网络处理细胞图像

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10082653B1 (en) * 2014-06-27 2018-09-25 University Of South Florida Systems and methods for performing quantitative phase-contrast confocal microscopy
WO2017053592A1 (en) 2015-09-23 2017-03-30 The Regents Of The University Of California Deep learning in label-free cell classification and machine vision extraction of particles
KR20170099737A (ko) * 2016-02-23 2017-09-01 노을 주식회사 접촉식 염색 패치 및 이를 이용하는 염색 방법
KR101865624B1 (ko) * 2016-06-10 2018-06-11 주식회사 토모큐브 파면 제어기를 이용한 초고속 3차원 굴절률 영상 촬영 및 형광 구조화 조도 현미경 시스템 및 이를 이용한 방법
US10417560B2 (en) 2016-12-01 2019-09-17 Via Alliance Semiconductor Co., Ltd. Neural network unit that performs efficient 3-dimensional convolutions
US10311573B2 (en) * 2017-05-02 2019-06-04 Techcyte, Inc. Training and machine learning classification of mold in digital microscopy images
IT201700081630A1 (it) * 2017-07-18 2019-01-18 Alifax Srl Metodo di rilevazione batterica
WO2019018693A2 (en) * 2017-07-19 2019-01-24 Altius Institute For Biomedical Sciences METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING
WO2019032723A1 (en) * 2017-08-09 2019-02-14 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING
EP3814749A4 (en) * 2018-07-31 2022-04-06 The Regents Of The University Of Colorado SYSTEMS AND METHODS FOR APPLYING MACHINE LEARNING TO ANALYZE MICROSCOPY IMAGES IN HIGH-THROUGHPUT SYSTEMS
CN113508418A (zh) * 2019-03-13 2021-10-15 唐摩库柏公司 使用三维定量相位成像识别微生物
KR102280764B1 (ko) * 2019-06-14 2021-07-22 주식회사 토모큐브 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치
KR102246439B1 (ko) * 2020-02-19 2021-04-30 주식회사 토모큐브 기계학습 알고리즘을 활용한 신속한 3차원 단층촬영의 정규화 방법 및 장치
US20220180515A1 (en) * 2020-12-09 2022-06-09 The Chinese University Of Hong Kong Artificial intelligence enabled reagent-free imaging hematology analyzer
US20220383986A1 (en) * 2021-05-28 2022-12-01 The Board Of Trustees Of The University Of Illinois Complex System for Contextual Spectrum Mask Generation Based on Quantitative Imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885682A (zh) * 2016-02-26 2018-11-23 谷歌有限责任公司 使用神经网络处理细胞图像

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GEON KIM ET: ""Automated Identification of Bacteria Using Threedimensional Holographic Imaging and Convolutional Neural Network"", 2018 IEEE PHOTONICS CONFERENCE, 30 September 2018 (2018-09-30), pages 1 - 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118261910A (zh) * 2024-05-29 2024-06-28 南昌千麦医学检验实验室有限公司 一种基于图像识别的菌株检测方法及***
CN118261910B (zh) * 2024-05-29 2024-07-26 南昌千麦医学检验实验室有限公司 一种基于图像识别的菌株检测方法及***

Also Published As

Publication number Publication date
EP3906526A4 (en) 2022-03-02
WO2020183231A1 (en) 2020-09-17
US20230013209A1 (en) 2023-01-19
US20220156561A1 (en) 2022-05-19
US12001940B2 (en) 2024-06-04
EP3906526A1 (en) 2021-11-10
JP2022526084A (ja) 2022-05-23
KR20210128505A (ko) 2021-10-26

Similar Documents

Publication Publication Date Title
US12001940B2 (en) Identifying microorganisms using three-dimensional quantitative phase imaging
Isozaki et al. AI on a chip
Alyoubi et al. Diabetic retinopathy fundus image classification and lesions localization system using deep learning
Jo et al. Quantitative phase imaging and artificial intelligence: a review
Moebel et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms
Cutler et al. Omnipose: a high-precision morphology-independent solution for bacterial cell segmentation
US20240052395A1 (en) Antimicrobial susceptibility testing with large-volume light scattering imaging and deep learning video microscopy
Maqsood et al. Hemorrhage detection based on 3D CNN deep learning framework and feature fusion for evaluating retinal abnormality in diabetic patients
Oh et al. Three-dimensional label-free observation of individual bacteria upon antibiotic treatment using optical diffraction tomography
Sengupta et al. Intracranial hemorrhages segmentation and features selection applying cuckoo search algorithm with gated recurrent unit
Takahashi et al. Fine-tuning approach for segmentation of gliomas in brain magnetic resonance images with a machine learning method to normalize image differences among facilities
Zinchuk et al. Machine learning for analysis of microscopy images: a practical guide
Shovon et al. Strategies for enhancing the multi-stage classification performances of her2 breast cancer from hematoxylin and eosin images
Morishita et al. Reconstructing 3D deformation dynamics for curved epithelial sheet morphogenesis from positional data of sparsely-labeled cells
Kim et al. Rapid and label-free identification of individual bacterial pathogens exploiting three-dimensional quantitative phase imaging and deep learning
Lamiable et al. Revealing invisible cell phenotypes with conditional generative modeling
Bouchard et al. Resolution enhancement with a task-assisted GAN to guide optical nanoscopy image analysis and acquisition
Alhassan et al. Enhanced fuzzy elephant herding optimization-based OTSU segmentation and deep learning for Alzheimer’s disease diagnosis
Jo et al. Data-driven multiplexed microtomography of endogenous subcellular dynamics
Wang et al. Simple and robust deep learning approach for fast fluorescence lifetime imaging
Chen et al. Deep neural network for cardiac magnetic resonance image segmentation
León-Periñán et al. ChroMo, an application for unsupervised analysis of chromosome movements in meiosis
Venkata Satya Vivek et al. Biomedical Microscopic Imaging in Computational Intelligence Using Deep Learning Ensemble Convolution Learning‐Based Feature Extraction and Classification
Li et al. Random-reaction-seed method for automated identification of neurite elongation and branching
Kubach et al. Same same but different: a web-based deep learning application for the histopathologic distinction of cortical malformations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40053011

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220623

Address after: Daejeon, Korea

Applicant after: Donmore Cooper

Address before: Daejeon

Applicant before: Donmore Cooper

Applicant before: Korea Higher Institute of science and technology

TA01 Transfer of patent application right