CN113508418A - 使用三维定量相位成像识别微生物 - Google Patents
使用三维定量相位成像识别微生物 Download PDFInfo
- Publication number
- CN113508418A CN113508418A CN201980093334.9A CN201980093334A CN113508418A CN 113508418 A CN113508418 A CN 113508418A CN 201980093334 A CN201980093334 A CN 201980093334A CN 113508418 A CN113508418 A CN 113508418A
- Authority
- CN
- China
- Prior art keywords
- neural network
- microorganism
- bacteria
- dimensional
- microorganisms
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 244000005700 microbiome Species 0.000 title claims abstract description 193
- 238000003384 imaging method Methods 0.000 title description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 163
- 238000000034 method Methods 0.000 claims abstract description 98
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000003860 storage Methods 0.000 claims abstract description 9
- 241000894006 Bacteria Species 0.000 claims description 85
- 241000894007 species Species 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 32
- 239000012472 biological sample Substances 0.000 claims description 21
- 239000000523 sample Substances 0.000 claims description 21
- 208000035143 Bacterial infection Diseases 0.000 claims description 15
- 208000022362 bacterial infectious disease Diseases 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 210000004369 blood Anatomy 0.000 claims description 14
- 239000008280 blood Substances 0.000 claims description 14
- 230000003115 biocidal effect Effects 0.000 claims description 13
- 238000002560 therapeutic procedure Methods 0.000 claims description 10
- 230000004899 motility Effects 0.000 claims description 9
- 239000003242 anti bacterial agent Substances 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 8
- 238000002135 phase contrast microscopy Methods 0.000 claims description 8
- 241000233866 Fungi Species 0.000 claims description 6
- 230000002503 metabolic effect Effects 0.000 claims description 6
- 238000003794 Gram staining Methods 0.000 claims description 5
- 241000700605 Viruses Species 0.000 claims description 5
- 244000045947 parasite Species 0.000 claims description 3
- 238000004590 computer program Methods 0.000 abstract description 14
- 238000012549 training Methods 0.000 description 64
- 230000001580 bacterial effect Effects 0.000 description 24
- 206010040047 Sepsis Diseases 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 208000015181 infectious disease Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 241000588626 Acinetobacter baumannii Species 0.000 description 6
- 241000588770 Proteus mirabilis Species 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000002955 isolation Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 241000193830 Bacillus <bacterium> Species 0.000 description 5
- 241000588747 Klebsiella pneumoniae Species 0.000 description 5
- 241000589517 Pseudomonas aeruginosa Species 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000003325 tomography Methods 0.000 description 5
- 244000063299 Bacillus subtilis Species 0.000 description 4
- 235000014469 Bacillus subtilis Nutrition 0.000 description 4
- 241000588697 Enterobacter cloacae Species 0.000 description 4
- 241000186779 Listeria monocytogenes Species 0.000 description 4
- 241000191967 Staphylococcus aureus Species 0.000 description 4
- 241000193998 Streptococcus pneumoniae Species 0.000 description 4
- 241000193996 Streptococcus pyogenes Species 0.000 description 4
- 238000009640 blood culture Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 229940031000 streptococcus pneumoniae Drugs 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000194032 Enterococcus faecalis Species 0.000 description 3
- 241000588724 Escherichia coli Species 0.000 description 3
- 241000191938 Micrococcus luteus Species 0.000 description 3
- 241000191963 Staphylococcus epidermidis Species 0.000 description 3
- 241000122973 Stenotrophomonas maltophilia Species 0.000 description 3
- 241000194017 Streptococcus Species 0.000 description 3
- 241000193985 Streptococcus agalactiae Species 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000813 microbial effect Effects 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 102000053602 DNA Human genes 0.000 description 2
- 108020004414 DNA Proteins 0.000 description 2
- 241000607715 Serratia marcescens Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 229940088710 antibiotic agent Drugs 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000012258 culturing Methods 0.000 description 2
- 229940032049 enterococcus faecalis Drugs 0.000 description 2
- 230000002538 fungal effect Effects 0.000 description 2
- 206010022000 influenza Diseases 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000001717 pathogenic effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000222122 Candida albicans Species 0.000 description 1
- 241000606161 Chlamydia Species 0.000 description 1
- 241000606153 Chlamydia trachomatis Species 0.000 description 1
- 241000272201 Columbiformes Species 0.000 description 1
- 241000207201 Gardnerella vaginalis Species 0.000 description 1
- 206010018612 Gonorrhoea Diseases 0.000 description 1
- 241000204031 Mycoplasma Species 0.000 description 1
- 241000204051 Mycoplasma genitalium Species 0.000 description 1
- 241000204048 Mycoplasma hominis Species 0.000 description 1
- 241000588652 Neisseria gonorrhoeae Species 0.000 description 1
- 241000223960 Plasmodium falciparum Species 0.000 description 1
- 241000009334 Singa Species 0.000 description 1
- 241000191940 Staphylococcus Species 0.000 description 1
- 241000194026 Streptococcus gordonii Species 0.000 description 1
- 241000589884 Treponema pallidum Species 0.000 description 1
- 241000224527 Trichomonas vaginalis Species 0.000 description 1
- 241000935255 Ureaplasma parvum Species 0.000 description 1
- 241000606834 [Haemophilus] ducreyi Species 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000002306 biochemical method Methods 0.000 description 1
- 238000005842 biochemical reaction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229960000074 biopharmaceutical Drugs 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229940095731 candida albicans Drugs 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 229940038705 chlamydia trachomatis Drugs 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009647 digital holographic microscopy Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 208000001786 gonorrhea Diseases 0.000 description 1
- 108010080417 hemozoin Proteins 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 201000004792 malaria Diseases 0.000 description 1
- 238000004949 mass spectrometry Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 230000002906 microbiologic effect Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009595 pap smear Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000825 pharmaceutical preparation Substances 0.000 description 1
- 229940127557 pharmaceutical product Drugs 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000003752 polymerase chain reaction Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000003753 real-time PCR Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 229940055221 silvera Drugs 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 208000006379 syphilis Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Analysis (AREA)
Abstract
用于识别一个或多个微生物的预测类型的方法、***和装置,包括编码在计算机存储介质上的计算机程序。一方面,***包括相差显微镜和微生物分类***。相差显微镜被配置为生成一个或多个微生物的三维定量相位图像。微生物分类***被配置为使用神经网络处理三维定量相位图像以生成表征微生物的神经网络输出,然后使用神经网络输出来识别微生物的预测类型。
Description
对相关申请的交叉引用
本申请根据35 U.S.C.§119要求于2019年3月13日提交的题为“RAPIDIDENTIFICATION OF BIOLOGICAL ENTITIES”的序列号为62/817,680的美国临时专利申请和2019年6月3日提交的题为“IDENTIFYING MICROORGANISMS USING THREE-DIMENSIONALQUANTITATIVE PHASE IMAGING”的第62/856,290号美国临时专利申请的优先权。这两个临时专利申请的全部内容通过引用并入本文。
技术领域
本说明书涉及使用三维(3D)定量相位成像(quantitative phase imaging)来识别微生物(microorganisms)。本说明书通过引用整体并入2019年3月13日提交的题为“生物实体的快速识别(Rapid identification of biological entities)”的美国专利申请序列号62/817,680。
背景技术
术语微生物可以指例如细菌、病毒或真菌。微生物的类型可以指例如微生物的属(genus)、种(species)、品系(strain)、代谢性质(metabolism)、形态(morphology)、能动性(motility)或任何其他适合的特性。
定量相位成像通过对在光穿过样品时引起的相移进行量化来表征样品。
发明内容
本说明书描述了用于通过使用神经网络(例如,3D卷积神经网络)处理微生物的3D定量相位图像(QPI)来识别微生物的一种方法和装置。
根据第一方面,提供了一种用于识别一个或多个微生物的预测类型的方法。该方法包括使用相差显微镜(phase-contrast microscope)生成一个或多个微生物的三维定量相位图像,其中该三维定量相位图像包括微生物的三维表示。使用具有一个或多个三维卷积层的卷积神经网络来处理三维定量相位图像。该神经网络被配置为根据神经网络的经训练的参数值来处理三维定量相位图像以生成表征微生物的神经网络输出。使用该神经网络输出来识别微生物的预测类型。
在一些实现方案中,神经网络输出包括针对预定数量的微生物类型中的每一种微生物类型的相应概率值。给定的微生物类型的概率值指示微生物属于该给定的微生物类型的可能性。
在一些实现方案中,微生物的预测类型被识别为具有神经网络输出中的最高概率值的微生物类型。
在一些实现方案中,神经网络输出包括微生物类型的概率值,该概率值指示微生物属于该微生物类型的可能性。
在一些实现方案中,微生物的预测类型选自由属、种、品系、革兰氏染色性(gram-stainability)、代谢性质、形态和能动性组成的组。
在一些实现方案中,微生物的三维定量相位图像是三维折射率断层图(three-dimensional refractive index tomogram)。
在一些实现方案中,微生物选自由细菌、病毒、真菌、寄生虫和微藻组成的组
在一些实现方案中,微生物包括存在于患者血液样本中的细菌。
在一些实现方案中,该方法包括基于细菌的预测类型向患者施用抗生素疗法。
在一些实现方案中,相差显微镜、定量相位显微镜或数字全息显微镜被用于以多个照明角度的每一个照明角度生成微生物的相位和幅度图像,并且三维折射率断层图是使用这些相位和幅度图像来重建的。
在一些实现方案中,该方法最多花费一小时。
根据第二方面,提供了一种用于通过使用神经网络根据神经网络的经训练的参数值来处理一个或多个微生物的三维定量相位图像从而识别一个或多个微生物的预测类型的方法。
在一些实现方案中,神经网络包括一个或多个三维卷积层。
在一些实现方案中,神经网络被配置为生成表征微生物的神经网络输出,并且微生物的预测类型是至少部分地基于神经网络输出来识别的。
在一些实现方案中,该方法最多花费一小时。
根据第三方面,提供了一种用于识别一个或多个微生物的预测类型的方法。该方法包括提供来自患有细菌感染的患者的生物样本。通过使用具有一个或多个三维卷积层的神经网络根据神经网络的经训练的参数值处理从该生物样本分离的一个或多个细菌的三维定量相位图像,以生成表征这些细菌的神经网络输出,从而在获得来自患者的生物样本的一小时内识别患者体内细菌的预测类型。细菌的预测类型是使用神经网络输出来识别的。
在一些实现方案中,生物样本包括血液样本。
在一些实现方案中,在提供来自患者的生物样本的45分钟内识别患者体内细菌的预测类型。
在一些实现方案中,在提供来自患者的生物样本的30分钟内识别患者体内细菌的预测类型。
在一些实现方案中,在提供来自患者的生物样本的15分钟内识别患者体内细菌的预测类型。
根据第四方面,提供了一种用于识别一个或多个微生物的预测类型的方法。该方法包括提供来自被怀疑患有细菌感染的患者的生物样本。通过使用具有一个或多个三维卷积层的神经网络根据神经网络的经训练的参数值处理从生物样本分离的一个或多个细菌的三维定量相位图像,以生成表征细菌的神经网络输出,从而在提供来自患者的生物样本的一小时内识别患者体内细菌的预测类型。细菌的预测类型是使用神经网络输出来识别的。
根据第五方面,提供了一种包括相差显微镜和微生物分类***的***。相差显微镜被配置为生成一个或多个微生物的三维定量相位图像,其中该三维定量相位图像包括微生物的三维表示。微生物分类***被配置为使用神经网络来处理三维定量相位图像,其中神经网络是具有一个或多个三维卷积层的卷积神经网络,并且神经网络被配置为根据神经网络的经训练的参数值处理三维定量相位图像以生成表征微生物的神经网络输出。微生物的预测类型是使用神经网络输出来识别的。
根据第六方面,提供了一种或多种存储指令的非暂时性计算机可读存储介质,当这些指令由一个或多个计算机执行时,使一个或多个计算机接收使用相差显微镜生成的一个或多个微生物的三维定量相位图像,其中三维定量相位图像包括微生物的三维表示。使用神经网络处理三维定量相位图像,其中神经网络是具有一个或多个三维卷积层的卷积神经网。神经网络被配置为根据神经网络的经训练的参数值处理三维定量相位图像,以生成表征微生物的神经网络输出。微生物的预测类型是使用神经网络输出来识别的。
可以实现本说明书中描述的主题的特定实施例以实现以下优势中的一个或多个。
与一些常规方法相比,本说明书中描述的方法可以使微生物能够被更快速和/或更一致地识别。
例如,基于血培养的筛选(screening based on blood culture)是用于识别细菌种类的常规方法。虽然血培养可以揭示细菌的存在,但细菌通常需要数小时到数天才能生长并形成明显的菌落。此外,质谱分析或针对各种抗生素的敏感性测试通常用于确定细菌的确切类型。包括抗血清测试、脱氧核糖核酸(DNA)微阵列和实时聚合酶链反应(PCR)的其他生化方法可以识别细菌的类型。然而,由于它们对生化反应或分子特异性信号的依赖,这些常规方法也会涉及长达一小时到长达一天的过程并且涉及专门的生化试剂的维护和使用。
相比之下,本说明中描述的技术(在一些情况下)可以在一小时内实现准确的细菌识别。例如,微流体工程技术(microfluidic engineering)和抗体工程技术(antibodyengineering)的进步已经实现了在一小时内从与患有细菌感染的患者体内血液中浓度一样低的浓度中分离细菌。获取细菌样本的3D QPI不需要涉及耗时的过程(诸如培养或染色),并且分类神经网络使用输入数据进行预测仅消耗毫秒或更短的时间。
与一些常规方法相比,本说明书中描述的技术可以使微生物能够被更一致地识别,因为它在测量和分析过程中不易受到人为因素的影响。例如,一些常规方法依赖于由人执行的物理实验,但本说明书中描述的技术可以可利用使用计算技术(即,分类神经网络)进行的一致的测量结果(即,使用定量相位成像生成的测量结果)。
通过处理3D QPI,本说明中描述的技术(在一些情况下)与原本可能通过处理2DQPI相比,可以更准确地识别微生物。具体地,对应于特定照明角度的2D QPI通常包括噪声图像伪影,这些噪声图像伪影是由灰尘颗粒造成的散射或多次反射所引起的干扰导致的。仅数百纳米厚的微生物(例如,细菌)的图像尤其容易受到这样的伪影的影响。从多个2DQPI重建的3D QPI的信噪比(SNR)可能高于2D QPI,因为噪声伪影取决于照明角度,而微生物的影响保持一致。
通过使用3D卷积神经网络,本说明书中描述的技术与原本可能通过使用例如2D卷积神经网络或其他机器学习模型相比,(在一些情况下)可以更准确地识别微生物。具体地,3D卷积神经网络可以被训练以利用3D QPI的不同部分之间复杂的3D空间关系来准确识别3D QPI中描绘的微生物。
本说明书的主题的一个或多个实施例的某些细节在附图和以下描述中阐述。本主题的其他特征、方面和优势将从描述、附图和权利要求中变得清楚。
附图说明
图1是从微生物的3D QPI预测一组一个或多个微生物的类型的示例环境的框图。
图2示出了示例训练***。
图3是示例的一组训练数据的图示。
图4是用于使用相差显微镜和微生物分类***来确定适合治疗患有细菌感染的患者的抗生素疗法的示例过程的图示。
图5是用于使用相差显微镜生成微生物的3D QPI的示例过程的图示。
图6A-6G示出了分类神经网络被训练以从细菌的3D折射率断层图中预测19种引发败血症的细菌的种类的实验结果。
图7是分类神经网络的示例架构的图示,该分类神经网络被配置为处理微生物的3D QPI以生成表征微生物的预测类型的分类输出。
图8是用于识别一个或多个微生物的预测类型的示例过程的流程图。
图9是被用于生成3D折射率断层图的Mach-Zehnder相差显微镜装置的图示。
各个图中的相同参考数字和名称指示相同的元素。
具体实施方式
本说明书描述了一种微生物分类***,该***可以通过使用3D卷积分类神经网络处理微生物的三维(3D)定量相位图像(QPI)来预测微生物(例如,细菌)的类型(例如,种类)。该微生物分类***可以被部署在临床环境中用于诊断应用。这些特征和其他特征将在下面更具体地描述。
图1是示例环境100的框图,其中从微生物104的3D QPI 106中预测一组一个或多个微生物104的类型102。
微生物104可以是细菌、病毒、真菌、寄生虫、微藻或任何其他适合的种类的微生物。微生物104可以是致病的(例如,引发败血症的),但不是必须是致病的。
微生物104可以源自多种来源中的任何一种。例如,微生物104可以是通过使用细菌(或真菌)分离技术处理患有细菌(或真菌)感染的患者的血液样本而获得的细菌(或真菌),如将参考图4更具体地描述的。
微生物104的预测类型102可以定义例如微生物的预测的种类(例如,鲍曼不动杆菌、枯草芽孢杆菌或阴沟肠杆菌)、预测的属、预测的品系、预测的革兰氏染色性(例如,革兰氏阳性或革兰氏阴性)、预测的代谢性质(例如,需氧或厌氧)、预测的形态(例如,球菌、芽孢杆菌或球杆菌)、预测的能动性(例如,能动的或非能动的)或任何其他适合的特性。
可选地,微生物104的预测类型102可以定义对微生物104的多个特性的预测。例如,微生物104的预测类型102可以定义微生物的预测种类和微生物的预测能动性两者。
环境100包括相差显微镜108和微生物分类***110。微生物分类***110可以在一个或多个位置的一个或多个计算机上实现为计算机程序。
相差显微镜108被用于生成微生物104的3D定量相位图像106(即,3D QPI 106)。广义上,3D QPI 106是微生物104的3D表示,其通过量化在光穿过微生物104时引起的相移来表征微生物的形态和生物物理属性。
通常,微生物104的3D QPI 106可以被表示为数值(例如,浮点值)的3D矩阵,其中3D矩阵的每个分量对应于微生物104中或周围的相应3D空间位置。在一个示例中,3D QPI106可以是“折射率(RI)断层图”,其中3D矩阵的每个分量定义了材料(例如,微生物的一部分)在对应于该分量的空间位置处的折射率。
相差显微镜108可以使用各种不同技术中的任一种来生成微生物104的3D QPI106。参考图5更具体地描述了用于使用相差显微镜108生成微生物104的3D QPI 106的示例方法。
微生物分类***110被配置为使用分类神经网络112根据分类神经网络112的模型参数114的经训练的值来处理微生物104的3D QPI106,以生成分类输出116。此后,微生物分类***110使用分类输出116来识别微生物104的预测类型102。下面是几个示例。
在一个示例中,分类输出116定义预定数量的可能微生物类型的概率分布;即,分类输出116包括对应于每种可能的微生物类型的相应数值概率值。在此示例中,***110可以通过分类输出116将微生物104的预测类型102识别为与最高概率值相关联的微生物类型。
在另一个示例中,分类输出116从预定的一组可能的索引中定义一个索引(例如,正整数值),其中每个索引对应于相应的可能的微生物类型。在此示例中,***110可以将微生物104的预测类型102识别为与分类输出116所定义的索引对应的微生物类型。
在一些情况下,由相差显微镜108生成的3D QPI 106可以描绘大量(例如,数千)微生物。例如,相差显微镜108可以生成描绘安装在显微镜载玻片上的数千微生物(例如,细菌)的3D QPI 106。***110可以检测3D QPI 106中的各个微生物(例如,使用被训练以检测微生物的物体检测神经网络)并且从3D QPI 106中裁剪多个区域,每个区域描绘一个或多个相应的微生物。对于从3D QPI 106裁剪的每个区域,***110可以使用分类神经网络112处理该区域以生成表征在所裁剪的区域中描绘的一个或多个微生物的相应分类输出116。此后,***110可以使用为所裁剪的区域生成的相应分类输出来生成对原始3D QPI106中描绘的微生物类型的“总体”预测。下面是几个示例。
在一个示例中,由分类神经网络112为从3D QPI 106裁剪的每个区域生成的相应分类输出116定义可能的微生物类型的概率分布(如前所述)。在此示例中,***110可以组合(例如,平均)为从3D QPI106裁剪的区域中的每个区域生成的可能的微生物类型的概率分布以生成可能的微生物类型的“总体”概率分布。***110可以通过可能的微生物类型的总体概率分布将3D QPI 106中描绘的微生物的总体预测类型识别为与最高概率值相关联的微生物类型。
在另一个示例中,由分类神经网络112为从3D QPI 106裁剪的每个区域生成的相应分类输出116定义与可能的微生物类型相关联的索引(如前所述)。在此示例中,***110可以确定由分类神经网络112为从3D QPI 106裁剪的区域生成的索引集合中最频繁出现的索引(即,“模式索引”)。***110可以将3D QPI 106中描绘的微生物的总体预测类型识别为与模式索引相关联的可能的微生物类型。
通过处理从3D QPI裁剪的多个区域来生成对3D QPI中描绘的微生物类型的总体预测可以提高***110的鲁棒性。
在一些情况下,***110可以使用多个分类神经网络112的集成(而不是使用单个分类神经网络112)来确定预测的微生物类型102。该集成中的分类神经网络可以以多种方式的任一种而彼此不同。例如,集成中的一些或全部分类神经网络可能具有不同的神经网络架构,例如,不同的3D卷积神经网络架构。作为另一个示例,集成中的一些或全部分类神经网络可以被不同地训练,例如,通过使它们的模型参数值被不同地初始化而被不同地训练。集成中的每个分类神经网络可以处理3D QPI 106以生成相应的分类输出116,并且***110可以使用相应的分类输出生成对3D QPI 106中描绘的微生物类型的总体预测(如前所述)。
可选地,可以提供由分类神经网络112通过处理3D QPI 106生成的一个或多个中间输出,以用于表征微生物104。中间输出(其也可以被称为潜在特征)是指由分类神经网络112的中间层(即,输入层和输出层之间的层)生成的输出。中间输出可以被表示为数值的有序集合,例如,数值的向量或矩阵。由分类神经网络112生成的中间输出可以被用作3D QPI106的紧凑描述符,其可以由另一个机器学习模型(例如,支持向量机(SVM)或随机森林(RF))处理以生成表征微生物104的预测输出。图6B是由分类神经网络112生成的一些中间输出(即,潜在特征)的示例的图示。
分类神经网络112的模型参数114是指定义由分类神经网络的层执行的操作的参数,例如,分类神经网络112的层的权重矩阵和偏差向量。
分类神经网络112可以具有任何适合的神经网络架构。例如,分类神经网络112可以是3D卷积神经网络,即,包括一个或多个3D卷积层的神经网络。3D卷积层是指被配置为使用一个或多个3D卷积滤波器处理一个或多个3D输入(例如,被表示为数值的3D矩阵)以生成一个或多个3D输出的卷积层。
除了3D卷积层之外,分类神经网络112可以包括以任何适合配置连接的任何适合类型的附加神经网络层(例如,池化层或全连接层)。参考图7更具体地描述了示例分类神经网络架构。
训练***可以通过在一组训练示例上训练分类神经网络112来确定分类神经网络112的模型参数114的经训练的值。参考图2更具体地描述了训练***的示例。
相差显微镜108和微生物分类***110可以被部署在临床环境中用于诊断应用。例如,如参考图4描述的,相差显微镜108和微生物分类***110可以被用于为患有细菌感染的患者识别适合的抗生素疗法。
图2示出了示例训练***200。训练***200是在一个或多个位置的一个或多个计算机上实现为计算机程序的***的示例,下面描述的***、组件和技术都在其中实现。
训练***200使用一组训练数据202和训练引擎204来确定分类神经网络112的模型参数114的经训练的值。
训练数据202包括多个训练示例。每个训练示例包括:(i)一个或多个微生物(例如,细菌)的3D QPI,以及(ii)定义该3D QPI中描绘的微生物类型的“目标微生物类型”。目标微生物类型指定应该由分类神经网络112通过处理3D QPI而生成的分类输出。
通常,训练数据202包括对应于每种可能的微生物类型(即,来自可以由分类神经网络112预测的可能的微生物类型的预定集合)的至少一个训练示例。图3提供了示例的一组训练数据202的图示。
训练引擎204被配置为在多次训练迭代中的每一次训练迭代处迭代地调整分类神经网络112的模型参数114的当前值。
在每次训练迭代时,训练引擎204从训练数据202中选择(例如,随机采样)一批(即,一组)一个或多个训练示例206,并处理每个训练示例206中包括的3D QPI以生成对应的预测的微生物类型208。
然后,训练引擎204基于以下各项来确定对模型参数114的当前值的参数值更新210:(i)由分类神经网络112生成的预测的微生物类型208,以及(ii)由训练示例206指定的目标微生物类型。更具体地,为了在当前训练迭代时确定参数值更新210,训练引擎204确定目标函数关于分类神经网络112的模型参数114的梯度。通常,目标函数取决于由分类神经网络112生成的预测的微生物类型208和由训练示例206指定的目标微生物类型。训练引擎204可以基于目标函数的梯度(例如,根据任何适合的梯度下降优化算法(例如,Adam或RMSprop)的更新规则)来确定参数值更新210。
参数值更新210可以以任何适合的数字格式表示,例如,作为数值的有序集合(例如,数值的向量)112,其包括对应于分类神经网络的每个模型参数114的相应数值。训练***200可以在训练迭代时确定模型参数114的经更新的值,作为将参数值更新210添加到模型参数114的当前值的结果。
训练引擎204可以以任何适合的方式确定目标函数的梯度,例如,使用反向传播技术。目标函数可以是任何适合的分类目标函数,例如,交叉熵目标函数。
当训练终止标准被满足时,训练***200可以确定分类神经网络112的训练完成。例如,训练终止标准可以是已经执行了预定次数的训练迭代。作为另一示例,训练终止标准可以是分类神经网络112的准确度,在提供的(held-out)一组训练示例上评估,达到至少预定阈值。
在确定训练终止标准被满足之后,训练***200可以将分类神经网络112的模型参数114的经训练的值提供给微生物分类***110(即,参考图1描述的)。模型参数114的“经训练的值”是指在训练***200执行的最后一次训练迭代结束时模型参数114的值。
训练***200可以远离微生物分类***110,在该情况下,训练***200可以例如通过有线或无线连接将模型参数114的经训练的值提供给微生物分类***。
图3是示例的一组训练数据202的图示300。训练数据202的训练示例每个包括:(i)引发败血症的细菌的3D QPI,以及(ii)定义该细菌的种类的目标微生物类型。
图示300描绘了与19种不同的引发败血症的种类中的每一种相对应的细菌的示例性3D QPI。具体地,根据图像标签(i)至(xix)排序,图3中的3D QPI分别描绘了以下示例:鲍曼不动杆菌(A.baumannii)、枯草芽孢杆菌(B.subtilis)、阴沟肠杆菌(E.cloacae)、粪肠球菌(E.faecalis)、大肠杆菌(E.coli)、流感杆菌(H.influenza)、肺炎克雷伯菌(K.pneumonia)、单核细胞增生李斯特菌(L.monocytogenes)、藤黄微球菌(M.luteus)、奇异变形杆菌(P.mirabilis)、铜绿假单胞菌(P.aeruginosa)、粘质沙雷氏菌(S.marcescens)、金黄色葡萄球菌(S.aureus)、表皮葡萄球菌(S.epidermidis)、嗜麦芽窄食单胞菌(S.maltophilia)、无乳链球菌(S.agalactiae)、咽峡炎链球菌(S.anginosus)、肺炎链球菌(S.pneumonia)和酿脓链球菌(S.pyogenes)细菌。
可选地,在使用训练数据202来训练分类神经网络112(例如,如参考图2描述的)之前,训练数据202可以使用增强引擎302“增强”。更具体地,增强引擎302可以处理训练数据202中的现有训练示例以生成随后可以被用于训练分类神经网络112的“新”训练示例。
为了从现有训练示例生成新的训练示例,增强引擎302可以修改来自现有训练示例的3D QPI图像,例如,通过添加随机噪声值、旋转、弹性变形或平移来自现有训练示例的3D QPI图像。新的训练示例将包括:(i)经修改的3D QPI图像,以及(ii)与现有训练示例相同的目标微生物类型。
使用通过增强引擎302生成的新训练示例而增强的训练数据202来训练分类神经网络112可以例如通过减轻过度拟合的潜在影响来提高所训练的分类神经网络的准确度。
图4是用于使用相差显微镜108和微生物分类***110(例如,如参考图1描述的)来确定适合于治疗患有细菌感染的患者404的抗生素疗法402的示例过程400的图示。
提供来自患者404的血液样本406,例如通过从患者404抽取血液。为方便起见,图4的描述指“血液样本”,但其他生物样本可以被使用,例如组织活检样本(例如,来自胃组织)、巴氏涂片样本(例如,来自子宫颈)、尿液样本、粪便样本或唾液样本。
将细菌分离技术应用于血液样本406以分离导致患者404体内细菌感染的细菌408。即,细菌分离技术被应用以从血液样本406中去除细菌408的样本。任何适合的细菌分离技术可以被应用于将细菌408分离到任何适合的纯度水平。细菌分离技术的示例包括离心、用带孔的过滤器过滤、以及使用微流体或微芯片设备进行分离。
相差显微镜108被用于生成细菌408的3D QPI 412。例如,相差显微镜可以生成细菌408的3D折射率断层图(如前所述)。
微生物分类***110处理细菌408的3D QPI 412以生成输出,该输出定义导致患者404体内细菌感染的细菌408的预测种类410。细菌408可以是例如引起败血症的、引起疟疾的或引起结核病的。
细菌408的预测种类410被用于选择适合于治疗患者404体内细菌感染的抗生素疗法402(或其他治疗)。具体地,可以选择在抑制或破坏预测的细菌种类410方面特别有效的抗生素疗法。
所选择的抗生素疗法402此后可以被用于治疗患者404体内的细菌感染,例如,通过给患者404静脉注射所选择的抗生素。
过程400可以实现对导致患者的感染的细菌种类的快速识别。例如,微流体工程技术和抗体工程技术的进步已经实现了在一小时内从与患有细菌感染的患者的血液中存在的浓度一样低的浓度中分离细菌。获取细菌样本的3D QPI不需要诸如培养或染色的耗时的过程,并且微生物分类***(具体地,经训练的分类神经网络)使用输入数据进行预测消耗毫秒或更短的时间。因此,在一些情况下,过程400可以在一小时内实现准确的细菌识别。在一些特定情况下,过程400可以在45分钟内、30分钟内或15分钟内实现准确的细菌识别。在细菌408被从血液样本406中分离出之后(这可能是过程400的最耗时的步骤),生成3DQPI412和对细菌种类的预测410可以发生在10分钟内、5分钟内、3分钟内或1分钟内,诸如1到45秒(例如,1到30秒、1到20秒、1到10秒)。
相比之下,医院中的典型细菌种类识别(即,没有借助于3D定量相位成像和微生物分类***110)可能需要12小时或更长时间,因为涉及血培养和后续分析。
快速识别引起或导致患者的感染的细菌种类可以使适合的抗生素(即,有效抑制或破坏该种细菌的抗生素)能够被迅速向患者施用。对患有细菌感染的患者迅速施用适当的抗生素可以极大改善患者的临床结果。
例如,在一些情况下,挽救败血症患者的生命取决于在入院后的最初几个小时内对患者进行有效治疗。随着初始抗生素疗法的延迟,败血症患者的死亡率可能激增。因此,由3D相差成像和微生物分类***110促进的快速抗生素疗法可以对降低败血症患者的死亡率起着至关重要的作用。
过程400只是其中可以使用相差显微镜108和微生物分类***110的设置的一个示例。下面是一些其他示例。在一个示例中,相差显微镜108和分类***110可以被用于连续地监测患有传染病的住院患者,例如,通过在多个时间点中的每一个时间点处预测当前导致传染病的细菌种类。在另一个示例中,相差显微镜108和分类***110可以被用于识别农业环境(例如,养鱼场)中存在的细菌的预测种类。在另一个示例中,相差显微镜108和分类***110可以被用于识别食品、药品或两者中存在的细菌的预测种类。
图5是用于使用相差显微镜生成微生物的3D QPI的示例过程的图示。通过使用相差显微镜,微生物的相应相位图像(例如,相位图像502)和相应的幅度图像(例如,幅度图像504)被从多个照明角度(例如,照明角度θ1至θ70)测量。然后,使用光学衍射断层扫描(ODT)技术(其也可以被称为折射率断层扫描技术、断层扫描相位显微镜技术等),3D QPI(例如,3D折射率断层图506)基于该组多角度的相位和幅度图像被重建。
图6A-6G示出了其中分类神经网络被训练以从细菌的3D QPI中预测19种引发败血症的细菌的种类的实验结果。19种引发败血症的细菌为:鲍曼不动杆菌、枯草芽孢杆菌、阴沟肠杆菌、粪肠球菌、大肠杆菌、流感杆菌、肺炎克雷伯菌、单核细胞增生李斯特菌、藤黄微球菌、奇异变形杆菌、铜绿假单胞菌、粘质沙雷氏菌、金黄色葡萄球菌、表皮葡萄球菌、嗜麦芽窄食单胞菌、无乳链球菌、咽峡炎链球菌、肺炎链球菌和酿脓链球菌细菌。在此实验中,3DQPI是折射率断层图,每个折射率断层图对应于7.2×7.2×4.0μm3的长方体区域,该长方体内有一个或多个经标记的种类样品。x、y和z方向的像素大小分别为0.1、0.1和0.2μm。参考图7进行更具体地描述了此实验中使用的分类神经网络的架构。实验在5041张引发败血症的细菌的3D RI断层图上进行;对于每个种类,相同数量的断层图被随机分配到测试组和验证组。
经训练的分类神经网络在种类分类的盲测中准确度为94.6%。每个种类的平均灵敏度、特异性和精密度分别为94.6%、99.7%和94.7%。任何种类的灵敏度、特异性和精确度都不低于85%。分别对于7.5%的大肠杆菌和肺炎链球菌,发生与将大肠杆菌错误分类为肺炎克雷伯菌和将肺炎链球菌错误分类为酿脓链球菌有关的误差。包括流感杆菌、单核细胞增生李斯特菌、铜绿假单胞菌、咽峡炎链球菌的四种种类的识别具有100%的灵敏度。奇异变形杆菌具有85%的识别灵敏度。奇异变形杆菌、铜绿假单胞菌和嗜麦芽窄食单胞菌具有100%的识别特异性。大肠杆菌和肺炎克雷伯菌具有99.17%的特异性。奇异变形杆菌、铜绿假单胞菌和嗜麦芽窄食单胞菌中的每一个具有100%的识别精确度。大肠杆菌的识别具有85.7%的识别精确度。
图6A是表征经训练的分类神经网络的准确度的表600的图示。表600的与第i行和第j列对应的部分的阴影表征分类神经网络有多频繁地预测与行i对应的种类的细菌属于与列j对应的种类。
图6B示出了散点图602,其示出了由经训练的分类神经网络针对不同细菌种类的3D折射率断层图提取的“潜在特征”。具体地,对于相应的3D折射率断层图,散点图中的每个点是提供给分类神经网络的最后的全连接层(即,如参考图7描述的全连接层730)的输入的表示。使用t分布随机邻域嵌入(t-SNE),高维潜在特征被映射到二维(2D)平面。与被正确分类的3D折射率断层图对应的潜在特征被描绘为圆圈,并且与被错误分类的3D折射率断层像对应的潜在特征被用“x”符号描绘。可以理解,经训练的分类神经网络生成潜在特征,这些潜在特征将3D折射率断层图聚类到潜在特征空间中的相应组中。广义上,散点图中的簇中的每一个簇对应于相应的细菌种类。例如,簇604广泛地对应于鲍曼不动杆菌细菌的3D折射率断层图(即,簇604中的大多数点对应于鲍曼不动杆菌细菌的3D折射率断层图)。也可以示出散点图602基于其他特性(例如,革兰氏染色性和代谢性质)来近似地对3D折射率断层图进行聚类。
图6C示出了条形图606,其示出了分类神经网络在其已经被训练以处理不同形式的输入数据之后的准确度。比较了总共六种类型的数据:2D光学相位延迟图像、来自多个照明角度的一组2D光学相位延迟图像(即,其可以被处理以生成3D RI断层图)、3D RI断层图、和这三种类型的图像的基于阈值的二元掩模(binary mask)(如参考图6D所示)。这三种类型的图像和对应的分类方法在本说明书中被称为2D、多视图(multi-view)和3D。2D相位和3D RI图像中的阈值被设置为0.05π和1.3425,以适应细菌中多种多样的相位和RI值。在多视图方法和2D方法中,分类神经网络是2D卷积神经网络。在多视图方法中,对2D图像的预测可以被集成平均以作出对多视图数据的预测。条形图606表明,在此实验中,处理3D RI断层图使分类神经网络能够做出最准确的细菌种类预测。经训练的分类神经网络的准确度对于2D、多视图和3D断层图分别为74.2%、92.2%和94.6%,对于对应的二元掩模输入数据分别为49.6%、75.9%和92.4%。
图6D是被阈值化在0.05π以生成对应的二元掩模图像610的2D相位图像608、来自多个照明角度的每个被阈值化在0.05π以生成对应的二元掩模图像614的一组多视图相位延迟图像612,以及被阈值化在1.3425以生成对应的二元掩模图像618的3D RI断层像616的图示。比例尺表示2μm。
图6E示出了被经训练的分类神经网络正确分类的3D RI断层图620和被经训练的分类神经网络错误分类的3D RI断层图628。3D RI断层图620描绘了枯草芽孢杆菌细菌,624描绘了3D RI断层图620的三个横截面,并且626描绘了使用Grad-CAM++技术为3D RI断层图620生成的显著图(saliency map)的三个横截面。3D RI断层图的显著图中点的强度可以被理解为指示该点对于由经训练的分类神经网络生成的针对3D RI断层图的预测的重要性。3D RI断层图628描绘了金黄色葡萄球菌细菌,630描绘了3D RI断层图628的三个横截面,并且632描绘了使用Grad-CAM++技术为3D RI断层图628生成的显著图的三个横截面。比例尺表示2μm。图例622表征3D RI断层图620和628的视觉化;横轴表示折射率值(其可以是无单位的),并且纵轴表示折射率的梯度(其可以以任意单位表示)。例如,视觉化620和628的较暗区域对应于3D RI断层图的、具有1.375到1.4范围内的折射率且折射率梯度大于10的部分。
图6F示出了描绘被经训练的分类神经网络通过处理3D RI断层图正确分类的流感杆菌细菌的3D RI断层图的三个横截面634,以及使用Grad CAM++技术为该3D RI断层图生成的显著图的三个横截面636。638示出了被经训练的分类神经网络(即,具有2D卷积结构)处理并被错误分类为描绘金黄色葡萄球菌细菌的相同的流感杆菌细菌的一组多角度2D相位图像,并且640示出了使用Grad-CAM++技术为该2D相位图像638中的每一个生成的相应的显著图。比例尺表示2μm。
图6G示出了使用经训练的分类神经网络有多准确地识别细菌的各种属性(例如,属、能动性、形态、革兰氏染色性和需氧性(aerobicity))的示例。一组一个或多个细菌的属性可以通过使用经训练的分类神经网络处理细菌的3D RI断层图来预测细菌的种类,然后基于细菌的预测种类来识别细菌的属性。表642表征了使用经训练的分类神经网络识别19种引发败血症的细菌种类的15个属的准确度(总体:95.5%)。表644表征了使用经训练的分类神经网络识别属于葡萄球菌属的细菌种类的准确度(总体:98.7%)。表646表征了使用经训练的分类神经网络识别属于链球菌属的细菌种类的准确度(总体:96.2%)。条形图648表征了使用经训练的分类神经网络识别细菌的能动性的准确度(总体:98.2%)。条形图650表征了使用经训练的分类神经网络识别三组细菌(芽孢杆菌、球杆菌和球菌)的形态的准确度(总体:98.0%)。条形图652表征了使用经训练的分类神经网络识别细菌的革兰氏染色性的准确度(总体:97.5%)。使用经训练的分类神经网络来识别细菌的需氧性达98.2%的总体准确度。
图7是被配置为处理微生物的3D QPI 702以生成表征微生物的预测类型的分类输出704的分类神经网络的示例架构的图示。该架构具有一系列层,按顺序包括:具有7x7x7维度的卷积滤波器的3D卷积层706、6个瓶颈层的序列708(其中,跳跃连接使得到第一个瓶颈层之后的每个瓶颈层的输入包括前一个瓶颈层的输出和到第一个瓶颈层的输入之和)、具有1x1x1卷积滤波器的3D卷积层710、3D 2x2x2平均池化层712、12个瓶颈层的序列714,具有1x1x1卷积滤波器的3D卷积层716、3D 2x2x2平均池化层718、32个瓶颈层的序列720,具有1x1x1卷积滤波器的3D卷积层722、3D 2x2x2平均池化层724、32个瓶颈层的序列726、3D7x7x7全局平均池化层728、全连接层730和soft-max输出层732。
可以基于由分类神经网络做出的预测的性质来选择分类神经网络的某些超参数。例如,可以基于被预测的细菌种类的细菌(已知的)尺寸来选择分类神经网络的一个或多个卷积层的过滤器的维度。
图8是用于识别一个或多个微生物的预测类型的示例过程800的流程图。
相差显微镜被用于生成一个或多个微生物的3D QPI(802)。微生物的3D QPI包括微生物的3D表示。3D QPI可以是例如3D折射率断层图。微生物可以是例如细菌、病毒或真菌。在特定示例中,微生物可以是从患有细菌感染的患者的血液样本中分离的细菌。
使用分类神经网络根据分类神经网络的经训练的参数值来处理3DQPI,以生成表征微生物的神经网络输出(804)。分类神经网络可以是包括一个或多个3D卷积神经网络层的卷积神经网络。在一个示例中,神经网络输出定义预定数量的可能的微生物类型的概率分布。在另一个示例中,神经网络输出定义来自预定的一组可能索引中的索引,其中每个索引对应于相应的可能的微生物类型。
微生物的预测类型是使用神经网络输出来识别的(806)。在一个示例中,微生物的预测类型可以通过神经网络输出被识别为与最高概率值相关联的微生物类型。在另一个例子中,微生物的预测类型可以被识别为与由神经网络输出定义的索引对应的微生物类型。
图9是用于在参考图6A-6G描述的实验中生成细菌的3D RI断层图的示例性装置(Mach-Zehnder相差显微镜装置)900的图示。一组多向2D QPI测量结果在空间频率域中被组合以使用光学衍射断层扫描(ODT)技术生成3D RI断层图。每个2D QPI测量结果都是使用离轴全息术获得的。使用数字微镜设备(DMD),即,使用由DMD上的光栅图案衍射的+1阶光束,来控制照射样品(例如细菌样本)的光的入射角。使用波长为532nm的连续波激光器和数值孔径为1.2的两个水浸物镜,根据奈奎斯特定理,光学分辨率在水平轴上为110nm并且在垂直轴上为330nm。用100nm宽和200nm高的体素对3D RI断层图重新采样。在装置6900的图示中,“BC”指光束准直器,“BS”指分束器,“CL”指聚光镜,“FC”指光纤耦合器,“LP”指线性偏振器,“OL”指物镜,“TL”指管镜。
通常,可以使用任何适合的装置来生成3D RI断层图。参考:K.Kim、H.Yoon、M.Diez-Silva、M.Dao、R.R.Dasari和Y.Park:“使用光学衍射断层扫描对被恶性疟原虫寄生的红细胞和原位疟原虫色素晶体进行高分辨率三维成像(High-resolution three-dimensional imaging of red blood cells parasitized by Plasmodium falciparumand in situ hemozoin crystals using optical diffraction tomography)”,生物医学光学杂志19(1),011005(2013年6月25日),描述了可以被用于生成3D RI断层图的装置的另一个示例,出于文章中公开的装置的目的,该文章通过引用并入本文。参考:F.Charriere、A.Marian、F.Montfort、J.Kuehn、T.Colomb、E.Cuche、P.Marquet和C.Depeursinge:“通过数字全息显微镜进行的细胞折射率断层扫描(Cell refractive index tomography bydigital holographic microscopy),”光学快报,31(2),第178-180页(2006年),描述了可以被用于生成3DRI断层图的装置的另一个示例,出于文章中公开的装置的目的,该文章通过引用并入本文。
本说明书与***和计算机程序组件相关联地使用了术语“被配置”。对于一个或多个计算机的***被配置为执行特定操作或动作意味着该***已在其上安装了在操作时使***执行操作或动作的软件、固件、硬件或它们的组合。对于一个或多个计算机程序被配置为执行特定操作或动作意味着一个或多个程序包括在由数据处理装置执行时使装置执行操作或动作的指令。
本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件中、在包括本说明书中公开的结构和它们的结构等同物的计算机硬件中、或者在它们中的一个或多个的组合中实现。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序,即,编码在有形非暂时性存储介质上用于由数据处理装置执行或控制数据处理装置的操作的计算机程序指令的一个或多个模块。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。替代地或附加地,程序指令可以被编码在人工生成的传播信号(例如,机器生成的电、光或电磁信号)上,该信号被生成以对信息进行编码以传输到合适的接收器装置以由数据处理装置执行。
术语“数据处理装置”是指数据处理硬件并且涵盖用于处理数据的各种装置、设备和机器,例如包括可编程处理器、计算机、或多个处理器或计算机。装置还可以是或还包括专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外,装置可以可选地包括为计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理***、操作***、或它们中的一个或多个的组合的代码。
计算机程序,其也可以被称为或描述为程序、软件、软件应用程序、应用程序、模块、软件模块、脚本或代码,可以用任何形式的编程语言编写,包括编译或解释性语言,或声明性或程序性语言;并且它可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程或适于计算环境中使用的其他单元。程序可以,但不是必须,对应于文件***中的文件。程序可以存储在持有其他程序或数据的文件的一部分(例如,存储在标记语言文档中的一个或多个脚本)中,存储在专用于相关程序的单个文件中,或存储在多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署以在一台计算机上执行,也可以在位于一个站点或分布在多个站点并通过数据通信网络互连的多台计算机上执行。
在本说明书中,术语“引擎”被广泛用于指一种基于软件的***、子***或过程,该***、子***或过程被编程为执行一个或多个具体功能。通常,引擎将被实现为一个或多个软件模块或组件,安装在一个或多个位置的一个或多个计算机上。在一些情况下,一个或多个计算机将专用于特定引擎;在其他情况下,可以在相同的一个或多个计算机上安装和运行多个引擎。
本说明书中描述的过程和逻辑流程可由一个或多个可编程计算机执行,该计算机执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如,FPGA或ASIC)或由专用逻辑电路和一个或多个编程的计算机的组合来执行。
适于执行计算机程序的计算机可以基于通用或专用微处理器或两者,或任何其他种类的中央处理单元。通常,中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本要素是用于执行或执行运行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可由专用逻辑电路补充或被合并到专用逻辑电路中。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘,或在操作上耦合以从其接收数据或向其传输数据,或两者。然而,计算机不需要有这样的设备。此外,计算机可以被嵌入到另一个设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位***(GPS)接收器或便携式存储设备例如,通用串行总线(USB)闪存驱动器,仅举几例。
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,例如包括半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动盘;磁光盘;以及CD ROM和DVD-ROM盘。
为了提供与用户的交互,本说明书中描述的主题的实施例可以在具有用于向用户显示信息的显示设备(例如,CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以通过其向计算机提供输入的键盘和指向设备(例如,鼠标或轨迹球)的计算机上实现。也可以使用其他种类的设备来提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感觉反馈,例如视觉反馈、听觉反馈或触觉反馈;并且可以以任何形式接收来自用户的输入,包括声音、语音和/或触觉输入。此外,计算机可以通过向用户使用的设备发送文档和从其接收文档来与用户交互;例如,通过响应于从网络浏览器收到的请求来将网页发送到用户设备上的网络浏览器。此外,计算机可以通过向个人设备(例如,运行消息传递应用程序的智能手机)发送文本消息或其他形式的消息并反过来从用户接收响应消息来与用户交互。
用于实现机器学习模型的数据处理装置还可以包括例如专用硬件加速器单元,用于处理机器学习训练或生产(production)的通用和计算密集型部分,即推理、工作负载。
可以使用机器学习框架(例如,TensorFlow框架、Microsoft Cognitive Toolkit框架、Apache Singa框架或Apache MXNet框架)来实现和部署机器学习模型。
本说明书中描述的主题的实施例可以在计算***中实现,该计算***包括后端组件(例如,作为数据服务器),或者包括中间件组件(例如,应用服务器),或者包括前端组件(例如,具有图形用户界面的客户端计算机、网络浏览器或用户可以通过其与本说明书中描述的主题的实现进行交互的应用程序),或一个或多个这样的后端、中间件或前端组件的任何组合。***的组件可以通过任何形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(LAN)和广域网(WAN),例如,互联网。
计算***可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系是由于在相应的计算机上运行的计算机程序而产生的,并且彼此之间具有客户端-服务器关系。在一些实施例中,服务器将数据(例如,HTML页面)发送到用户设备,例如,用于向与作为客户端的设备交互的用户显示数据和从其接收用户输入。可以在服务器处从设备接收在用户设备处生成的数据,例如,用户交互的结果。
虽然本说明书包含许多具体的实现细节,但这些不应被解释为对任何发明的范围或可能被要求保护的范围的限制,而是对可能特定于特定发明的特定实施例的特征的描述。本说明书中在独立实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中独立地或在任何合适的子组合中实现。此外,尽管上面的特征可能被描述为在某些组合中起作用,并且甚至最初被要求如此,但在一些情况下,来自要求保护的组合的一个或多个特征可以被从组合中删除,并且要求保护的组合可以针对子组合或子组合的变体。
类似地,虽然按特定顺序在附图中描述了并在权利要求中叙述了操作,但这不应被理解为需要按所示的特定顺序或按连续顺序执行这些操作,或者要求执行所有示出的操作,以达到期望的效果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中各种***模块和组件的分离不应被理解为在所有实施例中需要这样的分离,并且应当理解所描述的程序组件和***一般可以被一起集成到单个软件产品中或被打包成多个软件产品。
虽然已经描述了某些实施例,但是本公开不限于这样的实施例。
例如,虽然上文公开了某些细菌,但在一些实施例中,细菌可能涉及性传播感染,诸如,例如,淋病、梅毒或衣原体。在这样的实施例中,微生物分类***可以将细菌种类识别为例如***、生殖支原体、淋病奈瑟菌、微小脲原体、人型支原体、解脲支原体、***加德纳菌、沙眼衣原体、***毛滴虫、白色念珠菌或杜克雷嗜血杆菌。因此,本公开提供了对性传播感染的相对快速的诊断,这也可以产生对这样的感染的相对快速的治疗。
已经描述了主题的特定实施例。其他实施例在以下权利要求的范围内。例如,权利要求中所述的动作可以以不同的顺序执行并且仍然达到期望的结果。作为一个示例,附图中描绘的过程不一定需要所示的特定顺序或连续顺序来达到期望的结果。在一些情况下,多任务和并行处理可能是有利的。
Claims (23)
1.一种方法,包括:
使用相差显微镜生成一个或多个微生物的三维定量相位图像,其中所述三维定量相位图像包括所述微生物的三维表示;以及
使用神经网络来处理所述三维定量相位图像,其中:
所述神经网络是包括一个或多个三维卷积层的卷积神经网络;并且
所述神经网络被配置为根据所述神经网络的经训练的参数值来处理所述三维定量相位图像以生成表征所述微生物的神经网络输出;以及
使用所述神经网络输出来识别所述微生物的预测类型。
2.如权利要求1所述的方法,其中:
所述神经网络输出包括预定数量的微生物类型中的每一种微生物类型的相应概率值;以及
给定的微生物类型的概率值指示所述微生物属于所述给定的微生物类型的可能性。
3.如权利要求2所述的方法,其中,使用所述神经网络输出来识别所述微生物的所述预测类型包括:
将所述微生物的所述预测类型识别为具有所述神经网络输出中的最高概率值的微生物类型。
4.如权利要求1所述的方法,其中,所述神经网络输出包括微生物类型的概率值,所述微生物类型的概率值指示所述微生物属于所述微生物类型的可能性。
5.如权利要求1所述的方法,其中,所述微生物的所述预测类型选自由属、种、品系、革兰氏染色性、代谢性质、形态和能动性组成的组。
6.如权利要求1所述的方法,其中,所述微生物的所述三维定量相位图像是三维折射率断层图。
7.如权利要求1所述的方法,其中,所述微生物选自由细菌、病毒、真菌、寄生虫和微藻组成的组。
8.如权利要求7所述的方法,其中,所述微生物包括细菌。
9.如权利要求8所述的方法,其中,所述细菌存在于患者血液样本中。
10.如权利要求9所述的方法,还包括:基于所述细菌的预测类型向所述患者施用抗生素疗法。
11.如权利要求1所述的方法,其中,使用相差显微镜生成所述微生物的三维定量相位图像包括:
使用所述相差显微镜以多个照明角度的每一个照明角度生成所述微生物的相位和幅度图像;以及
使用所述相位和幅度图像重建三维折射率断层图。
12.如权利要求1所述的方法,其中,所述方法最多花费一小时。
13.一种方法,包括:
通过使用神经网络根据所述神经网络的经训练的参数值处理一个或多个微生物的三维定量相位图像来识别所述一个或多个微生物的预测类型。
14.如权利要求13所述的方法,其中,所述神经网络包括一个或多个三维卷积层。
15.如权利要求13所述的方法,其中:
所述神经网络被配置为生成表征所述微生物的神经网络输出;以及
识别所述微生物的所述预测类型包括至少部分地基于所述神经网络输出来识别所述微生物的所述预测类型。如权利要求13所述的方法,其中所述方法最多花费一小时。
16.一种方法,包括:
提供来自患有细菌感染的患者的生物样本;以及
在获得来自所述患者的所述生物样本的一小时内,识别所述患者的细菌的预测类型,包括:
通过使用包括一个或多个三维卷积层的神经网络,根据所述神经网络的经训练的参数值,处理从所述生物样本分离的一个或多个细菌的三维定量相位图像,以生成表征所述细菌的神经网络输出;以及
使用所述神经网络输出来识别所述细菌的所述预测类型。
17.如权利要求15所述的方法,其中,所述生物样本包括血液样本。
18.如权利要求15所述的方法,其中,在提供来自所述患者的所述生物样本的45分钟内识别所述患者的细菌的所述预测类型。
19.如权利要求15所述的方法,其中,在提供来自所述患者的所述生物样本的30分钟内识别所述患者的细菌的所述预测类型。
20.如权利要求13所述的方法,其中,在提供来自所述患者的所述生物样本的15分钟内识别所述患者的细菌的所述预测类型。
21.一种方法,包括:
提供来自被怀疑患有细菌感染的患者的生物样本;以及
在提供来自所述患者的所述生物样本的一小时内识别所述患者的细菌的预测类型,包括:
使用包括一个或多个三维卷积层的神经网络,根据所述神经网络的经训练的参数值,处理从所述生物样本分离的一个或多个细菌的三维定量相位图像,以生成表征所述细菌的神经网络输出;以及
使用所述神经网络输出来识别所述细菌的所述预测类型。
22.一种***,包括:
相差显微镜,被配置为生成一个或多个微生物的三维定量相位图像,其中所述三维定量相位图像包括所述微生物的三维表示;以及
微生物分类***,被配置为执行操作,所述操作包括:
使用神经网络处理所述三维定量相位图像,其中:
所述神经网络是包括一个或多个三维卷积层的卷积神经网络;并且
所述神经网络被配置为根据所述神经网络的经训练的参数值处理所述三维定量相位图像以生成表征所述微生物的神经网络输出;以及
使用所述神经网络输出来识别所述微生物的预测类型。
23.一种或多种非暂时性计算机可读存储介质,其存储指令,当所述指令由一个或多个计算机执行时,使所述一个或多个计算机执行操作,所述操作包括:
接收一个或多个微生物的使用相差显微镜生成的三维定量相位图像,其中所述三维定量相位图像包括所述微生物的三维表示;以及
使用神经网络处理所述三维定量相位图像,其中:
所述神经网络是包括一个或多个三维卷积层的卷积神经网络;并且
所述神经网络被配置为根据所述神经网络的经训练的参数值来处理所述三维定量相位图像以生成表征所述微生物的神经网络输出;以及
使用所述神经网络输出来识别所述微生物的预测类型。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962817680P | 2019-03-13 | 2019-03-13 | |
US62/817,680 | 2019-03-13 | ||
US201962856290P | 2019-06-03 | 2019-06-03 | |
US62/856,290 | 2019-06-03 | ||
PCT/IB2019/058248 WO2020183231A1 (en) | 2019-03-13 | 2019-09-27 | Identifying microorganisms using three-dimensional quantitative phase imaging |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113508418A true CN113508418A (zh) | 2021-10-15 |
Family
ID=72427798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980093334.9A Pending CN113508418A (zh) | 2019-03-13 | 2019-09-27 | 使用三维定量相位成像识别微生物 |
Country Status (6)
Country | Link |
---|---|
US (2) | US20220156561A1 (zh) |
EP (1) | EP3906526A4 (zh) |
JP (1) | JP2022526084A (zh) |
KR (1) | KR20210128505A (zh) |
CN (1) | CN113508418A (zh) |
WO (1) | WO2020183231A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118261910A (zh) * | 2024-05-29 | 2024-06-28 | 南昌千麦医学检验实验室有限公司 | 一种基于图像识别的菌株检测方法及*** |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113508418A (zh) * | 2019-03-13 | 2021-10-15 | 唐摩库柏公司 | 使用三维定量相位成像识别微生物 |
US11557033B2 (en) * | 2019-08-09 | 2023-01-17 | International Business Machines Corporation | Bacteria classification |
DE102021114287A1 (de) * | 2021-06-02 | 2022-12-08 | Carl Zeiss Microscopy Gmbh | Mikroskopiesystem und Verfahren zum Erzeugen stilisierter Kontrastbilder |
US11850005B1 (en) * | 2022-10-27 | 2023-12-26 | Mammen Thomas | Use of immersive real-time metaverse and avatar and 3-D hologram for medical and veterinary applications using spatially coordinated multi-imager based 3-D imaging |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108885682A (zh) * | 2016-02-26 | 2018-11-23 | 谷歌有限责任公司 | 使用神经网络处理细胞图像 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10082653B1 (en) * | 2014-06-27 | 2018-09-25 | University Of South Florida | Systems and methods for performing quantitative phase-contrast confocal microscopy |
WO2017053592A1 (en) | 2015-09-23 | 2017-03-30 | The Regents Of The University Of California | Deep learning in label-free cell classification and machine vision extraction of particles |
KR20170099737A (ko) * | 2016-02-23 | 2017-09-01 | 노을 주식회사 | 접촉식 염색 패치 및 이를 이용하는 염색 방법 |
KR101865624B1 (ko) * | 2016-06-10 | 2018-06-11 | 주식회사 토모큐브 | 파면 제어기를 이용한 초고속 3차원 굴절률 영상 촬영 및 형광 구조화 조도 현미경 시스템 및 이를 이용한 방법 |
US10417560B2 (en) | 2016-12-01 | 2019-09-17 | Via Alliance Semiconductor Co., Ltd. | Neural network unit that performs efficient 3-dimensional convolutions |
US10311573B2 (en) * | 2017-05-02 | 2019-06-04 | Techcyte, Inc. | Training and machine learning classification of mold in digital microscopy images |
IT201700081630A1 (it) * | 2017-07-18 | 2019-01-18 | Alifax Srl | Metodo di rilevazione batterica |
WO2019018693A2 (en) * | 2017-07-19 | 2019-01-24 | Altius Institute For Biomedical Sciences | METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING |
WO2019032723A1 (en) * | 2017-08-09 | 2019-02-14 | Allen Institute | IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING |
EP3814749A4 (en) * | 2018-07-31 | 2022-04-06 | The Regents Of The University Of Colorado | SYSTEMS AND METHODS FOR APPLYING MACHINE LEARNING TO ANALYZE MICROSCOPY IMAGES IN HIGH-THROUGHPUT SYSTEMS |
CN113508418A (zh) * | 2019-03-13 | 2021-10-15 | 唐摩库柏公司 | 使用三维定量相位成像识别微生物 |
KR102280764B1 (ko) * | 2019-06-14 | 2021-07-22 | 주식회사 토모큐브 | 3차원 정량 위상 영상 측정과 딥러닝을 이용한 신속 비표지 혈액암 진단 방법 및 장치 |
KR102246439B1 (ko) * | 2020-02-19 | 2021-04-30 | 주식회사 토모큐브 | 기계학습 알고리즘을 활용한 신속한 3차원 단층촬영의 정규화 방법 및 장치 |
US20220180515A1 (en) * | 2020-12-09 | 2022-06-09 | The Chinese University Of Hong Kong | Artificial intelligence enabled reagent-free imaging hematology analyzer |
US20220383986A1 (en) * | 2021-05-28 | 2022-12-01 | The Board Of Trustees Of The University Of Illinois | Complex System for Contextual Spectrum Mask Generation Based on Quantitative Imaging |
-
2019
- 2019-09-27 CN CN201980093334.9A patent/CN113508418A/zh active Pending
- 2019-09-27 EP EP19919488.7A patent/EP3906526A4/en active Pending
- 2019-09-27 WO PCT/IB2019/058248 patent/WO2020183231A1/en unknown
- 2019-09-27 KR KR1020217032964A patent/KR20210128505A/ko unknown
- 2019-09-27 US US17/431,871 patent/US20220156561A1/en active Pending
- 2019-09-27 JP JP2021555105A patent/JP2022526084A/ja active Pending
-
2022
- 2022-09-23 US US17/951,872 patent/US12001940B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108885682A (zh) * | 2016-02-26 | 2018-11-23 | 谷歌有限责任公司 | 使用神经网络处理细胞图像 |
Non-Patent Citations (1)
Title |
---|
GEON KIM ET: ""Automated Identification of Bacteria Using Threedimensional Holographic Imaging and Convolutional Neural Network"", 2018 IEEE PHOTONICS CONFERENCE, 30 September 2018 (2018-09-30), pages 1 - 2 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118261910A (zh) * | 2024-05-29 | 2024-06-28 | 南昌千麦医学检验实验室有限公司 | 一种基于图像识别的菌株检测方法及*** |
CN118261910B (zh) * | 2024-05-29 | 2024-07-26 | 南昌千麦医学检验实验室有限公司 | 一种基于图像识别的菌株检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
EP3906526A4 (en) | 2022-03-02 |
WO2020183231A1 (en) | 2020-09-17 |
US20230013209A1 (en) | 2023-01-19 |
US20220156561A1 (en) | 2022-05-19 |
US12001940B2 (en) | 2024-06-04 |
EP3906526A1 (en) | 2021-11-10 |
JP2022526084A (ja) | 2022-05-23 |
KR20210128505A (ko) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12001940B2 (en) | Identifying microorganisms using three-dimensional quantitative phase imaging | |
Isozaki et al. | AI on a chip | |
Alyoubi et al. | Diabetic retinopathy fundus image classification and lesions localization system using deep learning | |
Jo et al. | Quantitative phase imaging and artificial intelligence: a review | |
Moebel et al. | Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms | |
Cutler et al. | Omnipose: a high-precision morphology-independent solution for bacterial cell segmentation | |
US20240052395A1 (en) | Antimicrobial susceptibility testing with large-volume light scattering imaging and deep learning video microscopy | |
Maqsood et al. | Hemorrhage detection based on 3D CNN deep learning framework and feature fusion for evaluating retinal abnormality in diabetic patients | |
Oh et al. | Three-dimensional label-free observation of individual bacteria upon antibiotic treatment using optical diffraction tomography | |
Sengupta et al. | Intracranial hemorrhages segmentation and features selection applying cuckoo search algorithm with gated recurrent unit | |
Takahashi et al. | Fine-tuning approach for segmentation of gliomas in brain magnetic resonance images with a machine learning method to normalize image differences among facilities | |
Zinchuk et al. | Machine learning for analysis of microscopy images: a practical guide | |
Shovon et al. | Strategies for enhancing the multi-stage classification performances of her2 breast cancer from hematoxylin and eosin images | |
Morishita et al. | Reconstructing 3D deformation dynamics for curved epithelial sheet morphogenesis from positional data of sparsely-labeled cells | |
Kim et al. | Rapid and label-free identification of individual bacterial pathogens exploiting three-dimensional quantitative phase imaging and deep learning | |
Lamiable et al. | Revealing invisible cell phenotypes with conditional generative modeling | |
Bouchard et al. | Resolution enhancement with a task-assisted GAN to guide optical nanoscopy image analysis and acquisition | |
Alhassan et al. | Enhanced fuzzy elephant herding optimization-based OTSU segmentation and deep learning for Alzheimer’s disease diagnosis | |
Jo et al. | Data-driven multiplexed microtomography of endogenous subcellular dynamics | |
Wang et al. | Simple and robust deep learning approach for fast fluorescence lifetime imaging | |
Chen et al. | Deep neural network for cardiac magnetic resonance image segmentation | |
León-Periñán et al. | ChroMo, an application for unsupervised analysis of chromosome movements in meiosis | |
Venkata Satya Vivek et al. | Biomedical Microscopic Imaging in Computational Intelligence Using Deep Learning Ensemble Convolution Learning‐Based Feature Extraction and Classification | |
Li et al. | Random-reaction-seed method for automated identification of neurite elongation and branching | |
Kubach et al. | Same same but different: a web-based deep learning application for the histopathologic distinction of cortical malformations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40053011 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220623 Address after: Daejeon, Korea Applicant after: Donmore Cooper Address before: Daejeon Applicant before: Donmore Cooper Applicant before: Korea Higher Institute of science and technology |
|
TA01 | Transfer of patent application right |