CN115298702A - 用于哺乳动物迁移学习的***和方法 - Google Patents

用于哺乳动物迁移学习的***和方法 Download PDF

Info

Publication number
CN115298702A
CN115298702A CN202180020781.9A CN202180020781A CN115298702A CN 115298702 A CN115298702 A CN 115298702A CN 202180020781 A CN202180020781 A CN 202180020781A CN 115298702 A CN115298702 A CN 115298702A
Authority
CN
China
Prior art keywords
medical
species
data
image
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180020781.9A
Other languages
English (en)
Inventor
肖恩·托马斯·柯廷
柯蒂斯·米切尔·斯图亚特
瑞安·马修·吉尔布赖德
道格拉斯·柯克帕特里克
德万·奥斯特
克里斯托弗·约维诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ai On Innovation Co
Original Assignee
Ai On Innovation Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ai On Innovation Co filed Critical Ai On Innovation Co
Publication of CN115298702A publication Critical patent/CN115298702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Compounds Of Unknown Constitution (AREA)
  • Polysaccharides And Polysaccharide Derivatives (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

使用迁移学***台或其他应用使用经训练的检查点以提供输入图像的自动分析和热图。

Description

用于哺乳动物迁移学习的***和方法
优先权
本申请是于2020年3月10日递交的、名称为“用于哺乳动物迁移学习的***和方法”的美国临时申请的62/987,441的非临时申请，其全部公开内容通过引用并入本文。
背景
涉及3D图像分类或分割的机器学习问题通常利用大量高质量的不同标记数据来获得问题空间的适当统计样本，并允许创建能够准确执行给定任务的神经网络。在人类和兽医学应用中的部分医学成像领域，由于为复杂问题提供专家标记数据的独特挑战，这个问题变得更加严重。一些数据可能以适当标记的形式主要用于人类应用(例如，用于放射学)，而在其他问题(例如，组织病理学)中，存在更全面的动物数据集(例如，在组织病理学的情形下针对猪的数据集)。为了将机器学习技术的适用性扩大到缺乏足够标记数据的人类医学或兽医学应用，需要一种改进的迁移学习***和方法。
附图说明
通过结合以下附图对一些示例实施例的详细描述，将更容易理解本公开：
图1示出了被配置成用于哺乳动物迁移学习的示例性***的示意图。
图2示出了可以在哺乳动物迁移学习过程的第一会话期间执行的一组示例性步骤的流程图。
图3示出了可以在哺乳动物迁移学习过程的可选第二会话期间执行的一组示例性步骤的流程图。
图4示出了例示训练数据的可能组合的示意图。
图5示出了可以在训练和验证过程期间执行的一组示例性步骤的流程图。
图6示出了可以在测试和应用期间执行的一组示例性步骤的流程图。
图7示出了用于查看具有关于目标异常的热图识别的医学图像数据的一示例性界面的屏幕截图。
图8示出了用于查看具有关于目标异常的热图识别的医学图像数据的另一示例性界面的屏幕截图。
具体实施方式
现在将描述本公开的各种非限制性实施例以提供对本文公开的***和方法的结构、功能和使用的原理的整体理解。这些非限制性实施例的一个或多个示例在附图中示出。本领域普通技术人员将理解，本文具体描述并在附图中示出的***和方法是非限制性实施例。结合一个非限制性实施例示出或描述的特征可以与其他非限制性实施例的特征组合。这样的修改和变化旨在包括在本公开的范围内。
在整个说明书中对“各种实施例”、“一些实施例”、“一个实施例”、“一些示例实施例”、“一个示例实施例”或“实施例”的引用意指结合任何实施例描述的特定特点、结构或特征包括在至少一个实施例中。因此，用语“在各种实施例中”、“在一些实施例中”、“在一个实施例中”、“一些示例实施例”、“一个示例实施例”或“在实施例中”在整个说明书的各处出现不一定是全部引用同一实施例。此外，在一个或更多个实施例中，特定特点、结构或特征可以以任何合适的方式组合。
在整个本公开中，对组件或模块的引用通常是指在逻辑上可以组合在一起以执行一个功能或一组相关功能的项目。相似的附图标记通常旨在指代相同或相似的组件。组件和模块可以用软件、硬件或软件和硬件的组合来实现。软件一词被广泛使用，不仅包括可执行代码，还包括任何电子格式的数据结构、数据存储和计算指令、固件和嵌入式软件。术语信息和数据被广泛使用，其可以包括各种各样的电子信息，包括但不限于机器可执行或机器可解读的指令；文本、视频数据和音频数据等内容；和各种代码或标志。在上下文允许的情况下，术语信息、数据和内容有时可以互换使用。
本文所讨论的示例仅是示例并且被提供以帮助解释本文所述的***和方法。对于这些***和方法中的任何一个的任何特定实施方式，除非特别指定为强制性的，否则附图中所示或以下讨论的任何特征或组件均不应被视为强制性的。为了便于阅读和清楚起见，某些组件、模块或方法可以仅结合特定附图来描述。没有具体描述的组件的任何组合或子组合不应被理解为表明任何组合或子组合是不可能的。此外，对于所描述的任何方法，无论该方法是否结合流程图进行描述，都应该理解的是，除非上下文另有规定或要求，否则在方法实施中执行的任何显式或隐式的步骤顺序不暗示这些步骤必须按呈现的顺序执行，而是可以以不同的顺序执行或并行执行。
如已经描述的，需要一种用于哺乳动物迁移学习的结合不同数据集的***和方法，其中，一些数据量来自不同的动物或问题，以允许训练能够以高度准确性执行任务的神经网络。通常需要可用的全面标记、特定于任务的数据集来训练人工智能(例如人工神经网络)识别和检测这些数据集中的特定特征或同类型数据的新实例(例如显示生物体的MRI扫描中健康组织与癌性或异常生长之间的差异)的能力。在产生“高质量”训练输入时评估多个因素，以便使用所述输入训练的AI可以输出用以突出异常的解决方案，以及AI对医学扫描中由位置标签指定的期望异常的评估的特异性和准确性。人工智能的好处在于能够动态检测低于人类解读者感知范围的异常，并且不存在人类常见的限制因素，例如疲劳、视网膜过度饱和或对人类没有遇到过的案例的了解不足，同时还以比人类更快的速度运行。然而，在传统方法中，使用AI时对这种改进性能的权衡是需要大量数据来有效训练AI***的。所需数据集的大小通常在数万或数十万个数据点的数量级，如果未扩展到数百万个的话。
被标记的数据可以指的是附加到主图像或信息(例如CT扫描、MRI、X射线、超声、fMRI、多模态2D、多模态3D、多模态4D)并且被存储在与主信息分开的文件中的数据。被标记的数据可以以数字文件格式存储，例如但不限于.dicom、.dcm、.nii、.nifti、.mhd、.h、.jpg、.mpeg或本文中任一多维数据的任何组合，上述多维数据包括但不限于3D或2D数据。标签可能与主数据的格式和空间方向相对应，其中值包含在标签的像素/体素中。标签格式可以经历文件类型的转换，其中数据从原始值类型重新定义为另一种值类型或体素定义的类别(例如，类别0＝背景，类别1＝器官，类别2＝癌症)。体素定义的类别值不限于标签文件中设定的单位数量或分类类型，并且可以动态分配、分类和传播到用户指定的任何大量数据分类中。作为一个示例，标签可以是对应于图像数据集的元数据集，这种对应被表示为图像数据中未明确存在的某些特征的每像素或每体素关联。
被标记的数据可以来自多个机器、方法和受试者。标签特点可以包括但不限于物种、标签类型和标签类别选项或值。每条数据都来自单个受试者物种。标签类型可以包括但不限于分类、边界框回归和分割。分类标签值是种类值；边界框回归标签值是坐标中心和框尺寸，表示对象在输入数据中的位置；分割例如是二进制热图或具有每个体素的种类类别值的热图。本领域范围内的标记输入将集中在数据的对象上，其将被称为“人类”、“动物”和“替代动物”，其中替代动物是指与先前输入训练数据的物种不同的另一动物物种(例如犬、猪、马、猫和啮齿动物)，以及“物种”可以指哺乳动物集中的任何单一动物。标签类别选项和值可以包括但不限于特定组织、器官、细胞器和异常。
全面标记的人类医学数据集(包括但不限于诸如CT、MRI、X射线、超声和组织病理学之类的模态)比具有相似模态的被标记的基于动物的兽医学数据的数量更大，因为被标记的动物数据相对稀缺。当从大量源自动物的数据转换为源自人类的数据时，也存在充分标记的数据的相对稀缺性，这取决于所考虑的问题或方式。例如，与人类相比，针对动物对象(主要是猪)的被标记的组织病理学数据在数量上更多。为了解决医学和兽医学图像分析问题空间中高质量标记数据的容量差异，根据本公开，来自特定物种的标记数据可用于训练AI以检测替代物种的完全或部分增补的异常(例如，添加被标记的人类数据以帮助检测犬类异常)。为了促进这种增补，可以在所有训练、验证和测试会话中的所有选定集合中保留模态和种类标签。
所公开的技术的一些实现可以包括基于云的平台，该平台例如可以被医疗专业人员、病患、保险公司或寻求放射学扫描分析的其他各方访问。图1示意性地示出了可以由用户设备(12)通过网络(14)(例如，LAN、WAN或其他通信网络)访问的基于人工智能的案例研究分析计算***(10)，然而应当理解，所公开的技术也可以实现为独立的、本地执行的软件应用。计算***(10)可以包括一个或多个服务器(例如，物理服务器、虚拟服务器、云服务器或其他计算环境)，并且每个服务器可以包括处理器、存储器、存储设备、通信设备、图形处理器等数据传输、操作和分析中常用的组件。用户设备(12)可以是例如计算机、膝上型电脑、智能手机、平板电脑、医院信息***、医学成像设备(例如，MRI机器或其他数字成像器)或能够与计算***(10)通信的其他设备。
基于人工智能的案例研究分析计算***可以在被标记的哺乳动物数据上进行训练，上述哺乳动物数据例如为仅人类数据或人类和动物数据的组合。在这样的示例中，远程用户(12)可以是例如寻求对动物器官的扫描的分析以帮助诊断的兽医的信息***。
如图所示，远程用户(12)可以从病患检查和数字诊断的收集开始该过程，上述数字诊断例如为对一个或更多个器官的一次或更多次扫描。用户可以为受检查的动物形成案例研究，并将案例研究上传到基于人工智能的案例研究分析计算***。尽管上传的案例研究的内容可能会有所不同，但案例研究可以包括由兽医的成像设备收集的动物的一个或更多个特定器官的一次或更多次扫描。这种上传可以通过任何合适的数据传输技术进行，诸如通过例如在线的基于网络的门户、软件应用接口或其他通信渠道。
在从远程用户接收到案例研究时，基于人工智能的案例研究分析计算***可以基于其成像模型执行案例研究分析并将分析添加到案例研究。可以使用任何合适数量的方法将处理分析添加到案例研究中。例如，在一个实施例中，基于人工智能的案例研究分析计算***用颜色编码的热图来扩充案例研究，以直观地指示潜在的问题区域。然后可以将具有分析的案例研究下载或以其他方式传输或提供给远程用户。远程用户可以基于由基于人工智能的案例研究分析计算***提供的案例研究的分析采取适当的后续步骤。
根据各种实施例，该***和方法可以被提供作为分析过去案例研究以形成针对异常发现的参考点并且可以报告那些发现的软件平台或应用。因此，可以提供对病例的更全面的诊断性视觉分析，而不会将最终发现限于视觉上存在于预定义的特定参数内的特定疾病。
被标记的数据通过图2所示的过程进入***，该图2示意性地示出了根据本公开的用于迁移学***的调整和测试，这可能取决于所寻求的期望准确度水平、资源的可用性和/或其他操作参数。根据不同的实施例，本文描述的使用图2和图3中描绘的作为非限制性用例示例的一个或更多个过程流的***和方法在一些实施例中可以实现至少70％的置信水平，而在其他实施例中可以实现超过95％的峰值置信水平。于另外的非限制性使用案例示例中，在针对20-80磅的猫和狗的肝、肺、肾和脾肿块/肿瘤的情形下准确度水平可以超过80％，而在其他实施例中，准确度水平可以超过85％或87％。
参照图2，单会话方法(100)控制是否将单会话方法应用于第一学习会话。单会话方法允许用户使用物种应用列表之外的数据进行训练，其中物种应用列表是指该领域中模型的预期用例，只要在同一实例中使用相同的类别标签即可。单会话方法是指对象检测和实例分割模型的方法，这些模型在对区域提议进行采样时会经历一种可配置的窗口或值的重新定向。该模型实现了在应用目标数据之前对来自多个源的被标记的输入数据进行分层的能力，上述分层是通过将被标记的输入数据划分为“块”来进行的，所述“块”定义为原始扫描/信息的子部分，其小到足以模糊数据示例所属的物种，同时仍然足够大，使得模型可以对内部器官、异常和其他特征类别进行分类。这些子集在文档的其余部分将被称为“块”。
在图2中，***可以为会话(102a)选择混合源数据，其中该方法被配置用于单个会话(100)。混合源数据集意味着来自不止一个物种和一个或更多个类别的数据用于形成一个数据集，该数据集随后可以拆分为训练、验证和测试集。用户还应指定稍后将由先进的采样方法使用的物种应用列表。混合源数据可以来自但不限于以下场景，其中“替代动物”数据可以指与第一种动物不属于同一物种的一个或更多个动物物种(例如，动物＝犬科动物，替代动物＝猫科动物和猪)：应用于动物测试数据的被标记的人类训练数据，应用于动物测试数据的被标记的动物训练数据，应用于替代动物测试数据的被标记的动物训练数据，应用于人类测试数据的被标记的动物训练数据，应用于动物测试数据的被标记的人类和动物训练数据的组合，应用于人类测试数据的被标记的人类和动物训练数据的组合，应用于替代动物测试数据的被标记的人类和动物训练数据的组合，应用于动物测试数据的被标记的人类、动物和替代动物训练数据的组合，应用于人类测试数据的被标记的人类、动物和替代动物训练数据的组合，或前述的任何组合。
在图4中展示了源数据的分布和相应的应用，该图例示了如何在迁移学习过程中整理和一起使用不同的数据源。该图例示了可以将不同的应用组合在一起以形成统一的解决方案。应用可以被定义为可以馈送到***的不同格式的数据，包括但不限于不同的数据模态(包括但不限于MRI领域中的T1或T2扫描)、扫描类型(包括但不限于超声波、MRI或CT扫描)、标签或对象类型，或来自人类或兽医解决方案的问题(包括但不限于不同的医学问题，例如癌症或其他医学异常)，其中动物应用可以包括来自不同动物物种的模态或扫描。
在图2中，在***被配置用于不止单个会话(100)的情况下，为会话选择特定于源的数据(102b)是用户选择单个物种和一个或更多个类别以形成以后可以拆分成训练、验证和测试集的数据集。物种应用与用户选择的物种相匹配。源数据的一些示例可以源自但不限于以下场景：应用于人类测试数据的被标记的人类训练数据、应用于动物测试数据的被标记的动物训练数据、应用于替代动物测试的被标记的替代动物训练数据。
在选择混合域数据(102a)的情况下，***可选择先进的采样方法(104a)，该方法可使用分层采样方法来控制针对不同数据集对哪些物种进行采样。用户应提供参数来控制采样方法。应选择配置以允许将任何源数据用于训练，同时仅允许将与目标应用列表匹配的目标数据用于测试和验证集。
在选择特定于域的数据(102b)的情况下，***可以选择传统的采样方法(104b)，该方法可以包括但不限于简单随机采样和***采样方法。在选择***采样的情况下，用户应还提供控制采样方法的参数。
在本公开中于图1和图2示出的预处理方法的目的是最小化输入图像体积和/或通道，同时最大化输入特征容量。当使用经训练的学习模型进行处理时，预处理有助于将示例区分为其类标签组。以这种方式，***可以选择预处理方法(106)，其可以包括但不限于特征归一化、图像缩放、特征工程以及将被称为滑动窗口法的滑动窗口法的2D到4D自定义版本。滑动窗口法用于分类和语义分割模型，例如但不限于用于展示本文描述的迁移学习方法的u-net，以模拟区域提议方法或类似替代方法的影响。这种限制为部分与整个窗口的方法导致不同物种之间的数据变得越来越相似。数据子集、窗口或“块”越小，被标记的输入数据和目标数据之间的相似性就越大。然而，窗口只有在它们足够大以使模型能够使用窗口输入图像正确区分类标签时才有用。其他预处理方法会在应用窗口之前改变图像的比例，从而改变最佳窗口大小。不同的方法会产生不同类型的输入，从而影响人工智能可能对信息的所有处理。如果在模型上使用滑动窗口法，则需要进行后处理，以重建最终输出。在分类网络的情况下，这将导致输出被压缩为单个输出类别向量。
模型选择涉及挑选学习模型来执行任何版本的迁移学习。迁移学习可以应用于所有监督学习模型和用于图像处理的模型类型。模型选择(108)是选择这些模型类型之一的过程。示例可以包括但不限于分类、语义分割、对象检测和实例分割。不同的模型类型可能需要具有用于不同标签类型组的值的数据。分类模型数据示例需要分类标签类型。用于语义分割模型的数据示例需要分割标签类型。用于对象检测模型的数据示例需要分类和边界框回归标签类型。用于实例分割模型的数据示例需要分类、边界框回归和分割标签类型。分类模型的示例包括但不限于VGG、ResNet、SE-ResNet、SENet、DenseNet、Inception Net、mobil net、EfficientNet和Alex Net。可以添加子网络来对具有时间维度的数据进行分类。示例包括但不限于RNN、LSTM或GRU。语义分割模型的示例包括但不限于u-net、Linknet、PSPNet和FPN。对象检测模型的示例包括但不限于rcnn、fast r-cnn、faster r-cnn、RetinaNet和YOLO。实例分割模型的示例包括但不限于YOLACAT、mask r-cnn、DETR。对象检测和实例分割模型类型在计算类别、边界框更新和或分割掩码之前将图像分解为更小的区域。当人类和其他哺乳动物物种的诊断图像被分割成更小的图像时，很难区分哪个块来自哪个物种。如果在预处理选择中实施滑动窗口算法，分类或语义分割模型也会产生同样的现象。将在本文件的上下文中提出的所公开的模型的实现是使用预处理器中的滑动窗口的自定义实现来执行语义分割的u-net。
用户选择设置(110)，如图2所示，可能包括但不限于数据拆分率(对于训练集、验证集和测试集，从选定的域和类别中采样)、损失函数、优化器、学习方法、批次大小(如果适用的话)，以及多个周期。这些设置还可以选择性地包括数据增强方法、度量和超参数。尽管这些设置与本文描述的迁移学习的独特应用和方法没有直接关系，但这些设置的选择与任何模型拟合数据的有效性有关，并且鉴于本公开这些选择对于本领域普通技术人员来说是明显的。
关于设置中的数据拆分率，另一区别点将是数据的较大部分用于该应用作为相对于训练数据集大小的测试/验证。这包括相对于正在解决的目标案例选择的增补数据案例的数量。例如，当目标案例是猫科动物的肝癌时，选择用于训练的增补数据案例包括但不限于人类肝癌、犬科动物肝癌和人类肾上腺肿块癌。目标案例与增补案例之比的非限制性示例包括2个其他案例对1个目标案例、3个其他案例对1个目标案例、4个其他案例对1个目标案例、5个其他案例对1个目标案例、6个其他案例对1个目标案例、7个其他案例对1个目标案例、8个其他案例对1个目标案例、9个其他案例对1个目标案例、10其他个案例对1个目标案例、11个其他案例对1个目标案例、12个其他案例对1个目标案例、13个其他案例对1个目标案例、14个其他案例对1个目标案例、15个其他案例对1个目标案例、16个其他案例对1个目标案例、17个其他案例对1个目标案例、18个其他案例对1个目标案例、19个其他案例对1个目标案例、20个其他案例对1个目标案例。
数据增强方法的示例可以包括但不限于切片相对于x、y或z轴之一的随机重新定向；应用于切片的某些强度的模糊；或操纵x、y或z轴之一的比例。如在本领域的典型使用中应用的数据增强方法仅应用于会话的训练数据集。
度量设置示例包括但不限于f1分数、精确度、召回率、特异性、准确度、DICE系数和其他混淆矩阵度量，以及它们的多类别混淆矩阵等价物。
损失函数设置示例包括但不限于均方误差、平均绝对误差、合页损失和交叉熵损失。
优化器可以使用训练数据来生成对模型的迭代更新，目的是减少由损失函数生成的误差分数。优化器的示例包括但不限于Momentum、Nesterov Accelerated Gradient、Adagrad、Adadelta、RMSprop、Adam、AdaMax、Nadam和AMSGrad。
学习方法控制有多少数据集被考虑用于计算模型更新。学习方法的示例包括但不限于随机梯度下降法(Stochastic Gradient Descent)、批次梯度下降法(Batch GradientDescent)和小批次梯度下降法(Mini-batch Gradient Descent)。
如果用户在设置中为学习方法选择了批次梯度下降法或小批次梯度下降法，则用户将需要提供批次大小。批次大小的示例可包括但不限于1、2、5、10、12、15、20、24、30、32、36、40、42、45、50、52、60、64、70、72、80、82、84、90、96和100。
周期指的是会话迭代训练和验证数据集的次数。所公开***的实现能够通过使用不同数量的时期训练神经网络来获得有意义的解决方案；不同的实现方式包括但不限于约3个周期、约5个周期、约7个周期、约10个周期、约15个周期、约20个周期、约25个周期、约30个周期、约35个周期、约40个周期、约45个周期、约50个周期、约60个周期、约70个周期、约80个周期、约90个周期、约100个周期、约150个周期、约200个周期、约250个周期、约300个周期、约350个周期、约400个周期、约450个周期、约500个周期、约550个周期、约600个周期、约650个周期、约700个周期、约750个周期、约800个周期、约850个周期、约900个周期、约950个周期、约1000个周期。其他方法允许在会话期间通过设置训练和验证的度量直方图分数如何比较的条件来确定周期的数量。
超参数控制如何迭代地修改模型或其设置，以在验证期间为问题搜索更好的模型。示例可能包括但不限于以下任何项：替代设置、模型属性(如使用的激活函数)、层深度和宽度的数目、层内核和内核大小、学习率、随机失活(dropout)、正则化和辅助输出层。
在图2中，运行会话(112)使用选定的数据、模型和设置来执行训练、验证和测试会话。这应该为训练和验证步骤的损失函数和度量以及测试步骤的误差和度量分数生成直方图值。训练和验证循环将针对在一些实施例中或在其他实施例中指定的周期数更新模型，直到已经满足用户指定的损失目标和训练和验证直方图的度量。
双会话决策块是用户可以选择在第一会话之后、在他们自己的判断下结束过程流或继续到第二会话(114)。在会话是单会话方法(114)的情况下，该过程结束并且应用被训练并准备好用于分析来自实际病患的案例研究。在会话是双会话方法(114)的情况下，***可以进行到图3的步骤。图3中的单会话决策块(200)是用户可以选择单独使用双会话方法或与图2中的单会话方法结合使用，而无论之前是否在第一会话中使用了单会话方法。
对于图3所示的双会话方法，***可以为会话选择混合目标数据(202a)，指示第一会话方法正用于第二会话。混合目标数据集意味着来自不止一个物种和一个或更多个类别的数据用于形成一数据集，该数据集随后可以拆分为训练、验证和测试集。用户还应该指定一物种应用列表，该物种应用列表稍后将由一个或更多个类别使用以形成随后可以被拆分为训练、验证和测试集的数据集。混合目标数据可以来自但不限于以下场景：应用于动物测试数据的被标记的人类训练数据、应用于动物测试数据的被标记的动物训练数据、应用于替代动物测试数据的被标记的动物训练数据、应用于人类测试数据的被标记的动物训练数据、应用于动物测试数据的被标记的人类和动物训练数据的组合、应用于人类测试数据的被标记的人类和动物训练数据的组合、应用于替代动物测试数据的被标记的人类和动物训练数据的组合、应用于动物测试数据的被标记的人类、动物和替代动物训练数据的组合、应用于人类测试数据的被标记的人类、动物和替代动物训练数据的组合、或用于第一会话的前述任意组合。
对于图3所示的双会话方法，***可以为会话选择特定于目标的数据(202b)，其可以包括用户选择单物种和一个或更多个类别以形成数据集，该数据集随后可以拆分成训练、验证和测试集。目标数据的一些示例可以来自但不限于以下场景：应用于动物测试数据的被标记的人类训练数据、应用于动物测试数据的被标记的动物训练数据、应用于替代动物测试数据的被标记的动物训练数据、应用于人类测试数据的被标记的动物训练数据、应用于动物测试数据的被标记的人类和动物训练数据的组合、应用于人类测试数据的被标记的人类和动物训练数据的组合、应用于替代动物测试数据的被标记的人类和动物训练数据的组合、应用于动物测试数据的被标记的人类、动物和替代动物训练数据的组合、应用于人类测试数据的被标记的人类、动物和替代动物训练数据的组合、或本文中的任意组合。
在选择混合域目标数据(202a)的情况下，用户可选择先进的采样方法(204a)，该方法可包括用户选择分层采样方法的两种配置以控制对不同数据集对哪些物种进行采样。配置应允许将任何目标数据用于训练，同时仅允许与目标应用列表匹配的数据。
在选择特定于域的目标数据(202b)的情况下，用户可以选择传统的采样方法(204b)，其可以包括但不限于简单随机采样和***采样方法。
在任一情况下，***可以为双会话哺乳动物迁移学习方法准备预训练模型(206)，其涉及两个可选步骤；选择早期模型层以冻结下一学习会话，并选择晚期模型层以替换为随机初始化的层。这样的选择可以手动执行，尽管本公开不限于仅手动选择。通常，传统迁移学习需要替换模型的最终层，但由于所公开的应用的输出类别在会话之间保留，因此无需此步骤即可获得可泛化的结果。一般来说，由于使用本文描述的双会话方法，模型中冻结的层越多，将模型拟合到问题空间所需的目标物种数据就越少。与单会话方法一样，双会话方法可能要求类别种类保持不变，而物种可以有所不同。
图3的修改设置过程(208)是用户可以更改先前在第一学习会话中使用的设置以优化前一会话的可泛化分数或输出。此时的超参数选择仅限于不会改变预训练模型架构或预处理方法的更改，因为此类更改会导致生成的***无法运行或产生无意义输出。
在图3中，运行会话(210)使用选择的数据、模型和设置来执行训练验证和测试会话。此过程应为训练和验证循环生成损失函数和度量的直方图，然后为测试步骤生成误差和度量分数。训练和验证循环将使用损失函数、优化器和其他强制设置来更新模型，以达到指定的周期数(或直到用户指定的针对训练和验证直方图的损失和度量的目标)已被满足。
图5示出了可以在训练和验证期间执行的一组步骤，例如可以在图2和图3中发生(例如，作为被运行或执行的会话的一部分(112、210))。虽然图5和图6示出了由“CPU”和“GPU”执行的特定步骤，但应该理解，这仅仅是一示例，并且可以由任一处理单元或由CPU、GPU、TPU和其他处理单元的组合来执行不同的步骤。
图5的步骤开始于提供和/或接收一个或更多个被标记的哺乳动物数据集(300)。该***选择(302)和杂化一个或更多个被标记的哺乳动物数据集，并存储所选择的数据(304)。所存储的数据被预处理(306)以将其转换成标准化格式，并且存储准备好的数据(308)。参数选择被配置成用于网络和数据(310)，并加载参数(312)以供使用。***然后执行对准备好的数据的数据分段、拆分和混合(314)，以便定义准备好的数据的段、部分或块，然后存储这些块(316)。定义这些块可以包括为每个块创建新文件或数据集，或者可以包括创建可以应用于准备好的数据以便识别每个块的元数据。然后***使用数据块来训练神经网络(318)并保存模型参数、结果度量和损失特征(320)。该***可以利用优化器来基于保存的特征(320)微调神经网络的性能，并且可以确定和保存一个或更多个改进的参数(324)。该***可以用神经网络执行训练的验证(326)，以便确定一组独立的结果(328)。
然后***可以通过将独立结果(328)与具有相似输入数据集的神经网络的标准结果进行比较来确定在神经网络的训练中是否已经执行了足够数量的周期以及是否已经达到足够的准确度水平(330)。在准确性不足的情况下，***可以通过利用改进的参数(324)在块上训练神经网络(318)来进行后续的周期。在准确度足够的情况下(330)，***可以产生神经网络的检查点(332)，该检查点可用于输入数据集的测试和独立分析。
图6示出了可以在检查点版本的测试期间和在使用神经网络分析实际案例研究期间执行的一组步骤。该***可以访问或接收(400)一个或更多个哺乳动物数据集。这些可能是可用于验证检查点版本有效性的测试数据集，或者可能是从***的用户接收的真实世界案例研究。***可以选择用于处理数据的检查点(402)，并且可以在其被存储的位置访问检查点(404)。***可以执行数据选择(406)以选择与目标数据有一些共性的案例并加载测试数据(408)。可以配置和/或选择(410)网络和数据参数，并且可以将那些配置加载(412)到神经网络。然后***可以执行数据分割(414)以将目标案例和相关案例(416)块化成子集。与之前的示例一样，这可能包括为块创建新的数据集，或创建定义其原始数据集中的块的一组元数据。然后***可以将检查点神经网络应用(418)到输入案例并创建热图输出(420)。
热图输出可以包括预渲染的图形或模型，或者可以包括可用于将视觉指示符叠加或***到渲染图像上的元数据。图7和图8各自提供了3D模型的示例，其中经识别的目标组织被标记。图7还直观地例示了图像被划分成的块，而其他渲染的热图，例如图8中渲染的热图，可以例示各个块。然后***可以分析(422)热图输出以产生一组准确度度量(424)，并且可以将完成的结果(426)提供给用户。
根据本公开，在AI网络模型训练期间使用一种或更多种物种的被标记的哺乳动物数据来检测哺乳动物物种中的异常。在一些实施例中，机器学习网络训练是使用专门标记的人类数据来执行的。在其他实施例中，使用被标记的人类数据和被标记的动物数据(即，非人类)的组合来执行机器学习网络训练。根据不同的实施例，当测试网络时，使用被标记的动物数据来确保所报告的网络准确性集中于它对动物的目标问题空间的泛化程度。在任何情况下，当前公开的***和方法可以利用被标记的哺乳动物数据中的相似性来帮助补偿适当学习以选择和区分抽象特征所需的数据的缺乏，这允许泛化网络模型解决方案。
根据本公开的方法有利地允许使用开发自基于动物的数据集或其他高质量数据集源的学习来快速开发机器学习解决方案，包括但不限于用于人类放射学以及其他成像模态的机器学习解决方案。因此，本文描述的***和方法可用于各种学科，包括但不限于全科医师、放射科医师、内科专家、诊断医师和成像专家，在本文中通常称为“医学专家”。
一旦使用前面部分中概述的过程训练了网络，就可以将使用迁移学习训练的网络应用于现场的实时数据。在一个实施例中，将以2-D或3-D扫描的形式接收数据。该实施例的数据将被分成包括扫描部分的块，然后通过网络被馈送。网络将输出针对每个体素的置信度值，这些置信度值被重建为与原始扫描的模式匹配的热图。该热图将通过使用间隔来细化，以选择将被指定为已识别的异常的全部或部分。然后，热图的这一部分将叠加在原始扫描上，以提供对医疗问题所在位置的评估。
根据不同的实施例，当还提供有合适的预处理、采样方法、设置和数据集时，***和方法可用于帮助优化模型。作为一个示例，这可能包括云平台或本地软件应用，其分析过去的案例研究以形成针对异常发现的参考点，并可以报告这些发现，无论这些发现多么小。因此，可以提供对案例的诊断更完整的视觉分析，而不会将最终发现限制在视觉上呈现在预定义的特定参数内的特定疾病。
通常，对于本领域普通技术人员来说明显的是，本文描述的实施例中的至少一些实施例可以在许多不同实施例中实现为软件、固件和/或硬件。软件和固件代码可以由处理器或任何其他类似的计算设备执行。可用于实施实施例的软件代码或专用控制硬件不是限制性的。例如，本文描述的实施例可以在计算机软件中使用任何合适的计算机软件语言类型实现，例如使用常规或面向对象的技术。这种软件可以存储在任何类型的合适的计算机可读介质上，例如磁或光存储介质。可以在不具体参考特定软件代码或专用硬件组件的情况下描述实施例的操作和行为。不存在这样的特定参考是可行的，因为清楚地理解普通技术人员将能够设计软件和控制硬件以基于本描述来实施实施例，而无需超过合理的努力并且无需过多的实验。
此外，本文描述的过程可以由可编程设备执行，例如计算机或计算机***和/或处理器。可以使可编程设备执行过程的软件可以存储在任何存储设备中，诸如例如计算机***(非易失性)存储器、光盘、磁带或磁盘。此外，当计算机***被制造或存储在各种类型的计算机可读介质上时，可以对至少一些过程进行编程。
还可以理解，这里描述的过程的某些部分可以使用存储在计算机可读介质或引导计算机***执行过程步骤的介质上的指令来执行。计算机可读介质可以包括例如存储设备，例如软盘、压缩盘(CD)、数字多功能盘(DVD)、光盘驱动器或硬盘驱动器。计算机可读介质还可以包括物理的、虚拟的、永久的、临时的、半永久的和/或半临时的存储器存储装置。
“计算机”、“计算机***”、“主机”、“服务器”或“处理器”可以是例如但不限于处理器、微型计算机、小型计算机、服务器、大型机、膝上型计算机、个人数据助理(PDA)、无线电子邮件设备、蜂窝电话、寻呼机、处理器、传真机、扫描仪或配置为通过网络传输和/或接收数据的任何其他可编程设备。本文公开的计算机***和基于计算机的设备可以包括用于存储用于获取、处理和传递信息的某些软件模块的存储器。可以理解，对于所公开的实施例的操作，这种存储器可以是内部的或外部的。
机器学习代码可以访问已由CPU或GPU设定的存储器位置，以迭代网络架构并对已存储在存储器中的指令进行解码和执行。这些会话的计算成本很高，可以使用GPU和CPU执行。由迭代器指示的CPU或GPU可以创建一个位置来存储数据的全部、部分、数据的变体或位置/方向链接数据。数据可以存储在存储器中，存储器可以包括但不限于RAM或外部存储设备。这些指令规定了网络将如何运行和起作用。一旦GPU可以访问存储器中的指令，它就会使用这些指令通过神经网络来组装和运行数据，其是在GPU的分布式内核上被计算的。
神经网络由权重、偏差和一组规则构成，这些规则描述了这些权重对通过一组中间存储状态馈入的输入数据的影响。这些部分可以是随机的、预设的或从现有检查点加载的。在不同实施例中，存储在RAM或辅助分配的存储器位置并使用CPU和GPU中的一个或两者执行的训练算法使用神经网络的来自GPU的计算结果来修改权重和偏差，使得由修改后的权重和偏差构造而成的网络经数学优化，以比网络的前一次迭代更准确地对数据执行。在不同的实施例中，以不同的块、批次和方法重复该过程，以允许创建能够准确执行必要任务(即识别重建的医学扫描中的异常)的网络。
使用与训练类似的过程在GPU上评估网络，因为GPU使用加载在存储器中的数据来完成神经网络的计算。这些评估的结果被存储并用于确定网络的准确性或行为，其可以在算法的上下文中进一步指定和详细说明。控制如何训练、评估和测试网络的过程的这种设置的描述被称为超参数，并且在一些实施例中通常由用户指定，在其他实施例中由自动算法指定。构成网络的权重和偏差可以存储到数据文件中以供以后重建(包括但不限于.hdf5格式或更广泛地包含有序方式的数字矩阵的任何其他文件格式)。生成的数据文件或任何其他类似目的的数据文件也可以被重新读取并用于构建神经网络，该神经网络的行为方式与用于生成文件的网络相同。
在本文公开的各种实施例中，单个组件可以被多个组件替换并且多个组件可以被单个组件替换以执行一个或更多个给定功能。除非这种替换不起作用，否则这种替换在实施例的预期范围内。计算机***可以包括通过一个或更多个数据总线与存储器(例如RAM或ROM)通信的一个或更多个处理器。数据总线可以在处理器和存储器之间传送电信号。处理器和存储器可以包括传导电流的电路。电路的各种组件的充电状态，例如处理器和/或存储器电路的固态晶体管，可以在电路操作期间改变。
一些附图可以包括流程图。尽管这样的图可以包括特定的逻辑流程，但是可以理解该逻辑流程仅仅提供了一般功能的示例性实现。此外，除非另有说明，否则逻辑流程不一定必须按呈现的顺序执行。此外，逻辑流程可以由硬件元件、由计算机执行的软件元件、嵌入在硬件中的固件元件或其任意组合来实现。
为了说明和描述的目的，已经呈现了实施例和示例的前述描述。它并不旨在穷举或限制所描述的形式。鉴于上述教导，许多修改是可能的。已经讨论了这些修改中的一些，并且本领域技术人员将理解其他修改。选择和描述实施例是为了最好地说明适用于预期的特定用途的各种实施例的原理。当然，该范围不限于本文所阐述的示例，而是可以由本领域普通技术人员在任何数量的应用和等效设备中采用。更准确地讲，本发明的范围由此旨在由所附权利要求限定。
该技术在心脏病学领域内的应用可以包括但不限于：椎心评分、心脏肿大、心律失常、冠状动脉阻塞、主动脉阻塞、心脏阻塞、主动脉疾病和马凡综合征、先天性心脏病、冠状动脉疾病、深静脉血栓形成、肺栓塞、二尖瓣关闭不全、二尖瓣发育不良、三尖瓣发育不良、二尖瓣狭窄、主动脉瓣狭窄、动脉导管未闭、室间隔缺损、房间隔缺损、扩张型心肌病、心律失常性心肌病、心丝虫病、肺动脉狭窄和法洛四联症。
该技术在胃肠道领域内的应用可以包括但不限于：食管扩张、巴雷特食管、食管异物、胸腔积气、胸腔积液、颅腹侧实质模式、尾背实质模式、结节或粟粒模式、肺结节、胃扩张、胃异物、胃扩张和肠扭转小肠异物小肠皱襞、二群小肠结肠异物。
该技术在腹部或肾脏区域内的应用可以包括但不限于：肝肿大、中腹部肿块、脾肿大、腹腔积液、腹膜后积液、腹膜后***病、肾矿化、肾肿大、小肾、膀胱结石、尿道结石、***肥大、***矿化。
该技术在骨骼和胸部区域内的应用可以包括但不限于：颈椎间盘间隙狭窄脊椎病、胸腰椎间盘间隙狭窄、间质型、支气管间质型、支气管型、肺肿块、阑尾骨折、侵袭性骨损伤。
该技术在放射学领域的应用可以包括但不限于：肺癌、结肠癌、结直肠癌、***、胃癌、膀胱癌、肝癌、肝血管癌、肾上腺癌、肾癌、胰腺癌、甲状腺癌、乳腺癌、卵巢癌、***癌、鳞状细胞癌、基底细胞癌、黑色素瘤、黑素细胞痣、光化性角化病、良性角化病、皮肤纤维瘤、血管病变、食管腺癌、神经母细胞瘤、骨关节炎、肋骨骨折、结构性神经损伤、脊柱侧弯、椎骨骨折、椎间盘突出、肺炎、气胸、肺通气、新型冠状病毒肺炎。
该技术在神经病学领域内的应用可以包括但不限于：轻度认知障碍、创伤性脑损伤、脑震荡、阿尔茨海默病、痴呆、帕金森病、中风病变、多发性硬化、脑肿瘤、颅内出血、退行性腰骶部狭窄、退行性脊髓病、弥漫性特发性骨肥厚、椎间盘疾病。
该技术在组织病理学领域内的应用可以包括但不限于：肿瘤增殖、核异型性评分、印戒细胞检测、多发性骨髓瘤、异常、分割、淋巴细胞、巨噬细胞、中性粒细胞、上皮细胞、线粒体分割、正常与贝宁与恶性白细胞癌分析、转移组织、免疫介导、溶血性贫血、免疫介导的血小板减少症、间变性贫血、抗体依赖性、细胞毒性、腺癌、非典型腺细胞和淋巴瘤。
该技术在眼科领域内的应用可以包括但不限于：眼部疾病、视神经出血、视神经性动脉瘤和微动脉瘤、硬性渗出物、软性渗出物、视网膜眼底疾病、糖尿病视网膜病变、失明、黄斑变性、青光眼、视盘移位、白内障、结膜下出血、外视、斜视、结膜炎和圆锥角膜。
该技术在心脏病学领域内的应用可以包括但不限于：椎心评分、心脏肿大、心律失常、冠状动脉阻塞、主动脉阻塞、心脏阻塞、主动脉疾病和马凡综合征、先天性心脏病、冠状动脉疾病、深静脉血栓形成、肺栓塞、二尖瓣关闭不全、二尖瓣发育不良、三尖瓣发育不良、二尖瓣狭窄、主动脉瓣狭窄、动脉导管未闭、室间隔缺损、房间隔缺损、扩张型心肌病、心律失常性心肌病、心丝虫病、肺动脉狭窄和法洛四联症。
该技术在胃肠道领域内的应用可以包括但不限于：食管扩张、巴雷特食管、食管异物、胸腔积气、胸腔积液、颅腹侧实质模式、尾背实质模式、结节或粟粒模式、肺结节、胃扩张、胃异物、胃扩张和肠扭转小肠异物小肠皱襞、二群小肠结肠异物。
该技术在腹部或肾脏区域内的应用可以包括但不限于：肝肿大、中腹部肿块、脾肿大、腹腔积液、腹膜后积液、腹膜后***病、肾矿化、肾肿大、小肾、膀胱结石、尿道结石、***肥大、***矿化。
该技术在骨骼和胸部区域内的应用可以包括但不限于；颈椎间盘间隙狭窄脊椎病、胸腰椎间盘间隙狭窄、间质型、支气管间质型、支气管型、肺肿块、阑尾骨折、侵袭性骨损伤。
该技术在放射学领域的应用可以包括但不限于：肺癌、结肠癌、结直肠癌、***、胃癌、膀胱癌、肝癌、肝血管癌、肾上腺癌、肾癌、胰腺癌、甲状腺癌、乳腺癌、卵巢癌、***癌、鳞状细胞癌、基底细胞癌、黑色素瘤、黑素细胞痣、光化性角化病、良性角化病、皮肤纤维瘤、血管病变、食管腺癌、神经母细胞瘤、骨关节炎、肋骨骨折、结构性神经损伤、脊柱侧弯、椎骨骨折、椎间盘突出、肺炎、气胸、肺通气、新型冠状病毒肺炎。
该技术在神经病学领域内的应用可以包括但不限于：轻度认知障碍、创伤性脑损伤、脑震荡、阿尔茨海默病、痴呆、帕金森病、中风病变、多发性硬化症、脑肿瘤、颅内出血、退行性腰骶部狭窄、退行性脊髓病、弥漫性特发性骨质增生、椎间盘疾病。
该技术在组织病理学领域内的应用可以包括但不限于：肿瘤增殖、核异型性评分、印戒细胞检测、多发性骨髓瘤、异常、分割、淋巴细胞、巨噬细胞、中性粒细胞、上皮细胞、线粒体分割、正常与贝宁与恶性白细胞癌分析、转移组织、免疫介导、溶血性贫血、免疫介导的血小板减少症、间变性贫血、抗体依赖性、细胞毒性、腺癌、非典型腺细胞、淋巴瘤。
该技术在眼科领域内的应用可以包括但不限于：眼部疾病、视神经出血、视神经性动脉瘤和微动脉瘤、硬性渗出物、软性渗出物、视网膜眼底疾病、糖尿病性视网膜病变、失明、黄斑变性、青光眼、视盘移位、白内障、结膜下出血、弱视、斜视、结膜炎、圆锥角膜。

Claims (20)

1.一种使用哺乳动物迁移学习训练神经网络的方法，所述神经网络用于医学图像分析，所述方法包括：
(a)通过处理器接收一个或更多个比较数据集，其中，所述一个或更多个比较数据集中的每个比较数据集包括与物种相关联的被标记的图像数据；
(b)通过所述处理器基于所述一个或更多个比较数据集来创建混合域数据集；
(c)对于所述混合域数据集的多个图像中的每个图像：
(i)通过所述处理器在该图像内定义多个块，其中，所述多个块中的每个块的大小被选择成模糊该图像的源的物种；
(ii)通过所述处理器将该图像的所述多个块和任何相关联的标签添加到混合域训练数据集；
(d)通过所述处理器，并利用所述神经网络进行下述操作：
(i)基于所述混合域训练集和所述相关联的标签来训练所述神经网络以识别来自目标物种的案例研究的医学特征，其中，关于所述一个或更多个比较数据集的一个或更多个物种包括除所述目标物种之外的至少一个物种；以及
(ii)基于选自所述混合域数据集的验证数据集来验证经训练的所述神经网络；以及
(e)通过所述处理器基于经训练和验证的所述神经网络来创建检查点。
2.根据权利要求1所述的方法，其中，所述相关联的标签包括下述中的一者：
(a)描述所述块的像素的每像素特征集；或者
(b)描述所述块的体素的每体素特征集。
3.根据权利要求1所述的方法，其中，所述一个或更多个比较数据集包括：与所述目标物种相关联的第一比较数据集；以及与除所述目标物种之外的物种相关联的第二比较数据集。
4.根据权利要求1所述的方法，其中，所述多个图像包括二维图像、三维图像和四维图像中的一者或更多者。
5.根据权利要求1所述的方法，其中，所述处理器包括下述中的一者或更多者：
(a)直接地或通过网络相互通信的一个或更多个中央处理单元；以及
(b)直接地或通过网络相互通信的一个或更多个图形处理单元。
6.根据权利要求1所述的方法，还包括：
(a)通过所述处理器从用户设备接收所述案例研究，所述案例研究包括与病患相关联的医学图像集；
(b)通过所述处理器在所述医学图像集内定义第二多个块，其中所述第二多个块中的每个块的大小被选择成模糊所述病患的物种；
(c)通过所述处理器并利用所述检查点来分析第二多个部分以识别所述医学图像集内的医学特征；以及
(d)通过所述处理器提供所述医学图像集内的所述医学特征的指示。
7.根据权利要求6所述的方法，其中，提供所述医学特征的指示包括：
(a)通过所述处理器使所述医学图像集中的至少一个医学图像显示在所述用户设备上；以及
(b)通过所述处理器使包括所述医学特征的所述指示的热图与至少一个医学图像一起被显示。
8.根据权利要求1所述的方法，其中：
(a)所述一个或更多个比较数据集中的每个比较数据集包括与物种和一个或更多个问题类别相关联的被标记的图像数据，其中，所述一个或更多个问题类别描述了一个或更多个医学异常；以及
(b)关于所述一个或更多个比较数据集的所述一个或更多个问题类别包括至少一个不描述所述医学特征的问题类别。
9.根据权利要求1所述的方法，还包括：基于选自所述混合域数据集的测试数据集来对所述检查点进行测试，其中所述测试数据集和所述验证数据集均与所述目标物种相关联。
10.根据权利要求1所述的方法，还包括：训练所述神经网络以在少于约100个周期内识别出所述医学特征。
11.根据权利要求1所述的方法，其中，所述一个或更多个比较数据集包括与人类相关联的第一比较数据集，并且所述目标物种是哺乳动物的类别中除人类之外的任何物种。
12.根据权利要求1所述的方法，其中，所述一个或更多个比较数据集包括约10至约20个比较数据集。
13.一种包括神经网络的***，所述神经网络被配置成用于医学图像分析并使用哺乳动物迁移学习进行训练，所述***包括处理器，所述处理器被配置成：
(a)接收一个或更多个比较数据集，其中，所述一个或更多个比较数据集中的每个比较数据集包括与物种相关联的被标记的图像数据；
(b)基于所述一个或更多个比较数据集来创建混合域数据集；
(c)对于所述混合域数据集的多个图像中的每个图像：
(i)在该图像内定义多个块，其中，所述多个块中的每个块的大小被选择成模糊该图像的源的物种；
(ii)将该图像的所述多个块和任何相关联的标签添加到混合域训练数据集；
(d)利用所述神经网络进行下述操作：
(i)基于所述混合域训练集和所述相关联的标签来训练所述神经网络以识别来自目标物种的案例研究的医学特征，其中，关于所述一个或更多个比较数据集的一个或更多个物种包括除所述目标物种之外的至少一个物种；以及
(ii)基于选自所述混合域数据集的验证数据集来验证经训练的所述神经网络；以及
(e)基于经训练和验证的所述神经网络来创建检查点。
14.根据权利要求13所述的***，其中，所述处理器包括下述中的一者或更多者：
(a)直接地或通过网络相互通信的一个或更多个中央处理单元；以及
(b)直接地或通过网络相互通信的一个或更多个图形处理单元。
15.根据权利要求13所述的***，其中，所述处理器还被配置成：
(a)从用户设备接收所述案例研究，所述案例研究包括与病患相关联的医学图像集；
(b)在所述医学图像集内定义第二多个块，其中，所述第二多个块中的每个块的大小被选择成模糊所述病患的物种；
(c)利用所述检查点分析第二多个部分以识别所述医学图像集内的医学特征；以及
(d)提供所述医学图像集内的所述医学特征的指示。
16.根据权利要求15所述的***，其中，所述处理器还被配置成，当提供所述医学特征的所述指示时：
(a)使所述医学图像集中的至少一个医学图像显示在所述用户设备上；以及
(b)使包括所述医学特征的所述指示的热图与至少一个医学图像一起被显示。
17.根据权利要求13所述的***，其中：
(a)所述一个或更多个比较数据集中的每个比较数据集包括：与物种和一个或更多个问题类别相关联的被标记的图像数据，其中，所述一个或更多个问题类别描述了一个或更多个医学异常；以及
(b)关于所述一个或更多个比较数据集的所述一个或更多个问题类别包括至少一个不描述所述医学特征的问题类别。
18.根据权利要求13所述的***，其中，所述处理器还被配置成：基于选自所述混合域数据集的测试数据集来对所述检查点进行测试，其中，所述测试数据集和所述验证数据集均与所述目标物种相关联。
19.根据权利要求13所述的***，其中：
(a)所述一个或更多个比较数据集包括与人类相关联的第一比较数据集，并且所述目标物种是哺乳动物的类别中除人类之外的任何物种；以及
(b)所述一个或更多个比较数据集包括约10至约20个比较数据集。
20.一种用于医学图像分析的方法，包括：
(a)通过处理器向远程服务器提供案例研究，其中：
(i)所述案例研究与目标物种的病患相关联，并且所述案例研究包括与所述病患相关联的医学图像集；以及
(ii)所述远程服务器被配置成：使用神经网络识别所述案例研究的医学特征，所述神经网络由哺乳动物迁移学习基于包括被标记的图像数据的混合域训练集进行训练，所述被标记的图像数据：
(A)与除所述目标物种之外的至少一个物种相关联；以及
(B)被定义成多个块，其中，所述多个块中的每个块的大小被选择成模糊图像的源的物种；
(b)通过所述处理器从所述远程服务器接收案例研究分析，其中，所述案例研究分析包括：
(i)与所述病患相关联的医学图像集；以及
(ii)分析数据集，所述分析数据集描述所述医学图像集所表现出的医学特征；以及
(c)通过所述处理器并经由显示器显示所述医学图像集的至少一部分，以及位于该部分上的基于所述分析数据集的视觉叠加。
CN202180020781.9A 2020-03-10 2021-03-10 用于哺乳动物迁移学习的***和方法 Pending CN115298702A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062987441P 2020-03-10 2020-03-10
US62/987,441 2020-03-10
PCT/US2021/021770 WO2021183684A1 (en) 2020-03-10 2021-03-10 System and methods for mammalian transfer learning

Publications (1)

Publication Number Publication Date
CN115298702A true CN115298702A (zh) 2022-11-04

Family

ID=77663732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180020781.9A Pending CN115298702A (zh) 2020-03-10 2021-03-10 用于哺乳动物迁移学习的***和方法

Country Status (8)

Country Link
US (2) US11705245B2 (zh)
EP (1) EP4100876A4 (zh)
JP (1) JP2023517076A (zh)
KR (1) KR20220152557A (zh)
CN (1) CN115298702A (zh)
AU (1) AU2021236148A1 (zh)
CA (1) CA3170780A1 (zh)
WO (1) WO2021183684A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102166835B1 (ko) * 2019-10-28 2020-10-16 주식회사 루닛 신경망 학습 방법 및 그 장치
US11379693B1 (en) * 2021-07-16 2022-07-05 The Government of the United States of America, as represented by the Secretary of Homeland Security System and method of new understandable training for AI as applied to electromagnetic sensor detection
US11551432B1 (en) 2021-07-16 2023-01-10 The Government of the United States of America, as represented by the Secretary of Homeland Security System and method for training an artificial intelligence (AI) classifier of scanned items
CN114512239B (zh) * 2022-02-25 2022-11-11 国家康复辅具研究中心 基于迁移学习的脑卒中风险预测方法及***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007536644A (ja) 2004-05-06 2007-12-13 ザ・レジェンツ・オブ・ザ・ユニバーシティ・オブ・カリフォルニア 画像を整列させ分類するための方法およびシステム
CA2652232A1 (en) * 2005-07-11 2007-01-18 Suomen Punainen Risti, Veripalvelu Novel carbohydrate profile compositions from human cells and methods for analysis and modification thereof
US20090317788A1 (en) * 2005-11-08 2009-12-24 Suomen Punainen Risti, Veripalvelu Novel Carbohydrate Profile Compositions From Human Cells and Methods for Analysis and Modification Thereof
US8340437B2 (en) 2007-05-29 2012-12-25 University Of Iowa Research Foundation Methods and systems for determining optimal features for classifying patterns or objects in images
WO2010124257A2 (en) * 2009-04-24 2010-10-28 Colby Pharmaceutical Company Methods and kits for determining oxygen free radical (ofr) levels in animal and human tissues as a prognostic marker for cancer and other pathophysiologies
CA2807209C (en) * 2010-08-16 2019-09-17 Mount Sinai Hospital Markers of the male urogenital tract
JP2013545439A (ja) * 2010-09-17 2013-12-26 プレジデント・アンド・フェロウズ・オブ・ハーバード・カレッジ 多能性幹細胞の有用性および安全性の特徴決定を行うための機能的ゲノミクスアッセイ
SG11201406201YA (en) * 2012-04-02 2014-10-30 Berg Llc Interrogatory cell-based assays and uses thereof
US10036034B2 (en) * 2014-02-13 2018-07-31 Nutech Ventures Sequences involved in plant yield and methods of using
KR102467968B1 (ko) * 2014-10-08 2022-11-16 신세틱 바이오로직스, 인코퍼레이티드 베타-락타마제 제형 및 이의 용도
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CA3128973A1 (en) * 2019-03-04 2020-09-10 Bhaskar Bhattacharyya Data compression and communication using machine learning
US20200285997A1 (en) * 2019-03-04 2020-09-10 Iocurrents, Inc. Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence

Also Published As

Publication number Publication date
JP2023517076A (ja) 2023-04-21
WO2021183684A1 (en) 2021-09-16
US20210287045A1 (en) 2021-09-16
US20230326592A1 (en) 2023-10-12
US11705245B2 (en) 2023-07-18
EP4100876A4 (en) 2024-02-28
CA3170780A1 (en) 2021-09-16
KR20220152557A (ko) 2022-11-16
EP4100876A1 (en) 2022-12-14
AU2021236148A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
US11610308B2 (en) Localization and classification of abnormalities in medical images
Mazurowski et al. Deep learning in radiology: An overview of the concepts and a survey of the state of the art with focus on MRI
Parekh et al. Deep learning and radiomics in precision medicine
US11423603B2 (en) Apparatus and method for producing three-dimensional models from magnetic resonance imaging
Nishimoto et al. Personal computer-based cephalometric landmark detection with deep learning, using cephalograms on the internet
Ben-Cohen et al. Fully convolutional network and sparsity-based dictionary learning for liver lesion detection in CT examinations
CN115298702A (zh) 用于哺乳动物迁移学习的***和方法
Dogan et al. A two-phase approach using mask R-CNN and 3D U-Net for high-accuracy automatic segmentation of pancreas in CT imaging
KR20190105460A (ko) 의료 진단 리포트 생성 장치 및 방법
Al Khalil et al. On the usability of synthetic data for improving the robustness of deep learning-based segmentation of cardiac magnetic resonance images
Katzmann et al. Explaining clinical decision support systems in medical imaging using cycle-consistent activation maximization
Amirrajab et al. Label-informed cardiac magnetic resonance image synthesis through conditional generative adversarial networks
Ansari et al. Multiple sclerosis lesion segmentation in brain MRI using inception modules embedded in a convolutional neural network
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
Manzanera et al. Patient-specific 3d cellular automata nodule growth synthesis in lung cancer without the need of external data
Waseem Sabir et al. FibroVit—Vision transformer-based framework for detection and classification of pulmonary fibrosis from chest CT images
Wang et al. A Two-Stage Generative Model with CycleGAN and Joint Diffusion for MRI-based Brain Tumor Detection
Siri et al. An improved expectation-maximization algorithm to detect liver image boundary in ct scan images
Kaur et al. Extracting Radiomic features from pre-operative and segmented MRI scans improved survival prognosis of glioblastoma Multiforme patients through machine learning: a retrospective study
US20230401697A1 (en) Radiogenomics for cancer subtype feature visualization
Masson et al. Volumetric Medical Classification using Deep Learning
Masson Volumetric Medical Classification using Deep Learning: A comparative study on classifying Alzheimer's disease using Convolutional Neural Networks
Isaksson Hybrid Deep Learning and Radiomics Models for Assessment of Clinically Relevant Prostate Cancer
Alon Reinforcement Learning for Cell Segmentation in Histopathological and Fluorescent Microscopy
Tahir et al. A Methodical Review on the Segmentation Types and Techniques of Medical Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40082095

Country of ref document: HK