CN114266347A - 神经网络的无监督域适应 - Google Patents

神经网络的无监督域适应 Download PDF

Info

Publication number
CN114266347A
CN114266347A CN202111125948.6A CN202111125948A CN114266347A CN 114266347 A CN114266347 A CN 114266347A CN 202111125948 A CN202111125948 A CN 202111125948A CN 114266347 A CN114266347 A CN 114266347A
Authority
CN
China
Prior art keywords
network
data
domain
training
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111125948.6A
Other languages
English (en)
Inventor
D·A·马雷罗
张国军
M·劳
S·菲德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN114266347A publication Critical patent/CN114266347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了神经网络的无监督域适应。本文提出的方法提供无监督域迁移学习。特别地，可以使用至少来自第一域的标记数据和来自第二域的未标记数据一起训练三个神经网络。使用特征提取网络提取数据的特征。第一个分类器网络使用这些特征对数据进行分类，而第二个分类器网络使用这些特征来确定相关域。组合损失函数用于优化网络，目的是特征提取网络提取第一个分类器网络能够用来准确分类数据的特征，但阻止第二个分类器确定图像的域。即使第二个域可能几乎没有标记的训练数据，这种优化也使对象分类可以在任意域都以高准确度执行。

Description

神经网络的无监督域适应
相关申请的交叉引用
本申请要求于2020年10月1日提交的名称为“神经网络的无监督域适应”的美国临时专利申请序列号63/086,544的优先权，其全部内容并入本文并用于所有目的。
背景技术
从通用数据学习新概念和技能并将这些概念和技能迁移到类似场景的能力在许多现代应用中是至关重要的，例如可能涉及机器学习。例如，通常情况下，学习者只能访问给定感兴趣域(例如环境或场景类型)上的一小部分未标记的数据子集。然而，学习可以访问更大的标记数据集，该数据集能够用于相同的任务，但在与目标域不同的域中。如果这两个域之间的差异(通常称为“域差距”)不是很大，那么可以使用标记数据和未标记数据训练模型，并推广到目标数据集。这种场景可能涉及无监督域适应。然而，传统的无监督域适应方法存在一个问题，即在各种实际应用中，训练示例的分布不同于在测试或推理时使用的示例的分布。传统的域适应方法基于在实践中难以优化的发散度量来确定泛化界限。这导致理论和最先进的方法之间存在很大的脱节。
附图说明
将参考附图描述根据本公开的各种实施例，其中：
图1示出了根据至少一个实施例的示出不同域中的对象的图像；
图2示出了根据至少一个实施例的用于执行网络的基于无监督域适应的训练的***组件；
图3示出了根据至少一个实施例的数据分类器***的组件；
图4示出了根据至少一个实施例的来自多个域的数据图；
图5A、图5B和图5C示出了根据至少一个实施例的用于训练神经网络和使用这些神经网络进行推理的过程；
图6示出了根据至少一个实施例的用于执行训练和/或推理的***组件；
图7A示出了根据至少一个实施例的推理和/或训练逻辑；
图7B示出了根据至少一个实施例的推理和/或训练逻辑；
图8示出了根据至少一个实施例的示例数据中心***；
图9示出了根据至少一个实施例的计算机***；
图10示出了根据至少一个实施例的计算机***；
图11示出了根据一个或更多个实施例的图形处理器的至少一部分；
图12示出了根据一个或更多个实施例的图形处理器的至少一部分；
图13是根据至少一个实施例的高级计算管道的示例数据流程图；
图14是根据至少一个实施例的用于在高级计算管道中训练、调整、实例化和部署机器学习模型的示例***的***图；和
图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流程图，以及用于使用预先训练的注释模型来增强注释工具的客户端-服务器架构。
具体实施方式
根据各种实施例的方法可以提供跨多个域的训练或迁移学习。特别是，神经网络可以使用无监督域适应进行训练，使其具有有效的域不可知性。示例训练方法使用三个神经网络，包括一个编码网络和两个分类器或鉴别器网络。以对象识别为例，可以使用来自第一域的标记图像和来自第二域的未标记图像来训练编码器网络，以提取与对象类型相关的特征，并将这些特征编码到潜在空间中。第一对象分类器网络可以利用这些特征来尝试分类对象的类型。第二个域分类器网络可以使用这些特征来尝试分类或推理捕获该图像的域，或从中提取这些特征的域。这三个网络可以一起训练并使用共同的损失函数进行优化，以尝试得出一个结果，其中对象分类器是准确的，但域分类器无法确定域。通过这种方式，编码器网络学习对域不可知的特征进行编码，以便对象分类器可以为来自任意域的图像生成准确的分类。这种方法可以扩展到对两个或多个域中的数据进行推理的任何类型的任务。
图1示出了可以根据各种实施例来处理的包括两个不同域中的物理对象的表示的一对图像。第一图像100可以包括某些特定类型的对象的标签，例如车辆102和人员104，它们将在推理时从实时数据中识别出来。这些标签与位置信息(例如边界框)相关联，它标示图像中各个对象的像素数据所在的部分。图像100连同标签和位置信息可用作训练数据以训练一个或更多个神经网络。标签和位置信息使图像能够作为训练的地面实况数据源。
如图所示，该图像可能来自从相似场景或环境捕获的一组相似标记的图像。例如，这些图像可能都是在北美的城市地区拍摄的。因此，背景中或图像中的其他地方可能存在类似类型的对象，这可能与建筑物、标志、人行道等的类似风格有关。在这些图像上训练的网络可以学习从在这样的域中捕获或生成的图像中提取相关特征。然而，可能需要使用网络来分析来自可能包括不同类型对象的不同域的图像。图1示出了一个这样的图像150，其仍然可以包括一种或多种类型的感兴趣对象的对象，例如车辆152，它们将被网络识别。然而，如图所示，该域中的其他对象可能与第一个域中的那些非常不同。在这里，该域可能对应于欧洲的山丘或阿尔卑斯山，而不是北美的城市环境，其中可能存在第一个域中未表示的对象，例如白雪覆盖的山脉、山间小屋、农场动物，如以及某些类型对象的不同版本，例如不同类型的标志、道路或路灯。例如，如果第二个域对应于英国乡村，则可能还有其他差异，例如车辆位于道路的两侧。在各个实施例的范围内，对于在不同域中捕获的图像以及在各个域中的非图像数据或内容，也可能存在各种其他差异。
可能需要使用相同的网络或模型来处理两个域的数据，例如用于安装在车辆模型中的车辆导航或辅助***，该车辆模型可以在与任一域相关联的位置中被驾驶。然而，与域迁移学习的情况一样，因为在这个例子中训练数据只针对第一个域，在第二个域中，网络的准确度一般不会那么好，因为第二个域没有(或不充分)标示训练数据或地面真相数据。
根据各种实施例的方法可以提供神经网络、模型或算法的基于无监督域迁移的学习，其结果在多个域是相似的，其中足够的标记训练数据仅可用于这些域的子集。图2示出了一种这样的***的示例组件。在该示例中，标记的地面实况数据的数据库202被提供以用于训练，其中标记的训练数据可以与至少第一域的数据相对应。这些图像的至少一个子集作为用于训练一个或更多个神经网络的训练图像204。在一些实施例中，标记的地面真实的一部分可被保留用于测试目的。在该示例中，所选择的训练图像204作为输入提供给特征提取网络206。该网络可以是能够处理输入图像数据并提取相关的、代表性的或独特的图像特征的任何合适的网络，例如卷积神经网络(CNN)。在该示例中，特征提取网络206可以将这些特征编码到潜在空间208中，而在其他实施例中，特征可以被编码为特征向量或潜在代码，以及其他这样的选项。
在该示例中，潜在空间208可以作为输入提供给两个不同的分类器网络，例如对象分类器210和对象域分类器212(或按类别域分类器)。当存在多个类别的数据时，可以使用按类别域分类器，并且可以使用专门的域分类器来确定每个类别或对象的适当域。其他类型的网络也可以用于这些或其他类型的数据或任务。在至少一个实施例中，每个分类器可以是在特征空间中操作的网络，例如MLP(多级感知器)全连接网络。也可以使用更强大的分类器和鉴别器，但可能不会是轻量级，因为这可能会超过任何轻微的性能改进带来的好处。对象分类器网络210可以分析来自潜在空间的特征数据，并尝试对一种或多种感兴趣类型的对象、或具有标记训练数据且网络将被训练的类型的对象进行分类。例如，对象分类器可能会分析输入训练图像的特征并识别图像中表示的三个不同的车辆和两个人。这些结果可以提供给评估模块214，评估模块214可以将结果与相关地面实况数据进行比较以确定该确定中的任何误差。该误差可以被提供给另一模块216(或在一些实施例中相同模块的不同部分)以执行任务，如反向传播和调整相关网络的一个或更多个网络参数。然后，这些调整后的参数可以在剩余的训练过程中与相关网络一起使用。在至少一些实施例中，这些网络参数可以在训练过程中迭代更新或修改，直到满足结束标准，例如每个相关网络收敛、达到最大训练次数、新训练数据结束处理，或其他此类标准。
在这个示例中，潜在空间208的特征也作为输入提供给第二分类器网络，这里是对象域分类器212。对象域分类器212可以分析特征数据以尝试确定与该图像对应的域，例如与捕获该图像数据的环境相对应的域。这可能涉及在各种实施例中区分两个或更多个特定域，或者在至少一些实施例中可能包括至少一个未知域。该示例中的域分类器212可以尝试确定图像数据对应于第一域还是第二域。还可以将输出确定提供给评估模块214，并且将误差数据提供给第二模块216以便在适当时更新一个或更多个网络参数。
该训练过程的目标可以是训练特征提取网络206和/或对象分类器 210以对于第一域或第二域中的数据同样良好地执行。如图所示，可以为第二域提供未标记的训练数据218，并且可以选择至少一部分图像作为训练数据204以用于训练网络。与第一域中的标记数据一样，来自第二域的未标记数据将提取特征并将其编码到潜在空间208中，对象分类器网络 210和域分类器网络212分别尝试识别对象和域。这些确定中的误差可用于更新提取和分类器网络的网络参数。
在该示例中，所有三个网络一起被训练并使用单个损失函数进行评估，该损失函数包括每个网络或任务的项。这种方法有助于确保对象分类器210能够准确地识别来自任意域的对象。为了帮助确保对象分类器210 对于两个域同样好地执行，可以在相同的数据上与域分类器一起优化特征提取网络。这种训练过程的目标是训练特征提取网络206以提取有效域不可知的特征，或者不是特定域特有的特征。在其他实施例中，网络可以提取域相关特征，但对这些特征提供更低的权重。这可能会有效地训练特征提取网络来提取仅(或至少主要)与感兴趣对象相关的特征，而不是图像中可能特定于特定域的其他对象的特征，或者仅提取类型通常不会与特定域相关联的特征类型。如果特征提取网络206被训练来提取这样的域不可知特征，那么域分类器网络212应该不能确定地识别给定训练图像的域。在示例中，网络将输出第一个域的值为0或第二个域的值为1，中间的值表示任一域的相对概率，域分类器理想情况下应输出值0.5，这意味着域分类器无法确定域，这两个域都是等概率的。以这种方式将特征提取网络 206与域分类器212一起训练，有助于训练特征提取网络206提取不具有域特异性、或甚至不具有域指示性的特征。将这些特征与对象分类器一起训练可确保提取的特征也使对象能够被准确分类。
一旦网络已经被充分训练，例如在所有网络已经收敛或组合损失满足指定损失标准的情况下，至少可以将提取和对象分类器网络参数应用于如图3所示的推理管道300的网络。在这个例子中，输入图像304(或图像或视频数据)可以在受过训练的特征提取网络306处接收，该网络可以提取特征并将这些特征编码到潜在空间308中。提取的特征可以基本上独立于给定输入图像对应的域。然后可以将潜在空间308作为输入提供给受训对象分类器310，该对象分类器可以为输入图像中识别的感兴趣对象推理一个或更多个分类312。如前所述，推理分类的准确性不应该因域而异，至少在训练网络的域方面如此。然后可以将这些分类(包括对象类型和图像中位置等信息)提供给将使用此信息执行一项或多项任务的应用程序、***或服务。
如本文所呈现的训练过程使特征提取网络能够提取使域的影响最小化的特征。在至少一个实施例中，目标可以是仅对应于感兴趣的对象的提取特征，并且以完全独立于域的方式。选择合适的训练损失函数有助于降低提取网络对域的重要性，降低任何不直接对应于感兴趣的对象或对象类别的特征的权重。这种方法可用于提供若干不同域之间的适应，这些域可能表现出不同的差异。如上所述，域的类型可能因内容类型而异，例如视频、音频、图像、数据或其他类型的内容。域可以对应于数据集之间的任何差异，这些差异可能会阻止一个数据集被在另一个数据集上训练过的网络正确分析，这可能与位置、来源、对象类型、样式、外观等有关。不同域的数据之间可能存在各种差异，这可能会导致以一个域的数据为训练对象的网络无法准确地推理出另一个域的数据。以图像为例，如图1所示，这可能与不同的建筑、风格、对象外观、对象选择、照明和其他类似的差异有关。不同的域也可以表示具有相似方面的相同类型的对象，但可能实际数据与合成数据或其他类似的差异有关。此处针对各种实施例呈现的方法是通用的，使用轻量模型，并且具有可扩展性，能够处理许多(如果不是全部)域差异，并具有较高的性能水平。可以利用这些优势的任务示例包括但不限于自然语言处理、导航或机器人模拟和数据分析，以及许多其他此类示例。
根据各种实施例的方法，使用域对抗框架进行域适应，其可以提供与神经网络一起使用的实用学习算法。在至少一个实施例中，泛化界限利用基于f散度的变分表征的分布之间的差异的度量。这样的界限可以支持实践中可能出现的各种类型的散度。提出了一种用于完整f散度的域对抗学习的通用算法。一些f散度，包括一些以前在域对抗学习中没有考虑过的，已被证明在实践中取得了最先进的结果。关于特定散度的选择如何影响现实世界数据集上的迁移性能，可以提供各种见解。通过进一步将优化问题识别为博弈，例如在至少一些实施例中的斯塔克伯格 (Stackelberg)博弈，可以利用来自博弈优化的优化器来实现训练算法中的额外性能提升。已经证明，这样的f域对抗框架可以在具有挑战性的数据集(例如Office-31和Office-Home)上获得最先进的结果，而无需使用额外的超参数。如关于图4的曲线图400所描述的，域适应可以由在大量标记数据上训练的学习者(例如，神经网络)执行，其中该学习者也有望在目标域中表现良好(图中用“+”表示)。例如，决策边界可以对应于两层神经网络，其使用诸如本文其他地方更详细讨论的f-DAL之类的方法进行训练。
在至少一个实施例中，利用一个框架来支持f散度的完整族，这对现代神经网络是实用的。特别地，可以在分布及其导出的相应学***衡可以是框架在温和条件下的最优解。这样的解决方案能够在框架内即插即用地使用最小-最大优化器。
根据至少一个实施例的方法可以被关于无监督域适应场景来讨论。在训练期间，可以假设学习者可以访问ns个标记示例的源数据集
Figure RE-GDA0003497155750000071
Figure RE-GDA0003497155750000072
以及nt未标记示例的目标数据集
Figure RE-GDA0003497155750000073
其中源输入
Figure RE-GDA0003497155750000074
是从输入空间X上的分布Ps(源分布)独立且同分布采样，并且目标输入
Figure RE-GDA0003497155750000075
是从分布Pt(目标分布)在X上独立且同分布采样。在二元分类的情况下，Y＝{0,1}，在多类分类场景中，Y＝{1,...,k}。
在至少一个实施例中，标记函数可以表示为f:X→Y，源标记函数和目标标记函数分别表示为fs和ft,。无监督域适应的任务是找到一个h:X →Y泛化到目标数据集T(即，通过与真实标签
Figure RE-GDA0003497155750000076
进行比较，是误差尽可能少)的假设函数。假设函数h相对于标记函数f的风险，使用在分布D下的损失函数l:Y x Y→R+可以被定义为：
Figure RE-GDA0003497155750000077
还可以假设l满足三角不等式。为了使表示方法简单，一种方法可以定义为：
Figure RE-GDA0003497155750000078
Figure RE-GDA0003497155750000079
其中索引S和索引T分别表示源域和目标域。此外，
Figure RE-GDA00034971557500000710
可用于指代源数据集S和目标数据集T的经验风险。
域适应的一个重要方面，至少在一些实施例中，涉及源分布和目标分布之间的差异。这将转导方法和更普遍的迁移学习与传统的监督学习方法区分开来。在至少一个实施例中，导出捕获整个f散度族的泛化边界。可以定义源分布和目标分布之间的新差异，至少部分基于各种f散度选择的变分特征。这些新的差异在我们的工作中发挥着根本性重要作用。
在至少一个实施例中，f散度可以定义为让Ps和Pt分别代表具有密度Ps和Pt的分布函数。这种方法可以让Ps和Pt是相对于基本度量dx 的绝对连续值。令
Figure RE-GDA0003497155750000081
是满足
Figure RE-GDA0003497155750000082
的凸下半连续函数。f散度
Figure RE-GDA0003497155750000083
可以定义为：
Figure RE-GDA0003497155750000084
至于f散度的变分表征，可以利用一般的变分方法，通过将估计问题转化为变分优化来估计来自示例的f散度。在一个例子中，任何f散度都可以写成：
Figure RE-GDA0003497155750000085
其中
Figure RE-GDA0003497155750000086
是
Figure RE-GDA0003497155750000087
的(Fenchel)共轭函数：R+→R被定义为
Figure RE-GDA0003497155750000088
并且
Figure RE-GDA0003497155750000089
如果T是所有可测函数的集合，则等式成立。许多在机器学习和信息论中大量使用的流行散度是 f散度的特例。为简单起见，可以假设
Figure RE-GDA00034971557500000810
和每个密度(例如，ps和 pt)是绝对连续的。
域适应方法通常基于根据源域和目标域的概率分布之间的差异来限定源域和目标域的误差函数之间的间隙的思想。测量分布Ps和Pt之间的相似性对于推导泛化边界和/或算法设计很重要。在至少一个实施例中，假设类H中任何二元分类器的风险可以使用以下定理来界定：
定理1.如果l(x,y)＝|h(x)–y|并且H是一类函数，那么对于任何h∈ H：
Figure RE-GDA00034971557500000811
这里，
Figure RE-GDA00034971557500000812
是TV并且T是可测量函数的集合。TV是一个f散度，使得
Figure RE-GDA00034971557500000813
以上。对于任何函数
Figure RE-GDA00034971557500000814
可以用
Figure RE-GDA00034971557500000815
替换上述等式中的DTV(Ps||Pt)。上面的定理根据源误差、两个域之间的散度以及标记函数的不同来限制分类器的目标误差。不幸的是，DTV(Ps||Pt)无法从任意分布的有限示例中估计出来。它也是一个非常松散的上限，因为它涉及所有可测量函数的上限值，并且不考虑假设类别。
在至少一个实施例中，可利用一种新的差异，该差异可用于解决至少两个上述问题，即(1)对任意分布的有限示例的散度的估计和(2)对包含假设类H的集合的差异的限制。可以为差异提供第二个定义，如下所示：
设
Figure RE-GDA0003497155750000091
是满足
Figure RE-GDA0003497155750000092
的凸下半连续函数
Figure RE-GDA0003497155750000093
的Fenchel共轭，设
Figure RE-GDA0003497155750000094
是一组可测函数，使得：
Figure RE-GDA0003497155750000095
Ps和Pt之间的差异可以被定义为：
Figure RE-GDA0003497155750000096
Figure RE-GDA0003497155750000097
差异可以解释为一般f散度类的下限估计量。因此，对于任何假设类H和
Figure RE-GDA0003497155750000098
的选择，
Figure RE-GDA0003497155750000099
永远不会大于其相应的f散度。它的计算可以在有限的例子方面有界。此外，如果考虑
Figure RE-GDA00034971557500000910
并且l(h(x),h’(x)) ＝1(h(x)≠h’(x))，则可以恢复HΔH散度，这对应于TV。
可以提供差异的第三种定义，如下所示：
假设条件与上述相同，两个分布Ps和Pt之间的差异定义为：
Figure RE-GDA00034971557500000911
取
Figure RE-GDA00034971557500000912
在h∈H上的上限值，可以得到
Figure RE-GDA00034971557500000913
因此
Figure RE-GDA00034971557500000914
Figure RE-GDA00034971557500000915
这个界限在推导实用算法时很有用。作为下界(引理1)，对于 H中的任意两个函数h,h’：
Figure RE-GDA00034971557500000916
引理1是推导基于散度的泛化边界的基础。具体来说，它根据源域和目标域的分布之间的差异，使用f散度来限制误差函数之间的差距。还可以证明
Figure RE-GDA00034971557500000917
可以从有限示例中估计出来。对于引理2，假设l:Y×Y→ [0,1],
Figure RE-GDA00034971557500000918
和
Figure RE-GDA00034971557500000919
设S和T是两个经验分布，包含n 个数据点的数据集分别从Ps和Pt独立且同分布地采样。设
Figure RE-GDA00034971557500000920
表示给定函数类的Rademacher复杂度，并且
Figure RE-GDA00034971557500000921
Figure RE-GDA00034971557500000922
则至少有1-δ的概率：
Figure RE-GDA00034971557500000923
在引理2中，表明经验
Figure RE-GDA00034971557500000924
收敛于真实的
Figure RE-GDA00034971557500000925
差。然后可以使用来自两个分布的一组有限示例来估计它。这个差受假设类别的复杂性和示例数量(n)的限制。
在至少一个实施例中，使用所提出的
Figure RE-GDA0003497155750000101
散度和来自前一节的结果，可以使用泛化界来估计目标域中分类器的误差。基于对有限示例的
Figure RE-GDA0003497155750000102
的估计，泛化Rademacher复杂度界限也可用于的二元分类器。可以证明该界限概括了先前存在的结果。
对于定理2(泛化界)，假设
Figure RE-GDA0003497155750000103
并且对于任何的a,b,c∈Y，l(a,b)≤l(a,c)+l(c,b)。表示
Figure RE-GDA0003497155750000104
让h*为理想的联合假设。这将导致：
Figure RE-GDA0003497155750000105
此上限中的三个术语与先前提议的边界具有相似性，显着不同之处是用于比较两个边缘分布的差异。在至少一个实施例中，这利用了一般f 散度的变分特征的下界估计量的减少。这概括并包括了实践中通常使用的流行散度。直观地，边界中的第一项说明源误差，第二项对应于边缘分布之间的差异，第三项测量理想联合假设(λ*)。如果H具有足够的表达能力并且与标记函数相似，则最后一项可以减少到一个较小的值。理想联合假设包含了适应性的概念：当最优假设在任一领域表现不佳时，我们不能期望成功的适应。
对于定理3(具有Rademacher复杂度的泛化边界)，令
Figure RE-GDA0003497155750000106
Figure RE-GDA0003497155750000107
为L-Lipschitz。设S和T是两个经验分布(即，包含n个数据点的数据集分别从Ps和Pt独立且同分布地采样)。表示
Figure RE-GDA0003497155750000108
Figure RE-GDA0003497155750000109
则至少有1-δ的概率：
Figure RE-GDA00034971557500001010
在定理3中，根据H类的Rademacher复杂度，给出了二元分类器的泛化边界的计算。可以看出，在理想联合假设
Figure RE-GDA00034971557500001011
的假设下，泛化误差可以减小通过联合最小化源域中的风险、两个分布之间的差异，并规范模型以限制假设类的复杂性。
先前提出的理论可用于推导出广义领域对抗学习框架。域对抗训练的一个重要方面是同时最小化源误差并对齐表示空间Z中的两个分布。具体来说，假设h可以是
Figure RE-GDA00034971557500001012
的组合(即，让
Figure RE-GDA00034971557500001013
Figure RE-GDA00034971557500001014
和
Figure RE-GDA00034971557500001015
另一个函数类)，其中g:X→Z。这可以解释为将两个密度 ps和pt推进到表示空间Z的映射，其中分类器
Figure RE-GDA00034971557500001016
操作。因此，可以参考
Figure RE-GDA0003497155750000111
和
Figure RE-GDA0003497155750000112
分别作为源域密度和目标域密度的前推。上述讨论的图2中给出了这样一个框架的示例。
在至少一个实施例中，为了使表示空间Z中的适应成为可能，必须有一个
Figure RE-GDA0003497155750000113
使得理想联合风险λ*可以忽略不计。如果pz s＝pz t，这种情况可能会存在。换句话说，pz s和pz t之间的差异应该很小，理想的联合风险λ*应该可以忽略不计。在至少一些实施例中，这些是充分和必要条件。可以做出第一个假设，即存在g∈G和
Figure RE-GDA0003497155750000114
使得理想的联合风险(λ*)可以忽略不计。还可以假设源和目标之间的类条件分布是相似的。神经网络能够学习丰富而强大的表征，在实际场景中，g和
Figure RE-GDA0003497155750000115
都是神经网络。
根据定理2和第一个假设，可以通过联合最小化源域中的误差和两个分布之间的差异来优化目标风险
Figure RE-GDA0003497155750000116
令y:＝fs(x)，优化目标可以写为：
Figure RE-GDA0003497155750000117
这里，l是一个代理损失函数，用于最小化源域中的经验风险。尽管如此，它不一定是二元分类损失(即，它可以是交叉熵损失)。在某些假设(例如，命题1)和引理1的使用下，上面的最小化问题可以由以下最小-最大目标设定上限(即替换)：
Figure RE-GDA0003497155750000118
其中最后两项之间的差异可以称为ds,t.。这个结果现在可以在命题1中形式化。假设ds,t.采用如上所示的形式，其中
Figure RE-GDA0003497155750000119
并且对于任何
Figure RE-GDA00034971557500001110
有存在
Figure RE-GDA00034971557500001111
使得对于任意z∈supp(pz t(z))，
Figure RE-GDA00034971557500001112
其中
Figure RE-GDA00034971557500001113
是
Figure RE-GDA00034971557500001114
的导数。最优ds,t是至少一个实施例然后由
Figure RE-GDA00034971557500001115
给出(即
Figure RE-GDA00034971557500001116
)。
如果允许特征提取器g∈G是使源误差和差异项都最小化的一个，则相应的方程可以改写为：
Figure RE-GDA00034971557500001117
对于GAN，
Figure RE-GDA0003497155750000121
的选择可以是任意的。对于多类场景，让
Figure RE-GDA0003497155750000122
Figure RE-GDA0003497155750000123
其中argmax a是向量a的最大元素的索引。二元情况可以利用
Figure RE-GDA0003497155750000124
这意味着选择
Figure RE-GDA0003497155750000125
的域为
Figure RE-GDA0003497155750000126
其中k个类别用于多类场景，
Figure RE-GDA0003497155750000127
用于二元分类。直观地，
Figure RE-GDA0003497155750000128
是一个辅助的每类域分类器。对于g的选择，可以尽可能选择单调递增的函数。
如前所述，这种框架的一个重要目标可以是具有期望(即最优)解的极小极大优化问题，在温和的假设下，该问题可以是斯塔克伯格 (Stackelberg)均衡。这种观察能够将各种最先进的优化器纳入框架，例如用于游戏优化的优化器。据此，可以在无监督域适应框架中使用额外梯度算法及其激进版本。
在至少一个实施例中，可以在f域对抗学习(f-DAL)中证明斯塔克伯格(Stackelberg)均衡的存在。设G和
Figure RE-GDA0003497155750000129
是一类由固定参数泛函定义的函数，例如具有固定架构的神经网络，并定义ω1使得它是由特征提取器g和源分类器
Figure RE-GDA00034971557500001210
的参数组成的向量。类似地，让ω2表示辅助分类器的参数，
Figure RE-GDA00034971557500001211
Ω1和Ω2表示它们各自的域。上面的相应方程可以改写为：
Figure RE-GDA00034971557500001212
一般来说，V在ω1中是非凸的，在ω2中是非凹的，对于最小-最大博弈，纳什(Nash)均衡可能不存在。斯塔克伯格(Stackelberg)均衡比纳什(Nash)均衡更普遍，反映了上述零和博弈方程的顺序性质。可以证明，在至少一个实施例中f-DAL的最优解是斯塔克伯格(Stackelberg)均衡。在假设V(ω1,.)在ω2中(局部)强烈凹入的情况下，这样的平衡是一个驻点，然后可以使用梯度算法来搜索这样的理想解。在下面的定理中，向前推进的显著形式可以用来强调对特征提取器g 的依赖，而不是pz s,pz t。
对于定理4(斯塔克伯格(Stackelberg)均衡，非正式的)，假设ds,t采用上述形式，并假设存在一个最优g*∈G，它将源分布和目标分布都映射到相同的分布。还假设存在一个最优分类器，可以在邻域中产生地面实况，并且对于任何g∈G和
Figure RE-GDA00034971557500001213
存在
Figure RE-GDA00034971557500001214
使得
Figure RE-GDA00034971557500001215
Figure RE-GDA00034971557500001216
f对抗性学习的目标可以在
Figure RE-GDA00034971557500001217
处具有斯塔克伯格(Stackelberg)均衡。当
Figure RE-GDA00034971557500001218
时(例如，在二元分类场景中)，斯塔克伯格(Stackelberg)均衡可以显示为纳什(Nash)均衡。
如所讨论的，在至少一个实施例中，f-DAL中的最优解是斯塔克伯格(Stackelberg)均衡，其比纳什(Nash)均衡更一般。为了收敛到纳什 (Nash)均衡，最简单的方法可以是GDA，但GDA的最后一次迭代在双线性情况下不收敛。为了加速和稳定收敛，可以使用超梯度(EG)方法。有一个积极的额外步骤可以比一般形式的EG更稳定，并且可以更适合收敛到斯塔克伯格(Stackelberg)均衡。为了量化利用定理4是否会带来实际收益，可以允许更大的外推步骤，该算法在本文中被称为积极超梯度(AExG)。
在至少一个实施例中，这种算法可以在PyTorch中实现，使用在 ImageNet上预训练的ResNet-50作为特征提取器。主分类器
Figure RE-GDA0003497155750000131
和辅助分类器
Figure RE-GDA0003497155750000132
(例如，对象分类器和域分类器)都可以是具有Leaky-Relu激活函数的两层神经网络。频谱归一化(SN)可用于主分类器和辅助分类器。使用Leaky-Relu激活函数代替Relu对迁移学***比较，可以同时执行更新。为了优化，示例实验利用具有Nesterov动量的小批量(32)SGD (或GDA)。对于使用AExG的实验，可以使用动量(0.9)实现ExtraGradient的一个版本。对于积极的步骤，乘法器[10，1]可与多项式衰减率一起使用，在前10K迭代中，幂＝0.5。在所有情况下，分类器的学习率设置为特征提取器(0.01)的学习率的10倍，其值相应调整。
这种方法通过推导出支持完整f散度族并且适用于现代神经网络的新理论和学习算法，为域对抗问题提供了新的视角。这种框架的学习目标可以作为斯塔克伯格(Stackelberg)博弈实现，使用优化器(例如用于博弈优化的优化器)实现额外的性能提升。通过大规模实验表明，任何f 散度都可以用来最小化表示空间中源域和目标域之间的差异。研究还表明，以前在域对抗学习中没有考虑到的一些分歧在实践中取得的结果至少与其他最先进的方法一样好，减少了这些现有方法所需的额外技术和超参数调整的需要.
图5A图示了可以根据各种实施例使用的用于执行无监督域迁移训练的示例过程500。应当理解，对于这里提出的这个过程和其他过程，除非另有具体说明，否则在各种实施例的范围内，可以存在以类似或替代顺序或至少部分并行地执行的附加、更少或替代步骤。此外，虽然图像数据被用作示例，但是应当理解，如本文别处讨论和建议的，其他类型的数据也可以用于这样的过程。在该示例中，获得502或生成一组训练数据，其包括用于第一域的标记图像和用于第二域的未标记图像。在其他示例中，可能存在来自多个域的图像。在该示例中，从训练数据中选择504图像，其中该图像可以对应于来自第一域的标记图像或来自第二域的未标记图像。在一些实施例中，可以执行一定量的预处理，例如调整图像的尺寸、分辨率、色深、格式、噪声水平或其他方面。可以使用特征提取506器网络处理特定图像，并且可以将从图像中提取的特征编码到潜在空间中。在至少一个实施例中，这些特征应该主要对应于图像中表示的特定分类或感兴趣类型的一个或更多个对象。可以使用第一分类器网络来分析508编码特征以对所选图像中的至少一个感兴趣对象进行分类。还可以使用第二分类器网络来推理对应于所选图像和预测对象的域，并行的分析510编码特征。然后可以使用至少包括与对象和域分类的准确性相关的术语的损失函数来评估512这三个网络的性能。至少部分地基于使用该损失函数确定的损失值，可以调整514特征提取或分类器网络中的一个或更多个的一个或更多个网络参数(或网络权重)以尝试至少最大化第一个分类器网络，或对象分类的准确性，以及第二个分类器网络的不确定性，使得第二个网络无法以任何合理的确定性识别所选图像的域。在至少一个实施例中，这对应于第二分类器网络推理出所述图像同样可能对应于所述网络正被训练的一组域中的任一域的结果。一旦对网络参数进行了任何调整，就可以做出516 是否已经满足至少一个最终标准的决定，例如满足收敛标准的网络、达到最大训练次数或所有训练数据已被处理，以及其他此类选项。如果不是，则该过程可以继续下一个选定的训练图像。如果满足至少一个训练结束标准，则可以提供518用于特征提取网络或第一分类器网络中的至少一个的网络参数以用于推理。
图5B示出了可以根据各种实施例使用的另一个示例训练过程540。在该示例中，代表可分类输入的一组特征被编码542到潜在空间中，其中使用第一神经网络执行提取和编码。然后可以使用第二神经网络至少部分地基于编码特征对输入进行分类544。在至少一个实施例中，这可以涉及对可分类输入中的一个或更多个对象或实例进行分类。还可以使用第三神经网络至少部分地基于编码特征来推理546对应于可分类输入的域。然后可以针对一个或更多个神经网络调整548一个或更多个网络参数，直到第一神经网络编码使第二神经网络能够准确地对可分类输入进行分类，但阻止第三神经网络能够推理出可分类输入的域。这样的结果意味着可以准确地对数据进行分类，而不管哪个域与该数据相关联。即使来自域的训练数据未标记，或至少未充分标记以提供准确的特定于域的训练，也会发生这种情况。然后可以提供用于至少第一或第二神经网络的网络参数以用于对涉及来自一个或更多个域的数据的一个或更多个任务进行推理。
图5C示出了用于使用诸如关于图5A或图5B所讨论的那些过程训练的网络对数据进行分类的示例过程580。在该示例中，接收582的未分类数据来自未确定域、至少来自一组可能域。代表未分类数据的一组特征可以使用第一神经网络提取和编码584到潜在空间中。可以使用第二神经网络至少部分地基于编码特征来推理586数据的至少一种分类。关于推理的分类的信息可以被提供588给预期的接收者或位置，例如可以用作依赖于数据分类的任务的一部分。
作为示例，图6示出了可以用于提供或生成内容或其他数据的示例网络配置600。在至少一个实施例中，客户端设备602可以使用客户端设备602上的内容应用604的组件和本地存储在该客户端设备上的数据来生成会话的内容。在至少一个实施例中，在内容服务器620(例如，云服务器或边缘服务器)上执行的内容应用程序624(例如，图像生成或编辑或分析应用程序)可以发起与至少客户端设备602相关联的会话，如可以利用会话管理器和存储在用户数据库634中的用户数据，并且可以使内容 632由内容管理器626确定，使用适当的传输管理器622发送到客户端设备602，以通过下载、流传输或其他此类传输信道来发送。内容服务器 620还可包括用于训练组件、网络或管道的一个或更多个训练模块630。服务器620可以包括分类器组件628，用于对输入数据进行分类或运行其他推理，并提供那些推理或从那些实例生成的内容。在至少一个实施例中，接收该内容的客户端设备602可以将该内容提供给相应的内容应用程序604，所述内容应用程序604通过客户端设备602提供至少一些该内容以供渲染，诸如通过显示器606和音频的图像或视频内容，诸如声音和音乐，通过至少一个音频播放设备608，诸如扬声器或耳机。
在至少一个实施例中，该内容中的至少一些可能已经被存储、在客户端设备602上渲染，或可供客户端设备602访问，使得至少该部分内容不需要通过网络640的传输，诸如该内容之前可能已下载或本地存储在硬盘驱动器或光盘上。在至少一个实施例中，可以使用诸如数据流的传输机制来将该内容从内容服务器620或内容数据库634传输到客户端设备602。在至少一个实施例中，可以获得该内容的至少一部分或从另一源流式传输，诸如第三方内容服务660，其还可包括用于生成或提供内容的内容应用程序662。在至少一个实施例中，可以使用多个计算设备或一个或更多个计算设备内的多个处理器来执行该功能的部分，诸如可以包括 CPU和GPU的组合。
在至少一个实施例中，内容应用程序624包括内容管理器626，所述内容管理器626可以在将该内容传输到客户端设备602之前确定或分析该内容。在至少一个实施例中，内容管理器626还可以包括或使用能够生成、修改或增强要提供的内容的其他组件。在至少一个实施例中，这可以包括用于渲染图像或视频内容的渲染引擎。在至少一个实施例中，分类组件628可用于推理分类，所述场景图可由服务器上的内容应用程序624或客户端设备上的内容应用程序604用于生成相关内容或执行预期任务。在至少一个实施例中，训练组件630可以被使用于训练分类器网络，和任何相关的网络或算法，使用诸如此处介绍的那些过程。。在至少一个实施例中，内容管理器626可以将该内容传输到客户端设备602。在至少一个实施例中，客户端设备602上的内容应用程序604还可以包括诸如分类组件 612或内容生成模块之类的组件，使得该功能中的任何或全部可以附加地或替代地在客户端设备602上执行。在至少一个实施例中，第三方内容服务***660上的内容应用程序662也可以包括此类功能。在至少一个实施例中，执行至少一些该功能的位置可以是可配置的，或者可以取决于诸如客户端设备602的类型，或具有适当带宽的网络连接的可用性等因素。在至少一个实施例中，用于内容生成的***可以包括在一个或更多个位置的硬件和软件的任何适当组合。在至少一个实施例中，还可以将生成的一个或更多个分辨率的图像或视频内容提供给或使其可用于其他客户端设备 650，诸如用于从存储该图像或视频内容的副本的媒体源下载或流式传输。在至少一个实施例中，这可以包括传输多人游戏的游戏内容的图像，其中不同的客户端设备可以以不同的分辨率显示该内容，包括一个或更多个超分辨率。
在该示例中，这些客户端设备可以包括任何适当的计算设备，如可以包括台式计算机、笔记本计算机、机顶盒、流式传输设备、游戏控制台、智能手机、平板计算机、VR耳机、AR护目镜、可穿戴计算机或智能电视。每个客户端设备可以跨至少一个有线或无线网络提交请求，例如可以包括互联网、以太网、局域网(LAN)或蜂窝网络，以及其他此类选项。在该示例中，这些请求可以提交到与云提供商相关联的地址，云提供商可以操作或控制云提供商环境中的一个或更多个电子资源，诸如可以包括数据中心或服务器群。在至少一个实施例中，该请求可以由位于网络边缘并且在与云提供商环境相关联的至少一个安全层之外的至少一个边缘服务器接收或处理。通过这种方式，可以通过使客户端设备与距离更近的服务器交互来减少延迟，同时还可以提高云提供商环境中资源的安全性。
在至少一个实施例中，此类***可以用于执行图形渲染操作。在其他实施例中，此类***可以用于其他目的，诸如用于提供图像或视频内容以测试或验证自主机器应用，或者用于执行深度学习操作。在至少一个实施例中，此类***可以使用边缘设备来实现，或者可以结合一个或更多个虚拟机(VM)。在至少一个实施例中，此类***可以至少部分地在数据中心中或至少部分地使用云计算资源来实现。
推理和训练逻辑
图7A示出了用于执行与一个或更多个实施例相关联的推理和/或训练操作的推理和/或训练逻辑715。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。
在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码和/或数据存储701，用于存储前向和/或输出权重和/或输入/输出数据，和/或在一个或更多个实施例的方面中配置被训练为和/或用于推理的神经网络的神经元或层的其他参数。在至少一个实施例中，训练逻辑715可以包括或耦合到用于存储图形代码或其他软件以控制时序和/或顺序的代码和/或数据存储701，其中权重和/或其他参数信息被加载以配置逻辑，包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。在至少一个实施例中，代码(诸如图代码)基于该代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储701存储在使用一个或更多个实施例的方面训练和/或推理期间的输入/输出数据和/或权重参数的前向传播期间结合一个或更多个实施例训练或使用的神经网络的每个层的权重参数和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储701的任何部分都可以包括在其他片上或片外数据存储内，包括处理器的L1、L2或L3高速缓存或***存储器。
在至少一个实施例中，代码和/或数据存储701的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，代码和/或数据存储701可以是高速缓存存储器、动态随机可寻址存储器(“DRAM”)、静态随机可寻址存储器(“SRAM”)、非易失性存储器(例如闪存)或其他存储。在至少一个实施例中，对代码和/或数据存储701是在处理器的内部还是外部的选择，例如，或者由DRAM、 SRAM、闪存或某种其他存储类型组成，可以取决于存储片上或片外的可用存储空间，正在执行训练和/或推理功能的延迟要求，在神经网络的推理和/或训练中使用的数据的批大小或这些因素的某种组合。在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码和/或数据存储 705，以存储与在一个或更多个实施例的方面中被训练为和/或用于推理的神经网络的神经元或层相对应的反向和/或输出权重和/或输入/输出数据神经网络。在至少一个实施例中，在使用一个或更多个实施例的方面训练和 /或推理期间，代码和/或数据存储705存储在输入/输出数据和/或权重参数的反向传播期间结合一个或更多个实施例训练或使用的神经网络的每个层的权重参数和/或输入/输出数据。在至少一个实施例中，训练逻辑715 可以包括或耦合到用于存储图代码或其他软件以控制时序和/或顺序的代码和/或数据存储705，，其中权重和/或其他参数信息被加载以配置逻辑，该逻辑包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。
在至少一个实施例中，代码(诸如图代码)基于该代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储705的任何部分可以与其他片上或片外数据存储一起包括，包括处理器的L1、L2或L3高速缓存或***存储器。在至少一个实施例中，代码和/或数据存储705的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路上的内部或外部。在至少一个实施例中，代码和/或数据存储705可以是高速缓存存储器、DRAM、 SRAM、非易失性存储器(例如闪存)或其他存储。在至少一个实施例中，代码和/或数据存储705是在处理器的内部还是外部的选择，例如，是由DRAM、SRAM、闪存还是其他某种存储类型组成，取决于可用存储是片上还是片外，正在执行的训练和/或推理功能的延迟要求，在神经网络的推理和/或训练中使用的数据批量大小或这些因素的某种组合。
在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705可以是分开的存储结构。在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705可以是相同的存储结构。在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705可以是部分相同的存储结构和部分分离的存储结构。在至少一个实施例中，代码和 /或数据存储701以及代码和/或数据存储705的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或***存储器。
在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于一个或更多个算术逻辑单元(“ALU”)710(包括整数和/或浮点单元)，用于至少部分地基于训练和/或推理代码(例如，图代码)或由其指示来执行逻辑和/或数学运算，其结果可能会产生存储在激活存储720中的激活 (例如，来自神经网络内部的层或神经元的输出值)，其是存储在代码和/或数据存储701和/或代码和/或数据存储705中的输入/输出和/或权重参数数据的函数。在至少一个实施例中，激活响应于执行指令或其他代码，由ALU710执行的线性代数和/或基于矩阵的数学生成在激活存储720中存储的激活，其中存储在代码和/或数据存储705中和/或代码和/或数据存储701中的权重值用作具有其他值的操作数，例如偏置值、梯度信息、动量值或其他参数或超参数，可以将任何或所有这些存储在代码和/或数据存储705或代码和/或数据存储701或其他片上或片外存储中。
在至少一个实施例中，一个或更多个处理器或其他硬件逻辑设备或电路中包括一个或更多个ALU710，而在另一实施例中，一个或更多个 ALU710可以在处理器或其他硬件逻辑设备或使用它们(例如协处理器) 的电路外。在至少一个实施例中，可以将一个或更多个ALU710包括在处理器的执行单元之内，或者以其他方式包括在由处理器的执行单元可访问的ALU组中，该处理器的执行单元可以在同一处理器内或者分布在不同类型的不同处理器之间(例如，中央处理单元、图形处理单元、固定功能单元等)。在至少一个实施例中，代码和/或数据存储701、代码和/或数据存储705以及激活存储720可以在同一处理器或其他硬件逻辑设备或电路上，而在另一实施例中，它们可以在不同的处理器或其他硬件逻辑设备或电路或相同和不同处理器或其他硬件逻辑设备或电路的某种组合中。在至少一个实施例中，激活存储720的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或***存储器。此外，推理和/或训练代码可以与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并可以使用处理器的提取、解码、调度、执行、退出和/或其他逻辑电路来提取和/或处理。在至少一个实施例中，激活存储720 可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储。在至少一个实施例中，激活存储720可以完全地或部分地在一个或更多个处理器或其他逻辑电路内部或外部。在至少一个实施例中，可以取决于片上或片外可用的存储，进行训练和/或推理功能的延迟要求，在推理和/或训练神经网络中使用的数据的批量大小或这些因素的某种组合，选择激活存储720是处理器的内部还是外部，例如，或者包含 DRAM、SRAM、闪存或其他存储类型。
在至少一个实施例中，图7A中所示的推理和/或训练逻辑715可以与专用集成电路(“ASIC”)结合使用，例如来自Google的
Figure RE-GDA0003497155750000201
处理单元、来自GraphcoreTM的推理处理单元(IPU)或来自IntelCorp的
Figure RE-GDA0003497155750000202
(例如“LakeCrest”)处理器。在至少一个实施例中，图7A所示的推理和/或训练逻辑715可与中央处理单元(“CPU”)硬件，图形处理单元(“GPU”)硬件或其他硬件(例如现场可编程门阵列(“FPGA”)) 结合使用。
图7B示出了根据至少一个或更多个实施例的推理和/或训练逻辑 715。在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于硬件逻辑，其中计算资源被专用或以其他方式唯一地连同对应于神经网络内的一层或更多层神经元的权重值或其他信息一起使用。在至少一个实施例中，图7B中所示的推理和/或训练逻辑715可以与专用集成电路(ASIC)结合使用，例如来自Google的
Figure RE-GDA0003497155750000203
处理单元，来自 GraphcoreTM的推理处理单元(IPU)或来自IntelCorp的
Figure RE-GDA0003497155750000204
(例如“LakeCrest”)处理器。在至少一个实施例中，图7B中所示的推理和/或训练逻辑715可以与中央处理单元(CPU)硬件、图形处理单元(GPU) 硬件或其他硬件(例如现场可编程门阵列(FPGA))结合使用。在至少一个实施例中，推理和/或训练逻辑715包括但不限于代码和/或数据存储 701以及代码和/或数据存储705，其可以用于存储代码(例如，图代码)、权重值和/或其他信息，包括偏置值、梯度信息、动量值和/或其他参数或超参数信息。在图7B中所示的至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705中的每一个都分别与专用计算资源 (例如计算硬件702和计算硬件706)相关联。在至少一个实施例中，计算硬件702和计算硬件706中的每一个包括一个或更多个ALU，这些 ALU仅分别对存储在代码和/或数据存储701和代码和/或数据存储705中的信息执行数学函数(例如线性代数函数)，执行函数的结果被存储在激活存储720中。
在至少一个实施例中，代码和/或数据存储701和705以及相应的计算硬件702和706中的每一个分别对应于神经网络的不同层，使得从代码和/或数据存储701和计算硬件702的一个“存储/计算对701/702”得到的激活提供作为代码和/或数据存储705和计算硬件706的下一个“存储/ 计算对705/706”的输入，以便反映神经网络的概念组织。在至少一个实施例中，每个存储/计算对701/702和705/706可以对应于一个以上的神经网络层。在至少一个实施例中，在推理和/或训练逻辑715中可以包括在存储计算对701/702和705/706之后或与之并行的附加存储/计算对(未示出)。
数据中心
图8示出了可以使用至少一个实施例的示例数据中心800。在至少一个实施例中，数据中心800包括数据中心基础设施层810、框架层820、软件层830和应用程序层840。
在至少一个实施例中，如图8所示，数据中心基础设施层810可以包括资源协调器812、分组计算资源814和节点计算资源(“节点C.R.”) 816(1)-816(N)，其中“N”代表任何正整数。在至少一个实施例中，节点C.R.816(1)-816(N)可以包括但不限于任何数量的中央处理单元 (“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、图形处理器等)，存储器设备(例如动态只读存储器)、存储设备(例如固态硬盘或磁盘驱动器)，网络输入/输出(“NWI/O”)设备，网络交换机，虚拟机(“VM”)，电源模块和冷却模块等。在至少一个实施例中，节点 C.R.816(1)-816(N)中的一个或更多个节点C.R.可以是具有一个或更多个上述计算资源的服务器。
在至少一个实施例中，分组计算资源814可以包括容纳在一个或更多个机架内的节点C.R.的单独分组(未示出)，或者容纳在各个地理位置的数据中心内的许多机架(也未示出)。分组的计算资源814内的节点 C.R.的单独分组可以包括可以被配置或分配为支持一个或更多个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中，可以将包括CPU或处理器的几个节点C.R.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个或更多个机架还可以包括任何数量的电源模块、冷却模块和网络交换机，以任意组合。
在至少一个实施例中，资源协调器812可以配置或以其他方式控制一个或更多个节点C.R.816(1)-816(N)和/或分组的计算资源814。在至少一个实施例中，资源协调器812可以包括用于数据中心800的软件设计基础结构(“SDI”)管理实体。在至少一个实施例中，资源协调器108 可以包括硬件、软件或其某种组合。
在至少一个实施例中，如图8所示，框架层820包括作业调度器 822、配置管理器824、资源管理器826和分布式文件***828。在至少一个实施例中，框架层820可以包括支持软件层830的软件832和/或应用程序层840的一个或更多个应用程序842的框架。在至少一个实施例中，软件832或应用程序842可以分别包括基于Web的服务软件或应用程序，例如由AmazonWebServices，GoogleCloud和MicrosoftAzure提供的服务或应用程序。在至少一个实施例中，框架层820可以是但不限于一种免费和开放源软件网络应用程序框架，例如可以利用分布式文件***828 来进行大范围数据处理(例如“大数据”)的ApacheSparkTM(以下称为“Spark”)。在至少一个实施例中，作业调度器832可以包括Spark驱动器，以促进对数据中心800的各个层所支持的工作负载进行调度。在至少一个实施例中，配置管理器824可以能够配置不同的层，例如软件层830 和包括Spark和用于支持大规模数据处理的分布式文件***828的框架层 820。在至少一个实施例中，资源管理器826能够管理映射到或分配用于支持分布式文件***828和作业调度器822的集群或分组计算资源。在至少一个实施例中，集群或分组计算资源可以包括数据中心基础设施层810 上的分组计算资源814。在至少一个实施例中，资源管理器826可以与资源协调器812协调以管理这些映射的或分配的计算资源。
在至少一个实施例中，包括在软件层830中的软件832可以包括由节点C.R.816(1)-816(N)的至少一部分，分组的计算资源814和/或框架层820的分布式文件***828使用的软件。一种或更多种类型的软件可以包括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据库软件和流视频内容软件。
在至少一个实施例中，应用程序层840中包括的一个或更多个应用程序842可以包括由节点C.R.816(1)-816(N)的至少一部分、分组计算资源814和/或框架层820的分布式文件***828使用的一种或更多种类型的应用程序。一种或更多种类型的应用程序可以包括但不限于任何数量的基因组学应用程序、认知计算和机器学习应用程序，包括训练或推理软件，机器学习框架软件(例如PyTorch、TensorFlow、Caffe等)或其他与一个或更多个实施例结合使用的机器学习应用程序。
在至少一个实施例中，配置管理器824、资源管理器826和资源协调器812中的任何一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施例中，自我修改动作可以减轻数据中心800的数据中心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部分。
在至少一个实施例中，数据中心800可以包括工具、服务、软件或其他资源，以根据本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如，在至少一个实施例中，可以通过使用上文关于数据中心800描述的软件和计算资源，根据神经网络架构通过计算权重参数来训练机器学习模型。在至少一个实施例中，通过使用通过本文所述的一种或更多种训练技术计算出的权重参数，可以使用上面与关于数据中心800所描述的资源，使用对应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。
在至少一个实施例中，数据中心可以使用CPU、专用集成电路 (ASIC)、GPU、FPGA或其他硬件来使用上述资源来执行训练和/或推理。此外，上述的一个或更多个软件和/或硬件资源可以配置成一种服务，以允许用户训练或执行信息推理，例如图像识别、语音识别或其他人工智能服务。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在***图8的***中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。
此类组件可用于为一个或更多个神经网络执行无监督域迁移，如可包括特征提取网络和分类器网络。
计算机***
图9是示出根据至少一个实施例示例性计算机***的框图，该示例性计算机***可以是具有互连的设备和组件的***，片上***(SOC)或它们的某种形成有处理器的组合，该处理器可以包括执行单元以执行指令。在至少一个实施例中，根据本公开，例如本文所述的实施例，计算机***900可以包括但不限于组件，例如处理器902，其执行单元包括逻辑以执行用于过程数据的算法。在至少一个实施例中，计算机***900可以包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司 (IntelCorporationofSantaClara,California)获得的
Figure RE-GDA0003497155750000241
处理器家族、XeonTM、
Figure RE-GDA0003497155750000242
XScaleTM和/或StrongARMTM，
Figure RE-GDA0003497155750000243
或
Figure RE-GDA0003497155750000244
微处理器，尽管也可以使用其他***(包括具有其他微处理器的PC、工程工作站、机顶盒等)。在至少一个实施例中，计算机***900可以执行可从华盛顿州雷蒙德市的微软公司 (MicrosoftCorporationofRedmond,Wash.)获得的WINDOWS操作***版本，尽管其他操作***(例如UNIX和Linux)、嵌入式软件和/或图形用户界面也可以使用。
实施例可以用在其他设备中，例如手持设备和嵌入式应用程序。手持设备的一些示例包括蜂窝电话、互联网协议(InternetProtocol)设备、数码相机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式应用程序可以包括微控制器、数字信号处理器(“DSP”)、片上***、网络计算机(“NetPC”)、机顶盒、网络集线器、广域网(“WAN”) 交换机，或根据至少一个实施例可以执行一个或更多个指令的任何其他***。
在至少一个实施例中，计算机***900可包括但不限于处理器902，该处理器902可包括但不限于一个或更多个执行单元908，以根据本文描述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算机***900是单处理器台式机或服务器***，但是在另一实施例中，计算机***900可以是多处理器***。在至少一个实施例中，处理器902可以包括但不限于复杂指令集计算机(“CISC”)微处理器、精简指令集计算 (“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集组合的处理器，或任何其他处理器设备，例如数字信号处理器。在至少一个实施例中，处理器902可以耦合到处理器总线910，该处理器总线910可以在处理器902与计算机***900中的其他组件之间传输数据信号。
在至少一个实施例中，处理器902可以包括但不限于1级(“L1”) 内部高速缓存存储器(“cache”)904。在至少一个实施例中，处理器902 可以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速缓存存储器可以驻留在处理器902的外部。根据特定的实现和需求，其他实施例也可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存器文件906可以在各种寄存器中存储不同类型的数据，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。
在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑执行单元908，其也位于处理器902中。在至少一个实施例中，处理器902 还可以包括微码(“ucode”)只读存储器(“ROM”)，用于存储某些宏指令的微代码。在至少一个实施例中，执行单元908可以包括用于处理封装指令集909的逻辑。在至少一个实施例中，通过将封装指令集909包括在通用处理器的指令集中，以及要执行指令的相关电路，可以使用处理器 902中的封装数据来执行许多多媒体应用程序使用的操作。在一个或更多个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的数据上执行操作来加速和更有效地执行许多多媒体应用程序，这可能不需要在处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的一个或更多个操作。
在至少一个实施例中，执行单元908也可以用在微控制器、嵌入式处理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中，计算机***900可以包括但不限于存储器920。在至少一个实施例中，存储器920可以实现为动态随机存取存储器(“DRAM”)设备、静态随机存取存储器(“SRAM”)设备、闪存设备或其他存储设备。在至少一个实施例中，存储器920可以存储由处理器902可以执行的由数据信号表示的指令919和/或数据921。
在至少一个实施例中，***逻辑芯片可以耦合到处理器总线910和存储器920。在至少一个实施例中，***逻辑芯片可以包括但不限于存储器控制器集线器(“MCH”)916，并且处理器902可以经由处理器总线 910与MCH916通信。在至少一个实施例中，MCH916可以提供到存储器 920的高带宽存储器路径918以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，MCH916可以在处理器902、存储器920和计算机***900中的其他组件之间启动数据信号，并且在处理器总线910、存储器920和***I/O922之间桥接数据信号。在至少一个实施例中，***逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，MCH916可以通过高带宽存储器路径918耦合到存储器920，并且图形/视频卡912可以通过加速图形端口 (AcceleratedGraphicsPort)(“AGP”)互连914耦合到MCH916。
在至少一个实施例中，计算机***900可以使用***I/O922，所述***I/O922是专有集线器接口总线来将MCH916耦合到I/O控制器集线器(“ICH”)930。在至少一个实施例中，ICH930可以通过本地I/O总线提供与某些I/O设备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将***设备连接到存储器920、芯片组和处理器902 的高速I/O总线。示例可以包括但不限于音频控制器929、固件集线器 (“FlashBIOS”)928、无线收发器926、数据存储924、包含用户输入和键盘接口的传统I/O控制器923、串行扩展端口927(例如通用串行总线 (USB)端口)和网络控制器934。数据存储924可以包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备或其他大容量存储设备。
在至少一个实施例中，图9示出了包括互连的硬件设备或“芯片”的***，而在其他实施例中，图9可以示出示例性片上***(SoC)。在至少一个实施例中，设备可以与专有互连、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，计算机***900的一个或更多个组件使用计算快速链路(CXL)互连来互连。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关的推理和/或训练操作。下文结合图7A和/或图7B提供关于推理和/或训练逻辑 715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在图9的***中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。
此类组件可用于为一个或更多个神经网络执行无监督域迁移，如可包括特征提取网络和分类器网络。
图10是示出根据至少一个实施例的用于利用处理器1010的电子设备1000的框图。在至少一个实施例中，电子设备1000可以是，例如但不限于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、膝上型计算机、台式机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电子设备。
在至少一个实施例中，***1000可以包括但不限于通信地耦合到任何合适数量或种类的组件、***设备、模块或设备的处理器1010。在至少一个实施例中，处理器1010使用总线或接口耦合，诸如1℃总线、***管理总线(“SMBus”)、低引脚数(LPC)总线、串行***接口 (“SPI”)、高清音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行总线(“USB”)(1、2、3版)或通用异步接收器/发送器 (“UART”)总线。在至少一个实施例中，图10示出了***，该***包括互连的硬件设备或“芯片”，而在其他实施例中，图10可以示出示例性片上***(SoC)。在至少一个实施例中，图10中所示的设备可以与专有互连线、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，图10的一个或更多个组件使用计算快速链路(CXL)互连线来互连。
在至少一个实施例中，图10可以包括显示器1024、触摸屏1025、触摸板1030、近场通信单元(“NFC”)1045、传感器集线器1040、热传感器1046、快速芯片组(“EC”)1035、可信平台模块(“TPM”)1038、 BIOS/固件/闪存(“BIOS，FWFlash”)1022、DSP1060、驱动器1020(例如固态磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元 (“WLAN”)1050、蓝牙单元1052、无线广域网单元(“WWAN”) 1056、全球定位***(GPS)1055、相机(“USB3.0相机”)1054(例如USB3.0相机)和/或以例如LPDDR3标准实现的低功耗双倍数据速率 (“LPDDR”)存储器单元(“LPDDR3”)1015。这些组件可以各自以任何合适的方式实现。
在至少一个实施例中，其他组件可以通过上文所述的组件通信地耦合到处理器1010。在至少一个实施例中，加速度计1041、环境光传感器 (“ALS”)1042、罗盘1043和陀螺仪1044可以可通信地耦合到传感器集线器1040。在至少一个实施例中，热传感器1039、风扇1037、键盘1036 和触摸板1030可以通信地耦合到EC1035。在至少一个实施例中，扬声器1063、耳机1064和麦克风(“mic”)1065可以通信地耦合到音频单元 (“音频编解码器和D类放大器”)1062，其又可以通信地耦合到 DSP1060。在至少一个实施例中，音频单元1062可以包括例如但不限于音频编码器/解码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”)1057可以通信地耦合到WWAN单元1056。在至少一个实施例中，组件(诸如WLAN单元1050和蓝牙单元1052以及 WWAN单元1056)可以被实现为下一代形式因素(NGFF)。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在图 10***中用于至少部分地基于使用神经网络训练操作、神经网络功能和/ 或架构或本文描述的神经网络用例计算的权重参数来推理或预测操作。
此类组件可用于为一个或更多个神经网络执行无监督域迁移，如可包括特征提取网络和分类器网络。
图11是根据至少一个实施例的处理***的框图。在至少一个实施例中，***1100包括一个或更多个处理器1102和一个或更多个图形处理器1108，并且可以是单处理器台式机***、多处理器工作站***或具有大量处理器1102或处理器核心1107的服务器***。在至少一个实施例中，***1100是结合在片上***(SoC)集成电路内的处理平台，以在移动、手持或嵌入式设备使用。
在至少一个实施例中，***1100可以包括或结合在基于服务器的游戏平台中，包括游戏和媒体控制台的游戏控制台、移动游戏控制台、手持游戏控制台或在线游戏控制台。在至少一个实施例中，***1100是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理***1100还可包括与可穿戴设备耦合或集成在可穿戴设备中，例如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实设备。在至少一个实施例中，处理***1100是电视或机顶盒设备，其具有一个或更多个处理器1102以及由一个或更多个图形处理器1108生成的图形界面。
在至少一个实施例中，一个或更多个处理器1102每个包括一个或更多个处理器核心1107，以处理指令，该指令在被执行时执行针对***和用户软件的操作。在至少一个实施例中，一个或更多个处理器核心 1107中的每一个被配置为处理特定指令组1109。在至少一个实施例中，指令组1109可以促进复杂指令集计算(CISC)、精简指令集计算 (RISC)，或通过超长指令字(VLIW)进行计算。在至少一个实施例中，处理器核心1107可以各自处理不同的指令组1109，该指令组可以包括有助于仿真其他指令组的指令。在至少一个实施例中，处理器核心 1107还可以包括其他处理设备，例如数字信号处理器(DSP)。
在至少一个实施例中，处理器1102包括高速缓存存储器1104。在至少一个实施例中，处理器1102可以具有单个内部高速缓存或多个级别的内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器1102 的各个组件之间共享。在至少一个实施例中，处理器1102还使用外部高速缓存(例如，三级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，可以使用已知的高速缓存一致性技术在处理器核心1107之间共享该外部高速缓存。在至少一个实施例中，处理器1102中另外包括寄存器文件1106，处理器可以包括用于存储不同类型的数据的不同类型的寄存器 (例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件1106可以包括通用寄存器或其他寄存器。
在至少一个实施例中，一个或更多个处理器1102与一个或更多个接口总线1110耦合，以在处理器1102与***1100中的其他组件之间传输通信信号，例如地址、数据或控制信号。在至少一个实施例中，接口总线1110在一个实施例中可以是处理器总线，例如直接媒体接口(DMI) 总线的版本。在至少一个实施例中，接口总线1110不限于DMI总线，并且可以包括一个或更多个***组件互连总线(例如，PCI，PCIExpress)、存储器总线或其他类型的接口总线。在至少一个实施例中，处理器1102 包括集成存储器控制器1116和平台控制器集线器1130。在至少一个实施例中，存储器控制器1116促进存储器设备与处理***1100的其他组件之间的通信，而平台控制器集线器(PCH)1130通过本地I/O总线提供到输入/输出(I/O)设备的连接。
在至少一个实施例中，存储器设备1120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储设备或具有适当的性能以用作处理器存储器。在至少一个实施例中，存储设备1120可以用作处理***1100的***存储器，以存储数据 1122和指令1121，以在一个或更多个处理器1102执行应用程序或过程时使用。在至少一个实施例中，存储器控制器1116还与可选的外部图形处理器1112耦合，其可以与处理器1102中的一个或更多个图形处理器 1108通信以执行图形和媒体操作。在至少一个实施例中，显示设备1111 可以连接至处理器1102。在至少一个实施例中，显示设备1111可以包括内部显示设备中的一个或更多个，例如在移动电子设备或膝上型设备或通过显示器接口(例如显示端口(DisplayPort)等)连接的外部显示设备中。在至少一个实施例中，显示设备1111可以包括头戴式显示器 (HMD)，诸如用于虚拟现实(VR)应用或增强现实(AR)应用中的立体显示设备。
在至少一个实施例中，平台控制器集线器1130使***设备能够通过高速I/O总线连接到存储设备1120和处理器1102。在至少一个实施例中，I/O***设备包括但不限于音频控制器1146、网络控制器1134、固件接口1128、无线收发器1126、触摸传感器1125、数据存储设备1124(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备1124可以经由存储接口(例如，SATA)或经由***总线来连接，诸如***组件互连总线(例如，PCI、PCIe)。在至少一个实施例中，触摸传感器1125 可以包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器1126可以是Wi-Fi收发器、蓝牙收发器或移动网络收发器，诸如3G、4G或长期演进(LTE)收发器。在至少一个实施例中，固件接口1128使能与***固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。在至少一个实施例中，网络控制器1134可以启用到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线1110耦合。在至少一个实施例中，音频控制器1146是多通道高清晰度音频控制器。在至少一个实施例中，处理***1100包括可选的传统 (legacy)I/O控制器1140，用于将传统(例如，个人***2(PS/2))设备耦合到***1100。在至少一个实施例中，平台控制器集线器1130还可以连接到一个或更多个通用串行总线(USB)控制器1142，该控制器连接输入设备，诸如键盘和鼠标1143组合、相机1144或其他USB输入设备。
在至少一个实施例中，存储器控制器1116和平台控制器集线器 1130的实例可以集成到离散的外部图形处理器中，例如外部图形处理器 1112。在至少一个实施例中，平台控制器集线器1130和/或存储器控制器 1116可以在一个或更多个处理器1102的外部。例如，在至少一个实施例中，***1100可以包括外部存储器控制器1116和平台控制器集线器1130，其可以配置成在与处理器1102通信的***芯片组中的存储器控制器集线器和***控制器集线器。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，部分或全部推理和/或训练逻辑715 可以结合到图形处理器1100中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在图形处理器中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图7A或图7B所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器的ALU，以执行一种或更多种本文所述的机器学习算法、神经网络架构、用例或训练技术。
此类组件可用于为一个或更多个神经网络执行无监督域迁移，如可包括特征提取网络和分类器网络。
图12是根据至少一个实施例的具有一个或更多个处理器核心 1202A-1202N、集成存储器控制器1214和集成图形处理器1208的处理器 1200的框图。在至少一个实施例中，处理器1200可以包含附加核心，多达并包括以虚线框表示的附加核心1202N。在至少一个实施例中，每个处理器核心1202A-1202N包括一个或更多个内部高速缓存单元1204A- 1204N。在至少一个实施例中，每个处理器核心还可以访问一个或更多个共享高速缓存单元1206。
在至少一个实施例中，内部高速缓存单元1204A-1204N和共享高速缓存单元1206表示处理器1200内的高速缓存存储器层次结构。在至少一个实施例中，高速缓存存储器单元1204A-1204N可以包括每个处理器核心内的至少一级指令和数据高速缓存以及共享中级高速缓存中的一级或更多级缓存，例如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中将外部存储器之前的最高级别的高速缓存归类为LLC。在至少一个实施例中，高速缓存一致性逻辑维持各种高速缓存单元1206和 1204A-1204N之间的一致性。
在至少一个实施例中，处理器1200还可包括一组一个或更多个总线控制器单元1216和***代理核心1210。在至少一个实施例中，一个或更多个总线控制器单元1216管理一组***总线，例如一个或更多个PCI 或PCIe总线。在至少一个实施例中，***代理核心1210为各种处理器组件提供管理功能。在至少一个实施例中，***代理核心1210包括一个或更多个集成存储器控制器1214，以管理对各种外部存储器设备(未示出)的访问。
在至少一个实施例中，一个或更多个处理器核心1202A-1202N包括对多线程同时进行的支持。在至少一个实施例中，***代理核心1210包括用于在多线程处理期间协调和操作核心1202A-1202N的组件。在至少一个实施例中，***代理核心1210可以另外包括电源控制单元(PCU)，该电源控制单元包括用于调节处理器核心1202A-1202N和图形处理器1208的一个或更多个电源状态的逻辑和组件。
在至少一个实施例中，处理器1200还包括用于执行图处理操作的图形处理器1208。在至少一个实施例中，图形处理器1208与共享高速缓存单元1206和包括一个或更多个集成存储器控制器1214的***代理核心 1210耦合。在至少一个实施例中，***代理核心1210还包括用于驱动图形处理器输出到一个或更多个耦合的显示器的显示器控制器1211。在至少一个实施例中，显示器控制器1211也可以是经由至少一个互连与图形处理器1208耦合的独立模块，或者可以集成在图形处理器1208内。
在至少一个实施例中，基于环的互连单元1212用于耦合处理器 1200的内部组件。在至少一个实施例中，可以使用替代性互连单元，例如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器 1208经由I/O链路1213与环形互连1212耦合。
在至少一个实施例中，I/O链路1213代表多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块1218(例如 eDRAM模块)之间的通信的封装I/O互连。在至少一个实施例中，处理器核心1202A-1202N和图形处理器1208中的每一个使用嵌入式存储器模块1218作为共享的最后一级高速缓存。
在至少一个实施例中，处理器核心1202A-1202N是执行公共指令集架构的同质核心。在至少一个实施例中，处理器核心1202A-1202N在指令集架构(ISA)方面是异构的，其中一个或更多个处理器核心1202A- 1202N执行公共指令集，而一个或更多个其他处理器核心1202A-1202N 执行公共指令集的子集或不同指令集。在至少一个实施例中，就微架构而言，处理器核心1202A-1202N是异构的，其中具有相对较高功耗的一个或更多个核心与具有较低功耗的一个或更多个功率核心耦合。在至少一个实施例中，处理器1200可以在一个或更多个芯片上实现或被实现为SoC 集成电路。
推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，部分或全部推理和/或训练逻辑715 可以结合到处理器1200中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在图12中的图形处理器1512、图形核心1202A-1202N或其他组件中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图7A或图 7B所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器1200的ALU以执行一种或更多种本文所述的机器学习算法、神经网络架构、用例或训练技术。
此类组件可用于为一个或更多个神经网络执行无监督域迁移，如可包括特征提取网络和分类器网络。
虚拟化计算平台
图13是根据至少一个实施例的生成和部署图像处理和推理管道的过程1300的示例数据流程图。在至少一个实施例中，过程1300可以被部署用于在一个或更多个设施1302处与成像设备、处理设备和/或其他设备类型一起使用。过程1300可以在训练***1304和/或部署***1306内执行。在至少一个实施例中，训练***1304可以用于执行机器学习模型(例如，神经网络、对象检测算法、计算机视觉算法等)的训练、部署和实现，以用于部署***1306。在至少一个实施例中，部署***1306可以被配置为在分布式计算环境中卸载处理和计算资源，以减少设施1302的基础设施需求。在至少一个实施例中，管线中的一个或更多个应用程序在应用程序执行期间，可以使用或调用部署***1306的服务(例如，推理、可视化、计算、AI等)。
在至少一个实施例中，在高级处理和推理管线中使用的一些应用程序可以使用机器学习模型或其他AI来执行一个或更多个处理步骤。在至少一个实施例中，可以使用在设施1302处生成(并存储在设施1302处的一个或更多个图片存档和通信***(PACS)服务器上)的数据1308(例如成像数据)在设施1302处训练机器学习模型，可以使用来自另一个或更多个设施的成像或测序数据1308来训练机器学习模型，或其组合。在至少一个实施例中，训练***1304可以用于提供应用程序、服务和/或其他资源，以生成用于部署***1306的工作的、可部署的机器学习模型。
在至少一个实施例中，模型注册表1324可以由对象存储支持，该对象存储可以支持版本控制和对象元数据。在至少一个实施例中，可以从云平台内通过例如云存储(例如，图14的云1426)兼容的应用程序编程接口(API)来访问对象存储。在至少一个实施例中，模型注册表1324 内的机器学习模型可以由与API交互的***的开发者或合作伙伴上传、列出、修改或删除。在至少一个实施例中，API可以提供对方法的访问，所述方法允许具有适当凭证的用户将模型与应用程序相关联，使得模型可以作为应用程序的容器化实例化的执行的一部分来执行。
在至少一个实施例中，训练管线1404(图14)可以包括以下情形：其中设施1302正在训练他们自己的机器学习模型，或者具有需要优化或更新的现有机器学习模型。在至少一个实施例中，可以接收由成像设备、测序设备和/或其他类型设备生成的成像数据1308。在至少一个实施例中，一旦接收到成像数据1308，AI辅助注释1310就可以用于帮助生成与成像数据1308相对应的注释，以用作机器学习模型的地面实况数据。在至少一个实施例中，AI辅助注释1310可以包括一个或更多个机器学习模型(例如，卷积神经网络(CNN))，可以对该机器学习模型进行训练，以生成对应于某些类型的成像数据1308(例如，来自某些设备)的注释。在至少一个实施例中，然后AI辅助注释1310可以被直接使用，或者可以使用注释工具进行调整或微调，以生成地面实况数据。在至少一个实施例中，AI辅助注释1310、标记的临床数据1312或其组合可以用作训练机器学习模型的地面实况数据。在至少一个实施例中，经训练的机器学习模型可以被称为输出模型1316，并且可以由部署***1306使用，如本文所述。
在至少一个实施例中，训练管线1404(图14)可以包括以下情形：其中设施1302需要机器学习模型，以用于执行用于部署***1306中的一个或更多个应用程序的一个或更多个处理任务，但是设施1302当前可能没有这种机器学习模型(或者可能没有为此目的而优化的、高效的或有效的模型)。在至少一个实施例中，可以从模型注册表1324中选择现有的机器学习模型。在至少一个实施例中，模型注册表1324可以包括机器学习模型，其被训练为对成像数据执行各种不同的推理任务。在至少一个实施例中，可以在来自不同的设施(例如，位于远处的设施)而不是设施 1302的成像数据上训练模型注册表1324中的机器学习模型。在至少一个实施例中，机器学习模型可能已经在来自一个位置、两个位置或任意数量的位置的成像数据上进行训练。在至少一个实施例中，当在来自特定位置的成像数据上进行训练时，可以在该位置处进行训练，或者至少以保护成像数据的机密性或限制成像数据从场外迁移的方式进行训练。在至少一个实施例中，一旦在一个位置处训练了模型或部分地训练了模型，则可以将机器学习模型添加到模型注册表1324。在至少一个实施例中，然后可以在任意数量的其他设施处对机器学习模型进行重新训练或更新，经重新训练或更新的模型可以在模型注册表1324中使用。在至少一个实施例中，然后可以从模型注册表1324中选择机器学习模型(并称为输出模型 1316)，并且可以在部署***1306中，以执行用于部署***的一个或更多个应用程序的一个或更多个处理任务。
在至少一个实施例中，在训练管道1404(图14)中，场景可以包括需要机器学习模型的设施1302，以用于执行用于部署***1306中的一个或更多个应用程序的一个或更多个处理任务，但是设施1302当前可能没有这样的机器学习模型(或者可能没有优化的、高效的或有效的模型)。在至少一个实施例中，由于用于训练机器学习模型的训练数据的种群差异、稳健性，训练数据异常的多样性，和/或训练数据的其他问题，从模型注册表1324中选择的机器学习模型可能不会针对在设施1302处生成的成像数据1308进行微调或优化。在至少一个实施例中，AI辅助注释1310可以用于帮助生成与成像数据1308相对应的注释，以用作训练或更新机器学习模型的地面实况数据。在至少一个实施例中，标记的临床数据1312 可以用作训练机器学习模型的地面实况数据。在至少一个实施例中，重新训练或更新机器学习模型可以称为模型训练1314。在至少一个实施例中，模型训练1314(例如AI辅助注释1310，标记的临床数据1312或其组合)可以用作重新训练或更新机器学习模型的地面实况数据。在至少一个实施例中，训练的机器学习模型可以被称为输出模型1316，并且可以由部署***1306使用，如本文所述。
在至少一个实施例中，部署***1306可以包括软件1318、服务 1320、硬件1322和/或其他组件、特征和功能。在至少一个实施例中，部署***1306可以包括软件“栈”，以使软件1318可以构建在服务1320的顶部上，并且可以使用服务1320来执行一些或全部处理任务，并且服务 1320和软件1318可以构建在硬件1322的顶部上，并使用硬件1322来执行部署***的处理、存储和/或其他计算任务。在至少一个实施例中，软件1318可以包括任意数量的不同容器，其中每个容器可以执行应用程序的实例化。在至少一个实施例中，每个应用程序可以在高级处理和推理管线中执行一个或更多个处理任务(例如，推理、对象检测、特征检测、分割、图像增强、校准等)。在至少一个实施例中，除了接收和配置成像数据以供每个容器使用和/或在通过管线处理后由设施1302使用的容器以外，还可以基于对处理成像数据1308想要的或所需的不同容器的选择来定义高级处理和推理管线(例如，以将输出转换回可用的数据类型。在至少一个实施例中，软件1318内的容器组合(例如，其构成管线)可以被称为虚拟仪器(如本文中更详细地描述的)，并且虚拟仪器可以利用服务 1320和硬件1322来执行容器中实例化的应用程序的部分或全部处理任务。
在至少一个实施例中，数据处理管线可以响应于推理请求(例如，来自部署***1306的用户的请求)接收具体格式的输入数据(例如，成像数据1308)。在至少一个实施例中，输入数据可以代表由一个或更多个成像设备生成的一个或更多个图像、视频和/或其他数据表示。在至少一个实施例中，数据可以作为数据处理管线的一部分进行预处理，以准备数据用于由一个或更多个应用程序处理。在至少一个实施例中，可以在管线的一个或更多个推理任务或其他处理任务的输出上执行后处理，以准备下一个应用程序的输出数据和/或准备输出数据，以供用户传输和/或使用 (例如作为对推理请求的响应)。在至少一个实施例中，推理任务可以由一个或更多个机器学习模型执行，例如经训练或部署的神经网络，所述模型可以包括训练***1304的输出模型1316。
在至少一个实施例中，数据处理管线的任务可以封装在容器中，每个容器表示能够引用机器学习模型的应用程序和虚拟化计算环境的离散、全功能实例化。在至少一个实施例中，容器或应用程序可被发布到容器注册表(本文更详细地描述)的私有(例如，有限访问)区域中，并且经训练或部署的模型可存储在模型注册表1324中，并与一个或更多个应用程序相关联。在至少一个实施例中，应用程序的图像(例如，容器图像)可在容器注册表中使用，并且一旦用户从容器注册表中选择图像以用于在管线中部署，则该图像可用于生成用于应用程序的实例化的容器，以供用户的***使用。
在至少一个实施例中，开发者(例如，软件开发者、临床医生、医生等)可以开发、发布和存储应用程序(例如，作为容器)，用于对所提供的数据执行图像处理和/或推理。在至少一个实施例中，可以使用与***相关联的软件开发工具包(SDK)来执行开发、发布和/或存储(例如，以确保开发的应用程序和/或容器符合***或与***兼容)。在至少一个实施例中，所开发的应用程序可以使用SDK在本地测试(例如，在第一设施处，对来自第一设施的数据进行测试)，所述SDK作为***(例如图14中的***1400)可以支持至少某些服务1320。在至少一个实施例中，由于DICOM对象可能包含一到数百个图像或其他数据类型，并且由于数据的变化，因此开发者可负责管理(例如，设置构造，用于将预处理构建到应用程序中等)传入的数据的提取和准备。在至少一个实施例中，一旦通过***1400的验证(例如，为了准确性)，应用程序便会在容器注册表中可用，以供用户选择和/或实现，以对用户的设施(例如第二设施)处的数据执行一个或更多个处理任务。
在至少一个实施例中，开发者随后可以通过网络共享应用程序或容器，以供***(例如，图14的***1400)的用户访问和使用。在至少一个实施例中，可以将完成并经过验证的应用程序或容器存储在容器注册表中，并且可以将相关的机器学习模型存储在模型注册表1324中。在至少一个实施例中，请求实体(其提供推理或图像处理请求)可以浏览容器注册表和/或模型注册表1324，以获得应用程序、容器、数据集、机器学习模型等，选择所需的元素组合以包含在数据处理管线中，并提交图像处理请求。在至少一个实施例中，请求可以包括执行请求所必需的输入数据 (以及在一些示例中与患者相关的数据)，和/或可以包括对在处理请求时要执行的应用程序和/或机器学习模型的选择。在至少一个实施例中，然后可以将请求传递到部署***1306的一个或更多个组件(例如，云)，以执行数据处理管线的处理。在至少一个实施例中，由部署***1306进行的处理可以包括引用从容器注册表和/或模型注册表1324中选择的元素 (例如，应用程序、容器、模型等)。在至少一个实施例中，一旦通过管线生成结果，结果可返回给用户以供参考(例如，用于在本地、本地工作站或终端上执行的查看应用程序套件中进行查看)。
在至少一个实施例中，为了帮助处理或执行管线中的应用程序或容器，可以利用服务1320。在至少一个实施例中，服务1320可以包括计算服务、人工智能(AI)服务、可视化服务和/或其他服务类型。在至少一个实施例中，服务1320可以提供软件1318中的一个或更多个应用程序所共有的功能，因此可以将功能抽象为可以被应用程序调用或利用的服务。在至少一个实施例中，由服务1320提供的功能可以动态且更有效地运行，同时还可以通过允许应用程序并行地处理数据(例如，使用图14中的并行计算平台1430)来很好地缩放。在至少一个实施例中，不是要求共享服务1320提供的相同功能的每个应用程序都必须具有服务1320的相应实例，而是可以在各种应用程序之间和之中共享服务1320。在至少一个实施例中，作为非限制性示例，服务可包括可用于执行检测或分割任务的推理服务器或引擎。在至少一个实施例中，可以包括模型训练服务，其可以提供机器学习模型训练和/或重新训练能力。在至少一个实施例中，可以进一步包括数据增强服务，其可以提供GPU加速的数据(例如， DICOM、RIS、CIS、符合REST、RPC、原始等)提取、调整大小、缩放和/或其他增强。在至少一个实施例中，可以使用可视化服务，其可以添加图像渲染效果(例如光线跟踪、光栅化、去噪、锐化等)，以向二维 (2D)和/或三维(3D)模型添加真实感。在至少一个实施例中，可以包括虚拟仪器服务，其为虚拟仪器的管线内的其他应用程序提供波束赋形、分割、推理、成像和/或支持。
在至少一个实施例中，在服务1320包括AI服务(例如，推理服务)的情况下，作为应用程序执行的一部分，可以通过调用(例如，作为 API调用)推理服务(例如，推理服务器)，以执行一个或更多个机器学***台或其组合。
在至少一个实施例中，可以使用不同类型的硬件1322，以为部署***1306中的软件1318和服务1320提供高效的、专门构建的支持。在至少一个实施例中，可以实现使用GPU处理来在AI/深度学***台还可包括用于深度学***台，来执行云平台(例如，NVIDIA的 NGC)。在至少一个实施例中，云平台可以在多个GPU上集成应用程序容器集群***或协调***(例如，KUBERNETES)，以实现无缝缩放和负载均衡。
图14是根据至少一个实施例的用于生成和部署成像部署管线的示例***1400的***图。在至少一个实施例中，***1400可以用于实现图 13的过程1300和/或其他过程，包括高级处理和推理管线。在至少一个实施例中，***1400可以包括训练***1304和部署***1306。在至少一个实施例中，可以使用软件1318、服务1320和/或硬件1322，来实现训练***1304和部署***1306，如本文所述。
在至少一个实施例中，***1400(例如，训练***1304和/或部署***1306)可以在云计算环境中(例如，使用云1426)实现。在至少一个实施例中，***1400可以在本地实现(关于医疗服务设施)，或者作为云计算资源和本地计算资源的组合来实现。在至少一个实施例中，可以通过制定安全措施或协议，将对云1426中的API的访问权限限制为授权用户。在至少一个实施例中，安全协议可以包括网络令牌，其可以由认证 (例如，AuthN、AuthZ、Gluecon等)服务签名，并且可以携带适当的授权。在至少一个实施例中，虚拟仪器的API(本文中描述)或***1400 的其他实例可以被限制为已被审核或授权用于交互的一组公共IP。
在至少一个实施例中，***1400的各个组件可以使用多种不同网络类型中的任何一种在彼此之间进行通信，所述不同网络类型包括但不限于经由有线和/或无线通信协议的局域网(LAN)和/或广域网(WAN)。在至少一个实施例中，***1400的设施和组件之间的通信(例如，用于发送推理请求、用于接收推理请求的结果等)可以通过一个或更多个数据总线、无线数据协议(Wi-Fi)、有线数据协议(例如以太网)等进行传送。
在至少一个实施例中，类似于本文关于图13所描述的，训练*** 1304可以执行训练管线1404。在至少一个实施例中，其中部署***1306 将在部署管线1410中使用一个或更多个机器学习模型，训练管线1404可用于训练或重新训练一个或更多个(例如，预训练的)模型，和/或实现一个或更多个预训练模型1406(例如，无需重新训练或更新)。在至少一个实施例中，作为训练管线1404的结果，可以生成输出模型1316。在至少一个实施例中，训练管线1404可以包括任意数量的处理步骤，诸如但不限于成像数据(或其他输入数据)的转换或适配。在至少一个实施例中，对于由部署***1306使用的不同的机器学习模型，可以使用不同的训练管线1404。在至少一个实施例中，类似于关于图13描述的第一示例的训练管线1404可用于第一机器学习模型，类似于关于图13描述的第二示例的训练管线1404可用于第二机器学习模型，类似于关于图13描述的第三示例的训练管线1404可用于第三机器学习模型。在至少一个实施例中，可以根据每个相应机器学习模型的要求来使用训练***1304内任务的任何组合。在至少一个实施例中，一个或更多个机器学习模型可能已经被训练并准备好用于部署，因此训练***1304可能不会对机器学习模型进行任何处理，并且一个或更多个机器学习模型可以由部署***1306来实现。
在至少一个实施例中，根据实现或实施例，输出模型1316和/或预训练模型1406可包括任何类型的机器学习模型。在至少一个实施例中并且不限于此，***1400使用的机器学习模型可以包括使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、k-最近邻(Knn)、 k均值聚类、随机森林、降维算法、梯度提升算法、神经网络(例如，自动编码器、卷积、递归、感知器、长/短期记忆(LSTM)、Hopfield、 Boltzmann、深层信念、反卷积、生成对抗、液体状态机等)，和/或其他类型的机器学习模型。
在至少一个实施例中，训练管线1404可以包括AI辅助注释，如本文关于至少图15B更详细描述的。在至少一个实施例中，可以通过任何数量的技术来生成标记的临床数据1312(例如，传统注释)。在至少一个实施例中，在一些示例中可以在绘图程序(例如，注释程序)、计算机辅助设计(CAD)程序、标记程序、适用于生成地面实况的注释或标签的另一类型的应用程序中、和/或可以手绘，生成标签或其他注释。在至少一个实施例中，地面实况数据可以被合成产生(例如，从计算机模型或渲染生成)、真实产生(例如，从真实世界数据设计和生成)、机器自动产生(例如，使用特征分析和学***台，所述多层平台可以包括诊断应用程序(或其他应用程序类型)的软件层(例如软件1318)，其可以执行一个或更多个医学成像和诊断功能。在至少一个实施例中，***1400可以通信地耦合到(例如，经由加密链路)一个或更多个设施的PACS服务器网络。在至少一个实施例中，***1400可被配置为从PACS服务器访问和引用数据，以执行操作，例如训练机器学习模型、部署机器学习模型、图像处理、推理和/或其他操作。
在至少一个实施例中，软件层可以被实现为安全的、加密的和/或经认证的API，通过所述API可以从外部环境(例如，设施1302)援引 (invoke)(例如，调用(call))应用程序或容器。在至少一个实施例中，应用程序随后可以调用或执行一个或更多个服务1320，以执行与各自的应用程序相关联的计算、AI或可视化任务，并且软件1318和/或服务1320可以利用硬件1322以有效和高效的方式执行处理任务。
在至少一个实施例中，部署***1306可以执行部署管线1410。在至少一个实施例中，部署管线1410可以包括任意数量的应用程序，所述应用程序可以是顺序的、非顺序的，或者以其他方式应用于成像数据(和 /或其他数据类型)-包括AI辅助注释，所述成像数据由成像设备、测序设备、基因组学设备等生成，如上所述。在至少一个实施例中，如本文所述，用于个体设备的部署管线1410可以被称为用于设备的虚拟仪器(例如，虚拟超声仪器、虚拟CT扫描仪器、虚拟测序仪器等)。在至少一个实施例中，对于单个设备，可以存在不止一个部署管线1410，这取决于从设备生成的数据所期望的信息。在至少一个实施例中，在期望从MRI 机器检测到异常的情况下，可以存在第一部署管线1410，并且在期望从 MRI机器的输出进行图像增强的情况下，可以存在第二部署管线1410。
在至少一个实施例中，图像生成应用程序可以包括包括使用机器学习模型的处理任务。在至少一个实施例中，用户可能希望使用他们自己的机器学习模型，或者从模型注册表1324中选择机器学习模型。在至少一个实施例中，用户可以实现他们自己的机器学习模型或选择机器学习模型，以包含在执行处理任务的应用程序中。在至少一个实施例中，应用程序可以是可选择的和可定制的，并且通过定义应用程序的构造，针对特定用户的应用程序的部署和实现被呈现为更加无缝的用户体验。在至少一个实施例中，通过利用***1400的其他特征(例如服务1320和硬件 1322)，部署管线1410可以更加用户友好，提供更容易的集成，并且产生更准确、高效和及时的结果。
在至少一个实施例中，部署***1306可以包括用户接口1414(例如，图形用户接口、Web接口等)，所述用户接口可以被用于选择要包括在部署管线1410中的应用程序、布置应用程序、修改或改变应用程序或其参数或构造、在设置和/或部署期间使用部署管线1410以及与其交互，和/或以其他方式与部署***1306交互。在至少一个实施例中，尽管没有关于训练***1304示出，但是用户接口1414(或不同的用户接口)可用于选择在部署***1306中使用的模型、用于选择用于在训练***1304中训练或重新训练的模型，和/或用于以其他方式与训练***1304交互。
在至少一个实施例中，除了应用程序协调***1428之外，还可以使用管线管理器1412来管理部署管线1410的应用程序或容器与服务 1320和/或硬件1322之间的交互。在至少一个实施例中，管线管理器 1412可以被配置为促进从应用程序到应用程序、从应用程序到服务 1320，和/或从应用程序或服务到硬件1322的交互。在至少一个实施例中，尽管示出为包括在软件1318中，这并不旨在进行限制，并且在一些示例中(例如，如图14所示)，管线管理器1412可以被包括在服务1320 中。在至少一个实施例中，应用程序协调***1428(例如，Kubernetes、 DOCKER等)可以包括容器协调***，其可以将应用程序分组到容器中，作为用于协调、管理、缩放和部署的逻辑单元。在至少一个实施例中，通过将来自部署管线1410的应用程序(例如，重建应用程序、分割应用程序等)与各个容器相关联，每个应用程序可以在自包含的环境(例如，在内核级)中执行，以提高速度和效率。
在至少一个实施例中，每个应用程序和/或容器(或其映像)可以被单独开发、修改和部署(例如，第一用户或开发者可以开发、修改和部署第一应用程序，第二用户或开发者可以开发、修改和部署与第一用户或开发者分开的第二应用程序)，这可以允许专注并关注单个应用程序和/或容器的任务，而不受另一个应用程序或容器的任务的阻碍。在至少一个实施例中，管线管理器1412和应用程序协调***1428可以辅助不同容器或应用程序之间的通信和协作。在至少一个实施例中，只要每个容器或应用程序的预期输入和/或输出是***已知的(例如，基于应用程序或容器的构造)，则应用程序协调***1428和/或管线管理器1412可以促进每个应用程序或容器之间和之中的通信以及资源的共享。在至少一个实施例中，由于部署管线1410中的一个或更多个应用程序或容器可以共享相同的服务和资源，因此应用程序协调***1428可以在各个应用程序或容器之间和之中进行协调、负载均衡，并确定服务或资源的共享。在至少一个实施例中，调度器可用于跟踪应用程序或容器的资源需求、这些资源的当前使用或计划使用，以及资源可用性。因此，在至少一个实施例中，考虑到***的需求和可用性，调度器可以将资源分配给不同的应用程序，并在应用程序之间和之中分配资源。在一些示例中，调度器(和/或应用程序协调***1428的其他组件)可以基于施加在***上的约束(例如，用户约束) 来确定资源可用性和分布，例如服务质量(QoS)、对数据输出的迫切需求(例如，以确定是执行实时处理还是延迟处理)等。
在至少一个实施例中，由部署***1306中的应用程序或容器利用并由其共享的服务1320，可以包括计算服务1416、AI服务1418、可视化服务1420和/或其他服务类型。在至少一个实施例中，应用程序可以调用 (例如，执行)一个或更多个服务1320，以执行针对应用程序的处理操作。在至少一个实施例中，应用程序可以利用计算服务1416来执行超级计算或其他高性能计算(HPC)任务。在至少一个实施例中，可以利用一个或更多个计算服务1416来执行并行处理(例如，使用并行计算平台 1430)，以通过一个或更多个应用程序和/或单个应用程序的一个或更多个任务基本上同时地处理数据。在至少一个实施例中，并行计算平台1430 (例如，NVIDIA的CUDA)可以在GPU(GPGPU)(例如，GPU1422) 上实现通用计算。在至少一个实施例中，并行计算平台1430的软件层可以提供对GPU的虚拟指令集和并行计算元素的访问，以执行计算内核。在至少一个实施例中，并行计算平台1430可以包括存储器，并且在一些实施例中，可以在多个容器之间和之中，和/或在单个容器内的不同处理任务之间和之中共享存储器。在至少一个实施例中，可以为多个容器和/ 或容器内的多个进程生成进程间通信(IPC)调用，以使用来自并行计算平台1430的共享存储器段的相同数据(例如，其中一应用程序或多个应用程序的多个不同阶段正在处理相同的信息)。在至少一个实施例中，不是复制数据并将数据移动到存储器中的不同位置(例如，读/写操作)，而是可以将存储器相同位置中的相同数据用于任何数量的处理任务(例如，在同一时间、不同时间等)。在至少一个实施例中，由于作为处理的结果数据被用于生成新数据，因此数据的新位置的该信息可以在各个应用程序之间存储和共享。在至少一个实施例中，数据的位置以及经更新或修改的数据的位置可以是如何理解容器中的有效负载的定义的一部分。
在至少一个实施例中，可以利用AI服务1418来执行推理服务，该推理服务用于执行与应用程序相关联的机器学***协议，例如用于在紧急情况下对紧急请求执行推理，或者在诊断过程中用于放射科医生。在至少一个实施例中，第二类别可以包括标准优先级路径，其可用于可能不紧急的请求或者可以在稍后的时间执行分析的情况。在至少一个实施例中，应用程序协调***1428可以基于优先级路径来分配资源(例如，服务1320和/或硬件1322)，以用于AI服务 1418的不同推理任务。
在至少一个实施例中，共享存储器可以被安装到***1400中的AI 服务1418。在至少一个实施例中，共享存储器可以操作为高速缓存(或其他存储设备类型)，并且可以用于处理来自应用程序的推理请求。在至少一个实施例中，当提交推理请求时，部署***1306的一组API实例可以接收请求，并且可以选择一个或更多个实例(例如，为了最佳拟合、为了负载均衡等)来处理请求。在至少一个实施例中，为了处理请求，可以将请求输入到数据库中，如果尚未在高速缓存中，则可以从模型注册表 1324定位机器学习模型，验证步骤可以确保将适当的机器学习模型加载到高速缓存中(例如，共享存储)，和/或可以将模型的副本保存到高速缓存中。在至少一个实施例中，如果应用程序尚未运行或没有足够的应用程序的实例，则可使用调度器(例如，管线管理器1412的调度器)来启动在请求中引用的应用程序。在至少一个实施例中，如果尚未启动推理服务器来执行模型，则可以启动推理服务器。每个模型可以启动任意数量的推理服务器。在至少一个实施例中，在将推理服务器聚类的拉(pull)模型中，每当负载均衡有利时，就可以将模型高速缓存。在至少一个实施例中，推理服务器可以静态加载到相应的分布式服务器中。
在至少一个实施例中，可以使用在容器中运行的推理服务器来执行推理。在至少一个实施例中，推理服务器的实例可以与模型(并且可选地与模型的多个版本)相关联。在至少一个实施例中，如果在接收到对模型执行推理的请求时推理服务器的实例不存在，则可以加载新实例。在至少一个实施例中，当启动推理服务器时，可以将模型传递到推理服务器，使得可以使用相同的容器来服务不同的模型，只要推理服务器作为不同的实例运行即可。
在至少一个实施例中，在应用程序执行期间，可以接收对给定应用程序的推理请求，并且可以加载(如果尚未加载的话)容器(例如，托管推理服务器的实例)，以及可以调用启动程序。在至少一个实施例中，容器中的预处理逻辑可以(例如，使用CPU和/或GPU)对传入的数据进行加载、解码和/或执行任何附加的预处理。在至少一个实施例中，一旦数据准备好进行推理，容器就可以根据需要对数据进行推理。在至少一个实施例中，这可以包括对一个图像(例如，手部X射线)的单个推理调用，或可要求对数百个图像(例如，胸部CT)进行推理。在至少一个实施例中，应用程序可在完成之前总结结果，其可以包括但不限于单个置信度得分、像素级分割、体素级分割、生成可视化或生成文本以总结结果。在至少一个实施例中，可以为不同的模型或应用程序分配不同的优先级。例如，一些模型可具有实时(TAT小于1分钟)优先级，而其他模型可具有较低的优先级(例如，TAT小于10分钟)。在至少一个实施例中，模型执行时间可以从请求机构或实体进行测量，并且可以包括合作网络遍历时间以及推理服务的执行时间。
在至少一个实施例中，请求在服务1320和推理应用程序之间的传送可以隐藏在软件开发工具包(SDK)后面，并且可以通过队列提供鲁棒的传输。在至少一个实施例中，将通过API将请求放置在队列中，以用于个体应用程序/租户ID组合，并且SDK将从队列中拉取请求并将请求提供给应用程序。在至少一个实施例中，在SDK将从中拾取队列的环境中，可以提供队列的名称。在至少一个实施例中，通过队列的异步通信可能有用，因为它可以允许应用程序的任何实例在其可用时拾取工作。可以通过队列将结果传送回去，以确保没有数据丢失。在至少一个实施例中，队列还可以提供对工作进行分割的能力，因为最高优先级的工作可以进入与应用程序的大多数实例连接的队列，而最低优先级的工作可以进入与单个实例连接的队列，所述实例按照接收到的顺序处理任务。在至少一个实施例中，应用程序可以在GPU加速的实例上运行，所述实例在云1426中生成，并且推理服务可以在GPU上执行推理。
在至少一个实施例中，可以利用可视化服务1420来生成用于查看应用程序和/或部署管线1410输出的可视化。在至少一个实施例中，可视化服务1420可以利用GPU1422来生成可视化。在至少一个实施例中，可视化服务1420可以实现诸如光线追踪之类的渲染效果，以生成更高质量的可视化。在至少一个实施例中，可视化可以包括但不限于2D图像渲染、3D体渲染、3D体重建、2D层析切片、虚拟现实显示、增强现实显示等。在至少一个实施例中，可以使用虚拟化环境来生成虚拟交互显示或环境(例如，虚拟环境)，以供***用户(例如，医生、护士、放射科医生等)进行交互。在至少一个实施例中，可视化服务1420可以包括内部可视化器、电影和/或其他渲染或图像处理能力或功能(例如，光线追踪、光栅化、内部光学器件等)。
在至少一个实施例中，硬件1322可以包括GPU1422、AI*** 1424、云1426和/或用于执行训练***1304和/或部署***1306的任何其他硬件。在至少一个实施例中，GPU1422(例如，NVIDIA的TESLA和/ 或QUADROGPU)可包括可用于执行计算服务1416、AI服务1418、可视化服务1420、其他服务和/或软件1318的任何特征或功能的处理任务的任意数量的GPU。例如，对于AI服务1418，GPU1422可用于对成像数据(或机器学***台。在至少一个实施例中，AI***1424可以使用GPU，并且可以使用一个或更多个AI***1424来执行云1426(或者任务为深度学习或推理的至少部分)。同样，尽管硬件1322被示出为离散组件，但这并不意图是限制，并且硬件1322的任何组件可以与硬件1322的任何其他组件组合，或由硬件1322的任何其他组件利用。
在至少一个实施例中，AI***1424可包括专门构建的计算*** (例如，超级计算机或HPC)，该计算***配置用于推理、深度学习、机器学习和/或其他人工智能任务。在至少一个实施例中，除了CPU、 RAM、存储器和/或其他组件、特征或功能之外，AI***1424(例如，NVIDIA的DGX)还可以包括可以使用多个GPU1422来执行分GPU优化的软件(例如，软件栈)。在至少一个实施例中，可以在云1426中(例如，在数据中心中)实现一个或更多个AI***1424，以执行***1400 的一些或全部基于AI的处理任务。
在至少一个实施例中，云1426可以包括GPU加速的基础设施(例如，NVIDIA的NGC)，其可以提供用于执行***1400的处理任务的 GPU优化的平台。在至少一个实施例中，云1426可以包括AI*** 1424，其用于执行***1400的一个或更多个基于AI的任务(例如，作为硬件抽象和缩放平台)。在至少一个实施例中，云1426可以与利用多个 GPU的应用程序协调***1428集成，以实现应用程序和服务1320之间和之中的无缝缩放和负载均衡。在至少一个实施例中，如本文所述，云 1426可以负责执行***1400的至少一些服务1320，包括计算服务 1416、AI服务1418和/或可视化服务1420。在至少一个实施例中，云 1426可以执行大小批的推理(例如，执行NVIDIA的TENSORRT)，提供加速的并行计算API和平台1430(例如，NVIDIA的CUDA)，执行应用程序协调***1428(例如，KUBERNETES)，提供图形渲染API和平台(例如，用于光线跟踪，2D图形、3D图形和/或其他渲染技术以产生更高质量的电影效果)，和/或可以为***1400提供其他功能。
图15A示出了根据至少一个实施例的用于训练、重新训练或更新机器学习模型的过程1500的数据流图。在至少一个实施例中，可以使用作为非限制性示例的图14的***1400来执行过程1500。在至少一个实施例中，过程1500可以利用***1400的服务1320和/或硬件1322，如本文所述。在至少一个实施例中，由过程1500生成的精炼模型1512可以由部署***1306针对部署管线1410中的一个或更多个容器化的应用程序执行。
在至少一个实施例中，模型训练1314可包括使用新的训练数据 (例如，新的输入数据(诸如客户数据集1506)，和/或与输入数据相关联的新的地面实况数据)重新训练或更新初始模型1504(例如，预训练模型)。在至少一个实施例中，为了重新训练或更新初始模型1504，可以重置或删除初始模型1504的输出或损失层，和/或用更新的或新的输出或损失层代替。在至少一个实施例中，初始模型1504可以具有从先前的训练中保留下来的先前精细调整的参数(例如，权重和/或偏差)，因此训练或重新训练1314可能不需要花费与从头开始训练模型一样长的时间或不需要那么多的处理。在至少一个实施例中，在模型训练1314期间，通过重置或替换初始模型1504的输出或损失层，在新的客户数据集1506(例如图13的图像数据1308)上生成预测时，可以基于与输出或损失层的精度相关联的损失计算，更新和重新调整新数据集的参数。
在至少一个实施例中，可以将经预训练的模型1406存储在数据存储或注册表中(例如，图13的模型注册表1324)。在至少一个实施例中，经预训练的模型1406可能已经至少部分地在除了执行过程1500的设施之外的一个或更多个设施处被训练。在至少一个实施例中，为了保护患者、受试者或不同设施的客户的隐私和权利，经预训练的模型1406可能已经使用本地生成的客户或患者数据在本地进行了训练。在至少一个实施例中，可以使用云1426和/或其他硬件1322来训练经预训练的模型 1406，但是机密的、受隐私保护的患者数据可以不被传送到云1426的任何组件(或其他非本地硬件)、由其使用或由其访问。在至少一个实施例中，如果使用来自不止一个设施的患者数据来训练经预训练的模型 1406，则在来自另一设施的患者或客户数据上进行训练之前，经预训练的模型1406可能已经针对每个设施进行了单独训练。在至少一个实施例中，例如在客户或患者数据已发布隐私问题(例如，通过放弃，用于实验用途等)，或者其中客户或患者数据包括在公共数据集中的情况下，来自任意数量的设施的客户或患者数据可以用于在本地和/或外部训练经预训练的模型1406，例如在数据中心中或其他云计算基础设施中。
在至少一个实施例中，在选择应用程序以在部署管线1410中使用时，用户还可以选择用于特定应用程序的机器学习模型。在至少一个实施例中，用户可能没有模型以使用，因此用户可以选择要与应用程序一起使用的经预训练的模型1406。在至少一个实施例中，经预训练的模型1406 可能没有被优化用于在用户设施的客户数据集1506上生成准确的结果 (例如，基于患者多样性、人口统计、所使用的医学成像设备的类型等)。在至少一个实施例中，在将经预训练的模型1406部署到部署管线 1410中以与一个或更多个应用程序一起使用之前，经预训练的模型1406 可以被更新、重新训练和/或微调，以用于在各个设施处使用。
在至少一个实施例中，用户可以选择要更新、重新训练和/或微调的经预训练的模型1406，并且经预训练的模型1406可以称为过程1500中训练***1304的初始模型1504。在至少一个实施例中，客户数据集1506 (例如，成像数据、基因组数据、测序数据或由设施处的设备生成的其他数据类型)可用于对初始模型1504执行模型训练1314(其可包括但不限于传递学习)，以生成精炼模型1512。在至少一个实施例中，可以由训练***1304生成与客户数据集1506相对应的地面实况数据。在至少一个实施例中，可以至少部分地由临床医生、科学家、医生、从业者在设施处生成地面实况数据(例如，如图13中的标记的临床数据1312)。
在至少一个实施例中，在一些示例中可以使用AI辅助注释1310来生成地面实况数据。在至少一个实施例中，AI辅助注释1310(例如，使用AI辅助注释SDK实现)可以利用机器学习模型(例如，神经网络)来生成用于客户数据集的建议或预测的地面实况数据。在至少一个实施例中，用户1510可以在计算设备1508上的用户界面(图形用户界面 (GUI))内使用注释工具。
在至少一个实施例中，用户1510可以经由计算设备1508与GUI交互，以编辑或微调注释或自动注释。在至少一个实施例中，多边形编辑特征可以用于将多边形的顶点移动到更精确或微调的位置。
在至少一个实施例中，一旦客户数据集1506具有相关联的地面实况数据，则地面实况数据(例如，来自AI辅助注释、手动标记等)可以在模型训练1314期间用于生成精炼模型1512。在至少一个实施例中，客户数据集1506可以被应用到初始模型1504任意次数，并且地面实况数据可以用于更新初始模型1504的参数，直到对于精炼模型1512达到可接受的精度水平为止。在至少一个实施例中，一旦生成精炼模型1512，就可以在设施处的一个或更多个部署管线1410内部署精炼模型1512，以用于执行关于医学成像数据的一个或更多个处理任务。
在至少一个实施例中，可以将精炼模型1512上传到模型注册表 1324中的经预训练的模型1406，以由另一个设施选择。在至少一个实施例中，他的过程可以在任意数量的设施处完成，使得可以在新数据集上对精炼模型1512进一步精炼任意次数，以生成更通用的模型。
图15B是根据至少一个实施例的用于利用经预训练的注释模型来增强注释工具的客户端-服务器架构1532的示例图示。在至少一个实施例中，可以基于客户端-服务器架构1532来实例化AI辅助注释工具1536。在至少一个实施例中，成像应用程序中的注释工具1536可以帮助放射线医生，例如识别器官和异常。在至少一个实施例中，成像应用程序可以包括软件工具，作为非限制性示例，所述软件工具帮助用户1510识别原始图像1534中(例如，在3DMRI或CT扫描中)的特定感兴趣器官上的几个极值点，并接收特定器官的所有2D切片的自动注释结果。在至少一个实施例中，结果可以作为训练数据1538存储在数据存储中，并且用作 (例如但不限于)用于训练的地面实况数据。在至少一个实施例中，当计算设备1508发送用于AI辅助注释1310的极值点时，例如，深度学习模型可以接收该数据作为输入并返回分割器官或异常的推理结果。在至少一个实施例中，预实例化的注释工具(例如图15B中的AI辅助注释工具 1536B)可以通过对服务器(诸如注释助手服务器1540)进行API调用 (例如API调用1544)来增强，注释助手服务器1540可包括存储在例如注释模型注册表中的一组经预训练的模型1542。在至少一个实施例中，注释模型注册表可以存储经预训练的模型1542(例如，机器学习模型，诸如深度学习模型)，其被预训练以对特定器官或异常执行AI辅助注释。在至少一个实施例中，可以通过使用训练管线1404来进一步更新这些模型。在至少一个实施例中，随着添加新的标记的临床数据1312，可以随时间改进预安装的注释工具。
此类组件可用于为一个或更多个神经网络执行无监督域迁移，如可包括特征提取网络和分类器网络。
其他其他变型在本公开的精神内。因此，尽管公开的技术易于进行各种修改和替代构造，但是某些示出的其实施例在附图中示出并且已经在上面进行了详细描述。然而，应理解，无意将公开内容限制为所公开的一种或更多种特定形式，而是相反，其意图是涵盖落入如所附权利要求书所定义的本公开内容的精神和范围内的所有修改、替代构造和等同物。
除非另有说明或显然与上下文矛盾，否则在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文中)，术语“一”和“一个”和“该”以及类似指代的使用应被解释为涵盖单数和复数，而不是作为术语的定义。除非另有说明，否则术语“包括”、“具有”、“包含”和“含有”应被解释为开放式术语(意味着“包括但不限于”)。术语“连接” (在未经修改时指的是物理连接)应解释为部分或全部包含在内、附接到或连接在一起，即使有某些介入。除非本文另外指出，否则本文中对数值范围的引用仅旨在用作分别指代落入该范围内的每个单独值的简写方法，并且每个单独值都被并入说明书中，就如同其在本文中被单独叙述一样。除非另外指出或与上下文矛盾，否则术语“集”(例如“项目集”)或“子集”的使用应解释为包括一个或更多个成员的非空集合。此外，除非另外指出或与上下文矛盾，否则术语相应集的“子集”不一定表示对应集的适当子集，而是子集和对应集可以相等。
除非以其他方式明确指出或与上下文明显矛盾，否则诸如“A，B 和C中的至少一个”或“A，B与C中的至少一个”形式的短语之类的连接语在上下文中理解为通常用来表示项目、条款等，其可以是A或B或 C，也可以是A和B和C集的任何非空子集。例如，在具有三个成员的集的说明性示例中，连接短语“A，B和C中的至少一个”和“A，B与 C中的至少一个”是指以下任意集：{A}，{B}，{C}，{A，B}，{A， C}，{B，C}，{A，B，C}。因此，这种连接语言通常不旨在暗示某些实施例要求存在A中的至少一个，B中的至少一个和C中的至少一个。另外，除非另有说明或与上下文矛盾，否则术语“多个”表示复数的状态 (例如，“多个项目”表示多个项目)。多个项目中项目的数量至少为两个，但如果明确指示或通过上下文指示，则可以更多。此外，除非另有说明或从上下文中可以清楚得知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。
除非本文另外指出或与上下文明显矛盾，否则本文描述的过程的操作可以任何合适的顺序执行。在至少一个实施例中，诸如本文所述的那些过程(或其变形和/或其组合)之类的过程在配置有可执行指令的一个或更多个计算机***的控制下执行，并且被实现为代码(例如，可执行指令，一个或更多个计算机程序或一个或更多个应用程序)，该代码通过硬件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，代码以例如计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个指令。在至少一个实施例中，计算机可读存储介质是非暂时性计算机可读存储介质，其排除了暂时性信号 (例如，传播的瞬态电或电磁传输)，但包括非暂时性数据存储电路(例如，缓冲区、高速缓存和队列)。在至少一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令的一组一个或更多个非暂时性计算机可读存储介质(或用于存储可执行指令的其他存储器) 上，该可执行指令在由计算机***的一个或更多个处理器执行时(即，作为被执行的结果)，使得计算机***执行本文所述的操作。在至少一个实施例中，一组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介质，并且多个非暂时性计算机可读存储介质中的个体非暂时性存储介质中的一个或更多个缺少全部代码，而是多个非暂时性计算机可读存储介质共同存储全部代码。在至少一个实施例中，可执行指令被执行，以使得不同的指令由不同的处理器执行，例如，非暂时性计算机可读存储介质存储指令，并且主中央处理单元(“CPU”)执行一些指令，而图形处理单元(“GPU”)执行其他指令。在至少一个实施例中，计算机***的不同组件具有单独的处理器，并且不同的处理器执行指令的不同子集。
因此，在至少一个实施例中，计算机***被配置为实现单独地或共同地执行本文所述的过程的操作的一个或更多个服务，并且这样的计算机***被配置有使能实施操作的适用的硬件和/或软件。此外，实现本公开的至少一个实施例的计算机***是单个设备，并且在另一实施例中是分布式计算机***，其包括以不同方式操作的多个设备，使得分布式计算机***执行本文所述的操作，并且使得单个设备不执行所有操作。
本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本公开的实施例，并且不对公开的范围构成限制，除非另有要求。说明书中的任何语言都不应被解释为表示任何未要求保护的要素对于实践公开内容是必不可少的。
本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度就如同每个参考文献被单独且具体地指示为以引用的方式并入本文并且其全部内容在本文中阐述一样。
在说明书和权利要求中，可以使用术语“耦合”和“连接”以及它们的派生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接物理或电接触。“耦合”也可能意味着两个或更多个元素彼此不直接接触，但仍彼此协作或交互。
除非另有明确说明，否则可以理解，在整个说明书中，诸如“处理”、“计算”、“计算”、“确定”等之类的术语，是指计算机或计算***或类似的电子计算设备的动作和/或过程，其将计算***的寄存器和/或存储器中表示为物理量(例如电子)的数据处理和/或转换为类似表示为计算***的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。
以类似的方式，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或存储器的一部分。作为非限制性示例，“处理器”可以是CPU或GPU。“计算平台”可以包括一个或更多个处理器。如本文所使用的，“软件”进程可以包括例如随时间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每个过程可以指代多个过程，以连续地或间歇地顺序地或并行地执行指令。术语“***”和“方法”在本文中可以互换使用，只要***可以体现一种或更多种方法，并且方法可以被认为是***。
在本文件中，可以参考获得、获取、接收或将模拟或数字数据输入子***、计算机***或计算机实现的机器中。可以通过多种方式来获得、获取、接收或输入模拟和数字数据，例如通过接收作为函数调用或对应用程序编程接口的调用的参数的数据。在一些实现方式中，可以通过经由串行或并行接口传输数据来完成获得、获取、接收或输入模拟或数字数据的过程。在另一实现方式中，可以通过经由计算机网络将数据从提供实体传输到获取实体来完成获得、获取、接收或输入模拟或数字数据的过程。也可以参考提供、输出、传送、发送或呈现模拟或数字数据。在各种示例中，提供、输出、传送、发送或呈现模拟或数字数据的过程可以通过将数据作为函数调用的输入或输出参数、应用程序编程接口或进程间通信机制的参数进行传输来实现。
尽管上面的讨论阐述了所描述的技术的示例实现，但是其他架构可以用于实现所描述的功能，并且旨在落入本公开的范围内。此外，尽管出于讨论的目的在上面定义了具体的职责分配，但是根据情况，可以以不同的方式分配和划分各种功能和职责。
此外，尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书所要求保护的主题不必限于所描述的特定特征或动作。而是，公开了特定的特征和动作作为实现权利要求的示例性形式。

Claims (20)

1.一种计算机实现的方法，包括：
使用第一神经网络将代表输入的一组特征编码到潜在空间中；
至少部分基于编码特征使用第二个神经网络对所述输入进行分类；
至少部分所述基于所述编码特征并使用第三神经网络推理与所述输入相对应的域；以及
至少针对所述第一神经网络调整一个或更多个网络参数，直到所述第二神经网络基于由所述第一神经网络编码的特征准确地对所述输入进行分类为止，其中调整所述一个或更多个网络参数防止所述第三神经网络能够以至少最低限度的确定性推理所述域。
2.如权利要求1所述的计算机实现的方法，其中所述输入包括一个或更多个图像，所述一个或更多个图像包括一种或更多种类型的对象的表示，并且其中所述域被进一步推理为对应于所述一种或更多种类型的对象的预测对象。
3.如权利要求1所述的计算机实现的方法，其中所述输入包括来自第一域的一个或更多个标记图像和来自第二域的一个或更多个未标记图像。
4.如权利要求1所述的计算机实现的方法，其中调整所述第一神经网络的所述网络参数使得所述第一神经网络将独立于所述域的特征编码到所述潜在空间中。
5.如权利要求1所述的计算机实现的方法，还包括：
针对所述第一神经网络和所述第二神经网络提供所述网络参数，用于对未分类数据进行分类推理。
6.如权利要求1所述的计算机实现的方法，其中所述第一神经网络是卷积神经网络，所述卷积神经网络将被训练以从输入数据中提取特征并将这些特征编码到潜在空间中。
7.根据权利要求6所述的计算机实现的方法，其中所述第二神经网络是分类器网络，用于将所述潜在空间作为输入并推理所述输入数据中表示的所述一个或更多个对象或实例的分类。
8.一种训练***，包括：
特征提取网络，用于将从输入中提取的一组特征编码到潜在空间中；
数据分类器网络，用于至少部分基于编码特征对所述输入进行分类。
域分类器网络，用于至少部分基于所述编码特征来推理与所述输入相对应的域；和
评估组件，用于调整所述特征提取网络、所述数据分类器网络或所述域分类器网络中的至少一个的一个或更多个网络参数，直到所述数据分类器网络使用由所述特征提取网络编码的所述特征准确地对所述输入进行分类为止，但是防止所述域分类器网络能够以至少最小的确定性推理所述域。
9.如权利要求8所述的训练***，其中调整所述特征提取网络的所述网络参数，以使得所述特征提取网络将独立于所述域的特征编码到所述潜在空间中。
10.如权利要求8所述的训练***，其中所述训练***还进一步针对所述特征提取网络和所述数据分类器网络提供所述网络参数，以推理未分类数据的一个或更多个分类。
11.如权利要求8所述的训练***，其中所述特征提取网络是卷积神经网络。
12.如权利要求8所述的训练***，其中所述数据分类器网络是具有Leaky-Relu激活函数的两层神经网络。
13.如权利要求8所述的训练***，其中由所述训练***实施的f-对抗学习过程的目标利用斯塔克尔伯格均衡。
14.如权利要求8所述的训练***，其中所述输入包括来自第一域的一个或更多个对象的一个或更多个标记图像，以及来自第二域的一个或更多个对象的一个或更多个未标记图像，并且其中所述域分类器网络进一步基于所述一个或更多个对象中的至少一个预测对象来推理域。
15.一种计算机实现的方法，包括：
接收对应于一组域中的域的输入；
从所述输入中提取一组独立于所述域的特征；和
至少部分基于提取的特征集推理所述输入的分类。
16.如权利要求15所述的计算机实现的方法，其中使用所述特征提取网络来提取所述特征集，并且使用数据分类器网络来推理所述分类，其中，使用来自所述域集合的数据训练所述特征提取网络和所述数据分类器网络，所述数据包括来自第一域的未标记数据和来自第二域的标记数据。
17.如权利要求16所述的计算机实现的方法，其中所述特征提取网络和所述数据分类器网络与域提取器网络一起被训练，其中针对所述特征提取网络、所述数据分类器网络，或所述域分类器网络中的至少一个调整一个或更多个网络参数，直到所述数据分类器网络使用由所述特征提取网络编码的特征准确地对所述输入进行分类为止，同时防止所述域分类器网络能够以至少最小的确定性推理所述域。
18.如权利要求17所述的计算机实施的方法，其中，针对所述训练实现的f-对抗性学习过程的目标是利用斯塔克伯格均衡。
19.如权利要求16所述的计算机实现的方法，其中所述特征提取网络是卷积神经网络。
20.如权利要求16所述的计算机实现的方法，其中所述数据分类网络是具有Leaky-Relu激活函数的两层神经网络。
CN202111125948.6A 2020-10-01 2021-09-24 神经网络的无监督域适应 Pending CN114266347A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063086544P 2020-10-01 2020-10-01
US63/086,544 2020-10-01
US17/226,534 US11989262B2 (en) 2020-10-01 2021-04-09 Unsupervised domain adaptation with neural networks
US17/226,534 2021-04-09

Publications (1)

Publication Number Publication Date
CN114266347A true CN114266347A (zh) 2022-04-01

Family

ID=80738258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111125948.6A Pending CN114266347A (zh) 2020-10-01 2021-09-24 神经网络的无监督域适应

Country Status (3)

Country Link
US (1) US11989262B2 (zh)
CN (1) CN114266347A (zh)
DE (1) DE102021125231A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115885A (zh) * 2022-06-30 2022-09-27 中国科学院南京地理与湖泊研究所 一种保留重要极值点的格拉姆角场转换的用地分类方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3767536A1 (en) * 2019-07-17 2021-01-20 Naver Corporation Latent code for unsupervised domain adaptation
US20220180200A1 (en) * 2020-12-09 2022-06-09 International Business Machines Corporation Unsupervised domain adaptation using joint loss and model parameter search
US12019726B2 (en) * 2022-03-18 2024-06-25 Qualcomm Incorporated Model disentanglement for domain adaptation
US11966570B2 (en) * 2022-04-26 2024-04-23 Truist Bank Automated processing and dynamic filtering of content for display
CN114694150B (zh) * 2022-05-31 2022-10-21 成都考拉悠然科技有限公司 一种提升数字图像分类模型泛化能力的方法及***
CN114997401B (zh) * 2022-08-03 2022-11-04 腾讯科技（深圳）有限公司 自适应推理加速方法、装置、计算机设备和存储介质
CN116882486B (zh) * 2023-09-05 2023-11-14 浙江大华技术股份有限公司 一种迁移学习权重的构建方法和装置及设备
CN117932347B (zh) * 2024-03-22 2024-06-11 四川大学 基于对抗性迁移学习的pm2.5预测方法及***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776693B2 (en) * 2017-01-31 2020-09-15 Xerox Corporation Method and system for learning transferable feature representations from a source domain for a target domain
US11494415B2 (en) * 2018-05-23 2022-11-08 Tata Consultancy Services Limited Method and system for joint selection of a feature subset-classifier pair for a classification task
US11544535B2 (en) * 2019-03-08 2023-01-03 Adobe Inc. Graph convolutional networks with motif-based attention
BR112021017002A2 (pt) * 2019-03-14 2021-11-09 Hyperfine Inc Técnicas de aprendizagem profunda para gerar imagens por ressonância magnética a partir de dados de frequência espaciais
JP7310904B2 (ja) * 2019-09-25 2023-07-19 日本電気株式会社 学習装置、学習方法、及び、プログラム
EP4053734A4 (en) * 2019-11-20 2023-01-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. MANUAL GESTURE ESTIMATION METHOD AND APPARATUS, DEVICE AND COMPUTER STORAGE MEDIA
US11704804B2 (en) * 2020-04-02 2023-07-18 GE Precision Healthcare LLC Domain adaptation using post-processing model correction

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115885A (zh) * 2022-06-30 2022-09-27 中国科学院南京地理与湖泊研究所 一种保留重要极值点的格拉姆角场转换的用地分类方法
CN115115885B (zh) * 2022-06-30 2024-04-02 中国科学院南京地理与湖泊研究所 一种保留重要极值点的格拉姆角场转换的用地分类方法

Also Published As

Publication number Publication date
US20220108134A1 (en) 2022-04-07
DE102021125231A1 (de) 2022-04-07
US11989262B2 (en) 2024-05-21

Similar Documents

Publication Publication Date Title
US11816790B2 (en) Unsupervised learning of scene structure for synthetic data generation
US20210117859A1 (en) Live updating of machine learning models
US20210089921A1 (en) Transfer learning for neural networks
US11989262B2 (en) Unsupervised domain adaptation with neural networks
US11494976B2 (en) Neural rendering for inverse graphics generation
US20220147743A1 (en) Scalable semantic image retrieval with deep template matching
US11995883B2 (en) Scene graph generation for unlabeled data
US20220230376A1 (en) Motion prediction using one or more neural networks
US20230109379A1 (en) Diffusion-based generative modeling for synthetic data generation systems and applications
US20230377099A1 (en) Synthesizing content using diffusion models in content generation systems and applications
US11726755B2 (en) Caching of compiled shader programs in a cloud computing environment
US20230385983A1 (en) Identifying application buffers for post-processing and re-use in secondary applications
US20230274492A1 (en) Texture transfer and synthesis using aligned maps in image generation systems and applications
US11546568B1 (en) View synthesis for dynamic scenes
US20240129380A1 (en) Data center job scheduling using machine learning
US20240221288A1 (en) Selecting representative image views for 3d object models in synthetic content creation systems and applications
US20220391667A1 (en) Processing ultrahyperbolic representations using neural networks
US11983928B1 (en) Dynamically composable object tracker configuration for intelligent video analytics systems
US20240095463A1 (en) Natural language processing applications using large language models
US20230077865A1 (en) Compiled shader program caches in a cloud computing environment
US20240232039A1 (en) Application execution allocation using machine learning
US20230281907A1 (en) Offloading shader program compilation
US20230325988A1 (en) Spatiotemporal filtering for light transport simulation systems and applications
US20230281030A1 (en) Just in time compilation using link time optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination