CN110023964A - 训练和/或使用神经网络模型来生成光谱图像的中间输出 - Google Patents

Abstract

与训练和/或使用神经网络模型相关的***、方法和计算机可读介质。训练的神经网络模型可用于基于常规图像生成(例如，在隐藏层上)光谱图像，并生成指示在生成的光谱图像中存在(并在常规图像中存在，因为光谱图像是基于常规图像生成的)的一个或多个特征的输出。作为一个示例，可以将常规图像作为输入应用于训练的神经网络模型、基于常规图像在训练的神经网络模型的多个层上生成的光谱图像以及基于该光谱图像在多个附加层上生成的输出。生成的输出可以根据训练的神经网络模型的附加层的训练指示各种特征。

Description

训练和/或使用神经网络模型来生成光谱图像的中间输出

背景技术

电子常规图像(这里称为“常规图像”(regular image))包括(或限于)一个或多个通道，每个通道限定人类可见光谱的值。例如，可见彩色图像可以包括红色通道、蓝色通道、绿色通道和/或其他可见光谱通道。由常规图像的每个通道限定的值可以包括用于图像的多个像素中的每个像素的值，其指示在对应光谱中的像素的对应频率和幅度(强度)。

电子光谱图像(这里称为“光谱图像”(spectral image))包括其中每个限定非人类可见的光谱的值的一个或多个通道(并且还可以可选地包括其中每个限定人类可见光谱的值的通道)。光谱图像的一些明确示例是多光谱图像和高光谱图像。例如，光谱图像可以包括近红外通道、中红外通道、远红外通道、热红外通道、电离辐射通道、微波通道、无线电波通道、特低频通道、超低频通道和/或其他非人类可见的通道。而且，光谱图像可以包括一个或多个这样的通道：这些通道每个都是上述这些通道(或其他通道)中的一个通道的子集。例如，可以提供多个微波通道代替单个微波通道，每个微波通道覆盖不同的频率范围。由光谱图像的每个通道限定的值可以包括用于图像的多个像素中的每个像素的值，其指示对应光谱中的像素的对应频率。

发明内容

本说明书一般涉及与训练和/或使用神经网络模型相关的***、方法和计算机可读介质，所述神经网络模型可用于生成(例如，在隐藏层上)对应于常规图像的光谱图像，并且生成指示存在于光谱图像中(并且存在于常规图像中，因为基于常规图像生成光谱图像)的一个或多个特征的输出。

作为一个示例，可以将常规图像作为输入应用于经训练的神经网络模型、基于该常规图像在该经训练的神经网络模型的多个层上生成光谱图像并且基于该光谱图像在多个附加层上生成输出。所生成的输出可以根据对该经训练的神经网络模型的所述附加层的训练而指示各种特征。例如，所生成的输出可以指示存在的一个或多个对象的分类、一个或多个存在的对象的位置、存在的对象的一个或多个状态、存在的对象的一个或多个材料和/或其他特征。

与常规图像相比，光谱图像包括更丰富的数据(例如，更高水平的光谱细节、更好的看到看不见之物的能力)。结果，仅基于其中每个都包括光谱图像训练示例输入的训练示例而训练的神经网络模型可以提供比仅基于其中每个都包括常规图像的训练示例而训练的神经网络模型更好的性能。然而，仅基于其中每个都包括光谱图像训练示例输入的训练示例而训练的神经网络模型可能需要相对大量的标记的光谱图像数据，这可能是稀缺和/或生产起来昂贵的。此外，仅基于其中每个都包括光谱图像训练示例输入的训练示例而训练的神经网络模型要求训练的模型可以用于本身是光谱图像的输入。捕获光谱图像的设备可能很昂贵，限制了这种训练模型的效用。

因此，本文描述的各种实施方式训练第一神经网络部分，其使得常规图像能够作为输入被应用到第一神经网络部分、并且对应于该常规图像的光谱图像能够基于该输入在第一神经网络部分上被生成。此外，训练第二神经网络部分，其使得能够将该光谱图像作为输入应用于第二神经网络部分、并且能够基于该输入在第二神经网络部分上生成指示该光谱图像的一个或多个特征的输出。

在那些各种实施方式中的一些实施方式中，最初可以分开训练第一神经网络部分和第二神经网络部分。它们最初可以在被一起联结(join)在组合神经网络模型中时被单独训练和/或最初可以未在被一起联结在组合神经网络模型中时(例如，当作为两个单独的模块存在时)被单独训练。例如，可以基于训练示例来训练第一神经网络部分，每个训练示例包括基于常规图像的训练示例输入和基于对应于常规图像的光谱图像的训练示例输出(例如，从相同/相似的角度捕获)。而且，例如，可以基于训练示例来初始训练第二神经网络部分，每个训练示例包括基于光谱图像的训练示例输入和指示用于光谱图像的特征的对应值的训练示例输出。在许多实施方式中，第二神经网络部分的初始训练可以基于比第一神经网络部分的初始训练更少的训练示例。

当第一和第二神经网络部分被一起联结在组合神经网络模型中时，可以将常规图像作为输入应用于第一部分和第一部分的隐藏层，第一部分的隐藏层用于基于该输入生成与常规图像对应的光谱图像。该光谱图像可以作为输入应用到第二部分和第二部分的隐藏层，第二部分的隐藏层用于基于该光谱图像生成该光谱图像的特征的对应值。

在一些实施方式中，在初始训练之后并且当第一和第二神经网络部分被联结为组合神经网络模型时，至少第二神经网络部分可以基于在组合神经网络模型的第一部分和第二部分两者上应用训练示例被微调(即，进一步训练)。例如，可以应用训练示例，每个训练示例包括基于常规图像的训练示例输入和指示常规图像的特征的对应值的训练示例输出。例如，训练示例的常规图像训练示例输入可以作为输入被应用到模型、基于该输入和在第一部分和第二部分两者上生成预测输出、并且基于该预测输出与该训练示例输出的比较而至少(并且可选地仅仅)在第二部分上反向传播误差。这样的训练可以使得第二部分能够使用可选地更广泛标记的常规图像训练示例集被进一步训练，并且/或者可以使第二部分能够适应在基于第一部分生成的光谱图像和在第二部分的先前训练中使用的训练示例的光谱图像之间的差异。

在一些实施方式中，提供了由一个或多个处理器执行的方法，其包括识别第一组训练示例。第一组训练示例中的每个训练示例包括：基于对应的常规图像的常规图像训练示例输入；以及，基于对应于常规图像的对应光谱图像的光谱图像训练示例输出。光谱图像训练示例输出包括未包括在常规图像中的一个或多个非可见通道。该方法还包括基于第一组训练示例训练第一神经网络部分。第一神经网络部分具有第一部分输入层和第一部分输出层，第一部分输入层具有符合常规图像训练示例输出的第一形状，第一部分输出层具有符合光谱训练示例输出的第二形状。该方法还包括识别第二组训练示例。第二组训练示例中的每个训练示例包括：基于对应光谱图像的光谱图像训练示例输入；以及，训练示例输出，其指示可从对应光谱图像导出的一个或多个特征的一个或多个值。该方法还包括基于第二组训练示例训练第二神经网络部分。第二神经网络部分具有第二部分输入层和第二部分输出层，第二部分输入层具有符合第一部分输出层的第二形状，第二部分输出层具有符合训练示例输出的第三形状。该方法还包括将第一神经网络部分的第一部分输出层与第二神经网络部分的第二部分输入层联结以创建组合神经网络模型。

本文公开的技术的这些和其他实施方式可以可选地包括以下特征中的一个或多个。

在一些实施方式中，该方法还包括：将常规图像作为输入应用于组合神经网络模型的第一部分输入层；并且，基于应用输入生成输出。该生成是在组合神经网络模型的第一神经网络部分和第二神经网络部分两者上进行的。在那些实施方式的一些版本中，该方法还包括：向一个或多个计算机可读介质中的常规图像分配基于所生成的输出的内容。在那些实施方式的一些版本中，该方法还包括在联结之后并且在应用之前：识别包括以下内容的附加训练示例：基于给定常规图像的给定训练示例输入，以及指示一个或多个特征的一个或多个给定值的给定训练示例输出；并且基于附加训练示例进一步训练组合神经网络模型的至少第二神经网络部分。该进一步训练可以包括：将给定训练示例输入应用于第一部分输入层；基于应用输入生成预测输出，该生成是在组合神经网络模型的第一神经网络部分和第二神经网络部分两者上进行的；并且基于基于预测输出和给定训练示例输出确定的梯度来更新第二神经网络部分的一个或多个值。

在一些实施方式中，该方法还包括：在联结之后并且在基于训练示例的第二组训练第二神经网络部分之后：识别包括以下内容的附加训练示例：基于给定常规图像的给定训练示例输入，以及指示特征的一个或多个给定值的给定训练示例输出；并且基于附加训练示例进一步训练组合神经网络模型的至少第二神经网络部分。进一步训练可以包括将给定训练示例输入应用于第一部分输入层；基于应用输入生成预测输出，该生成是在组合神经网络模型的第一神经网络部分和第二神经网络部分两者上进行的；并且基于基于预测输出和给定训练示例输出确定的梯度来更新第二神经网络部分的一个或多个值。

在一些实施方式中，在基于第一组训练示例训练第一神经网络部分之后并且在基于第二组训练示例训练第二神经网络部分之后，联结发生。

在一些实施方式中，在基于第一组训练示例训练第一神经网络部分之前并且在基于第二组训练示例训练第二神经网络部分之前，联结发生。

在一些实施方式中，第一组训练示例的常规图像训练示例输入各自由对应常规图像的多个可见光谱通道组成。

在一些实施方式中，基于第一组训练示例训练第一神经网络部分包括：作为对于第一神经网络部分的输入层的输入应用第一组训练示例中的一个训练示例的常规图像训练示例输入；在第一神经网络部分上基于输入生成预测光谱图像输出；基于预测光谱图像输出与该训练示例的光谱图像训练示例输出的比较来确定梯度；并基于该梯度更新第一神经网络部分。

在一些实施方式中，基于训练示例的第二组训练第二神经网络部分包括：作为对于第二神经网络部分的输入层的输入应用训练示例的第二组中的一个的光谱图像训练示例输入；在第二神经网络部分上基于输入生成预测输出；基于预测输出与训练示例中的一个的训练示例输出的比较来确定第二梯度；并基于第二梯度更新第二神经网络部分。

在一些实施方式中，特征指示多个类，并且每个训练示例输出的值每个指示对应的一个类是否存在于对应的光谱训练示例输入中。

在一些实施方式中，提供了一种由一个或多个处理器执行的方法，其包括：将常规图像作为输入应用于训练的神经网络模型的初始输入层；基于输入在初始输入层下游的多个第一隐藏层上生成对应于常规图像的预测光谱图像；基于预测光谱图像在第一隐藏层下游的多个第二隐藏层上生成预测输出。

本文公开的技术的这些和其他实施方式可以可选地包括以下特征中的一个或多个。

在一些实施方式中，该方法还包括向一个或多个计算机可读介质中的常规图像分配基于所生成的预测输出的内容。

在一些实施方式中，预测输出指示存在于常规图像中的至少一种材料和/或常规图像中的对象的分类。

在一些实施方式中，提供了一种由一个或多个处理器执行的方法，其包括：将常规图像作为输入应用于训练的神经网络模型的初始输入层；使用在初始输入层下游的多个第一隐藏层处理输入，以生成对应于常规图像的预测光谱图像；并且，使用在第一隐藏层下游的多个第二隐藏层处理预测光谱图像，以生成预测输出。

在一些实施方式中，提供了一种由一个或多个处理器执行的方法，其包括：作为对于神经网络模型的第一部分的输入应用：基于常规图像的常规图像训练示例输入；基于应用输入在第一部分上生成预测光谱图像；基于预测光谱图像与光谱图像训练示例输出的比较来更新第一部分，光谱图像训练示例输出基于对应于常规图像的光谱图像；作为对于神经网络模型的第二部分的输入应用光谱图像训练示例输入；基于应用输入在第二部分上生成预测输出；并且，基于预测输出与对应于光谱训练示例输入的训练示例输出的比较来更新第二部分。在这些实施方式中的一些中，基于比较更新第二部分而不基于比较更新第一部分。

其他实施方式可以包括存储可由处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或张量处理单元(TPU))执行以执行诸如上述一种或多种方法的方法的指令的非暂时性计算机可读存储介质。又一实施方式可以包括一个或多个计算机的***，该一个或多个计算机包括一个或多个处理器，其可操作以执行存储的指令以执行诸如上述方法中的一个或多个的方法。

应当理解，本文更详细描述的前述概念和附加概念的所有组合都被认为是本文公开的主题的一部分。例如，出现在本公开结尾处的所要求保护的主题的所有组合被认为是本文公开的主题的一部分。

附图说明

图1是其中可以实现本文公开的实施方式的示例环境的框图。

图2是示出根据本文公开的一些实施方式的训练神经网络模型的示例方法的流程图。

图3是示出根据本文公开的一些实施方式的训练神经网络模型的另一示例方法的流程图。

图4是示出根据本文公开的一些实施方式的使用训练的神经网络模型的示例方法的流程图。

图5示出了根据本文公开的一些实施方式的示例神经网络模型的架构。

图6示出了计算设备的示例架构。

具体实施方式

与常规图像相比，光谱图像包括更丰富的数据(例如，更高水平的光谱细节、更好的看到看不见之物的能力)。结果，仅基于其中每个包括光谱图像训练示例输入的训练示例训练的神经网络模型可以提供比仅基于其中每个包括常规图像的训练示例训练的神经网络模型更好的性能。然而，仅基于其中每个包括光谱图像训练示例输入的训练示例训练的神经网络模型可能需要相对大量的标记的光谱图像数据，这可能是稀缺和/或生产起来昂贵的。此外，仅基于其中每个包括光谱图像训练示例输入的训练示例训练的神经网络模型要求训练的模型可以用于本身是光谱图像的输入。捕获光谱图像的设备可能很昂贵，限制了这种训练模型的效用。

因此，本文描述的各种实施方式训练第一神经网络部分，其使得常规图像能够作为输入被应用到第一神经网络部分和光谱图像，光谱图像对应于将基于输入在第一神经网络部分上生成的常规图像。此外，训练第二神经网络部分，其使得能够将光谱图像作为输入应用于第二神经网络部分和指示要基于输入在第二神经网络部分上生成的光谱图像的一个或多个特征的输出。

当第一和第二神经网络部分被一起联结为组合神经网络模型时，可以将常规图像作为输入应用于第一部分和第一部分的隐藏层，第一部分的隐藏层用于基于输入生成与常规图像对应的光谱图像。光谱图像可以作为输入应用到第二部分和第二部分的隐藏层，第二部分的隐藏层用于基于光谱图像生成光谱图像的特征的对应值。

图1示出了其中可以实现本文公开的实施方式的示例环境的框图。示例环境包括神经网络模型125、应用引擎140、训练引擎130和训练示例引擎110。示例环境还包括一个或多个成像***106、一个或多个图像数据库152以及各种组的训练示例115、116和117。

在一些实施方式中，神经网络模型125包括第一部分122和位于第一部分122的下游(例如，紧邻下游)的第二部分124。在这些实施方式中的一些中，当神经网络模型125已经被训练引擎130训练时，应用引擎140可以将常规图像作为输入应用于第一部分122。应用引擎140可以基于输入生成与第一部分122上的常规图像对应的光谱图像。此外，应用引擎140可以将所生成的光谱图像作为输入应用于第二部分124，并且可以基于输入在第二部分上生成指示光谱图像的特征的值的输出。

因此，应用引擎140可以将常规图像应用于神经网络模型125，并且基于所应用的常规图像在神经网络模型125上生成由常规图像指示的特征的值。值得注意的是，在各种实施方式中，应用引擎140生成对应于常规图像的光谱图像作为神经网络模型125上的中间输出，并且将光谱图像应用于神经网络模型125的附加层以生成输出。在这些实施方式中的一些实施方式中，基于神经网络模型125的光谱图像的生成和应用可以提供相对于不生成作为中间输出的光谱图像和/或未使用基于光谱图像的训练示例被训练的神经网络模型改进的性能。例如，相对于不生成作为中间输出的光谱图像和/或未使用基于光谱图像的训练示例被训练的神经网络模型，训练和利用神经网络模型125生成光谱图像作为中间输出可以利用神经网络模型125实现更准确和/或更鲁棒的特征预测。

根据训练引擎130执行的训练，由应用引擎140在训练的神经网络模型125上生成的输出可以指示各种特征。例如，所生成的输出可以指示存在的一个或多个对象的分类、一个或多个当前对象的位置、存在的对象的一个或多个状态、存在的对象的一种或多种材料和/或其他特征。

应用引擎140可以至少部分地由各种设备的一个或多个处理器(例如，GPU、CPU和/或TPU)实现，并且可以利用在神经网络模型125上生成的输出用于各种目的。例如，应用引擎140可以由图像服务的一个或多个计算设备实现，并且可以利用在神经网络模型125上生成的输出来确定各种常规图像的标签，并且可以将标签与其对应的常规图像相关联地存储。而且，例如，应用引擎140可以由机器人的一个或多个处理器实现，并且可以利用在神经网络模型125上生成的输出来确定由机器人的相机捕获的常规图像中的各种特征，并且基于所确定的特征来适应机器人的行为。作为又一示例，应用引擎140可以在客户端计算设备上实现，并且可以利用在神经网络模型125上生成的输出来确定由客户端计算设备的相机捕获的常规图像是否包括作为客户端计算设备的授权用户的用户。

在一些实施方式中，训练的神经网络模型125可以本地存储在实现应用引擎140的设备上。在一些其他实施方式中，可以远离实现应用引擎140的设备存储训练的神经网络模型125。在这些其他实施方式中的一些中，应用引擎140可以经由诸如因特网的一个或多个网络与训练的神经网络模型125对接。

训练示例引擎110可以生成各种训练示例以使训练引擎130能够训练神经网络模型125。在一些实施方式中，训练示例引擎110生成常规到光谱训练示例115、光谱到特征训练示例116和/或常规到特征训练示例117。训练示例115、116和/或117可以存储在一个或多个非暂时性计算机可读介质上。

在一些实施方式中，训练示例引擎110基于图像数据库152和/或其他资源生成训练示例115、116和/或117中的一个或多个。图像数据库152可以包括由对应的成像***106捕获的各种常规和/或光谱(例如，高光谱和/或多光谱)图像，并且可以可选地包括对应的图像的一个或多个特征的一个或多个标签。

常规到光谱训练示例115每个包括基于常规图像的训练示例输入和基于对应于常规图像的光谱图像的训练示例输出。例如，常规到光谱训练示例115的训练示例中的每一个可以具有训练示例输入，该训练示例输入是尺寸为X×Y×M(X像素宽，Y像素高，M个通道(例如，红色、绿色、蓝色和/或其他可见光谱))的常规图像。常规到光谱训练示例115的每个还可以具有训练示例输出，该训练示例输出是尺寸为X×Y×N(X像素宽，Y像素高，N个通道(其中，N个通道包括其中一些可能不是人类可见并且是除了常规图像的那些之外的通道))的对应光谱图像。示例115的训练示例输入的形状(尺寸)可以取决于神经网络模型125的初始输入层(例如，第一部分122的输入层)的形状，并且训练示例输出的形状可以取决于近似于光谱图像的神经网络模型125的层(例如，第二部分124的输出层)。在许多实施方式中，示例115的训练示例输出将包括比训练示例输入(M)中包括的多得多的通道(N)。在一些实施方式中，示例115的训练示例输入的宽度和/或高度尺寸可以与示例115的训练示例输出的宽度和/或高度尺寸不同。

在一些实施方式中，示例115的训练示例输入所基于的常规图像可以是来自由成像设备106之一捕获的图像数据库152中的一个，所述成像设备106之一是常规成像设备(例如，捕获可见光谱的常规成像设备)。在这些实施方式中的一些实施方式中，对应的训练示例输出所基于的光谱图像可以是来自由成像设备106之一捕获的图像数据库152中的一个，所述成像设备106之一是光谱成像设备(例如，可以捕获人不可见的光谱部分的光谱成像设备)。可以从相同/相似的电压和/或在类似条件下捕获光谱图像和常规图像，并且光谱图像和常规图像可以可选地捕获(或被裁剪以包括)相同的场景。在一些其他实施方式中，对应的训练示例输出所基于的光谱图像可以是作为使用等式和/或其他基于规则的方法的常规图像的“变换”的光谱图像。

常规到特征训练示例116的每个包括基于光谱图像的训练示例输入和指示光谱图像的特征的对应值的训练示例输出。例如，常规到特征训练示例116的光谱的每个训练示例可以具有训练示例输入，该训练示例输入是尺寸为X×Y×N(X像素宽，Y像素高，N个通道(其中，N个通道包括其中一些可能不是人类可见的并且是除了常规图像的通道之外的通道)的光谱图像。在许多实施方式中，训练示例输入的形状(尺寸)可以与常规到光谱训练示例115的训练示例输出的形状相同，并且还可以符合第二部分124的初始输入层的形状。示例116的训练示例输出中的每一个可以具有由要基于神经网络模型125确定的特征指示的形状。例如，在要确定的特征是输入光谱图像中的对象所属的Z个单独的类中的类时，训练示例输出可以各自是Z×1矩阵，矩阵的每个值指示在对应的训练示例输入中存在(或不存在)对应类的可能性。

在一些实施方式中，示例116的训练示例输入所基于的光谱图像可以是来自由成像设备106之一捕获的图像数据库152中的一个，所述成像设备106之一是光谱成像设备(例如，可以捕获非人类可见光谱的部分的光谱成像设备)。对应的训练示例输出可以基于光谱图像的特征的手动标记和/或以其它方式确定的值。

常规到特征训练示例117每个包括基于常规图像的训练示例输入和指示常规图像的特征的对应值的训练示例输出。例如，常规到特征训练示例117的每个训练示例可以具有训练示例输入，该训练示例输入是作为尺寸为X×Y×M(X像素宽，Y像素高，M个通道(例如，红色、绿色、蓝色和/或其他可见光谱))的常规图像的训练示例输入。在许多实施方式中，示例117的训练示例输入的形状(尺寸)可以与常规到光谱训练示例115的训练示例输入的形状相同，并且符合第一部分122的初始输入层的形状。示例117的训练示例输出中的每一个可以具有由要基于神经网络模型125确定的特征指示的形状。例如，在要确定的特征是输入光谱图像中的对象所属的Z个单独的类中的类时，训练示例输出可以各自是Z×1矩阵，矩阵的每个值指示在对应的训练示例输入中存在(或不存在)对应类的可能性。在许多实施方式中，示例117的训练示例输出的形状(尺寸)可以与光谱到特征训练示例116的训练示例输出的形状相同，并且符合第二部分124的输出层的形状。

在一些实施方式中，示例117的训练示例输入所基于的常规图像可以是来自由作为常规成像设备的成像设备106之一捕获的图像数据库152中的一个。对应的训练示例输出可以基于常规图像的特征的手动标记和/或以其它方式确定的值。

训练引擎130利用训练示例115、116和/或117来训练神经网络模型125。在一些实施方式中，训练引擎130至少最初分别训练第一部分122和第二部分124。它们最初在被联结为组合神经网络模型125的同时和/或在未被联结为组合神经网络模型125的同时可以被单独训练。

例如，训练引擎130可以利用常规到光谱训练示例115来训练第一部分122，并且可以利用光谱到特征训练示例116以训练第二部分124。例如，在训练第一部分122中，训练引擎130可以：应用来自示例115的训练示例输入作为对第一部分122的输入；基于输入在第一部分122的当前版本上生成输出；并且基于所生成的输出和来自示例115的对应训练示例输出(例如，基于基于将所生成的输出与训练示例输出进行比较而确定的梯度)，在第一部分122上反向传播误差。另外，例如，在训练第二部分124时，训练引擎130可以：作应用来自示例116的训练示例输入为对于第二部分124的输入；基于输入在第二部分124的当前版本上生成输出；并且，基于所生成的输出和来自示例116的对应训练示例输出(例如，基于基于将所生成的输出与训练示例输出进行比较而确定的梯度)，在第二部分124上反向传播误差。在一些实施方式中，训练引擎130可基于训练示例的量(来自示例116)训练第二部分124，该训练示例的量小于用于训练第一部分122的训练示例(来自示例115)的量。

在一些实施方式中，训练引擎130基于在神经网络模型125的第一部分122和第二部分124两者上应用常规到特征训练示例117来附加地或备选地训练至少第二部分124。例如，训练引擎130可以：将训练示例117的训练示例输入作为输入应用于第一部分122；基于输入在第一部分122和第二部分124两者上生成预测输出；并且基于所生成的输出和来自示例117的对应训练示例输出(例如，基于基于将所生成的输出与训练示例进行比较而确定的梯度)，至少(并且可选地仅仅)第二部分124上反向传播误差。这种训练可以使得能够利用可选地更广泛标记的常规图像训练示例集进一步训练第二部分124和/或可以使第二部分124能够适应基于第一部分生成的光谱图像与先前在第二部分124的初始训练中使用的训练示例的(例如，训练示例116的)光谱图像之间的差异。

尽管图1中示出了单个神经网络模型125，但是在一些实施方式中，可以根据本文公开的技术训练多个神经网络模型。在这些实施方式中的一些中，训练引擎130可以：训练第一部分122并在多个神经网络模型中的每一个中利用训练的第一部分122；并训练多个神经网络模型的每个第二部分以预测不同的输出特征。这可以使得能够跨越各种神经网络模型重用训练的第一部分122。可以基于在整个神经网络模型上应用训练示例输入来进一步训练包含训练的第一部分122的神经网络模型(例如，第一部分122和对应的第二部分两者，或仅对应的第二部分)。

参考图2和3描述在各种实施方式中可以由训练引擎130执行的神经网络模型125的训练的一些附加示例。

参考图2，示出了根据本文公开的一些实施方式的训练神经网络模型的示例方法200的流程图。为方便起见，参考执行操作的***来描述流程图的操作。该***可以包括一个或多个组件，例如训练引擎130和/或计算设备610(图6)的处理器(例如，CPU、GPU和/或TPU)。虽然以特定顺序示出方法200的操作，但这并不意味着限制。可以重新排序、省略或添加一个或多个操作。

在框252处，***识别训练示例，每个训练示例包括常规图像训练示例输入和光谱图像训练示例输出。

在框254处，***使用框252的训练示例训练第一神经网络部分。

在框256处，***识别训练示例，每个训练示例包括光谱图像训练示例输入和指示对应的光谱图像训练示例输入的特征的训练示例输出。

在框258处，***使用框256的训练示例训练第二神经网络部分。

在可选框260处，***联结第一神经网络部分和第二神经网络部分。方框260包括在图2中，其中，虚线表示在许多实施方式中它是可选的。例如，在一些实施方式中，可能已经在方法200之前联结第一神经网络部分和第二神经网络部分。例如，可以在已经联结第一神经网络部分和第二个神经网络部分的同时执行块252、254、256和258。

在框262处，***识别训练示例，每个训练示例包括常规图像训练示例输入和指示特征的训练示例输出。

在框256处，***基于将框262的训练示例应用于第一神经网络部分和第二神经网络部分来训练至少第二神经网络部分。

在一些实施方式中，***可任选地在一个或多个附加神经网络模型中利用训练的第一神经网络部分。例如，***可以基于训练示例训练附加神经网络模型的附加第二部分，该训练示例包括指示与块256的那些特征不同的特征的光谱图像训练示例输入和训练示例输出。***可以联结经训练的第一神经网络部分和附加的第二神经网络部分(在训练附加的第二神经网络部分之前或之后)。***可以可选地基于在整个神经网络模型上应用训练示例输入来进一步训练附加神经网络模型(例如，第一部分和附加第二部分或仅仅附加第二部分)。

虽然本文仅描述了神经网络模型的第一部分和第二部分，但是在一些实施方式中，第一部分和/或第二部分可以与神经网络模型中的一个或多个附加部分联结。例如，在第二部分上生成的输出可以被馈送到第二部分下游的第三神经网络部分。而且，例如，在第一部分上生成的输出可以被馈送到第二部分和第一神经网络部分下游的第三神经网络部分。

参考图3，示出了根据本文公开的一些实施方式的训练神经网络模型的另一示例方法300的流程图。除了方法200之外或代替方法200，可以执行方法300。为方便起见，参考执行操作的***来描述流程图的操作。该***可以包括一个或多个组件，例如训练引擎130和/或计算设备610(图6)的处理器(例如，CPU、GPU和/或TPU)。虽然以特定顺序示出了方法300的操作，但这并不意味着限制。可以重新排序、省略或添加一个或多个操作。

图3是基于作为对于常规到光谱训练示例115和训练示例116和/或117的“混合”的训练示例可以发生的训练的示例(补充或替代图2的那个)。那些“混合”训练示例包括常规图像训练示例输入、光谱训练示例输出(用于确定在第一部分上生成的输出的误差)以及指示特征的进一步训练示例输出(用于确定在第二部分上生成的输出的误差)。

在框352处，***选择训练示例，其包括常规图像训练示例输入、光谱训练示例输出以及指示对应的可见训练示例输入和光谱图像训练示例输出的特征的进一步训练示例输出。

在框354处，***将常规图像训练示例输入作为输入应用于第一神经网络部分。

在框356处，***基于所应用的输入在第一部分上生成预测光谱图像。

在框358处，***基于基于在框356处生成的预测光谱图像与光谱图像训练示例输出的比较而确定的梯度来更新第一部分。

在框360处，***基于框356的预测光谱图像在第二神经网络部分上生成预测特征。在一些其他实施方式中，***可以附加地或替代地基于高光谱训练示例输出在第二神经网络部分上生成预测特征。

在框362处，***基于基于在框360处生成的预测特征与进一步训练示例输出的比较而确定的梯度来更新第二部分。

参考图4，示出了根据本文公开的一些实施方式的使用训练的神经网络模型的示例方法400的流程图。可以在训练的神经网络模型例如基于方法200和/或300训练的神经网络模型上执行方法400。为方便起见，参考执行操作的***来描述流程图的操作。该***可以包括一个或多个组件，例如，处理器(例如，CPU、GPU和/或TPU)应用引擎140和/或计算设备610(图6)。虽然以特定顺序示出方法400的操作，但这并不意味着限制。可以重新排序、省略或添加一个或多个操作。

在框452处，***将常规图像作为输入应用于神经网络模型的第一部分。***可以可选地在框452之前预处理常规图像，以例如使常规图像的形状适应第一部分的输入形状。

在框454处，***基于输入在第一部分上生成对应于常规图像的预测光谱图像。

在框456处，***基于预测光谱图像在神经网络模型的第二部分上生成预测输出。

在框458，***向常规图像分配基于预测输出的内容。例如，***可以将内容分配给存储器和/或其他计算机可读介质中的常规图像。如本文所述，***和/或单独的***可以可选地基于所分配的内容执行一个或多个其他动作。

图5示出了根据本文公开的一些实施方式的示例神经网络模型的架构。图5还示出了可以作为输入在神经网络模型上应用的常规图像152A的示例、可以作为神经网络模型的第一部分上的中间输出生成的预测光谱图像123以及可以基于预测光谱图像123在神经网络模型的第二部分上生成的预测特征125。

图5的神经网络模型包括具有输入层122A和一个或多个隐藏层122B的第一部分。神经网络模型还包括具有输入层124A和一个或多个隐藏层124B的第二部分。第二部分的输入层124A被称为输入层，因为它接收在第一部分上生成的预测光谱图像123。然而，应理解，在许多实施方式中，输入层124A本身也可以是隐藏层。

在一些实施方式中，图5的神经网络模型和这里引用的其他神经网络模型是卷积神经网络模型。通常，卷积神经网络模型是多层学习框架，其包括输入层、一个或多个卷积层、可选权重和/或其他层以及输出层。在训练期间，训练卷积神经网络以学习特征表示的层次结构。网络的卷积层与过滤器进行卷积，并可选择通过采样层被下采样。通常，采样层通过一个或多个下采样函数例如最大值、最小值和/或归一化采样来聚合较小区域中的值。例如，隐藏层122B、124B和/或输入层124A和/或122B中的一个或多个可以是卷积神经网络的卷积层、采样层和/或其他层。

图6是可任选地用于执行本文描述的技术的一个或多个方面的示例计算设备610的框图。在一些实施方式中，应用引擎130、训练引擎130和/或训练示例引擎110和/或其他组件中的一个或多个可以由示例计算设备610的一个或多个组件实现。

计算设备610包括至少一个处理器614(例如，CPU、GPU和/或TPU)，其经由总线子***612与多个***设备通信。这些***设备可以包括：存储子***624，包括例如存储器子***625和文件存储子***626；用户界面输出设备620；用户界面输入设备622；以及，网络接口子***616。输入和输出设备允许用户与计算设备610交互。网络接口子***616提供到外部网络的接口，并且耦合到其他计算设备中的对应接口设备。

用户界面输入设备622可以包括：键盘；诸如鼠标、轨迹球、触摸板或图形输入板的指示设备；扫描仪；并入显示器中的触摸屏；诸如语音识别***、麦克风和/或其他类型的输入设备的音频输入设备。通常，术语“输入设备”的使用旨在包括所有可能类型的设备和将信息输入计算设备610或通信网络上的方式。

用户界面输出设备620可以包括显示子***、打印机、传真机或诸如音频输出设备的非可视显示器。显示子***可包括阴极射线管(CRT)、诸如液晶显示器(LCD)的平板设备、投影设备或用于产生常规图像的一些其他机构。显示子***还可以例如通过音频输出设备提供非可视显示。通常，术语“输出设备”的使用旨在包括所有可能类型的设备以及将信息从计算设备610输出到用户或另一机器或计算设备的方式。

存储子***624存储编程和数据构造，其提供本文描述的一些或所有模块的功能。例如，存储子***624可以包括执行图2的方法和/或图3的方法的所选方面的逻辑。

这些软件模块通常由处理器614单独执行或与其他处理器组合执行。存储子***624中使用的存储器625可以包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)630和其中存储固定指令的只读存储器(ROM)632。文件存储子***626可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、固态驱动器、软盘驱动器以及相关联的可移动介质、CD-ROM驱动器、光盘驱动器或可移动媒体盒。实现某些实施方式的功能的模块可以由文件存储子***626存储在存储子***624中，或者存储在处理器614可访问的其他机器中。

总线子***612提供用于使计算设备610的各种组件和子***按预期彼此通信的机制。尽管总线子***612被示意性地示为单条总线，但总线子***的替代实施方式可以使用多条总线。

计算设备610可以是各种类型的，包括工作站、服务器、计算集群、刀片服务器、服务器群或任何其他数据处理***或计算设备。由于计算机和网络的不断变化的性质，图6中描绘的计算设备610的描述仅旨在作为用于说明一些实施方式的目的的特定示例。计算设备610的许多其他配置可能具有比图6中描绘的计算设备更多或更少的组件。

虽然本文已描述和说明了若干实施方式，但可利用用于执行功能和/或获得结果和/或本文中所描述的一个或多个优点的各种其它装置和/或结构，并且这些变化和/或修改的每一个被认为是在本文描述的实施方式的范围内。更一般地，所有参数、尺寸、材料和/或配置将取决于该教导所用于的一个或多个特定应用。本领域技术人员将认识到或者能够仅仅使用常规实验确定本文所述具体实施方式的许多等同物。因此，应该理解，仅通过示例呈现前述实施方式，并且在所附权利要求及其等同物的范围内，可以以不同于具体描述和要求保护的方式实施实现。本公开的实施方式涉及本文描述的每个单独的特征、***、物品、材料、套件和/或方法。此外，如果这些特征、***、物品、材料、套件和/或方法不相互矛盾，则两个或更多个这样的特征、***、物品、材料、套件和/或方法的任何组合包括在本公开的范围内。

Claims (16)

1.一种由一个或多个处理器实现的方法，包括：

识别第一组训练示例，其中，所述第一组训练示例中的每个训练示例包括：

基于对应的常规图像的常规图像训练示例输入；以及

基于对应于所述常规图像的对应光谱图像的光谱图像训练示例输出，其中，所述光谱图像训练示例输出包括未包括在所述常规图像中的一个或多个非可见通道；

基于所述第一组训练示例训练第一神经网络部分，

所述第一神经网络部分具有第一部分输入层和第一部分输出层，所述第一部分输入层具有符合所述常规图像训练示例输入的第一形状，所述第一部分输出层具有符合所述光谱训练示例输出的第二形状；

识别第二组训练示例，其中，所述第二组训练示例中的每个训练示例包括：

基于对应的光谱图像的光谱图像训练示例输入；以及

训练示例输出，所述训练示例输出指示能够从所述对应光谱图像导出的一个或多个特征的一个或多个值；

基于所述第二组训练示例训练第二神经网络部分，

所述第二神经网络部分具有第二部分输入层和第二部分输出层，所述第二部分输入层具有符合所述第一部分输出层的所述第二形状，所述第二部分输出层具有符合所述训练示例输出的第三形状；以及

将所述第一神经网络部分的所述第一部分输出层与所述第二神经网络部分的所述第二部分输入层联结，以创建组合神经网络模型。

2.根据权利要求1所述的方法，还包括：

将常规图像作为输入应用于所述组合神经网络模型的所述第一部分输入层；以及

基于应用所述输入生成输出，所述生成是在所述组合神经网络模型的所述第一神经网络部分和所述第二神经网络部分两者上进行的。

3.根据权利要求2所述的方法，还包括：

向在一个或多个计算机可读介质中的所述常规图像分配基于所生成的输出的内容。

4.根据权利要求2所述的方法，还包括：

在所述联结之后并且在所述应用之前：

识别附加训练示例，其中，所述附加训练示例包括：

基于给定常规图像的给定训练示例输入；以及

给定训练示例输出，所述给定训练示例输出指示所述一个或多个特征的一个或多个给定值；

基于以下操作进一步训练所述组合神经网络模型的至少所述第二神经网络部分：

将所述给定训练示例输入应用于所述第一部分输入层；

基于应用所述输入生成预测输出，所述生成是在所述组合神经网络模型的所述第一神经网络部分和所述第二神经网络部分两者上进行的；并且

基于根据所述预测输出和所述给定训练示例输出而确定的梯度来更新所述第二神经网络部分的一个或多个值。

5.根据权利要求1所述的方法，还包括：

在所述联结之后并且在基于所述第二组训练示例训练所述第二神经网络部分之后：

识别附加训练示例，其中，所述附加训练示例包括：

基于给定常规图像的给定训练示例输入；以及

给定训练示例输出，所述给定训练示例输出指示所述特征的一个或多个给定值；

基于以下操作进一步训练所述组合神经网络模型的至少所述第二神经网络部分：

将所述给定训练示例输入应用于所述第一部分输入层；

基于应用所述输入生成预测输出，所述生成是在所述组合神经网络模型的所述第一神经网络部分和所述第二神经网络部分两者上进行的；以及

基于根据所述预测输出和所述给定训练示例输出而确定的梯度来更新所述第二神经网络部分的一个或多个值。

6.根据前述权利要求中任一项所述的方法，其中，在基于所述第一组训练示例训练所述第一神经网络部分之后并且在基于所述第二组训练示例训练所述第二神经网络部分之后，所述联结发生。

7.根据权利要求1-5中任一项所述的方法，其中，在基于所述第一组训练示例训练所述第一神经网络部分之前并且在基于所述第二组训练示例训练所述第二神经网络部分之前，所述联结发生。

8.根据前述权利要求中任一项所述的方法，其中，所述第一组训练示例的所述常规图像训练示例输入每个都由对应的常规图像的多个可见光谱通道组成。

9.根据前述权利要求中任一项所述的方法，其中，基于所述第一组训练示例训练所述第一神经网络部分包括：

作为对于所述第一神经网络部分的输入层的输入，应用所述第一组训练示例中的一个训练示例的所述常规图像训练示例输入；

在所述第一神经网络部分上基于所述输入生成预测光谱图像输出；

基于所述预测光谱图像输出与所述第一组训练示例中的所述一个训练示例的所述光谱图像训练示例输出的比较来确定梯度；以及

基于所述梯度更新所述第一神经网络部分。

10.根据前述权利要求中任一项所述的方法，其中，基于所述第二组训练示例训练所述第二神经网络部分包括：

作为对于所述第二神经网络部分的所述输入层的输入，应用所述第二组训练示例中的一个训练示例的所述光谱图像训练示例输入；

在所述第二神经网络部分上基于所述输入生成预测输出；

基于所述预测输出与所述第二组训练示例中的所述一个训练示例的所述训练示例输出的比较来确定第二梯度；以及

基于所述第二梯度更新所述第二神经网络部分。

11.根据前述权利要求中任一项所述的方法，其中，所述特征指示多个类，并且其中，所述训练示例输出中的每个训练示例输出的值每个都指示所述类中的对应一个是否存在于对应的光谱训练示例输入中。

12.一种计算机实现的方法，包括：

将常规图像作为输入应用于经训练的神经网络模型的初始输入层；

基于所述输入并在所述初始输入层下游的多个第一隐藏层上生成对应于所述常规图像的预测光谱图像；

基于所述预测光谱图像在所述第一隐藏层下游的多个第二隐藏层上生成预测输出。

13.根据权利要求12所述的方法，还包括：

向一个或多个计算机可读介质中的所述常规图像分配基于所生成的预测输出的内容。

14.根据权利要求11或12所述的方法，其中，所述预测输出指示存在于所述常规图像中的至少一种材料。

15.根据权利要求11或12所述的方法，其中，所述预测输出指示所述常规图像中的对象的分类。

16.一种由一个或多个处理器实现的方法，包括：

作为对于神经网络模型的第一部分的输入，应用：

基于常规图像的常规图像训练示例输入；

基于应用所述输入在所述第一部分上生成预测光谱图像；

基于所述预测光谱图像与光谱图像训练示例输出的比较来更新所述第一部分，所述光谱图像训练示例输出基于对应于所述常规图像的光谱图像；

作为对于所述神经网络模型的第二部分的输入，应用光谱图像训练示例输入；

基于应用所述输入在所述第二部分上生成预测输出；以及

基于所述预测输出与对应于所述光谱训练示例输入的训练示例输出的比较来更新所述第二部分；

其中，在不基于所述比较更新所述第一部分的情况下发生基于所述比较更新所述第二部分。