CN110909886A - 一种机器学习网络运行方法、装置及介质 - Google Patents

Abstract

本公开是关于一种机器学习网络运行方法、装置和介质。该方法包括：针对机器学习网络的操作，配置第一主运行设备和第一备选运行设备；获取针对至少一个操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数；基于第一性能参数和第二性能参数，从第一主运行设备和第一备选运行设备中选择性能参数的值最小的运行设备作为操作的更新后的第二主运行设备，其中，性能参数包括与操作相关的切换时间开销、运行时间开销和运行功耗；通过第二主运行设备，运行机器学习网络。本公开的方法提升了网络的运行性能，并且克服了在网络运行过程中由于操作在某个设备上无法运行而导致的频繁切换设备的问题。

Description

一种机器学习网络运行方法、装置及介质

技术领域

本公开涉及深度学习领域，尤其涉及一种机器学习网络运行方法、装置及介质。

背景技术

人工智能(简称AI)的移动端芯片具有异构特性。随着人工智能热度的不断攀升，除了原有的中央处理器(简称CPU)，图形处理器(简称GPU)和数字信号处理(简称DSP)计算芯片外，还催生了大量人工智能芯片，如神经网络处理器(简称NPU)、加速处理器(简称APU)，这些芯片技术的不断进步，促进了深度学习的落地，但与此同时，也产生了大量的工作量。这是因为，各家芯片编程接口不统一，性能具有差异化，适用的操作也不同。例如，有些芯片如GPU适合运行卷积等图像处理相关的操作，但不适合执行高维度数组操作，而CPU/DSP等芯片适合数组操作，但处理图像操作的精度和性能不如GPU。

以机器学习网络中的深度学习网络为例来进行说明。深度学习网络对应的拓扑结构可以看作是一个有向无环图(简称DAG)，拓扑图中每一个节点上的操作可能有多个输入和多个输出，它的输出数据会作为其他节点上操作的输入。通常，一个网络只能运行在同一个设备上，用户会选择一个目标设备运行该网络。如果该设备不适合网络中的某些操作，则只能调度到其他设备上运行，例如CPU。

发明内容

为克服相关技术中存在的问题，本公开提供一种机器学习网络运行方法、装置及介质，采用该方法运行机器学习网络的操作，能够减少切换次数，使运行更加稳定。

根据本公开实施例的第一方面，提供一种机器学习网络运行方法，所述方法包括：

针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

通过所述第二主运行设备，运行所述机器学习网络。

其中，所述与所述操作相关的切换时间开销为：所述操作的上游操作的第二主运行设备切换到所述操作的所述第二主运行设备的时间开销及所述操作的所述第二主运行设备切换到所述操作的下游操作的第一主运行设备的时间开销的总和。

其中，所述从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备包括：

基于所述机器学习网络对应的拓扑结构的拓扑排序，确定所述机器学习网络中各操作的运行顺序；

按照所述运行顺序，确定所述机器学习网络中每个操作对应的所述第二主运行设备。

其中，所述针对所述机器学习网络的操作配置第一主运行设备和第一备选运行设备，包括：

从所述机器学习网络中确定计算量大于第一预定计算量的操作；

针对所确定的操作配置所述第一主运行设备和所述第一备选运行设备。

其中，所述获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数，包括：

从所述机器学习网络中确定计算量大于第二预定计算量的操作；

获取所确定操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数。

根据本公开实施例的第二方面，提供一种机器学习网络运行装置，所述装置包括：

配置模块，被设置为针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

参数获取模块，被设置为获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

设备选择模块，被设置为基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

运行模块，被设置为通过所述第二主运行设备，运行所述机器学习网络。

其中，所述与所述操作相关的切换时间开销为：所述操作的上游操作的第二主运行设备切换到所述操作的所述第二主运行设备的时间开销及所述操作的所述第二主运行设备切换到所述操作的下游操作的第一主运行设备的时间开销的总和。

其中，所述设备选择模块还被设置为：

基于所述机器学习网络对应的拓扑结构的拓扑排序，确定所述机器学习网络中各操作的运行顺序；

按照所述运行顺序，选择所述机器学习网络中每个操作对应的所述第二主运行设备。

其中，所述配置模块还被设置为：

从所述机器学习网络中确定计算量大于第一预定计算量的操作；

针对所确定的操作配置所述第一主运行设备和所述第一备选运行设备。

其中，所述参数获取模块还被设置为：

从所述机器学习网络中确定计算量大于第二预定计算量的操作；

获取所确定操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数。

根据本公开实施例的第三方面，提供一种机器学习网络运行装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

通过所述第二主运行设备，运行所述机器学习网络。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行一种机器学习网络运行方法，所述方法包括：

针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

通过所述第二主运行设备，运行所述机器学习网络。

本公开的实施例提供的技术方案中，在机器学习网络运行前，通过为机器学习网络中操作设置优选的运行设备，极大地提升了网络的运行性能，并且克服了在网络运行过程中由于操作在某个设备上无法运行而导致的频繁切换设备的问题。

采用本公开的方法有助于进行后续的机器学习网络中的子网划分。即，可以将运行在同一个设备上且在对应的拓扑结构中属于同一个连通分量上的操作合并为一个子网。也就是说，可以将一个机器学习网络划分为几个子网，这样就将复杂的网络结构划分为几个简单的网络结构，有利于进行后续的设备维护和管理。

因此，本公开的方法不仅保证了以较佳的性能运行机器学习网络，优化了设备切换的开销，同时也提供了一种在机器学习网络中自动进行子网划分的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种机器学习网络运行方法的流程图。

图2是根据一示例性实施例示出的从第一主运行设备和第一备选运行设备中选择性能参数的值最小的运行设备作为操作的更新后的第二主运行设备的流程图。

图3是根据一示例性实施例示出的针对机器学习网络的操作配置第一主运行设备和第一备选运行设备的流程图。

图4是根据一示例性实施例示出的获取针对至少一个操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数的流程图。

图5是根据一示例性实施例示出的一种机器学习网络运行方法的流程图。

图6是根据一示例性实施例示出的一种机器学习网络运行装置的框图。

图7是根据一示例性实施例示出的一种装置的框图。

图8是根据一示例性实施例示出的一种装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本公开提供了一种机器学习网络的运行方法。以机器学习网络中的深度学习网络为例进行说明。通常，一个网络运行在同一个设备上，用户会选择一个目标设备运行该网络。如果该设备不适合运行网络中的某些操作，一种处理方案是人工适配深度学习网络，修改网络结构，只使用能够运行在该目标设备上的操作；另一种处理方案是，将不适用该目标设备的操作调度到其他设备上运行，当下一个操作适用于该目标设备时，再调度回到该目标设备。然而，大多数引擎对设备调度的支持不好，或需要用户指定，或盲目的设备调度导致频繁切换设备，使性能受到影响。因此，上述两种方案或者需要人工的深度参与，成本较高，或者会导致设备频繁切换，增加***开销。

为了解决这种问题，本公开提出的机器学习网络的运行方法，在运行网络的操作前，判断各个操作的第一主运行设备是否是优选的，如果不是则将该操作的第一主运行设备切换为第一备选运行设备，在为每个操作都设置了优选的运行设备后，再开始运行网络中的操作，从而一方面避免了频繁的设备切换，另一方面保证网络中的操作运行在优选设备上，从而提高网络操作的运行性能。

图1是根据本公开的一种机器学习网络运行方法，该方法包括：

步骤101，针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

步骤102，获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

步骤103，基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

步骤104，通过所述第二主运行设备，运行所述机器学习网络。

一个机器学习网络中包括多个操作，一个机器学习网络对应于一个拓扑结构。每个操作对应于拓扑结构中的一个节点。在机器学习网络运行前，为操作设置一个运行设备作为第一主运行设备，设置一个或多个运行设备作为第一备选运行设备。例如，可以为每个操作选择第一主运行设备和第一备选运行设备。这里的第一主运行设备和第一备选运行设备可以根据该操作的特征选择合适的运行设备。例如，图像处理的相关操作可以选择GPU，高维数组操作可以选择CPU或DSP。不同操作的第一主运行设备可以相同也可以不同，不同操作的第一备选运行设备可以相同也可以不同。

在运行机器学习网络前，先确定为机器学习网络中的操作配置的第一主运行设备是不是优选的运行设备。虽然已经为操作设置了第一主运行设备，但是在运行中，考虑到一个操作的运行可能会受上游操作和下游操作的影响，因此整体的运行性能在第一主运行设备上可能不是最优的。因此为了优化网络中操作的运行，先判断为操作配置的第一主运行设备是否是优选的运行设备。

需要说明的是，可以针对网络中每一个操作都确定一下其实际运行设备是否为优选的运行设备，也可以只选择网络中部分操作来确定其实际运行设备是否是优选的运行设备。例如，在一个具体实施方式中，机器学习网络包括500个操作，其中300个操作是普通的数值计算且计算量较小，则可以将这300个操作的实际运行设备设置为CPU，对另外200个操作配置第一主运行设备和第一备选运行设备，确定这200个操作的第一主运行设备是否是优选的运行设备。

因此，在该实施方式中，为操作配置第一主运行设备和第一备选运行设备后，获取这些运行设备的性能参数，根据这些性能参数从第一主运行设备和第一备选运行设备中选择运行性能最佳的运行设备作为第二运行设备，作为该操作的实际运行设备。这样可以保证该操作能够在最优选的运行设备上运行。

当一个运行设备的与所述操作相关的切换时间开销、运行时间开销和运行功耗的值最小时，认为该运行设备是最优选的。其中切换时间开销和运行时间开销可以合并为时间开销。选择最佳运行设备时，可以基于时间开销或运行功耗来选择，也可以同时基于时间开销和运行功耗来选择。当同时基于时间开销和运行功耗来选择时，则可以将时间开销和运行功耗进行加权求和，通过选择该加权求和的最小值，来确定最佳运行设备。

可以根据具体的应用场景选择适用于运行性能的指标。本公开中，通过大量实验筛选出影响运行性能的主要指标：时间开销和运行功耗。运行性能高则意味着时间开销短或运行功耗低。在比较运行性能时，可以选择时间开销和功耗中任一个指标进行比较，也可以同时选择这两个指标进行比较，比较时可以将时间开销和功耗进行加权求和来比较。

时间开销除了包括操作在运行设备上运行所花费的时间，还包括在当前操作的运行设备与上游操作的运行设备以及当前操作的运行设备与下游操作的运行设备之间进行切换所消耗的时间。当前操作与其上游操作是机器学习网络对应的拓扑结构中的当前节点和上游节点分别对应的操作；当前操作与其下游操作是机器学习网络对应的拓扑结构中的当前节点和下游节点分别对应的操作。

功耗是指运行设备的耗电量，通常也可以用运行设备上的电流来表示。

这里，通过比较操作在第一主运行设备上的运行性能和在第一备选运行设备上的运行性能，来确定哪个运行设备是优选的运行设备，以优化操作的运行。

通过图1中的方法，在机器学习网络运行前，确保为网络中各操作选择的运行设备都是优选的运行设备，极大地提升了网络的运行性能，并且克服了在网络运行过程中由于操作在某个设备上无法运行而导致的频繁切换设备的问题。采用图1中的方法，缩小了运行的时间开销和功耗。

作为对图1所示的实施例的细化和进一步扩展，本实施例公开了另一种机器学习网络运行方法。其中，所述与所述操作相关的切换时间开销为：所述操作的上游操作的第二主运行设备切换到所述操作的所述第二主运行设备的时间开销及所述操作的所述第二主运行设备切换到所述操作的下游操作的第一主运行设备的时间开销的总和。

例如，在一个具体实施例中，当前操作的第一主运行设备为GPU，第一备选运行设备为CPU，判断下式中的D值是否小于零：

D＝T(CPU)+T(Switch_CPU)-T(GPU)+T(Switch_GPU)

其中，T(CPU)为CPU运行当前操作的时间，T(GPU)为GPU运行当前操作的时间开销，T(Switch_CPU)为当前操作由CPU运行的情况下，与上游操作和下游操作切换产生的时间开销，T(Switch_GPU)为当前操作由GPU运行的情况下，与上游操作和下游操作切换产生的时间开销。

如果D<0，则说明将当前操作运行在CPU会带来运行性能收益，这时修改当前操作的实际运行设备为CPU。如果D＞0，则说明将当前操作运行在GPU会带来运行性能收益，这时不需要修改当前操作的实际运行设备，依然保持为GPU。

作为对图1所示的实施例的细化和进一步扩展，本实施例公开了另一种机器学习网络运行方法。参照图2所示，图2为从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备的流程图。如图2所示，图1所示的步骤103进一步可以包括：

步骤201，基于机器学习网络对应的拓扑结构的拓扑排序，确定机器学习网络中各操作的运行顺序；

步骤202，按照所述运行顺序，确定所述机器学习网络中每个操作对应的所述第二主运行设备。

步骤201中，将机器学习网络对应的拓扑图(拓扑结构)进行拓扑排序，得到拓扑结构中各节点对应操作的运行先后顺序。机器学习网络中的各操作通常都是按照一定的顺序运行的。这里通过拓扑结构的拓扑排序来得到各操作的运行顺序。对拓扑结构进行拓扑排序可以采用本领域技术人员已知的方式，在此不再赘述。

步骤202中，按照确定的各操作的运行顺序，依次遍历各个操作，来确定每个操作对应的优选运行设备，即第二主运行设备。如上所述，也可以选择机器学习网络中的部分操作来确定其第二主运行设备。在这种情况下，也按照各操作的运行顺序来确定，只是不再是遍历网络中的所有操作。

采用这种通过拓扑排序得到操作的运行顺序并根据运行顺序确定操作的第二主运行设备的方法，在具体计算上述D时，即，计算当前操作的上游操作切换到当前操作的时间开销时，采用上游操作的第二主运行设备；计算当前操作切换到当前操作的下游操作的时间开销时，采用下游操作的第一主运行设备。

作为对图1所示的实施例的细化和进一步扩展，本实施例公开了另一种机器学习网络运行方法。参照图3所示，图3为针对所述机器学习网络的操作配置第一主运行设备和第一备选运行设备的流程图。如图3所示，图1所示的步骤101进一步可以包括：

步骤301，从所述机器学习网络中确定计算量大于第一预定计算量的操作；

步骤302，针对所确定的操作配置所述第一主运行设备和所述第一备选运行设备。

作为对图1所示的实施例的细化和进一步扩展，本实施例公开了另一种机器学习网络运行方法。参照图4所示，图4为获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数的流程图。如图4所示，图1所示的步骤102进一步可以包括：

步骤401，从所述机器学习网络中确定计算量大于第二预定计算量的操作；

步骤402，获取所确定操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数。

上述中第一预定计算量和第二预定计算量可以相同，也可以不同。对于计算量较小的操作，则可以直接配置实际的运行设备，而不再选择最佳运行设备。这是因为，当操作的计算量较小时，运行设备的性能参数是否最佳不会带来较大的影响。

需要说明的是，为了使得操作运行的更加可靠，某些情况下，可以为一个操作设置多个第二主运行设备，例如两个第二主运行设备。当确定操作的第二主运行设备时，则需要计算三个运行设备，即一个第一主运行设备和两个第一备选运行设备各自的时间开销和/或功耗，然后，从中选择时间开销和/或功耗最低的运行设备作为优选的运行设备，即第二主运行设备。

采用这种方式，可以进一步确保以较优的性能运行操作。

采用本公开的方法有助于进行后续的机器学习网络中的子网划分。即，可以将运行在同一个设备上且在对应的拓扑结构中属于同一个连通分量上的操作合并为一个子网。也就是说，可以将一个机器学习网络划分为几个子网，这样就将复杂的网络结构划分为几个简单的网络结构，有利于进行后续的设备维护和管理。

因此，本公开的方法不仅保证了以较佳的性能运行机器学习网络，优化了设备切换的开销，同时也提供了一种在机器学习网络中自动进行子网划分的方法。

需要说明的是，上述各个实施方式中的执行步骤可以根据需要进行组合。

图5示出了根据本公开的机器学习网络运行方法的具体实施例。其中，机器学习网络具体为深度学习网络。参照图5所示，根据本公开的机器学习网络运行方法包括：

步骤501，为深度学习网络中每个操作配置相应的一个第一主运行设备和一个第一备选运行设备。

步骤502，从深度学习网络中确定计算量大于第二预定计算量的操作。

步骤503，获取所确定操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数。

步骤504，确定深度学习网络对应的有向无环图的拓扑结构，并通过该拓扑结构对拓扑结构中的各节点进行拓扑排序。

步骤505，基于上述拓扑排序确定深度学习网络中各操作的运行顺序。

步骤506，按照该运行顺序，针对机器学习网络中被获取第一性能参数和第二性能参数的每个操作，计算该操作在第一主运行设备上运行的时间开销，以及在第一备选运行设备上运行的时间开销。

步骤507，当第一备选运行设备上运行的时间开销小于第一主运行设备上运行的时间开销时，将该操作的第一备选运行设备设置为第二主运行设备。

步骤508，在确定被获取第一性能参数和第二性能参数的每个操作的第二主运行设备后，通过确定的第二主运行设备运行该深度学习网络。

本公开还提供了一种机器学习网络运行装置，如图6所示，所述装置包括：

配置模块601，被设置为针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

参数获取模块602，被设置为获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

设备选择模块603，被设置为基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

运行模块604，被设置为通过所述第二主运行设备，运行所述机器学习网络。

在可选实施方式中，所述与所述操作相关的切换时间开销为：所述操作的上游操作的第二主运行设备切换到所述操作的所述第二主运行设备的时间开销及所述操作的所述第二主运行设备切换到所述操作的下游操作的第一主运行设备的时间开销的总和。

在可选实施方式中，所述设备选择模块还被设置为：

基于所述机器学习网络对应的拓扑结构的拓扑排序，确定所述机器学习网络中各操作的运行顺序；

按照所述运行顺序，选择所述机器学习网络中每个操作对应的所述第二主运行设备。

在可选实施方式中，所述配置模块还被设置为：

从所述机器学习网络中确定计算量大于第一预定计算量的操作；

针对所确定的操作配置所述第一主运行设备和所述第一备选运行设备。

在可选实施方式中，所述参数获取模块还被设置为：

从所述机器学习网络中确定计算量大于第二预定计算量的操作；

获取所确定操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开的实施例提供的技术方案中，在机器学习网络运行前，通过为机器学习网络中操作设置优选的运行设备，极大地提升了网络的运行性能，并且克服了在网络运行过程中由于操作在某个设备上无法运行而导致的频繁切换设备的问题。本公开的方法不仅保证了以较佳的性能运行机器学习网络，优化了设备切换的开销，同时也提供了一种在机器学习网络中自动进行子网划分的方法。

图7是根据一示例性实施例示出的一种用于机器学***板设备，医疗设备，健身设备，个人数字助理等。

参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件706为装置700的各种组件提供电力。电力组件706可以包括电源管理***，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由智能终端的处理器执行时，使得智能终端能够执行一种机器学习网络运行方法，所述方法包括：针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；通过所述第二主运行设备，运行所述机器学习网络。

图8是根据一示例性实施例示出的一种用于机器学习网络运行装置800的框图。例如，装置800可以被提供为一服务器。参照图8，装置800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述方法：针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；通过所述第二主运行设备，运行所述机器学习网络。

装置800还可以包括一个电源组件826被配置为执行装置800的电源管理，一个有线或无线网络接口850被配置为将装置800连接到网络，和一个输入输出(I/O)接口858。装置800可以操作基于存储在存储器832的操作***，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本公开旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种机器学习网络运行方法，其特征在于，所述方法包括：

针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

通过所述第二主运行设备，运行所述机器学习网络。

2.如权利要求1所述的方法，其特征在于，

所述与所述操作相关的切换时间开销为：所述操作的上游操作的第二主运行设备切换到所述操作的所述第二主运行设备的时间开销及所述操作的所述第二主运行设备切换到所述操作的下游操作的第一主运行设备的时间开销的总和。

3.如权利要求1所述的方法，其特征在于，所述从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备包括：

基于所述机器学习网络对应的拓扑结构的拓扑排序，确定所述机器学习网络中各操作的运行顺序；

按照所述运行顺序，确定所述机器学习网络中每个操作对应的所述第二主运行设备。

4.如权利要求1所述的方法，其特征在于，所述针对所述机器学习网络的操作配置第一主运行设备和第一备选运行设备，包括：

从所述机器学习网络中确定计算量大于第一预定计算量的操作；

针对所确定的操作配置所述第一主运行设备和所述第一备选运行设备。

5.如权利要求1所述的方法，其特征在于，所述获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数，包括：

从所述机器学习网络中确定计算量大于第二预定计算量的操作；

获取所确定操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数。

6.一种机器学习网络运行装置，其特征在于，所述装置包括：

配置模块，被设置为针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

参数获取模块，被设置为获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

设备选择模块，被设置为基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

运行模块，被设置为通过所述第二主运行设备，运行所述机器学习网络。

7.如权利要求6所述的装置，其特征在于，所述与所述操作相关的切换时间开销为：所述操作的上游操作的第二主运行设备切换到所述操作的所述第二主运行设备的时间开销及所述操作的所述第二主运行设备切换到所述操作的下游操作的第一主运行设备的时间开销的总和。

8.如权利要求6所述的装置，其特征在于，所述设备选择模块还被设置为：

基于所述机器学习网络对应的拓扑结构的拓扑排序，确定所述机器学习网络中各操作的运行顺序；

按照所述运行顺序，选择所述机器学习网络中每个操作对应的所述第二主运行设备。

9.如权利要求6所述的装置，其特征在于，所述配置模块还被设置为：

从所述机器学习网络中确定计算量大于第一预定计算量的操作；

针对所确定的操作配置所述第一主运行设备和所述第一备选运行设备。

10.如权利要求6所述的装置，其特征在于，所述参数获取模块还被设置为：

从所述机器学习网络中确定计算量大于第二预定计算量的操作；

获取所确定操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数。

11.一种机器学习网络运行装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

通过所述第二主运行设备，运行所述机器学习网络。

12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由设备的处理器执行时，使得设备能够执行一种机器学习网络运行方法，所述方法包括：

针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

通过所述第二主运行设备，运行所述机器学习网络。

Images