CN112270414A - 算子监控方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了算子监控方法、装置、电子设备及存储介质，涉及深度学习等人工智能领域，其中的方法可包括：获取待处理的算子对应的任一组输入数据；根据输入数据，获取算子的前向计算对应的输出数据，并获取算子的反向计算对应的输入数据的梯度；若根据获取到的输出数据确定算子的前向计算的单测通过，且根据获取到的输入数据的梯度确定算子的反向计算的单测通过，则确定监控通过。应用本申请所述方案，可实现对于算子的有效监控，从而确保了算子的正确性等。

Description

算子监控方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，特别涉及深度学习领域的算子监控方法、装置、电子设备及存储介质。

背景技术

在深度学习框架中，算子是最基本的单元，每类算子代表对数据执行的一种计算操作。算子主要包括前向计算和反向计算，其中，前向计算是读取输入数据计算得到输出数据，反向计算是根据读取的输出数据的梯度计算得到输入数据的梯度。

在深度学习框架中，对算子进行监控，确保正确地前向计算和反向计算，是非常有必要的，但目前还没有一种有效的实现方式。

发明内容

本申请提供了算子监控方法、装置、电子设备及存储介质。

一种算子监控方法，包括：

获取待处理的算子对应的任一组输入数据；

根据所述输入数据，获取所述算子的前向计算对应的输出数据，并获取所述算子的反向计算对应的输入数据的梯度；

若根据所述输出数据确定所述算子的前向计算的单测通过，且根据所述输入数据的梯度确定所述算子的反向计算的单测通过，则确定监控通过。

一种算子监控装置，包括：第一获取模块、第二获取模块以及结果判决模块；

所述第一获取模块，用于获取待处理的算子对应的任一组输入数据；

所述第二获取模块，用于根据所述输入数据，获取所述算子的前向计算对应的输出数据，并获取所述算子的反向计算对应的输入数据的梯度；

所述结果判决模块，用于当根据所述输出数据确定所述算子的前向计算的单测通过，且根据所述输入数据的梯度确定所述算子的反向计算的单测通过时，确定监控通过。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

上述申请中的一个实施例具有如下优点或有益效果：可实现对于算子的有效监控，从而确保了算子的正确性，对于深度学习框架的基础建设具有重要意义等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请所述算子监控方法第一实施例的流程图；

图2为本申请所述算子监控方法第二实施例的流程图；

图3为本申请所述算子监控装置实施例30的组成结构示意图；

图4为根据本申请实施例所述方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本申请所述算子监控方法第一实施例的流程图。如图1所示，包括以下具体实现方式。

在步骤101中，获取待处理的算子对应的任一组输入数据。

在步骤102中，根据输入数据，获取算子的前向计算对应的输出数据，并获取算子的反向计算对应的输入数据的梯度。

在步骤103中，若根据输出数据确定算子的前向计算的单测通过，且根据输入数据的梯度确定算子的反向计算的单测通过，则确定监控通过。

通过上述方法实施例所述方案，可实现对于算子的有效监控，从而确保了算子的正确性，对于深度学习框架的基础建设具有重要意义等。

也就是说，针对待处理的算子，需要同时对其进行前向计算的单测和反向计算的单测。单测即指单元测试。以下分别对前向计算的单测和反向计算的单测的具体实现进行说明。

1)前向计算的单测

在实际应用中，在获取到任一组输入数据的同时，还可获取到输入数据对应的真实输出数据，真实输出数据即指理论上输入数据对应的、应该输出的正确数据。

可根据输入数据，获取算子的前向计算对应的输出数据，即可将输入数据作为算子的输入，计算得到输出数据。

进一步地，可根据得到的输出数据，确定算子的前向计算的单测是否通过。

优选地，可获取输出数据与真实输出数据的第一差值绝对值，若确定第一差值绝对值中不存在取值大于第一阈值的元素，则可确定算子的前向计算的单测通过。

即可计算得到第一差值绝对值diff_1＝abs(outputs-lables)； (1)

其中，outputs表示输出数据，lables表示真实输出数据，abs()表示求绝对值。

第一差值绝对值为数组，其中包括多个元素，针对每个元素，可分别确定其取值是否大于第一阈值，若所有元素中不存在取值大于第一阈值的元素，则可确定算子的前向计算的单测通过。第一阈值的具体取值可根据实际需要而定，比如可为0，也就是说，若确定第一差值绝对值中不存在取值大于0的元素，那么则可确定算子的前向计算的单测通过。

若确定第一差值绝对值中存在取值大于第一阈值的元素，则可确定算子的前向计算的单测不通过，或者，若确定第一差值绝对值中存在取值大于第一阈值的元素，且算子没有位于预先生成的第一豁免白名单中，则可确定算子的前向计算的单测不通过。

第一豁免白名单可为预先生成的，其中包括哪些算子可根据实际需要而定。假设算子位于第一豁免白名单中，那么即使其对应的第一差值绝对值中存在取值大于第一阈值的元素，也可认为算子的前向计算的单测通过。对于单测不通过的情况，可进行报错提示等。

通过引入第一豁免白名单，可使得算子单测的实现方式更为灵活，从而能够满足不同场景的应用需求等。

2)反向计算的单测

可根据输入数据，获取算子的反向计算对应的输入数据的梯度，并可根据输入数据的梯度确定算子的反向计算的单测是否通过。

优选地，获取到的输入数据的梯度中可包括：第一输入数据的梯度以及第二输入数据的梯度。比如，可根据输入数据，获取算子的前向计算对应的输出数据，并根据输出数据，通过第一方式生成第一输入数据的梯度，通过第二方式生成第二输入数据的梯度。

优选地，通过第一方式生成第一输入数据的梯度的方式可包括：获取输出数据的梯度，根据输出数据的梯度，通过反向计算得到第一输入数据的梯度。

通过第二方式生成第二输入数据的梯度的方式可包括：对输入数据进行预定大小的偏置，得到偏置后的输入数据；对输出数据进行同样(与输入数据同样大小)的偏置，得到偏置后的输出数据；获取偏置后的输出数据与输出数据的第一差值，并获取偏置后的输入数据与输入数据的第二差值，将第一差值和第二差值的比值作为第二输入数据的梯度。

所述偏置的具体大小可根据实际需要而定，另外，如何对输入数据和输出数据进行偏置为现有技术。

在分别获取到偏置后的输入数据和偏置后的输出数据后，可采用微积分求梯度的思想，按照下面的公式计算得到输入数据的梯度，即第二输入数据的梯度inputs_grad_2。

inputs_grad_2＝(outputs_alpha-outputs)/(inputs_alpha-inputs)； (2)

其中，outputs_alpha表示偏置后的输出数据，outputs表示输出数据，inputs_alpha表示偏置后的输入数据，inputs表示输入数据。

在分别获取到第一输入数据的梯度和第二输入数据的梯度后，可进一步获取第一输入数据的梯度与第二输入数据的梯度的第二差值绝对值，并获取第一输入数据的梯度与第二输入数据的梯度的第三差值，将第三差值与第一输入数据的梯度的比值的绝对值作为相对误差，进而可针对第二差值绝对值中的每个元素，分别根据该元素的取值及相对误差确定该元素是否为符合要求的元素，若确定第二差值绝对值中的所有元素均为符合要求的元素，则可确定算子的反向计算的单测通过。

即第二差值绝对值diff_2＝abs(inputs_grad_1-inputs_grad_2)； (3)

其中，inputs_grad_1表示第一输入数据的梯度，inputs_grad_2表示第二输入数据的梯度。

相对误差re＝abs((inputs_grad_1-inputs_grad_2)/inputs_grad_1)； (4)

其中，inputs_grad_1-inputs_grad_2即为上述第三差值。

对于第二差值绝对值中的每个元素，可分别根据该元素的取值及相对误差确定该元素是否为符合要求的元素。

优选地，对于任一元素x，当元素x的取值大于第二阈值时，若相对误差小于第五阈值，则可确定元素x为符合要求的元素；当元素x的取值位于第二阈值和第三阈值之间时，若相对误差小于第六阈值，则可确定元素x为符合要求的元素，第三阈值小于第二阈值；当元素x的取值位于第三阈值和第四阈值之间时，若相对误差小于第七阈值，则可确定元素x为符合要求的元素，第四阈值小于第三阈值；当元素x的取值小于第四阈值时，若相对误差小于第八阈值，则可确定元素x为符合要求的元素。

上述各阈值的具体取值均可根据实际需要而定，比如，第二阈值的取值可为1e-6，第三阈值的取值可为1e-8，第四阈值的取值可为1e-10，第五阈值的取值可为1e-7，第六阈值的取值可为1e-5，第七阈值的取值可为1e-3，第八阈值的取值可为1e-10，其中，1e-6表示1乘以10的负6次方，其它类推。

仍以元素x为例，当元素x的取值大于1e-6时，若相对误差小于1e-7，则可确定元素x为符合要求的元素；当元素x的取值位于1e-6和1e-8之间时，若相对误差小于1e-5，则可确定元素x为符合要求的元素；当元素x的取值位于1e-8和第四阈值1e-10之间时，若相对误差小于1e-3，则可确定元素x为符合要求的元素；当元素x的取值小于1e-10时，若相对误差小于1e-10，则可确定元素x为符合要求的元素。

若确定第二差值绝对值中的所有元素均为符合要求的元素，则可确定算子的反向计算的单测通过。

若确定第二差值绝对值中存在不符合要求的元素，则可确定算子的反向计算的单测不通过，或者，若确定第二差值绝对值中存在不符合要求的元素，且算子没有位于第一豁免白名单中，则可确定算子的反向计算的单测不通过。

如前所述，第一豁免白名单可为预先生成的，其中包括哪些算子可根据实际需要而定。假设算子位于第一豁免白名单中，那么即使其对应的第二差值绝对值中存在不符合要求的元素，也可认为算子的反向计算的单测通过。对于单测不通过的情况，可进行报错提示等。

通过引入第一豁免白名单，可使得算子单测的实现方式更为灵活，从而能够满足不同场景的应用需求等。

若确定算子的前向计算的单测通过，且算子的反向计算的单测也通过，则可确定监控通过。

在实际应用中，还可对输入数据中的各数据按照类型的优先级由高到低的顺序进行排序，将排序后处于第一位的数据的类型作为输入数据对应的检测精度，并记录该检测精度。相应地，确定监控通过即指确定该检测精度下的监控通过。

比如，数据的类型的优先级可为：float64>float32>float16>int64>int32>int16>int8>bool等，排序越靠前优先级越高。

输入数据中可包括多个数据，可对各数据按照类型的优先级由高到低的顺序进行排序，并可将排序后处于第一位的数据的类型作为输入数据对应的检测精度。比如，输入数据中包括3个数据，3个数据的类型分别为float32、float16和int64，那么输入数据对应的检测精度即为float32。

以上介绍的是针对一组输入数据的算子监控方法，在实际应用中，输入数据通常为多组，每组输入数据均可按照本申请所述方式进行处理。

也就是说，针对N组不同的输入数据，可分别获取并记录每组输入数据对应的检测精度以及每组输入数据对应的检测精度下的监控结果。若确定记录的所有检测精度中包括预定的M个检测精度，且M个检测精度对应的监控结果均为监控通过，则可确定算子的单测覆盖率符合要求，并可确定针对算子的监控通过，M和N均为大于一的正整数，M小于或等于N。

其中，对于任意两个不同的检测精度来说，不同检测精度下的上述各阈值的取值可以相同，也可以不同，可根据实际需要而定。

M个检测精度可为预先设定的，即为所要求的检测精度，具体包括哪些检测精度同样可根据实际需要而定。确定记录的检测精度中是否覆盖了这M个检测精度，以确定算子的单测覆盖率是否满足要求，从而进一步完善了测试过程，通过多个指标来对算子进行评估，进而进一步确保了算子的正确性等。

比如，N的取值为3，即共有三组输入数据，分别为输入数据1、输入数据2和输入数据3，其中，输入数据1对应的检测精度为float64，对应的监控结果为监控通过，输入数据2对应的检测精度为float16，对应的监控结果为监控通过，输入数据3对应的检测精度为float32，对应的监控结果为监控通过，假设M的取值为2，2个预先设定的检测精度分别为float64和float32，由于记录的检测精度中包括了这2个预先设定的检测精度，且对应的监控结果均为监控通过，那么则可确定算子的单测覆盖率符合要求，并可确定针对算子的监控通过，假设M的取值为3，3个预先设定的检测精度分别为float64、float32和int64，由于记录的检测精度中未包括全部这3个预先设定的检测精度，那么则可确定算子的单测覆盖率不符合要求。

若确定算子的单测覆盖率不符合要求，则可确定针对算子的监控不通过，或者，若确定算子的单测覆盖率不符合要求，且算子没有位于预先生成的第二豁免白名单中，则可确定针对算子的监控不通过。

第二豁免白名单中包括哪些算子可根据实际需要而定。假设算子位于第二豁免白名单中，那么即使其单测覆盖率不符合要求，也可认为针对算子的监控通过。对于监控不通过的情况，可进行报错提示等。

通过引入第二豁免白名单，可使得算子单测的实现方式更为灵活，从而能够满足不同场景的应用需求等。

综合上述介绍，图2为本申请所述算子监控方法第二实施例的流程图。如图2所示，包括以下具体实现方式。

在步骤201中，获取N组输入数据。

N为大于一的正整数。除获取N组输入数据外，还可分别获取各组输入数据对应的真实输出数据。

在步骤202中，针对每组输入数据，分别按照步骤203-步骤208所示方式进行处理。

在步骤203中，确定并记录检测精度。

比如，可对输入数据中的各数据按照类型的优先级由高到低的顺序进行排序，将排序后处于第一位的数据的类型作为输入数据对应的检测精度，并记录检测精度。

在步骤204中，根据输入数据，获取算子的前向计算对应的输出数据。

在步骤205中，根据输出数据确定算子的前向计算的单测是否通过，若是，则执行步骤206，否则，执行步骤211。

比如，可获取输出数据与真实输出数据的第一差值绝对值，若确定第一差值绝对值中不存在取值大于第一阈值的元素，则可确定算子的前向计算的单测通过。

若确定第一差值绝对值中存在取值大于第一阈值的元素，则可确定算子的前向计算的单测不通过。或者，若确定第一差值绝对值中存在取值大于第一阈值的元素，且算子没有位于第一豁免白名单中，则可确定算子的前向计算的单测不通过。

在步骤206中，根据输入数据，获取算子的反向计算对应的输入数据的梯度。

输入数据的梯度可包括：第一输入数据的梯度以及第二输入数据的梯度。

可根据输入数据，获取算子的前向计算对应的输出数据，根据输出数据，通过第一方式生成第一输入数据的梯度，通过第二方式生成第二输入数据的梯度。

其中，可获取输出数据的梯度，根据输出数据的梯度，通过反向计算得到第一输入数据的梯度。

可对输入数据进行预定大小的偏置，得到偏置后的输入数据，并可对输出数据进行同样的偏置，得到偏置后的输出数据，进而可获取偏置后的输出数据与输出数据的第一差值，并可获取偏置后的输入数据与输入数据的第二差值，将第一差值和第二差值的比值作为第二输入数据的梯度。

在步骤207中，根据输入数据的梯度确定算子的反向计算的单测是否通过，若是，则执行步骤208，否则，执行步骤211。

比如，可获取第一输入数据的梯度与第二输入数据的梯度的第二差值绝对值，并获取第一输入数据的梯度与第二输入数据的梯度的第三差值，将第三差值与第一输入数据的梯度的比值的绝对值作为相对误差，针对第二差值绝对值中的每个元素，分别根据该元素的取值及相对误差确定该元素是否为符合要求的元素，若确定第二差值绝对值中的所有元素均为符合要求的元素，则可确定算子的反向计算的单测通过。

其中，针对任一元素，确定该元素是否为符合要求的元素的方式可包括：当该元素的取值大于第二阈值时，若相对误差小于第五阈值，则可确定该元素为符合要求的元素；当该元素的取值位于第二阈值和第三阈值之间时，若相对误差小于第六阈值，则可确定该元素为符合要求的元素，第三阈值小于第二阈值；当该元素的取值位于第三阈值和第四阈值之间时，若相对误差小于第七阈值，则可确定该元素为符合要求的元素，第四阈值小于第三阈值；当该元素的取值小于第四阈值时，若相对误差小于第八阈值，则可确定该元素为符合要求的元素。

另外，若确定第二差值绝对值中存在不符合要求的元素，则可确定算子的反向计算的单测不通过。或者，若确定第二差值绝对值中存在不符合要求的元素，且算子没有位于第一豁免白名单中，则可确定算子的反向计算的单测不通过。

在步骤208中，确定本次检测精度下的监控通过。

在步骤209中，根据所记录的检测精度确定针对算子的监控是否通过，若是，则执行步骤210，否则，执行步骤211。

针对N组不同的输入数据，可分别获取并记录每组输入数据对应的检测精度以及每组输入数据对应的检测精度下的监控结果。若确定记录的所有检测精度中包括预定的M个检测精度，且M个检测精度下的监控结果均为监控通过，则可确定算子的单测覆盖率符合要求，并可确定针对算子的监控通，M和N均为大于一的正整数，M小于或等于N。

另外，若确定算子的单测覆盖率不符合要求，则也可确定针对算子的监控不通过。或者，若确定算子的单测覆盖率不符合要求，且算子没有位于第二豁免白名单中，则可确定针对算子的监控不通过。

在步骤210中，进行监控通过提示，结束流程。

在步骤211中，进行报错提示，结束流程。

需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。另外，某个实施例中没有详述的部分，可以参见其它实施例中的相关说明。

以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。

图3为本申请所述算子监控装置实施例30的组成结构示意图。如图3所示，包括：第一获取模块301、第二获取模块302以及结果判决模块303。

第一获取模块301，用于获取待处理的算子对应的任一组输入数据。

第二获取模块302，用于根据输入数据，获取算子的前向计算对应的输出数据，并获取算子的反向计算对应的输入数据的梯度。

结果判决模块303，用于当根据输出数据确定算子的前向计算的单测通过，且根据输入数据的梯度确定算子的反向计算的单测通过时，确定监控通过。

第一获取模块301在获取输入数据的同时，还可获取输入数据对应的真实输出数据。

相应地，结果判决模块303可获取输出数据与真实输出数据的第一差值绝对值，若确定第一差值绝对值中不存在取值大于第一阈值的元素，则可确定算子的前向计算的单测通过。

结果判决模块303若确定第一差值绝对值中存在取值大于第一阈值的元素，则可确定算子的前向计算的单测不通过，或者，若确定第一差值绝对值中存在取值大于第一阈值的元素，且算子没有位于预先生成的第一豁免白名单中，则可确定算子的前向计算的单测不通过。

第二获取模块302可根据输入数据，获取算子的前向计算对应的输出数据，并可根据输出数据，获取算子的反向计算对应的输入数据的梯度。输入数据的梯度可包括：第一输入数据的梯度以及第二输入数据的梯度。具体地，第二获取模块302可根据输出数据，通过第一方式生成第一输入数据的梯度，通过第二方式生成第二输入数据的梯度。

其中，第二获取模块302可获取输出数据的梯度，根据输出数据的梯度，通过反向计算得到第一输入数据的梯度。

第二获取模块302还可对输入数据进行预定大小的偏置，得到偏置后的输入数据，对输出数据进行同样的偏置，得到偏置后的输出数据，获取偏置后的输出数据与输出数据的第一差值，并获取偏置后的输入数据与输入数据的第二差值，将第一差值和第二差值的比值作为第二输入数据的梯度。

结果判决模块303可获取第一输入数据的梯度与第二输入数据的梯度的第二差值绝对值，并获取第一输入数据的梯度与第二输入数据的梯度的第三差值，将第三差值与第一输入数据的梯度的比值的绝对值作为相对误差，针对第二差值绝对值中的每个元素，分别根据该元素的取值及相对误差确定该元素是否为符合要求的元素，若确定第二差值绝对值中的所有元素均为符合要求的元素，则可确定算子的反向计算的单测通过。

具体地，结果判决模块303针对任一元素，当该元素的取值大于第二阈值时，若相对误差小于第五阈值，则可确定该元素为符合要求的元素，当该元素的取值位于第二阈值和第三阈值之间时，若相对误差小于第六阈值，则可确定该元素为符合要求的元素，第三阈值小于第二阈值，当该元素的取值位于第三阈值和第四阈值之间时，若相对误差小于第七阈值，则可确定该元素为符合要求的元素，第四阈值小于第三阈值，当该元素的取值小于第四阈值时，若相对误差小于第八阈值，则可确定该元素为符合要求的元素。

结果判决模块303还可在确定第二差值绝对值中存在不符合要求的元素时，确定算子的反向计算的单测不通过，或者，若确定第二差值绝对值中存在不符合要求的元素，且算子没有位于预先生成的第一豁免白名单中，则确定算子的反向计算的单测不通过。

如图3所示，所述装置中还可包括：精度确定模块304，用于对输入数据中的各数据按照类型的优先级由高到低的顺序进行排序，将排序后处于第一位的数据的类型作为输入数据对应的检测精度，并记录检测精度。相应地，结果判决模块303确定该检测精度下的监控通过。

精度确定模块304还可针对N组不同的输入数据，分别获取并记录每组输入数据对应的检测精度。

结果判决模块303可分别获取每组输入数据对应的检测精度下的监控结果，若确定记录的所有检测精度中包括预定的M个检测精度，且M个检测精度下的监控结果均为监控通过，则可确定算子的单测覆盖率符合要求，并可确定针对算子的监控通过，M和N均为大于一的正整数，M小于或等于N。

结果判决模块303还可在确定算子的单测覆盖率不符合要求时，确定针对算子的监控不通过，或者，若确定算子的单测覆盖率不符合要求，且算子没有位于第二豁免白名单中，则确定针对算子的监控不通过。

图3所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。

总之，采用本申请装置实施例所述方案，可实现对于算子的有效监控，从而确保了算子的正确性，对于深度学习框架的基础建设具有重要意义等。

本申请所述方案可应用于人工智能领域，特别涉及深度学习等领域。人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图4所示，是根据本申请实施例所述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图4所示，该电子设备包括：一个或多个处理器Y01、存储器Y02，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图4中以一个处理器Y01为例。

存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。

存储器Y02作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器Y02可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器Y02可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器Y02可选包括相对于处理器Y01远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、区块链网络、局域网、移动通信网及其组合。

电子设备还可以包括：输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接，图4中以通过总线连接为例。

输入装置Y03可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器、发光二极管显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管或者液晶显示器监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网、广域网、区块链网络和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (26)

1.一种算子监控方法，包括：

获取待处理的算子对应的任一组输入数据；

根据所述输入数据，获取所述算子的前向计算对应的输出数据，并获取所述算子的反向计算对应的输入数据的梯度；

若根据所述输出数据确定所述算子的前向计算的单测通过，且根据所述输入数据的梯度确定所述算子的反向计算的单测通过，则确定监控通过。

2.根据权利要求1所述的方法，还包括：获取所述输入数据对应的真实输出数据；

其中，所述根据所述输出数据确定所述算子的前向计算的单测通过包括：

获取所述输出数据与所述真实输出数据的第一差值绝对值；

若确定所述第一差值绝对值中不存在取值大于第一阈值的元素，则确定所述算子的前向计算的单测通过。

3.根据权利要求2所述的方法，还包括：

若确定所述第一差值绝对值中存在取值大于所述第一阈值的元素，则确定所述算子的前向计算的单测不通过；

或者，若确定所述第一差值绝对值中存在取值大于所述第一阈值的元素，且所述算子没有位于预先生成的第一豁免白名单中，则确定所述算子的前向计算的单测不通过。

4.根据权利要求1所述的方法，其中，

所述输入数据的梯度包括：第一输入数据的梯度以及第二输入数据的梯度；

所述获取所述算子的反向计算对应的输入数据的梯度包括：根据所述输出数据，通过第一方式生成所述第一输入数据的梯度，通过第二方式生成所述第二输入数据的梯度。

5.根据权利要求4所述的方法，其中，所述通过第一方式生成所述第一输入数据的梯度包括：

获取所述输出数据的梯度；

根据所述输出数据的梯度，通过反向计算得到所述第一输入数据的梯度。

6.根据权利要求4所述的方法，其中，所述通过第二方式生成所述第二输入数据的梯度包括：

对所述输入数据进行预定大小的偏置，得到偏置后的输入数据；

对所述输出数据进行同样的偏置，得到偏置后的输出数据；

获取所述偏置后的输出数据与所述输出数据的第一差值，并获取所述偏置后的输入数据与所述输入数据的第二差值，将所述第一差值和所述第二差值的比值作为所述第二输入数据的梯度。

7.根据权利要求4所述的方法，其中，所述根据所述输入数据的梯度确定所述算子的反向计算的单测通过包括：

获取所述第一输入数据的梯度与所述第二输入数据的梯度的第二差值绝对值；

获取所述第一输入数据的梯度与所述第二输入数据的梯度的第三差值，将所述第三差值与所述第一输入数据的梯度的比值的绝对值作为相对误差；

针对所述第二差值绝对值中的每个元素，分别根据所述元素的取值及所述相对误差确定所述元素是否为符合要求的元素；

若确定所述第二差值绝对值中的所有元素均为符合要求的元素，则确定所述算子的反向计算的单测通过。

8.根据权利要求7所述的方法，其中，所述确定所述元素是否为符合要求的元素包括：

当所述元素的取值大于第二阈值时，若所述相对误差小于第五阈值，则确定所述元素为符合要求的元素；

当所述元素的取值位于所述第二阈值和第三阈值之间时，若所述相对误差小于第六阈值，则确定所述元素为符合要求的元素，所述第三阈值小于所述第二阈值；

当所述元素的取值位于所述第三阈值和第四阈值之间时，若所述相对误差小于第七阈值，则确定所述元素为符合要求的元素，所述第四阈值小于所述第三阈值；

当所述元素的取值小于所述第四阈值时，若所述相对误差小于第八阈值，则确定所述元素为符合要求的元素。

9.根据权利要求7所述的方法，还包括：

若确定所述第二差值绝对值中存在不符合要求的元素，则确定所述算子的反向计算的单测不通过；

或者，若确定所述第二差值绝对值中存在不符合要求的元素，且所述算子没有位于预先生成的第一豁免白名单中，则确定所述算子的反向计算的单测不通过。

10.根据权利要求1所述的方法，还包括：

对所述输入数据中的各数据按照类型的优先级由高到低的顺序进行排序，将排序后处于第一位的数据的类型作为所述输入数据对应的检测精度，并记录所述检测精度；

所述确定监控通过包括：确定所述检测精度下的监控通过。

11.根据权利要求10所述的方法，还包括：

针对N组不同的输入数据，分别获取并记录每组输入数据对应的检测精度以及每组输入数据对应的检测精度下的监控结果；

若确定记录的所有检测精度中包括预定的M个检测精度，且所述M个检测精度下的监控结果均为监控通过，则确定所述算子的单测覆盖率符合要求，并确定针对所述算子的监控通过，M和N均为大于一的正整数，M小于或等于N。

12.根据权利要求11所述的方法，还包括：

若确定所述算子的单测覆盖率不符合要求，则确定针对所述算子的监控不通过；

或者，若确定所述算子的单测覆盖率不符合要求，且所述算子没有位于预先生成的第二豁免白名单中，则确定针对所述算子的监控不通过。

13.一种算子监控装置，包括：第一获取模块、第二获取模块以及结果判决模块；

所述第一获取模块，用于获取待处理的算子对应的任一组输入数据；

所述第二获取模块，用于根据所述输入数据，获取所述算子的前向计算对应的输出数据，并获取所述算子的反向计算对应的输入数据的梯度；

所述结果判决模块，用于当根据所述输出数据确定所述算子的前向计算的单测通过，且根据所述输入数据的梯度确定所述算子的反向计算的单测通过时，确定监控通过。

14.根据权利要求13所述的装置，其中，

所述第一获取模块进一步用于，获取所述输入数据对应的真实输出数据；

所述结果判决模块获取所述输出数据与所述真实输出数据的第一差值绝对值，若确定所述第一差值绝对值中不存在取值大于第一阈值的元素，则确定所述算子的前向计算的单测通过。

15.根据权利要求14所述的装置，其中，

所述结果判决模块进一步用于，若确定所述第一差值绝对值中存在取值大于所述第一阈值的元素，则确定所述算子的前向计算的单测不通过，或者，若确定所述第一差值绝对值中存在取值大于所述第一阈值的元素，且所述算子没有位于预先生成的第一豁免白名单中，则确定所述算子的前向计算的单测不通过。

16.根据权利要求13所述的装置，其中，

所述输入数据的梯度包括：第一输入数据的梯度以及第二输入数据的梯度；

所述第二获取模块根据所述输出数据，通过第一方式生成所述第一输入数据的梯度，通过第二方式生成所述第二输入数据的梯度。

17.根据权利要求16所述的装置，其中，

所述第二获取模块获取所述输出数据的梯度，根据所述输出数据的梯度，通过反向计算得到所述第一输入数据的梯度。

18.根据权利要求16所述的装置，其中，

所述第二获取模块对所述输入数据进行预定大小的偏置，得到偏置后的输入数据，对所述输出数据进行同样的偏置，得到偏置后的输出数据，获取所述偏置后的输出数据与所述输出数据的第一差值，并获取所述偏置后的输入数据与所述输入数据的第二差值，将所述第一差值和所述第二差值的比值作为所述第二输入数据的梯度。

19.根据权利要求16所述的装置，其中，

所述结果判决模块获取所述第一输入数据的梯度与所述第二输入数据的梯度的第二差值绝对值，并获取所述第一输入数据的梯度与所述第二输入数据的梯度的第三差值，将所述第三差值与所述第一输入数据的梯度的比值的绝对值作为相对误差，针对所述第二差值绝对值中的每个元素，分别根据所述元素的取值及所述相对误差确定所述元素是否为符合要求的元素，若确定所述第二差值绝对值中的所有元素均为符合要求的元素，则确定所述算子的反向计算的单测通过。

20.根据权利要求19所述的装置，其中，

所述结果判决模块针对任一元素，当所述元素的取值大于第二阈值时，若所述相对误差小于第五阈值，则确定所述元素为符合要求的元素，当所述元素的取值位于所述第二阈值和第三阈值之间时，若所述相对误差小于第六阈值，则确定所述元素为符合要求的元素，所述第三阈值小于所述第二阈值，当所述元素的取值位于所述第三阈值和第四阈值之间时，若所述相对误差小于第七阈值，则确定所述元素为符合要求的元素，所述第四阈值小于所述第三阈值，当所述元素的取值小于所述第四阈值时，若所述相对误差小于第八阈值，则确定所述元素为符合要求的元素。

21.根据权利要求19所述的装置，其中，

所述结果判决模块进一步用于，若确定所述第二差值绝对值中存在不符合要求的元素，则确定所述算子的反向计算的单测不通过，或者，若确定所述第二差值绝对值中存在不符合要求的元素，且所述算子没有位于预先生成的第一豁免白名单中，则确定所述算子的反向计算的单测不通过。

22.根据权利要求13所述的装置，还包括：精度确定模块；

所述精度确定模块，用于对所述输入数据中的各数据按照类型的优先级由高到低的顺序进行排序，将排序后处于第一位的数据的类型作为所述输入数据对应的检测精度，并记录所述检测精度；

所述结果判决模块确定所述检测精度下的监控通过。

23.根据权利要求22所述的装置，其中，

所述精度确定模块进一步用于，针对N组不同的输入数据，分别获取并记录每组输入数据对应的检测精度；

所述结果判决模块进一步用于，分别获取每组输入数据对应的检测精度下的监控结果，若确定记录的所有检测精度中包括预定的M个检测精度，且所述M个检测精度下的监控结果均为监控通过，则确定所述算子的单测覆盖率符合要求，并确定针对所述算子的监控通过，M和N均为大于一的正整数，M小于或等于N。

24.根据权利要求23所述的装置，其中，

所述结果判决模块进一步用于，若确定所述算子的单测覆盖率不符合要求，则确定针对所述算子的监控不通过，或者，若确定所述算子的单测覆盖率不符合要求，且所述算子没有位于预先生成的第二豁免白名单中，则确定针对所述算子的监控不通过。

25.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-12中任一项所述的方法。

Images