CN114444654A - 一种面向nas的免训练神经网络性能评估方法、装置和设备 - Google Patents
一种面向nas的免训练神经网络性能评估方法、装置和设备 Download PDFInfo
- Publication number
- CN114444654A CN114444654A CN202111619382.2A CN202111619382A CN114444654A CN 114444654 A CN114444654 A CN 114444654A CN 202111619382 A CN202111619382 A CN 202111619382A CN 114444654 A CN114444654 A CN 114444654A
- Authority
- CN
- China
- Prior art keywords
- neural network
- nas
- correlation
- network performance
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 107
- 238000011156 evaluation Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000004044 response Effects 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims description 68
- 238000013507 mapping Methods 0.000 claims description 35
- 230000004913 activation Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000006116 polymerization reaction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 2
- 230000000379 polymerizing effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 238000012549 training Methods 0.000 abstract description 12
- 238000012854 evaluation process Methods 0.000 abstract description 6
- 238000013461 design Methods 0.000 description 11
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013209 evaluation strategy Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 2
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种面向NAS的免训练神经网络性能评估方法、装置和设备，包括：基于NAS的搜索策略搜索得到神经网络结构；获取神经网络结构在初始化时，不同输入样本在所有隐藏层中产生的响应；最后计算响应间的相关性，并根据相关性计算得到神经网络结构的网络性能评分。本发明利用神经网络架构初始化时不同输入样本在隐藏层中产生的响应来评估网络性能，避免了NAS过程的架构训练，实现了免训练神经网络性能评估，减少了NAS过程中对计算资源的依赖，仅使用CPU就可以快速评估神经网络架构，在没有降低性能的同时大大加快了传统的NAS中的网络架构性能评估进程，提高了NAS的工作效率。
Description
技术领域
本发明属于神经网络性能评估技术领域，具体涉及一种面向NAS的免训练神经网络性能评估方法、装置和设备。
背景技术
深度神经网络在处理目标分类、目标检测、目标分割以及目标跟踪等各种计算机视觉任务上取得了显著的成功。深度神经网络的性能很大程度上依赖于其体系结构。因此，为了发挥出深度神经网络的最大性能，通常需要人类专家利用专业知识和相应的数据集对模型架构手工调优。其中，神经网络的架构调优，训练及评估是一个迭代的过程，需要反复进行，不断优化，这一过程需要耗费大量的人工和时间成本。因此，神经网络架构搜索(Neural Architecture Search,NAS)应运而生。
NAS技术可以基于任务目标及相应的数据集，通过方法自动生成深度神经网络架构，从而减少了人工搭建神经网络架构所耗费的人力和时间成本。NAS技术的实现主要包括：定义搜索空间、搜索策略和评估策略。其中，搜索策略决定了如何探索神经架构搜索空间，常见的搜索策略包括随机搜索、强化学习、进化算法和基于梯度的方法；评估策略用于定义如何评估神经网络结构。早期的NAS研究主要通过完整训练或近似完整训练来评估每个神经网络架构，统称为蛮力法，而这种方法需要进行大量网络训练，通常会耗费大量的计算资源。
随着技术的发展，研究人员提出了两种用于提高神经网络性能评估效率的方法，一种是基于性能预测器的NAS方法，预测器通过深度神经网络实现，该深度神经网络可以将一个神经网络架构映射为一个目标数据集上的准确率或相对性能值，然而，若想得到可靠的预测结果仍然需要训练大量的神经网络作为训练数据集。另一种是参数共享方法，该方法被认为是目前最有效和最有潜力的评估策略，在整个搜索过程中，此方法仅维护包含所有可能子网的超网的一组网络参数，允许使用超网参数更新和评估子网的参数，但这种方法存在模型干扰问题，导致网络架构性能评估的质量较低且鲁棒性较差。
发明内容
本发明的目的是提供一种面向NAS的免训练神经网络性能评估方法、装置和设备，用于解决现有技术中的NAS网络性能评估方法需要大量训练，评估时间长，效率较低的技术问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供一种面向NAS的免训练神经网络性能评估方法，包括：
基于神经网络架构搜索NAS的搜索策略搜索得到神经网络结构；
获取所述神经网络结构在初始化时，不同输入样本在所有隐藏层中产生的响应；
计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分。
在一种可能的设计中，所述响应包括特征映射和/或梯度。
在一种可能的设计中，所述特征映射为非线性激活单元后的特征映射、批量归一化层前的特征映射、非线性激活单元前的特征映射或者标准化层之前的特征映射。
在一种可能的设计中，当所述特征映射为非线性激活单元前的特征映射时，计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分，包括：
计算N个输入样本
在第i个非线性激活单元前的特征映射
间的第一相关系数矩阵
计算公式如下：
其中，T表示转置，
分别表示每一输入样本向量化表示后的转置，
表示每一样本在第i个非线性激活单元前的特征映射向量化表示后的转置，(Ci)j,k、(Ci)j,j和(Ci)k,k分别表示第i个非线性激活单元前的特征映射协方差矩阵的第j行k列元素、第j行j列元素和第k行k列元素；Ci表示协方差矩阵，计算公式如下：
Ci＝(Ai-Mi)(Ai-Mi)T； (2)
其中，Mi表示特征映射Ai的均值向量，计算公式如下：
其中，(Ai)n,j表示第i个非线性激活单元前的特征映射中第n个样本的第j个元素；
将分别计算得到的Na个非线性激活单元的第一相关系数矩阵
进行聚合，得到第一聚合相关系数矩阵Σ1：
根据所述第一聚合相关系数矩阵Σ1，计算得到所述神经网络结构的第一网络性能评分Sact_cor：
Sact_cor＝log(det(Σ1))。 (5)
在一种可能的设计中，当所述响应为特征映射和梯度时，计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分，包括：
基于公式(1)、公式(2)和公式(3)计算得到所述N个输入样本
在第i个非线性激活单元前的梯度
间的第二相关系数矩阵
根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵Σ2；
根据所述第二聚合相关系数矩阵Σ2，计算得到所述神经网络结构的第二网络性能评分Sact_grad_cor；
Sact_grad_cor＝log(det(Σ2))。 (7)
在一种可能的设计中，在根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵Σ2之前，所述方法还包括：
分别对每一隐藏层的相关系数矩阵计算进行加权，且从浅层到深层，权重指数逐渐增大；
根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵Σ2，包括：
根据加权后的第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第三聚合相关系数矩阵Σ3；
其中，L表示隐藏层的数量，l表示其中一个隐藏层；
根据所述第三聚合相关系数矩阵Σ3，计算得到所述神经网络结构的第三网络性能评分Sweighted_act_grad_cor；
Sweighted_act_grad_cor＝log(det(Σ3))。 (9)
第二方面，本发明提供一种面向NAS的免训练神经网络性能评估装置，包括：
网络结构搜索单元，用于基于神经网络架构搜索NAS的搜索策略搜索得到神经网络结构；
评价指标获取单元，用于获取所述神经网络结构在初始化时，不同输入样本在所有隐藏层中产生的响应；
性能评分计算单元，用于计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分。
第三方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的面向NAS的免训练神经网络性能评估方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的面向NAS的免训练神经网络性能评估方法。
第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面任意一种可能的设计中所述的面向NAS的免训练神经网络性能评估方法。
有益效果：
本发明基于NAS的搜索策略搜索得到神经网络结构；然后获取所述神经网络结构在初始化时，不同输入样本在所有隐藏层中产生的响应；最后计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分。本发明利用神经网络架构初始化时不同输入样本在隐藏层中产生的响应来评估网络性能，避免了NAS过程的架构训练，实现了免训练神经网络性能评估，减少了NAS过程中对计算资源的依赖，仅使用CPU就可以快速评估神经网络架构，在没有降低性能的同时大大加快了传统的NAS中的网络架构性能评估进程，提高了NAS的工作效率。且经过验证发现，本发明仅需要4个GPU，就可在ImageNet-1k数据集上发现一个22.1％的Top-1测试误差的神经网络。
附图说明
图1为本实施例中的面向NAS的免训练神经网络性能评估方法的流程图。
具体实施方式
为使本说明书实施例的目的、技术方案和优点更加清楚，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
为了解决现有技术中的NAS网络性能评估方法需要大量训练，评估时间长，效率较低的技术问题，本实施例提供了一种面向NAS的免训练神经网络性能评估方法，该方法利用神经网络架构初始化时不同输入样本在隐藏层中产生的响应来评估网络性能，避免了NAS过程的架构训练，实现了免训练神经网络性能评估，减少了NAS过程中对计算资源的依赖，仅使用CPU就可以快速评估神经网络架构，在没有降低性能的同时大大加快了传统的NAS中的网络架构性能评估进程，提高了NAS的工作效率。
如图1所示，第一方面，本实施例提供一种面向NAS的免训练神经网络性能评估方法，包括但不限于由步骤S101～S103实现：
步骤S101.基于神经网络架构搜索NAS的搜索策略搜索得到神经网络结构；
其中，需要说明的是，本实施例中基于NAS(Neural Architecture Search,神经网络架构搜索)的搜索策略为现有的搜索策略，包括但不限于：一，基于强化学习的NAS方法，通常需要构建一个控制器，通常控制器从搜索空间中采样模型架构。由于采样得到的模型架构的性能由控制器的性能所决定，因此，控制器需要反复评估不同的模型架构，通过迭代的方式更新控制器，从而生成有效的模型架构。二，基于梯度的NAS方法，基于结构的连续松弛(relaxation)表示，将架构搜索转化为连续空间的优化问题，利用梯度下降同时优化网络架构和网络参数。三，基于进化的NAS方法，本质是通过自然选择的方式探索搜索空间，将搜索空间中的神经网络架构作为种群来进化，种群中的每个个体都是一个神经网络架构。
步骤S102.获取所述神经网络结构在初始化时，不同输入样本在所有隐藏层中产生的响应；
其中，需要说明的是，所述输入样本可以是同一类的输入样本，也可以是不同类的输入样本，例如可以都是“狗”的图像样本，也可以是“狗”和“猫”的不同图像样本，此处均可适用，不做限定。
在步骤S102中一种具体的实施方式中，所述响应包括特征映射和/或梯度，优选的，所述响应为特征映射，或者所述响应为特征映射和梯度。
其中，需要说明的是，由于某一个隐藏层中的所有神经元都检测在同一样本不同位置处的同一个特征(即权重共享，检测特征相同)，因此也将从输入层到隐藏层的这种映射称为特征映射。该特征映射的权重称为共享权重，其偏置称为共享偏置。而对于不同的输入样本，性能更好的神经网络的隐藏层的特征映射更加线性独立。
在步骤S102中一种具体的实施方式中，优选的，所述特征映射为非线性激活单元后的特征映射、批量归一化层前的特征映射、非线性激活单元前的特征映射或者标准化层之前的特征映射。
其中，优选的，本实施例选取包含信息量最丰富的非线性激活单元前的特征映射进行后续的矩阵计算，以期得到更为准确的性能评价得分。
步骤S103.计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分。
在步骤S103一种具体的实施方式中，当所述特征映射为非线性激活单元前的特征映射时，计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分，包括：
步骤S1031.计算N个输入样本
在第i个非线性激活单元前的特征映射
间的第一相关系数矩阵
计算公式如下：
其中，T表示转置，
分别表示每一输入样本向量化表示后的转置，
表示每一样本在第i个非线性激活单元前的特征映射向量化表示后的转置，(Ci)j,k、(Ci)j,j和(Ci)k,k分别表示第i个非线性激活单元前的特征映射协方差矩阵的第j行k列元素、第j行j列元素和第k行k列元素；Ci表示协方差矩阵，计算公式如下：
Ci＝(Ai-Mi)(Ai-Mi)T； (2)
其中，Mi表示特征映射Ai的均值向量，计算公式如下：
其中，(Ai)n,j表示第i个非线性激活单元前的特征映射中第n个样本的第j个元素；
步骤S1032.将分别计算得到的Na个非线性激活单元的第一相关系数矩阵
进行聚合，得到第一聚合相关系数矩阵Σ1：
步骤S1033.根据所述第一聚合相关系数矩阵Σ1，计算得到所述神经网络结构的第一网络性能评分Sact_cor：
Sact_cor＝log(det(Σ1))。 (5)
其中，需要说明的是，所述第一网络性能评分Sact_cor为基于为非线性激活单元前的特征映射间的相关性得到的评分，通过衡量所有隐藏层中的小批量输入样本被捕获的特征映射间的相关性，即可对神经网络结构的性能进行评估，从而避免了NAS过程的架构训练，实现了免训练神经网络性能评估，减少了NAS过程中对计算资源的依赖，仅使用CPU就可以快速评估神经网络架构，在没有降低性能的同时大大加快了传统的NAS中的网络架构性能评估进程，提高了NAS的工作效率。
在步骤S103另一种具体的实施方式中，当所述响应为特征映射和梯度时，计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分，包括：
步骤S1031’.基于公式(1)、公式(2)和公式(3)计算得到所述N个输入样本
在第i个非线性激活单元前的梯度
间的第二相关系数矩阵
步骤S1032’.根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵Σ2；
步骤S1033’.根据所述第二聚合相关系数矩阵Σ2，计算得到所述神经网络结构的第二网络性能评分Sact_grad_cor；
Sact_grad_cor＝log(det(Σ2))。 (7)
其中，需要说明的是，所述第二网络性能评分Sact_grad_cor为基于为非线性激活单元前的特征映射间的相关性以及所有层的梯度间的相关性得到的评分，通过衡量所有隐藏层中的小批量输入样本被捕获的特征映射间和梯度间的相关性，即可对神经网络结构的性能进行评估，从而避免了NAS过程的架构训练，实现了免训练神经网络性能评估，减少了NAS过程中对计算资源的依赖，仅使用CPU就可以快速评估神经网络架构，在没有降低性能的同时大大加快了传统的NAS中的网络架构性能评估进程，提高了NAS的工作效率。
在步骤S103一种具体的实施方式中，在根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵Σ2之前，所述方法还包括：
分别对每一隐藏层的相关系数矩阵计算进行加权，且从浅层到深层，权重指数逐渐增大；
根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵Σ2，包括：
根据加权后的第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第三聚合相关系数矩阵Σ3；
其中，L表示隐藏层的数量，l表示其中一个隐藏层；
根据所述第三聚合相关系数矩阵Σ3，计算得到所述神经网络结构的第三网络性能评分Sweighted_act_grad_cor；
Sweighted_act_grad_cor＝log(det(Σ3))。 (9)
其中，需要说明的是，所述的第三网络性能评分Sweighted_act_grad_cor为基于加权后的为非线性激活单元前的特征映射间的相关性和梯度间的相关性得到的评分，通过衡量所有隐藏层中的小批量输入样本被捕获的特征映射间和梯度间的相关性并进行加权计算，即可对神经网络结构的性能进行评估，从而避免了NAS过程的架构训练，实现了免训练神经网络性能评估，减少了NAS过程中对计算资源的依赖，仅使用CPU就可以快速评估神经网络架构，在没有降低性能的同时大大加快了传统的NAS中的网络架构性能评估进程，提高了NAS的工作效率。
此外，本实施例经过验证发现，本发明仅需要4个GPU，就可在ImageNet-1k数据集上发现一个22.1％的Top-1测试误差的神经网络，测试误差较小，极大提高了NAS的工作效率。
第二方面，本发明提供一种面向NAS的免训练神经网络性能评估装置，包括：
网络结构搜索单元，用于基于神经网络架构搜索NAS的搜索策略搜索得到神经网络结构；
评价指标获取单元，用于获取所述神经网络结构在初始化时，不同输入样本在所有隐藏层中产生的响应；
性能评分计算单元，用于计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分。
第三方面，本发明提供一种计算机设备，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面任意一种可能的设计中所述的面向NAS的免训练神经网络性能评估方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面任意一种可能的设计中所述的面向NAS的免训练神经网络性能评估方法。
第五方面，本发明提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面任意一种可能的设计中所述的面向NAS的免训练神经网络性能评估方法。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种面向NAS的免训练神经网络性能评估方法，其特征在于，包括：
基于神经网络架构搜索NAS的搜索策略搜索得到神经网络结构；
获取所述神经网络结构在初始化时，不同输入样本在所有隐藏层中产生的响应；
计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分。
2.根据权利要求1所述的面向NAS的免训练神经网络性能评估方法，其特征在于，所述响应包括特征映射和/或梯度。
3.根据权利要求2所述的面向NAS的免训练神经网络性能评估方法，其特征在于，所述特征映射为非线性激活单元后的特征映射、批量归一化层前的特征映射、非线性激活单元前的特征映射或者标准化层之前的特征映射。
4.根据权利要求3所述的面向NAS的免训练神经网络性能评估方法，其特征在于，当所述特征映射为非线性激活单元前的特征映射时，计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分，包括：
计算N个输入样本
在第i个非线性激活单元前的特征映射
间的第一相关系数矩阵
计算公式如下：
其中，T表示转置，
分别表示每一输入样本向量化表示后的转置.
表示每一样本在第i个非线性激活单元前的特征映射向量化表示后的转置，(Ci)j，k、(Ci)j，j和(Ci)k，k分别表示第i个非线性激活单元前的特征映射协方差矩阵的第j行k列元素、第j行j列元素和第k行k列元素；Ci表示协方差矩阵，计算公式如下：
Ci＝(Ai-Mi)(Ai-Mi)T； (2)
其中，Mi表示特征映射Ai的均值向量，计算公式如下：
其中，(Ai)n，j表示第i个非线性激活单元前的特征映射中第n个样本的第j个元素；
将分别计算得到的Na个非线性激活单元的第一相关系数矩阵
进行聚合，得到第一聚合相关系数矩阵∑1：
根据所述第一聚合相关系数矩阵∑1，计算得到所述神经网络结构的第一网络性能评分Sact_cor：
Sact_cor＝log(det(∑1))。 (5)
5.根据权利要求4所述的面向NAS的免训练神经网络性能评估方法，其特征在于，当所述响应为特征映射和梯度时，计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分，包括：
基于公式(1)、公式(2)和公式(3)计算得到N个输入样本
在第i个非线性激活单元前的梯度
间的第二相关系数矩阵
根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵∑2；
根据所述第二聚合相关系数矩阵∑2，计算得到所述神经网络结构的第二网络性能评分Sact_grad_cor；
Sact_grad_cor＝log(det(∑2))。 (7)
6.根据权利要求5所述的面向NAS的免训练神经网络性能评估方法，其特征在于，在根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵∑2之前，所述方法还包括：
分别对每一隐藏层的相关系数矩阵计算进行加权，且从浅层到深层，权重指数逐渐增大；
根据所述第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第二聚合相关系数矩阵∑2，包括：
根据加权后的第一相关系数矩阵
和所述第二相关系数矩阵
计算得到第三聚合相关系数矩阵∑3；
其中，L表示隐藏层的数量，l表示其中一个隐藏层；
根据所述第三聚合相关系数矩阵∑3，计算得到所述神经网络结构的第三网络性能评分Sweighted_act_grad-cor；
Sweighted_act_grad_cor＝log(det(∑3))。 (9)
7.一种面向NAS的免训练神经网络性能评估装置，其特征在于，包括：
网络结构搜索单元，用于基于神经网络架构搜索NAS的搜索策略搜索得到神经网络结构；
评价指标获取单元，用于获取所述神经网络结构在初始化时，不同输入样本在所有隐藏层中产生的响应；
性能评分计算单元，用于计算所述响应间的相关性，并根据相关性计算得到所述神经网络结构的网络性能评分。
8.一种计算机设备，其特征在于，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1-6任意一项所述的面向NAS的免训练神经网络性能评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111619382.2A CN114444654A (zh) | 2021-12-27 | 2021-12-27 | 一种面向nas的免训练神经网络性能评估方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111619382.2A CN114444654A (zh) | 2021-12-27 | 2021-12-27 | 一种面向nas的免训练神经网络性能评估方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114444654A true CN114444654A (zh) | 2022-05-06 |
Family
ID=81366195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111619382.2A Pending CN114444654A (zh) | 2021-12-27 | 2021-12-27 | 一种面向nas的免训练神经网络性能评估方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114444654A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171198A (zh) * | 2022-09-02 | 2022-10-11 | 腾讯科技（深圳）有限公司 | 模型质量评估方法、装置、设备及存储介质 |
-
2021
- 2021-12-27 CN CN202111619382.2A patent/CN114444654A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115171198A (zh) * | 2022-09-02 | 2022-10-11 | 腾讯科技（深圳）有限公司 | 模型质量评估方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107729999A (zh) | 考虑矩阵相关性的深度神经网络压缩方法 | |
| CN110728224A (zh) | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 | |
| CN109902222A (zh) | 一种推荐方法及装置 | |
| CN110941734B (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
| CN110210625A (zh) | 基于迁移学习的建模方法、装置、计算机设备和存储介质 | |
| CN113128671B (zh) | 一种基于多模态机器学习的服务需求动态预测方法及*** | |
| CN112766496B (zh) | 基于强化学习的深度学习模型安全性保障压缩方法与装置 | |
| CN112529638B (zh) | 基于用户分类和深度学习的服务需求动态预测方法及*** | |
| CN112085254A (zh) | 基于多重分形协同度量门控循环单元的预测方法及模型 | |
| CN111681022A (zh) | 一种网络平台数据资源价值评估方法 | |
| CN112183742A (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
| CN116912568A (zh) | 基于自适应类别均衡的含噪声标签图像识别方法 | |
| CN115934490A (zh) | 服务器性能预测模型训练方法、装置、设备及存储介质 | |
| CN114444654A (zh) | 一种面向nas的免训练神经网络性能评估方法、装置和设备 | |
| CN112541530B (zh) | 针对聚类模型的数据预处理方法及装置 | |
| CN114219017A (zh) | 一种隐式语义数据增强方法 | |
| CN112200208B (zh) | 基于多维度特征融合的云工作流任务执行时间预测方法 | |
| CN116129189A (zh) | 一种植物病害识别方法、设备、存储介质及装置 | |
| CN115083511A (zh) | 基于图表示学习与注意力的***基因调控特征提取方法 | |
| CN114120367A (zh) | 元学习框架下基于圆损失度量的行人重识别方法及*** | |
| CN114187966A (zh) | 一种基于生成对抗网络的单细胞rna序列缺失值填补方法 | |
| CN110728292A (zh) | 一种多任务联合优化下的自适应特征选择算法 | |
| CN112529637A (zh) | 基于情景感知的服务需求动态预测方法及*** | |
| CN116405368B (zh) | 一种高维不平衡数据条件下的网络故障诊断方法、*** | |
| CN116992944B (zh) | 基于可学习重要性评判标准剪枝的图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220506 |
|
| RJ01 | Rejection of invention patent application after publication |