CN110610231A - 一种信息处理方法、电子设备和存储介质 - Google Patents
一种信息处理方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN110610231A CN110610231A CN201910792797.6A CN201910792797A CN110610231A CN 110610231 A CN110610231 A CN 110610231A CN 201910792797 A CN201910792797 A CN 201910792797A CN 110610231 A CN110610231 A CN 110610231A
- Authority
- CN
- China
- Prior art keywords
- neural network
- node
- undirected graph
- weight
- network architecture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种信息处理方法，该方法包括：基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构；同时对多个神经网络架构进行训练，得到每一第一损失值；基于每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图；基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构。本申请的实施例同时还公开了一种电子设备和存储介质。
Description
技术领域
本申请涉及但不限于计算机技术领域，尤其涉及一种信息处理方法、电子设备和存储介质。
背景技术
在自动神经网络架构搜索中，相关技术中的第一种搜索方案采用随机搜索、网格搜索这类不能利用先验知识指导后续训练的神经网络架构搜索方法；第二种搜索方案采用贝叶斯模型优化或者强化学习的方法，通过不断迭代更新生成架构策略，然后产生新架构的方法。这里，第一种搜索方法虽然并行度高，但是不能利用先验知识优化查找策略，第二种搜索方法耗时较长，且需要不断更新迭代，并行度差；可见，相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索。
申请内容
本申请实施例期望提供一种信息处理方法、电子设备和存储介质，解决了相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索的问题，实现在高并行的情况下利用先验知识优化后续神经网络架构的搜索，提高神经网络架构的搜索效率，快速找到最短路径。
本申请的技术方案是这样实现的：
一种信息处理方法，所述方法包括：
基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取所述第一无向图对应的多个神经网络架构；
同时对所述多个神经网络架构进行训练，得到每一第一损失值；其中，所述每一第一损失值与训练后的每一神经网络中的所述第一节点，所述第二节点以及所述第三节点之间的边的第一权重具有关联关系；
基于所述每一第一损失值和所述神经网络的层数，对所述第一无向图中所述第一节点，所述第二节点以及所述第三节点之间的边的第二权重进行调整得到第二无向图；
基于所述第二无向图，确定表征从所述第一节点到所述第三节点的最短路径的目标神经网络架构。
可选的，所述多个隐藏层中的各个隐藏层的所述多个第二节点的个数相同。
可选的，所述同时对所述多个神经网络架构进行训练，得到每一第一损失值，包括：
同时对所述多个神经网络架构进行训练，获取所述训练后的每一神经网络架构的每一第二损失值；其中，所述每一第二损失值与所述训练后的每一神经网络架构的所述第一节点的第三权重、所述第二节点的第四权重以及所述第三节点的第五权重具有关联关系；
若所述每一第二损失值符合预设损失值范围，获取所述训练后的每一神经网络架构的所述每一第一损失值。
可选的，所述基于所述每一第一损失值和所述神经网络的层数，对所述第一无向图中所述第一节点，所述第二节点以及所述第三节点之间的边的第二权重进行调整得到第二无向图，包括：
从所述多个神经网络架构中选择第一神经网络架构；
若所述第一神经网络架构中所述第一节点，所述第二节点以及所述第三节点之间的特定边的第二权重符合第一参数范围，基于所述第一神经网络架构对应的第一损失值和所述神经网络的层数，对所述第一无向图中所述第一神经网络架构中所述特定边的第二权重进行调整得到所述第二无向图。
可选的，所述若所述第一神经网络架构中所述第一节点，所述第二节点以及所述第三节点之间的特定边的第二权重符合第一参数范围，基于所述第一神经网络架构对应的第一损失值和所述神经网络的层数，对所述第一无向图中所述第一神经网络架构中所述特定边的第二权重进行调整得到所述第二无向图，包括：
若所述特定边的第二权重符合所述第一参数范围，获取所述第一神经网络架构对应的第一损失值除以所述神经网络的层数得到的第一参数；
基于所述第一参数，对所述第一无向图中所述第一神经网络架构中所述特定边的第二权重进行调整得到所述第二无向图。
可选的，所述方法还包括：
若所述特定边的第二权重符合第二参数范围，基于所述第一神经网络架构对应的第一损失值、所述神经网络的层数和所述特定边的第二权重，对所述第一无向图中所述特定边的第二权重进行调整得到所述第二无向图。
可选的，所述若所述特定边的第二权重符合第二参数范围，基于所述第一神经网络架构对应的第一损失值、所述神经网络的层数和所述特定边的第二权重，对所述第一无向图中所述特定边的第二权重进行调整得到所述第二无向图，包括：
若所述特定边的第二权重符合所述第二参数范围，获取所述第一神经网络架构对应的第一损失值除以所述神经网络的层数得到的第一参数；
基于所述第一参数和所述特定边的第二权重，对所述第一无向图中所述特定边的第二权重进行调整得到所述第二无向图。
可选的，所述基于所述第二无向图，确定表征从所述第一节点到所述第三节点的最短路径的目标神经网络架构，包括：
获取所述第二无线图中每一神经网络架构对应的所述第一节点，所述第二节点以及所述第三节点之间的边的第六权重的和，得到每一第二参数；
获取多个所述第二参数中最小值对应的所述目标神经网络架构。
一种电子设备，所述电子设备包括：处理器、存储器和通信总线；
所述通信总线用于实现处理器和存储器之间的通信连接；
所述处理器用于执行存储器中存储的信息处理程序，以实现上述的信息处理的方法的步骤。
一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的信息处理的方法的步骤。
本申请实施例所提供的信息处理方法、电子设备和存储介质，基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构；同时对多个神经网络架构进行训练，得到每一第一损失值；其中，每一第一损失值与训练后的每一神经网络中的第一节点，第二节点以及第三节点之间的边的第一权重具有关联关系；基于每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图；基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构；如此，解决了相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索的问题，实现在高并行的情况下利用先验知识优化后续神经网络架构的搜索，提高神经网络架构的搜索效率，快速找到最短路径。
附图说明
图1为本申请的实施例提供的一种信息处理方法的流程示意图；
图2为本申请的实施例提供的另一种信息处理方法的流程示意图；
图3为本申请的实施例提供的一种神经网络的架构示意图；
图4为本申请的实施例提供的另一种神经网络的架构示意图；
图5为本申请的实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
为了更好的理解本申请实施例，这里对深度学习以及本申请实施例涉及到的各种神经网络进行解释说明。
深度学习(Deep Learning)是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。深度学习通过构建分布式表示(监督学习、无监督学习、强化学习)在大型数据集中发现复杂结构。
神经网络可以指向两种，一个是生物神经网络，一个是人工神经网络。人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠***的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。可以理解的，人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，在工程与学术界也常直接简称为“神经网络”或类神经网络。
循环神经网络，一种类型的神经网络，隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
隐藏层，除输入层和输出层以外的其他各层叫做隐藏层，也就是说，隐藏层不直接接受外界的信号，也不直接向外界发送信号。
输入层，只起到输入信号的扇出作用。所以在计算神经网络的层数时不被记入，该层负责接收来自网络外部的信息，被记作第0层。
输出层，负责输出神经网络的计算结果。
卷积神经网络，由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网络能够利用输入数据的二维结构。
全连接神经网络，对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的输出和权值进行加权得到的。
无向图，边没有方向的图；可以理解的，无向图的边是没方向的，即两个相连的顶点可以相互抵达。
带权无线图的最短路径，从输入层的节点到输出层的节点的每条路径上的权值(它等于该路径上所经边上的权值之和，称为该路径的带权路径长度)可能不同，这里，称权值最小的那条路径为最短路径。
相关技术中，在自动神经网络架构搜索中，第一种搜索方案采用随机搜索、网格搜索这类不能利用先验知识指导后续训练的神经网络架构搜索方法；第二种搜索方案采用贝叶斯模型优化或者强化学习的方法，通过不断迭代更新生成架构策略，然后产生新架构的方法。需要说明的是，网格搜索和随机搜索的方法在生成网络架构时不需要考虑先验知识，即生成1000种架构可以同时进行训练，而采用贝叶斯模型优化或者强化学习的方法需要收到某个网络架构的反馈信息从而更新网络架构生成策略，所以必须等待网络训练到收敛才能再次生成下个架构。由此可知，第一种搜索方法虽然并行度高，但是不能利用先验知识优化查找策略，第二种搜索方法耗时较长，且需要不断更新迭代，并行度差；可见，相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索。
基于前述内容，本申请的实施例提供一种信息处理方法，应用于电子设备，参照图1所示，该方法包括以下步骤：
步骤101、基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构。
本申请实施例中，获取的神经网络，又可以称为待搜索的神经网络。本申请实施例中，搜索神经网络可以查找出获取的神经网络中最优的神经网络架构。神经网络架构，又可以称为拓扑结构，可以理解为神经网络节点间的连接关系；搜索神经网络可以找到最优的神经网络架构。
本申请实施例中，多个隐藏层中每一隐藏层的多个第二节点可以认为是多个运算的算子operation，这里，每一隐藏层的多个第二节点包括每一隐藏层的全部节点。这里，operation可以包括a×a的卷积核，池化层等等，其中，a为大于1的自然数，池化层包括但不限于平均池化层、最大池化层，operation包括的卷积核可以涵盖多个不同大小的卷积核。本申请实施例中对神经网络包含的隐藏层的层数不做具体地限定。
本申请实施例中，在构建得到第一无向图的情况下，可以基于随机策略生成多个神经网络架构。可以理解的，基于随机策略生成多个神经网络架构的过程中，第一步，基于随机策略生成一组随机数，这组随机数包括与所有隐藏层中每一隐藏层对应的一个operation的标识；第二步，基于这些operation的标识生成一个神经网络架构；最后，重复执行第一步以及第二步，进而生成多个神经网络架构。
本申请实施例中，电子设备在获取到神经网络后，基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，这里，构建第一无线图的过程中，可以设置第一无向图中各个节点间的链接权重即边的权重为正无穷，实现初始化第一无向图的边的权重。当然，也可以设置第一无向图中各个节点间的链接权重为其他数值，以实现初始化第一无向图的边的权重。电子设备在构建好第一无向图后，获取第一无向图对应的多个神经网络架构。
步骤102、同时对多个神经网络架构进行训练，得到每一第一损失值。
其中，每一第一损失值与训练后的每一神经网络中的第一节点，第二节点以及第三节点之间的边的第一权重具有关联关系。
本申请实施例中，电子设备在获取到第一无向图对应的多个神经网络架构的情况下，可以同时对多个神经网络架构进行训练，进而同时训练到收敛，得到与训练后的每一神经网络架构中的第一节点，第二节点以及第三节点之间的边的第一权重具有关联关系的每一第一损失值。这里，同时对多个神经网络架构进行训练，可以实现高并行处理。
这里，电子设备同时对多个神经网络架构进行训练，并同时训练到收敛的情况下，还可以记录拓扑结构即训练后的神经网络架构至队列queue中，可以理解的，queue可以用于保存拓扑结构和验证数据集对应的loss即第一损失值的一种数据结构。这里，最优的神经网络架构的第一损失值最低。需要说明的是，本申请实施例中loss表征一个神经网络架构训练至收敛的情况下的第一损失值。
步骤103、基于每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图。
本申请实施例中，神经网络的层数指的是隐藏层的总层数。电子设备对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整，也就是更新带权的第一无向图(第一无向图中各个节点间的链接权重为正无穷)，进而可以得到第二无向图；第二无向图中第一节点，第二节点以及第三节点之间的边的权重与第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重至少有一不同。这里，基于带权的第一无向图对应的每一第一损失值和神经网络的层数，对带权的第一无向图中各个边的权重进行调整以得到第二无向图的过程中，实现了利用先验知识即第一无向图的相关参数，优化后续神经网络架构的搜索即第二无向图中目标神经网络架构的搜索的目的。进而可以实现在高并行的情况下利用先验知识优化后续神经网络架构的搜索，提高神经网络架构的搜索效率，快速找到最短路径的效果。
在本申请实施例中，在电子设备记录拓扑结构即训练后的神经网络架构至queue中的情况下，电子设备在更新带权的第一无向图的过程中，可以从queue这种数据结构中选出一种架构，进而遍历该架构中所有的节点，得到至多max种架构，并基于max种架构中每一架构对应的每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图。
步骤104、基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构。
本申请实施例中，从第一节点到第三节点的最短路径，即带权的第二无向图中从输入层的第一节点到输出层的第三节点之间具有最小权值的路径。
本申请实施例中，电子设备可以采用迪杰斯特拉算法(Dijkstra)基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构；当然，电子设备也可以采用其他算法如弗洛伊德(Floyd)算法基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构。
在实际应用中，在电子设备构建出第一无向图的情况下，完成了对第一无向图的边的权重的初始化，进而得到带权的第一无向图；进一步地，获取带权的第一无向图对应的多个神经网络架构，并获取每一神经网络架构的每一第一损失值；接着，基于每一第一损失值和神经网络的层数即隐藏层的层数对带权的第一无线图中各个边的第二权重进行调整，以实现对带权的第一无向图的更新，得到带权的第二无向图；最终在带权的第二无向图中确定出从第一节点到第三节点之间的具有最短路径的目标神经网络架构；如此，解决了相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索的问题，实现在高并行的情况下利用先验知识优化后续神经网络架构的搜索，提高神经网络架构的搜索效率，快速找到最短路径。
本申请的实施例所提供的信息处理方法，基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构；同时对多个神经网络架构进行训练，得到每一第一损失值；其中，每一第一损失值与训练后的每一神经网络中的第一节点，第二节点以及第三节点之间的边的第一权重具有关联关系；基于每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图；基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构；如此，解决了相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索的问题，实现在高并行的情况下利用先验知识优化后续神经网络架构的搜索，提高神经网络架构的搜索效率，快速找到最短路径。
基于前述实施例，本申请的实施例提供一种信息处理方法，应用于电子设备，参照图2所示，该方法包括以下步骤：
步骤201、基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构。
这里，多个隐藏层中的各个隐藏层的多个第二节点的个数相同。
本申请实施例中，获取的神经网络包含的所有隐藏层中各个隐藏层的所有第二节点的个数相同，进而基于该神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图即搜索空间，如此，以确保搜索空间足够大。
步骤202、同时对多个神经网络架构进行训练，获取训练后的每一神经网络架构的每一第二损失值。
其中，每一第二损失值与训练后的每一神经网络架构的第一节点的第三权重、第二节点的第四权重以及第三节点的第五权重具有关联关系。
本申请实施例中，电子设备在获取到第一无向图对应的多个神经网络架构的情况下，可以同时对多个神经网络架构进行训练，得到与训练后的每一神经网络架构的第一节点的第三权重、第二节点的第四权重以及第三节点的第五权重具有关联关系每一第二损失值。这里，同时对多个神经网络架构进行训练，可以实现高并行处理。
步骤203、若每一第二损失值符合预设损失值范围，获取训练后的每一神经网络架构的每一第一损失值。
本申请实施例中，预设损失值范围表征operation的权重已经被训练到收敛。这里，电子设备并行对多个神经网络架构进行训练，获取到训练后的每一神经网络架构的每一第二损失值；每一第二损失值与训练后的每一神经网络架构的各个operation的权重具有关联关系；进一步地，在电子设备确定每一第二损失值符合预设损失值范围的情况下，此时，电子设备确定训练后的每一神经网络架构已经被训练至收敛，进而获取训练后的每一神经网络架构的每一第一损失值。
可以理解的，在本申请搜索神经网络架构的过程中，第二损失值对应于训练集；第一损失值对应于验证集。
本申请实施例中，示例性的，参见图3和图4所示，这两幅图表示对同一神经网络中的不同神经网络架构进行更新的情况，该神经网络中隐藏层的层数均为3，即隐藏层包括第一隐藏层、第二隐藏层以及第三隐藏层；以每层有可选的三种operation为例，分别是3×3卷积核con、5×5con以及平均池化层avg。本申请实施例中，3×3卷积核con可以用con3来表示；5×5con可以用con5来表示。其中，加粗的线条表示当前训练的神经网络架构，未加粗的线条表示除了当前训练的神经网络架构外，其他可能的神经网络架构即其他可能的拓扑结构；可以看到图3和图4中，更新的神经网络架构不同，即拓扑结构不同；所以两种架构对应的第一损失值也不同。示例性的，图3中的神经网络架构称为第一种架构，假设第一种架构对应的第一损失值为12；图4中的神经网络架构称为第二种架构，假设第一种架构对应的第一损失值为9；这里，可以先对第一种架构进行更新，并且将第一种架构的更新结果如第一种架构中边的权重作为先验知识以优化后续神经网络架构的搜索，即优化第二种架构的更新。需要说明的是，第一种架构和第二种架构都可以称为是从多个神经网络架构中选择的第一神经网络架构，也就是说，从多个神经网络架构中选择的第一神经网络架构即可以是没有被更新过多的网络架构，也可以是被更新过的网络架构，被更新的次数不做具体地限定，以实际所选网络架构为准。
步骤204、从多个神经网络架构中选择第一神经网络架构。
本申请实施例中，第一神经网络架构是待训练的神经网络架构，这里，第一神经网络架构可以指的是没有被更新即未被训练的架构；此时，第一神经网络架构中各个节点之间的边的链接权重为正无穷。当然，第一神经网络架构也可以指的是更新过的即训练过的架构，更新次数不限制；此时，假设第一神经网络架构中各个节点之间的边的链接权重为b。
步骤205、若第一神经网络架构中第一节点，第二节点以及第三节点之间的特定边的第二权重符合第一参数范围，基于第一神经网络架构对应的第一损失值和神经网络的层数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图。
在本申请实施例中，第一参数范围与没有被更新的第一神经网络架构具有关联关系。在电子设备记录拓扑结构即训练后的神经网络架构至queue中的情况下，电子设备在更新带权的第一无向图的过程中，可以从queue这种数据结构中选出一种架构即第一神经网络架构，若第一神经网络架构中第一节点，第二节点以及第三节点之间的特定边的第二权重符合第一参数范围如正无穷，则基于第一神经网络架构对应的第一损失值和神经网络的层数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图。
本申请实施例中，步骤205若第一神经网络架构中第一节点，第二节点以及第三节点之间的特定边的第二权重符合第一参数范围，基于第一神经网络架构对应的第一损失值和神经网络的层数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图，可以包括如下步骤：
步骤205a、若特定边的第二权重符合第一参数范围，获取第一神经网络架构对应的第一损失值除以神经网络的层数得到的第一参数。
本申请实施例中，神经网络中隐藏层的层数可以用layers来表示，在电子设备确定特定边的第二权重符合第一参数范围如正无穷的情况下，则用loss/layers得到第一参数。
步骤205b、基于第一参数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图。
本申请实施例中，电子设备基于第一参数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图，包括将第一无向图中第一神经网络架构中特定边的第二权重设定为第一参数，得到第二无向图；或者基于第一参数，确定特定参数范围，进而设置第一无向图中第一神经网络架构中特定边的第二权重在特定参数范围内，进而得到第二无向图。示例性的，在水平坐标轴上，以第一参数为原点，与第一参数之间的距离在某一范围内的参数都属于特定参数范围。
示例性的，参见图3所示，在第一种架构的loss为12，隐藏层的层数为3的情况下，对第一无向图进行初始化，设置第一无向图中各个节点间的链接权重为正无穷；进而，电子设备确定第一神经网络架构中第一节点，第二节点以及第三节点之间的特定边的第二权重符合第一参数范围，基于12/3的结果即4作为链接的权重更新带权的第一无向图，如此，带权的第一无向图中粗线对应的第一神经网络架构的边的权重均为4，实现一次更新，得到第二无向图。
步骤206、若特定边的第二权重符合第二参数范围，基于第一神经网络架构对应的第一损失值、神经网络的层数和特定边的第二权重，对第一无向图中特定边的第二权重进行调整得到第二无向图。
本申请实施例中，特定边的第二权重符合第二参数范围，表征特定边被更新过。这里，第一神经网络架构中第一节点，第二节点以及第三节点之间的特定边的第二权重符合第二参数范围，可以理解为第一神经网络架构包括的所有边中至少有一个边被更新过，即至少有一个边被赋予了权重值。
示例性的，参见图4所示，假设电子设备先遍历的是第一种架构中的所有点，然后遍历第二种架构中的所有点，那么，在遍历第一种架构的情况下，第一种架构中各个边都被赋予权重4。接着，电子设备对第二种架构中的各个边的第二权重进行判定，由于第二种架构与第一种架构中第一节点到第一隐藏层中的节点，第三隐藏层中的节点到第三节点之间的边重复，因此，这量重复的边的第二权重符合第二参数范围，电子设备基于第一神经网络架构对应的第一损失值、神经网络的层数和特定边的第二权重，对这两个边的第二权重进行调整。这里，针对第二种架构与第一种架构中不重复的边，如第一隐藏层中的节点与第二隐藏层中的节点之间的边，以及第二隐藏层中的节点与第三隐藏层中的节点之间的边不重复，那么，电子设备基于步骤205中的方法对这两个边的权重进行更新。
本申请实施例中，步骤206若特定边的第二权重符合第二参数范围，基于第一神经网络架构对应的第一损失值、神经网络的层数和特定边的第二权重，对第一无向图中特定边的第二权重进行调整得到第二无向图，可以包括如下步骤：
步骤206a、若特定边的第二权重符合第二参数范围，获取第一神经网络架构对应的第一损失值除以神经网络的层数得到的第一参数。
步骤206b、基于第一参数和特定边的第二权重，对第一无向图中特定边的第二权重进行调整得到第二无向图。
本申请实施例中，基于第一参数和特定边的第二权重，对第一无向图中特定边的第二权重进行调整得到第二无向图，可以包括获取第一参数和特定边的第二权重的平均值，基于平均值对第一无向图中特定边的第二权重进行调整得到第二无向图。这里，平均值包括算数平均值、加权平均值等。
示例性的，参见图4所示，在遍历过第一种架构的情况下，第一种架构中各个边都被赋予权重4。那么，在遍历第二种架构时，电子设备确定第一节点与第一隐藏层的第二节点con3之间的边的第二权重，以及第三隐藏层的第二节点con5与第三节点之间的边的第二权重均符合第二参数范围，这里，平均值以算术平均值为例，则计算(4+3)/2的值，得到3.5，并基于3.5对第一无向图中特定边的第二权重进行调整得到第二无向图。需要说明的是，在遍历第二种架构的过程中，对于第一种架构与第二种架构中未重复的边，则采用步骤205中的方法，用9/3的值对这些边的权重进行更新。
此时，第二无向图中第一节点与第一隐藏层的节点con3之间的边的权重为3.5，第一隐藏层的节点con3与第二隐藏层的节点con3之间的边的权重为3，第二隐藏层的节点con3与第三隐藏层的节点con5之间的边的权重为3，第三隐藏层的节点con5与第三节点之间的边的权重为3.5。
步骤207、基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构。
本申请实施例中，步骤207基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构，可以包括如下步骤：
步骤207a、获取第二无线图中每一神经网络架构对应的第一节点，第二节点以及第三节点之间的边的第六权重的和，得到每一第二参数。
本申请实施例中，从第二无线图中选择目标神经网络架构的依据包括第二参数。电子设备在获取到第二无向图的情况下，获取第二无线图中每一神经网络架构对应的第一节点，第二节点以及第三节点之间的边的第六权重的和，得到每一第二参数。
步骤207b、获取多个第二参数中最小值对应的目标神经网络架构。
本申请实施例中，目标神经网络架构对应的第二参数是第二无向图中多个神经网络架构对应的多个第二参数中最小的一个，即所选的目标神经网络架构的第一损失值最低。
基于上述内容可知，本申请实施例所提供的信息处理方法，解决了相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索的问题，实现在高并行的情况下利用先验知识优化后续神经网络架构的搜索，提高神经网络架构的搜索效率，快速找到最短路径。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
基于前述实施例，本申请的实施例提供一种电子设备，该电子设备可以应用于图1～2对应的实施例提供的一种信息处理方法中，参照图5所示，该电子设备3包括：处理器31、存储器32和通信总线33，其中：
通信总线33用于实现处理器31和存储器32之间的通信连接。
处理器31用于执行存储器32中存储的信息处理程序，以实现以下步骤：
基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构；
同时对多个神经网络架构进行训练，得到每一第一损失值；其中，每一第一损失值与训练后的每一神经网络中的第一节点，第二节点以及第三节点之间的边的第一权重具有关联关系；
基于每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图；
基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构。
在本申请的其他实施例中，多个隐藏层中的各个隐藏层的多个第二节点的个数相同。
在本申请的其他实施例中，处理器31用于执行存储器32中存储的信息处理程序，以实现以下步骤：
同时对多个神经网络架构进行训练，获取训练后的每一神经网络架构的每一第二损失值；其中，每一第二损失值与训练后的每一神经网络架构的第一节点的第三权重、第二节点的第四权重以及第三节点的第五权重具有关联关系；
若每一第二损失值符合预设损失值范围，获取训练后的每一神经网络架构的每一第一损失值。
在本申请的其他实施例中，处理器31用于执行存储器32中存储的信息处理程序，以实现以下步骤：
从多个神经网络架构中选择第一神经网络架构；
若第一神经网络架构中第一节点，第二节点以及第三节点之间的特定边的第二权重符合第一参数范围，基于第一神经网络架构对应的第一损失值和神经网络的层数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图。
在本申请的其他实施例中，处理器31用于执行存储器32中存储的信息处理程序，以实现以下步骤：
若特定边的第二权重符合第一参数范围，获取第一神经网络架构对应的第一损失值除以神经网络的层数得到的第一参数；
基于第一参数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图。
在本申请的其他实施例中，处理器31用于执行存储器32中存储的信息处理程序，以实现以下步骤：
若特定边的第二权重符合第二参数范围，基于第一神经网络架构对应的第一损失值、神经网络的层数和特定边的第二权重，对第一无向图中特定边的第二权重进行调整得到第二无向图。
在本申请的其他实施例中，处理器31用于执行存储器32中存储的信息处理程序，以实现以下步骤：
若特定边的第二权重符合第二参数范围，获取第一神经网络架构对应的第一损失值除以神经网络的层数得到的第一参数；
基于第一参数和特定边的第二权重，对第一无向图中特定边的第二权重进行调整得到第二无向图。
在本申请的其他实施例中，处理器31用于执行存储器32中存储的信息处理程序，以实现以下步骤：
获取第二无线图中每一神经网络架构对应的第一节点，第二节点以及第三节点之间的边的第六权重的和，得到每一第二参数；
获取多个第二参数中最小值对应的目标神经网络架构。
本申请的实施例所提供的电子设备，基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构；同时对多个神经网络架构进行训练，得到每一第一损失值；其中，每一第一损失值与训练后的每一神经网络中的第一节点，第二节点以及第三节点之间的边的第一权重具有关联关系；基于每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图；基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构；如此，解决了相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索的问题，实现在高并行的情况下利用先验知识优化后续神经网络架构的搜索，提高神经网络架构的搜索效率，快速找到最短路径。
需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1～2对应的实施例提供的信息处理方法中的实现过程，此处不再赘述。
基于前述实施例，本申请的实施例提供一种存储介质，该存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如下步骤：
基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构；
同时对多个神经网络架构进行训练，得到每一第一损失值；其中，每一第一损失值与训练后的每一神经网络中的第一节点，第二节点以及第三节点之间的边的第一权重具有关联关系；
基于每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图；
基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构。
在本申请的其他实施例中，多个隐藏层中的各个隐藏层的多个第二节点的个数相同。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
同时对多个神经网络架构进行训练，获取训练后的每一神经网络架构的每一第二损失值；其中，每一第二损失值与训练后的每一神经网络架构的第一节点的第三权重、第二节点的第四权重以及第三节点的第五权重具有关联关系；
若每一第二损失值符合预设损失值范围，获取训练后的每一神经网络架构的每一第一损失值。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
从多个神经网络架构中选择第一神经网络架构；
若第一神经网络架构中第一节点，第二节点以及第三节点之间的特定边的第二权重符合第一参数范围，基于第一神经网络架构对应的第一损失值和神经网络的层数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
若特定边的第二权重符合第一参数范围，获取第一神经网络架构对应的第一损失值除以神经网络的层数得到的第一参数；
基于第一参数，对第一无向图中第一神经网络架构中特定边的第二权重进行调整得到第二无向图。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
若特定边的第二权重符合第二参数范围，基于第一神经网络架构对应的第一损失值、神经网络的层数和特定边的第二权重，对第一无向图中特定边的第二权重进行调整得到第二无向图。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
若特定边的第二权重符合第二参数范围，获取第一神经网络架构对应的第一损失值除以神经网络的层数得到的第一参数；
基于第一参数和特定边的第二权重，对第一无向图中特定边的第二权重进行调整得到第二无向图。
在本申请的其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可以实现以下步骤：
获取第二无线图中每一神经网络架构对应的第一节点，第二节点以及第三节点之间的边的第六权重的和，得到每一第二参数；
获取多个第二参数中最小值对应的目标神经网络架构。
本申请的实施例所提供的存储介质，基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取第一无向图对应的多个神经网络架构；同时对多个神经网络架构进行训练，得到每一第一损失值；其中，每一第一损失值与训练后的每一神经网络中的第一节点，第二节点以及第三节点之间的边的第一权重具有关联关系；基于每一第一损失值和神经网络的层数，对第一无向图中第一节点，第二节点以及第三节点之间的边的第二权重进行调整得到第二无向图；基于第二无向图，确定表征从第一节点到第三节点的最短路径的目标神经网络架构；如此，解决了相关技术中无法在高并行的情况下利用先验知识优化后续神经网络架构的搜索的问题，实现在高并行的情况下利用先验知识优化后续神经网络架构的搜索，提高神经网络架构的搜索效率，快速找到最短路径。
需要说明的是，本实施例中处理器所执行的步骤的具体实现过程，可以参照图1～2对应的实施例提供的信息处理方法中的实现过程，此处不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (10)
1.一种信息处理方法，所述方法包括：
基于获取的神经网络中的输入层的第一节点，多个隐藏层中每一隐藏层的多个第二节点和输出层的第三节点，构建第一无向图，并获取所述第一无向图对应的多个神经网络架构；
同时对所述多个神经网络架构进行训练，得到每一第一损失值；其中，所述每一第一损失值与训练后的每一神经网络中的所述第一节点，所述第二节点以及所述第三节点之间的边的第一权重具有关联关系；
基于所述每一第一损失值和所述神经网络的层数，对所述第一无向图中所述第一节点，所述第二节点以及所述第三节点之间的边的第二权重进行调整得到第二无向图；
基于所述第二无向图，确定表征从所述第一节点到所述第三节点的最短路径的目标神经网络架构。
2.根据权利要求1所述的方法，其特征在于，所述多个隐藏层中的各个隐藏层的所述多个第二节点的个数相同。
3.根据权利要求1所述的方法，其特征在于，所述同时对所述多个神经网络架构进行训练，得到每一第一损失值，包括：
同时对所述多个神经网络架构进行训练，获取所述训练后的每一神经网络架构的每一第二损失值；其中，所述每一第二损失值与所述训练后的每一神经网络架构的所述第一节点的第三权重、所述第二节点的第四权重以及所述第三节点的第五权重具有关联关系；
若所述每一第二损失值符合预设损失值范围，获取所述训练后的每一神经网络架构的所述每一第一损失值。
4.根据权利要求1所述的方法，其特征在于，所述基于所述每一第一损失值和所述神经网络的层数，对所述第一无向图中所述第一节点，所述第二节点以及所述第三节点之间的边的第二权重进行调整得到第二无向图，包括：
从所述多个神经网络架构中选择第一神经网络架构；
若所述第一神经网络架构中所述第一节点，所述第二节点以及所述第三节点之间的特定边的第二权重符合第一参数范围，基于所述第一神经网络架构对应的第一损失值和所述神经网络的层数，对所述第一无向图中所述第一神经网络架构中所述特定边的第二权重进行调整得到所述第二无向图。
5.根据权利要求4所述的方法，其特征在于，所述若所述第一神经网络架构中所述第一节点，所述第二节点以及所述第三节点之间的特定边的第二权重符合第一参数范围，基于所述第一神经网络架构对应的第一损失值和所述神经网络的层数，对所述第一无向图中所述第一神经网络架构中所述特定边的第二权重进行调整得到所述第二无向图，包括：
若所述特定边的第二权重符合所述第一参数范围，获取所述第一神经网络架构对应的第一损失值除以所述神经网络的层数得到的第一参数；
基于所述第一参数，对所述第一无向图中所述第一神经网络架构中所述特定边的第二权重进行调整得到所述第二无向图。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述特定边的第二权重符合第二参数范围，基于所述第一神经网络架构对应的第一损失值、所述神经网络的层数和所述特定边的第二权重，对所述第一无向图中所述特定边的第二权重进行调整得到所述第二无向图。
7.根据权利要求6所述的方法，其特征在于，所述若所述特定边的第二权重符合第二参数范围，基于所述第一神经网络架构对应的第一损失值、所述神经网络的层数和所述特定边的第二权重，对所述第一无向图中所述特定边的第二权重进行调整得到所述第二无向图，包括：
若所述特定边的第二权重符合所述第二参数范围，获取所述第一神经网络架构对应的第一损失值除以所述神经网络的层数得到的第一参数；
基于所述第一参数和所述特定边的第二权重，对所述第一无向图中所述特定边的第二权重进行调整得到所述第二无向图。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于所述第二无向图，确定表征从所述第一节点到所述第三节点的最短路径的目标神经网络架构，包括：
获取所述第二无线图中每一神经网络架构对应的所述第一节点，所述第二节点以及所述第三节点之间的边的第六权重的和，得到每一第二参数；
获取多个所述第二参数中最小值对应的所述目标神经网络架构。
9.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；
所述通信总线用于实现处理器和存储器之间的通信连接；
所述处理器用于执行存储器中存储的信息处理程序，以实现如权利要求1至8中任一项所述的信息处理的方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的信息处理的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910792797.6A CN110610231A (zh) | 2019-08-26 | 2019-08-26 | 一种信息处理方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910792797.6A CN110610231A (zh) | 2019-08-26 | 2019-08-26 | 一种信息处理方法、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110610231A true CN110610231A (zh) | 2019-12-24 |
Family
ID=68890590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910792797.6A Pending CN110610231A (zh) | 2019-08-26 | 2019-08-26 | 一种信息处理方法、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110610231A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598182A (zh) * | 2020-05-22 | 2020-08-28 | 北京市商汤科技开发有限公司 | 训练神经网络及图像识别的方法、装置、设备及介质 |
| WO2021175058A1 (zh) * | 2020-03-05 | 2021-09-10 | 华为技术有限公司 | 一种神经网络架构搜索方法、装置、设备及介质 |
-
2019
- 2019-08-26 CN CN201910792797.6A patent/CN110610231A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021175058A1 (zh) * | 2020-03-05 | 2021-09-10 | 华为技术有限公司 | 一种神经网络架构搜索方法、装置、设备及介质 |
| CN111598182A (zh) * | 2020-05-22 | 2020-08-28 | 北京市商汤科技开发有限公司 | 训练神经网络及图像识别的方法、装置、设备及介质 |
| CN111598182B (zh) * | 2020-05-22 | 2023-12-01 | 北京市商汤科技开发有限公司 | 训练神经网络及图像识别的方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| US20210365782A1 (en) | Method and apparatus for generating neural network model, and computer-readable storage medium | |
| CN110428046B (zh) | 神经网络结构的获取方法及装置、存储介质 | |
| US11074503B2 (en) | Execution of a genetic algorithm having variable epoch size with selective execution of a training algorithm | |
| US11521066B2 (en) | Method and apparatus for partitioning deep neural networks | |
| KR20200022739A (ko) | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 | |
| CN111406264A (zh) | 神经架构搜索 | |
| CN112513886B (zh) | 信息处理方法、信息处理装置和信息处理程序 | |
| US9939792B2 (en) | Systems and methods to adaptively select execution modes | |
| CN111506405A (zh) | 一种基于深度强化学习的边缘计算时间片调度方法 | |
| CN110033081A (zh) | 一种确定学习率的方法和装置 | |
| US20190385704A1 (en) | Apparatus and method for utilizing a parameter genome characterizing neural network connections as a building block to construct a neural network with feedforward and feedback paths | |
| CN110610231A (zh) | 一种信息处理方法、电子设备和存储介质 | |
| Rosendo et al. | Applying a discrete particle swarm optimization algorithm to combinatorial problems | |
| CN114710439B (zh) | 基于深度强化学习的网络能耗与吞吐量联合优化路由方法 | |
| CN115017178A (zh) | 数据到文本生成模型的训练方法和装置 | |
| GB2572164A (en) | Artificial neural networks | |
| CN111488208A (zh) | 基于可变步长蝙蝠算法的边云协同计算节点调度优化方法 | |
| CN109697511B (zh) | 数据推理方法、装置及计算机设备 | |
| CN113311705B (zh) | 针对机器鱼的高阶迭代自学习控制方法、装置及存储介质 | |
| CN114995157A (zh) | 多智能体***在合作竞争关系下的反同步优化控制方法 | |
| CN111027709B (zh) | 信息推荐方法、装置、服务器及存储介质 | |
| CN114330804A (zh) | 一种基于动态神经网络的时变跳数约束最短路径求解方法 | |
| CN117707795B (zh) | 基于图的模型划分的边端协同推理方法及*** | |
| US20230289563A1 (en) | Multi-node neural network constructed from pre-trained small networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191224 |
|
| RJ01 | Rejection of invention patent application after publication |