CN112836794A - 一种图像神经架构的确定方法、装置、设备及存储介质 - Google Patents

一种图像神经架构的确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112836794A
CN112836794A CN202110106031.5A CN202110106031A CN112836794A CN 112836794 A CN112836794 A CN 112836794A CN 202110106031 A CN202110106031 A CN 202110106031A CN 112836794 A CN112836794 A CN 112836794A
Authority
CN
China
Prior art keywords
preset
individuals
current
target
image neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110106031.5A
Other languages
English (en)
Other versions
CN112836794B (zh
Inventor
骆剑平
蔡榕鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110106031.5A priority Critical patent/CN112836794B/zh
Publication of CN112836794A publication Critical patent/CN112836794A/zh
Application granted granted Critical
Publication of CN112836794B publication Critical patent/CN112836794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像神经架构的确定方法、装置、设备及存储介质。其中，该方法包括：根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成父代个体的当前子代集合；将当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；采用预设的多目标优化算法对目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群；判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。实现对图像神经架构的高效确定，有效节约确定时间。

Description

一种图像神经架构的确定方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术，尤其涉及一种图像神经架构的确定方法、装置、设备及存储介质。
背景技术
深度学习中的深度卷积神经网络在解决各种现实问题时拥有广阔前景，但只有在深度卷积神经网络的架构是最佳构建时，该网络才能达到最好的性能。如果待处理的数据发生变化，就必须重新设计新的神经网络架构。
深度卷积神经网络通常是手工设计的，要求设计者在神经网络和数据研究两个方面拥有丰富的专业知识。但依靠手工设计的过程是一个不断试错并且十分耗时的过程，大多数经验不足的普通用户难以在实际应用中个性化地构建自己所需的神经网络，图像神经架构的确定效率较低。
发明内容
本发明实施例提供一种图像神经架构的确定方法、装置、设备及存储介质，以提高图像神经架构的确定效率。
第一方面，本发明实施例提供了一种图像神经架构的确定方法，该方法包括：
根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合；其中，所述当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模；
将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；其中，所述目标子代集合的子代个体中包括图像神经架构的结构信息、网络性能预测结果和网络规模；
采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群；
判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从所述目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
第二方面，本发明实施例还提供了一种图像神经架构的确定装置，该装置包括：
当前子代集合生成模块，用于根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合；其中，所述当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模；
目标子代集合生成模块，用于将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；其中，所述目标子代集合的子代个体中包括图像神经架构的结构信息、网络性能预测结果和网络规模；
目标种群生成模块，用于采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群；
神经架构集合确定模块，用于判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从所述目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
第三方面，本发明实施例还提供了一种图像神经架构的确定设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的图像神经架构的确定方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的图像神经架构的确定方法。
本发明实施例通过对种群中的父代个体进行变异，得到变异后的当前子代集合，当前子代集合的子代个体中只有图像神经架构的结构信息和网络规模，而没有网络性能。通过变异操作，增加了图像神经架构的可能性，提高图像神经架构的确定精度。将当前子代集合的数据输入至预先训练的多任务学习代理模型中，可以对子代个体的网络性能进行预测，从而得到完整的子代个体的信息，生成目标子代集合。解决了现有技术中，通过预设的图像分类任务数据集，耗费较长时间去计算网络性能的问题，有效节约图像神经架构的确定时间。通过对目标种群中的个体进行适应度排序，可以找到适应度最低的个体，将该个体与当前种群结合，生成目标种群。若迭代结束，则可以从目标种群中查找图像神经架构的帕累托最优集合，便于从帕累托最优集合中确定目标神经架构，有效提高了图像神经架构的确定效率。
附图说明
图1是本发明实施例一中的一种图像神经架构的确定方法的流程示意图；
图2是本发明实施例一中的多任务学习代理模型的结构示意图；
图3是本发明实施例二中的一种图像神经架构的确定方法的流程示意图；
图4是本发明实施例三中的一种图像神经架构的确定装置的结构框图；
图5是本发明实施例四中的一种图像神经架构的确定设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种图像神经架构的确定方法的流程示意图，本实施例可适用于对图像神经架构进行自动确定的情况，该方法可以由一种图像神经架构的确定装置来执行。如图1所示，该方法具体包括如下步骤：
步骤110、根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成父代个体的当前子代集合；其中，当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模。
其中，当前种群是图像神经架构的种群，当前种群可以包含多个图像神经架构个体。在第一次迭代时，当前种群为初始种群，对于第一次迭代之后的迭代次数，当前种群为上一次迭代生成的目标种群。遗传算子可以包括选择、交叉和变异等，在本实施例中，预设的遗传算子为变异算子，可以用于进行变异操作。父代个体是当前种群中表现较优的图像神经架构个体，可以从当前种群中选择一个个体作为父代个体。根据预设的遗传算子，对父代个体进行变异操作，生成多个不同基因型的子代个体，由生成的子代个体组成当前子代集合，每一个子代个体表示一个图像神经架构。
当前种群中的单个个体包括三部分信息，分别是图像神经架构的结构信息、图像神经架构的网络性能和图像神经架构的网络规模。图像神经架构的结构信息表示图像神经架构的基因型，由字符串来描述。基因型的组成包括卷积图像神经架构常用的功能层和功能层对应的参数配置。常用功能层可以包括二维卷积层、dropout(丢弃)层、二维最大池化层和全连接层等，dropout层可用于降维和提高泛化性。功能层的参数配置规定如下：对于二维卷积层，可以用字符c表示，卷积核的尺寸固定为3*3，卷积核的数目为整数，卷积层的激活函数固定为ReLU(Rectified Linear Unit，线性整流函数)；对于dropout层，可以用字符d表示，dropout比率范围设置为0至1；对于二维最大池化层，可以用字符p表示，池化核的尺寸固定为2*2；对于全连接层，可以用字符fc表示，激活函数固定为softmax(归一化指数函数)。当前种群中某一个体Ii的基因型Gi可以举例如下：
Gi＝['c',87,'c',326,'p','c',...,'p','d',0.14,'c',...,'p',...,'fc',10]；
其中，Ii表示第i个图像神经架构个体，基因型Gi可以唯一映射成对应的个体Ii，即对应的卷积图像神经架构，该图像神经架构的第一层c是卷积层，卷积核的数量为87，默认卷积核尺寸为3*3，默认激活函数为ReLU；下一层c是卷积层，卷积核的数量为326，默认卷积核尺寸为3*3，默认激活函数为ReLU；下一层p是最大池化层，默认池化核的尺寸为2*2；以此类推，d表示dropout层，d后面的浮点数0.14表示dropout的比率；最后一层fc是全连接层，fc后的整数代表该图像神经架构的输出维度。
图像神经架构的网络规模可以根据图像神经架构的结构信息来快速计算，属于极其廉价的优化目标，可以通过对常用功能层的参数配置进行计算而获得。对于卷积图像神经架构，每一个卷积层的参数配置量计算如下：
convparameters＝C0×(kw×kh×Ci+1)；
其中，convparameters表示卷积层的参数配置量，C0表示卷积层的输出通道数，即卷积核的数量，Ci表示卷积层的输入通道数，kw表示卷积核的宽，kh表示卷积核的高，1表示卷积核有偏置。通常情况下，有kw＝kh＝k，k为常数。因此，卷积层的参数配置量可以计算如下：
convparameters＝C0×(k2×Ci+1)；
对于全连接层的参数配置量来说，可以通过如下公式进行计算：
denseparameters＝(I+1)×O＝I×O+O；
其中，denseparameters为全连接层的参数配置量，I为全连接层输入的列向量大小，O为输出的列向量大小，1为有偏置。根据种群中个体的基因型Gi，计算每一功能层的参数配置量并求和，即可快速计算图像神经架构的网络规模。
图像神经架构的网络性能需要在CIFAR数据集上进行训练后才可获得，属于十分昂贵的优化目标，CIFAR数据集是现有的图片数据集。将种群中的个体通过CIFAR数据集训练，获得图像神经架构的网络性能，这需要耗费大量的时间，现有技术中，在确定图像神经架构时，需要通过CIFAR数据集确定每一个图像神经架构的网络性能，影响图像神经架构的确定效率。为了提高图像神经架构的确定效率，不需要确定当前子代集合中子代个体的网络性能。因此，当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模。
本实施例中，可选的，在根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成父代个体的当前子代集合之前，还包括：采用预设的多目标优化算法对当前种群中的图像神经架构个体进行适应度排序，得到适应度排序结果；根据适应度排序结果和预设的选择操作，得到至少一个父代个体；其中，当前种群的图像神经架构个体中包括图像神经架构的结构信息、网络性能和网络规模。
具体的，在生成当前子代集合之前，需要先确定父代个体。预先设置一个多目标优化算法，例如，可以是NSGA-II(多目标遗传算法)，即带精英策略的快速非支配排序遗传算法。采用预设的多目标优化算法计算当前种群中各个图像神经架构个体的适应度值，对适应度值进行排序，得到适应度排序结果。适应度值越小，个体的图像神经架构越优秀。根据适应度排序结果和预设的选择操作，从个体中选择至少一个父代个体，例如，选择操作可以是锦标赛方法等。在每一次迭代时，都可以得知当前种群中图像神经架构个体的图像神经架构的结构信息、网络性能和网络规模。图像神经架构的结构信息和网络规模可以快速得出，图像神经架构的网络性能只需在初始迭代时对初始种群进行确定即可，在第一次迭代之后的迭代次数中，可以由上一次迭代的结果进行直接确定，避免了每次迭代都需要对网络性能进行计算，极大缩小了图像神经架构的迭代时间，提高图像神经架构的确定效率。另外，通过确定父代个体，可以得到较优的图像神经架构，有利于提高图像神经架构的确定精度。
本实施例中，可选的，当前种群为第一次迭代的初始种群；相应的，在采用预设的多目标优化算法对当前种群中的图像神经架构个体进行适应度排序，得到适应度排序结果之前，还包括：根据预设的图像分类任务数据集，对初始种群中的图像神经架构个体进行训练，得到图像神经架构个体的网络性能；根据初始种群中图像神经架构个体的结构信息，确定图像神经架构个体的网络规模。
具体的，若当前种群是初始种群，则需要根据预设的图像分类任务数据集，对初始种群中的图像神经架构个体进行训练，得到图像神经架构个体的网络性能，例如，图像分类任务数据集可以是CIFAR数据集。对于第一次迭代之后的当前种群，则不需要花费大量的时间训练得到图像神经架构个体的网络性能。根据初始种群中图像神经架构个体的结构信息，即根据图像神经架构的各个功能层和功能层的配置参数，计算得到图像神经架构个体的网络规模。在第一次迭代之后的迭代次数中，也可以根据图像神经架构个体的结构信息快速计算各个子代个体的网络规模。通过确定初始种群中个体的网络性能和网络规模，有利于进行后续的迭代，提高后续迭代效率。
本实施例中，可选的，根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成父代个体的当前子代集合，包括：根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行增加基因、减少基因和/或替换基因的变异操作，生成父代个体的当前子代集合。
具体的，可以通过预设的遗传算子，对父代个体进行多种变异操作，例如，变异操作可以包括增加基因、减少基因和/或替换基因等。增加基因的具体操作是对于父代的基因型，在其中某一随机位置增加基因，也就是增加常用功能层，并对新增加的功能层进行具体的参数配置。当采用增加基因的变异操作时，需要注意的是，不在父代基因型的末端增加基因。减少基因的具体操作是对于父代的基因型，在其中某一随机位置减少基因，也就是删除常用功能层，并删除该功能层对应的参数配置。当采用减少基因的变异操作时，需要注意的是，不对父代基因型的首末两个基因做删除。对于图像分类任务，图像神经架构的首层必须为卷积层，其他常用层不作为首层，因此减少基因时不对基因型的首末两端进行操作。替换基因的具体操作是对于父代的基因型，用随机生成的新基因对其中某一随机位置的基因进行替换，包括对常用功能层的替换和对应层参数配置的替换。与增加基因类似，不在父代基因型的末端替换基因。当被替换的基因为基因型的首个基因时，只能对其参数配置进行替换，因为首层必须固定为卷积层。这样设置的有益效果在于，增加了基因型的多样性，减小局部收敛的可能，提高图像神经架构的确定精度。
步骤120、将当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；其中，目标子代集合的子代个体中包括图像神经架构的结构信息、网络性能预测结果和网络规模。
其中，多任务学习代理模型可以是预先训练好的基于RBFNN(Radial BasisFunction Neural Network，径向基神经网络)的模型，可以对子代个体的网络性能进行预测。将当前子代集合作为输入数据，输入到多任务学习代理模型中，将输出结果与当前子代集合中子代的信息进行结合，对当前子代集合进行更新，得到目标子代集合。当前子代集合中的子代信息包括图像神经架构的结构信息和网络规模，目标子代集合的子代个体信息包括图像神经架构的结构信息、网络性能预测结果和网络规模。
本实施例中，可选的，将当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合，包括：将当前子代集合输入至预设的多任务学习代理模型中，输出当前子代集合中子代个体的图像神经架构网络性能预测结果；根据当前子代集合中子代个体的结构信息、网络规模以及网络性能预测结果，得到更新后的目标子代集合。
具体的，当多任务学习代理模型训练完成后，就可以用多任务学习代理模型对子代个体的图像神经架构进行网络性能的预测。由父代个体变异产生的子代个体只有基因型信息，即只有图像神经架构的结构信息已知，而图像神经架构的网络规模可以根据图像神经架构的结构信息快速计算。对于子代个体的图像神经架构的网络性能，由已训练的多任务学习代理模型直接根据个体基因型Gi做网络性能的预测，以快速获得图像神经架构的网络性能，替换了对图像神经架构在CIFAR数据集上进行真实训练的过程，子代个体Ii的信息更新为(Ii:Gi,MTSM(Gi),Oj2)。MTSM(Gi)表示个体Ii的网络性能预测结果，Oj2表示个体Ii的网络规模。多任务学习代理模型可以由多个径向基神经网络组成，一个径向基神经网络可以解决一个图片分类任务，即多任务学习代理模型可以同时解决多个图片分类任务，例如，可以将两组任务的输入数据同时输入到多任务学习代理模型，得到两组任务的输出数据。多任务学习代理模型可以包括输入层、隐藏层、交互层和输出层，每个径向基神经网络可以包括输入层、隐藏层和输出层。通过对多个任务的联合学习，可以有效应对实际场景中面临的数据集难度过大和数据集数据量不足而导致无法直接进行图像神经架构搜索的问题。且在面对多个相似任务的时候，能够同时处理并利用任务间的相似性。相似任务可以是两个任务都是进行图片分类，任务一是较为简单的十类别分类任务，任务二是较为复杂的百类别分类任务。多任务知识的联合学习更有利于搜索到最佳的图像神经架构，多任务联合搜索优于单任务搜索。
图2为多任务学***均卷积核数目；第8至10维表示的是dropout层的参数配置中，最大dropout比率、最小dropout比率和平均dropout比率；第11维表示的是图像神经架构的网络规模；第12维表示的是图像神经架构的网络性能。由于不同功能层的参数配置的数量级不同，可以对各维统计数据进行数据归一化，作用是将每一维度的值映射到0至1之间。对于待预测的子代个体而言，没有第12维数据，因此，输入数据是11维，由待预测数据Xpredict表示。在确定输入数据之后，可以根据如下公式计算RBFNN输入层到隐藏层的映射：
Figure BDA0002917691620000121
其中，m为隐藏层中心点的个数，
Figure BDA0002917691620000124
是高斯核函数，表示第i个任务第j个中心点的输入层到隐藏层的映射。
根据已训练的权值参数ω，可以计算RBFNN中隐藏层的输出，可以通过如下公式计算隐藏层的输出：
Figure BDA0002917691620000122
其中，hi表示第i个任务的隐藏层输出，ωij表示第i个任务第j个中心点的权值参数。
根据已训练的相关性参数L，通过如下公式计算每个任务对应的输出数据：
Figure BDA0002917691620000123
其中，yi表示第i个任务的输出数据，Liq表示第i个任务与第q个任务的数据交互的相关性参数。对交互层的全连接层使用激活函数后作为径向基神经网络的最终输出值，对子代个体预测完毕，得到(Ii:Gi,MTSM(Gi),Oj2)。
由于径向基神经网络具有的良好局部逼近特性，同时具有训练简洁和学习速度快的优点。因此，本发明实施例基于径向基神经网络构建一个多任务学习的代理模型。宏观上看，多任务代理模型由2个径向基神经网络组合而成，多任务代理模型的结构共有4层，包括输入层、隐藏层、交互层和输出层。在本发明实施例中，多任务场景的任务数量设置为2，因此构成多任务代理模型的径向基神经网络的个数为2，每个RBFNN分别对应单个任务。值得注意的是，每个RBFNN的输入是相同的，将所有任务的训练数据作为输入，但是每个RBFNN的输出是不同的，其输出分别对应单个任务。输入层的输入数据的维度n是待预测数据Xpredict的维度，即维度n为11；单个RBFNN的隐藏层中心点的数量是m，由用户预定义得到；隐藏层之后的参数ω对应单个RBFNN中隐藏层到输出层的权值向量，由多任务代理模型学习训练后得到。对于多任务学习代理模型，除了在输入层共享所有任务的数据外，为了将多个RBFNN所学习的知识更充分地交互起来，还在隐藏层和输出层之间增加一层交互层，此层将多个RBFNN的输出通过全连接的形式组合起来。交互层的参数L是一种相关性权值参数，表示单个任务的知识贡献率，由参数L组成的向量反映着多任务之间的相似性。在交互层的全连接层之后可以采用sigmod(S型生长曲线函数)激活函数，sigmod函数将输出映射到(0,1)区间，并且是一种非线性变化，进一步提高了多任务学习代理模型的非线性映射能力，增强模型的泛化性。多任务学习代理模型通过对所有任务的数据共享以及交互层的知识共享，使得多任务网络更有效地利用多个任务之间的相关性，能够同时对多个相似任务进行建模，对多任务知识的联合学习也有利于提高多任务学习代理模型对未知神经架构进行网络性能预测的能力。通过多任务学习代理模型，有效节约了网络性能的确定时间，实现多任务的数据交互。利用径向基网络对图像神经架构的性能做回归，实现直接对图像神经架构的网络性能做预测，以节省大量的网络训练时间，在资源和成本均受限的条件下探寻更大的搜索空间，提高图像神经架构的确定效率。
步骤130、采用预设的多目标优化算法对目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群。
其中，在得到目标子代集合后，利用预设的多目标优化算法对目标子代集合中的子代个体进行适应度排序，例如，可以采用NSGA-II算法。预先设置一个适应度要求，例如，适应度要求可以是选取适应度值最低的子代个体。根据预设的适应度要求，选择符合要求的子代个体。将子代个体与当前种群进行结合，生成目标种群。
本实施例中，可选的，采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群，包括：采用预设的多目标优化算法对目标子代集合中的子代个体进行适应度排序，确定满足预设适应度要求的目标子代个体；根据目标子代个体的图像神经架构结构信息和预设的图像分类任务数据集，确定目标子代个体的网络性能；将目标子代个体添加至所述当前种群中，生成目标种群；其中，目标种群的图像神经架构个体中包括图像神经架构的结构信息、网络性能和网络规模。
具体的，可以根据目标子代集合中子代个体的网络性能预测结果和网络规模，基于预设的NSGA-II算法计算目标子代集合中子代个体的适应度值，对适应度进行排序。根据排序结果，从目标子代集合中选择满足预设适应度要求的子代个体作为目标子代个体。例如，预设适应度要求可以是选择适应度值最低的子代个体作为目标子代个体。根据预设的图像分类任务数据集，对目标子代个体的图像神经架构进行训练，依据目标子代个体的图像神经架构的结构信息得到目标子代个体的图像神经架构网络性能。预设的图像分类任务数据集可以是CIFAR数据集。通过多任务学习代理模型，得到网络结构预测结果，便于根据网络结构预测结果快速得到目标子代个体，实现在迭代过程中寻找更优的个体，提高图像神经架构的确定精度。再通过CIFAR数据集进行网络性能的昂贵训练由此得到目标子代个体的图像神经架构结构信息、网络性能和网络规模。通过采用多任务学习代理模型，避免对目标子代集合中全部子代进行网络性能的昂贵训练，有效节约时间，例如，目标子代集合中存在100个子代，通过采用多任务学习代理模型确定网络性能预测结果，从目标子代集合中选择一个目标子代，只需对目标子代进行网络性能训练即可，不需要对100个子代进行训练。当前种群中的各个个体也包括有图像神经架构结构信息、网络性能和网络规模，将目标子代个体添加至当前种群中，生成目标种群，目标种群的图像神经架构个体中均包括图像神经架构的结构信息、网络性能和网络规模的图像神经架构信息。这样设置的有益效果在于，可以得到完整的目标种群的图像神经架构信息，有利于从目标种群中得到最终的目标图像神经架构，也有利于下一次迭代时，利用目标种群中图像神经架构个体的图像神经架构信息，避免对每一次迭代的当前种群进行网络性能的确定，提高图像神经架构的确定效率。
步骤140、判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
其中，预设一个迭代结束条件，例如，迭代结束条件可以是，当迭代次数到达最大迭代次数时迭代结束。在得到目标架构后，判断当前迭代次数是否为最后一次迭代，即最大迭代次数，若是，则确定迭代结束，从目标种群中确定目标神经架构。
在确定迭代结束后，可以根据预设的多目标优化算法，从目标种群中确定图像神经架构的帕累托最优集合，例如，可以根据NSGA-II算法确定帕累托最优集合。在确定帕累托最优集合之后，用户可以根据实际需求从帕累托最优集合中选择目标神经架构。
本实施例中，可选的，判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从目标种群中确定图像神经架构的帕累托最优集合，包括：若确定当前迭代次数满足预设的迭代结束条件，则根据预设的多目标优化算法，将目标种群中的图像神经架构个体划分为至少两个等级的非支配前沿集合，将满足预设等级要求的非支配前沿集合确定为帕累托最优集合。
具体的，在确定迭代结束后，可以采用NSGA-II对种群快速非支配排序，当NSGA-II完成之后，种群将被划分成具有不同等级的非支配前沿集合。预先设置一个等级要求，例如，可以将等级最佳的非支配前沿集合确定为帕累托最优集合。便于得到良好的图像神经架构，提高图像神经架构的确定精度。
本实施例中，可选的，在判断当前迭代次数是否满足预设的迭代结束条件之后，还包括：若当前迭代次数不满足预设的迭代结束条件，则将目标种群确定为下一次迭代的当前种群，采用预设的多目标优化算法对下一次迭代的当前种群中的图像神经架构个体进行适应度排序，得到新父代个体。
具体的，若确定当前迭代次数不是最大迭代次数，则将本次迭代生成的目标种群作为下一次迭代的当前种群，继续进行图像神经架构的确定。即采用预设的多目标优化算法对目标种群中的图像神经架构个体进行适应度排序，得到新的父代个体，继续完成下一次的迭代过程。这样设置的有益效果在于，实现迭代的自动循环，减少用户操作，提高图像神经架构的确定精度和确定效率。
本实施例的技术方案，通过对种群中的父代个体进行变异，得到变异后的当前子代集合，当前子代集合的子代个体中只有图像神经架构的结构信息和网络规模，而没有网络性能。通过变异操作，增加了图像神经架构的可能性，提高图像神经架构的确定精度。将当前子代集合的数据输入至预先训练的多任务学习代理模型中，可以对子代个体的网络性能进行预测，从而得到完整的子代个体的信息，生成目标子代集合。解决了现有技术中，通过预设的图像分类任务数据集，耗费较长时间去计算网络性能的问题，有效节约图像神经架构的确定时间。通过对目标种群中的个体进行适应度排序，可以找到适应度最低的个体，将该个体与当前种群结合，生成目标种群。若迭代结束，则可以从目标种群中查找图像神经架构的帕累托最优集合，便于从帕累托最优集合中确定目标图像神经架构，有效提高了图像神经架构的确定效率。
实施例二
图3为本发明实施例二所提供的一种图像神经架构的确定方法的流程示意图，本实施例以上述实施例为基础进行进一步的优化，该方法可以由一种图像神经架构的确定装置来执行。如图3所示，该方法具体包括如下步骤：
步骤310、根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成父代个体的当前子代集合；其中，当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模。
步骤320、根据当前种群中图像神经架构个体的结构信息、网络规模和网络性能，基于预设的数据格式，生成当前种群中图像神经架构个体的训练数据。
其中，在每次迭代使用多任务学习代理模型之前，都可以对多任务学习代理模型进行训练。对多任务学习代理模型训练的目的是得到模型的四种待训练参数，分别是隐藏层高斯核函数的中心点ci、隐藏层高斯核函数的宽度参数σ、隐藏层中各中心点的权值ω和交互层相关性参数L。多任务学习代理模型中包括交互层和至少两个径向基神经网络，径向基神经网络中包括输入层、隐藏层和输出层，隐藏层中可以包括多个中心点。
预先设置一个标准的数据格式，例如，设置一个12维的数据格式。当前种群中个体的图像神经架构信息由基因型表示，不同的图像神经架构有不同的基因型，基因型以字符串形式表示，由字符组成。字符串的长度由图像神经架构的功能层数目决定，字符串的内容由功能层的顺序以及功能层的参数配置决定。因此，种群中不同个体的基因型长度不同，内容不同。需要对基因型进行再编码，才能作为训练数据进行输入。本实施例定义了12维的数组来对每个个体基因型进行再编码，将长度和内容均不相同的基因型映射到长度固定的12维数组上，12维数组包含的信息可以是，第1至4维表示的是图像神经架构的功能层总数、卷积层数、池化层数和dropout层数；第5至7维表示的是卷积层的参数配置中，最大卷积核数目、最小卷积核数目和平均卷积核数目；第8至10维表示的是dropout层的参数配置中，最大dropout比率、最小dropout比率和平均dropout比率；第11维表示的是图像神经架构的网络规模；第12维表示的是图像神经架构的网络性能。
再编码将每一个体的基因型Gi映射成可供多任务学习代理模型训练的数据。再编码的过程中需要统计基因型Gi中各类常用功能层的数量及功能层参数配置的情况，由于不同功能层的参数配置的数量级不同，需要对各维统计数据进行数据归一化，将每一维度的值映射到0至1之间，由此形成多任务代理模型的训练集，即训练数据。训练集的前11维数据为Xtrain，最后1维数据为Ytrain。训练数据中包括网络结构数据和训练标签，网络结构数据中包括结构信息和网络规模，训练标签中包括网络性能，即Xtrain表示网络结构数据，Ytrain表示训练标签。
步骤330、将训练数据输入至待训练的多任务学习代理模型中，根据径向基神经网络输出层的输出值，确定输出值与训练标签的输出层误差。
其中，将训练数据输入至待训练的多任务学习代理模型中，得到径向基神经网络输出层的输出值。若存在多个图片分类任务的训练数据，则可以将多个任务的训练数据一起输入至多任务学习代理模型中，由对应的径向基神经网络输出层输出各自任务的输出值。根据任务的输出值和该任务训练数据中的训练标签，可以得到该任务的输出层误差。例如，可以将一个任务的输出值和对应的训练标签相减，得到径向基神经网络输出层误差。若只有一个任务，则该任务的径向基神经网络输出层误差即为多任务学习代理模型的输出层误差；若存在多个任务，则将各任务径向基神经网络输出层误差进行相加，得到多任务学习代理模型的输出层误差。
步骤340、判断输出层误差是否满足预设的误差阈值要求；若是，则确定多任务学习代理模型训练完成，将当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合。
其中，预先设置一个误差阈值，在得到多任务学习代理模型的输出层误差后，将该输出层误差与误差阈值进行比较，判断输出层误差是否满足预设的误差阈值要求。若输出层误差小于误差阈值，则确定输出层误差满足预设的误差阈值要求，多任务学习代理模型训练完成，可以将当前子代集合输入至预设的多任务学习代理模型中进行计算。
本实施例中，可选的，在判断输出层误差是否满足预设的误差阈值要求之后，还包括：若输出层误差不满足预设的误差阈值要求，则采用预设的梯度下降法，对多任务学习代理模型进行更新；将训练数据输入至更新后的多任务学习代理模型中，根据预设的误差阈值要求，确定多任务学习代理模型是否完成训练。
其中，若输出层误差等于或大于误差阈值，则确定输出层误差不满足预设的误差阈值要求，需要继续对多任务学习代理模型进行训练。在每次迭代的初次训练时，所采用的四种待训练参数为初始化参数，每次训练后都会更新四种待训练参数，若训练没有完成，则采用本次更新的待训练参数作为下一次训练时使用的待训练参数值。例如，可以采用梯度下降法更新四种待训练参数，将更新后的待训练参数代入多任务学习代理模型中，得到更新后的多任务学习代理模型。将训练数据输入至更新后的多任务学习代理模型，再求出输出层的输出值，确定输出值与训练标签的输出层误差，直至输出层误差满足预设的误差阈值要求，训练完成。这样设置的有益效果在于，可以对多任务学习代理模型进行反复训练，提高多任务学习代理模型的精度，进而提高图像神经架构的确定效率和精度。
步骤350、采用预设的多目标优化算法对目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群。
步骤360、判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
本发明实施例通过对种群中的父代个体进行变异，得到变异后的当前子代集合，当前子代集合的子代个体中只有图像神经架构的结构信息和网络规模，而没有网络性能。通过变异操作，增加了图像神经架构的可能性，提高图像神经架构的确定精度。将当前子代集合的数据输入至预先训练的多任务学习代理模型中，可以对子代个体的网络性能进行预测，从而得到完整的子代个体的信息，生成目标子代集合。每次迭代时都可以对多任务学习代理模型进行多次训练，提高多任务学习代理模型的精度。解决了现有技术中，通过预设的图像分类任务数据集，耗费较长时间去计算网络性能的问题，有效节约图像神经架构的确定时间。通过对目标种群中的个体进行适应度排序，可以找到适应度最低的个体，将该个体与当前种群结合，生成目标种群。若迭代结束，则可以从目标种群中查找图像神经架构的帕累托最优集合，便于从帕累托最优集合中确定图像神经架构，有效提高了图像神经架构的确定效率。
实施例三
图4为本发明实施例三所提供的一种图像神经架构的确定装置的结构框图，可执行本发明任意实施例所提供的一种图像神经架构的确定方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置具体包括：
当前子代集合生成模块401，用于根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合；其中，所述当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模；
目标子代集合生成模块402，用于将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；其中，所述目标子代集合的子代个体中包括图像神经架构的结构信息、网络性能预测结果和网络规模；
目标种群生成模块403，用于采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群；
神经架构集合确定模块404，用于判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从所述目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
可选的，该装置还包括：
适应度排序模块，用于在根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合之前，采用预设的多目标优化算法对当前种群中的图像神经架构个体进行适应度排序，得到适应度排序结果；
父代个体确定模块，用于根据所述适应度排序结果和预设的选择操作，得到至少一个父代个体；其中，所述当前种群的图像神经架构个体中包括图像神经架构的结构信息、网络性能和网络规模。
可选的，当前种群为第一次迭代的初始种群；
相应的，该装置还包括：
网络性能确定模块，用于在采用预设的多目标优化算法对当前种群中的图像神经架构个体进行适应度排序，得到适应度排序结果之前，根据预设的图像分类任务数据集，对所述初始种群中的图像神经架构个体进行训练，得到所述图像神经架构个体的网络性能；
网络规模确定模块，用于根据所述初始种群中图像神经架构个体的结构信息，确定所述图像神经架构个体的网络规模。
可选的，当前子代集合生成模块401，具体用于：
根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行增加基因、减少基因和/或替换基因的变异操作，生成所述父代个体的当前子代集合。
可选的，目标子代集合生成模块402，具体用于：
将所述当前子代集合输入至预设的多任务学习代理模型中，输出当前子代集合中子代个体的图像神经架构网络性能预测结果；
根据当前子代集合中子代个体的结构信息、网络规模以及网络性能预测结果，得到更新后的目标子代集合。
可选的，目标种群生成模块403，具体用于：
采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，确定满足预设适应度要求的目标子代个体；
根据目标子代个体的图像神经架构结构信息和预设的图像分类任务数据集，确定目标子代个体的网络性能；
将所述目标子代个体添加至所述当前种群中，生成所述目标种群；其中，所述目标种群的图像神经架构个体中包括图像神经架构的结构信息、网络性能和网络规模。
可选的，神经架构集合确定模块404，具体用于：
若确定当前迭代次数满足预设的迭代结束条件，则根据预设的多目标优化算法，将目标种群中的图像神经架构个体划分为至少两个等级的非支配前沿集合，将满足预设等级要求的非支配前沿集合确定为帕累托最优集合。
可选的，该装置还包括：
重复迭代模块，用于在判断当前迭代次数是否满足预设的迭代结束条件之后，若当前迭代次数不满足预设的迭代结束条件，则将所述目标种群确定为下一次迭代的当前种群，采用预设的多目标优化算法对下一次迭代的当前种群中的图像神经架构个体进行适应度排序，得到新父代个体。
可选的，多任务学习代理模型中包括交互层和至少两个径向基神经网络，径向基神经网络中包括输入层、隐藏层和输出层；
相应的，该装置还包括：
训练数据确定模块，用于在将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合之前，根据当前种群中图像神经架构个体的结构信息、网络规模和网络性能，基于预设的数据格式，生成当前种群中图像神经架构个体的训练数据；其中，所述训练数据中包括网络结构数据和训练标签，所述网络结构数据中包括结构信息和网络规模，所述训练标签中包括网络性能；
输出层误差确定模块，用于将所述训练数据输入至待训练的多任务学习代理模型中，根据径向基神经网络输出层的输出值，确定所述输出值与所述训练标签的输出层误差；
误差判断模块，用于判断所述输出层误差是否满足预设的误差阈值要求；
模型训练完成模块，用于若是，则确定多任务学习代理模型训练完成，将所述当前子代集合输入至预设的多任务学习代理模型中。
可选的，该装置还包括：
模型更新模块，用于在判断所述输出层误差是否满足预设的误差阈值要求之后，若所述输出层误差不满足预设的误差阈值要求，则采用预设的梯度下降法，对多任务学习代理模型进行更新；
模型重复训练模块，用于将训练数据输入至更新后的多任务学习代理模型中，根据预设的误差阈值要求，确定多任务学习代理模型是否完成训练。
本实施例通过对种群中的父代个体进行变异，得到变异后的当前子代集合，当前子代集合的子代个体中只有图像神经架构的结构信息和网络规模，而没有网络性能。通过变异操作，增加了图像神经架构的可能性，提高图像神经架构的确定精度。将当前子代集合的数据输入至预先训练的多任务学习代理模型中，可以对子代个体的网络性能进行预测，从而得到完整的子代个体的信息，生成目标子代集合。解决了现有技术中，通过预设的图像分类任务数据集，耗费较长时间去计算网络性能的问题，有效节约图像神经架构的确定时间。通过对目标种群中的个体进行适应度排序，可以找到适应度最低的个体，将该个体与当前种群结合，生成目标种群。若迭代结束，则可以从目标种群中查找图像神经架构的帕累托最优集合，便于从帕累托最优集合中确定图像神经架构，有效提高了图像神经架构的确定效率。
实施例四
图5是本发明实施例四提供的一种图像神经架构的确定设备的结构示意图。图像神经架构的确定设备可以是一种计算机设备，图5示出了适于用来实现本发明实施方式的示例性计算机设备500的框图。图5显示的计算机设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备500以通用计算设备的形式表现。计算机设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元501，***存储器502，连接不同***组件(包括***存储器502和处理单元501)的总线503。
总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备500典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器502可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器505。计算机设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器502中，这样的程序模块507包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备500也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该计算机设备500交互的设备通信，和/或与使得该计算机设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，计算机设备500还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器512通过总线503与计算机设备500的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元501通过运行存储在***存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种图像神经架构的确定方法，包括：
根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合；其中，所述当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模；
将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；其中，所述目标子代集合的子代个体中包括图像神经架构的结构信息、网络性能预测结果和网络规模；
采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群；
判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从所述目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的一种图像神经架构的确定方法，包括：
根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合；其中，所述当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模；
将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；其中，所述目标子代集合的子代个体中包括图像神经架构的结构信息、网络性能预测结果和网络规模；
采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群；
判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从所述目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种图像神经架构的确定方法，其特征在于，包括：
根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合；其中，所述当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模；
将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；其中，所述目标子代集合的子代个体中包括图像神经架构的结构信息、网络性能预测结果和网络规模；
采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群；
判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从所述目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
2.根据权利要求1所述的方法，其特征在于，在根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合之前，还包括：
采用预设的多目标优化算法对当前种群中的图像神经架构个体进行适应度排序，得到适应度排序结果；
根据所述适应度排序结果和预设的选择操作，得到至少一个父代个体；其中，所述当前种群的图像神经架构个体中包括图像神经架构的结构信息、网络性能和网络规模。
3.根据权利要求2所述的方法，其特征在于，所述当前种群为第一次迭代的初始种群；
相应的，在采用预设的多目标优化算法对当前种群中的图像神经架构个体进行适应度排序，得到适应度排序结果之前，还包括：
根据预设的图像分类任务数据集，对所述初始种群中的图像神经架构个体进行训练，得到所述图像神经架构个体的网络性能；
根据所述初始种群中图像神经架构个体的结构信息，确定所述图像神经架构个体的网络规模。
4.根据权利要求1所述的方法，其特征在于，根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合，包括：
根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行增加基因、减少基因和/或替换基因的变异操作，生成所述父代个体的当前子代集合。
5.根据权利要求1所述的方法，其特征在于，将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合，包括：
将所述当前子代集合输入至预设的多任务学习代理模型中，输出当前子代集合中子代个体的图像神经架构网络性能预测结果；
根据当前子代集合中子代个体的结构信息、网络规模以及网络性能预测结果，得到更新后的目标子代集合。
6.根据权利要求1所述的方法，其特征在于，采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群，包括：
采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，确定满足预设适应度要求的目标子代个体；
根据目标子代个体的图像神经架构结构信息和预设的图像分类任务数据集，确定目标子代个体的网络性能；
将所述目标子代个体添加至所述当前种群中，生成所述目标种群；其中，所述目标种群的图像神经架构个体中包括图像神经架构的结构信息、网络性能和网络规模。
7.根据权利要求1所述的方法，其特征在于，判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从所述目标种群中确定图像神经架构的帕累托最优集合，包括：
若确定当前迭代次数满足预设的迭代结束条件，则根据预设的多目标优化算法，将目标种群中的图像神经架构个体划分为至少两个等级的非支配前沿集合，将满足预设等级要求的非支配前沿集合确定为帕累托最优集合。
8.根据权利要求1所述的方法，其特征在于，在判断当前迭代次数是否满足预设的迭代结束条件之后，还包括：
若当前迭代次数不满足预设的迭代结束条件，则将所述目标种群确定为下一次迭代的当前种群，采用预设的多目标优化算法对下一次迭代的当前种群中的图像神经架构个体进行适应度排序，得到新父代个体。
9.根据权利要求1所述的方法，其特征在于，所述多任务学习代理模型中包括交互层和至少两个径向基神经网络，所述径向基神经网络中包括输入层、隐藏层和输出层；
相应的，在将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合之前，还包括：
根据当前种群中图像神经架构个体的结构信息、网络规模和网络性能，基于预设的数据格式，生成当前种群中图像神经架构个体的训练数据；其中，所述训练数据中包括网络结构数据和训练标签，所述网络结构数据中包括结构信息和网络规模，所述训练标签中包括网络性能；
将所述训练数据输入至待训练的多任务学习代理模型中，根据径向基神经网络输出层的输出值，确定所述输出值与所述训练标签的输出层误差；
判断所述输出层误差是否满足预设的误差阈值要求；
若是，则确定多任务学习代理模型训练完成，将所述当前子代集合输入至预设的多任务学习代理模型中。
10.根据权利要求9所述的方法，其特征在于，在判断所述输出层误差是否满足预设的误差阈值要求之后，还包括：
若所述输出层误差不满足预设的误差阈值要求，则采用预设的梯度下降法，对多任务学习代理模型进行更新；
将训练数据输入至更新后的多任务学习代理模型中，根据预设的误差阈值要求，确定多任务学习代理模型是否完成训练。
11.一种图像神经架构的确定装置，其特征在于，包括：
当前子代集合生成模块，用于根据预设的遗传算子，对图像神经架构的当前种群中的父代个体进行变异操作，生成所述父代个体的当前子代集合；其中，所述当前子代集合的子代个体中包括图像神经架构的结构信息和网络规模；
目标子代集合生成模块，用于将所述当前子代集合输入至预设的多任务学习代理模型中，生成更新后的目标子代集合；其中，所述目标子代集合的子代个体中包括图像神经架构的结构信息、网络性能预测结果和网络规模；
目标种群生成模块，用于采用预设的多目标优化算法对所述目标子代集合中的子代个体进行适应度排序，基于当前种群和预设的适应度要求，生成目标种群；
神经架构集合确定模块，用于判断当前迭代次数是否满足预设的迭代结束条件，若是，则根据预设的多目标优化算法，从所述目标种群中确定图像神经架构的帕累托最优集合，供用户从帕累托最优集合中确定目标神经架构。
12.一种图像神经架构的确定设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10中任一所述的图像神经架构的确定方法。
13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的图像神经架构的确定方法。
CN202110106031.5A 2021-01-26 2021-01-26 一种图像神经架构的确定方法、装置、设备及存储介质 Active CN112836794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110106031.5A CN112836794B (zh) 2021-01-26 2021-01-26 一种图像神经架构的确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110106031.5A CN112836794B (zh) 2021-01-26 2021-01-26 一种图像神经架构的确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112836794A true CN112836794A (zh) 2021-05-25
CN112836794B CN112836794B (zh) 2023-09-29

Family

ID=75931687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110106031.5A Active CN112836794B (zh) 2021-01-26 2021-01-26 一种图像神经架构的确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112836794B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780518A (zh) * 2021-08-10 2021-12-10 深圳大学 网络架构优化方法、终端设备及计算机可读存储介质
CN116108764A (zh) * 2023-04-14 2023-05-12 中国科学院长春光学精密机械与物理研究所 光学智能优化方法、装置、设备、介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598092A (zh) * 2018-12-28 2019-04-09 浙江工业大学 融合bp神经网络和多父代遗传算法的空气源热泵多目标优化设计方法
CN109932903A (zh) * 2019-02-25 2019-06-25 北京妙微科技有限公司 多父代优化网络和遗传算法的风机控制多目标优化方法
CN110135498A (zh) * 2019-05-17 2019-08-16 电子科技大学 一种基于深度进化神经网络的图像识别方法
CN110443364A (zh) * 2019-06-21 2019-11-12 深圳大学 一种深度神经网络多任务超参数优化方法及装置
CN111325284A (zh) * 2020-03-09 2020-06-23 武汉大学 一种基于多目标动态分布自适应学习方法及装置
CN111898689A (zh) * 2020-08-05 2020-11-06 中南大学 一种基于神经网络架构搜索的图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598092A (zh) * 2018-12-28 2019-04-09 浙江工业大学 融合bp神经网络和多父代遗传算法的空气源热泵多目标优化设计方法
CN109932903A (zh) * 2019-02-25 2019-06-25 北京妙微科技有限公司 多父代优化网络和遗传算法的风机控制多目标优化方法
CN110135498A (zh) * 2019-05-17 2019-08-16 电子科技大学 一种基于深度进化神经网络的图像识别方法
CN110443364A (zh) * 2019-06-21 2019-11-12 深圳大学 一种深度神经网络多任务超参数优化方法及装置
CN111325284A (zh) * 2020-03-09 2020-06-23 武汉大学 一种基于多目标动态分布自适应学习方法及装置
CN111898689A (zh) * 2020-08-05 2020-11-06 中南大学 一种基于神经网络架构搜索的图像分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780518A (zh) * 2021-08-10 2021-12-10 深圳大学 网络架构优化方法、终端设备及计算机可读存储介质
CN113780518B (zh) * 2021-08-10 2024-03-08 深圳大学 网络架构优化方法、终端设备及计算机可读存储介质
CN116108764A (zh) * 2023-04-14 2023-05-12 中国科学院长春光学精密机械与物理研究所 光学智能优化方法、装置、设备、介质
CN116108764B (zh) * 2023-04-14 2023-07-07 中国科学院长春光学精密机械与物理研究所 光学智能优化方法、装置、设备、介质

Also Published As

Publication number Publication date
CN112836794B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN114048331A (zh) 一种基于改进型kgat模型的知识图谱推荐方法及***
Blondel et al. A ranking approach to genomic selection
WO2020048389A1 (zh) 神经网络模型压缩方法、装置和计算机设备
CN111881359B (zh) 互联网信息检索中的排序方法、***、设备及存储介质
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN112836794B (zh) 一种图像神经架构的确定方法、装置、设备及存储介质
CN109086900B (zh) 基于多目标粒子群优化算法的电力物资保障及调配平台
CN113469354B (zh) 受存储器限制的神经网络训练
CN112906865B (zh) 神经网络架构搜索方法、装置、电子设备及存储介质
Wang et al. Multiple surrogates and offspring-assisted differential evolution for high-dimensional expensive problems
US20110173145A1 (en) Classification of a document according to a weighted search tree created by genetic algorithms
Bi et al. A genetic algorithm-assisted deep learning approach for crop yield prediction
CN113627471A (zh) 一种数据分类方法、***、设备及信息数据处理终端
CN105808582A (zh) 基于分层策略的决策树并行生成方法和装置
CN118036649A (zh) 通过改进图神经网络模型的嵌入生成来使推荐多样化
CN114358257A (zh) 神经网络剪枝方法及装置、可读介质和电子设备
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
CN115203631A (zh) 一种基于改进遗传算法的多模态数据分析方法、***
CN107516020B (zh) 序列位点重要度的确定方法、装置、设备及存储介质
Rasekh et al. EDNC: Evolving differentiable neural computers
Gao et al. Multi-objective pointer network for combinatorial optimization
CN108229572B (zh) 一种参数寻优方法及计算设备
Diot et al. Bayesian optimisation for breeding schemes
Li et al. A self-learning Monte Carlo tree search algorithm for robot path planning
Jia et al. Optimization of mine ventilation network feature graph

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant