CN115393632A - 一种基于进化多目标神经网络架构构造的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于进化多目标神经网络架构构造的图像分类方法，包括：构建用于图像分类的神经网络；设置基于搜索结构单元Cell的搜索空间，通过搜索单元Cell来替代搜索整个神经网络结构；通过搜索得到满足预设要求的Cell，对其进行堆叠，并结合预设的神经网络参数构成完整的神经网络；利用基于分解的自适应混合多目标进化算法的神经网络架构搜索方法，对步所述神经网络的网络参数、架构，以分类错误率和计算复杂度两个目标进行双层优化，得到优化后的神经网络；对优化后的神经网络，利用所述训练集进行训练，并通过测试集测试，选取分类错误率最小的神经网络架构作为新冠肺炎CT图像分类模型用于图像分类。

Description

一种基于进化多目标神经网络架构构造的图像分类方法

技术领域

本发明涉及算法优化以及图像分类领域，具体涉及一种基于进化多目标神经网络架构构造的图像分类方法。

背景技术

图像分类是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。图像分类在很多领域有着广泛的应用，包括安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。快速识别新冠肺炎患者是目前医疗机构防控疫情的有效措施之一。病毒核酸测定会受到多种人为因素影响，也曾有病例被误诊出现假阴性或假阳性的结果。而CT影像识别采用大型、恒定的医疗设备，不会受到过多人为环节操作影响，相对稳定。国家卫健委在发布的《新型冠状病毒肺炎诊疗方案》中明确提出核酸检测结果应与CT影像临床诊断结果相互辅助，作为新冠肺炎确诊病例的判断标准。一位新冠肺炎病人的二维CT影像约300张，且早期CT影像特点为肺部多发小斑片状磨玻璃影等细微变化，如果完全以医生的肉眼分析，一个病例就需要耗时约5到15分钟，如果需要进行大范围病毒筛查，工作量将是巨大的。目前，世界范围内已发现多种新冠病毒变异毒株，这些毒株使得患者的CT影像特点更复杂，更加难以识别。

借助神经网络进行图像分类以识别患者，医生可以将最新的大量新冠肺炎确诊病例的CT影像作为数据集，对神经网络进行训练。训练后的神经网络可以快速鉴别新冠肺炎影像与普通病毒性肺炎影像，并且具有较高的识别准确率。

早期许多人工设计的网络架构在各领域都取得了卓越的成效。但随着深度学习领域研究的不断深入，神经网络架构的层次正逐渐增加，人工设计的难度增加。随着科技发展，一个新兴的领域—神经网络架构搜索逐渐成为深度学习领域的热点研究方向。

早期许多用于图像分类的网络架构由人工设计并取得卓越成效，但随着深度学习领域研究的不断深入，神经网络架构的层次正逐渐增加，人工设计的难度增加。

发明内容

本发明的目的是提供一种基于进化多目标神经网络架构构造的图像分类方法，用以解决现有技术存在问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于进化多目标神经网络架构构造的图像分类方法，包括以下步骤：

构建用于图像分类的神经网络，包括：

构建新冠肺炎CT图像数据集，包括新冠肺炎阳性CT图像和新冠肺炎阴性 CT图像两类，并对其进行训练集和测试集的划分；

设置基于搜索结构单元Cell的搜索空间，通过搜索单元Cell来替代搜索整个神经网络结构；通过搜索得到满足预设要求的Cell，对其进行堆叠，并结合预设的神经网络参数构成完整的神经网络；

利用基于分解的自适应混合多目标进化算法的神经网络架构搜索方法，对步所述神经网络的网络参数、架构，以分类错误率和计算复杂度两个目标进行双层优化，得到优化后的神经网络；

对优化后的神经网络，利用所述训练集进行训练，并通过测试集测试，选取分类错误率最小的神经网络架构作为新冠肺炎CT图像分类模型；

获取待分类的CT图像，将CT图像输入到新冠肺炎CT图像分类模型中，得到CT图像的分类结果。

进一步地，所述设置基于搜索结构单元Cell的搜索空间，通过搜索单元Cell 来替代搜索整个神经网络结构；通过搜索得到满足预设要求的Cell，对其进行堆叠，并结合预设的神经网络参数构成完整的神经网络，包括：

设置神经网络的参数，包括神经网络的层数layers，每个节点的通道数 channel；

定义Cell单元，Cell由输入节点，中间节点，输出节点和连接这些节点的边构成；最终通过搜索得到两种Cell的结构，即输入与输出的特征图尺寸保持一致的Cell以及输出的特征图尺寸减小一半的Cell，分别记为Normal-Cell和Reduce-Cell；

每个Cell有两个输入节点和一个输出节点，Cell中的边代表的是操作operation；

把由搜索得到的两种Cell组成的多个Cell一个接一个前后相连，堆叠成一个完整网络，在网络的三分之一处和三分之二处是Reduce-Cell，其它是Normal- Cell，所述层数layers用于控制共有多少个Cell连接。

进一步地，所述操作operation包括：3×3深度可分离卷积、5×5深度可分离卷积、3×3空洞深度可分离卷积、5×5空洞深度可分离卷积、3×3极大值池化、3×3均值池化、7×7深度可分离卷积、0操作、1×7,7×1卷积，共9种。

进一步地，所述基于分解的自适应混合多目标进化算法的神经网络架构搜索方法为：通过构建一个双层优化模型，对神经网络架构、参数进行搜索；其中，所述双层优化模型为：

上层以最小化分类错误率Error和计算复杂度Complexity为目标优化神经网络架构，即为搜索网络架构的过程；下层在上层优化得到的架构中优化神经网络参数，即为对搜索到的网络架构进行训练的过程；

在上层优化中，对每个神经网络架构，输入新冠肺炎CT数据集的训练集，进行训练之后测试分类准确性；双层优化模型表达式如下：

其中，λ表示神经网络架构，λ^*表示在进化算法搜索网络结构过程中目标值最优的网络架构，ω表示神经网络参数中的权重weight和偏置bias；F_search表示上层多目标优化问题，F_train表示下层优化问题；

上层的多目标优化问题表达式如下：

min F_search(λ,ω)＝(f₁(λ,ω),f₂(λ,ω))

其中，f₁(λ,ω)表示目标1：分类错误率Error，f₂(λ,ω)表示目标2：计算复杂度Complexity；

分类错误率(Error)表示如下：

Error代表分类错误率，Accuracy代表分类准确率，Correct代表分类正确的图片数量，Total代表分类的图片总数。

进一步地，基于双层优化模型，对神经网络进行优化，包括：

2.2.1，随机均匀地产生N个个体作为种群，采用动态种群分解策略将N个个体平均分成j份，分别初始化各个子种群SP_j，j＝1,2,…,S，

为子种群的数量；初始化各个子种群SP_j的随机因子λ_j；

2.2.2，初始化时对各个子种群SP_j随机分配一种多目标进化算法；

2.2.3，对种群中的每个个体进行编码：

采用DARTS的整数编码，得到编码与与神经网络结构中Cell的对应关系；

通过编码，将每个个体的基因型表示为一串整数编码，然后利用所述对应关系，用一串整数编码表示一个神经网络架构；

2.2.4，从子种群SP_j中随机选择一个个体xⁱ，通过杂交变异产生一个新个体 x^i′,i＝1,…,N，共产生N个新个体；

2.2.5，用动态分解技术把新生成的个体分配给子种群；

2.2.6，更新各子种群

在上层优化中，对每个神经网络架构，输入新冠肺炎CT数据集的训练集，进行训练，将各个子种群中的个体训练得到的两个目标值加权求和，计算公式如下：

g(x)＝μ₁f₁(x)+μ₂f₂(x)

其中，g(x)表示目标值加权和，f₁(x)表示分类错误率，f₂(x)表示计算复杂度，μ₁表示分类错误率的权重，μ₂表示计算复杂度的权重；

通过获得的目标值加权和与步骤2.2.2中分配的多目标进化算法，在各个子种群SP_j和分配给各个子种群SP_j的新产生的个体中更新子种群，将不同的的个体按其目标值加权和做降序排列，选择排列后的前n_j个个体作为下一代中的子种群 SP_j′；如果SP_j中的个体和分配给SP_j的新产生的个体总数仍小于n_j，则将整个SP_j中的所有个体作为下一代的子种群SP_j′；

2.2.7，如果mod(t,K)＝0，重置子种群的随机因子λ_j，并计算每一个子种群所分配的算法的效用值Δ_j；其中t指的是当前进化的代数，K是预设参数，用于控制随机因子重置的频数；

代表亲代第j个子种群的第i个个体的目标值加权和，

代表子代第j个子种群的第i个个体的目标值加权和，m是第j个子种群的个体数；

2.2.8，根据效用值Δ_j的大小，选择效用值最大的多目标进化算法；

2.2.9，重复步骤2.2.6至2.2.10，直到达到最大进化代数Max_t；

2.2.10，终止神经网络架构的搜索过程，并输出当前种群；

2.2.11，对输出结果进行解码，得到每个个体对应的神经网络架构。

进一步地，所述多目标进化算法包括MOEA/D和NSGA-II。

进一步地，所述用动态分解技术把新生成的个体分配给子种群，包括：

首先对目标函数进行平移，使其非负化；把上层的多目标优化问题表示为 f(x)＝(f₁(x),f₂(x))，其中f₁(x),f₂(x)分别表示分类错误率、计算复杂度的目标函数；将f_i(x)用

代替，其中，

是到当前代第i个目标函数的最小值， i＝1,2；将搜索空间平均分成j个大小相等的子区域，然后把目标函数空间投影到单位超球面上，在单位超球面的第一象限上均匀选取S个向量 W¹,…,W^j,…,W^S，W^j即第j个子区域的方向向量；相应地，把种群分成S个子种群：假定在第t代时，种群中有N个个体x¹,x²,…,x^N，f(xⁱ)是目标空间中对应于xⁱ的目标函数向量；在第j个子区域所对应的子种群SP_j中引入一个动态随机因子λ_j，j＝1,2,…,S；

对于步骤2.2.4中产生的第i个新个体x^i′，使用以下公式划分个体x^i′所属的子区域：

上式中，J代表个体x^i′属于第j个子种群，d(·)为个体w^i′与的W^j之间的距离，λ_j为子种群SP_j的随机因子，f(x^i′)为第i个个体对应的目标函数值向量，|f(xⁱ)| 为第i个个体目标函数值向量的模，W^j表示第j个子种群的中心；

则第i个个体x^i′就被划分到夹角距离最小的W^j，即第j个子种群。

与现有技术相比，本发明具有以下技术特点：

1.该分类方法中的基于分解的自适应混合多目标进化算法的神经网络架构搜索方法可实现更高效的深度神经网络构造：收敛快、解分布均匀，在高维目标情况下计算复杂度较低；局部搜索加快神经网络架构搜索的收敛速度，提高搜索效率；不同子种群使用不同的进化算法，保证种群多样性。

2.本发明可以使用构造的深度神经网络对CT图像进行分类，以辅助医生快速鉴别新冠肺炎影像与普通病毒性肺炎影像，具有较高的识别准确率。

附图说明

图1为本发明方法的流程示意图；

图2为搜索结构单元Cell的结构示意图；

图3为种群分解示意图；

图4为使用不同的多目标进化算法独立优化各子种群；

图5的(a)和(b)为使用神经网络搜索框架得到的不同神经网络结构块。

具体实施方式

本发明构建了一种基于进化多目标神经网络架构构造的图像分类方法，该分类方法中的基于分解的自适应混合多目标进化算法所采用的神经网络架构搜索方法具有收敛快、计算复杂度低、解分布均匀的优点，它在高维目标情况下计算复杂度较低，可以加快神经网络架构搜索的收敛速度、降低搜索复杂度，从而提高结构搜索的效率。

参见附图，本发明的一个实施例提供了一种基于进化多目标神经网络架构构造的新冠肺炎图像分类方法，包括以下步骤：

步骤1，构建用于图像分类的神经网络；具体搭建步骤如下：

步骤1.1，构建新冠肺炎CT图像数据集。

新冠肺炎CT图像数据集由两类图片构成：新冠肺炎阳性CT图像与新冠肺炎阴性CT图像。

步骤1.1.1，将数据集中的图像按80％：20％的比例随机划分成训练集与测试集。训练集用于图像分类的训练，测试集用于测试图像分类的准确性。

步骤1.2，设置神经网络的初始参数。

设置基于Cell结构的搜索空间，通过搜索结构单元(Cell)来替代搜索整个神经网络结构。

设置神经网络的层数layers，每个节点的通道数channel。

定义Cell单元，Cell由输入节点，中间节点，输出节点，边四部分构成，一个Cell单元的结构如图2所示。最终需要搜索得到两种Cell的结构：Normal- Cell(输入与输出的FeatureMap尺寸保持一致)和Reduce-Cell(输出的FeatureMap 尺寸减小一半)。

每个Cell有两个输入节点和一个输出节点：

图2中的h[i]和h[i-1]即为两个输入节点，分别是前两层(layers)的Cell的输出(即与前两层的Cell的输出节点相连)，例如第k层的Cell，其输入节点0 是第k-2层的Cell的输出，输入节点1是第k-1层的Cell的输出；

图2中的每个add即为中间节点，每个中间节点通过操作o和它所有的前驱节点i(即两个输入节点)相连，公式如下：

图2中的输出节点h[i+1]由每一个中间节点合并(concat)起来；

图2中的边代表的是操作(operation)。定义可选的operation集合：3×3深度可分离卷积、5×5深度可分离卷积、3×3空洞深度可分离卷积、5×5空洞深度可分离卷积、3×3极大值池化、3×3均值池化、7×7深度可分离卷积、0操作(两个节点直接无连接)、1×7,7×1卷积(本质是卷积核为7×7的卷积操作，这种卷积可以减少计算开销)，共9种。

最后，把由搜索得到的两种Cell组成的多个Cell一个接一个前后相连，堆叠成一个完整网络，在网络的三分之一处和三分之二处是Reduce-Cell，其它是 Normal-Cell。超参数layers可以控制总共有多少个Cell相连，例如layers＝11表示有11个Cell前后相连，其中第4,8个Cell是Reduce-Cell，其他的是Normal- Cell。

步骤2，利用基于分解的自适应混合多目标进化算法的神经网络架构搜索方法，对步骤1搭建的神经网络的网络参数、架构，以分类错误率和计算复杂度两个目标进行双层优化，得到优化后的神经网络；

其中，所述基于分解的自适应混合多目标进化算法的神经网络架构搜索方法具体步骤如下：

步骤2.1，首先构建一个双层优化模型，用于神经网络架构、参数搜索。

双层优化模型具体为：上层以最小化分类错误率(Error)和计算复杂度(Complexity为目标优化神经网络架构，即为搜索(search)网络架构的过程；下层在上层优化得到的架构中优化神经网络参数，即为对搜索到的网络架构进行训练(train)的过程；在上层优化中，对每个神经网络架构，输入新冠肺炎CT 数据集的训练集，进行大规模训练(600epoch)之后测试分类准确性。一个epoch 等于训练集中的全部图像训练一次，epoch相当于训练的轮数。双层优化模型表达式如下：

其中，λ表示神经网络架构，λ^*表示在进化算法搜索网络结构过程中目标值最优的网络架构，ω表示神经网络参数：权重(weight)和偏置(bias)。F表示多目标优化问题，F_search表示上层(多目标)优化问题，F_train表示下层优化问题。

上层的多目标优化问题表达式如下：

min F_search(λ,ω)＝(f₁(λ,ω),f₂(λ,ω)) (3)

其中，f(λ,ω)表示目标函数，f₁(λ,ω)表示目标1：分类错误率(Error)，f₂(λ,ω)表示目标2：计算复杂度(Complexity)。

在该步骤中，训练的分类错误率(Error)表示如下：

Error代表分类错误率，Accuracy代表分类准确率，Correct代表分类正确的图片数量，Total代表分类的图片总数。

在该步骤中，小规模训练的计算复杂度(Complexity)使用FLOPs作为量度。FLOPS是“浮点运算次数”(floating point operations)的缩写，即计算量，可用来衡量模型的复杂度。

步骤2.2，基于建立的双层优化模型，对神经网络进行优化，具体步骤如下：

2.2.1，初始化参数、种群，用于基于分解的自适应混合多目标进化算法。

随机均匀地产生N个个体作为种群，采用动态种群分解策略将N个个体平均分成j份，分别初始化各个子种群SP_j，j＝1,2,…,S，

为子种群的数量；初始化各个子种群SP_j的随机因子λ_j。

2.2.2，为子种群随机选择适值分配策略。

初始化时对各个子种群SP_j随机分配一种多目标进化算法，例如MOEA/D和 NSGA-II等。从种群第一次更新开始，根据历史搜索的收敛速度反馈，分配一种收敛速度最快的多目标进化算法。

2.2.3，对种群中的每个个体进行编码。

本方案沿用DARTS的整数编码，以下是编码(基因型)与神经网络结构中 Cell的对应关系：

例如，基因型Genome为

Genome＝[

[[array([2,1]),array([8,0])],[array([8,2]),array([2,1])],[array([3,2]),array([5, 1])],[array([8,2]),array([5,4])],[array([8,2]),array([5,1])]],

[[array([5,0]),array([0,1])],[array([3,0]),array([5,1])],[array([5,3]),array([4, 3])],[array([1,0]),array([3,3])],[array([1,2]),array([4,3])]]

]

前一半为Normal Cell部分的基因型，后一半为Reduce Cell部分的基因型。

array第一个数是operation的索引，第二个数表示该操作从哪个节点来(即来源)。

operation的索引如下：

用上面的Genome举例，normal_concat指Normal Cell中的哪些中间节点会被合并起来作为最终输出，就是normal部分的array“第二个数”中没有出现的数。如上normal部分的array出现的数有0、1、2、4，因此normal_concat就是 0到6中剩余的数：3、5、6。reduce_concat指Reduce Cell中的哪些中间节点会被合并起来作为最终输出，编码规则与normal_concat同理。

最终，该基因型编码得到的结构(Cell)如下：

Normal Cell为：

normal＝[('skip_connect',1),('conv_7x1_1x7',0),('conv_7x1_1x7',2), ('skip_connect',1),('sep_conv_3x3',2),('dil_conv_3x3',1),('conv_7x1_1x7',2), ('dil_conv_3x3',4),('conv_7x1_1x7',2),('dil_conv_3x3',1)]

normal_concat＝[3,5,6],

Reduce Cell为：

reduce＝[('dil_conv_3x3',0),('max_pool_3x3',1),('sep_conv_3x3',0), ('dil_conv_3x3',1),('dil_conv_3x3',3),('sep_conv_5x5',3),('avg_pool_3x3',0), ('sep_conv_3x3',3),('avg_pool_3x3',2),('sep_conv_5x5',3)]

reduce_concat＝[4,5,6]

在该步骤中，每个个体的基因型(Genome)为一串16位的整数，通过以上的对应关系，可以用一串16位整数编码表示一个神经网络架构。不同基因型的个体代表不同的神经网络架构，之后通过种群搜索迭代实现网络架构的优化。

2.2.4，交叉变异产生新个体。

从子种群SP_j中随机选择一个个体xⁱ，通过杂交变异产生一个新个体x^i′,i＝1,…,N，共产生N个新个体。

2.2.5，用动态分解技术把新生成的个体分配给子种群。

在该步骤中，本发明设计的针对神经网络架构搜索的算法的动态种群分解技术具体如下：

首先对目标函数进行平移，使其非负化。把上层的多目标优化问题(即式3) 写为：f(x)＝(f₁(x),f₂(x))的每一个分量f_i(x)用

代替，其中，

是到当前代第i个目标函数的最小值，i＝1,2。通过这样一个平移变换就把目标函数空间转化到第一象限。将搜索空间平均分成j个大小相等的子区域，然后把目标函数空间投影到单位超球面上，在单位超球面的第一象限上均匀选取S个向量 W¹,…,W^j,…,W^S，W^j即第j个子区域的方向向量。相应地，把种群分成S个子种群：假定在第t代时，种群中有N个个体x¹,x²,…,x^N。f(xⁱ)是目标空间中对应于xⁱ的目标函数向量。在第j个子区域所对应的子种群SP_j中引入一个动态随机因子λ_j，其中λ_j是为[0.8,1]中的一个随机数，j＝1,2,…,S。随机因子被周期性的重置。对于步骤2.2.4中产生的第i个新个体x^i′，使用以下公式划分个体x^i′所属的子区域：

则第i个个体x^i′就被划分到夹角距离最小的W^j(第j个子区域的方向向量) 即第j个子种群：J代表个体x^i′属于第j个子种群，d(·)为个体x^i′与的W^j(第j个子区域的方向向量)之间的距离，λ_j为子种群SP_j的随机因子，f(x^i′)为第i个个体对应的目标函数值向量，|f(xⁱ)|为第i个个体目标函数值向量的模，W^j表示第j个子种群的中心。

例如：如图3所示，假定λ₃＝8、λ₄＝1，目标函数向量A就被划分到第3个子区域所对应的子种群SP₃。由此可知，一些在不同子区域边界区域的个体将从一个子种群迁移到其相邻的子种群。这种子种群之间的个体迁移交换了子种群之间的信息。克服了目标函数空间子区域之间产生“空隙”和某些子种群的早熟。

在传统的分解策略中，如果每一个子种群独立的负责目标函数空间的一个固定的子区域，没有个体从一个子种群迁移到其相邻的种群，这可能会丢失相邻子区域的边界区域。在该步骤中，本方案中提出的动态种群分解策略(Dynamical populationdecomposition)克服了种群分解技术的这个缺陷。

2.2.6，更新各子种群。

步骤2.1中定义了上层优化问题的两个目标：分类错误率(Error)和计算复杂度(Complexity，在上层优化(即搜索)中，对每个神经网络架构，输入新冠肺炎CT数据集的训练集，进行训练，将各个子种群中的个体训练得到的两个目标值加权求和，计算公式如下：

g(x)＝μ₁f₁(x)+μ₂f₂(x) (6)

其中，g(x)表示目标值加权和，μ₁表示目标1的权重，μ₂表示目标2的权重。

通过获得的目标值加权和与步骤2.2.2中分配的多目标进化算法，在各个子种群SP_j和分配给各个子种群SP_j的新产生的个体中更新子种群，将不同的的个体按其目标值加权和做降序排列，选择排列后的前n_j个个体作为下一代中的子种群 SP_j′，其中j＝1,2,3,…,S；如果SP_j中的个体和分配给SP_j的新产生的个体总数仍小于n_j，则将整个SP_j中的所有(原有的与新分配的)个体作为下一代的子种群 SP_j′，其中j＝1,2,3,…,S。

2.2.7，判断是否重置随机因子。

如果mod(t,K)＝0，式中t指的是当前进化的代数，K是预先给定的一个参数，作为控制随机因子重置的频数，即每隔K代重置随机因子λ_j；重置子种群的随机因子λ_j，并计算每一个子种群所分配的算法的效用值Δ_j：

代表亲代第j个子种群的第i个个体的目标值加权和，

代表子代第j个子种群的第i个个体的目标值加权和，m是第j个子种群的个体数。

2.2.8，根据效用值Δ_j的大小，确定搜索最优点最快即效用值最大的多目标进化算法。效用值即算法的收敛速度的量度，效用值最大代表该种多目标进化算法收敛速度最快。

2.2.9，重复步骤2.2.6至2.2.10，直到达到最大进化代数Max_t。

2.2.10，终止神经网络架构的搜索过程，并输出当前种群。

2.2.11，对输出结果进行解码，得到每个个体对应的神经网络架构。

使用步骤2.2.3中的编码与网络结构的对应关系，对每个个体的基因型进行解码，得到每个个体分别对应的一个神经网络架构。

步骤3，训练神经网络，得到图像分类模型。

步骤3.1，输入新冠肺炎CT图像数据集。

步骤3.2，设置600epoch，96batch size，对输出的种群种群中的每个个体 (神经网络架构)分别利用训练集进行训练，优化参数，并通过测试集进行测试。

此步骤即为双层优化模型中的下层优化，下层在上层优化得到的架构中优化神经网络参数(权重weight和偏置bias)。比较不同的神经网络架构训练600 epoch之后的分类错误率，选取分类错误率最小的神经网络架构用于新冠肺炎CT 图像分类模型。

步骤4，获取待分类的CT图像，将CT图像输入到训练好的新冠肺炎CT图像分类模型，得到CT图像的分类结果，由此实现对CT图像的精准识别。

数值试验

基于上述工作，初步搭建了一个基于分解的自适应混合多目标进化算法的神经网络架构构造的图像分类方法，并在图像数据集上做了初步的验证。设置40 的种群大小，在搜索时对每个个体进行20个epoch的小批量训练，经过10代的搜索，耗时0.8GPUDays，使用该神经网络搜索框架得到了如下神经网络结构块 (见图3)，对其重复堆叠6块得到了一个完整的神经网络架构。设置600epoch， 96batch size在数据集上对其进行图像分类训练，最终在验证集上达到了96.78％的准确率，达到了较高的基准值。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于进化多目标神经网络架构构造的图像分类方法，其特征在于，包括以下步骤：

构建用于图像分类的神经网络，包括：

构建新冠肺炎CT图像数据集，包括新冠肺炎阳性CT图像和新冠肺炎阴性CT图像两类，并对其进行训练集和测试集的划分；

设置基于搜索结构单元Cell的搜索空间，通过搜索单元Cell来替代搜索整个神经网络结构；通过搜索得到满足预设要求的Cell，对其进行堆叠，并结合预设的神经网络参数构成完整的神经网络；

利用基于分解的自适应混合多目标进化算法的神经网络架构搜索方法，对步所述神经网络的网络参数、架构，以分类错误率和计算复杂度两个目标进行双层优化，得到优化后的神经网络；

对优化后的神经网络，利用所述训练集进行训练，并通过测试集测试，选取分类错误率最小的神经网络架构作为新冠肺炎CT图像分类模型；

获取待分类的CT图像，将CT图像输入到新冠肺炎CT图像分类模型中，得到CT图像的分类结果。

2.根据权利要求1所述的基于进化多目标神经网络架构构造的图像分类方法，其特征在于，所述设置基于搜索结构单元Cell的搜索空间，通过搜索单元Cell来替代搜索整个神经网络结构；通过搜索得到满足预设要求的Cell，对其进行堆叠，并结合预设的神经网络参数构成完整的神经网络，包括：

设置神经网络的参数，包括神经网络的层数layers，每个节点的通道数channel；

定义Cell单元，Cell由输入节点，中间节点，输出节点和连接这些节点的边构成；最终通过搜索得到两种Cell的结构，即输入与输出的特征图尺寸保持一致的Cell以及输出的特征图尺寸减小一半的Cell，分别记为Normal-Cell和Reduce-Cell；

每个Cell有两个输入节点和一个输出节点，Cell中的边代表的是操作operation；

把由搜索得到的两种Cell组成的多个Cell一个接一个前后相连，堆叠成一个完整网络，在网络的三分之一处和三分之二处是Reduce-Cell，其它是Normal-Cell，所述层数layers用于控制共有多少个Cell连接。

3.根据权利要求2所述的基于进化多目标神经网络架构构造的图像分类方法，其特征在于，所述操作operation包括：3×3深度可分离卷积、5×5深度可分离卷积、3×3空洞深度可分离卷积、5×5空洞深度可分离卷积、3×3极大值池化、3×3均值池化、7×7深度可分离卷积、0操作、1×7,7×1卷积，共9种。

4.根据权利要求1所述的基于进化多目标神经网络架构构造的图像分类方法，其特征在于，所述基于分解的自适应混合多目标进化算法的神经网络架构搜索方法为：通过构建一个双层优化模型，对神经网络架构、参数进行搜索；其中，所述双层优化模型为：

上层以最小化分类错误率Error和计算复杂度Complexity为目标优化神经网络架构，即为搜索网络架构的过程；下层在上层优化得到的架构中优化神经网络参数，即为对搜索到的网络架构进行训练的过程；

在上层优化中，对每个神经网络架构，输入新冠肺炎CT数据集的训练集，进行训练之后测试分类准确性；双层优化模型表达式如下：

其中，λ表示神经网络架构，λ^*表示在进化算法搜索网络结构过程中目标值最优的网络架构，ω表示神经网络参数中的权重weight和偏置bias；F_search表示上层多目标优化问题，F_train表示下层优化问题；

上层的多目标优化问题表达式如下：

minF_search(λ,ω)＝(f₁(λ,ω),f₂(λ,ω))

其中，f₁(λ,ω)表示目标1：分类错误率Error，f₂(λ,ω)表示目标2：计算复杂度Complexity；

分类错误率(Error)表示如下：

Error代表分类错误率，Accuracy代表分类准确率，Correct代表分类正确的图片数量，Total代表分类的图片总数。

5.根据权利要求1所述的基于进化多目标神经网络架构构造的图像分类方法，其特征在于，基于双层优化模型，对神经网络进行优化，包括：

2.2.1，随机均匀地产生N个个体作为种群，采用动态种群分解策略将N个个体平均分成j份，分别初始化各个子种群SP_j，j＝1,2,…,S，

为子种群的数量；初始化各个子种群SP_j的随机因子λ_j；

2.2.2，初始化时对各个子种群SP_j随机分配一种多目标进化算法；

2.2.3，对种群中的每个个体进行编码：

采用DARTS的整数编码，得到编码与与神经网络结构中Cell的对应关系；

通过编码，将每个个体的基因型表示为一串整数编码，然后利用所述对应关系，用一串整数编码表示一个神经网络架构；

2.2.4，从子种群SP_j中随机选择一个个体xⁱ，通过杂交变异产生一个新个体x^i′,i＝1,…,N，共产生N个新个体；

2.2.5，用动态分解技术把新生成的个体分配给子种群；

2.2.6，更新各子种群

在上层优化中，对每个神经网络架构，输入新冠肺炎CT数据集的训练集，进行训练，将各个子种群中的个体训练得到的两个目标值加权求和，计算公式如下：

g(x)＝μ₁f₁(x)+μ₂f₂(x)

其中，g(x)表示目标值加权和，f₁(x)表示分类错误率，f₂(x)表示计算复杂度，μ₁表示分类错误率的权重，μ₂表示计算复杂度的权重；

通过获得的目标值加权和与步骤2.2.2中分配的多目标进化算法，在各个子种群SP_j和分配给各个子种群SP_j的新产生的个体中更新子种群，将不同的的个体按其目标值加权和做降序排列，选择排列后的前n_j个个体作为下一代中的子种群SP_j′；如果SP_j中的个体和分配给SP_j的新产生的个体总数仍小于n_j，则将整个SP_j中的所有个体作为下一代的子种群SP_j′；

2.2.7，如果mod(t,K)＝0，重置子种群的随机因子λ_j，并计算每一个子种群所分配的算法的效用值Δ_j；其中t指的是当前进化的代数，K是预设参数，用于控制随机因子重置的频数；

代表亲代第j个子种群的第i个个体的目标值加权和，

代表子代第j个子种群的第i个个体的目标值加权和，m是第j个子种群的个体数；

2.2.8，根据效用值Δ_j的大小，选择效用值最大的多目标进化算法；

2.2.9，重复步骤2.2.6至2.2.10，直到达到最大进化代数Max_t；

2.2.10，终止神经网络架构的搜索过程，并输出当前种群；

2.2.11，对输出结果进行解码，得到每个个体对应的神经网络架构。

6.根据权利要求5所述的基于进化多目标神经网络架构构造的图像分类方法，其特征在于，所述多目标进化算法包括MOEA/D和NSGA-II。

7.根据权利要求5所述的基于进化多目标神经网络架构构造的图像分类方法，其特征在于，所述用动态分解技术把新生成的个体分配给子种群，包括：

首先对目标函数进行平移，使其非负化；把上层的多目标优化问题表示为f(x)＝(f₁(x),f₂(x))，其中f₁(x),f₂(x)分别表示分类错误率、计算复杂度的目标函数；将f_i(x)用

代替，其中，

是到当前代第i个目标函数的最小值，i＝1,2；将搜索空间平均分成j个大小相等的子区域，然后把目标函数空间投影到单位超球面上，在单位超球面的第一象限上均匀选取S个向量W¹,…,W^j,…,W^S，W^j即第j个子区域的方向向量；相应地，把种群分成S个子种群：假定在第t代时，种群中有N个个体x¹,x²,…,x^N，f(xⁱ)是目标空间中对应于xⁱ的目标函数向量；在第j个子区域所对应的子种群SP_j中引入一个动态随机因子λ_j，j＝1,2,…,S；

对于步骤2.2.4中产生的第i个新个体x^i′，使用以下公式划分个体x^i′所属的子区域：

上式中，J代表个体x^i′属于第j个子种群，d(·)为个体x^i′与的W^j之间的距离，λ_j为子种群SP_j的随机因子，f(x^i′)为第i个个体对应的目标函数值向量，|f(xⁱ)|为第i个个体目标函数值向量的模，W^j表示第j个子种群的中心；

则第i个个体x^i′就被划分到夹角距离最小的W^j，即第j个子种群。

Images