CN115221955A - 基于样本差异分析的多深度神经网络参数融合***及方法 - Google Patents

Abstract

本发明设计基于样本差异分析的多深度神经网络参数融合***及方法，属于深度学习和神经网络领域；包括代表性样本选取模块、边缘样本特征差异系数计算模块和多边参数融合模块；所述代表性样本选取模块从边缘样本集中选取最佳边界训练数据，以此作为边缘代表性样本数据，并将其发送到边缘样本特征差异系数计算模块，边缘样本特征差异系数计算模块对边缘代表性样本数据每一维度进行差异性计算，得到边缘代表性样本数据的差异系数；基于差异系数，多边参数融合模块对深度神经网络模型参数进行参数融合；对有需要的边缘设备端神经网络模型参数进行融合调整，有效的提升边缘设备端神经网络模型的质量，进而提升边缘设备端实时决策的能力。

Description

基于样本差异分析的多深度神经网络参数融合***及方法

技术领域

本发明属于深度学习和神经网络领域，尤其涉及基于样本差异分析的多深度神经网络参数融合***及方法。

背景技术

随着算法、算力和大数据的发展，神经网络在计算机视觉、语音识别、自然语言处理等应用中取得了重大突破。边缘计算的发展促使计算向数据产生端迁移，形成了在边缘侧应用神经网络模型实时决策的解决方案，从而降低了延迟，减少了数据传输量。受限于边缘设备有限的的计算能力和存储能力，边缘设备端无法实时通过流式数据训练复杂的神经网络模型，需要结合边缘服务器或其他边缘设备等进行协同训练。同时，边缘侧数据来源具有较强的局部性，容易导致模型过拟合，需要更丰富的数据完成训练以满足更大范围、更多功能的任务需求。因此，为了满足边缘侧的神经网络更新需求，需要通过多边协作训练和参数融合调整边缘神经网络模型参数，提升边缘神经网络模型的决策准确率。

分布式机器学***均等)后得到全局梯度或全局模型参数。在边缘智能环境中使用分布式机器学习范式进行实时推理和实时训练时，其中的计算节点为边缘设备，参数服务器为边缘服务器。受限于边缘环境下的计算、网络限制和隐私保护因素，催生了多种不同的基于随机梯度下降的参数融合机制。

联邦学习通过本地训练和加密传输梯度的方式协作更新模型，在保证数据不离开各计算节点使得整体模型性能逼近集中式训练的性能。从边缘设备角度出发，考虑到边缘网络环境中存在多种异构物理设备作为计算节点，在训练能力和训练时间上存在差异性，产生额外的等待时间影响整体的训练效率，可以通过训练任务的分配减少等待时间。

现有技术分布式机器学习和联邦学习的目标是利用分布式协作训练从而提高整体准确率，没有考虑到特定节点的实时决策准确率。多边缘神经网络参数融合的目标是在保证边缘实时推理的基础上，提高边缘神经网络准确率。现有技术缺少对边缘计算节点实时推理性能的考量，主要表现在缺乏对不同边缘侧样本差异性的度量导致整体准确率提高可能降低边缘推理准确率。

发明内容

针对现有技术的不足，本发明设计了基于样本差异分析的多深度神经网络参数融合***及方法；

基于样本差异分析的多深度神经网络参数融合***，包括代表性样本选取模块、边缘样本特征差异系数计算模块和多边参数融合模块；所述代表性样本选取模块安装在边缘端，边缘样本特征差异系数计算模块和多边参数融合模块安装在边缘服务器端；

所述代表性样本选取模块从边缘样本集中选取最佳边界训练数据，以此作为边缘代表性样本数据，并将其发送到边缘样本特征差异系数计算模块，边缘样本特征差异系数计算模块对边缘代表性样本数据每一维度进行差异性计算，得到边缘代表性样本数据的差异系数；基于差异系数，多边参数融合模块对深度神经网络模型参数进行参数融合；

另一方面，基于样本差异分析的多深度神经网络参数融合***及方法，通过前述基于样本差异分析的多深度神经网络参数融合***实现；包括以下步骤：

步骤1：基于神经网络对流式数据进行实时决策，并通过流数据聚类算法实时积累边缘端样本数据；从生成的边缘端样本数据中，利用边缘代表性样本选取模块选取出边缘端代表性样本数据上传至边缘端服务器；边缘端有n个，通过边缘代表选取模块得到n个边缘端代表性样本，n为正整数；

所述边缘代表性样本选取模块是从边缘端样本集中选取靠近各分类边界并且彼此靠近的训练数据，作为边缘端代表性样本，从而降低数据被错误分类的概率；

首先根据在边缘端通过流数据聚类算法得到的聚类结果，找到各个聚成簇之间的最佳边界、各个类中距离最佳边界距离最短的数据点，即边界数据以及属于该最佳边界的数据，其中最佳边界由式1表示，边界数据需要满足式2；

W·X+b＝0 (1)

其中，W是权重向量，即W＝{w1，w2，...，wn}，n是属性个数；b是标量；X是为数据集合，具有类标号y_i；

根据式2依次找出距离最佳边界距离最短的边界数据，将其存入到各个最佳边界的代表性样本集中；各个最佳边界的代表性样本选取是从每个最佳边界的边界数据开始计算；然后从当前最佳边界的数据中找出与当前数据最相邻的k个数据点；如果存在与当前数据不属于同一类的数据点，则将其存入当前最佳边界的代表性样本中；如果相邻的k个数据点与当前数据属于同一类，则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本中；最后依次对新加入的数据点重复以上操作，直到当前最佳边界的数据全部被处理；具体如下所示：

步骤1.1：对边缘端样本数据dataset进行聚类，为dataset的数据分配所属类的label，通过SVM计算各个类之间的最佳边界i以及各最佳边界的边界数据集edge_dataset；

步骤1.2：在边界数据集edge_dataset中找出到最佳边界i距离最短的边界数据，若与当前分类不一致则直接存入当前边界的代表性样本re_dataset中，若与当前数据分类一致则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本re_dataset中；

步骤1.3：整合所有边界的re_dataset边缘的代表性样本edgere_dataset；

步骤2：基于步骤1生成的边缘侧代表性样本，在边缘服务器端通过边缘样本特征差异系数计算模块进行样本特征差异分析，得出样本特征差异系数；

所述边缘样本特征差异系数计算模块在边缘端服务器上，首先将步骤2得到的任意两组边缘代表性样本中特征的每一维度的值分别求出平均值，然后将每一维度的平均值分别根据公式3计算出各个维度的差异系数，计算公式如式3所示；

其中X，Y代表参加计算的两组数据，

分别为X和Y的均值，σ_X，σ_Y分别为X和Y的标准差；

所有维度都求出差异系数均值后，将所求的差异系数按降序存储至字典中，字典的主键为参与计算的边缘样本特征所对应的边缘端编号，值为计算出的差异系数；具体如下：

步骤2.1：若边缘端把代表性样本上传给了边缘服务器端，则接收边缘端上传的代表性样本并更新当前代表性样本趋势，并等待下一时刻的代表性样本数据上传情况；

步骤2.2：基于公式3计算边缘端的代表性样本的各个维度的差异系数，并按照降序存储至样本差异系数字典中，跳转至步骤3；

步骤2.3：当设备端停止采集数据或静态感知数据处理完毕时，跳转至步骤4；

步骤3：根据步骤2所得的样本特征差异系数字典，利用多边参数融合模块在边缘服务器端对神经网络模型参数进行融合；

所述多边参数融合模块，首先计算不同边缘端的边缘代表性样本数据的差异系数，分配给差异系数大的边缘端深度神经网络模型参数以更大的融合权重，提升融合后模型的多样性，使边缘端获得更稳定、泛化能力更强的边缘深度神经网络模型参数；使用各个差异系数占差异系数之和的百分比作为当前深度神经网络模型参数的融合权重，设差异系数为D_i，则各模型的融合权重可以设置为公式4：

步骤3.1：将样本特征差异系数按照K -1:1的比例随机划分为train1_data和train2_data，随机划分K次，供n个边缘深度神经网络模型使用；

步骤3.2：基于train1_data训练n个边缘设备DNN模型，第i个边缘设备DNN模型对train2_data进行预测，将预测结果保存至结果矩阵matrix；i为正整数，且0＜i≤n；

步骤3.3：将结果矩阵matrix的样本特征差异系数按照基于公式4计算的边缘设备所占融合权重，参与到下一层的训练中，得到融合后的模型参数，跳转至步骤4；

步骤4：将根据步骤3得到的更新后模型参数发送至各边缘端并更新边缘端模型参数，完成参数融合。

本发明有益技术效果：

本发明提出一种基于边缘样本特征差异分析的多边缘深度神经网络模型参数融合方法，该方法通过对边缘设备端具有代表性的样本进行挑选，保证边缘服务器端神经网络模型的训练效果，进而保证边缘设备端实时自主决策能力，然后通过多边协作的方式，对有需要的边缘设备端神经网络模型参数进行融合调整，有效的提升边缘设备端神经网络模型的质量，进而提升边缘设备端实时决策的能力。

本发明提供的基于边缘样本特征差异分析的多边缘深度神经网络模型参数融合方法，该方法基本思想是在边缘侧收集边缘特异化样本，在需要更新时选择出代表性样本上传至边缘服务器，在边缘服务器根据样本特征差异分析后根据差异系数后对模型进行参数融合，保证边缘服务器端神经网络模型训练效果的同时有效的提升边缘设备端神经网络模型的质量，进而提升边缘设备端实时决策的能力。

本文方法参数融合机制可以基于样本特征分析融合多边缘神经网络参数，在边缘服务器基于边缘侧上传的特异性样本训练，提高边缘端神经网络模型的训练效果；在边缘侧下载边缘服务器基于差异系数融合的模型，保证边缘决策的有效性。

附图说明

图1本发明实施例基于样本差异分析的多深度神经网络参数融合***模块结构示意图；

图2本发明实施例基于样本差异分析的多深度神经网络参数融合方法流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明；

基于样本差异分析的多深度神经网络参数融合***，如附图1所示；包括代表性样本选取模块、边缘样本特征差异系数计算模块和多边参数融合模块；所述代表性样本选取模块安装在边缘端，边缘样本特征差异系数计算模块和多边参数融合模块安装在边缘服务器端；

所述代表性样本选取模块从边缘样本集中选取最佳边界训练数据，以此作为边缘代表性样本数据，并将其发送到边缘样本特征差异系数计算模块，边缘样本特征差异系数计算模块对边缘代表性样本数据每一维度进行差异性计算，得到边缘代表性样本数据的差异系数；基于差异系数，多边参数融合模块对深度神经网络模型参数进行参数融合；

另一方面，基于样本差异分析的多深度神经网络参数融合***及方法，如附图2所示；通过前述基于样本差异分析的多深度神经网络参数融合***实现；包括以下步骤：

步骤1：基于神经网络对流式数据进行实时决策，并通过流数据聚类算法实时积累边缘端样本数据；从生成的边缘端样本数据中，利用边缘代表性样本选取模块选取出边缘端代表性样本数据上传至边缘端服务器；边缘端有n个，通过边缘代表选取模块得到n个边缘端代表性样本，n为正整数；

所述边缘代表性样本选取模块是从边缘端样本集中选取靠近各分类边界并且彼此靠近的训练数据，作为边缘端代表性样本，从而降低数据被错误分类的概率；

首先根据在边缘端通过流数据聚类算法得到的聚类结果，找到各个聚成簇之间的最佳边界、各个类中距离最佳边界距离最短的数据点，即边界数据以及属于该最佳边界的数据，其中最佳边界由式1表示，边界数据需要满足式2；

W·X+b＝0 (1)

其中，W是权重向量，即W＝{w1，w2，...，wn}，n是属性个数；b是标量；X是为数据集合，具有类标号y_i；

根据式2依次找出距离最佳边界距离最短的边界数据，将其存入到各个最佳边界的代表性样本集中；各个最佳边界的代表性样本选取是从每个最佳边界的边界数据开始计算；然后从当前最佳边界的数据中找出与当前数据最相邻的k个数据点；如果存在与当前数据不属于同一类的数据点，则将其存入当前最佳边界的代表性样本中；如果相邻的k个数据点与当前数据属于同一类，则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本中；最后依次对新加入的数据点重复以上操作，直到当前最佳边界的数据全部被处理；具体如下所示：

步骤1.1：对边缘端样本数据dataset进行聚类，为dataset的数据分配所属类的label，通过SVM计算各个类之间的最佳边界i以及各最佳边界的边界数据集edge_dataset；

步骤1.2：在边界数据集edge_dataset中找出到最佳边界i距离最短的边界数据，若与当前分类不一致则直接存入当前边界的代表性样本re_dataset中，若与当前数据分类一致则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本re_dataset中；

步骤1.3：整合所有边界的re_dataset边缘的代表性样本edgere_dataset；

步骤2：基于步骤1生成的边缘侧代表性样本，在边缘服务器端通过边缘样本特征差异系数计算模块进行样本特征差异分析，得出样本特征差异系数；

所述边缘样本特征差异系数计算模块在边缘端服务器上，首先将步骤2得到的任意两组边缘代表性样本中特征的每一维度的值分别求出平均值，然后将每一维度的平均值分别根据公式3计算出各个维度的差异系数，计算公式如式3所示；

其中X，Y代表参加计算的两组数据，

分别为X和Y的均值，σ_X，σ_Y分别为X和Y的标准差；

所有维度都求出差异系数均值后，将所求的差异系数按降序存储至字典中，字典的主键为参与计算的边缘样本特征所对应的边缘端编号，值为计算出的差异系数；计算得出的差异系数是为了分析出发送请求的边缘端与其他边缘端所收集数据的差异性，通过计算得到的差异系数，制定合理有效的个性化模型参数融合策略；具体如下：

步骤2.1：若边缘端把代表性样本上传给了边缘服务器端，则接收边缘端上传的代表性样本并更新当前代表性样本趋势，并等待下一时刻的代表性样本数据上传情况；

步骤2.2：基于公式3计算边缘端的代表性样本的各个维度的差异系数，并按照降序存储至样本差异系数字典中，跳转至步骤3；

步骤2.3：当设备端停止采集数据或静态感知数据处理完毕时，跳转至步骤4；

步骤3：根据步骤2所得的样本特征差异系数字典，利用多边参数融合模块在边缘服务器端对神经网络模型参数进行融合；

所述多边参数融合模块，首先计算不同边缘端的边缘代表性样本数据的差异系数，分配给差异系数大的边缘端深度神经网络模型参数以更大的融合权重，提升融合后模型的多样性，使边缘端获得更稳定、泛化能力更强的边缘深度神经网络模型参数；使用各个差异系数占差异系数之和的百分比作为当前深度神经网络模型参数的融合权重，设差异系数为D_i，则各模型的融合权重可以设置为公式4：

需要注意每个边缘端的模型参数所对应的模型都需要有准确性，不能太差，同时要有多样性，即模型之间要有差异，这样才保证进行参数融合后的模型既准确，又通过模型间的互补提升模型的泛化能力；具体为：

步骤3.1：将样本特征差异系数按照K-1:1的比例随机划分为train1_data和train2_data，随机划分K次，供n个边缘深度神经网络模型使用；

步骤3.2：基于train1_data训练n个边缘设备DNN模型，第i个边缘设备DNN模型对train2_data进行预测，将预测结果保存至结果矩阵matrix；i为正整数，且0＜i≤n；

步骤3.3：将结果矩阵matrix的样本特征差异系数按照基于公式4计算的边缘设备所占融合权重，参与到下一层的训练中，得到融合后的模型参数，跳转至步骤4；

步骤4：将根据步骤3得到的更新后模型参数发送至各边缘端并更新边缘端模型参数，完成参数融合。

实验所采用的数据集如表1所示。表1所示的数据集均为真实世界的多维数据集，分别为ElectionData数据集、Census-Income数据集以及Credit-Card数据集。ElectionData数据集描述的是2019年10月6日葡萄牙议会选举结果，包含选举活动中涉及的27个政党的结果，其选举结果分为4种类型。该数据集有21643条记录，25个属性。Census-Income数据集是由Barry Becker从1994年的人口普查数据库中所提取的，其预测任务是确定一个人的年收入是否超过50K。该数据集有30162条记录，14个属性。Credit-Card数据集所描述的是台湾客户的拖欠款情况。该数据集包含30000条记录，24个属性，其预测任务是用来判断台湾客户是否有拖欠款的情况。

表1实验数据；

所做的实验对比，均是评估模型的质量的好坏。所以为了更好的比较模型的质量，本文采用四种评价指标来评估，分别为准确率(Accuracy)、精确率(Precision)、召回率(Recall)以及F1分数(F1-score)。

准确率(Accuracy)是用来评价模型分类准确性的，即对于给定的测试集，预测正确的样本数占总样本数的比例，准确率的计算公式如式5所示。

其中，对于二分类问题，通常以关注的类为正类，其他类为负类。所以TP为把正类预测为正类的样本数；TN为把负类预测为负类的样本数；FP为把负类预测为正类的样本数；FN为把正类预测为负类的样本数。对于多分类问题，其计算与二分类问题相同，即预测正确的样本数占总样本数的比例。表2可以更加清晰的理解其含义。

表2二分类问题混淆矩阵；

虽然准确率可以判断总的正确率，但是在样本不平衡的情况下，并不能作为很好的评价指标，所以本文同时采用精确率(Precision)和召回率(Recall)来进一步评价模型。

精确率(Precision)是指在预测为正类的样本中真正所占的比例，其只是针对预测正确的正样本，而不是所有预测正确的样本。精确率的计算公式如式6所示。

特别注意，对于多分类问题，对于每个标签，需要分别计算每个标签的精确率，然后加和求均值，得到最终的精确率。

召回率(Recall)是指在所有的正类中被预测为正类的比例，其计算公式如式7所示。

特别注意，对于多分类问题，对于每个标签，需要分别计算每个标签的召回率，然后加和求均值，得到最终的召回率。

F1分数(F1-score)是精确率和召回率的调和平均值，因为精确率和召回率是相互矛盾的，当精确率高时，召回率往往相对较低，当召回率高时，精确率往往相对较低，所以为了更好的来评价模型，一般使用F1分数作为评价标准来衡量模型的综合性能。F1分数的计算公式如式8所示。

将3个数据集在两种比例下的5组随机划分数据集上进行实验，分别记录每组的模型评价指标，然后求出每组比例下的统计值，包含平均值、最大值以及最小值。从以上三个方面来对比模型参数融合后的模型与原始模型之间的差异，分别从模型的准确率、精确率、召回率以及F1分数四个模型评价指标进行对比。

如表3所示，分别记录了原始模型和进行模型参数融合后的模型在ElectionData数据集上两种不同的划分比例下四种模型评价指标的平均值、最大值以及最小值。通过对比四种模型评价指标的统计值来对比进行模型参数融合后模型的效果。

表3 ElectionData数据集模型参数融合对比；

基于边缘样本特征差异系数的神经网络参数融合算法所融合模型表现略高于原始模型，准确率平均大约提升了1.2个百分点，其他三个模型评价指标也均高于原始模型。通过在ElectionData数据集上的实验结果可以说明本文算法的有效性。

如表4所示，分别记录了原始模型和进行模型参数融合后的模型在Census-Income数据集上两种不同的划分比例下四种模型评价指标的平均值、最大值以及最小值。通过对比四种模型评价指标的统计值来对比模型参数融合后模型的效果。

表4 Census-Income数据集模型参数融合对比实验；

从表4可以看出，在Census-Income数据集的两种比例下，通过模型参数融合后的模型的平均准确率大约提升了2个百分点，并且其他三个模型评价指标也都要高于原始模型。

如表5所示，同样分别记录了原始模型和进行模型参数融合后的模型在Credit-Card数据集上两种不同的划分比例下四种模型评价指标的平均值、最大值以及最小值。通过对比四种模型评价指标的统计值来对比进行模型参数融合后模型的效果。

表5 Credit-Card数据集模型参数融合对比实验；

从表5可以看出，在Credit-Card数据集上，进行模型参数融合后的模型的表现略有小幅度提升，虽然提升幅度不大，但是同样保持了模型的效果，并没有造成模型的表现大幅度下降。

Claims (9)

1.基于样本差异分析的多深度神经网络参数融合***，其特征在于，包括代表性样本选取模块、边缘样本特征差异系数计算模块和多边参数融合模块；所述代表性样本选取模块安装在边缘端，边缘样本特征差异系数计算模块和多边参数融合模块安装在边缘服务器端。

2.根据权利要求1所述的基于样本差异分析的多深度神经网络参数融合***，其特征在于，所述代表性样本选取模块从边缘样本集中选取最佳边界训练数据，以此作为边缘代表性样本数据，并将其发送到边缘样本特征差异系数计算模块，边缘样本特征差异系数计算模块对边缘代表性样本数据每一维度进行差异性计算，得到边缘代表性样本数据的差异系数；基于差异系数，多边参数融合模块对深度神经网络模型参数进行参数融合。

3.基于样本差异分析的多深度神经网络参数融合***及方法，通过所述权利要求1基于样本差异分析的多深度神经网络参数融合***实现；其特征在于，包括以下步骤：

步骤1：基于神经网络对流式数据进行实时决策，并通过流数据聚类算法实时积累边缘端样本数据；从生成的边缘端样本数据中，利用边缘代表性样本选取模块选取出边缘端代表性样本数据上传至边缘端服务器；边缘端有n个，通过边缘代表选取模块得到n个边缘端代表性样本，n为正整数；

步骤2：基于步骤1生成的边缘侧代表性样本，在边缘服务器端通过边缘样本特征差异系数计算模块进行样本特征差异分析，得出样本特征差异系数；

步骤3：根据步骤2所得的样本特征差异系数字典，利用多边参数融合模块在边缘服务器端对神经网络模型参数进行融合；

步骤4：将根据步骤3得到的更新后模型参数发送至各边缘端并更新边缘端模型参数，完成参数融合。

4.根据权利要求3所述的基于样本差异分析的多深度神经网络参数融合***及方法，其特征在于，步骤1所述边缘代表性样本选取模块是从边缘端样本集中选取靠近各分类边界并且彼此靠近的训练数据，作为边缘端代表性样本，从而降低数据被错误分类的概率；

首先根据在边缘端通过流数据聚类算法得到的聚类结果，找到各个聚成簇之间的最佳边界、各个类中距离最佳边界距离最短的数据点，即边界数据以及属于该最佳边界的数据，其中最佳边界由式1表示，边界数据需要满足式2；

W·X+b＝0 (1)

其中，W是权重向量，即W＝{w1，w2，...，wn}，n是属性个数；b是标量；X是为数据集合，具有类标号y_i；

根据式2依次找出距离最佳边界距离最短的边界数据，将其存入到各个最佳边界的代表性样本集中；各个最佳边界的代表性样本选取是从每个最佳边界的边界数据开始计算；然后从当前最佳边界的数据中找出与当前数据最相邻的k个数据点；如果存在与当前数据不属于同一类的数据点，则将其存入当前最佳边界的代表性样本中；如果相邻的k个数据点与当前数据属于同一类，则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本中；最后依次对新加入的数据点重复以上操作，直到当前最佳边界的数据全部被处理。

5.根据权利要求3所述的基于样本差异分析的多深度神经网络参数融合***及方法，其特征在于，步骤1具体为：

步骤1.1：对边缘端样本数据dataset进行聚类，为dataset的数据分配所属类的label，通过SVM计算各个类之间的最佳边界i以及各最佳边界的边界数据集edge_dataset；

步骤1.2：在边界数据集edge_dataset中找出到最佳边界i距离最短的边界数据，若与当前分类不一致则直接存入当前边界的代表性样本re_dataset中，若与当前数据分类一致则该k个相邻数据将被丢弃，并从当前最佳边界的数据中选出距最佳边界距离最短的数据点存入当前最佳边界的代表性样本re_dataset中；

步骤1.3：整合所有边界的re_dataset边缘的代表性样本edgere_dataset。

6.根据权利要求3所述的基于样本差异分析的多深度神经网络参数融合***及方法，其特征在于，步骤2所述边缘样本特征差异系数计算模块在边缘端服务器上，首先将步骤2得到的任意两组边缘代表性样本中特征的每一维度的值分别求出平均值，然后将每一维度的平均值分别根据公式3计算出各个维度的差异系数，计算公式如式3所示；

其中X，Y代表参加计算的两组数据，

分别为X和Y的均值，σ_X，σ_Y分别为X和Y的标准差；

所有维度都求出差异系数均值后，将所求的差异系数按降序存储至字典中，字典的主键为参与计算的边缘样本特征所对应的边缘端编号，值为计算出的差异系数。

7.根据权利要求3所述的基于样本差异分析的多深度神经网络参数融合***及方法，其特征在于，步骤2具体为：

步骤2.1：若边缘端把代表性样本上传给了边缘服务器端，则接收边缘端上传的代表性样本并更新当前代表性样本趋势，并等待下一时刻的代表性样本数据上传情况；

步骤2.2：基于公式3计算边缘端的代表性样本的各个维度的差异系数，并按照降序存储至样本差异系数字典中，跳转至步骤3；

步骤2.3：当设备端停止采集数据或静态感知数据处理完毕时，跳转至步骤4。

8.根据权利要求3所述的基于样本差异分析的多深度神经网络参数融合***及方法，其特征在于，步骤3所述多边参数融合模块，首先计算不同边缘端的边缘代表性样本数据的差异系数，分配给差异系数大的边缘端深度神经网络模型参数以更大的融合权重，提升融合后模型的多样性，使边缘端获得更稳定、泛化能力更强的边缘深度神经网络模型参数；使用各个差异系数占差异系数之和的百分比作为当前深度神经网络模型参数的融合权重，设差异系数为D_i，则各模型的融合权重可以设置为公式4：

9.根据权利要求3所述的基于样本差异分析的多深度神经网络参数融合***及方法，其特征在于，步骤3具体为：

步骤3.1：将样本特征差异系数按照K-1:1的比例随机划分为train1_data和train2_data，随机划分K次，供n个边缘深度神经网络模型使用；

步骤3.2：基于train1_data训练n个边缘设备DNN模型，第i个边缘设备DNN模型对train2_data进行预测，将预测结果保存至结果矩阵matrix；i为正整数，且0＜i≤n；

步骤3.3：将结果矩阵matrix的样本特征差异系数按照基于公式4计算的边缘设备所占融合权重，参与到下一层的训练中，得到融合后的模型参数，跳转至步骤4。

Images