CN110197128A

CN110197128A - 基于边缘计算与云端统筹的人脸识别架构设计方法

Info

Publication number: CN110197128A
Application number: CN201910378707.9A
Authority: CN
Inventors: 谢巍; 余孝源; 陈定权; 周延
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-05-08
Filing date: 2019-05-08
Publication date: 2019-09-03

Abstract

发明公开了一种基于边缘计算与云端统筹的人脸识别架构设计方法，包括：边缘节点的模型训练步骤，根据边缘计算的概念，在不同的区域点设计相应的轻量级深度学习网络，并进行局部模型训练；数据与模型传输步骤，针对多级边缘节点的计算结果，上传相应的模型结果；云端模型训练步骤，利用云端统筹的形式，将上传的数据与模型进行训练学习，获得一个全局人脸识别模型；以及任务最终反馈步骤。本发明将边缘计算技术与云端统筹形式应用到大数据下的人脸识别任务中，用来构建一个响应时间快、准确率高的人脸识别架构，通过将基本任务放在数据前端进行处理，减少数据传输造成的响应延迟；整合各个边缘节点的局部模型，提高整体的人脸识别准确率。

Description

基于边缘计算与云端统筹的人脸识别架构设计方法

技术领域

本发明涉及深度学习应用技术领域，具体涉及一种基于边缘计算与云端统筹的人脸识别架构设计方法。

背景技术

近年来视频监控在全国大中城市普及，并已广泛应用于社会治安防控体系建设中，并成为公安机关侦查破案的有力技术手段。特别是在***、重特大案件及两抢案件中，视频监控录像中获取的证据线索对于案件的快速侦破起到关键作用。为了全面掌握重点人员的行为轨迹，需要在全省各县市的重点地区，如火车站、汽车站等地建设大量的人像卡口，因此，每天都会产生大量的图像数据。由于人像大数据超摩尔数量级的增加，所采集到的人脸监控视频数据不可能全部汇总到云端总平台，并通过云计算的方式进行处理分析。这是因为数据的传输需要庞大的宽带占用，并且云服务器会因为处理分析巨大数据的延时性而无法对突发事件做出实时响应。为了能够结合各个重点区域的人脸识别子***的监控结果，迫切需要一种整合区域模型与结果的新型架构来构建智能人脸识别分析***。

近年来，人工智能领域已经被提到国家重点建设的范围。这预示着人工智能与相关行业的结合是我国朝着智能化方向发展的必然趋势，对推动行业朝智能化、自动化方面发展具有重要意义。人工智能领域中最主要的是针对不同的行业任务，设计相应的深度学习网络模型。深度学习网络的基本特点是模型拟合能力强、信息量大和精度高，能够满足不同行业中不同需求。大量的人像监控数据能够为深度学习网络训练提供良好的基础，但也带来了数据传输与深层模型的训练问题。如何针对上述的问题，设计相应合理的深度学习网络架构，将区域数据与局部模型统筹到云端，进而可以实现区域内人脸识别子***的响应速度的提高，又可以实现云端的人脸识别准确率的提高。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于边缘计算与云端统筹的人脸识别架构设计方法，首先利用边缘计算，在每个边缘节点利用本地数据进行局部模型训练与模型判别；再通过传输少量判别结果与局部模型到云端，利用云端统筹的形式，训练准确度更高的人脸识别模型。

本发明的目的可以通过采取如下技术方案达到：

一种基于边缘计算与云端统筹的人脸识别架构设计方法，包括：边缘节点的模型训练步骤、数据与模型传输步骤、云端模型训练步骤以及任务最终反馈步骤；边缘节点的模型训练步骤主要是根据边缘计算的概念，在不同的区域点设计相应的轻量级深度学习网络，并进行局部模型训练；数据与模型传输步骤主要是针对多级边缘节点的计算结果，上传相应的模型结果；云端模型训练步骤主要是利用云端统筹的形式，将上传的数据与模型进行训练学习，获得一个全局人脸识别模型。

具体的，操作步骤如下：

S1、根据任务需求，设计重点区域的边缘节点，主要是布置智能前端设备，包括摄像头与轻量级服务器；

S2、在边缘节点区域，布置视频图像采集前端，与边缘节点中的轻量级服务器相结合，对边缘节点人脸识别模型进行训练，并对基本任务结果进行反馈；

S3、数据与模型传输步骤：为了使到数据的传输所需宽带占用小，传输的内容是利用步骤S2中各个边缘点的少量训练数据和各个边缘节点训练完毕的基本模型；

S4、云端模型训练步骤：利用步骤S3的方法所获取的数据以及基本模型，以云端统筹的形式，构建一个云端的深度学习网络模型，并进行训练；

S5、任务最终反馈步骤：根据步骤S2所训练的模型，将测试人脸图像进行模型测试，获得任务基本结果，再将需要进一步分析的数据上传到云端；云端对上传的数据，利用步骤S4所训练完毕的模型进一步分析，并将任务结果下发到各个边缘节点，对边缘节点结果进行修正。

进一步地，步骤S1中的边缘节点选择：由于针对的是公共安全问题，所以边缘节点的布置区域主要是人员流动性大的各个重点区域，包括不限于小区出入口、社区内部安防点、交通路口摄像头、火车站流动点等。

进一步地，步骤S1中的边缘节点是为了使到数据的处理能够尽可能地靠近数据的采集位置，减少数据传输的时间损耗以及提高数据的实时处理能力，因此，所布置的轻量级服务器应具有一定的数据处理能力，能够利用本地数据库对边缘节点中的人脸识别模型进行训练。

进一步地，步骤S2的过程如下：

S21、利用视频监控智能前端对人脸数据进行采集，通过人脸定位算法以及人脸提取算法，获得相应的人脸图像数据x_i；

S22、假设设置的边缘节点为n个，每个节点的训练数据为x_i，对应的轻量级本地数据库为则通过训练后获得n个人脸识别模型，其中第i个边缘节点的人脸识别模型为

L_i＝Local_i(x_i),i＝1,2,3,...,n (1)

其中，Local_i(·)表示第i个边缘节点的特征提取子模型，match_i(·)表示第i个边缘节点的匹配模型，L_i表示的通过模型后提取的数据特征，S_i是人脸识别模型处理结果；

S23、将各个边缘节点的识别结果在对应的边缘节点进行任务反馈。

进一步地，步骤S3中，所需上传的数据包括训练完毕的特征提取子模型Local＝[Local₁,Local₂,...,Local_n]，以及少量的训练样本X＝[x′₁,x′₂,...,x′_n]；并且所需的上传渠道只需要普通的通信带宽以及正常的网络传输速率。

进一步地，步骤S4中，利用各个边缘节点所上传的模型与训练样本，利用云端统筹的形式，构建一个全局的深度学习网络模型。通过对上传的模型进行联合处理，然后利用模型优化的方法，对整体模型进行优化，提高人脸识别的准确率。

步骤S4中网络的结构设计过程如下：

S41、模型联合处理：通过对所有上传的边缘节点人脸识别模型进行线性组合，进而实现对输入的样本数据的特征提取功能。由于边缘节点人脸识别模型是利用大量本地数据训练的结果，因此在云端联合时，局部模型的结构与参数基本保持不变，对各个局部模型计算得到的人脸特征进行拼接，得到模型优化的输入特征F：

Loc′_i＝Local_i(x′_i),i＝1,2,..,n

F＝[Loc′₁,Loc′₂,...,Loc′_n] (3)

S42、模型优化处理：

首先，构建一个自动编码器，自动编码器包括特征编码层、隐含层与特征重构层，并对第一个自动编码器进行训练；其次，在上一个训练完毕的自动编码器的特征编码层之后加入一个新的特征编码层，并在对应的特征重构层加入新的特征重构层；再次，对堆叠而成的网络模型进行训练，并重复上一步操作；接着，通过多次迭代训练，最终构成堆叠式自动编码器模型；最后，将训练完毕的堆叠式自动编码器模型中的特征重构网络舍弃，在特征编码网络之后加入分类器，实现对输入特征F的分类。

进一步地，所述的自动编码器包括特征编码层、隐含层以及特征重构层，重构特征F'是通过以下自动编码器模型进行获取：

H＝σ_f(w_fF+b_f) (4)

F′＝σ_r(w_rH+b_r) (5)

其中，H为隐含层输出，σ_f,σ_r分别是特征编码层的激活函数与特征重构层的激活函数，w_f,b_f和w_r,b_r分别是特征编码层参数与特征重构层参数。

进一步地，所述的自动编码器的损失函数用式(6)进行约束，

通过不断优化损失函数，获得最后稳定的自动编码器参数。

进一步地，输入特征F的分类网络，可以利用在特征编码网络之后加入Softmax层进行分类操作。

本发明相对于现有技术具有如下的优点及效果：

本发明将边缘计算的技术与云端统筹的形式应用到大数据下的人脸识别任务中，用来构建一个响应时间快、准确率高的人脸识别架构；用边缘计算的方法，能够将基本任务放在数据前端进行处理，减少数据传输造成的响应延迟；利用云端统筹的信息，能够整合各个边缘节点的局部模型，提高整体的人脸识别准确率。

附图说明

图1是本发明中基于边缘计算与云端统筹的人脸识别架构的示意图；

图2是本发明中边缘计算点的人脸识别网络框架示意图；

图3是本发明中自动编码器的网络框架示意图；

图4是本发明中堆叠式自动编码器训练模型示意图；

图5是本发明中云端人脸识别分类模型框架示意图；

图6是本发明中多级边缘节点计算与云端统筹的人脸识别训练架构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例在网络架构设计的技术主要涉及如下几类技术：1)边缘计算技术：利用边缘计算技术，使到任务响应靠近数据前端，减少响应延迟；2)云端统筹的人脸识别架构：联合多个边缘节点的局部模型，通过构建自动编码器的方式，对联合模型进行训练，提高识别准确率。

该网络架构设计基于TensorFlow框架和Pycharm开发环境：TensorFlow框架是基于python语言的开发架构，能够方便快捷地搭建合理的深度学***台交互能力。TensorFlow提供深度学习架构中的众多封装函数和各类图像处理函数的接口，包括OpenCV相关的图像处理函数。TensorFlow框架同时能够使用GPU对模型进行训练和验证，提高了计算的效率。

在Windows平台或者Linux平台下的Pycharm开发环境成开发环境(IDE)，是目前深度学习网路设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具，同时能够为客户提供直接调用远程服务器的接口。

本实施例中提供一种基于边缘计算与云端统筹的人脸识别结构设计方法，针对任务需求部署多个边缘节点，每个边缘节点包含数据前端与轻量级服务器；首先，每个边缘节点利用本地数据对边缘节点人脸识别模型进行训练；其次，对多个边缘节点人脸识别模型与少量的数据进行传输，汇集到云端服务器；再次，利用云端统筹的形式，将上传的数据与模型进行训练学习，获得一个全局人脸识别模型；最后，对人脸数据进行检测识别时，边缘节点利用模型进行分析，对任务进行简单反馈，而云端利用全局人脸识别模型对节点上传的可疑数据进行分析，并将结果返回给各个边缘节点。如图1为本方法的总体流程图。具体步骤如下：

步骤一、针对每个边缘节点，所用的网络是较为简单的深度学习网络，整个网络包含有4个卷积层，3个池化层，以及1个分类层。首先，将人脸图像归一化为3*64*64大小的图片，然后分别经过4个卷积层和3个池化层，获得高维的人脸特征信息，最后，经过1个分类层，获得人脸的识别结果。具体如图2所示，图2为边缘计算点的人脸识别网络框架。

步骤二、在模型优化过程中，需要构建自动编码器。每个自动编码器包含有特征编码层、隐含层以及特征重构层。具体如图3所示，图3为自动编码器的基本框架。

步骤三、在模型优化过程中，堆叠式自动编码器训练模型的构建是通过以下步骤完成的：首先，构建一个自动编码器，自动编码器包括特征编码层、隐含层与特征重构层，并对第一个自动编码器进行训练；其次，在上一个训练完毕的自动编码器的特征编码层之后加入一个新的特征编码层，并在对应的特征重构层加入新的特征重构层；再次，对堆叠而成的网络模型进行训练，并重复上一步操作；接着，通过多次迭代训练，最终构成堆叠式自动编码器模型；最后，将训练完毕的堆叠式自动编码器模型中的特征重构网络舍弃，在特征编码网络之后加入分类器，实现对输入特征F的分类。具体如图4所示，图4为堆叠式自动编码器训练模型。

步骤四、最终全局模型的人脸识别输出是将训练完毕的堆叠式自动编码器模型的特征重构网络舍弃，在特征编码网络之后加入Softmax分类器，实现对输入的人脸特征的分类。具体如图5所示，图5为云端人脸识别分类模型框架。

步骤五、根据以上步骤二所训练的边缘节点模型，将测试人脸图像进行模型测试，获得任务基本结果，再将需要进一步分析的数据上传到云端；云端对上传的数据，利用步骤四所训练完毕的全局模型进一步分析，并将任务结果下发到各个边缘节点，对边缘节点结果进行修正。具体如图6所示，图6为多级边缘节点计算与云端统筹的人脸识别训练架构。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于边缘计算与云端统筹的人脸识别架构设计方法，其特征在于，所述的人脸识别架构设计方法包括以下步骤：

S1、根据任务需求，设计重点区域的边缘节点并布置智能前端设备，包括视频图像采集前端与轻量级服务器；

S2、在每个边缘节点利用本地数据对边缘节点人脸识别模型进行训练；并对基本任务结果进行反馈；

S3、将每个边缘节点人脸识别模型与基本任务结果数据进行传输，汇集到云端服务器

S4、利用云端统筹的形式，将上传的数据与模型进行训练学习，获得一个全局人脸识别模型；

S5、输入人脸数据进行检测识别，边缘节点利用人脸识别模型进行分析，对人脸数据进行简单反馈，同时云端利用全局人脸识别模型对节点上传的可疑数据进行分析，并将结果反馈给各个边缘节点。

2.根据权利要求1所述的基于边缘计算与云端统筹的人脸识别架构设计方法，其特征在于，所述的步骤S1中，当针对公共安全问题时，边缘节点的布置区域是人员流动性大的各个重点区域，包括小区出入口、社区内部安防点、交通路口摄像头、火车站流动点。

3.根据权利要求1所述的基于边缘计算与云端统筹的人脸识别架构设计方法，其特征在于，所述的步骤S2的过程如下：

S22、假设设置的边缘节点为n个，第i节点的训练数据为x_i，i＝1,2,...,n，对应的轻量级本地数据库为则通过训练后可获得n个人脸识别模型，第i个边缘节点的人脸识别模型为

L_i＝Local_i(x_i),i＝1,2,3,...,n (1)

4.根据权利要求3所述的基于边缘计算与云端统筹的人脸识别架构设计方法，其特征在于，所述的步骤S3中，所需上传的数据包括训练完毕的特征提取子模型Local＝[Local₁,Local₂,...,Local_n]，以及少量的训练样本X＝[x′₁,x′₂,...,x′_n]；并且所需的上传渠道只需要普通的通信带宽以及正常的网络传输速率。

5.根据权利要求1所述的基于边缘计算与云端统筹的人脸识别架构设计方法，其特征在于，所述的步骤S4过程如下：

S41、模型联合处理，通过对所有上传的边缘节点人脸识别模型进行线性组合，实现对输入的样本数据的特征提取功能，在云端对各个边缘节点人脸识别模型计算得到的人脸特征进行拼接，得到模型优化的输入特征：

Loc′_i＝Local_i(x′_i),i＝1,2,..,n

F＝[Loc′₁,Loc′₂,...,Loc′_n] (3)

S42、模型优化处理：首先，构建多个自动编码器，每个自动编码器包括特征编码层与特征重构层，并对第一个自动编码器进行训练；其次，在上一个训练完毕的自动编码器的特征编码层之后加入一个新的特征编码层层，并在对应的特征重构层加入新的特征重构层；再次，对堆叠而成的网络模型进行训练，并重复上一步操作；接着，通过多次迭代训练，最终构成堆叠式自动编码器模型；最后，将训练完毕的堆叠式自动编码器模型中的特征重构网络舍弃，在特征编码网络之后加入分类器，实现对输入特征F的分类。

6.根据权利要求5所述的基于边缘计算与云端统筹的人脸识别架构设计方法，其特征在于，所述的自动编码器包括输入层、隐含层以及输出层，重构特征F'是通过以下自动编码器模型进行获取：

H＝σ_f(w_fF+b_f) (4)

F'＝σ_r(w_rH+b_r) (5)

其中，H为隐含层输出，σ_f,σ_r分别是特征编码网络的激活函数与特征重构网络的激活函数，w_f,b_f和w_r,b_r分别是特征编码网络参数与特征重构网络参数。

7.根据权利要求5所述的基于边缘计算与云端统筹的人脸识别架构设计方法，其特征在于，所述的自动编码器的损失函数用式(6)进行约束，

通过不断优化损失函数，获得最后稳定的自动编码器参数。

8.根据权利要求5所述的基于边缘计算与云端统筹的人脸识别架构设计方法，其特征在于，所述的分类器为用于进行分类操作的Softmax层。