CN108229258A - 一种基于深度学习和Spark的人脸并行识别方法 - Google Patents

一种基于深度学习和Spark的人脸并行识别方法 Download PDF

Info

Publication number
CN108229258A
CN108229258A CN201611194471.6A CN201611194471A CN108229258A CN 108229258 A CN108229258 A CN 108229258A CN 201611194471 A CN201611194471 A CN 201611194471A CN 108229258 A CN108229258 A CN 108229258A
Authority
CN
China
Prior art keywords
face
spark
deep learning
recognition
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611194471.6A
Other languages
English (en)
Inventor
田文洪
任小芹
刘弘
刘弘一
黄文强
黄超杰
何马均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201611194471.6A priority Critical patent/CN108229258A/zh
Publication of CN108229258A publication Critical patent/CN108229258A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于深度学习和Spark的人脸并行识别方法通过深度学习框架以及使用Spark并行化的方式实现人脸的识别。在图像特征的提取过程中，使用Partition将图形分到不同的集群节点，利用Spark集群中的每一个节点并行化训练参数以及模型，在每一个集群节点，均会生成一个模型，这些模型将用来之后的人脸并行化识别，通过并行化减少时间开销。在识别人脸的过程中，使用Spark的特性，采用并行化的识别方式将特征广播到每一个集群节点，在每一个集群节点分别计算，每一个节点产生一个对应的待识别人脸的结果。在主节点上汇总所有分节点的结果，通过所有的结果比较，得到最终的结果。

Description

一种基于深度学习和Spark的人脸并行识别方法
技术领域
本发明属于人脸识别方法与识别领域，具体涉及一种人脸识别的并行化识别方法。
背景技术
随着我国智慧城市的建设，人脸识别已经成为仅次于指纹识别的高速发展领域。人脸识别是根据所提取的人脸图像特征采用相关识别算法进行人脸确认或辨别。即将已检测到的待识别人脸与数据库中已知人脸进行比较匹配，得出相关信息，该过程的关键是选择适当的人脸表征方式与匹配策略，***的构造与人脸的表征方式密切相关。一般根据所提特征而选择不同识别算法进行度量，常用的包括距离度量、支持向量机、神经网络、k均值聚类等方法。
在实际应用中，涉及到的人脸识别范围通常是大量人群的图像识别，训练模型以及人脸识别花费的时间开销将是巨大的。严重影响了人们的工作进度与工作人员的效率。
发明内容
针对当前大多数人脸识别算法实时性差、识别率低的问题，首先分析原因大致有以下两点：1.人脸识别过程中的分类器模型训练时间过长；2.分类器分类效果不佳。而当前最新的深度学习算法通过对大量样本数据的学习，找到最合适的分类方法和标准，致使分类精度大大提升。
基于以上分析，本发明提供了一种基于深度学习和Spark的人脸并行识别方法，所述方法包括以下步骤：
步骤1：首先将提取出的人脸特征分块然后处理并存储在HDFS(Hadoop DistributedFile System)文件***上，输入到Spark，转换为Block；
步骤2：:在Spark数据输入形成RDD(Resilient Distributed Datasets)后，在Transition阶段，在每个节点上使用TensorFlow框架，框架中调用利用TensorFlow训练好的深度学习分类器模型来对特征进行处理，实现分类的目的。深度学习分类器模型是由卷积神经网络训练得到的，该卷积神经网络结构为：卷积层，降采样层，全链接层；
步骤3：作业开始执行，Driver接收Spark作业和数据，Master节点向Worker发送命令，最终分配Task在集群中的各节点上的Executor上执行；
步骤4：将最终结果数据输出存储到HDFS，然后加载结果数据显示识别结果。
进一步地，所述步骤1中所述的输入人脸特征实际上也是利用深度学习方法训练出的特征。（这不是本发明的重点，所以在此不再赘述）
进一步地，所述步骤2中，所述的卷积神经网络详细情况是：第一层输入层就是输入Spark数据，第二层卷积层Conv1：实现卷积以及Rectified Linear Activation（需要设定），第三层池化层Pool1：Max Pooling（这里是2*2的Max_Pool），第四层卷积层Conv2：实现卷积以及Rectified Linear Activation，第五层池化层Pool2：Max Pooling，，第六层卷积层Conv3：实现卷积以及Rectified Linear Activation，第七层池化层Pool3：MaxPooling，第八层全连接层Local3：基于修正线性激活的全连接层，第九层全连接层Local4：基于修正线性激活的全连接层，第10层输出层Softmax_Linear：进行线性变换以输出Logits，激活函数用Relu。
本发明的有益效果是：本发明所使用的方法在LFW数据库上能够很大程度上提高分类识别精度，提高了整体速度。本发明的创新点是提出了一种新的结合Spark和深度学习的并行训练方法，是针对当前业界缺少并行化和深度学习相结合的算法现状，本发明的核心是结合深度学习与分布式计算，最终提高人像识别的精确度和实现识别时间的最小化，即实现处理速度和处理效果的双赢。采用新一代深度学习框架，率先研发在CPU、GPU集群上基于深度学习框架的并行训练模型和识别算法，提高训练、识别速度和精度。
附图说明
图1是本发明一种基于深度学习和Spark的人脸并行识别方法的核心步骤图。
图2是本发明一种基于深度学习和Spark的人脸并行识别方法的流程图。
具体实施方式
下面根据附图和发明内容，对本发明的具体实施方式作进一步详细说明，以下实施例用于说明本发明，但不用来限制本发明的范围。
步骤1：首先将提取出的人脸特征分块然后处理并存储在HDFS 文件***上，输入到Spark，转换为Block；
步骤2：:在Spark数据输入形成RDD后，在Transition阶段，在每个节点上使用TensorFlow框架，框架中调用利用TensorFlow训练好的深度学习分类器模型来对特征进行处理，实现分类的目的。深度学习分类器模型是由卷积神经网络训练得到的，该卷积神经网络结构为：卷积层，降采样层，全链接层；
步骤3：作业开始执行，Driver接收Spark作业和数据，Master节点向Worker发送命令，最终分配Task在集群中的各节点上的Executor上执行；
步骤4：将最终结果数据输出存到HDFS，然后加载结果数据显示识别结果。
进一步地，所述步骤1中所述的输入人脸特征实际上也是利用深度学习方法训练出的特征。（这不是本发明的重点，所以在此不再赘述）
进一步地，所述步骤2中，所述的卷积神经网络详细情况是：第一层输入层，第二层卷积层Conv1：实现卷积以及Rectified Linear Activation（需要设定），第三层池化层Pool1：Max Pooling（这里是2*2的Max_Pool），第四层卷积层Conv2：实现卷积以及RectifiedLinear Activation，第五层池化层Pool2：Max Pooling，，第六层卷积层Conv3：实现卷积以及Rectified Linear Activation，第七层池化层Pool3：Max Pooling，第八层全连接层Local3：基于修正线性激活的全连接层，第九层全连接层Local4：基于修正线性激活的全连接层，第10层输出层Softmax_Linear：进行线性变换输出Logits，激活函数用Relu。

Claims (4)

1.一种基于深度学习和Spark的人脸并行识别方法，其特征是利用Spark***的并行化，将人脸识别中神经网络模型的训练过程以及人脸的识别过程通过并行化来节省时间开销，提高工作效率。
2.根据权利要求1所述的方法，其特征是利用Spark集群进行分类器模型的并行训练，创建RDD对象，使用Transformation的方式，创建新的RDD对象，最后使用Action，启动并行计算，得到相应的参数，将参数带入模型，实现并行训练。
3.根据权利要求1所述的方法，其特征是利用Spark集群进行人脸的并行识别，对视频处理，得到人脸图像，提取图像中人脸特征，得到特征之后，将包含特征的向量T[t1,t2，t3，…,t4,tn]分发到Spark集群中每一个节点，将得到的结果进行比较，找出与待识别人脸拟合程度最好的一个结果，实现并行识别。
4.根据权利要求1所述的方法，其特征是基于深度学习的框架，可以使用Caffe、Torch开源框架得到训练的参数，最后带入模型，作为分类器模型的最后结果,然后再结合输入的待识别人脸的特征识别出人脸。
CN201611194471.6A 2016-12-21 2016-12-21 一种基于深度学习和Spark的人脸并行识别方法 Pending CN108229258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611194471.6A CN108229258A (zh) 2016-12-21 2016-12-21 一种基于深度学习和Spark的人脸并行识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611194471.6A CN108229258A (zh) 2016-12-21 2016-12-21 一种基于深度学习和Spark的人脸并行识别方法

Publications (1)

Publication Number Publication Date
CN108229258A true CN108229258A (zh) 2018-06-29

Family

ID=62656389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611194471.6A Pending CN108229258A (zh) 2016-12-21 2016-12-21 一种基于深度学习和Spark的人脸并行识别方法

Country Status (1)

Country Link
CN (1) CN108229258A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739514A (zh) * 2018-12-21 2019-05-10 北京中科寒武纪科技有限公司 参数处理方法及相关产品
CN109886074A (zh) * 2018-12-27 2019-06-14 浙江工业大学 一种基于视频流处理的电梯乘客数并行检测方法
CN110209631A (zh) * 2019-05-10 2019-09-06 普华诚信信息技术有限公司 大数据处理方法及其处理***
CN115334332A (zh) * 2022-06-28 2022-11-11 苏州体素信息科技有限公司 视频流处理方法及***
US11699073B2 (en) 2018-12-29 2023-07-11 Cambricon Technologies Corporation Limited Network off-line model processing method, artificial intelligence processing device and related products

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739514A (zh) * 2018-12-21 2019-05-10 北京中科寒武纪科技有限公司 参数处理方法及相关产品
CN109886074A (zh) * 2018-12-27 2019-06-14 浙江工业大学 一种基于视频流处理的电梯乘客数并行检测方法
US11699073B2 (en) 2018-12-29 2023-07-11 Cambricon Technologies Corporation Limited Network off-line model processing method, artificial intelligence processing device and related products
CN110209631A (zh) * 2019-05-10 2019-09-06 普华诚信信息技术有限公司 大数据处理方法及其处理***
CN115334332A (zh) * 2022-06-28 2022-11-11 苏州体素信息科技有限公司 视频流处理方法及***

Similar Documents

Publication Publication Date Title
CN108229258A (zh) 一种基于深度学习和Spark的人脸并行识别方法
Sankaranarayanan et al. Generate to adapt: Aligning domains using generative adversarial networks
CN105447473B (zh) 一种基于PCANet-CNN的任意姿态人脸表情识别方法
Chen et al. A new ensemble approach based on deep convolutional neural networks for steel surface defect classification
CN111860171B (zh) 一种大规模遥感图像中不规则形状目标的检测方法及***
CN104616030B (zh) 一种基于极限学习机算法的识别方法
CN107085704A (zh) 基于elm自编码算法的快速人脸表情识别方法
CN110569901A (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN109740679B (zh) 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
CN110147797A (zh) 一种基于生成式对抗网络的草图补全与识别方法和装置
Borwarnginn et al. Breakthrough conventional based approach for dog breed classification using CNN with transfer learning
US11580356B2 (en) Efficient inferencing with piecewise pointwise convolution
CN112101243A (zh) 一种基于关键姿势和dtw的人体动作识别方法
John et al. Audio and video-based emotion recognition using multimodal transformers
CN108229257A (zh) 一种基于深度学习和Spark的人脸识别特征并行训练方法
CN114743133A (zh) 一种轻量化的小样本视频分类识别方法及***
CN113172097B (zh) 一种基于深度自编码的冷轧带材板形模式识别方法及***
CN114581789A (zh) 一种高光谱图像分类方法及***
CN114694174A (zh) 一种基于时空图卷积的人体交互行为识别方法
CN114067171A (zh) 一种克服小数据训练集的图像识别精度提升方法及***
CN106778579B (zh) 一种基于累计属性的头部姿态估计方法
CN117409475A (zh) 一种基于骨骼的3d-cnn动作识别方法
CN112232226A (zh) 通过判别式模型检测目标对象的方法和***
CN116758451A (zh) 基于多尺度和全局交叉注意力的视听情感识别方法及***
CN110826604A (zh) 一种基于深度学习的物料分拣方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180629