CN110647813A - 一种基于无人机航拍的人脸实时检测识别方法 - Google Patents

一种基于无人机航拍的人脸实时检测识别方法 Download PDF

Info

Publication number
CN110647813A
CN110647813A CN201910771567.1A CN201910771567A CN110647813A CN 110647813 A CN110647813 A CN 110647813A CN 201910771567 A CN201910771567 A CN 201910771567A CN 110647813 A CN110647813 A CN 110647813A
Authority
CN
China
Prior art keywords
data
value
method based
real
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910771567.1A
Other languages
English (en)
Inventor
刘洋
冉欢欢
李毅捷
谢雨峰
时翔
唐柯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU SHINE TECHNOLOGY Co Ltd
Original Assignee
CHENGDU SHINE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU SHINE TECHNOLOGY Co Ltd filed Critical CHENGDU SHINE TECHNOLOGY Co Ltd
Priority to CN201910771567.1A priority Critical patent/CN110647813A/zh
Publication of CN110647813A publication Critical patent/CN110647813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无人机航拍的人脸实时检测识别方法，包括如下步骤：加载数据处理模型，摄像头采集数据，写入图像数据；数据预处理；压缩转换后的图像数据，并存储于共享内存；处理器读取图像数据；对数据进行卷积处理；池化层对数据进行降维处理；对数据进行非线性映射；对数据加权求和进行分类处理；对数据进行非极大值抑制；对相邻视频帧进行人脸匹配，通过固定的帧数检测更新跟踪模板；计算获取的目标和检测目标的相关度增强匹配的正确率；叠加人脸框并进行人脸计数；推流显示。本发明能够实现实时人脸检测识别，同时能够大幅降低误检率。

Description

一种基于无人机航拍的人脸实时检测识别方法
技术领域
本发明涉及无人机监控技术领域，尤其涉及一种基于无人机航拍的人脸实时检测识别方法。
背景技术
传统人脸识别主要应用在基于固定摄像头的识别场景，人脸识别效果差、灵活性差，一旦人员移动或者摄像头移动，便会出现人脸识别数据不准确；在摄像头与人员相对移动中，人脸识别的实时性差。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于无人机航拍的人脸实时检测识别方法，包括如下步骤：
S1：检测模块加载数据处理模型，等待接收图像数据；
S2:摄像头采集数据，写入内存；
S3:数据预处理：转换图像数据格式，并对图像数据归一化处理，将数据转换为RGB数据；
S4:压缩转换后的图像数据，并存储于共享内存；
S5:检测模块读取图像数据，进行数据处理；
S6:卷积层神经网络通过卷积核对数据进行卷积处理；
S7:池化层对数据进行降维处理，选卷积核内最大像素值作为降维后的值；
S8:激励层对卷积处理的输出数据进行非线性映射：设α为斜率系数，x为横坐标值，g(x)为函数结果，则
g(x)＝max(αx，x)；
S9:全连接层把提取的特征数据通过加权求和进行分类：y＝Wx，其中W为权重向量，x为特征向量；
S10:对检测结果进行非极大值抑制，去除同一目标的重复检测；
S11:读取视频中每一帧数据，根据场景设定需要间隔帧数的参考值；判断当前帧数是否为参考值的倍数；若是，则对下一帧进行人脸检测，更新跟踪模板；若不是，则与前面检测的人脸进行匹配，从而进行人脸跟踪；
S12:通过归一化互相关匹配算法进行判断前后两帧中目标的相关度，如果在一定阈值范围内，则是相同人脸目标，否则为不同人脸目标，达到人脸跟踪的目的；
S13:叠加人脸框并进行人脸计数；并通过推流显示。
本发明的有益效果在于：本发明基于无人机视角，能够实现移动拍摄，进行实时深度学习网络，针对摄像机数据格式进行的网络优化与训练，进一步降低网络运算量，实现实时人脸检测识别，同时能够大幅降低误检率。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，本发明一种基于无人机航拍的人脸实时检测识别方法，包括如下步骤：
S1：检测模块加载数据处理模型，等待接收图像数据；
S2:摄像头采集数据，写入内存；
S3:数据预处理：转换图像数据格式，并对图像数据归一化处理，将数据转换为RGB数据；
S4:压缩转换后的图像数据，并存储于共享内存；
S5:检测模块读取图像数据，进行数据处理；
S6:卷积层神经网络通过卷积核对数据进行卷积处理；
S7:池化层对数据进行降维处理，选卷积核内最大像素值作为降维后的值；
S8:激励层对卷积处理的输出数据进行非线性映射：设α为斜率系数，x为横坐标值，g(x)为函数结果，则
g(x)＝max(αx，x)；
S9:全连接层把提取的特征数据通过加权求和进行分类：y＝Wx，其中W为权重向量，x为特征向量；
S10:对检测结果进行非极大值抑制，去除同一目标的重复检测；
S11:读取视频中每一帧数据，根据场景设定需要间隔帧数的参考值；判断当前帧数是否为参考值的倍数；若是，则对下一帧进行人脸检测，更新跟踪模板；若不是，则与前面检测的人脸进行匹配，从而进行人脸跟踪；
S12:通过归一化互相关匹配算法进行判断前后两帧中目标的相关度，如果在一定阈值范围内，则是相同人脸目标，否则为不同人脸目标，达到人脸跟踪的目的；
S13:叠加人脸框并进行人脸计数；并通过推流显示。
进一步的，所述S3中对数据归一化处理具体包括：
设x*为当前像素值归一化的值，x为当前像素值，max为当前帧所有像素中的最大值，则：x*＝log10(x)/log10(max)。
进一步的，所述S2步骤转换数据格式具体包括：将1920*1080*2的uyvy数据转换为1920*1080*3的RGB数据：
Figure BDA0002173714130000031
其中：y为明亮度，u和v表示色度，R表示红色通道，G表示绿色通道，B表示蓝色通道。
进一步的，所述S6中卷积处理具体包括：
Figure BDA0002173714130000041
其中，R(i,j)为图像(i,j)处的卷积值，k为n*n的卷积核，n＝2a，f(i,j)为图像(i,j)处的像素值。
进一步的，所述S7具体过程为：
y(u，v)＝max{f(u+i，v+j)，i∈(0，n)，j∈(0，n)}；
其中：n表示核的大小，y(u，v)表示图像中(u，v)处附近n*n范围内最大的像素值作为max-pooling之后的结果。
进一步的，所述S10具体过程为：
Figure BDA0002173714130000042
其中intersection为两个目标框的交集，Union为两个目标框的并集，若IoU超过设定阈值则为同一目标框；
进一步的，所述S11中进行相邻帧的人脸匹配具体包括：
Figure BDA0002173714130000043
其中：T为匹配模板，S为图像矩阵，D为(i，j)处的匹配结果。
进一步的，所述S12中归一化积相关算法处理具体过程：
Figure BDA0002173714130000044
其中：E(Si，j)为(i，j)处子图的平均灰度值，E(T)为模板的平均灰度值，M*N为匹配模板大小，T为匹配模板。
具体过程如下：
检测模块加载数据处理模型，等待接收图像数据；摄像头采集数据，写入内存。
预处理：机载摄像头采集的数据为固定格式、固定分辨率，采集的数据为uyvy格式，1920x1080的两通道数据，需要对数据进行预处理，包括数据格式转换和归一化，具体包括：设x*为当前像素值归一化的值，x为当前像素值，max为当前帧所有像素中的最大值，则：x*＝log10(x)/log10(max)。
归一化后将1920*1080*2的uyvy数据转换为1920*1080*3的rgb数据：
Figure BDA0002173714130000051
其中：y为明亮度，u和v表示色度，R表示红色通道，G表示绿色通道，B表示蓝色通道。
为减少计算量和保持目标检测的精度，将1920x1080的分辨率压缩为640*640：设Q11、Q12、Q21和Q22为图像中相邻的像素点，其像素坐标位置分别为(x1，y1)、(x1，y2)、(x2，y1)和(x2，y2)，P为待估算的点，R1为Q11和Q21的近似估算点，R2为Q12和Q22的近似估算点，P为R1和R2的近似估算点，则：
通过上述归一化处理和双线性插值计算，将原始数据处理为适用于人脸检测算法的格式存储于共享内存，如附图1所示流程图。
处理器读取图像数据，加载数据处理模型，进行数据处理。
卷积处理：神经网络中通过卷积核对数据进行卷积处理：设x*为当前像素值归一化的值，x为当前像素值，max为当前帧所有像素中的最大值，则：x*＝log10(x)/log10(max)。
池化处理：池化层对数据进行降维处理，选取max-pooling方式进行降维，能够减少计算量，选取卷积核内数据最大的值作为降维后的值：设：n表示核的大小，y(u，v)表示图像中(u，v)处附近n*n范围内最大的像素值作为max-pooling之后的结果，则：y(u，v)＝max{f(u+i，v+j)，i∈(0，n)，j∈(0，n)}。
激励：对卷积处理的输出进行非线性映射：设α为斜率系数，x为横坐标参数，g(x)为函数结果，则：g(x)＝max(αx，x)。
全连接层把提取的特征数据通过加权求和进行分类：y＝Wx，其中W为权重向量，x为特征向量。
通过上述对数据进行特征提取，并进行目标检测和分类，结果可能会有同一目标被多次检测，为消除此现象，对结果做非极大值抑制，过程如下：
其中intersection为两个目标框的交集，Union为两个目标框的并集，IoU越大，则重叠度越高，超过一定阈值就认为是同一目标框，择优选取。
读取帧数据，根据场景设定帧数的参考值，判断帧数是否是参考值的倍数，若是则对相邻帧进行人脸匹配，更新跟踪模板，否则对相邻帧进行人脸匹配，进行人脸跟踪；
通过归一化算法相关系数进一步判断绝对误差和算法所获取的目标和检测目标的相关度，从而大幅降低误检率。具体过程为：设：E(Si，j)为(i，j)处子图的平均灰度值，E(T)为模板的平均灰度值，M*N为匹配模板大小，T为匹配模板，则：
Figure BDA0002173714130000071
本发明基于无人机视角，能够实现移动拍摄，进行实时深度学习网络，针对摄像机数据格式进行的网络优化与训练，进一步降低网络运算量，实现实时人脸检测识别，同时能够大幅降低误检率。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (8)

1.一种基于无人机航拍的人脸实时检测识别方法，其特征在于，包括如下步骤：
S1：检测模块加载数据处理模型，等待接收图像数据；
S2:摄像头采集数据，写入内存；
S3:数据预处理：转换图像数据格式，并对图像数据归一化处理，将数据转换为RGB数据；
S4:压缩转换后的图像数据，并存储于共享内存；
S5:检测模块读取图像数据，进行数据处理；
S6:卷积层神经网络通过卷积核对数据进行卷积处理；
S7:池化层对数据进行降维处理，选卷积核内最大像素值作为降维后的值；
S8:激励层对卷积处理的输出数据进行非线性映射：设α为斜率系数，x为横坐标值，g(x)为函数结果，则
g(x)＝max(αx，x)；
S9:全连接层把提取的特征数据通过加权求和进行分类：y＝Wx，其中W为权重向量，x为特征向量；
S10:对检测结果进行非极大值抑制，去除同一目标的重复检测；
S11:读取视频中每一帧数据，根据场景设定需要间隔帧数的参考值；判断当前帧数是否为参考值的倍数；若是，则对下一帧进行人脸检测，更新跟踪模板；若不是，则与前面检测的人脸进行匹配，从而进行人脸跟踪；
S12:通过归一化互相关匹配算法进行判断前后两帧中目标的相关度，如果在一定阈值范围内，则是相同人脸目标，否则为不同人脸目标，达到人脸跟踪的目的；
S13:叠加人脸框并进行人脸计数；并通过推流显示。
2.根据权利要求1所述一种基于无人机航拍的人脸实时检测识别方法，其特征在于，所述S3中对数据归一化处理具体包括：
设x*为当前像素值归一化的值，x为当前像素值，max为当前帧所有像素中的最大值，则：x*＝log10(x)/log10(max)。
3.根据权利要求1所述一种基于无人机航拍的人脸实时检测识别方法，其特征在于，所述S3步骤转换数据格式具体包括：将1920*1080*2的UYVY格式数据转换为1920*1080*3的RGB格式数据：
Figure FDA0002173714120000021
其中：Y为明亮度，U和V表示色度，R表示红色通道，G表示绿色通道，B表示蓝色通道。
4.根据权利要求1所述一种基于无人机航拍的人脸实时检测识别方法，其特征在于，所述S6中卷积处理具体包括：
Figure FDA0002173714120000022
其中，R(i,j)为图像(i,j)处的卷积值，k为n*n的卷积核，n＝2a，f(i,j)为图像(i,j)处的像素值。
5.根据权利要求1所述一种基于无人机航拍的人脸实时检测识别方法，其特征在于，所述S7具体过程为：
y(u，v)＝max{f(u+i，v+j)，i∈(0，n)，j∈(0，n)}；
其中：n表示核的大小，y(u，v)表示图像中(u，v)处附近n*n范围内最大的像素值作为max-pooling之后的结果。
6.根据权利要求1所述一种基于无人机航拍的人脸实时检测识别方法，其特征在于，所述S10具体过程为：
Figure FDA0002173714120000031
其中intersection为两个目标框的交集，Union为两个目标框的并集，若IoU超过设定阈值则为同一目标框。
7.根据权利要求1所述一种基于无人机航拍的人脸实时检测识别方法，其特征在于，所述S11中进行相邻帧的人脸匹配具体包括：
Figure FDA0002173714120000032
其中：T为匹配模板，S为图像矩阵，D为(i，j)处的匹配结果。
8.根据权利要求1所述一种基于无人机航拍的人脸实时检测识别方法，其特征在于，所述S12中归一化积相关算法处理具体过程：
Figure FDA0002173714120000033
其中：E(Si，j)为(i，j)处子图的平均灰度值，E(T)为模板的平均灰度值，M*N为匹配模板大小，T为匹配模板。
CN201910771567.1A 2019-08-21 2019-08-21 一种基于无人机航拍的人脸实时检测识别方法 Pending CN110647813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910771567.1A CN110647813A (zh) 2019-08-21 2019-08-21 一种基于无人机航拍的人脸实时检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910771567.1A CN110647813A (zh) 2019-08-21 2019-08-21 一种基于无人机航拍的人脸实时检测识别方法

Publications (1)

Publication Number Publication Date
CN110647813A true CN110647813A (zh) 2020-01-03

Family

ID=69009705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910771567.1A Pending CN110647813A (zh) 2019-08-21 2019-08-21 一种基于无人机航拍的人脸实时检测识别方法

Country Status (1)

Country Link
CN (1) CN110647813A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112229845A (zh) * 2020-10-12 2021-01-15 国网河南省电力公司濮阳供电公司 基于视觉导航技术的无人机高精度饶塔智能巡检方法
CN112418117A (zh) * 2020-11-27 2021-02-26 北京工商大学 一种基于无人机图像的小目标检测方法
CN114299596A (zh) * 2022-03-09 2022-04-08 深圳联和智慧科技有限公司 智慧城市人脸识别匹配方法、***及云平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107390722A (zh) * 2017-07-28 2017-11-24 上海瞬动科技有限公司合肥分公司 一种无人机飞行角度智能控制方法
CN107784288A (zh) * 2017-10-30 2018-03-09 华南理工大学 一种基于深度神经网络的迭代定位式人脸检测方法
CN109063593A (zh) * 2018-07-13 2018-12-21 北京智芯原动科技有限公司 一种人脸跟踪方法及装置
CN110008919A (zh) * 2019-04-09 2019-07-12 南京工业大学 基于视觉的四旋翼无人机人脸识别***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107390722A (zh) * 2017-07-28 2017-11-24 上海瞬动科技有限公司合肥分公司 一种无人机飞行角度智能控制方法
CN107784288A (zh) * 2017-10-30 2018-03-09 华南理工大学 一种基于深度神经网络的迭代定位式人脸检测方法
CN109063593A (zh) * 2018-07-13 2018-12-21 北京智芯原动科技有限公司 一种人脸跟踪方法及装置
CN110008919A (zh) * 2019-04-09 2019-07-12 南京工业大学 基于视觉的四旋翼无人机人脸识别***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
余丹: "基于卷积神经网络的图像识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
李楠: "基于多尺度梯度相角的人脸图像对称性检测与定位", 《小型微型计算机***》 *
沈沛意等: "《DAVINCI技术剖析及实战应用开发指南》", 30 April 2012 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112229845A (zh) * 2020-10-12 2021-01-15 国网河南省电力公司濮阳供电公司 基于视觉导航技术的无人机高精度饶塔智能巡检方法
CN112418117A (zh) * 2020-11-27 2021-02-26 北京工商大学 一种基于无人机图像的小目标检测方法
CN112418117B (zh) * 2020-11-27 2023-05-12 北京工商大学 一种基于无人机图像的小目标检测方法
CN114299596A (zh) * 2022-03-09 2022-04-08 深圳联和智慧科技有限公司 智慧城市人脸识别匹配方法、***及云平台

Similar Documents

Publication Publication Date Title
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
US11882357B2 (en) Image display method and device
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、***、设备和介质
CN107194317B (zh) 一种基于网格聚类分析的暴力行为检测方法
CN110647813A (zh) 一种基于无人机航拍的人脸实时检测识别方法
CN114783003B (zh) 一种基于局部特征注意力的行人重识别方法和装置
CN111935479B (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
WO2018082308A1 (zh) 一种图像处理方法及终端
WO2022073282A1 (zh) 一种基于特征交互学习的动作识别方法及终端设备
CN111325051A (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
CN112633185A (zh) 图像处理的方法及装置
CN114463677A (zh) 一种基于全局注意力的安全帽配戴检测方法
CN110991256A (zh) 一种基于人脸特征进行年龄估计、和/或性别识别的***及方法
CN113781421A (zh) 基于水下的目标识别方法、装置及***
CN111047618B (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
WO2019228450A1 (zh) 一种图像处理方法、装置及设备、可读介质
CN117575953B (zh) 一种高分辨率林业遥感图像细节增强方法
CN114581318A (zh) 一种低照明度图像增强方法及***
CN112101260B (zh) 一种作业人员安全带识别方法、装置、设备和存储介质
CN113435367A (zh) 社交距离评估方法、装置及存储介质
CN117576461A (zh) 一种用于变电站场景的语义理解方法、介质及***
CN116778473A (zh) 基于改进的yolov5的蘑菇离线实时识别方法及***
CN110766655A (zh) 一种基于丰度的高光谱图像显著性分析方法
CN113240611B (zh) 一种基于图片序列的异物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103

RJ01 Rejection of invention patent application after publication