CN108038462A - 一种对实时视频进行人脸检测并识别的方法及装置 - Google Patents

一种对实时视频进行人脸检测并识别的方法及装置 Download PDF

Info

Publication number
CN108038462A
CN108038462A CN201711403330.5A CN201711403330A CN108038462A CN 108038462 A CN108038462 A CN 108038462A CN 201711403330 A CN201711403330 A CN 201711403330A CN 108038462 A CN108038462 A CN 108038462A
Authority
CN
China
Prior art keywords
face
video
video data
characteristic value
time video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711403330.5A
Other languages
English (en)
Inventor
叶笋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infinova Ltd
Original Assignee
Shenzhen Infinova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Ltd filed Critical Shenzhen Infinova Ltd
Priority to CN201711403330.5A priority Critical patent/CN108038462A/zh
Publication of CN108038462A publication Critical patent/CN108038462A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种对实时视频进行人脸检测并识别的方法及装置,所述方法包括步骤:从前端摄像头获取实时视频数据;将实时视频数据进行硬件解码,并对解码后的实时视频数据进行数据转换,输出YUV视频数据;把YUV视频数据转换为BGR视频数据;使用深度学习算法对BGR视频数据中的人脸进行检测并提取特征值;将人脸特征值进行哈希化,得到人脸特征哈希值;将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对,然后将人脸特征值与粗略比对结果中的人脸的特征值使用欧式距离进行精确比对;输出比对结果,如果人脸相似度高,发出报警信息;该识别方法能取代人工查找,有效的节约人力,识别到目标人脸后能够产生即时报警。

Description

一种对实时视频进行人脸检测并识别的方法及装置
技术领域
本发明涉及一种人脸检测并识别的方法及装置,尤其是指一种对实时视频进行人脸检测并识别的方法及装置。
背景技术
传统的安防需要用人工去浏览实时视频,从实时视频里的查找可能出现的目标人物,当发现目标人物时进行人工报警,但随着视频监控的范围越来越广,而且目标人物出现在监控范围的时间具有不确定性,监控视频中出现的人物的数量数量众多,单靠人工去查找视频画面目标人物需要耗费的人力物力也越来越高,人的注意力有限,在视频画面人数较多时,容易遗漏目标人物,而且复看视频所花费的时间成本也很高,靠人工出查找到目标人物的可靠性并不高,因此,需要提供一种能够对实时视频进行人脸检测并识别的方法及装置。
发明内容
为了解决上述技术问题,本发明采用的技术方案为:一种对实时视频进行人脸检测并识别的方法,包括步骤,
S10)、从前端摄像头获取实时视频数据;
S20)、将实时视频数据进行硬件解码,并对解码后的实时视频数据进行数据转换,输出YUV视频数据;
S30)、把YUV视频数据转换为BGR视频数据;
S40)、使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值;
S50)、将人脸特征值进行哈希化,得到人脸特征哈希值;
S60)、将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对,然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比;
S70)、输出比对结果,如果人脸相似度高,发出报警信息;
所述步骤S10包括,
S11)、读取前端摄像头的配置文件,获得对应通道的配置信息;
S12)、通过预配置的用户名和用户密码,登录前端摄像头;
S13)、向前端摄像头发送获取实时视频数据的请求信息;
S14)、前端摄像头接收到请求信息后,发送实时视频数据;
S15)、根据视频头信息计算要接收的视频数据大小,接收对应数量的视频数据;
S16)、将接收到的视频数据放进智能指针所指向的缓冲区,然后将智能指针放入视频指针链表;
所述步骤S40包括,
S41)、识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标,所述人脸关键点包括,左眼、右眼、鼻尖、左嘴角、右嘴角;
S42)、根据人脸的位置坐标与人脸关键点的位置坐标,通过仿射变换裁剪图片,得到人脸图片;
S43)、使用深度学习算法从所述人脸图片中提取人脸特征值;
所述步骤S60包括,
S61)、将人脸特征哈希值与人脸库中的人脸特征哈希值使用海明距离进行粗略比对,海明距离小于设定的阈值既为满足条件的人脸特征哈希值;
S62)、将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对,如果欧式距离小于设定的阈值,则判断为人脸相似度高。
进一步的,对实时视频进行人脸检测并识别的方法,还包括先用已知人物的人脸图片检测人脸,然后提取特征值,然后哈希化得到特征哈希值,再把特征值以及特征哈希值添加入人脸库中的步骤。
进一步的,所述配置信息包括前端摄像头的IP、用户名和用户密码。
进一步的,所述步骤S20包括,
S21)、初始化硬解码参数,将YUV视频数据的图像格式设定为I420,解码的视频格式设定为h264或h265;
S22)、创建一个视频解码实例,设置要解码的实时视频数据的格式;
S23)、创建一个视频转换实例,设置事件回调函数;
S24)、从视频指针链表中弹出视频智能指针,然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码;
S25)、对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。
为了解决上述技术问题,本发明采用的另一技术方案为:一种对实时视频进行人脸检测并识别的装置,包括,
实时视频获取模块,用于从前端摄像头获取实时视频数据;
视频解码模块,用于将实时视频数据进行硬件解码,并对解码后的实时视频数据进行数据转换,输出YUV视频数据,而后转到数据转换模块;
数据转换模块,用于把YUV视频数据转换为BGR视频数据,而后转到检测并提取特征值模块;
检测并提取特征值模块,用于使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值,而后转到人脸特征值哈希化模块;
人脸特征值哈希化模块,用于将人脸特征值进行哈希化,得到人脸特征哈希值,而后转到人脸特征值比对模块;
人脸特征值比对模块,用于将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对,然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比,而后转到结果输出模块;
结果输出模块,用于输出比对结果,如果人脸相似度高,发出报警信息;
所述实时视频获取模块包括,
配置信息获取单元,用于读取前端摄像头的配置文件,获得对应通道的配置信息;
摄像头登录单元,用于通过预配置的用户名和用户密码,登录前端摄像头;
视频数据请求单元,用于向前端摄像头发送获取实时视频数据的请求信息;
前端摄像头,用于接收到请求信息后,发送实时视频数据;
视频接收单元,用于根据视频头信息计算要接收的视频数据大小,接收对应数量的视频数据;
智能指针单元,用于将接收到的视频数据放进智能指针所指向的缓冲区,然后将智能指针放入视频指针链表;
所述检测识别模块包括,
人脸识别单元,用于识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标,所述人脸关键点包括,左眼、右眼、鼻尖、左嘴角、右嘴角,而后转到图片裁剪单元;
图片裁剪单元,用于根据人脸的位置坐标与人脸关键点的位置坐标,通过仿射变换裁剪图片,得到人脸图片,而后转到人脸特征提取单元;
人脸特征提取单元,用于使用深度学习算法从所述人脸图片中提取人脸特征值;
所述人脸特征值比对模块包括,
海明距离比对单元,用于将人脸特征哈希值与人脸库中人脸特征哈希值使用海明距离进行比对,海明距离小于设定的阈值既为满足条件的人脸特征哈希值,而后转到欧式距离比对单元;
欧式距离比对单元,用于将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对,如果欧式距离小于设定的阈值,则判断为人脸相似度高。
进一步的,对实时视频进行人脸检测并识别的装置,还包括人脸特征添加模块,用于先用已知人物的人脸图片检测人脸,然后提取特征值,然后哈希化得到特征哈希值,再把特征值以及特征哈希值添加入人脸库中。
进一步的,所述配置信息获取单元获取的配置信息包括,前端摄像头的IP、用户名和用户密码。
进一步的,所述视频解码模块包括,
参数初始化单元,用于初始化硬解码参数,将YUV视频数据的图像格式设定为I420,解码的视频格式设定为h264或h265,而后转到解码实例创建单元;
解码实例创建单元,用于创建一个视频解码实例,设置要解码的实时视频数据的格式,而后转到转换实例创建单元;
转换实例创建单元,用于创建一个视频转换实例,设置事件回调函数,而后转到智能指针弹出单元;
智能指针弹出单元,用于从视频指针链表中弹出视频智能指针,然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码,而后转到分辨率缩放单元;
分辨率缩放单元,用于对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。
本发明的有益效果在于:通过读取前端摄像头的视频数据,然后进行硬解码,在解码后进行视频智能分析,通过人脸检测算法检测出人脸位置坐标,提取人脸关键点的特征值,然后把提取的人脸的特征值跟人脸库的人脸特征值进行比对,能够快速对人脸进行识别,如果检测识别到的人脸与待识别的人脸相似度高,则发出报警信息。该识别方法能取代人工查找,有效的节约人力,并极大提高了在实时视频中查找目标人物的速度。
附图说明
下面结合附图详述本发明的具体结构
图1为本发明的方法流程图;
图2为本发明的装置模块框图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果,以下结合实施方式并配合附图详予说明。
参考图1,一种对实时视频进行人脸检测并识别的方法,包括步骤,
S10)、从前端摄像头获取实时视频数据;
S20)、将实时视频数据进行硬件解码,并对解码后的实时视频数据进行数据转换,输出YUV视频数据;
S30)、把YUV视频数据转换为BGR视频数据;
S40)、使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值;
S50)、将人脸特征值进行哈希化,得到人脸特征哈希值;
S60)、将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对,然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比;
S70)、输出比对结果,如果人脸相似度高,发出报警信息;
所述步骤S10包括,
S11)、读取前端摄像头的配置文件,获得对应通道的配置信息;
S12)、通过预配置的用户名和用户密码,登录前端摄像头;
S13)、向前端摄像头发送获取实时视频数据的请求信息;
S14)、前端摄像头接收到请求信息后,发送实时视频数据;
S15)、根据视频头信息计算要接收的视频数据大小,接收对应数量的视频数据;
S16)、将接收到的视频数据放进智能指针所指向的缓冲区,然后将智能指针放入视频指针链表;
所述步骤S40包括,
S41)、识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标,所述人脸关键点包括,左眼、右眼、鼻尖、左嘴角、右嘴角;
S42)、根据人脸的位置坐标与人脸关键点的位置坐标,通过仿射变换裁剪图片,得到人脸图片;
S43)、使用深度学习算法从所述人脸图片中提取人脸特征值;
所述步骤S60包括,
S61)、将人脸特征哈希值与人脸库中的人脸特征哈希值使用海明距离进行比对,海明距离小于设定的阈值既为满足条件的人脸特征哈希值;
S62)、将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对,如果欧式距离小于设定的阈值,则判断为人脸相似度高。
本发明的有益效果在于:通过读取前端摄像头的视频数据,然后进行硬解码,在解码后进行视频智能分析,通过人脸检测算法检测出人脸位置坐标,提取人脸的特征值,然后把提取的人脸的特征值跟人脸库的人脸特征值进行比对,能够快速对人脸进行识别,如果检测识别到的人脸与人脸库里的人脸相似度高,则发出报警信息。该识别方法能取代人工查找,有效的节约人力,并极大提高了在实时视频中查找目标人物的速度。
实施例一
进一步的,对实时视频进行人脸检测并识别的方法,还包括先用已知人物的人脸图片检测人脸,然后提取特征值,然后哈希化得到特征哈希值,再把特征值以及特征哈希值添加入人脸库中的步骤。
通过这种方法,建立一个人脸库,将人脸的特征值,人脸特征哈希值添加到人脸库中,用于与实时视频数据中的人脸进行对比识别,人脸库中的人脸的数目为一个或一个以上,人脸可以为不同角度人脸,能够有效提高人脸特征比对的准确率。
实施例二
进一步的,所述配置信息包括前端摄像头的IP、用户名和用户密码。IP地址用于确定摄像头的地址,用户名和用户密码预先设置好,需要登录前端摄像头时,直接加载就可登录摄像头,避免重复输入用户名和用户密码的流程。
实施例三
进一步的,所述步骤S20包括,
S21)、初始化硬解码参数,将YUV视频数据的图像格式设定为I420,解码的视频格式设定为h264或h265;
S22)、创建一个视频解码实例,设置要解码的实时视频数据的格式;
S23)、创建一个视频转换实例,设置事件回调函数;
S24)、从视频指针链表中弹出视频智能指针,然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码;
S25)、对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。
该方法设定好解码参数,通过对视频智能指针指向的实时视频数据进行解码,对解码后的YUV视频数据进行分辨率进行缩放,减少后期对视频数据进行智能分析所占用的开销(包括CPU开销、GPU开销)。
参考图2,本发明采用的另一技术方案为:一种对实时视频进行人脸检测并识别的装置,包括,
实时视频获取模块,用于从前端摄像头获取实时视频数据;
视频解码模块,用于将实时视频数据进行硬件解码,并对解码后的实时视频数据进行数据转换,输出YUV视频数据,而后转到数据转换模块;
数据转换模块,用于把YUV视频数据转换为BGR视频数据,而后转到检测并提取特征值模块;
检测并提取特征值模块,用于使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值,而后转到人脸特征值哈希化模块;
人脸特征值哈希化模块,用于将人脸特征值进行哈希化,得到人脸特征哈希值,而后转到人脸特征值比对模块;
人脸特征值比对模块,用于将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对,然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比,而后转到结果输出模块;
结果输出模块,用于输出比对结果,如果人脸相似度高,发出报警信息;
所述实时视频获取模块包括,
配置信息获取单元,用于读取前端摄像头的配置文件,获得对应通道的配置信息;
摄像头登录单元,用于通过预配置的用户名和用户密码,登录前端摄像头;
视频数据请求单元,用于向前端摄像头发送获取实时视频数据的请求信息;
前端摄像头,用于接收到请求信息后,发送实时视频数据;
视频接收单元,用于根据视频头信息计算要接收的视频数据大小,接收对应数量的视频数据;
智能指针单元,用于将接收到的视频数据放进智能指针所指向的缓冲区,然后将智能指针放入视频指针链表;
所述检测识别模块包括,
人脸识别单元,用于识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标,所述人脸关键点包括,左眼、右眼、鼻尖、左嘴角、右嘴角,而后转到图片裁剪单元;
图片裁剪单元,用于根据人脸的位置坐标与人脸关键点的位置坐标,通过仿射变换裁剪图片,得到人脸图片,而后转到人脸特征提取单元;
人脸特征提取单元,用于使用深度学习算法从所述人脸图片中提取人脸特征值;
所述人脸特征值比对模块包括,
海明距离比对单元,用于将人脸特征哈希值与人脸库中人脸特征哈希值使用海明距离进行比对,海明距离小于设定的阈值既为满足条件的人脸特征哈希值,而后转到欧式距离比对单元;
欧式距离比对单元,用于将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对,如果欧式距离小于设定的阈值,则判断为人脸相似度高。
本发明通过读取前端摄像头的视频数据,然后进行硬解码,在解码后进行视频智能分析,通过人脸检测算法检测出人脸位置坐标,提取人脸的特征值,然后把提取的人脸特征值跟人脸库的人脸特征值进行比对,能够快速对人脸进行识别,如果检测识别到的人脸与人脸库里的人脸相似度高,则发出报警信息。该识别方法能取代人工查找,有效的节约人力,并极大提高了在实时视频中查找目标人物的速度。
实施例四
进一步的,对实时视频进行人脸检测并识别的装置,还包括人脸特征添加模块,用于先用已知人物的人脸图片检测人脸,然后提取特征值,然后哈希化得到特征哈希值,再把特征值以及特征哈希值添加入人脸库中。
通过这种方法,建立一个人脸库,将人脸的特征值,人脸特征哈希值添加到人脸库中,用于与实时视频数据中的人脸进行对比识别,人脸库中已知人物的人脸的数目为一个或一个以上,人脸可以为不同角度人脸,能够有效提高人脸特征比对的准确率。
实施例五
进一步的,所述配置信息获取单元获取的配置信息包括,前端摄像头的IP、用户名和用户密码。IP地址用于确定摄像头的地址,用户名和用户密码预先设置好,需要登录前端摄像头时,直接加载就可登录摄像头,避免重复输入用户名和用户密码的流程。
实施例六
进一步的,所述视频解码模块包括,
参数初始化单元,用于初始化硬解码参数,将YUV视频数据的图像格式设定为I420,解码的视频格式设定为h264或h265,而后转到解码实例创建单元;
解码实例创建单元,用于创建一个视频解码实例,设置要解码的实时视频数据的格式,而后转到转换实例创建单元;
转换实例创建单元,用于创建一个视频转换实例,设置事件回调函数,而后转到智能指针弹出单元;
智能指针弹出单元,用于从视频指针链表中弹出视频智能指针,然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码,而后转到分辨率缩放单元;
分辨率缩放单元,用于对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。
该方法设定好解码参数,对视频智能指针指向的实时视频数据进行解码,对解码后的YUV视频数据进行分辨率进行缩放,减少后期对YUV视频数据进行智能分析所需要的CPU开销和GPU开销。
综上所述本发明采通过读取前端摄像头的视频数据,读取的视频数据放入智能指针所指向的缓冲区,对智能指针指向的实时视频数据进行解码,对解码后的YUV视频数据进行分辨率进行缩放,减少后期对YUV视频数据进行智能分析所需要的CPU开销和GPU开销,在解码后进行视频智能分析,通过人脸检测算法检测出人脸位置坐标,提取人脸的特征值,然后把提取的人脸特征值跟人脸库的人脸特征值进行比对,能够快速对人脸进行识别,如果检测识别到的人脸与人脸库里的人脸相似度高,则发出报警信息。该识别方法能取代人工查找,有效的节约人力,并极大提高了在实时视频中查找目标人物的速度。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种对实时视频进行人脸检测并识别的方法,其特征在于:包括步骤,
S10)、从前端摄像头获取实时视频数据;
S20)、将实时视频数据进行硬件解码,并对解码后的实时视频数据进行数据转换,输出YUV视频数据;
S30)、把YUV视频数据转换为BGR视频数据;
S40)、使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值;
S50)、将人脸特征值进行哈希化,得到人脸特征哈希值;
S60)、将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对,然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比;
S70)、输出比对结果,如果人脸相似度高,发出报警信息;
所述步骤S10包括,
S11)、读取前端摄像头的配置文件,获得对应通道的配置信息;
S12)、通过预配置的用户名和用户密码,登录前端摄像头;
S13)、向前端摄像头发送获取实时视频数据的请求信息;
S14)、前端摄像头接收到请求信息后,发送实时视频数据;
S15)、根据视频头信息计算要接收的视频数据大小,接收对应数量的视频数据;
S16)、将接收到的视频数据放进智能指针所指向的缓冲区,然后将智能指针放入视频指针链表;
所述步骤S40包括,
S41)、识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标,所述人脸关键点包括,左眼、右眼、鼻尖、左嘴角、右嘴角;
S42)、根据人脸的位置坐标与人脸关键点的位置坐标,通过仿射变换裁剪图片,得到人脸图片;
S43)、使用深度学习算法从所述人脸图片中提取人脸特征值;
所述步骤S60包括,
S61)、将人脸特征哈希值与人脸库中的人脸特征哈希值使用海明距离进行比对,海明距离小于设定的阈值既为满足条件的人脸特征哈希值;
S62)、将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对,如果欧式距离小于设定的阈值,则判断为人脸相似度高。
2.如权利要求1所述的对实时视频进行人脸检测并识别的方法,其特征在于:还包括先用已知人物的人脸图片检测人脸,然后提取特征值,然后哈希化得到特征哈希值,再把特征值以及特征哈希值添加入人脸库中的步骤。
3.如权利要求1所述的对实时视频进行人脸检测并识别的方法,其特征在于:所述配置信息包括前端摄像头的IP、用户名和用户密码。
4.如权利要求1所述的对实时视频进行人脸检测并识别的方法,其特征在于:所述步骤S20包括,
S21)、初始化硬解码参数,将YUV视频数据的图像格式设定为I420,解码的视频格式设定为h264或h265;
S22)、创建一个视频解码实例,设置要解码的实时视频数据的格式;
S23)、创建一个视频转换实例,设置事件回调函数;
S24)、从视频指针链表中弹出视频智能指针,然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码;
S25)、对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。
5.一种对实时视频进行人脸检测并识别的装置,其特征在于:包括,
实时视频获取模块,用于从前端摄像头获取实时视频数据;
视频解码模块,用于将实时视频数据进行硬件解码,并对解码后的实时视频数据进行数据转换,输出YUV视频数据,而后转到数据转换模块;
数据转换模块,用于把YUV视频数据转换为BGR视频数据,而后转到检测并提取特征值模块;
检测并提取特征值模块,用于使用人脸检测算法检测对BGR视频数据中的人脸进行检测并提取特征值,而后转到人脸特征值哈希化模块;
人脸特征值哈希化模块,用于将人脸特征值进行哈希化,得到人脸特征哈希值,而后转到人脸特征值比对模块;
人脸特征值比对模块,用于将人脸特征哈希值与预先建立的人脸库中的人脸特征哈希值使用海明距离进行粗略比对,然后将人脸特征值与粗略对比结果中的人脸的人脸特征值使用欧式距离进行精确对比,而后转到结果输出模块;
结果输出模块,用于输出比对结果,如果人脸相似度高,发出报警信息;
所述实时视频获取模块包括,
配置信息获取单元,用于读取前端摄像头的配置文件,获得对应通道的配置信息;
摄像头登录单元,用于通过预配置的用户名和用户密码,登录前端摄像头;
视频数据请求单元,用于向前端摄像头发送获取实时视频数据的请求信息;
前端摄像头,用于接收到请求信息后,发送实时视频数据;
视频接收单元,用于根据视频头信息计算要接收的视频数据大小,接收对应数量的视频数据;
智能指针单元,用于将接收到的视频数据放进智能指针所指向的缓冲区,然后将智能指针放入视频指针链表;
所述检测识别模块包括,
人脸识别单元,用于识别视频中的人脸的个数、人脸的位置坐标以及人脸关键点的位置坐标,所述人脸关键点包括,左眼、右眼、鼻尖、左嘴角、右嘴角,而后转到图片裁剪单元;
图片裁剪单元,用于根据人脸的位置坐标与人脸关键点的位置坐标,通过仿射变换裁剪图片,得到人脸图片,而后转到人脸特征提取单元;
人脸特征提取单元,用于使用深度学习算法从所述人脸图片中提取人脸特征值;
所述人脸特征值比对模块包括,
海明距离比对单元,用于将人脸特征哈希值与人脸库中人脸特征哈希值使用海明距离进行粗略比对,海明距离小于设定的阈值既为满足条件的人脸特征哈希值,而后转到欧式距离比对单元;
欧式距离比对单元,用于将人脸特征值跟粗略比对结果中的人脸的特征值使用欧式距离进行精确比对,如果欧式距离小于设定的阈值,则判断为人脸相似度高。
6.如权利要求5所述的对实时视频进行人脸检测并识别的装置,其特征在于:还包括人脸特征添加模块,用于先用已知人物的人脸图片检测人脸,然后提取特征值,然后哈希化得到特征哈希值,再把特征值以及特征哈希值添加入人脸库中。
7.如权利要求5所述的对实时视频进行人脸检测并识别的装置,其特征在于:所述配置信息获取单元获取的配置信息包括,前端摄像头的IP、用户名和用户密码。
8.如权利要求5所述的对实时视频进行人脸检测并识别的装置,其特征在于:所述视频解码模块包括,
参数初始化单元,用于初始化硬解码参数,将YUV视频数据的图像格式设定为I420,解码的视频格式设定为h264或h265,而后转到解码实例创建单元;
解码实例创建单元,用于创建一个视频解码实例,设置要解码的实时视频数据的格式,而后转到转换实例创建单元;
转换实例创建单元,用于创建一个视频转换实例,设置事件回调函数,而后转到智能指针弹出单元;
智能指针弹出单元,用于从视频指针链表中弹出视频智能指针,然后把智能指针指向的h264或h265视频数据送进视频解码模块进行硬解码,而后转到分辨率缩放单元;
分辨率缩放单元,用于对解码后的YUV视频数据使用ffmpeg进行分辨率缩放。
CN201711403330.5A 2017-12-22 2017-12-22 一种对实时视频进行人脸检测并识别的方法及装置 Pending CN108038462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711403330.5A CN108038462A (zh) 2017-12-22 2017-12-22 一种对实时视频进行人脸检测并识别的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711403330.5A CN108038462A (zh) 2017-12-22 2017-12-22 一种对实时视频进行人脸检测并识别的方法及装置

Publications (1)

Publication Number Publication Date
CN108038462A true CN108038462A (zh) 2018-05-15

Family

ID=62100430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711403330.5A Pending CN108038462A (zh) 2017-12-22 2017-12-22 一种对实时视频进行人脸检测并识别的方法及装置

Country Status (1)

Country Link
CN (1) CN108038462A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769581A (zh) * 2018-05-24 2018-11-06 南京邮电大学 一种面向公共服务的移动车载监控***
CN109214358A (zh) * 2018-09-30 2019-01-15 天津天地伟业电子工业制造有限公司 一种通过usb摄像头进行图像采集检测的方法
CN109446946A (zh) * 2018-10-15 2019-03-08 浙江工业大学 一种基于多线程的多摄像头实时检测方法
CN109783692A (zh) * 2019-01-08 2019-05-21 深圳英飞拓科技股份有限公司 一种快数据和慢数据结合的目标特征码比对方法和装置
CN115553709A (zh) * 2022-10-28 2023-01-03 南京尚哲智能科技有限公司 一种自动化智能视力检测***及方法
CN115859247A (zh) * 2023-02-20 2023-03-28 中国信息通信研究院 密码安全验证方法和装置、电子设备、可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394460A (zh) * 2014-11-24 2015-03-04 深圳市华宝电子科技有限公司 音视频文件定位方法及装置
CN105046217A (zh) * 2015-07-06 2015-11-11 江苏先发信息科技有限公司 一种人脸识别大数据量并发方案处理方法
CN105979218A (zh) * 2016-06-13 2016-09-28 中南大学 一种高清实时监控视频高效传输方法
CN106169067A (zh) * 2016-07-01 2016-11-30 恒东信息科技无锡有限公司 一种高通量警用动态人脸采集比对方法及***
CN107341507A (zh) * 2017-06-20 2017-11-10 华中科技大学 一种基于gpu与级联哈希的快速图像sift特征匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394460A (zh) * 2014-11-24 2015-03-04 深圳市华宝电子科技有限公司 音视频文件定位方法及装置
CN105046217A (zh) * 2015-07-06 2015-11-11 江苏先发信息科技有限公司 一种人脸识别大数据量并发方案处理方法
CN105979218A (zh) * 2016-06-13 2016-09-28 中南大学 一种高清实时监控视频高效传输方法
CN106169067A (zh) * 2016-07-01 2016-11-30 恒东信息科技无锡有限公司 一种高通量警用动态人脸采集比对方法及***
CN107341507A (zh) * 2017-06-20 2017-11-10 华中科技大学 一种基于gpu与级联哈希的快速图像sift特征匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
严严 等.: "基于深度学习的人脸分析研究进展", 《厦门大学学报(自然科学版)》 *
李慧贞 等.: "基于WinCE6.0智能手机视频监控终端软件设计", 《计算机测量与控制》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769581A (zh) * 2018-05-24 2018-11-06 南京邮电大学 一种面向公共服务的移动车载监控***
CN109214358A (zh) * 2018-09-30 2019-01-15 天津天地伟业电子工业制造有限公司 一种通过usb摄像头进行图像采集检测的方法
CN109446946A (zh) * 2018-10-15 2019-03-08 浙江工业大学 一种基于多线程的多摄像头实时检测方法
CN109446946B (zh) * 2018-10-15 2022-03-18 浙江工业大学 一种基于多线程的多摄像头实时检测方法
CN109783692A (zh) * 2019-01-08 2019-05-21 深圳英飞拓科技股份有限公司 一种快数据和慢数据结合的目标特征码比对方法和装置
CN109783692B (zh) * 2019-01-08 2021-12-31 深圳英飞拓科技股份有限公司 一种快数据和慢数据结合的目标特征码比对方法和装置
CN115553709A (zh) * 2022-10-28 2023-01-03 南京尚哲智能科技有限公司 一种自动化智能视力检测***及方法
CN115859247A (zh) * 2023-02-20 2023-03-28 中国信息通信研究院 密码安全验证方法和装置、电子设备、可读存储介质
CN115859247B (zh) * 2023-02-20 2023-08-15 中国信息通信研究院 密码安全验证方法和装置、电子设备、可读存储介质

Similar Documents

Publication Publication Date Title
CN108038462A (zh) 一种对实时视频进行人脸检测并识别的方法及装置
CN109344787B (zh) 一种基于人脸识别与行人重识别的特定目标跟踪方法
CN110008797B (zh) 一种多摄像机多人脸视频接续采集方法
CN105550257B (zh) 一种音视频指纹识别方法及一种基于音视频指纹流媒体的防篡改***
Deniz et al. Fast violence detection in video
CN105681898B (zh) 一种相似视频和盗版视频的检测方法及装置
CN105574506A (zh) 基于深度学习和大规模集群的智能人脸追逃***及方法
CN105590097B (zh) 暗视觉条件下双摄像头协同实时人脸识别安防***及方法
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN105681899B (zh) 一种相似视频和盗版视频的检测方法及装置
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
US8266174B2 (en) Behavior history retrieval apparatus and behavior history retrieval method
CN105069408A (zh) 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN108364374A (zh) 基于深度学习的人脸门禁控制装置及方法
CN107153820A (zh) 一种面向高噪声的人脸识别及运动轨迹判别方法
CN108282460B (zh) 一种面向网络安全事件的证据链生成方法及装置
CN106454385B (zh) 视频帧篡改检测方法
CN108280953A (zh) 视频侦测报警方法及装置、存储介质、摄像头
CN111767823A (zh) 一种睡岗检测方法、装置、***及存储介质
Raghavendra et al. Robust 2D/3D face mask presentation attack detection scheme by exploring multiple features and comparison score level fusion
CN108052915A (zh) 一种对录像视频进行人脸检测并识别的方法及装置
CN111144260A (zh) 一种翻越闸机的检测方法、装置及***
CN113554682B (zh) 一种基于目标跟踪的安全帽检测方法
CN114973135A (zh) 一种基于头肩的时序视频睡岗识别方法、***及电子设备
CN111797802B (zh) 一种基于ai视觉的扶梯不安全行为实时预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180515