CN105187721B - 一种快速提取人像特征的证照相机及方法 - Google Patents
一种快速提取人像特征的证照相机及方法 Download PDFInfo
- Publication number
- CN105187721B CN105187721B CN201510552699.7A CN201510552699A CN105187721B CN 105187721 B CN105187721 B CN 105187721B CN 201510552699 A CN201510552699 A CN 201510552699A CN 105187721 B CN105187721 B CN 105187721B
- Authority
- CN
- China
- Prior art keywords
- region
- characteristic
- frame image
- portrait
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种快速提取人像特征的证照相机及方法,所述证照相机包括预览帧图像处理模块、人像特征提取模块和结果封装及分发模块;所述方法包括:通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据;将提取的人像特征数据结果封装为检测特征指标结果,并通过结果处理句柄将检测特征指标结果进行分发。本发明的证照相机及方法通过特征目标识别链,利用逐步缩小ROI检测区域的方式,从大到小,先整体后局部的检测流程进行人像特征检测,层层缩小检测范围,提高了检测效率;采用预览帧图像多线程运行的方式,快速提取人像特征值,使得处理方式更加流畅快速。
Description
技术领域
本发明涉及一种快速提取人像特征的证照相机及方法,属于证件照片拍摄及处理技术领域。
背景技术
人像特征提取是指在图片处理过程中提取出人像的特征信息,如人脸轮廓、眼睛、鼻子、耳朵、嘴巴、双肩等特征信息的提取。目前人像特征提取的常用方法为OpenCV(OpenSource Computer Vision Library,基于开源发行的跨平台计算机视觉库),它是一种开源的方法,但该方法对人像特征提取采用特征比对的算法,如果需要找出眼睛的特征信息,则需要将具有眼睛特征的标准数据跟整幅图像进行比对,逐渐移动像素,直到找到符合眼睛特征的区域为止,并把找到的区域的像素进行打包,封装为眼睛特征数据矩阵。如果需要找鼻子的特征信息,又需要把鼻子部分的标准数据和整幅图像从头开始进行逐渐移动像素比对,直到找到符合鼻子特征的区域为止。这样下来,所提取到人像特征需要处理大量的数据,速度很慢。另外,人像特征提取一般方式都是拍摄照片存储后,对照片进行逐帧单线程提取人像特征,这种处理方式虽然不遗漏任何一帧数据,但牺牲了大量的CPU处理时间,处理速度很慢。
然而证照相机(证照相机为专门拍摄证件照片的相机,证件照片是指如身份证、护照、香港通行证、澳门通行证、台湾通行证、出国签证、居住证、社保卡等法定证件制作使用的照片)在拍摄取景的过程中,会对人像的特征进行检测,如发现不满足证件照片拍摄要求,则实时提醒用户进行拍摄调整。因此若要满足拍摄取景时的实时检测,则需要人像特征提取速度要非常快。因此目前采用OpenCV逐帧单线程提取人像特征的处理速度不能满足证照相机的拍摄检测需求。
发明内容
本发明的目的是为了解决上述现有技术的缺陷,提供了一种快速提取人像特征的证照相机,该证照相机差采用先整体后局部的检测流程,大大减少了运算量,提高人脸特征提取速度。
本发明的另一目的在于提供一种快速提取人像特征的方法。
本发明的目的可以通过采取如下技术方案达到:
一种快速提取人像特征的证照相机,所述证照相机包括:
人像特征提取模块,用于通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据;其中,所述人像特征数据包括人脸轮廓、躯干轮廓、眼睛、耳朵、鼻子和嘴巴特征数据;
结果封装及分发模块,用于将提取的人像特征数据结果封装为检测特征指标结果,并通过结果处理句柄将检测特征指标结果进行分发。
进一步的,所述人像特征提取模块包括:
灰度图像转换子单元,用于将获取到的预览帧图像转换为灰度图像;
上半身特征数据区域检测单元,用于对灰度图像进行上半身特征数据区域检测,当检测到上半身特征数据区域时,将该区域像素信息保存为上半身区域矩形数据结构,并对灰度图像设置上半身ROI区域,记为ROIB;
人脸轮廓特征数据区域检测单元,用于对ROIB进行人脸轮廓特征数据区域检测,当检测到人脸轮廓特征数据区域时,将该区域像素信息保存为人脸轮廓区域矩形数据结构,并对灰度图像设置人脸轮廓ROI区域,记为ROIF;
双眼特征数据区域检测单元,用于对ROIF的特定区域进行双眼特征数据区域检测,当检测到双眼特征数据区域时,将该区域像素信息保存为双眼区域矩形数据结构,并获取眼睛的坐标,以眼睛的Y轴最低点为新的ROI区域顶部,对人脸轮廓特征数据区域取眼睛以下的区域,设置为鼻子目标ROI区域,记为ROIN;
双耳特征数据区域检测单元,用于对ROIF进行双耳特征数据区域检测,当检测到双耳特征数据区域时,将该区域像素信息保存为双耳区域矩形数据结构;
鼻子特征数据区域检测单元,用于对ROIN进行鼻子特征数据区域检测,当检测到鼻子特征数据区域时,将该区域像素信息保存为鼻子区域矩形数据结构,以鼻子区域矩形数据结构的底边作为新的ROI区域的顶边,对人脸轮廓特征数据区域取鼻子以下区域,设置为嘴巴目标ROI区域,记为ROIM;
嘴巴特征数据区域检测单元,用于对ROIM进行嘴巴特征数据区域检测,当检测到嘴巴特征数据区域时,将该区域像素信息保存为嘴巴区域矩形数据结构;
躯干轮廓特征数据区域获取单元,用于对ROIB的区域,裁去ROIF的区域,得到躯干轮廓特征数据区域ROIMB,将该区域像素信息保存为躯干轮廓区域矩形数据结构。
进一步的,所述人像特征提取模块还包括:
头部凸包轮廓检测单元,用于对ROIF进行边缘检测,得到头部轮廓区域范围内的信号突变边缘的线段,然后对该头部边缘线段结果进行头部凸包轮廓检测,将头部凸包轮廓检测获得的关键点的坐标存为头部轮廓数组;
躯干凸包轮廓检测单元,用于对ROIMB进行边缘检测,得到躯干轮廓区域范围内的信号突变边缘的线段,然后对该躯干边缘线段结果进行躯干凸包轮廓检测,将躯干凸包轮廓检测获得的关键点的坐标存为躯干轮廓数组;
人像轮廓形成单元,用于将头部轮廓数组和躯干轮廓数组合并在一起,形成人像轮廓数组。
进一步的,所述证照相机还包括:
预览帧图像处理模块,用于当获取当前帧图像数据时,利用预览帧图像处理句柄征询空闲控制器,若特征目标识别链处于忙状态,则预览帧图像处理句柄丢弃当前帧图像数据,等待获取下一帧图像数据;若特征目标识别链处于空闲状态,则预览帧图像处理句柄将当前帧图像数据保存到预览帧图像缓存区域,在缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作。
进一步的,所述特征目标识别链包括上半身级联分类器、人脸正面级联分类器、眼睛级联分类器、鼻子级联分类器、嘴巴级联分类器、耳朵级联分类器、躯干级联分类器。
本发明的另一目的可以通过采取如下技术方案达到:
一种快速提取人像特征的方法,应用于证照相机中,所述方法包括:
所述证照相机通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据;其中,所述人像特征数据包括人脸轮廓、躯干轮廓、眼睛、耳朵、鼻子和嘴巴特征数据;
所述证照相机将提取的人像特征数据结果封装为检测特征指标结果,并通过结果处理句柄将检测特征指标结果进行分发。
进一步的,所述证照相机通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据,包括:
将获取到的预览帧图像转换为灰度图像;
对灰度图像进行上半身特征数据区域检测,当检测到上半身特征数据区域时,将该区域像素信息保存为上半身区域矩形数据结构,并对灰度图像设置上半身ROI区域,记为ROIB;
对ROIB进行人脸轮廓特征数据区域检测,当检测到人脸轮廓特征数据区域时,将该区域像素信息保存为人脸轮廓区域矩形数据结构,并对灰度图像设置人脸轮廓ROI区域,记为ROIF;
对ROIF的特定区域进行双眼特征数据区域检测,当检测到双眼特征数据区域时,将该区域像素信息保存为双眼区域矩形数据结构,并获取眼睛的坐标,以眼睛的Y轴最低点为新的ROI区域顶部,对人脸轮廓特征数据区域取眼睛以下的区域,设置为鼻子目标ROI区域,记为ROIN;
对ROIF进行双耳特征数据区域检测,当检测到双耳特征数据区域时,将该区域像素信息保存为双耳区域矩形数据结构;
对ROIN进行鼻子特征数据区域检测,当检测到鼻子特征数据区域时,将该区域像素信息保存为鼻子区域矩形数据结构,以鼻子区域矩形数据结构的底边作为新的ROI区域的顶边,对人脸轮廓特征数据区域取鼻子以下区域,设置为嘴巴目标ROI区域,记为ROIM;
对ROIM进行嘴巴特征数据区域检测,当检测到嘴巴特征数据区域时,将该区域像素信息保存为嘴巴区域矩形数据结构;
对ROIB的区域,裁去ROIF的区域,得到躯干轮廓特征数据区域ROIMB,将该区域像素信息保存为躯干轮廓区域矩形数据结构。
进一步的,所述证照相机通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据,还包括:
对ROIF进行边缘检测,得到头部轮廓区域范围内的信号突变边缘的线段,然后对该头部边缘线段结果进行头部凸包轮廓检测,将头部凸包轮廓检测获得的关键点的坐标存为头部轮廓数组;
对ROIMB进行边缘检测,得到躯干轮廓区域范围内的信号突变边缘的线段,然后对该躯干边缘线段结果进行躯干凸包轮廓检测,将躯干凸包轮廓检测获得的关键点的坐标存为躯干轮廓数组;
将头部轮廓数组和躯干轮廓数组合并在一起,形成人像轮廓数组。
进一步的,所述方法还包括:
当获取当前帧图像数据时,所述证照相机利用预览帧图像处理句柄征询空闲控制器,若特征目标识别链处于忙状态,则预览帧图像处理句柄丢弃当前帧图像数据,等待获取下一帧图像数据;若特征目标识别链处于空闲状态,则预览帧图像处理句柄将当前帧图像数据保存到预览帧图像缓存区域,在缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作。
进一步的,所述特征目标识别链包括上半身级联分类器、人脸正面级联分类器、眼睛级联分类器、鼻子级联分类器、嘴巴级联分类器、耳朵级联分类器、躯干级联分类器。
本发明相对于现有技术具有如下的有益效果:
1、本发明的证照相机及方法通过特征目标识别链,利用逐步缩小ROI检测区域的方式,从大到小,先整体后局部的检测流程进行人像特征检测,层层缩小检测范围,从而得到人脸轮廓、躯干轮廓、眼睛、耳朵、鼻子和嘴巴等人像特征数据,弥补了现有技术采用OpenCV需要对整幅图像进行检测带来的处理效率慢的缺陷,提高了检测效率。
2、本发明的证照相机及方法采用预览帧图像多线程(如调度线程、特征识别线程等)运行的方式,在获取当前帧图像数据时,征询空闲控制器,如果特征目标识别链处于忙状态,则丢弃当前帧图像数据,等待获取下一帧图像数据;如果特征目标识别链处于空闲状态,则将当前帧图像数据保存到预览帧图像缓存区域,在预览帧图像缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作,从而快速提取人像特征值,使得处理方式更加流畅快速。
附图说明
图1为本发明实施例1的证照相机快速处理预览帧图像的示意图。
图2为本发明实施例1的证照相机利用缓存来提取人像特征的主体框架图。
图3为本发明实施例1的证照相机功能模块图。
图4为本发明实施例1的人像特征提取模块结构图。
图5为本发明实施例2的快速提取人像特征的方法流程图。
图6为本发明实施例2的凸包轮廓检测示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例1:
证照相机是安装在智能终端上的APP(Application,应用程序),它可以有Android版本和iOS版本,负责拍摄出一幅符合证件制作使用的证照原图,证照原图是指由用户通过证照相机实时拍摄所得,按照证照标准裁剪图像有用区域,且色彩、亮度、背景、人物生物特征等图像信息未经任何处理的图像数据。
而本实施例的证照相机针对的是在拍摄取景过程中的人像特征提取,采用预览帧的方式进行头像的定时捕获,在缓存区对图像进行大量的数据处理,处理过程采用快速人像特征提取处理方法,以实现快速精准地提取人脸特征,为证照相机后续的实时拍摄提醒提供数据支撑。提取技术采用OpenCV的级联分类器目标检测技术为基础,利用OpenCV的丰富函数库,针对证照人像的拍摄特点和具体要求,结合自主研发的快速特征识别方法,实现独有的人像特征提取技术。
证照相机需要充分利用预览帧图像数据,完成大量的图像处理相关运算,为提高性能,采用数据缓冲区来接收预览帧数据,并启用线程来调度对预览帧图像的处理程序。
如图1所示,证照相机启动后,设置使用数据缓冲区回调句柄对象,同时分配一个数据缓冲区对象,添加到证照相机数据缓冲区队列;数据缓冲区大小可根据预览帧图像的大小和格式计算得到:
数据缓冲区大小=预览帧图像宽度×预览帧图像高度×预览帧图像每像素位长/8。
证照相机在预览帧图像数据到达时(预览帧速率可进行设置,通常设置为15帧/s),判断数据缓冲区队列中是否有空闲的缓冲区,以及数据缓冲区是否能够容纳预览帧图像数据,如果满足条件,证照相机就执行预览帧回调对象的回调句柄方法,传递预览帧原始图像数据给预览帧图像调度线程对象,调度线程将预览帧图像数据转换为图像矩阵格式,放入预览帧图像矩阵链,此时单帧回调结束。
预览帧图像调度线程对象监视预览帧图像矩阵链队列,每当有新的矩阵对象入链后,就逐一调用预览帧图像处理句柄。其中一个句柄,是将预览帧图像显示到取景框显示屏,在调用该句柄前,可以根据其他处理句柄的处理结果,在预览帧作图对象上作图,画出表示各种处理结果(例如人脸特征位置、检测偏差提示标志等)含义的图标。
证照相机在取景阶段时,需要将调度的预览帧图像数据进行特征识别,分析识别图像内容,获得特征检测指标的结果,由于特征识别的运算量大,智能终端设备的计算能力有限,因此采用多线程的设计方法,建立证照图像特征识别线程对象。
如图2所示,证照图像特征识别线程对象向预览帧图像调度线程对象添加预览帧图像处理句柄,接收预览帧图像调度线程对象分发的预览帧图像数据;证照图像特征识别线程对象由预览帧图像处理句柄、空闲控制器、预览帧图像缓存区域、特征目标识别链、特征检测指标结果分发器等组成;当获取当前帧图像数据时,预览帧图像处理句柄征询空闲控制器,如果特征目标识别链处于忙状态,则预览帧图像处理句柄丢弃当前帧图像数据,等待获取下一帧图像数据;如果特征目标识别链处于空闲状态,则预览帧图像处理句柄将当前帧图像数据保存到预览帧图像缓存区域,此时在预览帧图像缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作。
特征目标识别链包括上半身级联分类器、人脸正面级联分类器、眼睛级联分类器、鼻子级联分类器、嘴巴级联分类器、耳朵级联分类器、躯干级联分类器,其完成目标识别后,将提取的人像特征数据结果封装为特征检测指标结果对象,由结果处理句柄分发到后续的处理模块,如人像姿态检测模块等。
因此,本实施例的证照相机具有预览帧图像处理模块、人像特征提取模块、结果封装及分发模块三大功能模块,如图3所示;所述预览帧图像处理模块、人像特征提取模块和结果封装及分发模块,具体功能如下:
所述预览帧图像处理模块,用于当获取当前帧图像数据时,利用预览帧图像处理句柄征询空闲控制器,若特征目标识别链处于忙状态,则预览帧图像处理句柄丢弃当前帧图像数据,等待获取下一帧图像数据;若特征目标识别链处于空闲状态,则预览帧图像处理句柄将当前帧图像数据保存到预览帧图像缓存区域,在预览帧图像缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作。
所述人像特征提取模块,用于通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据;其中,所述人像特征数据包括人脸轮廓、躯干轮廓、眼睛、耳朵、鼻子和嘴巴特征数据;如图4所示,该人像特征提取模块包括:
灰度图像转换单元,用于将获取到的预览帧图像转换为灰度图像;由于预览帧图像数据的格式和大小因不同智能终端有所差异,因此先将图像转为灰度图像,并保持宽高比不变,缩小图片为一定的像素(可自行设定,如480像素×640像素),对图像进行灰度化处理和缩小图片尺寸处理,是为减少处理数据量,提高特征目标识别的运行效率。
上半身特征数据区域检测单元,用于对灰度图像进行上半身特征数据区域检测,当检测到上半身特征数据区域时,将该区域像素信息保存为上半身区域矩形数据结构,并对灰度图像设置上半身ROI区域(region of interest,即感兴趣区域,机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域),记为ROIB;设置ROI区域作用是:1)限制目标检测是在较小的范围内,有利于提高以提高检测效率;2)限制目标检测的范围,能有效的降低误检率。
人脸轮廓特征数据区域检测单元,用于对ROIB进行人脸轮廓特征数据区域检测,当检测到人脸轮廓特征数据区域时,将该区域像素信息保存为人脸轮廓区域矩形数据结构,并对灰度图像设置人脸轮廓ROI区域,记为ROIF;
双眼特征数据区域检测单元,用于对ROIF的特定区域进行双眼特征数据区域检测(因为人脸中眼睛、鼻子、耳朵、嘴巴的位置是相对固定的),当检测到双眼特征数据区域时,将该区域像素信息保存为双眼区域矩形数据结构,并获取眼睛的坐标,以眼睛的Y轴最低点(即双眼中坐标最靠近图像底部的点)为新的ROI区域顶部,对人脸轮廓特征数据区域取眼睛以下的区域,设置为鼻子目标ROI区域,记为ROIN;
双耳特征数据区域检测单元,用于对ROIF进行双耳特征数据区域检测,当检测到双耳特征数据区域时,将该区域像素信息保存为双耳区域矩形数据结构(结果为两个矩形数据结构,如果某侧耳朵不存在则没有对应的矩形数据结构);
鼻子特征数据区域检测单元,用于对ROIN进行鼻子特征数据区域检测,当检测到鼻子特征数据区域时,将该区域像素信息保存为鼻子区域矩形数据结构(如果没有检测到,则结果为空),以鼻子区域矩形数据结构的底边作为新的ROI区域的顶边,对人脸轮廓特征数据区域取鼻子以下区域,设置为嘴巴目标ROI区域,记为ROIM;
嘴巴特征数据区域检测单元,用于对ROIM进行嘴巴特征数据区域检测,当检测到嘴巴特征数据区域时,将该区域像素信息保存为嘴巴区域矩形数据结构(如果没有检测到,则结果为空);
躯干轮廓特征数据区域获取单元,用于对ROIB的区域,裁去ROIF的区域,得到躯干轮廓特征数据区域ROIMB,将该区域像素信息保存为躯干轮廓区域矩形数据结构。
头部凸包轮廓检测单元,用于对ROIF进行边缘检测,得到头部轮廓区域范围内的信号突变边缘的线段(实际上是一组坐标点),然后对该头部边缘线段结果进行头部凸包轮廓检测,将头部凸包轮廓检测获得的关键点的坐标存为头部轮廓数组;
躯干凸包轮廓检测单元,用于对ROIMB进行边缘检测,得到躯干轮廓区域范围内的信号突变边缘的线段(实际上是一组坐标点),然后对该躯干边缘线段结果进行躯干凸包轮廓检测,将躯干凸包轮廓检测获得的关键点的坐标存为躯干轮廓数组;
人像轮廓形成单元,用于将头部轮廓数组和躯干轮廓数组合并在一起,形成人像轮廓数组。
所述结果封装及分发模块,用于将提取的人像特征数据结果封装为检测特征指标结果,并通过结果处理句柄将检测特征指标结果进行分发。
实施例2:
如图5所示,本实施例提供了一种快速提取人像特征的方法,该方法应用于证照相机中,包括以下步骤:
S1、当获取当前帧图像数据时,利用预览帧图像处理句柄征询空闲控制器,若特征目标识别链处于忙状态,则预览帧图像处理句柄丢弃当前帧图像数据,等待获取下一帧图像数据;若特征目标识别链处于空闲状态,则预览帧图像处理句柄将当前帧图像数据保存到预览帧图像缓存区域,在预览帧图像缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作,进入步骤S2;
S2、特征目标识别链接收到预览帧图像数据后,将预览帧图像转换为灰度图像,进入步骤S3;
S3、对灰度图像进行上半身特征数据区域检测,如果没有符合上半身的特征数据区域,则特征目标识别链终止,并发出目标不存在的结果;如果检测到上半身特征数据区域,将该区域像素信息保存为上半身区域矩形数据结构,并对灰度图像设置上半身ROI区域,记为ROIB,进入步骤S4;
S4、对ROIB进行人脸轮廓特征数据区域检测,如果没有符合人脸轮廓特征数据区域,特征目标识别链终止,并发出目标不存在的结果;如果检测到人脸轮廓特征数据区域,将该区域像素信息保存为人脸轮廓区域矩形数据结构,并对灰度图像设置人脸轮廓ROI区域,记为ROIF,进入步骤S5;
S5、对ROIF的特定区域进行双眼特征数据区域检测,如果检测到双眼特征数据区域,将该区域像素信息保存为双眼区域矩形数据结构,并获取眼睛的坐标,以眼睛的Y轴最低点为新的ROI区域顶部,对人脸轮廓特征数据区域取眼睛以下的区域,设置为鼻子目标ROI区域,记为ROIN;
S6、对ROIF进行双耳特征数据区域检测,若检测到双耳特征数据区域,将该区域像素信息保存为双耳区域矩形数据结构;
S7、对ROIN进行鼻子特征数据区域检测,若检测到鼻子特征数据区域,将该区域像素信息保存为鼻子区域矩形数据结构,以鼻子区域矩形数据结构的底边作为新的ROI区域的顶边,对人脸轮廓特征数据区域取鼻子以下区域,设置为嘴巴目标ROI区域,记为ROIM;
S8、对ROIM进行嘴巴特征数据区域检测,若检测到嘴巴特征数据区域时,将该区域像素信息保存为嘴巴区域矩形数据结构;
S9、对ROIB的区域,裁去ROIF的区域,得到躯干轮廓特征数据区域ROIMB,将该区域像素信息保存为躯干轮廓区域矩形数据结构;
S10、对ROIF进行边缘检测,得到头部轮廓区域范围内的信号突变边缘的线段,然后对该头部边缘线段结果进行头部凸包轮廓检测,将头部凸包轮廓检测获得的关键点的坐标存为头部轮廓数组;对ROIMB进行边缘检测,得到躯干轮廓区域范围内的信号突变边缘的线段,然后对该躯干边缘线段结果进行躯干凸包轮廓检测,将躯干凸包轮廓检测获得的关键点的坐标存为躯干轮廓数组;凸包轮廓检测的结果如图6所示。
S11、在人像轮廓提取的过程中,因为头部是呈一个椭圆形,而肩膀以下部分(躯干)呈一个梯形,将头部和肩膀以下的部分切割开,分别取对应的凸包轮廓,即取头部轮廓数组和躯干轮廓数组,将头部轮廓数组和躯干轮廓数组合并在一起,形成人像轮廓数组,获得人像轮廓特征数据;
S12、将上述提取的人像特征数据结果封装为检测特征指标结果,并通过结果处理句柄将检测特征指标结果进行分发。
综上所述,本发明的证照相机及方法通过特征目标识别链,利用逐步缩小ROI检测区域的方式,从大到小,先整体后局部的检测流程进行人像特征检测,层层缩小检测范围,弥补了现有技术采用OpenCV需要对整幅图像进行检测带来的处理效率慢的缺陷,提高了检测效率;采用预览帧图像多线程运行的方式,在获取当前帧图像数据时,征询空闲控制器,如果特征目标识别链处于忙状态,则丢弃当前帧图像数据,等待获取下一帧图像数据;如果特征目标识别链处于空闲状态,则将当前帧图像数据保存到预览帧图像缓存区域,在预览帧图像缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作,从而快速提取人像特征值,使得处理方式更加流畅快速。
以上所述,仅为本发明专利优选的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (8)
1.一种快速提取人像特征的证照相机,其特征在于:所述证照相机包括:
预览帧图像处理模块,用于当获取当前帧图像数据时,利用预览帧图像处理句柄征询空闲控制器,若特征目标识别链处于忙状态,则预览帧图像处理句柄丢弃当前帧图像数据,等待获取下一帧图像数据;若特征目标识别链处于空闲状态,则预览帧图像处理句柄将当前帧图像数据保存到预览帧图像缓存区域,在预览帧图像缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作;
人像特征提取模块,用于通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据;其中,所述人像特征数据包括人脸轮廓、躯干轮廓、眼睛、耳朵、鼻子和嘴巴特征数据;
结果封装及分发模块,用于将提取的人像特征数据结果封装为检测特征指标结果,并通过结果处理句柄将检测特征指标结果进行分发。
2.根据权利要求1所述的一种快速提取人像特征的证照相机,其特征在于:所述人像特征提取模块包括:
灰度图像转换子单元,用于将获取到的预览帧图像转换为灰度图像;
上半身特征数据区域检测单元,用于对灰度图像进行上半身特征数据区域检测,当检测到上半身特征数据区域时,将该区域像素信息保存为上半身区域矩形数据结构,并对灰度图像设置上半身ROI区域,记为ROIB;
人脸轮廓特征数据区域检测单元,用于对ROIB进行人脸轮廓特征数据区域检测,当检测到人脸轮廓特征数据区域时,将该区域像素信息保存为人脸轮廓区域矩形数据结构,并对灰度图像设置人脸轮廓ROI区域,记为ROIF;
双眼特征数据区域检测单元,用于对ROIF的特定区域进行双眼特征数据区域检测,当检测到双眼特征数据区域时,将该区域像素信息保存为双眼区域矩形数据结构,并获取眼睛的坐标,以眼睛的Y轴最低点为新的ROI区域顶部,对人脸轮廓特征数据区域取眼睛以下的区域,设置为鼻子目标ROI区域,记为ROIN;
双耳特征数据区域检测单元,用于对ROIF进行双耳特征数据区域检测,当检测到双耳特征数据区域时,将该区域像素信息保存为双耳区域矩形数据结构;
鼻子特征数据区域检测单元,用于对ROIN进行鼻子特征数据区域检测,当检测到鼻子特征数据区域时,将该区域像素信息保存为鼻子区域矩形数据结构,以鼻子区域矩形数据结构的底边作为新的ROI区域的顶边,对人脸轮廓特征数据区域取鼻子以下区域,设置为嘴巴目标ROI区域,记为ROIM;
嘴巴特征数据区域检测单元,用于对ROIM进行嘴巴特征数据区域检测,当检测到嘴巴特征数据区域时,将该区域像素信息保存为嘴巴区域矩形数据结构;
躯干轮廓特征数据区域获取单元,用于对ROIB的区域,裁去ROIF的区域,得到躯干轮廓特征数据区域ROIMB,将该区域像素信息保存为躯干轮廓区域矩形数据结构。
3.根据权利要求2所述的一种快速提取人像特征的证照相机,其特征在于:所述人像特征提取模块还包括:
头部凸包轮廓检测单元,用于对ROIF进行边缘检测,得到头部轮廓区域范围内的信号突变边缘的线段,然后对该头部边缘线段结果进行头部凸包轮廓检测,将头部凸包轮廓检测获得的关键点的坐标存为头部轮廓数组;
躯干凸包轮廓检测单元,用于对ROIMB进行边缘检测,得到躯干轮廓区域范围内的信号突变边缘的线段,然后对该躯干边缘线段结果进行躯干凸包轮廓检测,将躯干凸包轮廓检测获得的关键点的坐标存为躯干轮廓数组;
人像轮廓形成单元,用于将头部轮廓数组和躯干轮廓数组合并在一起,形成人像轮廓数组。
4.根据权利要求1所述的一种快速提取人像特征的证照相机,其特征在于:所述特征目标识别链包括上半身级联分类器、人脸正面级联分类器、眼睛级联分类器、鼻子级联分类器、嘴巴级联分类器、耳朵级联分类器、躯干级联分类器。
5.一种快速提取人像特征的方法,应用于证照相机中,其特征在于:所述方法包括:
当获取当前帧图像数据时,所述证照相机利用预览帧图像处理句柄征询空闲控制器,若特征目标识别链处于忙状态,则预览帧图像处理句柄丢弃当前帧图像数据,等待获取下一帧图像数据;若特征目标识别链处于空闲状态,则预览帧图像处理句柄将当前帧图像数据保存到预览帧图像缓存区域,在预览帧图像缓存区域中采用矩阵进行预览帧图像数据的处理,并通知特征目标识别链开始工作;
所述证照相机通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据;其中,所述人像特征数据包括人脸轮廓、躯干轮廓、眼睛、耳朵、鼻子和嘴巴特征数据;
所述证照相机将提取的人像特征数据结果封装为检测特征指标结果,并通过结果处理句柄将检测特征指标结果进行分发。
6.根据权利要求5所述的一种快速提取人像特征的方法,其特征在于:所述证照相机通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据,包括:
将获取到的预览帧图像转换为灰度图像;
对灰度图像进行上半身特征数据区域检测,当检测到上半身特征数据区域时,将该区域像素信息保存为上半身区域矩形数据结构,并对灰度图像设置上半身ROI区域,记为ROIB;
对ROIB进行人脸轮廓特征数据区域检测,当检测到人脸轮廓特征数据区域时,将该区域像素信息保存为人脸轮廓区域矩形数据结构,并对灰度图像设置人脸轮廓ROI区域,记为ROIF;
对ROIF的特定区域进行双眼特征数据区域检测,当检测到双眼特征数据区域时,将该区域像素信息保存为双眼区域矩形数据结构,并获取眼睛的坐标,以眼睛的Y轴最低点为新的ROI区域顶部,对人脸轮廓特征数据区域取眼睛以下的区域,设置为鼻子目标ROI区域,记为ROIN;
对ROIF进行双耳特征数据区域检测,当检测到双耳特征数据区域时,将该区域像素信息保存为双耳区域矩形数据结构;
对ROIN进行鼻子特征数据区域检测,当检测到鼻子特征数据区域时,将该区域像素信息保存为鼻子区域矩形数据结构,以鼻子区域矩形数据结构的底边作为新的ROI区域的顶边,对人脸轮廓特征数据区域取鼻子以下区域,设置为嘴巴目标ROI区域,记为ROIM;
对ROIM进行嘴巴特征数据区域检测,当检测到嘴巴特征数据区域时,将该区域像素信息保存为嘴巴区域矩形数据结构;
对ROIB的区域,裁去ROIF的区域,得到躯干轮廓特征数据区域ROIMB,将该区域像素信息保存为躯干轮廓区域矩形数据结构。
7.根据权利要求6所述的一种快速提取人像特征的方法,其特征在于:所述证照相机通过特征目标识别链在预览帧图像中设置上半身ROI区域,并逐步缩小上半身ROI区域进行检测,得到人像特征数据,还包括:
对ROIF进行边缘检测,得到头部轮廓区域范围内的信号突变边缘的线段,然后对该头部边缘线段结果进行头部凸包轮廓检测,将头部凸包轮廓检测获得的关键点的坐标存为头部轮廓数组;
对ROIMB进行边缘检测,得到躯干轮廓区域范围内的信号突变边缘的线段,然后对该躯干边缘线段结果进行躯干凸包轮廓检测,将躯干凸包轮廓检测获得的关键点的坐标存为躯干轮廓数组;
将头部轮廓数组和躯干轮廓数组合并在一起,形成人像轮廓数组。
8.根据权利要求5所述的一种快速提取人像特征的方法,其特征在于:所述特征目标识别链包括上半身级联分类器、人脸正面级联分类器、眼睛级联分类器、鼻子级联分类器、嘴巴级联分类器、耳朵级联分类器、躯干级联分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510552699.7A CN105187721B (zh) | 2015-08-31 | 2015-08-31 | 一种快速提取人像特征的证照相机及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510552699.7A CN105187721B (zh) | 2015-08-31 | 2015-08-31 | 一种快速提取人像特征的证照相机及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105187721A CN105187721A (zh) | 2015-12-23 |
CN105187721B true CN105187721B (zh) | 2018-09-21 |
Family
ID=54909547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510552699.7A Active CN105187721B (zh) | 2015-08-31 | 2015-08-31 | 一种快速提取人像特征的证照相机及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105187721B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156739B (zh) * | 2016-07-05 | 2019-06-18 | 华南理工大学 | 一种基于脸部轮廓分析的证件照耳朵检测与提取方法 |
CN106886216B (zh) * | 2017-01-16 | 2020-08-14 | 深圳前海勇艺达机器人有限公司 | 基于rgbd人脸检测的机器人自动跟踪方法和*** |
TWI671686B (zh) * | 2018-01-24 | 2019-09-11 | 緯創資通股份有限公司 | 影像數據擷取方法及影像數據擷取裝置 |
CN108564529A (zh) * | 2018-04-23 | 2018-09-21 | 广东奥园奥买家电子商务有限公司 | 一种基于安卓***的嘴唇实时上妆的实现方法 |
CN109816310A (zh) * | 2019-01-22 | 2019-05-28 | 浙江华是科技股份有限公司 | 一种基于人工智能的航道船舶卡口管理***及其管理方法 |
CN109800714A (zh) * | 2019-01-22 | 2019-05-24 | 浙江华是科技股份有限公司 | 一种基于人工智能的船舶检测***及方法 |
CN111898701B (zh) * | 2020-08-13 | 2023-07-25 | 网易(杭州)网络有限公司 | 模型训练、帧图像生成、插帧方法、装置、设备及介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794265A (zh) * | 2005-12-31 | 2006-06-28 | 北京中星微电子有限公司 | 基于视频的面部表情识别方法及装置 |
CN1835019A (zh) * | 2005-03-19 | 2006-09-20 | 张国锋 | 一种基于带参数图像的个性化肖像自动生成方法 |
JP2007306416A (ja) * | 2006-05-12 | 2007-11-22 | Fujifilm Corp | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 |
CN101216881A (zh) * | 2007-12-28 | 2008-07-09 | 北京中星微电子有限公司 | 一种图像自动获取方法和装置 |
CN101609500B (zh) * | 2008-12-01 | 2012-07-25 | 公安部第一研究所 | 出入境数字人像相片质量评估方法 |
CN104091176A (zh) * | 2014-07-18 | 2014-10-08 | 吴建忠 | 人像比对在视频中的应用技术 |
CN104754216A (zh) * | 2015-03-06 | 2015-07-01 | 广东欧珀移动通信有限公司 | 一种拍照方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9888839B2 (en) * | 2009-04-01 | 2018-02-13 | Tearscience, Inc. | Methods and apparatuses for determining contact lens intolerance in contact lens wearer patients based on dry eye tear film characteristic analysis and dry eye symptoms |
US9795290B2 (en) * | 2013-11-15 | 2017-10-24 | Tearscience, Inc. | Ocular tear film peak detection and stabilization detection systems and methods for determining tear film layer characteristics |
-
2015
- 2015-08-31 CN CN201510552699.7A patent/CN105187721B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1835019A (zh) * | 2005-03-19 | 2006-09-20 | 张国锋 | 一种基于带参数图像的个性化肖像自动生成方法 |
CN1794265A (zh) * | 2005-12-31 | 2006-06-28 | 北京中星微电子有限公司 | 基于视频的面部表情识别方法及装置 |
JP2007306416A (ja) * | 2006-05-12 | 2007-11-22 | Fujifilm Corp | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 |
CN101216881A (zh) * | 2007-12-28 | 2008-07-09 | 北京中星微电子有限公司 | 一种图像自动获取方法和装置 |
CN101609500B (zh) * | 2008-12-01 | 2012-07-25 | 公安部第一研究所 | 出入境数字人像相片质量评估方法 |
CN104091176A (zh) * | 2014-07-18 | 2014-10-08 | 吴建忠 | 人像比对在视频中的应用技术 |
CN104754216A (zh) * | 2015-03-06 | 2015-07-01 | 广东欧珀移动通信有限公司 | 一种拍照方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105187721A (zh) | 2015-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105187721B (zh) | 一种快速提取人像特征的证照相机及方法 | |
CN105046246B (zh) | 可进行人像姿势拍摄提示的证照相机及人像姿势检测方法 | |
CN110414333B (zh) | 一种图像边界的检测方法及装置 | |
CN107945135B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
WO2019223069A1 (zh) | 基于直方图的虹膜图像增强方法、装置、设备及存储介质 | |
KR101159830B1 (ko) | 얼굴 위치 및 방위를 이용한 적목 거짓 양성 필터링 방법 | |
US20170352135A1 (en) | Eye beautification under inaccurate localization | |
WO2019033572A1 (zh) | 人脸遮挡检测方法、装置及存储介质 | |
CN105205480B (zh) | 一种复杂场景中人眼定位方法及*** | |
US11682231B2 (en) | Living body detection method and device | |
WO2019061658A1 (zh) | 眼镜定位方法、装置及存储介质 | |
JP5725012B2 (ja) | 異物判定装置、異物判定方法および異物判定プログラム | |
CN103942539B (zh) | 一种人头部椭圆精确高效提取及遮蔽人脸检测方法 | |
CN107368806B (zh) | 图像矫正方法、装置、计算机可读存储介质和计算机设备 | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
CN110837580A (zh) | 一种行人图片标注方法、装置、存储介质和智能设备 | |
CN103218605A (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
JP2007072627A (ja) | サングラス検出装置及び顔中心位置検出装置 | |
CN103218615B (zh) | 人脸判定方法 | |
CN105787427B (zh) | 嘴唇区域定位方法 | |
CN107705279B (zh) | 实现双重曝光的图像数据实时处理方法及装置、计算设备 | |
JP2000105819A (ja) | 顔領域検出装置 | |
WO2018095059A1 (zh) | 图像处理方法和装置 | |
CN107153806B (zh) | 一种人脸检测方法及装置 | |
CN107346544B (zh) | 一种图像处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |