一种视频应用***、视频特效处理***和方法
【技术领域】
本发明涉及图像处理领域,特别是涉及一种视频应用***、视频特效处理***和方法。
【背景技术】
随着互联网的高速发展和应用,各种多媒体业务也得到广泛的应用,视频聊天就是其中一项很重要的多媒体业务,尤其是在现在网络速度比较快,即时通讯软件视频技术较为成熟的情况下,人们更是热衷于视频聊天。
目前,为了增强聊天趣味性,一些聊天软件或者聊天用的摄像头有对视频中的人脸进行检测,根据人脸的位置,添加一些趣味相框和面具的功能。为了节约网络带宽,提高视频帧率,即时通讯软件(IM)通常采用小分辨率160*120(QQVGA)或320*240(QVGA)进行视频聊天。由于视频分辨率小,如果在此基础上进行人脸检测和跟踪,准确率可能会很低。在具体的使用时,可能就会出现特效图片并没有按照人脸位置完全贴合或并未检测到人脸等现象。而另一方面,现在主流的摄像头,在物理性能上都能采集VGA(640*480)或者VGA以上分辨率(比如1280*960)的视频数据,上述方案并没有充分利用摄像头的物理性能。
有鉴于此,有必要提供一种新的解决方案解决上述使用场景中人脸检测准确率低的缺陷。
【发明内容】
本发明的目的之一在提供一种视频特效处理***,其可以在低分辨率视频聊天时进行高精确度的人脸检测,并在此基础上进行特效处理。
本发明的另一目的是提供一种视频特效处理方法,其可以在低分辨率视频聊天时进行高精确度的人脸检测,并在此基础上进行特效处理。
本发明的再一目的是提供一种个人计算机上的视频应用***,其可以在低分辨率视频聊天时进行高精确度的人脸检测,并在此基础上进行特效处理。
为实现上述目的,根据本发明的一个方面,本发明提供一种视频特效处理***,其包括:视频采集模块,用于采集第一分辨率视频数据;人脸检测模块,用于对所述第一分辨率视频数据进行人脸检测以提取人脸参数;视频特效模块,用于利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理;和视频缩放模块,用于将所述特效处理后的第一分辨率视频数据缩小为第二分辨率视频数据,所述第二分辨率小于所述第一分辨率。
进一步的,所述第一分辨率视频数据为VGA或VGA以上分辨率视频数据;和所述第二分辨率视频数据为QVGA或QQVGA分辨率视频数据。
进一步的,所述人脸参数包括人脸位置信息及人脸特征点位置信息。
进一步的,所述视频特效模块包括有特效图像数据库,所述特效图像数据库包括有若干张特效图像。
更进一步的,所述利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理包括:利用提取的所述人脸参数确定加载位置;从所述特效图像数据库中选取特效图像;和将选取的特效图像覆盖于所述第一分辨率视频数据的所述加载位置上;其中覆盖有特效图像的第一分辨率视频数据就是特效处理后的第一分辨率视频数据。
进一步的,所述利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理包括:利用提取的所述人脸参数确定所述第一分辨率视频数据中的人脸区域图像;和对所述第一分辨率视频数据中的人脸区域图像进行包括变形或加马赛克的特效处理。
根据本发明的另一个方面,本发明提供一种视频特效处理方法,其包括:采集第一分辨率视频数据;对所述第一分辨率视频数据进行人脸检测以提取人脸参数;利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理;和将特效处理过的第一分辨率视频数据缩小为第二分辨率视频数据,其中所述第一分辨率大于所述第二分辨率。
进一步的,所述第一分辨率视频数据为VGA或VGA以上分辨率视频数据;和所述第二分辨率视频数据为QVGA或QQVGA分辨率视频数据。
进一步的,利用提取的所述人脸参数对所述第一分辨率视频数据进行所选特效处理包括:利用提取的所述人脸参数确定加载位置;选取特效图像;和将选取的特效图像覆盖于所述第一分辨率视频数据的所述加载位置上;其中覆盖有特效图像的第一分辨率视频数据就是特效处理后的第一分辨率视频数据。
进一步的,所述利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理包括:利用提取的所述人脸参数确定所述第一分辨率视频数据中的人脸区域图像;和对所述第一分辨率视频数据中的人脸区域图像进行包括变形和加马赛克的特效处理。
根据本发明的再一个方面,本发明提供一种个人计算机上的视频应用***,所述个人计算机上安装有操作***及安装于所述操作***上的即时通讯模块,其包括:视频采集模块,采集第一分辨率视频数据;和安装于所述操作***上的驱动模块,所述驱动模块包括有:人脸检测模块,用于对所述第一分辨率视频数据进行人脸检测以提取人脸参数;视频特效模块,用于利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理;和视频缩放模块,用于将所述特效处理后的第一分辨率视频数据缩小为第二分辨率视频数据,并将所述第二分辨率视频数据提供给所述即时通讯模块,其中所述第二分辨率小于所述第一分辨率。
进一步的,在所述即时通讯模块未选视频特效时,所述视频采集模块直接采集第二分辨率视频数据并经由所述驱动组件转交给所述即时通讯模块使用。
进一步的,所述视频特效模块包括有特效图像数据库,所述特效图像数据库包括有若干张特效图像,所述利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理包括:利用提取的所述人脸参数确定加载位置;从所述特效图像数据库中选取特效图像;和将选取的特效图像覆盖于所述第一分辨率视频数据的所述加载位置上;其中覆盖有特效图像的第一分辨率视频数据就是特效处理后的第一分辨率视频数据。
进一步的,所述利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理包括:利用提取的所述人脸参数确定所述第一分辨率视频数据中的人脸区域图像;和对所述第一分辨率视频数据中的人脸区域图像进行包括变形和加马赛克的特效处理。
与现有技术相比,本发明通过使视频采集模块直接采集高分辨率视频数据,并在此高分辨率视频数据的基础上进行人脸检测,这样人脸检测的精度就比较高,之后再将高分辨率的视频数据进行缩小以得到低分辨率的视频数据,这样的低分辨率的视频数据又能满足即时通讯模块的传输需求。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明中的一种视频特效处理***的一个实施例的结构原理图;和
图2为本发明中的一种视频特效处理方法的一个实施例的方法流程图。
【具体实施方式】
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。很显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在不脱离本发明本质和精神的情况下所获得的所有其他实施例,都属于本发明公开和保护的范围。
在该说明书中不同地方出现的“在一个实施例中”可能并非指的是同一个实施例,也不是与其他实施例相互排斥的相互独立或选择性的实施例。此外,在流程图或图示模块的顺序,或者用来描述本发明的一个或多个实施例的序号并非固定的指代任何特定的顺序,也不构成对本发明的限制。
请参照图1,其示出了本发明中的一种视频特效处理***100的一个实施例的结构方框图。所述视频特效处理***100包括视频采集模块110、人脸检测模块120、视频特效模块130和视频缩放模块140。
所述视频采集模块110用于采集第一分辨率视频数据。在一个实施例中,所述视频采集模块110可以为个人计算机摄像头(PC camera),所述第一分辨率视频数据可以为VGA(640*480)视频数据或VGA以上(1280*960)视频数据。所述第一分辨是由所述PC摄像头的物理特性所决定的,比如其所能支持的最大分辨率为1280*960,那么所述第一分辨率可以为1280*960或640*480。
所述人连检测模块120用于对所述视频采集模块110采集的视频数据进行人脸检测以提取人脸参数。一般来讲,人脸检测可以包括两个部分,一个是人脸轮廓的定位,即在视频帧中搜索出人脸轮廓所在位置,另一个是在人脸轮廓已经定位的基础上再进行人脸特征点的定位,即在人脸轮廓已经清楚地基础上找到双眼及嘴的位置。因此,从这个角度来说,所述人脸参数可以包括人脸轮廓位置及大小信息和人脸特征点位置信息。现有技术中有很多所属技术领域内的普通技术人员所熟知的人脸检测,比如具体可以参考于2007年3月07日公开的、专利申请号为200610113423.X、发明名称为“一种多姿态人脸检测与追踪***及方法”的中国专利申请,和于2006年8月23日公开的、专利申请号为200610011673.2、发明名称为“一种人脸特征点定位方法”的中国专利申请。
所述视频特效模块130根据提取出的人脸参数对所述视频数据进行相应特效处理。在一个实施例中,所述视频特效模块130包括特效图像数据库,所述特效图像数据库包括有若干张特效图像,比如所述特效图像可以是一个眼镜框、一个帽子、一朵花等。在根据提取出的人脸参数对所述视频数据进行相应特效处理时,需要利用提取的所述人脸参数确定出处理位置(或者叫加载位置),另外,用户需要从所述特效图像数据库中选取特效图像。举例来说,假如希望得到的特效是在人物头顶戴一顶帽子,那么所述处理位置就是人脸轮廓的上部区域,而选取的特效图像应该是帽子图像;假如希望得到的特效是在人脸上戴一副眼镜,那么所述处理位置就是人脸双眼位置区域,而选取的特效图像应该是眼睛图像。随后,将选取的特效图像覆盖于所述视频数据的所述加载位置上,这样就得到了特效处理后的第一分辨率视频数据。在另一个实施例中,所述视频特效模块130不包括特效图像数据库,在根据提取出的人脸参数对所述视频数据进行相应特效处理时,需要利用提取的所述人脸参数确定所述第一分辨率视频数据中的人脸区域图像,之后对所述第一分辨率视频数据中的人脸区域图像进行变形或加马赛克等特效处理。
所述视频缩放模块140用于对来自所述视频特效模块130的具有视频特效的第一分辨率视频数据缩小为第二分辨率视频数据。所述第二分辨率比所述第一分辨率小,比如所述第二分辨率视频数据可以为适于即时通讯程序传输的160*120(QQVGA)或320*240(QVGA)。现有技术中有很多方法可以将高分辨视频数据转换为低分辨率数据,这里就不再详细描述了。
在具体的应用中,一即时通讯程序可以从所述视频缩放模块140处获得已经具有视频特效的第二分辨率视频数据,并将它们转送给远端,从而实现具有视频特效的视频通讯。在本发明的一个特点、优点或好处在于:一方面,利用了视频采集模块可以支持高分辨率图像的特点,使其直接采集高分辨率的图像,并在高分辨率图像的基础上进行人脸检测,这样可以得到较为精确的人脸检测效果;而另一方面,又将所述高分辨率的图像缩小为适合即时通讯软件传输的低分辨率图像,这样又保证了视频图像的稳定传输。
在一个实施例中,所述人脸检测模块120、视频特效模块130和视频缩放模块140为安装于个人计算机的操作***上的驱动模块或程序,即时通讯模块为安装于个人计算机的操作***上的应用模块或程序,所述操作***可以为Windows、Linux或其他类型的操作***。在本地个人计算机上运行所述即时通讯模块后,便可以通过本地的即时通讯模块与远端计算机上的另一即时通讯模块进行视频通讯。在进行视频通讯时或之前,用户可以选择进行视频特效,在选择了视频特效之后,PC摄像头(视频采集模块)则会采集较高分辨率的视频图像,之后交给驱动模块进行处理,所述驱动模块在高分辨率的视频图像的基础上进行人脸检测及特效处理后,又将所述高分辨视频图像转换为低分辨率图像,并将低分辨率图像提供给所述即时通讯模块。随后,所述即时通讯模块便可以进行具有特效效果的视频通讯。
在具体的应用中,QQ用户小丽与网友小张进行视频聊天,但是由于是第一次见面,小丽不想让小张看到她长什么样子,就可以选用戴动漫面具的特效。具体过程包括:视频采集模块110采集到小丽的VGA视频数据,并将所述视频数据传输给所述的人脸检测模块120。所述的人脸检测模块120将视频数据里关于小丽的人脸特征点位置等人脸参数和对应的视频数据传输给所述视频特效模块130,所述视频特效模块130根据小丽的人脸参数将特效数据库里的某一动漫面具特效图片放大或缩小到合适的大小,并根据小丽的人脸位置,将该动漫面具图片覆盖在对应视频数据的每一帧视频数据上,然后将处理过的视频数据传输给所述视频缩放模块140,视频缩放模块140将处理过的视频数据缩放到QQ适用的QVGA分辨率,然后传输给QQ程序,小丽的网友小张看到的就是小丽戴着动漫面具的视频了。
请参照图2,其示出了本发明中的视频特效处理方法的一个实施例的方法流程图。所述视频特效处理方法200包括如下步骤。
步骤210,采集第一分辨率视频数据;
步骤220,对所述第一分辨率视频数据进行人脸检测以提取人脸参数;
步骤240,利用提取的所述人脸参数对所述第一分辨率视频数据进行特效处理;和
步骤250,将特效处理过的第一分辨率视频数据缩小为第二分辨率视频数据,其中所述第一分辨率大于所述第二分辨率。
其中,所述视频特效处理方法的很多内容都可以参考对处理装置部分的描述,此处对于两者相同或类似之后不再重复描述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。