CN109754383A - 一种特效视频的生成方法及设备 - Google Patents

一种特效视频的生成方法及设备 Download PDF

Info

Publication number
CN109754383A
CN109754383A CN201711091455.9A CN201711091455A CN109754383A CN 109754383 A CN109754383 A CN 109754383A CN 201711091455 A CN201711091455 A CN 201711091455A CN 109754383 A CN109754383 A CN 109754383A
Authority
CN
China
Prior art keywords
image
human face
face region
special efficacy
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711091455.9A
Other languages
English (en)
Inventor
郭明松
方华
陈民
褚亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201711091455.9A priority Critical patent/CN109754383A/zh
Publication of CN109754383A publication Critical patent/CN109754383A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种特效视频的生成方法及设备,用于提高往视频图像中添加特效内容的速度。其中的特效视频的生成方法包括:对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域;从确定人脸区域的帧开始,对所述人脸区域进行跟踪,并确定跟踪成功的人脸区域的位置信息;根据所述位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频。

Description

一种特效视频的生成方法及设备
技术领域
本发明涉及多媒体技术领域,特别涉及一种特效视频的生成方法及设备。
背景技术
终端例如手机可以安装很多即时通信软件,例如QQ、微信等能够提供视频聊天功能的软件。当两个终端在使用视频聊天功能时,各个终端就会通过自身设置的摄像头实时地采集用户的图像并发送给对方。为了满足用户在视频聊天时的个性化需要,现有的视频聊天工具都提供了特效添加功能。例如,用户可以在视频图像中添加特效,例如添加表情特效、添加个性图片特效。
通常,主叫终端可以将添加了特效的视频图像发送给被叫终端。主叫终端在进行视频通话时,可以进行人脸检测,并根据人脸信息添加特效。而进行人脸检测需要对接收的图像全部进行检测,比较耗时,即添加特效的效率较低。而进行人脸检测同时还将接收的视频图像传输给第二终端,这就可能导致第一终端的特效添加还没完成,而第二终端已接收视频图像并进行显示了,最终导致第二终端显示的图像是没有添加特效成功的图像。
可见,目前视频添加特效的方式比较耗时,效率较低。
发明内容
本发明实施例提供一种特效视频的生成方法及设备,用于提高往视频图像中添加特效内容的速度。
第一方面,本发明实施例提供了一种特效视频的生成方法,该方法包括:
对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域;
从确定人脸区域的帧开始,对所述人脸区域进行跟踪,并确定跟踪成功的人脸区域的位置信息;
根据所述位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频。
可选的,在从确定人脸区域的帧开始,对所述人脸区域进行跟踪之后,还包括:
若跟踪失败,则对跟踪失败后接收的至少一帧图像进行人脸区域检测。
可选的,对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域,包括:
针对所述至少一帧图像中的每帧图像,将所述每帧图像转化成亮度、色度YUV图像,获得至少一帧YUV图像;
提取所述至少一帧YUV图像中的每帧YUV图像的灰度图像,获得至少一帧灰度图像;
通过人脸检测算法对所述至少一帧灰度图像进行人脸区域检测,确定所述人脸区域。
可选的,在通过人脸检测算法对所述至少一帧灰度图像进行人脸区域检测,确定所述人脸区域之前,还包括:
按照预设比例,缩小所述至少一帧灰度图像,使得缩小后的至少一帧灰度图像的大小在预设范围内。
可选的,根据所述位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频,包括:
根据所述人脸区域对所述特效图像进行缩放;
根据所述位置信息确定缩放后的特效图像在所述视频图像中待添加的位置;
将所述缩放后的特效图像添加至所述待添加的位置。
可选的,根据所述人脸区域对所述特效图像进行缩放,包括:
将所述特效图像转化为YUV图像;
根据所述人脸区域中人脸的高度和宽度对转化后的YUV图像进行缩放。
可选的,所述位置信息包括坐标信息和角度信息,其中,所述坐标信息用于指示人脸在所述视频图像中的位置坐标所述角度信息用于指示人脸的倾斜角度;
根据所述位置信息确定缩放后的特效图像在所述视频图像中待添加的位置,将所述缩放后的特效图像添加至所述待添加的位置,包括:
根据所述坐标信息和角度信息,及跟踪成功的人脸区域中人脸的高度和宽度,确定所述待添加的位置。
第二方面,本发明一实施例提供了一种特效视频的生成设备,该设备包括:
检测单元,用于对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域;
跟踪单元,用于从确定人脸区域的帧开始,对所述人脸区域进行跟踪,并确定跟踪成功的人脸区域的位置信息;
融合单元,用于根据所述位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频。
第三方面,本发明一实施例提供了一种特效视频的生成设备,该设备包括:
至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-7任一项所述的方法。
第四方面,本发明一实施例提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面中任一项所述的方法。
本发明实施例提供的特效视频的生成方法,先对当前接收的至少一帧图像进行人脸检测,确定人脸区域,再对后续的帧图像进行人脸区域的跟踪。而人脸区域的跟踪就是在人脸区域的邻域搜索人脸特征,而不同对整张图片进行检测,因而可以减小计算量,较快地确定跟踪成功的人脸区域的位置信息,再根据位置信息将特效图像与跟踪成功后接收的视频图像进行融合,从而实现较快地生成特效视频,提高了添加特效的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明实施例提供的一种特效视频的生成方法的流程图;
图2为本发明实施例提供的人脸区域的示意图;
图3为本发明实施例提供的人脸发生转动的示意图
图4为本发明实施例提供的特效视频的生成设备的一种结构示意图;
图5为本发明实施例提供的特效视频的生成设备的一种结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例中,特效视频的生成设备可以是手机、平板等,本发明实施例对特效视频的生成设备的类型不作限制。
目前,在即时通信过程中,为视频添加特效主要有两种方式。其中的一种方式是发送端将人脸位置信息、视频图像通过服务器发送给接收端,由接收端根据接收的人脸位置信息为接收的视频图像添加特效数据。但是这种方式只适用于发送端和接收端之间已事先约定添加规则,对于没有彼此约定好的,即使发送端将人脸位置信息发送给接收端,接收端自己添加特效,也实现不了特效效果。可见,这种方式,发送端不能与任意接收端兼容。另外,人脸位置信息对于视频图像压缩是一种冗余,这就进一步增加了在网络上传输的视频数据量,增加了对网络带宽的要求。
另一种方式是发送端进行人脸检测,并根据人脸信息添加特效,将添加了特效的视频图像发送给接收端。这种方式可以节省网络带宽,但是这种方式发送端需要对接收的每帧图像进行实时人脸检测,检测的图像的数量较大,因而运算量很大,添加特效的速率就较慢,不能满足某些应用需求。
鉴于此,本发明实施例提供的特效视频的生成方法,先对当前接收的至少一帧图像进行人脸检测,确定人脸区域,再对后续的帧图像进行人脸区域的跟踪。而人脸区域的跟踪就是在人脸区域的邻域搜索人脸特征,而不同对整张图片进行检测,因而可以减小计算量,较快地确定跟踪成功的人脸区域的位置信息,再根据位置信息将特效图像与跟踪成功后接收的视频图像进行融合,从而实现较快地生成特效视频,提高添加特效的效率。
下面结合附图介绍本发明实施例提供的技术方案。
请参见图1,本发明实施例提供一种特效视频的生成方法,该生成方法可以通过进行即时视频通信的两个终端中的发送端执行。该生成方法的流程描述如下:
S101:对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域;
S102:从确定人脸区域的帧开始,对人脸区域进行跟踪,并确定跟踪成功的人脸区域的位置信息;
S103:根据位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频。
当发送端与接收端之间正在进行即时视频聊天时,例如,发送端与接收端正在进行微信视频聊天。发送端会将自身的摄像头实时采集的每帧图像发送给接收端,接收端将接收的每帧图像显示,从而看到发送端的用户的图像。为了满足用户在视频聊天时的个性化需要,发送端可以在摄像头采集的图像中添加特效,例如添加表情特效、添加个性图片特效。
发送端添加特效首先需要确定待添加的特效数据和特效位置,也就是特效数据添加至视频图像中的位置。其中,特效数据可以是事先存储在发送端的特效数据。发送端可以事先存储多种特效数据,每种特效数据可以包括多个特效数据。例如,表情特效数据:可以包括笑的表情特效数据、哭的表情特效数据、怒的表情特效数据等;修饰特效数据:可以包括发型特效数据、发饰特效数据等,这些特效数据可以称为是通用的特效数据。当然,特效图像数据也可以是发送端自定义的个性特效数据。发送端在添加特效图像数据时可以选择添加自定义的个性特效数据,也可以选择添加事先存储的通用的特效数据。
发送端确定待添加的特效位置时,可以对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域。也就是发送端可以获取摄像头实时采集的图像,对获取的当前的至少一帧图像进行人脸检测,直到检测出图像中包括的人脸,并用窗口将检测出的人脸框选出一个区域,作为人脸区域。发送端确定人脸区域后,可以从确定人脸区域的帧开始,对人脸区域进行跟踪,并确定跟踪成功的人脸区域的位置信息,从而根据确定的位置信息来进一步确定特效位置,就是待添加特效的位置。
发送端在对当前接收的至少一帧图像进行人脸区域检测时,可以针对至少一帧图像中的每帧图像,将每帧图像转化成亮度、色度(Luminance、Chrominance,YUV)图像,获得至少一帧YUV图像。由于YUV图像包括的数据量较大,由于灰度图像相较于YUV图像所包括的数据量较小,为了减少发送端的计算量,提高检测的速率,发送端可以提取至少一帧YUV图像中的每帧YUV图像的灰度图像,获得至少一帧灰度图像。发送端通过人脸检测算法对至少一帧灰度图像进行人脸区域检测,确定人脸区域。
其实,发送端提取的至少一帧灰度图像中的每帧灰度图像的尺寸大小就是摄像头采集到的图像的大小,相对于发送端进行人脸检测来说,每帧灰度图像还是较大。因此,发送端可以缩小每帧灰度图像,通过人脸检测算法对缩小后的每帧灰度图像进行人脸区域检测,这样就可以减少发送端的计算量,从而提高了检测速率。可能的实施方式中,发送端可以按照预设比例缩小每帧灰度图像。其中,预设比例可以是发送端预先设置的一个比例,例如50%,当然也可以是其他可能的值。预设比例也可以是发送端按照自身的分辨率的大小设置,以能够清楚地确定人脸为准。或者预设比例可以是发送端根据每帧灰度要缩小的范围确定,使得缩小后的每帧灰度图像的大小在预设范围内,使得发送端可以较快地实现人脸检测。
发送端可以通过人脸检测算法对每帧灰度图像进行检测,例如通过调用计算机视觉的函数库OpenCV中的人脸检测接口实现。发送端检测出人脸后,可以在图像上框选出人脸区域。具体地,发送端检测出人脸后,可以将检测结果乘以每帧灰度图像的缩小比例后得到输出结果,也就是如图2所示,人脸左上角A坐标(x,y),以及人脸的宽度W和高度H,发送端可以根据输出结果框选出人脸区域。
发送端确定出人脸区域后,可以在后续的帧图像中添加特效数据。因为摄像头是实时采集图像,现有技术中,发送端是对摄像头采集的所有帧图像都分别进行人脸检测,确定人脸区域后添加特效数据。由于所有帧图像的数据量是非常大的,因为发送端的计算量也就非常大,这就导致添加特效数据的效率较低。而同时发送端也在向接收端实时传输图像数据,这就有导致发送端的特效数据添加还没完成,而接收端已接收图像数据显示图像了,最终接收端显示的图像是没有添加特效成功的图像。
而本发明实施例中,发送端在确定出人脸区域后,可以对后续帧图像进行人脸跟踪,也就是对确定的人脸区域进行跟踪。人脸跟踪是对初始得到的人脸区域的附近的区域进行分析,该附近区域可以是距离初始确定的人脸区域的一定范围内的区域,例如距离人脸左右第一距离,距离人脸上下第二距离所形成的区域,其中,第一距离和第二距离可以是事先设置的距离。这样就不需要分析整张图像的全部特征,因为相对来说,计算量较小,可以提高检测效率,添加特效数据也较快。
当发送端进行人脸跟踪成功后,可以确定跟踪成功的人脸区域的位置信息。位置信息可以包括坐标信息和角度信息,坐标信息可以用于指示人脸在视频图像中的位置坐标。角度信息可以用于指示人脸的倾斜角度。同时发送端也可以获取人脸区域内人脸的高度和宽度,以便根据确定的位置信息及人脸的高度和宽度确定特效数据待添加的位置。如果发送端跟踪人脸失败,例如,用户离开摄像头的拍摄范围内,此时摄像头是采集不到人脸图像的,则发送端需要对跟踪失败后接收的至少一帧图像进行人脸区域检测,以重新确定出人脸区域,后续进行人脸跟踪。
发送端对人脸跟踪成功后,可以根据获取的位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频。具体地,发送端可以根据人脸区域内人脸的宽度和高度对待添加的特效图像进行缩放,以避免特效图像过大或过小与视频图像不匹配。由于视频图像是摄像头实时采集的图像,所采集的图像的格式是YUV格式,而特效图像的格式不一定是YUV格式,可以对特效图像和视频图像进行归一化处理,发送端在缩放特效图像之前,可以将特效图像转化成YUV格式的图像。
发送端缩放特效图像之后,可以根据位置信息包括的坐标信息和角度信息及人脸的高度和宽度确定缩放后的特效图像在视频图像中待添加的位置,将缩放后的特效图像添加至待添加的位置,实现特效的添加。
用户在进行视频聊天时,通常头部可能会转动,这就导致人脸会发生倾斜,并不是正对摄像头。如果人脸正对摄像头,那么特效数据可以直接根据坐标信息确定待添加位置,而如果人脸不是正对摄像头,如果此时直接根据坐标信息确定待添加位置,那么添加特效数据后可以遮挡人脸。因此,发送端可以结合坐标信息和角度信息来确定待添加的位置。其中,坐标信息可以是人脸区域左上角的坐标,或者也可以是右上角的坐标,或者其他可能位置坐标。人脸的角度可以指人脸偏离人脸正视时对应的垂直中轴线的偏离角度α,如果向左偏离,则可以用负角度来表示。如果向右偏离,则可以用正角度来表示,如图3所示,本发明实施例以图3所示的方式示意角度信息,当然也可以是其他表示方式。请继续参见图3,如果人脸向左偏离,那么特效位置也向左偏离。如果人脸向右偏离,那么特效位置也向右偏离,以免遮挡人脸。
当然,可能实施方式中,待添加的位置也可以是发送端指定的,可以是人脸区域上的位置,例如眼睛的位置、鼻子的位置、嘴巴的位置等,对此,本发明实施例不作限制。
发送端确定了待添加的位置后,可以将特效图像与视频图像进行融合,例如可以特效图像逐像素点替换掉对应位置的原始视频图像的像素点,实现添加特效的效果。发送端可以将融合完成的视频图像经过本地图像渲染器进行渲染,渲染后可以显示,查看显示效果,再经过编码器进行编码压缩,并将压缩后的视频图像发送给接收端。可能的实施方式中,发送端可以使用rtp协议将编码后的视频图像码流打包发送,接收端从rtp包中解析出视频图像码流,通过解码后将融合了特效图片的发送端视频画面显示到显示界面上,实现发送端的特效效果。
本发明实施例提供的特效视频的生成方法,先对当前接收的至少一帧图像进行人脸检测,确定人脸区域,再对后续的帧图像进行人脸区域的跟踪。而人脸区域的跟踪就是在人脸区域的邻域搜索人脸特征,而不同对整张图片进行检测,因而可以减小计算量,较快地确定跟踪成功的人脸区域的位置信息,再根据位置信息将特效图像与跟踪成功后接收的视频图像进行融合,从而实现较快地生成特效视频,提高添加特效的效率。
本发明实施例中的发送端实现人脸检测和跟踪,并实现特效效果的融合,避免了网络带宽的浪费及接收端计算量的浪费,同时也能够兼容各个接收端视频通话。且在保证视频流畅性的同时也能够计算得到人脸的偏转角度,能够使特效更加贴合人脸,更好地适应人脸角度偏转。
下面结合附图介绍本发明实施例提供的设备。
请参见图4,基于同一发明构思,本发明一实施例提供一种特效视频的生成设备,该设备包括:检测单元401、跟踪单元402和融合单元403。其中:
检测单元401可以用于对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域。
跟踪单元402可以用于从确定人脸区域的帧开始,对人脸区域进行跟踪,并确定跟踪成功的人脸区域的位置信息。
融合单元403可以用于根据位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频。
可选的,检测单元401还用于:在从确定人脸区域的帧开始,对人脸区域进行跟踪之后,若跟踪失败,则对跟踪失败后接收的至少一帧图像进行人脸区域检测。
可选的,检测单元401具体用于:
针对至少一帧图像中的每帧图像,将每帧图像转化成亮度、色度YUV图像,获得至少一帧YUV图像;
提取至少一帧YUV图像中的每帧YUV图像的灰度图像,获得至少一帧灰度图像;
通过人脸检测算法对至少一帧灰度图像进行人脸区域检测,确定人脸区域。
可选的,检测单元401还用于:在通过人脸检测算法对至少一帧灰度图像进行人脸区域检测,确定人脸区域之前,按照预设比例,缩小至少一帧灰度图像,使得缩小后的至少一帧灰度图像的大小在预设范围内。
可选的,融合单元403具体用于:
根据人脸区域对特效图像进行缩放;
根据位置信息确定缩放后的特效图像在视频图像中待添加的位置;
将缩放后的特效图像添加至待添加的位置。
可选的,融合单元403具体用于:
将特效图像转化为YUV图像;
根据人脸区域中人脸的高度和宽度对转化后的YUV图像进行缩放。
可选的,位置信息包括坐标信息和角度信息,其中,坐标信息用于指示人脸在视频图像中的位置坐标角度信息用于指示人脸的倾斜角度;
融合单元403具体用于:
根据坐标信息和角度信息,及跟踪成功的人脸区域中人脸的高度和宽度,确定待添加的位置。
请参见图5,基于同一发明构思,本发明一实施例提供一种终端,该终端包括:至少一个处理器501,处理器501用于执行存储器中存储的计算机程序时实现本发明实施例提供的如图1所示的特效视频的生成方法的步骤。
可选的,处理器501具体可以是中央处理器、特定应用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC),可以是一个或多个用于控制程序执行的集成电路。
可选的,该生成设备还包括与至少一个处理器连接的存储器502,存储器502可以包括只读存储器(英文:Read Only Memory,简称:ROM)、随机存取存储器(英文:RandomAccess Memory,简称:RAM)和磁盘存储器。存储器302用于存储处理器501运行时所需的数据,即存储有可被至少一个处理器501执行的指令,至少一个处理器501通过执行存储器502存储的指令,执行如图1所示的方法。其中,存储器502的数量为一个或多个。其中,存储器502在图5中一并示出,但需要知道的是存储器502不是必选的功能模块,因此在图3中以虚线示出。
其中,检测单元401、跟踪单元402和融合单元403,所对应的实体设备均可以是前述的处理器501。该特效视频的生成设备可以用于执行图1所示的实施例所提供的方法。因此关于该设备中各功能模块所能够实现的功能,可参考图1所示的实施例中的相应描述,不多赘述。
本发明实施例还提供一种计算机存储介质,其中,计算机存储介质存储有计算机指令,当计算机指令在计算机上运行时,使得计算机执行如图1所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:通用串行总线闪存盘(Universal Serial Bus flash disk)、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种特效视频的生成方法,其特征在于,包括:
对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域;
从确定人脸区域的帧开始,对所述人脸区域进行跟踪,并确定跟踪成功的人脸区域的位置信息;
根据所述位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频。
2.如权利要求1所述的方法,其特征在于,在从确定人脸区域的帧开始,对所述人脸区域进行跟踪之后,还包括:
若跟踪失败,则对跟踪失败后接收的至少一帧图像进行人脸区域检测。
3.如权利要求1或2所述的方法,其特征在于,对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域,包括:
针对所述至少一帧图像中的每帧图像,将所述每帧图像转化成亮度、色度YUV图像,获得至少一帧YUV图像;
提取所述至少一帧YUV图像中的每帧YUV图像的灰度图像,获得至少一帧灰度图像;
通过人脸检测算法对所述至少一帧灰度图像进行人脸区域检测,确定所述人脸区域。
4.如权利要求3所述的方法,其特征在于,在通过人脸检测算法对所述至少一帧灰度图像进行人脸区域检测,确定所述人脸区域之前,还包括:
按照预设比例,缩小所述至少一帧灰度图像,使得缩小后的至少一帧灰度图像的大小在预设范围内。
5.如权利要求4所述的方法,其特征在于,根据所述位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频,包括:
根据所述人脸区域对所述特效图像进行缩放;
根据所述位置信息确定缩放后的特效图像在所述视频图像中待添加的位置;
将所述缩放后的特效图像添加至所述待添加的位置。
6.如权利要求5所述的方法,其特征在于,根据所述人脸区域对所述特效图像进行缩放,包括:
将所述特效图像转化为YUV图像;
根据所述人脸区域中人脸的高度和宽度对转化后的YUV图像进行缩放。
7.如权利要求6所述的方法,其特征在于,所述位置信息包括坐标信息和角度信息,其中,所述坐标信息用于指示人脸在所述视频图像中的位置坐标所述角度信息用于指示人脸的倾斜角度;
根据所述位置信息确定缩放后的特效图像在所述视频图像中待添加的位置,将所述缩放后的特效图像添加至所述待添加的位置,包括:
根据所述坐标信息和角度信息,及跟踪成功的人脸区域中人脸的高度和宽度,确定所述待添加的位置。
8.一种特效视频的生成设备,其特征在于,包括:
检测单元,用于对当前接收的至少一帧图像进行人脸区域检测,确定人脸区域;
跟踪单元,用于从确定人脸区域的帧开始,对所述人脸区域进行跟踪,并确定跟踪成功的人脸区域的位置信息;
融合单元,用于根据所述位置信息将特效图像与跟踪成功后接收的视频图像进行融合,生成特效视频。
9.一种特效视频的生成设备,其特征在于,包括:
至少一个处理器,以及
与所述至少一个处理器连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-7任一项所述的方法。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN201711091455.9A 2017-11-08 2017-11-08 一种特效视频的生成方法及设备 Pending CN109754383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711091455.9A CN109754383A (zh) 2017-11-08 2017-11-08 一种特效视频的生成方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711091455.9A CN109754383A (zh) 2017-11-08 2017-11-08 一种特效视频的生成方法及设备

Publications (1)

Publication Number Publication Date
CN109754383A true CN109754383A (zh) 2019-05-14

Family

ID=66401408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711091455.9A Pending CN109754383A (zh) 2017-11-08 2017-11-08 一种特效视频的生成方法及设备

Country Status (1)

Country Link
CN (1) CN109754383A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898488A (zh) * 2020-07-15 2020-11-06 广州酷狗计算机科技有限公司 视频图像的识别方法、装置、终端及存储介质
CN112035685A (zh) * 2020-08-17 2020-12-04 中移(杭州)信息技术有限公司 相册视频生成方法、电子设备和存储介质
CN112437226A (zh) * 2020-09-15 2021-03-02 上海传英信息技术有限公司 图像处理方法、设备及存储介质
CN113068072A (zh) * 2021-03-30 2021-07-02 北京达佳互联信息技术有限公司 视频的播放方法、装置及设备
CN113139919A (zh) * 2021-05-08 2021-07-20 广州繁星互娱信息科技有限公司 特效显示方法、装置、计算机设备及存储介质
CN113223057A (zh) * 2021-06-04 2021-08-06 北京奇艺世纪科技有限公司 一种人脸跟踪方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924894A (zh) * 2006-09-27 2007-03-07 北京中星微电子有限公司 多姿态人脸检测与追踪***及方法
CN101247482A (zh) * 2007-05-16 2008-08-20 北京思比科微电子技术有限公司 一种实现动态图像处理的方法和装置
CN102055912A (zh) * 2009-10-29 2011-05-11 北京中星微电子有限公司 一种视频应用***、视频特效处理***和方法
CN103716548A (zh) * 2013-12-06 2014-04-09 乐视致新电子科技(天津)有限公司 一种视频图片特效处理方法和装置
CN104394324A (zh) * 2014-12-09 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN105049911A (zh) * 2015-07-10 2015-11-11 西安理工大学 一种基于人脸识别的视频特效处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924894A (zh) * 2006-09-27 2007-03-07 北京中星微电子有限公司 多姿态人脸检测与追踪***及方法
CN101247482A (zh) * 2007-05-16 2008-08-20 北京思比科微电子技术有限公司 一种实现动态图像处理的方法和装置
CN102055912A (zh) * 2009-10-29 2011-05-11 北京中星微电子有限公司 一种视频应用***、视频特效处理***和方法
CN103716548A (zh) * 2013-12-06 2014-04-09 乐视致新电子科技(天津)有限公司 一种视频图片特效处理方法和装置
CN104394324A (zh) * 2014-12-09 2015-03-04 成都理想境界科技有限公司 特效视频生成方法及装置
CN105049911A (zh) * 2015-07-10 2015-11-11 西安理工大学 一种基于人脸识别的视频特效处理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898488A (zh) * 2020-07-15 2020-11-06 广州酷狗计算机科技有限公司 视频图像的识别方法、装置、终端及存储介质
CN112035685A (zh) * 2020-08-17 2020-12-04 中移(杭州)信息技术有限公司 相册视频生成方法、电子设备和存储介质
CN112437226A (zh) * 2020-09-15 2021-03-02 上海传英信息技术有限公司 图像处理方法、设备及存储介质
CN112437226B (zh) * 2020-09-15 2022-09-16 上海传英信息技术有限公司 图像处理方法、设备及存储介质
CN113068072A (zh) * 2021-03-30 2021-07-02 北京达佳互联信息技术有限公司 视频的播放方法、装置及设备
CN113139919A (zh) * 2021-05-08 2021-07-20 广州繁星互娱信息科技有限公司 特效显示方法、装置、计算机设备及存储介质
CN113223057A (zh) * 2021-06-04 2021-08-06 北京奇艺世纪科技有限公司 一种人脸跟踪方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109754383A (zh) 一种特效视频的生成方法及设备
CN110136229B (zh) 一种用于实时虚拟换脸的方法与设备
CN105531998B (zh) 用于对象检测和分割的方法、装置及计算机程序产品
US6771303B2 (en) Video-teleconferencing system with eye-gaze correction
CN107113396B (zh) 视频通话期间在用户终端处实现的方法、用户终端及计算机可读存储介质
CN113420719B (zh) 生成动作捕捉数据的方法、装置、电子设备以及存储介质
US6677980B1 (en) Method and apparatus for correcting gaze of image using single camera
CN102053867B (zh) 一种动态切换图片的方法和装置
CN110598139A (zh) 基于5G云计算的Web浏览器增强现实实时定位的方法
KR20120071444A (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
CN111353336B (zh) 图像处理方法、装置及设备
CN115205925A (zh) 表情系数确定方法、装置、电子设备及存储介质
JP2006331065A (ja) 顔情報送信装置、顔情報送信方法及びそのプログラムを記録した記録媒体
KR20160116677A (ko) 피트니스 컨설턴트 방법 및 컴퓨터 프로그램, 그리고 컨설턴트 단말
CN115512014A (zh) 训练表情驱动生成模型的方法、表情驱动方法及装置
CN105407313A (zh) 一种视频通话方法、设备和***
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
EP4087249A1 (en) Character restoration method and apparatus, storage medium, and electronic device
WO2021173489A1 (en) Apparatus, method, and system for providing a three-dimensional texture using uv representation
US20230327897A1 (en) Gaze Repositioning During A Video Conference
CN112381749A (zh) 一种图像处理方法、图像处理装置和电子设备
CN107529711A (zh) 流媒体的显示方法及装置
CN115775405A (zh) 图像生成方法、装置、电子设备和介质
CN110599525A (zh) 图像补偿方法和装置、存储介质及电子装置
US20230396735A1 (en) Providing a 3d representation of a transmitting participant in a virtual meeting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190514