CN112533024A - 一种人脸视频处理方法、装置及存储介质 - Google Patents
一种人脸视频处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112533024A CN112533024A CN202011354376.4A CN202011354376A CN112533024A CN 112533024 A CN112533024 A CN 112533024A CN 202011354376 A CN202011354376 A CN 202011354376A CN 112533024 A CN112533024 A CN 112533024A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- processed
- video
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims description 26
- 230000007547 defect Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种人脸视频处理方法、装置及存储介质,涉及图像处理领域,以减少移动终端因编码导致上传的视频存在画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷。该方法中,通过对待处理视频的每一帧图像进行人脸检测,确定待处理图像的人脸区域,并对确定的人脸区域进行滤波处理,得到处理后的图像,将原图像与处理后的图像进行图像融合,得到优化图像,并根据各帧优化图像确定优化视频。这样,可减少移动终端因编码导致上传的视频存在画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种人脸视频处理方法、装置及存储介质。
背景技术
随着直播产业的飞速发展,越来越多的人成为一名主播。近来,移动设备端的直播成为一项热门社交应用场景,受到广泛的关注。然而在相关技术中,受限于移动设备的承载能力以及环境带宽限制,主播客户端上传的直播视频流经过编码,上传到服务器的视频通常存在各种画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷。
发明内容
本申请实施例提供一种人脸视频处理方法、装置及存储介质,以减少移动终端因编码导致上传的视频存在画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷。
根据本申请实施例的第一方面,提供一种人脸视频处理方法,包括:
获取待处理视频;其中,所述待处理视频包括至少两帧待处理图像,所述待处理视频为编码后的视频;
针对每帧待处理图像,对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域;
将所述人脸区域所在的图像进行图像滤波处理,得到优化图像;
将各帧优化图像组成的视频作为优化视频。
在一种可能的实现方式中,所述对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域,包括:
对所述待处理图像进行关键点检测,得到所述待处理图像的人脸关键点;
根据所述人脸关键点进行人脸边缘定位处理,得到所述待处理图像的人脸区域。
在一种可能的实现方式中,所述根据所述人脸关键点进行人脸边缘定位处理,得到所述待处理图像的人脸区域,包括:
根据所述人脸关键点的坐标从所述人脸关键点中确定脸颊关键点;
对所述脸颊关键点进行人脸边缘定位处理,得到所述待处理图像的人脸轮廓。
在一种可能的实现方式中,所述对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域之后,所述方法还包括:
对待处理图像进行肤色检测,排除所述人脸区域的非皮肤区域。
在一种可能的实现方式中,所述将所述人脸区域所在的图像进行图像滤波处理,得到优化图像,包括:
将所述人脸区域所在的图像进行多级中值滤波处理,得到滤波图像;
将所述滤波图像与所述待处理图像进行图像融合,得到所述优化图像。
根据本申请实施例的第二方面,提供一种人脸视频处理装置,包括:
获取模块,被配置为执行获取待处理视频;其中,所述待处理视频包括至少两帧待处理图像,所述待处理视频为编码后的视频;
检测模块,被配置为执行针对每帧待处理图像,对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域;
处理模块,被配置为执行将所述人脸区域所在的图像进行图像滤波处理,得到优化图像;
确定模块,被配置为执行将各帧优化图像组成的视频作为优化视频。
在一种可能的实现方式中,检测模块包括:
检测单元,被配置为执行对所述待处理图像进行关键点检测,得到所述待处理图像的人脸关键点;
定位单元,被配置为执行根据所述人脸关键点进行人脸边缘定位处理,得到所述待处理图像的人脸区域。
在一种可能的实现方式中,定位单元包括:
确定子单元,被配置为执行根据所述人脸关键点的坐标从所述人脸关键点中确定脸颊关键点;
定位子单元,被配置为执行对所述脸颊关键点进行人脸边缘定位处理,得到所述待处理图像的人脸轮廓。
在一种可能的实现方式中,所述装置还包括:
排除模块,被配置为执行检测模块对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域之后,对待处理图像进行肤色检测,排除所述人脸区域的非皮肤区域。
在一种可能的实现方式中,处理模块包括:
滤波单元,被配置为执行将所述人脸区域所在的图像进行多级中值滤波处理,得到滤波图像;
图像融合单元,被配置为执行将所述滤波图像与所述待处理图像进行图像融合,得到所述优化图像。
根据本申请实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现一种人脸视频处理方法;
根据本申请实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行一种人脸视频处理方法;
根据本申请实施例的第五方面,提供一种计算机程序产品,包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请实施例提供的人脸视频处理方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
本申请提供一种人脸视频处理方法、装置及存储介质,通过对待处理视频的每一帧图像进行人脸检测,确定待处理图像的人脸区域,并对确定的人脸区域进行滤波处理,得到处理后的图像,将原图像与处理后的图像进行图像融合,得到优化图像,并根据各帧优化图像确定优化视频。这样,经过上述处理,可减少移动终端因编码导致上传的视频存在画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中直播链路示意图;
图2为本申请实施例中直播拍摄上传码流中物体边缘的彩块效应示意图;
图3为本申请实施例中一种人脸视频处理方法的流程示意图;
图4为本申请实施例中一种完整的人脸视频处理方法的流程示意图;
图5为本申请实施例中一种人脸视频处理装置的结构示意图;
图6为本申请实施方式中终端设备结构示意图。
具体实施方式
为了减少移动终端因编码导致上传的视频存在画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷,本申请实施例中提供一种人脸视频处理方法、装置及存储介质。为了更好的理解本申请实施例提供的技术方案,这里对该方案的基本原理做一下简单说明:
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面结合附图介绍本申请实施例提供的技术方案。
随着直播产业的飞速发展,越来越多的人成为一名主播。近来,移动设备端的直播成为一项热门社交应用场景,受到广泛的关注。如图1所示,其为直播链路示意图。一般而言,直播的完整链路大概包含如下几个部分:
首先是主播客户端的拍摄部分,包括拍摄、前处理、编码等几个步骤。拍摄原始视频后,可能会经过一系列画质增强,美颜,滤镜等前处理操作,之后进入硬件编码器进行编码。编码器将根据平台设定的码流以及现场网络带宽状况自适应进行编码,保证码流能够稳定地上传至服务端。
第二步为推流,即主播客户端将编码后的视频上传给服务器。
第三步为服务器处理部分,包括前处理以及转码处理等。
最后为拉流,即,将视频发送给客户端,由客户端进行播放。
在服务器端根据不同的分发策略,对接收到的码流进行转码以降低视频流码率,节省带宽。
然而在相关技术中,受限于移动设备的承载能力以及环境带宽限制,主播客户端上传的直播视频流经过编码,上传到服务器的视频通常存在各种画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷。如图2所示,其为直播拍摄上传码流中物体边缘的彩块效应示意图。
有鉴于此,本申请为了解决以上问题,提供了一种人脸视频处理方法,通过对待处理视频的每一帧图像进行人脸检测,确定待处理图像的人脸区域,并对确定的人脸区域进行滤波处理,得到处理后的图像,将原图像与处理后的图像进行图像融合,得到优化图像,并根据各帧优化图像确定优化视频。这样,经过上述处理,可减少移动终端因编码导致上传的视频存在画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请实施例中的实施例及实施例中的特征可以相互组合。
下面对本申请实施例提供的人脸视频处理转移方法进行进一步的解释说明。如图3所示,包括以下步骤。
在步骤S31中,获取待处理视频;其中,所述待处理视频包括至少两帧待处理图像,所述待处理视频为编码后的视频。
在本申请实施例中,待处理视频为客户端上传的经过编码的视频。
在步骤S32中,针对每帧待处理图像,对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域。
在本申请实施例中,对待处理视频进行图像提取,从而得到每一帧待处理图像。例如,若一段视频由30张图像组成,则对视频进行处理时,分别对这30张图像进行处理。
由于在直播过程中,观众的注意力大部分都集中在主播的脸上,所以视频中脸部区域的彩块,噪点,伪影等现象为首先要解决的问题。因此在处理过程中首先需要确定视频中人脸的区域,从而便于进行后续的优化处理。
在本申请实施例中,通过确定待处理图像中的人脸关键点来确定待处理图像中的人脸区域。具体可实施为步骤A1-A2:
步骤A1:对所述待处理图像进行关键点检测,得到所述待处理图像的人脸关键点。
其中,可将待处理图像输入到预先训练好的关键点检测模型中,来得到人脸关键点;也可以通过特征提取等算法处理,确定人脸关键点。
步骤A2:根据所述人脸关键点进行人脸边缘定位处理,得到所述待处理图像的人脸区域。
在本申请实施例中,在得到人脸关键点后,根据人脸关键点的坐标确定该人脸在图像中的位置,并根据人脸边缘处的关键点来确定人脸区域。这样,通过确定视频中人脸的区域,从而便于进行后续的优化处理。
而根据图2可知,在图像中人脸边缘处的彩块,噪点,伪影等现象较为严重,因此需要确定人脸轮廓,以便于图像优化。具体可实施为:根据所述人脸关键点的坐标从所述人脸关键点中确定脸颊关键点;对所述脸颊关键点进行人脸边缘定位处理,得到所述待处理图像的人脸轮廓。
而为了进一步的精确人脸区域,在经过上述步骤之后,还可以通过肤色检测来确定人脸区域中是否存在遮挡物。具体可实施为:对待处理图像进行肤色检测,排除所述人脸区域的非皮肤区域。
在本申请实施例中,可根据RGB(一种色彩模式)颜色模型进行肤色检测,或者基于椭圆皮肤模型进行肤色检测。
在RGB颜色模型中,找出定义好的肤色范围内的像素点,将处于范围内的像素点作为皮肤像素点,并将范围之外的像素点作为非皮肤像素点,从而确定出人脸区域中的皮肤区域和费皮肤区域。
在椭圆皮肤模型中,将皮肤信息映射到YCrCb(优化彩***信号)空间,则在CrCb二维空间中这些皮肤像素点近似成一个椭圆分布。因此如果我们得到了一个CrCb的椭圆,下次来一个坐标(Cr,Cb)我们只需判断它是否在椭圆内(包括边界),如果是,则可以判断其为皮肤像素点,否则就是非皮肤像素点。
而在观看过程中,观众注意力大都放在皮肤区域内,因此将非皮肤区域去除掉。
在步骤S33中,将所述人脸区域所在的图像进行图像滤波处理,得到优化图像。
在本申请实施例中,在得到了人脸区域后,通过对人脸区域进行滤波处理,来解决图像中的彩块,噪点,伪影等现象。具体可实施为步骤B1-B2:
步骤B1:将所述人脸区域所在的图像进行多级中值滤波处理,得到滤波图像。
中值滤波是一种非线性数字滤波器技术,经常用于去除图像或者其它信号中的噪声。这个设计思想就是检查输入信号中的采样并判断它是否代表了信号,使用奇数个采样组成的观察窗实现这项功能。观察窗口中的数值进行排序,位于观察窗中间的中值作为输出。然后,丢弃最早的值,取得新的采样,重复上面的计算过程。
而多级中值滤波是一种用于图象处理的非线性滤波方法。由于它在平滑嗓声的同时还能够保护图像的细节不被破坏,因此在图象处理中得到了主要的应用。通过多级中值滤波处理,可消除人脸图像中的彩块,噪点,伪影等现象。
步骤B2:将所述滤波图像与所述待处理图像进行图像融合,得到所述优化图像。
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像。
在本申请实施例中,通过将滤波处理后的人脸图像和原待处理图像进行图像融合,可以在保证不丢失细节的情况下,优化图像中人脸的轮廓以及人脸图像。
在本申请实施例中,为了进一步的对图像中人脸的轮廓以及人脸图像进行优化,在对人脸图像进行多级中值滤波的基础上,采用对图像加权的方式进一步的优化。
例如,在对人脸边缘轮廓进行优化时,需要对边缘轮廓附近的像素点进行多级中值滤波处理。此时,将边缘轮廓的像素点与边缘轮廓附近的像素点分别进行加权,并进行多级中值滤波处理。其中,边缘轮廓的像素点所占权重高于边缘轮廓附近的像素点的权重。而设置的权重可以是预先设置好的,也可以是对图像进行优化时计算得到的。如:在对人脸边缘轮廓进行优化时,边缘轮廓附近的像素点共有6个,分别为像素点1、像素点2、像素点3、像素点4、像素点5、像素点6,其中,位于边缘轮廓的像素点为像素点1和像素点2,其余像素点为边缘轮廓附近的像素点。因此,对上述6个像素点进行多级中值滤波时,对像素点1和像素点2赋予0.8的权重因子,像素点3、像素点4、像素点5、像素点6赋予0.2的权重因子。
需要说明的是,同一类像素点中的每一个像素点所被赋予的权重因子可以相同,也可以不同。如可以对边缘轮廓的像素点1和像素点2赋予0.8的权重因子,也可以对边缘轮廓的像素点1赋予0.8的权重因子,边缘轮廓的像素点2赋予0.7的权重因子。
上述结合方式能够有效地去除了编码产生的彩块,噪点,伪影等缺陷,实时性强,同时支持15路以上720p直播视频流的转码。
在步骤S34中,将各帧优化图像组成的视频作为优化视频。
本申请实施例中还介绍了一种完整人脸视频处理方法,其流程图如图4所示。具体可包括以下步骤:
步骤41:获取待处理视频;其中,所述待处理视频包括至少两帧待处理图像,所述待处理视频为编码后的视频。
步骤42:针对每帧待处理图像,对所述待处理图像进行关键点检测,得到所述待处理图像的人脸关键点。
步骤43:根据所述人脸关键点的坐标从所述人脸关键点中确定脸颊关键点。
步骤44:对所述脸颊关键点进行人脸边缘定位处理,得到所述待处理图像的人脸轮廓。
步骤45:对待处理图像进行肤色检测,排除所述人脸区域的非皮肤区域。
步骤46:将所述人脸区域所在的图像进行多级中值滤波处理,得到滤波图像。
步骤47:将所述滤波图像与所述待处理图像进行图像融合,得到优化图像。
步骤48:将各帧优化图像组成的视频作为优化视频。
这样,经过上述处理,可减少移动终端因编码导致上传的视频存在画质问题,从而导致人脸边缘处存在彩块,噪点,伪影等缺陷。且由于仅针对人脸边缘区域进行处理,有效地避免了由于算法副作用给其他区域带来的影响。
基于相同的发明构思,本申请还提供一种人脸视频处理装置。如图5所示,为本申请提供的一种人脸视频处理装置示意图。该装置包括:
获取模块501,被配置为执行获取待处理视频;其中,所述待处理视频包括至少两帧待处理图像,所述待处理视频为编码后的视频;
检测模块502,被配置为执行针对每帧待处理图像,对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域;
处理模块503,被配置为执行将所述人脸区域所在的图像进行图像滤波处理,得到优化图像;
确定模块504,被配置为执行将各帧优化图像组成的视频作为优化视频。
在一种可能的实现方式中,检测模块502包括:
检测单元,被配置为执行对所述待处理图像进行关键点检测,得到所述待处理图像的人脸关键点;
定位单元,被配置为执行根据所述人脸关键点进行人脸边缘定位处理,得到所述待处理图像的人脸区域。
在一种可能的实现方式中,定位单元包括:
确定子单元,被配置为执行根据所述人脸关键点的坐标从所述人脸关键点中确定脸颊关键点;
定位子单元,被配置为执行对所述脸颊关键点进行人脸边缘定位处理,得到所述待处理图像的人脸轮廓。
在一种可能的实现方式中,所述装置还包括:
排除模块,被配置为执行检测模块502对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域之后,对待处理图像进行肤色检测,排除所述人脸区域的非皮肤区域。
在一种可能的实现方式中,处理模块503包括:
滤波单元,被配置为执行将所述人脸区域所在的图像进行多级中值滤波处理,得到滤波图像;
图像融合单元,被配置为执行将所述滤波图像与所述待处理图像进行图像融合,得到所述优化图像。
如图6所示,基于同一技术构思,本申请实施例还提供了一种电子设备60,可以包括存储器601和处理器602。
所述存储器601,用于存储处理器602执行的计算机程序。存储器601可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据任务管理装置的使用所创建的数据等。处理器602,可以是一个中央处理单元(central processing unit,CPU),或者为数字处理单元等等。本申请实施例中不限定上述存储器601和处理器602之间的具体连接介质。本申请实施例在图6中以存储器601和处理器602之间通过总线603连接,总线603在图6中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线603可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器601可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器601也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器601是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器601可以是上述存储器的组合。
处理器602,用于调用所述存储器601中存储的计算机程序时执行如图3中所示的实施例中设备所执行的方法。
在一些可能的实施方式中,本申请提供的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤,例如,所述计算机设备可以执行如图1~图3中所示的实施例中设备所执行的方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种人脸视频处理方法,其特征在于,所述方法包括:
获取待处理视频;其中,所述待处理视频包括至少两帧待处理图像,所述待处理视频为编码后的视频;
针对每帧待处理图像,对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域;
将所述人脸区域所在的图像进行图像滤波处理,得到优化图像;
将各帧优化图像组成的视频作为优化视频。
2.根据权利要求1所述的方法,其特征在于,所述对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域,包括:
对所述待处理图像进行关键点检测,得到所述待处理图像的人脸关键点;
根据所述人脸关键点进行人脸边缘定位处理,得到所述待处理图像的人脸区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述人脸关键点进行人脸边缘定位处理,得到所述待处理图像的人脸区域,包括:
根据所述人脸关键点的坐标从所述人脸关键点中确定脸颊关键点;
对所述脸颊关键点进行人脸边缘定位处理,得到所述待处理图像的人脸轮廓。
4.根据权利要求2所述的方法,其特征在于,所述对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域之后,所述方法还包括:
对待处理图像进行肤色检测,排除所述人脸区域的非皮肤区域。
5.根据权利要求1所述的方法,其特征在于,所述将所述人脸区域所在的图像进行图像滤波处理,得到优化图像,包括:
将所述人脸区域所在的图像进行多级中值滤波处理,得到滤波图像;
将所述滤波图像与所述待处理图像进行图像融合,得到所述优化图像。
6.一种人脸视频处理装置,其特征在于,所述装置包括:
获取模块,被配置为执行获取待处理视频;其中,所述待处理视频包括至少两帧待处理图像,所述待处理视频为编码后的视频;
检测模块,被配置为执行针对每帧待处理图像,对所述待处理图像进行人脸检测,确定所述待处理图像的人脸区域;
处理模块,被配置为执行将所述人脸区域所在的图像进行图像滤波处理,得到优化图像;
确定模块,被配置为执行将各帧优化图像组成的视频作为优化视频。
7.根据权利要求6所述的装置,其特征在于,检测模块包括:
检测单元,被配置为执行对所述待处理图像进行关键点检测,得到所述待处理图像的人脸关键点;
定位单元,被配置为执行根据所述人脸关键点进行人脸边缘定位处理,得到所述待处理图像的人脸区域。
8.根据权利要求7所述的装置,其特征在于,定位单元包括:
确定子单元,被配置为执行根据所述人脸关键点的坐标从所述人脸关键点中确定脸颊关键点;
定位子单元,被配置为执行对所述脸颊关键点进行人脸边缘定位处理,得到所述待处理图像的人脸轮廓。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至5中任一项所述的人脸视频处理方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至5中任一项所述的人脸视频处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011354376.4A CN112533024A (zh) | 2020-11-26 | 2020-11-26 | 一种人脸视频处理方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011354376.4A CN112533024A (zh) | 2020-11-26 | 2020-11-26 | 一种人脸视频处理方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112533024A true CN112533024A (zh) | 2021-03-19 |
Family
ID=74994108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011354376.4A Pending CN112533024A (zh) | 2020-11-26 | 2020-11-26 | 一种人脸视频处理方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112533024A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327207A (zh) * | 2021-06-03 | 2021-08-31 | 广州光锥元信息科技有限公司 | 应用于图像人脸优化的方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574306A (zh) * | 2014-12-24 | 2015-04-29 | 掌赢信息科技(上海)有限公司 | 一种即时视频中的人脸美化方法和电子设备 |
CN106447627A (zh) * | 2016-09-08 | 2017-02-22 | 阔地教育科技有限公司 | 一种图像处理方法及装置 |
CN107749062A (zh) * | 2017-09-18 | 2018-03-02 | 深圳市朗形网络科技有限公司 | 图像处理方法、及装置 |
CN110086997A (zh) * | 2019-05-20 | 2019-08-02 | 北京百度网讯科技有限公司 | 人脸图像曝光亮度补偿方法及装置 |
WO2020207423A1 (zh) * | 2019-04-12 | 2020-10-15 | 虹软科技股份有限公司 | 肤质检测方法、肤质等级分类方法及肤质检测装置 |
-
2020
- 2020-11-26 CN CN202011354376.4A patent/CN112533024A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574306A (zh) * | 2014-12-24 | 2015-04-29 | 掌赢信息科技(上海)有限公司 | 一种即时视频中的人脸美化方法和电子设备 |
CN106447627A (zh) * | 2016-09-08 | 2017-02-22 | 阔地教育科技有限公司 | 一种图像处理方法及装置 |
CN107749062A (zh) * | 2017-09-18 | 2018-03-02 | 深圳市朗形网络科技有限公司 | 图像处理方法、及装置 |
WO2020207423A1 (zh) * | 2019-04-12 | 2020-10-15 | 虹软科技股份有限公司 | 肤质检测方法、肤质等级分类方法及肤质检测装置 |
CN110086997A (zh) * | 2019-05-20 | 2019-08-02 | 北京百度网讯科技有限公司 | 人脸图像曝光亮度补偿方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327207A (zh) * | 2021-06-03 | 2021-08-31 | 广州光锥元信息科技有限公司 | 应用于图像人脸优化的方法及装置 |
CN113327207B (zh) * | 2021-06-03 | 2023-12-08 | 广州光锥元信息科技有限公司 | 应用于图像人脸优化的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8606042B2 (en) | Blending of exposure-bracketed images using weight distribution functions | |
CN113034384A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
CN110263699B (zh) | 视频图像处理方法、装置、设备及存储介质 | |
WO2007120337A2 (en) | Selecting key frames from video frames | |
CN110620924B (zh) | 编码数据的处理方法、装置、计算机设备及存储介质 | |
KR102182697B1 (ko) | 영상 처리 장치 및 방법 | |
JP2009147911A (ja) | 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム | |
CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
US11798254B2 (en) | Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks | |
CN111445424A (zh) | 图像处理和移动终端视频处理方法、装置、设备和介质 | |
US20230325974A1 (en) | Image processing method, apparatus, and non-transitory computer-readable medium | |
TWI513291B (zh) | 影像處理的方法、裝置及電腦可讀取媒體 | |
CN110378860B (zh) | 修复视频的方法、装置、计算机设备和存储介质 | |
CN114302226B (zh) | 一种视频画幅智能裁剪方法 | |
CN111192213A (zh) | 图像去雾自适应参数的计算方法、图像去雾方法及*** | |
CN112533024A (zh) | 一种人脸视频处理方法、装置及存储介质 | |
US11095901B2 (en) | Object manipulation video conference compression | |
CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和*** | |
CN115471413A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN111382772B (zh) | 一种图像处理方法、装置及终端设备 | |
CN112118446B (zh) | 图像压缩方法及装置 | |
CN113935910A (zh) | 一种基于深度学习的图像模糊长度测量方法 | |
WO2015128302A1 (en) | Method and apparatus for filtering and analyzing a noise in an image | |
US20240087185A1 (en) | Virtual view drawing method, rendering method, and decoding method | |
Zhang et al. | A Unified Image Preprocessing Framework For Image Compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210319 |
|
RJ01 | Rejection of invention patent application after publication |