CN102355555A - 视频处理方法及*** - Google Patents

视频处理方法及*** Download PDF

Info

Publication number
CN102355555A
CN102355555A CN2011102839099A CN201110283909A CN102355555A CN 102355555 A CN102355555 A CN 102355555A CN 2011102839099 A CN2011102839099 A CN 2011102839099A CN 201110283909 A CN201110283909 A CN 201110283909A CN 102355555 A CN102355555 A CN 102355555A
Authority
CN
China
Prior art keywords
fritter
frame
processing
video
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102839099A
Other languages
English (en)
Other versions
CN102355555B (zh
Inventor
陈世峰
曹琛
张维
刘健庄
汤晓鸥
乔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN 201110283909 priority Critical patent/CN102355555B/zh
Publication of CN102355555A publication Critical patent/CN102355555A/zh
Application granted granted Critical
Publication of CN102355555B publication Critical patent/CN102355555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种视频处理方法,首先获取视频的第一帧,对所述视频的第一帧进行艺术风格化处理;然后通过光流法将所述第一帧的艺术风格化效果扩散到后续每一帧中;在艺术风格化处理的过程中,采用人脸定位算法获取视频帧中的人脸区域;并将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理;最后将混合处理后的人脸区域与进行艺术风格化处理后的非人脸区域进行结合。从而在艺术风格化的同时保证人脸区域的清晰,进而实现了对视频的艺术风格化。本发明还提供一种视频处理***。

Description

视频处理方法及***
【技术领域】
本发明涉及视频处理技术,特别是涉及一种视频处理方法及***。
【背景技术】
所谓艺术风格化,就是将特定的艺术风格应用于艺术作品,从而产生艺术美感,使人产生强烈的兴趣。所谓个性化就是按照自己的喜好而选择艺术作品的艺术风格。目前,个性化的艺术作品越来越受关注,人们希望将自己日常拍摄的摄影作品,如生活视频按照自己的喜好,转换成特定的艺术风格,从而实现视频的个性化。
然而,一般的艺术风格化方法只能对单幅的图像进行艺术风格化,而不能对视频进行转换。
【发明内容】
鉴于上述状况,有必要提供一种能对视频进行艺术风格化处理的视频处理方法。
一种视频处理方法,包括以下步骤:
获取视频的第一帧,对所述视频的第一帧进行艺术风格化处理;
通过光流法将所述第一帧的艺术风格化效果扩散到后续每一帧中;
采用人脸定位算法获取视频帧中的人脸区域;
将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理;
将混合处理后的人脸区域与进行艺术风格化处理后的非人脸区域进行结合。
进一步地,所述对所述视频的第一帧进行艺术风格化处理的步骤为:
将艺术风格模板图分割为多个大小相同的风格化小块,以及将所述视频第一帧分割为与所述风格化小块同样大小的小块;
将所述艺术风格模板图分割后的小块贴在所述视频的第一帧分割后的小块上面,生成风格转换后的图块集合;
采用图片贴补法对所述图块集合进行缝合,得到所述第一帧的艺术风格化效果。
进一步地,所述艺术风格模板图分割后的小块贴在所述视频第一帧分割后的小块上面,生成风格转换后的图块集合的步骤为:
按照小块的质量值从所述艺术风格模板图分割后的小块中筛选预设数量个候选小块;
对所述筛选出的候选小块采用两步置信扩散算法求解能量最小值,得到使能量函数最小化的解,即风格转换后的图块集合。
进一步地,通过光流法将所述第一帧的艺术风格化效果扩散到后续每一帧中的步骤为:
对后续每一帧执行:
将当前帧分割成与所述风格化小块同样大小的小块;
采用光流法计算所述当前帧中的小块与前一帧中的小块的相关性;
判断所述当前帧中的小块是否与所述前一帧中的小块具有相关性,若是,则将所述风格化小块贴补在所述当前帧中与所述风格化小块处于相应位置的小块上面,否则,运用所述视频的第一帧的艺术风格化处理方法转换所述当前帧中的小块。
进一步地,所述采用人脸定位算法获取视频帧中的人脸区域的步骤为:
采用基于动态成型模型的人脸定位算法定位人脸的特征点;
利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索,获取视频帧中的人脸区域。
进一步地,在所述利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索的步骤之前,还包括:
判断是否成功定位人脸中的特征点,若是,则进行所述利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索的步骤;否则,利用光流法从当前帧的前一帧中找到与当前帧相关的区域,在找到的区域中定位人脸的特征点,然后进行所述利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索的步骤。
进一步地,采用如下公式将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理:
Ffinal=αF+(1-α)F′
其中,α为0-1之间的因子,F表示未进行艺术风格化处理的人脸区域,F′表示进行艺术风格化处理后的人脸区域,Ffinal表示混合处理后的人脸区域。
此外,还提供一种能对视频进行艺术风格化处理的视频处理***,所述***包括:
风格化处理模块,用于获取视频的第一帧,对所述视频的第一帧进行艺术风格化处理;
扩散模块,用于通过光流法将所述第一帧的艺术风格化效果扩散到后续每一帧中;
人脸提取模块,用于采用人脸定位算法获取视频帧中的人脸区域;
人脸混合模块,用于将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理;
人脸结合模块,用于将混合处理后的人脸区域与进行艺术风格化处理后的非人脸区域进行结合。
进一步地,所述风格化处理模块包括:
第一分割模块,用于将艺术风格模板图分割为多个大小相同的风格化小块,以及将所述视频第一帧分割为与所述风格化小块同样大小的小块;
粘贴模块,用于将所述艺术风格模板图分割后的小块贴在所述视频的第一帧分割后的小块上面,生成风格转换后的图块集合;
缝合模块,用于采用图片贴补法对所述图块集合进行缝合,得到所述第一帧的艺术风格化效果。
进一步地,所述粘贴模块还包括:
筛选模块,用于按照小块的质量值从所述艺术风格模板图分割后的小块中筛选预设数量个候选小块;
第一计算模块,用于对所述筛选出的候选小块采用两步置信扩散算法求解能量最小值,得到使能量函数最小化的解,即风格转换后的图块集合。
进一步地,所述扩散模块包括:
第二分割模块,用于将当前帧分割成与所述风格化小块大小相同的小块;
第二计算模块,用于采用光流法计算所述当前帧中的小块与前一帧中的小块的相关性;
第一判断模块,用于判断所述当前帧中的小块是否与所述前一帧中的小块具有相关性;
所述粘贴模块还用于当所述当前帧中的小块与所述前一帧中的小块具有相关性时,将所述风格化小块贴补在所述当前帧中与所述风格化小块处于相应位置的小块上面;
所述风格化处理模块还用于当所述当前帧中的小块与所述前一帧中的小块不具有相关性时,运用所述视频的第一帧的艺术风格化处理方法转换所述当前帧中的小块。
进一步地,所述人脸提取模块包括:
人脸定位模块,用于采用基于动态成型模型的人脸定位算法位人脸的特征点;
肤色搜索模块,用于利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索,获取视频帧中的人脸区域。
进一步地,所述人脸提取模块还包括:
第二判断模块,用于判断是否成功定位人脸中的特征点,若是,则通知所述肤色搜索模块利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索,否则,通知所述人脸定位模块利用光流法从当前帧的前一帧中找到与当前帧相关的区域,在找到的区域中定位人脸的特征点。
进一步地,所述人脸混合模块还用于采用如下公式将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理:
Ffinal=αF+(1-α)F′
其中,α为0-1之间的因子,F表示未进行艺术风格化处理的人脸区域,F′表示进行艺术风格化处理后的人脸区域,Ffinal表示混合处理后的人脸区域。
上述视频处理方法及***,通过将视频分为一帧一帧来处理,首先对视频的第一帧进行艺术风格化处理,然后通过光流法将第一帧的艺术风格化效果扩散到后续的每一帧中。在艺术风格化处理的过程中,人脸区域与非人脸区域分开处理,然后进行结合,从而在艺术风格化的同时保证人脸区域的清晰。进而实现了对视频的艺术风格化。
【附图说明】
图1为一个实施例中视频处理方法的流程图;
图2为图1中步骤S110的流程图;
图3为图2中步骤S113的流程图;
图4为图1中步骤S120的流程图;
图5为图2中步骤S130的流程图;
图6为另一实施例中获取视频中人脸区域的流程图;
图7为一个实施例中视频处理***的模块图;
图8为图7中的风格化处理模块的详细模块图;
图9为图7中的扩散模块的详细模块图;
图10为图7中的人脸提取模块的详细模块图。
【具体实施方式】
如图1所示,在一个实施例中,一种视频处理方法,包括:
步骤S110,获取视频的第一帧,对视频的第一帧进行艺术风格化处理。
在一个实施例中,如图2所示,步骤S110的具体过程为:
步骤S111,将艺术风格模板图分割为多个大小相同的风格化小块,以及将视频第一帧分割为与风格化小块同样大小的小块。
在一个实施例中,艺术风格模板图被分割成w×h的小块,表示为L={l1,l2,...lm},其中每个li表示一块从艺术风格模板图中提取出来的w×h的风格化小块,m是小块的总数,w和h分别为风格块小块li的宽度和高度。视频的第一帧被分割成同样尺寸的小块,表示为V={v1,v2,...vn}。
步骤S113,将艺术风格模板图分割后的小块贴在视频的第一帧分割后的小块上面,生成风格转换后的图块集合。
对于V中的每一个小块区域vi,我们选择L中的一块li贴在上面。风格转换的目标,就是找到一个最优的配置P={p1,p2,...pn|pi∈L}(pi是贴在vi上的小块)使如下的能量函数最小化:
E ( P ) = Σ v i ∈ V D ( p i ) + μ Σ ( v i , v j ) ∈ E C ( p i , p j )
其中,D(pi)是将小块pi贴在区域vi的数据能量消耗,C(pi,pj)是当一对小块(pi,pj)贴在相邻区域(vi,vj)所产生的连贯性能量消耗,μ是式中两项间的平衡因子。
其中,数据能量消耗项D(pi)定义如下:
D ( p i ) = Σ ( x , y ) ∈ p i | | ( p i ( x , y ) - p i ‾ ) - ( v i ( x , y ) - v i ‾ ) | | 2
其中,(x,y)表示小块pi和贴补区域vi的像素坐标,
Figure BDA0000093524110000063
Figure BDA0000093524110000064
分别表示pi和vi中所有像素的色彩均值,||·||表示2-范数。连贯性能量消耗项C(pi,pj)表示贴补块pi和pj各像素色彩平方差的和。
在一个实施例中,如图3所示,步骤S113的具体过程为:
步骤S1132,按照小块的质量值从艺术风格模板图分割后的小块中筛选预设数量个候选小块。在本实施例中,定义小块li的质量值如下:
Q ( l i ) = Σ ( x , y ) ∈ l i | Median ( A ′ ( x , y ) ) - A ′ ( x , y ) |
其中,(x,y)∈li表示(x,y)是艺术风格模板图中的小块li中的像素,Median()是中值滤波器。Q(li)的值越大,风格化小块li的艺术风格越强烈。
在一个优选的实施例中,预设数量为5000个,选择Q(li)值最大的5000个小块作为候选小块。
步骤S1134,对筛选出的候选小块采用两步置信扩散算法求解能量最小值,得到使能量函数最小化的解,即风格转换后的图块集合。
作为两步置信扩散算法即分两次分别对N1和N2数量的候选小块执行置信扩散算法,N1和N2的值可远小于候选小块的数量。本实施例中,将所有的候选小块采用K均值聚类方法聚成N1类,以每个类的类中心(类均值)作为候选小块运行一次置信扩散算法,再运行第二次置信扩散算法,运行第二次置信扩散算法时,每个区域的候选小块为第一次置信扩散算法得到的结果所选择类中心对应类中所含的图像块。如果类中所含的图像块数量大于N2,随机选取其中的N2个候选小块。
步骤S115,采用图片贴补法对图块集合进行缝合,得到第一帧的艺术风格化效果。
图片贴补的意图是在缝合小块时,在相邻小块间寻找一条使非连贯性最小的凹凸不平的边界,图片贴补被表示为最小分割问题。假设两个相邻的小块分别被表示成源点S和宿点T,连接两个相邻像素点(s,t)的边界的权重定义为:
W(s,t)=||Csrc(s)-Csk(s)||2+||Csrc(t)-Csk(t)||2
其中Csrc和Csk分别表示源点小块和宿点小块像素的色彩向量。
步骤S120,通过光流法将第一帧的艺术风格化效果扩散到后续每一帧中。
在一个实施例中,如图4所示,对后续每一帧,步骤S120的具体过程为:
步骤S121,将当前帧分割成与风格化小块同样大小的小块。
步骤S123,采用光流法计算当前帧中的小块与前一帧中的小块的相关性。
步骤S125,判断当前帧中的小块是否与前一帧中的小块具有相关性,若是,则进入步骤S127,否则进入步骤S129。
步骤S127,将风格化小块贴补在当前帧中与风格化小块处于相应位置的小块上面。
步骤S129,运用视频的第一帧的艺术风格化处理方法转换当前帧中的小块。
步骤S130,采用人脸定位算法获取视频帧中的人脸区域。
在一个实施例中,如图5所示,步骤S130的具体过程为:
步骤S131,采用基于动态成型模型的人脸定位算法定位人脸的特征点。
在一个实施例中,人脸定位算法成功检测时,将返回87个标志性的特征点,包括人脸轮廓19个点,每侧眉毛10个点,每只眼睛8个点,鼻子12个点,外侧嘴唇12个点,内侧嘴唇8个点。
步骤S133,利用基于单一高斯模型的肤色搜索算法在特征点的周围区域进行肤色搜索,获取视频帧中的人脸区域。
在一个实施例中,基于单一高斯模型的肤色搜索算法的公式如下:
p ( c | skin ) = 1 2 π | Σ S | 1 / 2 e - 1 2 ( c - μ s ) Σ S - 1 ( c - μ s )
其中,c是待搜索区域一个像素的色彩向量。在YCrCb色彩空间进行肤色搜索,因此c表示Cr和Cb值的二维向量。
其中, μ s = 1 n Σ i = 1 n c i Σ S = 1 n - 1 Σ i = 1 n ( c i - μ s ) ( c i - μ s ) T
其中,n是肤色搜索训练数据像素点的总数。训练数据采集自图像中由人脸定位得到的87个显著特征点包围的区域,并且要除去眼睛及其它深色部分。p(c|skin)代表一个色彩向量为c的像素被判定成皮肤的概率。在一个实施例中,可设定一个阈值来判断p(c|skin)对应的像素是否为皮肤。
在另一实施例中,如图6所示,步骤S130的具体过程为:
步骤S231,采用基于动态成型模型的人脸定位算法定位人脸的特征点。
步骤S233,判断是否成功定位人脸中的特征点,若是,则进入步骤S237,否则进入步骤S235。
步骤S237,进行利用基于单一高斯模型的肤色搜索算法在特征点的周围区域进行肤色搜索。
步骤S235,利用光流法从当前帧的前一帧中找到与当前帧相关的区域,再找到的区域中地位人脸的特征点,然后进行步骤S237。
步骤S140,将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理。
本实施例中,采用如下公式将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理:
Ffinal=αF+(1-α)F′
其中,α为0-1之间的因子,F表示未进行艺术风格化处理的人脸区域,F′表示进行艺术风格化处理后的人脸区域,Ffinal表示混合处理后的人脸区域。
步骤S150,将混合处理后的人脸区域与进行艺术风格化处理后的非人脸区域进行结合。
在本实施例中,运用泊松混合法实现人脸区域与非人脸区域的无缝结合。
上述视频处理方法,将视频分为一帧一帧来处理,首先对视频的第一帧进行艺术风格化处理,然后通过光流法将第一帧的艺术风格化效果扩散到后续的每一帧中。在艺术风格化处理的过程中,人脸区域与非人脸区域分开处理,然后进行结合,从而在艺术风格化的同时保证人脸区域的清晰。进而实现对视频的艺术风格化。
如图7所示,还提供一种视频处理***,该视频处理***包括风格化处理模块110、扩散模块120、人脸提取模块130、人脸混合模块140及人脸结合模块150。
风格化处理模块110,用于获取视频的第一帧,对视频的第一帧进行艺术风格化处理。
如图8所示,在一个实施例中,风格化处理模块110包括第一分割模块111、粘贴模块113及缝合模块115。其中:
第一分割模块111,用于将艺术风格模板图分割为多个大小相同的风格化小块,以及将视频第一帧分割为与风格化小块同样大小的小块。
粘贴模块113,用于将艺术风格模板图分割后的小块贴在的第一帧分割后的小块上面,生成风格转换后的图块集合。
粘贴模块113还包括筛选模块1132和第一计算模块1134。其中:筛选模块1132用于按照小块的质量值从艺术风格模板图分割后的小块中筛选预设数量个候选小块。第一计算模块1134用于对筛选出的候选小块采用两步置信扩散算法求解能量最小值,得到是能量函数最小化的解,即风格转换后的图块集合。
缝合模块115用于采用图片贴补法对图块集合进行缝合,得到第一帧的艺术风格化效果。
扩散模块120,用于通过光流法将第一帧的艺术风格化效果扩散到后续每一帧中。
如图9所示,在一个实施例中,扩散模块120包括第二分割模块121、第二计算模块123及第一判断模块125。其中:
第二分割模块121用于将当前帧分割成与风格化小块大小相同的小块。第二计算模块123用于采用光流法计算当前帧中的小块与前一帧中的小块的相关性。第一判断模块125用于判断当前帧中的小块是否与前一帧中的小块具有相关性,若是,则调用粘贴模块113,将风格化小块贴补在当前帧中与风格化小块处于相应位置的小块上面,否则,则调用风格化处理模块110,运用视频的第一帧的艺术风格化处理方法转换当前帧中的小块。
人脸提取模块130,用于采用人脸定位算法获取视频帧中的人脸区域。
如图10所示,在一个实施例中,人脸提取模块130包括人脸定位模块131、第二判断模块133及肤色搜索模块135。其中:
人脸定位模块131用于采用基于动态成型模型的人脸定位算法位人脸的特征点。第二判断模块133用于判断是否成功定位人脸中的特征点。若是,则调用肤色搜索模块135,利用基于单一高斯模型的肤色搜索算法在特征点的周围区域进行肤色搜索。否则,调用人脸定位模块131,利用光流法从当前帧的前一帧中找到与当前帧相关的区域,再找到的区域中地位人脸的特征点,然后调用肤色搜索模块135,利用基于单一高斯模型的肤色搜索算法在特征点的周围区域进行肤色搜索。肤色搜索模块135,用于利用基于单一高斯模型的肤色搜索算法在特征点的周围区域进行肤色搜索,获取视频帧中的人脸区域。
可以理解,在其他优选实施例中,第二判断模块133可以省略,不影响***视频个性化的功能。
人脸混合模块140,用于将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理。
在本实施例中,人脸混合模块140采用如下公式进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理:
Ffinal=αF+(1-α)F′
其中,α为0-1之间的因子,F表示未进行艺术风格化处理的人脸区域,F′表示进行艺术风格化处理后的人脸区域,Ffinal表示混合处理后的人脸区域。
人脸结合模块150,用于将混合处理后的人脸区域与进行艺术风格化处理后的非人脸区域进行结合。
视频处理***将视频分为一帧一帧来处理,首先通过艺术风格化模块110对视频的第一帧进行艺术风格化处理,然后通过扩散模块120光流法将第一帧的艺术风格化效果扩散到后续的每一帧中。在艺术风格化处理的过程中,人脸提取模块130提取人脸区域,人脸区域与非人脸区域分开处理,然后通过人脸结合模块150进行结合,从而在艺术风格化的同时保证人脸区域的清晰。进而实现对视频的艺术风格化。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种视频处理方法,其特征在于,包括以下步骤:
获取视频的第一帧,对所述视频的第一帧进行艺术风格化处理;
通过光流法将所述第一帧的艺术风格化效果扩散到后续每一帧中;
采用人脸定位算法获取视频帧中的人脸区域;
将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理;
将混合处理后的人脸区域与进行艺术风格化处理后的非人脸区域进行结合。
2.如权利要求1所述的视频处理方法,其特征在于,所述对所述视频的第一帧进行艺术风格化处理的步骤为:
将艺术风格模板图分割为多个大小相同的风格化小块,以及将所述视频第一帧分割为与所述风格化小块同样大小的小块;
将所述艺术风格模板图分割后的小块贴在所述视频的第一帧分割后的小块上面,生成风格转换后的图块集合;
采用图片贴补法对所述图块集合进行缝合,得到所述第一帧的艺术风格化效果。
3.如权利要求2所述的视频处理方法,其特征在于,所述艺术风格模板图分割后的小块贴在所述视频第一帧分割后的小块上面,生成风格转换后的图块集合的步骤为:
按照小块的质量值从所述艺术风格模板图分割后的小块中筛选预设数量个候选小块;
对所述筛选出的候选小块采用两步置信扩散算法求解能量最小值,得到使能量函数最小化的解,即风格转换后的图块集合。
4.如权利要求2所述的视频处理方法,其特征在于,通过光流法将所述第一帧的艺术风格化效果扩散到后续每一帧中的步骤为:
对后续每一帧执行:
将当前帧分割成与所述风格化小块同样大小的小块;
采用光流法计算所述当前帧中的小块与前一帧中的小块的相关性;
判断所述当前帧中的小块是否与所述前一帧中的小块具有相关性,若是,则将所述风格化小块贴补在所述当前帧中与所述风格化小块处于相应位置的小块上面,否则,运用所述视频的第一帧的艺术风格化处理方法转换所述当前帧中的小块。
5.如权利要求1所述的视频处理方法,其特征在于,所述采用人脸定位算法获取视频帧中的人脸区域的步骤为:
采用基于动态成型模型的人脸定位算法定位人脸的特征点;
利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索,获取视频帧中的人脸区域。
6.如权利要求5所述的视频处理方法,其特征在于,在所述利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索的步骤之前,还包括:
判断是否成功定位人脸中的特征点,若是,则进行所述利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索的步骤;否则,利用光流法从当前帧的前一帧中找到与当前帧相关的区域,在找到的区域中定位人脸的特征点,然后进行所述利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索的步骤。
7.如权利要求1所述的视频处理方法,其特征在于,采用如下公式将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理:
Ffinal=αF+(1-α)F′
其中,α为0-1之间的因子,F表示未进行艺术风格化处理的人脸区域,F′表示进行艺术风格化处理后的人脸区域,Ffinal表示混合处理后的人脸区域。
8.一种视频处理***,其特征在于,包括:
风格化处理模块,用于获取视频的第一帧,对所述视频的第一帧进行艺术风格化处理;
扩散模块,用于通过光流法将所述第一帧的艺术风格化效果扩散到后续每一帧中;
人脸提取模块,用于采用人脸定位算法获取视频帧中的人脸区域;
人脸混合模块,用于将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理;
人脸结合模块,用于将混合处理后的人脸区域与进行艺术风格化处理后的非人脸区域进行结合。
9.如权利要求8所述的视频处理***,其特征在于,所述风格化处理模块包括:
第一分割模块,用于将艺术风格模板图分割为多个大小相同的风格化小块,以及将所述视频第一帧分割为与所述风格化小块同样大小的小块;
粘贴模块,用于将所述艺术风格模板图分割后的小块贴在所述视频的第一帧分割后的小块上面,生成风格转换后的图块集合;
缝合模块,用于采用图片贴补法对所述图块集合进行缝合,得到所述第一帧的艺术风格化效果。
10.如权利要求9所述的视频处理***,其特征在于,所述粘贴模块还包括:
筛选模块,用于按照小块的质量值从所述艺术风格模板图分割后的小块中筛选预设数量个候选小块;
第一计算模块,用于对所述筛选出的候选小块采用两步置信扩散算法求解能量最小值,得到使能量函数最小化的解,即风格转换后的图块集合。
11.如权利要求9所述的视频处理***,其特征在于,所述扩散模块包括:
第二分割模块,用于将当前帧分割成与所述风格化小块大小相同的小块;
第二计算模块,用于采用光流法计算所述当前帧中的小块与前一帧中的小块的相关性;
第一判断模块,用于判断所述当前帧中的小块是否与所述前一帧中的小块具有相关性;
所述粘贴模块还用于当所述当前帧中的小块与所述前一帧中的小块具有相关性时,将所述风格化小块贴补在所述当前帧中与所述风格化小块处于相应位置的小块上面;
所述风格化处理模块还用于当所述当前帧中的小块与所述前一帧中的小块不具有相关性时,运用所述视频的第一帧的艺术风格化处理方法转换所述当前帧中的小块。
12.如权利要求8所述的视频处理***,其特征在于,所述人脸提取模块包括:
人脸定位模块,用于采用基于动态成型模型的人脸定位算法位人脸的特征点;
肤色搜索模块,用于利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索,获取视频帧中的人脸区域。
13.如权利要求11所述的视频处理***,其特征在于,所述人脸提取模块还包括:
第二判断模块,用于判断是否成功定位人脸中的特征点,若是,则通知所述肤色搜索模块利用基于单一高斯模型的肤色搜索算法在所述特征点的周围区域进行肤色搜索,否则,通知所述人脸定位模块利用光流法从当前帧的前一帧中找到与当前帧相关的区域,在找到的区域中定位人脸的特征点。
14.如权利要求8所述的视频处理***,其特征在于,所述人脸混合模块还用于采用如下公式将进行艺术风格化处理后的人脸区域与未进行艺术风格化处理的人脸区域进行混合处理:
Ffinal=αF+(1-α)F′
其中,α为0-1之间的因子,F表示未进行艺术风格化处理的人脸区域,F′表示进行艺术风格化处理后的人脸区域,Ffinal表示混合处理后的人脸区域。
CN 201110283909 2011-09-22 2011-09-22 视频处理方法及*** Active CN102355555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110283909 CN102355555B (zh) 2011-09-22 2011-09-22 视频处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110283909 CN102355555B (zh) 2011-09-22 2011-09-22 视频处理方法及***

Publications (2)

Publication Number Publication Date
CN102355555A true CN102355555A (zh) 2012-02-15
CN102355555B CN102355555B (zh) 2013-06-05

Family

ID=45579044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110283909 Active CN102355555B (zh) 2011-09-22 2011-09-22 视频处理方法及***

Country Status (1)

Country Link
CN (1) CN102355555B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469179A (zh) * 2014-12-22 2015-03-25 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
CN109359687A (zh) * 2018-10-19 2019-02-19 百度在线网络技术(北京)有限公司 视频风格转换处理方法和装置
CN111556244A (zh) * 2020-04-23 2020-08-18 北京百度网讯科技有限公司 视频风格迁移方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750046A (zh) * 2005-10-20 2006-03-22 浙江大学 基于图形处理器的三维水墨效果渲染方法
CN101794454A (zh) * 2010-04-08 2010-08-04 西安交通大学 一种基于图像的油画风格化方法
CN102074025A (zh) * 2009-11-23 2011-05-25 ***通信集团公司 一种图像风格化绘制方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750046A (zh) * 2005-10-20 2006-03-22 浙江大学 基于图形处理器的三维水墨效果渲染方法
CN102074025A (zh) * 2009-11-23 2011-05-25 ***通信集团公司 一种图像风格化绘制方法及装置
CN101794454A (zh) * 2010-04-08 2010-08-04 西安交通大学 一种基于图像的油画风格化方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469179A (zh) * 2014-12-22 2015-03-25 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
CN104469179B (zh) * 2014-12-22 2017-08-04 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
CN109359687A (zh) * 2018-10-19 2019-02-19 百度在线网络技术(北京)有限公司 视频风格转换处理方法和装置
CN109359687B (zh) * 2018-10-19 2020-11-24 百度在线网络技术(北京)有限公司 视频风格转换处理方法和装置
CN111556244A (zh) * 2020-04-23 2020-08-18 北京百度网讯科技有限公司 视频风格迁移方法和装置
CN111556244B (zh) * 2020-04-23 2022-03-11 北京百度网讯科技有限公司 视频风格迁移方法和装置

Also Published As

Publication number Publication date
CN102355555B (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
CN101651772B (zh) 一种基于视觉注意的视频感兴趣区域的提取方法
US9672416B2 (en) Facial expression tracking
CN109033940B (zh) 一种图像识别方法、装置、计算设备及存储介质
CN113129312A (zh) 一种图像处理方法、装置与设备
CN106504751A (zh) 自适应唇语交互方法以及交互装置
CN109598234B (zh) 关键点检测方法和装置
CN105469356B (zh) 人脸图像处理方法及装置
CN108898145A (zh) 一种结合深度学习的图像显著目标检测方法
CN102088597B (zh) 动静结合估计视频视觉显著度的方法
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
CN103440633B (zh) 一种数字图像自动祛除斑点的方法
CN103839250A (zh) 用于面部图像处理的方法和设备
CN109961453A (zh) 一种图像处理方法、装置与设备
CN107545536A (zh) 一种智能终端的图像处理方法及图像处理***
US11977981B2 (en) Device for automatically capturing photo or video about specific moment, and operation method thereof
CN102271262B (zh) 用于3d显示的基于多线索的视频处理方法
CN108960288B (zh) 基于卷积神经网络的三维模型分类方法及***
TW200719871A (en) A real-time face detection under complex backgrounds
CN102355555B (zh) 视频处理方法及***
CN102496002A (zh) 基于图像的人脸美貌度评价方法
CN104599297A (zh) 一种对人脸自动上腮红的图像处理方法
CN115168745B (zh) 一种基于图像技术的虚拟人物形象再创造的方法和***
CN106127735A (zh) 一种设施蔬菜边缘清晰类叶面病斑分割方法及装置
CN105913400A (zh) 一种获得高质量且实时的美颜的装置
CN108805838A (zh) 一种图像处理方法、移动终端及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant