CN113592979B - 一种基于Background Matting改进的戏曲视频融合的方法 - Google Patents

一种基于Background Matting改进的戏曲视频融合的方法 Download PDF

Info

Publication number
CN113592979B
CN113592979B CN202110617601.7A CN202110617601A CN113592979B CN 113592979 B CN113592979 B CN 113592979B CN 202110617601 A CN202110617601 A CN 202110617601A CN 113592979 B CN113592979 B CN 113592979B
Authority
CN
China
Prior art keywords
video
background
drama
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110617601.7A
Other languages
English (en)
Other versions
CN113592979A (zh
Inventor
周明全
白涛
冯龙
耿国华
李蕊
李启航
杨雪
刘阳洋
周蓬勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202110617601.7A priority Critical patent/CN113592979B/zh
Publication of CN113592979A publication Critical patent/CN113592979A/zh
Application granted granted Critical
Publication of CN113592979B publication Critical patent/CN113592979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于Background Matting改进的戏曲视频融合的方法,首先对输入的原戏曲视频和新的背景视频分别进行帧提取,然后对二者的视频帧重新设置尺寸;其次,使用AKAZE特征提取与匹配的方法进行背景与原图的对齐处理,实验结果表明,这样极大的提高了匹配速度,同时,修改Background Matting中的图像转为灰度的方式,使其能够对绿幕背景下的视频进行分割处理,以提高视频分割的准确度;最后,将各视频帧中提取出的人物,融合到新背景视频帧中对应的位置,将融合后的视频帧按照原分辨率合成为一个新的戏曲视频,有效的改善了融合后人物边缘粗糙的问题,极大提高了戏曲视频融合的速度。

Description

一种基于Background Matting改进的戏曲视频融合的方法
技术领域
本发明属于计算机图形学处理技术领域,具体涉及一种基于Background Matting改进的戏曲视频融合的方法。
背景技术
中国戏曲主要是由民间歌舞、说唱和滑稽戏三种不同艺术形式综合而成。它起源于原始歌舞,是一种历史悠久的综合舞台艺术样式。它的特点是将众多艺术形式以一种标准聚合在一起,在共同具有的性质中体现其各自的个性。
戏曲是中国传统艺术之一,剧种繁多有趣,表演形式载歌载舞,有说有唱,有文有武,集“唱、做、念、打”于一体,在世界戏剧史上独树一帜。综合性、虚拟性、程式性,是中国戏曲的主要艺术特征。这些特征,凝聚着中国传统文化的美学思想精髓,构成了独特的戏剧观,使中国戏曲在世界戏曲文化的大舞台上闪耀着它的独特的艺术光辉。将录制好的戏曲视频通过基于Background Matting改进的戏曲视频融合的方法,可以将一个戏曲视频生成多个更换了背景的戏曲视频,让传统的戏曲以更加现代化、多元化的方式展现在大众眼前。
目前,大多数现有的视频融合方法需要在特定的环境下或者手动创建三分图才能产生较好的效果,对素材要求高,处理过程繁琐,处理时间长。也有一些无需三分图的方法,但是效果都不佳,很难达到预期效果。
发明内容
针对现有技术存在的不足,本发明的目在于提供一种基于Background Matting改进的戏曲视频融合的方法,处理过程简单、快捷,简化了戏曲视频融合的步骤,使戏曲视频的融合更快、更清晰、更和谐。
为了实现上述目的,本发明采用以下技术方案予以实现:
一种基于Background Matting改进的戏曲视频融合的方法,包括以下步骤:
步骤1:输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)和需要更换的背景视频(c);
步骤2:对步骤1中输入的戏曲视频(a)和背景视频(c)进行帧提取;
步骤3:将步骤2中提取出的视频帧进行归一化处理;
步骤4:利用单应性将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理,同时,将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,通过该处理实现能够对绿幕背景下的视频进行分割处理;
步骤5:对戏曲视频(a)提取出的帧进行分割处理以及生成前后帧灰度图;
将从戏曲视频(a)中提取出的某一帧作为输入原图Image(I)、没有人物的背景图片(b)作为输入背景Background(B’)、对此帧进行的分割结果作为输入分割图SoftSegmentation(S)、将此帧的前后帧灰度图作为输入运动轨迹Motion Cues(M);
步骤6:将步骤5中得到的四个输入图像X≡{I,B’,S,M}经过编码器ContextSwitching Block处理输出一个Feature Map,编码器Context Switching Block由Encoder,Selector以及Combinator组成,Selector和Combinator都由1x1 Conv+BN+Relu组成,再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图;
(F,α)=G(X,θ) (1)
其中,F代表的是前景图,即去除背景后的图片,α代表的是Alpha matta图片,G代表的是生成模型,X代表的是步骤5中的四个输入图像,θ代表的是权重参数;
步骤7:将经过步骤6处理过后的戏曲视频(a)的视频帧与原始的背景视频(c)的视频帧进行融合,得到融合后的视频帧,即将提取出的前景图与新的背景图相融合;
步骤8:以步骤7中的视频帧为元素,设置合成参数,得到替换了背景的戏曲视频。
进一步,所述步骤3中将步骤2中提取出的视频帧进行归一化处理,将每一帧的像素值设置为1920×1080。
进一步,所述步骤4中将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,在颜色空间转换的过程中对转换值放大指定的倍数,以实现对背景为绿幕的图片前景提取。
进一步,所述步骤7中戏曲视频(a)的视频帧与原始的背景视频(c)的视频帧进行融合时所用的损失函数为:
其中,θAdobe代表的是Adobe Matting数据集中的权重参数,F*代表的是AdobeMatting数据集中的前景图,α*代表的是alpha掩码,α代表的是Alpha matta图,I代表的是输入的视频帧,B代表的是高斯模糊后需要更换的背景视频帧。
进一步,所述步骤8中设置合成视频的分辨率与步骤3中每一帧的像素值相同。
本发明与现有技术相比,具有如下技术效果:
本发明基于Background Matting改进的戏曲视频融合的方法,首先对输入的原戏曲视频和新的背景视频分别进行帧提取,然后对二者的视频帧重新设置尺寸;其次,使用AKAZE特征提取与匹配的方法进行背景与原图的对齐处理,实验结果表明,这样极大的提高了匹配速度,同时,修改Background Matting中的图像转为灰度的方式,使其能够对绿幕背景下的视频进行分割处理,以提高视频分割的准确度;最后,将各视频帧中提取出的人物,融合到新背景视频帧中对应的位置,将融合后的视频帧按照原分辨率合成为一个新的戏曲视频,有效的改善了融合后人物边缘粗糙的问题,极大提高了戏曲视频融合的速度。
学习到戏曲视频中更精细的特征并且减少运行时间,提高提取前景图片的速度,提升算法运行的速度,简化戏曲视频融合的步骤,使戏曲视频的融合更快、更清晰、更和谐。
本发明使用的是只需在日常环境中使用手持摄像机拍摄照片或视频来创建三分图的方法,素材只需要拍摄一个有人物的视频,一张不包含人物的背景图片,比创建三分图节省时间,对素材要求更低,在日常环境中拍摄照片或视频,就可以轻松创建一个人的像素颜色和阿尔法遮罩。现有技术中提取高质量遮罩的最佳方法要么需要专门的绿幕工作室,要么需要手动创建三分图(前景/背景/未知分割),通常需要对细节处如头发丝等进行细致处理,素材准备过程耗时、费力。本发明在前者的基础上进行改进,可实现无需特定环境、设备,便可快速高效进行前景的提取和视频的融合,处理过程简单、快捷,简化了戏曲视频融合的步骤。
附图说明
图1是本发明的前景生成结构图;
图2是本发明的训练结构图;
图3是本发明的视频融合结构图;
图4是本发明的输入戏曲视频、背景图、需替换背景视频图;
图5是通过改进的Background Matting方法提取的视频帧图;
图6是通过改进的Background Matting方法提取出的前景图;
图7是通过改进的Background Matting方法提取出的mask图;
图8是通过改进的Background Matting方法融合的视频帧图;
图9是通过改进的Background Matting方法融合的视频图。
具体实施方式
以下结合实施例对本发明的具体内容做进一步详细解释说明。
如图1-图3所示,本发明提供一种基于Background Matting改进的戏曲视频融合的方法,具体包括以下步骤:
步骤1:输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)、需要更换的背景视频(c),见图4所示;
步骤2:对步骤1中输入的戏曲视频(a)和背景视频(c)进行帧提取,得到如图5所示的视频帧图;
步骤3:将步骤2中提取出的视频帧进行归一化处理,将每一帧的像素值设置为
步骤4:利用单应性将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理,同时,将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,使本方法能够对绿幕背景下的视频进行分割处理;
步骤5:对戏曲视频(a)提取出的帧进行分割处理以及生成前后帧灰度图处理;
将从戏曲视频(a)中提取出的某一帧作为输入原图Image(I)、没有人物的背景图片(b)作为输入背景Background(B’)、对此帧进行的分割结果作为输入分割图SoftSegmentation(S)、将此帧的前后帧灰度图作为输入运动轨迹Motion Cues(M);
步骤6:将步骤5中得到的四个输入图像X≡{I,B’,S,M}经过编码器ContextSwitching Block处理输出一个Feature Map。编码器Context Switching Block由Encoder,Selector以及Combinator组成,Selector和Combinator都由1x1 Conv+BN+Relu组成。再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图,如图6-图7所示;
(F,α)=G(X,θ) (1)
其中,F代表的是前景图,即去除背景后的图片,α代表的是Alpha matta图片,G代表的是生成模型,X代表的是步骤5中的四个输入图像,θ代表的是权重参数;
步骤7:将经过步骤6处理过后的戏曲视频(a)的视频帧与原始的背景视频(c)的视频帧进行融合,得到融合后的视频帧,即将提取出的前景图与新的背景图相融合,如图8所示;
步骤8:以步骤7中的视频帧为元素,设置合成参数,便可得到一个替换了背景的戏曲视频,如图9所示。
为了验证基于Background Matting改进的戏曲视频融合方法的有效性,输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)和需要更换的背景视频(c),如图4所示;分别将戏曲视频(a)、背景视频(c)切割为若干视频帧(d),如图5所示;将提取后的视频帧进行尺寸归一化处理;利用单应性,将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理,同时,将从戏曲视频(a)中提取出的视频帧图像转为灰度图像;对戏曲视频(a)提取出的帧进行分割处理得到分割后的图片以及生成前后帧灰度图,将某一视频帧(d)、没有人物的背景图片(b)、分割后的图片、前后帧灰度图经过编码器Context Switching Block得到Feature Map,再将Feature Map经过生成器G处理得到前景(g)、Alpha matta图(h),如图6-图7所示;将提取到的前景图(g)与需要更换的背景视频帧进行逐帧融合,如图8所示,最终结果如图9所示。
综上所述,本实施例在保证前景人物特征信息完整性的基础上,为戏曲视频进行背景视频的替换,学习到戏曲视频中更精细的特征并且减少运行时间,有效解决了视频融合时前后景边缘相差过大的问题,同时,简化了戏曲视频融合的步骤,提高了前后景融合的速度。

Claims (5)

1.一种基于Background Matting改进的戏曲视频融合的方法,其特征在于包括以下步骤:
步骤1:输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)和需要更换的背景视频(c);
步骤2:对步骤1中输入的戏曲视频(a)和背景视频(c)进行帧提取;
步骤3:将步骤2中提取出的视频帧进行归一化处理;
步骤4:利用单应性将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理,同时,将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,通过该处理实现能够对绿幕背景下的视频进行分割处理;
步骤5:对戏曲视频(a)提取出的帧进行分割处理以及生成前后帧灰度图;
将从戏曲视频(a)中提取出的某一帧作为输入原图Image(I)、没有人物的背景图片(b)作为输入背景Background(B’)、对此帧进行的分割结果作为输入分割图SoftSegmentation(S)、将此帧的前后帧灰度图作为输入运动轨迹Motion Cues(M);
步骤6:将步骤5中得到的四个输入图像X={I,B’,S,M}经过编码器Context SwitchingBlock处理输出一个Feature Map,编码器Context Switching Block由Encoder,Selector以及Combinator组成,Selector和Combinator都由1x1 Conv+BN+Relu组成,再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图;
(F,α)=G(X,θ) (1)
其中,F代表的是前景图,即去除背景后的图片,α代表的是Alpha matta图片,G代表的是生成模型,X代表的是步骤5中的四个输入图像,θ代表的是权重参数;
步骤7:将经过步骤6处理过后的戏曲视频(a)的视频帧与原始的背景视频(c)的视频帧进行融合,得到融合后的视频帧,即将提取出的前景图与新的背景图相融合;
步骤8:以步骤7中的视频帧为元素,设置合成参数,得到替换了背景的戏曲视频。
2.根据权利要求1所述的基于Background Matting改进的戏曲视频融合的方法,其特征在于:所述步骤3中将步骤2中提取出的视频帧进行归一化处理,将每一帧的像素值设置为1920×1080。
3.根据权利要求1所述的基于Background Matting改进的戏曲视频融合的方法,其特征在于:所述步骤4中将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,在颜色空间转换的过程中对转换值放大指定的倍数,以实现对背景为绿幕的图片前景提取。
4.根据权利要求1所述的基于Background Matting改进的戏曲视频融合的方法,其特征在于:所述步骤7中戏曲视频(a)的视频帧与原始的背景视频(c)的视频帧进行融合时所用的损失函数为:
其中,θAdobe代表的是Adobe Matting数据集中的权重参数,F*代表的是Adobe Matting数据集中的前景图,α*代表的是alpha掩码,α代表的是Alpha matta图,I代表的是输入的视频帧,B代表的是高斯模糊后需要更换的背景视频帧。
5.根据权利要求1所述的基于Background Matting改进的戏曲视频融合的方法,其特征在于:所述步骤8中设置合成视频的分辨率与步骤3中每一帧的像素值相同。
CN202110617601.7A 2021-06-03 2021-06-03 一种基于Background Matting改进的戏曲视频融合的方法 Active CN113592979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617601.7A CN113592979B (zh) 2021-06-03 2021-06-03 一种基于Background Matting改进的戏曲视频融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617601.7A CN113592979B (zh) 2021-06-03 2021-06-03 一种基于Background Matting改进的戏曲视频融合的方法

Publications (2)

Publication Number Publication Date
CN113592979A CN113592979A (zh) 2021-11-02
CN113592979B true CN113592979B (zh) 2024-02-23

Family

ID=78243357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617601.7A Active CN113592979B (zh) 2021-06-03 2021-06-03 一种基于Background Matting改进的戏曲视频融合的方法

Country Status (1)

Country Link
CN (1) CN113592979B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756312A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 一种具有运动前景的视频合成方法
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
CN112822542A (zh) * 2020-08-27 2021-05-18 腾讯科技(深圳)有限公司 视频合成方法、装置、计算机设备和存储介质
CN112837323A (zh) * 2021-01-12 2021-05-25 全时云商务服务股份有限公司 一种基于人像分割的视频处理方法、***和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095932B2 (en) * 2016-12-22 2018-10-09 Sap Se Video abstract using signed foreground extraction and fusion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756312A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 一种具有运动前景的视频合成方法
CN110473266A (zh) * 2019-07-08 2019-11-19 南京邮电大学盐城大数据研究院有限公司 一种基于姿态指导的保留源场景人物动作视频生成方法
CN112822542A (zh) * 2020-08-27 2021-05-18 腾讯科技(深圳)有限公司 视频合成方法、装置、计算机设备和存储介质
CN112837323A (zh) * 2021-01-12 2021-05-25 全时云商务服务股份有限公司 一种基于人像分割的视频处理方法、***和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect深度数据的视频艺术化处理;汤颖;孙康高;;计算机科学;20170615(S1);全文 *

Also Published As

Publication number Publication date
CN113592979A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
US6619860B1 (en) Photobooth for producing digitally processed images
EP1843298A2 (en) Image blending system and method
Ward et al. Depth director: A system for adding depth to movies
DE602005026862D1 (de) Segmentierung eines digitalen bildes und herstellung einer kompakten repräsentation
CN109190520A (zh) 一种超分辨率重建人脸图像方法及装置
CN110956681A (zh) 一种结合卷积网络和邻域相似性的人像背景自动替换方法
CN113034355B (zh) 一种基于深度学习的肖像图像双下巴去除方法
CN111626951A (zh) 一种基于内容感知信息的图像阴影消除方法
CN115063785B (zh) 高速公路场景使用目标识别模型定位车牌的方法及装置
CN108711160A (zh) 一种基于hsi增强性模型的目标分割方法
CN113052783A (zh) 一种基于人脸关键点的人脸图像融合方法
CN113139557B (zh) 一种基于二维多元经验模态分解的特征提取方法
CN113592979B (zh) 一种基于Background Matting改进的戏曲视频融合的方法
CN112788254B (zh) 摄像头抠像方法、装置、设备及存储介质
CN115967823A (zh) 视频封面生成方法、装置、电子设备及可读介质
Wei et al. Facial image inpainting with deep generative model and patch search using region weight
CN111064905B (zh) 面向自动驾驶的视频场景转换方法
Wu et al. Color transfer with salient features mapping via attention maps between images
CN109345470B (zh) 人脸图像融合方法和***
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
Cao et al. Automatic motion-guided video stylization and personalization
CN113160358A (zh) 一种无绿幕抠图渲染方法
Wang et al. Shape and texture preserved non‐photorealistic rendering
CN110544200A (zh) 一种实现视频中人与猫互换嘴部的方法
Yi et al. Automatic image matting and fusing for portrait synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant