CN113592979A - 一种基于Background Matting改进的戏曲视频融合的方法 - Google Patents
一种基于Background Matting改进的戏曲视频融合的方法 Download PDFInfo
- Publication number
- CN113592979A CN113592979A CN202110617601.7A CN202110617601A CN113592979A CN 113592979 A CN113592979 A CN 113592979A CN 202110617601 A CN202110617601 A CN 202110617601A CN 113592979 A CN113592979 A CN 113592979A
- Authority
- CN
- China
- Prior art keywords
- video
- background
- drama
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于Background Matting改进的戏曲视频融合的方法,首先对输入的原戏曲视频和新的背景视频分别进行帧提取,然后对二者的视频帧重新设置尺寸;其次,使用AKAZE特征提取与匹配的方法进行背景与原图的对齐处理,实验结果表明,这样极大的提高了匹配速度,同时,修改Background Matting中的图像转为灰度的方式,使其能够对绿幕背景下的视频进行分割处理,以提高视频分割的准确度;最后,将各视频帧中提取出的人物,融合到新背景视频帧中对应的位置,将融合后的视频帧按照原分辨率合成为一个新的戏曲视频,有效的改善了融合后人物边缘粗糙的问题,极大提高了戏曲视频融合的速度。
Description
技术领域
本发明属于计算机图形学处理技术领域,具体涉及一种基于Background Matting改进的戏曲视频融合的方法。
背景技术
中国戏曲主要是由民间歌舞、说唱和滑稽戏三种不同艺术形式综合而成。它起源于原始歌舞,是一种历史悠久的综合舞台艺术样式。它的特点是将众多艺术形式以一种标准聚合在一起,在共同具有的性质中体现其各自的个性。
戏曲是中国传统艺术之一,剧种繁多有趣,表演形式载歌载舞,有说有唱,有文有武,集“唱、做、念、打”于一体,在世界戏剧史上独树一帜。综合性、虚拟性、程式性,是中国戏曲的主要艺术特征。这些特征,凝聚着中国传统文化的美学思想精髓,构成了独特的戏剧观,使中国戏曲在世界戏曲文化的大舞台上闪耀着它的独特的艺术光辉。将录制好的戏曲视频通过基于Background Matting改进的戏曲视频融合的方法,可以将一个戏曲视频生成多个更换了背景的戏曲视频,让传统的戏曲以更加现代化、多元化的方式展现在大众眼前。
目前,大多数现有的视频融合方法需要在特定的环境下或者手动创建三分图才能产生较好的效果,对素材要求高,处理过程繁琐,处理时间长。也有一些无需三分图的方法,但是效果都不佳,很难达到预期效果。
发明内容
针对现有技术存在的不足,本发明的目在于提供一种基于Background Matting改进的戏曲视频融合的方法,处理过程简单、快捷,简化了戏曲视频融合的步骤,使戏曲视频的融合更快、更清晰、更和谐。
为了实现上述目的,本发明采用以下技术方案予以实现:
一种基于Background Matting改进的戏曲视频融合的方法,包括以下步骤:
步骤1:输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)和需要更换的背景视频(c);
步骤2:对步骤1中输入的戏曲视频(a)和背景视频(c)进行帧提取;
步骤3:将步骤2中提取出的视频帧进行归一化处理;
步骤4:利用单应性将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理,同时,将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,通过该处理实现能够对绿幕背景下的视频进行分割处理;
步骤5:对戏曲视频(a)提取出的帧进行分割处理以及生成前后帧灰度图;
将从戏曲视频(a)中提取出的某一帧作为输入原图Image(I)、没有人物的背景图片(b)作为输入背景Background(B’)、对此帧进行的分割结果作为输入分割图 SoftSegmentation(S)、将此帧的前后帧灰度图作为输入运动轨迹Motion Cues(M);
步骤6:将步骤5中得到的四个输入图像X≡{I,B’,S,M}经过编码器ContextSwitching Block处理输出一个Feature Map,编码器Context Switching Block由Encoder, Selector以及Combinator组成,Selector和Combinator都由1x1 Conv+BN+Relu组成,再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图;
(F,α)=G(X,θ) (1)
其中,F代表的是前景图,即去除背景后的图片,α代表的是Alpha matta图片, G代表的是生成模型,X代表的是步骤5中的四个输入图像,θ代表的是权重参数;
步骤7:将经过步骤6处理过后的戏曲视频(a)的视频帧与原始的背景视频(c) 的视频帧进行融合,得到融合后的视频帧,即将提取出的前景图与新的背景图相融合;
步骤8:以步骤7中的视频帧为元素,设置合成参数,得到替换了背景的戏曲视频。
进一步,所述步骤3中将步骤2中提取出的视频帧进行归一化处理,将每一帧的像素值设置为1920×1080。
进一步,所述步骤4中将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,在颜色空间转换的过程中对转换值放大指定的倍数,以实现对背景为绿幕的图片前景提取。
进一步,所述步骤7中戏曲视频(a)的视频帧与原始的背景视频(c)的视频帧进行融合时所用的损失函数为:
其中,θAdobe代表的是Adobe Matting数据集中的权重参数,F*代表的是AdobeMatting数据集中的前景图,α*代表的是alpha掩码,α代表的是Alpha matta图,I代表的是输入的视频帧,B代表的是高斯模糊后需要更换的背景视频帧。
进一步,所述步骤8中设置合成视频的分辨率与步骤3中每一帧的像素值相同。
本发明与现有技术相比,具有如下技术效果:
本发明基于Background Matting改进的戏曲视频融合的方法,首先对输入的原戏曲视频和新的背景视频分别进行帧提取,然后对二者的视频帧重新设置尺寸;其次,使用AKAZE特征提取与匹配的方法进行背景与原图的对齐处理,实验结果表明,这样极大的提高了匹配速度,同时,修改Background Matting中的图像转为灰度的方式,使其能够对绿幕背景下的视频进行分割处理,以提高视频分割的准确度;最后,将各视频帧中提取出的人物,融合到新背景视频帧中对应的位置,将融合后的视频帧按照原分辨率合成为一个新的戏曲视频,有效的改善了融合后人物边缘粗糙的问题,极大提高了戏曲视频融合的速度。
学习到戏曲视频中更精细的特征并且减少运行时间,提高提取前景图片的速度,提升算法运行的速度,简化戏曲视频融合的步骤,使戏曲视频的融合更快、更清晰、更和谐。
本发明使用的是只需在日常环境中使用手持摄像机拍摄照片或视频来创建三分图的方法,素材只需要拍摄一个有人物的视频,一张不包含人物的背景图片,比创建三分图节省时间,对素材要求更低,在日常环境中拍摄照片或视频,就可以轻松创建一个人的像素颜色和阿尔法遮罩。现有技术中提取高质量遮罩的最佳方法要么需要专门的绿幕工作室,要么需要手动创建三分图(前景/背景/未知分割),通常需要对细节处如头发丝等进行细致处理,素材准备过程耗时、费力。本发明在前者的基础上进行改进,可实现无需特定环境、设备,便可快速高效进行前景的提取和视频的融合,处理过程简单、快捷,简化了戏曲视频融合的步骤。
附图说明
图1是本发明的前景生成结构图;
图2是本发明的训练结构图;
图3是本发明的视频融合结构图;
图4是本发明的输入戏曲视频、背景图、需替换背景视频图;
图5是通过改进的Background Matting方法提取的视频帧图;
图6是通过改进的Background Matting方法提取出的前景图;
图7是通过改进的Background Matting方法提取出的mask图;
图8是通过改进的Background Matting方法融合的视频帧图;
图9是通过改进的Background Matting方法融合的视频图。
具体实施方式
以下结合实施例对本发明的具体内容做进一步详细解释说明。
如图1-图3所示,本发明提供一种基于Background Matting改进的戏曲视频融合的方法,具体包括以下步骤:
步骤1:输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)、需要更换的背景视频(c),见图4所示;
步骤2:对步骤1中输入的戏曲视频(a)和背景视频(c)进行帧提取,得到如图5所示的视频帧图;
步骤3:将步骤2中提取出的视频帧进行归一化处理,将每一帧的像素值设置为
步骤4:利用单应性将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理,同时,将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,使本方法能够对绿幕背景下的视频进行分割处理;
步骤5:对戏曲视频(a)提取出的帧进行分割处理以及生成前后帧灰度图处理;
将从戏曲视频(a)中提取出的某一帧作为输入原图Image(I)、没有人物的背景图片(b)作为输入背景Background(B’)、对此帧进行的分割结果作为输入分割图 SoftSegmentation(S)、将此帧的前后帧灰度图作为输入运动轨迹Motion Cues(M);
步骤6:将步骤5中得到的四个输入图像X≡{I,B’,S,M}经过编码器ContextSwitching Block处理输出一个Feature Map。编码器Context Switching Block由Encoder, Selector以及Combinator组成,Selector和Combinator都由1x1 Conv+BN+Relu组成。再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图,如图6- 图7所示;
(F,α)=G(X,θ) (1)
其中,F代表的是前景图,即去除背景后的图片,α代表的是Alpha matta图片, G代表的是生成模型,X代表的是步骤5中的四个输入图像,θ代表的是权重参数;
步骤7:将经过步骤6处理过后的戏曲视频(a)的视频帧与原始的背景视频(c) 的视频帧进行融合,得到融合后的视频帧,即将提取出的前景图与新的背景图相融合,如图8所示;
步骤8:以步骤7中的视频帧为元素,设置合成参数,便可得到一个替换了背景的戏曲视频,如图9所示。
为了验证基于Background Matting改进的戏曲视频融合方法的有效性,输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)和需要更换的背景视频(c),如图4所示;分别将戏曲视频(a)、背景视频(c)切割为若干视频帧(d),如图5所示;将提取后的视频帧进行尺寸归一化处理;利用单应性,将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理,同时,将从戏曲视频(a)中提取出的视频帧图像转为灰度图像;对戏曲视频(a) 提取出的帧进行分割处理得到分割后的图片以及生成前后帧灰度图,将某一视频帧 (d)、没有人物的背景图片(b)、分割后的图片、前后帧灰度图经过编码器Context Switching Block得到Feature Map,再将Feature Map经过生成器G处理得到前景(g)、 Alpha matta图(h),如图6-图7所示;将提取到的前景图(g)与需要更换的背景视频帧进行逐帧融合,如图8所示,最终结果如图9所示。
综上所述,本实施例在保证前景人物特征信息完整性的基础上,为戏曲视频进行背景视频的替换,学习到戏曲视频中更精细的特征并且减少运行时间,有效解决了视频融合时前后景边缘相差过大的问题,同时,简化了戏曲视频融合的步骤,提高了前后景融合的速度。
Claims (5)
1.一种基于Background Matting改进的戏曲视频融合的方法,其特征在于包括以下步骤:
步骤1:输入待更换背景的带有人物的戏曲视频(a)、戏曲视频(a)中没有人物的背景图片(b)和需要更换的背景视频(c);
步骤2:对步骤1中输入的戏曲视频(a)和背景视频(c)进行帧提取;
步骤3:将步骤2中提取出的视频帧进行归一化处理;
步骤4:利用单应性将背景图片(b)与从戏曲视频(a)中提取出的视频帧图像进行对齐处理,同时,将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,通过该处理实现能够对绿幕背景下的视频进行分割处理;
步骤5:对戏曲视频(a)提取出的帧进行分割处理以及生成前后帧灰度图;
将从戏曲视频(a)中提取出的某一帧作为输入原图Image(I)、没有人物的背景图片(b)作为输入背景Background(B’)、对此帧进行的分割结果作为输入分割图SoftSegmentation(S)、将此帧的前后帧灰度图作为输入运动轨迹Motion Cues(M);
步骤6:将步骤5中得到的四个输入图像X={I,B’,S,M}经过编码器Context SwitchingBlock处理输出一个Feature Map,编码器Context Switching Block由Encoder,Selector以及Combinator组成,Selector和Combinator都由1x1 Conv+BN+Relu组成,再将上述输出的Feature Map通过生成器G输出前景图F和Alpha matta图;
(F,α)=G(X,θ) (1)
其中,F代表的是前景图,即去除背景后的图片,α代表的是Alpha matta图片,G代表的是生成模型,X代表的是步骤5中的四个输入图像,θ代表的是权重参数;
步骤7:将经过步骤6处理过后的戏曲视频(a)的视频帧与原始的背景视频(c)的视频帧进行融合,得到融合后的视频帧,即将提取出的前景图与新的背景图相融合;
步骤8:以步骤7中的视频帧为元素,设置合成参数,得到替换了背景的戏曲视频。
2.根据权利要求1所述的基于Background Matting改进的戏曲视频融合的方法,其特征在于:所述步骤3中将步骤2中提取出的视频帧进行归一化处理,将每一帧的像素值设置为1920×1080。
3.根据权利要求1所述的基于Background Matting改进的戏曲视频融合的方法,其特征在于:所述步骤4中将从戏曲视频(a)中提取出的视频帧图像转为灰度图像,在颜色空间转换的过程中对转换值放大指定的倍数,以实现对背景为绿幕的图片前景提取。
5.根据权利要求1所述的基于Background Matting改进的戏曲视频融合的方法,其特征在于:所述步骤8中设置合成视频的分辨率与步骤3中每一帧的像素值相同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110617601.7A CN113592979B (zh) | 2021-06-03 | 2021-06-03 | 一种基于Background Matting改进的戏曲视频融合的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110617601.7A CN113592979B (zh) | 2021-06-03 | 2021-06-03 | 一种基于Background Matting改进的戏曲视频融合的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113592979A true CN113592979A (zh) | 2021-11-02 |
CN113592979B CN113592979B (zh) | 2024-02-23 |
Family
ID=78243357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110617601.7A Active CN113592979B (zh) | 2021-06-03 | 2021-06-03 | 一种基于Background Matting改进的戏曲视频融合的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113592979B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1756312A (zh) * | 2004-09-30 | 2006-04-05 | 中国科学院计算技术研究所 | 一种具有运动前景的视频合成方法 |
US20180181814A1 (en) * | 2016-12-22 | 2018-06-28 | Sap Se | Video abstract using signed foreground extraction and fusion |
CN110473266A (zh) * | 2019-07-08 | 2019-11-19 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于姿态指导的保留源场景人物动作视频生成方法 |
CN112822542A (zh) * | 2020-08-27 | 2021-05-18 | 腾讯科技(深圳)有限公司 | 视频合成方法、装置、计算机设备和存储介质 |
CN112837323A (zh) * | 2021-01-12 | 2021-05-25 | 全时云商务服务股份有限公司 | 一种基于人像分割的视频处理方法、***和存储介质 |
-
2021
- 2021-06-03 CN CN202110617601.7A patent/CN113592979B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1756312A (zh) * | 2004-09-30 | 2006-04-05 | 中国科学院计算技术研究所 | 一种具有运动前景的视频合成方法 |
US20180181814A1 (en) * | 2016-12-22 | 2018-06-28 | Sap Se | Video abstract using signed foreground extraction and fusion |
CN110473266A (zh) * | 2019-07-08 | 2019-11-19 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于姿态指导的保留源场景人物动作视频生成方法 |
CN112822542A (zh) * | 2020-08-27 | 2021-05-18 | 腾讯科技(深圳)有限公司 | 视频合成方法、装置、计算机设备和存储介质 |
CN112837323A (zh) * | 2021-01-12 | 2021-05-25 | 全时云商务服务股份有限公司 | 一种基于人像分割的视频处理方法、***和存储介质 |
Non-Patent Citations (1)
Title |
---|
汤颖;孙康高;: "基于Kinect深度数据的视频艺术化处理", 计算机科学, no. 1, 15 June 2017 (2017-06-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN113592979B (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Video object cut and paste | |
US6619860B1 (en) | Photobooth for producing digitally processed images | |
EP1843298A2 (en) | Image blending system and method | |
US20090087035A1 (en) | Cartoon Face Generation | |
CN111783647A (zh) | 人脸融合模型的训练方法、人脸融合方法、装置及设备 | |
Ward et al. | Depth director: A system for adding depth to movies | |
CN105894484A (zh) | 一种基于直方图归一化与超像素分割的hdr重建算法 | |
KR20240089729A (ko) | 화상 처리 방법, 장치, 저장 매체 및 전자 기기 | |
WO2023056835A1 (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
CN113920036A (zh) | 一种基于rgb-d图像的交互式重光照编辑方法 | |
Xiao et al. | Image hazing algorithm based on generative adversarial networks | |
KR102217414B1 (ko) | 4d 영화 이펙트 자동 생성장치 | |
CN111064905B (zh) | 面向自动驾驶的视频场景转换方法 | |
CN113592979A (zh) | 一种基于Background Matting改进的戏曲视频融合的方法 | |
CN114898021B (zh) | 音乐舞台表演视频的智能卡通化方法 | |
CN113160358A (zh) | 一种无绿幕抠图渲染方法 | |
KR102360919B1 (ko) | 음성 더빙 기반의 진행자 영상 편집 시스템 | |
CN113724273B (zh) | 一种基于神经网络区域目标分割的边缘光影融合方法 | |
Cao et al. | Automatic motion-guided video stylization and personalization | |
CN115100218A (zh) | 基于深度学习的视频一致性融合方法 | |
KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
CN110853040B (zh) | 一种基于超分辨率重建的图像协同分割方法 | |
Kawai et al. | From image inpainting to diminished reality | |
Yi et al. | Automatic image matting and fusing for portrait synthesis | |
Yan et al. | Re-texturing by intrinsic video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |