CN112601029B - 一种已知背景先验信息的视频分割方法、终端和存储介质 - Google Patents

一种已知背景先验信息的视频分割方法、终端和存储介质 Download PDF

Info

Publication number
CN112601029B
CN112601029B CN202011340968.0A CN202011340968A CN112601029B CN 112601029 B CN112601029 B CN 112601029B CN 202011340968 A CN202011340968 A CN 202011340968A CN 112601029 B CN112601029 B CN 112601029B
Authority
CN
China
Prior art keywords
background
current frame
frame
video
entering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011340968.0A
Other languages
English (en)
Other versions
CN112601029A (zh
Inventor
赵维杰
富宸
徐孝成
王晨宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weisha Network Technology Co ltd
Original Assignee
Shanghai Weisha Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weisha Network Technology Co ltd filed Critical Shanghai Weisha Network Technology Co ltd
Priority to CN202011340968.0A priority Critical patent/CN112601029B/zh
Publication of CN112601029A publication Critical patent/CN112601029A/zh
Application granted granted Critical
Publication of CN112601029B publication Critical patent/CN112601029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)

Abstract

本发明涉及一种已知背景先验信息的视频分割方法，先将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割。本发明在镜头出现大幅度移动时能够准确的进行分割，保证视频分割的效果。

Description

一种已知背景先验信息的视频分割方法、终端和存储介质
技术领域
本发明涉及视频处理技术领域，特别是涉及一种已知背景先验信息的视频分割方法、终端和存储介质。
背景技术
现有的视频前景背景分割方式，一般是通过摄像头采集图像，然后在图像中使用人工抠图或色键抠图的方式抠出前景区域，实现视频前景与背景的分割。但是，人工抠图的方式操作繁琐，分割视频的便捷性低。色键抠图虽能直接在图像中抠出前景区域，但是该方法需要依靠和前景对比较大的纯色的背景。
发明内容
本发明所要解决的技术问题是提供一种已知背景先验信息的视频分割方法、终端和存储介质，其便捷且适用任意背景的视频前景和背景分割，且在镜头出现大幅度移动时也能够准确的进行分割，保证视频分割的效果。
本发明解决其技术问题所采用的技术方案是：提供一种已知背景先验信息的视频分割方法，将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割。
所述视频分割方法，包括以下步骤：
(1)设定背景帧，并对背景帧进行保存；
(2)提取视频流的当前帧；
(3)判断当前帧与所述的背景帧是否匹配，若不匹配则进入步骤(3)，否则进入步骤(4)；
(4)通过修正的方式将所述的背景帧匹配到所述当前帧的背景上；
(5)对当前帧进行分割得到当前帧的前景。
所述步骤(1)中的背景帧为全景图片，所述全景图片通过多张不同角度的图片合成得到。
所述步骤(3)具体为：计算当前帧和背景帧的分割掩膜区域以外区域的相似度，如果所述相似度低于阈值时，则进入步骤(4)，否则进入步骤(5)。所述相似度可以是图片差值、结构相似度和特征图相似度等。
所述步骤(4)具体为：使用关键点匹配算法分别对预存的背景帧以及当前帧进行关键点提取以及匹配，并选取其中部分匹配良好的关键点，计算出变换矩阵，将预存的背景帧中对应的背景部分切割出来，使用所述变换矩阵变换到与所述当前帧相同的视觉角度，并作为当前帧的新的背景输入。
所述步骤(4)具体为：将预存的背景帧和当前帧输入卷积神经网络，所述卷积神经网络的输出为一系列空间变换关系映射图，然后将所述预存的背景帧中对应的背景部分切割出来并使用所述空间变换关系映射图变换到与当前帧相同的视觉角度，并作为当前帧的新的背景输入。
所述步骤(5)具体为：将预存的背景帧输入编码模型得到背景特征图；将当前帧输入至所述编码模型进行特征分解得到当前帧特征图；将所述当前帧特征图与所述背景特征图进行融合，并通过解码模型对融合后的特征图进行特征解码，输出alpha遮罩图；基于所述alpha遮罩图对当前帧进行分割得到当前帧的前景。
本发明解决其技术问题所采用的技术方案是：提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的视频处理程序，所述视频处理程序被所述处理器执行时实现上述的视频分割方法的步骤。
本发明解决其技术问题所采用的技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现上述的视频分割方法的步骤。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过检测当前帧与背景帧特征点匹配情况，并在两者不匹配时，通过修正的方式自动将背景帧匹配到当前帧的背景上，从而保证镜头在大幅度移动时能够准确的进行分割，确保了视频分割的效果。
附图说明
图1是本发明实施方式的流程图；
图2是本发明实施方式中涉及的硬件运行环境的终端结构示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种已知背景先验信息的视频分割方法，将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割。如图1所示，包括以下步骤：设定背景帧，并对背景帧进行保存；提取视频流的当前帧；判断当前帧与所述的背景帧是否匹配，若不匹配则通过修正的方式将所述的背景帧匹配到所述当前帧的背景上；对当前帧进行分割得到当前帧的前景；将所述前景与背景视频进行合成。
图2所示的是本实施方式中涉及的硬件运行环境的终端结构示意图。本实施方式的终端可以是智能手机、平板电脑、PC端等具有视频拍摄功能的终端设备。
该终端包括：处理器(例如CPU)，通信总线，用户接口，网络接口和存储器。其中，通信总线用于实现这些组件之间的连接通信。用户接口可以包括用于连接输入设备和输出设备的接口。网络接口可以包括标准的有线接口和无线接口。存储器可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器还可以是独立于处理器的存储装置。
该终端还可以包括摄像头、RF电路、传感器、音频电路和WIFI模块等等。
作为一种计算机可读存储介质的存储器中可以包括操作***、网络通信模块、用户接口模块以及视频处理程序。其中，操作***是管理和控制终端与软件资源的程序，支持网络通信模块、用户接口模块、视频处理程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口；用户接口模块用于管理和控制用户接口。
在该终端中，网络接口主要用于连接服务器或外接设备，与服务器或外界设备进行数据通信；用户接口主要用于连接终端界面；所述终端通过处理器调用存储器中存储的视频处理程序，以实现以下步骤：
步骤1，设定背景帧，并对背景帧进行保存。其中，是人离开背景拍摄的一张干净的背景图片或者是通过多张不同角度的图片合成得到的全景图片。
步骤2，提取视频流的当前帧，该视频流为带有前景的视频流，该视频流也可以是带有前景的乱序的图片序列；
步骤3，判断当前帧与预存的背景帧是否匹配，若不匹配则进入步骤4，否则进入步骤5。具体为：计算当前帧和预存的背景帧的分割掩膜区域以外区域的相似度，如果所述相似度低于设置的阈值时，则表示两者不匹配，因此需要进入步骤4进行修正，否则表示两者匹配，可以直接进入步骤5进行分割。本实施方式中相似度可以是图片的差值，也可以是图片的结构相似度，还可以是图片的特征图相似度。
步骤4，通过修正的方式将所述预存的背景帧匹配到所述当前帧的背景上。本步骤中可以采用关键点匹配算法和卷积神经网络来实现修正的目的，具体如下：
使用关键点匹配算法时，分别对预存的背景帧以及当前帧进行关键点提取以及匹配，并选取其中部分匹配良好的关键点，计算出变换矩阵，将预存的背景帧中对应的背景部分切割出来，使用所述变换矩阵变换到与所述当前帧相同的视觉角度，并将切割出来的背景部分作为当前帧的新的背景输入。
使用卷积神经网络时，将预存的背景帧和当前帧输入卷积神经网络，所述卷积神经网络的输出为一系列空间变换关系映射图，然后将所述预存的背景帧中对应的背景部分切割出来并使用所述空间变换关系映射图变换到与当前帧相同的视觉角度，并将切割出来的背景部分作为当前帧的新的背景输入。
步骤5，对当前帧进行分割得到当前帧的前景。具体地说，将预存的背景帧输入编码模型得到背景特征图；将当前帧输入至所述编码模型进行特征分解得到当前帧特征图(该当前帧特征图中的背景部分与背景特征图完全相同)；将所述当前帧特征图与所述背景特征图进行融合(即在不同尺度特征空间上对二者特征进行匹配比较)，并通过解码模型对融合后的特征图进行重构，输出alpha遮罩图；基于所述alpha遮罩图使用掩膜对当前帧进行分割，得到当前帧的前景。为了使得分割出的前景效果更好，可以对分割后的前景的边缘进行锐化等后处理操作。
不难发现，本实施方式将背景图片与当前视频所属区域进行匹配，并分割出当前视频帧中不同于背景的物体，从而保证镜头在大幅度移动时能够准确的进行分割，确保了视频分割的效果。

Claims (8)

1.一种已知背景先验信息的视频分割方法，其特征在于，将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割，包括以下步骤：
(1)设定背景帧，并对背景帧进行保存；
(2)提取视频流的当前帧；
(3)判断当前帧与所述的背景帧是否匹配，若不匹配则进入步骤(4)，否则进入步骤(5)；
(4)通过修正的方式将所述的背景帧匹配到所述当前帧的背景上；具体为：使用关键点匹配算法分别对预存的背景帧以及当前帧进行关键点提取以及匹配，并选取其中部分匹配良好的关键点，计算出变换矩阵，将预存的背景帧中对应的背景部分切割出来，使用所述变换矩阵变换到与所述当前帧相同的视觉角度，并作为当前帧的新的背景输入；
(5)对当前帧进行分割得到当前帧的前景；具体为：将预存的背景帧输入编码模型得到背景特征图；将当前帧输入至所述编码模型进行特征分解得到当前帧特征图；将所述当前帧特征图与所述背景特征图进行融合，并通过解码模型对融合后的特征图进行特征解码，输出alpha遮罩图；基于所述alpha遮罩图对当前帧进行分割得到当前帧的前景。
2.根据权利要求1所述的视频分割方法，其特征在于，所述步骤(1)中的背景帧为全景图片，所述全景图片通过多张不同角度的图片合成得到。
3.根据权利要求1所述的视频分割方法，其特征在于，所述步骤(3)具体为：计算当前帧和背景帧的分割掩膜区域以外区域的相似度，如果所述相似度低于阈值时，则进入步骤(4)，否则进入步骤(5)。
4.一种已知背景先验信息的视频分割方法，其特征在于，将视频当前帧与背景先验信息匹配，预测得到当前帧的完整背景，再对当前帧的目标前景进行分割，包括以下步骤：
(1)设定背景帧，并对背景帧进行保存；
(2)提取视频流的当前帧；
(3)判断当前帧与所述的背景帧是否匹配，若不匹配则进入步骤(4)，否则进入步骤(5)；
(4)通过修正的方式将所述的背景帧匹配到所述当前帧的背景上；具体为：将预存的背景帧和当前帧输入卷积神经网络，所述卷积神经网络的输出为一系列空间变换关系映射图，然后将所述预存的背景帧中对应的背景部分切割出来并使用所述空间变换关系映射图变换到与当前帧相同的视觉角度，并作为当前帧的新的背景输入；
(5)对当前帧进行分割得到当前帧的前景；具体为：将预存的背景帧输入编码模型得到背景特征图；将当前帧输入至所述编码模型进行特征分解得到当前帧特征图；将所述当前帧特征图与所述背景特征图进行融合，并通过解码模型对融合后的特征图进行特征解码，输出alpha遮罩图；基于所述alpha遮罩图对当前帧进行分割得到当前帧的前景。
5.根据权利要求4所述的视频分割方法，其特征在于，所述步骤(1)中的背景帧为全景图片，所述全景图片通过多张不同角度的图片合成得到。
6.根据权利要求4所述的视频分割方法，其特征在于，所述步骤(3)具体为：计算当前帧和背景帧的分割掩膜区域以外区域的相似度，如果所述相似度低于阈值时，则进入步骤(4)，否则进入步骤(5)。
7.一种终端，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的视频处理程序，所述视频处理程序被所述处理器执行时实现如权利要求1-6中任一所述的视频分割方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现如权利要求1-6中任一所述的视频分割方法的步骤。
CN202011340968.0A 2020-11-25 2020-11-25 一种已知背景先验信息的视频分割方法、终端和存储介质 Active CN112601029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011340968.0A CN112601029B (zh) 2020-11-25 2020-11-25 一种已知背景先验信息的视频分割方法、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011340968.0A CN112601029B (zh) 2020-11-25 2020-11-25 一种已知背景先验信息的视频分割方法、终端和存储介质

Publications (2)

Publication Number Publication Date
CN112601029A CN112601029A (zh) 2021-04-02
CN112601029B true CN112601029B (zh) 2023-01-03

Family

ID=75183962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011340968.0A Active CN112601029B (zh) 2020-11-25 2020-11-25 一种已知背景先验信息的视频分割方法、终端和存储介质

Country Status (1)

Country Link
CN (1) CN112601029B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821399B (zh) * 2022-04-07 2024-06-04 厦门大学 一种面向智慧课堂的板书自动提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216888A (zh) * 2008-01-14 2008-07-09 浙江大学 基于快速图像配准的视角变化条件下视频前景提取方法
CN101676953A (zh) * 2008-08-22 2010-03-24 奥多比公司 自动视频图像分割
WO2017181892A1 (zh) * 2016-04-19 2017-10-26 中兴通讯股份有限公司 前景分割方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032906A1 (en) * 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
CN104268866B (zh) * 2014-09-19 2017-03-01 西安电子科技大学 基于运动信息与背景信息相结合的视频序列配准方法
US20170116741A1 (en) * 2015-10-26 2017-04-27 Futurewei Technologies, Inc. Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts
CN106846336B (zh) * 2017-02-06 2022-07-15 腾讯科技（上海）有限公司 提取前景图像、替换图像背景的方法及装置
CN111553923B (zh) * 2019-04-01 2024-02-23 上海卫莎网络科技有限公司 一种图像处理方法、电子设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216888A (zh) * 2008-01-14 2008-07-09 浙江大学 基于快速图像配准的视角变化条件下视频前景提取方法
CN101676953A (zh) * 2008-08-22 2010-03-24 奥多比公司 自动视频图像分割
WO2017181892A1 (zh) * 2016-04-19 2017-10-26 中兴通讯股份有限公司 前景分割方法及装置

Also Published As

Publication number Publication date
CN112601029A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN108921782B (zh) 一种图像处理方法、装置及存储介质
TWI543610B (zh) 電子裝置及其影像選擇方法
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN108154086B (zh) 一种图像提取方法、装置及电子设备
US10477220B1 (en) Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling
CN112288816B (zh) 位姿优化方法、位姿优化装置、存储介质与电子设备
CN112053417B (zh) 图像处理方法、装置和***以及计算机可读存储介质
WO2022160857A1 (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN112381828A (zh) 基于语义和深度信息的定位方法、装置、介质与设备
CN112270755A (zh) 三维场景构建方法、装置、存储介质与电子设备
WO2022194079A1 (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN112990197A (zh) 车牌识别方法及装置、电子设备和存储介质
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN112601029B (zh) 一种已知背景先验信息的视频分割方法、终端和存储介质
CN113205011B (zh) 图像掩膜确定方法及装置、存储介质和电子设备
CN111079624B (zh) 一种样本信息采集的方法、装置、电子设备以及介质
WO2023174063A1 (zh) 背景替换的方法和电子设备
CN116485944A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
US20230131418A1 (en) Two-dimensional (2d) feature database generation
CN113613024A (zh) 视频预处理方法及设备
CN113538462A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN116228607B (zh) 图像处理方法和电子设备
CN112308809A (zh) 一种图像合成方法、装置、计算机设备及存储介质
CN117177004B (zh) 内容帧的提取方法、装置、设备及存储介质
US20230222706A1 (en) Background image generation method and apparatus, storage medium, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant