CN108566521A - 一种基于自然图像抠像的视频合成*** - Google Patents
一种基于自然图像抠像的视频合成*** Download PDFInfo
- Publication number
- CN108566521A CN108566521A CN201810665631.3A CN201810665631A CN108566521A CN 108566521 A CN108566521 A CN 108566521A CN 201810665631 A CN201810665631 A CN 201810665631A CN 108566521 A CN108566521 A CN 108566521A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- audio
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 18
- 238000006748 scratching Methods 0.000 title claims abstract description 12
- 230000002393 scratching effect Effects 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 13
- 238000003708 edge detection Methods 0.000 claims abstract description 11
- 238000009499 grossing Methods 0.000 claims abstract description 11
- 238000005538 encapsulation Methods 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 230000002452 interceptive effect Effects 0.000 claims abstract description 4
- 238000012805 post-processing Methods 0.000 claims abstract description 4
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
本发明公开了一种基于自然图像抠像的视频合成***，包括摄像装置、麦克风以及解析单元，实时获取摄像装置的数据，得到没有前景图像的背景视频和包含前景图像第一视频；预处理单元，第一视频的每一帧图像减去背景视频每一帧RGB图像得到第二视频帧；合并单元，合并前景图像和虚拟场景，得到合成视频；后处理单元，进行边缘检测和平滑处理；封装单元，将音麦克风的音频数据与合成视频封装成音视频数据；传输单元，通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接；互动单元，接收客户端发送的互动指令，以及根据互动指令更新或切换虚拟场景。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种基于自然图像抠像的视频合成***。
背景技术
在视频处理技术领域，常常会运用到视频抠像技术。所谓视频抠像技术，指的是将一个视频中的人物或者其他前景，通过智能抠像技术抓取出来，并嵌入合成到另一虚拟的或者其他实际的场景背景中。主要效果是使观看视频的用户感觉到视频中的人物正处在后期合成的场景中，并可以进一步使人物与场景背景有互动。与传统的抠像技术的差异在于传统的抠像技术需要纯色的背景例如：绿色或蓝色的背景色才能完成抠图及视频的合成动作,大大限制了使用的范围及使用者的方便性，而本发明除了可以使用绿色或蓝色的背景来合成外亦可以采用自然的环境当背景来完成视频的抠图动作，可以不被环境所限制,大大的打开各环境及行业的使用范围，例如，在ktv或是家庭的客厅唱k,唱K的过程中，通过将唱歌者实时抠像并嵌入合成到自选的视频图像背景中，这样就让歌唱者身临其境的在视频中歌唱，犹如演唱会现场一样。
视频抠像技术在实际运用中主要需要解决的问题是对摄像机拍摄的人物进行实时抠像，并与提供的视频背景进行合成，最后通过边缘检测和平滑技术对抠像与合成造成的人物轮廓边缘锯齿进行平滑处理。
发明内容
本发明目的是解决上述问题，设计一种基于自然图像抠像的视频合成***，克服传统抠图运用上必需搭配纯色的背景才能完成的限制,采用自然的环境即可当背景来完成视频的抠图动作,大大的打开各环境及行业的使用范围。
为了实现上述目的，本发明的技术方案是：
一种基于自然图像抠像的视频合成***，包括：
摄像装置、麦克风以及
解析单元，用于实时获取摄像装置的数据，得到没有前景图像的背景视频和包含前景图像第一视频；
预处理单元，将所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；
合并单元，合并前景图像和虚拟场景，得到合成视频；
后处理单元，对合成视频进行边缘检测和平滑处理；
封装单元，获取摄像装置数据的同时，实时获取麦克风的音频数据，将音麦克风的音频数据与合成视频封装成音视频数据；
传输单元，通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接；
互动单元，接收客户端发送的互动指令，以及根据互动指令更新或切换虚拟场景。
所述解析单元包括视频解码器，合并单元包括视频合成模块，封装单元包括硬件编码模块和录制服务器。
本发明的基于自然图像抠像的视频合成***，采用基于自然图像抠像的视频合成方法来完成视频的合成，该基于自然图像抠像的视频合成方法包括以下步骤：
步骤1、拍摄自然环境下不包含前景图像的视频，作为背景视频；
步骤2、拍摄自然环境下包含前景图像的视频，作为第一视频；
步骤3、所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；并将该差值与预设值进行比较，来判断该第二视频帧是前景图像还是背景图像；
所述第二视频帧，RGB值大于预设值，判定所述像素为前景像素，透明度值为1，否则为0；透明度值＝(255-(蓝色通道值-(红色通道值+绿色通道值)/2))/255；
步骤4、根据第二视频帧，设置第一视频帧的透明度，得到前景图像；
步骤5、合并前景图像和虚拟场景，得到合成视频；
步骤6、对所述合成视频进行边缘检测；
步骤7、对所述合成视频的边缘进行平滑处理。
作为对本技术方案的改进，所述边缘检测是用边缘检测算法对透明度计算则判定所述像素为边缘像素。
作为对本技术方案的改进，所述平滑处理，以所述边缘像素点为中心，m*m大小的正方形范围内的像素点的色彩值加起来作算术平均，作为所述边缘像素新的色彩值。
进一步的，平滑处理后的合成视频之后还包括：
步骤8、获取摄像装置数据的同时，实时获取麦克风的音频数据，将平滑处理的音频数据与合成视频封装成音视频数据；
步骤9、通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接。
进一步的，还包括接收客户端发送的互动指令，以及根据互动指令更新或切换虚拟场景。
进一步的，所述虚拟场景为静态图像或动态视频场景。
与现有技术相比，本发明具有的优点和积极效果是：
本发明的基于自然图像抠像的视频合成***，与传统的抠像技术的差异在于传统的抠像技术需要纯色的背景例如绿色或蓝色的背景色才能完成抠图及视频的合成动作，大大限制了使用的范围及使用者的方便性，而本发明除了可以使用绿色或蓝色的背景来合成外亦可以采用自然的环境当背景来完成视频的抠图动作，可以不被环境所限制，大大的打开各环境及行业的使用范围。本发明可以对摄像头捕捉到的帧图像的每个像素在GPU(图形处理器)进行并行处理，处理速度较快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为视频合成***的模块图；
图2为视频合成***示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
如图1至2所示，本发明的一种基于自然图像抠像的视频合成***，包括：
摄像装置601、麦克风605以及
解析单元10，用于实时获取摄像装置的数据，得到没有前景图像的背景视频和包含前景图像第一视频；
预处理单元20，所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；
合并单元30，合并前景图像和虚拟场景，得到合成视频；
后处理单元40，对合成视频进行边缘检测和平滑处理；
封装单元50，获取摄像装置数据的同时，实时获取麦克风的音频数据，将音麦克风的音频数据与合成视频封装成音视频数据；
传输单元60，通过HTTP协议，将所述音视频数据上传到第三方服务器606；第三方服务器606生成所述音视频数据的互联网链接；
互动单元，接收客户端发送的互动指令，以及根据互动指令更新或切换虚拟场景。
所述解析单元10包括视频解码器602，合并单元30包括视频合成模块603，封装单元50包括硬件编码模块和录制服务器604。
本发明的基于自然图像抠像的视频合成***，采用基于自然图像抠像的视频合成方法来完成视频的合成，该基于自然图像抠像的视频合成方法包括以下步骤：
步骤1、拍摄自然环境下不包含前景图像的视频，作为背景视频；
步骤2、拍摄自然环境下包含前景图像的视频，作为第一视频；
步骤3、所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；并将该差值与预设值进行比较，来判断该第二视频帧是前景图像还是背景图像；
所述第二视频帧，RGB值大于预设值，判定所述像素为前景像素，透明度值为1，否则为0；透明度值＝(255-(蓝色通道值-(红色通道值+绿色通道值)/2))/255；
步骤4、根据第二视频帧，设置第一视频帧的透明度，得到前景图像；
步骤5、合并前景图像和虚拟场景，得到合成视频；
步骤6、对所述合成视频进行边缘检测；
步骤7、对所述合成视频的边缘进行平滑处理。
作为对本技术方案的改进，所述边缘检测是用边缘检测算法对透明度计算则判定所述像素为边缘像素。
作为对本技术方案的改进，所述平滑处理，以所述边缘像素点为中心，m*m大小的正方形范围内的像素点的色彩值加起来作算术平均，作为所述边缘像素新的色彩值。
进一步的，平滑处理后的合成视频之后还包括：
步骤8、获取摄像装置数据的同时，实时获取麦克风的音频数据，将平滑处理的音频数据与合成视频封装成音视频数据；
步骤9、通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接。
进一步的，还包括接收客户端发送的互动指令，以及根据互动指令更新或切换虚拟场景。
进一步的，所述虚拟场景为静态图像或动态视频场景。
本发明的基于自然图像抠像的视频合成***，与传统的抠像技术的差异在于传统的抠像技术需要纯色的背景例如绿色或蓝色的背景色才能完成抠图及视频的合成动作，大大限制了使用的范围及使用者的方便性，而本发明除了可以使用绿色或蓝色的背景来合成外亦可以采用自然的环境当背景来完成视频的抠图动作，可以不被环境所限制，大大的打开各环境及行业的使用范围。本发明可以对摄像头捕捉到的帧图像的每个像素在GPU(图形处理器)进行并行处理，处理速度较快。
Claims (4)
1.一种基于自然图像抠像的视频合成***，其特征在于：包括：
摄像装置、麦克风以及
解析单元，用于实时获取摄像装置的数据，得到没有前景图像的背景视频和包含前景图像第一视频；
预处理单元，将所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；
合并单元，合并前景图像和虚拟场景，得到合成视频；
后处理单元，对合成视频进行边缘检测和平滑处理；
封装单元，获取摄像装置数据的同时，实时获取麦克风的音频数据，将音麦克风的音频数据与合成视频封装成音视频数据；
传输单元，通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接；
互动单元，接收客户端发送的互动指令，以及根据互动指令更新或切换虚拟场景。
2.如权利要求1所述的视频合成***，其特征在于：所述解析单元包括视频解码器。
3.如权利要求1所述的视频合成***，其特征在于：所述合并单元包括视频合成模块。
4.如权利要求1所述的视频合成***，其特征在于：所述封装单元包括硬件编码模块和录制服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810665631.3A CN108566521A (zh) | 2018-06-26 | 2018-06-26 | 一种基于自然图像抠像的视频合成*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810665631.3A CN108566521A (zh) | 2018-06-26 | 2018-06-26 | 一种基于自然图像抠像的视频合成*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108566521A true CN108566521A (zh) | 2018-09-21 |
Family
ID=63554829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810665631.3A Pending CN108566521A (zh) | 2018-06-26 | 2018-06-26 | 一种基于自然图像抠像的视频合成*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108566521A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286760A (zh) * | 2018-09-28 | 2019-01-29 | 上海连尚网络科技有限公司 | 一种娱乐视频制作方法及其终端 |
| CN111083312A (zh) * | 2019-12-30 | 2020-04-28 | 北京文香信息技术有限公司 | 一种演播室***和节目视频制作方法及装置 |
| CN112887583A (zh) * | 2019-11-30 | 2021-06-01 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103475826A (zh) * | 2013-09-27 | 2013-12-25 | 深圳市中视典数字科技有限公司 | 一种视频抠像合成方法 |
| CN105827998A (zh) * | 2016-04-14 | 2016-08-03 | 广州市英途信息技术有限公司 | 一种抠像***及抠像方法 |
| CN106204567A (zh) * | 2016-07-05 | 2016-12-07 | 华南理工大学 | 一种自然背景视频抠图方法 |
| CN106657719A (zh) * | 2017-01-04 | 2017-05-10 | 海南大学 | 一种智能虚拟演播室*** |
| CN106792246A (zh) * | 2016-12-09 | 2017-05-31 | 福建星网视易信息***有限公司 | 一种融合式虚拟场景互动的方法及*** |
| CN107920213A (zh) * | 2017-11-20 | 2018-04-17 | 深圳市堇茹互动娱乐有限公司 | 视频合成方法、终端和计算机可读存储介质 |
-
2018
- 2018-06-26 CN CN201810665631.3A patent/CN108566521A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103475826A (zh) * | 2013-09-27 | 2013-12-25 | 深圳市中视典数字科技有限公司 | 一种视频抠像合成方法 |
| CN105827998A (zh) * | 2016-04-14 | 2016-08-03 | 广州市英途信息技术有限公司 | 一种抠像***及抠像方法 |
| CN106204567A (zh) * | 2016-07-05 | 2016-12-07 | 华南理工大学 | 一种自然背景视频抠图方法 |
| CN106792246A (zh) * | 2016-12-09 | 2017-05-31 | 福建星网视易信息***有限公司 | 一种融合式虚拟场景互动的方法及*** |
| CN106657719A (zh) * | 2017-01-04 | 2017-05-10 | 海南大学 | 一种智能虚拟演播室*** |
| CN107920213A (zh) * | 2017-11-20 | 2018-04-17 | 深圳市堇茹互动娱乐有限公司 | 视频合成方法、终端和计算机可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286760A (zh) * | 2018-09-28 | 2019-01-29 | 上海连尚网络科技有限公司 | 一种娱乐视频制作方法及其终端 |
| CN112887583A (zh) * | 2019-11-30 | 2021-06-01 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
| CN112887583B (zh) * | 2019-11-30 | 2022-07-22 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
| CN111083312A (zh) * | 2019-12-30 | 2020-04-28 | 北京文香信息技术有限公司 | 一种演播室***和节目视频制作方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108848325A (zh) | 一种基于自然图像抠像的视频合成方法 | |
| CN106789991B (zh) | 一种基于虚拟场景的多人互动网络直播方法及*** | |
| JP4698831B2 (ja) | 画像変換および符号化技術 | |
| WO2018045927A1 (zh) | 一种基于三维虚拟技术的网络实时互动直播方法及装置 | |
| CN110493630A (zh) | 虚拟礼物特效的处理方法和装置、直播*** | |
| CN107087123B (zh) | 一种基于云端处理的实时高清抠像方法 | |
| CN110475150A (zh) | 虚拟礼物特效的渲染方法和装置、直播*** | |
| US10572984B2 (en) | Method for inverse tone mapping of an image with visual effects | |
| CN106303289A (zh) | 一种将真实对象与虚拟场景融合显示的方法、装置及*** | |
| CN108566521A (zh) | 一种基于自然图像抠像的视频合成*** | |
| CN109040576A (zh) | 具有用于图像数据统计的基于多帧的窗口的相机控制和图像处理的方法和*** | |
| CN108347647B (zh) | 视频画面显示方法、装置、电视机及存储介质 | |
| US20040189677A1 (en) | Remote graphical user interface support using a graphics processing unit | |
| WO2022048097A1 (zh) | 一种基于多显卡的单帧画面实时渲染方法 | |
| KR20160128366A (ko) | 이동 단말의 촬영 방법 및 이동 단말 | |
| CN106664351A (zh) | 使用块匹配的镜头阴影颜色校正的方法和*** | |
| JP2019041389A (ja) | パノラマまたは立体画像ストリームを取り込みかつレンダリングするためのプロセスおよび装置 | |
| CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
| CN106210525A (zh) | 用于实现视频直播的相机及方法 | |
| EP4036841A1 (en) | Image processing method and apparatus | |
| CN104680518B (zh) | 一种基于色度溢出处理的蓝屏抠像方法 | |
| WO2023160234A1 (zh) | 转场动效生成方法、电子设备和存储介质 | |
| CN113297937A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN112884665A (zh) | 一种动画播放方法、装置、计算机设备及存储介质 | |
| CN112533075A (zh) | 视频处理方法、装置及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180921 |
|
| RJ01 | Rejection of invention patent application after publication |