CN108848325A - 一种基于自然图像抠像的视频合成方法 - Google Patents
一种基于自然图像抠像的视频合成方法 Download PDFInfo
- Publication number
- CN108848325A CN108848325A CN201810665687.9A CN201810665687A CN108848325A CN 108848325 A CN108848325 A CN 108848325A CN 201810665687 A CN201810665687 A CN 201810665687A CN 108848325 A CN108848325 A CN 108848325A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- frame
- synthetic
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000006748 scratching Methods 0.000 title claims abstract description 10
- 230000002393 scratching effect Effects 0.000 title claims abstract description 10
- 238000003708 edge detection Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 10
- 238000010189 synthetic method Methods 0.000 claims 5
- 238000009738 saturating Methods 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000005538 encapsulation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
本发明公开了一种基于自然图像抠像的视频合成方法，步骤是1、拍摄自然环境下不包含前景图像的视频，作为背景视频；2、拍摄自然环境下包含前景图像的视频，作为第一视频；3、所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；并将该差值与预设值进行比较，来判断该第二视频帧是前景图像还是背景图像；4、根据第二视频帧，设置第一视频帧的透明度，得到前景图像；5、合并前景图像和虚拟场景，得到合成视频；6、对所述合成视频进行边缘检测；7、对所述合成视频的边缘进行平滑处理。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种基于自然图像抠像的视频合成方法。
背景技术
在视频处理技术领域，常常会运用到视频抠像技术。所谓视频抠像技术，指的是将一个视频中的人物或者其他前景，通过智能抠像技术抓取出来，并嵌入合成到另一虚拟的或者其他实际的场景背景中。主要效果是使观看视频的用户感觉到视频中的人物正处在后期合成的场景中，并可以进一步使人物与场景背景有互动。与传统的抠像技术的差异在于传统的抠像技术需要纯色的背景例如：绿色或蓝色的背景色才能完成抠图及视频的合成动作,大大限制了使用的范围及使用者的方便性，而本发明除了可以使用绿色或蓝色的背景来合成外亦可以采用自然的环境当背景来完成视频的抠图动作，可以不被环境所限制,大大的打开各环境及行业的使用范围，例如，在ktv或是家庭的客厅唱k,唱K的过程中，通过将唱歌者实时抠像并嵌入合成到自选的视频图像背景中，这样就让歌唱者身临其境的在视频中歌唱，犹如演唱会现场一样。
视频抠像技术在实际运用中主要需要解决的问题是对摄像机拍摄的人物进行实时抠像，并与提供的视频背景进行合成，最后通过边缘检测和平滑技术对抠像与合成造成的人物轮廓边缘锯齿进行平滑处理。
发明内容
本发明目的是解决上述问题，设计一种基于自然图像抠像的视频合成方法，克服传统抠图运用上必需搭配纯色的背景才能完成的限制,采用自然的环境即可当背景来完成视频的抠图动作,大大的打开各环境及行业的使用范围。
为了实现上述目的，本发明的技术方案是：
一种基于自然图像抠像的视频合成方法，包括以下步骤：
步骤1、拍摄自然环境下不包含前景图像的视频，作为背景视频；
步骤2、拍摄自然环境下包含前景图像的视频，作为第一视频；
步骤3、所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；并将该差值与预设值进行比较，来判断该第二视频帧是前景图像还是背景图像；
所述第二视频帧，RGB值大于预设值，判定所述像素为前景像素，透明度值为1，否则为0；透明度值＝(255-(蓝色通道值-(红色通道值+绿色通道值)/2))/255；
步骤4、根据第二视频帧，设置第一视频帧的透明度，得到前景图像；
步骤5、合并前景图像和虚拟场景，得到合成视频；
步骤6、对所述合成视频进行边缘检测；
步骤7、对所述合成视频的边缘进行平滑处理。
作为对本技术方案的改进，所述边缘检测是用边缘检测算法对透明度计算则判定所述像素为边缘像素。
作为对本技术方案的改进，所述平滑处理，以所述边缘像素点为中心，m*m大小的正方形范围内的像素点的色彩值加起来作算术平均，作为所述边缘像素新的色彩值。
进一步的，平滑处理后的合成视频之后还包括：
步骤8、获取摄像装置数据的同时，实时获取麦克风的音频数据，将平滑处理的音频数据与合成视频封装成音视频数据；
步骤9、通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接。
进一步的，还包括接收客户端发送的互动指令，从及根据互动指令更新或切换虚拟场景。
进一步的，所述虚拟场景为静态图像或动态视频场景。
本发明的基于自然图像抠像的视频合成方法由一种基于自然图像抠像的视频合成***来完成，该基于自然图像抠像的视频合成***包括：
摄像装置、麦克风以及
解析单元，用于实时获取摄像装置的数据，得到没有前景图像的背景视频和包含前景图像第一视频；
预处理单元，所述第一视频的每一帧图像，减去背景视频第一帧图像，所取得的差值得到第二视频帧；
合并单元，合并前景图像和虚拟场景，得到合成视频；
后处理单元，对合成视频进行边缘检测和平滑处理；
封装单元，获取摄像装置数据的同时，实时获取麦克风的音频数据，将音麦克风的音频数据与合成视频封装成音视频数据；
传输单元，通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接；
互动单元，接收客户端发送的互动指令，从及根据互动指令更新或切换虚拟场景。
与现有技术相比，本发明具有的优点和积极效果是：
本发明的基于自然图像抠像的视频合成方法，与传统的抠像技术的差异在于传统的抠像技术需要纯色的背景例如绿色或蓝色的背景色才能完成抠图及视频的合成动作，大大限制了使用的范围及使用者的方便性，而本发明除了可以使用绿色或蓝色的背景来合成外亦可以采用自然的环境当背景来完成视频的抠图动作，可以不被环境所限制，大大的打开各环境及行业的使用范围。本发明可以对摄像头捕捉到的帧图像的每个像素在GPU(图形处理器)进行并行处理，处理速度较快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的视频合成流程图；
图2为视频合成后上传操作流程图；
图3为视频合成***的模块图；
图4为视频合成***示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
如图1至4所示，本发明的基于自然图像抠像的视频合成方法，包括以下步骤：
步骤1、拍摄自然环境下不包含前景图像的视频，作为背景视频；
步骤2、拍摄自然环境下包含前景图像的视频，作为第一视频；
步骤3、所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；并将该差值与预设值进行比较，来判断该第二视频帧是前景图像还是背景图像；
所述第二视频帧，RGB值大于预设值，判定所述像素为前景像素，透明度值为1，否则为0；透明度值＝(255-(蓝色通道值-(红色通道值+绿色通道值)/2))/255；
步骤4、根据第二视频帧，设置第一视频帧的透明度，得到前景图像；
步骤5、合并前景图像和虚拟场景，得到合成视频；
步骤6、对所述合成视频进行边缘检测；
步骤7、对所述合成视频的边缘进行平滑处理。
作为对本技术方案的改进，所述边缘检测是用边缘检测算法对透明度计算则判定所述像素为边缘像素。
作为对本技术方案的改进，所述平滑处理，以所述边缘像素点为中心，m*m大小的正方形范围内的像素点的色彩值加起来作算术平均，作为所述边缘像素新的色彩值。
进一步的，平滑处理后的合成视频之后还包括：
步骤8、获取摄像装置数据的同时，实时获取麦克风的音频数据，将平滑处理的音频数据与合成视频封装成音视频数据；
步骤9、通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接。
进一步的，还包括接收客户端发送的互动指令，从及根据互动指令更新或切换虚拟场景。
进一步的，所述虚拟场景为静态图像或动态视频场景。
本发明的基于自然图像抠像的视频合成方法由一种基于自然图像抠像的视频合成***来完成，该基于自然图像抠像的视频合成***包括：
摄像装置601、麦克风605以及
解析单元10，用于实时获取摄像装置的数据，得到没有前景图像的背景视频和包含前景图像第一视频；
预处理单元20，所述第一视频的每一帧图像，减去背景视频第一帧图像，所取得的差值得到第二视频帧；
合并单元30，合并前景图像和虚拟场景，得到合成视频；
后处理单元40，对合成视频进行边缘检测和平滑处理；
封装单元50，获取摄像装置数据的同时，实时获取麦克风的音频数据，将音麦克风的音频数据与合成视频封装成音视频数据；
传输单元60，通过HTTP协议，将所述音视频数据上传到第三方服务器606；第三方服务器606生成所述音视频数据的互联网链接；
互动单元，接收客户端发送的互动指令，从及根据互动指令更新或切换虚拟场景。
所述解析单元10包括视频解码器602，合并单元30包括视频合成模块603，封装单元50包括硬件编码模块和录制服务器604。
本发明的基于自然图像抠像的视频合成方法，与传统的抠像技术的差异在于传统的抠像技术需要纯色的背景例如绿色或蓝色的背景色才能完成抠图及视频的合成动作，大大限制了使用的范围及使用者的方便性，而本发明除了可以使用绿色或蓝色的背景来合成外亦可以采用自然的环境当背景来完成视频的抠图动作，可以不被环境所限制，大大的打开各环境及行业的使用范围。本发明可以对摄像头捕捉到的帧图像的每个像素在GPU(图形处理器)进行并行处理，处理速度较快。
Claims (6)
1.一种基于自然图像抠像的视频合成方法，其特征在于：包括以下步骤：
步骤1、拍摄自然环境下不包含前景图像的视频，作为背景视频；
步骤2、拍摄自然环境下包含前景图像的视频，作为第一视频；
步骤3、所述第一视频的每一帧RGB图像，减去背景视频每一帧RGB图像，所取得的差值得到第二视频每一帧RGB图像；并将该差值与预设值进行比较，来判断该第二视频帧是前景图像还是背景图像；
所述第二视频帧，RGB值大于预设值，判定所述像素为前景像素，透明度值为1，否则为0；透明度值＝(255-(蓝色通道值-(红色通道值+绿色通道值)/2))/255；
步骤4、根据第二视频帧，设置第一视频帧的透明度，得到前景图像；
步骤5、合并前景图像和虚拟场景，得到合成视频；
步骤6、对所述合成视频进行边缘检测；
步骤7、对所述合成视频的边缘进行平滑处理。
2.如权利要求1所述的其合成方法，其特征在于：所述边缘检测是用边缘检测算法对透明度计算则判定所述像素为边缘像素。
3.如权利要求1所述的其合成方法，其特征在于：所述平滑处理，以所述边缘像素点为中心，m*m大小的正方形范围内的像素点的色彩值加起来作算术平均，作为所述边缘像素新的色彩值。
4.如权利要求1所述的其合成方法，其特征在于：平滑处理后的合成视频之后还包括：
步骤8、获取摄像装置数据的同时，实时获取麦克风的音频数据，将平滑处理的音频数据与合成视频封装成音视频数据；
步骤9、通过HTTP协议，将所述音视频数据上传到第三方服务器；第三方服务器生成所述音视频数据的互联网链接。
5.如权利要求1所述的其合成方法，其特征在于：还包括接收客户端发送的互动指令，从及根据互动指令更新或切换虚拟场景。
6.如权利要求5所述的其合成方法，其特征在于：所述虚拟场景为静态图像或动态视频场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810665687.9A CN108848325A (zh) | 2018-06-26 | 2018-06-26 | 一种基于自然图像抠像的视频合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810665687.9A CN108848325A (zh) | 2018-06-26 | 2018-06-26 | 一种基于自然图像抠像的视频合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108848325A true CN108848325A (zh) | 2018-11-20 |
Family
ID=64203318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810665687.9A Pending CN108848325A (zh) | 2018-06-26 | 2018-06-26 | 一种基于自然图像抠像的视频合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108848325A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109697703A (zh) * | 2018-11-22 | 2019-04-30 | 深圳艺达文化传媒有限公司 | 视频的背景叠加方法及相关产品 |
| CN110290398A (zh) * | 2019-06-21 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 视频下发方法、装置、存储介质及电子设备 |
| CN112308866A (zh) * | 2020-11-04 | 2021-02-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| WO2021031819A1 (zh) * | 2019-08-22 | 2021-02-25 | 华为技术有限公司 | 一种图像处理方法和电子设备 |
| CN112785511A (zh) * | 2020-06-30 | 2021-05-11 | 青岛经济技术开发区海尔热水器有限公司 | 图像抗锯齿处理方法及电器设备 |
| CN113271394A (zh) * | 2021-04-07 | 2021-08-17 | 福建大娱号信息科技股份有限公司 | 一种无蓝绿自然背景的ai智能抠像方法及终端 |
| US11361461B2 (en) * | 2019-02-19 | 2022-06-14 | Samsung Electronics Co., Ltd. | Electronic device and object measurement method thereof |
| CN114650406A (zh) * | 2022-03-23 | 2022-06-21 | 阿里巴巴（中国）有限公司 | 视频处理方法、视频处理装置和计算机存储可读介质 |
-
2018
- 2018-06-26 CN CN201810665687.9A patent/CN108848325A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109697703A (zh) * | 2018-11-22 | 2019-04-30 | 深圳艺达文化传媒有限公司 | 视频的背景叠加方法及相关产品 |
| US11361461B2 (en) * | 2019-02-19 | 2022-06-14 | Samsung Electronics Co., Ltd. | Electronic device and object measurement method thereof |
| CN110290398A (zh) * | 2019-06-21 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 视频下发方法、装置、存储介质及电子设备 |
| CN110290398B (zh) * | 2019-06-21 | 2021-11-05 | 北京字节跳动网络技术有限公司 | 视频下发方法、装置、存储介质及电子设备 |
| WO2021031819A1 (zh) * | 2019-08-22 | 2021-02-25 | 华为技术有限公司 | 一种图像处理方法和电子设备 |
| CN112785511A (zh) * | 2020-06-30 | 2021-05-11 | 青岛经济技术开发区海尔热水器有限公司 | 图像抗锯齿处理方法及电器设备 |
| CN112308866A (zh) * | 2020-11-04 | 2021-02-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN112308866B (zh) * | 2020-11-04 | 2024-02-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113271394A (zh) * | 2021-04-07 | 2021-08-17 | 福建大娱号信息科技股份有限公司 | 一种无蓝绿自然背景的ai智能抠像方法及终端 |
| CN114650406A (zh) * | 2022-03-23 | 2022-06-21 | 阿里巴巴（中国）有限公司 | 视频处理方法、视频处理装置和计算机存储可读介质 |
| CN114650406B (zh) * | 2022-03-23 | 2022-12-30 | 阿里巴巴（中国）有限公司 | 视频处理方法、视频处理装置和计算机存储可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108848325A (zh) | 一种基于自然图像抠像的视频合成方法 | |
| CN107087123B (zh) | 一种基于云端处理的实时高清抠像方法 | |
| JP4698831B2 (ja) | 画像変換および符号化技術 | |
| CN106303289B (zh) | 一种将真实对象与虚拟场景融合显示的方法、装置及*** | |
| Drago et al. | Adaptive logarithmic mapping for displaying high contrast scenes | |
| CN110493630A (zh) | 虚拟礼物特效的处理方法和装置、直播*** | |
| CN100591120C (zh) | 视频通信方法及装置 | |
| RU2708437C1 (ru) | Устройство обработки изображений, система обработки изображений, способ обработки изображений и носитель данных | |
| CN109040576A (zh) | 具有用于图像数据统计的基于多帧的窗口的相机控制和图像处理的方法和*** | |
| US10572984B2 (en) | Method for inverse tone mapping of an image with visual effects | |
| TW202336695A (zh) | 提高影像品質的方法 | |
| CN106664351A (zh) | 使用块匹配的镜头阴影颜色校正的方法和*** | |
| CN108347647B (zh) | 视频画面显示方法、装置、电视机及存储介质 | |
| KR20160128366A (ko) | 이동 단말의 촬영 방법 및 이동 단말 | |
| CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
| CN108566521A (zh) | 一种基于自然图像抠像的视频合成*** | |
| CN104680518B (zh) | 一种基于色度溢出处理的蓝屏抠像方法 | |
| CN106506950A (zh) | 一种图像处理方法及装置 | |
| WO2023160234A1 (zh) | 转场动效生成方法、电子设备和存储介质 | |
| CN107920213A (zh) | 视频合成方法、终端和计算机可读存储介质 | |
| CN106210525A (zh) | 用于实现视频直播的相机及方法 | |
| CN112991366A (zh) | 对图像进行实时色度抠图的方法、装置及移动端 | |
| CN113297937A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN107172415B (zh) | 一种vr全息一体同步交互展示***及其控制方法 | |
| US20170221174A1 (en) | Gpu data sniffing and 3d streaming system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181120 |
|
| RJ01 | Rejection of invention patent application after publication |