CN104349115A - 网络视频会议***及在其中设置虚拟环境的方法和装置 - Google Patents
网络视频会议***及在其中设置虚拟环境的方法和装置 Download PDFInfo
- Publication number
- CN104349115A CN104349115A CN201310339714.0A CN201310339714A CN104349115A CN 104349115 A CN104349115 A CN 104349115A CN 201310339714 A CN201310339714 A CN 201310339714A CN 104349115 A CN104349115 A CN 104349115A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- images
- mask
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种网络视频会议***及在其中设置虚拟环境的方法和装置。在网络视频会议***中设置虚拟环境的方法包括：对网络视频会议采用的背景图像进行初始化；获取包含用户的图像；对所获取的包含用户的图像进行二值化处理以实时生成Mask图像；将所述Mask图像与所获取的包含用户的图像进行合成处理，以将所获取的包含用户的图像中的背景去除，从而得到用户图像；将所述用户图像发送至所述网络视频会议的其他参与者对应的终端；接收所述其他参与者对应的终端发送的相应的Mask图像和用户图像；将所生成的Mask图像和用户图像和所接收的与所述其他参与者对应的Mask图像和用户图像实时地合成在所述背景图像上。
Description
技术领域
本申请涉及通信领域，尤其涉及一种网络视频会议***，以及在该网络视频会议***中设置虚拟环境的方法和装置。
背景技术
近来，随着互联网的高速发展，已提出与远程的同事、客户、合作伙伴之间进行网络视频会议的方案。但是，现有技术的网络视频会议中，参与者彼此之间缺乏临场感，降低了用户体验。
发明内容
本申请旨在提供一种能够将网络视频会议的参与者均能显示在各参与者对应屏幕上的网络视频会议***，从而增加参与者的临场感，改善参与者的用户体验。
本申请的一个实施方式提供了一种在网络视频会议***中设置虚拟环境的方法，包括：
对网络视频会议采用的背景图像进行初始化；
获取包含用户的图像；
对所获取的包含用户的图像进行二值化处理以实时生成Mask图像；
将所述Mask图像与所获取的包含用户的图像进行合成处理，以将所获取的包含用户的图像中的背景去除，从而得到用户图像；
将所述用户图像发送至所述网络视频会议的其他参与者对应的终端；
接收所述其他参与者对应的终端发送的相应的Mask图像和用户图像；以及
将本地和所接收的与所述其他参与者对应的Mask图像和用户图像实时地合成在所述背景图像上。
本申请的另一个实施方式提供了一种在网络视频会议***中设置虚拟环境的装置，包括：
图像获取单元，获取网络视频会议采用的背景图像，获取包含用户的图像；
图像处理单元，对所述背景图像进行初始化，对所获取的包含用户的图像进行二值化处理以实时生成Mask图像，将所述Mask图像与所获取的包含用户的图像进行合成，以将所获取的包含用户的图像中的背景去除，从而得到用户图像；
收发单元，将所述用户图像发送至所述网络视频会议的其他参与者对应的终端，接收所述其他参与者对应的终端发送的相应的Mask图像和用户图像；以及
合成单元，将本地和所接收的与所述其他参与者对应的Mask图像和用户图像实时地合成在所述背景图像上。
本申请的另一个实施方式提供了一种在网络视频会议***，包括空间隔离的会场单元，所述会场单元包括：
图像获取装置，获取网络视频会议采用的背景图像，获取包含用户的图像；
图像处理装置，对所述背景图像进行初始化，对所获取的包含用户的图像进行二值化处理以实时生成Mask图像，将所述Mask图像与所获取的包含用户的图像进行合成，以将所获取的包含用户的图像中的背景去除，从而得到用户图像；
收发器，将所述用户图像发送至所述网络视频会议的其他会场单元，接收所述其他会场单元发送的相应的Mask图像和用户图像；以及
合成装置，将本地和所接收的与所述其他参与者对应的Mask图像和用户图像实时地合成在所述背景图像上。
通过上述实施方式提供的方案，身处异地的网络视频会议的参与者的图像能够同时显示在各自对应的屏幕上，可提高网络视频会议中参与者的临场感，提升用户体验。
附图说明
图1为根据本发明的实施方式的在网络视频会议***中设置虚拟环境的方法1000；
图2为根据本发明的实施方式的在网络视频会议***中设置虚拟环境的装置100；
图3为根据本发明的实施方式的网络视频会议***。
具体实施方式
下面结合附图详细描述本申请的实施方式。
图1为根据本发明的实施方式的在网络视频会议***中设置虚拟环境的方法1000。
如图1所示，在S110中，对网络视频会议采用的背景图像进行初始化。作为一种选择，步骤S110可包括：
获取网络视频会议采用的背景图像，其中背景图像中不包含用户的图像；
对背景图像连续拍摄预定数量的帧图像；以及
计算所拍摄的帧图像的辉度平均值及辉度振幅平均值。
例如，通过摄像头捕获没有用户情况下的、该网络视频会议所采用背景图像。例如，对背景图像连续拍摄100帧图像，对所拍摄的100帧图像计算辉度平均值及辉度振幅平均值。
在步骤S120中，获取包含用户的图像。
在步骤S130中，对所获取的包含用户的图像进行二值化处理以实时生成Mask图像；
作为一种选择，步骤S130可包括：通过背景差分算法和初始化步骤中获得的辉度平均值及辉度振幅平均值对所获取的包含用户的图像进行二值化处理，其中，所得到的Mask图像中，用户的身体显示为白色，其他部分为黑色。
作为一种选择，对所得到的Mask图像还可进行二次轮廓识别：
在所得到的Mask图像上画出所有白色部分的轮廓线；
选取轮廓线包围的部分最大的白色图像；以及
将包围的部分最大的轮廓线内的区域显示为白色，其他区域显示为黑色。
例如，通过二值化处理得到的Mask图像（用户的身体显示为白色，其他部分为黑色）边缘会有一些噪点，影响最终的图像合成显示效果。本实施方式的方案对二值化处理得到的Mask图像进行二次轮廓识别的方法，在Mask图像上画出所有白色部分的轮廓线，在其中选取轮廓线包围部分最大的白色图像，该部分即为用户身体部分；然后将该轮廓线内显示为白色，轮廓线外显示为黑色，通过该方法最大限度的减少了图像上面的噪点。
在步骤S140中，将得到的用户图像发送至网络视频会议的其他参与者对应的终端。
在步骤S150中，接收其他参与者对应的终端发送的相应的Mask图像和用户图像。
在步骤S160中，将本地和所接收的与其他参与者对应的Mask图像和用户图像实时地合成在背景图像上。
通过上述方法，身处异地的网络视频会议的参与者的图像能够同时显示在各自对应的屏幕上，可提高网络视频会议中参与者的临场感，提升用户体验。
图2为根据本发明的实施方式的在网络视频会议***中设置虚拟环境的装置100。该实施方式的装置100包括：图像获取单元10、图像处理单元20、收发单元30和合成单元40。
图像获取单元10，获取网络视频会议采用的背景图像以及包含用户的图像。图像处理单元20对背景图像进行初始化，对所获取的包含用户的图像进行二值化处理以实时生成Mask图像，将Mask图像与所获取的包含用户的图像进行合成，以将所获取的包含用户的图像中的背景去除，从而得到用户图像。收发单元30将用户图像发送至网络视频会议的其他参与者对应的终端，接收其他参与者对应的终端发送的相应的Mask图像和用户图像。合成单元40将本地和所接收的与其他参与者对应的Mask图像和用户图像实时地合成在背景图像上。
作为一种选择，图像获取单元10还用于对背景图像连续拍摄预定数量的帧图像，其中背景图像中不包含用户的图像。
作为一种选择，图像处理单元20还用于计算所拍摄的帧图像的辉度平均值及辉度振幅平均值。
作为一种选择，图像处理单元20还用于通过背景差分算法和初始化步骤中获得的辉度平均值及辉度振幅平均值对所获取的包含用户的图像进行二值化处理，其中，所得到的Mask图像中，用户的身体显示为白色，其他部分为黑色。
作为一种选择，图像处理单元20还用于在所得到的Mask图像上画出所有白色部分的轮廓线，选取轮廓线包围的部分最大的白色图像，将包围的部分最大的轮廓线内的区域显示为白色，其他区域显示为黑色。
图3为根据本发明的实施方式的网络视频会议***。如图3所示，该***包括第一会场单元和第二会场单元。本领域技术人员应理解，该***可包括更多数量的会场单元。
第一会场单元包括：图像获取装置101、图像处理装置102、收发器103、合成装置104。
图像获取装置101获取网络视频会议采用的背景图像，获取包含用户的图像；图像处理装置102对背景图像进行初始化，对所获取的包含用户的图像进行二值化处理以实时生成Mask图像，将Mask图像与所获取的包含用户的图像进行合成，以将所获取的包含用户的图像中的背景去除，从而得到用户图像。收发器103将用户图像发送至网络视频会议的其他会场单元（例如，第二会场单元），接收其他会场单元发送的相应的Mask图像和用户图像。合成装置104将本地生成的Mask图像和用户图像与所接收的与其他会场单元（例如第二会场单元）的Mask图像和用户图像实时地合成在背景图像上。
作为一种选择，图像获取装置101还用于对背景图像连续拍摄预定数量的帧图像，其中背景图像中不包含用户的图像。
作为一种选择，图像处理装置102还用于计算所拍摄的帧图像的辉度平均值及辉度振幅平均值。
作为一种选择，图像处理装置102还用于通过背景差分算法和初始化步骤中获得的辉度平均值及辉度振幅平均值对所获取的包含用户的图像进行二值化处理，其中，所得到的Mask图像中，用户的身体显示为白色，其他部分为黑色。
作为一种选择，图像处理装置102还用于在所得到的Mask图像上画出所有白色部分的轮廓线，选取轮廓线包围的部分最大的白色图像，将包围的部分最大的轮廓线内的区域显示为白色，其他区域显示为黑色。
第二会场单元包括：图像获取装置201、图像处理装置202、收发器203、合成装置204。图像获取装置201、图像处理装置202、收发器203、合成单元204的功能分别与上述的图像获取装置101、图像处理装置102、收发器103、合成装置104相同，在此不再赘述。
以上仅为本申请的优选实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (12)
1.一种在网络视频会议***中设置虚拟环境的方法，包括：
对网络视频会议采用的背景图像进行初始化；
获取包含用户的图像；
对所获取的包含用户的图像进行二值化处理以实时生成Mask图像；
将所述Mask图像与所获取的包含用户的图像进行合成处理，以将所获取的包含用户的图像中的背景去除，从而得到用户图像；
将所述用户图像发送至所述网络视频会议的其他参与者对应的终端；
接收所述其他参与者对应的终端发送的相应的Mask图像和用户图像；以及
将所生成的Mask图像和用户图像和所接收的与所述其他参与者对应的Mask图像和用户图像实时地合成在所述背景图像上。
2.如权利要求1所述的方法，其中，所述对网络视频会议采用的背景图像进行初始化包括：
获取所述网络视频会议采用的背景图像，其中所述背景图像中不包含用户的图像；
对所述背景图像连续拍摄预定数量的帧图像；以及
计算所拍摄的帧图像的辉度平均值及辉度振幅平均值。
3.如权利要求1所述的方法，其中，所述对所获取的包含用户的图像进行二值化处理以实时生成Mask图像包括：
通过背景差分算法和初始化步骤中获得的辉度平均值及辉度振幅平均值对所获取的包含用户的图像进行二值化处理，其中，所得到的Mask图像中，所述用户的身体显示为白色，其他部分为黑色。
4.如权利要求3所述的方法，其中，所述对所获取的包含用户的图像进行二值化处理以实时生成Mask图像还包括：
在所得到的Mask图像上画出所有白色部分的轮廓线；
选取轮廓线包围的部分最大的白色图像；以及
将包围的部分最大的轮廓线内的区域显示为白色，其他区域显示为黑色。
5.一种在网络视频会议***中设置虚拟环境的装置，包括：
图像获取单元，获取网络视频会议采用的背景图像，获取包含用户的图像；
图像处理单元，对所述背景图像进行初始化，对所获取的包含用户的图像进行二值化处理以实时生成Mask图像，将所述Mask图像与所获取的包含用户的图像进行合成，以将所获取的包含用户的图像中的背景去除，从而得到用户图像；
收发单元，将所述用户图像发送至所述网络视频会议的其他参与者对应的终端，接收所述其他参与者对应的终端发送的相应的Mask图像和用户图像；以及
合成单元，将所生成的Mask图像和用户图像和所接收的与所述其他参与者对应的Mask图像和用户图像实时地合成在所述背景图像上。
6.如权利要求5所述的装置，其中，所述图像获取单元用于对所述背景图像连续拍摄预定数量的帧图像，其中所述背景图像中不包含用户的图像；以及
所述图像处理单元用于计算所拍摄的帧图像的辉度平均值及辉度振幅平均值。
7.如权利要求5所述的装置，其中，所述图像处理单元用于通过背景差分算法和初始化步骤中获得的辉度平均值及辉度振幅平均值对所获取的包含用户的图像进行二值化处理，其中，所得到的Mask图像中，所述用户的身体显示为白色，其他部分为黑色。
8.如权利要求7所述的装置，其中，所述图像处理单元用于在所得到的Mask图像上画出所有白色部分的轮廓线，选取轮廓线包围的部分最大的白色图像，将包围的部分最大的轮廓线内的区域显示为白色，其他区域显示为黑色。
9.一种在网络视频会议***，包括空间隔离的会场单元，所述会场单元包括：
图像获取装置，获取网络视频会议采用的背景图像，获取包含用户的图像；
图像处理装置，对所述背景图像进行初始化，对所获取的包含用户的图像进行二值化处理以实时生成Mask图像，将所述Mask图像与所获取的包含用户的图像进行合成，以将所获取的包含用户的图像中的背景去除，从而得到用户图像；
收发器，将所述用户图像发送至所述网络视频会议的其他会场单元，接收所述其他会场单元发送的相应的Mask图像和用户图像；以及
合成装置，将所生成的Mask图像和用户图像和所接收的其他会场单元的Mask图像和用户图像实时地合成在所述背景图像上。
10.如权利要求9所述的装置，其中，所述图像获取装置用于对所述背景图像连续拍摄预定数量的帧图像，其中所述背景图像中不包含用户的图像；以及
所述图像处理装置用于计算所拍摄的帧图像的辉度平均值及辉度振幅平均值。
11.如权利要求9所述的装置，其中，所述图像处理装置用于通过背景差分算法和初始化步骤中获得的辉度平均值及辉度振幅平均值对所获取的包含用户的图像进行二值化处理，其中，所得到的Mask图像中，所述用户的身体显示为白色，其他部分为黑色。
12.如权利要求11所述的装置，其中，所述图像处理装置用于在所得到的Mask图像上画出所有白色部分的轮廓线，选取轮廓线包围的部分最大的白色图像，将包围的部分最大的轮廓线内的区域显示为白色，其他区域显示为黑色。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310339714.0A CN104349115B (zh) | 2013-08-06 | 2013-08-06 | 网络视频会议***及在其中设置虚拟环境的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310339714.0A CN104349115B (zh) | 2013-08-06 | 2013-08-06 | 网络视频会议***及在其中设置虚拟环境的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104349115A true CN104349115A (zh) | 2015-02-11 |
| CN104349115B CN104349115B (zh) | 2017-09-22 |
Family
ID=52503813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310339714.0A Expired - Fee Related CN104349115B (zh) | 2013-08-06 | 2013-08-06 | 网络视频会议***及在其中设置虚拟环境的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104349115B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803888A (zh) * | 2017-03-06 | 2017-06-06 | 联想(北京)有限公司 | 合成图像的方法和电子设备 |
| CN109151489A (zh) * | 2018-08-14 | 2019-01-04 | 广州虎牙信息科技有限公司 | 直播视频图像处理方法、装置、存储介质和计算机设备 |
| CN110147737A (zh) * | 2019-04-25 | 2019-08-20 | 北京百度网讯科技有限公司 | 用于生成视频的方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1682528A (zh) * | 2002-08-09 | 2005-10-12 | 夏普株式会社 | 图像合成装置、方法、程序和记录该程序的记录介质 |
| US20100159430A1 (en) * | 2008-12-22 | 2010-06-24 | Electronics And Telecommunications Research Institute | Educational system and method using virtual reality |
| CN102054270A (zh) * | 2009-11-10 | 2011-05-11 | 华为技术有限公司 | 一种视频图像中提取前景的方法及装置 |
| CN102594577A (zh) * | 2010-12-16 | 2012-07-18 | 微软公司 | 使用统一通信技术的虚拟环视会议体验 |
| CN102625129A (zh) * | 2012-03-31 | 2012-08-01 | 福州一点通广告装饰有限公司 | 远程真人三维虚拟仿场景互动的实现方法 |
-
2013
- 2013-08-06 CN CN201310339714.0A patent/CN104349115B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1682528A (zh) * | 2002-08-09 | 2005-10-12 | 夏普株式会社 | 图像合成装置、方法、程序和记录该程序的记录介质 |
| US20100159430A1 (en) * | 2008-12-22 | 2010-06-24 | Electronics And Telecommunications Research Institute | Educational system and method using virtual reality |
| CN102054270A (zh) * | 2009-11-10 | 2011-05-11 | 华为技术有限公司 | 一种视频图像中提取前景的方法及装置 |
| CN102594577A (zh) * | 2010-12-16 | 2012-07-18 | 微软公司 | 使用统一通信技术的虚拟环视会议体验 |
| CN102625129A (zh) * | 2012-03-31 | 2012-08-01 | 福州一点通广告装饰有限公司 | 远程真人三维虚拟仿场景互动的实现方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106803888A (zh) * | 2017-03-06 | 2017-06-06 | 联想(北京)有限公司 | 合成图像的方法和电子设备 |
| CN109151489A (zh) * | 2018-08-14 | 2019-01-04 | 广州虎牙信息科技有限公司 | 直播视频图像处理方法、装置、存储介质和计算机设备 |
| CN109151489B (zh) * | 2018-08-14 | 2019-05-31 | 广州虎牙信息科技有限公司 | 直播视频图像处理方法、装置、存储介质和计算机设备 |
| CN110147737A (zh) * | 2019-04-25 | 2019-08-20 | 北京百度网讯科技有限公司 | 用于生成视频的方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104349115B (zh) | 2017-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180074679A1 (en) | Method, apparatus, and system for sharing virtual reality viewport | |
| US10477179B2 (en) | Immersive video | |
| US11450044B2 (en) | Creating and displaying multi-layered augemented reality | |
| US20130083161A1 (en) | Real-time video coding using graphics rendering contexts | |
| KR101851338B1 (ko) | 실감형 미디어 영상을 제공하는 장치 | |
| JP2018534813A (ja) | 不完全な電磁経路を通じてサンプリングした信号を搬送するシステム （０００１） 本開示の名称は、「不完全な電磁経路を通じてサンプリングした信号を搬送するシステム」である。 | |
| CN103795961A (zh) | 会议电视网真***及其图像处理方法 | |
| CN105824412A (zh) | 在移动终端上呈现自定义虚拟特效的方法及装置 | |
| KR20160085877A (ko) | 비디오 전송 | |
| CN102571624A (zh) | 实时通信***及相关的计算器可读介质 | |
| CN104349115A (zh) | 网络视频会议***及在其中设置虚拟环境的方法和装置 | |
| CN114051148A (zh) | 一种虚拟主播生成方法、装置及电子设备 | |
| CN113852860A (zh) | 视频处理方法、装置、***及存储介质 | |
| CN106488106A (zh) | 一种图像处理方法及装置 | |
| CN112714263A (zh) | 视频生成方法、装置、设备及存储介质 | |
| CN104349116A (zh) | 用于网络视频会议***的屏幕功能区域划分方法和装置 | |
| CN108141559A (zh) | 影像*** | |
| US20230396735A1 (en) | Providing a 3d representation of a transmitting participant in a virtual meeting | |
| WO2022157105A1 (en) | System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and method for operating said system | |
| CN105025286B (zh) | 图像处理装置 | |
| CN106791888A (zh) | 基于用户视角的全景图片的传输方法和装置 | |
| CN106303568A (zh) | 一种视频联播的方法、客户端及服务器 | |
| KR101947799B1 (ko) | 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법 | |
| CN107707930B (zh) | 视频处理方法、装置及*** | |
| CN110602480A (zh) | 一种采用增强现实分享场景的方法、装置及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170922 Termination date: 20190806 |