CN113992921A - 一种虚拟现实直播视频通讯新技术 - Google Patents

一种虚拟现实直播视频通讯新技术 Download PDF

Info

Publication number
CN113992921A
CN113992921A CN202110984675.4A CN202110984675A CN113992921A CN 113992921 A CN113992921 A CN 113992921A CN 202110984675 A CN202110984675 A CN 202110984675A CN 113992921 A CN113992921 A CN 113992921A
Authority
CN
China
Prior art keywords
video
virtual reality
live broadcast
rendering
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110984675.4A
Other languages
English (en)
Inventor
何永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baosheng China Technology Industry Co ltd
Original Assignee
Baosheng China Technology Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baosheng China Technology Industry Co ltd filed Critical Baosheng China Technology Industry Co ltd
Priority to CN202110984675.4A priority Critical patent/CN113992921A/zh
Publication of CN113992921A publication Critical patent/CN113992921A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟现实直播视频通讯新技术,包括视频源采集、视频源合成、视频编码、上传至云端库、视频渲染、视频传输,通过虚拟现实直播使各场景用户更具粘性,虚拟现实是一种提供沉浸感、现场感,改变人类生活方式的高新技术,虚拟现实的通讯视频技术与直播的结合促使直播观众从围观者变成参与者,拉近了现场与观众的距离,打破了空间与距离的界限,虚拟现实直播实时展现的场景让受众从被动接受变成了主动选择,并拥有了更强的代入感,给人一种逼真的感受,通过虚拟现实与直播相结合,可以提升现有的二维直播方式的直播效果,使直播给围观者的视觉效果更加多元化,通过该技术促使虚拟现实直播成为一种新兴商业模式和互联网业态的引导。

Description

一种虚拟现实直播视频通讯新技术
技术领域
本发明涉及直播通讯虚拟现实技术领域,具体为一种虚拟现实直播视频通讯新技术。
背景技术
虚拟现实技术是未来科技的一个较为流行的发展方向,仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术学科和研究领域。虚拟现实技术丰要包括模拟环境、感知、自然技能和传感设各等方面。里面模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入作出实时响应,并分别反馈到用户的五官。传感设备是指三维交互设备。
自2000年后,随着网络时代到来,电视直播逐渐被网络直播取代,成为“直播”的代名词。作为一种新兴商业模式和互联网业态,据统计,2020年 3月,我国网民整体规模为9.04亿,而网络直播用户规模达5.60亿,较2018 年底增长1.63亿,电商直播用户占全体网民近三成。然而现在的直播技术人停留在传统的二维视觉阶段,视频接收用户的客户端仅对视频数据进行播放,因此视频接收用户获得的视觉效果形式较为单一,不能够在视频直播用户和视频接收用户之间进行互动,使得视频直播的用户粘性较低,作为一种新兴商业模式和互联网业态,目前还无法给观众呈现一种三维立体的逼真图像,无法给用户带来一种沉浸式可交互的直播体验。
发明内容
本发明的目的在于提供一种虚拟现实直播视频通讯新技术,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种虚拟现实直播视频通讯新技术,包括视频源采集、视频源合成、视频编码、上传至云端库、视频渲染、视频传输。
优选的,所述一种虚拟现实直播视频通讯新技术,视频源采集、合成操作方法如下,
搭建幕布摄影棚,采用绿色幕布或其他纯色幕布均可;
在拍摄前场景的前、后、左、右,根据人眼瞳孔之间的距离设置了两组摄像机,在拍摄前场景的两个垂直方向上布置了一组摄像机,设置摄像机采集拍摄前场景的前后眼、后眼和左眼、左右眼、左右眼、上下视角的视频或图像;
上传至电脑服务端进行合成,合成根据每组摄像机拍摄的同一时间节点的动画视频进行合成,拼接成一个完成的二维曲面图或三维立体模型动画。
优选的,所述一种虚拟现实直播视频通讯新技术,其特征在于:视频编码、上传、渲染、传输操作方法如下,
将视频信号50帧/秒变为25帧/秒,然后按照25帧/秒的速度对每一帧压缩;
视频序列经过运动补偿提升时域滤波之后需要对每一帧图像进行空域二维滤波,采用滤波器对每一帧视频数据进行三级分解,经过运动补偿分解之后, 视频序列被分成了300个子带,后面的熵编码将对这300个子带进行编码,形成嵌入式码流,将数据带宽降到1-10MB/秒并重新渲染,最终存储为H264、 VP8、AVS、RMVB、WMV格式中的一种,形成视频文件后,使用流媒体协议封装并上传至云端储存库进行存储;
云端通过通信基站将VR直播全部视角、等质量的画面从云端传输至终端,当用户头部转动至特定视角时,由终端即时完成全部画面或视角范围内容的解码,并显示该视角画面。
优选的,所述步骤2.3中,在视频图像合成时,根据不同维度的摄像机拍摄的同一时间节点的图像进行合并,并根据经纬度使得每个节点画面形成全方位的视频动画。
优选的,所述步骤3.1中视频编码采用把视频序列分成图像组的方式进行编码,每个图像组由50帧视频组成,每一级的低频帧为原始数据帧高频帧由运动补偿结果按照不依赖傅里叶变换的方式生成,生成高频帧时所使用的参考帧为同级的所有低频帧。
优选的,所述步骤3.2中,通过云渲染平台进行渲染,渲染时,可以通过平台内的去除背景功能将拍摄主体单独抠出,并可以导入一个新的场景使得主体与新的场景进行结合渲染,保持次级引擎LightCache开启,勾选全局设置的Don't Render Final Imag以跳过不必要的渲染计算过程,然后根据摄像机运动情况预估隔帧数量,使用MultiFrameincreamenta1模式,计算完全部动画的IRmap,并通过IRmap Viewer观察计算完成的IRmap采样点分布情况,将采样点不足的部分,缺失采样点的部分,通过手动补光方式叠加并补全,得到最终准备动画渲染的IRmap文件。
与现有技术相比,本发明的有益效果是:
1、该虚拟现实直播视频通讯新技术,虚拟现实直播使各场景用户更具粘性,虚拟现实是一种提供沉浸感、现场感,改变人类生活方式的高新技术,虚拟现实的通讯视频技术与直播的结合促使直播观众从围观者变成参与者,拉近了现场与观众的距离,打破了空间与距离的界限,虚拟现实直播实时展现的场景让受众从被动接受变成了主动选择,并拥有了更强的代入感,给人一种逼真的感受。
2、该虚拟现实直播视频通讯新技术,通过虚拟现实与直播相结合,可以提升现有的二维直播方式的直播效果,使直播给围观者的视觉效果更加多元化,通过该技术促使虚拟现实直播成为一种新兴商业模式和互联网业态的引导。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:本发明提供一种技术方案:一种虚拟现实直播视频通讯新技术,包括视频源采集、视频源合成、视频编码、上传至云端库、视频渲染、视频传输。
其中,一种虚拟现实直播视频通讯新技术,视频源采集、合成操作方法如下,
2.1)搭建幕布摄影棚,采用绿色幕布或其他纯色幕布均可;
2.2)在拍摄前场景的前、后、左、右,根据人眼瞳孔之间的距离设置了两组摄像机,在拍摄前场景的两个垂直方向上布置了一组摄像机,设置摄像机采集拍摄前场景的前后眼、后眼和左眼、左右眼、左右眼、上下视角的视频或图像;
2.3)上传至电脑服务端进行合成,合成根据每组摄像机拍摄的同一时间节点的动画视频进行合成,拼接成一个完成的二维曲面图或三维立体模型动画。
其中,视频编码、上传、渲染、传输操作方法如下,
3.1)将视频信号50帧/秒变为25帧/秒,然后按照25帧/秒的速度对每一帧压缩;
3.2)视频序列经过运动补偿提升时域滤波之后需要对每一帧图像进行空域二维滤波,采用滤波器对每一帧视频数据进行三级分解,经过运动补偿分解之后,视频序列被分成了300个子带,后面的熵编码将对这300个子带进行编码,形成嵌入式码流,将数据带宽降到1-10MB/秒并重新渲染,最终存储为 H264、VP8、AVS、RMVB、WMV格式中的一种,形成视频文件后,使用流媒体协议封装并上传至云端储存库进行存储;
3.3)云端通过通信基站将VR直播全部视角、等质量的画面从云端传输至终端,当用户头部转动至特定视角时,由终端即时完成全部画面或视角范围内容的解码,并显示该视角画面。
其中,步骤2.3中,在视频图像合成时,根据不同维度的摄像机拍摄的同一时间节点的图像进行合并,并根据经纬度使得每个节点画面形成全方位的视频动画。
其中,步骤3.1中视频编码采用把视频序列分成图像组的方式进行编码, 每个图像组由50帧视频组成,每一级的低频帧为原始数据帧高频帧由运动补偿结果按照不依赖傅里叶变换的方式生成,生成高频帧时所使用的参考帧为同级的所有低频帧。
其中,步骤3.2中,通过云渲染平台进行渲染,渲染时,可以通过平台内的去除背景功能将拍摄主体单独抠出,并可以导入一个新的场景使得主体与新的场景进行结合渲染,保持次级引擎LightCache开启,勾选全局设置的 Don't Render Final Imag以跳过不必要的渲染计算过程,然后根据摄像机运动情况预估隔帧数量,使用MultiFrame increamenta1模式,计算完全部动画的IRmap,并通过IRmap Viewer观察计算完成的IRmap采样点分布情况,将采样点不足的部分,缺失采样点的部分,通过手动补光方式叠加并补全,得到最终准备动画渲染的IRmap文件。
工作原理:首先搭建幕布摄影棚,在摄影棚内通过架设多组摄像机进行视频源采集,然后通过编码器对视频的每一帧进行编码压缩,降低视频源的高频帧,然后通过云渲染平台进行渲染,渲染时,可以通过平台内的去除背景功能将拍摄主体单独抠出,并可以导入一个新的场景使得主体与新的场景进行结合渲染,最终存储为H264、VP8、AVS、RMVB、WMV格式中的一种,形成视频文件后,使用流媒体协议封装并上传至云端储存库进行存储,然后云端通过通信基站将VR直播全部视角、等质量的画面从云端传输至终端,当用户头部转动至特定视角时,由终端即时完成全部画面或视角范围内容的解码,并显示该视角画面,通过虚拟现实直播使各场景用户更具粘性,虚拟现实是一种提供沉浸感、现场感,改变人类生活方式的高新技术,虚拟现实的通讯视频技术与直播的结合促使直播观众从围观者变成参与者,拉近了现场与观众的距离,打破了空间与距离的界限,虚拟现实直播实时展现的场景让受众从被动接受变成了主动选择,并拥有了更强的代入感,给人一种逼真的感受,通过虚拟现实与直播相结合,可以提升现有的二维直播方式的直播效果,使直播给围观者的视觉效果更加多元化,通过该技术促使虚拟现实直播成为一种新兴商业模式和互联网业态的引导。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种虚拟现实直播视频通讯新技术,包括视频源采集、视频源合成、视频编码、上传至云端库、视频渲染、视频传输。
2.根据权利要求1所述的一种虚拟现实直播视频通讯新技术,其特征在于:所述视频源采集、合成操作方法如下,
2.1)搭建幕布摄影棚,采用绿色幕布或其他纯色幕布均可;
2.2)在拍摄前场景的前、后、左、右,根据人眼瞳孔之间的距离设置了两组摄像机,在拍摄前场景的两个垂直方向上布置了一组摄像机,设置摄像机采集拍摄前场景的前后眼、后眼和左眼、左右眼、左右眼、上下视角的视频或图像;
2.3)上传至电脑服务端进行合成,合成根据每组摄像机拍摄的同一时间节点的动画视频进行合成,拼接成一个完成的二维曲面图或三维立体模型动画。
3.根据权利要求1所述的一种虚拟现实直播视频通讯新技术,其特征在于:所述视频编码、上传、渲染、传输操作方法如下,
3.1)将视频信号50帧/秒变为25帧/秒,然后按照25帧/秒的速度对每一帧压缩;
3.2)视频序列经过运动补偿提升时域滤波之后需要对每一帧图像进行空域二维滤波,采用滤波器对每一帧视频数据进行三级分解,经过运动补偿分解之后,视频序列被分成了300个子带,后面的熵编码将对这300个子带进行编码,形成嵌入式码流,将数据带宽降到1-10MB/秒并重新渲染,最终存储为H264、VP8、AVS、RMVB、WMV格式中的一种,形成视频文件后,使用流媒体协议封装并上传至云端储存库进行存储。
3.3)云端通过通信基站将VR直播全部视角、等质量的画面从云端传输至终端,当用户头部转动至特定视角时,由终端即时完成全部画面或视角范围内容的解码,并显示该视角画面。
4.根据权利要求2所述的一种虚拟现实直播视频通讯新技术,其特征在于:所述步骤2.3中,在视频图像合成时,根据不同维度的摄像机拍摄的同一时间节点的图像进行合并,并根据经纬度使得每个节点画面形成全方位的视频动画。
5.根据权利要求3所述的一种虚拟现实直播视频通讯新技术,其特征在于:所述步骤3.1中视频编码采用把视频序列分成图像组的方式进行编码,每个图像组由50帧视频组成,每一级的低频帧为原始数据帧高频帧由运动补偿结果按照不依赖傅里叶变换的方式生成,生成高频帧时所使用的参考帧为同级的所有低频帧。
6.根据权利要求3所述的一种虚拟现实直播视频通讯新技术,其特征在于:所述步骤3.2中,通过云渲染平台进行渲染,渲染时,可以通过平台内的去除背景功能将拍摄主体单独抠出,并可以导入一个新的场景使得主体与新的场景进行结合渲染,保持次级引擎LightCache开启,勾选全局设置的Don't Render Final Imag以跳过不必要的渲染计算过程,然后根据摄像机运动情况预估隔帧数量,使用MultiFrame increamenta1模式,计算完全部动画的IRmap,并通过IRmap Viewer观察计算完成的IRmap采样点分布情况,将采样点不足的部分,缺失采样点的部分,通过手动补光方式叠加并补全,得到最终准备动画渲染的IRmap文件。
CN202110984675.4A 2021-08-25 2021-08-25 一种虚拟现实直播视频通讯新技术 Pending CN113992921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110984675.4A CN113992921A (zh) 2021-08-25 2021-08-25 一种虚拟现实直播视频通讯新技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110984675.4A CN113992921A (zh) 2021-08-25 2021-08-25 一种虚拟现实直播视频通讯新技术

Publications (1)

Publication Number Publication Date
CN113992921A true CN113992921A (zh) 2022-01-28

Family

ID=79735224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110984675.4A Pending CN113992921A (zh) 2021-08-25 2021-08-25 一种虚拟现实直播视频通讯新技术

Country Status (1)

Country Link
CN (1) CN113992921A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665299A (zh) * 2005-04-07 2005-09-07 西安交通大学 可伸缩视频编解码器体系结构设计方法
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
CN106383576A (zh) * 2016-09-08 2017-02-08 北京美吉克科技发展有限公司 Vr环境中显示体验者身体局部的方法及***
CN107241654A (zh) * 2017-06-27 2017-10-10 苏州蜗牛数字科技股份有限公司 一种云端加速渲染集群全景游戏直播***及方法
CN107454434A (zh) * 2017-08-14 2017-12-08 姜汉龙 虚拟现实视频直播方法及视频播放终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665299A (zh) * 2005-04-07 2005-09-07 西安交通大学 可伸缩视频编解码器体系结构设计方法
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
CN106383576A (zh) * 2016-09-08 2017-02-08 北京美吉克科技发展有限公司 Vr环境中显示体验者身体局部的方法及***
CN107241654A (zh) * 2017-06-27 2017-10-10 苏州蜗牛数字科技股份有限公司 一种云端加速渲染集群全景游戏直播***及方法
CN107454434A (zh) * 2017-08-14 2017-12-08 姜汉龙 虚拟现实视频直播方法及视频播放终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁贵广,郭宝龙,戴琼海: "基于提升技术的运动补偿三维小波视频编码", ***工程与电子技术, no. 09, pages 2 - 3 *
渲染101动画渲染农场: "3DMAX+VRay动画渲染闪烁的解决办法", pages 3, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/376916981?ivk_sa=1024320u&utm_id=0> *

Similar Documents

Publication Publication Date Title
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及***
CN106792246B (zh) 一种融合式虚拟场景互动的方法及***
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及***
CN106730815B (zh) 一种易实现的体感互动方法及***
CN105847718B (zh) 基于场景识别的直播视频弹幕显示方法及其显示装置
CN102340690A (zh) 一种互动电视节目***及实现方法
CN106331521A (zh) 一种网络虚拟现实技术与实拍结合影视制作***
CN113382275B (zh) 直播数据的生成方法、装置、存储介质及电子设备
CN105472374A (zh) 一种3d视频直播方法、装置及***
CN108961368A (zh) 三维动画环境中实时直播综艺节目的方法和***
CN114286021B (zh) 渲染方法、装置、服务器、存储介质及程序产品
CN112532963B (zh) 一种基于ar的三维全息实时互动***及方法
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
US11328488B2 (en) Content generation system and method
CN109872400B (zh) 一种全景虚拟现实场景的生成方法
JP7054351B2 (ja) 自由視点映像のリプレイ映像を再生するシステム
CN113992921A (zh) 一种虚拟现实直播视频通讯新技术
KR20160136160A (ko) 가상현실 공연시스템 및 공연방법
CN115103138A (zh) 一种基于时空一致的虚实融合图像的生成方法和***
CN116962746A (zh) 基于连麦直播的线上合唱方法、装置及线上合唱***
KR20230018571A (ko) 버츄얼 프로덕션 시스템 기반의 확장현실 영상촬영 솔루션
CN114554232B (zh) 基于裸眼3d的混合现实直播方法及***
Qianqian Visual Design Comfort of OCULUS VR Panoramic Stereo Video Based on Image Recognition Algorithm
Song Research on the Application of Computer 3D Technology in the Creation of Films Adapted from Literary Works

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220128

RJ01 Rejection of invention patent application after publication