CN112261422A - 适用于广电领域的仿真远程直播流数据处理方法 - Google Patents
适用于广电领域的仿真远程直播流数据处理方法 Download PDFInfo
- Publication number
- CN112261422A CN112261422A CN202011101505.9A CN202011101505A CN112261422A CN 112261422 A CN112261422 A CN 112261422A CN 202011101505 A CN202011101505 A CN 202011101505A CN 112261422 A CN112261422 A CN 112261422A
- Authority
- CN
- China
- Prior art keywords
- rendering
- rendering server
- master control
- control workstation
- remote live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000009877 rendering Methods 0.000 claims abstract description 66
- 230000001360 synchronised effect Effects 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims abstract description 10
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 241000143060 Americamysis bahia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种适用于广电领域的仿真远程直播流数据处理方法，包括：通过硬件同步卡将N台LED大屏设置为垂直同步一致方式；将渲染服务器的显示刷新方式设置为软件刷新率；将主控工作站和渲染通道的渲染服务器设置为完全锁帧方式，并由主控工作站来控制下一帧的步进；将主控工作站和渲染服务器设定为完全锁帧方式，且由主控工作站控制每一帧的步进；主控工作站将预处理后的远程直播流通过UDP协议在局域网内进行广播，以发送到每一台渲染服务器；每一台渲染服务器通过广播接收到预处理后的远程直播流后，反馈用于指示渲染准备完成的响应消息，并进入待机状态；主控工作站在确认收到每一台渲染服务器的响应消息后，控制每一台渲染服务器同步输出。
Description
技术领域
本发明属于涉及虚拟现实技术领域，尤其涉及一种适用于广电领域的仿真远程直播流数据处理方法。
背景技术
随着数字化技术的发展，越来越多的电影/电视节目是在虚拟场景下录制的。以广播电视领域广泛应用的虚拟演播室为例，其是运用三维虚拟现实技术制作出让人身临其境的虚拟场景和虚拟动画角色，而真实的演员可以与虚拟动画角色同台进行交互，大大增加了节目的娱乐性；这样可以大幅度节省节目制作的成本，并提高了节目制作的效率。
当前的虚拟演播室大多采用绿幕布方式，绿幕布方式能够通过软件在后期处理时将虚拟的场景和/或人物加入到绿色幕布的区域，且通过单台机器就能完成，成本低。但是在录制时候，真实的演员只能通过指示或是反看屏来看到虚拟的场景和/或人物，导致节目录制的操作难度非常大，现场感非常差，而且还需要非常长的后期合成处理时间，造成录制实际成本偏高。
发明内容
针对现有技术中采用绿色幕布方式录制时候存在的问题，本发明实施例提出了一种适用于广电领域的仿真远程直播流数据处理方法，能够更好在广电领域实现仿真远程直播，并对数据进行有效和高效的处理。
为了解决上述问题，本发明实施例提出了一种适用于广电领域的仿真远程直播流数据处理方法，包括：
将N台LED大屏连接到N台渲染服务器，且N台渲染服务器连接到主控工作站，以形成CAVE仿真环境空间；将远程的图像捕捉硬件设备连接到主控工作站；
通过硬件同步卡将所述N台LED大屏设置为垂直同步一致方式；将所述渲染服务器的显示刷新方式设置为软件刷新率；将所述主控工作站和所述渲染通道的渲染服务器设置为完全锁帧方式，并由所述主控工作站来控制下一帧的步进；
将所述主控工作站和渲染服务器设定为完全锁帧方式，且由主控工作站控制每一帧的步进；
所述主控工作站将接收到的远程直播流进行预处理后，将预处理后的远程直播流通过UDP协议在局域网内进行广播，以发送到所述每一台渲染服务器；；
所述每一台渲染服务器通过广播接收到所述预处理后的远程直播流后，反馈用于指示渲染准备完成的响应消息，并进入待机状态；
所述主控工作站在确认收到每一台渲染服务器的响应消息后，控制所述每一台渲染服务器同步输出。
在一些实施例中，所述控制所述每一台渲染服务器同步输出，包括：
所述每一台渲染服务器都调用硬件同步卡配合最终画面输出以实现达到显示硬件级别的直播流同步渲染。
在一些实施例中，所述对目标对应的虚拟图形的变化量发送到所述每一台渲染服务器，包括：
所述主控工作站将所述目标的虚拟图形的变化量生成指示消息，将所述指示消息通过广播的方式发送到所述每一台渲染服务器。
在一些实施例中，所述主控工作站通过虚拟现实AR仿真环境软件，将接收到的远程直播流生成虚拟仿真图像，以通过所述N台LED大屏进行跨屏幕的虚拟现实AR同步显示。
本发明的上述技术方案的有益效果如下：上述的技术方案提出了一种适用于广电领域的仿真远程直播流数据处理方法，能够在基于LED的全景仿真环境中加入远程直播流。该技术方案能够将本地真实场景、远程真实场景和本地虚拟三维背景画面融为一个完整的并且同步的画面，大大降低了拍摄的难度，增强了节目交互效果，节省了节目摄制成本。
附图说明
图1是本发明实施例的方法的工作模式示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提出了一种适用于广电领域的仿真远程直播流数据处理方法，采用多面LED大屏组成CAVE沉浸式环境，能够在基于LED的全景仿真环境中加入远程直播流，以将本地真实场景、远程真实场景和本地虚拟三维背景画面融为一个完整的并且同步的画面，大大降低了拍摄的难度，增强了节目交互效果，节省了节目摄制成本。本发明实施例的技术方案，不仅极大的增加了互动的趣味性，而且大大增加了节目录制的效率而且录制完的画面基本不需要太多的后期处理，大大减少了录制节目的成本。
上述技术方案中，由于每面LED屏体配置独立的一台电脑，所有LED上的虚拟画面必须是无缝连接的且同步的。本发明实施例的技术方案能够从第三方的图像捕捉硬件设备获取到的远程直播流数据，然后再将远程直播流数据、本地真实场景、远程真实场景和本地虚拟三维背景画面，一起融合为最终的播放图像。本发明实施例的技术方案能够将图像流畅地同步显示在N个LED大屏拼接而成的完整显示机构上。
本发明实施例提出了一种适用于广电领域的仿真远程直播流数据处理方法，包括：
将N台LED大屏连接到N台渲染服务器，且N台渲染服务器连接到主控工作站，以形成CAVE仿真环境空间；将远程的图像捕捉硬件设备连接到主控工作站；
通过硬件同步卡将所述N台LED大屏设置为垂直同步一致方式；将所述渲染服务器的显示刷新方式设置为软件刷新率；将所述主控工作站和所述渲染通道的渲染服务器设置为完全锁帧方式，并由所述主控工作站来控制下一帧的步进；
将所述主控工作站和渲染服务器设定为完全锁帧方式，且由主控工作站控制每一帧的步进；
所述主控工作站将接收到的远程直播流进行预处理后，将预处理后的远程直播流通过UDP协议在局域网内进行广播，以发送到所述每一台渲染服务器；；
所述每一台渲染服务器通过广播接收到所述预处理后的远程直播流后，反馈用于指示渲染准备完成的响应消息，并进入待机状态；
所述主控工作站在确认收到每一台渲染服务器的响应消息后，控制所述每一台渲染服务器同步输出。其中，所述控制所述每一台渲染服务器同步输出，包括：所述每一台渲染服务器都调用硬件同步卡配合最终画面输出以实现达到显示硬件级别的直播流同步渲染。
其中，所述对目标对应的虚拟图形的变化量发送到所述每一台渲染服务器，包括：所述主控工作站将所述目标的虚拟图形的变化量生成指示消息，将所述指示消息通过广播的方式发送到所述每一台渲染服务器。
在一些实施例中，所述主控工作站通过虚拟现实AR仿真环境软件，将接收到的远程直播流生成虚拟仿真图像，以通过所述N台LED大屏进行跨屏幕的虚拟现实AR同步显示。
当AR仿真环境软件开启后，模仿动画人物的表演者进入到捕捉肢体动作的设备的图像捕捉区域，并开始模拟动画人物进行各种表演。此时捕捉肢体动作的设备捕捉到表演者的动作后，将捕捉到的图像发送到主控工作站，然后由多通道***将采用硬件级别的同步方式将肢体画面精确的显示在N台渲染服务器上。
具体的，该方法包括：
(1)配合使用硬件同步卡将多面LED屏幕设置为垂直同步一致方式；
(2)将各渲染服务器的显示刷新方式设置为将垂直刷新率设置为软件刷新率；
(3)将主控工作站和渲染服务器设置为完全锁帧方式；并由主控工作站控制下一帧的步进；即：其中步进同步方式是指所有渲染服务器的显示是同步前进的，只有所有LED的当前画面都显示后才能够更新下一个画面的内容；
(4)主控工作站在接收到远程图像捕捉硬件设备获取到的远程直播流，并将该直播流数据采用UDP形式在局域内广播所述远程直播流；
(5)渲染服务器接收到广播的所述远程直播流后，向主控工作站发送响应消息，并进入等待状态；
(6)主控工作站在确认已经接收到渲染服务器的响应消息后，确定所有渲染服务器都已经准备好之后，广播显示指令，以指示所有的渲染服务器在硬件同步卡的配合虾，输出最终画面，从而实现显示硬件级别的直播流同步渲染。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种适用于广电领域的仿真远程直播流数据处理方法，其特征在于，包括：
将N台LED大屏连接到N台渲染服务器，且N台渲染服务器连接到主控工作站，以形成CAVE仿真环境空间；将远程的图像捕捉硬件设备连接到主控工作站；
通过硬件同步卡将所述N台LED大屏设置为垂直同步一致方式；将所述渲染服务器的显示刷新方式设置为软件刷新率；将所述主控工作站和所述渲染通道的渲染服务器设置为完全锁帧方式，并由所述主控工作站来控制下一帧的步进；
将所述主控工作站和渲染服务器设定为完全锁帧方式，且由主控工作站控制每一帧的步进；
所述主控工作站将接收到的远程直播流进行预处理后，将预处理后的远程直播流通过UDP协议在局域网内进行广播，以发送到所述每一台渲染服务器；；
所述每一台渲染服务器通过广播接收到所述预处理后的远程直播流后，反馈用于指示渲染准备完成的响应消息，并进入待机状态；
所述主控工作站在确认收到每一台渲染服务器的响应消息后，控制所述每一台渲染服务器同步输出。
2.根据权利要求1所述的适用于广电领域的仿真远程直播流数据处理方法，其特征在于，所述控制所述每一台渲染服务器同步输出，包括：
所述每一台渲染服务器都调用硬件同步卡配合最终画面输出以实现达到显示硬件级别的直播流同步渲染。
3.根据权利要求1所述的适用于广电领域的仿真远程直播流数据处理方法，其特征在于，所述对目标对应的虚拟图形的变化量发送到所述每一台渲染服务器，包括：
所述主控工作站将所述目标的虚拟图形的变化量生成指示消息，将所述指示消息通过广播的方式发送到所述每一台渲染服务器。
4.根据权利要求3所述的适用于广电领域的仿真远程直播流数据处理方法，其特征在于，所述主控工作站通过虚拟现实AR仿真环境软件，将接收到的远程直播流生成虚拟仿真图像，以通过所述N台LED大屏进行跨屏幕的虚拟现实AR同步显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011101505.9A CN112261422A (zh) | 2020-10-15 | 2020-10-15 | 适用于广电领域的仿真远程直播流数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011101505.9A CN112261422A (zh) | 2020-10-15 | 2020-10-15 | 适用于广电领域的仿真远程直播流数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112261422A true CN112261422A (zh) | 2021-01-22 |
Family
ID=74243173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011101505.9A Pending CN112261422A (zh) | 2020-10-15 | 2020-10-15 | 适用于广电领域的仿真远程直播流数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112261422A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114501054A (zh) * | 2022-02-11 | 2022-05-13 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置、设备及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101197647A (zh) * | 2006-12-13 | 2008-06-11 | 四川川大智胜软件股份有限公司 | 多通道实时三维视景渲染显示方法 |
| CN103049926A (zh) * | 2012-12-24 | 2013-04-17 | 广东威创视讯科技股份有限公司 | 分布式三维渲染*** |
| CN103491317A (zh) * | 2013-09-06 | 2014-01-01 | 北京东方艾迪普科技发展有限公司 | 一种三维图形图像多屏同步播放方法、设备及*** |
| CN205334369U (zh) * | 2015-09-22 | 2016-06-22 | 深圳数虎图像股份有限公司 | 基于动作捕捉的舞台表演*** |
| CN107783306A (zh) * | 2017-11-28 | 2018-03-09 | 河南新汉普影视技术有限公司 | 一种基于仿真教学实训室的裸眼3d沉浸式交互方法及*** |
| CN110267028A (zh) * | 2019-06-24 | 2019-09-20 | 中冶智诚(武汉)工程技术有限公司 | 一种用于五面led-cave的信号同步显示*** |
| CN111698391A (zh) * | 2020-06-24 | 2020-09-22 | 南京广播电视集团 | 通过仿真环境灯光参数控制真实灯光参数实时变化的方法 |
-
2020
- 2020-10-15 CN CN202011101505.9A patent/CN112261422A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101197647A (zh) * | 2006-12-13 | 2008-06-11 | 四川川大智胜软件股份有限公司 | 多通道实时三维视景渲染显示方法 |
| CN103049926A (zh) * | 2012-12-24 | 2013-04-17 | 广东威创视讯科技股份有限公司 | 分布式三维渲染*** |
| CN103491317A (zh) * | 2013-09-06 | 2014-01-01 | 北京东方艾迪普科技发展有限公司 | 一种三维图形图像多屏同步播放方法、设备及*** |
| CN205334369U (zh) * | 2015-09-22 | 2016-06-22 | 深圳数虎图像股份有限公司 | 基于动作捕捉的舞台表演*** |
| CN107783306A (zh) * | 2017-11-28 | 2018-03-09 | 河南新汉普影视技术有限公司 | 一种基于仿真教学实训室的裸眼3d沉浸式交互方法及*** |
| CN110267028A (zh) * | 2019-06-24 | 2019-09-20 | 中冶智诚(武汉)工程技术有限公司 | 一种用于五面led-cave的信号同步显示*** |
| CN111698391A (zh) * | 2020-06-24 | 2020-09-22 | 南京广播电视集团 | 通过仿真环境灯光参数控制真实灯光参数实时变化的方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114501054A (zh) * | 2022-02-11 | 2022-05-13 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021179783A1 (zh) | 基于自由视点的视频直播处理方法、设备、***、芯片及介质 | |
| CN110213601B (zh) | 一种基于云游戏的直播***及直播方法、直播互动方法 | |
| CN108566558B (zh) | 视频流处理方法、装置、计算机设备及存储介质 | |
| CN106789991B (zh) | 一种基于虚拟场景的多人互动网络直播方法及*** | |
| CN111447461A (zh) | 多视角直播视频的同步切换方法、装置、设备和介质 | |
| WO2018045927A1 (zh) | 一种基于三维虚拟技术的网络实时互动直播方法及装置 | |
| WO2021114708A1 (zh) | 多人视频直播业务实现方法、装置、计算机设备 | |
| CN101917391B (zh) | 一种网络视频的播放方法及一种网络视频播放*** | |
| CN108495152B (zh) | 一种视频直播方法、装置、电子设备及介质 | |
| CN108900857B (zh) | 一种多视角视频流处理方法和装置 | |
| US11863801B2 (en) | Method and device for generating live streaming video data and method and device for playing live streaming video | |
| CN106060632B (zh) | 一种节目现场弹幕控制***及方法 | |
| CN113115110B (zh) | 视频合成方法、装置、存储介质与电子设备 | |
| CN111818004A (zh) | 云游戏直播方法、云游服务器及计算机可读存储介质 | |
| KR20080082759A (ko) | 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법 | |
| CN114095744B (zh) | 视频直播方法、装置、电子设备及可读存储介质 | |
| WO2024001661A1 (zh) | 视频合成方法、装置、设备和存储介质 | |
| CN114079813A (zh) | 画面同步方法、编码方法、视频播放设备及视频编码设备 | |
| CN113630614A (zh) | 游戏直播方法、装置、***、电子设备及可读存储介质 | |
| CN112543344A (zh) | 直播控制方法、装置、计算机可读介质及电子设备 | |
| CN112019921A (zh) | 应用于虚拟演播室的肢体动作数据处理方法 | |
| CN110602523A (zh) | 一种vr全景直播多媒体处理合成***和方法 | |
| CN112261422A (zh) | 适用于广电领域的仿真远程直播流数据处理方法 | |
| CN107888890A (zh) | 一种基于在线合成的场景包装装置及方法 | |
| CN112019922A (zh) | 应用于虚拟演播室的面部表情数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210122 |