CN115209172A - 一种基于xr的异地互动演出的方法 - Google Patents

一种基于xr的异地互动演出的方法 Download PDF

Info

Publication number
CN115209172A
CN115209172A CN202210819362.8A CN202210819362A CN115209172A CN 115209172 A CN115209172 A CN 115209172A CN 202210819362 A CN202210819362 A CN 202210819362A CN 115209172 A CN115209172 A CN 115209172A
Authority
CN
China
Prior art keywords
meeting place
branch
main
place
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210819362.8A
Other languages
English (en)
Other versions
CN115209172B (zh
Inventor
王炜
谢超平
姚仕元
张琪浩
罗天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN202210819362.8A priority Critical patent/CN115209172B/zh
Publication of CN115209172A publication Critical patent/CN115209172A/zh
Application granted granted Critical
Publication of CN115209172B publication Critical patent/CN115209172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于XR的异地互动演出的方法，属于内容制作领域，包括步骤：A1：制作虚拟背景；A2：规划待拼接区域；A3：主会场、分会场XR渲染；A4：对主会场虚实融合拍摄真人虚景，对L屏虚实融合拍摄真人虚景；A5：将分会场摄像机的画面与分会场歌手声音进行混合后，进行编码传输；A6：主会场收到分会场传来的流，解码后进行画面的拼接合成；A7：对拼接好的视频进行VR植入后渲染输出播放。本发明实现主分会场的表演者可肢体交互、连麦、与观众交互的跨空间逼真表演，并且支持XR演出时的镜头切换，在拉近文艺演出和异地观众的距离的同时，增加了观演的沉浸式体验，以数字创意内容呈现出炫酷效果。

Description

一种基于XR的异地互动演出的方法
技术领域
本发明涉及内容制作领域，更为具体的，涉及一种基于XR的异地互动演出的方法。
背景技术
现有的视频实时连线如综艺节目、新闻连线、视频会议、直播连麦等。多以开视窗的形式，类似视频会议，对于演艺活动而言，此类未考虑人与场景之间的融合，临场感不强，沉浸式体验差。
XR(扩展现实，Extended reality)是一个用来描述结合了虚拟和真实元素的环境或交互行为的术语。尽管通常大家认为XR包含了AR(增强现实)、VR(虚拟现实)、MR(混合现实)，而对于内容制作领域来说：利用摄影机追踪***、虚拟演播室软件平台、媒体服务器、实时渲染引擎等平台技术，将表演者实时放置在虚拟世界中而无需绿幕及后期制作过程的虚拟制作方式。
在XR制作中，高质量的LED屏幕(通常呈现为环幕或球幕)会同时显示由图形引擎预先载入的3D虚拟环境，这些LED同时构成了影视拍摄或直播活动的背景。当精确的摄影机追踪***被加入后，摄影机开始围绕着LED环境内被无缝结合起来的真实与虚拟元素进行运动，让通过摄影机视角观察的观众产生融合沉浸式的错觉。沉浸式体验强，但目前XR无法实现如连麦的异地协同制作，且XR目前广泛用于节目的录制，并难以进行多机镜头的切换。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于XR的异地互动演出的方法，可实现多地联动的云演艺，不用像传统广播电视窗口连线，而是实现主分会场的表演者可肢体交互、连麦、与观众交互的跨空间逼真表演，并且支持XR演出时的镜头切换，在拉近文艺演出和异地观众的距离的同时，增加了观演的沉浸式体验，以数字创意内容呈现出炫酷效果。
本发明的目的是通过以下方案实现的：
一种基于XR的异地互动演出的方法，在主会场与分会场分别搭建XR***后，执行如下主会场、分会场的互动演出流程：
步骤A1：制作虚拟背景，用于主会场、分会场表演者演出的背景画面；
步骤A2：规划待拼接区域，将虚拟背景拆分为两部分，一部分为主会场显示的画面部分，另一部分为分会场L屏显示的画面；
步骤A3：主会场、分会场XR渲染，将步骤A2拆分好的虚拟背景分别渲染映射在主会场背向屏幕及分会场L屏，通过时间码和帧对齐保持主分会场画面同步；
步骤A4：由主会场摄像机进行主会场虚实融合拍摄真人虚景，由分会场摄像机负责对L屏虚实融合拍摄真人虚景；
步骤A5：将分会场摄像机的画面与分会场歌手声音进行混合后，进行编码传输；
步骤A6：主会场收到分会场传来的流，解码，由一体机进行画面的拼接合成，形成完整的画面，画面通过一体机进行监看；
步骤A7：对拼接好的视频进行VR植入后渲染输出，采用RTC的方式，由一体机推流上云，由分会场播放器播放，分会场大屏显示画面，多个音箱播放音频。
进一步地，还包括执行如下主会场、分会场的连麦制作流程：
步骤B1：主会场分会场歌手进行演唱；
步骤B2：分会场音画合成，此部分同主分会场的画面拼接的步骤A5；
步骤B3：主会场收到分会场传来的视音频流，解码，由一体机负责音频同步拼接，输出完整歌曲，并进行音画同步处理；
步骤B4：后续传输及播放步骤同第一部分。
进一步地，还包括执行如下主会场、分会场的观众互动流程：
步骤C1：摄像机拍摄分会场观众席，采集视频及音频，经编码后传输至主会场；
步骤C2：主会场对C1传来的流进行解码，将视频画面进行XR处理，渲染输出至由正面大屏和地屏组成的L形屏幕上，形成裸眼3D的观众效果；
步骤C3：解码得到的音频送至主会场调音台，歌手通过耳返***听到分会场观众侧的声音；
步骤C4：镜头切换机位，面向正面大屏，将主会场歌手与正面大屏上的分会场观众一起拍摄，形成主会场歌手在分会场观众中演唱的效果；
步骤C5：通过麦克风采集主会场歌手声音，通过导播一体机将摄像机拍摄的画面与声音进行同步。
步骤C6：通过RTC的方式传输，分会场播放器解码播出，大屏显示会场歌手在分会场观众中演唱的效果，分会场音箱播放主会场声音，实现虚拟的画面交互以及声音双向交互。
进一步地，在步骤A4中，包括子步骤：以主会场拍摄摄像机的机位角度信息为准，分会场摄像机与主会场摄像机的机位信息一致。
进一步地，在步骤A5中，包括子步骤：将拍摄分会场虚景演出的摄像机与主会场拍摄机位保持一致，如果涉及到镜头间的切换，先将主会场机位切向仅拍摄主会场演员的镜头，此刻分会场镜头与主会场下一个要切的镜头保持一致。
进一步地，在步骤A6中，所述完整的画面为主会场演员和分会场演员和完整的背景。
进一步地，在步骤A7中，包括子步骤：将主会场的视频与分会场传来的视频合成，形成异地演员在同一虚拟场景表演的效果。
进一步地，在步骤B1中，包括子步骤：一首完整的歌曲会被提前分好片段，主分会场的歌手分别演唱属于自己的片段；主分会场歌手佩戴耳返，监听伴奏及自己的声音。
进一步地，在步骤B3中，所述完整歌曲为伴奏和主会场歌手和分会场歌手。
进一步地，在步骤C3中，所述歌手通过耳返***听到分会场观众侧的声音包括呐喊声、欢呼声和掌声。
本发明的有益效果包括：
本发明实施例在主会场与分会场搭建两套XR***，采用拼接的方式，实现了异地表演者、现场表演者与演出场景的深度融合，不同以往传统开视窗的连线，实现主分会场的表演者可肢体交互、连麦、与观众交互的跨空间逼真表演，并且支持XR演出时的镜头切换。
本发明实施例创新主会场演出者与分会场观众的互动方法，分会场观众可从屏幕感受到主会场演员进入观众席，拉近主会场演出者与异地观众的距离，增强分会场的沉浸式体验。
本发明实施例提出了一种基于XR的异地互动演出的方法，可实现多地联动的云演艺，不用像传统广播电视窗口连线，而是实现主分会场的表演者可肢体交互、连麦、与观众交互的跨空间逼真表演，并且支持XR演出时的镜头切换，在拉近文艺演出和异地观众的距离的同时，增加了观演的沉浸式体验，以数字创意内容呈现出炫酷效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中主分会场的互动演出示意图；
图2为本发明实施例中主分会场的观众互动示意图。
具体实施方式
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
在具体实施方式中，作为本发明的实施例之一，包括主会场、分会场的互动演出流程：此场景下的主分会场的互动演出为面向表演者的互动，包括画面的融合及声音的连麦。主会场设置有背向屏幕和正向屏幕，背向屏幕包括两面侧屏、一面背屏和一面地屏，正向屏幕包括一面正面大屏；在分会场设置有一面LED大屏，分会场虚景演出采用一面L屏、一面背屏和一面地屏。将主、分会场的画面拼接。具体包括如下步骤：
步骤A1：制作虚拟背景，用于主分会场表演者演出的背景画面。
步骤A2：规划待拼接区域，将虚拟背景拆分为两部分，一部分为主会场显示的画面部分，一部分为分会场L屏显示的画面。利用L型屏幕并通过XR实现一定的3D效果，有利于增强主分会场画面合成的一体感觉，相比普通的单面屏，在相机拍摄中则是普通2D画面，嵌入主会场背景中则会有明显的深度不一致问题，该步骤解决了该技术问题。
步骤A3：主分会场XR渲染，将步骤A2拆分好的虚拟背景分别渲染映射在主会场背向屏幕及分会场L屏，通过时间码+帧对齐保持主分会场画面同步。
步骤A4：由主会场摄像机进行主会场虚实融合拍摄(真人虚景)，由分会场摄像机负责对L屏虚实融合拍摄(真人虚景)，本发明实施例为了保证画面拼接的一致性，以主会场拍摄摄像机的机位角度信息为准，分会场摄像机需要保证与主会场摄像机的机位信息一致。
步骤A5：将分会场摄像机的画面与分会场歌手声音进行混合后，进行编码传输。
在该步骤中，将拍摄分会场虚景演出的摄像机与主会场拍摄机位保持一致，以解决拼接后会出现视差的问题，如果涉及到镜头间的切换，由于摄像机保持同步需要一定时间，考虑到直播时的要求，本发明实施例先选择先将主会场机位切向仅拍摄主会场演员的镜头，此刻分会场镜头与主会场下一个要切的镜头保持一致。
步骤A6：主会场收到分会场传来的流，解码，由一体机进行画面的拼接合成，形成完整的画面(主会场演员+分会场演员+完整的背景)，画面通过一体机进行监看。
步骤A7：对拼接好的视频进行VR植入后渲染输出，采用RTC的方式，由一体机推流上云，由分会场播放器播放，分会场大屏显示画面，多个音箱播放音频，将主会场的视频与分会场传来的视频合成，形成异地演员在同一虚拟场景表演的效果。
在具体实施方式中，作为本发明的另一种实施例，包括主会场、分会场的连麦制作流程，具体包括如下步骤：
步骤B1：主会场分会场歌手进行演唱；在该步骤中，一首完整的歌曲会被提前分好片段，主分会场的歌手分别演唱属于自己的片段。可选的方式，主分会场歌手佩戴耳返，可监听伴奏及自己的声音。
步骤B2：分会场音画合成，此部分同主分会场的画面拼接的步骤A5。
步骤B3：主会场收到分会场传来的视音频流，解码，由一体机负责音频同步拼接，输出完整歌曲(伴奏+主会场歌手+分会场歌手)，并进行音画同步处理；
步骤B4：后续传输及播放步骤同第一部分。
实施例3
在具体实施方式中，作为本发明的另一种实施例，包括主会场、分会场观众互动流程，具体包括如下步骤：
步骤C1：摄像机拍摄分会场观众席，采集视频及音频，经编码后传输至主会场；
步骤C2：主会场对S1传来的流进行解码，将视频画面进行XR处理，渲染输出至由正面大屏和地屏组成的L形屏幕上，形成裸眼3D的观众效果；
步骤C3：解码得到的音频送至主会场调音台，歌手A可通过耳返***听到分会场观众侧的声音(呐喊声，欢呼声，掌声等)；
步骤C4：镜头切换机位，面向正面大屏，将主会场歌手与正面大屏上的分会场观众一起拍摄，形成主会场歌手在分会场观众中演唱的效果；
步骤C5：通过麦克风采集主会场歌手声音，通过导播一体机将摄像机X拍摄的画面与声音进行同步。
步骤C6：通过RTC的方式传输，分会场播放器解码播出，大屏可显示会场歌手在分会场观众中演唱的效果，分会场音箱播放主会场声音，实现虚拟的画面交互，以及声音双向交互。
实施例1
一种基于XR的异地互动演出的方法，在主会场与分会场分别搭建XR***后，执行如下主会场、分会场的互动演出流程：
步骤A1：制作虚拟背景，用于主会场、分会场表演者演出的背景画面；
步骤A2：规划待拼接区域，将虚拟背景拆分为两部分，一部分为主会场显示的画面部分，另一部分为分会场L屏显示的画面；
步骤A3：主会场、分会场XR渲染，将步骤A2拆分好的虚拟背景分别渲染映射在主会场背向屏幕及分会场L屏，通过时间码和帧对齐保持主分会场画面同步；
步骤A4：由主会场摄像机进行主会场虚实融合拍摄真人虚景，由分会场摄像机负责对L屏虚实融合拍摄真人虚景；
步骤A5：将分会场摄像机的画面与分会场歌手声音进行混合后，进行编码传输；
步骤A6：主会场收到分会场传来的流，解码，由一体机进行画面的拼接合成，形成完整的画面，画面通过一体机进行监看；
步骤A7：对拼接好的视频进行VR植入后渲染输出，采用RTC的方式，由一体机推流上云，由分会场播放器播放，分会场大屏显示画面，多个音箱播放音频。
实施例2
在实施例1的基础上，还包括执行如下主会场、分会场的连麦制作流程：
步骤B1：主会场分会场歌手进行演唱；
步骤B2：分会场音画合成，此部分同主分会场的画面拼接的步骤A5；
步骤B3：主会场收到分会场传来的视音频流，解码，由一体机负责音频同步拼接，输出完整歌曲，并进行音画同步处理；
步骤B4：后续传输及播放步骤同第一部分。
实施例3
在实施例1的基础上，还包括执行如下主会场、分会场的观众互动流程：
步骤C1：摄像机拍摄分会场观众席，采集视频及音频，经编码后传输至主会场；
步骤C2：主会场对C1传来的流进行解码，将视频画面进行XR处理，渲染输出至由正面大屏和地屏组成的L形屏幕上，形成裸眼3D的观众效果；
步骤C3：解码得到的音频送至主会场调音台，歌手通过耳返***听到分会场观众侧的声音；
步骤C4：镜头切换机位，面向正面大屏，将主会场歌手与正面大屏上的分会场观众一起拍摄，形成主会场歌手在分会场观众中演唱的效果；
步骤C5：通过麦克风采集主会场歌手声音，通过导播一体机将摄像机拍摄的画面与声音进行同步。
步骤C6：通过RTC的方式传输，分会场播放器解码播出，大屏显示会场歌手在分会场观众中演唱的效果，分会场音箱播放主会场声音，实现虚拟的画面交互以及声音双向交互。
实施例4
在实施例1的基础上，在步骤A4中，包括子步骤：以主会场拍摄摄像机的机位角度信息为准，分会场摄像机与主会场摄像机的机位信息一致。
实施例5
在实施例1的基础上，在步骤A5中，包括子步骤：将拍摄分会场虚景演出的摄像机与主会场拍摄机位保持一致，如果涉及到镜头间的切换，先将主会场机位切向仅拍摄主会场演员的镜头，此刻分会场镜头与主会场下一个要切的镜头保持一致。
实施例6
在实施例1的基础上，在步骤A6中，所述完整的画面为主会场演员和分会场演员和完整的背景。
实施例7
在实施例1的基础上，在步骤A7中，包括子步骤：将主会场的视频与分会场传来的视频合成，形成异地演员在同一虚拟场景表演的效果。
实施例8
在实施例2的基础上，在步骤B1中，包括子步骤：一首完整的歌曲会被提前分好片段，主分会场的歌手分别演唱属于自己的片段；主分会场歌手佩戴耳返，监听伴奏及自己的声音。
实施例9
在实施例2的基础上，在步骤B3中，所述完整歌曲为伴奏和主会场歌手和分会场歌手。
实施例10
在实施例2的基础上，在步骤C3中，所述歌手通过耳返***听到分会场观众侧的声音包括呐喊声、欢呼声和掌声。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于XR的异地互动演出的方法，其特征在于，在主会场与分会场分别搭建XR***后，执行如下主会场、分会场的互动演出流程：
步骤A1：制作虚拟背景，用于主会场、分会场表演者演出的背景画面；
步骤A2：规划待拼接区域，将虚拟背景拆分为两部分，一部分为主会场显示的画面部分，另一部分为分会场L屏显示的画面；
步骤A3：主会场、分会场XR渲染，将步骤A2拆分好的虚拟背景分别渲染映射在主会场背向屏幕及分会场L屏，通过时间码和帧对齐保持主分会场画面同步；
步骤A4：由主会场摄像机进行主会场虚实融合拍摄真人虚景，由分会场摄像机负责对L屏虚实融合拍摄真人虚景；
步骤A5：将分会场摄像机的画面与分会场歌手声音进行混合后，进行编码传输；
步骤A6：主会场收到分会场传来的流，解码，由一体机进行画面的拼接合成，形成完整的画面，画面通过一体机进行监看；
步骤A7：对拼接好的视频进行VR植入后渲染输出，采用RTC的方式，由一体机推流上云，由分会场播放器播放，分会场大屏显示画面，多个音箱播放音频。
2.根据权利要求1所述的基于XR的异地互动演出的方法，其特征在于，还包括执行如下主会场、分会场的连麦制作流程：
步骤B1：主会场分会场歌手进行演唱；
步骤B2：分会场音画合成，此部分同主分会场的画面拼接的步骤A5；
步骤B3：主会场收到分会场传来的视音频流，解码，由一体机负责音频同步拼接，输出完整歌曲，并进行音画同步处理；
步骤B4：后续传输及播放步骤同第一部分。
3.根据权利要求1所述的基于XR的异地互动演出的方法，其特征在于，还包括执行如下主会场、分会场的观众互动流程：
步骤C1：摄像机拍摄分会场观众席，采集视频及音频，经编码后传输至主会场；
步骤C2：主会场对C1传来的流进行解码，将视频画面进行XR处理，渲染输出至由正面大屏和地屏组成的L形屏幕上，形成裸眼3D的观众效果；
步骤C3：解码得到的音频送至主会场调音台，歌手通过耳返***听到分会场观众侧的声音；
步骤C4：镜头切换机位，面向正面大屏，将主会场歌手与正面大屏上的分会场观众一起拍摄，形成主会场歌手在分会场观众中演唱的效果；
步骤C5：通过麦克风采集主会场歌手声音，通过导播一体机将摄像机拍摄的画面与声音进行同步。
步骤C6：通过RTC的方式传输，分会场播放器解码播出，大屏显示会场歌手在分会场观众中演唱的效果，分会场音箱播放主会场声音，实现虚拟的画面交互以及声音双向交互。
4.根据权利要求1所述的基于XR的异地互动演出的方法，其特征在于，在步骤A4中，包括子步骤：以主会场拍摄摄像机的机位角度信息为准，分会场摄像机与主会场摄像机的机位信息一致。
5.根据权利要求1所述的基于XR的异地互动演出的方法，其特征在于，在步骤A5中，包括子步骤：将拍摄分会场虚景演出的摄像机与主会场拍摄机位保持一致，如果涉及到镜头间的切换，先将主会场机位切向仅拍摄主会场演员的镜头，此刻分会场镜头与主会场下一个要切的镜头保持一致。
6.根据权利要求1所述的基于XR的异地互动演出的方法，其特征在于，在步骤A6中，所述完整的画面为主会场演员和分会场演员和完整的背景。
7.根据权利要求1所述的基于XR的异地互动演出的方法，其特征在于，在步骤A7中，包括子步骤：将主会场的视频与分会场传来的视频合成，形成异地演员在同一虚拟场景表演的效果。
8.根据权利要求2所述的基于XR的异地互动演出的方法，其特征在于，在步骤B1中，包括子步骤：一首完整的歌曲会被提前分好片段，主分会场的歌手分别演唱属于自己的片段；主分会场歌手佩戴耳返，监听伴奏及自己的声音。
9.根据权利要求2所述的基于XR的异地互动演出的方法，其特征在于，在步骤B3中，所述完整歌曲为伴奏和主会场歌手和分会场歌手。
10.根据权利要求2所述的基于XR的异地互动演出的方法，其特征在于，在步骤C3中，所述歌手通过耳返***听到分会场观众侧的声音包括呐喊声、欢呼声和掌声。
CN202210819362.8A 2022-07-13 2022-07-13 一种基于xr的异地互动演出的方法 Active CN115209172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210819362.8A CN115209172B (zh) 2022-07-13 2022-07-13 一种基于xr的异地互动演出的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210819362.8A CN115209172B (zh) 2022-07-13 2022-07-13 一种基于xr的异地互动演出的方法

Publications (2)

Publication Number Publication Date
CN115209172A true CN115209172A (zh) 2022-10-18
CN115209172B CN115209172B (zh) 2023-07-07

Family

ID=83579608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210819362.8A Active CN115209172B (zh) 2022-07-13 2022-07-13 一种基于xr的异地互动演出的方法

Country Status (1)

Country Link
CN (1) CN115209172B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439587A (zh) * 2022-11-08 2022-12-06 成都索贝数码科技股份有限公司 一种基于对象可视范围的2.5d渲染方法
CN115657862A (zh) * 2022-12-27 2023-01-31 海马云（天津）信息技术有限公司 虚拟ktv场景画面自动切换的方法、装置、存储介质及设备
CN115802165A (zh) * 2023-02-10 2023-03-14 成都索贝数码科技股份有限公司 一种应用于异地同场景直播连线的镜头移动拍摄方法
CN116781958A (zh) * 2023-08-18 2023-09-19 成都索贝数码科技股份有限公司 一种基于xr的多机位演播***及方法
CN116931737A (zh) * 2023-08-03 2023-10-24 重庆康建光电科技有限公司 一种人与场景的虚拟现实互动实现***及方法
CN117149016A (zh) * 2023-10-26 2023-12-01 锋尚文化集团股份有限公司 虚拟对象的控制方法、装置及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170361A (zh) * 2011-03-16 2011-08-31 西安电子科技大学 基于虚拟现实的网络会议方法
CN104702936A (zh) * 2015-03-31 2015-06-10 王子强 一种基于裸眼3d显示的虚拟现实交互方法
US20160330408A1 (en) * 2015-04-13 2016-11-10 Filippo Costanzo Method for progressive generation, storage and delivery of synthesized view transitions in multiple viewpoints interactive fruition environments
CN106210703A (zh) * 2016-09-08 2016-12-07 北京美吉克科技发展有限公司 Vr环境中特写镜头的运用及显示方法和***
CN106789991A (zh) * 2016-12-09 2017-05-31 福建星网视易信息***有限公司 一种基于虚拟场景的多人互动方法及***
US20180061138A1 (en) * 2016-08-31 2018-03-01 Factual VR, Inc. Virtual reality system
CN111447460A (zh) * 2020-05-15 2020-07-24 杭州当虹科技股份有限公司 一种将低延时网络应用于导播台的实现方法
CN112135158A (zh) * 2020-09-17 2020-12-25 重庆虚拟实境科技有限公司 基于混合现实的直播方法及相关设备
CN112492231A (zh) * 2020-11-02 2021-03-12 重庆创通联智物联网有限公司 远程交互方法、装置、电子设备和计算机可读存储介质
US11100695B1 (en) * 2020-03-13 2021-08-24 Verizon Patent And Licensing Inc. Methods and systems for creating an immersive character interaction experience
CN114401414A (zh) * 2021-12-27 2022-04-26 北京达佳互联信息技术有限公司 沉浸式直播的信息显示方法及***、信息推送方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170361A (zh) * 2011-03-16 2011-08-31 西安电子科技大学 基于虚拟现实的网络会议方法
CN104702936A (zh) * 2015-03-31 2015-06-10 王子强 一种基于裸眼3d显示的虚拟现实交互方法
US20160330408A1 (en) * 2015-04-13 2016-11-10 Filippo Costanzo Method for progressive generation, storage and delivery of synthesized view transitions in multiple viewpoints interactive fruition environments
US20180061138A1 (en) * 2016-08-31 2018-03-01 Factual VR, Inc. Virtual reality system
CN106210703A (zh) * 2016-09-08 2016-12-07 北京美吉克科技发展有限公司 Vr环境中特写镜头的运用及显示方法和***
CN106789991A (zh) * 2016-12-09 2017-05-31 福建星网视易信息***有限公司 一种基于虚拟场景的多人互动方法及***
US11100695B1 (en) * 2020-03-13 2021-08-24 Verizon Patent And Licensing Inc. Methods and systems for creating an immersive character interaction experience
CN111447460A (zh) * 2020-05-15 2020-07-24 杭州当虹科技股份有限公司 一种将低延时网络应用于导播台的实现方法
CN112135158A (zh) * 2020-09-17 2020-12-25 重庆虚拟实境科技有限公司 基于混合现实的直播方法及相关设备
CN112492231A (zh) * 2020-11-02 2021-03-12 重庆创通联智物联网有限公司 远程交互方法、装置、电子设备和计算机可读存储介质
CN114401414A (zh) * 2021-12-27 2022-04-26 北京达佳互联信息技术有限公司 沉浸式直播的信息显示方法及***、信息推送方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHANSHAN YIN: "Design of Broadcasting and Hosting Information Guiding Platform based on Virtual Environment Data Modeling with Mixed Reality System", 2022 6TH INTERNATIONAL CONFERENCE ON TRENDS IN ELECTRONICS AND INFORMATICS (ICOEI) *
沈锦昌: "XR智能演播室***建设与应用解析", 广播电视信息, no. 4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439587A (zh) * 2022-11-08 2022-12-06 成都索贝数码科技股份有限公司 一种基于对象可视范围的2.5d渲染方法
CN115439587B (zh) * 2022-11-08 2023-02-14 成都索贝数码科技股份有限公司 一种基于对象可视范围的2.5d渲染方法
CN115657862A (zh) * 2022-12-27 2023-01-31 海马云（天津）信息技术有限公司 虚拟ktv场景画面自动切换的方法、装置、存储介质及设备
CN115802165A (zh) * 2023-02-10 2023-03-14 成都索贝数码科技股份有限公司 一种应用于异地同场景直播连线的镜头移动拍摄方法
CN116931737A (zh) * 2023-08-03 2023-10-24 重庆康建光电科技有限公司 一种人与场景的虚拟现实互动实现***及方法
CN116781958A (zh) * 2023-08-18 2023-09-19 成都索贝数码科技股份有限公司 一种基于xr的多机位演播***及方法
CN116781958B (zh) * 2023-08-18 2023-11-07 成都索贝数码科技股份有限公司 一种基于xr的多机位演播***及方法
CN117149016A (zh) * 2023-10-26 2023-12-01 锋尚文化集团股份有限公司 虚拟对象的控制方法、装置及***
CN117149016B (zh) * 2023-10-26 2024-01-30 锋尚文化集团股份有限公司 虚拟对象的控制方法、装置及***

Also Published As

Publication number Publication date
CN115209172B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN115209172B (zh) 一种基于xr的异地互动演出的方法
CN106792246B (zh) 一种融合式虚拟场景互动的方法及***
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及***
US20190090028A1 (en) Distributing Audio Signals for an Audio/Video Presentation
US8289367B2 (en) Conferencing and stage display of distributed conference participants
CN210021183U (zh) 沉浸式互动全景全息剧院及演出***
US10531158B2 (en) Multi-source video navigation
US6937295B2 (en) Realistic replication of a live performance at remote locations
Schreer et al. Ultrahigh-resolution panoramic imaging for format-agnostic video production
US20110304735A1 (en) Method for Producing a Live Interactive Visual Immersion Entertainment Show
KR20180052494A (ko) 대형 강의실 컨퍼런스 시스템
US20090153550A1 (en) Virtual object rendering system and method
Schweiger et al. Tools for 6-Dof immersive audio-visual content capture and production
Sugawara et al. Super hi-vision at the London 2012 Olympics
US20220343951A1 (en) Method and apparatus for production of a real-time virtual concert or collaborative online event
KR20090000550A (ko) 입체영상을 이용한 무대공연 컨텐츠의 가상현실 공연방법
CN113259544B (zh) 一种远程互动全息演示***及方法
KR102273439B1 (ko) 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법
CN113315885A (zh) 一种用于远程互动的全息演播室及***
Koide et al. Development of high-resolution virtual reality system by projecting to large cylindrical screen
CN114079799A (zh) 一种基于虚拟现实的音乐直播***和方法
Batke et al. Spatial audio processing for interactive TV services
CN117939102B (zh) 一种基于xr模型实现广电工程应用的数据处理***
Thomas et al. State‐of‐the‐Art and Challenges in Media Production, Broadcast and Delivery
BG4776U1 (bg) Интелигентна система за създаване на аудио-визуално съдържание

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant