CN115118880A - 一种基于沉浸式视频终端搭建的xr虚拟拍摄*** - Google Patents
一种基于沉浸式视频终端搭建的xr虚拟拍摄*** Download PDFInfo
- Publication number
- CN115118880A CN115118880A CN202210726604.9A CN202210726604A CN115118880A CN 115118880 A CN115118880 A CN 115118880A CN 202210726604 A CN202210726604 A CN 202210726604A CN 115118880 A CN115118880 A CN 115118880A
- Authority
- CN
- China
- Prior art keywords
- picture
- virtual
- server
- camera
- hecos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 claims abstract description 50
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 41
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims abstract description 3
- 238000012544 monitoring process Methods 0.000 claims abstract 2
- 210000001747 pupil Anatomy 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 8
- 239000003550 marker Substances 0.000 claims description 7
- 238000013499 data model Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims 1
- 238000011017 operating method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 16
- 230000008569 process Effects 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001795 light effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 102000001068 Neural Cell Adhesion Molecules Human genes 0.000 description 1
- 108010069196 Neural Cell Adhesion Molecules Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于沉浸式视频终端搭建的XR虚拟拍摄***，属于虚拟拍摄***技术领域，该***包括：虚拟数字资产、摄像机追踪、播控、渲染和合成***等。本发明构建了实时合成渲染的拍摄流程，基于实景三维空间和实时影像在三维GIS***的融合数据，通过摄像机追踪***实时发送位置姿态等信息给渲染服务器，渲染服务器将虚拟画面进行渲染输出显示和合成服务器，显示服务器将画面发送给LED屏，合成服务器将摄像机的画面和渲染画面实时进行合成输出给监视器进行调色、存储和监看，同步信号发生器给各***授时。解决了传统绿幕拍摄***后期处理困难、无实物表演、无法精准把控拍摄效果和数字资产数据获取难度大，整体性、准确性和实时性好的难题。
Description
技术领域
本发明属于虚拟拍摄***技术领域，具体涉及一种基于沉浸式视频终端搭建的XR虚拟拍摄***。
背景技术
沉浸式视频指的是一种采用裸眼观看方式获得身临其境感受，呈现画面覆盖人眼至少120°(水平)×70°(垂直)视场角的视频***及具备三维声的音频***。沉浸式视频通过视频、音频及特效***，构建具备大视角、高画质、三维声特性，具备画面包围感和沉浸式声音主观感受特征的视听环境，使观众能够在所处位置同时获得周围多方位的视听信息，让观众体验到单一平面视频无法实现的高度沉浸感，呈现形式包括但不限于球幕、环幕、沉浸屋CAVE等异形显示空间。
沉浸式视频终端具备场地小，沉浸感、互动性强等特点。球幕、环幕、沉浸屋CAVE等异形显示空间播放具有强烈视觉冲击力的画面，可以实现多人互动，***观众能够与体验者同步看到相同的画面，同样具有视觉冲击力。
随着显示技术和内容制作技术的发展，影视作品中的视觉效果愈发绚丽，观众的视听需求也逐渐提高，普通的影视拍摄缺乏足够的表现力，难以满足现在的需求。虚拟拍摄因其虚拟内容的灵活性，能够让内容制作者天马行空的想象力充分发挥出来，越来越受大众的欢迎。
虚拟资产地理信息***是GIS与VR结合而成，GIS与VR可以取长补短，它们的结合使人们不但可以在计算机外部利用键盘、鼠标同图形交互，而且可以利用高级的人机接口设备沉浸到由计算机生成的多维信息空间中分析和探索问题。在GIS中运用VR技术进行地形环境仿真，真实再现地形、地貌、地物等地理信息，用于交互式的观察和分析，提高对地形环境的认知效果，满足人们的应用需求。这种虚拟现实技术与地理信息***，包括与网络地理信息***(WebGIS、ComGIS)相结合的技术，称为虚拟现实地理信息***(VirtualReality Geographic Information System，简称VR-GIS)，它是专门用于研究地球空间信息科学的虚拟现实技术或计算机仿真技术，VR-GIS为GIS提供了-种新的分析地学数据和探索地学问题的平台，拓展了多维GIS研究的内涵。VR-GIS是目前地理信息***和虚拟现实技术研究的热点和前沿方向之一，是数字地球的关键技术。
传统的虚拟拍摄拍摄方案多采用绿幕技术，即搭建一个纯绿色的拍摄空间，让演员在该空间中，做无实物表演，将拍摄下来的视频内容，在后期处理时，通过抠色等方式，去除掉纯色背景，添加虚拟背景及特效，来达到虚实结合的目的，演员在该场景内表演，通过后期处理抠色的方式，去除掉背景，并添加新的虚拟背景，合成最终画面，这种方法存在诸多不足，存在以下缺点：
1、现有绿幕拍摄技术中，为了后期抠色处理，会采用纯色背景拍摄，这种背景会产生不自然的环境光，尤其是对于场景中的玻璃、金属之类易反光的物品来说，这些反光在后期处理过程中会耗费制作人员大量的精力，对作品的细节质量也会造成影响。
2、为了减少后期抠像处理的难度，绿幕拍摄场景中大多不会放置很多拍摄道具等物品，演员多需要进行无实物表演。现场演员需要记住关键人物的位置、剧情等，凭想象去表演出动作、感情，或需要在表演过程中观看场地外的画面提示来校正自己的动作，这样会使演员的表达不自然，影响影视作品的观感。
3、现有绿幕拍摄情况下，最终作品的画面需要经过复杂的后期处理，在拍摄过程中，大多不能直接把最终效果呈现给内容创作者，这导致内容创作者无法充分把控整个创作过程，影响创意工作者的创意表达。
发明内容
本发明的目的在于提供一种基于沉浸式视频终端搭建的XR虚拟拍摄***，旨在解决现有技术中的拍摄流程中反光、后期处理困难、演员表演难度高、难以实时呈现效果的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于沉浸式视频终端搭建的XR虚拟拍摄***，该***包括：
虚拟数字资产***，其基于实景三维空间数据模型和实时影像在三维GIS***融合而成虚实结合的***；
青瞳追踪***，所述青瞳追踪***用于获取摄像机的位置姿态6DOF信息和摄像机焦距信息；
hecoos服务器，所述hecoos服务器用于接收所述青瞳追踪***获取的摄像机信息，并将信息转发给渲染服务器进行渲染处理；以及渲染服务器实时渲染出画面传输给播控服务器，然后发送至LED屏。
作为本发明一种优选的方案，所述渲染服务器为UE4、Notch或unity引擎中的一种。
作为本发明一种优选的方案，所述青瞳追踪***获取位置及姿态信息。
作为本发明一种优选的方案，所述hecoos服务器内设置有hecoos合成模块和hecoos显示模块。
作为本发明一种优选的方案，所述hecoos合成模块通过视频编码器采集摄像机拍摄的现场画面。
作为本发明一种优选的方案，所述渲染服务器通过网络或串口将画面信息发送给hecoos服务器。
作为本发明一种优选的方案，所述渲染服务器渲染出的画面包括背景画面和前景画面。
一种基于沉浸式视频终端搭建的XR虚拟拍摄***的工作方法，包括如下步骤：
S1、首先在现场摄像机上安装标记物，然后通过青瞳追踪中的摄像机拍摄标记物，获取摄像机的位置信息，通过网络协议发送给hecoos合成模块；
S2、hecoos合成模块通过视频编码器，采集摄像机拍摄的现场画面；
S3、hecoos合成模块对位置信息作出校准处理，然后将处理后的信息发送给渲染服务器；
S4、渲染服务器获取位置信息后，使用UE4渲染引擎，实时渲染出虚拟背景、前景画面、LED屏幕外的拓展画面，通过网络发送给hecoos合成模块和hecoos显示模块；
S5、此时hecoos显示模块接收背景画面，将背景画面输出给LED视频处理器，让LED屏幕显示出实时背景；
S6、hecoos合成模块将拍摄到的画面，与渲染出的虚拟画面合成，在hecoos服务器中，对画面的延迟进行调整，并调整LED画面与LED屏外扩展画面间的色差，将最终的合成画面输出给导播台或显示设备。
作为本发明一种优选的方案，所述步骤S5中通过hecoos合成模块输出画面。
作为本发明一种优选的方案，还包括同步信号发生器，所述同步信号发生器用于给各设备提供同步信号。
与现有技术相比，本发明的有益效果是：
1、本发明采用青瞳摄像机追踪***、hecoos系列软件及服务器、UE4实时渲染引擎构建了整套xR***及拍摄流程，该***可以精准获取摄像机信息、实时渲染背景、前景、扩展虚拟画面，既可以实时输出合成画面给导播台，还可以通过单***内容后期合成和制作，不仅解决了传统绿幕拍摄***后期处理困难、无实物表演、无法精准把控实施效果等问题，还可以通过拍摄***、虚拟***的画面后期合成，获得更加好的效果。
2、本发明中，采用UE4渲染引擎实时渲染背景、前景、扩展画面，使用LED屏幕代替绿幕场景，因此可以表现出自然的环境光，和实时的现场环境，无需复杂的后期抠色处理，演员也可根据实际场景进行表演。同时保留了实时拍摄，后期合成和渲染的能力，这是区别现有技术的实时合成的一大特点。
3、本发明中，采用hecoos合成服务器实时合成画面，直接输送给导播台，可以把最接近成果的画面展现给内容制作者，使其可以把控整个创作流程，实时调整效果。
4、本发明中采用LED屏幕作为背景，可显示出真实的环境画面，模拟真实的环境光效果，即使是物体繁多的复杂场景，也可以还原真实的环境光效果，无需过多的后期处理，提升了画面整体的质量，解决了现有技术中的反光问题。
5、本发明中采用UE4虚拟引擎实时渲染的方式，将虚拟背景实时投射到背景LED屏上，可充分还原真实场景，让演员可以在更加真实的环境下表演，物***置、环境、气氛，都贴近最终场景，解决了现有技术中，无实物表演带来的问题。
6、本发明中，hecoos服务器使用透视投射技术，直接在LED屏幕上显示出摄像机视角下的背景画面，使现场拍摄的画面与最终呈现出的画面相差无几，只需对细节进行简单调整，即可完成最终效果，这解决了现有方法中后期处理过程复杂、现场效果难以把控的缺点。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一种基于沉浸式视频终端搭建的XR虚拟拍摄***的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1，本发明提供以下技术方案：
一种基于沉浸式视频终端搭建的XR虚拟拍摄***，该***包括：
虚拟数字资产***，虚拟数字资产***是基于实景三维中国空间数据加工而成虚实结合的***，采用三维激光扫描、航空正射和倾斜摄影技术获取的，通过后期建模加工和高分辨率相片校准的多元融合数据，辅以三维GIS平台用于管理数字资产，开发与渲染***的数据接口用于实时调取和使用；
青瞳追踪***，青瞳追踪***用于获取摄像机的信息；
hecoos服务器，hecoos播控服务器用于接收青瞳追踪***获取的摄像机信息、发送DMX512信号实时控制灯光联动，同时转发摄像机的信息给渲染服务器，渲染服务器渲染画面传输给播控服务器输出多通道画面给LED屏，合成服务器将获取到的渲染画面和摄像机画面进行实时合成，输出虚实结合的影片，其中通过同步发生器的时间码将以上设备进行同步,通过导播***可以控制多摄像机机位拍摄和合成画面。
在本发明的具体实施例中，本发明采用hecoos服务器作为合成、控制、渲染、显示服务器；采用UE4软件渲染虚拟背景；采用青瞳追踪***，采集摄像机追踪数据，青瞳追踪***通过青瞳摄像机获取现场摄像机的信息，青瞳摄像机追踪***是一种光学追踪***，该套***通过在现场摄像机上安装标记物，在场地四周安装捕捉摄像机拍摄标记物的方式，获取摄像机的位置及姿态信息；亦可通过连接镜头的齿轮传动机械编码器来获取镜头的Zoom、Focus信息；将这些摄像机信息通过网络或串口发送给hecoos服务器；UE4是一款虚拟渲染引擎，其接收hecoos服务器提供的虚拟摄像机位置渲染信号，实时渲染出背景画面、前景画面，并发送给hecoos服务器；hecoos服务器是一款多功能专业多媒体播控软件，hecoos服务器可用于***的总体控制、画面合成、实时渲染等。同时基于沉浸式视频终端观看，沉浸式视频指的是一种采用裸眼观看方式获得身临其境感受，呈现画面覆盖人眼至少120°(水平)×70°(垂直)视场角的视频***及具备三维声的音频***。沉浸式视频通过视频、音频及特效***，构建具备大视角、高画质、三维声特性，具备画面包围感和沉浸式声音主观感受特征的视听环境，使观众能够在所处位置同时获得周围多方位的视听信息，让观众体验到单一平面视频无法实现的高度沉浸感，呈现形式包括但不限于球幕、环幕、沉浸屋CAVE等异形显示空间。
优选的，摄像机追踪***不止青瞳视觉的光学追踪***，还有Redspy、Mo-Sys、NCAM等多种摄像机追踪***中的一种，都可以实现获取摄像机追踪信息的效果；xR播控软件也不止hecoos软件，虚拟渲染引擎也可使用Notch，unity等渲染引擎或基于其二次开发的***。
优选的，本***还包括播控服务器、灯光***和扩声***，使得本***在用于虚拟拍摄的同时，还集成了三维声音频***和灯光***，用于虚拟拍摄节目的现场观看。
具体的，青瞳追踪***获取位置及姿态信息。
具体的，hecoos服务器内设置有hecoos合成模块和hecoos显示模块，hecoos合成模块即为hecoos合成服务器，hecoos显示模块为hecoos显示服务器。
具体的，hecoos合成模块通过视频编码器采集摄像机拍摄的现场画面。
一种基于沉浸式视频终端搭建的XR虚拟拍摄***的工作方法，包括如下步骤：
S1、青瞳追踪***的捕捉摄像机拍摄安装于摄像机上的标记物，获取摄像机的位置信息，通过网络协议，发送给hecoos合成服务器；
获取摄像机位置信息的目的在于，让虚拟引擎可以根据摄像机的实际位置，渲染出在摄像机视角下，符合透视条件的正确画面，这样在拍摄过程中，背景画面才是符合透视规律的。能够实时显示出符合透视关系的背景画面，有助于实时场景还原，有利于演员的现场表演，以及内容创作者对于效果的实时把控。
S2、hecoos合成服务器通过视频编码器，采集摄像机拍摄的现场画面；
摄像机拍摄的画面前期用于调试和校准位置坐标，在拍摄过程中，用于合成最终的画面。
S3、hecoos合成服务器对屏幕位置做出设置和校准、计算镜头文件，对实际空间坐标、虚拟摄像机坐标进行校准，对位置信息作出处理后发送给渲染服务器。
S4、渲染服务器获取位置信息后，使用UE4渲染引擎，实时渲染出虚拟背景、前景画面、LED屏幕外的拓展画面，通过网络发送给hecoos合成服务器和hecoos显示服务器。
实时渲染的方式，保证了LED屏幕显示的场景都是实时的、可呈现出最终效果的，实时画面的环境光比绿幕更加自然，LED屏幕自发光的特性、实时渲染的背景，解决了传统绿幕的反光问题；实时场景也让演员无需想象和场外提示，也能够明确人物位置关系、现场环境，减小了其表演难度；
S5、hecoos显示服务器接收背景画面，将其输出给LED视频处理器，让LED屏幕显示出实时背景(hecoos合成服务器也可用于输出画面)；
S6、hecoos合成服务器将拍摄到的画面，与渲染出的虚拟画面合成，在hecoos软件中，对画面的延迟进行调整，并调整LED画面与LED屏外扩展画面间的色差，将最终的合成画面输出给导播台或显示设备；
此处的合成画面已经接近最终的视觉效果，内容制作人员可以很直观的看到成品画面，并对其提出修改意见，合成画面可通过hecoos对色差进行矫正，提升观感，其后期处理步骤，因不需要再进行抠色，而大大减少了时间消耗和处理难度；
S7、整个流程中，各设备需要帧同步信号发生器，给各设备提供同步信号，保证各环节的同步性，这样最终输出的画面才是同步、无延迟的。
本发明采用青瞳摄像机追踪***、hecoos系列软件及服务器、UE4实时渲染引擎构建了整套xR***及拍摄流程，该***可以精准获取摄像机信息、实时渲染背景、前景、扩展虚拟画面，既可以实时输出合成画面给导播台，还可以通过单***内容后期合成和制作，不仅解决了传统绿幕拍摄***后期处理困难、无实物表演、无法精准把控实施效果等问题，还可以通过拍摄***、虚拟***的画面后期合成，获得更加好的效果。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于沉浸式视频终端搭建的XR虚拟拍摄***，其特征在于，该***包括：
虚拟数字资产***，其基于实景三维空间数据模型和实时影像在三维GIS***融合而成虚实结合的***；
追踪***，所述追踪***用于获取摄像机的位置姿态6DOF信息和摄像机焦距信息；
hecoos服务器，所述播控服务器用于接收所述追踪***获取的摄像机信息，并将信息转发给渲染服务器进行渲染处理；合成服务器实时接收摄像机的画面和渲染服务器的画面，进行合成渲染，并输出给监视器，监视器进行校色后存储，并同时将信号传至监看大屏。
渲染服务器，渲染服务器接收到播控服务器的位置姿态数据后，将实时渲染该姿态下的背景、前景、扩展虚拟画面输出显示和合成服务器，显示服务器将画面发送给LED屏。
同步发生器，同步发生器将同步时钟信号分别下发虚拟数字资产***、追踪***、播控服务器、渲染服务器、合成服务器和摄像机。
2.根据权利要求1所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***，其特征在于，所述渲染服务器为UE4、Notch或unity引擎中的一种，其底层数据使用的是基于实景三维模型或实时影像采集融合的模型资产。
3.根据权利要求2所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***，其特征在于，所述青瞳追踪***获取位置及姿态信息。
4.根据权利要求3所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***，其特征在于，所述hecoos服务器内设置有hecoos合成模块和hecoos显示模块。
5.根据权利要求4所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***，其特征在于，所述hecoos合成模块通过视频编码器采集摄像机拍摄的现场画面。
6.根据权利要求5所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***，其特征在于，所述渲染服务器通过网络或串口将画面信息发送给hecoos服务器。
7.根据权利要求6所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***，其特征在于，所述渲染服务器渲染出的画面包括背景画面和前景画面。
8.一种基于沉浸式视频终端搭建的XR虚拟拍摄***的工作方法，应用于权利要求1-7任意一项所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***中，其特征在于，包括如下步骤：
S1、首先在现场摄像机上安装标记物，然后通过青瞳追踪中的摄像机拍摄标记物，获取摄像机的位置信息，通过网络协议发送给hecoos合成模块；
S2、hecoos合成模块通过视频编码器，采集摄像机拍摄的现场画面；
S3、hecoos合成模块对位置信息作出校准处理，然后将处理后的信息发送给渲染服务器；
S4、渲染服务器获取位置信息后，使用UE4渲染引擎，实时渲染出虚拟背景、前景画面、LED屏幕外的拓展画面，通过网络发送给hecoos合成模块和hecoos显示模块；
S5、此时hecoos显示模块接收背景画面，将背景画面输出给LED视频处理器，让LED屏幕显示出实时背景；
S6、hecoos合成模块将拍摄到的画面，与渲染出的虚拟画面合成，在hecoos服务器中，对画面的延迟进行调整，并调整LED画面与LED屏外扩展画面间的色差，将最终的合成画面输出给导播台或显示设备。
9.根据权利要求8所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***的工作方法，其特征在于，所述步骤S5中通过hecoos合成模块输出画面。
10.根据权利要求9所述的一种基于沉浸式视频终端搭建的XR虚拟拍摄***的工作方法，其特征在于，还包括同步信号发生器，所述同步信号发生器用于给各设备提供同步信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210726604.9A CN115118880A (zh) | 2022-06-24 | 2022-06-24 | 一种基于沉浸式视频终端搭建的xr虚拟拍摄*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210726604.9A CN115118880A (zh) | 2022-06-24 | 2022-06-24 | 一种基于沉浸式视频终端搭建的xr虚拟拍摄*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115118880A true CN115118880A (zh) | 2022-09-27 |
Family
ID=83329037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210726604.9A Pending CN115118880A (zh) | 2022-06-24 | 2022-06-24 | 一种基于沉浸式视频终端搭建的xr虚拟拍摄*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115118880A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115914718A (zh) * | 2022-11-08 | 2023-04-04 | 天津萨图芯科技有限公司 | 截取引擎渲染内容的虚拟制片视频重映方法及*** |
| CN116233488A (zh) * | 2023-03-13 | 2023-06-06 | 深圳市元数边界文化有限公司 | 一种用于虚拟直播的实时渲染投屏合成*** |
| CN116347003A (zh) * | 2023-05-30 | 2023-06-27 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种虚拟灯光实时渲染方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108227929A (zh) * | 2018-01-15 | 2018-06-29 | 廖卫东 | 基于bim技术的增强现实放样***及实现方法 |
| CN110414101A (zh) * | 2019-07-15 | 2019-11-05 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种仿真场景测量方法、准确性测定方法及*** |
| CN110942018A (zh) * | 2019-11-25 | 2020-03-31 | 北京华严互娱科技有限公司 | 一种实时多自由度动态可视背景墙的拍摄方法和*** |
| CN111447340A (zh) * | 2020-05-29 | 2020-07-24 | 深圳市瑞立视多媒体科技有限公司 | 混合现实虚拟预演拍摄*** |
| CN112040092A (zh) * | 2020-09-08 | 2020-12-04 | 杭州时光坐标影视传媒股份有限公司 | 一种实时虚拟场景led拍摄***及方法 |
| CN112567767A (zh) * | 2018-06-18 | 2021-03-26 | 奇跃公司 | 用于交互式音频环境的空间音频 |
| CN113923377A (zh) * | 2021-10-11 | 2022-01-11 | 浙江博采传媒有限公司 | 一种led环幕虚拟制片*** |
| CN114051129A (zh) * | 2021-11-09 | 2022-02-15 | 北京电影学院 | 一种基于led背景墙的电影虚拟化制作***及方法 |
| CN114143475A (zh) * | 2021-12-31 | 2022-03-04 | 北京德火科技有限责任公司 | 一种可应用于虚拟电影拍摄的全局灯光仿真方法及*** |
-
2022
- 2022-06-24 CN CN202210726604.9A patent/CN115118880A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108227929A (zh) * | 2018-01-15 | 2018-06-29 | 廖卫东 | 基于bim技术的增强现实放样***及实现方法 |
| CN112567767A (zh) * | 2018-06-18 | 2021-03-26 | 奇跃公司 | 用于交互式音频环境的空间音频 |
| CN110414101A (zh) * | 2019-07-15 | 2019-11-05 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种仿真场景测量方法、准确性测定方法及*** |
| CN110942018A (zh) * | 2019-11-25 | 2020-03-31 | 北京华严互娱科技有限公司 | 一种实时多自由度动态可视背景墙的拍摄方法和*** |
| CN111447340A (zh) * | 2020-05-29 | 2020-07-24 | 深圳市瑞立视多媒体科技有限公司 | 混合现实虚拟预演拍摄*** |
| CN112040092A (zh) * | 2020-09-08 | 2020-12-04 | 杭州时光坐标影视传媒股份有限公司 | 一种实时虚拟场景led拍摄***及方法 |
| CN113923377A (zh) * | 2021-10-11 | 2022-01-11 | 浙江博采传媒有限公司 | 一种led环幕虚拟制片*** |
| CN114051129A (zh) * | 2021-11-09 | 2022-02-15 | 北京电影学院 | 一种基于led背景墙的电影虚拟化制作***及方法 |
| CN114143475A (zh) * | 2021-12-31 | 2022-03-04 | 北京德火科技有限责任公司 | 一种可应用于虚拟电影拍摄的全局灯光仿真方法及*** |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115914718A (zh) * | 2022-11-08 | 2023-04-04 | 天津萨图芯科技有限公司 | 截取引擎渲染内容的虚拟制片视频重映方法及*** |
| CN116233488A (zh) * | 2023-03-13 | 2023-06-06 | 深圳市元数边界文化有限公司 | 一种用于虚拟直播的实时渲染投屏合成*** |
| CN116233488B (zh) * | 2023-03-13 | 2024-02-27 | 深圳市元数边界科技有限公司 | 一种用于虚拟直播的实时渲染投屏合成*** |
| CN116347003A (zh) * | 2023-05-30 | 2023-06-27 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种虚拟灯光实时渲染方法及装置 |
| CN116347003B (zh) * | 2023-05-30 | 2023-08-11 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种虚拟灯光实时渲染方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112040092B (zh) | 一种实时虚拟场景led拍摄***及方法 | |
| US11076142B2 (en) | Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene | |
| WO2018121333A1 (zh) | 一种360度vr全景图形图像及视频实时生成方法 | |
| CN115118880A (zh) | 一种基于沉浸式视频终端搭建的xr虚拟拍摄*** | |
| US9160938B2 (en) | System and method for generating three dimensional presentations | |
| CN105264876B (zh) | 低成本电视制作的方法及*** | |
| US5737031A (en) | System for producing a shadow of an object in a chroma key environment | |
| CN106210703A (zh) | Vr环境中特写镜头的运用及显示方法和*** | |
| CN110866978A (zh) | 一种实时混合现实视频拍摄中的相机同步方法 | |
| CN114401414B (zh) | 沉浸式直播的信息显示方法及***、信息推送方法 | |
| CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
| CN110691175A (zh) | 演播室中模拟摄像机运动跟踪的视频处理方法及装置 | |
| EP0993204B1 (en) | Chroma keying studio system | |
| CN213461894U (zh) | 一种xr-扩展现实*** | |
| CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、***及存储介质 | |
| US20090153550A1 (en) | Virtual object rendering system and method | |
| WO2023236656A1 (zh) | 互动画面的渲染方法、装置、设备、存储介质及程序产品 | |
| CN114979689B (zh) | 多机位直播导播方法、设备以及介质 | |
| US20210065659A1 (en) | Image processing apparatus, image processing method, program, and projection system | |
| CN219802409U (zh) | 一种xr虚拟制片实时合成*** | |
| JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
| WO2023189580A1 (ja) | 画像処理装置及び画像処理システム | |
| JP2004056742A (ja) | バーチャルスタジオ映像生成装置およびその方法ならびにそのプログラム | |
| CN114885147B (zh) | 融合制播***及方法 | |
| US11792380B2 (en) | Video transmission method, video processing device, and video generating system for virtual reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220927 |
|
| RJ01 | Rejection of invention patent application after publication |