CN1477856A - 真三维虚拟演播室***及其实现方法 - Google Patents

真三维虚拟演播室***及其实现方法 Download PDF

Info

Publication number
CN1477856A
CN1477856A CNA021289263A CN02128926A CN1477856A CN 1477856 A CN1477856 A CN 1477856A CN A021289263 A CNA021289263 A CN A021289263A CN 02128926 A CN02128926 A CN 02128926A CN 1477856 A CN1477856 A CN 1477856A
Authority
CN
China
Prior art keywords
true
video camera
dimensional virtual
pattern generator
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA021289263A
Other languages
English (en)
Inventor
郑福双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING XIN'AOTE GROUP
Original Assignee
BEIJING XIN'AOTE GROUP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING XIN'AOTE GROUP filed Critical BEIJING XIN'AOTE GROUP
Priority to CNA021289263A priority Critical patent/CN1477856A/zh
Publication of CN1477856A publication Critical patent/CN1477856A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)

Abstract

本发明公开了一种真三维虚拟演播室***及实现方法,包括机械跟踪子***、图形发生器和抠像合成器等。首先由一组摄像机采集前景视频信号(FG),同时摄像机上的机械跟踪***实时提供摄像机移动的信息,这些信息需要实时传给图形发生器,图形发生器根据当前摄像机的位置实时地绘制出相应的背景信号(BG)和掩蔽(mask)信号。然后,由合成***根据掩蔽信号来合成FG与BG,形成最终图像输出。本发明采用一对一的通道化的设计结构方式,使得***的搭接安全可靠,保证了***的稳定运行,同时在还保持***性能的前提下解决了图形发生器和摄像机跟踪装置的造价问题,从而使其应用能够得以普及。

Description

真三维虚拟演播室***及其实现方法
技术领域
本发明涉及一种影视制作中的演播室***,特别是一种真三维虚拟演播室***及其实现方法。
背景技术
国内虚拟演播室***的研发开始于上个世纪九十年代末。国内的虚拟演播室是基于普通视频图像处理卡的二维或二维半***。
二维虚拟演播室***的技术路线是:利用三维场景制作工具软件(如3dmax、maya等)设计三维虚拟场景,按照实际拍摄现场的机位数用摄像机位置和视线方向生成较高分辨率(如2048*2048)的二维图像;在节目拍摄过程中,将前面预先生成的图像载入视频图像处理卡(每幅图像对应一个实际机位),通过传感***获得摄像机的运动信息(俯仰、摇移和变焦),依据这些运动信息确定虚拟摄像机能够看到的图像范围,并调整所能看到图像的缩放比例以达到满屏效果(720*576,PAL制);将实际摄像机在蓝箱中拍摄到的场景(人物、道具等)进行扣像处理;将扣像处理后的场景和视频处理卡输出的图像进行合成,由于二者的变化都是与真实摄像机的运动相关联的,因而能够达到拍摄场景和虚拟图像一致运动的效果。
二维半虚拟演播室***的技术路线是:在二维***的基础上,增加一层图像作为前景信号(如桌子、柱子等物体的图像),形成前景-拍摄的场景-背景的三层图像遮挡关系,可以实现人物在前景物体前面或后面的模拟三维关系。
二维和二维半虚拟演播室***在实际应用中存在以下问题和缺点:因为视频图像处理卡的存储空间是非常有限的,所以图像的分辨率有限,当摄像机作变焦运动时虚拟背景会产生虚化或马赛格现象,当摄像机作摇移或俯仰运动时图像的边界常常产生“穿帮”现象,这对摄像机操作人员提出了很高要求,且大大限制了摄像机的运动范围;动画和视频开窗占据图像处理卡的独立通道,因此二者不能同时表现,且同一时刻只能有一个动画起作用;在作多机位切换时,难以做到动画、视频开窗和背景图像的同步切换,且背景切换容易产生“夹帧”现象;对应每个机位的图像按照预置的摄像机位置和视线方向预先生成,当摄像机运动较大时不能保证前景和背景的正确的透视效果,从而在视觉上给人以人物在背景图片上“飘移”的感觉,而不是人物在虚拟背景空间中活动;当摄像机调整位置后,背景图像必须回到场景制作软件中重新生成,对于空间较大的演播室具有很大的局限性;虚拟场景里的光照效果预先生成,因而当动画物体运动和机位运动时,场景内物体的明暗不能随之产生相应的变化,使得虚拟场景的画面非常单调。
发明内容
本发明的目的是将传感技术、抠像技术和计算机虚拟三维场景实时生成技术相结合,为影视制作提供真实的真三维虚拟演播室***,从而降低制作成本、增强表现手段、拓展创作空间,为制作人员提供一个将实景和三维虚拟场景实时结合的制作平台。
本发明的另一目的是提供实现真三维虚拟演播室***的实现方法。
真三维虚拟演播室***,包括:
一摄像机:用于获取前景图像;一跟踪子***:设置于摄像机上,用于获取摄像机运动参数;一延时器:其输入与摄像机的输出连接,用于对摄像机输出的视频信号延时;一图形发生器:一输入与跟踪子***的输出连接,根据摄像机的运动参数生成虚拟的三维场景;一抠像合成器:其输入分别与延时器和图形发生器连接的输出连接,将前景图像和三维场景进行图像合成;主控计算机:通过信号线与图形发生器连接,用于控制图形发生器;录像设备:其输入与抠像合成器输出连接,用于录制合成的图像。
真三维虚拟演播室***,包括:
至少两台摄像机:用于获取前景图像;至少两套跟踪子***:每一跟踪子***设置于一摄像机上,用于获取摄像机运动参数;至少两个延时器:每一延时器的输入与分别与一摄像机的输出连接,用于对摄像机输出的视频信号延时;至少两个图形发生器:每一图形发生器的输入与一跟踪子***的输出连接,根据摄像机的运动参数生成虚拟的三维场景;至少两个抠像合成器:每一抠像合成器的输入分别与一延时器和一图形发生器连接的输出连接,将前景图像和三维场景进行图像合成;视频切换台:其输入与抠像合成器的输出连接,用于切换抠像合成器的输出;主控计算机:通过网络方式与图形发生器连接,用于控制图形发生器;录像设备:其输入与切换台的输出连接,用于录制合成的图像。
真三维虚拟演播室的实现方法,包括:
由摄像机获取前景图像,并通过跟踪***获取摄像机的运动参数;由延时器对摄像机输出的视频信号进行延时;图形发生器根据摄像机的运动参数实时生成三维虚拟场景的背景信号和遮掩信号;将延时后的视频信号、三维虚拟场景的背景信号和遮掩信号在抠像合成器中进行图像合成并输出至录像设备。
本发明采用一对一的通道化的设计结构方式:即一台摄像机对应一个设备通道(通道设备包括:一套传感***,一套延时***,一套图形工作站,一套图形色键合成***),每个通道输出的信号就是前、后景已经合成好的视频信号(这样就具备预监功能),可以直接在特技切换台上与别的机位输出信号之间做特技切,并且切换无夹帧。本发明采用模块化的设计,保证了***的顺利升级如同“搭积木”一般方便快捷:***增加机位只是增加一套通道设备即可,不仅保护了用户的原有投资,而且也使得***的搭接安全可靠,保证了***的稳定运行。同时,每个通道信号的合成效果可以进行实时预监。
本***的图形发生器根据机械式跟踪***获取的摄像机运动参数实时地生成背景图像,因而可以自动测量镜头变焦非线性,并对场景进行相应的校正,以避免出现缩放变化时前景和背景错位的情况。
由于本发明采用机械式跟踪***和PC图形发生器,因而在还保持***性能的前提下解决了图形发生器和摄像机跟踪装置的造价问题,从而使其应用能够得以普及。可广泛应用于模拟驾驶训练,模拟航天器、船舶、飞行器运行,虚拟游戏、婚纱摄影等领域。
附图说明
图1为本发明的结构示意图;
图2为本发明的另一结构示意图;
图3为跟踪子***的原理框图;
图4为传感器连接的结构示意图;
图5为编码盒的结构框图;
图6为图2所示结构的原理框图;
图7为视频转换装置的原理框图;
图8为图形生成器的结构框图;
图9为像素点采样示意图;
图10为图像无抗锯齿和抗锯齿效果比较图。
具体实施方式
图1所示的三维虚拟演播室***主要由一摄像机、一跟踪子***、一延时器、一图形发生器、一抠像合成器、主控计算机和录像设备构成。跟踪子***由传感器和编码盒构成,用于获取摄像机的运动参数,即位置信息和运动数据。
摄像机用于获取前景图像,其输出的信号经延时器进行延时,同时获取摄像机的云台、机架和变焦参数,在主控计算机的控制下,图形发生器根据获取的参数实时地生成三维场景,将延时后的前景图像和三维场景在抠像器中进行处理以合成图像,然后输出至录像设备。
图2和图6所示的三维虚拟演播室***主要由两台摄像机、两个跟踪子***、两个延时器、两个图形发生器、两个抠像合成器、切换台、主控计算机和录像设备构成。跟踪子***与图1所示相同。主控计算机通过集线器和网卡与两个图形发生器通讯。切换台用于对两个抠像合成器的输出进行切换。
图1和图2所示***的实现原理相同,本实施例主要以图2所示结构为主进行说明。
在本***中,图形发生器还连接有录像机,图形发生器可将录象机输出的活动图像作为虚拟场景的一部分。在抠像合成器的输出还连接有监视器,用以观察抠像合成器输出图像效果,并可通过主控计算机进行控制。
图3进一步显示了跟踪子***的结构。跟踪子***的作用是获取摄像机的位置信息和运动数据。虚拟演播室的场景是计算机生成的三维图形,称为虚拟场景。它的运动受计算机中虚拟摄像机的控制,为保证真实摄像机的前景画面与虚拟场景“联动”,必须使这两种摄像机的位置、拍摄角度及运动状态相一致。因此,需要对真实摄像机进行实时跟踪。本***采用机电跟踪方式,它的优点是:延迟小、稳定性好、适合摄像师操作习惯、精度高、实用。在本***中,需准确跟踪云台的PAN、TILT和镜头的ZOOM这三个自由度,PAN和TILT的测量精度为0.001度,ZOOM满足所购镜头的变焦倍数,能跟踪1个象素移动的分辨率。其构成为:检测摄像机摇、俯仰底座的传感器,检测镜头聚焦和变焦的传感器,以及一个与控制计算机接口的编码盒。
参考图4,传感器的设置是在云台轴线结构间隙嵌入精密齿轮盘式结构,并采用软连接结构使齿轮组在一定的弹性压力进行啮合。齿轮盘式结构具有体积小、精度高、可靠性强的优点,即保证了传感精度又减少齿轮的磨损。因此,在不破坏原云台性能的前提下,保证了传感***的精度。传感装置是由镶嵌在云台转轴上的齿轮盘、传感器咬合齿轮、软连接器和光电码盘组成。摇动摄像机时,云台轮盘的转动带动咬合齿轮,通过软连接器使光电码盘产生相应的转动,光电码盘将机械运动转换成电脉冲信号送至编码盒。由于机加工和装配过程中产生的误差,会造成云台转盘和咬合齿轮之间出现咬合间隙或卡死的现象,通过软连接器,可使它们之间的咬合控制在一定的弹性范围内,从而避免上述现象的发生。
参考图5,各个传感部分将各自检测到的摄像机运动数据通过9芯电缆传输到的校准小盒中与自己相对应的9芯接口上(输入接口)。传感器的信号经过接口电路进行信号整型后传人信号处理器DSP,DSP对信号进行变换运算和误差补偿,转换成转角和位移数据,经由RS485通信接口将这些运动数据传送到图形发生器上。CPU在编码盒内部由ROM内置程序控制各部分电路的工作,同时可接受外部指令进行操作,如复位、同步等。
参考图8、图9,图形发生器为基于视窗操作***的个人电脑(PC)构成的图形发生器,包括视频采集卡,视频处理卡和遮挡卡。视频处理卡包括:GeForce系列图形加速处理器;抗闪烁处理及键信号产生电路;扫描同步补偿电路、YUV分量编码器、数字同步锁相电路、SDI数字接口、AGP总线接口、PCI总线接口。主控计算机可连接串口扩展箱,以连接多个抠像合成器和视频切换台。
参考图7,由传感装置送来的传感数据经RS485接口进入图形发生器,图形发生器即时响应新的摄像机位置参数,匹配相应的虚拟摄像机,从而新的场景图像。三维虚拟场景的模型参数,包括模型大小、位置、表面贴图等属性,在***启动后经由AGP总线加载到64M显存中。Geforce图形处理器根据摄像机运动参数,将各模型进行计算,生成场景并送入64M缓存。经过抗闪烁处理和键处理后送到输出接口部分电路。SDI数字接口和YUV分量编码器将场景数据转换成不同格式的电视信号,连接至扣像器或切换台进行画面合成。在应用中由于场景信号要和前景的视频信号进行同步合成,因此图形发生器需要接受外部信号的同步。外部同步信号输入到数字同步锁相电路,锁定图形发生器的输出时钟,通过扫描同步和补偿电路,使64M缓存的场景在输出时与外部信号同步。电路的状态控制是由图形发生器的CPU经PCI总线设置PCI接口控制器进行的。
图形发生器的作用在于实时生成三维虚拟运动场景。虚拟演播室***的场景是计算机绘制的图形。三维虚拟场景中的景物具有Z方向的厚度,是立体的;二维场景则没有厚度,只是一个平面图形。所以二维虚拟场景只能作为背景平面,出现在真实人物的后面。而在三维场景中,虚拟景物既能作为真实人物的背景出现,也能作为前景出现,并且真实人物还能围绕虚拟场景运动,因而在视觉效果上更具纵深感,更加真实。
本虚拟演播室的场景需由三维动画软件建立虚拟场景。在前期的3D建模中,材质、灯光、阴影等建立得越细致,虚拟场景看起来就越逼真、漂亮。虚拟场景的各个部分与实景画面之间的位置关系可以通过PC机的定位与校准软件进行控制。虚拟物体可以出现在真实人物的面前,也能出现在人物的后面。这样,合成画面富于层次,在视觉上也更据立体感、更真实。
由摄像机拍摄的或由录像机播出的活动画面都可以输入到背景图像发生器中,作为虚拟场景的一部分出现在背景画面中。这种形式不仅增强了节目的现场感,使节目形式更加丰富多彩,还能节约演播室在大屏幕、数字特技等方面的投资。但是,当活动视频被放大到充满整个画面时,画面就显得比较粗糙和模糊。所以活动视频只能以小画面的形式出现。
虚拟背景生成***作用在于跟踪真实摄像机的位置和运动信息,在计算机上实时生成运动的3D虚拟场景。其主要技术指标包括:实时3D虚拟场景生成;实时摄像机参数的接收、处理;虚拟摄像机运动模型的建立与实时跟踪;接收一路视频,完成虚拟场景的视频开窗;虚拟背景显示尺寸为:720*576;每秒实时生成25帧画面。
图形发生器还具有如下的***管理功能:
***工作前对各子***状态的获取,各子***准备好后向主控PC发消息。包括两台摄像机***、图形发生器、切换台的开/关状态;
***启动的同步协议;
***初始化参数设置,主要在***安装时使用。主要参数包括:演播室参数、摄像机参数、切换台参数;
虚拟场景管理。主要包括:3D建模、虚拟摄像机的操作、虚拟摄像机的初始位置设置、虚拟背景上的视频开窗管理、主界面上的视频监视;
视频、音频同步切换。
遮挡关系的实现
在虚拟演播室中,由与真实蓝箱的几何大小有限,摄像机进行推拉摇移等运动时,摄像机镜头拍摄的图像有超出蓝箱的区域,为此必须把这一区域遮住,否则这一区域会出现在最终的视频中,影响合成效果。可以通过如下方法实现:
(1)通过对真实天花板建模,我们要知道蓝箱的几何尺寸,摄像机的位置、方向、视域,通过为虚拟场景建一个天花板模型并且创建前景掩膜,在alpha缓存中产生一个水平带。将这个水平带输入到色键器,与前景、背景一起合成时,可以遮住不需要的区域。
(2)在合成设备中控制键窗口(在虚拟布景中无天花板也可以使用)。在色键器中一般都有控制键窗口的功能,即控制抠像合成时的窗口,前景进行抠像时即将不需要的区域排除在键窗口之外,使得在合成时该区域为三维虚拟背景,达到遮挡的效果。
演员在蓝箱中表演时没有任何道具,而要在合成图像中体现三维的效果,就需要实现虚拟场景中的物体与演员的遮挡关系,将虚拟场景中的物体如桌子、门和柱子等调度到人物的前面,使人物在虚拟场景中有穿插的效果,在加强画面真实感的同时,也丰富了整体画面的层次感。
本***采用掩膜(Mask)技术来实现遮挡,同时还实现了无限蓝箱技术。掩膜技术是通过遮挡关系来生成键信号。
FG掩膜:从背景信号中生成,外部键标识盖住前景的背景区域在alpha缓存中渲染,以4:0:0的格式输出,直接给色键器。
BG掩膜:从前景信号中生成,盖住背景信号的部分区域。
Garage掩膜:蓝箱的天花板可能较低或对于宽角度拍摄来说太窄。由此需要知道蓝箱的几何尺寸,摄像机的位置、方向、视域,以便于产生garbage掩膜遮住蓝箱中真实天花板。通过为虚拟布景建一个天花板模型并且创建前景掩膜,在alpha缓存中产生一个水平带。
对真实蓝箱建模,摄像机的位置、方向、视域可以通过摄像机跟踪***得到,在计算机中通过得到的参数和蓝箱模型实时计算出摄像机拍摄的图像中超出真实蓝箱的区域,在这个区域内填充像素,在alpha缓存中渲染;依据前景、背景以及遮挡关系,将用于遮挡前景的三维虚拟背景中的物体的信息提取出来,在alpha缓存中渲染;将前两步在alpha缓存中渲染生成的图像合成一路视频信号,通过视频卡的alpha通道输出到色键器,作为外部键与前景、背景实时合成,输出一路体现三维的效果的视频图像。同时本发明也可采用Z-mixing技术和距离键技术实现遮挡关系。
信号同步及编码技术
虚拟演播室中图形产生装置所实时生成的虚拟场景图像,需要与真实摄像机拍摄的图像严格同步,才能进行合成输出。可以选取电视台中心同步机的标准同步信号或摄像机电荷耦合单元(CCU)提供的复合视频信号作为同步源。首先对同步源信号进行同步分离,得到色同步、行同步及场同步信号,通过数字锁相环进行同步锁相,然后分别同步象素时钟、行同步时钟及场同步时钟,使上述时钟序列与***保持频率和相位的一致。放置在缓冲存储器中的虚拟场景图像数据严格按照象素时钟、行同步时钟及场同步时钟提供的时序进行输出,从而使虚拟图像和真实图像保持同步。
本***对虚拟图像进行了抗闪烁抖动、抗锯齿的处理。计算机产生的图像与CCD感光图像不同,没有图像的灰度过渡效应。由于电视扫描分为奇偶场为隔行扫描,单场刷新频率为25Hz,计算机图像中的单水平线和离散单象素点在电视图像上会出现闪烁抖动。采用梅花形采样HRAA算法,使原图像的单线、点在周边产生1/2、1/4亮度点,这样在奇偶场均有该线、点的特征显示,消除了闪烁抖动,同时也减弱了锯齿现象。由于采用的是弱亮度补偿,因此保证了图像的清晰度。虚拟图像的并行RGB数据要经过编码处理,形成标准PAL制式电视信号。本***采用YUV模拟分量编码和SDI串行数字分量编码两种方式。
在3D加速卡中采用了核心IC-GeForce系列,NVIDIA在GeForce系列芯片中集成了5700万个晶体管,而且是采用了0.15微米技术。GeForce系列架构配备了4条象素管线,每条管线配备2个材质单元,GeForce系列可以让两个象素管线同时处理一个4纹理象素。GeForce系列核心时钟频率是200MHz,象素填充率和材质填充率为:
200MHz×4个象素管线=800Mpixels/s
200MHz×4个象素管线×2个材质单元每管线=1600Mtexels/s
GeForce系列板卡配备64MB of DDR SDRAM,显存时钟频率是230MHz×2(也就是460MHz),GeForce系列理论显存带宽是7.36GB/s:
460MHz×(128bit bus/8=16 bytes)=7360MB/s
应用该技术在GeForce系列中最大限度的提高230MHz DDR带宽的利用效率。交叉显存控制技术(Crossbar memory controller):目前的内存控制器一般都可以传输256bit的数据(其实是把256bit分成2个128bit数据分为两次传输,因为DDR可以在时钟周期的上升沿和下降沿都能传输数据)。不过问题是当传输一个小的三角形数据——这些数据可能只有64bit的时候,传统的内存控制器会用256bit的能力来传输这些64bit数据,也就是说带宽利用率只有25%其余的75%都被浪费了。GeForce系列采取了把显存控制器分成4个显存控制器的方法来提高效率,这4个显存控制器之间以及它们同GPU之间都相互联系、通讯协同合作。每个显存控制器都能独立传输64bit数据,或者协同工作传输256bit数据。未来的游戏为了得到更加逼真的效果,小三角形的使用量会更多,GeFroce3采用交叉显存控制技术能更好的适应这种情况。无损Z轴向压缩算法(lossless Z compression algorithm):这是LMA架构中又一个提高显存带宽利用效率的技术,这项技术同RADEON采用的技术相类似。决定3D场景中的物体景深的就是Z轴向坐标,无损Z轴向压缩算法可以减少Z轴向数据的大小,但是却不会减少数据的精度,同样画质也不会因此受到影响。Z轴遮挡选择算法(Z-Occlusion Culling):这是一项类似于ATI的HierarchicalZ技术,主要通过一定的算法来验证某些象素是否能够被看得见,从而决定是否对其进行处理和渲染。如果一些象素被确定是不可见的,那么显示芯片将不会对其进行渲染,从而大量减少无用数据的生成,节约大量的带宽。一般的3D游戏的精神复杂程度是2,也就是说对于每一个可见象素需要渲染两次才能得到我们看到的结果,可见如果能真正的实现这种处理,带宽的利用率的提高不是一点两点,也就是说在目前的GPU运算能力下,我们还能得到更逼真、更复杂的游戏效果。
“vertex shader”的技术使这些可编程管线能实时产生无限量逼真的图象效果,这个就是nfiniteFX名字的由来。任何的3D对象都是有若干个三角形组成的,每个三角形都由若干条线组成,两天线的校点就是一个顶点(vertex)。vertex shader就是一种图形处理功能,通过处理3D场景中的的对象的顶点,为3D对象加上特殊效果。GeForce系列具有的可编程的vertex shader给了程序设计师的设计空间极大的弹性,Vertex数据属性包括数据x、y、z轴向坐标,色彩,光照,材质指令等等,vertex shader可以控制所有的这些属性。你可以想象vertex shader为一个具有运算功能的盒子,这个功能能对vertex所有的属性进行设定(但是它不会删除或者创建任何数据)只是改变vertex的属性,比如各个轴向的坐标、透明度、颜色等等。当然不是每一个进入盒子的vertex都会被改变属性,而是按照程序的要求来进行的。在GeForce系列中,vertex shader处理单元同硬件T&L处理单元是并行的,也就是说如果vertexshader正在运行,那么硬件T&L单元一定是在休息的。不过图形对象虽然只是经过了vertex shader处理单元处理而没有经过硬件H&L单元处理,但是输出结果依然是经过完全的几何转换和光照处理过的顶点。DirectX 7应用程序利用的是静态T&L原理,所以需要经过硬件T&L处理单元的处理,而复合DirectX8以及以上的应用程序利用的是vertex shader处理单元,而不经过硬件T&L单元的处理可见GeForce系列充分兼容以前的程序,同时又能支持新程序。
在本***中对象素的处理采用了梅花形采样法,即利用相邻象素的采样点数据计算出来每一个象素最终结果。参阅图9利用梅花形采样实际上每个象素都只是采样2点,也就是说只需要超级采样的2点采样的计算能力,就能得到相当于4点采样的图象质量。请看下表以及图10:
水平分辨率 垂直分辨率   色深                 帧缓存所需空间(MB)
  不采样   两点采样   梅花采样   四点采样
    6408001024128016002048     480600768102412001536     323232323232     3.65.6259.21615.3622.536.864     69.37515.3625.637.561.44     69.37515.3625.637.561. 44     10.816.87527.64846.0867.5110.592
梅花形采样在各个分辨率下,只是需要2点采样的资源就能达到4点采样的效果,而比4点采样少用了一般的资源,另外还可以看得出来,梅花形采样当分辨率越高表现出来的优势就越明显。
由于***在保持优异性能的前提下解决了虚拟场景发生装置和摄像机跟踪装置的造价问题,从而使其应用能够得以普及。可广泛应用于模拟驾驶训练,模拟航天器、船舶、飞行器运行,虚拟游戏、婚纱摄影等领域。
模拟驾驶训练:将摄像机跟踪***装配于相应的驾驶平台上,如档位、油门等。可虚拟实景产生相应的联动效果,驾驶人员可通过视觉感知驾驶效果。
模拟航天器、船舶、飞行器运行:将运动对象(航天器、船舶、飞行器等)的运动姿态,通过遥测***编码后通过本***的摄像机数据通道送入图形产生***,即可使虚拟运动对象产生联动。使得在肉眼不可观察的情况下,提供效果清晰的真实运动的虚拟物体的可视图像。

Claims (20)

1、一种真三维虚拟演播室***,其特征在于包括:
一摄像机:用于获取前景图像;
一跟踪子***:设置于摄像机上,用于获取摄像机运动参数;
一延时器:其输入与摄像机的输出连接,用于对摄像机输出的视频信号延时;
一图形发生器:一输入与跟踪子***的输出连接,根据摄像机的运动参数生成虚拟的三维场景;
一抠像合成器:其输入分别与延时器和图形发生器连接的输出连接,将前景图像和三维场景进行图像合成;
主控计算机:通过信号线与图形发生器连接,用于控制图形发生器;
录像设备:其输入与抠像合成器输出连接,用于录制合成的图像。
2、根据权利要求1所述的真三维虚拟演播室***,其特征在于:所述的跟踪***为机械式跟踪子***,包括感器和编码盒,所述的传感器设置在摄像机上,其输出与编码盒连接,所述编码盒通过一接口与所述图形发生器连接;
3、根据权利要求2所述的真三维虚拟演播室***,其特征在于:所述传感器包括:两个设置在云台上分别用于检测摄像机摇和俯仰的传感器,一个设置在镜头上用于检测镜头聚焦和变焦的传感器。
4、根据权利要求2或3所述的真三维虚拟演播室***,其特征在于:所述摄像机支持架上设置有位移传感器,用于实时采集摄像机平移时的位移数据。
5、根据权利要求1所述的真三维虚拟演播室***,其特征在于:所述的图形发生器为基于视窗操作***的PC图形发生器,包括视频采集卡,视频处理卡和遮挡卡。
6、根据权利要求4所述的真三维虚拟演播室***,其特征在于:所述视频处理卡包括:
GeForce系列图形加速处理器、抗闪烁处理及键信号产生电路、扫描同步补偿电路、YUV分量编码器、数字同步锁相电路、SDI数字接口、AGP总线接口、PCI总线接口。
7、一种真三维虚拟演播室***,其特征在于包括:
至少两台摄像机:用于获取前景图像;
至少两套跟踪子***:每一跟踪子***设置于一摄像机上,用于获取摄像机运动参数;
至少两个延时器:每一延时器的输入与分别与一摄像机的输出连接,用于对摄像机输出的视频信号延时;
至少两个图形发生器:每一图形发生器的输入与一跟踪子***的输出连接,根据摄像机的运动参数生成虚拟的三维场景;
至少两个抠像合成器:每一抠像合成器的输入分别与一延时器和一图形发生器连接的输出连接,将前景图像和三维场景进行图像合成;
视频切换台:其输入与抠像合成器的输出连接,用于切换抠像合成器的输出;
主控计算机:通过网络方式与图形发生器连接,用于控制图形发生器;
录像设备:其输入与切换台的输出连接,用于录制合成的图像。
8、根据权利要求7所述的真三维虚拟演播室***,其特征在于:所述的跟踪***为机械式跟踪子***,包括感器和编码盒,所述的传感器设置在摄像机上,其输出与编码盒连接,所述编码盒通过一接口与所述图形发生器连接;
9、根据权利要求8所述的真三维虚拟演播室***,其特征在于:所述传感器包括:两个设置在云台上分别用于检测摄像机摇和俯仰的传感器,一个设置在镜头上用于检测镜头聚焦和变焦的传感器。
10、根据权利要求8或9所述的真三维虚拟演播室***,其特征在于:所述摄像机支持架上设置有位移传感器,用于实时采集摄像机平移时的位移数据。
11、根据权利要求7所述的真三维虚拟演播室***,其特征在于:所述的图形发生器为基于视窗操作***的PC图形发生器,包括视频采集卡,视频处理卡和遮挡卡。
12、根据权利要求11所述的真三维虚拟演播室***,其特征在于:所述视频处理卡包括:
GeForce系列图形加速处理器、抗闪烁处理及键信号产生电路、扫描同步补偿电路、YUV分量编码器、数字同步锁相电路、SDI数字接口、AGP总线接口、PCI总线接口。
13、一种真三维虚拟演播室的实现方法,其特征在于:
由摄像机获取前景图像,并通过跟踪***获取摄像机的运动参数;
由延时器对摄像机输出的视频信号进行延时;
图形发生器根据摄像机的运动参数实时生成三维虚拟场景的背景信号和遮掩信号;
将延时后的视频信号、三维虚拟场景的背景信号和遮掩信号在抠像合成器中进行图像合成并输出至录像设备。
14、根据权利要求13所述的真三维虚拟演播室的实现方法,其特征在于:通过机械式跟踪***获取摄像机的摇、俯仰、平移及聚焦和变焦参数。
15、根据权利要求14所述的真三维虚拟演播室的实现方法,其特征在于由机械式跟踪***中的传感器获取摄像机的运动信息,并将其转换成电信号输出至编码盒,通过编码盒将运动参数输出至图形发生器。
16、根据权利要求13所述的真三维虚拟演播室的实现方法,其特征在于所述的图形发生器采用PC图形工作站,并在视窗操作***下实时生成三维虚拟场景。
17、根据权利要求15所述的真三维虚拟演播室的实现方法,其特征在于:PC图形工作站中进一步包括对生成的三维虚拟场景进行图形加速处理和抗闪烁处理。
18、根据权利要求13所述的真三维虚拟演播室的实现方法,其特征在于:通过复数个摄像机获取前景图像,由每一摄像机对应一个跟踪***、延时器、图形发生器和抠像合成器而形成复数个图像通道。
19、根据权利要求18所述的真三维虚拟演播室的实现方法,其特征在于:在录像设备前通过视频切换台对复数个抠像合成器的输出进行切换。
20、根据权利要求18所述的真三维虚拟演播室的实现方法,其特征在于:所述的复数个图形发生器通过联网实现场景多层面、多角色动画三维场景。
CNA021289263A 2002-08-21 2002-08-21 真三维虚拟演播室***及其实现方法 Pending CN1477856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA021289263A CN1477856A (zh) 2002-08-21 2002-08-21 真三维虚拟演播室***及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA021289263A CN1477856A (zh) 2002-08-21 2002-08-21 真三维虚拟演播室***及其实现方法

Publications (1)

Publication Number Publication Date
CN1477856A true CN1477856A (zh) 2004-02-25

Family

ID=34143884

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA021289263A Pending CN1477856A (zh) 2002-08-21 2002-08-21 真三维虚拟演播室***及其实现方法

Country Status (1)

Country Link
CN (1) CN1477856A (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100383710C (zh) * 2004-09-07 2008-04-23 佳能株式会社 用于呈现与虚拟图像合成的图像的信息处理装置及方法
CN100399799C (zh) * 2004-08-24 2008-07-02 西安宏源视讯设备有限责任公司 虚拟演播室***中辅助摄像机光图形接力跟踪方法
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置***及绘制处理方法
CN100471237C (zh) * 2007-11-19 2009-03-18 新奥特(北京)视频技术有限公司 一种视音频与图形分离播出***
CN102118574A (zh) * 2009-12-30 2011-07-06 新奥特(北京)视频技术有限公司 一种体育赛事直播的方法
CN102118576A (zh) * 2009-12-30 2011-07-06 新奥特(北京)视频技术有限公司 一种虚拟体育***中的色键合成方法及装置
CN101692693B (zh) * 2009-09-29 2011-09-28 北京中科大洋科技发展股份有限公司 一种多功能一体化演播室***和演播方法
CN101330604B (zh) * 2008-07-25 2012-01-11 北京中星微电子有限公司 一种监控视频图像的检索方法、装置和监控***
CN102710898A (zh) * 2011-08-26 2012-10-03 新奥特(北京)视频技术有限公司 一种色键器前景背景同步切换的方法及***
CN102763117A (zh) * 2010-02-26 2012-10-31 乐天株式会社 数据生成装置、数据生成方法、数据生成程序及记录介质
CN101674419B (zh) * 2008-09-10 2013-01-02 新奥特(北京)视频技术有限公司 一种虚拟演播室***中实时编辑模板的方法
CN101668128B (zh) * 2008-09-03 2013-02-20 新奥特(北京)视频技术有限公司 一种多对多结构虚拟演播室***的构建方法
CN101668218B (zh) * 2008-09-02 2013-05-01 新奥特(北京)视频技术有限公司 适用于虚拟演播室摄像机标定***的标志图像二值化方法
CN101764911B (zh) * 2008-12-08 2013-05-01 新奥特(北京)视频技术有限公司 一种抑制前景颜色溢出和控制混合亮度的方法
CN101668127B (zh) * 2008-09-03 2013-05-01 新奥特(北京)视频技术有限公司 一种多对多结构的虚拟演播室***
CN101667287B (zh) * 2008-09-02 2013-07-03 新奥特(北京)视频技术有限公司 一种标志图像中标志最外边框角点检测方法
CN104349020A (zh) * 2014-12-02 2015-02-11 北京中科大洋科技发展股份有限公司 一种虚拟摄像机与真实摄像机切换的***和方法
CN102118575B (zh) * 2009-12-30 2015-02-18 新奥特(北京)视频技术有限公司 一种自动播控的虚拟体育***
CN104954633A (zh) * 2014-03-28 2015-09-30 北京中投视讯文化传媒有限公司 一种直播导播的方法、客户端及***
CN105072314A (zh) * 2015-08-13 2015-11-18 黄喜荣 一种可自动跟踪目标的虚拟演播室实现方法
CN105376547A (zh) * 2015-11-17 2016-03-02 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的微课录制***及方法
CN105872387A (zh) * 2016-06-06 2016-08-17 杭州同步科技有限公司 一种虚拟摄像机与真实摄像机切换的***和方法
CN105959513A (zh) * 2016-06-06 2016-09-21 杭州同步科技有限公司 真三维虚拟演播室***及其实现方法
CN106210453A (zh) * 2016-08-09 2016-12-07 安徽喜悦信息科技有限公司 一种智能虚拟演播室***
CN106657719A (zh) * 2017-01-04 2017-05-10 海南大学 一种智能虚拟演播室***
CN107071365A (zh) * 2017-05-08 2017-08-18 北京德火新媒体技术有限公司 一种气象数据虚拟服务***及方法
CN107170305A (zh) * 2017-07-07 2017-09-15 郑州仁峰软件开发有限公司 一种将虚拟演播和现有录播***结合的方法
CN107613355A (zh) * 2017-09-22 2018-01-19 北京嗨动视觉科技有限公司 视频处理***及视频处理器
CN107888890A (zh) * 2017-12-25 2018-04-06 河南新汉普影视技术有限公司 一种基于在线合成的场景包装装置及方法
CN108198129A (zh) * 2017-12-26 2018-06-22 努比亚技术有限公司 一种图像合成方法、终端及计算机可读存储介质
CN108363483A (zh) * 2017-01-23 2018-08-03 泰丰有限公司 影像提供***、影像提供方法及记录介质
CN109951616A (zh) * 2017-12-21 2019-06-28 艾迪普(北京)文化科技股份有限公司 一种虚拟场景中电视墙媒体的接入、播放及控制方法
CN111031198A (zh) * 2018-10-09 2020-04-17 任志忠 一种实时电影生产技术
CN113160338A (zh) * 2021-05-18 2021-07-23 视境技术(深圳)有限公司 一种ar/vr虚拟现实融合演播室人物空间定位

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置***及绘制处理方法
CN100399799C (zh) * 2004-08-24 2008-07-02 西安宏源视讯设备有限责任公司 虚拟演播室***中辅助摄像机光图形接力跟踪方法
CN100383710C (zh) * 2004-09-07 2008-04-23 佳能株式会社 用于呈现与虚拟图像合成的图像的信息处理装置及方法
CN100471237C (zh) * 2007-11-19 2009-03-18 新奥特(北京)视频技术有限公司 一种视音频与图形分离播出***
CN101330604B (zh) * 2008-07-25 2012-01-11 北京中星微电子有限公司 一种监控视频图像的检索方法、装置和监控***
CN101668218B (zh) * 2008-09-02 2013-05-01 新奥特(北京)视频技术有限公司 适用于虚拟演播室摄像机标定***的标志图像二值化方法
CN101667287B (zh) * 2008-09-02 2013-07-03 新奥特(北京)视频技术有限公司 一种标志图像中标志最外边框角点检测方法
CN101668127B (zh) * 2008-09-03 2013-05-01 新奥特(北京)视频技术有限公司 一种多对多结构的虚拟演播室***
CN101668128B (zh) * 2008-09-03 2013-02-20 新奥特(北京)视频技术有限公司 一种多对多结构虚拟演播室***的构建方法
CN101674419B (zh) * 2008-09-10 2013-01-02 新奥特(北京)视频技术有限公司 一种虚拟演播室***中实时编辑模板的方法
CN101764911B (zh) * 2008-12-08 2013-05-01 新奥特(北京)视频技术有限公司 一种抑制前景颜色溢出和控制混合亮度的方法
CN101692693B (zh) * 2009-09-29 2011-09-28 北京中科大洋科技发展股份有限公司 一种多功能一体化演播室***和演播方法
CN102118575B (zh) * 2009-12-30 2015-02-18 新奥特(北京)视频技术有限公司 一种自动播控的虚拟体育***
CN102118576A (zh) * 2009-12-30 2011-07-06 新奥特(北京)视频技术有限公司 一种虚拟体育***中的色键合成方法及装置
CN102118574B (zh) * 2009-12-30 2015-02-18 新奥特(北京)视频技术有限公司 一种体育赛事直播的方法
CN102118576B (zh) * 2009-12-30 2015-02-18 新奥特(北京)视频技术有限公司 一种虚拟体育***中的色键合成方法及装置
CN102118574A (zh) * 2009-12-30 2011-07-06 新奥特(北京)视频技术有限公司 一种体育赛事直播的方法
CN102763117B (zh) * 2010-02-26 2016-01-13 乐天株式会社 数据生成装置、数据生成方法、数据生成程序及记录介质
CN102763117A (zh) * 2010-02-26 2012-10-31 乐天株式会社 数据生成装置、数据生成方法、数据生成程序及记录介质
CN102710898A (zh) * 2011-08-26 2012-10-03 新奥特(北京)视频技术有限公司 一种色键器前景背景同步切换的方法及***
CN102710898B (zh) * 2011-08-26 2015-02-18 新奥特(北京)视频技术有限公司 一种色键器前景背景同步切换的方法及***
CN104954633A (zh) * 2014-03-28 2015-09-30 北京中投视讯文化传媒有限公司 一种直播导播的方法、客户端及***
CN104349020B (zh) * 2014-12-02 2017-11-03 北京中科大洋科技发展股份有限公司 一种虚拟摄像机与真实摄像机切换的方法
CN104349020A (zh) * 2014-12-02 2015-02-11 北京中科大洋科技发展股份有限公司 一种虚拟摄像机与真实摄像机切换的***和方法
CN105072314A (zh) * 2015-08-13 2015-11-18 黄喜荣 一种可自动跟踪目标的虚拟演播室实现方法
CN105376547A (zh) * 2015-11-17 2016-03-02 广州市英途信息技术有限公司 一种基于3d虚拟合成技术的微课录制***及方法
CN105872387A (zh) * 2016-06-06 2016-08-17 杭州同步科技有限公司 一种虚拟摄像机与真实摄像机切换的***和方法
CN105959513A (zh) * 2016-06-06 2016-09-21 杭州同步科技有限公司 真三维虚拟演播室***及其实现方法
CN106210453A (zh) * 2016-08-09 2016-12-07 安徽喜悦信息科技有限公司 一种智能虚拟演播室***
CN106657719A (zh) * 2017-01-04 2017-05-10 海南大学 一种智能虚拟演播室***
CN108363483A (zh) * 2017-01-23 2018-08-03 泰丰有限公司 影像提供***、影像提供方法及记录介质
CN107071365A (zh) * 2017-05-08 2017-08-18 北京德火新媒体技术有限公司 一种气象数据虚拟服务***及方法
CN107170305A (zh) * 2017-07-07 2017-09-15 郑州仁峰软件开发有限公司 一种将虚拟演播和现有录播***结合的方法
CN107613355A (zh) * 2017-09-22 2018-01-19 北京嗨动视觉科技有限公司 视频处理***及视频处理器
CN107613355B (zh) * 2017-09-22 2019-09-03 北京嗨动视觉科技有限公司 视频处理***及视频处理器
CN109951616A (zh) * 2017-12-21 2019-06-28 艾迪普(北京)文化科技股份有限公司 一种虚拟场景中电视墙媒体的接入、播放及控制方法
CN107888890A (zh) * 2017-12-25 2018-04-06 河南新汉普影视技术有限公司 一种基于在线合成的场景包装装置及方法
CN108198129A (zh) * 2017-12-26 2018-06-22 努比亚技术有限公司 一种图像合成方法、终端及计算机可读存储介质
CN111031198A (zh) * 2018-10-09 2020-04-17 任志忠 一种实时电影生产技术
CN113160338A (zh) * 2021-05-18 2021-07-23 视境技术(深圳)有限公司 一种ar/vr虚拟现实融合演播室人物空间定位

Similar Documents

Publication Publication Date Title
CN1477856A (zh) 真三维虚拟演播室***及其实现方法
US6084979A (en) Method for creating virtual reality
CN102393970B (zh) 一种物体三维建模与渲染***及三维模型生成、渲染方法
US20080246757A1 (en) 3D Image Generation and Display System
Blonde et al. A virtual studio for live broadcasting: The Mona Lisa project
US11488348B1 (en) Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings
WO2006047610A2 (en) Method and apparatus for a virtual scene previewing system
KR101340598B1 (ko) 3차원 평면 타일배열 텍스처 매핑을 이용한 동영상기반 다시점 및 파노라마 가상현실 뷰어 제작 방법
CN106780759A (zh) 基于图片构建场景立体全景图的方法、装置及vr***
Pietroszek et al. Volumetric capture for narrative films
CN2566556Y (zh) 真三维虚拟演播室***
WO2023097109A1 (en) Increasing resolution and luminance of a display
Kanade et al. Virtualized reality: perspectives on 4D digitization of dynamic events
RU2606875C2 (ru) Способ и система отображения масштабных сцен в режиме реального времени
CN202171927U (zh) 一种幻影成像***
Yamamoto et al. LIFLET: Light field live with thousands of lenslets
Kuchelmeister et al. Affect and place representation in immersive media: The Parragirls Past, Present project
Takatori et al. Large-scale projection-based immersive display: The design and implementation of largespace
KR101273531B1 (ko) 모션 컨트롤 카메라를 이용한 실사와 cg 합성 애니메이션 제작 방법 및 시스템
Pietroszek Volumetric filmmaking
CN110163941A (zh) 一种用于led曲面体的图像处理装置及图像处理方法
Zhou et al. RGBD-based real-time volumetric reconstruction system: Architecture design and implementation
Lo et al. Stereoscopic kiosk for virtual museum
Cohen et al. A multiuser multiperspective stereographic QTVR browser complemented by java3D visualizer and emulator
KR102654323B1 (ko) 버추얼 프로덕션에서 2차원 이미지의 입체화 처리를 위한 방법, 장치 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication