CN109639933B - 一种虚拟演播室360度全景节目制作的方法及*** - Google Patents
一种虚拟演播室360度全景节目制作的方法及*** Download PDFInfo
- Publication number
- CN109639933B CN109639933B CN201811497814.5A CN201811497814A CN109639933B CN 109639933 B CN109639933 B CN 109639933B CN 201811497814 A CN201811497814 A CN 201811497814A CN 109639933 B CN109639933 B CN 109639933B
- Authority
- CN
- China
- Prior art keywords
- virtual
- panoramic
- studio
- program
- dimensional scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000013461 design Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种虚拟演播室360度全景节目制作的方法及***,包括:两个***、VR头显、两个控制器、至少一个摄像机,以及虚拟演播室主机。利用***设置VR头显与控制器的活动范围;根据节目类型设计360度全景的虚拟三维场景;在VR头显中实时预览渲染后360度全景的虚拟三维场景;在绿箱或蓝箱与演播室灯光的环境下,摄像机拍摄高清前景信号,并经过抠像处理,将带阿尔法通道的前景信号切入虚拟三维场景中的主持人框内;实时合成渲染为全景视频,将其录制以生成全景节目。本发明可以制作出专业的全景节目,从而丰富VR全景内容;本发明水平方向四周都是可利用的景别;若节目需要改版,只需要重新设计360度全景的虚拟三维场景。
Description
技术领域
本发明涉及数字影音制作技术领域,具体涉及一种虚拟演播室360度全景节目制作的方法及***。
背景技术
随着VR技术的发展,全景内容始终是非常缺乏的,通常会使用全景摄像机、无线麦克来拍摄全景素材,经过后期剪辑制作出全景节目。这种方式对于拍摄设备、拍摄环境、后期制作水平的要求比较高,生成全景节目的类型偏专题拍摄与现场报道,很少用在演播室内。
全景拍摄需要进行大量的前期准备工作,对全景摄像机、音频采集设备、移动拍摄设备等进行调试。因全景摄像机会呈现360度全方位的拍摄画面,需要根据现场光线调整ISO、色温、曝光等拍摄参数,使全景画面整体的亮度和色温达到最佳的效果。同时,需要合理布置全景摄像机与拍摄对象之间的相对位置,拍摄对象不要处在镜头之间的拼缝处。对于全景摄像机而言,都存在一个安全距离,通常要求拍摄对象距离全景摄像机1.5米以上。按照上述要求,即使在安全距离以外,若拍摄对象处于镜头拼缝处,因经过图像采集、变形,及拼接处理,必然会产生一定的畸变。所以,拼缝是客观存在的,无法彻底消除,后期剪辑对此也无能为力。
此外,在进行全景拍摄时,还需要采集现场的声音。为了避免音频线缆进入画面,通常采用无线麦克。前期需要对麦克音量进行测试,将音量调整到合适的范围。对于拍摄环境同样有严苛的要求,拍摄场地中不能有过多的杂景进入画面,否则后期剪辑时,需植入大量的虚拟物件对杂景进行遮挡处理。
全景摄像机一般用于外拍一些专题节目或进行现场报道,制作的全景节目佩戴VR头显观看时,具有身临其境的沉浸感。但是,这种方式并不适合在演播室内进行全景拍摄,主要有两个原因:其一,演播室内环境非常复杂,全景摄像机会拍摄到演播室灯光、普通摄像机,及其他杂景。其二,由于全景摄像机采用定焦镜头,无法通过镜头变焦拍摄人物特写;而且,拍摄的全景视频信号,局部画面的清晰度也不高。因此,很少看到用全景摄像机在实景演播室内拍摄的全景节目。由此可见,全景拍摄的方式,容易受到客观条件的限制。
制作演播室节目,除了在实景演播室内拍摄以外,还有另一种实现方式,就是采用虚拟演播室技术。虚拟演播室与实景演播室相比,不涉及实景演播室的改造与装修。利用专业的绿箱(或蓝箱),配合专业的演播室灯光,使用普通的摄像机拍摄高清前景信号。所拍摄的前景信号,经过专业的抠像处理,与虚拟三维场景进行合成,渲染为普通的演播室节目,合成信号可以直接输出或录制下来。采用这种方式,不会引入太多杂景,即使存在杂景,无非是纵向的灯光或地面、横向的绿箱两侧边缘外部,皆可利用软件算法将这些杂景去掉。此外,虚拟演播室还有一个优势,若节目改版只需要重新设计虚拟三维场景,影响小、成本低。
虚拟演播室技术,为演播室节目制作提供了一种实现方式,可以避免杂景进入画面,效果也比较理想;节目改版的代价,相比于实景演播室也非常低。但是,普通虚拟演播室的设计初衷,是为了录制平面节目,所使用的虚拟三维场景都是局部置景的,其余空间都是开放区域。如新闻场景,通常包含主播台、背景大屏,利用主播台景别,录制单人或双人坐播节目;利用背景大屏景别,录制主持人站播节目;亦可利用这两个景别,录制坐、站播结合的互动节目。虚拟三维场景的设计,都是面向平面节目制作的,无法满足演播室全景节目的制作要求。
那么,若利用虚拟演播室原理录制全景节目,则需要具备两个条件:其一,设计使用360度全景的虚拟三维场景,场景是封闭的,水平方向四周可以提供丰富的景别。其二,需要预览360度全景的虚拟三维场景,调整场景的大小、视点的位置。利用360度全景的虚拟三维场景,与抠像后的前景信号进行合成,实时渲染为全景视频,这样可以解决全景摄像机镜头之间的拼缝问题。通过调整观看视点与切入前景信号的主持人框之间的距离,即虚拟摄像机呈现的拍摄效果,就能保证全景视频中特写画面的清晰度。而且,可以通过算法去除前景信号中携带的杂景,免去拍摄环境进入画面产生的影响,无需进行后期剪辑处理。
综上所述,全景摄像机不适合在演播室内进行拍摄,客观存在的拼缝、局部画面清晰度不高,以及杂景入画问题暂时无法克服或避免。利用虚拟演播室原理制作全景节目,采用360度全景的虚拟三维场景,将普通摄像机拍摄的前景信号抠像之后,与虚拟三维场景进行合成,实时渲染为全景视频并录制下来,就解决了全景拍摄无法克服的问题。当然,必须依靠VR定位及显示设备,预览渲染后360度全景的虚拟三维场景,完成节目录制前期的调试工作。这样,就为演播室内全景节目的制作,提供了完整可行的技术实现方案。
发明内容
为解决上述问题,本发明涉及一种利用VR定位技术配合360度全景的虚拟三维场景制作全景节目的方法及***,制作出演播室内的全景节目,该方法为VR全景内容制作提供了快捷的解决方案。根据节目类型,设计360度全景的虚拟三维场景。利用VR空间定位设备,设置VR头显与控制器的活动范围,通过佩戴VR头显,实现对渲染后360度全景的虚拟三维场景进行实时预览。在专业绿箱(或蓝箱)与演播室灯光环境下,摄像机拍摄的高清前景信号,经过专业的抠像处理,带阿尔法通道的高清前景信号切入虚拟三维场景中的主持人框中,实时合成渲染为全景视频,将其录制下来生成全景节目。这样,就能够生产大量演播室内的全景素材,与外拍的全景素材进行后期剪辑,制作出专业的全景节目,从而丰富VR全景内容。
具体的,根据本发明的一个方面,提供了一种虚拟演播室360度全景节目制作的***,包括:
两个***、VR头显、两个控制器、至少一个摄像机,以及虚拟演播室主机;
所述VR头显分别通过USB与HDMI线缆与虚拟演播室主机连接,所述两个摄像机通过HD-SDI/HDMI线缆与虚拟演播室主机连接。
优选的,进一步包括:调音台,与所述虚拟演播室主机通过USB线缆连接。
优选的,所述USB线缆用于传输空间定位的实时数据,包括:***、VR头显、控制器的空间位置、角度;HDMI线缆用于将虚拟演播室主机渲染的360度全景的虚拟三维场景输出至VR头显的屏幕。
优选的,所述***及控制器与VR头显之间采用无线方式进行实时数据通讯。
优选的,所述两个***固定于绿箱或蓝箱两侧立面外缘距离地面2米以上相同高度的位置,所述VR头显及控制器放置于***所覆盖的空间区域内。
优选的,所述两个控制器配合VR头显使用,实现交互控制。
根据本发明的另一个方面,还提供了一种虚拟演播室360度全景节目制作的方法,包括:
利用***设置VR头显与控制器的活动范围;
根据节目类型设计360度全景的虚拟三维场景;
在VR头显中实时预览渲染后360度全景的虚拟三维场景;
在绿箱或蓝箱与演播室灯光的环境下,摄像机拍摄高清前景信号,并经过抠像处理,将带阿尔法通道的前景信号切入虚拟三维场景中的主持人框内;
实时合成渲染为全景视频,将其录制以生成全景节目或者直接输出。
优选的,所述利用***设置VR头显与控制器的活动范围,包括:
勾动所述控制器的扳机键沿活动区域边缘移动,当回到初始位置附近松开扳机键,控制器的运动轨迹自动闭合为封闭的四边形;
将控制器水平放置于划定区域的地面上,***通过扫描,获得当前地面的空间位置。
优选的,所述360度全景的虚拟三维场景中,水平方向四周提供多种景别,整体色调、风格保持一致;顶部采用封闭式设计;地面延伸至场景边缘,并进行无缝衔接。
优选的,所述多种景别包括:主播台、大屏幕、三联屏、点评区、访谈区、静态展示区、开放办公区。
本发明产生的有益效果是:利用虚拟演播室原理,设计360度全景的虚拟三维场景,其中涵盖了丰富的拍摄景别,用于录制播室内的全景节目。在专业绿箱(或蓝箱)及演播室灯光的拍摄环境中,摄像机拍摄的前景信号经过抠像处理,将带阿尔法通道的前景信号切入360度全景的虚拟三维场景中的主持人框内,经过实时合成渲染录制为全景素材。与全景摄像机拍摄的方式相比,不存在镜头之间的拼缝;通过调整观看视点到切入前景信号的主持人框的距离,保证全景视频中特写画面的清晰度;此外,还可以通过算法去除前景信号中携带的杂景,免去拍摄环境入画的影响,无需后期剪辑处理。当然,需要依靠VR定位及显示设备,对渲染后360度全景的虚拟三维场景进行预览及调试,设置全景节目的观看视点,调整虚拟三维场景的大小,改变主持人框的位置。利用360度全景的虚拟三维场景,可以完成多档节目的制作,节目改版也很容易,只需要重新设计虚拟三维场景。采用上述方法,能够制作出形式丰富、效果震撼的演播室全景节目。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是发明虚拟演播室360度全景节目制作方法的***示意图;
图2是发明实施例一所述虚拟演播室主机功能模块的逻辑关系示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决演播室内全景节目的制作问题,本发明提出一种虚拟演播室360度全景节目制作的方法。所述***包括:两个***、VR头显、两个控制器,以及虚拟演播室主机。所述***是这样实现的:首先,将上述设备连接起来,VR头显通过USB与HDMI线缆与虚拟演播室主机连接,USB线缆用于传输空间定位的实时数据,包括:***、VR头显、控制器的空间位置、角度;HDMI线缆用于将虚拟演播室主机渲染的360度全景的虚拟三维场景输出至VR头显的屏幕。***及控制器,与VR头显之间采用无线方式进行实时数据通讯。
接着,利用***设置VR头显与控制器的活动范围。通常将两个***固定于专业绿箱(或蓝箱)两侧立面外缘距离地面2米以上相同高度的位置,确保二者之间的视线不受阻挡;最佳的固定方式为壁挂式,避免***受地面震动的干扰,影响空间定位的稳定性;通过专用的壁挂件,可调整***的角度,使其向下倾斜适当的角度,一般为30~45度,朝向活动区域的中心;若要固定***的角度,拧紧接驳的锁紧环即可;每个***的扫描视场为水平150度、垂直110度;为了实现精确的空间定位,二者位于地面上的投影距离需小于8米。为了使***、VR头显及控制器正常工作,需要将VR头显及控制器放置于***所覆盖的空间区域内。两个控制器,配合VR头显使用,实现交互控制。
初次设定VR头显与控制器的活动范围,需要使用控制器(两只均可),勾动扳机键沿活动区域边缘移动,当回到初始位置附近松开扳机键,控制器的运动轨迹自动闭合为封闭的四边形。然后,将控制器水平放置于划定区域的地面上,***通过扫描,就可以获得当前地面的空间位置。以上操作完成之后,VR头显与控制器的活动区域设置完成,将VR头显与控制器置于该空间区域内。
接下来,也是本发明的重点。根据节目类型,设计360度全景的虚拟三维场景。与普通虚拟三维场景的区别在于,采用了360度全景的设计形式,水平方向四周提供了丰富的景别,整体色调、风格保持一致;顶部采用了封闭式设计,与普通虚拟三维场景一贯的开放式、通透式不同;地面延伸至场景边缘,并进行无缝衔接。对于360度全景的虚拟三维场景,四周可以设计不同的景别,涵盖:主播台、大屏幕、三联屏、点评区、访谈区、静态展示区,甚至开放办公区等,以满足不同类型全景节目的录制,所呈现的全景演播室效果也更加震撼。利用360度全景的虚拟三维场景,与抠像后的前景信号进行合成,实时渲染为全景视频,可直接输出或录制下来生成全景素材。
实施例一:
本发明抓住VR全景节目的沉浸感、临场感的特点,运用虚拟演播室原理,提出了一种虚拟演播室360度全景节目制作的方法,为演播室内全景节目制作提供方便快捷的解决方案。
实施例一是本发明的具体实现方法,图1所示的是虚拟演播室360度全景节目制作方法的***示意图。其中,以L型的绿箱(或蓝箱)为例,进行整个***的说明。空间定位设备包括:两个***,分别是***A和***B;VR头显及两个控制器,分别为控制器1和控制器2。首先,需要将VR头显连接至虚拟演播室主机,USB线缆用于传输空间定位的实时数据,包括:VR头显与控制器的空间位置、角度;HDMI(或DP)线缆用于传输渲染后的360度全景的虚拟三维场景,佩戴VR头显可以置身其中。接着,安装***,设置VR头显与控制器的活动范围。如图1所示,将两个***固定于专业绿箱(或蓝箱)两侧立面外缘距离地面2米以上相同的高度,确保二者之间的视线不受阻挡。考虑到实际情况,绿箱上方悬挂着专业的演播室灯光,若灯光高度比较低可能会遮挡两个***之间的视野,此时可使用专用的同步数据线连接***A、B,保证其正常通讯。建议采用壁挂方式固定***,避免其受地面震动的干扰,影响空间定位的稳定性。将***安装在专用的壁挂架上面,调整***的角度,使其向下倾斜适当的角度,一般为30~45度,可视具体情况而定,朝向活动区域的中心。若要固定***的角度,拧紧接驳的锁止环即可。每个***的扫描视场为水平150度、垂直110度,为了保证精确的空间定位,二者在地面上投影之间的距离需小于8米。
接着,设置VR头显与控制器的活动范围。初次设定时,手持任意一个控制器,勾动扳机键延活动范围的边缘移动,回到初始点位置松开扳机键,控制器的运动轨迹会自动闭合为四边形。接着,需要利用控制器定位地面,将控制器水平放置于划定区域的地面上,两个***通过红外扫描,就能够准确获得地面所处的空间位置。以上操作完成之后,为了保证***正常工作,需要将VR头显置于活动范围以内。两只控制器,主要配合VR头显进行交互控制,如不使用可保持关闭。
制作演播室内的全景节目,通常会有1-4个拍摄机位,从不同角度拍摄专业绿箱(或蓝箱)及演播室灯光环境下的人物和景物,即前景信号。如图1所示,其中的拍摄设备,指专业摄像机、消费级DV、单反(或微单)相机等,能够将高清前景信号通过HD-SDI/HDMI线缆,输出至虚拟演播室主机。
对于音频的处理,也是虚拟演播室不可或缺的部分。拍摄现场,主持人与嘉宾的声音通过话筒、背景音效通过专业播放器分别接入调音台,混音之后经过USB线缆输出至虚拟演播室主机。后者实现音频采集、合成、延时等处理,此处并不是本发明的重点,不做过多阐述。
本实施例所述方法的实现步骤描述如下:
参见图2,是发明实施例一所述虚拟演播室主机功能模块的逻辑关系示意图。在虚拟演播室主机内部,包含了视频I/O、真三维场景、参数设置、导播切换、抠像、合成渲染、录制、VR终端通讯,以及外部音频处理等功能模块。接下来,结合360度全景节目制作的具体流程进行介绍。
拍摄环境仍然是专业绿箱(或蓝箱),配合专业的演播室灯光。通常有2-4台拍摄设备,用于拍摄高清前景信号。拍摄设备(若干,至少一个),所拍摄的高清前景信号输出至虚拟演播室主机。由视频I/O模块,对不同拍摄机位的前景信号进行采集,并逐帧交给抠像模块进行专业抠像处理。抠像模块,逐帧将前景信号中纯色(绿或蓝)抠掉;然后,带阿尔法通道的前景信号,逐帧送给合成渲染模块。
真三维场景模块,导入制作演播室全景节目需要使用的360度全景的虚拟三维场景,兼容3D设计软件生成的.obj、.x、或.3ds格式的场景文件。根据节目类型定制的360度全景的虚拟三维场景,水平方向四周包含了丰富的景别。场景设计时,结合拍摄置景的需要,已经预置了可以切入高清前景信号的主持人框,画幅为16:9。与主持人框相对应,在360度全景的虚拟三维场景中,预置了虚拟摄像机对主持人框与后面的景别进行拍摄。
360度全景的虚拟三维场景载入完成后,由渲染合成模块进行实时渲染处理,通过HDMI(或DP)线缆输出至VR头显,佩戴VR头显之后,可以置身360度全景的虚拟三维场景内,进行沉浸式的预览。初始视点的位置为场景的中心点,默认状态下场景中所有预置的主持人框都是隐藏的。此时,能够直观感受360度全景的虚拟三维场景的空间范围,通过参数配置模块对虚拟三维场景的大小进行调整。场景设计时并没有具体的限制,360度全景的虚拟三维场景可以设计的很宏大,也可以设计的很别致。使用控制器可以在虚拟三维场景中任意漫游,通过触摸板的方向键进行移动,遍历水平方向四周的虚拟置景。
随后,需要完成全景节目制作相关参数的设置。根据VR头显的预览情况,将360度全景的虚拟三维场景调整为合适的大小。然后,针对全景节目制作所选取的景别,显示该景别预置的主持人框,参考对应虚拟机位所呈现的拍摄视角,将真实机位拍摄的前景信号切入主持人框中。针对该虚拟机位,从下拉列表中选择实际拍摄设备的信号源。此时,主持人框内的前景信号,经过视频I/O模块采集,以及抠像模块的专业抠像处理,带阿尔法通道可以直接与虚拟背景进行合成渲染。采用相同的方法,将所有真实拍摄机位的前景信号切入虚拟机位对应的主持人框里。然后,根据前景信号与虚拟背景之间的构图效果,对主持人框的大小进行缩放、前后位置进行调整;虚拟机位的视点位置也改变,沿着X轴、Y轴,及Z轴方向移动;当虚拟机位的空间位置确定后,还可以改变其镜头朝向及焦距,使虚拟机位呈现出最佳的合成效果。考虑到全景节目的观看视点,应与实际佩戴VR头显后的高度基本一致,所以虚拟机位的高度不宜过高或过低。而且,虚拟机位的视角,将作为全景节目在该观看视点的初始视角。通过调整主持人框与虚拟机位的空间位置,可以将前景信号清晰的呈现于全景节目观看视点前方,保证局部画面的清晰度。若实际拍摄过程中,前景信号中有杂景入画,如绿箱上方的灯光,因真实拍摄机位在节目制作过程中固定不动,这些杂景都利用算法在参数配置模块中将其去除。
全景节目录制的准备工作完成后,将所有配置参数保存为工程文件,下次可以直接调用。接着,可以进行全景节目录制,利用导播切换模块,以平面的形式实时预览各虚拟机位的合成画面,并根据现场情况,在不同的虚拟机位之间进行切换调度。当前虚拟机位的合成信号,作为PGM信号直接输出或录制下来。而且,导播切换可叠加转场特效,如淡入淡出等,符合全景视频的特点比较常用。
全景节目录制过程中,针对导播切换的当前虚拟机位,以该虚拟机位的视角作为初始视角,由合成渲染模块进行前景信号与虚拟背景的合成处理,实时渲染为3840*2160分辨率的全景视频,可以通过视频I/O模块直接输出,或逐帧送给录制模块,将其录制到本地生成4K分辨率的全景节目。随着现场的导播切换,实时合成渲染的全景视频,其观看视点及初始视角跟随虚拟机位而改变。
此外,演播室全景节目录制过程中,还需要对音频进行处理,主持人、嘉宾的声音通过话筒,现场背景音效通过专用播放器,分别接入调音台,经过混音之后,经过USB线缆送给虚拟演播室主机。由外部音频处理模块,实现音频采集、延时,及静音处理,然后送给合成渲染模块,完成全景视频与现场音频的合成。
本实施例所述方法带来的益处非常明显:利用虚拟演播室原理,设计360度全景的虚拟三维场景,其中涵盖了丰富的拍摄景别,可以在其中完成演播室内全景节目的录制。在专业绿箱(或蓝箱)及演播室灯光的拍摄环境中,摄像机拍摄的前景信号经过抠像处理,将带阿尔法通道的前景信号切入主持人框,主持人框置于360度全景的虚拟三维场景内合适的景别,经过实时合成渲染,录制为全景节目。采用这种方法,解决了全景摄像机拍摄镜头之间存在的拼缝问题;也不会因实际拍摄引入无关的杂景;而且,通过调整主持人框与观看视点的距离,解决全景视频局部特写清晰度不高的问题。当然,其中依靠VR定位和头显设备,对渲染后的360度全景的虚拟三维场景进行预览和漫游,遍历其中设计的所有虚拟景别。利用360度全景的虚拟三维场景,可以完成多档节目的制作,节目改版也很容易,只需要重新设计虚拟三维场景。通过上述的方法,即可制作出形式丰富、效果震撼的演播室全景节目。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (4)
1.一种虚拟演播室360度全景节目制作的***,包括:
两个***、VR头显、两个控制器、至少一个摄像机,以及虚拟演播室主机;
所述两个***及控制器与VR头显之间采用无线方式进行实时数据通讯,所述两个***固定于绿箱或蓝箱两侧立面外缘距离地面2米以上相同高度的位置,所述VR头显及控制器放置于***所覆盖的空间区域内,所述两个控制器配合VR头显使用,实现交互控制;
所述VR头显分别通过USB与HDMI线缆与虚拟演播室主机连接,所述摄像机通过HD-SDI/HDMI线缆与虚拟演播室主机连接;
所述虚拟演播室主机包含如下功能模块:视频I/O、真三维场景、参数设置、导播切换、抠像、合成渲染、录制、VR终端通讯,以及外部音频处理模块;
视频I/O模块,对不同拍摄机位的前景信号进行采集,并逐帧交给抠像模块进行专业抠像处理;
抠像模块,逐帧将前景信号中纯色抠掉;然后,带阿尔法通道的前景信号,逐帧送给合成渲染模块;
真三维场景模块,导入制作演播室全景节目需要使用的360度全景的虚拟三维场景;载入完成后,合成模块对载入的360度全景的虚拟三维场景进行实时渲染处理,通过HDMI或DP线缆输出至VR头显;
勾动所述控制器的扳机键沿活动区域边缘移动,当回到初始位置附近松开扳机键,控制器的运动轨迹自动闭合为封闭的四边形;
将控制器水平放置于划定区域的地面上,***通过扫描,获得当前地面的空间位置。
2.根据权利要求1所述的一种虚拟演播室360度全景节目制作的***,其特征在于,进一步包括:
调音台,与所述虚拟演播室主机通过USB线缆连接。
3.根据权利要求1所述的一种虚拟演播室360度全景节目制作的***,其特征在于,
所述USB线缆用于传输空间定位的实时数据,包括:***、VR头显、控制器的空间位置、角度;HDMI线缆用于将虚拟演播室主机渲染的360度全景的虚拟三维场景输出至VR头显的屏幕。
4.一种虚拟演播室360度全景节目制作的方法,包括:
使用专用的同步数据线连接两个***,并利用两个***设置VR头显与控制器的活动范围,包括:
勾动所述控制器的扳机键沿活动区域边缘移动,当回到初始位置附近松开扳机键,控制器的运动轨迹自动闭合为封闭的四边形;
将控制器水平放置于划定区域的地面上,***通过扫描,获得当前地面的空间位置;
根据节目类型设计360度全景的虚拟三维场景;
在VR头显中实时预览渲染后360度全景的虚拟三维场景;
在绿箱或蓝箱与演播室灯光的环境下,摄像机拍摄高清前景信号,并经过抠像处理,将带阿尔法通道的前景信号切入虚拟三维场景中的主持人框内;
实时合成渲染为全景视频,将其录制以生成全景节目或者直接输出;所述360度全景的虚拟三维场景中,水平方向四周提供多种景别,整体色调、风格保持一致;顶部采用封闭式设计;地面延伸至场景边缘,并进行无缝衔接;
所述多种景别包括:主播台、大屏幕、三联屏、点评区、访谈区、静态展示区、开放办公区;
还可以进行全景节目录制,利用导播切换模块,以平面的形式实时预览各虚拟机位的合成画面,并根据现场情况,在不同的虚拟机位之间进行切换调度;当前虚拟机位的合成信号,作为PGM信号直接输出或录制下来,而且导播切换可叠加转场特效为PGM信号直接输出或录制下来;全景节目录制的准备工作完成后,将所有配置参数保存为工程文件,下次可以直接调用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811497814.5A CN109639933B (zh) | 2018-12-07 | 2018-12-07 | 一种虚拟演播室360度全景节目制作的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811497814.5A CN109639933B (zh) | 2018-12-07 | 2018-12-07 | 一种虚拟演播室360度全景节目制作的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109639933A CN109639933A (zh) | 2019-04-16 |
CN109639933B true CN109639933B (zh) | 2021-12-24 |
Family
ID=66072074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811497814.5A Expired - Fee Related CN109639933B (zh) | 2018-12-07 | 2018-12-07 | 一种虚拟演播室360度全景节目制作的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109639933B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110290290A (zh) * | 2019-06-21 | 2019-09-27 | 深圳迪乐普数码科技有限公司 | 云vr演播室的实现方法、装置、计算机设备及存储介质 |
CN110517346B (zh) * | 2019-08-30 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 虚拟环境界面的展示方法、装置、计算机设备及存储介质 |
CN110866978A (zh) * | 2019-11-07 | 2020-03-06 | 辽宁东智威视科技有限公司 | 一种实时混合现实视频拍摄中的相机同步方法 |
CN111399653A (zh) * | 2020-03-24 | 2020-07-10 | 北京文香信息技术有限公司 | 一种虚拟互动的方法、装置、设备和计算机存储介质 |
CN112312112A (zh) * | 2020-11-02 | 2021-02-02 | 北京德火科技有限责任公司 | 一种ar沉浸式全景仿真***多终端操控***及其控制方法 |
CN112383679A (zh) * | 2020-11-02 | 2021-02-19 | 北京德火科技有限责任公司 | 一种ar沉浸式全景仿真***异地同屏远程采访方式及其控制方法 |
CN113489920A (zh) * | 2021-06-29 | 2021-10-08 | 维沃移动通信(杭州)有限公司 | 一种视频合成方法、装置及电子设备 |
CN114173020A (zh) * | 2021-12-31 | 2022-03-11 | 北京德火科技有限责任公司 | 一种应用于多虚拟演播室的前后景分离方法及*** |
CN114173021B (zh) * | 2022-02-14 | 2022-06-24 | 中国传媒大学 | 基于高清多屏的虚拟演播方法、*** |
CN114845136B (zh) * | 2022-06-28 | 2022-09-16 | 北京新唐思创教育科技有限公司 | 视频合成方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205622745U (zh) * | 2016-05-10 | 2016-10-05 | 倪宏伟 | 虚拟现实真人实时合成*** |
CN106657719A (zh) * | 2017-01-04 | 2017-05-10 | 海南大学 | 一种智能虚拟演播室*** |
CN106663411A (zh) * | 2014-11-16 | 2017-05-10 | 易欧耐特感知公司 | 用于增强现实准备、处理和应用的***和方法 |
CN207460313U (zh) * | 2017-12-04 | 2018-06-05 | 上海幻替信息科技有限公司 | 混合现实演播室*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11665308B2 (en) * | 2017-01-31 | 2023-05-30 | Tetavi, Ltd. | System and method for rendering free viewpoint video for sport applications |
-
2018
- 2018-12-07 CN CN201811497814.5A patent/CN109639933B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106663411A (zh) * | 2014-11-16 | 2017-05-10 | 易欧耐特感知公司 | 用于增强现实准备、处理和应用的***和方法 |
CN205622745U (zh) * | 2016-05-10 | 2016-10-05 | 倪宏伟 | 虚拟现实真人实时合成*** |
CN106657719A (zh) * | 2017-01-04 | 2017-05-10 | 海南大学 | 一种智能虚拟演播室*** |
CN207460313U (zh) * | 2017-12-04 | 2018-06-05 | 上海幻替信息科技有限公司 | 混合现实演播室*** |
Also Published As
Publication number | Publication date |
---|---|
CN109639933A (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109639933B (zh) | 一种虚拟演播室360度全景节目制作的方法及*** | |
US10582182B2 (en) | Video capture and rendering system control using multiple virtual cameras | |
CN106358036B (zh) | 一种以预设视角观看虚拟现实视频的方法 | |
US10121284B2 (en) | Virtual camera control using motion control systems for augmented three dimensional reality | |
CN101692693B (zh) | 一种多功能一体化演播室***和演播方法 | |
US10154194B2 (en) | Video capturing and formatting system | |
CN110225224B (zh) | 虚拟形象的导播方法、装置及*** | |
CN105264876A (zh) | 低成本电视制作的方法及*** | |
KR101530826B1 (ko) | 360도 공간영상 재생방법 및 그 시스템 | |
US8885022B2 (en) | Virtual camera control using motion control systems for augmented reality | |
CN105072314A (zh) | 一种可自动跟踪目标的虚拟演播室实现方法 | |
CN109803094A (zh) | 一种虚拟三维场景编辑***、方法及装置 | |
GB2436921A (en) | Methods and apparatus providing central, primary displays with surrounding display regions | |
US11176716B2 (en) | Multi-source image data synchronization | |
KR20160021706A (ko) | 360도 공간영상 재생방법 및 그 시스템 | |
CN107172413A (zh) | 现实场景视频显示方法和*** | |
US20090153550A1 (en) | Virtual object rendering system and method | |
CN116320363B (zh) | 一种多角度虚拟现实拍摄方法及*** | |
CN107888890A (zh) | 一种基于在线合成的场景包装装置及方法 | |
KR102474451B1 (ko) | 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램 | |
CN112887514A (zh) | 一种适用于影视虚拟拍摄和制作的实时可视化方法与*** | |
JP2019102940A (ja) | 仮想視点コンテンツ生成システム、音声処理装置、仮想視点コンテンツ生成システムの制御方法、及びプログラム | |
CN207652589U (zh) | 一种基于在线合成的场景包装装置 | |
JP2002271692A (ja) | 画像処理方法、画像処理装置、スタジオ装置、スタジオシステム及びプログラム | |
Tricart | Live-Action VR Capture and Post-Production |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211224 |
|
CF01 | Termination of patent right due to non-payment of annual fee |