CN109639933B - 一种虚拟演播室360度全景节目制作的方法及*** - Google Patents

一种虚拟演播室360度全景节目制作的方法及*** Download PDF

Info

Publication number
CN109639933B
CN109639933B CN201811497814.5A CN201811497814A CN109639933B CN 109639933 B CN109639933 B CN 109639933B CN 201811497814 A CN201811497814 A CN 201811497814A CN 109639933 B CN109639933 B CN 109639933B
Authority
CN
China
Prior art keywords
virtual
panoramic
studio
program
dimensional scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811497814.5A
Other languages
English (en)
Other versions
CN109639933A (zh
Inventor
李智鹏
颜庆聪
胡彦雷
孙阳
周华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Makemagic Technology Development Co ltd
Original Assignee
Beijing Makemagic Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Makemagic Technology Development Co ltd filed Critical Beijing Makemagic Technology Development Co ltd
Priority to CN201811497814.5A priority Critical patent/CN109639933B/zh
Publication of CN109639933A publication Critical patent/CN109639933A/zh
Application granted granted Critical
Publication of CN109639933B publication Critical patent/CN109639933B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种虚拟演播室360度全景节目制作的方法及***,包括:两个***、VR头显、两个控制器、至少一个摄像机,以及虚拟演播室主机。利用***设置VR头显与控制器的活动范围;根据节目类型设计360度全景的虚拟三维场景;在VR头显中实时预览渲染后360度全景的虚拟三维场景;在绿箱或蓝箱与演播室灯光的环境下,摄像机拍摄高清前景信号,并经过抠像处理,将带阿尔法通道的前景信号切入虚拟三维场景中的主持人框内;实时合成渲染为全景视频,将其录制以生成全景节目。本发明可以制作出专业的全景节目,从而丰富VR全景内容;本发明水平方向四周都是可利用的景别;若节目需要改版,只需要重新设计360度全景的虚拟三维场景。

Description

一种虚拟演播室360度全景节目制作的方法及***
技术领域
本发明涉及数字影音制作技术领域,具体涉及一种虚拟演播室360度全景节目制作的方法及***。
背景技术
随着VR技术的发展,全景内容始终是非常缺乏的,通常会使用全景摄像机、无线麦克来拍摄全景素材,经过后期剪辑制作出全景节目。这种方式对于拍摄设备、拍摄环境、后期制作水平的要求比较高,生成全景节目的类型偏专题拍摄与现场报道,很少用在演播室内。
全景拍摄需要进行大量的前期准备工作,对全景摄像机、音频采集设备、移动拍摄设备等进行调试。因全景摄像机会呈现360度全方位的拍摄画面,需要根据现场光线调整ISO、色温、曝光等拍摄参数,使全景画面整体的亮度和色温达到最佳的效果。同时,需要合理布置全景摄像机与拍摄对象之间的相对位置,拍摄对象不要处在镜头之间的拼缝处。对于全景摄像机而言,都存在一个安全距离,通常要求拍摄对象距离全景摄像机1.5米以上。按照上述要求,即使在安全距离以外,若拍摄对象处于镜头拼缝处,因经过图像采集、变形,及拼接处理,必然会产生一定的畸变。所以,拼缝是客观存在的,无法彻底消除,后期剪辑对此也无能为力。
此外,在进行全景拍摄时,还需要采集现场的声音。为了避免音频线缆进入画面,通常采用无线麦克。前期需要对麦克音量进行测试,将音量调整到合适的范围。对于拍摄环境同样有严苛的要求,拍摄场地中不能有过多的杂景进入画面,否则后期剪辑时,需植入大量的虚拟物件对杂景进行遮挡处理。
全景摄像机一般用于外拍一些专题节目或进行现场报道,制作的全景节目佩戴VR头显观看时,具有身临其境的沉浸感。但是,这种方式并不适合在演播室内进行全景拍摄,主要有两个原因:其一,演播室内环境非常复杂,全景摄像机会拍摄到演播室灯光、普通摄像机,及其他杂景。其二,由于全景摄像机采用定焦镜头,无法通过镜头变焦拍摄人物特写;而且,拍摄的全景视频信号,局部画面的清晰度也不高。因此,很少看到用全景摄像机在实景演播室内拍摄的全景节目。由此可见,全景拍摄的方式,容易受到客观条件的限制。
制作演播室节目,除了在实景演播室内拍摄以外,还有另一种实现方式,就是采用虚拟演播室技术。虚拟演播室与实景演播室相比,不涉及实景演播室的改造与装修。利用专业的绿箱(或蓝箱),配合专业的演播室灯光,使用普通的摄像机拍摄高清前景信号。所拍摄的前景信号,经过专业的抠像处理,与虚拟三维场景进行合成,渲染为普通的演播室节目,合成信号可以直接输出或录制下来。采用这种方式,不会引入太多杂景,即使存在杂景,无非是纵向的灯光或地面、横向的绿箱两侧边缘外部,皆可利用软件算法将这些杂景去掉。此外,虚拟演播室还有一个优势,若节目改版只需要重新设计虚拟三维场景,影响小、成本低。
虚拟演播室技术,为演播室节目制作提供了一种实现方式,可以避免杂景进入画面,效果也比较理想;节目改版的代价,相比于实景演播室也非常低。但是,普通虚拟演播室的设计初衷,是为了录制平面节目,所使用的虚拟三维场景都是局部置景的,其余空间都是开放区域。如新闻场景,通常包含主播台、背景大屏,利用主播台景别,录制单人或双人坐播节目;利用背景大屏景别,录制主持人站播节目;亦可利用这两个景别,录制坐、站播结合的互动节目。虚拟三维场景的设计,都是面向平面节目制作的,无法满足演播室全景节目的制作要求。
那么,若利用虚拟演播室原理录制全景节目,则需要具备两个条件:其一,设计使用360度全景的虚拟三维场景,场景是封闭的,水平方向四周可以提供丰富的景别。其二,需要预览360度全景的虚拟三维场景,调整场景的大小、视点的位置。利用360度全景的虚拟三维场景,与抠像后的前景信号进行合成,实时渲染为全景视频,这样可以解决全景摄像机镜头之间的拼缝问题。通过调整观看视点与切入前景信号的主持人框之间的距离,即虚拟摄像机呈现的拍摄效果,就能保证全景视频中特写画面的清晰度。而且,可以通过算法去除前景信号中携带的杂景,免去拍摄环境进入画面产生的影响,无需进行后期剪辑处理。
综上所述,全景摄像机不适合在演播室内进行拍摄,客观存在的拼缝、局部画面清晰度不高,以及杂景入画问题暂时无法克服或避免。利用虚拟演播室原理制作全景节目,采用360度全景的虚拟三维场景,将普通摄像机拍摄的前景信号抠像之后,与虚拟三维场景进行合成,实时渲染为全景视频并录制下来,就解决了全景拍摄无法克服的问题。当然,必须依靠VR定位及显示设备,预览渲染后360度全景的虚拟三维场景,完成节目录制前期的调试工作。这样,就为演播室内全景节目的制作,提供了完整可行的技术实现方案。
发明内容
为解决上述问题,本发明涉及一种利用VR定位技术配合360度全景的虚拟三维场景制作全景节目的方法及***,制作出演播室内的全景节目,该方法为VR全景内容制作提供了快捷的解决方案。根据节目类型,设计360度全景的虚拟三维场景。利用VR空间定位设备,设置VR头显与控制器的活动范围,通过佩戴VR头显,实现对渲染后360度全景的虚拟三维场景进行实时预览。在专业绿箱(或蓝箱)与演播室灯光环境下,摄像机拍摄的高清前景信号,经过专业的抠像处理,带阿尔法通道的高清前景信号切入虚拟三维场景中的主持人框中,实时合成渲染为全景视频,将其录制下来生成全景节目。这样,就能够生产大量演播室内的全景素材,与外拍的全景素材进行后期剪辑,制作出专业的全景节目,从而丰富VR全景内容。
具体的,根据本发明的一个方面,提供了一种虚拟演播室360度全景节目制作的***,包括:
两个***、VR头显、两个控制器、至少一个摄像机,以及虚拟演播室主机;
所述VR头显分别通过USB与HDMI线缆与虚拟演播室主机连接,所述两个摄像机通过HD-SDI/HDMI线缆与虚拟演播室主机连接。
优选的,进一步包括:调音台,与所述虚拟演播室主机通过USB线缆连接。
优选的,所述USB线缆用于传输空间定位的实时数据,包括:***、VR头显、控制器的空间位置、角度;HDMI线缆用于将虚拟演播室主机渲染的360度全景的虚拟三维场景输出至VR头显的屏幕。
优选的,所述***及控制器与VR头显之间采用无线方式进行实时数据通讯。
优选的,所述两个***固定于绿箱或蓝箱两侧立面外缘距离地面2米以上相同高度的位置,所述VR头显及控制器放置于***所覆盖的空间区域内。
优选的,所述两个控制器配合VR头显使用,实现交互控制。
根据本发明的另一个方面,还提供了一种虚拟演播室360度全景节目制作的方法,包括:
利用***设置VR头显与控制器的活动范围;
根据节目类型设计360度全景的虚拟三维场景;
在VR头显中实时预览渲染后360度全景的虚拟三维场景;
在绿箱或蓝箱与演播室灯光的环境下,摄像机拍摄高清前景信号,并经过抠像处理,将带阿尔法通道的前景信号切入虚拟三维场景中的主持人框内;
实时合成渲染为全景视频,将其录制以生成全景节目或者直接输出。
优选的,所述利用***设置VR头显与控制器的活动范围,包括:
勾动所述控制器的扳机键沿活动区域边缘移动,当回到初始位置附近松开扳机键,控制器的运动轨迹自动闭合为封闭的四边形;
将控制器水平放置于划定区域的地面上,***通过扫描,获得当前地面的空间位置。
优选的,所述360度全景的虚拟三维场景中,水平方向四周提供多种景别,整体色调、风格保持一致;顶部采用封闭式设计;地面延伸至场景边缘,并进行无缝衔接。
优选的,所述多种景别包括:主播台、大屏幕、三联屏、点评区、访谈区、静态展示区、开放办公区。
本发明产生的有益效果是:利用虚拟演播室原理,设计360度全景的虚拟三维场景,其中涵盖了丰富的拍摄景别,用于录制播室内的全景节目。在专业绿箱(或蓝箱)及演播室灯光的拍摄环境中,摄像机拍摄的前景信号经过抠像处理,将带阿尔法通道的前景信号切入360度全景的虚拟三维场景中的主持人框内,经过实时合成渲染录制为全景素材。与全景摄像机拍摄的方式相比,不存在镜头之间的拼缝;通过调整观看视点到切入前景信号的主持人框的距离,保证全景视频中特写画面的清晰度;此外,还可以通过算法去除前景信号中携带的杂景,免去拍摄环境入画的影响,无需后期剪辑处理。当然,需要依靠VR定位及显示设备,对渲染后360度全景的虚拟三维场景进行预览及调试,设置全景节目的观看视点,调整虚拟三维场景的大小,改变主持人框的位置。利用360度全景的虚拟三维场景,可以完成多档节目的制作,节目改版也很容易,只需要重新设计虚拟三维场景。采用上述方法,能够制作出形式丰富、效果震撼的演播室全景节目。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是发明虚拟演播室360度全景节目制作方法的***示意图;
图2是发明实施例一所述虚拟演播室主机功能模块的逻辑关系示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为解决演播室内全景节目的制作问题,本发明提出一种虚拟演播室360度全景节目制作的方法。所述***包括:两个***、VR头显、两个控制器,以及虚拟演播室主机。所述***是这样实现的:首先,将上述设备连接起来,VR头显通过USB与HDMI线缆与虚拟演播室主机连接,USB线缆用于传输空间定位的实时数据,包括:***、VR头显、控制器的空间位置、角度;HDMI线缆用于将虚拟演播室主机渲染的360度全景的虚拟三维场景输出至VR头显的屏幕。***及控制器,与VR头显之间采用无线方式进行实时数据通讯。
接着,利用***设置VR头显与控制器的活动范围。通常将两个***固定于专业绿箱(或蓝箱)两侧立面外缘距离地面2米以上相同高度的位置,确保二者之间的视线不受阻挡;最佳的固定方式为壁挂式,避免***受地面震动的干扰,影响空间定位的稳定性;通过专用的壁挂件,可调整***的角度,使其向下倾斜适当的角度,一般为30~45度,朝向活动区域的中心;若要固定***的角度,拧紧接驳的锁紧环即可;每个***的扫描视场为水平150度、垂直110度;为了实现精确的空间定位,二者位于地面上的投影距离需小于8米。为了使***、VR头显及控制器正常工作,需要将VR头显及控制器放置于***所覆盖的空间区域内。两个控制器,配合VR头显使用,实现交互控制。
初次设定VR头显与控制器的活动范围,需要使用控制器(两只均可),勾动扳机键沿活动区域边缘移动,当回到初始位置附近松开扳机键,控制器的运动轨迹自动闭合为封闭的四边形。然后,将控制器水平放置于划定区域的地面上,***通过扫描,就可以获得当前地面的空间位置。以上操作完成之后,VR头显与控制器的活动区域设置完成,将VR头显与控制器置于该空间区域内。
接下来,也是本发明的重点。根据节目类型,设计360度全景的虚拟三维场景。与普通虚拟三维场景的区别在于,采用了360度全景的设计形式,水平方向四周提供了丰富的景别,整体色调、风格保持一致;顶部采用了封闭式设计,与普通虚拟三维场景一贯的开放式、通透式不同;地面延伸至场景边缘,并进行无缝衔接。对于360度全景的虚拟三维场景,四周可以设计不同的景别,涵盖:主播台、大屏幕、三联屏、点评区、访谈区、静态展示区,甚至开放办公区等,以满足不同类型全景节目的录制,所呈现的全景演播室效果也更加震撼。利用360度全景的虚拟三维场景,与抠像后的前景信号进行合成,实时渲染为全景视频,可直接输出或录制下来生成全景素材。
实施例一:
本发明抓住VR全景节目的沉浸感、临场感的特点,运用虚拟演播室原理,提出了一种虚拟演播室360度全景节目制作的方法,为演播室内全景节目制作提供方便快捷的解决方案。
实施例一是本发明的具体实现方法,图1所示的是虚拟演播室360度全景节目制作方法的***示意图。其中,以L型的绿箱(或蓝箱)为例,进行整个***的说明。空间定位设备包括:两个***,分别是***A和***B;VR头显及两个控制器,分别为控制器1和控制器2。首先,需要将VR头显连接至虚拟演播室主机,USB线缆用于传输空间定位的实时数据,包括:VR头显与控制器的空间位置、角度;HDMI(或DP)线缆用于传输渲染后的360度全景的虚拟三维场景,佩戴VR头显可以置身其中。接着,安装***,设置VR头显与控制器的活动范围。如图1所示,将两个***固定于专业绿箱(或蓝箱)两侧立面外缘距离地面2米以上相同的高度,确保二者之间的视线不受阻挡。考虑到实际情况,绿箱上方悬挂着专业的演播室灯光,若灯光高度比较低可能会遮挡两个***之间的视野,此时可使用专用的同步数据线连接***A、B,保证其正常通讯。建议采用壁挂方式固定***,避免其受地面震动的干扰,影响空间定位的稳定性。将***安装在专用的壁挂架上面,调整***的角度,使其向下倾斜适当的角度,一般为30~45度,可视具体情况而定,朝向活动区域的中心。若要固定***的角度,拧紧接驳的锁止环即可。每个***的扫描视场为水平150度、垂直110度,为了保证精确的空间定位,二者在地面上投影之间的距离需小于8米。
接着,设置VR头显与控制器的活动范围。初次设定时,手持任意一个控制器,勾动扳机键延活动范围的边缘移动,回到初始点位置松开扳机键,控制器的运动轨迹会自动闭合为四边形。接着,需要利用控制器定位地面,将控制器水平放置于划定区域的地面上,两个***通过红外扫描,就能够准确获得地面所处的空间位置。以上操作完成之后,为了保证***正常工作,需要将VR头显置于活动范围以内。两只控制器,主要配合VR头显进行交互控制,如不使用可保持关闭。
制作演播室内的全景节目,通常会有1-4个拍摄机位,从不同角度拍摄专业绿箱(或蓝箱)及演播室灯光环境下的人物和景物,即前景信号。如图1所示,其中的拍摄设备,指专业摄像机、消费级DV、单反(或微单)相机等,能够将高清前景信号通过HD-SDI/HDMI线缆,输出至虚拟演播室主机。
对于音频的处理,也是虚拟演播室不可或缺的部分。拍摄现场,主持人与嘉宾的声音通过话筒、背景音效通过专业播放器分别接入调音台,混音之后经过USB线缆输出至虚拟演播室主机。后者实现音频采集、合成、延时等处理,此处并不是本发明的重点,不做过多阐述。
本实施例所述方法的实现步骤描述如下:
参见图2,是发明实施例一所述虚拟演播室主机功能模块的逻辑关系示意图。在虚拟演播室主机内部,包含了视频I/O、真三维场景、参数设置、导播切换、抠像、合成渲染、录制、VR终端通讯,以及外部音频处理等功能模块。接下来,结合360度全景节目制作的具体流程进行介绍。
拍摄环境仍然是专业绿箱(或蓝箱),配合专业的演播室灯光。通常有2-4台拍摄设备,用于拍摄高清前景信号。拍摄设备(若干,至少一个),所拍摄的高清前景信号输出至虚拟演播室主机。由视频I/O模块,对不同拍摄机位的前景信号进行采集,并逐帧交给抠像模块进行专业抠像处理。抠像模块,逐帧将前景信号中纯色(绿或蓝)抠掉;然后,带阿尔法通道的前景信号,逐帧送给合成渲染模块。
真三维场景模块,导入制作演播室全景节目需要使用的360度全景的虚拟三维场景,兼容3D设计软件生成的.obj、.x、或.3ds格式的场景文件。根据节目类型定制的360度全景的虚拟三维场景,水平方向四周包含了丰富的景别。场景设计时,结合拍摄置景的需要,已经预置了可以切入高清前景信号的主持人框,画幅为16:9。与主持人框相对应,在360度全景的虚拟三维场景中,预置了虚拟摄像机对主持人框与后面的景别进行拍摄。
360度全景的虚拟三维场景载入完成后,由渲染合成模块进行实时渲染处理,通过HDMI(或DP)线缆输出至VR头显,佩戴VR头显之后,可以置身360度全景的虚拟三维场景内,进行沉浸式的预览。初始视点的位置为场景的中心点,默认状态下场景中所有预置的主持人框都是隐藏的。此时,能够直观感受360度全景的虚拟三维场景的空间范围,通过参数配置模块对虚拟三维场景的大小进行调整。场景设计时并没有具体的限制,360度全景的虚拟三维场景可以设计的很宏大,也可以设计的很别致。使用控制器可以在虚拟三维场景中任意漫游,通过触摸板的方向键进行移动,遍历水平方向四周的虚拟置景。
随后,需要完成全景节目制作相关参数的设置。根据VR头显的预览情况,将360度全景的虚拟三维场景调整为合适的大小。然后,针对全景节目制作所选取的景别,显示该景别预置的主持人框,参考对应虚拟机位所呈现的拍摄视角,将真实机位拍摄的前景信号切入主持人框中。针对该虚拟机位,从下拉列表中选择实际拍摄设备的信号源。此时,主持人框内的前景信号,经过视频I/O模块采集,以及抠像模块的专业抠像处理,带阿尔法通道可以直接与虚拟背景进行合成渲染。采用相同的方法,将所有真实拍摄机位的前景信号切入虚拟机位对应的主持人框里。然后,根据前景信号与虚拟背景之间的构图效果,对主持人框的大小进行缩放、前后位置进行调整;虚拟机位的视点位置也改变,沿着X轴、Y轴,及Z轴方向移动;当虚拟机位的空间位置确定后,还可以改变其镜头朝向及焦距,使虚拟机位呈现出最佳的合成效果。考虑到全景节目的观看视点,应与实际佩戴VR头显后的高度基本一致,所以虚拟机位的高度不宜过高或过低。而且,虚拟机位的视角,将作为全景节目在该观看视点的初始视角。通过调整主持人框与虚拟机位的空间位置,可以将前景信号清晰的呈现于全景节目观看视点前方,保证局部画面的清晰度。若实际拍摄过程中,前景信号中有杂景入画,如绿箱上方的灯光,因真实拍摄机位在节目制作过程中固定不动,这些杂景都利用算法在参数配置模块中将其去除。
全景节目录制的准备工作完成后,将所有配置参数保存为工程文件,下次可以直接调用。接着,可以进行全景节目录制,利用导播切换模块,以平面的形式实时预览各虚拟机位的合成画面,并根据现场情况,在不同的虚拟机位之间进行切换调度。当前虚拟机位的合成信号,作为PGM信号直接输出或录制下来。而且,导播切换可叠加转场特效,如淡入淡出等,符合全景视频的特点比较常用。
全景节目录制过程中,针对导播切换的当前虚拟机位,以该虚拟机位的视角作为初始视角,由合成渲染模块进行前景信号与虚拟背景的合成处理,实时渲染为3840*2160分辨率的全景视频,可以通过视频I/O模块直接输出,或逐帧送给录制模块,将其录制到本地生成4K分辨率的全景节目。随着现场的导播切换,实时合成渲染的全景视频,其观看视点及初始视角跟随虚拟机位而改变。
此外,演播室全景节目录制过程中,还需要对音频进行处理,主持人、嘉宾的声音通过话筒,现场背景音效通过专用播放器,分别接入调音台,经过混音之后,经过USB线缆送给虚拟演播室主机。由外部音频处理模块,实现音频采集、延时,及静音处理,然后送给合成渲染模块,完成全景视频与现场音频的合成。
本实施例所述方法带来的益处非常明显:利用虚拟演播室原理,设计360度全景的虚拟三维场景,其中涵盖了丰富的拍摄景别,可以在其中完成演播室内全景节目的录制。在专业绿箱(或蓝箱)及演播室灯光的拍摄环境中,摄像机拍摄的前景信号经过抠像处理,将带阿尔法通道的前景信号切入主持人框,主持人框置于360度全景的虚拟三维场景内合适的景别,经过实时合成渲染,录制为全景节目。采用这种方法,解决了全景摄像机拍摄镜头之间存在的拼缝问题;也不会因实际拍摄引入无关的杂景;而且,通过调整主持人框与观看视点的距离,解决全景视频局部特写清晰度不高的问题。当然,其中依靠VR定位和头显设备,对渲染后的360度全景的虚拟三维场景进行预览和漫游,遍历其中设计的所有虚拟景别。利用360度全景的虚拟三维场景,可以完成多档节目的制作,节目改版也很容易,只需要重新设计虚拟三维场景。通过上述的方法,即可制作出形式丰富、效果震撼的演播室全景节目。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种虚拟演播室360度全景节目制作的***,包括:
两个***、VR头显、两个控制器、至少一个摄像机,以及虚拟演播室主机;
所述两个***及控制器与VR头显之间采用无线方式进行实时数据通讯,所述两个***固定于绿箱或蓝箱两侧立面外缘距离地面2米以上相同高度的位置,所述VR头显及控制器放置于***所覆盖的空间区域内,所述两个控制器配合VR头显使用,实现交互控制;
所述VR头显分别通过USB与HDMI线缆与虚拟演播室主机连接,所述摄像机通过HD-SDI/HDMI线缆与虚拟演播室主机连接;
所述虚拟演播室主机包含如下功能模块:视频I/O、真三维场景、参数设置、导播切换、抠像、合成渲染、录制、VR终端通讯,以及外部音频处理模块;
视频I/O模块,对不同拍摄机位的前景信号进行采集,并逐帧交给抠像模块进行专业抠像处理;
抠像模块,逐帧将前景信号中纯色抠掉;然后,带阿尔法通道的前景信号,逐帧送给合成渲染模块;
真三维场景模块,导入制作演播室全景节目需要使用的360度全景的虚拟三维场景;载入完成后,合成模块对载入的360度全景的虚拟三维场景进行实时渲染处理,通过HDMI或DP线缆输出至VR头显;
勾动所述控制器的扳机键沿活动区域边缘移动,当回到初始位置附近松开扳机键,控制器的运动轨迹自动闭合为封闭的四边形;
将控制器水平放置于划定区域的地面上,***通过扫描,获得当前地面的空间位置。
2.根据权利要求1所述的一种虚拟演播室360度全景节目制作的***,其特征在于,进一步包括:
调音台,与所述虚拟演播室主机通过USB线缆连接。
3.根据权利要求1所述的一种虚拟演播室360度全景节目制作的***,其特征在于,
所述USB线缆用于传输空间定位的实时数据,包括:***、VR头显、控制器的空间位置、角度;HDMI线缆用于将虚拟演播室主机渲染的360度全景的虚拟三维场景输出至VR头显的屏幕。
4.一种虚拟演播室360度全景节目制作的方法,包括:
使用专用的同步数据线连接两个***,并利用两个***设置VR头显与控制器的活动范围,包括:
勾动所述控制器的扳机键沿活动区域边缘移动,当回到初始位置附近松开扳机键,控制器的运动轨迹自动闭合为封闭的四边形;
将控制器水平放置于划定区域的地面上,***通过扫描,获得当前地面的空间位置;
根据节目类型设计360度全景的虚拟三维场景;
在VR头显中实时预览渲染后360度全景的虚拟三维场景;
在绿箱或蓝箱与演播室灯光的环境下,摄像机拍摄高清前景信号,并经过抠像处理,将带阿尔法通道的前景信号切入虚拟三维场景中的主持人框内;
实时合成渲染为全景视频,将其录制以生成全景节目或者直接输出;所述360度全景的虚拟三维场景中,水平方向四周提供多种景别,整体色调、风格保持一致;顶部采用封闭式设计;地面延伸至场景边缘,并进行无缝衔接;
所述多种景别包括:主播台、大屏幕、三联屏、点评区、访谈区、静态展示区、开放办公区;
还可以进行全景节目录制,利用导播切换模块,以平面的形式实时预览各虚拟机位的合成画面,并根据现场情况,在不同的虚拟机位之间进行切换调度;当前虚拟机位的合成信号,作为PGM信号直接输出或录制下来,而且导播切换可叠加转场特效为PGM信号直接输出或录制下来;全景节目录制的准备工作完成后,将所有配置参数保存为工程文件,下次可以直接调用。
CN201811497814.5A 2018-12-07 2018-12-07 一种虚拟演播室360度全景节目制作的方法及*** Expired - Fee Related CN109639933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811497814.5A CN109639933B (zh) 2018-12-07 2018-12-07 一种虚拟演播室360度全景节目制作的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811497814.5A CN109639933B (zh) 2018-12-07 2018-12-07 一种虚拟演播室360度全景节目制作的方法及***

Publications (2)

Publication Number Publication Date
CN109639933A CN109639933A (zh) 2019-04-16
CN109639933B true CN109639933B (zh) 2021-12-24

Family

ID=66072074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811497814.5A Expired - Fee Related CN109639933B (zh) 2018-12-07 2018-12-07 一种虚拟演播室360度全景节目制作的方法及***

Country Status (1)

Country Link
CN (1) CN109639933B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290290A (zh) * 2019-06-21 2019-09-27 深圳迪乐普数码科技有限公司 云vr演播室的实现方法、装置、计算机设备及存储介质
CN110517346B (zh) * 2019-08-30 2021-06-18 腾讯科技(深圳)有限公司 虚拟环境界面的展示方法、装置、计算机设备及存储介质
CN110866978A (zh) * 2019-11-07 2020-03-06 辽宁东智威视科技有限公司 一种实时混合现实视频拍摄中的相机同步方法
CN111399653A (zh) * 2020-03-24 2020-07-10 北京文香信息技术有限公司 一种虚拟互动的方法、装置、设备和计算机存储介质
CN112312112A (zh) * 2020-11-02 2021-02-02 北京德火科技有限责任公司 一种ar沉浸式全景仿真***多终端操控***及其控制方法
CN112383679A (zh) * 2020-11-02 2021-02-19 北京德火科技有限责任公司 一种ar沉浸式全景仿真***异地同屏远程采访方式及其控制方法
CN113489920A (zh) * 2021-06-29 2021-10-08 维沃移动通信(杭州)有限公司 一种视频合成方法、装置及电子设备
CN114173020A (zh) * 2021-12-31 2022-03-11 北京德火科技有限责任公司 一种应用于多虚拟演播室的前后景分离方法及***
CN114173021B (zh) * 2022-02-14 2022-06-24 中国传媒大学 基于高清多屏的虚拟演播方法、***
CN114845136B (zh) * 2022-06-28 2022-09-16 北京新唐思创教育科技有限公司 视频合成方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205622745U (zh) * 2016-05-10 2016-10-05 倪宏伟 虚拟现实真人实时合成***
CN106657719A (zh) * 2017-01-04 2017-05-10 海南大学 一种智能虚拟演播室***
CN106663411A (zh) * 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的***和方法
CN207460313U (zh) * 2017-12-04 2018-06-05 上海幻替信息科技有限公司 混合现实演播室***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11665308B2 (en) * 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663411A (zh) * 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的***和方法
CN205622745U (zh) * 2016-05-10 2016-10-05 倪宏伟 虚拟现实真人实时合成***
CN106657719A (zh) * 2017-01-04 2017-05-10 海南大学 一种智能虚拟演播室***
CN207460313U (zh) * 2017-12-04 2018-06-05 上海幻替信息科技有限公司 混合现实演播室***

Also Published As

Publication number Publication date
CN109639933A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109639933B (zh) 一种虚拟演播室360度全景节目制作的方法及***
US10582182B2 (en) Video capture and rendering system control using multiple virtual cameras
CN106358036B (zh) 一种以预设视角观看虚拟现实视频的方法
US10121284B2 (en) Virtual camera control using motion control systems for augmented three dimensional reality
CN101692693B (zh) 一种多功能一体化演播室***和演播方法
US10154194B2 (en) Video capturing and formatting system
CN110225224B (zh) 虚拟形象的导播方法、装置及***
CN105264876A (zh) 低成本电视制作的方法及***
KR101530826B1 (ko) 360도 공간영상 재생방법 및 그 시스템
US8885022B2 (en) Virtual camera control using motion control systems for augmented reality
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
CN109803094A (zh) 一种虚拟三维场景编辑***、方法及装置
GB2436921A (en) Methods and apparatus providing central, primary displays with surrounding display regions
US11176716B2 (en) Multi-source image data synchronization
KR20160021706A (ko) 360도 공간영상 재생방법 및 그 시스템
CN107172413A (zh) 现实场景视频显示方法和***
US20090153550A1 (en) Virtual object rendering system and method
CN116320363B (zh) 一种多角度虚拟现实拍摄方法及***
CN107888890A (zh) 一种基于在线合成的场景包装装置及方法
KR102474451B1 (ko) 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램
CN112887514A (zh) 一种适用于影视虚拟拍摄和制作的实时可视化方法与***
JP2019102940A (ja) 仮想視点コンテンツ生成システム、音声処理装置、仮想視点コンテンツ生成システムの制御方法、及びプログラム
CN207652589U (zh) 一种基于在线合成的场景包装装置
JP2002271692A (ja) 画像処理方法、画像処理装置、スタジオ装置、スタジオシステム及びプログラム
Tricart Live-Action VR Capture and Post-Production

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211224

CF01 Termination of patent right due to non-payment of annual fee