CN113905224A - 一种vr3d视频 - Google Patents

Abstract

本发明公开的VR3D视频结构及其拍摄和显示方法，结合了VR全景显示、3D视频缩放与平移、VR/3D切换技术，克服了3D视频沉浸感不足、VR显示角分辨率低的缺点，具备全景视野沉浸感和热点区域细节刻画的特点。VR3D视频可以采用专业或便捷的摄影器材进行拍摄，在5G网络的支持下传输、分发、分享，用户端高清晰全景显示以及3D视频自由切换，具有沉浸显示、人景交互、立体生动的优势，用户可以在虚拟环境中体验到自由流畅的观感。采用VR3D视频技术和拍摄设备可以打造全新体验的旅游、社交、直播、购物平台，便携式VR3D一体机还可以为用户提供端对端双向实景视频通话，真正体验到天涯如咫尺。

Description

一种VR3D视频

技术领域：

本发明涉及一种VR3D视频的结构，以及拍摄和显示方法。

背景技术：

采用FHD、4K、8K等各种清晰度拍摄的3D视频，每帧3D图像可以达到4M～64M像素。高清3D视频的优点在于，拍摄时配合长短焦距或变焦镜头组可以追踪视野内的远近热点场景，全画面满足视网膜屏所需要的分辨率要求。不足之处在于，画面记录下来的视野有限，观看者无法选择视野外的场景显示，播放什么样的画面观众只能被动接受，缺乏变化与沉浸式交互感，有聚焦有细节但缺乏广度，让3D视频的魅力大打折扣。

VR中采用了360°全景3D记录、主动环视观看技术，其带来的现场感和沉浸感是单纯的3D视频难以企及的。但是，VR视频由于包含的全景视野过于宏大，在显示视窗中影像的分辨率相对较低，比如4K VR全景视频在显示窗口的清晰度只相当于480P；VR视频一般都会采用固定焦距和焦点的方式拍摄，依靠短焦距和小光圈实现大景深，严格来说属于“近视眼”，即使视频达到20K的全视角视网膜分辨率，观看者对vr摄像机附近的景像有很高的分辨率，对稍远的景物分辨能力也大幅下降，通过视频放大拉近关注对象近距离观看，会进一步降低视窗图像的角分辨率，并不能获得好的VR显示效果。也就是说VR视频数据虽然巨大，分散后细节表现力依然不足；基于VR拍摄设备技术和体积的限制，稍远处景物细节的立体感很难记录下来。VR视频可以概括为有广度无细节无聚焦，给观众泛泛浏览，缺乏重点描述的感觉。

本发明的目的在于提供一种沉浸式视频结构，以及这种视频的拍摄和显示方法，实现全景场景及热点区域动态细节的主动交互式再现。

发明内容：

本发明公开了一种VR3D视频结构，及其拍摄和显示方法。通过VR和3D设备同时拍摄带时间戳的VR视频和3D视频，其中VR视频记录360°全景，3D视频追踪全景内热点区域，二者时间戳链接，通过VR3D视频显示模块可实时自动或主动切换VR、3D显示。VR热点区域还可以通过影像缩放转场过渡到对应的3D视频，更进一步，3D视频还可以裁剪、插值放大拉近显示热点区域细节，实现沉浸式近眼显示。

本发明所述的VR视频，既指专业设备拍摄的360°全景3D视频，也包括简易设备拍摄的360° 2D视频，是由多个指向不同空间方向的镜头拍摄的视频拼接缝合而成的；所述的3D视频，包括定焦距双镜头、变焦距双镜头以及多镜头组合拍摄的双目视差3D视频，也包含图像加深度格式，以及光场相机等拍摄的3D视频。

360° VR视频的格式有很多种，如360°全景、360°左右全景、360°上下全景等；3D视频的格式也可以分为左右、上下全幅格式，左右、上下半幅格式等，其中左右半幅(SBS)是最常用的3D格式。尽管VR、3D视频的格式多样化、分辨率不统一，我们仍能将几种常用格式及分辨率视频的帧图像，拼接对齐成新的视频帧，新视频帧序列组成VR3D视频。4K VR(3D)视频和4K 3D视频组合成8K VR3D视频帧图像，如图1A所示；4K VR(2D)视频和4K SBS格式的3D视频组合成4K×4K VR3D视频帧图像，如图1B所示。

或者通过时间戳将任意格式的VR视频(9)和3D视频(10)以及音频(11)链接在一起，组成VR3D视频组(12)。还可以实时记录3D视频的焦距和光轴方向，将其视野区域转换成VR视频热点标识区域(7)，链接在VR3D视频(8)或视频组中，如图2所示。VR3D视频组(12)包含但不限于VR视频、3D视频、音频、热点区域标识。VR视频热点标识区域(7)可以内嵌在VR3D视频(8)的VR帧序列中，也可以与VR3D视频(8)外链在一起。

通过视频显示模块，可实现VR3D视频(15)或VR3D视频组(12)在360°全景VR显示和超高清3D视频显示之间的自由转换。VR3D视频显示模块采用主动环视、VR/3D视频切换、3D视频影像缩放及视窗平移技术，实现360°全景空间(17)环视，以及热点区域(22)可拉近、推远进行局部细节3D浏览。通过蒙版用虚框、闪烁、高亮等在VR视频上标记出3D视频随时间流逝所记录的热点区域，当注视到VR热点区域的时候，可以主动或自动切换到3D视频，使VR3D视频兼具了广度和深度。

VR视频清晰度与显示屏幕分辨率、视场角有一个最佳匹配，20K VR视频的角分辨率可以达到1′，采用120度视野、单眼8K的VR头显观看，可以达到视网膜分辨率的要求。尽管冗余的清晰度可以通过数码缩放拉近距离更清晰的观看细节，但这种冗余提供的清晰度其放大倍率十分有限，比如80K VR视频，数据量已经十分巨大了，在视网膜显示精度要求下，也仅仅适合将局部拉近一半的观看距离，所以细节的观察还是要依赖于超高清3D视频。VR3D视频的优点可类比注视点渲染技术，既可以保持视频的全景视野，热点区域也有超高的角分辩率。

VR3D视频的沉浸式显示，需要结合VR全景显示、3D视频缩放与平移、VR/3D切换技术在显示终端上实现。显示终端主要指VR头显，含VR眼镜；也可以是具备3D显示功能的手持移动设备，如裸眼3D手机、PAD等。显示模块可实现如下功能：

a)VR环视360°全景空间(17)，VR头显上的陀螺仪侦测用户(18)头部转动姿态，反馈给显示模块对用户视野区域(19)进行解码和渲染，实时动态显示视野区域(19)的2D/3D图像，如图3所示。

b)3D视频的帧图像(14)在显示窗口(13)完整显示，以及采用图像裁切数字变焦技术实现局部场景的拉近、推远、上下左右平移显示，如图4所示；可预先设定头部姿态或自然动作来控制VR头显缩放、平移3D影像；对于个人手持裸眼3D屏，双指快速缩放画面，单指快速移动画面。

c)根据切换指令(16)，可在VR、3D显示之间实时切换。

d)切换指令：①主动切换，通过虚拟或实物按键、声音等切换VR/3D显示；②自动切换，侦测眼球注视VR视频热点标识区域达到N秒，自动切换到3D视频显示。

这里自然动作是指设置指令的动作与现实意向具有相似性，易于理解，比如偏转头部控制3D视频上下左右平移显示、控制VR视野的转换，注视视窗中心达到N秒钟指令为放大影像，双目闭眼缩小影像等，注视时间默认为N＝3，用户可以根据偏好来设定。

VR视频和3D视频的数据流量都很大，传输、解码、渲染、显示可能带来较大的延迟，以至于切换时出现卡顿，引起帧频降低导致晕眩等问题。可以设置显示数据缓冲区，预先读取解码VR、3D双通道视频数据，减少显示时滞。

VR3D视频的显示如图5所示，显示模块可以设置成开始时用户(18)自由环视VR360°全景空间(17)，接收到切换指令(16)后，VR视频(9)显示转换成3D视频(10)显示。用户可以实时控制VR、3D视频之间的切换，以及3D视频的缩放、平移等。在VR3D视频的任意时刻，用户既可以观看360°全景空间(17)，也可以切换到3D视频(10)，裁切放大帧图像在显示窗口(13)可以看到清晰的局部3D细节。

对于2D全景VR和3D视频的组合，显示终端还可采用单目双目可切换式VR头显(具体描述见专利申请201610635654.0，201610314000.8，201910148232.4)，根据需要切换单目观看全景VR，双目观看3D视频。

VR3D视频的拍摄方式有两种：其一，VR视频拍摄点与3D视频拍摄点可以是分离的，二者拍摄设备不要求在一起，3D设备可移动追踪拍摄热点区域(22)，如图6所示，一般会采用专业VR设备(20)与3D拍摄设备(21)；其二，3D视频拍摄如同一个自由行动的人在仔细观察周围环境，而360° VR视频拍摄对空间方位是不敏感的，根据这一特性，可以将VR及3D镜头设计成一体结构进行拍摄，通常应用于便携设备。VR视频是360°全景拍摄，经过变换后旋转对其无影响；3D镜头有较长的焦距或者采用变焦镜头且可追焦，不遮挡VR镜头的视野。便携式一体机可以自由移动和旋转，保持3D镜头对热点的追踪。

一般来说，360°全景VR本身就是3D的，2D的全景VR作为简化版也可以与3D组合成VR3D视频。专业VR3D拍摄一体机至少具有6个VR镜头，采用体积较大的类球形结构，较大的体积使VR图像拼接重构时具有合适的3D视差，可录制(3D)VR视频；在不遮挡VR镜头的合适位置安装具有较大水平视差的中长焦3D镜头组，专业3D镜头组可以采用一对相同的定焦镜头，或可同步变焦的变焦镜头构成。便携式VR3D一体机最多采用6个VR镜头，安装在类似于长方体的紧凑机身上，可录制(2D)VR视频；在机身一个长侧面的合适位置安装3D镜头组，3D镜头组可以采用一对相同的定焦镜头，也可以采用广角、中长焦镜头的组合。

一般来说3D视频的左右视图分辨率是相同的，但是，当两者清晰度不同，甚至其中一个图像的分辨率不到另一个的1/2，仍然能实现3D显示，其清晰度由分辨率高的图像决定，这一特性称为3D视频的非对称清晰度，利用非对称清晰度可以将不同焦距的镜头组合在一起，实现变焦距3D摄影。在便携式VR3D一体机的结构中，标广镜头、超广镜头、中长焦镜头水平方向依次排列，可组成广角、中长焦变焦距3D镜头组。其中，VR镜头可以替代超广镜头，标广镜头、VR镜头组合，可拍摄广角3D视频；标广镜头、中长焦镜头的组合具有稍大的视差，适合拍摄中长焦3D。不同焦距组合的另一个重要应用是在多镜头手机上实现3D视频拍摄。

VR3D拍摄设备包括但不限于下面的组合形式：

如图7所示的专业VR3D拍摄一体机，机身(23)采用类球形结构，底部有安装接口(28)，共24个VR镜头，单个VR镜头的分辨率不低于16M像素。其中，8个主摄VR镜头(25)拍摄四周景物，8个副摄VR镜头(26)拍摄天空，8个副摄VR镜头(27)拍摄周边地面，可拍摄不低于24K的(3D)VR全景视频(9)；一个中长焦3D镜头组(24)，可拍摄4K或8K的3D视频(10)。

如图8所示的超高清VR3D一体机，机身(23)采用长方体结构，水平置放，底面有安装接口(28)，2个VR镜头(25)分布在两端，4个VR镜头(25)分布于上下、前后侧面上，可拍摄超高清晰的(2D)VR全景；在其中一个侧面上，标广镜头(29)、VR镜头(25)、中长焦镜头(30)依次安装，组成变焦距3D镜头组。

如图9所示的便携式VR3D一体机，机身采用扁平长方体结构，水平置放，一个鱼眼VR镜头(31)安装一个侧面靠近端面的位置；一个鱼眼VR镜头(31)、中长焦镜头(30)、标广镜头(29)构成的3D镜头组安装在另一个侧面上，可拍摄(2D)VR全景。考虑到鱼眼VR镜头视场的遮挡、视差和设备体积最佳设计要求，独立于一侧的鱼眼VR镜头(31)与另外3个镜头安装位置错开，3D镜头组中鱼眼VR镜头(31)与中长焦镜头(30)靠近。

如图10所示的多镜头手机(33)，主摄标广镜头(29)、超广镜头(36)、中长焦镜头(30)组成变焦距3D镜头组(35)，其它镜头(37)为微距镜头或长焦镜头，可拍摄标广到中长焦3D视频。通过手机夹外挂VR相机(32)，USB线(34)或WIFI无线连接，实现VR3D拍摄。

附图说明：

图1是VR3D视频帧图像拼合示意图。

图2是VR3D视频及VR3D视频组链接示意图。

图3是VR视频显示示意图。

图4是3D视频放大、平移显示示意图。

图5是VR、3D视频显示切换示意图。

图6是VR、3D分离拍摄示意图。

图7是专业VR3D一体机示意图。

图8是超高清VR3D一体机镜头分布示意图。

图9是便携式VR3D一体机镜头分布示意图。

图10智能手机外挂VR相机示意图。

上述各附图中的图示标号为：

1 VR视频左帧图像，2 VR视频右帧图像，3 3D视频左帧图像，4 3D视频右帧图像，5VR视频帧图像，6视频音频流时间戳，7 VR视频热点标识区域，8包含音频的VR3D视频，9 VR视频，10 3D视频，11音频，12 VR3D视频组，13显示窗口，14 3D视频的帧图像，15包含热点区域的VR3D视频，16切换指令，17 360°全景空间，18用户，19视野区域，20专业VR设备，21 3D拍摄设备，22热点区域，23机身，24中长焦3D镜头组，25主摄VR镜头，26天空副摄VR镜头，27地面副摄VR镜头，28安装接口，29标广镜头，30中长焦镜头，31鱼眼VR镜头，32 VR相机，33多镜头手机，34 USB线，35变焦距3D镜头组，36超广镜头，37其它镜头。

本发明公开的VR3D视频结构及其拍摄和显示方法，结合了VR全景显示、3D视频缩放与平移、VR/3D切换技术，克服了3D视频沉浸感不足、VR显示角分辨率低的缺点，具备全景视野沉浸感和热点区域细节刻画的特点。VR3D视频可以采用专业或便捷的摄影器材进行拍摄，在5G网络的支持下传输、分发、分享，用户端高清晰全景显示以及3D视频自由切换，具有沉浸显示、人景交互、立体生动的优势，用户可以在虚拟环境中体验到自由流畅的观感。采用VR3D视频技术和拍摄设备可以打造全新体验的旅游、社交、直播、购物平台，便携式VR3D一体机还可以为用户提供端对端双向实景视频通话，真正体验到天涯如咫尺。

具体实施案例：

实施案例一，VR、3D分离拍摄。适用于大多数环境，包括剧场、舞台、活动、旅游录播或直播。专业VR设备(20)与3D拍摄设备(21)是分离的，3D拍摄设备(21)可移动追踪热点区域(22)，如图6所示，专业VR设备(20)拍摄的多路视频经过缝合处理可输出8K、16K甚至24K的(3D)VR视频，3D拍摄设备(21)可输出单眼4K、8K的超高清视频。将剪辑后的VR视频(9)、3D视频(10)、音频(11)时间戳对齐，链接成VR3D视频组(12)，所谓时间戳对齐是指同一时刻记录的VR、3D帧图像和声音，在视频音频流时间戳(6)上处于同一时刻。VR3D视频组数据流经过5G网络传输、分发、分享到VR头显、3D显示屏等用户终端，经过VR3D显示模块解码、渲染后显示出来。如图5所示，显示模块首先播放VR视频(9)，用户(18)可以转动头部自由观看360°全景空间(17)影像；接收到切换指令(16)后显示模块关闭VR视频(9)，开启3D视频(10)显示，除了观看热点区域(22)完整的3D影像，用户还可以放大拉近3D影像观看局部细节；再次接收到切换指令(16)后，显示模块关闭3D视频(10)，开启VR视频(9)显示。

实施案例二，VR3D视频采用专业或超高清一体机拍摄。可应用于旅游、舞台、导购、活动记录等的直播或录播，还可与VR3D视频用户端实现双向视频互动。如图7所示，专业VR3D一体机具有24个VR镜头，可拍摄不低于24K的(3D)VR视频(9)；中长焦3D镜头组(24)可拍摄单眼4K或8K的超高清3D视频(10)。如图8所示，超高清VR3D一体机具有6个VR镜头(25)，可拍摄8K、16K的(2D)VR视频(9)；一个侧面上标广镜头(29)、VR镜头(25)、中长焦镜头(30)组成变焦距3D镜头组，可拍摄单眼4K 3D视频(10)。在VR视频(9)上通过蒙版用闪烁的虚框标记出随时间变化的热点区域(22)，当用户眼睛注视VR视频热点标识区域(7)超过N秒的时候，自动切换到3D视频(10)，在切换过程中，可以设置影像缩放转场实现视频平滑过渡。VR3D一体机自由移动拍摄热点区域(22)3D影像，其移动和转动不影响VR视频的拍摄，实时将VR视频(9)、3D视频(10)、音频(11)、VR视频热点标识区域(7)链接成VR3D视频组(12)，视频数据流经5G网络实时传输、分发、分享到用户终端显示，实现录播、直播或双向实景视频通话。

实施案例三，VR3D视频采用便携式一体机或外挂式VR3D手机拍摄，方便自由移动，可应用于视频通话、旅游、直播、短视频等。如图9所示，一体机具有两个鱼眼VR镜头(31)，可拍摄4K、8K的(2D)VR视频(9)；一个侧面上标广镜头(29)、鱼眼VR镜头(31)、中长焦镜头(30)组成变焦距3D镜头组，可拍摄单眼4K 3D视频(10)。如图10所示，VR相机(32)通过手机夹外挂在多镜头手机(33)上，可拍摄4K、8K的(2D)VR视频(9)；手机的标广镜头(29)、超广镜头(36)、中长焦镜头(30)组成变焦距3D镜头组(35)，可拍摄单眼4K 3D视频(10)。VR视频(9)和3D视频(10)的帧图像拼合在一起，构成4K*4K的VR3D视频(8)，如图1B所示。外挂式VR3D手机，或者便携式VR3D一体机连接具备VR或裸眼3D显示功能的高性能5G手机，可以实时完成非对称清晰度3D视频的编辑、与VR视频帧图像的拼合，实时传输给视频通话对象，同时接收对方发送过来的VR3D视频(8)数据，解码显示，实现终端对终端的双向实景视频通话。

Claims (10)

1.一种VR3D视频，其特征在于，VR和3D设备同时拍摄带时间戳的VR视频(9)和3D视频(10)，VR视频(9)记录360°全景空间(17)，3D视频(10)记录全景空间内热点区域(22)，VR视频(9)和3D视频(10)的帧图像拼接对齐成新的VR3D视频帧序列，或者通过时间戳将VR视频(9)和3D视频(10)以及音频(11)链接在一起，组成VR3D视频组(12)，用户通过显示模块可实时切换VR视频(9)、3D视频(10)显示。

2.如权利要求1所述的VR3D视频，其特征还在于，实时记录3D视频的焦距和光轴方向，将其视野区域转换成VR视频热点标识区域(7)，链接在包含音频的VR3D视频(8)或VR3D视频组(12)中。

3.如权利要求1或2所述的VR3D视频，其特征还在于，显示模块可实现如下功能：

a)VR环视360°全景空间(17)，VR头显上的陀螺仪侦测用户(18)头部转动姿态，反馈给显示模块对用户视野区域(19)进行解码和渲染，实时动态显示视野区域(19)的2D/3D图像；

b)3D视频的帧图像(14)在显示窗口(13)完整显示，以及采用图像裁切数字变焦技术实现局部场景的拉近、推远、上下左右平移显示，可预先设定头部姿态或自然动作来控制3D影像缩放、平移；

c)根据切换指令(16)，在VR、3D显示之间实时切换；

d)切换指令：①主动切换，通过虚拟或实物按键、声音等切换VR/3D显示；②自动切换，侦测眼球注视VR视频热点标识区域达到N秒，自动切换到3D视频显示。

4.如权利要求3所述的VR3D视频，其特征还在于，VR视频拍摄点与3D视频拍摄点分离，二者拍摄设备不要求在一起，3D设备可移动追踪拍摄热点区域(22)。

5.如权利要求3所述的VR3D视频，其特征还在于，VR及3D镜头组设计或安装成一体结构，VR镜头组拍摄360°全景空间，VR镜头的旋转对拼接缝合的VR视频没有影响，可以随着3D镜头组一起自由移动和旋转，保持3D镜头组对热点区域的追踪拍摄。

6.如权利要求5所述的VR3D视频，其特征还在于，VR3D拍摄一体机至少有6个VR镜头，采用体积较大的类球形结构，可录制(3D)VR视频，在不遮挡VR镜头的合适位置安装具有较大水平视差的中长焦3D镜头组，3D镜头组采用一对相同的定焦镜头，或可同步变焦的变焦镜头构成。

7.如权利要求5所述的VR3D视频，其特征还在于，VR3D拍摄一体机采用不超过6个VR镜头，安装在近似长方体的紧凑机身上，可录制(2D)VR视频，在机身一个侧面的合适位置安装3D镜头组。

8.如权利要求7所述的VR3D视频，其特征还在于，一体机机身(23)采用长方体结构，水平置放，底面有安装接口(28)，2个VR镜头(25)分布在两端，4个VR 镜头(25)分布于上下、前后侧面上，在其中一个侧面上，标广镜头(29)、VR镜头(25)、中长焦镜头(30)依次安装，组成变焦距3D镜头组。

9.如权利要求7所述的VR3D视频，其特征还在于，一体机机身(23)采用扁平长方体结构，水平置放，一个鱼眼VR镜头(31)安装一个侧面靠近端面的位置；一个鱼眼VR镜头(31)、中长焦镜头(30)、标广镜头(29)构成的3D镜头组安装在另一个侧面上，独立于一侧的鱼眼VR镜头(31)与另外3个镜头安装位置错开，3D镜头组中鱼眼VR镜头(31)与中长焦镜头(30)靠近。

10.如权利要求5所述的VR3D视频，其特征还在于，多镜头手机(33)的主摄标广镜头(29)、超广镜头(36)、中长焦镜头(30)组成变焦距3D镜头组(35)，可拍摄标广到中长焦3D视频，外挂VR相机(32)拍摄VR视频，在手机上完成非对称清晰度3D视频的编辑，与VR视频帧图像的拼合成包含音频的VR3D视频(8)。

Images