CN113132712A - 双焦距视频的沉浸式显示方法 - Google Patents

Abstract

本发明公开了一种双焦距视频的沉浸式显示方法，通过A、B双焦距照相设备同时拍摄两个带时间戳的3D视频，其中镜头A拍摄整体场景，镜头B拍摄主体特写，播放时用户可以在整体场景与主体特写之间实时切换，还可以通过影像缩放平滑过渡，更进一步，还可以在视频B主体特写的基础上进一步裁剪插值影像，放大拉近主体，实现沉浸式近眼显示。本发明公开的沉浸式显示方法，运用了单目运动视差、非对称清晰度3D技术，克服了3D视频沉浸感不足、VR显示角分辨率低的缺点。双焦距视频保留了整体感和丰富的视频细节，具有场景推拉和环视的显示功能，消除碎片化观看的感觉。

Description

双焦距视频的沉浸式显示方法

技术领域：

本发明涉及一种双焦距视频的沉浸式显示方法。

背景技术：

采用双机位拍摄的包括FHD、4K、8K等各种清晰度的左右视差3D视频，每帧图像可以达到4M～64M像素，而3D手机、PAD、电视机、投影仪或VR一体机等屏幕的清晰度通常只有2M～4M像素，不能满足3D视频的高清完整显示需求。视频节目常采用多机位摄录、切换、剪辑，观看节目内容的主动选择权不在观众手中，播放什么样的画面观众只能被动接受。另外，3D视频的多机位拍摄比较困难，缺少细节、缺乏变化与沉浸交互感，让3D视频的魅力大打折扣。

VR显示中采用了大视野、3D拍摄、360°场景、主动式环视观看技术，其带来的现场感和沉浸感是单纯的3D视频难以企及的。但是，VR视频由于包含的全景视野过于宏大，在显示视窗中影像的分辨率相对较低，比如4K VR全景视频显示窗口的清晰度还达不到480P，由于VR全景视频的角分辨率较低，除了能主动选择环视场景的优点外，拉近关注对象近距离观看会进一步降低角分辨率，并不能获得好的VR显示效果。

本发明的目的在于提供一种双焦距拍摄视频的沉浸式显示方法，将具有宽广场景、丰富细节的3D视频，结合VR显示的主动环视技术，通过影像缩放和视窗平移将场景拉近、推远以及环视局部细节，可以主动、交互式再现整体场景，展示主体动态细节。

发明内容：

本发明公开了一种双焦距视频的沉浸式显示方法，通过A、B双焦距视频设备同时拍摄两个带时间戳的视频或3D视频，其中镜头A(1)拍摄整体场景(8)，镜头B(2)拍摄主体特写(9)，播放时用户可以在整体场景(8)与主体特写(9)之间主动实时切换。除了焦距直接切换之外，A、B双焦距视频之间还可以通过清晰影像缩放平滑过渡；更进一步，还可以在B焦距主体特写的基础上进一步裁剪插值影像，放大拉近主体，实现沉浸式近眼显示，如图10所示。

本发明所述的双焦距视频设备，可以是不同等效焦距的相机或摄像机的组合，如图1所示；也可以指能同时录制两个视频、具有不同焦距的多镜头拍照手机，如图9所示；B焦距还可以采用光学变焦镜头，与A镜头的数字变焦形成3D视频，如图6所示。A、B等效焦距并不特指某个值，一般A为广角镜头，B为中长焦镜头，B焦距大于A，镜头A(1)摄录整体，镜头B(2)摄录局部。

双焦距视频拍摄设备有两种链接方式：软链接和硬链接。前者适合摄录固定场景，广角镜头A视野固定，中长焦镜头B的光轴可调整，实时追踪被拍摄的主体；后者适合移动场景，A、B双焦镜头硬链接固定成一个整体，一起追踪整个场景和主体，更适合拍摄具有运动视差的影像。双焦距视频分为3D视频和2D视频，2D视频在下面的描述中简称视频，下面分别说明这两种双焦距视频的拍摄方法。

在合适的水平视差位置上，一组焦距为A的广角镜头同步拍摄A_L、A_R两个视频，组合成3D视频A；一组焦距为B的中长焦镜头同步拍摄B_L、B_R两个视频，组合成3D视频B；3D视频A和3D视频B具有共同的时间戳，组合成双焦距3D视频。两组3D视频的水平视差可以相同，如图1a所示；也可以不同，在通常情况下3D视频B的视差要大于3D视频A的视差，如图1b所示。双焦距3D视频在同一时刻的4幅A_L、A_R、B_L、B_R帧图像拼合在一起，组合成新的视频帧，此时全高清视频变成4K视频，或者4K视频变成8K视频，如图2所示，双焦距3D视频组成一个视频文件来存储、传输、播放。显然，A_L、A_R、B_L、B_R4个视频文件独立，作为一组双焦距3D视频存储也是可行的，它们之间由共同的时间戳链接在一起。

在合适的水平视差位置上，具有焦距A的广角镜头与焦距B的中长焦镜头同时拍摄两个视频，广角镜头A(1)拍摄整体场景(8)，中长焦镜头B(2)拍摄主体特写(9)，如图3所示。广角视频A和中长焦视频B具有共同的时间戳，组成双焦距视频，双焦距视频在同一时刻的2幅帧图像拼合在一起，按时序可以组合成新的双焦距视频帧存储，如图4所示。同样，两个视频文件作为一组双焦距视频独立存储也是可行的，它们之间由共同的时间戳链接在一起。单镜头拍摄的视频A、视频B属于2D视频，但只要视频内容中存在运动视差，就可以通过单眼视觉形成立体感觉；通过裁切视频A帧图像(14)，放大后与同时刻的视频B帧图像(15)可以组成非对称清晰度的双目3D视频，同样可以形成沉浸式3D显示，如图5所示。

一般来说组成3D图像和3D视频的左右分辨率是相同的，但是，当两者清晰度不同，甚至其中一个图像的分辨率不到另一个的1/2，仍然能实现3D显示，其清晰度由分辨率高的图像决定，本发明把这一特性称为3D视频的非对称清晰度，本发明多处应用到这一特性。利用非对称清晰度可以将不同的镜头组合在一起，让手机拍摄3D视频成为可能，其次还可以节省存储空间。

双焦距视频和双焦距3D视频的沉浸式显示，需要结合数字变焦、单目双目可切换立体技术的播放APP在显示终端上实现。显示终端主要指VR头显、个人手持裸眼3D屏，也包括其它用户可操控的显示屏。播放APP可实现如下功能：

a)完整显示视频A(或3D视频A)、视频B(或3D视频B)，并可在两者之间实时切换；

b)显示视频A、视频B时，采用画面裁切数字变焦技术实现局部场景的拉近、推远、平移显示；

c)显示缩放控制：①高度满屏的居中显示，画面可左右移动；②100％像素显示，画面居中局部显示，可上下左右平移、环视；③在完整场景与200％像素显示之间放大率可调，画面可平移、环视；

d)切换方式控制：①对于VR头显，依靠设定的显示姿态切换A、B视频，缩放和移动画面；②个人手持裸眼3D屏，双指快速缩放画面，单指快速移动画面。

依据视频源的拍摄方法不同，双焦距视频显示方法主要分为四类：双焦距3D视频、双焦距视频、双焦距变焦视频和注视点高分辨率同屏显示。

如图2所示，双焦距3D视频的帧图像拼合在一起，组成双焦距3D视频，显示终端可采用裸眼3D显示屏、眼镜式3D显示屏或者VR头显。其中3D视频A或3D视频B按3D显示终端的要求以交织或者分屏的方式进行显示，用户主动控制3D视频A、B的切换，以及画面的缩放，场景的拉近推远、平移环视等。在视频的任意时刻，用户既可以看到完整的3D场景，也可以通过切换3D视频B并数字放大，拉近距离看到清晰的局部3D细节。

如图4所示，双焦距A视频帧图像(14)与B视频帧图像(15)拼合在一起，组合成双焦距视频，显示终端可采用单目双目可切换式VR头显(具体描述见专利申请201610635654.0，201610314000.8，201910148232.4)，可以根据需要切换单目或双目、整屏或分屏的显示方式。用户可以主动控制视频A、视频B的切换，以及画面的缩放，场景的拉近推远、平移环视等。由于具有运动视差，除了以单目显示带来立体感之外，对A视频帧图像(14)进行裁切放大，与B视频帧图像(15)组成非对称清晰度3D视频，如图5所示，在单目双目可切换式VR头显上实现3D显示。在视频的任意时刻，用户既可以看到完整的运动视差场景，也可以通过切换视频B及数字放大拉近距离看到清晰的局部细节，还可以切换到3D显示模式，如图10所示。具有运动视差的双焦距视频在2D大屏上播放时，整体场景视频A和主体特写视频B之间可实时切换，屏幕或视频上可***“请闭上一只眼”的文字或声音提示，观众可以在2D屏幕上体验到强烈的立体感。双焦距视频在裸眼3D手机或PAD上显示时，用户可以在视频A、视频B、非对称清晰度3D视频之间实时切换以及数字缩放。

如图6所示，智能手机的广角镜头A(1)与外挂变焦拍摄模块(3)组合可实现3D视频的变焦距拍摄，通过外挂变焦镜头和手机数字变焦实现变焦3D视频功能。如果将手机广角、中长焦与外挂模块一起协同拍摄，既可以满足合适的水平视差，也可以实现更好的变焦性能。如图7所示，手机广角A视频帧图像(14)和外挂变焦B视频帧图像(18)拼合在一起，组成双焦距变焦视频。根据视频B时间轨上记录的焦距，以相应的放大率对视频A进行裁切放大，与视频B组成非对称清晰度3D视频；或者，对同一时间戳的视频A、B帧图像进行匹配比较，计算出视频A帧图像的放大率，进行裁切放大，与视频B组成非对称清晰度3D视频。显示终端可采用单目双目可切换式VR头显、裸眼3D手机或PAD、2D大屏，用户可以在视频A、视频B、非对称清晰度3D视频之间实时切换以及数字缩放。

如图8所示，双焦距3D视频中，右视点A_R、B_R靠近，左视点A_L、B_L靠近，视频A_R与视频B_R可拼合成中心区域高分辨率、周边视野低分辨率的右视点视频，视频A_L与视频B_L可拼合成中心区域高分辨率、周边视野低分辨率的左视点视频。显示终端采用具有高分辨率中心注视区显示功能的VR头显，周边视野区域低分辨率显示3D视频A，中心注视点区域高分辨率显示3D视频B，不需要进行A、B视频的切换就可以显示大视野、高清晰的3D视频。

附图说明：

图1是双焦距3D视频拍摄装置位置示意图。

图2是双焦距3D视频帧图像拼合示意图。

图3是双焦距视频拍摄场景示意图。

图4是双焦距视频帧图像拼合示意图。

图5是双焦距视频帧图像裁切组合成3D视频的示意图。

图6是智能手机与外挂变焦拍摄模块组合实物图。

图7是双焦距变焦视频帧图像拼合示意图。

图8是中心注视区域高分辨率图像拼合示意图。

图9智能手机多镜头排列实物图。

图10是双焦距视频帧图像切换、缩放、平移环视示意图。

上述各附图中的图示标号为：

1镜头A，2镜头B，3变焦拍摄模块，4超广镜头，5中焦人像镜头，6长焦镜头，7标准广角主摄镜头，8整体场景，9主体特写，10 A_L视频帧图像，11 A_R视频帧图像，12 B_L视频帧图像，13 B_R视频帧图像，14 A视频帧图像，15 B视频帧图像，16 A视频裁切图像，17 A视频裁切放大图像，18变焦视频帧图像，19显示窗口。

本发明公开的双焦距视频沉浸式显示方法，运用了单目运动视差、非对称清晰度3D技术，克服了3D视频沉浸感不足、VR显示角分辨率低的缺点，可以利用简单便捷的摄影器材，如手机进行3D拍摄、传输、分享，具有沉浸显示、立体生动的优势。与VR全景3D视频相比，除了保留主动选择的优势，还具备高清晰度和更好的立体感，以及极其丰富的视频细节。双焦距视频具有场景推拉和环视的功能，消除碎片化观看的感觉。

具体实施案例：

实施案例一，双焦距视频拍摄和显示方法。如图3所示，Sony RX0M2的等效焦距为24mm，作为广角相机拍摄视频A，Sony A6300微单及E50 1.8镜头的等效焦距为75mm，作为中长焦镜头拍摄视频B。视频A、B均为4K视频，在A视频帧图像(14)合适的位置裁切出A视频裁切图像(16)，重新插值成为4K的A视频裁切放大图像(17)，与B视频帧图像(15)组合成3D视频。采用单目双目可切换VR头显播放双焦距视频，用户可在单目或双目视频A、单目或双目视频B、双目3D视频之间实时切换，并且在任何显示状态下，视频画面还可以通过实时缩放实现拉近、推远的效果。如图9所示，拍照手机的超广镜头(4)、中焦人像镜头(5)、长焦镜头(6)、标准广角主摄镜头(7)一字排开，在超广镜头(4)和标准广角主摄镜头(7)之间有足够的间距满足3D拍摄需要的水平视差，因此超广镜头(4)和标准广角主摄镜头(7)可以组成双焦距镜头同时拍摄视频A和视频B。手机上的其它镜头之间只要满足水平视差要求，也可以形成双焦距组合，例如中焦人像镜头(5)和标准广角主摄镜头(7)。有些手机的主摄镜头和深度镜头可以拍摄2D图像+深度图像组合成的3D视频，也能显示一定的3D效果。

实施案例二，双焦距3D视频拍摄和显示方法。如图1所示，两台Sony RX0M2的等效焦距为24mm，作为广角相机拍摄整体场景，两台Sony A6300微单及E50 1.8镜头的等效焦距为75mm，作为中长焦镜头拍摄主体特写，视频A_R、A_L、B_R、B_L均为FHD或4K视频。视频A_R、A_L组合成3D视频A，视频B_R、B_L组合成3D视频B。采用VR头显播放，可在广角3D视频A、中长焦3D视频B之间实时切换，3D场景还可以通过实时缩放拉近推远，用户既可以看到整体、也可以看到局部特写。双焦距3D视频十分适合裸眼3D手机或PAD播放，除了3D视频A、B之间的实时切换，还可以双指快速缩放影像，单指快速移动影像，在整体与局部，远景与细节之间便捷转换。

实施案例三，双焦距变焦视频拍摄和显示方法。如图6所示，Sony QX10镜头相机的等效焦距为25-250mm，外挂在智能手机上。智能手机广角镜头拍摄视频A，外挂镜头相机拍摄变焦视频B。视频A为FHD或4K视频，视频B为FHD视频，根据视频B时间轨上记录的焦距，以相应的放大率对视频A进行裁切放大，与视频B组合成变焦3D视频。采用单目双目可切换VR头显播放，用户可在单目或双目视频A、单目或双目变焦视频B、双目变焦3D视频之间实时切换。双焦距变焦视频十分适合裸眼3D手机或PAD播放，不需要在视频A、B之间进行切换，直接播放数字变焦与光学变焦组合成的3D视频即可，在裸眼3D触摸屏上以双指快速缩放影像，单指快速移动影像，在整体与局部，远景与细节之间便捷转换。

双焦距视频是一种新的视频文件结构，其实质是所记录的动态影像中每一时刻的帧图像包含了整体场景和主体特写，视频A和视频B含有立体视差和运动视差，播放时用户可以在整体与特写之间实时切换，实现沉浸式3D显示。

Claims (10)

1.一种双焦距视频及显示方法，其特征在于，通过A、B双焦距视频设备同时拍摄两个带时间戳的视频或3D视频，其中镜头A(1)拍摄整体场景(8)，镜头B(2)拍摄主体特写(9)，播放时用户可以在整体场景(8)与主体特写(9)之间实时切换。

2.如权利要求1所述的双焦距视频及显示方法，其特征还在于，视频A和视频B之间还可以通过影像缩放平滑过渡，在视频B主体特写的基础上进一步裁剪插值影像，放大拉近主体，实现沉浸式近眼显示。

3.如权利要求1或2所述的双焦距视频及显示方法，其特征还在于，一组焦距为A的广角镜头同步拍摄A_L、A_R两个视频，组合成3D视频A；一组焦距为B的中长焦镜头同步拍摄B_L、B_R两个视频，组合成3D视频B；3D视频A和3D视频B具有共同的时间戳，组合成双焦距3D视频。

4.如权利要求1或2所述的双焦距视频及显示方法，其特征还在于，具有焦距A的广角镜头与焦距B的中长焦镜头同时拍摄两个视频，广角镜头A(1)拍摄整体场景(8)，中长焦镜头B(2)拍摄主体特写(9)，视频A和视频B具有共同的时间戳，组成双焦距视频，双焦距视频在同一时刻的2幅帧图像拼合在一起，按时序组合成新的双焦距视频文件存储，或者，视频A、视频B独立存储，它们之间由共同的时间戳链接在一起。

5.如权利要求4所述的双焦距视频及显示方法，其特征还在于，视频A、视频B含有运动视差，可以通过单目观看形成立体感觉，裁切视频A帧图像(14)放大，与同时刻的视频B帧图像(15)组合成非对称清晰度的3D视频，视频A、视频B、3D视频之间可以实时切换。

6.如权利要求5所述的双焦距视频及显示方法，其特征还在于，拍照手机的超广镜头(4)、中焦人像镜头(5)、长焦镜头(6)、标准广角主摄镜头(7)一字排开，在超广镜头(4)和标准广角主摄镜头(7)之间有足够的间距满足3D拍摄需要的水平视差，超广镜头(4)和标准广角主摄镜头(7)可以组成双焦距镜头同时拍摄视频A和视频B。

7.如权利要求1或2所述的双焦距视频及显示方法，其特征还在于，智能手机的广角镜头A(1)与外挂变焦拍摄模块(3)组合，手机广角A视频帧图像(14)和外挂变焦B视频帧图像(18)拼合成双焦距变焦视频，根据视频B时间轨上记录的焦距，以相应的放大率对视频A进行裁切放大，与视频B组成变焦3D视频，或者，对同一时间戳的视频A、视频B帧图像进行匹配比较，计算出视频A帧图像的放大率，进行裁切放大，拼合成变焦3D视频，在裸眼3D手机或PAD上直接播放，以双指快速缩放影像，单指快速移动影像，在整体与局部，远景与细节之间便捷转换。

8.如权利要求1或2所述的双焦距视频及显示方法，其特征还在于，双焦距3D视频中，右视点A_R、B_R靠近，左视点A_L、B_L靠近，视频A_R与视频B_R可拼合成中心区域高分辨率、周边视野低分辨率的右视点视频，视频A_L与视频B_L可拼合成中心区域高分辨率、周边视野低分辨率的左视点视频，显示终端采用具有高分辨率中心注视区显示功能的VR头显，周边视野区域低分辨率显示3D视频A，中心注视点区域高分辨率显示3D视频B。

9.如权利要求4所述的双焦距视频及显示方法，其特征还在于，具有运动视差的双焦距视频在2D大屏上播放时，整体场景视频A和主体特写视频B之间可实时切换，屏幕或视频上***“请闭上一只眼”的文字或声音提示，观众可以在2D屏幕上体验到强烈的单目立体感。

10.如权利要求1所述的双焦距视频及显示方法，其特征还在于，结合数字变焦、单目双目可切换立体显示技术，视频播放APP可实现如下功能：

a)完整显示视频A(或3D视频A)、视频B(或3D视频B)，并可在两者之间实时切换；

b)显示视频A、视频B时，采用画面裁切数字变焦技术实现局部场景的拉近、推远、平移显示；

c)显示缩放控制：①高度方向满屏的居中显示，画面可左右移动；②100％像素显示，画面居中局部显示，可上下左右平移、环视；③在完整场景与200％像素显示之间放大率可调，画面可平移、环视；

d)切换方式控制：①对于VR头显，依靠设定的显示姿态切换A、B视频，缩放和移动画面；②个人手持裸眼3D屏，双指快速缩放画面，单指快速移动画面。

Images