CN114466176B - 一种全景视频显示方法及显示设备 - Google Patents

Abstract

本申请实施例提供一种全景视频显示方法及显示设备。该方法包括分别获取第一视频帧第二视频帧对应的用户视点的第一朝向和第二朝向；根据所述第一朝向和第二朝向间的夹角、所述第一视频帧和第二视频帧的时间间隔确定用户视点的旋转速度和旋转方向；根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，确定第三朝向对应的视点投影位置，并确定视点投影位置对应的第一高清视频分块列表；从视频服务器下载所述第一高清视频分块列表中的高清视频分块；在所述第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示所述第三视频帧，从而降低全景视频显示时低清数据切换为高清数据的时间，进而提升用户感受。

Description

一种全景视频显示方法及显示设备

技术领域

本申请涉及全景视频技术领域，尤其涉及一种全景视频显示方法及显示设备。

背景技术

全景视频是基于360度全景图像而发展的一种新型的多媒体形式，通过将一系列静态的全景图像连续播放而转化成动态的全景视频。全景视频一般由软件将全景摄像机采集的各个方位的视频图像拼合而成的，并使用专门的播放器进行播放，将平面视频投影为360度全景模式，呈现给观赏者水平方向360度、垂直方向180度的全包围空间视域。观赏者可以通过头部动作、眼球运动、遥控器控制等方式控制全景视频的播放，从而体会身临其境的感受。作为一种新型异构多媒体业务，全景视频业务流含有音频、视频、文本、交互、控制指令等多种数据类型，具有多样化的服务质量(Quality of Service，QoS)需求。

全景视频的显示可采用视场角(Field Angle of View，FOV)传输方案，FOV传输方案主要关注当前视点区域画面的质量，一般对全景视频图像在空间上进行分块，再执行多码率编码生成若干视频流，显示设备根据用户视点传输相应分块的视频流，解码后显示。由于FOV传输方案在用户视点的朝向改变时，先显示低清数据，在高清数据加载完成切换为高清数据并显示。因此，降低低清数据和高清数据的切换时间以显示全景视频图像，是亟待解决的问题。

发明内容

本申请提供了一种全景视频显示方法及显示设备，通过降低低清数据和高清数据的切换时间，提高全景视频显示速度，进而提升用户感受。

本申请的一些实施例提供一种显示设备，包括：

显示器，与图形处理器连接，被配置为显示全景视频图像；

存储器，与图形处理器连接，被配置为存储计算机指令；

图形处理器，被配置为根据计算机指令执行以下操作：

获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向；

根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的时间间隔确定用户视点的旋转速度，并根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的先后顺序确定用户视点的旋转方向；

根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，根据所述第三朝向确定视点投影位置，并确定所述视点投影位置对应的第一高清视频分块列表；

从视频服务器下载所述第一高清视频分块列表中的高清视频分块；

在所述第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示所述第三视频帧。

第二方面本申请实施例提供一种全景视频显示方法，包括：

获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向；

根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的时间间隔确定用户视点的旋转速度，并根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的先后顺序确定用户视点的旋转方向；

根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，根据所述第三朝向确定视点投影位置，并确定所述视点投影位置对应的第一高清视频分块列表；

从视频服务器下载所述第一高清视频分块列表中的高清视频分块；

在所述第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示所述第三视频帧。

第三方面，本申请实施例提供一种显示设备，包括：

获取模块，用于获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向；

确定模块，用于根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的时间间隔确定用户视点的旋转速度，并根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的先后顺序确定用户视点的旋转方向；根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，根据所述第三朝向确定视点投影位置，并确定所述视点投影位置对应的第一高清视频分块列表；

下载模块，用于从视频服务器下载所述第一高清视频分块列表中的高清视频分块；

显示模块，用于在所述第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示所述第三视频帧。

本申请的上述实施例中，显示设备获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向，根据第一朝向和第二朝向间的夹角、第一视频帧和第二视频帧的时间间隔确定用户视点的旋转速度，并根据第一朝向和第二朝向间的夹角、第一视频帧和第二视频帧的先后顺序确定用户视点的旋转方向，根据用户视点的旋转速度和旋转方向便可预测第三视频帧播放时刻的用户视点的第三朝向，进而确定第三朝向的视点投影位置，预测方法简单、快速；确定视点投影位置后，根据视点投影位置对应的第一高清视频分块列表；从视频服务器下载第一高清视频分块列表中的高清视频分块，在第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示第三视频帧，由于高清视频分块是根据视点投影位置对应的第一高清视频分块列表事先从视频服务器下载的，从而降低了全景视频显示时由低清视频分块切换为高清视频分块的时间，进而提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了根据示例性实施例中VR头戴显示设备200的结构示意图；

图2中示例性示出了本申请实施例中显示设备200的硬件配置框图；

图3中示例性示出了根据示例性实施例中显示设备200功能结构示意图；

图4中示例性示出了本申请实施例提供的全景视频显示方法的流程示意图；

图5中示例性示出了本申请实施例提供的用户视点朝向的关系图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中使用的术语″遥控器″，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。

以虚拟现实(Virtual Reality，VR)头戴式显示设备为例，图1示例性示出了本申请的实施例提供的VR头戴显示设备的结构图。如图1所示，VR头戴显示设备10包括透镜组101以及设置于透镜组101正前方的显示终端102其中透镜组101由左显示镜片1011和右显示镜片1012组成。用户在使用VR头戴显示设备10时，人眼可以通过透镜组101观看显示终端102显示的全景视频图像，体验VR效果。

需说明的是，本申请实施例中的显示设备还可以是智能手机、平板电脑、计算机、笔记本电脑等具有全景视频播放功能和交互功能的设备。以显示设备为智能电视为例，图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。

在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。

在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。根据显示器275类型不同，还包括用于驱动显示的驱动组件。

在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。

在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。

在一些实施例中，显示设备200可以通过通信器220与外部控制装置100或内容提供设备之间建立控制信号和数据信号发送和接收。

在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。

在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。

在一些实施例中，检测器230包括光接收器、图像采集器、温度传感器等。

在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应环境噪声。

在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。

在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。

在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。

在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

如图2所示，控制器250包括随机存取存储器251(Random Access Memory，RAM)、只读存储器252(Read-Only Memory，ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。

在一些实施例中，RAM 251用于存储操作***或其他正在运行中的程序的临时数据。

在一些实施例中，ROM 252用于存储各种***启动的指令。

在一些实施例中，ROM 252用于存储一个基本输入输出***，称为基本输入输出***(Basic Input Output System，BIOS)。用于完成对***的加电自检、***中各功能模块的初始化、***的基本输入/输出的驱动程序及引导操作***。

在一些实施例中，在收到开机信号时，显示设备200电源开始启动，CPU运行ROM252中***启动指令，将存储在存储器的操作***的临时数据拷贝至RAM 251中，以便于启动或运行操作***。当操作***启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中，然后，以便于启动或运行各种应用程序。

在一些实施例中，CPU处理器254，用于执行存储在存储器中操作***和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。

在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。

在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2，则解复用模块进行解复用成视频信号和音频信号等。

视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。

帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。

显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。

在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conversion))架构。

在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。

在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。

在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。

供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。

用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。

存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。

基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。

全景视频相对于传统视频有着分辨率高、数据量大、码率高的特点，全景视频分辨率不断提高，逐渐由4K转向8K，甚至12K、16K，对网络传输带宽要求较高。为了降低全景视频传输对带宽的要求，减少数据冗余，提高可支持的视频分辨率，全景视频的显示可采用FOV传输方案，FOV传输方案是基于视点位置传输全景视频的方案，主要关注当前用户视点的可视区域内视频的高质量传输，全景视频一般在空间上划分为多个视频分块，再执行多码率编码生成若干视频流，显示设备根据视点位置传输相应视频分块的视频流，解码后显示。由于FOV传输方案在视点位置改变时，在视点投影位置所在的可视区域先显示低清视频数据，在高清视频数据加载完成时切换为高清视频数据并显示，切换时间较长，用户体验较差。

为了降低低清视频数据切换为高清视频数据的时间，可通过预测并获取与视点位置密切相关的高清视频分块数据集，以减轻由高清视频分块数据调度造成的带宽不足和时延压力，从而降低高低清视频数据的切换时间。目前，学术界一般使用用户浏览全景视频的历史视点位置的轨迹数据，采用深度学习的方法训练预测模型，通过训练好的预测模型预测视点位置。但该方法需要大量的历史数据，难以获取，且预测模型的训练时间较长，使该方法难以普及。

基于上述分析，本申请实施例提供一种全景视频显示方法及显示设备。该方法通过第一视频帧对应的用户视点的第一朝向和第二视频帧对应的用户视点的第二朝向预测第三视频帧播放时刻的视点投影位置，根据预测的视点投影位置对应的高清视频分块列表事先从视频服务器下载高清视频分块，从而降低了全景视频播放时由低清视频分块切换为高清视频分块的时间，进而提高了用户体验。

值得说明的是，本申请实施例中的方法可以适用于显示本地的全景视频图像，还可适用于显示在线(包括点播和直播两种模式)的全景视频图像。

为清楚描述本申请的实施例，对本申请中的名词进行解释。

三维渲染管线中，几何顶点被组合为图元，图元包括：点、线段、多边形。图元经光栅化之后输出片元序列。片元并不是真正意义上的像素，而是包含了很多状态的集合，这些状态用于计算每个像素的最终颜色。这些状态包括了(但不限于)片元的屏幕坐标，深度信息，以及其他从几何阶段输出的顶点信息，例如法线、纹理坐标等。

下面结合附图对本申请实施例进行详细描述。

图3中示例性示出了根据示例性实施例中显示设备200功能结构示意图。如图所示，包括获取模块301、确定模块302、下载模块303、显示模块304。

获取模块301，被配置为获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向；

确定模块302，被配置为根据第一朝向和第二朝向间的夹角、第一视频帧和第二视频帧的时间间隔确定用户视点的旋转速度，并根据第一朝向和第二朝向间的夹角、第一视频帧和第二视频帧的先后顺序确定用户视点的旋转方向；根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，根据第三朝向确定视点投影位置，并确定视点投影位置对应的第一高清视频分块列表；

下载模块303，被配置为从视频服务器下载第一高清视频分块列表中的高清视频分块；

显示模块304，在第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示第三视频帧。

本申请的一些实施例中，预先创建包含至少一个网格的全景视频球面网格，用于全景视频帧的渲染显示，并预先创建一个虚拟相机(相当于用户的眼睛)用于确定显示全景视频帧的空间范围。其中，虚拟相机可以设置在全景视频球面网格的中心。

图4中示例性示出了本申请实施例提供的全景视频显示方法的流程示意图。该流程可由具有全景视频显示功能的显示设备执行，可在显示设备的某一视点(用户视点)下，快速显示全景视频。该流程可通过软件方式实现，也可通过软硬件结合的方式实现。如图所示，该流程包括以下几步：

S401：获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向。

该步骤中，在不同时刻用户视点有不同的朝向，在t1时刻用户视点的第一朝向为对应第一视频帧，在t2时刻用户视点的第二朝向为/>对应第二视频帧。

S402：根据第一朝向和第二朝向间的夹角、第一视频帧和第二视频帧的时间间隔确定用户视点的旋转速度，并根据第一朝向和第二朝向间的夹角、第一视频帧和第二视频帧的先后顺序确定用户视点的旋转方向。

该步骤中，计算第一朝向和第二朝向/>间的夹角，记为∠α，并计算第一视频帧和第二视频帧的时间间隔，记为Δt，用户视点的旋转速度为第一朝向/>和第二朝向/>间的夹角与第一视频帧和第二视频帧的时间间隔的商，记为v＝∠α/Δt。基于两条线确定一个平面的原理，根据第一朝向/>和第二朝向/>确定用户视点的旋转平面，记为A，如图5所示，圆心O记为用户视点，将垂直于平面A且经过用户视点的直线设置为旋转轴，根据第一朝向对应的第一视频帧以及第二朝向对应的第二视频帧的先后顺序，确定用户视点绕旋转轴的旋转方向，记为/>比如，第一视频帧先于第二视频帧显示，则用户视点的旋转方向为从/>转向/>

S403：根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，根据第三朝向确定视点投影位置，并确定视点投影位置对应的第一高清视频分块列表。

该步骤中，根据S402确定的用户视点的旋转速度v和旋转方向可以预测第三视频帧播放时刻的用户视点的第三朝向/>比如，第一视频帧先于第二视频帧显示，第二视频帧先于第三视频帧显示，第二视频帧和第三视频帧的时间间隔为Δt1，则第三朝向/>和第二朝向/>间的夹角∠β＝v*Δt1，根据向量点积公式可以确定第三朝向/>根据预测的用户视点的第三朝向/>与全景视频球面网格的交点的经纬度坐标，确定第三朝向在全景视频球面网格上的视点投影位置，并确定视点投影位置对应的第一高清视频分块列表。

值得说明的是，第三视频帧播放时刻可根据实际情况进行设置，本申请实施例不做具体限制，视点位置和高清视频分块列表的对应关系可预先设置。

S404：从视频服务器下载第一高清视频分块列表中的高清视频分块。

该步骤中，从视频服务器下载高清视频分块时，按照高清视频分块与视点投影位置的距离由近及远的先后顺序，从视频服务器下载第一高清视频分块列表中的高清视频分块，由于在显示全景视频时，用户视点的注意力主要集中在视点投影位置周围，与视点投影位置距离较远的高清视频分块一般处于用户视点的余光范围，因此，按照高清视频分块与视点投影位置的距离由近及远的先后顺序，可以保证用户视点可视范围的中心区域的高清视频分块先被下载并显示，能够提升用户的视觉体验。

S405：在第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示第三视频帧。

本申请的上述实施例中，根据第一视频帧对应的第一朝向和第二视频帧对应的第二朝向间的夹角和时间间隔确定用户视点的旋转速度，并根据夹角和视频帧的先后顺序确定用户视点的旋转方向，便可预测设定时间点的视频帧对应的朝向，进而确定该朝向对应的视点位置，得到对应的高清视频分块列表，与采用深度学习训练的预测模型预测视点位置的方法相比，本申请实施例提供的方法预测简单，预测时间较短；根据预测得到的第一高清视频分块列表事先从视频服务器下载对应的高清视频分块，减少了全景视频显示时低清视频分块切换为高清视频分块的时间，进而提高了用户体验。

由于预测的第三视频帧播放时刻的第一高清视频分块列表和真实的第三视频帧播放时刻的第二高清视频分块列表可能存在误差，即，第二高清视频分块列表中的高清视频分块可能不存在于第一高清视频分块列表中，和/或，第一高清视频分块列表中的高清视频分块不存在于第二高清视频分块列表中。

为了解决上述问题，在一些实施例中，在第三视频帧播放时刻到达时，根据当前视点投影位置确定对应的第二高清视频分块列表，其中当前视点投影位置的确定方式与第三视点位置确定方式相同，在此不再重复；分别判断第二高清视频分块列表中的每一高清视频分块是否存在于第一高清视频列表中，若第二高清视频分块列表中至少一个高清视频分块不存在于第一高清视频分块列表中，则从视频服务器下载相应的高清视频分块。

在另一些实施例中，分别判断第一高清视频分块列表中的每一高清视频分块是否存在于第二高清视频分块列表中，若第一高清视频分块列表中的至少一个高清视频分块不存在于第二高清视频分块列表中，且相应的高清视频分块的分块编号存在于下载队列中等待下载，则从下载队列中删除相应的高清视频分块的分块编号；或者，若第一高清视频分块列表中的至少一个高清视频分块不存在于第二高清视频分块列表中，且相应的高清视频分块已被下载，则删除相应的高清视频分块。

本申请的上述实施例中，通过预测的第三视频帧播放时刻的第一高清视频分块列表和真实的第三视频帧播放时刻的第二高清视频分块列表的比较，提高了高清视频分块显示的准确率，进而提升了用户体验。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (9)

1.一种显示设备，其特征在于，包括：

显示器，与图形处理器连接，被配置为显示全景视频图像；

存储器，与所述图形处理器连接，被配置为存储计算机指令；

所述图形处理器，被配置为根据所述计算机指令执行以下操作：

获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向；

根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的时间间隔确定用户视点的旋转速度；

根据所述第一朝向和所述第二朝向确定用户视点的旋转平面，将垂直于所述平面且经过用户视点的直线设置为旋转轴，并根据所述第一朝向对应的所述第一视频帧以及所述第二朝向对应的所述第二视频帧的先后顺序，确定用户视点绕所述旋转轴的旋转方向；

根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，根据所述第三朝向确定视点投影位置，并确定所述视点投影位置对应的第一高清视频分块列表；

从视频服务器下载所述第一高清视频分块列表中的高清视频分块；

在所述第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示所述第三视频帧。

2.如权利要求1所述的显示设备，其特征在于，所述图形处理器进一步被配置为：

在所述第三视频帧播放时刻到达时，根据当前视点投影位置确定对应的第二高清视频分块列表；

若所述第二高清视频分块列表中的至少一个高清视频分块不存在于所述第一高清视频分块列表中，则从所述视频服务器下载所述至少一个高清视频分块。

3.如权利要求1所述的显示设备，其特征在于，所述图形处理器进一步被配置为：

在所述第三视频帧播放时刻到达时，根据当前视点投影位置确定对应的第二高清视频分块列表；

若所述第一高清视频分块列表中的至少一个高清视频分块不存在于所述第二高清视频分块列表中，且所述至少一个高清视频分块的分块编号存在于下载队列中等待下载，则从所述下载队列中删除所述至少一个高清视频分块的分块编号；或者

若所述第一高清视频分块列表中的至少一个高清视频分块不存在于所述第二高清视频分块列表中，且所述至少一个高清视频分块已被下载，则删除所述至少一个高清视频分块。

4.如权利要求1-3中任一项所述的显示设备，其特征在于，所述图形处理器从视频服务器下载所述第一高清视频分块列表中的高清视频分块，具体被配置为：

按照高清视频分块与所述视点投影位置的距离由近及远的先后顺序，从所述视频服务器下载所述第一高清视频分块列表中的高清视频分块。

5.如权利要求1-4中任一项所述的显示设备，其特征在于，所述图形处理器根据所述第三朝向确定视点投影位置，具体被配置为：

根据所述第三朝向与全景视频球面网格的交点的经纬度坐标，确定所述第三朝向在全景视频球面网格上的视点投影位置。

6.一种全景视频显示方法，其特征在于，包括：

获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向；

根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的时间间隔确定用户视点的旋转速度；

根据所述第一朝向和所述第二朝向确定用户视点的旋转平面，将垂直于所述平面且经过用户视点的直线设置为旋转轴，并根据所述第一朝向对应的所述第一视频帧以及所述第二朝向对应的所述第二视频帧的先后顺序，确定用户视点绕所述旋转轴的旋转方向；

根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，根据所述第三朝向确定视点投影位置，并确定所述视点投影位置对应的第一高清视频分块列表；

从视频服务器下载所述第一高清视频分块列表中的高清视频分块；

在所述第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示所述第三视频帧。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

在所述第三视频帧播放时刻到达时，根据当前视点投影位置确定对应的第二高清视频分块列表；

若所述第二高清视频分块列表中的至少一个高清视频分块不存在于所述第一高清视频分块列表中，则从所述视频服务器下载所述至少一个高清视频分块。

8.如权利要求6所述的方法，其特征在于，所述方法还包括：

在所述第三视频帧播放时刻到达时，根据当前视点投影位置确定对应的第二高清视频分块列表；

若所述第一高清视频分块列表中的至少一个高清视频分块不存在于所述第二高清视频分块列表中，且所述至少一个高清视频分块的分块编号存在于下载队列中等待下载，则从所述下载队列中删除所述至少一个高清视频分块的分块编号；或者

若所述第一高清视频分块列表中的至少一个高清视频分块不存在于所述第二高清视频分块列表中，且所述至少一个高清视频分块已被下载，则删除所述至少一个高清视频分块。

9.一种显示设备，其特征在于，包括：

获取模块，用于获取第一视频帧对应的用户视点的第一朝向，以及第二视频帧对应的用户视点的第二朝向；

确定模块，用于根据所述第一朝向和所述第二朝向间的夹角、所述第一视频帧和所述第二视频帧的时间间隔确定用户视点的旋转速度；以及，根据所述第一朝向和所述第二朝向确定用户视点的旋转平面，将垂直于所述平面且经过所述用户视点的直线设置为旋转轴，并根据所述第一朝向对应的所述第一视频帧以及所述第二朝向对应的所述第二视频帧的先后顺序，确定所述用户视点绕所述旋转轴的旋转方向；以及，根据用户视点的旋转速度和旋转方向预测第三视频帧播放时刻的用户视点的第三朝向，根据所述第三朝向确定视点投影位置，并确定所述视点投影位置对应的第一高清视频分块列表；

下载模块，用于从视频服务器下载所述第一高清视频分块列表中的高清视频分块；

显示模块，用于在所述第三视频帧播放时刻到达时，根据下载得到的高清视频分块，渲染并显示所述第三视频帧。