CN111200748A - 全景视频的视场控制方法、装置、电子设备及存储介质 - Google Patents

全景视频的视场控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111200748A
CN111200748A CN201811367835.5A CN201811367835A CN111200748A CN 111200748 A CN111200748 A CN 111200748A CN 201811367835 A CN201811367835 A CN 201811367835A CN 111200748 A CN111200748 A CN 111200748A
Authority
CN
China
Prior art keywords
view
field
window
playing
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811367835.5A
Other languages
English (en)
Inventor
付宇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811367835.5A priority Critical patent/CN111200748A/zh
Publication of CN111200748A publication Critical patent/CN111200748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开提供了一种全景视频的视场控制方法、装置、电子设备及存储介质，其中，方法包括：将全景视频中的视频帧映射为三维模型的表面纹理；确定所述视频帧的符合播放策略的视场方向；当所述符合播放策略的视场方向不同于当前播放窗口的视场方向时，转换播放窗口的视场方向与所述符合播放策略的视场方向一致；将所述播放窗口的视场在所述三维模型的表面纹理中进行投影，得到处于所述播放窗口的视场的纹理区域；在所述播放窗口中渲染得到的所述纹理区域。

Description

全景视频的视场控制方法、装置、电子设备及存储介质
技术领域
本公开涉及媒体播放技术，尤其涉及一种全景视频的视场控制方法、装置、电子设备及存储介质。
背景技术
通信基础设施的不断发展，使得终端网络通信的速率不断提升，从而各种媒体形式特别是视频在网络中得到前所未有地广泛传播。全景视频是对用户感知视频方式的拓展，视频中的内容的展现能够呈现丰富多样的方式。
例如，在全景视频中，用户不再是纯粹的观看者，还可以与全景视频进行互动，全景视频中的视场能够根据用户的需求进行方向转动，且视场中的对象(例如景物、人等)能够根据用户意愿进行缩放，从而用户可以关注全景视频中感兴趣的内容，并给用户如同身临其境的感知效果。
全景视频在播放过程中，由于视场的可切换的特性，会出现用户不知道如何选择视场以达到较好的观看体验，视场可灵活切换与播放效果展现存在错位。
发明内容
有鉴于此，本公开实施例提供一种全景视频的视场控制方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供一种全景视频的视场控制方法，包括：
将全景视频中的视频帧映射为三维模型的表面纹理；
确定所述视频帧的符合播放策略的视场方向；
当所述符合播放策略的视场方向不同于当前播放窗口的视场方向时，转换播放窗口的视场方向与所述符合播放策略的视场方向一致；
将所述播放窗口的视场在所述三维模型的表面纹理中进行投影，得到处于所述播放窗口的视场的纹理区域；
在所述播放窗口中渲染得到的所述纹理区域。
上述方案中，所述确定所述视频帧的符合播放策略的视场方向，包括：
从全景视频文件中提取所述视频帧对应的解码元数据；
解码所述视频帧对应的解码元数据，得到所述视频帧对应的播放参数；
基于所得到的所述播放参数，确定所述视频帧的符合播放策略的视场方向。
上述方案中，所述播放参数包括缩放参数，所述方法还包括：
基于所述缩放参数，确定用于实现所述视场的虚拟镜头的放大倍数；
基于所确定的所述放大倍数，控制所述视频帧对应播放窗口的视场的缩放比例。
上述方案中，所述确定所述视频帧的符合播放策略的视场方向，包括：
对所述视频帧进行目标对象检测，得到检测结果；
当所述检测结果表征所述视频帧中包含所述目标对象时，确定所述视频帧的对应所述目标对象的视场方向，为所述符合播放策略的视场方向。
上述方案中，所述方法还包括：
确定所述视频帧对应播放窗口的视场的缩放比例，使得所述播放窗口中呈现的所述目标对象的大小与所述播放窗口相适配。
上述方案中，所述将全景视频中的视频帧映射为三维模型的表面纹理，包括：
将所述视频帧的像素点映射到纹理空间，得到所述像素点的纹理坐标；
将所述像素点的纹理坐标映射到所述三维模型表面的顶点坐标，以形成所述三维模型的表面纹理。
上述方案中，所述方法还包括：
确定与所述播放窗口的子窗口对应的子窗口视场；所述子窗口视场的方向不同于所述符合播放策略的视场方向；
将所述子窗口视场在所述三维模型的表面纹理中进行投影，得到处于所述子窗口视场的纹理区域；
在所述子窗口中渲染得到的所述纹理区域。
上述方案中，所述确定与所述播放窗口的子窗口对应的子窗口视场，包括：
根据所确定的所述符合播放策略的视场方向，与所述子窗口视场的方向之间的关系，确定所述子窗口视场的方向；或者，
根据所述全景视频中的目标对象，确定包括所述目标对象的视场的方向为所述子窗口视场的方向。
第二方面，本公开实施例提供一种全景视频的视场控制装置，所述装置包括：
映射单元，用于将全景视频中的视频帧映射为三维模型的表面纹理；
确定单元，用于确定所述视频帧的符合播放策略的视场方向；
转换单元，用于当所述符合播放策略的视场方向不同于当前播放窗口的视场方向时，转换播放窗口的视场方向与所述符合播放策略的视场方向一致；
投影单元，用于将所述播放窗口的视场在所述三维模型的表面纹理中进行投影，得到处于所述播放窗口的视场的纹理区域；
渲染单元，用于在所述播放窗口中渲染得到的所述纹理区域。
上述方案中，所述确定单元，还用于从全景视频文件中提取所述视频帧对应的解码元数据；
解码所述视频帧对应的解码元数据，得到所述视频帧对应的播放参数；
基于所得到的所述播放参数，确定所述视频帧的符合播放策略的视场方向。
上述方案中，所述播放参数包括缩放参数；
所述确定单元，还用于基于所述缩放参数，确定用于实现所述视场的虚拟镜头的放大倍数；
基于所确定的所述放大倍数，控制所述视频帧对应播放窗口的视场的缩放比例。
上述方案中，所述确定单元，还用于对所述视频帧进行目标对象检测，得到检测结果；
当所述检测结果表征所述视频帧中包含所述目标对象时，确定所述视频帧的对应所述目标对象的视场方向，为所述符合播放策略的视场方向。
上述方案中，所述确定单元，还用于确定所述视频帧对应播放窗口的视场的缩放比例，使得所述播放窗口中呈现的所述目标对象的大小与所述播放窗口相适配。
上述方案中，所述映射单元，还用于将所述视频帧的像素点映射到纹理空间，得到所述像素点的纹理坐标；
将所述像素点的纹理坐标映射到所述三维模型表面的顶点坐标，以形成所述三维模型的表面纹理。
上述方案中，所述确定单元，还用于确定与所述播放窗口的子窗口对应的子窗口视场；所述子窗口视场的方向不同于所述符合播放策略的视场方向；
所述投影单元，还用于将所述子窗口视场在所述三维模型的表面纹理中进行投影，得到处于所述子窗口视场的纹理区域；
所述渲染单元，还用于在所述子窗口中渲染得到的所述纹理区域。
上述方案中，所述确定单元，还用于根据所确定的所述符合播放策略的视场方向，与所述子窗口视场的方向之间的关系，确定所述子窗口视场的方向；或者，
根据所述全景视频中的目标对象，确定包括所述目标对象的视场的方向为所述子窗口视场的方向。
第三方面，本公开实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时，实现本公开实施例的全景视频的视场控制方法。
其中，可执行指令可以为安装包、程序、代码、插件、库(动态/静态库)。
第四方面，本公开实施例提供一种存储介质，存储有可执行指令，所述可执行指令被执行时，实现本公开实施例的全景视频的视场控制方法。
应用本公开上述实施例具有以下有益效果：
应用本公开上述实施例，在全景视频播放过程中，实现了符合播放策略的播放窗口的视场方向的自动转换，进而可突出展现重点内容、关键信息等，保证用户拥有好的观看体验。
附图说明
图1为本公开实施例提供的电子设备100的组成结构示意图；
图2是实现本公开实施例的电子设备显示全景视频的流程示意图；
图3是实现本公开实施例的电子设备显示全景视频的流程示意图；
图4A是实现本公开实施例的电子设备显示全景视频的纹理映射示意图；
图4B是实现本公开实施例的电子设备显示全景视频的视场示意图；
图4C是实现本公开实施例的电子设备显示全景视频的投影示意图；
图5为本公开实施例提供的全景视频的视场控制方法的流程示意图；
图6为本公开实施例提供的采用多个窗口播放全景视频的一个界面示意图；
图7为本公开实施例提供的全景视频的视场控制方法的流程示意图；
图8为本公开实施例提供的全景视频的视场控制方法的流程示意图；
图9是实现本公开实施例的全景视频的视场控制装置的结构示意图。
具体实施方式
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开实施例的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本公开实施例。
本公开实施例提供的附图中的流程图和框图，图示了按照本公开实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词和术语进行说明，本公开实施例中涉及的名词和术语适用于如下的解释。
1)全景视频，是指在各种电子设备中播放能够供用户裸眼观看的视频，且播放窗口的视场能够进行方向和放大倍数的调整。
2)三维模型，是模拟全景视频所表达的空间的模型，用于将全景视频的视频帧映射到三维模型的表面以形成表面纹理，三维模型的表面一般采用球面或圆柱面。
3)视场，在三维模型的中心的虚拟镜头感知三维模型的表面纹理的视线的集合，更一般地，是指通过一个窗口在全景视频的视频帧中能够观看的区域。
4)播放窗口，全景视频的客户端中默认用于播放全景视频的全屏或非全屏的窗口，至少包括全景视频的视频播放区域，还可以包括设置有相关操作的入口的操作区域。
5)播放窗口视场，即与播放窗口对应的视场，控制在播放窗口中能够感知到视频帧中处于相应视场的部分内容。
6)子窗口，全景视频的客户端中辅助用于播放的非全屏的窗口，小于播放存储，至少包括全景视频的视频播放区域，还可以包括设置有相关操作的入口的操作区域。
7)子窗口视场，即与子窗口对应的视场，控制在窗口中能够感知到的视频帧中处于相应视场的部分内容。
8)纹理，视频帧中的对象在颜色、几何上有规律的特性，以视频帧中各纹理像素的纹理坐标和对应的颜色值表示。
9)纹理区域，视场在三维模型的表面纹理的投影所包括的区域，是三维模型的表面纹理的一个子集，例如全景视频帧能够完整展示的区域的视角在垂直方向和水平方向可以覆盖0至180度，而视场对应的纹理区域覆盖的视角在垂直方向和水平方向可以覆盖0至30度。
下面参见图1，图1是实现本公开实施例的电子设备(例如图1中的电子设备或服务器)100的结构示意图。电子设备可以是各种终端，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP，Portable Media Player)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字电视(TV)、台式计算机等等的固定终端。图1示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图1所示，电子设备100可以包括处理装置(例如中央处理器、图形处理器等)110，其可以根据存储在只读存储器(ROM，Read-Only Memory)120中的程序或者从存储装置180加载到随机访问存储器(RAM，Random Access Memory)130中的程序而执行各种适当的动作和处理。在RAM 130中，还存储有电子设备100操作所需的各种程序和数据。处理装置110、ROM 120以及RAM 130通过总线140彼此相连。输入/输出(I/O，Input/Output)接口150也连接至总线140。
通常，以下装置可以连接至I/O接口150：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置160；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置170；包括例如磁带、硬盘等的存储装置180；以及通信装置190。通信装置190可以允许电子设备100与其他设备进行无线或有线通信以交换数据。虽然图1示出了具有各种装置的电子设备100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，所提供的流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，计算机程序可以通过通信装置190从网络上被下载和安装，或者从存储装置180被安装，或者从ROM 120被安装。在计算机程序被处理装置110执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、射频(RF)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备100中所包含的；也可以是单独存在，而未装配入电子设备100中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得电子设备100执行本公开实施例提供的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)和广域网(WAN)，以连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
描述于本公开实施例中所涉及到的单元和/或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
对于硬件的方式来说，实现本公开实施例的电子设备的单元和/或模块可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件实现，用于执行实现本公开实施例提供的方法。
参见图2，图2是实现本公开实施例的电子设备显示全景视频的一个可选的流程示意图，以处理装置110从只读存储器(ROM)120中的程序或者从存储装置180加载到随机访问存储器(RAM)130中的程序为用于全景视频播放的客户端为例，在全景视频播放的过程中，播放窗口用于展示视频帧的视场(也就是在播放窗口中显示视频帧所采用的视场，下文中简称为播放窗口视场)能够依据用户操作或自身的播放策略发生变化，客户端将根据播放窗口视场的变化，通过纹理映射的方式，在播放窗口中显示顺序解码的视频帧中处于播放窗口视场的内容，并同步播放音频帧。
结合图2示出的步骤，说明电子设备中的客户端在播放窗口进行全景视频播放的过程，需要指出，在下文关于图2的相关说明中，为方便描述，视场即是指代“播放窗口视场”。
在步骤101中，客户端从全景视频的服务器请求全景视频的文件，并加载到客户端的内存(RAM 130)中。
例如，在全景视频的在线播放场景中，客户端通过通信装置190向服务器请求当前播放点(例如起始的播放点或根据用户操作而跳转的播放点)之后的预加载时长(例如1分钟)分段文件，并加载到RAM130中。预加载时长可由客户端根据电子设备的网络接入类型、带宽等网络参数自动设定，也可以接收用户的设定。
分段文件中包括封装了必要的解码元数据和媒体数据(包括音频帧和视频帧)，客户端可以对分段文件进行及时地解码，分段文件的时长保证了在客户端中连续的播放效果且不会过分消耗电子设备的带宽。
在一些实施例中，作为步骤101的替代步骤，客户端可以从服务器一次性请求全景视频的完整的文件，并加载到内存中；或者，从存储装置180中读取本地的全景视频的文件，并加载到内存中。
在步骤102中，客户端对加载到内存中的全景视频的文件进行解码，以提取出解码元数据和媒体数据。
全景视频的文件中按照约定的方式封装了解码元数据和媒体数据，客户端根据约定的位置(例如文件的二进制数据起始的若干字节)从文件中读出解码元数据和媒体信息，就解码元数据而言，指示了各音频帧/视频帧的时间、长度、宽高和分辨率等信息。
在步骤103中，客户端将媒体数据中的视频帧映射为三维模型的表面纹理。
继续参见图3，图3是实现本公开实施例的电子设备显示全景视频的一个可选的流程示意图，示例性示出了步骤103中基于视频帧形成三维模型的表面纹理的实现过程。
在步骤1031中，客户端将视频帧映射到纹理空间。
视频帧在纹理空间中的纹理以视频帧中各像素的纹理坐标以及对应的颜色值表示，视频帧的像素在纹理空间中的纹理坐标(u，v)上是一个存放视频帧中像素在纹理空间的x轴/y轴的位置的二维数组，从而在纹理空间中可以离散地分离出视频帧中每个像素点的颜色值。
在步骤1032中，将视频帧在纹理空间的纹理坐标映射到三维模型的表面，以形成三维模型的表面纹理。
例如，可以采用的这样的方式：将视频帧的像素在纹理空间的纹理坐标映射到三维模型的顶点的坐标(x，y，z)，三维模型的顶点是将三维模型的表面分割成一系列的图形(例如三角形)的顶点，从而使得无论三维模型如何发生变化，顶点之间的像素点是稳定的。
例如，参见图4A，图4A是实现本公开实施例的电子设备显示全景视频的一个可选的纹理映射示意图，客户端解码媒体数据中的视频帧，以解码得到的视频帧41为例，将视频帧41中各像素点的纹理坐标映射到球面模型42(当然，不局限于球面模型，还可以采用圆柱模型等三维模型)的三角形的顶点(三角形将使得球面模型42的表面的纹理稳定，不容易使视频帧中展示的对象发生形变；当然不限于三角形)，形成以视频帧41的为表面纹理的球面模型43。
在步骤104中，客户端确定播放窗口中展示全景视频的各视频帧时所使用的视场，即播放窗口视场。
在一些实施例中，客户端根据全景视频的解码元数据对应各视频帧的时间，确定已解码的各视频帧的渲染的先后顺序，并顺序确定渲染各视频帧时对应的播放窗口视场，客户端通过视角(决定视场的尺寸)、方向(决定视频帧处于视场的内容在视频帧中的位置)和放大倍数(决定视频帧的内容在视场中成像的尺寸)来确定视场，下面进行说明。
参见图4B，图4B是实现本公开实施例的电子设备显示全景视频的一个可选的视场示意图，播放窗口视场46模拟了人眼47通过输入装置160的显示器显示的播放窗口能够观看到的区域，播放窗口视场46的尺寸取决于播放窗口视场46的水平视角44和垂直视角45，角度越大则播放窗口视场46中能够观看到的视频帧的内容越多(在播放窗口视场46的放大倍数一定的情况下)。
例如，参见图4C，图4C是实现本公开实施例的电子设备显示全景视频的一个可选的投影示意图，在球面模型43的中心模拟一个如图4B示出的人眼46的虚拟镜头48，镜头48与播放窗口具有相同的视场，从而播放窗口视场46在球面模型43的表面纹理中的投影区域即纹理区域49，即是通过播放窗口能够在视频帧中观看到的内容。
视场的水平视角和垂直视角取决于输出装置170中的显示器(例如显示器的宽高)，因此，一般地，视场可以使用方向转动参数和镜头缩放参数两个参数进行表示，下面分别进行说明。
方向转动是表示视场的方向的变化，而播放窗口视场46的方向(即视场朝向球面模型43的表面纹理的方向)能够影响客户端在播放窗口中显示的部分内容(即视频帧的部分内容)处于视频帧中的位置。例如，假设播放窗口视场46相对于图4C示出的朝向球面模型43的方向进行方向转动时，那么，区别于纹理区域49的另一纹理区域的纹理将被渲染到播放窗口中，从而使用户观看到视频帧41中的另一部分内容。
镜头缩放是表示视场的放大倍数，从而客户端在播放窗口显示视频帧的内容还受到镜头缩放的约束，在水平视角44和垂直视角45一定(也就是视场的尺寸一定)的情况下，镜头缩放所实现的放大倍数(以大于1表示放大，小于1表示缩小)与播放窗口视场46在球面模型43对应的纹理区域(即视场在球面模型43的表面纹理的投影区域)中纹理的成像尺寸成反比，即放大倍数越小，则成像的尺寸越小，从而播放窗口中显示的内容越多，同时能够看到的内容的细节也越少。
在一些实施例中，视场的方向转动和放大倍数可以通过输入装置160接收用户的各种操作来确定，输入装置160中可以设置如陀螺仪、鼠标、键盘、触摸板、操作条和鼠标等支持实施相应的操作。
以方向转动的操作为例，包括移动端的触控拖拽交互、陀螺仪事件，还可以包括电脑(PC)端的鼠标拖拽交互、转动控件和键盘事件。
以镜头缩放的操作为例，包括移动端的双击(或多击)触控操作、双指(或多指)触控操作，还可以包括PC端的触摸板事件、操作条滑动和鼠标滚轮事件。特别地，针对不同类型的事件，客户端可以按照一定的优先级进行响应，例如针对鼠标滚轮的时间兼容性差于触摸板事件和操作条滑动的情况，鼠标滚轮事件的响应优先级可以设置为低于触摸板事件和操作条滑动。
此外，方向转动和镜头缩放的操作不局限于上述类型，例如用户表达意愿的操作还可以包括向输入装置160的摄像头实施的面部动作和眼部动作。从而，客户端可以根据用户意愿而显示全景视频处于不同视场的内容，符合用户针对全景视频的个性化的需求。
在另一些实施例中，视场的方向和放大倍数两个参数可以为客户端中根据全景视频的特点而设置的保证观看体验的经验值；或者，采用从全景视频的文件中读取的参数(由拍摄或发布全景视频的用户设定，可以针对全景视频中部分或者全部的时间轴而设定)，又或者，采用服务器跟随全景视频而向客户端所下发的参数。
可以理解地，上述确定视场的参数的方式可以择一使用或者结合使用，例如，设置不同来源的参数的优先级，按照优先级的降序使用参数，特别地，当没有检测到用户指示参数的操作时，采用客户端中的针对播放效果而优化的默认值，以保证全景视频的最佳播放效果。
在步骤105A中，客户端将以待渲染的视频帧为贴图的三维模型的表面纹理中，与待渲染的视频帧的视场相对应的纹理渲染到输出装置170中的显示器显示的播放窗口。
在一些实施例中，客户端根据视场朝向三维模型的方向,确定三维模型处于视场的纹理区域，根据区域中的顶点从纹理空间提取与纹理区域相应的纹理，包括顶点在纹理空间中对应的纹理像素、以及顶点之间的区域在纹理空间中对应的纹理像素；采用透视投影的方式(即近大远小的原则)，将纹理区域对应的纹理渲染到输出装置170中的显示器显示的播放窗口。
可以理解，由于视场的方向转动/缩放，对三维模型处于视场的纹理区域提取的纹理像素在整体上可以进行相应的旋转/缩放(例如在放大时进行像素插值)处理。
在步骤105B中，与步骤105A同步地，客户端播放与步骤105A中待渲染视频帧在时间上同步的已解码音频帧。
在步骤106中，客户端判断是否已经渲染完毕内存中的全部待渲染的视频帧，如果是则结束播放；否则，继续下一视频帧，直至渲染完毕内存中的全部待渲染的视频帧。
至此，已经说明了客户端在播放窗口中显示全景视频的过程，客户端能够在播放过程中播放符合用户意愿的视场中的对象，使得用户能够灵活进行视场的方向转动和调整镜头缩放，以关注全景视频中感兴趣的内容，并给用户如同身临其境的感知效果。然而，正是由于视场的可切换的特性，会出现用户不知道如何选择视场以达到较好的观看体验，视场可灵活切换与播放效果展现存在错位。
结合上述对客户端在播放窗口中显示全景视频的过程的说明，接下来对本公开实施例提供的全景视频的视场控制方法进行说明。图5为本公开实施例提供的全景视频的视场控制方法的流程示意图，参见图5，本公开实施例提供的全景视频的视场控制方法包括：
步骤201：将全景视频中的视频帧映射为三维模型的表面纹理。
这里，在实际实施时，电子设备可一次性的将全景视频中的多个视频帧映射为三维模型的表面纹理，或者，每播放一帧全景视频的视频帧，即完成一次视频帧的渲染后，执行下一帧的处理。
步骤202：确定视频帧的符合播放策略的视场方向。
在全景视频播放过程中，在对每一帧进行渲染之前，需要对该待渲染的视频帧所对应的播放窗口的视场方向进行确定，使待渲染的视频帧的视场方向符合全景视频的播放策略。播放策略可以采用封装在全景视频的解码元数据中的方式，或者采用独立于全景视频的播放策略的方式。
例如，播放策略可以包括：当渲染需要突出显示目标内容(例如高潮情节，植入广告)时段中的视频帧时，自动转换播放窗口视场的方向，以使用户不会遗漏。
再例如，播放策略还可以包括：根据特定播放场景(如识别到目标对象)，自动转换播放窗口视场的方向，以使播放窗口能够跟踪显示目标。
又例如，播放策略还可以包括转换播放视场方向以符合观看体验，例如，通过自动转换播放窗口视场的方向，使播放窗口始终以第一人称视角前进方向的景物。
在一实施例中，电子设备可通过如下方式实现对待渲染的视频帧的符合播放策略的视场方向的确定：
从全景视频文件中提取视频帧对应的元数据；解码视频帧对应的元数据，得到视频帧对应的播放参数；基于所得到的播放参数，确定视频帧的符合播放策略的视场方向。
也就是说，全景视频的每一帧视频帧的视场方向信息均已携带于全景视频文件中，为提前设定好，可通过对元数据的解析得到对应该视频帧的播放参数，该播放参数可包括方向转动参数(其表示基于基准方向变化的角度或更新的方向值)，基于方向转动参数确定视频帧的符合播放策略的视场方向。例如，当用户想要进行重要内容展现的时候，由于拍摄的文件对应的该重要内容所在全景视频帧的位置，与当前播放的全景视频的播放窗口的视场方向不一致，需要在播放到该帧视频帧时进行视场方向转换，可提前将视场方向信息写入对应该视频帧的元数据，待电子设备解码后得到，以进行视场方向的转换。
在实际实施时，播放参数还包括缩放参数，相应的，电子设备基于所述缩放参数，还确定用于实现所述视场的虚拟镜头的放大倍数；基于所确定的所述放大倍数，控制所述视频帧对应播放窗口的视场的缩放比例。
在一实施例中，电子设备可通过如下方式实现对待渲染的视频帧的符合播放策略的视场方向的确定：
对待渲染的所述视频帧进行目标对象检测，得到检测结果；当所述检测结果表征所述视频帧中包含所述目标对象时，确定所述视频帧的对应所述目标对象的视场方向，为所述符合播放策略的视场方向。也就是说，在全景视频播放过程中，电子设备可自主判断是否需要进行视场方向的转换，目标对象可以为人、动物、某具体的物品等，例如，当通过目标对象检测识别到视频帧中的人时，可视为视频帧中对应人的部分为用户想要观看的内容，将该部分内容对应的视场方向作为符合播放策略的视场方向。
在实际实施时，电子设备可进一步确定视场的虚拟镜头的放大倍数，即确定视频帧对应播放窗口的视场的缩放比例，使得播放窗口中呈现的目标对象的大小与播放窗口相适配。
步骤203：当符合播放策略的视场方向不同于当前播放窗口的视场方向时，转换播放窗口的视场方向与符合播放策略的视场方向一致。
这里，电子设备确定当前待渲染的视频帧的符合播放策略(最优)的视场方向，与正在播放的已经渲染的视频帧的视场方向不同时，对播放全景视频文件的播放窗口的视场方向进行转换，使其视场方向与符合播放策略的视场方向一致。如此，实现了视场方向的自动转换，以进行重要内容展现，或展现的内容符合用户较好的观看体验，提高用户观看体验。
步骤204：将播放窗口的视场在三维模型的表面纹理中进行投影，得到处于播放窗口的视场的纹理区域。
步骤205：在播放窗口中渲染得到的纹理区域。
在一实施例中，为了进一步提升在全景视频的播放窗口展现的信息量，除了在客户端的播放窗口中展示全景视频的内容，本公开实施例还提供了在播放窗口的子窗口中展示同一全景视频的内容的方案，图6为本公开实施例提供的采用多个窗口播放全景视频的一个界面示意图，参见图6，在同一时间点，子窗口中所播放的全景视频的内容与播放窗口中的内容可以相同或不同，拓展了用户从全景视频中获取信息的途径，从而使用户在观看全景视频的过程中能够更加高效地获取所需要的信息，相应的，基于本公开上述实施例，对小窗口播放全景视频进行说明。
在一实施例中，电子设备在对播放窗口的视场方向进行转向后，电子设备确定与播放窗口的子窗口对应的子窗口视场；所述子窗口视场的方向不同于所述符合播放策略的视场方向；将子窗口视场在三维模型的表面纹理中进行投影，得到处于子窗口视场的纹理区域；在子窗口中渲染得到的所述纹理区域。
在实际应用中，电子设备可通过如下方式确定与播放窗口的子窗口对应的子窗口视场：
根据所确定的符合播放策略的视场方向，与子窗口视场的方向之间的相对位置关系，确定子窗口视场的方向；或者，根据全景视频中的目标对象，确定包括目标对象的视场的方向为子窗口视场的方向。
这里，播放窗口的视场方向与子窗口的视场方向可相对固定，如播放窗口的视场方向与子窗口的视场方向相差180°。
就这里的目标对象而言，可以是在全景视频的播放过程中，客户端从子窗口中自动识别的对象(例如人脸和景物等)，或者是用户在子窗口中标识的对象。
接下来对进行全景视频播放展现时，播放窗口与子窗口的相对位置关系进行说明。在实际应用中，播放窗口与子窗口的相对位置关系是多样化的。例如，播放窗口与子窗口可以在客户端的不同区域显示。再例如，子窗口可以位于播放窗口的内部并覆盖播放窗口的部分视频播放区域，或者，子窗口可以位于播放窗口的内部，并由播放窗口的视频播放区域避让子窗口。在实际实施时，小窗口的数量可以为一个或多个，具体可依据实际需要进行设定。
图7为本公开实施例提供的全景视频的视场控制方法的流程示意图，参见图7，本公开实施例提供的全景视频的视场控制方法包括：
步骤301：客户端将全景视频中待渲染视频帧映射为三维模型的表面纹理。
在实际应用中，客户端在渲染当前所播放的视频帧的同时，对下一帧待渲染的视频帧进行渲染前的处理，将待渲染视频帧映射为三维模型的表面纹理。
步骤302：解码待渲染视频帧对应的元数据，得到待渲染视频帧对应的播放参数。
这里，客户端对加载到内存中的全景视频的文件进行解码，提取出元数据和包括视频帧的媒体数据，获取到对应待渲染视频帧的元数据并进行解析，得到包括方向转动参数的播放参数，方向转动参数用于指示播放窗口的视场方向。在实际实施时，播放参数还可以包括镜头缩放参数，以基于镜头缩放参数确定视场对应的虚拟镜头的放大倍数。
步骤303：基于播放参数，判断当前播放窗口的视场方向与待渲染的视频帧对应的视场方向是否相同，如果不同，执行步骤304；如果相同，执行步骤305。
这里，当前播放窗口的视场方向也即当前渲染的视频帧所对应的视场方向，在实际应用中，全景视频的多个视频帧所对应的视场方向存在不完全相同的方向，例如当用户想在某一播放时刻突出展现重要内容(例如高潮情节或者植入广告)时，可在此播放时刻进行视场方向的转换，并在以该视场方向播放一段时间后，重新进行下一视场方向的转换，以使全景视频的播放符合预设的播放策略，以及用户所要突出展现的内容。
步骤304：转换播放窗口的视场方向与待渲染的视频帧对应的视场方向一致。
步骤305：将播放窗口的视场在三维模型的表面纹理中进行投影，得到处于播放窗口的视场的纹理区域。
步骤306：在播放窗口中渲染得到的纹理区域。
图8为本公开实施例提供的全景视频的视场控制方法的流程示意图，参见图8，本公开实施例提供的全景视频的视场控制方法包括：
步骤401：客户端将全景视频中待渲染视频帧映射为三维模型的表面纹理。
在实际应用中，客户端在渲染当前所播放的视频帧的同时，对下一帧待渲染的视频帧进行渲染前的处理，将待渲染视频帧映射为三维模型的表面纹理。
步骤402：对待渲染视频帧的图像进行目标对象检测，得到检测结果。
这里，在实际实施时，电子设备中内置有用于在全景视频播放过程中，进行视场方向控制的人工智能AI，通过对待渲染视频帧所包含的内容的分析智能化的判断是否需要进行视场方向的转换，具体地，对待渲染视频帧的图像进行目标对象(如人脸、景物或其他任意用户需要跟踪的对象)检测，判断待渲染视频帧图像中是否包含目标对象，如果包含，可控制播放窗口的视场方向，使其能够在渲染该待渲染视频帧时展现检测到的目标对象。
步骤403：基于检测结果，判断待渲染视频帧图像中是否包含目标对象，如果包含，执行步骤404；如果不包含，执行步骤407。
步骤404：确定待渲染视频帧的对应目标对象的视场方向。
这里，当待渲染视频帧中包含目标对象时，确定虚拟镜头朝向三维模型对应目标对象的表面纹理的方向，将确定的该方向作为待渲染视频帧的视场方向。
步骤405：判断当前播放窗口的视场方向与确定的所述视场方向是否相同，如果不同，执行步骤406；如果相同，执行步骤407。
步骤406：转换播放窗口的视场方向与所述对应目标对象的视场方向一致。
步骤407：将播放窗口的视场在三维模型的表面纹理中进行投影，得到处于播放窗口的视场的纹理区域。
步骤408：在播放窗口中渲染得到的纹理区域。
继续对本公开实施例提供的装置的软件实现进行说明。对于软件的方式来说，实现本公开实施例的装置的单元和/或模块可以被两个或以上的单元实现，
下面以软件的方式为例，示例性说明实现本公开实施例的装置的单元和/或模块。
图9是实现本公开实施例的全景视频的视场控制装置的一个可选的结构示意图，参见图9，本公开实施例的全景视频的视场控制装置包括：
映射单元91，用于将全景视频中的视频帧映射为三维模型的表面纹理；
确定单元92，用于确定所述视频帧的符合播放策略的视场方向；
转换单元93，用于当所述符合播放策略的视场方向不同于当前播放窗口的视场方向时，转换播放窗口的视场方向与所述符合播放策略的视场方向一致；
投影单元94，用于将所述播放窗口的视场在所述三维模型的表面纹理中进行投影，得到处于所述播放窗口的视场的纹理区域；
渲染单元95，用于在所述播放窗口中渲染得到的所述纹理区域。
在一实施例中，所述确定单元，还用于从全景视频文件中提取所述视频帧对应的解码元数据；
解码所述视频帧对应的解码元数据，得到所述视频帧对应的播放参数；
基于所得到的所述播放参数，确定所述视频帧的符合播放策略的视场方向。
在一实施例中，所述播放参数包括缩放参数；
所述确定单元，还用于基于所述缩放参数，确定用于实现所述视场的虚拟镜头的放大倍数；
基于所确定的所述放大倍数，控制所述视频帧对应播放窗口的视场的缩放比例。
在一实施例中，所述确定单元，还用于对所述视频帧进行目标对象检测，得到检测结果；
当所述检测结果表征所述视频帧中包含所述目标对象时，确定所述视频帧的对应所述目标对象的视场方向，为所述符合播放策略的视场方向。
在一实施例中，所述确定单元，还用于确定所述视频帧对应播放窗口的视场的缩放比例，使得所述播放窗口中呈现的所述目标对象的大小与所述播放窗口相适配。
在一实施例中，所述映射单元，还用于将所述视频帧的像素点映射到纹理空间，得到所述像素点的纹理坐标；
将所述像素点的纹理坐标映射到所述三维模型表面的顶点坐标，以形成所述三维模型的表面纹理。
在一实施例中，所述确定单元，还用于确定与所述播放窗口的子窗口对应的子窗口视场；所述子窗口视场的方向不同于所述符合播放策略的视场方向；
所述投影单元，还用于将所述子窗口视场在所述三维模型的表面纹理中进行投影，得到处于所述子窗口视场的纹理区域；
所述渲染单元，还用于在所述子窗口中渲染得到的所述纹理区域。
在一实施例中，所述确定单元，还用于根据所确定的所述符合播放策略的视场方向，与所述子窗口视场的方向之间的关系，确定所述子窗口视场的方向；或者，
根据所述全景视频中的目标对象，确定包括所述目标对象的视场的方向为所述子窗口视场的方向。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种全景视频的视场控制方法，其特征在于，所述方法包括：
将全景视频中的视频帧映射为三维模型的表面纹理；
确定所述视频帧的符合播放策略的视场方向；
当所述符合播放策略的视场方向不同于当前播放窗口的视场方向时，转换播放窗口的视场方向与所述符合播放策略的视场方向一致；
将所述播放窗口的视场在所述三维模型的表面纹理中进行投影，得到处于所述播放窗口的视场的纹理区域；
在所述播放窗口中渲染得到的所述纹理区域。
2.根据权利要求1所述的方法，其特征在于，所述确定所述视频帧的符合播放策略的视场方向，包括：
从全景视频文件中提取所述视频帧对应的解码元数据；
解码所述视频帧对应的解码元数据，得到所述视频帧对应的播放参数；
基于所得到的所述播放参数，确定所述视频帧的符合播放策略的视场方向。
3.根据权利要求2所述的方法，其特征在于，所述播放参数包括缩放参数，所述方法还包括：
基于所述缩放参数，确定用于实现所述视场的虚拟镜头的放大倍数；
基于所确定的所述放大倍数，控制所述视频帧对应播放窗口的视场的缩放比例。
4.根据权利要求1所述的方法，其特征在于，所述确定所述视频帧的符合播放策略的视场方向，包括：
对所述视频帧进行目标对象检测，得到检测结果；
当所述检测结果表征所述视频帧中包含所述目标对象时，确定所述视频帧的对应所述目标对象的视场方向，为所述符合播放策略的视场方向。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
确定所述视频帧对应播放窗口的视场的缩放比例，使得所述播放窗口中呈现的所述目标对象的大小与所述播放窗口相适配。
6.根据权利要求1所述的方法，其特征在于，所述将全景视频中的视频帧映射为三维模型的表面纹理，包括：
将所述视频帧的像素点映射到纹理空间，得到所述像素点的纹理坐标；
将所述像素点的纹理坐标映射到所述三维模型表面的顶点坐标，以形成所述三维模型的表面纹理。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定与所述播放窗口的子窗口对应的子窗口视场；所述子窗口视场的方向不同于所述符合播放策略的视场方向；
将所述子窗口视场在所述三维模型的表面纹理中进行投影，得到处于所述子窗口视场的纹理区域；
在所述子窗口中渲染得到的所述纹理区域。
8.根据权利要求7所述的方法，其特征在于，所述确定与所述播放窗口的子窗口对应的子窗口视场，包括：
根据所确定的所述符合播放策略的视场方向，与所述子窗口视场的方向之间的相对位置关系，确定所述子窗口视场的方向；或者，
根据所述全景视频中的目标对象，确定包括所述目标对象的视场的方向为所述子窗口视场的方向。
9.一种全景视频中视场方向的控制装置，其特征在于，所述装置包括：
映射单元，用于将全景视频中的视频帧映射为三维模型的表面纹理；
确定单元，用于确定所述视频帧的符合播放策略的视场方向；所述符合播放策略的视场方向不同于当前播放窗口的视场方向；
转换单元，用于转换播放窗口的视场方向与所述符合播放策略的视场方向一致；
投影单元，用于将所述播放窗口的视场在所述三维模型的表面纹理中进行投影，得到处于所述播放窗口的视场的纹理区域；
渲染单元，用于在所述播放窗口中渲染得到的所述纹理区域。
10.根据权利要求9所述的装置，其特征在于，
所述确定单元，还用于从全景视频文件中提取所述视频帧对应的解码元数据；
解码所述视频帧对应的解码元数据，得到所述视频帧对应的播放参数；
基于所得到的所述播放参数，确定所述视频帧的符合播放策略的视场方向。
11.根据权利要求10所述的装置，其特征在于，所述播放参数包括缩放参数；
所述确定单元，还用于基于所述缩放参数，确定用于实现所述视场的虚拟镜头的放大倍数；
基于所确定的所述放大倍数，控制所述视频帧对应播放窗口的视场的缩放比例。
12.根据权利要求9所述的装置，其特征在于，
所述确定单元，还用于对所述视频帧进行目标对象检测，得到检测结果；
当所述检测结果表征所述视频帧中包含所述目标对象时，确定所述视频帧的对应所述目标对象的视场方向，为所述符合播放策略的视场方向。
13.根据权利要求12所述的装置，其特征在于，
所述确定单元，还用于确定所述视频帧对应播放窗口的视场的缩放比例，使得所述播放窗口中呈现的所述目标对象的大小与所述播放窗口相适配。
14.根据权利要求9所述的装置，其特征在于，
所述映射单元，还用于将所述视频帧的像素点映射到纹理空间，得到所述像素点的纹理坐标；
将所述像素点的纹理坐标映射到所述三维模型表面的顶点坐标，以形成所述三维模型的表面纹理。
15.根据权利要求9所述的装置，其特征在于，
所述确定单元，还用于确定与所述播放窗口的子窗口对应的子窗口视场；所述子窗口视场的方向不同于所述符合播放策略的视场方向；
所述投影单元，还用于将所述子窗口视场在所述三维模型的表面纹理中进行投影，得到处于所述子窗口视场的纹理区域；
所述渲染单元，还用于在所述子窗口中渲染得到的所述纹理区域。
16.根据权利要求15所述的装置，其特征在于，
所述确定单元，还用于根据所确定的所述符合播放策略的视场方向，与所述子窗口视场的方向之间的相对位置关系，确定所述子窗口视场的方向；或者，
根据所述全景视频中的目标对象，确定包括所述目标对象的视场的方向为所述子窗口视场的方向。
17.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现如权利要求1至8任一项所述的全景视频的视场控制方法。
18.一种存储介质，其特征在于，存储有可执行指令，所述可执行指令被执行时，用于实现权利要求1至8任一项所述的全景视频的视场控制方法。
CN201811367835.5A 2018-11-16 2018-11-16 全景视频的视场控制方法、装置、电子设备及存储介质 Pending CN111200748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811367835.5A CN111200748A (zh) 2018-11-16 2018-11-16 全景视频的视场控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811367835.5A CN111200748A (zh) 2018-11-16 2018-11-16 全景视频的视场控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111200748A true CN111200748A (zh) 2020-05-26

Family

ID=70747321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811367835.5A Pending CN111200748A (zh) 2018-11-16 2018-11-16 全景视频的视场控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111200748A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935829A (zh) * 2015-06-02 2015-09-23 无锡天脉聚源传媒科技有限公司 一种图像处理方法及装置
CN106101741A (zh) * 2016-07-26 2016-11-09 武汉斗鱼网络科技有限公司 在网络视频直播平台上观看全景视频的方法及***
CN106447788A (zh) * 2016-09-26 2017-02-22 北京疯景科技有限公司 观看视角的指示方法及装置
WO2018093718A1 (en) * 2016-11-18 2018-05-24 Twitter, Inc. Live interactive video streaming using one or more camera devices
CN108632674A (zh) * 2017-03-23 2018-10-09 华为技术有限公司 一种全景视频的播放方法和客户端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935829A (zh) * 2015-06-02 2015-09-23 无锡天脉聚源传媒科技有限公司 一种图像处理方法及装置
CN106101741A (zh) * 2016-07-26 2016-11-09 武汉斗鱼网络科技有限公司 在网络视频直播平台上观看全景视频的方法及***
CN106447788A (zh) * 2016-09-26 2017-02-22 北京疯景科技有限公司 观看视角的指示方法及装置
WO2018093718A1 (en) * 2016-11-18 2018-05-24 Twitter, Inc. Live interactive video streaming using one or more camera devices
CN108632674A (zh) * 2017-03-23 2018-10-09 华为技术有限公司 一种全景视频的播放方法和客户端

Similar Documents

Publication Publication Date Title
CN111198610B (zh) 一种全景视频的视场控制方法、装置、设备及存储介质
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
CN110419224B (zh) 消费视频内容的方法、电子设备和服务器
CN112073748B (zh) 全景视频的处理方法、装置及存储介质
CN112672185B (zh) 基于增强现实的显示方法、装置、设备及存储介质
US11375170B2 (en) Methods, systems, and media for rendering immersive video content with foveated meshes
US11032535B2 (en) Generating a three-dimensional preview of a three-dimensional video
CN114419213A (zh) 图像处理方法、装置、设备和存储介质
CN111258519A (zh) 屏幕分屏实现方法、装置、终端和介质
CN111200750B (zh) 全景视频的多窗口播放方法、装置、电子设备及存储介质
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN111200758B (zh) 全景视频的多视场控制方法、装置、电子设备及存储介质
CN115734001A (zh) 特效显示方法、装置、电子设备及存储介质
JP7447266B2 (ja) ボリュメトリック画像データに関するビューの符号化及び復号
CN111200759B (zh) 一种全景视频的播放控制方法、装置、终端及存储介质
CN111277886B (zh) 全景视频的视场控制方法、装置、电子设备及存储介质
CN111200748A (zh) 全景视频的视场控制方法、装置、电子设备及存储介质
CN111200754B (zh) 一种全景视频的播放方法、装置、终端及存储介质
CN111200749A (zh) 全景视频的播放控制方法、装置、电子设备及存储介质
KR20190030565A (ko) 전자 장치 및 그 동작방법
CN110070494B (zh) 图像处理方法、装置和电子设备
CN118413745A (zh) 一种播放全景视频的方法、装置、设备及存储介质
CN117376591A (zh) 基于虚拟现实的场景切换处理方法、装置、设备及介质
CN117152385A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526