CN111684795A - 用于在360°视频导航中使用查看路径的方法 - Google Patents

用于在360°视频导航中使用查看路径的方法 Download PDF

Info

Publication number
CN111684795A
CN111684795A CN201880088618.4A CN201880088618A CN111684795A CN 111684795 A CN111684795 A CN 111684795A CN 201880088618 A CN201880088618 A CN 201880088618A CN 111684795 A CN111684795 A CN 111684795A
Authority
CN
China
Prior art keywords
viewing
user
video
video content
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880088618.4A
Other languages
English (en)
Other versions
CN111684795B (zh
Inventor
塔图·V·J·哈尔维艾宁
马尔科·帕维艾宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCMS Holdings Inc
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Priority to CN202210938363.4A priority Critical patent/CN115499686B/zh
Publication of CN111684795A publication Critical patent/CN111684795A/zh
Application granted granted Critical
Publication of CN111684795B publication Critical patent/CN111684795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于使用基于用户选择的自动化级别确定的查看方向和/或视点位置来显示360度视频的***和方法。如果用户选择完全自动化，则查看方向和/或视口位置由定义的查看路径确定。如果选择部分自动化，则通过用户输入结合所定义的查看路径来确定查看方向和/或视口位置。例如，可以将用户输入的高通滤波版本添加到所定义的查看路径以获得部分自动化的查看方向和/或视点位置。示例***和方法可以使用头戴式显示器(HMD)来实现。

Description

用于在360°视频导航中使用查看路径的方法
相关申请的交叉引用
本申请是2017年12月15日提交的题为“用于在360°视频导航中使用查看路径的方法”的美国临时专利申请序列号No.62/599,525的非临时申请，并且要求其在35U.S.C§119(e)下的权益，该申请的全部内容通过引用并入本文。
背景技术
在许多先前的非360°视频***中，用户必须从用于记录的角度观看视频。通过360°视频记录，用户可以在更多方向上观看。在Luis Neng和Teresa Chemmel的文章《得到约360°的超视频》中(第14界国际MindTrek学术会议论文集：设想未来的媒体环境(MindTrek'10)(2010年10月6日至8日，芬兰坦佩雷)，ACM(2010年))，作者描述了一种超视频***，该***使得用户能够进入基于网络的沉浸式环境，在该环境中，用户扫视内容以在不同的角度查看超视频，并且点击超链接以查看信息。在
Figure BDA0002618652970000011
Noronha等人的文章《在视线冲浪者中共享和导航360°视频和地图》中(第16届国际MindTrek学术会议论文集(MindTrek'12)(2012年10月3-5日，芬兰坦佩雷)，ACM(2012))，作者描述了用于与地理参考的360°超视频交互的web应用的设计问题。
对于支持虚拟现实(VR)的DASH协议的扩展，存在以全向媒体应用格式(OMAF)发信号通知推荐的视口和初始视口值的选项。推荐的视口可以描述要使用的区域，诸如用于提取2D场景。初始视口指示在执行对360°视频的随机访问的情况下的所建议的开始方向。许多交互式视口自适应和基于图块的流传输***仅使内容递送适应用户查看方向。
发明内容
本文公开了用于辅助360°视频的导航以及用于为不同用户(诸如被动或主动HMD用户)提供适配的/自动的360°视频体验的***和方法。本文公开的***和方法实现了360°视频的自动观看，并且提供了在大多数沉浸式360°视频中不可实现的附加效果(诸如快速跳跃视口或超过180度的四处移动)，因为这些效果将损坏用户的颈部或要求用户站立。
在大多数2D视频中，导演完全控制摄像机指向的位置。对于许多先前的360°视频***，北方向是固定的，而观看者(viewer)围绕内容独立导航，并且制作者对用户经过内容的路径几乎没有控制。对于许多先前的360°视频***，除了事件何时在视频中发生的时间代码之外，很少或没有关于用户如何移动以经过视频的引导。
本文公开的***和方法可以提供用于查看360°视频的自动化级别。内容作者(例如导演)可以包括描绘内容作者建议的对内容的反应的视频事件和观看简档(profile)，诸如对给定查看方向的慢摇摄(pan)或硬切换(cut)。对于一个实施例，视频事件的呈现可以触发注视方向计算以覆盖引导和HMD定向导出的视口，并且以根据观看简档中的事件类型和用户偏好计算的视口替换那些视口。本文公开的***和方法提供360°视频的引导导航，并且使得能够针对不同类型的用户和用例呈现适配的/自动的360°视频体验。
方法的一些实施例可以包括：在360度视频内容查看设备处，接收描述用于360度视频内容的至少两个可用观看简档的元数据，每个可用观看简档与360度视频内容的时空子集相关联，每个可用观看简档至少指定用于指导用户经过360度视频内容的时空子集的引导级别；向所述用户显示描述所述可用观看简档的信息；从所述用户接收选择所述可用观看简档中的一者的输入；在所述360度视频内容查看设备上显示所述360度视频内容；以及使用由所选择的观看简档指定的引导级别来指导用户观看与所选择的观看简档相关联的360度视频内容的时空子集。
在方法的一些实施例中，对于每个可用观看简档，360度视频内容的时空子集可以包括突出显示360度视频内容的时间线上的空间位置的信息。
方法的一些实施例可以进一步包括：针对所述至少两个可用观看简档中的至少一者，确定所述360度视频内容的推荐视口；以及基于360度视频内容的推荐视口来调整所显示的360度视频内容的视口。
通过方法的一些实施例，对于每个可用观看简档，360度视频内容的时空子集可以包括经过时间和空间的路径，并且对于每个可用观看简档，该路径可以包括用于确定360度视频内容的至少一个推荐视口的信息。
对于方法的一些实施例，可用观看简档中的至少一者可以包括路径与360度视频内容的注视方向之间的偏差阈值。
在方法的一些实施例中，显示360度视频内容可以包括显示360度视频内容的与针对所选择的观看简档的经过时间和空间的路径相对应的至少一个视口。
通过方法的一些实施例，对于每个可用观看简档，360度视频内容的时空子集可以包括：(i)与所述用户的位置相关联的经过时间和空间的第一路径，以及(ii)与所述用户的查看方向相关联的经过时间和空间的第二路径。
对于方法的一些实施例，第一可用观看简档可以包括在经过时间和空间的路径与360度视频内容的注视方向之间的第一偏差阈值，第二可用观看简档可以包括在经过时间和空间的路径与360度视频内容的注视方向之间的第二偏差阈值，并且第一偏差阈值可以小于第二偏差阈值。
在方法的一些实施例中，第一可用观看简档可以包括经过时间和空间的第一路径，并且第二可用观看简档可以包括经过时间和空间的第二路径。
方法的一些实施例可以进一步包括基于360度视频内容查看设备的定向测量和边界阈值中的至少一者来调整所显示的360度视频内容的视口。
对于方法的一些实施例，使用由所选择的观看简档指定的引导级别来指导用户观看与所选择的观看简档相关联的360度视频内容的时空子集可以包括基于在所选择的观看简档中指定的经过时间和空间的路径来调整所显示的360度视频内容的视口。
在方法的一些实施例中，对于每个可用观看简档，360度视频内容的时空子集可以包括在360度视频内容内的时间点处的360度视频内容的至少一个视口，对于每个可用观看简档，至少一个引导级别指示到在显示360度视频内容时使用的至少一个视口的自动导航级别，并且每个可用观看简档可以进一步包括：描述对用户交互性的至少一个限制的元数据，以及描述与360度视频内容的视口相关联的至少一个转变效果的元数据。
对于方法的一些实施例，对用户交互性的至少一个限制中的每一者可以选自由最大摇摄速度、从视口位置偏离的最大角度、移动增益、到移动轴的移动制约以及移动边界组成的组。
方法的一些实施例可以进一步包括：接收指示360度视频内容内的视频事件的信息；确定用于处理视频事件的转变效果方法；以及执行用于处理视频事件的转变效果方法。
方法的一些实施例可以包括：针对至少两个可用观看简档中的每一者，生成描述360度视频内容的时空子集的元数据；以及针对所述至少两个可用观看简档中的每一者，生成描述用于指导用户经过360度视频内容的时空子集的至少一个引导级别的元数据。
方法的一些实施例可以进一步包括：针对所述至少两个可用观看简档中的每一者，生成描述对用户交互性的限制的元数据；以及针对所述至少两个可用观看简档中的每一者，生成描述用于将用户引导至360度视频内容的视口的转变效果方法的元数据。
在方法的一些实施例中，对于至少两个可用观看简档中的每一者，360度视频内容的时空子集可以包括经过时间和空间的路径；针对所述至少两个可用观看简档中的每一者生成描述360度视频内容的时空子集的元数据可以包括生成用于确定360度视频内容的至少一个推荐视口的信息；并且针对至少两个可用观看简档中的每一者生成描述对用户交互性的限制的元数据可以包括生成路径与360度视频内容的注视方向之间的偏差阈值。
对于方法的一些实施例，针对至少两个可用观看简档中的每一者生成描述360度视频内容的时空子集的元数据可以包括：生成描述与所述用户的躯干移动相关联的经过时间和空间的第一路径的元数据；以及生成描述与用户的头部移动相关联的经过时间和空间的第二路径的元数据。
方法的一些实施例可以进一步包括：针对所述至少两个可用观看简档中的至少一者，生成描述所述360度视频内容中的视频事件的元数据；以及针对所述至少两个可用观看简档中的至少一者，生成描述用于处理与所述视频事件相关联的视口的转变效果方法的元数据。
设备的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，当在处理器上执行所述指令时，所述指令可操作以执行上述方法。
方法的一些实施例可以包括：接收360度视频内容；接收定义经过视频内容的查看路径的信息；接收从多个可用级别中对用于查看所述视频内容的方向自动化级别的用户选择，其中方向自动化的至少一个可用级别是部分方向自动化级别；确定所述视频内容的当前查看方向，其中响应于对所述部分方向自动化级别的用户选择，所述当前查看方向是至少(i)用户方向输入和(ii)所定义的查看路径的预定函数；以及通过当前查看方向显示360度视频内容。
对于方法的一些实施例，在预定函数下，当前查看方向可以是以下两者的加权和：(i)用户方向输入的当前高通滤波版本；以及(ii)所定义的查看路径的当前方向。
对于方法的一些实施例，在预定函数下，所确定的查看方向的增量变化可以是以下两者的加权和：(i)用户方向输入的当前增量变化；以及(ii)朝向所定义的查看路径上的当前方向的校正。
对于方法的一些实施例，在预定函数下，当前查看方向可服从相对于定义的查看路径的当前方向的预定最大偏离角度。
对于方法的一些实施例，通过当前查看方向显示360度视频内容包括显示实质上以当前查看方向为中心的视口。
对于方法的一些实施例，显示360度视频内容可以在显示设备上执行，并且用户方向输入可以包括显示设备相对于真实空间的方向的测量。
对于方法的一些实施例，显示设备可以是头戴式显示器。
对于方法的一些实施例，至少一个可用方向自动化级别可以是完全方向自动化级别，并且响应于对完全方向自动化级别的用户选择，当前查看方向可以是所定义的查看路径上的当前方向。
对于方法的一些实施例，定义查看路径的信息可以包括与相应时间相关联的多个视角坐标。
对于方法的一些实施例，至少两个不同的查看路径可用于接收360度视频内容，并且定义查看路径的信息的接收可以响应于对可用查看路径中的一者的用户选择而被执行对。
方法的一些实施例可以进一步包括：接收描述可用方向自动化级别的信息；以及在对方向自动化级别的用户选择之前，显示描述可用方向自动化级别的信息。
对于方法的一些实施例，360度视频内容可以包括具有至少一个位置自由度的内容，并且查看路径可以包括定义的经过内容的位置路径，该方法还包括：接收从多个可用级别中对位置自动化级别的用户选择；以及基于(i)用户位置输入和(ii)定义的位置路径中的至少一者来确定视频内容的当前视点位置；其中360度视频内容通过当前视点位置而被显示。
对于方法的一些实施例，所选择的位置自动化级别可以是完全位置自动化级别，并且当前视点位置可以是预定位置路径上的当前位置。
对于方法的一些实施例，所选择的位置自动化级别可以是部分方向自动化级别，并且当前视点位置可以是至少(i)用户位置输入和(ii)定义的位置查看路径的预定函数。
设备的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，当在处理器上执行所述指令时，所述指令可操作以执行本文列出的任何方法。
附图说明
从以下结合附图以示例方式呈现的描述中可以获得更详细的理解。此外，图中相同的附图标记表示相同的元件。
图1A是示出根据一些实施例的示例通信***的示例***的***图。
图1B是示出根据一些实施例的可以在图1A所示的通信***内使用的示例无线发射/接收单元(WTRU)的示例***的***图。
图2是示出根据一些实施例的用于利用引导视口查看360°视频的示例过程的流程图。
图3是示出根据一些实施例的用于计算用于查看360°视频的多个引导视口级别的示例界面集合的***图。
图4是示出根据一些实施例的用于在360°视频内容服务器与HMD设备之间交换数据的示例界面(interface)集合的***图。
图5是示出根据一些实施例的用于客户端利用引导视口显示360°视频的示例过程的消息序列图。
图6是示出根据一些实施例的用于用户利用引导视口查看360°视频的示例过程的消息序列图。
图7是示出根据一些实施例的用于显示360度视频内容并且指导用户观看360度视频内容的时空子集的示例过程的流程图。
图8是示出根据一些实施例的用于生成360度视频内容的观看简档元数据的示例过程的流程图。
在各个附图中描绘并结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，关于特定附图“描绘”什么、特定附图中的特定元素或实体“是”或“具有”什么以及任何和所有类似陈述的任何和所有陈述或其他指示—可以孤立且在上下文之外被解读为绝对的且因此是限制性的—可以仅被适当地解读为在其前面以建设性的方式加上诸如“在至少一个实施例中，……”之类的条款。为了表示的简洁和清楚起见，在附图的详细描述中，并不赘述这个隐含的前导条款。
具体实施方式
用于实现本文描述的***和方法的示例网络
在本文所述的实施例中，无线发射/接收单元(WTRU)可以被用作头戴式显示器(HMD)设备。
图1A是示出了可以在其中实现一个或多个所公开的实施例的示例通信***100的图。通信***100可以是向多个无线用户提供诸如语音、数据、视频、消息传递以及广播的内容的多接入***。通信***100可以使多个无线用户能够通过共享包括无线带宽的***资源来访问这样的内容。例如，通信***100可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM以及滤波器组多载波(FBMC)。
如图1A所示，通信***100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网(PSTN)108、因特网110以及其他网络112，但是所公开的实施例可以设想任何数量的WTRU、基站、网络和/或网络元件。每一个WTRU102a、102b、102c、102d可以是被配置为在无线环境中操作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d(其中任何一个可被称为“站”和/或“STA”)可被配置成发射和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。任何WTRU 102a、102b、102c及102d可互换地称为UE。
通信***100还可以包括基站114a和/或基站114b。基站114a、114b中的每一个可以是被配置为与WTRU 102a、102b、102c、102d中的至少一个无线对接以便于接入一个或多个通信网络的任何类型的设备，所述通信网络诸如CN 106/115、因特网110和/或其他网络112。作为示例，基站114a、114b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但基站114a、114b可以包括任何数目的互连基站和/或网络元件。基站114a可以是RAN 104/113的一部分，其还可以包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)和中继节点。基站114a和/或基站114b可以被配置为在一个或多个载波频率上发射和/或接收无线信号，这些载波频率可以被称为小区(未示出)。这些频率可以在许可频谱、未许可频谱或者许可频谱和未许可频谱的组合中。
小区可以向特定地理区域提供无线服务的覆盖，该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如，与基站114a相关联的小区可以被划分为三个扇区。因此，在一个实施例中，基站114a可以包括三个收发信机，即，小区的每个扇区对应一个收发信机。在实施例中，基站114a可以采用多输入多输出(MIMO)技术，并且可以针对小区的每个扇区使用多个收发信机。例如，波束成形可以用于在期望的空间方向上发射和/或接收信号。
基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一个或多个通信，该空中接口可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)和可见光)。空中接口116可以使用任何合适的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信***100可以是多接入***，并且可以采用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN104/113中的基站114a和WTRU 102a、102b、102c可以实现诸如通用移动电信***(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口116。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如NR无线电接入的无线电技术，其可以使用新的无线电(NR)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实现多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所利用的空中接口可由多种类型的无线电接入技术和/或发送到多种类型的基站(例如eNB和gNB)或从多种类型的基站(例如eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实现无线电技术，例如IEEE802.11(即无线保真(WiFi)、IEEE802.16(即全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信***(GSM)、增强型数据速率GSM演进(EDGE)、GSMEDGE(GERAN)等。
图1A中的基站114b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何合适的RAT来促进局部区域中的无线连接，该局部区域诸如营业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等。在一个实施例中，基站114b和WTRU 102c、102d可以实现诸如IEEE 802.11的无线电技术以建立无线局域网(WLAN)。在实施例中，基站114b和WTRU 102c、102d可以实现诸如IEEE802.15的无线电技术以建立无线个域网(WPAN)。在又一实施例中，基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如WCDMA、CDMA 2000、GSM、LTE-A Pro和NR)来建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可以不需要经由CN 106/115接入因特网110。RAN 104/113可与CN 106/115通信，其可以是被配置为向WTRU 102a、102b、102c、102d中的一个或多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务的任何类型的网络。数据可具有变化的服务质量(QoS)要求，例如不同吞吐量要求、时延要求、容错要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发，和/或执行高级安全功能，例如用户认证。
尽管在图1A中未示出，但是RAN 104/113和/或CN 106/115可以与使用与RAN 104/113相同的RAT或不同的RAT的其他RAN进行直接或间接的通信。例如，除了连接到可以利用NR无线电技术的RAN 104/113之外，CN 106/115还可以与采用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)进行通信。CN 106/115也可作为WTRU 102a、102b、102c、102d的网关以接入PSTN 108、因特网110和/或其他网络112。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网。
因特网110可以包括使用公共通信协议的互连计算机网络和设备的全球***，所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一个CN，所述RAN可以采用与RAN 104/113相同的RAT或不同的RAT。
通信***100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如，WTRU 102a、102b、102c、102d可包括多个收发信机，以通过不同无线链路与不同无线网络通信)。例如，图1A所示的WTRU 102c可以被配置成与可以采用基于蜂窝的无线电技术的基站114a通信，以及与可以采用IEEE802无线电技术的基站114b通信。
图1B是示出示例WTRU 102的***图。如图1B所示，WTRU 102可包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位***(GPS)芯片组136和/或其他***设备138等等。WTRU 102可以包括前述元件的任何子组合，同时保持与实施例一致。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理和/或任何其他使WTRU 102能够在无线环境中操作的功能。处理器118可以耦合到收发信机120，收发信机120可以耦合到发射/接收元件122。虽然图1B将处理器118和收发信机120描绘为单独的组件，但处理器118和收发信机120可一起集成在电子封装或芯片中。
发射/接收元件122可以被配置为通过空中接口116向基站(例如，基站114a)发射信号或从其接收信号。例如，在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在实施例中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一实施例中，发射/接收元件122可被配置为发射和/或接收RF及光信号两者。应当理解，发射/接收元件122可以被配置为发射和/或接收无线信号的任何组合。
尽管发射/接收元件122在图1B中被描述为单个元件，但是WTRU 102可以包括任意数量的发射/接收元件122。更具体地，WTRU 102可以使用MIMO技术。因此，在一个实施例中，WTRU 102可以包括两个或两个以上发射/接收元件122(例如多个天线)，用于通过空中接口116发射和接收无线信号。
收发信机120可以被配置为调制将由发射/接收元件122发射的信号，以及解调由发射/接收元件122接收的信号。如上所述，WTRU 102可以具有多模式能力。因此，举例而言，收发信机120可以包括用于使WTRU 102能够经由多个RAT进行通信的多个收发信机，多个RAT例如NR和IEEE 802.11。
WTRU 102的处理器118可被耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并可从其接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。另外，处理器118可从任何类型的合适存储器存取信息，且将数据存储在所述存储器中，例如不和可移除存储器130/或可移除存储器132。不可移除存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移除存储器132可以包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可以从存储器访问信息并将数据存储在存储器中，该存储器不是物理地位于WTRU 102上，例如位于服务器或家用计算机(未示出)上。
处理器118可以从电源134接收电力，并且可以被配置成分配和/或控制给WTRU102中的其他组件的电力。电源134可以是任何合适的用于为WTRU 102供电的设备。例如，电源134可以包括一个或多个干电池(例如，镍镉、镍锌、镍金属氢化物(NiMH)和锂离子(Li-ion))、太阳能电池、燃料电池等。
处理器118也可以耦合到GPS芯片组136，该GPS芯片组136可以被配置成提供关于WTRU 102的当前位置的位置信息(例如经度和纬度)。除了来自GPS芯片组136的信息之外，或者作为其替代，WTRU 102可以通过空中接口116从基站(例如基站114a、114b)接收位置信息，和/或基于从两个或更多邻近基站接收的信号的定时来确定其位置。WTRU 102可以通过任何合适的位置确定方法来获取位置信息，同时保持与实施例一致。
处理器118还可以耦合到其他***设备138，其可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，***设备138可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002618652970000151
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网经过器、虚拟现实和/或增强现实(VR/AR)设备、活动***等。***设备138可以包括一个或多个传感器，传感器可以是陀螺仪、加速度计、霍尔效应传感器、磁力计、方向传感器、接近传感器、温度传感器、时间传感器中的一个或多个；地理位置传感器；高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物特征传感器和/或湿度传感器。
WTRU 102可以包括全双工无线电，对于该全双工无线电，一些或所有信号(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联的信号)的传输和接收可以是并发的和/或同时的。全双工无线电设备可以包括干扰管理单元139，以经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)的信号处理来减少和/或基本上消除自干扰。在实施例中，WRTU 102可以包括半双工无线电，针对该半双工无线电，进行一些或所有信号(例如，与用于UL(例如，用于传输)或下行链路(例如用于接收)的特定子帧相关联)的传输和接收。
鉴于图1A-1B和图1A-1B的相应描述，本文关于以下各项中的一者或多者描述的功能中的一者或多者或全部可以由一个或多个仿真设备(未示出)执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185a-b和/或本文描述的任何(一个或多个)其他设备。仿真设备可以是被配置为仿真本文描述的功能中的一者或多者或全部的一个或多个设备。例如，仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，一个或多个仿真设备可以执行一个或多个或所有功能，同时被完全或部分地实施和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。一个或多个仿真设备可以执行一个或多个或所有功能，同时被临时实施/部署为有线和/或无线通信网络的一部分。仿真设备可出于测试目的而直接耦合到另一设备，和/或可使用空中无线通信执行测试。
一个或多个仿真设备可以执行一个或多个功能，包括所有功能，而同时不是作为有线和/或无线通信网络的一部分来实施/部署。例如，仿真设备可以在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。一个或多个仿真设备可以是测试装备。仿真设备可以使用经由RF电路(例如，其可以包括一个或多个天线)的直接RF耦合和/或无线通信来发射和/或接收数据。
注意，一个或多个所描述的实施例的各种硬件元件被称为“模块”，其执行(运行或进行)本文结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于运行被描述为由相应模块执行的一个或多个功能的指令，并且那些指令可以采取或包括硬件(硬线)指令、固件指令、软件指令等的形式，并且可以存储在任何合适的非暂时性计算机可读介质或媒介中，诸如通常被称为RAM或ROM。
概述
在许多先前的360°视频***中，用于在头戴式显示器(HMD)中相对于360°视频显示视频的查看方向与在该HMD中相对于真实空间的方向相同。示例实施例可以将至少一个输入，即HMD相对于真实空间的方向，转换为输出，即HMD相对于360°视频的方向。这样的实施例可以使用其他输入，诸如导演、评论家或其他用户选择的查看方向。这些多个输入可以根据在其下生成输入的事件和场景以及应用哪些规则来处理输入而被不同地处理。
可以以各种方式提供用户方向输入。例如，可以基于查看设备(诸如用户的HMD)在真实空间中的物理方向(例如，由查看设备的惯性测量单元(IMU)确定的)来自动提供用户方向输入。用户方向输入可以替代地由另一用户输入提供，诸如触摸屏、触摸板、操纵杆或其它输入设备上的滚动输入。
在一些实施例中，时间n+1的当前查看方向可表示为[Direction w.r.t.360°Video]n+1。该查看方向的增量变化可以是以下两者的加权和：(i)用户方向输入的增量变化([Direction in Real Space]n+1-[Direction in Real Space]n)和(ii)朝向所定义的查看路径上的当前方向的校正。其中校正可以被计算为([Direction Chosen byDirector]n+1-[Direction w.r.t.360°Video]n).。例如，当前查看方向可以计算如下：
[Direction w.r.t.360°Video]n+1＝[Direction w.r.t.360°Video]n+a*([Directionin Real Space]n+1-[Direction in Real Space]n)+b*([Direction Chosen byDirector]n+1-[Direction w.r.t.360°Video]n) 等式1
其中a和b是常数。对于一个实施例，a和b可以是随时间而变的变量。
在一些实施例中，所述当前查看方向是以下两者的加权和：(i)所述用户方向输入的当前高通滤波版本与(ii)所定义的查看路径的当前方向。作为使用两抽头高通滤波器的一个示例，用户方向输入的高通滤波版本可以是([Direction in Real Space]n+1-[Direction in Real Space]n)。在这种情况下，当前查看方向可以被计算为：
[Direction w.r.t.360°Video]n+1＝a*([Direction in Real Space]n+1-[Directionin Real Space]n)+[Direction Chosen by Director]n+1 等式2
可以注意到，等式2是等式1中设置b＝1的结果。然而，对于对用户方向输入执行的不同类型的高通滤波，可以执行不同的计算以确定查看方向。
对于一个实施例，等式3和4列出了a和b上的边界：
0≤a≤1 等式3
0≤b≤1 等式4
可以对a和b的值施加各种约束，或者可以单独地改变a和b的值。
为了处理方向度值的翻转，360°的偏移可以被添加到等式1的在等号之后(或右边)示出的五项中的任何项。
如果在等式1中a＝1且b＝0，则导演的方向脱落(fall out)，且等式1简化为：
[Direction w.r.t.360°Video]n+1＝[Direction w.r.t.360°Video]n+[Direction inReal Space]n+1-[Direction in Real Space]n 等式5
换句话说，等式5中的项可以被移位以变成等式6，其示出了相对于360°视频的方向改变等于HMD在真实空间中的方向改变：
[Direction w.r.t.360°Video]n+1＝[Direction w.r.t.360°Video]n+[Direction inReal Space]n+1-[Direction in Real Space]n 等式6
如果在等式1中a＝0并且b＝1，则HMD在真实空间中的方向脱落，并且等式1简化为：
[Direction w.r.t.360°Video]n+1＝[Direction Chosen by Director]n+1 等式7
在等式8的示例中，相对于视频的方向接近导演选择的方向，因子b指示这完成得有多快。对于b的较低值，相对于视频的方向更缓慢地接近导演选择的方向，而对于b的较高值(≤1)，方向更迅速地(或瞬时地，对于b＝1)跟随导演选择的方向。
[Direction w.r.t.360°Video]n+1＝[Direction w.r.t.360°Video]n+b*([DirectionChosen by Director]n+1-[Direction w.r.t.360°Video]n) 等式8
对a和b设置不同的值，诸如a＝0.3和b＝0.7，可以用于设置不同的自动化级别。
架构
图2示出了用于360°视频的自动导航的过程的界面的一个实施例200。一个过程配置观看简档202。另一过程准备360°视频的自动导航204。另一个过程输出360°视频206。对于一个实施例，配置观看简档202可以包括设置事件的自动化规则以及设置观看简档的优先级。对于一个实施例，准备360°视频以用于自动导航204可以包括递送360°视频的观看简档、扩展特殊事件的观看简档、选择观看简档元信息以及递送到360°视频输出模块、360°视频流、周期性事件数据和静态事件的完整路径。对于一个实施例，输出360°视频206可以包括输出用户指导的360°视频片段以及输出360°视频片段的自动导航。
可以生成用于控制HMD的查看方向的一个或多个观看(或查看)简档。对于一个实施例，HMD针对快速的注视改变而快速地改变查看方向，但是HMD缓慢地收敛回到引导方向。观看简档可以指示HMD针对用户和导演建议的查看方向多快地改变查看方向。例如，观看简档可以包括等式1中的a和b的值的时间序列，其指示用于计算相对于360°视频的方向的真实空间(用户HMD方向)方向改变和导演方向改变的比例。观看简档可以指示如果用户进行了快速扫视，则是否停止引导查看。观看简档可以指示用户是否要继续长聚焦(或凝视)的引导查看。观看简档可以指示“导演的切换”，导演的建议的查看方向的集合。针对导演的切换的观看简档在等式1中可以具有a＝0和b＝1的值。
在引导查看期间，用户HMD运动(等式1中的真实空间中的方向)可以与建议的查看路径(等式1中的导演选择的方向)组合。自动化级别可用于确定HMD定向和建议路径的查看方向的相对权重。对于一个实施例，观看简档可以具有用于等式1中的a和b的值的集合，其指示自动化级别。例如，观看简档可以具有针对a和b的一组配对，诸如：
(a,b)＝{(0.25,0.75),(0.5,0.5),(0.75,0.25)} 等式9
等式9中的a和b的值的三组配对可以指示3个自动化级别。
用户可以记录查看轨迹以恢复或共享查看体验。记录的查看轨迹可以通过在每个时间点给出注视方向来指示在哪里进入360°视频。用户可以加载先前存储的观看简档并且选择该简档以用于设置自动化级别和观看方向。对于一个实施例，注视方向(等式1中的真实空间中的方向)可以针对一系列时间间隔被存储，其中n＝1、2、…N。对于一个实施例，自动化级别可以被存储在观看简档中，如等式9所示。对于一些实施例，观看简档可以包括注视方向和形成经过时间和空间的路径的360度视频内容(或360度视频)的时空子集之间的偏差阈值。这种偏差阈值可以表示为角度偏差的三维集合。对于一些实施例，偏差阈值可以随时间变化。
对于本文公开的***和方法，内容作者可以使用工具来描述增强的方法以供用户欣赏内容。工具还可以用于设置360°内容的引导路径的不同自动化级别。例如，内容作者可以指示硬切换，其立即重定向视口或者可以指示用于新场景的入口点。对于一个实施例，可以在观看简档中利用针对a和b的值一的系列配对来指示硬切换，其中针对a和b的值的那些系列中的至少一个配对是a＝0并且b＝1。
在各种实施例中，所描述的模块可以在不同的设备上实现。例如，本文描述为由客户端设备实现的一些模块可以替代地在服务器上实现。
图3示出了用于生成用于查看360°视频的多个引导级别(或自动)视口的过程的一个实施例300。生成一个或多个观看简档。对于一个实施例，用户选择观看简档(图3中未示出)。对于一个实施例，可以源自服务器的建议的方向324或者对于另一个实施例，可以源自用户的建议的方向被传送到客户端304。在观看简档中指示的建议的方向(其可以是如等式1中所示的由导演选择的方向)和规则可以被用于确定推荐方向(或视口)。对于一个实施例，观看简档312可以具有由视频事件326或其他场景触发的规则集合。这些规则可以影响等式1中的a和b的值，并且可以影响360度视频内容的推荐方向或视口的计算(或确定)。对于一些实施例，可以针对每个可用观看简档确定推荐视口。
观看简档312可以包括截止频率322，其被发送到高通滤波器310。对于一些实施例，可测量360度视频内容查看设备的定向以生成定向测量。头戴式显示器(HMD)302(或其他360度视频内容查看设备)可以将指示其定向测量的信息发送到高通滤波器310以生成经滤波的定向测量。高通滤波器310的输出经由加权求和函数314与确定的推荐方向316组合以输出查看方向。加权求和314可以使用观看简档312中指示的移动增益值(等式1中的真实空间中的方向)。移动增益值可以指示高通滤波器输出(例如等式1中使用的常数a的值)和所确定的用于加权求和函数的推荐方向316(例如等式1中使用的常数b的值)的相对比例。
视频事件326的呈现被传送到客户端304，并且如果视频事件326发生，则应用事件转变318。通过一些实施例，客户端304、HMD 302或360度视频内容查看设备可以接收指示360度视频内容内的视频事件326的信息。客户端304、HMD 302或360度视频内容查看设备可以确定用于处理视频事件326的转变效果，并且可以执行用于处理视频事件326的转变效果方法(或生成信息)。对于一个实施例，应用事件转变326以将查看方向输出移位到与视频事件326相关的方向，其可以是等式1中的a和b的值的一系列配对，其中对于值的至少一个配对是a＝0并且b＝1。360°视频源328由客户端304接收，且客户端304使用查看方向输出生成视口投影320。视口投影320被输出到HMD显示器308以显示来自视口投影320的360°视频。对于一些实施例，360度视频内容的视口(或视口投影320)可基于所确定的推荐视口来调整。
通过一些实施例，360度视频内容的视口(或视口投影320)可基于定向测量和/或边界阈值来调整。在一些实施例中，调整所显示的360度视频内容的视口可以包括将经过滤的定向测量与360度视频内容的视口进行组合，所述视口与针对所选择的观看简档的经过时间和空间的路径相对应，所述路径可以是所确定的推荐方向316。在一些实施例中，调整所显示的360度视频内容的视口可以基于360度视频内容查看设备的定向测量。对于一些实施例，调整所显示的360度视频内容的视口可以基于边界阈值。通过一些实施例，调整所显示的360度视频内容的视口可以基于360度视频内容查看设备的定向测量和边界阈值两者。例如，边界阈值可以限制查看360度视频内容超出罗盘(compass)航向，诸如30度的罗盘航向。如果用户使头部旋转超过30度边界阈值，则360度视频内容查看设备可以调整360度视频内容的视口以利用超过30度边界阈值的进一步头部旋转来跟踪。
边界阈值可以被包括在引导级别内。边界阈值可以使得用户能够具有达到边界条件或阈值的360度视频内容的注视方向。例如，用户可能能够查看360度视频内容，直到与所显示的内容相关联的特定罗盘航向或特定位置。显示360度视频内容可以包括显示360度视频内容的一个或多个视口，所述视口与针对所选择的观看简档的经过时间和空间的路径相对应。
图4示出了360°视频内容服务器404和HMD设备402之间的通信界面集合400。对于一个实施例，HMD设备402可以具有与以下模块的因特网连接：HMD定向406、内容播放器408、观看简档用户界面410和用户偏好412。HMD定向模块406可包括陀螺仪传感器以确定HMD定向。内容播放器408可以是能够通过使用事件描述和观看简档来播放360°视频的模块。观看简档用户界面(UI)410可以是使得用户(或观看者)能够创建新的观看简档并且扩展现有观看简档的用户界面。用户偏好412可以与观看简档一起存储在存储位置，并且与360°视频的查看一起使用。
对于一个实施例，360°视频内容服务器404可以具有以下模块：观看简档准备414、特殊事件检测416、360°视频服务418和元信息服务420。观看简档准备模块414可以是能够为所选360°视频内容和为所使用的HMD的能力准备观看简档的服务。特殊事件检测模块416可以是能够检测在所选择的(一个或多个)观看简档中未被处理的事件(对于这些事件，没有指定的自动化规则)的服务。360°视频服务模块418可以是为所选择的360°视频内容提供360°视频流的服务。元信息服务420可以提供所选择的360°视频的元信息(例如，事件描述)。
对于一个实施例，HMD 402可以将HMD属性422、选择的观看简档426和扩展的观看简档430发送到360°视频内容服务器404，而360°视频内容服务器404可以将内容的观看简档424、特殊事件描述428、360°视频流432、周期性事件的侧流434和静态事件的完整路径436发送到HMD设备402。对于一些实施例，观看简档可以包括360度视频内容的时空子集，其包括突出显示360度视频内容的时间线上的空间位置的信息。例如，这样的信息可以包括指向时间线上的位置的箭头或指针。这样的信息还可以包括当一个或多个视频事件发生时360度视频内容内的时间列表。
360°视频事件描述
360°视频事件描述360°视频中的事件在时间和方向两者上的类型和位置。360°视频事件描述可以指示360°视频的时间线。时间线可被指示为元数据。360°视频事件描述可以包括事件类型、开始时间和持续时间字段以及360°内容中的可选字段区域、查看路径和缩放级别。事件类型字段的一个实施例可以指示360°视频事件的类型，并且可以具有诸如“导演视图”、“评论家视图”、“北方向”、“花絮(blooper)”、“喜爱的定向”、“电影中的关键事件”和“进球(Goal)”之类的值。开始时间字段是事件的开始时间，并且例如可以是“11:01”。持续时间字段是事件的持续时间，并且例如可以是“35秒”。360°内容中的区域字段是可选字段，其可以指示其中发生事件的区域的坐标。查看路径字段是可选字段，其可以指示事件的视角的坐标和时间戳序列。缩放级别字段是指示用于查看事件的360°视频的缩放级别的可选字段。
对于一些实施例，可以针对场景切换事件指示进入场景的替代初始进入查看方向。可以指示场景切换处的跳跃点和内容旋转，使得当前查看方向变为用于内容的新的“北”方向的方向。对于一个实施例，等式1的常数b可以被设置为零以用于跳跃，从而产生等式5。
360°视频观看简档模板
观看简档可以用于360°视频的自动导航。观看简档可以描述响应于事件要采取的用户选择的动作以用于在HMD中显示视频。观看简档可以包含观看简档选择参数、360°视频体验符合性参数、观看简档激活/停用参数和辅助360°视频体验规则。观看简档可以包含等式1中的常数a和b的值(或一系列值)。对于一个实施例，观看简档还可以包含等式10中的常数c和d的值(或一系列值)：
[Direction w.r.t.360°Video]n+1＝[Direction w.r.t.360°Video]n+a*([Directionin Real Space]n+1-[Direction in Real Space]n)+b*([Direction Chosen byDirector]n+1-[Direction w.r.t.360°Video]n)+c*([Direction Chosen by Critic]n+1-[Direction w.r.t.360°Video]n)+d*([Dir.Chosen by Another Source]n+1-[Directionw.r.t.360°Video]n) 等式10
对于一个实施例，观看简档可以具有仅针对a和b的值，而对于另一实施例，观看简档可以具有仅针对c和d的值。对于一个实施例，a、b、c和d可以随时间而改变，并且观看简档可以具有一系列随时间而改变的针对a、b、c和d的值。对于一个实施例，由另一源选择的方向可以是由观看360°视频的一组用户选择的方向的平均值。
对于一个实施例，观看简档选择参数可以包括名称、自动化级别和优先级。名称字段(其可以具有诸如“沙发土豆体验”的值)指示用于识别目的的简档的名称。自动化级别字段(其可以具有诸如“高”、“中”和“低”的值)指示用于调整360°视频的查看方向的自动化级别。用户可以使用自动化级别来选择观看简档。例如，观看者可能想要具有完全自动化的360°视频体验，并且可以从观看具有自动化级别值“高”的简档中进行选择。自动化级别字段可以与等式1的变量a和b的值的配对的集合相关，诸如等式9中所示的示例。对于3个自动化级别的示例，“高”的值可以与第一配对相关(a＝0.25，b＝0.75)，“中”的值可以与第二配对相关(a＝0.5，b＝0.5)，并且“低”的值可以对应于第三配对(a＝0.75，b＝0.25)。如果选择多个观看简档用于观看360°视频，则优先级字段(其可以具有从1到5的值)可以是观看简档的优先级。如果自动化规则冲突，则可以执行具有最高优先级值的观看简档的规则。
一些实施例适合用于在具有至少一个位置自由度的内容中使用，例如三自由度加(3DoF+)或六自由度(6DoF)内容。在这样的实施例中，一个或多个预定位置路径可供用户选择。位置路径可以由一系列位置坐标(例如，x、y、z坐标)来定义。还可以为每组坐标提供时间戳，除非例如通过坐标在系列内的位置可以另外推断出相关联的时间。
作为示例，一个这样的预定位置路径可以是“导演”路径。用户可以选择“导演”路径，并且可以单独地选择期望位置自动化级别。如果用户选择完全位置自动化，则使用由“导演”路径定义的(可能随时间变化的)视点位置向用户显示内容。如果用户选择部分位置自动化，则视点位置可以是预定路径和用户位置输入两者的函数。在一个实施例中，视点位置可以如等式11中所描述的那样来确定。
[Position w.r.t.360°Video]n+1＝[Position w.r.t.360°Video]n+g*([Position inReal Space]n+1-[Position in Real Space]n)+h*([Position Chosen by Director]n+1-[Position w.r.t.360°Video]n) 等式11
在一些实施例中，位置自动化级别和方向自动化级别可以是不同的。例如，用户可以选择完全位置自动化而没有方向自动化，使得用户不控制他的视点位置(其由预定位置路径确定)，而是完全控制查看方向。
用户可以以各种方式提供位置输入。例如，可以基于查看设备(诸如用户的HMD)在真实空间中的物理位置、用户在真实空间中的物理位置(例如，由用户外部的摄像机***确定的物理位置)来自动提供用户位置输入。用户位置输入可以替代地由另一用户输入提供，诸如触摸屏、触摸板、操纵杆或其它输入设备上的滚动输入。
对于一个实施例，360°视频体验符合性参数是可选的。如果使用观看简档，则这些参数可能影响360°视频体验的符合性。最大摇摄速度是可以约束由观看规则指示的效果的一个符合性参数。最大摇摄速度(其可以具有诸如“50度/秒”的值)可以设置观看简档的自动化规则所使用的摇摄效果的最大速度。对于一个实施例，最大摇摄速度参数可包括等式1中的常数a和b的相关值集合。对于一个实施例，观看简档可包括对相对于360°视频的方向可从一个时间间隔到下一个时间间隔(从n到n+1)改变多少的限制。这种规则可以包括用于等式1中的常数a和b的值的集合。通过一些实施例，观看简档可以包括对用户交互性的限制，例如最大摇摄速度、从视口位置偏离的最大角度、移动增益、到移动轴的移动制约(confinement)、以及移动边界。从视口位置偏离的最大角度可以是从当前视口位置或当前注视方向的最大罗盘角度变化。移动增益可以是相对于如等式1所示的真实空间中的方向。到移动轴的移动制约可以将360度视频内容内的移动制约为例如沿x轴(或沿y或z轴)的移动。移动边界可以包括在移动经过与360度视频内容相关联的特定位置(例如房间的360度视频内容的墙壁)时的停止。
对于一个实施例，观看简档激活/停用参数可以使得HMD用户能够激活/停用用于观看360°视频的观看简档。观看简档激活控制字段可以指示激活观看简档的HMD用户动作。例如，如果观看简档激活控制字段具有“HMD的移动很小或没有移动”的值，则HMD用户在一时间段内的移动很小或没有移动可以激活观看简档。如等式所述，如果|[Directionw.r.t.Real Space]n+1-[Direction w.r.t.Real Space]n|＜Threshold_LNM，等式1中的a和b可以被设置为使得a＝0和b＝1。观看简档可以设置阈值Threshold_LNM的值。
观看简档停用控制字段可以指示停用观看简档的HMD用户动作。例如，如果观看简档停用控制字段具有“快速转动”的值，则HMD用户的快速转动可以停用观看简档。如果观看简档停用控制字段具有“快速大幅移动”的值，则HMD用户的快速大幅移动停用观看简档。如等式所述，如果HMD移动相对于真实空间的变化超过阈值，则可以停用观看简档。如果|[Direction w.r.t.Real Space]n+1-[Direction w.r.t.Real Space]n|＞Threshold_RLM，则可以设置等式1中的a和b，使得a＝1并且b＝0。观看简档可以设置阈值Threshold_LNM的值。对于一些实施例，第一观看简档可以包括在经过时间和空间的路径与360度视频内容的注视方向之间的第一偏差阈值，并且第二观看简档可以包括在路径与注视方向之间的第二偏差阈值。第一阈值可以小于第二阈值。经过时间和空间的路径可以是360度视频内容的一系列视口。如上所示，第一和第二阈值可以分别等于例如Threshold_LNM和Threshold_RLM。第一阈值和第二阈值可以与在每个相应观看简档中指定的引导级别相关联。例如，第一阈值可以指定用户的360度视频内容的视口上的低引导级别，并且第二阈值可以指定用户的360度视频内容的视口上的高引导级别。用户可以基于在所选择的观看简档中指定的引导级别来选择观看简档。
对于一个实施例，辅助360°视频体验规则可以包括具有事件类型字段、排除其他规则和效果的自动化规则。事件类型字段指示可由自动化规则使用以用于执行效果的事件的类型。事件类型字段值的示例可以是“360°内容中的动作”、“导演视图”、“电影中的关键事件”、“花絮”、“进球”、“球移动”和“与足球队A的明星球员相关的事件”。“360°内容中的动作”的值可以指示传递关于360°视频内容中的特定时间处的动作的信息的事件。事件类型的“导演视图”的值可指示自动化规则，该自动化规则指示由视频的导演推荐的360°视频的查看方向(等式1中导演选择的方向)。事件类型的“电影中的关键事件”的值可以指示360°电影中的关键事件。事件类型的“花絮”的值可以指示演员表或机组的人员制造的错误。事件类型的“进球”的值可以指示足球事件(或比赛)中的进球。事件类型的“球移动”的值可以指示足球比赛中的球移动。事件类型的“与足球队A的明星球员相关的事件”的值可以指示关于足球队A的明星球员的事件。对于一个实施例，事件类型可以与等式1中的a和b的值的集合(或者等式10中的a、b、c和d)有关。
具有排除其他规则字段的自动化规则可以具有“是”或“否”的值。值“是”可以指示具有较高优先级的观看简档的自动化规则是所执行的规则。
具有效果字段的自动化规则可指示如果特定事件发生则执行效果。具有“摇摄效果”的值的效果字段可以引起朝向事件的平滑摇摄，以使得事件对于观看者可见。对于一个实施例，摇摄效果可以在观看简档中包括等式1中的a和b的一系列对应值，具有“硬切换效果”的值的效果字段可以引起硬切换，其中HMD上示出的内容突然跳跃，使得所指示的方向与HMD观看者的当前方向对齐。对于一个实施例，可以在观看简档中利用等式1中的a和b的值的一系列配对来指示硬切换，其中对于a和b的值的那些系列中的至少一个配对是a＝0并且b＝1。具有“缩放效果”的值的效果字段可以引起向360°视频中的事件的放大和摇摄。具有“突出效果”的值的效果字段可以引起360°视频中事件的突出。例如，颜色和形状可以用于强调事件并且使事件对于观看者更可见。具有“显示方向箭头”的值的效果字段可以使得方向箭头被显示以引导观看者转向并且在360°视频中看到事件。具有“振动警告“的值的效果字段可以使得振动警告被显示以向观看者通知360°视频中的事件。具有“附加内容窗口”的值的效果字段可以使***在附加内容窗口中为用户示出活跃事件。具有“轻微用户控制开启”的值的效果字段可以引起轻微的用户旋转，以在摇摄或硬切换效果之后影响查看方向。例如，对于“轻微用户控制开启”的效果字段值，观看简档可以包括等式1中的a＝0.5和b＝0.5的值。具有“轻微用户控制关闭”的值的效果字段可以使得轻微用户旋转不影响360°视频的查看方向。例如，对于“轻微用户控制关闭”的效果字段值，观看简档可以包括等式1中的a＝0和b＝1的值。
360°视频观看简档示例
表1示出了示例“沙发土豆”观看简档。对于一个实施例，这种简档可包括如上所述的等式1中的a和b(或等式10中的a、b、c和d)的值。
●观看简档选择参数：
○名称：“沙发土豆体验”
○自动化级别：“高”
○优先级：“1”
●360°视频体验符合性参数
○最大旋转速度：“50度/秒”
●观看简档激活/停用参数：
○观看简档的激活：“HMD很小或没有移动”
○观看简档的停用：“快速转动”|“快速大幅移动”
●辅助360°视频体验规则：
○自动化规则：
■事件类型：“导演视图”
■排除其他效果：“是”
■效果：
●“摇摄效果”
●“硬切换最大180度”
●“轻微用户控制开启”
表1.沙发土豆观看简档示例
“沙发土豆”观看简档可以由通常跟随360°视频的导演查看并且不主动移动或跟随事件但是可能想要自由地在360°视频内的不同方向上观看的用户使用。例如，360°视频的回放可以使用导演所指示的查看路径，并且可以将内容旋转到HMD当前面向的方向。结果，观看者看到导演推荐的视图。然而，“轻微用户控制”选项可以用于使观看者能够在将内容旋转到查看路径中指示的方向之后通过移动他或她的头部来轻微地旋转内容。
HMD显示引导路径的内容，但使用户能够在与引导路径稍微不同的方向上观看。观看简档可以指示激活和停用观看简档的用户动作。例如，如果HMD用户具有很小或没有移动(这可以激活观看简档)，则所显示的视图可以是导演的视口。如果用户进行大幅的、快速的移动，诸如快速地转动他或她的头部(这可能使观看简档无效)，则所显示的视图可以是用户的查看方向。对于一些实施例，观看简档可以包括360度视频内容的时空子集，其包括经过时间和空间的路径，并且该路径可以包括用于确定360度视频内容的推荐视口的信息。对于一些实施例，观看简档的360度视频内容的时空子集可以包括与用户的位置相关联的经过时间和空间的第一路径和与用户的查看方向相关联的经过时间和空间的第二路径。对于一些实施例，客户端或360度视频查看设备可以接收两个或更多个可用观看简档，其中每个可用观看简档包括描述经过时间和空间的路径的信息。每个观看简档的路径可以不同。对于一些实施例，引导级别可以包括指示经过时间和空间的三维路径的数量设置。例如，数量设置为零(或空)可以指示用户具有对360度视频内容的视口的完全控制。数量设置为一可以指示用户的经过时间和空间的运动被预定为根据包括在引导级别中的经过时间和空间的路径移动。数量设置为一可以指示在某些时间段内可以沿着经过时间和空间的路径引导用户的运动。数量设置为二可以指示用户的运动和用户的查看方向被预定为根据包括在引导级别中的经过时间和空间的相应的第一和第二路径而移动。例如，用户的运动可与用户的躯干移动相关联，并且用户的查看方向可与用户的头部移动相关联。对于一些实施例，设备可以使用由所选择的观看简档指定的引导级别来指导用户观看与所选择的观看简档相关联的360度视频内容的时空子集，使得基于在所选择的观看简档中指定的经过时间和空间的路径来调整所显示的360度视频内容的视口。例如，用户可以选择具有引导级别(诸如低、中或高)的观看简档。引导级别可以指示注视方向和与360度视频内容相关联的经过时间和空间的路径之间的偏离量。如果用户的注视方向超过偏差阈值，则可以调整所显示的360度视频内容的视口。例如，如果用户的注视方向或头部移动相对于真实空间环境超过偏离阈值，则360度视频内容的视口可被调整以跟踪超过偏离阈值的注视方向改变或头部移动改变。
如果用户难以执行大于180度的突然转动，则观看简档可以包括“硬切换最大180度”效果。对于硬切换效果，HMD设备上示出的内容突然跳跃，使得所指示的方向与HMD观看者的当前方向对齐。HMD可以突然切换以示出在观看者背后是什么，而无需用户突然旋转他或她的头部。
表2示出了观看简档的示例“足球队A的球迷”。对于一个实施例，这种简档可包括如上所述的等式1中的a和b(或等式10中的a、b、c和d)的值。
●观看简档选择参数：
○名称：“足球队A的球迷”
○自动化级别：“中”
○优先级：“1”
●360°视频体验符合性参数：
○最大旋转速度：“50度/秒”
●观看简档激活/停用参数
○观看简档的激活：“HMD很小或没有移动”
○观看简档的停用：“快速转动”|“快速大幅移动”
●辅助360°视频体验规则：
○自动化规则：
■事件类型：“进球”|“与足球队A的明星球员有关的事件”
■排除其他效果：“是”
■效果：
●“摇摄效果”
●“立即切换动作方向”
●“缩放”
●“突出事件”
表2.“足球队A的球迷”观看简档示例
]“足球队A的球迷”观看简档可以由以下用户使用：足球队A的球迷以及想要积极地跟随足球队A并且不错过与足球队A的明星球员有关的重大事件的用户。对于这种体验，简档指示对于在360°视频馈送中指示的事件的摇摄、动作方向的直接切换、缩放和事件突出显示的效果。
表3示出了“跟随球”观看简档的示例。对于一个实施例，这种简档可包括如上所述的等式1中的a和b(或等式10中的a、b、c和d)的值。
●观看简档选择参数：
○名称：“跟随球”
○自动化级别：“中”
○优先级：“1”
●观看简档激活/停用参数：
○观看简档的激活：“HMD很小或没有移动”
○观看简档的停用：“快速转动”|“快速大幅移动”
●辅助360°视频体验规则：
○自动化规则：
■事件类型：“球移动”
■排除其他效果：“是”
■效果：
●“摇摄效果”
●“立即切换动作方向”
●“缩放”
●“突出事件”
表3.“跟随球”观看简档示例
“跟随球”观看简档可以由想要以最小的用户努力来改变查看方向而跟随球的用户使用。该简档指示对于在360°视频馈送中指示的事件的摇摄、动作方向的直接切换、缩放和事件突出显示的效果。
表4示出了“跟随动作”观看简档的示例。对于一个实施例，这种简档可包括如上所述的等式1中的a和b(或等式10中的a、b、c和d)的值。
●观看简档选择参数：
○名称：“跟随动作”
○自动化级别：“中”
○优先级：“1”
●观看简档激活/停用参数：
○观看简档的激活：”HMD很小或没有移动”
○观看简档的停用：“快速转动”|“快速大幅移动”
●辅助360°视频体验规则：
○自动化规则：
■事件类型：“360度内容中的动作”
■排除其他效果：“是”
■效果：
●“立即切换动作方向”
●“缩放”
●“突出事件”
表4.“跟随动作”观看简档示例
“跟随动作”观看简档可以由想要以最小的用户努力来改变查看方向而看到最感兴趣或重要动作的用户使用。该简档指示对于在360°视频馈送中指示的事件的动作方向的直接切换、缩放和事件突出显示的效果。
表5示出了示例“活跃用户”观看简档。对于一个实施例，这种简档可包括如上所述的等式1中的a和b(或等式10中的a、b、c和d)的值。
●观看简档选择参数：
○名称：“活跃用户体验”
○自动化级别：“低”
○优先级：“1”
●观看简档激活/停用参数：
○观看简档的激活：“HMD很小或没有移动”
○观看简档的停用：“快速转动”|“快速大幅移动”
●辅助360°视频体验规则：
○自动化规则：
■事件类型：“电影中的关键事件”
■排除其他效果：“是”
■效果：
●“显示方向箭头”
表5.“活跃用户”观看简档示例
“活跃用户”观看简档可以由想要活动地跟随360°视频但是不想错过360°视频中的重要事件的用户使用。该简档向HMD指示显示方向箭头以引导用户转动他或她的头部来查看重要事件。
消息传送
图5是用于以引导导航路径查看360°视频的一个实施例的消息序列图500。服务器506可以向客户端504发送(508)所选择的观看简档。360°视频观看者502可以发送(510)具有指示HMD设备定向的数据的消息。客户端504可以过滤(512)设备定向，例如利用高通滤波器。服务器506可以向客户端504发送(514)360°视频流。此外，服务器506可以向客户端504发送(516)推荐的视口。客户端504可以计算(518)引导视口，其可以基于360°视频流和推荐视口。对于一个实施例，引导视口的计算518可以包括解析观看简档中包括的一个或多个自动化规则，确定自动化规则的优先级级别，确定等式1中a和b(或者等式10中a、b、c和d)要使用的值，以及计算相对于360°视频的方向。服务器506可以向客户端504发送(520)一个或多个视频事件。客户端504可以执行(522)视口转变效果，其可以基于所选择的观看简档中的规则。视口转变可包括用于等式1中的a和b(或等式10中的a、b、c和d)的值。客户端504可计算(524)用于360°视频的视口，且可将视口发送(526)到360°视频观看者502。
配置观看简档
图6示出了用于360°视频的自动导航的消息序列图600的一个实施例。对于一个实施例，用户602将观看简档偏好和设置发送(610)到客户端侧内容播放器604。这些偏好和设置可以用于创建用于360°视频的导航路径的观看简档。对于一个实施例，用户602可以具有用于查看360°视频的默认观看简档。默认观看简档可以针对特定360°视频来定制。用户602可以具有多个观看简档，其中每个简档具有一名称。对于一个实施例，用户界面使得用户602能够设置用于360°视频中的事件的自动化规则，其可以用于创建观看简档。例如，用户602可设置指示要对360°视频中的“花絮”事件执行“摇摄效果”和“缩放效果”的自动化规则。观看简档可以包括用于等式1中的a和b(或者等式10中的a、b、c和d)的值，其与观看简档中包括的自动化规则相关。
用户界面还可以使得用户602能够设置观看简档的优先级，使得具有最高优先级的观看简档可以用于查看360°视频。用户602可设置自动化规则以排除其它自动化规则的执行。例如，当摇摄效果用于显示某些事件(诸如足球比赛中的进球或橄榄球比赛中的触地)时，自动化规则可防止显示附加内容窗口。例如，如果执行摇摄效果规则，则具有摇摄效果规则的观看简档可以包括a＝0和b＝1的值。a和b的这些值可使得相对于360°视频的方向的改变等于由导演选择的方向的改变，诸如在等式8中。
对于一些实施例，生成观看简档的元数据可以包括生成用于确定360度视频内容的至少一个推荐视口的信息。对于一些实施例，生成描述对用户交互性的限制的观看简档的元数据可以包括生成经过时间和空间的路径与360度视频内容的注视方向之间的偏差阈值。对于一些实施例，生成描述360度视频内容的时空子集的观看简档的元数据可以包括生成描述与用户的躯干移动相关联的经过时间和空间的第一路径的元数据以及生成描述与用户的头部移动相关联的经过时间和空间的第二路径的元数据。例如，第一路径可以类似于控制与经过时间和空间的用户的躯干移动相关联的移动的轨道集合，并且第二路径可以类似于控制与经过时间和空间的用户的头部移动相关联的移动的轨道集合。例如，观看简档的经过时间和空间的路径可以类似于第一人称射击者视频游戏，其中射击者(或用户)在轨道上。
用户界面工具可以使得用户能够生成如本文所描述的观看简档。例如，用户界面可以提示用户针对观看简档进行配置：引导级别、引导级别的偏差阈值、与360度视频内容相关联的经过时间和空间的一个或多个路径、在等式10中指示的变量a、b、c和d、对与观看简档相关联的用户交互性的一个或多个限制，以及用于处理与360度视频内容相关联的视频事件的一个或多个转变效果方法。用于生成观看简档的用户界面工具可以在360度视频内容查看设备显示环境内执行。
用于360°视频的自动导航的准备
用户602选择将由HMD设备播放的360°视频，并且用户的选择可以被发送(612)到内容播放器604。内容播放器604可以向服务器侧内容服务器606发送(614)360°视频请求，该视频请求可以包括HMD能力的HMD简档。
360°视频的观看简档的递送
内容服务器606可以准备(616)内容的观看简档。可以针对所选择的360°视频和HMD的能力(诸如使用HMD能够执行的自动化规则)来修改观看简档。内容服务器606可以向内容播放器604发送(618)选择观看简档请求消息，该消息可以包括内容的观看简档。内容播放器604可以显示(620)可用观看简档，其可以包括为用户602定制的观看简档。这种定制可以包括用于等式1中的a和b(或者等式10中的a、b、c和d)的值的集合。用户602可以选择观看简档以用于360°视频的自动导航，并且可以将所选择的观看简档发送(622)给内容播放器604。对于一些实施例，观看简档可以包括360度视频内容的时空子集，其包括360度视频内容内的时间点处的360度视频内容的至少一个视口，并且至少一个引导级别可以包括到在显示360度视频内容时使用的至少一个视口的自动导航级别。观看简档可以包括描述对用户交互性的限制的元数据和描述与360度视频内容的视口相关联的转变效果的元数据。
用于特殊事件的观看简档的扩展
内容播放器604可以向内容服务器606发送(624)选择观看简档响应消息，其可以包括所选择的观看简档。360°视频可以包含在所选择的观看简档中尚未管理的特殊事件。例如，足球比赛的360°视频广播可以具有“明星球员相关事件”特殊事件类型。内容服务器606可以生成(626)所选择的观看简档的特殊事件的通知。内容服务器606可以向内容播放器604发送(628)扩展观看简档请求，该扩展观看简档请求传送(一个或多个)特殊(未处理)事件和所选择的观看简档的描述。内容服务器606可以修改所选择的观看简档以处理该特殊事件。这种修改可以包括用于等式1中的a和b(或者等式10中的a、b、c和d)的值的集合。内容播放器604可以显示(630)(一个或多个)特殊(未处理)事件以向用户602警告(一个或多个)特殊事件。用户602可以与内容播放器604进行交互(632)，以扩展用于特殊事件类型的观看简档。例如，用户602可以利用用于“附加内容窗口”效果的自动化规则来扩展观看简档，当检测到“明星球员相关事件”特殊事件类型时，执行该自动化规则。内容播放器604可以在扩展观看简档响应消息中向内容服务器606发送(634)扩展观看简档。
基于观看简档的元信息选择
内容服务器606可以使用扩展观看简档来准备(636)事件的元信息。元信息可以从描述与360°视频相关的事件的多个源提取。对于一些实施例，生成观看简档的方法可以包括生成描述360度视频内容内的视频事件的元数据，以及生成描述用于处理与视频事件相关联的视口的转变效果方法的元数据。例如，转变效果方法可以包括360度视频内容的视口中的改变，使得所显示的360度视频内容的视口被调整以在视口内示出视频事件。
360°视频流、周期性事件和静态事件的完整路径的递送
内容服务器606可以向内容播放器604发送(638)360°视频响应消息，其可以包括360°视频流、用于显示元信息的侧流以及用于静态事件的完整路径。静态事件可以包括在从内容服务器606请求360°视频内容之前或之时识别的事件。内容服务器606可以向内容播放器604连续地发送(638)事件。内容服务器606可以发送值的集合，以便与这些事件一起用于公式1中的a和b(或者公式10中的a、b、c和d)。可以以设定的频率速率发送事件。周期性事件递送过程可用于发送在实况360°视频内容中检测到的事件。例如，对于足球比赛的360°视频流，可以有10秒的缓冲。事件检测方法可以分析内容服务器606上的视频，并且可以经由侧流周期性地发送检测到的足球比赛的事件。内容服务器606可以使用观看简档来选择哪些静态或周期性事件被发送到内容播放器604，并且防止发送针对在观看简档中未使用的事件的事件描述。检测到的事件的侧流可以包括等式1中的a和b的值(或者等式10中的a、b、c和d)。
360°视频的输出
用户602可以选择输出模式，并且将该选择发送(640)到内容播放器604。内容播放器604可以通过使用观看简档和关于事件的元信息来显示(644)360°视频。
360°视频的用户指导输出
对于一个实施例，可选择用户指导输出模式以显示360°视频。HMD传感器608可将HMD方向测量发送(642)到内容播放器604。对于用户指导输出模式，HMD方向测量可用于控制360°视频的显示。HMD方向测量可以被***到等式1(或等式10)中以用于Direction inReal Space参数。如果不存在指导360°视频的输出的事件或者如果用户602(观看者)已经禁用360°视频的基于路径的输出，则可以使用该模式。如果用户602已经禁用360°视频的基于路径的输出，则a＝1和b＝0的值可以用在等式1中，这可以导致等式5。
360°视频的自动输出
可以选择自动输出模式来显示360°视频。对于自动输出模式，360°视频内容可以设置相关联的北方向、观看简档以及360°视频中的事件的元信息事件描述。用于360°视频的自动输出的过程的一个实施例可以包括活跃事件的检测、活跃事件的自动化规则的选择、以及所选自动化规则的效果的执行。事件描述可以指示事件的开始时间和持续时间。开始时间和持续时间可以用于检测(或识别)用于回放的活跃事件。可以针对活跃事件选择活动观看简档的自动化规则。所选自动化规则可包含排他性自动化规则和非排他性自动化规则。对于排他性自动规则，可以选择具有最高优先级值的观看简档的自动化规则来执行。对于非排他性自动化规则，可执行所有所选自动化规则。自动化规则可以包括用于等式1中的a和b(或者等式10中的a、b、c和d)的值。
可执行由所选自动化规则配置的效果。自动化规则可包含诸如摇摄、硬切换、缩放、突出显示、显示方向箭头、振动警告、附加内容窗口以及启用和禁用轻微用户控制等效果。对于“摇摄效果”，***可以根据内容的北方向和针对活跃事件配置的路径描述来计算呈现方向。***可以对所计算的方向进行平滑的定向改变。对于“硬切换效果”，***可以根据内容的北方向和针对活跃事件配置的路径描述来计算呈现方向。***可以对所计算的方向进行快速的定向改变。对于“缩放效果”，***可以如观看简档中所配置的那样放大或缩小内容。对于“突出显示效果”，***可以在360°视频视图中突出活跃事件(例如，橄榄球比赛中的抢断球(tackle))。对于“显示方向箭头”效果，***可以显示引导用户(或观看者)旋转到特定方向以观看活跃事件的方向箭头。对于“振动警报”效果，***可以显示活跃事件的振动警报。对于“附加内容窗口”效果，***可以在附加内容窗口中示出活跃事件。对于“轻微用户控制开启”效果，***可以激活轻微用户控制，使得用户可以通过改变头部位置来对内容进行小的定向改变。可以根据呈现方向设置和用户的定义(或方向)来计算呈现方向。对于一个实施例，高通滤波器可以被应用于HMD运动信号，并且滤波器的输出可以被添加到呈现方向。对于“轻微用户控制关闭”效果，***可以停用轻微用户控制，使得仅预定义的呈现方向用于显示内容。如前所述，观看简档中包括的效果可以包括等式1中的a和b(或者等式10中的a、b、c和d)的对应的值的集合。
用户的查看路径的存储
对于一个实施例，***可以在360°视频的输出中连续地存储用户的查看路径(其可以是一系列用户查看方向和时间戳)。用户的查看路径可以对应于等式1(或等式10)的Direction w.r.t.360°Video参数。如果观看会话被中断，则该数据可以用于使得用户能够恢复观看360°视频内容。所存储的查看路径信息可使得***能够重放360°视频体验。
图7是示出根据一些实施例的用于显示360度视频内容并且指导用户观看360度视频内容的时空子集的示例过程的流程图。对于一些实施例，方法700可以包括：702，在360度视频内容查看设备处接收描述用于360度视频内容的至少两个可用观看简档的元数据，每个可用观看简档与360度视频内容的时空子集相关联，每个可用观看简档至少指定用于指导用户经过360度视频内容的时空子集的引导级别。方法700还可以包括：704，向用户显示描述可用观看简档的信息。方法700可以包括：706，从用户接收选择可用观看简档中的一者的输入。方法700可以包括：708，在360度视频内容查看设备上显示360度视频内容；以及710，使用由所选择的观看简档指定的引导级别来指导用户观看与所选择的观看简档相关联的360度视频内容的时空子集。对于一些实施例，设备包括处理器和存储指令的非暂时性计算机可读介质，当在处理器上执行所述指令时，所述指令可操作以执行方法700。该设备的一些实施例能够执行本文所公开的任何方法。
图8是示出根据一些实施例的用于生成360度视频内容的观看简档元数据的示例过程的流程图。对于一些实施例，方法800可以包括：802，针对两个或更多个可用观看简档中的每一者生成描述360度视频内容的时空子集的元数据。方法800还可以包括：804，针对至少两个可用观看简档中的每一者生成元数据，该元数据描述用于指导用户经过360度视频内容的时空子集的至少一个引导级别。对于一些实施例，方法800还可以包括针对两个或更多个可用观看简档中的每一者生成描述对用户交互性的限制的元数据，并且针对两个或更多个可用观看简档中的每一者生成描述用于将用户引导到360度视频内容的视口的转变效果方法的元数据。
用例
对于一个实施例，可以针对用户类型(诸如活跃或消极HMD用户)调整360°视频的输出(在等式1或10中的Direction w.r.t.360°Video)。对于一个实施例，***可以提供360°视频内容的多个观看角度(或视角)。多个视角可以对应于等式10的Direction Chosenby Director、Direction Chosen by Critic和Direction Chosen by Another Source参数。对于一个实施例，多个视角可以包括等式10中的a、b、c和d(或者等式1中的a和b)的值的集合。对于一个实施例，360°视频体验输出可以包括超过360°的视角改变，并且许多沉浸式360°视频不能执行。对于一个实施例，所选择的观看简档可以用于选择被发送到客户端(或内容播放器)的元信息(例如，时间线信息)。
虽然在虚拟现实(VR)环境中讨论了根据一些实施例的方法和***，但是一些实施例也现可以应用于混合现实(MR)/增强实(AR)环境。此外，尽管本文使用了术语“头戴式显示器(HMD)”，但是对于一些实施例，一些实施例可以应用于能够例如进行VR、AR和/或MR的可穿戴设备(其可以附接到头部或者可以不附接到头部)。
尽管在此以特定的组合描述了特征和元件，但是本领域普通技术人员将理解，每个特征或元件可以单独使用或与其他特征和元件任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘等磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)等光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims (15)

1.一种方法，包括：
接收360度视频内容；
接收定义经过所述视频内容的查看路径的信息；
接收从多个可用级别中对用于所述视频内容的查看的方向自动化级别的用户选择，其中至少一个可用方向自动化级别是部分方向自动化级别；
确定针对所述视频内容的当前查看方向，其中，响应于对所述部分方向自动化级别的用户选择，所述当前查看方向是至少(i)用户方向输入和(ii)所定义的查看路径的预定函数；以及
通过所述当前查看方向显示所述360度视频内容。
2.根据权利要求1所述的方法，其中在所述预定函数下，所述当前查看方向是以下两者的加权和：(i)所述用户方向输入的当前高通滤波版本与(ii)所定义的查看路径的当前方向。
3.根据权利要求1-2中的任一项所述的方法，其中在所述预定函数下，所确定的查看方向的增量变化是以下两者的加权和：(i)用户方向输入的当前增量变化和(ii)朝向所定义的查看路径上的当前方向的校正。
4.根据权利要求1-3中任一项所述的方法，其中在所述预定函数下，所述当前查看方向服从相对于所定义的查看路径的当前方向的预定最大偏离角度。
5.根据权利要求1-4中任一项所述的方法，其中通过所述当前查看方向显示所述360度视频内容包括显示实质上以所述当前查看方向为中心的视口。
6.根据权利要求1-5中的任一项所述的方法，其中显示所述360度视频内容是在显示设备上执行的，并且其中，所述用户方向输入包括所述显示设备相对于真实空间的方向的测量。
7.根据权利要求1-6中任一项所述的方法，其中所述显示设备是头戴式显示器。
8.根据权利要求1-7中的任一项所述的方法，其中至少一个可用方向自动化级别是完全方向自动化级别，并且其中，响应于对所述完全方向自动化级别的用户选择，所述当前查看方向是所定义的查看路径上的当前方向。
9.根据权利要求1-8中任一项所述的方法，其中所述定义所述查看路径的信息包括与相应时间相关联的多个视角坐标。
10.根据权利要求1-9中任一项所述的方法，其中至少两个不同的查看路径可用于所述接收360度视频内容，并且其中定义查看路径的信息的所述接收响应于对所述可用查看路径中的一者的用户选择而被执行。
11.根据权利要求1-10中任一项所述的方法，该方法还包括：
接收描述所述可用方向自动化级别的信息；以及
在对方向自动化级别的用户选择之前，显示描述所述可用方向自动化级别的所述信息。
12.根据权利要求1-12中任一项所述的方法，其中所述360度视频内容包括具有至少一个位置自由度的内容，并且其中，所述查看路径包括定义的经过所述内容的位置路径，所述方法还包括：
接收从多个可用级别中对位置自动化级别的用户选择；以及
基于(i)用户位置输入和(ii)所定义的位置路径中的至少一者来确定针对所述视频内容的当前视点位置；
其中，所述360度视频内容通过所述当前视点位置而被显示。
13.根据权利要求12所述的方法，其中所选择的位置自动化级别是完全位置自动化级别，并且其中所述当前视点位置是所述预定位置路径上的当前位置。
14.根据权利要求12所述的方法，其中所选择的位置自动化级别是部分方向自动化级别，并且其中所述当前视点位置是至少(i)所述用户位置输入和(ii)所定义的位置查看路径的预定函数。
15.一种设备，包括：
处理器；以及
存储指令的非暂时性计算机可读介质，当在所述处理器上执行所述指令时，所述指令可操作以执行根据权利要求1-15中任一项所述的方法。
CN201880088618.4A 2017-12-15 2018-12-12 用于在360°视频导航中使用查看路径的方法 Active CN111684795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210938363.4A CN115499686B (zh) 2017-12-15 2018-12-12 用于在360°视频导航中使用查看路径的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762599525P 2017-12-15 2017-12-15
US62/599,525 2017-12-15
PCT/US2018/065230 WO2019118617A1 (en) 2017-12-15 2018-12-12 A method for using viewing paths in navigation of 360° videos

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210938363.4A Division CN115499686B (zh) 2017-12-15 2018-12-12 用于在360°视频导航中使用查看路径的方法

Publications (2)

Publication Number Publication Date
CN111684795A true CN111684795A (zh) 2020-09-18
CN111684795B CN111684795B (zh) 2022-08-12

Family

ID=65278446

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210938363.4A Active CN115499686B (zh) 2017-12-15 2018-12-12 用于在360°视频导航中使用查看路径的方法
CN201880088618.4A Active CN111684795B (zh) 2017-12-15 2018-12-12 用于在360°视频导航中使用查看路径的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210938363.4A Active CN115499686B (zh) 2017-12-15 2018-12-12 用于在360°视频导航中使用查看路径的方法

Country Status (4)

Country Link
US (2) US11451881B2 (zh)
EP (1) EP3725070A1 (zh)
CN (2) CN115499686B (zh)
WO (1) WO2019118617A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11166079B2 (en) * 2017-12-22 2021-11-02 International Business Machines Corporation Viewport selection for hypervideo presentation
FI4005202T3 (fi) * 2019-07-22 2023-12-28 Interdigital Vc Holdings Inc Menetelmä ja laite volumetrisen videosisällön toimittamiseksi
US20210160143A1 (en) * 2019-11-27 2021-05-27 Vmware, Inc. Information technology (it) toplogy solutions according to operational goals
US20230012201A1 (en) * 2019-11-29 2023-01-12 Nokia Technologies Oy A Method, An Apparatus and a Computer Program Product for Video Encoding and Video Decoding
US11303849B2 (en) * 2020-03-30 2022-04-12 Tencent America LLC Signaling of the RTCP viewport feedback for immersive teleconferencing and telepresence for remote terminals
US11470300B2 (en) * 2020-05-08 2022-10-11 Tencent America LLC Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals
US11297281B1 (en) * 2021-03-22 2022-04-05 Motorola Mobility Llc Manage a video conference session in a multi-tasking environment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243961A (zh) * 2013-06-18 2014-12-24 财团法人资讯工业策进会 多视角影像的显示***及方法
CN104270616A (zh) * 2014-10-20 2015-01-07 魏鹏 一种将视频与地理信息统一化的监控平台
WO2015054235A1 (en) * 2013-10-07 2015-04-16 Vid Scale, Inc. User adaptive 3d video rendering and delivery
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置
CN106954093A (zh) * 2017-03-15 2017-07-14 北京小米移动软件有限公司 全景视频处理方法、装置及***
US20170244948A1 (en) * 2015-04-15 2017-08-24 Lytro, Inc. Spatial random access enabled video system with a three-dimensional viewing volume

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655085A (en) 1992-08-17 1997-08-05 The Ryan Evalulife Systems, Inc. Computer system for automated comparing of universal life insurance policies based on selectable criteria
US5794207A (en) 1996-09-04 1998-08-11 Walker Asset Management Limited Partnership Method and apparatus for a cryptographically assisted commercial network system designed to facilitate buyer-driven conditional purchase offers
US5544255A (en) 1994-08-31 1996-08-06 Peripheral Vision Limited Method and system for the capture, storage, transport and authentication of handwritten signatures
US7096428B2 (en) * 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US8633964B1 (en) * 2009-12-04 2014-01-21 Google Inc. Generating video from panoramic images using transition trees
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
JP5712737B2 (ja) 2011-03-31 2015-05-07 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
US20150222935A1 (en) * 2013-11-05 2015-08-06 Livestageâ°, Inc. Venue specific multi point image capture
US9984505B2 (en) 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
US20160191796A1 (en) 2014-12-30 2016-06-30 Nokia Corporation Methods And Apparatuses For Directional View In Panoramic Content
CA2977113A1 (en) * 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
CN105988578B (zh) 2015-03-04 2019-06-21 华为技术有限公司 一种交互式视频显示的方法、设备及***
EP3112985A1 (en) 2015-06-30 2017-01-04 Nokia Technologies Oy An apparatus for video output and associated methods
US9805767B1 (en) * 2015-08-13 2017-10-31 Michael Shane Strickland Perspective view entertainment system and method
EP3629136B1 (en) * 2015-10-08 2024-04-17 InterDigital VC Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US9767363B2 (en) * 2015-10-30 2017-09-19 Google Inc. System and method for automatic detection of spherical video content
US10558353B2 (en) * 2015-11-18 2020-02-11 Samsung Electronics Co., Ltd. System and method for 360-degree video navigation
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
US10841557B2 (en) * 2016-05-12 2020-11-17 Samsung Electronics Co., Ltd. Content navigation
US10805592B2 (en) * 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
CN106445437A (zh) * 2016-09-08 2017-02-22 深圳市金立通信设备有限公司 一种终端及其视角切换方法
US10210662B2 (en) * 2016-12-09 2019-02-19 Fyusion, Inc. Live augmented reality using tracking
US10348964B2 (en) * 2017-05-23 2019-07-09 International Business Machines Corporation Method and system for 360 degree video coverage visualization
US10375306B2 (en) * 2017-07-13 2019-08-06 Zillow Group, Inc. Capture and use of building interior data from mobile devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243961A (zh) * 2013-06-18 2014-12-24 财团法人资讯工业策进会 多视角影像的显示***及方法
WO2015054235A1 (en) * 2013-10-07 2015-04-16 Vid Scale, Inc. User adaptive 3d video rendering and delivery
CN104270616A (zh) * 2014-10-20 2015-01-07 魏鹏 一种将视频与地理信息统一化的监控平台
US20170244948A1 (en) * 2015-04-15 2017-08-24 Lytro, Inc. Spatial random access enabled video system with a three-dimensional viewing volume
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置
CN106954093A (zh) * 2017-03-15 2017-07-14 北京小米移动软件有限公司 全景视频处理方法、装置及***

Also Published As

Publication number Publication date
CN111684795B (zh) 2022-08-12
US20200336801A1 (en) 2020-10-22
CN115499686B (zh) 2024-03-08
CN115499686A (zh) 2022-12-20
EP3725070A1 (en) 2020-10-21
US20220394355A1 (en) 2022-12-08
WO2019118617A1 (en) 2019-06-20
US11451881B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
CN111684795B (zh) 用于在360°视频导航中使用查看路径的方法
US11493999B2 (en) Systems and methods for physical proximity and/or gesture-based chaining of VR experiences
US20210243418A1 (en) 360 degree multi-viewport system
US20230199241A1 (en) Secondary content insertion in 360-degree video
CN110622483B (zh) 改进用于360度自适应流传输的体验的度量和消息
US11736675B2 (en) Viewpoint metadata for omnidirectional video
US20170182426A1 (en) Capture and delivery of online games spectators personalized commentaries to players
JP2023179635A (ja) トラッキングされるビデオズーミング
WO2018227098A1 (en) External camera assisted virtual reality
EP3559785B1 (en) Systems and methods for selecting spheres of relevance for presenting augmented reality information
US20230377273A1 (en) Method for mirroring 3d objects to light field displays
CN105228021B (zh) 一种电视互动***互动信息的传输方法
Nordberg et al. Geo-based media player: An interactive interface for geo-based video streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant