CN114205669B - 自由视角视频的播放方法、装置及电子设备 - Google Patents

自由视角视频的播放方法、装置及电子设备 Download PDF

Info

Publication number
CN114205669B
CN114205669B CN202111611869.6A CN202111611869A CN114205669B CN 114205669 B CN114205669 B CN 114205669B CN 202111611869 A CN202111611869 A CN 202111611869A CN 114205669 B CN114205669 B CN 114205669B
Authority
CN
China
Prior art keywords
determining
playing
video
screen
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111611869.6A
Other languages
English (en)
Other versions
CN114205669A (zh
Inventor
陈丽丽
刘松鹏
蒋杰
陈笑怡
李康敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202111611869.6A priority Critical patent/CN114205669B/zh
Publication of CN114205669A publication Critical patent/CN114205669A/zh
Application granted granted Critical
Publication of CN114205669B publication Critical patent/CN114205669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施例涉及数据处理技术领域，公开了一种自由视角视频的播放方法、装置及电子设备。该方法包括：在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置；根据所述关注位置切换所述自由视角视频的播放视角。通过上述方式，本发明实施例提高了视角切换的效率，提升了用户的观看体验。

Description

自由视角视频的播放方法、装置及电子设备
技术领域
本发明实施例涉及数据处理技术领域，具体涉及一种自由视角视频的播放方法、装置及电子设备。
背景技术
随着网络技术的不断发展，视频的观看量越来越高。与普通单一视角视频相比，自由视角视频可以使用户基于多个不同的视角观看视频，提高用户的观看体验。
相关技术中，在用户观看自由视角视频的过程中，若用户需要变更观看视角，必须手动操作播放设备。播放设备根据用户的手动操作信号来确定新的视频播放视角，并且基于新的视频播放视角来播放自由视角视频。然而，发明人在实现本发明实施例的过程中发现：相关技术切换自由视角视频的播放视角的过程较为繁琐，导致分散用户的注意力，影响用户的观看体验。
发明内容
鉴于上述问题，本发明实施例提供了一种自由视角视频的播放方法、装置及电子设备，用于解决现有技术中存在的视角切换过程较为繁琐的问题。
根据本发明实施例的一个方面，提供了一种自由视角视频的播放方法，所述方法包括：
在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置；
根据所述关注位置切换所述自由视角视频的播放视角。
在一种可选的方式中，所述关注位置包括用户在播放屏幕上的凝视点，所述根据所述关注位置切换所述自由视角视频的播放视角包括：
根据所述凝视点确定触发视角切换的触发点，并确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例；
根据所述偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和；
根据所述相邻机位覆盖角度差之和与所述偏移比例确定视角切换角度，根据所述视角切换角度切换所述自由视角视频的播放视角。
在一种可选的方式中，所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例包括：
确定所述触发点的屏幕位置，根据所述屏幕位置与播放屏幕中心点的屏幕位置的位置关系确定所述触发点相对于播放屏幕中心点的偏移方向；
确定所述偏移方向所对应的播放屏幕边界点；
将所述触发点与所述播放屏幕边界点在预设屏幕坐标轴上的坐标比值确定为所述触发点相对于播放屏幕中心点的偏移比例。
在一种可选的方式中，在所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例之前，所述方法包括：
确定所述触发点是否位于预设触发区域；
当所述触发点位于所述预设触发区域时，再执行所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例的步骤。
在一种可选的方式中，所述根据所述相邻机位覆盖角度差之和与所述偏移比例确定视角切换角度包括：
计算所述相邻机位覆盖角度差之和与所述偏移比例的乘积；
将所述乘积确定为视角切换角度。
在一种可选的方式中，在所述在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置之前，所述方法还包括：
从视频云获取待播放自由视角视频以及所述待播放自由视角视频对应的机位信息；
根据所述机位信息确定所述待播放自由视角视频的制作主机位；
将所述制作主机位确定为对所述待播放自由视角视频进行播放的播放主机位，以所述播放主机位的视角对所述待播放自由视角视频进行播放。
在一种可选的方式中，所述根据所述偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和包括：
根据所述机位信息确定总机位数以及所有相邻机位覆盖角度差；
根据所述偏移方向以及所述总机位数确定目标边界机位；
根据所述目标边界机位以及所述所有相邻机位覆盖角度差确定所述目标边界机位与所述播放主机位之间的相邻机位覆盖角度差之和。
根据本发明实施例的另一方面，提供了一种自由视角视频的播放装置，所述装置包括：
确定模块，用于在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置；
切换模块，用于根据所述关注位置切换所述自由视角视频的播放视角。
根据本发明实施例的另一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的自由视角视频的播放方法的操作。
根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行上述的自由视角视频的播放方法的操作。
本发明实施例中，在用户观看自由视角视频时，随着用户对自由视角视频的主要关注区域的变化，用户的眼球在播放屏幕的投射点也在变化；基于对用户的眼球动作的追踪，可以在播放屏幕上确定用户对自由视角视频的关注位置，从而根据该关注位置切换自由视角视频的播放视角。可以看出，本发明实施例可以对自由视角视频上用户的主要关注区域进行智能识别，进一步根据识别结果切换自由视角视频的播放视角，无需用户手动操作即可实现自由视角视频的播放视角的切换，可以大大简化自由视角视频的播放视角的切换过程，提升用户的观看体验。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的自由视角视频的播放方法的流程示意图；
图2示出了本发明实施例提供的摄像机的机位布置示意图；
图3示出了本发明实施例提供的用户的凝视点路线示意图；
图4示出了本发明实施例提供的显示屏幕示意图；
图5示出了本发明实施例提供的自由视角视频的播放装置的结构示意图；
图6示出了本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
图1示出了本发明实施例自由视角视频的播放方法的流程图，该方法由电子设备执行。电子设备的存储器用于存放至少一可执行指令，该可执行指令使电子设备的处理器执行上述的自由视角视频的播放方法的操作。
如图1所示，该方法包括以下步骤：
步骤110：在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置。
其中，自由视角视频是一种可以采用多个视角进行观看的视频。制作自由视角视频时，需要在拍摄现场部署一定数量的摄像机进行视频采集，然后对每个摄像机采集的视频进行同步对齐、拼接和转码。在进行视频采集时，首先根据拍摄场地和摄像机的机位布置确定摄像机的总机位数，然后根据视频内容确定拍摄焦点。例如，当视频内容为篮球比赛时，可以将拍摄焦点确定为篮球。进一步的，可以将摄像机的各个机位按照一定的顺序进行编号，根据各个机位的布置和到拍摄焦点的距离实时计算出当前的制作主机位、所有机位的覆盖总角度以及各个相邻机位覆盖角度差。例如，编号之后，摄像机的各个机位分别为C1、C2.....CN，实时计算出的制作主机位为Cm，(制作主机位Cm为C1至CN中的某一个)，所有机位的覆盖总角度为PVT，各个相邻机位覆盖角度差为PV(i,j)，i、j表示两个相邻的两个机位。
图2示出了本发明实施例提供的摄像机的机位布置示意图。如图2所示，总机位数N＝17，图示的相邻机位覆盖角度差PV(i,j)中i＝8，j＝9，制作主机位为C9。进一步的，所有相邻机位覆盖角度差可以表示为如下数组。
PV1,N-1＝[PV(1,2) PV(2,3) ...... PV(N-1,N)]
所有机位的覆盖总角度PVT可以通过如下公式进行计算。
在拍摄现场(采集端)的各个摄像机完成视频采集之后，可以将各个机位采集的视频流以及机位信息低时延传递给视频云。当前时刻T的机位信息CIT可以包括总机位数N、当前制作主机位Cm、当前所有机位的覆盖总角度PVT以及各个相邻机位覆盖角度差，即:
CIT＝CI(N,Cm,PVT,[PV(1,2) PV(2,3) ...... PV(N-1,N)])
视频云接收到拍摄现场传回的视频流和机位信息之后，可以基于NTP(NetworkTime Protocol，网络时钟协议)时钟的视频帧时间戳，完成对各路机位视频流的同步对齐、拼接和转码，并将转码之后的视频流和机位信息发送至终端进行播放。终端接收到视频云发送的视频流和机位信息之后，可以将根据机位信息对视频流进行播放。在根据机位信息对视频流进行播放时，可以将播放主机位设置为制作主机位Cm，即默认以制作主机位Cm的视角进行视频播放。
在用户观看自由视角视频时，随着用户对自由视角视频的主要关注区域的变化，用户的眼球在播放屏幕的投射点也在变化。因此，基于对用户的眼球动作的追踪，可以在播放屏幕上确定用户对自由视角视频的关注位置。用户对自由视角视频的关注位置例如可以包括用户在播放屏幕上的凝视点。进一步的，可以将播放设备的播放屏幕进行网格化，使得播放屏幕上每一点均对应唯一屏幕坐标。
步骤120：根据所述关注位置切换所述自由视角视频的播放视角。
其中，根据用户对自由视角视频的关注位置，可以实时确定当前最佳播放视角，并且基于当前最佳播放视角切换自由视角视频的播放视角。进一步的，在根据关注位置切换自由视角视频的播放视角时，可以根据用户在播放屏幕上的凝视点确定触发视角切换的触发点。例如，可以通过眼球追踪技术提取出用户在播放屏幕上的凝视点，凝视点构成基本测量单位，一个凝视点等于眼动仪捕获的一个采样点。进一步的，可以将持续时间超过第一预设时长的凝视点确定为注视点，注视点是眼睛锁定在屏幕上的一个落点；将持续时间超过第二预设时长的注视点确定为触发点。
图3示出了本发明实施例提供的用户的凝视点路线示意图。如图3所示，凝视点路线示意图中包括①、②、③、④和⑤共5个点，①、②、③、④和⑤均为注视点，并且①和⑤的持续时间超过第二预设时长为触发点。
其中，在确定触发视角切换的触发点之后，可以确定触发点相对于播放屏幕中心点的偏移方向和偏移比例，根据偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和，根据相邻机位覆盖角度差之和与偏移比例确定视角切换角度，根据视角切换角度切换自由视角视频的播放视角。在确定触发点相对于播放屏幕中心点的偏移方向和偏移比例之前，还可以确定触发点是否位于预设触发区域，当确定触发点位于预设触发区域时，再确定触发点相对于播放屏幕中心点的偏移方向和偏移比例。进一步的，可以根据用户的自由视角视频观看习惯，在播放屏幕设置热地图区域G，将播放屏幕上热地图区域G以外的区域设置为预设触发区域。热地图区域G一般为播放屏幕中心附近的一定区域，在这个区域内的触发点不会触发自由视角视频的视角切换。
在确定触发点相对于播放屏幕中心点的偏移方向和偏移比例时，首先确定触发点的屏幕位置，根据触发点的屏幕位置与播放屏幕中心点的屏幕位置的位置关系确定触发点相对于播放屏幕中心点的偏移方向；进一步的，确定偏移方向所对应的播放屏幕边界点，将触发点与播放屏幕边界点在预设屏幕坐标轴上的坐标比值确定为触发点相对于播放屏幕中心点的偏移比例，预设屏幕坐标轴可以为水平方向的坐标轴，也可以为竖直方向的坐标轴。
例如，预设屏幕坐标轴为水平方向的坐标轴，触发点的坐标为C(n,m)，n为触发点在水平方向的坐标，m为触发点在竖直方向的坐标，播放屏幕中心点的坐标为(0,0)，若n＜0，则触发点相对于播放屏幕中心点的偏移方向D(Direction)＝L(Left)；若n＞0，则触发点相对于播放屏幕中心点的偏移方向D(Direction)＝R(Right)。L代表触发点向播放屏幕中心点的左侧偏移，R代表触发点向播放屏幕中心点的右侧偏移。在确定播放屏幕边界点在预设屏幕坐标轴上的坐标时，若触发点向播放屏幕中心点的左侧偏移，则将播放屏幕左侧边界点的水平坐标确定为播放屏幕边界点在预设屏幕坐标轴上的坐标；若触发点向播放屏幕中心点的右侧偏移，则将播放屏幕右侧边界点的水平坐标确定为播放屏幕边界点在预设屏幕坐标轴上的坐标。
图4示出了本发明实施例提供的显示屏幕示意图。如图4所示，X轴为水平坐标轴，Y轴为竖直坐标轴，X1为播放屏幕右侧边界点，X2为播放屏幕左侧边界点。当触发点向播放屏幕中心点的左侧偏移时，偏移比例S＝n/x2；当触发点向播放屏幕中心点的右侧偏移时，偏移比例S＝n/x1。
其中，在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置之前，还可以从视频云获取待播放自由视角视频以及所述待播放自由视角视频对应的机位信息，根据机位信息确定待播放自由视角视频的制作主机位，将制作主机位确定为对待播放自由视角视频进行播放的播放主机位，以播放主机位的视角对待播放自由视角视频进行播放。在根据偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和时，可以根据机位信息确定总机位数以及所有相邻机位覆盖角度差，根据偏移方向以及总机位数确定目标边界机位；根据目标边界机位以及所有相邻机位覆盖角度差确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和。
例如，在根据偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和时，若触发点向播放屏幕中心点的左侧偏移，则可以将目标边界机位确定为C1，目标边界机位与播放主机位之间的相邻机位覆盖角度差之和PVL可以表示为若触发点向播放屏幕中心点的右侧偏移，则可以将目标边界机位确定为CN，目标边界机位与播放主机位之间的相邻机位覆盖角度差之和PVL可以表示为/>在根据相邻机位覆盖角度差之和与偏移比例确定视角切换角度时，可以计算相邻机位覆盖角度差之和与偏移比例的乘积，将该乘积确定为视角切换角度。例如，若触发点向播放屏幕中心点的左侧偏移，则视角切换角度SA＝PVL*S；若触发点向播放屏幕中心点的左侧偏移，则视角切换角度SA＝PVR*S。进一步的，终端播放设备可以基于视角切换角度顺滑切换到新的播放主机位。
本发明实施例中，在用户观看自由视角视频时，随着用户对自由视角视频的主要关注区域的变化，用户的眼球在播放屏幕的投射点也在变化；基于对用户的眼球动作的追踪，可以在播放屏幕上确定用户对自由视角视频的关注位置，从而根据该关注位置切换自由视角视频的播放视角。可以看出，本发明实施例可以对自由视角视频上用户的主要关注区域进行智能识别，进一步根据识别结果切换自由视角视频的播放视角，无需用户手动操作即可实现自由视角视频的播放视角的切换，可以大大简化自由视角视频的播放视角的切换过程，提升用户的观看体验。
图5示出了本发明实施例自由视角视频的播放装置的结构示意图。如图5所示，该装置300包括：确定模块310和切换模块320。
其中，确定模块310用于在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置；切换模块320用于根据所述关注位置切换所述自由视角视频的播放视角。
在一种可选的方式中，所述关注位置包括用户在播放屏幕上的凝视点，切换模块320用于：
根据所述凝视点确定触发视角切换的触发点，并确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例；
根据所述偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和；
根据所述相邻机位覆盖角度差之和与所述偏移比例确定视角切换角度，根据所述视角切换角度切换所述自由视角视频的播放视角。
在一种可选的方式中，切换模块320用于：
确定所述触发点的屏幕位置，根据所述屏幕位置与播放屏幕中心点的屏幕位置的位置关系确定所述触发点相对于播放屏幕中心点的偏移方向；
确定所述偏移方向所对应的播放屏幕边界点；
将所述触发点与所述播放屏幕边界点在预设屏幕坐标轴上的坐标比值确定为所述触发点相对于播放屏幕中心点的偏移比例。
在一种可选的方式中，切换模块320用于：
在所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例之前，确定所述触发点是否位于预设触发区域；
当所述触发点位于所述预设触发区域时，再确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例。
在一种可选的方式中，切换模块320用于：
计算所述相邻机位覆盖角度差之和与所述偏移比例的乘积；
将所述乘积确定为视角切换角度。
在一种可选的方式中，切换模块320用于：
在所述在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置之前，从视频云获取待播放自由视角视频以及所述待播放自由视角视频对应的机位信息；
根据所述机位信息确定所述待播放自由视角视频的制作主机位；
将所述制作主机位确定为对所述待播放自由视角视频进行播放的播放主机位，以所述播放主机位的视角对所述待播放自由视角视频进行播放。
在一种可选的方式中，切换模块320用于：
根据所述机位信息确定总机位数以及所有相邻机位覆盖角度差；
根据所述偏移方向以及所述总机位数确定目标边界机位；
根据所述目标边界机位以及所述所有相邻机位覆盖角度差确定所述目标边界机位与所述播放主机位之间的相邻机位覆盖角度差之和。
本发明实施例中，在用户观看自由视角视频时，随着用户对自由视角视频的主要关注区域的变化，用户的眼球在播放屏幕的投射点也在变化；基于对用户的眼球动作的追踪，可以在播放屏幕上确定用户对自由视角视频的关注位置，从而根据该关注位置切换自由视角视频的播放视角。可以看出，本发明实施例可以对自由视角视频上用户的主要关注区域进行智能识别，进一步根据识别结果切换自由视角视频的播放视角，无需用户手动操作即可实现自由视角视频的播放视角的切换，可以大大简化自由视角视频的播放视角的切换过程，提升用户的观看体验。
图6示出了本发明实施例电子设备结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图6所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中：处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。处理器402，用于执行程序410，具体可以执行上述用于自由视角视频的播放方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机可执行指令。
处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以被处理器402调用使电子设备执行以下操作：
在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置；
根据所述关注位置切换所述自由视角视频的播放视角。
在一种可选的方式中，所述关注位置包括用户在播放屏幕上的凝视点，所述程序410被处理器402调用使电子设备执行以下操作：
根据所述凝视点确定触发视角切换的触发点，并确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例；
根据所述偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和；
根据所述相邻机位覆盖角度差之和与所述偏移比例确定视角切换角度，根据所述视角切换角度切换所述自由视角视频的播放视角。
在一种可选的方式中，所述程序410被处理器402调用使电子设备执行以下操作：
确定所述触发点的屏幕位置，根据所述屏幕位置与播放屏幕中心点的屏幕位置的位置关系确定所述触发点相对于播放屏幕中心点的偏移方向；
确定所述偏移方向所对应的播放屏幕边界点；
将所述触发点与所述播放屏幕边界点在预设屏幕坐标轴上的坐标比值确定为所述触发点相对于播放屏幕中心点的偏移比例。
在一种可选的方式中，所述关注位置包括用户在播放屏幕上的凝视点，所述程序410被处理器402调用使电子设备执行以下操作：
在所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例之前，确定所述触发点是否位于预设触发区域；
当所述触发点位于所述预设触发区域时，再执行所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例的步骤。
在一种可选的方式中，所述关注位置包括用户在播放屏幕上的凝视点，所述程序410被处理器402调用使电子设备执行以下操作：
计算所述相邻机位覆盖角度差之和与所述偏移比例的乘积；
将所述乘积确定为视角切换角度。
在一种可选的方式中，所述关注位置包括用户在播放屏幕上的凝视点，所述程序410被处理器402调用使电子设备执行以下操作：
在所述在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置之前，从视频云获取待播放自由视角视频以及所述待播放自由视角视频对应的机位信息；
根据所述机位信息确定所述待播放自由视角视频的制作主机位；
将所述制作主机位确定为对所述待播放自由视角视频进行播放的播放主机位，以所述播放主机位的视角对所述待播放自由视角视频进行播放。
在一种可选的方式中，所述关注位置包括用户在播放屏幕上的凝视点，所述程序410被处理器402调用使电子设备执行以下操作：
根据所述机位信息确定总机位数以及所有相邻机位覆盖角度差；
根据所述偏移方向以及所述总机位数确定目标边界机位；
根据所述目标边界机位以及所述所有相邻机位覆盖角度差确定所述目标边界机位与所述播放主机位之间的相邻机位覆盖角度差之和。
本发明实施例中，在用户观看自由视角视频时，随着用户对自由视角视频的主要关注区域的变化，用户的眼球在播放屏幕的投射点也在变化；基于对用户的眼球动作的追踪，可以在播放屏幕上确定用户对自由视角视频的关注位置，从而根据该关注位置切换自由视角视频的播放视角。可以看出，本发明实施例可以对自由视角视频上用户的主要关注区域进行智能识别，进一步根据识别结果切换自由视角视频的播放视角，无需用户手动操作即可实现自由视角视频的播放视角的切换，可以大大简化自由视角视频的播放视角的切换过程，提升用户的观看体验。
本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在电子设备上运行时，使得所述电子设备执行上述任意方法实施例中的自由视角视频的播放方法。
本发明实施例提供一种自由视角视频的播放装置，用于执行上述自由视角视频的播放方法。
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使电子设备执行上述任意方法实施例中的自由视角视频的播放方法。
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的自由视角视频的播放方法。
在此提供的算法或显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (9)

1.一种自由视角视频的播放方法，其特征在于，所述方法包括：
在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置；所述关注位置包括用户在播放屏幕上的凝视点；
根据所述关注位置切换所述自由视角视频的播放视角，包括：根据所述凝视点确定触发视角切换的触发点，并确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例；根据所述偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和；根据所述相邻机位覆盖角度差之和与所述偏移比例确定视角切换角度，根据所述视角切换角度切换所述自由视角视频的播放视角。
2.根据权利要求1所述的方法，其特征在于，所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例包括：
确定所述触发点的屏幕位置，根据所述屏幕位置与播放屏幕中心点的屏幕位置的位置关系确定所述触发点相对于播放屏幕中心点的偏移方向；
确定所述偏移方向所对应的播放屏幕边界点；
将所述触发点与所述播放屏幕边界点在预设屏幕坐标轴上的坐标比值确定为所述触发点相对于播放屏幕中心点的偏移比例。
3.根据权利要求1或2所述的方法，其特征在于，在所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例之前，所述方法包括：
确定所述触发点是否位于预设触发区域；
当所述触发点位于所述预设触发区域时，再执行所述确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例的步骤。
4.根据权利要求1所述的方法，其特征在于，所述根据所述相邻机位覆盖角度差之和与所述偏移比例确定视角切换角度包括：
计算所述相邻机位覆盖角度差之和与所述偏移比例的乘积；
将所述乘积确定为视角切换角度。
5.根据权利要求1所述的方法，其特征在于，在所述在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置之前，所述方法还包括：
从视频云获取待播放自由视角视频以及所述待播放自由视角视频对应的机位信息；
根据所述机位信息确定所述待播放自由视角视频的制作主机位；
将所述制作主机位确定为对所述待播放自由视角视频进行播放的播放主机位，以所述播放主机位的视角对所述待播放自由视角视频进行播放。
6.根据权利要求5所述的方法，其特征在于，所述根据所述偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和包括：
根据所述机位信息确定总机位数以及所有相邻机位覆盖角度差；
根据所述偏移方向以及所述总机位数确定目标边界机位；
根据所述目标边界机位以及所述所有相邻机位覆盖角度差确定所述目标边界机位与所述播放主机位之间的相邻机位覆盖角度差之和。
7.一种自由视角视频的播放装置，其特征在于，所述装置包括：
确定模块，用于在用户观看自由视角视频时，对用户的眼球动作进行追踪以在播放屏幕上确定用户对所述自由视角视频的关注位置；所述关注位置包括用户在播放屏幕上的凝视点；
切换模块，用于根据所述关注位置切换所述自由视角视频的播放视角，包括：根据所述凝视点确定触发视角切换的触发点，并确定所述触发点相对于播放屏幕中心点的偏移方向和偏移比例；根据所述偏移方向确定目标边界机位与播放主机位之间的相邻机位覆盖角度差之和；根据所述相邻机位覆盖角度差之和与所述偏移比例确定视角切换角度，根据所述视角切换角度切换所述自由视角视频的播放视角。
8.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-6任意一项所述的自由视角视频的播放方法的操作。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如权利要求1-6任意一项所述的自由视角视频的播放方法的操作。
CN202111611869.6A 2021-12-27 2021-12-27 自由视角视频的播放方法、装置及电子设备 Active CN114205669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111611869.6A CN114205669B (zh) 2021-12-27 2021-12-27 自由视角视频的播放方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111611869.6A CN114205669B (zh) 2021-12-27 2021-12-27 自由视角视频的播放方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN114205669A CN114205669A (zh) 2022-03-18
CN114205669B true CN114205669B (zh) 2023-10-17

Family

ID=80656616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111611869.6A Active CN114205669B (zh) 2021-12-27 2021-12-27 自由视角视频的播放方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114205669B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979732B (zh) * 2022-05-12 2023-10-20 咪咕数字传媒有限公司 视频流的推送方法、装置、电子设备和介质
CN115103213B (zh) * 2022-06-10 2023-10-17 咪咕视讯科技有限公司 信息处理方法、装置、设备及计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342100A (zh) * 2009-03-09 2012-02-01 思科技术公司 用于在网络环境中提供三维成像的***和方法
CN102347043A (zh) * 2010-07-30 2012-02-08 腾讯科技（北京）有限公司 多角度视频播放方法和***
CN103108126A (zh) * 2013-01-21 2013-05-15 Tcl集团股份有限公司 一种视频交互***、方法、交互眼镜及终端
CN104740874A (zh) * 2015-03-26 2015-07-01 广州博冠信息科技有限公司 一种在二维游戏场景中播放视频的方法及***
CN106447788A (zh) * 2016-09-26 2017-02-22 北京疯景科技有限公司 观看视角的指示方法及装置
CN106791794A (zh) * 2016-12-30 2017-05-31 重庆卓美华视光电有限公司 一种显示设备、图像处理方法及装置
KR20180079051A (ko) * 2016-12-30 2018-07-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN109799899A (zh) * 2017-11-17 2019-05-24 腾讯科技（深圳）有限公司 交互控制方法、装置、存储介质和计算机设备
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质
CN113170231A (zh) * 2019-04-11 2021-07-23 华为技术有限公司 跟随用户运动控制播放视频内容的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170186234A1 (en) * 2015-12-27 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and device for free viewing of three-dimensional video

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102342100A (zh) * 2009-03-09 2012-02-01 思科技术公司 用于在网络环境中提供三维成像的***和方法
CN102347043A (zh) * 2010-07-30 2012-02-08 腾讯科技（北京）有限公司 多角度视频播放方法和***
CN103108126A (zh) * 2013-01-21 2013-05-15 Tcl集团股份有限公司 一种视频交互***、方法、交互眼镜及终端
CN104740874A (zh) * 2015-03-26 2015-07-01 广州博冠信息科技有限公司 一种在二维游戏场景中播放视频的方法及***
CN106447788A (zh) * 2016-09-26 2017-02-22 北京疯景科技有限公司 观看视角的指示方法及装置
CN106791794A (zh) * 2016-12-30 2017-05-31 重庆卓美华视光电有限公司 一种显示设备、图像处理方法及装置
KR20180079051A (ko) * 2016-12-30 2018-07-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN109799899A (zh) * 2017-11-17 2019-05-24 腾讯科技（深圳）有限公司 交互控制方法、装置、存储介质和计算机设备
CN113170231A (zh) * 2019-04-11 2021-07-23 华为技术有限公司 跟随用户运动控制播放视频内容的方法和装置
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数字图像处理的眼球控制精度提高方法;严德赛 等;计算机应用(第10期);第267-270页 *

Also Published As

Publication number Publication date
CN114205669A (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN114205669B (zh) 自由视角视频的播放方法、装置及电子设备
JP2022119858A5 (zh)
JP2019512769A5 (zh)
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
CN110675506B (zh) 实现多路视频融合的三维增强现实的***、方法及设备
CN107646126A (zh) 用于移动设备的相机姿态估计
CN108537721A (zh) 全景图像的处理方法、装置及电子设备
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
CN105933665B (zh) 一种调阅摄像机视频的方法及装置
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
US11652978B2 (en) Depth map generation device
JP7043601B2 (ja) 環境モデルを生成するための方法および装置ならびに記憶媒体
EP3595323A1 (en) Video playing method for synchronously displaying ar information
CN111327876A (zh) 目标跟踪显示方法、装置、电子设备及机器可读存储介质
JP2019036791A (ja) 画像処理装置、画像処理システム、制御方法、及び、プログラム
CN110263615A (zh) 车辆拍摄中的交互处理方法、装置、设备及客户端
CN108449545B (zh) 一种监控***及其应用方法
CN111179309B (zh) 一种跟踪方法及设备
CN112702643B (zh) 弹幕信息显示方法、装置、移动终端
CN112183431A (zh) 实时行人数量统计方法、装置、相机和服务器
CN113515187B (zh) 一种虚拟现实场景的生成方法和网络侧设备
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
CN113971693A (zh) 直播画面生成方法、***、装置及电子设备
CN117255247B (zh) 一种全景相机与细节球机联动的方法及装置
EP4124022A1 (en) Video delivery method, video playback method, video delivery device, and delivery data structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant