CN105915937B - 一种全景视频播放方法及设备 - Google Patents
一种全景视频播放方法及设备 Download PDFInfo
- Publication number
- CN105915937B CN105915937B CN201610304275.3A CN201610304275A CN105915937B CN 105915937 B CN105915937 B CN 105915937B CN 201610304275 A CN201610304275 A CN 201610304275A CN 105915937 B CN105915937 B CN 105915937B
- Authority
- CN
- China
- Prior art keywords
- video
- user
- coordinate
- sub
- viewpoint position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000005520 cutting process Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开一种全景视频播放方法及设备，其特征在于，该方法包括：接收播放器的全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；根据所述用户的视点位置信息，确定待播放的视频单元，所述视频单元是通过对待播放的全景视频的视频帧预先分割所得到的；将确定的待播放的视频单元以视频流的方式发送至所述播放器，用以解决现有全景视频播放技术对传输带宽的利用率较低的问题。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种全景视频播放方法及设备。
背景技术
目前，全景视频指的是超过一般视野的广角视频内容，通常我们所说的环形/柱形360度视频提供了水平方向360度的视野。
全景视频录制有多种方法，通常分为单镜头和多镜头两种方式。如果采用多个镜头或多个摄像机可以获得高质量的视频，但生成的视频文件通常会是普通视频文件大小的三到四倍，甚至更多。这样一来对视频的存储和网络传输都带来巨大挑战，尤其在网络传输过程中全景视频需要很大的传输带宽。
因为现有的全景视频播放技术是将所有方向的视频信息统一压缩到一个视频码流中，由于用户的视野角度有限，在全景视频进行播放时只会选择对应的角度进行播放，所以视频码流中的大部分信息并不参与显示，因此视频码流对传输带宽的有效利用率较低，基于此，亟需一种方案可以提高全景视频播放技术对传输带宽的利用率。
发明内容
本发明实施例提供一种全景视频播放方法及设备，用以解决现有全景视频播放技术对传输带宽的利用率较低的问题。
本发明方法包括一种全景视频播放方法，该方法包括：接收播放器的全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；根据所述用户的视点位置信息，确定待播放的视频单元，所述视频单元是通过对待播放的全景视频的视频帧预先分割所得到的；将确定的待播放的视频单元以视频流的方式发送至所述播放器。
另外，本发明实施例进一步地从播放器侧提供一种全景视频播放方法，该方法包括：
播放器向服务器侧发送全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；所述播放器接收所述服务器侧发送的由待播放的视频单元组成的视频流；其中，所述视频流中的视频单元是所述服务器侧通过对待播放的全景视频的视频帧预先分割所得到的，且所述服务器侧根据所述用户的视点位置信息确定的待播放的视频单元。
基于同样的发明构思，本发明实施例进一步地提供一种全景视频的服务器，包括：接收单元，用于接收播放器的全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；
确定单元，用于根据所述用户的视点位置信息，确定待播放的视频单元，所述视频单元是通过对待播放的全景视频的视频帧预先分割所得到的；
发送单元，用于将确定的待播放的视频单元以视频流的方式发送至所述播放器。
另外，本发明实施例还提供一种景视频播放器，包括：发送单元，用于向服务器侧发送全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；
接收单元，用于接收所述服务器侧发送的由待播放的视频单元组成的视频流；其中，所述视频流中的视频单元是所述服务器侧通过对待播放的全景视频的视频帧预先分割所得到的，且所述服务器侧根据所述用户的视点位置信息确定的待播放的视频单元。
本发明实施例通过扫描全景视频得到若干视频帧，然后根据视频帧的坐标属性对所述视频帧进行分割，得到多个视频单元，即预先对全景视频进行分解；当接收到全景视频的播放请求时，根据播放请求中携带的用户的视点位置信息，确定所述视点位置信息对应的全景视频的视频单元，将视频单元组成的视频流发送至播放器，可见，本发明只需要获取与用户视点位置信息相关的部分全景视频的码流，节省了传输带宽，从而解决现有技术接收播放请求时，获取全部的全景视频码流，对传输带宽造成浪费的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例从服务器侧提供一种全景视频播放方法流程示意图；
图2为本发明实施例提供一种全景视频切割方法的实例；
图3为本发明实施例从播放器侧提供的一种全景视频播放方法；
图4为现有技术中一种播放器可以为虚拟现实头盔的实例；
图5为本发明实施例提供一种全景视频播放设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参见图1所示，本发明实施例提供一种全景视频播放方法流程示意图，具体地实现方法包括：
步骤S101，接收播放器的全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息。
步骤S102，根据所述用户的视点位置信息，确定待播放的视频单元，所述视频单元是通过对待播放的全景视频的视频帧预先分割所得到的。
步骤S103，将确定的待播放的视频单元以视频流的方式发送至所述播放器。
因为一秒全景视频通常有25张全景图片即25张视频帧，其中，每张全景图片是具有360度或者720度的图像，所以当服务器侧将一段全景视频统一压缩到一个视频码流中，这一码流中其实有很大角度范围的视频流并没有被用户观看到，却占用了传输带宽，因此服务器侧主动获取播放器中用户的视点位置信息，其中，视点位置信息可以包括用户的坐标位置和用户的观察方向等，服务器根据视点位置信息可以确定用户当前能看到的最大的角度范围，这样就可以只是将这一部分的视频流进行压缩，然后发送给播放器，显然，这样做可以节省一部分的传输带宽。
当然在执行步骤S101之前，服务器需要对当前的全景视频进行预分割，即服务器根据所述视频帧在一个方向上覆盖的坐标区间，将所述视频帧在所述方向上分割成多个子坐标区间对应的视频单元，其中，所述子坐标区间是所述坐标区间的子集，且所有子坐标区间构成的全集与所述方向覆盖的坐标区间相同。
也就是说，服务器侧需要完成对全景视频的切割，因为一般用户的视野角度范围最大是120度，所以服务器侧可以综合考虑用户的视野范围和切割之后编码的复杂度进行切割，比如说，如图2所述，原始视频是360度的，服务器确定用户当前的视点位置信息对应的坐标区间大概是(10°，120°)，那么服务器侧为了尽可能地满足用户当前的视野范围，会选择将全景视频中每一视频帧采用多种切割角度进行切割，以便各种切割方式得到的切割视频流都可以最大可能的满足用户的观看需要，例如，服务器侧可以将当前时刻的(0，360°)对应的视频帧同时复制成3份，然后第一份得到切割后的(0，240°)的第一视频单元，第二份得到切割后的(120°，360°)的第二视频单元，第三份得到切割后的(0，120°)和(240°，360°)的第三视频单元和第四视频单元，这样，服务器侧就可以得到由第一视频单元组成的切割后的第一视频流、由第二视频单元组成的切割后的第二视频流和由第三视频单元和第四视频单元组成的切割后的第三视频流。显然，这三个视频流中的任意一个视频流发送至播放器均能够满足用户当前的视野范围。
当然考虑到第三视频流其实是由第三视频单元和第四视频单元组成的，进一步地，服务器侧可以根据每一帧的第三视频单元和第四视频单元的坐标属性进行拼接，然后得到拼接后的图像，进而将设定时长内多个视频帧的多个拼接后的图像进行压缩，得到第三视频流，发送至播放器侧，以便播放器进行播放。
可以理解的是，服务器侧也可以将全景视频中每一视频帧分割的更小，比如说，可以将图2在水平方向上，切割为每一度作为一个子坐标区间，那么因为用户当前的视点位置信息对应的坐标区间大概是(10°，120°)，所以可以将(0，120°)内的每个子坐标区间对应的视频单元压缩成一个视频流，发送至播放器侧，播放器收到压缩后的视频流解压之后，再对每个子坐标区间对应的视频单元进行拼接。
考虑到服务器上切割之后得到视频流通常是以片段的形式保存在服务器上，所以服务器侧接收到播放器侧发送的播放请求还包括待播放的全景视频的标识，所述确定待播放的视频单元之前，还包括：根据所述待播放的全景视频的标识，确定待播放的至少一帧视频帧；
或者，所述全景视频播放请求为视点位置更新信息；所述确定待播放的视频单元之前，还包括：根据所述视点位置更新信息从正在播放的全景视频中确定待播放的至少一帧视频帧。
具体地，播放器发送给服务器的播放请求中包含要播放的全景视频是某一电影，因此服务器收到该请求之后就会对应地将该电影对应的切割视频流发送至播放器，当然，播放器发送的播放请求中也可以包含视频流的起始时间，这样，当服务器收到包含起始时间的播放请求时，就可以对应地切割这一起始时间之后的设定时段的全景视频，形成切割之后的视频流，比如切割12:00之后五秒内的全景视频，得到(12:00，12:05)这一时间片段内的切割视频流。
当然，也有可能是此时恰巧接收的播放请求是用户的视点位置信息变更，例如从(10°，120°)变更为(60°，180°)，这样，服务器侧接收到这一播放请求，就需要将(60°，180°)内的每个子坐标区间对应的视频单元组合视频流发送至播放器侧，通常，服务器侧会对确定好的视频单元进行压缩得到视频流。
因为用户的视点位置信息存在不固定性，所以，为了保证用户的视点即使暂时发生小范围的变动，服务器侧发送的待播放的视频流仍然能够满足用户的观看需求，所以服务器侧发送给播放器的视频流的视野范围通常比播放器侧确定的坐标区间大，即根据所述视点位置信息中用户的观察点位置和所述用户的观察方向，确定所述用户视野的角度范围；根据所述用户视野的角度范围确定待播放的每帧视频帧的坐标区间，其中，待播放的每帧视频帧的坐标区间大于所述用户视野的角度范围；根据待播放的每帧视频帧的坐标区间，确定待播放的视频单元。
也就是说，当用户的视野的角度范围是(10°，120°)时，服务器侧会确定每帧视频帧的坐标区间的范围是(0，240°)，然后将设定时长，例如五秒内的每帧视频帧的坐标区间的范围是(0，240°)对应的视频单元压缩成一个视频流发送至播放器，这样，及时在这一五秒内，用户的观察方向从(10°，120°)变更至(60°，180°)，那么服务器之前提供的5秒的视频流仍然可以满足用户的观看需求。
另外，若用户在视频的播放过程执行了暂停的处理，考虑此时用户有可能会在暂停的过程中对全景视频的各个角度进行观看，那么当播放器执行暂停的同时会向服务器侧发送请求，该请求中包含暂停的视频的停止时间点，当服务器侧收到该请求时，会同步将该时间点对应的视频帧发送至播放器侧，播放器收到该视频帧之后进行播放，以便用户可以浏览这一时间点的全景图片。
由于播放器中运动信息会及时地发送至服务器侧，所以，本发明实施例中服务器侧可以进一步地根据播放器传输的运行信息进行预测用户的视点位置信息的轨迹，即预测用户下一时段的视点位置信息；根据所述预测的视点位置信息从所述全景视频中确定下一时段的待播放的视频帧中的视频单元；
当用户下一时段的视点位置信息与所述预测的视点位置信息一致时，向播放器发送下一时段的视频流，所述下一时段的视频流是由下一时段的待播放的视频帧中的视频单元组成的。
比如说，服务器侧预测有可能在之后的五秒内用户的视点位置信息对应的坐标区间变为(120°，240°)，那么服务器侧可以将这五秒内的每帧视频帧的(100°，280°)对应的子坐标区间的视频单元进行压缩得到视频流，服务器侧将这一视频流作为备用的视频流存在在服务器侧，当下一时段播放器发送给服务器侧的播放请求对应的坐标区间确实与预测的一致，服务器及时将备用的视频流发送给播放器，这样做的目的是提高服务器的处理效率，尽可能是用户浏览视频的感受更加顺畅。
基于同样的发明构思，本发明实施例从播放器角度提供一种全景视频播放方法，如图3所示，该方法包括：
步骤S201，播放器向服务器侧发送全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；
步骤S202，所述播放器接收所述服务器侧发送的视频流，所述视频流中包括所述服务器侧根据所述用户的视点位置信息确定的待播放的视频单元；其中，所述视频单元是所述服务器侧通过对待播放的全景视频的视频帧预先分割所得到的。
其中，播放器可以为虚拟现实头盔，如图4所示，该虚拟现实头盔包括第一至第六侧面(假定虚拟现实头盔的正常使用情况是戴在用户的头上，基于此，可以确定头盔的第一至第六侧面相对于摄像装置分别为前面、后面、上面、下面、左面，右面)。各个侧面上布设有红外灯(也可称为红外点)，其中，各个侧面上红外灯均是按照预先设置的布设规则进行布设的。
进一步地，所述所述播放器接收所述服务器侧发送的由待播放的视频单元组成的视频流之后，还包括：
所述播放器根据接收的视频流中的每个视频单元的子坐标区间，将属于同一视频帧子坐标区间对应的的视频单元进行拼接，得到拼接后的视频帧；
所述播放器按照时间顺序播放拼接后的视频帧。
具体地，所述播放器根据接收的视频流中的每个视频单元的子坐标区间，按照坐标属性进行拼接，得到由每帧视频帧的视频单元拼接后的图像；所述播放器按照时间顺序播放每帧视频帧拼接后的图像。
也就是说，播放器接收了服务器侧发送的视频流之后，会根据视频流中每个视频单元的子坐标区间进行拼接，例如前文提到将(0，360°)的视频帧切割为每一度作为一个子坐标区间的视频单元，这样若用户当前的视点位置信息对应的坐标区间大概是(10°，120°)，那么，播放器就需要将视频流中的(0，240°)内的每一个子坐标区间的视频单元按照坐标属性和时间的先后顺序进行拼接，当拼接完成之后，才能进行正常播放。
基于相同的技术构思，本发明实施例还提供一种服务器和播放器，该服务器和播放器可执行上述方法实施例。本发明实施例提供的服务器如图5所示，包括：接收单元401、确定单元402、发送单元403，其中：
接收单元401，用于接收播放器的全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；
确定单元402，用于根据所述用户的视点位置信息，确定待播放的视频单元，所述视频单元是通过对待播放的全景视频的视频帧预先分割所得到的；
发送单元403，用于将确定的待播放的视频单元以视频流的方式发送至所述播放器。
进一步地，所述全景视频播放请求还包括待播放的全景视频的标识，所述确定单元402还用于：根据所述待播放的全景视频的标识，确定待播放的至少一帧视频帧；
或者，所述全景视频播放请求为视点位置更新信息；所述确定单元402还用于：根据所述视点位置更新信息从正在播放的全景视频中确定待播放的至少一帧视频帧。
进一步地，还包括：分割单元404，用于根据所述视频帧在一个方向上覆盖的坐标区间，将所述视频帧在所述方向上分割成多个子坐标区间对应的视频单元，其中，所述子坐标区间是所述坐标区间的子集，且所有子坐标区间构成的全集与所述方向覆盖的坐标区间相同。
其中，所述确定单元402具体用于：根据所述视点位置信息中用户的观察点位置和所述用户的观察方向，确定所述用户视野的角度范围；
根据所述用户视野的角度范围确定待播放的每帧视频帧的坐标区间，其中，待播放的每帧视频帧的坐标区间大于所述用户视野的角度范围；
根据待播放的每帧视频帧的坐标区间，确定待播放的视频单元。
进一步地，还包括：预测单元405，用于预测用户下一时段的视点位置信息；
所述确定单元402还用于：根据所述预测的视点位置信息从所述全景视频中确定下一时段的待播放的视频帧中的视频单元；
所述发送单元403还用于：当用户下一时段的视点位置信息与所述预测的视点位置信息一致时，向播放器发送下一时段的视频流，所述下一时段的视频流是由下一时段的待播放的视频帧中的视频单元组成的。
基于同样的发明构思，本发明实施例还提供一种全景视频播放器，如图5所示，包括：发送单元501、接收单元502，其中：
发送单元501，用于向服务器侧发送全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；
接收单元502，用于接收所述服务器侧发送的视频流，所述视频流中包括所述服务器侧根据所述用户的视点位置信息确定的待播放的视频单元；其中，所述视频单元是所述服务器侧通过对待播放的全景视频的视频帧预先分割所得到的。
进一步地，还包括拼接单元503，用于根据接收的视频流中的每个视频单元的子坐标区间，将属于同一视频帧子坐标区间对应的的视频单元进行拼接，得到拼接后的视频帧；按照时间顺序播放每帧视频帧拼接后的图像。
综上所述，本发明实施例通过扫描全景视频得到若干视频帧，然后根据视频帧的坐标属性对所述视频帧进行分割，得到多个视频单元，即预先对全景视频进行分解；当接收到全景视频的播放请求时，根据播放请求中携带的用户的视点位置信息，确定所述视点位置信息对应的全景视频的视频单元，将视频单元组成的视频流发送至播放器，可见，本发明只需要获取与用户视点位置信息相关的部分全景视频的码流，节省了传输带宽，从而解决现有技术接收播放请求时，获取全部的全景视频码流，对传输带宽造成浪费的问题。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种全景视频播放方法，其特征在于，该方法包括：
接收播放器的全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；
根据所述视点位置信息中用户的观察点位置和所述用户的观察方向，确定所述用户视野的角度范围；
根据所述用户视野的角度范围确定待播放的每帧视频帧的坐标区间内的每个子坐标区间对应的视频单元，其中，待播放的每帧视频帧的坐标区间大于所述用户视野的角度范围；其中，所述子坐标区间对应的视频单元是服务器侧根据用户的视野范围和切割之后编码的复杂度，将待播放的全景视频的视频帧预分割成多个子坐标区间对应的视频单元，其中，所述子坐标区间是所述坐标区间的子集，且所有子坐标区间构成的全集与所述观察方向覆盖的坐标区间相同；
将所述每个子坐标区间对应的视频单元压缩成一个视频流，并将所述视频流发送至播放器侧，以便所述播放器播放。
2.如权利要求1所述的方法，其特征在于，所述全景视频播放请求还包括待播放的全景视频的标识，所述确定待播放的视频单元之前，还包括：根据所述待播放的全景视频的标识，确定待播放的至少一帧视频帧；
或者，所述全景视频播放请求为视点位置更新信息；所述确定待播放的视频单元之前，还包括：根据所述视点位置更新信息从正在播放的全景视频中确定待播放的至少一帧视频帧。
3.如权利要求1或2所述的方法，其特征在于，所述将所述视频流发送至播放器侧之后，还包括：
预测用户下一时段的视点位置信息；
根据所述预测的视点位置信息从所述全景视频中确定下一时段的待播放的视频帧中的视频单元；
当用户下一时段的视点位置信息与所述预测的视点位置信息一致时，向播放器发送下一时段的视频流，所述下一时段的视频流是由下一时段的待播放的视频帧中的视频单元组成的。
4.一种全景视频播放方法，其特征在于，该方法包括：
播放器向服务器侧发送全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息，所述视点位置信息包括用户的观察点位置和所述用户的观察方向；
所述播放器接收所述服务器侧发送的由每个子坐标区间对应的视频单元压缩成生成的视频流，所述每个子坐标区间对应的视频单元是所述服务器侧根据所述用户视野的角度范围确定的，所述用户视野的角度范围是根据所述视点位置信息中用户的观察点位置和所述用户的观察方向确定的；其中，所述子坐标区间对应的视频单元是所述服务器侧根据用户的视野范围和切割之后编码的复杂度，将待播放的全景视频的视频帧预分割成多个子坐标区间对应的视频单元，其中，所述子坐标区间是所述坐标区间的子集，且所有子坐标区间构成的全集与所述观察方向覆盖的坐标区间相同；
所述播放器根据接收的视频流中的每个视频单元的子坐标区间，将属于同一视频帧子坐标区间对应的的视频单元进行拼接，得到拼接后的视频帧；
所述播放器按照时间顺序播放拼接后的视频帧。
5.一种全景视频的服务器，其特征在于，包括：
接收单元，用于接收播放器的全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息；
确定单元，用于根据所述视点位置信息中用户的观察点位置和所述用户的观察方向，确定所述用户视野的角度范围；根据所述用户视野的角度范围确定待播放的每帧视频帧的坐标区间内的每个子坐标区间对应的视频单元，其中，待播放的每帧视频帧的坐标区间大于所述用户视野的角度范围；其中，所述子坐标区间对应的视频单元是服务器侧根据用户的视野范围和切割之后编码的复杂度，将待播放的全景视频的视频帧预分割成多个子坐标区间对应的视频单元，其中，所述子坐标区间是所述坐标区间的子集，且所有子坐标区间构成的全集与所述观察方向覆盖的坐标区间相同；
发送单元，用于将所述每个子坐标区间对应的视频单元压缩后的视频流发送至所述播放器。
6.如权利要求5所述的服务器，其特征在于，所述全景视频播放请求还包括待播放的全景视频的标识，所述确定单元还用于：根据所述待播放的全景视频的标识，确定待播放的至少一帧视频帧；
或者，所述全景视频播放请求为视点位置更新信息；所述确定单元还用于：根据所述视点位置更新信息从正在播放的全景视频中确定待播放的至少一帧视频帧。
7.如权利要求5或6所述的服务器，其特征在于，还包括：
预测单元，用于预测用户下一时段的视点位置信息；
所述确定单元还用于：根据所述预测的视点位置信息从所述全景视频中确定下一时段的待播放的视频帧中的视频单元；
所述发送单元还用于：当用户下一时段的视点位置信息与所述预测的视点位置信息一致时，向播放器发送下一时段的视频流，所述下一时段的视频流是由下一时段的待播放的视频帧中的视频单元组成的。
8.一种全景视频播放器，其特征在于，包括：
发送单元，用于向服务器侧发送全景视频播放请求，所述全景视频播放请求中包含用户的视点位置信息，所述视点位置信息包括用户的观察点位置和所述用户的观察方向；
接收单元，用于接收所述服务器侧发送的由每个子坐标区间对应的视频单元压缩成生成的视频流，所述每个子坐标区间对应的视频单元是所述服务器侧根据所述用户的视野的角度范围确定的,所述用户视野的角度范围是根据所述视点位置信息中用户的观察点位置和所述用户的观察方向确定的；其中，所述子坐标区间对应的视频单元是所述服务器侧根据用户的视野范围和切割之后编码的复杂度，将待播放的全景视频的视频帧预分割成多个子坐标区间对应的视频单元，其中，所述子坐标区间是所述坐标区间的子集，且所有子坐标区间构成的全集与所述观察方向覆盖的坐标区间相同；
拼接单元，用于根据接收的视频流中的每个视频单元的子坐标区间，将属于同一视频帧子坐标区间对应的的视频单元进行拼接，得到拼接后的视频帧；按照时间顺序播放每帧视频帧拼接后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610304275.3A CN105915937B (zh) | 2016-05-10 | 2016-05-10 | 一种全景视频播放方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610304275.3A CN105915937B (zh) | 2016-05-10 | 2016-05-10 | 一种全景视频播放方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105915937A CN105915937A (zh) | 2016-08-31 |
| CN105915937B true CN105915937B (zh) | 2019-12-13 |
Family
ID=56748002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610304275.3A Active CN105915937B (zh) | 2016-05-10 | 2016-05-10 | 一种全景视频播放方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105915937B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106385587B (zh) * | 2016-09-14 | 2019-08-02 | 三星电子（中国）研发中心 | 分享虚拟现实视角的方法、装置及*** |
| CN107872626B (zh) * | 2016-09-26 | 2020-06-09 | 中国电信股份有限公司 | 全景视频播放方法和***以及用于全景视频播放的服务器 |
| WO2018068236A1 (zh) | 2016-10-10 | 2018-04-19 | 华为技术有限公司 | 一种视频流传输方法、相关设备及*** |
| CN106453913A (zh) * | 2016-10-31 | 2017-02-22 | 北京疯景科技有限公司 | 预览全景内容的方法及装置 |
| CN106534827B (zh) * | 2016-12-19 | 2018-03-02 | 暴风集团股份有限公司 | 基于用户视角播放全景视频的方法及*** |
| CN108282449B (zh) * | 2017-01-06 | 2020-10-09 | 华为技术有限公司 | 一种应用于虚拟现实技术的流媒体的传输方法和客户端 |
| CN108693953A (zh) * | 2017-02-28 | 2018-10-23 | 华为技术有限公司 | 一种增强现实ar投影方法及云端服务器 |
| CN106851398A (zh) * | 2017-03-10 | 2017-06-13 | 北京小鸟看看科技有限公司 | 全景视频文件的存储方法、播放方法、存储装置和播放器 |
| CN108476305A (zh) * | 2017-03-21 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 一种图像传输方法、装置及设备 |
| CN108810574B (zh) * | 2017-04-27 | 2021-03-12 | 腾讯科技（深圳）有限公司 | 一种视频信息处理方法及终端 |
| CN108810427B (zh) * | 2017-05-02 | 2020-12-04 | 北京大学 | 基于视点的全景视频内容表示的方法及装置 |
| CN107172442A (zh) * | 2017-06-11 | 2017-09-15 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频存储方法及装置 |
| CN109286855B (zh) * | 2017-07-19 | 2020-10-13 | 北京大学 | 全景视频的传输方法、传输装置和传输*** |
| WO2019041179A1 (zh) * | 2017-08-30 | 2019-03-07 | 华为技术有限公司 | Vr视频播放处理方法及设备 |
| JP7085816B2 (ja) | 2017-09-26 | 2022-06-17 | キヤノン株式会社 | 情報処理装置、情報提供装置、制御方法、及びプログラム |
| CN108156467B (zh) * | 2017-11-16 | 2021-05-11 | 腾讯科技(成都)有限公司 | 数据传输方法和装置、存储介质及电子装置 |
| CN108111899B (zh) * | 2017-12-29 | 2021-05-11 | 中兴通讯股份有限公司 | 视频传输方法与装置、客户端、服务器及存储介质 |
| CN108683842B (zh) * | 2018-04-25 | 2021-06-04 | 影石创新科技股份有限公司 | 一种全景相机及输出全景视频的方法和装置 |
| CN108833880B (zh) * | 2018-04-26 | 2020-05-22 | 北京大学 | 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置 |
| CN108833929A (zh) * | 2018-06-26 | 2018-11-16 | 曜宇航空科技（上海）有限公司 | 一种全景视频的播放方法和播放*** |
| CN110704673B (zh) * | 2018-07-09 | 2022-09-23 | 上海交通大学 | 基于视频内容消费的反馈信息标识方法、***及存储介质 |
| CN110708566A (zh) * | 2018-07-09 | 2020-01-17 | 上海交通大学 | 基于节点计算的全景视频传输方法及*** |
| CN110798707B (zh) * | 2018-08-02 | 2023-06-16 | 华为技术有限公司 | 传输媒体数据的方法、客户端和服务器 |
| CN109547830B (zh) * | 2018-10-24 | 2021-07-09 | 重庆爱奇艺智能科技有限公司 | 一种用于多个虚拟现实设备的同步播放的方法与装置 |
| CN109348291B (zh) * | 2018-11-16 | 2021-05-18 | 深圳市梦网视讯有限公司 | 一种基于运动分析的全景视频码流分发方法和*** |
| CN110166850B (zh) * | 2019-05-30 | 2020-11-06 | 上海交通大学 | 多重cnn网络预测全景视频观看位置的方法和*** |
| CN110248178B (zh) * | 2019-06-18 | 2021-11-23 | 深圳大学 | 利用物体跟踪和历史轨迹全景视频的视口预测方法及*** |
| CN111147883A (zh) * | 2019-12-31 | 2020-05-12 | 歌尔科技有限公司 | 直播方法、装置、头戴显示设备和可读存储介质 |
| CN111225263B (zh) * | 2020-01-17 | 2022-06-14 | 广州虎牙科技有限公司 | 视频播放控制方法和装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101043617A (zh) * | 2007-03-21 | 2007-09-26 | 汤一平 | 基于全方位视觉传感器的头盔 |
| CN104010225A (zh) * | 2014-06-20 | 2014-08-27 | 合一网络技术(北京)有限公司 | 显示全景视频的方法和*** |
| CN104602129A (zh) * | 2015-01-27 | 2015-05-06 | 三星电子（中国）研发中心 | 互动式多视角视频的播放方法及*** |
| CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
| CN105323552A (zh) * | 2015-10-26 | 2016-02-10 | 北京时代拓灵科技有限公司 | 一种全景视频播放方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9241103B2 (en) * | 2013-03-15 | 2016-01-19 | Voke Inc. | Apparatus and method for playback of multiple panoramic videos with control codes |
-
2016
- 2016-05-10 CN CN201610304275.3A patent/CN105915937B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101043617A (zh) * | 2007-03-21 | 2007-09-26 | 汤一平 | 基于全方位视觉传感器的头盔 |
| CN104010225A (zh) * | 2014-06-20 | 2014-08-27 | 合一网络技术(北京)有限公司 | 显示全景视频的方法和*** |
| CN104602129A (zh) * | 2015-01-27 | 2015-05-06 | 三星电子（中国）研发中心 | 互动式多视角视频的播放方法及*** |
| CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
| CN105323552A (zh) * | 2015-10-26 | 2016-02-10 | 北京时代拓灵科技有限公司 | 一种全景视频播放方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105915937A (zh) | 2016-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105915937B (zh) | 一种全景视频播放方法及设备 | |
| EP3606082B1 (en) | Panoramic video playback method and client terminal | |
| US20190089996A1 (en) | Virtualized and automated real time video production system | |
| US20150124048A1 (en) | Switchable multiple video track platform | |
| CN108900857B (zh) | 一种多视角视频流处理方法和装置 | |
| CN104012106A (zh) | 使表示不同视点的视频对准 | |
| WO2014025319A1 (en) | System and method for enabling user control of live video stream(s) | |
| US8957947B2 (en) | Image processing apparatus and control method thereof | |
| KR102644833B1 (ko) | Vr 스트림의 지연을 보상하는 방법 및 시스템 | |
| CN110582012B (zh) | 视频切换方法、视频处理方法、装置及存储介质 | |
| CN103078937B (zh) | 一种基于信息网络的多视频云端合成的方法、客户端、服务器及*** | |
| CN110913278B (zh) | 视频播放方法、显示终端及存储介质 | |
| CN113141531B (zh) | 用于跨设备播放控制的方法及装置、播放设备 | |
| CN113038220A (zh) | 导播方法、导播***、导播装置及计算机可读存储介质 | |
| CN112423006A (zh) | 一种直播场景切换方法、装置、设备及介质 | |
| EP3621309A1 (en) | Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus | |
| KR20070032894A (ko) | 동화상 시청 시스템, 동화상 시청 장치, 그 제어 방법 및프로그램 | |
| JP2015162117A (ja) | サーバ装置、プログラム、及び情報処理方法 | |
| CN108683900B (zh) | 一种图像数据处理方法及装置 | |
| CN107734278B (zh) | 一种视频回放方法及相关装置 | |
| US20180227504A1 (en) | Switchable multiple video track platform | |
| CN113038137B (zh) | 视频数据的输出方法、***、装置及计算机可读存储介质 | |
| CN111885417A (zh) | Vr视频播放方法、装置、设备以及存储介质 | |
| US20200099913A1 (en) | Image processing device and system | |
| WO2018178510A2 (en) | Video streaming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 322103 Room 201, East Building, building C, headquarters center, No. 23, Guangfu East Street, houtang community, Jiangbei street, Dongyang City, Jinhua City, Zhejiang Province (self declaration) Patentee after: Lexiang Technology Co.,Ltd. Address before: 322103 Room 201, East Building, building C, headquarters center, No. 23, Guangfu East Street, houtang community, Jiangbei street, Dongyang City, Jinhua City, Zhejiang Province (self declaration) Patentee before: Zhejiang Lexiang Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 322103 Room 201, East Building, building C, headquarters center, No. 23, Guangfu East Street, houtang community, Jiangbei street, Dongyang City, Jinhua City, Zhejiang Province (self declaration) Patentee after: Zhejiang Lexiang Technology Co.,Ltd. Address before: 200125 6th floor, building 8, honghuiyinyuewan, No.1 yanjiaqiao, Pudong New Area, Shanghai Patentee before: SHANGHAI LEXIANG TECHNOLOGY Co.,Ltd. |