CN114339308A

CN114339308A - 一种视频流加载方法、电子设备及存储介质

Info

Publication number: CN114339308A
Application number: CN202210001289.3A
Authority: CN
Inventors: 许圣霖
Original assignee: Tencent Music Entertainment Technology Shenzhen Co Ltd
Current assignee: Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date: 2022-01-04
Filing date: 2022-01-04
Publication date: 2022-04-12

Abstract

本申请公开了一种视频流加载方法、电子设备及存储介质，涉及视频流加载技术领域。该方法应用于通信***的服务端，通信***还包括客户端，服务端与客户端通信连接；首先获取原始视频流，然后提取原始视频流的音频文件与视频文件，再对视频文件与音频文件按预设的时段进行切分，以生成多个文件片段，其中，每个文件片段均包括时间信息，再接收客户端发送的基于原始视频流的访问请求，其中，访问请求携带有播放模式与时间戳，最后依据播放模式与时间戳将音频文件和/或视频文件对应的文件片段发送至客户端。本申请具有节约了视频流加载耗费的流量的优点。

Description

一种视频流加载方法、电子设备及存储介质

技术领域

本发明涉及视频流加载技术领域，具体地涉及一种视频流加载方法、电子设备及存储介质。

背景技术

视频流是指视频数据的传输，目前，随着短视频平台的兴起，视频流越来越受到关注。

在视频流加载过程中，一般需要耗费大量的流量进行加载，导致用户在进行视频流播放时流量消耗较大。

综上，现有技术中存在视频流播放需要耗费大量流量的问题。

发明内容

因此，本发明的目的在于提供一种视频流加载方法、电子设备及存储介质，其具有改善视频流播放需要耗费大量流量的效果。

在第一方面，提供一种视频流加载方法，所述方法应用于通信***的服务端，所述通信***还包括客户端，所述服务端与所述客户端通信连接；所述方法包括：

获取原始视频流；

提取所述原始视频流的音频文件与视频文件；

对所述视频文件与所述音频文件按预设的时段进行切分，以生成多个文件片段，其中，每个文件片段均包括时间信息；

接收所述客户端发送的基于所述原始视频流的访问请求，其中，所述访问请求携带有播放模式与时间戳；

依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端。

可选地，所述依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，包括：

当所述播放模式为非静音非静屏的正常模式时，将所述音频文件和所述视频文件对应的文件片段发送至所述客户端；

当所述播放模式为静音模式时，将所述视频文件对应的文件片段发送至所述客户端；

当所述播放模式为静屏模式时，将所述音频文件对应的文件片段发送至所述客户端。

可选地，依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，包括：

当未接收到跳播指令时，将与所述时间戳对应的当前时段的文件片段和/或下一时段的文件片段发送至所述客户端。

当接收到跳播指令时，确定所述时间戳对应的当前时段；

将当前时段的文件片段发送至所述客户端。

可选地，所述将当前时段的文件片段发送至所述客户端，包括：

将第一分辨率的当前时段的文件片段发送至所述客户端；

所述依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，还包括：

将第二分辨率的下一时段的文件片段发送至所述客户端；其中，所述第二分辨率高于所述第一分辨率。

当接收到跳播指令时，确定所述时间戳对应的当前时段；

基于所述时间戳对当前时段的文件片段进行切分，以获取至少两个文件子片段，其中，每个文件子片段包括时间信息；

依据每个所述文件子片段的时间信息，将位于所述时间戳之后的文件子片段发送至客户端。

可选地，所述依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，还包括：

将第二分辨率的下一时段的文件片段发送至所述客户端，其中，发送至客户端的文件子片段具有第一分辨率，且所述第二分辨率高于所述第一分辨率。

在第二方面，提供一种视频流加载方法，所述方法应用于通信***的客户端，所述通信***还包括服务端，所述服务端与所述客户端通信连接；所述方法包括：

响应用户操作，生成携带有播放模式与时间戳的访问请求；

依据所述访问请求从所述服务端中确定原始视频流，并依据所述播放模式与所述时间戳拉取所述原始视频流中音频文件和/或所述视频文件对应的文件片段；其中，所述文件片段为所述服务端对所述音频文件与所述视频文件按预设的时段进行切分生成；

当同时拉取音频文件和视频文件时，将所述音频文件和所述视频文件进行合成。

可选地，所述依据所述访问请求从所述服务端中确定原始视频流，并依据所述播放模式与所述时间戳拉取所述原始视频流中音频文件和/或所述视频文件对应的文件片段，包括：

当所述播放模式为非静音非静屏的正常模式时，拉取所述音频文件和所述视频文件对应的文件片段，以及合成所述音频文件和所述视频文件的文件片段；

当所述播放模式为静音模式时，拉取所述视频文件对应的文件片段；

当所述播放模式为静屏模式时，将所述音频文件对应的文件片段。

可选地，依据所述访问请求从所述服务端中确定原始视频流，并依据所述播放模式与所述时间戳拉取所述原始视频流中音频文件和/或所述视频文件对应的文件片段，包括：

拉取与所述时间戳对应的当前时段的文件片段及下一时段的文件片段。

可选地，依据所述访问请求从所述服务端中确定原始视频流，并拉取所述原始视频流中音频文件和/或所述视频文件对应的文件片段，包括：

当接收到用户的跳播操作时，获取所述跳播操作对应的目标时间戳；

依据所述目标时间戳拉取对应的文件片段。

在第三方面，提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行上述的视频流加载方法。

在第四方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序配置成被运行时执行上述的视频流加载方法。

本发明实施例具有以下有益效果：

本发明提供了一种视频流加载方法、电子设备及存储介质，该方法应用于通信***的服务端，通信***还包括客户端，服务端与客户端通信连接；首先获取原始视频流，然后提取原始视频流的音频文件与视频文件，再对视频文件与音频文件按预设的时段进行切分，以生成多个文件片段，其中，每个文件片段均包括时间信息，再接收客户端发送的基于原始视频流的访问请求，其中，访问请求携带有播放模式与时间戳，最后依据播放模式与时间戳将音频文件和/或视频文件对应的文件片段发送至客户端。一方面，通过将原始视频流进行视频文件与音频文件提取的方式，使得客户端在加载视频流时，可以选择播放模式，并且还可只加载音频文件或者只加载视频文件，达到节约流量的目的。另一方面，通过对视频文件与音频文件进行切分的方式，使得视频文件与音频文件能够被切分成多个文件片段，进而在视频加载时，仅需要按照时间戳选择相应的文件片段进行加载，而无需直接加载全部视频，起到了节约加载流量的目的。

本发明实施例的可选特征和其他效果一部分在下文描述，一部分可通过阅读本文而明白。

附图说明

结合附图来详细说明本发明的实施例，所示元件不受附图所显示的比例限制，附图中相同或相似的附图标记表示相同或类似的元件，其中：

图1示出了本发明实施例提供的视频流加载方法的第一种示例性流程图。

图2示出了本发明实施例提供的服务端预处理的一种示意图。

图3示出了本发明实施例提供的服务端预处理的另一种示意图。

图4示出了本发明实施例提供的服务端与客户端的交互示意图。

图5示出了本发明实施例提供的视频流加载方法的第二种示例性流程图。

图6示出了本发明实施例提供的视频流加载方法的第三种示例性流程图。

图7示出了本发明实施例提供的视频流加载方法的第四种示例性流程图。

图8示出了本发明实施例提供的服务端与客户端的另一种交互示意图。

图9示出了本发明实施例提供的视频流加载装置的模块示意图。

图10示出了本发明实施例提供的另一种视频流加载方法的示例性流程图。

图11示出了本发明实施例提供的再一种视频流加载方法的示例性流程图。

图12示出能实施根据本发明实施例的方法的移动终端的示例性硬件结构示意图；

图13示出了能实施根据本发明实施例的方法的移动终端的示例性操作***结构示意图；

图14示出了能实施根据本发明实施例的方法的移动终端的示例性操作***结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合具体实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

本发明实施例提供一种视频流加载方法、装置以及相关的电子设备和存储介质。该视频流加载方法可以借助于一个或多个计算机、如终端、比如移动终端、例如智能手机实施。在一些实施例中，所述视频流加载方法可以由软件、硬件或软硬件结合实现。

下面对本申请提供的视频流加载方法进行示例性说明：

作为一种可选的实现方法，该视频流加载方法应用于通信***的服务端，通信***还包括客户端，服务端与客户端通信连接。其中，服务端指提供视频流服务的终端，例如某个视频网站终端。客户端指用户使用的智能终端，例如手机、平板电脑、可穿戴移动设备等，在此不做具体限定。客户端能够访问服务端，实现视频流的加载。例如，在客户端上安装有某个视频网站A的APP，当用户打开APP后，可以观看视频网站A中的视频，进而通过客户端实现视频流的加载。

可选地，请参阅图1，该视频流加载方法包括：

S102，获取原始视频流。

S104，提取所述原始视频流的音频文件与视频文件。

S106，对所述视频文件与所述音频文件按预设的时段进行切分，以生成多个文件片段，其中，每个文件片段均包括时间信息。

S108，接收所述客户端发送的基于所述原始视频流的访问请求，其中，所述访问请求携带有播放模式与时间戳。

S110，依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端。

其中，请参阅图2，在服务端，可对数据库中的原始视频流进行预处理，处理方式为将原始视频流中音频轨道与视频轨道分离，进而提取出音频文件与视频文件。音频文件中仅包含该原始视频流对应的音频信息，视频文件中仅包含该原始视频流对应的视频信息。需要说明的是，音频轨道与视频轨道为一一对应的关系，即音频轨道与视频轨道的时间点相对应，例如，总时长为1min的原始视频流，视频轨道与音频轨道的时长也均为1min，并且，第1S的视频轨道与第1S的音频轨道对应，进而在加载视频流时，实现视频与音频的同步播放。可以理解地，总时长为1min的原始视频流，在提取音频文件与视频文件后，音频文件与视频文件的时长均为1min。

需要说明的是，一般地，在服务端，可对整个原始视频流进行音频文件与视频文件的提取，但在另一些可选的实现方式中，也可以仅对该原始视频流的一部分进行音频文件与视频文件的提取。例如，在一种实现方式中，可以针对视频流中的一定时间段内的视频流利用本申请提供的视频流加载方法进行数据加载，由此可以以低数据模式、但近乎实时的模式满足部分用户快速观看该段视频。

通过对原始视频流进行拆分，使得在利用客户端进行视频流加载时，能够选择加载音频文件和/或所述视频文件，实现节省流量的目的。

例如，当用户正常观看视频时，则可以同时加载视频文件与音频文件；而当用户处于一些特殊场景下，则可只加载视频文件或者音频文件，如用户处于公共环境中，此时若外放播放声音，则可能会影响他人，此时用户可以选择仅播放视频文件，而并不播放音频文件；或者，在奔驰的列车中，用户若观看视频，可能出现晕车现象，此时用户可以选择只接收音频文件，而不观看视频。通过选择性的接收视频文件与音频文件，可以在特定的场景中实现节省用户流量的目的，提升用户的体验感。

在此，可选地，所述播放方式可以包括第一播放模式，该第一播放模式是基于播放方式(显示或播音)来限定的。例如该播放模式可包括静音模式、静屏模式和非静音且非静屏的正常模式，用户可通过客户端选择基于当前场景下的模式。当用户选择正常模式时，服务端会将音频文件和视频文件均发送至客户端，客户端再将接收到的音频文件和视频文件在本地进行合成；当用户选择静音模式时，服务端仅将视频文件发送至客户端，并通过客户端播放该视频文件，此时，客户端无法加载音频文件；当用户选择静屏模式时，服务端仅将音频文件发送至客户端，并通过客户端播放该音频文件。可以理解地，当处于静音模式或静屏模式时，均能达到节省用户流量的效果。

为了进一步实现节省流量的目的，在视频流加载过程中，可以对视频文件与音频文件进行切片处理，并在加载过程中选择对应的片段进行加载。

例如，请参阅图3，在提取视频文件与音频文件后，服务端还会对视频文件与音频文件按照预设的时段进行切分，图3中，预设的时段为2S，当然地，预设的时段也可以为其它数值，例如将预设的时段设置为1S或者3S。请继续参阅图3，由图3可知，当原始视频流的时长为1min时，提取音频文件与视频文件后，音频文件与视频文件的时长也为1min，然后以2S为时段对音频文件与视频文件进行切分，进而在将视频文件切分为30个文件片段，同时将音频文件也切分为30个文件片段。可以理解地，为了便于视频流的加载，每个文件短片均包括时间信息。

以视频文件为例，在切分成30个文件片段后，若将文件片段从左至右排列，则第一个文件片段的时间信息为0～2S，第二个文件片段的时间信息为2～4S，第三个文件片段的时间信息为4～6S，以此类推。

在此基础上，在客户端加载视频流时，访问请求中携带有播放模式与时间戳，其中，播放模式用于确定加载视频文件和/或音频文件，时间戳用于确定具体加载哪些时间片段。因此，服务端会依据播放模式与时间戳将音频文件和/或视频文件对应的文件片段发送至客户端。

进一步地，所述播放方式可以包括第二播放模式，该第二播放模式是基于用户操作的播放位置(时间点)来限定的。具体地，第二播放模式可以包括顺序播放模式和跳播(跳跃播放)模式。在本发明实施例中，跳播模式可以包括多种情形，例如，快进模式、快退模式、拖动模式。由此，本领域技术人员将明白，这些跳播模式将具有对应的跳播操作，如快进模式对应的点击快进按钮操作、快退模式对应的点击快退按钮操作、拖动模式对应的拖动进度条操作(拖动进度条可以实现快进和快退效果)。由于跳跃播放是基于用户操作指令而进行的，在本发明的一些实施例中，针对跳播模式也可以称为跳播指令、如快进指令，或者直接称呼其操作或效果，如快进等。

本领域技术人员将明白，第一播放模式和第二播放模式可以相互组合，例如可以在非静音且非静屏的正常模式、静音模式、静屏模式下顺序播放或者跳跃播放(例如，通过拉动进度条)。

其中，当播放模式为非静音非静屏的正常模式时，服务端会将音频文件和视频文件对应的文件片段发送至客户端。

当播放模式为静音模式时，服务端会将视频文件对应的文件片段发送至客户端。

当播放模式为静屏模式时，服务端会将音频文件对应的文件片段发送至客户端。

例如，当用户在打开APP后，选择静音模式，并在打开某个视频后，直接快进至第7S，则此时服务端确定仅需要将视频文件发送至客户端，同时，客户端访问请求的时间戳为第7S，则服务端会直接将6～8S的文件片段发送至客户端进行播放，当然地，服务端也会将6～8S之后的文件片段发送至客户端。可以理解地，通过将视频文件与音频文件切分为片段的方式，可以避免加载无用的文件片段。以上述示例为例，若客户端访问请求的时间戳为第7S，则服务端无需将0～2S、2～4S以及4～6S三个文件片段发送至客户端，进而节省了客户端加载视频所耗费的流量。

若用户选择普通播放模式，则服务端会同时将视频文件与音频文件的片段发送至客户端，客户端会在本地对相同时间信息的文件片段进行合成。

例如，请参阅图4，当需要合成6～8S的文件片段时，服务端会将6～8S的视频文件对应的文件片段与音频文件对应的文件片段同时发送设置客户端，然后由客户端在本地对文件片段进行合成，进而合成6～8S的视频流片段进行播放。可以理解地，当需要合成其它时间信息对应的文件片段时，也采用同样方式，在此不再进行赘述。

通过本申请提供的视频流加载方法，一方面，用户可以选择播放模式，进而可以选择只加载音频文件或者只加载视频文件，达到节约流量的目的。另一方面，通过对视频文件与音频文件进行切分的方式，使得视频文件与音频文件能够被切分成多个文件片段，进而在视频加载时，仅需要按照时间戳选择相应的文件片段进行加载，而无需直接加载全部视频，避免了加载非必要的文件片段，起到了节约加载流量的目的。

此外，作为一种可选的实现方式，本申请中，可采用预加载的方式，保证用户视频播放的流畅性，同时预加载仅按文件片段进行，因此不会耗费过多的流量，即使用户采用快进方式，也不会出现过多并不会被播放的文件片段，达到了节省流量的目的。

例如，当用户需要播放6～8S的视频文件与音频文件时，服务端会将6～8S的视频文件与音频文件发送客户端，当客户端合成并播放6～8S的文件时，服务端同时将8～10S的视频文件与音频文件发送至客户端，使得客户端在播放完6～8S后，可以自然过渡至8～10S，避免了出现播放卡顿等情况。

需要说明的是，请参阅图5，S110包括：

S1101，判断是否接收到跳播指令，如果否，则执行S1102，如果是，则执行S1104。

S1102，将与时间戳对应的当前时段的文件片段和/或下一时段的文件片段发送至客户端。

S1104，确定时间戳对应的当前时段。

S1105，将当前时段的文件片段发送至客户端。

其中，对于跳播指令的判断，可以基于相邻两个访问请求中携带的时间戳是否出现时间间隔进行判断。例如，当用户未快进时，则在第一个访问请求携带的时间戳为第6S，并在播放完成后，下一个访问请求携带的时间戳为第8S，则表示此时用户正在按顺序播放视频，并未快进。

然而，若第一个访问请求携带的时间戳为第6S，第二个访问请求携带的时间戳为第30S，则表示此时用户并未按顺序播放视频，出现了视频跳播情况。或者，第一个访问请求携带的时间戳为第6S，第二个访问请求携带的时间戳为第2S，则也出现了视频跳播的情况。

当然地，实际操作过程中，也可以为客户端直接生成跳播指令，例如客户端识别当用户出现拖动进度条操作后，即生成跳播指令，并将跳播指令与访问请求同时发送至服务端。服务端在接收到跳播指令后，即可将相应的文件片段发送至客户端进行播放。

其中，在未接收到跳播指令时，则表示此时用户正在按进度条顺序观看视频，在此基础上，本申请提供了三种可能的加载方式:

第一种，将与时间戳对应的当前时段的文件片段发送至客户端。

即服务端根据客户端的请求将当前时段的文件片段直接发送至客户端进行播放，例如，在静音非静屏的正常模式时，若客户端发送的访问请求携带的时间戳为第8S，则服务端根据该时间戳，将对应的文件片段发送至客户端进行加载，此示例中，服务端会将8～10S的文件片段发送至客户端。在客户端播放完该片段后，会在第10S继续发送请求指令，服务端继续将10～12S的文件片段发送至客户端，以此类推。

第二种，将与时间戳对应的下一时段的文件片段发送至客户端。

即在本实现方式中，采用预加载方式，服务端接收到请求指令后，并不会将当前时段的文件片段发送至客户端，而是将下一时段的文件片段发送至客户端。例如，若客户端发送的访问请求携带的时间戳为第8S，则该事件戳对应的当前文件片段为8～10S的文件片段，而此时服务端会将10～12S的文件片段发送至客户端，而8～10S的文件片段已经在上一时段发送至客户端。通过该实现方式，可以实现提前将文件片段发送至客户端，进而使客户端在播放视频和/或音频时，不会出线卡顿的情况。需要说明的是，在本实现方式中，当在第一个时段时，服务端会将第一个时段对应的文件片段与下一时段的文件片段发送至客户端，例如，但用户从头开始看视频时，服务端会将0～2S与2～4S文件片段均发送至客户端。

第三种，将与时间戳对应的当前时段的文件片段和下一时段的文件片段发送至客户端。

即在本实现方式中，也采用预加载方式，在具体发送文件片段时，将当前时段的文件片段和下一时段的文件片段发送至客户端，以实现预加载。这例如可以在用户开始观看视频时实现，例如当用户点击进入视频时。

因此，若需要进行预加载，则服务端将与时间戳对应时段的文件片段发送至客户端后，会在当前时段结束之前，将下一时段的文件片段发送至客户端，以保证视频与音频播放的流畅性。

例如，当用户点击进入视频后，由于记忆功能直接将时间戳定位至6.2S，则将6～8S的文件片段发送至客户端后，如前述第三种方式所述地，服务端还会同步将8～10S的文件片段发送至客户端，以使客户端在播放6～8S的文件片段后，能够继续流畅的播放8～10S的文件片段。并且，在播放8～10S的文件片段时，如前述第二种方式所述地，服务端会继续向客户端发送10～12S的文件片段。

作为一种可选的实现方式，在具体实现过程中，若用户未跳跃播放，且服务端接收到客户端发送的访问请求，则将下一文件片段发送至客户端。例如，当客户端端播放6～8S的文件片段时，服务端已经将8～10S的文件片段发送至客户端，当在第8S结束时，此时客户端会向服务端发送访问请求，访问请求中包括位于8～10S之间的时间戳，此时由于8～10S的文件片段已经发送至客户端，则服务端会再将10～12S的文件片段发送至客户端。

而当服务端接收到跳播指令时，则会确定时间戳对应的当前时段，并将与时间戳对应的当前时段的文件片段发送至客户端。例如，当服务端接收到跳播指令与访问请求，且访问请求携带的时间戳为7S，则服务端会将6～8S的文件片段发送至客户端。并且，此时服务端并不会将8～10S的文件片段发送至客户端，原因在于，用户此时可能只是在查找自己想看的片段，因此，可能出现用户再次快进的情况，此时若直接将8～10S的文件片段发送至客户端，则可能造成加载流量的浪费。因此，服务端此时只会将6～8S的文件片段发送至客户端，并且，若此时用户不在跳播，则当客户端播放至第8S时，会再次向服务端发送访问请求，服务端再将8～10S的文件片段发送至客户端。此时，可以判定服务端已经未接收到跳播指令，可以按照上述未接收跳播指令的执行步骤进行处理，例如，为了实现预加载，此时服务端也可同时将10～12S的文件片段发送至客户端。在本发明实施例中，所述切片并不等同于网络传输的数据包，而是在视频轨道/音频轨道层面基于预定时长对相应的视频文件/音频文件进行切分。

通过接收到跳播指令与未接收到跳播指令的区别化处理方式，可以避免用户因多次快进造成的流量浪费。

此外，在一种实现方式中，请参阅图6，S110包括：

S1106，将第一分辨率的当前时段的文件片段发送至客户端。

S1107，将第二分辨率的下一时段的文件片段发送至客户端；其中，第二分辨率高于第一分辨率。

即在上述实现方式的基础上，当接收到跳播指令时，服务端会向客户端发送对应时间信息的文件片段发送至客户端，且此时发送的为低分辨率文件片段。若用户此时不再进行快进，则服务端在将下一时段的文件片段发送至客户端时，发送高分辨率的文件片段。

例如，用户快进至第7S，此时服务端匹配到6～8S的文件片段，并将低分辨率的6～8S的文件片段发送至客户端，当客户端播放至第8S时，向服务端再次发送访问请求，此时服务端会将高分辨率8～10S的文件片段发送至客户端。在此之后，若用户继续未快进进行观看，则服务端在接收到下一次访问请求时，则继续将高分辨率10～12S的文件片段发送至客户端，以此类推。

通过设置快进时发送低分辨率的文件片段至客户端，可以避免用户在多次快进时造成的流量浪费。例如，当用户想要在某视频中查找自己想要观看的片段时，可能会多次跳跃播放、如拖动进度条或快进，例如，拖动进度条或快进至第10S，当第10S仍然不是自己想要观看的片段时，用户会继续快进，例如拖动进度条或快进至20S，直至找到自己想要观看的片段。在该过程中，由于服务端仅向客户端发送低分辨率的文件片段，且一次或多次拖动进度条或快进后所获得的文件片段实际为用户可能并不想要观看的片段，因此避免了利用高分辨率的方式加载该部分片段，实现了节省加载流量的目的。

同时，由于每个文件片段的时段实际相对较长，例如每个文件片段的时间时段为2S，当用户拖动进度条或快进时，也可能会加载到无用的文件片段。例如，当用户快进至第7S时，服务端会将6～8S的文件片段发送至客户端，然后，客户端在播放时，实际仅会播放用户快进的时间点之后的文件片段，即此示例中，虽然服务端向客户端发送了6～8S的文件片段，但客户端在播放时，仅会播放7～8S的文件片段，因此，6～7S的文件片段实质并没有被客户端播放，造成了流量的浪费。

有鉴于此，为了避免在跳跃播放如拖动进度条或快进过后中造成流量的浪费，请参阅图7，S110可包括：

S1108，当接收到跳播指令时，确定时间戳对应的当前时段。

S1109，基于时间戳对当前时段的文件片段进行切分，以获取至少两个文件子片段，其中，每个文件子片段包括时间信息。

S1110，依据每个文件子片段的时间信息，将位于时间戳之后的文件子片段发送至客户端。

即在用户拖动进度条或快进后，服务端并不会马上将对应的文件片段发送至客户端，而是将对应文件片段先进行切分，再将切分后的子片段发送中客户端。

例如，请参阅图8，当接收到时间戳为第7S时，服务端确定目标文件片段为6～8S的片段，此时，服务端对6～8S的文件片段进行切分，本申请中，采用1S为时段进行切分，则6～8S的文件片段会切分成6～7S与7～8S两个文件子片段，然后服务端将7～8S的文件子片段发送至服务端，同时，当需要进行预加载时，可以将8～10S的文件片段也发送至客户端。

可以理解地，通过该实现方式，避免了客户端接收6～7S的文件子片段，降低了加载所需要耗费的流量。

需要说明的是，在对文件片段进行切分时，也可以按照其它时段进行切分，例如，以0.5S为时段对文件片段进行切分，使得服务端发送至客户端的文件子片段更加精确，在此不做限定。

还需要说明的是，图8中虽然示出了同时加载音频文件与视频文件，但可以理解地，当用户选择静音模式或者静屏模式时，服务端也可仅将音频文件或视频文件中的某个片段拆分文件子片段。

此外，为了避免服务端进行数据处理时过于复杂化，当接收到跳播指令时，服务端仅会对时间戳对应的文件片段进行切分，而对时间戳之后的文件片段不做处理。

在此基础上，在S1110之后，该方法还包括：

S1111，当当前时间为文件子片段的结束时间时，将下一时段的文件片段发送至客户端。

其中，当前时间指客户端当前正在播放视频流时对应的时间。例如，当客户端播放7～8S的文件片段时，若当前时间为第8S，在服务端会将8～10S的文件片段发送至客户端，且服务端不会对后续的文件片段进行切分。

通过本申请提供的视频流加载方法，使得可以在不同的应用场景下尽可能减少加载流量的浪费，节省了用户观看视频时耗费的流量。

当然地，在对文件片段进行切分的基础上，也可结合分辨率降低视频加载所需的流量消耗。

可选地，S1110还包括：

将第二分辨率的下一时段的文件片段发送至客户端，其中，发送至客户端的文件子片段具有第一分辨率，且第二分辨率高于第一分辨率。

例如，当客户端播放7～8S的文件片段，服务端发送的7～8S的文件片段为低分辨率的文件片段，而当服务端像客户端发送8～10S的文件片段时，则发送高分辨率的文件片段。

在如图9所示的示例性实施例中，本申请还提供了一种视频流加载装置900。该视频流加载装置可包括：

数据获取单元910，用于获取原始视频流。

可以理解地，通过数据获取单元910可执行S102。

数据提取单元920，用于提取原始视频流的音频文件与视频文件。

可以理解地，通过数据提取单元920可执行S104。

数据切分单元930，用于对视频文件与音频文件按预设的时段进行切分，以生成多个文件片段，其中，每个文件片段均包括时间信息。

可以理解地，通过数据切分单元930可执行S106。

信号接收单元940，用于接收客户端发送的基于原始视频流的访问请求，其中，访问请求携带有播放模式与时间戳。

可以理解地，通过信号接收单元940可执行S108。

信号发送单元950，用于依据播放模式与时间戳将音频文件和/或视频文件对应的文件片段发送至客户端。

可以理解地，通过信号发送单元950可执行S110。

可以理解地，上述实施中每一个步骤均对应一个虚拟装置，在此不再进行赘述。

基于上述实现方式，请参阅图10，本申请还提供了另一种视频流加载方法，应用于通信***的客户端，通信***还包括服务端，服务端与客户端通信连接；方法包括：

S202，响应用户操作，生成携带有播放模式与时间戳的访问请求。

S204，依据访问请求从服务端中确定原始视频流，并依据播放模式与时间戳拉取原始视频流中音频文件和/或视频文件对应的文件片段；其中，文件片段为服务端对音频文件与视频文件按预设的时段进行切分生成。

S206，当同时拉取音频文件和视频文件时，将音频文件和视频文件进行合成。

其中，操作请求指用户在操作客户端，例如，用户可以通过触屏方式或者鼠标等方式操控客户端，如点击某个视频、或者对当前观看的视频进行拖动进度条、快进、快退等操作。

客户端在接收相应的指令后，会从服务端拉取对应的文件片段并进行播放，当用户在进行模式选择时，当播放模式为非静音非静屏的正常模式时，则客户端拉取音频文件和视频文件对应的文件片段，以及合成音频文件和视频文件的文件片段；当播放模式为静音模式时，则客户端拉取视频文件对应的文件片段；当播放模式为静屏模式时，则客户端拉取音频文件对应的文件片段。

其中，S204包括：

S2041，拉取与时间戳对应的当前时段的文件片段及下一时段的文件片段。

即客户端在拉取数据时，会进行文件片段的预加载，以保证视频播放的流畅性。

可选地，当响应用户的跳播操作时，客户端会确定跳跃播放如拖动进度条或快进操作对应的目标时间戳，并依据时间戳拉取对应的文件片段。

由于上述实现方式已经对视频流加载方法进行详细阐述，因此本申请不再进行赘述。

在上述实现方式的基础上，请参阅图11，本申请还提供了一种视频流加载方法，应用于通信***，该方法包括：

S302，服务端获取原始视频流。

S304，服务端提取原始视频流的音频文件与视频文件。

S306，服务端对视频文件与音频文件按预设的时段进行切分，以生成多个文件片段，其中，每个文件片段均包括时间信息。

S308，客户端响应用户操作，并生成携带有播放模式与时间戳的访问请求。

S310，当播放模式为正常模式时，客户端拉取音频文件和视频文件对应的文件片段，并合成音频文件和视频文件的文件片段。

S312，当播放模式为静音模式时，客户端拉取视频文件对应的文件片段。

S314，当播放模式为静屏模式时，客户端拉取音频文件对应的文件片段。

S316，客户端判断是否接受到跳播指令，如果是，则执行S318，如果否，则执行S320。

S318，客户端根据时间戳拉取对应的文件片段。

S320，客户端根据时间戳拉起的对应的文件片段和/或下一时段的文件片段发送至客户端。

由于上述实施例已经对视频流加载方法的具体实现方式进行详细说明，因此在此不再进行赘述。

在本发明的实施例中还提供了一种电子设备，其包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时实施任一根据本发明实施例的方法。另外，还可以提供实现根据本发明实施例的视频流加载装置。

在本发明的一个优选实施例中，所述电子设备可以为服务端设备或客户端设备。

在一个优选实施例中，客户端设备可以包括移动终端，优选可以为手机。仅作为示例性的实现方案，图12示出了可用作电子设备、如移动端设备，例如移动终端1200的一个具体实施例的硬件结构示意图；而图13和图14示出了电子设备、如移动终端的一个具体实施例的***结构示意图。

在所示出的实施例中，移动终端1200可以包括处理器1201、外部存储器接口1212、内部存储器1210、通用串行总线(USB)接口1213、充电管理模块1214、电源管理模块1215、电池1216、移动通信模块1240、无线通信模块1242、天线1239和1241、音频模块1234、扬声器1235、受话器1236、麦克风1237、耳机接口1238、按键1209、马达1208、指示器1207、用户标识模块(SIM)卡接口1211、显示屏1205、摄像装置1206，以及传感器模块1220等。

可以理解的是，本申请实施例示意的结构并不构成对移动终端1200的具体限定。在本申请另一些实施例中，移动终端1200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

在一些实施例中，处理器1201可以包括一个或一个以上处理单元。在一些实施例中，处理器1201可以包括以下之一或以下至少两种的组合：应用处理器(AP)、调制解调处理器、基带处理器、图形处理器(GPU)、图像信号处理器(ISP)、控制器、存储器、视频编解码器、数字信号处理器(DSP)、基带处理器、神经网络处理器(NPU)等。不同的处理单元可以是独立的器件，也可以集成在一个或一个以上处理器中。

控制器可以是移动终端1200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器中的存储器为高速缓冲存储器。该存储器可以保存处理器刚用过或循环使用的指令或数据。如果处理器需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器1201的等待时间，因而提高了***的效率。

NPU为神经网络(NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断地自学习。

GPU为图像处理的微处理器，连接显示屏和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

数字信号处理器(ISP)用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。

在一些实施例中，处理器1201可以包括一个或一个接口。接口可以包括集成电路(I2C)接口、集成电路内置音频(I2S)接口、脉冲编码调制(PCM)接口、通用异步收发传输器(UART)接口、移动产业处理器接口(MIPI)、通用输入输出(GPIO)接口、用户标识模块(SIM)接口、通用串行总线(USB)接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对移动终端的结构限定。在本申请另一些实施例中，移动终端也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

移动终端1200的无线通信功能可以通过天线1239和1241、移动通信模块1240、无线通信模块1242、调制解调处理器或基带处理器等实现。

视频编解码器用于对数字视频压缩或解压缩。

移动终端1200可以通过音频模块、扬声器、受话器、麦克风、耳机接口，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。

麦克风用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风发声，将声音信号输入到麦克风。

传感器模块1220可包括下述传感器中的一个或多个：

压力传感器1223配置为感受压力信号，将压力信号转换成电信号。

气压传感器1224用于测量气压。

磁传感器1225包括霍尔传感器。

陀螺仪传感器1227可以用于确定移动终端1200的运动姿态。

加速度传感器1228可检测移动终端1200在各个方向上加速度的大小。

距离传感器1229可配置为测量距离。

接近光传感器1221可以包括例如发光二极管(LED)和光检测器，例如光电二极管。

环境光传感器1222用于感知环境光亮度。

指纹传感器1231可配置为采集指纹。

触摸传感器1232可以设置于显示屏，由触摸传感器与显示屏组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型，例如单击、双击、长按、轻拍、定向滑动、聚拢等等。

骨传导传感器1233可以获取振动信号。

电子设备(计算机)、如移动终端的软件操作***可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构。

本文所示的实施例以分层架构的分别以iOS和安卓操作***平台为例，示例性说明移动终端的软件结构。但可以想到，本文的实施例可以在不同的软件操作***中实施。

在图13所示的实施例中，本发明实施例的方案可以采用iOS操作***。iOS操作***采用四层架构，由上到下依次为可触摸层(Cocoa Touch layer)1310、媒体层(Medialayer)1320、核心服务层(Core Services layer)1330以及核心操作***层(Core OSlayer)1340。触摸层1310为应用程序开发提供了各种常用的框架并且大部分框架与界面有关，其负责用户在iOS设备上的触摸交互操作。媒体层提供应用中视听方面的技术，如图形图像、声音技术、视频以及音视频传输相关的框架等。核心服务层提供给应用所需要的基础的***服务。核心操作***层包含大多数低级别接近硬件的功能。

在本发明实施例中，UIKit是可触摸层1310的用户界面框架，其可以以媒体层1320中的众多图像框架作为支撑，包括但不限于图13中所示的核心图库(Core Graphics)、核心动画(Core Animation)、开放式图库ES(OPEN GL ES)、核心图(Core Image)、图像IO(ImageIO)、图库包(GLKit)。

图14是安卓操作***结构示意图，本发明实施例的方案可以采用安卓操作***。分层架构将软件分成若干个层，层间通过软件接口通信。在一些实施例中，将安卓***分为四层，从上至下分别为应用程序层1410、应用程序框架层1420、安卓运行时(Runtime)和***库1430、以及内核层1440。

应用程序层1410可以包括一系列应用程序包。

应用程序框架层1420为应用程序层的应用程序提供应用编程接口(API)和编程框架。应用程序框架层包括一些预先定义的函数。

窗口管理器用于管理窗口程序。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供移动终端的通信功能。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。

安卓Runtime(运行时)包括核心库和虚拟机，安卓Runtime负责安卓***的调度和管理。核心库包含两部分：一部分是java语言要调用的功能函数，另一部分是安卓的核心库。应用程序层和框架层运行在虚拟机中。

***库可以包括多个功能模块。表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4、H.264、MP3、AAC、AMR、JPG、PNG等。

内核层1440是硬件和软件之间的层。内核层可包含显示驱动、摄像头驱动、音频接口、传感器驱动、电源管理和GPS接口。在本发明的一些实施例中，的显示可以调用显示驱动。

上述实施例阐明的***、装置、模块或单元，可以由电子设备(计算机)或其关联部件实现，优选由移动终端实现。移动终端例如可以为智能电话、膝上型计算机、车载人机交互设备、个人数字助理、媒体播放器、导航设备、游戏控制台、平板电脑、可穿戴设备或者其组合。

尽管未示出，在一些实施例中还提供一种存储介质，存储有计算机程序。计算机程序配置成被运行时执行任一本发明实施例的方法。

在本发明的实施例的存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本领域技术人员可想到，上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现，可以用软件、硬件和软/硬件结合的方式实现。

除非明确指出，根据本发明实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本文中，针对本发明的多个实施例进行了描述，但为简明起见，各实施例的描述并不是详尽的，各个实施例之间相同或相似的特征或部分可能会被省略。在本文中，“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”意指适用于根据本发明的至少一个实施例或示例中，而非所有实施例。上述术语并不必然意味着指代相同的实施例或示例。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

已参考上述实施例具体示出并描述了本发明的示例性***及方法，其仅为实施本***及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本***及/或方法时对这里描述的***及方法的实施例做各种改变而不脱离界定在所附权利要求中的本发明的精神及范围。

Claims

1.一种视频流加载方法，其特征在于，所述方法应用于通信***的服务端，所述通信***还包括客户端，所述服务端与所述客户端通信连接；所述方法包括：

获取原始视频流；

提取所述原始视频流的音频文件与视频文件；

2.如权利要求1所述的视频流加载方法，其特征在于，所述依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，包括：

3.如权利要求1或2所述的视频流加载方法，其特征在于，依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，包括：

4.如权利要求3所述的视频流加载方法，其特征在于，所述依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，包括：

当接收到跳播指令时，确定所述时间戳对应的当前时段；

将当前时段的文件片段发送至所述客户端。

5.如权利要求4所述的视频流加载方法，其特征在于，所述将当前时段的文件片段发送至所述客户端，包括：

将第一分辨率的当前时段的文件片段发送至所述客户端；

6.如权利要求3所述的视频流加载方法，其特征在于，所述依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，包括：

当接收到跳播指令时，确定所述时间戳对应的当前时段；

7.如权利要求6所述的视频流加载方法，其特征在于，所述依据所述播放模式与所述时间戳将所述音频文件和/或所述视频文件对应的文件片段发送至所述客户端，还包括：

8.一种视频流加载方法，其特征在于，所述方法应用于通信***的客户端，所述通信***还包括服务端，所述服务端与所述客户端通信连接；所述方法包括：

响应用户操作，生成携带有播放模式与时间戳的访问请求；

9.如权利要求8所述的视频流加载方法，其特征在于，所述依据所述访问请求从所述服务端中确定原始视频流，并依据所述播放模式与所述时间戳拉取所述原始视频流中音频文件和/或所述视频文件对应的文件片段，包括：

当所述播放模式为静屏模式时，拉取所述音频文件对应的文件片段。

10.如权利要求8所述的视频流加载方法，其特征在于，依据所述访问请求从所述服务端中确定原始视频流，并依据所述播放模式与所述时间戳拉取所述原始视频流中音频文件和/或所述视频文件对应的文件片段，包括：

11.如权利要求8所述的视频流加载方法，其特征在于，依据所述访问请求从所述服务端中确定原始视频流，并拉取所述原始视频流中音频文件和/或所述视频文件对应的文件片段，包括：

依据所述目标时间戳拉取对应的文件片段。

12.一种电子设备，其特征在于，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行权利要求1-11中任一项所述的方法。

13.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序配置成被运行时执行权利要求1-11中任一项所述的方法。