CN109617959A - 一种数据加载方法、装置、***以及存储介质 - Google Patents

Abstract

本申请公开了一种数据加载的方法，涉及通信技术领域。本申请若检测到视频应用开启指令，则建立与对等网络P2P节点的连接；以数据片的形式对待下载的数据进行下载；在下载每个数据片之前，判断是否有能够提供所述数据片的P2P节点；若是，则从所述P2P节点获取所述数据片，若否，则从服务器获取数据片。另外，本申请公开了一种数据加载的装置，用于实现在视频应用被打开时就建立与P2P的连接，使得数据通过P2P节点下载。因此本申请通过从P2P节点传输数据节省需要从CDN内容分发网络传输的部分数据的成本。此外，本申请还提供了一种具有上述技术优点的***、计算机可读存储介质。

Description

一种数据加载方法、装置、***以及存储介质

技术领域

本申请涉及通信领域，尤其涉及一种数据加载方法、装置、***以及存储介质。

背景技术

随着网络技术的发展，用户越来越依赖于从网络中获取所需的视频内容，在实际应用中，CDN(Content DeliveryNetwork，内容分发网络)为常见的视频网络。

伴随着短视频平台的兴起，用户对于短视频的观看体验越来越受到企业的重视，现有技术中对于短视频的处理方式主要从CDN与P2P(PeerTo Peer，对等网络)节点中拉取数据，现有技术中观看视频的前5s使用CDN的下载方式，并且在CDN下载完成之后才会从P2P节点上下载数据，但由于短视频的时长较短，数据量较小的特点，使得数据的主要下载方式是从CDN网络上下载。

P2P节点是点对点的工作方式，依赖的是网络参与者的计算能力而不是某几个固定的服务器，其利用的是处在互联网的各个终端之间的连接，而CDN 网络则需要建立相对应的服务器，维护服务器与相应网络的支出巨大，使得数据从CDN网络下载的成本远高于从P2P节点下载的成本，所以现有技术中企业的运营成本较高。

发明内容

本申请的目的是提供一种数据加载的方法、装置、***以及计算机可读存储介质以解决现有技术中主要通过CDN网络下载数据造成的成本较高的问题。

为解决上述技术问题，本申请提供一种数据加载的方法，所述方法包括：

若检测到视频应用开启指令，则建立与对等网络P2P节点的连接；

以数据片的形式对待下载的数据进行下载；

在下载每个数据片之前，判断是否有能够提供所述数据片的P2P节点；

若是，则从所述P2P节点获取所述数据片，若否，则从服务器获取数据片。

可选地，所述服务器为内容分发网络的边缘节点。

可选地，所述建立与对等网络节点的连接包括：

向调度服务器获取存储有待下载数据的对等网络节点列表；

与所述列表中的对等网络节点进行打洞连接。

可选地，从所述服务器获取的数据片的大小确定方法包括：

获取待加载数据的最大下载时间长度和网络的往返时延rtt；

根据所述最大下载时间长度和网络的rtt确定所述向服务器请求数据的次数；

根据待下载数据的大小和所述向服务器请求数据的次数确定向服务器获取的数据片的大小。

可选地，从所述P2P节点获取所述数据片包括:

所述P2P节点的数量可以为一个或多个，且可以同时从多个P2P节点下载获取所述数据片。

可选地，所述同时从多个P2P节点下载获取所述数据片包括：

向已连接的所述P2P节点分配预设额度的数据片；

若所述P2P节点中的第一P2P节点下载速度快于第二P2P节点，则第二次分配时增加分配给所述第一P2P节点的数据片额度。

为解决上述技术问题，本申请进一步提供一种数据加载的装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的数据加载程序，所述数据加载程序被所述处理器执行时实现如下方法：

若检测到视频应用开启指令，则建立与对等网络P2P节点的连接；

以数据片的形式对待下载的数据进行下载；

在下载每个数据片之前，判断是否有能够提供所述数据片的P2P节点；

若是，则从所述P2P节点获取所述数据片，若否，则从服务器获取数据片。

可选地，所述数据加载程序被所述处理器执行时以实现：

向调度服务器获取存储有待下载数据的对等网络节点列表；

与所述列表中的对等网络节点进行打洞连接。

可选地，所述数据加载程序被所述处理器执行时以实现：

获取待加载数据的最大下载时间长度和网络的rtt往返时延；

根据所述最大下载时间长度和网络的rtt往返时延确定所述向服务器请求数据的次数；

根据待下载数据的大小和所述向服务器请求数据的次数确定向服务器获取的数据片的大小。

可选地，所述数据加载程序还可被所述处理器执行以实现：

所述P2P节点的数量可以为一个或多个，且可以同时从多个P2P节点下载获取所述数据片。

可选地，所述数据加载程序还可被所述处理器执行以实现：

向已连接的所述P2P节点分配预设额度的数据片；

若所述P2P节点中的第一P2P节点下载速度快于第二P2P节点，则第二次分配时增加分配给所述第一P2P节点的数据片额度。

可选地，所述装置为组成CDN网络或者区块链网络的节点。

为解决上述技术问题，本申请进一步提供一种数据加载的***，所述***包括：

建立单元，用于若应用被打开，则建立与对等网络P2P节点的连接；

分配单元，用于分配第一数据的额度至所述P2P节点；

下载单元，用于从所述P2P节点下载所述第一数据。

为解决上述技术问题，本申请进一步提供一种计算机可读存储介质，其上存储有数据加载程序，所述数据加载程序可被一个或者多个处理器执行，以实现上述任一种所述的数据加载方法。

本申请若感知到视频应用打开指令，则建立与对等网络P2P节点的连接，分配第一数据的额度至所述P2P节点，从所述P2P节点下载所述第一数据。因此本申请通过从P2P节点传输数据节省需要从CDN内容分发网络传输的部分数据的成本。

附图说明

图1为本申请实施例中一种数据加载的方法实施例的一个示意图；

图2为本申请实施例中数据加载的架构示意图；

图3为本申请实施例中一种数据加载的方法实施例的另一示意图；

图4为本申请实施例中一种数据加载的方法实施例的另一示意图；

图5为本申请实施例中一种数据加载的方法实施例的另一示意图；

图6为本申请实施例中一种数据加载的***实施例的一个示意图；

图7为本申请实施例中一种数据加载的装置的一个示意图。

具体实施方式

本申请实施例提供了一种数据加载方法、装置、***以及存储介质，用于通过从P2P节点传输数据节省需要从CDN内容分发网络传输的部分数据的成本。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

为了便于理解，下面对本申请实施例中的具体流程进行描述，请参阅图1，本申请实施例中一种数据加载的方法的一种实施例包括：

101、若检测视频应用开启指令，则建立与对等网络P2P节点的连接；

本实施例中，当终端内的视频应用开启，则建立终端与P2P节点的连接。

具体地，建立与P2P节点的连接可以为与一个P2P节点建立连接，也可以为与多个P2P节点建立连接。

102、以数据片的形式对待下载的数据进行下载，在下载每个数据片之前，判断是否有能够提供所述数据片的P2P节点；

本实施例中，当存在数据下载或传输的请求时，则以数据片的形式对待下载的数据进行下载，在下载每个数据片之前，判断是否有能够在保证传输速度的基础上提供所述数据片的P2P节点。

具体地，例如当终端内某短视频应用开启，并且需要观看任一未下载的短视频时，则会下载该短视频的数据，但由于用户播放的特性，示例性地，如果当前短视频只播放了1秒就被切换至其它视频，或者在播放第1S时被切换到第15S的视频内容，为防止加载不必要的数据，会通过数据片的模式下载数据。从所述P2P节点下载所述数据片的速度可以由网络带宽，P2P节点的能力等因素共同决定，由于需要保证在视频播放的流畅性，所以会判断是否有能够提供所述数据片的P2P节点。

103、若是，则从所述P2P节点获取所述数据片，若否，则从服务器获取数据片。

本实施例中，若存在可以保证传输速度的基础上提供所述数据片的P2P 节点，则从所述P2P节点下载所述数据片，若不存在，则从服务器获取数据片，由于从服务器获取数据片的可以在保证下载速度的基础上下载数据片，所以会在不存在足够传输数据片的P2P节点时，选择从服务器获取数据片。

具体地，应当理解为由于在视频播放时需要保证视频播放的流畅性与及时性，在已连接的P2P节点的数据传输完成的较慢，或者当前可连接的P2P 节点不可以完成需要传输的数据量时，则会通过CDN网络下载数据，应当理解为播放视频时，若通过P2P节点和CDN网络都可以在秒级别完成视频的加载，则优先选择P2P节点下载数据，若P2P节点不足以满足秒级别完成视频的加载的要求时，则两种方式同时进行，并且不对两种方式连接的先后顺序进行限定，可以为先连接P2P节点再连接CDN网络或者两种方式同时建立连接。

本实施例中，若检测到视频应用开启指令，则建立与对等网络P2P节点的连接；以数据片的形式对待下载的数据进行下载；在下载每个数据片之前，判断是否有能够提供所述数据片的P2P节点；若是，则从所述P2P节点获取所述数据片，若否，则从服务器获取数据片。因此本申请通过优先从P2P节点传输数据，提升了节省需要从CDN内容分发网络传输的部分数据的成本。

本申请实施例中，基于图1所述实施例，提出一种数据加载的架构，具体请参阅图2，本实施例中，一种数据加载实施例的架构示意图包括：

20、用户端与三个P2P节点的连接；

图2为图1的流程图在架构上的体现，有益效果此处不做赘述，需要指出的是，虽然图中画出三个P2P节点，但在实际应用中P2P节点的个数是不做限定的，应当理解为，可以同时从一个或多个P2P节点下载数据片。

本申请实施例中，基于图1所述实施例，从P2P节点获取所述数据片包括获取P2P节点的列表与建立连接，具体请参阅图3，本实施例中，一种数据加载方法实施例的另一示意图包括：

301、向调度服务器获取存储有待下载数据的对等网络节点列表；

具体地，由于P2P节点同时存在的数量可以是很多的，但并不是所有的 P2P节点都存储有待下载数据，所以需要获取存储有待下载数据的P2P节点列表，从而所述对等网络节点列表中的P2P节点下载数据。

302、与所述列表中的对等网络节点进行打洞连接。

具体地，获取存储有待下载数据的对等网络节点列表之后，会与对等网络节点列表内含有待下载数据的P2P节点建立连接以用于下载数据，这个过程被称之为打洞过程。

本申请实施例中，基于图1，从服务器下载所述数据片时，每次下载的数据片的大小确定方法请参阅图4，一种数据加载的方法的另一个实施例包括：

40、获取待加载数据的最大下载时间长度和网络的往返时延rtt；根据所述最大下载时间长度和网络的rtt确定所述向服务器请求数据的次数；根据待下载数据的大小和所述向服务器请求数据的次数确定向服务器获取的数据片的大小。

示例性地，要完成一个3MB文件下载，用户端和服务器的往返时延平均按照100ms来估算，若需要1秒完成下载的话，至少需要1000/100＝10次请求，从而可以得出每次请求数据的大小就是300KB。

基于图4，提出了一种优化的向P2P节点分配数据片的大小的逻辑，具体请参阅图5，一种数据加载的方法的另一个实施例包括：

501、向已连接的所述P2P节点分配预设额度的数据片；

具体地，在向所述P2P节点分配预设额度的数据片时

502、若所述P2P节点中的第一P2P节点下载速度快于第二P2P节点，则第二次分配时增加分配给所述第一P2P节点的数据片额度。

具体地，当向不同的P2P节点分配相同的额度但存在第一P2P节点的速度更快的情况时，则第二次分配时增加分配给所述第一P2P节点的数据额度。示例性地，若AP2P节点的下载速度快于BP2P节点，则相对于B而言，第二次分配时就会增加分配给AP2P节点的数据额度，同理，若第一次分配数据时， BP2P节点的下载速度快于CP2P节点，则第二次分配时就会增加分配给Bp2p 节点的数据额度，此处的第一次第二次可以理解为前一次与后一次，即比较存在于整个视频下载的过程之中。

本实施例中，第二次分配时增加分配给所述第一P2P节点的数据额度可以理解为，当所述第一P2P节点在传输完分配给所述第一P2P的数据额度时，第二次分配给所述第一P2P节点的数据额度多于第一次分配给所述第一P2P 的数据额度。例如在一次数据加载的过程中，若同时向第一P2P与第二P2P 分配了8KB的额度，但下载第一P2P的8KB数据速度更快时，那么在第二次向第一P2P分配时，则可以分配16KB，若在同等情况下第一P2P节点的下载速度依然较快时，则可分配32KB，以此类推。但需要指出的是，为保证足够的及时性，一般单次分配给某一P2P节点的数据额度由实时的下载速度决定，不作具体限定。

本实施例中，优化了分配数据额度的逻辑，增加了方案的可行性并且通过将更多数据分配给在数据传输过程中表现更好的P2P节点加快了数据的下载速度。

本实施例中，在保证数据正常传输的情况下，提出了比较下载速度并将下一次需要加载的数据优选分配给下载较快的方式，保证了数据下载的及时性，以及视频播放的流畅性。为了保证数据下载的及时性也是为了节省成本，表示如果P2P节点在可以满足视频播放的流畅性或者数据下载的及时性的前提下，优先选择从P2P节点下载数据。

上面对本申请实施例中的方法部分进行了介绍，下面从虚拟装置的角度对本申请实施例进行说明。

请参阅图6，本申请实施例中一种数据加载的***的一个实施例包括：

建立单元601，用于若感知到视频应用开启指令，则建立与对等网络P2P 节点的连接；

分配单元602，分配第一数据的额度至所述P2P节点；

下载单元603，从所述P2P节点下载所述第一数据。

本申请实施例中，若感知到视频应用打开指令，则建立与对等网络P2P 节点的连接，分配第一数据的额度至所述P2P节点，从所述P2P节点下载所述第一数据。因此本申请通过从P2P节点传输数据节省需要从CDN内容分发网络传输的部分数据的成本。

下面从实体装置的角度对本申请实施例中的计算机装置进行描述，请参阅图7。

在本实施例中，数据加载装置70可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备。

该数据加载装置70可以包括存储器701、处理器702和总线703。

其中，存储器701至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器701在一些实施例中可以是数据加载装置70的内部存储单元，例如该数据加载装置70的硬盘。存储器701在另一些实施例中也可以是数据加载装置70的外部存储设备，例如数据加载装置70 上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器701还可以既包括数据加载装置70的内部存储单元也包括外部存储设备。存储器701不仅可以用于存储安装于数据加载装置70的应用软件及各类数据，例如数据加载程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器702在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据加载芯片，用于运行存储器701中存储的程序代码或处理数据，例如执行数据加载程序01等。

该总线703可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，数据加载装置还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该装置1与其他电子设备之间建立通信连接。

可选地，该装置1还可以包括用户接口，用户接口可以包括显示器 (Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED 显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在数据加载装置70中处理的信息以及用于显示可视化的用户界面。

图7仅示出了具有组件11-14以及数据加载程序01的数据加载装置70，本领域技术人员可以理解的是，图7示出的结构并不构成对数据加载装置70 的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质， (例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据加载方法，应用于分布式网络，其特征在于，

若检测到视频应用开启指令，则建立与对等网络P2P节点的连接；

以数据片的形式对待下载的数据进行下载，在下载每个数据片之前，判断是否有能够提供所述数据片的P2P节点；

若是，则从所述P2P节点获取所述数据片，若否，则从服务器获取数据片。

2.如权利要求1所述的数据加载方法，其特征在于，所述服务器为内容分发网络的边缘节点。

3.如权利要求1所述的数据加载方法，其特征在于，所述建立与对等网络节点的连接包括：

向调度服务器获取存储有待下载数据的对等网络节点列表；

与所述列表中的对等网络节点进行打洞连接。

4.如权利要求1所述的数据加载方法，其特征在于，从所述服务器获取的数据片的大小确定方法包括：

获取待加载数据的最大下载时间长度和网络的往返时延rtt；

根据所述最大下载时间长度和网络的rtt确定所述向服务器请求数据的次数；

根据待下载数据的大小和所述向服务器请求数据的次数确定向服务器获取的数据片的大小。

5.如权利要求1所述的数据加载方法，其特征在于，从所述P2P节点获取所述数据片包括:

所述P2P节点的数量可以为一个或多个，且可以同时从多个P2P节点下载获取所述数据片。

6.根据权利要求5所述的方法，其特征在于，同时从多个P2P节点下载获取所述数据片包括：

向已连接的所述P2P节点分配预设额度的数据片；

若所述P2P节点中的第一P2P节点下载速度快于第二P2P节点，则第二次分配时增加分配给所述第一P2P节点的数据片额度。

7.一种数据加载的装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的数据加载的程序，所述数据加载的程序被所述处理器执行时实现如权利要求1-6任一项所述的方法。

8.根据权利要求7所述的装置，其特征在于，所述装置为组成CDN网络或者区块链网络的节点。

9.一种数据加载的***，其特征在于，所述***包括：

建立单元，用于若检测到视频应用开启指令，则建立与对等网络P2P节点的连接；

下载单元，用于以数据片的形式对待下载的数据进行下载；

判断单元，用于在下载每个数据片之前，判断是否有能够提供所述数据片的P2P节点；

获取单元，用于若所述判断单元判断为是，则所述P2P节点获取所述数据片，若所述判断单元判断为否，则从服务器获取数据片。

10.一种计算机可读存储介质，其上存储有数据加载程序，其特征在于：所述数据加载程序被处理器执行时实现如权利要求1至4中任意一项所述方法的步骤。