CN111294287B - 一种数据上传方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种数据上传方法、装置、设备和存储介质，其中，该方法包括：获取网络恢复信息时，检测本地存储打点数据的数据量；确定所述数据量超过限流阈值时，根据所述数据量控制所述打点数据上传至服务器。本发明实施例的技术方案，通过数据量控制打点数据上传到服务器，降低服务器的瞬时压力，在保证打点数据完整的前提下，增强了服务器的稳定性。

Description

一种数据上传方法、装置、设备和存储介质

技术领域

本发明实施例涉及计算机应用领域，尤其涉及一种数据上传方法、装置、设备和存储介质。

背景技术

随着移动互联网的发展，手机等移动终端变得愈发普及，服务提供商为提供更好的服务，需要采集客户端中的打点数据，然而由于用户移动终端网络信号弱或者服务器宕机的问题，大量统计打点数据上传服务器失败存储于客户端，当网络或者服务器恢复时，大量统计打点数据集中上报导致服务器的瞬时压力增大，对客户端和服务器的性能产生影响，降低了服务的稳定性。

由于统计打点数据的重要性，很多数据指标都是通过打点数据去做分析，针对上述问题，业界现有技术中要么选择将打点数据采取集中上报，要么选择将打点数据整体丢弃，造成重要数据丢失，对服务器性能产生影响。

发明内容

本发明提供一种数据上传方法、装置、设备和存储介质，以实现打点数据的稳定上传，减小服务器的瞬时压力，提高业务的稳定性。

第一方面，本发明实施例提供了一种数据上传方法，该方法包括：

获取传输通道恢复信息时，检测本地存储打点数据的数据量；确定所述数据量超过限流阈值时，根据所述数据量控制所述打点数据上传至服务器。

第二方面，本发明实施例提供了一种数据上传装置，该装置包括：

数据量模块，用于获取传输通道恢复信息时，检测本地存储打点数据的数据量；数据上传模块，用于确定所述数据量超过限流阈值时，根据所述数据量控制所述打点数据上传至服务器。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据上传方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据上传方法。

本发明实施例的技术方案，通过在获取到网络恢复信息时，对本地存储打点数据的数据量进行检测，确定数据量超过限流阈值时，根据所述数据量控制所述打点数据上传到服务器，本发明实施例的技术方案，通过数据量对打点数据的上传进行控制，防止打点数据丢失的同时降低服务器接收打点数据的瞬时压力，可增强服务器的性能。

附图说明

图1是本发明实施例提供的一种服务器压力的时间变化图；

图2是本发明实施例一提供的一种数据上传方法的流程图；

图3是本发明实施例二提供的一种数据上传方法的流程图；

图4是本发明实施例二提供的一种数据上传方法的示例图；

图5是本发明实施例三提供的一种数据上传装置的结构示意图；

图6是本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

由于打点数据是服务提供商提供准确业务的基础，业务指标可以由打点数据确定，现有技术中，面对大量打点数据上传失败的情况，要么选择直接将本地缓存的打点数据丢弃，要么将本地缓存的打点数据直接发送到服务器，参见图1，不对限制打点数据的发送，如图1中曲线a所示，服务器压力很快达到峰值，对服务器的性能产生严重影响。本发明实施例的技术方案，在上传本地缓存的打点数据时，对打点数据的上传过程进行控制，通过对控制实现如图1中曲线b，服务器的压力被控制在合理程度内，服务器压力不会到达峰值，在保障数据完整性的情况下，减小服务器的瞬时压力。

实施例一

图2是本发明实施例一提供的一种数据上传方法的流程图，本实施例可适用于断网恢复后打点数据上传的情况，该方法可以由数据上传装置来执行，该装置可以采用硬件和/或软件的方式来实现，一般可以集成在智能终端中，参见图2，本发明实施例的技术方案具体包括如下步骤：

步骤101、获取网络恢复信息时，检测本地存储打点数据的数据量。

其中，网络恢复信息可以是与服务器通信恢复的信息，可以包括与服务器件通信网络的网络质量信息和服务器响应信息等。

在本发明实施例中，打点数据可以是智能终端中根据用户使用信息定时生成的信息，打点数据可以用于分析业务数据指标，打点数据具体可以包括用户位置、用户软件使用习惯和日志文件等信息。

具体的，可以对网络恢复信息进行检测，当获取到网络质量信息或者服务器响应信息时，可以确定与服务器恢复通信连接，可以对在本地存储的打点数据进行检测，确定打点数据的数据量。

步骤102、确定所述数据量超过限流阈值时，根据所述数据量控制所述打点数据上传至服务器。

其中，限流阈值可以是打点数据上传时引起服务器堵塞的最小数据量，打点数据的数据量大于限流阈值时，将打点数据上传可以引起服务器的瞬时压力上升，造成通信通道的拥堵。

具体的，可以将存储的打点数据的数据量与限流阈值进行对比，当本地存储的数据量大于限流阈值时，可以根据打点数据的数据量对数据上传进行控制，例如，当打点数据的数据量大于限流阈值，可以减少数据上传的速度，降低对服务器的瞬时压力。例如，在客户端启动后可以根据当前客户端的情况进行动态策略的计算，按照打点数据的数据量、客户端的网络情况以及服务器的响应速度等确定出适合当前客户端状态的发送策略，根据发送策略将打点数据发送完，避免了服务器在短时间内的接收过多打点数据造成的瞬时压力。

本发明实施例的技术方案，通过在获取到网络恢复信息时，检测本地存储的打点数据的数据量，确定该数据量超过限流阈值时，在打点数据上传的过程中根据数据量进行控制，本发明实施例的技术方案，根据数据量对打点数据上传过程进行控制，降低服务器的瞬时压力，增强服务器的稳定性。

实施例二

图3是本发明实施例二提供的一种数据上传方法的流程图，参见图3，本发明实施例对控制打点数据上传的策略进行了具体化，参见图3，本发明实施例的提供的数据上传方法包括：

步骤201、获取服务器下发的限流阈值，其中，所述限流阈值根据服务器的打点数据的数据接收量确定。

其中，数据接收量可以是当前服务器正在接受的打点数据的数据量。

在本发明实施例中，限流阈值可以由服务器确定，可以由服务器将确定的限流阈值下发到执行本发明实施例方法的智能终端中。服务器可以具体根据打点数据的数据接收量进行确定，当服务器当前接收到的数据量较多时，可以设置数值较小的限流阈值，当服务器当前接收到的数据量较低时，可以设置数值较大的限流阈值。

步骤202、获取网络恢复信息时，检测本地存储打点数据的数据量。

一种实施方式中，所述网络恢复信息至少包括：网络连通信息和服务器工作信息中至少一种。

其中，网络连通信息可以是与服务器建立连接的信息，可以包括与服务器建立通信成功信息和网络速度信息等，服务器工作状态可以包括当前服务器的工作状态信息可以包括响应速度等。

在本发明实施例中，可以对网络连通信息和服务器工作状态信息进行检测，当获取到服务器的网络连通信息或者服务器工作状态信息时，可以确定执行本发明实施例数据上传方法的智能终端与服务器建立通信连接，可以将本地存储的打点数据进行上传，此时可以对本地存储的打点数据的数据量进行检测。

步骤203、实时获取传输所述打点数据的通信网络对应的网络信息。

一种实施方式中，所述网络信息至少包括网络速度和服务器响应速度中一种。

其中，网络信息可以是执行本发明实施例方法的智能终端与服务器之间通信网络的信息，网络信息可以反应服务器接收打点数据的能力。网络信息可以包括网络速度信息和服务器响应速度信息等，网络速度信息可以反应服务器接收打点数据的速度，网络速度越高服务器接收打点数据的速度可以越快，服务器响应速度可以是反应服务器处理打点数据的速度，服务器响应速度越高服务器处理打点数据的速度可以越快。

在本发明实施例中，通信网络可以是连接服务器的网络，可以对通信网络的网络信息进行监测，实时获取网络速度和服务器反应速度作为网络信息，可以理解的是，在打点数据的上传过程中可以持续获取网络信息，以便根据获取到的网络信息随时调整打点数据上传的策略。

步骤204、根据所述网络信息和所述数据量在预设控制策略表中查找对应的数据发送频率和数据包规格，其中，所述预设控制策略表中关联存储有网络信息、数据发送频率和数据包规格。

具体的，预设控制策略表可以存储有控制策略的数据表，打点数据上传的控制策略可以由数据发送频率和数据包规格确定，其中，数据发送频率可以是打点数据上传到服务器的频率，数据包规格可以是上传打点数据时每个发送数据包的大小，可以通过控制打点数据发送的频率和数据包实现控制，可以理解的是，预设控制策略表中可以根据不同的网络信息和数据量进行分级，在不同分级下对应的数据发送频率和数据包规格可以不同，可以理解的是，当数据量超过限流阈值时，网络信息中网络速度越低，数据发送频率可以越低，数据包规格可以越小，例如，当网络信息中的网络速度较低且数据量较大时，可以确定服务器的拥堵程度较高，可以降低数据发送频率和数据包规格。

步骤205、按照所述数据发送频率和所述数据包规格在将所述打点数据上传到服务器。

在本发明实施例中，可以将打点数据按照数据包规格进行打包，例如，可以按照打点数据生成的时间顺序将打点数据进行划分为数据包，每个数据包的大小可以是数据包规格，可以按照数据发送频率将打点数据封装成的数据包发送到服务器，可以理解的是，可以先将存储时间长的打点数据封装的数据包进行发送。

步骤206、获取实时打点数据，并将所述实时打点数据发送到服务器。

其中，实时打点数据可以是在打点数据上传过程中根据用户的使用习惯新生成的打点数据。

具体的，由于打点数据的实时性对业务的影响程度较高，可以将获取到的实时打点数据发送到服务器，可以理解的是，为了保证最新的打点数据能正常上报，实时打点数据和打点数据传输通道可以不同，保证最新的打点上报不受影响。

本发明实施例的技术方案，通过获取服务器下发的限流阈值，在获取到网络恢复信息时，监测本地打点数据确定数据量，监测通信网络以实时获取网络信息，根据网络信息和数据量在预设控制策略表中查找对应的数据发送频率和数据包规格，按照数据发送频率和数据包规格将打点数据上传到服务器，获取实时打点数据，将实时打点数据发送到服务器，实现了打点数据的合理上传，降低服务器的瞬时压力，可提高服务器中运行业务的稳定性。

一种实施方式中，所述按照所述数据发送频率和所述数据包规格在将所述打点数据上传到服务器，包括：

与所述服务器创建新的用于数据通信的数据传输通道；按照所述数据包规格将所述打点数据封装为传输数据包；将所述传输数据包通过数据传输通道发送到所述服务器；确定所述打点数据传输全部发送完成后，关闭所述数据传输通道。

其中，数据传输通道可以是与服务器之间建立的通信信道，数据传输通道可以用于传输打点数据，新的数据传输通道与网络通信正常时的现有数据传输通道并不相同，可以该数据传输通道可以与已有的数据通道并存，数据量在超过限流阈值时，都是创建新的数据传输通道，与现有的数据传输通道独立，可以保证最新的打点数据上传而不受影响，可以在保证数据完整发送的情况下，不影响对原有数据传输通道中打点数据的统计。

在本发明实施例中，可以先创建与服务器进行打点数据上传的数据传送通道，可以依次提取打点数据中数据包规格大小的数据，可以将获取到的数据封装为传输数据包，其中，提取打点数据的顺序可以按照打点数据的时间顺序或者打点数据的类型等，可以先将存储时间较短的打点数据或者先将影响业务较大类型打点数据的传输数据包通过数据传输通道发送到服务器，可以在打点数据全部发送后关闭数据传输通道。可以理解的是，关闭的数据传输通道仅为新创建的数据传输通道，在数据量超过限流阈值前的现有数据传输通道并不关闭。

示例性的，图4是本发明实施例二提供的一种数据上传方法的示例图，参见图4，可以在执行本发明实施例数据上传方法的客户端启动时，根据存储的打点数据的数据量确定拥堵状态，当未发生拥堵时，可以正常向服务器发送数据，当发生拥堵时，可以开启新通道以发送数据。可以根据数据拥堵状态、网络和服务器响应速度等条件确定发送策略，并根据发送策略将打点数据发送，打点数据发送完成时可以关闭通道，完成打点数据的上传。

实施例三

图5是本发明实施例三提供的一种数据上传装置的结构示意图，可执行本发明任意实施例所提供的数据上传方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现，具体包括：数据量模块301和数据上传模块302。

其中，数据量模块301，用于获取传输通道恢复信息时，检测本地存储打点数据的数据量。

数据上传模块302，用于确定所述数据量超过限流阈值时，根据所述数据量控制所述打点数据上传至服务器。

本发明实施例的技术方案，通过数据量模块在获取到网络恢复信息时，确定存储在本地的打点数据的数据量，数据上传模块在数据量超过限流阈值时，根据数据量控制打点数据上传到服务器，通过数据量对打点数据的上传过程进行控制，在防止打点数据丢失的前提下降低服务器的瞬时压力，提高了服务器的稳定性。

一种实施方式中，数据上传模块302包括：

信息获取单元，用于实时获取传输所述打点数据的通信网络对应的网络信息。

策略确定单元，用于根据所述网络信息和所述数据量在预设控制策略表中查找对应的数据发送频率和数据包规格。

传输控制单元，用于按照所述数据发送频率和所述数据包规格在将所述打点数据上传到服务器。

一种实施方式中，传输控制单元，包括：

通道创建子单元，用于与所述服务器创建新的用于数据通信的数据传输通道。

封装子单元，用于按照所述数据包规格将所述打点数据封装为传输数据包。

传输子单元，用于将所述传输数据包通过数据传输通道发送到所述服务器。

通道关闭子单元，用于确定所述打点数据传输全部发送完成后，关闭所述数据传输通道。

一种实施方式中，信息获取单元中的述网络信息至少包括网络速度和服务器响应速度中一种。

一种实施方式中，所述数据上传装置还包括：

阈值获取模块，用于获取服务器下发的限流阈值，其中，所述限流阈值根据服务器的打点数据的数据接收量确定。

一种实施方式中，所述数据上传装置中的所述网络恢复信息至少包括：网络连通信息和服务器工作信息中至少一种。

一种实施方式中，所述数据上传装置包括：

实时处理模块，用于获取实时打点数据，并将所述实时打点数据发送到服务器。

实施例四

图6是本发明实施例四提供的一种设备的结构示意图，如图6所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图6中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据上传方法对应的程序模块(例如，数据上传装置中的数据量模块301和数据上传模块302)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据上传方法。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据上传方法，该方法包括：

获取网络恢复信息时，检测本地存储打点数据的数据量；

确定所述数据量超过限流阈值时，根据所述数据量控制所述打点数据上传至服务器。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据上传方法中的相关操作。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据上传方法，其特征在于，包括：

获取网络恢复信息时，检测本地存储打点数据的数据量；

确定所述数据量超过限流阈值时，根据所述数据量控制所述打点数据上传至服务器；

其中，所述方法还包括：获取实时打点数据，并利用与所述本地存储打点数据不同的传输通道，将所述实时打点数据发送到所述服务器；

其中，所述根据所述数据量控制所述打点数据上传至服务器，包括：

实时获取传输所述打点数据的通信网络对应的网络信息；

根据所述网络信息和所述数据量在预设控制策略表中查找对应的数据发送频率和数据包规格，其中，所述预设控制策略表中关联存储有网络信息、数据发送频率和数据包规格；

按照所述数据发送频率和所述数据包规格在将所述打点数据上传到服务器；

其中，所述按照所述数据发送频率和所述数据包规格在将所述打点数据上传到服务器，包括：

与所述服务器创建新的用于数据通信的数据传输通道；

按照所述数据发送频率和所述数据包规格，通过所述数据传输通道将所述打点数据上传到服务器。

2.根据权利要求1所述的方法，其特征在于，所述按照所述数据发送频率和所述数据包规格，通过所述数据传输通道将所述打点数据上传到服务器，包括：

按照所述数据包规格将所述打点数据封装为传输数据包；

将所述传输数据包通过数据传输通道发送到所述服务器；

确定所述打点数据传输全部发送完成后，关闭所述数据传输通道。

3.根据权利要求1所述的方法，其特征在于，所述网络信息至少包括网络速度和服务器响应速度中一种。

4.根据权利要求1所述的方法，其特征在于，在所述检测本地存储打点数据的数据量之前，还包括：

获取服务器下发的限流阈值，其中，所述限流阈值根据服务器的打点数据的数据接收量确定。

5.根据权利要求1所述的方法，其特征在于，所述网络恢复信息至少包括：网络连通信息和服务器工作信息中至少一种。

6.一种数据上传装置，其特征在于，包括：

数据量模块，用于获取传输通道恢复信息时，检测本地存储打点数据的数据量；

数据上传模块，用于确定所述数据量超过限流阈值时，根据所述数据量控制所述打点数据上传至服务器；

其中，所述数据上传装置还包括：

实时处理模块，用于获取实时打点数据，并利用与所述本地存储打点数据不同的传输通道，将所述实时打点数据发送到所述服务器；

其中，所述数据上传模块包括：

信息获取单元，用于实时获取传输所述打点数据的通信网络对应的网络信息；

策略确定单元，用于根据所述网络信息和所述数据量在预设控制策略表中查找对应的数据发送频率和数据包规格，其中，所述预设控制策略表中关联存储有网络信息、数据发送频率和数据包规格；

传输控制单元，用于按照所述数据发送频率和所述数据包规格在将所述打点数据上传到服务器；

其中，所述传输控制单元，具体用于与所述服务器创建新的用于数据通信的数据传输通道；按照所述数据发送频率和所述数据包规格，通过所述数据传输通道将所述打点数据上传到服务器。

7.一种数据上传设备，其特征在于，所述数据上传设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据上传方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的数据上传方法。