CN116319718B - 一种云数据存储处理方法、***、设备及介质 - Google Patents

Abstract

本发明提出了一种云数据存储处理方法、***、设备及介质，涉及数据处理领域。该方法包括：判断需要上传的数据是否联网，若否，则将其存储在本地，若是，则将数据进行联网处理；接着判断云端是否存在要存储的表格，若否则新建表格；判断是否超过对应表格的存储限量，若否，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；判断表格中是否存在要存储的字段，若否，则新建字段；基于联网处理的数据按照预置云端的API接口进行数据上传处理。该方法能够向云文档中自动上传数据，节省人力物力，并且对于需要上传大量数据的业务场景，可以极大的提高数据上传的效率和可靠性。

Description

一种云数据存储处理方法、***、设备及介质

技术领域

本发明涉及数据处理领域，具体而言，涉及一种云数据存储处理方法、***、设备及介质。

背景技术

在现有技术中，云文档技术可以大致分为两类：一类是将文档存储在云端，用户可以随时随地的通过网络访问和编辑；另一类是使用协同编辑技术，可以支持多个用户在同一时间编辑同一文档。这些云文档使得用怒可以随时随地访问和编辑文档，不需要担心版本管理问题，而且多个用户可以方便地进行协同编辑。

然而，在现有技术中只能通过人工手动添加并填写数据，无法做到自动化添加，在上传数据量较大的时候，将严重影响数据上传的效率和可靠性。

发明内容

本发明的目的在于提供一种云数据存储处理方法、***、设备及介质，其能够向云文档中自动上传数据，节省人力物力，并且对于需要上传大量数据的业务场景，可以极大的提高数据上传的效率和可靠性。

本发明是这样实现的：

第一方面，本申请实施例提供一种云数据存储处理方法，包括以下步骤：

步骤S101：基于获取的原始数据判断上传原始数据是否联网，若未联网，则将上传原始数据存储到预定的本地文档中；步骤S102：基于获取的原始数据进行联网处理，得到联网数据信息；步骤S103：基于联网数据信息判断预置云端是否存在要存储的表格，若不存在，则在预置云端新建对应的表格；步骤S104：基于联网数据信息判断是否超过对应表格的存储限量，若未超过，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；步骤S105：基于联网数据信息判断对应表格或续表中是否存在要存储的字段，若不存在，则新建对应字段；步骤S106：基于联网数据信息按照预置云端的API接口进行数据上传处理。

在本发明的一些实施例中，在上传基于联网数据信息判断是否超过对应表格的存储限量之后，该方法还包括：判断预定的本地文档储存空间中是否包括本地数据，若有，则跳转至步骤S101。

在本发明的一些实施例中，上述基于联网数据信息按照预置云端的API接口进行数据上传处理，包括：

将联网数据信息转换为对应的JSON格式的字符串，得到第一字符串；构造请求URL，并指定上传数据的目标位置及相应的上传属性参数；基于HTTP协议向构造的上传URL发送POST请求，同时将第一字符串作为请求体进行发送。

在本发明的一些实施例中，还包括：

对上传POST请求进行解析，并基于解析结果构建判断机制用于控制联网数据信息是否重新上传或结束上传。

在本发明的一些实施例中，在上传步骤S101之前，该方法还包括：

基于获取的原始数据新建对应的线程请求，并把数据请求存放在请求队列中；判断是否存在正在执行中的线程，若否，则新建线程，并将原始数据从数据请求队列中取出后进入下一步。

第二方面，本申请实施例提供一种云数据存储处理***，其包括：

联网判断模块，用于基于获取的原始数据判断上传原始数据是否联网，若未联网，则将上传原始数据存储到预定的本地文档中；数据联网模块，用于基于获取的原始数据进行联网处理，得到联网数据信息；表格判断模块，用于基于联网数据信息判断预置云端是否存在要存储的表格，若不存在，则在预置云端新建对应的表格；限量判断模块，用于基于联网数据信息判断是否超过对应表格的存储限量，若未超过，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；字段处理模块，用于基于联网数据信息判断对应表格或续表中是否存在要存储的字段，若不存在，则新建对应字段；数据上传模块，用于基于联网数据信息按照预置云端的API接口进行数据上传处理。

第三方面，本申请实施例提供一种电子设备，包括至少一个处理器、至少一个存储器和数据总线；其中：上述处理器与上述存储器通过上述数据总线完成相互间的通信；上述存储器存储有被上述处理器执行的程序指令，上述处理器调用上述程序指令以执行如上述第一方面中任一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项上述的方法。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

本发明的实施例提出了一种云数据存储处理方法，该方法包括：判断需要上传的数据是否联网，若否，则将其存储在本地，若是，则将数据进行联网处理；接着判断云端是否存在要存储的表格，若否则新建表格；判断是否超过对应表格的存储限量，若否，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；判断表格中是否存在要存储的字段，若否，则新建字段；基于联网处理的数据按照预置云端的API接口进行数据上传处理。该方法能够向云文档中自动上传数据，节省人力物力，并且对于需要上传大量数据的业务场景，可以极大的提高数据上传的效率和可靠性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明一种云数据存储处理方法一实施例的流程图；

图2为本发明一实施例中同步线程上传整体流程示意图；

图3为本发明又一实施例中同步线程上传整体流程示意图；

图4为本发明一实施例中字段检查流程图；

图5为本发明一实施例中基于联网数据信息按照预置云端的API接口进行数据上传处理步骤的具体流程图；

图6为本发明一实施例中异步线程上传数据的流程图；

图7为本发明一种云数据存储处理***一实施例的结构框图；

图8为本发明实施例提供的一种电子设备的结构框图。

图标：1、联网判断模块；2、数据联网模块；3、表格判断模块；4、限量判断模块；5、字段处理模块；6、数据上传模块；7、处理器；8、存储器；9、数据总线。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例1

本申请实施例提供了一种云数据存储处理方法，其能够向云文档中自动上传数据，节省人力物力，并且对于需要上传大量数据的业务场景，可以极大的提高数据上传的效率和可靠性。请参阅图1-2，该一种云数据存储处理方法包括以下步骤：

步骤S101：基于获取的原始数据判断上述原始数据是否联网，若未联网，则将上述原始数据存储到预定的本地文档中。

步骤S102：基于获取的原始数据进行联网处理，得到联网数据信息。

上述步骤中，在进行获取原始数据时，可以将对应的原始数据放置在目标位置，然后通过计算机程序进行自动获取即可。例如，程序调用的时候可以采用dataplat这个DLL，而dataplat则调用对应云端的API根据数据是字典格式还是对象格式按照格式不同进行相应数据的自动化上传，进一步的可以通过adddata()函数进行原始数据的获取，从而便于进行原始数据的同步线程上传，即将对应的数据传输到服务器上，等待服务器响应后再继续下一步操作。另外，考虑到想要将一份原始数据上传到云端进行存储，但是当前却未连接网络，将会上传失败。因此，在上述步骤中，针对获取的原始数据，先判断其是否联网，然后就可以将未联网的原始数据存储到预定的本地文档中，后续联网恢复的时候再做进一步处理。其中，对于部分在后续上传处理过程中可能会出现一些数据上传异常的情况，从而也可以将出现异常情况的数据写入进本地文档中，保证数据的完整性。

步骤S103：基于联网数据信息判断预置云端是否存在要存储的表格，若不存在，则在预置云端新建对应的表格。

在对原始数据进行联网操作，以得到联网数据信息后，即可开始进一步的对其进行处理。由于，预置云端可能不包括联网数据信息中要存储的表格，因此在此时将可以在预置云端新建对应的表格用以为后续的数据上传做好准备。其中，新建的表格可以是空白表格，也可以是根据联网数据信息中要存储的表格的名称生成相应的关键词，然后根据关键词不同而从多个原始模块中进行择优获取对应的模板表格。

步骤S104：基于联网数据信息判断是否超过对应表格的存储限量，若未超过，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中。

考虑到虽然预置云端已经存在要存储的表格，但是其存储上限可能超过联网数据信息包括的数据内存，或者虽然在预置云端不存在要存储的表格时已经新建了表格，但是新建的表格的存储限量依然可能不能完全满足联网数据信息的存入要求。因此，此时可以新建续表，并将对应的联网数据信息存入新建的续表中，从而满足其较大的数据存储需求。需要说明的是，此时将对应的联网数据信息存入新建的续表中可以是在一分部分数据存入原先的表格中后，再将剩下的数据存入新建的续表中，也可以直接将全部数据直接存入存储限量充足的续表中，具体实施时可以根据自身需要进行选择性适用。

请参阅图1和图3在本发明的一些实施例中，在上述基于联网数据信息判断是否超过对应表格的存储限量之后，该方法还包括：

判断预定的本地文档储存空间中是否包括本地数据，若有，则跳转至步骤S101。

上述步骤中，在对联网数据信息进行正式的自动上传处理之前，原先处于未联网的状况已经消除，因此可以将原先在未联网的时候暂时存储在本地文档中的原始数据在重新进行处理，可以保证数据上传的准确有效。

请继续参阅图1，步骤S105：基于联网数据信息判断对应表格或续表中是否存在要存储的字段，若不存在，则新建对应字段。

上述步骤中，通过在与预置云端进行正式数据上传之前增加字段检查处理，在无该字段的时候即新增字段，避免后续正式数据上传的时候出现字段错误的现象发生，防止上传的数据出现乱码。如图4所示，在进行字段检查处理时，可以在获取云端token后，进行获取云端存储的对应字段，得到对应的云平台数据，然后将其跟联网数据信息进行比较，然后即可根据比较结果进行相应的操作，例如可以进行覆盖字段或者新增字段处理。其中图4中的字段数组可以是写入本地文档进行暂存的字段数组。

步骤S106：基于联网数据信息按照预置云端的API接口进行数据上传处理。

在对原始数据进行一系列的判断之后，即可将进行联网处理得到的联网数据信息按照预置云端的API接口进行数据上传处理，实现云文档数据的自动上传处理。从而不用再通过人工手动添加并填写数据操作，可以节省人力物力。特别是在针对大量的原始数据的上传时，将可以极大的提高数据上传的效率和可靠性(利用人工进行大量的杂乱处理上传处理极其容易出错)。

具体地，请参阅图4和图5，在本发明的一些实施例中，上述基于联网数据信息按照预置云端的API接口进行数据上传处理，包括：

步骤S201：将联网数据信息转换为对应的JSON格式的字符串，得到第一字符串；

步骤S202：构造请求URL，并指定上传数据的目标位置及相应的上传属性参数；

步骤S203：基于HTTP协议向构造的上述URL发送POST请求，同时将第一字符串作为请求体进行发送。

上述步骤中，通过将联网数据信息转换为对应的JSON格式的字符串，然后进行调用对应云端的API进行上传处理，从而可以实现联网数据信息的云端上传并存储的功能，方便简洁。

在本发明的一些实施例中，还包括：对上述POST请求进行解析，并基于解析结果构建判断机制用于控制联网数据信息是否重新上传或结束上传。

上述步骤中，通过对POST请求进行解析，从而可以进行判断数据是否成功上传至对应云端文档中了，从而在出现上传错误的时候可以控制联网数据信息进行重新上传，在成功上传后才结束对应的上传处理，避免出现数据上传丢失的现象发生。

请参阅图6，在本发明的一些实施例中，在上述步骤S101之前，该方法还包括：

基于获取的原始数据新建对应的线程请求，并把数据请求存放在请求队列中；

判断是否存在正在执行中的线程，若否，则新建线程，并将原始数据从数据请求队列中取出后进入下一步。

在实际应用的时候，仅仅采用步骤S101-S106的同步线程上传的流程，进行将对应数据直接传输到服务器上，可能会出现当前线程阻塞的情况发生，尤其是在上传的原始数据量较大的时候更加容易出现。从而在上述步骤中，通过利用异步线程上传的思想，先将数据提交到任务队列中，让服务器后台处理，而不阻塞当前线程的执行，可以提高大量数据上传时的数据处理性能。需要说明的是，图6中给出的新建线程从请求队列取出数据并执行adddata()接口对应上述步骤中的：新建线程，并将原始数据从数据请求队列中取出后进入下一步。也就是说，其在可以进行异步线程上传时进行相应的处理，而在不适合的时候采用上述的同步线程上传即可(即进入步骤S101进行后续处理)，从而可以根据实际情况需要选择进行同步线程上传还是异步线程上传。

实施例2

请参阅图7，本申请实施例提供了一种云数据存储处理***，其包括：

联网判断模块1，用于基于获取的原始数据判断上述原始数据是否联网，若未联网，则将上述原始数据存储到预定的本地文档中；数据联网模块2，用于基于获取的原始数据进行联网处理，得到联网数据信息；表格判断模块3，用于基于联网数据信息判断预置云端是否存在要存储的表格，若不存在，则在预置云端新建对应的表格；限量判断模块4，用于基于联网数据信息判断是否超过对应表格的存储限量，若未超过，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；字段处理模块5，用于基于联网数据信息判断对应表格或续表中是否存在要存储的字段，若不存在，则新建对应字段；数据上传模块6，用于基于联网数据信息按照预置云端的API接口进行数据上传处理。

上述***具体实现过程请参照实施例1中提供的一种云数据存储处理方法，在此不再赘述。

实施例3

请参阅图8，本申请实施例提供了一种电子设备，该电子设备包括至少一个处理器7、至少一个存储器8和数据总线9；其中：处理器7与存储器8通过数据总线9完成相互间的通信；存储器8存储有可被处理器7执行的程序指令，处理器7调用程序指令以执行一种云数据存储处理方法。例如实现：

步骤S101：基于获取的原始数据判断上述原始数据是否联网，若未联网，则将上述原始数据存储到预定的本地文档中；步骤S102：基于获取的原始数据进行联网处理，得到联网数据信息；步骤S103：基于联网数据信息判断预置云端是否存在要存储的表格，若不存在，则在预置云端新建对应的表格；步骤S104：基于联网数据信息判断是否超过对应表格的存储限量，若未超过，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；步骤S105：基于联网数据信息判断对应表格或续表中是否存在要存储的字段，若不存在，则新建对应字段；步骤S106：基于联网数据信息按照预置云端的API接口进行数据上传处理。

其中，存储器8可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器7可以是一种集成电路芯片，具有信号处理能力。该处理器7可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图8所示的结构仅为示意，电子设备还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。图8中所示的各组件可以采用硬件、软件或其组合实现。

实施例4

本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器7执行时实现一种云数据存储处理方法。例如实现：

步骤S101：基于获取的原始数据判断上述原始数据是否联网，若未联网，则将上述原始数据存储到预定的本地文档中；步骤S102：基于获取的原始数据进行联网处理，得到联网数据信息；步骤S103：基于联网数据信息判断预置云端是否存在要存储的表格，若不存在，则在预置云端新建对应的表格；步骤S104：基于联网数据信息判断是否超过对应表格的存储限量，若未超过，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；步骤S105：基于联网数据信息判断对应表格或续表中是否存在要存储的字段，若不存在，则新建对应字段；步骤S106：基于联网数据信息按照预置云端的API接口进行数据上传处理。

上述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种云数据存储处理方法，其特征在于，包括以下步骤：

步骤S101：基于获取的原始数据判断所述原始数据是否联网，若未联网，则将所述原始数据存储到预定的本地文档中；

步骤S102：基于获取的原始数据进行联网处理，得到联网数据信息；

步骤S103：基于联网数据信息判断预置云端是否存在要存储的表格，若不存在，则在预置云端新建对应的表格；

步骤S104：基于联网数据信息判断是否超过对应表格的存储限量，若未超过，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；

步骤S105：基于联网数据信息判断对应表格或续表中是否存在要存储的字段，若不存在，则新建对应字段；

步骤S106：基于联网数据信息按照预置云端的API接口进行数据上传处理，包括：将联网数据信息转换为对应的JSON格式的字符串，得到第一字符串；构造请求URL，并指定上传数据的目标位置及相应的上传属性参数；基于HTTP协议向构造的所述URL发送POST请求，同时将第一字符串作为请求体进行发送。

2.如权利要求1所述的一种云数据存储处理方法，其特征在于，在所述基于联网数据信息判断是否超过对应表格的存储限量之后，该方法还包括：

判断预定的本地文档储存空间中是否包括本地数据，若有，则跳转至步骤S101。

3.如权利要求1所述的一种云数据存储处理方法，其特征在于，还包括：

对所述POST请求进行解析，并基于解析结果构建判断机制用于控制联网数据信息是否重新上传或结束上传。

4.如权利要求1所述的一种云数据存储处理方法，其特征在于，在所述步骤S101之前，该方法还包括：

基于获取的原始数据新建对应的线程请求，并把数据请求存放在请求队列中；

判断是否存在正在执行中的线程，若否，则新建线程，并将原始数据从数据请求队列中取出后进入下一步。

5.一种云数据存储处理***，其特征在于，包括：

联网判断模块，用于基于获取的原始数据判断所述原始数据是否联网，若未联网，则将所述原始数据存储到预定的本地文档中；

数据联网模块，用于基于获取的原始数据进行联网处理，得到联网数据信息；

表格判断模块，用于基于联网数据信息判断预置云端是否存在要存储的表格，若不存在，则在预置云端新建对应的表格；

限量判断模块，用于基于联网数据信息判断是否超过对应表格的存储限量，若未超过，则将联网数据信息存入对应的表格，否则，则新建续表，并将对应的联网数据信息存入新建的续表中；

字段处理模块，用于基于联网数据信息判断对应表格或续表中是否存在要存储的字段，若不存在，则新建对应字段；

数据上传模块，用于基于联网数据信息按照预置云端的API接口进行数据上传处理。

6.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器和数据总线；其中：所述处理器与所述存储器通过所述数据总线完成相互间的通信；所述存储器存储有被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1-4任一项所述的方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。