CN115250293A - 数据上传方法、装置及计算机可读存储介质 - Google Patents
数据上传方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115250293A CN115250293A CN202210764153.8A CN202210764153A CN115250293A CN 115250293 A CN115250293 A CN 115250293A CN 202210764153 A CN202210764153 A CN 202210764153A CN 115250293 A CN115250293 A CN 115250293A
- Authority
- CN
- China
- Prior art keywords
- data
- uploading
- slice
- cache
- uploaded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000009826 distribution Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种数据上传方法，应用于缓存装置，所述缓存装置一侧连接于各个计量设备，另一侧连接于云端服务器，所述方法包括：接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，其中，所述计量设备将所述待上传数据拆分为多个所述第一切片数据后，将各个第一切片数据依次发送至所述缓存装置；将所述待上传数据写入缓存区域，并检测所述缓存区域中的缓存数据的数据量；根据所述数据量将所述缓存数据拆分为多个第二切片数据；将所述第二切片数据依次发送至所述云端服务器。本发明还公开了一种数据上传装置及计算机可读存储介质，解决了多个计量设备同时上传数据容易造成数据拥堵，导致数据上传效率降低的问题。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及数据上传方法、装置及计算机可读存储介质。
背景技术
在工业生产中，需通过计量设备检测生产线上的计量数据，将计量数据上传至云端服务器，以供云端服务器根据计量数据实时监测生产线上的生产情况，因在工业生产中可能存在若干个计量设备，若各个计量设备在同一时间内同时上传计量数据至云端服务器，因数据量过大容易导致出现数据拥堵问题，从而导致数据上传效率降低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据上传方法、装置及计算机可读存储介质，旨在解决多个计量设备同时上传数据引发的数据拥堵的问题。
为实现上述目的，本发明提供一种数据上传方法，应用于缓存装置，所述缓存装置一侧连接于各个计量设备，另一侧连接于云端服务器，所述方法包括：
接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，其中，所述计量设备将所述待上传数据拆分为多个所述第一切片数据后，将各个第一切片数据依次发送至所述缓存装置；
将所述待上传数据写入缓存区域，并检测所述缓存区域中的缓存数据的数据量；
根据所述数据量将所述缓存数据拆分为多个第二切片数据；
将所述第二切片数据依次发送至所述云端服务器。
可选地，所述接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据的步骤之前，还包括：
接收所述计量设备发送的数据上传时间分配请求；
根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备，以供所述计量设备根据所述第一上传时间点将待上传数据发送至所述缓存装置，其中，不同的计量设备对应不同的第一上传时间点，所述第一上传时间点为所述计量设备发送待上传数据的时间点。
可选地，所述根据所述数据量将所述缓存数据拆分为多个第二切片数据的步骤之后，还包括：
根据所述第二上传时间点对各个所述第二切片数据进行排序；
根据排序顺序以及所述第二上传时间点依次将各个所述第二切片数据发送至所述云端服务器。
可选地，在所述数据量大于或等于预设阈值时，根据所述数据量将所述缓存数据拆分为多个第二切片数据；
在所述数据量小于所述预设阈值时，将所述缓存数据发送至所述云端服务器。
此外，为实现上述目的，本发明还提供一种数据上传方法，应用于计量设备，所述计量设备与缓存装置连接，所述数据上传方法的步骤包括：
获取待上传数据，根据所述待上传数据的数据量将所述待上传数据拆分为多个第一切片数据；
确定各个第一切片数据的上传时间点；
根据各个所述第一切片数据的上传时间点将各个所述第一切片数据依次发送至所述缓存装置，以供所述缓存装置接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，并将所述待上传数据写入缓存区域。
可选地，所述获取待上传数据，根据所述待上传数据的数据量将所述待上传数据拆分为多个第一切片数据的步骤之后，还包括：
向所述缓存装置发送数据上传时间分配请求，以供所述缓存装置根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备；
接收所述缓存装置发送的所述第一上传时间点。
可选地，确定各个第一切片数据的上传时间点的步骤包括：
根据各个第一切片数据的数据量确定各个第一切片数据所需的上传时长；
根据所述第一上传时间点以及所述上传时长确定各个第一切片数据的上传时间点。
此外，为实现上述目的，本发明还提供一种数据上传装置，所述数据上传装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据上传程序，所述数据上传程序被所述处理器执行时实现如上所述的数据上传方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据上传程序，所述数据上传程序被处理器执行时如上所述的数据上传方法的步骤。
本发明实施例提出的一种数据上传方法、装置及计算机可读存储介质，所述方法应用于缓存装置，所述缓存装置一侧连接于各个计量设备，另一侧连接于云端服务器，所述方法包括：接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，其中，所述计量设备将所述待上传数据拆分为多个所述第一切片数据后，将各个第一切片数据依次发送至所述缓存装置；将所述待上传数据写入缓存区域，并检测所述缓存区域中的缓存数据的数据量；根据所述数据量将所述缓存数据拆分为多个第二切片数据；将所述第二切片数据依次发送至所述云端服务器。通过在计量设备与云端服务器之间设置缓存装置，所述缓存装置用于充当所述计量设备与所述云端服务器的中转站，基于计量设备是将待上传数据拆分为多个第一切片数据后，将各个第一切片数据依次发送至缓存装置，减少了发送的数据的数据量，从而避免了多个计量设备同时上传待上传数据导致缓存装置出现数据拥堵的情况，从而提高了数据发送至缓存装置的效率，另外缓存装置在根据各个第一切片数据生成待上传数据后，将所述待上传数据写入缓存区域，并实时检测所述缓存区域中的缓存数据的数据量，基于所述数据量将缓存区域拆分为多个第二切分数据，将各个第二切分数据依次发送至云端服务器，避免了同时将大数据量的数据发送至云端服务器时，导致云端服务器出现数据拥堵的情况，从而提高了数据上传的效率。
附图说明
图1是本发明实施例方案涉及的数据上传装置的架构图；
图2是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图3为本发明数据上传方法第一实施例的流程示意图；
图4为本发明数据上传方法第一实施例的流程示意图；
图5为本发明数据上传方法第二实施例的流程示意图；
图6为本发明数据上传方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，其中，所述计量设备将所述待上传数据拆分为多个所述第一切片数据后，将各个第一切片数据依次发送至所述缓存装置；将所述待上传数据写入缓存区域，并检测所述缓存区域中的缓存数据的数据量；根据所述数据量将所述缓存数据拆分为多个第二切片数据；将所述第二切片数据依次发送至所述云端服务器。
如图1-2所示，图1是本发明实施例方案涉及的数据上传装置的架构图，图2是本发明实施例方案涉及的硬件运行环境的装置结构示意图。
参照图1，所述数据上传装置包括缓存装置20，所述缓存装置20一侧连接于各个计量设备10，另一侧连接于云端服务器30。
参照图2，该数据上传装置还可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的数据上传装置结构并不构成对数据上传装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及数据上传程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据上传程序，并执行以下操作：
接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，其中，所述计量设备将所述待上传数据拆分为多个所述第一切片数据后，将各个第一切片数据依次发送至所述缓存装置；
将所述待上传数据写入缓存区域，并检测所述缓存区域中的缓存数据的数据量；
根据所述数据量将所述缓存数据拆分为多个第二切片数据；
将所述第二切片数据依次发送至所述云端服务器。
进一步地，处理器1001可以调用存储器1005中存储的数据上传程序，还执行以下操作：
接收所述计量设备发送的数据上传时间分配请求；
根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备，以供所述计量设备根据所述第一上传时间点将待上传数据发送至所述缓存装置，其中，不同的计量设备对应不同的第一上传时间点，所述第一上传时间点为所述计量设备发送待上传数据的时间点。
进一步地，处理器1001可以调用存储器1005中存储的数据上传程序，还执行以下操作：
接收所述计量设备发送的数据上传时间分配请求；
根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备，以供所述计量设备根据所述第一上传时间点将待上传数据发送至所述缓存装置，其中，不同的计量设备对应不同的第一上传时间点，所述第一上传时间点为所述计量设备发送待上传数据的时间点。
进一步地，处理器1001可以调用存储器1005中存储的数据上传程序，还执行以下操作：
根据各个第二切片数据的数据量确定各个第二切片数据所需的上传时长；
根据所述上传时长确定各个第二切片数据的第二上传时间点。
进一步地，处理器1001可以调用存储器1005中存储的数据上传程序，还执行以下操作：
根据所述第二上传时间点对各个所述第二切片数据进行排序；
根据排序顺序以及所述第二上传时间点依次将各个所述第二切片数据发送至所述云端服务器。
进一步地，处理器1001可以调用存储器1005中存储的数据上传程序，还执行以下操作：
在所述数据量大于或等于预设阈值时，根据所述数据量将所述缓存数据拆分为多个第二切片数据；
在所述数据量小于所述预设阈值时，将所述缓存数据发送至所述云端服务器。
进一步地，处理器1001可以调用存储器1005中存储的数据上传程序，还执行以下操作：
获取待上传数据，根据所述待上传数据的数据量将所述待上传数据拆分为多个第一切片数据；
确定各个第一切片数据的上传时间点；
根据各个所述第一切片数据的上传时间点将各个所述第一切片数据依次发送至所述缓存装置，以供所述缓存装置接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，并将所述待上传数据写入缓存区域。
进一步地，处理器1001可以调用存储器1005中存储的数据上传程序，还执行以下操作：
向所述缓存装置发送数据上传时间分配请求，以供所述缓存装置根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备；
接收所述缓存装置发送的所述第一上传时间点。
进一步地，处理器1001可以调用存储器1005中存储的数据上传程序，还执行以下操作：
根据各个第一切片数据的数据量确定各个第一切片数据所需的上传时长；
根据所述第一上传时间点以及所述上传时长确定各个第一切片数据的上传时间点。
第一实施例
参照图3，本发明数据上传方法第一实施例提供一种数据上传方法，所述方法包括：
步骤S10，接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，其中，所述计量设备将所述待上传数据拆分为多个所述第一切片数据后，将各个第一切片数据依次发送至所述缓存装置；
步骤S20，将所述待上传数据写入缓存区域，并检测所述缓存区域中的缓存数据的数据量；
步骤S30，根据所述数据量将所述缓存数据拆分为多个第二切片数据；
步骤S40，将所述第二切片数据依次发送至所述云端服务器。
在本实施例中，应用于缓存装置，所述缓存装置一侧连接于各个计量设备，另一侧连接于云端服务器，用于接收所述计量设备发送的待上传数据，并将所述待上传数据发送至所述云端服务器，以供云端服务器基于上传的所述待上传数据进行数据分析统计，和/或将所述待上传数据保存在云端服务器。可选地，接收所述计量设备发送的待上传数据的方式可以是控制所述计量设备以预设频率发送待上传数据，例如5分钟/次，将待上传数据发送至云端服务器的方式可以是以预设频率将待上传数据发送至云端服务器。
可选地，基于所述缓存装置与多个计量设备连接，在所述待上传数据的数据量过大时，若各个计量设备将完整的待上传数据一次性发送至缓存装置时，容易引发数据拥堵，基于此，本申请实施例中的所述计量设备向缓存装置发送待上传数据的方式为将所述待上传数据拆分为多个所述第一切片数据，进而将各个所述第一切片数据依次发送至所述缓存装置，以实现待上传数据的分批发送，从而提高了数据发送效率。
可选地，所述缓存装置在依次接收到所述计量设备发送的所述待上传数据中的各个第一切片数据后，将各个第一切片数据进行组合，以生成所述待上传数据，并将所述待上传数据写入缓存区域，可选地，所述待上传数据包括但不限于计量设备标识，计量截止时间，计量数据。
可选地，在所有的所述计量设备同时发送待上传数据至缓存装置时，也容易引发数据拥堵，基于此，本申请实施例提出了一种为各个计量设备分配上传时间的方法，可选地，参照图4，所述步骤S10之前，还包括：
步骤S50，接收所述计量设备发送的数据上传时间分配请求；
步骤S60，根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备，以供所述计量设备根据所述第一上传时间点将待上传数据发送至所述缓存装置，其中，不同的计量设备对应不同的第一上传时间点，所述第一上传时间点为所述计量设备发送待上传数据的时间点。
可选地，在所述计量设备采集到待上传数据时，向所述缓存装置发送数据上传时间分配请求，所述缓存装置在接收到所述数据上传时间分配请求时，根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，所述第一上传时间点为所述计量设备发送的待上传数据的时间点，即所述第一上传时间点可以为所述计量设备开始上传所述待上传数据的第一个切片数据的开始时间点，可选地，所述第一上传时间点还可以是所述缓存装置接收到所述待上传数据的切片数据的时间点，此处不作限定，可选地，所述数据上传时间分配请求包括数据上传时长，所述数据上传时长为所述待上传数据传输时所需花费的时间。
可选地，确定所述计量设备对应的第一上传时间点的方式可以是根据所述计量设备的发送优先级确定所述第一上传时间点，发送优先级越高，第一上传时间点越靠前，还可以是获取空闲时间段，根据所述空闲时间段确定第一上传时间点，还可以是确定当前发送阈值，根据当前发送阈值将各个计量设备划分为多个计量设备组，依次确定各个计量设备组的发送时间点，进而确定所述计量设备的第一上传时间点，所述当前发送阈值可根据当前的网络状态确定，所述当前发送阈值为数据并发可支持的最大传输量，还可以确定当前与所述缓存装置之间存在数据传输的计量设备，根据存在数据传输的计量设备对应的发送结束时间点确定所述第一上传时间点。
可选地，在计量设备需发送待上传数据至缓存装置，先向缓存装置发送数据上传时间分配请求，以供缓存装置基于当前与其他计量设备的数据传输状态，或当前网络状况确定所述计量设备的第一上传时间点，所述计量设备基于第一上传时间点发送待上传数据时，可避免因数据量过大导致数据拥堵的情况发生，另外，基于本发明在判断计量设备何时发送待发送数据时，并不是等待某种特定的条件(例如到达某个发送时间点)时就发送数据，而是基于数据传输状态或当前网络状态实时计算出对应的第一上传时间点，从而提高了数据发送的效率，在执行具体的数据发送时，对于计量设备而言，并非是某一设备单一地实现数据的发送过程，而是在缓存装置与计量设备之间进行交互，以确定适合的用于发送数据的第一上传时间点，基于缓存装置与计量设备进行交互，使得计量设备可基于适合的时间发送数据，从而避免计量设备与其他计量设备同时发送数据导致数据拥堵。
可选地，不同的计量设备可对应不同的第一上传时间点，或不同的计量设备组对应不同的第一上传时间点，实现了各个计量设备的错峰发送，从而避免所有的计量设备同时上传数据引发数据拥堵的问题，可选地，在确定各个计量设备的第一上传时间点时，可控制各个计量设备按照各自对应的第一上传时间点将待上传数据发送至缓存装置，还可以控制各个计量设备按照各自对应的第一上传时间点将拆分后的第一切片数据依次发送至缓存装置。
可选地，所述缓存装置实时检测所述缓存区域中的缓存数据的数据量，根据所述数据量将所述缓存数据拆分为多个第二切片数据，所述缓存区域包括各个计量设备发送的待上传数据。
可选地，所述S30包括：
在所述数据量大于或等于预设阈值时，根据所述数据量将所述缓存数据拆分为多个第二切片数据；
在所述数据量小于所述预设阈值时，将所述缓存数据发送至所述云端服务器。
可选地，实时检测所述数据量与预设阈值的差值，在所述数据量大于或等于预设阈值时，根据所述数据量将所述缓存区域拆分为多个第二切片数据，在所述数据量小于所述预设阈值时，可直接将所述缓存数据发送至所述云端服务器，可以理解的是，在所述数据量小于所述预设阈值时，说明当前所述缓存区域中的缓存数据的数据量较小，无需对所述缓存数据进行拆分，从而保证数据上传效率。可选地，在所述数据量小于所述预设阈值时，说明当前的计量设备处于低谷状态(即仅有一部分的计量设备上传数据)，进而证明缓存装置当前处于非繁忙状态，此时若把缓存数据发送至云端服务器，可以提高缓存装置的利用率，避免出现缓存区域出现长时间的空闲状态的情况，从而提高了缓存装置的负载均衡，并且通过在数据量小于所述预设阈值时，直接发送云端服务器后，将已发送的缓存数据进行删除处理，从而避免了后续大量计量设备发送数据时因缓存区域缓存的数据过多，导致数据拥堵的问题，从而提高了数据传输效率。
可选地，在所述数据量大于或等于预设阈值时，可根据预置的切片阈值将所述缓存数据拆分为多个第二切片数据，以使拆分得到的各个第二切片数据的数据量小于或等于所述切片阈值，可选地，所述切片阈值可根据当前的网络状态确定，还可以根据当前时段确定，在当前时段属于数据上传高发时段，切片阈值越小，在当前时段属于数据上传非高发时段，切片阈值越大。
可选地，在将所述缓存数据拆分为多个第二拆分数据后，所述根据所述数据量将所述缓存数据拆分为多个第二切片数据的步骤之后，还包括：
根据各个第二切片数据的数据量确定各个第二切片数据所需的上传时长；
根据所述上传时长确定各个第二切片数据的第二上传时间点。
可选地，根据各个第二切片数据的数据量确定各个第二切片数据所需的上传时长，根据所述上传时长确定各个第二切片数据的第二上传时间点，具体地，确定开始时间点，根据开始时间点以及所述上传时长依次确定各个第二切片数据的第二上传时间点，所述开始时间点根据前一个正在发送的第二切片数据的结束时间点确定。
可选地，在将所述缓存数据拆分为多个第二拆分数据后，根据所述第二上传时间点对各个所述第二切片数据进行排序，根据排序顺序以及所述第二上传时间点依次将各个所述第二切片数据发送至所述云端服务器，可选地，实时检测发送成功的第二切片数据，将所述第二切片数据从所述缓存区域中删除，以实时提供更多的存储空间用于缓存所述计量设备发送的待上传数据，防止存储空间因不及时清理缓存，导致数据拥堵的问题。
在本申请实施例中，通过在计量设备以及云端服务器之间设置缓存装置，通过为各个计量设备分配对应的第一上传时间点，以使各个计量设备根据各自对应的第一上传时间点分别上传数据，从而避免数据并发导致数据拥堵的问题，或者，本申请实施例还通过控制各个计量设备将待上传数据拆分为多个第一切片数据，将拆分后的第一切片数据依次发送至缓存装置，从而解决了数据并发导致缓存装置拥堵的问题，另外，所述缓存装置在接收各个计量设备发送的第一切片数据后，根据第一切片数据组合生成待上传数据，并将待上传数据写入缓存区域，并实时检测缓存区域中的缓存数据的数据量，在数据量大于或等于预设阈值时，将缓存数据拆分为多个第二切片数据，并根据各个第二切片数据所需的上传时长确定各个第二切片数据的第二上传时间点，根据所述第二上传时间点将各个第二切片数据发送至云端服务器，实现了数据的分批发送，从而解决了数据并发导致云端服务器发生数据拥堵的问题，从而提高了数据发送效率，另外，本申请实施例还基于设置了缓存模块对待上传数据进行暂时缓存，从而解决了因数据拥堵导致数据上传不完整的问题，从而提高了数据上传精度。
第二实施例
参照图5，基于第一实施例，本申请数据上传方法还提出了第二实施例，第二实施例应用于计量设备，所述数据上传方法的步骤还包括：
步骤S70，获取待上传数据，根据所述待上传数据的数据量将所述待上传数据拆分为多个第一切片数据；
步骤S80，确定各个第一切片数据的上传时间点；
步骤S90，根据各个所述第一切片数据的上传时间点将各个所述第一切片数据依次发送至所述缓存装置，以供所述缓存装置接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，并将所述待上传数据写入缓存区域。
在本申请实施例中，所述计量设备与缓存装置连接，用于将待上传数据上传至所述缓存装置，可选地，所述计量设备在获取到待上传数据后，检测所述待上传数据的数据量，在所述待上传数据的数据量大于或等于预设阈值时，将所述待上传数据拆分为多个第一切片数据，在所述待上传数据的数据量小于预设阈值时，将所述待上传数据直接发送至缓存装置。
可选地，在所述计量设备在获取到待上传数据后，根据预设切片阈值将所述待上传数据拆分为多个第一切片数据，所述第一切片数据的数据量小于或等于所述预设切片阈值，可选地，用于将待上传数据拆分为多个第一切片数据的预设切片阈值小于或等于用于将缓存数据拆分为多个第二切片数据的预设切片阈值。
可选地，在将所述待上传数据拆分为多个第一切片数据后，根据设定的发送频率确定所述待上传数据的上传时间点，进而根据各个第一切片数据所需的上传时长确定各个第一切片数据的上传时间点，根据各个第一切片数据的上传时间点将各个第一切片数据进行排序，根据排序顺序以及各个第一切片数据的上传时间点依次将各个第一切片数据发送至所述缓存装置，可选地，所述发送频率可以是10min/次，此处不作限定，基于将待上传数据拆分后的第一切片数据发送至缓存装置，即使当前存在多个计量设备需发送数据至缓存装置，基于每次发送的数据量减少，从而缓解了因数据量过大导致数据拥堵的问题，从而提高数据发送效率。
可选地，参照图6，在又一实施例中，为了进一步的提高数据发送效率，所述计量设备在将待上传数据拆分为多个第一切片数据后，还包括：
步骤S71，向所述缓存装置发送数据上传时间分配请求，以供所述缓存装置根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备；
步骤S72，接收所述缓存装置发送的所述第一上传时间点。
可选地，在将所述第一切片数据发送至所述缓存装置前，向所述缓存装置发送数据上传时间分配请求，以供所述缓存装置根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备。
可选地，接收所述缓存装置发送的所述第一上传时间点，进而根据所述第一切片数据的数据量确定各个第一切片数据所需的上传时长，根据所述第一上传时间点以及所述上传时长确定各个第一切片数据的上传时间点，进而根据各个第一切片数据的上传时间点将各个所述第一切片数据依次发送至所述缓存装置，以供所述缓存装置接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，并将所述待上传数据写入缓存区域，并对缓存区域中的缓存数据拆分为多个第二切片数据，进而将各个第二切片数据依次发送至云端服务器，从而实现了计量设备与云端服务器的通信。
在本申请实施例中，应用于计量设备，所述计量设备在获取待上传数据后，根据切片阈值将所述待上传数据拆分为各个第一切片数据，并基于接收到的所述缓存装置反馈的第一上传时间点将各个第一切片数据依次发送至所述缓存装置，实现了各个计量设备的错峰发送，从而避免了各个计量设备同时发送数据导致数据拥堵的问题，另外，还基于将待上传数据拆分为数据量更小的第一切片数据，实现了数据的分批发送，避免了因数据量过大导致数据拥堵的问题，基于数据的分批发送以及数据错峰发送双管齐下，解决了数据拥堵的问题以及提高了数据发送效率。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据上传程序，所述数据上传程序被处理器执行时实现如上所述的各个实施例的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据上传方法，其特征在于，应用于缓存装置，所述缓存装置一侧连接于各个计量设备，另一侧连接于云端服务器，所述方法包括：
接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，其中，所述计量设备将所述待上传数据拆分为多个所述第一切片数据后，将各个第一切片数据依次发送至所述缓存装置；
将所述待上传数据写入缓存区域，并检测所述缓存区域中的缓存数据的数据量；
根据所述数据量将所述缓存数据拆分为多个第二切片数据；
将所述第二切片数据依次发送至所述云端服务器。
2.如权利要求1所述的数据上传方法，其特征在于，所述接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据的步骤之前，还包括：
接收所述计量设备发送的数据上传时间分配请求；
根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备，以供所述计量设备根据所述第一上传时间点将待上传数据发送至所述缓存装置，其中，不同的计量设备对应不同的第一上传时间点，所述第一上传时间点为所述计量设备发送待上传数据的时间点。
3.如权利要求1所述的数据上传方法，其特征在于，所述根据所述数据量将所述缓存数据拆分为多个第二切片数据的步骤之后，还包括：
根据各个第二切片数据的数据量确定各个第二切片数据所需的上传时长；
根据所述上传时长确定各个第二切片数据的第二上传时间点。
4.如权利要求3所述的数据上传方法，其特征在于，所述将所述第二切片数据依次发送至所述云端服务器的步骤包括：
根据所述第二上传时间点对各个所述第二切片数据进行排序；
根据排序顺序以及所述第二上传时间点依次将各个所述第二切片数据发送至所述云端服务器。
5.如权利要求1所述的数据上传方法，其特征在于，所述根据所述数据量将所述缓存数据拆分为多个第二切片数据的步骤包括：
在所述数据量大于或等于预设阈值时，根据所述数据量将所述缓存数据拆分为多个第二切片数据；
在所述数据量小于所述预设阈值时，将所述缓存数据发送至所述云端服务器。
6.一种数据上传方法，其特征在于，应用于计量设备，所述计量设备与缓存装置连接，所述数据上传方法的步骤包括：
获取待上传数据，根据所述待上传数据的数据量将所述待上传数据拆分为多个第一切片数据；
确定各个第一切片数据的上传时间点；
根据各个所述第一切片数据的上传时间点将各个所述第一切片数据依次发送至所述缓存装置，以供所述缓存装置接收各个计量设备发送的第一切片数据，根据所述第一切片数据生成待上传数据，并将所述待上传数据写入缓存区域。
7.如权利要求6所述的数据上传方法，其特征在于，所述获取待上传数据，根据所述待上传数据的数据量将所述待上传数据拆分为多个第一切片数据的步骤之后，还包括：
向所述缓存装置发送数据上传时间分配请求，以供所述缓存装置根据所述数据上传时间分配请求确定所述计量设备对应的第一上传时间点，并将所述第一上传时间点反馈至所述计量设备；
接收所述缓存装置发送的所述第一上传时间点。
8.如权利要求7所述的数据上传方法，其特征在于，确定各个第一切片数据的上传时间点的步骤包括：
根据各个第一切片数据的数据量确定各个第一切片数据所需的上传时长；
根据所述第一上传时间点以及所述上传时长确定各个第一切片数据的上传时间点。
9.一种数据上传装置，其特征在于，所述数据上传装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据上传程序，所述数据上传程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据上传方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据上传程序，所述数据上传程序被处理器执行时实现如权利要求1至8中任一项所述的数据上传方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210764153.8A CN115250293A (zh) | 2022-06-30 | 2022-06-30 | 数据上传方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210764153.8A CN115250293A (zh) | 2022-06-30 | 2022-06-30 | 数据上传方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115250293A true CN115250293A (zh) | 2022-10-28 |
Family
ID=83699713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210764153.8A Pending CN115250293A (zh) | 2022-06-30 | 2022-06-30 | 数据上传方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115250293A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150028630A (ko) * | 2013-09-06 | 2015-03-16 | 삼성전자주식회사 | 캐시 데이터 관리 방법 및 장치 |
| CN104994141A (zh) * | 2015-06-16 | 2015-10-21 | 四川长虹电器股份有限公司 | 缓解云服务器存储和计算压力的协同存储*** |
| CN106648471A (zh) * | 2016-12-29 | 2017-05-10 | 深圳市中博科创信息技术有限公司 | 云平台数据存储方法及装置 |
| CN110290224A (zh) * | 2019-07-23 | 2019-09-27 | 北京达佳互联信息技术有限公司 | 资源上传、转发方法及装置、移动终端、网关和存储介质 |
| CN110535965A (zh) * | 2019-09-03 | 2019-12-03 | 北京元安物联技术有限公司 | 一种数据处理方法及装置、存储介质 |
| WO2020108544A1 (zh) * | 2018-11-27 | 2020-06-04 | 杭州海康威视数字技术股份有限公司 | 同步缓存数据的方法、装置和*** |
| CN112491963A (zh) * | 2020-11-03 | 2021-03-12 | 泰康保险集团股份有限公司 | 数据传输方法、装置、设备及可读存储介质 |
| CN112699154A (zh) * | 2021-03-25 | 2021-04-23 | 上海洋漪信息技术有限公司 | 应对大流量数据的多级缓存方法 |
| WO2022041812A1 (zh) * | 2020-08-28 | 2022-03-03 | 平安科技（深圳）有限公司 | 一种数据处理方法、相关设备及计算机可读存储介质 |
-
2022
- 2022-06-30 CN CN202210764153.8A patent/CN115250293A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150028630A (ko) * | 2013-09-06 | 2015-03-16 | 삼성전자주식회사 | 캐시 데이터 관리 방법 및 장치 |
| CN104994141A (zh) * | 2015-06-16 | 2015-10-21 | 四川长虹电器股份有限公司 | 缓解云服务器存储和计算压力的协同存储*** |
| CN106648471A (zh) * | 2016-12-29 | 2017-05-10 | 深圳市中博科创信息技术有限公司 | 云平台数据存储方法及装置 |
| WO2020108544A1 (zh) * | 2018-11-27 | 2020-06-04 | 杭州海康威视数字技术股份有限公司 | 同步缓存数据的方法、装置和*** |
| CN110290224A (zh) * | 2019-07-23 | 2019-09-27 | 北京达佳互联信息技术有限公司 | 资源上传、转发方法及装置、移动终端、网关和存储介质 |
| CN110535965A (zh) * | 2019-09-03 | 2019-12-03 | 北京元安物联技术有限公司 | 一种数据处理方法及装置、存储介质 |
| WO2022041812A1 (zh) * | 2020-08-28 | 2022-03-03 | 平安科技（深圳）有限公司 | 一种数据处理方法、相关设备及计算机可读存储介质 |
| CN112491963A (zh) * | 2020-11-03 | 2021-03-12 | 泰康保险集团股份有限公司 | 数据传输方法、装置、设备及可读存储介质 |
| CN112699154A (zh) * | 2021-03-25 | 2021-04-23 | 上海洋漪信息技术有限公司 | 应对大流量数据的多级缓存方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200264942A1 (en) | Message management method and device, and storage medium | |
| CN103561100B (zh) | 一种云上传方法及***、调度设备、客户端 | |
| CN102255926B (zh) | MapReduce***中的任务分配方法、***及装置 | |
| CN110471749B (zh) | 任务处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN105159782A (zh) | 基于云主机为订单分配资源的方法和装置 | |
| CN109766172B (zh) | 一种异步任务调度方法以及装置 | |
| CN108462755B (zh) | 一种下载数据资源的方法和*** | |
| CN110995617B (zh) | 基于mqtt的数据报送方法、装置、计算机设备和存储介质 | |
| CN112395067A (zh) | 任务调度方法、***、设备及介质 | |
| CN111586140A (zh) | 一种数据交互的方法及服务器 | |
| CN108228625B (zh) | 一种推送消息处理方法及装置 | |
| US10536393B2 (en) | Mail obtaining method, terminal, and system | |
| CN108134808B (zh) | 一种网络请求方法及装置 | |
| CN115250293A (zh) | 数据上传方法、装置及计算机可读存储介质 | |
| CN117579611A (zh) | 数据传输方法、装置、存储介质及电子装置 | |
| TWI693547B (zh) | 一種資料更新方法和設備 | |
| CN110019372B (zh) | 数据监控方法、装置、服务器及存储介质 | |
| CN102377884A (zh) | 一种呼叫排队方法和装置 | |
| CN112395077A (zh) | 资源控制方法、装置及*** | |
| CN113271228B (zh) | 带宽资源调度方法、装置、设备及计算机可读存储介质 | |
| CN115643276A (zh) | 数据传输方法、装置、***与计算机可读存储介质 | |
| US20170142227A1 (en) | Data processing apparatus and data processing method | |
| US20230393782A1 (en) | Io request pipeline processing device, method and system, and storage medium | |
| CN113055493B (zh) | 数据包处理方法、装置、***、调度设备和存储介质 | |
| CN110912958A (zh) | Http连接的处理方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |