CN114510345A - 一种数据采集设备、方法、装置及计算机可读存储介质 - Google Patents
一种数据采集设备、方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114510345A CN114510345A CN202111629055.5A CN202111629055A CN114510345A CN 114510345 A CN114510345 A CN 114510345A CN 202111629055 A CN202111629055 A CN 202111629055A CN 114510345 A CN114510345 A CN 114510345A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- acquisition
- module
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 88
- 238000007405 data analysis Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000013500 data storage Methods 0.000 claims description 47
- 238000004891 communication Methods 0.000 claims description 19
- 238000011161 development Methods 0.000 claims description 17
- 238000013144 data compression Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据采集设备、方法、装置及计算机可读存储介质，属于数据采集技术领域。本发明通过数据采集设备，采集终端的终端数据，分布式的获取数据源信息，并获取输入的数据分析规则，基于该数据分析规则中的报警规则确定终端数据是否满足报警条件，在终端数据不满足报警条件时，基于该数据分析规则中的数据规则对该数据进行数据分析，得到分析数据，通过报警规则确保数据安全，且通过数据规则进行数据分析减少云端服务器的数据计算量，缓解云端对数据进行计算分析的压力，降低数据延迟的情况出现，进而将该分析数据上传至云端服务器，提升数据实时采集、处理的速率。
Description
技术领域
本发明涉及数据采集技术领域，尤其涉及一种数据采集设备、方法、装置及计算机可读存储介质。
背景技术
随着计算机技术和网络通信技术的发展，物联网的概念得到了很大的延伸，即定义为几乎所有的信息技术与计算机、网络技术的结合，实现实物与实物之间的数据信息共享，实现具有智能化的实时数据收集、传递、处理以及执行。由于物联网等应用背景下的数据往往在地理上非常分散，并且对响应时间以及安全性都提出了更高的要求。云计算虽然为大数据提供了高效的计算平台，但传统的云计算通过将边端采集的海量传感器数据直接传输到云服务器，在云端进行复杂的任务计算的模式对数据传输的带宽要求高，同时会造成一定的数据时延问题。综上所述，传统的云计算模式难以实现实时高效的支持基于万物互联的应用服务程序，其中，带宽、延迟，但这两大瓶颈都不是短期内能得到有效解决的，因而会导致数据实时采集、处理的速率。
发明内容
本发明的主要目的在于提供一种数据采集设备、方法、装置及计算机可读存储介质，旨在解决如何提升数据实时采集、处理的速率的技术问题。
为实现上述目的，本发明提供一种数据采集设备，所述数据采集设备包括网络级联模块、采集模块、数据存储模块、数据分析模块和数据上传模块，所述网络级联模块、所述采集模块、所述数据存储模块、所述数据分析模块和所述数据上传模块之间建立有通信连接；
所述数据采集设备通过所述数据上传模块和云端服务器建立有连接关系，并通过所述网络级联模块和至少一个终端建立有连接关系；
所述采集模块，用于通过所述网络级联模块采集所述终端的终端数据，并将所述终端数据发送至所述数据存储模块进行存储；
所述数据分析模块，用于对所述数据存储模块中已存储的终端数据进行数据分析，得到分析数据；
所述数据上传模块，用于将所述数据分析模块进行数据分析得到的分析数据上传至云端服务器。
可选地，所述采集模块，还包括采集效率分析单元；
所述采集效率分析单元，用于获取同一网络下的所有数据采集设备的采集效率，并根据各所述采集效率和预设采集规则，确定各所述数据采集设备与终端之间的关联关系，以使所述网络级联模块根据所述关联关系连接各所述数据采集设备与终端。
可选地，所述采集模块，还包括数据采集单元；
所述数据采集单元，用于采集与所述数据采集设备连接的终端的终端数据，并将所述终端数据发送至所述数据存储模块进行存储。
可选地，所述数据采集设备还包括数据二次开发模块；
所述数据二次开发模块与所述数据分析模块通信连接，所述数据二次开发模块，用于获取所述分析数据，并对所述分析数据进行二次处理，得到二次数据；
所述数据二次开发模块与所述数据存储模块通信连接，所述数据二次开发模块还用于将所述二次数据存储至所述数据存储模块。
此外，为实现上述目的，本发明还提供一种数据采集方法，所述数据采集方法包括以下步骤：
采集终端的终端数据；
获取输入的数据分析规则，并基于所述数据分析规则中的报警规则确定所述终端数据是否满足报警条件；
若否，则基于所述数据分析规则中的数据规则对所述终端数据进行数据分析，得到分析数据；
将所述分析数据上传至云端服务器。
可选地，所述采集终端的终端数据的步骤包括：
获取同一网络下的所有数据采集设备，并确定各所述数据采集设备的采集效率；
依据预设采集规则和各所述采集效率，制定各所述数据采集设备对应的采集任务；
控制各所述采集设备按照所述采集任务采集终端的终端数据。
可选地，所述将所述数据进行数据分析，得到分析数据的步骤包括：
获取输入的数据分析规则；
确定所述数据分析规则中的报警规则，依据所述报警规则确定所述分析数据是否满足报警条件；
若否，则依据所述数据分析规则对所述数据进行查重处理，得到分析数据。
可选地，所述将所述分析数据上传至云端服务器的步骤包括：
检测当前网络状态是否符合数据上传条件；
若当前网络状态符合所述数据上传条件，则将所述分析数据上传至云端服务器；
若当前网络状态不符合所述数据上传条件，则依据预设压缩规则对本地的数据存储模块中的当前存储数据进行数据压缩；
确定所述分析数据对应的时间戳信息，将所述时间戳信息与所述分析数据关联存储至进行数据压缩后的数据存储模块中。
可选地，所述将所述分析数据上传至云端服务器的步骤之后，还包括：
获取所述分析数据，并确定用户数据标准；
对所述分析数据进行二次处理以满足所述用户数据标准，得到二次数据；
将所述二次数据存储至本地的数据存储模块中。
此外，为实现上述目的，本发明还提供一种数据采集装置，所述数据采集装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集程序，其中：所述数据采集程序被所述处理器执行时实现如上所述的数据采集方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如上所述的数据采集方法的步骤。
本发明提出的一种数据采集设备、方法、装置及计算机可读存储介质，通过数据采集设备，采集终端的终端数据，分布式的获取数据源信息，并获取输入的数据分析规则，基于该数据分析规则中的报警规则确定终端数据是否满足报警条件，在终端数据不满足报警条件时，基于该数据分析规则中的数据规则对该数据进行数据分析，得到分析数据，通过报警规则确保数据安全，且通过数据规则减少数据上传到云端服务器后的数据计算量，减少带宽占用，并通过先进行的数据分析，缓解云端对数据进行计算分析的压力，降低数据延迟的情况出现，进而将该分析数据上传至云端服务器，提升数据实时采集、处理的速率。
附图说明
图1为本数据采集设备结构示意图；
图2是本发明实施例方案涉及的硬件运行环境的数据采集装置的结构示意图；
图3为本发明数据采集方法第二实施例的流程示意图；
图4为本发明一实施例应用场景示意图；
图5为本发明一实施例的应用流程示意图。
附图标号说明：
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明提供一种数据采集设备，在本发明第一实施例中，数据采集设备为一种分布式边缘计算设备，利用边缘计算设备可兼顾数据生产者和数据消费者的双重角色，对实时收集的数据进行模式识别、执行预测分析、优化以及智能处理等功能。通过该为分布式边缘计算设备的数据采集设备实现终端数据的采集与传输，例如，工业场合终端数据采集与传输。数据采集设备适用于多种应用场景，本实施例中，以同一局域网内的数据采集设备为例进行说明。具体地，本实施例中，需要说明的是，同一局域网内可以存在一台或者多台数据采集设备，产生数据的终端为一台或多台，数据采集设备对终端产生的数据进行采集，将采集到的数据进行存储、分析等处理后上传至云端服务器，云端服务器将该数据存储至数据库中。其中，数据采集设备与终端存在对应关系，但并不限定为一一对应的关系，可以为一对一，或者一对多等对应关系，数据采集设备与终端之间的对应关系并不固定，可以根据实际应用场景随时进行更改。
在进行数据采集之前，需对该数据采集设备进行安装配置，本实例中，根据现场终端分布情况选取数据采集设备的安装位置，并将各个数据采集设备之间通过网络进行连接。将数据采集装置与终端通过网口，或者485口进行连接，为每个数据采集设备配置设备采集协议、采集寄存器等设置。需要说明的是，本实施例中数据采集设备支持自定义数据分析规则，可通过获取用户编写的脚本，实现用户自定义数据分析，在对数据采集设备进行配置时，将编写好的脚本导入到数据采集设备中。进一步，配置数据采集设备的数据上传地址，需要说明的是，本实施例中，数据采集设备支持数据直接写入数据库，当需要支持数据直接写入数据库时，还需配置数据库类型、地址、端口等数据库信息。本实施例中，需要说明的是，数据采集设备还支持采集效率动态分配功能，同一个网络下的多个采集设备进行数据采集时，可以动态的分配对终端采集的数据点的数量。在进行数据采集设备配置时，需对每个数据采集设备的采集效率参考值，依据该采集效率参考值，可在后续数据采集设备执行数据采集工作时，实现多台数据采集设备之间的采集效率动态分配。
参考图1，本实施例中，数据采集设备01包括有网络级联模块010、采集模块020、数据存储模块030、数据分析模块040、数据上传模块050。网络级联模块010与采集模块020通信连接，采集模块020与数据存储模块030通信连接，数据分析模块040与数据存储模块030通信连接，数据上传模块050与数据分析模块040通信连接。通过网络级联模块010实现数据采集设备01与终端连接，数据采集设备01与终端连接后，采集模块020进行终端上的数据采集，并将采集到的终端数据存储到数据存储模块030中。数据分析模块040实现对终端数据的分析，通过数据采集设备01中的数据分析模块对终端数据进行分析处理后再上传云端存储，可以提升数据上传的有效性，并减少云端的数据计算量。数据分析模块040从数据存储模块030中获取到存储的数据，进行该数据的分析，得到分析数据后，将该分析数据通过数据上传模块上传至云端服务器。
进一步地，当存在多台数据采集设备01时，各个数据采集设备01将会通过各自的网络极限模块010进行网络级联，实现各数据采集设备之间的相互通信。在进行数据采集时，各个数据采集设备01当前的采集效率可能不一致，通过确定各数据采集设备01的当前采集效率，根据预设采集规则，可对当前的数据采集任务进行动态分配，以使的各个数据采集设备采集效率的最大化。其中采集效率是指采集的数据点的数量。具体地，采集模块020还包括有采集效率分析单元021，数据效率分析单元021获取进行了网络级联的各数据采集装置01对应的采集效率，根据预设采集规则，可对依据各个采集效率，将数据采集设备与终端之间建立一个关联关系，网络级联模块010根据该关联关系将数据采集设备01与终端通过网口或者485口等接口连接起来。其中，预设采集规则是指确定当前的数据采集设备的当前采集效率，和与该数据采集设备连接的其他数据采集设备的当前采集效率，将当前采集效率低的数据采集设备对应的终端与当前采集效率高的数据采集设备监理关联关系，以使该多台数据采集设备对终端数据采集的采集效率最大化。具体地，采集模块020还包括有数据采集单元022，通过网络级联模块010实现数据采集设备01与终端连接，数据采集设备01与终端连接后，数据采集单元022进行终端上的数据采集，并将采集到的终端数据存储到数据存储模块030中。
进一步的，数据采集设备还包括数据二次开发模块060，该数据二次开发模块060与数据分析模块040通信连接，数据二次开发模块可对分析数据进行二次处理，在数据分析模块040得到分析数据后，数据二次开发模块060获取该分析数据，并对该分析数据进行二次处理，得到二次数据。具体地，二次处理是指将该分析数据转换为呈现给用户的输出数据。数据二次开发模块060与数据存储模块030通信连接，在得到二次数据后，数据二次开发模块060将二次数据存储至数据存储模块中。
参照图2，图2为本发明实施例方案涉及的硬件运行环境的数据采集装置结构示意图。
如图1所示，该数据采集装置可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对数据采集装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作***、数据存储模块、网络通信模块、用户接口模块以及数据采集程序。
在图1所示的数据采集装置中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明数据采集装置中的处理器1001、存储器1005可以设置在数据采集装置中，所述数据采集装置通过处理器1001调用存储器1005中存储的数据采集程序，并执行本发明实施例提供的数据采集方法。
本发明实施例提供了一种数据采集方法，参照图3，图3为本发明一种数据采集方法第二实施例的流程示意图。
本实施例中，所述数据采集方法包括：
步骤S100，采集终端的终端数据；
本实例中，需要说明的是，终端是指产生数据的设备，例如，工业场合的终端，对该终端本身的数据或者该终端产生的数据进行采集，进行终端数据的分析和上传。进行数据采集的设备为数据采集设备，该数据采集设备为分布式边缘计算设备，包括网络级联模块、采集模块、数据存储模块、数据分析模块、数据上传模块以及数据二次开发模块。在对数据采集之前需要安装数据采集设备，该数据采集设备的安装的数量和位置依据现场的终端分布情况确定，可以根据实际应用场景设置数据采集设备与终端之间的对应关系为一对一、一对多等对应方式，并不进行限定。在同一个局域网下，若存在多个数据采集设备时，各个数据采集设备之间将通过各自的网路级联模块实现网络级联，以实现各个数据采集设备之间的相互通信，提供环网交换机的功能。参考图4，在工业场合应用场景下，存在多台数据采集设备对多个工业场合终端进行数据采集，数据采集设备之间通过网络级联，最终将采集数据上传至云端进行数据展示。一实施例中，本发明的数据采集方法可应用于本发明的数据采集设备。
具体地，在对数据采集设备安装完成后，会连接现场需要进行数据采集的终端，终端与数据采集设备连接后，数据采集设备可以采集与之连接的终端的终端数据。
步骤S200，获取输入的数据分析规则，并基于所述数据分析规则中的报警规则确定所述终端数据是否满足报警条件；
本实施例中，需要说明的是，数据分析规则可以是自定义的数据分析规则，用户在使用数据采集设备进行数据采集前，导入用户根据实际需求编写的脚本，实现数据自定义分析规则。具体地，该数据分析规则可以是对终端数据进行查重；可以针对数据的合法性进行判断，例如，通过确定该数据是否为非法数据进行检测，若监测到非法数据，则对该非法数据进行剔除，并触发警报；可以针对数据对应的数据值进行设置警报规则，其中，可以设置不符合数据值大小限制条件的数据，进行警报的触发，还可以设置设备温度阈值，分析数据中的设备温度数据对应的温度值，若温度值超出温度阈值，则进行警报的触发；数据分析规则可根据实际场景下的用户需求，实现用户自定义。
可以理解的是，数据分析规则还可以是默认的，预先配置好数据分析规则，数据采集设备每次执行数据采集任务时，判断当前是否存在用户输入的分析脚本，若存在输入的分析脚本，则按照该输入的分析脚本执行数据分析，若不存在输入的分析脚本，则按照该数据分析规则执行数据分析，得到分析数据。
具体地，确定输入的数据分析规则，并获取该数据分析规则中的报警规则，判断分析数据是否满足该报警规则中的报警条件，通过报警规则及时输出数据预警反馈，确保数据安全。
步骤S300，若否，则基于所述数据分析规则中的数据规则对所述终端数据进行数据分析，得到分析数据。
本实施例中，需要说明的是，数据分析是指数据采集模块在获取到从终端采集的数据后，对该采集到的数据进行分析。该数据分析是在将数据上传到云端服务器之前进行的，可以通过数据采集设备对数据先进行一轮分析，减少数据上传到云端服务器后的数据计算量，缓解***压力。在对数据进行数据分析时，依据已有的数据分析规则中的数据规则，对该数据进行分析。中，数据规则是指对数据本身进行限制的规则，例如，可以对数据进行查重，剔除重复的数据。具体地，若终端数据不满足报警条件，则依据数据分析规则对数据进行分析处理，得到分析数据；若满足报警条件，则触发预警。根据输入的自定义数据分析规则，进行数据分析，满足用户真实意图，且在数据上传至云端服务器之前进行数据分析，减少数据上传量，以及云端服务器的数据分析计算量，提升数据采集、处理的速率。
步骤S400，将所述分析数据上传至云端服务器。
本实施例中，需要说明的是，在进行数据采集设备采集之前，需要对数据采集设备进行数据上传地址的设置。在获取分析数据后，即数据已经采集到数据采集设备中，数据采集设备中的数据上传模块通过标准的TCP(Transmission Control Protocol，传输控制协议)、MQTT(Message Queuing Telemetry Transport，消息队列遥测传输协议)、HTTP(HyperText Transfer Protocol，超文本传输协议)等数据传输协议将该分析数据上传至对应地址的云端服务器中。云端服务器在接收到分析数据后，会将该分析数据存储至预设的数据库中。本实施例中，还支持通过数据上传模块将分析数据直接写入预设的数据库中，在需要将数据直接写入预设的数据库中时，需要对数据采集设备进行配置，增加指定数据库类型、地址、端口等数据库信息，以在获取到分析数据后，根据该数据库信息，将分析数据直接存入对应的数据库中。直接将实时数据写入数据库，可供应用层做数据大屏展示。
本发明实施例中，通过数据采集设备，采集终端的终端数据，分布式的获取数据源信息，并获取输入的数据分析规则，基于该数据分析规则中的报警规则确定终端数据是否满足报警条件，在终端数据不满足报警条件时，基于该数据分析规则中的数据规则对该数据进行数据分析，得到分析数据，通过报警规则确保数据安全，且通过数据规则减少数据上传到云端服务器后的数据计算量，减少带宽占用，并通过先进行的数据分析，缓解云端对数据进行计算分析的压力，降低数据延迟的情况出现，进而将该分析数据上传至云端服务器，提升数据实时采集、处理的速率。
进一步地，基于本发明数据采集方法第二实施例，提出本发明数据采集方法第三实施例，所述步骤S100，采集终端的终端数据的步骤，包括：
步骤a，获取同一网络下的所有数据采集设备，并确定各所述数据采集设备的采集效率；
步骤b，依据预设采集规则和各所述采集效率，制定各所述数据采集设备对应的采集任务；
步骤c，控制各所述采集设备按照所述采集任务采集终端的终端数据。
本实施例中，需要说明的是，采集效率是指对终端采集的数据点的数量，预设采集规则是指确定当前的数据采集设备的当前采集效率，和与该数据采集设备连接的其他数据采集设备的当前采集效率，将当前采集效率低的数据采集设备对应的终端与当前采集效率高的数据采集设备监理关联关系，以使该多台数据采集设备对终端数据采集的采集效率最大化。采集任务是指数据采集设备对终端进行数据采集的任务。数据采集设备在对终端进行数据采集时，不同的数据采集设备当前的采集效率可能是不一样的，通预设采集规则合理规划采集任务，以使各数据采集设备的采集效率趋于平衡。例如，数据采集设备A对应的一号终端的数据采集效率为80％，数据采集设备B对应的二号终端的数据采集效率为20％，此时数据采集设备A的采集效率较高，且有较多的空闲，将数据采集设备A连接一号终端的同时连接二号终端，与数据采集设备B分担对二号终端的数据采集，使得数据采集设备A与数据采集设备B的采集效率均趋于50％。一实施例中，若同一网络下存在多台数据采集设备，则确定获取该网络下的所有数据采集设备的采集效率，为采集效率低的低效率数据采集设备分配采集效率高的高效率数据采集设备进行数据采集的分担，其中，通过预设采集规则限定优先分配采集效率最高的，即当前存在最多空闲采集资源的高效率数据采集设备，若采集效率最高的高效率数据采集设备存在多个，则分配距离该低效率数据采集设备最近的高效率数据采集设备为该低效率数据采集设备分担数据采集工作。
具体地，确定同一网络下的所有数据采集设备，获取该所有的数据采集设备对应的采集效率，确定预设采集规则，按照该预设采集规则和各个数据采集设备的采集效率，为各个数据采集设备指定数据采集任务，以使各个数据采集设备依据该数据采集任务对终端的数据进行数据采集。
本实施例中，通过获取各数据采集设备对应的采集效率进行采集任务的制定，以使数据采集设备依据采集任务进行数据采集工作，平衡各个数据采集设备之间的采集效率，实现同一网络内数据采集设备的采集效率最大化以及数据点更新最快化。
进一步地，将所述分析数据上传至云端服务器的步骤包括：
步骤d，检测当前网络状态是否符合数据上传条件；
步骤e，若当前网络状态符合所述数据上传条件，则将所述分析数据上传至云端服务器；
步骤f，若当前网络状态不符合所述数据上传条件，则依据预设压缩规则对本地的数据存储模块中的当前存储数据进行数据压缩；
步骤g，确定所述分析数据对应的时间戳信息，将所述时间戳信息与所述分析数据关联存储至进行数据压缩后的数据存储模块中。
本实施例中，需要说明的是，数据上传条件是指可以提供数据传输的网络状态值，是一个进行允许数据上传的网路限制条件，满足该数据上传条件的网络状态，则代表当前网络良好，数据可以上传，若不满足该数据上传条件，则代表当前网络差，或者处于断网状态，无法实现数据上传。若网络状态良好，则直接将分析数据上传至云端服务器；若当前网络状态不好，则将分析数据进行本地存储，在进行数据本地存储时，需将数据携带的时间戳信息与该数据一并存储。在进行数据本地存储时，需要确定当前数据采集设备中的数据存储模块是否还有存储容量进行新的数据存储，通过预设压缩规则，可以自动限定是否对数据存储模块中的当前存储数据进行数据压缩以空出更多的存储空间。预设压缩规则可以根据数据存储模块本身的存储容量进行数据压缩阈值的限制，当数据存储模块中的数据达到该数据压缩阈值时，对当前存储的数据进行压缩，压缩后，继续存储新的数据。例如，数据存储模块本身的存储容量为5G，设置数据压缩阈值为4G，则在数据存储模块存储的数据量达到4G时，对数据存储模块中当前存储的数据进行数据压缩。可以理解的是，在对数据进行压缩后，若压缩后的数据达到数据存储模块对应的存储容量，则不再进行数据的存储。另一实施例中，在压缩后的数据达到数据存储模块对应的存储容量时，可对数据实行数据滚存，即将存储时间最靠前的历史数据进行删除，腾出存储容量，存储最近采集的数据。
具体地，得到分析数据后，检测当前网络状态是否满足数据上传条件，若满足数据上传条件，则将该分析数据上传至云端服务器；若不满足数据上传条件，则依据预设压缩规则对本地的数据存储模块中的当前存储数据进行数据压缩，并获取分析数据携带的时间戳信息，将该时间戳信息与该分析数据关联一并存储至进行数据压缩后的数据存储模块中。
本实施例中，基于网络状态，设置两种数据存储方式，避免数据丢失，提升数据采集的安全性；并进一步在进行本地存储时，采用数据压缩机制，尽可能的扩大数据本地存储容量，减少数据丢失，且在进行数据存储时一并存储数据对应的时间戳信息，便于数据追溯，提升数据的有效性。
进一步地，将所述分析数据上传至云端服务器的步骤之后，还包括：
步骤h，获取所述分析数据，并确定用户数据标准；
步骤i，对所述分析数据进行二次处理以满足所述用户数据标准，得到二次数据；
步骤j，将所述二次数据存储至本地的数据存储模块中。
本实施例中，需要说明的是，用户数据标准是指用户需要获取的数据状态，例如，进行数据展示的数据形态。该用户数据标准，可以根据用户实际需求进行自定义和实时变更。具体地，在得到分析数据后，同步将数据上传至云端服务器和发送是数据采集模块的数据二次开发模块，数据二次开发模块在获取分析数据后，确定用户数据标准，并按照该用户标准对分析数据进行二次处理，得到二次数据，将该二次数据存储至数据采集设备的数据存储模块中，以供用户使用。
本实施例中，通过对分析数据进行二次处理，以达到用户数据标准，存储至本地，为满足用户实时需求，提供给用户使用，提升用户使用感，并提升数据的可利用率。
参考图5，在网络级联后，各数据采集设备可互相进行通信，进行数据采集，将采集的数据进行存储和数据分析，进而得到分析数据，将分析数据上传并进行数据二次开发。
此外，本发明还提出一种数据采集装置，其特征在于，所述数据采集装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集控制程序，其中：所述数据采集程序被所述处理器执行时实现本发明各个实施例所述的数据采集方法。
此外，本发明还提出一种计算机可读存储介质，其上存储有数据采集程序。所述计算机可读存储介质可以是图1的终端中的存储器20，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干指令用以使得一台具有处理器的数据采集装置执行本发明各个实施例所述的数据采集方法。
可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据采集设备，其特征在于，所述数据采集设备包括网络级联模块、采集模块、数据存储模块、数据分析模块和数据上传模块，所述网络级联模块、所述采集模块、所述数据存储模块、所述数据分析模块和所述数据上传模块之间建立有通信连接；
所述数据采集设备通过所述数据上传模块和云端服务器建立有连接关系，并通过所述网络级联模块和至少一个终端建立有连接关系；
所述采集模块，用于通过所述网络级联模块采集所述终端的终端数据，并将所述终端数据发送至所述数据存储模块进行存储；
所述数据分析模块，用于对所述数据存储模块中已存储的终端数据进行数据分析，得到分析数据；
所述数据上传模块，用于将所述数据分析模块进行数据分析得到的分析数据上传至云端服务器。
2.如权利要求1所述的数据采集设备，其特征在于，所述采集模块，还包括采集效率分析单元；
所述采集效率分析单元，用于获取同一网络下的所有数据采集设备的采集效率，并根据各所述采集效率和预设采集规则，确定各所述数据采集设备与终端之间的关联关系，以使所述网络级联模块根据所述关联关系连接各所述数据采集设备与终端。
3.如权利要求1所述的数据采集设备，其特征在于，所述采集模块，还包括数据采集单元；
所述数据采集单元，用于采集与所述数据采集设备连接的终端的终端数据，并将所述终端数据发送至所述数据存储模块进行存储。
4.如权利要求1所述的数据采集设备，其特征在于，所述数据采集设备还包括数据二次开发模块；
所述数据二次开发模块与所述数据分析模块通信连接，所述数据二次开发模块，用于获取所述分析数据，并对所述分析数据进行二次处理，得到二次数据；
所述数据二次开发模块与所述数据存储模块通信连接，所述数据二次开发模块还用于将所述二次数据存储至所述数据存储模块。
5.一种数据采集方法，其特征在于，所述数据采集方法包括以下步骤：
采集终端的终端数据；
获取输入的数据分析规则，并基于所述数据分析规则中的报警规则确定所述终端数据是否满足报警条件；
若否，则基于所述数据分析规则中的数据规则对所述终端数据进行数据分析，得到分析数据；
将所述分析数据上传至云端服务器。
6.如权利要求5所述的数据采集方法，其特征在于，所述采集终端的终端数据的步骤包括：
获取同一网络下的所有数据采集设备，并确定各所述数据采集设备的采集效率；
依据预设采集规则和各所述采集效率，制定各所述数据采集设备对应的采集任务；
控制各所述采集设备按照所述采集任务采集终端的终端数据。
7.如权利要求5所述的数据采集方法，其特征在于，所述将所述分析数据上传至云端服务器的步骤包括：
检测当前网络状态是否符合数据上传条件；
若当前网络状态符合所述数据上传条件，则将所述分析数据上传至云端服务器；
若当前网络状态不符合所述数据上传条件，则依据预设压缩规则对本地的数据存储模块中的当前存储数据进行数据压缩；
确定所述分析数据对应的时间戳信息，将所述时间戳信息与所述分析数据关联存储至进行数据压缩后的数据存储模块中。
8.如权利要求5所述的数据采集方法，其特征在于，所述将所述分析数据上传至云端服务器的步骤之后，还包括：
获取所述分析数据，并确定用户数据标准；
对所述分析数据进行二次处理以满足所述用户数据标准，得到二次数据；
将所述二次数据存储至本地的数据存储模块中。
9.一种数据采集装置，其特征在于，所述数据采集装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据采集程序，所述数据采集程序配置为实现如权利要求5至8中任一项所述的数据采集方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据采集程序，所述数据采集程序被处理器执行时实现如权利要求5至8中任一项所述的数据采集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629055.5A CN114510345B (zh) | 2021-12-28 | 2021-12-28 | 一种数据采集设备、方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629055.5A CN114510345B (zh) | 2021-12-28 | 2021-12-28 | 一种数据采集设备、方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114510345A true CN114510345A (zh) | 2022-05-17 |
| CN114510345B CN114510345B (zh) | 2024-06-04 |
Family
ID=81548008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111629055.5A Active CN114510345B (zh) | 2021-12-28 | 2021-12-28 | 一种数据采集设备、方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114510345B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115061966A (zh) * | 2022-06-28 | 2022-09-16 | 四川虹美智能科技有限公司 | 压缩机数据采集方法 |
| CN115391098A (zh) * | 2022-08-25 | 2022-11-25 | 北京有竹居网络技术有限公司 | 大数据分析方法、装置、边缘节点及云端服务器 |
| CN115442447A (zh) * | 2022-08-22 | 2022-12-06 | 南京森特智能科技有限公司 | 一种用于多源数据接入的边缘压缩计算装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248873A (zh) * | 2013-05-02 | 2013-08-14 | 大连海创高科信息技术有限公司 | 一种智慧电梯及运行方法 |
| CN104699736A (zh) * | 2014-11-21 | 2015-06-10 | 北京华悦科技有限公司 | 一种分布式的基于可移动设备的大规模数据采集***及方法 |
| CN105260285A (zh) * | 2015-10-21 | 2016-01-20 | 深圳市共济科技有限公司 | 一种数据中心数据采集并上传的方法及*** |
| CN107426013A (zh) * | 2017-05-27 | 2017-12-01 | 重庆交通开投科技发展有限公司 | 设备信息监测方法、装置及*** |
| CN112202840A (zh) * | 2020-09-07 | 2021-01-08 | 天地（常州）自动化股份有限公司 | 基于边缘计算模式的煤矿火灾报警***、方法及存储介质 |
| CN112612680A (zh) * | 2020-12-29 | 2021-04-06 | 永辉云金科技有限公司 | 一种消息告警方法、***、计算机设备及存储介质 |
| CN113254529A (zh) * | 2021-05-12 | 2021-08-13 | 兰州兰石集团有限公司 | 一种基于边缘计算和HiTSDB存储的工业物联网平台 |
-
2021
- 2021-12-28 CN CN202111629055.5A patent/CN114510345B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248873A (zh) * | 2013-05-02 | 2013-08-14 | 大连海创高科信息技术有限公司 | 一种智慧电梯及运行方法 |
| CN104699736A (zh) * | 2014-11-21 | 2015-06-10 | 北京华悦科技有限公司 | 一种分布式的基于可移动设备的大规模数据采集***及方法 |
| CN105260285A (zh) * | 2015-10-21 | 2016-01-20 | 深圳市共济科技有限公司 | 一种数据中心数据采集并上传的方法及*** |
| CN107426013A (zh) * | 2017-05-27 | 2017-12-01 | 重庆交通开投科技发展有限公司 | 设备信息监测方法、装置及*** |
| CN112202840A (zh) * | 2020-09-07 | 2021-01-08 | 天地（常州）自动化股份有限公司 | 基于边缘计算模式的煤矿火灾报警***、方法及存储介质 |
| CN112612680A (zh) * | 2020-12-29 | 2021-04-06 | 永辉云金科技有限公司 | 一种消息告警方法、***、计算机设备及存储介质 |
| CN113254529A (zh) * | 2021-05-12 | 2021-08-13 | 兰州兰石集团有限公司 | 一种基于边缘计算和HiTSDB存储的工业物联网平台 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115061966A (zh) * | 2022-06-28 | 2022-09-16 | 四川虹美智能科技有限公司 | 压缩机数据采集方法 |
| CN115061966B (zh) * | 2022-06-28 | 2023-05-23 | 四川虹美智能科技有限公司 | 压缩机数据采集方法 |
| CN115442447A (zh) * | 2022-08-22 | 2022-12-06 | 南京森特智能科技有限公司 | 一种用于多源数据接入的边缘压缩计算装置 |
| CN115391098A (zh) * | 2022-08-25 | 2022-11-25 | 北京有竹居网络技术有限公司 | 大数据分析方法、装置、边缘节点及云端服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114510345B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114510345A (zh) | 一种数据采集设备、方法、装置及计算机可读存储介质 | |
| CN109032801B (zh) | 一种请求调度方法、***及电子设备和存储介质 | |
| CN109218355B (zh) | 负载均衡引擎，客户端，分布式计算***以及负载均衡方法 | |
| CN109510723B (zh) | 网关设备、物联网事务管控***及方法 | |
| CN113220715B (zh) | 一种数据处理方法、***、计算机及可读存储介质 | |
| CN112272239A (zh) | 边缘计算方法、装置、智能终端及计算机可读存储介质 | |
| WO2021169268A1 (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN106155817B (zh) | 业务信息处理方法、服务器及*** | |
| CN108256118B (zh) | 数据处理方法、装置、***、计算设备以及存储介质 | |
| CN113595784A (zh) | 网络流量检测方法、装置、设备、存储介质及程序产品 | |
| CN110598093B (zh) | 一种业务规则管理方法及装置 | |
| CN105677492B (zh) | 一种面向终端的可靠应用执行方法 | |
| CN113961610A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN109525443B (zh) | 分布式前置采集通讯链路的处理方法、装置和计算机设备 | |
| CN114327846A (zh) | 集群的扩容方法、装置、电子设备及计算机可读存储介质 | |
| CN114598652B (zh) | 一种流量调控方法、装置、设备及可读存储介质 | |
| WO2020082599A1 (zh) | 云端控制方法、装置、计算机设备及存储介质 | |
| CN113746685B (zh) | 基于pulsar日志采集流处理方法、处理装置及可读存储介质 | |
| CN111049751A (zh) | 数据传输优化方法、装置、设备及可读存储介质 | |
| CN116166427A (zh) | 自动扩缩容方法、装置、设备及存储介质 | |
| CN112770358B (zh) | 基于业务数据的多速率模式数据发送控制方法及装置 | |
| CN107347024A (zh) | 一种存储操作日志的方法和装置 | |
| CN113542424A (zh) | 数据处理方法、装置、设备及计算机程序产品 | |
| CN113221039A (zh) | 页面展示方法、装置、计算机设备和存储介质 | |
| CN112866332A (zh) | 基于云边融合实现突发事件识别预警的***、方法、装置、处理器及其存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |