CN111447229B - 一种基于压缩感知理论的大规模数据采集方法及装置 - Google Patents

Abstract

本发明公开了一种基于压缩感知理论的大规模数据采集方法及装置，包括：上级主机获取下级主机发送的采样数据，采样数据是下级主机根据动态采样参数矩阵对下级主机内存库中数据进行采集得到的，动态采样参数矩阵是根据采样点的固有物理特征参数矩阵确定的，依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和采样数据进行数据重构。下级主机通过动态采样参数矩阵进行数据压缩采集，然后通过上级主机进行数据重构，可以减少数据采集过程中的***资源消耗，提高了数据采集的效率，适用于大规模数据采集。

Description

一种基于压缩感知理论的大规模数据采集方法及装置

技术领域

本发明涉及数据采集领域，尤其涉及一种基于压缩感知理论的大规模数据采集方法及装置。

背景技术

随着数据采集和监控***在轨道交通、智慧楼宇等行业应用越来越广泛，监控的设备、应用越来越多，数据量也日益增大。一般来说，传统的数据采集协议为了及时获取较为准确的数据，会以一较小的固定周期采集全量数据，消耗较大网络和软硬件资源，给***造成极大的压力。当数据量日益增大时，这种采集方式会很快满足不了需求，因此需要一种面向大规模数据的采集算法。针对这个问题，综合监控领域未有相关专利发表。然而，在其他领域，针对大规模数据采集，传统的做法有两种，一种是增加采集设备，一种是在传输的过程中压缩。

这两种方式并不能从根本上解决综合监控领域面临的数据规模日益增大的问题，首先一味的增多采集设备，会极大的增加成本。而且随着采集设备的增多，采集的数据量会更多，对软件的数据处理模块造成更大的压力，对硬件的要求也会更高，而达到软件以及硬件的瓶颈时，面对海量的数据，面临的后果就只有一个：***处理不过来。随即会产生丢失关键数据等一系列问题。而在传输的过程中进行压缩，虽然会减轻网络的压力，但会增加数据处理模块的压力，因为增加了压缩数据以及解压缩数据的步骤。

发明内容

本发明实施例提供一种基于压缩感知理论的大规模数据采集方法及装置，以提高数据采集效率，节省网络及***资源。

第一方面，本发明实施例提供了一种基于压缩感知理论的大规模数据采集方法，包括：

上级主机获取下级主机发送的采样数据，所述采样数据是所述下级主机根据动态采样参数矩阵对所述下级主机内存库中数据进行采集得到的；所述动态采样参数矩阵是根据采样点的固有物理特征参数矩阵确定的；

所述上级主机依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构。

上述技术方案中，下级主机通过动态采样参数矩阵进行数据压缩采集，然后通过上级主机进行数据重构，可以减少数据采集过程中的***资源消耗，提高了数据采集的效率，适用于大规模数据采集。

可选的，所述上级主机根据采样点的固有物理特征参数矩阵确定所述动态采样参数矩阵，包括：

所述上级主机获取采样点的固有物理特征参数矩阵；

所述上级主机根据所述采样点的固有物理特征参数矩阵，生成采样的历史数据的变化特征参数矩阵；

所述上级主机根据所述采样的历史数据的变化特征参数矩阵，生成所述动态采样参数矩阵。

可选的，所述上级主机依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构之后，还包括：

所述上级主机根据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据，对所述采样的历史数据的变化特征参数矩阵进行修正；

所述上级主机根据修改后的所述采样的历史数据的变化特征参数矩阵生成所述动态采样参数矩阵。

可选的，所述上级主机进行数据重构，包括：

所述上级主机使用贪婪算法进行数据重构。

可选的，所述采样数据是所述下级主机在确认数据发生变化后采集发送的或所述下级主机周期性采集发送的或所述下级主机接收到所述上级主机发送的数据采集命令后采集发送的。

可选的，所述数据采集命令是所述上级主机周期性发送的。

第二方面，本发明实施例提供一种基于压缩感知理论的大规模数据采集装置，所述装置包括：

获取单元，用于获取下级主机发送的采样数据，所述采样数据是所述下级主机根据动态采样参数矩阵对所述下级主机内存库中数据进行采集得到的；所述动态采样参数矩阵是根据采样点的固有物理特征参数矩阵确定的；

处理单元，用于依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构。

可选的，所述处理单元具体用于：

获取采样点的固有物理特征参数矩阵；

根据所述采样点的固有物理特征参数矩阵，生成采样的历史数据的变化特征参数矩阵；根据所述采样的历史数据的变化特征参数矩阵，生成所述动态采样参数矩阵。

可选的，所述处理单元还用于：

在依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构之后，根据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据，对所述采样的历史数据的变化特征参数矩阵进行修正；

根据修改后的所述采样的历史数据的变化特征参数矩阵生成所述动态采样参数矩阵。

可选的，所述处理单元具体用于：

所述上级主机使用贪婪算法进行数据重构。

可选的，所述采样数据是所述下级主机在确认数据发生变化后采集发送的或所述下级主机周期性采集发送的或所述下级主机接收到所述上级主机发送的数据采集命令后采集发送的。

可选的，所述数据采集命令是所述上级主机周期性发送的。

第三方面，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于压缩感知理论的大规模数据采集方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于压缩感知理论的大规模数据采集方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种***架构示意图；

图2为本发明实施例提供的一种基于压缩感知理论的大规模数据采集方法的流程示意图；

图3为本发明实施例提供的一种采集算法的示意图；

图4为本发明实施例提供的一种IDE主-从协议数据采集流程的示意图；

图5为本发明实施例提供的一种IDE被动接收数据采集流程的示意图；

图6为本发明实施例提供的一种IDE主-从协议调度/切换采集过程的示意图；

图7为本发明实施例提供的一种IDE被动接收调度/切换采集过程的示意图；

图8为本发明实施例提供的一种基于压缩感知理论的大规模数据采集装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例所适用的一种***架构，该***架构可以包括上级主机100和下级主机200。上级主机100通过IDE(Internal Data Exchange Standards，内部数据采集协议)与下级主机200进行通信。

其中，该上级主机100可以为中心车站、控制中心的服务器设备。该下级主机200可以为下级车站、下级节点或RTU(远程终端单元)。下级主机200在接收到上级主机100发送的数据采集命令后就可以进行数据采集。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

传统的数据采集协议，一般为了直接采集全量数据，单位时间(1秒钟)内数据采集总量为采集点数*采集频率。当采集点数＝1000万，采集频率＝2时，每秒采集和处理的数据总量就是2000万，如果每个数据以平均2个字节计算，那么就意味着***将在有秒钟内传输、处理4000万字节的数据量。那么对***的网络、硬件和软件产生巨大的压力。这种采集方式，会消耗大量软硬件以及网络等***资源，给传输以及数据处理模块造成很大的压力，因此，其只能胜任数据量较小的情况，当应对大规模数据采集需求时，其对网络以及软硬件就会有很高的要求，当达到网络及软硬件的瓶颈时，传统数据采集协议就无法适用。

通过分析，工控***中的采集的大量物理量(如温度、压力、流量、运行状态等)很多或者变化缓慢，或者是连续的，或者是有峰值的，或者是有关联的，我们可以在变化缓慢时增大采集周期，在峰值或变化较快时减小采集周期，或者只采集某些物理量，其余相关物理量可以依据该物理量重构，即依照压缩感知的理论，在采集时就进行压缩，那么关键就是如何设计开发一种算法，快速地获得下一个采集点集合和采集时间。

根据压缩算法采集到少量数据后，如何重构，获得全量数据，成为另一个关键。重构算法是与采集算法相关的。重构算法的另一个关键是，算法的快速性、实用性和初始化的简单和易操作性，否则将失去实际应用价值。本发明实施例提供的数据协议算法恰恰解决了这个问题。

基于上述描述，图2示例性的示出了本发明提出的一种基于压缩感知理论的大规模数据采集方法的流程，该流程可由基于压缩感知理论的大规模数据采集装置执行，该装置可以位于上级主机内，也可以是该上级主机。

如图2所示，该流程步骤具体包括：

步骤201，上级主机获取下级主机发送的采样数据。

本发明实施例中，该采样数据是下级主机根据动态采样参数矩阵对所述下级主机内存库中数据进行采集得到的。其中，动态采样参数矩阵是根据采样点的固有物理特征参数矩阵确定的，具体的，上级主机可以获取采样点的固有物理特征参数矩阵，然后根据采样点的固有物理特征参数矩阵，生成采样的历史数据的变化特征参数矩阵，最后根据采样的历史数据的变化特征参数矩阵，生成动态采样参数矩阵。该动态采样参数矩阵包括动态的采样周期和变化值。

如图3所示的采集算法，其中矩阵A是采样点的固有物理特征参数表，矩阵B是从采样的历史数据提取的变化相关关系特征参数表，矩阵C是一个动态的采样周期和变化值矩阵，矩阵D内是新采样值。

程序初始运行后，会生成固有物理特征参数矩阵A，接着根据A生成变化特征参数矩阵B，然后由B生成采样周期和变化值矩阵C，当有采集任务时，上级便会依据C采集下级内存库数据，得到新采样值D。继而综合矩阵A，B和D，并使用复杂度较低，耗时较少的贪婪算法对数据进行重构，存储至内存库。

在本发明实施例提供的内部数据采集协议(IDE，Internal Data ExchangeStandards)中，每个下级节点都作为一个RTU(远程终端单元)，接收上级的数据采集命令后根据动态采样参数矩阵(矩阵C)进行发送或根据动态采样参数矩阵(矩阵C)直接进行数据的发送。该IDE在具体应用的过程中可以以通信接口的方式连接上级主机和下级主机。

具体的，采样数据可以是下级主机在确认数据发生变化后采集发送的，采样数据可以是下级主机周期性采集发送的；采样数据也可以是下级主机接收到上级主机发送的数据采集命令后采集发送的。此外，数据采集命令可以是上级主机周期性发送的。

也就是说，IDE可以采用主-从和被动接收两种协议模式：

1、上级主机(中心)发送数据采集命令，下级主机(车站)接收命令后发送数据；

2、下级主机(车站)变化发送，上级主机(中心)被动接收。

IDE也可以采用周期和事件驱动采集：

1、下级主机周期发送或上级主机周期发送数据采集命令二

2、下级主机数据变化驱动发送或上级主机事件驱动发送数据采集命令。其中，事件驱动包括数据变化、***切换、任务调度等驱动采集等，比如：断面数据、变化数据。

步骤202，所述上级主机依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构。

当上级主机接收到下级主机发送的采样数据之后，就可以依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和采样数据，使用贪婪算法进行数据重构。

同时上级主机还可以根据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和采样数据，对采样的历史数据的变化特征参数矩阵进行修正，然后依据修改后的采样的历史数据的变化特征参数矩阵生成动态采样参数矩阵。

例如，上级主机在得到新的采样值D之后，会根据新的采样值D，以及A和B自身，对B进行修正，以期得到动态采样参数矩阵C，当有新的采集任务到来时，上级便会依照新的矩阵C进行采集，如此反复。

为了更好的解释本发明实施例，下面将在具体的实施场景下来描述上述数据采集的过程。

实施例一

IDE主-从协议数据采集流程：

上级主机的DAQ通过IDE协议向下级主机的RTU发送数据采集命令下级主机的RTU接收到数据采集命令后根据动态采样参数矩阵C，从下级内存库中采集数据，并将采集数据通过IDE协议发送给上级主机的DAQ，如图4所示，IDE为上级主机与下级主机之间的通信协议，这种情况属于上级主机向下级主机发送数据采样命令，下级主机反馈采集的数据。

实施例二

IDE被动接收协议数据采集流程：

下级主机的RTU周期性的依据动态采样参数矩阵C，从下级内存库采集数据，通过IDE协议将采集数据发送给上级主机的DAQ，如图5所示。

实施例三

IDE主-从协议调度/切换采集过程：

将下级节点(车站)视为一个RTU，而在分布式***中，任务所属处理节点可能因调度/切换发生变化。采用主-从协议时，当上级任务节点发生切换/调度时，则上级由变化后任务处理节点的DAQ通过IDE协议向下级节点发送命令，如图6所示，上级节点1为调度/切换前的任务节点，上级节点2为调度/切换后的任务节点，当发生节点调度/切换时，由上级节点2的DAQ发送调度/切换后的BAS命令；下级节点的RTU通过IDE协议收到命令后，依据动态采样参数矩阵C采集数据并通过IDE协议发送给上级节点2的DAQ。当下级任务节点发生切换/调度后，则上级节点DAQ将命令发送给下级正在处理该任务的节点；下级处理该任务节点的IDE协议收到命令后，采集RTU数据并向上级DAQ发送，如图6所示，下级节点3为调度/切换前的任务节点，下级节点4为调度/切换后的任务节点，当发生节点调度/切换时，由上级节点3的DAQ发送调度/切换后的BAS命令，下级节点4的RTU接收到命令后依据动态采样参数矩阵C采集数据并通过IDE协议发送给上级节点3的DAQ。

实施例四

IDE被动接收调度/切换采集过程：

采用被动接收协议时，当上级节点任务发生变化时，则下级数据节点的采集协议，根据上级任务调度结果，更改通道IP地址，向新的上级节点发送数据。如图7所示，上级节点1为调度/切换前的任务节点，上级节点2为调度/切换后的任务节点，当发生节点调度/切换时，下级节点的RTU依据动态采样参数矩阵C采集数据，通过更改通道IP使用IDE协议发送给上级节点2的DAQ。当下级节点任务发生变化时，则下级发送数据节点根据任务变化自动变化，更改所发送数据，如图7所示，下级节点3为调度/切换前的任务节点，下级节点4为调度/切换后的任务节点，当发生节点调度/切换时，由下级节点4的RTU采集数据，通过IDE协议发送给上级节点3的DAQ。

本发明实施例提供的用于数据采集监控领域的大规模数据采集算法，是基于压缩感知理论。压缩感知突破了传统的奈奎斯特采样定理，能够以远低于奈奎斯特采样速率的速率对信号进行采样，利用数据的冗余特性，只采集少量的样本还原原始数据，其必要条件是信号是稀疏的，而综合监控***中被采集对象的数据符合压缩感知理论中对信号的要求。本案根据″压缩感知理论″，针对工业数据采集监控领域的特点，通过分析被采集数据的物理特征和数据相关性，采用较少的采集点数替代一个固定的采集点数；动态采集周期替代固定的采集周期，即从采集的历史数据中通过智能算法获取其物理特征确定下一个最大的采集周期替代一个固定的采集周期，并通过智能算法恢复全量数据，并保证采集数据的精度和数量，从而达到***的要求。

本发明实施例中，上级主机获取下级主机发送的采样数据，采样数据是下级主机根据动态采样参数矩阵对下级主机内存库中数据进行采集得到的，动态采样参数矩阵是根据采样点的固有物理特征参数矩阵确定的，依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和采样数据进行数据重构。下级主机通过动态采样参数矩阵进行数据压缩采集，然后通过上级主机进行数据重构，可以减少数据采集过程中的***资源消耗，提高了数据采集的效率，适用于大规模数据采集。

基于相同的技术构思，图8示例性的示出了本发明实施例提供的一种基于压缩感知理论的大规模数据采集装置，该装置可以执行基于压缩感知理论的大规模数据采集方法的流程。

如图8所示，该装置具体包括：

获取单元801，用于获取下级主机发送的采样数据，所述采样数据是所述下级主机根据动态采样参数矩阵对所述下级主机内存库中数据进行采集得到的；所述动态采样参数矩阵是根据采样点的固有物理特征参数矩阵确定的；

处理单元802，用于依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构。

可选的，所述处理单元802具体用于：

获取采样点的固有物理特征参数矩阵；

根据所述采样点的固有物理特征参数矩阵，生成采样的历史数据的变化特征参数矩阵；

根据所述采样的历史数据的变化特征参数矩阵，生成所述动态采样参数矩阵。

可选的，所述处理单元802还用于：

在依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构之后，根据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据，对所述采样的历史数据的变化特征参数矩阵进行修正；

根据修改后的所述采样的历史数据的变化特征参数矩阵生成所述动态采样参数矩阵。

可选的，所述处理单元802具体用于：

所述上级主机使用贪婪算法进行数据重构。

可选的，所述采样数据是所述下级主机在确认数据发生变化后采集发送的或所述下级主机周期性采集发送的或所述下级主机接收到所述上级主机发送的数据采集命令后采集发送的。

可选的，所述数据采集命令是所述上级主机周期性发送的。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于压缩感知理论的大规模数据采集方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述基于压缩感知理论的大规模数据采集方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种基于压缩感知理论的大规模数据采集方法，其特征在于，所述方法包括：

上级主机获取下级主机发送的采样数据，所述采样数据是所述下级主机根据动态采样参数矩阵对所述下级主机内存库中数据进行采集得到的；

所述上级主机获取采样点的固有物理特征参数矩阵；

所述上级主机根据所述采样点的固有物理特征参数矩阵，生成采样的历史数据的变化特征参数矩阵；

所述上级主机根据所述采样的历史数据的变化特征参数矩阵，生成所述动态采样参数矩阵；

所述上级主机依据所述采样点的固有物理特征参数矩阵、所述采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构。

2.如权利要求1所述的方法，其特征在于，所述上级主机依据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构之后，还包括：

所述上级主机根据采样点的固有物理特征参数矩阵、采样的历史数据的变化特征参数矩阵和所述采样数据，对所述采样的历史数据的变化特征参数矩阵进行修正；

所述上级主机根据修改后的所述采样的历史数据的变化特征参数矩阵生成所述动态采样参数矩阵。

3.如权利要求1所述的方法，其特征在于，所述上级主机进行数据重构，包括：

所述上级主机使用贪婪算法进行数据重构。

4.如权利要求1至3任一项所述的方法，其特征在于，所述采样数据是所述下级主机在确认数据发生变化后采集发送的或所述下级主机周期性采集发送的或所述下级主机接收到所述上级主机发送的数据采集命令后采集发送的。

5.如权利要求4所述的方法，其特征在于，所述数据采集命令是所述上级主机周期性发送的。

6.一种基于压缩感知理论的大规模数据采集装置，其特征在于，所述装置包括：

获取单元，用于获取下级主机发送的采样数据，所述采样数据是所述下级主机根据动态采样参数矩阵对所述下级主机内存库中数据进行采集得到的；

所述获取单元，还用于获取采样点的固有物理特征参数矩阵；

所述获取单元，还用于根据所述采样点的固有物理特征参数矩阵，生成采样的历史数据的变化特征参数矩阵；

所述获取单元，还用于根据所述采样的历史数据的变化特征参数矩阵，生成所述动态采样参数矩阵；

处理单元，用于依据所述采样点的固有物理特征参数矩阵、所述采样的历史数据的变化特征参数矩阵和所述采样数据进行数据重构。

7.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的方法。

Images