CN116502802A - 一种基于大数据与无线传感技术的数据管理*** - Google Patents

Abstract

本发明公开了一种基于大数据与无线传感技术的数据管理***，涉及数据管理技术领域，解决了现有技术中，无法对数据采集的特性信息进行分析，且不能够对完成采集的工业数据进行类型划分存储的技术问题；本发明是根据不同类型工业数据进行存储模型设定，将连续性数据进行存储模型设定，在连续性数据匹配存储模块时，将同一存储模块的连续性数据进行内存量限制，降低当前存储模块的连续性数据量，避免连续性数据过大，导致实时存储模块访问的工作强度大，造成实时存储模块的访问效率降低；在离散性数据存储时进行存储模型设定，提高了工业数据存储的利用率同时保证同一存储模块的运行强度正常。

Description

一种基于大数据与无线传感技术的数据管理***

技术领域

本发明涉及数据管理技术领域，具体为一种基于大数据与无线传感技术的数据管理***。

背景技术

大数据以容量大、类型多、存取速度快和应用价值高为主要特征的数据集合，最早应用于IT行业，目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，而无线传感器网络可以看成是由数据获取网络、数据颁布网络和控制管理中心三部分组成，主要组成部分是集成有传感器、处理单元和通信模块的节点，各节点通过协议自组成一个分布式网络，再将采集来的数据通过优化后经无线电波传输给信息处理中心；

但在现有技术中的工业生产加工过程，难以根据工业生产流程进行数据管理，既无法对数据采集的特性信息进行分析，且不能够对完成采集的工业数据进行类型划分存储，以至于工业生产数据管理效率低，此外也不能够将工业生产数据进行存储监管，造成实时存储资源分配不合理；

针对上述的技术缺陷，现提出一种解决方案。

发明内容

本发明的目的就在于为了解决上述提出的问题，而提出一种基于大数据与无线传感技术的数据管理***，在获取到实时采集特性信息后，将采集特性信息进行审核，判断采集特性信息是否满足当前工业数据采集需求，从而保证工业数据采集的合理性，便于对工业生产进展进行实时管控，防止工业数据采集效率低导致工业生产进展效率降低，造成工业生产延期的风险增加。

本发明的目的可以通过以下技术方案实现：一种基于大数据与无线传感技术的数据管理***，包括工业数据采集模块、工业数据存储模块以及工业数据监管模块；

工业数据采集模块对工业数据进行采集，在工业数据采集过程中，工业数据采集模块在采集工业数据的同时对实时采集特性信息进行获取，对采集特性信息进行审核，将通过审核的采集特性信息作为执行标准，并将执行标准下采集的工业数据进行存储；

在确定好采集特性信息后，将当前执行标准下采集的工业数据进行存储，并将存储的工业数据进行类型划分，根据工业数据的存储过程将工业数据划分为连续性数据和离散性数据，将连续性数据进行存储模型设定，在连续性数据匹配存储模块时，将同一存储模块的连续性数据进行内存量限制；并将离散型数据进行存储模块分析，根据分析将离散型数据划分为关系型离散数据和非关系型离散数据，并根据离散性数据类型进行存储模型设定；

在工业数据完成存储后，工业数据监管模块将实时存储的工业数据进行监管，将存储过程中数据存储分析和数据访问分析进行判定，判定不合格则将存储的工业数据进行删减并持续进行监管。

作为本发明的一种优选实施方式，工业数据表示为工业生产过程中产生的数据；采集特性信息表示为工业数据采集周期以及采集频率数据。

作为本发明的一种优选实施方式，采集特性信息审核步骤如下：

采集到工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率以及工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比，并将其分别与浮动频率阈值和浮动次数总占比阈值进行比较：

若工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率超过浮动频率阈值，或者工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比未超过浮动次数总占比阈值，则判定工业数据采集过程中实时采集特性信息设定不合格；

若工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率未超过浮动频率阈值，且工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比超过浮动次数总占比阈值，则判定工业数据采集过程中实时采集特性信息设定合格。

作为本发明的一种优选实施方式，在审核不合格时，将对应采集特性信息进行调整，并在采集特性信息完成调整后重新对工业数据进行采集，且将完成采集的工业数据进行审核；在审核合格时，将实时采集的工业数据进行存储并将当前采集特性信息作为执行标准，且同类型产品生产的工业数据采集以当前采集特性信息进行数据采集。

作为本发明的一种优选实施方式，工业数据存储模块对工业数据的采集时间段进行分析，将采集时间段获取到i个子节点，i为不唯一的自然数；获取到采集时间段内同类型工业数据属于同一节点的数量以及同类型工业数据获取子节点的平均相邻节点间隔量，并将其分别与同一节点数量阈值和平均相邻节点间隔量阈值进行比较：

若采集时间段内同类型工业数据属于同一节点的数量超过同一节点数量阈值，或者同类型工业数据获取子节点的平均相邻节点间隔量未超过平均相邻节点间隔量阈值，则将对应工业数据标记为连续性数据；反之，若采集时间段内同类型工业数据属于同一节点的数量未超过同一节点数量阈值，且同类型工业数据获取子节点的平均相邻节点间隔量超过平均相邻节点间隔量阈值，则将对应工业数据标记为离散性数据。

作为本发明的一种优选实施方式，离散性数据存储模块分析步骤如下：

采集到非同一离散性数据对应关系词的数量以及对应关系词的所属的离散性数据量，并将非同一离散性数据对应关系词的数量以及对应关系词的所属的离散性数据量分别与关系词数量阈值和所属数据量阈值进行比较：

若非同一离散性数据对应关系词的数量超过关系词数量阈值，且对应关系词的所属的离散性数据量超过所属数据量阈值，则将对应关系词所属的离散性数据均统一标记为关系型离散数据；若非同一离散性数据对应关系词的数量未超过关系词数量阈值，或者对应关系词的所属的离散性数据量未超过所属数据量阈值，则将对应关系词所属的离散性数据均统一标记为非关系型离散数据。

作为本发明的一种优选实施方式，在离散性数据存储时进行存储模型设定，即将同一存储模块的关系型离散数据对应关系词总数量进行控制，并将关系词现有数量对应的离散性数据量进行增加，且将统一关系词对应离散型数据量设定额定量阈值，并在额定量阈值范围内进行数据量增加；将非关系型离散数据进行存储且存储量以对应存储模块进行存储量分布式划分为若干个子模块，且以子模块的最大存储量为标准进行存储，直至存满则进入下一存储模块。

作为本发明的一种优选实施方式，在工业数据分类型匹配存储模块后，根据存储模块存储量设定时间存储节点，获取到存储模块内工业数据对应存储时间内数据量的增长量以及实时设定时间节点前后存储的工业数据对应访问量最大差值，并将其分别与数据量增长量阈值和访问量最大差值进行比较：

若存储模块内工业数据对应存储时间内数据量的增长量超过数据量增长量阈值，或者实时设定时间节点前后存储的工业数据对应访问量最大差值超过访问量最大差值，则将判定存储模块的实时存储工业数据分析不合格，对应存储模块内实时存储的工业数据进行删减，并持续进行监管；若存储模块内工业数据对应存储时间内数据量的增长量未超过数据量增长量阈值，且实时设定时间节点前后存储的工业数据对应访问量最大差值超过访问量最大差值，则将判定存储模块的实时存储工业数据分析合格，并继续对存储数据进行监管。

与现有技术相比，本发明的有益效果是：

1、本发明中，在获取到实时采集特性信息后，将采集特性信息进行审核，判断采集特性信息是否满足当前工业数据采集需求，从而保证工业数据采集的合理性，便于对工业生产进展进行实时管控，防止工业数据采集效率低导致工业生产进展效率降低，造成工业生产延期的风险增加。

2、本发明中，根据不同类型工业数据进行存储模型设定，将连续性数据进行存储模型设定，在连续性数据匹配存储模块时，将同一存储模块的连续性数据进行内存量限制，降低当前存储模块的连续性数据量，避免连续性数据过大，导致实时存储模块访问的工作强度大，造成实时存储模块的访问效率降低；在离散性数据存储时进行存储模型设定，提高了工业数据存储的利用率同时保证同一存储模块的运行强度正常。

3、本发明中，在工业数据完成存储后，工业数据监管模块将实时存储的工业数据进行监管，将存储过程中数据存储分析和数据访问分析进行判定，并通过数据存储分析和数据访问分析判断当前工业数据是否继续存储，从而对存储模块内的存储空间进行合理利用，并将存储模块的存储空间进行合理利用。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的原理框图；

图2为本发明中工业数据采集模块的流程图；

图3为本发明中工业数据存储模块的流程图；

图4为本发明中工业数据监管模块的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1所示，一种基于大数据与无线传感技术的数据管理***，包括工业数据采集模块、工业数据存储模块以及工业数据监管模块；

工业数据采集模块对工业数据进行采集，其中，工业数据表示为工业生产过程中产生的数据，如产量、工时等工业生产相关数据；

请参阅图2所示，在工业数据采集过程中，工业数据采集模块在采集工业数据的同时对实时采集特性信息进行获取，采集特性信息表示为工业数据采集周期以及采集频率等数据；在获取到实时采集特性信息后，将采集特性信息进行审核，判断采集特性信息是否满足当前工业数据采集需求，从而保证工业数据采集的合理性，便于对工业生产进展进行实时管控，防止工业数据采集效率低导致工业生产进展效率降低，造成工业生产延期的风险增加；

采集到工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率以及工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比，并将工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率以及工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比分别与浮动频率阈值和浮动次数总占比阈值进行比较：

若工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率超过浮动频率阈值，或者工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比未超过浮动次数总占比阈值，则判定工业数据采集过程中实时采集特性信息设定不合格，将对应采集特性信息进行调整，并在采集特性信息完成调整后重新对工业数据进行采集，且将完成采集的工业数据进行审核；

若工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率未超过浮动频率阈值，且工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比超过浮动次数总占比阈值，则判定工业数据采集过程中实时采集特性信息设定合格，将实时采集的工业数据进行存储并将当前采集特性信息作为执行标准，且同类型产品生产的工业数据采集以当前采集特性信息进行数据采集；

请参阅图3所示，在确定好采集特性信息后，将当前执行标准下采集的工业数据进行存储，并将存储的工业数据进行类型划分；工业数据存储模块对工业数据的采集时间段进行分析，将采集时间段获取到i个子节点，i为不唯一的自然数；获取到采集时间段内同类型工业数据属于同一节点的数量以及同类型工业数据获取子节点的平均相邻节点间隔量，并将采集时间段内同类型工业数据属于同一节点的数量以及同类型工业数据获取子节点的平均相邻节点间隔量分别与同一节点数量阈值和平均相邻节点间隔量阈值进行比较：

若采集时间段内同类型工业数据属于同一节点的数量超过同一节点数量阈值，或者同类型工业数据获取子节点的平均相邻节点间隔量未超过平均相邻节点间隔量阈值，则将对应工业数据标记为连续性数据；反之，若采集时间段内同类型工业数据属于同一节点的数量未超过同一节点数量阈值，且同类型工业数据获取子节点的平均相邻节点间隔量超过平均相邻节点间隔量阈值，则将对应工业数据标记为离散性数据；其中，同类型工业数据表示为类型一致的工业数据，如工时为一同类型，工时增加量、工时增加速度等均属于同一类型工业数据；

将连续性数据进行存储模型设定，在连续性数据匹配存储模块时，将同一存储模块的连续性数据进行内存量限制，降低当前存储模块的连续性数据量，避免连续性数据过大，导致实时存储模块访问的工作强度大，造成实时存储模块的访问效率降低；

将离散性数据进行存储模块分析，采集到非同一离散性数据对应关系词的数量以及对应关系词的所属的离散性数据量，并将非同一离散性数据对应关系词的数量以及对应关系词的所属的离散性数据量分别与关系词数量阈值和所属数据量阈值进行比较：其中，关系词表示为体现离散性数据的词句，如工时增加量、工时增加速度，则工时则作为离散性数据的关系词；

若非同一离散性数据对应关系词的数量超过关系词数量阈值，且对应关系词的所属的离散性数据量超过所属数据量阈值，则将对应关系词所属的离散性数据均统一标记为关系型离散数据；若非同一离散性数据对应关系词的数量未超过关系词数量阈值，或者对应关系词的所属的离散性数据量未超过所属数据量阈值，则将对应关系词所属的离散性数据均统一标记为非关系型离散数据；

在离散性数据存储时进行存储模型设定，即将同一存储模块的关系型离散数据对应关系词总数量进行控制，并将关系词现有数量对应的离散性数据量进行增加，且将统一关系词对应离散型数据量设定额定量阈值，并在额定量阈值范围内进行数据量增加，提高了工业数据存储的利用率同时保证同一存储模块的运行强度正常；将非关系型离散数据进行存储且存储量以对应存储模块进行存储量分布式划分为若干个子模块，且以子模块的最大存储量为标准进行存储，直至存满则进入下一存储模块；

请参阅图4所示，在工业数据完成存储后，工业数据监管模块将实时存储的工业数据进行监管，将存储过程中数据存储分析和数据访问分析进行判定，并通过数据存储分析和数据访问分析判断当前工业数据是否继续存储，从而对存储模块内的存储空间进行合理利用，并将存储模块的存储空间进行合理利用；

在工业数据分类型匹配存储模块后，根据存储模块存储量设定时间存储节点，获取到存储模块内工业数据对应存储时间内数据量的增长量以及实时设定时间节点前后存储的工业数据对应访问量最大差值，并将存储模块内工业数据对应存储时间内数据量的增长量以及实时设定时间节点前后存储的工业数据对应访问量最大差值分别与数据量增长量阈值和访问量最大差值进行比较：

若存储模块内工业数据对应存储时间内数据量的增长量超过数据量增长量阈值，或者实时设定时间节点前后存储的工业数据对应访问量最大差值超过访问量最大差值，则将判定存储模块的实时存储工业数据分析不合格，对应存储模块内实时存储的工业数据进行删减，并持续进行监管；若存储模块内工业数据对应存储时间内数据量的增长量未超过数据量增长量阈值，且实时设定时间节点前后存储的工业数据对应访问量最大差值超过访问量最大差值，则将判定存储模块的实时存储工业数据分析合格，并继续对存储数据进行监管。

本发明在使用时，工业数据采集模块对工业数据进行采集，在工业数据采集过程中，工业数据采集模块在采集工业数据的同时对实时采集特性信息进行获取，对采集特性信息进行审核，将通过审核的采集特性信息作为执行标准，并将执行标准下采集的工业数据进行存储；

在确定好采集特性信息后，将当前执行标准下采集的工业数据进行存储，并将存储的工业数据进行类型划分，根据工业数据的存储过程将工业数据划分为连续性数据和离散性数据，将连续性数据进行存储模型设定；并将离散型数据进行存储模块分析，根据分析将离散型数据划分为关系型离散数据和非关系型离散数据，并根据离散性数据类型进行存储模型设定；在工业数据完成存储后，工业数据监管模块将实时存储的工业数据进行监管，将存储过程中数据存储分析和数据访问分析进行判定，判定不合格则将存储的工业数据进行删减并持续进行监管。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种基于大数据与无线传感技术的数据管理***，其特征在于，包括工业数据采集模块、工业数据存储模块以及工业数据监管模块；

工业数据采集模块对工业数据进行采集，在工业数据采集过程中，工业数据采集模块在采集工业数据的同时对实时采集特性信息进行获取，对采集特性信息进行审核，将通过审核的采集特性信息作为执行标准，并将执行标准下采集的工业数据进行存储；

在确定好采集特性信息后，将当前执行标准下采集的工业数据进行存储，并将存储的工业数据进行类型划分，根据工业数据的存储过程将工业数据划分为连续性数据和离散性数据，将连续性数据进行存储模型设定，在连续性数据匹配存储模块时，将同一存储模块的连续性数据进行内存量限制；并将离散型数据进行存储模块分析，根据分析将离散型数据划分为关系型离散数据和非关系型离散数据，并根据离散性数据类型进行存储模型设定；

在工业数据完成存储后，工业数据监管模块将实时存储的工业数据进行监管，将存储过程中数据存储分析和数据访问分析进行判定，判定不合格则将存储的工业数据进行删减并持续进行监管。

2.根据权利要求1所述的一种基于大数据与无线传感技术的数据管理***，其特征在于，工业数据表示为工业生产过程中产生的数据；采集特性信息表示为工业数据采集周期以及采集频率数据。

3.根据权利要求1所述的一种基于大数据与无线传感技术的数据管理***，其特征在于，采集特性信息审核步骤如下：

采集到工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率以及工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比，并将其分别与浮动频率阈值和浮动次数总占比阈值进行比较：

若工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率超过浮动频率阈值，或者工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比未超过浮动次数总占比阈值，则判定工业数据采集过程中实时采集特性信息设定不合格；

若工业生产过程中相邻工业数据采集周期末始时间节点内工业数据数值浮动频率未超过浮动频率阈值，且工业数据采集周期内单次采集工业数据数值浮动次数与工业数据数值实际浮动次数的总占比超过浮动次数总占比阈值，则判定工业数据采集过程中实时采集特性信息设定合格。

4.根据权利要求3所述的一种基于大数据与无线传感技术的数据管理***，其特征在于，在审核不合格时，将对应采集特性信息进行调整，并在采集特性信息完成调整后重新对工业数据进行采集，且将完成采集的工业数据进行审核；在审核合格时，将实时采集的工业数据进行存储并将当前采集特性信息作为执行标准，且同类型产品生产的工业数据采集以当前采集特性信息进行数据采集。

5.根据权利要求1所述的一种基于大数据与无线传感技术的数据管理***，其特征在于，工业数据存储模块对工业数据的采集时间段进行分析，将采集时间段获取到i个子节点，i为不唯一的自然数；获取到采集时间段内同类型工业数据属于同一节点的数量以及同类型工业数据获取子节点的平均相邻节点间隔量，并将其分别与同一节点数量阈值和平均相邻节点间隔量阈值进行比较：

若采集时间段内同类型工业数据属于同一节点的数量超过同一节点数量阈值，或者同类型工业数据获取子节点的平均相邻节点间隔量未超过平均相邻节点间隔量阈值，则将对应工业数据标记为连续性数据；反之，若采集时间段内同类型工业数据属于同一节点的数量未超过同一节点数量阈值，且同类型工业数据获取子节点的平均相邻节点间隔量超过平均相邻节点间隔量阈值，则将对应工业数据标记为离散性数据。

6.根据权利要求1所述的一种基于大数据与无线传感技术的数据管理***，其特征在于，离散性数据存储模块分析步骤如下：

采集到非同一离散性数据对应关系词的数量以及对应关系词的所属的离散性数据量，并将非同一离散性数据对应关系词的数量以及对应关系词的所属的离散性数据量分别与关系词数量阈值和所属数据量阈值进行比较：

若非同一离散性数据对应关系词的数量超过关系词数量阈值，且对应关系词的所属的离散性数据量超过所属数据量阈值，则将对应关系词所属的离散性数据均统一标记为关系型离散数据；若非同一离散性数据对应关系词的数量未超过关系词数量阈值，或者对应关系词的所属的离散性数据量未超过所属数据量阈值，则将对应关系词所属的离散性数据均统一标记为非关系型离散数据。

7.根据权利要求1所述的一种基于大数据与无线传感技术的数据管理***，其特征在于，在离散性数据存储时进行存储模型设定，即将同一存储模块的关系型离散数据对应关系词总数量进行控制，并将关系词现有数量对应的离散性数据量进行增加，且将统一关系词对应离散型数据量设定额定量阈值，并在额定量阈值范围内进行数据量增加；将非关系型离散数据进行存储且存储量以对应存储模块进行存储量分布式划分为若干个子模块，且以子模块的最大存储量为标准进行存储，直至存满则进入下一存储模块。

8.根据权利要求1所述的一种基于大数据与无线传感技术的数据管理***，其特征在于，在工业数据分类型匹配存储模块后，根据存储模块存储量设定时间存储节点，获取到存储模块内工业数据对应存储时间内数据量的增长量以及实时设定时间节点前后存储的工业数据对应访问量最大差值，并将其分别与数据量增长量阈值和访问量最大差值进行比较：

若存储模块内工业数据对应存储时间内数据量的增长量超过数据量增长量阈值，或者实时设定时间节点前后存储的工业数据对应访问量最大差值超过访问量最大差值，则将判定存储模块的实时存储工业数据分析不合格，对应存储模块内实时存储的工业数据进行删减，并持续进行监管；若存储模块内工业数据对应存储时间内数据量的增长量未超过数据量增长量阈值，且实时设定时间节点前后存储的工业数据对应访问量最大差值超过访问量最大差值，则将判定存储模块的实时存储工业数据分析合格，并继续对存储数据进行监管。