CN115567562A - 一种矿山多元传感器数据采集、清洗及故障判别*** - Google Patents
一种矿山多元传感器数据采集、清洗及故障判别*** Download PDFInfo
- Publication number
- CN115567562A CN115567562A CN202211338736.0A CN202211338736A CN115567562A CN 115567562 A CN115567562 A CN 115567562A CN 202211338736 A CN202211338736 A CN 202211338736A CN 115567562 A CN115567562 A CN 115567562A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- queue
- abnormal
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 40
- 230000002159 abnormal effect Effects 0.000 claims abstract description 83
- 238000012544 monitoring process Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 18
- 239000011435 rock Substances 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims abstract description 13
- 238000003860 storage Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 20
- 238000013500 data storage Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000002085 persistent effect Effects 0.000 claims description 3
- 238000005406 washing Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 11
- 230000008447 perception Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Environmental & Geological Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明提供一种矿山多元传感器数据采集、清洗及故障判别***，属于矿山工程环境实时智能感知技术领域；包括：对矿山生产过程中岩体力学响应监测设备信息云端配置及力学响应信息实时采集存储的数据采集子***；基于监测设备信息配置后数据采集子***，实时采集的矿山生产过程中岩体力学响应信息数据，构建动态队列，按照二分类原则，实现队列数据分类，依据队尾元素的分类结果，判别出最新采集监测数据的异常状态的多元传感器异常数据清洗子***；采用动态时间窗口的形式，及用数据阈值或数据获取时间间隔的方式，实现传感器运行中的故障状态进行判断的传感器故障检测子***。
Description
技术领域
本发明涉及矿山工程环境实时智能感知技术领域，具体而言，尤其涉及一种矿山多元传感器数据采集、清洗及故障判别的***。
背景技术
近年来，5G、互联网+、云计算、人工智能、大数据等颠覆性技术的蓬勃发展，拉开了第四次工业革命的序幕，加速了采矿工程这种传统行业的变革，用智能化技术赋能矿业转型升级，矿山数字化、智能化转型已然成为矿山发展的必然趋势。
在矿山安装多元化传感器，实现环境的实时感知，是开展矿山数字化、智能化转型的基础。目前国内已有大量矿山安装了多元化监测设备，初步实现了矿山环境的实时感知，但是依旧存在着一些问题。首先，由于各个设备的通信协议存在差异，无法实现多元异构数据的统一管理；其次，矿山恶劣的环境会对传感器采集数据造成影响，使得传感器无法精确获取真实的环境数据，更有可能出现感知数据中断的问题。这些问题的存在会对矿山环境感知的连续性与准确性造成显著的影响，影响矿山数字化、智能化转型进程。由此可见，开发一种矿山多元传感器数据采集、清洗及故障判别的方法与***，实现多元传感器数据的一键化接入与统一化管理，监测数据的智能化清洗与传感器异常的自动化检测是非常有必要的。
发明内容
为了解决上述问题，提出一种矿山多元传感器数据采集、清洗及故障判别***，本发明的具体技术方案为：
一种矿山多元传感器数据采集、清洗及判别***，包括：
对矿山生产过程中岩体力学响应监测设备信息云端配置及力学响应信息实时采集存储的数据采集子***；
基于监测设备信息配置后数据采集子***，实时采集的矿山生产过程中岩体力学响应信息数据，构建动态队列，按照二分类原则，实现队列数据分类，依据队尾元素的分类结果，判别出最新采集监测数据的异常状态，完成多元传感器的数据清洗的多元传感器异常数据清洗子***；
基于清洗子***动态更新多元传感器的运行状态，采用动态时间窗口的形式，及用数据阈值或数据获取时间间隔的方式，实现传感器运行中的故障状态进行判断的传感器故障检测子***。
进一步地，所述数据采集子***包括:
用于对矿山生产过程中岩体力学响应等信息进行实时感知的多元环境感知设备；
用于对传感器基本信息及多元化监测数据的持久化保存，其中传感器基本信息表包括传输协议、测点映射代码、传感器名称、监测区域、负责人、采样周期、最新采样时间、异常采样数量、监测数据存储位置的云数据库；
其中多元化监测数据表主要对传感器编号、数据采集时间、采集数据及数据状态进行存储；
用于对传感器的数据传输协议、测点映射代码、传感器采样周期、监测区域、负责人等参数进行可视化配置及持久化保存至传感器基本信息表，并在此基础上，将多元传感器的感知数据实时存储至上述多元化监测数据表，以实现监测数据实时上云数据库的数据传输参数配置云服务。
进一步地：所述多元传感器通过数据传输协议云端配置，实现多元数据的实时传输。
进一步地：所述基于监测设备信息配置后数据采集子***，实时采集的矿山生产过程中岩体力学响应信息数据，构建动态队列，按照二分类原则，实现队列数据分类，依据队尾元素的分类结构，判别出最新采集监测数据的异常状态，完成多元传感器的数据清洗的过程如下：
步骤1.1，读取传感器定义表中测点映射代码及实时数据存储位置字段，构建传感器定义矩阵；
步骤1.2，遍历传感器定义矩阵，在指定数据表中读取m条正常数据作为初始数据，构成动态队列矩阵，其中，m为动态队列长度，可自主指定；
步骤1.3，开始数据实时采集，针对于采集到的最新传输数据，提取数据中的测点映射代码、感知数据，并在以映射代码作为检索条件，找到传感器定义矩阵中针对于此传感器的索引，并将感知数据推入至动态队列矩阵索引队列；
步骤1.4，找到动态队列矩阵索引队列中的最大值和最小值，在最大、最小值之间，生成两个不相等的随机中心点k1,k2，作为初始中心点，计算其队列中各元素距离中心点k1,k2的曼哈顿距离，以最小曼哈顿距离为条件，将队列元素分成两类，得到分类结果；
步骤1.5，结合分类结果，按照中点计算公式，生成新的中心点k1',k2'，当k1',k2'与k1,k2完全相等时，则进入步骤1.6，否则将k1',k2'的值分别赋予k1,k2，并在此回到步骤1.4；
步骤1.6，根据分类结果，计算最新监测数据所在类别的元素数量，从而判别最新采集监测数据的状态，若队尾元素所在类别元素数量小于k，则为异常状态，将其从队列矩阵索引队列中移除，否则为正常状态；将队列矩阵索引队列队首元素出队，该监测数据入队，实现时间窗口的动态更新；其中k为监测数据异常状态评价阈值，当k＝1时，表示数据处于完全异常状态，随着k的增大，异常数据的评判标准越低。
进一步地：所述异常数据的取值在[1，4]之间，异常数据的最优取值为2。
进一步地：还包括，获取当前最新数据采集时间，以此更新传感器定义表中最新采样时间数据；
当判断监测数据处于异常状态时，则更新传感器定义表中异常采样数量为原始数量加一，并将监测数据存储至队列矩阵索引队列中记录的数据表中，并将其deleted字段设置为1，表示其处于逻辑删除状态；
当判断监测数据处于正常状态时，则将数据存储至队列矩阵索引队列中记录的数据表中，并将其deleted字段设置为0。
进一步地：所述基于清洗子***动态更新多元传感器的运行状态，采用动态时间窗口的形式，及用数据阈值或数据获取时间间隔的方式，实现传感器运行中的故障状态进行判断的过程如下：
步骤2.1，设定动态时间窗口，采用定时任务的方式，动态读取传感器定义表中负责人、采样周期、最新采样时间、异常采样数量数据；
步骤2.2，基于动态获取的最新采样时间以及采样周期数据，结合当前时间，计算上次采样时间距当前时间的间隔，当此间隔超过n倍采样周期后，则说明传感器处于断线状态。其中n为用户指定的参数，用于表征***的传感器断线检测的灵敏度；
步骤2.3，基于步骤2.1中异常采样数量数据，判断其是否大于异常采样阈值k，若大于，则说明传感器出现数据采集异常，其中k为用户自定义参数，用于表征对异常数据检测的灵敏度。
步骤2.4，基于步骤2.2及步骤2.3的判断结果，当传感器被检测为断线或者数据采集异常状态时，结合步骤2.1中获取的负责人信息，发送短信及邮件报警信息，告知其对传感器进行检查维修，同时更新传感器定义中异常采样数量为0。
本发明一种矿山多元传感器数据采集、清洗及故障判别的***的有益效果为：
1)本发明采用云端可视化的方式对多元传感器数据传输相关信息进行配置，可实现多元环境感知数据的一键式接入与统一化管理，为后续数据的清洗提供连续数据源；
2)本发明采用动态队列及二分类的方式，实现了实时感知数据的异常状态进行判断，可实现异常数据的智能化剔除及传感器状态的自动化更新，保障了感知数据的可靠性，并为传感器的故障检测提供依据；
3)本发明采用定时任务完成动态时间窗口的构建，完成了传感器故障状态的检测，实现了采用邮件、短信方式向负责人发送传感器工作异常状态警报信息的功能，最大程度上保障了传感器采集数据的连续性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种矿山多元传感器数据采集、清洗及故障判别***架构图；
图2为本发明实例数据清洗流程图；
图3为本发明实施例数据采集子***界面图；
图4为本发明实例数据实时采集后台日志图；
图5为本发明实例数据清洗前后效果对比图；
图6为本发明实例传感器故障报警图；
图7本发明所用分类方法中原始数据示意图；
图8为本发明所用二分类方法处理结果示意图。
具体实施方式
为了更清楚的说明本发明的技术方案和实施实例，对实施例或现有技术中算法进行介绍。
图1为本发明一种矿山多元传感器数据采集、清洗及故障判别***架构图；
一种矿山多元传感器数据采集、清洗及判别***，其特征在于：包括：
对矿山生产过程中岩体力学响应监测设备信息云端配置及力学响应信息实时采集存储的数据采集子***；
基于监测设备信息配置后数据采集子***，实时采集的矿山生产过程中岩体力学响应信息数据，构建动态队列，按照二分类原则，实现队列数据分类，依据队尾元素的分类结果，判别出最新采集监测数据的异常状态；
所示数据采集子***一次只采集一条数据，判断的就是这一条数据的异常状态，简单来讲，就是通过前面历史的数据，判断最新的数据是不是故障的，完成多元传感器的数据清洗，得到多元传感器异常数据清洗子***；
在上面配置好监测设备的信息，就可以定时的对岩体力学信息进行感知，然后基于这个实时的岩体力学信息，构建动态队列，比如在12:00，来了感知了一条数据，就在12:00把这个数据放入动态队列，然后对这个队列进行分析，判断12:00的数据是不是异常的数据；
基于清洗子***动态更新多元传感器的运行状态，采用动态时间窗口的形式，及用数据阈值或数据获取时间间隔的方式，实现传感器运行中的故障状态进行判断的传感器故障检测子***。
基于清洗子***动态，如在12:00的时候，得到了12点这个数据是不是正常的，如果他是正常的就把得到的监测数据存到数据库，如果是异常的数据，以deleted为1的方式，将数据存储到数据库，并将异常数量加1，表示数据是异常的。不论是不是异常的，都把监测设备运行状态信息更新，主要更新最后一个采样时间字段，用最新采集数据的时间更新
然后这个清洗***的不断运行，就会不断的对多元传感器状态进行更新，之后通过多元传感器最后一次的采样时间与采集的异常数据量，进行传感器故障的判别
所述数据采集子***包括：用于对矿山生产过程中岩体力学响应等信息进行实时感知的多元环境感知设备；所述多元环境感知设备包括多点位移计、锚杆测力计、深孔测斜仪等；
用于对传感器基本信息及多元化监测数据的持久化保存，其中传感器基本信息表包括传输协议、测点映射代码、传感器名称、监测区域、负责人、采样周期、最新采样时间、异常采样数量、监测数据存储位置的云数据库；
其中多元化监测数据表主要对传感器编号、数据采集时间、采集数据及数据状态进行存储；
用于对传感器的数据传输协议、测点映射代码、传感器采样周期、监测区域、负责人等参数进行可视化配置及持久化保存至传感器基本信息表，并在此基础上，将多元传感器的感知数据实时存储至上述多元化监测数据表，以实现监测数据实时上云数据库的数据传输参数配置云服务。
所述多元传感器通过数据传输协议云端配置，实现多元数据的实时传输。
进一步地：所述基于获取的实时多元数据，构建动态队列，按照二分类原则，实现队列数据分类，依据队尾元素的分类结构，判别出最新采集监测数据中异常状态的数据，完成多元传感器的数据清洗的过程如下：
步骤1.1，首次启动服务时，读取传感器定义表中测点映射代码及实时数据存储位置字段，构建传感器定义矩阵SensorList；
步骤1.2，遍历传感器定义矩阵SensorList，在指定数据表中读取m条正常数据作为初始数据，构成动态队列矩阵SensorQueue，其中，m为动态队列长度，可自主指定；
步骤1.3，开始数据实时采集，针对于采集到的最新传输数据，提取数据中的测点映射代码及感知数据，并在以此作为检索条件，找到传感器定义矩阵SensorList中针对于此传感器的索引index，并将感知数据推入至动态队列矩阵索引队列SensorQueue[index]；
步骤1.4，找到动态队列矩阵索引队列SensorQueue[index]中的最大值和最小值，在最大、最小值之间，生成两个不相等的随机中心点k1,k2，作为初始中心点，计算其队列中各元素距离中心点k1,k2的曼哈顿距离，以最小曼哈顿距离为条件，将队列元素分成两类，得到分类结果；
步骤1.5，结合分类结果，按照中点计算公式，生成新的中心点k1',k2'，当k1',k2'与k1,k2完全相等时，则进入步骤1.6，否则将k1',k2'的值分别赋予k1,k2，并在此回到步骤1.4；
步骤1.6，根据分类结果，计算最新监测数据所在类别的元素数量，从而判别最新采集监测数据的状态，若队尾元素所在类别元素数量小于k，则为异常状态，将其从队列矩阵索引队列SensorList[index]中移除，否则为正常状态；将队列矩阵索列队SensorList[index]队首元素出队，该监测数据入队，实现时间窗口的动态更新；其中k为监测数据异常状态评价阈值，当k＝1时，表示数据处于完全异常状态，随着k的增大，异常数据的评判标准越低。
所述异常数据的取值在[1，4]之间，异常数据的最优值为2。
该方法还包括，获取当前最新数据采集时间，以此更新传感器定义表中最新采样时间数据；
当判断监测数据处于异常状态时，则更新传感器定义表中异常采样数量为原始数量加一，并将监测数据存储至队列矩阵索引队列SensorList[index]中记录的数据表中，并将其deleted字段设置为1，表示其处于逻辑删除状态；
当判断监测数据处于正常状态时，则将数据存储至队列矩阵索引队列SensorList[index]中记录的数据表中，并将其deleted字段设置为0。
图2为本发明实例数据清洗流程图；
进一步地：所述基于清洗子***动态更新多元传感器的运行状态，采用动态时间窗口的形式，及用数据阈值或数据获取时间间隔的方式，实现传感器运行中的故障状态进行判断的过程如下：
步骤2.1，设定动态时间窗口，采用定时任务的方式，动态读取传感器定义表中负责人、采样周期、最新采样时间、异常采样数量数据；
步骤2.2，基于动态获取的最新采样时间以及采样周期数据，结合当前时间，计算上次采样时间距当前时间的间隔，当此间隔超过n倍采样周期后，则说明传感器处于断线状态。其中n为用户指定的参数，用于表征***的传感器断线检测的灵敏度；
步骤2.3，基于步骤2.1中异常采样数量数据，判断其是否大于异常采样阈值k，若大于，则说明传感器出现数据采集异常，其中k为用户自定义参数，用于表征对异常数据检测的灵敏度。
步骤2.4，基于步骤2.2及步骤2.3的判断结果，当传感器被检测为断线或者数据采集异常状态时，结合步骤4.1中获取的负责人信息，发送短信及邮件报警信息，告知其对传感器进行检查维修，同时更新传感器定义中异常采样数量为0。
实施例
本实例采用金土木JTM-V7000系列多点位移计及JTM-V1000B系列振弦式锚杆测力计作为环境感知设备，采用传感器参数云端配置，实现感知数据实时上云、感知数据的智能化清洗与传感器故障的自动化检测。
一种矿山多元传感器数据清洗方法及故障判别的方法，实现传感器监测数据的一键接入、监测数据的智能化清洗、传感器故障的自动化检测，具体实施方案如下：
步骤1：数据采集子***搭建，包括金土木JTM-V7000系列多点位移计及JTM-V1000B系列振弦式锚杆测力计作为环境感知设备、云数据库及数据传输参数配置云服务。
图3为本发明实施例数据采集子***界面图；
具体的，打开图3所示数据传输参数配置云服务，点击新增或修改按钮，输入传感器测点名称、测点映射代码、数据库表名、解算公式及传输协议等参数，之后点击保存按钮，便可保存信息至传感器定义表，实现对传感器数据传输相关指标进行配置，完成监测数据上云；
图4为本发明实例数据实时采集后台日志图；
图4展示了云端配置完成后，监测数据上云的后台响应日志。其中传感器测点名称常用于表示传感器的监测位置，测点映射代码、解算公式及传输协议需要与感知设备供应商沟通后确定，本实例采用协议为MQTT协议进行数据的传输；数据库表名用于确定实时采集数据的存储位置，便于数据上云后的持久化保存；
步骤2：基于动态队列及二分类原则，实现实时监测数据异常状态的智能化判断，如图3所示。步骤2具体为：
步骤2.1，首次启动服务时，读取传感器定义表中测点映射代码及实时数据存储位置字段，构建传感器定义矩阵SensorList；
步骤2.2，遍历SensorList矩阵，在指定数据表中读取m条正常数据作为初始数据，构成动态队列矩阵SensorQueue，其中，m为动态队列长度，可自主指定；
步骤2.3，上述程序运行完毕后，借助于步骤1中配置的数据传输服务，开始数据实时采集，针对于采集到的最新传输数据，提取数据中的测点映射代码及感知数据，并在以此作为检索条件，找到SensorList中针对于此传感器的索引index，并令队列D＝SensorQueue[index]，同时将感知数据推入至队列D；
步骤2.4，按照式1-2分别求取两个随机且不相等的队列中心点k1',k2'，并令k1,k2分别等于k1',k2'；
k1′＝random(min(D),max(D)) (1)
k2′＝random(min(D),max(D)) (2)
步骤2.5，依据式3-4分别计算队列D中元素距离k1,k2中心点曼哈顿距离的绝对值，并依据式5，判断队列中各个元素所处类别；
dis1(i)＝|k1-D(i)| (3)
dis2(i)＝|k2-D(i)| (4)
category(i)＝(dis1(i)＜dis2(i))+2(dis2(i)＜dis1(i)) (5)
步骤2.6，依据式3-4分别计算队列D中元素距离k1,k2中心点曼哈顿距离的绝对值，并依据式5，判断队列中各个元素所处类别；
dis1(i)＝|k1-D(i)| (3)
dis2(i)＝|k2-D(i)| (4)
category(i)＝(dis1(i)＜dis2(i))+2(dis2(i)＜dis1(i)) (5)
步骤2.7，依据式6-7分别计算二分类后新的分类中心点k1',k2'，并判断k1',k2'是否与k1,k2相等，如若相等，则执行步骤2.8，否则令k1,k2分别等于k1',k2'，并执行步骤2.5；
步骤2.8，依据式8计算最新感知数据的异常状态评判变量noise，本实例取监测数据异常状态评价阈值k＝2，当noise≤2时，说明最新感知数据为异常离群数据，则将其直接标记为删除状态，并从队列中直接剔除；当noise＞2时，说明最新感知数据处于正常状态，则将其标记为正常状态，并让队列正常执行出队操作；
步骤3：依据步骤2中实时感知数据的异常状态的判断结果，进行数据的持久化保存。具体的，获取当前数据采集时间，以此更新传感器定义表中最新采样时间数据；当判断监测数据处于异常状态时，则更新传感器定义表中异常采样数量为原始数量加一，并将监测数据存储至该类数据所属的数据表中，并将其deleted字段设置为1，表示其处于逻辑删除状态；当判断监测数据处于正常状态时，则将数据存储至该类数据所属的数据表中，并将其deleted字段设置为0。该数据清洗方法最终效果如图5所示，图5为本发明实例数据清洗前后效果对比图；
步骤4：采用动态时间窗口的形式，对步骤3中动态更新传感器参数进行分析处理，分析传感器运行状态，如若监测出异常工作传感器，则以短信、邮件的形式向指定用户发送报警信息。步骤4具体为：
步骤4.1，设定动态时间窗口为1h，采用定时任务的方式，动态读取传感器定义表中负责人、采样周期、最新采样时间、异常采样数量数据；
步骤4.2，基于步骤4.1中动态获取的最新采样时间以及采样周期数据，结合当前时间，计算上次采样时间距当前时间的间隔，当此间隔超过3倍采样周期后，则说明传感器处于断线状态；
步骤4.3，基于步骤4.1中异常采样数量数据，判断其是否大于异常采样阈值10，若大于，则说明传感器出现数据采集异常；
步骤4.4，基于步骤4.2及步骤4.3的计算结果，当传感器被检测为断线或者数据采集异常状态时，结合步骤4.1中获取的负责人信息，发送短信及邮件报警信息，告知其对传感器进行检查维修，图6为本发明实例传感器故障报警图；同时更新传感器定义中异常采样数量为0。
图7本发明所用分类方法中原始数据示意图；
图8为本发明所用二分类方法处理结果示意图。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种矿山多元传感器数据采集、清洗及判别***，其特征在于：包括：
对矿山生产过程中岩体力学响应监测设备信息云端配置及力学响应信息实时采集存储的数据采集子***；
基于监测设备信息配置后数据采集子***，实时采集的矿山生产过程中岩体力学响应信息数据，构建动态队列，按照二分类原则，实现队列数据分类，依据队尾元素的分类结果，判别出最新采集监测数据的异常状态，完成多元传感器的数据清洗的多元传感器异常的数据清洗子***；
基于清洗子***动态更新多元传感器的运行状态，采用动态时间窗口的形式，及用数据阈值或数据获取时间间隔的方式，实现传感器运行中的故障状态进行判断的传感器故障检测子***。
2.根据权利要求1所述的一种矿山多元传感器数据采集、清洗及判别***，其特征在于：所述数据采集子***包括:
用于对矿山生产过程中岩体力学响应等信息进行实时感知的多元环境感知设备；
用于对传感器基本信息及多元化监测数据的持久化保存，其中传感器基本信息表包括传输协议、测点映射代码、传感器名称、监测区域、负责人、采样周期、最新采样时间、异常采样数量、监测数据存储位置的云数据库；
其中多元化监测数据表主要对传感器编号、数据采集时间、采集数据及数据状态进行存储；
用于对传感器的数据传输协议、测点映射代码、传感器采样周期、监测区域、负责人等参数进行可视化配置及持久化保存至传感器基本信息表，并在此基础上，将多元传感器的感知数据实时存储至上述多元化监测数据表，以实现监测数据实时上云数据库的数据传输参数配置云服务。
3.根据权1所述的一种矿山多元传感器数据采集、清洗及判别***，其特征在于：所述多元传感器通过数据传输协议云端配置，实现多元数据的实时传输。
4.根据权利要求1所述的一种矿山多元传感器数据采集、清洗及判别***，其特征在于：基于监测设备信息配置后数据采集子***，实时采集的矿山生产过程中岩体力学响应信息数据，构建动态队列，按照二分类原则，实现队列数据分类，依据队尾元素的分类结构，判别出最新采集监测数据的异常状态，完成多元传感器的数据清洗的过程如下：
步骤1.1，读取传感器定义表中测点映射代码及实时数据存储位置字段，构建传感器定义矩阵；
步骤1.2，遍历传感器定义矩阵，在指定数据表中读取m条正常数据作为初始数据，构成动态队列矩阵，其中，m为动态队列长度，可自主指定；
步骤1.3，开始数据实时采集，针对于采集到的最新传输数据，提取数据中的测点映射代码、感知数据，并在以映射代码作为检索条件，找到传感器定义矩阵中针对于此传感器的索引，并将感知数据推入至动态队列矩阵索引队列；
步骤1.4，找到动态队列矩阵索引队列中的最大值和最小值，在最大、最小值之间，生成两个不相等的随机中心点k1,k2，作为初始中心点，计算其队列中各元素距离中心点k1,k2的曼哈顿距离，以最小曼哈顿距离为条件，将队列元素分成两类，得到分类结果；
步骤1.5，结合分类结果，按照中点计算公式，生成新的中心点k1',k2'，当k1',k2'与k1,k2完全相等时，则进入步骤1.6，否则将k1',k2'的值分别赋予k1,k2，并在此回到步骤1.4；
步骤1.6，根据分类结果，计算最新监测数据所在类别的元素数量，从而判别最新采集监测数据的状态，若队尾元素所在类别元素数量小于k，则为异常状态，将其从队列矩阵索引队列中移除，否则为正常状态；将队列矩阵索引队列队首元素出队，该监测数据入队，实现时间窗口的动态更新；其中k为监测数据异常状态评价阈值，当k＝1时，表示数据处于完全异常状态，随着k的增大，异常数据的评判标准越低。
5.根据权利要求1所述的一种矿山多元传感器数据采集、清洗及判别***，其特征在于：所述异常数据的取值在[1，4]之间，异常数据的最优取值为2。
6.根据权利要求2所述的一种矿山多元传感器数据采集、清洗及判别***，其特征在于：还包括，获取当前最新数据采集时间，以此更新传感器定义表中最新采样时间数据；
当判断监测数据处于异常状态时，则更新传感器定义表中异常采样数量为原始数量加一，并将监测数据存储至队列矩阵索引队列中记录的数据表中，并将其deleted字段设置为1，表示其处于逻辑删除状态；
当判断监测数据处于正常状态时，则将数据存储至队列矩阵索引队列中记录的数据表中，并将其deleted字段设置为0。
7.根据权利要求1所述的一种矿山多元传感器数据采集、清洗及判别***，其特征在于：所述基于清洗子***动态更新多元传感器的运行状态，采用动态时间窗口的形式，及用数据阈值或数据获取时间间隔的方式，实现传感器运行中的故障状态进行判断的过程如下：
步骤2.1，设定动态时间窗口，采用定时任务的方式，动态读取传感器定义表中负责人、采样周期、最新采样时间、异常采样数量数据；
步骤2.2，基于动态获取的最新采样时间以及采样周期数据，结合当前时间，计算上次采样时间距当前时间的间隔，当此间隔超过n倍采样周期后，则说明传感器处于断线状态。其中n为用户指定的参数，用于表征***的传感器断线检测的灵敏度；
步骤2.3，基于步骤2.1中异常采样数量数据，判断其是否大于异常采样阈值k，若大于，则说明传感器出现数据采集异常，其中k为用户自定义参数，用于表征对异常数据检测的灵敏度。
步骤2.4，基于步骤2.2及步骤2.3的判断结果，当传感器被检测为断线或者数据采集异常状态时，结合步骤2.1中获取的负责人信息，发送短信及邮件报警信息，告知其对传感器进行检查维修，同时更新传感器定义中异常采样数量为0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211338736.0A CN115567562A (zh) | 2022-10-28 | 2022-10-28 | 一种矿山多元传感器数据采集、清洗及故障判别*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211338736.0A CN115567562A (zh) | 2022-10-28 | 2022-10-28 | 一种矿山多元传感器数据采集、清洗及故障判别*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115567562A true CN115567562A (zh) | 2023-01-03 |
Family
ID=84768263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211338736.0A Pending CN115567562A (zh) | 2022-10-28 | 2022-10-28 | 一种矿山多元传感器数据采集、清洗及故障判别*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115567562A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116702030A (zh) * | 2023-05-31 | 2023-09-05 | 浙江大学 | 一种基于传感器可靠性分析的高炉状态监测方法及装置 |
| CN117537749A (zh) * | 2023-11-20 | 2024-02-09 | 北京年管家信息科技有限公司 | 一种用于矿井井筒巡检机器人的罐耳磨损监测方法 |
| CN117788740A (zh) * | 2023-12-29 | 2024-03-29 | 武汉永业赛博能规划勘测有限公司 | 基于三维模型的计算方法、***和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324691A (zh) * | 2013-06-03 | 2013-09-25 | 河海大学 | 一种基于M-tree的音频检索方法 |
| CN103793599A (zh) * | 2014-01-17 | 2014-05-14 | 浙江远图智控***有限公司 | 一种基于隐马尔科夫模型的出行异常检测方法 |
| CN110366031A (zh) * | 2019-07-24 | 2019-10-22 | 长春融成智能设备制造股份有限公司 | 一种数字化车间mes***基于视觉的异常状态监测与故障诊断方法 |
| CN112925279A (zh) * | 2021-01-30 | 2021-06-08 | 重庆简华科技有限公司 | 一种基于mes***的故障综合分析*** |
| CN113535445A (zh) * | 2021-01-06 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 一种异常检测方法、设备及计算机可读存储介质 |
-
2022
- 2022-10-28 CN CN202211338736.0A patent/CN115567562A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324691A (zh) * | 2013-06-03 | 2013-09-25 | 河海大学 | 一种基于M-tree的音频检索方法 |
| CN103793599A (zh) * | 2014-01-17 | 2014-05-14 | 浙江远图智控***有限公司 | 一种基于隐马尔科夫模型的出行异常检测方法 |
| CN110366031A (zh) * | 2019-07-24 | 2019-10-22 | 长春融成智能设备制造股份有限公司 | 一种数字化车间mes***基于视觉的异常状态监测与故障诊断方法 |
| CN113535445A (zh) * | 2021-01-06 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 一种异常检测方法、设备及计算机可读存储介质 |
| CN112925279A (zh) * | 2021-01-30 | 2021-06-08 | 重庆简华科技有限公司 | 一种基于mes***的故障综合分析*** |
Non-Patent Citations (1)
| Title |
|---|
| 吕云翔等编著: "机器学习原理及应用", 31 August 2021, 机械工业出版社, pages: 97 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116702030A (zh) * | 2023-05-31 | 2023-09-05 | 浙江大学 | 一种基于传感器可靠性分析的高炉状态监测方法及装置 |
| CN116702030B (zh) * | 2023-05-31 | 2024-01-23 | 浙江大学 | 一种基于传感器可靠性分析的高炉状态监测方法及装置 |
| CN117537749A (zh) * | 2023-11-20 | 2024-02-09 | 北京年管家信息科技有限公司 | 一种用于矿井井筒巡检机器人的罐耳磨损监测方法 |
| CN117788740A (zh) * | 2023-12-29 | 2024-03-29 | 武汉永业赛博能规划勘测有限公司 | 基于三维模型的计算方法、***和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115567562A (zh) | 一种矿山多元传感器数据采集、清洗及故障判别*** | |
| CN110458195B (zh) | 一种基于多判据融合的异常数据甄别方法 | |
| WO2020134032A1 (zh) | 用于检测业务***异常的方法及其装置 | |
| EP3301586A1 (en) | Pre-processor and diagnosis device | |
| CN110334140B (zh) | 处理设备上报数据的方法、装置以及服务器 | |
| CN114118224A (zh) | 一种基于神经网络的全***遥测参数异常检测*** | |
| CN112905380A (zh) | 一种基于自动化监控日志的***异常检测方法 | |
| CN109857618B (zh) | 一种监控方法、装置及*** | |
| CN106971058A (zh) | 一种泵站运行监控数据异常点检测方法 | |
| CN109308589B (zh) | 电网自动化数据质量监测方法、存储介质、终端设备和*** | |
| CN118051863B (zh) | 一种基于数字计量技术的健康数据采集***及方法 | |
| CN112163618B (zh) | 一种设备故障的检测方法及检测*** | |
| CN117034149A (zh) | 故障处理策略确定方法、装置、电子设备和存储介质 | |
| CN115034094B (zh) | 一种金属加工机床运行状态预测方法及*** | |
| CN116628609A (zh) | 一种多源数据分析的智能监控方法及*** | |
| CN114331688A (zh) | 一种银行柜面***业务批量运行状态检测方法及装置 | |
| CN115168154A (zh) | 一种基于动态基线的异常日志检测方法、装置及设备 | |
| CN113535458B (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
| CN112907111A (zh) | 一种基于物联网技术的监控数据智能采集及分析方法 | |
| CN111740856A (zh) | 基于异常检测算法的网络通信设备告警采集异常预警方法 | |
| CN116861204B (zh) | 基于数字孪生的智能制造设备数据管理*** | |
| CN116975769B (zh) | 用于状态监测实时预警的自适应多维度异常值检测方法 | |
| CN115952085B (zh) | 一种支持快速测试开发的中间件*** | |
| CN117433591B (zh) | 基于多传感器数据的自动化设备监测*** | |
| CN111314170B (zh) | 一种基于连接统计规律分析的特征模糊p2p协议识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |