CN116451142A - 一种基于机器学习算法的水质传感器故障检测方法 - Google Patents
一种基于机器学习算法的水质传感器故障检测方法 Download PDFInfo
- Publication number
- CN116451142A CN116451142A CN202310678980.XA CN202310678980A CN116451142A CN 116451142 A CN116451142 A CN 116451142A CN 202310678980 A CN202310678980 A CN 202310678980A CN 116451142 A CN116451142 A CN 116451142A
- Authority
- CN
- China
- Prior art keywords
- water quality
- data
- machine learning
- model
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 82
- 238000010801 machine learning Methods 0.000 title claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 229910052757 nitrogen Inorganic materials 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 13
- 238000007637 random forest analysis Methods 0.000 description 12
- 238000003066 decision tree Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000003911 water pollution Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- ZAMOUSCENKQFHK-UHFFFAOYSA-N Chlorine atom Chemical compound [Cl] ZAMOUSCENKQFHK-UHFFFAOYSA-N 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000460 chlorine Substances 0.000 description 1
- 229910052801 chlorine Inorganic materials 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 229910001385 heavy metal Inorganic materials 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- YBVAXJOZZAJCLA-UHFFFAOYSA-N nitric acid nitrous acid Chemical compound ON=O.O[N+]([O-])=O YBVAXJOZZAJCLA-UHFFFAOYSA-N 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/185—Electrical failure alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medicinal Chemistry (AREA)
- Biochemistry (AREA)
- Computing Systems (AREA)
- Food Science & Technology (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及机器学习技术领域，具体地说，涉及一种基于机器学习算法的水质传感器故障检测方法。其包括通过水质传感器获取水质数据，并将其保存为训练数据集和测试数据集；提取水质数据的特征；对提取到的特征数据进行归一化处理；使用训练数据集来训练机器学习模型，使用测试数据集评估机器学习模型的性能，输出指标信号；将实时采集到的水质数据输入已训练好的机器学习模型中，通过模型的输出判断传感器的故障状况。本发明提高了检测的准确性和可靠性，在将实时采集到的水质数据输入已训练好的机器学习模型中，通过机器学习模型的输出判断传感器的故障状况，在输出故障信号时预警提醒，可有效地提高水质监测的准确性和可靠性。
Description
技术领域
本发明涉及机器学习技术领域，具体地说，涉及一种基于机器学习算法的水质传感器故障检测方法。
背景技术
水质监测是保证用水安全和水污染治理不可或缺的环节，水质检测参数为用水安全和水污染治理提供技术保障，目前水质主要监测pH值、溶解氧、电导率、浊度和温度等水质常规五参数，以及ORP、氨氮、余氯、COD、BOD、重金属、亚硝酸-硝酸盐指数、总磷及叶绿素等对水自然环境影响较大监测因子，在进行水质监测时多采用水质传感器，然而，由于传感器长时间运行或受到环境因素的影响，往往会导致传感器出现故障，使得监测数据不准确或失效，给水质监测带来了一定的风险和不确定性，传统的故障检测方法主要依靠设备维护人员的经验和观察，容易出现漏检、误检等问题，并且无法实现对传感器故障的提前预警，鉴于此，我们提出一种基于机器学习算法的水质传感器故障检测方法。
发明内容
本发明的目的在于提供一种基于机器学习算法的水质传感器故障检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供一种基于机器学习算法的水质传感器故障检测方法，包括以下步骤：
S1、通过水质传感器获取水质数据，并将其保存为训练数据集和测试数据集；
S2、提取水质数据的特征，特征数据包括时域特征和频域特征；
S3、对提取到的特征数据进行归一化处理，以确保数据在相同的尺度上进行比较；
S4、使用训练数据集来训练机器学习模型，使用测试数据集评估机器学习模型的性能，输出指标信号；
S5、将实时采集到的水质数据输入已训练好的机器学习模型中，通过模型的输出判断传感器的故障状况，在输出故障信号时预警提醒。
作为本技术方案的进一步改进，所述S1中获取水质数据采用单片机作为数据采集设备，通过单片机连接水质传感器，实时采集水质数据，单片机将采集到的数据进行存储，并根据一定的时间间隔划分为训练数据集和测试数据集。
作为本技术方案的进一步改进，所述训练数据集包括正态样本和异常样本。
作为本技术方案的进一步改进，所述S2中提取时域特征包括平均值、方差和峰值，表达式如下：
平均值：；
其中，x为时域信号在给定时间窗口内的均值，xi为第i个时域信号的样本值，i为样本总数；
方差：；
峰值：
其中，为数据的方差，/>为数据峰值，xi表示选定时间窗口内的第i个数据样本，N为选定时间窗口内的总样本数。
作为本技术方案的进一步改进，所述S2中提取频域特征采用傅里叶变换，其表达式为：
；
其中，xn表示选定时间窗口内的第n个数据样本，N为选定时间窗口内的总样本数，Xk表示在频率域k的复数基上的幅度，j是虚数耽误，k和n表示在频域和时域的索引，e为常数。
作为本技术方案的进一步改进，所述S3进行归一化处理包括以下步骤：
对于每个特征维度，计算最大值和最小值；
将每个特征维度的数据进行转换，得到归一化后的数据，公式如下：
；
其中，N为归一化的数据，maxf为最大值，minf为最小值，x为原始数据。
作为本技术方案的进一步改进，所述S4中训练机器学习模型采用支持向量机算法，表达式如下：
；
其中，w表示分类器的超平面权重向量，b表示分类器的偏置项，C是一个正则化参数，是松弛变量，yi表示样本的标签，xi表示样本的特征向量，m表示样本总数。
作为本技术方案的进一步改进，所述S5还采用模型更新算法，所述模型更新算法用于随着水质数据的改变，对机器学习模型进行迭代更新。
与现有技术相比，本发明的有益效果：
该基于机器学习算法的水质传感器故障检测方法中，通过对大量水质数据的学习，建立了准确的故障检测模型，提高了检测的准确性和可靠性，在将实时采集到的水质数据输入已训练好的机器学习模型中，通过机器学习模型的输出判断传感器的故障状况，在输出故障信号时预警提醒，可有效地提高水质监测的准确性和可靠性。
附图说明
图1为本发明的整体流程框图图；
图2为本发明的S4的原理图；
图3为本发明的模型更新算法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
水质监测是保证用水安全和水污染治理不可或缺的环节，水质检测参数为用水安全和水污染治理提供技术保障，目前水质主要监测pH值、溶解氧、电导率、浊度和温度等水质常规五参数，以及ORP、氨氮、余氯、COD、BOD、重金属、亚硝酸-硝酸盐指数、总磷及叶绿素等对水自然环境影响较大监测因子，在进行水质监测时多采用水质传感器，然而，由于传感器长时间运行或受到环境因素的影响，往往会导致传感器出现故障，使得监测数据不准确或失效，给水质监测带来了一定的风险和不确定性，传统的故障检测方法主要依靠设备维护人员的经验和观察，容易出现漏检、误检等问题，并且无法实现对传感器故障的提前预警；
请参阅图1-图2示出本发明的第一实施例，本实施例提供一种基于机器学习算法的水质传感器故障检测方法，包括以下步骤：
S1、通过水质传感器获取水质数据，并将其保存为训练数据集和测试数据集；
所述S1中获取水质数据采用单片机作为数据采集设备，通过单片机连接水质传感器，实时采集水质数据，单片机将采集到的数据进行存储，并根据一定的时间间隔划分为训练数据集和测试数据集，具体通过单片机实时采集水质数据，将数据存储到内存或外部存储设备中，以一定时间间隔，如每隔一小时或每天，将已采集到的所有数据分成训练数据集和测试数据集，在训练数据集中选取一定比例的数据用于模型训练，剩余数据用于模型验证和调参，实现实时监测和数据持续记录，而将数据按照一定的时间间隔划分为训练数据集和测试数据集，是为了评估模型在新数据上的泛化能力，以避免过拟合和欠拟合等问题的发生。
所述训练数据集包括正态样本和异常样本，以便支持向量机模型能够从中学习出正常和异常模式之间的区别，同时，训练数据集应该包括一组特征向量和对应的标签，方便后续利用这些数据对模型进行训练。
S2、提取水质数据的特征，特征数据包括时域特征和频域特征，捕捉到水质数据的全面信息，综合利用多种特征，充分挖掘了数据中的有用信息，提高了故障检测的精度；
所述S2中提取时域特征包括平均值、方差和峰值，时域特征提取是针对选定的时间窗口内的数据进行的，这可以通过采取滑动窗口的方式实现，表达式如下：
平均值：；
其中，x为时域信号在给定时间窗口内的均值，xi为第i个时域信号的样本值，i为样本总数；
方差：；
峰值：；
其中，为数据的方差，/>为数据峰值，xi表示选定时间窗口内的第i个数据样本，N为选定时间窗口内的总样本数，这些特征提取方法在时间域内可以很好地描述水质数据的分布情况和动态变化情况，为后续建立水质预测模型提供了基础特征数据。
所述S2中提取频域特征采用傅里叶变换，其表达式为：
；
其中，xn表示选定时间窗口内的第n个数据样本，N为选定时间窗口内的总样本数，Xk表示在频率域k的复数基上的幅度，j是虚数耽误，k和n表示在频域和时域的索引，e为常数，通常用作复数旋转因子；这些特征通常用来描述水质数据在频域上的主要特征，对数据进行有效分类和预测具有重要作用。
S3、对提取到的特征数据进行归一化处理，以确保数据在相同的尺度上进行比较，消除了特征之间的尺度差异，提高了模型训练的稳定性和准确性，能够有效地处理不同特征之间的差异，提升了故障检测方法的整体性能；
所述S3进行归一化处理包括以下步骤：
对于每个特征维度，计算最大值和最小值；
将每个特征维度的数据进行转换，得到归一化后的数据，公式如下：
；
其中，N为归一化的数据，maxf为最大值，minf为最小值，x为原始数据，归一化处理可以提高特征的稳定性和鲁棒性，使得特征值在不同的尺度上具有可比性，以便更好地分析和处理数据。
S4、使用训练数据集来训练机器学习模型，使用测试数据集评估机器学习模型的性能，输出指标信号；
所述S4中训练机器学习模型采用支持向量机算法，表达式如下：
；
其中，w表示分类器的超平面权重向量，b表示分类器的偏置项，C是一个正则化参数，是松弛变量，yi表示样本的标签，xi表示样本的特征向量，m表示样本总数，在训练完成后，训练机器学习模型可以用于对新数据进行分类预测，支持向量机是一种有效的二元分类方法，适用于各种分类任务。
所述S4中评估机器学习模型的性能，输出指标信号包括准确率、召回率和F1值，它们分别衡量了模型的不同性能方面，表达式为：
准确率：准确率是分类所得结果（包括真阳性、真阴性和假阳性、假阴性的样本数）中预测正确的样本所占的比例，通常用于评估分类模型的整体性能；
；
其中，TP表示真阳性的样本数，TN表示真阴性的样本数，FP表示假阳性的样本数，FN表示假阴性的样本数；
召回率：召回率是指分类器正确地识别出正类样本的比例，也就是真阳性样本所占的比例，通常用于评估分类模型的敏感性和质量；
；
精确率：精确率是指分类器所预测为正类的样本中，实际为正类的比例，该指标通常用于评估分类器对于预测结果的准确度；
；
F1 值：F1 值是精确率和召回率的调和平均值，适用于分类器性能评估；
；
以上是常用的分类器评价指标，可以用于评估模型的分类性能，根据具体任务选择合适的指标进行评价，并通过样本量、特征数量等因素，综合考虑分类准确率、召回率和F1 值等指标。
S5、将实时采集到的水质数据输入已训练好的机器学习模型中，通过模型的输出判断传感器的故障状况，在输出故障信号时预警提醒，模型输出的结果通常是基于概率或设定的阈值，比如输出的可能是正常或异常的概率，或者输出的可能性大于设定的阈值时，则判断为传感器存在故障状况。如果传感器故障，则会相应地进行处理或报警，以便采取相应的措施，例如快速更换故障传感器或及时发出警报通知工程师进行检查。
综上所述，考虑到传感器出现故障，使得监测数据不准确或失效，给水质监测带来了一定的风险和不确定性，传统的故障检测方法主要依靠设备维护人员的经验和观察，容易出现漏检、误检等问题，并且无法实现对传感器故障的提前预警，通过对大量水质数据的学习，建立了准确的故障检测模型，提高了检测的准确性和可靠性，在将实时采集到的水质数据输入已训练好的机器学习模型中，通过机器学习模型的输出判断传感器的故障状况，在输出故障信号时预警提醒，可有效地提高水质监测的准确性和可靠性，而这种模型的构建可以应用于其它的环境监测中，如空气监测、地表水监测等。
并且，训练机器学习模型还采用随机森林算法，示出本发明的第二实施例，具体步骤如下：通常，需要将数据集划分为训练集和测试集，以便进行模型的训练和评估。训练集应包含足够数量的正常和异常样本，以便随机森林模型能够从中学习出正常和异常模式之间的区别，为了将数据输入随机森林模型中进行训练，需要先从原始数据中提取特征，通常将预处理后的数据表示为一个包含 n 个特征的向量 x(i)，其中 i 为数据样本的序号；
随机森林的训练通常包括以下关键步骤：
随机采样训练集样本：在随机森林的每个决策树中，随机采样一部分训练集样本，这样可以避免过拟合现象的发生；
随机采样特征：在训练每个决策树时，从所有特征中随机选取一个子集，在这个子集上进行训练，这种随机采样特征的方法可以让随机森林同时适用于低维和高维数据，避免过拟合的发生；
构建决策树：使用决策树算法，可以在随机子集和子空间中对每棵决策树进行训练。
整合决策树结果：将建好的决策树整合起来，形成一棵完整的随机森林模型；
然后进行随机森林预测：随机森林训练完成后，即可以使用其对新数据进行预测。该预测算法的步骤如下：
对于输入的样本数据，随机森林模型中的每棵树都会对其进行分类，每棵树随机选择一个特征进行节点分类，针对每棵决策树的预测结果，使用投票的方式进行聚合，得到最终的分类预测结果，总之，随机森林是一种强大的算法，能够处理各种分类和回归问题，尤其适用于高维数据和大型数据集。
由于水质数据具有变化性和时效性，模型在实际应用中需要不断地优化和更新，以适应不断变化的环境和需求，此外，为了提升模型的准确度、效率，可采用多种方法进行模型的优化、迭代和升级，如图3示出本发明的第三实施例，使所述S5还采用模型更新算法，所述模型更新算法用于随着水质数据的改变，对机器学习模型进行迭代更新，包括以下步骤：
模型优化：
超参数优化、对模型的超参数进行调整，以改善模型的性能。常见的优化算法包括网格搜索、随机搜索、贝叶斯优化等；
数据增强、通过对已有数据进行旋转、平移、缩放等方式进行变换或合成新的数据，以扩充训练数据集，提高模型的泛化性能；
正则化、通过对权重进行约束来规范模型的复杂度，防止过拟合，常见的正则化方法有L1、L2正则化等；
模型迭代与更新：
在线学习、对新的数据进行在线学习，动态调整模型参数，让模型随着新数据的不断加入而不断更新；
增量学习、通过增加新的模型层或节点等方式，对模型进行增量更新，使其能够更好地适应新的问题和任务；
集成学***均、投票等方式进行预测，提高模型的准确性和稳定性；
模型升级：
硬件升级、更换更高效、更稳定的处理器、显卡等硬件设备或者增加物理存储等方式来提升模型训练和推理的速度和效率；
算法升级、应用其他新近发表的算法，如卷积神经网络（CNN）、深度残差网络（ResNet）等，或者应用更高效、更准确的训练算法，如Adam、Adadelta等，不断优化、迭代和升级模型能够满足水质数据的变化性和时效性，提高模型的性能，增强模型的可靠性和实用性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种基于机器学习算法的水质传感器故障检测方法，其特征在于，包括以下步骤：
S1、通过水质传感器获取水质数据，并将其保存为训练数据集和测试数据集；
S2、提取水质数据的特征，特征数据包括时域特征和频域特征；
S3、对提取到的特征数据进行归一化处理，以确保数据在相同的尺度上进行比较；
S4、使用训练数据集来训练机器学习模型，使用测试数据集评估机器学习模型的性能，输出指标信号；
S5、将实时采集到的水质数据输入已训练好的机器学习模型中，通过模型的输出判断传感器的故障状况，在输出故障信号时预警提醒。
2.根据权利要求1所述的基于机器学习算法的水质传感器故障检测方法，其特征在于：所述S1中获取水质数据采用单片机作为数据采集设备，通过单片机连接水质传感器，实时采集水质数据，单片机将采集到的数据进行存储，并根据一定的时间间隔划分为训练数据集和测试数据集。
3.根据权利要求2所述的基于机器学习算法的水质传感器故障检测方法，其特征在于：所述训练数据集包括正态样本和异常样本。
4.根据权利要求1所述的基于机器学***均值、方差和峰值，表达式如下：
平均值：；
其中，x为时域信号在给定时间窗口内的均值，xi为第i个时域信号的样本值，i为样本总数；
方差：；
峰值：；
其中，为数据的方差，/>为数据峰值，xi表示选定时间窗口内的第i个数据样本，N为选定时间窗口内的总样本数。
5.根据权利要求4所述的基于机器学习算法的水质传感器故障检测方法，其特征在于：所述S2中提取频域特征采用傅里叶变换，其表达式为：
；
其中，xn表示选定时间窗口内的第n个数据样本，N为选定时间窗口内的总样本数，Xk表示在频率域k的复数基上的幅度，j是虚数耽误，k和n表示在频域和时域的索引，e为常数。
6.根据权利要求1所述的基于机器学习算法的水质传感器故障检测方法，其特征在于：所述S3进行归一化处理包括以下步骤：
对于每个特征维度，计算最大值和最小值；
将每个特征维度的数据进行转换，得到归一化后的数据，公式如下：
；
其中，N为归一化的数据，maxf为最大值，minf为最小值，x为原始数据。
7.根据权利要求1所述的基于机器学习算法的水质传感器故障检测方法，其特征在于：所述S4中训练机器学习模型采用支持向量机算法，表达式如下：
；
其中，w表示分类器的超平面权重向量，b表示分类器的偏置项，C是一个正则化参数，是松弛变量，yi表示样本的标签，xi表示样本的特征向量，m表示样本总数。
8.根据权利要求1所述的基于机器学习算法的水质传感器故障检测方法，其特征在于：所述S5还采用模型更新算法，所述模型更新算法用于随着水质数据的改变，对机器学习模型进行迭代更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310678980.XA CN116451142A (zh) | 2023-06-09 | 2023-06-09 | 一种基于机器学习算法的水质传感器故障检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310678980.XA CN116451142A (zh) | 2023-06-09 | 2023-06-09 | 一种基于机器学习算法的水质传感器故障检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116451142A true CN116451142A (zh) | 2023-07-18 |
Family
ID=87125907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310678980.XA Withdrawn CN116451142A (zh) | 2023-06-09 | 2023-06-09 | 一种基于机器学习算法的水质传感器故障检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116451142A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117171661A (zh) * | 2023-11-03 | 2023-12-05 | 山东鸿远新材料科技股份有限公司 | 一种化工厂污水处理监控方法及*** |
| CN117235661A (zh) * | 2023-08-30 | 2023-12-15 | 广州怡水水务科技有限公司 | 基于ai的直饮水质量监测方法 |
| CN117574280A (zh) * | 2024-01-15 | 2024-02-20 | 长春理工大学 | 基于多元特征参数与mdbo-rf的播种质量检测方法 |
| CN118091490A (zh) * | 2024-04-28 | 2024-05-28 | 国网辽宁省电力有限公司辽阳供电公司 | 一种架空高压电缆线路电流检测方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101207436A (zh) * | 2007-12-12 | 2008-06-25 | 上海华为技术有限公司 | 一种反馈延时锁相装置及方法以及相位误差检测单元 |
| CN108168682A (zh) * | 2017-12-22 | 2018-06-15 | 中国南方电网有限责任公司超高压输电公司曲靖局 | 一种基于振动信号支持向量机的gil故障在线监测*** |
| CN108665119A (zh) * | 2018-08-03 | 2018-10-16 | 清华大学 | 一种供水管网异常工况预警方法 |
| CN109782274A (zh) * | 2019-01-31 | 2019-05-21 | 长安大学 | 一种基于探地雷达信号时频统计特征的水损害识别方法 |
| CN112613157A (zh) * | 2020-11-26 | 2021-04-06 | 北京航天智造科技发展有限公司 | 转子故障分析方法及装置 |
| CN113537328A (zh) * | 2021-07-07 | 2021-10-22 | 大连理工大学人工智能大连研究院 | 一种基于深度学习的旋转机械故障诊断方法和装置 |
| CN113962259A (zh) * | 2021-10-11 | 2022-01-21 | 燕山大学 | 一种燃料电池***多模式双层故障诊断方法 |
| CN113988177A (zh) * | 2021-10-27 | 2022-01-28 | 广东工业大学 | 一种水质传感器异常数据检测与故障诊断方法 |
| CN115062272A (zh) * | 2021-07-21 | 2022-09-16 | 浙江水利水电学院 | 一种水质监测数据异常识别及预警方法 |
| CN115407038A (zh) * | 2022-10-11 | 2022-11-29 | 重庆大学 | 一种基于水质预警点选址的城市供水管网水质监测方法 |
| CN115656144A (zh) * | 2022-10-10 | 2023-01-31 | 中国海洋大学 | 基于光声信息融合的海水盐度原位测量方法、装置及应用 |
| WO2023035869A1 (zh) * | 2022-03-15 | 2023-03-16 | 中国长江三峡集团有限公司 | 一种训练齿轮箱故障诊断模型方法、齿轮箱故障诊断方法 |
| CN115809407A (zh) * | 2022-11-14 | 2023-03-17 | 广西电网有限责任公司电力科学研究院 | 一种基于振动特性分析的断路器故障诊断方法及*** |
| CN115906656A (zh) * | 2022-12-16 | 2023-04-04 | 水利部牧区水利科学研究所 | 一种基于气象与重力卫星等数据反演土壤水含量的方法 |
| CN116204825A (zh) * | 2023-02-10 | 2023-06-02 | 湖北文理学院 | 一种基于数据驱动的生产线设备故障检测方法 |
-
2023
- 2023-06-09 CN CN202310678980.XA patent/CN116451142A/zh not_active Withdrawn
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101207436A (zh) * | 2007-12-12 | 2008-06-25 | 上海华为技术有限公司 | 一种反馈延时锁相装置及方法以及相位误差检测单元 |
| CN108168682A (zh) * | 2017-12-22 | 2018-06-15 | 中国南方电网有限责任公司超高压输电公司曲靖局 | 一种基于振动信号支持向量机的gil故障在线监测*** |
| CN108665119A (zh) * | 2018-08-03 | 2018-10-16 | 清华大学 | 一种供水管网异常工况预警方法 |
| CN109782274A (zh) * | 2019-01-31 | 2019-05-21 | 长安大学 | 一种基于探地雷达信号时频统计特征的水损害识别方法 |
| CN112613157A (zh) * | 2020-11-26 | 2021-04-06 | 北京航天智造科技发展有限公司 | 转子故障分析方法及装置 |
| CN113537328A (zh) * | 2021-07-07 | 2021-10-22 | 大连理工大学人工智能大连研究院 | 一种基于深度学习的旋转机械故障诊断方法和装置 |
| CN115062272A (zh) * | 2021-07-21 | 2022-09-16 | 浙江水利水电学院 | 一种水质监测数据异常识别及预警方法 |
| CN113962259A (zh) * | 2021-10-11 | 2022-01-21 | 燕山大学 | 一种燃料电池***多模式双层故障诊断方法 |
| CN113988177A (zh) * | 2021-10-27 | 2022-01-28 | 广东工业大学 | 一种水质传感器异常数据检测与故障诊断方法 |
| WO2023035869A1 (zh) * | 2022-03-15 | 2023-03-16 | 中国长江三峡集团有限公司 | 一种训练齿轮箱故障诊断模型方法、齿轮箱故障诊断方法 |
| CN115656144A (zh) * | 2022-10-10 | 2023-01-31 | 中国海洋大学 | 基于光声信息融合的海水盐度原位测量方法、装置及应用 |
| CN115407038A (zh) * | 2022-10-11 | 2022-11-29 | 重庆大学 | 一种基于水质预警点选址的城市供水管网水质监测方法 |
| CN115809407A (zh) * | 2022-11-14 | 2023-03-17 | 广西电网有限责任公司电力科学研究院 | 一种基于振动特性分析的断路器故障诊断方法及*** |
| CN115906656A (zh) * | 2022-12-16 | 2023-04-04 | 水利部牧区水利科学研究所 | 一种基于气象与重力卫星等数据反演土壤水含量的方法 |
| CN116204825A (zh) * | 2023-02-10 | 2023-06-02 | 湖北文理学院 | 一种基于数据驱动的生产线设备故障检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王太勇;王廷虎;王鹏;乔卉卉;徐明达;: "基于注意力机制BiLSTM的设备智能故障诊断方法", 天津大学学报(自然科学与工程技术版), no. 06 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117235661A (zh) * | 2023-08-30 | 2023-12-15 | 广州怡水水务科技有限公司 | 基于ai的直饮水质量监测方法 |
| CN117235661B (zh) * | 2023-08-30 | 2024-04-12 | 广州怡水水务科技有限公司 | 基于ai的直饮水质量监测方法 |
| CN117171661A (zh) * | 2023-11-03 | 2023-12-05 | 山东鸿远新材料科技股份有限公司 | 一种化工厂污水处理监控方法及*** |
| CN117171661B (zh) * | 2023-11-03 | 2024-01-26 | 山东鸿远新材料科技股份有限公司 | 一种化工厂污水处理监控方法及*** |
| CN117574280A (zh) * | 2024-01-15 | 2024-02-20 | 长春理工大学 | 基于多元特征参数与mdbo-rf的播种质量检测方法 |
| CN117574280B (zh) * | 2024-01-15 | 2024-04-16 | 长春理工大学 | 基于多元特征参数与mdbo-rf的播种质量检测方法 |
| CN118091490A (zh) * | 2024-04-28 | 2024-05-28 | 国网辽宁省电力有限公司辽阳供电公司 | 一种架空高压电缆线路电流检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116451142A (zh) | 一种基于机器学习算法的水质传感器故障检测方法 | |
| CN113887616B (zh) | 一种epg连接数的实时异常检测方法 | |
| CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
| CN111881983A (zh) | 基于分类模型的数据处理方法、装置、电子设备及介质 | |
| CN116757534A (zh) | 一种基于神经训练网络的智能冰箱可靠性分析方法 | |
| Cai et al. | Anomaly detection of earthquake precursor data using long short-term memory networks | |
| CN112288021A (zh) | 一种医疗废水监测数据质控方法、装置及*** | |
| US20230085991A1 (en) | Anomaly detection and filtering of time-series data | |
| JP7331369B2 (ja) | 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム | |
| CN115277180B (zh) | 一种区块链日志异常检测与溯源*** | |
| Yarragunta et al. | Prediction of air pollutants using supervised machine learning | |
| Cheng et al. | Online power system event detection via bidirectional generative adversarial networks | |
| Chen et al. | Knowledge graph embeddings for dealing with concept drift in machine learning | |
| Tang et al. | Self-supervised anomaly pattern detection for large scale industrial data | |
| CN116108371A (zh) | 基于级联异常生成网络的云服务异常诊断方法与*** | |
| Dang et al. | seq2graph: Discovering dynamic non-linear dependencies from multivariate time series | |
| CN116662899A (zh) | 一种基于自适应策略的含噪数据异常检测方法 | |
| CN111930728A (zh) | 一种设备的特征参数和故障率的预测方法及*** | |
| Cui et al. | Using EBGAN for anomaly intrusion detection | |
| Febriansyah et al. | Outlier detection and decision tree for wireless sensor network fault diagnosis | |
| CN114298413A (zh) | 一种水电机组振摆趋势预测方法 | |
| Liu et al. | Anomaly Detection in Industrial Multivariate Time-Series Data With Neutrosophic Theory | |
| Liu et al. | Deep Learning for Operating Performance Assessment of Industrial Processes with Layer Attention-Based Stacked Performance-Relevant Denoising Auto-Encoders | |
| Tan et al. | Online Data Drift Detection for Anomaly Detection Services based on Deep Learning towards Multivariate Time Series | |
| CN117592870B (zh) | 基于水环境监测信息的综合分析*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230718 |
|
| WW01 | Invention patent application withdrawn after publication |