CN114925731A - 检测柔性测斜仪监测数据异常值的方法 - Google Patents
检测柔性测斜仪监测数据异常值的方法 Download PDFInfo
- Publication number
- CN114925731A CN114925731A CN202210628562.5A CN202210628562A CN114925731A CN 114925731 A CN114925731 A CN 114925731A CN 202210628562 A CN202210628562 A CN 202210628562A CN 114925731 A CN114925731 A CN 114925731A
- Authority
- CN
- China
- Prior art keywords
- sample data
- data
- data set
- abnormal
- mid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 88
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012360 testing method Methods 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000013139 quantization Methods 0.000 claims abstract description 9
- 239000013256 coordination polymer Substances 0.000 claims description 24
- 238000000926 separation method Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 230000001133 acceleration Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000005484 gravity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明提供一种检测柔性测斜仪监测数据异常值的方法，即：S1、获取柔性测斜仪运行期间监测的时序数据，对其进行归一化处理，设定采样频率进行采样；建立训练样本数据集和测试样本数据集；S2、基于训练样本数据集A，通过计算训练样本数据集A切割后切割点属性值量化指标，搜索切割点C；S3、基于孤立森林算法构建柔性测斜仪监测数据异常检测模型；S4、将测试样本数据集B代入构建的柔性测斜仪监测数据异常检测模型，获取每个待检测时序数据的异常分数；通过设定异常分数阈值判定待检测时序数据中的正常样本数据和异常样本数据，进行标记。本发明可实现对柔性测斜仪监测数据的实时检测、识别异常值，检测效率高，检测精度高。
Description
技术领域
本发明涉及一种检测柔性测斜仪监测数据异常值的方法，本发明属于位移监测和数据处理技术领域。
背景技术
柔性测斜仪作为一种高精度、自动化监测仪器，被广泛地应用在混凝土大坝监测、边坡监测、地基沉降监测等场景。柔性测斜仪是一种准分布式、纯加速度计组合的静态倾斜测量仪器，它包括带状或柱状测控单元，在带状或柱状测控单元内分布有嵌入的加速度传感器和处理器，加速度传感器感受测控单元的三轴重力加速度分量，加速度传感器通过数据线连接至处理器，处理器通过有线或无线方式将测量的三轴重力加速度分量、位移值传递给监测***。
在使用柔性测斜仪进行位移、三轴重力加速度分量监测时，因柔性测斜仪精度高，对现场复杂环境的抗干扰能力较低，导致在实时监测时，常出现大量的偏离真实加速度和位移值的数据，甚至有时还会出现空白值的情况。为防止异常数据干扰柔性测斜仪对监测对象的测量，实现柔性测斜仪对监测对象的准确测量和监测对象真实性状的判断，故需要对柔性测斜仪监测的数据进行实时监测，剔除异常数据。
传统的检测柔性测斜仪监测数据异常值的方法有：基于统计、邻近度、密度、聚类的检测异常值方法。由于柔性测斜仪监测的加速度值或位移值数据量大、数据多样、异常数据类型复杂，导致传统的检测柔性测斜仪监测数据异常值的方法仍然存在以下问题：1、检测监测数据异常值的效率低下，对***资源占用率高。传统的检测数据异常值的方法处理对象单一，处理的监测数据量较大时，无法有效识别其中的异常值，会出现过处理或处理不足的问题，检测监测数据异常值的效率低下，对***资源占用率高。2、检测精度低，易产生全局误差。由于传统的检测柔性测斜仪监测数据异常值方法中用到的切割点的选择是随机的，易产生局部最优解，导致全局误差，对于长周期的检测，造成异常值检测的波动范围变大。
发明内容
鉴于上述原因，本发明的目的在于提供一种检测柔性测斜仪监测数据异常值的方法。该方法对柔性测斜仪监测数据异常值的检测效率高，检测精度高，可实现对柔性测斜仪监测数据的实时检测、识别异常值，提高监测数据的准确性。
为实现上述目的，本发明采用以下技术方法：一种检测柔性测斜仪监测数据异常值的方法，它包括以下步骤：
S1、获取柔性测斜仪运行期间监测的时序数据；对采集到的待检测时序数据进行归一化处理；基于需求频率，设定采样频率，对归一化处理后的待检测时序数据进行采样；建立训练样本数据集和测试样本数据集，并分别对两个数据集进行重新编号，得到重新编号后的训练样本数据集A和测试样本数据集B；
S2、基于训练样本数据集A，第一次在中位数xmid处对其进行切割，计算切割后的训练样本数据集切割点属性值量化指标，搜索切割点C；
S3、基于孤立森林算法(iForest)构建柔性测斜仪监测数据异常检测模型，将训练样本数据集A和切割点C带入构建的柔性测斜仪监测数据异常检测模型，完成模型的构建；
S4、将测试样本数据集B代入构建的柔性测斜仪监测数据异常检测模型，获取每个待检测时序数据的异常分数；通过设定异常分数阈值判定待检测时序数据中的正常样本数据和异常样本数据，并对检测出的异常数据进行标记。
附图说明
图1是本发明检测柔性测斜仪监测数据异常值的方法流程图；
图2是本发明中选择切割点C的方法流程图；
图3是本发明改进的孤立森林算法流程图；
图4是本发明实施例中待检测的柔性测斜仪监测的位移时间时序数据；
图5是本发明实施例中对柔性测斜仪监测的数据进行异常检测的结果；
图6是本发明实施例中剔除异常数据后的柔性测斜仪监测数据。
具体实施方式
下面结合附图和实施例对本发明的结构及特征进行详细说明。需要说明的是，可以对此处公开的实施例做出各种修改，因此，说明书中公开的实施例不应该视为对本发明的限制，而仅是作为实施例的范例，其目的是使本发明的特征显而易见。
本发明提出的检测柔性测斜仪监测数据异常值的方法，包括以下步骤：
S1、获取柔性测斜仪运行期间监测的时序数据即含有异常值的待检测时序数据；对采集到的待检测时序数据进行归一化处理；基于需求频率即一小时内需要采集多少个时序数据，设定采样频率，对归一化处理后的待检测时序数据进行采样；建立训练样本数据集和测试样本数据集，并分别对两个数据集进行重新编号，具体方法如下：
S1.1、参见图4，通过柔性测斜仪的数据采集***获取监测对象包含有异常值的待检测时序数据X(t)：
X(t)＝[x(t)，x(2t)，......，x(nt)] (1)
式中：X(t)表示待检测时序数据，t为监测时间间隔；n表示时序数据的个数；nt表示第n个时序数据对应的时间；x(nt)表示第n个时序数据对应的时序数据；
S1.2、对待检测时序数据X(t)采用下式(2)进行归一化处理：
式中：Xz(t)为归一化后的待检测时序数据，μ为待检测时序数据的均值，σ为待检测时序数据的标准差。
S1.3、基于需求频率f，设置采样率i和j，对归一化后的待检测时序数据进行采样，建立训练样本数据集A0和测试样本数据集B0：
A0＝[x(t)，x(ft)，......，x(jft)] (3)
B0＝[x(jft)，x((j+1)ft)，......，x(ift)] (4)
式中，f为需求频率，j为训练样本数据集采用频率，i为测试样本数据集采用频率，j和i为常数，j＜i＜n/f。
S1.4、对训练样本数据集A0和测试样本数据集B0进行重新标号，得到重新标号后的训练样本数据集A和测试样本数据集B，表达式如下：
A＝[x(1)，x(2)，......，x(l)] (5)
B＝[x(l+1)，x(l+2)，......，x(m)] (6)
式中，l表示需求频率f训练样本数据集A的长度，m表示需求频率f下测试样本数据集B的长度。
S2、基于训练样本数据集A，第一次在中位数xmid处对其进行切割，通过计算样本切割后的训练样本子数据集的属性值量化指标，搜索切割点(Cpoint)C。
通常，本领域技术人员是训练样本数据集的最大值和最小值之间选择一点作为切割点C，故，传统的检测监测异常值方法易产生局部最优解而非全局最优解。而，本发明通过计算样本切割后的训练样本子数据集的属性值量化指标，搜索切割点(Cpoint)C，故，本发明选择的切割点适用于全部数据，具有全局误差最优、准确率高的优点，并且可以在每个时序区间搜索相应的切割点，达到实时检测异常数据的目的。
步骤S2具体包括如下步骤，参见图2：
S2.1、调取训练样本数据集A中的时序数据，数据量大小为jf；
S2.2、设定调取的训练样本数据集xleft和xright的初始位置，xieft＝x(1)，xright＝x(l)，确认调取的训练样本数据集xieft至xright的中位数xmid，计算切割点属性指标CP(A，xmid)，其中，切割点属性指标CP(A，xmio)的表达式如下：
式中，A为训练样本数据集，xmtd为训练样本数据集的中位数，EC(A，xmid)为训练样本数据集的均值量化指标，DC(A，xmid)为训练样本数据集的离散量化指标，表达式如下：
EC(A，xmtd)＝|E(x|x∈A，x＜xmtd)-E(x|x∈A，x＞xmtd)| (8)
DC(A，xmtd)＝D(x|x∈A，x＜xmtd)+D(x|x∈A，x＞xmtd) (9)
式中，E(x)为均值函数，D(x)为方差函数。
计算训练样本数据集中x(1)＝xleft到xmtd的中位数xleft′，训练样本数据集中xmtd到x(l)＝xright的中位数xright′，计算切割点属性指标CP(A，xleft′)和CP(A，xright′)；
S2.4：比较CP(A，xleft′)和CP(A，xright′)的大小；
若CP(A，xleft′)＞CP(A，xright′)，则令xright′＝xmid，否则，令xleft′＝xmid；
S2.5：重复S2.3-S2.4，至满足以下条件之一：
xleft′＝xright′，或
CP(A，xleft′)＜CP(A，xmid)and CP(A，xright′)＜CP(A，xmid)
则输出切割点C＝xmid；
S3、基于孤立森林算法(iForest)构建柔性测斜仪监测数据异常检测模型，将训练样本数据集A和切割点C带入构建的柔性测斜仪监测数据异常检测模型，完成模型的构建。
具体方法如下，参见图3：
S3.1：从训练样本数据集A中随机选择m个点作为子样本集合A1；
S3.2：依据步骤S2的方法，在子样本集合A1中搜索切割点C1；
S3.3：此切割点C1的选取将当前子样本集合A1切分为2个子样本集：把当前所选维度下小于C1的点放在当前节点的左分支，把大于等于C1的点放在当前节点的右分支；
S3.4：在子样本集合的左分支和右分支重复步骤S3.2和S3.3，构造新的子样本集合，直至最终的子样本集合中只有一个分离树的叶子数据xi；
S3.5：重复步骤S3.1-S3.4，得到训练样本数据集A的多个分离树，即监测数据异常检测模型。
S4、将测试样本数据集B代入构建的柔性测斜仪监测数据异常检测模型，获取每个待检测时序数据的异常分数；通过设定异常分数阈值判定待检测时序数据中的正常样本数据和异常样本数据，并对检测出的异常数据进行标记。
传统的检测柔性测斜仪监测数据异常值的方法是通过拉依达准则判断异常数据，本发明采用的异常分数阈值可以设计权重，根据实际需求设置阈值，检测监测数据中的异常值，故，本发明检测准确率更高。
具体方法如下：
S4.1：调取测试样本数据集B，将每个测试样本数据遍历步骤S3得到的每一棵分离树，最终得到每个测试样本数据在每棵分离树上的高度即路径长度Hi，根据该路径长度计算得到柔性测斜仪监测时序数据的异常分数S；
其中，异常分数S表达式如下：
式中：E(h)为测试样本数据在所有分离树中的路径长度的平均值，表达式如下：
式中：i表示第i棵分离树；Hi表示测试样本数据距离第i棵分离树的距离；
C(m)为测试样本数据孤立森林的平均路径长度，表达式如下：
S4.2：求解用来判断异常数据的异常分数阈值t；
S4.2.1：设初始阈值t0＝0.4，初始类间方差σm＝0，则异常分数S大于t0的测试样本数据为异常样本数据，归入异常数据样本集合DF，异常分数S小于或等于t0的测试样本数据为正常样本数据，归入正常数据样本集合DR；
S4.2.2：计算异常数据和正常数据的综合异常分数的平均值
和
表达式如下：
式中，DF为异常样本的数据量，D2为正常样本的数据量；Si为第i个测试样本数据异常分数。
S4.2.3：求出测试样本数据集B的异常分数平均值
表达式如下：
S4.2.4：计算测试样本数据集B的类间方差σ，表达式如下；
S4.2.5：循环阈值t＝0.40～0.70保留两位小数)，根据S4.2.1—S4.2.4，计算类间方差σ，若σ＞σm，则令t0＝t，否则，令t0＝t+0.01。
S4.2.6：输出最终判断异常值数据的异常分数阈值t0。
S4.3:通过设定异常分数阈值判定待检测时序数据中的正常样本数据和异常样本数据，并对检测出的异常数据进行标记。
图5所示为本发明实施例中对柔性测斜仪监测的数据进行异常检测的结果图。当测试样本数据的异常分数S大于t0，则该测试样本数据为异常样本数据；当异常分数S小于或等于t0，则该测试样本数据为正常样本数据。图5中×为本发明检测出的柔性测斜仪监测数据异常点，▲为正常数据，可以看出将时序数据中的大部分突刺异常点已检测出。图6为本发明实施例中剔除异常数据后的柔性测斜仪监测数据曲线。
与现有技术相比，本发明的优点：
1.因为本发明采用统计方法和切割点识别方法对孤立森林算法进行改进，本发明异常识别能力较好，处理的监测数据量较大时，能有效识别其中的异常值，能有效区分噪声影响的异常值和监测对象本身实际响应的异常值。
2.本发明通过改进孤立森林算法，选择最优切割点C和异常分数阈值t0，避免了局部最优解的情况，使得长周期检测得误差大大降低。
3.本发明通过提取时序数据的特征，选择最优切割点C识别异常值得划分界限；通过孤立森林算法构建异常检测模型；通过异常分数阈值进行异常结果判断；能够实时准确的检测柔性测斜仪监测数据异常值。
4、本发明误差较小，能更好检测出数据中的大部分异常值。本发明适用范围较大，可以使用在不同的位移监测设备上。
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (3)
1.一种检测柔性测斜仪监测数据异常值的方法，它包括以下步骤：
S1、获取柔性测斜仪运行期间监测的时序数据；对采集到的待检测时序数据进行归一化处理；基于需求频率，设定采样频率，对归一化处理后的待检测时序数据进行采样；建立训练样本数据集和测试样本数据集，并分别对两个数据集进行重新编号，得到重新编号后的训练样本数据集A和测试样本数据集B；
S2、基于训练样本数据集A，第一次在中位数xmid处对其进行切割，计算切割后的训练样本数据集切割点属性值量化指标，搜索切割点C；具体方法如下：
S2.1、调取训练样本数据集A中的时序数据，数据量大小为if；
S2.2、设定调取的训练样本数据集xleft和xright的初始位置，确认调取的训练样本数据集xleft至xright的中位数xmid，计算切割点属性指标CP(A，xmid)，其中，切割点属性指标CP(A，xmid)的表达式如下：
式中，A为训练样本数据集，xmid为训练样本数据集的中位数，EC(A，xmid)为训练样本数据集的均值量化指标，DC(A，xmid)为训练样本数据集的离散量化指标，表达式如下：
EC(A，xmid)＝|E(x|x∈A，x＜xmid)-E(x|x∈A，x＞xmid)|
DC(A，xmid)＝D(x|x∈A，x＜xmid)+D(x|x∈A，x＞xmid)
式中，E(x)为均值函数，D(x)为方差函数；
S2.3、计算训练样本数据集中x(1)＝xleft到xmid的中位数xleft′，训练样本数据集中xmid到x(l)＝xright的中位数xright′，计算切割点属性指标CP(A，xleft′)和CP(A，xright′)；
S2.4、比较CP(A，xleft′)和CP(A，xright′)的大小；
若CP(A，xleft′)＞CP(A，xright′)，则令xright′＝xmid，否则，令xleft′＝xmid；
S2.5、重复S2.3-S2.4，至满足以下条件之一：
xleft′＝xright′，或
CP(A，xleft′)＜CP(A，xmid)and CP(A，xright′)＜CP(A，xmid)
则输出切割点C＝xmid；
S3、基于孤立森林算法(iForest)构建柔性测斜仪监测数据异常检测模型，将训练样本数据集A和切割点C带入构建的柔性测斜仪监测数据异常检测模型，完成模型的构建；具体方法如下：
S3.1、从训练样本数据集A中随机选择m个点作为子样本集合A1；
S3.2、依据步骤S2的方法，在子样本集合A1中搜索切割点C1；
S3.3、此切割点C1的选取将当前子样本集合A1切分为2个子样本集：把当前所选维度下小于C1的点放在当前节点的左分支，把大于等于C1的点放在当前节点的右分支；
S3.4、在子样本集合的左分支和右分支重复步骤S3.2和S3.3，构造新的子样本集合，直至最终的子样本集合中只有一个分离树的叶子数据xi；
S3.5、重复步骤S3.1-S3.4，得到训练样本数据集A的多个分离树，即监测数据异常检测模型；
S4、将测试样本数据集B代入构建的柔性测斜仪监测数据异常检测模型，获取每个待检测时序数据的异常分数；通过设定异常分数阈值判定待检测时序数据中的正常样本数据和异常样本数据，并对检测出的异常数据进行标记。
2.根据权利要求1所述的检测柔性测斜仪监测数据异常值的方法，其特征在于：所述步骤S4包括以下步骤：
S4.1、调取测试样本数据集B，将每个测试样本数据遍历步骤S3得到的每一棵分离树，最终得到每个测试样本数据在每棵分离树上的高度即路径长度Hi，根据该路径长度计算得到柔性测斜仪监测时序数据的异常分数S；
其中，异常分数S表达式如下：
式中：E(h)为测试样本数据在所有分离树中的路径长度的平均值，表达式如下：
式中：i表示第i棵分离树；Hi表示测试样本数据距离第i棵分离树的距离；
C(m)为测试样本数据孤立森林的平均路径长度，表达式如下：
S4.2、求解用来判断异常数据的异常分数阈值t；
S4.2.1、设初始阈值t0＝0.4，初始类间方差om＝0，则异常分数S大于t0的测试样本数据为异常样本数据，归入异常数据样本集合DF，异常分数S小于或等于t0的测试样本数据为正常样本数据，归入正常数据样本集合DR；
S4.2.2、计算异常数据和正常数据的综合异常分数的平均值
和
表达式如下：
式中，DF为异常样本的数据量，DR为正常样本的数据量；Si为第i个测试样本数据异常分数；
S4.2.3、求出测试样本数据集B的异常分数平均值
表达式如下：
S4.2.4、计算测试样本数据集B的类间方差σ，表达式如下；
S4.2.5、循环阈值t＝0.40～0.70保留两位小数)，根据S4.2.1-S4.2.4，计算类间方差σ，若σ＞σm，则令t0-t，否则，令t0＝t+0.01；
S4.2.6、输出最终判断异常值数据的异常分数阈值t0；
S4.3、通过设定异常分数阈值判定待检测时序数据中的正常样本数据和异常样本数据，并对检测出的异常数据进行标记。
3.根据权利要求2所述的检测柔性测斜仪监测数据异常值的方法，其特征在于：所述步骤S1包括如下步骤：
S1.1、通过柔性测斜仪的数据采集***获取监测对象包含有异常值的待检测时序数据X(t)：
X(t)＝[x(t)，x(2t)，.......，x(nt)]
式中：X(t)表示待检测时序数据，t为监测时间间隔；n表示时序数据的个数；nt表示第n个时序数据对应的时间；x(nt)表示第n个时序数据对应的时序数据；
S1.2、对待检测时序数据X(t)采用下式(2)进行归一化处理：
式中：Xz(t)为归一化后的待检测时序数据，μ为待检测时序数据的均值，σ为待检测时序数据的标准差；
S1.3、基于需求频率f，设置采样率i和j，对归一化后的待检测时序数据进行采样，建立训练样本数据集A0和测试样本数据集B0：
A0＝[x(t)，x(ft)，......，x(jft)]
B0＝[x(jft)，x((j+1)ft)，......，x(ift)]
式中，f为需求频率，j为训练样本数据集采用频率，i为测试样本数据集采用频率，j和i为常数，j＜i＜n/f；
S1.4、对训练样本数据集A0和测试样本数据集B0进行重新标号，得到重新标号后的训练样本数据集A和测试样本数据集B，表达式如下：
A＝[x(1)，x(2)，......，x(l)]
B＝[x(l+1)，x(l+2)，......，x(m)]
式中，l表示需求频率f下训练样本数据集A的长度，m表示需求频率f下测试样本数据集B的长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210628562.5A CN114925731B (zh) | 2022-06-06 | 2022-06-06 | 检测柔性测斜仪监测数据异常值的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210628562.5A CN114925731B (zh) | 2022-06-06 | 2022-06-06 | 检测柔性测斜仪监测数据异常值的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114925731A true CN114925731A (zh) | 2022-08-19 |
| CN114925731B CN114925731B (zh) | 2024-05-31 |
Family
ID=82811671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210628562.5A Active CN114925731B (zh) | 2022-06-06 | 2022-06-06 | 检测柔性测斜仪监测数据异常值的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114925731B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117970168A (zh) * | 2024-03-29 | 2024-05-03 | 国网山东省电力公司莱芜供电公司 | 一种双电源转换装置的监测数据高效处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777873A (zh) * | 2018-06-04 | 2018-11-09 | 江南大学 | 基于加权混合孤立森林的无线传感网络异常数据检测方法 |
| WO2020155752A1 (zh) * | 2019-01-28 | 2020-08-06 | 平安科技（深圳）有限公司 | 异常点检测模型验证方法、装置、计算机设备及存储介质 |
| CN111666169A (zh) * | 2020-05-13 | 2020-09-15 | 云南电网有限责任公司信息中心 | 一种基于改进的孤立森林算法和高斯分布的联合数据异常检测方法 |
| KR20210031094A (ko) * | 2019-09-11 | 2021-03-19 | 한국전력공사 | 트리 기반 이상치 탐지 장치 및 방법, 컴퓨터 프로그램 |
| CN114493023A (zh) * | 2022-02-07 | 2022-05-13 | 中国水利水电科学研究院 | 一种基于RF-Adaboost模型在异常水情数据中的诊断与插补方法 |
-
2022
- 2022-06-06 CN CN202210628562.5A patent/CN114925731B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108777873A (zh) * | 2018-06-04 | 2018-11-09 | 江南大学 | 基于加权混合孤立森林的无线传感网络异常数据检测方法 |
| WO2019233189A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 一种传感网络异常数据检测方法 |
| WO2020155752A1 (zh) * | 2019-01-28 | 2020-08-06 | 平安科技（深圳）有限公司 | 异常点检测模型验证方法、装置、计算机设备及存储介质 |
| KR20210031094A (ko) * | 2019-09-11 | 2021-03-19 | 한국전력공사 | 트리 기반 이상치 탐지 장치 및 방법, 컴퓨터 프로그램 |
| CN111666169A (zh) * | 2020-05-13 | 2020-09-15 | 云南电网有限责任公司信息中心 | 一种基于改进的孤立森林算法和高斯分布的联合数据异常检测方法 |
| CN114493023A (zh) * | 2022-02-07 | 2022-05-13 | 中国水利水电科学研究院 | 一种基于RF-Adaboost模型在异常水情数据中的诊断与插补方法 |
Non-Patent Citations (3)
| Title |
|---|
| VICTORIA J H等: "A Survey of outlier detection methodologies", 《ARTIFICIAL INTELLIGENCE REVIEW：AN INTERNATIONAL SCIENENCE AND ENGINEERING JOURNAL》, vol. 22, no. 2, 31 December 2004 (2004-12-31), pages 85 - 126, XP055176642, DOI: 10.1023/B:AIRE.0000045502.10941.a9 * |
| 张海龙等: "立森林算法在大坝监测数据异常识别中的应用", 《人民黄河》, vol. 42, no. 08, 31 December 2020 (2020-12-31) * |
| 赵臣啸;薛惠锋;王磊;万毅;: "基于孤立森林算法的取用水量异常数据检测方法", 中国水利水电科学研究院学报, no. 01, 15 February 2020 (2020-02-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117970168A (zh) * | 2024-03-29 | 2024-05-03 | 国网山东省电力公司莱芜供电公司 | 一种双电源转换装置的监测数据高效处理方法 |
| CN117970168B (zh) * | 2024-03-29 | 2024-05-28 | 国网山东省电力公司莱芜供电公司 | 一种双电源转换装置的监测数据高效处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114925731B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291097B (zh) | 一种基于决策树数据挖掘的钻井漏层位置实时预测方法 | |
| CN111562108A (zh) | 一种基于cnn和fcmc的滚动轴承智能故障诊断方法 | |
| GB2491564A (en) | Method of system monitoring | |
| CN117171604B (zh) | 基于传感器的保温板生产线异常监测*** | |
| CN112348237A (zh) | 一种动态钻井数据异常趋势检测方法 | |
| CN117436005B (zh) | 一种环境空气自动监测过程中异常数据处理方法 | |
| CN117238058A (zh) | 基于数据分析的汽车用起动机监测方法 | |
| CN106935038B (zh) | 一种停车检测***及检测方法 | |
| CN114925731B (zh) | 检测柔性测斜仪监测数据异常值的方法 | |
| CN117454283A (zh) | 一种用于风电机组运行检测数据的状态评估方法 | |
| CN109271466A (zh) | 一种基于层次聚类与k均值算法的气象数据分析方法 | |
| CN117289778B (zh) | 一种工控主机电源健康状态的实时监测方法 | |
| CN117573667B (zh) | 一种煤矿井间数据优化清洗方法及*** | |
| CN117473351B (zh) | 基于物联网的电源信息远程传输*** | |
| CN117093947B (zh) | 一种发电柴油机运行异常监测方法及*** | |
| CN109507697B (zh) | 一种新的gnss时间序列中异常值精确识别方法 | |
| CN116644368A (zh) | 一种基于改进的格拉布斯检验法的异常值识别方法 | |
| KR101483218B1 (ko) | 활동 진단 장치 | |
| CN113487141A (zh) | 一种多源信息聚类融合的轴承状态评估方法 | |
| CN111639621A (zh) | 一种传感器信号诊断故障的方法 | |
| CN110488279A (zh) | 一种基于雷达的行人与树木区分方法与装置 | |
| CN117688498B (zh) | 基于船岸协同的船舶综合安全状态监控*** | |
| CN117807469B (zh) | 一种水下传感器数据采集方法、介质及*** | |
| CN113673624A (zh) | 基于决策树模型的桥梁状态监测方法 | |
| CN117235650A (zh) | 一种高空作业状态检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |