CN103093078A - 一种改进53h算法的数据检验方法 - Google Patents
一种改进53h算法的数据检验方法 Download PDFInfo
- Publication number
- CN103093078A CN103093078A CN2012105485334A CN201210548533A CN103093078A CN 103093078 A CN103093078 A CN 103093078A CN 2012105485334 A CN2012105485334 A CN 2012105485334A CN 201210548533 A CN201210548533 A CN 201210548533A CN 103093078 A CN103093078 A CN 103093078A
- Authority
- CN
- China
- Prior art keywords
- data
- algorithm
- smooth
- sequence
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种改进53H算法的数据检验方法，包括以下几个步骤：连续数据采集、序列特征量计算、特征量检验、改进53H算法检验、数据状态信息提示。相比于传统算法，改进53H算法对首尾两点引入五点三次加权端部平滑以及三点等权端部平滑，并且引入不确定度作为平滑值和原始值的偏差比较限值，从而实现对原始序列所有数据的突变检验和数据重构。检验结果可靠，适合在线或离线数据处理，同时不确定度理论的引入避免了偏差限值选取过程中凭经验选取的随意性、无依据性和确定过程的繁琐性，使得检验参数设定更有理论依据。
Description
技术领域
本发明涉及一种数据检验方法，具体一种为火力发电厂热工在线动态测试数据粗大误差剔除的改进53H算法的数据检验方法。
背景技术
随着大数据时代的到来，各行各业都面临着海量数据和信息的处理，数据的准确性甄别过程，粗大误差过滤就显得尤为重要。
特别是对于火力发电厂，热工测量仪表的工作环境恶劣，噪声、高温、压力波、电磁波、机械振动等干扰频繁，测量数据可靠性和稳定性随之下降，测点容易发生突发故障。随着SIS的广泛推广和应用，火力发电厂的实时经济性监控面临的测量数据准确性问题愈来愈突出。个别测点故障会使得电厂综合指标以及上级单位的汇总指标出现明显异常，***的数据统计成为无效数据。这就要求***能够提供一种数据自检功能，能够主动对测点数据准确性给予甄别，必要时依据历史数据给出合理重构，同时给出报警提示。
如图1所示，传统53H算法流程包括以下步骤：
（1）第一次平滑：对原始序列进行窗口长度为5的中值滤波形成序列x'，原始序列首尾各两点得不到平滑；
（2）第二次平滑：对序列x'进行窗口长度为3的中值滤波形成序列x''，序列x'首尾各一点得不到平滑；
（3）第三次平滑：对序列x''进行三点中心平滑形成序列x'''，序列x'首尾各一点得不到平滑；
（4）比较原始序列和平滑序列x'''对应数据的偏差：偏差上限值依据经验选取，偏差大于设定的偏差上限值则认为是突变，同时以平滑值代替，最后形成处理后序列，同时统计出突变点的总个数。
传统53H算法流程的缺点之一是原始序列的首尾各四点得不到平滑和突变检验；之二是原始序列和平滑序列进行偏差比较时的限值确定过程较难。
Tukey提出稳健性的53H算法，可以剔除突变数据。传统的53H算法对于动态测量数据的粗大误差剔除是一种很有效的办法，但存在的缺陷是不能对序列的前四点和后四点做平滑估计，因而无法对于前四点和后四点做在线检验和处理；有文献提出来的将首尾各八点分别反序排列后再进行平滑，对新平滑序列的首尾各八点再次进行反序排列即对应首尾各四点的平滑值，存在的问题是首或尾的八点前半段和后半段数据趋势差别大的时候，平滑效果较差。
发明内容
本发明所解决的技术问题在于提供一种改进53H的数据检验方法，以解决上述背景技术中的问题。
本发明所解决的技术问题采用以下技术方案来实现：
一种改进53H算法的数据检验方法，包括以下步骤：
步骤（1）：连续数据采集
通过采数接口程序从原始数据源采集模拟量数据，采集周期按照香农采样定律进行选取，得到时间序列数据；
步骤（2）：序列特征量计算
计算序列的平均值和样本标准差，为特征量检验做准备；
步骤（3）：特征量检验
依据平均值的限定范围来检验，如超出范围，则跳出检验，进入步骤（5）；如在范围内则继续标准差检验，标准差不等于0时，进入步骤（3），用改进53H算法做进一步检验；标准差等于0时，则跳出检验，进入步骤（5）；
步骤（4）：改进53H算法检验
通过改进53H算法对序列所有点进行平滑，第一次平滑估计是对首尾两点引入五点三次端点平滑，第二次和第三次平滑估计是对首尾进行三点等权端点平滑，再比较原始序列和平滑序列的偏差，偏差大于偏差上限值则认为是突变，统计序列突变点个数，同时与设定的突变点个数上限值进行比较，进入步骤（5）；
步骤（5）：数据状态信息提示
依据特征量检验、改进53H算法检验的结果给出相应的数据检验状态信息提示。
步骤（1）中原始数据源为电厂分散控制***。
步骤（3）中平均值的限定范围按照步骤（1）中采集的模拟量数据的实际变化范围来确定。
步骤（4）中设定的突变点个数上限值为数据总数的40%-60%。
步骤（4）中偏差上限值等于相对不确定度和平滑值的乘积。
有益效果：本发明与传统53H法相比，增加了序列特征量检验，使得53H法的检验结果更加可靠，提高检验效率和检验可靠性，实际操作性更强。新增的首尾两点平滑法是对传统53H法的补充，实现了对于序列首尾各四点的突变检验，且很好地跟踪了序列后或前的变化趋势。引入不确定度作为平滑值和原始值的偏差比较限值，避免了经验选取的随意性、无依据性和确定过程的繁琐性，使得检验设定更有理论依据。
附图说明
图1为传统53H算法的流程图。
图2为本发明的总流程图。
图3为本发明中改进53H算法的详细流程图。
具体实施方式
为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明白了解，下面进一步阐述本发明。
如图2所示，一种改进53H算法的数据检验方法，包括以下步骤：
步骤（1）：连续数据采集
通过采数接口程序从原始数据源如电厂分散控制***等采集模拟量数据（一般不对数字量数据做处理），采集周期按照香农采样定律进行选取，从而得到时间序列数据。
步骤（2）：序列特征量计算
计算序列的平均值和样本标准差，为特征量检验做准备。
步骤（3）：特征量检验
依据平均值的限定范围来检验，平均值的限定范围按照采集的模拟量数据的实际变化范围来确定；如超出范围，则跳出检验，进入步骤（5），给出“数据超出检验范围”的提示；如在范围内则继续标准差检验，标准差不等于0时，进入步骤（3），用改进53H算法做进一步检验；标准差等于0时，则跳出检验，进入步骤（5），给出“数据检验异常”的提示。
步骤（4）：改进53H算法检验
通过改进53H算法对序列所有点进行平滑，再比较原始序列和平滑序列的偏差，偏差大于偏差上限值则认为是突变，统计序列突变点个数，同时与设定的突变点个数上限值（一般设为数据总数的一半）进行比较，进入步骤（5），如突变点个数超出突变点个数上限值，给出“数据检验异常”的提示；否则，给出“数据检验正常”的提示。
步骤（5）：数据状态信息提示
依据特征量检验、改进53H算法检验的结果给出数据检验状态信息提示，具体信息在上述步骤中已体现。
如图3所示，改进53H算法流程是在传统53H算法流程上进行的改进，包括以下步骤：
步骤（1）：第一次平滑：对原始序列首尾各两点进行了五点三次端点平滑，序列其他点的平滑算法和传统的相同，使得序列x'的数据个数和原始序列的一样；
步骤（2）：第二次平滑：对序列x'的首尾各一点进行了三点等权端点平滑，序列其他点的平滑算法和传统的相同，使得序列x''的数据个数和原始序列的一样；
步骤（3）：第三次平滑：对序列x''首尾各一点进行了三点等权端点平滑，序列其他点的平滑算法和传统的相同，序列x'''首的数据个数和原始序列的一样；
步骤（4）：比较原始序列和平滑序列x'''对应数据的偏差；偏差上限值等于相对不确定度和平滑值的乘积。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。
Claims (5)
1.一种改进53H算法的数据检验方法，其特征是：包括以下步骤：
步骤（1）：连续数据采集
通过采数接口程序从原始数据源采集模拟量数据，采集周期按照香农采样定律进行选取，得到时间序列数据；
步骤（2）：序列特征量计算
计算序列的平均值和样本标准差，为特征量检验做准备；
步骤（3）：特征量检验
依据平均值的限定范围来检验，如超出范围，则跳出检验，进入步骤（5）；如在范围内则继续标准差检验，标准差不等于0时，进入步骤（3），用改进53H算法做进一步检验；标准差等于0时，则跳出检验，进入步骤（5）；
步骤（4）：改进53H算法检验
通过改进53H算法对序列所有点进行平滑，第一次平滑估计是对首尾两点引入五点三次端点平滑，第二次和第三次平滑估计是对首尾进行三点等权端点平滑，再比较原始序列和平滑序列的偏差，偏差大于偏差上限值则认为是突变，统计序列突变点个数，同时与设定的突变点个数上限值进行比较，进入步骤（5）；
步骤（5）：数据状态信息提示
依据特征量检验、改进53H算法检验的结果给出相应的数据检验状态信息提示。
2.根据权利要求1所述的一种改进53H算法的数据检验方法，其特征是：步骤（1）中原始数据源为电厂分散控制***。
3.根据权利要求1所述的一种改进53H算法的数据检验方法，其特征是：步骤（3）中平均值的限定范围按照步骤（1）中采集的模拟量数据的实际变化范围来确定。
4.根据权利要求1所述的一种改进53H算法的数据检验方法，其特征是：步骤（4）中设定的突变点个数上限值为数据总数的40%-60%。
5.根据权利要求1所述的一种改进53H算法的数据检验方法，其特征是：步骤（4）中偏差上限值等于相对不确定度和平滑值的乘积。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210548533.4A CN103093078B (zh) | 2012-12-18 | 2012-12-18 | 一种改进53h算法的数据检验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210548533.4A CN103093078B (zh) | 2012-12-18 | 2012-12-18 | 一种改进53h算法的数据检验方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103093078A true CN103093078A (zh) | 2013-05-08 |
| CN103093078B CN103093078B (zh) | 2016-02-17 |
Family
ID=48205637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210548533.4A Active CN103093078B (zh) | 2012-12-18 | 2012-12-18 | 一种改进53h算法的数据检验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103093078B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103744820A (zh) * | 2013-12-31 | 2014-04-23 | 湖南大唐先一科技有限公司 | 一种数据甄别与预处理物理卡 |
| CN104360968A (zh) * | 2014-09-24 | 2015-02-18 | 广东电网有限责任公司佛山供电局 | 数据甄别与预处理物理卡及运行方法、电能数据处理*** |
| CN104598720A (zh) * | 2014-12-23 | 2015-05-06 | 清华大学 | 基于聚类和多任务学习的化学机械研磨时间设定方法 |
| CN105258744A (zh) * | 2015-10-21 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种流量大数据的处理方法和*** |
| CN109032829A (zh) * | 2018-07-23 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 数据异常检测方法、装置、计算机设备及存储介质 |
-
2012
- 2012-12-18 CN CN201210548533.4A patent/CN103093078B/zh active Active
Non-Patent Citations (6)
| Title |
|---|
| PAUL F.VELLEMAN: "《Robust nonlinear data smoothers: Definitions and recommendations》", 《PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES》 * |
| 刘军: "《高压电气设备在线监测信息管理和故障诊断***的研究》", 《中国优秀硕博士学位论文全文数据库(硕士)-工程科技II辑》 * |
| 周跃峰 等: "《数据采集中虚假点的识别与纠正方法》", 《自动化仪表》 * |
| 杨莉 等: "《在线监测数据剔点处理算法的研究》", 《高压电器》 * |
| 段允 等: "《一种提升时差法超声波流量计精度的方法》", 《微电子学与计算机》 * |
| 王楠 等: "《在线监测数据预处理方法的研究》", 《高压电器》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103744820A (zh) * | 2013-12-31 | 2014-04-23 | 湖南大唐先一科技有限公司 | 一种数据甄别与预处理物理卡 |
| CN104360968A (zh) * | 2014-09-24 | 2015-02-18 | 广东电网有限责任公司佛山供电局 | 数据甄别与预处理物理卡及运行方法、电能数据处理*** |
| CN104360968B (zh) * | 2014-09-24 | 2017-11-07 | 广东电网有限责任公司佛山供电局 | 数据甄别与预处理物理卡及运行方法、电能数据处理*** |
| CN104598720A (zh) * | 2014-12-23 | 2015-05-06 | 清华大学 | 基于聚类和多任务学习的化学机械研磨时间设定方法 |
| CN104598720B (zh) * | 2014-12-23 | 2018-04-10 | 清华大学 | 基于聚类和多任务学习的化学机械研磨时间设定方法 |
| CN105258744A (zh) * | 2015-10-21 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种流量大数据的处理方法和*** |
| CN109032829A (zh) * | 2018-07-23 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 数据异常检测方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103093078B (zh) | 2016-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103093078A (zh) | 一种改进53h算法的数据检验方法 | |
| CN105588995B (zh) | 一种电力计量自动化***线损异常检测方法 | |
| CN107463633A (zh) | 一种基于eemd‑神经网络的实时数据异常值检测方法 | |
| Riaz et al. | A process variability control chart | |
| CN110738346A (zh) | 一种基于威布尔分布的批次电能表可靠度预测方法 | |
| CN104376078A (zh) | 一种基于知识熵的异常数据检测方法 | |
| Wang et al. | Unsupervised machine learning for advanced tolerance monitoring of wire electrical discharge machining of disc turbine fir-tree slots | |
| CN117556366B (zh) | 基于数据筛选的数据异常检测***及方法 | |
| CN110186962B (zh) | 一种用于电容层析成像的不完整测量数据成像方法 | |
| CN103065041B (zh) | 一种冗余数据检验方法 | |
| JPH07280603A (ja) | 機械の異常判定方法 | |
| CN110441727A (zh) | 一种对电能表现校仪进行状态评价的方法及装置 | |
| Wang et al. | Application of bootstrap method in Kolmogorov-Smirnov test | |
| CN116860562B (zh) | 一种用于数据中台数据质量的监控方法及*** | |
| CN117708735A (zh) | 一种基于多点校核的量测数据拟合方法、介质及*** | |
| CN116910677A (zh) | 一种工业仪表故障诊断方法及*** | |
| CN109887253B (zh) | 石油化工装置报警的关联分析方法 | |
| CN1851409B (zh) | 一种压电陀螺的可靠性评估方法 | |
| CN110956330A (zh) | 一种基于多维影响量对输电线路线损进行预测的方法及*** | |
| CN115619106A (zh) | 一种考虑性能退化的激光陀螺仪备件数量确定方法及*** | |
| CN115510998A (zh) | 交易异常值检测方法及装置 | |
| CN106547690B (zh) | 基于新拟合判定标准下的软件可靠性建模方法及装置 | |
| CN109615255A (zh) | 一种基于性能退化数据的轴承可靠性评估方法 | |
| CN114330859A (zh) | 一种实时质量控制的优化方法、***和设备 | |
| CN111177012B (zh) | 一种电力***的pas***评估方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A data verification method of improved 53h algorithm Effective date of registration: 20210923 Granted publication date: 20160217 Pledgee: Huarong Xiangjiang Bank Co.,Ltd. Xiangjiang New Area Branch Pledgor: Hunan Datang Xianyi Technology Co.,Ltd. Registration number: Y2021430000057 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20221012 Granted publication date: 20160217 Pledgee: Huarong Xiangjiang Bank Co.,Ltd. Xiangjiang New Area Branch Pledgor: Hunan Datang Xianyi Technology Co.,Ltd. Registration number: Y2021430000057 |