CN107862866B - 基于平均偏移量平移的数据噪音点检测方法 - Google Patents

基于平均偏移量平移的数据噪音点检测方法 Download PDF

Info

Publication number
CN107862866B
CN107862866B CN201711077817.9A CN201711077817A CN107862866B CN 107862866 B CN107862866 B CN 107862866B CN 201711077817 A CN201711077817 A CN 201711077817A CN 107862866 B CN107862866 B CN 107862866B
Authority
CN
China
Prior art keywords
data
traffic flow
noise
flow data
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711077817.9A
Other languages
English (en)
Other versions
CN107862866A (zh
Inventor
杨柏林
田彦
林贤煊
孙书林
张凯丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201711077817.9A priority Critical patent/CN107862866B/zh
Publication of CN107862866A publication Critical patent/CN107862866A/zh
Application granted granted Critical
Publication of CN107862866B publication Critical patent/CN107862866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于平均偏移量平移的交通流量数据噪声点检测方法。本发明主要结合历史数据与邻近数据进行噪声判断以便后续进行相应处理。历史数据指在某一时刻，前几个周期该时刻车流量数据的平均值，邻近数据指待被判定点周围的车流量数据。结合历史数据与邻近数据解算出偏移量，再用周期内的数据与偏移量去拟合历史数据，最后根据拟合的数据与历史数据的偏差来判断数据是否为噪声数据。本发明能够更加准确的定位交通车流量数据中存在的噪声，促进智能交通更精准处理。

Description

基于平均偏移量平移的数据噪音点检测方法
技术领域
本发明属于交通流量数据噪声处理技术领域，具体涉及一种基于平均偏移量平移的交通数据噪声点检测方法。
背景技术
随着计算机硬件和软件的成熟化，人工智能技术逐渐引起社会关注。人工智能在交通领域的应用，即智能交通，对人们生活有着至关重要的影响。交通智能化解决了人们出行的许多难题，如交通流量的预测能有效的规避交通拥堵的现象。通过深度学习的方法对历史的交通流量变化规律进行学习，利用所学的权重值对未来某一时刻的交通流量情况进行预测，便于提前决策来避免交通拥堵的情况。
深度学习对于基于时间序列预测的交通流量数据预测问题有着良好的性能。但是可能因为收集的数据存在较多的噪声从而降低模型的预测性能。在交通流量数据中，噪声数据指在实现交通智能的过程中难以被机器正确理解和翻译的数据。少量的噪声数据对模型的性能几乎没有影响，而噪声数据量达到一定的程度的时候，对模型的影响就比较大。引起噪声数据的原因有交通流量数据本身具有高突变型、外部条件突发改变等。
当前对噪音数据判断的常用的方法有聚类、低阶多项式滑动拟合、人工检测于计算机的结合等。聚类：适用于数据差异不大，但是交通流量数据差异较大，聚类分析效果较差。低阶多项式滑动拟合法：该方法应用统计方法判断异常值，但交通流具有高突变性，对于突变的噪声此方法并不能很好的检测。然而这些解决噪声的方法针对交通流量数据中的噪声不能有良好的性能，从而影响机器学习算法对交通流量的预测性能。
针对交通流量数据的分析，发现交通流量数据易受外部环境影响，交通管制、恶劣天气、节假日等均很容易造成交通流量数据突变。而且很多研究表明，交通流量具有周期性，时间周期为星期，如星期一某时刻的车流量数据与上周星期一对应时刻的车流量数据相差不大。并且交通数据中相邻数据有较大的关联，在不发生突变的情况下，相邻数据数值差异并不会很大。
发明内容
本发明针对传统的噪声判断方法无法处理高突变性、周期性、时序性的交通流量数据，提出了一种创新型的基于平均偏移量平移的数据噪声点检测方法。
本发明检测噪声主要结合历史数据与邻近数据进行噪声判断以便后续进行相应处理。历史数据指在某一时刻，前几个周期该时刻车流量数据的平均值，邻近数据指待被判定点周围的车流量数据。结合历史数据与邻近数据解算出偏移量，再用周期内的数据与偏移量去拟合历史数据，最后根据拟合的数据与历史数据的偏差来判断数据是否为噪声数据。
本发明的有益效果：本发明能够解决高突变性、周期性、时序性数据的噪检测问题。结合了交通车流量的某时刻的历史平均值与该时刻邻近数据，更加准确的定位交通车流量数据中存在的噪声，促进智能交通更精准处理。
附图说明
图1.噪声检测示意图。
具体实施方式
以下结合附图对本发明作进一步说明
如图1所示，本发明包括以下步骤：
步骤一：假设车流量的真实数据为T，周期为N，Ti表示某周期内第i个时刻对应的交通流量数据。假设共有M个周期,则此时刻的车流量的历史值为H＝{Ti1,Ti2,…,Tij},j＝1,…M。Tij表示第j个周期第i条车流量数据。先计算出周期内某时刻平均值，再计算出该时刻的偏移量Di如下，i＝1,…N。
Figure GDA0002474952920000021
步骤二：将偏移量D进行排序记为D′，单周期车流量数据共有N条。过滤掉较小和较大的1/5数据，将剩下3/5的数据进行取平均值。这样可以过滤掉偏移量过大或者过小的数据，防止过大或者过小的数据拉高或者拉低平均值。再设置一个阈值A，通过调整阈值A的大小来决定拟合过后的数据是否有效。高于(低于)阈值说明该时刻的车流量数据的值异常偏高(偏低)。而这些无效的车流量数据对智能交通中车流量预测有很大的影响，降低了智能交通车流量数据的预测的准确度，这些点就被定义为噪声点。噪声点的判断如公式(2)所示：
Figure GDA0002474952920000031
步骤三：由于阈值A可以自定义，因此可以结合数据质量来调节A的大小，将噪声点记录下来。一般来说，噪声数据不会超过数据量的5％，最后再用一定的方法将噪声平滑。

Claims (1)

1.基于平均偏移量平移的交通流量数据噪声点检测方法，其特征在于该方法包括以下步骤：
步骤一：假设车流量的真实数据为T，周期为N，Ti表示某周期内第i个时刻对应的交通流量数据，i＝1,…N；假设共有M个周期,则此时刻的车流量的历史值为H＝{Ti1,Ti2,…,Tij},j＝1,…M；Tij表示第j个周期第i条车流量数据；先计算出周期内某时刻平均值，再计算出该时刻的偏移量Di如下：
Figure FDA0002474952910000011
步骤二：将偏移量D进行排序记为D′，单周期车流量数据共有N条；过滤掉较小和较大的1/5数据，将剩下3/5的数据进行取平均值；设置一个阈值A，通过调整阈值A的大小来决定拟合过后的数据是否有效；噪声点的判断如下：
Figure FDA0002474952910000012
步骤三：结合数据质量来调节阈值A的大小，将噪声点记录下来并将噪声平滑。
CN201711077817.9A 2017-11-06 2017-11-06 基于平均偏移量平移的数据噪音点检测方法 Active CN107862866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711077817.9A CN107862866B (zh) 2017-11-06 2017-11-06 基于平均偏移量平移的数据噪音点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711077817.9A CN107862866B (zh) 2017-11-06 2017-11-06 基于平均偏移量平移的数据噪音点检测方法

Publications (2)

Publication Number Publication Date
CN107862866A CN107862866A (zh) 2018-03-30
CN107862866B true CN107862866B (zh) 2020-10-16

Family

ID=61701019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711077817.9A Active CN107862866B (zh) 2017-11-06 2017-11-06 基于平均偏移量平移的数据噪音点检测方法

Country Status (1)

Country Link
CN (1) CN107862866B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143169B (zh) * 2019-12-30 2024-02-27 杭州迪普科技股份有限公司 异常参数检测方法及装置、电子设备、存储介质
CN116611620B (zh) * 2023-07-18 2023-09-19 厚德智能技术(山东)有限公司 一种智慧城市安全协同管理信息***
CN116824867B (zh) * 2023-08-30 2023-11-17 山东华夏高科信息股份有限公司 一种多源公路设施数据信号优化收集处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783075A (zh) * 2010-02-05 2010-07-21 北京科技大学 一种城市环形道路交通流预测***
CN102014031A (zh) * 2010-12-31 2011-04-13 湖南神州祥网科技有限公司 一种网络流量异常检测方法及***
CN103441982A (zh) * 2013-06-24 2013-12-11 杭州师范大学 一种基于相对熵的入侵报警分析方法
CN105336163A (zh) * 2015-10-26 2016-02-17 山东易构软件技术股份有限公司 一种基于三层k近邻的短时交通流预测方法
CN105355049A (zh) * 2015-11-05 2016-02-24 北京航空航天大学 一种基于宏观基本图的高速公路运行状态评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327677B1 (en) * 1998-04-27 2001-12-04 Proactive Networks Method and apparatus for monitoring a network environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783075A (zh) * 2010-02-05 2010-07-21 北京科技大学 一种城市环形道路交通流预测***
CN102014031A (zh) * 2010-12-31 2011-04-13 湖南神州祥网科技有限公司 一种网络流量异常检测方法及***
CN103441982A (zh) * 2013-06-24 2013-12-11 杭州师范大学 一种基于相对熵的入侵报警分析方法
CN105336163A (zh) * 2015-10-26 2016-02-17 山东易构软件技术股份有限公司 一种基于三层k近邻的短时交通流预测方法
CN105355049A (zh) * 2015-11-05 2016-02-24 北京航空航天大学 一种基于宏观基本图的高速公路运行状态评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数据挖掘技术的城市交通流短时预测研究;王娜;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20170315(第3期);第10-12页 *

Also Published As

Publication number Publication date
CN107862866A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107862866B (zh) 基于平均偏移量平移的数据噪音点检测方法
CN107092582B (zh) 一种基于残差后验的异常值在线检测及置信度评估方法
CN111079342B (zh) 一种基于在线岩体等级分类的tbm掘进性能预测方法
CN112188531B (zh) 异常检测方法、装置、电子设备及计算机存储介质
CN110054274B (zh) 一种净水絮凝沉淀投药控制方法
CN110362608B (zh) 基于雨流计数法和局部异常因子的能耗异常检测方法
CN110175353B (zh) 电梯运行指标趋势分析方法
CN107293118B (zh) 一种交通速度动态区间短时预测方法
CN110057406B (zh) 一种多尺度自适应的机械设备趋势预警方法
CN116611674B (zh) 一种建筑供给水智能调度运行方法
CN115962551B (zh) 用于楼宇自动控制的智能空调控制***和方法
CN112363896A (zh) 日志异常检测***
CN116307215A (zh) 一种电力***的负荷预测方法、装置、设备及存储介质
CN110378371B (zh) 一种基于平均近邻距离异常因子的能耗异常检测方法
CN115171825A (zh) 型材产品规格参数控制方法、装置、电子设备及介质
CN116090678B (zh) 一种数据处理方法、装置及设备
CN106991817B (zh) 多级路网路段交通容量确定方法
CN110705806A (zh) 一种基于容量利用小时数的电量预测方法
CN115831258A (zh) 一种基于改进自适应滤波算法的变压器油中溶解气体浓度预测的方法
CN103488089B (zh) 自适应的农药废液焚烧炉有害物排放达标控制***及方法
CN109981358A (zh) 一种基于组合模型的自适应网络性能预警方法
CN106814608B (zh) 基于后验概率分布的预测控制自适应滤波算法
CN108710920B (zh) 示功图识别方法及装置
CN118211082B (zh) 基于数据分析的油液滤芯剩余寿命预测方法及***
CN110569562B (zh) 基于轨迹跟踪及误差修正的短期电力负荷预测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant