CN108897640B - 群智感知中错误位置数据的检测***及方法 - Google Patents
群智感知中错误位置数据的检测***及方法 Download PDFInfo
- Publication number
- CN108897640B CN108897640B CN201810593704.2A CN201810593704A CN108897640B CN 108897640 B CN108897640 B CN 108897640B CN 201810593704 A CN201810593704 A CN 201810593704A CN 108897640 B CN108897640 B CN 108897640B
- Authority
- CN
- China
- Prior art keywords
- data
- error
- matrix
- detection
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
一种群智感知中错误位置数据的检测***及方法,基于时间序列和压缩感知的错误数据检测方法,通过迭代执行基于时间序列的异常值检测方法检测和压缩感知方法检测错误位置数据并同时对丢失位置数据进行恢复。迭代执行时间序列异常值检测方法和压缩感知,使得错误数据和丢失数据间的相互影响最小化,很好的控制了误报率和漏报率,获得了很高的精度(precision)和召回率(recall)。
Description
技术领域
本发明涉及的是一种信息处理领域的技术,具体是一种移动群智感知中基于压缩感知(Compressive Sensing)和时间序列(Time-series)的错误位置数据检测和丢失位置数据检测及恢复***及方法。
背景技术
群智感知是一种新兴的环境信息采集方法,通过这种方法知采集到的数据可靠性较低,数据可能由于用户操作不当、设备故障、通信误码、恶意用户等原因而出现错误和丢失。
现有应对群智感知错误数据的方法主要分为以下三类:第一类是基于用户信誉值的方法,这种方法假设对于每个观测点都有若干观测值,给信誉值更高的用户提供的观测值赋予更高的权值,从而得到相对可靠的结果。但在位置数据中无法获得多个观测值。第二类方法是基于用户激励机制设计的,这种方法通过设计合理的用户激励机制来保证用户尽最大努力提供可靠的数据。但是,这种方法无法应对非用户主观因素造成的错误(如设备故障造成的错误)。第三类是基于时间序列的异常值检测方法,但这种方法没有将丢失数据纳入考虑。
发明内容
本发明针对现有群智感知存在的上述不足以及压缩感知无法处理数据集中的错误数据的缺陷,提出一种群智感知中错误位置数据的检测***及方法,基于时间序列和压缩感知的错误数据检测方法,通过迭代执行基于时间序列的异常值检测方法检测和压缩感知方法检测错误位置数据并同时对丢失位置数据进行恢复。迭代执行时间序列异常值检测方法和压缩感知,使得错误数据和丢失数据间的相互影响最小化,很好的控制了误报率和漏报率,获得了很高的精度(precision)和召回率(recall)。
本发明的方法是一种即使存在大量丢失数据的情况下,也可以以很高的精度检测错误数据的方法。
本发明是通过以下技术方案实现的:
本发明涉及一种移动压缩感知中错误位置数据的检测***,包括:错误检测模块、数据恢复模块以及误判修正模块,其中:错误检测模块接收原始数据作为输入,与数据恢复模块相连并传输初步筛选后的信息,数据恢复模块与误判修正模块相连,将错误检测模块中检测出的错误信息以及原始数据中本就存在的丢失数据一起进行恢复并将恢复后的数据输出至误判修正模块;误判修正模块对原始数据与恢复后的数据进行比较以判断在错误检测模块的检测结果中有无误判出现,并在存在误判时将恢复后的数据传回错误检测模块或输出检测结果和恢复后的数据。
所述的初步筛选后的信息中保证不会存在明显错误的信息,但允许存在正确信息被误判为错误的情况。
本发明涉及上述***的实现方法,包括以下步骤:
第一步、对采集到的含有错误数据和丢失数据的位置信息进行建模,得到错误位置数据检测问题和丢失数据恢复问题的模型。
第二步、对感知矩阵SX,SY的每一行使用基于时间序列的异常值优化检测方法进行错误检测。
第四步、将第二步中被检测为错误的数据与恢复后的数据进行比较并判断是否标记有误,若有误,则返回第二步;否则,输出错误点的集合和恢复后的数据集。
技术效果
与现有技术相比,本发明在检测阶段筛选出所有可能的错误数据,但不必关注有多少数据被误判,而在修正阶段将检测阶段中被判为错误的数据连同丢失数据一起进行恢复,并以恢复后的数据作为基准修正被误判的数据,并将修正后的数据重新输入检测阶段。本发明通过迭代至修正阶段中不再发现被误判的数据为条件,不需要对观测目标的重复观测数据,能够在存在大量丢失数据的数据集上进行错误检测、在存在错误数据的数据集上进行数据恢复以及在错误检测中兼顾误报率和漏报率。
附图说明
图1为检测***结构图
图2为实施例1的流程图。
图3为时间序列异常值方法示意图。
图4为错误检测的精度和召回率与错误数据率和丢失数据率的关系。
图中:a为数据丢失率为20%时错误检测的精度,b为数据丢失率为40%时错误检测的精度,c为数据丢失率为20%时错误检测的召回率,d为数据丢失率为40%时错误检测的召回率;
图5为数据恢复误差与错误数据率和丢失数据率的关系;
图中:a为数据丢失率为10%时数据恢复误差与错误数据率之间的关系,b为数据丢失率为20%时数据恢复误差与错误数据率之间的关系。
具体实施方式
如图1所示,为本实施例涉及的一种移动压缩感知中错误位置数据的检测***,包括:错误检测模块、数据恢复模块以及误判修正模块,其中:错误检测模块接收原始数据作为输入,与数据恢复模块相连并传输初步筛选后的信息,在初步筛选后的信息中,保证不会存在明显错误的信息,但允许存在正确信息被误判为错误的情况;数据恢复模块与误判修正模块相连,在该模块中将错误检测模块中检测出的错误信息以及原始数据中本就存在的丢失数据一起进行恢复,恢复后的数据将被送到误判修正模块;误判修正模块与错误检测模块相连,它对原始数据与恢复后的数据进行比较,以判断在错误检测模块的检测结果中有无误判出现,若有误判,则将恢复后的数据传回错误检测模块;否则,输出检测结果和恢复后的数据。
如图2所示,本实施例涉及上述***的实现方法,包括以下步骤:
第一步、对采集到的含有错误数据和丢失数据的位置信息进行建模,得到错误位置数据检测问题和丢失数据恢复问题的模型。
例如,将每个位置点分为X分量和Y分量,将时间划分成长度相等的时间槽(timeslot),则n个用户,t个时间槽,则得到表示不存在错误和丢失的理论上的真值的位置信息的矩阵:X=[x(i,j)]n×t,Y=[y(i,j)]n×t,其中:i,j分别表示第i个用户和第j个时间槽。
类似地,将位置信息附带的速度信息分为X分量和Y分量,并分别表示为Vx=[υx(i,j)]n×t,Vy=[υy(i,j)]n×t,其中:i,j分别表示第i个用户和第j个时间槽,Vx,Vy分别表示速度的x方向分量和y方向分量。
限制条件:SX,SY,ε,
其中:SX和SY分别表示X方向上和Y方向上的感知矩阵(SM)表示实际采集到的位置信息,包含错误和丢失数据,具体为:其中:ε为存在矩阵(EM),ο为矩阵点乘运算,即:两个大小相同的矩阵中对应元素相乘;Y方向上的感知矩阵定义类似;ε为存在矩阵(EM),表示对应的数据点在SM中是否存在,具体为: 为错误矩阵(FM),表示SM中对应的数据点是否是错误数据,具体为:
限制条件:SX,B(Y方向上最优化问题的定义类似),
第二步、对感知矩阵SX,SY的每一行使用基于时间序列的异常值优化检测方法进行错误检测,具体步骤包括:
2.1、如图3所示,选取一个滑动窗口的大小k,选取将某一行位置信息中连续k个点中的中位数作为参考点,当前检测的点为滑动窗口正中间的点,当当前检测的点与中位数之差的绝对值大于临界值δ,则将当前点暂时标记为错误点(将检测矩阵中对应的元素设置为1)。
优选地,通过调节参数ξ的大小使得所有疑似错误的数据都被检测为错误数据点。在这一步中,只需要保证极低的漏判率,不需要考虑误判率的问题。
2.2、由左向右移动窗口,对矩阵一行数据(一组时间序列)上的所有点都执行步骤2.1;
2.3、对每一组时间序列都执行步骤2.1~2.2,最终得到初步检测结果的检测矩阵。
针对位置信息,为充分利用数据间的相关性以提高数据恢复的精度,所述的最小化问题进一步扩展为: 其中: 为平均速度矩阵,τ为时间槽长度,λ1和λ2为控制数量级的可调参数,利用了速度信息和相邻时间槽内位置信息和速度信息的相关性,从而提高了数据恢复的精度。
所述的最小化问题,即简化为关于L和R两个矩阵的凸函数,优选进一步通过ASD(Alternating Steepest Descent)方法解决。
第四步、将第二步中被检测为错误的数据与恢复后的数据进行比较并判断是否标记有误,最后输出错误点的集合和恢复后的数据集。
所述的判断是指:当标记为错误的数据与恢复后的数据的差值小于误判阈值,则认为该数据点被误判,进而取消对其错误的标记;当发现误判数据点时,在恢复后的数据集上重新执行上述第二步至第四步;否则输出错误点的集合和恢复后的数据集。
本实施实例的模拟实验基于SUVnet数据集。该数据集包含了从2007年2月1日至2007年3月1日之间上海市区2000多量出租车的GPS数据。该模拟实验从错误检测的精度(Precision)和召回率(Recall)以及数据恢复的精度两个方面,对实施例的效果进行了评估。
如图4a-d所示,为当丢失数据率α为20%和40%时错误检测的精度和召回率与错误数据率β之间的关系。其中,I(TS,CS)为该实施例所用的方法,而I(TS,CS)(w\o VT)是不使用速度信息和相邻时间槽位置信息相关性时的结果,I(TS,CS)是不使用速度信息的结果,TMM为只使用时间序列异常值检测***及方法的结果。可以看出,I(TS,CS)在错误检测的精度和召回率上式中保持在98%左右,即使数据集中有40%的数据丢失,40%的数据错误的极端情况下,I(TS,CS)仍然保持着超过95%的精度和召回率。
如图5a-b所示,为当丢失数据率α为10%和20%时数据恢复的误差与错误数据率β之间的关系。图例中前三种方法前面已经介绍过,第四种方法CS为只使用压缩感知而不结合时间序列异常值检测***及方法的结果。可以看到,绝大多数情况下I(TS,CS)的数据恢复误差保持在200m以内,即使在数据丢失率为20%,数据错误率为40%的极端情况下,I(TS,CS)仍然将误差控制在了300m上下,其它三种方法的恢复误差分别为400m,600m和1200+m。相比较而言,该实施例所采用的方法I(TS,CS)具有很大优势。
通过以上模拟实验的结果,与现有方法相比,本实施例所采用的方法I(TS,CS)在错误数据检测的精度和召回率,以及在数据恢复的误差方面确实拥有巨大的优势。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (11)
1.一种移动压缩感知中错误位置数据的检测***,其特征在于,包括:错误检测模块、数据恢复模块以及误判修正模块,其中:错误检测模块接收原始数据作为输入,与数据恢复模块相连并传输初步筛选后的信息,数据恢复模块与误判修正模块相连,将错误检测模块中检测出的错误信息以及原始数据中本就存在的丢失数据一起进行恢复并将恢复后的数据输出至误判修正模块;误判修正模块对原始数据与恢复后的数据进行比较以判断在错误检测模块的检测结果中有无误判出现,并在存在误判时将恢复后的数据传回错误检测模块,否则输出检测结果和恢复后的数据。
2.一种基于权利要求1所述移动压缩感知中错误位置数据的检测***的实现方法,其特征在于,包括以下步骤:
第一步、对采集到的含有错误数据和丢失数据的位置信息进行建模,得到错误位置数据检测问题和丢失数据恢复问题的模型;
第二步、对感知矩阵SX,SY的每一行使用基于时间序列的异常值优化检测方法进行错误检测,SX和SY分别表示X方向上和Y方向上的感知矩阵SM表示实际采集到的位置信息,包含错误和丢失数据,具体为:其中:ε为存在矩阵EM,为矩阵点乘运算,即:两个大小相同的矩阵中对应元素相乘;Y方向上的感知矩阵定义类似;ε为存在矩阵EM,表示对应的数据点在SM中是否存在,具体为:
第四步、将第二步中被检测为错误的数据与恢复后的数据进行比较并判断是否标记有误,最后输出错误点的集合和恢复后的数据集。
7.根据权利要求6所述的方法,其特征是,通过调节参数ξ的大小使得所有疑似错误的数据都被检测为错误数据点。
10.根据权利要求9所述的方法,其特征是,所述的最小化问题,即简化为关于L和R两个矩阵的凸函数,进一步通过ASD方法解决。
11.根据权利要求2所述的方法,其特征是,所述的判断是指:当标记为错误的数据点与恢复后的数据点的差值小于误判阈值,则认为该数据点被误判,进而取消对其错误的标记;当发现误判数据点时,在恢复后的数据集上重新执行上述第二步至第四步;否则输出错误点的集合和恢复后的数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810593704.2A CN108897640B (zh) | 2018-06-11 | 2018-06-11 | 群智感知中错误位置数据的检测***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810593704.2A CN108897640B (zh) | 2018-06-11 | 2018-06-11 | 群智感知中错误位置数据的检测***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108897640A CN108897640A (zh) | 2018-11-27 |
CN108897640B true CN108897640B (zh) | 2021-08-27 |
Family
ID=64344552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810593704.2A Active CN108897640B (zh) | 2018-06-11 | 2018-06-11 | 群智感知中错误位置数据的检测***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108897640B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689232B (zh) * | 2021-07-27 | 2023-07-28 | 阿里巴巴华北技术有限公司 | 对人群召回服务进行检测的方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102970707A (zh) * | 2012-12-20 | 2013-03-13 | 李惠 | 基于压缩感知的无线传输数据丢失恢复方法 |
CN105491614A (zh) * | 2016-01-22 | 2016-04-13 | 中国地质大学(武汉) | 基于二次混合压缩的无线传感网异常事件检测方法及*** |
CN105790568A (zh) * | 2016-04-01 | 2016-07-20 | 广西师范大学 | 基于压缩感知的高频谐振软开关电路故障预测方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5048625B2 (ja) * | 2008-10-09 | 2012-10-17 | 株式会社日立製作所 | 異常検知方法及びシステム |
US8949704B2 (en) * | 2012-03-22 | 2015-02-03 | Lsi Corporation | Systems and methods for mis-correction correction in a data processing system |
-
2018
- 2018-06-11 CN CN201810593704.2A patent/CN108897640B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102970707A (zh) * | 2012-12-20 | 2013-03-13 | 李惠 | 基于压缩感知的无线传输数据丢失恢复方法 |
CN105491614A (zh) * | 2016-01-22 | 2016-04-13 | 中国地质大学(武汉) | 基于二次混合压缩的无线传感网异常事件检测方法及*** |
CN105790568A (zh) * | 2016-04-01 | 2016-07-20 | 广西师范大学 | 基于压缩感知的高频谐振软开关电路故障预测方法及装置 |
Non-Patent Citations (1)
Title |
---|
When Mobile Crowd Sensing Meets Traditional Industry;Lei Shu等;《IEEE Access》;20170131;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108897640A (zh) | 2018-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10958675B2 (en) | Method for the automated creation of rules for a rule-based anomaly recognition in a data stream | |
CN112907491B (zh) | 一种适用于井下巷道的激光点云回环检测方法及*** | |
CN105279365B (zh) | 用于学习异常检测的样本的方法 | |
CN107063259B (zh) | 一种航迹关联方法及电子设备 | |
CN109991951B (zh) | 多源故障检测与诊断方法和装置 | |
CN109977895B (zh) | 一种基于多特征图融合的野生动物视频目标检测方法 | |
CN106950945B (zh) | 一种基于量纲可变型独立元分析模型的故障检测方法 | |
CN111144364A (zh) | 一种基于通道注意更新机制的孪生网络目标跟踪方法 | |
KR20190072652A (ko) | 정보 처리 장치 및 정보 처리 방법 | |
CN102163280A (zh) | 一种基于置信度和多帧判决的目标识别跟踪转换方法 | |
CN112069787A (zh) | 一种基于词嵌入的日志参数异常检测方法 | |
CN113205138B (zh) | 人脸人体匹配方法、设备和存储介质 | |
CN113315781A (zh) | 基于hmm模型的异常数据检测方法 | |
CN115129504B (zh) | 基于云边端一体化的智慧电网数据处理方法及服务器 | |
CN108897640B (zh) | 群智感知中错误位置数据的检测***及方法 | |
CN115641538A (zh) | 设备异常检测方法、装置、计算机设备及存储介质 | |
CN105590026B (zh) | 基于主成分分析的卫星遥测回归方法 | |
CN110580213A (zh) | 一种基于循环标记时间点过程的数据库异常检测方法 | |
CN116682175A (zh) | 一种复杂环境下的车间人员危险行为检测方法 | |
CN115993268A (zh) | 无水氟化氢的取样***及其方法 | |
CN113906436A (zh) | 用于探测烟雾的方法和设备 | |
CN115186762A (zh) | 一种基于dtw-knn算法的发动机异常检测方法及*** | |
CN114020811A (zh) | 数据异常检测方法及其装置、电子设备 | |
CN117176433A (zh) | 网络数据的异常行为检测***及方法 | |
JP6587950B2 (ja) | スカラ特徴量によって時系列変化点を検出可能なプログラム、装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |