CN113542060A - 一种基于设备通信数据特征的异常设备检测方法 - Google Patents

一种基于设备通信数据特征的异常设备检测方法 Download PDF

Info

Publication number
CN113542060A
CN113542060A CN202110768602.1A CN202110768602A CN113542060A CN 113542060 A CN113542060 A CN 113542060A CN 202110768602 A CN202110768602 A CN 202110768602A CN 113542060 A CN113542060 A CN 113542060A
Authority
CN
China
Prior art keywords
density
equipment
data
point
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110768602.1A
Other languages
English (en)
Other versions
CN113542060B (zh
Inventor
杨鲲
张埙
刘强
梅海波
陈卉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN202110768602.1A priority Critical patent/CN113542060B/zh
Publication of CN113542060A publication Critical patent/CN113542060A/zh
Application granted granted Critical
Publication of CN113542060B publication Critical patent/CN113542060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental & Geological Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了本发明公开一种基于设备通信数据特征的异常设备检测方法,利用聚类算法处理获得正常设备通信行为特征;利用数据点与邻域点距离,设计数据密度半径表示其局部密度情况,采用邻域内点的密度半径均值表示该点的邻域点密度情况,通过两个密度值的差异情况筛选孤立点,对局部同密度的点进行聚类,建立设备正常行为特征库;计算密度情况及其局部密度与邻域密度差异,以及与最近点所在簇的密度差异,判断异常设备行为。本发明具有灵活的适应性,能够适应不同密度分布下的聚类,同时参数能够调节区分不同密度的梯度差,降低了误判概率。

Description

一种基于设备通信数据特征的异常设备检测方法
技术领域
本发明属于物联网安全技术领域,尤其涉及一种一种以TCP/IP协议通信的物联网***,建立物联网设备正常通信行为的数据特征库,通过比对检测设备数据特征与正常行为特征库差异检测异常物联网设备的方法。
背景技术
物联网作为现代信息产业的组成部分,其规模、价值、分布领域逐渐扩大,其重要性日渐提高,同时物联网设备存在低成本、多架构、技术标准不统一等特点,这些特点使得物联网设备面临更多的安全风险,可能会受到恶劣环境与人为恶意攻击影响,变成异常设备,向物联网服务器上传不可靠数据,影响物联网(Internet of Things,IOT)***的安全稳定运行。
物联网设备属于物联网***的末端,主要完成环境感知与状态上报的功能。相对于传统互联网及移动互联网领域,物联网设备各类设备主要是针对各具体细分领域设计,其专用性更强,结构更简单,功能更单一,工作任务有周期化特征,因而其通信行为具有相对稳定的数据特征。物联网***作为一个规模庞大的信息***,设备正常设备行为具有一定的数据特征,而异常行为对于***安全造成威胁,其数据特征会偏离正常设备行为的特征。在网络***安全方面,将这些异常的具有破坏性的行为视为入侵行为,采用多种方式检测入侵行为并加以处理和防范叫做入侵检测。入侵检测***(intrusion detectionsystem,IDS)是网络安全研究的重要领域。入侵检测大致可以分为两类,误用检测(misusedetection)和异常检测(anomaly detection)。误用检测是针对确定攻击行为的特征匹配,从而判定异常行为。异常检测是一种基于正常行为特征的检测方法,通过对于数据集的学习,将正常的行为转换为可表达的规则特征,通过比对检测行为与特征库的差异可以判断异常行为。
对于物联网设备行为数据特征的分析与生成需要用到聚类方法,聚类方法能够按照一定的评价标准,根据数据点特征的差异程度划分为不同的聚类簇,使得每个簇内的元素具有比较相似的特征,而不同簇类之间又存在较大的特征差异。基于密度的聚类算法能自动的识别不同数量与形状的数据类簇,但其全局统一的参数只适用于单一密度分布情况;而物联网应用场景多,专用性强,在一个物联网***下,会存在多种设备群,具有多种通信行为特征,常用聚类算法采用全局统一的特征生成与判断方式,不能适应物联网领域的设备特点,因而需要设计适合于物联网设备数据特点的聚类算法,能适应物联网下多种密度分布的设备通信数据特征,建立物联网***下的设备正常通信行为数据特征库。在此基础上,基于正常设备与异常设备在通信行为上的特征差异,通过比较设备行为与特征库的差异检测异常设备通信行为,进而检测异常设备。
发明内容
针对物联网环境下弱性能设备因自然损坏与恶意破坏变成异常设备影响物联网***的平稳可靠运行,本发明提出一种基于设备通信数据特征的异常设备检测方法。本发明基于物联网设备通信行为具有相对稳定的数据特征的特点,采用聚类算法处理获得设备通信行为数据特征;针对物联网下各类设备差异大,导致设备通信行为数据特征全局不统一的现状,利用数据点与邻域点距离,设计数据密度半径表示其局部密度情况,采用邻域点的密度半径均值表示该点的邻域点密度情况,通过两个密度值的差异情况筛选孤立点,对局部同密度的点进行聚类,建立物联网***下的设备正常通信行为特征库。对待测设备通信行为数据计算其在特征库下的密度情况,计算得到其局部密度与邻域密度差异,以及与最近点所在簇的密度差异,判断异常设备行为,连续多个周期检测,降低误判的概率。
本发明的目的就在于为了解决上述问题而提供一种基于设备通信数据特征的异常设备检测方法,具体包括以下实现过程:
选取物联网设备通信行为特征,建立表征物联网设备通信行为特征的数据对象模型;
预处理得到表征数据对象密集程度的密度半径,同时依大小由密向疏排列;
依次处理设备行为数据点,通过比较该数据点局部密度与其邻域点密度均值的差异程度,过滤孤立噪声点,对物联网设备行为数据集按局部密度聚类,建立正常行为特征数据库,比较待测设备通信行为数据,识别异常行为;
连续多个周期进行检测,多次检测均标记为异常行为时,标记该设备为异常设备。
本发明通过以下技术方案来实现上述目的:设计表征设备通信行为的多维数据点对象,利用数据点与邻域点距离,计算数据点局部密度与邻域密度表示数据点与邻域点密度差异,过滤孤立噪声点,对局部同密度点聚类,建立正常设备通信行为特征库,检测识别异常设备行为,连续多个周期检测,降低异常设备误判概率。
本发明的有益效果在于:
1.基于不同物联网设备具体通信设计,选取***下表征设备状态的数据对象模型,量化到合适计算范围,有灵活的适应性;
2.根据设定的密度阈值,利用数据点与邻域点距离均值来表征其局部密度,无需先验参数;
3.利用数据点自身局部密度与其邻域点密度均值比较差异与设定差异参数比较,能够适应不同密度分布下的聚类,同时参数能够调节区分不同密度的梯度差;
4.采用连续多个周期检测结果作为判断,降低误判概率。
附图说明
图1为本发明的实施步骤;
图2为本发明实施提供的建立物联网设备正常行为特征库的步骤;
图3为本发明实施例提供的检测异常设备流程图。
具体实施方式
下面结合附图对本发明作进一步说明:
如附图1所示,本发明提供了一种基于设备通信数据特征的异常设备检测方法,基于物联网设备通信行为具有相对稳定的数据特征的特点,通过设备通信数据特征检测异常设备。设计表征设备通信行为的数据对象,表示为设备通信数据集内的数据点;利用数据点与邻域数据点的距离,计算获得数据点局部密度与邻域密度,用于表示数据点与邻域点密度差异,过滤孤立点,对局部同密度点聚类,建立正常设备通信行为特征库,检测识别异常设备行为;连续多个周期检测,降低误判概率,最终识别异常设备,保护物联网***可靠性,接下来结合具体的附图对本发明实现过程作详细的介绍。本发明方法具体实现过程如下:
A1:选取物联网设备通信行为特征,建立表征设备通信行为特征数据模型,通过该数据模型能够表征设备数据通信行为背后的设备状态;
物联网设备通信方式多样,在采用TCP/IP协议通信的方式中,设备与服务器通信的过程一般有建立连接、通信、断开连接的三个步骤,而在这个过程中,正常工作的物联网设备,会按照软件程序设定完成周期性工作,因而其在消息上报上具有相对稳定的频率,而在正常的工作环境下,设备与服务器的连接通信的频率是稳定的,选择连接频率与消息频率表征设备行为。
设备连接频率用X表示,代表给定时间内,设备向服务器发起连接请求的次数,连接频率的计算方式为X=N/T,其中T代表检测时间长度,N代表设备连接次数。设备消息频率用Y表示,代表一定时间内,设备向服务器发送的消息数量,消息频率的计算方式为Y=N/T,其中T代表检测时间长度,N代表设备消息发送次数。
A2:预处理设备通信行为数据对象,量化到一定值域范围,按下述公式计算得到表征数据对象密度情况的密度半径,通过密度半径能够量化物联网设备通信行为特征相似性。区别于按照先验知识,提前给出全局数据点检测半径与密度阈值的方式,本方法仅事先设定一个密度阈值M,采用密度半径
Figure BDA0003152873690000051
表示该数据点的数据密度情况,其中distancepi表示离检测点最近M个点的距离,通过密度半径e表征数据点局部的密集程度;
A3:依次处理设备通信行为数据点,计算该点局部邻域点的密度半径均值Ep,比较该点与其局部邻域点密度半径均值Ep的差异程度o,过滤孤立噪声点,实现数据集按局部密度聚类,形成正常设备通信行为特征库,用于检测设备的通信行为;
A31:从数据集中顺序取出一个未访问数据点p,采用公式
Figure BDA0003152873690000052
计算p点局部邻域点的密度半径均值,表示该数据点邻域点的数据密集情况,表示与设备行为特征最相似的设备群特征;
A32:比较该点p与其局部邻域点密度半径均值Ep的差异程度o,其中o=|log2(ep/Ep)|,以o<a为检测条件,过滤影响数据库准确性的个别噪声点,并标记为已访问,a为事先设定的差异参数,一般取值为1;
A33:对于符合条件的非孤立点p,标记为第k簇点,记第k簇内平均密度半径值为E,将p添加进Seeds集合内;
A34:若Seeds为空,则跳回A31;若Seeds不为空,则任取Seeds内一点q,标记为第k簇类点,加权更新第k簇内平均密度半径值为E=(E*(N-1)+Eq)/N,N为当前簇内节点数;对于q邻域内任一点p,该点p与其局部邻域点密度半径均值Ep的差异程度o,若符合条件o<a,则将该点p添加入Seeds。若不符合条件o<a,则将点p标记为已访问,重复A34;
A35:完成全部设备通信行为数据集的处理,形成分布全局的多种密度分布的物联网设备正常行为特征库。由于设备异常通信行为是孤立的,偏离正常行为特征簇的,因此对于待检测设备行为数据对象w,计算其密度半径值ew及在特征库下的局部邻域点密度半径均值Ew,检测条件o<a与Ew<Ev是否符合,判断其是否属于设备正常行为特征簇,从而识别设备异常行为,其中Ev为最邻近点所在簇的簇内密度半径均值,若有任一条件不满足则为异常行为;
A4:连续多个周期进行检测,多次检测均标记为异常设备行为时,标记该设备为异常设备,降低误判概率。
本发明的有益效果在于:
1.基于不同物联网设备具体通信设计,选取***下表征设备状态的数据对象模型,量化到合适计算范围,有灵活的适应性;
2.根据设定的密度阈值,利用数据点与邻域点距离均值来表征其局部密度,无需先验参数;
3.利用数据点自身局部密度与其邻域点密度均值比较差异与设定差异参数比较,能够适应不同密度分布下的聚类,同时参数能够调节区分不同密度的梯度差;
4.采用连续多个周期检测结果作为判断,降低误判概率。
本发明的技术方案不限于上述具体实施例的限制,凡是根据本发明的技术方案做出的技术变形,均落入本发明的保护范围之内。

Claims (4)

1.一种基于设备通信数据特征的异常设备检测方法,其特征在于,包括:
选取物联网设备通信行为特征,建立表征物联网设备通信行为特征的数据对象模型;
预处理得到表征数据对象密集程度的密度半径,同时依大小由密向疏排列;
依次处理设备行为数据点,通过比较该数据点局部密度与其邻域点密度均值的差异程度,过滤孤立噪声点,对物联网设备行为数据集按局部密度聚类,建立正常行为特征数据库,比较待测设备通信行为数据,识别异常行为;
连续多个周期进行检测,多次检测均标记为异常行为时,标记该设备为异常设备。
2.根据权利要求1所述一种基于设备通信数据特征的异常设备检测方法,其特征在于,利用数据点与邻域内点距离,计算数据点局部密度半径与邻域内数据点密度半径均值,通过计算二者比值的对数表示当前点与邻域点密度差异程度,以差异值小于阈值为条件过滤孤立噪声点,并将局部同密度点进行聚类,建立物联网设备多密度分布的通信行为特征库。
3.根据权利要求1所述一种基于设备通信数据特征的异常设备检测方法,其特征在于,对于待测设备通信行为数据,计算局部密度半径与邻域内对象密度半径均值,若二者差异大于阈值则判为异常行为,比较检测数据点局部密度半径与最近点所在簇密度半径均值差异,若大于阈值也判为异常行为。
4.根据权利要求1所述一种基于设备通信数据特征的异常设备检测方法,其特征在于,连续周期检测物联网设备通信行为数据,若连续标记设备异常行为记录次数超过阈值,则将该设备判断为异常设备。
CN202110768602.1A 2021-07-07 2021-07-07 一种基于设备通信数据特征的异常设备检测方法 Active CN113542060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110768602.1A CN113542060B (zh) 2021-07-07 2021-07-07 一种基于设备通信数据特征的异常设备检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110768602.1A CN113542060B (zh) 2021-07-07 2021-07-07 一种基于设备通信数据特征的异常设备检测方法

Publications (2)

Publication Number Publication Date
CN113542060A true CN113542060A (zh) 2021-10-22
CN113542060B CN113542060B (zh) 2023-03-07

Family

ID=78097971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110768602.1A Active CN113542060B (zh) 2021-07-07 2021-07-07 一种基于设备通信数据特征的异常设备检测方法

Country Status (1)

Country Link
CN (1) CN113542060B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923043A (zh) * 2021-10-27 2022-01-11 温州职业技术学院 一种基于密度峰值自适应聚类的用户实体行为分析方法
CN114827211A (zh) * 2022-05-13 2022-07-29 浙江启扬智能科技有限公司 一种物联网节点数据驱动的异常监控区域检测方法
CN115329910A (zh) * 2022-10-17 2022-11-11 南通坤鹏科技有限公司 一种企业生产排放数据智能处理方法
CN116610731A (zh) * 2023-07-20 2023-08-18 深圳市行云数据技术有限公司 一种大数据分布式存储方法、装置、电子设备及存储介质
CN116963136A (zh) * 2023-09-21 2023-10-27 安普德(天津)科技股份有限公司 一种wlan协议数据过滤方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083475A (zh) * 2019-04-23 2019-08-02 新华三信息安全技术有限公司 一种异常数据的检测方法及装置
CN110874310A (zh) * 2018-12-21 2020-03-10 北京安天网络安全技术有限公司 一种终端行为监测方法、装置、电子设备及存储介质
CN112600792A (zh) * 2020-11-23 2021-04-02 国网山东省电力公司青岛供电公司 一种物联网设备的异常行为检测方法及***
CN113032502A (zh) * 2021-02-09 2021-06-25 北京工业大学 一种基于改进轨迹段dbscan聚类的船舶异常检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874310A (zh) * 2018-12-21 2020-03-10 北京安天网络安全技术有限公司 一种终端行为监测方法、装置、电子设备及存储介质
CN110083475A (zh) * 2019-04-23 2019-08-02 新华三信息安全技术有限公司 一种异常数据的检测方法及装置
CN112600792A (zh) * 2020-11-23 2021-04-02 国网山东省电力公司青岛供电公司 一种物联网设备的异常行为检测方法及***
CN113032502A (zh) * 2021-02-09 2021-06-25 北京工业大学 一种基于改进轨迹段dbscan聚类的船舶异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨剑: "一种改进的基于密度聚类的入侵检测算法", 《微计算机信息》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923043A (zh) * 2021-10-27 2022-01-11 温州职业技术学院 一种基于密度峰值自适应聚类的用户实体行为分析方法
CN113923043B (zh) * 2021-10-27 2024-02-09 温州职业技术学院 一种基于密度峰值自适应聚类的用户实体行为分析方法
CN114827211A (zh) * 2022-05-13 2022-07-29 浙江启扬智能科技有限公司 一种物联网节点数据驱动的异常监控区域检测方法
CN114827211B (zh) * 2022-05-13 2023-12-29 浙江启扬智能科技有限公司 一种物联网节点数据驱动的异常监控区域检测方法
CN115329910A (zh) * 2022-10-17 2022-11-11 南通坤鹏科技有限公司 一种企业生产排放数据智能处理方法
CN116610731A (zh) * 2023-07-20 2023-08-18 深圳市行云数据技术有限公司 一种大数据分布式存储方法、装置、电子设备及存储介质
CN116610731B (zh) * 2023-07-20 2023-11-07 深圳市行云数据技术有限公司 一种大数据分布式存储方法、装置、电子设备及存储介质
CN116963136A (zh) * 2023-09-21 2023-10-27 安普德(天津)科技股份有限公司 一种wlan协议数据过滤方法及***
CN116963136B (zh) * 2023-09-21 2023-11-28 安普德(天津)科技股份有限公司 一种wlan协议数据过滤方法及***

Also Published As

Publication number Publication date
CN113542060B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN113542060B (zh) 一种基于设备通信数据特征的异常设备检测方法
CN111935170B (zh) 一种网络异常流量检测方法、装置及设备
CN111092862B (zh) 一种用于对电网终端通信流量异常进行检测的方法及***
CN109067722B (zh) 一种基于两步聚类和检测片分析联合算法的LDoS检测方法
Chen et al. Anomaly detection based on enhanced DBScan algorithm
CN109951499B (zh) 一种基于网络结构特征的异常检测方法
KR20210115991A (ko) 시계열 데이터 분석을 이용한 네트워크 이상징후 탐지 방법 및 장치
CN109784668B (zh) 一种用于电力监控***异常行为检测的样本特征降维处理方法
CN110768946A (zh) 一种基于布隆过滤器的工控网络入侵检测***及方法
CN117216660A (zh) 基于时序网络流量集成异常点和异常集群检测方法及装置
CN111031006A (zh) 一种基于网络流的智能电网通信异常检测方法
CN115795330A (zh) 一种基于ai算法的医疗信息异常检测方法及***
CN115952067A (zh) 一种数据库操作异常行为检测方法及可读存储介质
Xie et al. An anomaly detection method based on fuzzy c-means clustering algorithm
RU180789U1 (ru) Устройство аудита информационной безопасности в автоматизированных системах
CN109309586B (zh) 一种食品加工远程控制***入侵检测方法
CN115514581B (zh) 一种用于工业互联网数据安全平台的数据分析方法及设备
CN110650145A (zh) 一种基于sa-dbscan算法的低速率拒绝服务攻击检测方法
CN117014193A (zh) 一种基于行为基线的未知Web攻击检测方法
CN116707859A (zh) 特征规则提取方法和装置、网络入侵检测方法和装置
CN116578970A (zh) 一种基于图神经网络的异构图中社交机器人检测方法
CN116668054A (zh) 一种安全事件协同监测预警方法、***、设备及介质
CN111064724B (zh) 一种基于rbf神经网络的网络入侵检测***
CN113225319A (zh) 软件定义网络异常流量检测方法
CN111833174A (zh) 一种基于lof算法的互联网金融申请反欺诈识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant