CN111431771A - 一种抗噪音干扰的城域网数据核验装置 - Google Patents
一种抗噪音干扰的城域网数据核验装置 Download PDFInfo
- Publication number
- CN111431771A CN111431771A CN202010266268.5A CN202010266268A CN111431771A CN 111431771 A CN111431771 A CN 111431771A CN 202010266268 A CN202010266268 A CN 202010266268A CN 111431771 A CN111431771 A CN 111431771A
- Authority
- CN
- China
- Prior art keywords
- address
- data
- domain
- xdr
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/065—Generation of reports related to network devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/50—Address allocation
- H04L61/5007—Internet protocol [IP] addresses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2101/00—Indexing scheme associated with group H04L61/00
- H04L2101/60—Types of network addresses
- H04L2101/618—Details of network addresses
- H04L2101/622—Layer-2 addresses, e.g. medium access control [MAC] addresses
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种抗噪音干扰的城域网数据核验装置涉及信息技术领域。本发明由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成;本发明通过抽离出有效数据,包括区域内外流向,可以更有效的利用流量数据对监管***的数据覆盖度进行核验,可降低噪音数据在数据漏报发现中的影响。
Description
技术领域
本发明涉及信息技术领域,特别是信息安全技术领域。
背景技术
DPI是一种基于数据包的深度检测技术,针对不同的网络应用层载荷进行深度检测,通过对报文的有效载荷检测决定其合法性。DPI设备通过对网络的关键点处的流量和报文内容进行检测分析,可以根据事先定义的策略对检测流量进行过滤控制,能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。
XDR数据是指基于全量数据进行处理后,生成的供信令监测平台和信令类应用使用的信令及业务的详细记录。
通过DPI设备和城域网核心路由分光及部署点,能够对城域网核心路由流量数据具有采集能力。通过DPI设备进行采集流量数据,可形成XDR流量数据。但目前大部分DPI采集点设备不能或不能准确的判断向域内、向域外流向,而且现在的采集数据中由于各种原因,大量DPI设备中存在数据噪音,影响后期研判。
目前,各个省市的通信行业相关部门及企业,通过在省市内的全部企业运营商处部署EU活跃流量采集设备,EU设备可以按照国家互联网监管的要求将采集到的流量中的http、https、ftp、pop3、smtp等等数据上报,以便国家通信监管部门进行数据监管,数据分析。但由于缺乏有效的核验方法,导致流量存在大量漏报情况。特别是针对链路在专线网络链路和特殊网络的漏覆盖检测,无法通过互联网通用手段或现行的监测***方案去发现及核验,而城域网数据参与核验是一个比较有效的补充手段。
本发明的一种抗噪音干扰的城域网数据核验装置能够将目前DPI设备采集的城域网DPI流量数据进行多重去噪音处理,分析获取域内数据,并对EU采集的数据提供核验依据,发现EU设备采集数据的错漏情况。
发明内容
鉴于现有技术的不足,本发明提供的一种抗噪音干扰的城域网数据核验装置由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成;
XDR数据采集器负责通过分光设备采集城域网设备产生的XDR数据,并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址,生成包括源MAC地址和目的MAC地址的XDR数据;
重复数据剥离器负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理,并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作,生成去重的XDR数据;
第一次降噪模块对去重的XDR数据进行降噪处理,包括:1)去掉缺失源IP地址的去重的XDR数据,去掉缺失目的IP地址的去重的XDR数据;2)源MAC地址与目的MAC地址重复的数据;3)源IP地址与目的IP地址相同的数据;生成第一次降噪的XDR数据;
由第三方IP地址数据接口获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据,常见的IP地址及所在地对应数据提供方包括:百度接口、新浪接口、腾讯接口、IPIPNET;
由流量归类模块根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地,生成包含IP地址归属地的XDR数据;由流量归类模块根据IP地址所在地将IP地址划分为域内IP地址和域外IP地址,域内指城域网所在地范围内,域外指城域网所在地范围外;由流量归类模块将域内IP地址对应的MAC地址划分为域内MAC地址,将域外IP地址对应的MAC地址划分为域外MAC地址;
由第二次降噪模块去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域内IP地址的数据,去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域外IP地址的数据,生成第二次降噪的XDR数据;
由IP地址归类模块读取第二次降噪的XDR数据中的域内MAC地址和域外MAC地址;由IP地址归类模块读取重复数据剥离器生成的去重的XDR数据,对比第三方IP地址数据接口获取的IP地址及所在地对应数据,找出去重的XDR数据中未包含在IP地址及所在地对应数据中的源IP地址和目的IP地址,生成待归类的IP地址;由IP地址归类模块根据靠近域内MAC地址对应的域内IP地址的待归类IP地址为域内IP地址的规则提取再发现的域内IP地址,由IP地址归类模块根据靠近域外MAC地址对应的域外IP地址的待归类IP地址为域外IP地址的规则提取再发现的域外IP地址;
由IP地址归类模块将再发现的域内IP地址与再发现的域外IP地址组成提供给EU查漏报用的IP数据。
有益效果
业内DPI设备采集的城域网数据虽然是高价值数据,但是由于数据噪音和无法有效低成本的分离有效数据,导致城域网高价值的流量数据不能更有效的使用在数据监管中。通过抽离出有效数据,包括区域内外流向,可以更有效的利用流量数据对监管***的数据覆盖度进行核验。
本专利可降低噪音数据在数据漏报发现中的影响。本专利接受一定范围的噪音可以某种程度上降低采集DPI设备成本及后期处理性能成本,并通过采用低成本处理方式,可对常见的噪音一直处在抗干扰状态。
通过分析获得的DPI流量采集数据中的域内IP地址,能够有效的比对并发现目前管局IDC监管***中漏覆盖的省内IP地址,能够有效的提升各省管局属地化管理本省数据。
附图说明
图1是本发明的***结构图。
具体实施方式
参看图1实现本发明提供的一种抗噪音干扰的城域网数据核验装置由XDR数据采集器1、重复数据剥离器2、第一次降噪模块3、第三方IP地址数据接口4、流量归类模块5、第二次降噪模块6和IP地址归类模块7组成;
XDR数据采集器1负责通过分光设备采集城域网设备产生的XDR数据,并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址,生成包括源MAC地址和目的MAC地址的XDR数据;
重复数据剥离器2负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理,并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作,生成去重的XDR数据;
第一次降噪模块3对去重的XDR数据进行降噪处理,包括:1)去掉缺失源IP地址的去重的XDR数据,去掉缺失目的IP地址的去重的XDR数据;2)源MAC地址与目的MAC地址重复的数据;3)源IP地址与目的IP地址相同的数据;生成第一次降噪的XDR数据;
由第三方IP地址数据接口4获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据,常见的IP地址及所在地对应数据提供方包括:百度接口、新浪接口、腾讯接口、IPIPNET;
由流量归类模块5根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地,生成包含IP地址归属地的XDR数据;由流量归类模块5根据IP地址所在地将IP地址划分为域内IP地址和域外IP地址,域内指城域网所在地范围内,域外指城域网所在地范围外;由流量归类模块5将域内IP地址对应的MAC地址划分为域内MAC地址,将域外IP地址对应的MAC地址划分为域外MAC地址;
由第二次降噪模块6去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域内IP地址的数据,去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域外IP地址的数据,生成第二次降噪的XDR数据;
由IP地址归类模块7读取第二次降噪的XDR数据中的域内MAC地址和域外MAC地址;由IP地址归类模块7读取重复数据剥离器2生成的去重的XDR数据,对比第三方IP地址数据接口4获取的IP地址及所在地对应数据,找出去重的XDR数据中未包含在IP地址及所在地对应数据中的源IP地址和目的IP地址,生成待归类的IP地址;由IP地址归类模块7根据靠近域内MAC地址对应的域内IP地址的待归类IP地址为域内IP地址的规则提取再发现的域内IP地址,由IP地址归类模块7根据靠近域外MAC地址对应的域外IP地址的待归类IP地址为域外IP地址的规则提取再发现的域外IP地址;
由IP地址归类模块7将再发现的域内IP地址与再发现的域外IP地址组成提供给EU查漏报用的IP数据71。
Claims (1)
1.一种抗噪音干扰的城域网数据核验装置由XDR数据采集器、重复数据剥离器、第一次降噪模块、第三方IP地址数据接口、流量归类模块、第二次降噪模块和IP地址归类模块组成;
XDR数据采集器负责通过分光设备采集城域网设备产生的XDR数据,并在所采集的XDR数据中添加通过IP包分析得到的源MAC地址和目的MAC地址,生成包括源MAC地址和目的MAC地址的XDR数据;
重复数据剥离器负责将包括源MAC地址和目的MAC地址的XDR数据进行查重处理,并将所有重复的包括源MAC地址和目的MAC地址的XDR数据执行保留一条包括源MAC地址和目的MAC地址的XDR数据去除重复的包括源MAC地址和目的MAC地址的XDR数据的操作,生成去重的XDR数据;
第一次降噪模块对去重的XDR数据进行降噪处理,包括:1)去掉缺失源IP地址的去重的XDR数据,去掉缺失目的IP地址的去重的XDR数据;2)源MAC地址与目的MAC地址重复的数据;3)源IP地址与目的IP地址相同的数据;生成第一次降噪的XDR数据;
由第三方IP地址数据接口获取IP地址及所在地对应数据提供方所提供的IP地址及所在地对应数据;
由流量归类模块根据IP地址及所在地对应数据将第一次降噪的XDR数据补充源IP地址所在地和目的IP地址所在地,生成包含IP地址归属地的XDR数据;由流量归类模块根据IP地址所在地将IP地址划分为域内IP地址和域外IP地址,域内指城域网所在地范围内,域外指城域网所在地范围外;由流量归类模块将域内IP地址对应的MAC地址划分为域内MAC地址,将域外IP地址对应的MAC地址划分为域外MAC地址;
由第二次降噪模块去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域内IP地址的数据,去除包含IP地址归属地的XDR数据中的源IP地址与目的IP地址同时为域外IP地址的数据,生成第二次降噪的XDR数据;
由IP地址归类模块读取第二次降噪的XDR数据中的域内MAC地址和域外MAC地址;由IP地址归类模块读取重复数据剥离器生成的去重的XDR数据,对比第三方IP地址数据接口获取的IP地址及所在地对应数据,找出去重的XDR数据中未包含在IP地址及所在地对应数据中的源IP地址和目的IP地址,生成待归类的IP地址;由IP地址归类模块根据靠近域内MAC地址对应的域内IP地址的待归类IP地址为域内IP地址的规则提取再发现的域内IP地址,由IP地址归类模块根据靠近域外MAC地址对应的域外IP地址的待归类IP地址为域外IP地址的规则提取再发现的域外IP地址;
由IP地址归类模块将再发现的域内IP地址与再发现的域外IP地址组成提供给EU查漏报用的IP数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010266268.5A CN111431771B (zh) | 2020-04-07 | 2020-04-07 | 一种抗噪音干扰的城域网数据核验装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010266268.5A CN111431771B (zh) | 2020-04-07 | 2020-04-07 | 一种抗噪音干扰的城域网数据核验装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111431771A true CN111431771A (zh) | 2020-07-17 |
CN111431771B CN111431771B (zh) | 2022-11-18 |
Family
ID=71555809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010266268.5A Active CN111431771B (zh) | 2020-04-07 | 2020-04-07 | 一种抗噪音干扰的城域网数据核验装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111431771B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112671952A (zh) * | 2020-12-31 | 2021-04-16 | 恒安嘉新(北京)科技股份公司 | 一种ip检测的方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015070788A1 (zh) * | 2013-11-15 | 2015-05-21 | 北京奇虎科技有限公司 | 一种识别ip地址的区域归属地信息的方法和装置 |
WO2016054992A1 (zh) * | 2014-10-10 | 2016-04-14 | 中兴通讯股份有限公司 | 网络数据采集***及方法 |
CN106452940A (zh) * | 2016-08-22 | 2017-02-22 | 中国联合网络通信有限公司重庆市分公司 | 一种互联网业务流量归属的识别方法和装置 |
CN107579874A (zh) * | 2017-09-01 | 2018-01-12 | 北京亚鸿世纪科技发展有限公司 | 一种检测流量采集设备数据采集漏报的方法及装置 |
CN107943973A (zh) * | 2017-11-28 | 2018-04-20 | 上海云信留客信息科技有限公司 | 一种大数据智能清洗***及云机器人智能清洗服务平台 |
CN109600317A (zh) * | 2018-11-25 | 2019-04-09 | 北京亚鸿世纪科技发展有限公司 | 一种自动识别流量并提取应用规则的方法及装置 |
-
2020
- 2020-04-07 CN CN202010266268.5A patent/CN111431771B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015070788A1 (zh) * | 2013-11-15 | 2015-05-21 | 北京奇虎科技有限公司 | 一种识别ip地址的区域归属地信息的方法和装置 |
WO2016054992A1 (zh) * | 2014-10-10 | 2016-04-14 | 中兴通讯股份有限公司 | 网络数据采集***及方法 |
CN106452940A (zh) * | 2016-08-22 | 2017-02-22 | 中国联合网络通信有限公司重庆市分公司 | 一种互联网业务流量归属的识别方法和装置 |
CN107579874A (zh) * | 2017-09-01 | 2018-01-12 | 北京亚鸿世纪科技发展有限公司 | 一种检测流量采集设备数据采集漏报的方法及装置 |
CN107943973A (zh) * | 2017-11-28 | 2018-04-20 | 上海云信留客信息科技有限公司 | 一种大数据智能清洗***及云机器人智能清洗服务平台 |
CN109600317A (zh) * | 2018-11-25 | 2019-04-09 | 北京亚鸿世纪科技发展有限公司 | 一种自动识别流量并提取应用规则的方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112671952A (zh) * | 2020-12-31 | 2021-04-16 | 恒安嘉新(北京)科技股份公司 | 一种ip检测的方法、装置、设备及存储介质 |
CN112671952B (zh) * | 2020-12-31 | 2022-12-13 | 恒安嘉新(北京)科技股份公司 | 一种ip检测的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111431771B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6703613B2 (ja) | データストリームにおける異常検出 | |
CN109962903B (zh) | 一种家庭网关安全监控方法、装置、***和介质 | |
US20090282478A1 (en) | Method and apparatus for processing network attack | |
CN103036733B (zh) | 非常规网络接入行为的监测***及监测方法 | |
KR101391781B1 (ko) | 웹 트랜잭션 밀집도 기반 에이치티티피 봇넷 탐지 장치 및 방법 | |
CN103688489B (zh) | 一种策略处理的方法及网络设备 | |
Ganesh Kumar et al. | Improved network traffic by attacking denial of service to protect resource using Z-test based 4-tier geomark traceback (Z4TGT) | |
KR100561628B1 (ko) | 통계적 분석을 이용한 네트워크 수준에서의 이상 트래픽감지 방법 | |
CN102624706B (zh) | 一种dns隐蔽信道的检测方法 | |
JP2018533897A5 (zh) | ||
CN101800668B (zh) | 日志归并方法和装置 | |
CN107579874B (zh) | 一种检测流量采集设备数据采集漏报的方法及装置 | |
CN101924757A (zh) | 追溯僵尸网络的方法和*** | |
CN111641591B (zh) | 云服务安全防御方法、装置、设备及介质 | |
CN110191004B (zh) | 一种端口检测方法及*** | |
CN110958231A (zh) | 基于互联网的工控安全事件监测平台及其方法 | |
CN106452955A (zh) | 一种异常网络连接的检测方法及*** | |
CN111431771B (zh) | 一种抗噪音干扰的城域网数据核验装置 | |
CN111970233B (zh) | 一种网络违规外联场景的分析识别方法 | |
CN114339767B (zh) | 一种信令检测方法、装置、电子设备及存储介质 | |
CN104486320A (zh) | 基于蜜网技术的内网敏感信息泄露取证***及方法 | |
CN112217777A (zh) | 攻击回溯方法及设备 | |
Molina et al. | Operational experiences with anomaly detection in backbone networks | |
CN117375942A (zh) | 基于节点清洗防范DDoS攻击的方法及装置 | |
Brahmi et al. | A Snort-based mobile agent for a distributed intrusion detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |