CN108337694A - 用于移动网络检测的数据标识***及其方法 - Google Patents
用于移动网络检测的数据标识***及其方法 Download PDFInfo
- Publication number
- CN108337694A CN108337694A CN201810239503.2A CN201810239503A CN108337694A CN 108337694 A CN108337694 A CN 108337694A CN 201810239503 A CN201810239503 A CN 201810239503A CN 108337694 A CN108337694 A CN 108337694A
- Authority
- CN
- China
- Prior art keywords
- data
- mark
- module
- mobile
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/028—Capturing of monitoring data by filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种用于移动网络检测的数据标识***及其方法,涉及固网宽带与移动网络数据分析领域。本***是:固网宽带数据(100)和深度检测集群(400)交互;移动网络数据(200)、移动数据预处理中心(300)和深度检测集群(400)依次交互;所述的移动数据预处理中心(300)包括依次交互的数据接入模块(301)、信令分析模块(302)、会话存储模块(303)、业务分析模块(304)、会话查询模块(305)、打标发送模块(306)。本方法是:①信令分析;②业务分析;③打标发送。本发明简化了后端深度报文检测集群,提高了报文检测效率与性能,降低***成本。
Description
技术领域
本发明涉及固网宽带与移动网络数据分析领域,尤其涉及一种用于移动网络检测的数据标识***及其方法。
背景技术
深度报文检测设备通过对网络的关键点处的流量和报文内容进行检测分析,能完成所在链路的业务精细化识别,业务流量流向分析,以及应用层拒绝服务攻击,对病毒、木马进行过滤。
目前,移动网络的应用占比相对于固网宽带越来越高,由于移动终端的用户资源较紧缺,移动网络的数据与固网宽带的数据相比,其IP地址不太固定,与终端用户的对应关系不太明显,因此仅仅对移动网络的业务数据进行报文检测是不足以获取终端用户的一些移动特征的。
传统的深度报文检测***对移动网络的数据进行分析时,往往需要在后端做多台移动网络的定制设备,通过对信令与业务数据的分析与关联,才能达到最终的检测目的。
而发明所提供的方法,仅需在前端对信令与业务数据进行关联与打标,就能使得后端的定制设备变为固网宽带与移动网络可以通用的报文检测设备,降低成本,提高效率。
发明内容
本发明的目的就在于提供一种用于移动网络检测的数据标识***及其方法,即针对移动网络数据分析领域,通过前端对信令与业务数据进行关联与打标,使得后端的设备可以无差别分析固网宽带与移动网络的数据,
实现本发明目的技术方案是:
固网宽带数据直接由后端深度检测集群检测分析,对于移动网络数据,首先启动数据接入模块,区分信令与业务,在信令分析模块中对信令数据进行分析与关联,并提取关键字段,通过会话存储模块建立会话,在业务分析模块中对业务数据进行分析,提取关键字段,在会话查询模块中进行会话查找,获取用户的移动信息;然后通过打标发送模块对移动的业务数据进行打标,按照一定的协议格式,将相关内容填充在数据包头与包尾,交给后端深度检测集群进行深度报文检测。
具体地说:
一、用于移动网络检测的数据标识***(简称***)
本***包括固网宽带数据、移动网络数据、移动数据预处理中心和深度检测集群;
固网宽带数据和深度检测集***互;
移动网络数据、移动数据预处理中心和深度检测集群依次交互。
二、用于移动网络检测的数据标识方法(简称方法)
本方法包括下列步骤:
①信令分析;
②业务分析;
③打标发送。
本发明具有以下优点和积极效果:
①通过报文尾部打标方式,可以识别出终端用户的IMSI和移动特征;
②通过报文头部打标方式,可以与深度报文检测设备的收包模块进行匹配,若采用X86架构的通用设备,可以与DPDK技术兼容,大大降低设备成本;
③通过报文打标方式,可以对移动网络的2G、3G、4G和固网宽带的业务数据进行无差别程序分析,提高了移动网络数据分析的效率,简化***复杂度与部署难度;
总之,本发明简化了后端深度报文检测集群,提高了报文检测效率与性能,降低***成本。
附图说明
图1为本***的结构方框图;
图2移动数据预处理中心300的结构方框图;
图3为信令分析模块302的工作流程图;
图4为业务分析模块304的工作流程图;
图5为打标发送模块306的工作流程图;
图6为打标发送模块306的说明图。
图中:
100—固网宽带数据;
200—移动网络数据;
300—移动数据预处理中心,
301—数据接入模块,302—信令分析模块,303—会话存储模块,
304—业务分析模块,305—会话查询模块,306—打标发送模块;
400—深度检测集群,
401—第1深度检测设备,402—第2深度检测设备,
40N—第N深度检测设备。
英译汉:
1、DPI:深度报文检测;
2、IMSI:国际移动用户识别码;
3、HASH:散列,一种压缩映射算法;
4、MAC:媒体访问控制;
5、PDSN:C网的分组数据服务节点;
6、GGSN:G网的网关支持节点;
7、PGW:4G网络的分组数据网关;
8、DPDK:深度报文开发包,intel公司出品;
9、URL:统一资源定位符。
具体实施方式
以下结合附图和实施例详细说明:
一、***
1、总体
如图1,本***包括固网宽带数据100、移动网络数据200、移动数据预处理中心300和深度检测集群400;
固网宽带数据100和深度检测集群400交互;
移动网络数据200、移动数据预处理中心300和深度检测集群400依次交互。
2、功能部件
1)固网宽带数据100
固网宽带数据100是指各类固网宽带数据的总称。
2)移动网络数据200
移动网络数据200是指移动2G、3G、4G网络各类信令和业务数据的总称。
3)移动数据预处理中心300
如图2,移动数据预处理中心300是检测***的核心部件;
移动数据预处理中心300包括依次交互的数据接入模块301、信令分析模块302、会话存储模块303、业务分析模块304、会话查询模块305、打标发送模块306。
(1)数据接入模块301
是一种通用模块,指控制网络设备对网络数据进行接收的一种模块。
(2)信令分析模块302
是一种通用模块,指对移动网络数据中的信令数据包进行解码,将关键信息进行提取的一种模块。
(3)会话存储模块303
是一种通用模块,指将用户的多个信令数据包的关键信息进行存储,从而形成一个完整的会话的一种模块。
(4)业务分析模块304
是一种通用模块,指对移动网络数据中的业务数据包进行解码,将关键信息进行提取的一种模块。
(5)会话查询模块305
是一种通用模块,指信令数据包和业务数据包根据关键信息,在已建立的会话中进行查找的一种模块。
(6)打标发送模块306
对移动的业务数据进行打标,按照一定的协议格式,将相关内容填充在数据包头和包尾,如图6;
数据包头的打标行为是修改目的MAC地址,根据会话查询模块305的查询结果,将同一用户的数据包目的MAC地址改写为同一MAC地址,将不同用户的数据包根据IMSI进行HASH分类,再以DPDK队列的个数为HASH参数进行分类,将目的MAC地址按DPDK队列的个数分组,进行递增的规律填写,同时,将深度检测集群400中的DPDK的分流策略改为按目的MAC均衡分流,使得DPDK的收包队列既能负载均衡,又能同源同溯;
数据包尾的打标行为是将用户标识、小区信息、运营商网络类别、报文内容类别和隧道标识打标在报文尾部,使得深度检测集群400可以按基本相同的处理逻辑对固网宽带数据和移动网络中的业务数据进行处理,并且移动网络数据中的用户标识、小区信息也没有丢失,数据包尾的打标填充内容是可扩展的,能按不同需求增加新的字段;
以数据包头的打标为例,当DPDK队列的个数为3时,IMSI为460017100698001用户数据包填写的目的MAC地址为00:02:00:00:00:01,IMSI为460017100698002填写的目的MAC地址为00:02:00:00:00:02,IMSI为460017100698003填写的目的MAC地址为00:02:00:00:00:03,IMSI为460017100698004填写的目的MAC地址为00:02:00:00:00:01,IMSI为460017100698005填写的目的MAC地址为00:02:00:00:00:02。
4)深度检测集群400
深度检测集群400是对固网宽带和移动网络数据进行DPI深度包检测的设备集群,包括第1深度检测设备401、第2深度检测设备402、……第N深度检测设备40N,N是自然数,N≤100。
3、工作机理
固网宽带数据100直接由后端深度检测集群400检测分析;对于移动网络数据200,首先启动数据接入模块301,区分信令与业务,在信令分析模块302中对信令数据进行分析与关联,并提取关键字段,通过会话存储模块303建立会话,在业务分析模块304中对业务数据进行分析,提取关键字段,在会话查询模块305中进行会话查找,获取用户的移动信息;然后通过打标发送模块306对移动的业务数据进行打标,按照一定的协议格式,将相关内容填充在数据包头与包尾,交给后端深度检测集群400进行深度报文检测。
二、方法
1、步骤①:信令分析
如图3,信令分析的工作流程如下:
a、开始-10
接收数据接入模块301区分出来的信令数据;
b、找出会话请求消息-11
找出会话请求消息,提取关键移动特征,包括IMSI、小区信息、移动网关IP和隧道标识,建立会话储存;
c、回复消息关联请求消息-12
找出会话回复消息,提取关键移动特征,包括终端IP、小区信息、移动网关IP和隧道标识,与信令请求消息进行关联;
d、更新终端信息缓存-13
更新关键移动特征的会话缓存;
e、通知会话存储模块-14。
2、步骤②:业务分析
如图4,业务分析的工作流程如下:
A、开始-20
接收数据接入模块301区分出来的业务数据;
B、分析业务数据头部内容-21
分析业务数据头部内容,获取移动网关IP和用户IP;
C、业务数据关联会话-22
采用HASH算法,对业务数据进行会话关联;
D、分析业务数据类别-23
通过收包接口,网关IP以及会话来确认业务数据所属的网络,对按网络端口或者URL对业务进行初步分类;
E、通知打标发送模块-24。
3、步骤③:打标发送
如图4,打标发送的工作流程如下:
Ⅰ、开始-30
初始化发送驱动;
Ⅱ、搜集移动特征-31
通过会话查询模块305,搜集移动特征;
Ⅲ、设备匹配信息打标在报文头部-32
与深度报文检测集群中的设备匹配,将匹配信息打标在报文头部,由DPI设备中的DPDK模块进行解析,分给不同的队列进行处理;
Ⅳ、移动特征信息打标在报文尾部-33
将用户标识、小区信息、运营商网络类别、报文内容类别和隧道标识打标在报文尾部;
Ⅴ、发送给深度报文检测设备。
Claims (2)
1.一种用于移动网络检测的数据***,其特征在于:
包括固网宽带数据(100)、移动网络数据(200)、移动数据预处理中心(300)和深度检测集群(400);
固网宽带数据(100)和深度检测集群(400)交互;
移动网络数据(200)、移动数据预处理中心(300)和深度检测集群(400)依次交互;
所述的移动数据预处理中心(300)包括依次交互的数据接入模块(301)、信令分析模块(302)、会话存储模块(303)、业务分析模块(304)、会话查询模块(305)、打标发送模块(306);
所述的打标发送模块(306)是指对移动的业务数据进行打标,按照一定的协议格式,将相关内容填充在数据包头和包尾;
数据包头的打标行为是修改目的MAC地址,根据会话查询模块305的查询结果,将同一用户的数据包目的MAC地址改写为同一MAC地址,将不同用户的数据包根据IMSI进行HASH分类,再以DPDK队列的个数为HASH参数进行分类,将目的MAC地址按DPDK队列的个数分组,进行递增的规律填写,同时,将深度检测集群(400)中的DPDK的分流策略改为按目的MAC均衡分流,使得DPDK的收包队列既能负载均衡,又能同源同溯;
数据包尾的打标行为是将用户标识、小区信息、运营商网络类别、报文内容类别和隧道标识打标在报文尾部,使得深度检测集群(400)可以按基本相同的处理逻辑对固网宽带数据和移动网络中的业务数据进行处理,并且移动网络数据中的用户标识、小区信息也没有丢失,数据包尾的打标填充内容是可扩展的,能按不同需求增加新的字段。
2.基于权利要求书1所述数据***的数据标识方法,其特征在于:
①信令分析;
②业务分析;
③打标发送;
所述的信令分析的工作流程如下:
a、开始(10)
接收数据接入模块(301)区分出来的信令数据;
b、找出会话请求消息(11)
找出会话请求消息,提取关键移动特征,包括IMSI、小区信息、移动网关IP和隧道标识,建立会话储存;
c、回复消息关联请求消息(12)
找出会话回复消息,提取关键移动特征,包括终端IP、小区信息、移动网关IP和隧道标识,与信令请求消息进行关联;
d、更新终端信息缓存(13)
更新关键移动特征的会话缓存;
e、通知会话存储模块(14);
所述的业务分析的工作流程如下:
A、开始(20)
接收数据接入模块(301)区分出来的业务数据;
B、分析业务数据头部内容(21)
分析业务数据头部内容,获取移动网关IP和用户IP;
C、业务数据关联会话(22)
采用HASH算法,对业务数据进行会话关联;
D、分析业务数据类别(23)
通过收包接口,网关IP以及会话来确认业务数据所属的网络,对按网络端口或者URL对业务进行初步分类;
E、通知打标发送模块(24);
所述的打标发送的工作流程如下:
Ⅰ、开始(30)
初始化发送驱动;
Ⅱ、搜集移动特征(31)
通过会话查询模块(305),搜集移动特征;
Ⅲ、设备匹配信息打标在报文头部(32)
与深度报文检测集群中的设备匹配,将匹配信息打标在报文头部,由DPI设备中的DPDK模块进行解析,分给不同的队列进行处理;
Ⅳ、移动特征信息打标在报文尾部(33)
将用户标识、小区信息、运营商网络类别、报文内容类别和隧道标识打标在报文尾部;
Ⅴ、发送给深度报文检测设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810239503.2A CN108337694A (zh) | 2018-03-22 | 2018-03-22 | 用于移动网络检测的数据标识***及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810239503.2A CN108337694A (zh) | 2018-03-22 | 2018-03-22 | 用于移动网络检测的数据标识***及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108337694A true CN108337694A (zh) | 2018-07-27 |
Family
ID=62931507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810239503.2A Withdrawn CN108337694A (zh) | 2018-03-22 | 2018-03-22 | 用于移动网络检测的数据标识***及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108337694A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110943985A (zh) * | 2019-11-26 | 2020-03-31 | 武汉虹信通信技术有限责任公司 | 基于5g移动通信网络的安全审计***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014029088A1 (zh) * | 2012-08-22 | 2014-02-27 | 华为技术有限公司 | 深度报文检测解析结果共享/获取方法、***及其相应设备 |
CN105450473A (zh) * | 2015-12-07 | 2016-03-30 | 湖南戎腾网络科技有限公司 | 一种面向lte网络的用户溯源关联方法及前端采集器 |
CN106304017A (zh) * | 2015-06-26 | 2017-01-04 | 亿阳信通股份有限公司 | Lte网络用户移动性数据业务记录分析方法和装置 |
CN107666404A (zh) * | 2016-07-29 | 2018-02-06 | 中国电信股份有限公司 | 宽带网络用户识别方法和装置 |
-
2018
- 2018-03-22 CN CN201810239503.2A patent/CN108337694A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014029088A1 (zh) * | 2012-08-22 | 2014-02-27 | 华为技术有限公司 | 深度报文检测解析结果共享/获取方法、***及其相应设备 |
CN106304017A (zh) * | 2015-06-26 | 2017-01-04 | 亿阳信通股份有限公司 | Lte网络用户移动性数据业务记录分析方法和装置 |
CN105450473A (zh) * | 2015-12-07 | 2016-03-30 | 湖南戎腾网络科技有限公司 | 一种面向lte网络的用户溯源关联方法及前端采集器 |
CN107666404A (zh) * | 2016-07-29 | 2018-02-06 | 中国电信股份有限公司 | 宽带网络用户识别方法和装置 |
Non-Patent Citations (1)
Title |
---|
吕锦扬: "DPI技术在移动数据网络分析的应用", 《电信技术》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110943985A (zh) * | 2019-11-26 | 2020-03-31 | 武汉虹信通信技术有限责任公司 | 基于5g移动通信网络的安全审计***及方法 |
CN110943985B (zh) * | 2019-11-26 | 2022-03-22 | 武汉虹旭信息技术有限责任公司 | 基于5g移动通信网络的安全审计***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104320304B (zh) | 一种易扩展的多方式融合的核心网用户流量应用识别方法 | |
CN103873356B (zh) | 基于家庭网关的应用识别方法、***和家庭网关 | |
CN103312565B (zh) | 一种基于自主学习的对等网络流量识别方法 | |
WO2017054576A1 (zh) | 单播隧道建立方法、装置和*** | |
CN109361784B (zh) | 一种在四层代理网络环境下获取客户端真实ip的方法 | |
CN112995352B (zh) | 基于流量分析的IPv6网络空间测绘***及测绘方法 | |
CN103166866A (zh) | 生成表项的方法、接收报文的方法及相应装置和*** | |
CN107666486A (zh) | 一种基于报文协议特征的网络数据流恢复方法及*** | |
CN1286857A (zh) | 减少存储器访问次数的网络包发送查询 | |
CN103188042A (zh) | 一种ip数据包的匹配方法和匹配加速器 | |
CN103685032B (zh) | 报文转发方法及网络地址转换服务器 | |
CN100433714C (zh) | 一种ip分片报文传输处理方法 | |
CN102571946A (zh) | 一种基于对等网络的协议识别与控制***的实现方法 | |
CN110198229A (zh) | 网络配置方法和装置、存储介质及电子装置 | |
CN108093041A (zh) | 单通道vdi代理服务***及实现方法 | |
CN108141387A (zh) | 对于分组报头采样的长度控制 | |
CN103796191B (zh) | 向用户终端发送数据的方法、装置及终端 | |
CN113347258A (zh) | 云流量下的数据采集监控分析的方法及*** | |
CN103260190A (zh) | 基于演进分组***网路的安全审计***及其方法 | |
CN108337694A (zh) | 用于移动网络检测的数据标识***及其方法 | |
CN108156034B (zh) | 一种基于深度神经网络辅助的报文转发方法和报文转发*** | |
CN106792897B (zh) | Lte-vpn演进型***中网关设备分流方法与*** | |
CN109672594B (zh) | IPoE报文处理方法、装置及宽带远程接入服务器 | |
CN101471858B (zh) | 一种业务识别与控制***中内部协作的方法 | |
CN101582884B (zh) | 基于fpga的3g数据包重组***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180727 |