CN101321097A - 基于净荷深度检测的腾讯网络直播业务识别方法 - Google Patents
基于净荷深度检测的腾讯网络直播业务识别方法 Download PDFInfo
- Publication number
- CN101321097A CN101321097A CNA200810123883XA CN200810123883A CN101321097A CN 101321097 A CN101321097 A CN 101321097A CN A200810123883X A CNA200810123883X A CN A200810123883XA CN 200810123883 A CN200810123883 A CN 200810123883A CN 101321097 A CN101321097 A CN 101321097A
- Authority
- CN
- China
- Prior art keywords
- live
- live broadcast
- broadcast service
- hash table
- signaling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
基于净荷深度检测的腾讯直播业务识别方法，该方法由腾讯直播信令识别方法和腾讯直播媒体流识别方法组成，首先通过腾讯直播信令识别引擎将腾讯直播信令识别出来，然后再根据腾讯直播媒体流识别引擎解析出所有腾讯直播媒体流，在此过程中运用端口关联技术、净荷特征分析、协议分析等技术进行关联分析，从而保证了该***的准确性及识别成功率，该方法具有良好的可扩展性和准确性，且易于与运营商相关的应用接口对接。
Description
技术领域
本发明是一种用于对当前流行的对等联网(P2P)软件腾讯网络直播流量识别方法的研究，主要研究如何基于DPI净荷深度检测有效识别腾讯网络直播业务，并设计了腾讯网络直播业务的识别模型和方法，属于网络新业务流量识别的技术领域，涉及协议分析领域。
背景技术
随着P2P网络技术的研究以及各种P2P软件的出现，以及P2P业务量的不断增长，P2P网络业务给传统的Internet应用带来了巨大的冲击，尤其是P2P网络模式本身抢占带宽的特点，给网络资源管理带来了巨大挑战。德国互联网调研机构ipoque称，P2P已经彻底统治了当今的互联网，其中50-90％的总流量都来自P2P程序，严重影响了某些正常业务的运行，同时给运营商及网络管理人员以及某些企业带来了带宽资源的浪费。因此，随着P2P网络技术的发展，现有P2P网络通信机制的研究以及P2P流量识别已经成为目前网络研究的一大热点。
基于P2P技术，QQ直播是一款新型网络直播软件，视频质量高、流畅，节目内容丰富。QQ直播软件颇为小巧精致，是一款用于互联网上，进行大规模视频直播的软件，独立安装包不足700K，***资源占用低。腾讯在这款软件中采用了自主开发的高效音频、视频压缩算法，使窄带用户也能享受QQ直播的服务。
为了能够对QQ直播业务进行准确识别，必须要充分了解QQ直播所采用的通信协议。但由于QQ直播协议为不公开协议，且传输过程采用了可靠的加密算法，目前对QQ直播协议及通信机制的研究不够完善，从而不能够对QQ直播业务进行准确的识别。
现有技术中，只有对一般QQ协议的简单研究，主要是对QQ即时消息和QQ语音业务的关键技术进行了研究。现有技术的缺点为：
1)缺乏QQ直播信令信息的研究。现有对QQ协议的研究仅仅是针对一般的QQ业务协议的研究，包括即时消息和QQ语音视频业务，对QQ直播信令的研究较少。
2)缺乏QQ直播媒体流信息的研究。现有研究中只是简单描述了QQ直播采用P2P机制利用UDP协议进行媒体数据传输，没有对媒体流信息的具体研究。
3)净荷统计特征简单。现有研究中虽然有通过对QQ直播净荷特征进行研究实现QQ直播流量识别，但是仅仅是获得了净荷第一个字节0xFE的特征，不足以实现对QQ直播流量的准确识别。
发明内容
技术问题：本发明的目的是建立一种基于净荷深度检测的腾讯网络直播业务识别方法，并设计其识别模型和方法，通过对QQ直播业务的识别，将QQ直播的信令流和媒体流从QQ直播数据中区分出来，便于分析通信双方的信令交互过程及媒体信息，从而实现对QQ直播流量的准确识别和控制。
技术方案：本发明提出了一种有效识别QQ直播业务的技术框架，并且详细设计了识别方法。***分为四个层面，从下往上依次是：数据采集层、协议分析层、流量识别(业务感知)层和QQ直播业务应用层以及表现层。
本发明基于净荷深度检测的腾讯网络直播业务识别方法为：
步骤1.初始化哈希表：该哈希表是用于存储QQ直播业务信令流固定访问的IP地址和域名；一个IP地址对应于一个域名，从存储和查找的效率来看，用哈希表存储最合适，哈希表中所有的元素初始化为0，即所有QQ直播业务信令流固定访问的IP地址，域名初始化为0，
步骤2.给哈希表赋值：把通过测试分析统计出的QQ直播业务信令流固定访问的IP地址和域名写入哈希表，
步骤3.接收分组，
步骤4.根据IP数据报的格式，首先与哈希表进行匹配，如果匹配则转步骤6；如匹配失败，则进行QQ直播信令匹配，转步骤5，
步骤5.对数据包进行QQ直播信令深度匹配，如果匹配，则转步骤6，否则丢弃分组，转步骤3，
步骤6.保存该QQ直播信令流数据包，转步骤3，
步骤7.接收分组：该接收过程同QQ直播信令识别中是同一过程，只是同一分组复制之后用于不同分组特征匹配，
步骤8.根据QQ直播业务媒体流净荷特征进行DPI检测，通过协议类型，端口范围，净荷长度，进行匹配；如果匹配成功，则转步骤9；否则，丢弃分组，转步骤7。，
步骤9.判定该IP包是QQ直播业务媒体流，保存该QQ直播业务媒体流，转步骤7，结束。
有益效果：通过对QQ直播信令流和媒体流的识别，能够解决以下问题：
(1)对广播电视运营商来说，能够对QQ直播业务进行统计分析，便于掌控QQ直播对传统电视业务的影响；
(2)能够使得运营商对QQ直播业务实施良性监管，如制定合理的计费政策以保障传统电视业务的利益；
(3)从国家信息安全的角度考虑，可对QQ直播实施实时监听，有效防止非法活动通过QQ作为通信媒介。
附图说明
图1是QQ直播业务信令流识别流程图。图中给出了识别QQ直播信令流的各个处理过程。
图2是QQ直播业务媒体流识别流程图。图中给出了QQ直播业务媒体流识别方法的各个处理过程。
图3是QQ直播业务识别整体方法流程图。图中给出了QQ直播业务包括信令和媒体流的整体识别流程。
具体实施方式
本发明的关键方法在流量识别层，该层主要包含两个方法：QQ直播信令流识别方法和QQ直播媒体流识别方法。首先通过信令识别引擎识别出QQ直播业务信令数据，再进一步通过媒体流识别引擎解析出QQ直播媒体流，参见附图3。通过测试和数据分析，QQ直播默认主要采用UDP通讯方式，密码验证登陆端口为TCP443，当TCP 443端口不通时，则登陆不上服务器。直播电视节目一般默认使用UDP 13000——14000范围端口，端口是不固定的(说明：TCP 443端口为常用端口)。
QQ直播信令流识别引擎根据特定服务器哈希匹配制定，特定服务器域名和IP地址表，见附表1。
QQ直播媒体流识别引擎策略：
1)在客户端与QQ直播服务器进行数据传输的过程中，客户端发送的UDP数据包净荷特征是：以0x44 72 63 6F C0 A8 A8 A8 36……开头。其中净荷的第五到第八字节是客户端上网的服务器地址。
2)在客户端与QQ直播服务器进行数据传输的过程中，客户端收到的UDP数据包净荷特征是：一种以0xFE 29 04 04 29 1F C6……开头，且数据包净荷长度均为1068字节。另外一种是以0xFE 5A 00 00 5A 02 09……开头。基于以上特征，我们只要判断UDP数据包的净荷的第一个字节，第三、四节是否满足以上条件，就能做出准确的判断。
以下详细介绍该设计的各个层面及QQ直播业务识别方法。
1.数据采集层
功能：该层面提供对于不同链路的数据采集或复制技术，如100/1000M FE、ATM、SDH不同速率的采集或复制技术，以保障数据完整、可靠地传送至上一层面——协议分析层。
接口：该层面与上一层面的接口为比特流数据，向上层提供各种分组信息。
2.协议分析层
功能：该层面提供对于TCP/IP数据的协议解析，目的是为了向上层提供足够的IP分组头部和TCP/UDP的头部信息及其必要的分组净荷信息，以满足上一层面流量识别层对业务的识别和感知。
接口：该层面的协议分析深度应当分析至TCP/IP协议栈的第四层，即传输层。其向上层提供的接口为流(flow)。流应当由一个五元组来确定，即flow＝(源IP，目的IP，源端口，目的端口，协议类型)。此处的协议类型指代TCP或者UDP。如有必要，该流中还可存放部分净荷，捕获的净荷大小可配置。
3.流量识别(业务感知)层
功能：该层面是整个架构的核心层面，主要根据提供下层即协议分析层提供的IP分组头部和TCP/UDP的头部信息及其净荷信息等特征有效识别出QQ直播业务，匹配失败的分组则丢弃。
接口：向应用层面提供的接口应当是五元组，即(源IP，目的IP，源端口，目的端口，应用详细信息)。
该层主要包含两个方法：QQ直播业务信令识别方法和QQ直播业务媒体流识别方法。通过首先识别出QQ直播信令信息，再来确定真正的QQ直播媒体流。
◆QQ直播业务信令识别方法。方法处理过程如附图1。
(1)初始化哈希表。该哈希表是用于存储QQ直播业务信令流固定访问的IP地址和域名。因为一个IP地址对应于一个域名，因此从存储和查找的效率来看，用哈希表存储最合适。哈希表中所有的元素初始化为0。即所有QQ直播业务信令流固定访问的IP地址，域名初始化为0。
(2)给哈希表赋值。把通过测试分析统计出的QQ直播业务信令流固定访问的IP地址和域名写入哈希表。
(3)接收分组。
(4)根据IP数据报的格式，首先与哈希表进行匹配，如果匹配则转(6)；如匹配失败，则进行QQ直播信令匹配，转(5)。
(5)对数据包进行QQ直播信令深度匹配，如果匹配，则转(6)，否则丢弃分组，转(3)。
(6)保存该QQ直播信令流数据包。转(3)。
◆QQ直播业务媒体流识别方法。方法流程如附图2所示。
(1)接收分组。该接收过程同QQ直播信令识别中是同一过程，只是同一分组复制之后用于不同分组特征匹配。
(2)根据QQ直播业务媒体流净荷特征进行DPI检测，通过协议类型，端口范围，净荷长度，进行匹配。如果匹配成功，则转(3)；否则，丢弃分组，转(1)。
(3)判定该IP包是QQ直播业务媒体流，保存该QQ直播业务媒体流。转(1)。
4.QQ直播业务应用层以及表现层
对于QQ直播业务的识别具有很广泛的意义和应用价值。主要可以应用在：
◆QQ直播业务流量统计分析；
◆QQ直播业务性能分析；
◆QQ直播流量控制；
◆QQ资费影响权重估算：
◆QQ直播流量异常检测；
◆QQ直播信息安全监控。
具体方法为：
步骤1.初始化哈希表：该哈希表是用于存储QQ直播业务信令流固定访问的IP地址和域名；一个IP地址对应于一个域名，从存储和查找的效率来看，用哈希表存储最合适，哈希表中所有的元素初始化为0，即所有QQ直播业务信令流固定访问的IP地址，域名初始化为0，
步骤2.给哈希表赋值：把通过测试分析统计出的QQ直播业务信令流固定访问的IP地址和域名写入哈希表，
步骤3.接收分组，
步骤4.根据IP数据报的格式，首先与哈希表进行匹配，如果匹配则转步骤6；如匹配失败，则进行QQ直播信令匹配，转步骤5，
步骤5.对数据包进行QQ直播信令深度匹配，如果匹配，则转步骤6，否则丢弃分组，转步骤3，
步骤6.保存该QQ直播信令流数据包，转步骤3，
步骤7.接收分组：该接收过程同QQ直播信令识别中是同一过程，只是同一分组复制之后用于不同分组特征匹配，
步骤8.根据QQ直播业务媒体流净荷特征进行DPI检测，通过协议类型，端口范围，净荷长度，进行匹配；如果匹配成功，则转步骤9；否则，丢弃分组，转步骤7。，
步骤9.判定该IP包是QQ直播业务媒体流，保存该QQ直播业务媒体流，转步骤7，结束。
根据本方法开发出的骨干互联网业务检测***在10G省级骨干网上得到了具体的验证。***采用分光方式将10G流量负载均衡分流至若干台业务识别处理机上，业务识别处理机完成核心算法的实现，从纷繁复杂的分组中提取、分析、识别出QQ直播业务信令和媒体流信息。
通过在省级10G骨干网的实际运行和现场测试，能准确而完整地识别出QQ直播业务的信令和媒体流信息，很好的体现了该方法的实施效果，验证了方法的准确性。
QQ直播监控***分为分光设备、监控终端、核心数据库服务器和应用服务器等实体。10G流量由分光设备分往若干台监控终端设备，每台监控终端设备承载千兆的流量，识别出业务信令和媒体流之后，将业务信息实时传送至核心数据库，并由应用服务器发布。
***接入方式分为两种：一种为串联模式，即将监控***串联入骨干网中实施检测和控制；另一种为并联模式，即采用分光的方式完成检测和控制。串联模式会影响整体的网络拓扑，且会为原有网络带来隐患，因此更推荐对原有网络无任何影响的并联模式接入。
***的分光设备从10G链路上实时的分光下来后，将其分为若干路流量指向若干台监控设备，监控设备采用高性能的流量采集技术接收所有的流量，并自动调用信令和媒体流识别引擎对流量进行实时的识别，并根据用户自定义的策略进行控制，如封堵、干扰或者放行等。
以下是QQ直播业务信令流识别哈希匹配表。表中给出了QQ直播业务信令流固定访问的域名及其IP地址。
| 域名 | IP地址 |
| adslivemsg.qq.com | 218.2.135.1 |
| adslivemsg-cdn.qq.com | 121.14.74.208 |
| qqlivehabit-cdn.qq.com | 58.60.11.140 |
| groupclient.qq.com | 58.60.10.170 |
| jpgcacheh.tv.qq.tel.chinacache.net | 58.218.205.27 |
| qqliveloginxy.qq.com | 222.28.155.37 |
| qqlivelogindx.qq.com | 121.14.75.115. |
| qqloginwt.qq.com | 121.14.75.115 |
| adslivemsg-cdn.qq.com | 121.14.74.208 |
| rs2.qq.com | 58.251.62.56 |
| hubstat.sandai.net | 58.61.39.208 |
| tc.wscache.z.cdn20.com | 61.129.13.148 |
| rsl.qq.com | 219.133.60.243 |
| t0101.sandai.net | 219.129.83.2 |
| qqliveaction.tv.qq.com | 218.30.73.58 |
| t0208.sandai.net | 61.183.55.218 |
| qqlivead-cdn.qq.com | 218.85.138.153 |
| researchnetlive.qq.com | 202.102.56.3 |
| tvlogindx.qq.com | 221.236.11.40 |
| researchnetGame.qq.com | 202.102.56.3 |
| mvhub5pr.co.sandai.net | 58.61.39.218 |
| qring-tms.qq.com | 58.61.166.87 |
| qqliveguid.qq.com | 58.60.9.22 |
| hub4u.sandai.net | 58.61.39.213 |
Claims (1)
1.一种基于净荷深度检测的腾讯网络直播业务识别方法，其特征在于该方法的步骤为：
步骤1.初始化哈希表：该哈希表是用于存储QQ直播业务信令流固定访问的IP地址和域名；一个IP地址对应于一个域名，从存储和查找的效率来看，用哈希表存储最合适，哈希表中所有的元素初始化为0，即所有QQ直播业务信令流固定访问的IP地址，域名初始化为0，
步骤2.给哈希表赋值：把通过测试分析统计出的QQ直播业务信令流固定访问的IP地址和域名写入哈希表，
步骤3.接收分组，
步骤4.根据IP数据报的格式，首先与哈希表进行匹配，如果匹配则转步骤6；如匹配失败，则进行QQ直播信令匹配，转步骤5，
步骤5.对数据包进行QQ直播信令深度匹配，如果匹配，则转步骤6，否则丢弃分组，转步骤3，
步骤6.保存该QQ直播信令流数据包，转步骤3，
步骤7.接收分组：该接收过程同QQ直播信令识别中是同一过程，只是同一分组复制之后用于不同分组特征匹配，
步骤8.根据QQ直播业务媒体流净荷特征进行DPI检测，通过协议类型，端口范围，净荷长度，进行匹配；如果匹配成功，则转步骤9；否则，丢弃分组，转步骤7。，
步骤9.判定该IP包是QQ直播业务媒体流，保存该QQ直播业务媒体流，转步骤7，结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA200810123883XA CN101321097A (zh) | 2008-05-27 | 2008-05-27 | 基于净荷深度检测的腾讯网络直播业务识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA200810123883XA CN101321097A (zh) | 2008-05-27 | 2008-05-27 | 基于净荷深度检测的腾讯网络直播业务识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101321097A true CN101321097A (zh) | 2008-12-10 |
Family
ID=40180943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA200810123883XA Pending CN101321097A (zh) | 2008-05-27 | 2008-05-27 | 基于净荷深度检测的腾讯网络直播业务识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101321097A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102255771A (zh) * | 2011-06-12 | 2011-11-23 | 中山爱科数字科技有限公司 | 一种跨区域综合业务识别装置 |
| CN102624878A (zh) * | 2012-02-23 | 2012-08-01 | 汉柏科技有限公司 | 基于dns协议识别p2p协议的方法及*** |
| CN103259699A (zh) * | 2013-05-28 | 2013-08-21 | 华为技术有限公司 | 测试方法、***及客户端和服务端 |
| CN104660727A (zh) * | 2015-02-10 | 2015-05-27 | 深圳市博瑞得科技有限公司 | 一种基于dns端的业务识别方法及其*** |
| CN107787003A (zh) * | 2016-08-24 | 2018-03-09 | 中兴通讯股份有限公司 | 一种流量检测的方法和装置 |
| CN110636374A (zh) * | 2018-06-22 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 用于查找信息的方法和装置 |
| CN112804556A (zh) * | 2021-04-08 | 2021-05-14 | 广州无界互动网络科技有限公司 | 一种面向pc端的直播数据处理方法、装置和*** |
-
2008
- 2008-05-27 CN CNA200810123883XA patent/CN101321097A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102255771A (zh) * | 2011-06-12 | 2011-11-23 | 中山爱科数字科技有限公司 | 一种跨区域综合业务识别装置 |
| CN102624878A (zh) * | 2012-02-23 | 2012-08-01 | 汉柏科技有限公司 | 基于dns协议识别p2p协议的方法及*** |
| WO2013123798A1 (zh) * | 2012-02-23 | 2013-08-29 | 汉柏科技有限公司 | 基于dns协议识别p2p协议的方法及*** |
| CN102624878B (zh) * | 2012-02-23 | 2014-06-18 | 汉柏科技有限公司 | 基于dns协议识别p2p协议的方法及*** |
| CN103259699A (zh) * | 2013-05-28 | 2013-08-21 | 华为技术有限公司 | 测试方法、***及客户端和服务端 |
| CN103259699B (zh) * | 2013-05-28 | 2015-11-25 | 华为技术有限公司 | 测试方法、***及客户端和服务端 |
| CN104660727A (zh) * | 2015-02-10 | 2015-05-27 | 深圳市博瑞得科技有限公司 | 一种基于dns端的业务识别方法及其*** |
| CN107787003A (zh) * | 2016-08-24 | 2018-03-09 | 中兴通讯股份有限公司 | 一种流量检测的方法和装置 |
| CN110636374A (zh) * | 2018-06-22 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 用于查找信息的方法和装置 |
| CN112804556A (zh) * | 2021-04-08 | 2021-05-14 | 广州无界互动网络科技有限公司 | 一种面向pc端的直播数据处理方法、装置和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102315974B (zh) | 基于层次化特征分析的tcp、udp流量在线识别方法和装置 | |
| CN101321097A (zh) | 基于净荷深度检测的腾讯网络直播业务识别方法 | |
| CN101645806B (zh) | Dpi和dfi相结合的网络流量分类***及分类方法 | |
| CN102307123B (zh) | 基于传输层流量特征的nat流量识别方法 | |
| CN102724317B (zh) | 一种网络数据流量分类方法和装置 | |
| CN107733851A (zh) | 基于通信行为分析的dns隧道木马检测方法 | |
| CN103139315A (zh) | 一种适用于家庭网关的应用层协议解析方法 | |
| CN107623754B (zh) | 基于真伪MAC识别的WiFi采集***及其方法 | |
| CN102045363A (zh) | 网络流量特征识别规则的建立方法、识别控制方法及装置 | |
| CN105681389B (zh) | 一种基于Skype不同功能通信流的识别方法及装置 | |
| CN106789242A (zh) | 一种基于手机客户端软件动态特征库的识别应用智能分析引擎 | |
| CN105847250B (zh) | VoIP流媒体多维度信息隐写实时检测方法 | |
| CN102571946A (zh) | 一种基于对等网络的协议识别与控制***的实现方法 | |
| CN112532614A (zh) | 一种用于电网终端的安全监测方法和*** | |
| CN106789728A (zh) | 一种基于NetFPGA的VoIP流量实时识别方法 | |
| CN101072174A (zh) | 基于净荷深度检测和会话关联技术的腾讯语音识别方法 | |
| CN110247819A (zh) | 一种基于加密流识别的Wi-Fi视频采集设备检测方法及*** | |
| CN109450733A (zh) | 一种基于机器学习的网络终端设备识别方法及*** | |
| CN100493065C (zh) | 使用即时消息软件的数据检测网络地址转换设备的方法 | |
| CN102271331B (zh) | 一种检测业务提供商sp站点可靠性的方法及*** | |
| CN108023882A (zh) | 一种协同数据防泄漏方法及*** | |
| CN113382039B (zh) | 一种基于5g移动网络流量分析的应用识别方法和*** | |
| CN101924769A (zh) | 一种基于净荷特征识别的搜狐天龙八部游戏业务识别方法 | |
| CN101854366B (zh) | 一种对等网络流量识别的方法及装置 | |
| CN101420336A (zh) | 在网络中识别网络电话流量的方法及其*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20081210 |