CN102868548B - 应用性能受影响的用户分布检测方法及*** - Google Patents

应用性能受影响的用户分布检测方法及*** Download PDF

Info

Publication number
CN102868548B
CN102868548B CN201210288175.8A CN201210288175A CN102868548B CN 102868548 B CN102868548 B CN 102868548B CN 201210288175 A CN201210288175 A CN 201210288175A CN 102868548 B CN102868548 B CN 102868548B
Authority
CN
China
Prior art keywords
user
access time
region
domain name
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210288175.8A
Other languages
English (en)
Other versions
CN102868548A (zh
Inventor
高华
姚春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Original Assignee
SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd filed Critical SUZHOU MAIKE NETWORK SAFETY TECHNOLOGY Co Ltd
Priority to CN201210288175.8A priority Critical patent/CN102868548B/zh
Publication of CN102868548A publication Critical patent/CN102868548A/zh
Application granted granted Critical
Publication of CN102868548B publication Critical patent/CN102868548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明提供了一种应用性能受影响的用户分布检测方法及***，其中，所述方法包括：S1、将用户根据IP划分区域，形成区域树；S2、设置访问时间阈值，记录超过所述阈值的超时时间；S3、获取并处理设备日志数据；S4、将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；S5、遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；S6、遍历区域树，通过计算检测受影响用户分布。本发明可以准确的定位应用性能受影响用户的分布情况，及时的发现网络性能不健康或潜在不健康的用户区域，防止网络瘫痪。

Description

应用性能受影响的用户分布检测方法及***
【技术领域】
本发明涉及一种应用性能受影响的用户分布检测方法及***，尤其是涉及一种基于数据挖掘技术的应用性能受影响的用户分布检测方法及***。
【背景技术】
在一个大型局域网中，经常会出现局部网速比较慢甚至瘫痪的情况，影响正常的工作和学习。然而，因当前没有这样一种技术，可对网络日志进行挖掘分析，获取应用性能受影响用户的分布状况，故，无法优化受影响用户的网络，造成受影响用户的网络瘫痪。
【发明内容】
为了解决上述问题，本发明的目的是提供一种应用性能受影响的用户分布检测方法。该方法基于数据挖掘技术，通过对用户访问日志数据的挖掘和分析，获取网络性能较差用户的分布区域，以便及时优化网络性能差分布区域用户的网络。
本发明的另一目的是提供一种应用性能受影响的用户分布检测***。
其中，本发明一实施方式的应用性能受影响的用户分布检测方法包括以下步骤：
S1、将用户根据IP划分区域，形成区域树；
S2、设置访问时间阈值，记录超过所述阈值的超时时间；
S3、获取并处理设备日志数据；
S4、将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；
S5、遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
S6、遍历区域树，通过计算检测受影响用户分布。
作为本发明的进一步改进，所述区域树的的叶子节点为IP，根节点为整个局域网顶层设备。
作为本发明的进一步改进，所述S3步骤具体包括：
获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间。
作为本发明的进一步改进，所述S4步骤包括：
将聚类汇总后的汇总值存储在区域树对应的叶子节点。
作为本发明的进一步改进，所述S6步骤包括：
根据计算结果标记所有区域树上的节点网络健康情况。
相应地，本发明一实施方式的应用性能受影响的用户分布检测***包括：
划分单元，用于将用户根据IP划分区域，形成区域树；
设置单元，用于设置访问时间阈值，记录超过所述阈值的超时时间；
日志单元，用于获取并处理设备日志数据；
聚类单元，用于将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；
统计单元，用于遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
计算单元，用于遍历区域树，通过计算检测受影响用户分布。
作为本发明的进一步改进，所述区域树的的叶子节点为IP，根节点为整个局域网顶层设备。
作为本发明的进一步改进，所述日志单元具体用于：
获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间。
作为本发明的进一步改进，所述聚类单元还用于：
将聚类汇总后的汇总值存储在区域树对应的叶子节点。
作为本发明的进一步改进，所述计算单元还用于：
根据计算结果标记所有区域树上的节点网络健康情况。
相比于现有技术，本发明通过对海量日志的分析，可以准确的定位应用性能受影响用户的分布情况，及时的发现网络性能不健康或潜在不健康的用户区域，防止网络瘫痪。
【附图说明】
图1是本发明一实施例的应用性能受影响的用户分布检测方法的流程图；
图2是本发明一实施例的应用性能受影响的用户分布检测***的模块图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
如图1所示，在本发明一实施方式中，应用性能受影响的用户分布检测方法，包括以下步骤：
S1、将用户根据IP划分区域，形成区域树；优选地，区域标记为Z1，Z11，Z12，Z2，Z22…，树的叶子节点为IP，根节点为整个局域网顶层设备，区域树命名为ZoneTree；
S2、设置访问时间阈值RTT(Requesttimethreshold),如果访问时间超过阈值，认为是网络性能较差的用户，记录访问超时时间RTO（Requesttimeout）；
S3、获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间，提高下一步统计的效率，以及内存的利用率；
S4、将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间，优选地，通过汇总条件的哈希算法进行数据归类，并求平均访问时间，将汇总值存储在区域树对应的叶子节点；
S5、二次统计，自底向上遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
S6、自顶向下遍历区域树，通过计算检测受影响用户分布，计算公式为，影响用户区域：AVG>RTT&&MAX<RTO；健康度：(1-AVG/RTT)*100%；标记所有区域树上的节点网络健康情况，如果父区域不健康且该区域的所有子区域都不健康，则标记父区域不健康，否父区域健康，标记为不健康的字区域不健康，依次递归查找。
如图2所示，在本发明一实施方式中，应用性能受影响的用户分布检测***，包括：
划分单元，用于将用户根据IP划分区域，形成区域树；优选地，区域标记为Z1，Z11，Z12，Z2，Z22…，树的叶子节点为IP，根节点为整个局域网顶层设备，区域树命名为ZoneTree；
设置单元，用于设置访问时间阈值RTT(Requesttimethreshold),如果访问时间超过阈值，认为是网络性能较差的用户，记录访问超时时间RTO（Requesttimeout）；
日志单元，用于获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间，提高下一步统计的效率，以及内存的利用率；
聚类单元，用于将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间，优选地，通过汇总条件的哈希算法进行数据归类，并求平均访问时间，将汇总值存储在区域树对应的叶子节点；
统计单元，用于二次统计，自底向上遍历区域树，对每个节点上不同域名的访问时间进行汇总，求不同域名平均访问时间，和所有域名的平均访问时间；
计算单元，用于自顶向下遍历区域树，通过计算检测受影响用户分布，计算公式为，影响用户区域：AVG>RTT&&MAX<RTO；健康度：(1-AVG/RTT)*100%；标记所有区域树上的节点网络健康情况，如果父区域不健康且该区域的所有子区域都不健康，则标记父区域不健康，否父区域健康，标记为不健康的字区域不健康，依次递归查找。
综上所述，本发明通过对海量日志的分析，可以准确的定位应用性能受影响用户的分布情况，及时的发现网络性能不健康或潜在不健康的用户区域，防止网络瘫痪。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种应用性能受影响的用户分布检测方法，其特征在于，所述方法包括：
S1、将用户根据IP划分区域，形成区域树；
S2、设置访问时间阈值RTT，记录超过所述阈值的超时时间RTO；
S3、获取并处理设备日志数据；
S4、将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；
S5、自底向上遍历区域树，对每个节点上不同域名的访问时间进行汇总，求所有域名的平均访问时间；
S6、自顶向下遍历区域树，通过计算检测受影响用户分布，计算公式为，影响用户区域：AVG>RTT&&MAX<RTO；健康度：(1-AVG/RTT)*100%；标记所有区域树上的节点网络健康情况。
2.根据权利要求1所述的应用性能受影响的用户分布检测方法，其特征在于，所述区域树的的叶子节点为IP，根节点为整个局域网顶层设备。
3.根据权利要求1所述的应用性能受影响的用户分布检测方法，其特征在于，所述S3步骤具体包括：
获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间。
4.根据权利要求1所述的应用性能受影响的用户分布检测方法，其特征在于，所述S4步骤包括：
将聚类汇总后的汇总值存储在区域树对应的叶子节点。
5.一种应用性能受影响的用户分布检测***，其特征在于，所述***包括：
划分单元，用于将用户根据IP划分区域，形成区域树；
设置单元，用于设置访问时间阈值RTT，记录超过所述阈值的超时时间RTO；
日志单元，用于获取并处理设备日志数据；
聚类单元，用于将处理后的日志数据根据用户和域名聚类汇总，获取不同用户访问不同域名的平均访问时间；
统计单元，用于自底向上遍历区域树，对每个节点上不同域名的访问时间进行汇总，求所有域名的平均访问时间；
计算单元，用于自顶向下遍历区域树，通过计算检测受影响用户分布，计算公式为，影响用户区域：AVG>RTT&&MAX<RTO；健康度：(1-AVG/RTT)*100%；标记所有区域树上的节点网络健康情况。
6.根据权利要求5所述的应用性能受影响的用户分布检测***，其特征在于，所述区域树的的叶子节点为IP，根节点为整个局域网顶层设备。
7.根据权利要求5所述的应用性能受影响的用户分布检测***，其特征在于，所述日志单元具体用于：
获取并处理设备日志数据，清理和裁剪数据，只保留用户信息、访问URL，以及URL响应时间。
8.根据权利要求5所述的应用性能受影响的用户分布检测***，其特征在于，所述聚类单元还用于：
将聚类汇总后的汇总值存储在区域树对应的叶子节点。
CN201210288175.8A 2012-08-15 2012-08-15 应用性能受影响的用户分布检测方法及*** Active CN102868548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210288175.8A CN102868548B (zh) 2012-08-15 2012-08-15 应用性能受影响的用户分布检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210288175.8A CN102868548B (zh) 2012-08-15 2012-08-15 应用性能受影响的用户分布检测方法及***

Publications (2)

Publication Number Publication Date
CN102868548A CN102868548A (zh) 2013-01-09
CN102868548B true CN102868548B (zh) 2016-06-15

Family

ID=47447153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210288175.8A Active CN102868548B (zh) 2012-08-15 2012-08-15 应用性能受影响的用户分布检测方法及***

Country Status (1)

Country Link
CN (1) CN102868548B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107517203A (zh) * 2017-08-08 2017-12-26 北京奇安信科技有限公司 一种用户行为基线建立方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357480B (zh) * 2016-11-23 2020-02-14 北京蓝海讯通科技股份有限公司 监测应用的网络性能的方法、装置及移动终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902505A (zh) * 2009-05-31 2010-12-01 中国科学院计算机网络信息中心 一种分布式dns查询日志的实时统计装置及方法
CN102184262A (zh) * 2011-06-15 2011-09-14 悠易互通（北京）广告有限公司 基于web的文本分类挖掘***及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720958B2 (en) * 2001-03-09 2010-05-18 International Business Machines Corporation Method and system for embedding correlated performance measurements for distributed application performance decomposition
US7165105B2 (en) * 2001-07-16 2007-01-16 Netgenesis Corporation System and method for logical view analysis and visualization of user behavior in a distributed computer network
US7599939B2 (en) * 2003-11-26 2009-10-06 Loglogic, Inc. System and method for storing raw log data
CN101714930B (zh) * 2009-12-30 2012-05-23 北京云快线软件服务有限公司 一种实现网络监控的方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902505A (zh) * 2009-05-31 2010-12-01 中国科学院计算机网络信息中心 一种分布式dns查询日志的实时统计装置及方法
CN102184262A (zh) * 2011-06-15 2011-09-14 悠易互通（北京）广告有限公司 基于web的文本分类挖掘***及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107517203A (zh) * 2017-08-08 2017-12-26 北京奇安信科技有限公司 一种用户行为基线建立方法及装置
CN107517203B (zh) * 2017-08-08 2020-07-14 奇安信科技集团股份有限公司 一种用户行为基线建立方法及装置

Also Published As

Publication number Publication date
CN102868548A (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
Hurni et al. Dynamics of shifting cultivation landscapes in Northern Lao PDR between 2000 and 2009 based on an analysis of MODIS time series and Landsat images
Lv et al. Evaluation of urban sprawl and urban landscape pattern in a rapidly developing region
Prudhomme et al. Climate change and river flooding: Part 2 sensitivity characterisation for British catchments and example vulnerability assessments
CN107730394A (zh) 基于大数据的全景电网多元异构数据融合方法
CN105868327A (zh) 一种基于不同更新策略的分布式网络爬虫抓取方法
CN105303469A (zh) 线损异常原因数据挖掘分析的方法与***
CN102111296A (zh) 基于最大频繁项集的通信告警关联规则挖掘方法
AU2020103047A4 (en) Crop Distribution Mapping
CN103593435B (zh) 不确定数据PT‑TopK查询近似处理***和方法
Zhang et al. Mountain vegetation change quantification using surface landscape metrics in Lancang watershed, China
CN103795707A (zh) 企业网络安全自动化测试***及方法
CN104881427A (zh) 一种面向电网调控运行的数据血统分析方法
CN112131216A (zh) 一种基于物模型的输电线路自适应数据库创建方法及装置
CN102868548B (zh) 应用性能受影响的用户分布检测方法及***
CN103605607B (zh) 一种软件复杂度分析***及方法
CN102801548B (zh) 一种智能预警的方法、装置及信息***
Peccol et al. GIS as a tool for assessing the influence of countryside designations and planning policies on landscape change
CN105467100A (zh) 基于遥感与gis的县域土壤侵蚀时空动态监测方法
CN107742883A (zh) 一种基于Spark的电力***拓扑岛快速识别***和方法
CN102546683B (zh) 一种主机域名收集方法和装置
CN105023089A (zh) 基于gis平台的城市管理数据监测***及其方法
CN111339225A (zh) 一种面向城市地理空间数据动态更新的方法及***
Chung et al. Information extraction methodology by web scraping for smart cities
CN105187383A (zh) 一种基于通信网络的行为异常检测方法
CN113032212B (zh) 气象数据的全网监视方法、***、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 301-302, 3rd Floor, Tiancheng Information Building, No. 88 South Tiancheng Road, High Speed Rail New City, Xiangcheng District, Suzhou City, Jiangsu Province, 215133

Patentee after: SUZHOU MAXNET NETWORK SAFETY TECHNOLOGY Co.,Ltd.

Address before: 215021 International Science and Technology Park Phase III 8B, No. 1355 Jinjihu Avenue, Industrial Park, Suzhou City, Jiangsu Province

Patentee before: SUZHOU MAXNET NETWORK SAFETY TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder