CN102946320A - 一种分布式用户行为日志预测网络监管方法及*** - Google Patents

一种分布式用户行为日志预测网络监管方法及*** Download PDF

Info

Publication number
CN102946320A
CN102946320A CN2012103823228A CN201210382322A CN102946320A CN 102946320 A CN102946320 A CN 102946320A CN 2012103823228 A CN2012103823228 A CN 2012103823228A CN 201210382322 A CN201210382322 A CN 201210382322A CN 102946320 A CN102946320 A CN 102946320A
Authority
CN
China
Prior art keywords
network
lca
log
access
network service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103823228A
Other languages
English (en)
Other versions
CN102946320B (zh
Inventor
张宏科
关建峰
许长桥
曹远龙
权伟
张朝贵
戴彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201210382322.8A priority Critical patent/CN102946320B/zh
Publication of CN102946320A publication Critical patent/CN102946320A/zh
Application granted granted Critical
Publication of CN102946320B publication Critical patent/CN102946320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种分布式用户行为日志预测网络监管方法,所述方法包括:数据包采集与策略预取服务器PCPP捕获网络用户发起的网络访问请求数据包,提取访问日志,上传给日志收集与分析服务器LCA;LCA存储所述访问日志,根据所述访问日志计算网络服务流行度;LCA根据所述访问日志获取所述网络服务流行度相对应的k个网络服务标识;并返回给所述PCPP;PCPP根据所述k个网络服务标识以及访问日志中的用户属性信息,向预先设定的策略库中进行策略预取,根据预取到的策略对网络用户访问请求进行监管处置。本发明能够实现海量网络用户对网络服务访问请求过程中的快速、高效、准确的网络监管和处置。

Description

一种分布式用户行为日志预测网络监管方法及***
技术领域
本发明涉及网络监管技术领域,特别涉及一种分布式用户行为日志预测网络监管方法及***。
背景技术
随着互联网的飞速发展,网络服务变得多种多样,丰富多彩。由于互联网从成立之初就本着开放自由的原则,越来越多的新型网络服务不断地被开发出来,并且被接入到互联网,供全球用户访问和接入。网络服务变得多种多样,丰富多彩,人与人之间的信息交流也变得更为方便。内容丰富的网络服务在给人们的生活带来了极大的方便的同时也成了不和谐信息传播的温床。因此,网络监管成为十分重要的研究课题。
网络监管的目的在于搜集、分析和处理网络信息和用户操作行为,并从中识别和提取网络服务信息和用户行为中所隐含的特定活动特征,其核心在于事先发现和预警功能。世界各国一直高度重视网络监管方面的研究,都开始建立政府、金融、关键行业的监测基础设施。如美国联邦调查局FBI早在2001年就曾提出“Carnivore”计划、法国国防部于2004年建立了“Frenchelon”***、欧洲ERCIM组织2007年提出了网络监控会议计划、英国政府通讯总部也在2009年启动了MTI计划。各网络设备商、企业以及科研学者也积极进行相关研究,开发了各种网络行为分析产品,提出了诸多网络监测方案。在网络管理方面,有文献提出了针对异构网络的自治网络管理体系和基于策略的网络管理方法,“自管理”和“信任管理”的概念也被广泛应用于网络管理方法中。
日志记录对监管***起着重要作用,因此,网络日志被越来越多的研究所关注。对海量的网络用户和信息的监控决定了网络监管***的运行需要大量的数据资料,同时也会产生大量的日志记录。当前的网络监管架构一般都采用单一的日志服务器结构。基于用户操作日志预测流媒体访问行为的相关研究工作提出了一种中心化的日志收集服务器,该日志收集服务器通过收集和分析大量用户操作记录实现对流媒体访问的预测。
针对于国内的网络信息***的需求,相应的网络监管***及关键技术被不断地提出。然而,在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
现有的监管方式粒度不够精确,不具备特定用户对特定网络服务内容的访问控制。当前对非法服务或用户处理技术一般为:a)域名劫持;b)IP地址封锁;c)特定端口封锁;d)SSL连接阻断;e)关键字过滤阻断等。
现有的访问日志一般采用单一结构。单一化结构日志服务器在大量数据处理的时候具有一定的瓶颈,原因在于:a)大规模网络服务请求时,***提取、分析和处理数据时延增大;b)单一节点失败问题;c)可扩展性、健壮性差;d)容易成为被攻击的重点对象等。
单一终端能力有限,大规模网络服务请求时,***处理时延增大,不能满足网络监管的实时性要求。不具备特定用户对特定网络服务内容的访问控制。大容量网络访问数据存储必将导致***存储空间成为性能瓶颈。可扩展性差。显然,这种单一客户/服务器(Client/Server,C/S)结构在规模和功能上不能满足高效、快速、准确网络监管的要求。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种分布式用户行为日志预测网络监管方法及***。所述技术方案如下:
一种分布式用户行为日志预测网络监管方法,所述方法包括:
数据包采集与策略预取服务器PCPP捕获网络用户发起的网络访问请求数据包,提取访问日志,上传给日志收集与分析服务器LCA;
LCA存储所述访问日志,根据所述访问日志计算网络服务流行度;
LCA根据所述访问日志获取所述网络服务流行度相对应的k个网络服务标识;并返回给所述PCPP;
PCPP根据所述k个网络服务标识以及访问日志中的用户属性信息,向预先设定的策略库中进行策略预取,根据预取到的策略对网络用户访问请求进行监管处置。
所述PCPP采用旁路监听的方式从网络数据转发设备捕获网络用户发起的网络访问请求数据包。
所述访问日志是以四元组的形式存储的,包括网络用户所处网络的标识CNID、网络用户访问目标的IP地址DIP、网络用户访问目标的端口地址DPort以及网络服务标识URL。
所述LCA存储所述访问日志,包括:
所述LCA提取<CNID,DIP,DPort>并进行散列计算获得key值;
根据key值,LCA获得所述访问日志存储的后继结点LCA,并向该后继结点分发用户访问日志;
所述后继结点LCA接收到分发的所述访问日志后,存储所述访问日志至其网络服务访问日志库中。
所述根据所述网络日志计算网络服务流行度,包括:
LCA将所述访问日志存储在网络日志存储表中,并建立网络服务流行度存储表;
循环比较所述网络日志存储表和网络服务流行度存储表,若所述网络日志存储表中的第i项记录与网络服务流行度存储表中的第j项记录的CNID,DIP,DPort以及URL相同,则LCA设置网络服务流行度存储表中的相应网络服务流行度进行加1操作,同时,删除所述网络日志存储表中该记录项;
若所述网络日志存储表中的第i项记录与网络服务流行度存储表中的第j项记录的CNID,DIP,DPort或者URL不同,则LCA在网络服务流行度存储表中增加对应的新记录项,并设置相应的网络服务流行度为“1”,同时,删除所述网络日志存储表中该记录项。
所述网络服务流行度存储表中设定时长内没有被更新的访问日志将被删除。
所述方法还包括:
当所述LCA当前***时间与其最后一次进行的网络服务访问流行度计算时间之差等于τ时,所述LCA启动新一轮的网络服务流行度计算。
所述LCA根据所述访问日志获取所述网络服务流行度相对应的k个网络服务标识,包括:
所述LCA利用CNID、DIP、DPort在网络服务流行度存储表中获得所有相关的URL条数;
根据预先设定的k值,获得网络服务流行度排名在前k项的URL;
若存在多于k条网络服务具有相同网络服务流行度,则提取被访问时间最靠前的网络服务流行度排名在前k项的URL。
所述方法还包括:
所述访问日志中的用户属性信息由PCPP从所述网络日志中提取;所诉预先设定的策略库根据网络监管的策略设定;
所述根据预取到的策略对网络用户访问请求进行监管处置,包括:
从所述策略库中获取所述网络用户与所述k个网络服务之间的监管策略;
在所述网络用户下一次访问请求时,判断其是否针对所述k个网络服务,若是,则直接根据预取的策略对其进行网络监管处置;否则,提取网络用户请求访问数据包,生成网络用户访问日志。
一种分布式用户行为日志预测网络监管***,所述***包括PCPP和LCA,其中,
所述PCPP用于捕获网络用户发起的网络访问请求数据包,提取访问日志,上传给LCA;获取网络服务流行度,并根据预先设定的策略库获取网络监管策略,对所述网络用户的网络访问请求进行监管处置;
所述LCA用于分发存储所述访问日志,根据所述访问日志计算网络服务流行度并下发给PCPP。
所述***包括若干个LCA,所述LCA组成分布式哈希表DHT网络;
LCA对接收到的所述访问日志通过分布式哈希算法进行散列计算获得key值,根据key值,LCA获得所述访问日志存储的后继结点LCA,并向该后继结点分发用户访问日志。
本发明实施例提供的技术方案带来的有益效果是:
通过以分布式方式收集、存储和分析网络用户操作日志记录,根据访问日志计算网络服务流行度,再根据网络服务流行度来预测用户下次访问网络的行为可能针对的网络服务,从而预取到下次网络访问所需要的监管策略。结合网络服务的属性和用户属性,并调用相应预处理策略,以实现海量网络用户对网络服务访问请求过程中的快速、高效、准确的网络监管和处置。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的分布式用户行为日志预测网络监管方法流程图;
图2是本发明实施例一提供的PCPP查询用户使用接入网ID示意图;
图3是本发明实施例二提供的分布式用户行为日志预测网络监管***结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
网络信息******的运行需要大量的数据资料,同时也会产生大量的数据记录。因为单一终端能力有限,对于网络服务监管实时性强的特性,更需要多节点之间的协作以提高***的性能和稳定性。因此,我们基于分布式哈希表(Distributed Hash Table,DHT)提出一种基于分布式用户行为日志预测的网络监模型(DUHP),DUHP以分布式、自组织等特征实现分布式环境下用户行为日志共享、可扩展性、低成本以及负载均衡等优势。DUHP的特征在于以分布式方式分发和存储用户访问网络服务日志,计算网络服务访问流行度(hot),基于用户自然属性(如年龄、兴趣爱好、地域等)并结合日志分析结果,预测用户未来访问行为,以此为依据进行用户动态属性(如黑白名单)与网络服务属性(如域名、黑白名单等)匹配从而实现策略预取,达到快速高效的监管。
本发明实施例的方案针对已有相关网络监管方案/技术存在的问题,提出一种新颖的基于分布式行为日志预测的网络监管***。其特点在于:1)基于用户操作日志预测用户未来访问行为。这一特点用以解决用户请求访问网络服务过程中的低时延、高效监管。2)基于用户属性和网络服务属性进行访问权限匹配。这一特点用以实现特定用户对特定服务内容的访问控制,解决现有基于IP地址(端口)等粗粒度监管问题,达到更为细粒度的“用户-服务”匹配的监管。3)采用对等网络(Peer-to-Peer,P2P)构建分布式“用户—服务”操作日志的分发、计算和存储结构。这一特点目的在于解决单一节点瓶颈问题,为大规模日志记录计算和存储提供解决方案。本发明实施例的目的在于满足网络服务多样性和大规模化环境下对网络服务高效监管的支持。
实施例一
如图1所示,为本发明实施例提供的分布式用户行为日志预测网络监管方法流程图,具体如下:
步骤10,PCPP捕获网络用户发起的网络访问请求数据包,提取访问日志,上传给LCA。
当网络用户发起网络访问请求时,数据包采集与策略预取服务器(PCPP)捕获数据包并按给定规则提取访问日志。当访问日志被提取,PCPP将进行两方面工作:1)根据访问日志中的源端(用户)IP地址向IP地址规则库(IPRD)查询并获得用户所使用的接入网ID(CNID);2)上传访问日志至其连接的日志收集与分析服务器(LCA)。进一步的,根据访问日志中的关键信息(如URL)向其连接的LCA请求查询该网络服务访问流行度
Figure BDA00002238398600061
具体步骤如下:
假定用户SIP(i)发起对网址的访问请求WebSitei,PCPP(p)按一定方式(如旁路监听)从网络数据转发设备(如路由器、交换机等)抓取数据包并提取用户IP地址Source IP(i)。
PCPP(p)凭借该Source IP(i)向IPRD查询用户所使用的CNID。(CNID可以为用户定义的任何无二义性的字符,为方便说明,本方案中采用正整数表示CNID,例如“1”表示教育网,“2”表示电信网等等。)
IPRD按照一定规则(如按照最长匹配方法)查询并返回CNID给向其发出查询请求的PCPP(p)。如图2所示,为PCPP查询用户使用接入网ID示意图。其中,IP地址库中包含着IP地址范围、对应的接入网类型和接入网ID。PCPP(p)获取用户的源IP地址,向IP地址规则库IPRD查询,按照最长匹配规则匹配,返回接入网ID给PCPP(p)。
PCPP(p)利用例如深度包检测(DPI)技术提取网络服务标识(例如URL),并以四元组<CNID,DIP,DPort,URL>创建用户访问日志。
PCPP(p)把创建的用户访问日志上传至其连接的LCA。至此,访问日志被上传到了LCA。
步骤20,LCA存储访问日志,根据访问日志计算网络服务流行度。
当PCPP上传的用户访问日志达到后,LCA提取<CNID,DIP,DPort>并进行散列计算获得key值。这里的散列计算,可以是现有技术中常用的哈希计算。根据key值,LCA获得该用户访问日志存储的后继结点Successor(key)并向该后继结点分发用户访问日志。后继结点接收到分发的所述访问日志后,存储访问日志至其网络服务访问日志库中。
当DHT网络中的其他LCA分发的用户访问日志后,LCA(k)将按表一所示的存储结构存储该用户访问日志至其网络服务访问日志库(WARD)中。
表一
CNID DIP DPort WebService
其中,DIP表示目的IP地址。DPort表示目的端口。WebService表示网络服务标识如URL(统一资源定位符)。在本实施例中,为方便说明,我们仅以URL代替WebService进行阐述。
这里,完成了LCA对访问日志的存储。实际上,本实施例提出的分布式用户行为预测,就是基于分布式的存储而来的。这里的LCA根据分布式网络而构建成一个网络结构,多个LCA建立的分布式网络完成对所有的访问日志的存储。
进一步的,LCA需要根据获取的访问日志进行网络服务流行度的计算。网络服务流行度是一个标识具体的网络服务流行程度的指标,访问一个网络服务的用户越多,说明该网络服务的流行度越高,该网络服务的网络服务流行度指标就越高。我们计算网络服务流行度,目的在于通过这个指标,获取用户下一步可能访问的网络服务的概率,从而预测用户下一次访问网络的网络服务指向。
为了减轻LCA的压力,网络服务流行度计算不宜频繁。为此本实施例设置一个周期阀值τ,即LCA当前***时间与其最后一次进行的网络服务访问流行度计算时间之差等于τ时,该LCA才会启动新一轮的网络服务流行度计算。表二给出了网络服务流行度存储结构。
表二
Figure BDA00002238398600071
其中CNID,DIP,DPort和URL与表1其中含义相同。表示网络服务流行度。LastAccessTime表示该URL的最后被访问时间。
为方便阐述本网络服务流行度计算方案,本实施例定义了一些词汇和对应的注释,如表三所示。
表三
Figure BDA00002238398600081
DHT网络中的各个LCA进行网络服务流行度计算流程以LCA(k)为例。步骤如下:
当本机网络服务流行度计算周期τ到达,LCA(k)循环比较表1“用户访问日志存储表”(以下简称“表1”)和表2“网络服务流行度存储表”(以下简称“表2”)各记录项。
若表1中的第i项记录与表2中的第j项记录的CNID,DIP,DPort以及URL相同,则LCA(k)设置表2中的
Figure BDA00002238398600082
进行加1操作,同时,删除表1中该记录项。
若表1中的第i项记录与表2中的第j项记录的CNID,DIP,DPort或者URL不同,则LCA(k)在表2中增加对应的新记录项,并设置对应的
Figure BDA00002238398600083
为“1”,同时,删除表1中该记录项。
也就是说,循环比较网络日志存储表和网络服务流行度存储表,若网络日志存储表中的第i项记录与网络服务流行度存储表中的第j项记录的CNID,DIP,DPort以及URL相同,则LCA设置网络服务流行度存储表中的相应网络服务流行度
Figure BDA00002238398600091
进行加1操作,同时,删除网络日志存储表中该记录项;若网络日志存储表中的第i项记录与网络服务流行度存储表中的第j项记录的CNID,DIP,DPort或者URL不同,则LCA在网络服务流行度存储表中增加对应的新记录项,并设置相应的网络服务流行度
Figure BDA00002238398600092
为“1”,同时,删除网络日志存储表中该记录项。
进一步的,为了减轻LCA的负载并提高预测的准确率,很久没有被更新的用户访问日志将会被定期删除,为此,如下公式给出了一个定期删除冗余访问日志的度量值用以判断哪些用户访问日志将被删除。
timerange=CurrentTime-LastAccessTime
其中,CurrentTime表示LCA当前***时间,LastAccessTime表示该网络服务最后被访问的时间。Timerange为LCA当前***时间与网络服务最后被访问的时间之间的时间间隔。当Timerange等于或大于设定的删除操作门阀值时,过时的用户访问日志将被删除以提高预测的准确性和高效性。
步骤30,LCA根据访问日志获取网络服务流行度相对应的k个网络服务标识;并返回给PCPP。
LCA利用CNID、DIP、DPort在网络服务流行度存储表中获得所有相关的URL条数;根据预先设定的k值,获得网络服务流行度排名在前k项的URL;若存在多于k条网络服务具有相同网络服务流行度,则提取被访问时间最靠前的网络服务流行度排名在前k项的URL。
当一条用户访问记录例如record(i)PCPP(p)到达LCA(k)。则LCA(k)将会被触发执行以下工作流程实现准确、高效支持网络监管策略预取:
LCA(k)利用三元组<CNID,DIP,DPort>在表2“网络服务流行度存储表”中获得所有相关的URL条数(记为CountExisting)。
LCA(k)查询***管理员设置的URL数目(记为CountSpecified)。
LCA(k)计算得到k值,并通过该值获得网络服务流行度排名在前k项(包括第k项)的URL。LCA(k)把这些URL以及对应的用户访问日志中的源端(用户)IP组成一条replying消息下发给PCPP(p)。
若存在多于k条网络服务具有相同流行度,那么LCA(k)将提取被访问时间最靠前的网络服务流行度排名在前k项(包括第k项)的URL。并将这些URL以及对应的用户访问日志中的源端(用户)IP组成一replying消息下发PCPP(p)。
步骤40,PCPP根据k个网络服务标识以及访问日志中的用户属性信息,向预先设定的策略库中进行策略预取,根据预取到的策略对网络用户访问请求进行监管处置。
从策略库中获取网络用户与k个网络服务之间的监管策略;在网络用户下一次访问请求时,判断其是否针对k个网络服务,若是,则直接根据预取的策略对其进行网络监管处置;否则,提取网络用户请求访问数据包,生成网络用户访问日志。
当replying消息到达PCPP(p),PCPP(p)根据相应的用户属性信息与replying中k条URL到策略库中进行策略预取。这样,当该用户发起下一个网络服务请求时,截获请求数据包的PCPP(p)即可以通过预取的策略实现如放行、过滤、阻断等监控手段和技术。也就是说,这里的策略预取,实际上是对用户的下一次对网络服务的访问进行策略预取,预先判断用户下一次访问可能的网络服务,预先获取用户与网络服务之间的监管策略,从而在用户进行网络服务请求的时候,有针对性的进行监管和控制。
这里的用户属性信息,包括用户注册时填写的相关信息。当用户访问日志上传完成,PCPP利用源IP地址向用户信息库(UID)发送用户信息查询请求request(Source IP(i)),UID根据用户注册时填写的属性信息(如民族、爱好、年龄等)给予其用户标签,并向发起用户信息查询请求的PCPP返回对应的用户标签。PCPP缓存该用户标签。
实施例2
如图3所示,本发明实施例提供一种分布式用户行为日志预测网络监管***,包括PCPP和LCA,其中,
PCPP用于捕获网络用户发起的网络访问请求数据包,提取访问日志,上传给LCA;获取网络服务流行度,并根据预先设定的策略库获取网络监管策略,对网络用户的网络访问请求进行监管处置;
LCA用于分发存储访问日志,根据访问日志计算网络服务流行度并下发给PCPP。
具体来说,该***包括若干个LCA,若干个LCA组成分布式哈希表DHT网络;
LCA对接收到的访问日志通过分布式哈希算法进行散列计算获得key值,根据key值,LCA获得访问日志存储的后继结点LCA,并向该后继结点分发用户访问日志。
具体来说,本实施例各个组成部分的结构功能如下:
DHT网络:DHT网络由日志收集与分析服务器(LCA)按一定的逻辑结构组成(例如Chord),其功能在于:1)分发、存储用户行为日志;2)计算网络服务访问流行度;3)当LCA离开或加入网络,DHT做自我更新。
日志收集与分析服务器(LCA):LCA的功能在于:1)接收来自数据包采集与策略预取服务器(PCPP)发送的用户访问日志;2)分析用户访问日志并周期性地计算网络服务访问流行度3)共享网络服务访问流行度
Figure BDA00002238398600112
至DHT网络;4)查询并转发网络服务访问流行度信息。
数据包采集与策略预取服务器(PCPP):PCPP的功能在于:1)从网络数据转发器件(例如路由器、交换机等)抓取数据包;2)按照给定需求提取数据包信息并上传至其连接的LCA;3)向其连接的LCA发送网络服务访问流行度信息请求,并根据返回的热度信息预测用户未来可能访问的网络服务,结合用户动态属性与网络服务动态属性从策略库中预取处理策略。
需要说明的是:上述实施例提供的分布式用户行为日志预测网络监管***在监管网络时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将***设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的分布式用户行为日志预测网络监管***与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
综上所述,本发明实施例通过以分布式方式收集、存储和分析网络用户操作日志记录,根据访问日志计算网络服务流行度,再根据网络服务流行度来预测用户下次访问网络的行为可能针对的网络服务,从而预取到下次网络访问所需要的监管策略。结合网络服务的属性和用户属性,并调用相应预处理策略,以实现海量网络用户对网络服务访问请求过程中的快速、高效、准确的网络监管和处置。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种分布式用户行为日志预测网络监管方法,其特征在于,所述方法包括:
数据包采集与策略预取服务器PCPP捕获网络用户发起的网络访问请求数据包,提取访问日志,上传给日志收集与分析服务器LCA;
LCA存储所述访问日志,根据所述访问日志计算网络服务流行度;
LCA根据所述访问日志获取所述网络服务流行度相对应的k个网络服务标识;并返回给所述PCPP;
PCPP根据所述k个网络服务标识以及访问日志中的用户属性信息,向预先设定的策略库中进行策略预取,根据预取到的策略对网络用户访问请求进行监管处置。
2.如权利要求1所述的方法,其特征在于,所述PCPP采用旁路监听的方式从网络数据转发设备捕获网络用户发起的网络访问请求数据包。
3.如权利要求1所述的方法,其特征在于,所述访问日志是以四元组的形式存储的,包括网络用户所处网络的标识CNID、网络用户访问目标的IP地址DIP、网络用户访问目标的端口地址DPort以及网络服务标识URL。
4.如权利要求3所述的方法,其特征在于,所述LCA存储所述访问日志,包括:
所述LCA提取<CNID,DIP,DPort>并进行散列计算获得key值;
根据key值,LCA获得所述访问日志存储的后继结点LCA,并向该后继结点分发用户访问日志;
所述后继结点LCA接收到分发的所述访问日志后,存储所述访问日志至其网络服务访问日志库中。
5.如权利要求4所述的方法,其特征在于,所述根据所述网络日志计算网络服务流行度,包括:
LCA将所述访问日志存储在网络日志存储表中,并建立网络服务流行度存储表;
循环比较所述网络日志存储表和网络服务流行度存储表,若所述网络日志存储表中的第i项记录与网络服务流行度存储表中的第j项记录的CNID,DIP,DPort以及URL相同,则LCA设置网络服务流行度存储表中的相应网络服务流行度
Figure FDA00002238398500021
进行加1操作,同时,删除所述网络日志存储表中该记录项;
若所述网络日志存储表中的第i项记录与网络服务流行度存储表中的第j项记录的CNID,DIP,DPort或者URL不同,则LCA在网络服务流行度存储表中增加对应的新记录项,并设置相应的网络服务流行度为“1”,同时,删除所述网络日志存储表中该记录项。
6.如权利要求5所述的方法,其特征在于,所述网络服务流行度存储表中设定时长内没有被更新的访问日志将被删除。
7.如权利要求5所述的方法,其特征在于,所述方法还包括:
当所述LCA当前***时间与其最后一次进行的网络服务访问流行度计算时间之差等于τ时,所述LCA启动新一轮的网络服务流行度计算。
8.如权利要求5所述的方法,其特征在于,所述LCA根据所述访问日志获取所述网络服务流行度相对应的k个网络服务标识,包括:
所述LCA利用CNID、DIP、DPort在网络服务流行度存储表中获得所有相关的URL条数;
根据预先设定的k值,获得网络服务流行度排名在前k项的URL;
若存在多于k条网络服务具有相同网络服务流行度,则提取被访问时间最靠前的网络服务流行度排名在前k项的URL。
9.如权利要求1所述的方法,其特征在于,所述方法还包括:
所述访问日志中的用户属性信息由PCPP从所述网络日志中提取;所述预先设定的策略库根据网络监管的策略设定;
所述根据预取到的策略对网络用户访问请求进行监管处置,包括:
从所述策略库中获取所述网络用户与所述k个网络服务之间的监管策略;
在所述网络用户下一次访问请求时,判断其是否针对所述k个网络服务,若是,则直接根据预取的策略对其进行网络监管处置;否则,提取网络用户请求访问数据包,生成网络用户访问日志。
10.一种分布式用户行为日志预测网络监管***,其特征在于,所述***包括PCPP和LCA,其中,
所述PCPP用于捕获网络用户发起的网络访问请求数据包,提取访问日志,上传给LCA;获取网络服务流行度,并根据预先设定的策略库获取网络监管策略,对所述网络用户的网络访问请求进行监管处置;
所述LCA用于分发存储所述访问日志,根据所述访问日志计算网络服务流行度并下发给PCPP。
11.如权利要求10所述的***,其特征在于,所述***包括若干个LCA,所述LCA组成分布式哈希表DHT网络;
LCA对接收到的所述访问日志通过分布式哈希算法进行散列计算获得key值,根据key值,LCA获得所述访问日志存储的后继结点LCA,并向该后继结点分发用户访问日志。
CN201210382322.8A 2012-10-10 2012-10-10 一种分布式用户行为日志预测网络监管方法及*** Active CN102946320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210382322.8A CN102946320B (zh) 2012-10-10 2012-10-10 一种分布式用户行为日志预测网络监管方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210382322.8A CN102946320B (zh) 2012-10-10 2012-10-10 一种分布式用户行为日志预测网络监管方法及***

Publications (2)

Publication Number Publication Date
CN102946320A true CN102946320A (zh) 2013-02-27
CN102946320B CN102946320B (zh) 2015-06-24

Family

ID=47729229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210382322.8A Active CN102946320B (zh) 2012-10-10 2012-10-10 一种分布式用户行为日志预测网络监管方法及***

Country Status (1)

Country Link
CN (1) CN102946320B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914743A (zh) * 2014-04-21 2014-07-09 中国科学技术大学先进技术研究院 一种基于自回归模型的在线连载内容流行度预测方法
CN104135546A (zh) * 2014-07-25 2014-11-05 可牛网络技术(北京)有限公司 一种加载网页的方法及终端
CN104486098A (zh) * 2014-11-26 2015-04-01 中国建设银行股份有限公司 一种访问故障监控方法及装置
CN105827608A (zh) * 2016-03-31 2016-08-03 微梦创科网络科技(中国)有限公司 分布式api服务异常用户识别分析方法及反向代理服务网关
CN109218401A (zh) * 2018-08-08 2019-01-15 平安科技(深圳)有限公司 日志采集方法、***、计算机设备和存储介质
CN109271782A (zh) * 2018-09-14 2019-01-25 杭州朗和科技有限公司 检测攻击行为的方法、介质、***和计算设备
CN110609901A (zh) * 2019-09-17 2019-12-24 国家电网有限公司 一种基于向量化特征的用户网络行为预测方法
CN111404960A (zh) * 2020-03-26 2020-07-10 军事科学院***工程研究院网络信息研究所 应用于天地一体化网络接入管控***的属性提取方法
CN111949884A (zh) * 2020-08-26 2020-11-17 桂林电子科技大学 一种基于多模态特征交互深度融合推荐方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404630A (zh) * 2008-11-25 2009-04-08 中国网络通信集团公司 互联网业务接入网关的实现方法和***
CN101420554A (zh) * 2007-10-25 2009-04-29 索尼株式会社 节目指南提供***、设备、方法和程序
US20110154473A1 (en) * 2009-12-23 2011-06-23 Craig Anderson Systems and methods for cross site forgery protection
CN102449633A (zh) * 2009-06-01 2012-05-09 皇家飞利浦电子股份有限公司 访问权限的动态确定

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101420554A (zh) * 2007-10-25 2009-04-29 索尼株式会社 节目指南提供***、设备、方法和程序
CN101404630A (zh) * 2008-11-25 2009-04-08 中国网络通信集团公司 互联网业务接入网关的实现方法和***
CN102449633A (zh) * 2009-06-01 2012-05-09 皇家飞利浦电子股份有限公司 访问权限的动态确定
US20110154473A1 (en) * 2009-12-23 2011-06-23 Craig Anderson Systems and methods for cross site forgery protection

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914743A (zh) * 2014-04-21 2014-07-09 中国科学技术大学先进技术研究院 一种基于自回归模型的在线连载内容流行度预测方法
CN104135546A (zh) * 2014-07-25 2014-11-05 可牛网络技术(北京)有限公司 一种加载网页的方法及终端
CN104486098A (zh) * 2014-11-26 2015-04-01 中国建设银行股份有限公司 一种访问故障监控方法及装置
CN105827608B (zh) * 2016-03-31 2019-02-12 微梦创科网络科技(中国)有限公司 分布式api服务异常用户识别分析方法及反向代理服务网关
CN105827608A (zh) * 2016-03-31 2016-08-03 微梦创科网络科技(中国)有限公司 分布式api服务异常用户识别分析方法及反向代理服务网关
CN109218401A (zh) * 2018-08-08 2019-01-15 平安科技(深圳)有限公司 日志采集方法、***、计算机设备和存储介质
CN109218401B (zh) * 2018-08-08 2021-08-31 平安科技(深圳)有限公司 日志采集方法、***、计算机设备和存储介质
CN109271782A (zh) * 2018-09-14 2019-01-25 杭州朗和科技有限公司 检测攻击行为的方法、介质、***和计算设备
CN110609901A (zh) * 2019-09-17 2019-12-24 国家电网有限公司 一种基于向量化特征的用户网络行为预测方法
CN110609901B (zh) * 2019-09-17 2022-04-15 国家电网有限公司 一种基于向量化特征的用户网络行为预测方法
CN111404960A (zh) * 2020-03-26 2020-07-10 军事科学院***工程研究院网络信息研究所 应用于天地一体化网络接入管控***的属性提取方法
CN111949884A (zh) * 2020-08-26 2020-11-17 桂林电子科技大学 一种基于多模态特征交互深度融合推荐方法
CN111949884B (zh) * 2020-08-26 2022-06-21 桂林电子科技大学 一种基于多模态特征交互深度融合推荐方法

Also Published As

Publication number Publication date
CN102946320B (zh) 2015-06-24

Similar Documents

Publication Publication Date Title
CN102946320A (zh) 一种分布式用户行为日志预测网络监管方法及***
US20200153923A1 (en) Push Notification Delivery System with Feedback Analysis
Fathy et al. Large-scale indexing, discovery, and ranking for the Internet of Things (IoT)
CN101334792B (zh) 一种个性化服务推荐***和方法
Liang et al. Search engine for the internet of things: Lessons from web search, vision, and opportunities
CN117555928A (zh) 基于设备使用关联互联网设备的数据处理***和方法
CN101808102B (zh) 一种基于云计算的操作记录追踪***和方法
CN103118007B (zh) 一种用户访问行为的获取方法和***
Erlandsson et al. Crawling online social networks
CN105981011A (zh) 趋势响应管理
Zhang et al. Urban traffic flow forecast based on FastGCRNN
CN103338260A (zh) 网络审计中url日志的分布式分析***及分析方法
US20110131208A1 (en) Systems and methods for large-scale link analysis
Wu et al. Modeling object flows from distributed and federated RFID data streams for efficient tracking and tracing
Elshater et al. godiscovery: Web service discovery made efficient
Lee et al. Link prediction with social vector clocks
CN107580052A (zh) 自演进的网络自适应爬虫方法及***
Anand et al. Clustering of big data in cloud environments for smart applications
CN102253948A (zh) 在多源信息***中搜索信息的方法和装置
CN104283981A (zh) 一种基于热点机制的cdn透明缓存方法
CN114139048A (zh) 一种用户行为数据和页面数据的跟踪方法
Shi et al. On enabling collaborative non-intrusive load monitoring for sustainable smart cities
Xu et al. A novel model for user clicks identification based on hidden semi-Markov
Hurst et al. Social streams blog crawler
Maske et al. A real time processing and streaming of wireless network data using storm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant