CN104426713A - 网络站点访问效果数据的监测方法和装置 - Google Patents

网络站点访问效果数据的监测方法和装置 Download PDF

Info

Publication number
CN104426713A
CN104426713A CN201310380434.4A CN201310380434A CN104426713A CN 104426713 A CN104426713 A CN 104426713A CN 201310380434 A CN201310380434 A CN 201310380434A CN 104426713 A CN104426713 A CN 104426713A
Authority
CN
China
Prior art keywords
data
session
source
website
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310380434.4A
Other languages
English (en)
Other versions
CN104426713B (zh
Inventor
曲豹创
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN201310380434.4A priority Critical patent/CN104426713B/zh
Priority to PCT/CN2014/084489 priority patent/WO2015027829A1/en
Publication of CN104426713A publication Critical patent/CN104426713A/zh
Priority to US14/818,718 priority patent/US10587707B2/en
Application granted granted Critical
Publication of CN104426713B publication Critical patent/CN104426713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种网络站点访问效果数据的监测方法和装置，包括：数据获取模块实时获取网络站点的源会话数据；数据构建模块将所述源会话数据按照站点和会话标识归类缓存至存储设备中；数据计算模块针对所归类的每一会话，在归类缓存了新的会话数据时，则利用该新的会话数据计算对应的新的访问效果数据，将该新的访问效果数据合并到之前的总访问效果数据中，得到最新的总访问效果数据；数据清理模块在所述归类缓存的会话失效时计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中；将所述失效会话的会话数据从存储设备中清除。利用本发明，可提高监测网络站点访问效果数据的处理效率，提高监测的实时性。

Description

网络站点访问效果数据的监测方法和装置
技术领域
本发明涉及互联网的数据处理技术，尤其涉及一种网络站点访问效果数据的监测方法和装置。
背景技术
网络站点访问效果数据监测技术是为了理解和优化互联网的使用而对互联网中的站点进行的数据监测、数据收集、数据分析和数据报告的技术。通过合理地对网站的访问数据进行追踪和分析，能够帮助网站提升运行效率，增加流量，乃至实现开发者期望网站达到的功能。
目前，网络站点访问效果数据的监测技术主要是对网络站点的页面访问次数（PV，Page Views）和站点唯一访客数（UV）进行统计检测。
所述PV即页面浏览量，通常是衡量一个网站甚至一条网络新闻的主要指标。PV是评价网站流量最常用的指标之一，监测网站PV的变化趋势和分析其变化原因是很多站点管理者定期要做的工作。页面访问次数中的页面一般是指普通的html网页，也包含php、jsp等动态产生的html内容。来自浏览器的一次html内容请求会被看作一个PV，逐渐累计成为PV总数。
所述UV是指不同的、通过互联网访问、浏览某个站点网页的自然人。比如，在一台电脑上，用户A打开了某站点的主页，注册了一个会员。过了一会儿，用户B也用同一台电脑注册了另一个会员。由于用户A和用户B两个使用的是相同的计算机，那么他们的IP地址是一样的，这个站点的官方计数器记录到一个IP登陆的信息。但是，进一步的站点访问效果的监测***，可以根据其他条件判断出实际使用的用户数量，返回给网站建设者真实、可信和准确的信息。比如通过注册的用户，甚至可以区分出网吧、机房等共享一个IP地址的不同计算机。
但是，现有技术存在监测实时性较差的技术缺陷。
现有技术的方案通常是利用大数据平台，以天为单位将发生在网络站点的访问数据并汇总在一起，每天对所有的数据进行一次统计计算，得到当天的访问效果数据，具体包括各个站点各个页面的PV和UV数据。由于采用大数据平台的汇总数据进行统一计算，计算量大，处理效率低下，对计算机的运算性能要求很高，因此很难做到实时监测得到访问效果数据，通常只能是一天计算并更新一次站点的访问效果数据，实时性太差；同时，由于计算量大，计算效率低，访问效果数据中的分析数据的维度也较少。所述的维度是指从不同的计算属性来计算对应的访问效果数据，例如从访问流量的属性来计算对应的PV和UV数据，从访问来源的属性来计算对应的PV和UV数据等。
发明内容
有鉴于此，本发明的主要目的在于提供一种网络站点访问效果数据的监测方法和装置，以提高监测网络站点访问效果数据的处理效率，提高监测的实时性。
本发明的技术方案是这样实现的：
一种网络站点访问效果数据的监测方法，包括：
实时获取网络站点的源会话数据；
将所述源会话数据按照站点和会话标识归类缓存至存储设备中；
针对所归类的每一会话，在归类缓存了新的会话数据时，则利用该新的会话数据计算对应的新的访问效果数据，将该新的访问效果数据合并到之前的总访问效果数据中，得到最新的总访问效果数据；
如果所述归类缓存的会话失效，则计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中；将所述失效会话的会话数据从存储设备中清除。
一种网络站点访问效果数据的监测装置，包括：
数据获取模块，用于实时获取网络站点的源会话数据；
数据构建模块，用于将所述源会话数据按照站点和会话标识归类缓存至存储设备中；
数据计算模块，用于针对所归类的每一会话，在归类缓存了新的会话数据时，则利用该新的会话数据计算对应的新的访问效果数据，将该新的访问效果数据合并到之前的总访问效果数据中，得到最新的总访问效果数据；
数据清理模块，用于判断所述归类缓存的会话是否失效，如果失效则计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中；将所述失效会话的会话数据从存储设备中清除。
与现有技术相比，本发明实时获取网络站点的源会话（Session）数据，并将所述源会话数据按照站点和会话标识归类缓存至存储设备中，从而将网络站点的源数据在存储时就切割成了session级别的存储维度；然后，针对所归类的每一会话，只要归类缓存了新的会话数据，则利用该新的会话数据计算对应的新的访问效果数据，将该新的访问效果数据合并到之前的总访问效果数据中，得到总访问效果数据，从而提高了监测的实时性；在计算的过程中，由于数据读取都是存储设备级读取，因此速度很快，而且更新的会话数据的数据量通常很小（相比现有技术大数据平台一天统计的数据来讲，要小好几个数量级），因此计算量也小，从而使得整体处理效率大幅提高，进一步保证了其实时计算的可能性，对机器的运算能力的要求也不高，不会增加硬件成本；最后，本发明还判断所述归类缓存的会话是否失效，如果失效则计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中，从而完善访问效果数据，之后将所述失效会话的会话数据从存储设备中清除，从而释放有限的存储设备资源，使得可以为后续会话数据的更新缓存提供存储设备空间。
附图说明
图1为本发明所述网络站点访问效果数据的监测方法的一种流程图；
图2为所述网络站点访问效果数据的监测方法的一种具体实施例的第一子流程的示意图；
图3为所述网络站点访问效果数据的监测方法的一种具体实施例的第二子流程的示意图；
图4为所述网络站点访问效果数据的监测方法的一种具体实施例的第三子流程的示意图；
图5为本发明所述网络站点访问效果数据的监测装置的一种组成示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明
图1为本发明所述网络站点访问效果数据的监测方法的一种流程图。参见图1，本发明的方法包括：
步骤101、实时获取网络站点的源会话（Session）数据。
所述源会话数据就是记录用户会话的原始数据，所述会话是一个客户机与服务器之间的不中断的请求响应序列。对客户机的每个请求，服务器能够识别出请求来自于同一个客户机。当一个未知的客户机向网络站点的应用程序发送第一个请求时就开始了一个会话。当客户机明确结束会话或服务器在一个预定义的时限内不从客户接受任何请求时，会话就结束了。
客户机向网络站点的服务器发送的首次请求可能不是客户机与服务器的第一次交互。首次请求指的是需要创建会话的请求。通常称之为首次请求是因为该请求是对多个请求计数的开始（逻辑上），也是服务器开始记住客户机的请求。例如，当用户登录或向购物车中添加一件商品时，就必须开始一个会话。
所述源会话数据按照类型可以分为源访问数据和源行为数据，分别从访问数据源和行为数据源中获得。源会话数据中至少包括站点信息和会话标识信息。其中，所述源访问数据还可以包括诸如：用户标识（ID）、IP地址、cookie信息、会话开始和结束时间、访问页面的统一资源定位符（URL，Uniform ResourceLocator）序列、以及常用互联网协议如超文本传输协议（HTTP，Hypertext transferprotocol）中携带的数据。
所述源行为数据也可以包括诸如：用户ID、IP地址、cookie信息、会话开始和结束时间、访问页面的URL序列等信息，但还需要包括用于记录用户在页面上所发生的动作行为的序列信息，例如：用户登录、注册、投票，发送微博等动作信息。
所述源会话数据的数据源通常是被监测的网络站点的服务器，被监测的网络站点随着用户的不断范围，其服务器会不断产生相应的会话数据，这些会话数据对于执行本发明方法的计算机设备来讲就是源会话数据，由于源会话数据会不断的产生和更新，因此本发明需要实时地获取源会话数据，包括新产生的源会话数据以及源会话数据的更新数据。
步骤102、将所述源会话数据按照站点和会话标识归类缓存至存储设备中。
在一种优选实施例中，为了达到较高的读写速度，进一步提高实时性，所述存储设备是指执行本发明所述方法的计算机设备的本地内存，在下面各实施例中，所述存储设备以内存为例进行说明。当然所述存储设备也可以是其它的存储器如外存等。
本步骤102是一个数据构建的过程，构建的数据采用结构化存储，存储的基本单位是一个会话，即每一条数据结构单位就是一个会话的数据。此处将所述源会话数据按照站点和会话标识进行归类缓存，从而将网络站点的源会话数据在存储时就切割成了会话级别的存储维度。例如如果监测了n个站点，每个站点产生了m个会话，则通过本步骤数据构建过程中的归类缓存处理，可以构建n×m个基本的数据单元，每个数据单元都是对应存储一个会话数据。通常被监测网络站点的源数据是巨量的，通过本发明的这种数据构建处理，就实现了对巨量数据源统一切割成会话级别的切片，非常适合实时地更新和统计计算。
步骤103、针对所归类的每一会话，在归类缓存了新的会话数据时，则利用该新的会话数据计算对应的新的访问效果数据，将该新的访问效果数据合并到之前的总访问效果数据中，得到最新的总访问效果数据。
本发明中，每获取到一个新的会话数据，就会按照该会话数据的站点和会话标识将还会话数据归类缓存到该会话对应的数据单元中，并触发一次访问效果数据的更新计算，该更新计算就是利用所述新的会话数据计算对应的新的访问效果数据。所述每一次更新计算实质上是一次增量计算，计算出的新的访问效果数据是一种增量的访问效果数据，当前最新计算出的新的访问效果数据需要合并到之前的总访问效果数据中，得到最新的总访问效果数据。所述之前的总访问效果数据可以指定时间段，例如最近1小时，可以合并该指定时间段内的访问效果数据。
由于每一次更新的会话数据量较小，因此更新计算的计算量也相对较小，因此本发明所计算的所述访问效果数据可以覆盖多个维度。例如在一种优选的实施方式中，本发明所能计算的访问效果数据具体包括以下四个维度的分析数据中的至少一个：
1）访问流量分析数据；
2）访问来源分析数据；
3）访客分析数据；
4）访客行为分析数据。
所述各维度的分析数据中至少包括：站点页面访问次数PV数据以及站点唯一访客UV数据。例如：
所述访问流量分析数据中包括：访问某一具体站点和/或具体页面的总PV数，以及其中的UV数。
所述访问来源分析数据中包括：访问某一具体站点和/或具体页面的请求来源的类型，如操作***的类型、浏览器的类型、台式机还是移动终端等，每种来源类型对应的PV数以及其中的UV数等。
所述访客分析数据中包括：访问某一具体站点和/或具体页面的请求客户的类型，如客户的性别、年龄段、所在地域、兴趣点等，每种客户类型对应的PV数及其中的UV数等，例如可以计算男性客户访问A站点的PV数以及其中的UV数，计算北京客户访问A站点的PV数以及其中的UV数等等。
所述访客行为分析数据中包括：访问某一具体站点和/或具体页面的具体的行为类型，例如对于微博站点，用户是否参与了评论、是否参与了投票、是否观看了其中的视频、是否点击了其中的网络广告等行为，以及每种行为类型对应的PV数和UV数等。例如针对B站点的C页面中的网络广告的点击行为，计算点击该网络广告的客户的PV数以及其中的UV数。
至于所述PV数和UV数的具体计算方法，可以采用现有的成熟技术，本文不再赘述。
步骤104、如果所述归类缓存的会话失效，则计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中；将所述失效会话的会话数据从内存中清除。
本步骤中，具体可以是定时判断所述归类缓存的会话是否失效，所述判断所述归类缓存的会话是否失效的具体方法例如可以是：判断当前更新到的时间是否超出该会话所记录失效时间，如果超出则判定该会话失效，否则判定该会话没有失效。
本步骤中，所述计算会话失效效果数据，具体包括：根据该会话失效时的会话数据，计算该会话的总时长，提取该会话所完成的页面访问轨迹信息，生成页面访问路径信息和页面关联信息，以及计算该会话的跳出率等。所述跳出率是指用户访问网络站点并在该网络站点上仅浏览了指定个页面（通常是只浏览了一个页面）就离开的访问次数与所有访问次数的百分比。
在计算完失效效果数据后，本发明还要将所述失效会话的会话数据从内存中清除，从而在计算多维度实时计算的同时，及时释放资源，保证***资源被有效利用到数据构建和数据计算中，为实时计算提供资源保障，提高了实时性。
本发明中，当源数据被切割成会话维度后，由于会话的较短时间结束（相对于天来讲，可以达到分钟级别），以及会话在数据上的完整性，可以完全通过会话来切分大数据实行较多维度的统计计算，减少资源的利用，对所有的页面访问形成一种切分的逻辑。
本发明可以大幅提高访问效果数据更新的实时性，数据更新精度可以达到分钟级别。本发明不依赖大的数据平台，且包涵了效果计算的多个维度的实时计算，例如可以具体包括流量分析，来源分析，访客分析，行为分析四个纬度，虽然计算纬度增多了，但是由于本发明采用的是增量更新计算，每一次更新计算的计算量较小，且及时释放资源，因此可以提高多纬度计算的实时性，同时具有较高的计算速度和效率，从而节省对机器资源的占用，降低机器运算能力要求。本发明可以在保证实时性和机器运算能力支持的情况下，计算结果的纬度比较丰富，***可以及时反映站点的各纬度数据。
在一种优选的实施例中，所述实时获取网络站点的源会话数据之后、将所述源会话数据按照站点和会话标识归类缓存至内存中之前，即在进行数据构建时，还可以进一步包括：按照所述源会话数据的会话时间，对所获取的各源会话数据进行时间同步调整。由于同时监测的网络站点数量众多，各源会话数据的设备来源不同，获取到的各源会话数据可能在时间上不同步：例如，本发明依次获取到了源会话数据a、源会话数据b、以及源会话数据c，但是根据对所述源会话数据中所记录的会话时间分析，源会话数据c中记录的会话时间是最先发生的，然后是源会话数据b记录的会话时间，源会话数据a中记录的会话时间是最晚的，因此，需要所述源会话数据的会话时间，对所获取的各源会话数据进行时间同步调整，调整后的顺序是源会话数据c、源会话数据b、源会话数据a。在本实施例中，所述步骤102将所述源会话数据按照站点和会话标识归类缓存至内存中，具体为：按照所述时间同步调整后时间顺序，将所述源会话数据按照站点和会话标识归类缓存至内存中。这样就保证了后续更新计算时的数据基础的准确性，保证了访问效果数据的精确度。
在另一种优选实施例中，本发明在所述实时获取网络站点的源会话数据之后、将所述源会话数据按照站点和会话标识归类缓存至内存中之前，即在进行数据构建时，还可以进一步包括：获取源会话数据中的用户标识（如用户ID，若没有用户ID的情况下可以是用户的IP地址），通过异步方式从用户画像数据源获取该用户标识对应的用户画像数据，将所述用户画像数据加入到该用户标识所属的源会话数据中。
所述用户画像数据是指按照基础属性来描绘用户的构成比例，从用户画像数据中可以分析出具体用户的基础属性，例如某用户的性别、所在区域、兴趣倾向等属性信息。所述用户画像数据源是指专门的用户画像数据库，其中存储了根据历史数据统计分析得到用户的画像数据。通过本优选实施例的处理，所述源会话数据中就增加了相应的用户画像数据，在归类缓存后，利用这些会话数据计算出的访问效果数据会更加精确和全面。
在本发明的另一种优选实施例中，所述实时获取网络站点的源会话数据之后、将所述源会话数据按照站点和会话标识归类缓存至内存中之前，即在进行数据构建时，还可以进一步包括：将所述源会话数据中的URL按照指定的压缩编码格式进行编码，并编码后的编码数据代替该源会话数据中的对应的URL。这样处理的原因是：通常URL的字符数量较多，占用的存储资源也较多，利用压缩编码格式对URL进行编码后的编码数据的字符数较少，可以节省存储资源，尤其是本发明需要将会话数据缓存在内存中，而内存的存储资源有限，因此这种编码处理可以大幅节约内存资源，提高处理效率。
在本发明的又一种优选实施例中，所述实时获取网络站点的源会话数据之后、将所述源会话数据按照站点和会话标识归类缓存至内存中之前，即在进行数据构建时，进一步包括：判断所述源会话数据中是否有页面访问记录，如果没有则进一步确定指定行为动作的发生次数，如果指定行为动作的发生次数超过预定的阈值，则将该指定行为动作的数据从该源会话数据中删除。这样可以防止黑客的恶意行为动作被纳入访问效果的计算，避免影响访问效果数据的精确度。
另外，在本发明的又一种优选实施例中，在所述步骤103计算所述会话对应的新的访问效果数据时，对于更新速度高于指定速度的维度，例如访问流量分析数据、访客分析数据、访客行为分析数据，其更新速度可以达到分钟级别，因此在计算这些维度的UV数据时，可以具体包括：采用set结构将用户标识分维度存储在指定存储模块（该存储模块可以是本地内存，也可以指定的外部存储设备），利用set结构计算所述维度下用户的UV数。所述set结构是指：保存一组数据并完成数据去重，可以外部获取这组数据唯一个数的一种存储结构。
对于更新速度低于指定速度的维度，例如访问来源分析数据中的浏览器类型和操作***类型，其更新速度通常为天、甚至周的级别，因此在计算这些维度的UV数据时，可以具体包括：通过判断当日的uvset结构中是否含有用户标识来计算该维度下用户的UV数据。所述uvset结构是指：存储UV数据的set结构。
另外，本发明所监测出的访问效果数据可以实时导出到内存型的数据库，并可以进一步将内存数据库中的访问效果数据按照周期更新至外部存储设备，供报表展示；同时可以将关联和路径数据更新至所构建的数据结构中，其频率可根据外部存储数据库的性能来调节更新周期。
下面说明本发明所述网络站点访问效果数据的监测方法的一种具体实施例的流程。该实施例中主要包括三个子流程。图2为所述网络站点访问效果数据的监测方法的一种具体实施例的第一子流程的示意图；图3为所述网络站点访问效果数据的监测方法的一种具体实施例的第二子流程的示意图；图4为所述网络站点访问效果数据的监测方法的一种具体实施例的第三子流程的示意图。在具体实施时，该三个子流程可以并行执行。
参见图2，该第一子流程为源会话数据的处理流程，其中包括：
步骤201、获取源会话数据，扫描得到的数据。
步骤202、根据源会话数据中的会话时间判断是否需要对获取的源会话数据进行同步，如果需要则进行数据同步，即对所获取的源会话数据进行时间同步调整。
步骤203、数据变化与存储，即将源会话数据中的URL按照指定的压缩编码格式进行编码，并编码后的编码数据代替该源会话数据中的对应的URL；然后依照时间顺序，将所述源会话数据按照站点和会话标识归类缓存至内存中。
步骤204、判断当前扫描到的会话数据是否为对应的会话的首个页面，如果是则跳到步骤205；否则跳到步骤206。
步骤205、根据用户标识获取对应的用户画像数据，将所述用户画像数据加入到该用户标识所属的源会话数据中。
通常一个会话对应一个用户画像数据，因此本实施例中在会话的首个页面时获取用户画像数据，在该会话的后续页面则不必再获取用户画像数据。
步骤206、利用上述得到的源会话数据更新对应会话的会话数据。
步骤207、进行更新计算，即计算各维度的增量访问效果数据（如访问流量分析数据、访问来源分析数据、访客分析数据、访客行为分析数据）。
步骤208、将当前最新计算出的增量访问效果数据合并到之前的总访问效果数据中，得到最新的总访问效果数据。返回步骤201，继续处理下一条源会话数据。
参见图3，所述第二子流程为数据清理计算的处理流程，其中包括：
步骤301、该数据清理计算的处理流程是定期执行的流程，因此在初始化时处于睡眠（sleep）状态。
步骤302、在睡眠状态时获取当前时间。
步骤303、判断当前时间是否到达预设的数据清理计算的时间，如果是则跳到步骤304，否则返回步骤301继续睡眠。
步骤304、遍历所监测的每个站点的每个会话。
步骤305、判断当前会话是否失效，如果失效则跳到步骤306，否则遍历下一个会话。
步骤306、计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中。
步骤307、将所述失效会话的会话数据从内存中清除，从而释放内存资源，返回睡眠状态。
参见图4，所述第三子流程为结果入库输出的处理流程，其中包括：
步骤401、该结果入库输出的处理流程是定期执行的流程，因此在初始化时处于睡眠（sleep）状态。
步骤402、在睡眠状态时获取当前时间。
步骤403、判断当前时间是否到达预设的入库输出的时间，如果是则跳到步骤404，否则返回步骤401继续睡眠。
步骤404、遍历所监测的每个站点。
步骤405、将所述站点的最新的总访问效果数据导出到指定的数据库，返回步骤401继续睡眠。
与本发明上述的方法对应，本发明还公开了一种网络站点访问效果数据的监测装置，用于执行上述方法。图5为本发明所述网络站点访问效果数据的监测装置的一种组成示意图。参见图5，该监测装置包括：
数据获取模块501，用于实时获取网络站点的源会话数据。
所述源会话数据按照类型可以分为源访问数据和源行为数据，分别从访问数据源和行为数据源中获得。源会话数据中至少包括站点信息和会话标识信息。其中，所述源访问数据还可以包括诸如：用户标识（ID）、IP地址、cookie信息、会话开始和结束时间、访问页面的URL序列、以及常用互联网协议如HTTP中携带的数据。
所述源行为数据也可以包括诸如：用户ID、IP地址、cookie信息、会话开始和结束时间、访问页面的URL序列等信息，但还需要包括用于记录用户在页面上所发生的动作行为的序列信息。
数据构建模块502，用于将所述源会话数据按照站点和会话标识归类缓存至内存中。
数据计算模块503，用于针对所归类的每一会话，在归类缓存了新的会话数据时，则利用该新的会话数据计算对应的新的访问效果数据，将该新的访问效果数据合并到之前的总访问效果数据中，得到最新的总访问效果数据。
数据清理模块504，用于定时判断所述归类缓存的会话是否失效，如果失效则计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中；将所述失效会话的会话数据从内存中清除。
在一种优选实施例中，所述数据获取模块中进一步包括同步子模块511，用于按照所获取的源会话数据的会话时间，对所获取的各源会话数据进行时间同步调整；且在该实施例中，所述数据构建模块502具体用于：按照所述时间同步调整后时间顺序，将所述源会话数据按照站点和会话标识归类缓存至内存中。
在另一种优选实施例中，所述数据构建模块502进一步用于：在将所述源会话数据按照站点和会话标识归类缓存至内存中之前，获取源会话数据中的用户标识，从用户画像数据源获取该用户标识对应的用户画像数据，将所述用户画像数据加入到该用户标识所属的源会话数据中。
在又一种优选实施例中，所述数据构建模块502进一步用于：在将所述源会话数据按照站点和会话标识归类缓存至内存中之前，将所述源会话数据中的统一资源定位符URL按照指定的压缩编码格式进行编码，并编码后的编码数据代替该源会话数据中的对应的URL。
在又一种优选实施例中，所述数据构建模块502进一步用于：在将所述源会话数据按照站点和会话标识归类缓存至内存中之前，判断所述源会话数据中是否有页面访问记录，如果没有则进一步确定指定行为动作的发生次数，如果指定行为动作的发生次数超过预定的阈值，则将该指定行为动作的数据从该源会话数据中删除。
本发明中的一种优选实施例中，所述访问效果数据具体包括以下四个维度的分析数据中的至少一个：
访问流量分析数据、访问来源分析数据、访客分析数据、访客行为分析数据。所述各维度的分析数据中至少包括：站点页面访问次数（PV）数据以及站点唯一访客（UV）数据。
所述数据计算模块503具体包括：对于更新速度高于指定速度的维度，采用set结构将用户标识分维度存储在指定存储模块，利用set结构计算所述维度下用户的UV数据；对于更新速度低于指定速度的维度，通过判断当日的uvset结构中是否含有用户标识来计算所述维度下用户的UV数据。
本发明还可以进一步包括输出模块505，用于将实时计算出的访问效果数据导出到指定的存储设备中，如导出到内存型数据库中，后续可以访问该数据库生成响应的数据报表。
本发明还可以进一步包括***状态模块506，该模块通过分布在业务处理，错误处理等的各上报节点来收集***运行参数，保存***指定时间周期内的运行参数汇总，用于维护本监测装置500的各个状态指标并输出，使***内部对外可视化。这些状态主要包括***当前使用的session个数，过去一定时间内申请的session个数和释放的session个数，处理请求花费的***时钟，处理的请求数。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述各实施例的功能模块可以位于一个终端或网络节点，或者也可以分布到多个终端或网络节点上。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备（如硬盘和或内存）中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质（如纸带等）、磁存储介质（如软盘、硬盘、闪存等）、光存储介质（如CD-ROM等）、磁光存储介质（如MO等）等。
因此本发明还公开了一种存储介质，其中存储有数据处理程序，该数据处理程序用于执行本发明上述方法的任何一种实施例。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (18)

1.一种网络站点访问效果数据的监测方法，其特征在于，包括：
实时获取网络站点的源会话数据；
将所述源会话数据按照站点和会话标识归类缓存至存储设备中；
针对所归类的每一会话，在归类缓存了新的会话数据时，则利用该新的会话数据计算对应的新的访问效果数据，将该新的访问效果数据合并到之前的总访问效果数据中，得到最新的总访问效果数据；
如果所述归类缓存的会话失效，则计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中；将所述失效会话的会话数据从存储设备中清除。
2.根据权利要求1所述的方法，其特征在于，所述实时获取网络站点的源会话数据之后、将所述源会话数据按照站点和会话标识归类缓存至存储设备中之前，进一步包括：按照所述源会话数据的会话时间，对所获取的各源会话数据进行时间同步调整；
所述将所述源会话数据按照站点和会话标识归类缓存至存储设备中，具体包括：按照所述时间同步调整后时间顺序，将所述源会话数据按照站点和会话标识归类缓存至存储设备中。
3.根据权利要求1所述的方法，其特征在于，所述实时获取网络站点的源会话数据之后、将所述源会话数据按照站点和会话标识归类缓存至存储设备中之前，进一步包括：
获取源会话数据中的用户标识，从用户画像数据源获取该用户标识对应的用户画像数据，将所述用户画像数据加入到该用户标识所属的源会话数据中。
4.根据权利要求1所述的方法，其特征在于，所述实时获取网络站点的源会话数据之后、将所述源会话数据按照站点和会话标识归类缓存至存储设备中之前，进一步包括：
将所述源会话数据中的统一资源定位符URL按照指定的压缩编码格式进行编码，并编码后的编码数据代替该源会话数据中的对应的URL。
5.根据权利要求1所述的方法，其特征在于，所述实时获取网络站点的源会话数据之后、将所述源会话数据按照站点和会话标识归类缓存至存储设备中之前，进一步包括：
判断所述源会话数据中是否有页面访问记录，如果没有则进一步确定指定行为动作的发生次数，如果指定行为动作的发生次数超过预定的阈值，则将该指定行为动作的数据从该源会话数据中删除。
6.根据权利要求1所述的方法，其特征在于，所述访问效果数据具体包括以下四个维度的分析数据中的至少一个：
访问流量分析数据、访问来源分析数据、访客分析数据、访客行为分析数据。
7.根据权利要求6所述的方法，其特征在于，所述各维度的分析数据中至少包括：站点页面访问次数PV数据以及站点唯一访客UV数据。
8.根据权利要求7所述的方法，其特征在于，
对于更新速度高于指定速度的维度，所述计算UV数据时，具体包括：采用set结构将用户标识分维度存储在指定存储模块，利用set结构计算所述维度下用户的UV数据；
对于更新速度低于指定速度的维度，所述计算UV数据时，具体包括：通过判断当日的uvset结构中是否含有用户标识来计算所述维度下用户的UV数据。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述存储设备为内存。
10.一种网络站点访问效果数据的监测装置，其特征在于，包括：
数据获取模块，用于实时获取网络站点的源会话数据；
数据构建模块，用于将所述源会话数据按照站点和会话标识归类缓存至存储设备中；
数据计算模块，用于针对所归类的每一会话，在归类缓存了新的会话数据时，则利用该新的会话数据计算对应的新的访问效果数据，将该新的访问效果数据合并到之前的总访问效果数据中，得到最新的总访问效果数据；
数据清理模块，用于判断所述归类缓存的会话是否失效，如果失效则计算会话失效效果数据，将所述会话失效效果数据合并至所述最新的总访问效果数据中；将所述失效会话的会话数据从存储设备中清除。
11.根据权利要求10所述的装置，其特征在于，
所述数据获取模块中进一步包括同步子模块，用于按照所获取的源会话数据的会话时间，对所获取的各源会话数据进行时间同步调整；
所述数据构建模块具体用于：按照所述时间同步调整后时间顺序，将所述源会话数据按照站点和会话标识归类缓存至存储设备中。
12.根据权利要求10所述的装置，其特征在于，
所述数据构建模块进一步用于：在将所述源会话数据按照站点和会话标识归类缓存至存储设备中之前，获取源会话数据中的用户标识，从用户画像数据源获取该用户标识对应的用户画像数据，将所述用户画像数据加入到该用户标识所属的源会话数据中。
13.根据权利要求10所述的装置，其特征在于，
所述数据构建模块进一步用于：在将所述源会话数据按照站点和会话标识归类缓存至存储设备中之前，将所述源会话数据中的统一资源定位符URL按照指定的压缩编码格式进行编码，并编码后的编码数据代替该源会话数据中的对应的URL。
14.根据权利要求10所述的装置，其特征在于，
所述数据构建模块进一步用于：在将所述源会话数据按照站点和会话标识归类缓存至存储设备中之前，判断所述源会话数据中是否有页面访问记录，如果没有则进一步确定指定行为动作的发生次数，如果指定行为动作的发生次数超过预定的阈值，则将该指定行为动作的数据从该源会话数据中删除。
15.根据权利要求10所述的装置，其特征在于，
所述访问效果数据具体包括以下四个维度的分析数据中的至少一个：
访问流量分析数据、访问来源分析数据、访客分析数据、访客行为分析数据。
16.根据权利要求15所述的装置，其特征在于，所述各维度的分析数据中至少包括：站点页面访问次数PV数据以及站点唯一访客UV数据。
17.根据权利要求16所述的装置，其特征在于，所述数据计算模块具体包括：
对于更新速度高于指定速度的维度，采用set结构将用户标识分维度存储在指定存储模块，利用set结构计算所述维度下用户的UV数据；
对于更新速度低于指定速度的维度，通过判断当日的uvset结构中是否含有用户标识来计算所述维度下用户的UV数据。
18.根据权利要求10至17任一项所述的装置，其特征在于，所述存储设备为内存。
CN201310380434.4A 2013-08-28 2013-08-28 网络站点访问效果数据的监测方法和装置 Active CN104426713B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310380434.4A CN104426713B (zh) 2013-08-28 2013-08-28 网络站点访问效果数据的监测方法和装置
PCT/CN2014/084489 WO2015027829A1 (en) 2013-08-28 2014-08-15 Method and apparatus for monitoring website access data
US14/818,718 US10587707B2 (en) 2013-08-28 2015-08-05 Method and apparatus for monitoring website access data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310380434.4A CN104426713B (zh) 2013-08-28 2013-08-28 网络站点访问效果数据的监测方法和装置

Publications (2)

Publication Number Publication Date
CN104426713A true CN104426713A (zh) 2015-03-18
CN104426713B CN104426713B (zh) 2018-04-17

Family

ID=52585548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310380434.4A Active CN104426713B (zh) 2013-08-28 2013-08-28 网络站点访问效果数据的监测方法和装置

Country Status (3)

Country Link
US (1) US10587707B2 (zh)
CN (1) CN104426713B (zh)
WO (1) WO2015027829A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603567A (zh) * 2016-12-30 2017-04-26 杭州迪普科技股份有限公司 一种web管理员的登录管理方法及装置
CN107402980A (zh) * 2017-07-06 2017-11-28 北京亿赛通网络安全技术有限公司 一种基于网络环境下的大数据的处理方法和***
CN107529190A (zh) * 2016-06-21 2017-12-29 ***通信集团山西有限公司 用户数据获取***和方法
CN109167776A (zh) * 2018-08-28 2019-01-08 杭州迪普科技股份有限公司 提升流量清洗设备的防护规格的方法及相关设备
CN110020364A (zh) * 2017-11-27 2019-07-16 北京京东尚科信息技术有限公司 确定页面访问的流量来源的方法和装置
CN110109814A (zh) * 2019-05-15 2019-08-09 恒生电子股份有限公司 用户行为数据修正方法及装置
CN110825943A (zh) * 2019-10-23 2020-02-21 支付宝(杭州)信息技术有限公司 一种生成用户访问路径树数据的方法、***及设备
CN111125479A (zh) * 2018-10-30 2020-05-08 广州要啦网络有限公司 站点访问的统计方法、装置、计算机设备和存储介质
CN111953636A (zh) * 2019-05-15 2020-11-17 北京数安鑫云信息技术有限公司 内网威胁检测方法、装置、计算机可读存储介质和计算机设备
CN112506926A (zh) * 2020-12-03 2021-03-16 广州华多网络科技有限公司 监控数据存储、查询方法及其相应的装置、设备、介质
CN115695594A (zh) * 2023-01-03 2023-02-03 徐工汉云技术股份有限公司 物联网数据通信方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742758B2 (en) * 2016-03-16 2020-08-11 Nec Corporation Communication analysis device, communication analysis method, and program recording medium
US10832279B2 (en) 2016-08-17 2020-11-10 International Business Machines Corporation Aggregation of unique user invocations in an online environment
CN106202581B (zh) * 2016-08-30 2019-06-14 北京奇艺世纪科技有限公司 一种数据搜索方法及装置
CN108234579A (zh) * 2016-12-22 2018-06-29 北京国双科技有限公司 用户行为数据的处理方法、客户端、服务器及***
CN107612768B (zh) * 2017-08-24 2020-09-25 杭州安恒信息技术股份有限公司 基于Windows本地数据库访问流量采集方法及***
CN109976710B (zh) * 2017-12-27 2022-06-07 航天信息股份有限公司 一种数据处理方法及设备
KR102291557B1 (ko) * 2018-07-03 2021-08-19 네이버 주식회사 사용자 행동 분석 장치 및 사용자 행동 분석 방법
CN113244627B (zh) * 2021-06-24 2021-11-19 腾讯科技（深圳）有限公司 识别外挂的方法、装置、电子设备以及存储介质
CN114050922B (zh) * 2021-11-05 2023-07-21 国网江苏省电力有限公司常州供电分公司 一种基于时空ip地址画像的网络流异常检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087679A1 (en) * 2001-01-04 2002-07-04 Visual Insights Systems and methods for monitoring website activity in real time
CN101079768A (zh) * 2006-05-25 2007-11-28 阿里巴巴公司 一种统计网页链接点击数据的方法
CN101192227A (zh) * 2006-11-30 2008-06-04 阿里巴巴公司 一种基于分布式计算网络的日志文件分析方法和***
US20080222284A1 (en) * 2007-03-06 2008-09-11 Ankur Barua Methods of processing and segmenting web usage information
US20080307044A1 (en) * 2007-06-07 2008-12-11 Bea Systems Inc. System and method for url compression
US7636305B1 (en) * 2005-06-17 2009-12-22 Cisco Technology, Inc. Method and apparatus for monitoring network traffic
CN101799830A (zh) * 2010-03-25 2010-08-11 北京国双科技有限公司 可实现多维度自由剖析的流量数据处理方法
US20100306315A1 (en) * 2004-03-09 2010-12-02 Trilogy Development Group, Inc. Session-Based Processing Method and System
US20120036259A1 (en) * 2007-02-01 2012-02-09 7 Billion People, Inc. Use of Behavioral Portraits in Web Site Analysis
CN103178982A (zh) * 2011-12-23 2013-06-26 阿里巴巴集团控股有限公司 日志分析方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052730A (en) * 1997-01-10 2000-04-18 The Board Of Trustees Of The Leland Stanford Junior University Method for monitoring and/or modifying web browsing sessions
US6317722B1 (en) * 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
GB2346229B (en) * 1999-01-29 2003-04-30 Hewlett Packard Co Website usage monitoring
AU2002230735A1 (en) * 2000-12-11 2002-06-24 Phlair, Inc. System and method for detecting and reporting online activity using real-time content-based network monitoring
US6988145B2 (en) * 2001-01-24 2006-01-17 International Business Machines Corporation Method, system, and program for managing client access to a shared resource
US6963874B2 (en) * 2002-01-09 2005-11-08 Digital River, Inc. Web-site performance analysis system and method utilizing web-site traversal counters and histograms
ATE434786T1 (de) * 2001-09-20 2009-07-15 Hitwise Pty Ltd Verfahren und system zur charakterisierung des online-verhaltens
US7752670B2 (en) * 2004-09-23 2010-07-06 Xiangrong Cai Detecting an attack of a network connection
KR100588001B1 (ko) * 2004-12-13 2006-06-08 한국전자통신연구원 가중치 기반의 패킷 스케줄링 시스템 및 그 방법
US10110687B2 (en) * 2006-10-06 2018-10-23 International Business Machines Corporation Session based web usage reporter
US8352318B2 (en) * 2007-05-29 2013-01-08 Digital River, Inc. Exclusivity in internet marketing campaigns system and method
US8738733B1 (en) * 2007-09-25 2014-05-27 Amazon Technologies, Inc. Dynamic control system for managing redirection of requests for content
US8250473B1 (en) * 2009-02-03 2012-08-21 Amazon Technoloies, Inc. Visualizing object behavior
US8429287B2 (en) * 2009-04-29 2013-04-23 Rangecast Technologies, Llc Network audio distribution system and method
WO2011130839A1 (en) * 2010-04-23 2011-10-27 Jonathan Seliger System and method for internet meta-browser for users with disabilities
US8682714B2 (en) * 2011-05-25 2014-03-25 Adobe Systems Incorporated Location analytics systems and methods
US10339546B2 (en) * 2013-05-13 2019-07-02 Oracle International Corporation Method and system that identify market segments and that facilitate targeted information distribution
US10574766B2 (en) * 2013-06-21 2020-02-25 Comscore, Inc. Clickstream analysis methods and systems related to determining actionable insights relating to a path to purchase
US9934265B2 (en) * 2015-04-09 2018-04-03 Commvault Systems, Inc. Management of log data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087679A1 (en) * 2001-01-04 2002-07-04 Visual Insights Systems and methods for monitoring website activity in real time
US20100306315A1 (en) * 2004-03-09 2010-12-02 Trilogy Development Group, Inc. Session-Based Processing Method and System
US7636305B1 (en) * 2005-06-17 2009-12-22 Cisco Technology, Inc. Method and apparatus for monitoring network traffic
CN101079768A (zh) * 2006-05-25 2007-11-28 阿里巴巴公司 一种统计网页链接点击数据的方法
CN101192227A (zh) * 2006-11-30 2008-06-04 阿里巴巴公司 一种基于分布式计算网络的日志文件分析方法和***
US20120036259A1 (en) * 2007-02-01 2012-02-09 7 Billion People, Inc. Use of Behavioral Portraits in Web Site Analysis
US20080222284A1 (en) * 2007-03-06 2008-09-11 Ankur Barua Methods of processing and segmenting web usage information
US20080307044A1 (en) * 2007-06-07 2008-12-11 Bea Systems Inc. System and method for url compression
CN101799830A (zh) * 2010-03-25 2010-08-11 北京国双科技有限公司 可实现多维度自由剖析的流量数据处理方法
CN103178982A (zh) * 2011-12-23 2013-06-26 阿里巴巴集团控股有限公司 日志分析方法和装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107529190A (zh) * 2016-06-21 2017-12-29 ***通信集团山西有限公司 用户数据获取***和方法
CN106603567A (zh) * 2016-12-30 2017-04-26 杭州迪普科技股份有限公司 一种web管理员的登录管理方法及装置
CN106603567B (zh) * 2016-12-30 2019-09-06 杭州迪普科技股份有限公司 一种web管理员的登录管理方法及装置
CN107402980A (zh) * 2017-07-06 2017-11-28 北京亿赛通网络安全技术有限公司 一种基于网络环境下的大数据的处理方法和***
CN110020364A (zh) * 2017-11-27 2019-07-16 北京京东尚科信息技术有限公司 确定页面访问的流量来源的方法和装置
CN110020364B (zh) * 2017-11-27 2021-11-30 北京京东尚科信息技术有限公司 确定页面访问的流量来源的方法和装置
CN109167776A (zh) * 2018-08-28 2019-01-08 杭州迪普科技股份有限公司 提升流量清洗设备的防护规格的方法及相关设备
CN111125479A (zh) * 2018-10-30 2020-05-08 广州要啦网络有限公司 站点访问的统计方法、装置、计算机设备和存储介质
CN111125479B (zh) * 2018-10-30 2024-04-12 广州要啦网络有限公司 站点访问的统计方法、装置、计算机设备和存储介质
CN111953636A (zh) * 2019-05-15 2020-11-17 北京数安鑫云信息技术有限公司 内网威胁检测方法、装置、计算机可读存储介质和计算机设备
CN110109814A (zh) * 2019-05-15 2019-08-09 恒生电子股份有限公司 用户行为数据修正方法及装置
CN111953636B (zh) * 2019-05-15 2023-01-31 北京数安鑫云信息技术有限公司 内网威胁检测方法、装置、计算机可读存储介质和计算机设备
CN110109814B (zh) * 2019-05-15 2023-07-21 恒生电子股份有限公司 用户行为数据修正方法及装置
CN110825943A (zh) * 2019-10-23 2020-02-21 支付宝(杭州)信息技术有限公司 一种生成用户访问路径树数据的方法、***及设备
CN110825943B (zh) * 2019-10-23 2023-10-10 支付宝(杭州)信息技术有限公司 一种生成用户访问路径树数据的方法、***及设备
CN112506926A (zh) * 2020-12-03 2021-03-16 广州华多网络科技有限公司 监控数据存储、查询方法及其相应的装置、设备、介质
CN115695594A (zh) * 2023-01-03 2023-02-03 徐工汉云技术股份有限公司 物联网数据通信方法和装置
CN115695594B (zh) * 2023-01-03 2023-03-07 徐工汉云技术股份有限公司 物联网数据通信方法和装置

Also Published As

Publication number Publication date
US20150341455A1 (en) 2015-11-26
WO2015027829A1 (en) 2015-03-05
US10587707B2 (en) 2020-03-10
CN104426713B (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN104426713A (zh) 网络站点访问效果数据的监测方法和装置
US10447772B2 (en) Managed function execution for processing data streams in real time
Liu et al. Monitoring and analyzing big traffic data of a large-scale cellular network with Hadoop
CN105824744B (zh) 一种基于b2b平台的实时日志采集分析方法
CN101079768B (zh) 一种统计网页链接点击数据的方法
CN108304410B (zh) 一种异常访问页面的检测方法、装置及数据分析方法
CN106021583B (zh) 页面流量数据的统计方法及其***
US10218599B2 (en) Identifying referral pages based on recorded URL requests
CN103001796A (zh) 服务端处理网络日志数据的方法及装置
CN105677842A (zh) 基于Hadoop大数据处理技术的日志分析***
CN103838867A (zh) 日志处理方法和装置
CN102831114B (zh) 实现互联网用户访问情况统计分析的方法及装置
CN102724059A (zh) 基于MapReduce的网站运行状态监控与异常检测
CN104182506A (zh) 日志管理方法
CN109284435B (zh) 面向互联网的用户交互痕迹捕获、存储和检索***及方法
CN107578263A (zh) 一种广告异常访问的检测方法、装置和电子设备
CN104156300A (zh) 日志管理***和日志管理方法
EP2802979A2 (en) Processing store visiting data
CN103310087A (zh) 业务数据统计分析方法和装置
CN110020273B (zh) 用于生成热力图的方法、装置以及***
CN101188521B (zh) 一种挖掘用户行为数据的方法和网站服务器
CN104636395A (zh) 一种计数处理方法及装置
CN117131059A (zh) 报表数据处理方法、装置、设备及存储介质
CN116680315A (zh) 数据离线处理方法、装置、电子设备及存储介质
CN106897313B (zh) 一种海量用户业务偏好评估方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant