CN102870118A - 用户行为的获取方法、设备及*** - Google Patents

用户行为的获取方法、设备及*** Download PDF

Info

Publication number
CN102870118A
CN102870118A CN2012800009096A CN201280000909A CN102870118A CN 102870118 A CN102870118 A CN 102870118A CN 2012800009096 A CN2012800009096 A CN 2012800009096A CN 201280000909 A CN201280000909 A CN 201280000909A CN 102870118 A CN102870118 A CN 102870118A
Authority
CN
China
Prior art keywords
url
subscriber equipment
user
database
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800009096A
Other languages
English (en)
Other versions
CN102870118B (zh
Inventor
胡玉胜
张晶
张晋兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN102870118A publication Critical patent/CN102870118A/zh
Application granted granted Critical
Publication of CN102870118B publication Critical patent/CN102870118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种用户行为的获取方法、设备及***。本发明实施例通过将获取的URL请求与数据库进行匹配，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL，若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，则可以确定所述URL请求是用户主动发起的，能够使网络转发设备或服务器快速、准确的获取用户主动发起URL请求的行为，以便进行更进一步的用户行为分析。

Description

用户行为的获取方法、设备及***
技术领域
本发明涉及通信技术，尤其涉及一种用户行为的获取方法、设备及***。
背景技术
统一资源定位符(Uniform Resource Locator，URL)也被称为网页地址，是因特网(Internet)上标准的资源的地址。用户设备访问Internet通常是通过超文本传输协议(Hyper Text Transfer Protocol，HTTP)访问URL来实现的。用户设备发起的URL可分为用户主动发起的URL和用户设备自动发起的URL。例如，在基于框架的网页模式下，当用户访问网页时，用户设备发起URL请求，服务器通常会向用户设备下发一个包含URL链接的网页，用户设备解析该网页后，会自动向该服务器或者其它服务器发起该URL链接对应的URL请求。从用户角度来看，用户通过用户设备只发起了一次URL请求，获得了网页的内容。但是从网络转发设备，例如网关、路由器等，和服务器的角度来看，会接收到用户设备发起的多次URL请求，这些URL请求包括用户主动发起的URL和用户设备自动发起的URL。
一般而言，网络转发设备或者服务器通过解析网页可以确定用户设备发起的URL是否为用户设备自动发起的URL，以便获取用户主动发起URL请求的行为，进行更进一步的用户行为分析。
对于网络转发设备或者服务器而言，解析网页需要占用大量计算资源和吞吐量，耗时较长。此外，一些URL链接需执行脚本程序后才能生成，可能会造成部分URL无法获取，导致获取用户主动发起URL请求的行为的结果不准确。
发明内容
本发明实施例提供一种用户行为的获取方法、设备及***，用于快速、准确的获取用户主动发起URL请求的行为。
一方面提供了一种用户行为的获取方法，包括：
获取用户设备发送的URL请求；
若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。
另一方面提供了一种用户行为的获取设备，包括：
获取单元，用于获取用户设备发送的URL请求；
确定单元，用于当所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL时，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。
另一方面提供了一种用户行为的获取***，包括用户设备和上述用户行为的获取设备。
由上述技术方案可知，本发明实施例通过将获取的URL请求与数据库进行匹配，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL，若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，则可以确定所述URL请求是用户主动发起的，能够使网络转发设备或服务器快速、准确的获取用户主动发起URL请求的行为，以便进行更进一步的用户行为分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的用户行为的获取方法的流程示意图；
图2为本发明另一实施例提供的用户行为的获取设备的结构示意图；
图3为本发明另一实施例提供的用户行为的获取设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的用户行为的获取方法、设备及***可应用在使用URL作为网络资源地址的网络中。本发明实施例中，用户主动发起的请求是指用户通过手动方式发起的URL，例如：用户在浏览器的地址栏中输入URL主动发起的URL、用户通过鼠标点击网页中的URL链接主动发起的URL等；用户设备自动发起的URL是指用户设备根据服务器响应返回的网页，直接或者通过运算获得网页中的URL后，无需用户手动干预，自动发起的URL，其中，运算包括程序的执行。
图1为本发明一实施例提供的用户行为的获取方法的流程示意图，如图1所示，本实施例的用户行为的获取方法可以包括：
101、获取用户设备发送的URL请求。
102、若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。
需要说明的是，所述101与102的执行主体可以包括但不限于网络转发设备或服务器。其中，网络转发设备是指在用户设备与服务器之间转发信息的中间设备，例如：网关或路由器等。
可选地，在本实施例的一个可选实施方式中，以网关作为执行主体为例，网关接收到用户设备发送的URL请求后，可以基于深度包检测技术解析该URL请求的报文来获取所述URL请求中包含的URL。
在使用URL的网络中，URL请求可以是用户主动发起的，或者还可以是用户设备自动发起的。
可选地，在本实施例的一个可选实施方式中，在101中，具体可以获取用户设备发送的用户通过在浏览器的地址栏中输入URL主动发起的URL。
可选地，在本实施例的一个可选实施方式中，在101中，具体可以获取用户设备发送的用户通过鼠标点击网页中的URL链接主动发起的URL。
可选地，在本实施例的一个可选实施方式中，在101中，具体可以获取用户设备发送的所述用户设备通过运算得到URL自动发起的URL。其中，通过运算获得网页中的URL，可以是执行网页中的程序来实现。
可选地，在本实施例的一个可选实施方式中，在101中，具体可以获取用户设备发送的所述用户设备通过直接得到URL自动发起的所述URL请求。其中，直接从网页中获得URL，可以通过匹配正则表达式来实现。
可选地，在本实施例的一个可选实施方式中，在102之前，还可以进一步利用网络爬虫技术，对目标网页进行分析，识别出用户主动发起的URL；然后，将识别出的用户主动发起的URL存储到所述数据库中。
可选地，在本实施例的一个可选实施方式中，在102之前，还可以进一步利用网络爬虫技术，对目标网页进行分析，识别出用户设备自动发起的URL；然后，将识别的所述用户设备自动发起的URL存储到所述数据库中；相应地，在101之后，还可以进一步包括：若所述URL请求中包含的URL在数据库中匹配到对应的用户设备自动发起的URL，确定所述URL请求是所述用户设备自动发起的。
可选地，在本实施例的一个可选实施方式中，还可以进一步将识别出的用户主动发起的URL与所述用户设备自动发起的URL的关联关系存储到所述数据库中，从而使得能够根据所述关联关系进行基于网页访问的业务质量评估。
本实施例中，所述网络爬虫技术是一个自动提取网页的程序，它通过指定的域名，从一个或若干目标网页的URL(即种子网页的URL)开始，获得目标网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列。通过每个URL对应的网页的提取行为，可以识别出两类URL：一类是需要用户主动点击才能获取URL对应的网页的URL，另一类为基于框架的网页模式下，直接加载URL对应的网页的URL。具体地，所述网络爬虫的一般行为可以包括如下：
确定一个网页即目标网页的URL作为种子，从种子网页开始，获取种子网页的内容。这时，则识别种子网页的URL为用户主动发起的URL，而为了获取整个种子网页，可能会触发嵌入在框架中的URL，这些URL则识别为用户设备自动发起的URL。分析返回网页上的内容，获取网页上面的URL，识别为新的用户主动访问的URL。重复以上操作，直到没有可继续访问的URL为止。
其中，网络爬虫技术具体可以包括广度优先、深度优先或防止死循环访问等技术，此处不再赘述。
本实施例中，通过将获取的URL请求与数据库进行匹配，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL，若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，则可以确定所述URL请求是用户主动发起的，能够使网络转发设备或服务器快速、准确的获取用户主动发起URL请求的行为，以便进行更进一步的用户行为分析，例如，可以根据用户主动发起的URL，以进行热点链接点击数量分析，再例如，可以对用户主动发起的URL进行记录，以降低用户URL访问日志的存储量。
需要说明的是：对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图2为本发明另一实施例提供的用户行为的获取设备的流程示意图，如图2所示，本实施例的用户行为的获取设备可以包括获取单元21和确定单元22。其中，获取单元21用于获取用户设备发送的URL请求；确定单元22用于当所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL时，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。
在使用URL的网络中，URL请求可以是用户主动发起的，或者还可以是用户设备自动发起的。
可选地，在本实施例的一个可选实施方式中，获取单元21具体可以获取用户设备发送的用户通过在浏览器的地址栏中输入URL主动发起的URL。
可选地，在本实施例的一个可选实施方式中，获取单元21具体可以获取用户设备发送的用户通过鼠标点击网页中的URL链接主动发起的URL。
可选地，在本实施例的一个可选实施方式中，获取单元21具体可以获取用户设备发送的所述用户设备通过运算得到URL自动发起的URL。其中，通过运算获得网页中的URL，可以是执行网页中的程序来实现。
可选地，在本实施例的一个可选实施方式中，获取单元21具体可以获取用户设备发送的所述用户设备通过直接得到URL自动发起的所述URL请求。其中，直接从网页中获得URL，可以通过匹配正则表达式来实现。
可选地，在本实施例的一个可选实施方式中，如图3所示，本实施例提供的用户行为的获取设备还可以进一步包括识别单元31，用于利用网络爬虫技术，对目标网页进行分析，识别出用户设备自动发起的URL，并将识别的所述用户设备自动发起的URL存储到所述数据库中。
可选地，在本实施例的一个可选实施方式中，识别单元31还可以进一步利用网络爬虫技术，对目标网页进行分析，识别出用户设备自动发起的URL，并将识别的所述用户设备自动发起的URL存储到所述数据库中；相应地，确定单元22还可以用于当所述URL请求中包含的URL在数据库中匹配到对应的用户设备自动发起的URL时，确定所述URL请求是所述用户设备自动发起的。
可选地，在本实施例的一个可选实施方式中，识别单元31还可以进一步将识别出的用户主动发起的URL与所述用户设备自动发起的URL的关联关系存储到所述数据库中，从而使得能够根据所述关联关系进行基于网页访问的业务质量评估。
本实施例中，通过确定单元将获取单元获取的URL请求与数据库进行匹配，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL，若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，则可以确定所述URL请求是用户主动发起的，能够使网络转发设备或服务器快速、准确的获取用户主动发起URL请求的行为，以便进行更进一步的用户行为分析。
本发明另一实施例提供了一种用户行为的获取***，包括用户设备和上述图2对应的实施例和图3对应的实施例中任一实施例提供的用户行为的获取设备。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种用户行为的获取方法，其特征在于，包括：
获取用户设备发送的URL请求；
若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用网络爬虫技术，对目标网页进行分析，识别出用户主动发起的URL；
将识别出的用户主动发起的URL存储到所述数据库中。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用网络爬虫技术，对目标网页进行分析，识别出用户设备自动发起的URL；
将识别的所述用户设备自动发起的URL存储到所述数据库中。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
将识别出的用户主动发起的URL与所述用户设备自动发起的URL的关联关系存储到所述数据库中。
5.根据权利要求1～4任一权利要求所述的方法，其特征在于，所述获取用户设备发送的URL请求之后，还包括：
若所述URL请求中包含的URL在数据库中匹配到对应的用户设备自动发起的URL，确定所述URL请求是所述用户设备自动发起的。
6.根据权利要求1～5任一权利要求所述的方法，其特征在于，所述获取用户设备发送的URL请求，包括：
获取用户设备发送的用户通过在浏览器的地址栏中输入URL主动发起的URL；或者
获取用户设备发送的用户通过鼠标点击网页中的URL链接主动发起的URL；或者
获取用户设备发送的所述用户设备通过运算得到URL自动发起的URL；或者
获取用户设备发送的所述用户设备通过直接得到URL自动发起的所述URL请求。
7.一种用户行为的获取设备，其特征在于，包括：
获取单元，用于获取用户设备发送的URL请求；
确定单元，用于当所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL时，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。
8.根据权利要求7所述的设备，其特征在于，所述设备还包括识别单元，用于
利用网络爬虫技术，对目标网页进行分析，识别出用户主动发起的URL，并将识别出的用户主动发起的URL存储到所述数据库中。
9.根据权利要求8所述的设备，其特征在于，所述识别单元还用于
利用网络爬虫技术，对目标网页进行分析，识别出用户设备自动发起的URL，并将识别的所述用户设备自动发起的URL存储到所述数据库中。
10.根据权利要求9所述的设备，其特征在于，所述识别单元还用于
将识别出的用户主动发起的URL与所述用户设备自动发起的URL的关联关系存储到所述数据库中。
11.根据权利要求7～10任一权利要求所述的设备，其特征在于，所述确定单元还用于
当所述URL请求中包含的URL在数据库中匹配到对应的用户设备自动发起的URL时，确定所述URL请求是所述用户设备自动发起的。
12.根据权利要求7～11任一权利要求所述的设备，其特征在于，所述获取单元具体用于
获取用户设备发送的用户通过在浏览器的地址栏中输入URL主动发起的URL；或者
获取用户设备发送的用户通过鼠标点击网页中的URL链接主动发起的URL；或者
获取用户设备发送的所述用户设备通过运算得到URL自动发起的URL；或者
获取用户设备发送的所述用户设备通过直接得到URL自动发起的所述URL请求。
13.一种用户行为的获取***，其特征在于，包括用户设备和如权利要求7～12任一权利要求所述的用户行为的获取设备。
CN201280000909.6A 2012-06-30 2012-06-30 用户行为的获取方法、设备及*** Active CN102870118B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/077984 WO2014000293A1 (zh) 2012-06-30 2012-06-30 用户行为的获取方法、设备及***

Publications (2)

Publication Number Publication Date
CN102870118A true CN102870118A (zh) 2013-01-09
CN102870118B CN102870118B (zh) 2017-04-26

Family

ID=47447748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280000909.6A Active CN102870118B (zh) 2012-06-30 2012-06-30 用户行为的获取方法、设备及***

Country Status (5)

Country Link
US (1) US20150120692A1 (zh)
EP (1) EP2857987A4 (zh)
JP (1) JP6103325B2 (zh)
CN (1) CN102870118B (zh)
WO (1) WO2014000293A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152387A (zh) * 2013-01-30 2013-06-12 中兴通讯股份有限公司 一种获取http用户行为轨迹的装置与方法
WO2014000293A1 (zh) * 2012-06-30 2014-01-03 华为技术有限公司 用户行为的获取方法、设备及***
CN105205134A (zh) * 2015-09-15 2015-12-30 深信服网络科技（深圳）有限公司 识别用户点击访问网站行为的方法及装置
CN106612241A (zh) * 2015-10-27 2017-05-03 ***通信集团浙江有限公司 一种业务控制方法及装置
CN103825772B (zh) * 2012-11-16 2017-06-06 华为技术有限公司 识别用户点击行为的方法及网关设备
CN107526748A (zh) * 2016-06-22 2017-12-29 华为技术有限公司 一种识别用户点击行为的方法和设备
CN108280117A (zh) * 2017-11-22 2018-07-13 广州市动景计算机科技有限公司 画像元数据获得方法、装置、存储介质及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446113A (zh) * 2016-09-18 2017-02-22 成都九鼎瑞信科技股份有限公司 移动大数据解析方法及装置
CN107066510B (zh) * 2017-01-22 2021-12-03 南方科技大学 一种信息处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902438A (zh) * 2009-05-25 2010-12-01 北京启明星辰信息技术股份有限公司 一种自动识别网页爬虫的方法和装置
CN102299918A (zh) * 2011-07-08 2011-12-28 盛大计算机（上海）有限公司 一种网络交易安全***及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290741A (ja) * 2000-04-10 2001-10-19 Kikakuya:Kk ネットワークシステム
GB0025299D0 (en) * 2000-10-13 2000-11-29 Ibm Request tracking for analysis of website navigation
JP4396242B2 (ja) * 2003-11-28 2010-01-13 富士ゼロックス株式会社 文書リンク構造情報作成装置及び方法
JP2007128119A (ja) * 2004-12-17 2007-05-24 Pcsafe Inc Ｕｒｌ、ウェブページおよびコンテンツをフィルタ処理する方法およびシステム
US7631007B2 (en) * 2005-04-12 2009-12-08 Scenera Technologies, Llc System and method for tracking user activity related to network resources using a browser
US8020206B2 (en) * 2006-07-10 2011-09-13 Websense, Inc. System and method of analyzing web content
US8615800B2 (en) * 2006-07-10 2013-12-24 Websense, Inc. System and method for analyzing web content
US20080177746A1 (en) * 2007-01-23 2008-07-24 Marat Borin Cash back tracker / browser redirecting system
JP4868245B2 (ja) * 2007-08-17 2012-02-01 ヤフー株式会社 検索システム、検索装置、および検索方法
CN101504671B (zh) * 2009-03-05 2012-10-03 阿里巴巴集团控股有限公司 用户访问网页行为的可视化处理方法、装置及***
CN101937439B (zh) * 2009-06-30 2013-02-20 国际商业机器公司 用于收集用户访问相关信息的方法和***
US20110191664A1 (en) * 2010-02-04 2011-08-04 At&T Intellectual Property I, L.P. Systems for and methods for detecting url web tracking and consumer opt-out cookies
JP5442541B2 (ja) * 2010-06-21 2014-03-12 日本電信電話株式会社 Ｗｅｂ情報取得方法および装置
CN102870118B (zh) * 2012-06-30 2017-04-26 华为技术有限公司 用户行为的获取方法、设备及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902438A (zh) * 2009-05-25 2010-12-01 北京启明星辰信息技术股份有限公司 一种自动识别网页爬虫的方法和装置
CN102299918A (zh) * 2011-07-08 2011-12-28 盛大计算机（上海）有限公司 一种网络交易安全***及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014000293A1 (zh) * 2012-06-30 2014-01-03 华为技术有限公司 用户行为的获取方法、设备及***
CN103825772B (zh) * 2012-11-16 2017-06-06 华为技术有限公司 识别用户点击行为的方法及网关设备
CN103152387A (zh) * 2013-01-30 2013-06-12 中兴通讯股份有限公司 一种获取http用户行为轨迹的装置与方法
CN103152387B (zh) * 2013-01-30 2016-01-20 中兴通讯股份有限公司 一种获取http用户行为轨迹的装置与方法
CN105205134A (zh) * 2015-09-15 2015-12-30 深信服网络科技（深圳）有限公司 识别用户点击访问网站行为的方法及装置
CN105205134B (zh) * 2015-09-15 2019-04-05 深信服网络科技（深圳）有限公司 识别用户点击访问网站行为的方法及装置
CN106612241A (zh) * 2015-10-27 2017-05-03 ***通信集团浙江有限公司 一种业务控制方法及装置
CN107526748A (zh) * 2016-06-22 2017-12-29 华为技术有限公司 一种识别用户点击行为的方法和设备
CN108280117A (zh) * 2017-11-22 2018-07-13 广州市动景计算机科技有限公司 画像元数据获得方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20150120692A1 (en) 2015-04-30
EP2857987A1 (en) 2015-04-08
WO2014000293A1 (zh) 2014-01-03
EP2857987A4 (en) 2015-04-15
JP2015528158A (ja) 2015-09-24
JP6103325B2 (ja) 2017-03-29
CN102870118B (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN102870118A (zh) 用户行为的获取方法、设备及***
CN107895009B (zh) 一种基于分布式的互联网数据采集方法及***
Malavolta et al. Assessing the impact of service workers on the energy efficiency of progressive web apps
CN104766014B (zh) 用于检测恶意网址的方法和***
JP5990605B2 (ja) Ａｊａｘウェブページコンテンツを取得する方法およびシステム
CN102272757B (zh) 用于执行客户端浏览器状态的服务器端记录的方法和***
US11860717B1 (en) Graphical user interface for presenting crash data
US8751184B2 (en) Transaction based workload modeling for effective performance test strategies
CN104408204A (zh) 网页页面链接地址的获取方法和装置
CN103678321A (zh) 页面元素确定方法及设备、用户行为路径确定方法及装置
CN111177519B (zh) 网页内容获取方法、装置、存储介质及设备
CN109799985B (zh) 前端代码生成方法及装置、存储介质及电子设备
CN106599270B (zh) 网络数据抓取方法和爬虫
CN106598991A (zh) 一种使用会话方式实现与网站交互表单自动提取的网络爬虫***
CN114528457A (zh) Web指纹检测方法及相关设备
CN103488675A (zh) 一种多网页新闻评论内容自动精确提取装置
CN105975599B (zh) 一种监测网站的页面埋点的方法和装置
CN104317884A (zh) 网站来源页面类型的获取方法和装置
US10289613B2 (en) Element identifier generation
CN104407979B (zh) 脚本检测方法和装置
CN111435326A (zh) 一种分析崩溃日志的方法和装置
Nabuco et al. Inferring user interface patterns from execution traces of web applications
CN104239452A (zh) 资源获取方法及装置
CN106126538A (zh) 页面的转化处理方法及装置
CN109598531A (zh) 一种监测代码的生成方法及验证方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant