CN106790105A - 基于业务数据的爬虫识别拦截方法及*** - Google Patents

基于业务数据的爬虫识别拦截方法及*** Download PDF

Info

Publication number
CN106790105A
CN106790105A CN201611218405.8A CN201611218405A CN106790105A CN 106790105 A CN106790105 A CN 106790105A CN 201611218405 A CN201611218405 A CN 201611218405A CN 106790105 A CN106790105 A CN 106790105A
Authority
CN
China
Prior art keywords
reptile
data
address
business datum
suspicious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611218405.8A
Other languages
English (en)
Other versions
CN106790105B (zh
Inventor
闵杰
王润辉
凌云
任华炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Network Technology Shanghai Co Ltd
Original Assignee
Ctrip Travel Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Network Technology Shanghai Co Ltd filed Critical Ctrip Travel Network Technology Shanghai Co Ltd
Priority to CN201611218405.8A priority Critical patent/CN106790105B/zh
Publication of CN106790105A publication Critical patent/CN106790105A/zh
Application granted granted Critical
Publication of CN106790105B publication Critical patent/CN106790105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于业务数据的爬虫识别拦截方法及***，基于业务数据的爬虫识别拦截方法包括：S1、实时获取全网站的业务数据；S2、从业务数据中获取可疑的爬虫数据；S3、建立IP白名单信息库，IP白名单信息库中记录有允许访问网站的有效IP地址；S4、判断可疑的爬虫数据的IP地址是否位于IP白名单信息库中，若否，执行S5；S5、将可疑的爬虫数据的IP地址发送至反爬虫数据库；S6、反爬虫数据库同步接收到的可疑的爬虫数据的IP地址；S7、判断线上访问爬虫的IP地址是否位于反爬虫数据库中，若是，对线上访问爬虫的IP地址进行拦截。本发明可以实时拦截爬虫IP，降低业务上被爬虫窃取公司商业定价体系的可能。

Description

基于业务数据的爬虫识别拦截方法及***
技术领域
本发明涉及一种信息安全技术领域，特别是涉及一种基于业务数据的爬虫识别拦截方法及***。
背景技术
随着互联网旅游的不断发展，行业竞争不可避免，在这里，各家电子旅行平台的价格成为每个竞争对手都想知道的重要数据，现有技术通常是通过传入数据报文内的cookies(网站数据)，referer(网站数据)，sessions(网站数据)，以及探测IP(网络之间互连的协议)端口开放性来确认对方的爬虫属性，并且目前有些在线旅游网站将数字价格用图片以及随机数字代替，但是在现在数字科技越来越发达的今天，这样还是阻挡不了高仿真的爬虫在不停获取网站的核心价格数据。
发明内容
本发明要解决的技术问题是为了克服现有技术中无法阻挡高仿真的爬虫不停获取在线旅游网站的核心价格数据的缺陷，提供一种基于业务数据的爬虫识别拦截方法及***。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供了一种基于业务数据的爬虫识别拦截方法，其特点在于，包括以下步骤：
S1、实时获取全网站的业务数据；
S2、从业务数据中获取可疑的爬虫数据；
S3、建立IP白名单信息库，所述IP白名单信息库中记录有允许访问网站的有效IP地址；
S4、判断可疑的爬虫数据的IP地址是否位于所述IP白名单信息库中，若判断为否，则执行步骤S5；
S5、将可疑的爬虫数据的IP地址发送至反爬虫数据库；
S6、所述反爬虫数据库同步接收到的可疑的爬虫数据的IP地址；
S7、判断线上访问爬虫的IP地址是否位于所述反爬虫数据库中，若判断为是，则对线上访问爬虫的IP地址进行拦截。
较佳地，步骤S2中通过对爬虫数据在登录信息、注册频度信息、IP地址信息、设备信息、访问URL(统一资源定位符)信息进行聚合，判断出可疑的爬虫数据的风险等级；
步骤S7中还根据可疑的爬虫数据的风险等级进行发送验证码或禁止访问的操作。
较佳地，步骤S7之后还包括：
S8、记录并反馈爬虫拦截情况日志。
较佳地，步骤S5中通过Kafka(一种高吞吐量的分布式发布订阅消息***)发送可疑的爬虫数据，发送频率为每分钟一次。
较佳地，步骤S6中所述反爬虫数据库的同步频率为每分钟一次。
本发明的目的在于还提供了一种基于业务数据的爬虫识别拦截***，其特点在于，包括：
业务数据获取模块，用于实时获取全网站的业务数据；
爬虫数据获取模块，用于从业务数据中获取可疑的爬虫数据；
信息库建立模块，用于建立IP白名单信息库，所述IP白名单信息库中记录有允许访问网站的有效IP地址；
第一判断模块，用于判断可疑的爬虫数据的IP地址是否位于所述IP白名单信息库中，若判断为否，则将可疑的爬虫数据的IP地址发送至反爬虫数据库；
所述反爬虫数据库用于同步接收到的可疑的爬虫数据的IP地址；
爬虫拦截模块，用于判断线上访问爬虫的IP地址是否位于所述反爬虫数据库中，若判断为是，则对线上访问爬虫的IP地址进行拦截。
较佳地，所述爬虫数据获取模块用于通过对爬虫数据在登录信息、注册频度信息、IP地址信息、设备信息、访问URL信息进行聚合，判断出可疑的爬虫数据的风险等级；
所述爬虫拦截模块用于根据可疑的爬虫数据的风险等级进行发送验证码或禁止访问的操作。
较佳地，所述爬虫识别拦截***还包括：
日志记录模块，用于记录并反馈爬虫拦截情况日志。
较佳地，所述第一判断模块用于在判断为否时，通过Kafka发送可疑的爬虫数据，发送频率为每分钟一次。
较佳地，所述反爬虫数据库的同步频率为每分钟一次。
本发明的积极进步效果在于：本发明以业务大数据为核心，实时监控业务上爬虫的情况，并根据业务数据，判断每个请求IP的爬虫风险等级，准实时的推送到应用防火墙内，尽可能实时拦截爬虫IP，降低业务上被爬虫窃取公司商业定价体系的可能。
附图说明
图1为本发明的较佳实施例的基于业务数据的爬虫识别拦截方法的流程图。
图2为本发明的较佳实施例的基于业务数据的爬虫识别拦截***的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图1所示，本发明的基于业务数据的爬虫识别拦截方法包括以下步骤：
步骤101、实时获取全网站的业务数据；
其中，具体的业务数据可以包括登录数据、注册数据等，具体可以通过在网站的前端页面数据埋点，获取相关业务数据，然后进行结构化数据清洗，提取相关字段；
步骤102、从业务数据中获取可疑的爬虫数据，并且通过对爬虫数据在登录信息、注册频度信息、IP地址信息、设备信息、访问URL信息进行聚合，判断出可疑的爬虫数据的风险等级
步骤103、建立IP白名单信息库，所述IP白名单信息库中记录有允许访问网站的有效IP地址；
步骤104、判断可疑的爬虫数据的IP地址是否位于所述IP白名单信息库中，若是，则结束流程，若否，则执行步骤105；
步骤105、将可疑的爬虫数据的IP地址发送至反爬虫数据库；
步骤105中具体可通过Kafka发送可疑的爬虫数据，发送频率优选地为每分钟一次。
步骤106、所述反爬虫数据库同步接收到的可疑的爬虫数据的IP地址；
其中，优选地，所述反爬虫数据库的同步频率为每分钟一次，除了IP地址之外，还可以包括有效位、有效时间、风险等级等。
步骤107、判断线上访问爬虫的IP地址是否位于所述反爬虫数据库中，若判断为是，则对线上访问爬虫的IP地址进行拦截，并且根据可疑的爬虫数据的风险等级进行发送验证码或禁止访问的操作；若判断为否，则结束流程。
其中，步骤107中具体可以将线上访问爬虫的IP地址置入应用层拦截服务，进行IP地址的正式拦截，拦截操作可以每分钟执行一次。
步骤108、记录并反馈爬虫拦截情况日志，以便事后分析观察。
本发明的基于业务数据的爬虫识别拦截方法通过上述的实施步骤，可以实现：
本发明运用业务数据来确定爬虫行为，避免了通过请求的一些简单数据特征去甄别，这样的识别率相较于传统的教科书里的爬虫方案大大提高，且由于这个方案通过业务数据识别，外部教材基本没有提到，传统反爬方案无法做到。
并且，本发明运用大数据来计算每天以及7天内的全部数据来追溯确定一些低频爬虫行为，让低频爬虫无所遁形，原本业界的方案是通过每次的日志行为记录来单点判断，相比之下，本发明的这个方案极大的提高了爬虫覆盖面；
由于采用了大数据追溯记录，可以有效的给予IP分爬虫等级，而非以前的非黑即白，可以有效地分出多种不同的处理策略，更加人性化。
本发明还提供了一种基于业务数据的爬虫识别拦截***，如图2所示，包括业务数据获取模块1、爬虫数据获取模块2、信息库建立模块3、第一判断模块4、反爬虫数据库5、爬虫拦截模块6以及日志记录模块7；
其中，所述业务数据获取模块1用于实时获取全网站的业务数据；
所述爬虫数据获取模块2用于从业务数据中获取可疑的爬虫数据；并通过对爬虫数据在登录信息、注册频度信息、IP地址信息、设备信息、访问URL信息进行聚合，判断出可疑的爬虫数据的风险等级；
所述信息库建立模块3用于建立IP白名单信息库，所述IP白名单信息库中记录有允许访问网站的有效IP地址；
所述第一判断模块4用于判断可疑的爬虫数据的IP地址是否位于所述IP白名单信息库中，若判断为否，则将可疑的爬虫数据的IP地址发送至反爬虫数据库5；具体可通过Kafka发送可疑的爬虫数据，发送频率为每分钟一次。
所述反爬虫数据库5用于同步接收到的可疑的爬虫数据的IP地址；具体的同步频率可以为每分钟一次。
所述爬虫拦截模块6用于判断线上访问爬虫的IP地址是否位于所述反爬虫数据库中，若判断为是，则对线上访问爬虫的IP地址进行拦截，并根据可疑的爬虫数据的风险等级进行发送验证码或禁止访问的操作；
所述日志记录模块则用于记录并反馈爬虫拦截情况日志，以便事后分析观察。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种基于业务数据的爬虫识别拦截方法，其特征在于，包括以下步骤：
S1、实时获取全网站的业务数据；
S2、从业务数据中获取可疑的爬虫数据；
S3、建立IP白名单信息库，所述IP白名单信息库中记录有允许访问网站的有效IP地址；
S4、判断可疑的爬虫数据的IP地址是否位于所述IP白名单信息库中，若判断为否，则执行步骤S5；
S5、将可疑的爬虫数据的IP地址发送至反爬虫数据库；
S6、所述反爬虫数据库同步接收到的可疑的爬虫数据的IP地址；
S7、判断线上访问爬虫的IP地址是否位于所述反爬虫数据库中，若判断为是，则对线上访问爬虫的IP地址进行拦截。
2.如权利要求1所述的基于业务数据的爬虫识别拦截方法，其特征在于，步骤S2中通过对爬虫数据在登录信息、注册频度信息、IP地址信息、设备信息、访问URL信息进行聚合，判断出可疑的爬虫数据的风险等级；
步骤S7中还根据可疑的爬虫数据的风险等级进行发送验证码或禁止访问的操作。
3.如权利要求1所述的基于业务数据的爬虫识别拦截方法，其特征在于，步骤S7之后还包括：
S8、记录并反馈爬虫拦截情况日志。
4.如权利要求1所述的基于业务数据的爬虫识别拦截方法，其特征在于，步骤S5中通过Kafka发送可疑的爬虫数据，发送频率为每分钟一次。
5.如权利要求4所述的基于业务数据的爬虫识别拦截方法，其特征在于，步骤S6中所述反爬虫数据库的同步频率为每分钟一次。
6.一种基于业务数据的爬虫识别拦截***，其特征在于，包括：
业务数据获取模块，用于实时获取全网站的业务数据；
爬虫数据获取模块，用于从业务数据中获取可疑的爬虫数据；
信息库建立模块，用于建立IP白名单信息库，所述IP白名单信息库中记录有允许访问网站的有效IP地址；
第一判断模块，用于判断可疑的爬虫数据的IP地址是否位于所述IP白名单信息库中，若判断为否，则将可疑的爬虫数据的IP地址发送至反爬虫数据库；
所述反爬虫数据库用于同步接收到的可疑的爬虫数据的IP地址；
爬虫拦截模块，用于判断线上访问爬虫的IP地址是否位于所述反爬虫数据库中，若判断为是，则对线上访问爬虫的IP地址进行拦截。
7.如权利要求6所述的基于业务数据的爬虫识别拦截***，其特征在于，所述爬虫数据获取模块用于通过对爬虫数据在登录信息、注册频度信息、IP地址信息、设备信息、访问URL信息进行聚合，判断出可疑的爬虫数据的风险等级；
所述爬虫拦截模块用于根据可疑的爬虫数据的风险等级进行发送验证码或禁止访问的操作。
8.如权利要求6所述的基于业务数据的爬虫识别拦截***，其特征在于，所述爬虫识别拦截***还包括：
日志记录模块，用于记录并反馈爬虫拦截情况日志。
9.如权利要求6所述的基于业务数据的爬虫识别拦截***，其特征在于，所述第一判断模块用于在判断为否时，通过Kafka发送可疑的爬虫数据，发送频率为每分钟一次。
10.如权利要求9所述的基于业务数据的爬虫识别拦截***，其特征在于，所述反爬虫数据库的同步频率为每分钟一次。
CN201611218405.8A 2016-12-26 2016-12-26 基于业务数据的爬虫识别拦截方法及*** Active CN106790105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611218405.8A CN106790105B (zh) 2016-12-26 2016-12-26 基于业务数据的爬虫识别拦截方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611218405.8A CN106790105B (zh) 2016-12-26 2016-12-26 基于业务数据的爬虫识别拦截方法及***

Publications (2)

Publication Number Publication Date
CN106790105A true CN106790105A (zh) 2017-05-31
CN106790105B CN106790105B (zh) 2020-08-21

Family

ID=58926130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611218405.8A Active CN106790105B (zh) 2016-12-26 2016-12-26 基于业务数据的爬虫识别拦截方法及***

Country Status (1)

Country Link
CN (1) CN106790105B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526833A (zh) * 2017-09-05 2017-12-29 广东科杰通信息科技有限公司 一种url管理方法、***
CN107679897A (zh) * 2017-09-25 2018-02-09 北京京东尚科信息技术有限公司 一种安全风险控制方法和装置
CN107943949A (zh) * 2017-11-24 2018-04-20 厦门集微科技有限公司 一种确定网络爬虫的方法及服务器
CN108200068A (zh) * 2018-01-08 2018-06-22 平安科技（深圳）有限公司 端口监控方法、装置、计算机设备及存储介质
CN109241733A (zh) * 2018-08-07 2019-01-18 北京神州绿盟信息安全科技股份有限公司 基于Web访问日志的爬虫行为识别方法及装置
CN109561086A (zh) * 2018-11-28 2019-04-02 四川长虹电器股份有限公司 一种利用人类行为学进行反爬虫的方法
CN109862018A (zh) * 2019-02-21 2019-06-07 中国工商银行股份有限公司 基于用户访问行为的反爬虫方法及***
CN111064745A (zh) * 2019-12-30 2020-04-24 厦门市美亚柏科信息股份有限公司 一种基于异常行为探测的自适应反爬方法和***
CN111428108A (zh) * 2020-03-25 2020-07-17 山东浪潮通软信息科技有限公司 一种基于深度学习的反爬虫方法、装置和介质
CN111953813A (zh) * 2020-08-24 2020-11-17 携程计算机技术（上海）有限公司 Ip地址的识别方法、***、电子设备及存储介质
CN112383545A (zh) * 2020-11-13 2021-02-19 西安热工研究院有限公司 适用电力scada***的反爬虫***、装置及部署方法
CN114036364A (zh) * 2021-11-08 2022-02-11 北京百度网讯科技有限公司 用于识别爬虫的方法、装置、设备、介质和产品
CN114760121A (zh) * 2022-03-31 2022-07-15 腾讯科技（深圳）有限公司 访问频率控制的方法和访问频率控制***
CN115102781A (zh) * 2022-07-14 2022-09-23 中国电信股份有限公司 网络攻击处理方法、装置、电子设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112804269B (zh) * 2021-04-14 2021-07-06 中建电子商务有限责任公司 一种实现网站接口反爬虫的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477576A (zh) * 2009-01-20 2009-07-08 华为技术有限公司 为搜索引擎提供网络素材的方法、设备和***
US20110191664A1 (en) * 2010-02-04 2011-08-04 At&T Intellectual Property I, L.P. Systems for and methods for detecting url web tracking and consumer opt-out cookies
CN103067387A (zh) * 2012-12-27 2013-04-24 中国建设银行股份有限公司 一种反钓鱼监测***和方法
CN103902889A (zh) * 2012-12-26 2014-07-02 腾讯科技（深圳）有限公司 一种恶意消息云检测方法和服务器
CN105187396A (zh) * 2015-08-11 2015-12-23 小米科技有限责任公司 识别网络爬虫的方法及装置
CN105323206A (zh) * 2014-06-04 2016-02-10 同程网络科技股份有限公司 Ip防御方法
CN105653527A (zh) * 2014-11-11 2016-06-08 江苏威盾网络科技有限公司 一种基于网络爬虫技术的舆情处置及信息投放方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477576A (zh) * 2009-01-20 2009-07-08 华为技术有限公司 为搜索引擎提供网络素材的方法、设备和***
US20110191664A1 (en) * 2010-02-04 2011-08-04 At&T Intellectual Property I, L.P. Systems for and methods for detecting url web tracking and consumer opt-out cookies
CN103902889A (zh) * 2012-12-26 2014-07-02 腾讯科技（深圳）有限公司 一种恶意消息云检测方法和服务器
CN103067387A (zh) * 2012-12-27 2013-04-24 中国建设银行股份有限公司 一种反钓鱼监测***和方法
CN105323206A (zh) * 2014-06-04 2016-02-10 同程网络科技股份有限公司 Ip防御方法
CN105653527A (zh) * 2014-11-11 2016-06-08 江苏威盾网络科技有限公司 一种基于网络爬虫技术的舆情处置及信息投放方法
CN105187396A (zh) * 2015-08-11 2015-12-23 小米科技有限责任公司 识别网络爬虫的方法及装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526833A (zh) * 2017-09-05 2017-12-29 广东科杰通信息科技有限公司 一种url管理方法、***
CN107526833B (zh) * 2017-09-05 2020-03-24 广东科杰通信息科技有限公司 一种url管理方法、***
CN107679897A (zh) * 2017-09-25 2018-02-09 北京京东尚科信息技术有限公司 一种安全风险控制方法和装置
CN107943949B (zh) * 2017-11-24 2020-06-26 厦门集微科技有限公司 一种确定网络爬虫的方法及服务器
CN107943949A (zh) * 2017-11-24 2018-04-20 厦门集微科技有限公司 一种确定网络爬虫的方法及服务器
CN108200068A (zh) * 2018-01-08 2018-06-22 平安科技（深圳）有限公司 端口监控方法、装置、计算机设备及存储介质
CN108200068B (zh) * 2018-01-08 2020-07-14 平安科技（深圳）有限公司 端口监控方法、装置、计算机设备及存储介质
CN109241733A (zh) * 2018-08-07 2019-01-18 北京神州绿盟信息安全科技股份有限公司 基于Web访问日志的爬虫行为识别方法及装置
CN109561086A (zh) * 2018-11-28 2019-04-02 四川长虹电器股份有限公司 一种利用人类行为学进行反爬虫的方法
CN109862018A (zh) * 2019-02-21 2019-06-07 中国工商银行股份有限公司 基于用户访问行为的反爬虫方法及***
CN111064745A (zh) * 2019-12-30 2020-04-24 厦门市美亚柏科信息股份有限公司 一种基于异常行为探测的自适应反爬方法和***
CN111064745B (zh) * 2019-12-30 2022-06-03 厦门市美亚柏科信息股份有限公司 一种基于异常行为探测的自适应反爬方法和***
CN111428108A (zh) * 2020-03-25 2020-07-17 山东浪潮通软信息科技有限公司 一种基于深度学习的反爬虫方法、装置和介质
CN111953813A (zh) * 2020-08-24 2020-11-17 携程计算机技术（上海）有限公司 Ip地址的识别方法、***、电子设备及存储介质
CN112383545A (zh) * 2020-11-13 2021-02-19 西安热工研究院有限公司 适用电力scada***的反爬虫***、装置及部署方法
CN112383545B (zh) * 2020-11-13 2023-07-28 西安热工研究院有限公司 适用电力scada***的反爬虫***、装置及部署方法
CN114036364A (zh) * 2021-11-08 2022-02-11 北京百度网讯科技有限公司 用于识别爬虫的方法、装置、设备、介质和产品
CN114036364B (zh) * 2021-11-08 2022-10-21 北京百度网讯科技有限公司 用于识别爬虫的方法、装置、设备、介质和***
CN114760121A (zh) * 2022-03-31 2022-07-15 腾讯科技（深圳）有限公司 访问频率控制的方法和访问频率控制***
CN115102781A (zh) * 2022-07-14 2022-09-23 中国电信股份有限公司 网络攻击处理方法、装置、电子设备和介质
CN115102781B (zh) * 2022-07-14 2024-01-09 中国电信股份有限公司 网络攻击处理方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN106790105B (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
CN106790105A (zh) 基于业务数据的爬虫识别拦截方法及***
CN113098870B (zh) 一种网络诈骗检测方法、装置、电子设备及存储介质
CN106790023B (zh) 网络安全联合防御方法和装置
CN112667717B (zh) 变电站巡检信息处理方法、装置、计算机设备和存储介质
DE112015001416B4 (de) Erkennung einer unberechtigten drahtlosen Kommunikationsvorrichtung
CN103929440B (zh) 基于web服务器缓存匹配的网页防篡改装置及其方法
CN109660556B (zh) 基于信息安全的用户登陆方法、装置、设备和存储介质
CN107733851A (zh) 基于通信行为分析的dns隧道木马检测方法
CN105959335B (zh) 一种网络攻击行为检测方法及相关装置
CN102231745A (zh) 一种网络应用的安全***及方法
CN108712426A (zh) 基于用户行为埋点的爬虫识别方法及***
CN104796261A (zh) 一种网络终端节点的安全接入管控***及方法
CN105119909A (zh) 一种基于页面视觉相似性的仿冒网站检测方法和***
CN113242223B (zh) 一种网址检测方法及装置
CN105847277A (zh) 用于第三方应用的服务账号共享管理方法及***
Li et al. Time series association state analysis method for attacks on the smart internet of electric vehicle charging network
CN107403108A (zh) 一种数据处理的方法及***
Zhao et al. A Classification Detection Algorithm Based on Joint Entropy Vector against Application‐Layer DDoS Attack
CN105138639A (zh) 网页广告筛选方法
CN106713362A (zh) 一种对wifi接入上网实现安全审查的方法
CN106790073B (zh) 一种Web服务器恶意攻击的阻断方法、装置及防火墙
CN106686562A (zh) 一种伪基站短信中链接处理的方法、装置及服务器
CN108282443A (zh) 一种爬虫行为识别方法和装置
CN106878992A (zh) 无线网络安全检测方法和***
CN109819125A (zh) 一种限制电信诈骗的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant