CN108616522A - 一种互联网数据获取方法及获取装置 - Google Patents
一种互联网数据获取方法及获取装置 Download PDFInfo
- Publication number
- CN108616522A CN108616522A CN201810324739.6A CN201810324739A CN108616522A CN 108616522 A CN108616522 A CN 108616522A CN 201810324739 A CN201810324739 A CN 201810324739A CN 108616522 A CN108616522 A CN 108616522A
- Authority
- CN
- China
- Prior art keywords
- user
- access
- time
- internet data
- access interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供了一种互联网数据获取方法及获取装置,包括:接收至少一个用户发送的调用请求;针对所述至少一个用户中的每一个所述用户,根据所述调用请求,获取所述用户对应的用户行为数据;分析获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果;根据获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。本方案能够降低互联网数据被扒取的风险。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种互联网数据获取方法及获取装置。
背景技术
随着互联网技术的不断发展,网站作为信息源头,发布数据的作用日益重要。而在信息发布与传播的过程中,如何保障网站内信息的安全已成为目前必须要解决的题目。
目前,网站检测异常IP方法主要是,对原始安全日志数据进行预处理,从预处理的结果中提取特征数据,并对特征数据进行分类,创建异常行为库和正常行为库。再利用异常行为库和正常行为库对从新的安全日志数据中获取新行为样本数据进行异常行为判定。
但是,创建正常行为数据库和异常行为数据库时,需要有足够的样本行为数据,而获取足够多的行为样本数据则需要一段时间,而此时间段内,会增加互联网数据被扒取的风险。
发明内容
本发明实施例提供了一种互联网数据获取方法及获取装置,能够降低互联网数据被扒取的风险。
第一方面,本发明实施例提供了一种互联网数据获取方法,包括:接收至少一个用户发送的调用请求;针对所述至少一个用户中的每一个所述用户,根据所述调用请求,获取所述用户对应的用户行为数据;分析获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果;根据获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
优选地,所述用户行为数据,包括:访问IP、访问时间和访问接口;所述根据所述调用请求,获取所述用户对应的用户行为数据,包括:获取所述调用请求中的所述用户对应的访问IP、访问时间和访问接口;所述分析获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果,包括:确定所述用户通过所述访问IP,在所述调用申请的上一次调用互联网内的任意访问接口的历史访问时间;将所述访问时间与所述历史访问时间相减,获得时间差;所述根据获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据,包括:根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
优选地,所述根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据,包括:针对所述用户的每一次所述调用请求,
S0:确定获得的所述时间差是否大于预设的第一阈值a,如果是,执行S6,否则,执行S1;
S1 :确定所述时间差是否在预设的第二阈值[b,a]内,如果是,执行S2,否则执行 S3;
S2:限制所述用户调用所述访问接口的频率为1s/次,执行S6;
S3:确定所述时间差是否在预设的第三阈值[c,b]内,如果是,执行S4,否则执行 S5;
S4:向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验
S5:禁止所述用户通过所述用户IP获取所述互联网数据;
S6:允许所述用户调用所述访问接口获取互联网数据。
优选地,所述S2,包括:记录所述用户在所述第二阈值[b,a]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第二阈值[b,a]内累积的第x次,优选地,所述S4,包括:记录所述用户在所述第三阈值[c,b]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第三阈值[c,b]内累积的第y次,如果是,执行所述向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,执行S6,否则执行S6。
优选地,所述步骤S5,包括:记录所述用户在预设的第四阈值(0,c]内访问异常1次;
确定记录的所述访问异常是否为所述用户在所述第四阈值(0,c]内累积的第z次,如果是,执行所述禁止所述用户通过所述用户IP获取所述互联网数据,否则执行S6。
优选地,当所述任意访问接口为所述访问接口时;所述确定所述用户通过所述访问IP调用互联网内的任意访问接口的历史访问时间,包括:确定所述用户通过所述访问IP,在所述调用申请的上一次调用所述访问接口的历史访问时间。
第二方面,本发明实施例提供了一种互联网数据获取装置,包括:获取单元,用于接收至少一个用户发送的调用请求;针对所述至少一个用户中的每一个所述用户,根据所述调用请求,获取所述用户对应的用户行为数据;处理单元,用于分析所述获取单元获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果;确定单元,用于根据所述处理单元获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
优选地,当所述用户行为数据,包括:访问IP、访问时间和访问接口时,所述获取单元,用于获取所述调用请求中的所述用户对应的访问IP、访问时间和访问接口;所述处理单元,用于确定所述用户通过所述访问IP,在所述调用申请的上一次调用互联网内的任意访问接口的历史访问时间;将所述访问时间与所述历史访问时间相减, 获得时间差;所述确定单元,用于根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
优选地,所述处理单元,用于针对所述用户的每一次所述调用请求,执行:
S0:确定获得的所述时间差是否大于预设的第一阈值a,如果是,执行S6,否则,执行S1;
S1 :确定所述时间差是否在预设的第二阈值[b,a]内,如果是,执行S2,否则执行 S3;
S2:限制所述用户调用所述访问接口的频率为1s/次,执行S6;
S3:确定所述时间差是否在预设的第三阈值[c,b]内,如果是,执行S4,否则执行 S5;
S4:向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,并执行S6;
S5:禁止所述用户通过所述用户IP获取所述互联网数据;
S6:允许所述用户调用所述访问接口获取互联网数据。
优选地,所述处理单元,用于记录所述用户在所述第二阈值[b,a]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第二阈值[b,a]内累积的第x次,如果是,执行所述限制所述用户调用所述访问接口的频率为1s/次,执行S6,否则执行S6。
优选地,所述处理单元,用于记录所述用户在所述第三阈值[c,b]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第三阈值[c,b]内累积的第y次,如果是,执行所述向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,执行S6,否则执行S6;
优选地,所述处理单元,用于记录所述用户在预设的第四阈值(0,c]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第四阈值(0,c]内累积的第z次,如果是,执行所述禁止所述用户通过所述用户IP获取所述互联网数据,否则执行S6。
优选地,当所述任意访问接口为所述访问接口时;
所述处理单元,用于确定所述用户通过所述访问IP,在所述调用申请的上一次调用所述访问接口的历史访问时间。
在本发明实施例中,在接收到用户发送的调用请求时,需要先根据调用请求获取用户的用户行为数据,再对用户行为数据进行分析,即可确定用户是否可以获取互联网数据,而无需将用户的行为数据与其他行为样本数据进行比对,避免了在获取足够多的行为样本数据时互联网数据被扒取,从而能够降低互联网数据被扒取的风险。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种互联网数据获取方法的流程图;
图2是本发明一实施例提供的另一种互联网数据获取方法的流程图;
图3是本发明一实施例提供的一种互联网数据获取装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种互联网获取方法,包括:
步骤101:接收至少一个用户发送的调用请求;
步骤102:针对所述至少一个用户中的每一个所述用户,根据所述调用请求,获取所述用户对应的用户行为数据;
步骤103:分析获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果;步骤104:根据获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
在本发明实施例中,在接收到用户发送的调用请求时,无需与其他行为样本数据进行对比,只需根据调用请求获取用户行为数据,再对获取的用户行为数据进行分析,需要先根据调用请求获取用户的用户行为数据,再对用户行为数据进行分析,即可确定用户是否可以获取互联网数据,而无需将用户的行为数据与其他行为样本数据进行比对,避免了在获取足够多的行为样本数据时互联网数据被扒取,从而能够降低互联网数据被扒取的风险。
在本发明一实施例中,所述用户行为数据,包括:访问IP、访问时间和访问接口;所述根据所述调用请求,获取所述用户对应的用户行为数据,包括:获取所述调用请求中的所述用户对应的访问IP、访问时间和访问接口;所述分析获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果,包括:确定所述用户通过所述访问IP,在所述调用申请的上一次调用互联网内的任意访问接口的历史访问时间;将所述访问时间与所述历史访问时间相减,获得时间差;所述根据获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据,包括:根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
在本发明实施例中,在确定用户是否可以获取互联网数据时,需要根据用户发送的调用申请,来获取用户的访问IP,访问时间和访问接口,根据访问IP,获得此用户本次调用访问接口的时间与上一次调用任意访问接口的时间差,再根据获取的时间差,即可确定此用户是否可以获得互联网数据。综上可见,在确定用户是否可以获得互联网数据时,只需根据用户的访问IP此次调用访问接口的访问时间与上次调用任意访问接口的时间差,而无需将用户的行为数据与其他行为样本数据进行比对,从而可以降低在获取足够多的行为样本数据时互联网数据被扒取的风险。
在本发明一实施例中,所述根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据,包括:
针对所述用户的每一次所述调用请求,
S0:确定获得的所述时间差是否大于预设的第一阈值a,如果是,执行S6,否则,执行S1;
S1 :确定所述时间差是否在预设的第二阈值[b,a]内,如果是,执行S2,否则执行 S3;
S2:限制所述用户调用所述访问接口的频率为1s/次,执行S6;
S3:确定所述时间差是否在预设的第三阈值[c,b]内,如果是,执行S4,否则执行 S5;
S4:向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,并执行S6;
S5:禁止所述用户通过所述用户IP获取所述互联网数据;
S6:允许所述用户调用所述访问接口获取互联网数据。
在本发明实施例中,在根据用户的访问时间获得用户调用访问接口的时间差后,
需要将时间差与预设的阈值进行比对,以使根据比对结果对用户的访问进行判断与限制, 避免用户为机器访问扒取互联网数据,从而可以降低互联网数据被扒取的风险。
是否允许用户获取互联网数据,或者对用户的访问行为进行限制。
在本发明一实施例中,所述S2,包括:
记录所述用户在所述第二阈值[b,a]内访问异常1次;
确定记录的所述访问异常是否为所述用户在所述第二阈值[b,a]内累积的第x次,
如果是,执行所述限制所述用户调用所述访问接口的频率为1s/次,执行S6,否则执行S6。
在本发明实施例中,当与用户对应的时间差在预设的第二阈值(例如,[500ms ,
1000ms])内时,需要记录用户此次在第二阈值内访问异常,并确定用户是否在第二阈值内的累积的异常访问次数达到x次(例如,累积的异常访问次数3次) ,当且仅当用户的异常访问次数达到x次时,需要降低用户的访问频率,避免用户频繁访问互联网数据。
在本发明一实施例中,所述S4,包括:
记录所述用户在所述第三阈值[c,b]内访问异常1次;
确定记录的所述访问异常是否为所述用户在所述第三阈值[c,b]内累积的第y次,
如果是,执行所述向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,执行S6,否则执行S6。
在本发明实施例中,当与用户对应的时间差在预设的第三阈值(例如,[200ms ,
500ms))内时,需要记录用户此次在第三阈值内访问异常,并确定用户是否在第三阈值内的累积的异常访问次数达到y次(例如,累积的异常访问次数3次) ,当且仅当用户的异常访问次数达到y次时,向用户发送验证码来确定此次是否为机器访问,并在接收到与验证码相同的回执信息时,才允许用户获取互联网数据。综上可见,根据用户的在预设的阈值内,累积的异常访问次数而对用户的访问做相应额限制,可以降低互联网数据被趴取的风险。
在本发明一实施例中,所述步骤S5,包括:
记录所述用户在预设的第四阈值(0,c]内访问异常1次;
确定记录的所述访问异常是否为所述用户在所述第四阈值(0,c]内累积的第z次,如果是,执行所述禁止所述用户通过所述用户IP获取所述互联网数据,否则执行S6。
在本发明实施例中,当与用户对应的时间差在预设的第四阈值(例如,(0ms ,
200ms))内时,需要记录用户此次在第四阈值内访问异常,并确定用户是否在第四阈值内累积的异常访问次数达到z次(例如累积的异常访问次数2次) ,当且仅当用户累积的异常访问次数达到z次时,直接将用户拉入黑名单,禁止用户获取互联网数据,可以避免此用户扒取互联网数据,从而能够提高互联网数据的安全性。
在本发明一实施例中,当所述任意访问接口为所述访问接口时;
所述确定所述用户通过所述访问IP调用互联网内的任意访问接口的历史访问时间,包括:
确定所述用户通过所述访问IP,在所述调用申请的上一次调用所述访问接口的历史访问时间。
在本发明实施例中,在分析用户的访问行为时,需要根据用户对应的访问IP,确定用户上一次通过访问IP调用同一访问接口的历史访问时间,根据历史访问时间和本次访问时间求出时间差,再根据时间差即可确定是否允许用户获取互联网数据,无需再获取足够多的行为样本数据,从而可以降低在获取行为样本数据时互联网数据被扒取的风险。
为了更加清楚的说明本发明的技术方案及优点,下面以预设的第一阈值为
1000ms、第二阈值为[500ms,1000ms]、第三阈值为[200ms,500ms)和第四阈值为(0ms,200) ,以及用户a通过访问IP,本次调用访问接口a的访问时间为2016年12月11日10点26分01秒和调用访问接口a的历史访问时间为2016年12月11日10点26分55秒和为例,对本发明实施例提供的一种互联网数据获取方法进行详细描述,如图2所示,具体包括以下步骤:
步骤201:接收用户a通过访问IP在访问时间为2016年12月11日10点26分49秒时发送的调用访问接口a的调用请求。
具体地,对于互联网中的敏感数据,可以通过访问接口来保护相应的敏感数据,当接收到用户发送的调用申请时,则可以直接根据调用申请的相关信息来确定是否允许用户获取互联网数据,而无需获取足够多的行为样本数据,从而可以降低互联网数据被趴取的风险。
步骤202:根据用户a的调用请求,确定用户a通过访问IP调用访问接口a的访问时间2016年12月11日10点26分55秒。
具体地,在确定用户是否可以获取互联网数据时,主要根据用户在同一访问IP下,调用相同的访问接口的时间差来确定。
步骤203:确定用户a通过访问IP上一次调用访问接口a的历史访问时间为2016年
12月11日10点26分01秒。
具体地,确定用户通过同一访问IP,在上一次调用访问接口a的历史访问时间,以使根据历史访问时间和此次访问时间的时间差来确定是否允许用户获取互联网数据。
步骤204:将访问时间为2016年12月11日10点26分55秒与历史访问时间2016年12月11日10点26分01秒相减,获得时间差为54s。
具体地,在确定用户通过同一访问IP累积调用同一访问接口时,需要根据本次访问时间和历史访问时间求得时间差,再根据时间差来与预设的阈值进行比对,确定是否允许用户获取互联网数据。
步骤205:将获得的时间差54s与第一阈值1000ms比对,确定时间差小于第一阈值。
具体地,在获取到用户对应的时间差后,需要将时间差与预设的不同等级的阈值进行对比,以使根据时间差在对应的阈值内来决定用户是否可以获取互联网数据。
步骤206:将时间差54s与第二阈值[500ms,1000ms]进行比对,确定时间差在第二阈值内。
具体地,在确定时间差不大于第一阈值后,需要将时间差与第二阈值进行比对,经过比对可以确定时间差54s在第二阈值内。
步骤207:记录用户a通过访问IP在访问时间为2016年12月11日10点26分55时,在第二阈值内访问异常1次。
具体地,在确定用户通过访问IP访问调用访问接口a的时间差在第二阈值内时,确定用户此次访问异常,记录此次访问的时间、访问IP和所要调用的访问接口,以使在以后判断用户a的行为时作为依据。
步骤208:确定用户a通过访问IP调用访问接口a的累积次数为两次,未达到预设的累积次数3次,具体地,在确定用户调用访问接口a的时间差在第二阈值内时,不是直接对用户进行限制措施,而是确定用户通过同一访问IP调用同一访问接口a的累积次数是否达到预设的限制值3次,当且仅当大于等于预设的限制值3次时,才会对用户a进行相应的限制。
步骤209:允许用户a通过访问IP调用访问接口a获取互联网数据。
具体地,由于用户通过访问IP调用访问接口a的累积次数未达到预设的限制值,所以允许用户a通过访问IP调用访问接口a获取互联网数据。
如图3所示,本发明实施例提供了一种互联网数据获取装置,包括:
获取单元301,用于接收至少一个用户发送的调用请求;针对所述至少一个用户中的每一个所述用户,根据所述调用请求,获取所述用户对应的用户行为数据;
处理单元302,用于分析所述获取单元301获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果;
确定单元303,用于根据所述处理单元302获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
在本发明实施例中,获取单元在接收到用户发送的调用请求时,需要先根据调用请求获取用户的用户行为数据,再通过处理单元对获取单元获取的用户行为数据进行分析,通过确定单元即可确定用户是否可以获取互联网数据,而无需将用户的行为数据与其他行为样本数据进行比对,避免了在获取足够多的行为样本数据时互联网数据被扒取,从而能够降低互联网数据被扒取的风险。
在本发明一实施例中,当所述用户行为数据,包括:访问IP、访问时间和访问接口时,所述获取单元,用于获取所述调用请求中的所述用户对应的访问IP、访问时间和访问接口;所述处理单元,用于确定所述用户通过所述访问IP,在所述调用申请的上一次调用互联网内的任意访问接口的历史访问时间;将所述访问时间与所述历史访问时间相减, 获得时间差;所述确定单元,用于根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
在本发明一实施例中,所述处理单元,用于针对所述用户的每一次所述调用请求,执行:
S0:确定获得的所述时间差是否大于预设的第一阈值a,如果是,执行S6,否则,执行S1;
S1 :确定所述时间差是否在预设的第二阈值[b,a]内,如果是,执行S2,否则执行 S3;
S2:限制所述用户调用所述访问接口的频率为1s/次,执行S6;
S3:确定所述时间差是否在预设的第三阈值[c,b]内,如果是,执行S4,否则执行 S5;
S4:向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,并执行S6;
S5:禁止所述用户通过所述用户IP获取所述互联网数据;
S6:允许所述用户调用所述访问接口获取互联网数据。
在本发明一实施例中,所述处理单元,用于记录所述用户在所述第二阈值[b,a]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第二阈值[b,a]内累积的第
x次,如果是,执行所述限制所述用户调用所述访问接口的频率为1s/次,执行S6,否则执行 S6。
在本发明一实施例中,所述处理单元,用于记录所述用户在所述第三阈值[c,b]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第三阈值[c,b]内累积的第
y次,如果是,执行所述向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,执行S6,否则执行S6。
在本发明一实施例中,所述处理单元,用于记录所述用户在预设的第四阈值(0,c]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第四阈值(0,c]内累积的第z次,如果是,执行所述禁止所述用户通过所述用户IP获取所述互联网数据,否则执行S6。
在本发明一实施例中,当所述任意访问接口为所述访问接口时;
所述处理单元,用于确定所述用户通过所述访问IP,在所述调用申请的上一次调用所述访问接口的历史访问时间。
本发明各个实施例至少具有如下有益效果:
1、在本发明一实施例中,在接收到用户发送的调用请求时,需要先根据调用请求
获取用户的用户行为数据,再对用户行为数据进行分析,即可确定用户是否可以获取互联网数据,而无需将用户的行为数据与其他行为样本数据进行比对,避免了在获取足够多的行为样本数据时互联网数据被扒取,从而能够降低互联网数据被扒取的风险。
2、在本发明一实施例中,在确定用户是否可以获取互联网数据时,需要根据用户发送的调用申请,来获取用户的访问IP,访问时间和访问接口,根据访问IP,获得此用户本次调用访问接口的时间与上一次调用任意访问接口的时间差,再根据获取的时间差,即可确定此用户是否可以获得互联网数据。综上可见,在确定用户是否可以获得互联网数据时,只需根据用户的访问IP此次调用访问接口的访问时间与上次调用任意访问接口的时间差,而无需将用户的行为数据与其他行为样本数据进行比对,从而可以降低在获取足够多的行为样本数据时互联网数据被扒取的风险。
3、在本发明一实施例中,在根据用户的访问时间获得用户调用访问接口的时间差后,需要将时间差与预设的阈值进行比对,以使根据比对结果对用户的访问进行判断与限制,避免用户为机器访问扒取互联网数据,从而可以降低互联网数据被扒取的风险。
4 、在本发明一实施例中,当与用户对应的时间差在预设的第二阈值(例如,
[500ms,1000ms])内时,需要记录用户此次在第二阈值内访问异常,并确定用户是否在第二阈值内的累积的异常访问次数达到x次(例如,累积的异常访问次数3次) ,当且仅当用户的异常访问次数达到x次时,需要降低用户的访问频率,避免用户频繁访问互联网数据。
5 、在本发明一实施例中,当与用户对应的时间差在预设的第三阈值(例如,
[200ms,500ms))内时,需要记录用户此次在第三阈值内访问异常,并确定用户是否在第三阈值内的累积的异常访问次数达到y次(例如,累积的异常访问次数3次) ,当且仅当用户的异常访问次数达到y次时,向用户发送验证码来确定此次是否为机器访问,并在接收到与验证码相同的回执信息时,才允许用户获取互联网数据。综上可见,根据用户的在预设的阈值内,累积的异常访问次数而对用户的访问做相应额限制,可以降低互联网数据被趴取的风险。
6、在本发明一实施例中,当与用户对应的时间差在预设的第四阈值(例如,(0ms,
200ms))内时,需要记录用户此次在第四阈值内访问异常,并确定用户是否在第四阈值内累积的异常访问次数达到z次(例如累积的异常访问次数2次) ,当且仅当用户累积的异常访问次数达到z次时,直接将用户拉入黑名单,禁止用户获取互联网数据,可以避免此用户扒取互联网数据,从而能够提高互联网数据的安全性。
7、在本发明一实施例中,在分析用户的访问行为时,需要根据用户对应的访问IP,确定用户上一次通过访问IP调用同一访问接口的历史访问时间,根据历史访问时间和本次访问时间求出时间差,再根据时间差即可确定是否允许用户获取互联网数据,无需再获取足够多的行为样本数据,从而可以降低在获取行为样本数据时互联网数据被扒取的风险。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个〃····〃”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种互联网数据获取方法,其特征在于,包括: 接收至少一个用户发送的调用请求;
针对所述至少一个用户中的每一个所述用户,根据所述调用请求,获取所述用户对应的用户行为数据;
分析获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果;
根据获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
2.根据权利要求1所述的获取方法,其特征在于,
所述用户行为数据,包括:访问IP、访问时间和访问接口;
所述根据所述调用请求,获取所述用户对应的用户行为数据,包括:获取所述调用请求中的所述用户对应的访问IP、访问时间和访问接口;
所述分析获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果,包括:
确定所述用户通过所述访问IP,在所述调用申请的上一次调用互联网内的任意访问接口的历史访问时间;
将所述访问时间与所述历史访问时间相减,获得时间差;
所述根据获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据,包括:
根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
3.根据权利要求2所述的获取方法,其特征在于,
所述根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据,包括:
针对所述用户的每一次所述调用请求,
S0:确定获得的所述时间差是否大于预设的第一阈值a,如果是,执行S6,否则,执行S1;
S1:确定所述时间差是否在预设的第二阈值[b,a]内,如果是,执行S2,否则执行S3;
S2:限制所述用户调用所述访问接口的频率为1s/次,执行S6;
S3:确定所述时间差是否在预设的第三阈值[c,b]内,如果是,执行S4,否则执行S5;
S4:向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,并执行S6;
S5:禁止所述用户通过所述用户IP获取所述互联网数据;
S6:允许所述用户调用所述访问接口获取互联网数据。
4.根据权利要求3所述的获取方法,其特征在于, 所述S2,包括:
记录所述用户在所述第二阈值[b,a]内访问异常1次;
确定记录的所述访问异常是否为所述用户在所述第二阈值[b,a]内累积的第x次,如果是,执行所述限制所述用户调用所述访问接口的频率为1s/次,执行S6,否则执行S6;
和/或
所述S4,包括:
记录所述用户在所述第三阈值[c,b]内访问异常1次;
确定记录的所述访问异常是否为所述用户在所述第三阈值[c,b]内累积的第y次,如果是,执行所述向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,执行S6,否则执行S6;
和/或
所述步骤S5,包括:
记录所述用户在预设的第四阈值(0,c]内访问异常1次;
确定记录的所述访问异常是否为所述用户在所述第四阈值(0,c]内累积的第z次,如果是,执行所述禁止所述用户通过所述用户IP获取所述互联网数据,否则执行S6。
5.根据权利要求2至4中任一所述的获取方法,其特征在于, 当所述任意访问接口为所述访问接口时;
所述确定所述用户通过所述访问IP调用互联网内的任意访问接口的历史访问时间,包括:
确定所述用户通过所述访问IP,在所述调用申请的上一次调用所述访问接口的历史访问时间。
6.一种互联网数据获取装置,其特征在于,包括:
获取单元,用于接收至少一个用户发送的调用请求;针对所述至少一个用户中的每一个所述用户,根据所述调用请求,获取所述用户对应的用户行为数据;
处理单元,用于分析所述获取单元获取的所述用户对应的所述用户行为数据,并获得所述用户行为的行为分析结果;
确定单元,用于根据所述处理单元获得的所述行为分析结果,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
7.根据权利要求6所述的获取装置,其特征在于,
当所述用户行为数据,包括:访问IP、访问时间和访问接口时,
所述获取单元,用于获取所述调用请求中的所述用户对应的访问IP、访问时间和访问接口;
所述处理单元,用于确定所述用户通过所述访问IP,在所述调用申请的上一次调用互联网内的任意访问接口的历史访问时间;将所述访问时间与所述历史访问时间相减,获得时间差;
所述确定单元,用于根据获得的所述时间差,确定是否允许所述用户调用与所述调用请求相对应访问接口获取互联网数据。
8.根据权利要求7所述的获取装置,其特征在于,
所述处理单元,用于针对所述用户的每一次所述调用请求,执行:
S0:确定获得的所述时间差是否大于预设的第一阈值a,如果是,执行S6,否则,执行S1;
S1:确定所述时间差是否在预设的第二阈值[b,a]内,如果是,执行S2,否则执行S3;
S2:限制所述用户调用所述访问接口的频率为1s/次,执行S6;
S3:确定所述时间差是否在预设的第三阈值[c,b]内,如果是,执行S4,否则执行S5;
S4:向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码
相同的回执信息时,并执行S6;
S5:禁止所述用户通过所述用户IP获取所述互联网数据;
S6:允许所述用户调用所述访问接口获取互联网数据。
9.根据权利要求8所述的获取装置,其特征在于,
所述处理单元,用于记录所述用户在所述第二阈值[b,a]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第二阈值[b,a]内累积的第x次,如果是,执行所述限制所述用户调用所述访问接口的频率为1s/次,执行S6,否则执行S6;
和/或
所述处理单元,用于记录所述用户在所述第三阈值[c,b]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第三阈值[c,b]内累积的第y次,如果是,执行所述向所述用户发送验证码,当接收到所述用户根据所述验证码发送的与所述验证码相同的回执信息时,执行S6,否则执行S6;
和/或
所述处理单元,用于记录所述用户在预设的第四阈值(0,c]内访问异常1次;确定记录的所述访问异常是否为所述用户在所述第四阈值(0,c]内累积的第z次,如果是,执行所述禁止所述用户通过所述用户IP获取所述互联网数据,否则执行S6。
10.根据权利要求7至9中任一所述的获取装置,其特征在于, 当所述任意访问接口为所述访问接口时;
所述处理单元,用于确定所述用户通过所述访问IP,在所述调用申请的上一次调用所述访问接口的历史访问时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810324739.6A CN108616522A (zh) | 2018-04-12 | 2018-04-12 | 一种互联网数据获取方法及获取装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810324739.6A CN108616522A (zh) | 2018-04-12 | 2018-04-12 | 一种互联网数据获取方法及获取装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108616522A true CN108616522A (zh) | 2018-10-02 |
Family
ID=63659714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810324739.6A Withdrawn CN108616522A (zh) | 2018-04-12 | 2018-04-12 | 一种互联网数据获取方法及获取装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108616522A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807862A (zh) * | 2021-01-29 | 2021-12-17 | 北京沃东天骏信息技术有限公司 | 访问安全控制方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262717A (zh) * | 2015-08-31 | 2016-01-20 | 福建天晴数码有限公司 | 一种网络服务安全管理方法及装置 |
CN107528861A (zh) * | 2017-10-12 | 2017-12-29 | 山东浪潮云服务信息科技有限公司 | 一种确定ip用户访问权限的方法及装置 |
CN107888604A (zh) * | 2017-11-27 | 2018-04-06 | 山东浪潮云服务信息科技有限公司 | 一种互联网数据获取方法及获取装置 |
-
2018
- 2018-04-12 CN CN201810324739.6A patent/CN108616522A/zh not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262717A (zh) * | 2015-08-31 | 2016-01-20 | 福建天晴数码有限公司 | 一种网络服务安全管理方法及装置 |
CN107528861A (zh) * | 2017-10-12 | 2017-12-29 | 山东浪潮云服务信息科技有限公司 | 一种确定ip用户访问权限的方法及装置 |
CN107888604A (zh) * | 2017-11-27 | 2018-04-06 | 山东浪潮云服务信息科技有限公司 | 一种互联网数据获取方法及获取装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807862A (zh) * | 2021-01-29 | 2021-12-17 | 北京沃东天骏信息技术有限公司 | 访问安全控制方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107888604A (zh) | 一种互联网数据获取方法及获取装置 | |
US20200267183A1 (en) | Systems and methods for vulnerability analysis of phishing attacks | |
CN109687991A (zh) | 用户行为识别方法、装置、设备及存储介质 | |
CN109766263A (zh) | 自动化测试分析处理方法、装置、计算机设备及存储介质 | |
CN104765689B (zh) | 一种接口性能数据实时监制方法和装置 | |
CN105095207B (zh) | 检索、获取应用软件内容的方法和装置 | |
CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
CN105721187A (zh) | 一种业务故障诊断方法及装置 | |
CN107888602A (zh) | 一种检测异常用户的方法及装置 | |
CN107689940A (zh) | WebShell检测方法及装置 | |
CN110309473A (zh) | 融合身份标识和投票行为监控的防刷票方法及装置 | |
CN111095424A (zh) | 临床试验支援***、临床试验支援程序以及临床试验支援方法 | |
CN111262854A (zh) | 互联网反作弊行为方法、装置、设备和可读存储介质 | |
CN103760394A (zh) | 示波器测量数据的自动处理方法及装置 | |
CN111556070A (zh) | 网页异常访问检测方法及装置 | |
Amato et al. | E-cigarette use 1 year later in a population-based prospective cohort | |
CN108616522A (zh) | 一种互联网数据获取方法及获取装置 | |
CN113079061B (zh) | 一种物联网性能测试方法及*** | |
CN111625700B (zh) | 防抓取的方法、装置、设备及计算机存储介质 | |
CN103618761B (zh) | 对cookie信息进行处理的方法和浏览器 | |
CN111274237A (zh) | 医疗数据核对修正***及方法 | |
EP3731533A1 (en) | Method for monitoring usage of at least one application executed within an operating system, corresponding apparatus, computer program product and computer-readable carrier medium | |
CN110427971A (zh) | 用户及ip的识别方法、装置、服务器和存储介质 | |
US10572661B2 (en) | Automated blackbox inference of external origin user behavior | |
CN106897387B (zh) | 基于动作模拟的业务探测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181002 |
|
WW01 | Invention patent application withdrawn after publication |