CN111818038B - 一种网络数据获取识别方法以及装置 - Google Patents

一种网络数据获取识别方法以及装置 Download PDF

Info

Publication number
CN111818038B
CN111818038B CN202010627703.2A CN202010627703A CN111818038B CN 111818038 B CN111818038 B CN 111818038B CN 202010627703 A CN202010627703 A CN 202010627703A CN 111818038 B CN111818038 B CN 111818038B
Authority
CN
China
Prior art keywords
network
request
network request
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010627703.2A
Other languages
English (en)
Other versions
CN111818038A (zh
Inventor
范晓锋
方庆远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lazas Network Technology Shanghai Co Ltd
Original Assignee
Lazas Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lazas Network Technology Shanghai Co Ltd filed Critical Lazas Network Technology Shanghai Co Ltd
Priority to CN202010627703.2A priority Critical patent/CN111818038B/zh
Publication of CN111818038A publication Critical patent/CN111818038A/zh
Application granted granted Critical
Publication of CN111818038B publication Critical patent/CN111818038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种网络数据获取识别方法以及装置，该方法在获取第二网络请求所携带的目标加密参数之后，对该目标加密参数进行解密，获得第一网络行为背景标识，并获取第二网络请求对应的第二网络行为背景标识，将上述第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，其中，上述第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数。通过使用该方法，可针对网络数据获取任务调度***及其获取策略分配机制下的数据获取操作进行精准识别。

Description

一种网络数据获取识别方法以及装置
技术领域
本申请涉及计算机技术领域，具体涉及一种网络数据获取识别方法。本申请同时涉及一种网络数据获取识别装置、一种电子设备以及一种计算机可读取存储介质。
背景技术
网络数据获取是指按照预设数据获取规则、通过程序或者脚本自动获取万维网信息，该过程可能导致网站的网络资源、计算资源等被不当占用，造成网站功能受损。例如，在网络购物场景或生活服务类网络应用场景中，上述网络数据获取过程可能导致网络平台的商户信息、商品信息等被恶意批量获取；对于内容发布网站而言，可能导致网站的知识产权被恶意侵犯。
网络数据获取主体通常可以通过HTTP请求来获取目标数据内容，HTTP请求的URL地址(Uniform Resource Locator，统一资源定位符)中会有相应的参数对应目标数据内容，网络数据获取主体从一个或若干初始网页对应的URL开始，获得初始网页URL之后根据网页获取策略，不断抽取新的URL放入获取队列，并基于该URL获取目标数据内容，直到满足某种停止条件。
现有的针对网络数据获取行为的识别及拦截技术包括基于IP维度对抗、账户维度对抗、验证码、动态页面结构、限制访问量和下载量、文字转图片以及动态参数等方式，其中，基于动态参数的针对网络数据获取行为的识别及拦截技术在一定程度上增加了网络数据获取行为的成本、也增加了识别和拦截网络数据获取行为的机会。例如，外卖网站将商户对应的URL进行动态化处理，其具体为，将商户对应的URL中的商户ID分化区分为商户内部ID和外部动态ID，内部ID为网站内部各***之间用于指定商户对象的传递参数，其一般为固定字符串，外部动态ID一般是数字经过映射后所获得的定时或不定时变化的动态字符串，以使网络数据获取主体无法通过同一静态URL向网站请求商户的数据内容，而是在不同的时间点需先找到商户对应的动态URL的确切的值，例如，通过在网站搜索该商户的名称，该种方式增加了网络数据获取主体为获取一个目标数据内容而与网站交互的次数，既增加获取成本，也增加网站识别和拦截网络数据获取行为的机会。
为了对抗上述基于动态参数的针对网络数据获取行为的识别及拦截技术，实现高效遍历网站全部内容，网络数据获取***增设任务调度***以及获取策略分配机制，即，通过前序网络数据获取实例定时获取目标网站的目标数据内容的前序页面，并将前序网络数据获取实例获得的URL分配给其它网络数据获取实例继续执行后续获取操作，例如，在获取商户详情页面之前先通过前序网络数据获取实例获取商户列表页面，并将商户详情页面对应的动态URL分配给后续网络数据获取实例，由后续网络数据获取实例获取商户详情页面，由于不同的网络数据获取实例一般会使用不同的IP地址、不同的账户，在目标网站看来，每个IP、每个账户上没有明显的密集操作，从而使得网络数据获取主体绕过针对网络数据获取行为的识别及拦截技术中对单IP、或者单账号的访问量的限制，以此实现获取大量网络数据的目的。
基于此，如何针对网络数据获取任务调度***及其获取策略分配机制下的数据获取操作进行精准识别，是目前急需解决的问题。
发明内容
本申请实施例提供一种网络数据获取识别方法、装置、电子设备及计算机可读存储介质，以针对网络数据获取任务调度***及其获取策略分配机制下的数据获取操作进行精准识别。
本申请实施例提供一种网络数据获取识别方法，包括：获取第二网络请求所携带的目标加密参数，其中，第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数；对目标加密参数进行解密，获得第一网络行为背景标识；获取第二网络请求对应的第二网络行为背景标识；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体。
可选的，第一网络行为背景标识包括：第一网络请求对应的用户上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
可选的，用户上下文信息包括如下中的至少一种：用户标识信息；网络操作环境信息；将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，包括：将第一网络请求对应的用户标识信息与第二网络请求对应的用户标识信息进行比对；和/或，将第一网络请求对应的网络操作环境信息与第二网络请求对应的网络操作环境信息进行比对。可选的，用户标识信息包括：用户身份标识信息，或针对匿名用户的登录会话标识信息。网络操作环境信息包括如下中的至少一种：网络设备标识信息；网络设备IP地址。
可选的，第一网络行为背景标识包括：第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
可选的，第一网络行为背景标识包括：第一网络请求对应的用户上下文信息以及第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息以及第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，以及将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，和/或第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
可选的，应用上下文信息包括如下中的至少一种：应用渠道信息；应用接口信息。可选的，还包括：对第二网络请求进行拦截。可选的，获取第二网络请求所携带的目标加密参数，包括：获取针对目标网络数据的第二网络请求所携带的目标加密参数；第二网络请求基于第一网络请求对应的网络响应数据而实现，包括：第二网络请求基于第一网络请求对应的网络响应数据中包含的针对目标网络数据的访问策略数据而实现。
可选的，还包括：获取响应于第一网络请求的网络响应数据，网络响应数据包含针对目标网络数据的初始访问策略数据；获取第一网络请求对应的第一网络行为背景标识；对第一网络请求对应的第一网络行为背景标识进行加密处理，获得目标加密参数；根据初始访问策略数据和目标加密参数，获得针对目标网络数据的目标访问策略数据，并将目标访问策略数据提供给第一网络请求对应的访问主体；或者，将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，以供该访问主体基于初始访问策略数据和目标加密参数获得针对目标网络数据目标访问策略数据。
可选的，针对目标网络数据的访问策略数据包括：目标网络数据对应的URL。可选的，目标加密参数包含于URL的参数中。可选的，对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对目标网络数据的标识信息和第一网络行为背景标识进行加密处理。针对目标网络数据的初始访问策略数据为目标网络数据对应的初始URL，针对目标网络数据的目标访问策略数据为将初始URL中所包含的目标网络数据的标识信息替换为目标加密参数之后所获得的目标URL；将目标访问策略数据提供给第一网络请求对应的访问主体，包括：将目标URL提供给第一网络请求对应的访问主体。
可选的，将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，包括：将包含有初始访问策略数据和目标加密参数的数据结构文件发送给第一网络请求对应的访问主体。目标加密参数包含于第二网络请求的请求头或请求体中。
可选的，第一网络请求包括：第一网络请求对应的访问主体将目标网络数据分享给目标分享主体的分享请求；第一网络请求对应的第一网络行为背景标识包括：目标分享主体对应的网络行为背景标识；对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对第一网络请求对应的访问主体的用户标识信息和目标分享主体对应的网络行为背景标识进行加密处理。
可选的，对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：使用多套密钥中的目标加密密钥对第一网络行为背景标识进行加密处理，第二网络请求中包含目标加密密钥对应目标密钥标识；对应的，对目标加密参数进行解密，包括：使用目标密钥标识对应的目标解密密钥对目标加密参数进行解密。可选的，对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：基于对称密钥密码体制对第一网络请求对应的第一网络行为背景标识进行加密处理。第一网络行为背景标识包括：时间戳信息。可选的，第一网络请求为针对商户列表页的网络访问请求，第二网络请求为针对商户详情页的网络访问请求。
本申请实施例还提供一种网络数据获取识别装置，包括：目标加密参数获取单元，用于获取第二网络请求所携带的目标加密参数，其中，第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数；目标加密参数解密单元，用于对目标加密参数进行解密，获得第一网络行为背景标识；第二网络行为背景标识获取单元，用于获取第二网络请求对应的第二网络行为背景标识；网络行为背景标识比对单元，用于将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体。
可选的，第一网络行为背景标识包括：第一网络请求对应的用户上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
可选的，用户上下文信息包括如下中的至少一种：用户标识信息；网络操作环境信息；将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，包括：将第一网络请求对应的用户标识信息与第二网络请求对应的用户标识信息进行比对；和/或，将第一网络请求对应的网络操作环境信息与第二网络请求对应的网络操作环境信息进行比对。可选的，用户标识信息包括：用户身份标识信息，或针对匿名用户的登录会话标识信息。可选的，网络操作环境信息包括如下中的至少一种：网络设备标识信息；网络设备IP地址。
可选的，第一网络行为背景标识包括：第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
可选的，第一网络行为背景标识包括：第一网络请求对应的用户上下文信息以及第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息以及第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，以及将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，和/或第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。可选的，应用上下文信息包括如下中的至少一种：应用渠道信息；应用接口信息。可选的，还包括：第二网络请求拦截单元，用于对第二网络请求进行拦截。
可选的，获取第二网络请求所携带的目标加密参数，包括：获取针对目标网络数据的第二网络请求所携带的目标加密参数；第二网络请求基于第一网络请求对应的网络响应数据而实现，包括：第二网络请求基于第一网络请求对应的网络响应数据中包含的针对目标网络数据的访问策略数据而实现。
可选的，还包括：网络响应数据获取单元，用于获取响应于第一网络请求的网络响应数据，网络响应数据包含针对目标网络数据的初始访问策略数据；第一网络行为背景标识获取单元，用于获取第一网络请求对应的第一网络行为背景标识；加密处理单元，用于对第一网络请求对应的第一网络行为背景标识进行加密处理，获得目标加密参数；数据提供单元，用于根据初始访问策略数据和目标加密参数，获得针对目标网络数据的目标访问策略数据，并将目标访问策略数据提供给第一网络请求对应的访问主体；或者，将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，以供该访问主体基于初始访问策略数据和目标加密参数获得针对目标网络数据目标访问策略数据。
可选的，针对目标网络数据的访问策略数据包括：目标网络数据对应的URL。可选的，目标加密参数包含于URL的参数中。
可选的，所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对所述目标网络数据的标识信息和所述第一网络行为背景标识进行加密处理。
可选的，所述针对所述目标网络数据的初始访问策略数据为所述目标网络数据对应的初始URL，所述针对所述目标网络数据的目标访问策略数据为将所述初始URL中所包含的所述目标网络数据的标识信息替换为所述目标加密参数之后所获得的目标URL；所述将所述目标访问策略数据提供给所述第一网络请求对应的访问主体，包括：将所述目标URL提供给所述第一网络请求对应的访问主体。可选的，所述将所述初始访问策略数据和所述目标加密参数提供给所述第一网络请求对应的访问主体，包括：将包含有所述初始访问策略数据和所述目标加密参数的数据结构文件发送给所述第一网络请求对应的访问主体。
可选的，所述目标加密参数包含于所述第二网络请求的请求头或请求体中。
可选的，所述第一网络请求包括：第一网络请求对应的访问主体将所述目标网络数据分享给目标分享主体的分享请求；所述第一网络请求对应的第一网络行为背景标识包括：所述目标分享主体对应的网络行为背景标识。所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对所述第一网络请求对应的访问主体的用户标识信息和所述目标分享主体对应的网络行为背景标识进行加密处理。
可选的，所述对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：使用多套密钥中的目标加密密钥对所述第一网络行为背景标识进行加密处理，所述第二网络请求中包含所述目标加密密钥对应目标密钥标识；对应的，所述对所述目标加密参数进行解密，包括：使用所述目标密钥标识对应的目标解密密钥对所述目标加密参数进行解密。
可选的，所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：基于对称密钥密码体制对所述第一网络请求对应的第一网络行为背景标识进行加密处理。所述第一网络行为背景标识包括：时间戳信息。
可选的，所述第一网络请求为针对商户列表页的网络访问请求，所述第二网络请求为针对商户详情页的网络访问请求。
本申请实施例还提供一种电子设备，包括处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述方法。
本申请实施例还提供一种计算机可读存储介质，其上存储有一条或多条计算机指令，该指令被处理器执行以实现上述方法。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例提供的网络数据获取识别方法，在获取第二网络请求所携带的目标加密参数之后，对该目标加密参数进行解密，获得第一网络行为背景标识，并获取第二网络请求对应的第二网络行为背景标识，将上述第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，上述第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数。由于第二网络请求基于第一网络请求对应的网络响应数据而实现，因此，可基于第一网络请求与第二网络请求是否对应相同网络行为背景标识而确定第二网络请求是否来自网络数据获取主体，例如，如果第二网络请求为来自正常用户的网络请求，则第一网络请求与第二网络请求理应对应相同的网络行为背景标识，如果第一网络请求与第二网络请求应对应不同的网络行为背景标识，则表明第一网络请求与第二网络请求之间为基于网络数据获取任务调度***而实现的网络数据获取操作，即，第二网络请求对应的访问主体为网络数据获取主体。通过使用该方法，可针对网络数据获取任务调度***及其获取策略分配机制下的数据获取操作进行精准识别。
附图说明
图1是本申请第一实施例提供的网络数据获取识别方法流程图；
图2是本申请第一实施例提供的场景示意图；
图3是本申请第二实施例提供的网络数据获取识别装置的单元框图；
图4是本申请第三实施例提供的电子设备的逻辑结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
针对网络数据获取识别场景，为了准确识别网络数据获取行为，本申请提供了一种网络数据获取识别方法、与该方法相对应的网络数据获取识别装置、电子设备以及计算机可读存储介质。以下提供实施例对所述方法、装置、电子设备以及计算机可读存储介质进行详细说明。
本申请第一实施例提供一种网络数据获取识别方法，该方法的应用主体可以为用于识别网络数据获取行为的计算设备应用，该计算设备应用可运行于网络服务器(例如，网络购物场景或生活服务类网络应用场景中的网络平台服务器)中，或者运行于独立部署在网络服务器和客户端之的网络中间件(例如，专用于识别网络数据获取行为的终端设备)中，图1为本申请第一实施例提供的网络数据获取识别方法流程图，图2为本申请第一实施例提供的场景示意图，以下结合图1和图2对本实施例提供的网络数据获取识别方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。
如图1所示，本实施例提供的网络数据获取识别方法包括如下步骤：
S101，获取第二网络请求所携带的目标加密参数。
第二网络请求基于第一网络请求对应的网络响应数据而实现，即，对于网络访问用户而言，第一网络请求与第二网络请求具有网络访问层级关系，第二网络请求是在第一网络请求对应的网络响应数据的基础上实现的，第一网络请求为第二网络请求的前序请求，第一网络请求所访问的页面与第二网络请求所访问的页面为连续页面。如图2所示，在网络购物场景或生活服务类网络应用场景，第一网络请求可以为用户针对商户列表页的网络访问请求，第二网络请求为用户针对商户列表页中某一商户的商户详情页的网络访问请求。
目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数，即，将第一网络行为背景标识作为被加密数据、采用预定的加密函数对该加密数据进行加密处理后可获得目标加密参数，之所以对第一网络行为进行加密处理，是为了避免网络数据获取主体自主生成访问参数，从而规避本实施例的网络数据获取识别方法。
网络行为背景标识用于标识网络访问行为对应的背景信息，由于网络访问主体、网络环境、应用链路等因素的差异，每一次网络访问行为均对应有网络行为背景标识，其可以为网络访问行为对应的用户上下文信息，也可以为网络访问行为对应的应用上下文信息，还可以包含同一网络访问行为对应的用户上下文信息和应用上下文信息。
用户上下文信息用于对网络访问主体进行标识，对于来自不同用户的访问请求，其对应不同的用户上下文信息，在本实施例中，用户上下文信息可以为用户标识信息以及网络操作环境信息中的至少一种，用户标识信息可以为已注册用户的用户身份标识信息(例如，用户ID)，也可以为针对匿名用户所分配的登录会话标识信息(例如，网站为了辨别用户身份，预先对缺少用户ID以及缺少关联登录会话的匿名用户分配登陆会话ID，并将该登录会话ID存放在Cookie中之后下发至客户端，Cookie表示在网络服务器和客户端之间传递的状态信息，可用于跟踪用户)；网络操作环境信息用于对网络访问行为对应的网络操作环境进行标识，其可以为网络设备标识信息(例如，网络设备ID)以及网络设备IP地址中的至少一种。
应用上下文信息用于对网络访问行为对应的应用链路进行标识，其可以为网络请求对应的应用渠道信息(例如，来自不同网络平台的网络请求对应不同的应用渠道信息)以及应用接口信息(例如，来自相同网络平台的不同应用接口的网络请求对应不同的应用接口信息)中的至少一种。
在本实施例中，上述获取第二网络请求所携带的目标加密参数，可以是指：获取针对目标网络数据的第二网络请求所携带的目标加密参数；对应的，上述第二网络请求基于第一网络请求对应的网络响应数据而实现，可以是指：第二网络请求基于第一网络请求对应的网络响应数据中包含的针对上述目标网络数据的访问策略数据而实现，在本实施例中，目标加密参数可包含于该访问策略数据中，该访问策略数据可以为目标网络数据对应的URL(Uniform Resource Locator，统一资源定位符)，例如，用户访问网络购物平台的商户列表页(第一网络请求)，在网络平台服务器待返回的商户列表内容中，每个商户的商户详情页均对应有初始URL，在针对每个初始URL中增设上述目标加密参数或将初始URL中的部分参数替换为目标加密参数之后，获得商户详情页对应的目标URL，并将该目标URL作为第一网络请求的网络响应数据返回给用户，在用户基于该目标URL(点击该目标URL的链接)访问目标商户的商户详情页(第二网络请求)时，目标商户的商户详情页即为目标网络数据，且该目标URL中包含上述目标加密参数。
需要说明的是，第一网络请求对应的网络响应数据也可为预定格式的数据结构文件，对应的，上述访问策略数据也可包含于网络服务器返回的预定格式的数据结构文件中，例如，访问策略数据可包含于网络服务器返回的JSON文件中，客户端可基于该JSON文件拼装目标网络数据对应的URL，并在该URL中增设目标加密参数或将该URL中的部分参数替换为目标加密参数，之后获得目标网络数据对应的目标URL，并基于该目标URL访问目标网络数据(第二网络请求)。
需要说明的是，目标加密参数除了包含于上述URL的参数中之外，其还可包含于第二网络请求的请求头(header)或请求体(body)中，只需实现第二网络请求携带目标加密参数即可，在此不作限定。
与上述内容相对应，在执行步骤S101之前，本实施例的应用主体还需执行如下操作：
首先，获取响应于第一网络请求的网络响应数据，网络响应数据包含针对目标网络数据的初始访问策略数据，该初始访问策略数据可以为目标网络数据对应的初始URL，例如，用户访问网络购物平台的商户列表页(第一网络请求)，在网络平台服务器待返回的商户列表内容中，每个商户的商户详情页均对应有初始URL；
其次，获取第一网络请求对应的第一网络行为背景标识，例如，获取第一网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址以及应用渠道信息等；
然后，对第一网络请求对应的第一网络行为背景标识进行加密处理，获得目标加密参数；
最后，根据初始访问策略数据和目标加密参数，获得针对目标网络数据的目标访问策略数据，并将目标访问策略数据提供给第一网络请求对应的访问主体，例如，目标访问策略数据可以为本实施例的实施主体将初始URL中所包含的目标网络数据的标识信息替换为目标加密参数之后所获得的目标URL，或者为本实施例的实施主体在初始URL中的原始参数的基础上增设目标加密参数之后所获得的目标URL，对应的，上述将目标访问策略数据提供给第一网络请求对应的访问主体，可以是指本实施例的实施主体将目标URL提供给第一网络请求对应的访问主体。目标网络数据的标识信息用于在网络平台的内容寻址过程中标识目标网络数据，其可以为初始URL中的参数之一，例如，网络平台针对入驻商户所预设的传递参数(例如，商户内部ID)，用于在网络平台内部各***之间指定该商户。
在本实施例中，除了上述根据初始访问策略数据和目标加密参数，获得针对目标网络数据的目标访问策略数据，并将目标访问策略数据提供给第一网络请求对应的访问主体之外，还可将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，以供该访问主体基于初始访问策略数据和目标加密参数获得针对目标网络数据的目标访问策略数据，例如，目标访问策略数据可以为客户端(第一网络请求对应的访问主体)将初始URL中所包含的目标网络数据的标识信息替换为目标加密参数之后所获得的目标URL，或者为客户端(第一网络请求对应的访问主体)在初始URL中的原始参数的基础上增设目标加密参数之后所获得的目标URL。上述将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，也可以是指：将包含有初始访问策略数据和目标加密参数的数据结构文件发送给第一网络请求对应的访问主体，以供该访问主体基于该数据结构文件对目标网络数据对应的URL进行拼装，并将目标加密参数增设于该URL中，获得目标URL，并基于该目标URL访问目标网络数据。
上述加密过程可基于多套密钥或单套密钥实现，在本实施例中，为了增加数字加密过程的适用性(例如，使该加密过程适应网络平台的不同应用线)以及安全性(例如，避免因网络平台的应用***升级、数据更新等因素对加密及解密过程造成影响)，可优先基于网络平台预设的多套密钥实现上述加密过程，例如，使用多套密钥中的目标加密密钥对第一网络行为背景标识进行加密处理，每套密钥均对应有密钥标识(例如每套密钥对应的密钥ID、或对密钥进行哈希计算后获得的哈希值)，在该种情况下，第二网络请求中需包含目标加密密钥对应的目标密钥标识，例如，将该目标密钥标识作为初始URL中的一项新的参数或以其它方式返回给客户端，该目标密钥标识也可作为被加密数据的一部分。后续解密过程可基于该目标密钥标识实现。
需要说明的是，上述加密过程可基于对称密钥密码体制(加密密钥与解密密钥使用相同的密码体制)或公钥密码体制(使用不同的加密密钥与解密密钥)实现，在本实施例中，为了提升加密及解密过程的便利性，优先基于对称密钥密码体制对第一网络请求对应的第一网络行为背景标识进行加密处理，例如，针对同一网络平台，采用对称密钥密码体制进行加密及解密可提升加密及解密过程的便利性。
在本实施例中，第一网络行为背景标识还可包含第一网络请求对应的时间戳信息，将时间戳信息作为被加密数据的一部分，可在时间维度上限制加密结果的有效期，防止重放攻击。
S102，对目标加密参数进行解密，获得第一网络行为背景标识。
在上述步骤获取第二网络请求所携带的目标加密参数之后，本步骤用于对该目标加密参数进行解密处理，以此获得第一网络请求对应的第一网络行为背景标识。
与上述基于多套密钥进行数字加密相对应，在本实施例中，对目标加密参数进行解密具体可以是指：使用上述目标密钥标识对应的目标解密密钥对目标加密参数进行解密。
S103，获取第二网络请求对应的第二网络行为背景标识。
在上述步骤对目标加密参数进行解密，并获得第一网络行为背景标识之后，本步骤用于获取第二网络请求对应的第二网络行为背景标识，例如获取第二网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址以及应用渠道信息等信息中的一种或多种。
需要说明的是，本实施例中对上述步骤S102和步骤S103的实施顺序未作限定，即，也可以在获取第二网络请求对应的第二网络行为背景标识之后，对第二网络请求所携带的目标加密参数进行解密操作，并获得第一网络行为背景标识。如果在执行步骤S102之后执行步骤S103，则可按照与解密结果相适应的方式获取第二网络请求对应的第二网络行为背景标识，即，基于步骤S102中解密获得的第一网络行为背景标识，选择性地获取与该第一网络行为背景标识相同类别的第二网络行为背景标识。
S104，将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体。
在上述步骤获得第一网络行为背景标识以及第二网络行为背景标识的基础上，本步骤用于将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体。
将第一网络行为背景标识与第二网络行为背景标识进行比对的目的在于判断两次网络请求是否对应相同网络访问主体、或者是否对应相同网络操作环境、或者是否对应相同应用链路。对于正常网络请求，在具有网络访问层级关系的第一网络请求与第二网络请求之间进行跨用户访问、或者跨网络操作环境访问、或者跨应用链路访问的概率较低，因此，可基于预先配置的网络数据获取识别维度和上述比对的结果确定第二网络请求对应的访问主体是否为网络数据获取主体。
在本实施例中，可通过如下方式实现上述过程：
方式一：第一网络行为背景标识为第一网络请求对应的用户上下文信息；第二网络行为背景标识为第二网络请求对应的用户上下文信息；上述将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，具体是指：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，以此确定两次网络请求对应的用户上下文是否匹配，例如，基于网络平台的针对网络数据获取行为的识别及拦截需求所预先配置的用户上下文比对维度，将第一网络请求对应的用户标识信息(已注册用户的用户身份标识信息，或者针对匿名用户所分配的登录会话标识信息)与第二网络请求对应的用户标识信息进行比对，或者将第一网络请求对应的网络操作环境信息(网络设备ID以及网络设备IP地址中的至少一种)与第二网络请求对应的网络操作环境信息进行比对，或者将第一网络请求对应的用户标识信息以及网络操作环境信息与第二网络请求对应的用户标识信息以及网络操作环境信息进行比对，进而确定两次网络请求是否对应相同访问主体或对应相同网络操作环境；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。通过该种方式，可抵御网络数据获取任务***在网络平台的多个网页间以切换用户上下文的方式进行页面访问的特性，例如，通过比对两次网络请求的用户ID，可对抗网络数据获取任务***频繁更换用户获取网页数据的特性；通过比对匿名用户所分配的登录会话标识信息，可对抗网络数据获取***频繁更换匿名用户进行网页获取的特性；通过比对网络设备ID、网络设备IP地址等网络操作环境信息，可对抗网络数据获取任务***频繁更换网络操作环境的特性。
方式二：第一网络行为背景标识为第一网络请求对应的应用上下文信息，第二网络行为背景标识为第二网络请求对应的应用上下文信息，上述将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，具体是指：将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。通过该种方式，可抵御网络数据获取任务***频繁更换应用链路(应用渠道或应用接口)进行网页获取的特性。
方式三：第一网络行为背景标识为第一网络请求对应的用户上下文信息以及应用上下文信息，第二网络行为背景标识为第二网络请求对应的用户上下文信息以及应用上下文信息，上述将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体的过程同样可基于网络平台的针对网络数据获取行为的识别及拦截需求所预先配置的比对维度进行实施，该过程具体可以是指：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，以及将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，或者第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，或者第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配、且第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
需要说明的是，由于正常用户的数据分享操作中也存在第一网络请求与第二网络请求对应不同网络访问主体、不同网络操作环境以及不同应用链路的情况，例如，用户A将商户详情页对应的链接信息分享给用户B，用户B基于该链接信息访问商户详情页，因此，为了规避正常用户的数据分享操作以及被分享用户的数据获取请求被误识别为网络数据获取主体的数据获取操作，上述第一网络请求还可以是指第一网络请求对应的访问主体将目标网络数据分享给目标分享主体的分享请求，目标分享主体即为被分享用户，在该种情况下，第一网络请求对应的第一网络行为背景标识为目标分享主体对应的网络行为背景标识，例如，第一网络请求对应的访问主体为用户A，被分享用户为用户B，第一网络行为背景标识为用户B对应的用户ID、用户B所使用终端设备的设备ID等信息。在该场景下，上述对第一网络请求对应的第一网络行为背景标识进行加密处理是指：对目标分享主体对应的网络行为背景标识进行加密处理，例如对用户B对应的用户ID、用户B所使用终端设备的设备ID等信息进行加密处理。上述将第一网络行为背景标识与第二网络行为背景标识进行比对时，如果为正常用户，则目标分享主体对应的网络行为背景标识应与第二网络请求对应的网络行为背景标识一致。在本实施例中，上述加密过程还可以为：对第一网络请求对应的访问主体的用户标识信息和目标分享主体对应的网络行为背景标识进行加密处理(例如，对用户A的用户ID和用户B的用户ID、用户B所使用终端设备的设备ID进行加密处理)，通过将第一网络请求对应的访问主体的用户标识信息作为被加密数据的一部分，可实现对上述分享行为进行溯源。
在本实施例中，上述步骤S101中对第一网络请求对应的第一网络行为背景标识进行加密处理，还可以是指：对目标网络数据的标识信息(例如商户内部ID)和第一网络行为背景标识进行加密处理，以此将目标网络数据的标识信息作为被加密数据的一部分，其目的在于针对目标网络数据的响应过程设置核查环节，例如，只有在确定第二网络请求对应的访问主体不是网络数据获取主体之后，才可基于解密获得的商户内部ID获取目标商户详情页面，并向该访问主体返回该目标商户详情页面。
在本实施例中，当经过上述步骤确定第二网络请求对应的访问主体为网络数据获取主体之后，还需针对该第二网络请求进行拦截或预警处理。
本实施例提供的网络数据获取识别方法，在获取第二网络请求所携带的目标加密参数之后，对该目标加密参数进行解密，获得第一网络行为背景标识(第一网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息中的一种或多种)，并获取第二网络请求对应的第二网络行为背景标识(第二网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息中的一种或多种)，将上述第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，其中，上述第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数。由于第二网络请求基于第一网络请求对应的网络响应数据而实现，因此，可基于第一网络请求与第二网络请求是否对应相同网络行为背景标识而确定第二网络请求是否来自网络数据获取主体，例如，如果第二网络请求为来自正常用户的网络请求，则第一网络请求与第二网络请求理应对应相同的网络行为背景标识，即，第一网络请求与第二网络请求理应对应相同的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息；如果第一网络请求与第二网络请求应对应不同的网络行为背景标识，例如，第一网络请求与第二网络请求应对应不同的用户ID或登录会话ID，表明第一网络请求与第二网络请求为跨用户网络请求；第一网络请求与第二网络请求应对应不同的网络设备ID或网络设备IP地址，表明第一网络请求与第二网络请求为跨网络操作环境的网络请求；第一网络请求与第二网络请求应对应不同的应用渠道信息或应用接口信息，表明第一网络请求与第二网络请求为跨应用链路的网络请求；然而，对于具有网络访问层级关系的第一网络请求和第二网络请求，其跨用户、跨网络操作环境以及跨应用链路的可能性较低，而对于网络数据获取任务调度***及其获取策略分配机制下的数据获取操作，为了绕过针对网络数据获取行为的识别及拦截技术中对单IP、或者单账号的访问量的限制、以实现获取大量网络数据的目的，在针对具有网络访问层级关系的第一网络请求和第二网络请求执行获取策略分配时，其必不可少地需要以跨用户、跨网络操作环境以及跨应用链路的方式实现，因此，如果第一网络请求与第二网络请求应对应不同的网络行为背景标识，则表明第一网络请求与第二网络请求之间为基于网络数据获取任务调度***而实现的网络数据获取操作，即，第二网络请求对应的访问主体为网络数据获取主体。通过使用该方法，可针对网络数据获取任务调度***及其获取策略分配机制下的数据获取操作进行精准识别。
为了规避本实施例提供的网络数据获取识别方法，网络数据获取***不得不使用同一账户在相同的网络操作环境和相同的应用链路下执行上述具有网络访问层级关系的第一网络请求和第二网络请求，以此对连续页面进行获取，在该种情况下，存在如下两种可能结果：一、提升单个账号的请求次数，使得每个IP、每个账户上具有明显的密集操作，从而使得网络数据获取行为容易被现有的针对网络数据获取行为的识别及拦截技术识别拦截；二：提升网络数据获取行为的总请求数，增加其数据获取成本。
例如，网络数据获取***欲获取网购平台中商户列表页的首页和第二页所对应的商户详情页，每个商户列表页包含20个商户详情页的链接，在现有的网络数据获取任务调度***及其获取策略分配机制下，只需分派42(2+20*2，其中，2个网络数据获取实例获取商户列表页)个网络数据获取实例、执行42次页面访问请求即可完成对上述商户详情页的获取；如果采用本实施例提供的网络数据获取识别方法对该网购平台进行保护，则网络数据获取***需改进其任务***以规避本方案，例如，网络数据获取***需分派20个网络数据获取实例攻击商户列表页的首页对应的商户详情页，每个网络数据获取实例需分别获取首页及相应的商户详情页，共需执行40个页面访问请求，并且需分派20个网络数据获取实例攻击商户列表页的第二页对应的商户详情页，每个网络数据获取实例需获取商户列表页的首页、第二页、以及相应的商户详情页，需执行20*3个页面访问请求，即，网络数据获取***共需执行100个页面访问请求，其数据获取成本明显上升；为了降低数据获取成本以及规避本实施例提供的网络数据获取识别方法，网络数据获取***可使用单个网络数据获取实例攻击所有目标，即，使用同一网络数据获取主体执行42次页面访问请求以获取商户列表页的首页和第二页所对应的所有商户详情页，其总请求数与现有的网络数据获取任务调度***及其获取策略分配机制下的总请求数一致，然而，单个账号的密集操作较易被现有的基于IP维度、账户维度的针对网络数据获取行为的识别及拦截技术识别拦截。
上述第一实施例提供了一种网络数据获取识别方法，与之相对应的，本申请第二实施例还提供了一种网络数据获取识别装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。请参考图3理解该实施例，图3为本实施例提供的装置的单元框图，如图3所示，本实施例提供的装置包括：目标加密参数获取单元201，用于获取第二网络请求所携带的目标加密参数，第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数；目标加密参数解密单元202，用于对目标加密参数进行解密，获得第一网络行为背景标识；第二网络行为背景标识获取单元203，用于获取第二网络请求对应的第二网络行为背景标识；网络行为背景标识比对单元204，用于将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体。
第一网络行为背景标识包括：第一网络请求对应的用户上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
用户上下文信息包括如下中的至少一种：用户标识信息；网络操作环境信息；将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，包括：将第一网络请求对应的用户标识信息与第二网络请求对应的用户标识信息进行比对；和/或，将第一网络请求对应的网络操作环境信息与第二网络请求对应的网络操作环境信息进行比对。用户标识信息包括：用户身份标识信息，或针对匿名用户的登录会话标识信息。网络操作环境信息包括如下中的至少一种：网络设备标识信息；网络设备IP地址。
第一网络行为背景标识包括：第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
第一网络行为背景标识包括：第一网络请求对应的用户上下文信息以及第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息以及第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，以及将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，和/或第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
应用上下文信息包括如下中的至少一种：应用渠道信息；应用接口信息。还包括：第二网络请求拦截单元，用于对第二网络请求进行拦截。获取第二网络请求所携带的目标加密参数，包括：获取针对目标网络数据的第二网络请求所携带的目标加密参数；第二网络请求基于第一网络请求对应的网络响应数据而实现，包括：第二网络请求基于第一网络请求对应的网络响应数据中包含的针对目标网络数据的访问策略数据而实现。
还包括：网络响应数据获取单元，用于获取响应于第一网络请求的网络响应数据，网络响应数据包含针对目标网络数据的初始访问策略数据；第一网络行为背景标识获取单元，用于获取第一网络请求对应的第一网络行为背景标识；加密处理单元，用于对第一网络请求对应的第一网络行为背景标识进行加密处理，获得目标加密参数；数据提供单元，用于根据初始访问策略数据和目标加密参数，获得针对目标网络数据的目标访问策略数据，并将目标访问策略数据提供给第一网络请求对应的访问主体；或者，将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，以供该访问主体基于初始访问策略数据和目标加密参数获得针对目标网络数据目标访问策略数据。
针对目标网络数据的访问策略数据包括：目标网络数据对应的URL。目标加密参数包含于URL的参数中。对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对目标网络数据的标识信息和第一网络行为背景标识进行加密处理。针对目标网络数据的初始访问策略数据为目标网络数据对应的初始URL，针对目标网络数据的目标访问策略数据为将初始URL中所包含的目标网络数据的标识信息替换为目标加密参数之后所获得的目标URL；将目标访问策略数据提供给第一网络请求对应的访问主体，包括：将目标URL提供给第一网络请求对应的访问主体。
将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，包括：将包含有初始访问策略数据和目标加密参数的数据结构文件发送给第一网络请求对应的访问主体。目标加密参数包含于第二网络请求的请求头或请求体中。第一网络请求包括：第一网络请求对应的访问主体将目标网络数据分享给目标分享主体的分享请求；第一网络请求对应的第一网络行为背景标识包括：目标分享主体对应的网络行为背景标识。对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对第一网络请求对应的访问主体的用户标识信息和目标分享主体对应的网络行为背景标识进行加密处理。
对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：使用多套密钥中的目标加密密钥对第一网络行为背景标识进行加密处理，第二网络请求中包含目标加密密钥对应目标密钥标识；对应的，对目标加密参数进行解密，包括：使用目标密钥标识对应的目标解密密钥对目标加密参数进行解密。
对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：基于对称密钥密码体制对第一网络请求对应的第一网络行为背景标识进行加密处理。第一网络行为背景标识包括：时间戳信息。第一网络请求为针对商户列表页的网络访问请求，第二网络请求为针对商户详情页的网络访问请求。
本实施例提供的网络数据获取识别装置，在获取第二网络请求所携带的目标加密参数之后，对该目标加密参数进行解密，获得第一网络行为背景标识(第一网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息中的一种或多种)，并获取第二网络请求对应的第二网络行为背景标识(第二网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息中的一种或多种)，将上述第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，其中，上述第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数。通过使用该装置，可针对网络数据获取任务调度***及其获取策略分配机制下的数据获取操作进行精准识别。
在上述的实施例中，提供了一种网络数据获取识别方法以及一种网络数据获取识别装置，此外，本申请第三实施例还提供一种电子设备，由于电子设备实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对电子设备实施例的描述仅仅是示意性的。该电子设备实施例如下：请参考图4理解本实施例，图4为本实施例提供的电子设备的示意图。如图4所示，本实施例提供的电子设备包括：处理器301和存储器302；该存储器302用于存储网络数据获取识别方法的计算机指令，该计算机指令在被处理器301读取执行时，执行如下操作：获取第二网络请求所携带的目标加密参数，其中，第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数；对目标加密参数进行解密，获得第一网络行为背景标识；获取第二网络请求对应的第二网络行为背景标识；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体。
第一网络行为背景标识包括：第一网络请求对应的用户上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
用户上下文信息包括如下中的至少一种：用户标识信息；网络操作环境信息；将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，包括：将第一网络请求对应的用户标识信息与第二网络请求对应的用户标识信息进行比对；和/或，将第一网络请求对应的网络操作环境信息与第二网络请求对应的网络操作环境信息进行比对。用户标识信息包括：用户身份标识信息，或针对匿名用户的登录会话标识信息。网络操作环境信息包括如下中的至少一种：网络设备标识信息；网络设备IP地址。
第一网络行为背景标识包括：第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
第一网络行为背景标识包括：第一网络请求对应的用户上下文信息以及第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息以及第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，以及将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，和/或第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。应用上下文信息包括如下中的至少一种：应用渠道信息；应用接口信息。还包括：对第二网络请求进行拦截。获取第二网络请求所携带的目标加密参数，包括：获取针对目标网络数据的第二网络请求所携带的目标加密参数；第二网络请求基于第一网络请求对应的网络响应数据而实现，包括：第二网络请求基于第一网络请求对应的网络响应数据中包含的针对目标网络数据的访问策略数据而实现。还包括：获取响应于第一网络请求的网络响应数据，网络响应数据包含针对目标网络数据的初始访问策略数据；获取第一网络请求对应的第一网络行为背景标识；对第一网络请求对应的第一网络行为背景标识进行加密处理，获得目标加密参数；根据初始访问策略数据和目标加密参数，获得针对目标网络数据的目标访问策略数据，并将目标访问策略数据提供给第一网络请求对应的访问主体；或者，将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，以供该访问主体基于初始访问策略数据和目标加密参数获得针对目标网络数据目标访问策略数据。
针对目标网络数据的访问策略数据包括：目标网络数据对应的URL。目标加密参数包含于URL的参数中。对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对目标网络数据的标识信息和第一网络行为背景标识进行加密处理。针对目标网络数据的初始访问策略数据为目标网络数据对应的初始URL，针对目标网络数据的目标访问策略数据为将初始URL中所包含的目标网络数据的标识信息替换为目标加密参数之后所获得的目标URL；将目标访问策略数据提供给第一网络请求对应的访问主体，包括：将目标URL提供给第一网络请求对应的访问主体。将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，包括：将包含有初始访问策略数据和目标加密参数的数据结构文件发送给第一网络请求对应的访问主体。目标加密参数包含于第二网络请求的请求头或请求体中。
第一网络请求包括：第一网络请求对应的访问主体将目标网络数据分享给目标分享主体的分享请求；第一网络请求对应的第一网络行为背景标识包括：目标分享主体对应的网络行为背景标识；对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对第一网络请求对应的访问主体的用户标识信息和目标分享主体对应的网络行为背景标识进行加密处理。对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：使用多套密钥中的目标加密密钥对第一网络行为背景标识进行加密处理，第二网络请求中包含目标加密密钥对应目标密钥标识；对应的，对目标加密参数进行解密，包括：使用目标密钥标识对应的目标解密密钥对目标加密参数进行解密。对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：基于对称密钥密码体制对第一网络请求对应的第一网络行为背景标识进行加密处理。第一网络行为背景标识包括：时间戳信息。第一网络请求为针对商户列表页的网络访问请求，第二网络请求为针对商户详情页的网络访问请求。
本实施例提供的电子设备，在获取第二网络请求所携带的目标加密参数之后，对该目标加密参数进行解密，获得第一网络行为背景标识(第一网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息中的一种或多种)，并获取第二网络请求对应的第二网络行为背景标识(第二网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息中的一种或多种)，将上述第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，上述第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数。通过使用该电子设备，可针对网络数据获取任务调度***及其获取策略分配机制下的数据获取操作进行精准识别。
在上述的实施例中，提供了一种网络数据获取识别方法、一种网络数据获取识别装置以及一种电子设备，此外，本申请第四实施例还提供了一种用于实现网络数据获取识别方法的计算机可读存储介质。本申请提供的计算机可读存储介质实施例描述得比较简单，相关部分请参见上述方法实施例的对应说明即可，下述描述的实施例仅仅是示意性的。
本实施例提供的计算机可读存储介质上存储有计算机指令，该指令被处理器执行时实现以下步骤：获取第二网络请求所携带的目标加密参数，其中，第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数；对目标加密参数进行解密，获得第一网络行为背景标识；获取第二网络请求对应的第二网络行为背景标识；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体。
第一网络行为背景标识包括：第一网络请求对应的用户上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
用户上下文信息包括如下中的至少一种：用户标识信息；网络操作环境信息；将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，包括：将第一网络请求对应的用户标识信息与第二网络请求对应的用户标识信息进行比对；和/或，将第一网络请求对应的网络操作环境信息与第二网络请求对应的网络操作环境信息进行比对。用户标识信息包括：用户身份标识信息，或针对匿名用户的登录会话标识信息。网络操作环境信息包括如下中的至少一种：网络设备标识信息；网络设备IP地址。
第一网络行为背景标识包括：第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。
第一网络行为背景标识包括：第一网络请求对应的用户上下文信息以及第一网络请求对应的应用上下文信息；第二网络行为背景标识包括：第二网络请求对应的用户上下文信息以及第二网络请求对应的应用上下文信息；将第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，包括：将第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息进行比对，以及将第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息进行比对；如果第一网络请求对应的用户上下文信息与第二网络请求对应的用户上下文信息不匹配，和/或第一网络请求对应的应用上下文信息与第二网络请求对应的应用上下文信息不匹配，则确定第二网络请求对应的访问主体为网络数据获取主体。应用上下文信息包括如下中的至少一种：应用渠道信息；应用接口信息。还包括：对第二网络请求进行拦截。获取第二网络请求所携带的目标加密参数，包括：获取针对目标网络数据的第二网络请求所携带的目标加密参数；第二网络请求基于第一网络请求对应的网络响应数据而实现，包括：第二网络请求基于第一网络请求对应的网络响应数据中包含的针对目标网络数据的访问策略数据而实现。还包括：获取响应于第一网络请求的网络响应数据，网络响应数据包含针对目标网络数据的初始访问策略数据；获取第一网络请求对应的第一网络行为背景标识；对第一网络请求对应的第一网络行为背景标识进行加密处理，获得目标加密参数；根据初始访问策略数据和目标加密参数，获得针对目标网络数据的目标访问策略数据，并将目标访问策略数据提供给第一网络请求对应的访问主体；或者，将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，以供该访问主体基于初始访问策略数据和目标加密参数获得针对目标网络数据目标访问策略数据。
针对目标网络数据的访问策略数据包括：目标网络数据对应的URL。目标加密参数包含于URL的参数中。对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对目标网络数据的标识信息和第一网络行为背景标识进行加密处理。针对目标网络数据的初始访问策略数据为目标网络数据对应的初始URL，针对目标网络数据的目标访问策略数据为将初始URL中所包含的目标网络数据的标识信息替换为目标加密参数之后所获得的目标URL；将目标访问策略数据提供给第一网络请求对应的访问主体，包括：将目标URL提供给第一网络请求对应的访问主体。将初始访问策略数据和目标加密参数提供给第一网络请求对应的访问主体，包括：将包含有初始访问策略数据和目标加密参数的数据结构文件发送给第一网络请求对应的访问主体。目标加密参数包含于第二网络请求的请求头或请求体中。
第一网络请求包括：第一网络请求对应的访问主体将目标网络数据分享给目标分享主体的分享请求；第一网络请求对应的第一网络行为背景标识包括：目标分享主体对应的网络行为背景标识；对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对第一网络请求对应的访问主体的用户标识信息和目标分享主体对应的网络行为背景标识进行加密处理。对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：使用多套密钥中的目标加密密钥对第一网络行为背景标识进行加密处理，第二网络请求中包含目标加密密钥对应目标密钥标识；对应的，对目标加密参数进行解密，包括：使用目标密钥标识对应的目标解密密钥对目标加密参数进行解密。对第一网络请求对应的第一网络行为背景标识进行加密处理，包括：基于对称密钥密码体制对第一网络请求对应的第一网络行为背景标识进行加密处理。第一网络行为背景标识包括：时间戳信息。第一网络请求为针对商户列表页的网络访问请求，第二网络请求为针对商户详情页的网络访问请求。
本实施例提供的计算机可读存储介质上存储的计算机指令被执行后，在获取第二网络请求所携带的目标加密参数之后，对该目标加密参数进行解密，获得第一网络行为背景标识(第一网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息中的一种或多种)，并获取第二网络请求对应的第二网络行为背景标识(第二网络请求对应的用户ID、登录会话ID、网络设备ID、网络设备IP地址等用户上下文信息，以及应用渠道信息、应用接口信息等应用上下文信息中的一种或多种)，将上述第一网络行为背景标识与第二网络行为背景标识进行比对，并基于比对结果确定第二网络请求对应的访问主体是否为网络数据获取主体，上述第二网络请求基于第一网络请求对应的网络响应数据而实现，目标加密参数为对第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数。通过上述过程，可针对网络数据获取任务调度***及其获取策略分配机制下的数据获取操作进行精准识别。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (46)

1.一种网络数据获取识别方法，其特征在于，包括：
获取第二网络请求所携带的目标加密参数，其中，所述第二网络请求基于第一网络请求对应的网络响应数据而实现，所述目标加密参数为对所述第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数；
对所述目标加密参数进行解密，获得所述第一网络行为背景标识；
获取所述第二网络请求对应的第二网络行为背景标识；
将所述第一网络行为背景标识与所述第二网络行为背景标识进行比对，并基于比对结果确定所述第二网络请求对应的访问主体是否为网络数据获取主体；
其中，所述网络响应数据包含针对目标网络数据的初始访问策略数据；
所述方法还包括：根据所述初始访问策略数据和所述目标加密参数，获得针对所述目标网络数据的目标访问策略数据，并将所述目标访问策略数据提供给所述第一网络请求对应的访问主体；或者，将所述初始访问策略数据和所述目标加密参数提供给所述第一网络请求对应的访问主体，以供该访问主体基于所述初始访问策略数据和所述目标加密参数获得针对所述目标网络数据的目标访问策略数据。
2.根据权利要求1所述的方法，其特征在于，所述第一网络行为背景标识包括：所述第一网络请求对应的用户上下文信息；
所述第二网络行为背景标识包括：所述第二网络请求对应的用户上下文信息；
所述将所述第一网络行为背景标识与所述第二网络行为背景标识进行比对，并基于比对结果确定所述第二网络请求对应的访问主体是否为网络数据获取主体，包括：
将所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息进行比对；
如果所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息不匹配，则确定所述第二网络请求对应的访问主体为网络数据获取主体。
3.根据权利要求2所述的方法，其特征在于，所述用户上下文信息包括如下中的至少一种：用户标识信息；网络操作环境信息；
所述将所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息进行比对，包括：
将所述第一网络请求对应的用户标识信息与所述第二网络请求对应的用户标识信息进行比对；和/或，将所述第一网络请求对应的网络操作环境信息与所述第二网络请求对应的网络操作环境信息进行比对。
4.根据权利要求3所述的方法，其特征在于，所述用户标识信息包括：用户身份标识信息，或者，针对匿名用户的登录会话标识信息。
5.根据权利要求3所述的方法，其特征在于，所述网络操作环境信息包括如下中的至少一种：网络设备标识信息；网络设备IP地址。
6.根据权利要求1所述的方法，其特征在于，所述第一网络行为背景标识包括：所述第一网络请求对应的应用上下文信息；
所述第二网络行为背景标识包括：所述第二网络请求对应的应用上下文信息；
所述将所述第一网络行为背景标识与所述第二网络行为背景标识进行比对，并基于比对结果确定所述第二网络请求对应的访问主体是否为网络数据获取主体，包括：
将所述第一网络请求对应的应用上下文信息与所述第二网络请求对应的应用上下文信息进行比对；
如果所述第一网络请求对应的应用上下文信息与所述第二网络请求对应的应用上下文信息不匹配，则确定所述第二网络请求对应的访问主体为网络数据获取主体。
7.根据权利要求1所述的方法，其特征在于，所述第一网络行为背景标识包括：所述第一网络请求对应的用户上下文信息以及所述第一网络请求对应的应用上下文信息；
所述第二网络行为背景标识包括：所述第二网络请求对应的用户上下文信息以及所述第二网络请求对应的应用上下文信息；
所述将所述第一网络行为背景标识与所述第二网络行为背景标识进行比对，并基于比对结果确定所述第二网络请求对应的访问主体是否为网络数据获取主体，包括：
将所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息进行比对，以及将所述第一网络请求对应的应用上下文信息与所述第二网络请求对应的应用上下文信息进行比对；
如果所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息不匹配，和/或所述第一网络请求对应的应用上下文信息与所述第二网络请求对应的应用上下文信息不匹配，则确定所述第二网络请求对应的访问主体为网络数据获取主体。
8.根据权利要求6或7所述的方法，其特征在于，所述应用上下文信息包括如下中的至少一种：应用渠道信息；应用接口信息。
9.根据权利要求2、6、7中任一项所述的方法，其特征在于，还包括：对所述第二网络请求进行拦截。
10.根据权利要求1所述的方法，其特征在于，所述获取第二网络请求所携带的目标加密参数，包括：获取针对所述目标网络数据的第二网络请求所携带的目标加密参数；
所述第二网络请求基于第一网络请求对应的网络响应数据而实现，包括：所述第二网络请求基于第一网络请求对应的网络响应数据中包含的针对所述目标网络数据的访问策略数据而实现。
11.根据权利要求10所述的方法，其特征在于，还包括：
获取响应于第一网络请求的网络响应数据；
获取所述第一网络请求对应的第一网络行为背景标识；
对所述第一网络请求对应的第一网络行为背景标识进行加密处理，获得目标加密参数。
12.根据权利要求10所述的方法，其特征在于，所述针对所述目标网络数据的访问策略数据包括：所述目标网络数据对应的URL。
13.根据权利要求12所述的方法，其特征在于，所述目标加密参数包含于所述URL的参数中。
14.根据权利要求11所述的方法，其特征在于，所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对所述目标网络数据的标识信息和所述第一网络行为背景标识进行加密处理。
15.根据权利要求14所述的方法，其特征在于，所述针对所述目标网络数据的初始访问策略数据为所述目标网络数据对应的初始URL，所述针对所述目标网络数据的目标访问策略数据为将所述初始URL中所包含的所述目标网络数据的标识信息替换为所述目标加密参数之后所获得的目标URL；
所述将所述目标访问策略数据提供给所述第一网络请求对应的访问主体，包括：将所述目标URL提供给所述第一网络请求对应的访问主体。
16.根据权利要求1所述的方法，其特征在于，所述将所述初始访问策略数据和所述目标加密参数提供给所述第一网络请求对应的访问主体，包括：将包含有所述初始访问策略数据和所述目标加密参数的数据结构文件发送给所述第一网络请求对应的访问主体。
17.根据权利要求1所述的方法，其特征在于，所述目标加密参数包含于所述第二网络请求的请求头或请求体中。
18.根据权利要求10所述的方法，其特征在于，所述第一网络请求包括：第一网络请求对应的访问主体将所述目标网络数据分享给目标分享主体的分享请求；所述第一网络请求对应的第一网络行为背景标识包括：所述目标分享主体对应的网络行为背景标识；
所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对所述第一网络请求对应的访问主体的用户标识信息和所述目标分享主体对应的网络行为背景标识进行加密处理。
19.根据权利要求1或11所述的方法，其特征在于，所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：使用多套密钥中的目标加密密钥对所述第一网络行为背景标识进行加密处理，所述第二网络请求中包含所述目标加密密钥对应目标密钥标识；
对应的，所述对所述目标加密参数进行解密，包括：使用所述目标密钥标识对应的目标解密密钥对所述目标加密参数进行解密。
20.根据权利要求1或11所述的方法，其特征在于，所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：基于对称密钥密码体制对所述第一网络请求对应的第一网络行为背景标识进行加密处理。
21.根据权利要求1所述的方法，其特征在于，所述第一网络行为背景标识包括：时间戳信息。
22.根据权利要求1所述的方法，其特征在于，所述第一网络请求为针对商户列表页的网络访问请求，所述第二网络请求为针对商户详情页的网络访问请求。
23.一种网络数据获取识别装置，其特征在于，包括：
目标加密参数获取单元，用于获取第二网络请求所携带的目标加密参数，其中，所述第二网络请求基于第一网络请求对应的网络响应数据而实现，所述目标加密参数为对所述第一网络请求对应的第一网络行为背景标识进行加密处理后所获得的参数；
目标加密参数解密单元，用于对所述目标加密参数进行解密，获得所述第一网络行为背景标识；
第二网络行为背景标识获取单元，用于获取所述第二网络请求对应的第二网络行为背景标识；
网络行为背景标识比对单元，用于将所述第一网络行为背景标识与所述第二网络行为背景标识进行比对，并基于比对结果确定所述第二网络请求对应的访问主体是否为网络数据获取主体；
其中，所述网络响应数据包含针对目标网络数据的初始访问策略数据；
数据提供单元，用于根据所述初始访问策略数据和所述目标加密参数，获得针对所述目标网络数据的目标访问策略数据，并将所述目标访问策略数据提供给所述第一网络请求对应的访问主体；或者，将所述初始访问策略数据和所述目标加密参数提供给所述第一网络请求对应的访问主体，以供该访问主体基于所述初始访问策略数据和所述目标加密参数获得针对所述目标网络数据目标访问策略数据。
24.根据权利要求23所述的装置，其特征在于，所述第一网络行为背景标识包括：所述第一网络请求对应的用户上下文信息；
所述第二网络行为背景标识包括：所述第二网络请求对应的用户上下文信息；
所述将所述第一网络行为背景标识与所述第二网络行为背景标识进行比对，并基于比对结果确定所述第二网络请求对应的访问主体是否为网络数据获取主体，包括：
将所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息进行比对；
如果所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息不匹配，则确定所述第二网络请求对应的访问主体为网络数据获取主体。
25.根据权利要求24所述的装置，其特征在于，所述用户上下文信息包括如下中的至少一种：用户标识信息；网络操作环境信息；
所述将所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息进行比对，包括：
将所述第一网络请求对应的用户标识信息与所述第二网络请求对应的用户标识信息进行比对；和/或，将所述第一网络请求对应的网络操作环境信息与所述第二网络请求对应的网络操作环境信息进行比对。
26.根据权利要求25所述的装置，其特征在于，所述用户标识信息包括：用户身份标识信息，或针对匿名用户的登录会话标识信息。
27.根据权利要求25所述的装置，其特征在于，所述网络操作环境信息包括如下中的至少一种：网络设备标识信息；网络设备IP地址。
28.根据权利要求23所述的装置，其特征在于，所述第一网络行为背景标识包括：所述第一网络请求对应的应用上下文信息；
所述第二网络行为背景标识包括：所述第二网络请求对应的应用上下文信息；
所述将所述第一网络行为背景标识与所述第二网络行为背景标识进行比对，并基于比对结果确定所述第二网络请求对应的访问主体是否为网络数据获取主体，包括：
将所述第一网络请求对应的应用上下文信息与所述第二网络请求对应的应用上下文信息进行比对；
如果所述第一网络请求对应的应用上下文信息与所述第二网络请求对应的应用上下文信息不匹配，则确定所述第二网络请求对应的访问主体为网络数据获取主体。
29.根据权利要求23所述的装置，其特征在于，所述第一网络行为背景标识包括：所述第一网络请求对应的用户上下文信息以及所述第一网络请求对应的应用上下文信息；
所述第二网络行为背景标识包括：所述第二网络请求对应的用户上下文信息以及所述第二网络请求对应的应用上下文信息；
所述将所述第一网络行为背景标识与所述第二网络行为背景标识进行比对，并基于比对结果确定所述第二网络请求对应的访问主体是否为网络数据获取主体，包括：
将所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息进行比对，以及将所述第一网络请求对应的应用上下文信息与所述第二网络请求对应的应用上下文信息进行比对；
如果所述第一网络请求对应的用户上下文信息与所述第二网络请求对应的用户上下文信息不匹配，和/或所述第一网络请求对应的应用上下文信息与所述第二网络请求对应的应用上下文信息不匹配，则确定所述第二网络请求对应的访问主体为网络数据获取主体。
30.根据权利要求28或29所述的装置，其特征在于，所述应用上下文信息包括如下中的至少一种：应用渠道信息；应用接口信息。
31.根据权利要求24、28、29中任一项所述的装置，其特征在于，还包括：第二网络请求拦截单元，用于对所述第二网络请求进行拦截。
32.根据权利要求23所述的装置，其特征在于，所述获取第二网络请求所携带的目标加密参数，包括：获取针对所述目标网络数据的第二网络请求所携带的目标加密参数；
所述第二网络请求基于第一网络请求对应的网络响应数据而实现，包括：所述第二网络请求基于第一网络请求对应的网络响应数据中包含的针对所述目标网络数据的访问策略数据而实现。
33.根据权利要求32所述的装置，其特征在于，还包括：
网络响应数据获取单元，用于获取响应于第一网络请求的网络响应数据；
第一网络行为背景标识获取单元，用于获取所述第一网络请求对应的第一网络行为背景标识；
加密处理单元，用于对所述第一网络请求对应的第一网络行为背景标识进行加密处理，获得目标加密参数。
34.根据权利要求32所述的装置，其特征在于，所述针对所述目标网络数据的访问策略数据包括：所述目标网络数据对应的URL。
35.根据权利要求34所述的装置，其特征在于，所述目标加密参数包含于所述URL的参数中。
36.根据权利要求33所述的装置，其特征在于，所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对所述目标网络数据的标识信息和所述第一网络行为背景标识进行加密处理。
37.根据权利要求36所述的装置，其特征在于，所述针对所述目标网络数据的初始访问策略数据为所述目标网络数据对应的初始URL，所述针对所述目标网络数据的目标访问策略数据为将所述初始URL中所包含的所述目标网络数据的标识信息替换为所述目标加密参数之后所获得的目标URL；
所述将所述目标访问策略数据提供给所述第一网络请求对应的访问主体，包括：将所述目标URL提供给所述第一网络请求对应的访问主体。
38.根据权利要求23所述的装置，其特征在于，所述将所述初始访问策略数据和所述目标加密参数提供给所述第一网络请求对应的访问主体，包括：将包含有所述初始访问策略数据和所述目标加密参数的数据结构文件发送给所述第一网络请求对应的访问主体。
39.根据权利要求23所述的装置，其特征在于，所述目标加密参数包含于所述第二网络请求的请求头或请求体中。
40.根据权利要求32所述的装置，其特征在于，所述第一网络请求包括：第一网络请求对应的访问主体将所述目标网络数据分享给目标分享主体的分享请求；所述第一网络请求对应的第一网络行为背景标识包括：所述目标分享主体对应的网络行为背景标识；
所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：对所述第一网络请求对应的访问主体的用户标识信息和所述目标分享主体对应的网络行为背景标识进行加密处理。
41.根据权利要求23或33所述的装置，其特征在于，所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：使用多套密钥中的目标加密密钥对所述第一网络行为背景标识进行加密处理，所述第二网络请求中包含所述目标加密密钥对应目标密钥标识；
对应的，所述对所述目标加密参数进行解密，包括：使用所述目标密钥标识对应的目标解密密钥对所述目标加密参数进行解密。
42.根据权利要求23或33所述的装置，其特征在于，所述对所述第一网络请求对应的第一网络行为背景标识进行加密处理，包括：基于对称密钥密码体制对所述第一网络请求对应的第一网络行为背景标识进行加密处理。
43.根据权利要求23所述的装置，其特征在于，所述第一网络行为背景标识包括：时间戳信息。
44.根据权利要求23所述的装置，其特征在于，所述第一网络请求为针对商户列表页的网络访问请求，所述第二网络请求为针对商户详情页的网络访问请求。
45.一种电子设备，其特征在于，包括处理器和存储器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1-22任意一项所述的方法。
46.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行以实现如权利要求1-22任意一项所述的方法。
CN202010627703.2A 2020-07-01 2020-07-01 一种网络数据获取识别方法以及装置 Active CN111818038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010627703.2A CN111818038B (zh) 2020-07-01 2020-07-01 一种网络数据获取识别方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010627703.2A CN111818038B (zh) 2020-07-01 2020-07-01 一种网络数据获取识别方法以及装置

Publications (2)

Publication Number Publication Date
CN111818038A CN111818038A (zh) 2020-10-23
CN111818038B true CN111818038B (zh) 2023-01-31

Family

ID=72856234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010627703.2A Active CN111818038B (zh) 2020-07-01 2020-07-01 一种网络数据获取识别方法以及装置

Country Status (1)

Country Link
CN (1) CN111818038B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781425B (zh) * 2023-08-21 2023-11-07 太平金融科技服务(上海)有限公司深圳分公司 一种业务数据获取方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102684884A (zh) * 2012-05-24 2012-09-19 杭州华三通信技术有限公司 一种Portal Web服务器及其防止伪造下线请求的方法
CN102752288A (zh) * 2012-06-06 2012-10-24 华为技术有限公司 网络访问行为识别方法和装置
US9344407B1 (en) * 2013-09-05 2016-05-17 Amazon Technologies, Inc. Centrally managed use case-specific entity identifiers
CN106549925A (zh) * 2015-09-23 2017-03-29 阿里巴巴集团控股有限公司 防止跨站点请求伪造的方法、装置及***
US9998435B1 (en) * 2011-03-08 2018-06-12 Ciphercloud, Inc. System and method to anonymize data transmitted to a destination computing device
CN109218334A (zh) * 2018-11-13 2019-01-15 迈普通信技术股份有限公司 数据处理方法、装置、接入控制设备、认证服务器及***
CN110198328A (zh) * 2018-03-05 2019-09-03 腾讯科技（深圳）有限公司 客户端识别方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10439804B2 (en) * 2017-10-27 2019-10-08 EMC IP Holding Company LLC Data encrypting system with encryption service module and supporting infrastructure for transparently providing encryption services to encryption service consumer processes across encryption service state changes
CN111193698B (zh) * 2019-08-22 2021-09-28 腾讯科技（深圳）有限公司 数据处理方法、装置、终端及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9998435B1 (en) * 2011-03-08 2018-06-12 Ciphercloud, Inc. System and method to anonymize data transmitted to a destination computing device
CN102684884A (zh) * 2012-05-24 2012-09-19 杭州华三通信技术有限公司 一种Portal Web服务器及其防止伪造下线请求的方法
CN102752288A (zh) * 2012-06-06 2012-10-24 华为技术有限公司 网络访问行为识别方法和装置
US9344407B1 (en) * 2013-09-05 2016-05-17 Amazon Technologies, Inc. Centrally managed use case-specific entity identifiers
CN106549925A (zh) * 2015-09-23 2017-03-29 阿里巴巴集团控股有限公司 防止跨站点请求伪造的方法、装置及***
CN110198328A (zh) * 2018-03-05 2019-09-03 腾讯科技（深圳）有限公司 客户端识别方法、装置、计算机设备和存储介质
CN109218334A (zh) * 2018-11-13 2019-01-15 迈普通信技术股份有限公司 数据处理方法、装置、接入控制设备、认证服务器及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于ResNet的网络流量识别方法;代志康，吴秋新，程希明;《北京信息科技大学学报》;20200228;82-88 *

Also Published As

Publication number Publication date
CN111818038A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US9152808B1 (en) Adapting decoy data present in a network
KR20110055392A (ko) 사용자 기반의 ｄｎｓ 서버 접근 제어
US10440132B2 (en) Tracking application usage in a computing environment
CN109802919B (zh) 一种web网页访问拦截方法及装置
US11704133B2 (en) Isolating applications at the edge
EP4109861A1 (en) Data processing method, apparatus, computer device, and storage medium
US9769323B2 (en) Techniques for zero rating through redirection
CN109361574B (zh) 基于JavaScript脚本的NAT检测方法、***、介质和设备
JP2019519849A (ja) サーバへの攻撃を防ぐ方法及びデバイス
US10243957B1 (en) Preventing leakage of cookie data
CN108156118A (zh) 用户身份标识方法及装置
CN110619022B (zh) 基于区块链网络的节点检测方法、装置、设备及存储介质
CN111818038B (zh) 一种网络数据获取识别方法以及装置
US10956375B2 (en) Shuffling file digests stored in data stores of a distributed file system
CN107276998B (zh) 一种基于OpenSSL的性能优化方法及装置
CN106295366B (zh) 敏感数据识别方法及装置
US10853057B1 (en) Software library versioning with caching
US11652849B2 (en) Identifying recommended feature sets based on application feature popularity
US11588678B2 (en) Generating incident response action recommendations using anonymized action implementation data
CN113055359B (zh) 基于区块链的IPv6域名数据隐私保护方法及相关设备
US11960623B2 (en) Intelligent and reversible data masking of computing environment information shared with external systems
CN113676561A (zh) 域名访问控制方法及装置
US20160337318A1 (en) Anti-tampering system
US11861039B1 (en) Hierarchical system and method for identifying sensitive content in data
CN114401120A (zh) 一种对象溯源的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant