CN111767315B - 黑产识别方法、装置、电子设备及存储介质 - Google Patents
黑产识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111767315B CN111767315B CN202010609640.8A CN202010609640A CN111767315B CN 111767315 B CN111767315 B CN 111767315B CN 202010609640 A CN202010609640 A CN 202010609640A CN 111767315 B CN111767315 B CN 111767315B
- Authority
- CN
- China
- Prior art keywords
- access
- dimension
- identifier
- identification
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种黑产识别方法、装置、电子设备及存储介质,所述黑产识别方法,包括:获取用户访问业务***的访问信息;在所述访问信息中按照预设核心维度提取第一维度标识;按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识;基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户。本发明实施例能够实现在缓存中自动进行关联关系查找,关联关系树可以便于追溯黑产关联情况,便于及时识别黑产,缩短识别黑产的时间,提高黑产识别速度,节省时间成本和开发成本,避免黑产给公司带来更大损失。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种黑产识别方法、装置、电子设备及存储介质。
背景技术
网络黑产(以下简称“黑产”),指以互联网为媒介,以网络技术为主要手段,为计算机信息***安全和网络空间管理秩序等带来潜在威胁(重大安全隐患)的非法行为。黑产会通过频繁切换手机号或者设备号等方式来进行撞库或者薅羊毛等,导致业务***中很多直接基于手机号或者设备号设置的风控策略失效。
目前,在安全风控和推荐***中都会去运用图数据库进行关联性分析。然而,现有的分析技术往往都是离线的(例如一天分析一次),需要跟数据开发人员提需求,存在实时性差、开发成本高的问题,从运营发现问题到提出需求、开发、测试、上线、策略生效往往需要1天以上时间,期间黑产可能已经造成了公司巨大的损失,所以,目前的黑产识别方法存在效率低、实时性差的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种黑产识别方法、装置、电子设备及存储介质。
第一方面,本申请提供了一种黑产识别方法,包括:
获取用户访问业务***的访问信息;
在所述访问信息中按照预设核心维度提取第一维度标识;
按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识;
基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;
若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户。
可选的,所述方法还包括:
在日志队列中待消费的访问日志中按照所述预设核心维度提取至少两个第一维度标识,所述访问日志用于存储用户访问业务***的访问信息;
将所述第一维度标识之间的关联关系存入缓存;
消费所述待消费的访问日志。
可选的,所述第一维度标识包括:第一用户标识,所述按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识,包括:
在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
根据所述第一访问设备的设备标识在所述缓存中查找使用所述第一访问设备历史访问业务***的第二用户标识;
在所述缓存中查找所述第二用户标识历史访问业务***时使用的第二访问设备;
将所述第一访问设备的设备标识及所述第二访问设备的设备标识确定为所述第二维度标识。
可选的,所述按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识,包括:
在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
根据所述第一访问设备的设备标识在所述缓存中查找所述第一访问设备访问所述业务***时的访问行为特征;
在所述缓存中查找与所述访问行为特征匹配的第三访问设备;
确定所述第三访问设备的设备标识为所述第二维度标识。
可选的,在所述关联关系树中查找所述用户历史访问业务***时使用的第四访问设备;
根据所述第四访问设备的设备标识在所述关联关系树中查找与所述第四访问设备的设备标识关联的第三用户标识;
将所述第三用户标识确定为黑产用户标识。
可选的,所述方法还包括:
在所述关联关系树中查找与所述第三用户标识关联的第五访问设备的设备标识;
将所述第五访问设备的设备标识确定为黑产设备标识。
可选的,所述方法还包括:
在所述关联关系树中查找与所述第四访问设备的设备标识关联的访问行为特征;
在所述关联关系树中查找与所述访问行为特征匹配的第六访问设备;
将所述第六访问设备的设备标识确定为黑产设备标识。
第二方面,本申请提供了一种黑产识别装置,包括:
获取模块,用于获取用户访问业务***的访问信息;
提取模块,用于在所述访问信息中按照预设核心维度提取第一维度标识;
查询模块,用于按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识;
构建模块,用于基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;
第一确定模块,用于若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户。
可选的,所述装置还包括:
标识提取模块,用于在日志队列中待消费的访问日志中按照所述预设核心维度提取至少两个第一维度标识,所述访问日志用于存储用户访问业务***的访问信息;
关系存储模块,用于将所述第一维度标识之间的关联关系存入缓存;
消费模块,用于消费所述待消费的访问日志。
可选的,所述第一维度标识包括:第一用户标识,所述查询模块,包括:
第一设备查找单元,用于在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
第一标识查找单元,用于根据所述第一访问设备的设备标识在所述缓存中查找使用所述第一访问设备历史访问业务***的第二用户标识;
第二设备查找单元,用于在所述缓存中查找所述第二用户标识历史访问业务***时使用的第二访问设备;
第一确定单元,用于将所述第一访问设备的设备标识及所述第二访问设备的设备标识确定为所述第二维度标识。
可选的,所述查询模块,包括:
第三查找单元,用于在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
特征查找单元,用于根据所述第一访问设备的设备标识在所述缓存中查找所述第一访问设备访问所述业务***时的访问行为特征;
第三设备查找单元,用于在所述缓存中查找与所述访问行为特征匹配的第三访问设备;
第二确定单元,用于确定所述第三访问设备的设备标识为所述第二维度标识。
可选的,所述装置还包括:
查找模块,用于在所述关联关系树中查找所述用户历史访问业务***时使用的第四访问设备;
第一标识查找模块,用于根据所述第四访问设备的设备标识在所述关联关系树中查找与所述第四访问设备的设备标识关联的第三用户标识;
第二确定模块,用于将所述第三用户标识确定为黑产用户标识。
可选的,所述装置还包括:
第二标识查找模块,用于在所述关联关系树中查找与所述第三用户标识关联的第五访问设备的设备标识;
第三确定模块,用于将所述第五访问设备的设备标识确定为黑产设备标识。
可选的,所述装置还包括:
特征查找模块,用于在所述关联关系树中查找与所述第四访问设备的设备标识关联的访问行为特征;
设备查找模块,用于在所述关联关系树中查找与所述访问行为特征匹配的第六访问设备;
第四确定模块,用于将所述第六访问设备的设备标识确定为黑产设备标识。
第三方面,本申请提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的黑产识别方法。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有黑产识别方法的程序,所述黑产识别方法的程序被处理器执行时实现第一方面任一所述的黑产识别方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本发明实施例通过首先获取用户访问业务***的访问信息,再在所述访问信息中按照预设核心维度提取第一维度标识,然后按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识,再基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;若所述关联关系树中存在任一节点位于预设黑名单中,最后可以确定所述用户为黑产用户。
本发明实施例通过在有用户访问业务***时,即可自动触发在访问信息中提取第一维度标识,在缓存中查找与第一维度标识关联的第二维度标识,并基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户,实现在缓存中自动进行关联关系查找,关联关系树可以便于追溯黑产关联情况,便于及时识别黑产,缩短识别黑产的时间,提高黑产识别速度,节省时间成本和开发成本,避免黑产给公司带来更大损失。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种黑产识别方法的一种流程图;
图2为本申请实施例提供的一种关联关系树的结构示意图;
图3为本申请实施例提供的一种黑产识别方法的另一种流程图;
图4为图1中步骤S103的一种流程图;
图5为图1中步骤S103的另一种流程图;
图6为本申请实施例提供的一种黑产识别方法的另一种流程图;
图7为本申请实施例提供的一种黑产识别方法的另一种流程图;
图8为本申请实施例提供的一种黑产识别方法的另一种流程图;
图9为本申请实施例提供的一种黑产识别装置的结构图;
图10为本申请实施例提供的一种电子设备的内部结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,在安全风控和推荐***中都会去运用图数据库进行关联性分析。然而,现有的分析技术往往都是离线的(一天分析一次),需要跟数据开发同学提需求,存在实时性差、开发成本高的问题,从运营发现问题到提出需求、开发、测试、上线、策略生效往往需要1天以上时间,期间黑产可能已经造成了公司巨大的损失。为此,本发明实施例提供了一种黑产识别方法、装置、电子设备及存储介质,所述黑产识别方法可以应用于黑产识别***中,每次在用户通过网站或者APP访问业务***时,业务***调用风控服务,风控服务一方面根据业务***收集的访问信息生成访问日志,将访问日志存入日志队列,黑产识别***包括数据采集模块和多跳批量查询引擎,数据采集模块用于监听日志队列,在日志队列中存入访问日志时,提取该访问日志中维度标识之间的关联关系,并存入缓存中;风控服务另一方面可以调用多跳批量查询引擎,多跳批量查询引擎用于根据该访问日志中的第一维度标识,按照预设多跳批量查询规则在缓存中查询关联的第二维度标识,并存储关联关系树,以用于黑产识别。
如图1所示,黑产识别方法可以包括以下步骤:
步骤S101,获取用户访问业务***的访问信息;
在该步骤中,在接收到风控服务的调用消息时,可以从风控服务获取该用户访问业务***时的访问信息,访问信息中可以包括:用户标识、设备标识、设备指纹、IP地址、连接时间、URI和收发字节数等信息。
步骤S102,在所述访问信息中按照预设核心维度提取第一维度标识;
在本发明实施例中,预设核心维度可以指用户标识、设备标识和设备指纹等,第一维度标识可以指按照预设核心维度在访问信息中提取出来的维度标识,如:预设核心维度为用户标识UID,则相应的,第一维度标识可以为“UID:001”;预设核心维度为设备标识DID,则相应的,第一维度标识可以为“DID:1111”;预设核心维度还可以为用于唯一标识出该设备的设备特征或者独特的设备标识的设备指纹,在实际应用中,设备的特征集合可以用来当做设备指纹,如可以将设备的名称、型号、形状、颜色和功能等各个特征结合起来用于作为设备的标识,如可以将用户标识UID+设备标识DID+设备MAC地址+浏览器标识UA等等的组合设置为设备指纹,则相应的,第一维度标识为:“UID:001”+“DID:1111”+“MAC:0C-96-E7-D6-75-3D”+“UA:abdmeigsligogjg1234”
在该步骤中,可以在访问信息中查找预设核心维度对应的字段,将查找到的字段及该字段对应的值确定为第一维度标识。
步骤S103,按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识;
在本发明实施例中,预设多跳批量查询规则为运维人员预先配置的查询规则,预设多跳批量查询规则中可以包括:在缓存中查询与第一维度标识关联的第二维度标识时所依据的预设核心维度链,预设核心维度链中可以包含至少一个预设核心维度,在查询时,以第一维度标识为起始,每跳依据指定的预设核心维度、经过多跳的查询,得到批量的第二维度标识,例如:如图2所示,假设第一维度标识为用户标识,预设核心维度链中包括:设备标识及用户标识,则在进行查询时,首先在缓存中查找与第一维度标识(用户标识)关联的设备标识,再查找与设备标识关联的用户标识,最终查找到的用户标识即为第二维度标识。
步骤S104,基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点。
在该步骤中,可以构建包含每一跳查询时得到的查询结果,以及依据该查询结果进行下一跳查询时得到的查询结果……及最后一跳查询时得到的查询结果的关联关系树,并存储该关联关系树,以用于黑产识别。
步骤S105,若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户。
在本发明实施例中,黑名单中的黑产设备标识可以为运维人员通过人工手段或者其它自动手段预先确定的。
在该步骤中,可以将关联关系树中的每个第一设备标识分别与黑名单中的每个黑产设备标识匹配。
在实际应用中,黑名单中也可以包含用户标识,相应的,第二维度标识中还可以包括用户标识,需要将关联关系树中的每个用户标识分别与黑名单中的每个用户标识匹配。
在进行黑产识别时,可以将关联关系树中的每一个节点分别与预设黑名单中的标识进行对比,若关联关系树中存在任一节点位于预设黑名单中,则可以确定该用户为黑产用户。
本发明实施例通过首先获取用户访问业务***的访问信息,再在所述访问信息中按照预设核心维度提取第一维度标识,然后按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识,再基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;若所述关联关系树中存在任一节点位于预设黑名单中,最后可以确定所述用户为黑产用户。
本发明实施例通过在有用户访问业务***时,即可自动触发在访问信息中提取第一维度标识,在缓存中查找与第一维度标识关联的第二维度标识,并基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户,实现在缓存中自动进行关联关系查找,关联关系树可以便于追溯黑产关联情况,便于及时识别黑产,缩短识别黑产的时间,提高黑产识别速度,节省时间成本和开发成本,避免黑产给公司带来更大损失。
在本发明的又一实施例中,如图3所示,所述方法还包括:
步骤S201,在日志队列中待消费的访问日志中按照所述预设核心维度提取至少两个第一维度标识。
在本发明实施例中,日志队列中可以按照时间先后顺序存储有若干个访问日志,日志队列中的访问日志可以按照指定顺序逐个进行消费,所述访问日志用于存储用户访问业务***的访问信息;
在该步骤中,在每个待消费的访问日志被消费掉之前,可以在该访问日志中按照预设核心维度提取至少两个第一维度标识,如:预设核心维度可以为用户标识、设备标识或者设备指纹,则可以按照预设核心维度,在访问日志中查找与之匹配的字段,将该字段及该字段的字段值确定为第一维度标识。
步骤S202,将所述第一维度标识之间的关联关系存入缓存;
在该步骤中,可以为提取出来的至少两个第一维度标识,建立关联关系,并将该关联关系存入缓存,以便于在进行多条批量查询时,在缓存中查找与第一维度标识的第二维度标识。
步骤S203,消费所述待消费的访问日志。
本发明实施例能够自动在每个用户的访问日志中提取关联关系,并存入缓存,在每个用户的访问日志中均提取并存入缓存的关联关系,可以为后续在缓存中进行多跳批量查询做准备,相较于不提前收集关联关系的,本发明实施例便于提高黑产识别的效率,节省查找时间。
在本发明的又一实施例中,所述第一维度标识包括:第一用户标识,示例性的,如:UID:001,如图4所示,所述步骤S103包括:
步骤S301,在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
示例性的,在实际应用中,若UID:001曾经使用3个访问设备访问业务***,则可以在缓存中查找到3个第一访问设备的设备标识;若UID:001曾经使用20个访问设备访问业务***,则可以在缓存中查找到20个第一访问设备的设备标识。
步骤S302,根据所述第一访问设备的设备标识在所述缓存中查找使用所述第一访问设备历史访问业务***的第二用户标识;
示例性的,在实际应用中,若DID:1111对应的访问设备上曾经有5个账号访问业务***,则可以根据第一访问设备的设备标识在缓存中查找到5个第二用户标识,若DID:1111对应的访问设备上曾经有30个账号访问业务***,则可以根据第一访问设备的设备标识在缓存中查找到30个第二用户标识.
步骤S303,在所述缓存中查找所述第二用户标识历史访问业务***时使用的第二访问设备;
示例性的,在实际应用中,若UID:002曾经使用2个访问设备访问业务***,则可以在缓存中查找到2个第二访问设备的设备标识;若UID:002曾经使用15个访问设备访问业务***,则可以在缓存中查找到150个第二访问设备的设备标识。
步骤S304,将所述第一访问设备的设备标识及所述第二访问设备的设备标识确定为所述第二维度标识。
在实际应用中,在更容易确定设备为黑产设备时,可以如步骤S304将设备标识确定为第二维度标识;在更容易确定账号为黑产账号时,也可以将用户标识确定为第二维度标识,此处可以根据实际情况进行设置。
本发明实施例能够自动通过多跳查询实现在缓存中批量查询与第一维度标识对应的第二维度标识,自动进行关联关系查找,便于及时识别黑产,缩短识别黑产的时间,节省时间成本和开发成本,避免黑产给公司带来更大损失。
在本发明的又一实施例中,如图5所示,所述步骤S103包括:
步骤S401,在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
示例性的,在实际应用中,若UID:001曾经使用3个访问设备访问业务***,则可以在缓存中查找到3个第一访问设备的设备标识;若UID:001曾经使用20个访问设备访问业务***,则可以在缓存中查找到20个第一访问设备的设备标识。
步骤S402,根据所述第一访问设备的设备标识在所述缓存中查找所述第一访问设备访问所述业务***时的访问行为特征;
示例性的,在实际应用中,若第一访问设备在访问业务***时具有3个访问行为特征,则在缓存中可以查找到3个访问行为特征。
步骤S403,在所述缓存中查找与所述访问行为特征匹配的第三访问设备;
示例性的,在实际应用中,可以在缓存中查找到同样具有如步骤S402中的3个访问行为特征的访问设备。
步骤S404,确定所述第三访问设备的设备标识为所述第二维度标识。
本发明实施例能够自动通过多跳查询实现在缓存中批量查询与第一维度标识对应的第二维度标识,自动进行关联关系查找,便于及时识别黑产,缩短识别黑产的时间,节省时间成本和开发成本,避免黑产给公司带来更大损失。
在本发明的又一实施例中,如图6所示,所述方法还包括:
步骤S501,在所述关联关系树中查找所述用户历史访问业务***时使用的第四访问设备;
在该步骤中,在确认该用户为黑产用户后,可以继续在关联关系树中查找该用户历史访问业务***时使用的第四访问设备。
步骤S502,根据所述第四访问设备的设备标识在所述关联关系树中查找与所述第四访问设备的设备标识关联的第三用户标识;
在该步骤中,在查找到用户历史访问业务***时使用的第四访问设备后,可以根据第四访问设备的设备标识在所述关联关系树中继续查找与第四访问设备的设备标识关联的第三用户标识,即:使用第四访问设备登录过的用户的用户标识。
步骤S503,将所述第三用户标识确定为黑产用户标识。
本发明实施例能够自动识别黑产设备(即:第四访问设备),并将与黑产设备关联的用户标识确定为黑产用户标识(即第三用户标识),即将在黑产设备上登录过的账号确定为黑产成员,实现黑产的及时识别,进而便于对黑产成员进行相应的惩罚,减少黑产对公司造成的损失。
在本发明的又一实施例中,如图7所示,所述方法还包括:
步骤S601,在所述关联关系树中查找与所述第三用户标识关联的第五访问设备的设备标识;
步骤S602,将所述第五访问设备的设备标识确定为黑产设备标识。
本发明实施例能够在自动识别黑产设备,并将与黑产设备关联的用户标识确定为黑产成员的基础上,还可以将黑产设备上登录过的账号历史访问使用的其它访问设备也确定为黑产成员,实现黑产的及时识别,进而便于对黑产成员进行相应的惩罚,减少黑产对公司造成的损失。
在本发明的又一实施例中,如图8所示,所述方法还包括:
步骤S701,在所述关联关系树中查找与所述第四访问设备的设备标识关联的访问行为特征;
在本发明实施例中,访问行为特征可以指第四访问设备访问业务***时的行为特征,如:是否登录频繁等。
步骤S702,在所述关联关系树中查找与所述访问行为特征匹配的第六访问设备;
步骤S703,将所述第六访问设备的设备标识确定为黑产设备标识。
本发明实施例能够在自动识别黑产设备的基础上,将与该黑产设备具有同样访问行为特征的其它访问设备也确定为黑产设备,实现黑产的及时识别,进而便于对黑产成员进行相应的惩罚,减少黑产对公司造成的损失。
在本发明的又一实施例中,还提供一种黑产识别装置,如图9所示,包括:
获取模块11,用于获取用户访问业务***的访问信息;
提取模块12,用于在所述访问信息中按照预设核心维度提取第一维度标识;
查询模块13,用于按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识;
构建模块14,用于基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;
第一确定模块15,用于若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户。
本发明实施例通过首先获取用户访问业务***的访问信息,再在所述访问信息中按照预设核心维度提取第一维度标识,然后按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识,再基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;若所述关联关系树中存在任一节点位于预设黑名单中,最后可以确定所述用户为黑产用户。
本发明实施例通过在有用户访问业务***时,即可自动触发在访问信息中提取第一维度标识,在缓存中查找与第一维度标识关联的第二维度标识,并基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户,实现在缓存中自动进行关联关系查找,关联关系树可以便于追溯黑产关联情况,便于及时识别黑产,缩短识别黑产的时间,提高黑产识别速度,节省时间成本和开发成本,避免黑产给公司带来更大损失。
可选的,所述装置还包括:
标识提取模块,用于在日志队列中待消费的访问日志中按照所述预设核心维度提取至少两个第一维度标识,所述访问日志用于存储用户访问业务***的访问信息;
关系存储模块,用于将所述第一维度标识之间的关联关系存入缓存;
消费模块,用于消费所述待消费的访问日志。
可选的,所述第一维度标识包括:第一用户标识,所述查询模块,包括:
第一设备查找单元,用于在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
第一标识查找单元,用于根据所述第一访问设备的设备标识在所述缓存中查找使用所述第一访问设备历史访问业务***的第二用户标识;
第二设备查找单元,用于在所述缓存中查找所述第二用户标识历史访问业务***时使用的第二访问设备;
第一确定单元,用于将所述第一访问设备的设备标识及所述第二访问设备的设备标识确定为所述第二维度标识。
可选的,所述查询模块,包括:
第三查找单元,用于在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
特征查找单元,用于根据所述第一访问设备的设备标识在所述缓存中查找所述第一访问设备访问所述业务***时的访问行为特征;
第三设备查找单元,用于在所述缓存中查找与所述访问行为特征匹配的第三访问设备;
第二确定单元,用于确定所述第三访问设备的设备标识为所述第二维度标识。
可选的,可选的,所述装置还包括:
查找模块,用于在所述关联关系树中查找所述用户历史访问业务***时使用的第四访问设备;
第一标识查找模块,用于根据所述第四访问设备的设备标识在所述关联关系树中查找与所述第四访问设备的设备标识关联的第三用户标识;
第二确定模块,用于将所述第三用户标识确定为黑产用户标识。
可选的,所述装置还包括:
第二标识查找模块,用于在所述关联关系树中查找与所述第三用户标识关联的第五访问设备的设备标识;
第三确定模块,用于将所述第五访问设备的设备标识确定为黑产设备标识。
可选的,所述装置还包括:
特征查找模块,用于在所述关联关系树中查找与所述第四访问设备的设备标识关联的访问行为特征;
设备查找模块,用于在所述关联关系树中查找与所述访问行为特征匹配的第六访问设备;
第四确定模块,用于将所述第六访问设备的设备标识确定为黑产设备标识。
在本发明的又一实施例中,还提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现前述方法实施例所述的黑产识别方法。
本发明实施例提供的电子设备,处理器通过执行存储器上所存放的程序实现了首先获取用户访问业务***的访问信息,再在所述访问信息中按照预设核心维度提取第一维度标识,然后按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识,最后可以存储所述第一维度标识与所述第二维度标识之间关联的关联关系树,以用于黑产识别。实现在缓存中自动进行关联关系查找,关联关系树可以便于追溯黑产关联情况,便于及时识别黑产,缩短识别黑产的时间,节省时间成本和开发成本,避免黑产给公司带来更大损失。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory,简称RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器1110可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明的又一实施例中,还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有黑产识别方法的程序,所述黑产识别方法的程序被处理器执行时实现前述方法实施例所述的黑产识别方法的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种黑产识别方法,其特征在于,包括:
获取用户访问业务***的访问信息;
在所述访问信息中按照预设核心维度提取第一维度标识;
按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识;
基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;
若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户。
2.根据权利要求1所述的黑产识别方法,其特征在于,所述方法还包括:
在日志队列中待消费的访问日志中按照所述预设核心维度提取至少两个第一维度标识,所述访问日志用于存储用户访问业务***的访问信息;
将所述第一维度标识之间的关联关系存入缓存;
消费所述待消费的访问日志。
3.根据权利要求1所述的黑产识别方法,其特征在于,所述第一维度标识包括:第一用户标识,所述按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识,包括:
在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
根据所述第一访问设备的设备标识在所述缓存中查找使用所述第一访问设备历史访问业务***的第二用户标识;
在所述缓存中查找所述第二用户标识历史访问业务***时使用的第二访问设备;
将所述第一访问设备的设备标识及所述第二访问设备的设备标识确定为所述第二维度标识。
4.根据权利要求3所述的黑产识别方法,其特征在于,所述按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识,包括:
在所述缓存中查找所述第一用户标识历史访问业务***时使用的第一访问设备;
根据所述第一访问设备的设备标识在所述缓存中查找所述第一访问设备访问所述业务***时的访问行为特征;
在所述缓存中查找与所述访问行为特征匹配的第三访问设备;
确定所述第三访问设备的设备标识为所述第二维度标识。
5.根据权利要求1所述的黑产识别方法,其特征在于,所述方法还包括:
在所述关联关系树中查找所述用户历史访问业务***时使用的第四访问设备;
根据所述第四访问设备的设备标识在所述关联关系树中查找与所述第四访问设备的设备标识关联的第三用户标识;
将所述第三用户标识确定为黑产用户标识。
6.根据权利要求5所述的黑产识别方法,其特征在于,所述方法还包括:
在所述关联关系树中查找与所述第三用户标识关联的第五访问设备的设备标识;
将所述第五访问设备的设备标识确定为黑产设备标识。
7.根据权利要求5所述的黑产识别方法,其特征在于,所述方法还包括:
在所述关联关系树中查找与所述第四访问设备的设备标识关联的访问行为特征;
在所述关联关系树中查找与所述访问行为特征匹配的第六访问设备;
将所述第六访问设备的设备标识确定为黑产设备标识。
8.一种黑产识别装置,其特征在于,包括:
获取模块,用于获取用户访问业务***的访问信息;
提取模块,用于在所述访问信息中按照预设核心维度提取第一维度标识;
查询模块,用于按照预设多跳批量查询规则查询缓存中与所述第一维度标识关联的第二维度标识;
构建模块,用于基于所述第一维度标识与所述第二维度标识之间关联关系构建关联关系树,所述关联关系树包含多个节点;
第一确定模块,用于若所述关联关系树中存在任一节点位于预设黑名单中,确定所述用户为黑产用户。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1~7任一所述的黑产识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有黑产识别方法的程序,所述黑产识别方法的程序被处理器执行时实现权利要求1-7任一所述的黑产识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010609640.8A CN111767315B (zh) | 2020-06-29 | 2020-06-29 | 黑产识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010609640.8A CN111767315B (zh) | 2020-06-29 | 2020-06-29 | 黑产识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111767315A CN111767315A (zh) | 2020-10-13 |
CN111767315B true CN111767315B (zh) | 2023-07-04 |
Family
ID=72722949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010609640.8A Active CN111767315B (zh) | 2020-06-29 | 2020-06-29 | 黑产识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111767315B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112533209B (zh) * | 2020-12-10 | 2023-07-25 | 中国联合网络通信集团有限公司 | 黑产识别方法及黑产识别装置 |
CN112954685B (zh) * | 2021-01-29 | 2022-11-18 | 上海安恒时代信息技术有限公司 | 黑灰产手机号码识别方法及*** |
CN114785546B (zh) * | 2022-03-15 | 2024-04-26 | 上海聚水潭网络科技有限公司 | 一种基于业务日志和ip情报的ip溯源方法及*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013181972A1 (zh) * | 2012-06-06 | 2013-12-12 | 华为技术有限公司 | 网络访问行为识别方法和装置 |
US8666841B1 (en) * | 2007-10-09 | 2014-03-04 | Convergys Information Management Group, Inc. | Fraud detection engine and method of using the same |
CN108737410A (zh) * | 2018-05-14 | 2018-11-02 | 辽宁大学 | 一种基于特征关联的有限知工业通信协议异常行为检测方法 |
CN110473083A (zh) * | 2019-07-08 | 2019-11-19 | 阿里巴巴集团控股有限公司 | 树状风险账户识别方法、装置、服务器及存储介质 |
CN110765168A (zh) * | 2019-11-01 | 2020-02-07 | 福建顶点软件股份有限公司 | 基于用户信息的数据查找方法和装置 |
CN111291353A (zh) * | 2020-02-05 | 2020-06-16 | 深信服科技股份有限公司 | 一种账号关联方法、装置以及计算机存储介质 |
CN111311276A (zh) * | 2020-02-07 | 2020-06-19 | 北京明略软件***有限公司 | 一种异常用户团体的识别方法、识别装置及可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8875229B2 (en) * | 2012-12-21 | 2014-10-28 | International Business Machines Corporation | Quantifying risk based on relationships and applying protections based on business rules |
US10572442B2 (en) * | 2014-11-26 | 2020-02-25 | Microsoft Technology Licensing, Llc | Systems and methods for providing distributed tree traversal using hardware-based processing |
US11030195B2 (en) * | 2018-01-18 | 2021-06-08 | Fmr Llc | Identifying and mitigating high-risk database queries through ranked variance analysis |
US10997598B2 (en) * | 2018-08-06 | 2021-05-04 | SecureSky, Inc. | Automated cloud security computer system for proactive risk detection and adaptive response to risks and method of using same |
-
2020
- 2020-06-29 CN CN202010609640.8A patent/CN111767315B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8666841B1 (en) * | 2007-10-09 | 2014-03-04 | Convergys Information Management Group, Inc. | Fraud detection engine and method of using the same |
WO2013181972A1 (zh) * | 2012-06-06 | 2013-12-12 | 华为技术有限公司 | 网络访问行为识别方法和装置 |
CN108737410A (zh) * | 2018-05-14 | 2018-11-02 | 辽宁大学 | 一种基于特征关联的有限知工业通信协议异常行为检测方法 |
CN110473083A (zh) * | 2019-07-08 | 2019-11-19 | 阿里巴巴集团控股有限公司 | 树状风险账户识别方法、装置、服务器及存储介质 |
CN110765168A (zh) * | 2019-11-01 | 2020-02-07 | 福建顶点软件股份有限公司 | 基于用户信息的数据查找方法和装置 |
CN111291353A (zh) * | 2020-02-05 | 2020-06-16 | 深信服科技股份有限公司 | 一种账号关联方法、装置以及计算机存储介质 |
CN111311276A (zh) * | 2020-02-07 | 2020-06-19 | 北京明略软件***有限公司 | 一种异常用户团体的识别方法、识别装置及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
一种具有关联性感知的RFID网络追溯服务;刘阳;雷鸣宇;李娜;付国强;;小型微型计算机***(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111767315A (zh) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111767315B (zh) | 黑产识别方法、装置、电子设备及存储介质 | |
EP2854378B1 (en) | Method, device and network equipment for acquiring feature information | |
CN109194617B (zh) | Xml报文的自动解析、封装方法和装置 | |
CN109067762B (zh) | 一种物联网设备的识别方法、装置及设备 | |
CN110022221B (zh) | 一种***接口数据的监控方法、装置及*** | |
CN111740868B (zh) | 告警数据的处理方法和装置及存储介质 | |
CN110413845B (zh) | 基于物联网操作***的资源存储方法及装置 | |
CN110807085A (zh) | 故障信息的查询方法及装置、存储介质、电子装置 | |
CN108154024B (zh) | 一种数据检索方法、装置及电子设备 | |
CN104967632A (zh) | 网页异常数据处理方法、数据服务器及*** | |
CN104282124A (zh) | 一种智能家居联防方法、装置及*** | |
CN104636368A (zh) | 数据检索方法、装置及服务器 | |
CN111046081A (zh) | 一种工业时序数据的访问方法及*** | |
US10554760B2 (en) | Method and networking equipment for acquiring feature information | |
CN113553312A (zh) | 一种基于电梯生产工艺的数字孪生建设方法 | |
CN110995489A (zh) | 大数据平台服务器管理方法、装置、服务器及存储介质 | |
CN114338794B (zh) | 一种服务消息的推送方法、装置、电子设备及存储介质 | |
CN110457897A (zh) | 一种基于通信协议与sql语法的数据库安全检测方法 | |
CN104915394A (zh) | 更新黄页信息的方法和装置 | |
CN115622976A (zh) | 域名管理***、域名注册和解析方法、装置、设备及介质 | |
CN110611678B (zh) | 一种识别报文的方法及接入网设备 | |
CN104834704A (zh) | 应答方法及*** | |
CN109889619B (zh) | 基于区块链的异常域名监测方法及装置 | |
CN109104499B (zh) | 一种会话建立方法、装置、设备和存储介质 | |
CN107124293B (zh) | 一种分布式网络***的协议管理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |