CN111489190A - 一种基于用户关系的反作弊方法及*** - Google Patents
一种基于用户关系的反作弊方法及*** Download PDFInfo
- Publication number
- CN111489190A CN111489190A CN202010182551.XA CN202010182551A CN111489190A CN 111489190 A CN111489190 A CN 111489190A CN 202010182551 A CN202010182551 A CN 202010182551A CN 111489190 A CN111489190 A CN 111489190A
- Authority
- CN
- China
- Prior art keywords
- user relationship
- user
- graph
- chain
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000010586 diagram Methods 0.000 claims abstract description 121
- 230000004044 response Effects 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013480 data collection Methods 0.000 claims description 7
- 230000008676 import Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 13
- 230000006399 behavior Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 102100038367 Gremlin-1 Human genes 0.000 description 2
- 101001032872 Homo sapiens Gremlin-1 Proteins 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
- G06Q30/0225—Avoiding frauds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Probability & Statistics with Applications (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Economics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于用户关系的反作弊方法和***,其中,所述方法包括:收集预置时间段内的反映用户之间关系的用户关系数据;至少部分基于用户关系数据获得用户关系图;以及响应于所述用户关系图与正常形态的用户关系图在一个或多个维度特征之间的差异超过允许的范围,确定所述用户关系图中的用户为作弊用户。本发明基于图数据库,根据用户关系数据生成用户关系图,通过分析所述用户关系图,能够准确、有效地识别出作弊用户,过程简单、高效,***结构简洁,扩张性好。
Description
技术领域
本发明涉及一种互联网应用技术领领,特别地涉及一种基于用户关系的反作弊方法及***。
背景技术
随着移动互联网的快速发展,出现了各种各样的应用程序(App,简称应用)。从日常生活的吃穿住行到学习工作,App在各个领域中起到了重要的作用。对应地,应用开发商积极地开发新的App、提高App的性能,以获得更多的用户。通常,应用开发商还通过一些推广手段来获取用户。这些推广手段例如包括提供额外的积分或现金等。然而,有些用户却利用应用开发商的推广手段采用伪造用户等手段来骗取积分或者红包。这些用户被称为作弊用户。
在一些情况下,作弊用户直接损害了应用开发商的经济利益。例如,很多应用开发商为了鼓励用户使用App提供的服务使用了现金红包、签到红包、积分奖励等方式吸引用户。这些作弊用户的骗取红包或积分等的作弊行为给应用开发商带来了巨大损失。又例如,应用开发商使用分发渠道提供App的安装下载,并根据渠道带来的应用安装数量进行付费。在该场景下出现了很多作弊安装行为,例如通过刷机农场等手段进行作弊安装,同样给应用开发商带来了巨大损失。
在一些情况下,作弊用户的行为扰乱了应用开发商利用用户数据提高App性能的分析与判断。针对一款上线的App,应用开发商会持续地监测其性能、其带给用户的体验,以期不断地改进App性能。而用户数据是监测、分析、改进的基础,作弊用户的数据扰乱了分析过程,为App的改进制造了障碍。
在一些情况下,作弊用户还扰乱了第三方平台的数据统计与分析。例如,在某些App提供平台,其为了吸引用户,对其提供的App进行排名,如同类应用的安装排名榜、热门排名榜等,为了获得App提供的红包、积分而下载、安装App的用户其并不是所述App的真实用户,但是其下载、安装行为无疑会成为排名的基础数据,从而导致第三方平台的排名不准确,而第三方平台为了得到准确、尽量真实的排名,在进行数据统计与分析时,需要甄别这些作弊用户,因而提高了数据统计与分析的难度。
因而,识别作弊用户对于App的良性运作起着重要作用。现有的一些作弊用户的识别,通常是收集用户的操作数据,并设置作弊分析维度及方法,利用用户的操作数据,按照预置的分析方法在预置的分析维度上进行分析,从而确定用户是否为作弊用户。然而,上述方法在分析时使用的用户操作数据种类繁多,如用户ID、具体的操作内容、类型、方法、操作时间等等,因而在设置作弊分析维度及方法时需要根据具体的App类型、提供的业务数据等分别设置,无法兼顾到不同的App类型,分析过程也过于复杂,效率不高。
发明内容
针对现有技术中存在的技术问题,本发明提出了一种基于用户关系的反作弊方法和***,用以有效识别作弊用户,降低识别的复杂度。
为了解决上述技术问题,根据本发明的一个方面,本发明提供一种基于用户关系的反作弊方法,包括以下步骤:收集预置时间段内的反映用户之间关系的用户关系数据;至少部分基于用户关系数据获得用户关系图;以及响应于所述用户关系图与正常形态的用户关系图在一个或多个维度特征之间的差异超过允许范围,确定所述用户关系图中的用户为作弊用户。
其中,所述用户之间关系包括介绍用户关系、师徒用户关系、分享用户关系或奖励用户关系。其中,所述用户关系图包括:代表用户的节点以及代表用户关系的、节点之间的边。进一步地,所述节点之间的边进一步包括代表用户之间级别关系的方向。
优选地,在前述方法中,所述一个或多个维度特征包括以下中的一者或多者:图型、节点总数、边总数、链级长度、单个节点的边数以及边数/节点数。
优选地,所述方法进一步包括:对多个用户关系图进行相似度计算;至少部分基于经计算的相似度对多个用户关系图分类,得到多个用户关系图集合;统计每个用户关系图集合中的用户关系图数量;以及将用户关系图数量最大的集合中的用户作为正常用户,剩余集合中的用户为疑似用户。
优选地,所述方法还包括,从所述正常用户的用户关系图集合中提取出正常形态的用户关系图及用于确定作弊用户的所述允许范围。其中,根据疑似用户关系图和/或正常用户关系图获取所述允许范围。
优选地,根据疑似用户关系图和/或正常用户关系图获取所述允许范围的步骤具体包括:获取疑似用户关系图的一个或多个典型维度特征;获取正常用户关系图相应的典型维度特征;以及获取疑似用户关系图与用户关系图的一个或多个典型维度特征的差异,所述差异为允许范围。
在一个实施例中,所述正常形态的用户关系图为预先设置的根据历史数据确定的一种或多种用户关系图;所述允许范围为根据历史数据确定正常形态的用户关系图时确定的一个或多个维度特征的阈值范围。
在另一个实施例中,所述正常形态的用户关系图为根据预先设置的用户关系推算模型确定的一种或多种用户关系图;所述允许的范围为根据用户关系推算模型确定正常形态的用户关系图时确定的一个或多个维度特征的阈值范围。
其中,所述的维度特征的阈值范围包括以下的一个或多个:节点总数差值阈值范围、边总数差值阈值范围、链级长度差值阈值范围、单个节点的边数差值阈值范围和边数/节点数差值阈值范围。
在一个实施例中,所述用户关系图的图型为星状图、链状图或星链图。
优选地,所述正常形态的用户关系图包括以下图型的一种或多种:星状图、节点总数小于节点总数阈值的星状图、链级小于链级阈值的链状图和最长链条的链级小于链级阈值的星链图。
优选地,所述链级阈值的变化与时间成正比。
优选地,用于计算用户关系图与正常形态的用户关系图差异的维度特征包括用户关系图图型和/或链级长度,用于确定作弊用户的所述允许范围为链级长度差值阈值范围。优选地,所述链级长度差值范围的变化与时间成正比。
根据本发明的另一个方面,还提供了一种基于用户关系的反作弊***,包括数据收集模块、图生成模块和分析模块,其中,所述数据收集模块经配置以收集预置时间段内的反映用户关系的用户关系数据;所述图生成模块经配置以至少部分基于用户关系数据获得用户关系图;所述分析模块经配置以响应于所述用户关系图与正常形态的用户关系图在一个或多个维度特征之间的差异超过允许范围,确定所述用户关系图中的用户为作弊用户。
优选地,所述图生成模块经进一步配置,以用户为节点,以用户关系作为节点之间的边生成用户关系图。
优选地,所述一个或多个维度特征包括以下中的一者或多者:图型、节点总数、边总数、链级长度、单个节点的边数以及边数/节点数。
优选地,所述分析模块进一步包括:对比数据获取单元,经配置以获取正常形态的用户关系图及用于确认作弊用户的允许范围;比较单元,经配置以将当前用户关系图与正常形态的用户关系图进行比较以获得二者在对应维度特征的差异;以及确定单元,经配置以在当前用户关系图与正常形态的用户关系图在对应维度特征的差异超出了允许范围,确定所述用户关系图中的用户为作弊用户。
优选地,所述对比数据获取单元经进一步配置包括:相似度计算子单元,经配置以对当前预定时间段内的多个用户关系图进行相似度计算;分类子单元,经配置以至少部分基于经计算的相似度对所述多个用户关系图分类,并将用户关系图数量最大的集合确定为正常用户关系图集合,剩余集合确定为疑似用户关系图集合;图确定子单元,经配置从正常用户关系图集合中提取出用户关系图类型作为正常形态的用户关系图;以及允许范围确定子单元,经配置以根据正常用户关系图集合中的用户关系图和/或疑似用户关系图集合中的用户关系图获取用于确定作弊用户的允许范围。
优选地,所述允许范围确定子单元经进一步配置,分别获取正常用户关系图和疑似用户关系图的一个或多个典型维度特征,并将疑似正常用户关系图与疑似用户关系图的一个或多个典型维度特征的差异作为允许范围。
优选地,所述数据收集模块经进一步配置在关系数据库中收集预置时间段内的反映用户关系的用户关系数据。
优选地,所述图生成模块经配置包括:图定义单元,经配置以定义图的节点及节点之间的边;图生成单元,经配置以将用户关系数据导入图数据库中,根据定义的节点及节点之间的边生成用户关系图;以及查询单元,经配置以查询图数据库中预定时间段内的用户关系图,以确定每一个用户关系图的图型、节点总数、边总数、链级长度、单个节点的边数以及边数/节点数。
在一个优选实施例中,所述分析模块经进一步配置将星状图、节点总数小于节点总数阈值的星状图、链级长度小于链级阈值的链状图和最长链条的链级长度小于链级阈值的星链图作为正常形态的用户关系图。
在一个优选实施例中,所述分析模块经配置在比较用户关系图与正常形态的用户关系图时,以用户关系图的图型和/或链级长度作为维度特征,在所述用户关系图与正常形态的用户关系图的链级长度差异超过链级长度差值阈值范围时,确定所述用户关系图中的用户为作弊用户。
本发明基于图数据库,根据用户之间的关系生成用户关系图,通过分析所述用户关系图,能够准确、有效地识别出作弊用户,过程简单、高效,***结构简洁,扩张性好。
附图说明
下面,将结合附图对本发明的优选实施方式进行进一步详细的说明,其中:
图1是根据本发明一个实施例提供的一种基于用户关系的反作弊方法的流程图;
图2A-2C是根据本发明的一个实施例的基于师徒关系的星状用户关系图;
图3A-3C是根据本发明的一个实施例的基于介绍关系的链状用户关系图;
图4A-4C是根据本发明的一个实施例的基于奖励关系的星链状用户关系图;
图5是根据本发明的一个实施例的根据当前数据判断正常形态的用户关系图的方法流程图;
图6是根据发明一个实施例的基于用户邀请关系的反作弊方法流程图;
图7是根据发明一个实施例的根据用户关系数据得到的预定时间段内用户关系图的展示图;
图8是根据本发明一个实施例的基于用户关系的反作弊***原理框图;
图9是根据本发明一个实施例的图生成模块原理框图;
图10是根据本发明一个实施例的分析模块原理框图;以及
图11是根据本发明一个实施例的对比数据获取单元的原理框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在以下的详细描述中,可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中,相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述,使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解,还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。
对于一个提供某种服务的App,在其上线后,其用户量会随着时间、促销活动而不断上升。用户下载、安装所述App后,用户个人信息则由App服务端存储在用户数据库中。所述的用户个人信息包括用户注册信息,如用户名、用户ID、终端ID、邮箱地址等。用户个人信息还包括活动参与信息,如成为用户时参与的活动、成为用户后参与的活动。其中,所述的活动是指App发起的某些活动,如介绍用户赚取积分活动、分享App广告赚取积分活动、能过积累积分获取奖励活动等等。用户个人信息还包括该用户与其他用户的关系,例如,介绍与被介绍的关系、与其他用户的师徒关系、与其他用户的分享关系等。本发明通过分析这些用户关系来确定作弊用户。
图1是根据本发明一个实施例提供的一种基于用户关系的反作弊方法的流程图。所述方法包括:
步骤S1,收集预置时间段内的反映用户之间关系的用户关系数据。例如,收集一天之内注册的用户关系数据,例如用户之间的介绍关系,如用户B是由用户A介绍而成为的用户。又例如师徒用户关系,如用户B是用户A的徒弟。具有师徒用户关系的两个用户,在某些具有奖励机制的活动中具有一定的奖励分配关系,因而还引申出奖励分配关系。又例如包括分享用户关系,如用户A分享某个链接给用户B,所述的链接为广告、商品等内容链接。又例如用户之间关系为奖励用户关系,如在某些活动中,用户B所获得的奖励要部分分配给用户A。本发明所述的用户关系不仅只包括前述的各种具体实例,还包括其他没有举例的用户关系。
步骤S2,至少部分基于用户关系数据获得用户关系图。如图2-4所示。在图2A-2C中,根据收徒机制,用户A分别收了5个徒弟,从而得到用户B1-B5,其关系如图2A,根据图2A中用户A与用户B1-B5的关系,以用户为节点,以其关系作为边,得到图2B,通过简化可得到图2C。在节点属性中包括用户信息,在边属性中包括了用户之间的级别关系的方向,如图2C中的每一条边包括了从用户A到用户B的师徒关系,即用户A为用户B的师傅。在图3A-3C中,根据介绍关系,用户A介绍了用户B,用户B又介绍了用户C等等,以用户为节点,以其介绍关系作为边,生成了图3B,通过简化可得到图3C。又如图4A-4C,根据奖励机制,用户A与用户B1-B5之间分别为奖励级别1关系,用户B3与用户B31为奖励级别2关系,用户B31与用户B32为奖励级别3关系,根据图4A的用户关系,以用户为节点,以用户之间的关系为关,生成了图4B,通过简化可得到图4C。通过步骤S2得到了预定时间段内的多个用户关系图。以下逐个用户关系图地识别该用户关系图中的用户是否为作弊用户。
步骤S3,获取一个用户关系图。
步骤S4,比较所述用户关系图与正常形态的用户关系图在一个或多个维度特征之间的差异。
步骤S5,判断所述差异是否位于允许的范围,如果是,则在步骤S6确定所述用户关系图中的用户为正常用户。如果所述差异超出了允许的范围,则在步骤S7确定所述用户关系图中的用户为作弊用户。
步骤S8,判断是否还有未比较的用户关系图,如果有,则返回步骤S3。如果所有的用户关系图都已判断完,则结束本流程。
步骤S4中所述的特征可以是一个维度,如所述特征可以为用户关系图的图型、节点总数、边总数、链级长度、单个节点的边数或边数/节点数中的任何一个。所述的特征也可以是多个维度,如可以前述多个特征的结合。
在一个实施例中,前述正常形态的用户关系图为根据历史数据确定的一种或多种用户关系图。在确定正常形态的用户关系图时,还确定了的各个维度特征的阈值范围。例如,通过分析由历史用户关系数据生成的用户关系图,将根据正常用户的用户关系生成的用户关系图确定为用于对比的正常形态的用户关系图。例如,正常形态的用户关系图可以是节点总数或边总数在3-10个的星状图/星链图,者是是链级长度小于10的链状图。这是因为,在预定时间段时,具有相互关联的用户的正常数量不会太多,如果在预定时间段内,某个用户关系图中的用户量激增,则该用户关系图中的用户为作弊用户的可能性较大。
在另一个实施例中,采用用户关系推算模型确定出正常形态的用户关系图及其各个维度特征的阈值范围。根据已知的正常用户关系数据和作弊用户关系数据利用一定的算法,如各类分类算法训练模型。再通过所述模型得到正常形态的用户关系图及对应的维度特征的阈值范围。
在又一个实施例中,如图5例示,根据当前数据判断正常形态的用户关系图,并得到用以判断作弊用户的允许范围。所述方法具体包括以下步骤:
步骤S41,对生成的多个用户关系图进行相似度计算。其中,在进行相似度计算时,以用户关系图图型、节点总数、边总数、链级长度、单个节点的边数或边数/节点数中的任何一个作为特征计算相似度,例如,当以节点总数为特征时,分别设置不同的节点总数作为不同的聚类中心,再统计每一个用户关系图的节点总数,计算每一个用户关系图与不同聚类中心的距离。
步骤S42,基于相似度对多个用户关系图分类,得到多个用户关系图集合。继续步骤S41中的例子,根据用户关系图分类到聚类中心的距离,将其分类到与其距离最短的聚类中心。从而将所有的用户关系图分成多个集合。
步骤S43,统计每个集合中的用户关系图的数量。
步骤S44,将用户关系图数量最大的用户关系图集合中的用户作为正常用户,剩余用户关系图集合中的用户为疑似用户。
步骤S45,提取出用户关系图数量最大的用户关系图,将其作为正常形态的用户关系图。提取出的用户关系图包括图型、节点数量、边数量、链级长度等等关系数据。
步骤S46,确定用于区分正常形态的用户关系图和作弊用户关系图的允许范围。所述允许范围可以是特征阈值范围,例如,节点总数值阈值范围、链级长度阈值范围、单个节点的边数阈值范围边数/节点数阈值范围等。所述的阈值范围可以根据正常形态的用户关系图确定,例如,在确定节点总数值阈值范围时,根据正常形态的用户关系图中的最小节点总数和最大节点总数,将其差值作为节点总数值阈值范围。
所述允许范围还可以是通过正常形态的用户关系图和疑似用户关系图确定的节点总数差值阈范围、边总数差值阈值范围、链级长度差值阈值范围、单个节点的边数差值阈值范围和边数/节点数差值阈值范围。例如,分别获取正常用户关系图和疑似用户关系图的一个或多个对应典型维度特征。所述的典型维度特征为最能代表一种用户关系图特点的特征,例如,对于图2C所示的用户关系图,其呈星状,其节点总数或边总数为其典型维度特征,而对于图3C所示的用户关系图,其呈链状,其级别总数为其典型维度特征;而对于图4C所示的用户关系图,其包括星状和链状,此时需要判断形成星状的用户多还是形成链状的用户多,以具有最多用户的形状作为其典型形状,如图4C所示,以星状用户关系图作为其典型形状,则其节点总数则为该用户关系图的典型维度特征。由于正常形态的用户关系图集合中有多个用户关系图,作为一个具体实施例,取所有用户关系图的典型维度特征的平均值作为正常形态的用户关系图的典型维度特征值。同理,得到疑似用户关系图的典型维度特征。再比较二者的差异,例如节点总数差值,所述差值即为判断作弊用户的阈值范围,也就是前述的允许的范围。
图6是根据本发明一个实施例的基于用户邀请关系的反作弊方法流程图。在本实施例中,为了吸引用户,App推出一项通过邀请而获得奖励的活动,在该活动中,用户可通过发送链接、页面、邮件等方式向其亲属、朋友等发送邀请,当被邀请人成为App用户后,二者均可以得到相应的奖励。所述的奖励与App提供的服务有关,例如,当App为阅读类小说应用时,所述奖励可以是免费提供额外时长的付费阅读资料,也可以是阅读积分、阅读等级等。为了识别当前增加的用户是否为作弊用户,本实施例提供以下方法:
步骤S100,收集预置时间段内的反映用户之间关系的用户关系数据。在本实施例中,App将用户关系数据存储到关系数据库中,如下表所示:
关系数据库中的用户数据包括发出邀请的用户ID和被邀请用户的ID。另外,还包括其他信息,如发出邀请的用户注册时间、被邀请用户的注册时间等,本发明通过时间信息确定预置时间段内的注册的用户及其与其他用户邀请关系。所述的预置时间段可以是整个活动期间,例如,当活动为期3天,所述预置时间段为该3天。所述的预置时间段也可以将活动期间分割为不同的时间段,例如,当活动为期7天时,分三次识别,如将前2天设置为一个时间段、中间2天设置为一个时间段,最后1天设置为一个时间段。
步骤S101,定义节点与边,并将用户关系数据导入图数据库。其中,将一个用户ID定义为一个节点,将邀请关系定义为边,同时,可定义节点与边的属性,例如,将用户信息,如用户ID,活动ID等,定义为节点的属性,将邀请与被邀请关系定义为边的属性。
步骤S102,通过查询得到的节点和边的各种关系得到用户关系图。其中,可通过Gremlin图查询语言查询导入的预定时间段内用户关系数据,得到节点总数、边总数、链级长度、单个节点的边数以及边数/节点数等,从而得到用户关系图。如图7所示的展示图。其中,图7中的用户关系图71为典型的星状图,用户关系图72为典型的链状图,用户关系图73为典型的星链图。
步骤S103,分析所述多个用户关系图,确定作弊用户。其中,在一个实施例中,根据历史数据,将星状图作为正常形态的用户关系图,将链级长度小于a+bx级的链状图作为正常形态的用户关系图,对于既包括星状图也包括链状图的星链图,将最长链条的链级长度小于a+bx的星链图作为正常形态的用户关系图。其中,所述的链级指连接两个节点的边,如图3C所示。x为时间参数,如1天,2天等,其与收集数据的预置时间段相对应。a和b为经验值,因App的类型、运营情况的不同而不同,例如,根据历史数据,在1天的时间段内,链级阈值为5时的用户关系图中的用户为正常用户,在2天的时间段内,链级阈值为7时的用户关系图中的用户为正常用户,再经过大量的历史数据验证可以得到:a=5,x=N-1,N为时间单位,b=2时的关系式可以确定出正常用户的用户关系图。对应地,将允许范围也设置为a+bx,即允许范围随着时间段的增加也变大。以上在确定链级长度阈值、允许范围时采用的与时间成比例的关系式仅仅是根据一种App应用得到的,不同的App具有不同的规律,也对应着不同的关系式,本领域普通技术人员可通过历史数据分析得出符合其规律的关系式。
在步骤S102中,将步骤S101得到的1天内的多个用户关系图分别与前述的正常形态的用户关系图相比较。例如,设置预置时间段为1天,则本实施例中的链级阈值为5,对应的,允许范围为5。如果用户关系图如用户关系图71一样,也为星状图时,说明与正常用户关系图二者没有差异,在步骤S1031a,确定该用户关系图中的用户为正常用户。如果用户关系图为链状图,在步骤S1031b,比较其链级与链级阈值5的大小,在步骤S1032b判断用户关系图的链级是否大于或等于链级阈值5,如果如用户关系图72一样,小于5级,则在步骤S1033b确定该用户关系图中的用户为正常用户;如果链级大于5级,则在步骤S1034b确定为疑似用户关系图,在步骤S1035b判断疑似用户关系图的链级与前述链级阈值5的差值是否超出了允许范围5,也就是说,疑似用户关系图的链级是否超过了10,如果超出,则在步骤S1036b确认该疑似用户关系图中的用户为作弊用户。如果疑似用户关系图的链级与前述链级阈值5的差值小于允许范围5,则在步骤S107b确定该用户关系图中的用户为正常用户,或者将该用户关系图中的用户标记为疑似用户,留到后续处理流程,所述后续处理流程包括在设置的考查期(如3天、1周)内进一步考查该用户关系图中的用户的行为数据,如浏览数据、网络数据等来判断其是否为作弊用户。由于其不是本发明的内容,在此不再赘述。
如果用户关系图为星链图时,即既包括星状图也包括链状图,如图7中的用户关系图73、74、75,在步骤S101c确定出最长链条的链级,然后转到步骤S101b,以后的处理流程与链状图相同。图7中的用户关系图73的最长链条为3级,小于链级阈值,因而确定用户关系图73为正常的用户关系图。而图7中的用户关系图74,其最长链条的链级长度为22级,与链级阈值5的差值为17,远超出了超出允许范围5。因而可以确定用户关系图74中的用户为作弊用户,同理也可以确定用户关系图75中的用户为作弊用户。
为了提高判断的慎重性与谨慎性,在确定作弊用户时,可以设置多个阈值,用于确定正常用户、疑似用户和作弊用户。前述实施例中,可以将允许范围细化为两段,如将再设置允许范围设置为5和10,如果用户关系图的最长链条的链级长度与链级阈值5的差值在5-10之间,可认为是疑似用户,留到考查期内,结合其他数据进行判断。对于用户关系图的最长链条的链级长度与链级阈值5的差值超过10的,则确定为作弊用户。
图8是根据本发明一个实施例的基于用户关系的反作弊***原理图,所述***包括数据收集模块1、图生成模块2和分析模块3。其中,所述数据收集模块1用以收集预置时间段内的反映用户之间关系的用户关系数据。例如,从关系数据库中查找到预置时间段内的用户数据,并确定用户之间的关系,如介绍关系、师徒关系,分享关系等。
所述图生成模块2用以至少部分基于用户关系数据获得用户关系图。例如,定义图中的节点和边,定义节点属性和边属性,再将前述的用户关系数据导入图数据库,通过查询得到各个用户关系图。具体地,所述图生成模块2如图9所示,包括图定义单元20、数据导入单元21和查询单元22,其中,图定义单元20用以定义图的节点及节点之间的边,例如,将一个用户ID作为一个节点,将用户之间的关系作为边,同时也可以在节点有边中定义其具体的属性。数据导入单元21将用户关系数据及定义数据导入图数据库中。查询单元22利用Gremlin等图查询语言查询图数据库中预定时间段内的用户关系数据,从而根据查询得到的节点总数、边总数、链级长度、单个节点的边数以及边数/节点数等关系得到用户关系图。在一个实施例中,得到的用户关系图如图7所示。
所述分析模块3用以分析用户关系图,当用户关系图与正常形态的用户关系图在一个或多个维度特征之间的差异超过允许的范围时,确定所述用户关系图中的用户为作弊用户。其中,所述维度特征包括以下中的一者或多者:图型、节点总数、边总数、链级长度、单个节点的边数以及边数/节点数。
具体地,如图10所示,为本发明一个实施例的分析模块原理图。所述分析模块3包括对比数据获取单元31、比较单元32和确定单元33。所述对比数据获取单元31用以获取正常用户关系图及用于确认作弊用户时的允许范围。其中,所述的正常用户关系图及允许范围可以是预置的具体的正常用户关系图及其允许范围,例如,在用户关系为师徒关系时,可以将星状图或节点总数小于某个阈值的星状图作为正常用户关系图,对应的允许范围可以是节点总数差值阈值。或者是,将链级长度小于链级阈值的链状图作为正常形态的用户关系图,对应的允许范围可以是预先设置的链级长度差值阈值。
在另一个实施例中,所述的正常用户关系图及允许范围由预先训练得到的用户关系推算模型确定得到。例如,将App的历史用户关系数据输送到所述模型中,从中得到正常形态的用户关系图及其允许范围。
在另一个实施例中,根据当前所有的用户关系图来确定出正常用户关系图。具体地,如图11所示,为根据本发明一个实施例的对比数据获取单元的原理框图。所述对比数据获取单元31包括相似度计算子单元310、分类子单元311、图确定子单元312和允许范围确定子单元313。其中,所述相似度计算子单元310用于对当前预定时间段内的多个用户关系图进行相似度计算。例如,以图型、节点总数、边总数、级别总数、单个节点的边数或边数/节点数中的任何一个作为特征,设置相应的聚类中心,计算每个用户关系图到聚类中心的距离。所述分类子单元311基于经计算的相似度对所述多个用户关系图分类,并将用户关系图数量最大的集合确定为正常用户关系图集合,剩余集合为疑似用户关系图集合;所述图确定子单元312用于从正常用户关系图集合中提取出用户关系图类型作为正常形态的用户关系图。所述允许范围确定子单元313用于根据正常用户关系图集合中的用户关系图和/或疑似用户关系图集合中的用户关系图获取用于确定作弊用户的允许范围。例如,分别获取正常用户关系图和疑似用户关系图的一个或多个典型维度特征,并将疑似用户关系图与用户关系图的一个或多个典型维度特征的差异作为允许范围。
在一个实施例中,将星状图作为正常形态的用户关系图,将链级长度小于a+bx的链状图作为正常形态的用户关系图,对于既包括星状图也包括链状图的星链图,将最长链条的链级长度小于a+bx的星链图作为正常形态的用户关系图,其中,x为时间参数,如1天,2天等,其与收集数据的预置时间段相对应。a和b为经验值。在一个实施例中,a=5,x=N-1;N为天数;b=2。
所述比较单元32用于将当前用户关系图与正常用户关系图进行比较以获得二者在对应维度特征的差异。所述的维度特征差异包括图型的差异,节点总数的差异、边总数的差异、链级长度的差异、单节点边数的差异或边数/节点数中的任何一个或任何几个。当进行多个维度特征的对比时,可设置对比的顺序。例如,先对比图型的差异,如果节点总数小于20的星状图为正常形态的用户关系图,在当前用户关系图与正常形态的用户关系图有差异时,再进行节点总数/边总数的对比。
所述确定单元33用以根据当前用户关系图与正常用户关系图在对应维度特征的差异与对应的允许范围进行判断。例如,根据预先设置或计算出来的正常形态的用户关系图及对应维度特征的差异允许范围进行详细判断。在一个实施例中,星状图为正常用户关系图、链级小于5级的链状图为正常形态的用户关系图,最长链条的链级长度小于5的星链图为正常形态的用户关系图,对应的用户关系图的最长链条的链级长度与链级阈值的差值大于等于5为作弊用户关系图。当所述比较单元32对比图7中的用户关系图74与正常形态的关系图时,其得到的差异为图型差异,即用户关系图74除了包括星状图,还包括链状图,然后再对比链级长度与链级阈值5的差值,最长的链级长度与链级阈值5的差异为17,超出了允许范围5。因而所述确定单元33确定用户关系图74中的用户为作弊用户,同理也可以确定用户关系图75中的用户为作弊用户,用户关系图73中的用户为正常用户。
本发明利用了图数据库对数据的结构化、高效的数据建模和查询能力,通过分析根据用户关系数据生成的用户关系图与正常形态用户关系图的差别,可以准确、有效地识别出作弊用户,过程简单,高效,***结构简洁,扩张性好。
上述实施例仅供说明本发明之用,而并非是对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明范围的情况下,还可以做出各种变化和变型,因此,所有等同的技术方案也应属于本发明公开的范畴。
Claims (29)
1.一种基于用户关系的反作弊方法,包括:
收集预置时间段内的反映用户之间关系的用户关系数据;
至少部分基于用户关系数据获得用户关系图;以及
响应于所述用户关系图与正常形态的用户关系图在一个或多个维度特征之间的差异超过允许范围,确定所述用户关系图中的用户为作弊用户。
2.根据权利要求1所述的方法,其中,所述用户关系包括介绍用户关系、师徒用户关系、分享用户关系或奖励用户关系。
3.根据权利要求1所述的方法,其中,所述用户关系图包括:
代表用户的节点;以及
代表用户关系的、节点之间的边。
4.根据权利要求3所述的方法,其中,所述节点之间的边进一步包括代表用户之间级别关系的方向。
5.根据权利要求3所述的方法,其中,所述一个或多个维度特征包括以下中的一者或多者:图型、节点总数、边总数、链级长度、单个节点的边数以及边数/节点数。
6.根据权利要求1所述的方法,进一步包括:
对多个用户关系图进行相似度计算;
至少部分基于经计算的相似度对多个用户关系图分类,得到多个用户关系图集合;
统计每个用户关系图集合中的用户关系图数量;以及
将用户关系图数量最大的集合中的用户作为正常用户,剩余集合中的用户为疑似用户。
7.根据权利要求6所述的方法,其中还包括,从所述正常用户的用户关系图集合中提取出正常形态的用户关系图及用于确定作弊用户的所述允许范围。
8.根据权利要求7所述的方法,其中,还进一步包括:根据疑似用户关系图和/或正常用户关系图获取所述允许范围。
9.根据权利要求8所述的方法,其中,还进一步包括:
获取疑似用户关系图的一个或多个典型维度特征;
获取正常形态的用户关系图相应的典型维度特征;以及
获取疑似用户关系图与正常形态的用户关系图的一个或多个典型维度特征的差异,所述差异为允许范围。
10.根据权利要求1所述的方法,其中,所述正常形态的用户关系图为预先设置的根据历史数据确定的一种或多种用户关系图;所述允许范围为根据历史数据确定正常形态的用户关系图时确定的一个或多个维度特征的阈值范围。
11.根据权利要求1所述的方法,其中,所述正常形态的用户关系图为根据预先设置的用户关系推算模型确定的一种或多种用户关系图;所述允许的范围为根据用户关系推算模型确定正常形态的用户关系图时确定的一个或多个维度特征的阈值范围。
12.根据权利要求10或11所述的方法,其中,所述的维度特征的阈值范围包括以下的一个或多个:
节点总数差值阈值范围、边总数差值阈值范围、链级长度差值阈值范围、单个节点的边数差值阈值范围和边数/节点数差值阈值范围。
13.根据权利要求3所述的方法,其中,所述用户关系图的图型为星状图、链状图或星链图。
14.根据权利要求13所述的方法,其中,所述正常形态的用户关系图包括以下图型的一种或多种:星状图、节点总数小于节点总数阈值的星状图、链级长度小于链级阈值的链状图和最长链条的链级长度小于链级阈值的星链图。
15.根据权利要求14所述的方法,其中,所述链级阈值的变化与时间成正比。
16.根据权利要求15所述的方法,其中,用于计算用户关系图与正常形态的用户关系图差异的维度特征包括用户关系图图型和/或链级长度,用于确定作弊用户的所述允许范围为链级长度差值阈值范围。
17.根据权利要求16所述的方法,其中,所述链级长度差值阈值范围的变化与时间成正比。
18.一种基于用户关系的反作弊***,包括:
数据收集模块,经配置以收集预置时间段内的反映用户关系的用户关系数据;
图生成模块,经配置以至少部分基于用户关系数据获得用户关系图;以及
分析模块,经配置以响应于所述用户关系图与正常形态的用户关系图在一个或多个维度特征之间的差异超过允许范围,确定所述用户关系图中的用户为作弊用户。
19.根据权利要求18所述的***,所述图生成模块经进一步配置,以用户为节点,以用户关系作为节点之间的边生成用户关系图。
20.根据权利要求19所述的***,所述一个或多个维度特征包括以下中的一者或多者:图型、节点总数、边总数、链级长度、单个节点的边数以及边数/节点数。
21.根据权利要求18所述的***,所述分析模块进一步包括:
对比数据获取单元,经配置以获取正常形态的用户关系图及用于确认作弊用户的允许范围;
比较单元,经配置以将当前用户关系图与正常形态的用户关系图进行比较以获得二者在对应维度特征的差异;以及
确定单元,经配置以在当前用户关系图与正常形态的用户关系图在对应维度特征的差异超出了允许范围时确定所述用户关系图中的用户为作弊用户。
22.根据权利要求21所述的***,所述正常形态的用户关系图为预先设置的根据历史数据确定的一种或多种用户关系图;所述允许范围为根据历史数据确定正常形态的用户关系图时确定的一个或多个维度特征的阈值范围。
23.根据权利要求21所述的***,所述正常形态的用户关系图为根据预先设置的用户关系推算模型确定的用户关系图;所述允许范围为根据用户关系推算模型确定正常形态的用户关系图时确定的一个或多个维度特征的阈值范围。
24.根据权利要求21所述的***,所述对比数据获取单元经进一步配置包括:
相似度计算子单元,经配置以对当前预定时间段内的多个用户关系图进行相似度计算;
分类子单元,经配置以至少部分基于经计算的相似度对所述多个用户关系图分类,并将用户关系图数量最大的集合确定为正常用户关系图集合,剩余集合确定为疑似用户关系图集合;
图确定子单元,经配置从正常用户关系图集合中提取出用户关系图类型作为正常形态的用户关系图;以及
允许范围确定子单元,经配置以根据正常用户关系图集合中的用户关系图和/或疑似用户关系图集合中的用户关系图获取用于确定作弊用户的允许范围。
25.根据权利要求24所述的***,所述允许范围确定子单元经进一步配置,分别获取正常用户关系图和疑似用户关系图的一个或多个典型维度特征,并将疑似正常用户关系图与疑似用户关系图的一个或多个典型维度特征的差异作为允许范围。
26.根据权利要求18所述的***,所述数据收集模块经进一步配置在关系数据库中收集预置时间段内的反映用户关系的用户关系数据。
27.根据权利要求26所述的***,所述图生成模块经配置包括:
图定义单元,经配置以定义图的节点及节点之间的边;
数据导入单元,经配置以将用户关系数据及定义数据导入图数据库中;以及
查询单元,经配置以查询图数据库中预定时间段内的用户关系,根据查询得到的以下关系中的一种或多种得到用户关系图:节点总数、边总数、链级长度、单个节点的边数以及边数/节点数。
28.根据权利要求26所述的***,所述分析模块经进一步配置将星状图、节点总数小于节点总数阈值的星状图、链级长度小于链级阈值的链状图和最长链条的链级长度小于链级阈值的星链图作为正常形态的用户关系图。
29.根据权利要求28所述的***,所述分析模块经配置在比较用户关系图与正常形态的用户关系图时,以用户关系图的图型和/或链级长度作为维度特征,在所述用户关系图与正常形态的用户关系图的链级长度差异超过链级长度差值阈值范围时,确定所述用户关系图中的用户为作弊用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010182551.XA CN111489190A (zh) | 2020-03-16 | 2020-03-16 | 一种基于用户关系的反作弊方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010182551.XA CN111489190A (zh) | 2020-03-16 | 2020-03-16 | 一种基于用户关系的反作弊方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111489190A true CN111489190A (zh) | 2020-08-04 |
Family
ID=71811695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010182551.XA Pending CN111489190A (zh) | 2020-03-16 | 2020-03-16 | 一种基于用户关系的反作弊方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111489190A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205129A (zh) * | 2021-04-28 | 2021-08-03 | 五八有限公司 | 一种作弊团伙识别方法、装置、电子设备及存储介质 |
CN114553738A (zh) * | 2022-02-25 | 2022-05-27 | 支付宝实验室(新加坡)有限公司 | 异常检测方法以及装置 |
CN114596111A (zh) * | 2022-03-03 | 2022-06-07 | 浙江吉利控股集团有限公司 | 风险识别模型生成方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485559A (zh) * | 2015-08-19 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 针对网店的作弊识别方法及装置 |
CN108615119A (zh) * | 2018-05-09 | 2018-10-02 | 平安普惠企业管理有限公司 | 一种异常用户的识别方法及设备 |
CN110032583A (zh) * | 2019-03-12 | 2019-07-19 | 平安科技(深圳)有限公司 | 一种欺诈团伙识别方法、装置、可读存储介质及终端设备 |
CN110046929A (zh) * | 2019-03-12 | 2019-07-23 | 平安科技(深圳)有限公司 | 一种欺诈团伙识别方法、装置、可读存储介质及终端设备 |
CN110177094A (zh) * | 2019-05-22 | 2019-08-27 | 武汉斗鱼网络科技有限公司 | 一种用户团体识别方法、装置、电子设备及存储介质 |
CN110807129A (zh) * | 2019-09-29 | 2020-02-18 | 北京淇瑀信息科技有限公司 | 多层用户关系图集合的生成方法、装置及电子设备 |
-
2020
- 2020-03-16 CN CN202010182551.XA patent/CN111489190A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485559A (zh) * | 2015-08-19 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 针对网店的作弊识别方法及装置 |
CN108615119A (zh) * | 2018-05-09 | 2018-10-02 | 平安普惠企业管理有限公司 | 一种异常用户的识别方法及设备 |
CN110032583A (zh) * | 2019-03-12 | 2019-07-19 | 平安科技(深圳)有限公司 | 一种欺诈团伙识别方法、装置、可读存储介质及终端设备 |
CN110046929A (zh) * | 2019-03-12 | 2019-07-23 | 平安科技(深圳)有限公司 | 一种欺诈团伙识别方法、装置、可读存储介质及终端设备 |
CN110177094A (zh) * | 2019-05-22 | 2019-08-27 | 武汉斗鱼网络科技有限公司 | 一种用户团体识别方法、装置、电子设备及存储介质 |
CN110807129A (zh) * | 2019-09-29 | 2020-02-18 | 北京淇瑀信息科技有限公司 | 多层用户关系图集合的生成方法、装置及电子设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205129A (zh) * | 2021-04-28 | 2021-08-03 | 五八有限公司 | 一种作弊团伙识别方法、装置、电子设备及存储介质 |
CN113205129B (zh) * | 2021-04-28 | 2023-04-07 | 五八有限公司 | 一种作弊团伙识别方法、装置、电子设备及存储介质 |
CN114553738A (zh) * | 2022-02-25 | 2022-05-27 | 支付宝实验室(新加坡)有限公司 | 异常检测方法以及装置 |
CN114596111A (zh) * | 2022-03-03 | 2022-06-07 | 浙江吉利控股集团有限公司 | 风险识别模型生成方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9245252B2 (en) | Method and system for determining on-line influence in social media | |
CN103793484B (zh) | 分类信息网站中的基于机器学习的欺诈行为识别*** | |
CN111489190A (zh) | 一种基于用户关系的反作弊方法及*** | |
WO2018188543A1 (zh) | 征信分实时调整处理方法、装置及处理服务器 | |
CN108363821A (zh) | 一种信息推送方法、装置、终端设备及存储介质 | |
CN103345512A (zh) | 一种基于用户属性的网络广告点击率预测方法和装置 | |
CN110019699B (zh) | 域间通过语法槽的分类 | |
CN107818334A (zh) | 一种移动互联网用户访问模式表征和聚类方法 | |
CN108304853B (zh) | 游戏相关度的获取方法、装置、存储介质和电子装置 | |
CN105608179A (zh) | 确定用户标识的关联性的方法和装置 | |
CN105225135B (zh) | 潜力客户识别方法以及装置 | |
CN109978033A (zh) | 同操作人识别模型的构建与同操作人识别的方法和装置 | |
CN111522724B (zh) | 异常账号的确定方法、装置、服务器及存储介质 | |
CN109858965A (zh) | 一种用户识别方法和*** | |
CN111882420A (zh) | 响应率的生成方法、营销方法、模型训练方法及装置 | |
CN114254867A (zh) | 一种电信诈骗受害人风险评估***及方法 | |
CN110213209B (zh) | 一种推送信息点击的作弊检测方法、装置及存储介质 | |
CN111340540A (zh) | 广告推荐模型的监控方法、推荐方法及装置 | |
CN111159541A (zh) | 一种帐号行为偏好的确定方法及装置 | |
CN113468394A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN112819499A (zh) | 信息发送方法、装置、服务器及存储介质 | |
CN113743619A (zh) | 基于关联网络行为的作弊用户识别方法和装置 | |
CN111178934B (zh) | 获取目标对象的方法及装置 | |
CN111382343B (zh) | 一种标签体系生成方法及装置 | |
JP7020345B2 (ja) | 評価装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200804 |
|
WD01 | Invention patent application deemed withdrawn after publication |