CN115376192B - 用户异常行为确定方法、装置、计算机设备及存储介质 - Google Patents
用户异常行为确定方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115376192B CN115376192B CN202211065727.9A CN202211065727A CN115376192B CN 115376192 B CN115376192 B CN 115376192B CN 202211065727 A CN202211065727 A CN 202211065727A CN 115376192 B CN115376192 B CN 115376192B
- Authority
- CN
- China
- Prior art keywords
- target
- face
- clustered
- determining
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004891 communication Methods 0.000 claims abstract description 56
- 230000006399 behavior Effects 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 238000013473 artificial intelligence Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 8
- 238000004220 aggregation Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种用户异常行为确定方法、装置、计算机设备及存储介质。方法包括：从多个数据源获取目标历史时段内的图像集合，图像集合包括多张具有时空信息的待聚类人脸图像；然后对待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；并获取目标用户在至少一个社交平台目标历史时段内的历史行为数据以及运营商通信数据；根据历史行为数据、运营商通信数据以及目标人脸档案，生成目标用户的在目标历史时段内的实际轨迹；最后根据待确认轨迹和实际轨迹判断目标用户是否存在异常行为。本方案通过得到的实际轨迹对待确认轨迹进行确认，减少了待确认轨迹无法被证实或者证实错误的情况发生，可以更准确地确认目标用户是否存在异常行为。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种用户异常行为确定方法、装置、计算机设备及存储介质。
背景技术
存在很多场景，需要对人员轨迹的真实情况进行验证，例如，警察对嫌疑人员进行盘问时，需要验证嫌疑人员口述的路径轨迹是否真实。
目前一般是依靠证人去证实路径是否准确，或者靠嫌疑人员的手机定位去证实路径是否准确，然而，存在证人提供假口供、无证人以及为了伪造路线，将手机交给被人保管的情况，导致轨迹无法被证实或者证实错误的情况发生，无法确定用户是否存在异常行为。
发明内容
本申请实施例提供了一种用户异常行为确定方法、装置、计算机设备及存储介质，用于通过历史行为数据、运营商通信数据以及目标人脸档案共同生成目标用户的实际轨迹，并且根据该实际轨迹对待确认轨迹进行验证，减少了待确认轨迹无法被证实或者证实错误的情况发生，可以更准确地确认目标用户是否存在异常行为。
第一方面，本申请实施例提供了一种用户异常行为确定方法，其包括：
从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像；
对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；
获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据；
根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹；
根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为。
第二方面，本申请实施例还提供了一种用户异常行为确定装置，其包括：
收发模块，用于从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像；
处理模块，用于对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据；根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹；根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为。
在一些实施例中，所述处理模块在执行所述根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹步骤时，具体用于：
从所述历史行为数据中提取第一时空信息；
从所述运营商通信数据中提取第二时空信息；
从所述目标人脸档案中提取第三时空信息；
根据所述第一时空信息、所述第二时空信息、所述第三时空信息、所述第一时空信息对应的第一权重、所述第二时空信息对应的第二权重以及所述第三时空信息对应的第三权重确定所述实际轨迹，所述第三权重大于所述第二权重，且所述第二权重大于所述第一权重。
在一些实施例中，所述处理模块在执行所述根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为步骤时，具体用于：
确定所述待确认轨迹和所述实际轨迹的匹配度；
若所述匹配度大于或等于预设的匹配度阈值，则确定所述目标用户不存在异常行为；
若所述匹配度小于预设的匹配度阈值，则确定所述目标用户存在异常行为。
在一些实施例中，所述处理模块在执行所述对所述目标人脸图像进行聚类处理，得到所述目标人脸档案步骤时，具体用于：
确定所述待聚类人脸图像的人脸特征；
根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值；
根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案；
根据所述目标用户的目标人脸特征从至少一个所述人脸档案中确定所述目标人脸档案。
在一些实施例中，所述处理模块在执行所述根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值步骤时，具体用于：
对所述人脸特征进行两两比对处理，得到待聚类人脸图像两两间的初始相似度分值；
根据预设的相似度分值重映射网络模型对所述初始相似度分值进行相似度分值重映射处理，得到所述目标相似度分值。
在一些实施例中，所述处理模块在执行所述根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案步骤之后，还用于：
将至少一个所述人脸档案存储至预设的人脸档案库中。
在一些实施例中，所述图像集合还包括所述待聚类人脸图像对应的人体图像，所述处理模块在执行所述对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案步骤之前，还用于：
确定所述人体图像的人体特征；
将所述人体特征符合目标人体特征的所述人体图像确定为目标人体图像；
根据所述目标人体图像对所述待聚类人脸图像进行筛选处理，得到目标人脸图像；
将所述目标人脸图像作为所述图像集合中的待聚类人脸图像。
第三方面，本申请实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
相较于现有技术，本申请实施例提供的方案中，当需要对待确认轨迹进行验证的时候，从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像；然后对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；并获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据；根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹；最后根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为。由于本方案通过所述历史行为数据、所述运营商通信数据以及所述目标人脸档案共同生成目标用户的实际轨迹，并且根据该实际轨迹对待确认轨迹进行验证，所以本方案减少了待确认轨迹无法被证实或者证实错误的情况发生，可以更准确地确认目标用户是否存在异常行为。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种用户异常行为确定***的示意图；
图1b为本申请实施例提供的一种用户异常行为确定***的应用场景示意图；
图2为本申请实施例提供的用户异常行为确定方法的一种流程示意图；
图3为本申请实施例提供的用户异常行为确定方法的一种子流程示意图；
图4为本申请实施例提供的用户异常行为确定方法中的一个聚类流程示意图；
图5为本申请实施例提供的待确认轨迹和实际轨迹完全匹配时的一种示意图；
图6为本申请实施例提供的待确认轨迹和实际轨迹匹配通过时的一种示意图；
图7为本申请实施例提供的待确认轨迹和实际轨迹匹配不通过时的一种示意图；
图8为本申请实施例提供的用户异常行为确定装置的示意性框图；
图9为本申请实施例提供的服务器的一种结构示意图；
图10为本申请实施例提供的终端的一种结构示意图；
图11为本申请实施例提供的服务器的一种结构示意图。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请实施例中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个***中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请实施例中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例供了一种用户异常行为确定方法、装置、计算机设备及存储介质，该用户异常行为确定方法的执行主体可以是本申请实施例提供的用户异常行为确定装置，或者集成了该用户异常行为确定装置的计算机设备，其中，该用户异常行为确定装置可以采用硬件或者软件的方式实现，该计算机设备可以为终端或服务器。
当该计算机设备为服务器时，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
当该计算机设备为终端时，该终端可以包括：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)、台式计算机、智能手表等携带多媒体数据处理功能(例如，视频数据播放功能、音乐数据播放功能)的智能终端，但并不局限于此。
本申请实施例的方案可基于人工智能技术实现，具体来说涉及人工智能技术中的计算机视觉技术技术领域和云技术中的云计算、云存储和数据库等领域，下面将分别进行介绍。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、人脸识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例的方案可基于云技术实现，具体来说涉及云技术中的云计算、云存储和数据库等技术领域，下面将分别进行介绍。
云技术(Cloudtechnology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术(Cloudtechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图像类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台***进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的***后盾支撑，只能通过云计算来实现。本申请实施例可通过云技术对识别结果进行保存。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储***(以下简称存储***)是指通过集群应用、网格技术以及分布存储文件***等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储***。在本申请实施例中，可将网络配置等信息均保存在该存储***中，便于服务器调取。
目前，存储***的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件***上，文件***将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(ID，ID entity)等额外的信息，文件***将每个对象分别写入该逻辑卷的物理存储空间，且文件***会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件***能够根据每个对象的存储位置信息让客户端对数据进行访问。
存储***为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(RAID，Redundant Array ofIndependent Disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
数据库(Database)，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。
数据库管理***(英语：Database Management System，简称DBMS)是为管理数据库而设计的电脑软件***，一般具有存储、截取、安全保障、备份等基础功能。数据库管理***可以依据它所支持的数据库模型来作分类，例如关系式、XML(Extensible MarkupLanguage,即可扩展标记语言)；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如SQL(结构化查询语言，Structured QueryLanguage)、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。在本申请实施例中，可将识别结果存储在该数据库管理***中，便于服务器调取。
其中，需要特别说明的是，本申请实施例涉及的服务终端，可以是指向服务终端提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。例如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless LocalLoop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。
在一些实施方式中，本申请实施例可应用于如图1a所示的一种用户异常行为确定***1，所述用户异常行为确定***1包括用户异常行为确定服务器(以下简称服务器)10、多个图像采集装置20(数据源)、至少一个社交平台服务器30、以及运营商服务器40，其中，服务器10与图像采集装置20、社交平台服务器30以及运营商服务器40之间可以进行数据交互。
当基于上述图1a所述的用户异常行为确定***实现本申请实施例中的用户异常行为确定方法时，可参考如图1b所示的一种应用场景示意图。
本申请实施例中，当服务器10需要判断目标用户在目标历史时间段内是否存在异常行为时，会从多个图像采集装置20中获取目标历史时段内的待聚类人脸图像，组成图像集合，其中，获取到的待聚类人脸图像具有时空信息，然后对图像集合中的待聚类图像进行聚类处理，得到目标用户的目标人脸档案，并且还需要从至少一个社交平台服务器30中获取目标用户在至少一个社交平台所述目标历史时段内的历史行为数据，以及从运营商服务器40获取目标用户在目标历史时段内的运营商通信数据，再根据历史行为数据、运营商通信数据以及目标人脸档案，生成目标用户的在目标历史时段内的实际轨迹；最后根据待确认轨迹和实际轨迹判断目标用户是否存在异常行为。由于本实施例通过所述历史行为数据、所述运营商通信数据以及所述目标人脸档案共同生成目标用户的实际轨迹，并且根据该实际轨迹对待确认轨迹进行验证，所以本实施例减少了待确认轨迹无法被证实或者证实错误的情况发生，可以更准确地确认目标用户是否存在异常行为。
下面，将结合几个实施例对本申请技术方案进行详细的介绍说明。
参照图2，以下介绍本申请实施例所提供的一种用户异常行为确定方法，本申请实施例包括：
201、服务器从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像。
其中，本实施例中的数据源可以为图像获取设备，或者存储有图像获取设备图片获取到的待聚类人脸图像的存储设备，本实施例以数据源为图像获取设备为例进行说明，本实施例中的图像获取设备可以为门禁摄像头、道路摄像头、以及小区内摄像头等，摄像头的具体安装位置以及具体类型此处不作限定。
本实施例中的目标历史时段为与待确认轨迹对应的时段，可以为历史时间中的某一天，某几天或者某几个小时，本方案通过对待确认轨迹与实际轨迹判断目标用户是否存在异常行为，其中，待确认轨迹可以为目标用户提供的行程轨迹，实际轨迹为通过本申请计算得到的轨迹。
需要说明的是，本实施例获取到的待聚类人脸图像均具有时空信息，该时空信息包括图像获取设备拍摄该待聚类人脸图像时的拍摄时间以及拍摄地点。
具体地，本实施例中的服务器可以先向图像获取设备发送目标历史时段内的人脸图像获取指令，图像获取设备接收到该目标历史时段内的人脸图像获取指令之后，向服务器发送目标历史时段内的人脸图像。
202、服务器对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案。
具体地，目标人脸档案中的人脸图像为待聚类人脸图像中与目标用户的人脸匹配的人脸图像，其中，目标人脸档案的确定步骤如图3所示：
如图3所示，为了得到目标用户的目标人脸档案，以方便后续根据目标人脸档案生成用户真实的轨迹，在一些实施例中，具体地，步骤202包括：
2021、确定所述待聚类人脸图像的人脸特征。
在一些实时中，将待聚类人脸图像输入人脸特征提取模型获取待聚类人脸图像的人脸特征。
2022、根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值。
在一些实施例中，在计算待聚类人脸图像两两间的目标相似度分值时，具体包括以下步骤：
对所述人脸特征进行两两比对处理，得到待聚类人脸图像两两间的初始相似度分值；根据预设的相似度分值重映射网络模型对所述初始相似度分值进行相似度分值重映射处理，得到所述目标相似度分值。
其中，该似度分值重映射网络模型可以为图卷积网络(Graph ConvolutionalNetwork，GCN)模型，经过相似度分值重映射处理的卷积处理后的相似度分值图可以利用节点邻居之间的相似度信息，使得待聚类人脸图像两两间的目标相似度分值更加准确。
可见，由于经过相似度分值重映射网络模型处理的目标相似度分值更加准确，所以后续使用该目标相似度分值进行聚类，也会提高聚类的准确度。
其中，为了将聚类过程更加直观地展现给用户，在一些实施例中，确定待聚类人脸图像两两间的相似度分值之后，会得到一张互相关联的图，即人脸相似度邻接图。在这张图中，每一个节点对应一个待聚类人脸图像，得到的相似度分值就构成了部分待聚类人脸图像之间的边。
在一些实施例中，请参阅图4，通过待聚类人脸图像两两间的目标相似度分值得到人脸相似度邻接图，然后通过GCN模型对人脸相似度邻接图中的节点之间的相似度进行相似度分值重映射处理，得到重映射处理后的人脸相似度邻接图，该图中，节点之间的相似度经过重映射优化，相似度分值更加准确。
2023、根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案。
为了避免后续需要使用目标时间段对应的人脸档案造成重复聚类的工作，本实施例得到至少一个人脸档案之后，还需要将至少一个所述人脸档案存储至预设的人脸档案库中。
2024、根据所述目标用户的目标人脸特征从至少一个所述人脸档案中确定所述目标人脸档案。
即，本实施例在对人脸图像进行聚类处理的时候，首先需要提取各待聚类人脸图像的人脸特征，然后根据人脸特征确定待聚类人脸图像两两间的目标相似度分值，再根据该目标相似度分值对待聚类人脸图像进行聚类处理，得到至少一个人脸档案，然后获取目标用户的目标人脸特征，从至少一个人脸档案中提取与目标人脸特征之间特征最相近的人脸档案作为目标人脸档案。
在一些实施例中，考虑到多个数据源获取到的待聚类人脸图像数量太多，服务器同时对海量人脸图像进行聚档计算，聚档的复杂度非常高，为了降低聚档的复杂度，本实施例将以地区为层级进行聚档操作，例如，先以单个图像获取设备为单位进行聚档，然后在同一个小区内聚好的档案之间再进行聚档的操作，如此反复，直到最后在全部地区进行聚档，这个过程可以显著减少聚档的复杂度。
可见，本实施例可以按待聚类人脸图像中的时空信息，将待聚类人脸图像分为多个计算块，然后分别对每个计算块进行聚档计算，得到多个第一聚类结果，然后再将多个第一聚类结果划分为多个计算块，然后再对每个计算块进行聚档操作，如此按地域层级进行聚档操作，知道将所有图像聚档完毕，通过这种层级的聚档方法，可以减少聚档的复杂度。
在一些实施例中，考虑到抓拍人脸记录一般都抓拍到了对应的人体图像，为了减少后续人脸聚类的图像图像，本实施例可以根据抓拍到的人体图像对人脸图像进行筛选，从而减少参与聚类的人脸图像的数量，进而减少聚类的计算量，提高聚类速度。
此时，具体地，所述图像集合还包括所述待聚类人脸图像对应的人体图像，所述对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案之前，所述方法还包括：确定所述人体图像的人体特征；将所述人体特征符合目标人体特征的所述人体图像确定为目标人体图像；根据所述目标人体图像对所述待聚类人脸图像进行筛选处理，得到目标人脸图像；将所述目标人脸图像作为所述图像集合中的待聚类人脸图像。其中，目标人体特征为目标用户对应的人体特征，例如，目标用户的身高特征、胖瘦特征等。
即，在进行人脸图像聚类之前，会获取各人体图像的人体特征，然后将与目标人体特征不匹配的人体特征过滤掉，得到目标人体特征，进而得到与目标人体特征对应的目标人脸图像，然后对目标人脸图像进行聚，其中，该目标人体特征为根据目标用户的人体特征生成的特征。
可见，本实施例目标人脸图像作为所述图像集合中的待聚类人脸图像，只需要对过滤后的目标人脸图像进行聚类处理，参与聚类的目标人脸图像的数量比初始获取到的待聚类人脸图像的数量少，故通过本实施例可以减少参与聚类的待聚类人脸图像的数量，提高聚类速度。
203、服务器获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据。
本实施例中，社交平台包括抖音、微信、微博和/或小红书等提供了定位发布功能的社交平台，历史行为数据可以为目标用户通过目标用户实名认证的微信发布朋友圈时，朋友圈的定位信息以及发布该朋友圈的时间信息、朋友圈内容；和/或目标用户通过目标用户实名认证的微博发布博文时，博文的定位信息以及发布该博文时的时间信息，博文内容；等等。
运营商通信数据为目标用户实名认证的目标手机等通信设备与基站通信时的基站定位数据。
具体地，当服务器需要生成目标用户的实际轨迹的时候，需要向社交平台服务器发送目标用户在目标历史时段内的历史行为数据获取指令，以及向运营商服务器发送目标用户在目标历史时段内的运营商通信数据。
当社交平台服务器接收到目标用户在目标历史时段内的历史行为数据获取指令之后，从社交平台服务器内存中调取目标用户在目标历史时段内的历史行为数据，并将该目标用户在目标历史时段内的历史行为数据反馈至服务器；当运营商服务器接收到目标用户在目标历史时段内的运营商通信数据获取指令之后，从运营商服务器内存中调取目标用户在目标历史时段内的运营商通信数据，并将该目标用户在目标历史时段内的运营商通信数据反馈至服务器。
需要说明的时，步骤203与步骤201-202无执行先后顺序关系，即步骤203可以与步骤201-202同时执行，也可以在步骤201-202之前执行，具体执行顺序此处不作限定。
204、服务器根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹。
其中，实际轨迹是根据获取到的用户数据计算生成的轨迹，例如，根据目标用户发布的朋友圈的时空定位信息、目标实名认证的手机与基站时空定位以及目标人脸档案中各人脸图像的时空信息等，按照时间的先后顺序依次生成的轨迹。
在一些实施例中，具体地，步骤S204包括：从所述历史行为数据中提取第一时空信息；从所述运营商通信数据中提取第二时空信息；从所述目标人脸档案中提取第三时空信息；然后根据所述第一时空信息、所述第二时空信息、所述第三时空信息、所述第一时空信息对应的第一权重、所述第二时空信息对应的第二权重以及所述第三时空信息对应的第三权重确定所述实际轨迹，其中，所述第三权重大于所述第二权重，且所述第二权重大于所述第一权重。
即，本实施例在进行实际轨迹的生成时，需要分别从历史行为数据、运营商通信数据以及目标人脸档案中提取第一时空信息、第二时空信息以及第三时空信息，然后根据第一时空信息、第二时空信息以及第三时空信息生成实际轨迹，此外，为了避免存在同一时间对应多个轨迹点的情况发生，此时，需要为每个时空信息预设一个权重，优先选择权重高的轨迹点作为实际轨迹对应的地点。
例如，根据第一时空信息可知：目标用户在2022年8月1日15点05分的轨迹点A；根据第三时空信息可知：目标用户在2022年8月1日15点05分的轨迹点B；那么在2022年8月1日15点05分这个时间，对应了两个不同的地点，此时，由于第三时空信息对应的权重高于第一时空信息，此时，在生成实际轨迹时，删除第一时空信息在该时间对应的地点，将地点B作为实际轨迹在2022年8月1日15点05分的轨迹点。
可见，由于本实施例对个时空信息都设置了不同的权重，防止实际轨迹在同一时间点出现不同轨迹点的情况发生，提高了实际轨迹的可解释性。
在一些实施例中，如果用户在相同时间对应多个轨迹点，此时，说明用户存在故意造假的行为，生成警示信息，以提醒核查人员该用户在哪个时间段具有多个轨迹点，进一步对目标用户的轨迹进行排查。
205、服务器根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为。
其中，待确认轨迹为需要进一步验证的轨迹，可以为目标用户在面对核查人员盘问时提供的轨迹，例如根据目标用户口述的目标用户在多个时间点所处的位置生成的轨迹。
本实施例中，具体地，确定所述待确认轨迹和所述实际轨迹的匹配度；若所述匹配度大于或等于预设的匹配度阈值，则确定所述目标用户不存在异常行为；若所述匹配度小于预设的匹配度阈值，则确定所述目标用户存在异常行为，该异常行为证明目标用户提供了虚假轨迹，如果目标用户提供了虚假轨迹，则后续核查人员可以重点盘查该用户。
具体地，待确认轨迹由多个待确认轨迹时空点构成，实际轨迹由多个实际轨迹时空点构成(一般情况下，实际轨迹的实际轨迹时空点比待确认轨迹的待确认轨迹时空点数量多)，本方案需要将相同时间点的将待确认轨迹时空点与实际轨迹时空点进行比对，若比对成功(即两个轨迹对应的地点相同)，则说明该将待确认轨迹时空点匹配通过，直至所有待确认轨迹时空点均进行匹配，得到所有待确认轨迹时空点的匹配信息，综合所有点的匹配信息得到待确认轨迹和实际轨迹的匹配度。
例如，有10个待确认轨迹时空点，有9个点匹配通过，则该待确认轨迹的匹配度为90％，若该匹配度阈值可以为85％，则匹配通过；如果有10个待确认轨迹时空点，有6个点匹配通过，则该待确认轨迹的匹配度为60％，则匹配不通过。
其中，图5为待确认轨迹和实际轨迹完全匹配的示意图，图6为待确认轨迹和实际轨迹匹配通过的示意图(10个待确认轨迹时空点有9个匹配)，图7为待确认轨迹和实际轨迹匹配不通过的示意图(10个待确认轨迹时空点有5个匹配)。
本实施例中，如果匹配度大于或等于预设的匹配度阈值，则说明待确认轨迹和实际轨迹之间的匹配度较高，即，待确认轨迹与实际轨迹中，同一时间的轨迹点也相同，则说明目标用户提供的待确认轨迹时正确的，不存在异常行为，如果同一时间的轨迹点不同，例如，待确认轨迹中某一时间的轨迹点为A，但实际轨迹中该时间的轨迹点为B，此时说明待确认轨迹和实际轨迹在该时间是不匹配的。
综上所述，由于本方案通过所述历史行为数据、所述运营商通信数据以及所述目标人脸档案共同生成目标用户的实际轨迹，并且根据该实际轨迹对待确认轨迹进行验证，所以本方案减少了待确认轨迹无法被证实或者证实错误的情况发生，可以更准确地确认目标用户是否存在异常行为。
此外，本方案结合上述历史行为数据、所述运营商通信数据以及所述目标人脸档案生成的实际轨迹，其轨迹点更加丰富，提高了实际轨迹的轨迹密度。
图8是本申请实施例提供的一种用户异常行为确定装置的示意性框图。如图8所示，对应于以上用户异常行为确定方法，本申请还提供一种用户异常行为确定装置。该用户异常行为确定装置包括用于执行上述用户异常行为确定方法的单元，该装置可以被配置于终端或服务器中。具体地，请参阅图8，该用户异常行为确定装置800包括收发模块801以及处理模块802。
收发模块801，用于从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像；
处理模块802，用于对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据；根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹；根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为。
在一些实施例中，所述处理模块802在执行所述根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹步骤时，具体用于：
从所述历史行为数据中提取第一时空信息；
从所述运营商通信数据中提取第二时空信息；
从所述目标人脸档案中提取第三时空信息；
根据所述第一时空信息、所述第二时空信息、所述第三时空信息、所述第一时空信息对应的第一权重、所述第二时空信息对应的第二权重以及所述第三时空信息对应的第三权重确定所述实际轨迹，所述第三权重大于所述第二权重，且所述第二权重大于所述第一权重。
在一些实施例中，所述处理模块802在执行所述根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为步骤时，具体用于：
确定所述待确认轨迹和所述实际轨迹的匹配度；
若所述匹配度大于或等于预设的匹配度阈值，则确定所述目标用户不存在异常行为；
若所述匹配度小于预设的匹配度阈值，则确定所述目标用户存在异常行为。
在一些实施例中，所述处理模块802在执行所述对所述目标人脸图像进行聚类处理，得到所述目标人脸档案步骤时，具体用于：
确定所述待聚类人脸图像的人脸特征；
根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值；
根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案；
根据所述目标用户的目标人脸特征从至少一个所述人脸档案中确定所述目标人脸档案。
在一些实施例中，所述处理模块802在执行所述根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值步骤时，具体用于：
对所述人脸特征进行两两比对处理，得到待聚类人脸图像两两间的初始相似度分值；
根据预设的相似度分值重映射网络模型对所述初始相似度分值进行相似度分值重映射处理，得到所述目标相似度分值。
在一些实施例中，所述处理模块802在执行所述根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案步骤之后，还用于：
将至少一个所述人脸档案存储至预设的人脸档案库中。
在一些实施例中，所述图像集合还包括所述待聚类人脸图像对应的人体图像，所述处理模块802在执行所述对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案步骤之前，还用于：
确定所述人体图像的人体特征；
将所述人体特征符合目标人体特征的所述人体图像确定为目标人体图像；
根据所述目标人体图像对所述待聚类人脸图像进行筛选处理，得到目标人脸图像；
将所述目标人脸图像作为所述图像集合中的待聚类人脸图像。
综上所述，由于本方案中的用户异常行为确定装置800通过所述历史行为数据、所述运营商通信数据以及所述目标人脸档案共同生成目标用户的实际轨迹，并且根据该实际轨迹对待确认轨迹进行验证，所以本方案减少了待确认轨迹无法被证实或者证实错误的情况发生，可以更准确地确认目标用户是否存在异常行为。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述用户异常行为确定装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
图8所示的装置可以具有如图9所示的结构，当图8所示的装置具有如图9所示的结构时，图9中的处理器能够实现前述对应该装置的装置实施例提供的所述处理模块相同或相似的功能，图9中的收发器能够实现前述对应该装置的装置实施例提供的所述收发模块相同或相似的功能，图9中的存储器存储处理器执行上述用户异常行为确定方法时需要调用的计算机程序。在本申请实施例图8所示的实施例中的所述收发模块所对应的实体设备可以为输入输出接口，所述处理模块对应的实体设备可以为处理器。
本申请实施例还提供了另一种终端设备，如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文简称：PDA)、销售终端(英文全称：Point ofSales，英文简称：POS)、车载电脑等任意终端设备，以终端为手机为例：
图10示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图10，手机包括：射频(英文全称：Radio Frequency，英文简称：RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(英文全称：wirelessfidelity，英文简称：Wi-Fi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍：
RF电路610可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器680处理；另外，将设计上行的数据发送给基站。通常，RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文简称：LNA)、双工器等。此外，RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(英文全称：Global System ofMobile communication，英文简称：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，英文简称：GPRS)、码分多址(英文全称：Code DivisionMultipleAccess，英文简称：CDMA)、宽带码分多址(英文全称：Wideband Code DivisionMultipleAccess,英文简称：WCDMA)、长期演进(英文全称：LongTerm Evolution，英文简称：LTE)、电子邮件、短消息服务(英文全称：Short MessagingService，英文简称：SMS)等。
存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641，可选的，可以采用液晶显示器(英文全称：LiquidCrystal Display，英文简称：LCD)、有机发光二极管(英文全称：Organic Light-EmittingDiode,英文简称：OLED)等形式来配置显示面板641。进一步的，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图10中，触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在手机移动到耳边时，关闭显示面板641和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路660、扬声器661，传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610以发送给比如另一手机，或者将音频数据输出至存储器620以便进一步处理。
Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了Wi-Fi模块670，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器680可包括一个或多个处理单元；优选的，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。
手机还包括给各个部件供电的电源690(比如电池)，电源可以通过电源管理***与处理器680逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的处理器680还具有控制执行以上由图2所示的用户异常行为确定方法的流程图。
图11是本申请实施例提供的一种服务器结构示意图，该服务器720可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(英文全称：centralprocessing units，英文简称：CPU)722(例如，一个或一个以上处理器)和存储器732，一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器722可以设置为与存储介质730通信，在服务器720上执行存储介质730中的一系列指令操作。
服务器720还可以包括一个或一个以上电源726，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口758，和/或，一个或一个以上操作***741，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器720的结构。例如上述实施例中由图2所示的服务器的步骤可以基于该图11所示的服务器结构。例如，所述处理器722通过调用存储器732中的指令，执行以下操作：
从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像；
对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；
获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据；
根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹；
根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为。
在一些实施例中，处理器722在实现所述根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹步骤时，具体实现如下步骤：
从所述历史行为数据中提取第一时空信息；
从所述运营商通信数据中提取第二时空信息；
从所述目标人脸档案中提取第三时空信息；
根据所述第一时空信息、所述第二时空信息、所述第三时空信息、所述第一时空信息对应的第一权重、所述第二时空信息对应的第二权重以及所述第三时空信息对应的第三权重确定所述实际轨迹，所述第三权重大于所述第二权重，且所述第二权重大于所述第一权重。
在一些实施例中，处理器722在实现所述根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为步骤时，具体实现如下步骤：
确定所述待确认轨迹和所述实际轨迹的匹配度；
若所述匹配度大于或等于预设的匹配度阈值，则确定所述目标用户不存在异常行为；
若所述匹配度小于预设的匹配度阈值，则确定所述目标用户存在异常行为。
在一些实施例中，处理器722在实现所述对所述目标人脸图像进行聚类处理，得到所述目标人脸档案步骤时，具体实现如下步骤：
确定所述待聚类人脸图像的人脸特征；
根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值；
根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案；
根据所述目标用户的目标人脸特征从至少一个所述人脸档案中确定所述目标人脸档案。
在一些实施例中，处理器722在实现所述根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值步骤时，具体实现如下步骤：
对所述人脸特征进行两两比对处理，得到待聚类人脸图像两两间的初始相似度分值；
根据预设的相似度分值重映射网络模型对所述初始相似度分值进行相似度分值重映射处理，得到所述目标相似度分值。
在一些实施例中，处理器722在实现所述根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案步骤之后，还实现如下步骤：
将至少一个所述人脸档案存储至预设的人脸档案库中。
在一些实施例中，所述图像集合还包括所述待聚类人脸图像对应的人体图像，处理器722在实现所述所述对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案步骤之前，还实现如下步骤：
确定所述人体图像的人体特征；
将所述人体特征符合目标人体特征的所述人体图像确定为目标人体图像；
根据所述目标人体图像对所述待聚类人脸图像进行筛选处理，得到目标人脸图像；
将所述目标人脸图像作为所述图像集合中的待聚类人脸图像。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
应当理解，在本申请实施例中，处理器722可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器722还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤：
从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像；
对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；
获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据；
根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹；
根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种用户异常行为确定方法，其特征在于，包括：
从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像；
对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；
获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据；
根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹；
根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为；
所述根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹，包括：
从所述历史行为数据中提取第一时空信息；
从所述运营商通信数据中提取第二时空信息；
从所述目标人脸档案中提取第三时空信息；
根据所述第一时空信息、所述第二时空信息、所述第三时空信息、所述第一时空信息对应的第一权重、所述第二时空信息对应的第二权重以及所述第三时空信息对应的第三权重确定所述实际轨迹，所述第三权重大于所述第二权重，且所述第二权重大于所述第一权重。
2.根据权利要求1所述的方法，其特征在于，所述根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为，包括：
确定所述待确认轨迹和所述实际轨迹的匹配度；
若所述匹配度大于或等于预设的匹配度阈值，则确定所述目标用户不存在异常行为；
若所述匹配度小于预设的匹配度阈值，则确定所述目标用户存在异常行为。
3.根据权利要求1所述的方法，其特征在于，所述对所述目标人脸图像进行聚类处理，得到所述目标人脸档案，包括：
确定所述待聚类人脸图像的人脸特征；
根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值；
根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案；
根据所述目标用户的目标人脸特征从至少一个所述人脸档案中确定所述目标人脸档案。
4.根据权利要求3所述的方法，其特征在于，所述根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值，包括：
对所述人脸特征进行两两比对处理，得到待聚类人脸图像两两间的初始相似度分值；
通过所述待聚类人脸图像两两间的初始相似度分值得到人脸相似度邻接图；所述人脸相似度邻接图中每一个节点对应一个待聚类人脸图像；
根据预设的相似度分值重映射网络模型对所述初始相似度分值进行相似度分值重映射处理，得到所述目标相似度分值；
所述预设的相似度分值重映射网络模型为图卷积网络模型；所述根据预设的相似度分值重映射网络模型对所述初始相似度分值进行相似度分值重映射处理，得到所述目标相似度分值，包括：
通过所述图卷积网络模型对所述人脸相似度邻接图中的节点之间的初始相似度分值进行相似度分值重映射处理，得到重映射处理后的人脸相似度邻接图；
根据所述重映射处理后的人脸相似度邻接图得到所述目标相似度分值。
5.根据权利要求3所述的方法，其特征在于，所述根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案之后，所述方法还包括：
将至少一个所述人脸档案存储至预设的人脸档案库中。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述图像集合还包括所述待聚类人脸图像对应的人体图像，所述对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案之前，所述方法还包括：
确定所述人体图像的人体特征；
将所述人体特征符合目标人体特征的所述人体图像确定为目标人体图像；
根据所述目标人体图像对所述待聚类人脸图像进行筛选处理，得到目标人脸图像；
将所述目标人脸图像作为所述图像集合中的待聚类人脸图像。
7.一种用户异常行为确定装置，其特征在于，包括：
收发模块，用于从多个数据源获取目标历史时段内的图像集合，所述图像集合包括多张具有时空信息的待聚类人脸图像；
处理模块，用于对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案；获取所述目标用户在至少一个社交平台所述目标历史时段内的历史行为数据以及运营商通信数据；根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹；根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为；
所述处理模块在执行所述根据所述历史行为数据、所述运营商通信数据以及所述目标人脸档案，生成所述目标用户的在所述目标历史时段内的实际轨迹步骤时，具体用于：
从所述历史行为数据中提取第一时空信息；
从所述运营商通信数据中提取第二时空信息；
从所述目标人脸档案中提取第三时空信息；
根据所述第一时空信息、所述第二时空信息、所述第三时空信息、所述第一时空信息对应的第一权重、所述第二时空信息对应的第二权重以及所述第三时空信息对应的第三权重确定所述实际轨迹，所述第三权重大于所述第二权重，且所述第二权重大于所述第一权重。
8.根据权利要求7所述的用户异常行为确定装置，其特征在于，所述处理模块在执行所述根据待确认轨迹和所述实际轨迹判断所述目标用户是否存在异常行为步骤时，具体用于：
确定所述待确认轨迹和所述实际轨迹的匹配度；
若所述匹配度大于或等于预设的匹配度阈值，则确定所述目标用户不存在异常行为；
若所述匹配度小于预设的匹配度阈值，则确定所述目标用户存在异常行为。
9.根据权利要求7所述的用户异常行为确定装置，其特征在于，所述处理模块在执行所述对所述目标人脸图像进行聚类处理，得到所述目标人脸档案步骤时，具体用于：
确定所述待聚类人脸图像的人脸特征；
根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值；
根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案；
根据所述目标用户的目标人脸特征从至少一个所述人脸档案中确定所述目标人脸档案。
10.根据权利要求9所述的用户异常行为确定装置，其特征在于，所述处理模块在执行所述根据所述人脸特征确定所述待聚类人脸图像两两间的目标相似度分值步骤时，具体用于：
对所述人脸特征进行两两比对处理，得到待聚类人脸图像两两间的初始相似度分值；
通过所述待聚类人脸图像两两间的初始相似度分值得到人脸相似度邻接图；所述人脸相似度邻接图中每一个节点对应一个待聚类人脸图像；
根据预设的相似度分值重映射网络模型对所述初始相似度分值进行相似度分值重映射处理，得到所述目标相似度分值；
所述预设的相似度分值重映射网络模型为图卷积网络模型；所述根据预设的相似度分值重映射网络模型对所述初始相似度分值进行相似度分值重映射处理，得到所述目标相似度分值，包括：
通过所述图卷积网络模型对所述人脸相似度邻接图中的节点之间的初始相似度分值进行相似度分值重映射处理，得到重映射处理后的人脸相似度邻接图；
根据所述重映射处理后的人脸相似度邻接图得到所述目标相似度分值。
11.根据权利要求9所述的用户异常行为确定装置，其特征在于，所述处理模块在执行所述根据所述目标相似度分值对所述待聚类人脸图像进行聚类处理，得到至少一个人脸档案步骤之后，还用于：
将至少一个所述人脸档案存储至预设的人脸档案库中。
12.根据权利要求7至11中任一项所述的用户异常行为确定装置，其特征在于，所述图像集合还包括所述待聚类人脸图像对应的人体图像，所述处理模块在执行所述对所述待聚类人脸图像进行聚类处理，得到目标用户的目标人脸档案步骤之前，还用于：
确定所述人体图像的人体特征；
将所述人体特征符合目标人体特征的所述人体图像确定为目标人体图像；
根据所述目标人体图像对所述待聚类人脸图像进行筛选处理，得到目标人脸图像；
将所述目标人脸图像作为所述图像集合中的待聚类人脸图像。
13.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211065727.9A CN115376192B (zh) | 2022-09-01 | 2022-09-01 | 用户异常行为确定方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211065727.9A CN115376192B (zh) | 2022-09-01 | 2022-09-01 | 用户异常行为确定方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115376192A CN115376192A (zh) | 2022-11-22 |
| CN115376192B true CN115376192B (zh) | 2024-01-30 |
Family
ID=84069666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211065727.9A Active CN115376192B (zh) | 2022-09-01 | 2022-09-01 | 用户异常行为确定方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115376192B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117972685B (zh) * | 2024-03-28 | 2024-06-11 | 广州博今网络技术有限公司 | 一种基于模拟页面与服务器通信方法及*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104426937A (zh) * | 2013-08-26 | 2015-03-18 | 何愈 | 通过移动电话和云计算实现对其他设备所记录内容的定位 |
| CN114357216A (zh) * | 2021-12-10 | 2022-04-15 | 浙江大华技术股份有限公司 | 一种人像聚档方法、装置、电子设备及存储介质 |
| CN114491148A (zh) * | 2022-04-14 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 目标人员搜索方法、装置、计算机设备及存储介质 |
| CN114898420A (zh) * | 2022-03-29 | 2022-08-12 | 浙江大华技术股份有限公司 | 异常人脸档案识别方法、装置、电子装置和存储介质 |
| CN114973351A (zh) * | 2022-03-31 | 2022-08-30 | 北京瑞莱智慧科技有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN114973352A (zh) * | 2022-03-31 | 2022-08-30 | 北京瑞莱智慧科技有限公司 | 人脸识别方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2883152A4 (en) * | 2012-08-10 | 2016-03-16 | Nokia Technologies Oy | METHOD AND DEVICE FOR PROVIDING A CROWD SOURCE-FINANCED GEOCODING |
-
2022
- 2022-09-01 CN CN202211065727.9A patent/CN115376192B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104426937A (zh) * | 2013-08-26 | 2015-03-18 | 何愈 | 通过移动电话和云计算实现对其他设备所记录内容的定位 |
| CN114357216A (zh) * | 2021-12-10 | 2022-04-15 | 浙江大华技术股份有限公司 | 一种人像聚档方法、装置、电子设备及存储介质 |
| CN114898420A (zh) * | 2022-03-29 | 2022-08-12 | 浙江大华技术股份有限公司 | 异常人脸档案识别方法、装置、电子装置和存储介质 |
| CN114973351A (zh) * | 2022-03-31 | 2022-08-30 | 北京瑞莱智慧科技有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN114973352A (zh) * | 2022-03-31 | 2022-08-30 | 北京瑞莱智慧科技有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN114491148A (zh) * | 2022-04-14 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 目标人员搜索方法、装置、计算机设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| Research on the innovation of trajectory big data in social Governance;Bin Zhang等;《Proceedings of the 6th ACM/ACIS International Conference on Applied Computing and Information Technology》;第38-42页 * |
| 位置轨迹数据挖掘在公安工作中的应用;童智峰;《中国优秀硕士学位论文全文数据库社会科学I辑》;第1.2节、第4.1节 * |
| 基于位置的移动社交网络中签到轨迹隐私保护;刘跃遥;《万方学位论文》;第1-58页 * |
| 基于手机LBS位置服务的社交网络分析;马强;付艳茹;;宁波职业技术学院学报(第04期);第98-102页 * |
| 基于手机轨迹数据的人口流动分析;孔扬鑫;金澈清;王晓玲;;计算机应用(第01期);第50-57页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115376192A (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11290447B2 (en) | Face verification method and device | |
| CN110704661B (zh) | 一种图像分类方法和装置 | |
| CN114595124B (zh) | 时序异常检测模型评估方法、相关装置及存储介质 | |
| CN114973351B (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN114694226B (zh) | 一种人脸识别方法、***及存储介质 | |
| CN115376192B (zh) | 用户异常行为确定方法、装置、计算机设备及存储介质 | |
| CN112995757B (zh) | 视频剪裁方法及装置 | |
| CN116778306A (zh) | 伪造对象检测方法、相关装置及存储介质 | |
| CN114821751B (zh) | 图像识别方法、装置、***及存储介质 | |
| CN115640567B (zh) | Tee完整性认证方法、装置、***及存储介质 | |
| CN116071614A (zh) | 样本数据处理方法、相关设备及存储介质 | |
| CN115546516A (zh) | 人员聚档方法、装置、计算机设备及存储介质 | |
| CN115984643A (zh) | 模型训练方法、相关设备及存储介质 | |
| CN115062197A (zh) | 考勤数据检测方法、装置及存储介质 | |
| CN114973352A (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN115412726B (zh) | 视频真伪检测方法、装置及存储介质 | |
| CN116386647B (zh) | 音频验证方法、相关装置、存储介质及程序产品 | |
| CN115909186B (zh) | 图像信息识别方法、装置、计算机设备及存储介质 | |
| CN115525554B (zh) | 模型的自动化测试方法、***及存储介质 | |
| CN116363490A (zh) | 伪造对象检测方法、相关装置及存储介质 | |
| CN115050079B (zh) | 人脸识别方法、装置及存储介质 | |
| CN116257657B (zh) | 数据处理方法、数据查询方法、相关装置及存储介质 | |
| CN115565215A (zh) | 一种人脸识别算法切换方法、装置及存储介质 | |
| CN117252983A (zh) | 一种对象重建方法、装置、计算机设备及存储介质 | |
| CN116167274A (zh) | 仿真作战攻防训练方法、相关装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |