CN112328658B - 用户档案数据处理方法、装置、设备及存储介质 - Google Patents
用户档案数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112328658B CN112328658B CN202011211687.5A CN202011211687A CN112328658B CN 112328658 B CN112328658 B CN 112328658B CN 202011211687 A CN202011211687 A CN 202011211687A CN 112328658 B CN112328658 B CN 112328658B
- Authority
- CN
- China
- Prior art keywords
- attribute information
- user
- original data
- different
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 17
- 230000002776 aggregation Effects 0.000 claims description 16
- 238000004220 aggregation Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了用户档案数据处理方法、装置、设备及存储介质，涉及大数据领域，通过获取来自不同数据源的多个原始数据集；根据各原始数据集中已知的各用户的属性信息关联关系从多个原始数据集中筛选出相同用户的多个不同第一属性信息；根据预设共现条件从多个原始数据集中筛选出相同用户的多个不同第二属性信息；将各相同用户的第一属性信息和第二属性信息关联，获得最终用户档案信息集合并存储或输出。通过已知的各用户的属性信息关联关系和预设共现条件将不同数据源的多个原始数据集中相同用户的属性信息关联聚合，获取到最终用户档案信息集合，有效实现跨数据源的相同用户的不同属性信息关联，便于用户数据查询和管理，提高处理效率，降低成本。
Description
技术领域
本申请涉及计算机技术中的大数据技术领域，尤其涉及一种用户档案数据处理方法、装置、设备及存储介质。
背景技术
在日常生活中通常在不同的场景中会获取到海量用户数据，海量用户数据中包括用户的一些属性信息，例如交通部门采集到的海量用户数据中包括用户的车牌号码，电信运营商采集到的海量用户数据中包括用户的手机号码，公安部门采集到的海量用户数据中包括用户的身份证件号码等等。
在公安领域等一些应用领域中，通常会获取到来自不同数据源的海量用户数据，但是对于不同数据源的海量用户数据，通常无法直接将其中同一用户的各种数据进行关联及归并，不便于对用户数据进行查询和管理。
发明内容
本申请提供了一种用户档案数据处理方法、装置、设备及存储介质，以实现跨数据源的相同用户的不同属性信息的关联，提高处理效率，降低成本。
根据本申请的第一方面，提供了一种用户档案数据处理方法，包括：
获取来自不同数据源的多个原始数据集，其中每一所述原始数据集中包括多个用户的不同属性信息；
根据各所述原始数据集中已知的各用户的属性信息关联关系，从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息；
根据预设共现条件，从多个所述原始数据集中筛选出相同用户的多个不同第二属性信息；
将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出。
根据本申请的第二方面，提供了一种用户档案数据处理装置，包括：
获取单元，用于获取来自不同数据源的多个原始数据集，其中每一所述原始数据集中包括多个用户的不同属性信息；
第一筛选单元，用于根据各所述原始数据集中已知的各用户的属性信息关联关系，从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息；
第二筛选单元，用于根据预设共现条件，从多个所述原始数据集中筛选出相同用户的多个不同第二属性信息；
聚合单元，用于将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出。
根据本申请的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的方法。
根据本申请的第五方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请一实施例提供的用户档案数据处理方法的应用场景图；
图2是本申请一实施例提供的用户档案数据处理方法的流程图；
图3是本申请另一实施例提供的用户档案数据处理方法的流程图；
图4是本申请另一实施例提供的用户档案数据处理方法的流程图；
图5是本申请另一实施例提供的用户档案数据处理方法的流程图；
图6是本申请另一实施例提供的用户档案数据处理方法的流程图；
图7是本申请另一实施例提供的用户档案数据处理方法的流程图；
图8是本申请一实施例提供的用户档案数据处理装置的框图；
图9是本申请一实施例提供的用来实现本申请实施例的用户档案数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在日常生活中通常在不同的场景中会获取到海量用户数据，海量用户数据中包括用户的一些属性信息，例如交通部门采集到的海量用户数据中包括用户的车牌号码，电信运营商采集到的海量用户数据中包括用户的手机号码，公安部门采集到的海量用户数据中包括用户的身份证件号码等等。
在公安领域等一些应用领域中，通常会获取到来，但是对于不同数据源的海量用户数据，可能来自不同的采集设备进行采集或输入，数据可能分散存储，或者数据之间存在异构，数据格式无法统一，例如有些用户数据可能是图像自不同数据源的海量用户数据采集设备采集的图像，有些用户数据可能是文字输入设备输入的文字，因此通常无法直接将自不同数据源的海量用户数据中同一用户的各种数据进行关联及归并，不便于对用户数据进行查询和管理，例如数据源A的海量用户数据中包含有用户的第一属性信息与第二属性信息的关联关系，数据源B的海量用户数据中包含有用户的第二属性信息与第三属性信息的关联关系，数据源C的海量用户数据中包含有用户的第三属性信息与第四属性信息的关联关系，若当前已知某一用户的第一属性信息，希望获取该用户的第四属性信息或者第四属性信息相关的其用户信息，则无法直接从数据源C的海量用户数据中直接根据第一属性信息进行查询，而是需要先通过的数据源A的海量用户数据和数据源B的海量用户数据中的关联关系才能确定第一属性信息与第四属性信息的关联关系，才能从数据源C的海量用户数据中查询得到该用户的第四属性信息或者第四属性信息相关的其用户信息，可见不同数据源的海量用户数据中同一用户的各种数据无法直接关联及归并，为用户数据的查询和管理带来了极大的不便，处理效率低下，成本较高。
为了解决上述技术问题，实现跨数据源的相同用户的不同属性信息的关联，提高处理效率，降低成本，本申请实施例中提供一种用户档案数据处理方法，先获取到来自不同数据源的多个原始数据集，其中，每一原始数据集包括多个用户的不同属性信息，例如第一原始数据集中包括多个用户的身份证件号码和手机号码，第二原始数据集中包括多个用户的手机号码和车牌号码。
进一步的，从多个原始数据集中分别获取到各原始数据集中已知的属性信息关联关系，例如在第一原始数据集中可获取到各用户的身份证件号码和手机号码之间的关联关系，而在第二原始数据集可获取到各用户的手机号码和车牌号码之间的关联关系，再根据各原始数据集中已知的属性信息关联关系筛选出具有交集的属性信息关联关系，从而可基于交集得到相同用户的多个不同第一属性信息，例如第一原始数据集中包含的用户的身份证件号码和手机号码之间的关联关系中存在用户A的身份证件号码和手机号码之间的关联关系，而第二原始数据集中到的用户的手机号码和车牌号码之间的关联关系中存在用户A的手机号码和车牌号码之间的关联关系，两种关联关系存在交集为用户A的手机号码，基于此可得到用户A对应的多个不同第一属性信息，包括用户A的身份证件号码、手机号码及车牌号码。
考虑到各原始数据集中已知的属性信息关联关系数量有限，并不能覆盖到所有的用户、覆盖到所有属性信息，因此作为补充，还可基于相同用户的不同属性信息可能会频繁共现的原理，根据预设共现条件，从多个原始数据集中筛选出相同用户的多个不同第二属性信息，例如在各原始数据集中并均未记录某一手机号码和某一人脸ID之间存在确定的关联关系，但该手机号码和该人脸ID在一个原始数据集中、或在多个原始数据集中相同或相近的时间和/或空间内频繁共现，则可认为该手机号码和该人脸ID存在很大可能是同一个用户的属性信息，进而可确定该手机号码和该人脸ID存在关联关系，同理，还可通过同样方法确定手机号码与指纹存在关联关系，再基于所确定的关联关系筛选出相同用户的多个不同第二属性信息，包括手机号码、人脸ID及指纹。
进一步对各相同用户的第一属性信息和第二属性信息进行关联聚合，进而可获取最终用户档案信息集合，并进行存储或输出给下游服务使用，从而有效的实现跨数据源的相同用户的不同属性信息的关联，提高处理效率，降低成本，并且可以适用于不同的数据源，对于新增数据源的情况具有很好的兼容性。
本申请实施例提供的用户档案数据处理方法应用于计算机技术的大数据技术领域，可适用于如图1所述的应用场景中，在该应用场景中包括提供来自不同数据源的多个原始数据集的终端设备10、以及执行用户档案数据处理方法的服务端11，其中终端设备10可以为不同的采集设备如图像采集设备、声音采集设备、输入设备等，当然也可以是存储原始数据的数据库，而服务端11可以为服务器、个人电脑等能够执行用户档案数据处理方法的电子设备。在本申请实施例中，多个终端设备10作为不同数据源，分别可获取原始数据集，其中每一所述原始数据集包括多个用户的不同属性信息，并发送给服务端11；服务端11在接收到自不同数据源的多个原始数据集后，可从多个原始数据集中，根据已知的属性信息关联关系筛选出相同用户的第一属性信息；也可从多个原始数据集中，根据预设共现条件筛选出相同用户的第二属性信息；进而将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获取最终用户档案信息集合，并通过存储设备12存储、或输出给其他设备13进行使用。
下面将结合具体实施例对本申请的用户档案数据处理过程进行详细说明。
本申请一实施例提供一种用户档案数据处理方法，图2为本发明实施例提供的用户档案数据处理方法流程图。所述执行主体可以为服务端，其中服务端可以为服务器、个人电脑等能够执行用户档案数据处理方法的电子设备，如图2所示，所述用户档案数据处理方法具体步骤如下：
S201、获取来自不同数据源的多个原始数据集，其中每一所述原始数据集中包括多个用户的不同属性信息。
在本实施例中，可以先获取来自不同数据源的多个原始数据集，其中，可以从不同的采集设备获取原始数据构成原始数据集，也可从存储有原始数据集的数据库、存储介质等获取原始数据集。
每一原始数据集可包括多个用户的不同属性信息，例如第一原始数据集中包括多个用户的身份证件号码和手机号码，第二原始数据集中包括多个用户的手机号码和车牌号码等，当然第一原始数据集中并不仅限于多个用户的身份证件号码和手机号码，还可包括其他的用户信息，例如手机号码所在的基站、小区，手机号码的轨迹等，同样第二原始数据集中也并不仅限于多个用户的手机号码和车牌号码，也可包括车辆外观、型号、轨迹、违章记录等等信息。
S202、根据各所述原始数据集中已知的各用户的属性信息关联关系，从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息。
在本实施例中，在各原始数据集中预先可获知一些属性信息关联关系，而某些属性信息关联关系可能存在交集，进而基于交集可筛选出相同用户的属性信息，作为相同用户的多个不同第一属性信息，例如在第一原始数据集中可预先获知各用户的身份证件号码和手机号码之间的关联关系，而在第二原始数据集可预先获知各用户的手机号码和车牌号码之间的关联关系，而手机号码为两种关联关系的交集，因此可基于手机号码确定出相同用户，进而可将相同用户的手机号码、身份证件号码、车牌号码作为相同用户的第一属性信息。
S203、根据预设共现条件，从多个所述原始数据集中筛选出相同用户的多个不同第二属性信息。
在本实施例中，考虑到各原始数据集中已知的属性信息关联关系数量有限，并不能覆盖到所有的用户、覆盖到所有属性信息，因此作为补充，还可基于相同用户的不同属性信息可能会频繁共现的原理，根据预设共现条件，从多个原始数据集中筛选出相同用户的多个不同第二属性信息，例如在各原始数据集中并均未记录某一手机号码和某一人脸ID之间存在确定的关联关系，但该手机号码和该人脸ID在一个原始数据集中、或在多个原始数据集中相同或相近的时间和/或空间内频繁共现，则可认为该手机号码和该人脸ID存在很大可能是同一个用户的属性信息，进而可确定该手机号码和该人脸ID存在关联关系，同理，还可通过同样方法确定某一用户的手机号码与某一指纹在一个原始数据集中、或在多个原始数据集中相同或相近的时间和/或空间内频繁共现，确定该手机号码与该指纹存在关联关系，再基于所确定的关联关系筛选出相同用户的多个不同第二属性信息，例如上述举例，若手机号码相同，则确定为相同用户，可将手机号码、人脸ID及指纹作为相同用户的多个不同第二属性信息。
需要说明的是，本实施例中并不限定S202和S203的执行顺序，可先执行S202后执行S203，或先执行S203后执行S202，或同时执行S202和S203，等等。
S204、将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出。
在本实施例中，由于第一属性信息和第二属性信息之间也可能存在交集，在获取到各相同用户的第一属性信息和第二属性信息后，可根据第一属性信息和第二属性信息的交集确定出相同用户，将相同用户的第一属性信息和第二属性信息进行关联，进一步的可根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，其中某一用户的最终用户档案信息集合可不仅仅包括第一属性信息和第二属性信息，还可包括与第一属性信息有关的其他相关信息、和/或与第二属性信息有关的其他相关信息，例如的第一属性信息包括用户的身份证件号码和手机号码，还可将身份证件号码相关的用户姓名、住址、性别等其他相关信息也存储到最终用户档案信息集合之中，也可将手机号码所在的基站、小区，手机号码的轨迹等其他相关信息也存储到最终用户档案信息集合之中，进而实现数据源的相同用户的不同属性信息的关联，且提升了信息的完整性。
进一步的，本实施例中在获取到最终用户档案信息集合后，可对其进行存储或输出。可选的，在对最终用户档案信息集合存储或输出时，可即将第一属性信息和/或第二属性信息作为最终用户档案信息集合的索引，以便于在查询时快速定位为到目标用户的最终用户档案信息集合，从而提高查询数据的便利性和查询响应速度。
本实施例提供的用户档案数据处理方法，通过获取来自不同数据源的多个原始数据集，其中每一原始数据集中包括多个用户的不同属性信息；根据各原始数据集中已知的各用户的属性信息关联关系，从多个原始数据集中筛选出相同用户的多个不同第一属性信息；根据预设共现条件，从多个原始数据集中筛选出相同用户的多个不同第二属性信息；将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出。通过已知的各用户的属性信息关联关系和预设共现条件，将不同数据源的多个原始数据集中相同用户的属性信息进行关联和聚合，进而获取到最终用户档案信息集合，有效的实现跨数据源的相同用户的不同属性信息的关联，可便于用户数据的查询和管理，提高处理效率，降低成本。
在上述任一实施例的基础上，如图3所示，S202所述根据各所述原始数据集中已知的各用户的属性信息关联关系，从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息，可包括：
S301、获取每一所述原始数据集中已知的各用户的属性信息关联关系，其中所述属性信息关联关系以目标形式进行存储；
S302、从各所述属性信息关联关系中获取具有交集的属性信息关联关系；
S303、将具有交集的属性信息关联关系对应的属性信息确定为相同用户的多个不同第一属性信息。
在本实施例中，可以先获取每一原始数据集中已知的各用户的属性信息关联关系，其中已知的各用户的属性信息关联关系可以在原始数据集采集时确定，例如某一原始数据集中包括多个用户的身份证件号码和手机号码，可以是用户在电信运营商处办理手机号码时记录身份证件号码和手机号码的关联关系。
考虑到不同数据源的原始数据集中数据可能存在异构，数据格式不统一，为了能够根据各原始数据集中已知的各用户的属性信息关联关系，从多个原始数据集中筛选出相同用户的多个不同第一属性信息，可以将各原始数据集中已知的各用户的属性信息关联关系以一种统一的目标形式进行存储，例如以特定的格式存储，或者以特定的图表存储，在一种可选实施例中，以连通图的方式存储各原始数据集中已知的各用户的属性信息关联关系，其中在某一个原始数据集中，一个用户在该原始数据集中的属性信息关联关系对应一个连通图，其中连通图为图论中基于连通概念构建的图，图中任意两点都是连通的，在本实施例中属性信息关联关系中所涉及到的属性信息分别作为连通图的顶点，通过连通图可以更直观的表示属性信息关联关系。
在获取到以目标形式存储的各用户的属性信息关联关系后，可从各属性信息关联关系中获取具有交集的属性信息关联关系，例如从第一原始数据集中可获取到身份证件号码X1和手机号码Y1之间的关联关系，身份证件号码X2和手机号码Y2之间的关联关系，从第二原始数据集中可获取到手机号码Y1和车牌号码Z1之间的关联关系，手机号码Y2和车牌号码Z2之间的关联关系，因此可确定身份证件号码X1和手机号码Y1之间的关联关系与手机号码Y1和车牌号码Z1之间的关联关系之间存在交集手机号码Y1，而身份证件号码X2和手机号码Y2之间的关联关系与手机号码Y2和车牌号码Z2之间的关联关系之间存在交集手机号码Y2，从而可将具有交集的属性信息关联关系对应的属性信息确定为相同用户的多个不同第一属性信息，也即将身份证件号码X1、手机号码Y1和车牌号码Z1作为一个用户的多个不同第一属性信息，将身份证件号码X2、手机号码Y2和车牌号码Z2作为另一个用户的多个不同第一属性信息。可选的，若各用户的属性信息关联关系以连通图的方式存储，则在获取具有交集的属性信息关联关系时查找具有相同顶点的连通图即可。
进一步的，可选的还可对各用户的多个不同第一属性信息赋予一个唯一标识。
在上述任一实施例的基础上，如图4所示，S203所述从多个所述原始数据集中，根据预设共现条件筛选出相同用户的多个不同第二属性信息，可包括：
S401、从所述多个原始数据集中获取满足预设共现条件的属性信息，并确定满足预设共现条件的属性信息存在关联关系，其中所确定的关联关系以目标形式进行存储；
S402、从所确定的关联关系中获取具有交集的关联关系；
S403、将具有交集的关联关系对应的属性信息确定为相同用户的第二属性信息。
在本实施例中，由于各原始数据集中已知的属性信息关联关系数量有限，对于有些属性信息并未直接记录关联关系，则可通过预设共现条件来确定出是否存在关联关系，例如属性信息A和属性信息B在相同或相近的时间和/或空间内频繁共现，则可确定很大可能为同一个用户的属性信息，确定为存在关联关系，比如用户随身携带手机，原始数据集A中采集到了用户手机号码在某一时间出现在某一位置，原始数据集B中采集到了用户人脸ID在同一时间出现在同一位置，同理在其他时间其他位置处该手机号码和该人脸ID也频繁共现，则确定该手机号码和该人脸ID存在关联关系。
在确定满足预设共现条件的属性信息存在关联关系后，可将所确定的关联关系以目标形式进行存储，其目标形式可同上述实施例，以便于后续的聚合。其中在一种可选实施例中目标形式为连通图，同上述实施例，此处不再赘述。
在确定出多个关联关系后，可参见上述实施例，将所确定的关联关系中获取具有交集的关联关系，再将具有交集的关联关系对应的属性信息确定为相同用户的第二属性信息，此处不再赘述。通过本实施例，可对已知的属性信息关联关系进行补充，挖掘出潜在的关联关系，使得相同用户的不同属性信息的关联更全面、更完善，包含更多的用户属性信息。
在一个实施例中，如图5所示，在S301中从所述多个原始数据集中获取满足预设共现条件的属性信息，并确定满足预设共现条件的属性信息存在关联关系时，所述方法具体包括：
S4011、获取所述多个原始数据集中每一用户的属性信息的采集时间和采集位置；
S4012、筛选出采集时间小于预设时间间隔、且采集位置小于预设距离的属性信息，确定为共现的属性信息；
S4013、获取所述共现的属性信息的共现次数，若共现次数超过预设次数，则确定所述共现的属性信息存在关联关系。
在本实施例中，原始数据集可能是采用采集设备如图像采集设备、声音采集设备等进行采集，因此在采集到用户的属性信息时，可记录采集时间和采集位置，当然也可记录采集设备标识，根据采集设备标识获取到采集设备的位置，以采集设备的位置作为上述的采集位置；进一步的，可从各原始数据集中筛选出采集时间小于预设时间间隔、且采集位置小于预设距离的属性信息，例如筛选出采集时间小于10s、且采集位置小于50m的属性信息，作为共现的属性信息，在统计每一共现的属性信息的共现次数，若共现次数超过预设次数，例如超过3次，则确定共现的属性信息存在关联关系。在本实施例中，对于采集位置之间的距离可采用任意的方式获取，此处可不做限制，例如可进行笛卡尔积操作，根据经纬度计算出两个采集位置之间的距离。
在上述任一实施例的基础上，所述根据所述属性信息关联关系从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息之后，还可对多个不同第一属性信息进行聚合，以获得采用目标形式进行存储的第一属性信息集合。
例如，若目标形式为连通图形式，则可根据相同用户的第一属性信息，构建第一连通图，作为所述第一属性信息集合，其中相同用户的每一第一属性信息作为所述第一连通图的一个顶点。当然，若目标形式为其他形式，也可以相应的方式进行第一属性信息进行聚合，此处不再赘述。
同样的，所述根据预设共现条件筛选出相同用户的多个不同第二属性信息之后，还可对多个不同第二属性信息进行聚合，以获得采用目标形式进行存储的第二属性信息集合。
同样的，若目标形式为连通图形式，则可根据相同用户的第二属性信息，构建第二连通图，作为所述第二属性信息集合，其中相同用户的每一第二属性信息作为所述第一连通图的一个顶点。当然，若目标形式为其他形式，也可以相应的方式进行第二属性信息进行聚合，此处不再赘述。
在上述实施例的基础上，如图6所示，S204所述将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，具体可包括：
S501、将相同用户的所述第一属性信息集合和所述第二属性信息集合中对应的属性信息进行关联及归并，得到综合属性信息集合；
S502、从所述多个原始数据集中，分别获取所述综合属性信息集合中每一属性信息对应用户的其他相关信息；
S503、将相同用户的所述综合属性信息集合与所述其他相关信息进行关联存储，得到所述最终用户档案信息集合。
在本实施例中，在将相同用户的第一属性信息集合和第二属性信息集合进行关联时将第一属性信息集合中对应的属性信息和第二属性信息集合中对应的属性信息进行关联及归并，得到综合属性信息集合，综合属性信息集合可包括该用户的第一属性信息集合和第二属性信息集合中对应的所有属性信息。可选的，若第一属性信息集合和第二属性信息集合均为连通图形式，则从各所述第一连通图和所述第二连通图中，查找存在至少一个相同顶点的目标第一连通图和目标第二连通图，将存在至少一个相同顶点的目标第一连通图和目标第二连通图合并为一个连通图，作为所述综合属性信息集合，通过连通图可以更直观的表示出第一属性信息集合和第二属性信息集合中对应的所有属性信息之间的关联关系。
进一步的，在得到综合属性信息集合后，可从多个原始数据集中分别获取综合属性信息集合中每一属性信息对应用户的其他相关信息，例如身份证件号码相关的用户姓名、住址、性别等其他相关信息，再如手机号码所在的基站、小区，手机号码的轨迹等，并与综合属性信息集合关联存储，或者与综合属性信息集合中的各属性信息关联存储，得到最终用户档案信息集合，从而提升用户档案信息的完整性。可选的，可以采用综合属性信息集合或者综合属性信息集合中的各属性信息作为最终用户档案信息集合的索引，以便于进行数据查询。
在上述实施例的基础上，如图7所示，当以综合属性信息集合作为索引进行数据查询时，具体过程可如下：
S601、接收数据查询指令，所述数据查询指令中包括至少一个目标属性信息；
S602、根据各综合属性信息集合以及所述目标属性信息，查询包括所述目标属性信息的目标综合属性信息集合；
S603、根据所述目标综合属性信息集合确定对应的目标最终用户档案信息集合，并根据所述数据查询指令从所述目标最终用户档案信息集合中进行数据查询。
在本实施例中，在接收到数据查询指令后，可根据数据查询指令中包括的至少一个目标属性信息从各综合属性信息集合中查询，是否存在包括目标属性信息的目标综合属性信息集合，若查找到包括目标属性信息的目标综合属性信息集合，则确定目标综合属性信息集合对应的目标最终用户档案信息集合，根据数据查询指令从目标最终用户档案信息集合中获取所需要的数据并返回给发送数据查询指令的设备，通过上述过程，可实现快速的数据查询和管理，减少跨数据源数据查询时的成本。
在上述任一实施例的基础上，S201所述获取来自不同数据源的多个原始数据集，包括：
在所述不同数据源发生变化和/或任一数据源中的原始数据集发生变化时，获取来自所述不同数据源的多个原始数据集；或者
每间隔预定时间，获取来自所述不同数据源的多个原始数据集。
在本实施例中，所述用户档案数据处理方法可以在数据源发生变化和/或任一数据源中的原始数据集发生变化时启动执行，或者也可每间隔预定时间定期启动执行，也即在不同数据源发生变化和/或任一数据源中的原始数据集发生变化时、或者间隔预定时间获取来自不同数据源的多个原始数据集，再执行后续的流程，其中数据源发生变化包括但不限于新增数据源或删除数据源，通过上述过程，可使得用户档案数据处理方法能够应对数据源和/或原始数据集的变化，提升用户档案数据处理方法的扩展性和兼容性，便于后续新增或删除数据源，也便于修改原始数据集。
本申请一实施例提供一种用户档案数据处理装置，图8为本发明实施例提供的用户档案数据处理装置的结构图。如图8所示，所述用户档案数据处理装置800具体包括：获取单元801、第一筛选单元802、第二筛选单元803、及聚合单元804。
获取单元801，用于获取来自不同数据源的多个原始数据集，其中每一所述原始数据集中包括多个用户的不同属性信息；
第一筛选单元802，用于根据各所述原始数据集中已知的各用户的属性信息关联关系，从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息；
第二筛选单元803，用于根据预设共现条件，从多个所述原始数据集中筛选出相同用户的多个不同第二属性信息；
聚合单元804，用于将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出。
在上述实施例的基础上，所述第一筛选单元802包括：
第一获取模块，用于获取每一所述原始数据集中已知的各用户的属性信息关联关系，其中所述属性信息关联关系以目标形式进行存储；
第二获取模块，用于从各所述属性信息关联关系中获取具有交集的属性信息关联关系；
第一确定模块，用于将具有交集的属性信息关联关系对应的属性信息确定为相同用户的多个不同第一属性信息。
在上述任一实施例的基础上，所述第二筛选单元803包括：
第三获取模块，用于从所述多个原始数据集中获取满足预设共现条件的属性信息，并确定满足预设共现条件的属性信息存在关联关系，其中所确定的关联关系以目标形式进行存储；
第四获取模块，用于从所确定的关联关系中获取具有交集的关联关系；
第二确定模块，用于将具有交集的关联关系对应的属性信息确定为相同用户的第二属性信息。
在上述任一实施例的基础上，所述第三获取模块包括：
第一获取子模块，用于获取所述多个原始数据集中每一用户的属性信息的采集时间和采集位置；
处理子模块，用于筛选出采集时间小于预设时间间隔、且采集位置小于预设距离的属性信息，确定为共现的属性信息；
确定子模块，用于获取所述共现的属性信息的共现次数，若共现次数超过预设次数，则确定所述共现的属性信息存在关联关系。
在上述任一实施例的基础上，所述第一筛选单元802还包括：
第一聚合模块，用于对多个不同第一属性信息进行聚合，以获得采用目标形式进行存储的第一属性信息集合；
所述第二筛选单元803还包括：
第二聚合模块，用于对多个不同第二属性信息进行聚合，以获得采用目标形式进行存储的第二属性信息集合。
在上述任一实施例的基础上，所述目标形式为连通图形式；
所述第一聚合模块具体用于：
根据相同用户的第一属性信息，构建第一连通图，作为所述第一属性信息集合，其中相同用户的每一第一属性信息作为所述第一连通图的一个顶点；
所述第二聚合模块具体用于：
根据相同用户的第二属性信息，构建第二连通图，作为所述第二属性信息集合，其中相同用户的每一第二属性信息作为所述第一连通图的一个顶点。
在上述任一实施例的基础上，所述聚合单元804包括：
关联模块，用于将相同用户的所述第一属性信息集合和所述第二属性信息集合中对应的属性信息进行关联及归并，得到综合属性信息集合；
第五获取模块，用于从所述多个原始数据集中，分别获取所述综合属性信息集合中每一属性信息对应用户的其他相关信息；
信息聚合模块，用于将相同用户的所述综合属性信息集合与所述其他相关信息进行关联存储，得到所述最终用户档案信息集合。
在上述任一实施例的基础上，所述关联模块包括：
查找子模块，用于从各所述第一连通图和所述第二连通图中，查找存在至少一个相同顶点的目标第一连通图和目标第二连通图；
合并子模块，用于将存在至少一个相同顶点的目标第一连通图和目标第二连通图合并为一个连通图，作为所述综合属性信息集合。
在上述任一实施例的基础上，所述获取单元801具体用于：
在所述不同数据源发生变化和/或任一数据源中的原始数据集发生变化时，获取来自所述不同数据源的多个原始数据集；或者
每间隔预定时间，获取来自所述不同数据源的多个原始数据集。
在上述任一实施例的基础上，所述装置还包括查询单元，用于：
接收数据查询指令，所述数据查询指令中包括至少一个目标属性信息；根据各综合属性信息集合以及所述目标属性信息，查询包括所述目标属性信息的目标综合属性信息集合；根据所述目标综合属性信息集合确定对应的目标最终用户档案信息集合，并根据所述数据查询指令从所述目标最终用户档案信息集合中进行数据查询。
本实施例提供的用户档案数据处理装置可以具体用于执行上述图2-7所提供的方法实施例，具体功能此处不再提供的赘述。
本实施例提供的用户档案数据处理装置，通过获取来自不同数据源的多个原始数据集，其中每一原始数据集中包括多个用户的不同属性信息；根据各原始数据集中已知的各用户的属性信息关联关系，从多个原始数据集中筛选出相同用户的多个不同第一属性信息；根据预设共现条件，从多个原始数据集中筛选出相同用户的多个不同第二属性信息；将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出。通过已知的各用户的属性信息关联关系和预设共现条件，将不同数据源的多个原始数据集中相同用户的属性信息进行关联和聚合，进而获取到最终用户档案信息集合，有效的实现跨数据源的相同用户的不同属性信息的关联，可便于用户数据的查询和管理，提高处理效率，降低成本。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方法。
如图9所示，是根据本申请实施例的用户档案数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的用户档案数据处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用户档案数据处理方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用户档案数据处理方法对应的程序指令/模块(例如，附图8所示的获取模块801、第一筛选模块802、第二筛选模块803、及聚合模块804)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用户档案数据处理方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据用户档案数据处理方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至用户档案数据处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用户档案数据处理方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与用户档案数据处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算机程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算机程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过获取来自不同数据源的多个原始数据集，其中每一原始数据集中包括多个用户的不同属性信息；根据各原始数据集中已知的各用户的属性信息关联关系，从多个原始数据集中筛选出相同用户的多个不同第一属性信息；根据预设共现条件，从多个原始数据集中筛选出相同用户的多个不同第二属性信息；将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出。通过已知的各用户的属性信息关联关系和预设共现条件，将不同数据源的多个原始数据集中相同用户的属性信息进行关联和聚合，进而获取到最终用户档案信息集合，有效的实现跨数据源的相同用户的不同属性信息的关联，可便于用户数据的查询和管理，提高处理效率，降低成本。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (18)
1.一种用户档案数据处理方法，包括：
获取来自不同数据源的多个原始数据集，其中每一所述原始数据集中包括多个用户的不同属性信息；
根据各所述原始数据集中已知的各用户的属性信息关联关系，从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息；
根据预设共现条件，从多个所述原始数据集中筛选出相同用户的多个不同第二属性信息；
将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出；
所述从多个所述原始数据集中，根据预设共现条件筛选出相同用户的多个不同第二属性信息，包括：
从所述多个原始数据集中获取满足预设共现条件的属性信息，并确定满足预设共现条件的属性信息存在关联关系，其中所确定的关联关系以目标形式进行存储；
从所确定的关联关系中获取具有交集的关联关系；
将具有交集的关联关系对应的属性信息确定为相同用户的第二属性信息；
所述从所述多个原始数据集中获取满足预设共现条件的属性信息，并确定满足预设共现条件的属性信息存在关联关系，包括：
获取所述多个原始数据集中每一用户的属性信息的采集时间和采集位置；
筛选出采集时间小于预设时间间隔、且采集位置小于预设距离的属性信息，确定为共现的属性信息；
获取所述共现的属性信息的共现次数，若共现次数超过预设次数，则确定所述共现的属性信息存在关联关系。
2.根据权利要求1所述的方法，其中，所述根据各所述原始数据集中已知的各用户的属性信息关联关系，从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息，包括：
获取每一所述原始数据集中已知的各用户的属性信息关联关系，其中所述属性信息关联关系以目标形式进行存储；
从各所述属性信息关联关系中获取具有交集的属性信息关联关系；
将具有交集的属性信息关联关系对应的属性信息确定为相同用户的多个不同第一属性信息。
3.根据权利要求2所述的方法，其中，所述根据所述属性信息关联关系从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息之后，还包括：
对多个不同第一属性信息进行聚合，以获得采用目标形式进行存储的第一属性信息集合；
所述根据预设共现条件筛选出相同用户的多个不同第二属性信息之后，还包括：
对多个不同第二属性信息进行聚合，以获得采用目标形式进行存储的第二属性信息集合。
4.根据权利要求3所述的方法，其中，所述目标形式为连通图形式；
所述对多个不同第一属性信息进行聚合，以获得采用目标形式进行存储的第一属性信息集合，包括：
根据相同用户的第一属性信息，构建第一连通图，作为所述第一属性信息集合，其中相同用户的每一第一属性信息作为所述第一连通图的一个顶点；
所述对多个不同第二属性信息进行聚合，以获得采用目标形式进行存储的第二属性信息集合，包括：
根据相同用户的第二属性信息，构建第二连通图，作为所述第二属性信息集合，其中相同用户的每一第二属性信息作为所述第一连通图的一个顶点。
5.根据权利要求4所述的方法，其中，所述将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，包括：
将相同用户的所述第一属性信息集合和所述第二属性信息集合中对应的属性信息进行关联及归并，得到综合属性信息集合；
从所述多个原始数据集中，分别获取所述综合属性信息集合中每一属性信息对应用户的其他相关信息；
将相同用户的所述综合属性信息集合与所述其他相关信息进行关联存储，得到所述最终用户档案信息集合。
6.根据权利要求5所述的方法，其中，所述将相同用户的所述第一属性信息集合和所述第二属性信息集合中对应的属性信息进行关联及归并，得到综合属性信息集合，包括：
从各所述第一连通图和所述第二连通图中，查找存在至少一个相同顶点的目标第一连通图和目标第二连通图；
将存在至少一个相同顶点的目标第一连通图和目标第二连通图合并为一个连通图，作为所述综合属性信息集合。
7. 根据权利要求1-2任一项所述的方法，其中，所述获取来自不同数据源的多个原始数据集，包括：
在所述不同数据源发生变化和/或任一数据源中的原始数据集发生变化时，获取来自所述不同数据源的多个原始数据集；或者
每间隔预定时间，获取来自所述不同数据源的多个原始数据集。
8.根据权利要求6所述的方法，还包括：
接收数据查询指令，所述数据查询指令中包括至少一个目标属性信息；
根据各综合属性信息集合以及所述目标属性信息，查询包括所述目标属性信息的目标综合属性信息集合；
根据所述目标综合属性信息集合确定对应的目标最终用户档案信息集合，并根据所述数据查询指令从所述目标最终用户档案信息集合中进行数据查询。
9.一种用户档案数据处理装置，包括：
获取单元，用于获取来自不同数据源的多个原始数据集，其中每一所述原始数据集中包括多个用户的不同属性信息；
第一筛选单元，用于根据各所述原始数据集中已知的各用户的属性信息关联关系，从多个所述原始数据集中筛选出相同用户的多个不同第一属性信息；
第二筛选单元，用于根据预设共现条件，从多个所述原始数据集中筛选出相同用户的多个不同第二属性信息；
聚合单元，用于将各相同用户的第一属性信息和第二属性信息进行关联，根据相互关联的第一属性信息和第二属性信息获得最终用户档案信息集合，并存储或输出；
所述第二筛选单元包括：
第三获取模块，用于从所述多个原始数据集中获取满足预设共现条件的属性信息，并确定满足预设共现条件的属性信息存在关联关系，其中所确定的关联关系以目标形式进行存储；
第四获取模块，用于从所确定的关联关系中获取具有交集的关联关系；
第二确定模块，用于将具有交集的关联关系对应的属性信息确定为相同用户的第二属性信息；
所述第三获取模块包括：
第一获取子模块，用于获取所述多个原始数据集中每一用户的属性信息的采集时间和采集位置；
处理子模块，用于筛选出采集时间小于预设时间间隔、且采集位置小于预设距离的属性信息，确定为共现的属性信息；
确定子模块，用于获取所述共现的属性信息的共现次数，若共现次数超过预设次数，则确定所述共现的属性信息存在关联关系。
10.根据权利要求9所述的装置，其中，所述第一筛选单元包括：
第一获取模块，用于获取每一所述原始数据集中已知的各用户的属性信息关联关系，其中所述属性信息关联关系以目标形式进行存储；
第二获取模块，用于从各所述属性信息关联关系中获取具有交集的属性信息关联关系；
第一确定模块，用于将具有交集的属性信息关联关系对应的属性信息确定为相同用户的多个不同第一属性信息。
11.根据权利要求10所述的装置，其中，所述第一筛选单元还包括：
第一聚合模块，用于对多个不同第一属性信息进行聚合，以获得采用目标形式进行存储的第一属性信息集合；
所述第二筛选单元还包括：
第二聚合模块，用于对多个不同第二属性信息进行聚合，以获得采用目标形式进行存储的第二属性信息集合。
12.根据权利要求11所述的装置，其中，所述目标形式为连通图形式；
所述第一聚合模块具体用于：
根据相同用户的第一属性信息，构建第一连通图，作为所述第一属性信息集合，其中相同用户的每一第一属性信息作为所述第一连通图的一个顶点；
所述第二聚合模块具体用于：
根据相同用户的第二属性信息，构建第二连通图，作为所述第二属性信息集合，其中相同用户的每一第二属性信息作为所述第一连通图的一个顶点。
13.根据权利要求12所述的装置，其中，所述聚合单元包括：
关联模块，用于将相同用户的所述第一属性信息集合和所述第二属性信息集合中对应的属性信息进行关联及归并，得到综合属性信息集合；
第五获取模块，用于从所述多个原始数据集中，分别获取所述综合属性信息集合中每一属性信息对应用户的其他相关信息；
信息聚合模块，用于将相同用户的所述综合属性信息集合与所述其他相关信息进行关联存储，得到所述最终用户档案信息集合。
14.根据权利要求13所述的装置，其中，所述关联模块包括：
查找子模块，用于从各所述第一连通图和所述第二连通图中，查找存在至少一个相同顶点的目标第一连通图和目标第二连通图；
合并子模块，用于将存在至少一个相同顶点的目标第一连通图和目标第二连通图合并为一个连通图，作为所述综合属性信息集合。
15. 根据权利要求9-10任一项所述的装置，其中，所述获取单元具体用于：
在所述不同数据源发生变化和/或任一数据源中的原始数据集发生变化时，获取来自所述不同数据源的多个原始数据集；或者
每间隔预定时间，获取来自所述不同数据源的多个原始数据集。
16.根据权利要求13所述的装置，还包括查询单元，用于：
接收数据查询指令，所述数据查询指令中包括至少一个目标属性信息；根据各综合属性信息集合以及所述目标属性信息，查询包括所述目标属性信息的目标综合属性信息集合；根据所述目标综合属性信息集合确定对应的目标最终用户档案信息集合，并根据所述数据查询指令从所述目标最终用户档案信息集合中进行数据查询。
17. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011211687.5A CN112328658B (zh) | 2020-11-03 | 2020-11-03 | 用户档案数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011211687.5A CN112328658B (zh) | 2020-11-03 | 2020-11-03 | 用户档案数据处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112328658A CN112328658A (zh) | 2021-02-05 |
| CN112328658B true CN112328658B (zh) | 2023-08-08 |
Family
ID=74324610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011211687.5A Active CN112328658B (zh) | 2020-11-03 | 2020-11-03 | 用户档案数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112328658B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113094741A (zh) * | 2021-03-15 | 2021-07-09 | 北京懿医云科技有限公司 | 一种角色信息的处理方法及装置 |
| CN113672702A (zh) * | 2021-08-26 | 2021-11-19 | 国家电网有限公司大数据中心 | 用户档案信息的完善方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699766A (zh) * | 2015-02-15 | 2015-06-10 | 浙江理工大学 | 一种融合词语关联关系和上下文语境推断的隐式属性挖掘方法 |
| CN107193894A (zh) * | 2017-05-05 | 2017-09-22 | 北京小度信息科技有限公司 | 数据处理方法、个体识别方法及相关装置 |
| CN107704620A (zh) * | 2017-10-27 | 2018-02-16 | 北京锐安科技有限公司 | 一种档案管理的方法、装置、设备和存储介质 |
| CN109582808A (zh) * | 2018-11-22 | 2019-04-05 | 北京锐安科技有限公司 | 一种用户信息查询方法、装置、终端设备和存储介质 |
| CN111611499A (zh) * | 2020-05-28 | 2020-09-01 | 贝壳技术有限公司 | 协同过滤方法、协同过滤装置及*** |
| CN111723161A (zh) * | 2019-03-20 | 2020-09-29 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及设备 |
| CN111767432A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 共现对象的查找方法和装置 |
| CN111797288A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 数据筛选方法、装置、存储介质及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015192091A1 (en) * | 2014-06-13 | 2015-12-17 | Koverse, Inc. | System and method for data organization, optimization and analytics |
| US9864764B2 (en) * | 2014-08-29 | 2018-01-09 | Accenture Global Solutions Limited | Evolving data archives |
-
2020
- 2020-11-03 CN CN202011211687.5A patent/CN112328658B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699766A (zh) * | 2015-02-15 | 2015-06-10 | 浙江理工大学 | 一种融合词语关联关系和上下文语境推断的隐式属性挖掘方法 |
| CN107193894A (zh) * | 2017-05-05 | 2017-09-22 | 北京小度信息科技有限公司 | 数据处理方法、个体识别方法及相关装置 |
| CN107704620A (zh) * | 2017-10-27 | 2018-02-16 | 北京锐安科技有限公司 | 一种档案管理的方法、装置、设备和存储介质 |
| CN109582808A (zh) * | 2018-11-22 | 2019-04-05 | 北京锐安科技有限公司 | 一种用户信息查询方法、装置、终端设备和存储介质 |
| CN111723161A (zh) * | 2019-03-20 | 2020-09-29 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置及设备 |
| CN111797288A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 数据筛选方法、装置、存储介质及电子设备 |
| CN111611499A (zh) * | 2020-05-28 | 2020-09-01 | 贝壳技术有限公司 | 协同过滤方法、协同过滤装置及*** |
| CN111767432A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 共现对象的查找方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 周凯 ; 周宏 ; .一种多源数据融合过程中的实体关联性计算方法.中国人民公安大学学报(自然科学版).2020,(第01期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112328658A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3077926B1 (en) | Pattern matching across multiple input data streams | |
| CN111782872B (zh) | 查询方法、装置、电子设备以及存储介质 | |
| US10474513B2 (en) | Cluster-based processing of unstructured log messages | |
| US10614048B2 (en) | Techniques for correlating data in a repository system | |
| CN107133309B (zh) | 流程实例的存储、查询方法及装置、存储介质及电子设备 | |
| US11790623B1 (en) | Manipulation of virtual object position within a plane of an extended reality environment | |
| US11276240B1 (en) | Precise plane detection and placement of virtual objects in an augmented reality environment | |
| CN106156088B (zh) | 一种索引数据处理方法、数据查询方法及装置 | |
| CN112104734B (zh) | 用于推送信息的方法、装置、设备以及存储介质 | |
| CN112328658B (zh) | 用户档案数据处理方法、装置、设备及存储介质 | |
| US11275944B1 (en) | External asset database management in an extended reality environment | |
| US11676345B1 (en) | Automated adaptive workflows in an extended reality environment | |
| US11699268B1 (en) | Techniques for placement of extended reality objects relative to physical objects in an extended reality environment | |
| EP3828732A2 (en) | Method and apparatus for processing identity information, electronic device, and storage medium | |
| KR101614890B1 (ko) | 멀티 테넌시 이력 생성 방법, 이를 수행하는 멀티 테넌시 이력 생성 서버 및 이를 저장하는 기록매체 | |
| CN110517079B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| US10262061B2 (en) | Hierarchical data classification using frequency analysis | |
| US11836869B1 (en) | Generating three-dimensional data visualizations in an extended reality environment | |
| US11482002B1 (en) | Codeless anchor detection for detectable features in an environment | |
| US11276236B1 (en) | Techniques for placement of extended reality objects relative to other extended reality objects in an extended reality environment | |
| CN112541718B (zh) | 物料处理方法和装置 | |
| CN111767276B (zh) | 数据存储方法、装置、电子设备及存储介质 | |
| US11675683B2 (en) | Method, electronic device, and computer program product for monitoring storage system | |
| CN113783909B (zh) | 数据需求的生成方法、装置、终端、服务器及存储介质 | |
| CN116975118A (zh) | 一种数据查询方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |