CN117076957B - 一种基于多模态信息的人员身份关联方法及*** - Google Patents

Abstract

本发明提供一种基于多模态信息的人员身份关联方法及***，涉及人员身份信息关联技术领域。该方法包括获取不同载体对象下人员身份的多模态信息，进行多模态信息的类型划分分析，形成多模态身份类型数据；根据载体对象上每个人员对象的身份活动信息，并结合多模态身份类型数据，对不同载体对象下的不同人员身份信息进行匹配性分析，形成身份匹配结果数据；根据身份匹配结果数据和多模态身份类型数据，建立身份关联分析模型，并根据身份关联分析模型将不同载体对象中的人员身份信息进行关联匹配，形成关联结果数据。该方法通过合理的关联方式设计即提高了身份关联的效率，也增加了身份关联结果的准确性。

Description

一种基于多模态信息的人员身份关联方法及***

技术领域

本发明涉及人员身份信息关联技术领域，具体而言，涉及一种基于多模态信息的人员身份关联方法及***。

背景技术

不同社交网络平台的人员信息会因为不具有关联性一方面无法进行数据的同一，有效降低对网络资源的无效占用率，增加了网络运营的成本，也不方便进行统一的管理，另一方面也无法因为关联了身份信息能够综合不同社交网络平台的数据信息进行针对性的信息服务，降低了网络服务的质量和效率。

因此，对身份信息的关联显得尤为重要。当然，不同的社交网络平台因为建立的基础条件而有模态类型的身份信息数据，进而增加了进行身份关联的复杂度。大多数的身份关联方式都是基于大数据的巨量分析来完成，这样一方面增加了身份关联的时间成本和资源使用成本，另一方面也不具备高效且合理的关联分析方式，无法提高关联结果的准确性。

因此，设计一种基于多模态信息的人员身份关联方法及***，通过合理的关联方式设计即提高了身份关联的效率，也增加了身份关联结果的准确性，是目前亟待解决的问题。

发明内容

本发明的目的在于提供一种基于多模态信息的人员身份关联方法，通过获取不同载体对象下的人员身份多模态信息，进行基于匹配关联性分析的合理类型划分，实现对多模态人员身份信息的有效利用，有助于提高进行人员身份关联的分析效率和准确性。同时，基于多模态身份类型数据，建立合理的身份关联方法模型，以更加合理更加有序的方式准确实现不同载体对象上的人员身份的关联。进一步提高身份关联的效率和准确性。

本发明的目的还在于提供一种基于多模态信息的人员身份关联***，通过多模态信息采集单元能够收集到足够用于身份关联的多模态数据，扩展了身份关联分析所需的数据类型，进一步提高了身份关联的准确性。利用匹配分析单元和身份关联分析单元建立合理的身份关联分析硬件***，准确高效的进行身份关联分析，为身份关联的实现提供了必要的硬件基础。

第一方面，本发明提供一种基于多模态信息的人员身份关联方法，包括获取不同载体对象下人员身份的多模态信息，进行多模态信息的类型划分分析，形成多模态身份类型数据；根据载体对象上每个人员对象的身份活动信息，并结合多模态身份类型数据，对不同载体对象下的不同人员身份信息进行匹配性分析，形成身份匹配结果数据；根据身份匹配结果数据和多模态身份类型数据，建立身份关联分析模型，并根据身份关联分析模型将不同载体对象中的人员身份信息进行关联匹配，形成关联结果数据。

在本发明中，该方法通过获取不同载体对象下的人员身份多模态信息，进行基于匹配关联性分析的合理类型划分，实现对多模态人员身份信息的有效利用，有助于提高进行人员身份关联的分析效率和准确性。同时，基于多模态身份类型数据，建立合理的身份关联方法模型，以更加合理更加有序的方式准确实现不同载体对象上的人员身份的关联。进一步提高身份关联的效率和准确性。

作为一种可能的实现方式，获取不同载体对象下人员身份的多模态信息，进行多模态信息的类型划分分析，形成多模态身份类型数据，包括：获取不同的载体对象中每个人员身份的多模态信息，并多模态信息进行以下针对身份判断类型的划分：在对多模态信息进行准确性判断中为逆否判断的信息划分为判别类身份信息数据集A；在对多模态信息进行准确性判断中为选择性判断的信息划分为选择类身份信息数据集B；将多模态信息中除判别类身份信息数据集A和选择类身份信息数据集B外的其他信息进行基于身份识别的分析，形成取向类身份信息数据C。

在本发明中，对多模态信息的类型划分这里主要考虑两个方面，一方面是进行身份关联时，那些类型的数据相结合能够更加准确合理的确定关联度。可以理解的是，对于载体对象上的多模态身份信息，最主要的内容是建立人员对象的特征，以便在众多的人员对象中进行快速的识别，而要建立人员对象的特征就需要获取人员对象的特征数据，重要的特征数据包括但不限于基础生物特征、性格特征、***台之间，还涉及到设备的身份关联、信息的身份关联，类似的方式，通过将对象的多模态数据进行合理的类型划分能够做到关联分析事半功倍的效果，因而对于载体对象来说，并不限于社交网络平台，还可以是其他适用本关联方法的对象。

作为一种可能的实现方式，在判别类身份信息数据集A中，将直接决定人员身份的单一判别类身份信息集合为决定性判别类身份信息数据子集，其中：，m为决定性判别类身份信息数据子集中具有的判别类身份信息的数量；将判别类身份信息数据中除决定性判别类身份信息数据外的其他判别类身份信息集合为辅助性判别类身份信息数据子集，其中：，n为辅助性判别类身份信息数据子集中具有的判别类身份信息的数量。

在本发明中，从识别载体对象中的人员对象的角度来看，判别类身份信息中同样存在判断效果的明显差异。例如，对于身份证号、手机号、虹膜信息、指纹信息等具有强烈的一一对应性的判别类身份信息，能够仅通过一个身份信息数据就可以充分的判断是否为可以进行关联的身份对象。而对于类似性别、名字等非明显具有对应性的判别类身份信息，则需要进行区分。由于这两种身份数据对于关联性分析的影响程度是不一样的，所以在进行类型划分时就需要进行区分。

作为一种可能的实现方式，将多模态信息中除判别类身份信息数据集A和选择类身份信息数据集B外的其他信息进行基于身份识别的分析，形成取向类身份信息数据C，包括：在取向类身份信息数据集C中，分离出不同模态类型的取向类身份信息，并将每种模态类型的取向类身份信息进行身份特征的提取，形成包含不同模态类型下包含多个身份特征的取向类身份信息数据子集，并根据不同取向类身份信息数据子集中的身份特征的数量由多到少的顺序对取向类身份信息数据子集进行排序，形成取向类身份信息数据子集的顺序集，即：，其中，，u为取向类身份信息数据子集的顺序标号，v为顺序号为u的取向类身份信息数据子集中身份特征的数量。

在本发明中，对于取向类身份信息，主要是针对人员对象的习惯、喜好等倾向性行为进行划分的。这样，由于同一个人在不同的载体对象上释放信息，其倾向性的行为信息是基本保持不变的。由此，包含倾向性的取向类身份信息也是影响身份关联的重要因素。当然，仅仅划分并确定出了倾向性的行为信息，对其进行合理分析确定出针对人员对象的特征就显得更为重要了，例如人员对象喜好运动，但在运动喜好下还有更新的取向特征，如篮球、足球等。

作为一种可能的实现方式，根据载体对象上每个人员对象的身份活动信息，并结合多模态身份类型数据，对不同载体对象下的不同人员身份信息进行匹配性分析，形成身份匹配结果数据，包括：获取载体对象上人员对象的身份活动信息，并提取与决定性判别类身份信息数据子集中的判别身份信息有关的词句，通过对词句进行语义分析来进行决定性判断：对根据词句语义判断出逆否的判别分身信息进行决定性标记；对根据词句语义不能判断出逆否的判别身份信息进行非决定性标记；获取载体对象上人员对象的身份活动信息，并提取与辅助性判别类身份信息数据子集中的判别身份信息有关的词句，通过对词句进行语义分析来进行辅助性判断：将判别身份信息的两个对立结果根据词句语义展现出的判别结果进行频率统计，并进行标记，即：，表示所对应的判别身份信息所展示出的结果的否定概率；获取载体对象上人员对象的身份活动信息，并提取与选择类身份信息数据集B中的选择身份信息有关的词句，通过对词句进行语义分析来进行选择性判断：根据词句的语义确定每个选择身份信息的选择结果，对决定不同选择结果的词句语义进行有效决定次数的概率统计，并进行标记，即：，表示所对应的选择身份信息所展示出的结果的否定概率，i为选择类身份信息数据集B中具有的选择身份信息的数量。

在本发明中，对人员身份进行匹配分析主要的目的在于确定人员对象在载体对象上所表达的信息是否都正确，以概率作为准确性判断的结果，合理建立判断正确与否的基础数据。这里，需要说明的是，由于不同的载体对象其运营的目的不同，也就产生了获取的多模态数据的差异。而在进行身份关联匹配分析时，需要充分考虑这种差异性，所以进行概率的统计时，是以否定概率为参考进行的，更加具有关联性分析的合理性，毕竟在无法完整进行数据匹配对比的情况下，身份关联存在的可能性是有的。

作为一种可能的实现方式，根据身份匹配结果数据和多模态身份类型数据，建立身份关联分析模型，并根据身份关联分析模型将不同载体对象中的人员身份信息进行关联匹配，形成关联结果数据，包括：确定需要进行关联的两个载体对象，分别设定为第一关联载体对象和第二关联载体对象；获取第一关联载体对象的身份匹配结果数据和第二关联载体对象的身份匹配结果数据；以人员对象为单位，在第一关联载体对象中任意选取一个人员对象的身份匹配结果数据，逐一获取第二关联载体对象中的人员对象的身份匹配结果数据进行以下关联分析：将两个决定性判别类身份信息数据子集中的判别身份信息进行关联分析：若存在拥有相同的具有决定性标记的判别身份信息，且判别身份信息的判断结果相同，则将两个人员对象直接进行身份关联；否则进行基于辅助性判别类身份信息数据子集、选择类身份信息数据集B以及取向类身份信息数据集C的概率关联分析，并形成关联结果数据。

在本发明中，提供的关联分析方式是首先以进行决定性判别类身份信息进行匹配，由于决定性判别类身份信息为逆否类的判别，所以只要存在能够匹配的数据，就能够准确的判断是否要进行关联，例如，在确定两者的身份证号后，如果一致可以准确确定为同一人。这样首先进行决定性判别类身份信息的匹配也能够大大降低分析的量，提高分析的效率。当然，由于模态数据在不同载体对象上存在差异，在决定性判别类身份信息无法完成匹配分析时，就需要基于其他类型的数据进行综合考量了。

作为一种可能的实现方式，基于辅助性判别类身份信息数据子集、选择类身份信息数据集B以及取向类身份信息数据集C的概率关联分析，并形成关联结果数据，包括：获取两个载体对象下的人员对象的辅助性判别类身份信息数据子集，进行总体否定概率分析，获得判别类否定关联概率；获取两个载体对象下的人员对象的选择类身份信息数据集B，进行基于重合度的否定概率分析，获得选择类否定关联概率；获取两个载体对象下的人员对象的取向类身份信息数据集C，进行基于取向类身份特征重合度的否定概率分析，获得取向类否定关联概率；结合判别类否定关联概率、选择类否定关联概率以及取向类否定关联概率，根据下式获得两个人员对象的否定关联概率：；

设定否定判断阈值α，获取第一关联载体对象下确定的人员对象与第二关联载体对象中一一对应的人员对象的所有否定关联概率，若存在否定关联概率值最大的否定关联概率≤α，则将第二关联载体对象中与第一关联载体对象选取的人员对象的否定关联概率值最大的人员对象确定为同一关联人员，并进行身份关联；否则判定第一关联载体对象中选取的人员对象在第二关联载体对象中无身份关联，并继续从第一关联载体对象中选取的人员对象重复进行建立身份关联分析模型的关联性判断。

在本发明中，对于利用除决定性判别类身份信息以外的其他类型身份信息数据进行判断时，考虑任何一种类型的身份信息数据都不能同决定性判别类身份信息一样准确的确定关联性，就需要综合考虑这几种类型的身份数据对于判断准确性的影响。考虑不同载体对象之间的数据由于多模态数据的差异无法做到理想的全对应，而没有实现关联性分析的数据也存在关联的可能性，所以在分析时主要是通过进行否定概率的计算来进行匹配分析的。否定判断阈值可以基于历史分析数据来确定，以提高基于否定关联概率进行关联性分析的可靠性，避免将本身无关联性的两个人员身份进行关联造成关联的错误和不合理而降低关联分析的准确度。

作为一种可能的实现方式，获取两个载体对象下的人员对象的辅助性判别类身份信息数据子集，进行总体否定概率分析，获得判别类否定关联概率，包括：根据下式获取所选取的第二关联载体对象下的第k个人员对象的判别类否定关联概率，其中，，这里，k为进行否定关联概率计算时确定的第二关联载体对象下的人员对象。

在本发明中，对于辅助性判别类身份信息的否定关联概率的获取，由于辅助性判别类身份信息因为网络环境和政策的需要，能够做到所有不同载体对象都能够提供统一的数据，比如基本上所有的网络平台都会采集人员对象的基础数据，所以可以做到不同载体对象上的基础数据统一，这样在进行否定关联概率的计算时，就无需考虑其他为使用的数据对结果造成的印象，该否定关联概率的计算是十分准确的。

作为一种可能的实现方式，获取两个载体对象下的人员对象的选择类身份信息数据集B，进行基于重合度的否定概率分析，获得选择类否定关联概率包括：获取第一关联载体对象下的人员对象和第二关联载体对象下选取的第k个人员对象的选择类身份信息数据集B的选择身份信息的总数，并确定选择身份信息的重合率x和重合数量r，并根据下式确定选择类否定关联概率：

；获取两个载体对象下的人员对象的取向类身份信息数据集C，进行基于取向类身份特征重合度的否定概率分析，获得取向类否定关联概率，包括：获取第一关联载体对象下的人员对象和第二关联载体对象下选取的第k个人员对象的取向类身份信息数据集C，并确定重合的取向类身份数据子集，将重合的取向类身份数据子集按照取向类身份信息数据子集中的身份特征的数量由多到少的顺序对取向类身份信息数据子集进行排序，形成重合取向类身份信息数据集，其中：，z表示重合的顺序标号；对每个重合取向类身份信息数据子集中重合的身份特征进行概率统计，形成每个重合取向类身份信息数据子集的重合概率；根据下式确定取向类否定关联概率。

在本发明中，提供选择类身份信息数据集B的选择类否定关联概率以及取向类身份信息数据集C的取向类否定关联概率计算方法。对于选择类身份信息数据集B来说，选择身份信息的重合率代表了能够实现关联性分析的选择类身份信息的体量，这里做一个合理的分析，即使无法完整的对不同载体对象中的选择类身份信息进行否定概率的计算，但对于能够关联身份信息的情况下，整体的否定概率都是很低的，反之则是偏高的，那么具有重合性质的选择类身份信息的否定概率就能够展现出所有选择类身份信息的否定概率趋势，所以，在进行选择类否定关联概率的计算时，根据重合数量的占比将否定概率进行放大，有利于更加准确的关联性分析。当然，对于取向类身份信息数据集C的取向类否定关联概率的计算，可以理解的是，出现的身份特征越多，关联性分析的准确性越高。所以在进行否定概率的分析时，按照身份特征多少进行排序后再进行计算，在充分考虑概率计算的合理性的同时，也实现了合理的概率预测。

第二方面，本发明提供一种基于多模态信息的人员身份关联***，应用于第一方面所说的基于多模态信息的人员身份关联方法，包括：多模态信息采集单元，用于采集不同载体对象中不同人员对象的多模态信息，并进行类型划分，形成多模态身份类型数据；匹配分析单元，用于获取多模态信息采集单元的多模态身份类型数据，进行匹配性分析，形成身份匹配结果数据；身份关联分析单元，用于结合匹配分析单元的身份匹配结果数据和多模态信息采集单元的多模态身份类型数据，进行关联匹配，完成身份关联。

在本发明中，该***通过多模态信息采集单元能够收集到足够用于身份关联的多模态数据，扩展了身份关联分析所需的数据类型，进一步提高了身份关联的准确性。利用匹配分析单元和身份关联分析单元建立合理的身份关联分析硬件***，准确高效的进行身份关联分析，为身份关联的实现提供了必要的硬件基础。

本发明提供的一种基于多模态信息的人员身份关联***及方法的有益效果有：

该方法通过获取不同载体对象下的人员身份多模态信息，进行基于匹配关联性分析的合理类型划分，实现对多模态人员身份信息的有效利用，有助于提高进行人员身份关联的分析效率和准确性。同时，基于多模态身份类型数据，建立合理的身份关联方法模型，以更加合理更加有序的方式准确实现不同载体对象上的人员身份的关联。进一步提高身份关联的效率和准确性。

该***通过多模态信息采集单元能够收集到足够用于身份关联的多模态数据，扩展了身份关联分析所需的数据类型，进一步提高了身份关联的准确性。利用匹配分析单元和身份关联分析单元建立合理的身份关联分析硬件***，准确高效的进行身份关联分析，为身份关联的实现提供了必要的硬件基础。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的基于多模态信息的人员身份关联方法的步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

不同社交网络平台的人员信息会因为不具有关联性一方面无法进行数据的同一，有效降低对网络资源的无效占用率，增加了网络运营的成本，也不方便进行统一的管理，另一方面也无法因为关联了身份信息能够综合不同社交网络平台的数据信息进行针对性的信息服务，降低了网络服务的质量和效率。

因此，对身份信息的关联显得尤为重要。当然，不同的社交网络平台因为建立的基础条件而有模态类型的身份信息数据，进而增加了进行身份关联的复杂度。大多数的身份关联方式都是基于大数据的巨量分析来完成，这样一方面增加了身份关联的时间成本和资源使用成本，另一方面也不具备高效且合理的关联分析方式，无法提高关联结果的准确性。

参考图1，本发明实施例提供一种基于多模态信息的人员身份关联方法。该方法通过获取不同载体对象下的人员身份多模态信息，进行基于匹配关联性分析的合理类型划分，实现对多模态人员身份信息的有效利用，有助于提高进行人员身份关联的分析效率和准确性。同时，基于多模态身份类型数据，建立合理的身份关联方法模型，以更加合理更加有序的方式准确实现不同载体对象上的人员身份的关联。进一步提高身份关联的效率和准确性。

基于多模态信息的人员身份关联方法具体包括以下步骤：

S1：获取不同载体对象下人员身份的多模态信息，进行多模态信息的类型划分分析，形成多模态身份类型数据。

获取不同载体对象下人员身份的多模态信息，进行多模态信息的类型划分分析，形成多模态身份类型数据，包括：获取不同的载体对象中每个人员身份的多模态信息，并多模态信息进行以下针对身份判断类型的划分：在对多模态信息进行准确性判断中为逆否判断的信息划分为判别类身份信息数据集A；在对多模态信息进行准确性判断中为选择性判断的信息划分为选择类身份信息数据集B；将多模态信息中除判别类身份信息数据集A和选择类身份信息数据集B外的其他信息进行基于身份识别的分析，形成取向类身份信息数据C。

对多模态信息的类型划分这里主要考虑两个方面，一方面是进行身份关联时，那些类型的数据相结合能够更加准确合理的确定关联度。可以理解的是，对于载体对象上的多模态身份信息，最主要的内容是建立人员对象的特征，以便在众多的人员对象中进行快速的识别，而要建立人员对象的特征就需要获取人员对象的特征数据，重要的特征数据包括但不限于基础生物特征、性格特征、***台之间，还涉及到设备的身份关联、信息的身份关联，类似的方式，通过将对象的多模态数据进行合理的类型划分能够做到关联分析事半功倍的效果，因而对于载体对象来说，并不限于社交网络平台，还可以是其他适用本关联方法的对象。

在判别类身份信息数据集A中，将直接决定人员身份的单一判别类身份信息集合为决定性判别类身份信息数据子集，其中：，m为决定性判别类身份信息数据子集中具有的判别类身份信息的数量；将判别类身份信息数据中除决定性判别类身份信息数据外的其他判别类身份信息集合为辅助性判别类身份信息数据子集，其中：，n为辅助性判别类身份信息数据子集中具有的判别类身份信息的数量。

从识别载体对象中的人员对象的角度来看，判别类身份信息中同样存在判断效果的明显差异。例如，对于身份证号、手机号、虹膜信息、指纹信息等具有强烈的一一对应性的判别类身份信息，能够仅通过一个身份信息数据就可以充分的判断是否为可以进行关联的身份对象。而对于类似性别、名字等非明显具有对应性的判别类身份信息，则需要进行区分。由于这两种身份数据对于关联性分析的影响程度是不一样的，所以在进行类型划分时就需要进行区分。

将多模态信息中除判别类身份信息数据集A和选择类身份信息数据集B外的其他信息进行基于身份识别的分析，形成取向类身份信息数据C，包括：在取向类身份信息数据集C中，分离出不同模态类型的取向类身份信息，并将每种模态类型的取向类身份信息进行身份特征的提取，形成包含不同模态类型下包含多个身份特征的取向类身份信息数据子集，并根据不同取向类身份信息数据子集中的身份特征的数量由多到少的顺序对取向类身份信息数据子集进行排序，形成取向类身份信息数据子集的顺序集，即：，其中，，u为取向类身份信息数据子集的顺序标号，v为顺序号为u的取向类身份信息数据子集中身份特征的数量。

对于取向类身份信息，主要是针对人员对象的习惯、喜好等倾向性行为进行划分的。这样，由于同一个人在不同的载体对象上释放信息，其倾向性的行为信息是基本保持不变的。由此，包含倾向性的取向类身份信息也是影响身份关联的重要因素。当然，仅仅划分并确定出了倾向性的行为信息，对其进行合理分析确定出针对人员对象的特征就显得更为重要了，例如人员对象喜好运动，但在运动喜好下还有更新的取向特征，如篮球、足球等。

S2：根据载体对象上每个人员对象的身份活动信息，并结合多模态身份类型数据，对不同载体对象下的不同人员身份信息进行匹配性分析，形成身份匹配结果数据。

根据载体对象上每个人员对象的身份活动信息，并结合多模态身份类型数据，对不同载体对象下的不同人员身份信息进行匹配性分析，形成身份匹配结果数据，包括：获取载体对象上人员对象的身份活动信息，并提取与决定性判别类身份信息数据子集中的判别身份信息有关的词句，通过对词句进行语义分析来进行决定性判断：对根据词句语义判断出逆否的判别分身信息进行决定性标记；对根据词句语义不能判断出逆否的判别身份信息进行非决定性标记；获取载体对象上人员对象的身份活动信息，并提取与辅助性判别类身份信息数据子集中的判别身份信息有关的词句，通过对词句进行语义分析来进行辅助性判断：将判别身份信息的两个对立结果根据词句语义展现出的判别结果进行频率统计，并进行标记，即：，表示所对应的判别身份信息所展示出的结果的否定概率；获取载体对象上人员对象的身份活动信息，并提取与选择类身份信息数据集B中的选择身份信息有关的词句，通过对词句进行语义分析来进行选择性判断：根据词句的语义确定每个选择身份信息的选择结果，对决定不同选择结果的词句语义进行有效决定次数的概率统计，并进行标记，即：，表示所对应的选择身份信息所展示出的结果的否定概率，i为选择类身份信息数据集B中具有的选择身份信息的数量。

对人员身份进行匹配分析主要的目的在于确定人员对象在载体对象上所表达的信息是否都正确，以概率作为准确性判断的结果，合理建立判断正确与否的基础数据。这里，需要说明的是，由于不同的载体对象其运营的目的不同，也就产生了获取的多模态数据的差异。而在进行身份关联匹配分析时，需要充分考虑这种差异性，所以进行概率的统计时，是以否定概率为参考进行的，更加具有关联性分析的合理性，毕竟在无法完整进行数据匹配对比的情况下，身份关联存在的可能性是有的。

S3：根据身份匹配结果数据和多模态身份类型数据，建立身份关联分析模型，并根据身份关联分析模型将不同载体对象中的人员身份信息进行关联匹配，形成关联结果数据。

该步骤包括：确定需要进行关联的两个载体对象，分别设定为第一关联载体对象和第二关联载体对象；获取第一关联载体对象的身份匹配结果数据和第二关联载体对象的身份匹配结果数据；以人员对象为单位，在第一关联载体对象中任意选取一个人员对象的身份匹配结果数据，逐一获取第二关联载体对象中的人员对象的身份匹配结果数据进行以下关联分析：将两个决定性判别类身份信息数据子集中的判别身份信息进行关联分析：若存在拥有相同的具有决定性标记的判别身份信息，且判别身份信息的判断结果相同，则将两个人员对象直接进行身份关联；否则进行基于辅助性判别类身份信息数据子集、选择类身份信息数据集B以及取向类身份信息数据集C的概率关联分析，并形成关联结果数据。

提供的关联分析方式是首先以进行决定性判别类身份信息进行匹配，由于决定性判别类身份信息为逆否类的判别，所以只要存在能够匹配的数据，就能够准确的判断是否要进行关联，例如，在确定两者的身份证号后，如果一致可以准确确定为同一人。这样首先进行决定性判别类身份信息的匹配也能够大大降低分析的量，提高分析的效率。当然，由于模态数据在不同载体对象上存在差异，在决定性判别类身份信息无法完成匹配分析时，就需要基于其他类型的数据进行综合考量了。

基于辅助性判别类身份信息数据子集、选择类身份信息数据集B以及取向类身份信息数据集C的概率关联分析，并形成关联结果数据，包括：获取两个载体对象下的人员对象的辅助性判别类身份信息数据子集，进行总体否定概率分析，获得判别类否定关联概率；获取两个载体对象下的人员对象的选择类身份信息数据集B，进行基于重合度的否定概率分析，获得选择类否定关联概率；获取两个载体对象下的人员对象的取向类身份信息数据集C，进行基于取向类身份特征重合度的否定概率分析，获得取向类否定关联概率；结合判别类否定关联概率、选择类否定关联概率以及取向类否定关联概率，根据下式获得两个人员对象的否定关联概率：

；

设定否定判断阈值α，获取第一关联载体对象下确定的人员对象与第二关联载体对象中一一对应的人员对象的所有否定关联概率，若存在否定关联概率值最大的否定关联概率≤α，则将第二关联载体对象中与第一关联载体对象选取的人员对象的否定关联概率值最大的人员对象确定为同一关联人员，并进行身份关联；否则判定第一关联载体对象中选取的人员对象在第二关联载体对象中无身份关联，并继续从第一关联载体对象中选取的人员对象重复进行建立身份关联分析模型的关联性判断。

对于利用除决定性判别类身份信息以外的其他类型身份信息数据进行判断时，考虑任何一种类型的身份信息数据都不能同决定性判别类身份信息一样准确的确定关联性，就需要综合考虑这几种类型的身份数据对于判断准确性的影响。考虑不同载体对象之间的数据由于多模态数据的差异无法做到理想的全对应，而没有实现关联性分析的数据也存在关联的可能性，所以在分析时主要是通过进行否定概率的计算来进行匹配分析的。否定判断阈值可以基于历史分析数据来确定，以提高基于否定关联概率进行关联性分析的可靠性，避免将本身无关联性的两个人员身份进行关联造成关联的错误和不合理而降低关联分析的准确度。

获取两个载体对象下的人员对象的辅助性判别类身份信息数据子集，进行总体否定概率分析，获得判别类否定关联概率，包括：根据下式获取所选取的第二关联载体对象下的第k个人员对象的判别类否定关联概率：，其中，，这里，k为进行否定关联概率计算时确定的第二关联载体对象下的人员对象。

对于辅助性判别类身份信息的否定关联概率的获取，由于辅助性判别类身份信息因为网络环境和政策的需要，能够做到所有不同载体对象都能够提供统一的数据，比如基本上所有的网络平台都会采集人员对象的基础数据，所以可以做到不同载体对象上的基础数据统一，这样在进行否定关联概率的计算时，就无需考虑其他为使用的数据对结果造成的印象，该否定关联概率的计算是十分准确的。

获取两个载体对象下的人员对象的选择类身份信息数据集B，进行基于重合度的否定概率分析，获得选择类否定关联概率包括：获取第一关联载体对象下的人员对象和第二关联载体对象下选取的第k个人员对象的选择类身份信息数据集B的选择身份信息的总数，并确定选择身份信息的重合率x和重合数量r，并根据下式确定选择类否定关联概率：；获取两个载体对象下的人员对象的取向类身份信息数据集C，进行基于取向类身份特征重合度的否定概率分析，获得取向类否定关联概率，包括：获取第一关联载体对象下的人员对象和第二关联载体对象下选取的第k个人员对象的取向类身份信息数据集C，并确定重合的取向类身份数据子集，将重合的取向类身份数据子集按照取向类身份信息数据子集中的身份特征的数量由多到少的顺序对取向类身份信息数据子集进行排序，形成重合取向类身份信息数据集，其中：，z表示重合的顺序标号；对每个重合取向类身份信息数据子集中重合的身份特征进行概率统计，形成每个重合取向类身份信息数据子集的重合概率；根据下式确定取向类否定关联概率：：。

提供选择类身份信息数据集B的选择类否定关联概率以及取向类身份信息数据集C的取向类否定关联概率计算方法。对于选择类身份信息数据集B来说，选择身份信息的重合率代表了能够实现关联性分析的选择类身份信息的体量，这里做一个合理的分析，即使无法完整的对不同载体对象中的选择类身份信息进行否定概率的计算，但对于能够关联身份信息的情况下，整体的否定概率都是很低的，反之则是偏高的，那么具有重合性质的选择类身份信息的否定概率就能够展现出所有选择类身份信息的否定概率趋势，所以，在进行选择类否定关联概率的计算时，根据重合数量的占比将否定概率进行放大，有利于更加准确的关联性分析。当然，对于取向类身份信息数据集C的取向类否定关联概率的计算，可以理解的是，出现的身份特征越多，关联性分析的准确性越高。所以在进行否定概率的分析时，按照身份特征多少进行排序后再进行计算，在充分考虑概率计算的合理性的同时，也实现了合理的概率预测。

本发明还提供过一种基于多模态信息的人员身份关联***，应用于本发明提供的基于多模态信息的人员身份关联方法，包括：多模态信息采集单元，用于采集不同载体对象中不同人员对象的多模态信息，并进行类型划分，形成多模态身份类型数据；匹配分析单元，用于获取多模态信息采集单元的多模态身份类型数据，进行匹配性分析，形成身份匹配结果数据；身份关联分析单元，用于结合匹配分析单元的身份匹配结果数据和多模态信息采集单元的多模态身份类型数据，进行关联匹配，完成身份关联。

该***通过多模态信息采集单元能够收集到足够用于身份关联的多模态数据，扩展了身份关联分析所需的数据类型，进一步提高了身份关联的准确性。利用匹配分析单元和身份关联分析单元建立合理的身份关联分析硬件***，准确高效的进行身份关联分析，为身份关联的实现提供了必要的硬件基础。

综上所述，本发明实施例提供的基于多模态信息的人员身份关联***及方法的有益效果有：

该方法通过获取不同载体对象下的人员身份多模态信息，进行基于匹配关联性分析的合理类型划分，实现对多模态人员身份信息的有效利用，有助于提高进行人员身份关联的分析效率和准确性。同时，基于多模态身份类型数据，建立合理的身份关联方法模型，以更加合理更加有序的方式准确实现不同载体对象上的人员身份的关联。进一步提高身份关联的效率和准确性。

该***通过多模态信息采集单元能够收集到足够用于身份关联的多模态数据，扩展了身份关联分析所需的数据类型，进一步提高了身份关联的准确性。利用匹配分析单元和身份关联分析单元建立合理的身份关联分析硬件***，准确高效的进行身份关联分析，为身份关联的实现提供了必要的硬件基础。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于多模态信息的人员身份关联方法，其特征在于，包括：

获取不同载体对象下人员身份的多模态信息，进行多模态信息的类型划分分析，形成多模态身份类型数据；

根据所述载体对象上每个人员对象的身份活动信息，并结合所述多模态身份类型数据，对不同所述载体对象下的不同人员身份信息进行匹配性分析，形成身份匹配结果数据；

根据所述身份匹配结果数据和所述多模态身份类型数据，建立身份关联分析模型，并根据所述身份关联分析模型将不同所述载体对象中的人员身份信息进行关联匹配，形成关联结果数据；其中，获取不同载体对象下人员身份的多模态信息，进行多模态信息的类型划分分析，形成多模态身份类型数据，包括：

获取不同的所述载体对象中每个所述人员身份的多模态信息，并所述多模态信息进行以下针对身份判断类型的划分：在对所述多模态信息进行准确性判断中为逆否判断的信息划分为判别类身份信息数据集A；在对所述多模态信息进行准确性判断中为选择性判断的信息划分为选择类身份信息数据集B；将所述多模态信息中除所述判别类身份信息数据集A和所述选择类身份信息数据集B外的其他信息进行基于身份识别的分析，形成取向类身份信息数据C；在所述判别类身份信息数据集A中，将直接决定人员身份的单一判别类身份信息集合为决定性判别类身份信息数据子集，其中：，m为所述决定性判别类身份信息数据子集中具有的所述判别类身份信息的数量；将所述判别类身份信息数据中除所述决定性判别类身份信息数据外的其他判别类身份信息集合为辅助性判别类身份信息数据子集，其中：，n为所述辅助性判别类身份信息数据子集中具有的所述判别类身份信息的数量；将所述多模态信息中除所述判别类身份信息数据集A和所述选择类身份信息数据集B外的其他信息进行基于身份识别的分析，形成取向类身份信息数据C，包括：

在所述取向类身份信息数据集C中，分离出不同模态类型的取向类身份信息，并将每种模态类型的取向类身份信息进行身份特征的提取，形成包含不同模态类型下包含多个身份特征的取向类身份信息数据子集，并根据不同所述取向类身份信息数据子集中的身份特征的数量由多到少的顺序对所述取向类身份信息数据子集进行排序，形成取向类身份信息数据子集的顺序集，即：，其中，，u为所述取向类身份信息数据子集的顺序标号，v为顺序号为u的所述取向类身份信息数据子集中身份特征的数量；根据所述载体对象上每个人员对象的身份活动信息，并结合所述多模态身份类型数据，对不同所述载体对象下的不同人员身份信息进行匹配性分析，形成身份匹配结果数据，包括：

获取所述载体对象上所述人员对象的身份活动信息，并提取与所述决定性判别类身份信息数据子集中的判别身份信息有关的词句，通过对词句进行语义分析来进行决定性判断：对根据词句语义判断出逆否的判别分身信息进行决定性标记；对根据词句语义不能判断出逆否的判别身份信息进行非决定性标记；

获取所述载体对象上所述人员对象的身份活动信息，并提取与所述辅助性判别类身份信息数据子集中的判别身份信息有关的词句，通过对词句进行语义分析来进行辅助性判断：将判别身份信息的两个对立结果根据词句语义展现出的判别结果进行频率统计，并进行标记，即：，表示所对应的判别身份信息所展示出的结果的否定概率；获取所述载体对象上所述人员对象的身份活动信息，并提取与所述选择类身份信息数据集B中的选择身份信息有关的词句，通过对词句进行语义分析来进行选择性判断：根据词句的语义确定每个选择身份信息的选择结果，对决定不同所述选择结果的词句语义进行有效决定次数的概率统计，并进行标记，即：，表示所对应的选择身份信息所展示出的结果的否定概率，i为所述选择类身份信息数据集B中具有的所述选择身份信息的数量。

2.根据权利要求1所述的基于多模态信息的人员身份关联方法，其特征在于，所述根据所述身份匹配结果数据和所述多模态身份类型数据，建立身份关联分析模型，并根据所述身份关联分析模型将不同所述载体对象中的人员身份信息进行关联匹配，形成关联结果数据，包括：

确定需要进行关联的两个所述载体对象，分别设定为第一关联载体对象和第二关联载体对象；

获取所述第一关联载体对象的所述身份匹配结果数据和所述第二关联载体对象的所述身份匹配结果数据；

以人员对象为单位，在所述第一关联载体对象中任意选取一个人员对象的所述身份匹配结果数据，逐一获取所述第二关联载体对象中的人员对象的所述身份匹配结果数据进行以下关联分析：

将两个所述决定性判别类身份信息数据子集中的判别身份信息进行关联分析：

若存在拥有相同的具有决定性标记的判别身份信息，且判别身份信息的判断结果相同，则将两个人员对象直接进行身份关联；

否则进行基于所述辅助性判别类身份信息数据子集、所述选择类身份信息数据集B以及所述取向类身份信息数据集C的概率关联分析，并形成关联结果数据。

3.根据权利要求2所述的基于多模态信息的人员身份关联方法，其特征在于，所述基于所述辅助性判别类身份信息数据子集、所述选择类身份信息数据集B以及所述取向类身份信息数据集C的概率关联分析，并形成关联结果数据，包括：

获取两个所述载体对象下的人员对象的所述辅助性判别类身份信息数据子集，进行总体否定概率分析，获得判别类否定关联概率；

获取两个所述载体对象下的人员对象的所述选择类身份信息数据集B，进行基于重合度的否定概率分析，获得选择类否定关联概率；

获取两个所述载体对象下的人员对象的所述取向类身份信息数据集C，进行基于取向类身份特征重合度的否定概率分析，获得取向类否定关联概率；

结合所述判别类否定关联概率、所述选择类否定关联概率以及所述取向类否定关联概率，根据下式获得两个人员对象的否定关联概率：

；

设定否定判断阈值α，获取所述第一关联载体对象下确定的人员对象与所述第二关联载体对象中一一对应的人员对象的所有所述否定关联概率，若存在否定关联概率值最大的所述否定关联概率≤α，则将所述第二关联载体对象中与所述第一关联载体对象选取的人员对象的所述否定关联概率值最大的所述人员对象确定为同一关联人员，并进行身份关联；

否则判定所述第一关联载体对象中选取的人员对象在所述第二关联载体对象中无身份关联，并继续从所述第一关联载体对象中选取的人员对象重复进行建立身份关联分析模型的关联性判断。

4.根据权利要求3所述的基于多模态信息的人员身份关联方法，其特征在于，所述获取两个所述载体对象下的人员对象的所述辅助性判别类身份信息数据子集，进行总体否定概率分析，获得判别类否定关联概率，包括：

根据下式获取所选取的所述第二关联载体对象下的第k个人员对象的所述判别类否定关联概率：

，其中，

，

这里，k为进行否定关联概率计算时确定的所述第二关联载体对象下的人员对象。

5.根据权利要求4所述的基于多模态信息的人员身份关联方法，其特征在于，所述获取两个所述载体对象下的人员对象的所述选择类身份信息数据集B，进行基于重合度的否定概率分析，获得选择类否定关联概率包括：

获取所述第一关联载体对象下的人员对象和所述第二关联载体对象下选取的第k个人员对象的所述选择类身份信息数据集B的选择身份信息的总数，并确定选择身份信息的重合率x和重合数量r，并根据下式确定所述选择类否定关联概率：

；

获取两个所述载体对象下的人员对象的所述取向类身份信息数据集C，进行基于取向类身份特征重合度的否定概率分析，获得取向类否定关联概率，包括：

获取所述第一关联载体对象下的人员对象和所述第二关联载体对象下选取的第k个人员对象的所述取向类身份信息数据集C，并确定重合的所述取向类身份数据子集，将重合的所述取向类身份数据子集按照所述取向类身份信息数据子集中的身份特征的数量由多到少的顺序对所述取向类身份信息数据子集进行排序，形成重合取向类身份信息数据集，其中：

，z表示重合的顺序标号；

对每个重合取向类身份信息数据子集中重合的身份特征进行概率统计，形成每个所述重合取向类身份信息数据子集的重合概率；

根据下式确定所述取向类否定关联概率：

。

6.一种基于多模态信息的人员身份关联***，其特征在于，应用于权利要求1-5任意一项所述基于多模态信息的人员身份关联方法，包括：

多模态信息采集单元，用于采集不同载体对象中不同人员对象的多模态信息，并进行类型划分，形成多模态身份类型数据；

匹配分析单元，用于获取所述多模态信息采集单元的所述多模态身份类型数据，进行匹配性分析，形成身份匹配结果数据；

身份关联分析单元，用于结合所述匹配分析单元的所述身份匹配结果数据和所述多模态信息采集单元的所述多模态身份类型数据，进行关联匹配，完成身份关联。