CN116662598B - 基于矢量索引的人物画像信息管理方法及电子设备 - Google Patents

基于矢量索引的人物画像信息管理方法及电子设备 Download PDF

Info

Publication number
CN116662598B
CN116662598B CN202310933367.8A CN202310933367A CN116662598B CN 116662598 B CN116662598 B CN 116662598B CN 202310933367 A CN202310933367 A CN 202310933367A CN 116662598 B CN116662598 B CN 116662598B
Authority
CN
China
Prior art keywords
sequence
output
vector
module
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310933367.8A
Other languages
English (en)
Other versions
CN116662598A (zh
Inventor
梅雨
杨广学
孙禄明
李柏
蒋铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panorama Zhilian Tianjin Technology Co ltd
Panoramic Zhilian Wuhan Technology Co ltd
Beijing Panorama Zhilian Technology Co ltd
Original Assignee
Panorama Zhilian Tianjin Technology Co ltd
Panoramic Zhilian Wuhan Technology Co ltd
Beijing Panorama Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panorama Zhilian Tianjin Technology Co ltd, Panoramic Zhilian Wuhan Technology Co ltd, Beijing Panorama Zhilian Technology Co ltd filed Critical Panorama Zhilian Tianjin Technology Co ltd
Priority to CN202310933367.8A priority Critical patent/CN116662598B/zh
Publication of CN116662598A publication Critical patent/CN116662598A/zh
Application granted granted Critical
Publication of CN116662598B publication Critical patent/CN116662598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据管理技术领域，公开了一种基于矢量索引的人物画像信息管理方法和电子设备。该方法可以包括：采集人脸数据和轨迹数据，生成人脸特征序列和轨迹特征序列；构建第一模型，将人脸特征序列和轨迹特征序列输入第一模型；将第一模型在第t个时间步的输出与第一输出特征矩阵的第t个行向量来源的人脸数据和/或轨迹数据建立映射关系，循环神经单元在第t个时间步的输出的向量作为映射的人脸数据和/或轨迹数据的索引矢量；将索引矢量与码矢进行匹配，建立矢量化索引。本发明能够通过索引满足对于关联目标信息获取和同行为模式对象的信息获取的业务需求。

Description

基于矢量索引的人物画像信息管理方法及电子设备
技术领域
本发明涉及数据管理技术领域，更具体地涉及一种基于矢量索引的人物画像信息管理方法及电子设备。
背景技术
传统的人脸数据矢量化索引直接通过人脸图像进行矢量化，矢量化之后与搜索出与输入最为匹配的码矢来对其建立矢量化索引，因此人脸图像的矢量化索引的建立依赖于码矢为基础，码矢同样可以视为一个矢量化的人脸图像，因此以此建立的矢量化索引只能够提供相似人脸图像的检索结果，只能够满足人像比对确定目标的业务需求，而对于警务等方面的业务需求来说，单纯的寻找面部特征相似的人物难以满足需求，需要多关联维度的检索来提供更符合需求的人脸图像。
发明内容
本发明提供一种基于矢量索引的人物画像信息管理方法及电子设备，解决相关技术中人脸图像的矢量化索引只能够满足人像比对确定目标的业务需求的技术问题。
根据本发明的一个方面，提供了一种基于矢量索引的人物画像信息管理方法，包括以下内容。
步骤S101，采集人脸数据和轨迹数据，基于一个时间点采集的人脸数据生成一个人脸特征，基于一个时间点采集的轨迹数据生成一个轨迹特征；将人脸特征和轨迹特征分别按照采集时间的顺序排序生成人脸特征序列和轨迹特征序列。
步骤S102，构建第一模型，第一模型包括第一模块、第二模块、第一中间模块、第二中间模块、第三模块和第四模块，所述第一模块包括多个卷积层，所述第二模块包括一个以上的卷积层，基于轨迹特征序列生成轨迹特征矩阵，轨迹特征矩阵的第q行第e列的元素表示第q个轨迹特征的第e个向量分量，其中q＞1且e＞1；将轨迹特征矩阵输入第一模块并且第一模块输出第一输出特征矩阵；将人脸特征序列输入第二模块并且第二模块输出第二输出特征；第一输出特征矩阵输入第一中间模块并且第一中间模块基于第一输出特征矩阵生成第一输出序列，第一输出序列中的一个序列单元表示第一输出特征矩阵中的一个行向量。
第一输出序列的序列单元与第二输出特征合成生成第二输出序列，第二输出序列输入第二中间模块，第二中间模块为第二输出序列的序列单元生成位置向量，将位置向量与第二输出序列中对应的序列单元合成生成第三输出序列的序列单元。
第三输出序列输入第三模块，第三模块包括两个以上的隐藏层，第三模块的最后一个隐藏层的输出特征矩阵作为第二输出特征矩阵输入到第四模块，第三模块的第s个隐藏层的计算公式为：；其中/>表示第s个隐藏层的输出特征矩阵，其中s≥1，softmax表示归一化指数函数，/>、/>、/>分别表示第s个隐藏层的第一输入矩阵、第二输入矩阵和第三输入矩阵，/>，，/>；其中/>、/>、/>分别表示第一、二、三权重矩阵，在s=1时/>，/>表示矩阵化的第三输出序列，s＞1时，/>，表示第s-1层的隐藏层的输出特征矩阵。
第四模块包括循环神经单元和全连接层，循环神经单元在每个时间步输入第二输出特征矩阵的一个行向量，输入的顺序是按照第二输出特征矩阵的行向量的序号顺序输入的。
步骤S103，将循环神经单元在第t个时间步的输出与第二输出特征矩阵的第t个行向量来源的人脸数据和/或轨迹数据建立映射关系，循环神经单元在第t个时间步的输出的向量作为映射的人脸数据和/或轨迹数据的索引矢量，其中t＞1。
步骤S104，将索引矢量与码矢进行匹配，建立矢量化索引。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，人脸数据为图像数据，轨迹数据为地址数据。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，基于轨迹数据进行分词和词向量生成处理获得轨迹特征。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，在生成轨迹特征矩阵时，轨迹特征以轨迹特征序列中维数最大的轨迹特征为标准进行对齐处理，对齐处理后所有轨迹特征的维数一致。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，第一模块进行膨胀卷积，其中定义以下内容。；其中/>和/>分别表示第i和i+1个卷积层能够选择的最大膨胀率，其中i≥1，/>表示第i个卷积层选择的膨胀率，第2个卷积层能够选择的最大膨胀率/>，K为卷积层的卷积核的尺寸,i=n时，第n个卷积层能够选择的最大膨胀率/>，/>表示第n个卷积层选择的膨胀率，n为第一模块的卷积层的总数。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，第一模块进行训练时，第一模块的输出连接训练分类器，训练分类器的输出二分类，分别对应于正常路径和非法路径。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，第一输出序列的序列单元与第二输出特征合成的公式为，其中和/>分别表示第二输出序列和第一输出序列的第j个序列单元，/>表示人脸特征序列的第j个人脸特征生成的第二输出特征，Concat表示concat函数，其中j＞1。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，位置向量与第二输出序列中对应的序列单元合成的公式为，其中和/>分别表示第三输出序列和第二输出序列的第j个序列单元，/>表示第二输出序列的第j个序列单元的位置向量，Concat表示concat函数，其中j＞1。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，循环神经单元的输出连接训练分类器，训练分类器的输出映射到分类空间，分类空间内的标签表示人物的不同行为类型。
根据本发明的至少一个实施方式的基于矢量索引的人物画像信息管理方法，矢量化索引的索引方法包括：将待查询的人脸数据和轨迹数据生成人脸特征序列和轨迹特征序列，然后输入第一模型输出多个待查询的索引矢量；将获得的待查询的索引矢量匹配矢量化索引的码矢，提取匹配的码矢所匹配的索引矢量映射的人脸数据和/或轨迹数据作为索引结果。
根据本发明的另一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上的指令，所述处理器执行所述指令以实现上述方法的步骤。
根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
本发明的有益效果在于：本发明通过人脸数据和轨迹数据进行联合处理，综合时间关联性和轨迹数据的空间特征来对人物数据进行综合性的矢量化处理，在此基础上构建矢量化索引，能够通过索引满足对于关联目标信息获取和同行为模式对象的信息获取的业务需求。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是根据本发明实施方式的基于矢量索引的人物画像信息管理方法的流程图。
图2是根据本发明实施方式的矢量化索引的索引方法的流程图。
图3是根据本发明实施方式的方法采用处理***的硬件实现方式的装置示例图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
这里使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
图1示出了根据本申请的实施方式的基于矢量索引的人物画像信息管理方法的流程图。如图1所示，该人物画像信息管理方法可以包括步骤S101、步骤S102、步骤S103和步骤S104。下面将对各个步骤进行详细的描述。
在步骤S101中，采集人脸数据和轨迹数据，基于一个时间点采集的人脸数据生成一个人脸特征，基于一个时间点采集的轨迹数据生成一个轨迹特征。这样根据时间点采集的数据来生成一些人脸特征和轨迹特征。将人脸特征和轨迹特征分别按照采集时间的顺序排序生成人脸特征序列和轨迹特征序列。
在本申请中，通常而言划分人物数据的时间节点等同于人物数据的采集时间。在本申请的各个实施方式中，所称的人脸数据为人脸的图像数据，所称的轨迹数据为地址数据。
在本申请中，通过轨迹数据来生成轨迹特征的具体方式可以基于轨迹数据进行分词和词向量生成处理获得轨迹特征。此具体方式为本领域的常规手段，在本申请中不再赘述。
在步骤S102中，构建第一模型。其中第一模型包括第一模块、第二模块、第一中间模块、第二中间模块、第三模块和第四模块。
基于轨迹特征序列生成轨迹特征矩阵，轨迹特征矩阵的第q行第e列的元素表示第q个轨迹特征的第e个向量分量，其中q＞1且e＞1。在生成轨迹特征矩阵时，轨迹特征以轨迹特征序列中维数最大的轨迹特征为标准进行对齐处理，对齐处理后所有轨迹特征的维数一致。对齐处理可以包括在轨迹特征的尾部插补维度，维度值赋值为0。
可以将轨迹特征矩阵输入第一模块中，第一模块输出第一输出特征矩阵，第一模块可以包括多个卷积层，定义：。其中/>和/>分别表示第i和i+1个卷积层能够选择的最大膨胀率，其中i≥1，/>表示第i个卷积层选择的膨胀率，第2个卷积层能够选择的最大膨胀率/>，K为卷积层的卷积核的尺寸,i=n时，第n个卷积层能够选择的最大膨胀率/>，/>表示第n个卷积层选择的膨胀率，n为第一模块的卷积层的总数。
多个卷积层的卷积核的尺寸是一致的。通过将轨迹特征序列矩阵化之后进行膨胀卷积，在保留了序列结构的情况下对冗长的轨迹特征进行重点特征提取。
第一模块进行训练时，第一模块的输出连接第一训练分类器，第一训练分类器的输出二分类，分别对应于正常路径和非法路径。
正常路径表示输入的轨迹特征矩阵来源的轨迹数据生成的轨迹并未超出正常路径。非法路径则表示输入的轨迹特征矩阵来源的轨迹数据生成的轨迹超出正常路径。
将人脸特征序列输入第二模块。第二模块包括一个以上的卷积层，第二模块基于所输入的人脸特征序列输出第二输出特征。
第二模块训练时连接第二训练分类器，第二训练分类器的输出的分类标签可以对应于输入的人脸特征的人脸数据的表情类型。其中表情类型的定义可以根据实际情况进行设置，在此不再赘述。
第一输出特征矩阵输入第一中间模块，第一中间模块基于第一输出特征矩阵生成第一输出序列。第一中间模块配置为使得第一输出序列中的一个序列单元表示第一输出特征矩阵中的一个行向量，也就是说第一输出序列中的每个序列单元分别表示第一输出特征矩阵中的一个行向量。
第一输出序列的序列单元与第二输出特征合成生成第二输出序列，合成的公式可以设置为，其中/>和/>分别表示第二输出序列和第一输出序列的第j个序列单元，/>表示人脸特征序列的第j个人脸特征生成的第二输出特征，Concat表示concat函数。
第二输出序列输入第二中间模块，第二中间模块为第二输出序列中的序列单元生成位置向量，将位置向量与第二输出序列中对应的序列单元合成生成第三输出序列的序列单元。第二中间模块可以选择现有技术中的能够根据序列单元生成位置向量的常规模块即可。
位置向量与第二输出序列中对应的序列单元合成的公式为，其中/>和/>分别表示第三输出序列和第二输出序列的第j个序列单元，/>表示第二输出序列的第j个序列单元的位置向量，Concat表示concat函数。
在本发明的一个实施例中，位置向量是基于第二输出序列中的序列单元来源的轨迹数据的位置坐标生成的。由于位置坐标一般以数值表示，可以直接拼接作为位置向量。
第三输出序列输入第三模块，第三模块包括两个以上的隐藏层，第三模块的最后一个隐藏层的第二输出特征矩阵输入到第四模块，第三模块的第s个隐藏层的计算公式为：；其中/>表示第s个隐藏层的输出特征矩阵，其中s≥1，softmax表示归一化指数函数，/>、/>、/>分别表示第s个隐藏层的第一输入矩阵、第二输入矩阵和第三输入矩阵，/>，/>，；其中/>、/>、/>分别表示第一权重矩阵、第二权重矩阵和第三权重矩阵，在s=1时/>，/>表示矩阵化的第三输出序列，s＞1时，/>，表示第s-1层的隐藏层的第二输出特征矩阵。
第四模块包括循环神经单元和全连接层，循环神经单元在每个时间步输入第二输出特征矩阵的一个行向量，输入的顺序是按照第二输出特征矩阵的行向量的序号顺序输入的。
在步骤S103中，将循环神经单元的输出与人脸数据和/或轨迹数据建立映射关系。本发明通过人脸数据和轨迹数据进行联合处理，综合时间关联性和轨迹数据的空间特征来对人物数据进行综合性的矢量化处理，在此基础上构建矢量化索引，能够通过索引满足对于关联目标信息获取和同行为模式对象的信息获取的业务需求。
循环神经单元在第t个时间步的输入符号化的表示为：，其中/>表示循环神经单元在第t个时间步的输入，/>表示第二输出特征矩阵的第t个行向量。
步骤S103，将循环神经单元在第t个时间步的输出与第二输出特征矩阵的第t个行向量来源的人脸数据和/或轨迹数据建立映射关系，循环神经单元在第t个时间步的输出的向量作为映射的人脸数据和/或轨迹数据的索引矢量。
第二输出特征矩阵的第t个行向量来源于第三输出序列的第t个序列单元。
训练时，循环神经单元的输出连接训练分类器，该训练分类器的输出映射到分类空间，分类空间内的标签表示人物的不同行为类型。
作为一种示例，分类空间包括两个分类标签，分别表示人物的行为类型为合法和不合法，例如合法人员进入无权限进入的区域定义为不合法，非法人员进入定义为不合法，合法人员进入有权限进入的区域定义为合法。
作为一种示例，分类空间包括多个分类标签，分别表示人物的行为类型为行走、跑步、使用非机动车、使用机动车等。
在本申请中，行为类型可以根据本申请实施例的方法的具体应用场景来进行选择，上面提到的仅仅为示例性的描述。
第一模块和第二模块进行独立训练，独立训练完成后再组合到第一模型中，第三模块与第四模块联合训练，第三模块与第四模块训练时第一模块和第二模块的权重参数不再更新。
在步骤S104中，将索引矢量与码矢进行匹配，建立矢量化索引。其中，下面将参照图2来详细地描述其具体实施方式。
图2示出了矢量化索引的索引方法的流程图，其中该索引方法可以包括步骤S201、步骤S202和步骤S203。
在步骤S201中，可以将待查询的人脸数据和轨迹数据生成人脸特征序列和轨迹特征序列。其中待查询的人脸数据和轨迹数据可以为采集的人脸数据和轨迹数据，基于一个时间点采集的人脸数据生成一个人脸特征，基于一个时间点采集的轨迹数据生成一个轨迹特征。这样根据时间点采集的数据来生成一些人脸特征和轨迹特征。将人脸特征和轨迹特征分别按照采集时间的顺序排序生成人脸特征序列和轨迹特征序列。通过轨迹数据来生成轨迹特征的具体方式可以基于轨迹数据进行分词和词向量生成处理获得轨迹特征。
将人脸特征序列和轨迹特征序列输入第一模型，使得第一模型输出多个待查询的索引矢量；将获得的待查询的索引矢量匹配矢量化索引的码矢，提取匹配的码矢所匹配的索引矢量映射的人脸数据和/或轨迹数据作为索引结果。具体而言，在步骤S202中，将人脸数据输入第一模型的第二模块，将输出第二输出特征作为待查询的索引矢量，将获得的待查询的索引矢量匹配矢量化索引的码矢，提取匹配的码矢所匹配的索引矢量映射的人脸数据和/或轨迹数据作为索引结果。在步骤S203中，将轨迹数据输入第一模型的第一模块，第一模块输出的第一输出特征矩阵作为待查询的索引矢量，将获得的待查询的索引矢量匹配矢量化索引的码矢，提取匹配的码矢所匹配的索引矢量映射的人脸数据和/或轨迹数据作为索引结果。在上述实施例中，提取匹配的码矢所匹配的索引矢量中不包括带查询的索引矢量。
图3示出了上述方法采用处理***的硬件实现方式的装置示例图。该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如***设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。
总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成。程序可以存储于一种可读存储介质中。程序在执行时，包括实施方法的步骤之一或其组合。
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
如图3所示，根据本公开的实施例的基于矢量索引的人物画像信息管理装置1000可以包括采集模块1002、生成模块1004、第一模型模块1006、映射模块1008以及匹配构建模块1010。
在采集模块1002中，采集人脸数据和轨迹数据。
在生成模块1004中，，基于一个时间点采集的人脸数据生成一个人脸特征，基于一个时间点采集的轨迹数据生成一个轨迹特征。这样根据时间点采集的数据来生成一些人脸特征和轨迹特征。将人脸特征和轨迹特征分别按照采集时间的顺序排序生成人脸特征序列和轨迹特征序列。其中相关的具体内容可以参照之前的描述，为了简洁起见，在此不再赘述。
在第一模型模块1006中，可以形成有上述的第一模型。其中如上所述第一模型可以包括第一模块、第二模块、第一中间模块、第二中间模块、第三模块和第四模块。可以将轨迹特征矩阵输入第一模块中，可以将人脸特征序列输入第二模块。第一模块输出的第一输出特征矩阵输入第一中间模块。第一输出序列的序列单元与第二输出特征合成生成的第二输出序列输入第二中间模块，将位置向量与第二输出序列中对应的序列单元合成生成的第三输出序列输入第三模块，第三模块的最后一个隐藏层的第二输出特征矩阵输入到第四模块。在此各个模块的输入和输出以及构建方式可以参照之前的描述在此不再赘述。
在映射模块1008中，将第四模块的循环神经单元在第t个时间步的输出与第二输出特征矩阵的第t个行向量来源的人脸数据和/或轨迹数据建立映射关系，循环神经单元在第t个时间步的输出的向量作为映射的人脸数据和/或轨迹数据的索引矢量。
在匹配构建模块1010中，将索引矢量与码矢进行匹配，建立矢量化索引。
需要说明的是，上面各个模块中的相关内容可以参照本申请的基于矢量索引的人物画像信息管理方法的相关内容，为了简洁，将各个模块的相关内容的描述进行了简化。
本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行上述的方法。
本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的方法。
在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (10)

1.一种基于矢量索引的人物画像信息管理方法，其特征在于，包括：
步骤S101，采集人脸数据和轨迹数据，基于一个时间点采集的人脸数据生成一个人脸特征，基于一个时间点采集的轨迹数据生成一个轨迹特征；将人脸特征和轨迹特征分别按照采集时间的顺序排序生成人脸特征序列和轨迹特征序列；
步骤S102，构建第一模型，第一模型包括第一模块、第二模块、第一中间模块、第二中间模块、第三模块和第四模块，所述第一模块包括多个卷积层，所述第二模块包括一个以上的卷积层，基于轨迹特征序列生成轨迹特征矩阵，轨迹特征矩阵的第q行第e列的元素表示第q个轨迹特征的第e个向量分量，其中q＞1且e＞1；将轨迹特征矩阵输入第一模块并且第一模块输出第一输出特征矩阵；将人脸特征序列输入第二模块并且第二模块输出第二输出特征；第一输出特征矩阵输入第一中间模块并且第一中间模块基于第一输出特征矩阵生成第一输出序列，第一输出序列中的一个序列单元表示第一输出特征矩阵中的一个行向量；第一输出序列的序列单元与第二输出特征合成生成第二输出序列，第二输出序列输入第二中间模块，第二中间模块为第二输出序列的序列单元生成位置向量，将位置向量与第二输出序列中对应的序列单元合成生成第三输出序列的序列单元；第三输出序列输入第三模块，第三模块包括两个以上的隐藏层，第三模块的最后一个隐藏层的输出特征矩阵作为第二输出特征矩阵输入到第四模块；第四模块包括循环神经单元和全连接层，循环神经单元在每个时间步输入第二输出特征矩阵的一个行向量，输入的顺序是按照第二输出特征矩阵的行向量的序号顺序输入的；
步骤S103，将循环神经单元在第t个时间步的输出与第二输出特征矩阵的第t个行向量来源的人脸数据和/或轨迹数据建立映射关系，循环神经单元在第t个时间步的输出的向量作为映射的人脸数据和/或轨迹数据的索引矢量，其中t＞1；以及
步骤S104，将索引矢量与码矢进行匹配，建立矢量化索引。
2.根据权利要求1所述的基于矢量索引的人物画像信息管理方法，其特征在于，人脸数据为图像数据，轨迹数据为地址数据。
3.根据权利要求1所述的基于矢量索引的人物画像信息管理方法，其特征在于，基于轨迹数据进行分词和词向量生成处理获得轨迹特征。
4.根据权利要求3所述的基于矢量索引的人物画像信息管理方法，其特征在于，在生成轨迹特征矩阵时，轨迹特征以轨迹特征序列中维数最大的轨迹特征为标准进行对齐处理，对齐处理后所有轨迹特征的维数一致。
5.根据权利要求1所述的基于矢量索引的人物画像信息管理方法，其特征在于，第一模块进行训练时，第一模块的输出连接训练分类器，训练分类器的输出二分类，分别对应于正常路径和非法路径。
6.根据权利要求1所述的基于矢量索引的人物画像信息管理方法，其特征在于，第一输出序列的序列单元与第二输出特征合成的公式如下：
，其中/>和/>分别表示第二输出序列和第一输出序列的第j个序列单元，/>表示人脸特征序列的第j个人脸特征生成的第二输出特征，Concat表示concat函数。
7.根据权利要求1所述的基于矢量索引的人物画像信息管理方法，其特征在于，位置向量与第二输出序列中对应的序列单元合成的公式如下：
，其中/>和/>分别表示第三输出序列和第二输出序列的第j个序列单元，/>表示第二输出序列的第j个序列单元的位置向量，Concat表示concat函数。
8.根据权利要求1所述的基于矢量索引的人物画像信息管理方法，其特征在于，循环神经单元的输出连接训练分类器，训练分类器的输出映射到分类空间，分类空间内的标签表示人物的不同行为类型。
9.根据权利要求1所述的基于矢量索引的人物画像信息管理方法，其特征在于，所述矢量化索引的索引方法包括：将待查询的人脸数据和轨迹数据生成人脸特征序列和轨迹特征序列，然后输入第一模型输出多个待查询的索引矢量；将获得的待查询的索引矢量匹配矢量化索引的码矢，提取匹配的码矢所匹配的索引矢量映射的人脸数据和/或轨迹数据作为索引结果。
10.一种电子设备，包括存储器、处理器及存储在存储器上的指令，其特征在于，所述处理器执行所述指令以实现权利要求1 所述的人物画像信息管理方法的步骤。
CN202310933367.8A 2023-07-27 2023-07-27 基于矢量索引的人物画像信息管理方法及电子设备 Active CN116662598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310933367.8A CN116662598B (zh) 2023-07-27 2023-07-27 基于矢量索引的人物画像信息管理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310933367.8A CN116662598B (zh) 2023-07-27 2023-07-27 基于矢量索引的人物画像信息管理方法及电子设备

Publications (2)

Publication Number Publication Date
CN116662598A CN116662598A (zh) 2023-08-29
CN116662598B true CN116662598B (zh) 2023-09-26

Family

ID=87724532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310933367.8A Active CN116662598B (zh) 2023-07-27 2023-07-27 基于矢量索引的人物画像信息管理方法及电子设备

Country Status (1)

Country Link
CN (1) CN116662598B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532432A (zh) * 2019-08-21 2019-12-03 深圳供电局有限公司 一种人物轨迹检索方法及其***、计算机可读存储介质
CN111046757A (zh) * 2019-11-27 2020-04-21 西安电子科技大学 人脸画像生成模型的训练方法、装置及相关设备
KR20200060942A (ko) * 2018-11-23 2020-06-02 주식회사 리얼타임테크 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200060942A (ko) * 2018-11-23 2020-06-02 주식회사 리얼타임테크 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법
CN110532432A (zh) * 2019-08-21 2019-12-03 深圳供电局有限公司 一种人物轨迹检索方法及其***、计算机可读存储介质
CN111046757A (zh) * 2019-11-27 2020-04-21 西安电子科技大学 人脸画像生成模型的训练方法、装置及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频监控场景下基于深度学习的多人脸跟踪;李荔等;电子技术与软件工程;全文 *

Also Published As

Publication number Publication date
CN116662598A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN107291871B (zh) 基于人工智能的多域信息的匹配度评估方法、设备及介质
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
CN112084331A (zh) 文本处理、模型训练方法、装置、计算机设备和存储介质
Xu et al. Attribute hashing for zero-shot image retrieval
CN111460248B (zh) 用于线上到线下服务的***和方法
CN115147598B (zh) 目标检测分割方法、装置、智能终端及存储介质
CN108764280B (zh) 一种基于症状向量的医学数据处理方法和***
CN112651940B (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
US20230334893A1 (en) Method for optimizing human body posture recognition model, device and computer-readable storage medium
CN112287656B (zh) 文本比对方法、装置、设备和存储介质
CN108268863B (zh) 一种图像处理方法、装置和计算机存储介质
CN111160049B (zh) 文本翻译方法、装置、机器翻译***和存储介质
CN113095072B (zh) 文本处理方法及装置
CN115186133A (zh) 视频生成方法、装置、电子设备及介质
Livieris A new ensemble self-labeled semi-supervised algorithm
CN115410717A (zh) 模型训练方法、数据检索方法、影像数据检索方法和装置
CN108460335B (zh) 视频细粒度识别方法、装置、计算机设备及存储介质
CN116662598B (zh) 基于矢量索引的人物画像信息管理方法及电子设备
Chang et al. Graph-regularized discriminative analysis-synthesis dictionary pair learning for image classification
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
Marik et al. A hybrid deep feature selection framework for emotion recognition from human speeches
Livieris A New Ensemble Semi-supervised Self-labeled Algorithm.
Silva et al. Arithmetic circuit classification using convolutional neural networks
CN111680132A (zh) 一种用于互联网文本信息的噪声过滤和自动分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant