CN111581418A - 一种基于图像关联人物信息的目标人员搜索方法 - Google Patents
一种基于图像关联人物信息的目标人员搜索方法 Download PDFInfo
- Publication number
- CN111581418A CN111581418A CN202010352898.4A CN202010352898A CN111581418A CN 111581418 A CN111581418 A CN 111581418A CN 202010352898 A CN202010352898 A CN 202010352898A CN 111581418 A CN111581418 A CN 111581418A
- Authority
- CN
- China
- Prior art keywords
- person
- graph
- similarity
- information
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于图像关联人物信息的目标人员搜索方法,属于人员搜索领域,本发明方法包括:对数据集中的图像进行数据预处理,调整图像的大小为统一尺寸,对预处理过的图像进行特征提取和多尺度目标检测,标记出所有人员的位置;通过关注度模块,自动筛选出有信息价值的关联人物;建立一个关联信息图,通过图卷积模块计算目标人员与待匹配人员之间的整体相似度。本发明可广泛应用于查找罪犯,跨摄像头人员跟踪等现实生活中,将目标人员的关联人物信息应用于人员搜索中,提升了判断的准确性。
Description
技术领域
本发明属于人员搜索领域,具体涉及一种基于图像关联人物信息的目标人员搜索方法。
背景技术
人员搜索是计算机视觉中的一项基本且重要的研究课题。人员搜索在与视频监控相关的应用中具有巨大潜力,如查找罪犯,跨摄像头人员跟踪。这些应用与公共安全息息相关,因此人员搜索近年来受到越来越多的关注。
传统的人员搜索任务仅仅关注不同相机之间所拍摄的人员是否匹配。这些方法大部分基于个人整体特征来做出判断,没有关注人员的局部特征,很难区分穿着相似的两个人。在现实中,人们很可能会成群结伴的走在一起。即使独自行走时,出现在同一场景中的其他临近人员也包含着重要的环境信息。基于以上分析,使用分块化特征提取方法并充分利用图像中的关联人物信息是解决现实中人员搜索的一个有希望的方向。
发明内容
针对现有技术中存在的上述技术问题,本发明提出了一种基于图像关联人物信息的目标人员搜索方法,设计合理,克服了现有技术的不足,具有良好的效果。
为了实现上述目的,本发明采用如下技术方案:
一种基于图像关联人物信息的目标人员搜索方法,包括以下步骤:
步骤1:对数据集中的图像进行数据预处理,调整图像的大小为统一尺寸,成对的图像输入到网络中进行特征提取和多尺度目标检测,检测到的人员用标记框做标记;
步骤2:截取出步骤1过程中标记框所标记的人员,喂入残差网络中进行特征提取,通过关注度模块,自动筛选出有信息价值的关联人物;
步骤3:建立一个关联信息图,通过图卷积模块,计算目标人员与待匹配人员之间的整体相似度。
优选地,所述步骤2的具体步骤如下:
步骤2.1:截取出标记框所标记的行人,继续喂入残差网络中;
步骤2.2:分别对图像中所检测到人员的上身、躯干、下半身和全身进行特征提取;
步骤2.3:搭建关注度模块的网络结构,将步骤2.2中提取到的特征喂入关注度模块中,关注度模块的网络输出由两个全连接层和一个Softmax层组成,输出4个归一化的权重值:w1、w2、w3、w4,其中,w1代表上身的权重值,w2代表躯干的权重值,w3代表下半身的权重值,w4代表全身所占的权重值;
步骤2.5:自动选取彼此之间相似度高的人员进行配对。
优选地,所述的步骤3的具体步骤如下:
步骤3.1:假设有N个关联人物匹配对;
步骤3.2:构建一个图,设定目标人员节点是图的中心,它连接所有的关联人物节点进行信息传播和特征更新;
步骤3.3:训练一个图卷积网络来计算目标人员对之间的相似性;具体包括如下步骤:
步骤3.3.1:对于图G={V,E},由N个顶点V和一组边E组成,如果一对图像含有M个关联人物对,则N=M+1,图中的每一个节点分配一对特征,如果将目标人员的节点赋值为图中的第一个节点,其邻接矩阵A为:
其中,i,j∈{1,...,N};
其中,H是代表层,上标l代表第几层,W(l)为每一层的权值矩阵,σ代表所使用的激活函数;
步骤3.3.3:利用全连通层将所有顶点特征合并到一个1024维特征向量中,通过softmax层输出相似度。
本发明所带来的有益技术效果:
本发明可以广泛应用于监控、安防等领域的人员搜索***中,使用分块化特征提取方法并充分利用图像中的关联人物信息,提升判断可疑人员是否为目标人员的准确性。
附图说明
图1是本发明方法的流程图;
图2是本发明的人员检测和特征学习网络结构图;
图3是本发明的图卷积模块的网络结构图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明:
如图1所示,一种基于图像关联人物信息的目标人员搜索方法,包括以下步骤:
步骤1:对数据集中的图像进行数据预处理,调整图像的大小为统一尺寸,成对的图像输入到网络中进行特征提取和多尺度目标检测,检测到的人员用标记框做标记;
步骤2:截取出步骤1过程中标记框所标记的人员,喂入残差网络中进行特征提取,通过关注度模块,自动筛选出有信息价值的关联人物;如图2所示,具体步骤如下:
步骤2.1:截取出标记框所标记的行人,继续喂入残差网络中;
步骤2.2:分别对图像中所检测到人员的上身、躯干、下半身和全身进行特征提取;
步骤2.3:搭建关注度模块的网络结构,将步骤2.2中提取到的特征喂入关注度模块中,关注度模块的网络输出由两个全连接层和一个Softmax层组成,输出4个归一化的权重值:w1、w2、w3、w4,其中,w1代表上身的权重值,w2代表躯干的权重值,w3代表下半身的权重值,w4代表全身所占的权重值;
步骤2.5:自动选取彼此之间相似度高的人员进行配对。
步骤3:建立一个关联信息图,通过图卷积模块,计算目标人员与待匹配人员之间的整体相似度;如图3所示,具体步骤如下:
步骤3.1:假设有N个关联人物匹配对;
步骤3.2:构建一个图,设定目标人员节点是图的中心,它连接所有的关联人物节点进行信息传播和特征更新;
步骤3.3:训练一个图卷积网络来计算目标人员对之间的相似性;具体包括如下步骤:
步骤3.3.1:对于图G={V,E},由N个顶点V和一组边E组成,如果一对图像含有M个关联人物对,则N=M+1,图中的每一个节点分配一对特征,如果将目标人员的节点赋值为图中的第一个节点,其邻接矩阵A为:
其中,i,j∈{1,...,N};
其中,H是代表层,上标l代表第几层,W(l)为每一层的权值矩阵,σ代表所使用的激活函数;
步骤3.3.3:利用全连通层将所有顶点特征合并到一个1024维特征向量中,通过softmax层输出相似度。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (3)
1.一种基于图像关联人物信息的目标人员搜索方法,其特征在于:包括以下步骤:
步骤1:对数据集中的图像进行数据预处理,调整图像的大小为统一尺寸,成对的图像输入到网络中进行特征提取和多尺度目标检测,检测到的人员用标记框做标记;
步骤2:截取出步骤1过程中标记框所标记的人员,喂入残差网络中进行特征提取,通过关注度模块,自动筛选出有信息价值的关联人物;
步骤3:建立一个关联信息图,通过图卷积模块,计算目标人员与待匹配人员之间的整体相似度。
2.根据权利要求1所述的一种基于图像关联人物信息的目标人员搜索方法,其特征在于:所述步骤2的具体步骤如下:
步骤2.1:截取出标记框所标记的行人,继续喂入残差网络中;
步骤2.2:分别对图像中所检测到人员的上身、躯干、下半身和全身进行特征提取;
步骤2.3:搭建关注度模块的网络结构,将步骤2.2中提取到的特征喂入关注度模块中,关注度模块的网络输出由两个全连接层和一个Softmax层组成,输出4个归一化的权重值:w1、w2、w3、w4,其中,w1代表上身的权重值,w2代表躯干的权重值,w3代表下半身的权重值,w4代表全身所占的权重值;
步骤2.5:自动选取彼此之间相似度高的人员进行配对。
3.根据权利要求1所述的基于图像关联人物信息的目标人员搜索方法,其特征在于:所述的步骤3的具体步骤如下:
步骤3.1:假设有N个关联人物匹配对;
步骤3.2:构建一个图,设定目标人员节点是图的中心,它连接所有的关联人物节点进行信息传播和特征更新;
步骤3.3:训练一个图卷积网络来计算目标人员对之间的相似性;具体包括如下步骤:
步骤3.3.1:对于图G={V,E},由N个顶点V和一组边E组成,如果一对图像含有M个关联人物对,则N=M+1,图中的每一个节点分配一对特征,如果将目标人员的节点赋值为图中的第一个节点,其邻接矩阵A为:
其中,i,j∈{1,...,N};
其中,H是代表层,上标l代表第几层,W(l)为每一层的权值矩阵,σ代表所使用的激活函数;
步骤3.3.3:利用全连通层将所有顶点特征合并到一个1024维特征向量中,通过softmax层输出相似度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352898.4A CN111581418B (zh) | 2020-04-29 | 2020-04-29 | 一种基于图像关联人物信息的目标人员搜索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010352898.4A CN111581418B (zh) | 2020-04-29 | 2020-04-29 | 一种基于图像关联人物信息的目标人员搜索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111581418A true CN111581418A (zh) | 2020-08-25 |
CN111581418B CN111581418B (zh) | 2023-04-28 |
Family
ID=72126198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010352898.4A Active CN111581418B (zh) | 2020-04-29 | 2020-04-29 | 一种基于图像关联人物信息的目标人员搜索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111581418B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469155A (zh) * | 2021-09-03 | 2021-10-01 | 南通裕荣电子商务有限公司 | 基于人工智能和视觉感知的市场营销推荐方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631413A (zh) * | 2015-12-23 | 2016-06-01 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的跨场景行人搜索方法 |
CN108960114A (zh) * | 2018-06-27 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 人体识别方法及装置、计算机可读存储介质及电子设备 |
WO2019052403A1 (zh) * | 2017-09-12 | 2019-03-21 | 腾讯科技(深圳)有限公司 | 图像文本匹配模型的训练方法、双向搜索方法及相关装置 |
CN109711316A (zh) * | 2018-12-21 | 2019-05-03 | 广东工业大学 | 一种行人重识别方法、装置、设备及存储介质 |
CN110163260A (zh) * | 2019-04-26 | 2019-08-23 | 平安科技(深圳)有限公司 | 基于残差网络的图像识别方法、装置、设备及存储介质 |
CN110555420A (zh) * | 2019-09-09 | 2019-12-10 | 电子科技大学 | 一种基于行人区域特征提取和重识别融合模型网络及方法 |
-
2020
- 2020-04-29 CN CN202010352898.4A patent/CN111581418B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631413A (zh) * | 2015-12-23 | 2016-06-01 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的跨场景行人搜索方法 |
WO2019052403A1 (zh) * | 2017-09-12 | 2019-03-21 | 腾讯科技(深圳)有限公司 | 图像文本匹配模型的训练方法、双向搜索方法及相关装置 |
CN108960114A (zh) * | 2018-06-27 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 人体识别方法及装置、计算机可读存储介质及电子设备 |
CN109711316A (zh) * | 2018-12-21 | 2019-05-03 | 广东工业大学 | 一种行人重识别方法、装置、设备及存储介质 |
CN110163260A (zh) * | 2019-04-26 | 2019-08-23 | 平安科技(深圳)有限公司 | 基于残差网络的图像识别方法、装置、设备及存储介质 |
CN110555420A (zh) * | 2019-09-09 | 2019-12-10 | 电子科技大学 | 一种基于行人区域特征提取和重识别融合模型网络及方法 |
Non-Patent Citations (1)
Title |
---|
MING-XIANG HE: "Robust Automatic Recognition of Chinese License Plates in Natural Scenes", 《IEEE》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469155A (zh) * | 2021-09-03 | 2021-10-01 | 南通裕荣电子商务有限公司 | 基于人工智能和视觉感知的市场营销推荐方法及*** |
CN113469155B (zh) * | 2021-09-03 | 2021-11-26 | 南通裕荣电子商务有限公司 | 基于人工智能和视觉感知的市场营销推荐方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111581418B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934177A (zh) | 行人再识别方法、***及计算机可读存储介质 | |
Othman et al. | A new IoT combined body detection of people by using computer vision for security application | |
CN109819208A (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
CN110070010A (zh) | 一种基于行人重识别的人脸属性关联方法 | |
CN107169458B (zh) | 数据处理方法、装置及存储介质 | |
Batchuluun et al. | Body-movement-based human identification using convolutional neural network | |
CN112464730B (zh) | 一种基于域无关前景特征学习的行人再识别方法 | |
CN112766165B (zh) | 基于深度神经网络与全景分割的跌倒预判方法 | |
CN112199983A (zh) | 一种多层次筛选的长时间大范围行人再识别方法 | |
CN112149494A (zh) | 一种多人姿态识别方法及*** | |
CN111985332A (zh) | 一种基于深度学习的改进损失函数的步态识别方法 | |
CN116229507A (zh) | 人体姿态检测方法及*** | |
CN113569639B (zh) | 一种基于样本中心损失函数的跨模态行人重识别方法 | |
CN111581418B (zh) | 一种基于图像关联人物信息的目标人员搜索方法 | |
Alarfaj et al. | Automatic anomaly monitoring in public surveillance areas | |
Khel et al. | Realtime Crowd Monitoring—Estimating Count, Speed and Direction of People Using Hybridized YOLOv4 | |
CN116778214A (zh) | 一种行为检测方法、装置、设备及其存储介质 | |
CN115205786A (zh) | 手机盗拍行为在线自动识别告警方法 | |
CN115147921A (zh) | 基于多域信息融合的重点区域目标异常行为检测与定位方法 | |
CN114187644A (zh) | 一种基于支持向量机的口罩人脸活体检测方法 | |
Wang et al. | Occluded person re-identification by multi-granularity generation adversarial network | |
Ruprah et al. | Crime Prediction Based on Person-Weapons Relation using Deep Learning Techniques | |
Hemaanand et al. | Smart surveillance system using computer vision and Internet of Things | |
Cheng et al. | Automatic Data Cleaning System for Large-Scale Location Image Databases Using a Multilevel Extractor and Multiresolution Dissimilarity Calculation | |
CN112016490B (zh) | 基于生成对抗学习的行人属性识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |