CN115205779A - 基于人群图像模板的人数检测方法 - Google Patents

基于人群图像模板的人数检测方法 Download PDF

Info

Publication number
CN115205779A
CN115205779A CN202210699257.5A CN202210699257A CN115205779A CN 115205779 A CN115205779 A CN 115205779A CN 202210699257 A CN202210699257 A CN 202210699257A CN 115205779 A CN115205779 A CN 115205779A
Authority
CN
China
Prior art keywords
crowd
image
people
template
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210699257.5A
Other languages
English (en)
Inventor
柳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202210699257.5A priority Critical patent/CN115205779A/zh
Publication of CN115205779A publication Critical patent/CN115205779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于人群图像模板的人数检测方法，其中，本申请通过获取需要进行人群计数的待计数人群图像，从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像，将相似程度最高的候选人群模板图像作为目标人群模板图像，根据目标人群模板图像对应的人数，确定待检测人群图像中的人数。本申请直接通过获取与待检测人群图像相似度最高的目标人群模板图像，并根据目标人群模板图像对应的人数确定待检测人群图像的人数，可以提高人数检测的效率。

Description

基于人群图像模板的人数检测方法
技术领域
本申请涉及人数检测技术领域，具体涉及一种基于人群图像模板的人数检测方法。
背景技术
目前，通过计算机视觉相关技术对图像中的人群进行人数检测是一个比较热门的研究方向，其研究目标是在人群场景下，给定一张图像或一段视频，通过算法生成相应的人群密度图并检测出人群密度图中的人数。相关技术中，对图像中的人群进行人数检测的效率较低。
发明内容
本申请实施例提供一种基于人群图像模板的人数检测方法，能够提高对图像中的人群进行人数检测的效率。
第一方面，本申请实施例提供一种基于人群图像模板的人数检测方法，包括：
获取需要进行人群计数的待计数人群图像；
从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像；
将所述相似程度最高的候选人群模板图像作为目标人群模板图像；
根据所述目标人群模板图像对应的人数，确定所述待检测人群图像中的人数。
第二方面，本申请实施例还提供一种基于人群图像模板的人数检测装置，包括：
获取模块，用于获取需要进行人群计数的待计数人群图像；
第一确定模块，用于从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像；
第二确定模块，用于将所述相似程度最高的候选人群模板图像作为目标人群模板图像；
第三确定模块，用于根据所述目标人群模板图像对应的人数，确定所述待检测人群图像中的人数。
第三方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在处理器上运行时，使得所述计算机执行如本申请任一实施例提供的基于人群图像模板的人数检测方法。
第四方面，本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的基于人群图像模板的人数检测方法。
本申请实施例提供的技术方案，通过获取需要进行人群计数的待计数人群图像，从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像，将相似程度最高的候选人群模板图像作为目标人群模板图像，根据目标人群模板图像对应的人数，确定待检测人群图像中的人数。本申请直接通过获取与待检测人群图像相似度最高的目标人群模板图像，并根据目标人群模板图像对应的人数确定待检测人群图像的人数，可以提高人数检测的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的人数检测***的场景示意图。
图2为本申请实施例提供的基于人群图像模板的人数检测方法的第一种流程示意图。
图3为本申请实施例提供的基于人群图像模板的人数检测方法的第二种流程示意图。
图4为本申请实施例提供的人数检测模型的结构示意图。
图5为本申请实施例提供的基于人群图像模板的人数检测方法的注意力尺度网络的结构示意图。
图6为本申请实施例提供的基于人群图像模板的人数检测装置的结构示意图。
图7为本申请实施例提供的电子设备的第一种结构示意图。
图8为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
目前，通过计算机视觉相关技术对图像中的人群进行人数检测是一个比较热门的研究方向，其研究目标是在人群场景下，给定一张图像或一段视频，通过算法生成相应的人群密度图并检测出人群密度图中的人数。相关技术中，对图像中的人群进行人数检测的效率较低。
为了能够提高对图像中的人群进行人数检测的效率，本申请实施例提供一种基于人群图像模板的人数检测方法，其中，该基于人群图像模板的人数检测方法的执行主体可以是本申请实施例提供的基于人群图像模板的人数检测装置，或者集成了该基于人群图像模板的人数检测装置的电子设备，其中该基于人群图像模板的人数检测装置可以采用硬件或者软件的方式实现。
请参考图1，本申请还提供一人数检测***，如图1所示，该人数检测***包括电子设备10，电子设备10中集成有本申请提供的基于人群图像模板的人数检测装置。比如，当电子设备10还配置有摄像头时，可以直接通过配置的摄像头对需要计数的人群进行拍摄，从而获取需要进行人群计数的待计数人群图像，然后确定与待检测人群图像匹配的目标人群模板图像，根据目标人群模板图像对应的人数，确定待检测人群图像中的人数。本申请直接通过获取与待检测人群图像匹配的目标人群模板图像，并根据目标人群模板图像对应的人数确定待检测人群图像的人数，可以提高对图像中的人群进行人数检测的效率。
电子设备10可以是任何配置有处理器而具备处理能力的设备，比如智能手机、平板电脑、掌上电脑、笔记本电脑等具备处理器的移动式电子设备，或者台式电脑、电视、服务器等具备处理器的固定式电子设备。
另外，如图1所示，该人数检测***还可以包括存储器20，用于存储数据，比如，电子设备10可以将获取到的待检测人群图像、目标人群模板图像以及待检测人群图像中的人数等数据存入该存储器20中。
需要说明的是，图1所示的人数检测***的场景示意图仅仅是一个示例，本申请实施例描述的人数检测***以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着人数检测***的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。
请参阅图2，图2为本申请实施例提供的基于人群图像模板的人数检测方法的第一种流程示意图。本申请实施例提供的基于人群图像模板的人数检测方法的具体流程可以如下：
101、获取需要进行人群计数的待计数人群图像。
其中，待检测人群图像指的是需要进行人数检测的图像。该待检测人群图像可以通过摄像头等图像采集设备拍摄得到，也可以通过预先拍摄好的存储在电子设备本地的图像得到，还可以通过获取服务器端存储的图像资源中得到。
比如，在获取需要进行人群计数的待计数人群图像时，可以对需要进行人数计算的场所进行拍照，从而得到待检测人群图像。其中该需要进行人数计算的场所可以是商场、银行、车站、节假日的景区等场所。
例如，在银行场所，为了避免银行内进入的人员过多导致安全隐患，需要对银行内人员进行计数，从而方便银行工作人员对银行内的人员流动进行管理，那么可以在银行内设置摄像设备，对银行的各个区域进行拍摄，将拍摄得到的照片作为待检测人群图像。
102、从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像。
其中，候选人群模板图像指的是可供选择的人群模板图像。该人群模板图像包括有不同人群分布情况的人群图像，该人群模板图像可以通过多种途径获取得到，例如可以通过摄像头等图像采集设备拍摄得到，还可以通过获取服务器端存储的图像资源中得到。
本实施例中，在获取到待检测人群图像之后，从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像。
需要说明的是，目标人群模板图像中的图像内容与待检测人群图像中的图像内容具有较高的相似度。
示例性地，可以通过图像相似度算法从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像作为目标人群模板图像。
103、将相似程度最高的候选人群模板图像作为目标人群模板图像。
在本实施例中，在从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像之后，将相似程度最高的候选人群模板图像作为目标人群模板图像。
104、根据目标人群模板图像对应的人数，确定待检测人群图像中的人数。
示例性地，本实施例中可以将目标人群模板图像对应的人数直接作为该待检测人群图像中的人数。
在本实施例中，可以预先对人群模板图像进行人数检测处理，得到人群模板图像中的人数，然后建立人群模板图像与其对应的人数的对应关系，在获取目标人群模板图像对应的人数时，可以根据预先建立的上述对应关系，快速获取该目标人群模板图像对应的人数。
其中，在对人群模板图像进行人数检测处理时，可以获取该人群模板图像对应的密度图，根据密度图确定人群模板图像中的人数。此外，还可以通过人脸识别对人群模板图像中的人脸进行识别，根据识别到的人脸的数量确定人群模板图像中的人数等等。其中，获取人群模板图像中人数的方式可以有多种，此处不做具体限制。
具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。
由上可知，本申请实施例提供的基于人群图像模板的人数检测方法，通过获取需要进行人群计数的待计数人群图像，从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像，将相似程度最高的候选人群模板图像作为目标人群模板图像，根据目标人群模板图像对应的人数，确定待检测人群图像中的人数。本申请直接通过获取与待检测人群图像相似度最高的目标人群模板图像，并根据目标人群模板图像对应的人数确定待检测人群图像的人数，可以提高人数检测的效率。
根据前面实施例所描述的方法，以下将举例作进一步详细说明。
请参阅图3，图3为本申请实施例提供的基于人群图像模板的人数检测方法的第二流程示意图。所述方法包括：
201、获取需要进行人群计数的待计数人群图像。
其中，待检测人群图像指的是需要进行人数检测的图像。该待检测人群图像可以通过摄像头等图像采集设备拍摄得到，也可以通过预先拍摄好的存储在电子设备本地的图像得到，还可以通过获取服务器端存储的图像资源中得到。
例如，在银行场所，为了避免银行内进入的人员过多导致安全隐患，需要对银行内人员进行计数，从而方便银行工作人员对银行内的人员流动进行管理，那么可以在银行内设置摄像设备，对银行的各个区域进行拍摄，将拍摄得到的照片作为待检测人群图像。
202、构造具有不同人群分布情况的虚拟人群图像。
例如，利用GTA5虚拟场景中的对象来构造不同人群分布情况的人群场景，然后通过数据采集器从构建的场景中捕获稳定的图像，从而得到不同人群分布情况的虚拟人群图像，然后将虚拟人群图像作为人群模板图像。
本实施例中，可以通过获取构造每一张虚拟人群图像对应的渲染数据，根据渲染数据确定人群模板图像中的人数，根据人群模板图像以及人群模板图像中的人数，建立人群模板图像与人数的对应关系，根据对应关系确定目标人群模板图像对应的人数。
由于本申请中的待检测人群图像中的人数根据目标人群模板图像中的人数来确定，因此根据渲染数据得到人群模板图像中的人数能保证获取到的人群模板图像中人数的准确性，从而提高本申请提供的基于人群图像模板的人数检测方法的准确性。
203、将虚拟人群图像作为人群模板图像。
例如，在构造具有不同人群分布情况的虚拟人群图像之后，可以将这些构造的虚拟人群图像作为人群模板图像。
204、从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像。
其中，候选人群模板图像指的是可供选择的人群模板图像。该人群模板图像包括有不同人群分布情况的人群图像，该人群模板图像可以通过多种途径获取得到，例如可以通过摄像头等图像采集设备拍摄得到，还可以通过获取服务器端存储的图像资源中得到。
在一种实施方式中，从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像时，可以将待检测人群图像输入人群图像相似度模型，得到待检测人群图像与每一个候选人群模板图像的相似度，根据相似度确定与待检测人群图像相似程度最高的候选人群模板图像。
其中，人群图像相似度模型被配置为获取输入的待检测人群图像与多个候选人群模板图像的相似度。该人群图像相似度模型可以提取人群图像中的图像特征，并进行图像特征的比对，从而得到图像之间的相似度。
具体地，该人群图像相似度模型可以采用图像相似度算法，此处不对图像相似度算法做具体限制。
205、将相似程度最高的人群模板图像作为目标人群模板图像。
可以理解的是，某一候选人群模板图像与待检测人群图像相似程度越高，说明该候选人群模板图像与该待检测人群图像的图像内容相似程度越高。本实施例中将相似程度最高的人群模板图像作为目标人群模板图像，可以保证后续获取到的待检测人群图像中的人数的准确性。
206、根据目标人群模板图像对应的人数，确定待检测人群图像中的人数。
示例性地，本实施例中可以将目标人群模板图像对应的人数直接作为该待检测人群图像中的人数。
此外，在一种实施方式中，在根据目标人群模板图像对应的人数，确定待检测人群图像中的人数时，可以将待检测人群图像输入人数检测模型，得到待检测人群图像对应的参考人数，根据目标人群模板图像对应的人数和参考人数确定待检测人群图像中的人数。
其中，人数检测模型被配置为对待检测人群图像进行人数检测处理，并得到该待检测人群图像中的参考人数。
具体地，可以获取目标人群模板图像对应的人数和上述参考人数的平均值，将平均值作为待检测人群图像中的人数。也就是说，通过将目标人群模板图像对应的人数作为一个参考值，并将待检测人群图像输入人数检测模型中得到的参考人数也作为另一个参考值，根据这两个参考值确定该待检测人群图像中的人数，由于这两种方式获取到的待检测人群图像中人数的参考值，是从不同维度得到的，本实施例中通过求这两个参考值的平均值的方式来确定，可以减小该待检测人群图像的人数测量值与人数真实值的误差，提高人数检测的准确性。
在一种实施方式中，在根据目标人群模板图像对应的人数，确定待检测人群图像中的人数时，可以根据预设策略对目标人群模板图像对应的人数和参考人数进行加权求和处理，得到加权和值，将加权和值作为待检测人群图像中的人数。
其中，该预设策略可以是：通过神经网络模型对获取目标人群模板图像对应人数所使用的方法进行置信度计算，以及通过神经网络模型对人数检测模型进行置信度计算，将上述两种人数检测方式的置信度作为其对应的权重值，对目标人群模板图像对应的人数和参考人数进行加权求和处理，得到加权和值。
例如，在获取目标人群模板图像对应的人数时，使用的是通过人脸以及人脸数量识别方法确定目标人群模板图像对应的人数时，可以对该人脸以及人脸数量识别方法求置信度。
需要说明的是，置信度指的是测量值的可信程度。
其中，本申请中对预设策略不做限制，可由本领域技术人员根据实际情况进行设置。
其中，本申请实施例还提供一种人数检测***，该人数检测***包括一种人数检测模型，请参考图4，图4为本申请实施例提供的一可选的人数检测模型的结构示意图。其中，该人数检测模型包括密度分割网络、注意力尺度网络、密度图修正模块、密度图融合模块以及人数检测模块。本申请提供的人数检测模型在对待检测人群图像进行人数检测处理时，将该待检测人群图像输入密度分割网络，得到待检测人群图像对应的不同密度级别的注意力掩膜，并将该待检测人群图像输入注意力尺度网络，得到待检测人群图像对应的不同密度级别的密度图及尺度因子，然后，将不同密度级别的注意力掩膜、不同密度级别的密度图以及不同密度级别的尺度因子输入该密度图修正模块，得到各密度级别对应的修正密度图，再然后，将各个密度级别的修正密度图输入密度图融合模块，得到待检测人群图像的目标密度图，最后，将待检测人群图像对应的目标密度图输入该人数检测模块，得到该待检测人群图像对应的参考人数。
其中，密度分割网络可以以VGG-19作为主干网络，对待检测人群图像进行密度级别的语义分割，将每个像素分类为一个特定的密度级别，相同密度级别的像素就形成了一个注意力掩膜的区域。
在一种实施方式中，在将待检测人群图像输入密度分割网络，得到不同密度级别对应的所述注意力掩膜之前，还可以包括：获取不同密度分布的人群样本图像，根据人群样本图像，采用损失函数对密度分割网络进行训练。
其中，损失函数可以包括自适应金字塔损失函数。
比如，本实施例中采用的损失函数可以如下式所示，由于单独的均方损失函数(MSE)忽略了不同级别的密度对网络训练过程的影响。而低密度和高密度分布区域通常是相当不平衡的，相应的估计误差会使训练好的计数网络产生偏置，这会削弱计数网络的泛化能力。本实施例在均方损失函数的基础上增加了自适应金字塔损失(Adaptive PyramidLoss，APLoss)，可以缓解了训练偏置，同时加强了计数网络的泛化能力。
L＝LMSE+λLAP
Figure BDA0003703336840000091
该损失函数的处理过程中，每一次都将密度图划分为2×2的网格，分别对每一个网格进行人数检测，如果每个网格的局部计数大于阈值T，则将此网格再划分为2X2，重复上述操作；如果没有超过给定的阈值T，则不再分割。划分得到的网格对应的子区域的局部loss计算如下，Xk是第k个输入图像，Dk是它对应的真实密度图，
Figure BDA0003703336840000092
是预测密度图，
Figure BDA0003703336840000093
为第n次划分后的子区域。
Figure BDA0003703336840000101
总的LAP如下式所示，M为训练集的大小
Figure BDA0003703336840000102
在一种实施方式中，在获取不同密度分布的人群样本图像时，可以构造具有不同密度分布的虚拟人群图像，将该虚拟人群图像作为人群样本图像。
比如，可以基于一款游戏GTA5的数据集设计一个数据采集器和贴标器，它可以合成人群场景并自动标注它们。得益于优秀的游戏引擎，它的场景渲染、纹理细节、天气效果等都非常接近真实世界的情况，因此，本申请中可以通过利用GTA5虚拟场景中的对象来构造复杂拥挤的人群场景，然后数据采集器从构建的场景中捕获稳定的图像，从而得到不同密度分布的虚拟人群图像。最后通过分析来自游戏渲染模板的数据，可以实现对人员头部位置地自动标注。通过设计的采集器和贴标器，可以构建一个大规模和多样化的合成人群场景数据集。
此外，本实施例中，对于ground truth的密度级别标签的生成，具体流程可以如下：
(1)通过使用64×64滑动窗口逐像素扫描训练集中的gt人群图，来获得所有局部计数。
(2)计算所有非零区域的人数大小，可以得到平均值AvgCnt11并找到最小计数MinCnt和最大计数MaxCnt。
(3)这样就得到一个密度等级的阈值集合{MinCnt，AvgCnt11，MaxCnt}，于是可以将密度分为两个级别：低密度和高密度。然后可以迭代地计算所有低密度计数的平均值AvgCnt21和所有高密度计数的平均值AvgCnt22。然后得到新的阈值集{MinCnt，AvgCnt21，AvgCnt11，AvgCnt22，MaxCnt}，这样就可将密度分为四个级别，依此类推。
(4)这样就能得到标签用于训练，我们给定N个密度级别，有N+1个密度标签，其中包括一个额外的背景标签，然后根据gt人群图中每个像素点的计数对其进行密度级别的标记。
其中，请参考图5，图5为本申请实施例提供的基于人群图像模板的人数检测方法的注意力尺度网络的结构示意图。注意力尺度网络包括特征提取主干、尺度因子(AS，Attention Scaling)分支以及密度估计(DE，Density Estimation)分支，特征提取主干用于提取待检测人群图像的图像特征，可以采用VGG-19作为该特征提取主干。尺度因子分支用于学习尺度因子，然后利用尺度因子自动调整每个对应子区域的估计密度，从而减少局部估计误差。密度估计分支用于输出需要校正的密度图。
其中，密度估计分支包括空间金字塔池化层以及卷积层。在将图像特征输入密度估计分支，得到不同密度级别对应的密度图时，可以将图像特征输入空间金字塔池化层，得到空间金字塔池化特征，然后，将金字塔池化特征输入卷积层，得到不同密度级别对应的密度图。
本申请中在密度估计分支中加入了空间金字塔池化层，通过空间金字塔池化层计算不同尺度的特征，在特征提取主干提取特征的基础上，提取多尺度的上下文信息，相当于结合了上下文信息对人群密度做预测，使得人数检测更加准确。
需要说明的是，由于特征提取主干中使用的VGG网络提取的特征的局限性在于它在整个图像上编码相同的感受野，为了解决这个问题，本实施例中在密度估计分支中增加空间金字塔池化层，通过执行空间金字塔池化(Spatial Pyramid Pooling，SPP)来计算不同尺度的特征，在VGG网络提取特征的基础上，提取多尺度的上下文信息。计算公式如下：
fj＝Ubi(Fj(Pave(fv，j)，θj)))
其中，对于每个尺度j，Pave(fv，j)将VGG网络提取的特征fv分为k(j)×k(j)块，Fj是一个卷积核大小为1的卷积网络，用于在不更改其尺寸的情况下跨通道组合上下文特征。Ubi表示双线性插值，用于将输出的特征图fj采样为与fv相同的大小。***采用了4种不同的尺度，相对应为k(j)∈{1，2，3，4}，实验证明这样的设置对网络性能的提升最有效。最后不同尺度的上下文特征再和原始的VGG特征融合起来，用于输出不同密度级别的密度图。
其中，密度图修正模块在根据各密度级别对应的注意力掩膜以及尺度因子，对各密度级别的密度图进行修正时，是将各密度级别对应的注意力掩膜、尺度因子以及密度图分别相乘，得到各密度级别对应的修正密度图。
其中，密度图融合模块在对各个密度级别的修正密度图进行融合时，可以将各个密度级别的修正密度图相加，从而得到待检测人群图像的目标密度图。
其中，人数检测模块可以根据待检测人群图像对应的目标密度图进行人数检测处理，得到该待检测人群图像的参考人数。
本申请实施例提供的上述人数检测模型可以通过获取需要进行人群计数的待计数人群图像对应的不同密度级别的注意力掩膜，以及获取需要进行人群计数的待计数人群图像对应的不同密度级别的密度图及尺度因子，再然后，根据各密度级别对应的注意力掩膜以及尺度因子，对各密度级别的密度图进行修正，得到各密度级别的修正密度图，融合各密度级别的修正密度图，得到待检测人群图像的目标密度图，最后，根据目标密度图，确定待检测人群图像的参考人数。该人数检测模型可以避免待检测人群图像中不同图像区域的不同密度的人群分布对人数检测的影响，使得该人数检测模型得到的人数测量值的准确性较高。
由上可知，本申请实施例提出的基于人群图像模板的人数检测方法，获取需要进行人群计数的待计数人群图像，构造具有不同人群分布情况的虚拟人群图像，将虚拟人群图像作为人群模板图像，从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像，将相似程度最高的人群模板图像作为目标人群模板图像，根据目标人群模板图像对应的人数，确定待检测人群图像中的人数。本申请直接通过获取与待检测人群图像相似度最高的目标人群模板图像，并根据目标人群模板图像对应的人数确定待检测人群图像的人数，可以提高人数检测的效率。此外，本申请在确定待检测人群图像中的人数时，还可以将目标人群模板图像对应的人数作为参考值，并将待检测人群图像输入人数检测模型中得到的参考人数也作为参考值，根据这两个参考值确定该待检测人群图像中的人数，提高人数检测的准确性。
在一实施例中还提供一种基于人群图像模板的人数检测装置。请参阅图6，图6为本申请实施例提供的基于人群图像模板的人数检测装置300的结构示意图。其中该基于人群图像模板的人数检测装置300应用于电子设备，该基于人群图像模板的人数检测装置300包括获取模块301、第一确定模块302、第二确定模块303以及第三确定模块304，如下：
获取模块301，用于获取需要进行人群计数的待计数人群图像；
第一确定模块302，用于从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像；
第二确定模块303，用于将所述相似程度最高的候选人群模板图像作为目标人群模板图像；
第三确定模块304，用于根据所述目标人群模板图像对应的人数，确定所述待检测人群图像中的人数。
在一种实施方式中，第一确定模块302可以用于：将所述待检测人群图像输入人群图像相似度模型，得到待检测人群图像与每一个所述候选人群模板图像的相似度；根据所述相似度确定与所述待检测人群图像相似程度最高的候选人群模板图像。
在一种实施方式中，获取模块301还可以用于：构造具有不同人群分布情况的虚拟人群图像；将所述虚拟人群图像作为人群模板图像。
在一种实施方式中，获取模块301还可以用于：获取构造每一张所述虚拟人群图像对应的渲染数据；根据渲染数据确定所述人群模板图像中的人数；根据所述人群模板图像以及所述人群模板图像中的人数，建立人群模板图像与人数的对应关系；根据所述对应关系确定所述目标人群模板图像对应的人数。
在一种实施方式中，第三确定模块304可以用于：获取所述目标人群模板图像对应的人数和所述参考人数的平均值，将所述平均值作为所述待检测人群图像中的人数。
在一种实施方式中，第三确定模块304可以用于：根据预设策略对所述目标人群模板图像对应的人数和所述参考人数进行加权求和处理，得到加权和值，将所述加权和值作为所述待检测人群图像中的人数。
应当说明的是，本申请实施例提供的基于人群图像模板的人数检测装置与上文实施例中的基于人群图像模板的人数检测方法属于同一构思，通过该基于人群图像模板的人数检测装置可以实现基于人群图像模板的人数检测方法实施例中提供的任一方法，其具体实现过程详见基于人群图像模板的人数检测方法实施例，此处不再赘述。
由上可知，本申请实施例提出的基于人群图像模板的人数检测装置，通过获取模块301获取需要进行人群计数的待计数人群图像，通过第一确定模块302从多个候选人群模板图像中确定与待检测人群图像相似程度最高的候选人群模板图像，通过第二确定模块303将相似程度最高的候选人群模板图像作为目标人群模板图像，通过第三确定模块304根据目标人群模板图像对应的人数，确定待检测人群图像中的人数。本申请直接通过获取与待检测人群图像匹配的目标人群模板图像，并根据目标人群模板图像对应的人数确定待检测人群图像的人数，可以提高人数检测的效率。
本申请实施例还提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备。请参阅图7，图7为本申请实施例提供的电子设备的第一种结构示意图。电子设备400包括处理器401和存储器402。其中，处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
存储器402可用于存储计算机程序和数据。存储器402存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器401通过调用存储在存储器402的计算机程序，从而执行各种功能应用以及数据处理。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的计算机程序，从而实现各种功能：
获取需要进行人群计数的待计数人群图像；
从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像；
将所述相似程度最高的候选人群模板图像作为目标人群模板图像；
根据所述目标人群模板图像对应的人数，确定所述待检测人群图像中的人数。
在一种实施方式中，请参阅图8，图8为本申请实施例提供的电子设备的第二种结构示意图。电子设备400还包括：射频电路403、显示屏404、控制电路405、输入单元406、音频电路407、传感器408以及电源409。其中，处理器401分别与射频电路403、显示屏404、控制电路405、输入单元406、音频电路407、传感器408以及电源409电性连接。
射频电路403用于收发射频信号，以通过无线通信与网络设备或其他电子设备进行通信。
显示屏404可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路405与显示屏404电性连接，用于控制显示屏404显示信息。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与电子设备之间的音频接口。其中，音频电路407包括麦克风。所述麦克风与所述处理器401电性连接。所述麦克风用于接收用户输入的语音信息。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源409用于给电子设备400的各个部件供电。在一种实施方式中，电源409可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
虽然图中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的计算机程序，从而实现各种功能：
获取需要进行人群计数的待计数人群图像；
从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像；
将所述相似程度最高的候选人群模板图像作为目标人群模板图像；
根据所述目标人群模板图像对应的人数，确定所述待检测人群图像中的人数。
在一种实施方式中，处理器401在执行从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像时，可以执行：将所述待检测人群图像输入人群图像相似度模型，得到待检测人群图像与每一个所述候选人群模板图像的相似度；根据所述相似度确定与所述待检测人群图像相似程度最高的候选人群模板图像。
在一种实施方式中，处理器401在执行从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像之前，还可以执行：获取构造每一张所述虚拟人群图像对应的渲染数据；根据渲染数据确定所述人群模板图像中的人数；根据所述人群模板图像以及所述人群模板图像中的人数，建立人群模板图像与人数的对应关系；根据所述对应关系确定所述目标人群模板图像对应的人数。
在一种实施方式中，处理器401在执行根据所述目标人数确定所述待检测人群图像中的人数时，可以执行：将所述待检测人群图像输入人数检测模型，得到所述待检测人群图像对应的参考人数；根据所述目标人群模板图像对应的人数和所述参考人数确定所述待检测人群图像中的人数。
在一种实施方式中，处理器401在执行根据所述目标人群模板图像对应的人数和所述参考人数确定所述待检测人群图像中的人数时，可以执行：获取所述目标人群模板图像对应的人数和所述参考人数的平均值，将所述平均值作为所述待检测人群图像中的人数。
在一种实施方式中，处理器401在执行根据所述目标人群模板图像对应的人数和所述参考人数确定所述待检测人群图像中的人数时，可以执行：根据预设策略对所述目标人群模板图像对应的人数和所述参考人数进行加权求和处理，得到加权和值，将所述加权和值作为所述待检测人群图像中的人数。
本申请实施例还提供一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在处理器上运行时，所述计算机执行上述任一实施例所述的基于人群图像模板的人数检测方法。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
此外，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的基于人群图像模板的人数检测方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于人群图像模板的人数检测方法，其特征在于，包括：
获取需要进行人群计数的待计数人群图像；
从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像；
将所述相似程度最高的候选人群模板图像作为目标人群模板图像；
根据所述目标人群模板图像对应的人数，确定所述待检测人群图像中的人数。
2.如权利要求1所述的基于人群图像模板的人数检测方法，其特征在于，所述从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像，包括：
将所述待检测人群图像输入人群图像相似度模型，得到待检测人群图像与每一个所述候选人群模板图像的相似度；
根据所述相似度确定与所述待检测人群图像相似程度最高的候选人群模板图像。
3.如权利要求1所述的基于人群图像模板的人数检测方法，其特征在于，在从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像之前，还包括：
构造具有不同人群分布情况的虚拟人群图像；
将所述虚拟人群图像作为人群模板图像。
4.如权利要求3所述的基于人群图像模板的人数检测方法，其特征在于，在根据所述目标人群模板图像对应的人数，确定所述待检测人群图像中的人数之前，还包括：
获取构造每一张所述虚拟人群图像对应的渲染数据；
根据渲染数据确定所述人群模板图像中的人数；
根据所述人群模板图像以及所述人群模板图像中的人数，建立人群模板图像与人数的对应关系；
根据所述对应关系确定所述目标人群模板图像对应的人数。
5.如权利要求4所述的基于人群图像模板的人数检测方法，其特征在于，所述根据所述目标人数确定所述待检测人群图像中的人数，包括：
将所述待检测人群图像输入人数检测模型，得到所述待检测人群图像对应的参考人数；
根据所述目标人群模板图像对应的人数和所述参考人数确定所述待检测人群图像中的人数。
6.如权利要求5所述的基于人群图像模板的人数检测方法，其特征在于，所述根据所述目标人群模板图像对应的人数和所述参考人数确定所述待检测人群图像中的人数，包括：
获取所述目标人群模板图像对应的人数和所述参考人数的平均值，将所述平均值作为所述待检测人群图像中的人数。
7.如权利要求5所述的基于人群图像模板的人数检测方法，其特征在于，所述根据所述目标人群模板图像对应的人数和所述参考人数确定所述待检测人群图像中的人数，包括：
根据预设策略对所述目标人群模板图像对应的人数和所述参考人数进行加权求和处理，得到加权和值，将所述加权和值作为所述待检测人群图像中的人数。
8.一种基于人群图像模板的人数检测装置，其特征在于，包括：
获取模块，用于获取需要进行人群计数的待计数人群图像；
第一确定模块，用于从多个候选人群模板图像中确定与所述待检测人群图像相似程度最高的候选人群模板图像；
第二确定模块，用于将所述相似程度最高的候选人群模板图像作为目标人群模板图像；
第三确定模块，用于根据所述目标人群模板图像对应的人数，确定所述待检测人群图像中的人数。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在处理器上运行时，使得所述计算机执行如权利要求1至7任一项所述的基于人群图像模板的人数检测方法。
10.一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的基于人群图像模板的人数检测方法。
CN202210699257.5A 2022-06-20 2022-06-20 基于人群图像模板的人数检测方法 Pending CN115205779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210699257.5A CN115205779A (zh) 2022-06-20 2022-06-20 基于人群图像模板的人数检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210699257.5A CN115205779A (zh) 2022-06-20 2022-06-20 基于人群图像模板的人数检测方法

Publications (1)

Publication Number Publication Date
CN115205779A true CN115205779A (zh) 2022-10-18

Family

ID=83576624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210699257.5A Pending CN115205779A (zh) 2022-06-20 2022-06-20 基于人群图像模板的人数检测方法

Country Status (1)

Country Link
CN (1) CN115205779A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563371A (zh) * 2023-03-28 2023-08-08 北京纳通医用机器人科技有限公司 关键点确定方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563371A (zh) * 2023-03-28 2023-08-08 北京纳通医用机器人科技有限公司 关键点确定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
TWI773189B (zh) 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體
CN109299315B (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
CN111178183B (zh) 人脸检测方法及相关装置
CN110807361B (zh) 人体识别方法、装置、计算机设备及存储介质
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN111325271B (zh) 图像分类方法及装置
CN106874826A (zh) 人脸关键点跟踪方法和装置
GB2555136A (en) A method for analysing media content
CN107679448A (zh) 眼球动作分析方法、装置及存储介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN111079739A (zh) 一种多尺度注意力特征检测方法
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN111444826A (zh) 视频检测方法、装置、存储介质及计算机设备
CN103105924A (zh) 人机交互方法和装置
CN113869282A (zh) 人脸识别方法、超分模型训练方法及相关设备
CN111028276A (zh) 图像对齐方法、装置、存储介质及电子设备
CN115527269A (zh) 一种人体姿态图像智能识别方法及***
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN111507416A (zh) 一种基于深度学习的吸烟行为实时检测方法
CN115205779A (zh) 基于人群图像模板的人数检测方法
CN111008589A (zh) 人脸关键点检测方法、介质、装置和计算设备
CN111429414B (zh) 基于人工智能的病灶影像样本确定方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination