CN113486732A - 一种人群密度估计方法、装置、设备及存储介质 - Google Patents

一种人群密度估计方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113486732A
CN113486732A CN202110673087.9A CN202110673087A CN113486732A CN 113486732 A CN113486732 A CN 113486732A CN 202110673087 A CN202110673087 A CN 202110673087A CN 113486732 A CN113486732 A CN 113486732A
Authority
CN
China
Prior art keywords
head
crowd density
density estimation
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110673087.9A
Other languages
English (en)
Inventor
肖传利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pulian International Co ltd
Original Assignee
Pulian International Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pulian International Co ltd filed Critical Pulian International Co ltd
Priority to CN202110673087.9A priority Critical patent/CN113486732A/zh
Publication of CN113486732A publication Critical patent/CN113486732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人群密度估计方法、装置、设备及存储介质，该方法包括：获取带有人头目标标记的数据集；根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果；根据所述分类结果构建多路预设训练网络，所述预设训练网络的数目与所述分类结果的类别数相同；根据所述数据集中的人头目标对所述多路预设训练网络进行训练，得到多路人群密度估计网络；根据所述多路人群密度估计网络对待处理图像进行人群密度估计。本发明考虑了图像中人头目标的宽高影响，能够处理不同感受视野下不同大小的人头目标，提高人群密度估计精度。

Description

一种人群密度估计方法、装置、设备及存储介质
技术领域
本发明涉及摄像监控技术领域，尤其涉及一种人群密度估计方法、装置、设备及存储介质。
背景技术
在现在大量摄像头使用的情况下，人脸检测、行人检测等功能被广泛应用。人群密度估计的主要目标是估计拍摄视野内的人数，利用各个区域预测的人数，可以防止***件、人群聚集等问题，从而对商场等场所的摊位布局等问题提供参考。但是，由于部分场景较为拥挤且距离较远，导致人物目标遮挡严重且检测目标小，导致了分类器检测方法存在大量漏报的问题，难以准确的估计人数。
现在解决该类问题一般是通过密度图方法，密度图比较理想的生成方式是通过标准差和人头大小成比例的高斯核对人头目标点进行模糊得到。但由于现有不同数据集人头差异也比较大，导致了部分尺寸人头占整体比例过多，导致其他大小的人头数量估计不准确。
发明内容
针对上述问题，本发明的目的在于提供一种人群密度估计方法、装置、设备及存储介质，其能处理不同感受视野下不同大小的人头目标，提高人群密度估计精度。
第一方面，本发明实施例提供了一种人群密度估计方法，包括：
获取带有人头目标标记的数据集；
根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果；
根据所述分类结果构建多路预设训练网络，所述预设训练网络的数目与所述分类结果的类别数相同；
根据所述数据集中的人头目标对所述多路预设训练网络进行训练，得到多路人群密度估计网络；
根据所述多路人群密度估计网络对待处理图像进行人群密度估计。
作为上述方案的改进，所述人头目标标记包括：人头宽度信息和人头高度信息；
所述根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果，具体包括：
根据各个所述人头目标的人头宽度信息和人头高度信息，计算得到各个所述人头目标的人头宽高信息；
当所述人头目标的人头宽高信息在一预设人头类别的预设阈值范围内时，将所述人头目标归入所述一预设人头类别中。
作为上述方案的改进，所述人头目标标记还包括：人头中心坐标；
所述根据所述数据集中的人头目标对所述多路预设训练网络进行训练，得到多路人群密度估计网络，具体包括：
根据各个所述人头目标的分类结果和人头中心坐标，对属于同一类别的人头目标构建第一密度图；
采用属于同一类别的人头目标以及对应的第一密度图对相应的预设训练网络进行训练，得到多路人群密度估计网络。
作为上述方案的改进，所述采用属于同一类别的人头目标以及对应的第一密度图对相应的预设训练网络进行训练，得到多路人群密度估计网络，具体包括：
将属于同一类别的人头目标样本作为相应的预设训练网络的输入，对应的第一密度图作为相应的预设训练网络的输出，对相应的预设训练网络进行训练；
当训练至收敛后，根据同一类别的人头目标样本获取相应的预设训练网络的输出，得到第二密度图；
分别计算所述第一密度图的像素总和以及所述第二密度图的像素总和；
当所述第二密度图的像素总和与第一密度图的像素总和的偏差率小于预设的偏差阈值时，相应的预设训练网络的训练完成。
作为上述方案的改进，所述预设阈值范围为：
Figure BDA0003119530410000031
其中，n表示人头目标的类别总数；dmin表示第i类人头目标的最小人头宽高信息，dmax表示第i类人头目标的最大人头宽高信息。
作为上述方案的改进，所述根据各个所述人头目标的分类结果和人头中心坐标，对属于同一类别的人头目标构建第一密度图，包括：
根据公式(1)，生成第i类人头目标p的密度图；
Figure BDA0003119530410000032
其中，xp表示人头中心坐标，σp为常数，
Figure BDA0003119530410000033
表示以xp为中心标准差为σp的高斯函数在位置x的取值，Qi表示第i类人头目标的目标集合。
作为上述方案的改进，所述根据所述多路人群密度估计网络对待处理图像进行人群密度估计，具体包括：
将待处理图像输入到所述多路人群密度估计网络中，得到所述待处理图像的各类人头目标对应的预测第一密度图；
将所述待处理图像的各类人头目标的预测第一密度图进行拼接；
对拼接后的预测第一密度图进行轴向加和，得到所述待处理图像的人群密度估计结果。
第二方面，本发明实施例提供了一种人群密度估计装置，包括：
数据获取模块，用于获取带有人头目标标记的数据集；
人头目标分类模块，用于根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果；
网络构建模块，用于根据所述分类结果构建多路预设训练网络，所述预设训练网络的数目与所述分类结果的类别数相同；
网络训练模块，用于根据所述数据集中的人头目标对所述多路预设训练网络进行训练，得到多路人群密度估计网络；
人群密度估计模块，用于根据所述多路人群密度估计网络对待处理图像进行人群密度估计。
第三方面，本发明实施例提供了一种人群密度估计设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的人群密度估计方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的人群密度估计方法。
相对于现有技术，本发明实例的有益效果在于：所述人群密度估计方法包括：获取带有人头目标标记的数据集；根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果；根据所述分类结果构建多路预设训练网络，所述预设训练网络的数目与所述分类结果的类别数相同；根据所述数据集中的人头目标对所述多路预设训练网络进行训练，得到多路人群密度估计网络；根据所述多路人群密度估计网络对待处理图像进行人群密度估计。本发明考虑了图像中人头目标的宽高影响，能够处理不同感受视野下不同大小的人头目标，提高人群密度估计精度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的一种人群密度估计方法的流程图；
图2是本发明第二实施例提供的一种人群密度估计装置的示意图；
图3是本发明第三实施例提供的一种人群密度估计设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供的一种人群密度估计方法的流程图，所述人群密度估计方法，包括：
S1：获取带有人头目标标记的数据集；
进一步的，所述数据集包括若干张带有人头目标标记的人头目标样本，例如可以通过记录坐标文件的方式记录人头目标样本中的人头目标的人头中心坐标、人头宽度信息和人头高度信息；若某一人头目标没有人头宽度信息和人头高度信息时，则将该人头目标的人头宽度信息和人头高度信息均初始化为该人头目标与与其最近人头目标之间距离的一半。
示例性的，数据集中任一人群图像中人头目标p的人头中心坐标记录为(centerxp，center yp)和人头宽度信息和人头高度信息记录为(widthp，heightp)，则人头目标p在记录坐标文件中记录为(center xp，center yp，widthp，heightp)。
S2：根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果；
按照人头大小对人头目标进行分类，使得将任一人群图像中的人头目标划分为n类，不同类别的人头目标的尺寸对应落入不同的尺寸范围内。
S3：根据所述分类结果构建多路预设训练网络，所述预设训练网络的数目与所述分类结果的类别数相同；
S4：根据所述数据集中的人头目标对所述多路预设训练网络进行训练，得到多路人群密度估计网络；
在本发明实施例中，搭建具有与人头目标类别数量相同的预设训练网络的多路人群密度估计网络，采用一个类别的人头目标训练多路人群密度估计网络中的一路预设训练网络，使得训练后的多路人群密度估计网络可以将感受野和人头大小相联系，考虑了场景的密集程度，能较好的适应场景常见的人头目标大小，从而提升密度图估计准确率。
S5：根据所述多路人群密度估计网络对待处理图像进行人群密度估计。
在本发明实施例中，将所述待处理图像输入到训练后的多路人群密度估计网络进行人群密度估计，可以通过多路人群密度估计网络的分支对不同尺寸的人头目标进行预测，从而可以实现对不同尺寸的人头目标进行处理，能降低小目标样本对大感受野网络的训练影响，从而提高人群密度估计精度。
在一种可选的实施例中，所述人头目标标记包括：人头宽度信息和人头高度信息；
所述根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果，具体包括：
根据各个所述人头目标的人头宽度信息和人头高度信息，计算得到各个所述人头目标的人头宽高信息；
具体的，通过计算所述人头目标的人头宽度信息和人头高度信息的平均值，得到所述人头目标的人头宽高信息。
当所述人头目标的人头宽高信息在一预设人头类别的预设阈值范围内时，将所述人头目标归入所述一预设人头类别中。
进一步的，所述预设阈值范围为：
Figure BDA0003119530410000071
其中，n表示人头目标的类别总数；dmin表示第i类人头目标的最小人头宽高信息，dmax表示第i类人头目标的最大人头宽高信息。
示例性的，人头目标p的人头宽高信息为：
Figure BDA0003119530410000072
假设期望检测在[dmin，dmax-1]范围内的人头目标，则将满足以下条件的人头目标归类为第i类人头目标。条件如下：
Figure BDA0003119530410000073
在一种可选的实施例中，所述人头目标标记还包括：人头中心坐标；
所述根据所述数据集中的人头目标对所述多路预设训练网络进行训练，得到多路人群密度估计网络，具体包括：
根据各个所述人头目标的分类结果和人头中心坐标，对属于同一类别的人头目标构建第一密度图；
采用属于同一类别的人头目标以及对应的第一密度图对相应的预设训练网络进行训练，得到多路人群密度估计网络。
进一步的，所述根据各个所述人头目标的分类结果和人头中心坐标，对属于同一类别的人头目标构建第一密度图，包括：
根据公式(1)，生成第i类人头目标p的密度图；
Figure BDA0003119530410000074
其中，xp表示人头中心坐标，σp为常数，
Figure BDA0003119530410000075
表示以xp为中心标准差为σp的高斯函数在位置x的取值，Qi表示第i类人头目标的目标集合。
示例性的，对每一类别的人头目标生成第一密度图，并基于每一类别的人头目标的第一密度图对多路人群密度估计网络进行训练，可以将感受野和人头大小相联系，考虑了场景的密集程度，能较好的适应场景常见的人头目标大小，从而提升密度图估计准确率。
在一种可选的实施例中，所述采用属于同一类别的人头目标以及对应的第一密度图对相应的预设训练网络进行训练，得到多路人群密度估计网络，具体包括：
将属于同一类别的人头目标样本作为相应的预设训练网络的输入，对应的第一密度图作为所述相应的预设训练网络的输出，对所述相应的预设训练网络进行训练；
当训练至收敛后，根据同一类别的人头目标样本获取相应的预设训练网络的输出，得到第二密度图；
分别计算所述第一密度图的像素总和以及所述第二密度图的像素总和；
当所述第二密度图的像素总和与第一密度图的像素总和的偏差率小于预设的偏差阈值时，相应的预设训练网络的训练完成。
示例性的，对于数据集中的每张人群图像均可以生成不多于n张第一密度图，每张第一密度图对应一个类别的人头目标。将第i张第一密度图命名为groundtruth_density_mapi，并可计算第i张第一密度图中的像素值总和，记为groundtruth_valuei。将当前人群图像的n张第一密度图轴向拼接，得到拼接密度图，记为groundtruth_density_map_vec，同时根据groundtruth_density_map_vec可以统计所有类别人头目标的总密度图，记为groundtruth_density_map_sum。
在本发明实施例中，可将数据集划分为训练集和验证集。对于训练集中的人头目标样本，将训练集中任一人头目标样本作为输入，将任一人头目标样本的各类别的第一密度图作为多路人群密度估计网络的各路输出进行网络训练。对于验证集中的人头目标样本，则将验证集的任一人头目标样本输入到训练好的多路人群密度估计网络中，可以获得各路输出的对应输入人头目标样本的各类别的第二密度图。
进一步的，还可以将训练集中任一人头目标样本的各类别的第一密度图的像素值总和、拼接密度图、总密度图作为多路人群密度估计网络的输出进行训练，则除了上述各路输出的第二密度图predict_density_mapi，还可以获得输入人头目标样本的各路输出的第二密度图的预测像素值总和predict_valuei、预测拼接密度图predict_density_map_vec、预测总密度图predict_density_map_sum。
训练迭代收敛后，根据训练好的多路人群密度估计网络对验证集的任一人头目标样本进行预测，可以得到的第二密度图predict_density_mapi；然后结合验证集对应人头目标样本计算得到的第一密度图groundtruth_density_mapi计算相应的偏差率。计算方式如下。
Figure BDA0003119530410000091
其中，predict_valuei表示第i类人头目标对应的第二密度图的像素值总和，groundtruth_valuei表示第i类人头目标对应的第一密度图的像素值总和。
统计验证集所有人群图像中第i类人头目标的偏差率Ri的均值：
Figure BDA0003119530410000092
若该均值小于预设的偏差阈值thresholdi，则说明偏差率符合条件，多路人群密度估计网络训练完成；若不符合，可以利用调整网络层数等方法重新训练直至满足条件。其中，N表示验证集中人头目标样本的数量。
本发明实施例考虑人头大小的影响，通过验证集的估计偏差可以知道不同分支网络训练的情况，可以有效的改变网路层数，提升效果较差的尺度对应分支网络，从而进一步提高人群密度估计精度。
在一种可选的实施例中，所述根据所述多路人群密度估计网络对待处理图像进行人群密度估计，具体包括：
将待处理图像输入到所述多路人群密度估计网络中，得到所述待处理图像的各类人头目标对应的预测第一密度图；
将所述待处理图像的各类人头目标的预测第一密度图进行拼接；
对拼接后的预测第一密度图进行轴向加和，得到所述待处理图像的人群密度估计结果。
在本发明实施例中，将待处理图像输入到训练好的多路人群密度估计网络中，可获得n个类别的人头目标的预测第一密度图predict_density_mapi，1≤i≤n，通过将n张预测第一密度图进行拼接，可得到predict_density_map_vec，之后对predict_density_map_vec进行轴向加和得到predict_density_map_sum，计算方式如下：
Figure BDA0003119530410000101
在其他实施例中，还可以利用已训练好的多路人群密度估计网络对数据集预测得到predict_density_map_vec作为网络输入，训练集的predict_density_map_sum作为网络输出，从而得到最终的predict_density_map_vec到predict_density_map_sum的密度映射。
根据拼接后的第二密度图和所述密度映射，可以得到所述待处理图像的人群密度估计结果。
相对于现有技术，本发明实施例的有益效果在于：
1、结合人头尺寸对人头目标进行分类输出多张不同大小人头的密度图，能降低小目标样本对大感受野网络的训练影响，从而提高人群密度估计精度。
2、考虑人头大小的影响，通过验证集的估计偏差可以知道不同分支网络训练的情况，可以有效的改变网路层数，提升效果较差的尺度对应分支网络，从而进一步提高人群密度估计精度。
请参阅图2，本发明第二实施例提供了一种人群密度估计装置，包括：
数据获取模块1，用于获取带有人头目标标记的数据集；
人头目标分类模块2，用于根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果；
网络构建模块3，用于根据所述分类结果构建多路预设训练网络，所述预设训练网络的数目与所述分类结果的类别数相同；
网络训练模块4，用于根据所述数据集中的人头目标对所述多路预设训练网络进行训练，得到多路人群密度估计网络；
人群密度估计模块5，用于根据所述多路人群密度估计网络对待处理图像进行人群密度估计。
在一种可选的实施例中，所述人头目标标记包括：人头宽度信息和人头高度信息；
所述人头目标分类模块2，具体包括：
人头宽高计算单元，用于根据各个所述人头目标的人头宽度信息和人头高度信息，计算得到各个所述人头目标的人头宽高信息；
宽高判断单元，用于当所述人头目标的人头宽高信息在一预设人头类别的预设阈值范围内时，将所述人头目标归入所述一预设人头类别中。
在一种可选的实施例中，所述人头目标标记还包括：人头中心坐标；
所述网络训练模块4，具体包括：
第一密度图构建单元，用于根据各个所述人头目标的分类结果和人头中心坐标，对属于同一类别的人头目标构建第一密度图；
多路人群密度估计网络训练单元，用于采用属于同一类别的人头目标以及对应的第一密度图对相应的预设训练网络进行训练，得到多路人群密度估计网络。
在一种可选的实施例中，所述多路人群密度估计网络训练单元，具体用于
将属于同一类别的人头目标样本作为相应的预设训练网络的输入，对应的第一密度图作为所述相应的预设训练网络的输出，对所述相应的预设训练网络进行训练；
当训练至收敛后，根据同一类别的人头目标样本获取相应的预设训练网络的输出，得到第二密度图；
分别计算所述第一密度图的像素总和以及所述第二密度图的像素总和；
当所述第二密度图的像素总和与第一密度图的像素总和的偏差率小于预设的偏差阈值时，相应的预设训练网络的训练完成。
在一种可选的实施例中，所述预设阈值范围为：
Figure BDA0003119530410000121
其中，n表示人头目标的类别总数；dmin表示第i类人头目标的最小人头宽高信息，dmax表示第i类人头目标的最大人头宽高信息。
在一种可选的实施例中，所述根据各个所述人头目标的分类结果和人头中心坐标，对属于同一类别的人头目标构建第一密度图，包括：
根据公式(1)，生成第i类人头目标p的密度图；
Figure BDA0003119530410000122
其中，xp表示人头中心坐标，σp为常数，
Figure BDA0003119530410000123
表示以xp为中心标准差为σp的高斯函数在位置x的取值，Qi表示第i类人头目标的目标集合。
在一种可选的实施例中，所述人群密度估计模块5，具体包括：
第一密度图预测单元，用于将待处理图像输入到所述多路人群密度估计网络中，得到所述待处理图像的各类人头目标对应的预测第一密度图；
密度图拼接单元，用于将所述待处理图像的各类人头目标的预测第一密度图进行拼接；
密度图加和单元，用于对拼接后的预测第一密度图进行轴向加和，得到所述待处理图像的人群密度估计结果。
需要说明的是，本发明实施例所述的人群密度估计装置的原理和技术效果与第一实施例所述的人群密度估计方法相同，在这里不再赘述。
请参阅图3，本发明第三实施例提供了一种人群密度估计设备，包括包括至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。
在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
操作***151，包含各种***程序，用于实现各种基础业务以及处理基于硬件的任务；
程序152。
具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的人群密度估计方法，例如图1所示的步骤S1。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如数据获取模块。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述人群密度估计方法设备中的执行过程。
所述人群密度估计方法设备可以是VCU、ECU、BMS等计算设备。所述人群密度估计方法设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是人群密度估计方法设备的示例，并不构成对人群密度估计方法设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
所称处理器11可以是微处理器(Microcontroller Unit，MCU)中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器11是所述人群密度估计方法设备的控制中心，利用各种接口和线路连接整个人群密度估计方法设备的各个部分。
所述存储器15可用于存储所述计算机程序和/或模块，所述处理器11通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述人群密度估计方法设备的各种功能。所述存储器15可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器15可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述人群密度估计方法设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
本发明第四实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一实施例中任意一项所述的人群密度估计方法。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种人群密度估计方法，其特征在于，包括：
获取带有人头目标标记的数据集；
根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果；
根据所述分类结果构建多路预设训练网络，所述预设训练网络的数目与所述分类结果的类别数相同；
根据所述数据集中的人头目标对多路预设训练网络进行训练，得到多路人群密度估计网络；
根据所述多路人群密度估计网络对待处理图像进行人群密度估计。
2.根据权利要求1所述的人群密度估计方法，其特征在于，所述人头目标标记包括：人头宽度信息和人头高度信息；
所述根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果，具体包括：
根据各个所述人头目标的人头宽度信息和人头高度信息，计算得到各个所述人头目标的人头宽高信息；
当所述人头目标的人头宽高信息在一预设人头类别的预设阈值范围内时，将所述人头目标归入所述预设人头类别中。
3.根据权利要求1或2所述的人群密度估计方法，其特征在于，所述人头目标标记还包括：人头中心坐标；
所述根据所述数据集中的人头目标对多路预设训练网络进行训练，得到多路人群密度估计网络，具体包括：
根据各个所述人头目标的分类结果和人头中心坐标，对属于同一类别的人头目标构建第一密度图；
采用属于同一类别的人头目标以及对应的第一密度图对相应的预设训练网络进行训练，得到多路人群密度估计网络。
4.根据权利要求3所述的人群密度估计方法，其特征在于，所述采用属于同一类别的人头目标以及对应的第一密度图对相应的预设训练网络进行训练，得到多路人群密度估计网络，具体包括：
将属于同一类别的人头目标样本作为相应的预设训练网络的输入，对应的第一密度图作为相应的预设训练网络的输出，对相应的预设训练网络进行训练；
当训练至收敛后，根据同一类别的人头目标样本获取相应的预设训练网络的输出，得到第二密度图；
分别计算所述第一密度图的像素总和以及所述第二密度图的像素总和；
当所述第二密度图的像素总和与第一密度图的像素总和的偏差率小于预设的偏差阈值时，相应的预设训练网络的训练完成。
5.根据权利要求2所述的人群密度估计方法，其特征在于，所述预设阈值范围为：
Figure FDA0003119530400000021
其中，n表示人头目标的类别总数；dmin表示第i类人头目标的最小人头宽高信息，dmax表示第i类人头目标的最大人头宽高信息。
6.根据权利要求3所述的人群密度估计方法，其特征在于，所述根据各个所述人头目标的分类结果和人头中心坐标，对属于同一类别的人头目标构建第一密度图，包括：
根据公式(1)，生成第i类人头目标p的密度图；
Figure FDA0003119530400000022
其中，xp表示人头中心坐标，σp为常数，
Figure FDA0003119530400000023
表示以xp为中心标准差为σp的高斯函数在位置x的取值，Qi表示第i类人头目标的目标集合。
7.根据权利要求1所述的人群密度估计方法，其特征在于，所述根据所述多路人群密度估计网络对待处理图像进行人群密度估计，具体包括：
将待处理图像输入到所述多路人群密度估计网络中，得到所述待处理图像的各类人头目标对应的预测第一密度图；
将所述待处理图像的各类人头目标的预测第一密度图进行拼接；
对拼接后的预测第一密度图进行轴向加和，得到所述待处理图像的人群密度估计结果。
8.一种人群密度估计装置，其特征在于，包括：
数据获取模块，用于获取带有人头目标标记的数据集；
人头目标分类模块，用于根据人头目标尺寸对所述数据集中的人头目标进行分类，得到分类结果；
网络构建模块，用于根据所述分类结果构建多路预设训练网络，所述预设训练网络的数目与所述分类结果的类别数相同；
网络训练模块，用于根据所述数据集中的人头目标对多路预设训练网络进行训练，得到多路人群密度估计网络；
人群密度估计模块，用于根据所述多路人群密度估计网络对待处理图像进行人群密度估计。
9.一种人群密度估计设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的人群密度估计方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1-7中任意一项所述的人群密度估计方法。
CN202110673087.9A 2021-06-17 2021-06-17 一种人群密度估计方法、装置、设备及存储介质 Pending CN113486732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110673087.9A CN113486732A (zh) 2021-06-17 2021-06-17 一种人群密度估计方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110673087.9A CN113486732A (zh) 2021-06-17 2021-06-17 一种人群密度估计方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113486732A true CN113486732A (zh) 2021-10-08

Family

ID=77934043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110673087.9A Pending CN113486732A (zh) 2021-06-17 2021-06-17 一种人群密度估计方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113486732A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726658A (zh) * 2018-12-21 2019-05-07 上海科技大学 人群计数及定位方法、***、电子终端及存储介质
CN110059581A (zh) * 2019-03-28 2019-07-26 常熟理工学院 基于场景深度信息的人群计数方法
CN110245579A (zh) * 2019-05-24 2019-09-17 北京百度网讯科技有限公司 人流密度预测方法及装置、计算机设备及可读介质
CN112101195A (zh) * 2020-09-14 2020-12-18 腾讯科技（深圳）有限公司 人群密度预估方法、装置、计算机设备和存储介质
WO2021031954A1 (zh) * 2019-08-20 2021-02-25 北京海益同展信息科技有限公司 对象数量确定方法、装置、存储介质与电子设备
CN112541469A (zh) * 2020-12-22 2021-03-23 山东师范大学 基于自适应分类的人群计数方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726658A (zh) * 2018-12-21 2019-05-07 上海科技大学 人群计数及定位方法、***、电子终端及存储介质
CN110059581A (zh) * 2019-03-28 2019-07-26 常熟理工学院 基于场景深度信息的人群计数方法
CN110245579A (zh) * 2019-05-24 2019-09-17 北京百度网讯科技有限公司 人流密度预测方法及装置、计算机设备及可读介质
WO2021031954A1 (zh) * 2019-08-20 2021-02-25 北京海益同展信息科技有限公司 对象数量确定方法、装置、存储介质与电子设备
CN112101195A (zh) * 2020-09-14 2020-12-18 腾讯科技（深圳）有限公司 人群密度预估方法、装置、计算机设备和存储介质
CN112541469A (zh) * 2020-12-22 2021-03-23 山东师范大学 基于自适应分类的人群计数方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEEPAK BABU SAM 等: "Swithing Convolutional Neural Network for Crowd Counting", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 9 November 2017 (2017-11-09), pages 5744 - 5752 *
YINGYING ZHANG 等: "Single-Image Crowd Counting via Multi-Column Convolutional Neural Network", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 12 December 2016 (2016-12-12), pages 589 - 597 *
薛致远: "基于卷积神经网络的人群计数方法研究与实现", 《基于卷积神经网络的人群计数方法研究与实现》, 15 January 2020 (2020-01-15), pages 138 - 1797 *

Similar Documents

Publication Publication Date Title
CN109886997B (zh) 基于目标检测的识别框确定方法、装置及终端设备
CN110660066B (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN109272016B (zh) 目标检测方法、装置、终端设备和计算机可读存储介质
CN110245579B (zh) 人流密度预测方法及装置、计算机设备及可读介质
CN109934065B (zh) 一种用于手势识别的方法和装置
CN105512627A (zh) 一种关键点的定位方法及终端
CN107610151B (zh) 行人轨迹线处理方法/***、计算机可读存储介质及设备
CN110956646B (zh) 目标跟踪方法、装置、设备及存储介质
CN110502982A (zh) 一种检测高速公路中障碍物的方法、装置及计算机设备
CN109461133B (zh) 桥梁螺栓脱落检测方法及终端设备
CN108960012B (zh) 特征点检测方法、装置及电子设备
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN111553302B (zh) 关键帧选取方法、装置、设备及计算机可读存储介质
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN111582032A (zh) 行人检测方法、装置、终端设备及存储介质
KR20220098312A (ko) 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
CN115170851A (zh) 一种图像聚类的方法及装置
CN112465869B (zh) 一种轨迹关联方法、装置、电子设备及存储介质
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质
JP6713422B2 (ja) 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム
CN116958873A (zh) 行人跟踪方法、装置、电子设备及可读存储介质
JP7383435B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN110969657B (zh) 一种枪球坐标关联方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination