CN112818884B - 一种人群计数方法 - Google Patents
一种人群计数方法 Download PDFInfo
- Publication number
- CN112818884B CN112818884B CN202110169724.9A CN202110169724A CN112818884B CN 112818884 B CN112818884 B CN 112818884B CN 202110169724 A CN202110169724 A CN 202110169724A CN 112818884 B CN112818884 B CN 112818884B
- Authority
- CN
- China
- Prior art keywords
- sample
- samples
- training
- similarity
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人群计数方法，所述方法包括训练阶段和测试阶段，所述训练阶段包括以下步骤：步骤1，获得训练图像之间的相似性，并选择训练样本；步骤2，对选择的训练样本进行聚类，为每一类存储一组权重；步骤3，训练权重检索模块。本发明公开的使用存储增强的人群计数方法，构建的是多权重网络，利用了样本之间的关系，并提高了具有多个参数集的单个简单网络的泛化能力，可以与大多数现有方法集成，并显著提高其性能。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及人群计数方法。
背景技术
人群计数任务用于估计一张图片中目标的数量，例如行人、车辆、动物等。该任务因为在多种场景下广泛的应用而引发了越来越多的关注，例如在机场、车站、大型购物中心或者人群游行时，对人群的计数均很重要。特别是在疫情大流行时，聚集的人群会显著增加被病毒感染的可能性，检测并警告人群在公共领域的聚集对控制疫情的传播具有重要的作用。
在特定的应用背景下，例如均匀的密度或固定的视角下，现有的人群计数方法已经获得了可靠的性能。但是，在不受限制的情况下，现有方法的性能将受到极大地削弱，主要原因是不受约束的目标场景在许多方面都很复杂，包括不同的视角、可变的比例、不同的密度以及宽范围的亮度和对比度等，最终导致被计数的目标的视觉特征发生显著变化。
大多数现有方法尝试使用具有多个通道的单一网络来处理不受约束的情况，不同的通道用于处理不同尺度的数据。但是，相关研究指出，很难通过单个网络解决人群计数问题，建议利用多个网络，其中每个网络负责特定的规模或密度。例如，Switch-CNN即是在多通道的CNN之前设计了一个switch结构来为指定的图片寻找最优的通道，但由于手动设计多通道是不切实际的，因此，Switch-CNN只能处理有限的比例变化。
此外，为了处理跨场景计数任务，现有技术首先在训练数据集上对模型进行了预训练，在推理阶段，使用粗糙的密度图和给定的透视图来查找与测试图像相似且精细的训练样本，然后在这些样本上调整预训练模型以获得该测试图像的定制模型。但是，透视图并不容易获得，在通常情况下不可用，而且密度图之间的相似性无法描述图像之间的复杂相关性。
可见，现有大多数的人群计数方法采用复杂的结构、参数量大的骨干网络来增强人群计数的泛化性，但是当在大规模数据集上测试时，这些方法带来的改善并不能使人满意。因此，有必要提供一种新的人群计数方法，以解决上述问题。
发明内容
为了克服上述问题，本发明人进行了锐意研究，结果发现：通过分析样本之间的关系建立了一个采用多组参数的人群计数网络，该网络对不同的样本加载不同的参数；同时提出了一种任务驱动的相似度，其基于样本间的在微调时的互相增强关系，根据相似度，相似的样本将被聚类为一个集群，每个集群被用来获取一组特定的参数，该方法利用了样本之间的关系，并提高了具有多个参数集的单个简单网络的泛化能力，可以与大多数现有方法集成，并显著提高其性能，从而完成了本发明。
具体来说，本发明的目的在于提供以下方面：
第一方面，提供了一种使用存储增强的人群计数方法，所述方法包括训练阶段和测试阶段，所述训练阶段包括以下步骤：
步骤1，获得训练图像之间的相似性，并选择训练样本；
步骤2，对选择的训练样本进行聚类，为每一类存储一组权重；
步骤3，训练权重检索模块。
第二方面，提供了一种计算机可读存储介质，存储有使用存储增强的人群计数程序，所述程序被处理器执行时，使得处理器执行所述使用存储增强的人群计数方法的步骤。
第三方面，提供了一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有使用存储增强的人群计数程序，所述程序被处理器执行时，使得处理器执行所述使用存储增强的人群计数方法的步骤。
本发明所具有的有益效果包括：
(1)本发明提供的使用存储增强的人群计数方法，构建的是多权重网络，利用了样本之间的关系，并提高了具有多个参数集的单个简单网络的泛化能力，可以与大多数现有方法集成，并显著提高其性能；
(2)本发明提供的使用存储增强的人群计数方法，采用互微调相似性和启发式聚类方法来获得训练数据的多个聚类，每个聚类用于学习一组参数，有利于测试类似于该聚类的图像；
(3)本发明提供的使用存储增强的人群计数方法，设计了简单而有效的人群计数模型(FDC)，具有很小的密度图回归器，通过提出的多参数策略，获得了多个具有多个参数集的FDC(MFDC)，显著提高了检测性能。
附图说明
图1示出根据本发明一种优选实施方式的使用存储增强的人群计数方法流程示意图；
图2示出本发明实施例所述的MFDC方法FDC方法的改进效果图；
图3示出本发明实施例所述的方法与现有多个方法的参数量与性能的对比效果图。
具体实施方式
下面通过优选实施方式和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本发明的第一方面，提供了一种使用存储增强的人群计数方法，如图1所示，所述方法包括训练阶段和测试阶段，所述训练阶段包括以下步骤：
步骤1，获得训练图像之间的相似性，并依据预训练的稳定性选择训练样本；
步骤2，对选择的训练样本进行聚类，为每一类样本训练并存储一组权重；
步骤3，训练权重检索模块。
以下进一步详细描述所述训练阶段的步骤：
步骤1，建立人群计数网络模型，并根据预训练的稳定性选择训练样本。
其中，步骤1包括以下子步骤：
步骤1-1，建立人群计数网络模型。
一般的网络模型包括特征提取器和密度图生成器，本发明人考虑到，在使用存储增强的人群计数方法的后续过程中，需要多次微调密度图生成器，除了需要较大的参数存储空间外，如果训练集较小，则具有较大密度图生成器的模型很容易过拟合。
因此，为了解决上述问题，本发明中采用一个称为FDC的简单基础模型(即建立的人群计数网络模型)。
根据本发明一种优选的实施方式，所述建立的人群计数网络模型由作为基本特征提取器的标准特征金字塔网络(FPN)和作为密度图生成器的膨胀卷积组成。
优选地，FDC中的FPN可以采用不同的网络作为骨干网，例如ResNet-18、ResNet-34和ResNet-50等，优选采用ResNet-18作为骨干网。
更优选地，为了对齐FPN的输出，采用反卷积层作为人群计数网络模型的上采样器。
本发明人发现，与现有技术的最新方法(例如：CSRNet，ACMNet，DM-Count方法)相比，本发明中采用的FDC的密度图回归参数较少，但仍然足够有效。
具体地：在训练过程中，从原始图像中裁剪出一部分图像，其大小为224×224、448×448、896×896，并将大小调整为224×224；FPN生成了四个特征图，大小从7x 7到56x 56，然后，这些特征图由步长为2的多个反卷积层上采样，以生成大小为56x56的特征图；再将这些特征图通过两个3x3的卷积层进行连接和融合，以生成输出密度图。
步骤1-2，获得训练图像样本之间的相似性。
一般情况下，在训练完善的人群计数模型(基本模型)和一个样本的情况下，如果在给定样本上微调该模型，则该样本以及其他类似样本的微调模型的性能将得到改善。基于其他样本的性能改进，可以定义它们之间的相似性。
具体地，定义T＝[(xi，yi)|i＝1，2，...，N}为带有N个样本作物(样本及其对应点标注)的训练集；给定模型的特征提取器和密度图生成器分别定义为f＝Ψ(x，θ1)和d＝Φ(f，θ2)，其中，θ1和θ2分别是特征提取器和密度图生成器的参数；损失函数表示为
其中^y＝Φ(Ψ(x，θ1)，θ2)。
在本发明中，提出了一种新颖的度量标准来评估训练图像样本之间的相似性，即一种直接依赖于特定任务和模型的相似性——使用其他样本微调的密度图参数时，样本xi的损失函数变化。
优选地，所述训练图像样本之间的相似性通过包括下述步骤的方法获得：
步骤1-2-1，获得第i个样本的损失。
其中，基本模型(人群计数网络模型)的第i个样本(xi，yi)的损失为li＝L(Φ(fi，θ2)，yi)。
步骤1-2-2，微调人群计数网络模型的密度图生成器的参数。
其中，微调基本模型的密度图生成器的参数，以获取第i个样本(xi，yi)和类似样本的一组特定且有效的权重，获得i的最优参数为
步骤1-2-3，获得第j个样本的损失，并获取第i个样本和第j个样本之间的微调相似性。
其中，获得微调模型
的第j个样本(xj，yj)的损失为
在本发明中，由上述可知，如果样本i和样本j类似，则第i个样本的微调模型将在第j个样本上实现性能提升。样本之间越相似，改进将越大。因此，本发明中所述微调后的改进程度可以看作是样本之间的相似性。
根据本发明一种优选的实施方式，所述第i个样本和第j个样本之间的微调相似性通过下式获得：
在本发明中，当两张图片的预测通过从基础模型彼此精细调整的模型权重而具有性能改进时，它们之间的相似度(相似性)将为正，并且比例(即：互相改进的程度)越大相互改善的相似性越大。
本发明人考虑到，计算所有训练图像样本的微调相似性非常耗时，在直观上，难样本(预测时与真值标签误差较大的样本)很重要，但是在训练过程中，存在一些不稳定的样本，导致基础模型的损失不稳定。尽管这些不稳定样本中一部分并非是难样本，但使用数据集中的一些样本进行微调将大大减少这些样本的损失。
因此，在本发明中，优选计算不稳定样本之间的微调相似性。此外，由于稳定样本的损失在训练过程中变化不大，对其进行微调对参数的影响很小，优选可以直接将这些样本之间的微调相似性估计为0。
步骤1-3，选择训练样本。
在本发明中，为了评估训练过程中样本的不稳定性，优选采用序列和反转测试，且仅考虑损失函数的下降趋势。
根据本发明一种优选的实施方式，按照下式定义第m个训练周期下的第i个样本的下降趋势的指标I(i，m)：
其中，
表示第m个训练周期对第i个样本的预测值，yi表示第i个样本的真实值，∈表示超参数。
在进一步优选的实施方式中，采用超参数∈来调节对微小变化的容忍度，优选通过下式获得训练样本的不稳定性：
其中，M表示总周期数，该式越接近1，训练样本的不稳定性越大。
在本发明中，设定阈值η，优选取值为(0)～(0.5)，其中，不稳定性大于阈值的样本会形成一个不稳定样本集合，表示为Q。
在本发明中，优选选择不稳定样本集合Q中的所有训练样本计算互微调相似性。
步骤2，对选择的训练样本进行聚类，为每一类样本训练并存储一组权重。
优选地，所述聚类按照包括下述步骤的方法进行：
步骤2-1，获得不稳定样本集合Q中的样本u与其他所有Q中样本的相似性的和，并将所有样本标记为未处理状态；
步骤2-2，将所有不稳定样本按照相似性之和进行降序排列，并遍历这些样本；
步骤2-3，根据样本的处理状态，进行聚类。
优选地，在进行聚类时，首先判断样本是否未处理，如果样本已处理，则进入下一循环过程；如果样本未处理，则创建一个新的聚类，并对所有不稳定样本按照当前处理样本的相似性进行降序排序，遍历这些样本。
更优选地，在上述创建的新的聚类中，判断每个样本的处理状态，如果样本已处理，则进入下一循环过程；如果样本未处理，则判断该样本是否与该聚类中的所有样本相似，如果是，则将该样本加入到该聚类中，如果不是，则跳过该样本。
在本发明中，上述聚类方法遵循两个原则，首先，每个聚类内所有样本的互微调相似性应为正；其次，聚类的数量应该尽可能少以减少模型存储所需的空间。
通过上述启发式的聚类方法，能够通过实时微调来节省时间成本，每个聚类用于学习一组参数，对于测试类似于该聚类的图像非常有效。
其中，对于不在不稳定样本集合Q中的样本，将它们指定为一个聚类，表示为S0。使用每个聚类来微调基本模型的密度图生成器，获得K+1个权重集，其中，K表示步骤2获得的聚类数量。
步骤3，训练权重检索模块。
在本发明中，为了获取测试样本的最佳权重，优选将每个聚类视为一个类，训练一个多类分类器，即为权重检索模块，则建立的人群计数网络模型记为具有多个参数集的FDC(即MFDC)。
根据本发明一种优选的实施方式，在训练多类分类器时，采用如下式所示的软标签：
其中，Sj为第j个聚类，xi为第i个样本，s(i，j)为样本i与样本j之间的相似度，
为样本i在聚类j上的标签。
本发明人考虑到，属于一个聚类的样本可能与其他聚类中的部分样本具有正的互微调相似性，因此，在本发明中采用上式所述的软标签，而不是简单地使用硬标签，该软标签是根据样本与聚类中样本之间的平均相似度来计算的。
在进一步优选的实施方式中，采用ResNet-18作为多类分类器的主干。
其中，分类器的输入包括原始训练图像和基础模型中特征提取器的输出。
优选地，原始训练图像通过浅层CNN-Pool-CNN结构对齐到特征提取器输出的相同大小。
在更进一步优选的实施方式中，训练多类分类器的交叉熵损失函数如下式所示：
其中，L为损失函数值，T为总样本数，N为总类别数，
为所计算的软标签，
为样本i分类为聚类j的预测概率。
其中，训练收敛后的权重检索模块(多类分类器)，在对测试图像进行测试时，其预测结果表示为该图像属于某一聚类的概率。如果每个概率都很小，则表示属于每个聚类的数据的可能性均较小，认为其来自聚类0。
在本发明中，训练后的多类分类器可以预测测试数据的类标签，预测结果用于检索最佳权重，以根据测试图像的特征动态选择一组特定的参数，从而大大提高性能。
本发明所述的使用存储增强的人群计数方法，采用用于人群计数的多权重策略，该策略利用样本之间的关系，并提高了具有多个参数集的单个简单网络的泛化能力，可以与大多数现有方法集成，并能显著提高现有方法的性能；同时采用一种有效的任务驱动的相似度和聚类方法来获得训练图像的多个聚类，每个聚类用于学习一组参数，对于测试类似于该聚类的图像非常有效。
本发明还提供了一种计算机可读存储介质，存储有使用存储增强的人群计数程序，所述程序被处理器执行时，使得处理器执行所述使用存储增强的人群计数方法的步骤。
本发明中所述的使用存储增强的人群计数方法，可借助软件加必需的通用硬件平台的方式来实现，所述软件存储在计算机可读存储介质(包括ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机、计算机、服务器、网络设备等)执行本发明所述方法。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有使用存储增强的人群计数程序，所述程序被处理器执行时，使得处理器执行所述使用存储增强的人群计数方法的步骤。
实施例
以下通过具体实例进一步描述本发明，不过这些实例仅仅是范例性的，并不对本发明的保护范围构成任何限制。
实施例1
1、数据集
本实施例依次在ShanghaiTech Part A，UCF-QNRF和NWPU-Crowd三个数据集上进行。
其中，ShanghaiTech Part A数据集是指：desenzhou/ShanghaiTechDataset:Dataset appeared in Single Image Crowd Counting via Multi ColumnConvolutional Neural Network(MCNN)(github.com)；UCF-QNRF数据集是指CRCV Centerfor Research in Computer Vision at the University of Central Florida(ucf.edu)；NWPU-Crowd数据集是指Crowd Benchmark。
对这三个数据集的基本情况介绍如表1所示。
表1
| 名称 | 图片数 | 人数 |
| ShangHaiTech Part A | 482 | 241667 |
| UCF-QNRF | 1535 | 1.25million |
| NWPU-Crowd | 5109 | Unknown |
2、性能评测准则：
性能评测指标包括平均绝对误差(MAE)和均方误差(MSE)。
3、任务描述
使用公开数据集提供的训练集训练网络，并在公开数据集提供的测试集上进行预测。对于ShangHaiTech Part A数据集和UCF-QNRF数据集，预测指标由公开的测试集计算。NWPU-Crowd数据集在Crowd Benchmark上提交获得反馈。
4、结果与分析
将本发明所述的方法与现有方法在不同数据集上进行性能比对，平均绝对误差(MAE)和均方误差(MSE)的比对结果如表2～4所示。
其中，表2示出了本发明所述方法与现有方法在ShangHaiTech Part_A数据集上的比对结果，表3示出了本发明所述方法与现有方法在UCF-QNRF数据集上的比对结果，本发明所述方法与现有方法在NWPU-Crwod数据集上的比对结果。
表2
其中，MCNN方法具体如文献“Zhang,Y.；Zhou,D.；Chen,S.；Gao,S.&Ma,Y.SingleImage Crowd Counting via Multi Column Convolutional NeuralNetwork.Proceedings of the IEEE Computer Society Conference on ComputerVision and Pattern Recognition,pp.589-597,2016”中所述；
CSRNet方法具体如文献“Li,Y.；Zhang,X.&Chen,D.CSRNet:DilatedConvolutional Neural Networks for Understanding the Highly CongestedScenes.Proceedings of the IEEE Computer Society Conference on Computer Visionand Pattern Recognition,2018”中所述；
ResSFCN-101方法具体如文献“Laradji,I.H.；Rostamzadeh,N.；Pinheiro,P.O.；Vazquez,D.&Schmidt,M.Where are the Blobs:Counting by Localization with PointSupervision.Proceedings of the European Conference on Computer Vision(ECCV),pp.547-562,2018”中所述；
CAN方法具体如文献“Liu,W.；Salzmann,M.&Fua,P.Context-Aware CrowdCounting.Proceedings of the IEEE Computer Society Conference on ComputerVision and Pattern Recognition,Vol.2019-June,2019”中所述；
DM-Count方法具体如文献“Wang,B.；Liu,H.；Samaras,D.&Hoai,M.DistributionMatching for Crowd Counting.Proceedings of Advances in Neural InformationProcessing Systems,2020”中所述；
S-DCNet方法和SS-DCNet(cls)具体如文献“Xiong,H.；Lu,H.；Liu,C.；Liang,L.；Cao,Z.&Shen,C.From Open Set to Closed Set:Supervised Spatial Divide-and-Conquer for Object Counting.Proceedings of the IEEE/CVF InternationalConference on Computer Vision(ICCV),pp.8362-8371,2019”中所述；
M-MCNN为使用本发明所述方法改进的MCNN；
M-CSRNet为使用本发明所述方法改进的CSRNet；
FDC-18为采用基础模型的方法；
MFDC-18为本发明所述方法(采用具有多个参数集的FDC)。
表3
| 方法 | MAE | MSE |
| MCNN | 277 | 426 |
| Switch-CNN | 228 | 445 |
| CAN | 107 | 183 |
| CSRNet | 98.2 | 157.2 |
| S-DCNet | 97.7 | 167.6 |
| DM-Count | 85.6 | 148.3 |
| SS-DCNet(cls) | 81.9 | 143.8 |
| M-MCNN | 234.1 | 381.8 |
| M-CSRNet | 83.1 | 144.6 |
| FDC-18 | 93.0 | 157.3 |
| MFDC-18 | 76.2 | 121.5 |
其中，Switch-CNN方法具体如文献“Sam,D.B.；Surya,S.&Babu,R.V.SwitchingConvolutional Neural Network for Crowd Counting.Proceedings IEEE Conferenceon Computer Vision and Pattern Recognition,Vol.2017-January,2017”中所述。
表4
其中，O_MAE表示按照图片进行平均的MAE，O_MSE表示按照图片进行平均的MSE，O_NAE表示以人数进行归一化的MAE，Avg.MAE(S)表示按照密度划分数据集并进行平均的MAE，Avg.MAE(L)表示按照光照划分数据集并进行平均的MAE。
由表2～4可知，在ShangHai Tech Part A，UCF-QNRF数据集上，本发明所述的MFDC-18方法在MSE,MAE均为最低值，同时使用本发明所述方法改进的MCNN，CSRNet(即：M-MCNN、M-CSRNet)相比于原方法均获得了性能提升。
在NWPU-Crowd数据集上，本发明所述方法在O_MAE，O_MSE指标上大幅优于之前方法，说明了方法的有效性；在Avg.MAE(S/L)即分别以场景，光照为划分的分类测试误差上仍然大幅优于之前的方法，证明了本方案在多种场景类别下的有效性。
进一步地，图2示出了本发明所述多权重方法(MFDC)对单权重方法(FDC)改进的效果，由图2可知，与FDC方法相比，MFDC方法大幅提高了预测准确性。
图3示出了本发明所述使用存储增强的人群计数方法与现有方法(分别为MCNN、SANet、PCCNet-light、CSRNet、SFCN-101、Bayesian、SCAR、CAN、SDCNet、DM-Count)的参数量与性能的对比结果。
由图3可知，在参数量相似的情况下，本发明所述的方法与现有方法相比，大幅降低了平均误差值。
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。
Claims (4)
1.一种人群计数方法，其特征在于，所述方法包括训练阶段和测试阶段，所述训练阶段包括以下步骤：
步骤1，获得训练图像之间的相似性，并选择训练样本；
步骤1-1，建立人群计数网络模型；
步骤1-2，获得训练图像样本之间的相似性；
定义T＝{(xi，yi)|i＝1，2，...，N}为带有N个样本作物的训练集，所述样本作物为样本及其对应点标注；给定模型的特征提取器和密度图生成器分别定义为f＝Ψ(x，θ1)和d＝Φ(f，θ2)，其中，θ1和θ2分别是特征提取器和密度图生成器的参数；损失函数表示为
其中 ŷ ＝Φ(Ψ(x，θ1)，θ2)；
所述训练图像样本之间的相似性通过包括下述步骤的方法获得：
步骤1-2-1，获得第i个样本的损失；
其中，基本模型的第i个样本(xi，yi)的损失为li＝L(Φ(fi，θ2)，yi)，所述基本模型为人群计数网络模型；
步骤1-2-2，微调人群计数网络模型的密度图生成器的参数；
其中，微调基本模型的密度图生成器的参数，获得最优参数为
步骤1-2-3，获得第j个样本的损失，并获取第i个样本和第j个样本之间的微调相似性；
所述第i个样本和第j个样本之间的微调相似性通过下式获得：
li＝L(Φ(fi，θ2)，yi)，表示人群计数网络模型的第i个样本(xi，yi)的损失；
表示微调模型
的第j个样本(xj，yj)的损失；
步骤1-3，选择训练样本；
按照下式定义第m个训练周期下的第i个样本的下降趋势的指标I(i，m)：
xi为第i个样本；yi表示第i个样本的真实值，∈表示超参数；
通过下式获得训练样本的不稳定性：
设定阈值η，取值为0～0.5，其中，选择不稳定性大于阈值的样本，形成一个不稳定样本集合，表示为Q；
步骤2，对选择的训练样本进行聚类，为每一类存储一组权重；
所述聚类按照包括下述步骤的方法进行：
步骤2-1，获得不稳定样本集合Q中的样本u与其他所有Q中样本的相似性的和，并将所有样本标记为未处理状态；
步骤2-2，将所有不稳定样本按照相似性之和进行降序排列，并遍历这些样本；
步骤2-3，根据样本的处理状态，进行聚类；
在步骤2中，
在进行聚类时，首先判断样本是否未处理，如果样本已处理，则进入下一循环过程；如果样本未处理，则创建一个新的聚类，并对所有不稳定样本按照当前处理样本的相似性进行降序排序，遍历这些样本；
在上述创建新的聚类中，判断每个样本的处理状态，如果样本已处理，则进入下一循环过程；如果样本未处理，则判断该样本是否与该聚类中的所有样本相似，如果是，则将该样本加入到该聚类中，如果不是，则跳过该样本；
步骤3，训练权重检索模块；
步骤3中，在训练权重检索模块时，采用如下式所示的软标签：
其中，Sj为第j个聚类，xi为第i个样本，s(i,j)为样本i与样本j之间的相似度，
为样本i在聚类j上的标签；K表示步骤2获得的聚类数量。
2.根据权利要求1所述的人群计数方法，其特征在于，步骤1-1中，所述建立的人群计数网络模型由作为基本特征提取器的标准特征金字塔网络(FPN)和作为密度图生成器的膨胀卷积组成。
3.一种计算机可读存储介质，其特征在于，存储有使用存储增强的人群计数程序，所述程序被处理器执行时，使得处理器执行权利要求1至2之一所述人群计数方法的步骤。
4.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有使用存储增强的人群计数程序，所述程序被处理器执行时，使得处理器执行权利要求1至2之一所述人群计数方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110169724.9A CN112818884B (zh) | 2021-02-07 | 2021-02-07 | 一种人群计数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110169724.9A CN112818884B (zh) | 2021-02-07 | 2021-02-07 | 一种人群计数方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818884A CN112818884A (zh) | 2021-05-18 |
| CN112818884B true CN112818884B (zh) | 2021-11-30 |
Family
ID=75862262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110169724.9A Active CN112818884B (zh) | 2021-02-07 | 2021-02-07 | 一种人群计数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818884B (zh) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101295305B (zh) * | 2007-04-25 | 2012-10-31 | 富士通株式会社 | 图像检索装置 |
| CN101464950B (zh) * | 2009-01-16 | 2011-05-04 | 北京航空航天大学 | 基于在线学习和贝叶斯推理的视频人脸识别与检索方法 |
| CN102436589B (zh) * | 2010-09-29 | 2015-05-06 | 中国科学院电子学研究所 | 一种基于多类基元自主学习的复杂目标自动识别方法 |
| CN102306281B (zh) * | 2011-07-13 | 2013-11-27 | 东南大学 | 一种多模态人类年龄自动估计方法 |
| CN102799935B (zh) * | 2012-06-21 | 2015-03-04 | 武汉烽火众智数字技术有限责任公司 | 一种基于视频分析技术的人流量统计方法 |
| CN103295031B (zh) * | 2013-04-15 | 2016-12-28 | 浙江大学 | 一种基于正则风险最小化的图像目标计数方法 |
| CN105631418B (zh) * | 2015-12-24 | 2020-02-18 | 浙江宇视科技有限公司 | 一种人数统计的方法和装置 |
| CN106874862B (zh) * | 2017-01-24 | 2021-06-04 | 复旦大学 | 基于子模技术和半监督学习的人群计数方法 |
| CN107358596B (zh) * | 2017-04-11 | 2020-09-18 | 阿里巴巴集团控股有限公司 | 一种基于图像的车辆定损方法、装置、电子设备及*** |
| CN107506703B (zh) * | 2017-08-09 | 2020-08-25 | 中国科学院大学 | 一种基于无监督局部度量学习和重排序的行人再识别方法 |
-
2021
- 2021-02-07 CN CN202110169724.9A patent/CN112818884B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818884A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107480261B (zh) | 一种基于深度学习细粒度人脸图像快速检索方法 | |
| WO2020073951A1 (zh) | 用于图像识别的模型的训练方法、装置、网络设备和存储介质 | |
| WO2020114378A1 (zh) | 视频水印的识别方法、装置、设备及存储介质 | |
| Firpi et al. | Swarmed feature selection | |
| CN110598598A (zh) | 基于有限样本集的双流卷积神经网络人体行为识别方法 | |
| CN105809672B (zh) | 一种基于超像素和结构化约束的图像多目标协同分割方法 | |
| CN110322445B (zh) | 基于最大化预测和标签间相关性损失函数的语义分割方法 | |
| CN107169117B (zh) | 一种基于自动编码器和dtw的手绘图人体运动检索方法 | |
| CN111723829B (zh) | 一种基于注意力掩模融合的全卷积目标检测方法 | |
| WO2021051987A1 (zh) | 神经网络模型训练的方法和装置 | |
| CN110751027B (zh) | 一种基于深度多示例学习的行人重识别方法 | |
| CN106682681A (zh) | 一种基于相关反馈的识别算法自动改进方法 | |
| CN104966052A (zh) | 基于属性特征表示的群体行为识别方法 | |
| CN109190666B (zh) | 基于改进的深度神经网络的花卉图像分类方法 | |
| CN111524140B (zh) | 基于cnn和随机森林法的医学图像语义分割方法 | |
| CN110163130B (zh) | 一种用于手势识别的特征预对齐的随机森林分类***及方法 | |
| CN114118207B (zh) | 基于网络扩张与记忆召回机制的增量学习的图像识别方法 | |
| CN115457332A (zh) | 基于图卷积神经网络和类激活映射的图像多标签分类方法 | |
| CN110969639B (zh) | 一种基于lfmvo优化算法的图像分割方法 | |
| Chou et al. | A hierarchical multiple classifier learning algorithm | |
| Mund et al. | Active online confidence boosting for efficient object classification | |
| CN112818884B (zh) | 一种人群计数方法 | |
| CN110751662B (zh) | 量子行为粒子群优化模糊c均值的图像分割方法及*** | |
| Wei et al. | Salient object detection based on weighted hypergraph and random walk | |
| CN110941994B (zh) | 一种基于元类基学习器的行人重识别集成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Guorong Inventor after: Liu Xinyan Inventor after: Su Li Inventor after: Huang Qingming Inventor before: Liu Xinyan Inventor before: Li Guorong Inventor before: Su Li Inventor before: Huang Qingming |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |