CN116310410A - 多尺度计数方法、装置及计算机可读存储介质 - Google Patents

多尺度计数方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN116310410A
CN116310410A CN202211636939.8A CN202211636939A CN116310410A CN 116310410 A CN116310410 A CN 116310410A CN 202211636939 A CN202211636939 A CN 202211636939A CN 116310410 A CN116310410 A CN 116310410A
Authority
CN
China
Prior art keywords
feature
image features
sample image
features
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211636939.8A
Other languages
English (en)
Inventor
何志权
郑东宏
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202211636939.8A priority Critical patent/CN116310410A/zh
Publication of CN116310410A publication Critical patent/CN116310410A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种多尺度计数方法、装置及计算机可读存储介质，包括步骤：提取输入图像在不同尺度下的多个第一特征图，将第一特征图进行重点通道权重加强，输出与第一特征图对应的第二特征图；控制第一特征图和第二特征图进行通道拼接，得到目标特征，其中，目标特征包括查询图像特征和多个样本图像特征；对样本图像特征进行特征融合，输出融合样本图像特征，以及对查询图像特征进行特征加强，输出增强查询图像特征；根据所有的样本图像特征对应的融合样本图像特征和增强查询图像特征构建与增强查询图像特征尺寸一致的相似图；基于相似图、融合样本图像特征和增强查询图像特征构建表示计数值的目标密度图。本申请准确的实现小目标的计数。

Description

多尺度计数方法、装置及计算机可读存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种多尺度计数方法、装置及计算机可读存储介质。
背景技术
对图像中的特定目标物体进行计数是计算机视觉领域的一项重要任务，在许多领域有广泛应用，如人群计数、车辆计数、农产品计数等。得益于深度学习的快速发展，计数的准确性不断提高。卷积神经网络由于其对图像深度特征的出色的提取能力，而被广泛应用于目标计数中。但传统的深度学习计数方法需要大量的训练数据来学习特定目标的计数模型。训练好的模型泛化性能较差，这极大地限制了计数模型的应用。近年来，为了解决计数模型的泛化问题，研究者提出了小样本计数。
小样本计数是指给定一至多个样本，在图像中寻找与样本相同类别的目标物体，并计数。该模型不要求目标物体是在训练数据中出现过的类别，用户可以在图像中任意指定多个样本，将样本和查询图像输入模型中。模型计算样本和物体相似度，增强目标物体的特征，最后输出查询图像的计数值。如此即可用一个模型来完成不特定类别物体的计数。
现有的小样本计数在泛化性上优于传统的深度学***均相似图。2)样本和查询图像中的目标物体尺度变化大。在密集物体的图像中，由于遮挡、镜头远近等因素影响，样本与目标物体的尺度不一致，导致现有的模型不能很好的解决小目标的计数。
发明内容
本申请的主要目的在于提供一种多尺度计数方法、装置及计算机可读存储介质，旨在解决密集物体的图像中，不能很好的解决小目标的计数的问题。
为实现上述目的，本申请提供一种多尺度计数方法，所述多尺度计数方法包括步骤：
提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图；
控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征，其中，所述目标特征包括查询图像特征和多个样本图像特征；
对所述样本图像特征进行特征融合，输出融合样本图像特征，以及对所述查询图像特征进行特征加强，输出增强查询图像特征；
根据所有的所述样本图像特征对应的所述融合样本图像特征和所述增强查询图像特征构建与所述增强查询图像特征尺寸一致的相似图；
基于所述相似图、所述融合样本图像特征和所述增强查询图像特征构建表示计数值的目标密度图。
可选地，所述对所述样本图像特征进行特征融合，输出融合样本图像特征的步骤包括：
调整所有所述样本图像特征的尺寸一致，得到多个第一样本图像特征；
将所述第一样本图像特征分别卷积，并得到卷积后的多个所述第一样本图像特征的平均值；
将所述平均值与多个所述第一样本图像特征分别进行通道拼接和通道权重加强，输出与多个所述第一样本图像特征对应的共性特征权重；
将所述共性特征权重与多个所述样本图像特征分别进行乘积，得到与多个所述样本图像特征对应的多个融合样本图像特征。
可选地，所述对所述查询图像特征进行特征加强，输出增强查询图像特征的步骤包括：
基于空间自注意力机制，对所述查询图像特征中的目标特征进行特征加强，输出增强查询图像特征。
可选地，所述根据所有的所述样本图像特征对应的所述融合样本图像特征和所述增强查询图像特征构建与所述增强查询图像特征尺寸一致的相似图的步骤包括：
将所述融合样本图像特征与所述增强查询图像特征相卷积，得到与所述增强查询图像特征尺寸一致，且与每一个所述样本图像特征分别对应的相似图。
可选地，所述基于所述相似图、所述融合样本图像特征和所述增强查询图像特征构建表示计数值的目标密度图的步骤包括：
将每一个所述相似图、所述融合样本图像特征与所述增强查询图像特征分别进行通道拼接，得到多个拼接图像特征；
将多个所述拼接图像输入预设回归器中，得到与所述输入图像中的查询图像的尺寸一致的多个目标密度图；
所述得到与所述输入图像中的查询图像的尺寸一致的多个目标密度图的步骤之后，还包括：
对多个所述目标密度图进行计数，得到计数值。
可选地，所述输入图像包括查询图像和样本图像；所述第一特征图包括第一查询特征图和第一样本特征图；所述第二特征图包括第二查询特征图和第二样本特征图；
所述提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图的步骤包括：
分别提取查询图像在不同尺度下的多个第一查询特征图和样本图像在不同尺度下的多个第一样本特征图；
将所述第一查询特征图和所述第一样本特征图进行重点通道权重加强，分别输出在同一所述尺度下的第二查询特征图和第二样本特征图。
可选地，所述控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征的步骤包括：
将所述第一特征图中所述尺度最低的第三特征图连续进行上采样，分别得到与每一个所述第一特征图的尺度相同的第四特征图；
将所述第三特征图以及与所述第三特征相同尺度的第一特征图进行通道拼接，以及将相同尺度的所述第四特征图和所述第二特征图分别进行通道拼接，得到目标特征。
可选地，所述多尺度计数方法还包括：
根据预设损失函数对所述目标密度图进行验证，并根据验证结果对多尺度计算网络进行修正。
此外，为实现上述目的，本发明还提供一种装置，其特征在于，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多尺度计数程序，所述多尺度计数程序被所述处理器执行时实现如上述的多尺度计数方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多尺度计数程序，所述多尺度计数程序被处理器执行时实现如上所述的多尺度计数方法的步骤。
本发明提供一种多尺度计数方法、装置及计算机可读存储介质，所述多尺度计数方法包括步骤：提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图；控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征，其中，所述目标特征包括查询图像特征和多个样本图像特征；对所述样本图像特征进行特征融合，输出融合样本图像特征，以及对所述查询图像特征进行特征加强，输出增强查询图像特征；根据多个所述融合样本图像特征和所述增强查询图像特征，得到与所述增强查询图像特征尺寸一致的多个相似图；基于所述相似图和所述增强查询图像特征，得到表示计数值的密度图。通过上述方法，本发明能够将所有样本的特征进行融合，将多个样本的共同特征融入到单个样本的特征之中，提高样本之间的共性，优化了采用多个样本图像进行计数时，只对其进行简单的求平均相似图的方法；并且通过获得不同尺度下的查询图像特征和样本图像特征，能够解决样本和目标物体尺度不一致的问题。使得能够在密集物体的图像中，在进行小目标计数时，避免由于遮挡、镜头远近等因素影响，导致的样本与目标物体的尺度不一致的问题。能够更加准确的实现小目标的计数。
附图说明
图1是本发明多尺度计数方法实施例方案涉及的硬件运行环境的结构示意图；
图2是本发明多尺度计数方法中一实施例的数据流向示意图；
图3是本发明多尺度计数方法中跨通道自注意力层的数据流向示意图；
图4是本发明多尺度计数方法中计数模块工作的流程示意图；
图5是本发明多尺度计数方法中样本图像特征融合的流程示意图；
图6是本发明多尺度计数方法一实施例的流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为装置。
如图1所示，该终端可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，DVI接口1004，USB接口1005，存储器1006。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。DVI接口1004可选的可以包括标准的有线接口，通过DVI线与其他外部设备连接。USB接口1005可选的可以包括标准的有线接口，通过USB连接线与其他外部设备连接。存储器1006可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1006可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括音频电路等等，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1006中可以包括操作***、DVI接口模块、USB接口模块、用户接口模块以及多尺度计数程序。
在图1所示的终端中，DVI接口1004主要用于连接外部设备，与外部设备进行数据通信；USB接口1005主要用于连接外部设备，与外部设备进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1006中存储的多尺度计数程序，并执行以下操作：
提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图；
控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征，其中，所述目标特征包括查询图像特征和多个样本图像特征；
对所述样本图像特征进行特征融合，输出融合样本图像特征，以及对所述查询图像特征进行特征加强，输出增强查询图像特征；
根据所有的所述样本图像特征对应的所述融合样本图像特征和所述增强查询图像特征构建与所述增强查询图像特征尺寸一致的相似图；
基于所述相似图、所述融合样本图像特征和所述增强查询图像特征构建表示计数值的目标密度图。
本发明装置的具体实施例与下述多尺度计数程序各实施例基本相同，在此不作赘述。
请参阅图6，图6为本发明装置的多尺度计数方法第一实施例的流程示意图，本实施例提供的装置的多尺度计数方法包括如下步骤：
步骤S10，提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图；
请参阅图2，图2本发明多尺度计数***的数据流向示意图，本申请应用于多尺度计数***，多尺度计数***包括特征提取层，跨通道自注意力层，通道拼接模块以及计数模块。其中，特征提取层用于提取第一特征图，具体的，在本实施例中，所述输入图像包括样本图像和查询图像，样本图像和查询图像均通过ResNet卷积神经网络提取特征，并将ResNet不同层的输出分别提取，得到不同尺度下的第一特征图。所述第一特征图包括第一查询特征图和第一样本特征图；所述第二特征图包括第二查询特征图和第二样本特征图；
具体的，在一实施例中，所述步骤S10还包括：
步骤A11，分别提取查询图像在不同尺度下的多个第一查询特征图和样本图像在不同尺度下的多个第一样本特征图；
在本实施例中，所述查询图像即为需要进行计数的对象，所述样本图像即为计数的基础。在本发明中要实现的问题，即为通过样本图像在查询图像中寻找与样本相同类别的目标物体，并计数。不同尺度的特征图，可通过提取ResNet卷积神经网络不同层的输出得到，例如，将(3,H,W)的样本图像输入ResNet卷积神经网络即可在不同输出层，分别提取得到(256,H/4,W/4)、(512,H/8,W/8)、(1024,H/16,W/16)、(2048,H/32,W/32)四个尺度下的第一样本特征图，其中，3、256、512、1024、2048均为图像的通道数，H为图像的长度，W为图像的宽度。
步骤A12，将所述第一查询特征图和所述第一样本特征图进行重点通道权重加强，分别输出在同一所述尺度下的第二查询特征图和第二样本特征图。
请参阅图3，在本实施例中，对第一查询特征图和第一样本特征图进行重点通道的权重加强，能够强化第一查询特征图和第一样本特征图的特征，使其更加突出。具体的，可将第一查询特征图和第一样本特征图输入跨通道自注意力层，跨通道自注意力层包括多层感知机(MLP)和通道自注意力，LN层是指层归一化。跨通道自注意力将4层不同深度的通道结合起来，通过上采样和下采样，使得不同尺度的各层第一查询特征图和第一样本特征图在长度和宽度上统一，随后在通道维度上拼接，通过卷积降低通道数，使其与各层第一查询特征图和第一样本特征图的通道数相一致，以此作为K(Key),V(Value)。将Q(Query)与K作内积，除以相应通道的和，再乘以V。通过层归一化后输出，再和之前的Q相加，通过LN层和MLP层，即可得到跨通道自注意力的输出，即第二查询特征图和第二样本特征图，为图2中的跨通道自注意力层的输出的左半部分。
步骤S20，控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征，其中，所述目标特征包括查询图像特征和多个样本图像特征；
通道拼接就是在通道深度上扩展，比如两个512通道的特征图结合成1024个通道的特征图，通道数增加。本步骤在跨通道自注意力层实现，具体的，
在一实施例中，所述步骤S20还包括：
步骤A21，将所述第一特征图中所述尺度最低的第三特征图连续进行上采样，分别得到与每一个所述第一特征图的尺度相同的第四特征图；
第三特征图即为多个第一特征图中尺度最低的特征图，上采样即为将特征图的尺寸进行放大，具体可以通过反卷积进行上采样，在本实施例中，从最低尺度的第三特征图开始，依次进行上采样，每一次上采样前都要和相应尺度的第二特征图相连接，然后通过卷积层减少通道数，再通过反卷积上采样，得到与每一个第一特征图的尺度相同的第四特征图，例如如图2中所示，第三特征图的最低尺度为(2048,H/32,W/32)，与第一特征图中同样尺度最低的第一特征图进行通道拼接后，再进行一次上采样得到的其中一副第四特征图即为(1024,H/16,W/16)，再与尺度相同的第二特征图进行通道拼接，再进行一次上采样得到的其中一副第四特征图即为(512,H/8,W/8)，再与尺度相同的第二特征图进行通道拼接，再进行一次上采样得到的其中一副第四特征图即为(256,H/4,W/4)。
步骤A22，将所述第三特征图以及与所述第三特征相同尺度的第一特征图进行通道拼接，以及将相同尺度的所述第四特征图和所述第二特征图分别进行通道拼接，得到目标特征。
在本实施例中，在通道拼接模块中，将尺度最低的第三特征图，与同样尺度最低的第一特征图进行通道拼接，以及将相同尺度的第四特征图和第二特征图进行通道拼接，例如图2所示，通道数为2048的第三特征图与2048的第一特征图进行通道拼接，则得到的通道数即为2048×2，通道数为1024的第四特征图与1024的第二特征图进行通道拼接，得到通道数为1024×2。其中，第三特征图包括第三查询特征图和第三样本特征图，第四特征图包括第四查询特征图和第四样本特征图，则分别对应得到的目标特征即为查询图像特征和多个样本图像特征。在得到目标特征之后，将目标特征输入计数模块，以使计数模块进行特征融合和特征加强，并输出目标密度图，具体的，请参阅下述步骤。
步骤S30，对所述样本图像特征进行特征融合，输出融合样本图像特征，以及对所述查询图像特征进行特征加强，输出增强查询图像特征；
在一实施例中，所述步骤S30中的对所述样本图像特征进行特征融合，输出融合样本图像特征的步骤还包括：
步骤A31，调整所有所述样本图像特征的尺寸一致，得到多个第一样本图像特征；
请参阅图4和图5，图4为计数模块的流程示意图，图5为样本图像特征融合示意图。所述尺寸一致，即为样本图像特征的长度和宽度一致，在本实施例中的计数模块中，需将所有的样本图像特征的长宽通过ROI Pooling(池化)操作，调整为一致，便于输入模型训练，得到与样本图像特征一一对应，但尺寸均一致的第一样本图像特征。
步骤A32，将所述第一样本图像特征分别卷积，并得到卷积后的多个所述第一样本图像特征的平均值；
步骤A33，将所述平均值与多个所述第一样本图像特征分别进行通道拼接和通道权重加强，输出与多个所述第一样本图像特征对应的共性特征权重；
步骤A34，将所述共性特征权重与多个所述样本图像特征分别进行乘积，得到与多个所述样本图像特征对应的多个融合样本图像特征。
在本实施例中，需要将每一个第一样本特征各自进行卷积，并得到卷积后的所有第一样本图像特征的平均值。并将平均值将其与单个样本的特征进行通道拼接后再送入卷积层，经过MLP层对通道乘以相应权重，MLP层输出对应样本的共性特征权重，其输出维度与单个样本特征维度相同，再与原先的样本图像特征乘积，即可得到增强共性的多个样本特征。在本实施例中，通过对多个样本图像特征进行融合，使其共同性增强，从而能够更为准确的完成计数。
在一实施例中，所述步骤S30中，所述对所述查询图像特征进行特征加强，输出增强查询图像特征的步骤包括：
步骤A35，对所述查询图像特征中的目标特征进行特征加强，输出增强查询图像特征。
查询图像即为待计数的图像，而目标特征即为存在与查询图像中，需要进行计数的具体特征。增强查询图像特征即为进行了目标特征加强的查询图像特征。查询图像特征通过空间自注意力模块，将加强目标物体的特征，使其与查询图像的背景特征相区分。其中，空间自注意力模块的公式如下：
Figure SMS_1
其中，Xi是图像下采样后在某点的特征，Xi是以Xi为中心的R×R特征空间，R可为任意数，例如2或者3等。例如，图像为5×5的大小，Xi为正中心的点的特征，而X′i即为以正中心的点的周围2×2或者3×3的特征空间。
在本公式中，需将Xi与X′i上的每一点求余弦相似度，随后Softmax归一化，得到Xi与周围特征点的相似图，该相似图作为权重与X′i相乘，通过求和将R×R的加权特征图降维成特征点，然后该特征点再通过卷积层，最后与Xi相加。
步骤S40，根据所有的所述样本图像特征对应的所述融合样本图像特征和所述增强查询图像特征构建与所述增强查询图像特征尺寸一致的相似图；
在一实施例中，所述步骤S40还包括：
步骤A41，将所述融合样本图像特征与所述增强查询图像特征相卷积，得到与所述增强查询图像特征尺寸一致，且与多个所述样本图像特证分别对应的相似图。
通过空间自注意模块得到增强查询图像特征后，紧接着MLP层，与融合样本图像特征相卷积，得到对应多个样本图像特征的相似图，相似图的大小与查询图像特征的大小相一致。
步骤S50，基于所述相似图、所述融合样本图像特征和所述增强查询图像特征构建表示计数值的目标密度图。
在一实施例中，所述步骤S50还包括：
步骤A51，将每一个所述相似图，所述融合样本图像特征与所述增强查询图像特征分别进行通道拼接，得到多个拼接图像特征；
步骤A52，将多个所述拼接图像输入预设回归器中，得到与所述输入图像中的查询图像的尺寸一致的多个目标密度图；
将融合后的样本特征在空间上复制扩展到查询图像特征相同大小，再与相似图，增强查询图像特征在通道维度上拼接，送入由卷积层和双线性上采样层组成的回归器中，使得最后该模块输出的目标密度图和原查询图像的大小相一致。
所述步骤A52之后，还包括：
步骤A53，对多个所述目标密度图进行计数，得到计数值。
对各个计数模块输出的目标密度图求均值，得到平均密度图，最后平均密度图求和即可得到总的计数值；或者也可以直接对所有目标密度图求和，进而得到总的计数值。
本发明提供一种多尺度计数方法，所述多尺度计数方法包括步骤：提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图；控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征，其中，所述目标特征包括查询图像特征和多个样本图像特征；对所述样本图像特征进行特征融合，输出融合样本图像特征，以及对所述查询图像特征进行特征加强，输出增强查询图像特征；根据多个所述融合样本图像特征和所述增强查询图像特征，得到与所述增强查询图像特征尺寸一致的多个相似图；基于所述相似图和所述增强查询图像特征，得到表示计数值的密度图。通过上述方法，本发明能够将所有样本的特征进行融合，将多个样本的共同特征融入到单个样本的特征之中，提高样本之间的共性，优化了采用多个样本图像进行计数时，只对其进行简单的求平均相似图的方法；并且通过获得不同尺度下的查询图像特征和样本图像特征，能够解决样本和目标物体尺度不一致的问题。使得能够在密集物体的图像中，在进行小目标计数时，避免由于遮挡、镜头远近等因素影响，导致的样本与目标物体的尺度不一致的问题。能够更加准确的实现小目标的计数。
进一步地，基于本发明多尺度计数方法的第一实施例提出本发明第二实施例，所述多尺度计数方法还包括：
步骤A60，根据预设损失函数对所述目标密度图进行验证，并根据验证结果对多尺度计算网络进行修正。
具体的，所述验证结果即为误差结果，在误差较大时，对多尺度计算方法所构成的多尺度计算网络进行修正，以达到更加精准的计数值。
在本实施例中，损失函数由以下函数构成：
Figure SMS_2
Lsim＝SSIM(Dg,Dp)+β·LNCE(Dg,Dp)
上式中，Dg表示真实密度图，Dp表示目标密度图，α、β均为系数。式子SSIM表示图像密度结构相似性损失。LNCE是相似性噪声对比估计，将相似图与真实密度图作对比，相似图上对应密度图中元素值大于零的位置划分为正向信号区域i，等于零的位置视为噪声区域j。其函数如下：
Figure SMS_3
在本实施例中，通过损失函数可以对多尺度计数方法所构成的网络进行修正和调整，使得多尺度计数网络可以更加准确的实现小样本的计数。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有多尺度计数程序，所述多尺度计数程序被处理器执行时实现如下操作：
提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图；
控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征，其中，所述目标特征包括查询图像特征和多个样本图像特征；
对所述样本图像特征进行特征融合，输出融合样本图像特征，以及对所述查询图像特征进行特征加强，输出增强查询图像特征；
根据所有的所述样本图像特征对应的所述融合样本图像特征和所述增强查询图像特征构建与所述增强查询图像特征尺寸一致的相似图；
基于所述相似图、所述融合样本图像特征和所述增强查询图像特征构建表示计数值的目标密度图。
进一步地，所述多尺度计数程序被处理器执行时还实现如下操作：
调整所有所述样本图像特征的尺寸一致，得到多个第一样本图像特征；
将所述第一样本图像特征分别卷积，并得到卷积后的多个所述第一样本图像特征的平均值；
将所述平均值与多个所述第一样本图像特征分别进行通道拼接和通道权重加强，输出与多个所述第一样本图像特征对应的共性特征权重；
将所述共性特征权重与多个所述样本图像特征分别进行乘积，得到与多个所述样本图像特征对应的多个融合样本图像特征。
进一步地，所述多尺度计数程序被处理器执行时还实现如下操作：
基于空间自注意力机制，对所述查询图像特征中的目标特征进行特征加强，输出增强查询图像特征。
进一步地，所述多尺度计数程序被处理器执行时还实现如下操作：
将所述融合样本图像特征与所述增强查询图像特征相卷积，得到与所述增强查询图像特征尺寸一致，且与每一个所述样本图像特征分别对应的相似图。
进一步地，所述多尺度计数程序被处理器执行时还实现如下操作：
将每一个所述相似图，所述融合样本图像特征与所述增强查询图像特征分别进行通道拼接，得到多个拼接图像特征；
将多个所述拼接图像输入预设回归器中，得到与所述输入图像中的查询图像的尺寸一致的多个目标密度图；
所述得到与所述输入图像中的查询图像的尺寸一致的多个目标密度图的步骤之后，还包括：
对多个所述目标密度图进行计数，得到计数值。
进一步地，所述多尺度计数程序被处理器执行时还实现如下操作：
分别提取查询图像在不同尺度下的多个第一查询特征图和样本图像在不同尺度下的多个第一样本特征图；
将所述第一查询特征图和所述第一样本特征图进行重点通道权重加强，分别输出在同一所述尺度下的第二查询特征图和第二样本特征图。
进一步地，所述多尺度计数程序被处理器执行时还实现如下操作：
将所述第一特征图中所述尺度最低的第三特征图连续进行上采样，分别得到与每一个所述第一特征图的尺度相同的第四特征图；
将所述第三特征图以及与所述第三特征相同尺度的第一特征图进行通道拼接，以及将相同尺度的所述第四特征图和所述第二特征图分别进行通道拼接，得到目标特征。
进一步地，所述多尺度计数程序被处理器执行时还实现如下操作：
根据预设损失函数对所述目标密度图进行验证，并根据验证结果对多尺度计算网络进行修正。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述计算机可读存储介质可以是图1的装置中的存储器02，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干信息用以使得装置执行本发明各个实施例所述的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多尺度计数方法，其特征在于，所述多尺度计数方法应用于多尺度计数***，所述多尺度计数方法包括步骤：
提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图；
控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征，其中，所述目标特征包括查询图像特征和多个样本图像特征；
对所述样本图像特征进行特征融合，输出融合样本图像特征，以及对所述查询图像特征进行特征加强，输出增强查询图像特征；
根据所有的所述样本图像特征对应的所述融合样本图像特征和所述增强查询图像特征构建与所述增强查询图像特征尺寸一致的相似图；
基于所述相似图、所述融合样本图像特征和所述增强查询图像特征构建表示计数值的目标密度图。
2.如权利要求1所述的多尺度计数方法，其特征在于，所述对所述样本图像特征进行特征融合，输出融合样本图像特征的步骤包括：
调整所有所述样本图像特征的尺寸一致，得到多个第一样本图像特征；
将所述第一样本图像特征分别卷积，并得到卷积后的多个所述第一样本图像特征的平均值；
将所述平均值与多个所述第一样本图像特征分别进行通道拼接和通道权重加强，输出与多个所述第一样本图像特征对应的共性特征权重；
将所述共性特征权重与多个所述样本图像特征分别进行乘积，得到与多个所述样本图像特征对应的多个融合样本图像特征。
3.如权利要求2所述的多尺度计数方法，其特征在于，所述对所述查询图像特征进行特征加强，输出增强查询图像特征的步骤包括：
基于空间自注意力机制，对所述查询图像特征中的目标特征进行特征加强，输出增强查询图像特征。
4.如权利要求3所述的多尺度计数方法，其特征在于，所述根据所有的所述样本图像特征对应的所述融合样本图像特征和所述增强查询图像特征构建与所述增强查询图像特征尺寸一致的相似图的步骤包括：
将所述融合样本图像特征与所述增强查询图像特征相卷积，得到与所述增强查询图像特征尺寸一致，且与每一个所述样本图像特征分别对应的相似图。
5.如权利要求4所述的多尺度计数方法，其特征在于，所述基于所述相似图、所述融合样本图像特征和所述增强查询图像特征构建表示计数值的目标密度图的步骤包括：
将每一个所述相似图、所述融合样本图像特征与所述增强查询图像特征分别进行通道拼接，得到多个拼接图像特征；
将多个所述拼接图像输入预设回归器中，得到与所述输入图像中的查询图像的尺寸一致的多个目标密度图；
所述得到与所述输入图像中的查询图像的尺寸一致的多个目标密度图的步骤之后，还包括：
对多个所述目标密度图进行计数，得到计数值。
6.如权利要求5所述的多尺度计数方法，其特征在于，所述输入图像包括查询图像和样本图像；所述第一特征图包括第一查询特征图和第一样本特征图；所述第二特征图包括第二查询特征图和第二样本特征图；
所述提取输入图像在不同尺度下的多个第一特征图，将所述第一特征图进行重点通道权重加强，输出与所述第一特征图对应的第二特征图的步骤包括：
分别提取查询图像在不同尺度下的多个第一查询特征图和样本图像在不同尺度下的多个第一样本特征图；
将所述第一查询特征图和所述第一样本特征图进行重点通道权重加强，分别输出在同一所述尺度下的第二查询特征图和第二样本特征图。
7.如权利要求6所述的多尺度计数方法，其特征在于，所述控制所述第一特征图和所述第二特征图进行通道拼接，得到目标特征的步骤包括：
将所述第一特征图中所述尺度最低的第三特征图连续进行上采样，分别得到与每一个所述第一特征图的尺度相同的第四特征图；
将所述第三特征图以及与所述第三特征相同尺度的第一特征图进行通道拼接，以及将相同尺度的所述第四特征图和所述第二特征图分别进行通道拼接，得到目标特征。
8.如权利要求7所述的多尺度计数方法，其特征在于，所述多尺度计数方法还包括：
根据预设损失函数对所述目标密度图进行验证，并根据验证结果对多尺度计算网络进行修正。
9.一种装置，其特征在于，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多尺度计数程序，所述多尺度计数程序被所述处理器执行时实现如权利要求1至8中任一项所述的多尺度计数方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多尺度计数程序，所述多尺度计数程序被处理器执行时实现如权利要求1至8中任一项所述的多尺度计数方法的步骤。
CN202211636939.8A 2022-12-19 2022-12-19 多尺度计数方法、装置及计算机可读存储介质 Pending CN116310410A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211636939.8A CN116310410A (zh) 2022-12-19 2022-12-19 多尺度计数方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211636939.8A CN116310410A (zh) 2022-12-19 2022-12-19 多尺度计数方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116310410A true CN116310410A (zh) 2023-06-23

Family

ID=86802042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211636939.8A Pending CN116310410A (zh) 2022-12-19 2022-12-19 多尺度计数方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116310410A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423047A (zh) * 2023-12-19 2024-01-19 深圳须弥云图空间科技有限公司 基于特征图像的计数方法、装置、电子设备及存储介质
CN117809293A (zh) * 2024-03-01 2024-04-02 电子科技大学 一种基于深度神经网络的小样本图像目标计数方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423047A (zh) * 2023-12-19 2024-01-19 深圳须弥云图空间科技有限公司 基于特征图像的计数方法、装置、电子设备及存储介质
CN117809293A (zh) * 2024-03-01 2024-04-02 电子科技大学 一种基于深度神经网络的小样本图像目标计数方法
CN117809293B (zh) * 2024-03-01 2024-05-03 电子科技大学 一种基于深度神经网络的小样本图像目标计数方法

Similar Documents

Publication Publication Date Title
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
CN116310410A (zh) 多尺度计数方法、装置及计算机可读存储介质
CN110148157B (zh) 画面目标跟踪方法、装置、存储介质及电子设备
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN111860398B (zh) 遥感图像目标检测方法、***及终端设备
CN112560980A (zh) 目标检测模型的训练方法、装置及终端设备
CN113674146A (zh) 图像超分辨率
WO2021115061A1 (zh) 图像分割方法、装置及服务器
CN113298032A (zh) 基于深度学习的无人机视角图像的车辆目标检测方法
CN114549913A (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN114494812A (zh) 一种基于改进CenterNet的图像小目标检测方法
Gendy et al. Balanced spatial feature distillation and pyramid attention network for lightweight image super-resolution
CN115457364A (zh) 一种目标检测知识蒸馏方法、装置、终端设备和存储介质
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
WO2022142084A1 (zh) 匹配筛选方法及装置、电子设备、存储介质和计算机程序
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114202648A (zh) 文本图像矫正方法、训练方法、装置、电子设备以及介质
CN117372604A (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
CN114565953A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Yang et al. Feature similarity rank-based information distillation network for lightweight image superresolution
CN112232360A (zh) 图像检索模型优化方法、图像检索方法、装置及存储介质
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium
CN115908314A (zh) 一种基于从像素到全局双边指导网络的少样本缺陷检测方法
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN116229143A (zh) 一种图像处理方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination