CN116416507A - 多目标图像检测方法、装置、计算机设备及介质 - Google Patents

多目标图像检测方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN116416507A
CN116416507A CN202211666635.6A CN202211666635A CN116416507A CN 116416507 A CN116416507 A CN 116416507A CN 202211666635 A CN202211666635 A CN 202211666635A CN 116416507 A CN116416507 A CN 116416507A
Authority
CN
China
Prior art keywords
feature
image
target
detection
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211666635.6A
Other languages
English (en)
Inventor
刘文龙
曾卓熙
肖嵘
王孝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202211666635.6A priority Critical patent/CN116416507A/zh
Publication of CN116416507A publication Critical patent/CN116416507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像检测技术领域，尤其涉及一种多目标图像检测方法、装置、计算机设备及介质。该方法获取待检测图像，待检测图像包括至少一个检测目标；通过目标检测网络中的特征提取模块对待检测图像进行特征提取，得到至少一个图像特征；通过特征融合模块对所有图像特征进行特征融合，得到融合图像特征；通过特征预测模块的预设数量的分支对融合图像特征进行预测，得到目标检测结果；分支的输出层尺度为输入层的1/2；采用子像素卷积层上采样。本发明在目标中心周围构造子区域，尺寸分支和偏移分支从该区域提取采样点作为目标点，提高了模型收敛速度。特征预测模块将输出特征扩大到1/2尺度，且使用子像素卷积上采样，提高了对小目标的检测效果。

Description

多目标图像检测方法、装置、计算机设备及介质
技术领域
本发明涉及图像检测技术领域，尤其涉及一种多目标图像检测方法、装置、计算机设备及介质。
背景技术
目标检测作为计算机视觉中重要的研究领域，具有广泛的研究方向。计算机视觉主要包括目标检测、目标跟踪、图像处理、目标识别、姿态分析等方面。如在目标检测中，在一些拥挤的场景中难以对存在遮挡的行人进行检测跟踪。
现有技术中，主流深度学习的目标检测算法分为两类：基于锚框和基于无锚框两类，锚框方法即是在输入图像上预设一些大小一定的矩形框，但是会存在一些问题，如预设的矩形框过多，计算量会加大从而导致速度变慢。
CenterNet是基于无锚框的深度神经网络识别算法，该算法根据检测框的中心点来检测物体，仅需要一个关键点定位对象，网络结构更加简单，但收敛速度慢，难以训练，需要漫长的训练过程，而且对小目标检测效果不好。
因此如何提高CenterNet网络的收敛速度以及对小目标检测效果成为了亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种多目标图像检测方法、装置、计算机设备及介质，以解决收敛速度慢以及对小目标检测效果不佳的问题。
第一方面，本发明实施例提供一种多目标图像检测方法，包括：
获取至少一张待检测图像，所述待检测图像包括至少一个检测目标；
获取目标检测网络，通过所述目标检测网络中的特征提取模块对所有所述待检测图像中的检测目标进行特征提取，得到与所述待检测图像中检测目标对应的至少一个图像特征；
通过所述目标检测网络中的特征融合模块对与同一所述检测目标对应的所有所述图像特征进行多尺度特征融合，得到与所述检测目标对应的融合图像特征；
通过所述目标检测网络中的特征预测模块的预设数量的分支对所有所述融合图像特征进行预测处理，得到与所述待检测图像对应的目标检测结果；所述分支的输出层尺度为输入层的1/2；所述特征预测模块采用子像素卷积层上采样。
第二方面，本发明实施例提供一种多目标图像检测装置，包括：
图像获取模块，用于获取至少一张待检测图像，所述待检测图像包括至少一个检测目标；
特征提取模块，用于获取目标检测网络，通过所述目标检测网络中的特征提取模块对所有所述待检测图像中的检测目标进行特征提取，得到与所述待检测图像中检测目标对应的至少一个图像特征；
特征融合模块，用于通过所述目标检测网络中的特征融合模块对与同一所述检测目标对应的所有所述图像特征进行多尺度特征融合，得到与所述检测目标对应的融合图像特征；
检测结果模块，用于通过所述目标检测网络中的特征预测模块的预设数量的分支对所有所述融合图像特征进行预测处理，得到与所述待检测图像对应的目标检测结果；所述分支的输出层尺度为输入层的1/2；所述特征预测模块采用子像素卷积层上采样。
第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的多目标图像检测方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的多目标图像检测方法。
本发明实施例与现有技术相比存在的有益效果是：
获取至少一张待检测图像，待检测图像包括至少一个检测目标；获取目标检测网络，通过目标检测网络中的特征提取模块对所有待检测图像中的检测目标进行特征提取，得到至少一个图像特征；通过目标检测网络中的特征融合模块对所有图像特征进行多尺度特征融合，得到融合图像特征；通过目标检测网络中的特征预测模块的预设数量的分支对所有融合图像特征进行预测处理，得到与待检测图像对应的目标检测结果；分支的输出层尺度为输入层的1/2；特征预测模块采用子像素卷积层上采样。本发明通过目标检测网络对待检测图像中的检测目标进行多尺度特征提取，实现了对不同尺度下图像特征的提取，进而通过特征融合模块将不同尺度下同一检测目标的图像特征进行融合，实现了对融合图像特征的确定。通过特征预测模块的分支对融合图像特征分别进行热图预测、尺寸预测和偏移预测，实现了对待检测图像中检测目标的检测。进而通过特征预测模块将输出特征扩大到1/2尺度，且使用子像素卷积层上采样，提高了对小目标的检测效果，增强了网络对小尺寸目标的感知能力，克服了在检测小目标时存在的缺陷。进一步地，本发明通过高斯核函数在目标中心周围构造子区域，热图分支、尺寸分支和偏移分支从该区域提取采样点作为目标点，提高了模型收敛速度，大大减少了模型训练时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种多目标图像检测方法的流程示意图；
图2是本发明实施例二提供的一种目标检测网络训练方法的流程示意图；
图3是本发明实施例三提供的一种多目标图像检测装置的结构示意图；
图4是本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
参见图1，是本发明实施例一提供的一种多目标图像检测方法的流程示意图，如图1所示，该多目标图像检测方法可以包括以下步骤：
步骤S10，获取至少一张待检测图像，所述待检测图像包括至少一个检测目标。
可理解地，待检测图像为需要对图像中的人物进行检测。检测目标为待检测图像中的人物图像。每个待检测图像中包括至少一个检测目标，如在人群密集处拍照会有多个人物，每个人物为一个检测目标。待检测图像可以为从不同数据库中采集得到的，也可以是从客户端发送到数据库中的预先准备好的，亦或者可以是从不同网站上采集得到的。待检测图像可以为人物图像，亦可以根据图像检测需求设定为除人物图像之外的其他图像。
步骤S20，获取目标检测网络，通过所述目标检测网络中的特征提取模块对所有所述待检测图像中的检测目标进行特征提取，得到与所述待检测图像中检测目标对应的至少一个图像特征。
可理解地，目标检测网络为通过大量样本图像数据训练得到的，是基于CenterNet网络结构改进得到的。图像特征为表征检测目标不同尺度的特征。
具体地，调取训练完成的目标检测网络，将所有待检测图像输入到目标检测网络中，通过目标检测网络中的特征提取模块对所有待检测图像中的检测目标进行特征提取，即通过特征提取模块中多个下采样层根据不同尺度依次对待检测图像中的检测目标进行下采样，得到每个检测目标在不同尺度下的图像特征。在通过前n-1层下采样层对检测目标进行特征提取时，每个尺度下输出两个图像特征，一个图像特征用于后续采样层的特征提取，另一个图像特征跳跃传输到特征融合模块对应的尺度单元。直至最后一层下采样层输出一个图像特征，即可得到检测目标的多个不同尺度的图像特征。示例性地，当目标检测网络包括四层下采样层时，分别采用步距为4、8、16和32的尺度，也即依次在不同尺度下对检测目标进行特征提取，得到四个不同尺度下的图像特征。
步骤S30，通过所述目标检测网络中的特征融合模块对与同一所述检测目标对应的所有所述图像特征进行多尺度特征融合，得到与所述检测目标对应的融合图像特征。
可理解地，融合图像特征为通过多尺度特征融合将同一检测目标的图像特征融合得到的。
具体地，对特征提取模块最后一层尺度下的图像特征进行上采样处理，并将该尺度下的图像特征上采样至特征提取模块提取的图像特征的2倍，使得上采样后的尺度和特征提取模块中倒数第二层的图像特征尺度相同，并将上采样后的图像特征和跳跃传输的倒数第二层图像特征进行融合，也即下一尺度经过上采样后的图像特征与跳跃传输的相同尺度的图像特征逐像素相加融合，即可得到融合特征，如此，直至上采样后的图像特征和特征提取模块中第一上采样层提取的图像特征融合，即可得到与检测目标对应的融合图像特征。
步骤S40，通过所述目标检测网络中的特征预测模块的预设数量的分支对所有所述融合图像特征进行预测处理，得到与所述待检测图像对应的目标检测结果；所述分支的输出层尺度为输入层的1/2；所述特征预测模块采用子像素卷积层上采样。
可理解地，目标检测结果为热图分支、尺寸分支和偏移分支分别预测得到的结果。热图分支、尺寸分支和偏移分支的输出层尺度为输入层的1/2。热图分支、尺寸分支和偏移分支采用子像素卷积层(sub-pixel convolution)上采样。
具体地，通过特征预测模块中的预设数量的分支分别对每个检测目标的融合图像特征进行热图预测、尺度预测和偏移预测，即通过热图分支对融合图像特征进行热图预测，也即通过每一个目标的宽高值在该目标中心周围构造高斯热力区域，并将输出层的尺度扩展到输入层的1/2，即可得到检测目标的热图检测结果。通过尺寸分支对融合图像特征进行尺寸预测，也即通过高斯核函数在目标中心周围构造子区域，选取高斯热力区域中采样点作为目标点，并将输出层的尺度扩展到输入层的1/2，对目标的尺寸大小进行预测，得到检测目标的尺寸检测结果。通过偏移分支对融合图像特征进行中心点偏移量预测，也即选取每一个目标的高斯热力区域中采样点作为目标点，并将输出层的尺度扩展到输入层的1/2，对待检测图像中每个目标的中心点偏移量进行计算，得到检测目标的偏移检测结果。
本实施例中通过特征预测模块的预设数量的分支对融合图像特征分别进行热图预测、尺寸预测和偏移预测，实现了对待检测图像中检测目标的检测，进而通过特征预测模块将输出特征扩大到1/2尺度，且使用子像素卷积层上采样，提高了对小目标的检测效果，增强了网络对小尺寸目标的感知能力，克服了在检测小目标时存在的缺陷。进一步地，本发明通过高斯核函数在目标中心周围构造子区域，热图分支、尺寸分支和偏移分支从该区域提取采样点作为目标点，提高了模型收敛速度，减少了模型训练时间。
在一实施例中，步骤S20中，也即通过所述目标检测网络中的特征提取模块对所有所述待检测图像中的检测目标进行特征提取，得到与所述待检测图像中检测目标对应的至少一个图像特征，包括：
S201，通过所述特征提取模块中的第一下采样层对所述待检测图像进行下采样处理，得到第一图像特征。
可理解地，每个下采样层的特征提取尺度不同。第一图像特征为第一下采样层在第一个尺度下对检测目标提取特征得到的。
具体地，将待检测图像输入到目标检测网络中，通过目标检测网络中的特征提取模块对待检测图像中检测目标的图像特征进行提取，也即经过7*7的卷积核对待检测图像中检测目标的图像特征进行卷积，并通过归一层的归一化处理和激活函数的激活处理，得到卷积图像特征。对卷积图像特征进行深度卷积处理，也即先通过1*1的卷积核对卷积图像特征进行降维处理，得到低维图像特征；通过3*3的卷积核对低维图像特征进行特征提取，得到提取图像特征，然后通过1*1的卷积核对提取图像特征进行升维，即恢复到原来的维度。并对恢复维度的图像特征进行最大值池化，即对图像特征进行压缩，即可得到检测目标的第一图像特征。
S202，通过所述特征提取模块中的第二下采样层对所述第一图像特征进行下采样处理，得到第二图像特征。
S203，通过所述特征提取模块中的第三下采样层对所述第二图像特征进行下采样处理，得到第三图像特征。
S204，通过所述特征提取模块中的第四下采样层对所述第三图像特征进行下采样处理，得到第四图像特征。
可理解地，第二图像特征为对第一图像特征进行特征提取得到的。第三图像特征为对第二图像特征进行特征提取得到的。第四图像特征为对第三图像特征进行特征提取得到的。
具体地，通过第二下采样层在第二个尺度下对第一图像特征进行下采样，即对第一图像特征进行深度卷积处理，也即先通过1*1的卷积核对第一图像特征进行降维处理，再通过3*3的卷积核对低维图像特征进行特征提取，然后通过1*1的卷积核对提取的图像特征进行升维，即恢复到原来的维度，对恢复维度的图像特征进行最大值池化处理，即可得到第二图像特征。其中，一个第二图像特征用于后续采样层的特征提取，一个第二图像特征跳跃连接到特征融合模块，用于不同尺度的特征融合。第三下采样层和第二下采样层相同，在第三个尺度下提取特征，在此不再赘述。如此，直至最后一层下采样层，在第四个尺度下对第三图像特征进行深度卷积，即上述先降维再卷积最后升维，对升维后的图像特征进行最大值池化，即可得到第四图像特征。
本实施例中通过不同尺度的下采样层对检测目标进行特征提取，实现了对不同尺度下检测目标的图像特征的提取，进而下采样层使用较小的卷积核可以节约不少的计算机内存。通过将不同尺度下的图像特征传输到特征融合模块进行融合，减少了特征提取过程中信息的损失。
在一实施例中，步骤S30中，也即通过所述目标检测网络中的特征融合模块对与同一所述检测目标对应的所有所述图像特征进行多尺度特征融合，得到与所述检测目标对应的融合图像特征，包括：
S301，通过所述特征融合模块中的第一上采样层对所述第四图像特征进行上采样处理，得到第一上采样特征；并将所述第一上采样特征和所述第三图像特征进行特征融合，得到第一融合特征。
可理解地，第一上采样特征为第一上采样层对第四图像特征上采样得到的。
第一融合特征为第四图像特征上采样后与第三图像特征融合得到的。
具体地，在得到第四图像特征之后，通过特征融合模块中的第一上采样层5对第四图像特征进行上采样处理，并将第四图像特征上采样到原来尺度的2倍，
与第三图像特征的尺度相同，即可得到第一上采样特征。并将第一上采样特征与尺度相同的第三图像特征进行融合，也即下一尺度经过上采样后的图像特征与特征提取模块提取的相同尺度的图像特征逐像素相加融合，即可得到第一融合特征。
0S302，通过所述特征融合模块中的第二上采样层对所述第一融合特征进行上采样处理，得到第二上采样特征；并将所述第二上采样特征和所述第二图像特征进行特征融合，得到第二融合特征。
可理解地，第二上采样特征为第二上采样层对第一融合特征上采样得到的。
第二融合特征为第一融合特征上采样后与第二图像特征融合得到的。
5具体地，通过特征融合模块中的第二上采样层对第一融合特征进行上采样，
也即采用预设上采样方式对第一融合特征进行上采样，并将第一融合特征上采样到原来尺度的2倍，与第二图像特征的尺度相同。例如，第一融合特征的尺度为4x4，上采样后的尺度为8x8。将两个相同尺度的图像特征进行逐像素相加，
也即将第二上采样特征和第二图像特征进行特征融合，即可得到第二融合特征。0S303，通过所述特征融合模块中的第三上采样层对所述第二融合特征进行上采样处理，得到第三上采样特征；并将所述第三上采样特征和所述第一图像特征进行特征融合，得到与各所述检测目标对应的融合图像特征。
可理解地，第三上采样特征为第三上采样层对第二融合特征上采样得到的。
第二融合特征为第二融合特征上采样后与第一图像特征融合得到的。
5具体地，通过特征融合模块中的第三上采样层对第二融合特征进行上采样，
也即将第二融合特征上采样到原来第二融合特征尺度的2倍，也即与第一图像特征的尺度相同，并将第三上采样特征和第一图像特征进行特征融合，将第三上采样特征和第一图像特征逐像素相加融合，如此，通过多次上采样将不同尺度的图像特征进行逐像素融合，从而得到检测目标的融合图像特征。
0本实施例中通过特征融合模块对不同尺度下的图像特征进行逐像素融合，实现了将不同尺度下的图像特征融合，进而实现了对每个检测目标的融合图像特征的确定。进一步地，减少了特征提取过程中信息的损失，增加了不同尺度中的特征信息，提升了对小尺寸目标的检测效果。
在一实施例中，步骤S40中，也即通过所述目标检测网络中的特征预测模块的预设数量的分支对所有所述融合图像特征进行预测处理，得到与所述待检测图像对应的目标检测结果，包括：
步骤S401，通过所述热图分支对所述融合图像特征进行热图预测，得到与所述检测目标对应的热图检测结果。
可理解地，热图检测结果为待检测图像中每个检测目标的热力图。每个分支将输出层的尺度扩展到输入层的1/2尺度。
具体地，在得到融合图像特征之后，将融合图像特征分别输入到预设数量的分支中，通过热图分支对融合图像特征进行热图预测，通过热图分支的两个卷积层对融合图像特征进行卷积处理，得到卷积特征。再根据卷积特征的大小对目标的中心点坐标进行计算，并对计算结果取整数，确定为中心点。根据检测目标的融合图像特征大小计算高斯圆的半径，并在热力图上，以中心点为圆心，半径为高斯圆的半径填充高斯函数计算值，即中心点为最大值，沿着半径向外按高斯函数(正态分布)递减。
步骤S402，通过所述尺寸分支对所述融合图像特征进行尺寸预测，得到与所述检测目标对应的尺寸检测结果。
可理解地，尺寸检测结果为待检测图像中每个检测目标的宽和高。
具体地，通过尺寸分支对融合图像特征进行尺寸预测，即通过尺寸分支对融合图像特征的宽和高进行预测，也即通过高斯核函数在目标中心周围构造一个子区域，从该区域提取密集的采样点作为目标点。其中，可采用与热图分支相同的高斯热力区域计算方式，根据每一个检测目标的宽高值在该检测目标中心周围构造高斯热力区域。进一步地，经过卷积后，通过子像素卷积层对第二卷积特征进行上采样处理，即将图像特征中每个像素的r^2个通道重新排列成一个r*r的区域，也即大小为H*W*r^2的图像特征重新排列成rH*rW*1的高分辨率图像，即可得到待检测图像中每个目标的尺寸检测结果。
步骤S403，通过所述偏移分支对所述融合图像特征进行偏移预测，得到与所述检测目标对应的偏移检测结果。
可理解地，偏移检测结果为待检测图像中每个检测目标的偏移量。
具体地，通过偏移分支对融合图像特征进行偏移预测，即通过偏移分支对融合图像特征的中心偏移量进行计算，通过高斯核函数在检测目标中心周围构造一个子区域，可采用与热图分支相同的高斯热力区域计算方式，偏移分支从该区域提取密集的采样点作为目标点。通过偏移分支的第一卷积层(3*3的卷积核)对融合图像特征进行卷积处理，再通过偏移分支的第二卷积层(1*1的卷积核)对第一次卷积后的特征进行卷积，得到第二卷积特征，通过子像素卷积层对第二卷积特征进行上采样处理，得到通道数为r^2的图像特征。如此，再通过偏移分支对预测层尺度与检测目标尺度的中心位置偏差进行计算，从而得到检测目标的偏移检测结果。
进一步地，假设检测目标的中心点在输入层的位置为(15，30)，其宽高分别为(8，5)，按照输出层的尺度为输入层的1/4计算，该目标中心点在输出层的映射中心位置为(3.75，7.5)，改进前的算法只将采样点(3，7)作为尺寸分支和偏移分支的正样本，其尺寸分支的目标为(2，1.25)，偏移分支的目标为(0.75，0.5)。而改进方法将该中心的高斯子区域的其他采样点作为尺寸分支和偏移分支的正样本，比如高斯子区域内有一采样点(2，6)，其尺寸分支的目标为(2，1.25)，但偏移分支的目标修正为(1.75，1.5)。
本实施例中通过预设数量的不同分支分别对待检测图像中检测目标的热力图进行计算、检测目标的尺寸大小进行计算和检测目标的中心偏移量进行计算，实现了对热图检测结果的确定、对尺寸检测结果的确定以及对偏移检测结果的确定。特征预测模块中最后一层使用sub-pixel convolution层上采样，提高了对小尺寸目标的检测效果。
在一实施例中，步骤S401中，也即通过所述热图分支对所述融合图像特征进行热图预测，得到与所述检测目标对应的热图检测结果，包括：
S4011，通过所述热图分支的第一卷积层对所述融合图像特征进行深度卷积处理，得到第一卷积特征。
S4012，通过所述热图分支的第二卷积层对所述第一卷积特征进行卷积处理，得到第二卷积特征。
S4013，通过所述热图分支的上采样层对所述第二卷积特征进行热图预测，得到热图检测结果。
可理解地，第一卷积特征为热图分支的第一卷积层对融合图像特征深度卷积得到的。第二卷积特征为热图分支的第二卷积层对第一卷积特征卷积得到的。热图检测结果为热图分支的上采样层对第二卷积特征热图预测得到的热力图。
具体地，将融合图像特征输入到热图分支中，通过热图分支的第一卷积层对融合图像特征进行深度卷积处理，也即通过3*3的卷积核对融合图像特征进行深度卷积，即可得到第一卷积特征。通过热图分支的第二卷积层对第一卷积特征进行卷积处理，也即通过1*1的卷积核对第一卷积特征进行卷积，得到第二卷积特征。然后通过热图分支的上采样层(子像素卷积层)对第二卷积特征进行热图预测，也即将通道数扩展到原来的r*r倍，并将宽高维度的信息压缩到通道维度，将输出层尺度扩展到输入层的1/2，再通过热力图计算，即可得到热图检测结果。其中，插值函数包含在前面的卷积层中，只在上采样层对图像大小做变换。当检测目标属于同一类别，在同一张热力图上。当检测目标不属于同一类别，，则在多张热力图上。
本实施例中通过热图分支对融合图像特征进行热力图计算，实现了对待检测图像中每个目标的热图检测结果的确定。通过将输出特征由原1/4尺度表征扩大到1/2的尺度，且特征预测模块最后一层使用sub-pixel convolution层上采样，提高了对小目标的检测效果，克服了在检测小目标时存在的缺陷。
参见图2，是本发明实施例二提供的一种目标检测网络训练方法的流程示意图，对预设训练模型的训练过程的步骤包括：
步骤S501，获取样本训练数据集，所述样本训练数据集包括至少一个样本图像、与所述样本图像对应的样本热图标签、样本尺寸标签和样本偏移标签。
可理解地，样本图像可以是从不同的客户端上获取得到，也可以是从不同的数据库中采集得到预先准备好的，每一张样本图像对应一个样本热图标签、样本尺寸标签和样本偏移标签，样本热图标签是表征样本图像的实际高斯热力区域，样本尺寸标签是表征样本图像中目标的实际大小，样本偏移标签是表征样本图像的高斯热力区域偏离中心点的实际距离。进而根据获取到的样本图像、样本热图标签、样本尺寸标签和样本偏移标签构建样本训练数据集。
步骤S502，获取预设训练模型，通过所述预设训练模型的特征提取模块对所述样本图像进行特征提取，得到与各所述样本图像对应的样本图像特征。
可理解地，预设训练模型为提前设置构建的训练模型，该预设训练模型是基于改进的Centernet网络构建的。样本图像特征为用于表征样本图像的局部图像。样本融合特征为将不同尺度的图像特征融合得到的。
具体地，在获取目标检测网络之前，调取预设训练模型，并将所有样本图像输入到预设训练模型中，通过预设训练模型的特征提取模块对样本图像进行特征提取，也即根据不同尺度的下采样层对样本图像依次进行特征提取，并将前n-1个不同尺度的下采样层输出两个样本图像特征，一个样本图像特征跳跃到特征融合模块中，一个样本图像特征用于后续采样层的特征提取。直至最后一个尺度的下采样层输出的一个样本图像特征，即可得到样本图像在不同尺度下的样本图像特征。
步骤S503，通过所述预设训练模型的特征融合模块对所述样本图像特征进行特征融合，得到样本融合特征。
可理解地，样本融合特征为将多个不同尺度进行融合得到的。
具体地，对最后一个尺度提取的样本图像特征进行上采样，也即将样本图像特征上采样到原来样本图像特征的两倍，得到与倒数第二个尺度相同的尺度。再将最后一尺度提取的样本图像特征经过上采样后的图像特征与特征提取模块提取的相同尺度的样本图像特征逐像素相加融合，得到样本融合特征。直至将上采样后的图像特征和特征提取模块第一个下采样层提取的样本图像特征进行逐像素相加融合后，即可得到与样本图像对应的样本融合特征。
步骤S504，通过所述预设训练模型的特征预测模块对所述样本融合特征进行特征预测，得到预测热图标签、预测尺寸标签和预测偏移标签。
可理解地，预测热图标签为对样本融合特征进行热力图预测得到的。预测尺寸标签为对样本融合特征进行尺寸预测得到的。预测偏移标签为对样本融合特征中心点的偏移量进行预测得到的。
具体地，将样本融合特征分别输入预设数量的不同的分支中，即通过热图分支对样本融合特征进行热图预测，也即通过每一个目标的宽高值在该目标中心周围构造高斯热力区域，并将输出层的尺度扩展到输入层的1/2，即可得到预测热图标签。通过尺寸分支对样本融合特征进行尺寸预测，也即通过高斯核函数在目标中心周围构造子区域，选取高斯热力区域中采样点作为样本点，并将输出层的尺度扩展到输入层的1/2，即可得到预测尺寸标签。通过偏移分支对样本融合特征进行中心点偏移量预测，也即选取高斯热力区域中采样点作为样本点，对样本图像中目标的中心点偏移量进行预测，并将输出层的尺度扩展到输入层的1/2，即可得到预测偏移标签。
步骤S505，根据与同一所述样本图像对应的所述样本热图标签、所述样本尺寸标签、所述样本偏移标签、所述预测热图标签、所述预测尺寸标签和所述预测偏移标签，确定所述预设训练模型的预测损失值。
可理解地，预测损失值为在对预设训练模型进行训练过程中生成的。
具体地，根据与同一样本图像对应的样本热图标签和预测热图标签，确定该样本图像的热图损失，并根据所有样本图像的热图损失，确定热图分支的第一损失值。根据与同一样本图像对应的样本尺寸标签和预测尺寸标签，确定该样本图像的尺寸损失，并根据所有样本图像的尺寸损失，确定尺寸分支的第二损失值。根据与同一样本图像对应的样本偏移标签和预测偏移标签，确定该样本图像的偏移损失，并根据所有样本图像的偏移损失，确定偏移分支的第三损失值。再根据每个分支对应的损失权重，对预设训练模型的整体损失进行计算，即可得到预设训练模型的预测损失值。
步骤S506，在所述预测损失值达到收敛条件时，将收敛之后的所述预设训练模型确定为目标检测网络。
可理解地，收敛条件可以为预测损失值小于设定阈值的条件，还可以为预测损失值经过了500次计算后值为很小且不会再下降的条件。
具体地，在得到预测损失值之后，在预测损失值未达到预设的收敛条件时，通过该预测损失值调整预设训练模型的初始参数，并将所有样本图像重新输入至调整初始参数的预设训练模型中，通过样本图像对调整初始参数的预设训练模型重新训练，得到与调整初始参数的预设训练模型对应的预测损失值。使得再次调整初始参数的预设训练模型的预测损失值达到预设的收敛条件。如此，使得预设训练模型输出的结果可以不断向准确地结果靠拢，让模型的预测准确率越来越高，直至预设训练模型的预测损失值达到预设的收敛条件时，将收敛后的预设训练模型记录为目标检测网络。
本实施例中通过大量的样本图像对预设训练模型进行训练，并通过损失函数计算每个分支的损失值，实现了对预测损失值的计算。并根据预测损失值对预设训练模型的初始参数进行多次调整，直至预设训练模型收敛，实现了对目标检测网络的构建，提高了模型收敛的速度，进而确保了目标检测网络有较高的预测准确率。
在一实施例中，步骤S505中，也即根据与同一所述样本图像对应的所述样本热图标签、所述样本尺寸标签、所述样本偏移标签、所述预测热图标签、所述预测尺寸标签和所述预测偏移标签，确定所述预设训练模型的预测损失值中包括：
步骤S5051，根据与同一所述样本图像对应的所述样本热图标签和所述预测热图标签，确定热图分支的第一损失值。
可理解地，第一损失值为热图分支对样本融合特征热图预测过程中生成的。
具体地，将样本图像的预测热图标签按照样本训练数据集中样本图像的顺序进行排列，进而将与样本图像对应的样本热图标签，与序列相同的预测热图标签进行比较；也即按照样本图像排序，将位于第一的样本图像的样本热图标签，与位于第一的样本图像的预测热图标签进行比较，通过损失函数计算样本热图标签与预测热图标签之间的损失值；进而将位于第二的样本图像的样本热图标签，与位于第二的样本图像的预测热图标签进行比较，直至预测热图标签与样本热图标签比较完成，即可确定热图分支的第一损失值。
步骤S5052，根据与同一所述样本图像对应的所述样本尺寸标签和所述预测尺寸标签，确定尺寸分支的第二损失值。
可理解地，第二损失值为尺寸分支对样本融合特征尺寸预测过程中生成的。
具体地，将样本图像的预测尺寸标签按照样本训练数据集中样本图像的顺序进行排列，进而将与样本图像对应的样本尺寸标签，与序列相同的预测尺寸标签进行比较；也即按照样本图像排序，将位于第一的样本图像的样本尺寸标签，与位于第一的样本图像的预测尺寸标签进行比较，通过损失函数计算样本尺寸标签与预测尺寸标签之间的损失值，直至预测尺寸标签与样本尺寸标签比较完成，即可确定预设训练模型中尺寸分支的第二损失值。其中，选取高斯热力区域中采样的样本点，将所有采样的样本点作为尺寸分支训练的正样本，参与尺寸分支的损失计算，并根据采样点的高斯热力值赋予不同的权重。
步骤S5053，根据与同一所述样本图像对应的所述样本偏移标签和所述预测偏移标签，确定偏移分支的第三损失值。
可理解地，第三损失值为偏移分支对样本融合特征偏移预测过程中生成的。
具体地，将样本图像的预测偏移标签按照样本训练数据集中样本图像的顺序进行排列，进而将与样本图像对应的样本偏移标签，与序列相同的预测偏移标签进行比较；也即按照样本图像排序，将位于第一的样本图像的样本偏移标签，与位于第一的样本图像的预测偏移标签进行比较，通过损失函数计算样本偏移标签与预测偏移标签之间的损失值，直至预测偏移标签与样本偏移标签比较完成，即可确定预设训练模型中偏移分支的第三损失值。其中，选取高斯热力区域中采样的样本点作为正样本，计算每一个采样点到所对应的目标中心点在特征预测模块的映射中心位置的偏移距离，作为该采样点的偏移目标值。每一采样点的偏移损失，参与偏移分支的损失计算，根据采样点的高斯热力值赋予不同的权重。
步骤S5054，根据所述热图分支的第一损失值、所述尺寸分支的第二损失值和所述偏移分支的第三损失值，确定所述预设训练模型的预测损失值。
具体地，通过每个分支预设的权重值对模型的整体损失值进行计算，即将每个分支的权重值与分支的损失值进行相乘，也即将热图分支的第一损失值和热图分支的权重值相乘，将尺寸分支的第二损失值和尺寸分支的权重值相乘，将偏移分支的第三损失值和偏移分支的权重值相乘，如此，再将每个分支的损失计算结果相加，即可得到预设训练模型的预测损失值。其中，每个分支的权重值和损失函数可以相同，也可以不同，可以根据实际情况进行调整。
本实施例中通过同一样本图像对应的真实标签和预测标签计算每个分支的损失值，实现了对每个分支的损失值的确定。通过每个分支在预设训练模型中的不同权重值对预设训练模型的整体损失值进行计算，实现了预测损失值的确定，进而提高了目标检测网络的准确性。
应理解，以上实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
参见图3，提供一种多目标图像检测装置，该多目标图像检测装置与上述实施例多目标图像检测方法一一对应。该多目标图像检测装置包括图像获取模块11、特征提取模块12、特征融合模块13和检测结果模块14。各功能模块详细说明如下：
图像获取模块11，用于获取至少一张待检测图像，所述待检测图像包括至少一个检测目标；
特征提取模块12，用于获取目标检测网络，通过所述目标检测网络中的特征提取模块对所有所述待检测图像中的检测目标进行特征提取，得到与所述待检测图像中检测目标对应的至少一个图像特征；
特征融合模块13，用于通过所述目标检测网络中的特征融合模块对与同一所述检测目标对应的所有所述图像特征进行多尺度特征融合，得到与所述检测目标对应的融合图像特征；
检测结果模块14，用于通过所述目标检测网络中的特征预测模块的预设数量的分支对所有所述融合图像特征进行预测处理，得到与所述待检测图像对应的目标检测结果；所述分支的输出层尺度为输入层的1/2；所述特征预测模块采用子像素卷积层上采样。
可选的是，每个下采样层的特征提取尺度不同；
上述特征提取模块12包括：
第一下采样单元，用于通过所述特征提取模块中的第一下采样层对所述待检测图像进行下采样处理，得到第一图像特征；
第二下采样单元，用于通过所述特征提取模块中的第二下采样层对所述第一图像特征进行下采样处理，得到第二图像特征；
第三下采样单元，用于通过所述特征提取模块中的第三下采样层对所述第二图像特征进行下采样处理，得到第三图像特征；
第四下采样单元，用于通过所述特征提取模块中的第四下采样层对所述第三图像特征进行下采样处理，得到第四图像特征。
可选的是，上述特征融合模块13包括：
第一上采样单元，用于通过所述特征融合模块中的第一上采样层对所述第四图像特征进行上采样处理，得到第一上采样特征；并将所述第一上采样特征和所述第三图像特征进行特征融合，得到第一融合特征；
第二上采样单元，用于通过所述特征融合模块中的第二上采样层对所述第一融合特征进行上采样处理，得到第二上采样特征；并将所述第二上采样特征和所述第二图像特征进行特征融合，得到第二融合特征；
第三上采样单元，用于通过所述特征融合模块中的第三上采样层对所述第二融合特征进行上采样处理，得到第三上采样特征；并将所述第三上采样特征和所述第一图像特征进行特征融合，得到与所述检测目标对应的融合图像特征。
可选的是，上述检测结果模块14包括：
热图预测单元，用于通过所述热图分支对所述融合图像特征进行热图预测，得到与所述检测目标对应的热图检测结果；
尺寸预测单元，用于通过所述尺寸分支对所述融合图像特征进行尺寸预测，得到与所述检测目标对应的尺寸检测结果；
偏移预测单元，用于通过所述偏移分支对所述融合图像特征进行偏移预测，得到与所述检测目标对应的偏移检测结果。
上述热图预测单元包括：
第一卷积子单元，用于通过所述热图分支的第一卷积层对所述融合图像特征进行深度卷积处理，得到第一卷积特征；
第二卷积子单元，用于通过所述热图分支的第二卷积层对所述第一卷积特征进行卷积处理，得到第二卷积特征；
热图检测子单元，用于通过所述热图分支的上采样层对所述第二卷积特征进行热图预测，得到热图检测结果。
可选的是，上述多目标图像检测装置还包括：
样本获取模块，用于获取样本训练数据集，所述样本训练数据集包括至少一个样本图像、与所述样本图像对应的样本热图标签、样本尺寸标签和样本偏移标签；
样本图像特征模块，用于获取预设训练模型，通过所述预设训练模型的特征提取模块对所述样本图像进行特征提取，得到与各所述样本图像对应的样本图像特征；
样本特征融合模块，用于通过所述预设训练模型的特征融合模块对所述样本图像特征进行特征融合，得到样本融合特征；
样本特征预测模块，用于通过所述预设训练模型的特征预测模块对所述样本融合特征进行特征预测，得到预测热图标签、预测尺寸标签和预测偏移标签；
损失预测模块，用于根据与同一所述样本图像对应的所述样本热图标签、所述样本尺寸标签、所述样本偏移标签、所述预测热图标签、所述预测尺寸标签和所述预测偏移标签，确定所述预设训练模型的预测损失值；
模型收敛模块，用于在所述预测损失值达到收敛条件时，将收敛之后的所述预设训练模型确定为目标检测网络。
可选的是，上述损失预测模块包括：
第一损失单元，用于根据与同一所述样本图像对应的所述样本热图标签和所述预测热图标签，确定热图分支的第一损失值；
第二损失单元，用于根据与同一所述样本图像对应的所述样本尺寸标签和所述预测尺寸标签，确定尺寸分支的第二损失值；
第三损失单元，用于根据与同一所述样本图像对应的所述样本偏移标签和所述预测偏移标签，确定偏移分支的第三损失值；
整体损失单元，用于根据所述热图分支的第一损失值、所述尺寸分支的第二损失值和所述偏移分支的第三损失值，确定所述预设训练模型的预测损失值。
需要说明的是，上述模块、单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图4为本发明实施例四提供的一种计算机设备的结构示意图。如图4所示，该实施例的计算机设备包括：至少一个处理器(图4中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个多目标图像检测方法实施例中的步骤。
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图4仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作***和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
本发明实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多目标图像检测方法，其特征在于，包括：
获取至少一张待检测图像，所述待检测图像包括至少一个检测目标；
获取目标检测网络，通过所述目标检测网络中的特征提取模块对所有所述待检测图像中的检测目标进行特征提取，得到与所述待检测图像中检测目标对应的至少一个图像特征；
通过所述目标检测网络中的特征融合模块对与同一所述检测目标对应的所有所述图像特征进行多尺度特征融合，得到与所述检测目标对应的融合图像特征；
通过所述目标检测网络中的特征预测模块的预设数量的分支对所有所述融合图像特征进行预测处理，得到与所述待检测图像对应的目标检测结果；所述分支的输出层尺度为输入层的1/2；所述特征预测模块采用子像素卷积层上采样。
2.根据权利要求1所述的多目标图像检测方法，其特征在于，所述特征预测模块的分支包括热图分支、尺寸分支和偏移分支；
所述通过所述目标检测网络中的特征预测模块的预设数量的分支对所有所述融合图像特征进行预测处理，得到与所述待检测图像对应的目标检测结果，包括：
通过所述热图分支对所述融合图像特征进行热图预测，得到与所述检测目标对应的热图检测结果；
通过所述尺寸分支对所述融合图像特征进行尺寸预测，得到与所述检测目标对应的尺寸检测结果；
通过所述偏移分支对所述融合图像特征进行偏移预测，得到与所述检测目标对应的偏移检测结果。
3.根据权利要求2所述的多目标图像检测方法，其特征在于，所述通过所述热图分支对所述融合图像特征进行热图预测，得到与所述检测目标对应的热图检测结果，包括：
通过所述热图分支的第一卷积层对所述融合图像特征进行深度卷积处理，得到第一卷积特征；
通过所述热图分支的第二卷积层对所述第一卷积特征进行卷积处理，得到第二卷积特征；
通过所述热图分支的上采样层对所述第二卷积特征进行热图预测，得到热图检测结果。
4.根据权利要求1所述的多目标图像检测方法，其特征在于，所述通过所述目标检测网络中的特征提取模块对所有所述待检测图像中的检测目标进行特征提取，得到与所述待检测图像中检测目标对应的至少一个图像特征，包括：
通过所述特征提取模块中的第一下采样层对所述待检测图像进行下采样处理，得到第一图像特征；
通过所述特征提取模块中的第二下采样层对所述第一图像特征进行下采样处理，得到第二图像特征；
通过所述特征提取模块中的第三下采样层对所述第二图像特征进行下采样处理，得到第三图像特征；
通过所述特征提取模块中的第四下采样层对所述第三图像特征进行下采样处理，得到第四图像特征；
其中，每个下采样层的特征提取尺度不同。
5.根据权利要求4所述的多目标图像检测方法，其特征在于，所述通过所述目标检测网络中的特征融合模块对与同一所述检测目标对应的所有所述图像特征进行多尺度特征融合，得到与所述检测目标对应的融合图像特征，包括：
通过所述特征融合模块中的第一上采样层对所述第四图像特征进行上采样处理，得到第一上采样特征；并将所述第一上采样特征和所述第三图像特征进行特征融合，得到第一融合特征；
通过所述特征融合模块中的第二上采样层对所述第一融合特征进行上采样处理，得到第二上采样特征；并将所述第二上采样特征和所述第二图像特征进行特征融合，得到第二融合特征；
通过所述特征融合模块中的第三上采样层对所述第二融合特征进行上采样处理，得到第三上采样特征；并将所述第三上采样特征和所述第一图像特征进行特征融合，得到与所述检测目标对应的融合图像特征。
6.根据权利要求1所述的多目标图像检测方法，其特征在于，所述获取目标检测网络之前，包括：
获取样本训练数据集，所述样本训练数据集包括至少一个样本图像、与所述样本图像对应的样本热图标签、样本尺寸标签和样本偏移标签；
获取预设训练模型，通过所述预设训练模型的特征提取模块对所述样本图像进行特征提取，得到与各所述样本图像对应的样本图像特征；
通过所述预设训练模型的特征融合模块对所述样本图像特征进行特征融合，得到样本融合特征；
通过所述预设训练模型的特征预测模块对所述样本融合特征进行特征预测，得到预测热图标签、预测尺寸标签和预测偏移标签；
根据与同一所述样本图像对应的所述样本热图标签、所述样本尺寸标签、所述样本偏移标签、所述预测热图标签、所述预测尺寸标签和所述预测偏移标签，确定所述预设训练模型的预测损失值；
在所述预测损失值达到收敛条件时，将收敛之后的所述预设训练模型确定为目标检测网络。
7.根据权利要求6所述的多目标图像检测方法，其特征在于，所述根据与同一所述样本图像对应的所述样本热图标签、所述样本尺寸标签、所述样本偏移标签、所述预测热图标签、所述预测尺寸标签和所述预测偏移标签，确定所述预设训练模型的预测损失值，包括：
根据与同一所述样本图像对应的所述样本热图标签和所述预测热图标签，确定热图分支的第一损失值；
根据与同一所述样本图像对应的所述样本尺寸标签和所述预测尺寸标签，确定尺寸分支的第二损失值；
根据与同一所述样本图像对应的所述样本偏移标签和所述预测偏移标签，确定偏移分支的第三损失值；
根据所述热图分支的第一损失值、所述尺寸分支的第二损失值和所述偏移分支的第三损失值，确定所述预设训练模型的预测损失值。
8.一种多目标图像检测装置，其特征在于，包括：
图像获取模块，用于获取至少一张待检测图像，所述待检测图像包括至少一个检测目标；
特征提取模块，用于获取目标检测网络，通过所述目标检测网络中的特征提取模块对所有所述待检测图像中的检测目标进行特征提取，得到与所述待检测图像中检测目标对应的至少一个图像特征；
特征融合模块，用于通过所述目标检测网络中的特征融合模块对与同一所述检测目标对应的所有所述图像特征进行多尺度特征融合，得到与所述检测目标对应的融合图像特征；
检测结果模块，用于通过所述目标检测网络中的特征预测模块的预设数量的分支对所有所述融合图像特征进行预测处理，得到与所述待检测图像对应的目标检测结果；所述分支的输出层尺度为输入层的1/2；所述特征预测模块采用子像素卷积层上采样。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的多目标图像检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多目标图像检测方法。
CN202211666635.6A 2022-12-23 2022-12-23 多目标图像检测方法、装置、计算机设备及介质 Pending CN116416507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211666635.6A CN116416507A (zh) 2022-12-23 2022-12-23 多目标图像检测方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211666635.6A CN116416507A (zh) 2022-12-23 2022-12-23 多目标图像检测方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN116416507A true CN116416507A (zh) 2023-07-11

Family

ID=87050424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211666635.6A Pending CN116416507A (zh) 2022-12-23 2022-12-23 多目标图像检测方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN116416507A (zh)

Similar Documents

Publication Publication Date Title
CN110765860B (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN111860398B (zh) 遥感图像目标检测方法、***及终端设备
CN107944450B (zh) 一种车牌识别方法及装置
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN110852285A (zh) 对象检测方法、装置、计算机设备和存储介质
JP2021508123A (ja) リモートセンシング画像認識方法、装置、記憶媒体及び電子機器
CN107392189B (zh) 用于确定无人车的驾驶行为的方法和装置
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN110688524B (zh) 视频检索方法、装置、电子设备及存储介质
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN110781980B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN111192678B (zh) 病理显微图像诊断、模型训练方法、装置、设备及介质
CN110991310B (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN111310758A (zh) 文本检测方法、装置、计算机设备和存储介质
CN111274999A (zh) 数据处理、图像处理方法、装置及电子设备
CN111797971A (zh) 应用卷积神经网络进行数据处理的方法、装置和电子***
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN116994000A (zh) 零件边缘特征提取方法和装置、电子设备及存储介质
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN116416507A (zh) 多目标图像检测方法、装置、计算机设备及介质
CN112509052B (zh) 黄斑中心凹的检测方法、装置、计算机设备和存储介质
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和***
CN109657523B (zh) 一种可行驶区域检测方法和装置
CN113807354A (zh) 图像语义分割方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication