CN113837058B - 一种耦合上下文聚合网络的轻量化雨水篦子检测方法 - Google Patents

一种耦合上下文聚合网络的轻量化雨水篦子检测方法 Download PDF

Info

Publication number
CN113837058B
CN113837058B CN202111102992.5A CN202111102992A CN113837058B CN 113837058 B CN113837058 B CN 113837058B CN 202111102992 A CN202111102992 A CN 202111102992A CN 113837058 B CN113837058 B CN 113837058B
Authority
CN
China
Prior art keywords
image
module
rainwater grate
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111102992.5A
Other languages
English (en)
Other versions
CN113837058A (zh
Inventor
车明亮
曹鑫亮
杨帆
郭有志
李凯隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202111102992.5A priority Critical patent/CN113837058B/zh
Publication of CN113837058A publication Critical patent/CN113837058A/zh
Application granted granted Critical
Publication of CN113837058B publication Critical patent/CN113837058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，包括图像预处理‑参数初始化‑生成数据集‑构建雨水篦子检测模型‑模型训练与预测‑掩膜处理‑后处理7个步骤，在构建雨水篦子检测模型中，以轻量化的卷积模块和Fire模块为基础，设计了骨架网络耦合上下文信息的模型结构。在模型预测时考虑了雨水篦子空间分布先验概率以进一步提高雨水篦子检测精度。检测方法具有较高的实时性，轻量化的网络架构减少了计算资源消耗量，缩短了模型加载和前馈时间，提升了运算速度。

Description

一种耦合上下文聚合网络的轻量化雨水篦子检测方法
技术领域
本发明涉及图像目标检测领域，具体为一种耦合注意力和上下文的轻量化小目标检测方法。
背景技术
雨水篦子是指位于不透水层用于排水的长方形器具，能够对雨水起到过滤，对滞留雨水中的体积较大的污物，如树叶、塑料袋、纸壳、食品垃圾等起到截留作用。然而，雨水篦子在长时间使用后会出现不同程度的缺损和变形以致产生安全隐患，在连续暴雨天气中，还会增加道路雨水截留，产生雨涝隐患，因此需要定期维护和更换。在城市道路中，雨水篦子的铺设与当地降雨量，道路宽度和道路面积等因素有关。在雨水篦子后期维护中，需要定期核查原有道路和新增道路中雨水篦子的位置、数量和状态。面对大范围的城市道路，目标检测技术是快速、低成本获取雨水篦子基本信息的主要手段。
现阶段，深度学习是目标检测技术的重要方向，并出现了两阶段模型和单阶段模型。前者通过提取建议区和对其进行分类完成检测任务，其代表性方法包括R-CNN系列模型，如R-CNN、Fast R-CNN、Faster R-CNN(Girshick等，2014；Girshick等，2015；Ren等，2015)等和SPP Net模型(He等，2015)。后者不需要提取建议区，只利用单一网络即可直接快速输出目标类别和相应的位置，其代表性模型包括单发多框检测(Single Shot MultiboxDetector，SSD)模型(Liu等，2016)和YOLO(You Only Look Once)系列模型V1-V5(Redmon等，2016；Redmon等，2017；Redmon等，2018；Bochkovskiy等，2020)。两阶段模型的检测精度通常较高，但实时性较差，单阶段模型则刚好相反。然而无论哪种模型在小尺寸目标物方面的检测性能都不高，都与检测大目标物的性能差距甚大。
雨水篦子就是这样的小目标，在无人机或街景车拍摄的街景图像中，雨水篦子在单幅图像中的面积占比通常非常小。以百度地图街景图像为例，雨水篦子的面积占比平均不到8‰，远小于VOC 2007数据集中的最小目标物水瓶(Bottle)的尺寸(平均面积占比约为5％)。因此，面对如此小尺寸的雨水篦子检测，现有的深度学习模型具有较大的局限性。另外，雨水篦子在投入使用后会出现不同程度的退变，在真实场景中还可能遭受阴影遮挡，树叶和垃圾遮盖，石缝杂草侵占，道路交通标线涂盖等现象。这些现象会减弱雨水篦子与背景物的区分特征，进一步增加其检测难度。尽管目前出现了一些先进技术，比如特征金字塔(Lin等，2017)，注意力机制(Wang等，2017；Woo等，2018)和上下文信息(Lin等，2019)等可被用于耦合到模型中以提高检测精度。但使用这些技术通常会提高模型的算力复杂度，增加模型的参数量，延长模型训练和运行时间。在考虑降低计算资源，保持同等检测精度，特别是面向嵌入式设备中，轻量化的检测方法有着更高的检测效率。因此，这需要对现有技术作进一步的技术优化。
发明内容
发明目的：本发明的目的是为了解决现有技术中的不足，提供了一种耦合上下文聚合网络的轻量化雨水篦子检测方法，以解决现有的雨水篦子检测方法中存在的漏检率和误检率较高，模型参数量较大，运行效率低下等技术问题。
技术方案：本发明所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，包括以下步骤：
(1)图像预处理：根据获取的街景图像数据，利用图像标注工具在街景图像中标注雨水篦子位置，生成雨水篦子图像-标签数据；利用图像处理技术，对街景图像进行增强处理；
(2)参数初始化：对检测方法中涉及到的参数进行初始化；
(3)生成数据集：对步骤1的图像-标签数据进行图像-标签筛选，确保图像数据和标签数据一一对应；根据步骤2设置的初始参数，对图像进行尺寸调整和通道归一化，将标签数据转化为格网数据；根据训练样本和测试样本经验性比值将数据集划分为训练数据和测试数据；根据训练数据生成雨水篦子空间分布先验概率图；
(4)构建雨水篦子检测模型：模型框架主要包括骨架网络和上下文聚合网络两部分，骨架网络由轻量级的Conv1模块，一系列串联的Block模块和Regressor模块构成；上下文聚合网络由浅层的上下文特征图和深层的目标特征图进行通道聚合构成；利用上下文聚合网络，可以将浅层的目标物细节信息和深层的目标物语义信息相融合，从而减缓目标物信息在网络传递中的衰减，特别是小目标物信息；
(5)模型训练与预测：根据步骤2设置的初始参数，使用步骤3中生成的训练数据来训练检测模型直到收敛，记录并保存最优的模型权重；训练结束后，通过加载最优的模型权重，利用步骤4中构建的检测模型进行雨水篦子预测；
(6)掩膜处理：根据模型预测的结果，利用雨水篦子空间分布先验概率图对其进行掩膜处理得到掩膜后的边框结果；
(7)后处理：根据步骤2设置的初始参数，对步骤6的边框进行非极大值抑制去重处理，对边框的坐标进行空间变换，将其还原为图像绝对坐标，并使用步骤3中得到的测试数据进行测试。
优选的，在步骤(1)中，获取的街景图像数据包含近2000幅高清彩色图像，其分辨率为1024*512像素；该街景图像数据中的场景主要包括道路、人行道、行道树、道路隔离带、雨水篦子和建筑物；其中雨水篦子主要分布在道路两侧和人行横道上游，在整幅图像中的面积占比非常小，平均值仅为5‰，图像标注工具采用开源注释工具LabelMe，标签数据保存格式为JSON或XML；图像增强方法主要涉及图像去噪，图像锐化和图像均衡化操作；图像去噪方法主要采用卷积核为3×3的中值滤波消除椒盐噪声；图像锐化主要使用4领域的拉普拉斯算子Laplace Operator突出地物轮廓；图像均衡化方法主要为全局直方图均衡化，以此保持图像各区域亮度一致性及提高部分区域图像清晰度。
优选的，在步骤(2)中，需要初始化的参数主要包括：分类数量CLS_NUM＝1，格子尺寸S＝7，每个格子预测的边框数B＝2，图像尺寸IMG_SIZE＝448，批次大小BATCH_SIZE＝8，学习率LR＝2*10-4，损失阈值LOSS_THR＝50，置信度阈值CONF_THR＝0.8，交并比阈值IOU_THR＝0.5。
优选的，在上述步骤(3)中，根据设置的图像尺寸IMG_SIZE对图像数据按最近邻域法进行重采样并对标签数据进行尺寸变换；图像数据经通道归一化后可转换为值域为[-1,1]的张量；根据设置的格网数S将标签数据转化为格网数据，同时将标签边框坐标由图像绝对坐标变换为格网相对坐标；根据训练数据，统计雨水篦子在图像中出现的空间位置信息，绘制雨水篦子的空间分布先验概率图。优选的，在步骤(4)中，骨架网络主要由Conv1模块、Block1模块、Block2模块、Block3模块、Block4模块和Regressor模块串联构成；上下文聚合网络Feature Fusion模块连接在Conv1模块、Block1模块和Block4模块后面；
在Conv1模块中，卷积核为3的基础卷积操作和跨度为2的最大池化操作将对输入特征图进行4倍的降采样。
在基础卷积模块Conv中，卷积运算、BatchNorm批量归一化和ReLU线性映射构成了三层网络模块；
Block模块以SqueezeNet模型的Fire模块为基础单元，通过堆积不同的Fire模块和连接池化层构建有效的Block；Fire模块包括压缩层和扩展层两部分；压缩层由一组连续的1×1卷积组成，扩展层则是由一组连续的1×1卷积和一组连续的3×3卷积拼接组成；使用1×1卷积和3×3卷积的特殊组合可以大幅度降低参数量；其中，Block1和Block2具有相同的结构，均包含2个Frie模块和1个最大池化层；它们的区别在于通道数不同；经过Block1和Block2操作，输入图像的空间尺寸分别降为原尺寸的1/8和1/16；Block3包含4个Frie模块和1个最大池化层，用于进一步增加网络深度；经过Block3操作，输入图像的空间尺寸分别降为原尺寸的1/32；Block4包含2个Frie模块和1个全局平均池化层，用于将特征图空间尺寸降低到目标特征图大小；
在上下文聚合网络中，上下文特征图分别经过1×1卷积模块，3×3卷积模块，全局平均池化和通道聚合后形成聚合特征图；其中卷积模块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成；采用1×1卷积操作是为了降低上下文特征图的通道数，即将其缩减为目标特征图通道数的r倍，r取值为[0.1,0.5]，这样处理是为了确保上下文信息的数量不会遮盖目标特征图本身；采用3×3卷积操作是进行第一次下采样；全局平均池化操作是进行直接下采样；最后，对上下文特征图进行通道聚合，形成聚合特征图，并和目标特征图再次进行通道聚合，送入回归器Regressor进行处理；
Regressor模块由三层串联的1×1卷积模块和Sigmoid函数组成；其中卷积块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成；目标特征图经过回归器处理后，会得到空间大小为S×S，通道数为C的特征图向量；类似YOLO模型的设计思路，每个特征向量包含了B个预测边框和一个分类概率；其中B个预测边框分别用来预测B个目标，如果边框有重叠，视为一个目标，且每个边框均为5维向量，它包含目标存在概率conf、左上角坐标(x,y)和目标尺寸(w,h)；若检测目标包含CLS_NUM类，因此通道数C为B*5+CLS_NUM。
优选的，在步骤(5)中，训练模型的优化器采用RMSprop算法，学习率衰减采用等间隔调整StepLR策略；当检测模型的损失函数值低于损失阈值LOSS_THR时，训练结束，保存模型参数。
优选的，在步骤(6)中，通过读取雨水篦子空间分布先验概率图，并对其进行图像二值化生成掩膜图；利用掩膜图对模型预测的边框结果，即特征图向量，按M算子进行乘积运算最终得到掩膜边框结果；M算子定义如下：
Figure GDA0003685035420000051
式中，V为特征图中第i行，第j列的特征向量，b为边框号，conf为边框中的置信概率；P为掩膜图中第u行，第v列的先验概率值。
优选的，在步骤(7)中，NMS去重处理首先筛选置信度高于阈值CONF_THR的边框，再依据交并比阈值IOU_THR，去除高重合率的边框。边框的坐标变换由格网的相对坐标变换为图像的绝对坐标。
与现有技术相比，本发明揭示了一种耦合注意力和上下文的轻量化小目标检测方法，具有如下有益效果：
相比于现有的一些检测方法，本发明的有益效果包括以下几点。
1)本发明以轻量化的卷积模块和Fire模块为基础，设计了骨架网络耦合上下文信息的模型结构；与此同时，在模型预测时考虑了雨水篦子空间分布先验概率因素，因此本发明显著提高了目标检测精度；利用该方法检测雨水篦子的平均精度(Average precision，AP)可达0.79，其中召回率(Recall)达到0.87，精准率(Precision)达到0.91，相比YOLO模型提高了12％的精度，相比VGG-YOLO模型提高了1％的精度，相比SSD模型提高了15％的精度。
2)本发明设计的模型框架主要由1×1卷积和3×3卷积模块构成，因此模型的参数是轻量化的，模型的权重文件只有13.98MB，仅是YOLO模型的6％，为VGG-Yolo模型的23％，是SSD模型的15％。
3)本发明设计的检测方法具有较高的实时性，轻量化的网络架构减少了计算资源消耗量，缩短了模型加载和前馈时间，提升了运算速度。本发明设计的检测方法的帧频(Frames Per Second，FPS)可达56，相比YOLO模型提高了11，相比VGG-Yolo模型提高了45，相比SSD模型提高了22。
附图说明
图1为本发明的流程示意图；
图2为本发明实施例中的雨水篦子空间分布先验概率图；
图3为本发明设计的雨水篦子检测模型结构图；
图4为本发明设计的雨水篦子检测模型包含的模块结构图；
图5为本发明设计的雨水篦子检测模型包含的上下文聚合网络结构图；
图6为本发明设计的掩膜处理过程图；
图7为本发明检测雨水篦子的实际效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种耦合上下文聚合网络的轻量化雨水篦子检测方法，如图1所示，具体步骤包括如下：
(1)图像预处理：根据获取的街景图像数据，利用图像标注工具在街景图像中标注雨水篦子位置，生成雨水篦子图像-标签数据。利用图像处理技术，对街景图像进行增强处理。
(2)参数初始化：对检测方法中涉及到的参数进行初始化；
(3)生成数据集：对步骤1的图像-标签数据进行图像-标签筛选，确保图像数据和标签数据一一对应。根据步骤2设置的初始参数，对图像进行尺寸调整和通道归一化，将标签数据转化为格网数据。根据训练样本和测试样本经验性比值将数据集划分为训练数据和测试数据。根据训练数据生成雨水篦子空间分布先验概率图；
(4)构建雨水篦子检测模型：模型框架主要包括骨架网络和上下文聚合网络两部分。骨架网络由轻量级的Conv1模块，一系列串联的Block模块和Regressor模块构成。上下文聚合网络由浅层的上下文特征图和深层的目标特征图进行通道聚合构成。利用上下文聚合网络，可以将浅层的目标物细节信息和深层的目标物语义信息相融合，从而减缓目标物信息在网络传递中的衰减，特别是小目标物信息。
(5)模型训练与预测：根据步骤2设置的初始参数，使用步骤3中生成的训练数据来训练检测模型直到收敛，记录并保存最优的模型权重。训练结束后，通过加载最优的模型权重，利用本发明构建的检测模型进行雨水篦子预测；
(6)掩膜处理：根据模型预测的结果，利用雨水篦子空间分布先验概率图对其进行掩膜处理得到掩膜后的边框结果。
(7)后处理：根据步骤2设置的初始参数，对步骤6的边框进行非极大值抑制(Non-Maximum Suppression，NMS)去重处理，对边框的坐标进行空间变换，将其还原为图像绝对坐标，并使用步骤3中得到的测试数据进行测试。
进一步的优选的，在上述步骤(1)中，获取的街景图像数据包含近2000幅高清彩色图像，其分辨率为1024*512像素。该街景图像数据中的场景主要包括道路、人行道、行道树、道路隔离带和建筑物等等。其中雨水篦子主要分布在道路两侧和人行横道上游，在整幅图像中的面积占比非常小(平均值仅为5‰)。所使用的图像标注工具不唯一，在本实施例中使用开源注释工具LabelMe，标签数据保存格式为JSON或XML；。图像增强方法主要涉及图像去噪，图像锐化和图像均衡化等操作。图像去噪方法主要采用卷积核为3×3的中值滤波消除椒盐噪声。图像锐化主要使用4领域的拉普拉斯算子(Laplace Operator)突出地物轮廓。图像均衡化方法主要为全局直方图均衡化，以此保持图像各区域亮度一致性及提高部分区域图像清晰度；
进一步的优选的，在上述步骤(2)中，需要初始化的参数主要包括：分类数量CLS_NUM＝1，格子尺寸S＝7，每个格子预测的边框数B＝2，图像尺寸IMG_SIZE＝448，批次大小BATCH_SIZE＝8，学习率LR＝2*10-4，损失阈值LOSS_THR＝50，置信度阈值CONF_THR＝0.8，交并比阈值IOU_THR＝0.5等；
进一步的优选的，在上述步骤(3)中，根据设置的图像尺寸IMG_SIZE对图像数据按最近邻域法进行重采样并对标签数据进行尺寸变换。图像数据经通道归一化后可转换为值域为[-1,1]的张量。根据设置的格网数S将标签数据转化为格网数据，同时将标签边框坐标由图像绝对坐标变换为格网相对坐标。训练样本和测试样本比例保持在8:2。根据训练数据，统计雨水篦子在图像中出现的空间位置信息，绘制雨水篦子的空间分布先验概率图，如图2所示；
进一步的优选的，在上述步骤(4)中，骨架网络由Conv1模块、Block1模块、Block2模块、Block3模块、Block4模块和Regressor模块等串联构成，如图3所示。上下文聚合网络Feature Fusion连接在Conv1模块，Block1模块和Block4模块后面，如图3所示。
在Conv1模块中，卷积核为3的基础卷积(Conv)操作和跨度为2的最大池化操作将对输入特征图进行4倍的降采样，如图4a所示。
在基础卷积模块Conv中，卷积运算、BatchNorm批量归一化和ReLU线性映射构成了三层网络模块，如图4f所示。
Block模块以SqueezeNet模型(Iandola等，2017)的Fire模块为基础单元，通过堆积不同的Fire模块和连接池化层构建有效的Block。Fire模块包括压缩层和扩展层两部分。压缩层由一组连续的1×1卷积组成，扩展层则是由一组连续的1×1卷积和一组连续的3×3卷积拼接组成。使用1×1卷积和3×3卷积的特殊组合可以大幅度降低参数量。在本发明中，Block1和Block2具有相同的结构，均包含2个Frie模块和1个最大池化层。它们的区别在于通道数不同，如图4b所示。经过Block1和Block2操作，输入图像的空间尺寸分别降为原尺寸的1/8和1/16。Block3包含4个Frie模块和1个最大池化层，用于进一步增加网络深度，如图4c所示。经过Block3操作，输入图像的空间尺寸分别降为原尺寸的1/32。Block4包含2个Frie模块和1个全局平均池化层，用于将特征图空间尺寸降低到目标特征图大小，如图4d所示。
在上下文聚合网络中，上下文特征图分别经过1×1卷积模块，3×3卷积模块，全局平均池化和通道聚合后形成聚合特征图，如图5所示。其中卷积模块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成，如图4f所示。采用1×1卷积操作是为了降低上下文特征图的通道数，即将其缩减为目标特征图通道数的r倍，r取值为[0.1,0.5]，这样处理是为了确保上下文信息的数量不会遮盖目标特征图本身。采用3×3卷积操作是进行第一次下采样。全局平均池化操作是进行直接下采样。最后，对上下文特征图进行通道聚合，形成聚合特征图，并和目标特征图再次进行通道聚合，送入回归器Regressor进行处理。
Regressor模块由三层串联的1×1卷积模块和Sigmoid函数组成，如图4e所示。其中卷积块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成，如图4f所示。目标特征图经过回归器处理后，会得到空间大小为S×S，通道数为C的特征图向量。类似YOLO模型(Redmon等，2016)的设计思路，每个特征向量包含了B个预测边框和一个分类概率。其中B个预测边框分别用来预测B个目标(如果边框有重叠，视为一个目标)，且每个边框均为5维向量，它包含目标存在概率conf、左上角坐标(x,y)和目标尺寸(w,h)。若检测目标包含CLS_NUM类，因此通道数C为B*5+CLS_NUM；
进一步的优选的，在上述步骤(5)中，训练模型的优化器采用RMSprop算法，学习率衰减采用等间隔调整StepLR策略。当检测模型的损失函数值低于损失阈值LOSS_THR时，训练结束，保存模型参数。
进一步的优选的，在上述步骤(6)中，通过读取雨水篦子空间分布先验概率图，并对其进行图像二值化处理生成掩膜图。利用掩膜图对模型预测的边框结果(即特征图向量)按M算子进行乘积运算最终得到掩膜边框结果，如图6所示。M算子定义如下：
Figure GDA0003685035420000091
式中，V为特征图中第i行，第j列的特征向量，b为边框号，conf为边框中的置信概率。P为掩膜图中第u行，第v列的先验概率值。
进一步的优选的，在上述步骤(7)中，NMS去重处理首先筛选置信度高于阈值CONF_THR的边框，再依据交并比阈值IOU_THR，去除高重合率的边框。边框的坐标变换由格网的相对坐标变换为图像的绝对坐标。
经过上述步骤处理后，本发明设计的检测方法检测雨水篦子的实际效果如图7所示(黑框为检测值，白框为真实值)。可以看出，在两种场景中，本发明设计的检测方法都较好地检测出了雨水篦子。

Claims (7)

1.一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：包括以下步骤：
(1)图像预处理：根据获取的街景图像数据，利用图像标注工具在街景图像中标注雨水篦子位置，生成雨水篦子图像-标签数据；利用图像处理技术，对街景图像进行增强处理；
(2)参数初始化：对检测方法中涉及到的参数进行初始化；
(3)生成数据集：对步骤1的图像-标签数据进行图像-标签筛选，确保图像数据和标签数据一一对应；根据步骤2设置的初始参数，对图像进行尺寸调整和通道归一化，将标签数据转化为格网数据；根据训练样本和测试样本经验性比值将数据集划分为训练数据和测试数据；根据训练数据生成雨水篦子空间分布先验概率图；
(4)构建雨水篦子检测模型：模型框架包括骨架网络和上下文聚合网络两部分，骨架网络由轻量级的Conv1模块，一系列串联的Block模块和Regressor模块构成；上下文聚合网络由浅层的上下文特征图和深层的目标特征图进行通道聚合构成；利用上下文聚合网络，可以将浅层的目标物细节信息和深层的目标物语义信息相融合，从而减缓目标物信息在网络传递中的衰减；骨架网络由Conv1模块、Block1模块、Block2模块、Block3模块、Block4模块和Regressor模块串联构成；上下文聚合网络Feature Fusion模块连接在Conv1模块、Block1模块和Block4模块后面；
在Conv1模块中，卷积核为3的基础卷积操作和跨度为2的最大池化操作将对输入特征图进行4倍的降采样；
在基础卷积模块Conv中，卷积运算、BatchNorm批量归一化和ReLU线性映射构成了三层网络模块；
Block模块以SqueezeNet模型的Fire模块为基础单元，通过堆积不同的Fire模块和连接池化层构建有效的Block；Fire模块包括压缩层和扩展层两部分；压缩层由一组连续的1×1卷积组成，扩展层则是由一组连续的1×1卷积和一组连续的3×3卷积拼接组成；使用1×1卷积和3×3卷积的特殊组合可以大幅度降低参数量；其中，Block1和Block2具有相同的结构，均包含2个Frie模块和1个最大池化层；它们的区别在于通道数不同；经过Block1和Block2操作，输入图像的空间尺寸分别降为原尺寸的1/8和1/16；Block3包含4个Frie模块和1个最大池化层，用于进一步增加网络深度；经过Block3操作，输入图像的空间尺寸分别降为原尺寸的1/32；Block4包含2个Frie模块和1个全局平均池化层，用于将特征图空间尺寸降低到目标特征图大小；
在上下文聚合网络中，上下文特征图分别经过1×1卷积模块，3×3卷积模块，全局平均池化和通道聚合后形成聚合特征图；其中卷积模块仍由卷积运算、
BatchNorm批量归一化和ReLU线性映射构成；采用1×1卷积操作是为了降低上下文特征图的通道数，即将其缩减为目标特征图通道数的r倍，r取值为[0.1,0.5]，这样处理是为了确保上下文信息的数量不会遮盖目标特征图本身；采用3×3卷积操作是进行第一次下采样；全局平均池化操作是进行直接下采样；最后，对上下文特征图进行通道聚合，形成聚合特征图，并和目标特征图再次进行通道聚合，送入回归器Regressor进行处理；
Regressor模块由三层串联的1×1卷积模块和Sigmoid函数组成；其中卷积块仍由卷积运算、BatchNorm批量归一化和ReLU线性映射构成；目标特征图经过回归器处理后，会得到空间大小为S×S，通道数为C的特征图向量；类似YOLO模型的设计思路，每个特征向量包含了B个预测边框和一个分类概率；其中B个预测边框分别用来预测B个目标，如果边框有重叠，视为一个目标，且每个边框均为5维向量，它包含目标存在概率conf、左上角坐标(x,y)和目标尺寸(w,h)；若检测目标包含CLS_NUM类，因此通道数C为B*5+CLS_NUM；
(5)模型训练与预测：根据步骤2设置的初始参数，使用步骤3中生成的训练数据来训练检测模型直到收敛，记录并保存最优的模型权重；训练结束后，通过加载最优的模型权重，利用步骤4中构建的检测模型进行雨水篦子预测；
(6)掩膜处理：根据模型预测的结果，利用雨水篦子空间分布先验概率图对其进行掩膜处理得到掩膜后的边框结果；
(7)后处理：根据步骤2设置的初始参数，对步骤6的边框进行非极大值抑制去重处理，对边框的坐标进行空间变换，将其还原为图像绝对坐标，并使用步骤3中得到的测试数据进行测试。
2.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在步骤(1)中，获取的街景图像数据包含近2000幅高清彩色图像，其分辨率为1024*512像素；该街景图像数据中的场景包括道路、人行道、行道树、道路隔离带、雨水篦子和建筑物；其中雨水篦子分布在道路两侧和人行横道上游，在整幅图像中的面积占比非常小，平均值仅为5‰，图像标注工具采用开源注释工具LabelMe，标签数据保存格式为JSON或XML；图像增强方法涉及图像去噪，图像锐化和图像均衡化操作；图像去噪方法采用卷积核为3×3的中值滤波消除椒盐噪声；图像锐化使用4领域的拉普拉斯算子Laplace Operator突出地物轮廓；图像均衡化方法为全局直方图均衡化，以此保持图像各区域亮度一致性及提高部分区域图像清晰度。
3.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在步骤(2)中，需要初始化的参数包括：分类数量CLS_NUM＝1，格子尺寸S＝7，每个格子预测的边框数B＝2，图像尺寸IMG_SIZE＝448，批次大小BATCH_SIZE＝8，学习率LR＝2*10-4，损失阈值LOSS_THR＝50，置信度阈值CONF_THR＝0.8，交并比阈值IOU_THR＝0.5。
4.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在上述步骤(3)中，根据设置的图像尺寸IMG_SIZE对图像数据按最近邻域法进行重采样并对标签数据进行尺寸变换；图像数据经通道归一化后可转换为值域为[-1,1]的张量；根据设置的格网数S将标签数据转化为格网数据，同时将标签边框坐标由图像绝对坐标变换为格网相对坐标；根据训练数据，统计雨水篦子在图像中出现的空间位置信息，绘制雨水篦子的空间分布先验概率图。
5.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在步骤(5)中，训练模型的优化器采用RMSprop算法，学习率衰减采用等间隔调整StepLR策略；当检测模型的损失函数值低于损失阈值LOSS_THR时，训练结束，保存模型参数。
6.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：在步骤(6)中，通过读取雨水篦子空间分布先验概率图，并对其进行图像二值化生成掩膜图；利用掩膜图对模型预测的边框结果，即特征图向量，按M算子进行乘积运算最终得到掩膜边框结果；M算子定义如下：
Figure FDA0003730040880000031
式中，V为特征图中第i行，第j列的特征向量，b为边框号，conf为边框中的置信概率；P为掩膜图中第u行，第v列的先验概率值。
7.根据权利要求1所述的一种耦合上下文聚合网络的轻量化雨水篦子检测方法，其特征在于：
在步骤(7)中，NMS去重处理首先筛选置信度高于阈值CONF_THR的边框，再依据交并比阈值IOU_THR，去除高重合率的边框；边框的坐标变换由格网的相对坐标变换为图像的绝对坐标。
CN202111102992.5A 2021-09-17 2021-09-17 一种耦合上下文聚合网络的轻量化雨水篦子检测方法 Active CN113837058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111102992.5A CN113837058B (zh) 2021-09-17 2021-09-17 一种耦合上下文聚合网络的轻量化雨水篦子检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111102992.5A CN113837058B (zh) 2021-09-17 2021-09-17 一种耦合上下文聚合网络的轻量化雨水篦子检测方法

Publications (2)

Publication Number Publication Date
CN113837058A CN113837058A (zh) 2021-12-24
CN113837058B true CN113837058B (zh) 2022-09-30

Family

ID=78960079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111102992.5A Active CN113837058B (zh) 2021-09-17 2021-09-17 一种耦合上下文聚合网络的轻量化雨水篦子检测方法

Country Status (1)

Country Link
CN (1) CN113837058B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN110956119A (zh) * 2019-11-26 2020-04-03 大连理工大学 一种准确且快速的图像中目标检测方法
CN111144376A (zh) * 2019-12-31 2020-05-12 华南理工大学 视频目标检测特征提取方法
CN111898410A (zh) * 2020-06-11 2020-11-06 东南大学 无约束场景下的基于上下文推理的人脸检测方法
CN112232232A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 一种目标检测方法
CN112329658A (zh) * 2020-11-10 2021-02-05 江苏科技大学 一种对于yolov3网络的检测算法改进方法
CN112396002A (zh) * 2020-11-20 2021-02-23 重庆邮电大学 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN112418117A (zh) * 2020-11-27 2021-02-26 北京工商大学 一种基于无人机图像的小目标检测方法
CN112818862A (zh) * 2021-02-02 2021-05-18 南京邮电大学 基于多源线索与混合注意力的人脸篡改检测方法与***
CN113011336A (zh) * 2021-03-19 2021-06-22 厦门大学 一种基于深度多分支聚合的实时街景图像语义分割方法
CN113191296A (zh) * 2021-05-13 2021-07-30 中国人民解放军陆军炮兵防空兵学院 一种基于yolov5的任意朝向目标五参数检测方法
CN113378890A (zh) * 2021-05-17 2021-09-10 浙江工业大学 一种基于改进YOLO v4的轻量级行人车辆检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666836B (zh) * 2020-05-22 2023-05-02 北京工业大学 M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法
CN112446388A (zh) * 2020-12-05 2021-03-05 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于轻量化二阶段检测模型的多类别蔬菜幼苗识别方法及***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800628A (zh) * 2018-12-04 2019-05-24 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN110956119A (zh) * 2019-11-26 2020-04-03 大连理工大学 一种准确且快速的图像中目标检测方法
CN111144376A (zh) * 2019-12-31 2020-05-12 华南理工大学 视频目标检测特征提取方法
CN111898410A (zh) * 2020-06-11 2020-11-06 东南大学 无约束场景下的基于上下文推理的人脸检测方法
CN112232232A (zh) * 2020-10-20 2021-01-15 城云科技（中国）有限公司 一种目标检测方法
CN112329658A (zh) * 2020-11-10 2021-02-05 江苏科技大学 一种对于yolov3网络的检测算法改进方法
CN112396002A (zh) * 2020-11-20 2021-02-23 重庆邮电大学 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN112418117A (zh) * 2020-11-27 2021-02-26 北京工商大学 一种基于无人机图像的小目标检测方法
CN112818862A (zh) * 2021-02-02 2021-05-18 南京邮电大学 基于多源线索与混合注意力的人脸篡改检测方法与***
CN113011336A (zh) * 2021-03-19 2021-06-22 厦门大学 一种基于深度多分支聚合的实时街景图像语义分割方法
CN113191296A (zh) * 2021-05-13 2021-07-30 中国人民解放军陆军炮兵防空兵学院 一种基于yolov5的任意朝向目标五参数检测方法
CN113378890A (zh) * 2021-05-17 2021-09-10 浙江工业大学 一种基于改进YOLO v4的轻量级行人车辆检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AS-YOLO: An Improved YOLOv4 based on Attention Mechanism and SqueezeNet for Person Detection;Jiahui Sun等;《2021 IEEE 5th Advanced Information Technology, Electronic and Automation Control Conference (IAEAC)》;20210405;1451-1456 *
Modular Lightweight Network for Road Object Detection Using a Feature Fusion Approach;Yazhou Liu等;《IEEE Transactions on Systems, Man, and Cybernetics: Systems》;20191016;4716-4728 *
复杂场景下的目标检测算法研究;陈春霖;《中国博士学位论文全文数据库 信息科技辑》;20210915;第2021年卷(第9期);I138-66 *
改进YOLO轻量化网络的口罩检测算法;王兵等;《计算机工程与应用》;20210119;第57卷(第8期);62-69 *

Also Published As

Publication number Publication date
CN113837058A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
Chen et al. Distribution line pole detection and counting based on YOLO using UAV inspection line video
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
CN104036323B (zh) 一种基于卷积神经网络的车辆检测方法
Han et al. A point-based deep learning network for semantic segmentation of MLS point clouds
Jiang et al. Deep neural networks-based vehicle detection in satellite images
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及***
CN107145889A (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN105574488A (zh) 一种基于低空航拍红外图像的行人检测方法
US11776104B2 (en) Roof condition assessment using machine learning
CN113111727A (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN105405138A (zh) 基于显著性检测的水面目标跟踪方法
CN105574545A (zh) 环境图像多视角语义切割方法及装置
CN110852179A (zh) 基于视频监控平台的可疑人员入侵的检测方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与***
CN114708566A (zh) 一种基于改进YOLOv4的自动驾驶目标检测方法
CN113128476A (zh) 一种基于计算机视觉目标检测的低功耗实时头盔检测方法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及***
Jiang et al. Remote sensing object detection based on convolution and Swin transformer
CN113673616B (zh) 一种耦合注意力和上下文的轻量化小目标检测方法
CN113837058B (zh) 一种耦合上下文聚合网络的轻量化雨水篦子检测方法
Huang et al. Detection of river floating debris in uav images based on improved yolov5
CN116958911A (zh) 一种面向恶劣天气下的交通监控图像目标检测方法
Samadzadegan et al. Automatic Road Crack Recognition Based on Deep Learning Networks from UAV Imagery
Liu et al. Research on target recognition of underwater robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant