CN116524432A - 一种小目标检测算法在交通监控中的应用 - Google Patents

一种小目标检测算法在交通监控中的应用 Download PDF

Info

Publication number
CN116524432A
CN116524432A CN202310412581.9A CN202310412581A CN116524432A CN 116524432 A CN116524432 A CN 116524432A CN 202310412581 A CN202310412581 A CN 202310412581A CN 116524432 A CN116524432 A CN 116524432A
Authority
CN
China
Prior art keywords
branch
module
image
super
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310412581.9A
Other languages
English (en)
Inventor
吴璨
范海连
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Communications Huakong Tianjin Construction Group Co ltd
Original Assignee
China Communications Huakong Tianjin Construction Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Communications Huakong Tianjin Construction Group Co ltd filed Critical China Communications Huakong Tianjin Construction Group Co ltd
Priority to CN202310412581.9A priority Critical patent/CN116524432A/zh
Publication of CN116524432A publication Critical patent/CN116524432A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种小目标检测算法在交通监控中的应用，包括以下步骤：对待检测图片进行初步处理；构建轻量级图像超分辨率重建网络，并完成网络训练；将超分辨率处理后的图像进行边缘锐化；将边缘锐化后的图像输入检测模块进行检测并得到交通小目标检测结果；其中，轻量级图像超分辨率重建网络结构由浅层特征提取模块、深层特征提取模块、注意力模块和重建模块四个部分组成。本发明基于超分辨率网络实现小目标检测，可以有效地扩大小目标的分辨率，增加特征信息量，相对于传统基于目标检测算法优化的方法，其提升的精度更高更有效。

Description

一种小目标检测算法在交通监控中的应用
技术领域
本发明涉及交通监控技术领域，尤其涉及一种小目标检测算法在交通监控中的应用。
背景技术
随着我国经济由高速增长转向高质量发展，交通运输业达到了基本适应经济社会发展需求的阶段，全国道路通车里程和道路交通规模快速增长，截至2022年底，全国机动车保有量达3.48亿辆，机动车驾驶人达4.35亿人。但由于我国交通状况复杂，道路基础设施安全保障能力弱，目前的交通管理控制能力还不能满足急剧扩大的交通量需求，行人、车辆和道路间的交通矛盾日益突出，致使交通运输事故频发，且占全国安全生产事故总量比例显著高于其他行业领域。
采用智能化的监控***进行交通事故的检测和预测能大幅度的降低交通事故带来的危害，智能监控***的核心便是目标检测算法，在其中，小目标的检测又是难点，行人、小目标车辆这类目标在图像中高度集中在50像素以下，且颜色、边缘等外观模糊不清，在包含大量电动车等负样本的复杂交通环境中难以辨别。因此，针对小尺度行人、车辆的检测准确率低、漏检率高。因此，提高这类小目标的检测准确率对交通安全有着至关重要的意义。
现有的小目标检测一般是基于主流的目标检测算法进行优化，例如增强小目标样本、优化训练方法、无锚框机制、以及特征融合等方法。其中，2018年，Bai等人为了解决小目标检测精度问题提出的一种端到端的多任务生成对抗网络(Multi-Task GenerativeAdversarial Network，MTGAN)。它的方法步骤如下：
1)将输入图像按需求进行裁剪；
2)将其输入以Faster RCNN或Mask RCNN为主干网络的基线目标检测器，初步识别出物体与背景；
3)初步识别后的图片输入生成器，它是一个超分辨率网络，用来将小的模糊图像上采样到精细图像，并恢复其细节信息以进行更准确的检测；
4)超分辨率恢复后的图像输入判别器，判别器是一个多任务网络，该网络用真实或虚假分数、对象类别分数以及边框回归量来描述每一个超分辨率处理后的图像块；为了使生成器恢复更多的小目标细节以便于检测，判别器会在训练过程中将分类和回归的损失反向传播到生成器中，进而提高生成器的生成效果。
现有技术的缺点：
1)基于主流的目标检测算法进行优化的小目标检测方法，例如增强小目标样本、优化训练方法、无锚框机制、以及特征融合等方法，从根本上来说没有解决小目标物体细节缺失的问题，虽然总的来看小目标的检测精度确实得到了提升，但提升的幅度较为有限，且很多算法在实际的应用中可能会产生伪影。
2)将基于GAN(对抗生成网络)的超分辨率算法引入目标检测中有效提高了小目标物体的检测精度，它能有效扩大小目标的分辨率，增加特征信息量，但因其大大增加了算法的网络层数，GAN网络的训练也相对较难，所以难以具备实时性并运用到具体场景中。
发明内容
本发明针对上述提到的缺点，而提供一种小目标检测算法在交通监控中的应用，
本发明为实现上述目的，采用以下技术方案：
一种轻量级图像超分辨率重建网络结构，由浅层特征提取模块、深层特征提取模块、注意力模块和重建模块四个部分组成；
浅层特征提取模块，将输入图像映射到高维特征空间，包含一层卷积核大小为3*3的卷积层，该过程表示为:x0＝fext(ILR)；
深层特征提取模块，由若干个大感受野信息蒸馏块组成(Vast-receptive-fieldInformation distillation Block，VIDB)，对x0进行深层特征提取，由VIDBs堆栈逐步细化提取特征，该过程表示为
注意力模块，由ESA模块(Efficient ChannelAttention，高效通道注意力)和CCA模块(CoordinateAttention，协调注意力)两部分组成；
重建模块，采用Pixelshuffle算法完成重建，将形状为(*，c*r2,H,W)的张量重建为形状为(*，C,H*r,W*r)的张量。
特别的，VIDB块对输入图像先进行一个卷积核大小为1*1的卷积操作，然后分为两条支路处理，即第一支路和第二支路，第一支路和第二支路处理结果进行相加处理后输出，并进行像素归一化操作。
特别的，第一支路为直连通路，第二支路先通过基于门函数的激活函数激活，再通过基于信息蒸馏和大卷积核深度分离卷积操作的通道注意力模块进行特征权重分配，然后通过一层卷积核大小为1*1卷积层进行特征图间的特征融合，融合后与直连通路相加。
特别的，基于门函数的激活函数先将大小为C*H*W的输入特征图按通道数分为两个大小为C/2*W*H的特征图，然后将它们做乘积处理后输出；通道注意力模块将激活后的特征图分为两个支路处理，即第三支路和第四支路，第三支路和第四支路处理结果进行相加处理后输出，并进行一个卷积核大小为1*1的卷积操作。
特别的，第三支路先进行一个卷积核大小为1*1的卷积操作，然后进行一个卷积核大小为9*9，布长为1，填充为4的深度卷积操作；第四支路先进行一个卷积核大小为1*1的卷积操作，然后通过GELU激活函数激活。
特别的，CCA模块对输入图片分别进行对比损失计算和自适应全局池化后进行相加处理，相加处理后输出并依次通过卷积核大小为1*1的卷积操作、Relu激活函数激活、卷积核大小为1*1的卷积操作，最后与输入图片进行相乘处理并得到输出图片，完成基于位置信息的特征学习。
特别的，ESA模块对输入图片先进行一个卷积核大小为1*1的卷积操作，然后分为两条支路处理，即第四支路和第五支路，第四支路和第五支路处理结果进行相加处理，相加后的特征图先进行卷积核大小为1*1的卷积操作，融合特征并恢复通道数量，再通过sigmoid线性激活函数激活，然后与输入图片进行相乘处理并得到输出图片，在不降低维度的情况下学习跨通道的交互关系。
特别的，第四支路进行一个卷积核大小为1*1的卷积操作；第五支路依次进行卷积核大小为3*3、步长为2、填充为1的卷积操作；核大小为7*7、步长为7的最大池化层；卷积核大小为3*3的深度卷积操作、GELU激活函数激活、双线性插值处理，科学恢复原本图像大小。
一种小目标检测算法在交通监控中的应用，其基于轻量级图像超分辨率重建网络结构，包括以下步骤：
S1、对待检测图片进行初步处理，具体步骤如下：
S11、将待处理的低分辨率图像进行格式转换，得到低分辨率YCbCr图像；
S12、将低分辨率量YCbCr图像按行列等距切割成若干个子图像，切割后的子图像大小为480*480像素点；
S13、将子图像随机进行90°或180°的旋转进行数据增强，以提供更多的数据样本，减小特征图在网络传播中所需要的存储空间；
S2、构建轻量级图像超分辨率重建网络，并完成网络训练，训练损失函数采用L2损失；
S3、将超分辨率处理后的图像进行边缘锐化；
S4、将边缘锐化后的图像输入检测模块进行检测并得到交通小目标检测结果。
特别的，检测模块采用YOLOv3算法，将图像划分多个区域并且预测边界框和每个区域的概率。
本发明的有益效果是：
1、本发明通过设置轻量级图像超分辨率重建网络结构，且该网络结构包括包括浅层特质提取模块、深层特质提取模块(VIDB块)、注意力模块(ESA模块、CCA模块)、重建模块，该超分辨率算法有效地扩大了小目标的分辨率，增加了特征信息量，相对于传统基于目标检测算法优化的方法，其提升的精度更高更有效。
2、本发明将基于GAN的超分辨率网络替换为轻量级图像超分辨率重建网络，在提高小目标物体检测精度的同时，大大缩减了网络模型的参数量，更加易于训练与实现部署。
3、本发明使用YOLOv3作为***的检测模块，在检测精度和检测速度中保证了一个良好的折中。
附图说明
图1为本发明在交通监控中的应用***框图；
图2为本发明的VIDB块结构示意图；
图3为本发明的轻量级图像超分辨率重建网络结构示意图；
图4为本发明的CCA模块结构示意图；
图5为本发明的ESA模块结构示意图；
图6为本发明的YOLOv3算法结构示意图；
以下将结合本发明的实施例参照附图进行详细叙述。
具体实施方式
下面结合实施例对本发明作进一步说明：
如图3所示，一种轻量级图像超分辨率重建网络结构，由浅层特征提取模块、深层特征提取模块、注意力模块和重建模块四个部分组成；
浅层特征提取模块，将输入图像映射到高维特征空间，包含一层卷积核大小为3*3的卷积层，该过程表示为:x0＝fext(ILR)；
深层特征提取模块，由若干个大感受野信息蒸馏块组成(Vast-receptive-fieldInformation distillation Block，VIDB)，对x0进行深层特征提取，由VIDBs堆栈逐步细化提取特征，该过程表示为
具体地，如图2所示，VIDB块对输入图像先进行一个卷积核大小为1*1的卷积操作，然后分为两条支路处理，即第一支路和第二支路，第一支路和第二支路处理结果进行相加处理后输出，并进行像素归一化操作。
第一支路为直连通路，第二支路先通过基于门函数的激活函数激活，再通过基于信息蒸馏和大卷积核深度分离卷积操作的通道注意力模块进行特征权重分配，然后通过一层卷积核大小为1*1卷积层进行特征图间的特征融合，融合后与直连通路相加。
本发明关键创新点在于提出基于门函数的激活函数和基于信息蒸馏和大卷积核深度分离卷积操作的通道注意力模块，即：
基于门函数的激活函数先将大小为C*H*W(其中C指通道数为64，H*W为裁剪后的图片大小，为480*480像素点)的输入特征图按通道数分为两个大小为C/2*W*H的特征图，然后将它们做乘积处理后输出，达到与传统激活函数相似的效果但参数量大大下降。
通道注意力模块将激活后的特征图分为两个支路处理，即第三支路和第四支路，第三支路和第四支路处理结果进行相加处理后输出，并进行一个卷积核大小为1*1的卷积操作。
第三支路先进行一个卷积核大小为1*1的卷积操作，然后进行一个卷积核大小为9*9，布长为1，填充为4的深度卷积操作；第三支路进行大卷积核的深度分离卷积，9*9的大卷积核有益于图片特征信息的提取，深度分离操作将一个卷积层分为点卷积(Pointwise)和步长(stride)为1，填充(padding)为4的深度卷积(depthwise)，大大减少了参数量；第四支路先进行一个卷积核大小为1*1的卷积操作，然后通过GELU激活函数激活；参数量下降更加易于训练与实现部署，实时性好，易于运用到具体场景中。
注意力模块，由ESA模块(Efficient ChannelAttention，高效通道注意力)和CCA模块(CoordinateAttention，协调注意力)两部分组成；
具体地，本发明在深层特征提取模块后边加入了注意力模块，以进一步提取神经网络性能，ESA模块是一种轻量级的通道注意力模块，可以在不降低维度的情况下，通过一个一维卷积层来学习跨通道的交互关系；CCA模块能够将位置信息嵌入到通道注意力中，可以生成具有空间选择性的注意力图。
如图4所示，CCA模块对输入图片分别进行对比损失计算和自适应全局池化后进行相加处理，相加处理后输出并依次通过卷积核大小为1*1的卷积操作、Relu激活函数激活、卷积核大小为1*1的卷积操作，最后与输入图片进行相乘处理并得到输出图片，完成基于位置信息的特征学习。
如图5所示，ESA模块对输入图片先进行一个卷积核大小为1*1的卷积操作，然后分为两条支路处理，即第四支路和第五支路，第四支路和第五支路处理结果进行相加处理，相加后的特征图先进行卷积核大小为1*1的卷积操作，融合特征并恢复通道数量，再通过sigmoid线性激活函数激活，然后与输入图片进行相乘处理并得到输出图片，在不降低维度的情况下学习跨通道的交互关系。
其中，第四支路进行一个卷积核大小为1*1的卷积操作；第五支路依次进行卷积核大小为3*3、步长为2、填充为1的卷积操作；核大小为7*7、步长为7的最大池化层；卷积核大小为3*3的深度卷积操作、GELU激活函数激活、双线性插值处理，科学恢复原本图像大小。
重建模块，即为上采样模块，采用Pixelshuffle算法完成重建，Pixelshuffle算法可以实现高效的子像素卷积，具有1/r的步长，将形状为(*，c*r2,H,W)的张量重建为形状为(*，C,H*r,W*r)的张量。
如图1所示，一种小目标检测算法在交通监控中的应用，其基于轻量级图像超分辨率重建网络结构，包括以下步骤：
S1、对待检测图片进行初步处理，具体步骤如下：
S11、将待处理的低分辨率图像进行格式转换，得到低分辨率YCbCr(Y表示亮度分量，Cb表示蓝色色度分量，Cr表示红色色度分量)图像；YCbCr图像与RGB图像相比，传输过程中只需占用极少的频宽，故本发明中进行格式转换；
S12、将低分辨率量YCbCr图像按行列等距切割成若干个子图像，切割后的子图像大小为480*480像素点；
S13、将子图像随机进行90°或180°的旋转进行数据增强，以提供更多的数据样本，能大幅度减小特征图在网络传播中所需要的存储空间；
S2、构建轻量级图像超分辨率重建网络，并完成网络训练，训练损失函数采用L2损失；
S3、将超分辨率处理后的图像进行边缘锐化；
S4、将边缘锐化后的图像输入检测模块进行检测并得到交通小目标检测结果；本发明检测模块采用YOLOv3算法，将图像划分多个区域并且预测边界框和每个区域的概率。
具体地，如图6所示，本发明使用Yolov3(You Only Look Once)作为检测模块，它虽然不是最精准的算法，但在精确度和速度之间选择折中，适用于实际应用中的部署。YOLOv3算法使用一个单独神经网络作用在图像上，将图像划分多个区域并且预测边界框和每个区域的概率，使用了FPN技术与多级检测方法，具有良好的小目标检测能力。
YOLOv3仅使用卷积层，使用Darknet-53作为主干网络，它包含53个卷积层，每个后面跟着batch normalization(批归一化)层和leaky ReLU(线性激活层)，整个框架可划分为3个部分：分别为Darknet-53结构、特征层融合结构(concat部分)以及分类检测结构，给一张图像x输入到Darkenet-53网络结构，进行一系列的卷积以及参差网络，分别得到原图像1/8、1/16、1/32的特征图(即为图中的feature map1、2、3)，这个过程就是特征提取过程，在其中进行了不同尺寸特征图的特征融合，以获得更强的特征表现力，由于尺寸不一样，中间需要进行上采样操作，使特征图变成相同大小，然后进行堆叠、融合及相应的卷积操作。最后得到是255维的特征图，之后还需要进行一个卷积核为3*3的卷积操作和一个卷积核为1*1的卷积操作，得到75维的特征向量，其中便包含了对应原图中的目标类别和位置信息，详细构成为3*(4+1+20)，表示为3个预测框(boundingbox)的信息，其中每个预测框有25个参数，分别由4个位置坐标信息、1个类别置信度和20个类别预测值组成。
本发明通过设置轻量级图像超分辨率重建网络结构，有效地扩大了小目标的分辨率，增加了特征信息量，相对于传统基于目标检测算法优化的方法，其提升的精度更高更有效。
本发明将基于GAN的超分辨率网络替换为轻量级图像超分辨率重建网络，在提高小目标物体检测精度的同时，大大缩减了网络模型的参数量，更加易于训练与实现部署。
本发明使用YOLOv3作为***的检测模块，在检测精度和检测速度中保证了一个良好的折中。
本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
上面对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.一种轻量级图像超分辨率重建网络结构，其特征在于，由浅层特征提取模块、深层特征提取模块、注意力模块和重建模块四个部分组成；
浅层特征提取模块，将输入图像映射到高维特征空间，包含一层卷积核大小为3*3的卷积层，该过程表示为:x0＝fext(ILR)；
深层特征提取模块，由若干个大感受野信息蒸馏块组成(Vast-receptive-fieldInformation distillation Block，VIDB)，对x0进行深层特征提取，由VIDBs堆栈逐步细化提取特征，该过程表示为
注意力模块，由ESA模块(Efficient Channel Attention，高效通道注意力)和CCA模块(Coordinate Attention，协调注意力)两部分组成；
重建模块，采用Pixelshuffle算法完成重建，将形状为(*，c*r2,H,W)的张量重建为形状为(*，C,H*r,W*r)的张量。
2.根据权利要求1所述的一种轻量级图像超分辨率重建网络结构，其特征在于，VIDB块对输入图像先进行一个卷积核大小为1*1的卷积操作，然后分为两条支路处理，即第一支路和第二支路，第一支路和第二支路处理结果进行相加处理后输出，并进行像素归一化操作。
3.根据权利要求2所述的一种轻量级图像超分辨率重建网络结构，其特征在于，第一支路为直连通路，第二支路先通过基于门函数的激活函数激活，再通过基于信息蒸馏和大卷积核深度分离卷积操作的通道注意力模块进行特征权重分配，然后通过一层卷积核大小为1*1卷积层进行特征图间的特征融合，融合后与直连通路相加。
4.根据权利要求3所述的一种轻量级图像超分辨率重建网络结构，其特征在于，基于门函数的激活函数先将大小为C*H*W的输入特征图按通道数分为两个大小为C/2*W*H的特征图，然后将它们做乘积处理后输出；通道注意力模块将激活后的特征图分为两个支路处理，即第三支路和第四支路，第三支路和第四支路处理结果进行相加处理后输出，并进行一个卷积核大小为1*1的卷积操作。
5.根据权利要求4所述的一种轻量级图像超分辨率重建网络结构，其特征在于，第三支路先进行一个卷积核大小为1*1的卷积操作，然后进行一个卷积核大小为9*9，布长为1，填充为4的深度卷积操作；第四支路先进行一个卷积核大小为1*1的卷积操作，然后通过GELU激活函数激活。
6.根据权利要求5所述的一种轻量级图像超分辨率重建网络结构，其特征在于，CCA模块对输入图片分别进行对比损失计算和自适应全局池化后进行相加处理，相加处理后输出并依次通过卷积核大小为1*1的卷积操作、Relu激活函数激活、卷积核大小为1*1的卷积操作，最后与输入图片进行相乘处理并得到输出图片，完成基于位置信息的特征学习。
7.根据权利要求6所述的一种轻量级图像超分辨率重建网络结构，其特征在于，ESA模块对输入图片先进行一个卷积核大小为1*1的卷积操作，然后分为两条支路处理，即第四支路和第五支路，第四支路和第五支路处理结果进行相加处理，相加后的特征图先进行卷积核大小为1*1的卷积操作，融合特征并恢复通道数量，再通过sigmoid线性激活函数激活，然后与输入图片进行相乘处理并得到输出图片，在不降低维度的情况下学习跨通道的交互关系。
8.根据权利要求7所述的一种轻量级图像超分辨率重建网络结构，其特征在于，第四支路进行一个卷积核大小为1*1的卷积操作；第五支路依次进行卷积核大小为3*3、步长为2、填充为1的卷积操作；核大小为7*7、步长为7的最大池化层；卷积核大小为3*3的深度卷积操作、GELU激活函数激活、双线性插值处理，科学恢复原本图像大小。
9.一种小目标检测算法在交通监控中的应用，其基于权利要求8所述的轻量级图像超分辨率重建网络结构，其特征在于，包括以下步骤：
S1、对待检测图片进行初步处理，具体步骤如下：
S11、将待处理的低分辨率图像进行格式转换，得到低分辨率YCbCr图像；
S12、将低分辨率量YCbCr图像按行列等距切割成若干个子图像，切割后的子图像大小为480*480像素点；
S13、将子图像随机进行90°或180°的旋转进行数据增强，以提供更多的数据样本，减小特征图在网络传播中所需要的存储空间；
S2、构建轻量级图像超分辨率重建网络，并完成网络训练，训练损失函数采用L2损失；
S3、将超分辨率处理后的图像进行边缘锐化；
S4、将边缘锐化后的图像输入检测模块进行检测并得到交通小目标检测结果。
10.根据权利要求9所述的一种小目标检测算法在交通监控中的应用，其特征在于，检测模块采用YOLOv3算法，将图像划分多个区域并且预测边界框和每个区域的概率。
CN202310412581.9A 2023-04-18 2023-04-18 一种小目标检测算法在交通监控中的应用 Pending CN116524432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310412581.9A CN116524432A (zh) 2023-04-18 2023-04-18 一种小目标检测算法在交通监控中的应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310412581.9A CN116524432A (zh) 2023-04-18 2023-04-18 一种小目标检测算法在交通监控中的应用

Publications (1)

Publication Number Publication Date
CN116524432A true CN116524432A (zh) 2023-08-01

Family

ID=87407521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310412581.9A Pending CN116524432A (zh) 2023-04-18 2023-04-18 一种小目标检测算法在交通监控中的应用

Country Status (1)

Country Link
CN (1) CN116524432A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721302A (zh) * 2023-08-10 2023-09-08 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721302A (zh) * 2023-08-10 2023-09-08 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法
CN116721302B (zh) * 2023-08-10 2024-01-12 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法

Similar Documents

Publication Publication Date Title
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和***
US11393100B2 (en) Automatically generating a trimap segmentation for a digital image by utilizing a trimap generation neural network
US11651477B2 (en) Generating an image mask for a digital image by utilizing a multi-branch masking pipeline with neural networks
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN111696110B (zh) 场景分割方法及***
CN110390314B (zh) 一种视觉感知方法及设备
CN114549563A (zh) 一种基于DeepLabV3+的复合绝缘子实时分割方法及***
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪***及方法
CN110570402B (zh) 基于边界感知神经网络的双目显著物体检测方法
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、***及设备
CN116524432A (zh) 一种小目标检测算法在交通监控中的应用
CN114612456B (zh) 一种基于深度学习的钢坯自动语义分割识别方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN112613434A (zh) 道路目标检测方法、装置及存储介质
CN116189191A (zh) 一种基于yolov5的可变长车牌识别方法
CN114663654B (zh) 一种改进YOLOv4网络模型及小目标检测方法
CN116311154A (zh) 一种基于YOLOv5模型优化的车辆检测与识别方法
CN113255646B (zh) 一种实时场景文本检测方法
CN112989919B (zh) 一种从影像中提取目标对象的方法及***
CN112733934B (zh) 复杂环境下的多模态特征融合道路场景语义分割方法
CN114565764A (zh) 基于舰船实例分割的港口全景感知***
CN112487911A (zh) 智能监控环境下基于改进yolov3的实时行人检测方法及装置
CN111047571A (zh) 一种具有自适应选择训练过程的图像显著目标检测方法
CN115761552B (zh) 面向无人机机载平台的目标检测方法、设备及介质
CN117291802B (zh) 一种基于复合网络结构的图像超分辨率重建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination