CN117115616A - 一种基于卷积神经网络的实时低照度图像目标检测方法 - Google Patents
一种基于卷积神经网络的实时低照度图像目标检测方法 Download PDFInfo
- Publication number
- CN117115616A CN117115616A CN202310940678.7A CN202310940678A CN117115616A CN 117115616 A CN117115616 A CN 117115616A CN 202310940678 A CN202310940678 A CN 202310940678A CN 117115616 A CN117115616 A CN 117115616A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- network
- enhancement
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000005286 illumination Methods 0.000 title claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000003321 amplification Effects 0.000 claims abstract description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000002401 inhibitory effect Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000011084 recovery Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 6
- 239000013585 weight reducing agent Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 239000002131 composite material Substances 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 9
- 230000000295 complement effect Effects 0.000 abstract 1
- 239000003623 enhancer Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006583 body weight regulation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的实时低照度图像目标检测方法，应用于计算机视觉技术领域，本发明包括：构建真实低照度图像数据集；基于图像增强过程，对高分辨率图像进行下采样，降低计算成本；利用深度曲线估计恢复低光照图像对比度，提高图像质量；基于目标检测过程，使用轻量化网络来满足检测模型整体实时性要求；使用高效坐标注意力机制，关注通道与空间位置信息，增强网络的特征学习能力；将图像增强作为目标检测的预处理部分，形成“增强+检测”模型；为每个特征通道添加一个权重并学习特征图中每个通道的重要性，建立双通道融合原始图像与增强图像，抑制图像增强带来噪声放大的影响。建立原始图像与增强图像间的互补关系。
Description
技术领域
本发明属于深度学习、计算机视觉领域，具体涉及一种基于卷积神经网络的实时低照度图像目标检测方法。
背景技术
随着深度学***台且花费的检测时间较长，不满足目标检测任务的实时性要求。现有的R-CNN、SSD、YOLO等目标检测算法在通用数据集ImageNet、COCO、VOC中可取得较好的检测效果，被广泛应用在智慧交通、人脸识别、病理分析、工业检测等领域中。然而，真实世界中的成像受光照及设备影响，捕获的图像存在对比度不足、信噪比低的问题。低质量图像不仅影响视觉效果，也使下游视觉任务更困难，严重影响了算法的检测精度。
研究者们通常使用两类方法来处理低照度图像的检测问题，一类方法使用热成像或红外传感器等设备进行图像获取，但这类方法对物理设备要求高且成本高昂；另一类通过图像增强技术还原图像质量，但传统的直方图均衡化或基于Retinex的方法侧重于恢复图像的对比度，无法恢复图像真实色彩。随着深度学习在图像处理领域的应用，利用卷积神经网络可以提取算法模型高层语义，学习图像对比度及光照色彩等特征，产生了更具表现力的效果。此方法不以视觉感官来评判图像质量，而是与下游视觉任务结合，将图像增强作为目标检测的预处理操作，级联增强器与检测器，形成“增强+检测”的策略，降低低照度图像对目标检测算法的影响。
发明内容
本发明为了解决在低照度环境下目标检测精度低的问题，提出了一种基于卷积神经网络的实时低照度图像目标检测方法。针对低照度图像对比度不足、信噪比低的特点，该方法在不利用照明、红外等物理设备的前提下，利用深度网络对图像进行增强与恢复，通过数据增强的方式优化用于训练神经网络的数据集。本发明所要解决的技术问题主要有两个，一是图像增强恢复图像的同时放大了噪声，检测模型对模糊物体的识别能力较低；二是增强器与检测器级联在实际运用中参数量过大，计算量过高，无法满足在算力较小的嵌入式平台实现实时检测的要求。
针对问题一，本发明设计了基于通道注意力机制的特征融合模块，构成关注像素级信息的特征提取网络，利用融合模块将增强图像与原始图像的低级特征融合，加强对模糊物体的识别能力；针对问题二，对增强器做轻量化处理，使用深度可分离卷积替换深度网络中的普通卷积，大幅减少增强器的网络参数量，提高增强器处理速度与推理能力。本发明采用的技术方案如下：
一种基于卷积神经网络的实时低照度图像目标检测方法，包括以下步骤：
步骤一、配置深度学习软件环境，配置基于卷积神经网络的图像增强算法与目标检测算法环境；
步骤二、构建低照度图像数据集，获取真实低照度图像并对图像进行标注，汇总为标签数据集；
步骤三、建立增强恢复模块，使用权重机制抑制图像增强带来噪声放大的问题；
步骤四、构造深度神经网络，建立增强器与检测器级联的检测模式。其中先对数据集进行图像增强，作为检测网络的预处理部分，再进行特征提取与检测活动；
步骤五、轻量化网络，首先在预处理过程对图像下采样处理，其次将标准卷积替换为深度可分离卷积，保证网络实时性需求；
步骤六、优化网络，在特征提取网络中加入注意力机制来弥补网络轻量化带来的精度下降问题，使整体模型在精度与速度上达到平衡；
步骤七、训练神经网络模型，验证低光照环境检测效果。
具体的：
步骤一所述目标检测算法为基于候选区域的两步算法或基于回归的单步算法，图像增强算法为直方图图像增强算法、色调映射图像增强算法或Retinex图像增强算法；
步骤二所述真实低照度图像数据集为合成数据集，首先利用网络获取真实低照度图像数据集并筛选公共数据集中低照度图像进行扩充。其次对图像进行标注，汇总为标签数据集。最后将标签数据集随机划分为训练集、验证集和测试集；
步骤三所述增强恢复模块以双通道的形式，首先将增强图像与原始图像作为输入进行融合，利用通道注意力机制为每个特征通道添加一个权重。其次通过神经网络学习特征图中每个通道的重要性。最后根据权重聚合双通道的输入特征通道，提高模块对目标特征信息通道的关注，抑制图像增强时噪声放大的影响；
步骤四所述增强器与检测器级联网络为低照度图像增强算法、级联模块和目标检测算法组成，包含图像预处理层、特征融合层、特征提取层和预测层。其中所述低照度图像增强算法作为网络的预处理层增强图像质量，低照度图像增强算法包含直方图均衡化方法、基于Retinex理论或曲线映射的方法，所述的级联模块为步骤三中增强恢复模块，所述目标检测算法包含基于候选区域的两步算法或基于分类回归的单步算法，通过CSPDarknet、VGG或Mobilenet等网络模型进行特征融合，通过特征金字塔FPN、PANet或BiFPN等网络结构进行特征提取，通过3×3和1×1的卷积模块进行分类回归，计算交并比，预测目标出现在先验框中的概率；
步骤五所述模型轻量化对预处理部分先将下采样后的小比例图像作为预处理层的输入，降低卷积层学习的计算成本。其次通过上采样将增强后的图像恢复到原始分辨率，代入后续的活动中。最后将普通卷积替换为深度可分离卷积，参数量可减少至原来的十分之一；
步骤六所述优化模型在特征提取网络中加入注意力机制来弥补网络轻量化带来的精度下降问题，特别在计算能力有限情况下，注意力机制可将计算资源分配给更重要的任务，使神经网络具备专注于空间信息及通道信息的特征提取能力，使整体模型在精度与速度上达到平衡。
步骤七所述模型训练部分首先将低照度图像数据集按8:1:1随机分为训练集、验证集与测试集，生成低照度图像目标检测模型。其次验证模型检测效果，在低照度条件下拍摄真实图像，将图像分别送入传统目标检测模型与基于本发明的低照度目标检测模型，验证模型检测效果；
本发明有益效果：
首先，本发明利用图像增强算法作为目标检测的预处理步骤，更适用于低照度图像的特征提取，可以提高神经网络对低照度图像识别的精确度。其次，本发明设计了基于通道注意力机制的增强恢复模块，对图像增强带来的图像噪声放大问题进行权重规定，获得了质量更高的图像。再次，本发明下采样图像进行预处理，降低模型对算力的要求，可以将模型应用在移动端或嵌入式设备等算力较低的平台。然后，本发明在特征提取阶段使用深度可分离卷积替换标准卷积，使整体模型在检测速度上得到了提升，满足实时检测的需求。最后，本发明无需使用红外成像等硬件设备对图像处理，成本较低。
附图说明
图1是基于卷积神经网络的实时低照度目标检测流程图；
图2是增强恢复模块结构图；
图3是深度可分离卷积结构图；
图4是协调注意力机制结构图。
具体实施方案
为使本发明的技术方案及特征更清晰地展现，以下结合附图解释本发明，但本发明不受实例的限制。
实施例1：
一种基于卷积神经网络的实时低照度图像目标检测方法，所述检测方法包括：
步骤一、配置环境：配置基于深度学习的图像增强算法与目标检测算法环境。本实施例在window***下配置所需开发环境，其中使用的的计算机显卡为RTX3060，各应用环境为python 3.9.7，anconda 4.11.0，cuda11.0。本实例在github上获取目标检测算法YOLOX与图像增强算法ZeroDCE开源程序。
步骤二、收集数据：构建低照度图像数据集，获取真实低照度图像并对图像进行标注，汇总为标签数据集。本实例使用了开源真实低照度数据集ExDark，覆盖10种不同程度低照度条件，包含人、自行车、船、椅子等12个类别，共7363张低照度图像。由于PSCAL VOC和真实暗光检测数据集ExDark都包含10类对象，所以从VOC2007数据集中筛选2760张低照度图像进行扩充，形成新数据集A。为了方便YOLOX做训练，将数据集A中的标签转为VOC2007格式并调整图像分辨率以适应网络输入。
步骤三、建立增强恢复模块，使用权重机制抑制图像增强带来噪声放大的问题。本实例借鉴SKNet的网络结构，提出了一种新的级联模块。增强恢复模块如图2所示，模块由输入层、特征融合层及特征聚合层三个部分组成，首先，输入层以增强图像特征和原始图像特征作为模型的输入，考虑到使用逐像素相加(Point-Wise Addition)的方法融合特征会受到增强图像放大噪声的影响，选择了向量拼接(Concatenate)的方法来融合双通道输入的图像，得到融合图像特征大小为2C*H*W,融合后的特征U∈R2C*H*W。计算公式可表示为：U＝U1+U2，式中，U表示融合图像特征，U1表示增强图像特征，U2表示原始图像特征；其次，特征融合层为了表征每个通道信息的重要性，采用全局平均池化方法对H和W维度的特征通道编码，将U每一层降维为一个数M。计算公式可表示为：式中，W和H表示特征的宽高，(i，j)表示特征的空间位置。为了学习特征通道之间的相关性，模块将M输入先降维再升维的为两层全连接层分支fc，得到权重向量Z，计算公式可表示为：Za＝Ffc(M，W)＝σ(Waδ(WM))，Zb＝Ffc(M，W)＝σ(Wbδ(WM))，式中Za和Zb表示输出的两个权重向量，W为第一个全连接层的参数，维度为c/γ*c，γ为缩放因子，用于降低向量维度，缩小计算量，Wa和Wb分别为两个全连接分支中第二层全连接层的参数，维度为C*C/γ，用于生成对应输入特征的权重向量，δ为ReLu激活函数，β为Sigmoid层；最后，特征聚合层中使用softmax函数得到原始图像特征与增强图像特征通道权重Za，Zb，将U1，U2提取特征加权相加得到特征图U+，U+的每一层特征可表示为：U+＝Za*U1+Zb*U2。对比增强器与检测器直接连接，本发明提出的增强恢复模块将增强图像与原始图像择优聚合，在提升图像质量的同时，降低增强图像后噪声放大的影响。
步骤四、轻量化模型，保证模型满足实时检测的需要。本实例选用ZeroDCE与YOLOX分别作为图像增强与目标检测模型。首先对图像增强部分，将下采样后的小比例图像作为深度网络DCENet的输入，然后将深度估计的曲线参数映射上采样，恢复到原始分辨率后再进行后续的迭代增强。这种下采样操作将低分辨率图像作为输入，可以显著降低计算成本。其次对目标检测部分，特征提取网络使用的普通卷积可以替换为更加高效的深度可分离网络。如图3深度可分离卷积所示，展示了如何将标准卷积(a)分解为逐深度卷积(b)和逐点卷积(c)。标准卷积层输入图像大小为M×DF×DF，用N个大小为M×DK×DK的卷积核进行卷积操作，最终输出大小为N×DG×DG的特征图。其中，DF表示输入特征图的宽和高，DG表示输出特征图的宽和高，DK是卷积核的空间维数，M是输入通道数，N是输出通道数。最终得到标准卷积与深度可分离卷积所用的参数量与计算量如下：标准卷积层参数量为DK×DK×M×N；标准卷积计算量为DK×DK×M×N×DF×DF；深度可分离卷积参数量为DK×DK×M×N+DK×DK×N；深度可分离计算量为DK×DK×M×DF×DF+M×N×DF×DF。通过参数量比值与计算量比值可以发现，轻量化后的特征提取网络参数量与计算量约为原始的九分之一，大幅减小了模型高度与宽度，提升了模型推理速度。
步骤五、优化模型，在特征提取网络中加入注意力机制来弥补网络轻量化带来的精度下降问题。本实例在特征提取层加入了一种用于移动端的高效坐标注意力机制CA，能够将横向和纵向的位置信息编码到特征通道中，使得移动网络能够关注大范围的位置信息，更好地定位和识别目标，又不会带来过多的计算量。CA注意力机制模块旨在增强移动网络学***均池化，分别获得在宽度和高度两个方向的特征图。接着将获得全局感受野的宽度和高度两个方向的特征图拼接在一起，之后将它们送入共享的卷积核为1×1的卷积模块，将其维度降低为原来的C/r，然后将经过批量归一化处理的特征图F1送入Sigmoid激活函数得到形如1×(W+H)×C/r的特征图。接着将特征图按照原来的高度和宽度进行卷积核为1×1的卷积分别得到通道数与原来一样的特征图Fh和Fw，经过Sigmoid激活函数后分别得到特征图在高度和宽度上的注意力权重。最后在原始特征图上通过乘法加权计算，将得到最终在宽度和高度方向上带有注意力权重的特征图。
步骤六、训练模型，测试低照度环境检测效果。将步骤二中的数据集A按8:1:1分为训练集，验证集和测试集导入到本实例中用作训练、验证和测试集，最终生成低照度目标检测模型。
实验结果：
将低照度图像同时送入常用目标检测模型与本实例的模型中验证弱光检测效果。实验结果对比如表1所示，
表1结果对比
本发明模型在检测速度和准确度方面都超过了YOLOX，并且模型尺寸也更小。此外，本发明通过使用先下采样降低原始图像分辨率，再进行上采样还原增强后图像的方式，在不影响图像增强效果的前提下降低模型对算力的要求，使模型处理速度更快，满足实时检测的需求。
以上对本发明的具体实施进行了详尽的描述，需要理解的是个别细节并不局限于上述特定的实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，并不影响本发明的实质内容。
Claims (8)
1.一种基于卷积神经网络的实时低照度图像目标检测方法，其步骤包括：
步骤一、配置深度学习软件环境，配置基于卷积神经网络的图像增强算法与目标检测算法环境；
步骤二、构建低照度图像数据集，获取真实低照度图像并对图像进行标注，汇总为标签数据集；
步骤三、建立增强恢复模块，使用权重机制抑制图像增强带来噪声放大的问题；
步骤四、构造深度神经网络，建立“增强+检测”的检测模式，其中先对数据集进行图像增强，作为检测网络的预处理部分，再进行特征提取与检测活动；
步骤五、轻量化网络，预处理过程对图像下采样处理并将标准卷积替换为深度可分离卷积，保证网络实时性需求；
步骤六、优化网络，使用高效坐标注意力机制，关注通道与空间位置信息，增强网络的特征学习能力；
步骤七、训练神经网络模型，验证低光照环境检测效果。
2.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤一所述目标检测算法为基于候选区域的两步算法或基于回归的单步算法；图像增强算法为直方图图像增强算法、色调映射图像增强算法或Retinex图像增强算法。
3.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤二所述真实低照度图像数据集为合成数据集，首先利用网络获取真实低照度图像数据集并筛选公共数据集中低照度图像进行扩充；其次对图像进行标注，汇总为标签数据集；最后将标签数据集划分为训练集、验证集及测试集。
4.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤三所述增强恢复模块以双通道的形式首先将增强图像与原始图像作为输入进行融合，利用通道注意力机制为每个特征通道添加一个权重；其次通过神经网络学习特征图中每个通道的重要性；最后根据权重聚合双通道的输入特征通道，提高模块对目标特征信息通道的关注，抑制图像增强时噪声放大的影响。
5.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤四所述“增强+检测”网络为低照度图像增强算法、级联模块和目标检测算法组成，包含图像预处理层、特征融合层、特征提取层和预测层。其中所述低照度图像增强算法作为网络的预处理层增强图像质量，低照度图像增强算法包含直方图均衡化方法、基于Retinex理论或深度曲线估计的方法；所述的级联模块为权利要求4中增强恢复模块；所述目标检测算法包含基于候选区域的两步算法或基于分类回归的单步算法，通过CSPDarknet、VGG或Mobilenet等网络模型进行特征融合，通过特征金字塔FPN、PANet或BiFPN等网络结构进行特征提取，通过3×3和1×1的卷积模块进行分类回归，计算交并比，预测目标出现在先验框中的概率。
6.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤五所述模型轻量化对预处理部分先将下采样后的小比例图像作为预处理层的输入，降低卷积层学习的计算成本；其次通过上采样将增强后的图像恢复到入原始分辨率，代后续的活动中；最后将普通卷积替换为深度可分离卷积，参数量可减少至原来的十分之一。
7.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤六所述优化模型在特征提取网络中加入注意力机制来弥补网络轻量化带来的精度下降问题，使整体模型在精度与速度上达到平衡。
8.根据权利要求1所述的实时低照度图像检测方法，其特征在于，步骤七所述模型训练部分先将低照度图像数据集按8:1:1随机分为训练集、验证集与测试集，生成低照度图像目标检测模型；其次验证模型检测效果，在低照度条件下拍摄真实图像，将图像分别送入无图像增强的目标检测模型与权利要求1中的低照度目标检测模型，验证模型检测效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310940678.7A CN117115616A (zh) | 2023-07-28 | 2023-07-28 | 一种基于卷积神经网络的实时低照度图像目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310940678.7A CN117115616A (zh) | 2023-07-28 | 2023-07-28 | 一种基于卷积神经网络的实时低照度图像目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115616A true CN117115616A (zh) | 2023-11-24 |
Family
ID=88811871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310940678.7A Pending CN117115616A (zh) | 2023-07-28 | 2023-07-28 | 一种基于卷积神经网络的实时低照度图像目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115616A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071752A (zh) * | 2024-04-24 | 2024-05-24 | 中铁电气化局集团有限公司 | 一种接触网检测方法 |
-
2023
- 2023-07-28 CN CN202310940678.7A patent/CN117115616A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118071752A (zh) * | 2024-04-24 | 2024-05-24 | 中铁电气化局集团有限公司 | 一种接触网检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| CN110909666B (zh) | 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法 | |
| CN112183203B (zh) | 一种基于多尺度像素特征融合的实时交通标志检测方法 | |
| CN111861925A (zh) | 一种基于注意力机制与门控循环单元的图像去雨方法 | |
| CN111680705B (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
| CN115861380B (zh) | 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置 | |
| CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、***及设备 | |
| CN111209858A (zh) | 一种基于深度卷积神经网络的实时车牌检测方法 | |
| Cho et al. | Semantic segmentation with low light images by modified CycleGAN-based image enhancement | |
| CN113052057A (zh) | 一种基于改进卷积神经网络的交通标志识别方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN114140672A (zh) | 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络***及方法 | |
| CN117115616A (zh) | 一种基于卷积神经网络的实时低照度图像目标检测方法 | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及*** | |
| Wu et al. | Vehicle detection based on adaptive multi-modal feature fusion and cross-modal vehicle index using RGB-T images | |
| CN111199255A (zh) | 基于darknet53网络的小目标检测网络模型及检测方法 | |
| Li et al. | An end-to-end system for unmanned aerial vehicle high-resolution remote sensing image haze removal algorithm using convolution neural network | |
| Cho et al. | Modified perceptual cycle generative adversarial network-based image enhancement for improving accuracy of low light image segmentation | |
| CN117372853A (zh) | 一种基于图像增强和注意力机制的水下目标检测算法 | |
| CN116363610A (zh) | 一种基于改进YOLOv5的航拍车辆旋转目标检测方法 | |
| CN115861595A (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
| Ran et al. | Adaptive fusion and mask refinement instance segmentation network for high resolution remote sensing images | |
| Liangjun et al. | MSFA-YOLO: A Multi-Scale SAR Ship Detection Algorithm Based on Fused Attention | |
| Yang et al. | Improved Object Detection Algorithm Based on Multi-scale and Variability Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |