CN112861987B - 暗光环境下的目标检测方法 - Google Patents
暗光环境下的目标检测方法 Download PDFInfo
- Publication number
- CN112861987B CN112861987B CN202110233865.2A CN202110233865A CN112861987B CN 112861987 B CN112861987 B CN 112861987B CN 202110233865 A CN202110233865 A CN 202110233865A CN 112861987 B CN112861987 B CN 112861987B
- Authority
- CN
- China
- Prior art keywords
- model
- target detection
- data
- channel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 230000004913 activation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及暗光环境下的目标检测方法，包括：步骤1，获取不同背景、不同黑暗程度下包含待检测目标的数据集；步骤2，对数据集进行预处理：采用6通道数据作为输入，其中3个通道数据为原图像数据，另外3个通道的数据为经过亮度调整的图像；步骤3，对ssd模型进行修改，获得目标检测模型；步骤4，将步骤2获得的数据分为训练集和测试集，用训练集对目标检测模型进行训练；步骤5，用测试集对训练后的目标检测模型进行测试。本发明通过亮度增强算法对图像进行增强，并改变目标检测算法下采样过程中的采样策略来增加模型的学习能力；同时在训练阶段，通过将传统的softmax loss改变为focal loss来增加模型对困难样本的区分度，提高模型的召回率。
Description
技术领域
本发明涉及目标检测技术领域，尤其涉及暗光环境下的目标检测方法。
背景技术
目标检测(Object Detection)是计算机视觉领域的基本任务之一。近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。从最初2013年提出的R-CNN、OverFeat，到后面的Fast/Faster R-CNN，SSD，YOLO系列，再到Pelee。
基于深度学习的目标检测技术，物体检测发展主要集中在两个方向：two stage算法(如R-CNN系列)和onestage算法(如YOLO、SSD等)。两者的主要区别在于two stage算法需要先生成proposal(一个有可能包含待检物体的预选框)，然后进行细粒度的物体检测。而onestage算法会直接在网络中提取特征来预测物体分类和位置。
目前，one stage算法和twostage算法在数据集上都获得了巨大的成功，并在现实生活场景中获得了相当广泛的应用。特别是以yolo、ssd为代表的onestage算法在人脸检测、行人检测以及其他工业领域内获得极大的成功。但是这些目标检测算法都只对光照环境比较敏感，逆光环境下、暗光环境下的检测能力较差。特别的，对于暗光环境下存在以下问题：
1、暗光环境下图像过暗，颜色分布不均匀，在直方图则表现为像素分布集中在0-100之间，而通常的目标检测算法的训练图像的像素分布相对均匀，即图像数据分布发生了较大变化，这直接导致了算法在暗光环境下检测能力的不足；
2、图像在暗光环境下由于曝光不足而导致细节不足，图像在经过卷积+Relu函数模块以及下采样后会丢失大量信息，这直接导致目标的丢失；
3、图像过暗还同时导致了目标和背景区分度不够，在训练的过程中会产生的大量的困难样本，从而导致召回率不高。
发明内容
本发明为了解决暗光环境下的目标检测准确率低的问题，提供一种暗光环境下的目标检测方法。
暗光环境下的目标检测方法，包括以下步骤：
步骤1，获取不同背景、不同黑暗程度下包含待检测目标的数据集；
步骤2，对数据集进行预处理，包括：
2.1，原始图像进行反相；
2.2，利用暗通道去雾算法对反相后图像进行调整；
2.3，对调整后的图像再次进行反相；
2.4，将步骤2.3获得的图像和原图像按照[RR’GG’BB’]的顺序堆叠成6通道的数据，其中R表示原图像的R通道，R’表示步骤2.3获得的图像的R通道；其中G表示原图像的G通道，G’表示步骤2.3获得的图像的G通道；其中B表示原图像的B通道，B’表示步骤2.3获得的图像的B通道；
2.5，对6通道数据进行归一化处理；
步骤3，对ssd模型进行修改，获得目标检测模型，包括：
3.1，搭建传统的SSD模型；
3.2改进SSD模型的激活函数：选择PReLU作为激活函数；
改进SSD模型的下采样模块：将下采样过程中步长为2的卷积模块替换成Focus模块；
调整SSD模型的损失函数：将用于分类的softmaxloss换成focalloss；
步骤4，将步骤2获得的数据分为训练集和测试集，用训练集对目标检测模型进行训练；
步骤5，用测试集对训练后的目标检测模型进行测试。
优选地，所述步骤3.1中的ssd模型采用mobileNet作为主干网络。
进一步优选地，主干网络包括5次下采样。
进一步的，分别在第三次、第四次、第五次下采样的特征图上做分类预测和回归预测。
与现有技术相比，本发明具有以下有益效果：
本发明通过亮度增强算法对图像进行增强，并改变目标检测算法下采样过程中的采样策略来增加模型的学习能力；同时在训练阶段，通过将传统的softmax loss改变为focal loss来增加模型对困难样本的区分度，提高模型的召回率。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。
图1是本发明中神经网络模型的结构图；
图2是Focus下采样的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
本发明公开的暗光环境下的目标检测方法，包括以下步骤：
S1，算法环境配置。该步骤主要配置深度学习算法所需要的软件环境。
S2，制作数据集。
收集不同背景、不同黑暗程度下包含待检测目标的数据，数据可来源于网络或摄像头。然后在数据集中标注待测目标，形成标注框。
S3，数据处理。
不同于传统的3通道数据输入卷积神经网络的情况，本实施例采用6通道数据作为输入，其中3个通道数据为原图像数据，另外3个通道的数据为经过亮度调整的图像。这样即保留了原始图像的部分信息，同时又对部分细节进行了补充。数据处理的详细流程如下：
S3.1，原始图像进行反相；
S3.2，利用暗通道去雾算法对图像进行调整；
S3.3，对调整过后的图像再次进行反相；
S3.4，将经过处理的图像和原图像按照[RR’GG’BB’]的顺序进行堆叠成6通道的数据，其中R表示原图像的R通道，R’表示经过处理后图像的R通道；其中G表示原图像的G通道，G’表示处理后图像的G通道；其中B表示原图像的B通道，B’表示处理后图像的B通道；
S3.5，将6通道数据缩放→减去127→除以128的操作，然后输入神经网络，此时所有通道的图像数据分布于[-1，1]之间。
S4，构建神经网络模型。
S4.1，构建模型主体结构。
S4.1.1本实施例采用mobileNet作为主干网络的ssd模型。
如图1所示，网络采用5次下采样，分别在第三次、第四次、第五次下采样的特征图上做分类和回归，其中分类模块预测物体的类别，而回归模块预测物体的位置。
卷积模块由一个或几个卷积+激活函数堆叠在一起的神经网络。下采样的过程是不断降低特征图大小的过程。
S4.1.2，改进激活函数。
在目标检测的过程中，数据经过正则化之后分布于[-1,1]之间。在暗光环境下原始图像中大量像素集中在[0,128]这个区间，那么经过normalize之后数据大量分布在[-1,0]，因此需要增强模型在[-1,0]之间的学习能力。本实施例选择PReLU作为激活函数，而不是ReLU。ReLU和PReLU激活函数的区别如式(1)、式(2)所示：
式中，x为经过一个卷积模块之后的输出值，a为一个可学习参数。
S4.1.3，改进下采样模块。
由于暗光环境下，原始图像中目标细节不足，下采样的过程中可能导致特征图丢失过多细节而导致模型性能不佳。因此，本实施例将下采样过程中步长为2的卷积模块替换成Focus模块。
如2所示，Focus模块把一个通道按个逐步采样的方式变成两个通道，既保证了信息的完整性，同时又实现了特征图的下采样，扩大了特征图的感受野。本实施例可在不增加参数的情况下，尽量保存数据细节，增加模型的表达能力。
S4.1.4，调整损失函数。将用于分类的softmaxloss换成focalloss，这样可以增加模型对前景和背景的区分能力。
S5，模型训练。这一步主要是将S3获得的数据分为训练集和测试集，并将训练集分批次送入神经网络，训练神经网络，继而获得暗光环境下的目标检测模型。
S6，模型测试。完成训练后，测试暗光环境下的目标检测模型的性能。
本发明灵活应用暗通道去雾算法、针对移动段设计的mobilenet网络、SSD检测算法以及训练阶段的Focalloss，可增强模型对光线不足的图片的检测能力。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.暗光环境下的目标检测方法，其特征在于：包括以下步骤：
步骤1，获取不同背景、不同黑暗程度下包含待检测目标的数据集；
步骤2，对数据集进行预处理，包括：
2.1，原始图像进行反相；
2.2，利用暗通道去雾算法对反相后图像进行调整；
2.3，对调整后的图像再次进行反相；
2.4，将步骤2.3获得的图像和原图像按照[RR’ GG’BB’]的顺序堆叠成6通道的数据； R表示原图像的R通道，R’表示经过处理后图像的R通道，G表示原图像的G通道，G’表示处理后图像的G通道， B表示原图像的B通道，B’表示处理后图像的B通道；
2.5，对6通道数据进行归一化处理；
步骤3，对SSD模型进行修改，获得目标检测模型，包括：
3.1，搭建传统的SSD模型；
3.2，改进SSD模型的激活函数：选择PReLU作为激活函数；
改进SSD模型的下采样模块：将下采样过程中stride=2的卷积模块替换成Focus模块；
调整SSD模型的损失函数：将用于分类的softmaxloss换成focalloss；
步骤4，将步骤2获得的数据分为训练集和测试集，用训练集对目标检测模型进行训练；
步骤5，用测试集对训练后的目标检测模型进行测试。
2.根据权利要求1所述的暗光环境下的目标检测方法，其特征在于：所述步骤3.1中的SSD模型采用mobileNet作为主干网络。
3.根据权利要求2所述的暗光环境下的目标检测方法，其特征在于：主干网络包括5次下采样。
4.根据权利要求3所述的暗光环境下的目标检测方法，其特征在于：分别在第三次、第四次、第五次下采样的特征图上做分类预测和回归预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110233865.2A CN112861987B (zh) | 2021-03-03 | 2021-03-03 | 暗光环境下的目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110233865.2A CN112861987B (zh) | 2021-03-03 | 2021-03-03 | 暗光环境下的目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861987A CN112861987A (zh) | 2021-05-28 |
| CN112861987B true CN112861987B (zh) | 2024-04-16 |
Family
ID=75991176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110233865.2A Active CN112861987B (zh) | 2021-03-03 | 2021-03-03 | 暗光环境下的目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861987B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991236B (zh) * | 2021-05-20 | 2021-08-13 | 南京甄视智能科技有限公司 | 一种基于模板的图像增强方法及装置 |
| CN114532919B (zh) * | 2022-01-26 | 2023-07-21 | 深圳市杉川机器人有限公司 | 多模态目标检测方法、装置、扫地机及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
| CN111126472A (zh) * | 2019-12-18 | 2020-05-08 | 南京信息工程大学 | 一种基于ssd改进的目标检测方法 |
| CN111626120A (zh) * | 2020-04-24 | 2020-09-04 | 南京理工大学 | 工业环境下基于改进的yolo-6d算法的目标检测方法 |
| CN112183203A (zh) * | 2020-08-26 | 2021-01-05 | 北京工业大学 | 一种基于多尺度像素特征融合的实时交通标志检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11580356B2 (en) * | 2019-07-19 | 2023-02-14 | Qualcomm Incorporated | Efficient inferencing with piecewise pointwise convolution |
-
2021
- 2021-03-03 CN CN202110233865.2A patent/CN112861987B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298266A (zh) * | 2019-06-10 | 2019-10-01 | 天津大学 | 基于多尺度感受野特征融合的深度神经网络目标检测方法 |
| CN111126472A (zh) * | 2019-12-18 | 2020-05-08 | 南京信息工程大学 | 一种基于ssd改进的目标检测方法 |
| CN111626120A (zh) * | 2020-04-24 | 2020-09-04 | 南京理工大学 | 工业环境下基于改进的yolo-6d算法的目标检测方法 |
| CN112183203A (zh) * | 2020-08-26 | 2021-01-05 | 北京工业大学 | 一种基于多尺度像素特征融合的实时交通标志检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861987A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN107274445B (zh) | 一种图像深度估计方法和*** | |
| US20160334546A1 (en) | Weather recognition method and device based on image information detection | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及*** | |
| CN112861987B (zh) | 暗光环境下的目标检测方法 | |
| CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
| CN110807384A (zh) | 低能见度下的小目标检测方法和*** | |
| CN112580661B (zh) | 一种深度监督下的多尺度边缘检测方法 | |
| CN113326846B (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
| CN113205107A (zh) | 一种基于改进高效率网络的车型识别方法 | |
| CN105825219A (zh) | 机器视觉检测*** | |
| CN117372898A (zh) | 一种基于改进yolov8的无人机航拍图像目标检测方法 | |
| CN113781468A (zh) | 一种基于轻量级卷积神经网络的舌图像分割方法 | |
| CN115019340A (zh) | 一种基于深度学习的夜间行人检测算法 | |
| CN114241344A (zh) | 一种基于深度学习的植物叶片病虫害严重程度评估方法 | |
| CN113158992A (zh) | 一种基于深度学习的黑暗条件下动作识别方法 | |
| CN116363136B (zh) | 一种机动车部件自动化生产在线筛选方法及*** | |
| CN112488220A (zh) | 一种基于深度学习的小目标检测方法 | |
| CN116579948A (zh) | 一种基于光照强度分类的低照度图像增强方法 | |
| CN116152191A (zh) | 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备 | |
| CN115984133A (zh) | 图像增强方法、车辆抓拍方法、设备及介质 | |
| CN115240163A (zh) | 一种基于一阶段检测网络的交通标志检测方法及*** | |
| CN114565597A (zh) | 一种基于YOLOv3-tiny-DB和迁移学习的夜间道路行人检测方法 | |
| CN117671472B (zh) | 一种基于动态视觉传感器的水下多目标群体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |