CN110503092B - 基于领域适应的改进ssd监控视频目标检测方法 - Google Patents
基于领域适应的改进ssd监控视频目标检测方法 Download PDFInfo
- Publication number
- CN110503092B CN110503092B CN201910659059.4A CN201910659059A CN110503092B CN 110503092 B CN110503092 B CN 110503092B CN 201910659059 A CN201910659059 A CN 201910659059A CN 110503092 B CN110503092 B CN 110503092B
- Authority
- CN
- China
- Prior art keywords
- ssd
- daytime
- detection
- data set
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 238000012544 monitoring process Methods 0.000 title claims abstract description 44
- 230000006978 adaptation Effects 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000000694 effects Effects 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 23
- 230000006872 improvement Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于领域适应的改进SSD(单发多框目标检测器)监控视频目标检测方法,步骤如下:(1)采用SSD网络,在公开数据集上训练获得SSD模型。(2)准备监控视频数据,从实际校园监控视频中获取数据集。(3)构建改进网络结构,通过在SSD网络中特定卷积层上引入最大均值差异方法,重构网络损失函数。(4)根据改进的网络结构和损失函数,在训练数据集上完成改进模型的训练。(5)将白天和夜间场景数据分别输入到改进模型进行检测,获得最终检测结果。本发明根据领域适应方法,改进SSD网络,以检测平均正确率AP作为评价标准,提高了SSD网络在不同领域之间的适应性,在白天和夜间监控视频场景的目标检测任务中可以同时达到较好的应用效果。
Description
技术领域
本发明属于计算机视觉技术领域,主要涉及深度学习目标检测,尤其是一种基于领域适应的改进SSD(单发多框目标检测器)监控视频目标检测方法。
背景技术
随着人们安全意识的提高,安防领域的建设越来越受关注。视频监控***作为实现安全防护重要的方式,其已广泛应用于各种场景,包括街道、社区、医院、校园等。传统的视频监控只进行视频采集和存储,通过人工监控和分析的方法以发现视频中的异常行为,一般用于事后取证,该视频监控方式缺乏实时性。然而,伴随着视频监控***覆盖范围越来越广泛,相应的摄像头的数量也日益增加。在庞大监控视频量的情况下,依靠监控工作人员时刻监看视频很难及时对视频中出现的非正常行为做出反应,不能满足人们对于实际监控实时性的需求。因此,智能视频监控技术的出现和发展成为解决该问题的有效手段。其智能化体现在从海量的数据中自动的提取出有用信息,对监控视频内容进行自动分析处理,进而实现对监控视频中的目标自动检测。
传统的目标检测算法使用人工设计的特征提取器,存在特征表达能力不足,特征可分性差等缺点。其特征设计依赖于不同情况下的实际视觉检测任务,容易受限于开发人员自身的理论基础和实际经验,检测精度不能满足实际需求。而深度学习利用深度神经网络从大量的数据中自主学习特征,学习到的特征更丰富,表达更充分,具有强鲁棒性和高准确性的特点。在深度学习中,卷积神经网络是图像识别和目标检测领域核心的算法之一。在国内外学者对深度学习不断的深入研究下,相继出现了多种基于卷积神经网络目标检测方法。但是,深度神经网络中包含了大量需要自主学习的参数,这些参数的学习需要依靠大量的数据。因此,从小样本数据集中很难学习到准确的特征。此外,人工标注数据往往会耗费大量的人力和时间,而且深度神经网络在不同领域之间的泛化能力较弱,对于不同的领域需要重新训练模型,这在一定程度上都增加了模型训练的难度。
发明内容
本发明的目的在于克服现有技术的不足之处,提供一种基于领域适应的改进SSD监控视频目标检测方法,利用迁移学习中的领域适应方法改进网络结构,以提高其在夜间和白天视频不同场景下的检测效果。
实现本发明的技术方案是:
(1)采用SSD网络,在公开数据集(PASCALVOC2007和PASCALVOC2012)中挑选数据组成训练数据集,在此数据集上训练获得SSD模型。
(2)准备监控视频数据,针对实际校园监控视频中经常出现的人这一类别,对不同场景和时间段的白天和夜间监控视频数据进行挑选,人工标注并通过数据增广的方式将数据进行扩充。
(3)构建改进网络结构,在SSD网络中引入衡量不同领域分布差距的最大均值差异度量方法MMD,利用最大均值差异在特定卷积层Conv3_3上计算不同领域之间的特征差距,并将此差距与SSD网络损失函数合并构成新的总损失函数L,通过多次迭代调节参数以减少不同领域的分布差异,从而充分利用原领域数据,以促进目标领域的检测效果。
改进方法总损失函数L由SSD损失函数L(x,c,l,g)和MMD构成,公式为:
L=L(x,c,l,g)+λMMD2(XS,XT)
其中,L为总的损失函数,L(x,c,l,g)为原SSD网络的损失函数,MMD2(XS,XT)为最大均值差异,λ为正则化参数,其取值过低会导致最大均值差异值对模型的训练没有影响,取值过高,会导致正则化过于严重,同样也会对检测效果产生不利影响。
SSD损失函数公式为:
其中,Lconf为置信损失函数,Lloc为位置损失函数,N为与真实框匹配的默认框个数,c为类别信息的检测值,l为位置信息的检测值,g为真实框的位置信息,x为默认框与真实框的匹配结果,α为衡量置信损失与位置损失的权重因子,通常取值为1。
MMD的原理为假设分别存在一个满足N分布的源领域X(S)={xS (1),xS (2),...,xS (n)}和一个满足M分布的目标领域X(T)={xT (1),xT (2),...,xT (m)}。为源领域中的样本,/>为目标领域中的样本,nS和nT为对应的样本数量。设H为再生核希尔伯特空间(Reproducingkernel Hibert space,RKHS),映射函数φ(…):X→H,其表示为原始特征空间映射到RKHS空间的映射函数,当nS→∞,nT→∞时,XS和XT在RKHS空间中的最大差值差异公式为:
(4)获得训练模型,根据改进方法,在步骤(1)已获得的SSD模型基础上,将白天和夜间监控视频训练数据集同时输入到改进SSD网络进行训练。模型训练过程中白天数据是有标签的,网络训练过程中根据白天数据集标签与模型的预测值进行比较,通过随机梯度下降算法优化参数。夜间数据在网络训练过程中是无标签的,在模型特征学习过程中,通过计算不同数据在卷积层上的差距,将此差距与SSD网络原损失函数合并,以减少不同领域的分布差距获得最终的模型。
(5)白天和夜间视频监控场景目标检测,将白天和夜间视频数据分别输入到改进模型进行目标检测,获得最终的检测结果,并在这两种不同的监控视频场景下,采用原SSD模型,在步骤(1)中SSD模型基础上分别输入白天和夜间视频训练集进行训练测试,通过对比不同训练方法的目标检测结果,验证改进方法的有效性和可行性。
本发明的优点和有益效果:
本发明和传统的评价方法相比,具有以下优势:
(1)本发明根据领域适应方法,改进SSD网络,以检测平均正确率AP作为评价标准,提高了SSD网络在不同领域之间的适应性,在白天和夜间监控视频场景的目标检测任务中可以同时达到较好的应用效果。
(2)本发明在SSD模型已有参数的基础上进行训练,降低了训练对GPU计算能力和硬件成本的要求。
(3)本发明根据迁移学习中领域适应方法,对SSD网络进行改进,提高SSD网络在不同领域之间的适应性。
附图说明
图1(a)和图1(b)为不同场景和不同时间段的白天图像,
图1(c)和图1(d)为不同场景和不同时间段的夜间图像;
图2(a)和图2(b)为单独用白天训练集训练的模型对白天图像检测结果;
图2(c)和图2(d)为单独用白天训练集训练的模型对夜间图像检测结果;
图3(a)和图3(b)为单独用夜晚训练集训练的模型对白天图像检测结果;
图3(c)和图3(d)为单独用夜晚训练集训练的模型对夜间图像检测结果;
图4(a)和图4(b)为夜间数据集微调模型对白天图像检测结果;
图4(c)和图4(d)为夜间数据集微调模型对夜间图像检测结果;
图5(a)和图5(b)为白天数据集微调模型对白天图像检测结果;
图5(c)和图5(d)为白天数据集微调模型对夜间图像检测结果;
图6(a)为检测的白天图像;
图6(b)为检测的夜间图像;
图6(c)为将图6(b)经过直方图均衡化处理后得到的图像;
图6(d)为夜间图像亮度调整后的图像;
图6(e)为夜间图像亮度调整后的检测图像;
图6(f)为夜间图像亮度调整前的检测图像;
图6(g)为夜间图像饱和度调整后的图像;
图6(h)为夜间图像饱和度调整后的检测结果图像;
图6(i)为夜间图像饱和度调整前的检测结果图像。
图7(a)为采集的白天图像;
图7(b)为图7(a)在SSD网络Conv1_1卷积层特征图;
图7(c)为图7(a)在SSD网络Conv2_2卷积层特征图;
图7(d)为图7(a)在SSD网络Conv3_3卷积层特征图;
图7(e)为图7(a)在SSD网络Conv4_3卷积层特征图;
图7(f)为图7(a)在SSD网络Conv5_3卷积层特征图;
图7(g)为图7(a)在SSD网络FC7卷积层特征图;
图8(a)为采集的夜间图像;
图8(b)为图8(a)在SSD网络Conv1_1卷积层特征图;
图8(c)为图8(a)在SSD网络Conv2_2卷积层特征图;
图8(d)为图8(a)在SSD网络Conv3_3卷积层特征图;
图8(e)为图8(a)在SSD网络Conv4_3卷积层特征图;
图8(f)为图8(a)在SSD网络Conv5_3卷积层特征图;
图8(g)为图8(a)在SSD网络FC7卷积层特征图;
图9为改进SSD网络结构示意图;
图10(a)和图10(b)为采用本发明改进SSD网络结构对白天图像检测结果;
图10(c)和图10(d)为采用本发明改进SSD网络结构对夜间图像检测结果。
具体实施方式
下面结合附图并通过具体实施例对本发明作进一步详述,以下实施例只是描述性的,不是限定性的,不能以此限定本发明的保护范围。
一种基于领域适应的改进SSD监控视频目标检测方法,主要包括训练SSD模型、准备监控视频数据、构建改进网络结构、获得改进模型和目标检测等步骤。软件环境为深度学习框架Caffe、操作***为ubuntu16.04。
训练SSD模型的步骤如下:
(1)采用SSD网络,在公开数据集PASCALVOC数据集上训练获得SSD模型,迭代12万次,四块GPU,型号为Nvidia Titan Xp,显存为12GB。
(2)监控视频数据中白天数据集为5064张,训练集为3609张,测试集为1455张,夜间数据集5177张,训练集为3809张,测试集为1368张。
(3)使用步骤(2)的训练集,在步骤(1)中训练的SSD模型参数的基础上,使用改进的损失函数进行训练获得最终模型。
步骤(3)中由于在已训练完成的SSD模型参数基础上进行再训练,减少了改进方法所需的训练集,在型号为GeForce GTX1060、显存为6GB的单GPU上即可完成训练与测试,降低了训练对GPU计算能力和成本的要求。
步骤(3)中网络参数设置为:初始学习速率为10-4,动量为0.9,权重衰减项为0.0005,采用随机梯度下降算法进行训练,迭代30000次获得最终模型。
准备监控视频数据:参见图1。图1(a)和图1(b)为不同场景和不同时间段的白天图像,图1(c)和图1(d)为不同场景和不同时间段的夜间图像。本发明对监控视频数据进行人工标注,并通过数据增广的方式将数据进行扩充,并在Caffe的框架下将数据集转化为Caffe可用的lmdb格式的数据集;
构建改进网络结构:
步骤一:分析SSD网络在不同场景的检测效果,监控视频中通常既包括白天监控场景,也包括夜间监控场景。在已训练完成的SSD模型参数基础上,分别利用白天视频数据和夜间视频数据进行训练,各自训练相应的模型,将白天数据训练的模型直接用于测试夜间数据时,测试效果较差,而基于夜间数据训练的模型直接用于测试白天数据时,测试效果也不好。这是由于在夜间和白天这两种不同的光照条件下,数据之间在颜色、亮度等方面具有一定的差距。从白天数据集上学习的特征与夜间数据集上学习的特征亦存在不同,因此基于白天数据或夜间数据单独训练的模型很难能同时在白天和夜间数据集检测效果上保持较好的稳定性。本发明则采用SSD网络,在不同的情况下,对监控视频数据进行训练测试,进而分析SSD网络的检测效果。
首先,针对白天数据集,将白天训练集输入到已训练SSD模型中进行再训练,检测效果用单个类别的检测正确率AP(Average Precision)衡量,检测结果在表1给出:
表1
表1中单独用白天训练集训练的模型对于白天和夜间的检测正确率分别为52.7%、52.3%,检测结果均较低。白天和夜间图像检测结果参见图2。图2(a)和图2(b)为白天图像检测结果,图2(c)和图2(d)为夜间图像检测结果,白天图像和夜间图像图目标均存在漏检,模型在这两种数据之间的检测效果均较差。
其次,针对夜间数据集,将夜间训练集输入到已训练SSD模型中进行再训练,并分别对白天和夜间测试集进行结果测试,检测结果如表2:
表2
表2中单独用夜间训练集训练的模型对夜间测试集的检测正确率为88.3%,检测效果比表1有明显的提升,但是其对于白天测试集的检测正确率只有25.8%,仍不能在白天和夜间测试集上达到一定的稳定性。白天和夜间图像检测结果参见图3。图3(a)和图3(b)为白天图像检测结果,图3(c)和图3(d)为夜间图像检测结果。夜间图像相比白天图像检测效果较好,漏检较低,但是白天图像检测效果较差,模型在这两种数据之间的适用性仍然较差。
然后,针对夜间数据集,将在白天数据集训练模型的基础上再输入夜间数据集进行微调训练,并分别对白天和夜间测试集进行结果测试,具体检测结果对比在表3体现:
表3
表3中,夜间数据集微调模型对于白天和夜间的检测正确率分别为57.8%、79.4%,该模型相比表1、表2对应的模型对于白天和夜间的检测效果有更好的平衡性,白天和夜间的之间的检测正确率相差仍较多,为21.6%。白天和夜间图像检测结果参见图4。图4(a)和图4(b)为白天图像检测结果,图4(c)和图4(d)为夜间图像检测结果,目标检测存在漏检,模型在白天和夜间数据集上检测的效果均有待提高。
最后,针对白天数据集,将在夜间数据集训练模型的基础上再输入白天数据集进行微调训练,并分别对白天和夜间测试集进行结果测试,表4所示:
表4
表4中,针对白天数据集进行微调的模型对于白天和夜间的检测正确率分别为41.1%、87.6%,该模型在白天和夜间的之间的检测正确率相差,为46.5%,仍不能达到一定的适用性。白天和夜间图像检测结果参见图5。图5(a)和图5(b)为白天图像检测结果,图5(c)和图5(d)为夜间图像检测结果,从目标的检测概率上看,夜间图像比白天图像检测概率值更高,检测效果更好,但模型在这两种数据上的检测结果上依然存在较大漏检,模型适用性仍然较差。
步骤二:分析夜间与白天视频检测差异,白天和夜间监控视频数据在颜色、亮度以及对比度等方面有较大的差异性,在SSD网络进行特征学习亦是存在差异,进而学习的模型在白天和夜间检测效果差距比较大。
本发明利用图像处理方法分析对比度、亮度和饱和度对目标检测效果的影响,参见图6。图6(a)白天图像相比图6(b)夜间图像能检测更多的目标,将图6(b)经过直方图均衡化处理后得到图6(c),其检测结果优于未经均衡化处理前的夜间图像。图6(d)为夜间图像亮度调整后的图像,通过比较图6(e)和图6(f)亮度调整前后的检测结果,可以看出夜间图像提高图像亮度后,检测效果有所提升。图6(g)为饱和度调整后的图像,增加的图像饱和度后,图6(h)的检测结果明显优于图6(i)未增加图饱和度之前的结果。
另外,由于白天图像和夜间图像本身存在亮度、对比度等差距,且这些差距会导致在两种数据之间进行特征学习时,在特征上体现出一定的差异性,进而影响检测结果。本发明将SSD网络中不同卷积层的特征图进行可视化,针对白天和夜间数据在SSD网络相应卷积层上特征学习的差异进行比较,分析卷积层之间的差距,从网络特征学习的角度上进行分析,参见图7和图8。图7白天图像中卷积层Conv1_1、Conv2_2、Conv3_3和Conv4_3相比图8夜间图像中对于卷积层提取的边缘、轮廓等信息更加丰富,且在各个卷积层上特征的学习均具有差异性。夜间图像在卷积层Conv1_1、Conv2_2虽可以学习到一定的细节信息,仍弱于白天图像学习到的特征,而在Conv3_3卷积层上,两种数据的特征学习具有较为明显的不同,在此之后的卷积层Conv4_3、Conv5_3和FC7层学习到的特征信息亦不同,目标检测效果将会产生较大的不同。本发明则根据迁移学习中的领域适应方法,从SSD网络Conv3_3卷积层进行相应的改进,以提高目标检测效果。
步骤三:根据领域适应方法,改进SSD网络结构,根据白天和夜间图像在SSD网络在卷积层之间特征学习的差距,在Conv3_3上引入最大均值差异方法。由于过于浅层的卷积层特征学习不够充分,且离输出层较远,在卷积层面上不能起到很好的领域适应作用,因此本发明选择在Conv3_3卷积层上度量不同领域的特征差异值,改进方法示意图参见图9。图9中在Conv3_3卷积层上加入最大均值差异MMD方法,损失1为SSD网络损失,总的损失为MMD距离和损失1之和。
目标检测:通过对比改进方法和原SSD方法对白天和夜间图像中的目标检测结果,验证本发明方法的有效性,参见图10。图10(a)和图10(b)为白天图像检测结果,图10(c)和图10(d)为夜间图像检测结果。从检测结果可已看出,改进方法对于白天和夜间图像的检测概率值均在0.6以上,且漏检情况较低,在两种数据的检测效果均较好。
本发明的技术效果通过以下的实验就进行说明:
实验对象为监控视频数据集。
实验步骤:
(1)采用SSD网络,在公开数据集上训练获得SSD模型。
(2)在相同实验环境和参数下,分别采用SSD方法和改进方法,针对不同情况,利用监控视频训练集训练获得不同的模型,并使用不同模型对监控视频测试集进行测试比较。检测效果用正确率AP以衡量,验证改进方法的有效性。
实验数据统计:
采用不同方法对于白天监控视频数据和夜间监控视频数据进行检,检测结果如表5所示:
表5
表5中相差绝对值为两种数据检测结果的AP差值绝对值。原SSD模型对于白天和夜间数据的检测正确率分别为25.9%、39.9%,检测结果较差。白天数据集训练的模型在白天和夜间数据检测结果上相差0.4%,但是检测正确率偏低。夜间数据集训练模型在夜间数据检测结果为88.3%,与白天数据检测结果相差62.5%,差距明显增大。夜间数据集微调模型为在白天数据集训练的模型基础上利用夜间数据进行微调获得,白天和夜间检测相差21.6%,差距仍然较大。白天数据微调模型为在夜间数据集训练的模型基础上利用白天数据进行微调获得,两种场景检测结果差距为46.5%,仍不能满足需求。而改进方法训练的模型,在白天和夜间数据集上测试的正确率分别为71.1%和72.9%,相差只有1.8%,改进方法在两个场景数据的检测结果上可以同时保持相对高的正确率,不同场景之间的数据检测适应性更强。
表6列出了不同方法在显卡Titan Xp GPU上的检测速度。
表6
表6中,原SSD方法每秒检测47帧图像,改进方法检测速度为每秒44帧图像,检测速度与原SSD方法基本一致,可以满足实时性的要求。
以上所述的仅是本发明的优选实施方式,应当指出,对于本领域的普通技术人员来说,在不脱离发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (1)
1.一种基于领域适应的改进SSD监控视频目标检测方法,其特征在于:对不同光照环境下的不同特征进行综合检测,通过公开数据集和自建监控图像数据集训练SSD网络,并在SSD网络中引入最大均值差异度量方法MMD,利用最大均值差异在特定卷积层上计算不同领域之间的特征差距,并将此差距与SSD网络损失函数合并构成新的总损失函数,通过多次迭代调节参数以减少不同领域的分布差异,从而充分利用原领域数据,以促进目标领域的检测效果;
所述的总损失函数L由SSD损失函数L(x,c,l,g)和MMD构成,公式为:
L=L(x,c,l,g)+λMMD2(XS,XT)
其中,L为总的损失函数,L(x,c,l,g)为原SSD网络的损失函数,MMD2(XS,XT)为最大均值差异,λ为正则化参数;
SSD损失函数公式为:
其中,Lconf为置信损失函数,Lloc为位置损失函数,N为与真实框匹配的默认框个数,c为类别信息的检测值,l为位置信息的检测值,g为真实框的位置信息,x为默认框与真实框的匹配结果,α为衡量置信损失与位置损失的权重因子,取值为1;
最大均值差异表示为:
方法步骤如下:
(1)采用SSD网络,在公开数据集上训练获得SSD模型;
(2)获取监控视频数据集,对数据集进行人工标注标签,并进行平移、缩放扩充数据集以组成训练集和测试集;
(3)构建改进SSD网络结构,根据迁移学习中的领域适应方法,将白天数据集和夜间数据集同时输入到SSD网络中,同时在特定卷积层面上引入最大均值差异MMD方法,通过最小化MMD来减少特征层上白天和夜间数据领域之间的差异性,并将这种差异性合并到SSD网络原损失函数中重构总损失函数;
(4)根据改进方法,在步骤(1)中已训练完成的SSD模型参数的基础上,利用白天和夜间监控视频数据构成的新的数据集来训练改进SSD网络以获得最终的改进模型;
(5)将白天和夜间视频场景数据输入到改进模型进行目标检测,以获得最终的检测结果;
步骤(1)中是从公开数据集PASCALVOC2007和PASCALVOC2012中挑选数据组成训练数据集,步骤(4)中数据集为自建的不同时段的监控图像数据集;
所述的特定卷积层为卷积层Conv3_3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910659059.4A CN110503092B (zh) | 2019-07-22 | 2019-07-22 | 基于领域适应的改进ssd监控视频目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910659059.4A CN110503092B (zh) | 2019-07-22 | 2019-07-22 | 基于领域适应的改进ssd监控视频目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110503092A CN110503092A (zh) | 2019-11-26 |
CN110503092B true CN110503092B (zh) | 2023-07-14 |
Family
ID=68586685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910659059.4A Active CN110503092B (zh) | 2019-07-22 | 2019-07-22 | 基于领域适应的改进ssd监控视频目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110503092B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113160206B (zh) * | 2021-04-30 | 2023-09-12 | 上海海事大学 | 一种钢轨轨道上异物检测的方法 |
CN113536971A (zh) * | 2021-06-28 | 2021-10-22 | 中科苏州智能计算技术研究院 | 一种基于增量学习的目标检测方法 |
CN114757183B (zh) * | 2022-04-11 | 2024-05-10 | 北京理工大学 | 一种基于对比对齐网络的跨领域情感分类方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316001A (zh) * | 2017-05-31 | 2017-11-03 | 天津大学 | 一种自动驾驶场景中小且密集的交通标志检测方法 |
CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
US10133933B1 (en) * | 2017-08-07 | 2018-11-20 | Standard Cognition, Corp | Item put and take detection using image recognition |
WO2019032304A1 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition Corp. | IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION |
CN109886359A (zh) * | 2019-03-25 | 2019-06-14 | 西安电子科技大学 | 基于卷积神经网络的小目标检测方法及检测模型 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4417292B2 (ja) * | 2005-05-25 | 2010-02-17 | ソフトバンクモバイル株式会社 | オブジェクト出力方法及び情報処理装置 |
US11126897B2 (en) * | 2016-12-30 | 2021-09-21 | Intel Corporation | Unification of classifier models across device platforms |
CN109284662B (zh) * | 2018-07-12 | 2022-02-22 | 哈尔滨工程大学 | 一种基于迁移学习的水下声音信号分类方法 |
-
2019
- 2019-07-22 CN CN201910659059.4A patent/CN110503092B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107316001A (zh) * | 2017-05-31 | 2017-11-03 | 天津大学 | 一种自动驾驶场景中小且密集的交通标志检测方法 |
US10133933B1 (en) * | 2017-08-07 | 2018-11-20 | Standard Cognition, Corp | Item put and take detection using image recognition |
WO2019032304A1 (en) * | 2017-08-07 | 2019-02-14 | Standard Cognition Corp. | IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION |
CN108509978A (zh) * | 2018-02-28 | 2018-09-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
CN109886359A (zh) * | 2019-03-25 | 2019-06-14 | 西安电子科技大学 | 基于卷积神经网络的小目标检测方法及检测模型 |
Non-Patent Citations (2)
Title |
---|
基于改进SSD的行人检测方法;邢浩强;杜志岐;苏波;;计算机工程(第11期);全文 * |
基于残差单发多框检测器模型的交通标志检测与识别;张淑芳;朱彤;;浙江大学学报(工学版)(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110503092A (zh) | 2019-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111754498B (zh) | 一种基于YOLOv3的传送带托辊检测方法 | |
CN111191576B (zh) | 人员行为目标检测模型构建方法、智能分析方法及*** | |
CN109919977B (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
US20230289979A1 (en) | A method for video moving object detection based on relative statistical characteristics of image pixels | |
CN111460968B (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
CN111563557B (zh) | 一种电力电缆隧道内目标检测的方法 | |
CN110503092B (zh) | 基于领域适应的改进ssd监控视频目标检测方法 | |
CN111626188B (zh) | 一种室内不可控明火监测方法及*** | |
CN109977790A (zh) | 一种基于迁移学习的视频烟雾检测与识别方法 | |
CN109712127B (zh) | 一种用于机巡视频流的输电线路故障检测方法 | |
CN105227907B (zh) | 基于视频的无监督异常事件实时检测方法 | |
CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
CN105791774A (zh) | 一种基于视频内容分析的监控视频传输方法 | |
CN108416256A (zh) | 基于特征识别的家庭云智能监控***和监控方法 | |
CN113536972B (zh) | 一种基于目标域伪标签的自监督跨域人群计数方法 | |
CN111402237B (zh) | 基于时空级联自编码器的视频图像异常检测方法及*** | |
CN114241511B (zh) | 一种弱监督行人检测方法、***、介质、设备及处理终端 | |
CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
CN104463125A (zh) | 基于dsp的人脸自动检测跟踪装置及其方法 | |
CN110147736A (zh) | 一种基于姿态的重复异常行为检测方法 | |
CN108921023A (zh) | 一种确定低质量人像数据的方法及装置 | |
CN111767826A (zh) | 一种定时定点场景异常检测方法 | |
CN111985314A (zh) | 一种基于ViBe与改进LBP的烟雾检测方法 | |
CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
CN108073873A (zh) | 基于高清智能摄像机的人脸检测与识别*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |