CN115588130A - 一种基于域自适应的跨域yolo检测方法 - Google Patents

一种基于域自适应的跨域yolo检测方法 Download PDF

Info

Publication number
CN115588130A
CN115588130A CN202211252160.6A CN202211252160A CN115588130A CN 115588130 A CN115588130 A CN 115588130A CN 202211252160 A CN202211252160 A CN 202211252160A CN 115588130 A CN115588130 A CN 115588130A
Authority
CN
China
Prior art keywords
domain
yolo
spp5
detection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211252160.6A
Other languages
English (en)
Inventor
曹新东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhuosi Zhitong Technology Co ltd
Original Assignee
Chengdu Zhuosi Zhitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhuosi Zhitong Technology Co ltd filed Critical Chengdu Zhuosi Zhitong Technology Co ltd
Priority to CN202211252160.6A priority Critical patent/CN115588130A/zh
Publication of CN115588130A publication Critical patent/CN115588130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于域自适应的跨域YOLO检测方法，包括：通过结合YOLO‑SPP5模型与梯度反转层、域分类器和CycleGAN构建DA‑YOLO‑SPP5模型，并通过CycleGAN构建三个数据集；构建YOLO‑SPP5损失函数，并与域分类损失函数结合得到DA‑YOLO‑SPP5模型的损失函数；将CycleGAN构建的数据集对DA‑YOLO‑SPP5模型进行训练直到损失函数收敛；将待检测图像输入到训练好的DA‑YOLO‑SPP5模型中进行检测，得到检测结果。本发明在仅需源域目标检测标签的情况下，可以基本实现目标域数据集的数据标注，降低大量数据标注成本。

Description

一种基于域自适应的跨域YOLO检测方法
技术领域
本发明涉及智能模型分析领域，尤其涉及一种基于域自适应的跨域YOLO检测方法。
背景技术
目前在城市监控场景中车辆、行人等目标的检测时，随着硬件设施的不断升级，当前监控视频画面分辨率较大，1920×1920的视频画面分辨率变得较为常见，由于监控摄像头位置固定，车辆、行人等目标在视频中的尺寸也会存在较大变化，而且监控场景属于户外场景，视频画面会因为光照灯光变化、天气等原因形成不同场景，这就导致了检测模型在不同场景下适应性较差；而且数据标注成本高昂成为了提高检测模型在多场景下检测性能的最大障碍。
目前为了提高检测模型在不同场景下检测性能，有通过收集大量不同场景的数据集，进行高精度的数据标注，以扩充数据集，但是面对大规模数据时会带来较大工作量的数据标注，进而提高了数据标注成本；也有改进改进检测模型网络架构，加大网络深度以提高网络的特征提取能力，进而提升检测模型的检测性能，但是加大网络深度就必然会使得计算量的提升，进而导致模型训练阶段需要更大显存显卡的支持。
发明内容
本发明的目的在于克服现有技术的缺点，提供了一种基于域自适应的跨域YOLO检测方法，解决了目前不同场景下目标检测存在的问题。
本发明的目的通过以下技术方案来实现：一种基于域自适应的跨域YOLO检测方法，所述检测方法包括：
S1、将YOLO v3模型中的3个检测预测分支增加到5个，并在每个预测分支中加入SPP单元得到YOLO-SPP5模型；
S2、通过结合YOLO-SPP5模型与梯度反转层、域分类器和CycleGAN构建DA-YOLO-SPP5模型，并通过CycleGAN构建源域数据集A、目标域数据集B和假目标域数据集C；
S3、以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数，并与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数；
S4、将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛；
S5、将待检测图像输入到训练好的DA-YOLO-SPP5模型中进行检测，得到检测结果。
所述DA-YOLO-SPP5模型包括CycleGAN数据重建模块、基础特征提取模块、域自适应模块和YOLO-SPP5模型；所述CycleGAN数据重建模块将源域图像转化为目标域风格的假图像，从而在训练过程中实现源域与目标数据集共享域数据集的目标检测标签，并将带标签的目标域风格家图像用于训练中；所述基础特征提取模块用于对输入的数据依次进行多次提取得到对应的图像特征；所述域自适应模块用于将基础特征提取模块输出的图像特征实现反向传播过程中的梯度自动取反并提取得到特征的像素级域分类；所述YOLO-SPP5模型用于对提取的特征并结合像素级域分类进行检测识别。
所述域自适应模块包括梯度反转层和域分类器；所述梯度反转层设置在所述基础特征提取模块的输出端，用于实现反转过程中梯度自动取反；所述域分类器用于在梯度反转层取反后对基础特征提取模块提取得到的特征进行像素级域分类。
所述基础特征提取模块包括Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元；图像输入基础特征提取模块后依次经过Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元其特征尺度均会减半。
所述YOLO-SPP5模型包括5个检测预测分支，第二到第五检测预测分支均包括依次连接的上采样层、特征连接层、SPP单元和卷积层，第一检测预测分支包括依次连接的SPP单元和卷积层；Res4单元的输出连接第一检测预测分支，第一检测预测分支的SPP单元的输出连接第二检测预测分支的上采样层，作为第二检测预测分支的一个输入，第二Res8单元的输出连接特征连接第二预测分支的特征连接层作为第二检测预测分支的另一个输入；第二检测预测分支的SPP单元的输出连接第三检测预测分支的上采样层，作为第三检测预测分支的一个输入，第一Res8单元的输出连接第三检测预测分支的特征连接层，作为第三检测预测分支的另一个输入；第三检测预测分支的SPP单元的输出连接第四检测预测分支的上采样层，作为第四检测预测分支的一个输入，Res2单元的输出连接第四检测预测分支的特征连接层，作为第四检测预测分支的另一个输入；第四检测预测分支的SPP单元的输出连接第五检测预测分支的上采样层，作为第五检测预测分支的一个输入，Res1单元的输出连接第五检测预测分支的特征连接层，作为第五检测预测分支的另一个输入。
所述以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数包括：
以预测目标框与真实目标框中心点之间的欧几里得距离ρ(b,bgt)、预测框与真实框之间最小闭包的对角线长度c和预测框与真实框之间的交并比IOU构建CIOU损失函数
Figure BDA0003888271370000031
将CIOU损失函数替换YOLO v3模型中的目标定位损失函数，其中，b为预测目标框，bgt为真实目标框，v代表真实框和预测框宽高比一致性参数，β代表trade-off参数，h为YOLO-SPP5检测得到的目标检测框的高度，hgt为真实检测框的高度，w为YOLO-SPP5检测得到的目标检测框的宽度，wgt为真实检测框的宽度；
根据置信度C的损失函数Lconf和目标框的分类损失函数Lcls得到YOLO-SPP5的损失函数
Figure BDA0003888271370000032
Figure BDA0003888271370000033
Lloc＝LCIOU
Ldet＝Lloc+Lconf+Lcls
其中，m为输入图片数量，S为预测框数量，pij(c)为第i张图片的第j个检测框为类别c的真实概率，
Figure BDA0003888271370000034
第i张图片的第j个检测框为类别c的YOLO-SPP5预测概率，i，j为循环变量。
所述与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数包括：
将基础特征提取模块记为F，域分类器记为D，得到域分类损失函数为
Figure BDA0003888271370000035
其中，H和W分别代表特征图的宽高，K代表特征通道数,z代表特征的域分类标签，xs代表源域图像，zs代表源域图像域标签；xt代表目标域图像，zt代表目标域图像域标签，
Figure BDA0003888271370000036
代表第i张源域图像，
Figure BDA0003888271370000037
代表第j张源域图像，nt为目标域图像数量，ns为源域图像数量，w，h，k为循环变量，λ为梯度层参数；
将域分类损失函数与YOLO-SPP5的损失函数结合得到DA-YOLO-SPP5模型的损失函数L＝Ldet+Lda。
所述将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛包括：
A1、利用带标签的源域数据集A训练YOLO-SPP5模型；
A2、利用源域数据集A和目标域数据集B训练CycleGAN，并将带标签的源域数据集转化为目标域，并共享源与数据集A的标签，形成目标假目标数据集C；
A3、将步骤A1中训练好的YOLO-SPP5模型作为预训练模型，利用源域数据集A、目标域数据集B和假目标域数据集C输入到DA-YOLO-SPP5模型中；
A4、源域数据集A、目标域数据集B和假目标域数据集C经过基础特征提取模块提取得到对应的图像特征，然后将三个数据提取得到的图像土壤中送入域自适应模块用于域分类任务进而计算域分类损失；
A5、源域数据集A和目标域数据集B提取得到的图像特征输入到YOLO-SPP5模型进行目标检测任务，进而计算YOLO-SPP5模型的目标检测损失；
A6、当域分类损失和YOLO-SPP5模型的目标检测损失都达到收敛时完成训练。
本发明具有以下优点：一种基于域自适应的跨域YOLO检测方法，通过增大输入图像分辨率，并修改YOLOv3网络架构和损失函数形成了YOLO-SPP5模型，取得了90.67％的mAP，优于传统YOLOv3的85.56％；结合GRL和CycleGAN两种域自适应策略设计的DA-YOLO-SPP5模型，在不使用目标域数据标签的情况下可以在夜晚城市监控场景目标域数据集下取得了83.91％的mAP，直接利用带目标检测标签的夜晚城市监控场景目标域数据集训练的YOLO-SPP5达到了89.68％，在仅需源域目标检测标签的情况下，可以基本实现目标域数据集的数据标注，降低大量数据标注成本。
附图说明
图1为本发明DA-YOLO-SPP5模型的网络结构图；
图2为本发明YOLO-SPP5模型的网络结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
如图1所示，本发明具体涉及一种基于域自适应的跨域YOLO检测方法，其具体包括以下内容：
S1、将YOLO v3模型中的3个检测预测分支增加到5个，并在每个预测分支中加入SPP单元得到YOLO-SPP5模型；
进一步地，如图2所示，YOLO-SPP5模型包括5个检测预测分支，实现5个不同尺度特特在的融合；第二到第五检测预测分支均包括依次连接的上采样层、特征连接层、SPP单元和卷积层，第一检测预测分支包括依次连接的SPP单元和卷积层；Res4单元的输出连接第一检测预测分支，第一检测预测分支的SPP单元的输出连接第二检测预测分支的上采样层，作为第二检测预测分支的一个输入，第二Res8单元的输出连接特征连接第二预测分支的特征连接层作为第二检测预测分支的另一个输入；第二检测预测分支的SPP单元的输出连接第三检测预测分支的上采样层，作为第三检测预测分支的一个输入，第一Res8单元的输出连接第三检测预测分支的特征连接层，作为第三检测预测分支的另一个输入；第三检测预测分支的SPP单元的输出连接第四检测预测分支的上采样层，作为第四检测预测分支的一个输入，Res2单元的输出连接第四检测预测分支的特征连接层，作为第四检测预测分支的另一个输入；第四检测预测分支的SPP单元的输出连接第五检测预测分支的上采样层，作为第五检测预测分支的一个输入，Res1单元的输出连接第五检测预测分支的特征连接层，作为第五检测预测分支的另一个输入。
S2、通过结合YOLO-SPP5模型与梯度反转层(GRL)、域分类器和CycleGAN构建DA-YOLO-SPP5模型，以提高模型在不同场景中的适应能力，并通过CycleGAN构建源域数据集A、目标域数据集B和假目标域数据集C；
S3、以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数，并与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数；
S4、将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛；
S5、将待检测图像输入到训练好的DA-YOLO-SPP5模型中进行检测，得到检测结果。
进一步地，DA-YOLO-SPP5模型包括CycleGAN数据重建模块、基础特征提取模块(DarkNet-53)、域自适应模块和YOLO-SPP5模型；所述CycleGAN数据重建模块将源域图像转化为目标域风格的假图像，从而在训练过程中实现源域与目标数据集共享域数据集的目标检测标签，并将带标签的目标域风格家图像用于训练中；所述基础特征提取模块用于对输入的数据依次进行多次提取得到对应的图像特征；所述域自适应模块用于将基础特征提取模块输出的图像特征实现反向传播过程中的梯度自动取反并提取得到特征的像素级域分类；所述YOLO-SPP5模型用于对提取的特征并结合像素级域分类进行检测识别。
进一步地，域自适应模块包括梯度反转层和域分类器(DomainClassifier)，该模块的输入和输出尺寸一致；所述梯度反转层设置在所述基础特征提取模块的输出端，用于实现反转过程中梯度自动取反；所述域分类器用于在梯度反转层取反后对基础特征提取模块提取得到的特征进行像素级域分类。
进一步地，基础特征提取模块包括Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元；图像输入基础特征提取模块后依次经过Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元其特征尺度均会减半，特征尺度分别为304×304、152×152、76×76、38×38和19×19，特征经过上采样层后其特征尺度会翻倍。
进一步地，以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数包括：
以预测目标框与真实目标框中心点之间的欧几里得距离ρ(b,bgt)、预测框与真实框之间最小闭包的对角线长度c和预测框与真实框之间的交并比IOU构建CIOU损失函数
Figure BDA0003888271370000061
将CIOU损失函数替换YOLO v3模型中的目标定位损失函数，以更为准确的定位目标，其中，b为预测目标框，bgt为真实目标框，v代表真实框和预测框宽高比一致性参数，β代表trade-off参数，h为YOLO-SPP5检测得到的目标检测框的高度，hgt为真实检测框的高度，w为YOLO-SPP5检测得到的目标检测框的宽度，wgt为真实检测框的宽度；
根据置信度C的损失函数Lconf和目标框的分类损失函数Lcls得到YOLO-SPP5的损失函数
Figure BDA0003888271370000071
Figure BDA0003888271370000072
Lloc＝LCIOU
Ldet＝Lloc+Lconf+Lcls
其中，m为输入图片数量，S为预测框数量，pij(c)为第i张图片的第j个检测框为类别c的真实概率，
Figure BDA0003888271370000073
第i张图片的第j个检测框为类别c的YOLO-SPP5预测概率，i，j为循环变量。
所述与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数包括：
将基础特征提取模块记为F，域分类器记为D，得到域分类损失函数为
Figure BDA0003888271370000074
其中，H和W分别代表特征图的宽高，K代表特征通道数,z代表特征的域分类标签，xs代表源域图像，zs代表源域图像域标签；xt代表目标域图像，zt代表目标域图像域标签，
Figure BDA0003888271370000075
代表第i张源域图像，
Figure BDA0003888271370000076
代表第j张源域图像，nt为目标域图像数量，ns为源域图像数量，w，h，k为循环变量，λ为梯度层参数，本发明中默认为1.0；
本发明中只涉及两个场景，因此域标签采用0/1标签，0代表源域，1代表目标域，K＝1。梯度反转层Rλ的参数λ在下文的所有实验中都取值为1.0。
将域分类损失函数与YOLO-SPP5的损失函数结合得到DA-YOLO-SPP5模型的损失函数L＝Ldet+Lda。
进一步地，将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛包括：
A1、利用带标签的源域数据集A训练YOLO-SPP5模型，输入分辨率为1280*640；
A2、利用源域数据集A和目标域数据集B训练CycleGAN，并将带标签的源域数据集转化为目标域，并共享源与数据集A的标签，形成目标假目标数据集C；
A3、将步骤A1中训练好的YOLO-SPP5模型作为预训练模型，利用源域数据集A、目标域数据集B和假目标域数据集C输入到DA-YOLO-SPP5模型中，输入分辨率为1280*640；
A4、源域数据集A、目标域数据集B和假目标域数据集C经过基础特征提取模块提取得到对应的图像特征，然后将三个数据提取得到的图像土壤中送入域自适应模块用于域分类任务进而计算域分类损失；
A5、源域数据集A和目标域数据集B提取得到的图像特征输入到YOLO-SPP5模型进行目标检测任务，进而计算YOLO-SPP5模型的目标检测损失；
A6、当域分类损失和YOLO-SPP5模型的目标检测损失都达到收敛时完成训练。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于域自适应的跨域YOLO检测方法，其特征在于：所述检测方法包括：
S1、将YOLO v3模型中的3个检测预测分支增加到5个，并在每个预测分支中加入SPP单元得到YOLO-SPP5模型；
S2、通过结合YOLO-SPP5模型与梯度反转层、域分类器和CycleGAN构建DA-YOLO-SPP5模型，并通过CycleGAN构建源域数据集A、目标域数据集B和假目标域数据集C；
S3、以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数，并与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数；
S4、将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛；
S5、将待检测图像输入到训练好的DA-YOLO-SPP5模型中进行检测，得到检测结果。
2.根据权利要求1所述的一种基于域自适应的跨域YOLO检测方法，其特征在于：所述DA-YOLO-SPP5模型包括CycleGAN数据重建模块、基础特征提取模块、域自适应模块和YOLO-SPP5模型；所述CycleGAN数据重建模块将源域图像转化为目标域风格的假图像，从而在训练过程中实现源域与目标数据集共享域数据集的目标检测标签，并将带标签的目标域风格家图像用于训练中；所述基础特征提取模块用于对输入的数据依次进行多次提取得到对应的图像特征；所述域自适应模块用于将基础特征提取模块输出的图像特征实现反向传播过程中的梯度自动取反并提取得到特征的像素级域分类；所述YOLO-SPP5模型用于对提取的特征并结合像素级域分类进行检测识别。
3.根据权利要求2所述的一种基于域自适应的跨域YOLO检测方法，其特征在于：所述域自适应模块包括梯度反转层和域分类器；所述梯度反转层设置在所述基础特征提取模块的输出端，用于实现反转过程中梯度自动取反；所述域分类器用于在梯度反转层取反后对基础特征提取模块提取得到的特征进行像素级域分类。
4.根据权利要求2所述的一种基于域自适应的跨域YOLO检测方法，其特征在于：所述基础特征提取模块包括Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元；图像输入基础特征提取模块后依次经过Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元其特征尺度均会减半。
5.根据权利要求4所述的一种基于域自适应的跨域YOLO检测方法，其特征在于：所述YOLO-SPP5模型包括5个检测预测分支，第二到第五检测预测分支均包括依次连接的上采样层、特征连接层、SPP单元和卷积层，第一检测预测分支包括依次连接的SPP单元和卷积层；Res4单元的输出连接第一检测预测分支，第一检测预测分支的SPP单元的输出连接第二检测预测分支的上采样层，作为第二检测预测分支的一个输入，第二Res8单元的输出连接特征连接第二预测分支的特征连接层作为第二检测预测分支的另一个输入；第二检测预测分支的SPP单元的输出连接第三检测预测分支的上采样层，作为第三检测预测分支的一个输入，第一Res8单元的输出连接第三检测预测分支的特征连接层，作为第三检测预测分支的另一个输入；第三检测预测分支的SPP单元的输出连接第四检测预测分支的上采样层，作为第四检测预测分支的一个输入，Res2单元的输出连接第四检测预测分支的特征连接层，作为第四检测预测分支的另一个输入；第四检测预测分支的SPP单元的输出连接第五检测预测分支的上采样层，作为第五检测预测分支的一个输入，Res1单元的输出连接第五检测预测分支的特征连接层，作为第五检测预测分支的另一个输入。
6.根据权利要求1所述的一种基于域自适应的跨域YOLO检测方法，其特征在于：所述以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数包括：
以预测目标框与真实目标框中心点之间的欧几里得距离ρ(b,bgt)、预测框与真实框之间最小闭包的对角线长度c和预测框与真实框之间的交并比IOU构建CIOU损失函数
Figure FDA0003888271360000021
将CIOU损失函数替换YOLO v3模型中的目标定位损失函数，其中，b为预测目标框，bgt为真实目标框，v代表真实框和预测框宽高比一致性参数，β代表trade-off参数，h为YOLO-SPP5检测得到的目标检测框的高度，hgt为真实检测框的高度，w为YOLO-SPP5检测得到的目标检测框的宽度，wgt为真实检测框的宽度；
根据置信度C的损失函数Lconf和目标框的分类损失函数Lcls得到YOLO-SPP5的损失函数
Figure FDA0003888271360000022
Figure FDA0003888271360000023
Lloc＝LCIOU
Ldet＝Lloc+Lconf+Lcls
其中，m为输入图片数量，S为预测框数量，pij(c)为第i张图片的第j个检测框为类别c的真实概率，
Figure FDA0003888271360000024
第i张图片的第j个检测框为类别c的YOLO-SPP5预测概率，i，j为循环变量。
7.根据权利要求6所述的一种基于域自适应的跨域YOLO检测方法，其特征在于：所述与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数包括：
将基础特征提取模块记为F，域分类器记为D，得到域分类损失函数为
Figure FDA0003888271360000031
其中，H和W分别代表特征图的宽高，K代表特征通道数,z代表特征的域分类标签，xs代表源域图像，zs代表源域图像域标签；xt代表目标域图像，zt代表目标域图像域标签，
Figure FDA0003888271360000032
代表第i张源域图像，
Figure FDA0003888271360000033
代表第j张源域图像，nt为目标域图像数量，ns为源域图像数量，w，h，k为循环变量，λ为梯度层参数；
将域分类损失函数与YOLO-SPP5的损失函数结合得到DA-YOLO-SPP5模型的损失函数L＝Ldet+Lda。
8.根据权利要求1所述的一种基于域自适应的跨域YOLO检测方法，其特征在于：所述将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛包括：
A1、利用带标签的源域数据集A训练YOLO-SPP5模型；
A2、利用源域数据集A和目标域数据集B训练CycleGAN，并将带标签的源域数据集转化为目标域，并共享源与数据集A的标签，形成目标假目标数据集C；
A3、将步骤A1中训练好的YOLO-SPP5模型作为预训练模型，利用源域数据集A、目标域数据集B和假目标域数据集C输入到DA-YOLO-SPP5模型中；
A4、源域数据集A、目标域数据集B和假目标域数据集C经过基础特征提取模块提取得到对应的图像特征，然后将三个数据提取得到的图像土壤中送入域自适应模块用于域分类任务进而计算域分类损失；
A5、源域数据集A和目标域数据集B提取得到的图像特征输入到YOLO-SPP5模型进行目标检测任务，进而计算YOLO-SPP5模型的目标检测损失；
A6、当域分类损失和YOLO-SPP5模型的目标检测损失都达到收敛时完成训练。
CN202211252160.6A 2022-10-13 2022-10-13 一种基于域自适应的跨域yolo检测方法 Pending CN115588130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211252160.6A CN115588130A (zh) 2022-10-13 2022-10-13 一种基于域自适应的跨域yolo检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211252160.6A CN115588130A (zh) 2022-10-13 2022-10-13 一种基于域自适应的跨域yolo检测方法

Publications (1)

Publication Number Publication Date
CN115588130A true CN115588130A (zh) 2023-01-10

Family

ID=84779302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211252160.6A Pending CN115588130A (zh) 2022-10-13 2022-10-13 一种基于域自适应的跨域yolo检测方法

Country Status (1)

Country Link
CN (1) CN115588130A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862868A (zh) * 2023-07-05 2023-10-10 重庆大学 低光度混凝土桥梁表观病害智能检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279513A1 (en) * 2019-03-21 2021-09-09 Tecent Technology (Shenzhen) Company Limited Target detection method and apparatus, model training method and apparatus, device, and storage medium
CN114596477A (zh) * 2022-03-16 2022-06-07 东南大学 基于领域自适应和注意力机制的雾天火车故障检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279513A1 (en) * 2019-03-21 2021-09-09 Tecent Technology (Shenzhen) Company Limited Target detection method and apparatus, model training method and apparatus, device, and storage medium
CN114596477A (zh) * 2022-03-16 2022-06-07 东南大学 基于领域自适应和注意力机制的雾天火车故障检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TIAN Y 等: "Image and feature space based domain adaptation for vehicle detection", 《COMPUTERS, MATERIALS & CONTINUA》, vol. 65, no. 03, 5 June 2020 (2020-06-05), pages 2397 - 2412 *
小楞: "yolov3-SPP深度剖析", pages 1 - 4, Retrieved from the Internet <URL:《https://blog.csdn.net/qq_33270279/article/details/103898245》> *
范佳琦 等: "基于单阶段算法的智能汽车跨域检测研究", 《中国公路学报》, vol. 35, no. 03, 15 March 2022 (2022-03-15), pages 249 - 262 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862868A (zh) * 2023-07-05 2023-10-10 重庆大学 低光度混凝土桥梁表观病害智能检测方法
CN116862868B (zh) * 2023-07-05 2024-07-09 重庆大学 低光度混凝土桥梁表观病害智能检测方法

Similar Documents

Publication Publication Date Title
WO2022111219A1 (zh) 一种域自适应设备运检***和方法
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN112115783B (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
CN109949316A (zh) 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN114758252B (zh) 基于图像的分布式光伏屋顶资源分割与提取方法及***
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN113313082B (zh) 一种基于多任务损失函数的目标检测方法及***
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN113673425A (zh) 一种基于Transformer的多视角目标检测方法及***
CN115457531A (zh) 用于识别文本的方法和装置
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和***
CN113255589A (zh) 一种基于多卷积融合网络的目标检测方法及***
CN111652240B (zh) 一种基于cnn的图像局部特征检测与描述方法
CN114005085A (zh) 一种视频中密集人群分布检测与计数方法
CN112507904B (zh) 一种基于多尺度特征的教室人体姿态实时检测方法
CN114820655A (zh) 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN111723667A (zh) 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置
CN112700476A (zh) 一种基于卷积神经网络的红外船视频跟踪方法
CN115588130A (zh) 一种基于域自适应的跨域yolo检测方法
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及***
CN116188996A (zh) 一种多尺度语义信息和边界信息的遥感图像语义分割方法
CN113850324A (zh) 一种基于Yolov4的多光谱目标检测方法
CN115661932A (zh) 一种垂钓行为检测方法
CN114511627A (zh) 一种目标果实定位分割方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination