CN114648513B - 一种基于自标注数据增广的摩托车检测方法 - Google Patents

一种基于自标注数据增广的摩托车检测方法 Download PDF

Info

Publication number
CN114648513B
CN114648513B CN202210322932.2A CN202210322932A CN114648513B CN 114648513 B CN114648513 B CN 114648513B CN 202210322932 A CN202210322932 A CN 202210322932A CN 114648513 B CN114648513 B CN 114648513B
Authority
CN
China
Prior art keywords
data
picture
sample
motor
data augmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210322932.2A
Other languages
English (en)
Other versions
CN114648513A (zh
Inventor
刘永桂
李小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210322932.2A priority Critical patent/CN114648513B/zh
Publication of CN114648513A publication Critical patent/CN114648513A/zh
Application granted granted Critical
Publication of CN114648513B publication Critical patent/CN114648513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自标注数据增广的摩托车检测方法，包括以下步骤：获取原始数据，并分为初始视频数据和测试视频；在初始视频数据中获取样本，标注样本中车辆在帧图片中的位置及车辆类别，并转化为YOLOv5所需格式，经过数据处理得到训练集和验证集；对标注数据集进行单图片式数据增广，得到训练集和验证集；对标注数据集进行多图片式数据增广，得到训练集和验证集；将训练集和验证集输入到YOLOv5模型，得到子标注数据训练的权重文件；将得到的权重文件输入到YOLOv5模型，采用测试视频进行测试，得到摩托车信息。本发明采用上述基于自标注数据增广的摩托车检测方法，能够解决现有的目标检测算法对摩托车识别准确率低、检测不稳定的问题。

Description

一种基于自标注数据增广的摩托车检测方法
技术领域
本发明涉及目标检测技术领域，尤其是涉及一种基于自标注数据增广的摩托车检测方法。
背景技术
随着社会的飞速发展，车辆越来越多，道路情况越来越复杂，越来越多的人选择摩托车作为交通工具出行，给人们带来便利的同时，越来越多的道路交通事故在发生。所以检测道路上摩托车的位置，进行后续地跟踪、分析，以及时预防一些可能会发生的交通事故。
传统的目标检测算法有CNN、RCNN、fastRCNN等，从卷积神经网络提取特征，但生成的候选框有大量重叠的现象。2016年，Redmon提出了YOLO算法，将图像分成网格来预测类别概率和位置，到2018年，又提出了YOLOv3算法，通过FPN结构进行多尺度预测；到现在的YOLOv5算法，加入了Mosaic数据增强，采用两种激活函数式，检测性能大大提高。
YOLOv5模型的原有数据集在检测车辆时较为稳定，但对摩托车检测不稳定，甚至很难检测出来。在道路上来说，车辆较摩托车多，同时摩托车较车辆为小目标，所以要想稳定检测摩托车，数据量远远不够。YOLOv5自带的数据增强是翻转、旋转、缩放等一系列操作，使得小目标的检测有提升，但仍存在小目标检测不稳定的问题。
发明内容
本发明的目的是提供一种基于自标注数据增广的摩托车检测方法，解决现有的目标检测算法对摩托车识别准确率低、检测不稳定的问题。
为实现上述目的，本发明提供了一种基于自标注数据增广的摩托车检测方法，包括以下步骤：
S1、获取实际道路交通视频作为原始数据，并选取部分未经任何处理的原始数据作为测试视频，其余的为初始视频数据；
S2、在初始视频数据中获取样本，标注样本中车辆在帧图片中的位置及车辆类别，并转化为YOLOv5所需格式，经过数据处理得到训练集和验证集；
S3、对标注数据集进行单图片式数据增广，采用手动增加的方式对小数据集进行扩充，得到训练集和验证集；
S4、改变数据增广方式为多图片式数据增广，得到训练集和验证集；
S5、将训练集和验证集输入到YOLOv5模型，经过训练后，得到子标注数据训练的权重文件；
S6、将得到的权重文件输入到YOLOv5模型，采用测试视频进行测试，得到摩托车信息。
优选的，所述步骤S1中，将初始视频数据截取包含摩托车的视频片段，并进行逐帧读取输出，得到帧图片。
优选的，所述步骤S2中，将帧图片放在文件夹中；采用已有的python标注算法进行手动标注帧图片中目标进行PasvalVOC标注，得到PasvalVOC的xml格式文件；读取xml文件，通过xml2yolo.py脚本文件，将xml格式的PasvalVoc数据集转化成txt格式的YOLOV5所需格式数据集；txt文件中目标信息的内容格式为(class,x_width,y_height,w_width,h_height)，上述参数与PasvalVoc数据集的xml格式对应关系为：
Figure GDA0003897377630000031
其中class表示类别，小车car、货车truck、摩托车motor；w_image、h_image分别代表图片的宽、高，xmin、ymin代表目标框的左上角坐标，xmax、ymax代表目标框的右下角坐标；x_width、y_height分别表示标注目标的中心点位置横坐标与图片宽度的比值、纵坐标与图片高度的比值，w_width、h_height分别表示标注目标的宽度与图片宽度的比值、高度与图片高度的比值，x_width、y_height、w_width、h_height的值均小于1；
将所有包含摩托车motor类别的txt标签划分出来，按照8：2的比例划分成训练集train11_motor和验证集val11_motor；再按照8：2的比例将货车truck划分出来为训练集train11_truck和验证集val11_truck；最后按照8：2的比例将小车car划分出来为训练集train11_car和验证集val11_car；再将所有类别训练集合并、验证集合并，得到train11和val11。
优选的，所述步骤S3中，将步骤S2中标注数据集进行对motor的过采样，通过多次复制motor样本-粘贴motor样本操作来进行数据增广。
优选的，所述数据增广包括两种操作，第一种操作为不改变大小的单图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，不改变复制motor样本的大小，随机粘贴motor样本到图像中不与其他已标注的目标框重叠的位置；若复制motor样本框的二值为a，粘贴处二值为b，则经过m次粘贴motor样本操作后，图像计算为：
Figure GDA0003897377630000032
I1为操作图片，经过不改变大小的单图片式数据增广操作完成后，得到一组操作图片数据，按照步骤S2的数据处理过程，将标注为PasvalVoc的xml格式，转换成YOLOv5的txt格式，经数据集划分得到单图片式数据增广的训练集train21和验证集val21；
第二种操作为改变大小的单图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，改变复制motor样本的大小，随机粘贴motor样本到图像中不与其他已标注的目标框重叠的位置；复制motor样本框的二值为a，粘贴处二值为b，缩放率为h；若粘贴motor样本在复制motor样本的上方，即粘贴在y值更小的地方，缩放率h小于1；若粘贴motor样本在复制motor样本的下方，即粘贴在y值更大的地方，缩放率h大于1；若粘贴处和复制处y值相等，则h取1，在经过m次粘贴motor样本操作后，图像计算为：
Figure GDA0003897377630000041
在经过改变大小的单图片式数据增广操作后，得到一组操作图片数据，经步骤S2的数据处理过程，得到单图片式数据增广的训练集train22和验证集val22。
优选的，所述步骤S4中，采用多张图片混合进行复制motor样本-粘贴motor样本操作；
第一种操作为不改变大小的多图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，不改变复制motor样本的大小，随机粘贴motor样本在粘贴的图像I1中不与其他已标注的目标框重叠的位置；复制的来源图片I2、I3、……复制motor样本框的二值为a，I1粘贴处二值为b，则经过m+1张图片粘贴motor样本操作后，自身图像不进行样本复制，图像计算为：
Figure GDA0003897377630000042
经过不改变大小的多图片式数据增广操作完成后，得到一组操作图片数据，经步骤S2的数据处理过程，可得到多图片式数据增广的训练集train31和验证集val31；
第二种操作为改变大小的多图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，改变复制motor样本的大小，随机粘贴motor样本在图像I1中不与其他已标注的目标框重叠的位置。图片I2、I3、……复制motor样本框的二值为a，I1粘贴处二值为b，缩放率为h，缩放率h的取值和步骤S3中的约定一致，在经过m+1次粘贴motor样本操作后，图像计算为：
Figure GDA0003897377630000051
在经过改变大小的多图片式数据增广操作后，得到一组操作图片数据，经步骤S2的数据处理过程，可得到多图片式数据增广的训练集train32和验证集val32。
优选的，所述步骤S5中，将步骤S2得到的一组原始标注数据集train11和val11、步骤S3得到的两组经单图片式数据增广操作处理后的数据集train21和val21以及train22和val22、步骤S4得到的两组经多图片式数据增广操作处理后的数据集train31和val31以及train32和val32的五组数据集，分别给到YOLOv5模型进行训练，得到相对应的训练文件。
优选的，所述步骤S6中，将步骤S5得到的训练文件的权重给到YOLOv5模型，并将步骤S1中的测试视频进行测试，得到相应的测试检测结果。
本发明所述的一种基于自标注数据增广的摩托车检测方法，通过对标注数据集进行不同程度的数据增广，将训练得到的权重重新输入到YOLOv5模型，并对测试视频进行测试，可以较稳定准确的检测出摩托车。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种基于自标注数据增广的摩托车检测方法实施例的检测步骤流程图；
图2为本发明一种基于自标注数据增广的摩托车检测方法实施例的单图片式数据增广示意图；
图3为本发明一种基于自标注数据增广的摩托车检测方法实施例的多图片式数据增广示意图；
图4为本发明一种基于自标注数据增广的摩托车检测方法实施例的数据增广处理过程。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
实施例
一种基于自标注数据增广的摩托车检测方法，包括以下步骤：
S1、获取实际道路交通视频作为原始数据，并选取部分未经任何处理的原始数据作为测试视频，其余的为初始视频数据。本实施例使用的道路交通视频依托广州市越秀区区域内高速公路实际交通视频，作为本发明的原始数据。将初始视频数据截取包含摩托车的视频片段，并进行逐帧读取输出，得到1097个帧图片。
S2、在初始视频数据中获取样本，标注样本中车辆在帧图片中的位置及车辆类别，并转化为YOLOv5所需格式，经过数据处理得到训练集和验证集。
将上述1097个帧图片放在各自视频的12个文件夹中；并且每个文件夹中图片名称均以0序号开始，依次命名。不同文件夹中存在图片名称相同的问题，放置在统一的文件夹中需要提前修改帧图片的名称。本实施例中按照“图片原始名称_所属文件夹名称”格式将图片重新命名。
本实施例中标注类别包括小车car、货车truck、摩托车motor。采用已有的python标注算法进行手动标注帧图片中目标进行PasvalVOC标注，得到PasvalVOC的xml格式文件。xml文件中目标信息的部分内容格式如下：
<name>class</name>
<width>w_image</width>
<height>h_image</height>
<xmin>xmin</xmin>
<ymin>ymin</ymin>
<xmax>xmax</xmax>
<ymax>ymax</ymax>
其中，class表示类别，w_image、h_image分别代表图片的宽、高，xmin、ymin代表目标框的左上角坐标，xmax、ymax代表目标框的右下角坐标。
读取xml文件，通过xml2yolo.py脚本文件，将xml格式的PasvalVoc数据集转化成txt格式的YOLOV5所需格式数据集。txt文件中目标信息的内容格式为(class,x_width,y_height,w_width,h_height)，上述参数与PasvalVoc数据集的xml格式对应关系为：
Figure GDA0003897377630000071
其中，x_width、y_height分别表示标注目标的中心点位置横坐标与图片宽度的比值、纵坐标与图片高度的比值，w_width、h_height分别表示标注目标的宽度与图片宽度的比值、高度与图片高度的比值，x_width、y_height、w_width、h_height的值均小于1；即对YOLOV数据txt文件做了归一化处理。
首先，将所有包含摩托车motor类别的txt标签划分出来，按照8：2的比例划分成训练集train11_motor和验证集val11_motor。对相应的帧图片进行筛选，保证训练集、验证集保持一致。按照划分摩托车motor同样的操作，将剩余的货车truck按照8：2的比例划分出来为训练集train11_truck和验证集val11_truck。最后按照8：2的比例将小车car划分出来为训练集train11_car和验证集val11_car。再将所有类别训练集合并、验证集合并，得到train11和val11，对应的图片和标签名称一致。
S3、对标注数据集进行单图片式数据增广，采用手动增加的方式对小数据集进行扩充，得到训练集和验证集。
步骤S2中得到的摩托车motor数据量相对较少，而且motor相对于car和truck来说目标较小，所以即使在数据样本处理中，渠道的每张图片均含有motor，但作为小目标来说，数据量不够。因此将步骤S1中得到的帧图片进行对motor的过采样，即数据增广，通过多次复制motor样本-粘贴motor样本操作来进行数据增广。
在粘贴小目标的副样本时，保证与已标注的目标框不重叠，在随机位置多次复制motor样本-粘贴motor样本，单图片式数据增广复制粘贴的来源为当前图片。由于摄像头拍摄的视频视角为图像上方较远、目标较小、像素变化慢，图像下方则较近、目标较大、像素变化快，所以本实施例中单图片式数据增广提供两种操作，操作图片为I1，操作仅涉及复制粘贴，不涉及图像的翻转。
第一种操作为不改变大小的单图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，不改变复制motor样本的大小，随机粘贴motor样本到图像中不与其他已标注的目标框重叠的位置。若复制motor样本框的二值为a，粘贴处二值为b，则经过m次粘贴motor样本操作后，图像计算为：
Figure GDA0003897377630000081
经过不改变大小的单图片式数据增广操作完成后，得到一组操作图片数据，按照步骤S2的数据处理过程，将标注为PasvalVoc的xml格式，转换成YOLOv5的txt格式，经数据集划分得到单图片式数据增广的训练集train21和验证集val21。
第二种操作为改变大小的单图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，改变复制motor样本的大小，随机粘贴motor样本到图像中不与其他已标注的目标框重叠的位置。若复制motor样本框的二值为a，粘贴处二值为b，缩放率为h；若粘贴motor样本在复制motor样本的上方，即粘贴在y值更小的地方，缩放率h小于1；若粘贴motor样本在复制motor样本的下方，即粘贴在y值更大的地方，缩放率h大于1；若粘贴处和复制处y值相等，则h取1。在经过m次粘贴motor样本操作后，图像计算为：
Figure GDA0003897377630000091
在经过改变大小的单图片式数据增广操作后，得到一组操作图片数据，经步骤S2的数据处理过程，得到单图片式数据增广的训练集train22和验证集val22。
S4、改变数据增广方式为多图片式数据增广，得到训练集和验证集。
步骤S3采用单图片式数据增广来扩充摩托车motor的数据量，复制motor样本-粘贴motor样本操作只在同一张图片上进行，虽在相同图片上，粘贴样本和背景可以更好地融合，但相当于在一幅图像的不同位置，目标的位置信息在当前图片取出来的几乎一样，在训练同一个目标。所以采用多张图片混合进行复制motor样本-粘贴motor样本操作。在粘贴小目标的副样本时，保证与已标注的目标框不重叠，在随机位置多次复制motor样本-粘贴motor样本，多图片式数据增广具体操作为复制的来源为图片I2、I3、……，粘贴的图像取I1。
同样由于摄像头视角问题，本实施例中多图片式数据增广提供两种操作，操作仅涉及复制粘贴，不涉及图像的翻转。
第一种操作为不改变大小的多图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，不改变复制motor样本的大小，随机粘贴motor样本在图像I1中不与其他已标注的目标框重叠的位置；若图片I2、I3、……复制motor样本框的二值为a，I1粘贴处二值为b，则经过m+1张图片粘贴motor样本操作后，自身图像不进行样本复制，图像计算为：
Figure GDA0003897377630000101
经过不改变大小的多图片式数据增广操作完成后，得到一组操作图片数据，经步骤S2的数据处理过程，可得到多图片式数据增广的训练集train31和验证集val31。
第二种操作为改变大小的多图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，改变复制motor样本的大小，随机粘贴motor样本在图像I1中不与其他已标注的目标框重叠的位置。若图片I2、I3、……复制motor样本框的二值为a，I1粘贴处二值为b，缩放率为h，缩放率h的取值和步骤S3中的约定一致，在经过m+1次粘贴motor样本操作后，图像计算为：
Figure GDA0003897377630000102
在经过改变大小的多图片式数据增广操作后，得到一组操作图片数据，经步骤S2的数据处理过程，可得到多图片式数据增广的训练集train32和验证集val32。
S5、将训练集和验证集输入到YOLOv5模型，经过训练后，得到子标注数据训练的权重文件。
将步骤S2得到的一组原始标注数据集train11和val11、步骤S3得到的两组经单图片式数据增广操作处理后的数据集train21和val21以及train22和val22、步骤S4得到的两组经多图片式数据增广操作处理后的数据集train31和val31以及train32和val32的五组数据集，分别给到YOLOv5模型进行训练，得到相对应的训练文件。
S6、将得到的权重文件输入到YOLOv5模型，采用测试视频进行测试，得到摩托车信息。将步骤S5得到的训练文件的权重给到YOLOv5模型，并将步骤S1中的测试视频进行测试，得到相应的测试检测结果。
因此，本发明采用上述基于自标注数据增广的摩托车检测方法，能够解决现有的目标检测算法对摩托车识别准确率低、检测不稳定的问题。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (5)

1.一种基于自标注数据增广的摩托车检测方法，其特征在于，包括以下步骤：
S1、获取实际道路交通视频作为原始数据，并选取部分未经任何处理的原始数据作为测试视频，其余的为初始视频数据；
S2、在初始视频数据中获取样本，标注样本中车辆在帧图片中的位置及车辆类别，并转化为YOLOv5所需格式，经过数据处理得到训练集和验证集；
S3、对标注数据集进行单图片式数据增广，采用手动增加的方式对小数据集进行扩充，得到训练集和验证集；
S4、改变数据增广方式为多图片式数据增广，得到训练集和验证集；
S5、将训练集和验证集输入到YOLOv5模型，经过训练后，得到子标注数据训练的权重文件；
S6、将得到的权重文件输入到YOLOv5模型，采用测试视频进行测试，得到摩托车信息；
所述步骤S3中，将步骤S2中标注数据集进行对motor的过采样，通过多次复制motor样本-粘贴motor样本操作来进行数据增广；
所述数据增广包括两种操作，第一种操作为不改变大小的单图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，不改变复制motor样本的大小，随机粘贴motor样本到图像中不与其他已标注的目标框重叠的位置；若复制motor样本框的二值为a，粘贴处二值为b，则经过m次粘贴motor样本操作后，图像计算为：
Figure FDA0003897377620000011
I1为操作图片，经过不改变大小的单图片式数据增广操作完成后，得到一组操作图片数据，按照步骤S2的数据处理过程，将标注为PasvalVoc的xml格式，转换成YOLOv5的txt格式，经数据集划分得到单图片式数据增广的训练集train21和验证集val21；
第二种操作为改变大小的单图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，改变复制motor样本的大小，随机粘贴motor样本到图像中不与其他已标注的目标框重叠的位置；复制motor样本框的二值为a，粘贴处二值为b，缩放率为h；若粘贴motor样本在复制motor样本的上方，即粘贴在y值更小的地方，缩放率h小于1；若粘贴motor样本在复制motor样本的下方，即粘贴在y值更大的地方，缩放率h大于1；若粘贴处和复制处y值相等，则h取1，在经过m次粘贴motor样本操作后，图像计算为：
Figure FDA0003897377620000021
在经过改变大小的单图片式数据增广操作后，得到一组操作图片数据，经步骤S2的数据处理过程，得到单图片式数据增广的训练集train22和验证集val22；
所述步骤S4中，采用多张图片混合进行复制motor样本-粘贴motor样本操作；
第一种操作为不改变大小的多图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，不改变复制motor样本的大小，随机粘贴motor样本在粘贴的图像I1中不与其他已标注的目标框重叠的位置；复制的来源图片I2、I3、……复制motor样本框的二值为a，I1粘贴处二值为b，则经过m+1张图片粘贴motor样本操作后，自身图像不进行样本复制，图像计算为：
Figure FDA0003897377620000022
经过不改变大小的多图片式数据增广操作完成后，得到一组操作图片数据，经步骤S2的数据处理过程，可得到多图片式数据增广的训练集train31和验证集val31；
第二种操作为改变大小的多图片式数据增广操作，复制motor样本-粘贴motor样本的过程中，改变复制motor样本的大小，随机粘贴motor样本在图像I1中不与其他已标注的目标框重叠的位置；图片I2、I3、……复制motor样本框的二值为a，I1粘贴处二值为b，缩放率为h，缩放率h的取值和步骤S3中的约定一致，在经过m+1次粘贴motor样本操作后，图像计算为：
Figure FDA0003897377620000031
在经过改变大小的多图片式数据增广操作后，得到一组操作图片数据，经步骤S2的数据处理过程，可得到多图片式数据增广的训练集train32和验证集val32。
2.根据权利要求1所述的一种基于自标注数据增广的摩托车检测方法，其特征在于：所述步骤S1中，将初始视频数据截取包含摩托车的视频片段，并进行逐帧读取输出，得到帧图片。
3.根据权利要求2所述的一种基于自标注数据增广的摩托车检测方法，其特征在于：所述步骤S2中，将帧图片放在文件夹中；采用已有的python标注算法进行手动标注帧图片中目标进行PasvalVOC标注，得到PasvalVOC的xml格式文件；读取xml文件，通过xml2yolo.py脚本文件，将xml格式的PasvalVoc数据集转化成txt格式的YOLOV5所需格式数据集；txt文件中目标信息的内容格式为(class,x_width,y_height,w_width,h_height)上述参数与，PasvalVoc数据集的xml格式对应关系为：
Figure FDA0003897377620000032
其中class表示类别，小车car、货车truck、摩托车motor；w_image、h_image分别代表图片的宽、高，xmin、ymin代表目标框的左上角坐标，xmax、ymax代表目标框的右下角坐标；x_width、y_height分别表示标注目标的中心点位置横坐标与图片宽度的比值、纵坐标与图片高度的比值，w_width、h_height分别表示标注目标的宽度与图片宽度的比值、高度与图片高度的比值，x_width、y_height、w_width、h_height的值均小于1；
将所有包含摩托车motor类别的txt标签划分出来，按照8：2的比例划分成训练集train11_motor和验证集val11_motor；再按照8：2的比例将货车truck划分出来为训练集train11_truck和验证集val11_truck；最后按照8：2的比例将小车car划分出来为训练集train11_car和验证集val11_car；再将所有类别训练集合并、验证集合并，得到train11和val11。
4.根据权利要求1所述的一种基于自标注数据增广的摩托车检测方法，其特征在于：所述步骤S5中，将步骤S2得到的一组原始标注数据集train11和val11、步骤S3得到的两组经单图片式数据增广操作处理后的数据集train21和val21以及train22和val22、步骤S4得到的两组经多图片式数据增广操作处理后的数据集train31和val31以及train32和val32的五组数据集，分别给到YOLOv5模型进行训练，得到相对应的训练文件。
5.根据权利要求4所述的一种基于自标注数据增广的摩托车检测方法，其特征在于：所述步骤S6中，将步骤S5得到的训练文件的权重给到YOLOv5模型，并将步骤S1中的测试视频进行测试，得到相应的测试检测结果。
CN202210322932.2A 2022-03-29 2022-03-29 一种基于自标注数据增广的摩托车检测方法 Active CN114648513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210322932.2A CN114648513B (zh) 2022-03-29 2022-03-29 一种基于自标注数据增广的摩托车检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210322932.2A CN114648513B (zh) 2022-03-29 2022-03-29 一种基于自标注数据增广的摩托车检测方法

Publications (2)

Publication Number Publication Date
CN114648513A CN114648513A (zh) 2022-06-21
CN114648513B true CN114648513B (zh) 2022-11-29

Family

ID=81996027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210322932.2A Active CN114648513B (zh) 2022-03-29 2022-03-29 一种基于自标注数据增广的摩托车检测方法

Country Status (1)

Country Link
CN (1) CN114648513B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221949A (zh) * 2010-07-27 2013-07-24 甲骨文国际公司 Mysql数据库的异构的基于日志的复制
CN112488220A (zh) * 2020-12-07 2021-03-12 南京理工大学 一种基于深度学习的小目标检测方法
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置
CN112906485A (zh) * 2021-01-25 2021-06-04 杭州易享优智能科技有限公司 基于改进的yolo模型的视障人士辅助障碍物感知方法
CN113221760A (zh) * 2021-05-17 2021-08-06 安徽理工大学 一种高速公路摩托车检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158055B2 (en) * 2019-07-26 2021-10-26 Adobe Inc. Utilizing a neural network having a two-stream encoder architecture to generate composite digital images
CN112270252A (zh) * 2020-10-26 2021-01-26 西安工程大学 一种改进YOLOv2模型的多车辆目标识别方法
CN113011390A (zh) * 2021-04-23 2021-06-22 电子科技大学 一种基于图像分区的道路行人小目标检测方法
CN114241197A (zh) * 2021-12-21 2022-03-25 西安安森智能仪器股份有限公司 一种基于图像的数显式仪表智能识别方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103221949A (zh) * 2010-07-27 2013-07-24 甲骨文国际公司 Mysql数据库的异构的基于日志的复制
CN112488220A (zh) * 2020-12-07 2021-03-12 南京理工大学 一种基于深度学习的小目标检测方法
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置
CN112906485A (zh) * 2021-01-25 2021-06-04 杭州易享优智能科技有限公司 基于改进的yolo模型的视障人士辅助障碍物感知方法
CN113221760A (zh) * 2021-05-17 2021-08-06 安徽理工大学 一种高速公路摩托车检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Data Augmentation with Copy-Paste;James Buban;《Towards Data Science》;20210618;1-6 *
Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation;Golnaz Ghiasi等;《2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20211102;2918-2928 *
基于CNN和数据增强的遥感图像目标检测与识别;何爱媛;《中国优秀硕士学位论文全文数据库_工程科技Ⅱ辑》;20210515;C028-149 *
改进YOLOv4模型的车辆检测算法;韩帅等;《智能计算机与应用》;20220201;第12卷(第02期);第115-119页 *

Also Published As

Publication number Publication date
CN114648513A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN112633277A (zh) 基于深度学习的航道船牌检测、定位及识别方法
CN113269267B (zh) 目标检测模型的训练方法、目标检测方法和装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN111652075A (zh) 结合迁移学习的高分辨率卫星影像道路快速提取方法、***
CN116189191A (zh) 一种基于yolov5的可变长车牌识别方法
CN114820679B (zh) 图像标注方法、装置、电子设备和存储介质
CN112613434A (zh) 道路目标检测方法、装置及存储介质
Jain et al. Vehicle license plate recognition
CN114648513B (zh) 一种基于自标注数据增广的摩托车检测方法
CN114519689A (zh) 图像篡改检测方法、装置、设备及计算机可读存储介质
CN116935268A (zh) 视频目标检测数据主区域标注方法、装置、设备及介质
CN111881914A (zh) 一种基于自学习阈值的车牌字符分割方法及***
CN115019310B (zh) 图文识别方法及设备
CN115223114A (zh) 一种基于双向融合特征金字塔的端到端车辆姿态估计方法
CN114550129B (zh) 一种基于数据集的机器学习模型处理方法和***
CN114429573A (zh) 一种基于数据增强的生活垃圾数据集生成方法
CN115457555A (zh) 通用场景文字识别数据的自动生成方法及***
CN113807424A (zh) 一种基于离线数据增强的固废数据集生成方法
Jing Insulator Detection Study Based on Improved Faster-RCNN
CN113255613B (zh) 判题方法、装置及计算机存储介质
CN113705430B (zh) 基于检测模型的表格检测方法、装置、设备及存储介质
CN114882449B (zh) 一种基于Car-Det网络模型的车辆检测方法及装置
CN113361483B (zh) 一种交通限速标志检测方法、装置、设备及存储介质
CN118334429A (zh) 一种结合Deeplabv3plus网络进行工业射线检测缺陷图片快速标注的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant