CN111582345A - 一种小样本下复杂环境的目标识别方法 - Google Patents

一种小样本下复杂环境的目标识别方法 Download PDF

Info

Publication number
CN111582345A
CN111582345A CN202010358400.5A CN202010358400A CN111582345A CN 111582345 A CN111582345 A CN 111582345A CN 202010358400 A CN202010358400 A CN 202010358400A CN 111582345 A CN111582345 A CN 111582345A
Authority
CN
China
Prior art keywords
training
network
data
data set
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010358400.5A
Other languages
English (en)
Inventor
姚远
郑志浩
张学睿
张帆
尚明生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN202010358400.5A priority Critical patent/CN111582345A/zh
Publication of CN111582345A publication Critical patent/CN111582345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种小样本下复杂环境的目标识别方法，属于图像处理技术领域。该方法包括：1)数据扩充，具体包括：S11：构建并训练GAN；S12：GAN网络训练完成后，将GAN生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为YOLOV3的输入；2)目标识别，具体包括：S21：构建并训练YOLOV3网络；S22：在对YOLOV3网络的坐标、置信度和分类训练完成后，将新数据集输入到YOLOV3网络中，对图片中最终剩下的检测框进行NMS处理，删去多余的框，输出带有检测框的图片。本发明能够解决小样本下复杂环境难清楚识别目标的问题。

Description

一种小样本下复杂环境的目标识别方法
技术领域
本发明属于图像处理技术领域，涉及一种小样本下复杂环境的目标识别方法。
背景技术
在实际工程中，采集获得的数据样本通常不充足，导致模型学习不足，出现过拟合状态。复杂场景下，会出现曝光过度、正样本数量大于负样本的情况，在这种情况下，亟需一种能解决小样本在复杂环境下的目标识别方法。
近几年，基于深度学习的识别技术得到很快发展，尤其以GoogleNet、VGG、ResNet、SENet为代表的深度卷积分类网络在工业界和学术界都取得了巨大的成功。相比于传统的图像分类识别技术，深度卷积分类网络使得特征提取和特征分类统一成一个整体框架联合训练，从而避免了手动提取特征和传统识别方法存在的语义鸿沟问题。然而，这些分类模型为端到端的监督模型，其较高的准确率依赖于大量的有标签数据，在数据稀少的情况下，模型很容易过拟合，得到很差的泛化结果和较低的准确率，数据增强和正则化技术只能缓解而无法从根本上解决小样本的目标识别问题。
为了解决采集样本数量少的问题，目前容易想到采用生成式对抗网络(Generative Adversarial Networks,GAN)来扩充样本数据，GAN网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出，从而得到扩充后的样本。
发明内容
有鉴于此，本发明的目的在于提供一种小样本下复杂环境的目标识别方法，通过GAN网络来扩充样本数据，解决难采集样本的问题；然后将扩充后的样本数据输入到YOLOV3网络，通过学习bounding box中心点的偏移来提高网络自身的识别能力，从而解决小样本下复杂环境难清楚识别目标的问题。
为达到上述目的，本发明提供如下技术方案：
一种小样本下复杂环境的目标识别方法，包括以下步骤：
S1：数据扩充，具体包括：
S11：构建并训练GAN网络；
S12：GAN网络训练完成后，将GAN生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为YOLOV3的输入；
S2：目标识别，具体包括：
S21：构建并训练YOLOV3网络；
S22：在对YOLOV3网络的坐标、置信度和分类训练完成后，将新数据集输入到YOLOV3网络中，对图片中最终剩下的检测框进行NMS处理，删去多余的框，输出带有检测框的图片。
进一步，步骤S11中，构建的GAN网络包含生成器C和判别器T；生成器C有一个输入，即符合某种概率分布的噪声数据，例如高斯分布、伯努利分布、均匀分布等，这里假设噪声数据符合高斯分布，C的作用是根据输入的噪声数据来生成新的图片；判别器T有两个输入，一个是真实数据集，真实数据集的标签自动设为1，另一个输入是生成器C生成的数据，标签自动设为0，T的作用是尽可能地识别出真实数据与生成器生成的数据，可以认为是一个二分类的网络；
GAN网络的损失函数为：
Figure BDA0002474208960000021
其中，t～Atrue(t)表示数据t来自于真实数据的数据集T(t)；n～Anoise(n)表示数据n来自于生成器C所生成的数据集C(n)。
进一步，步骤S11中，训练GAN网络是：采用单独交替迭代训练的模式训练生成器C和判别器T；训练开始前，随机初始化生成器C，并对判别器T进行预训练，使其在开始训练时就具有一定的分类能力；
GAN网络训练的具体步骤为：
1)固定生成器C，训练判别器T，循环执行下列步骤K次；
①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；
②从真实数据集Atrue(t)中采样t个对象，产生集合t～Atrue(t)；
③将n～Anoise(n)输入GAN中，生成新的数据集合C(n)；
④将C(n)和t～Atrue(t)输入T，以下列公式为损失函数进行训练，损失函数类似二分类网络，使T判别时，倾向于使Atrue(t)中数据的得分接近1，C(n)中数据的得分接近0；
Figure BDA0002474208960000022
采用交叉熵损失来作为损失函数，梯度下降的方式更新网络参数，循环K次，来找到在当前GAN的情况下的最优判别器T；
2)固定判别器T，训练生成器C，执行下列步骤一次；
①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；
②将n～Anoise(n)输入C中，输出的数据记为C(n)；
③从C(n)和Atrue(t)中抽样出n个数据，构成集合输入到T中；
④根据下列公式的损失函数和T的输出结果来对C进行训练，采用梯度下降更新网络参数；
Figure BDA0002474208960000031
损失函数目的是希望找到在当前判别器的条件下，找到真实数据集Atrue(t)和C的输出C(n)两个数据集之间的KL散度最小的网络参数；因为在训练生成器G时固定了判别器T的参数不变，所以C根据T的判别结果T(C(n))来优化；
3)单次训练过程结束，返回开始，再次进行训练。
进一步，步骤S21中，构建的YOLOV3网络是：主干网络为53层的darknet，采用残差结构和小卷积核提取图片特征，并使用特征金字塔结构，设置三个不同尺寸的检测层分别针对较大目标和较小目标进行检测。
进一步，步骤S21中，训练YOLOV3网络具体包括：
1)使用K_means聚类算法，得出数据集的聚类中心，设为anchors的值；
2)使用随机resize进行数据增强，把输入的图片尺寸调整到16的任意倍数；
3)将图片输入网络中，经过Darknet53提取图片的特征，把特征图片划分为三个不同数量的单元格，并分别把提取出的特征送到三个YOLO检测层中，输出带有YOLO层所画预测框的图；
4)对比YOLO层所画预测框和anchor的坐标，采用logistic方式回归坐标偏移量，使用下列四个式子来计算：
Figure BDA0002474208960000032
Figure BDA0002474208960000033
其中，Rm和Rn是预测框左上角单元格的坐标，sigmoid(Om)和sigmoid(On)是预测框中心点坐标较于anchor的中心坐标的偏移量，Om和On是预测框中心点的坐标，bm和bn就是归一化后预测框中心相对于单元格左上角坐标的值，Aw和Ah是anchor的宽高，Ow和Oh是检测框的宽高，得到的bw与bh为归一化后预测框的宽高相对于anchor宽高的值；
5)同时使用logistic回归对每个检测框中存在物体的可能性进行评分，记为置信度，选出置信度最高的检测框保留，其余框删除；
6)置信度评分后，网络根据分类的损失函数对检测框中的物体进行分类；
进一步，训练YOLOV3网络的步骤4)中，中心坐标和宽高的损失函数为：
Figure BDA0002474208960000041
其中，αexit为中心坐标损失函数的权重系数，l*l表示特征图被分割成的单元格的个数，K代表预测框的个数，
Figure BDA0002474208960000042
是判断第a个单元格的第b个预测框是否负责检测当前物体，有物体时
Figure BDA0002474208960000043
值为1，否则为0；然后采用平方差误差，其中
Figure BDA0002474208960000044
和
Figure BDA0002474208960000045
是人工标注框的中心坐标，ma和na是预测框的中心坐标；
宽高的损失函数为：
Figure BDA0002474208960000046
其中，pa和qa是预测框的宽高，
Figure BDA0002474208960000047
和
Figure BDA0002474208960000048
则是人工标注框的宽高。
进一步，训练YOLOV3网络的步骤5)中，置信度在训练时的损失函数为：
Figure BDA0002474208960000049
Figure BDA00024742089600000410
置信度的损失函数采用交叉熵误差，第一个式子表示预测框有物体的情况下置信度的损失函数，第二个式子表示没有物体的情况下置信度的损失函数，αnoexit表示没有物体时的权重系数，减小没物体的预测框对网络参数更新的影响；
Figure BDA00024742089600000411
表示存在物体的置信度，有物体时为1，不存在物体时为0；ea表示网络自行计算得到的置信度。
进一步，训练YOLOV3网络的步骤6)中，分类的损失函数采用交叉熵误差，计算公式为：
Figure BDA00024742089600000412
其中，e∈classes表示预测框中的物体所属的物体种类，
Figure BDA00024742089600000413
表示e在属于物体正确类别时为1，别的类别时为0，Ga(e)表示网络对e进行分类后的得分。
本发明的有益效果在于：本发明通过采用GAN网络来扩充样本数据，解决难采集样本的问题；然后将扩充后的样本数据输入到YOLO V3网络，通过学习bounding box中心点的偏移来提高网络自身的识别能力，从而解决小样本下复杂环境难清楚识别目标的问题。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明的目标识别方法的框架图；
图2为本发明实施例获取的原始图片；
图3为本发明实施例的识别结果。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1，为一种小样本下复杂环境的目标识别方法，包括以下步骤：
S1：数据扩充，具体包括：
S11：构建并训练GAN网络；
构建的GAN网络包含生成器C和判别器T；生成器C有一个输入，即符合某种概率分布的噪声数据，例如高斯分布、伯努利分布、均匀分布等，这里假设噪声数据符合高斯分布，C的作用是根据输入的噪声数据来生成新的图片；判别器T有两个输入，一个是真实数据集，真实数据集的标签自动设为1，另一个输入是生成器C生成的数据，标签自动设为0，T的作用是尽可能地识别出真实数据与生成器生成的数据，可以认为是一个二分类的网络；
GAN网络的损失函数为：
Figure BDA0002474208960000051
其中，t～Atrue(t)表示数据t来自于真实数据的数据集T(t)；n～Anoise(n)表示数据n来自于生成器C所生成的数据集C(n)。
训练GAN网络是：采用单独交替迭代训练的模式训练生成器C和判别器T；训练开始前，随机初始化生成器C，并对判别器T进行预训练，使其在开始训练时就具有一定的分类能力；
GAN网络训练的具体步骤为：
1)固定生成器C，训练判别器T，循环执行下列步骤K次；
①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；
②从真实数据集Atrue(t)中采样t个对象，产生集合t～Atrue(t)；
③将n～Anoise(n)输入GAN中，生成新的数据集合C(n)；
④将C(n)和t～Atrue(t)输入T，以下列公式为损失函数进行训练，损失函数类似二分类网络，使T判别时，倾向于使Atrue(t)中的数据的得分接近1，C(n)中的数据的得分接近0；
Figure BDA0002474208960000061
因为在训练判别器T时固定了生成器C的网络参数不变，所以采用交叉熵损失来作为损失函数，梯度下降的方式更新网络参数，循环K次，来找到在当前GAN的情况下的最优判别器T；
2)固定判别器T，训练生成器C，执行下列步骤一次；
①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；
②将n～Anoise(n)输入C中，输出的数据记为C(n)；
③从C(n)和Atrue(t)中抽样出n个数据，构成集合输入到T中；
④根据下列公式的损失函数和T的输出结果来对C进行训练，采用梯度下降更新网络参数；
Figure BDA0002474208960000062
损失函数目的是希望找到在当前判别器的条件下，找到真实数据集Atrue(t)和C的输出C(n)两个数据集之间的KL散度最小的网络参数；因为在训练生成器G时固定了判别器T的参数不变，所以C根据T的判别结果T(C(n))来优化；
3)单次训练过程结束，返回开始，再次进行训练。
S12：GAN网络训练完成后，将GAN生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为YOLOV3的输入。
S2：目标识别，具体包括：
S21：构建并训练YOLOV3网络；
构建的YOLOV3网络是：主干网络为53层的darknet，采用残差结构和小卷积核提取图片特征，并使用特征金字塔结构，设置三个不同尺寸的检测层分别针对较大目标和较小目标进行检测。
训练YOLOV3网络具体包括：
1)使用K_means聚类算法，得出数据集的聚类中心，设为anchors的值；
2)使用随机resize进行数据增强，把输入的图片尺寸调整到16的任意倍数；
3)将图片输入网络中，经过Darknet53提取图片的特征，把特征图片划分为三个不同数量的单元格，并分别把提取出的特征送到三个YOLO检测层中，输出带有YOLO层所画预测框的图；
4)对比YOLO层所画预测框和anchor的坐标，采用logistic方式回归坐标偏移量，使用下列四个式子来计算：
Figure BDA0002474208960000071
Figure BDA0002474208960000072
其中，Rm和Rn是预测框左上角单元格的坐标，sigmoid(Om)和sigmoid(On)是预测框中心点坐标较于anchor的中心坐标的偏移量，Om和On是预测框中心点的坐标，bm和bn就是归一化后预测框中心相对于单元格左上角坐标的值，Aw和Ah是anchor的宽高，Ow和Oh是检测框的宽高，得到的bw与bh为归一化后预测框的宽高相对于anchor宽高的值。
中心坐标和宽高的损失函数为：
Figure BDA0002474208960000073
其中，αexit为中心坐标损失函数的权重系数，l*l表示特征图被分割成的单元格的个数，K代表预测框的个数，
Figure BDA0002474208960000074
是判断第a个单元格的第b个预测框是否负责检测当前物体，有物体时
Figure BDA0002474208960000075
值为1，否则为0；然后采用平方差误差，其中
Figure BDA0002474208960000076
和
Figure BDA0002474208960000077
是人工标注框的中心坐标，ma和na是预测框的中心坐标；
宽高的损失函数为：
Figure BDA0002474208960000078
其中，pa和qa是预测框的宽高，
Figure BDA0002474208960000079
和
Figure BDA00024742089600000710
则是人工标注框的宽高。
5)同时使用logistic回归对每个检测框中存在物体的可能性进行评分，记为置信度，选出置信度最高的检测框保留，其余框删除。
置信度在训练时的损失函数为：
Figure BDA0002474208960000081
置信度的损失函数采用交叉熵误差，第一个式子表示预测框有物体的情况下置信度的损失函数，第二个式子表示没有物体的情况下置信度的损失函数，αnoexit表示没有物体时的权重系数，减小没物体的预测框对网络参数更新的影响；
Figure BDA0002474208960000082
表示存在物体的置信度，有物体时为1，不存在物体时为0；ea表示网络自行计算得到的置信度。
6)置信度评分后，网络根据分类的损失函数对检测框中的物体进行分类。
分类的损失函数采用交叉熵误差，计算公式为：
Figure BDA0002474208960000083
其中，e∈classes表示预测框中的物体所属的物体种类，
Figure BDA0002474208960000084
表示e在属于物体正确类别时为1，别的类别时为0，Ga(e)表示网络对e进行分类后的得分。
S22：在对YOLOV3网络的坐标、置信度和分类训练完成后，将新数据集输入到YOLOV3网络中，对图片中最终剩下的检测框进行NMS处理，删去多余的框，输出带有检测框的图片。
实施例1：利用无人机拍摄的柑橘数据集对本发明与常用的目标识别算法进行对比验证，获取的柑橘数据如图2所示。本实施例对比了本发明与YOLO V3、Mask fast rcnn和Fast rcnn三种常用的目标识别算法，具体识别结果见表1，本发明方法识别精度最高。
表1对比实验结果
序号 算法名称 识别精度
1 GAN+YOLO V3 90.1％
2 YOLO V3 85.4％
3 Mask fast rcnn 76.5％
4 Fast rcnn 69.4％
从图3可见，本发明方法在密度高的情况下具有较好的识别度。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种小样本下复杂环境的目标识别方法，其特征在于，该方法包括以下步骤：
S1：数据扩充，具体包括：
S11：构建并训练生成式对抗网络(Generative Adversarial Networks,GAN)；
S12：GAN网络训练完成后，将GAN生成的数据集进行筛选，把结果和真实数据集混合形成新的数据集，得到扩充小样本数据集；标注新数据集，并把标注之后的新数据集作为YOLOV3的输入；
S2：目标识别，具体包括：
S21：构建并训练YOLOV3网络；
S22：在对YOLOV3网络的坐标、置信度和分类训练完成后，将新数据集输入到YOLOV3网络中，对图片中最终剩下的检测框进行NMS处理，删去多余的框，输出带有检测框的图片。
2.根据权利要求1所述的一种小样本下复杂环境的目标识别方法，其特征在于，步骤S11中，构建的GAN网络包含生成器C和判别器T；生成器C有一个输入，即符合某种概率分布的噪声数据，C的作用是根据输入的噪声数据来生成新的图片；判别器T有两个输入，一个是真实数据集，真实数据集的标签自动设为1，另一个输入是生成器C生成的数据，标签自动设为0，T的作用是识别出真实数据与生成器生成的数据；
GAN网络的损失函数为：
Figure FDA0002474208950000011
其中，t～Atrue(t)表示数据t来自于真实数据的数据集T(t)；n～Anoise(n)表示数据n来自于生成器C所生成的数据集C(n)。
3.根据权利要求2所述的一种小样本下复杂环境的目标识别方法，其特征在于，步骤S11中，训练GAN网络是：采用单独交替迭代训练的模式训练生成器C和判别器T；训练开始前，随机初始化生成器C，并对判别器T进行预训练，使其在开始训练时就具有一定的分类能力；
GAN网络训练的具体步骤为：
1)固定生成器C，训练判别器T，循环执行下列步骤K次；
①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；
②从真实数据集Atrue(t)中采样t个对象，产生集合t～Atrue(t)；
③将n～Anoise(n)输入GAN中，生成新的数据集合C(n)；
④将C(n)和t～Atrue(t)输入T，以下列公式为损失函数进行训练，损失函数类似二分类网络，使T判别时，倾向于使Atrue(t)中数据的得分接近1，C(n)中数据的得分接近0；
Figure FDA0002474208950000021
采用交叉熵损失来作为损失函数，梯度下降的方式更新网络参数，循环K次，来找到在当前GAN的情况下的最优判别器T；
2)固定判别器T，训练生成器C，执行下列步骤一次；
①从噪声数据Anoise中采样n个对象，产生集合n～Anoise(n)；
②将n～Anoise(n)输入C中，输出的数据记为C(n)；
③从C(n)和Atrue(t)中抽样出n个数据，构成集合输入到T中；
④根据下列公式的损失函数和T的输出结果来对C进行训练，采用梯度下降更新网络参数；
Figure FDA0002474208950000022
3)单次训练过程结束，返回开始，再次进行训练。
4.根据权利要求1所述的一种小样本下复杂环境的目标识别方法，其特征在于，步骤S21中，构建的YOLOV3网络是：主干网络为53层的darknet，采用残差结构和小卷积核提取图片特征，并使用特征金字塔结构，设置三个不同尺寸的检测层分别针对较大目标和较小目标进行检测。
5.根据权利要求4所述的一种小样本下复杂环境的目标识别方法，其特征在于，步骤S21中，训练YOLOV3网络具体包括：
1)使用K_means聚类算法，得出数据集的聚类中心，设为anchors的值；
2)使用随机resize进行数据增强，把输入的图片尺寸调整到16的任意倍数；
3)将图片输入网络中，经过Darknet53提取图片的特征，把特征图片划分为三个不同数量的单元格，并分别把提取出的特征送到三个YOLO检测层中，输出带有YOLO层所画预测框的图；
4)对比YOLO层所画预测框和anchor的坐标，采用logistic方式回归坐标偏移量，使用下列四个式子来计算：
Figure FDA0002474208950000023
Figure FDA0002474208950000024
其中，Rm和Rn是预测框左上角单元格的坐标，sigmoid(Om)和sigmoid(On)是预测框中心点坐标较于anchor的中心坐标的偏移量，Om和On是预测框中心点的坐标，bm和bn就是归一化后预测框中心相对于单元格左上角坐标的值，Aw和Ah是anchor的宽高，Ow和Oh是检测框的宽高，得到的bw与bh为归一化后预测框的宽高相对于anchor宽高的值；
5)同时使用logistic回归对每个检测框中存在物体的可能性进行评分，记为置信度，选出置信度最高的检测框保留，其余框删除；
6)置信度评分后，网络根据分类的损失函数对检测框中的物体进行分类。
6.根据权利要求5所述的一种小样本下复杂环境的目标识别方法，其特征在于，训练YOLOV3网络的步骤4)中，中心坐标和宽高的损失函数为：
Figure FDA0002474208950000031
其中，αexit为中心坐标损失函数的权重系数，l*l表示特征图被分割成的单元格的个数，K代表预测框的个数，
Figure FDA0002474208950000032
是判断第a个单元格的第b个预测框是否负责检测当前物体，有物体时
Figure FDA0002474208950000033
值为1，否则为0；然后采用平方差误差，其中
Figure FDA0002474208950000034
和
Figure FDA0002474208950000035
是人工标注框的中心坐标，ma和na是预测框的中心坐标；
宽高的损失函数为：
Figure FDA0002474208950000036
其中，pa和qa是预测框的宽高，
Figure FDA0002474208950000037
和
Figure FDA0002474208950000038
则是人工标注框的宽高。
7.根据权利要求5所述的一种小样本下复杂环境的目标识别方法，其特征在于，训练YOLOV3网络的步骤5)中，置信度在训练时的损失函数为：
Figure FDA0002474208950000039
Figure FDA00024742089500000310
置信度的损失函数采用交叉熵误差，第一个式子表示预测框有物体的情况下置信度的损失函数，第二个式子表示没有物体的情况下置信度的损失函数，αnoexit表示没有物体时的权重系数，减小没物体的预测框对网络参数更新的影响；
Figure FDA00024742089500000311
表示存在物体的置信度，有物体时为1，不存在物体时为0；ea表示网络自行计算得到的置信度。
8.根据权利要求5所述的一种小样本下复杂环境的目标识别方法，其特征在于，训练YOLOV3网络的步骤6)中，分类的损失函数采用交叉熵误差，计算公式为：
Figure FDA0002474208950000041
其中，e∈classes表示预测框中的物体所属的物体种类，
Figure FDA0002474208950000042
表示e在属于物体正确类别时为1，别的类别时为0，Ga(e)表示网络对e进行分类后的得分。
CN202010358400.5A 2020-04-29 2020-04-29 一种小样本下复杂环境的目标识别方法 Pending CN111582345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010358400.5A CN111582345A (zh) 2020-04-29 2020-04-29 一种小样本下复杂环境的目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010358400.5A CN111582345A (zh) 2020-04-29 2020-04-29 一种小样本下复杂环境的目标识别方法

Publications (1)

Publication Number Publication Date
CN111582345A true CN111582345A (zh) 2020-08-25

Family

ID=72117097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010358400.5A Pending CN111582345A (zh) 2020-04-29 2020-04-29 一种小样本下复杂环境的目标识别方法

Country Status (1)

Country Link
CN (1) CN111582345A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767907A (zh) * 2020-09-03 2020-10-13 江苏铨铨信息科技有限公司 一种基于ga与vgg网络的多源数据火灾检测***的方法
CN112184673A (zh) * 2020-09-30 2021-01-05 中国电子科技集团公司电子科学研究院 一种用于服药依从性管理的药片目标检测方法
CN112200055A (zh) * 2020-09-30 2021-01-08 深圳市信义科技有限公司 联合对抗生成网络的行人属性识别方法、***及装置
CN113139476A (zh) * 2021-04-27 2021-07-20 山东英信计算机技术有限公司 一种面向数据中心的人体行为属性实时检测方法和***
CN113239813A (zh) * 2021-05-17 2021-08-10 中国科学院重庆绿色智能技术研究院 一种基于三阶级联架构的YOLOv3的远景目标检测方法
CN113744262A (zh) * 2021-09-17 2021-12-03 浙江工业大学 一种基于GAN和YOLO-v5的目标分割检测方法
CN113780480A (zh) * 2021-11-11 2021-12-10 深圳佑驾创新科技有限公司 基于YOLOv5的多目标检测及类别识别模型的构建方法
CN113903009A (zh) * 2021-12-10 2022-01-07 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与***
CN114155453A (zh) * 2022-02-10 2022-03-08 深圳爱莫科技有限公司 冰柜商品图像识别的训练方法、模型及占有率计算方法
CN114170597A (zh) * 2021-11-12 2022-03-11 天健创新（北京）监测仪表股份有限公司 一种藻类检测设备及检测方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别***
CN108805070A (zh) * 2018-06-05 2018-11-13 合肥湛达智能科技有限公司 一种基于嵌入式终端的深度学习行人检测方法
CN109171605A (zh) * 2018-08-29 2019-01-11 合肥工业大学 带目标定位和腔镜视像增强处理功能的智能边缘计算***
US20190065901A1 (en) * 2017-08-29 2019-02-28 Vintra, Inc. Systems and methods for a tailored neural network detector
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法
CN109635875A (zh) * 2018-12-19 2019-04-16 浙江大学滨海产业技术研究院 一种基于深度学习的端到端网口检测方法
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及***
CN109753946A (zh) * 2019-01-23 2019-05-14 哈尔滨工业大学 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法
CN109919058A (zh) * 2019-02-26 2019-06-21 武汉大学 一种基于Yolo V3的多源视频影像重点目标快速检测方法
CN109928107A (zh) * 2019-04-08 2019-06-25 江西理工大学 一种自动分类***
CN109934117A (zh) * 2019-02-18 2019-06-25 北京联合大学 基于生成对抗网络的行人重识别检测方法
CN110060248A (zh) * 2019-04-22 2019-07-26 哈尔滨工程大学 基于深度学习的声呐图像水下管道检测方法
CN110070072A (zh) * 2019-05-05 2019-07-30 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN110135267A (zh) * 2019-04-17 2019-08-16 电子科技大学 一种大场景sar图像细微目标检测方法
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110659702A (zh) * 2019-10-17 2020-01-07 黑龙江德亚文化传媒有限公司 基于生成式对抗网络模型书法字帖评价***及方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065901A1 (en) * 2017-08-29 2019-02-28 Vintra, Inc. Systems and methods for a tailored neural network detector
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别***
CN108805070A (zh) * 2018-06-05 2018-11-13 合肥湛达智能科技有限公司 一种基于嵌入式终端的深度学习行人检测方法
CN109171605A (zh) * 2018-08-29 2019-01-11 合肥工业大学 带目标定位和腔镜视像增强处理功能的智能边缘计算***
CN109409365A (zh) * 2018-10-25 2019-03-01 江苏德劭信息科技有限公司 一种基于深度目标检测的待采摘水果识别和定位方法
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及***
CN109635875A (zh) * 2018-12-19 2019-04-16 浙江大学滨海产业技术研究院 一种基于深度学习的端到端网口检测方法
CN109753946A (zh) * 2019-01-23 2019-05-14 哈尔滨工业大学 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法
CN109934117A (zh) * 2019-02-18 2019-06-25 北京联合大学 基于生成对抗网络的行人重识别检测方法
CN109919058A (zh) * 2019-02-26 2019-06-21 武汉大学 一种基于Yolo V3的多源视频影像重点目标快速检测方法
CN109928107A (zh) * 2019-04-08 2019-06-25 江西理工大学 一种自动分类***
CN110472467A (zh) * 2019-04-08 2019-11-19 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110135267A (zh) * 2019-04-17 2019-08-16 电子科技大学 一种大场景sar图像细微目标检测方法
CN110060248A (zh) * 2019-04-22 2019-07-26 哈尔滨工程大学 基于深度学习的声呐图像水下管道检测方法
CN110135468A (zh) * 2019-04-24 2019-08-16 中国矿业大学(北京) 一种煤矸石的识别方法
CN110070072A (zh) * 2019-05-05 2019-07-30 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN110659702A (zh) * 2019-10-17 2020-01-07 黑龙江德亚文化传媒有限公司 基于生成式对抗网络模型书法字帖评价***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王沣: "人工智能在门窗检测中图纸识别的应用", 《四川水泥》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767907A (zh) * 2020-09-03 2020-10-13 江苏铨铨信息科技有限公司 一种基于ga与vgg网络的多源数据火灾检测***的方法
CN112184673A (zh) * 2020-09-30 2021-01-05 中国电子科技集团公司电子科学研究院 一种用于服药依从性管理的药片目标检测方法
CN112200055A (zh) * 2020-09-30 2021-01-08 深圳市信义科技有限公司 联合对抗生成网络的行人属性识别方法、***及装置
CN112200055B (zh) * 2020-09-30 2024-04-30 深圳市信义科技有限公司 联合对抗生成网络的行人属性识别方法、***及装置
CN113139476A (zh) * 2021-04-27 2021-07-20 山东英信计算机技术有限公司 一种面向数据中心的人体行为属性实时检测方法和***
CN113239813B (zh) * 2021-05-17 2022-11-25 中国科学院重庆绿色智能技术研究院 一种基于三阶级联架构的YOLOv3的远景目标检测方法
CN113239813A (zh) * 2021-05-17 2021-08-10 中国科学院重庆绿色智能技术研究院 一种基于三阶级联架构的YOLOv3的远景目标检测方法
CN113744262A (zh) * 2021-09-17 2021-12-03 浙江工业大学 一种基于GAN和YOLO-v5的目标分割检测方法
CN113744262B (zh) * 2021-09-17 2024-02-02 浙江工业大学 一种基于GAN和YOLO-v5的目标分割检测方法
CN113780480A (zh) * 2021-11-11 2021-12-10 深圳佑驾创新科技有限公司 基于YOLOv5的多目标检测及类别识别模型的构建方法
CN114170597A (zh) * 2021-11-12 2022-03-11 天健创新（北京）监测仪表股份有限公司 一种藻类检测设备及检测方法
CN113903009A (zh) * 2021-12-10 2022-01-07 华东交通大学 一种基于改进YOLOv3网络的铁路异物检测方法与***
CN114155453A (zh) * 2022-02-10 2022-03-08 深圳爱莫科技有限公司 冰柜商品图像识别的训练方法、模型及占有率计算方法

Similar Documents

Publication Publication Date Title
CN111582345A (zh) 一种小样本下复杂环境的目标识别方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN109657584B (zh) 辅助驾驶的改进LeNet-5融合网络交通标志识别方法
CN107247956B (zh) 一种基于网格判断的快速目标检测方法
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
Xu et al. Augmenting strong supervision using web data for fine-grained categorization
WO2019140767A1 (zh) 安检识别***及其控制方法
CN111832608B (zh) 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
CN113011319A (zh) 多尺度火灾目标识别方法及***
CN113408605A (zh) 基于小样本学习的高光谱图像半监督分类方法
Silva-Rodriguez et al. Self-learning for weakly supervised gleason grading of local patterns
CN107833213A (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN113643228B (zh) 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法
CN105930792A (zh) 一种基于视频局部特征字典的人体动作分类方法
WO2022062419A1 (zh) 基于非督导金字塔相似性学习的目标重识别方法及***
CN114092742B (zh) 一种基于多角度的小样本图像分类装置和方法
CN112766170B (zh) 基于簇类无人机图像的自适应分割检测方法及装置
CN114092747A (zh) 基于深度元度量模型互学习的小样本图像分类方法
CN112597324A (zh) 一种基于相关滤波的图像哈希索引构建方法、***及设备
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
JP2022082493A (ja) ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
CN114818963B (zh) 一种基于跨图像特征融合的小样本检测方法
CN112613428A (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
CN110765285A (zh) 基于视觉特征的多媒体信息内容管控方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210527

Address after: 400714 No. 266 Fangzheng Road, Beibei District, Chongqing.

Applicant after: Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences

Applicant after: Chongqing University

Address before: 400714 No. 266 Fangzheng Road, Beibei District, Chongqing.

Applicant before: Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Xuerui

Inventor after: Yao Yuan

Inventor after: Zheng Zhihao

Inventor after: Zhang Fan

Inventor after: Shang Mingsheng

Inventor before: Yao Yuan

Inventor before: Zheng Zhihao

Inventor before: Zhang Xuerui

Inventor before: Zhang Fan

Inventor before: Shang Mingsheng

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825