CN114429577B - 一种基于高置信标注策略的旗帜检测方法及***及设备 - Google Patents

一种基于高置信标注策略的旗帜检测方法及***及设备 Download PDF

Info

Publication number
CN114429577B
CN114429577B CN202210101441.5A CN202210101441A CN114429577B CN 114429577 B CN114429577 B CN 114429577B CN 202210101441 A CN202210101441 A CN 202210101441A CN 114429577 B CN114429577 B CN 114429577B
Authority
CN
China
Prior art keywords
flag
core
marking
labeling
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210101441.5A
Other languages
English (en)
Other versions
CN114429577A (zh
Inventor
刘欢
张驰
秦涛
郑庆华
刘炉林
何子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210101441.5A priority Critical patent/CN114429577B/zh
Publication of CN114429577A publication Critical patent/CN114429577A/zh
Application granted granted Critical
Publication of CN114429577B publication Critical patent/CN114429577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

一种基于高置信标注策略的旗帜检测方法及***及设备，通过不同目标旗帜的核心特征信息来检测图片中的旗帜。第一，采集相关旗帜图片；第二，扩充不平衡的旗帜类别图片；第三，构建核心特征标注标准；第四，构建为完整数据集；第五，利用所构建的数据集训练有监督的旗帜检测模型；最后，检测模型对未知图片中旗帜的识别。本发明利用核心特征标注准则对目标旗帜核心特征信息进行标注，更好地获取了目标旗帜核心特征信息，提高了标注样本的置信度，提升模型对不同旗帜图片类别的检测能力，较好解决了图片中遮挡旗帜及形变旗帜的识别，同时利用有效的数据增强方法处理数据类别不平衡问题，具有高召回、强鲁棒、效率高等优点。

Description

一种基于高置信标注策略的旗帜检测方法及***及设备
技术领域
本发明涉及目标检测领域，具体涉及一种基于高置信标注策略的旗帜检测方法及***及设备。
背景技术
旗帜检测是指从一张图片中检测出目标旗帜所在位置及其类别的技术。旗帜检测技术广泛应用于图像内容审核领域，在各大互联网平台，用户每天会上传大量的图片，其中可能包含一些敏感旗帜。旗帜检测属于目标检测领域，其监督学习的特性导致对原始训练数据的要求较高，而标注工作作为目标检测的前期基础，标注质量将直接影响目标检测的效果。目前目标检测任务中的数据标注准则主要是针对目标物体对其进行全局标注，即利用矩形框尽可能标注目标的整个范围。但是，与其它目标检测任务不同，旗帜属于非刚性(non-rigid)目标，具有典型的形变特性；同时，旗帜检测任务往往还伴随有遮挡等问题。因此，对目标旗帜的全局标注不能充分提取有用的判别信息，甚至将引入大量噪音信息，给旗帜检测带来困难。所以，亟需一种新的旗帜检测方法。
目前现有技术提出一种旗帜检测方法，来对摄像头的视频流中旗帜进行检测，其主要包括：首先，利用多种有效的数据增强方法对原旗帜数据集进行增强；然后在第一检测分支中采用结合OpticalFlow和GMM方法进行目标检测；同时在第二检测分支中，将扩充后的数据集的视频帧输入作为Darknet53骨干网络的输入，以提取多缩放视频帧的特征图层，再采用样本选择算法进行正负样本的选择，训练YOLOv3深度神经网络模型和目标检测；最后合并两个检测分支的检测结果以检测摄像头的视频流中是否存在旗帜。
上述的旗帜检测方法，依旧利用传统全局标注的方式对目标旗帜进行标注，没有考虑不同旗帜的核心特征，不能充分提取有用的判别信息，同时全局标注的方式将引入许多噪音信息，使得标注样本的置信度较低，尤其在旗帜遮挡及形变等场景中，对目标旗帜的检测带来困难。
发明内容
本发明的目的在于提供一种基于高置信标注策略的旗帜检测方法及***及设备，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种基于高置信标注策略的旗帜检测方法，包括以下步骤：
步骤1，旗帜图片采集：以互联网媒体网站为数据源，利用API接口对k种不同类型旗帜图片进行爬取，得到由n张旗帜图片组成的图片数据集
步骤2，不平衡样本数据增强：对于样本数量小于100的旗帜类别，进行数据增强操作，生成与其他种类旗帜样本数目近似的扩充样本并加入图片数据集；
步骤3，高置信度样本标注：针对旗帜图片中存在的遮挡及形变，对收集到的k种旗帜确定每种类型旗帜的核心特征，针对所述核心特征，确定核心特征标注标准；
步骤4，目标旗帜核心特征标注：利用标注工具，依据步骤3中高置信度样本标注策略对目标旗帜核心特征区域进行标注并注明所属旗帜类别，得到图片的标签向量Yi＝{ai,bi,wi,hi,c}，其中ai，bi为核心特征标注区域的中心点坐标，wi，hi为核心特征标注区域的宽度和高度，c为该核心特征区域所属的旗帜类别；将所有图片的标签向量加入步骤2中的数据集，并按照8：2的比例划分训练集验证集，构建为完整的旗帜检测数据集；
步骤5，旗帜检测模型建立：从步骤4所构建的数据集中抽取训练样本，输入YOLOv3目标检测模型，构建和训练有监督的旗帜检测模型；
步骤6，旗帜检测：对于需要识别的图片p，输入到步骤5中训练好的检测模型中，判断其中是否包含目标旗帜并确定旗帜类别和旗帜位置。
进一步的，步骤2中，数据增强操作包括：首先，分析步骤1中所收集数据不同旗帜类别的数量比例；之后，对于样本数量小于100的类别，对其图片分别进行色彩增强、添加高斯噪声、放大两倍、随机旋转、随机剪切、水平翻转、垂直翻转、水平垂直翻转操作，生成与其他旗帜类别数目近似的扩充样本，并加入到原来的数据集中，得到新数据集。
进一步的，步骤3确定旗帜高置信度样本标注中：首先，对比数据集中所有类型旗帜，确定每种目标旗帜最具区分性的区域即为该目标旗帜的核心特征，若无明显核心特征，则将完整旗帜区域作为核心特征；其次，构建旗帜高置信度样本标注策略：当目标旗帜的核心特征展示完整，在保证核心特征被覆盖完整的情况下使用尽可能小的标注框进行标注，对旗帜的非核心特征区域不予标注；当目标旗帜核心特征出现形变，对形变区域进行正常标注；当目标旗帜核心特征被遮挡，若核心特征被遮挡超过一半，则不予以标注，否则进行标注。
进一步的，步骤3中，核心特征标注标准包括标注的位置、覆盖范围及形变遮挡异常情况处理。
进一步的，步骤4目标旗帜核心特征标注中，使用Y来表示数据的标注信息，对中图片pi，基于不同类别旗帜的核心特征，利用标注工具，依据步骤3中标注策略对目标旗帜核心特征区域进行标注并注明所属旗帜类别，在标注文件中记录下每个标注区域的中心点坐标及宽高。
进一步的，步骤5旗帜检测模型建立中，针对步骤3所构建的训练样本数据集，对所有图片标注信息中的标注框区域进行k-means聚类，得到9个不同大小的anchor；将训练集中图片进行预处理裁剪至416×416大小，并转化为RGB三通道的图像矩阵X；将该图像矩阵、anchor与图像标签输入检测网络模型中进行训练，得到所述旗帜检测网络模型；构建的基于核心特征标注的有监督模型为训练一个系数矩阵W将数据矩阵X映射到标注信息矩阵Y，训练方式为：
式中，lbox为预测框与真实框之间的回归损失，lobj为预测框的置信度损失，lcls为不同类别间的分类损失。
进一步的，具体的训练过程为：
(1)读入图片和标签信息，对图像进行预处理，构建得到训练集的数据矩阵X，对所有图片标注信息中的标注框区域进行k-means聚类，得到9个不同大小的anchor，同时，设置判断优化收敛的终止阈值∈；
(2)将图像矩阵X、anchor与图像标签矩阵Y输入YOLOv3检测网络模型中，利用Darknet53特征提取网络提取输入图像特征，采用类FPN(Feature Pyramid Network)结构生成分别包含13×13，26×26，52×52个网格单元的特征图；
(3)将输入图像的真实旗帜区域中心所在的特征图网格单元作为预测网格单元，以预测网格单元为中心获取与anchor相对应的预测边框，筛选出与真实旗帜区域的IOU值最大的预测边框作为预测旗帜区域；
(4)将真实旗帜区域与预测旗帜区域进行对比，通过训练误差更新模型参数，判断目标函数值下降幅度是否小于∈，若不小于，则返回步骤(3)继续训练；否则，退出训练保存最终检测网络模型的参数矩阵W。。
进一步的，步骤6旗帜检测中，对于需要识别的图片p，输入步骤5中训练好的检测模型中，判断该图片中是否出现目标旗帜，通过有监督的旗帜检测模型系数矩阵W的映射，得到目标图片p的预测标签向量y，若则表明从该目标图片中未检测到旗帜；若y＝{ai,bi,wi,hi,c}，c∈{1,2,…,k}，则表明从该目标图片中检测到类别为c的旗帜，旗帜位置中心点坐标为ai，bi，旗帜宽度和高度为wi，hi。
进一步的，一种基于高置信标注策略的旗帜检测***，包括：
旗帜图片采集模块，用于爬取不同类型旗帜图片，得到由n张旗帜图片组成的图片数据集；
样本增强处理模块，用于对于样本数量较小的旗帜类别，进行数据增强操作，生成与其他种类旗帜样本数目近似的扩充样本并加入图片数据集；
样本标注模块，用于针对旗帜图片中存在的遮挡及形变，对收集到的k种旗帜确定每种类型旗帜的核心特征，针对所述核心特征，确定核心特征标注标准；
目标旗帜核心特征标注模块，用于利用标注工具，依据高置信度样本标注策略对目标旗帜核心特征区域进行标注并注明所属旗帜类别，得到图片的标签向量，构建为完整的旗帜检测数据集；
旗帜检测模型建立模块，用于从构建的数据集中抽取训练样本，输入YOLOv3目标检测模型，构建和训练有监督的旗帜检测模型；
旗帜检测模块，用于对于需要识别的图片p，输入到训练好的检测模型中，判断其中是否包含目标旗帜并确定旗帜类别和旗帜位置。
进一步的，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于高置信标注策略的旗帜检测方法的步骤。
与现有技术相比，本发明有以下技术效果：
本发明利用核心特征标注准则对目标旗帜核心特征信息进行标注，更好地获取了目标旗帜核心特征信息，提高了标注样本的置信度，提升模型对不同旗帜图片类别的检测能力，较好解决了图片中遮挡旗帜及形变旗帜的识别，同时利用有效的数据增强方法处理数据类别不平衡问题，具有高召回、强鲁棒、效率高等优点；
本方法提出了高置信标注策略，更关注不同旗帜的核心特征，充分挖掘旗帜中最具区分性的特征，提升检测的准确率和召回率；本方法通过数据增强有效解决该问题，提升模型的总体识别性能。
附图说明
图1是基于高置信标注策略的旗帜检测方法整体流程图。
图2是数据采集过程的流程图。
图3是不平衡样本数据增强过程的流程图。
图4是旗帜核心特征示意图。
图5是核心特征标注标准构建及图片标注流程图。
图6是检测模型训练过程流程图。
图7是本发明图像旗帜检测的实施框图。
具体实施方式
以下结合附图及实施例对本发明的实施方式进行详细说明。需要说明的是，此处描述的实施例只用以解释本发明，并不用于限定本发明。此外，在不冲突的情况下，本发明中的实施例涉及的技术特征可以相互结合。
本发明的具体实施过程包括数据采集过程、不平衡样本数据增强过程、确定高置信度样本标注策略过程、目标旗帜核心特征标注过程、旗帜检测模型建立过程、旗帜检测过程。
本发明公开了一种基于高置信标注策略的旗帜检测方法，1)从互联网社交媒体平台通过关键字爬虫的方式进行旗帜数据获取；2)分析所述数据，对其中样本不平衡的类别进行数据增强，增加样本数量以提升模型性能；3)实施高置信度样本标注策略，确定每种类型旗帜的核心特征，构建核心特征标注标准包括标注的位置、覆盖范围及形变遮挡等异常情况处理；4)利用标注工具，依据标注标准对目标旗帜核心特征区域进行标注并注明所属旗帜类别，生成图片标签向量，构建为完整数据集；5)基于YOLOv3目标检测模型，构建有监督的旗帜检测模型；6)对于需要识别的图片，输入构建的检测模型中进行目标旗帜检测。本发明所公开的旗帜检测方法，利用目标旗帜核心特征信息，标注高置信度的旗帜样本，提高模型对不同旗帜图片类别的检测能力，较好解决了图片中遮挡旗帜及形变旗帜的识别。同时利用有效的数据增强方法处理数据类别不平衡问题，具有高召回、强鲁棒、效率高等优点，使得本发明较其他旗帜检测方法具有明显的优势。
图1是本发明基于高置信标注策略的旗帜检测方法总体流程图。
数据采集过程
数据获取的具体过程如下：
(1)通过爬虫技术，根据旗帜类别相关关键字进行图片爬取。在爬取时，可以使用如“flag of China”、“flag of Japan”、“flag of South Korea”等相关旗帜标签进行爬取；
(2)对于爬取到的k种旗帜图片进行去重处理，得到由n张旗帜图片组成的图片数据集
上述数据采集过程如图2所示。
不平衡样本数据增强过程
分析步骤1中所收集数据不同旗帜类别的数量比例。对于样本数量比较小的类别，对其图片分别进行色彩增强、添加高斯噪声、放大两倍、随机旋转、随机剪切、水平翻转、垂直翻转、水平垂直翻转等操作，生成与其他旗帜类别数目近似的扩充样本，并加入到原来的数据集中，得到新数据集。
上述不平衡样本数据增强过程如图3所示。
确定高置信度样本标注策略过程
确定旗帜核心特征：对比数据集中所有类型旗帜，确定每种目标旗帜最具区分性的区域即为该目标旗帜的核心特征，若无明显核心特征，则将完整旗帜区域作为核心特征。如***旗帜中的***标志具有强的区分性，即为该旗帜的核心特征，英国国旗中不含有强区分性的区域，则整张英国国旗都为核心特征。构建旗帜高置信度样本标注策略：当目标旗帜的核心特征展示完整，在保证核心特征被覆盖完整的情况下使用尽可能小的标注框进行标注，对旗帜的非核心特征区域不予标注；当目标旗帜核心特征出现形变，对形变区域进行正常标注；当目标旗帜核心特征被遮挡，若核心特征被遮挡超过一半，则不予以标注，否则进行标注。
上述旗帜核心特征示意如图4所示。
目标旗帜核心特征标注过程
使用Y来表示数据的标注信息，对中图片pi，基于不同类别旗帜的核心特征，利用标注工具，依据步骤3中标注标准对目标旗帜核心特征区域进行标注并注明所属旗帜类别，在标注文件中记录下每个标注区域的中心点坐标及宽高；根据标注文件生成图片的标签向量Yi＝{ai,bi,wi,hi,c}，其中ai，bi为标注区域的中心点坐标，wi，hi为标注区域的宽度和高度，c表示该标注区域所属的旗帜类别，c＝1,2,…,k分别对应k种不同旗帜类型；将所有图片的标签向量加入原来的数据集，并按照8：2的比例划分训练集验证集，由此构建为完整的旗帜检测数据集。
上述标注标准构建及图片标注的过程如图5所示。
旗帜检测模型建立过程
本文旗帜检测模型基于YOLOv3检测网络构建。YOLOv3中采用类似FPN的结构加强对小目标检测的精确度，模型具有3个不同尺度的检测层，每个检测层配置3种不同尺寸的anchor。针对步骤4所构建的训练样本数据集，对所有图片标注信息中的标注框区域进行k-means聚类，得到9个不同大小的anchor。将训练集中图片进行预处理裁剪至416×416大小，并转化为RGB三通道的图像矩阵X，将该图像矩阵、anchor与图像标签输入检测网络模型中进行训练，得到所述旗帜检测网络模型。所构建的基于核心特征标注的有监督模型为训练一个系数矩阵W将数据矩阵X映射到标注信息矩阵Y，训练方式为：
式中，lbox为预测框与真实框之间的回归损失，lobj为预测框的置信度损失，lcls为不同类别间的分类损失，具体的训练过程为：
(1)读入图片和标签信息，对图像进行预处理，构建得到训练集的数据矩阵X，对所有图片标注信息中的标注框区域进行k-means聚类，得到9个不同大小的anchor。同时，设置判断优化收敛的终止阈值∈；
(2)将图像矩阵X、anchor与图像标签矩阵Y输入YOLOv3检测网络模型中，利用Darknet53特征提取网络提取输入图像特征，采用类FPN结构生成分别包含13×13，26×26，52×52个网格单元的特征图；
(3)将输入图像的真实旗帜区域中心所在的特征图网格单元作为预测网格单元，以预测网格单元为中心获取与anchor相对应的预测边框，筛选出与真实旗帜区域的IOU值最大的预测边框作为预测旗帜区域；
(4)将真实旗帜区域与预测旗帜区域进行对比，通过训练误差更新模型参数，判断目标函数值下降幅度是否小于∈，若不小于，则返回步骤(3)继续训练；否则，退出训练保存最终检测网络模型的参数矩阵W。
上述检测模型的训练过程如图6所示。
旗帜检测过程
对于需要识别的图片p，输入步骤5中训练好的检测模型中，判断该图片中是否出现目标旗帜。通过有监督的旗帜检测模型系数矩阵W的映射，可以得到目标图片p的预测标签向量y，若则表明从该目标图片中未检测到旗帜；若y＝{ai,bi,wi,hi,c}，c∈{1,2,…,k}，则表明从该目标图片中检测到类别为c的旗帜，旗帜位置中心点坐标为ai，bi，旗帜宽度和高度为wi，hi。
上述旗帜检测过程如图7所示。
下述为本发明的***实施例，可以用于执行本发明方法实施例。
本发明再一实施例中，提供一种基于高置信标注策略的旗帜检测***，能够用于实现上述的基于高置信标注策略的旗帜检测方法，具体的，该基于高置信标注策略的旗帜检测***包括：
旗帜图片采集模块，用于爬取不同类型旗帜图片，得到由n张旗帜图片组成的图片数据集；
样本增强处理模块，用于对于样本数量较小的旗帜类别，进行数据增强操作，生成与其他种类旗帜样本数目近似的扩充样本并加入图片数据集；
样本标注模块，用于针对旗帜图片中存在的遮挡及形变，对收集到的k种旗帜确定每种类型旗帜的核心特征，针对所述核心特征，确定核心特征标注标准；
目标旗帜核心特征标注模块，用于利用标注工具，依据高置信度样本标注策略对目标旗帜核心特征区域进行标注并注明所属旗帜类别，得到图片的标签向量，构建为完整的旗帜检测数据集；
旗帜检测模型建立模块，用于从构建的数据集中抽取训练样本，输入YOLOv3目标检测模型，构建和训练有监督的旗帜检测模型；
旗帜检测模块，用于对于需要识别的图片p，输入到训练好的检测模型中，判断其中是否包含目标旗帜并确定旗帜类别和旗帜位置。
本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于高置信标注策略的旗帜检测方法的操作。

Claims (8)

1.一种基于高置信标注策略的旗帜检测方法，其特征在于，包括以下步骤：
步骤1，旗帜图片采集：以互联网媒体网站为数据源，利用API接口对k种不同类型旗帜图片进行爬取，得到由n张旗帜图片组成的图片数据集
步骤2，不平衡样本数据增强：对于样本数量小于100的旗帜类别，进行数据增强操作，生成与其他种类旗帜样本数目近似的扩充样本并加入图片数据集；
步骤3，高置信度样本标注：针对旗帜图片中存在的遮挡及形变，对收集到的k种旗帜确定每种类型旗帜的核心特征，针对所述核心特征，确定核心特征标注标准；
步骤4，目标旗帜核心特征标注：利用标注工具，依据步骤3中高置信度样本标注策略对目标旗帜核心特征区域进行标注并注明所属旗帜类别，得到图片的标签向量Yi＝{ai,bi,wi,hi,c}，其中ai，bi为核心特征标注区域的中心点坐标，wi，hi为核心特征标注区域的宽度和高度，c为该核心特征区域所属的旗帜类别；将所有图片的标签向量加入步骤2中的数据集，并按照8：2的比例划分训练集验证集，构建为完整的旗帜检测数据集；
步骤5，旗帜检测模型建立：从步骤4所构建的数据集中抽取训练样本，输入YOLOv3目标检测模型，构建和训练有监督的旗帜检测模型；
步骤6，旗帜检测：对于需要识别的图片p，输入到步骤5中训练好的检测模型中，判断其中是否包含目标旗帜并确定旗帜类别和旗帜位置；
步骤3确定旗帜高置信度样本标注中：首先，对比数据集中所有类型旗帜，确定每种目标旗帜最具区分性的区域即为该目标旗帜的核心特征，若无明显核心特征，则将完整旗帜区域作为核心特征；其次，构建旗帜高置信度样本标注策略：当目标旗帜的核心特征展示完整，在保证核心特征被覆盖完整的情况下使用尽可能小的标注框进行标注，对旗帜的非核心特征区域不予标注；当目标旗帜核心特征出现形变，对形变区域进行正常标注；当目标旗帜核心特征被遮挡，若核心特征被遮挡超过一半，则不予以标注，否则进行标注；
步骤3中，核心特征标注标准包括标注的位置、覆盖范围及形变遮挡异常情况处理。
2.根据权利要求1所述的一种基于高置信标注策略的旗帜检测方法，其特征在于，步骤2中，数据增强操作包括：首先，分析步骤1中所收集数据不同旗帜类别的数量比例；之后，对于样本数量小于100的类别，对其图片分别进行色彩增强、添加高斯噪声、放大两倍、随机旋转、随机剪切、水平翻转、垂直翻转、水平垂直翻转操作，生成与其他旗帜类别数目近似的扩充样本，并加入到原来的数据集中，得到新数据集。
3.根据权利要求1所述的一种基于高置信标注策略的旗帜检测方法，其特征在于，步骤4目标旗帜核心特征标注中，使用Y来表示数据的标注信息，对中图片pi，基于不同类别旗帜的核心特征，利用标注工具，依据步骤3中标注策略对目标旗帜核心特征区域进行标注并注明所属旗帜类别，在标注文件中记录下每个标注区域的中心点坐标及宽高。
4.根据权利要求1所述的一种基于高置信标注策略的旗帜检测方法，其特征在于，步骤5旗帜检测模型建立中，针对步骤3所构建的训练样本数据集，对所有图片标注信息中的标注框区域进行k-means聚类，得到9个不同大小的anchor；将训练集中图片进行预处理裁剪至416×416大小，并转化为RGB三通道的图像矩阵X；将该图像矩阵、anchor与图像标签输入检测网络模型中进行训练，得到所述旗帜检测网络模型；构建的基于核心特征标注的有监督模型为训练一个系数矩阵W将数据矩阵X映射到标注信息矩阵Y，训练方式为：
式中，lbox为预测框与真实框之间的回归损失，lobj为预测框的置信度损失，lcls为不同类别间的分类损失。
5.根据权利要求4所述的一种基于高置信标注策略的旗帜检测方法，其特征在于，具体的训练过程为：
(1)读入图片和标签信息，对图像进行预处理，构建得到训练集的数据矩阵X，对所有图片标注信息中的标注框区域进行k-means聚类，得到9个不同大小的anchor，同时，设置判断优化收敛的终止阈值∈；
(2)将图像矩阵X、anchor与图像标签矩阵Y输入YOLOv3检测网络模型中，利用Darknet53特征提取网络提取输入图像特征，采用类FPN(Feature Pyramid Network)结构生成分别包含13×13，26×26，52×52个网格单元的特征图；
(3)将输入图像的真实旗帜区域中心所在的特征图网格单元作为预测网格单元，以预测网格单元为中心获取与anchor相对应的预测边框，筛选出与真实旗帜区域的IOU值最大的预测边框作为预测旗帜区域；
(4)将真实旗帜区域与预测旗帜区域进行对比，通过训练误差更新模型参数，判断目标函数值下降幅度是否小于∈，若不小于，则返回步骤(3)继续训练；否则，退出训练保存最终检测网络模型的参数矩阵W。
6.根据权利要求1所述的一种基于高置信标注策略的旗帜检测方法，其特征在于，步骤6旗帜检测中，对于需要识别的图片p，输入步骤5中训练好的检测模型中，判断该图片中是否出现目标旗帜，通过有监督的旗帜检测模型系数矩阵W的映射，得到目标图片p的预测标签向量y，若则表明从该目标图片中未检测到旗帜；若y＝{ai,bi,wi,hi,c}，c∈{1,2,…,k}，则表明从该目标图片中检测到类别为c的旗帜，旗帜位置中心点坐标为ai，bi，旗帜宽度和高度为wi，hi。
7.一种基于高置信标注策略的旗帜检测***，其特征在于，包括：
旗帜图片采集模块，用于爬取不同类型旗帜图片，得到由n张旗帜图片组成的图片数据集；
样本增强处理模块，用于对于样本数量较小的旗帜类别，进行数据增强操作，生成与其他种类旗帜样本数目近似的扩充样本并加入图片数据集；
样本标注模块，用于针对旗帜图片中存在的遮挡及形变，对收集到的k种旗帜确定每种类型旗帜的核心特征，针对所述核心特征，确定核心特征标注标准；
目标旗帜核心特征标注模块，用于利用标注工具，依据高置信度样本标注策略对目标旗帜核心特征区域进行标注并注明所属旗帜类别，得到图片的标签向量，构建为完整的旗帜检测数据集；
旗帜检测模型建立模块，用于从构建的数据集中抽取训练样本，输入YOLOv3目标检测模型，构建和训练有监督的旗帜检测模型；
旗帜检测模块，用于对于需要识别的图片p，输入到训练好的检测模型中，判断其中是否包含目标旗帜并确定旗帜类别和旗帜位置；
确定旗帜高置信度样本标注中：首先，对比数据集中所有类型旗帜，确定每种目标旗帜最具区分性的区域即为该目标旗帜的核心特征，若无明显核心特征，则将完整旗帜区域作为核心特征；其次，构建旗帜高置信度样本标注策略：当目标旗帜的核心特征展示完整，在保证核心特征被覆盖完整的情况下使用尽可能小的标注框进行标注，对旗帜的非核心特征区域不予标注；当目标旗帜核心特征出现形变，对形变区域进行正常标注；当目标旗帜核心特征被遮挡，若核心特征被遮挡超过一半，则不予以标注，否则进行标注；
核心特征标注标准包括标注的位置、覆盖范围及形变遮挡异常情况处理。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于高置信标注策略的旗帜检测方法的步骤。
CN202210101441.5A 2022-01-27 2022-01-27 一种基于高置信标注策略的旗帜检测方法及***及设备 Active CN114429577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210101441.5A CN114429577B (zh) 2022-01-27 2022-01-27 一种基于高置信标注策略的旗帜检测方法及***及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210101441.5A CN114429577B (zh) 2022-01-27 2022-01-27 一种基于高置信标注策略的旗帜检测方法及***及设备

Publications (2)

Publication Number Publication Date
CN114429577A CN114429577A (zh) 2022-05-03
CN114429577B true CN114429577B (zh) 2024-03-08

Family

ID=81313455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210101441.5A Active CN114429577B (zh) 2022-01-27 2022-01-27 一种基于高置信标注策略的旗帜检测方法及***及设备

Country Status (1)

Country Link
CN (1) CN114429577B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012674B (zh) * 2023-01-30 2023-07-18 人民网股份有限公司 一种旗帜目标检测方法和装置
CN116664988B (zh) * 2023-07-24 2023-11-21 广立微(上海)技术有限公司 图片自动标注方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599938A (zh) * 2016-12-30 2017-04-26 南京睿观信息科技有限公司 一种基于深度网络模型敏感旗帜内容的层次分类方法
CN111222450A (zh) * 2020-01-02 2020-06-02 广州虎牙科技有限公司 模型的训练及其直播处理的方法、装置、设备和存储介质
CN112381043A (zh) * 2020-11-27 2021-02-19 华南理工大学 一种旗帜检测方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN113657151A (zh) * 2021-07-07 2021-11-16 东南大学 一种基于yolo目标检测算法的水上交通违章行为检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599938A (zh) * 2016-12-30 2017-04-26 南京睿观信息科技有限公司 一种基于深度网络模型敏感旗帜内容的层次分类方法
CN111222450A (zh) * 2020-01-02 2020-06-02 广州虎牙科技有限公司 模型的训练及其直播处理的方法、装置、设备和存储介质
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN112381043A (zh) * 2020-11-27 2021-02-19 华南理工大学 一种旗帜检测方法
CN113657151A (zh) * 2021-07-07 2021-11-16 东南大学 一种基于yolo目标检测算法的水上交通违章行为检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
帖军 ; 宋威 ; 尹帆 ; 郑禄 ; 杨欣 ; .基于遮挡标记的目标检测算法.中南民族大学学报(自然科学版).2020,(第03期),全文. *
高星 ; 刘剑飞 ; 郝禄国 ; 董琪琪 ; .基于YOLOv3算法的训练集优化和检测方法的研究.计算机工程与科学.2020,(第01期),全文. *

Also Published As

Publication number Publication date
CN114429577A (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN112580439B (zh) 小样本条件下的大幅面遥感图像舰船目标检测方法及***
Xue et al. A fast detection method via region‐based fully convolutional neural networks for shield tunnel lining defects
Shi et al. Automatic road crack detection using random structured forests
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及***及设备
CN107330027B (zh) 一种弱监督的深度台标检测方法
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN113052185A (zh) 一种基于Faster R-CNN的小样本目标检测方法
Nordeng et al. DEBC detection with deep learning
CN112001362A (zh) 一种图像分析方法、图像分析装置及图像分析***
CN115205855B (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
Yan et al. CycleADC-Net: A crack segmentation method based on multi-scale feature fusion
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN116206112A (zh) 基于多尺度特征融合和sam的遥感图像语义分割方法
CN114462469B (zh) 目标检测模型的训练方法、目标检测方法及相关装置
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN116843983A (zh) 路面病害识别方法、模型训练方法、电子设备及介质
CN112651996B (zh) 目标检测跟踪方法、装置、电子设备和存储介质
CN114882252A (zh) 半监督遥感影像变化检测方法、装置和计算机设备
KR20190093752A (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN115331254A (zh) 一种免锚框的实例人像语义解析方法
CN112801960A (zh) 图像处理方法及装置、存储介质、电子设备
CN112131418A (zh) 目标标注方法、目标标注装置和计算机可读存储介质
CN114842353B (zh) 基于自适应目标方向的神经网络遥感影像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant