CN109086792A - 基于检测和识别网络架构的细粒度图像分类方法 - Google Patents
基于检测和识别网络架构的细粒度图像分类方法 Download PDFInfo
- Publication number
- CN109086792A CN109086792A CN201810674058.2A CN201810674058A CN109086792A CN 109086792 A CN109086792 A CN 109086792A CN 201810674058 A CN201810674058 A CN 201810674058A CN 109086792 A CN109086792 A CN 109086792A
- Authority
- CN
- China
- Prior art keywords
- indicate
- grid
- box
- bilinearity
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于检测和识别网络架构的细粒度图像分类方法,使用yolov2算法快速检测物体,消除背景干扰和无关信息对分类结果的影响,将检测到的待识别物体采用双线性卷积神经网络的细粒度图像分类算法进行分类。通过yolov2目标检测算法,能够滤除大部分对细粒度图像分类没有贡献的区域,使得双线性卷积神经网络能够提取到更多对分类有用的细粒度特征。不同于目前绝大多数细粒度图像分类算法,双线性卷积神经网络是一个整体的***,能够完成端到端的训练,且在训练过程中只依赖于类别标注信息,而无需借助其他的人工标注信息,这不仅大大增强了算法的实用性,而且提高了模型的识别率。
Description
技术领域
本发明涉及一种图像分类技术,特别涉及一种基于检测和识别网络架构的细粒度图像分类方法。
背景技术
图像分类是计算机视觉领域的一个经典研究课题。图像分类主要包括粗粒度图像分类和细粒度图像分类。细粒度图像分类,即子类的分类问题,是对一个大类别进行更加细致的子类划分,如区分鸟的种类、车的品牌款式、狗的品种等,因为图像采集中存在姿态、视角、光照、遮挡、背景干扰等差异因素,所以细粒度分类时往往具有细微的类间差异和较大的类内差异,和普通的图像分类相比,细粒度图像分类难度更大。
早期基于人工特征的细粒度图像分类算法,由于人工特征选择过程繁琐,表述能力有限,因此分类效果不佳。随着近年来深度学习的兴起,从卷积神经网络中自动获得的特征,比人工特征有更强大的描述能力,按照模型训练时是否需要人工标注信息,基于深度学习的细粒度图像分类算法可分为强监督和弱监督两类,强监督的细粒度图像分类在模型训练时不仅需要图像的类别标签,还需要图像标注框,局部区域位置等人工标注信息,然而不论是强监督或弱监督的细粒度图像分类算法,大多数细粒度图像分类算法的思路都是先找到前景对象和图像中的局部区域,之后利用卷积神经网络对这些区域分别提取特征,并将这些特征进行一定处理,以此完成分类器的训练和预测。Zhang等提出的Part-based R-CNN算法,该算法先采用R-CNN算法对图像进行检测,找到局部区域,再分别对每一块区域提取卷积特征,将不同区域的特征连接起来,构成一维特征表示,最后用SVM训练分类。然而,其利用的选择性搜索算法会产生大量无关的候选区域,造成运算上的浪费。Branson等提出的姿态归一化CNN算法,它通过原型对图像进行姿态对齐操作,为构造一个更加具区分度的特征,对不同的局部区域提取不同网络层的特征,但是,该算法利用DPM算法对关键点进行检测与实际标注的关键点信息差距较大。Xiao等提出两级注意力算法,其仅使用类别标签,算法模型分为三个处理阶段,分别是预处理、对象级和局部级三个不同的子模型,但两级注意力模型利用聚类算法得到局部区域,使准确度十分有限。然而,以上算法都只是利用卷积神经网络提取特征。前景对象、局部区域等的特征提取、特征融合、模型训练,各步骤之间的处理是一个分散的过程,不是一个整体的***,未从整体上进行端到端的训练优化,这大大增加了细粒度图像分类的难度和复杂度。
发明内容
本发明是针对目前细粒度图像分类的问题,提出了一种基于检测和识别网络架构的细粒度图像分类方法,使用yolov2算法快速检测物体,消除背景干扰和无关信息对分类结果的影响,将检测到的待识别物体采用双线性卷积神经网络的细粒度图像分类算法进行分类。
本发明的技术方案为:一种基于检测和识别网络架构的细粒度图像分类方法,具体包括如下步骤:
1)采用yolov2目标检测算法预训练的模型对标准细粒度图像数据集进行处理,得到数据集中每一张图片中的判别性区域,得到了处理后的目标图像数据集;
2)将处理后的目标图像数据集输入双线性卷积神经网络进行训练与分类,得到细粒度图像分类结果;
双线性卷积神经网络结构由一个四元组β=(fA,fB,P,C)组成,其中,fA和fB是2个基于卷积神经网络的特征提取函数,分别对应CNN网络A和CNN网络B,P是一个池化函数,C则是分类函数;双线性卷积神经网络参数的训练通过分类损失函数r的梯度反向传播来实现;如果CNN网络A和CNN网络B两个网络的输出矩阵A和B,其大小分别为K×M和K×N,则双线性特征为x=φ(H)=ATB,大小为M×N;令dr/dx表示分类损失函数r对x的梯度,由梯度的链式法则,有:
计算得到特征A和B的梯度,则整个网络进行端到端的训练。
所述步骤1)中yolov2目标检测算法首先把输入图像划分成S×S的栅格,经过yolov2检测,对每个格子都预测Q个边界框,其中每个边界框都包含5个预测值:中心点横坐标tx、纵坐标ty,边界框的宽tw,高th,及置信值to,利用先验框来预测边界框,其采用k-means的方式对训练集图片中的真实标注框做聚类,可以找到合适的先验框;
在实现k-means聚类时,通过IOU定义,使得误差和真实标注框box的大小无关,最终距离测度函数公式为:
d(box,centrd)=1-IoU(box,centrd)
其中:centrd表示聚类中心;box表示真实标注框;IoU(box,centrd)表示聚类中心框和标注框的交并比;
表示预测的边界框的准确度,公式表示为:
其中:bgr表示真实标注框的面积,bpr表示预测边界框的面积;
通过对预测的边界框进行限制,相应的预测为:
bx=σ(tx)+cx
by=σ(ty)+cy
C=σ(to)
σ为logistic激活函数,tx、ty经过logistic激活函数后范围在0到1之间,cx和cy表示网格相对于图像左上角横纵坐标的偏移量,pw和ph表示先验框的宽和高;σ(to)为置信值;最终采用以下的损失函数完成对模型的训练:
其中,s2表示将图像划分的栅格数,Q表示每个栅格预测的边界框个数,表示第i个栅格预测的第j个边界框的横坐标,bxij为相应的人工标注的横坐标;表示第i个栅格预测的第j个边界框的纵坐标,byij为相应的人工标注的纵坐标;表示第i个栅格预测的第j个边界框的宽,bwij为相应的人工标注框的宽;表示第i个栅格预测的第j个边界框的高,bhij为相应的人工标注框的高。表示第i栅格预测的第j个边界框中物体的置信值,Cij表示相应的真实物体的置信值;表示预测的栅格中包含物体且物体是某一类别的概率,pi(c)表示栅格真实条件类别概率;表示第i个栅格存在目标,且该栅格预测的第j个边界框负责预测该目标;表示第i个栅格预测的第j个边界框中不存在物体;表示物体是否出现在第i个栅格里,classes为yolov2模型的类别数;λcoord,λnoobj分别表示位置预测和物体预测正则化惩罚系数。
所述步骤2)中双线性卷积神经网络运行步骤:
特征提取函数fA和fB的输入为接收一个位置l∈L的图像块h,h∈H,其中,H表示整张输入图像,L为输入图像的位置区域表示,h表示输入图像上的一个图像块,l表示图像块的位置区域;特征提取函数输出K×D大小的特征图,通过矩阵外积将每一个位置点的特征输出汇聚,也就是在l区域fA和fB的双线性特征的融合,公式如下:
bilinear(l,h,fA,fB)=fA(l,h)TfB(l,h)l∈L,h∈H
其中fA和fB必须具有相同的特征维度K,K的值取决于具体的网络;
池化函数P将所有位置的双线性特征汇聚以获得图像的全局特征φ(I),表示如下:
在池化过程中,由于特征的位置信息被忽略,因此双线性特征φ(I)是一个无序的特征表示;如果fA和fB提取的特征维度分别为K×M和K×N,则φ(I)的大小为M×N的矩阵;
令x表示φ(H),并对其进行带符号的开平方根及l2归一化处理,公式如下:
z=y/||y||2
经上述处理后,再将其转化为一个MN×1的列向量,作为最终的双线性特征向量,最后,通过softmax网络层进行分类。
本发明的有益效果在于:本发明基于检测和识别网络架构的细粒度图像分类方法,通过yolov2目标检测算法,能够滤除大部分对细粒度图像分类没有贡献的区域,使得双线性卷积神经网络能够提取到更多对分类有用的细粒度特征。不同于目前绝大多数细粒度图像分类算法,双线性卷积神经网络是一个整体的***,能够完成端到端的训练,且在训练过程中只依赖于类别标注信息,而无需借助其他的人工标注信息,这不仅大大增强了算法的实用性,而且提高了模型的识别率。
附图说明
图1为本发明***框架图;
图2为本发明双线性卷积神经网络梯度流图。
具体实施方式
基于检测(yolov2目标检测算法)和识别(双线性cnn图像分类算法)架构的细粒度图像分类方法,框架如图1所示,前部分为yolov2检测,后部分为双线性卷积神经网络。
本发明的实施案例步骤如下:
第一步,采用yolov2目标检测算法预训练的模型对标准细粒度图像数据集进行处理,得到数据集中每一张图片中的判别性区域,得到了处理后的目标图像数据集:
yolov2目标检测算法是对yolov1算法的进一步改进。yolov2算法首先把输入图像划分成S×S的栅格,经过yolov2检测栅格网络,对每个格子都预测Q个边界框,其中每个边界框都包含5个预测值:中心点横坐标tx、纵坐标ty,边界框的宽tw,高th,及置信值to。由于模型在训练过程中会不断地学习调整预测的边界框的宽高维度,但是,如果一开始就选择有代表性的先验框维度,则模型对边界框的预测就更加准确。因此,yolov2算法利用先验框来预测边界框,其采用k-means的方式对训练集图片中的真实标注框做聚类,可以找到合适的先验框。在实现k-means聚类时,如果选择欧氏距离作为测度函数,尺寸较大的边界框会产生比较小的边界框更多的错误,通过IOU定义,使得误差和box的大小无关,最终距离测度函数公式为:
d(box,centrd)=1-IoU(box,centrd)
其中:centrd表示聚类中心,box表示真实的标注框(这个标注框是制作数据集是人工标定的)。IoU(box,centrd)表示聚类中心框和标注框的交并比。
表示预测的边界框的准确度,公式表示为:
其中:bgr表示真实标注框的面积,bpr表示预测边界框的面积。最后得到的先验框的形状大多为细高型,短宽的居少。为平衡模型复杂度和召回率,选择先验框的个数为5。yolov1算法直接用全连接层对边界框进行预测。而yolov2算法借鉴faster-rcnn算法使用先验框对检测网络的最后的输出特征图上直接预测,而先验框的引入会导致模型在训练过程中不稳定,尤其在早期迭代过程中。因此通过对预测的边界框进行限制,可以使模型参数更容易学习,模型会更加稳定,因此相应的预测为:
bx=σ(tx)+cx
by=σ(ty)+cy
C=σ(to)
σ为logistic激活函数,tx、ty经过logistic激活函数后范围在0到1之间,cx和cy这表示网格相对于图像左上角横纵坐标的偏移量,pw和ph表示先验框的宽和高。σ(to)为置信值。最终采用以下的损失函数完成对模型的训练:
其中,s2表示将图像划分的栅格数,Q表示每个栅格预测的边界框个数,表示第i个栅格预测的第j个边界框的横坐标,bxij为相应的人工标注的横坐标;表示第i个栅格预测的第j个边界框的纵坐标,byij为相应的人工标注的纵坐标;表示第i个栅格预测的第j个边界框的宽,bwij为相应的人工标注框的宽;表示第i个栅格预测的第j个边界框的高,bhij为相应的人工标注框的高。表示第i栅格预测的第j个边界框中物体的置信值,Cij表示相应的真实物体的置信值;表示预测的栅格中包含物体且物体是某一类别的概率,pi(c)表示栅格真实条件类别概率;表示第i个栅格存在目标,且该栅格预测的第j个边界框负责预测该目标,表示第i个栅格预测的第j个边界框中不存在物体;表示物体是否出现在第i个栅格里,classes为yolov2模型的类别数;λcoord,λnoobj分别表示位置预测和物体预测正则化惩罚系数。
第二步,将yolov2目标检测算法得到的检测结果(目标图像)输入双线性卷积神经网络进行训练与分类:
双线性卷积神经网络如图1右框所示:双线性卷积神经网络结构由一个四元组β=(fA,fB,P,C)组成。其中,fA和fB是2个基于卷积神经网络的特征提取函数,分别对应于图1中的CNN网络A和CNN网络B,P是一个池化函数,C则是分类函数。特征提取函数fA和fB可以看成它们接收一个位置l∈L的图像块h,h∈H,其中,H表示整张输入图像,L为输入图像的位置区域表示,h表示输入图像上的一个图像块,l表示图像块的位置区域。特征提取函数输出K×D大小的特征图,通过矩阵外积将每一个位置点的特征输出汇聚,也就是在l区域fA和fB的双线性特征的融合,公式如下:
bilinear(l,h,fA,fB)=fA(l,h)TfB(l,h)l∈L,h∈H
其中fA和fB必须具有相同的特征维度K,K的值取决于具体的网络。池化函数P的作用则是将所有位置的双线性特征汇聚以获得图像的全局特征φ(I),表示如下:
在池化过程中,由于特征的位置信息被忽略,因此双线性特征φ(I)是一个无序的特征表示。如果fA和fB提取的特征维度分别为K×M和K×N,则φ(I)的大小为M×N的矩阵,令x表示φ(H),并对其进行带符号的开平方根及l2归一化处理,公式如下:
z=y/||y||2
经上述处理后,再将其转化为一个MN×1的列向量,作为最终的双线性特征向量。最后,通过softmax网络层进行分类。
双线性卷积神经网络结构是一个有向无环图。其参数的训练可通过分类损失函数r的梯度反向传播来实现,如交叉熵。双线性形式简化了梯度运算。如果两个网络的输出矩阵A和B,其大小分别为K×M和K×N,则双线性特征为x=φ(H)=ATB,大小为M×N。令dr/dx表示分类损失函数r对x的梯度,由梯度的链式法则,有:
计算得到特征A和B的梯度,则整个网络可以进行端到端的训练,梯度更新如图2。其他部分的训练和常规的CNNs网络相同。
Claims (3)
1.一种基于检测和识别网络架构的细粒度图像分类方法,其特征在于,具体包括如下步骤:
1)采用yolov2目标检测算法预训练的模型对标准细粒度图像数据集进行处理,得到数据集中每一张图片中的判别性区域,得到了处理后的目标图像数据集;
2)将处理后的目标图像数据集输入双线性卷积神经网络进行训练与分类,得到细粒度图像分类结果;
双线性卷积神经网络结构由一个四元组β=(fA,fB,P,C)组成,其中,fA和fB是2个基于卷积神经网络的特征提取函数,分别对应CNN网络A和CNN网络B,P是一个池化函数,C则是分类函数;双线性卷积神经网络参数的训练通过分类损失函数r的梯度反向传播来实现;如果CNN网络A和CNN网络B两个网络的输出矩阵A和B,其大小分别为K×M和K×N,则双线性特征为x=φ(H)=ATB,大小为M×N;令dr/dx表示分类损失函数r对x的梯度,由梯度的链式法则,有:
计算得到特征A和B的梯度,则整个网络进行端到端的训练。
2.根据权利要求1所述基于检测和识别网络架构的细粒度图像分类方法,其特征在于,所述步骤1)中yolov2目标检测算法首先把输入图像划分成S×S的栅格,经过yolov2检测,对每个格子都预测Q个边界框,其中每个边界框都包含5个预测值:中心点横坐标tx、纵坐标ty,边界框的宽tw,高th,及置信值to,利用先验框来预测边界框,其采用k-means的方式对训练集图片中的真实标注框做聚类,可以找到合适的先验框;
在实现k-means聚类时,通过IOU定义,使得误差和真实标注框box的大小无关,最终距离测度函数公式为:
d(box,centrd)=1-IoU(box,centrd)
其中:centrd表示聚类中心;box表示真实标注框;IoU(box,centrd)表示聚类中心框和标注框的交并比;
表示预测的边界框的准确度,公式表示为:
其中:bgr表示真实标注框的面积,bpr表示预测边界框的面积;
通过对预测的边界框进行限制,相应的预测为:
bx=σ(tx)+cx
by=σ(ty)+cy
C=σ(to)
σ为logistic激活函数,tx、ty经过logistic激活函数后范围在0到1之间,cx和cy表示网格相对于图像左上角横纵坐标的偏移量,pw和ph表示先验框的宽和高;σ(to)为置信值;最终采用以下的损失函数完成对模型的训练:
其中,s2表示将图像划分的栅格数,Q表示每个栅格预测的边界框个数,表示第i个栅格预测的第j个边界框的横坐标,bxij为相应的人工标注的横坐标;表示第i个栅格预测的第j个边界框的纵坐标,byij为相应的人工标注的纵坐标;表示第i个栅格预测的第j个边界框的宽,bwij为相应的人工标注框的宽;表示第i个栅格预测的第j个边界框的高,bhij为相应的人工标注框的高。表示第i栅格预测的第j个边界框中物体的置信值,Cij表示相应的真实物体的置信值;表示预测的栅格中包含物体且物体是某一类别的概率,pi(c)表示栅格真实条件类别概率;表示第i个栅格存在目标,且该栅格预测的第j个边界框负责预测该目标;表示第i个栅格预测的第j个边界框中不存在物体;表示物体是否出现在第i个栅格里,classes为yolov2模型的类别数;λcoord,λnoobj分别表示位置预测和物体预测正则化惩罚系数。
3.根据权利要求1所述基于检测和识别网络架构的细粒度图像分类方法,其特征在于,所述步骤2)中双线性卷积神经网络运行步骤:
特征提取函数fA和fB的输入为接收一个位置l∈L的图像块h,h∈H,其中,H表示整张输入图像,L为输入图像的位置区域表示,h表示输入图像上的一个图像块,l表示图像块的位置区域;特征提取函数输出K×D大小的特征图,通过矩阵外积将每一个位置点的特征输出汇聚,也就是在l区域fA和fB的双线性特征的融合,公式如下:
bilinear(l,h,fA,fB)=fA(l,h)TfB(l,h)l∈L,h∈H
其中fA和fB必须具有相同的特征维度K,K的值取决于具体的网络;
池化函数P将所有位置的双线性特征汇聚以获得图像的全局特征φ(I),表示如下:
在池化过程中,由于特征的位置信息被忽略,因此双线性特征φ(I)是一个无序的特征表示;如果fA和fB提取的特征维度分别为K×M和K×N,则φ(I)的大小为M×N的矩阵;
令x表示φ(H),并对其进行带符号的开平方根及l2归一化处理,公式如下:
z=y/||y||2
经上述处理后,再将其转化为一个MN×1的列向量,作为最终的双线性特征向量,最后,通过softmax网络层进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810674058.2A CN109086792A (zh) | 2018-06-26 | 2018-06-26 | 基于检测和识别网络架构的细粒度图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810674058.2A CN109086792A (zh) | 2018-06-26 | 2018-06-26 | 基于检测和识别网络架构的细粒度图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109086792A true CN109086792A (zh) | 2018-12-25 |
Family
ID=64839824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810674058.2A Pending CN109086792A (zh) | 2018-06-26 | 2018-06-26 | 基于检测和识别网络架构的细粒度图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109086792A (zh) |
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948628A (zh) * | 2019-03-15 | 2019-06-28 | 中山大学 | 一种基于判别性区域挖掘的目标检测方法 |
CN110011727A (zh) * | 2019-04-09 | 2019-07-12 | 浩鲸云计算科技股份有限公司 | 一种面向odf设备端口的检测*** |
CN110008867A (zh) * | 2019-03-25 | 2019-07-12 | 五邑大学 | 一种基于人物异常行为的预警方法、装置及存储介质 |
CN110097090A (zh) * | 2019-04-10 | 2019-08-06 | 东南大学 | 一种基于多尺度特征融合的图像细粒度识别方法 |
CN110147834A (zh) * | 2019-05-10 | 2019-08-20 | 上海理工大学 | 基于稀疏化双线性卷积神经网络的细粒度图像分类方法 |
CN110197202A (zh) * | 2019-04-30 | 2019-09-03 | 杰创智能科技股份有限公司 | 一种局部特征细粒度目标检测算法 |
CN110222641A (zh) * | 2019-06-06 | 2019-09-10 | 北京百度网讯科技有限公司 | 用于识别图像的方法和装置 |
CN110298265A (zh) * | 2019-06-10 | 2019-10-01 | 东南大学 | 一种基于yolo神经网络的电梯中特定目标检测方法 |
CN110309858A (zh) * | 2019-06-05 | 2019-10-08 | 大连理工大学 | 基于判别学习的细粒度图像分类算法 |
CN110390350A (zh) * | 2019-06-24 | 2019-10-29 | 西北大学 | 一种基于双线性结构的层级分类方法 |
CN110516700A (zh) * | 2019-07-18 | 2019-11-29 | 西安电子科技大学 | 基于度量学习的细粒度图像分类方法 |
CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
CN110674874A (zh) * | 2019-09-24 | 2020-01-10 | 武汉理工大学 | 基于目标精细组件检测的细粒度图像识别方法 |
CN110751212A (zh) * | 2019-10-21 | 2020-02-04 | 南京大学 | 一种移动设备上高效的细粒度图像识别方法 |
CN110751195A (zh) * | 2019-10-12 | 2020-02-04 | 西南交通大学 | 一种基于改进YOLOv3的细粒度图像分类方法 |
CN110866472A (zh) * | 2019-11-04 | 2020-03-06 | 西北工业大学 | 一种无人机地面运动目标识别与图像增强***及方法 |
CN111079851A (zh) * | 2019-12-27 | 2020-04-28 | 常熟理工学院 | 基于强化学习和双线性卷积网络的车型识别方法 |
CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
CN111191587A (zh) * | 2019-12-30 | 2020-05-22 | 兰州交通大学 | 一种行人重识别方法及*** |
CN111222530A (zh) * | 2019-10-14 | 2020-06-02 | 广州极汇信息科技有限公司 | 一种细粒度图像分类方法、***、装置和存储介质 |
CN111291767A (zh) * | 2020-02-12 | 2020-06-16 | 中山大学 | 一种细粒度识别方法、终端设备及计算机可读存储介质 |
CN111401122A (zh) * | 2019-12-27 | 2020-07-10 | 航天信息股份有限公司 | 一种基于知识分类的复杂目标渐近识别方法及装置 |
CN111428730A (zh) * | 2019-01-09 | 2020-07-17 | 中国科学技术大学 | 弱监督细粒度物体分类方法 |
CN111680575A (zh) * | 2020-05-19 | 2020-09-18 | 苏州大学 | 一种人类上皮细胞染色分类装置、设备及存储介质 |
CN111860499A (zh) * | 2020-07-01 | 2020-10-30 | 电子科技大学 | 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法 |
CN111860068A (zh) * | 2019-04-30 | 2020-10-30 | 四川大学 | 一种基于跨层精简双线性网络的细粒度鸟类识别方法 |
CN111950329A (zh) * | 2019-05-16 | 2020-11-17 | 长沙智能驾驶研究院有限公司 | 目标检测及模型训练方法、装置、计算机设备和存储介质 |
CN112070059A (zh) * | 2020-09-18 | 2020-12-11 | 厦门汉舒捷医疗科技有限公司 | 一种血液细胞及骨髓细胞图像人工智能分类识别方法 |
CN112101437A (zh) * | 2020-09-07 | 2020-12-18 | 平安科技(深圳)有限公司 | 基于图像检测的细粒度分类模型处理方法、及其相关设备 |
CN112329768A (zh) * | 2020-10-23 | 2021-02-05 | 上善智城(苏州)信息科技有限公司 | 一种基于改进的yolo的加油站卸油停车牌标志的识别方法 |
CN112418261A (zh) * | 2020-09-17 | 2021-02-26 | 电子科技大学 | 一种基于先验原型注意力机制的人体图像多属性分类方法 |
CN112699925A (zh) * | 2020-12-23 | 2021-04-23 | 国网安徽省电力有限公司检修分公司 | 一种变电站表计图像分类方法 |
CN112800934A (zh) * | 2021-01-25 | 2021-05-14 | 西北大学 | 一种多类别工程车的行为识别方法及装置 |
CN112861970A (zh) * | 2021-02-09 | 2021-05-28 | 哈尔滨工程大学 | 一种基于特征融合的细粒度图像分类方法 |
CN112966608A (zh) * | 2021-03-05 | 2021-06-15 | 哈尔滨工业大学 | 一种基于边端协同的目标检测方法、***及存储介质 |
CN113052140A (zh) * | 2021-04-25 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 一种基于视频的变电站人员车辆违规检测方法及*** |
CN113128593A (zh) * | 2021-04-20 | 2021-07-16 | 南京林业大学 | 一种基于双线性卷积神经网络的植物细粒度识别方法 |
CN113191386A (zh) * | 2021-03-26 | 2021-07-30 | 中国矿业大学 | 基于网格重构学习的染色体分类模型 |
CN113850136A (zh) * | 2021-08-24 | 2021-12-28 | 中国船舶重工集团公司第七0九研究所 | 基于yolov5与BCNN的车辆朝向识别方法及*** |
CN114067316A (zh) * | 2021-11-23 | 2022-02-18 | 燕山大学 | 一种基于细粒度图像分类的快速识别方法 |
CN114241249A (zh) * | 2022-02-24 | 2022-03-25 | 北京猫猫狗狗科技有限公司 | 基于目标检测算法与卷积神经网络的图像分类方法和*** |
CN114565802A (zh) * | 2021-12-15 | 2022-05-31 | 北京信息科技大学 | 一种风力发电机提取方法 |
CN114862751A (zh) * | 2022-01-21 | 2022-08-05 | 西北工业大学 | 一种用于快速识别全息图像中铝燃烧颗粒的目标检测方法 |
CN115082801A (zh) * | 2022-07-27 | 2022-09-20 | 北京道达天际科技股份有限公司 | 一种基于遥感图像的飞机型号识别***和方法 |
CN117274862A (zh) * | 2023-09-20 | 2023-12-22 | 华设设计集团北京民航设计研究院有限公司 | 基于卷积神经网络的机场地勤车辆状态检测方法和*** |
CN118038498A (zh) * | 2024-04-10 | 2024-05-14 | 四川农业大学 | 一种基于细粒度的蜂猴身份识别方法 |
CN118038498B (zh) * | 2024-04-10 | 2024-06-28 | 四川农业大学 | 一种基于细粒度的蜂猴身份识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104573744A (zh) * | 2015-01-19 | 2015-04-29 | 上海交通大学 | 精细粒度类别识别及物体的部分定位和特征提取方法 |
WO2016077027A1 (en) * | 2014-11-13 | 2016-05-19 | Nec Laboratories America, Inc. | Hyper-class augmented and regularized deep learning for fine-grained image classification |
WO2016168235A1 (en) * | 2015-04-17 | 2016-10-20 | Nec Laboratories America, Inc. | Fine-grained image classification by exploring bipartite-graph labels |
CN107592839A (zh) * | 2015-01-19 | 2018-01-16 | 电子湾有限公司 | 细粒度分类 |
-
2018
- 2018-06-26 CN CN201810674058.2A patent/CN109086792A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016077027A1 (en) * | 2014-11-13 | 2016-05-19 | Nec Laboratories America, Inc. | Hyper-class augmented and regularized deep learning for fine-grained image classification |
CN104573744A (zh) * | 2015-01-19 | 2015-04-29 | 上海交通大学 | 精细粒度类别识别及物体的部分定位和特征提取方法 |
CN107592839A (zh) * | 2015-01-19 | 2018-01-16 | 电子湾有限公司 | 细粒度分类 |
WO2016168235A1 (en) * | 2015-04-17 | 2016-10-20 | Nec Laboratories America, Inc. | Fine-grained image classification by exploring bipartite-graph labels |
Non-Patent Citations (2)
Title |
---|
TSUNG-YU LIN,ET AL: "Bilinear CNN Models for Fine-grained Visual Recognition", 《ARXIV:1504.07889V4》 * |
刘金羊: "基于上下文的目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428730B (zh) * | 2019-01-09 | 2022-07-08 | 中国科学技术大学 | 弱监督细粒度物体分类方法 |
CN111428730A (zh) * | 2019-01-09 | 2020-07-17 | 中国科学技术大学 | 弱监督细粒度物体分类方法 |
CN109948628A (zh) * | 2019-03-15 | 2019-06-28 | 中山大学 | 一种基于判别性区域挖掘的目标检测方法 |
CN109948628B (zh) * | 2019-03-15 | 2023-01-03 | 中山大学 | 一种基于判别性区域挖掘的目标检测方法 |
CN110008867A (zh) * | 2019-03-25 | 2019-07-12 | 五邑大学 | 一种基于人物异常行为的预警方法、装置及存储介质 |
CN110011727A (zh) * | 2019-04-09 | 2019-07-12 | 浩鲸云计算科技股份有限公司 | 一种面向odf设备端口的检测*** |
CN110097090A (zh) * | 2019-04-10 | 2019-08-06 | 东南大学 | 一种基于多尺度特征融合的图像细粒度识别方法 |
CN110197202A (zh) * | 2019-04-30 | 2019-09-03 | 杰创智能科技股份有限公司 | 一种局部特征细粒度目标检测算法 |
CN111860068A (zh) * | 2019-04-30 | 2020-10-30 | 四川大学 | 一种基于跨层精简双线性网络的细粒度鸟类识别方法 |
CN110147834A (zh) * | 2019-05-10 | 2019-08-20 | 上海理工大学 | 基于稀疏化双线性卷积神经网络的细粒度图像分类方法 |
CN111950329A (zh) * | 2019-05-16 | 2020-11-17 | 长沙智能驾驶研究院有限公司 | 目标检测及模型训练方法、装置、计算机设备和存储介质 |
CN110309858A (zh) * | 2019-06-05 | 2019-10-08 | 大连理工大学 | 基于判别学习的细粒度图像分类算法 |
CN110309858B (zh) * | 2019-06-05 | 2022-07-01 | 大连理工大学 | 基于判别学习的细粒度图像分类方法 |
CN110222641B (zh) * | 2019-06-06 | 2022-04-19 | 北京百度网讯科技有限公司 | 用于识别图像的方法和装置 |
CN110222641A (zh) * | 2019-06-06 | 2019-09-10 | 北京百度网讯科技有限公司 | 用于识别图像的方法和装置 |
CN110298265A (zh) * | 2019-06-10 | 2019-10-01 | 东南大学 | 一种基于yolo神经网络的电梯中特定目标检测方法 |
CN110390350A (zh) * | 2019-06-24 | 2019-10-29 | 西北大学 | 一种基于双线性结构的层级分类方法 |
CN110390350B (zh) * | 2019-06-24 | 2021-06-15 | 西北大学 | 一种基于双线性结构的层级分类方法 |
CN110516700A (zh) * | 2019-07-18 | 2019-11-29 | 西安电子科技大学 | 基于度量学习的细粒度图像分类方法 |
CN110516700B (zh) * | 2019-07-18 | 2022-12-06 | 西安电子科技大学 | 基于度量学习的细粒度图像分类方法 |
CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
CN110674874A (zh) * | 2019-09-24 | 2020-01-10 | 武汉理工大学 | 基于目标精细组件检测的细粒度图像识别方法 |
CN110751195B (zh) * | 2019-10-12 | 2023-02-07 | 西南交通大学 | 一种基于改进YOLOv3的细粒度图像分类方法 |
CN110751195A (zh) * | 2019-10-12 | 2020-02-04 | 西南交通大学 | 一种基于改进YOLOv3的细粒度图像分类方法 |
CN111222530A (zh) * | 2019-10-14 | 2020-06-02 | 广州极汇信息科技有限公司 | 一种细粒度图像分类方法、***、装置和存储介质 |
CN110751212A (zh) * | 2019-10-21 | 2020-02-04 | 南京大学 | 一种移动设备上高效的细粒度图像识别方法 |
CN110751212B (zh) * | 2019-10-21 | 2023-08-22 | 南京大学 | 一种移动设备上高效的细粒度图像识别方法 |
CN110866472A (zh) * | 2019-11-04 | 2020-03-06 | 西北工业大学 | 一种无人机地面运动目标识别与图像增强***及方法 |
CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
CN111401122A (zh) * | 2019-12-27 | 2020-07-10 | 航天信息股份有限公司 | 一种基于知识分类的复杂目标渐近识别方法及装置 |
CN111079851A (zh) * | 2019-12-27 | 2020-04-28 | 常熟理工学院 | 基于强化学习和双线性卷积网络的车型识别方法 |
CN111401122B (zh) * | 2019-12-27 | 2023-09-26 | 航天信息股份有限公司 | 一种基于知识分类的复杂目标渐近识别方法及装置 |
CN111079851B (zh) * | 2019-12-27 | 2020-09-18 | 常熟理工学院 | 基于强化学习和双线性卷积网络的车型识别方法 |
CN111191587A (zh) * | 2019-12-30 | 2020-05-22 | 兰州交通大学 | 一种行人重识别方法及*** |
CN111191587B (zh) * | 2019-12-30 | 2021-04-09 | 兰州交通大学 | 一种行人重识别方法及*** |
CN111291767B (zh) * | 2020-02-12 | 2023-04-28 | 中山大学 | 一种细粒度识别方法、终端设备及计算机可读存储介质 |
CN111291767A (zh) * | 2020-02-12 | 2020-06-16 | 中山大学 | 一种细粒度识别方法、终端设备及计算机可读存储介质 |
CN111680575A (zh) * | 2020-05-19 | 2020-09-18 | 苏州大学 | 一种人类上皮细胞染色分类装置、设备及存储介质 |
CN111860499A (zh) * | 2020-07-01 | 2020-10-30 | 电子科技大学 | 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法 |
CN111860499B (zh) * | 2020-07-01 | 2022-07-12 | 电子科技大学 | 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法 |
CN112101437B (zh) * | 2020-09-07 | 2024-05-31 | 平安科技(深圳)有限公司 | 基于图像检测的细粒度分类模型处理方法、及其相关设备 |
CN112101437A (zh) * | 2020-09-07 | 2020-12-18 | 平安科技(深圳)有限公司 | 基于图像检测的细粒度分类模型处理方法、及其相关设备 |
CN112418261A (zh) * | 2020-09-17 | 2021-02-26 | 电子科技大学 | 一种基于先验原型注意力机制的人体图像多属性分类方法 |
CN112418261B (zh) * | 2020-09-17 | 2022-05-03 | 电子科技大学 | 一种基于先验原型注意力机制的人体图像多属性分类方法 |
CN112070059A (zh) * | 2020-09-18 | 2020-12-11 | 厦门汉舒捷医疗科技有限公司 | 一种血液细胞及骨髓细胞图像人工智能分类识别方法 |
CN112329768A (zh) * | 2020-10-23 | 2021-02-05 | 上善智城(苏州)信息科技有限公司 | 一种基于改进的yolo的加油站卸油停车牌标志的识别方法 |
CN112699925A (zh) * | 2020-12-23 | 2021-04-23 | 国网安徽省电力有限公司检修分公司 | 一种变电站表计图像分类方法 |
CN112800934A (zh) * | 2021-01-25 | 2021-05-14 | 西北大学 | 一种多类别工程车的行为识别方法及装置 |
CN112800934B (zh) * | 2021-01-25 | 2023-08-08 | 西北大学 | 一种多类别工程车的行为识别方法及装置 |
CN112861970A (zh) * | 2021-02-09 | 2021-05-28 | 哈尔滨工程大学 | 一种基于特征融合的细粒度图像分类方法 |
CN112861970B (zh) * | 2021-02-09 | 2023-01-03 | 哈尔滨工程大学 | 一种基于特征融合的细粒度图像分类方法 |
CN112966608A (zh) * | 2021-03-05 | 2021-06-15 | 哈尔滨工业大学 | 一种基于边端协同的目标检测方法、***及存储介质 |
CN113191386B (zh) * | 2021-03-26 | 2023-11-03 | 中国矿业大学 | 基于网格重构学习的染色体分类模型 |
CN113191386A (zh) * | 2021-03-26 | 2021-07-30 | 中国矿业大学 | 基于网格重构学习的染色体分类模型 |
CN113128593A (zh) * | 2021-04-20 | 2021-07-16 | 南京林业大学 | 一种基于双线性卷积神经网络的植物细粒度识别方法 |
CN113052140A (zh) * | 2021-04-25 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 一种基于视频的变电站人员车辆违规检测方法及*** |
CN113850136A (zh) * | 2021-08-24 | 2021-12-28 | 中国船舶重工集团公司第七0九研究所 | 基于yolov5与BCNN的车辆朝向识别方法及*** |
CN114067316B (zh) * | 2021-11-23 | 2024-05-03 | 燕山大学 | 一种基于细粒度图像分类的快速识别方法 |
CN114067316A (zh) * | 2021-11-23 | 2022-02-18 | 燕山大学 | 一种基于细粒度图像分类的快速识别方法 |
CN114565802B (zh) * | 2021-12-15 | 2023-04-07 | 北京信息科技大学 | 一种风力发电机提取方法 |
CN114565802A (zh) * | 2021-12-15 | 2022-05-31 | 北京信息科技大学 | 一种风力发电机提取方法 |
CN114862751A (zh) * | 2022-01-21 | 2022-08-05 | 西北工业大学 | 一种用于快速识别全息图像中铝燃烧颗粒的目标检测方法 |
CN114862751B (zh) * | 2022-01-21 | 2024-03-22 | 西北工业大学 | 一种用于快速识别全息图像中铝燃烧颗粒的目标检测方法 |
CN114241249B (zh) * | 2022-02-24 | 2022-05-31 | 北京猫猫狗狗科技有限公司 | 基于目标检测算法与卷积神经网络的图像分类方法和*** |
CN114241249A (zh) * | 2022-02-24 | 2022-03-25 | 北京猫猫狗狗科技有限公司 | 基于目标检测算法与卷积神经网络的图像分类方法和*** |
CN115082801B (zh) * | 2022-07-27 | 2022-10-25 | 北京道达天际科技股份有限公司 | 一种基于遥感图像的飞机型号识别***和方法 |
CN115082801A (zh) * | 2022-07-27 | 2022-09-20 | 北京道达天际科技股份有限公司 | 一种基于遥感图像的飞机型号识别***和方法 |
CN117274862A (zh) * | 2023-09-20 | 2023-12-22 | 华设设计集团北京民航设计研究院有限公司 | 基于卷积神经网络的机场地勤车辆状态检测方法和*** |
CN117274862B (zh) * | 2023-09-20 | 2024-04-30 | 华设设计集团北京民航设计研究院有限公司 | 基于卷积神经网络的机场地勤车辆状态检测方法和*** |
CN118038498A (zh) * | 2024-04-10 | 2024-05-14 | 四川农业大学 | 一种基于细粒度的蜂猴身份识别方法 |
CN118038498B (zh) * | 2024-04-10 | 2024-06-28 | 四川农业大学 | 一种基于细粒度的蜂猴身份识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109086792A (zh) | 基于检测和识别网络架构的细粒度图像分类方法 | |
CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
Jiang et al. | A pedestrian detection method based on genetic algorithm for optimize XGBoost training parameters | |
CN106599797B (zh) | 一种基于局部并行神经网络的红外人脸识别方法 | |
Bouti et al. | A robust system for road sign detection and classification using LeNet architecture based on convolutional neural network | |
CN107247956B (zh) | 一种基于网格判断的快速目标检测方法 | |
CN109583482B (zh) | 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法 | |
CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN108171136A (zh) | 一种多任务卡口车辆以图搜图的***及方法 | |
CN104504366A (zh) | 基于光流特征的笑脸识别***及方法 | |
CN106815604A (zh) | 基于多层信息融合的注视点检测方法 | |
Kuang et al. | Feature selection based on tensor decomposition and object proposal for night-time multiclass vehicle detection | |
CN104484681A (zh) | 基于空间信息和集成学习的高光谱遥感影像分类方法 | |
CN109886161A (zh) | 一种基于可能性聚类和卷积神经网络的道路交通标识识别方法 | |
CN105224945B (zh) | 一种基于联合检测与辨识算法的车标识别方法 | |
WO2022062419A1 (zh) | 基于非督导金字塔相似性学习的目标重识别方法及*** | |
CN109635708A (zh) | 一种基于三数据集交叉迁移学习的无监督行人再识别方法 | |
CN106570490A (zh) | 一种基于快速聚类的行人实时跟踪方法 | |
CN112990282A (zh) | 一种细粒度小样本图像的分类方法及装置 | |
Dang et al. | Open set SAR target recognition using class boundary extracting | |
Kouzani | Road-sign identification using ensemble learning | |
Anwer et al. | Accident vehicle types classification: a comparative study between different deep learning models | |
CN110097067B (zh) | 一种基于层进式特征变换的弱监督细粒度图像分类方法 | |
Jo | A comparative study of classification methods for traffic signs recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181225 |