CN108875827A - 一种细粒度图像分类的方法及*** - Google Patents
一种细粒度图像分类的方法及*** Download PDFInfo
- Publication number
- CN108875827A CN108875827A CN201810621469.5A CN201810621469A CN108875827A CN 108875827 A CN108875827 A CN 108875827A CN 201810621469 A CN201810621469 A CN 201810621469A CN 108875827 A CN108875827 A CN 108875827A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- network
- feature
- ggnn
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013507 mapping Methods 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 239000012141 concentrate Substances 0.000 claims abstract description 8
- 238000003780 insertion Methods 0.000 claims abstract description 8
- 230000037431 insertion Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000012804 iterative process Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种细粒度图像分类的方法及***,所述方法包括如下步骤:步骤S1,对输入图片进行特征提取,获得特征图。步骤S2,统计数据集中类别标签和属性的关联性来构建知识图谱;步骤S3,利用GGNN网络对所构建的知识图谱进行特征表达,迭代地更新知识图谱得到知识图谱的特征表示;步骤S4,将步骤S1提取到的特征图与步骤S3通过GGNN网络得到的高级知识进行融合,通过高级知识和特征图结合来引导网络分类,本发明通过知识引导和嵌入来进行细粒度分类,使网络关注到图片中更具有判别性的区域,学习到更强的分类特征,从而提高网络分类准确率。
Description
技术领域
本发明涉及CNN图像分类、计算机视觉等技术领域,特别是涉及一种基于知识嵌入的特征学习网络来处理细粒度图像分类的细粒度图像分类的方法及***。
背景技术
图像分类这一任务在日常生活中经常发生。其是根据图像的语义信息将不同类别图像区分开来,是计算机视觉中重要的基本问题,也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。
深度学习模型中的卷积神经网络近年来在图像领域取得了非常好的成绩。因为其将图像像素信息直接作为输入,极大程度上保留了输入图像的所有信息,通过卷积的操作来提取特征和进行高层抽象,输出的直接是图像识别的结果。这种基于“输入-输出”的直接端到端的学习方法便于网络进行训练,也提高了分类准确率。
图像分类技术包括通用图像分类和细粒度图像分类等。通用图像分类效果主要是能够识别图像中的主要物体。而细粒度图像分类是子类别图像分类。相对于通用图像分类针对粗粒度的分类,细粒度分类是更加细致的子类划分,难度更大,差异更微小,提取特征要求更细致。
常规的细粒度分类方法仅仅通过卷积神经网络来提取特征,忽略了一些知识的引导,这种方式或者依赖于局部模型,或者需要引入视觉注意力网络来提取细微的差别用于区别不同种类。然而,上述常规的方法存在如下缺点:局部依赖模型需要大量的注释,这种需求使其受限于大型数据集;引入视觉注意力网络如果缺少监督信息则只能粗略的定位需要被区分的位置。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种细粒度图像分类的方法及***,通过知识引导和嵌入来进行细粒度分类,使网络关注到图片中更具有判别性的区域,学习到更强的分类特征,从而提高网络分类准确率。
为达上述及其它目的,本发明提出一种细粒度图像分类的方法,包括如下步骤:
步骤S1,对输入图片进行特征提取,获得特征图。
步骤S2,,统计数据集中类别标签和属性的关联性来构建知识图谱;
步骤S3,利用GGNN网络对所构建的知识图谱进行特征表达,迭代地更新知识图谱得到知识图谱的特征表示;
步骤S4,将步骤S1提取到的特征图与步骤S3通过GGNN网络得到的高级知识进行融合,通过高级知识和特征图结合来引导网络分类。
优选地,于步骤S1中,利用深度卷积神经网络对输入的图片进行特征提取,并将提取的特征再输入到双线性模型中得到特征图谱。
优选地,于步骤S2中,将数据集中同类物体中对应属性的特征值相加,并进行归一化,得到一个C×A维度的矩阵S,根据矩阵S构建邻接矩阵,进而利用所述邻接矩阵构建所述知识图谱。
优选地,所述GGNN网络结构通过迭代更新节点特征来学习任意图结构数据的特征,然后构成一个知识图谱,包括类别标签和属性的节点,以及节点间的相关性。
优选地,步骤S3进一步包括:
步骤S300,对给定图像进行分类;
步骤S301,定义GGNN网络结构,并用分类结果初始化类别节点特征和初始化属性节点特征,再将其输入GGNN网络,并迭代地更新每个节点的信息。
优选地,于步骤S301中,输入的是一个图其中V是表示节点的集合,A是表示节点之间关系的邻接矩阵,对于每个节点v∈V,在迭代次数t都有一个隐藏信息当t=0时,其中xv为初始的特征向量,迭代过程如下:
其中,WZ,Wr,W,Uz,Ur,U,b指可学习的参数,rv t为中间计算结果,Av表示节点v和其相邻节点关系的A的子矩阵,σ和tanh分别为激活函数logistic sigmoid和双曲正切函数,⊙表示向量点乘,
整个过程一共迭代T次,最终得到隐藏信息的集合
优选地,步骤S4进一步包括
步骤S400,将步骤S3利用GGNN网络结构知识表达学习到的特征与步骤S1利用深度卷积神经网络提取的特征进行结合;
步骤S401,定义分类器及分类过程的损失函数;
步骤S402,输入图片训练样本,安装前向算法,后向算法和定义的损失函数进行分类网络的参数学习。
优选地,于步骤S4中,引入了一引导机制将卷积神经网络提取到的特征图与GGNN得到的高级知识进行融合。
优选地,于步骤S4中,引入所述引导机制来助高级知识嵌入特征图的过程如下:
其中表示在(i,j)点的特征向量,fg表示知识图谱特征,是一个引导机制,来引导出特征图中哪些位置更重要,g是一个将和fg相结合的网络,并输出一个c维度的实际值向量,然后得到的f可以一个全连接网络的输入来计算该输入图片的分类值。
为达到上述目的,本发明还提供一种细粒度图像分类***,包括:
特征提取单元,用于对输入图片进行特征提取,获得特征图;
知识图谱构建单元,用于统计数据集中类别标签和属性的关联性来构建知识图谱;
知识表达学习单元,用于利用GGNN网络对所构建的知识图谱进行特征表达,迭代地更新知识图谱得到知识图谱的特征表示;
知识嵌入分类单元,将所述特征提取单元提取到的特征图与所述知识表达学习单元通过GGNN网络得到的高级知识进行融合,通过高级知识和特征图结合来引导网络分类。
与现有技术相比,本发明一种细粒度图像的分类方法及***通过引入了高级知识引导特征学习,并加入了一个引导机制将知识进行嵌入来进行细粒度分类,使网络关注到图片中更具有判别性的区域,学习到更强的分类特征,从而提高网络分类准确率。
附图说明
图1为本发明一种细粒度图像分类的方法的步骤流程图;
图2为本发明具体实施例在Caltech-UCSD鸟类数据集上建立的关于类别-属性关联的知识图谱的一个例子;
图3为本发明一种细粒度图像分类***的***架构图;
图4为本发明具体实施例中细粒度图像分类***的分类过程示意图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种细粒度图像分类的方法的步骤流程图。如图1所示,本发明一种细粒度图像分类的方法,包括如下步骤:
步骤S1,对输入图片进行特征提取,获得特征图。
具体地,利用深度卷积神经网络(在本发明具体实施例中采用VGG16-Net)对输入的图片进行特征提取,得到14*14*512维度的特征图谱。较佳地,由于紧凑双线性模型在细粒度分类上有很好的分类效果,因此将该特征图再输入至一紧凑双线性模型得到14*14*8192维度的特征图谱。
步骤S2,统计数据集中类别标签和属性的关联性来构建大型知识图谱。在本发明具体实施例中,所述数据集采用Caltech-UCSD数据集,其为公开的细粒度图像分类的数据集,本发明中采用图像标注的类别标签和属性来构建知识图谱。图2为本发明具体实施例在Caltech-UCSD鸟类数据集上建立的关于类别-属性关联的知识图谱的一个例子,例如类别belly(腹部),属性red(红色)。
具体地说,对于细粒度分类任务,同一类别中仅有的几个个体拥有特殊的属性是很常见的,就像有的个体有一种属性,而同一物种的另一个体没有这种属性一样。这样看来,类别-属性之间的关系具有不确定性。因此,于步骤S2中,将数据集中同类物体中对应属性的特征值相加,并进行归一化,得到一个C×A维度的矩阵S,其中C表示类别节点,A表示属性节点。由于类别与类别之间没有关联,属性和属性之间也没有关联,所以构成一个邻接矩阵为:
进而,构建好一个知识图谱其中V为表示节点的集合,A为表示节点之间关系的邻接矩阵。
步骤S3,利用门图网络(Gated Graph Neural Network,GGNN)对所构建的知识图谱进行特征表达,迭代地更新知识图谱得到知识图谱的特征表示。在本发明中,该门图网络GGNN的结构是一种递归神经网络,其通过迭代更新节点特征来学习任意图结构数据的特征,然后构成一个知识图谱,包括类别标签和属性的节点,以及节点间的相关性。
在本发明具体实施例中,步骤S3进一步包括:
步骤S300,对给定图像进行分类,在本发明中,利用一个基本的紧致双线性插值池化模型(Compact bilinear pooling)对给定图像进行分类;
步骤S301,定义GGNN网络结构,并用分类结果初始化类别节点特征和初始化属性节点特征,再将其输入GGNN网络,并迭代地更新每个节点的信息。
具体地,在传播过程中,输入的是一个图其中V是表示节点的集合,A是表示节点之间关系的邻接矩阵。对于每个节点v∈V,在迭代次数t都有一个隐藏信息当t=0时,其中xv为初始的特征向量。
整个迭代过程如下:
其中,WZ,Wr,W,Uz,Ur,U,b指可学习的参数,rv t为中间计算结果,Av是表示节点v和其相邻节点关系的A的子矩阵,σ和tanh分别是激活函数logistic sigmoid和双曲正切函数,⊙表示向量点乘,整个过程一共迭代T次,最终得到隐藏信息的集合整个迭代过程可以简化为等式
步骤S4,将步骤S1提取到的特征图与步骤S3通过GGNN得到的高级知识进行融合,通过高级知识和特征图结合来引导网络分类。
具体地,步骤S4进一步包括:
步骤S400,将利用GGNN网络结构知识表达学习到的特征与步骤S1利用深度卷积神经网络提取的特征进行结合;
步骤S401,定义分类器及分类过程的损失函数;
步骤S402,输入图片训练样本,安装前向算法,后向算法和定义的损失函数进行分类网络的参数学习。
在本发明具体实施例中,引入了一个引导机制来帮助高级知识嵌入特征图。将卷积神经网络提取到的特征图与GGNN得到的高级知识进行融合,让高级知识和特征图结合来引导网络分类。过程如下:
其中表示在位置(i,j)点的特征向量,fg表示知识图谱特征,是一个引导机制,来引导出特征图中哪些位置更重要,g是一个将和fg相结合的网络,并输出一个c维度的实际值向量,然后得到的f可以一个全连接网络的输入来计算该输入图片的分类值。
图3为本发明一种细粒度图像分类***的***架构图,图4为本发明具体实施例中该细粒度图像分类***的分类过程示意图。如图3及图4所示,本发明一种细粒度图像分类的***,包括:
特征提取单元301,用于对输入图片进行特征提取,获得特征图。
具体地,特征提取单元301利用深度卷积神经网络(在本发明具体实施例中采用VGG16-Net)对输入的图片进行特征提取,得到14*14*512维度的特征图谱。较佳地,由于紧凑双线性模型在细粒度分类上有很好的分类效果,因此将该特征图再输入至一紧凑双线性模型得到14*14*8192维度的特征图谱。
知识图谱构建单元302,用于统计数据集中类别标签和属性的关联性来构建大型知识图谱。
具体地,对于细粒度分类任务,同一类别中仅有的几个个体拥有特殊的属性是很常见的,就像有的个体有一种属性,而同一物种的另一个体没有这种属性一样。这样看来,类别-属性之间的关系具有不确定性。因此,知识图谱构建单元302将数据集中同类物体中对应属性的特征值相加,并进行归一化,得到一个C×A维度的矩阵S,其中C表示类别节点,A表示属性节点。由于类别与类别之间没有关联,属性和属性之间也没有关联,所以构成一个邻接矩阵为:
进而,构建好一个知识图谱其中V为表示节点的集合,A为表示节点之间关系的邻接矩阵。
知识表达学习单元303,用于利用门图网络(Gated Graph Neural Network,GGNN)对所构建的知识图谱进行特征表达,迭代地更新知识图谱得到知识图谱的特征表示。在本发明中,所采用的门图网络GGNN的结构是一种递归神经网络,其通过迭代更新节点特征来学习任意图结构数据的特征,然后构成一个知识图谱,包括类别标签和属性的节点,以及节点间的相关性。
在本发明具体实施例中,知识表达学习单元303进一步包括:
分类单元,用于对给定图像进行分类,在本发明中,分类单元利用一个基本的紧致双线性插值池化模型(Compact bilinear pooling)对给定图像进行分类;
迭代更新单元,用于定义GGNN网络结构,并用分类结果初始化类别节点特征和初始化属性节点特征,再将其输入GGNN网络,并迭代地更新每个节点的信息。
具体地,在传播过程中,输入的是一个图其中V是表示节点的集合,A是表示节点之间关系的邻接矩阵。对于每个节点v∈V,在迭代次数t都有一个隐藏信息当t=0时,其中xv为初始的特征向量。
整个迭代过程如下:
其中,Av是表示节点v和其相邻节点关系的A的子矩阵,σ和tanh分别是激活函数logistic sigmoid和双曲正切函数,⊙表示向量点乘,整个过程一共迭代T次,最终得到隐藏信息的集合整个迭代过程可以简化为等式
知识嵌入分类单元304,用于将特征提取单元301提取到的特征图与知识表达学习单元303通过GGNN得到的高级知识进行融合,通过高级知识和特征图结合来引导网络分类。
具体地,知识嵌入分类单元304进一步包括:
特征结合单元,用于将利用GGNN网络结构知识表达学习到的特征与利用深度卷积神经网络提取的特征进行结合;
分类定义单元,用于定义分类器及分类过程的损失函数;
训练学习单元,用于输入图片训练样本,安装前向算法,后向算法和定义的损失函数进行分类网络的参数学习。
在本发明具体实施例中,知识嵌入分类单元304引入了一个引导机制来帮助高级知识嵌入特征图,将卷积神经网络提取到的特征图与GGNN得到的高级知识进行融合,让高级知识和特征图结合来引导网络分类。过程如下:
其中表示在(i,j)点的特征向量,是一个引导机制,来引导出特征图中哪些位置更重要,g是一个将和fg相结合的网络,并输出一个c维度的实际值向量,然后得到的f可以一个全连接网络的输入来计算该输入图片的分类值。
综上所述,本发明一种细粒度图像的分类方法及***通过引入了高级知识引导特征学习,并加入了一个引导机制将知识进行嵌入来进行细粒度分类,使网络关注到图片中更具有判别性的区域,学习到更强的分类特征,从而提高网络分类准确率。
与现有技术相比,本发明具有如下优点:
1,嵌入的高级知识增强了特征表示,从而有利于区分从属类别之间的细微差异。
2,通过知识引导的方法,使网络关注到图片中更具有判别性的区域,学习到更强的分类特征,从而提高网络分类准确率。
3,在广泛使用的Caltech-UCSD鸟类数据集上进行的实验表明,本发明这种基于知识嵌入的特征学习框架优于现有的最先进的方法。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。
Claims (10)
1.一种细粒度图像分类的方法,包括如下步骤:
步骤S1,对输入图片进行特征提取,获得特征图。
步骤S2,统计数据集中类别标签和属性的关联性来构建知识图谱;
步骤S3,利用GGNN网络对所构建的知识图谱进行特征表达,迭代地更新知识图谱得到知识图谱的特征表示;
步骤S4,将步骤S1提取到的特征图与步骤S3通过GGNN网络得到的高级知识进行融合,通过高级知识和特征图结合来引导网络分类。
2.如权利要求1所述的一种细粒度图像分类的方法,其特征在于:于步骤S1中,利用深度卷积神经网络对输入的图片进行特征提取,并将提取的特征再输入到双线性模型中得到特征图谱。
3.如权利要求1所述的一种细粒度图像分类的方法,其特征在于:于步骤S2中,将数据集中同类物体中对应属性的特征值相加,并进行归一化,得到一个C×A维度的矩阵S,根据矩阵S构建邻接矩阵,进而利用所述邻接矩阵构建所述知识图谱。
4.如权利要求1所述的一种细粒度图像分类的方法,其特征在于:所述GGNN网络结构通过迭代更新节点特征来学习任意图结构数据的特征,然后构成一个知识图谱,包括类别标签和属性的节点,以及节点间的相关性。
5.如权利要求4所述的一种细粒度图像分类的方法,其特征在于,步骤S3进一步包括:
步骤S300,对给定图像进行分类;
步骤S301,定义GGNN网络结构,并用分类结果初始化类别节点特征和初始化属性节点特征,再将其输入GGNN网络,并迭代地更新每个节点的信息。
6.如权利要求5所述的一种细粒度图像分类的方法,其特征在于,于步骤S301中,输入的是一个图S={V,A},其中V表示节点的集合,A表示节点之间关系的邻接矩阵,对于每个节点v∈V,在迭代次数t都有一个隐藏信息当t=0时,其中xv为初始的特征向量,迭代过程如下:
其中,WZ,Wr,W,Uz,Ur,U,b指可学习的参数,rv t为中间计算结果,Av表示节点v和其相邻节点关系的A的子矩阵,σ和tanh分别为激活函数logistic sigmoid和双曲正切函数,表示向量点乘,
整个过程一共迭代T次,最终得到隐藏信息的集合
7.如权利要求5所述的一种细粒度图像分类的方法,其特征在于,步骤S4进一步包括
步骤S400,将步骤S3利用GGNN网络结构知识表达学习到的特征与步骤S1利用深度卷积神经网络提取的特征进行结合;
步骤S401,定义分类器及分类过程的损失函数;
步骤S402,输入图片训练样本,安装前向算法,后向算法和定义的损失函数进行分类网络的参数学习。
8.如权利要求7所述的一种细粒度图像分类的方法,其特征在于:于步骤S4中,引入了一引导机制将卷积神经网络提取到的特征图与GGNN得到的高级知识进行融合。
9.如权利要求8所述的一种细粒度图像分类的方法,其特征在于:于步骤S4中,引入所述引导机制来助高级知识嵌入特征图的过程如下:
其中表示在(i,j)点的特征向量,fg表示知识图谱特征,为一个引导机制,来引导出特征图中哪些位置更重要,g是一个将和fg相结合的网络,并输出一个c维度的实际值向量,然后得到的f可以一个全连接网络的输入来计算该输入图片的分类值。
10.一种细粒度图像分类***,包括:
特征提取单元,用于对输入图片进行特征提取,获得特征图;
知识图谱构建单元,用于统计数据集中类别标签和属性的关联性来构建知识图谱;
知识表达学习单元,用于利用GGNN网络对所构建的知识图谱进行特征表达,迭代地更新知识图谱得到知识图谱的特征表示;
知识嵌入分类单元,将所述特征提取单元提取到的特征图与所述知识表达学习单元通过GGNN网络得到的高级知识进行融合,通过高级知识和特征图结合来引导网络分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621469.5A CN108875827B (zh) | 2018-06-15 | 2018-06-15 | 一种细粒度图像分类的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810621469.5A CN108875827B (zh) | 2018-06-15 | 2018-06-15 | 一种细粒度图像分类的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108875827A true CN108875827A (zh) | 2018-11-23 |
CN108875827B CN108875827B (zh) | 2022-04-12 |
Family
ID=64339345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810621469.5A Active CN108875827B (zh) | 2018-06-15 | 2018-06-15 | 一种细粒度图像分类的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108875827B (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685115A (zh) * | 2018-11-30 | 2019-04-26 | 西北大学 | 一种双线性特征融合的细粒度概念模型及学习方法 |
CN109740646A (zh) * | 2018-12-19 | 2019-05-10 | 创新奇智(北京)科技有限公司 | 一种图像差异比对方法及其***、电子装置 |
CN109753649A (zh) * | 2018-12-03 | 2019-05-14 | 中国科学院计算技术研究所 | 基于细粒度匹配信号的文本相关性度量方法和*** |
CN109816009A (zh) * | 2019-01-18 | 2019-05-28 | 南京旷云科技有限公司 | 基于图卷积的多标签图像分类方法、装置及设备 |
CN109903238A (zh) * | 2019-01-24 | 2019-06-18 | 华南理工大学 | 一种细粒度图片处理方法、装置和存储介质 |
CN109934261A (zh) * | 2019-01-31 | 2019-06-25 | 中山大学 | 一种知识驱动参数传播模型及其少样本学习方法 |
CN109948628A (zh) * | 2019-03-15 | 2019-06-28 | 中山大学 | 一种基于判别性区域挖掘的目标检测方法 |
CN109948577A (zh) * | 2019-03-27 | 2019-06-28 | 无锡雪浪数制科技有限公司 | 一种布料识别方法、装置及存储介质 |
CN110084296A (zh) * | 2019-04-22 | 2019-08-02 | 中山大学 | 一种基于特定语义的图表示学习框架及其多标签分类方法 |
CN110097067A (zh) * | 2018-12-25 | 2019-08-06 | 西北工业大学 | 一种基于层进式特征变换的弱监督细粒度图像分类方法 |
CN110210016A (zh) * | 2019-04-25 | 2019-09-06 | 中国科学院计算技术研究所 | 基于风格引导的双线性神经网络虚假新闻检测方法及*** |
CN110321942A (zh) * | 2019-06-25 | 2019-10-11 | 华中科技大学 | 一种基于球形特征的细粒度图像分类方法与装置 |
CN110378372A (zh) * | 2019-06-11 | 2019-10-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 图数据识别方法、装置、计算机设备和存储介质 |
CN110390350A (zh) * | 2019-06-24 | 2019-10-29 | 西北大学 | 一种基于双线性结构的层级分类方法 |
CN110414987A (zh) * | 2019-07-18 | 2019-11-05 | 中国工商银行股份有限公司 | 账户集合的识别方法、装置和计算机*** |
CN110457403A (zh) * | 2019-08-12 | 2019-11-15 | 南京星火技术有限公司 | 图网络决策***、方法及知识图谱的构建方法 |
CN110598029A (zh) * | 2019-09-06 | 2019-12-20 | 西安电子科技大学 | 基于注意力转移机制的细粒度图像分类方法 |
CN110737778A (zh) * | 2019-09-04 | 2020-01-31 | 北京邮电大学 | 基于知识图谱和Transformer的专利推荐方法 |
CN110795555A (zh) * | 2019-10-31 | 2020-02-14 | 北京明略软件***有限公司 | 知识图谱数据展示方法及相关装置 |
CN111339217A (zh) * | 2020-02-26 | 2020-06-26 | 慧择保险经纪有限公司 | 一种数据处理方法及装置 |
CN111437607A (zh) * | 2020-03-20 | 2020-07-24 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN111476291A (zh) * | 2020-04-03 | 2020-07-31 | 南京星火技术有限公司 | 数据处理方法,装置及存储介质 |
CN111488400A (zh) * | 2019-04-28 | 2020-08-04 | 北京京东尚科信息技术有限公司 | 数据分类方法、装置和计算机可读存储介质 |
CN111814920A (zh) * | 2020-09-04 | 2020-10-23 | 中国科学院自动化研究所 | 基于图网络的多粒度特征学习的精细分类方法及*** |
CN111814554A (zh) * | 2020-06-09 | 2020-10-23 | 同济大学 | 基于粒度及关联信息的物体类别识别模型构建方法及应用 |
CN111860068A (zh) * | 2019-04-30 | 2020-10-30 | 四川大学 | 一种基于跨层精简双线性网络的细粒度鸟类识别方法 |
CN112100333A (zh) * | 2020-09-17 | 2020-12-18 | 上海银行股份有限公司 | 基于深度学习与知识图谱融合的在线推荐*** |
CN112668633A (zh) * | 2020-12-25 | 2021-04-16 | 浙江大学 | 一种基于细粒度领域自适应的图迁移学习方法 |
WO2021138911A1 (zh) * | 2020-01-10 | 2021-07-15 | 深圳市欢太科技有限公司 | 图像分类方法、装置、存储介质及电子设备 |
CN113128593A (zh) * | 2021-04-20 | 2021-07-16 | 南京林业大学 | 一种基于双线性卷积神经网络的植物细粒度识别方法 |
CN113516022A (zh) * | 2021-04-23 | 2021-10-19 | 黑龙江机智通智能科技有限公司 | 一种宫颈细胞的细粒度分类*** |
CN114240891A (zh) * | 2021-12-17 | 2022-03-25 | 重庆大学 | 融合知识图谱和图卷积神经网络的焊点质量识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336969A (zh) * | 2013-05-31 | 2013-10-02 | 中国科学院自动化研究所 | 一种基于弱监督学习的图像语义解析方法 |
US20160307072A1 (en) * | 2015-04-17 | 2016-10-20 | Nec Laboratories America, Inc. | Fine-grained Image Classification by Exploring Bipartite-Graph Labels |
-
2018
- 2018-06-15 CN CN201810621469.5A patent/CN108875827B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336969A (zh) * | 2013-05-31 | 2013-10-02 | 中国科学院自动化研究所 | 一种基于弱监督学习的图像语义解析方法 |
US20160307072A1 (en) * | 2015-04-17 | 2016-10-20 | Nec Laboratories America, Inc. | Fine-grained Image Classification by Exploring Bipartite-Graph Labels |
Non-Patent Citations (3)
Title |
---|
DAVID ACUNA: ""Efficient Interactive Annotation of Segmentation Datasets with Polygon-RNN++"", 《ARXIV》 * |
TSUNG-YU LIN: ""Bilinear CNN Models for Fine-grained Visual Recognition"", 《ICCV》 * |
YUJIA LI_& RICHARD ZEMEL: ""GATED GRAPH SEQUENCE NEURAL NETWORKS"", 《ARXIV》 * |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685115A (zh) * | 2018-11-30 | 2019-04-26 | 西北大学 | 一种双线性特征融合的细粒度概念模型及学习方法 |
CN109753649A (zh) * | 2018-12-03 | 2019-05-14 | 中国科学院计算技术研究所 | 基于细粒度匹配信号的文本相关性度量方法和*** |
CN109740646A (zh) * | 2018-12-19 | 2019-05-10 | 创新奇智(北京)科技有限公司 | 一种图像差异比对方法及其***、电子装置 |
CN109740646B (zh) * | 2018-12-19 | 2021-01-05 | 创新奇智(北京)科技有限公司 | 一种图像差异比对方法及其***、电子装置 |
CN110097067A (zh) * | 2018-12-25 | 2019-08-06 | 西北工业大学 | 一种基于层进式特征变换的弱监督细粒度图像分类方法 |
CN109816009A (zh) * | 2019-01-18 | 2019-05-28 | 南京旷云科技有限公司 | 基于图卷积的多标签图像分类方法、装置及设备 |
CN109903238A (zh) * | 2019-01-24 | 2019-06-18 | 华南理工大学 | 一种细粒度图片处理方法、装置和存储介质 |
CN109934261A (zh) * | 2019-01-31 | 2019-06-25 | 中山大学 | 一种知识驱动参数传播模型及其少样本学习方法 |
CN109934261B (zh) * | 2019-01-31 | 2023-04-07 | 中山大学 | 一种知识驱动参数传播模型及其少样本学习方法 |
CN109948628B (zh) * | 2019-03-15 | 2023-01-03 | 中山大学 | 一种基于判别性区域挖掘的目标检测方法 |
CN109948628A (zh) * | 2019-03-15 | 2019-06-28 | 中山大学 | 一种基于判别性区域挖掘的目标检测方法 |
CN109948577A (zh) * | 2019-03-27 | 2019-06-28 | 无锡雪浪数制科技有限公司 | 一种布料识别方法、装置及存储介质 |
CN110084296A (zh) * | 2019-04-22 | 2019-08-02 | 中山大学 | 一种基于特定语义的图表示学习框架及其多标签分类方法 |
CN110210016A (zh) * | 2019-04-25 | 2019-09-06 | 中国科学院计算技术研究所 | 基于风格引导的双线性神经网络虚假新闻检测方法及*** |
CN110210016B (zh) * | 2019-04-25 | 2021-06-04 | 中国科学院计算技术研究所 | 基于风格引导的双线性神经网络虚假新闻检测方法及*** |
CN111488400A (zh) * | 2019-04-28 | 2020-08-04 | 北京京东尚科信息技术有限公司 | 数据分类方法、装置和计算机可读存储介质 |
CN111860068A (zh) * | 2019-04-30 | 2020-10-30 | 四川大学 | 一种基于跨层精简双线性网络的细粒度鸟类识别方法 |
CN110378372A (zh) * | 2019-06-11 | 2019-10-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 图数据识别方法、装置、计算机设备和存储介质 |
CN110390350A (zh) * | 2019-06-24 | 2019-10-29 | 西北大学 | 一种基于双线性结构的层级分类方法 |
CN110390350B (zh) * | 2019-06-24 | 2021-06-15 | 西北大学 | 一种基于双线性结构的层级分类方法 |
CN110321942A (zh) * | 2019-06-25 | 2019-10-11 | 华中科技大学 | 一种基于球形特征的细粒度图像分类方法与装置 |
CN110414987A (zh) * | 2019-07-18 | 2019-11-05 | 中国工商银行股份有限公司 | 账户集合的识别方法、装置和计算机*** |
CN110457403B (zh) * | 2019-08-12 | 2022-04-22 | 南京星火技术有限公司 | 图网络决策***、方法及知识图谱的构建方法 |
CN110457403A (zh) * | 2019-08-12 | 2019-11-15 | 南京星火技术有限公司 | 图网络决策***、方法及知识图谱的构建方法 |
CN110737778B (zh) * | 2019-09-04 | 2022-05-31 | 北京邮电大学 | 基于知识图谱和Transformer的专利推荐方法 |
CN110737778A (zh) * | 2019-09-04 | 2020-01-31 | 北京邮电大学 | 基于知识图谱和Transformer的专利推荐方法 |
CN110598029A (zh) * | 2019-09-06 | 2019-12-20 | 西安电子科技大学 | 基于注意力转移机制的细粒度图像分类方法 |
CN110598029B (zh) * | 2019-09-06 | 2022-03-22 | 西安电子科技大学 | 基于注意力转移机制的细粒度图像分类方法 |
CN110795555A (zh) * | 2019-10-31 | 2020-02-14 | 北京明略软件***有限公司 | 知识图谱数据展示方法及相关装置 |
WO2021138911A1 (zh) * | 2020-01-10 | 2021-07-15 | 深圳市欢太科技有限公司 | 图像分类方法、装置、存储介质及电子设备 |
CN111339217A (zh) * | 2020-02-26 | 2020-06-26 | 慧择保险经纪有限公司 | 一种数据处理方法及装置 |
CN111339217B (zh) * | 2020-02-26 | 2023-10-27 | 慧择保险经纪有限公司 | 一种数据处理方法及装置 |
CN111437607B (zh) * | 2020-03-20 | 2023-08-18 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN111437607A (zh) * | 2020-03-20 | 2020-07-24 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN111476291B (zh) * | 2020-04-03 | 2023-07-25 | 南京星火技术有限公司 | 数据处理方法,装置及存储介质 |
CN111476291A (zh) * | 2020-04-03 | 2020-07-31 | 南京星火技术有限公司 | 数据处理方法,装置及存储介质 |
CN111814554A (zh) * | 2020-06-09 | 2020-10-23 | 同济大学 | 基于粒度及关联信息的物体类别识别模型构建方法及应用 |
CN111814554B (zh) * | 2020-06-09 | 2022-06-21 | 同济大学 | 基于粒度及关联信息的物体类别识别模型构建方法及应用 |
CN111814920A (zh) * | 2020-09-04 | 2020-10-23 | 中国科学院自动化研究所 | 基于图网络的多粒度特征学习的精细分类方法及*** |
CN112100333A (zh) * | 2020-09-17 | 2020-12-18 | 上海银行股份有限公司 | 基于深度学习与知识图谱融合的在线推荐*** |
CN112668633B (zh) * | 2020-12-25 | 2022-10-14 | 浙江大学 | 一种基于细粒度领域自适应的图迁移学习方法 |
CN112668633A (zh) * | 2020-12-25 | 2021-04-16 | 浙江大学 | 一种基于细粒度领域自适应的图迁移学习方法 |
CN113128593A (zh) * | 2021-04-20 | 2021-07-16 | 南京林业大学 | 一种基于双线性卷积神经网络的植物细粒度识别方法 |
CN113516022A (zh) * | 2021-04-23 | 2021-10-19 | 黑龙江机智通智能科技有限公司 | 一种宫颈细胞的细粒度分类*** |
CN114240891A (zh) * | 2021-12-17 | 2022-03-25 | 重庆大学 | 融合知识图谱和图卷积神经网络的焊点质量识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108875827B (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875827A (zh) | 一种细粒度图像分类的方法及*** | |
CN110956185B (zh) | 一种图像显著目标的检测方法 | |
CN107918780B (zh) | 一种基于关键点检测的衣服种类和属性分类方法 | |
CN110909820B (zh) | 基于自监督学习的图像分类方法及*** | |
CN110084296A (zh) | 一种基于特定语义的图表示学习框架及其多标签分类方法 | |
CN106682696B (zh) | 基于在线示例分类器精化的多示例检测网络及其训练方法 | |
CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
CN109740154A (zh) | 一种基于多任务学习的在线评论细粒度情感分析方法 | |
CN108416370A (zh) | 基于半监督深度学习的图像分类方法、装置和存储介质 | |
CN108256450A (zh) | 一种基于深度学习的人脸识别和人脸验证的监督学习方法 | |
CN105528575B (zh) | 基于上下文推理的天空检测方法 | |
CN109740686A (zh) | 一种基于区域池化和特征融合的深度学习图像多标记分类方法 | |
CN108898138A (zh) | 基于深度学习的场景文本识别方法 | |
CN103559504A (zh) | 图像目标类别识别方法及装置 | |
CN111476315A (zh) | 一种基于统计相关性与图卷积技术的图像多标签识别方法 | |
CN109033978B (zh) | 一种基于纠错策略的cnn-svm混合模型手势识别方法 | |
CN108427740B (zh) | 一种基于深度度量学习的图像情感分类与检索算法 | |
CN110399895A (zh) | 图像识别的方法和装置 | |
CN110728694A (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN109872331A (zh) | 一种基于深度学习的遥感图像数据自动识别分类方法 | |
CN110110724A (zh) | 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法 | |
CN110298392A (zh) | 一种标签约束自权重多超图学习的半监督分类方法 | |
CN108154156A (zh) | 基于神经主题模型的图像集成分类方法及装置 | |
CN116012353A (zh) | 一种基于图卷积神经网络的数字病理组织图像识别方法 | |
Tan et al. | Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220311 Address after: 511455 No. 106, Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self compiled Building 1) x1301-b013290 Applicant after: Guangzhou wisdom Technology (Guangzhou) Co.,Ltd. Address before: 511400 room 210-5, building 1, Chuangqi, No. 63, Chuangqi Road, Shilou Town, Panyu District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU SHENYU INFORMATION TECHNOLOGY CO.,LTD. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |