CN107451565A - 一种半监督小样本深度学习图像模式分类识别方法 - Google Patents

一种半监督小样本深度学习图像模式分类识别方法 Download PDF

Info

Publication number
CN107451565A
CN107451565A CN201710647312.5A CN201710647312A CN107451565A CN 107451565 A CN107451565 A CN 107451565A CN 201710647312 A CN201710647312 A CN 201710647312A CN 107451565 A CN107451565 A CN 107451565A
Authority
CN
China
Prior art keywords
mrow
msub
msup
feature
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710647312.5A
Other languages
English (en)
Other versions
CN107451565B (zh
Inventor
周喜川
刘念
唐枋
胡盛东
林�智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201710647312.5A priority Critical patent/CN107451565B/zh
Publication of CN107451565A publication Critical patent/CN107451565A/zh
Application granted granted Critical
Publication of CN107451565B publication Critical patent/CN107451565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种半监督小样本深度学习图像模式分类识别方法，属于图像识别领域。该方法包括步骤：S1：对图像样本进行预处理；S2：将预处理得到的数据输入训练好的网络中，网络通过3D卷积层进行特征提取，得到特征图层；S3：每个卷积层后接一个池化层，用于缩小特征图层的大小以减少网络中参数的数目；S4：将经过多层卷积层和池化层提取后的特征与一个全连接层相连，以提取和重新排列需要分类的特征；该层引入局部保邻的正则化操作；S5：输入待测样本，得到分类准确度。本发明利用了大量采集的无标签样本之间的位置相关性，提高了算法在小样本集合下的适用性与准确度。

Description

一种半监督小样本深度学习图像模式分类识别方法
技术领域
本发明属于图像识别领域，涉及一种半监督小样本深度学习图像模式分类识别方法。
背景技术
在标签样本数量足够的情况下，通过建立层次化的模型，深度学习方法可以自适应提取图像的特征，进而显著提高模式分类识别的准确度。深度卷积神经网络(CNN)在部分遥感图像数据集上的准确度达到95％～99％。YushiChen2016年发表在TGRS上的文章提出了一种基于3D卷积神经网络(3DCNN)的特征提取模型，实现了98％以上的分类准确率。但是由于模型参数规模庞大，对用于训练是标签样本数量要求较高。
CNN等监督(需要标签训练样本)的深度学习模型参数规模庞大，需要大量标签样本进行训练以提高分类准确率。但在某些领域，由于样本采集困难、标签分析代价大等原因，基于深度学习的模式分类识别方法面临标签样本缺乏的困难。目前基于深度学习方法的高光谱图像处理普遍使用每类别103～104个标签进行训练才能达到最优性能，这远超过矿物识别等实际应用中能够提供的标签样本规模。
发明内容
有鉴于此，本发明的目的在于提供一种半监督小样本深度学习图像模式分类识别方法，结合无监督(无需标签训练样本)模式识别方法，在3DCNN基础上利用大量得到的无标签样本数据，降低深度学习方法对标签样本的依赖性，提高基于深度学习的模式分类识别准确度。
为达到上述目的，本发明提供如下技术方案：
一种半监督小样本深度学习图像模式分类识别方法，包括以下步骤：
S1：对图像样本进行预处理；
S2：将预处理得到的数据输入训练好的网络中，网络通过3D卷积层进行特征提取，得到特征图层；
S3：每个卷积层后接一个池化层，用于缩小特征图层的大小以减少网络中参数的数目；
S4：将经过多层卷积层和池化层提取后的特征与一个全连接层相连，以提取和重新排列需要分类的特征；该层引入局部保邻的正则化操作，减小了相邻样本的特征差异，从而减小了由缺少标签样本而引起的分类准确度下降；
S5：输入待测样本，得到分类准确度。
进一步，所述S1具体为：选取数量A的目标像素点及对应的标签作为训练样本，将每个目标像素点周围数量A的像素点构成一个邻域矩阵，包括目标像素点在内；将所有目标像素点的标签、邻域矩阵作为3D卷积神经网络(Convolutional Neural Networ,CNN)的输入数据。
进一步，所述S2具体算法为：
其中表示第i层的第j个特征图层上位于(x,y,z)的神经元输出值，m表示i-1层与第j个特征图层所连接的特征图层的索引值，Pi、Qi、Ri分别表示第i层的卷积核的高、宽、深度，为第m个特征图层上与位于(p,q,r)点的值，bij为第j个特征图层的偏置，g()为激活函数。
进一步，所述S3具体算法为：
其中u(n×n×n)表示作用于卷积层输出特征的三维窗口，αi,j,m表示邻域内特征点的最大值。
进一步，所述S4具体算法为：
hf (i)＝sig(Wfvf (i)+bf)
其中sij表示第i个和第j个训练样本之间的距离，g(i)和g(j)分别表示第i个和第j个训练样本的坐标，hf (i)和hf (j)分别表示第i个和第j个训练样本提取的特征；R(Wf)表示正则化项；当训练样本i与j相邻时，sij就会越大，参数Wfvf (i)和Wfvf (j)的差距就会越小，从而使特征hf (i)和hf (j)也相邻。
进一步，所述R(Wf)满足：
其中Vf＝[vf (1),...vf (L),...vf (N)]表示全连接层输入向量的矩阵形式，D是对角矩阵(dii＝∑jsij)，P＝D-S；
对正则化项求导得：
本发明的有益效果在于：本发明在现有的3DCNN算法的基础上提出了一种小标签样本的深度学习模型，利用了大量采集的无标签样本之间的位置相关性，提高了算法在小样本集合下的适用性与准确度。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明框图；
图2为本发明实施示意图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
大量的图像模式识别应用中，临近样本的相关性广泛存在。例如，在场景识别、遥感地物识别与医学图像识别的应用中，临近像素样本的标签往往具有相关性。据此我们提出基于局部保邻卷积神经网络(Locality Preserving Convolutional Neural Network)模式分类识别方法，利用了可大量采集的无标签样本之间的位置相关性，提高了算法在小样本集合下的适用性与准确度。如图1所示，具体步骤如下：
1、数据预处理
选取一定数量的目标像素点及对应的标签作为训练样本。将每个目标像素点周围相同数量的像素点构成一个邻域矩阵(包括目标像素点)。将所有目标像素点的标签、邻域矩阵作为3DCNN的输入数据。
2、特征提取
(1)卷积层(多个)
将得到数据输入训练好的网络中，网络通过3D卷积层进行特征提取，每个层包含不同数量的3D卷积核，对于输入的数据进行特征提取产生不同的特征图层。
具体算法如下：
其中表示第i层的第j个特征图层上位于(x,y,z)的神经元输出值。m表示i-1层与第j个特征图层所连接的特征图层的索引值。Pi和Qi分别表示第i层的卷积核的高和宽Ri表示第i层卷积核的深度。为第m个特征图层上与位于(p,q,r)点的值。bij为第j个特征图层的偏置。g()为激活函数。
(2)池化层(多个)
每个卷积层后接一个池化层，作用是缩小特征图层的大小以减少网络中参数的数目。最常见的池化操作(最大池化操作)的具体算法如下：
其中u(n×n×n)表示作用于卷积层输出特征的三维窗口，αi,j,m表示邻域内特征点的最大值。
(3)带有局部保邻正则化的全连接层
将经过多层卷积层和池化层提取后的特征与一个全连接层相连，以提取和重新排列需要分类的特征。该层引入局部保邻的正则化操作，减小了相邻样本的特征差异，从而减小了由缺少标签样本而引起的分类准确度下降。
具体算法如下：
hf (i)＝sig(Wfvf (i)+bf)
其中sij表示第i个和第j个训练样本之间的距离，g(i)和g(j)分别表示第i个和第j个训练样本的坐标。hf (i)和hf (j)分别表示第i个和第j个训练样本提取的特征。
当训练样本i与j相邻时，sij就会越大，参数Wfvf (i)和Wfvf (j)的差距就会越小，从而使特征hf (i)和hf (j)也相邻。
将上述方程中的正则化项表示成矩阵形式如下：
其中Vf＝[vf (1),...vf (L),...vf (N)]表示全连接层输入向量的矩阵形式，D是对角矩阵(dii＝∑jsij)，P＝D-S。
对正则化项求导得：因此，利用标准梯度下降法可减小正则化项。
3、分类层
输入待测样本，输出宽度为样本标签的种类，得到分类准确度。
如图2所示，假设A1、A2和B1、B2分别与不同的标签相关联，考虑到临近样本的相关性，分类提取的输出特征也保留这样的相关性。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种半监督小样本深度学习图像模式分类识别方法，其特征在于：该方法包括以下步骤：
S1：对图像样本进行预处理；
S2：将预处理得到的数据输入训练好的网络中，网络通过3D卷积层进行特征提取，得到特征图层；
S3：每个卷积层后接一个池化层，用于缩小特征图层的大小以减少网络中参数的数目；
S4：将经过多层卷积层和池化层提取后的特征与一个全连接层相连，以提取和重新排列需要分类的特征；该层引入局部保邻的正则化操作，减小了相邻样本的特征差异，从而减小了由缺少标签样本而引起的分类准确度下降；
S5：输入待测样本，得到分类准确度。
2.如权利要求1所述的一种半监督小样本深度学习图像模式分类识别方法，其特征在于：所述S1具体为：选取数量A的目标像素点及对应的标签作为训练样本，将每个目标像素点周围数量A的像素点构成一个邻域矩阵，包括目标像素点在内；将所有目标像素点的标签、邻域矩阵作为3D卷积神经网络(Convolutional Neural Networ,CNN)的输入数据。
3.如权利要求1所述的一种半监督小样本深度学习图像模式分类识别方法，其特征在于：所述S2具体算法为：
<mrow> <msubsup> <mi>v</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>x</mi> <mi>y</mi> <mi>z</mi> </mrow> </msubsup> <mo>=</mo> <mi>g</mi> <mrow> <mo>(</mo> <munder> <mo>&amp;Sigma;</mo> <mi>m</mi> </munder> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <msub> <mi>Q</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msubsup> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> <mi>m</mi> </mrow> <mrow> <mi>p</mi> <mi>q</mi> <mi>r</mi> </mrow> </msubsup> <msubsup> <mi>v</mi> <mrow> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> <mi>m</mi> </mrow> <mrow> <mrow> <mo>(</mo> <mrow> <mi>x</mi> <mo>+</mo> <mi>p</mi> </mrow> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mrow> <mi>y</mi> <mo>+</mo> <mi>q</mi> </mrow> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mrow> <mi>z</mi> <mo>+</mo> <mi>r</mi> </mrow> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>+</mo> <msub> <mi>b</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
其中表示第i层的第j个特征图层上位于(x,y,z)的神经元输出值，m表示i-1层与第j个特征图层所连接的特征图层的索引值，Pi、Qi、Ri分别表示第i层的卷积核的高、宽、深度，为第m个特征图层上与位于(p,q,r)点的值，bij为第j个特征图层的偏置，g()为激活函数。
4.如权利要求1所述的一种半监督小样本深度学习图像模式分类识别方法，其特征在于：所述S3具体算法为：
<mrow> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <mi>m</mi> </mrow> </msub> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <mi>n</mi> <mo>&amp;times;</mo> <mi>n</mi> <mo>&amp;times;</mo> <mi>n</mi> </mrow> </munder> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>,</mo> <mi>m</mi> </mrow> </msub> <mo>*</mo> <mi>u</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>&amp;times;</mo> <mi>n</mi> <mo>&amp;times;</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>
其中u(n×n×n)表示作用于卷积层输出特征的三维窗口，αi,j,m表示邻域内特征点的最大值。
5.如权利要求1所述的一种半监督小样本深度学习图像模式分类识别方法，其特征在于：所述S4具体算法为：
<mrow> <msub> <mi>s</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msup> <mi>exp</mi> <mrow> <mo>-</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>g</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <mi>g</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>/</mo> <mi>&amp;sigma;</mi> </mrow> </msup> </mrow>
<mrow> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>f</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>W</mi> <mi>f</mi> </msub> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msub> <mi>W</mi> <mi>f</mi> </msub> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msub> <mi>s</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow>
hf (i)＝sig(Wfvf (i)+bf)
其中sij表示第i个和第j个训练样本之间的距离，g(i)和g(j)分别表示第i个和第j个训练样本的坐标，hf (i)和hf (j)分别表示第i个和第j个训练样本提取的特征；R(Wf)表示正则化项；当训练样本i与j相邻时，sij就会越大，参数Wfvf (i)和Wfvf (j)的差距就会越小，从而使特征hf (i)和hf (j)也相邻。
6.如权利要求5所述的一种半监督小样本深度学习图像模式分类识别方法，其特征在于：所述R(Wf)满足：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>W</mi> <mi>f</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </munder> <mi>t</mi> <mi>r</mi> <mrow> <mo>&amp;lsqb;</mo> <mrow> <msup> <msub> <mi>W</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mrow> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msup> </mrow> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <mrow> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </msup> </mrow> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msub> <mi>W</mi> <mi>f</mi> </msub> </mrow> <mo>&amp;rsqb;</mo> </mrow> <msub> <mi>s</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>&amp;lsqb;</mo> <mrow> <msup> <msub> <mi>W</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mrow> <munder> <mi>&amp;Sigma;</mi> <mi>i</mi> </munder> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>d</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> </msub> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <mi>T</mi> </mrow> </msup> </mrow> <mo>)</mo> </mrow> <msub> <mi>W</mi> <mi>f</mi> </msub> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mo>-</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>&amp;lsqb;</mo> <mrow> <msup> <msub> <mi>W</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mrow> <munder> <mi>&amp;Sigma;</mi> <mi>i</mi> </munder> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <msub> <mi>s</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <msup> <msub> <mi>v</mi> <mi>f</mi> </msub> <mrow> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <mi>T</mi> </mrow> </msup> </mrow> <mo>)</mo> </mrow> <msub> <mi>W</mi> <mi>f</mi> </msub> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <mrow> <msup> <msub> <mi>W</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <msub> <mi>V</mi> <mi>f</mi> </msub> <msup> <msub> <mi>DV</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <msub> <mi>W</mi> <mi>f</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <mrow> <msup> <msub> <mi>W</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <msub> <mi>V</mi> <mi>f</mi> </msub> <msup> <msub> <mi>SV</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <msub> <mi>W</mi> <mi>f</mi> </msub> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <mrow> <msup> <msub> <mi>W</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <msub> <mi>V</mi> <mi>f</mi> </msub> <msup> <msub> <mi>PV</mi> <mi>f</mi> </msub> <mi>T</mi> </msup> <msub> <mi>W</mi> <mi>f</mi> </msub> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中Vf＝[vf (1),...vf (L),...vf (N)]表示全连接层输入向量的矩阵形式，D是对角矩阵(dii＝∑jsij)，P＝D-S；
对正则化项求导得：
CN201710647312.5A 2017-08-01 2017-08-01 一种半监督小样本深度学习图像模式分类识别方法 Active CN107451565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710647312.5A CN107451565B (zh) 2017-08-01 2017-08-01 一种半监督小样本深度学习图像模式分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710647312.5A CN107451565B (zh) 2017-08-01 2017-08-01 一种半监督小样本深度学习图像模式分类识别方法

Publications (2)

Publication Number Publication Date
CN107451565A true CN107451565A (zh) 2017-12-08
CN107451565B CN107451565B (zh) 2020-12-11

Family

ID=60490637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710647312.5A Active CN107451565B (zh) 2017-08-01 2017-08-01 一种半监督小样本深度学习图像模式分类识别方法

Country Status (1)

Country Link
CN (1) CN107451565B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009284A (zh) * 2017-12-22 2018-05-08 重庆邮电大学 采用半监督卷积神经网络的法律文本分类方法
CN108171200A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于sar图像统计分布和dbn的sar图像分类方法
CN108537119A (zh) * 2018-03-06 2018-09-14 北京大学 一种小样本视频识别方法
CN109657697A (zh) * 2018-11-16 2019-04-19 中山大学 基于半监督学习和细粒度特征学习的分类优化方法
CN109685135A (zh) * 2018-12-21 2019-04-26 电子科技大学 一种基于改进型度量学习的少样本图像分类方法
CN110245714A (zh) * 2019-06-20 2019-09-17 厦门美图之家科技有限公司 图像识别方法、装置及电子设备
CN111024912A (zh) * 2019-12-27 2020-04-17 重庆国环绿源科技有限公司 船舶废水预处理式检测装置
CN111259366A (zh) * 2020-01-22 2020-06-09 支付宝(杭州)信息技术有限公司 一种基于自监督学习的验证码识别器的训练方法和装置
CN111353583A (zh) * 2020-02-20 2020-06-30 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN111639714A (zh) * 2020-06-01 2020-09-08 贝壳技术有限公司 确定用户的属性的方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346847A (zh) * 2011-09-26 2012-02-08 青岛海信网络科技股份有限公司 一种支持向量机的车牌字符识别方法
CN104809426A (zh) * 2014-01-27 2015-07-29 日本电气株式会社 卷积神经网络的训练方法、目标识别方法及装置
CN106204587A (zh) * 2016-05-27 2016-12-07 孔德兴 基于深度卷积神经网络和区域竞争模型的多器官分割方法
CN106778494A (zh) * 2016-11-21 2017-05-31 河海大学 一种基于sift‑lpp的高光谱遥感影像特征提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346847A (zh) * 2011-09-26 2012-02-08 青岛海信网络科技股份有限公司 一种支持向量机的车牌字符识别方法
CN104809426A (zh) * 2014-01-27 2015-07-29 日本电气株式会社 卷积神经网络的训练方法、目标识别方法及装置
CN106204587A (zh) * 2016-05-27 2016-12-07 孔德兴 基于深度卷积神经网络和区域竞争模型的多器官分割方法
CN106778494A (zh) * 2016-11-21 2017-05-31 河海大学 一种基于sift‑lpp的高光谱遥感影像特征提取方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HEECHUL JUNG等: "Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
LI, SHAN , W. DENG , AND J. P. DU: "Reliable Crowdsourcing and Deep LocalityPreserving Learning for Unconstrained Facial Expression Recognition", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) IEEE》 *
WANJIANG XU;;CAN LUO;;AIMING JI: "Coupled locality preserving projections for cross-view gait recognition", 《NEUROCOMPUTING》 *
XIAOFEI HE，PARTHA NIYOGI: "Locality Preserving Projections", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 16》 *
翟冬灵, 王正群, 徐春林: "基于QR分解的正则化邻域保持嵌入算法", 《计算机应用》 *
袁智等: "一种基于双流卷积神经网络跌倒识别方法", 《河南师范大学学报(自然科学版)》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009284A (zh) * 2017-12-22 2018-05-08 重庆邮电大学 采用半监督卷积神经网络的法律文本分类方法
CN108171200A (zh) * 2018-01-12 2018-06-15 西安电子科技大学 基于sar图像统计分布和dbn的sar图像分类方法
CN108171200B (zh) * 2018-01-12 2022-05-17 西安电子科技大学 基于sar图像统计分布和dbn的sar图像分类方法
CN108537119B (zh) * 2018-03-06 2020-07-10 北京大学 一种小样本视频识别方法
CN108537119A (zh) * 2018-03-06 2018-09-14 北京大学 一种小样本视频识别方法
CN109657697A (zh) * 2018-11-16 2019-04-19 中山大学 基于半监督学习和细粒度特征学习的分类优化方法
CN109657697B (zh) * 2018-11-16 2023-01-06 中山大学 基于半监督学习和细粒度特征学习的分类优化方法
CN109685135B (zh) * 2018-12-21 2022-03-25 电子科技大学 一种基于改进型度量学习的少样本图像分类方法
CN109685135A (zh) * 2018-12-21 2019-04-26 电子科技大学 一种基于改进型度量学习的少样本图像分类方法
CN110245714A (zh) * 2019-06-20 2019-09-17 厦门美图之家科技有限公司 图像识别方法、装置及电子设备
CN111024912A (zh) * 2019-12-27 2020-04-17 重庆国环绿源科技有限公司 船舶废水预处理式检测装置
CN111259366A (zh) * 2020-01-22 2020-06-09 支付宝(杭州)信息技术有限公司 一种基于自监督学习的验证码识别器的训练方法和装置
CN111353583A (zh) * 2020-02-20 2020-06-30 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN111353583B (zh) * 2020-02-20 2023-04-07 南京工程学院 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN111639714A (zh) * 2020-06-01 2020-09-08 贝壳技术有限公司 确定用户的属性的方法、装置和设备
CN111639714B (zh) * 2020-06-01 2021-07-23 贝壳找房(北京)科技有限公司 确定用户的属性的方法、装置和设备

Also Published As

Publication number Publication date
CN107451565B (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN107451565A (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN107292298B (zh) 基于卷积神经网络和分类器模型的牛脸识别方法
CN104217214B (zh) 基于可配置卷积神经网络的rgb‑d人物行为识别方法
CN113239784B (zh) 一种基于空间序列特征学习的行人重识别***及方法
CN106023065A (zh) 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法
CN106991382A (zh) 一种遥感场景分类方法
CN106503687A (zh) 融合人脸多角度特征的监控视频人物身份识别***及其方法
CN104866810A (zh) 一种深度卷积神经网络的人脸识别方法
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN105574534A (zh) 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN106023145A (zh) 基于超像素标注的遥感图像的分割与识别方法
CN107463919A (zh) 一种基于深度3d卷积神经网络进行面部表情识别的方法
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN113487576B (zh) 一种基于通道注意力机制的虫害图像检测方法
CN104462494A (zh) 一种基于无监督特征学习的遥感图像检索方法及***
CN107545571A (zh) 一种图像检测方法及装置
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
Su et al. LodgeNet: Improved rice lodging recognition using semantic segmentation of UAV high-resolution remote sensing images
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
Torres-Sospedra et al. Two-stage procedure based on smoothed ensembles of neural networks applied to weed detection in orange groves
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
Xie et al. LSENet: location and seasonality enhanced network for multiclass ocean front detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant