CN105469111B - 基于改进的mfa和迁移学习的小样本集的物体分类方法 - Google Patents
基于改进的mfa和迁移学习的小样本集的物体分类方法 Download PDFInfo
- Publication number
- CN105469111B CN105469111B CN201510801292.3A CN201510801292A CN105469111B CN 105469111 B CN105469111 B CN 105469111B CN 201510801292 A CN201510801292 A CN 201510801292A CN 105469111 B CN105469111 B CN 105469111B
- Authority
- CN
- China
- Prior art keywords
- source domain
- sample
- aiming field
- class
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013526 transfer learning Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims description 24
- 239000003550 marker Substances 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000007704 transition Effects 0.000 abstract 2
- 238000000926 separation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于改进的MFA(Marginal Fisher Analysis)和迁移学习的小样本集(目标域)分类算法。首先，利用一个具有大量标记样本的同构数据集(源域)和内积度量距离的边际Fisher准则将源域和目标域样本的特征映射到低维空间；之后，剔除源域边界奇异点，选择源域密集区域样本点并与目标域中少量的标记样本点组成迁移学习训练样本对；然后在核化空间上，学习目标域到源域的非线性特征转换矩阵；最后利用源域的大量标记样本训练分类器，通过非线性特征转换矩阵将目标域样本映射到源域中，并输入到训练好的分类器中得到小样本集上的物体分类结果。
Description
技术领域
本发明涉及一种计算机视觉技术领域的小样本集的物体分类方法，具体为一种基于改进的MFA和迁移学习的小样本集的物体分类方法。
背景技术
近年来，随着计算机技术和模式识别技术的迅速发展，物体分类技术是当前国内外计算机视觉领域一个活跃的研究方向，在越来越多的领域得到了应用，例如行人检测、智能交通(Intelligent Transportation systems)、医疗图像分类等。基于现实场景，如何设计一种对物体图像进行准确而鲁棒性好的分类方法，是物体分类技术走向实际应用的关键核心问题。
传统的物体分类方法，大都是基于大量的标记样本作为训练样本，最终训练分类器的各个参数。然而，在实际场景的应用中，获取大量标记样本是一个非常棘手的问题。大量标记样本的获取是一个昂贵、极其耗费人力和时间的过程，同时人工标记过程中很可能会出现一些人为标记错误的情况。在少量样本集上，由于缺乏大量的标记训练数据，按照传统的图像分类方法得到的分类器并不能得到理想的分类准确率。那么我们可以利用现有的标记样本的大样本集(源域)来提高小样本集(目标域)的分类准确率。但是，源域训练得到的分类器直接应用在目标域中并不能得到理想的效果，这是因为不同域中的特征分布是有差异的。导致域间差异的因素有很多，比如相机参数、光线、视角、分辨率、背景和姿态等等，如图1所示。图1中源域(上)与目标域(下)是存在差异的，与源域相比，目标域中的背景更复杂，分辨率更低，视角更多样。
一个重要的问题是我们如何将源域作为目标域的先验知识，利用域间的相关性，通过迁移学习的方法来提高目标域的分类准确率。针对小样本集的物体分类问题，Saenko等人于2010年发表在《European Conference on Computer Vision》(欧洲计算机视觉国际会议)的一篇文章“Adapting Visual Category Models to New Domains”中就该问题进行的探讨，提出了基于域适应的算法计算出源域和目标域间的特征映射矩阵提高目标域的分类准确率。Long等人于2015年在《IEEE Transactions on Knowledge & DataEngineering》上的“Domain Invariant Transfer Kernel Learning”一文中学习了一种能够直接使源域和目标域间的特征分布相匹配的域间不变核，从而达到域间迁移学习提高小样本集的物体分类准确率的目的。
虽然借助于源域中的标记样本来优化目标域的分类模型提高分类准确率，然而现有的方法普遍存在如下两个问题：首先，现有算法缺乏考虑如果源域内不同类在特征空间中相互交错，不具有很好的类别差异性，那么目标域中的类别映射到源域也不能保证相互之间是可区分的。其次，在现有算法的特征转换训练过程中，源域中的训练样本是随机选取并与目标域中的标记样本组成训练对，如果该过程选取的点是在源域对应类别的边界上，那么目标域样本也会被映射到源域的边界区域，这样势必会影响类别间的分类。
因此，当目标域仅有少量标记样本时，为了更充分地利用大量已有的同构标记数据、学习高效的域间迁移学习进而提高小样本集的物体分类的准确率，本发明提出了基于改进的MFA和迁移学习的小样本集的物体分类方法，从而提高小样本集上的物体分类的鲁棒性和准确性。
发明内容
本发明为了解决现有技术中的问题，提出一种基于改进的MFA和迁移学习的小样本集的物体分类方法，利用改进后的MFA算法将特征映射到新的特征空间上，学习大样本集和小样本集间非线性的特征转换将小样本集上的样本映射到大样本集中，从而利用大样本集上训练得到的分类器提升小样本集物体分类的鲁棒性和准确性。
本发明采用以下技术方案：一种基于改进的MFA和迁移学习的小样本集的物体分类方法，包括以下步骤：
步骤1：提取图像的底层特征：对源域和目标域中的每一幅图片，分别进行灰度化，提取图像的纹理特征，并进行量化，其中源域中包含大量的标记样本，目标域中仅少量的样本是有标记的；
步骤2：计算特征变换矩阵M：基于图嵌入的框架利用内积作为距离的度量，利用源域中的标记数据构造出表示类内紧凑性的本征图和表示类间区分性的惩罚图，并计算出特征变换矩阵M，将源域和目标域中样本的特征映射到新的特征空间中；
步骤3：自适应筛选迁移学习过程中的训练样本对：剔除源域中各类别的边界奇异点，其余点作为候选点，从候选点中选取出kA个源域样本点构成集合T(A)，并和目标域中的kB个标记样本点集T(B)共同组成训练样本对；
步骤4：域间迁移学习出特征转换矩阵W：通过特征转换矩阵W将目标域映射到源域，正则化W，记为γ(M)，该迁移学习的优化问题表示为：
s.t. fi(XTWY)≥0,1≤i≤c.
其中fi(XTWY)为约束函数，c为类别数。设σ1，σ2，...σp是W的奇异值，则γj是一个标量函数。假设是源域中的标记样本，其中是样本xi的标签；是目标域中的标记样本，其中是样本yj的标签。l为相似性上限，u为相似性下限，该问题的约束条件表示为：
该迁移学习问题的求解表示为：
s.t.xi'∈T(A),yj'∈T(B)
其中xi'＝Mxi，yj'＝Myj，λ为松弛系数。并将算法引入特征的核化空间，算法中出现特征向量内积的地方用核化函数表示，求解得到W；
步骤5：在源域上训练分类器，并计算目标域中的物体分类。
进一步地，所述步骤2具体包括以下子步骤：
步骤2.1：本征图的类内紧凑性的计算方法如下：
在本征图Gc中，类内紧凑性Sc是由源域中的每一个样本与其近邻且同类的样本点的距离之和描述；
步骤2.2：惩罚图的类间区分性的计算方法如下：
在惩罚图Gp中，类间分离性Sp是由源域中边界奇异点与其近邻且异类的边界点的距离之和描述；
步骤2.3：特征变换矩阵M利用图嵌入结构,通过最小化类内紧凑性和类间分离性计算得到,即：
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1)本发明考虑到样本的类别标记获取难度大的问题，将已有标记的大样本集的样本集作为先验知识，通过与小样本集中少量标记样本间的迁移学习，实现提升小样本集上物体分类的准确性和鲁棒性；
2)本发明改进了传统的MFA算法，利用内积作为距离度量，将原始特征映射到了新的特征空间中，充分提高源域的类内紧凑性和类间区分性，从而保证目标域映射到源域后尽可能地实现类内更紧凑，类间更分离的效果；
3)与现有技术相比，本发明更考虑到了迁移学习过程中训练样本对的筛选过程，通过自适应的训练样本对的筛选算法，避免边界奇异点对于特征转换矩阵学习结果的影响，使得迁移学习的效果更强。
附图说明
图1为源域与目标域的差异图，(a)为源域，(b)为目标域；
图2为本发明的整体流程示意图。
具体实施方式
下面结合具体实施例，对本发明的技术方案做进一步的详细说明。
以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
本实施例对某数据库中的amazon，webcam两个数据域进行处理。这两个域中均有31个物体类别。amazon，webcam分别作为源域和目标域。在本发明的实施例中，如图2所示，该方法包括以下步骤：
步骤1：提取图像的底层特征：对源域和目标域中的每一幅图片，分别进行灰度化，并提取其SURF特征作为图像的纹理特征，最后被量化成800维的特征；
步骤2：改进传统的MFA算法，计算特征变换矩阵M：对传统的MFA方法进行改进，基于图嵌入的框架利用内积作为距离的度量，利用源域中的标记数据构造出表示类内紧凑性的本征图和表示类间区分性的惩罚图，并计算出特征变换矩阵M，将源域和目标域中样本的特征映射到新的特征空间中。该步骤具体包括以下子步骤：
步骤2.1：本征图的类内紧凑性的计算方法如下：
在本征图Gc中，类内紧凑性Sc是由源域中每一个样本与其近邻且同类的样本点的距离之和描述。类内紧凑性Sc表示为：
其中M代表特征变换矩阵，表示k1个与样本xi同类并与xi近邻的样本点的索引集；
步骤2.2：惩罚图的类间区分性的计算方法如下：
在惩罚图Gp中，类间分离性Sp是由源域中边界奇异点与其近邻且异类的边界点的距离之和描述。类间分离性Sp表示为：
其中表示中k2个最邻近的边界样本对集，为ci类别的边界样本点的索引集；
步骤2.3：特征变换矩阵M利用图嵌入结构,通过最小化类内紧凑性和类间分离性计算得到,即：
步骤3：自适应筛选迁移学习过程中的训练样本对：分别用样本间的内积作为度量计算源域每个类别中各个样本间的距离，剔除源域中各类别的边缘奇异点，其余点作为候选点，从候选点中选取出20个源域样本点构成集合T(A)，并和目标域中的3个标记样本点集T(B)共同组成训练样本对；
步骤4：域间迁移学习出特征转换矩阵W：通过特征转换矩阵W将目标域映射到源域，正则化W，记为γ(M)，该迁移学习的优化问题表示为：
s.t. fi(XTWY)≥0,1≤i≤c.
其中fi(XTWY)为约束函数，c为类别数，本实施例中，c＝31。设σ1，σ2，...σp是W的奇异值，则γj是一个标量函数。假设是源域中的标记样本，其中是样本xi的标签；是目标域中的标记样本，其中是样本yj的标签。l为相似性上限，u为相似性下限，该问题的约束条件表示为：
该迁移学习问题的求解表示为：
s.t.xi'∈T(A),yj'∈T(B)
其中xi'＝Mxi，yj'＝Myj，在该实施例中，λ＝103。并将算法引入特征的核化空间，算法中出现特征向量内积的地方用核化函数表示，其中核函数利用的是高斯RBF核函数，求解得到W；
步骤5：在源域上训练分类器，并计算目标域中的物体分类：将目标域中的样本通过步骤4中学习的特征转换矩阵W映射到源域,并输入到分类器中计算目标域上即小样本集上的物体类别。
Claims (2)
1.一种基于改进的MFA和迁移学习的小样本集的物体分类方法，其特征在于，包括以下步骤：
步骤1：提取图像的底层特征：对源域和目标域中的每一幅图片，分别进行灰度化，提取图像的纹理特征，并进行量化，其中源域中包含大量的标记样本，目标域中仅少量的样本是有标记的；
步骤2：计算特征变换矩阵M：基于图嵌入的框架利用内积作为距离的度量，利用源域中的标记数据构造出表示类内紧凑性的本征图和表示类间区分性的惩罚图，并计算出特征变换矩阵M，将源域和目标域中样本的特征映射到新的特征空间中；
步骤3：自适应筛选迁移学习过程中的训练样本对：剔除源域中各类别的边界奇异点，其余点作为候选点，从候选点中选取出kA个源域样本点构成集合T(A)，并和目标域中的kB个标记样本点集T(B)共同组成训练样本对；
步骤4：域间迁移学习出特征转换矩阵W：通过特征转换矩阵W将目标域映射到源域，正则化W，记为γ(W)，该迁移学习的优化问题表示为：
s.t.fi(XTWY)≥0,1≤i≤c
其中fi(XTWY)为约束函数，c为类别数；设σ1，σ2，…σp是W的奇异值，则γj()是一个标量函数；假设是源域中的标记样本，其中是样本xi的标签；是目标域中的标记样本，其中是样本yj的标签；l为相似性上限，u为相似性下限，该问题的约束条件表示为：
则该迁移学习的优化问题表示为：
s.t.x′i∈T(A),y′j∈T(B)
其中xi'＝Mxi，yj'＝Myj，λ为松弛系数；引入特征的核化空间，将上述优化问题中出现特征向量内积的地方用核化函数表示，求解得到W；
步骤5：在源域上训练分类器，并计算目标域中的物体分类。
2.根据权利要求1所述的一种基于改进的MFA和迁移学习的小样本集的物体分类方法，其特征在于：所述步骤2具体包括以下子步骤：
步骤2.1：本征图的类内紧凑性的计算方法如下：
在本征图Gc中，类内紧凑性Sc是由源域中的每一个样本与其近邻且同类的样本点的距离之和描述；
步骤2.2：惩罚图的类间区分性的计算方法如下：
在惩罚图Gp中，类间区分性Sp是由源域中边界奇异点与其近邻且异类的边界点的距离之和描述；
步骤2.3：特征变换矩阵M利用基于图嵌入的框架，通过最小化类内紧凑性和类间区分性计算得到，即：。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510801292.3A CN105469111B (zh) | 2015-11-19 | 2015-11-19 | 基于改进的mfa和迁移学习的小样本集的物体分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510801292.3A CN105469111B (zh) | 2015-11-19 | 2015-11-19 | 基于改进的mfa和迁移学习的小样本集的物体分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105469111A CN105469111A (zh) | 2016-04-06 |
| CN105469111B true CN105469111B (zh) | 2019-03-01 |
Family
ID=55606782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510801292.3A Expired - Fee Related CN105469111B (zh) | 2015-11-19 | 2015-11-19 | 基于改进的mfa和迁移学习的小样本集的物体分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105469111B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599922B (zh) * | 2016-12-16 | 2021-08-24 | 中国科学院计算技术研究所 | 用于大规模数据标定的迁移学习方法及*** |
| CN107491792B (zh) * | 2017-08-29 | 2020-04-07 | 东北大学 | 基于特征映射迁移学习的电网故障分类方法 |
| CN107644212B (zh) * | 2017-10-19 | 2019-12-17 | 中国地质大学（武汉） | 一种高光谱遥感图像分类方法、设备及存储设备 |
| CN109190750B (zh) * | 2018-07-06 | 2021-06-08 | 国家计算机网络与信息安全管理中心 | 基于对抗生成网络的小样本生成方法及装置 |
| CN109068349B (zh) * | 2018-07-12 | 2021-08-06 | 重庆邮电大学 | 一种基于小样本迭代迁移的室内入侵检测方法 |
| CN109447511A (zh) * | 2018-11-13 | 2019-03-08 | 南方电网科学研究院有限责任公司 | 一种变压器故障诊断方法、***及相关装置 |
| CN110365583B (zh) * | 2019-07-17 | 2020-05-22 | 南京航空航天大学 | 一种基于桥接域迁移学习的符号预测方法及*** |
| CN114782779B (zh) * | 2022-05-06 | 2023-06-02 | 兰州理工大学 | 基于特征分布迁移的小样本图像特征学习方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514443A (zh) * | 2013-10-15 | 2014-01-15 | 中国矿业大学 | 一种基于lpp特征提取的单样本人脸识别迁移学习方法 |
| CN104616031A (zh) * | 2015-01-22 | 2015-05-13 | 哈尔滨工业大学深圳研究生院 | 迁移学习方法及装置 |
| CN104794498A (zh) * | 2015-05-07 | 2015-07-22 | 西安电子科技大学 | 基于src与mfa相结合的图像分类方法 |
-
2015
- 2015-11-19 CN CN201510801292.3A patent/CN105469111B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514443A (zh) * | 2013-10-15 | 2014-01-15 | 中国矿业大学 | 一种基于lpp特征提取的单样本人脸识别迁移学习方法 |
| CN104616031A (zh) * | 2015-01-22 | 2015-05-13 | 哈尔滨工业大学深圳研究生院 | 迁移学习方法及装置 |
| CN104794498A (zh) * | 2015-05-07 | 2015-07-22 | 西安电子科技大学 | 基于src与mfa相结合的图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| Optimal Kernel Marginal Fisher Analysis for Face Recognition;Ziqiang Wang 等;《JOURNAL OF COMPUTERS》;20120930;第7卷(第9期);第2298-2303页 |
| What you saw is not what you get: Domain adaptation using asymmetric kernel transforms;Brian Kulis 等;《The 2011 IEEE Conference on Computer Vision and Pattern Recognition》;20110822;第1785-1792页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105469111A (zh) | 2016-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105469111B (zh) | 基于改进的mfa和迁移学习的小样本集的物体分类方法 | |
| CN107292298B (zh) | 基于卷积神经网络和分类器模型的牛脸识别方法 | |
| CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及*** | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| Wang et al. | Actionness estimation using hybrid fully convolutional networks | |
| Huang et al. | Research on classification method of maize seed defect based on machine vision | |
| CN106778604B (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
| CN105069481B (zh) | 基于空间金字塔稀疏编码的自然场景多标记分类方法 | |
| CN106897673B (zh) | 一种基于retinex算法和卷积神经网络的行人再识别方法 | |
| CN109101865A (zh) | 一种基于深度学习的行人重识别方法 | |
| CN108090472B (zh) | 基于多通道一致性特征的行人重识别方法及其*** | |
| CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
| CN111310756B (zh) | 一种基于深度学习的损伤玉米颗粒检测和分类方法 | |
| CN107038416B (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
| CN109712105A (zh) | 一种结合彩色和深度信息的图像显著目标检测方法 | |
| CN105931241B (zh) | 一种自然场景图像的自动标注方法 | |
| CN112862849B (zh) | 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 | |
| CN108280488A (zh) | 基于共享神经网络的可抓取物体识别方法 | |
| CN112926652B (zh) | 一种基于深度学习的鱼类细粒度图像识别方法 | |
| CN106203448B (zh) | 一种基于非线性尺度空间的场景分类方法 | |
| CN111582126A (zh) | 基于多尺度行人轮廓分割融合的行人重识别方法 | |
| Chen et al. | Agricultural remote sensing image cultivated land extraction technology based on deep learning | |
| CN109165658A (zh) | 一种基于Faster-RCNN的强负样本水下目标检测方法 | |
| CN116012721B (zh) | 一种基于深度学习的水稻叶片病斑检测方法 | |
| CN108596244A (zh) | 一种基于光谱角度密度峰值的高光谱图像标签噪声检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190301 |