CN113205061A - 基于胶囊网络的服装分类方法及分类*** - Google Patents
基于胶囊网络的服装分类方法及分类*** Download PDFInfo
- Publication number
- CN113205061A CN113205061A CN202110541866.3A CN202110541866A CN113205061A CN 113205061 A CN113205061 A CN 113205061A CN 202110541866 A CN202110541866 A CN 202110541866A CN 113205061 A CN113205061 A CN 113205061A
- Authority
- CN
- China
- Prior art keywords
- image
- clothing
- network
- garment
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000002775 capsule Substances 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000010606 normalization Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000036544 posture Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims 3
- 238000007906 compression Methods 0.000 claims 3
- 238000012549 training Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001125 extrusion Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于胶囊网络的服装分类方法，包括：对输入的服装图片进行图像增强和归一化处理；对服装图像进行特征下采样和特征融合；采用注意力机制将服装图像特征的关键向量与权重进行放大，对图像特征进行卷积与归一化处理，利用空间变换网络变换图像特征的感受域；将图像特征输入到胶囊网络，提取图像特征的空间关联信息，提高泛化能力；根据图像特征对服装进行判别分类，得到服装的分类结果。本发明还公开了相应的服装分类***。本发明的服装分类方法准确率高，且不依赖于大量的训练样本，在服装图像扭曲、变形时依然有很好的分类辨识精度，泛化能力强。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种基于胶囊网络的服装分类方法及分类***。
背景技术
目前，人们的服装购物逐渐由线下转入电商平台，对服装图像的智能化处理便成了必不可少的重要环节。电商平台对服装的需求巨大，人工辨别服装种类无法满足电商平台的时效要求。而且如今的服饰总类花样繁多，部分服装种类之间的差别只是细微纹理或空间布局的微小差别，通过人眼也不易辨别。因此，使用人工辨别服装种类的方式已经不能够满足日常生活需要。
公开号为CN110210567A的中国专利“一种基于卷积神经网络的服装图像分类与检索方法及***”、申请号为201510457010.2的中国专利“一种基于卷积神经网络的服装分类方法”均是通过采用卷积神经网络来提取图像特征并进行分类；这种方式不能很好的处理图像样本的多样性问题以及样本空间结构的变化问题，因此检测到的图像当出现很大的色差或者明暗变化，或者是遮挡以及空间结构异常改变，都会使图像的检测准确率垂直下跌，若是想弥补缺点也只能在训练的时候扩充大量的训练样本，但是图像样本的扩充会增加额外的计算成本和搜集成本，且二者所提出的模型较大，无法在轻量级设备上进行搭建，计算速度缓慢。
申请号为201810784023.4的中国专利“一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法”采用改进的DPM模型来实现女装图像的分类，并采用了图像的HOG、LBP、颜色直方图和边缘算子4种底层特征来进行特征表征，这种传统的图像处理算法结构相对比较复杂，且难以保证较高的准确率。
发明内容
本发明的目的是针对上述问题，提供一种基于胶囊网络的服装分类方法及分类***，对服装图像进行特征下采样、特征融合后，利用挤压和激励网络将服装图像特征的关键向量与权重进行放大，利用空间变换网络变换图像特征的感受域，再利用胶囊网络，提取图像特征的空间关联信息，最后根据图像特征得到服装的分类，提高服装分类***的泛化能力。
本发明的技术方案是基于胶囊网络的服装分类方法，包括以下依次执行的步骤：
步骤1：对输入的服装图片进行图像增强和归一化处理；
步骤2：对服装图像进行特征下采样和特征融合；
步骤3：对服装图像进行特征加强；
步骤3.1：采用注意力机制将服装图像特征的关键向量与权重进行放大；
步骤3.2：对图像特征进行卷积与归一化处理；
步骤3.3：利用空间变换网络变换图像特征的感受域；
步骤4：将图像特征输入到胶囊网络，提取图像特征的空间关联信息，提高泛化能力；
步骤5：根据图像特征对服装进行判别分类，得到服装的分类结果。
进一步地，步骤1包括以下子步骤：
步骤1.1：对输入的服装图像进行旋转、翻转、裁剪、放缩、对比度增强以及明暗调整；
步骤1.2：将服装图像的RGB参数映射到统一的区间。
优选地，步骤2中，所述特征下采样将大尺度224x224的图像下采样到最适合特征加强的25x25的小尺度。
优选地，步骤3.1采用挤压和激励网络将服装图像特征的关键向量与权重进行放大，筛掉干扰的非目标特征。
上述的服装分类方法的服装分类***，包括：图像预处理模块，对输入的服装图片进行图像增强和归一化处理；特征预处理模块，对服装图像进行特征下采样和特征融合；特征加强模块，采用注意力机制将服装图像特征的关键向量与权重进行放大，利用空间变换网络变换图像特征的感受域，使得得到的图像特征不局限于单一方位或姿态；胶囊网络单元，提取图像特征的空间关联信息，提高泛化能力；判别处理模块，根据图像特征对服装进行判别分类，得到服装的分类结果。
进一步地，特征加强模块包括挤压和激励网络、卷积与归一化模块、空间变换网络，挤压和激励网络利用注意力机制将关键向量与权重进行放大，筛掉干扰的非目标特征，空间变换网络将图像特征的感受域进行进一步变换处理，使得到的特征可表达多个方位或多种姿态。
相比现有技术，本发明的有益效果包括：
（1）本发明的服装分类方法通过对图像的增强和在计算过程中的加强变化，让网络模型能够在小样本数据集上达到很强的识别能力，可以在使用时应对各种形式的输入图像，而不会产生因图像方向，对比度等变化而发生的识别错误；通过注意力机制模块，能够在训练模型的过程中剔除和目标无关的图像信息，只关注有用的服装信息；这些方案可以在实际生产之中发挥比较展现比较好的识别和新能优势，可以在电商平台或者用户单独使用中起到准确率很高的分类作用。
（2）本发明提供的服装分类***，采用胶囊网络结构，具备一般神经网络不具备的空间布局信息，在图像布局错乱或者扭曲时也能起到一个很好的分类效果，而且只用少部分参数就能表达多种样本的形态，具有很强的泛化能力。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明实施例的服装分类方法的示意图。
图2 为本发明实施例的SENet网络的示意图。
图3 为本发明实施例的STN网络的示意图。
具体实施方式
基于胶囊网络的服装分类方法，包括以下依次执行的步骤：
步骤1：对输入的服装图片进行图像增强和归一化处理；
步骤1.1：对输入的服装图像进行旋转、翻转、裁剪、放缩、对比度增强以及明暗调整；
步骤1.2：将服装图像的RGB参数映射到[0, 1]；
步骤2：对服装图像进行特征下采样和特征融合，将大尺度224x224的图像下采样到适合特征加强的25x25的小尺度；
步骤3：对服装图像进行特征加强；
步骤3.1：采用挤压和激励网络将服装图像特征的关键向量与权重进行放大，筛掉干扰的非目标特征；
步骤3.2：对图像特征进行卷积与归一化处理；
步骤3.3：利用空间变换网络变换图像特征的感受域；
步骤4：将图像特征输入到胶囊网络，提取图像特征的空间关联信息，提高泛化能力；
步骤5：根据图像特征对服装进行判别分类，得到服装的分类结果。
如图1所示，上述服装分类方法的服装分类***，包括：
图像预处理模块，对输入的服装图片进行图像增强和归一化处理；
特征预处理模块，对服装图像进行特征下采样和特征融合；
特征加强模块，采用注意力机制将服装图像特征的关键向量与权重进行放大，利用空间变换网络变换图像特征的感受域，使得得到的图像特征不局限于单一方位或姿态；
胶囊网络单元，提取图像特征的空间关联信息，提高泛化能力，使神经网络中内部知识表示的分层关系加强；
判别处理模块，根据图像特征对服装进行判别分类，计算对应的分类的置信度，得到服装的分类结果。
特征加强模块包括挤压和激励网络（Squeeze-and-Excitation Networks，SE）、卷积与归一化模块、空间变换网络（Spatial Transformer Networks，STN），SE网络利用注意力机制将关键向量与权重进行放大，筛掉干扰的非目标特征；卷积与归一化模块用于服装图像的特征融合和规整处理；STN网络将图像特征的感受域进行进一步变换处理，使得到的特征可表达多个方位或多种姿态。
现实中会有各种各样的因素如光线明暗、遮挡，拍照方位距离等因素的影响导致用来测试的数据样本不能被网络模型很好的识别，因为在网络模型训练的时候，神经网络只学习了少量的样本与变化，但现实中，往往存在无限种变化。本发明的服装分类***，将输入的图像进行预处理，来进行数据集样本多样性的扩充。本发明的特征预处理模块可很好地将数据的图像进行特征加工预处理，得到一个尺度缩小但关键信息都保留很好的特征图，方便下一步的细加工处理。本发明的特征加强模块可将得到的粗特征图进行细致的权重训练与加强，这样可以只训练和保留所需要的关键信息，而筛选出图像内与目标不相干的内容；其中的胶囊网络模块将全卷积模型进行进一步的空间信息提取，使图像在判断时能保持一个正确的结构，以此来加强模型的准确性和正确性。
本发明的服装分类***，通过对图像的增强和在计算过程中的加强变化，让服装分类***的网络模型能够在小样本数据集上达到很强的识别能力，可在使用时应对各种形式的输入图像，而不会产生因图像方向，对比度等变化而发生的识别错误；通过注意力机制，能在训练模型的过程中剔除和目标无关的图像信息，只关注有用的服装信息；采用结合胶囊网络结构，可让网络模型具备一般神经网络不具备的空间布局信息，在图像布局错乱或者扭曲时也能起到一个很好的分类效果，而且只需要少部分参数就能表达多种样本的形态，具有很强的泛化能力。
实施例的SENet网络参照2020年第8期《IEEE Transactions on PatternAnalysis and Machine Intelligence》刊登的Jie Hu等的论文“Squeeze-and-ExcitationNetworks”公开的SENet网络。
实施例的STN网络参照Max Jaderberg等2015年6月发表的论文“SpatialTransformer Networks”公开的STN网络。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.基于胶囊网络的服装分类方法，其特征在于，包括以下依次执行的步骤：
步骤1：对输入的服装图片进行图像增强和归一化处理；
步骤2：对服装图像进行特征下采样和特征融合；
步骤3：对服装图像进行特征加强；
步骤3.1：采用注意力机制将服装图像特征的关键向量与权重进行放大；
步骤3.2：对图像特征进行卷积与归一化处理；
步骤3.3：利用空间变换网络变换图像特征的感受域；
步骤4：将图像特征输入到胶囊网络，提取图像特征的空间关联信息，提高泛化能力；
步骤5：根据图像特征对服装进行判别分类，得到服装的分类结果。
2.根据权利要求1所述的基于胶囊网络的服装分类方法，其特征在于，所述步骤1包括以下子步骤：
步骤1.1：对输入的服装图像进行旋转、翻转、裁剪、放缩、对比度增强以及明暗调整；
步骤1.2：将服装图像的RGB参数映射到统一的区间。
3.根据权利要求1所述的基于胶囊网络的服装分类方法，其特征在于，步骤2中，所述特征下采样将大尺度224x224的图像下采样到适合特征加强的25x25的小尺度。
4.根据权利要求1所述的基于胶囊网络的服装分类方法，其特征在于，步骤3.1采用挤压和激励网络将服装图像特征的关键向量与权重进行放大，筛掉干扰的非目标特征。
5.采用权利要求1-4任意一项所述的服装分类方法的服装分类***，其特征在于，它包括：
图像预处理模块，对输入的服装图片进行图像增强和归一化处理；
特征预处理模块，对服装图像进行特征下采样和特征融合；
特征加强模块，采用注意力机制将服装图像特征的关键向量与权重进行放大，利用空间变换网络变换图像特征的感受域，使得得到的图像特征不局限于单一方位或姿态；
胶囊网络单元，提取图像特征的空间关联信息，提高泛化能力；
判别处理模块，根据图像特征对服装进行判别分类，得到服装的分类结果。
6.根据权利要求5所述的服装分类***，其特征在于，所述特征加强模块包括挤压和激励网络、卷积与归一化模块、空间变换网络，挤压和激励网络利用注意力机制将关键向量与权重进行放大，筛掉干扰的非目标特征，空间变换网络将图像特征的感受域进行进一步变换处理，使得到的特征可表达多个方位或多种姿态。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011573946 | 2020-12-28 | ||
| CN2020115739469 | 2020-12-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113205061A true CN113205061A (zh) | 2021-08-03 |
Family
ID=77031655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110541866.3A Pending CN113205061A (zh) | 2020-12-28 | 2021-05-18 | 基于胶囊网络的服装分类方法及分类*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113205061A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205455455U (zh) * | 2016-01-14 | 2016-08-17 | 中国水产科学研究院东海水产研究所 | 一种中层拖网囊网选择性装置 |
| CN110728224A (zh) * | 2019-10-08 | 2020-01-24 | 西安电子科技大学 | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 |
| CN111191660A (zh) * | 2019-12-30 | 2020-05-22 | 浙江工业大学 | 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法 |
-
2021
- 2021-05-18 CN CN202110541866.3A patent/CN113205061A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN205455455U (zh) * | 2016-01-14 | 2016-08-17 | 中国水产科学研究院东海水产研究所 | 一种中层拖网囊网选择性装置 |
| CN110728224A (zh) * | 2019-10-08 | 2020-01-24 | 西安电子科技大学 | 一种基于注意力机制深度Contourlet网络的遥感图像分类方法 |
| CN111191660A (zh) * | 2019-12-30 | 2020-05-22 | 浙江工业大学 | 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| RAHUL KATARYA 等: "Study on Text Classification using Capsule Networks", 《2019 5TH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTING & COMMUNICATION SYSTEMS》 * |
| 韩啸: "基于深度学习的服装检索与搭配的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102102161B1 (ko) | 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램 | |
| CN103761531B (zh) | 基于形状轮廓特征的稀疏编码车牌字符识别方法 | |
| CN106022375B (zh) | 一种基于hu不变矩和支持向量机的服装款式识别方法 | |
| CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN108830312B (zh) | 一种基于样本自适应扩充的集成学习方法 | |
| CN108647625A (zh) | 一种表情识别方法及装置 | |
| CN108021889A (zh) | 一种基于姿态外形和运动信息的双通道红外行为识别方法 | |
| CN110060273B (zh) | 基于深度神经网络的遥感影像滑坡测图方法 | |
| CN105718552A (zh) | 基于服装手绘草图的服装图像检索方法 | |
| CN104077612B (zh) | 一种基于多特征稀疏表示技术的害虫图像识别方法 | |
| CN105718882A (zh) | 一种分辨率自适应特征提取与融合的行人重识别方法 | |
| CN106022223B (zh) | 一种高维局部二值模式人脸识别方法及*** | |
| CN106056132B (zh) | 一种基于傅里叶描述子和支持向量机的服装款式识别方法 | |
| CN111563452A (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN112446340B (zh) | 结合行人局部特征和服饰属性分类的行人搜索方法、***及存储介质 | |
| CN106874929A (zh) | 一种基于深度学习的珍珠分类方法 | |
| CN108734200A (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| Ma et al. | Saliency detection based on singular value decomposition | |
| CN106529544A (zh) | 一种基于无监督机器学***整度客评定方法及装置 | |
| CN109002771A (zh) | 一种基于递归神经网络的遥感图像分类方法 | |
| Dong et al. | Fusing multilevel deep features for fabric defect detection based NTV-RPCA | |
| CN109299681A (zh) | 一种基于支持向量机的煤岩体表面裂纹自动识别方法 | |
| CN106650824B (zh) | 基于支持向量机的运动目标分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210803 |