CN113343019B - 一种结合浅层与深层特征的小样本丝织品图像检索方法 - Google Patents

一种结合浅层与深层特征的小样本丝织品图像检索方法 Download PDF

Info

Publication number
CN113343019B
CN113343019B CN202110732647.3A CN202110732647A CN113343019B CN 113343019 B CN113343019 B CN 113343019B CN 202110732647 A CN202110732647 A CN 202110732647A CN 113343019 B CN113343019 B CN 113343019B
Authority
CN
China
Prior art keywords
convolution layer
silk fabric
convolution
layer
layer group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110732647.3A
Other languages
English (en)
Other versions
CN113343019A (zh
Inventor
潘宇琳
韦佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110732647.3A priority Critical patent/CN113343019B/zh
Publication of CN113343019A publication Critical patent/CN113343019A/zh
Application granted granted Critical
Publication of CN113343019B publication Critical patent/CN113343019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种结合浅层与深层特征的小样本丝织品检索方法。所述方法包括以下步骤：收集丝织品图像，建立丝织品样本库；建立卷积神经网络模型；使用有约束采样方法对丝织品样本库进行采样得到训练数据集；使用训练数据集训练卷积神经网络模型，得到训练完成的卷积神经网络模型；使用训练完成的卷积神经网络模型提取待检索丝织品图像的特征，并计算提取得到的待检索丝织品图像的特征与样本库中各个丝织品图像提取到的特征的欧式距离，根据欧式距离的大小得到基于图像特征的待检索丝织品图像的检索结果。所述方法可以得到更好的丝织品图像特征表达，且适应于小规模样本数据，较准确地检索到丝织品相似性结果。

Description

一种结合浅层与深层特征的小样本丝织品图像检索方法
技术领域
本发明属于深度学习图像检索领域，具体涉及一种结合浅层与深层特征的小样本丝织品图像检索方法。
背景技术
图像检索一直以来都是计算机视觉领域重要的研究课题，从20世纪90年代早期开始，研究人员便先后设计了图像的全局特征、局部特征等方法对图像检索任务进行探索和研究。由于SIFT(Scale-Invariant Feature Transform)[1]特征对图像平移、缩放和旋转具有明显的不变性，因此在传统的图像检索领域得到了广泛的应用。尽管十多年来传统人工特征的检索方法占据了图像检索领域，并在视觉检索方面取得了重大进展，但它的缺点也很明显。这类方法严重依赖于人工特征，需要依据任务和数据集人工设计描述符，无法通过端到端的方式进行训练。而随着卷积神经网络的蓬勃发展，深度学习时代的到来带来了新的气象。近年来，深度学习在诸多领域上取得了巨大的成功，其中包含图像检索领域。而在图像检索领域中，丝织品图像检索仍然缺乏研究。相近的任务有布料图像检索(Deng D,Wang R,Wu H,et al.Learning deep similarity models with focus ranking forfabric image retrieval[J].Image and Vision Computing,2018,70:11-20.)，但其只关注浅层的布料纹理特征，而丝织品图像检索需要同时关注浅层纹理特征与深层语义特征。因此该研究并不适用于丝织品图像检索。
发明内容
为克服现有技术缺陷，本发明提出一种结合浅层与深层特征的小样本丝织品图像检索方法。
本发明的目的至少通过以下技术方案之一实现。
一种结合浅层与深层特征的小样本丝织品检索方法，包括以下步骤：
S1、收集丝织品图像，建立丝织品样本库；
S2、建立卷积神经网络模型；
S3、使用有约束采样方法对丝织品样本库进行采样得到训练数据集；
S4、使用训练数据集训练卷积神经网络模型，得到训练完成的卷积神经网络模型；
S5、使用训练完成的卷积神经网络模型提取待检索丝织品图像的特征，并计算提取得到的待检索丝织品图像的特征与样本库中各个丝织品图像提取到的特征的欧式距离，欧氏距离越小表示待检索丝织品图像与样本库中的丝织品图像越相似，根据欧式距离的大小得到基于图像特征的待检索丝织品图像的检索结果。
进一步地，步骤S2中，所述卷积神经网络模型基于U-Net构建，卷积神经网络模型包括U-Net层、3层卷积层、注意力模块、池化层和全连接层；
其中，U-Net层包括从浅层网络至深层网络的跳跃连接，该跳跃连接将浅层网络的特征复制并拼接到深层网络的特征上，通过卷积操作对该拼接后的浅层网络的特征与深层网络的特征进行融合；
输入卷积神经网络模型的丝织品图像先经过U-Net层提取特征，再经过3层卷积层进行卷积计算后输入注意力模块中进行计算得到经过注意力加权的特征图，经过注意力加权的特征图输入池化层和全连接层输出丝织品图像的特征。
进一步地，U-Net层共有14层卷积层，其中每2层卷积层为一组；第一卷积层组down1包括第一层卷积层和第二层卷积层，第二卷积层组down2包括第三层卷积层和第四层卷积层，第三卷积层组down3包括第五层卷积层和第六层卷积层，第四卷积层组bottom包括第七层卷积层和第八层卷积层，第五卷积层组up3包括第九层卷积层和第十层卷积层，第六卷积层组up2包括第十一层卷积层和第十二层卷积层，第七卷积层组up1包括第十三层卷积层和第十四层卷积层；
其中，每组卷积层组包括的两层卷积层中，前一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化、Leaky ReLU激活函数和取值0.2的随机失活；后一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化和Leaky ReLU激活函数；
在第一卷积层组down1、第二卷积层组down2、第三卷积层组down3的后面均接有2x2大小的最大池化，在第四卷积层组bottom、第五卷积层组up3、第六卷积层组up2的后面均接有2x2的二次线性插值上采样、卷积核大小为3x3填充为1的卷积、实例标准化和LeakyReLU激活函数；
在第一卷积层组down1与第七卷积层组up1之间、第二卷积层组down2与第六卷积层组up2之间、第三卷积层组down3与第五卷积层组up3之间存在着跳跃连接，作为浅层特征信息与深层特征信息融合的重要手段；该跳跃连接的具体操作为，分别将第一卷积层组down1、第二卷积层组down2和第三卷积层组down3在最大池化前的特征图复制并拼接到第七卷积层组up1、第六卷积层组up2和第五卷积层组up3的输入特征图上，该拼接沿通道方向进行。
进一步地，3层卷积层中的前两层均使用大小为3x3的卷积核，后接批标准化、ReLU激活函数和2x2的最大池化层，卷积操作没有填充；3层卷积层中的最后一层使用大小为3x3的卷积核，后接批标准化、ReLU激活函数，卷积操作没有填充；
池化层使用层级数为3的空间金字塔池化层，空间金字塔池化层输出大小为21的向量；全连接层输出大小为32的向量。
进一步地，注意力模块中结合注意力机制和多任务学习，注意力模块中的操作具体包括以下步骤：
S2.1、使用平均池化技术对最后一层卷积层后的第一特征图D进行池化，得到1x1大小，64通道的第二特征图F；
S2.2a、将第二特征图F输入至全连接层，得到64大小的特征向量，再将该特征向量送入分类器进行图像分类。
S2.2b；、将第一特征图D与第二特征图F进行按通道乘操作，得到经过注意力加权的特征图G，将G送入后续空间金字塔池化层中；
其中，步骤S2.2a与步骤S2.2b为步骤S2.1之后的两个分支，可同时进行，互相独立；
按通道乘的操作具体为：将第二特征图F的每个通道中1x1大小的数值与第一特征图D每个通道中HxW大小的矩阵一一对应，然后每个HxW矩阵中的每一个元素都乘上与之对应的1x1数值，其中，H为矩阵的行数，W为矩阵的列数。
进一步地，步骤S3中，所述有约束采样方法包括以下步骤：
S3.1、在样本库中对所有丝织品类别中的每个类别随机抽取5对相同类别的正样本对；每对正样本对之中的两张图片不一样，不同正样本对之间，可以抽到出现于其他正样本对中的图片；
S3.2、对于所有相同类别的正样本对中每一对的第一张图片，抽取30个随机负样本与该图片组成负样本对，其中前20个负样本来自同一类别，但与正样本对中的图片的类别不同，后10个负样本来自不同类别，与正样本对中的图片的类别不同且与前20个负样本的类别不同；
S3.3、将所有正样本对复制2次，此时每对正样本对总共出现了3次。
S3.4、将所有采样的正样本对与负样本对组成训练数据集。
进一步地，步骤S4中，训练卷积神经网络模型时，卷积神经网络模型的损失函数为：
Figure BDA0003139625270000041
其中，xi和xj分别为输入的丝织品图像对中的丝织品图像i和丝织品图像j经过卷积神经网络模型后提取到的特征；y表示成对标签，输入的丝织品图像对中的丝织品图像i和丝织品图像j为同一类别时y为1，否则为0；D(·)为欧式距离计算公式；margin为预先设定的阈值，表示不同类别特征之间的欧式距离最小不可小于margin值；k表示丝织品图像的类别；pk表示丝织品图像属于第k类的真实概率，
Figure BDA0003139625270000042
为卷积神经网络模型预测的该丝织品图像属于第k类的预测概率。
进一步地，使用欧式距离计算图像之间的相似性，欧式距离的计算公式为：
Figure BDA0003139625270000051
其中，A和B分别为两个图像经过网络计算后提取出的n维特征向量，Am为向量A在第m维度上的值，Bm为向量B在第m维度上的值。
与现有技术相比，本发明实现的有益效果至少如下：
本发明针对丝织品图像属性特殊的问题，结合了图像的浅层纹理信息和深层语义信息，适应于丝织品图像检索。
本发明针对小样本难训练的问题，提出了区别于随机采样方法的有约束的采样方法，提高样本利用率并提升检索表现。
本发明结合了注意力机制与多任务学习，使神经网络更集中地学习与检索相关的知识，摒弃无关信息的干扰，在不提升额外数据量的情况下有效提高模型性能。
附图说明
图1为本发明实施例中一种结合浅层与深层特征的小样本丝织品检索方法的模型示意图；
图2为本发明实施例中卷积神经网络模型U-Net层结构图。
图3为本发明实施例中损失函数及阈值margin在特征空间中的作用示意图。
具体实施方式
以下结合附图和具体实施方式对本发明的方案做进一步的阐述。
实施例1：
一种结合浅层与深层特征的小样本丝织品检索方法，如图1所示，包括以下步骤：
S1、收集丝织品图像，建立丝织品样本库；
本实施例中，一共5895张丝织品图像，通过人工分类，将相似的丝织品归为一类，总计59类。将5895张图像划分为训练图片4532张，验证图片671张，测试图片672张。
S2、建立卷积神经网络模型；
如图1所示，所述卷积神经网络模型基于U-Net构建，卷积神经网络模型包括U-Net层、3层卷积层、注意力模块、池化层和全连接层；
其中，U-Net层包括从浅层网络至深层网络的跳跃连接，该跳跃连接将浅层网络的特征复制并拼接到深层网络的特征上，通过卷积操作对该拼接后的浅层网络的特征与深层网络的特征进行融合；
输入卷积神经网络模型的丝织品图像先经过U-Net层提取特征，再经过3层卷积层进行卷积计算后输入注意力模块中进行计算得到经过注意力加权的特征图，经过注意力加权的特征图输入池化层和全连接层输出丝织品图像的特征。
本实施例中，如图2所示，U-Net层共有14层卷积层，其中每2层卷积层为一组；第一卷积层组down1包括第一层卷积层和第二层卷积层，第二卷积层组down2包括第三层卷积层和第四层卷积层，第三卷积层组down3包括第五层卷积层和第六层卷积层，第四卷积层组bottom包括第七层卷积层和第八层卷积层，第五卷积层组up3包括第九层卷积层和第十层卷积层，第六卷积层组up2包括第十一层卷积层和第十二层卷积层，第七卷积层组up1包括第十三层卷积层和第十四层卷积层；
其中，每组卷积层组包括的两层卷积层中，前一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化、Leaky ReLU激活函数和取值0.2的随机失活；后一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化和Leaky ReLU激活函数；
在第一卷积层组down1、第二卷积层组down2、第三卷积层组down3的后面均接有2x2大小的最大池化，在第四卷积层组bottom、第五卷积层组up3、第六卷积层组up2的后面均接有2x2的二次线性插值上采样、卷积核大小为3x3填充为1的卷积、实例标准化和LeakyReLU激活函数；
在第一卷积层组down1与第七卷积层组up1之间、第二卷积层组down2与第六卷积层组up2之间、第三卷积层组down3与第五卷积层组up3之间存在着跳跃连接，作为浅层特征信息与深层特征信息融合的重要手段；该跳跃连接的具体操作为，分别将第一卷积层组down1、第二卷积层组down2和第三卷积层组down3在最大池化前的特征图复制并拼接到第七卷积层组up1、第六卷积层组up2和第五卷积层组up3的输入特征图上，该拼接沿通道方向进行；
图像经过U-Net层提取特征之后，特征图分辨率会恢复成与输入图像一模一样大小。
本实施例中，3层卷积层中的前两层均使用大小为3x3的卷积核，后接批标准化、ReLU激活函数和2x2的最大池化层，卷积操作没有填充；3层卷积层中的最后一层使用大小为3x3的卷积核，后接批标准化、ReLU激活函数，卷积操作没有填充；
池化层使用层级数为3的空间金字塔池化层，空间金字塔池化层输出大小为21的向量；全连接层输出大小为32的向量。
注意力模块中结合注意力机制和多任务学习，注意力模块中的操作具体包括以下步骤：
S2.1、使用平均池化技术对最后一层卷积层后的第一特征图D进行池化，得到1x1大小，64通道的第二特征图F；
S2.2a、将第二特征图F输入至全连接层，得到64大小的特征向量，再将该特征向量送入分类器进行图像分类。
S2.2b；、将第一特征图D与第二特征图F进行按通道乘操作，得到经过注意力加权的特征图G，将G送入后续空间金字塔池化层中；
其中，步骤S2.2a与步骤S2.2b为步骤S2.1之后的两个分支，可同时进行，互相独立；
按通道乘的操作具体为：将第二特征图F的每个通道中1x1大小的数值与第一特征图D每个通道中HxW大小的矩阵一一对应，然后每个HxW矩阵中的每一个元素都乘上与之对应的1x1数值，其中，H为矩阵的行数，W为矩阵的列数。
S3、使用有约束采样方法对丝织品样本库进行采样得到训练数据集；
所述有约束采样方法包括以下步骤：
S3.1、在样本库中对所有丝织品类别中的每个类别随机抽取5对相同类别的正样本对；每对正样本对之中的两张图片不一样，不同正样本对之间，可以抽到出现于其他正样本对中的图片；
S3.2、对于所有相同类别的正样本对中每一对的第一张图片，抽取30个随机负样本与该图片组成负样本对，其中前20个负样本来自同一类别，但与正样本对中的图片的类别不同，后10个负样本来自不同类别，与正样本对中的图片的类别不同且与前20个负样本的类别不同；
S3.3、将所有正样本对复制2次，此时每对正样本对总共出现了3次。
S3.4、将所有采样的正样本对与负样本对组成训练数据集。
S4、使用训练数据集训练卷积神经网络模型，得到训练完成的卷积神经网络模型；
本实施例中，将采样好的训练数据集输入建立好的神经网络模型中，通过损失函数训练并更新模型参数，其中每训练10次便用验证图片组成的验证集对模型进行准确度验证。在总共300次训练过后，只取准确度最高的模型参数保存下来，即得到训练完成的卷积神经网络模型；训练卷积神经网络模型时，卷积神经网络模型的损失函数为：
Figure BDA0003139625270000081
其中，xi和xj分别为输入的丝织品图像对中的丝织品图像i和丝织品图像j经过卷积神经网络模型后提取到的特征；y表示成对标签，输入的丝织品图像对中的丝织品图像i和丝织品图像j为同一类别时y为1，否则为0；D(·)为欧式距离计算公式；margin为预先设定的阈值，表示不同类别特征之间的欧式距离最小不可小于margin值，损失函数及阈值margin在特征空间中的作用如图3所示；k表示丝织品图像的类别；pk表示丝织品图像属于第k类的真实概率，
Figure BDA0003139625270000091
为卷积神经网络模型预测的该丝织品图像属于第k类的预测概率。
使用欧式距离计算图像之间的相似性，欧式距离的计算公式为：
Figure BDA0003139625270000092
其中，A和B分别为两个图像经过网络计算后提取出的n维特征向量，Am为向量A在第m维度上的值，Bm为向量B在第m维度上的值。
S5、使用训练完成的卷积神经网络模型提取待检索丝织品图像的特征，并计算提取得到的待检索丝织品图像的特征与样本库中各个丝织品图像提取到的特征的欧式距离，欧氏距离越小表示待检索丝织品图像与样本库中的丝织品图像越相似，根据欧式距离的大小得到基于图像特征的待检索丝织品图像的检索结果。
采用准确率、精准度和平均精度均值(mAP)图像检索结果评价指标，与ResNet、DenseNet、ReDSL、NetVLAD、DSMFR模型作对比，当检索数量设置为5时，其对比结果如下。
表1不同模型和方法在自建丝织品数据集上的检索性能
Figure BDA0003139625270000093
从表1可以明显看到，相比于其他现有的检索方法，采用本实施例提供的检索方法的得到丝织品检索结果明显更优，体现了本实施例提供的丝织品检索方法的优越性，可以更为准确地检索到丝织品图像的相似性结果。
实施例2：
在一个具体的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述丝织品图像检索方法的步骤。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、数据库、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储丝织品样本图像以及数据库等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述结合浅层与深层的小样本丝织品图像检索方法。
实施例3：
在一个具体的实施例中，提供了一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述结合浅层与深层的小样本丝织品图像检索方法的步骤。
本发明中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种结合浅层与深层特征的小样本丝织品图像检索方法，其特征在于，包括以下步骤：
S1、收集丝织品图像，建立丝织品样本库；
S2、建立卷积神经网络模型；所述卷积神经网络模型基于U-Net构建，卷积神经网络模型包括U-Net层、3层卷积层、注意力模块、池化层和全连接层；
其中，U-Net层包括从浅层网络至深层网络的跳跃连接，该跳跃连接将浅层网络的特征复制并拼接到深层网络的特征上，通过卷积操作对该拼接后的浅层网络的特征与深层网络的特征进行融合；
输入卷积神经网络模型的丝织品图像先经过U-Net层提取特征，再经过3层卷积层进行卷积计算后输入注意力模块中得到经过注意力加权的特征图，经过注意力加权的特征图输入池化层和全连接层输出丝织品图像的特征；U-Net层共有14层卷积层，其中每2层卷积层为一组；第一卷积层组down1包括第一层卷积层和第二层卷积层，第二卷积层组down2包括第三层卷积层和第四层卷积层，第三卷积层组down3包括第五层卷积层和第六层卷积层，第四卷积层组bottom包括第七层卷积层和第八层卷积层，第五卷积层组up3包括第九层卷积层和第十层卷积层，第六卷积层组up2包括第十一层卷积层和第十二层卷积层，第七卷积层组up1包括第十三层卷积层和第十四层卷积层；
其中，每组卷积层组包括的两层卷积层中，前一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化、LeakyReLU激活函数和取值0.2的随机失活；后一层卷积层使用3x3大小的卷积核，填充为1，后接实例标准化和LeakyReLU激活函数；
在第一卷积层组down1、第二卷积层组down2、第三卷积层组down3的后面均接有2x2大小的最大池化，在第四卷积层组bottom、第五卷积层组up3、第六卷积层组up2的后面均接有2x2的二次线性插值上采样、卷积核大小为3x3填充为1的卷积、实例标准化和LeakyReLU激活函数；
在第一卷积层组down1与第七卷积层组up1之间、第二卷积层组down2与第六卷积层组up2之间、第三卷积层组down3与第五卷积层组up3之间存在着跳跃连接，作为浅层特征信息与深层特征信息融合的重要手段；该跳跃连接的具体操作为，分别将第一卷积层组down1、第二卷积层组down2和第三卷积层组down3在最大池化前的特征图复制并拼接到第七卷积层组up1、第六卷积层组up2和第五卷积层组up3的输入特征图上，该拼接沿通道方向进行；
S3、使用有约束采样方法对丝织品样本库进行采样得到训练数据集；
S4、使用训练数据集训练卷积神经网络模型，得到训练完成的卷积神经网络模型；
S5、使用训练完成的卷积神经网络模型提取待检索丝织品图像的特征，并计算提取得到的待检索丝织品图像的特征与样本库中各个丝织品图像提取到的特征的欧式距离，根据欧式距离的大小得到基于图像特征的待检索丝织品图像的检索结果。
2.根据权利要求1所述的一种结合浅层与深层特征的小样本丝织品图像检索方法，其特征在于：3层卷积层中的前两层均使用大小为3x3的卷积核，后接批标准化、ReLU激活函数和2x2的最大池化层，卷积操作没有填充；3层卷积层中的最后一层使用大小为3x3的卷积核，后接批标准化、ReLU激活函数，卷积操作没有填充；
池化层使用层级数为3的空间金字塔池化层，空间金字塔池化层输出大小为21的向量；全连接层输出大小为32的向量。
3.根据权利要求1所述的一种结合浅层与深层特征的小样本丝织品图像检索方法，其特征在于：注意力模块中结合注意力机制和多任务学习，注意力模块中的操作具体包括以下步骤：
S2.1、使用平均池化技术对最后一层卷积层后的第一特征图D进行池化，得到1x1大小，64通道的第二特征图F；
S2.2a、将第二特征图F输入至全连接层，得到64大小的特征向量，再将该特征向量送入分类器进行图像分类；
S2.2b、将第一特征图D与第二特征图F进行按通道乘操作，得到经过注意力加权的特征图G，将G送入后续空间金字塔池化层中；
其中，步骤S2.2a与步骤S2.2b为步骤S2.1之后的两个分支，同时进行，互相独立；
按通道乘的操作具体为：将第二特征图F的每个通道中1x1大小的数值与第一特征图D每个通道中HxW大小的矩阵一一对应，然后每个HxW矩阵中的每一个元素都乘上与之对应的1x1数值，其中，H为矩阵的行数，W为矩阵的列数。
4.根据权利要求1所述的一种结合浅层与深层特征的小样本丝织品图像检索方法，其特征在于：步骤S3中，所述有约束采样方法包括以下步骤：
S3.1、在样本库中对所有丝织品类别中的每个类别随机抽取5对相同类别的正样本对；每对正样本对之中的两张图片不一样，不同正样本对之间，可以抽到出现于其他正样本对中的图片；
S3.2、对于所有相同类别的正样本对中每一对的第一张图片，抽取30个随机负样本与该图片组成负样本对，其中前20个负样本来自同一类别，但与正样本对中的图片的类别不同，后10个负样本来自不同类别，与正样本对中的图片的类别不同且与前20个负样本的类别不同；
S3.3、将所有正样本对复制2次，此时每对正样本对总共出现了3次；
S3.4、将所有采样的正样本对与负样本对组成训练数据集。
5.根据权利要求1所述的一种结合浅层与深层特征的小样本丝织品图像检索方法，其特征在于：步骤S3中，步骤S4中，训练卷积神经网络模型时，卷积神经网络模型的损失函数为：
Figure FDA0003853443110000031
其中，xi和xj分别为输入的丝织品图像对中的丝织品图像i和丝织品图像j经过卷积神经网络模型后提取到的特征；y表示成对标签，输入的丝织品图像对中的丝织品图像i和丝织品图像j为同一类别时y为1，否则为0；D(·)为欧式距离计算公式；margin为预先设定的阈值，不同类别特征之间的欧式距离不小于margin；k表示丝织品图像的类别；pk表示丝织品图像属于第k类的真实概率，
Figure FDA0003853443110000041
为卷积神经网络模型预测的该丝织品图像属于第k类的预测概率。
6.根据权利要求5所述的一种结合浅层与深层特征的小样本丝织品图像检索方法，其特征在于：使用欧式距离计算图像之间的相似性，欧式距离的计算公式为：
Figure FDA0003853443110000042
其中，A和B分别为两个图像经过网络计算后提取出的n维特征向量，Am为向量A在第m维度上的值，Bm为向量B在第m维度上的值。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
8.一种计算机可读介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202110732647.3A 2021-06-29 2021-06-29 一种结合浅层与深层特征的小样本丝织品图像检索方法 Active CN113343019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732647.3A CN113343019B (zh) 2021-06-29 2021-06-29 一种结合浅层与深层特征的小样本丝织品图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732647.3A CN113343019B (zh) 2021-06-29 2021-06-29 一种结合浅层与深层特征的小样本丝织品图像检索方法

Publications (2)

Publication Number Publication Date
CN113343019A CN113343019A (zh) 2021-09-03
CN113343019B true CN113343019B (zh) 2022-11-18

Family

ID=77481804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732647.3A Active CN113343019B (zh) 2021-06-29 2021-06-29 一种结合浅层与深层特征的小样本丝织品图像检索方法

Country Status (1)

Country Link
CN (1) CN113343019B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256246A (zh) * 2017-06-06 2017-10-17 西安工程大学 基于卷积神经网络的印花织物图像检索方法
CN107812377A (zh) * 2017-11-27 2018-03-20 华南理工大学 一种用于大菠萝扑克首轮摆法的卷积神经网络结构模型
CN108427738A (zh) * 2018-03-01 2018-08-21 中山大学 一种基于深度学习的快速图像检索方法
CN110751220A (zh) * 2019-10-24 2020-02-04 江西应用技术职业学院 一种基于改进卷积神经网络结构的机器视觉室内定位方法
CN110825899A (zh) * 2019-09-18 2020-02-21 武汉纺织大学 融合颜色特征和残差网络深度特征的服装图像检索方法
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质
KR102110894B1 (ko) * 2019-11-27 2020-05-14 주식회사 종달랩 의류 원단을 촬영한 동영상을 이용하여 유사한 원단을 검색하고 추천하는 인공지능 원단 검색 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628668B2 (en) * 2017-08-09 2020-04-21 Open Text Sa Ulc Systems and methods for generating and using semantic images in deep learning for classification and data extraction
KR20190104485A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 옷감 식별 방법, 장치 및 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256246A (zh) * 2017-06-06 2017-10-17 西安工程大学 基于卷积神经网络的印花织物图像检索方法
CN107812377A (zh) * 2017-11-27 2018-03-20 华南理工大学 一种用于大菠萝扑克首轮摆法的卷积神经网络结构模型
CN108427738A (zh) * 2018-03-01 2018-08-21 中山大学 一种基于深度学习的快速图像检索方法
CN110825899A (zh) * 2019-09-18 2020-02-21 武汉纺织大学 融合颜色特征和残差网络深度特征的服装图像检索方法
CN110751220A (zh) * 2019-10-24 2020-02-04 江西应用技术职业学院 一种基于改进卷积神经网络结构的机器视觉室内定位方法
KR102110894B1 (ko) * 2019-11-27 2020-05-14 주식회사 종달랩 의류 원단을 촬영한 동영상을 이용하여 유사한 원단을 검색하고 추천하는 인공지능 원단 검색 시스템
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
The Trend of Textile Design in the 1980s and Its Meaning in Historical Perspective;Park, et al.;《Archives of Design Research》;20040101;第17卷(第4期);第211-222页 *
基于三元组卷积神经网络的图像检索;蔡芷茵,等;《西安邮电大学学报》;20161110;第21卷(第6期);第60-64页 *
基于卷积神经网络的织物图像特征提取与检索研究进展;孙洁,等;《纺织学报》;20191215;第40卷(第12期);第146-151页 *
基于流形学习的图像检索研究进展;刘利,等;《北京交通大学学报》;20101031;第34卷(第5期);第164-171页 *

Also Published As

Publication number Publication date
CN113343019A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
US20220092351A1 (en) Image classification method, neural network training method, and apparatus
Zhang et al. Detection of co-salient objects by looking deep and wide
Girdhar et al. Learning a predictable and generative vector representation for objects
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
CN110796204B (zh) 视频标签确定方法、装置和服务器
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN111027576B (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
Zhai et al. One-shot object affordance detection in the wild
CN111967527B (zh) 一种基于人工智能牡丹品种识别方法及识别***
CN106844518A (zh) 一种基于子空间学习的不完整跨模态检索方法
Simran et al. Content based image retrieval using deep learning convolutional neural network
CN114692750A (zh) 一种细粒度图像分类方法、装置、电子设备及存储介质
CN116958148B (zh) 输电线路关键部件缺陷的检测方法、装置、设备、介质
CN113642602A (zh) 一种基于全局与局部标签关系的多标签图像分类方法
Lv et al. Retrieval oriented deep feature learning with complementary supervision mining
CN113343019B (zh) 一种结合浅层与深层特征的小样本丝织品图像检索方法
Mithun et al. Construction of diverse image datasets from web collections with limited labeling
CN113408546B (zh) 基于相互全局上下文注意力机制的单样本目标检测方法
CN114387489A (zh) 电力设备识别方法、装置和终端设备
Quinn et al. Active object localization in visual situations
Yang et al. Joint graph regularized extreme learning machine for multi-label image classification
Pei et al. Improved YOLOv5 for Dense Wildlife Object Detection
Wang et al. Insulator defect detection based on improved you-only-look-once v4 in complex scenarios
Xie et al. KSRFB-net: detecting and identifying butterflies in ecological images based on human visual mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant