CN111415221A - 基于可解释性卷积神经网络的服装推荐方法、装置及终端 - Google Patents

基于可解释性卷积神经网络的服装推荐方法、装置及终端 Download PDF

Info

Publication number
CN111415221A
CN111415221A CN202010193933.2A CN202010193933A CN111415221A CN 111415221 A CN111415221 A CN 111415221A CN 202010193933 A CN202010193933 A CN 202010193933A CN 111415221 A CN111415221 A CN 111415221A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
clothing
picture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010193933.2A
Other languages
English (en)
Other versions
CN111415221B (zh
Inventor
金书季
肖若水
漆爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010193933.2A priority Critical patent/CN111415221B/zh
Publication of CN111415221A publication Critical patent/CN111415221A/zh
Application granted granted Critical
Publication of CN111415221B publication Critical patent/CN111415221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及关于服装推荐的特征研究领域，特别涉及一种基于可解释性卷积神经网络的服装推荐方法、装置及终端，所述方法包括对图像进行预处理，将预处理后的图像分为训练集和验证集；构建卷积神经网络，并构建特征矩阵来提取采集的图像的服装特征；利用训练集对卷积神经网络进行端到端的迭代训练；用户将图片输入完成训练的卷积神经网络，卷积神经网络即可输出该图片的特征图，并将与用户输入图片特征图一致的服装推荐给用户；本发明将推荐服装的特征进行了可视化话，让客户明确的所喜欢的是服装上哪种特征，从而在为客户推送服装时能够更加准确，提升用户体验。

Description

基于可解释性卷积神经网络的服装推荐方法、装置及终端
技术领域
本发明涉及关于服装推荐的特征研究领域，特别涉及一种基于可解释性卷积神经网络的服装推荐方法、装置及终端。
背景技术
随着电子商务和服装市场的发展，大部分人都会选择在网上浏览一些自己感兴趣的衣服。但是很多人特别是部分缺乏审美的人，在面对满目琳琅的服装品牌时几乎无从下手。因此当客户在选择服装的时候，***能从海量的服装数据中筛选出有用的信息，提供给客户就显得十分有价值。
传统的推荐***是基于卷积神经网络实现的。其基本原理是通过卷积神经网络首先提取喜欢服装的特征，然后根据此特征再去检索同样具有此特征的服装，最后将检索到的服装推荐给客户。通过这样的推荐***，极大的提升了用户体验，也促进了服装市场的进一步发展。
但是这样的推荐***也存在诸多的不足：第一，卷积神经网络在提取特征的时候会结合上下文进行提取，即同一个过滤器可能同时提取多个特征，而其中某些特征是客户喜欢的，某些特征是客户不喜欢的。根据这些特征检索出来的服装误差很大。第二，***直接给出了推荐的结果，没有给出检索结果的依据，因此客户只能被动的接受推荐结果，无法从中学习提高审美，从而自主的去选择其他服装。
发明内容
为了让用户能够更准确地进行搜索，本发明提供一种基于可解释性卷积神经网络的服装推荐方法、装置及终端，所述方法，如图1，具体包括以下步骤：
对图像进行预处理，将预处理后的图像分为训练集和验证集；
构建卷积神经网络，并构建特征矩阵来提取采集的图像的服装特征；
利用训练集对卷积神经网络进行端到端的迭代训练；
用户将图片输入完成训练的卷积神经网络，卷积神经网络即可输出该图片的特征图，并将与用户输入图片特征图一致的服装推荐给用户。
进一步的，如图2，对图片进行预处理包括：
将图片进行缩放，使得图片中的服装特征部分大小一致；
将图片进行裁剪和填充，将所有图片通过裁剪和填充使得图片的服装特征部分居中且每张图片的大小一致。
进一步的，图像的服装特征的获取过程包括：
卷积神经网络的最后一个卷积层包括多个过滤器；
构建n×m+1个特征矩阵作为卷积神经网络的过滤器；
前n×m个特征矩阵分别对应采集的大小为n×m像素的图像中每个像素点处的特征，第n×m+1个特征矩阵表示图像中是否不存在待提取的特征；
利用训练集对卷积神经网络进行端到端的迭代训练过程中，利用卷积神经网络的反向传播过程，为每张图像选择特征矩阵，特征矩阵构成图像的服装特征。
进一步的，，利用训练集对卷积神经网络进行端到端的迭代训练过程中，卷积神经网络正向传播时的损失函数表示为：
Lossf＝-MI(X；T)；
其中，Lossf为卷积神经网络正向传播时的损失函数，X表示卷积神经网络的最后一个卷积层提取得到的特征图，T表示特征矩阵，MI(_)表示求信息熵运算。
进一步的，利用训练集对卷积神经网络进行端到端的迭代训练过程中，卷积神经网络反向传播的训练表示为：
Figure BDA0002416873270000021
其中，Loss表示卷积神经网络的总损失函数；xij表示特征图上第i行、第j列的像素点；Lossf表示特征图和特征矩阵配的损失函数；λ表示过滤器阈值；
Figure BDA0002416873270000031
表示的是预测结果是否正确的损失函数，
Figure BDA0002416873270000032
表示真实标签，
Figure BDA0002416873270000033
表示预测标签；k表示标签的类型。
本发明还提供一种基于可解释性卷积神经网络的服装推荐装置，其特征在于，包括数据采集模块、数据预处理模块、数据特征分析模块以及服装推荐模块，其中：
数据采集模块，用于采集训练数据以及待预测数据；
数据预处理模块，用于采集的图片进行缩放、裁剪和填充；
数据特征分析模块，用于根据带标签的训练数据训练卷积神经网络，并将不带标签的待预测数据输入完成训练的卷积神经网络得到特征图；
服装推荐模块，用于根据用户输入图片的特征图进行搜索，将与该特征图一致的服装推荐给用户。
进一步的，数据特征分析模块中的卷积神经网络包括输入层、多个卷积层以及输出层，其中最后一个卷积层与输出层连接，最后一个卷积层包括n×m+1个特征矩阵构成的过滤器，n×m为输入图像的像素大小，通过最后一个卷积层得到的特征图与特征模板进行哈达玛积。
本发明还提供一种基于可解释性卷积神经网络的服装推荐终端，其特征在于，该终端包括前述任一基于可解释性卷积神经网络的服装推荐装置，用户通过终端打包上传训练数据，待基于可解释性卷积神经网络的服装推荐装置的数据特征分析模块完成卷积神经网络的训练后，终端提示用户输入待预测的图片，完成训练的卷积神经网络根据用户输入的图片获得该图片的特征图，数据特征分析模块根据特征图获得与该特征图一致的图片，终端将获得的图片推送给用户。
进一步的，用户通过终端打包上传训练数据包括用户喜欢的服装图片和用户不喜欢的服装图片。
进一步的，终端拥有对基于可解释性卷积神经网络的服装推荐装置的恢复初始化权限。
本发明一方面将推荐服装的特征进行了可视化话，让客户明确的明白自己所喜欢的是服装上的那些样式和地方(即特征)，从而十分具体的了解到自己喜欢的衣服是具有那些特征；一方面本发明装置可以更精确的了解客户喜欢的服装，进而改进网络模型；另一方面为了保证可视化出来的特征具备就足够的清晰和说服力，提出了高层卷积层的特征矩阵与特征图进行哈达玛积，即保证每一个过滤器提取的特征都是服装上特定的特征。
附图说明
图1是本发明基于可解释性卷积神经网络的服装推荐方法流程图；
图2是本发明基于可解释性卷积神经网络的服装推荐方法进行图像预处理的流程图；
图3是本发明基于可解释性卷积神经网络的服装推荐方法中特征矩阵和特征图进行匹配的示意图；
图4是本发明基于可解释性卷积神经网络的服装推荐终端的实施例流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于可解释性卷积神经网络的服装推荐方法，具体包括以下步骤：
对图像进行预处理，将预处理后的图像分为训练集和验证集；
构建卷积神经网络，并构建特征矩阵来提取采集的图像的服装特征；
利用训练集对卷积神经网络进行端到端的迭代训练；
用户将图片输入完成训练的卷积神经网络，卷积神经网络即可输出该图片的特征图，并将与用户输入图片特征图一致的服装推荐给用户。
在本实施例中，对所采集的具有喜欢和不喜欢标签的图形进行预处理，使图像的大小，形状，等符合设计的卷积神经网络结构，另外随机去除70％的图像作为训练集，预处理后的图像通过深度学习工具TensorFlow开源框架的工具包制成TensorFlow能够处理的格式。
进一步的，预处理包括：
将图片进行缩放，使得图片中的服装特征部分大小一致；
将图片进行裁剪和填充，将所有图片通过裁剪和填充使得图片的服装特征部分居中且每张图片的大小一致。
在本实施例中，构建卷积神经网络时，搭建一个从输入到输出的迭代模型，并且设置网络中间隐藏层层数，每层功能，每层卷积核大小和数量，每一层的激活函数，以及特征矩阵，同时还设置适当的学习率，学习率下降算法，误差优化算法，参数更新算法。
将与预处理好的训练数据集导入到卷积神经网络中，驱动神经网络进行端到端的训练。在训练的过程中，网络中各隐藏层自动学习输入服装图像的特征，并根据误差优化算法调整卷积核的参数和权重。在参数的调整过程中，过滤器从图像特征中学习，在拟合的过程中特征矩阵与过滤器提取的特征图进行哈达玛积，特征模板是在卷积神经网络正向传播过程中训练学习得到的，特征图学习到喜欢的服装特征，实现对喜欢的服装特征的学习；训练完毕后，过滤器就能从输入的图像中找到客户喜欢服装特征，实现了神经网络对喜欢服装特征的学习。如图3，每一个卷积层上都有多个过滤器，为每个过滤器设定一个损失函数，而每一个过滤器对应着它卷积后得到的特征图。向上的箭头，表示的是正向传播算法，提取图像特征；向下的箭头，表示的是反向传播，优化参数。即向上和向下的箭头都是用来训练网络的。
在本实施例中，给出一个具体的卷积神经网络结构，包括：
第一层卷积层：filters＝64,kernel_size＝(3,3)；
第二层卷积层：filters＝64,kernel_size＝(3,3)；
第三层最大池化层：pool_size＝(2,2),Strides＝(2,2)；
第四层卷积层：filters＝128,kernel_size＝(3,3)；
第五层卷积层：filters＝128,kernel_size＝(3,3)；
第六层最大池化层：pool_size＝(2,2),Strides＝(2,2)；
第七层卷积层：filters＝256,kernel_size＝(3,3)；
第八层卷积层：filters＝256,kernel_size＝(3,3)；
第九层卷积层：filters＝256,kernel_size＝(1,1)；
第十层最大池化层：pool_size＝(2,2),Strides＝(2,2)；
第十一层卷积层：filters＝512,kernel_size＝(3,3)；
第十二层卷积层：filters＝512,kernel_size＝(3,3)；
第十三层卷积层：filters＝512,kernel_size＝(1,1)；
第十四层最大池化层：pool_size＝(2,2),Strides＝(2,2)；
第十五层全连接层：Dense＝2048,dropout＝0.5,激活函数：Relu；
第十六层全连接层：Dense＝1024,dropout＝0.5,激活函数：Relu；
第十七层全连接层：Dense＝2,激活函数：softmax；
每层卷积层的激活函数都是Relu激活函数；
以上神经网络结构中，第一到第六层属于底层，提取的都是颜色、纹理、形状这种低级特征，第七到第十层提取的是提取的中间语义，即不完整的语义特征，第十三卷积层得到的特征图需要和特征模板进行哈达玛积过滤噪音，保证该层卷积层里面的过滤器表示唯一特征；第十五到第十六层全连接层的作用是防止过拟合；第十七层全连接层作为分类器使用，输出预测结果是否为客户喜欢的服装，当预测结果为是喜欢服装时，即可视化第九层的特征图，特征图上即展示了提取服装特征即预测为喜欢的依据，因此可视化特征图展示给客户，客户即可明白推荐***是怎么推荐的。
当卷积神经网络模型在训练过程中，训练误差在逐渐降低时则表明神经网络正在学习特征，当误差降到可接受范围时，结束训练。
在训练过程中，利用训练集对卷积神经网络进行端到端的迭代训练过程中，卷积神经网络正向传播时的损失函数表示为：
Lossf＝-MI(X；T)；
其中，Lossf为卷积神经网络正向传播时的损失函数，X表示卷积神经网络的最后一个卷积层提取得到的特征图，T表示特征矩阵，MI(_)表示求信息熵运算。
利用训练集对卷积神经网络进行端到端的迭代训练过程中，卷积神经网络反向传播的训练表示为：
Figure BDA0002416873270000071
其中，Loss表示卷积神经网络的总损失函数；xij表示特征图上第i行、第j列的像素点；Lossf表示特征图和特征矩阵配的损失函数；λ表示过滤器阈值；
Figure BDA0002416873270000072
表示的是预测结果是否正确的损失函数，
Figure BDA0002416873270000073
表示真实标签，
Figure BDA0002416873270000074
表示预测标签；k表示标签的类型，本实施例中标签的类型分为两类，即用户标记的喜欢和不喜欢，当k＝1时表示用户喜欢的标签，当k＝2时表示用户不喜欢的标签。
进一步的，本发明卷积神经网络的总损失函数表示为：
Loss＝λLossf+L；
其中，L为平方损失函数，表示为
Figure BDA0002416873270000075
保存好训练好的网络模型和参数，使用验证集验证模型识别图像的准确率，此准确率为模型的准确率，越准确说明最后得到的可视化喜欢服装特征越可信。
客户可以使用新的喜欢的服装图像作为输入，将其输入到保存的模型中进行计算，模型分析出客户喜欢服装的特征，并可视化其特征。
本实施例还提供一种基于可解释性卷积神经网络的服装推荐装置，包括数据采集模块、数据预处理模块、数据特征分析模块以及服装推荐模块，其中：
数据采集模块，用于采集训练数据以及待预测数据；
数据预处理模块，用于采集的图片进行缩放、裁剪和填充；
数据特征分析模块，用于根据带标签的训练数据训练卷积神经网络，并将不带标签的待预测数据输入完成训练的卷积神经网络得到特征图；
服装推荐模块，用于根据用户输入图片的特征图进行搜索，将与该特征图一致的服装推荐给用户。
在本实施例中，进一步对数据预处理模块进行说明。数据预处理模块，用于采集的图片进行缩放、裁剪和填充，在实际操作中，由于图像是从网上采集的，因此图像的大小不统一，并且还需要将图像裁剪到设计的卷积神经网络能处理的大小，统一图像的大小为299*299，单位是像素。有时有些图像靠近边框，那么就需要对图像内容靠边一方进行补充，不靠边的一方进行裁剪，即令图片中服装部分位于图像的中心位置。最后调整整个图像到299*299。
在数据特征分析模块中，卷积神经网络提取特征时，较低层提取的特征是属于颜色、纹理、形状，而高层的卷积层提取的特征是具有语义的。简单来讲底层的特征无法看清楚提取的特征具体是什么，而高层的特征是人们能够看明白的服装特征，本发明中所述的服装特征是指组成一件衣服的重要部分，例如一件衣服的衣领、袖口，或者衣服某个部位的装饰，将图像中这些服装特征提取出来，作为服装特征，一张图片可以包含多个服装特征。
为了能够有效提取到这些特征，本发明数据特征分析模块包括一个有输入层、多个卷积层以及输出层的卷积神经网络，卷积神经网络的输入层、多个卷积层以及输出层依次连接，最后一个卷积层与输出层连接，且该卷积层包括n×m+1个特征矩阵构成的过滤器，n×m为输入图像的像素大小，n×m为预处理之后的图片大小。
在对卷积神经网络进行训练的过程中，每个过滤器均分别设置有一个损失函数，即每个过滤器正向传播过程的损失函数独立，该损失函数表示为：
Lossf＝-MI(X；T)；
其中，Lossf为卷积神经网络正向传播时的损失函数，X表示卷积神经网络的最后一个卷积层提取得到的特征图，T表示特征矩阵，MI(_)表示求信息熵运算。
在对卷积神经网络进行训练的过程中，反向传播时，不仅要考虑到最后任务的准确性，也要考虑特征矩阵和过滤器匹配的适合，因此反向传播采用的损失函数表示为：
Figure BDA0002416873270000091
其中，Loss表示；xij表示；Lossf表示特征图和特征矩阵配的损失函数；λ表示过滤器阈值；
Figure BDA0002416873270000092
表示的是预测结果是否正确的损失函数，
Figure BDA0002416873270000093
表示真实标签，
Figure BDA0002416873270000094
表示预测标签；k表示标签的类型。
本发明还提供一种基于可解释性卷积神经网络的服装推荐终端，该终端包括前述的任一基于可解释性卷积神经网络的服装推荐装置，如图4，用户通过终端打包上传训练数据，待基于可解释性卷积神经网络的服装推荐装置的数据特征分析模块完成卷积神经网络的训练后，终端提示用户输入待预测的图片，完成训练的卷积神经网络根据用户输入的图片获得该图片的特征图，数据特征分析模块根据特征图获得与该特征图一致的图片，终端将获得的图片推送给用户。
用户通过终端选择上传两种类型的图片，一类为用户喜欢的图片，另一类是用户不喜欢的图片。
进一步的，终端在给出搜索到的图片时，会给出搜索的服装特征依据，若用户不喜欢该搜索出的图片，可以通过终端将该图片列为不喜欢，基于可解释性卷积神经网络的服装推荐装置中的数据特征分析模块进一步对卷积神经网络进行参数优化。
另外，服装随着时间会有不同的流行趋势，服装特征变化较快，因此，该终端还设置有对基于可解释性卷积神经网络的服装推荐装置的恢复初始化权限，使用该权限后，用户需要重新上传图片，重新初始化基于可解释性卷积神经网络的服装推荐装置。
优选的，在本实施例中，采用的卷积神经网络为Fast R-CNN。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.基于可解释性卷积神经网络的服装推荐方法，其特征在于，具体包括以下步骤：
对图像进行预处理，将预处理后的图像分为训练集和验证集；
构建卷积神经网络，并构建特征矩阵来提取采集的图像的服装特征；
利用训练集对卷积神经网络进行端到端的迭代训练；
用户将图片输入完成训练的卷积神经网络，卷积神经网络即可输出该图片的特征图，并将与用户输入图片特征图一致的服装推荐给用户。
2.根据权利要求1所述的基于可解释性卷积神经网络的服装推荐方法，其特征在于，对图片进行预处理包括：
将图片进行缩放，使得图片中的服装特征部分大小一致；
将图片进行裁剪和填充，将所有图片通过裁剪和填充使得图片的服装特征部分居中且每张图片的大小一致。
3.根据权利要求1所述的基于可解释性卷积神经网络的服装推荐方法，其特征在于，图像的服装特征的获取过程包括：
卷积神经网络的最后一个卷积层包括多个过滤器；
构建n×m+1个特征矩阵作为卷积神经网络的过滤器；
前n×m个特征矩阵分别对应采集的大小为n×m像素的图像中每个像素点处的特征，第n×m+1个特征矩阵表示图像中是否不存在待提取的特征；
利用训练集对卷积神经网络进行端到端的迭代训练过程中，利用卷积神经网络的反向传播过程，为每张图像选择特征矩阵，特征矩阵构成图像的服装特征。
4.根据权利要求1所述的基于可解释性卷积神经网络的服装推荐方法，其特征在于，利用训练集对卷积神经网络进行端到端的迭代训练过程中，卷积神经网络正向传播时的损失函数表示为：
Lossf＝-MI(X；T)；
其中，Lossf为卷积神经网络正向传播时的损失函数，X表示卷积神经网络的最后一个卷积层提取得到的特征图，T表示特征矩阵，MI(_)表示求信息熵运算。
5.根据权利要求1所述的基于可解释性卷积神经网络的服装推荐方法，其特征在于，利用训练集对卷积神经网络进行端到端的迭代训练过程中，卷积神经网络反向传播的训练表示为：
Figure FDA0002416873260000021
其中，Loss表示卷积神经网络的总损失函数；xij表示特征图上第i行、第j列的像素点；Lossf表示特征图和特征矩阵配的损失函数；λ表示过滤器阈值；
Figure FDA0002416873260000022
表示的是预测结果是否正确的损失函数，
Figure FDA0002416873260000023
表示真实标签，
Figure FDA0002416873260000024
表示预测标签；k表示标签的类型。
6.基于可解释性卷积神经网络的服装推荐装置，其特征在于，包括数据采集模块、数据预处理模块、数据特征分析模块以及服装推荐模块，其中：
数据采集模块，用于采集训练数据以及待预测数据；
数据预处理模块，用于采集的图片进行缩放、裁剪和填充；
数据特征分析模块，用于根据带标签的训练数据训练卷积神经网络，并将不带标签的待预测数据输入完成训练的卷积神经网络得到特征图；
服装推荐模块，用于根据用户输入图片的特征图进行搜索，将与该特征图一致的服装推荐给用户。
7.根据权利要求6所述的基于可解释性卷积神经网络的服装推荐装置，其特征在于，数据特征分析模块中的卷积神经网络包括输入层、多个卷积层以及输出层，其中最后一个卷积层与输出层连接，最后一个卷积层包括n×m+1个特征矩阵构成的过滤器，n×m为输入图像的像素大小，通过最后一个卷积层得到的特征图与特征模板进行哈达玛积。
8.基于可解释性卷积神经网络的服装推荐终端，其特征在于，该终端包括权利要6～7所述的任一基于可解释性卷积神经网络的服装推荐装置，用户通过终端打包上传训练数据，待基于可解释性卷积神经网络的服装推荐装置的数据特征分析模块完成卷积神经网络的训练后，终端提示用户输入待预测的图片，完成训练的卷积神经网络根据用户输入的图片获得该图片的特征图，数据特征分析模块根据特征图获得与该特征图一致的图片，终端将获得的图片推送给用户。
9.根据权利要求8所述的基于可解释性卷积神经网络的服装推荐终端，其特征在于，用户通过终端打包上传训练数据包括用户喜欢的服装图片和用户不喜欢的服装图片。
10.根据权利要求8所述的基于可解释性卷积神经网络的服装推荐终端，其特征在于，终端拥有对基于可解释性卷积神经网络的服装推荐装置的恢复初始化权限。
CN202010193933.2A 2020-03-19 2020-03-19 基于可解释性卷积神经网络的服装推荐方法、装置及终端 Active CN111415221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010193933.2A CN111415221B (zh) 2020-03-19 2020-03-19 基于可解释性卷积神经网络的服装推荐方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010193933.2A CN111415221B (zh) 2020-03-19 2020-03-19 基于可解释性卷积神经网络的服装推荐方法、装置及终端

Publications (2)

Publication Number Publication Date
CN111415221A true CN111415221A (zh) 2020-07-14
CN111415221B CN111415221B (zh) 2023-04-07

Family

ID=71491221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010193933.2A Active CN111415221B (zh) 2020-03-19 2020-03-19 基于可解释性卷积神经网络的服装推荐方法、装置及终端

Country Status (1)

Country Link
CN (1) CN111415221B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616018A (zh) * 2014-12-09 2015-05-13 四川大学 一种基于改进的 Hopfield 神经网络的服装标志识别方法
CN105117739A (zh) * 2015-07-29 2015-12-02 南京信息工程大学 一种基于卷积神经网络的服装分类方法
CN107392085A (zh) * 2017-05-26 2017-11-24 上海精密计量测试研究所 可视化卷积神经网络的方法
US20190095807A1 (en) * 2011-05-24 2019-03-28 Ebay Inc. Image-based popularity prediction
CN110210567A (zh) * 2019-06-06 2019-09-06 广州瑞智华创信息科技有限公司 一种基于卷积神经网络的服装图像分类与检索方法及***
CN110209860A (zh) * 2019-05-13 2019-09-06 山东大学 一种模板引导的基于服装属性的可解释服装搭配方法及装置
CN110246011A (zh) * 2019-06-13 2019-09-17 中国科学技术大学 可解释时尚服装个性化推荐方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190095807A1 (en) * 2011-05-24 2019-03-28 Ebay Inc. Image-based popularity prediction
CN104616018A (zh) * 2014-12-09 2015-05-13 四川大学 一种基于改进的 Hopfield 神经网络的服装标志识别方法
CN105117739A (zh) * 2015-07-29 2015-12-02 南京信息工程大学 一种基于卷积神经网络的服装分类方法
CN107392085A (zh) * 2017-05-26 2017-11-24 上海精密计量测试研究所 可视化卷积神经网络的方法
CN110209860A (zh) * 2019-05-13 2019-09-06 山东大学 一种模板引导的基于服装属性的可解释服装搭配方法及装置
CN110210567A (zh) * 2019-06-06 2019-09-06 广州瑞智华创信息科技有限公司 一种基于卷积神经网络的服装图像分类与检索方法及***
CN110246011A (zh) * 2019-06-13 2019-09-17 中国科学技术大学 可解释时尚服装个性化推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
傅夏生;林毅;: "基于Hopfield网络的服装品牌标志识别" *
范荣: "基于卷积神经网络的服装种类识别", 《现代计算机(专业版)》 *

Also Published As

Publication number Publication date
CN111415221B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Zhao et al. Classifying airborne LiDAR point clouds via deep features learned by a multi-scale convolutional neural network
US20210256320A1 (en) Machine learning artificialintelligence system for identifying vehicles
CN110533097B (zh) 一种图像清晰度识别方法、装置、电子设备及存储介质
CN105631479B (zh) 基于非平衡学习的深度卷积网络图像标注方法及装置
US10459975B1 (en) Method and system for creating an automatic video summary
CN107330750B (zh) 一种推荐产品配图方法及装置，电子设备
KR20190117584A (ko) 스트리밍 비디오 내의 객체를 검출하고, 필터링하고 식별하기 위한 방법 및 장치
CN104462494B (zh) 一种基于无监督特征学习的遥感图像检索方法及***
CN104715023A (zh) 基于视频内容的商品推荐方法和***
CN108230007A (zh) 一种用户意图的识别方法、装置、电子设备及存储介质
CN111984824A (zh) 一种基于多模态的视频推荐方法
CN115248876B (zh) 基于内容理解的遥感影像统筹推荐方法
EP3639190A1 (fr) Procede d'apprentissage de descripteurs pour la detection et la localisation d'objets dans une video
CN115222896B (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
CN115687760A (zh) 一种基于图神经网络的用户学习兴趣标签预测方法
CN115080865A (zh) 基于多维数据分析的电商数据运营管理***
CN115238188A (zh) 一种对象推荐方法和***及对象推荐模型***
CN107622071B (zh) 通过间接相关反馈在无查源下的衣服图像检索***及方法
WO2024078411A1 (zh) 一种数据处理方法及其装置
CN110147464B (zh) 视频推荐方法、装置、电子设备及可读存储介质
CN111415221B (zh) 基于可解释性卷积神经网络的服装推荐方法、装置及终端
CN116703523A (zh) 基于大数据的电子商务***及其方法
CN114064973B (zh) 视频新闻分类模型建立方法、分类方法、装置及设备
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
CN110399527B (zh) 影视推荐方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant