CN110413825B - 面向时尚电商的街拍推荐*** - Google Patents
面向时尚电商的街拍推荐*** Download PDFInfo
- Publication number
- CN110413825B CN110413825B CN201910540197.0A CN201910540197A CN110413825B CN 110413825 B CN110413825 B CN 110413825B CN 201910540197 A CN201910540197 A CN 201910540197A CN 110413825 B CN110413825 B CN 110413825B
- Authority
- CN
- China
- Prior art keywords
- electronic commerce
- layer
- fashion
- classification
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000007637 random forest analysis Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Strategic Management (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Development Economics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种结合人物检测的面向时尚街拍的电商推荐***，包括图像特征提取和检索模块，基于卷积神经网络进行特征提取，用于建立特征集，构造最近邻搜索图；人物目标检测模块，用于识别目标人物在街拍中的位置；人物图像分割模块，用于将含有人物图像的轮廓分割出来；相似搜索模块用于按照用户上传图像的特征预测在电商数据中最相似的多件商品，本发明能够部署在面向时尚服装的电商网站中，有效地提高服装图像搜索的识别率和准确度，对时尚领域的电商购买转化率的提高有着显著的作用。
Description
技术领域
本发明涉及时尚商品推荐与检索技术领域，主要涉及一种融合商品分类、目标检测和图像分割的相似图片检索与推荐***。
背景技术
时尚产业是一个价值几十亿美元的重要产业，在数据时代，用户对时尚的要求不仅仅局限于图片、文字和视频，用户对商品的认知以及与数据的交互成为了用户踏入时尚产业的关键因素。随着大量结构化数据和可索引的数据存储的普及，用户的交互在网站愈发重要，时尚电商已经不再仅仅作为一种呈现方式，而更是一种与用户日程生活紧密联系的互动过程。
随着时尚电商网站的迅速发展，用户对于商品的需求日渐多样化和精细化，对于许多用户目标商品，已经不能再简单的使用语言来描述，如服装精细的花纹、制作精美的工艺产品、独具创意的形状的鞋等。使用手机一键拍照网上购物具有独特的商业价值，是一种更加直观和方便的购物体验，也是移动互联网时代连接线上线下的重要渠道。使用深度学习相关的图像技术，相比传统技术，能够显著提高电商网站的检索和推荐质量，通过卷积神经网络等方法准确识别用户需求，提高购买转化率已经是业界必备的技术，对于用户自定义图像识别准确率方面的提升能够非常明显的反映在点击、浏览和购买的比率上，从转化率的提升计算，该技术已经为淘宝等网站创造了数百万的利润，并仍在快速进步中。
发明内容
本发明的目的是：能够结合人物检测的面向时尚街拍的电商推荐***，能够满足在日常场景的街拍中准确识别出人物所在的位置，并切割出人物的轮廓，并在现有电商的数据中进行搜索，满足客户对于时尚产业产品多样化、个性化的要求，促进电商平台在时尚领域的购买率。
为了达到上述目的，本发明的技术方案是一种面向时尚电商的街拍推荐***，其特征在于，包括：
离线时尚电商数据集构建模块，获取公开的电商平台数据的子集，电商平台数据包括图像和商品文字信息，将子集中某些关键项有空缺的电商平台数据删除，并按照其中的一级分类进行归类，并剔除与时尚无关的商品，最终获得完整的时尚电商数据集；
实时特征提取和最近邻搜索模块，使用卷积神经网络ResNet对时尚电商数据集进行特征提取，卷积神经网络ResNet的最后一层Softmax去除，增加需要的512维全连接层，使用ImageNet进行模型迁移，在特征提取完成后，将特征组成的数据集依次***由Hnswlib算法定义的图结构中，最终根据商品分类建立不同的图数据，并保存在文件中；
人物识别与背景噪声分离模块，用户向人物识别与背景噪声分离模块输入街拍图片，由人物识别与背景噪声分离模块对用户输入的街拍图片进行预处理，通过Faster RCNN模块将街拍图片中背景和关键人物区分开来，使得能够将整体人物框定并切割开来，再使用Faster FCN网络进行背景的噪声处理，使得能够将整体人物的轮廓完整的呈现出来；
时尚商品分类模块，使用电商平台分类数据进行分类器训练，训练数据为预先分类好的商品图片数据经由ResNet特征提取以后组成的数据集，分类器的类型是随机森林分类器，并对其参数进行调优，最后建立前端基于HighChart的分类动态图表，可视化地展示其分类结果。
优选地，所述人物识别与背景噪声分离模块中，所述Faster FCN网络的作用是通过其RPN和分类器网络进行图像选择框的框定和类别的识别，类别定义为人后即可识别人物位置，FCN则是通过上采样和下采样进行像素级别的图像分类，将人轮廓内的像素识别为人物的类别，并去除背景的噪声。
优选地，所述Faster RCNN模块包括：卷积层，用于提取服装图像的特征映射，该特征图被后续的RPN层和全连接层共享；RPN层，通过SoftMax激活函数判断检测框属于前景或者背景，再利用边框回归修正检测框得到候选区；池化层，用于输入卷积层的特征映射和RPN层的候选区，结合二者的信息提取出候选特征图；分类器层，利用提取出的候选特征图计算候选区的类别，同时再次边框回归获得检测框最终的精确位置得到服装图像的人像的位置。
优选地，所述Faster FCN网络包括：全卷积层、分类器层、上采样层，其中，全卷积层用于提取服装图像的特征；分类器层用来捕获语义/上下文信息，使用类似图像分类的手段来解释上下文的含义；上采样层用来恢复原图片的位置信息，精确定位每一个像素点的位置。
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：
本发明使用了卷积神经网络ResNet实现了特征的提取，并构建了整体的特征提取-相似搜索流程，相较于传统SIFT算法有着训练方便、精确度高、对形变和色调变化容忍度高、泛用性好可迁移的特点；最近邻搜索使用HNSW算法，其搜索效率在近年的评测中处于首位，能够相较传统KNN算法极大的提高搜索效率，同时使用低内存使用的实现版本Hnswlib，能够显著降低内存不足的问题；本发明也提出了一种基于目标检测和图像分割的图像预处理步骤，使用Faster RCNN进行人物检测，FCN进行图像分割，最终达到清晰准确的识别关键人物的并将背景完全去除的作用，经测试能够显著提高推荐的质量，减少错误识别的可能；同时本发明的分类模块能够再识别类别的基础上进行搜索，将搜索的数据量减少了一个数量级，提高了速度的同时减少了错误推荐类外商品的可能。本发明结合了深度学习、相似性检索、服务器应用开发等知识，为时尚领域图像数据的结构化、相似性推荐的智能化做出了贡献，并提升了用户的参与度和互动感，为时尚领域的信息化做出了贡献。
附图说明
图1为本发明的总体框图；
图2为时尚商品图像数据集制作模块框图；
图3为时尚商品人物检测模块基本结构图；
图4为时尚商品自动分类模块框图；
图5为时尚商品相似性推荐模块框图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种面向电商的街拍推荐***，包括：1)离线时尚电商数据集构建模块。首先取得公开的电商平台数据的子集(约50万)，对其进行基本的预处理，其中包括图像和商品文字信息，将其中某些关键项有空缺的数据删除，并按照其中的一级分类进行归类，并剔除与时尚无关的商品，最终制作一个完整的时尚电商数据集。2)实时特征提取和最近邻搜索模块，与以往的检索***使用SIFT等方法进行特征提取不同，这里使用ResNet进行，将ResNet最后一层的Softmax去除，增加需要的512维全连接层。这里使用ImageNet进行模型迁移，使得模型能够对图像分类有较好的识别度。在特征提取完成后，将特征组成的数据集依次***由Hnswlib算法定义的图结构中，最终根据商品分类建立不同的图数据，并保存在文件中。3)人物识别与背景噪声分离模块。为了获得信噪比更高的输入图像，对用户输入的图片进行预处理。通过Faster RCNN模块进行背景和关键人物的区分，使得能够将整体人物框定并切割开来，使用FCN网络进行背景的噪声处理，使得能够将整体人物的轮廓完整的呈现出来。这里Faster RCNN的作用是通过其RPN和分类器网络进行图像选择框的框定和类别的识别，类别定义为人后即可识别人物位置。FCN则是通过上采样和下采样进行像素级别的图像分类，将人轮廓内的像素识别为人物的类别，并去除背景的噪声。4)时尚商品自动分类模块。通过预先提取的特征数据和类别数据进行分类器的训练。首先划分训练集，验证集和测试集，比例约为7：2：1，将分类数据处理为X:y的格式并做好标注，尝试不同分类模型进行训练，这里使用随机森林分类器，在estimator＝100，并使用L2正则的时候能够达到较好效果。
结合图1，本实施方式的总体框架主要分为四大模块。离线模块进行数据的预处理和查找图的建立，首先多线程地获取商品图像及相应的数据，对其根据时尚的不同领域进行分类，对残缺数据进行清理，并最终通过Hnswlib建立搜索图，在服务器端口开放前将模型，搜索图和商品信息数据放入内存。接着为在线模块，使用PIL模块进行图片的缩放，将用户上传的图片进行归一化，接着进入任务识别模块，调用Mxnet中的Faster-RCNN模型对归一化以后的图片进行处理，将任务位置进行剪切和保存，再调用Mxnet中的FCN模块进行人物的噪声去除，将人物轮廓以外的部分置为白色，预处理完成后进行调用Mxnet中的Resnet模块进行特征提取，接着进入商品分类模块，将提取好的特征放入预先训练好的随机森林分类器中，并将预测结果依概率形式展现。选择概率最高的一个或者两个分类，读取在内存中的查找图文件，并进行相似性搜索，最终得到用户需要的商品并以图片的形式返回。
如图2所示，离线步骤是这个本实施方式实现的第一步，也是关系到本发明正常运转的基础。这个构成步骤如下：
步骤1：对时尚商品数据集进行调研，确定能够满足图像质量好、分类完善、数据缺失少的数据集；
步骤2：多线程获取步骤1中的数据集中的图片以及商品信息；
步骤3：将商品信息进行数据清洗与预分类；
步骤4：调用Mxnet进行商品图片的特征提取；
步骤5：根据分类使用Hnswlib建立相应的搜索图；
步骤6：执行步骤5后得到每一种分类的搜索图并加载到内存。
如图3所示，基于faster-RCNN算法和FCN算法，对输入的用户街拍进行图像预处理。其中，faster-RCNN主要包括四个内容：卷积、池化、RPN层和池化层。卷积层为基于CNN的网络，所以在特征提取与传统CNN无异，Faster RCNN使用基础的卷积层+激活层+采样层来提取服装图像的特征映射。该特征映射被后续的RPN和全连接层共享。RPN用于生成候选区，也即生成服装图像的前景(也即人像的建议区域)，该层通过SoftMax激活函数判断检测框属于前景还是背景，再利用边框回归修正检测框获得精确的候选区。池化层输入卷积层的特征映射和RPN层的候选区，结合二者的信息提取出候选区的特征，接着输入到全连接层判定目标类别。分类器层。利用池化层提取出的候选区的特征计算候选区的类别，同时再次边框回归获得检测框最终的精确位置，也即服装图像的人像的位置。
其中的FCN主要包括四个内容：卷积层，池化层，预测层和上采样。在这种架构中不使用紧密层。这减少了参数的数量和计算时间。此外，因为所有连接都是本地的，在任何阶段都不需要任何固定数量的单元，所以无论原始图像大小如何，网络都可以正常运行。为了获得分割图(输出)，分割网络通常有两部分，下采样路径用来捕获语义/上下文信息，使用类似图像分类的手段来解释上下文的含义。上采样路径用来恢复原图片的位置信息，精确定位每一个像素点的位置。FCN还常常使用跨越层级的连接，将来自下采样路径的特征映射与来自上采样路径的特征映射连接或求和来传输本地信息。这样能够有助于将分类的信息与空间信息相结合。
如图4所示，基于卷积神经网络，将提取的特征进行分类并制作成为训练数据集，通过训练一个分类器来进行图像的自动分类，使得能够在相应分类的查找图中进行搜索。训练过程中数据X即为提取后的高维特征，标签y则为相应的分类。所使用的分类器为随机森林分类器，其训练方式为：输入训练集D＝{(x1,y1),(x2,y2)…(xn,yn)}与样本子集的个数T，输出最强的分类器，对t＝1,2,3…n,从样本中随机抽取m个样本点，得到一个训练集Dt；用训练集Dt训练一个CART决策树，这里在训练的过程中，对每个结点的切分规则是先从所有特征中随机选择的k个特征，然后在这k个特征中再次选择左右子树的划分。这里目标是分类，即最终类别为样本点到最终点使用叶节点投票最多的类别。随机森林的优势是每棵树的训练样本是随机的，树中每个节点的分类属性也是随机的，能够尽可能好的达到训练效果。
如图5所示，在相似性搜索模块使用的是HNSW算法，是一种基于图的最近邻搜索算法。这个算法基于先前的NSW(navigable small world)算法进行了优化，使用了一个跳表结构将多个多维向量按照图的结构划分为许多层，从顶到底构造一个层次化结构，最大的层数由以指数衰减的概率分布随机选择，在搜索时，从最顶端的层级开始，并且逐步向下延展。这样的方式极大的提高了高召回率和高度集群数据的性能。其中主要的算法为建立图结构以后的查询方法，如以下所示。
本发明利用了强大的神经网络技术对现有的图像检索***进行了改进，通过现有的电商数据集构建了完整的时尚商品推荐***，相比传统特征提取技术减少了人工的工作量，并且能够对于缩放、环境和光线的变化有着更好的适应性。本发明中使用了目标检测和图像分割的方式进行人物检测，极大的解决了传统街拍搜索最中因为目标位置偏差和背景干扰导致的推荐失败和精确度下降的问题。本发明同时训练了一个自动分类器，使用时尚领域的商品数据将不同类别的图像进行区分，解决了以往分类数目过多搜索时间长和类别错误的问题。使用随机森林分类器也能够解决类别不均衡带来的训练误差。本发明结合计算机图论、深度学习、图像处理等技术，极大地提高了时尚电商街拍推荐的准确率和效率，促进了时尚领域基于图像推荐的智能化。
Claims (3)
1.一种面向时尚电商的街拍推荐***，其特征在于，包括：
离线时尚电商数据集构建模块，获取公开的电商平台数据的子集，电商平台数据包括图像和商品文字信息，将子集中某些关键项有空缺的电商平台数据删除，并按照其中的一级分类进行归类，并剔除与时尚无关的商品，最终获得完整的时尚电商数据集；
实时特征提取和最近邻搜索模块，使用卷积神经网络ResNet对时尚电商数据集进行特征提取，卷积神经网络ResNet的最后一层Softmax去除，增加需要的512维全连接层，使用ImageNet进行模型迁移，在特征提取完成后，将特征组成的数据集依次***由Hnswlib算法定义的图结构中，最终根据商品分类建立不同的图数据，并保存在文件中；
人物识别与背景噪声分离模块，用户向人物识别与背景噪声分离模块输入街拍图片，由人物识别与背景噪声分离模块对用户输入的街拍图片进行预处理，通过Faster RCNN模块将街拍图片中背景和关键人物区分开来，使得能够将整体人物框定并切割开来，再使用FCN网络进行背景的噪声处理，使得能够将整体人物的轮廓完整的呈现出来；所述FCN网络包括：全卷积层、分类器层、上采样层，其中，全卷积层用于提取服装图像的特征；分类器层用来捕获语义/上下文信息，使用类似图像分类的手段来解释上下文的含义；上采样层用来恢复原图片的位置信息，精确定位每一个像素点的位置；
时尚商品分类模块，使用电商平台分类数据进行分类器训练，训练数据为预先分类好的商品图片数据经由ResNet特征提取以后组成的数据集，分类器的类型是随机森林分类器，并对其参数进行调优，最后建立前端基于HighChart的分类动态图表，可视化地展示其分类结果；将经过人物识别与背景噪声分离模块提取好的特征放入预先训练好的随机森林分类器中，并将预测结果依概率形式展现，其中，选择概率最高的一个或者两个分类，读取在内存中的搜索图文件，并进行相似性搜索，最终得到用户需要的商品并以图片的形式返回，其中，获得每一种分类的搜索图包括以下步骤：
步骤1：对时尚商品数据集进行调研，利用离线时尚电商数据集构建模块获得完整的时尚电商数据集；
步骤2：多线程获取步骤1中的数据集中的图片以及商品信息；
步骤3：将商品信息进行数据清洗与预分类；
步骤4：利用实时特征提取和最近邻搜索模块进行商品图片的特征提取；
步骤5：根据分类使用Hnswlib建立相应的搜索图；
步骤6：执行步骤5后得到每一种分类的搜索图并加载到内存。
2.如权利要求1所述的一种面向时尚电商的街拍推荐***，其特征在于，所述人物识别与背景噪声分离模块中，所述Faster RCNN网络的作用是通过其RPN和分类器网络进行图像选择框的框定和类别的识别，类别定义为人后即可识别人物位置，FCN则是通过上采样和下采样进行像素级别的图像分类，将人轮廓内的像素识别为人物的类别，并去除背景的噪声。
3.如权利要求1所述的一种面向时尚电商的街拍推荐***，其特征在于，所述FasterRCNN模块包括：卷积层，用于提取服装图像的特征映射，该特征图被后续的RPN层和全连接层共享；RPN层，通过SoftMax激活函数判断检测框属于前景或者背景，再利用边框回归修正检测框得到候选区；池化层，用于输入卷积层的特征映射和RPN层的候选区，结合二者的信息提取出候选特征图；分类器层，利用提取出的候选特征图计算候选区的类别，同时再次边框回归获得检测框最终的精确位置得到服装图像的人像的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910540197.0A CN110413825B (zh) | 2019-06-21 | 2019-06-21 | 面向时尚电商的街拍推荐*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910540197.0A CN110413825B (zh) | 2019-06-21 | 2019-06-21 | 面向时尚电商的街拍推荐*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110413825A CN110413825A (zh) | 2019-11-05 |
| CN110413825B true CN110413825B (zh) | 2023-12-01 |
Family
ID=68359558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910540197.0A Active CN110413825B (zh) | 2019-06-21 | 2019-06-21 | 面向时尚电商的街拍推荐*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110413825B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112950245A (zh) * | 2019-12-10 | 2021-06-11 | 北京沃东天骏信息技术有限公司 | 用于分析服饰潮流的数据处理方法、装置、设备和介质 |
| CN111337898B (zh) * | 2020-02-19 | 2022-10-14 | 北京百度网讯科技有限公司 | 激光点云的处理方法、装置、设备及存储介质 |
| CN111738245B (zh) * | 2020-08-27 | 2020-11-20 | 创新奇智(北京)科技有限公司 | 商品识别管理方法、装置、服务器及可读存储介质 |
| CN115187809A (zh) * | 2022-07-11 | 2022-10-14 | 腾讯科技（深圳）有限公司 | 分类及分类模型训练方法、装置及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996007715A1 (en) * | 1994-09-08 | 1996-03-14 | Mobil Oil Corporation | Wax hydroisomerization process |
| CN104142921A (zh) * | 2013-05-06 | 2014-11-12 | 苏州普达新信息技术有限公司 | 一种基于云计算的图像特征优化组合方法 |
| CN105760999A (zh) * | 2016-02-17 | 2016-07-13 | 中山大学 | 一种衣服推荐管理方法及*** |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN107766582A (zh) * | 2017-11-27 | 2018-03-06 | 深圳市唯特视科技有限公司 | 一种基于目标局部区域的图像检索方法 |
| CN108520058A (zh) * | 2018-03-30 | 2018-09-11 | 维沃移动通信有限公司 | 一种商家信息推荐方法及移动终端 |
| CN109145911A (zh) * | 2017-11-15 | 2019-01-04 | 中国石油大学(华东) | 一种街拍照片目标人物提取方法 |
| CN109272011A (zh) * | 2018-07-31 | 2019-01-25 | 东华大学 | 面向服装图像分类的多任务深度表示学习方法 |
| CN109360050A (zh) * | 2018-09-27 | 2019-02-19 | 东华大学 | 基于感性需求的个人服装管理与个性化搭配推荐智能*** |
| CN109684536A (zh) * | 2018-01-18 | 2019-04-26 | 郝宁宁 | 一种基于物品k-最近邻算法的图书推荐方法和*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11093561B2 (en) * | 2017-12-11 | 2021-08-17 | Facebook, Inc. | Fast indexing with graphs and compact regression codes on online social networks |
-
2019
- 2019-06-21 CN CN201910540197.0A patent/CN110413825B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996007715A1 (en) * | 1994-09-08 | 1996-03-14 | Mobil Oil Corporation | Wax hydroisomerization process |
| CN104142921A (zh) * | 2013-05-06 | 2014-11-12 | 苏州普达新信息技术有限公司 | 一种基于云计算的图像特征优化组合方法 |
| CN105760999A (zh) * | 2016-02-17 | 2016-07-13 | 中山大学 | 一种衣服推荐管理方法及*** |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN109145911A (zh) * | 2017-11-15 | 2019-01-04 | 中国石油大学(华东) | 一种街拍照片目标人物提取方法 |
| CN107766582A (zh) * | 2017-11-27 | 2018-03-06 | 深圳市唯特视科技有限公司 | 一种基于目标局部区域的图像检索方法 |
| CN109684536A (zh) * | 2018-01-18 | 2019-04-26 | 郝宁宁 | 一种基于物品k-最近邻算法的图书推荐方法和*** |
| CN108520058A (zh) * | 2018-03-30 | 2018-09-11 | 维沃移动通信有限公司 | 一种商家信息推荐方法及移动终端 |
| CN109272011A (zh) * | 2018-07-31 | 2019-01-25 | 东华大学 | 面向服装图像分类的多任务深度表示学习方法 |
| CN109360050A (zh) * | 2018-09-27 | 2019-02-19 | 东华大学 | 基于感性需求的个人服装管理与个性化搭配推荐智能*** |
Non-Patent Citations (2)
| Title |
|---|
| Mask R-CNN;Kaiming He 等;《arXiv:1703.06870v3 [cs.CV]》;20180124;第1-12页 * |
| NSPD: An N-stage Purchase Decision Model for E-commerce Recommendation;Cairong Yan 等;《APWeb-WAIM 2018》;20181231;第149-164页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110413825A (zh) | 2019-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110413825B (zh) | 面向时尚电商的街拍推荐*** | |
| CN107861972B (zh) | 一种用户录入商品信息后显示商品全结果的方法及设备 | |
| US11055557B2 (en) | Automated extraction of product attributes from images | |
| CN107330451B (zh) | 基于深度卷积神经网络的服装属性检索方法 | |
| KR101856120B1 (ko) | 이미지로부터 상가 발견 | |
| CN110717534B (zh) | 一种基于网络监督的目标分类和定位方法 | |
| US9171013B2 (en) | System and method for providing objectified image renderings using recognition information from images | |
| CN109614508B (zh) | 一种基于深度学习的服装图像搜索方法 | |
| CN108595636A (zh) | 基于深度跨模态相关性学习的手绘草图的图像检索方法 | |
| CN107679250A (zh) | 一种基于深度自编码卷积神经网络的多任务分层图像检索方法 | |
| CN107729900A (zh) | 一种利用图片属性提取完成录入信息补全的方法及设备 | |
| CN104715023A (zh) | 基于视频内容的商品推荐方法和*** | |
| CN107683469A (zh) | 一种基于深度学习的产品分类方法及装置 | |
| CN110807434A (zh) | 一种基于人体解析粗细粒度结合的行人重识别***及方法 | |
| CN114332680A (zh) | 图像处理、视频搜索方法、装置、计算机设备和存储介质 | |
| Islam et al. | A CNN based approach for garments texture design classification | |
| Liu et al. | Cbl: A clothing brand logo dataset and a new method for clothing brand recognition | |
| CN111815582A (zh) | 改进背景先验和前景先验的二维码区域检测方法 | |
| CN107622071B (zh) | 通过间接相关反馈在无查源下的衣服图像检索***及方法 | |
| CN108717436B (zh) | 一种基于显著性检测的商品目标快速检索方法 | |
| CN114782979A (zh) | 一种行人重识别模型的训练方法、装置、存储介质及终端 | |
| Yousaf et al. | Patch-CNN: deep learning for logo detection and brand recognition | |
| CN113742487B (zh) | 一种商品自动化匹配方法 | |
| Devareddi et al. | An edge clustered segmentation based model for precise image retrieval | |
| Shinde et al. | Study on Fruit Recognization Using Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |