CN106909946A - 一种多模态融合的商品分类*** - Google Patents

Abstract

本发明提供了一种多模态融合的商品分类***，包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块；所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。本发明的有益效果为：能够实现较为精确和快速的商品分类。

Description

一种多模态融合的商品分类***

技术领域

本发明涉及商品分类技术领域，具体涉及一种多模态融合的商品分类***。

背景技术

商品分类为商品检索、商品置放策略制定以及智能推荐等提供了有力支撑。图像作为商品的主要信息载体，基于图像的商品分类技术研究己成为图像处理、计算机视觉和模式识别领域的研究热点。然而，现有的商品分类方法仅对商品的图像进行研究而忽略了商品的文本信息，另一方面，现有的商品分类方法存在分类准确率低、分类速度慢等问题。

发明内容

针对上述问题，本发明旨在提供一种多模态融合的商品分类***。

本发明的目的采用以下技术方案来实现：

提供了一种多模态融合的商品分类***，包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块；所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。

本发明的有益效果为：能够实现较为精确和快速的商品分类。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明的结构连接示意图；

附图标记：

基于图像的商品分类模块1、基于文本的商品分类模块2、图文融合分类模块3、商品分类准确度评价模块4。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例的一种多模态融合的商品分类***，包括基于图像的商品分类模块1、基于文本的商品分类模块2和图文融合分类模块3，所述基于图像的商品分类模块1用于获取商品图像的分类结果；所述基于文本的商品分类模块2用于获取商品文本的分类结果；所述图文融合分类模块3用于融合基于商品图像的分类结果和基于文本图像的分类结果，得到并输出商品类别。

本实施例能够实现较为精确和快速的商品分类。

优选地，所述基于图像的商品分类模块1用于获取商品图像的分类结果，具体为：

(1)对需分类的商品图像进行图像去噪处理，包括：

1)进行需分类的商品图像的光照归一化处理，采用以下方式进行：将需分类的商品图像P转换到对数域，利用差分高斯滤波器对需分类的商品图像P进行平滑处理，然后对需分类的商品图像P进行全局对比度均衡化处理；

2)对需分类的商品图像P以滑动窗口方式按照预先设定的滑动距离进行块划分；

3)提取得到的图像块中的每一块的纹理特征，采用K-MEANS聚类方法基于提取的纹理特征对图像块进行聚类，获得多个图像块组，利用多线性子空间学习滤波器对图像块组进行初次去噪；所述K-MEANS聚类方法具体描述如下：步骤1：随机选取k个聚类质心点为μ₁,μ₂,…,μ_k，步骤2：对于每个样本例i，计算其应该属于的类，对于每一个类j，重新计算该类的质心，步骤3：重复步骤2，直到收敛；

4)采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪。

(2)将第j类商品图像的训练样本集表示为F_j＝[f_j,1,f_j,2,…,f_j,n]，则所有类别的训练样本集F＝[F₁,F₂,…,F_N]构成过完备字典，其中，N表示商品类别数，对于未知类别测试样本t，可表示为F的线性组合：

t＝Fa

式中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；

定义函数ρ_j(a)，该函数将稀疏表示a中不属于第j类的分量置0，则测试样本所属类别可表示为：

式中，j_be表示测试样本t所属类别，Fρ_j(a)表示测试样本第j类的重构图像，||t-Fρ_j(a)||₂表示原始图像和第j类重构图像的重构残差；

图像分类得分为：

式中，表示商品属于第j类的图像分类得分，1≤j,k≤N。

一方面，本优选实施例对需分类的商品图像进行多次去噪处理，能够获得较好的去噪效果，并且适用于多维的商品图像，在对商品图像进行块划分之前先进行光照归一化处理，有利于后续图像块特征的提取，从而提高聚类的精度，进而提高去噪的精度；另一方面，本优选实施例使用上述算法确定图像分类结果，提高了图像分类准确度，定义了图像分类得分，为进一步进行分类信息融合打下了基础。

优选地，所述采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪，具体包括：

(1)对初次去噪后的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成样本块集合{P}；

(2)对该样本块集合进行自适应字典训练，得到自适应学习字典D；

(3)对该需分类的商品图像P按照另一设定的滑动距离再次进行滑动窗口的块划分，对得到的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成输入图像块集合{P′}；

(4)求解输入图像块集合{P′}中每一列向量在自适应学习字典上的稀疏表示稀疏μ，并按照下式计算输出图像块y(P)：

y(P)＝Dμ

(5)将输出图像块进行融合处理，得到预去噪图像y′(P)；

(6)对预去噪图像y′(P)进行低秩矩阵稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，对该低秩去噪分量DZ和稀疏含噪分量XS进行二次去噪处理，得到最终去噪图像：

y″(P)＝DZ*XS′

式中，XS′表示对稀疏含噪分量XS进行中值滤波后得到的稀疏去噪分量，*表示融合处理。

所述基于文本的商品分类模块2用于获取商品文本的分类结果，具体为：

训练文本集式中，w_i为已知类别文本，为文本类别，某商品待分类文本w_t中包含不同的词w_i，将文本表示为w_t＝(w₁,w₂,…,w_n)，n为文本中词的数量，统计w_i在文本w_t中出现的频次p_i和在训练文本集文本中出现的最高频次计算相对词频将文本表示为

计算w_t与W中文本w_i的相似度，得到与w_t最近似的l个w_i，

式中，表示w_t的第i个词w_i的相对词频，表示w_i的第i个词w_i的相对词频；

W_l表示l个最近邻文本，计算W_l中各类别占比，占比最大的类别包含文本数为l₁，作为w_t的类别占比第二大的类别文本数目为l₂；

文本分类得分为：

所述图文融合分类模块3用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别，具体为：

假设待分类商品图文样本(t,w,y)，三元组中的t表示商品的图像描述，w表示商品的文本描述，y表示商品的类别，商品的训练样本集(T,W,Y)＝{(t_i,w_i,y_i)}，其中，i＝1,2,…,n，n表示样本集中样本数量；

对图像分类得分和文本分类得分进行线性组合：

式中，为商品属于第j类的图文融合得分，为商品属于第j类的图像分类得分，为商品属于第j类的文本分类得分，δ₁和δ₂为根据样本学习得到的权重系数；

通过下列商品类别判定公式得到商品类别：

本优选实施例对初次去噪后的需分类的商品图像进行二次去噪处理，能够很好地保留图像的细节，滤除噪声；采用商品分类模块确定文本分类结果，提高了文本分类准确率，定义了文本分类得分，为进一步进行分类信息融合打下了基础；同时考虑商品的图像视觉信息和描述文本信息，对两种不同模态信息进行融合，提高了商品分类准确率。

优选地，还设有商品分类准确度评价模块4，其用于根据设定的商品分类准确度评价函数对***的商品分类准确度进行评价，商品分类准确度评价函数的值越大，表示商品分类的准确度越高，该商品分类准确度评价函数为：

式中，N_L为商品类别数量，m_α为第α类正确分类商品样本数量，M_α为第α类商品样本数量。

本优选实施例设定商品分类准确度评价函数，从而能够判定***的商品分类准确度，有利于对商品分类***的改进。

采用本发明商品分类***对待分类商品数分别为200、300、400、500、600时的分类情况进行分析统计，并将商品分类准确率和商品分类时间作为该商品分类***的评价指标，同未采用该商品分类***相比，产生的有益效果如下表所示：

待分类商品数	商品分类准确度提高	商品分类时间缩短
			200	20％	10％
300	25％	15％
			400	30％	20％
500	32％	24％
			600	36％	31％

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种多模态融合的商品分类***，其特征是：包括基于图像的商品分类模块、基于文本的商品分类模块和图文融合分类模块，所述基于图像的商品分类模块用于获取商品图像的分类结果；所述基于文本的商品分类模块用于获取商品文本的分类结果；所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别。

2.根据权利要求1所述的一种多模态融合的商品分类***，其特征是：所述基于图像的商品分类模块用于获取商品图像的分类结果，具体为：

(1)对需分类的商品图像进行图像去噪处理，包括：

1)进行需分类的商品图像的光照归一化处理，采用以下方式进行：将需分类的商品图像P转换到对数域，利用差分高斯滤波器对需分类的商品图像P进行平滑处理，然后对需分类的商品图像P进行全局对比度均衡化处理；

2)对需分类的商品图像P以滑动窗口方式按照预先设定的滑动距离进行块划分；

3)提取得到的图像块中的每一块的纹理特征，采用K-MEANS聚类方法基于提取的纹理特征对图像块进行聚类，获得多个图像块组，利用多线性子空间学习滤波器对图像块组进行初次去噪；

4)采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪。

(2)获取商品的图像分类结果和图像分类得分。

3.根据权利要求2所述的一种多模态融合的商品分类***，其特征是：所述采用改进的自适应字典学习去噪方法对初次去噪后的需分类的商品图像进行二次去噪，具体包括：

(1)对初次去噪后的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成样本块集合{P}；

(2)对该样本块集合进行自适应字典训练，得到自适应学习字典D；

(3)对该需分类的商品图像P按照另一设定的滑动距离再次进行滑动窗口的块划分，对得到的图像块进行重排列形成列向量矩阵，并对列向量矩阵进行降维，最终形成输入图像块集合{P′}；

(4)求解输入图像块集合{P′}中每一列向量在自适应学习字典上的稀疏表示稀疏μ，并按照下式计算输出图像块y(P)：

y(P)＝Dμ

(5)将输出图像块进行融合处理，得到预去噪图像y′(P)；

(6)对预去噪图像y′(P)进行低秩矩阵稀疏分解，得到低秩去噪分量DZ和稀疏含噪分量XS，对该低秩去噪分量DZ和稀疏含噪分量XS进行二次去噪处理，得到最终去噪图像：

y″(P)＝DZ*XS′

式中，XS′表示对稀疏含噪分量XS进行中值滤波后得到的稀疏去噪分量，*表示融合处理。

4.根据权利要求3所述的一种多模态融合的商品分类***，其特征是：所述获取商品的图像分类结果和图像分类得分具体为：将第j类商品图像的训练样本集表示为F_j＝[f_j，1，f_j，2，…，f_j，n]，则所有类别的训练样本集F＝[F₁，F₂，…，F_N]构成过完备字典，其中，N表示商品类别数，对于未知类别测试样本t，可表示为F的线性组合：

t＝Fa

式中，a为稀疏的系数向量，用稀疏编码算法求得稀疏表示a；

定义函数ρ_j(a)，该函数将稀疏表示a中不属于第j类的分量置0，则测试样本所属类别可表示为：

$j_{be}=\underset{j}{\mathrm{argmin}}\[\left|\right|t-{\mathrm{F\ρ}}_j\left(a\right)|{|}_2+||t-{\mathrm{F\ρ}}_j\left(a\right)|{|}_2^2\]$

式中，j_be表示测试样本t所属类别，Fρ_j(a)表示测试样本第j类的重构图像，||t-Fρ_j(a)||₂表示原始图像和第j类重构图像的重构残差；

图像分类得分为：

${\mathrm{Mark}}_{tu}^j\left(t\right)=\frac{max\left(\right||t-{\mathrm{F\ρ}}_k(a\left)\right|{|}_2+\left|\right|t-{\mathrm{F\ρ}}_k\left(a\right)\left|{|}_2^2\right)}{\left|\right|t-{\mathrm{F\ρ}}_j\left(a\right)|{|}_2+||t-{\mathrm{F\ρ}}_j\left(a\right)|{|}_2^2}$

式中，表示商品属于第j类的图像分类得分，1≤j，k≤N。

5.根据权利要求4所述的一种多模态融合的商品分类***，其特征是：所述基于文本的商品分类模块用于获取商品文本的分类结果，具体为：

训练文本集式中，w_i为已知类别文本，为文本类别，某商品待分类文本w_t中包含不同的词w_i，将文本表示为w_t＝(w₁，w₂，…，w_n)，n为文本中词的数量，统计w_i在文本w_t中出现的频次p_i和在训练文本集文本中出现的最高频次计算相对词频将文本表示为

计算w_t与W中文本w_i的相似度，得到与w_t最近似的l个w_i，

$sim(w_t,w_i)=ln(\frac{{\Σ}_{i=1}^n(\frac{p_{w_t,i}}{p_i^{\max }}\×\frac{p_{w_i,i}}{p_i^{\max }})}{\sqrt{{\Σ}_{i=1}^n{\left(\frac{p_{w_t,i}}{p_i^{\max }}\right)}^2}\×\sqrt{{\Σ}_{i=1}^n{\left(\frac{p_{w_i,i}}{p_i^{\max }}\right)}^2}}+1)$

式中，表示w_t的第i个词w_i的相对词频，表示w_i的第i个词w_i的相对词频；

W_l表示l个最近邻文本，计算W_l中各类别占比，占比最大的类别包含文本数为l₁，作为w_t的类别占比第二大的类别文本数目为l₂；

文本分类得分为：

${\mathrm{Mark}}_{wen}^j\left(w\right)=\frac{l_1}{l_1+l_2}.$

6.根据权利要求5所述的一种多模态融合的商品分类***，其特征是：所述图文融合分类模块用于融合基于商品图像的分类结果和基于商品文本的分类结果，得到并输出商品类别，具体为：

假设待分类商品图文样本(t，w，y)，三元组中的t表示商品的图像描述，w表示商品的文本描述，y表示商品的类别，商品的训练样本集(T，W，Y)＝{(t_i，w_i，y_i)}，其中，i＝1，2，…，n，n表示样本集中样本数量；

对图像分类得分和文本分类得分进行线性组合：

${\mathrm{Mark}}_{rong}^j(t,w)={\mathrm{\δ}}_1\×{\mathrm{Mark}}_{tu}^j\left(t\right)+{\mathrm{\δ}}_2\×{\mathrm{Mark}}_{wen}^j\left(w\right)$

式中，为商品属于第j类的图文融合得分，为商品属于第j类的图像分类得分，为商品属于第j类的文本分类得分，δ₁和δ₂为根据样本学习得到的权重系数；

通过下列商品类别判定公式得到商品类别：

$y={\mathrm{argmax}}_j{\mathrm{Mark}}_{rong}^j(t,w).$