CN103544216A - 一种结合图像内容和关键字的信息推荐方法及*** - Google Patents

Abstract

本发明公开一种结合图像内容和关键字的信息推荐方法及***，其中，方法包括步骤：提取图片库的图片的关键字信息、及包含颜色特征和纹理特征的图像内容信息，将关键字信息及图像内容信息表示成向量空间模型，得到对应的关键字信息矩阵和图像内容信息矩阵；利用线性稀疏模型对关键字信息矩阵和图像内容信息矩阵进行处理，计算图片库中图片之间的相似度得到相似度表；根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表；整理原始推荐列表得到最终推荐列表并展示。

Description

一种结合图像内容和关键字的信息推荐方法及***

技术领域

本发明涉及图像检索和信息推荐领域，尤其涉及一种结合图像内容和关键字的信息推荐方法及***。

背景技术

随着互联网以及电子商务的高速发展，网上的多媒体信息也在***式地增长，因此人们对多媒体信息的检索需求也越来越多，例如网上购物，社交网络，视频分享平台等等都需要对多媒体信息进行检索。互联网上的多媒体信息通常包括图像，音频和视频。其中图像的检索是互联网应用特别是电子商务的一个热点和趋势。例如，仅仅通过图片本身信息来检索相关的商品从而一方面方便用户查询，另一方面帮助***有效地对用户做出推荐。

互联网上图像的检索有两个主流的方向：第一个是以关键字为基础的检索(Keyword-Based Retrieval)；第二个是以图像自身的内容为基础的检索(Content-Based Retrieval)。

在基于关键字的图像检索***中，需要先对所有的图像进行关键字标注，然后才能使用全文检索技术对图像进行搜索，如AltaVista、Yahoo!、Google的图像搜索引擎等。这种方法存在两个方面的问题:一是这种方法需要较多的人工参与，而且随着图像数目的增加，这种方法很难实现；第二个问题在于图像所包含的信息量庞大，不同的人对于同一张图像的理解也不相同，这就导致对图像的标注没有一个统一的标准，光凭关键字是很难做到准确地描述和检索多媒体信息。

基于图像内容的信息检索是对多媒体对象的内容及上下文语义环境进行检索，如对图像中的颜色、纹理，或视频中的场景、片断进行分析和特征提取，并基于这些特征进行相似性匹配，基于内容检索的***有IBM开发的QBIC、MIT多媒体实验室的Photobook、美国哥伦比亚大学开发的VisualSEEK图像查询***等等。基于内容的信息检索具有较强的客观性，但是，由于这些特征并不代表图像真正的语义信息，基于内容的检索结果往往不令人满意，因此目前大多数***还是基于关键字的图像检索。

不管是基于关键字的图像检索***还是基于图像内容的图像检索***都存在不足。因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种结合图像内容和关键字的信息推荐方法及***，旨在解决现有图像检索***要么工作量大、检索结果不准确的问题。

本发明的技术方案如下：

一种结合图像内容和关键字的信息推荐方法，其中，包括步骤：

A、提取图片库的图片的关键字信息、及包含颜色特征和纹理特征的图像内容信息，将关键字信息及图像内容信息表示成向量空间模型，得到对应的关键字信息矩阵和图像内容信息矩阵；

B、利用线性稀疏模型对关键字信息矩阵和图像内容信息矩阵进行处理，计算图片库中图片之间的相似度得到相似度表；

C、根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表；

D、整理原始推荐列表得到最终推荐列表并展示。

所述的结合图像内容和关键字的信息推荐方法，其中，所述步骤A中，提取包含颜色特征和纹理特征的图像内容信息的过程具体包括：

将图片按照预先指定的数量分块；

将每个分块由颜色单元进行处理得到包含若干个小区间的直方图，每个小区间代表一种颜色；

抽取图像边缘的纹理特征；

对抽取的颜色特征和纹理特征进行量化及正则化处理，得到每张图片的CEDD直方图。

所述的结合图像内容和关键字的信息推荐方法，其中，所述步骤B中线性稀疏模型的算法公式如下：

$\begin{array}{cc}\underset{S}{\mathrm{Minimize}}& \frac{1}{2}{\left|\right|M-\mathrm{MS}\left|\right|}_F^2+\frac{\mathrm{\α}}{2}\left|\right|{F-\mathrm{FS}\left|\right|}_F^2+\frac{\mathrm{\β}}{2}{\left|\right|S\left|\right|}_F^2+\mathrm{\λ}{\left|\right|S\left|\right|}_1,\end{array}$ $s.t\begin{array}{c}S\≥0,\\ \mathrm{diag}\left(S\right)=0.\end{array};$

其中，M、F分别表示关键字信息矩阵(m_ij)_m×n和图像内容信息矩阵(f_ij)_p×n，S表示需要计算的图片之间相似度矩阵,||·||_F、||·||₁分别表示Frobenius范数和1-范数，m、p分别表示所有图片的关键字特征数量和图像内容特征数量，n表示图片数量，α代表图像内容信息矩阵的影响因子，β、λ均为正则化参数。

所述的结合图像内容和关键字的信息推荐方法，其中，对F进行归一化处理：

$F(i,j)=\frac{F(i,j)-\mathrm{Min}\left\{F(i,\·)\right\}}{\mathrm{Max}\left\{F(i,\·)\right\}-\mathrm{Min}\left\{F(i,\·)\right\}};$

其中，F(i,j)表示矩阵F第i行、第j列元素；Min{F(i,·)}表示矩阵F第i行所有元素的最小值；Max{F(i,·)}表示矩阵F第i行所有元素的最大值，0≤i<p,0≤j<n。

所述的结合图像内容和关键字的信息推荐方法，其中，所述步骤B还包括：

当有新图片添加至图片库时，采用稀疏线性模型增量更新的计算公式计算新图片与图片库中的其他图片之间的相似度，更新稀疏线性模型。

所述的结合图像内容和关键字的信息推荐方法，其中，所述整理原始推荐列表得到最终推荐列表并展示的步骤进一步包括：

在获得多个原始推荐列表时，对所有原始推荐列表中的图片进行过滤，并对过滤后的图片进行排序得到最终推荐列表。

所述的结合图像内容和关键字的信息推荐方法，其中，所述整理原始推荐列表得到最终推荐列表并展示的步骤具体包括：

对原始推荐列表中的图片进行过滤及排序得到最终推荐列表，展示所述最终推荐列表。

所述的结合图像内容和关键字的信息推荐方法，其中，所述根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表的步骤具体包括：

在用户检索图片时获取用户检索的目标图片的ID，根据目标图片的ID从相似度表中查询到与目标图片相关的相似图片形成原始推荐列表。

一种结合图像内容和关键字的信息推荐***，其中，包括：

矩阵转换模块，用于提取图片库的图片的关键字信息、及包含颜色特征和纹理特征的图像内容信息，将关键字信息及图像内容信息表示成向量空间模型，得到对应的关键字信息矩阵和图像内容信息矩阵；

相似度计算模块，用于利用线性稀疏模型对关键字信息矩阵和图像内容信息矩阵进行处理，计算图片库中图片之间的相似度得到相似度表；

原始推荐列表获取模块，用于根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表；

最终推荐列表获取模块，用于整理原始推荐列表得到最终推荐列表并展示。

所述的结合图像内容和关键字的信息推荐***，其中，所述矩阵转换模块包括：

分块单元，用于将图片按照预先指定的数量分块；

颜色处理单元，用于将每个分块由颜色单元进行处理得到包含若干个小区间的直方图，每个小区间代表一种颜色；

纹理处理单元，用于抽取图像边缘的纹理特征；

CEDD直方图获取单元，用于对抽取的颜色特征和纹理特征进行量化及正则化处理，得到每张图片的CEDD直方图。

所述的结合图像内容和关键字的信息推荐***，其中，所述相似度计算模块包括：

算法单元，用于根据关键字信息矩阵和图像内容信息矩阵计算图片之间的相似度，其中算法公式如下：

$\begin{array}{cc}\underset{S}{\mathrm{Minimize}}& \frac{1}{2}{\left|\right|M-\mathrm{MS}\left|\right|}_F^2+\frac{\mathrm{\&alpha;}}{2}\left|\right|{F-\mathrm{FS}\left|\right|}_F^2+\frac{\mathrm{\&beta;}}{2}{\left|\right|S\left|\right|}_F^2+\mathrm{\&lambda;}{\left|\right|S\left|\right|}_1,\end{array}$ $s.t\begin{array}{c}S\&GreaterEqual;0,\\ \mathrm{diag}\left(S\right)=0.\end{array};$

其中，M、F分别表示关键字信息矩阵(m_ij)_m×n和图像内容信息矩阵(f_ij)_p×n，S表示需要计算的图片之间相似度矩阵，||·||_F、||·||₁分别表示Frobenius范数和1-范数，m、p分别表示所有图片的关键字特征数量和图像内容特征数量，n表示图片数量，α代表图像内容信息矩阵的影响因子，β、λ均为正则化参数。

所述的结合图像内容和关键字的信息推荐***，其中，所述相似度计算模块包括：

归一化处理单元，用于对矩阵F进行归一化处理：

$F(i,j)=\frac{F(i,j)-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}}{\mathrm{Max}\left\{F(i,\&CenterDot;)\right\}-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}};$

其中，F(i,j)表示矩阵F第i行、第j列元素；Min{F(i,·)}表示矩阵F第i行所有元素的最小值；Max{F(i,·)}表示矩阵F第i行所有元素的最大值，0≤i<p,0≤j<n。

所述的结合图像内容和关键字的信息推荐***，其中，相似度计算模块还包括：

增量计算单元，用于当有新图片添加至图片库时，采用稀疏线性模型增量更新的计算公式计算新图片与图片库中的其他图片之间的相似度，更新稀疏线性模型。

有益效果：本发明使用线性稀疏模型结合关键字信息和图像内容信息来计算出图片之间的相似度，其中包括使用CEDD模型来对图像内容进行特征抽取。本发明适应性强，能够实时的满足用户的推荐请求，同时在推荐的效果上要普遍高于使用单个模型，其中在MRR这个指标上的增幅可以接近100%。

附图说明

图1为本发明结合图像内容和关键字的信息推荐方法较佳实施例的流程图。

图2为本发明结合图像内容和关键字的信息推荐***在线部分和离线部分的***框图。

图3为图1所示方法中步骤S101的具体流程图。

图4为本发明结合图像内容和关键字的信息推荐***较佳实施例的***框图。

图5为图4所示***中矩阵转换模块的具体结构框图。

图6为采用本发明的信息推荐***的推荐效果中precn和recalln指标效果图。

图7为采用本发明的信息推荐***的推荐效果中MAP、NDCG、MRR及AUC指标效果图。

具体实施方式

本发明提供一种结合图像内容和关键字的信息推荐方法及***，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，图1为本发明结合图像内容和关键字的信息推荐方法较佳实施例的流程图，如图所示，其包括：

S101、提取图片库的图片的关键字信息、及包含颜色特征和纹理特征的图像内容信息，将关键字信息及图像内容信息表示成向量空间模型，得到对应的关键字信息矩阵和图像内容信息矩阵；

S102、利用线性稀疏模型对关键字信息矩阵和图像内容信息矩阵进行处理，计算图片库中图片之间的相似度得到相似度表；

S103、根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表；

S104、整理原始推荐列表得到最终推荐列表并展示。

本发明中的方法不仅应用于图片的检索推荐，还可用于各种多媒体信息的检索和推荐，例如在电子商务网站或者电视购物平台上，很多商品既有图片描述信息，也有属性关键字信息，比如皮包商品，既会提供皮包的图片，也会提供包括皮包品牌、类型、大小等等关键字信息。所以本发明的信息推荐***应用范围非常广，本实施例中的举例并不代表对本发明的应用范围的限制。

本发明主要包括离线和在线两部分，其中步骤S101和步骤S102即为离线部分，而步骤S103和步骤S104为在线部分。以电子商务网站（图片即为商品图片）的推荐***为例，其中的离线部分，其为建立一个机器学习模型把图像内容和关键字有效结合起来并计算排序形成每一商品最相关的其他商品，该模型同时可以实现增量式的更新（在后文描述），从而有效快速处理新的商品，具有较好的可扩展性；其中的在线部分则是根据用户对商品的浏览或购买行为等特点来组合不同商品的商品推荐列表，从而给出一个统一的相关商品的推荐列表。

本发明的信息推荐***，其框架如图2所示，在线部分是在图像检索平台上给用户提供检索和推荐服务，检索器主要是对图片库（图片库是指存储有海量图片信息的数据库，例如对于电子商务网站，其具有包含海量商品图片的商品图片库，此处的图片不仅包含其本身的图像内容，还包含与其关联的关键字信息）进行检索，记录用户检索过的图片ID，然后从相似度表中查询到相关的图片形成原始推荐列表。推荐服务主要由3个部分组成：原始推荐列表、过滤和排序，推荐服务首先根据用户的浏览或者购买行为获取原始推荐列表，之后***根据用户的偏好或者商品信息来进行过滤，比如说已经下架的或者无法购买的商品自动过滤掉；由于用户可能会浏览多个商品，因此会获取多个商品推荐列表，因此***也需要对这些列表中重复出现的商品进行过滤，最后***对过滤后的列表根据它们的权重进行排序形成最终的推荐列表。

离线部分的目的是计算图片相似度得到相似度表。本发明是利用稀疏线性模型有效地将图像内容信息和关键字信息结合起来计算出一个统一的图片相似度。

在步骤S101中，从图片中提取出两个部分：关键字信息和图像内容信息，以商品图片为例，关键字信息主要是商品的属性信息，例如品牌、类型、大小、价格等等，而图像内容信息主要是图像中的颜色、纹理等自然特性。

关键字信息可以自然的表示为成一个向量空间模型，其通常都是一个稀疏的矩阵，行表示属性信息，列表示每个商品对象。

而图像内容信息必须通过相关图像处理算法转化为一个向量空间模型，例如通过颜色直方图、小波变换、尺度不变特征变换等方法来对图像的色彩、纹理、边缘角点信息等进行分析，以将每一张图片都转换成一个特征空间上的向量；且图像内容信息往往不是稀疏的，为此，本发明会利用相关的算法将图像内容信息转换成稀疏矩阵，通常根据图像的特征将图像转化为向量的过程中，不同的算法产生的向量稀疏度不一致，而向量的稀疏度对算法的效率和准确度会有一定的影响，本发明采用CEDD算法产生的图像向量稀疏度基本可以满足需求，如果需要进一步调整稀疏度的话，也可采用稀疏编码（常用的图像统计方法）的方式来调整。这样做的目的主要是可以加快计算图片相似度的效率。通过有效地迭代求解过程，这个模型能很好的在图像内容和关键字两个不同的数据源的基础上学习到图片的相似度，因此大大提高了相似度计算的准确率，从而可以在海量的图片库例如商品库中给用户更加准确地推荐最相关的商品。

对于关键字信息，其提取的过程可以采用现有的关键字信息提取技术，本发明不再赘述。对于图像内容信息，其提取过程如图3所示，包括：

S201、将图片按照预先指定的数量分块；

S202、将每个分块由颜色单元进行处理得到包含24个小区间的直方图，每个小区间代表一种颜色；

S203、使用MPEG-7抽取图像边缘的纹理特征；

S204、对抽取的颜色特征和纹理特征进行量化及正则化处理，得到每张图片的CEDD直方图。

CEDD直方图(Color and Edge Directivity Descriptornorm)是当前比较流行的抽取图像颜色特征和纹理特征模型，提取每张图片特征信息仅占54字节存储空间，而且相比MPEG-7等模型，计算开销比较小，因此广泛地应用于图像信息检索领域，并且取得较好的检索效果。CEDD直方图由纹理单元和颜色单元组成，纹理单元包含6块纹理区域，颜色单元包含24块颜色区域，因此总共包含6×24块区域。

在步骤S102中，会利用线性稀疏模型对关键字信息矩阵和图像内容信息矩阵进行处理从而计算相似度。

在协同过滤推荐***常用的模型包括邻域模型和矩阵分解模型。邻域模型进行推荐时计算开销小、速度快，其效果建立在准确地计算物品相似度基础之上；矩阵分解模型进行推荐时效果优于邻域模型，但计算开销较大，无法进行实时推荐。因此邻域模型广泛地用于实时推荐场合，以响应用户新行为时进行推荐。

计算物品相似度的方法通常采用余弦相似度等距离度量公式，建立在向量空间模型基础上，基于属性相互独立的假设，因此很难准确地计算物品相似度；另外该方法不能有效地结合两种物品信息数据源时，因此不能发挥多种数据源信息相互补充的优势。

本实施例所采用的稀疏线性模型则能够有效地解决上述问题，通过结合关键字信息和图像内容信息，采用机器学习算法建模，因此相比基于单一数据源计算物品相似度的方法，稀疏线性模型能够更加准确地计算物品例如图片之间相似度，同时能够满足实时推荐的要求。

本实施例中，线性稀疏模型的算法公式如下：

$\begin{array}{cc}\underset{S}{\mathrm{Minimize}}& \frac{1}{2}{\left|\right|M-\mathrm{MS}\left|\right|}_F^2+\frac{\mathrm{\&alpha;}}{2}\left|\right|{F-\mathrm{FS}\left|\right|}_F^2+\frac{\mathrm{\&beta;}}{2}{\left|\right|S\left|\right|}_F^2+\mathrm{\&lambda;}{\left|\right|S\left|\right|}_1,\end{array}$ $s.t\begin{array}{c}S\&GreaterEqual;0,\\ \mathrm{diag}\left(S\right)=0.\end{array};$

其中，M、F分别表示关键字信息矩阵(m_ij)_m×n和图像内容信息矩阵(f_ij)_p×n，S表示需要计算的图片之间相似度矩阵，||·||_F、||·||₁分别表示Frobenius范数和1-范数，m、p分别表示所有图片的关键字特征数量和图像内容特征数量，n表示图片数量，其中，α代表图像内容信息矩阵的影响因子，用于调节图像内容信息在计算图片相似度时的贡献程度，β、λ均为正则化参数，用于防止该线性稀疏模型过拟合。

关键字信息矩阵M元素取值0或1，而图像内容信息矩阵F元素取值为0～7之间的整数，因此需要对图像内容信息矩阵F进行归一化。本实施例采用如下方法对F矩阵每行分别进行归一化处理。

$F(i,j)=\frac{F(i,j)-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}}{\mathrm{Max}\left\{F(i,\&CenterDot;)\right\}-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}};$

其中F(i,j)表示矩阵F第i行、第j列元素；Min{F(i,·)}表示矩阵F第i行所有元素的最小值；Max{F(i,·)}表示矩阵F第i行所有元素的最大值，0≤i<p,0≤j<n。

此外，在步骤S102中，针对添加的新图片，为了计算该图片与其他图片之间的相似度，本实施例采用稀疏线性模型增量更新的方法完成相似度计算过程，此过程不需要重新全部计算所有商品之间的相似度，因此能够快速地、有效地进行模型更新，从而能够推荐新图片。稀疏线性模型增量更新的计算公式如下：

$\begin{array}{cc}\mathrm{Minmize}& \frac{1}{2}{\left|\right|M(\&CenterDot;,n)-\mathrm{MS}(\&CenterDot;,n)\left|\right|}_2^2+\frac{\mathrm{\&alpha;}}{2}\left|\right|{F(\&CenterDot;,n)-\mathrm{FS}(\&CenterDot;,n)\left|\right|}_2^2+\frac{\mathrm{\&beta;}}{2}{\left|\right|S(\&CenterDot;,n)\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\right|S(\&CenterDot;,n)\left|\right|}_1\end{array}$

其中，M(·,n),F(·,n)为新图片对应的关键字特征向量和图像内容特征向量；S(·,n)为新图片与其他图片之间的相似度；||·||₂表示2-范数。

最后的在线部分中，用户可通过***进行检索，例如检索一个目标图片时，获取用户检索的目标图片的ID，根据目标图片的ID从相似度表中查询到与目标图片相关的相似图片形成原始推荐列表。

在得到原始推荐列表后，需对原始推荐列表进行整理，其整理包括对原始推荐列表中的图片进行过滤及排序的处理从而得到最终推荐列表。

同时***还会对过滤后的列表，根据图片的权重来对原始推荐列表进行排序，所述的权重是指用户对图片的偏好程度，例如对于商品图片，该权重反映了用户对相应的商品的偏好程度。根据用户对图片的偏好程度按照从高到低依次进行排序得到最终推荐列表。此处的权重值可以是前面计算出的相似度值，也可以采用现有的方法计算出用户对各图片的偏好程度，例如统计用户对图片的点击次数、点击频率、浏览时间等等信息来计算出权重。

另外，由于用户检索的图片可能有多个，那么得到的原始推荐列表也可能有多个，此时可对所有原始推荐列表中的图片进行过滤，然后对过滤后的图片进行排序组合得到一个最终推荐列表。例如提取每个原始推荐列表中排序在前的若干个图片，组合成一个最终推荐列表，也可按照检索的各个目标图片的权重（此处的权重也可按照前述类似方法获取）来确定每个原始推荐列表中所需提取的图片数量，得到一个最终推荐列表。

以本发明应用于电子商务网站为例，举例说明，假设原始商品数为n，添加一个新商品时，M、F、S矩阵分别成为m×(n+1)、p×(n+1)、(n+1)×(n+1)矩阵，即矩阵M、F分别添加新商品对应的关键字特征向量和图像内容特征向量，构成矩阵M、F第n+1列；矩阵S添加一行一列，即新商品与其他商品之间的相似度；通过按照上述计算公式求解即可计算S(·,n)，也就是新商品与其他商品之间的相似度，另外由于矩阵M、F添加一个新商品对应的关键字特征向量和图像内容特征向量时，对原始商品之间相似度影响很小，因此可以用已计算的旧矩阵S(·,k),0≤k<n，而不需要重新计算S(·,k),0≤k<n，从而完成了稀疏线性模型的增量更新，节省了大量的计算时间。

下面通过具体的实施例来对本发明的实施效果进行说明。

数据收集：实验采用女包数据，在淘宝上搜集440个女包的关键字信息和图像内容信息。关键字信息包括颜色、品牌、性别、款式、大小等商品描述信息；图像内容信息即女包的图片。

评级收集：针对每个女包，筛选关键字描述相似或者图像内容相似的20个女包，让三个人进行评价，给出每个女包与其他女包相似度的评分，取平均值作为最终评分。评分级0-5分，0表示最不相似，5表示最相似。筛选平均分≥3作为测试集，用于评估算法的效果。

评价指标：推荐***常用的评价指标包括precn，recalln，MAP，NDCG，MRR，AUC。

precn：用于评估推荐***产生前n个商品推荐时，返回的相关商品在推荐列表中所占比率，即准确率。

recalln：用于评估推荐***产生前n个商品推荐时，返回的相关商品在全部相关商品中所占比率，即召回率。

MAP：用于评估推荐***返回推荐项目对应真实用户喜爱偏好的排名的平均准确率计算该指标时考虑商品推荐列表相关商品的排序信息，因此推荐列表中相关商品的排序越靠前，MAP就可能越高。

NDCG：用于评估推荐***产生商品推荐列表和测试集实际的列表之间的匹配程度，该指标考虑了推荐列表商品的排序信息。该指标的主要思想是用户喜欢的商品被排在推荐列表前面比排在后面会更大程度上增加用户体验，因此相关性较高的商品排序靠前时NDCG取值较高，反之NDCG取值较低。

MRR：是把标准答案在被评价***给出结果中的排序取倒数作为它的准确度，再对所有的问题取平均，即对所有用户取平均。

AUC：表示ROC(receiver operator curve)曲线下的面积，它衡量一个推荐***能够在多大程度上将用户喜欢的商品与不喜欢的商品区分出来。

上述评价指标均为评价搜索算法常用的机制，具体技术细节本发明不再赘述。

评估推荐***时，precn，recalln，MAP，NDCG，MRR，AUC等指标值越高，表明该推荐方法产生的推荐结果越准确，具有较好地推荐效果。

在上述数据集上进行实验，分别对上述指标进行评估，以评价稀疏线性模型的效果。

从图4和图5中可以看到，在所有6个常用的评价指标中，采用本发明的模型（SpareLinearMode）明显比单独使用基于关键字的模型（Texual）或者基于图像内容（Visual）的模型都好，特别是在MRR这个指标中，增幅接近100%，其中也可以看到基于关键字的模型普遍比基于图像内容的模型要好，但是融入图像内容信息到本发明的模型中后效果有了明显的提高，这也验证了本发明的模型很好地结合了这两种方法，从而能够更好地给用户推荐相关的商品。

基于上述方法，本发明还提供一种结合图像内容和关键字的信息推荐***，如图6所示，包括：

矩阵转换模块100，用于提取图片库的图片的关键字信息、及包含颜色特征和纹理特征的图像内容信息，将关键字信息及图像内容信息表示成向量空间模型，得到对应的关键字信息矩阵和图像内容信息矩阵；

相似度计算模块200，用于利用线性稀疏模型对关键字信息矩阵和图像内容信息矩阵进行处理，计算图片库中图片之间的相似度得到相似度表；

原始推荐列表获取模块300，用于根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表；

最终推荐列表获取模块400，用于整理原始推荐列表得到最终推荐列表并展示。关于上述模块的技术细节在前面的方法中已有详述，故不再赘述。

进一步，如图7所示，所述矩阵转换模块100包括：

分块单元110，用于将图片按照预先指定的数量分块；

颜色处理单元120，用于将每个分块由颜色单元进行处理得到包含若干个小区间的直方图，每个小区间代表一种颜色；

纹理处理单元130，用于抽取图像边缘的纹理特征；

CEDD直方图获取单元140，用于对抽取的颜色特征和纹理特征进行量化及正则化处理，得到每张图片的CEDD直方图。关于上述模块单元的技术细节在前面的方法中已有详述，故不再赘述。

进一步，所述相似度计算模块包括：

算法单元，用于根据关键字信息矩阵和图像内容信息矩阵计算图片之间的相似度，其中算法公式如下：

$\begin{array}{cc}\underset{S}{\mathrm{Minimize}}& \frac{1}{2}{\left|\right|M-\mathrm{MS}\left|\right|}_F^2+\frac{\mathrm{\&alpha;}}{2}\left|\right|{F-\mathrm{FS}\left|\right|}_F^2+\frac{\mathrm{\&beta;}}{2}{\left|\right|S\left|\right|}_F^2+\mathrm{\&lambda;}{\left|\right|S\left|\right|}_1,\end{array}$ $s.t\begin{array}{c}S\&GreaterEqual;0,\\ \mathrm{diag}\left(S\right)=0.\end{array};$

其中，M、F分别表示关键字信息矩阵(m_ij)_m×n和图像内容信息矩阵(f_ij)_p×n，S表示需要计算的图片之间相似度矩阵，||·||_F、||·||₁分别表示Frobenius范数和1-范数，m、p分别表示所有图片的关键字特征数量和图像内容特征数量，n表示图片数量。

进一步，所述相似度计算模块包括：

归一化处理单元，用于对矩阵F进行归一化处理：

$F(i,j)=\frac{F(i,j)-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}}{\mathrm{Max}\left\{F(i,\&CenterDot;)\right\}-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}};$

其中，F(i,j)表示矩阵F第i行、第j列元素；Min{F(i,·)}表示矩阵F第i行所有元素的最小值；Max{F(i,·)}表示矩阵F第i行所有元素的最大值，0≤i<p,0≤j<n。关于上述模块单元的技术细节在前面的方法中已有详述，故不再赘述。

进一步，相似度计算模块还包括：

增量计算单元，用于当有新图片添加至图片库时，采用稀疏线性模型增量更新的计算公式计算新图片与图片库中的其他图片之间的相似度，更新稀疏线性模型。

综上所述，本发明使用线性稀疏模型结合关键字信息和图像内容信息来计算出图像之间的相似度，其中包括使用CEDD模型来对图像内容进行特征抽取。本发明适应性强，能够实时的满足用户的推荐请求，同时在推荐的效果上要普遍高于使用单个模型，其中在MRR这个指标上的增幅可以接近100%。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (13)

1.一种结合图像内容和关键字的信息推荐方法，其特征在于，包括步骤：

A、提取图片库的图片的关键字信息、及包含颜色特征和纹理特征的图像内容信息，将关键字信息及图像内容信息表示成向量空间模型，得到对应的关键字信息矩阵和图像内容信息矩阵；

B、利用线性稀疏模型对关键字信息矩阵和图像内容信息矩阵进行处理，计算图片库中图片之间的相似度得到相似度表；

C、根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表；

D、整理原始推荐列表得到最终推荐列表并展示。

2.根据权利要求1所述的结合图像内容和关键字的信息推荐方法，其特征在于，所述步骤A中，提取包含颜色特征和纹理特征的图像内容信息的过程具体包括：

将图片按照预先指定的数量分块；

将每个分块由颜色单元进行处理得到包含若干个小区间的直方图，每个小区间代表一种颜色；

抽取图像边缘的纹理特征；

对抽取的颜色特征和纹理特征进行量化及正则化处理，得到每张图片的CEDD直方图。

3.根据权利要求1所述的结合图像内容和关键字的信息推荐方法，其特征在于，所述步骤B中线性稀疏模型的算法公式如下：

$\underset{S}{\mathrm{Minimize}}\frac{1}{2}{\left|\right|M-\mathrm{MS}\left|\right|}_F^2+\frac{\mathrm{\&alpha;}}{2}{\left|\right|F-\mathrm{FS}\left|\right|}_F^2+\frac{\mathrm{\&beta;}}{2}{\left|\right|S\left|\right|}_F^2+\mathrm{\&lambda;}{\left|\right|S\left|\right|}_1,$ $s\&CenterDot;t\begin{array}{c}S\&GreaterEqual;0,\\ \mathrm{diag}\left(S\right)=0\&CenterDot;\end{array};$

其中，M、F分别表示关键字信息矩阵(m_ij)_m×n和图像内容信息矩阵(f_ij)_p×n，S表示需要计算的图片之间相似度矩阵，‖·‖_F、‖·‖₁分别表示Frobenius范数和1-范数，m、p分别表示所有图片的关键字特征数量和图像内容特征数量，n表示图片数量，α代表图像内容信息矩阵的影响因子，β、λ均为正则化参数。

4.根据权利要求3所述的结合图像内容和关键字的信息推荐方法，其特征在于，对F进行归一化处理：

$F(i,j)=\frac{F(i,j)-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}}{\mathrm{Max}\left\{F(i,\&CenterDot;)\right\}-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}};$

其中，F(i,j)表示矩阵F第i行、第j列元素；Min{F(i,·)}表示矩阵F第i行所有元素的最小值；Max{F(i,·)}表示矩阵F第i行所有元素的最大值，0≤i<p,0≤j<n。

5.根据权利要求1所述的结合图像内容和关键字的信息推荐方法，其特征在于，所述步骤B还包括：

当有新图片添加至图片库时，采用稀疏线性模型增量更新的计算公式计算新图片与图片库中的其他图片之间的相似度，更新稀疏线性模型。

6.根据权利要求1所述的结合图像内容和关键字的信息推荐方法，其特征在于，所述整理原始推荐列表得到最终推荐列表并展示的步骤进一步包括：

在获得多个原始推荐列表时，对所有原始推荐列表中的图片进行过滤，并对过滤后的图片进行排序得到最终推荐列表。

7.根据权利要求1所述的结合图像内容和关键字的信息推荐方法，其特征在于，所述整理原始推荐列表得到最终推荐列表并展示的步骤具体包括：

对原始推荐列表中的图片进行过滤及排序得到最终推荐列表，展示所述最终推荐列表。

8.根据权利要求1所述的结合图像内容和关键字的信息推荐方法，其特征在于，所述根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表的步骤具体包括：

在用户检索图片时获取用户检索的目标图片的ID，根据目标图片的ID从相似度表中查询到与目标图片相关的相似图片形成原始推荐列表。

9.一种结合图像内容和关键字的信息推荐***，其特征在于，包括：

矩阵转换模块，用于提取图片库的图片的关键字信息、及包含颜色特征和纹理特征的图像内容信息，将关键字信息及图像内容信息表示成向量空间模型，得到对应的关键字信息矩阵和图像内容信息矩阵；

相似度计算模块，用于利用线性稀疏模型对关键字信息矩阵和图像内容信息矩阵进行处理，计算图片库中图片之间的相似度得到相似度表；

原始推荐列表获取模块，用于根据用户检索的目标图片从相似度表中查询所述目标图片的相似图片并形成原始推荐列表；

最终推荐列表获取模块，用于整理原始推荐列表得到最终推荐列表并展示。

10.根据权利要求9所述的结合图像内容和关键字的信息推荐***，其特征在于，所述矩阵转换模块包括：

分块单元，用于将图片按照预先指定的数量分块；

颜色处理单元，用于将每个分块由颜色单元进行处理得到包含若干个小区间的直方图，每个小区间代表一种颜色；

纹理处理单元，用于抽取图像边缘的纹理特征；

CEDD直方图获取单元，用于对抽取的颜色特征和纹理特征进行量化及正则化处理，得到每张图片的CEDD直方图。

11.根据权利要求9所述的结合图像内容和关键字的信息推荐***，其特征在于，所述相似度计算模块包括：

算法单元，用于根据关键字信息矩阵和图像内容信息矩阵计算图片之间的相似度，其中算法公式如下：

$\underset{S}{\mathrm{Minimize}}\frac{1}{2}{\left|\right|M-\mathrm{MS}\left|\right|}_F^2+\frac{\mathrm{\&alpha;}}{2}{\left|\right|F-\mathrm{FS}\left|\right|}_F^2+\frac{\mathrm{\&beta;}}{2}{\left|\right|S\left|\right|}_F^2+\mathrm{\&lambda;}{\left|\right|S\left|\right|}_1,$ $s.t\begin{array}{c}S\&GreaterEqual;0,\\ \mathrm{diag}\left(S\right)=0\&CenterDot;\end{array};$

其中，M、F分别表示关键字信息矩阵(m_ij)_m×n和图像内容信息矩阵(f_ij)_p×n，S表示需要计算的图片之间相似度矩阵，‖·‖_F、‖·‖₁分别表示Frobenius范数和1-范数，m、p分别表示所有图片的关键字特征数量和图像内容特征数量，n表示图片数量，α代表图像内容信息矩阵的影响因子，β、λ均为正则化参数。

12.根据权利要求11所述的结合图像内容和关键字的信息推荐***，其特征在于，所述相似度计算模块包括：

归一化处理单元，用于对矩阵F进行归一化处理：

$F(i,j)=\frac{F(i,j)-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}}{\mathrm{Max}\left\{F(i,\&CenterDot;)\right\}-\mathrm{Min}\left\{F(i,\&CenterDot;)\right\}};$

其中，F(i,j)表示矩阵F第i行、第j列元素；Min{F(i,·)}表示矩阵F第i行所有元素的最小值；Max{F(i,·)}表示矩阵F第i行所有元素的最大值，0≤i<p,0≤j<n。

13.根据权利要求9所述的结合图像内容和关键字的信息推荐***，其特征在于，相似度计算模块还包括：

增量计算单元，用于当有新图片添加至图片库时，采用稀疏线性模型增量更新的计算公式计算新图片与图片库中的其他图片之间的相似度，更新稀疏线性模型。

Images