一种基于词袋模型的图像描述方法及***
技术领域
本发明属于图像处理领域,尤其涉及一种基于词袋模型的图像描述方法及***。
背景技术
在图像处理领域,图像描述作为图像标注、检索、分类等的关键技术,已吸引了越来越多研究者的关注。随着多媒体、互联网技术及可移动设备的发展,需要处理识别的图像数量呈***式增长,从而对图像处理能力提出了更高要求。基于词袋模型的图像描述方法作为图像描述的有效方法,通过对图像的底层特征进行编码形成直方图矢量以对图像进行描述,具有处理效率高、分析准确度高的特点,特别适用于对大规模图像信息的处理。
现有技术提供的基于词袋模型的图像描述方法主要包括以下步骤:首先,从训练图像中提取特征点,对特征点进行聚类,获得码书;之后,从待描述图像中提取特征点,利用码书将特征点映射为视觉单词;之后,统计每一视觉单词在待描述图像中出现的频率,得到用以描述待描述图像的直方图矢量。
现有技术提供的前述基于词袋模型的图像描述方法在将特征点映射为视觉单词的步骤中,是选取码书中、与特征点之间的距离最近的视觉单词作为最佳方案。这样,当码书中有多个单词与特征点之间的距离相似时,有可能与特征点之间的距离稍大的视觉单词在语义上更接近该特征点,从而使得图像描述不准确。
发明内容
本发明的目的在于提供一种基于词袋模型的图像描述方法,旨在解决现有 技术提供的基于词袋模型的图像描述方法在将特征点映射为视觉单词时,选取与特征点之间距离最近的视觉单词作为最佳方案,会使得图像描述不准确的问题。
本发明是这样实现的,一种基于词袋模型的图像描述方法,所述方法包括以下步骤:
从待描述图像中提取特征点;
计算所述特征点与码书中视觉单词之间的距离集合,并通过高斯隶属度函数、利用所述距离集合获得所述特征点与所述视觉单词之间的隶属度集合;
利用所述隶属度集合,统计用于描述每一特征点的所述视觉单词的隶属度,形成直方图矢量,所述直方图矢量用以描述所述待描述图像。
本发明的另一目的在于提供一种基于词袋模型的图像描述***,所述***包括:
提取模块,用于从待描述图像中提取特征点;
隶属度集合生成模块,用于计算所述提取模块提取出的所述特征点与码书中视觉单词之间的距离集合,并通过高斯隶属度函数、利用所述距离集合获得所述特征点与所述视觉单词之间的隶属度集合;
图像描述生成模块,用于利用所述隶属度集合生成模块获得的所述隶属度集合,统计用于描述每一特征点的所述视觉单词的隶属度,形成直方图矢量,所述直方图矢量用以描述所述待描述图像。
本发明提供的基于词袋模型的图像描述方法及***是在现有技术基础上应用模糊理论,在得到距离集合后,利用高斯隶属度函数为每一视觉单词分配不同的隶属度,以将距离集合转换为模糊集合,之后用具有不同隶属度的视觉单词对特征点进行编码,从而有效降低传统方法引起的信息丢失问题,进而提高图像描述的准确度。
附图说明
图1是本发明提供的基于词袋模型的图像描述方法的流程图;
图2是本发明中,从待描述图像中提取特征点的步骤的详细流程图;
图3是本发明中,获得隶属度集合的步骤的详细流程图;
图4是本发明提供的基于词袋模型的图像描述***的结构图;
图5是图4中提取模块的结构图;
图6是图4中隶属度集合生成模块的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提出一种基于词袋模型的图像描述方法及***。该方法及***是在现有技术基础上应用模糊理论,在得到距离集合后,利用高斯隶属度函数,将距离集合转换为模糊集合。
图1示出了本发明提供的基于词袋模型的图像描述方法的流程,包括以下步骤:
S1:从待描述图像中提取特征点。
本发明中,可采用尺度不变特征转换(Scale-Invariant Feature Transform,SIFT)算法或任一种SIFT改进算法实现特征点的提取。如图2所示,若采用SIFT算法实现特征点的提取,则可包括以下步骤:
S11:利用高斯核对待描述图像进行尺度变换,获得待描述图像在多尺度下的尺度空间表示序列,对尺度空间表示序列进行特征提取,以确定待描述图像中特征点的位置和所在尺度。
S12:通过拟合三维二次函数精确确定特征点的位置和尺寸。
S13:利用特征点邻域像素的梯度方向分布特性,为每一特征点指定一主方向和多个辅方向。
S14:统计特征点所处尺度和区域的图像梯度,并通过转换得到特征点的特征向量。
S2:计算特征点与码书中视觉单词之间的距离集合,并通过高斯隶属度函数、利用距离集合获得特征点与视觉单词之间的隶属度集合。如图3所示,步骤S2又可包括以下步骤:
S21:计算特征点与码书中视觉单词之间的距离集合。
若假设di,j是特征点qi和码书中视觉单词wj之间的欧式距离,D为用以表示距离集合的矩阵,则步骤S21可表示为:
其中,n为特征点的数量,m为码书中视觉单词的个数。
S22:通过高斯隶属度函数、利用距离集合获得每一特征点与各视觉单词之间的隶属度,得到第一模糊集合,该第一模糊集合记为,其表征了特征点与视觉单词之间的相似度,该第一模糊集合可作为隶属度集合。
若假设μ(di,j)为欧式距离di,j对应的隶属度,则通过高斯隶属度函数、利用距离集合获得每一特征点与各视觉单词之间的隶属度的步骤可表示为:
其中,θj是视觉单词wj的高斯模型的期望值,σj是视觉单词的高斯模型的方差。
现有技术中,在将特征点映射为视觉单词的过程中,当所有的视觉单词都距离一特征点较远时,这个特征点在语义上与码书中的视觉单词不具有相似性,此时,该特征点不应用码书中的视觉单词进行描述,然而,现有的基于词袋模型的图像描述方法是选取与特征点之间的距离最近的视觉单词作为最佳方案,这样会增加错误信息到最终的图像描述中,降低图像描述的准确性。为进一步 解决该问题,本发明中,在步骤S22之后,还可包括以下步骤:
S23:去除第一模糊集合中、与特征点之间的距离超过相应阈值时的隶属度,得到第二模糊集合,以实现对第一模糊集合的增强。该第二模糊集合记为A',该第二模糊集合可作为隶属度集合。
若假设λ为一阈值,则步骤S23可表示为:
其中,χA'(di,j)∈A',且0≤χA'(di,j)≤1。上式表示当特征点qi和码书中视觉单词wj之间的欧式距离di,j满足di,j≤θj-λσj时,则相应的视觉单词wj将被分配给相应的特征点qi进行编码,反之则不分配,从而决定了哪些视觉单词用于对一个特征码进行编码。
另外,本发明中,在步骤S1之前,还可包括码书生成的步骤,具体为:
S0:从训练图像中提取特征点,并对提取的特征点进行K-means聚类,得到码书。
本发明中,从训练图像中提取特征点的步骤与前述步骤S1类似,不赘述。
本发明中,通过K-means聚类算法获得码书。设置初始单词数为m,距离度量为欧式距离,聚类后生成的m个聚类中心作为码书中的m个视觉单词,则码书W可表示为:W={w1,w2,...,wm},其中,wi(i=1,2,…,m)是第i个视觉单词,m是码书W的尺寸。
S3:利用隶属度集合,统计用于描述每一特征点的视觉单词的隶属度,形成直方图矢量,该直方图矢量用以描述待描述图像。
假设h为直方图矢量,记为h={ψ1,ψ2,…,ψj,…,ψm},其中ψj∈R,1≤j≤m,ψj可由下式获得:
图4示出了本发明提供的基于词袋模型的图像描述***的结构,包括:提取模块1,用于从待描述图像中提取特征点;隶属度集合生成模块2,用于计算 提取模块1提取出的特征点与码书中视觉单词之间的距离集合,并通过高斯隶属度函数、利用距离集合获得特征点与视觉单词之间的隶属度集合;图像描述生成模块3,用于利用隶属度集合生成模块2获得的隶属度集合,统计用于描述每一特征点的视觉单词的隶属度,形成直方图矢量,该直方图矢量用以描述待描述图像。
图5示出了图4中提取模块1的结构,可包括:特征点初步确定子模块11,用于利用高斯核对待描述图像进行尺度变换,获得待描述图像在多尺度下的尺度空间表示序列,对尺度空间表示序列进行特征提取,以确定待描述图像中特征点的位置和所在尺度;特征点精确确定子模块12,用于通过拟合三维二次函数精确确定特征点的位置和尺寸;特征点方向确定子模块13,用于利用特征点邻域像素的梯度方向分布特性,为每一特征点指定一主方向和多个辅方向;特征向量生成子模块14,用于统计特征点所处尺度和区域的图像梯度,并通过转换得到特征点的特征向量。
图6示出了图4中隶属度集合生成模块2的结构,可包括:距离计算子模块21,用于计算特征点与码书中视觉单词之间的距离集合;第一隶属度集合生成子模块22,用于通过高斯隶属度函数、利用距离集合获得每一特征点与各视觉单词之间的隶属度,得到第一模糊集合,其表征了特征点与视觉单词之间的相似度,该第一模糊集合可作为隶属度集合。其中,每一子模块的详细表述如前所述,不赘述。
进一步地,为了提高图像描述的准确性,本发明中,隶属度集合生成模块2还可包括:第二隶属度集合生成子模块23,用于去除第一模糊集合中、与特征点之间的距离超过相应阈值时的隶属度,得到第二模糊集合,以实现对第一模糊集合的增强,该第二模糊集合可作为隶属度集合,该子模块的详细表述如前所述,不赘述。
另外,本发明提供的基于词袋模型的图像描述***还可包括:码书生成模块(图中未示出),用于从训练图像中提取特征点,并对提取的特征点进行 K-means聚类,得到码书。
综上所述,本发明提供的基于词袋模型的图像描述方法及***主要应用在图像分类、图像检索、目标识别等领域,是在现有技术基础上应用模糊理论,在得到距离集合后,利用高斯隶属度函数为每一视觉单词分配不同的隶属度,以将距离集合转换为模糊集合,之后用具有不同隶属度的视觉单词对特征点进行编码,从而有效降低传统方法引起的信息丢失问题,进而提高图像描述的准确度。另外,在得到第一模糊集合之后,还可进一步对第一模糊集合进行增强,去除第一模糊集合中、与特征点之间的距离超过相应阈值时的隶属度,从而减少了错误信息进入图像描述中,进一步提高了图像描述的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成,所述的程序可以在存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。