发明内容:
本发明的目的在于克服上述已有技术的不足而提供一种基于语义对齐的离散监督跨模态哈希检索方法。本发明的方法首先利用含有语义信息的属性表示图像,使文本和图像模态对齐语义信息,缩小异构鸿沟;其次为了减少训练的计算复杂度和内存开销,提出直接利用标签学习样本的哈希码;最后为了减小量化误差,提出一种离散优化算法,直接得到哈希码的离散解。
本发明的目的可以通过如下措施来达到:基于语义对齐的离散监督跨模态哈希检索方法,其特征在于其由两部分组成:离线训练过程和在线检索过程;所述的离线训练过程包括提取训练集中文本模态样本BOW特征、提取训练集中图像模态样本的语义属性以及哈希函数的学习;所述的在线检索过程,首先利用BOW算法或CNN提取测试集中文本模态样本的特征或图像模态样本的语义属性表示,然后通过哈希函数将测试集中文本模态样本或图像模态样本映射到二值空间,最后计算测试集中文本模态样本或图像样本的哈希码与被检索异构样本哈希码的汉明距离,并根据距离从小到大排序返回排序靠前的样本。
为了进一步实现本发明的目的,所述的离线训练过程,首先提取训练集中文本模态样本和图像模态样本的表示,然后将基于矩阵分解的协同滤波引入学习哈希码,并为文本和图像模态学习哈希函数;具体实现包括以下子步骤:
步骤1.1:训练集中样本包括文本模态样本和图像模态样本,提取训练集中样本的表示,其包含以下子步骤:
步骤1.1.1:利用词包模型提取训练集中文本模态样本的BOW特征;
步骤1.1.2:将训练集中图像模态样本送入在ImageNet上训练好的CNN网络,并将CNN网络Fc8层的输出作为语义属性表示训练图像样本;
步骤1.2:引入基于矩阵分解的协同滤波方法,直接利用样本的标签学习哈希码;具体而言,利用基于矩阵分解的协同滤波算法学习两个低维矩阵,来估计标签矩阵,其中一个矩阵为潜在语义矩阵,用表示,表示训练样本总的类别数目,表示哈希码的长度;另外一个矩阵为样本的哈希码,用表示,表示训练样本的数量;算法期望如果第个训练样本属于第类,的值应该小;反之,如果第个训练样本不属于第类,的值应该大;因此,第个训练样本和第个潜在语义概念间的关联可以用来预测标签矩阵,关系预测损失的定义如下:
其中,表示Frobenius范数,为所有样本的标签矩阵,表示第个样本的标签,,表示第个样本不属于第类,表示第个样本属于第类,用矩阵形式表示,可写为:
其中,为正则项,为权重参数;
步骤1.3:在得到训练文本和图像样本特征表示的基础上,利用线性映射作为哈希函数,其定义如下:
其中、分别表示训练集中文本和图像模态样本的特征描述,, ,表示文本模态特征的维数,、分别表示文本和图像模态的哈希函数,表示符号函数,当输入为正值时输出为1,输入为负值时输出为-1;哈希函数学习的损失如下:
其中,、和为权重参数;
步骤1.4:因此DSAH算法目标函数定义为:
步骤1.5:求解步骤1.4中目标函数,得到图像和文本模态的哈希函数;提出一种迭代优化算法得到一组局部最优解,其包含以下子步骤:
步骤1.5.1:固定,和,求解:当,和固定时,题变为简单的线性回归问题,这个问题存在闭合解,可以通过对求偏导为0得到:
步骤1.5.2:固定,和,求解:当,和固定时,与求解类似,这个问题也存在闭合解,可以通过对变量求偏导为0得到:
与求解类似,可以通过下式得到:
步骤1.5.3:固定,和,求解:当,和固定时,步骤1.4中目标函数可以写为:
本发明提出一种离散优化方法,可以直接得到问题的离散解;展开上式并舍弃与无关的项,上式可写为:
其中,表示矩阵的迹;本发明提出固定哈希码的其他位每次只求解一位的方法,直接得到哈希码的离散解;令表示哈希码的第位,表示除了第位由其他位组成的矩阵;类似的,表示的第列,表示除了第位由其他位组成的矩阵;表示的第列,表示除了第位由其他位组成的矩阵;去除常数项,目标函数变为:
当和的符号不同时,上式取值最小,因此:
步骤1.5.4:判断是否是最大迭代次数或最近两次迭代的损失差小于0.1,如果不是则跳转到步骤1.5.1继续迭代;如果是,则停止迭代,得到两个模态的哈希函数。
为了进一步实现本发明的目的,所述的在线检索过程,利用测试集中包含的文本和图像模态样本测试算法的检索性能,具体实现包含以下子步骤:
步骤2.1:利用词包模型提取测试集中文本模态样本的BOW特征,把测试集中图像模态样本送入在ImageNet上训练好的CNN网络,并把Fc8层输出的1000类分类得分作为语义属性表示图像模态的样本;
步骤2.2:分别利用离线训练过程中为文本和图像模态学习的哈希函数,得到测试集中文本和图像模态样本的哈希码;
步骤2.3:把测试集中文本或图像模态样本作为查询样本,分别计算查询样本哈希码与测试集中图像或文本模态样本哈希码的汉明距离,并根据距离从小到大排序返回排序靠前的样本。
本发明与已有技术相比可产生如下积极效果:
(1)利用含有语义信息的属性表示图像,使文本和图像模态对齐语义信息,缩小异构鸿沟,提升了算法的性能;
(2)直接利用标签学习样本的哈希码,减少了训练的计算复杂度和内存开销;
(3)提出了一种离散优化算法,可以直接得到哈希码的离散解,减小量化误差,提升了算法的性能。
具体实施方式:下面对本发明的具体实施方式再详细说明:
本发明的数据集被划分为训练集和测试集,训练集用于训练各模态的哈希函数,测试集用于测试算法的性能;
参见图1,基于语义对齐的离散监督跨模态哈希检索方法,其特征在于其由两部分组成:离线训练过程和在线检索过程;所述的离线训练过程包括提取训练集中文本模态样本BOW特征、提取训练集中图像模态样本的语义属性以及哈希函数的学习;所述的在线检索过程,首先利用BOW算法或CNN提取测试集中文本模态样本的特征或图像模态样本的语义属性表示,然后通过哈希函数将测试集中文本模态样本或图像模态样本映射到二值空间,最后计算测试集中文本模态样本或图像样本的哈希码与被检索异构样本哈希码的汉明距离,并根据距离从小到大排序返回排序靠前的样本。
所述的离线训练过程,首先提取训练集中文本模态样本和图像模态样本的表示,然后将基于矩阵分解的协同滤波引入学习哈希码,并为文本和图像模态学习哈希函数;具体实现包括以下子步骤:
步骤1.1:训练集中样本包括文本模态样本和图像模态样本,提取训练集中样本的表示,其包含以下子步骤:
步骤1.1.1:利用词包模型提取训练集中文本模态样本的BOW特征;
步骤1.1.2:将训练集中图像模态样本送入在ImageNet上训练好的CNN网络,并将CNN网络Fc8层的输出作为语义属性表示训练图像样本;
步骤1.2:为了减少监督哈希算法的运算量,引入基于矩阵分解协同的协同滤波方法,直接利用样本的标签学习哈希码;具体而言,本发明利用基于矩阵分解的协同滤波算法学习两个低维矩阵,来估计标签矩阵,其中一个矩阵为潜在语义矩阵,用表示,表示训练样本总的类别数目,表示哈希码的长度;另外一个矩阵为样本的哈希码,用表示,表示训练样本的数量;算法期望如果第个训练样本属于第类,的值应该小;反之,如果第个训练样本不属于第类,的值应该大;因此,第个训练样本和第个潜在语义概念间的关联可以用来预测标签矩阵,关系预测损失的定义如下:
其中,表示Frobenius范数,为所有样本的标签矩阵,,表示第个样本的标签,表示第个样本不属于第类,表示第个样本属于第类,用矩阵形式表示,可写为:
其中,为正则项,为权重参数;哈希码直接通过标签矩阵得到,由于标签矩阵含有高层语义信息,因此哈希码具有很好的区分性能;
步骤1.3:在得到训练文本和图像样本特征表示的基础上,利用线性映射作为哈希函数,其定义如下:
其中、分别表示训练集中文本和图像模态样本的特征描述,, ,表示文本模态特征的维数,、分别表示文本和图像模态的哈希函数,表示符号函数,当输入为正值时输出为1,输入为负值时输出为-1;哈希函数学习的损失如下:
其中,、和为权重参数。
步骤1.4:因此DSAH算法目标函数定义为:
步骤1.5:求解步骤1.4中目标函数,得到图像和文本模态的哈希函数;但是目标函数含有四个变量是非凸的,因此本发明提出一种迭代优化算法得到一组局部最优解,其包含以下子步骤:
步骤1.5.1:固定,和,求解:当,和固定时,题变为简单的线性回归问题,这个问题存在闭合解,可以通过对求偏导为0得到:
步骤1.5.2:固定,和,求解:当,和固定时,与求解类似,这个问题也存在闭合解,可以通过对变量求偏导为0得到:
与求解类似,可以通过下式得到:
步骤1.5.3:固定,和,求解:当,和固定时,步骤1.4中目标函数可以写为:
由于的离散约束,所以这个问题是NP难问题。大部分已有的方法选择放松离散约束得到问题的一个连续解,再通过量化连续解得到离散解。但是由于量化操作引入了量化误差,再由连续解学习哈希函数会导致哈希函数性能的下降。因此本发明提出一种离散优化方法,可以直接得到问题的离散解。展开上式并舍弃与无关的项,DSAH算法的目标函数可写为:
其中,表示矩阵的迹;本发明提出通过固定哈希码的其他位每次只求解一位的方法,直接得到哈希码的离散解;具体而言,令表示哈希码的第位,表示除了第位由其他位组成的矩阵;类似的,表示的第列,表示除了第位由其他位组成的矩阵;表示的第列,表示除了第位由其他位组成的矩阵;去除常数项,目标函数变为:
通过观察可以发现:当和的符号不同时,上式的取值最小,因此:
步骤1.5.4:判断是否是最大迭代次数或最近两次迭代的损失差小于0.1,如果不是则跳转到步骤1.5.1继续迭代;如果是,则停止迭代,得到两个模态的哈希函数。
所述的在线检索过程,利用测试集中包含的文本和图像模态样本测试算法的检索性能,具体实现包含以下子步骤:
步骤2.1:利用词包模型提取测试集中文本模态样本的BOW特征,把测试集中图像模态样本送入在ImageNet上训练好的CNN网络,并把Fc8层输出的1000类分类得分作为语义属性表示图像模态的样本;
步骤2.2:分别利用离线训练过程中为文本和图像模态学习的哈希函数,得到测试集中文本和图像模态样本的哈希码;
步骤2.3:把测试集中文本或图像模态样本作为查询样本,分别计算查询样本哈希码与测试集中图像或文本模态样本哈希码的汉明距离,并根据距离从小到大排序返回排序靠前的样本。
本实施例的数据集为Mirflickr25K[8]和NUS-WIDE数据集[9],这两个数据集由图像和文本模态样本对构成,其中文本模态样本用BOW特征表示,而图像模态样本用CNN特征(Fc7层的输出)表示。
为了对齐文本模态和图像模态的语义信息,本发明方法利用图像模态的语义属性表示图像模态样本,具体而言,利用CNN网络的Fc8层的1000类分类得分作为图像模态的语义属性。对于Mirflickr25K数据集,本实施例随机选取75%的样本对构成训练集,剩余的25%样本对构成测试集,用来测试本发明方法的检索性能;对于NUS-WIDE数据集,本实施例随机选取99%的样本对构成训练集,剩余的1%样本对构成测试集,用来测试本发明方法的检索性能。
本实施例用平均精确率(mean Average Precision,mAP)来评估算法的检索性能。在两个数据集上文本检索图像和图像检索文本两个任务上哈希码长从16比特变化到64比特的实验结果公布在表1中。由于本发明方法利用了图像模态的语义属性与文本模态对齐语义信息和离散优化,本实验的平均准确率要明显优于文献[10-15]的结果。具体而言,在MirFlickr25K数据集上,本发明算法与最好对比算法的实验结果相比在文本检索图像和图像检索文本两个任务上分别得到了3.10%和2.64%的检索性能提升;在NUS-WIDE数据集上,本发明方法与最好对比算法的实验结果相比在文本检索图像和图像检索文本两个任务上分别得到了9.83%和11.26%的检索性能提升。证明了本发明提出方法的有效性。
表1在Mirflickr25K和NUS-WIDE数据集上的实验结果
应当理解的是,本说明书未详细阐述的部分都属于现有技术。上述针对较佳实施例的描述较细致,但不能因此认为是对本发明专利保护范围的限制,本发明的请求保护范围应以所附权利要求为准。
参考文献:
[1] BRONSTEIN M, BRONSTEIN A, MICHEL F, et al. Data fusion through cross-modality metric learning using similarity-sensitive hashing [C]. IEEEConference on Computer Vision and Pattern Recognition, San Francisco, CA,USA, 2010: 3594-3601.
[2]ZHEN Y, YEUNG D, Co-regularized hashing for multimodal data [C].Advances in Neural Information Processing Systems, Lake Tahoe, Nevada, USA,2012: 1385-1393.
[3]KUMAR S, UDUPA R. Learning hash functions for cross-view similaritysearch [C]. International Joint Conference on Artificial Intelligence,Barcelona, Catalonia, Spain, 2011:1360-1366.
[4]DING G, GUO Y, ZHOU J. Collective matrix factorization hashing formultimodal data [C]. IEEE Conference on Computer Vision and PatternRecognition, Columbus, OH, USA, 2014: 2075-2082..
[5] ZHANG D, LI W. Large-scale supervised multimodal hashing withsemantic correlation maximization [C]. AAAI Conference on ArtificialIntelligence, Québec City, Québec, Canada, 2014: 2177-2183.
[6]WU B, YANG Q, ZHENG W. Quantized correlation hashing for fast cross-modal search [C]. International Joint Conference on Artificial Intelligence,Canberra, ACT, Australia, 2015: 25-31.
[7]GONG Y, LAZEBNIK S, GORDO A, et al. Iterative quantization: Aprocrustean approach to Learning binary codes for large-scale image retrieval[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(12):2916-2929.
[8] HUISKES M, LEW M. The MIR flickr retrieval evaluation[C]. ACMInternational Conference on Multimedia Information Retrieval, 2008: 39-43.
[9] CHUA T, TANG J, HONG R, et al. Nuswide: A real-world web imagedatabase from national university of singapore [C]. ACM Conference on Imageand Video Retrieval, Santorini Island, Greece, 2009: 48-56.
[10] Zhang D, Li W J. Large-scale supervised multimodal hashing withsemantic correlation maximization [C],AAAI Conference on ArtificialIntelligence, 2014, pp. 2177-2183.
[11] Kumar S, Udupa R. Learning hash functions for cross view similaritysearch [J], International Joint Conference on Artificial Intelligence, 2011:1360-1365.
[12] Song J, Yang Y, Yang Y, Huang Z, Shen H. T. Inter-media hashing forlarge-scale retrieval from heterogenous data sources. ACM InternationalConference on Management of Data, 2013:785-796.
[13] Ding G, Guo, Y, Zhou J. Collective matrix factorization hashing formultimodal data [C]. IEEE Conference on Computer Vision and PatternRecognition, 2014: 2083–2090.
[14] Tang J, Wang K, Shao L. Supervised matrix factorization hashing forcross-modal retrieval [J]. IEEE Transactions on Image Processing, 2016:3157:3166.
[15] Ma D, Liang J, Kong. X, He R. Frustratingly easy cross-modal hashing[C]. ACM international conference on Multimedia, 2016: 237–241.