CN101833565A - 一种主动选择代表性图像的相关反馈方法 - Google Patents

Abstract

本发明提供一种主动选择代表性图像的相关反馈方法，主要包括以下一系列步骤：(一)计算数据库中每张图像的评分；(二)按照评分从大到小排序，选择评分最大的图像供用户判断是否相关；(三)获得用户反馈结果后，重新计算数据库中图像的相关度；(四)依据新生成的图像相关度对图像排序，更新图像检索结果；(五)返回(一)或者结束。本发明利用机器学习中的主动学习思想，在选择相关反馈的候选图像时同时兼顾检索装置当前已经掌握的信息和对整个图像数据库的代表性，解决了之前相关反馈机制中候选图像随机获得或者只考虑片面因素的问题，从而显著提高相关反馈的效率。

Description

一种主动选择代表性图像的相关反馈方法

技术领域

本发明涉及一种数字图像的检索装置，特别涉及一种主动选择代表性图像的相关反馈机制。

背景技术

数字图像在日常生活和实际应用中越来越频繁的扮演着重要的角色。随着网络上和个人用户的数字图像的快速增长，如何有效管理和利用这些数字图像成为一个非常有意义和挑战的工作，而图像检索更是其中的关键技术。然而，由于每个用户的搜索偏好都不同，目前的检索技术还不能非常精确的满足所有用户的要求，因此，一种称为相关反馈的技术引入进来，让用户参与检索过程，通过用户和检索装置进行交互和反馈，使得检索结果更加适应个性化要求。具体的，当检索装置向用户呈现检索结果后，用户可以将若干图像判断为相关或者不相关，并把这些信息提交给检索装置。检索装置利用这些获得的信息来提高检索质量，使得检索结果更加符合用户的要求。这样的过程就叫做相关反馈，并且可以重复进行直到用户满意。

目前，相关反馈过程中往往由检索装置随机提供较少的候选图像来让用户判断是否相关，从而限制了反馈图像的信息量。现在存在的极少的基于主动学习的相关反馈机制能自动挑选出信息量较高的候选图像，但往往只关注于那些检索装置最不确定的图像，而不考虑图像的代表性，从而不能很大的提高相关反馈机制的效能。

发明内容

发明目的：本发明的针对现有的相关反馈机制中候选图像随机获得或者只考虑片面因素的问题，提供一种主动选择代表性图像的相关反馈方法，从而能够在选择关反馈的候选图像时同时兼顾检索装置当前已经掌握的信息和对整个图像数据库的代表性，显著提高相关反馈的效率。

技术方案：为实现上述目的，本发明所述的一种主动选择代表性图像的相关反馈方法，主要包括以下一系列步骤：一、计算数据库中每张图像的评分；二、按照评分从大到小排序，选择评分最大的图像供用户判断是否相关；三、获得用户反馈结果后，重新计算数据库中图像的相关度；四、依据新生成的图像相关度对图像排序，更新图像检索结果；五、返回一或者结束。此过程可以重复进行直到用户对检索结果满意。

计算机数据库中的图像由图像数据库L和查询图像U两部分组成，其中图像数据库L部分经过用户反馈，已经具有是否相关的信息，查询图像U部分为未经用户反馈的图像。设定图像数据库L中共有N₁幅图像，查询图像U中共有N₂幅图像，相关反馈方法包含以下步骤：

(1)获得所有图像L和U的特征向量X₁和X₂，以及L的是否相关信息Y₁；如果是第一轮，则L为空集；

(2)对U中的每一幅图像计算评分；

(3)将步骤2计算出来的评分按从大到小的顺序排序；

(4)选出评分最大的N₃张图像，用S表示，并获得其特征向量X₃；

(5)将步骤4获得的结果交给用户判定是否相关，并用Y3表示反馈结果；

(6)将S从U中移除，归并到L中，对应的X₃加入到X₁中，Y₃加入到Y₁，并相应地N₁加N₃，N₂减N₃；

(7)根据更新后的X₁，X₂和Y₁，计算每张图像的相似度，根据新的相似度按从大到小排序后输出作为检索结果；

(8)如果用户对检索结果满意了，则检索过程结束，否则进入新一轮的相关反馈。

本发明主要基于以下的思想：用户反馈的图像数量不一样，或者反馈的图像不一样，检索装置能获得的信息量也就不同，如果完全随机的向用户提供候选图像让用户判断，一方面，这样随机选取的图像不一定是最有用的图像，可能不能帮助检索装置提高检索质量；另一方面，提供给用户的候选图像数量会很有限。而机器学习领域中的主动学习技术能很好的解决这样的问题，检索装置利用主动学习的思想能自动的从数据库中全局的挑选出最适合用于反馈的图像让用户判断。而一张图像是否适合用于反馈，是否能帮助检索装置提高检索结果质量，一般可以从两个方面来衡量：一方面，如果检索装置对当前这张图像是否相关非常不确定，那么用户提供判断之后，检索装置能获得较大的信息量；另一方面，如果这张图像具有很好的代表性，能很好的代表数据库中的某一类图像，那么检索装置获取它是否相关的信息之后就能对数据库中的大量图像做出判断，因此也是很有用的。本发明就是基于以上两个方面，用一个量化的评分来衡量图像是否适合用于反馈，挑选出那些检索装置不确定同时又具有很好的代表性的图像。

有益效果：本发明与现有技术相比，其有益效果为：本发明利用机器学习中的主动学习思想，在选择相关反馈的候选图像时同时兼顾检索装置当前已经掌握的信息和对整个图像数据库的代表性，解决了之前相关反馈机制中候选图像随机获得或者只考虑片面因素的问题，从而显著提高相关反馈的效率。

附图说明

图1是数字图像检索装置工作流程图。

图2是本发明机制的流程图。

图3是计算每幅图像的评分的流程图。

图4是计算图像相似度的流程图。

具体实施方式

下面结合附图，对最佳实施例进行详细说明，但是本发明的保护范围不局限于所述实施例。

图1所示为数字图像检索装置工作流程图。图像数据库由两部分组成，图像数据库部分是经过用户反馈的，已经具有是否相关的信息，假设共有N₁幅图像，用L表示；查询图像部分是未经用户反馈的图像，假设总共有N₂幅图像，用U表示。装置对数据库中的图像提取特征，每一幅图像由一个特征向量表示。特征提取可以使用数字图像处理教科书中的经典方法生成适用的图像特征，例如颜色、纹理、形状等特征。

每次根据L和U中图像的特征向量(假设用X₁和X₂表示)以及L中图像的是否相关的信息(假设用Y₁表示，值为1时表示相关，值为-1时表示不相关)，装置进行图像检索，计算每幅图像的相似度，并按相似度从大到小的顺序输出作为检索结果。如果用户对检索结果满意了，则检索过程结束，否则装置将选择若干图像提供给用户判断是否相关，从而进入新一轮的相关反馈。

图2所示为本发明的相关反馈机制。步骤0开始，步骤1获得所有图像(包括L和U)的特征向量X₁，X₂，以及L的是否相关的信息Y₁。如果是第一轮，则L为空集。步骤2对U中的每一幅图计算其评分，具体过程见图3。步骤3将步骤2计算出来的评分排序，按从大到小的顺序排序。步骤4选择出评分最大的N₃张图像，用S表示，并假设其特征向量为X₃，然后在步骤5中交给用户判定是否相关，并用Y3_表示反馈结果，即表示其是否相关，同样值为1表示相关，值为-1表示不相关。在步骤6中，将S从U中移除，归并到L中，对应的X₃加入到X₁中，Y₃加入到Y₁，并相应地N₁加N₃，N₂减N₃。步骤7中，根据更新后的X₁，X₂和Y₁，计算每张图像的相似度，具体过程见图4，根据新的相似度按从大到小排序后输出作为检索结果。这样到步骤8为止，一轮的相关反馈过程结束。

图3所示说明如何计算U中每幅图像的评分。步骤20为开始动作。步骤21中，基于X₁和X₂计算一个核矩阵，大小为(N₁+N₂)×(N₁+N₂)，用K表示。这里核矩阵的计算方法可以用机器学习或模式识别教科书中最常用的方法，比如线性核。每一幅图像在K中都对应着某一行和某一列。步骤22，计算(K+I)的逆矩阵，结果用M表示，其中I是(N₁+N₂)×(N₁+N₂)大小的单位阵。同样的，每一幅图像都在M矩阵中对应着某一行和某一列。步骤23初始i为1，开始对U中的图像计数。步骤24判断i是否大于N₂，如果大于则U中的图像已经遍历完，跳向步骤29，结束，否则进入下一步。步骤25中，假设当前图像i是相关的，这里引入一个中间变量z，z＝1表示相关，z＝-1表示不相关，然后按照下面式(1)计算评分，得到v₁。步骤26中，假设图像i是不相关的，即z＝-1，然后同样按照式(1)计算评分，得到v₂。式(1)中的代号M₁到M₆分别表示M矩阵中某一部分，分别由不同的行和列组成，具体如下：M₁由L中图像对应的行和列组成，大小为N₁×N₁，M₂由U中除去第i幅以外图像对应的行和列组成，大小为(N₂-1)×(N₂-1)，M₃由第i幅图像对应的行和列组成，大小为1×1，M₄由U中第i幅图像对应的行和L中图像对应的列组成，大小为1×N₁，M_5由U中除去第i幅以外图像对应的行和L中图像对应的列组成大小为(N₂-1)×N₁，M₆由U中除去第i幅以外图像对应的行和U中第i幅图像对应的列组成，大小为(N₂-1)×1。步骤27比较v₁和v₂，取其中较小者作为图像i的评分v。步骤28将计数i加1，再转到步骤24。注意用于计算评分的式(1)中，既用到了L中的图像对应的信息来帮助判断检索装置当前对图像的不确定性，同时又用到了U中图像对应的信息来衡量图像对其它所有图像的代表性，从而保证了评分同时从不确定性和代表性两个方面衡量了当前图像是否适合用于反馈，也就保证了所选的图像能最大程度的提高检索装置的性能。值得说明的是，步骤27中的比较之所以选择较小值的作为图像i的评分，主要是考虑到图像i是否相关是无法知道的，选择较小值相当于保守情况下保证了无论图像i是相关还是不相关的，都能选择到最适合于反馈的图像。

$v=-({\mathrm{zM}}_{3}z+Y_1^T{M}_1{Y}_1+2z{M}_4{Y}_1-{(M_5{Y}_1+M_{6}z)}^T{M}_2^{-1}(M_5{Y}_1+M_{6}z))---\left(3\right)$

图4所示计算图像相似度的流程图，基于L计算每幅图片的相似度可以有多种方法，在典型实现例中采用下述计算方法。首先假设L中假设有n₁幅相关的图像，有n₂幅不相关的图像，总共有n幅图像需要计算相似度，并假设两个长度为n₁的临时数组A、B分别存储中间值。步骤70为起始动作。步骤71初始化i为1，开始计数。步骤72判断是否n幅图像都已经计算完毕，若i＞n则跳到步骤75结束，否则进入下一步。从步骤73开始分两个分支进行。步骤7310初始j＝1，步骤7311判断j是否大于n₁，是则跳到步骤7316，否则进入步骤7312，将k初始为1，步骤7313判断k是否大于n₁，是则跳到步骤7315，否则进入步骤7314。步骤7314按照式(2)计算得到值e₁之后存为A的第k个元素，并将k加1。式(2)中x_i，x_j，和x_k分别表示第i幅要计算相似度的图像，L中第j张相关图像以及L中第k张不相关图像的特征向量，函数d是用来计算两个向量的距离的，定义如式(3)，式(3)中a和b为两个向量，m为向量a和b的维数，a_t表示向量a的第t维的值，e₀为一个预先定义的非常小的常数，用于避免分母为0，在典型实现例中采用0.0001。步骤7315从A中挑选一个最大值，存为B的第j个元素，并将j加1。步骤7316计算B的平均值，得到的值记为s₁。另一个分支从步骤7320到7326与步骤7310到7316类似，不同的是在步骤7324按照式(4)计算，步骤7326得到的值记为s₂。注意式(4)中的变量的含义与式(2)中的相同。步骤74将s₁和s₂统一到同一量纲之后进行求和，得到s，作为第i张图像的相似度，然后将i加1，返回到步骤72。

$e_1=d(x_i,x_k)\×\frac{d(x_i,x_j)+d(x_k,x_j)}{2}---\left(4\right)$

$d(a,b)=\frac{1}{\sqrt{{\mathrm{\Σ}}_{t=1}^m{|a_t-b_t|}^2+e_0}}---\left(5\right)$

$e_2=\frac{2d(x_i,x_k)}{d(x_i,x_j)+d(x_k,x_j)}---\left(6\right)$

熟知本领域的人士将理解，虽然这里为了便于解释已描述了具体实施例，但是可在不背离本发明精神和范围的情况下作出各种改变。因此，除了所附权利要求之外，不能用于限制本发明。

Claims (3)

1.一种主动选择代表性图像的相关反馈方法，其特征是计算机数据库中的图像由图像数据库L和查询图像U两部分组成，设定图像数据库L中共有N₁幅图像，查询图像U中共有N₂幅图像，相关反馈方法包含以下步骤：

(1)获得所有图像L和U的特征向量X₁和X₂，以及L的是否相关信息Y₁；如果是第一轮，则L为空集；

(2)对U中的每一幅图像计算评分；

(3)将步骤2计算出来的评分按从大到小的顺序排序；

(4)选出评分最大的N₃张图像，用S表示，并获得其特征向量X₃；

(5)将步骤4获得的结果交给用户判定是否相关，并用Y₃表示反馈结果；

(6)将S从U中移除，归并到L中，对应的X₃加入到X₁中，Y₃加入到Y₁，并相应地N₁加N₃，N₂减N₃；

(7)根据更新后的X₁，X₂和Y₁，计算每张图像的相似度，根据新的相似度按从大到小排序后输出作为检索结果；

(8)如果用户对检索结果满意了，则检索过程结束，否则进入新一轮的相关反馈。

2.根据权利要求1所述的主动选择代表性图像的相关反馈方法，其特征在于步骤(2)具体包含以下步骤：

(21)基于X₁和X₂计算一个核矩阵，大小为(N₁+N₂)×(N₁+N₂)，用K表示；

(22)计算(K+I)的逆矩阵，结果用M表示，其中I是(N₁+N₂)×(N₁+N₂)大小的单位阵；

(23)将图像计数参数i置为1，开始对U中的图像计数；

(24)判断i是否大于N₂，如果大于则U中的图像已经遍历完，跳向步骤29，否则进入下一步；

(25)，假设当前图像i是相关的，这里引入一个中间变量z，z＝1表示相关，z＝-1表示不相关，然后按照式(1)计算评分，得到υ₁；

(26)假设图像i是不相关的，即z＝-1，然后同样按照式(1)计算评分，得到υ₂；

(27)比较υ₁和υ₂，取其中较小者作为图像i的评分υ；

(28)将图像计数参数i加1，再转到步骤24；

(29)结束；

$\mathrm{\υ}=-(z{M}_{3}z+Y_1^T{M}_1{Y}_1+2z{M}_4{Y}_1-{(M_5{Y}_1+M_{6}z)}^T{M}_2^{-1}(M_5{Y}_1+M_{6}z))---\left(1\right)$

式(1)中的代号M₁到M₆分别表示M矩阵中某一部分，分别由不同的行和列组成，具体如下：M₁由L中图像对应的行和列组成，大小为N₁×N₁，M₂由U中除去第i幅以外图像对应的行和列组成，大小为(N₂-1)×(N₂-1)，M₃由第i幅图像对应的行和列组成，大小为1×1，M₄由U中第i幅图像对应的行和L中图像对应的列组成，大小为1×N₁，M₅由U中除去第i幅以外图像对应的行和L中图像对应的列组成大小为(N₂-1)×N₁，M₆由U中除去第i幅以外图像对应的行和U中第i幅图像对应的列组成，大小为(N₂-1)×1。

3.根据权利要求1所述的主动选择代表性图像的相关反馈方法，其特征是步骤(7)中基于L计算每幅图片的相似度的方法为：首先假设L中假设有n₁幅相关的图像，有n₂幅不相关的图像，总共有n幅图像需要计算相似度，并假设两个长度为n₁的临时数组A、B分别存储中间值，具体方法如下：

(71)将图像计数参数i置为1，开始计数；

(72)判断是否n幅图像都已经计算完毕，若i＞n则跳到步骤75结束，否则进入下一步；

(73)分两个分支进行：

第一个分支为：

(7310)设图像计数参数j＝1；

(7311)判断j是否大于n₁，是则跳到步骤7316，否则进入下一步；

(7312)将图像计数参数k初始置为1；

(7313)判断k是否大于n₁，是则跳到步骤7315，否则进入下一步；

(7314)按照式(2)计算得到值e₁之后存为A的第k个元素，并将k加1；

(7315)从A中挑选一个最大值，存为B的第j个元素，并将j加1；

(7316)计算B的平均值，得到的值记为s₁；

第二个分支为：

(7320)设图像计数参数j＝1；

(7321)判断j是否大于n₁，是则跳到步骤7316，否则进入下一步；

(7322)，将图像计数参数k初始置为1；

(7323)判断k是否大于n₁，是则跳到步骤7315，否则进入下一步；

(7324)按照式(4)计算得到值e₁之后存为A的第k个元素，并将k加1；

(7325)从A中挑选一个最大值，存为B的第j个元素，并将j加1；

(7326)计算B的平均值，得到的值记为S₂；

$e_1=d(x_i,x_k)\×\frac{d(x_i,x_j)+d(x_k,x_j)}{2}---\left(2\right)$

$d(a,b)=\frac{1}{\sqrt{{\mathrm{\Σ}}_{t=1}^m{|a_t-b_t|}^2}+e_0}---\left(1\right)$

$e_2=\frac{2d(x_i,x_k)}{d(x_i,x_j)+d(x_k,x_j)}---\left(2\right)$

(74)将s₁和s₂统一到同一量纲之后进行求和，得到s，作为第i张图像的相似度，然后将图像计数参数i加1，返回到步骤72；

(75)结束；

式(2)中x_i，x_j，和x_k分别表示第i幅要计算相似度的图像，L中第j张相关图像以及L中第k张不相关图像的特征向量，函数d是用来计算两个向量的距离的，定义如式(3)；式(3)中a和b为两个向量，m为向量a和b的维数，a_t表示向量a的第t维的值，e₀为预先定义的大于0的非常小的常数，；式(4)中的变量的含义与式(2)中的相同。

Images