CN112069399A - 一种基于交互匹配的个性化搜索*** - Google Patents

Abstract

本发明通过人工智能领域的方法，实现了一种基于交互匹配的个性化搜索***，***输入模块、基于交互匹配的个性化搜索模块、输出模块，基于交互匹配的个性化搜索模块的运算过程通过用户搜索历史的底层匹配建模、注意力权值的计算、用户兴趣匹配向量的生成、个性化重排序步骤四个步骤，将基于在单词层面将用户的历史查询与候选文档做交互进行匹配的模型思想，注意力机制减少搜索历史中无关信息的影响的思路，使用卷积神经网络对加权后的匹配方法进行融合，从而生成文档最终的兴趣匹配向量，得到更准确的兴趣匹配分，解决了现有基于向量表示的方法下，排序结果的质量依赖向量构建模型的好坏，且构建向量的过程可能会忽略掉一些有用的信息的技术问题。

Description

一种基于交互匹配的个性化搜索***

技术领域

本发明涉及人工智能领域，尤其涉及一种基于交互匹配的个性化搜索***。

背景技术

利用用户的历史信息来个性化用户搜索已经被证实可以有效提高搜索排序的质量。个性化搜索算法首先根据用户的历史行为等信息对用户的兴趣进行建模，在计算匹配分数时，不仅考虑到查询语句和文档的相关度，还引入了文档和用户兴趣之间的匹配程度，从而针对不同用户个性化定制更满足其需求的搜索结果列表。用户兴趣模型的建立可以基于多种信息来源，如用户的位置信息、检索模式、用户的浏览历史和搜索历史等，目前大多数个性化搜索算法都是基于用户的历史浏览和历史搜索行为来建立用户兴趣模型。近几年，研究者在个性化排序模型中引入了深度学习方法，增强了模型对文本的语义理解能力，在对搜索结果的个性化重排上取得了很好的效果。利用深度学习的排序算法可以分为基于表示匹配和基于交互匹配两种。基于表示匹配是指在排序算法中，先分别学习得到查询和文档的语义向量表示，再将两个向量做匹配计算，这种算法的核心是学习语义向量表示。基于交互匹配的算法则是将查询和文档在更细粒度的单词层面提前做交互，抓取更完整的匹配信号，再利用这些匹配信号融合成一个匹配分，这种算法的核心是如何处理匹配信号将其融合成一个匹配分。现有的个性化搜索算法几乎都是先计算出用户的兴趣表示向量，再与候选文档的表示向量做交互得到个性化匹配分数，使用了基于表示匹配的算法思想。

现有的大部分个性化排序算法都是根据用户的历史行为，通过各种方式直接计算出用户的兴趣表示向量，再与候选文档的表示向量做交互得到个性化匹配分数。这种类型的方法是以文档整体为单位获取其与用户兴趣的匹配信号，重点是将待匹配的文档和用户兴趣转换为表示向量，再进行向量匹配，更侧重对表示层的构建。在这种基于向量表示的方法下，排序结果的质量很大程度上依赖于向量构建模型的好坏，而构建向量的过程可能会忽略掉一些有用的信息，如查询与文档在单词层面的文本信息和交互信息，进而对个性化排序结果造成影响。

发明内容

为此，本发明提出了一种基于交互匹配的个性化搜索***，包括输入模块、基于交互匹配的个性化搜索模块、输出模块；

所述输入模块用于读取用户查询历史和备选文档，对其格式标准化后输入所述基于交互匹配的个性化搜索模块，

所述基于交互匹配的个性化搜索模块的运算过程分为四个步骤：

步骤一：用户搜索历史的底层匹配建模步骤，利用用户的历史搜索信息建立底层匹配模型，将用户的历史查询和候选文档按词做交互，得到底层细致的匹配信号；

步骤二：注意力权值的计算步骤，引入注意力机制，根据用户搜索历史中不同查询记录对当前查询的贡献度，对其对应的匹配信号做加权处理；

步骤三：用户兴趣匹配向量的生成步骤，使用卷积神经网络对加权后的匹配信号进行特征提取，生成文档与用户兴趣最终匹配向量；

步骤四：个性化重排序步骤，通过所述用户兴趣匹配向量的生成步骤得到的所述用户兴趣匹配向量计算候选文档的个性化得分，通过点击特征向量计算其相关度得分，用二者之和作为最终的文档匹配分进行个性化重排；

所述输出模块输出所述文档匹配分和个性化重排结果。

所述用户搜索历史的底层匹配建模步骤具体实现方式为：定义用户的历史查询列表为{q₁,q₂,q₃,…,q_n}(其中n≥3，为整数)，当前候选文档为d，对于每一个历史查询-候选文档对<q_i,d>，首先将二者逐词映射为单词向量，使用word2vec模型进行单词向量的表示，q_i经过处理后表示为一组单词向量{qw₁,qw₂,qw₃,…,qw_x}，d经过处理后表示为{dw₁，dw₂，dw₃，…，dw_y}。将两组单词向量中的每个向量两两进行交互，得到<q_i,d>的单词匹配矩阵T，所述匹配矩阵T中的每个元素为：

T_i,j＝cos(qw_i,dw_j)

其中T_i,j代表矩阵T中第i行、第j列的元素，qw_i代表该历史查询中第i个单词对应的单词向量，dw_j代表候选文档中第j个单词对应的单词向量(其中1≤i≤x，1≤j≤y，i、j、x、y均为整数)，二者的匹配值由余弦函数计算得出。在K-NRM模型中，对于匹配矩阵中的每一行都应用K个RBF内核，得到一个K维的特征向量

RBF内核对应的公式为：

其中，K_k(T_i)代表第k个RBF内核对匹配矩阵T的第i行处理后的值，其取值范围在0到y之间；μ_k和σ_k均为超参数，μ从-1到1均匀取值，接着，将匹配矩阵中每一行对应的特征向量取对数再求和，作为历史查询q_i与候选文档最终的底层匹配结果：

对基于用户的历史搜索信息计算出的底层匹配向量用{v₁,v₂，v₃,…，v_n}表示，其中的元素为候选文档的细粒度匹配向量v。

所述注意力权值的计算步骤的具体实现方式为：当前查询q与候选文档d的细粒度匹配向量v，为每一条历史查询记录所对应的底层匹配向量计算注意力权值：

e_i＝g(v，v_i)

其中，g是一个以tanh作为激活函数的多层感知机，α_i是通过注意力层计算出的底层匹配向量v_i所对应的权值，加权后的底层匹配向量为：

则用户每条历史查询所对应的加权后的细粒度匹配向量为{V₁，V₂，V₃，…，V_n}。

所述用户兴趣匹配向量的生成步骤的具体实现方式为：将加权后的细粒度匹配向量{V₁，V₂，V₃,…,V_n}按列拼接成一个匹配特征矩阵M，M＝[V₁，V₂，V₃，…，V_n]∈R^K×n，使用100个卷积核对所述匹配特征矩阵M做卷积，得到一个三维张量A∈R^{100×(K-2)×(n-2)}，张量A中的每个元素为：

其中，t取1≤t≤100的整数，b_t为偏置向量b∈R¹⁰⁰中的第t个元素值，f_t为第t个3×3的卷积核，M_{i-1:i+1,j-1:j+1}代表匹配特征矩阵M从第i-1行到i+1行、第j-1列到j+1列取值的子矩阵，

表示将两个矩阵对应位置的元素相乘并将所有乘积相加求和的运算，卷积层采用了Relu函数作为激活函数，经过卷积层处理后，在池化层对三维张量A的第二和第三个维度应用最大池化，得到一个100维的向量I，I_t为向量I中的第t个元素：

输出的向量I即为最终的用户兴趣匹配向量。

所述卷积核的尺寸为3×3，且每个用户的搜索历史中至少有3条。

所述个性化重排序步骤的具体实现方式为：候选文档与用户兴趣的匹配分数score(d|I)由兴趣匹配向量I通过一个多层感知机训练得到；候选文档与当前查询的相关度分数score(d|q)是根据点击次数、原始点击位置和点击熵三种点击特征，通过一个多层感知机计算得出的；候选文档的最终分数由兴趣匹配分数score(d|I)和相关度分数score(d|q)相加得出，根据该分数对原文档列表进行重排序得到的即为最终的个性化排序结果。

所述候选文档与当前查询的相关度分数计算中，通过LambdaRank算法进行训练，将点击文档作为相关文档样本，其余文档作为不相关样本，选择一个相关文档d_i和一个不相关文档d_j构成文档对来计算损失。损失函数的计算还引入了交换文档对的顺序对评测指标MAP的影响程度，作为相应的权值，即差异越大(交换顺序后MAP变化值大)的文档对被赋予越大的权值。损失函数由实际概率和预测概率之间的交叉熵与MAP评价指标的变化值相乘得到：

其中，Δ为文档d_i和文档d_j交换位置后MAP评价指标的变化值，

表示文档d_i比文档d_j相关度高的实际概率，p_ij表示预测概率，预测概率p_ij计算方法为：

本发明所要实现的技术效果在于：

(1)我们引入了基于交互匹配的模型思想，不再将文本转换成唯一的一个整体表示向量，而是在单词层面将用户的历史查询与候选文档做交互，得到更精确、更完整的匹配信号。

(2)我们引入注意力机制，根据不同历史查询对当前匹配的贡献度，对其对应的匹配信号做加权处理，从而减少搜索历史中无关信息的影响。

(3)我们使用卷积神经网络对加权后的匹配信号进行特征提取，生成文档最终的兴趣匹配向量，从而得到更准确的兴趣匹配分。

附图说明

图1基于交互匹配的个性化搜索模块的框架；

具体实施方式

以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于此实施例。

为了实现上述的发明目的，本发明提供了基于交互匹配的个性化搜索***。

***包括输入模块、基于交互匹配的个性化搜索模块、输出模块；所述输入模块用于读取用户查询历史和备选文档，对其格式标准化后输入所述基于交互匹配的个性化搜索模块，所述输出模块输出所述文档匹配分和个性化重排结果。

基于交互匹配的个性化搜索模块，使用卷积神经网络对底层匹配信号进行处理，得到候选文档最终的兴趣匹配结果。

所述基于交互匹配的个性化搜索模块将用户历史行为信息中历史查询与候选文档的词间匹配信号纳入考虑，对于用户的历史查询列表{q₁,q₂,q₃,…,q_n},当前候选文档为d，首先通过一个基于交互匹配的K-NRM模型对用户的搜索日志进行处理，得到每一个历史查询q_i和候选文档d的细粒度匹配向量v_i(其中1≤i≤n)，以及当前查询q与候选文档d的细粒度匹配向量v。然后，考虑到用户兴趣是动态变化的，且用户查询有时具有一定的偶然性，用户搜索历史中不同查询对当前查询的贡献度是不同的。根据每个历史查询对当前查询的贡献程度，利用一个多层感知机对上述K-NRM模型产生的匹配向量{v₁,v₂,v₃,…,v_n}进行加权处理，得到加权后的匹配向量列表{V₁,V₂,V₃,…,V_n}。而后，利用卷积神经网络处理这些向量，得到候选文档与用户兴趣之间的匹配向量。最后根据兴趣匹配向量与点击特征向量分别计算出当前候选文档的兴趣匹配得分和相关度得分，加和得到最终的文档匹配分，公式如下：

score(d)＝score(d|I)+score(d|q)

其中，score(d|I)表示当前候选文档与用户搜索兴趣的匹配分数，score(d|q)表示当前候选文档与当前查询的相关度分数。

基于交互匹配的个性化搜索模块的框架如图1所示，按照处理流程分为以下四个部分：

步骤一：用户搜索历史的底层匹配建模。利用用户的历史搜索信息建立底层匹配模型，将用户的历史查询和候选文档按词做交互，得到底层细致的匹配信号。

步骤二：注意力权值的计算。引入注意力机制，根据用户搜索历史中不同查询记录对当前查询的贡献度，对其对应的匹配信号做加权处理。

步骤三：用户兴趣匹配向量的生成。使用卷积神经网络对加权后的匹配信号进行特征提取，生成文档与用户兴趣的最终匹配向量。

步骤四：个性化重排序。通过上面得到的兴趣匹配向量计算候选文档的个性化得分，通过点击特征向量计算其相关度得分，用二者之和作为最终的文档匹配分进行个性化重排。

用户搜索历史的底层匹配建模步骤：

用户的搜索历史能够为用户搜索兴趣的获取提供丰富的信息。以往的算法大多基于用户的历史行为信息对用户兴趣建模得到一个表示用户搜索偏好的兴趣向量，再与文档向量进行交互处理。我们采用了K-NRM框架，对于每个用户U，利用其历史搜索信息来建立底层匹配模型，将用户历史搜索中的每一条历史查询在底层与候选文档做交互匹配。

用户的历史查询列表为{q₁,q₂,q₃,…,q_n},当前候选文档为d。对于每一个历史查询-候选文档对<q_i,d>，首先将二者逐词映射为单词向量，使用word2vec模型进行单词向量的表示。q_i经过处理后表示为一组单词向量{qw₁,qw₂,qw₃,…,qw_x}，d经过处理后表示为{dw₁,dw₂,dw₃,…,dw_y}。将两组单词向量中的每个向量两两进行交互，得到<q_i,d>的单词匹配矩阵T。匹配矩阵T中的每个元素由如下公式给出：

T_i,j＝cos(qw_i,dw_j)

其中T_i,j代表矩阵T中第i行、第j列的元素，qw_i代表该历史查询中第i个单词对应的单词向量，dw_j代表候选文档中第j个单词对应的单词向量(其中1≤i≤x，1≤j≤y)，二者的匹配值由余弦函数计算得出。

由以上描述可知，匹配矩阵中的第i行代表该历史查询中的第i个单词与候选文档的匹配信号。在K-NRM模型中，对于匹配矩阵中的每一行都应用K个RBF内核，得到一个K维的特征向量

RBF内核对应的公式如下：

其中，K_k(T_i)代表第k个RBF内核对匹配矩阵T的第i行处理后的值，其取值范围在0到y之间；μ_k和σ_k均为超参数。我们使用的K-NRM模型中，由于向量的余弦相似度取值在-1到1之间，故μ从-1到1均匀取值。接着，将匹配矩阵中每一行对应的特征向量取对数再求和，作为历史查询q_i与候选文档最终的底层匹配结果，如下所示：

对于每个历史查询q_i，它与当前候选文档有一个K维的匹配向量，该匹配向量即为历史查询q_i和候选文档d的细粒度匹配向量v_i。当前查询q与候选文档d的细粒度匹配向量v也由上述流程计算得出。至此，我们得到了基于用户的历史搜索信息计算出的底层匹配向量，用{v₁,v₂,v₃,…,v_n}表示。

注意力权值的计算步骤：

由于用户的搜索兴趣、搜索模式是动态变化的且用户查询具有一定的偶然性，用户搜索历史中不同查询记录对当前查询的影响程度是不同的。基于这种考虑，本步骤引入了注意力机制，根据不同历史查询对当前匹配的贡献程度，进一步优化各底层匹配向量。

在上一步中，我们得到了利用用户的历史搜索信息计算出的底层匹配向量{v₁,v₂,v₃,…,v_n}。本步骤基于当前查询q与候选文档d的细粒度匹配向量v，为每一条历史查询记录所对应的底层匹配向量计算注意力权值。注意力层的输入为上一步计算出的底层匹配向量{v₁,v₂,v₃,…,v_n}和v，计算公式如下：

e_i＝g(v,v_i)

其中，g(·)是一个以tanh作为激活函数的多层感知机，α_i是通过注意力层计算出的底层匹配向量v_i所对应的权值。加权后的底层匹配向量由如下公式给出：

注意力层根据用户搜索历史中不同历史查询对当前匹配贡献的信息量大小，为贡献更大的历史查询所对应的底层匹配向量给予更多的关注，得到根据贡献程度加权后的优化的底层匹配信息。至此，我们得到了用户每条历史查询所对应的加权后的细粒度匹配向量{V₁，V₂，V₃，…,V_n}。

用户兴趣匹配向量的生成步骤：

将加权后的细粒度匹配向量{V₁，V₂，V₃，…，V_n}按列拼接成一个匹配特征矩阵M，M＝[V₁，V₂，V₃,…，V_n]∈R^K×n。传统的方式是在该匹配特征矩阵上直接应用最大池化或平均池化，得到用户兴趣匹配向量。但是，考虑到用户搜索历史中可能有数量较多的历史搜索记录，在匹配特征矩阵上直接应用池化或许会忽略掉一些有用的信息，例如相邻历史查询所对应的底层匹配向量之间的关系信息。

为了弥补这种不足，本步骤使用了100个3×3的卷积核f₁,f₂,…,f₁₀₀对匹配特征矩阵M做卷积，得到一个三维张量A∈R^{100×(K-2)×(n-2)}。张量A中的每个元素由如下公式给出：

其中，1≤t≤100，b_t为偏置向量b∈R¹⁰⁰中的第t个元素值，f_t为第t个3×3的卷积核，M_{i-1:i+1,j-1:j+1}代表匹配特征矩阵M从第i-1行到i+1行、第j-1列到j+1列取值的子矩阵，

表示将两个矩阵对应位置的元素相乘并将所有乘积相加求和的运算。本步骤的卷积层使用了3×3的卷积核，这就要求每个用户的搜索历史中至少有3条历史查询记录。换句话说，本模型不支持历史查询记录小于三条的用户，原因在于过少的历史查询记录不能为用户搜索兴趣的提取提供足够的信息，这种情况下进行文档的个性化重排反而会干扰文档分数的准确计算。除此之外，此处的卷积层采用了Relu函数作为激活函数，相比于sigmoid等其他激活函数，Relu函数计算量较小，且能够避免梯度消失问题。

经过卷积层处理后，我们在池化层对三维张量A的第二和第三个维度应用最大池化(max-pooling)，得到一个100维的向量I。I_t为向量I中的第t个元素，其计算公式如下：

池化层的目的是对匹配特征张量A进行进一步的特征提取，输出的向量I即为最终的用户兴趣匹配向量。

个性化重排序步骤

由于候选文档的得分由两部分组成：候选文档与用户兴趣的匹配分数以及与当前查询的相关度分数。候选文档与用户兴趣的匹配分数score(d|I)由兴趣匹配向量I通过一个多层感知机训练得到；候选文档与当前查询的相关度分数score(d|q)是根据点击次数、原始点击位置和点击熵三种点击特征，通过一个多层感知机计算得出的。候选文档的最终分数由兴趣匹配分数score(d|I)和相关度分数score(d|q)相加得出，根据该分数对原文档列表进行重排序得到的即为最终的个性化排序结果。

本步骤选择了LambdaRank算法进行训练，将点击文档作为相关文档样本，其余文档作为不相关样本，选择一个相关文档d_i和一个不相关文档d_j构成文档对来计算损失。损失函数由实际概率和预测概率之间的交叉熵与MAP评价指标的变化值相乘得到，计算公式如下：

其中，Δ为MAP评价指标的变化值，

表示文档d_i比文档d_j相关度高的实际概率，p_ij表示其预测概率；

表示文档d_j比文档d_i相关度高的实际概率，p_ji表示其预测概率。预测概率p_ij由如下公式计算得出：

最终得到的个性化排序结果输出至输出模块对外输出。

Claims (7)

1.一种基于交互匹配的个性化搜索***，其特征在于：包括输入模块、基于交互匹配的个性化搜索模块、输出模块；

所述输入模块用于读取用户查询历史和备选文档，对其格式标准化后输入所述基于交互匹配的个性化搜索模块，

所述基于交互匹配的个性化搜索模块的运算过程分为四个步骤：

步骤一：用户搜索历史的底层匹配建模步骤，利用用户的历史搜索信息建立底层匹配模型，将用户的历史查询和候选文档按词做交互，得到底层细致的匹配信号；

步骤二：注意力权值的计算步骤，引入注意力机制，根据用户搜索历史中不同查询记录对当前查询的贡献度，对其对应的匹配信号做加权处理；

步骤三：用户兴趣匹配向量的生成步骤，使用卷积神经网络对加权后的匹配信号进行特征提取，生成文档与用户兴趣最终匹配向量；

步骤四：个性化重排序步骤，通过所述用户兴趣匹配向量的生成步骤得到的所述用户兴趣匹配向量计算候选文档的个性化得分，通过点击特征向量计算其相关度得分，用二者之和作为最终的文档匹配分进行个性化重排；

所述输出模块输出所述文档匹配分和个性化重排结果。

2.如权利要求1所述一种基于交互匹配的个性化搜索***，其特征在于：所述用户搜索历史的底层匹配建模步骤具体实现方式为：定义用户的历史查询列表为{q₁,q₂,q₃,…,q_n}，其中n取n≥3的整数,当前候选文档为d，对于每一个历史查询-候选文档对<q_i,d>，首先将二者逐词映射为单词向量，使用word2vec模型进行单词向量的表示，q_i经过处理后表示为一组单词向量{qw₁,qw₂,qw₃,…,qw_x}，d经过处理后表示为{dw₁,dw₂,dw₃,…,dw_y}，将两组单词向量中的每个向量两两进行交互，得到<q_i,d>的单词匹配矩阵T，所述匹配矩阵T中的每个元素为：

T_i,j＝cos(qw_i,dw_j)

其中T_i,j代表矩阵T中第i行、第j列的元素，qw_i代表该历史查询中第i个单词对应的单词向量，dw_j代表候选文档中第j个单词对应的单词向量，其中1≤i≤x，1≤j≤y，i、j、x、y均为整数，二者的匹配值由余弦函数计算得出，在K-NRM模型中，对于匹配矩阵中的每一行都应用K个RBF内核，得到一个K维的特征向量

RBF内核对应的公式为：

其中，K_k(T_i)代表第k个RBF内核对匹配矩阵T的第i行处理后的值，其取值范围在0到y之间；μ_k和σ_k均为超参数，μ从-1到1均匀取值，接着，将匹配矩阵中每一行对应的特征向量取对数再求和，作为历史查询q_i与候选文档最终的底层匹配结果：

对基于用户的历史搜索信息计算出的底层匹配向量用{v₁,v₂,v₃,…,v_n}表示，其中的元素为候选文档的细粒度匹配向量v。

3.如权利要求2所述一种基于交互匹配的个性化搜索***，其特征在于：所述注意力权值的计算步骤的具体实现方式为：当前查询q与候选文档d的细粒度匹配向量v，为每一条历史查询记录所对应的底层匹配向量计算注意力权值：

e_i＝g(v,v_i)

其中，g是一个以tanh作为激活函数的多层感知机，α_i是通过注意力层计算出的底层匹配向量v_i所对应的权值，加权后的底层匹配向量为：

则用户每条历史查询所对应的加权后的细粒度匹配向量为{V₁,V₂,V₃,…,V_n}。

4.如权利要求3所述一种基于交互匹配的个性化搜索***，其特征在于：所述用户兴趣匹配向量的生成步骤的具体实现方式为：将加权后的细粒度匹配向量{V₁,V₂，V₃,…,V_n}按列拼接成一个匹配特征矩阵M，M＝[V₁，V₂，V₃，…，V_n]∈R^K×n，使用100个卷积核对所述匹配特征矩阵M做卷积，得到一个三维张量A∈R^{100×(K-2)×(n-2)}，张量A中的每个元素为：

其中，t取1≤t≤100的整数，b_t为偏置向量b∈R¹⁰⁰中的第t个元素值，f_t为第t个3×3的卷积核，M_{i-1:i+1，j-1:j+1}代表匹配特征矩阵M从第i-1行到i+1行、第j-1列到j+1列取值的子矩阵，

表示将两个矩阵对应位置的元素相乘并将所有乘积相加求和的运算，卷积层采用了Relu函数作为激活函数，经过卷积层处理后，在池化层对三维张量A的第二和第三个维度应用最大池化，得到一个100维的向量I，I_t为向量I中的第t个元素：

输出的向量I即为最终的用户兴趣匹配向量。

5.如权利要求4所述一种基于交互匹配的个性化搜索***，其特征在于：所述卷积核的尺寸为3×3，且每个用户的搜索历史中至少有3条。

6.如权利要求5所述一种基于交互匹配的个性化搜索***，其特征在于：所述个性化重排序步骤的具体实现方式为：候选文档与用户兴趣的匹配分数score(d|I)由兴趣匹配向量I通过一个多层感知机训练得到；候选文档与当前查询的相关度分数score(d|q)是根据点击次数、原始点击位置和点击熵三种点击特征，通过一个多层感知机计算得出的；候选文档的最终分数由兴趣匹配分数score(d|I)和相关度分数score(d|q)相加得出，根据该分数对原文档列表进行重排序得到的即为最终的个性化排序结果。

7.如权利要求6所述一种基于交互匹配的个性化搜索***，其特征在于：所述候选文档与当前查询的相关度分数计算中，通过LambdaRank算法进行训练，将点击文档作为相关文档样本，其余文档作为不相关样本，选择一个相关文档d_i和一个不相关文档d_j构成文档对来计算损失，损失函数的计算还引入了交换文档对的顺序对评测指标MAP的影响程度，作为相应的权值，即交换顺序后MAP变化值大、的文档差异越大，则对被赋予越大的权值，损失函数由实际概率和预测概率之间的交叉熵与MAP评价指标的变化值相乘得到：

其中，Δ为文档d_i和文档d_j交换位置后MAP评价指标的变化值，

表示文档d_i比文档d_j相关度高的实际概率，p_ij表示预测概率。

Images