融合标签和注意力机制的跨领域推荐方法及其实现***
技术领域
本发明涉及信息推荐方法和***技术领域,具体涉及一种融合标签和注意力机制的跨领域推荐方法及其实现***。
背景技术
随着互联网技术的快速发展,QQ、微信、微博等各类社交应用软件的数量快速地增长,多种多样的信息呈现在人们面前,极大地丰富了人们的日常生活。但是,这个过程中出现了一些不可避免的问题,例如信息泛滥和信息迷航。为了帮助每个用户更好地获取资源,个性化的推荐技术应运而生。当前,相关研究人员将个性化推荐技术应用于各个领域的资源推荐,除了电影、音乐、体育之外,还包括了电子商务、基于位置的服务、医疗等领域。未来个性化推荐技术的应用范畴会越来越广。
大多数传统推荐算法都重点关注用户对项目的显性偏好,即数字评分。随着电子商务***的不断扩大,用户的评分数据变得十分稀疏,仅仅通过分析用户的评分数据不足以充分了解用户的需求。而用户的隐性偏好,诸如用户的浏览记录、点击记录、标签信息,蕴含着丰富的信息,能显著改善推荐结果。
目前,大多数推荐技术都为单领域的推荐技术,即仅仅利用用户在单一领域的兴趣对用户进行推荐,而多领域相结合的推荐技术较少。在单领域推荐中,往往存在着数据稀疏、用户冷启动以及商品冷启动等问题,使得推荐***的性能下降,推荐准确度降低。
发明内容
有鉴于此,有必要提供一种通过分析用户在不同领域的偏好、使得推荐结构更具有多样化特点的融合标签和注意力机制的跨领域推荐方法及其实现***。
一种融合标签和注意力机制的跨领域推荐方法,包括以下步骤:
步骤一,选择和构建跨领域融合的标签,将两个相近领域融合为一个新领域,作为跨领域推荐的源领域,对源领域和目标领域的标签向量分别进行加权求和,得到每个资源的资源向量;
步骤二,依据基于注意力机制的兴趣挖掘算法,通过长短期记忆算法LSTM学习用户和资源之间的时序关系,并引入注意力机制,得到用户在源领域和目标领域的指定时间段内的偏好;
步骤三,依据基于BP神经网络的跨领域标签映射算法,通过三层BP神经网络来学习源领域与目标领域间的标签映射,将用户源领域的偏好向量映射到目标领域后,并与用户在目标领域的偏好向量加权求和,得到用户在目标领域的综合偏好;
步骤四,融合标签映射和注意力机制的跨领域推荐算法,根据用户在源领域和目标领域中的综合偏好,计算在目标领域中,用户未浏览过的资源向量与用户的综合偏好的相似度,将前N项推荐给用户。
进一步地,步骤一中的所述选择和构建跨领域融合的标签流程包括:
步骤1-1,源领域和目标领域的数据预处理;
采集两个相近的领域A和领域B、及目标领域C中的普遍使用的标签作为定制标签DT,检索与所述定制标签相关的资源,得到与所述资源对应的资源标签RT,去除重复的标签后,得到RT-DT矩阵,矩阵的每一列为定制标签DT向量,每一行为资源标签RT向量,对剩余的定制标签向量进行统一度量;
步骤1-2,跨领域融合标签的选择与构建;
分析A、B领域相同的定制标签DT向量以及相同的资源标签RT向量的相似度,利用余弦相似度计算用户A与B资源内同一DT向量以及同一RT向量的相似度,如式(1)所示:
其中,TA和TB分别表示A领域和B领域的同一DT或RT,TAk、TBk分别为标签TA和TB的向量表示;为了确保推荐质量,将相似度低于阀值的标签剔除;
在已构建标签向量的各领域中,对定制标签DT和资源标签RT进行筛选,依据用户在各领域上的兴趣对相同资源标签RT向量进行加权求和,得到A-B领域标签向量矩阵,如式(2)和式(3)所示:
RTnk=μRTAk+(1-μ)RTBk (2)
其中,RTn为跨领域融合标签,RTnk为标签RTn的向量表示。
各个资源的资源标签RT按照该标签被用户标注的次数排序,前面的标签比后面的标签与资源的联系更为密切,按式(4)为每个资源的标签分配权重:
对A-B领域和C领域分别使用式(4)得到所有资源的每个标签向量对应的权重,再将这些标签向量加权求和得到每个资源的资源向量,如式(5)所示:
其中,sourcei为资源的每个标签的标签向量,x为资源的资源向量。
进一步地,步骤1-1中的源领域和目标领域的数据预处理,包括如下步骤:
步骤1-1-1,使用TF-IDF技术分别从A、B领域资源的文本中采集标签,再从已采集的标签中提取m个用户普遍使用且同时出现在两个领域的标签,即定制标签DT,这些标签能较好地表示资源特征,记为DTs;然后在A、B领域分别检索与DT相关的资源,再显示每个资源所对应的标签即资源标签RT,记为RTs;
步骤1-1-2,使用TF-IDF技术从C领域中采集N个用户普遍使用的标签,记为DTt。然后检索与DT相关的资源,再显示每个资源所对应的标签,记为RTt;
步骤1-1-3,对于收集到的标签,使用NLPIR汉语分词***完成分词,并将重复的标签去除,统计每个RT在各DT对应的资源中出现的频次,向量值越大RT和DT联系越紧密;
步骤1-1-4,由于不同DT检索的资源总数不同,故将所有DT向量的每个分量除以该向量的最大分量,得到度量统一的DT向量。
进一步地,步骤二中的所述基于注意力机制的兴趣挖掘算法,包括如下步骤:
使用长短期记忆算法学习用户和资源之间的时序关系,假设记忆单元层的更新间隔为时间步t,xt是记忆单元层在时间t的输入;Wi,Wf,Wc,Wo,Ui,Uf,Uc,Uo与Vo是权重矩阵;bi,bf,bc,bo是偏差向量;具体为:
步骤2-1,在每一个时间步t,输入门输入信息与权值相乘,再加上偏置量,计算得到输入门的控制变量i
t和新的输入向量
具体如式(6)和式(7)所示:
it=σ(Wixt+Uiht-1+bi) (6)
步骤2-2,在每一个时间步t,计算遗忘门的控制变量ft与候选状态ct-1相乘,即将遗忘门输入信息与权值相乘,再加上输入门输入信息与权值的乘积,然后将记忆单元状态从ct-1更新到ct,具体如式(8)和式(9)所示:
ft=σ(Wfxt+Ufht-1+bf) (8)
步骤2-3,在更新后的记忆单元状态中,不断计算输出门的值,具体如式(10)和式(11)所示:
ot=σ(Woxt+Uoht-1+VoCt+bo) (10)
ht=ot*tanh(Ct) (11)
步骤2-4,计算损失函数,并使用梯度下降法将其最小化,如式(12)所示:
经过长短期记忆算法LSTM层计算后,将LSTM每个时间步隐藏状态作为输出结果输出到注意力层,以捕获序列之间的依赖关系,加权求和后得到输出序列i对应的上下文向量表示yi,具体公式描述如式(13)和式(14)所示:
其中,hi为LSTM第i个时间步的输出,aij表示第i个时间步与第j个时间步的输出进行归一化后的权重,相似度计算函数采用W表示的矩阵变换。
进一步地,依据所述基于注意力机制的兴趣挖掘算法,用户在源领域和目标领域的历史记录的所有资源向量分别通过LSTM层和注意力层计算后,得到用户在源领域和目标领域的偏好向量。
进一步地,步骤三中的所述基于BP神经网络的跨领域标签映射算法,包括如下流程:
通过三层BP神经网络来学习不同领域间的标签映射,首先在A-B领域和C领域分别收集用户使用最多的n个标签,根据式(4)分别计算两个领域中每个标签的权重,再通过加权分别计算该用户在A-B和C领域的特征向量,具体如式(15)和式(16)所示:
其中,Tus为用户在A-B领域的特征向量,Wsi和Tsi为A-B领域各标签的权重和该标签的特征向量;Tut为用户在C领域的特征向量,Wti和Tti为C领域各标签的权重和该标签的特征向量;
然后,以Tus为输入向量,Tut为实际输出向量,使用BP神经网络学习Tus和Tut之间的映射,如式(17)~(21)所示:
输入层到隐藏层的映射关系如式(17)所示:
b=V*x (17)
经过隐藏层的激活函数如式(18)所示:
h=g(b-γ) (18)
隐藏层到输出层的映射关系如式(19)所示:
β=W*h (19)
经过输出层的激活函数如式(20)所示:
BP神经网络的损失函数如式(21)所示:
其中,在式(14)和式(16)中,g(x)=sigmoid(x);n为BP神经网络的隐藏层单元的数量,即,
其中,m为输入层单元数量,l为输出层单元数量。
进一步地,BP神经网络的隐藏层单元的数量n采用黄金分割法确定。
进一步地,步骤四中的所述融合标签映射和注意力机制的跨领域推荐算法,具体包括如下步骤:
步骤4-1,设A-B领域的历史记录经过LSTM层和注意力层处理后的用户偏好向量为Usd,C领域的历史记录经过LSTM网络处理后的用户偏好向量为Uy,源领域和目标领域之间的映射网络为f,按式(22)将Uy和f(Usd)加权求和,得到最终的用户资源向量:
其中,Ui表示用户的资源向量,Ny表示用户历史记录中目标领域资源的数量,Nsd表示用户历史记录中源领域资源的数量;
步骤4-2,在计算得到最终的用户资源向量后,计算用户资源向量和资源库中目标领域的资源向量的相似度,具体如式(23)所示:
其中,Ui表示用户资源向量,Ij表示资源库中目标领域的资源向量。
进一步地,所述最终的用户资源向量的计算中,根据用户在目标领域中的浏览量不同,直接影响用户在目标领域中的未浏览过的资源向量的相似度;当用户在目标领域浏览过的数据量很少时,可通过用户在源领域的偏好映射得到在目标领域的偏好计算用户在目标领域中未浏览过的资源向量的相似度;当用户在目标领域中的浏览数据量远大于其在源领域中的浏览数据量时,则数据稀疏性不存在,相当于直接根据目标领域中的浏览过的资源向量得出最终推荐结果。
以及,一种融合标签和注意力机制的跨领域推荐方法的实现***,其用于实现如上任一项所述的融合标签和注意力机制的跨领域推荐方法,该实现***包括:
基于标签的跨领域资源融合算法模块,利用两个相近领域A和B的普遍使用的定制标签,得到与所述定制标签对应资源的资源标签,分析A、B领域相同的定制标签DT向量以及相同的资源标签RT向量的相似度,并剔除相似度低于阀值的资源标签向量;将由两个相近领域A和B组成的源领域及目标领域C的资源标签向量分别进行加权求和,得到源领域和目标领域的每个资源的资源向量;
基于注意力机制的兴趣挖掘算法模块,利用用户在源领域和目标领域的历史记录的所有资源向量,通过长短期记忆算法LSTM层和注意力层的深入学习,得到用户在源领域和目标领域的偏好向量;
基于BP神经网络的跨领域标签映射算法模块,利用三层BP神经网络,将用户源领域的偏好向量映射到目标领域,得到用户在目标领域的综合偏好;
融合标签映射和注意力机制的跨领域推荐算法模块,用于结合用户在源领域和目标领域的偏好,得到用户在目标领域的综合偏好,然后计算用户在目标领域中未浏览过的资源向量与用户的综合偏好的相似度,得到用户在目标领域的推荐列表。
上述融合标签和注意力机制的跨领域推荐方法及其实现***中,通过融合两个相近领域的项目标签,构建跨领域融合标签,将两个相近领域融合为一个新领域,并将其作为跨领域推荐的源领域,再将一个相关度较低的一个领域作为目标领域,使得跨领域推荐的源领域数据更丰富。通过引入注意力机制在源领域和目标领域分别计算用户当前的偏好,使得推荐结果更具有时效性。通过BP神经网络获取用户在源领域和目标领域的总体偏好的映射关系,并将此映射关系应用于用户当前的偏好,将其从源领域映射到目标领域,再结合目标领域单独的推荐结果,使得最终推荐结果更加准确。
附图说明
图1是本发明实施例的融合标签和注意力机制的跨领域推荐方法的实现***的结构示意图。
图2是本发明实施例的融合标签和注意力机制的跨领域推荐方法的实现***的三层BP神经网络的结构示意图。
具体实施方式
本实施例以融合标签和注意力机制的跨领域推荐方法及其实现***为例,以下将结合具体实施例和附图对本发明进行详细说明。
请参阅图1和图2,示出本发明实施例提供的一种融合标签和注意力机制的跨领域推荐方法。
利用标签和注意力机制实现跨领域资源推荐,通过将用户在源领域的偏好映射到目标领域,再结合用户在目标领域的偏好,得到用户在目标领域的综合偏好。
由于单领域数据的稀疏性,使得推荐的准确度降低,若能将多个领域的数据结合可大大提高推荐结果的可靠性。若用户在目标领域的数据稀疏,可将其源领域的偏好通过映射网络获得对应的目标领域偏好,若用户在源领域的数据同样也是稀疏的,则可通过融合一个与之相似的领域来解决。若用户在目标领域的数据丰富程度比用户在融合后的源领域的数据高很多,则可直接通过用户在目标领域的数据来学习其偏好。
通过构建跨领域标签向量将两个相近领域融合为一个新领域,作为跨领域推荐的源领域。首先,使用自然语言处理的方法提取每个领域的标签,定制相应的标签向量,并将两个领域中相似度超过指定阈值的标签向量进行融合,定制跨领域融合标签。其次,通过引入注意力机制并结合LSTM,分别在源领域和目标领域计算用户在指定时间段内的偏好。再次,使用BP神经网络学习源领域标签和目标领域标签之间的映射关系,将目标领域和源领域的数据结合,使推荐结果更加准确。最后,描述了跨领域推荐模型的整体框架,将得到的用户源领域偏好通过学习到的映射网络映射到目标领域,与用户目标领域偏好结合得到最终的结果。
1.标签的跨领域资源融合
各个领域不是孤立的,它们之间往往存在着一定的联系,当它们的相似性超过一定程度时,就可以结合为一个新的领域。这个新领域的资源数量为两个相似领域的资源数量之和,将其作为跨领域推荐的源领域,可丰富源领域的信息。
1.1数据预处理
记A,B为两个相似领域,我们将A和B结合的领域作为源领域,另一个跨度较大的领域C作为目标领域,处理步骤如下:
1)使用TF-IDF技术分别从A,B领域资源的文本中采集标签,再从已采集的标签中提取m个用户普遍使用且同时出现在两个领域的标签,即定制标签(简称DT),这些标签能较好地表示资源特征,记为DTs。然后在A、B领域分别检索与DT相关的资源,再显示每个资源所对应的标签即资源标签(简称RT),记为RTs。
2)使用TF-IDF技术从C领域中采集N个用户普遍使用的标签,记为DTt。然后检索与DT相关的资源,再显示每个资源所对应的标签,记为RTt。
3)对于收集到的标签,使用NLPIR汉语分词***完成分词,并将重复的标签去除,统计每个RT在各DT对应的资源中出现的频次,向量值越大RT和DT联系越紧密。
4)由于不同DT检索的资源总数不同,故将所有DT向量的每个分量除以该向量的最大分量,得到度量统一的DT向量。
1.2跨领域融合标签的选择与构建
我们需要分析A、B领域相同的DT向量以及相同的RT向量的相关性,只有在两者相关性足够大时,才能够被利用与跨领域推荐。若A领域和B领域的同一DT向量或同一RT向量的单个分量相似并不能说明它们相关性高,但若所有分量都相似,则可认为两者的相关性足够高。利用余弦相似度计算用户A与B资源内同一DT向量以及同一RT向量的相似度,如式(1)所示。
其中,TA和TB分别表示A领域和B领域的同一DT或RT,TAk、TBk分别为标签TA和TB的向量表示。为了确保推荐质量,将相似度低于阀值的标签剔除。
在已构建各领域的标签向量,并对DT和RT进行筛选后,依据用户在各领域上的兴趣对相同RT向量进行加权求和,得到A-B领域标签向量矩阵,如式(2)和式(3)所示。
RTnk=μRTAk+(1-μ)RTBk (2)
其中,RTn为跨领域融合标签,RTnk为标签RTn的向量表示。
资源的RT按照该标签被用户标注的次数排序,前面的标签比后面的标签与资源的联系更为密切,按式(4)为每个资源的标签分配权重。
对A-B领域和C领域分别使用式(4)得到所有资源的每个标签向量对应的权重,再将这些标签向量加权求和得到每个资源的资源向量,如式(5)所示。
其中,sourcei为资源的每个标签的标签向量,x为资源的资源向量,该过程如算法1所示。
2.基于注意力机制的兴趣挖掘算法
不同的人对于资源的关注点不尽相同,有些人可能喜欢历史题材的资源,有人喜欢科幻类的资源,也有人喜欢推理类的资源。为了准确地发现用户的偏好,本软件使用LSTM来学习用户和资源之间的时序关系。具体见下面的模型。
假设每个时间步为t,记忆单元层将进行更新,并假设:
1)xt是记忆单元层在时间t的输入,即用户的浏览记录。
2)Wi,Wf,Wc,Wo,Ui,Uf,Uc,Uo与Vo是权重矩阵。
3)bi,bf,bc,bo是偏差向量。具体为:
①在每一个时间步t,将输入门输入信息与权值相乘,再加上偏置量,计算得到输入门的控制变量i
t和新的输入向量
具体见式(6)和式(7)。
it=σ(Wixt+Uiht-1+bi) (6)
②在每一个时间步t,将计算遗忘门的控制变量ft与候选状态ct-1相乘,即将遗忘门输入信息与权值相乘,再加上输入门输入信息与权值的乘积,然后将记忆单元状态从ct-1更新到ct,具体见式(8)和式(9)。
ft=σ(Wfxt+Ufht-1+bf) (8)
③在上述更新后记忆单元状态后,就可以不断计算输出门的值,具体见式(10)和式(11)。
ot=σ(Woxt+Uoht-1+VoCt+bo) (10)
ht=ot*tanh(Ct) (11)
④计算损失函数,并使用梯度下降法将其最小化,如式(12)所示。
经过LSTM层后,LSTM每个时间步隐藏状态为输出结果,我们此时将LSTM输出的每一个时间步输出到注意力层,即可以捕获序列之间的依赖关系,加权求和后我们得到输出序列i对应的上下文向量表示yi,具体公式描述如式(13)和式(14)所示。
其中,hi为LSTM第i个时间步的输出,aij表示第i个时间步与第j个时间步的输出进行归一化后的权重,这里的相似度计算函数采用的是矩阵变换,用W表示。最后还要经过一层全连接层得到最终的输出概率。该过程如算法2所示。
用户在源领域和目标领域的历史记录的所有资源向量分别通过LSTM层和注意力层后得到用户在源领域和目标领域的偏好向量,将用户在源领域的偏好向量映射到目标领域,并结合用户在目标领域的偏好得到最终结果,该映射过程在下一部分具体阐述。
3.基于BP神经网络的跨领域标签映射算法
在不同的领域之间,用户的兴趣亦存在一定的对应关系。例如,喜欢看喜剧的用户大都偏向于听摇滚类型的音乐,而喜欢看恐怖片的用户一般喜欢听旋律变化较明显的音乐。这里通过三层BP神经网络来学习不同领域间的标签映射,首先在A-B领域和C领域分别收集用户使用最多的n个标签,根据式(4)分别计算两个领域中每个标签的权重,再通过加权的方式分别计算该用户在A-B和C领域的特征向量,如式(15)和式(16)所示。
其中,Tus为用户在A-B领域的特征向量,Wsi和Tsi为A-B领域各标签的权重和该标签的特征向量;Tut为用户在C领域的特征向量,Wti和Tti为C领域各标签的权重和该标签的特征向量。
接着,以Tus为输入向量,Tut为实际输出向量,使用BP神经网络学习Tus和Tut之间的映射,如式(17)~(21)所示:
1)输入层到隐藏层的映射关系如式(17)所示:
b=V*x (17)
2)经过隐藏层的激活函数如式(18)所示:
h=g(b-γ) (18)
3)隐藏层到输出层的映射关系如式(19)所示:
β=W*h (19)
4)经过输出层的激活函数如式(20)所示:
5)BP神经网络的损失函数如式(21)所示:
其中,在式(14)和式(16)中,g(x)=sigmoid(x),具体模型结构如图2所示。
在BP神经网络中,隐含层单元的数目与问题的要求、输入、输出单元的数目都有直接关系。数目太少,所获取的信息太少,则出现欠拟合。数目太多,增加训练时间,则容易出现过拟合,泛化能力也差。本软件使用黄金分割法确定BP神经网络的隐藏层单元的数量。即,
其中,m为输入层单元数量,l为输出层单元数量。最后,使用梯度下降法最小化损失函数。该过程如算法3所示。
在将用户源领域的偏好向量映射到目标领域后,以一定的方式与用户在目标领域的偏好向量加权求和,得到用户在目标领域的综合偏好,该过程在下一部分详细描述。
4.融合标签映射和注意力机制的跨领域推荐框架
根据前三个部分,下面将给出融合标签映射和注意力机制的跨领域推荐算法。在将用户源领域的偏好向量映射到目标领域后,需要以一定的方式与用户目标领域的偏好向量加权求和。
跨领域推荐的意义在于解决用户在目标领域数据稀疏的问题。用户在目标领域数据相对源领域足够丰富,则更多地使用用户在目标领域地数据,故可按用户在源领域和目标领域的资源数占比确定权重,算法的整体框架如图1所示。
记A-B领域的历史记录经过LSTM层和注意力层处理后的用户偏好向量为Usd,C领域的历史记录经过LSTM网络处理后的用户偏好向量为Uy,源领域和目标领域之间的映射网络为f,按式(22)将Uy和f(Usd)加权求和,得到最终的用户资源向量。
其中,Ui表示用户的资源向量,Ny表示用户历史记录中目标领域资源的数量,Nsd表示用户历史记录中源领域资源的数量。若用户在目标领域浏览过的数据量很少,则可通过其在源领域的偏好映射得到在目标领域的偏好;若用户在目标领域的数据远多于其在源领域的数据,则数据稀疏性不存在,相当于直接根据单领域推荐的结果得出最终结果。
在计算得到最终的用户资源向量后,使用式(23)计算用户资源向量和资源库中目标领域的资源向量的相似度,并向用户推荐TOPN列表。
其中,Ui表示用户资源向量,Ij表示资源库中目标领域的资源向量。该过程如算法4所示。
算法4将用户源领域的偏好与目标领域的偏好结合,得到用户在目标领域的综合偏好,然后计算其与目标领域用户未浏览过的资源向量的相似度,将前N项推荐给用户。资源更丰富的领域对最终的结果影响更大。
以及,一种融合标签和注意力机制的跨领域推荐方法的实现***,其用于实现如上任一项所述的融合标签和注意力机制的跨领域推荐方法,该实现***包括:
基于标签的跨领域资源融合算法模块,利用两个相近领域A和B的普遍使用的定制标签,得到与所述定制标签对应资源的资源标签,分析A、B领域相同的定制标签DT向量以及相同的资源标签RT向量的相似度,并剔除相似度低于阀值的资源标签向量;将由两个相近领域A和B组成的源领域及目标领域C的资源标签向量分别进行加权求和,得到源领域和目标领域的每个资源的资源向量;
基于注意力机制的兴趣挖掘算法模块,利用用户在源领域和目标领域的历史记录的所有资源向量,通过长短期记忆算法LSTM层和注意力层的深入学习,得到用户在源领域和目标领域的偏好向量;
基于BP神经网络的跨领域标签映射算法模块,利用三层BP神经网络,将用户源领域的偏好向量映射到目标领域,得到用户在目标领域的综合偏好;
融合标签映射和注意力机制的跨领域推荐算法模块,用于结合用户在源领域和目标领域的偏好,得到用户在目标领域的综合偏好,然后计算用户在目标领域中未浏览过的资源向量与用户的综合偏好的相似度,得到用户在目标领域的推荐列表。
上述融合标签和注意力机制的跨领域推荐方法及其实现***中,通过融合两个相近领域的项目标签,构建跨领域融合标签,将两个相近领域融合为一个新领域,并将其作为跨领域推荐的源领域,再将一个相关度较低的一个领域作为目标领域,使得跨领域推荐的源领域数据更丰富。通过引入注意力机制在源领域和目标领域分别计算用户当前的偏好,使得推荐结果更具有时效性。通过BP神经网络获取用户在源领域和目标领域的总体偏好的映射关系,并将此映射关系应用于用户当前的偏好,将其从源领域映射到目标领域,再结合目标领域单独的推荐结果,使得最终推荐结果更加准确。
需要说明的是,以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。