CN110196981B

CN110196981B - 文本表示方法、装置、设备和存储介质

Info

Publication number: CN110196981B
Application number: CN201910504977.XA
Authority: CN
Inventors: 牛国成; 何伯磊; 肖欣延
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-06-11
Filing date: 2019-06-11
Publication date: 2023-07-25
Anticipated expiration: 2039-06-11
Also published as: CN110196981A

Abstract

本发明实施例提出一种文本表示方法、装置、设备和存储介质，其中的方法包括获取目标文本对应的多个词向量；从多个词向量中，获取目标文本的全局特征；根据全局特征生成多个全局信息，每个全局信息与至少一个词向量对应；根据多个词向量以及多个全局信息，获取目标文本的多个局部特征；根据多个局部特征生成目标文本的表示向量。本发明实施例的方法将文本的全局特征融合在局部特征的抽取过程中，因此生成的局部特征对于全局背景的理解会更好。进而，只需要很浅的网络就可以直接对文本进行分类，并取得优异的分类效果，并且无需额外的更深层的网络，以降低学习难度。

Description

文本表示方法、装置、设备和存储介质

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种文本表示方法、装置、设备和存储介质。

背景技术

深度学习用做文本分类最常见的一种方法是将文本表示成一个低维稠密的向量(这个向量被认为蕴含了对分类有用的所有信息)，再使用这个向量进行最后的分类。一种生成文本向量的方法是先用“局部特征抽取器”对文本的局部特征(一个固定大小的窗口区域)进行抽取，以窗口滑动的形式生成一个个局部表示，再使用这些已经生成的局部表示得到最后的文本向量。

这样生成的局部表示由于缺乏全局的视野，很容易造成歧义和理解不深刻，影响最后的分类效果。比如，在“苹果真的很棒，用它来拍照非常好”，“苹果真的很棒，它非常富有营养”这两句话中，同一个苹果一个代表“苹果”公司的产品，一个代表苹果这种水果。在抽取局部特征的时候，“局部特征抽取器”并不能判断出这个“苹果”到底表征的是什么意思。这种歧义性会影响到最后的分类效果。

发明内容

本发明实施例提供一种文本表示方法、装置、设备和存储介质，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种文本表示方法，包括：

获取目标文本对应的多个词向量；

从多个所述词向量中，获取所述目标文本的全局特征；

根据所述全局特征生成多个全局信息，每个所述全局信息与至少一个所述词向量对应；

根据多个所述词向量以及多个所述全局信息，获取所述目标文本的多个局部特征；

根据多个所述局部特征生成所述目标文本的表示向量。

在一种实施方式中，从多个所述词向量中，获取所述目标文本的全局特征，包括：

基于第一编码器获取每个所述词向量对应的第一特征表示；

拼接各所述第一特征表示，得到所述全局特征。

基于第一编码器获取每个窗口对应的第二特征表示，所述窗口包括多个所述词向量；

拼接各所述第二特征表示，得到所述全局特征。

在一种实施方式中，根据所述全局特征生成多个全局信息，包括：

对于每个所述窗口，从所述全局特征中获取所述窗口对应的关联特征，并根据所述关联特征获取所述窗口对应的全局信息。

在一种实施方式中，所述关联特征包括注意力特征，从所述全局特征中获取所述窗口对应的关联特征，并根据所述关联特征获取所述窗口对应的全局信息，包括：

获取所述窗口对应的第三特征表示；

根据所述窗口中的多个所述词向量的平均值，获取所述第三特征表示的注意力值；

根据所述第三特征表示以及所述注意力值，确定所述窗口的所述注意力特征；

根据所述注意力特征和所述全局特征，得到所述窗口对应的候选信息；

根据所述词向量的维度，压缩所述候选信息，得到所述窗口对应的全局信息。

最大池化所述全局特征，以得到至少一个所述词向量的候选信息；

根据所述词向量的维度，压缩所述候选信息，得到至少一个所述词向量对应的全局信息。

在一种实施方式中，根据多个所述词向量以及多个所述全局信息，获取所述目标文本的多个局部特征，包括以下方式中的任一种：

对于每个词向量，基于第二编码器从所述词向量以及所述词向量对应的全局信息中，获取所述词向量对应的局部特征；

对于每个窗口，基于所述第二编码器从所述窗口的多个所述词向量以及所述窗口对应的全局信息中，获取所述窗口对应的局部特征。

第二方面，本发明实施例提供了一种文本表示装置，包括：

词向量获取模块，用于获取目标文本对应的多个词向量；

全局特征获取模块，用于从多个所述词向量中，获取所述目标文本的全局特征；

全局信息生成模块，用于根据所述全局特征生成多个全局信息，每个所述全局信息与至少一个所述词向量对应；

局部特征获取模块，用于根据多个所述词向量以及多个所述全局信息，获取所述目标文本的多个局部特征；

表示向量生成模块，用于根据多个所述局部特征生成所述目标文本的表示向量。

在一种实施方式中，所述全局特征获取模块包括：

第一特征表示获取子模块，用于基于第一编码器获取每个所述词向量对应的第一特征表示；

拼接子模块，用于拼接各所述第一特征表示，得到所述全局特征。

在一种实施方式中，所述全局特征获取模块包括：

第二特征表示获取子模块，用于基于第一编码器获取每个窗口对应的第二特征表示，所述窗口包括多个所述词向量；

拼接子模块，用于拼接各所述第二特征表示，得到所述全局特征。

在一种实施方式中，所述全局信息生成模块包括：

全局信息生成子模块，用于对于每个所述窗口，从所述全局特征中获取所述窗口对应的关联特征，并根据所述关联特征获取所述窗口对应的全局信息。

在一种实施方式中，所述关联特征包括注意力特征，所述全局信息生成子模块包括：

第三特征表示获取单元，用于获取所述窗口对应的第三特征表示；

注意力值获取单元，用于根据所述窗口中的多个所述词向量的平均值，获取所述第三特征表示的注意力值；

注意力特征确定单元，用于根据所述第三特征表示以及所述注意力值，确定所述窗口的所述注意力特征；

候选信息确定单元，用于根据所述注意力特征和所述全局特征，得到所述窗口对应的候选信息；

压缩单元，用于根据所述词向量的维度，压缩所述候选信息，得到所述窗口对应的全局信息。

在一种实施方式中，所述全局信息生成模块包括：

候选信息确定子模块，用于最大池化所述全局特征，以得到至少一个所述词向量的候选信息；

压缩子模块，用于根据所述词向量的维度，压缩所述候选信息，得到至少一个所述词向量对应的全局信息。

在一种实施方式中，所述局部特征获取模块用于以下方式中的任一种：

第三方面，本发明实施例提供了一种文本表示设备，所述设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，所述设备的结构中包括处理器和存储器，所述存储器用于存储支持所述设备执行上述文本表示方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述设备还可以包括通信接口，用于与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储文本表示设备所用的计算机软件指令，其包括用于执行上述文本表示方法所涉及的程序。

本发明实施例的方法将文本的全局特征融合在局部特征的抽取过程中，因此生成的局部特征对于全局背景的理解会更好。进而，只需要很浅的网络就可以直接对文本进行分类，并取得优异的分类效果，并且无需额外的更深层的网络，以降低学习难度。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1示出根据本发明实施例的文本表示方法的流程图。

图2示出本发明实施例中的一个示例中的文本表示方法的过程图。

图3示出根据本发明实施例的文本表示装置的结构框图。

图4示出根据本发明实施例的一种实施方式中的文本表示装置的结构框图。

图5示出根据本发明实施例的另一种实施方式中的文本表示装置的结构框图。

图6示出根据本发明实施例的文本表示设备的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1示出根据本发明实施例的文本表示方法的流程图。如图1所示，该方法可以包括：

步骤S101、获取目标文本对应的多个词向量。

目标文本可以包括词语。其中，词是词和语的合称，包括单词、词组及词汇。句子是语言运通的基本单位，它有词语、词组(短语)构成。本实施例中，可以利用词转向量(wordto vector，word2vec)模型，将目标文本中的词转化为低纬稠密的词向量w_i。进而，目标文本可以由文本序列(w₁、w₂、...、w_n)表示。其中，w_i表示序列中的第i个词。

在进行特征提取时，可以以固定大小的窗口为单位。例如：窗口大小为3时，可以基于词向量w_i、w_i+1、w_i+2进行每个窗口的特征提取。

步骤S102、从多个所述词向量中，获取所述目标文本的全局特征。

在一种实施方式中，可以基于第一编码器获取每个所述词向量对应的第一特征表示；拼接各所述第一特征表示，得到全局特征。在一种实施方式中，可以第一编码器获取每个窗口对应的第二特征表示，所述窗口包括多个所述词向量；拼接各所述第二特征表示，得到所述全局特征。

本实施例中，第一编码器Encoder1用来提取目标文件的全局特征。第一编码器Encoder1可以包括卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)和注意力(Attention)机制中的任一种。第一编码器Encoder1也可以选用其他模型，只要该模型具备建模句子的能量即可。

在一个示例中，第一编码器Encoder1为CNN模型。可以使用Conv函数来表示CNN对于一个大小为l的窗口(结束词向量是x_t)进行特征抽取的过程，由此得到的特征向量为l_t(第二特征表示)。抽取过程的本质是使用多个卷积核进行卷积运算，W_f表示卷积核的权重参数，b_f是bias偏置项。对每个窗口的向量l_t进行拼接后则得到全局表示enc1。相关公式如下所示：

l_t＝Conv(x_t-h+1，x_t-h+2，...，x_t)＝relu(W_fx_t-h+1：t+b_f)；

enc₁＝[l₁；l₂；...；l_n]。

在一个示例中，第一编码器Encoder1为RNN模型，如门控循环单元(GatedRecurrent Unit，GRU)。在GRU中，重置门(reset gate)可以控制有多少新信息被使用，更新门(update gate)可以控制旧信息的流入。即在每个时序点t的隐状态是由前一个隐状态和当前的输入词向量共同决定的。例如：可以使用函数gru来表示对一个窗口进行时序建模，生成该窗口的隐式状态(第二特征表示)，则以词向量x_t为结尾的窗口的隐式状态可以表示成：

h_t＝GRU(x₁，x₂，...，x_t)。

对每个窗口的隐式状态h_t进行拼接后，得到目标文本的全局表示enc₁。相关公式如下所示：

enc₁＝[h₁；h₂，...；h_n]。

在一个示例中，第一编码器Encoder1为GRU引入Attention机制后的模型，即在GRU上引入Attention机制，从而帮助选择最重要的隐式状态。可以定义语境(context)向量u_w，用于衡量在GRU中的每个窗口对应的隐式状态h_t的重要程度α_t。其中，u_w是随机初始化并且在学习过程中调整的。α_t通过归一化指数函数，如软最大值函数(softmax)进行归一化，归一化后的值为：

进而以词向量x_t为结尾的窗口的第二特征表示可以为α_th_t。进一步地，拼接每个窗口的第二特征表示，得到目标文本的全局特征。本示例中中，使用引入Attention机制作为Encoder1所得到的全局特征enc₁可以用于以下公式表示：

enc₁＝[α₁h₁；α₂h₂；...；α_nh_n]。

如图1所示，本发明实施例的文本表示方法还包括：

步骤S103、根据所述全局特征生成多个全局信息，每个所述全局信息与至少一个所述词向量对应。

由于第一编码器Encoder1产生的全局特征enc₁与词向量的维度大小不同，因此全局特征enc₁不能直接被用于局部特征的提取过程中。本发明实例可以从enc₁提取出对于窗口中的词向量x_t-h+1，x_t-h+2，...，x_t更关注的那部分信息，表示为全局信息g_t：

g_t＝G(enc₁，x_t-h+1，x_t-h+2，...，x_t)。

然后，将全局信息g_t融合在局部特征的提取过程中。

在一种实施方式中，在步骤S103中可以包括：最大池化所述全局特征，以得到至少一个所述词向量的候选信息；根据所述词向量的维度，压缩所述候选信息，得到至少一个所述词向量对应的全局信息。

也就是说，对于全局信息的获取，可以基于相同(SAME)模式，即对于不同窗口得到的全局信息相同。因此，在SAME模式下，全局信息g_t不依赖于窗口中的多个词向量的具体信息。在一个示例中，可以对全局特征进行随时间最大化(max-over-time pooling)，得到候选信息

然后将候选信息压缩成与词向量一样的维度大小，得到每个窗口的全局信息g_t。在一个示例中，可以通过一层感知机(Multi Layer Perceptron，MLP)压缩候选信息/>得到每个窗口的全局信息gt：

在一种实施方式中，在步骤S103中可以包括：对于每个所述窗口，从所述全局特征中获取所述窗口对应的关联特征，并根据所述关联特征获取所述窗口对应的全局信息。也就是说，每个窗口提取的全局信息可以不同。

在一种实施方式中，关联特征可以包括Attention特征，在步骤S103中可以包括：获取所述窗口对应的第三特征表示；根据所述窗口中的多个所述词向量的平均值，获取所述第三特征表示的注意力值；根据所述第三特征表示以及所述注意力值，确定所述窗口的所述注意力特征；根据所述注意力特征和所述全局特征，得到所述窗口对应的候选信息；根据所述词向量的维度，压缩所述候选信息，得到所述窗口对应的全局信息。也就是说，可以建立注意(ATTEND)模式从全局特征中提取每个窗口的全局信息。

具体地，在ATTEND模式中，可以使用窗口内的词向量x_t：t+h-1的平均值(averagepooling)作为语境向量(context vector)，去Attention窗口的隐式状态h_t(第三特征表示，也可以为上述的第二特征表示)，得到对应的注意力值β_t：

结合窗口的隐式状态h_t和注意力值β_t，得到窗口对应的注意力特征∑_tβ_th_t，进而挑选出enc₁对窗口更有作用的一部分。为了获取更多的全局信息，可以将将注意力特征∑_tβ_th_t与maxpool(enc₁)拼接，得到对应的候选信息

最后，然后将候选信息压缩成与词向量一样的维度大小，得到每个窗口的全局信息g_t。在一个示例中，可以通过一层感知机(Multi Layer Perceptron，MLP)压缩候选信息/>得到每个窗口的全局信息gt。

如图1所示，本发明实施的文本表示方法还包括：

步骤S104、根据多个所述词向量以及多个所述全局信息，获取所述目标文本的多个局部特征。

本发明实施例中，全局信息可以融合在局部特征的提取过程中。在一种实施方式中，在步骤S104中可以包括：对于每个词向量，基于第二编码器从所述词向量以及所述词向量对应的全局信息中，获取所述词向量对应的局部特征。在另一种实施方式中，可以基于固定大小的窗口为单位，进行局部特征的提取，例如：在步骤S104中可以包括：对于每个窗口，基于所述第二编码器从所述窗口的多个所述词向量以及所述窗口对应的全局信息中，获取所述窗口对应的局部特征。

其中，第二编码器Encoder2可以为CNN模型，也可以为不连续的深度循环神经网络(Diagonal Recurrent Neural Network，DRNN)模型，还可以为其他模型，只要可以进行局部特征抽取即可。

在一个示例中，可以将窗口对应的全局信息g_t和窗口内的词向量一起作为第二编码器Encoder2的输入，用于局部特征抽取，进而可以得到融合了全局信息g_t的局部特征m_t。

例如：Encoder2可以为CNN模型。可以将全局信息g_t作为一个伪装词(fake word)向量放在每个窗口前，然后使用卷积操作进行卷积得到每个窗口的局部特征m_t：

m_t＝Conv(g_t，x_t-h+1，x_t-h+2，...，x_t)。

又例如：Encoder2可以为DRNN模型。可以将全局信息g_t作为一个fake word放在每个窗口前，使用GRU来建模局部窗口。由于全局信息g_t被放置在最开始，使得全局信息从一开始就能被编码进GRU中，从而影响整个窗口的表示，以使局部窗口带有全局知识。每个窗口被抽取到的局部特征m_t可以表示成：

m_t＝GRU(g_t，x_t-h+1，x_t-h+2，...，x_t)。

如图1所示，本发明实施的文本表示方法还包括：

步骤S105、根据多个所述局部特征生成所述目标文本的表示向量。

在一个示例中，可以拼接目标文本的每个局部特征m_t，得到拼接结果，然后对拼接结果进行最大池化，得到目标文本的表示向量enc₂：

enc₂＝maxpool([m₁；m₂；...；m_n])。

目标文本的表示向量enc₂可以用于对目标文件进行分类。例如：将表示向量enc₂接一层softmax层，进而对目标文本进行分类。

在一个示例中，如图2所示，可以将相同的文本序列(w₁、w₂、...、w_n)作为输入，通过第一编码器Encoder1和第二编码器Encode2分别进行编码。其中，第一编码器Encoder1输出全局特征。Modes模块用于第一编码器Encoder1和第二编码器Encode2。在SAME模式下，Modes模块可以基于全局特征输出相同的全局信息，并与文本序列一起输入第二编码器Encode2，用于局部特征的提取。在ATTEND模式下，Modes模块可以基于全局特征为每个窗口(或每组词向量)输出不同的全局信息，进而与对应的窗口中的词向量一起输入第二编码器Encode2，用于局部特征的提取。基于各局部特征得到目标文本的表示向量后，可以用softmax，实现对目标文本的分类。

本发明实施例的文本表示方法，通过在全局特征中提取全局信息，并将全局信息融合在局部特征的提取过程中，进而基于局部特征获得文本表示向量。由于全局特征会融合在局部特征的抽取过程中，因此生成的局部特征对于全局背景的理解会更好。进而，只需要很浅的网络就可以直接对文本进行分类，并取得优异的分类效果，并且无需额外的更深层的网络，以降低学习难度。而传统方案中，需要在已经生成好的局部表示上进行彼此之间的交互和比较，并对不准确的表示进行修正。这种方式需要更多复杂的操作，且难以学习。

图3示出根据本发明实施例的文本表示装置的结果框图。如图3所示，该装置可以包括：

词向量获取模块301，用于获取目标文本对应的多个词向量；

全局特征获取模块302，用于从多个所述词向量中，获取所述目标文本的全局特征；

全局信息生成模块303，用于根据所述全局特征生成多个全局信息，每个所述全局信息与至少一个所述词向量对应；

局部特征获取模块304，用于根据多个所述词向量以及多个所述全局信息，获取所述目标文本的多个局部特征；

表示向量生成模块305，用于根据多个所述局部特征生成所述目标文本的表示向量。

在一种实施方式中，全局特征获取模块302可以包括：

在一种实施方式中，如图4所示，全局特征获取模块302可以包括：

第二特征表示获取子模块401，用于基于第一编码器获取每个窗口对应的第二特征表示，所述窗口包括多个所述词向量；

拼接子模块402，用于拼接各所述第二特征表示，得到所述全局特征。

在一种实施方式中，如图4所示，全局信息生成模块303可以包括：

全局信息生成子模块403，用于对于每个所述窗口，从所述全局特征中获取所述窗口对应的关联特征，并根据所述关联特征获取所述窗口对应的全局信息。

在一种实施方式中，所述关联特征包括注意力特征，全局信息生成子模块403可以包括：

在一种实施方式中，如图5所示，全局信息生成模块303可以包括：

候选信息确定子模块501，用于最大池化所述全局特征，以得到至少一个所述词向量的候选信息；

压缩子模块502，用于根据所述词向量的维度，压缩所述候选信息，得到至少一个所述词向量对应的全局信息。

在一种实施方式中，局部特征获取模块304可以用于以下方式中的任一种：

对于每个词向量，基于第二编码器从所述词向量以及所述词向量对应的全局信息中，获取所述词向量对应的局部特征。

本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

图6示出根据本发明实施例的文本表示设备的结构框图。如图6所示，该设备可以包括：存储器601和处理器602，存储器601内存储有可在处理器602上运行的计算机程序。所述处理器602执行所述计算机程序时实现上述实施例中的文本表示方法。所述存储器601和处理器602的数量可以为一个或多个。

该设备还可以包括：

通信接口603，用于与外界设备进行通信，进行数据交互传输。

存储器601可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器601、处理器602和通信接口603独立实现，则存储器601、处理器602和通信接口603可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器601、处理器602及通信接口603集成在一块芯片上，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。

本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种文本表示方法，其特征在于，包括：

获取目标文本对应的多个词向量；

从多个所述词向量中，获取所述目标文本的全局特征；

根据所述全局特征生成多个全局信息，每个所述全局信息与至少一个所述词向量对应；其中，每个所述全局信息与窗口中高关注度的词向量相对应，所述窗口包含多个词向量；

根据多个所述局部特征生成所述目标文本的表示向量。

2.根据权利要求1所述的方法，其特征在于，从多个所述词向量中，获取所述目标文本的全局特征，包括：

基于第一编码器获取每个所述词向量对应的第一特征表示；

拼接各所述第一特征表示，得到所述全局特征。

3.根据权利要求1所述的方法，其特征在于，从多个所述词向量中，获取所述目标文本的全局特征，包括：

拼接各所述第二特征表示，得到所述全局特征。

4.根据权利要求3所述的方法，其特征在于，根据所述全局特征生成多个全局信息，包括：

5.根据权利要求4所述的方法，其特征在于，所述关联特征包括注意力特征，从所述全局特征中获取所述窗口对应的关联特征，并根据所述关联特征获取所述窗口对应的全局信息，包括：

获取所述窗口对应的第三特征表示；

6.根据权利要求1至3任一项所述的方法，其特征在于，根据所述全局特征生成多个全局信息，包括：

7.根据权利要求1所述的方法，其特征在于，根据多个所述词向量以及多个所述全局信息，获取所述目标文本的多个局部特征，包括以下方式中的任一种：

8.一种文本表示装置，其特征在于，包括：

词向量获取模块，用于获取目标文本对应的多个词向量；

全局信息生成模块，用于根据所述全局特征生成多个全局信息，每个所述全局信息与至少一个所述词向量对应；其中，每个所述全局信息与窗口中高关注度的词向量相对应，所述窗口包含多个词向量；

9.根据权利要求8所述的装置，其特征在于，所述全局特征获取模块包括：

10.根据权利要求9所述的装置，其特征在于，所述全局信息生成模块包括：

11.根据权利要求8或9所述的装置，其特征在于，所述全局信息生成模块包括：

12.一种文本表示设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。

13.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。