CN116579343B - 一种中文文旅类的命名实体识别方法 - Google Patents

Abstract

本发明公开了一种中文文旅类的命名实体识别方法，包括以下步骤：S1、获取中文文旅类文本数据，并将其输入至字符嵌入层，得到字符向量表示；S2、将字符向量表示输入至双向长短期记忆网络层，得到上下文表示；S3、将上下文表示输入至CNN层，得到多尺度的局部上下文特征融合表示；S4、将多尺度的局部上下文特征融合表示输入至CRF层，通过CRF层进行序列标注，完成中文文旅类的命名实体识别。本发明考虑到对中文旅游类的命名实体识别研究的关注度较少的问题，针对于中文的文旅类文本数据进行网络搭建，在CNN层利用第二CNN模块学习多尺度的局部上下文特征融合表示，加强语义之间的相关性，提高有利于中文识别的特征表示。

Description

一种中文文旅类的命名实体识别方法

技术领域

本发明属于信息提取技术领域，具体涉及一种中文文旅类的命名实体识别方法。

背景技术

命名实体识别(NER)是一项基本的信息提取任务，在自然语言处理(NLP)中能应用于许多下游任务，如信息抽取、社交媒体分析、搜素引擎、机器翻译、知识图谱。NER的目标是从句子中提取一些预定义的特定实体，并识别它们的正确类型，如人、地点、组织。早期的命名实体识别分为两类:基于规则的方法和基于统计的方法。随着深度学习的日渐强大，NER的研究取得了非常大的进步。涉及的领域多种多样:如医疗领域、金融领域、新闻领域等。但文旅类的命名实体识别的研究非常的稀缺，文旅类的命名实体识别的研究却没有受到关注。

根据语言之间的差异，关于特定语言的NER方法的研究也很多，如英语、***语、印度语和其他语言，许多研究者主要集中于英文NER的研究。但中文身为一个重要的国际通用语言，在与英文相比，中文有它自己本身的特点，但对于中文NER的研究却相对英文NER来说却少很多，而且很多关于中文NER的研究都没有根据中文的特点做出针对性的研究。

发明内容

针对现有技术中的上述不足，本发明提供的一种中文文旅类的命名实体识别方法解决了目前的命名实体识别研究对中文文旅类的关注度较少的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种中文文旅类的命名实体识别方法，包括以下步骤：

S1、获取中文文旅类文本数据，并将其输入至字符嵌入层，得到字符向量表示；

S2、将字符向量表示输入至双向长短期记忆网络层，得到上下文表示；

S3、将上下文表示输入至CNN层，得到多尺度的局部上下文特征融合表示；

S4、将多尺度的局部上下文特征融合表示输入至CRF层，通过CRF层进行序列标注，完成中文文旅类的命名实体识别。

进一步地：所述S1中，字符嵌入层包括并行的ChineseBert模块和第一CNN模块；

所述S1包括以下分步骤：

S11、获取中文文旅类文本数据；

S12、将中文文旅类文本数据输入至ChineseBert模块，得到中文文旅类文本数据中每个字的字嵌入向量表示；

S13、将中文文旅类文本数据输入至第一CNN模块，得到部首级嵌入表示；

S14、将字嵌入向量表示与部首级嵌入表示进行拼接，得到字符向量表示。

进一步地：所述S12具体为：

将中文文旅类文本数据输入至ChineseBert模块，通过ChineseBert模块对输入的中文文旅类文本数据进行编码表示，得到特征向量，根据特征向量生成中文文旅类文本数据中每个字的字嵌入向量表示；

其中，所述特征向量包括标记嵌入、位置嵌入和分段嵌入。

进一步地：所述S13中，得到部首级嵌入表示M₂的表达式具体为：

M₂＝A₁(b₁+C₁(x))

式中，x为汉字部首级特征，C₁(·)为第一CNN模块，A₁为第一激活函数，b₁为第一CNN模块的偏重。

进一步地：所述S14中，得到字符向量表示Z_concat的表达式具体为：

Z_concat＝M₁+M₂

式中，M₁为字嵌入向量表示。

上述进一步方案的有益效果为：经过字嵌入向量表示和部首级嵌入表示拼接得到的字符向量表示能够得到更多的语义特征，使得模型更好的识别文本中的中文含义。

进一步地：所述S2中，双向长短期记忆网络层包括第一～第十二LSTM单元，所述第一～第六LSTM单元正向处理输入的字符向量表示，所述第七～第十二LSTM单元反向处理输入的字符向量表示；

得到上下文表示的方法具体为：

根据第一～第十二LSTM单元的输出结果进行拼接，得到上下文表示。进一步地：

进一步地：所述S2中，得到上下文表示H的表达式具体为：

H＝{h₁,...,h_ti,...,h_D}

式中，h_ti为第一～第十二LSTM单元的输出结果进行拼接，ti为拼接的序号，且ti＝1，…，D，D为字符向量表示的维度；

所述第一～第十二LSTM单元均包括输入门i_t、输出门o_t和遗忘门f_t，其表达式具体为下式：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_t⊙c_t-1+i_t⊙tanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o)

h_t＝o_t⊙tanh(c_t)

式中，σ(·)为逐元的sigmoid函数，tanh(·)为双曲切线函数，⊙为逐元相乘函数，W_xi、W_hi、W_ci、W_xf、W_hf、W_cf、W_xc、W_hc、W_xo、W_ho和W_co均为权重参数，b_i、b_f、b_c和b_o均为偏重参数，c_t为记忆细胞，h_t为输出结果。

进一步地：所述S3中，CNN层设置有第二CNN模块，得到多尺度的局部上下文特征融合表示M₃的表达式具体为：

M₃＝A₂(b₂+C₂(H))

式中，H为下文表示，C₂(·)为第二CNN模块，A₂为第二激活函数，b₂为第二CNN模块的偏重。

上述进一步方案的有益效果为：将上下文表示输入至第二CNN模块，能够加强语义之间的相关性，生成多尺度的局部上下文特征融合表示。

本发明的有益效果为：本发明提供的一种中文文旅类的命名实体识别方法解决了对中文旅游类的命名实体识别研究的关注度较少的问题，针对于中文的文旅类文本数据进行网络搭建，在字符嵌入层利用第一CNN模块学习基于中文的部首级嵌入表示，得到有利于中文识别的字符向量表示，在CNN层利用第二CNN模块学习多尺度的局部上下文特征融合表示，加强语义之间的相关性，进一步提高有利于中文识别的特征表示。

附图说明

图1为本发明的一种中文文旅类的命名实体识别方法流程图。

图2为本发明整体的网络结构示意图。

图3为本发明的ChineseBert模块的结构示意图。

图4为本发明的第一CNN模块的结构示意图。

图5为本发明的第二CNN模块的结构示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，在本发明的一个实施例中，一种中文文旅类的命名实体识别方法，包括以下步骤：

S1、获取中文文旅类文本数据，并将其输入至字符嵌入层，得到字符向量表示；

S2、将字符向量表示输入至双向长短期记忆网络层，得到上下文表示；

S3、将上下文表示输入至CNN层，得到多尺度的局部上下文特征融合表示；

S4、将多尺度的局部上下文特征融合表示输入至CRF层，通过CRF层进行序列标注，完成中文文旅类的命名实体识别。

在本实施例中，本发明提供一种针对中文汉字特点且适用领域为文旅类数据的基于部首级特征和多尺度的局部上下文特征融合表示的中文文旅的命名实体识别方法，网络的具体结构如图2所示。

所述S1中，字符嵌入层包括并行的ChineseBert模块和第一CNN模块；

所述S1包括以下分步骤：

S11、获取中文文旅类文本数据；

S12、将中文文旅类文本数据输入至ChineseBert模块，得到中文文旅类文本数据中每个字的字嵌入向量表示；

S13、将中文文旅类文本数据输入至第一CNN模块，得到部首级嵌入表示；

S14、将字嵌入向量表示与部首级嵌入表示进行拼接，得到字符向量表示。

在本实施例中，ChineseBert模块的结构如图3所示，ChineseBert模块是通过中文语料预训练得到的预训练模型，专门针对于中文的文本数据进行处理。

所述S12具体为：

将中文文旅类文本数据输入至ChineseBert模块，通过ChineseBert模块对输入的中文文旅类文本数据进行编码表示，得到特征向量，根据特征向量生成中文文旅类文本数据中每个字的字嵌入向量表示；

其中，所述特征向量包括标记嵌入、位置嵌入和分段嵌入。

所述S13中，得到部首级嵌入表示M₂的表达式具体为：

M₂＝A₁(b₁+C₁(x))

式中，x为汉字部首级特征，C₁(·)为第一CNN模块，A₁为第一激活函数，b₁为第一CNN模块的偏重。

在本实施例中，利用CNN对输入的中文文旅类文本数据进行部首级嵌入表示Radical-level Representation，得到部首级嵌入表示，其中第一CNN模块对输入数据进行Radical Representaion的结构示意图如图4所示。

所述S14中，得到字符向量表示Z_concat的表达式具体为：

Z_concat＝M₁+M₂

式中，M₁为字嵌入向量表示。

经过字嵌入向量表示和部首级嵌入表示拼接得到的字符向量表示能够得到更多的语义特征，使得模型更好的识别文本中的中文含义。

所述S2中，双向长短期记忆网络层包括第一～第十二LSTM单元，所述第一～第六LSTM单元正向处理输入的字符向量表示，所述第七～第十二LSTM单元反向处理输入的字符向量表示；

得到上下文表示的方法具体为：

根据第一～第十二LSTM单元的输出结果进行拼接，得到上下文表示。

在本实施例中，双向长短期记忆网络层得到上下文表示块能够从正反两个方向提升语义表示，能够更好的识别段落中的语义。

所述S2中，得到上下文表示H的表达式具体为：

H＝{h₁,...,h_ti,...,h_D}

式中，h_ti为第一～第十二LSTM单元的输出结果进行拼接，ti为拼接的序号，且ti＝1，…，D，D为字符向量表示的维度；

所述第一～第十二LSTM单元均包括输入门i_t、输出门o_t和遗忘门f_t，其表达式具体为下式：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_t⊙c_t-1+i_t⊙tanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o)

h_t＝o_t⊙tanh(c_t)

式中，σ(·)为逐元的sigmoid函数，tanh(·)为双曲切线函数，⊙为逐元相乘函数，W_xi、W_hi、W_ci、W_xf、W_hf、W_cf、W_xc、W_hc、W_xo、W_ho和W_co均为权重参数，b_i、b_f、b_c和b_o均为偏重参数，c_t为记忆细胞，h_t为输出结果。

所述S3中，CNN层设置有第二CNN模块，得到多尺度的局部上下文特征融合表示M₃的表达式具体为：

M₃＝A₂(b₂+C₂(H))

式中，H为下文表示，C₂(·)为第二CNN模块，A₂为第二激活函数，b₂为第二CNN模块的偏重。

在本实施例中，第二CNN模块的结构如图5所示，将上下文表示输入至第二CNN模块，能够加强语义之间的相关性，生成多尺度的局部上下文特征融合表示。

将多尺度的局部上下文特征融合表示输入至CRF层，完成序列标注的任务进而完成中文文旅类的命名实体识别。

本发明的有益效果为：本发明提供的一种中文文旅类的命名实体识别方法解决了对中文旅游类的命名实体识别研究的关注度较少的问题，针对于中文的文旅类文本数据进行网络搭建，在字符嵌入层利用第一CNN模块学习基于中文的部首级嵌入表示，得到有利于中文识别的字符向量表示，在CNN层利用第二CNN模块学习多尺度的局部上下文特征融合表示，加强语义之间的相关性，进一步提高有利于中文识别的特征表示。

在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。

Claims (3)

1.一种中文文旅类的命名实体识别方法，其特征在于，包括以下步骤：

S1、获取中文文旅类文本数据，并将其输入至字符嵌入层，得到字符向量表示；

S2、将字符向量表示输入至双向长短期记忆网络层，得到上下文表示；

S3、将上下文表示输入至CNN层，得到多尺度的局部上下文特征融合表示；

S4、将多尺度的局部上下文特征融合表示输入至CRF层，通过CRF层进行序列标注，完成中文文旅类的命名实体识别；

所述S1中，字符嵌入层包括并行的ChineseBert模块和第一CNN模块；

所述S1包括以下分步骤：

S11、获取中文文旅类文本数据；

S12、将中文文旅类文本数据输入至ChineseBert模块，得到中文文旅类文本数据中每个字的字嵌入向量表示；

S13、将中文文旅类文本数据输入至第一CNN模块，得到部首级嵌入表示；

S14、将字嵌入向量表示与部首级嵌入表示进行拼接，得到字符向量表示；

所述S2中，双向长短期记忆网络层包括第一～第十二LSTM单元，所述第一～第六LSTM单元正向处理输入的字符向量表示，第七～第十二LSTM单元反向处理输入的字符向量表示；

得到上下文表示的方法具体为：

根据第一～第十二LSTM单元的输出结果进行拼接，得到上下文表示；

所述S13中，得到部首级嵌入表示M₂的表达式具体为：

M₂＝A₁(b₁+C₁(x))

式中，x为汉字部首级特征，C₁(·)为第一CNN模块，A₁为第一激活函数，b₁为第一CNN模块的偏重；

所述S14中，得到字符向量表示Z_concat的表达式具体为：

Z_concat＝M₁+M₂

式中，M₁为字嵌入向量表示；

所述S3中，CNN层设置有第二CNN模块，得到多尺度的局部上下文特征融合表示M₃的表达式具体为：

M₃＝A₂(b₂+C₂(H))

式中，H为下文表示，C₂(·)为第二CNN模块，A₂为第二激活函数，b₂为第二CNN模块的偏重。

2.根据权利要求1所述的中文文旅类的命名实体识别方法，其特征在于，所述S12具体为：

将中文文旅类文本数据输入至ChineseBert模块，通过ChineseBert模块对输入的中文文旅类文本数据进行编码表示，得到特征向量，根据特征向量生成中文文旅类文本数据中每个字的字嵌入向量表示；

其中，所述特征向量包括标记嵌入、位置嵌入和分段嵌入。

3.根据权利要求1所述的中文文旅类的命名实体识别方法，其特征在于，所述S2中，得到上下文表示H的表达式具体为：

H＝{h₁,...,h_ti,...,h_D}

式中，h_ti为第一～第十二LSTM单元的输出结果进行拼接，ti为拼接的序号，且ti＝1，…，D，D为字符向量表示的维度；

所述第一～第十二LSTM单元均包括输入门i_t、输出门o_t和遗忘门f_t，其表达式具体为下式：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_t⊙c_t-1+i_t⊙tanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o)

h_t＝o_t⊙tanh(c_t)

式中，σ(·)为逐元的sigmoid函数，tanh(·)为双曲切线函数，⊙为逐元相乘函数，W_xi、W_hi、W_ci、W_xf、W_hf、W_cf、W_xc、W_hc、W_xo、W_ho和W_co均为权重参数，b_i、b_f、b_c和b_o均为偏重参数，c_t为记忆细胞，h_t为输出结果。