CN110083831A - 一种基于BERT-BiGRU-CRF的中文命名实体识别方法 - Google Patents

Abstract

本发明公开了一种基于BERT‑BiGRU‑CRF的中文命名实体识别方法。该方法包括三个阶段，第一阶段预处理海量文本语料，预训练BERT语言模型；第二阶段预处理命名实体识别语料，利用训练好的BERT语言模型对命名实体识别语料进行编码；第三阶段将编码后的语料输入BiGRU+CRF模型中进行训练，利用训练好的模型对待识别语句进行命名实体识别。本发明通过构建基于BERT‑BiGRU‑CRF的中文命名实体识别方法，通过BERT预训练语言模型增强字的语义表示，根据字的上下文动态生成语义向量，有效表征了字的多义性。提高了中文命名实体识别的精度，且与基于语言模型微调的方法相比减少了训练参数，节省了训练时间。

Description

一种基于BERT-BiGRU-CRF的中文命名实体识别方法

技术领域

本发明属于命名实体识别领域，具体涉及一种基于BERT-BiGRU-CRF模型的中文命名实体识别方法。

背景技术

命名实体识别旨在识别文本中特定实体信息，如人名、地名、机构名等，在信息抽取，信息检索，智能问答，机器翻译中都有广泛应用，是自然语言处理的基础之一。传统的命名实体识别方法可以分为基于词典的命名实体识别方法，基于规则的命名实体识别方法，基于传统机器学习的命名实体识别的方法，基于神经网络的命名实体识别的方法和基于语言模型微调的方法。

基于词典的命名实体识别方法，该方法首先构造大规模实体词典，然后通过匹配语句和词典来进行命名实体识别。

基于规则的命名实体识别方法的原理是根据实体特有的上下文特征来构造规则，将文本与规则进行匹配来识别出命名实体。该方法需要语言学背景知识。

基于传统机器学习的命名实体识别的方法，该方法将命名实体识别任务形式化序列标注任务，通过预测每个字或者词的标签，联合预测实体边界和实体类型。例如基于CRF(条件随机场)的命名实体识别的方法、基于HMM(隐马尔可夫)的命名实体识别的方法等，这类方法的原理是通过人工构建特征模板提取特征，作为输入，学习前后一个词的语义信息，然后预测序列标签。

基于神经网络的命名实体识别的方法，其原理是将字或者词映射为单一向量，然后输入神经网络模型中进行标签预测，经典模型是BiLSTM-CRF模型。

基于预训练语言模型微调的方法，该方法通过海量语料无监督预训练一个语言模型来表征句子语义，然后在有标签的语料之上对语言模型进行微调。

上述现有技术存在下列缺陷：

1、基于词典的命名实体识别方法严重依赖于词典库，无法识别未登录词，且无法识别实体嵌套情形。

2、基于规则的命名实体识别方法在构建规则时需要语言学背景知识，中文表达具有多样性，规则难以枚举且容易冲突，还有一个缺点是不具有迁移性，工作繁琐复杂。

3、基于传统机器学习的命名实体识别的方法。

4、基于神经网络的命名实体识别的方法，该方法无法表征字或者词的多义性。有些字词在不同的上下文语境中具有不同的语义表示，该方法将字或者词映射为单一向量与事实不符。

5、基于语言模型微调的方法有参数量庞大，训练时间长的缺点。

发明内容

本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种能够有效的提高命名实体识别精度的基于BERT-BiGRU-CRF的中文命名实体识别方法。

一种基于BERT-BiGRU-CRF的中文命名实体识别方法，其特征在于，包括以下步骤：

步骤A、获取语言模型的训练语料数据并进行预处理，具体包括以下分步骤：

A1、将原始语料进行字符级切分；

A2、构建句子对正负样本，其中正样本表示句子对有上下文关系；负样本表示两个句子没有关系；

A3、对超过max_num_tokens的句子对进行截断；

A4、连接句子对，用[SEP]标签进行连接，句首置[CLS]标签,句末置[SEP]标签；

A5、随机遮住15％的单词；其中80％用masked token来代替，10％用随机的一个词来替换，10％保持这个词不变；

步骤B、根据步骤A预处理后的训练语料数据训练BERT语言模型包括Embedding层、双向Transformer编码器、输出层；

步骤C、获取命名实体识别模型的训练语料数据并进行标注，形成标注语料，

具体是对中文命名实体识别语料进行标注，采用BIO标注模式，其中B表示实体开始，I表示实体非开始部分，O表示不是实体的部分；

步骤D、对步骤C得到的标注语料进行预处理，具体包括以下分步骤：

D1、将原始语料进行字符级切分；

D2、句首置[CLS]标签,句末置[SEP]标签；对应标签也分别置为[CLS],[SEP]

步骤E、根据步骤B得到的基于BERT的语言模型和步骤D预处理后的标注语

料构建基于BERT-BiGRU-CRF的中文命名实体识别模型；

步骤F、利用步骤E得到的基于BERT-BiGRU-CRF的中文命名实体识别模型对

待识别数据进行处理，得到命名实体识别结果。

在上述的基于BERT-BiGRU-CRF的命名实体识别方法，所述步骤B还包括将步骤A5得到的训练语料变为定长，对长度不够的句子用[PAD]进行补齐，将定长语料输入BERT模型进行训练。

在上述的基于BERT-BiGRU-CRF的命名实体识别方法，所述步骤E中BERT-BiGRU-CRF模型包括步骤B中训练好的BERT语言模型，通过BERT编码步骤D中预处理好的命名实体识别语料，输出每个字的上下文表示，然后将字向量序列输入BiGRU-CRF中进行训练。

在上述的基于BERT-BiGRU-CRF的命名实体识别方法，所述步骤F利用步骤E得到的BERT-BiGRU-CRF模型对待识别数据进行处理，得到命名实体识别结果，具体为：

按照步骤D中的方式对待识别数据进行预处理，通过BERT-BiGRU-CRF预测实体标签，最后采用维特比算法求出每句话最大可能的标注序列，将其作为命名实体识别结果。

本发明的有益效果是：本发明构建了BERT-BiGRU-CRF中文命名实体识别模型，通过BERT预训练语言模型增强字的语义表示，根据字的上下文动态生成语义向量，有效表征了字的多义性。提高了中文命名实体识别的精度，且与基于语言模型微调的方法相比减少了训练参数，节省了训练时间。

附图说明

图1是本发明的基于BERT-BiGRU-CRF模型的中文命名实体识别方法的流程图示意图。

图2是本发明实施例的BERT-BiGRU-CRF模型示意图。

图3是本发明实施例的BERT预训练语言模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明的基于BERT-BiGRU-CRF模型的中文命名实体识别方法的流程示意图。包括以下步骤：

A、获取语言模型的训练语料数据并进行预处理；

B、根据步骤A预处理后的训练语料数据训练BERT(Bidirectional EncoderRepresentations from Transformers)语言模型；

C、获取命名实体识别模型的训练语料数据并进行标注，形成标注语料；

D、对步骤C得到的标注语料进行预处理；

E、根据步骤B得到的基于BERT的语言模型和步骤D预处理后的标注语料构建基于BERT-BiGRU-CRF的中文命名实体识别模型；

F、利用步骤E得到的基于BERT-BiGRU-CRF的中文命名实体识别模型对待识别数据进行处理，得到命名实体识别结果。

在本发明的一个可选实施例中，上述步骤A首先获取语言模型的训练语料数据，然后对语言模型的训练语料数据进行预处理，具体包括以下分步骤：

A1、将原始语料进行字符级切分；

A2、构建句子对正负样本，其中正样本表示句子对有上下文关系；负样本表示两个句子没有关系；

A3、对超过max_num_tokens的句子对进行截断；

A4、连接句子对，用[SEP]标签进行连接，句首置[CLS]标签,句末置[SEP]标签；

A5、随机遮住15％的单词；其中80％用masked token来代替，10％用随机的一个词来替换，10％保持这个词不变。

例如“我是在一个夕阳衔山的黄昏走进这座哨所的。失尽暖意的残阳把昆仑雪山抹成一片桔红。”这两句话经过预处理后为“[CLS]我是在一个夕阳衔山的黄[MASK]走进这座哨所的。[SEP]失尽暖意的残阳把昆仑雪山抹成一片桔红。[SEP]”,该例中[MASK]为随机遮住的字，该句子对有上下文关系，所以标签为TRUE。

在本发明的一个可选实施例中，上述步骤B根据步骤A预处理后的训练语料数据构建基于BERT(Bidirectional Encoder Representations from Transformers)的语言模型，如图2所示,为本实例中的BERT语言模型，包括Embedding层、双向Transformer编码器、输出层，其中

Embedding层是词嵌入，位置嵌入，类型嵌入之和，分别表示词信息，位置信息，句子对信息。其中位置编码计算方式如下：

双向Transformer编码器是多层编码单元的堆叠，每个编码单元包括自注意力模块，残差网络，层归一化结构，DropOut层。用于提取语义信息。整体计算过程如下；

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^o

head_i＝Attention(QW_i ^Q,KW_i ^k,VW_i ^V)

FFN＝max(0,xW₁+b₁)W₂+b₂

其中Attention是自注意力模块计算公式，Q，K，V均是输入字向量矩阵，dk为输入向量维度。其核心思想是去计算一句话中的每个词对于这句话中所有词的相互关系，然后认为这些词与词之间的相互关系在一定程度上反应了这句话中不同词之间的关联性以及重要程度。因此再利用这些相互关系来调整每个词的重要性(权重)就可以获得每个词新的表达。这个新的表征不但蕴含了该词本身，还蕴含了其他词与这个词的关系，因此和单纯的词向量相比是一个更加全局的表达。

其中MultiHead是Transformer编码器的多头机制，为了扩展模型专注于不同位置的能力，增大注意力单元的“表示子空间”。LN和FFN分别为层归一化和残差网络模块计算公式，用来解决深度学习中的退化问题

输出层输出[MASK]原词的概率和句子对之间是否为上下文关系标签

本发明还包括将步骤A5得到的训练语料变为定长，对长度不够的句子用[PAD]进行补齐，然后将定长语料输入BERT模型进行训练。具体训练过程为：

将数据及标签数据，[MASK]部分原字符输入到BERT语言模型中，然后采用SGD(梯度下降法)或其他优化方法训练BERT语言模型的模型参数，当模型产生的损失值满足设定要求或者达到最大迭代次数N时，则终止该模型的训练，保存模型参数。

在本发明的一个可选实施例中，上述步骤C中，对命名实体识别模型的训练语料数据进行标注具体为采用BIO的标记方式对命名实体识别模型的训练语料数据进行标注，形成标注语料。

如果一个字符单元是一个实体词的开始，则标记为(B-...)；如果一个字符单元是一个实体词的非开始字符，则标记为(I-...)；如果一个字符不属于实体词则标注为(O)。例如“彤彤出生在南通，现在在腾讯工作。”，其标注结果为：“彤B-PER、彤I-PER、出O、生O、在O、南B-LOC、通I-LOC、，O、现O、在O、在O、腾B-ORG、讯I-ORG、工O、作O。O”。

在本发明的一个可选实施例中，上述步骤D对步骤C得到标注语料进行预处理，具体包括以下分步骤：

D1、将原始语料进行字符级切分；

D2、句首置[CLS]标签,句末置[SEP]标签；对应标签也分别置为[CLS],[SEP]

例如“彤彤出生在南通，现在在腾讯工作。”预处理后的结果为：

“[CLS][CLS]、彤B-PER、彤I-PER、出O、生O、在O、南B-LOC、通I-LOC、，O、现O、在O、在O、腾B-ORG、讯I-ORG、工O、作O。[SEP][SEP]”

在本发明的一个可选实施例中，上述步骤E根据步骤B得到的基于BERT的语言模型和步骤D预处理后的标注语料构建基于BERT-BiGRU-CRF的中文命名实体识别模型。模型如图3所示：

其中BERT模块与步骤B中一致，参数为步骤B中预训练所得。GRU(Gated recurrentunits)单元是特殊的循环神经网络单元，循环神经网络计算如下:

z_t＝σ(W_i*[h_t-1,x_t])

r_t＝σ(W_r*[h_t-1,x_t])

其中σ是sigmoid函数，·是点积。x_t为时刻t的输入向量，h_t是隐藏状态，也是输出向量，包含前面t时刻所有有效信息。z_t是一个更新门，控制信息流入下一个时刻；r_t是一个重置门，控制信息丢失；二者共同决定隐藏状态的输出。

CRF层能通过考虑标签之间的相邻关系获得全局最优标签序列，计算过程如下：

P_i＝W_sh^(t)+b_s

其中s表示评估分数，W是转换矩阵，W_yi-1表示标签转移分数，P_i,yi表示该字符的第y_i个标签的分数。根据评估分数计算序列x到标签y的概率为：

训练损失函数为：

本发明训练基于BERT-BiGRU-CRF的中文命名实体识别模型的模型参数时，将步骤D2中得到的数据和标签作为模型的输入，然后采用SGD(梯度下降法)或其他优化方法训练该模型的参数，训练中只更新BiGRU层和CRF层的参数，保持BERT参数不变，当模型产生的损失值满足设定要求或者达到最大迭代次数N时，则终止该模型的训练。

在本发明的一个可选实施例中，上述步骤F利用步骤E得到的基于BERT-BiGRU-CRF的中文命名实体识别模型对待识别数据进行处理，得到命名实体识别结果，具体为：

按照步骤D中方式只对原句进行预处理，将预处理输入到基于BERT-BiGRU-CRF的中文命名实体识别模型中，并采用维特比算法求出每句话最大可能的标注序列，将其作为命名实体识别结果。

本发明构建了BERT-BiGRU-CRF中文命名实体识别模型，通过BERT预训练语言模型增强字的语义表示，根据字的上下文动态生成语义向量，有效表征了字的多义性。提高了中文命名实体识别的精度，且与基于语言模型微调的方法相比减少了训练参数，节省了训练时间。

本发明能够更精确的对文本中的命名实体进行标注，为一些下游工作，比如：知识图谱、问答***、信息检索、机器翻译等，提供了一个良好的基础；同时既减少了许多数据标注的人力，又具备了较高的精确度。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于BERT-BiGRU-CRF的中文命名实体识别方法，其特征在于，包括以下步骤：

步骤A、获取语言模型的训练语料数据并进行预处理，具体包括以下分步骤：

A1、将原始语料进行字符级切分；

A2、构建句子对正负样本，其中正样本表示句子对有上下文关系；负样本表示两个句子没有关系；

A3、对超过max_num_tokens的句子对进行截断；

A4、连接句子对，用[SEP]标签进行连接，句首置[CLS]标签,句末置[SEP]标签；

A5、随机遮住15％的单词；其中80％用masked token来代替，10％用随机的一个词来替换，10％保持这个词不变；

步骤B、根据步骤A预处理后的训练语料数据训练BERT语言模型包括Embedding层、双向Transformer编码器、输出层；

步骤C、获取命名实体识别模型的训练语料数据并进行标注，形成标注语料，

具体是对中文命名实体识别语料进行标注，采用BIO标注模式，其中B表示实体开始，I表示实体非开始部分，O表示不是实体的部分；

步骤D、对步骤C得到的标注语料进行预处理，具体包括以下分步骤：

D1、将原始语料进行字符级切分；

D2、句首置[CLS]标签,句末置[SEP]标签；对应标签也分别置为[CLS],[SEP]步骤E、根据步骤B得到的基于BERT的语言模型和步骤D预处理后的标注语料构建基于BERT-BiGRU-CRF的中文命名实体识别模型；

步骤F、利用步骤E得到的基于BERT-BiGRU-CRF的中文命名实体识别模型对待识别数据进行处理，得到命名实体识别结果。

2.如权利要求1所述的基于BERT-BiGRU-CRF的命名实体识别方法，其特征在于，所述步骤B还包括将步骤A5得到的训练语料变为定长，对长度不够的句子用[PAD]进行补齐，将定长语料输入BERT模型进行训练。

3.如权利要求2所述的基于BERT-BiGRU-CRF的命名实体识别方法，其特征在于，所述步骤E中BERT-BiGRU-CRF模型包括步骤B中训练好的BERT语言模型，通过BERT编码步骤D中预处理好的命名实体识别语料，输出每个字的上下文表示，然后将字向量序列输入BiGRU-CRF中进行训练。

4.如权利要求3所述的基于BERT-BiGRU-CRF的命名实体识别方法，其特征在于，所述步骤F利用步骤E得到的BERT-BiGRU-CRF模型对待识别数据进行处理，得到命名实体识别结果，具体为：

按照步骤D中的方式对待识别数据进行预处理，通过BERT-BiGRU-CRF预测实体标签，最后采用维特比算法求出每句话最大可能的标注序列，将其作为命名实体识别结果。