CN110750992B - 命名实体识别方法、装置、电子设备及介质 - Google Patents

命名实体识别方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN110750992B
CN110750992B CN201910952910.2A CN201910952910A CN110750992B CN 110750992 B CN110750992 B CN 110750992B CN 201910952910 A CN201910952910 A CN 201910952910A CN 110750992 B CN110750992 B CN 110750992B
Authority
CN
China
Prior art keywords
identified
data
feature data
neural network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910952910.2A
Other languages
English (en)
Other versions
CN110750992A (zh
Inventor
杨志伟
朴海音
詹光
陈贺昌
常毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910952910.2A priority Critical patent/CN110750992B/zh
Publication of CN110750992A publication Critical patent/CN110750992A/zh
Application granted granted Critical
Publication of CN110750992B publication Critical patent/CN110750992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种命名实体识别方法、装置、电子设备及介质。其中，本申请中，在获取待识别数据之后，可以基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；利用多个神经网络模型和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；对所述待识别特征数据进行序列标注，得到实体识别结果。通过应用本申请的技术方案，可以相对于现有技术来说，融合广度学习和注意力机制进行命名实体识别，进而可以达到提高识别准确率的效果。

Description

命名实体识别方法、装置、电子设备及介质
技术领域
本申请中涉及数据处理技术，尤其是一种命名实体识别方法、装置、电子设备及介质。
背景技术
知识是人类认识的成果，它蕴含于数据之中。在互联网时代，人类在与自然界和社会交互过程中产生了大规模的数据，如何从中挖掘有价值的知识，向用户提供精准知识服务，是构建智能信息服务***的重难点。随着人工智能的迅猛发展，Google于2012年正式提出的知识图谱(Knowledge Graph)极大推动了语义网、自然语言处理等的发展，成为知识驱动的智能应用的基础，有利于提供更精准高效的信息服务。
随着自然语言处理技术的发展，命名实体识别可用于从大量文献提取某类实体。目前，命名实体识别方法主要包括基于词典、基于规则、基于统计学模型、基于深度学习等四种策略。基于词典和规则的识别方法通常需要人工制定词典以及规则，通过总结实体本身具有的规则和其上下文语境规则来将实体提取出来，但由于实体识别的过程中没有标准词库，需要自己构建，因此该方法难以实现自动化识别、且效果往往较差。基于统计学模型的识别方法包括HMM、MEMM和CRF等机器学习模型，这类识别方法适用于对反复出现的实体进行识别，常被用于从文本中提取人名、地名等短语结构，但该种方法并不完全适合于所有的实体识别任务。
发明内容
本发明的实施例提供一种命名实体识别方法、装置、电子设备及介质。
其中，根据本申请实施例的一个方面，提供的一种命名实体识别方法，其特征在于，包括：
获取待识别数据；
基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；
利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；
对所述待识别特征数据进行序列标注，得到实体识别结果。
可选地，在基于本申请上述方法的另一个实施例中，在所述利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据之后，还包括：
基于调整参数，确定所述各待识别特征数据的权重参数；
基于所述待识别特征数据的权重参数，对各个待识别特征数据进行广度特征融合。
可选地，在基于本申请上述方法的另一个实施例中，所述对所述待识别特征数据进行序列标注，得到实体识别结果，包括：
对所述待识别特征数据进行标签标注；
基于BIOES标注模式，对所述待识别特征数据中的每个数据进行分类；
基于所述标签标注以及所述待识别特征数据中的类别，对所述待识别特征数据进行序列标注，得到所述实体识别结果。
可选地，在基于本申请上述方法的另一个实施例中，所述不同级别的待识别特征数据，至少包括以下任意一种：
全局字符特征、全局词特征、局部字符特征、局部词特征。
可选地，在基于本申请上述方法的另一个实施例中，在所述利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据之前，还包括：
获取样本数据，其中，所述样本数据包括至少一个实体命名特征；
利用所述样本数据对预设的卷积神经网络模型进行训练，得到满足预设条件的所述融合广度注意力的神经网络。
根据本申请实施例的另一个方面，提供的一种命名实体识别装置，包括：
获取模块，被配置为获取待识别数据；
转换模块，被配置为基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；
提取模块，被配置为利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；
生成模块，被配置为对所述待识别特征数据进行序列标注，得到实体识别结果。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及，
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述命名实体识别方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述命名实体识别方法的操作。
本申请中，在获取待识别数据之后，可以基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；利用多个神经网络模型和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；对所述待识别特征数据进行序列标注，得到实体识别结果。通过应用本申请的技术方案，可以相对于现有技术来说，融合广度学习和注意力机制进行命名实体识别，进而可以达到提高识别准确率的效果。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请命名实体识别方法的***架构示意图；
图2为本申请命名实体识别装置的结构示意图；
图3为本申请显示电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
需要说明，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本申请中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本申请中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
下面结合图1至图2来描述根据本申请示例性实施方式的用于进行命名实体识别方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种命名实体识别方法、装置、目标终端及介质。
图1示出了根据本申请实施方式的一种命名实体识别方法的流程示意图。
如图1所示，该方法包括：
S101，获取待识别数据。
首先需要说明的是，本申请中，不对获取待识别数据的设备做具体限定，例如，本申请可以由智能设备获取待识别数据，也可以由服务器获取待识别数据。另外，本申请中，不对智能设备做具体限定，即智能设备可以为任意的智能设备，例如，手机，电子笔记本，PDA等等。
另外，本申请不对待识别数据做具体限定，即待识别数据可以为任意的自然语言文本。本申请可以基于该待识别数据，去进行命名识别结果的判定。具体来说，命名实体识别又称作专名识别，是自然语言处理中的一项基础任务，应用范围广泛。命名实体识别任务是识别句子中出现的实体，其中，命名实体一般指的是文本中具有特定意义的实体，例如人名，地名，机构名等。
S102，基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量。
进一步的，将输入序列转换成向量的一种方案是通过one-hot编码，是最原始的用来表示字符和词的方式。为了简单，我们以词为例，字符也是类似。例如词表为“Bill、lives、in、New、York”这五个单词，one-hot就是给这五个词分别做0-1编码，具体如表1所示：
Figure BDA0002226344700000061
很明显，在处理较长输入序列时，传统的one-hot编码过于稀疏，过度占用资源。同时，由于其各维度之间彼此独立，无法获得语义信息。
为了克服one-hot编码的语义确实问题，我们通过引入嵌入表示层，通过将原始的输入空间映射到维度更小的另一个空间，这不仅能获得词的语义特征，不再是孤立的个体，还能降低训练所需要的数据量。因此，这里通过随机初始化字符嵌入和预训练词嵌入能更好地捕捉语义和句法特征。然而嵌入表示不限于这两种方式，结合更多不同的嵌入表示方式能提供更多的特征源，理论上能得到更好的实体识别效果。
进一步需要说明的是，本申请也可以利用其他预训练好的词向量，建立词语到词向量编号的映射字典，将文本中各个词语映射为相应的词语编号。建立词向量矩阵，每一行行号对应相应的词语编号，每一行代表一个词向量。假设中文词语共有N个，那么词向量矩阵可以表示为一个N*d的矩阵，其中d表示词向量的维度，每一个词语都可以用一个d维的向量进行表示，即ei。拼接词向量得到句子表示。对于输入文本，假设该句话中一共有n个词语，每一个词语都由一个d维的向量表示，将该句中的所有词语的词向量拼接，可以得到编码器的输入矩阵，输入矩阵可以表示为x。
在词嵌入向量技术出现之前，卷积神经网络也是可以使用单词的one-hot编码形式作为输入的，但是one-hot编码只是表示单词在词汇表中的位置，不具有实际意义，最重要的是不能表示单词和单词之间的联系。而词嵌入向量是把每个单词映射到高维空间里的一个点，不同的单词位于不同的位置，意思接近的单词在位置上也会更靠近。
S103，利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据。
可选的，本申请中从输入序列中学习到更多的特征，能在一定程度上能辅助提高命名实体识别的准确率和召回率。相同的输入序列从不同的角度能够自动学到不同级别的特征，多层级特征提取的各个模块针对不同的提取目标分别组合注意力机制、卷积神经网络和长短时记忆网络等，但不限于以上提及的技术，任何能够捕获全局或者局部上的某一方面特征的方法，都可以作为一种提取模块。这里突出表现为利用注意力机制作为宏观权重调整，其他方法提取具体特征，或者直接利用卷积神经网络的有限视野作为当前特征的重点关注，忽略视野外的其他信息。以上通过广度注意力机制充分挖掘不同层级的特征，能在很大的程度上提高了单个特征提取模块的性能。此外，可以通过残差网络防止随着网络加深，准确率下降的问题。
具体来说，本申请可以设置输出的词向量维度大小以及需要训练词语的最小出现次数，将产生的词向量保存到文本与中文词汇形成一一对应的形式，在后续神经网络训练时可对句子中词语的词向量进行查找。
进一步的，将数据整理成每行一个词语，每行词语与词向量一一对应，词语所属实体类别为输出标签，标签采用one-hot编码，将该数据作为卷积神经网络的训练数据，例如形式如下：T＝{(x1,y1),(x2,y2),...,(xn,yn)}；x代表需要进行实体标注的词语序列，y代表的是输入词语序列对应的实体类别标签，识别的类型包括人名、地名、机构名。
卷积深度神经网络由输入层、隐藏层、输出层构成，随机初始化神经网络权值，计算输出，通过反向传播算法和Adam优化迭代器，循环学习，得到最优权值参数，即卷积神经网络模型。
S104，对所述待识别特征数据进行序列标注，得到实体识别结果。
进一步的，命名实体识别通常可以转化为序列标注问题，本申请的序列标注是指给定一个输入序列：X＝[x1,x2,...,xn]，对每个元素打上标签集合中的某个标签：Y＝[y1,y2,...,yn]。其中，往往采用BIOES方案进行标注,即标签集合Set＝[B,I,E,O,S]，B表示起始，I表示中间，E表示结束，O表示其它，S表示单个实体。例如，New York表示一个地点实体，可以标注为New/[B-LOC]York/[E-LOC]。所以，本质上是对输入序列中的每个元素根据上下文进行分类，而命名实体识别的过程就是识别实体的边界和类别。该模块利用双向的长短时记忆网络提取过去和将来的信息，解决了长期依赖问题。同时，为了避免误标注，利用条件随机场将邻近的标注作为约束条件，例如标签I-LOC后面是不可能紧跟着B-LOC的(Softmax不会利用到这个信息)，最终得到高质量的序列预测结果。
本申请提出一种融合广度注意力机制的命名实体识别方法，具体包括以下步骤：基于广度学习的思想，更多的嵌入表达方式能捕获更多样的特征。首先通过嵌入表示输入序列，包括预训练词嵌入，随机初始化字符嵌入等嵌入表示方式。在此基础上，通过多层级特征提取模块捕获不同级别的特征，包含全局的字符特征(featureCG)和词特征(featureWG)，局部的字符特征(featureCL)和词特征(featureWL)。其中，特征提取模块针对不同的提取目标分别组合注意力机制、卷积神经网络和长短时记忆网络等。随后，可通过权重自适应进行特征融合，并通过融合长短时记忆网络和条件随机场的序列标注模块得到最终预测结果。
本申请中，在获取待识别数据之后，可以基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；对所述待识别特征数据进行序列标注，得到实体识别结果。通过应用本申请的技术方案，可以相对于现有技术来说，融合广度学习和注意力机制进行命名实体识别。进而可以达到提高识别准确率的效果。
基于调整参数，确定所述各待识别特征数据的权重参数；
基于所述待识别特征数据的权重参数，对各个待识别特征数据进行广度特征融合。
可选的，本申请还可以对所述待识别特征数据进行标签标注；
基于BIOES标注模式，对所述待识别特征数据中的每个数据进行分类；
基于所述标签标注以及所述待识别特征数据中的类别，对所述待识别特征数据进行序列标注，得到所述实体识别结果。
进一步的，本申请中所述不同级别的待识别特征数据，至少包括以下任意一种：
全局字符特征、全局词特征、局部字符特征、局部词特征。
另外，本申请在利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据之前，还可以实施下述步骤：
获取样本数据，其中，所述样本数据包括至少一个实体命名特征；
利用所述样本数据对预设的卷积神经网络模型进行训练，得到满足预设条件的所述融合广度注意力的神经网络。
进一步的，本申请可以通过神经网络数据分类模型，来识别样本数据所包括的至少一个对象的样本特征(例如可以为人名特征，地名特征，连接词特征等等)。更进一步而言，神经网络数据分类模型还可以对样本数据中的各个样本特征进行分类，并且将属于同一类别的样本特征分为同一类型，这样，样本数据进行语义分割之后所得到的多个样本特征可以为多个不同类型所组成的样本特征。
需要说明的是，神经网络数据分类模型对样本数据进行语义分割处理时，对样本数据中的像素点分类越准确，则识别样本数据中的标记对象的准确率越高。其中需要说明的是，预设条件可以是自定义设定的。
例如，可以设定预设条件为：对特征类别的分类准确率达到70％以上，那么，样本数据对神经网络数据分类模型进行反复训练，在神经网络数据分类模型对特征类别的分类准确率达到70％以上时，则此时该神经网络数据分类模型可以应用在本申请实施例中，对关键特征数据进行语义分割处理。
可选的，对于所使用的神经网络数据分类模型，一种实施方式中，可以通过样本数据对神经网络数据分类模型进行训练。具体地，可以获取样本数据，并利用样本数据对预设的神经网络数据分类模型进行训练，得到满足预设条件的神经网络数据分类模型。
在本申请的另外一种实施方式中，如图2所示，本申请还提供一种命名实体识别装置，该装置包括获取模块201，转换模块202，提取模块203，生成模块204，其中：
获取模块201，被配置为获取待识别数据；
转换模块202，被配置为基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；
提取模块203，被配置为利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；
生成模块204，被配置为对所述待识别特征数据进行序列标注，得到实体识别结果。
本申请中，在获取待识别数据之后，可以基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；对所述待识别特征数据进行序列标注，得到实体识别结果。通过应用本申请的技术方案，可以相对于现有技术来说，融合广度学习和注意力机制进行命名实体识别。进而可以达到提高识别准确率的效果。
可选的，在本申请的另一种实施方式中，还包括，提取模块203，其中：
提取模块203，被配置为基于调整参数，确定所述各待识别特征数据的权重参数；
提取模块203，被配置基于所述待识别特征数据的权重参数，对各个待识别特征数据进行广度特征融合。
可选的，在本申请的另一种实施方式中，生成模块204，还包括：
生成模块204，被配置为对所述待识别特征数据进行标签标注；
生成模块204，被配置为基于BIOES标注模式，对所述待识别特征数据中的每个数据进行分类；
生成模块204，被配置为基于所述标签标注以及所述待识别特征数据中的类别，对所述待识别特征数据进行序列标注，得到所述实体识别结果。
可选的，在本申请的另一种实施方式中，生成模块204，还包括：
生成模块204，被配置为获取样本数据，其中，所述样本数据包括至少一个实体命名特征；
生成模块204，被配置为利用所述样本数据对预设的卷积神经网络模型进行训练，得到满足预设条件的所述融合广度注意力的神经网络。
可选的，在本申请的另一种实施方式中，所述不同级别的待识别特征数据，至少包括以下任意一种：
全局字符特征、全局词特征、局部字符特征、局部词特征。
图3是一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图3，电子设备300可以包括以下一个或多个组件：处理器301和存储器302。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的互动特效标定方法。
在一些实施例中，电子设备300还可选包括有：***设备接口303和至少一个***设备。处理器301、存储器302和***设备接口303之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口303相连。具体地，***设备包括：射频电路304、触摸显示屏305、摄像头306、音频电路307、定位组件308和电源309中的至少一种。
***设备接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和***设备接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和***设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，设置电子设备300的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备300的不同表面或呈折叠设计；在一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备300的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地，摄像头组件306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器301进行处理，或者输入至射频电路304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路307还可以包括耳机插孔。
定位组件308用于定位电子设备300的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源309用于为电子设备300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备300还包括有一个或多个传感器310。该一个或多个传感器310包括但不限于：加速度传感器311、陀螺仪传感器312、压力传感器313、指纹传感器314、光学传感器315以及接近传感器316。
加速度传感器311可以检测以电子设备300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器311可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器311采集的重力加速度信号，控制触摸显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器312可以检测电子设备300的机体方向及转动角度，陀螺仪传感器312可以与加速度传感器311协同采集用户对电子设备300的3D动作。处理器301根据陀螺仪传感器312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器313可以设置在电子设备300的侧边框和/或触摸显示屏305的下层。当压力传感器313设置在电子设备300的侧边框时，可以检测用户对电子设备300的握持信号，由处理器301根据压力传感器313采集的握持信号进行左右手识别或快捷操作。当压力传感器313设置在触摸显示屏305的下层时，由处理器301根据用户对触摸显示屏305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器314用于采集用户的指纹，由处理器301根据指纹传感器314采集到的指纹识别用户的身份，或者，由指纹传感器314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器314可以被设置电子设备300的正面、背面或侧面。当电子设备300上设置有物理按键或厂商Logo时，指纹传感器314可以与物理按键或厂商Logo集成在一起。
光学传感器315用于采集环境光强度。在一个实施例中，处理器301可以根据光学传感器315采集的环境光强度，控制触摸显示屏305的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏305的显示亮度；当环境光强度较低时，调低触摸显示屏305的显示亮度。在另一个实施例中，处理器301还可以根据光学传感器315采集的环境光强度，动态调整摄像头组件306的拍摄参数。
接近传感器316，也称距离传感器，通常设置在电子设备300的前面板。接近传感器316用于采集用户与电子设备300的正面之间的距离。在一个实施例中，当接近传感器316检测到用户与电子设备300的正面之间的距离逐渐变小时，由处理器301控制触摸显示屏305从亮屏状态切换为息屏状态；当接近传感器316检测到用户与电子设备300的正面之间的距离逐渐变大时，由处理器301控制触摸显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图3中示出的结构并不构成对电子设备300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器304，上述指令可由电子设备300的处理器320执行以完成上述命名实体识别方法，该方法包括：获取待识别数据；基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；对所述待识别特征数据进行序列标注，得到实体识别结果。可选地，上述指令还可以由电子设备300的处理器320执行以完成上述示例性实施例中所涉及的其他步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备300的处理器320执行，以完成上述命名实体识别方法，该方法包括：获取待识别数据；基于预训练的词嵌入向量矩阵，将所述待识别数据转换为词嵌入向量；利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据；对所述待识别特征数据进行序列标注，得到实体识别结果。可选地，上述指令还可以由电子设备300的处理器320执行以完成上述示例性实施例中所涉及的其他步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (6)

1.一种命名实体识别方法，其特征在于，包括：
获取待识别数据；
基于预训练的词嵌入向量矩阵和随机初始化的字符嵌入向量，将所述待识别数据转换为词嵌入向量和字符嵌入向量；
利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量和所述字符嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据，其中，所述不同级别的待识别特征数据，至少包括以下任意一种：全局字符特征、全局词特征、局部字符特征、局部词特征；
对所述待识别特征数据进行序列标注，得到实体识别结果；
所述对所述待识别特征数据进行序列标注，得到实体识别结果，包括：
对所述待识别特征数据进行标签标注；
基于BIOES标注模式，对所述待识别特征数据中的每个数据进行分类，并利用条件随机场将邻近的标注作为约束条件；
基于所述标签标注以及所述待识别特征数据中的类别，对所述待识别特征数据进行序列标注，得到所述实体识别结果；
所述对所述待识别特征数据进行序列标注，得到实体识别结果，包括：
通过自适应权重对所述不同级别的待识别特征数据进行融合，得到融合后的待识别特征数据；
对长短时记忆网络和条件随机场的序列标注模块进行融合，得到目标模型；
将所述融合后的待识别特征数据输入至所述目标模型中，得到所述实体识别结果。
2.如权利要求1所述的方法，其特征在于，在所述利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量和所述字符嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据之后，还包括：
基于调整参数，确定所述各待识别特征数据的权重参数；
基于所述待识别特征数据的权重参数，对各个待识别特征数据进行广度特征融合。
3.如权利要求1所述的方法，其特征在于，在所述利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量和所述字符嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据之前，还包括：
获取样本数据，其中，所述样本数据包括至少一个实体命名特征；
利用所述样本数据对预设的神经网络模型进行训练，得到满足预设条件的融合广度注意力的神经网络。
4.一种命名实体识别装置，其特征在于，包括：
获取模块，被配置为获取待识别数据；
转换模块，被配置为基于预训练的词嵌入向量矩阵和随机初始化的字符嵌入向量，将所述待识别数据转换为词嵌入向量和字符嵌入向量；
提取模块，被配置为利用卷积神经网络、递归神经网络和注意力机制，对所述词嵌入向量和所述字符嵌入向量进行多层级特征提取，得到不同级别的待识别特征数据，其中，所述不同级别的待识别特征数据，至少包括以下任意一种：全局字符特征、全局词特征、局部字符特征、局部词特征；
生成模块，被配置为对所述待识别特征数据进行序列标注，得到实体识别结果；
所述生成模块还被配置为：对所述待识别特征数据进行标签标注；基于BIOES标注模式，对所述待识别特征数据中的每个数据进行分类，并利用条件随机场将邻近的标注作为约束条件；基于所述标签标注以及所述待识别特征数据中的类别，对所述待识别特征数据进行序列标注，得到所述实体识别结果；
所述生成模块还被配置为：
通过自适应权重对所述不同级别的待识别特征数据进行融合，得到融合后的待识别特征数据；
对长短时记忆网络和条件随机场的序列标注模块进行融合，得到目标模型；
将所述融合后的待识别特征数据输入至所述目标模型中，得到所述实体识别结果。
5.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
显示器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-3中任一所述命名实体识别方法的操作。
6.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-3中任一所述命名实体识别方法的操作。
CN201910952910.2A 2019-10-09 2019-10-09 命名实体识别方法、装置、电子设备及介质 Active CN110750992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910952910.2A CN110750992B (zh) 2019-10-09 2019-10-09 命名实体识别方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910952910.2A CN110750992B (zh) 2019-10-09 2019-10-09 命名实体识别方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN110750992A CN110750992A (zh) 2020-02-04
CN110750992B true CN110750992B (zh) 2023-07-04

Family

ID=69277777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910952910.2A Active CN110750992B (zh) 2019-10-09 2019-10-09 命名实体识别方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN110750992B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666418B (zh) * 2020-04-23 2024-01-16 北京三快在线科技有限公司 文本重生成方法、装置、电子设备和计算机可读介质
CN113807094B (zh) * 2020-06-11 2024-03-19 株式会社理光 实体识别方法、装置及计算机可读存储介质
CN111914097A (zh) * 2020-07-13 2020-11-10 吉林大学 基于注意力机制和多层级特征融合的实体抽取方法与装置
CN112185572B (zh) * 2020-09-25 2024-03-01 志诺维思（北京）基因科技有限公司 一种肿瘤专病数据库构建***、方法、电子设备和介质
CN112270179B (zh) * 2020-10-15 2021-11-09 和美（深圳）信息技术股份有限公司 一种实体识别方法、装置及电子设备
CN113761923A (zh) * 2020-10-26 2021-12-07 北京沃东天骏信息技术有限公司 命名实体识别方法、装置、电子设备及存储介质
CN112541356B (zh) * 2020-12-21 2022-12-06 山东师范大学 一种生物医学命名实体识别的方法和***
CN114330345B (zh) * 2021-12-24 2023-01-17 北京百度网讯科技有限公司 命名实体识别方法、训练方法、装置、电子设备及介质
CN117407835B (zh) * 2023-12-15 2024-03-12 四川易利数字城市科技有限公司 一种数据要素需求挖掘方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628823A (zh) * 2018-03-14 2018-10-09 中山大学 结合注意力机制和多任务协同训练的命名实体识别方法
CN109871535A (zh) * 2019-01-16 2019-06-11 四川大学 一种基于深度神经网络的法语命名实体识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN107168955B (zh) * 2017-05-23 2019-06-04 南京大学 利用基于词上下文的字嵌入与神经网络的中文分词方法
CN107203511B (zh) * 2017-05-27 2020-07-17 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法
CN108460013B (zh) * 2018-01-30 2021-08-20 大连理工大学 一种基于细粒度词表示模型的序列标注模型及方法
CN108536679B (zh) * 2018-04-13 2022-05-20 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN109101481B (zh) * 2018-06-25 2022-07-22 北京奇艺世纪科技有限公司 一种命名实体识别方法、装置及电子设备
CN109145303B (zh) * 2018-09-06 2023-04-18 腾讯科技（深圳）有限公司 命名实体识别方法、装置、介质以及设备
CN109284400B (zh) * 2018-11-28 2020-10-23 电子科技大学 一种基于Lattice LSTM和语言模型的命名实体识别方法
CN109885825A (zh) * 2019-01-07 2019-06-14 平安科技（深圳）有限公司 基于注意力机制的命名实体识别方法、装置和计算机设备
CN110032739B (zh) * 2019-04-18 2021-07-13 清华大学 中文电子病历命名实体抽取方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628823A (zh) * 2018-03-14 2018-10-09 中山大学 结合注意力机制和多任务协同训练的命名实体识别方法
CN109871535A (zh) * 2019-01-16 2019-06-11 四川大学 一种基于深度神经网络的法语命名实体识别方法

Also Published As

Publication number Publication date
CN110750992A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN110750992B (zh) 命名实体识别方法、装置、电子设备及介质
CN110110145B (zh) 描述文本生成方法及装置
CN110852100B (zh) 关键词提取方法、装置、电子设备及介质
CN110147533B (zh) 编码方法、装置、设备及存储介质
CN111985240A (zh) 命名实体识别模型的训练方法、命名实体识别方法及装置
CN110162604B (zh) 语句生成方法、装置、设备及存储介质
CN110147532B (zh) 编码方法、装置、设备及存储介质
CN111739517B (zh) 语音识别方法、装置、计算机设备及介质
CN111324699A (zh) 语义匹配的方法、装置、电子设备及存储介质
CN113516143A (zh) 文本图像匹配方法、装置、计算机设备及存储介质
CN111209377A (zh) 基于深度学习的文本处理方法、装置、设备及介质
CN114281956A (zh) 文本处理方法、装置、计算机设备及存储介质
CN113836946B (zh) 训练评分模型的方法、装置、终端及存储介质
CN110378318B (zh) 文字识别方法、装置、计算机设备及存储介质
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN110990549B (zh) 获取答案的方法、装置、电子设备及存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN114691860A (zh) 文本分类模型的训练方法、装置、电子设备及存储介质
CN112287070A (zh) 词语的上下位关系确定方法、装置、计算机设备及介质
CN112925922A (zh) 获取地址的方法、装置、电子设备及介质
CN110837557A (zh) 摘要生成方法、装置、设备及介质
CN112988984B (zh) 特征获取方法、装置、计算机设备及存储介质
CN113032560B (zh) 语句分类模型训练方法、语句处理方法及设备
CN114925667A (zh) 内容分类方法、装置、设备及计算机可读存储介质
CN110096707B (zh) 生成自然语言的方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant