CN107797992A - 命名实体识别方法及装置 - Google Patents

命名实体识别方法及装置 Download PDF

Info

Publication number
CN107797992A
CN107797992A CN201711102742.5A CN201711102742A CN107797992A CN 107797992 A CN107797992 A CN 107797992A CN 201711102742 A CN201711102742 A CN 201711102742A CN 107797992 A CN107797992 A CN 107797992A
Authority
CN
China
Prior art keywords
character
vector
list entries
sequence
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711102742.5A
Other languages
English (en)
Inventor
苏海波
刘钰
刘译璟
杨哲铭
张康利
宋青原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baifendian Information Science & Technology Co Ltd
Original Assignee
Beijing Baifendian Information Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baifendian Information Science & Technology Co Ltd filed Critical Beijing Baifendian Information Science & Technology Co Ltd
Priority to CN201711102742.5A priority Critical patent/CN107797992A/zh
Publication of CN107797992A publication Critical patent/CN107797992A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Character Discrimination (AREA)

Abstract

本申请实施例提供一种命名实体识别方法及装置，该方法包括：获取输入序列；对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。由于字符能够表征更细粒度的特征、且字符数量远小于词语的数量，神经网络算法能够考虑到输入序列中各字符的上下文信息，以及条件随机场能够避免标记偏置问题，因此，本申请技术方案通过将字符向量化、神经网络算法及条件随机场这三者进行结合的方式，来实现命名实体识别，可以达到较好的识别效果。

Description

命名实体识别方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及命名实体识别方法及装置。
背景技术
自然语言处理(Natural Language Processing，NLP)是计算机科学、人工智能、语言学所关注的计算机和人类语言之间相互作用的领域，是计算机科学领域与人工智能领域中的一个重要方向。NLP研究范畴涵盖能够实现人与计算机之间用自然语言进行有效通信的各种理论和方法，涉及到的领域包括自然语义理解、检索、信息抽取、机器翻译、自动问答***等。
作为NLP中的一项基本任务，命名实体识别(Named Entity Recognition，NER)是指从文本中识别出具有特定类别的实体例如人名、地名、机构名、专有名词等的技术。NER是信息检索、查询分类、问答***、句法分析、机器翻译等应用领域的重要基础工具，其识别效果直接影响前述应用领域的后续处理效果。因此，提供一种识别效果较好的命名识别技术，已成为本领域技术人员亟待解决的技术问题。
发明内容
本申请实施例的目的是提供一种命名实体识别方法及装置，以达到较好的命名实体识别效果。
为达到上述技术目的，本申请实施例是这样实现的：
根据本申请实施例的第一方面，提供一种命名实体识别方法，所述方法包括：
获取输入序列；
对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
在本申请的一个实施例中，所述使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列，包括：
使用双向长短期记忆神经网络处理所述字符向量序列，得到所述输入序列的文本特征序列。
在本申请的一个实施例中，所述对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列，包括：
获取字符-向量映射字典，其中，所述字符-向量映射字典中记录有字符与向量的对应关系；
从所述字符-向量映射字典中查找所述输入序列中的字符所对应的向量；
使用注意力机制处理所述输入序列中的字符所对应的向量，得到各向量对应的权重值；
将所述输入序列中的字符所对应的向量与该向量对应的权重值进行点乘运算，得到所述输入序列对应的字符向量序列。
在本申请的一个实施例中，所述字符-向量映射字典的生成过程，包括：
获取训练语料；
以字符为单位，对所述训练语料进行拆分，得到拆分结果；
对所述拆分结果进行下述至少一项预处理：过滤垃圾字符、过滤停用字符、过滤低频字符和过滤无意义符号，得到预处理结果；
使用word2vec算法训练所述预处理结果，得到获取字符-向量映射字典。
在本申请的一个实施例中，所述使用word2vec算法训练所述预处理结果，得到获取字符-向量映射字典，包括：
利用skip-gram模型训练所述预处理结果，得到获取字符-向量映射字典。
根据本申请实施例的第二方面，提供一种命名实体识别装置，所述装置包括：
获取单元，用于获取输入序列；
第一处理单元，用于对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
第二处理单元，用于使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
第三处理单元，用于使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
在本申请的一个实施例中，所述第二处理单元，包括：
字符向量序列处理子单元，用于使用双向长短期记忆神经网络处理所述字符向量序列，得到所述输入序列的文本特征序列。
在本申请的一个实施例中，所述第一处理单元，包括：
映射字典获取子单元，用于获取字符-向量映射字典，其中，所述字符-向量映射字典中记录有字符与向量的对应关系；
查找子单元，用于从所述字符-向量映射字典中查找所述输入序列中的字符所对应的向量；
注意力机制处理子单元，用于使用注意力机制处理所述输入序列中的字符所对应的向量，得到各向量对应的权重值；
字符向量序列获得子单元，用于将所述输入序列中的字符所对应的向量与该向量对应的权重值进行点乘运算，得到所述输入序列对应的字符向量序列。
在本申请的一个实施例中，所述装置还包括：映射字典生成单元；
所述映射字典生成单元，包括：
训练语料获取子单元，用于获取训练语料；
字符拆分子单元，用于以字符为单位，对所述训练语料进行拆分，得到拆分结果；
预处理子单元，用于对所述拆分结果进行下述至少一项预处理：过滤垃圾字符、过滤停用字符、过滤低频字符和过滤无意义符号，得到预处理结果；
映射字典训练子单元，用于使用word2vec算法训练所述预处理结果，得到获取字符-向量映射字典。
在本申请的一个实施例中，所述映射字典训练子单元，具体用于：
利用skip-gram模型训练所述预处理结果，得到获取字符-向量映射字典。
根据本申请实施例的第三方面，提供一种电子设备，包括：处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取输入序列；
对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
根据本申请实施例的第四方面，提供一种计算机存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取输入序列；
对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
由以上本申请实施例提供的技术方案可见，本申请实施例可以将待识别的输入序列中的每个字符转换为对应的向量，使用神经网络算法处理每个字符对应的向量，来提取待识别的输入序列的文本特征序列，最后使用条件随机场处理文本特征序列，得到待识别的输入序列对应的命名实体识别结果。由于字符能够表征更细粒度的特征、且字符数量远小于词语的数量，神经网络算法能够考虑到输入序列中各字符的上下文信息，以及条件随机场能够避免标记偏置问题，因此，本申请实施例通过将字符向量化、神经网络算法及条件随机场这三者进行结合的方式，来实现命名实体识别，可以达到较好的识别效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的CBOW模型的示意图；
图2是本申请提供的Skip-Gram模型的示意图；
图3是本申请的一个实施例的命名实体识别方法的流程图；
图4是本申请的一个实施例的字符-向量映射字典生成方法的流程图；
图5是本申请的一个实施例的命名实体识别装置的结构示意图；
图6是本申请的一个实施例的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
本申请实施例提供了一种命名实体识别方法及装置。
为了便于理解，下面首先对本申请实施例中涉及到的一些专业术语及概念进行介绍。
命名实体识别(Named Entity Recognition，NER)，是指从文本中识别出具有特定类别的实体例如人名、地名、机构名、专有名词等的技术。NER的过程本质上是序列标注问题，即针对给定的输入文本序列，给每个字(或词)打上标注。
标注可以采用以下定义：以NER中的人名(PER)、地名(LOC)、机构名(ORG)的识别为例，则针对以下输入文本：“张三来自西安，毕业于北京大学”，其序列标注结果为：
张/B-PER三/I-PER来/O自/O西/B-LOC安/I-LOC，/O毕/O业/O于/O北/B-ORG京/I-ORG大/I-ORG学/I-ORG；
经解析后，NER结果为：
张三/PER来自西安/LOC，毕业于北京大学/ORG；其中，以上标注的意义详见下表1：
标注 释义
B-PER 人名的起始字符
I-PER 人名的中间和结束字符
B-LOC 地名的起始字符
I-LOC 地名的中间和结束字符
B-ORG 组织机构名的起始字符
I-ORG 组织机构名的中间和结束字符
O 其它字符
表1
word2vector算法，是Google公司开发的算法，通过无监督训练，将词变成一个几百维的向量，这种向量可以捕捉词语(或字符)之间的语义相关性，又称为词向量或者词嵌入。
Skip-gram模型，是word2vector算法的一种，其通过当前的词来预测周围的词，尤其适用于大数据条件下的预测，如图1所示，使用词w(t)去预测周围的词w(t-2)，w(t-1)，w(t+1)和w(t+2)。
CBOW模型，是word2vector算法的一种，其根据上下文预测中心的词，如图2所示，根据词w(t)周围的词w(t-2)，w(t-1)，w(t+1)和w(t+2)预测词w(t)，将这些词的向量做连接，能充分保留上下文信息。
注意力机制(Attention Mechanism)模拟的是人脑的注意力模型，当我们读一篇文章时，其实眼睛聚焦的就只有当前看到的文字，这个时候人的大脑主要关注在这一部分文字上，也就是说这个时候人脑对整篇文章的关注并不是均衡的，是有一定的权重区分的。注意力机制在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码阶段加入注意力模型，对源数据序列进行数据加权变换，可以有效提高序列对序列的自然方式下的***表现。
长短期记忆网络(Long Short-Term Memory，LSTM)，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。其通过“记忆门”和“忘记门”来控制历史信息的去留，有效解决了传统循环神经网络长路径依赖问题。
条件随机场(Conditional Random Field，CRF)，是近几年自然语言处理领域常用的算法之一，常用于句法分析、命名实体识别、词性标注等。CRF采用马尔科夫链作为隐含变量的概率转移模型，通过可观测状态判别隐含变量，属于判别模型。
图3是本申请的一个实施例的命名实体识别方法的流程图，该方法可以由服务端执行，也可以由终端设备执行，该服务端可以包括：服务器或服务器集群，该终端设备可以包括：智能手机、平板电脑、笔记本/台式电脑等等，如图3所示，该方法可以包括以下步骤：
在步骤301中，获取输入序列。
本申请实施例中，输入序列可以为文本序列，也可以为语音片段。
在步骤302中，对输入序列中的字符进行向量化处理，得到该输入序列对应的字符向量序列。
本申请实施例中，当输入序列为文本序列时，直接将输入序列进行字符分割处理，得到输入序列的字符序列(x1,x2,...,xn)，其中，xi为输入序列中的第i个字符，n为输入序列的字符个数。
本申请实施例中，当输入序列为语音片段时，先将语音片段转换为对应的文本序列，再对该文本序列进行字符分割处理，得到该文本序列的字符序列(x1,x2,...,xn)，也就是输入序列的字符序列(x1,x2,...,xn)，其中，xi为文本序列中的第i个字符，n为文本序列的字符个数，1≤i≤n。
在一个可选的实施方式中，上述步骤302可以包括：S31和S32，其中，
在S31中，获取字符-向量映射字典，其中，该字符-向量映射字典中记录有字符与向量的对应关系；
在S32中，从该字符-向量映射字典中查找输入序列中的字符所对应的向量，将查找到的向量所构成的序列确定为该输入序列对应的字符向量序列。
在本实施方式中，在得到输入序列的字符序列(x1,x2,...,xn)后，获取字符-向量映射字典，从该字符-向量映射字典中查找输入序列中的字符xi所对应的向量vi，将查找到的向量vi所构成的序列(v1,v2,...,vn)，确定为该输入序列对应的字符向量序列(v′1,v′2,...,v′n)，其中，v′i＝vi。
在一个优选的实施方式中，上述步骤302可以包括：S33、S34、S35和S36，其中，
在S33中，获取字符-向量映射字典，其中，该字符-向量映射字典中记录有字符与向量的对应关系；
在S34中，从该字符-向量映射字典中查找输入序列中的字符所对应的向量；
在S35中，使用注意力机制处理该输入序列中的字符所对应的向量，得到各向量对应的权重值；
需要说明的是，向量的权重值反映了该向量的重要程度，权重值越大，说明向量越重要。
本实施方式中，可以采用Bi-LSTM(Bi-directional Recurrent Neural Network，双向长短时记忆循环神经网络)实现注意力机制。
在本实施方式中，在得到输入序列的字符序列(x1,x2,...,xn)后，获取字符-向量映射字典，从该字符-向量映射字典中查找输入序列中的字符xi所对应的向量vi，之后将查找到的向量vi所构成的序列(v1,v2,...,vn)输入注意力机制的相关模型中，输出(at1,at2,...,atn)，其中，ati为vi对应的权重值。
在S36中，将该输入序列中的字符所对应的向量与该向量对应的权重值进行点乘运算，得到该输入序列对应的字符向量序列。
在获得输入序列中的字符xi所对应的向量vi，以及vi对应的权重值ati后，计算vi*ati，将(v1*at1,v2*at2,...,vn*atn)确定为输入序列对应的字符向量序列(v′1,v′2,...,v′n)其中，v′i＝vi*ati。
本申请实施例中，可以预先生成字符-向量映射字典，考虑到word2vector算法能够将每个字符变成一个低维空间中的向量(通常几百维)，这样字符之间的语义相关性可以用向量的距离来近似描述，因此可以使用word2vector算法对训练语料进行训练，生成字符-向量映射字典；此时，如图4所示，图4示出了基于Skip-gram模型的字符-向量映射字典生成方法的流程图，可以包括以下步骤：
在S401中，获取训练语料。
本申请实施例中，训练语料中包括多条语句。
本申请实施例中，考虑到word2vec算法是无监督学习算法，因此在收集相关的训练语料时，训练语料的数据量越大越好，此外，这些语料主要针对相应的应用场景，并且尽量涵盖该场景的大部分数据类型。在实际应用中，训练语料可以为已经标注的语料，也可以为未标注的语料，本申请实施例对此不作限定。
在S402中，以字符为单位，对训练语料进行拆分，得到拆分结果。
本申请实施例中，将训练语料中的每条语句均分割为一个一个的字符。
在S403中，对拆分结果进行下述至少一项预处理：过滤垃圾字符、过滤停用字符、过滤低频字符和过滤无意义符号，得到预处理结果。
本申请实施例中，为了提高处理效率和效果，可以过滤掉拆分结果中的垃圾字符，过滤停低频字和无意义符号，整理成word2vec算法的要求格式，即表示输入和输出，为建立训练目标做准备。
在S404中，使用word2vec算法训练预处理结果，得到获取字符-向量映射字典。
本申请实施例中，可以使用word2vector算法中的CBOW模型预处理结果，得到获取字符-向量映射字典；也可以使用word2vector算法中的Skip-gram模型预处理结果，得到获取字符-向量映射字典。
考虑到训练语料的数据量越大，训练得到的字符-向量映射字典中的内容更为全面和精确，而Skip-gram模型尤为适用于大数据，因此，优先选择使用Skip-gram模型预处理结果，得到获取字符-向量映射字典。
相较于相关技术中的词向量，本申请实施例基于字符的向量化技术能够带来以下优势：能够表征更细粒度的字符特征；由于字符数量远小于单词数量，得到的模型占用空间极小，极大提高了模型加载速度；随着时间的推移，新词会不断涌现，之前所训练的词向量模型会出现越来越严重的特征命中率下滑问题，而基于字符的向量则有效避免了此问题，因为每年被创造出来的新字符相对很少。
在步骤303中，使用神经网络算法处理所述字符向量序列，得到输入序列的文本特征序列。
可以理解的是，给输入序列中的每个字符打上标注的动作，可以抽象为一个序列标注问题，其本质其实也是一个分类任务，即需要确定每个字符的分类类别。
本申请实施例中，所采用的神经网络算法，其核心思想是，对于当前每个字符的分类判别，均考虑了前文的历史信息作为输入，有效解决了字符独立性的问题。
本申请实施例中，将输入序列对应的字符向量序列(v′1,v′2,...,v′n)输入到神经网络算法中处理，得到输入序列的文本特征序列(h1,h2,...,hn)，其中，hi为xi的字符特征向量，hi包含了xi的特征信息。
作为一个例子，可以采用循环神经网络(RNN)处理输入序列对应的字符向量序列。
考虑到标准的RNN由于会产生长路径依赖的问题，即对于路径较长的历史信息，对于当前文字的分类结果影响较小，即使这些信息与当前问题有直接关联。举例说明：
考虑输入“我在美国留学，……，能够说一口地道的英语”，其中，省略号代表其它较长的上下文信息，斜体字代表当前需要预测的词汇。当我们看到“英语”这个词之前，我们可能会预测到下个词可能会是一种语言的名字，但是具体是哪种语言需要根据上下文来确定。标准的RNN由于其结构问题，可能无法记忆前文提到的“我在美国留学”这个非常有用的信息，从而无法预测下个出现的词可能是“英语”，这种现象称之为“长路径依赖”。LSTM的出现解决了上述问题，其主要思路为，在标准RNN的基础上，采用“门”去控制上下文信息的输入，具体的，通过几个“门”来控制历史信息的输入输出，每个“门”由sigmoid函数做非线性化归一到0～1之间，其值越接近0，则表明更少的历史信息通过该“门”；相反，越接近1，则表明有更多的信息通过“门”。这些“门”既可以“记忆”有用的信息，又可以“忘记”无用的信息。如此，较长距离之外的相关信息会选择性保留下来，以供当前字符标注分类作参考，从而提升预测效果。
进一步的，为了提高处理效果，可以使用双向长短期记忆神经网络处理字符向量序列，得到输入序列的文本特征序列。
具体的，将输入序列对应的字符向量序列(v′1,v′2,...,v′n)输入到双向LSTM中，前向LSTM的输出为(hf1,hf2,...,hfn)，后向LSTM输出为(hb1,hb2,...,hbn)，二者进行向量拼接后得到(h1,h2,...,hn)，其中，vi′对应的前向LSTM输出为hfi，v′i对应的后向LSTM输出为hbi，hfi表征了xi的历史上下文信息，而后向输出hbi则表征了xi的未来上下文信息。
在步骤304中，使用条件随机场处理文本特征序列，得到输入序列对应的命名实体识别结果。
条件随机场模型是一种无向图模型，它是在给定需要标记的观察序列(词，句子、数值等)的条件下，计算整个标记序列的联合概率分布。
本申请实施例中，条件随机场的序学习算法可以为改进的迭代尺度法，条件随机场的预测算法可以为维特比算法。
本申请实施例中，可以将输入序列对应的文本特征序列(h1,h2,...,hn)输入到线性链条件随机场，具体的，在学习时，利用文本特征序列(h1,h2,...,hn)通过条件随机场的学习算法(例如改进的迭代尺度法)得到输出序列(s1,s2,...,sn)和状态转移矩阵，其中，si为hi对应的输出，si为1*K的向量，si中的每个向量值代表xi相对于不同标注的置信度得分，状态转移矩阵为各标注之间的转移概率；在预测时，转化为最大概率路径问题，利用维特比算法对输出序列(s1,s2,...,sn)和状态转移矩阵进行处理，得到标注序列(y1,y2,...,yn)，之后根据需求进一步解析，得到最终命名实体识别结果，其中，yi与xi相对应。
由上述实施例可见，该实施例可以将待识别的输入序列中的每个字符转换为对应的向量，使用神经网络算法处理每个字符对应的向量，来提取待识别的输入序列的文本特征序列，最后使用条件随机场处理文本特征序列，得到待识别的输入序列对应的命名实体识别结果。由于字符能够表征更细粒度的特征、且字符数量远小于词语的数量，神经网络算法能够考虑到输入序列中各字符的上下文信息，以及条件随机场能够避免标记偏置问题，因此，本申请实施例通过将字符向量化、神经网络算法及条件随机场这三者进行结合的方式，来实现命名实体识别，可以达到较好的识别效果。
图5是本申请的一个实施例的命名实体识别装置的结构示意图。请参考图5，在一种软件实施方式中，命名实体识别装置500，可以包括：
获取单元501，用于获取输入序列；
第一处理单元502，用于对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
第二处理单元503，用于使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
第三处理单元504，用于使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
由上述实施例可见，该实施例可以将待识别的输入序列中的每个字符转换为对应的向量，使用神经网络算法处理每个字符对应的向量，来提取待识别的输入序列的文本特征序列，最后使用条件随机场处理文本特征序列，得到待识别的输入序列对应的命名实体识别结果。由于字符能够表征更细粒度的特征、且字符数量远小于词语的数量，神经网络算法能够考虑到输入序列中各字符的上下文信息，以及条件随机场能够避免标记偏置问题，因此，本申请实施例通过将字符向量化、神经网络算法及条件随机场这三者进行结合的方式，来实现命名实体识别，可以达到较好的识别效果。
可选地，作为一个实施例，所述第二处理单元503，可以包括：
字符向量序列处理子单元，用于使用双向长短期记忆神经网络处理所述字符向量序列，得到所述输入序列的文本特征序列。
可选地，作为一个实施例，所述第一处理单元502，可以包括：
映射字典获取子单元，用于获取字符-向量映射字典，其中，所述字符-向量映射字典中记录有字符与向量的对应关系；
查找子单元，用于从所述字符-向量映射字典中查找所述输入序列中的字符所对应的向量；
注意力机制处理子单元，用于使用注意力机制处理所述输入序列中的字符所对应的向量，得到各向量对应的权重值；
字符向量序列获得子单元，用于将所述输入序列中的字符所对应的向量与该向量对应的权重值进行点乘运算，得到所述输入序列对应的字符向量序列。
可选地，作为一个实施例，所述命名实体识别装置500，还可以包括：映射字典生成单元；
所述映射字典生成单元，可以包括：
训练语料获取子单元，用于获取训练语料；
字符拆分子单元，用于以字符为单位，对所述训练语料进行拆分，得到拆分结果；
预处理子单元，用于对所述拆分结果进行下述至少一项预处理：过滤垃圾字符、过滤停用字符、过滤低频字符和过滤无意义符号，得到预处理结果；
映射字典训练子单元，用于使用word2vec算法训练所述预处理结果，得到获取字符-向量映射字典。
可选地，作为一个实施例，所述映射字典训练子单元，具体用于：
利用skip-gram模型训练所述预处理结果，得到获取字符-向量映射字典。
命名实体识别装置500还可执行图3所示实施例的方法，并实现命名实体识别装置在图5所示实施例的功能，本申请实施例在此不再赘述。
图6是本申请的一个实施例的电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成命名实体识别装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取输入序列；
对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
上述如本申请图6所示实施例揭示的命名实体识别装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图3的方法，并实现命名实体识别装置在图3所示实施例的功能，本申请实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图3所示实施例的方法，并具体用于执行以下方法：
获取输入序列；
对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种命名实体识别方法，其特征在于，所述方法包括：
获取输入序列；
对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
2.根据权利要求1所述的方法，其特征在于，所述使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列，包括：
使用双向长短期记忆神经网络处理所述字符向量序列，得到所述输入序列的文本特征序列。
3.根据权利要求1所述的方法，其特征在于，所述对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列，包括：
获取字符-向量映射字典，其中，所述字符-向量映射字典中记录有字符与向量的对应关系；
从所述字符-向量映射字典中查找所述输入序列中的字符所对应的向量；
使用注意力机制处理所述输入序列中的字符所对应的向量，得到各向量对应的权重值；
将所述输入序列中的字符所对应的向量与该向量对应的权重值进行点乘运算，得到所述输入序列对应的字符向量序列。
4.根据权利要求3所述的方法，其特征在于，所述字符-向量映射字典的生成过程，包括：
获取训练语料；
以字符为单位，对所述训练语料进行拆分，得到拆分结果；
对所述拆分结果进行下述至少一项预处理：过滤垃圾字符、过滤停用字符、过滤低频字符和过滤无意义符号，得到预处理结果；
使用word2vec算法训练所述预处理结果，得到获取字符-向量映射字典。
5.根据权利要求4所述的方法，其特征在于，所述使用word2vec算法训练所述预处理结果，得到获取字符-向量映射字典，包括：
利用skip-gram模型训练所述预处理结果，得到获取字符-向量映射字典。
6.一种命名实体识别装置，其特征在于，所述装置包括：
获取单元，用于获取输入序列；
第一处理单元，用于对所述输入序列中的字符进行向量化处理，得到所述输入序列对应的字符向量序列；
第二处理单元，用于使用神经网络算法处理所述字符向量序列，得到所述输入序列的文本特征序列；
第三处理单元，用于使用条件随机场处理所述文本特征序列，得到所述输入序列对应的命名实体识别结果。
7.根据权利要求6所述的装置，其特征在于，所述第二处理单元，包括：
字符向量序列处理子单元，用于使用双向长短期记忆神经网络处理所述字符向量序列，得到所述输入序列的文本特征序列。
8.根据权利要求6所述的装置，其特征在于，所述第一处理单元，包括：
映射字典获取子单元，用于获取字符-向量映射字典，其中，所述字符-向量映射字典中记录有字符与向量的对应关系；
查找子单元，用于从所述字符-向量映射字典中查找所述输入序列中的字符所对应的向量；
注意力机制处理子单元，用于使用注意力机制处理所述输入序列中的字符所对应的向量，得到各向量对应的权重值；
字符向量序列获得子单元，用于将所述输入序列中的字符所对应的向量与该向量对应的权重值进行点乘运算，得到所述输入序列对应的字符向量序列。
9.一种电子设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1-5任一项所述方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1-5任一项所述方法的步骤。
CN201711102742.5A 2017-11-10 2017-11-10 命名实体识别方法及装置 Pending CN107797992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711102742.5A CN107797992A (zh) 2017-11-10 2017-11-10 命名实体识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711102742.5A CN107797992A (zh) 2017-11-10 2017-11-10 命名实体识别方法及装置

Publications (1)

Publication Number Publication Date
CN107797992A true CN107797992A (zh) 2018-03-13

Family

ID=61534832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711102742.5A Pending CN107797992A (zh) 2017-11-10 2017-11-10 命名实体识别方法及装置

Country Status (1)

Country Link
CN (1) CN107797992A (zh)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536679A (zh) * 2018-04-13 2018-09-14 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN108628823A (zh) * 2018-03-14 2018-10-09 中山大学 结合注意力机制和多任务协同训练的命名实体识别方法
CN108874997A (zh) * 2018-06-13 2018-11-23 广东外语外贸大学 一种面向电影评论的人名命名实体识别方法
CN108920445A (zh) * 2018-04-23 2018-11-30 华中科技大学鄂州工业技术研究院 一种基于Bi-LSTM-CRF模型的命名实体识别方法和装置
CN109002436A (zh) * 2018-07-12 2018-12-14 上海金仕达卫宁软件科技有限公司 基于长短期记忆网络的医疗文本术语自动识别方法及***
CN109241330A (zh) * 2018-08-20 2019-01-18 北京百度网讯科技有限公司 用于识别音频中的关键短语的方法、装置、设备和介质
CN109241275A (zh) * 2018-07-05 2019-01-18 广东工业大学 一种基于自然语言处理的文本主题聚类算法
CN109389091A (zh) * 2018-10-22 2019-02-26 重庆邮电大学 基于神经网络和注意力机制结合的文字识别***及方法
CN109446514A (zh) * 2018-09-18 2019-03-08 平安科技（深圳）有限公司 新闻实体识别模型的构建方法、装置和计算机设备
CN109614614A (zh) * 2018-12-03 2019-04-12 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN109657239A (zh) * 2018-12-12 2019-04-19 电子科技大学 基于注意力机制和语言模型学习的中文命名实体识别方法
CN109858041A (zh) * 2019-03-07 2019-06-07 北京百分点信息科技有限公司 一种半监督学习结合自定义词典的命名实体识别方法
CN109871535A (zh) * 2019-01-16 2019-06-11 四川大学 一种基于深度神经网络的法语命名实体识别方法
CN109871538A (zh) * 2019-02-18 2019-06-11 华南理工大学 一种中文电子病历命名实体识别方法
CN109918680A (zh) * 2019-03-28 2019-06-21 腾讯科技（上海）有限公司 实体识别方法、装置及计算机设备
CN110321547A (zh) * 2018-03-30 2019-10-11 北京四维图新科技股份有限公司 一种命名实体确定方法及装置
CN110348016A (zh) * 2019-07-15 2019-10-18 昆明理工大学 基于句子关联注意力机制的文本摘要生成方法
CN110348021A (zh) * 2019-07-17 2019-10-18 湖北亿咖通科技有限公司 基于命名实体模型的字符串识别方法、电子设备、存储介质
CN110362597A (zh) * 2019-06-28 2019-10-22 华为技术有限公司 一种结构化查询语言sql注入检测方法及装置
CN110516228A (zh) * 2019-07-04 2019-11-29 湖南星汉数智科技有限公司 命名实体识别方法、装置、计算机装置及计算机可读存储介质
CN110543638A (zh) * 2019-09-10 2019-12-06 杭州橙鹰数据技术有限公司 一种命名实体识别的方法和装置
WO2020048292A1 (zh) * 2018-09-04 2020-03-12 腾讯科技（深圳）有限公司 神经网络的网络表示生成方法、装置、存储介质和设备
CN111079437A (zh) * 2019-12-20 2020-04-28 深圳前海达闼云端智能科技有限公司 一种实体识别方法、电子设备及存储介质
CN111222335A (zh) * 2019-11-27 2020-06-02 上海眼控科技股份有限公司 语料修正方法、装置、计算机设备和计算机可读存储介质
CN111222334A (zh) * 2019-11-15 2020-06-02 广州洪荒智能科技有限公司 命名实体识别方法、装置、设备及介质
CN111291566A (zh) * 2020-01-21 2020-06-16 北京明略软件***有限公司 一种事件主体识别方法、装置、存储介质
CN111782768A (zh) * 2020-06-30 2020-10-16 首都师范大学 基于双曲空间表示和标签文本互动的细粒度实体识别方法
CN111885000A (zh) * 2020-06-22 2020-11-03 网宿科技股份有限公司 一种基于图神经网络的网络攻击检测方法、***及装置
CN112115258A (zh) * 2019-06-20 2020-12-22 腾讯科技（深圳）有限公司 一种用户的信用评价方法、装置、服务器及存储介质
CN112154509A (zh) * 2018-04-19 2020-12-29 皇家飞利浦有限公司 具有用于文本注释的演变领域特异性词典特征的机器学习模型
CN112215005A (zh) * 2020-10-12 2021-01-12 小红书科技有限公司 实体识别方法及装置
WO2021146831A1 (zh) * 2020-01-20 2021-07-29 京东方科技集团股份有限公司 实体识别的方法和装置、建立词典的方法、设备、介质
CN113221884A (zh) * 2021-05-13 2021-08-06 中国科学技术大学 一种基于低频字存储记忆的文本识别方法及***
CN113221885A (zh) * 2021-05-13 2021-08-06 中国科学技术大学 一种基于整字和偏旁部首的层次化建模方法及***
CN113362540A (zh) * 2021-06-11 2021-09-07 江苏苏云信息科技有限公司 基于多模交互的交通票务处理装置、***及方法
CN113570480A (zh) * 2021-07-19 2021-10-29 北京华宇元典信息服务有限公司 裁判文书地址信息识别方法、装置和电子设备
CN117034942A (zh) * 2023-10-07 2023-11-10 之江实验室 一种命名实体识别方法、装置、设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AKASH BHARADWAJ等: ""Phonologically Aware Neural Model for Named Entity Recognition in Low Resource Transfer Settings"", 《PROCEEDINGS OF THE 2016 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING》 *
CHUANHAI DONG等: ""Character-Based LSTM-CRF with Radical-Level Features for Chinese Named Entity Recognition"", 《NATURAL LANGUAGE UNDERSTANDING AND INTELLIGENT APPLICATIONS(NLPCC 2016)》 *
ROBERT_AI: "" 神经网络结构在命名实体识别（NER）中的应用"", 《HTTPS://WWW.CNBLOGS.COM/ROBERT-DLUT/P/6847401.HTML》 *
机器之心: ""如何用深度学习做自然语言处理？这里有份最佳实践清单"", 《HTTPS://WWW.JIQIZHIXIN.COM/ARTICLES/2017-07-26-5》 *

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628823A (zh) * 2018-03-14 2018-10-09 中山大学 结合注意力机制和多任务协同训练的命名实体识别方法
CN108628823B (zh) * 2018-03-14 2022-07-01 中山大学 结合注意力机制和多任务协同训练的命名实体识别方法
CN110321547B (zh) * 2018-03-30 2024-06-11 北京四维图新科技股份有限公司 一种命名实体确定方法及装置
CN110321547A (zh) * 2018-03-30 2019-10-11 北京四维图新科技股份有限公司 一种命名实体确定方法及装置
CN108536679B (zh) * 2018-04-13 2022-05-20 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN108536679A (zh) * 2018-04-13 2018-09-14 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN112154509A (zh) * 2018-04-19 2020-12-29 皇家飞利浦有限公司 具有用于文本注释的演变领域特异性词典特征的机器学习模型
CN108920445A (zh) * 2018-04-23 2018-11-30 华中科技大学鄂州工业技术研究院 一种基于Bi-LSTM-CRF模型的命名实体识别方法和装置
CN108920445B (zh) * 2018-04-23 2022-06-17 华中科技大学鄂州工业技术研究院 一种基于Bi-LSTM-CRF模型的命名实体识别方法和装置
CN108874997A (zh) * 2018-06-13 2018-11-23 广东外语外贸大学 一种面向电影评论的人名命名实体识别方法
CN109241275A (zh) * 2018-07-05 2019-01-18 广东工业大学 一种基于自然语言处理的文本主题聚类算法
CN109241275B (zh) * 2018-07-05 2022-02-11 广东工业大学 一种基于自然语言处理的文本主题聚类算法
CN109002436A (zh) * 2018-07-12 2018-12-14 上海金仕达卫宁软件科技有限公司 基于长短期记忆网络的医疗文本术语自动识别方法及***
US11308937B2 (en) * 2018-08-20 2022-04-19 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for identifying key phrase in audio, device and medium
CN109241330A (zh) * 2018-08-20 2019-01-18 北京百度网讯科技有限公司 用于识别音频中的关键短语的方法、装置、设备和介质
US11875220B2 (en) 2018-09-04 2024-01-16 Tencent Technology (Shenzhen) Company Limited Method, apparatus, and storage medium for generating network representation for neural network
WO2020048292A1 (zh) * 2018-09-04 2020-03-12 腾讯科技（深圳）有限公司 神经网络的网络表示生成方法、装置、存储介质和设备
CN109446514A (zh) * 2018-09-18 2019-03-08 平安科技（深圳）有限公司 新闻实体识别模型的构建方法、装置和计算机设备
CN109389091A (zh) * 2018-10-22 2019-02-26 重庆邮电大学 基于神经网络和注意力机制结合的文字识别***及方法
CN109389091B (zh) * 2018-10-22 2022-05-03 重庆邮电大学 基于神经网络和注意力机制结合的文字识别***及方法
CN109614614A (zh) * 2018-12-03 2019-04-12 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN109614614B (zh) * 2018-12-03 2021-04-02 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN109657239A (zh) * 2018-12-12 2019-04-19 电子科技大学 基于注意力机制和语言模型学习的中文命名实体识别方法
CN109657239B (zh) * 2018-12-12 2020-04-21 电子科技大学 基于注意力机制和语言模型学习的中文命名实体识别方法
CN109871535B (zh) * 2019-01-16 2020-01-10 四川大学 一种基于深度神经网络的法语命名实体识别方法
CN109871535A (zh) * 2019-01-16 2019-06-11 四川大学 一种基于深度神经网络的法语命名实体识别方法
CN109871538A (zh) * 2019-02-18 2019-06-11 华南理工大学 一种中文电子病历命名实体识别方法
CN109858041B (zh) * 2019-03-07 2023-02-17 北京百分点科技集团股份有限公司 一种半监督学习结合自定义词典的命名实体识别方法
CN109858041A (zh) * 2019-03-07 2019-06-07 北京百分点信息科技有限公司 一种半监督学习结合自定义词典的命名实体识别方法
CN109918680A (zh) * 2019-03-28 2019-06-21 腾讯科技（上海）有限公司 实体识别方法、装置及计算机设备
CN112115258A (zh) * 2019-06-20 2020-12-22 腾讯科技（深圳）有限公司 一种用户的信用评价方法、装置、服务器及存储介质
CN112115258B (zh) * 2019-06-20 2023-09-26 腾讯科技（深圳）有限公司 一种用户的信用评价方法、装置、服务器及存储介质
CN110362597A (zh) * 2019-06-28 2019-10-22 华为技术有限公司 一种结构化查询语言sql注入检测方法及装置
CN110516228A (zh) * 2019-07-04 2019-11-29 湖南星汉数智科技有限公司 命名实体识别方法、装置、计算机装置及计算机可读存储介质
CN110348016A (zh) * 2019-07-15 2019-10-18 昆明理工大学 基于句子关联注意力机制的文本摘要生成方法
CN110348016B (zh) * 2019-07-15 2022-06-14 昆明理工大学 基于句子关联注意力机制的文本摘要生成方法
CN110348021A (zh) * 2019-07-17 2019-10-18 湖北亿咖通科技有限公司 基于命名实体模型的字符串识别方法、电子设备、存储介质
CN110543638B (zh) * 2019-09-10 2022-12-27 杭州橙鹰数据技术有限公司 一种命名实体识别的方法和装置
CN110543638A (zh) * 2019-09-10 2019-12-06 杭州橙鹰数据技术有限公司 一种命名实体识别的方法和装置
CN111222334A (zh) * 2019-11-15 2020-06-02 广州洪荒智能科技有限公司 命名实体识别方法、装置、设备及介质
CN111222335A (zh) * 2019-11-27 2020-06-02 上海眼控科技股份有限公司 语料修正方法、装置、计算机设备和计算机可读存储介质
CN111079437A (zh) * 2019-12-20 2020-04-28 深圳前海达闼云端智能科技有限公司 一种实体识别方法、电子设备及存储介质
WO2021146831A1 (zh) * 2020-01-20 2021-07-29 京东方科技集团股份有限公司 实体识别的方法和装置、建立词典的方法、设备、介质
CN111291566A (zh) * 2020-01-21 2020-06-16 北京明略软件***有限公司 一种事件主体识别方法、装置、存储介质
CN111291566B (zh) * 2020-01-21 2023-04-28 北京明略软件***有限公司 一种事件主体识别方法、装置、存储介质
CN111885000A (zh) * 2020-06-22 2020-11-03 网宿科技股份有限公司 一种基于图神经网络的网络攻击检测方法、***及装置
CN111782768A (zh) * 2020-06-30 2020-10-16 首都师范大学 基于双曲空间表示和标签文本互动的细粒度实体识别方法
WO2022001333A1 (zh) * 2020-06-30 2022-01-06 首都师范大学 基于双曲空间表示和标签文本互动的细粒度实体识别方法
CN112215005A (zh) * 2020-10-12 2021-01-12 小红书科技有限公司 实体识别方法及装置
CN113221885A (zh) * 2021-05-13 2021-08-06 中国科学技术大学 一种基于整字和偏旁部首的层次化建模方法及***
CN113221884A (zh) * 2021-05-13 2021-08-06 中国科学技术大学 一种基于低频字存储记忆的文本识别方法及***
CN113221885B (zh) * 2021-05-13 2022-09-06 中国科学技术大学 一种基于整字和偏旁部首的层次化建模方法及***
CN113221884B (zh) * 2021-05-13 2022-09-06 中国科学技术大学 一种基于低频字存储记忆的文本识别方法及***
CN113362540A (zh) * 2021-06-11 2021-09-07 江苏苏云信息科技有限公司 基于多模交互的交通票务处理装置、***及方法
CN113570480A (zh) * 2021-07-19 2021-10-29 北京华宇元典信息服务有限公司 裁判文书地址信息识别方法、装置和电子设备
CN117034942A (zh) * 2023-10-07 2023-11-10 之江实验室 一种命名实体识别方法、装置、设备及可读存储介质
CN117034942B (zh) * 2023-10-07 2024-01-09 之江实验室 一种命名实体识别方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN107797992A (zh) 命名实体识别方法及装置
Logeswaran et al. Sentence ordering and coherence modeling using recurrent neural networks
CN108629687B (zh) 一种反洗钱方法、装置及设备
CN110276023B (zh) Poi变迁事件发现方法、装置、计算设备和介质
CN110619044B (zh) 一种情感分析方法、***、存储介质及设备
Wang et al. Dialogue intent classification with character-CNN-BGRU networks
Li et al. A method of emotional analysis of movie based on convolution neural network and bi-directional LSTM RNN
CN109766557A (zh) 一种情感分析方法、装置、存储介质及终端设备
Alexandridis et al. A knowledge-based deep learning architecture for aspect-based sentiment analysis
CN112132238A (zh) 一种识别隐私数据的方法、装置、设备和可读介质
CN113947086A (zh) 样本数据生成方法、训练方法、语料生成方法和装置
CN109271624A (zh) 一种目标词确定方法、装置及存储介质
CN116975271A (zh) 文本相关性的确定方法、装置、计算机设备和存储介质
Park et al. Sensitive data identification in structured data through genner model based on text generation and ner
CN114328841A (zh) 问答模型训练方法及装置、问答方法及装置
CN116955579A (zh) 一种基于关键词知识检索的聊天回复生成方法和装置
CN116719915A (zh) 智能问答方法、装置、设备及存储介质
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质
CN103514194B (zh) 确定语料与实体的相关性的方法和装置及分类器训练方法
Arbaatun et al. Hate speech detection on Twitter through Natural Language Processing using LSTM model
CN115129885A (zh) 实体链指方法、装置、设备及存储介质
CN115129863A (zh) 意图识别方法、装置、设备、存储介质和计算机程序产品
Porjazovski et al. Attention-based end-to-end named entity recognition from speech
Suzuki et al. On a new model for automatic text categorization based on vector space model
CN113051607A (zh) 一种隐私政策信息提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100081 No.101, 1st floor, building 14, 27 Jiancai Chengzhong Road, Haidian District, Beijing

Applicant after: Beijing PERCENT Technology Group Co.,Ltd.

Address before: 100081 16 / F, block a, Beichen Century Center, building 2, courtyard 8, Beichen West Road, Chaoyang District, Beijing

Applicant before: BEIJING BAIFENDIAN INFORMATION SCIENCE & TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20180313

RJ01 Rejection of invention patent application after publication