CN113704416B - 词义消歧方法、装置、电子设备及计算机可读存储介质 - Google Patents
词义消歧方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113704416B CN113704416B CN202111249932.6A CN202111249932A CN113704416B CN 113704416 B CN113704416 B CN 113704416B CN 202111249932 A CN202111249932 A CN 202111249932A CN 113704416 B CN113704416 B CN 113704416B
- Authority
- CN
- China
- Prior art keywords
- word
- vector
- disambiguated
- text
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 124
- 239000013598 vector Substances 0.000 claims description 194
- 238000012545 processing Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000004140 cleaning Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000005406 washing Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 description 8
- 238000002372 labelling Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Character Discrimination (AREA)
Abstract
本申请涉及一种词义消歧方法,所述方法包括:获取待处理文本,确定待处理文本中的待消歧词,以及待消歧词的上文和所述待消歧词的下文,从预设的语义知识库中搜索待消歧词对应的多个定义解释,对多个定义解释进行向量化,得到定义矩阵,基于定义矩阵构建对应的分类器,将上文、下文和待消歧词输入至分类器,得到待消歧词的预测候选词,利用预测候选词对待消歧词进行替换,得到消除歧义后的标准文本。此外,本申请还涉及一种词义消歧装置、设备及存储介质。本申请可解决词义消歧的准确度不够高的问题。
Description
技术领域
本申请涉及文本处理领域,尤其涉及一种词义消歧方法、装置、电子设备及计算机可读存储介质。
背景技术
在语言词汇中存在着一定数量的歧义词,虽然歧义词的出现为自然语言的应用带来了便利,但是也为自然语言的理解和翻译带来了一定的困难。随着人工智能的兴起,词义消歧在诸多高新领域中的应用越来越多,已经成为了一个自然语言处理中需要解决的重要难题。
现有的词义消歧方法通常是结合机器学习来进行词义消歧,这种方法需要大量的人工标注训练语料,代价昂贵。同时利用人工标注训练语料并不能全面且准确地标注出不常见且具有多重含义的词语,因此导致词义消歧的准确度不够高。
发明内容
本申请提供了一种词义消歧方法、装置、电子设备及存储介质,以解决词义消歧的准确度不够高的问题。
第一方面,本申请提供了一种词义消歧方法,所述方法包括:
获取待处理文本,确定所述待处理文本中的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文;
从预设的语义知识库中搜索所述待消歧词对应的多个定义解释,对多个所述定义解释进行向量化,得到定义矩阵;
基于所述定义矩阵构建对应的分类器,将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词;利用所述预测候选词对所述待消歧词进行替换,得到消除歧义后的标准文本。
详细地,所述将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词,包括:
对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量;
对所述上文向量、所述歧义词向量和所述下文向量进行向量平均,得到语义向量;
将所述语义向量输入至所述分类器,得到所述待消歧词的预测候选词。
详细地,所述对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量,包括:
分别对所述上文、所述下文和所述待消歧词进行掩码处理,得到掩码数据集;
将所述掩码数据集转换为向量数据集,并对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵;
将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到上文向量、歧义词向量和下文向量。
详细地,所述分别对所述上文、所述下文和所述待消歧词进行掩码处理,得到掩码数据集,包括:
利用预获取的掩码概率从所述上文、所述下文和所述待消歧词中筛选出多个关键词,对所述多个关键词进行掩码处理,得到所述关键词对应的掩码词;
利用所述掩码词替换所述关键词,得到掩码数据集。
详细地,所述对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵,包括:
对所述向量数据集进行位置编码处理,得到位置向量集;
将所述位置向量集转换为位置向量矩阵,并根据所述位置向量矩阵的维度生成分类矩阵;
根据所述位置向量矩阵、所述分类矩阵和预设的激活函数计算得到所述位置向量集对应的原始向量相关矩阵;
利用所述原始向量相关矩阵和所述位置向量矩阵调节预构建的前馈神经网络中的迭代权重因子,得到目标向量相关矩阵。
详细地,所述对多个所述定义解释进行向量化,得到定义矩阵,包括:
将多个所述定义解释输入至目标训练模型中,得到多个所述定义解释对应的多个句向量;
对多个所述句向量进行拼接处理,得到定义矩阵。
详细地,所述获取待处理文本之后,所述方法还包括:
对所述待处理文本进行清洗去脏,得到清洗数据集;
将所述清洗数据集拆分为多个句子,得到分句数据集;
利用基准分词器对所述分句数据集进行分词处理,得到预处理的待处理文本。
第二方面,本申请提供了一种词义消歧装置,所述装置包括:
文本处理模块,用于获取待处理文本,确定所述待处理文本中的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文;
向量化模块,用于从预设的语义知识库中搜索所述待消歧词对应的多个定义解释,对多个所述定义解释进行向量化,得到定义矩阵;
候选词预测模块,用于基于所述定义矩阵构建对应的分类器,将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词;歧义消除模块,用于利用所述预测候选词对所述待消歧词进行替换,得到消除歧义后的标准文本。
第三方面,提供了一种词义消歧设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一项实施例所述的词义消歧方法的步骤。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的词义消歧方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本发明实施例从预设的语义知识库中搜索待消歧词对应的多个定义解释,由于语义知识库包含的词和词义范围很大,在大部分不常见词或词义上性能表现大有提升,通过语义知识库搜索无需人工标注,节省人工标注成本。对多个所述定义解释进行向量化可以将所述定义解释转化成方便计算机处理的向量形式,基于所述定义矩阵构建对应的分类器,将所述待处理文本中确定的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文输入至所述分类器,得到所述待消歧词的预测候选词,得到预测候选词,提高了预测候选词筛选的准确度,并利用所述预测候选词对所述初始文本中的待消歧词进行替换,得到消除歧义后的标准文本。因此本发明提出的词义消歧方法、装置、电子设备及计算机可读存储介质,可以解决词义消歧的准确度不够高的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种词义消歧方法的流程示意图;
图2为本申请实施例提供的一种词义消歧的装置的模块示意图;
图3为本申请实施例提供的一种词义消歧的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种词义消歧方法的流程示意图。在本实施例中,所述词义消歧方法包括:
S1、获取待处理文本,确定所述待处理文本中的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文。
本发明实施例中,所述待处理文本是指任意一个语境下的完整句子,其中,句子中包含上文、待消歧词和下文,则一个句子的组成可以为上文(sentence_up)+待消歧词(token)+下文(sentence_down)。
本发明一可选实施例中,可以根据输入的待处理文本的语句标识确定待消歧词,并确定该消歧词之前的文本为消歧词的上文,确定该消歧词之后的文本为消歧词的下文。
另一可选实施例中,可以通过预设的歧义词识别模型,确定待消歧词,并确定该消歧词之前的文本为消歧词的上文,确定该消歧词之后的文本为消歧词的下文。
具体地,所述获取待处理文本之后,所述方法还包括:
对所述待处理文本进行清洗去脏,得到清洗数据集;
将所述清洗数据集拆分为多个句子,得到分句数据集;
利用基准分词器对所述分句数据集进行分词处理,得到预处理的待处理文本。
详细地,对待处理文本进行清洗去脏可以保证处理后的清洗数据集的准确和干净,所述清洗数据集中包含多个完整的句子,可以以句号作为拆分的节点将所述清洗数据集拆分为多个句子,得到分句数据集,利用基准分词器对所述分句数据集进行分词处理,得到预处理的待处理文本。其中,所述基准分词器包括但不限于基于字典的字符串匹配模型的分词器或者基于字符标注的机器学习模型的分词器,如stanford分词器。
S2、从预设的语义知识库中搜索所述待消歧词对应的多个定义解释,对多个所述定义解释进行向量化,得到定义矩阵。
本发明实施例中,所述预设的语义知识库可以为WordNet,WordNet是一种基于认知语言学的英语词典,它不是光把单词以字母顺序排列,而且按照单词的意义组成一个“单词的网络”。
具体地,以所述语义知识库作为参考,在所述语义知识库中搜索与所述待消歧词对应的多个定义解释。
进一步地,所述对多个所述定义解释进行向量化,得到定义矩阵,包括:
将多个所述定义解释输入至目标训练模型中,得到多个所述定义解释对应的多个句向量;
对多个所述句向量进行拼接处理,得到定义矩阵。
详细地,将所述定义解释(token_definition)输入到目标训练模型中,共得到S个向量:vector_1[CLS],...,vector_S[CLS],将S个向量拼接起来得到定义矩阵,其中,所述定义矩阵的维度为H*S。
S3、基于所述定义矩阵构建对应的分类器,将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词。
本发明实施例中,所述基于所述定义矩阵构建对应的分类器是指以所述定义矩阵作为分类器的参数构建得到对应的分类器。其中,所述分类器包括线性分类器和非线性分类器。
具体地,所述将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词,包括:
对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量;
对所述上文向量、所述歧义词向量和所述下文向量进行向量平均,得到语义向量;
将所述语义向量输入至所述分类器,得到所述待消歧词的预测候选词。
详细地,利用预训练模型对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量。所述预训练模型可以为BERT(BidirectionalEncoder Representations from Transformer,双向编码器表征)模型或者ELMO(Embedding from language models,双向语言模型)模型。
在本发明一实施例中,所述对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量,包括:
分别对所述上文、所述下文和所述待消歧词进行掩码处理,得到掩码数据集;
将所述掩码数据集转换为向量数据集,并对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵;
将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到上文向量、歧义词向量和下文向量。
具体地,所述分别对所述上文、所述下文和所述待消歧词进行掩码处理,得到掩码数据集,包括:
利用预获取的掩码概率从所述上文、所述下文和所述待消歧词中筛选出多个关键词,对所述多个关键词进行掩码处理,得到所述关键词对应的掩码词;
利用所述掩码词替换所述关键词,得到掩码数据集。
详细地,所述掩码概率是指在所述上文、所述下文和所述待消歧词中随机挑选的关键词的字数与所述上文、所述下文和所述待消歧词中总字数的占比,例如,若所述掩码概率为30%,当所述上文、所述下文和所述待消歧词中包含100个字,故按照30%的掩码概率筛选出多个关键词即随机对所述上文、所述下文和所述待消歧词中的30个关键词进行掩码。
其中,所述掩码处理的方式包括MASK掩码、随机掩码,MASK掩码指用MASK符号对关键词进行遮掩、所述随机掩码指用其他词语对关键词进行遮掩。
具体地,可以采用Word2vec算法将所述掩码数据集转换为向量数据集。
进一步地,所述对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵,包括:
对所述向量数据集进行位置编码处理,得到位置向量集;
将所述位置向量集转换为位置向量矩阵,并根据所述位置向量矩阵的维度生成分类矩阵;
根据所述位置向量矩阵、所述分类矩阵和预设的激活函数计算得到所述位置向量集对应的原始向量相关矩阵;
利用所述原始向量相关矩阵和所述位置向量矩阵调节预构建的前馈神经网络中的迭代权重因子,得到目标向量相关矩阵。
具体地,所述根据所述位置向量矩阵、所述分类矩阵和预设的激活函数计算得到所述位置向量集对应的原始向量相关矩阵,包括:
按照预设的拆分规则对所述分类矩阵进行拆分,得到中心矩阵、关联矩阵和权重矩阵;
分别将所述位置向量矩阵与所述中心矩阵、关联矩阵和权重矩阵进行点乘,得到中心向量矩阵、关联向量矩阵和权重向量矩阵;
将所述中心向量矩阵、关联向量矩阵以及权重向量矩阵作为所述激活函数的输入参数,得到所述原始向量相关矩阵。
优选地,所述激活函数为softmax函数。
进一步地,所述将所述中心向量矩阵、关联向量矩阵以及权重向量矩阵作为所述激活函数的输入参数,得到所述原始向量相关矩阵,包括:
具体地,将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到上文向量、歧义词向量和下文向量。
详细地,在本发明实施例中,所述预训练模型采用的为BERT模型,其中,所述BERT模型具有更加高效,能够捕捉更多依赖关系的优点。
在本发明另一实施例中,所述对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量之前,所述方法还包括:
获取预设语料库中预设数量的指定文本,并对所述指定文本进行分句及分词处理,得到指定分词集合;
利用所述指定分词集合对双向长短期记忆模型进行训练,得到预训练模型。
详细地,所述双向长短期记忆模型即Bi-LSTM模型,对双向长短期记忆模型进行训练得到预训练模型可以根据上下文来推断每个词对应的词向量,能够根据语境来对多义词进行理解。
具体地,所述利用所述指定分词集合对双向长短期记忆模型进行训练,得到预训练模型,包括:
利用所述双向长短期记忆网络计算所述指定分词集合的前向概率和后向概率;
基于所述前向概率和所述后向概率构造最大化对数似然函数,并计算所述最大化对数似然函数的函数值;
当所述函数值大于或者等于预设的阈值时,将所述双向长短期记忆模型输出为预训练模型。
进一步地,所述利用所述双向长短期记忆网络计算所述指定分词集合的前向概率和后向概率,包括:
利用如下计算公式计算所述指定分词集合的前向概率:
利用如下计算公式计算所述指定分词集合的后向概率:
具体地,所述基于所述前向概率和所述后向概率构造最大化对数似然函数,包括:
进一步地,所述对所述上文向量、所述歧义词向量和所述下文向量进行向量平均,得到语义向量,包括:
利用如下计算公式对所述上文向量、所述歧义词向量和所述下文向量进行向量平均:
详细地,对所述上文向量、所述歧义词向量和所述下文向量进行向量平均,可以使得最后得到的语义向量联系了上文和下文的信息,丰富了所述语义向量所包含的语义信息。
具体地,所述将所述上文、所述下文和所述待消歧词输入至所述分类器之前,所述方法还包括:
获取多个候选词,将多个所述候选词输入至所述分类器中,得到多个所述候选词对应的概率;
选取所述概率大于或者等于预设概率阈值的候选词对应的标签作为预测标签;
利用预设的最小化损失函数计算所述预测标签和预设的真实标签之间的损失值;
当所述损失值大于或者等于预设的损失阈值时,对所述分类器进行参数调整,直至所述损失值小于所述损失阈值时,将所述分类器输出为标准分类器。
进一步地,所述利用预设的最小化损失函数计算所述预测标签和预设的真实标签之间的损失值,包括:
所述预设的最小化损失函数为:
详细地,利用所述分类器对所述语义向量进行分类预测,得到预测候选词。
S4、利用所述预测候选词对所述待消歧词进行替换,得到消除歧义后的标准文本。
本发明实施例中,所述预测候选词为经过所述分类器进行分类预测后最终得到的词语,将所述预测候选词替换掉所述初始文本中的待消歧词,得到消除歧义后的标准文本。
本发明实施例从预设的语义知识库中搜索待消歧词对应的多个定义解释,由于语义知识库包含的词和词义范围很大,在大部分不常见词或词义上性能表现大有提升,通过语义知识库搜索无需人工标注,节省人工标注成本。对多个所述定义解释进行向量化可以将所述定义解释转化成方便计算机处理的向量形式,基于所述定义矩阵构建对应的分类器,将所述待处理文本中确定的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文输入至所述分类器,得到所述待消歧词的预测候选词,得到预测候选词,提高了预测候选词筛选的准确度,并利用所述预测候选词对所述初始文本中的待消歧词进行替换,得到消除歧义后的标准文本。因此本发明提出的词义消歧方法可以解决词义消歧的准确度不够高的问题。
如图2所示,本申请实施例提供了一种词义消歧装置10的模块示意图,所述词义消歧装置10,包括:所述文本处理模块11、所述向量化模块12、所述候选词预测模块13和所述歧义消除模块14。
所述文本处理模块11,用于获取待处理文本,确定所述待处理文本中的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文;
所述向量化模块12,用于从预设的语义知识库中搜索所述待消歧词对应的多个定义解释,对多个所述定义解释进行向量化,得到定义矩阵;
所述候选词预测模块13,用于基于所述定义矩阵构建对应的分类器,将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词;
所述歧义消除模块14,用于利用所述预测候选词对所述待消歧词进行替换,得到消除歧义后的标准文本。
详细地,本申请实施例中所述词义消歧装置10中的各模块在使用时采用与上述的图1中所述的词义消歧方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图3所示,本申请实施例提供了一种电子设备,包括处理器111、通信接口112、存储器113和通信总线114,其中,处理器111、通信接口112、存储器113通过通信总线114完成相互间的通信;
存储器113,用于存放计算机程序;
在本申请一个实施例中,处理器111,用于执行存储器113上所存放的程序时,实现前述任意一个方法实施例提供的词义消歧方法,包括:
获取待处理文本,确定所述待处理文本中的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文;
从预设的语义知识库中搜索所述待消歧词对应的多个定义解释,对多个所述定义解释进行向量化,得到定义矩阵;
基于所述定义矩阵构建对应的分类器,将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词;
利用所述预测候选词对所述待消歧词进行替换,得到消除歧义后的标准文本。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的词义消歧方法的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种词义消歧方法,其特征在于,所述方法包括:
获取待处理文本,确定所述待处理文本中的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文;
从预设的语义知识库中搜索所述待消歧词对应的多个定义解释,对多个所述定义解释进行向量化,得到定义矩阵;
基于所述定义矩阵构建对应的分类器,将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词;
利用所述预测候选词对所述待消歧词进行替换,得到消除歧义后的标准文本;
其中,所述将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词,包括:
对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量;
对所述上文向量、所述歧义词向量和所述下文向量进行向量平均,得到语义向量;
将所述语义向量输入至所述分类器,得到所述待消歧词的预测候选词;
其中,所述对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量,包括:
分别对所述上文、所述下文和所述待消歧词进行掩码处理,得到掩码数据集;
将所述掩码数据集转换为向量数据集,并对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵;
将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到上文向量、歧义词向量和下文向量;
其中,所述对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵,包括:
对所述向量数据集进行位置编码处理,得到位置向量集;
将所述位置向量集转换为位置向量矩阵,并根据所述位置向量矩阵的维度生成分类矩阵;
根据所述位置向量矩阵、所述分类矩阵和预设的激活函数计算得到所述位置向量集对应的原始向量相关矩阵;
利用所述原始向量相关矩阵和所述位置向量矩阵调节预构建的前馈神经网络中的迭代权重因子,得到目标向量相关矩阵。
2.根据权利要求1所述的词义消歧方法,其特征在于,所述分别对所述上文、所述下文和所述待消歧词进行掩码处理,得到掩码数据集,包括:
利用预获取的掩码概率从所述上文、所述下文和所述待消歧词中筛选出多个关键词,对所述多个关键词进行掩码处理,得到所述关键词对应的掩码词;
利用所述掩码词替换所述关键词,得到掩码数据集。
3.根据权利要求1或2所述的词义消歧方法,其特征在于,所述获取待处理文本之后,所述方法还包括:
对所述待处理文本进行清洗去脏,得到清洗数据集;
将所述清洗数据集拆分为多个句子,得到分句数据集;
利用基准分词器对所述分句数据集进行分词处理,得到预处理的待处理文本。
4.一种词义消歧装置,其特征在于,所述装置包括:
文本处理模块,用于获取待处理文本,确定所述待处理文本中的待消歧词,以及所述待消歧词的上文和所述待消歧词的下文;
向量化模块,用于从预设的语义知识库中搜索所述待消歧词对应的多个定义解释,对多个所述定义解释进行向量化,得到定义矩阵;
候选词预测模块,用于基于所述定义矩阵构建对应的分类器,将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词;
歧义消除模块,用于利用所述预测候选词对所述待消歧词进行替换,得到消除歧义后的标准文本;
其中,所述候选词预测模块将所述上文、所述下文和所述待消歧词输入至所述分类器,得到所述待消歧词的预测候选词,包括:
所述候选词预测模块对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量;
所述候选词预测模块对所述上文向量、所述歧义词向量和所述下文向量进行向量平均,得到语义向量;
所述候选词预测模块将所述语义向量输入至所述分类器,得到所述待消歧词的预测候选词;
其中,所述候选词预测模块对所述上文、所述下文和所述待消歧词分别进行向量化处理,得到上文向量、歧义词向量和下文向量,包括:
所述候选词预测模块分别对所述上文、所述下文和所述待消歧词进行掩码处理,得到掩码数据集;
所述候选词预测模块将所述掩码数据集转换为向量数据集,并对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵;
所述候选词预测模块将所述目标向量相关矩阵输入至预训练模型的最终隐藏输出层中,得到上文向量、歧义词向量和下文向量;
其中,所述候选词预测模块对所述向量数据集执行矩阵转换处理,得到目标向量相关矩阵,包括:
所述候选词预测模块对所述向量数据集进行位置编码处理,得到位置向量集;
所述候选词预测模块将所述位置向量集转换为位置向量矩阵,并根据所述位置向量矩阵的维度生成分类矩阵;
所述候选词预测模块根据所述位置向量矩阵、所述分类矩阵和预设的激活函数计算得到所述位置向量集对应的原始向量相关矩阵;
所述候选词预测模块利用所述原始向量相关矩阵和所述位置向量矩阵调节预构建的前馈神经网络中的迭代权重因子,得到目标向量相关矩阵。
5.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-3任一项所述的词义消歧方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-3任一项所述的词义消歧方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111249932.6A CN113704416B (zh) | 2021-10-26 | 2021-10-26 | 词义消歧方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111249932.6A CN113704416B (zh) | 2021-10-26 | 2021-10-26 | 词义消歧方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113704416A CN113704416A (zh) | 2021-11-26 |
CN113704416B true CN113704416B (zh) | 2022-03-04 |
Family
ID=78647043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111249932.6A Active CN113704416B (zh) | 2021-10-26 | 2021-10-26 | 词义消歧方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113704416B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114330359A (zh) * | 2021-11-30 | 2022-04-12 | 青岛海尔科技有限公司 | 语义识别方法、装置及电子设备 |
CN114707489B (zh) * | 2022-03-29 | 2023-08-18 | 马上消费金融股份有限公司 | 标注数据集获取方法、装置、电子设备及存储介质 |
CN114818736B (zh) * | 2022-05-31 | 2023-06-09 | 北京百度网讯科技有限公司 | 文本处理方法、用于短文本的链指方法、装置及存储介质 |
CN117725204A (zh) * | 2022-09-07 | 2024-03-19 | 马上消费金融股份有限公司 | 对话意图歧义消除方法及装置 |
CN117892735B (zh) * | 2024-03-14 | 2024-07-02 | 中电科大数据研究院有限公司 | 一种基于深度学习的自然语言处理方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107102989A (zh) * | 2017-05-24 | 2017-08-29 | 南京大学 | 一种基于词向量、卷积神经网络的实体消歧方法 |
CN110555208A (zh) * | 2018-06-04 | 2019-12-10 | 北京三快在线科技有限公司 | 一种信息查询中的歧义消除方法、装置及电子设备 |
US20200073996A1 (en) * | 2018-08-28 | 2020-03-05 | Stitched.IO Limited | Methods and Systems for Domain-Specific Disambiguation of Acronyms or Homonyms |
US10733383B1 (en) * | 2018-05-24 | 2020-08-04 | Workday, Inc. | Fast entity linking in noisy text environments |
CN112784604A (zh) * | 2021-02-08 | 2021-05-11 | 哈尔滨工业大学 | 一种基于实体边界网络的实体链接方法 |
CN113158687A (zh) * | 2021-04-29 | 2021-07-23 | 新声科技(深圳)有限公司 | 语义的消歧方法及装置、存储介质、电子装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726385A (zh) * | 2017-10-31 | 2019-05-07 | 株式会社Ntt都科摩 | 词义消歧方法和设备、词义扩展方法和装置 |
CN112906397B (zh) * | 2021-04-06 | 2021-11-19 | 南通大学 | 一种短文本实体消歧方法 |
-
2021
- 2021-10-26 CN CN202111249932.6A patent/CN113704416B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107102989A (zh) * | 2017-05-24 | 2017-08-29 | 南京大学 | 一种基于词向量、卷积神经网络的实体消歧方法 |
US10733383B1 (en) * | 2018-05-24 | 2020-08-04 | Workday, Inc. | Fast entity linking in noisy text environments |
CN110555208A (zh) * | 2018-06-04 | 2019-12-10 | 北京三快在线科技有限公司 | 一种信息查询中的歧义消除方法、装置及电子设备 |
US20200073996A1 (en) * | 2018-08-28 | 2020-03-05 | Stitched.IO Limited | Methods and Systems for Domain-Specific Disambiguation of Acronyms or Homonyms |
CN112784604A (zh) * | 2021-02-08 | 2021-05-11 | 哈尔滨工业大学 | 一种基于实体边界网络的实体链接方法 |
CN113158687A (zh) * | 2021-04-29 | 2021-07-23 | 新声科技(深圳)有限公司 | 语义的消歧方法及装置、存储介质、电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113704416A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113704416B (zh) | 词义消歧方法、装置、电子设备及计算机可读存储介质 | |
CN107291693B (zh) | 一种改进词向量模型的语义计算方法 | |
Ma et al. | Simplify the usage of lexicon in Chinese NER | |
CN108363790B (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
CN109657239B (zh) | 基于注意力机制和语言模型学习的中文命名实体识别方法 | |
CN108984526B (zh) | 一种基于深度学习的文档主题向量抽取方法 | |
CN110245229B (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
CN108446271B (zh) | 基于汉字部件特征的卷积神经网络的文本情感分析方法 | |
CN106980683B (zh) | 基于深度学习的博客文本摘要生成方法 | |
CN111209738B (zh) | 一种联合文本分类的多任务命名实体识别方法 | |
Paulus et al. | Global belief recursive neural networks | |
Hsu et al. | A hybrid CNN-RNN alignment model for phrase-aware sentence classification | |
CN107025284A (zh) | 网络评论文本情感倾向的识别方法及卷积神经网络模型 | |
KR101715118B1 (ko) | 문서 감정 분류용 딥러닝 인코딩 장치 및 방법. | |
CN107273913B (zh) | 一种基于多特征融合的短文本相似度计算方法 | |
CN113591483A (zh) | 一种基于序列标注的文档级事件论元抽取方法 | |
CN110969020A (zh) | 基于cnn和注意力机制的中文命名实体识别方法、***及介质 | |
Jungiewicz et al. | Towards textual data augmentation for neural networks: synonyms and maximum loss | |
CN109815400A (zh) | 基于长文本的人物兴趣提取方法 | |
Almutiri et al. | Markov models applications in natural language processing: a survey | |
CN111368542A (zh) | 一种基于递归神经网络的文本语言关联抽取方法和*** | |
CN111507093A (zh) | 一种基于相似字典的文本攻击方法、装置及存储介质 | |
CN115168574A (zh) | 一种多价值链问题文本分类方法和装置 | |
CN112860896A (zh) | 语料泛化方法及用于工业领域的人机对话情感分析方法 | |
CN114417851A (zh) | 一种基于关键词加权信息的情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |