CN111859933B - 马来语识别模型的训练方法、识别方法、装置、设备 - Google Patents

马来语识别模型的训练方法、识别方法、装置、设备 Download PDF

Info

Publication number
CN111859933B
CN111859933B CN202010393898.9A CN202010393898A CN111859933B CN 111859933 B CN111859933 B CN 111859933B CN 202010393898 A CN202010393898 A CN 202010393898A CN 111859933 B CN111859933 B CN 111859933B
Authority
CN
China
Prior art keywords
maleic
language
trained
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010393898.9A
Other languages
English (en)
Other versions
CN111859933A (zh
Inventor
付颖雯
林楠铠
蒋盛益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Foreign Studies
Original Assignee
Guangdong University of Foreign Studies
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Foreign Studies filed Critical Guangdong University of Foreign Studies
Priority to CN202010393898.9A priority Critical patent/CN111859933B/zh
Publication of CN111859933A publication Critical patent/CN111859933A/zh
Application granted granted Critical
Publication of CN111859933B publication Critical patent/CN111859933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种马来语识别模型的训练方法，包括：从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子；根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息；根据预设的Bi‑LSTM模型对所述语义信息进行编码；将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型。本发明实施例还提供了一种马来语的识别方法、装置、设备及介质，有效解决现有技术马来语识别的准确性较差的问题。

Description

马来语识别模型的训练方法、识别方法、装置、设备
技术领域
本发明涉及马来语识别技术领域，尤其涉及一种马来语识别模型的训练方法、识别方法、装置、设备。
背景技术
目前，马来西亚语可以通过三种方式进行识别。一是基于领域规则进行识别；二是基于统计机器学习进行识别，三是基于规则和统计相结合进行识别。
但是，基于规则的识别方法需要构建复杂的规则来实现，需要花费大量的人力物力，通常需要经过多次测评和反复修正来完善规则。所制定出的规则往往只能在相对应的领域有很好的效果，如果变换领域则有可能无法满足需求；而基于统计机器学习的统计模型在特征学习方面缺少泛化能力，不同领域的模型无法通用；而基于规则和统计相结合的识别方法虽然可以弥补上述两种方法的缺陷，但是依然无法很好的识别词性不同的同一单词，例如在两个句子中，“我正在吃一个苹果”和“我有一个苹果手机”，两个“苹果”指向完全不同的事物，但是它们仍然共享相同的词向量，可见目前马来语识别的准确性较差。
发明内容
本发明实施例提供一种马来语识别模型的训练方法、马来语的识别方法、装置、设备及介质，能有效解决现有技术马来语识别的准确性较差的问题。
本发明一实施例提供一种马来语识别模型的训练方法，包括：
从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子；
根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息；
根据预设的Bi-LSTM模型对所述语义信息进行编码；
将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型。
作为上述方案的改进，所述根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息，具体包括：
根据词向量提取模型获取所述待训练的马来语句子对应的词向量特征信息；
根据卷积神经网络提取所述待训练的马来语句子对应的文本特征信息。
作为上述方案的改进所述根据预设的Bi-LSTM模型对所述语义信息进行编码，具体包括：
前向LSTM层对词向量特征信息进行编码，后向LSTM层对文本特征信息进行编码；
将编码后的词向量特征信息与编码后的文本特征信息进行拼接处理，获得编码后的语义信息。
作为上述方案的改进，所述将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型，具体包括：
将所述编码后的语义信息分别输入至所述词性标注任务模块的Multi-headSelf-Attention层，再输入至对应的损失函数进行计算，得到第一损失值；
将所述编码后的语义信息分别输入至所述命名实体识别任务模块的Multi-headSelf-Attention层，再输入至对应的损失函数进行计算，得到第二一损失值；
根据所述损失值及预设的训练次数进行马来语识别模型训练，获取训练完成的马来语识别模型。
本发明另一实施例对应提供了一种马来语的识别方法，包括：
获取训练完成的马来语识别模型；其中，所述训练完成的马来语识别模型通过含有词性不同的同一单词的马来语句子进行训练；
根据所述训练完成的马来语识别模型，对待处理的马来语句子进行识别，得到所述待处理的马来语句子对应的命名实体。
本发明另一实施例对应提供了一种马来语识别模型的训练装置，包括：
第一获取模块，用于从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子；
信息提取模块，用于根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息；
编码模块，用于根据预设的Bi-LSTM模型对所述语义信息进行编码；
训练模块，用于将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型。
本发明另一实施例提供了一种马来语的识别装置，包括：
第二获取模块，用于获取训练完成的马来语识别模型；其中，所述训练完成的马来语识别模型通过含有词性不同的同一单词的马来语句子进行训练；
识别模块，用于根据所述训练完成的马来语识别模型，对待处理的马来语句子进行识别，得到所述待处理的马来语句子对应的命名实体。
本发明另一实施例提供了一种马来语识别模型的训练设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的马来语识别模型的训练方法。
本发明另一实施例提供了一种存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的马来语识别模型的训练方法。
实施本发明实施例具有如下有益效果：
首先获取包含词性不同的同一单词的马来语句子，再根据预设的马来语信息提取模型获取马来语句子对应的语义信息；其中，所述特征信息包括词向量特征信息以及文本特征信息，根据预设的Bi-LSTM模型对所述语义信息进行编码，最后将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型，而训练完成的马来语识别模型可以对马来语句子进行识别得到对应的命名实体，从而在同一单词在不同领域时也可以很好的被识别，提高马来语识别的准确性。
附图说明
图1是本发明一实施例提供的一种马来语识别模型的训练方法的流程示意图；
图2是本发明一实施例提供的卷积神经网络计算的示意图；
图3是本发明一实施例提供的Bi-LSTM模型的示意图；
图4是本发明一实施例提供的一种马来语的识别方法的流程示意图；
图5是本发明一实施例提供的一种马来语识别模型的训练装置的结构示意图；
图6是本发明一实施例提供的一种马来语的识别装置的结构示意图；
图7是本发明一实施例提供的一种马来语识别模型的训练设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种马来语识别模型的训练的流程示意图。
本发明一实施例提供一种马来语识别模型的训练方法，包括：
S10，从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子。
需要说明的是，通过爬取了大量马来语新闻，这些新闻涵盖了政治、金融、社会、军事等各个主体来获取原始的马来语料。其中，新闻网站包括：http://www.bharian.com.my/、http://www.utusan.com.my/、http://www.theborneopost.com/、http://www.malaysiakini.com/bm、http://www.hmetro.com.my/。从DBpedia以及获取的原始的马来语料中收集大量的命名实体实例，构建预设的马来语数据库。用上述语料库进行马来语识别模型的训练和测试；对测试结果和原语料库有差异的句子进行人工审核。为了保证审核的质量，每个待审核的句子都由多名审核员进行审核，将审核结果放入马来语识别模型中进行训练，相互迭代，最终同时提高马来语数据库的质量。
S20，根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息。
具体地，由于马来语属于黏着型语言，因此字符级的特征可以反映马来语词汇的形态特征。又由于同一单词在不同的领域下具有不同的含义，因此，需要提取词向量特征信息以及文本特征信息，从而更好的对单词的进行识别。
S30，根据预设的Bi-LSTM模型对所述语义信息进行编码。
需要说明的是，Bi-LSTM模型可以同时从多方向获取信息，因此采用Bi-LSTM模型进行编码，使得结果更加准确。
S40，将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型。
具体地，由于两个任务在每轮迭代中交替训练，不仅提高模型的训练速度，还提高命名实体识别任务的性能。
综上所述，首先获取包含词性不同的同一单词的马来语句子，再根据预设的马来语信息提取模型获取马来语句子对应的语义信息；其中，所述特征信息包括词向量特征信息以及文本特征信息，根据预设的Bi-LSTM模型对所述语义信息进行编码，最后将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型，而训练完成的马来语识别模型可以对马来语句子进行识别得到对应的命名实体，从而在同一单词在不同领域时也可以很好的被识别，提高马来语识别的准确性。
在上述实施例中，优选地，所述根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息，步骤S20具体包括：
S201，根据词向量提取模型获取所述待训练的马来语句子对应的词向量特征信息。
在本实施例中，通过GloVe提取静态词向量，通过BERT提取动态词向量，并将静态词向量与动态词向量相结合形成词向量特征信息。
S202，根据卷积神经网络提取所述待训练的马来语句子对应的文本特征信息。
在本实施例中，参见图2，基于GLU模型的卷积结构包括两个部分：一个简单的一维卷积以及一个使用sigmoid函数激活的一维卷积。同时采用一个残差结构使字符信息可以在多通道传输：
X是一个单词的字符嵌入，是点乘操作。“门”结构σ(Conv1 D2(X))相当于给Conv1 D1(X)的每个输出都加了一个“阀门”来控制流量。而残差与门卷积的结合，达到多通道传输的效果。
在上述实施例中，优选地，所述根据预设的Bi-LSTM模型对所述语义信息进行编码，步骤S30具体包括：
S301，前向LSTM层对词向量特征信息进行编码，后向LSTM层对文本特征信息进行编码。
S302，将编码后的词向量特征信息与编码后的文本特征信息进行拼接处理，获得编码后的语义信息。
具体地，参见图3，若将词向量特征信息表示为h，文本特征信息表示为x，采用Bi-LSTM模型可以从前向、后向对句子进行建模，不仅可以保存前文信息，还可以考虑到后文信息。
在上述实施例中，优选地，所述将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型，步骤S40具体包括：
S401，将所述编码后的语义信息分别输入至所述词性标注任务模块的Multi-headSelf-Attention层，再输入至对应的损失函数进行计算，得到第一损失值。
S402，将所述编码后的语义信息分别输入至所述命名实体识别任务模块的Multi-head Self-Attention层，再输入至对应的损失函数进行计算，得到第二一损失值。
需要说明的是，Multi-head Self-Attention机制进一步利用不同的Self-Attention机制获得文本中每个字在不同语义空间下的增强语义向量，并将每个字的多个增强语义向量进行线性组合，从而获得一个最终的与原始字向量长度相同的增强语义向量。其中，Self-Attention机制为一个序列每个字符对其上下文字符的影响作用都不同，每个字对序列的语义信息贡献也不同，可以通过self-attention机制将原输入序列中字符向量通过加权融合序列中所有字符的语义向量信息来产生新的向量，即增强了原语义信息。
S403，根据所述损失值及预设的训练次数进行马来语识别模型训练，获取训练完成的马来语识别模型。可以理解的是，预设的训练次数可以根据需要进行设置，在此不做限定。
具体地，在本实施例中，损失函数为softmax函数。
公式中的LossPOS是词性标注的损失值，LossNER是命名实体识别任务的损失值。
由于在不同的任务中标注相同的单词可能取决于不同的信息，因此在上下文Bi-LSTM模型上为不同的任务分别接一个Multi-head Self-Attention层，然后再附加一个损失函数，有效地提高命名实体识别任务的性能。又由于两个任务在每轮迭代中交替训练，不仅提高模型的训练速度，还提高命名实体识别的准确性。
参见图4，是本发明一实施例提供的一种马来语的识别方法的流程示意图。
本发明实施例对应提供了一种马来语的识别方法，包括：
S1，获取训练完成的马来语识别模型；其中，所述训练完成的马来语识别模型通过含有词性不同的同一单词的马来语句子进行训练；
S2，根据所述训练完成的马来语识别模型，对待处理的马来语句子进行识别，得到所述待处理的马来语句子对应的命名实体。
需要说明的是，所述马来语识别模型的训练方法，包括：
S10，从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子。
S20，根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述特征信息包括词向量特征信息以及文本特征信息；
S30，根据预设的Bi-LSTM模型对所述语义信息进行编码。
S40，将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型。
本发明实施例对应提供了一种马来语的识别方法，由于训练完成的马来语识别模型可以对马来语句子进行识别得到对应的命名实体，从而在同一单词在不同领域时也可以很好的被识别，提高马来语识别的准确性。
参见图5，是本发明一实施例提供的一种马来语识别模型的训练装置的结构示意图。
本发明实施例对应提供了一种马来语识别模型的训练装置，包括：
第一获取模块10，用于从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子。
信息提取模块20，用于根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息。
编码模块30，用于根据预设的Bi-LSTM模型对所述语义信息进行编码。
训练模块40，用于将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型。
本发明实施例提供了一种马来语识别模型的训练装置，首先获取包含词性不同的同一单词的马来语句子，再根据预设的马来语信息提取模型获取马来语句子对应的语义信息；其中，所述特征信息包括词向量特征信息以及文本特征信息，根据预设的Bi-LSTM模型对所述语义信息进行编码，最后将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型，而训练完成的马来语识别模型可以对马来语句子进行识别得到对应的命名实体，从而在同一单词在不同领域时也可以很好的被识别，提高马来语识别的准确性。
参见图6，是本发明一实施例提供的一种马来语的识别装置的结构示意图。
本发明实施例提供了一种马来语的识别装置，包括：
第二获取模块1，用于获取训练完成的马来语识别模型；其中，所述训练完成的马来语识别模型通过含有词性不同的同一单词的马来语句子进行训练。
识别模块2，用于根据所述训练完成的马来语识别模型，对待处理的马来语句子进行识别，得到所述待处理的马来语句子对应的命名实体。
本发明实施例对应提供了一种马来语的识别装置，由于训练完成的马来语识别模型可以对马来语句子进行识别得到对应的命名实体，从而在同一单词在不同领域时也可以很好的被识别，提高马来语识别的准确性。
参见图7，是本发明一实施例提供的马来语识别模型的训练设备的示意图。该实施例的马来语识别模型的训练设备包括：处理器11、存储器12以及存储在所述存储器12中并可在所述处理器11上运行的计算机程序。所述处理器11执行所述计算机程序时实现上述各个印尼语的语法纠错方法实施例中的步骤。或者，所述处理器11执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器11执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述印尼语的语法纠错设备中的执行过程。
所述马来语识别模型的训练设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述马来语识别模型的训练设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是马来语识别模型的训练设备的示例，并不构成对马来语识别模型的训练设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述马来语识别模型的训练设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述马来语识别模型的训练设备的控制中心，利用各种接口和线路连接整个马来语识别模型的训练设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述马来语识别模型的训练设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述马来语识别模型的训练设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种马来语识别模型的训练方法，其特征在于，包括：
从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子；
根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息，具体包括：根据词向量提取模型获取所述待训练的马来语句子对应的词向量特征信息，具体为：通过GloVe提取所述待训练的马来语句子对应的静态词向量，通过BERT提取所述待训练的马来语句子对应的动态词向量，并将所述静态词向量与动态词向量相结合形成所述词向量特征信息；根据卷积神经网络提取所述待训练的马来语句子对应的文本特征信息，具体为：通过GLU模型的卷积结构提取所述待训练的马来语句子对应的文本特征信息，结合残差结构结合使所述文本特征信息多通道传输，所述卷积结构包括一个简单的一维卷积以及一个使用sigmoid函数激活的一维卷积，所述一个简单的一维卷积以及一个使用sigmoid函数激活的一维卷积，采用一个残差结构使字符信息在多通道传输：
Y为X的多通道传输输出；X是一个单词的字符嵌入；Conv11为所述一个简单的一维卷积；是点乘操作；“门”结构σ(Conv12())相当于给Conv11()的每个输出都加了一个“阀门”来控制流量；Conv12为所述一个使用sigmoid函数激活的一维卷积；
根据预设的Bi-LSTM模型对所述语义信息进行编码；
将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型，具体包括：将所述编码后的语义信息分别输入至所述词性标注任务模块的Multi-head Self-Attention层，再输入至对应的损失函数进行计算，得到第一损失值；将所述编码后的语义信息分别输入至所述命名实体识别任务模块的Multi-head Self-Attention层，再输入至对应的损失函数进行计算，得到第二一损失值；根据所述损失值及预设的训练次数进行马来语识别模型训练，获取训练完成的马来语识别模型。
2.如权利要求1所述的马来语识别模型的训练方法，其特征在于，所述根据预设的Bi-LSTM模型对所述语义信息进行编码，具体包括：
前向LSTM层对词向量特征信息进行编码，后向LSTM层对文本特征信息进行编码；
将编码后的词向量特征信息与编码后的文本特征信息进行拼接处理，获得编码后的语义信息。
3.一种马来语的识别方法，其特征在于，包括：
获取训练完成的马来语识别模型；其中，所述训练完成的马来语识别模型采用权利要求1-2任一项所述的马来语识别模型的训练方法通过含有词性不同的同一单词的马来语句子进行训练；
根据所述训练完成的马来语识别模型，对待处理的马来语句子进行识别，得到所述待处理的马来语句子对应的命名实体。
4.一种马来语识别模型的训练装置，其特征在于，包括：
第一获取模块，用于从预设的马来语数据库中获取至少一个待训练的马来语句子；其中，词性不同的同一单词应用于所述待训练的马来语句子；
信息提取模块，用于根据预设的马来语信息提取模型获取所述待训练的马来语句子对应的语义信息；其中，所述语义信息包括词向量特征信息以及文本特征信息，具体包括：根据词向量提取模型获取所述待训练的马来语句子对应的词向量特征信息，具体为：通过GloVe提取所述待训练的马来语句子对应的静态词向量，通过BERT提取所述待训练的马来语句子对应的动态词向量，并将所述静态词向量与动态词向量相结合形成所述词向量特征信息；根据卷积神经网络提取所述待训练的马来语句子对应的文本特征信息，具体为：通过GLU模型的卷积结构提取所述待训练的马来语句子对应的文本特征信息，结合残差结构结合使所述文本特征信息多通道传输，所述卷积结构包括一个简单的一维卷积以及一个使用sigmoid函数激活的一维卷积，所述一个简单的一维卷积以及一个使用sigmoid函数激活的一维卷积，采用一个残差结构使字符信息在多通道传输：
Y为X的多通道传输输出；X是一个单词的字符嵌入；Conv11为所述一个简单的一维卷积；是点乘操作；“门”结构σ(Conv12())相当于给Conv11()的每个输出都加了一个“阀门”来控制流量；Conv12为所述一个使用sigmoid函数激活的一维卷积；
编码模块，用于根据预设的Bi-LSTM模型对所述语义信息进行编码；
训练模块，用于将编码后的语义信息分别输入至词性标注任务模块以及命名实体识别任务模块进行训练，获取训练完成的马来语识别模型，具体包括：将所述编码后的语义信息分别输入至所述词性标注任务模块的Multi-head Self-Attention层，再输入至对应的损失函数进行计算，得到第一损失值；将所述编码后的语义信息分别输入至所述命名实体识别任务模块的Multi-head Self-Attention层，再输入至对应的损失函数进行计算，得到第二一损失值；根据所述损失值及预设的训练次数进行马来语识别模型训练，获取训练完成的马来语识别模型。
5.一种马来语的识别装置，其特征在于，包括：
第二获取模块，用于获取训练完成的马来语识别模型；其中，所述训练完成的马来语识别模型采用权利要求1-2任一项所述的马来语识别模型的训练方法通过含有词性不同的同一单词的马来语句子进行训练；
识别模块，用于根据所述训练完成的马来语识别模型，对待处理的马来语句子进行识别，得到所述待处理的马来语句子对应的命名实体。
6.一种马来语识别模型的训练设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至2中任意一项所述的马来语识别模型的训练方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至2中任意一项所述的马来语识别模型的训练方法。
CN202010393898.9A 2020-05-11 2020-05-11 马来语识别模型的训练方法、识别方法、装置、设备 Active CN111859933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010393898.9A CN111859933B (zh) 2020-05-11 2020-05-11 马来语识别模型的训练方法、识别方法、装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010393898.9A CN111859933B (zh) 2020-05-11 2020-05-11 马来语识别模型的训练方法、识别方法、装置、设备

Publications (2)

Publication Number Publication Date
CN111859933A CN111859933A (zh) 2020-10-30
CN111859933B true CN111859933B (zh) 2023-08-22

Family

ID=72985729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010393898.9A Active CN111859933B (zh) 2020-05-11 2020-05-11 马来语识别模型的训练方法、识别方法、装置、设备

Country Status (1)

Country Link
CN (1) CN111859933B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435582B (zh) * 2021-06-30 2023-05-30 平安科技（深圳）有限公司 基于句向量预训练模型的文本处理方法及相关设备
CN114818666B (zh) * 2022-04-26 2023-03-28 广东外语外贸大学 一种汉语语法纠错的评估方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
CN108615036A (zh) * 2018-05-09 2018-10-02 中国科学技术大学 一种基于卷积注意力网络的自然场景文本识别方法
CN109800768A (zh) * 2018-12-15 2019-05-24 中国人民解放军陆军工程大学 半监督gan的散列特征表示学习方法
CN110287479A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质
CN110609899A (zh) * 2019-08-29 2019-12-24 成都信息工程大学 一种基于改进bert模型的特定目标情感分类方法
CN110781305A (zh) * 2019-10-30 2020-02-11 北京小米智能科技有限公司 基于分类模型的文本分类方法及装置，以及模型训练方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030414B2 (en) * 2017-12-26 2021-06-08 The Allen Institute For Artificial Intelligence System and methods for performing NLP related tasks using contextualized word representations
US11138392B2 (en) * 2018-07-26 2021-10-05 Google Llc Machine translation using neural network models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
CN108615036A (zh) * 2018-05-09 2018-10-02 中国科学技术大学 一种基于卷积注意力网络的自然场景文本识别方法
CN109800768A (zh) * 2018-12-15 2019-05-24 中国人民解放军陆军工程大学 半监督gan的散列特征表示学习方法
CN110287479A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质
CN110609899A (zh) * 2019-08-29 2019-12-24 成都信息工程大学 一种基于改进bert模型的特定目标情感分类方法
CN110781305A (zh) * 2019-10-30 2020-02-11 北京小米智能科技有限公司 基于分类模型的文本分类方法及装置，以及模型训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
买买提阿依甫 ; 吾守尔・斯拉木 ; 帕丽旦・木合塔尔 ; 杨文忠 ; .基于BiLSTM-CNN-CRF模型的维吾尔文命名实体识别.计算机工程.2018,(第08期),第1-7页. *

Also Published As

Publication number Publication date
CN111859933A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN107704625B (zh) 字段匹配方法和装置
CN111695352A (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
US20200042613A1 (en) Processing an incomplete message with a neural network to generate suggested messages
CN110288980A (zh) 语音识别方法、模型的训练方法、装置、设备及存储介质
CN111460812B (zh) 语句情感分类方法及相关设备
CN111859933B (zh) 马来语识别模型的训练方法、识别方法、装置、设备
CN111368037A (zh) 基于Bert模型的文本相似度计算方法和装置
CN111339775A (zh) 命名实体识别方法、装置、终端设备及存储介质
CN116303537A (zh) 数据查询方法及装置、电子设备、存储介质
CA3232610A1 (en) Convolution attention network for multi-label clinical document classification
CN112487813B (zh) 命名实体识别方法及***、电子设备及存储介质
CN111898363B (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
CN111126056B (zh) 一种识别触发词的方法及装置
US20230153550A1 (en) Machine Translation Method and Apparatus, Device and Storage Medium
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN113434630B (zh) 客服服务评估方法、装置、终端设备及介质
CN112988996B (zh) 知识库生成方法、装置、设备及存储介质
CN111767710B (zh) 印尼语的情感分类方法、装置、设备及介质
CN115186666A (zh) 一种命名实体识别方法、装置、电子设备及存储介质
CN112036183B (zh) 基于BiLSTM网络模型及CRF模型的分词方法、装置、计算机装置及计算机存储介质
CN114021555A (zh) 知识点自动标注的方法、装置、设备及可读存储介质
CN113657092A (zh) 识别标签的方法、装置、设备以及介质
CN113239693A (zh) 意图识别模型的训练方法、装置、设备及存储介质
CN113283229B (zh) 文本相似度计算方法、装置、电子设备及存储介质
CN117609444B (zh) 一种基于大模型的搜索问答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant