CN108549703A - 一种基于循环神经网络的蒙古语语言模型的训练方法 - Google Patents

一种基于循环神经网络的蒙古语语言模型的训练方法 Download PDF

Info

Publication number
CN108549703A
CN108549703A CN201810345632.XA CN201810345632A CN108549703A CN 108549703 A CN108549703 A CN 108549703A CN 201810345632 A CN201810345632 A CN 201810345632A CN 108549703 A CN108549703 A CN 108549703A
Authority
CN
China
Prior art keywords
mongol
term vector
hot
language model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810345632.XA
Other languages
English (en)
Other versions
CN108549703B (zh
Inventor
马杰
马志强
杨瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN201810345632.XA priority Critical patent/CN108549703B/zh
Publication of CN108549703A publication Critical patent/CN108549703A/zh
Application granted granted Critical
Publication of CN108549703B publication Critical patent/CN108549703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明在原有的N‑Gram、NNLM、RNNLM语言模型的基础上提供了一种基于DNN的蒙古语声学模型并公开了其训练方法。本发明在输入层引入上下文词向量和含有语义信息类别的词向量，不仅可以学习到更长距离的历史信息，同时也注入了相关的语义类别信息，有效的解决了现有的语言模型主要存在的问题。

Description

一种基于循环神经网络的蒙古语语言模型的训练方法
技术领域
本发明属于蒙古语语音识别领域，具体涉及一种基于循环神经网络的蒙古语语言模型的训练方法。
背景技术
语言模型被广泛应用在自然语言处理中，如语音识别、机器翻译、问答***等应用中。语言模型是通过识别语言中允许出现词序列的先验概率进行建模，为词序列提供语法和句法约束。基于原有的N-Gram语言模型，逐步发展出NNLM、RNNLM等多种模型，缺乏对长距离信息的描述能力和缺乏语义信息的注入，是现有的语言模型主要存在的问题。
发明内容
由于基于循环神经网络的语言模型能更好地避免数据稀疏、长距离依赖欠佳的缺陷，因此本发明提供了一种基于循环神经网络的蒙古语语言模型(MLMRNN)，在输入层引入上下文词向量和含有语义信息类别的词向量，不仅可以学习到更长距离的历史信息，同时也注入了相关的语义类别信息，本发明的主要内容包括：1、模型构建
MLMRNN模型结构包括输入层、隐含层和输出层，输入层是x(t)，隐含层是s(t)，输出层是y(t)。在t时刻，输入向量x(t)包括三部分，分别是w(t)，s(t-1)和f(t)，其中w(t)代表t时刻输入的词的one-hot词向量表示；s(t-1)为t-1时刻隐含层的输出；f(t)为t时刻Skip-Gram训练出的上下文词向量，维度远小于|V|；隐含层为s(t)；输出向量用y(t)表示，包括两部分，一部分是类别层神经元，另一部分是蒙古语词神经元，c(t)为对词汇表进行的词向量的聚类的类别层，输出向量y(t)即表示下一个词w(t+1)的概率。
网络中，U、W、F为输入层与隐含层之间的权值矩阵，C为隐含层与类别层的权值矩阵，在输出层计算的时候先算词类的概率分布，再从所需的词类中计算特定词的概率，计算输出层的结果需要用到类别的输出结果。网络中各层输出值用表示为：
x(t)＝w(t)+s(t-1)+f(t) (1)
s(t)＝f(U·w(t)+W·s(t-1)+F·f(t)) (2)
c(t)＝g(C·s(t)) (3)
y(t)＝g(V′·s(t)) (4)
其中V′∈R(c(w(t)))，R(c(w(t))表示w(t)所属的聚类的词集合，f表示sigmoid激活函数，g表示softmax激活函数。
2、模型预训练
在MLMRNN的预训练阶段，使用Word2vec+k-means算法得到蒙古语词表中的蒙古语词及其所属的语义类别，并设计了基于one-hot的蒙古语语义词向量，蒙古语语义词向量是根据不同的语义类别下的蒙古语词的个数，作为每个语义类别下的蒙古语词向量的维度，依次按照语义类别进行词向量的编码，编码完成语义类别1下的所有蒙古语词后，继续进行语义类别2下的所有蒙古语词的词向量编码，直至完成所有语义类别下的蒙古语词编码，编码格式同one-hot编码格式相同。
当对MLMRNN进行训练和计算时，对每个输入的蒙古语词，根据类别信息创建基于one-hot的语义词向量，作为输入层进行计算。根据语义分为k类，基于one-hot的蒙古语语义词向量创建算法如下：
3、模型的训练算法
wt表示t时刻的当前输入蒙古语基于one-hot的语义词向量，维度是词典V的大小。ft表示t时刻预训练的蒙古语Skip-Gram词向量，维度为M(M＜V)
附图说明
图1为MLMRNN模型结构图
图2为蒙古语词义词向量的表示
图3为MLMRNN网络结构
图4训练集下不同隐含层节点数的语言模型的困惑度
图5测试集下不同隐含层节点数的语言模型的困惑度
图6训练集下不同bptt值的语言模型性能的困惑度
图7测试集下不同bptt值的语言模型性能的困惑度
图8语言模型困惑度降低率
实施方式
1、模型构建
MLMRNN模型结构包括输入层、隐含层和输出层，输入层是x(t)，隐含层是s(t)，输出层是y(t)。在t时刻，输入向量x(t)包括三部分，分别是w(t)，s(t-1)和f(t)，其中w(t)代表t时刻输入的词的one-hot词向量表示；s(t-1)为t-1时刻隐含层的输出；f(t)为t时刻Skip-Gram训练出的上下文词向量，维度远小于|V|；隐含层为s(t)；输出向量用y(t)表示，包括两部分，一部分是类别层神经元，另一部分是蒙古语词神经元，c(t)为对词汇表进行的词向量的聚类的类别层，输出向量y(t)即表示下一个词w(t+1)的概率。
网络中，U、W、F为输入层与隐含层之间的权值矩阵，C为隐含层与类别层的权值矩阵，在输出层计算的时候先算词类的概率分布，再从所需的词类中计算特定词的概率，计算输出层的结果需要用到类别的输出结果。网络中各层输出值用表示为：
x(t)＝w(t)+s(t-1)+f(t) (1)
s(t)＝f(U·w(t)+W·s(t-1)+F·f(t)) (2)
c(t)＝g(C·s(t)) (3)
y(t)＝g(V′·s(t)) (4)
其中V′∈R(c(w(t)))，R(c(w(t))表示w(t)所属的聚类的词集合，f表示sigmoid激活函数，g表示softmax激活函数。
2、模型预训练
在MLMRNN的预训练阶段，使用Word2vec+k-means算法得到蒙古语词表中的蒙古语词及其所属的语义类别，并设计了基于one-hot的蒙古语语义词向量，蒙古语语义词向量是根据不同的语义类别下的蒙古语词的个数，作为每个语义类别下的蒙古语词向量的维度，依次按照语义类别进行词向量的编码，编码完成语义类别1下的所有蒙古语词后，继续进行语义类别2下的所有蒙古语词的词向量编码，直至完成所有语义类别下的蒙古语词编码，编码格式同one-hot编码格式相同。
当对MLMRNN进行训练和计算时，对每个输入的蒙古语词，根据类别信息创建基于one-hot的语义词向量，作为输入层进行计算。根据语义分为k类，基于one-hot的蒙古语语义词向量创建算法如下：
3、模型的训练算法
wt表示t时刻的当前输入蒙古语基于one-hot的语义词向量，维度是词典V的大小。ft表示t时刻预训练的蒙古语Skip-Gram词向量，维度为M(M＜V)
4、实验及结果
4.1实验设计
为了验证提出的MLMRNN蒙古语语言模型的有效性，设计了以下实验：
(1)通过测试不同隐含层节点数和bptt值下的语言模型困惑度，开展隐含层节点数和bptt值对语言模型影响的实验研究，并取困惑度最低的语言模型的隐含层节点数作为后续实验的参数。
(2)通过(1)得到在语言模型的最优参数后，取相同的参数，进行对比实验，分别是①引入蒙古语的Skip-Gram词向量，即RNNLM+SK；②使用基于one-hot的蒙古语语义词向量，即KC+RNNLM；③入蒙古语的Skip-Gram词向量，并使用基于one-hot的蒙古语语义词向量，即MLMRNN，最后同基于N-Gram的蒙古语语言模型在困惑度上进行比较。
4.2实验设置
实验训练数据来源于前期工作的蒙古语语料，共8000个蒙古语句子，按照3:1的比例将语料分为训练集和测试集，即6000个句子用来进行模型训练，另外的2000句用来对模型困惑度测试，基于循环神经网络的蒙古语语言模型训练时隐含层的节点数共设7组进行比较。在进行对比实验时，采用同样的训练及测试数据集，词汇表为11940个词，实验中采用Google的word2vec工具的Skip-Gram模型在训练集上得到维数为50，窗长为2的对应的蒙古语词向量。
本实验采取的评价指标是语言模型的困惑度，是评测语言模型性能时最常用到的指标。困惑度表示的意义是语言模型在预测某种语言现象时，每个词后的候选词的几何平均数。困惑度越低，语言模型对上下文的约束能力越强，说明其对语言的表述能力越强，因而具有更好的模型性能。实验将蒙古语词根据语义相似度分为10类，故实验中设定类别个数为10，隐含层节点数通过对比实验确定PPL最小的隐含层节点数，其他参数设置为bptt3，bptt-block3，class10。
4.3结果
(1)隐含层节点数对语言模型性能的影响
在训练语言模型时，隐含层节点数对语言模型的影响起着重要的作用，这里通过调节隐含层节点数，测试隐含层节点数对不同语言模型的困惑度的影响，分别设置6组不同的隐含层节点数50、100、150、200、250、300。比较不同语言模型在训练集和测试集上的困惑度，训练集下的隐含层节点数对语言模型困惑度的影响见说明书附图4，测试集下的隐含层节点数对困惑度影响的结果见说明书附图5。
通过实验结果可知，随着隐含层节点数的增加，各个语言模型的困惑度均有所降低，但是隐含层节点数增加到一定程度后，语言模型的困惑度反而会上升，因此需要进行调整，选取相对较好的性能参数。其中在隐含层节点数为200范围的时候语言模型的困惑度较低，性能较好。
(2)bptt值对语言模型性能的影响
确定了最优的隐含层节点数后，设置5组不同的bptt值，比较不同bptt值对语言模型在训练集和测试集上的困惑度影响，确定最优的bptt值，实验结果见说明书附图6和说明书附图7。
通过实验结果可知，随着bptt值的增加，各个语言模型的困惑度均有所降低，但是bptt值增加到一定程度后，语言模型的困惑度反而会上升，因此需要进行调整，选取相对较好的bptt值。其中在bptt值为3范围的时候，语言模型的困惑度较低，性能较好。
(3)不同语言模型困惑度的降低率对比
通过实验结果可知，在隐含层节点数为200，bptt值为3时，语言模型的困惑度较低，性能较好。故将以上参数应用在其他模型中进行实验结果对比，其中RNNLM200表示隐含层的神经元个数为200，表示为RNNLM200；RNNLM200+SK表示使用预训练的蒙古语的50维的Skip-Gram词向量的蒙古语循环神经网络语言模型；KC+RNNLM200表示使用基于one-hot的蒙古语语义词向量的蒙古语循环神经网络语言模型；MLMRNN表示使用基于one-hot的蒙古语语义词向量，隐含层神经元个数为200，使用预训练的蒙古语的50维的Skip-Gram词向量的蒙古语循环神经网络语言模型。
表1不同语言模型的困惑度对比
表1列出了5种不同语言模型的实验结果，通过实验对比发现，MLMRNN在训练集和测试集上的困惑度与其他语言模型相比，均有所降低，说明通过多维的Skip-Gram词向量的引入以及使用基于one-hot的蒙古语语义词向量的方法，对蒙古语的循环神经网络语言模型的性能有了进一步的提高，进一步说明本文方法的有效性。
语言模型困惑度的降低率是指现在的语言模型的困惑度与原来的语言模型的困惑度相差的值和原来的语言模型的困惑度的百分比值，降低率的计算公式如公式10所示。
说明书附图8进一步通过不同语言模型同3-Gram语言模型分别在训练集和测试集上进行困惑度降低率的比较，降低率的计算公式如公式5所示，由说明书附图8可知MLMRNN的降低率较大，性能较好。

Claims (1)

1.一种基于循环神经网络的蒙古语语言模型的训练方法，其特征在于：
所述的基于循环神经网络的蒙古语语言模型在预训练阶段，使用Word2vec+k-means算法得到蒙古语词表中的蒙古语词及其所属的语义类别，并设计了基于one-hot的蒙古语语义词向量，蒙古语语义词向量是根据不同的语义类别下的蒙古语词的个数，作为每个语义类别下的蒙古语词向量的维度，依次按照语义类别进行词向量的编码，编码完成语义类别1下的所有蒙古语词后，继续进行语义类别2下的所有蒙古语词的词向量编码，直至完成所有语义类别下的蒙古语词编码，编码格式同one-hot编码格式相同，具体训练算法为：
输入：V表示包含|V|个蒙古语词向量{w1,…,wV}的数据集合；k表示簇的数目(k≤V).
输出：k个簇的集合S
当对MLMRNN进行训练和计算时，对每个输入的蒙古语词，根据类别信息创建基于one-hot的语义词向量，作为输入层进行计算。根据语义分为k类，基于one-hot的蒙古语语义词向量创建算法如下：
输入：k个簇的集合S，其中Si表示第i个集合，S共有k个分类；//k表示簇的数目；
index表示k个簇下的蒙古语词向量的位置
输出：kc-one-hot//k个簇下的基于one-hot的蒙古语词向量
模型的训练算法：
wt表示t时刻的当前输入蒙古语基于one-hot的语义词向量，维度是词典V的大小。ft表示t时刻预训练的蒙古语Skip-Gram词向量，维度为M(M＜V)
输入：wt表示t时刻预训练的基于one-hot的蒙古语语义词向量，ft表示t时刻预训练的蒙古语Skip-Gram词向量，α表示学习率，epoch表示循环次数，τ表示bptt大小.
输出：模型参数Wxs,Wss,Wfs,Wsc,Wsy,下一个蒙古语词在前几个词作用下出现的概率yt.
//lt是词在类中期望输出概率,yt是真实输出的类概率,c′t是期望输出的类概率,ct是真实输出的类概率.
随机初始化Wxs,Wfs,Wss,Wsy,Wsc
CN201810345632.XA 2018-04-17 2018-04-17 一种基于循环神经网络的蒙古语语言模型的训练方法 Active CN108549703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810345632.XA CN108549703B (zh) 2018-04-17 2018-04-17 一种基于循环神经网络的蒙古语语言模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810345632.XA CN108549703B (zh) 2018-04-17 2018-04-17 一种基于循环神经网络的蒙古语语言模型的训练方法

Publications (2)

Publication Number Publication Date
CN108549703A true CN108549703A (zh) 2018-09-18
CN108549703B CN108549703B (zh) 2022-03-25

Family

ID=63515093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810345632.XA Active CN108549703B (zh) 2018-04-17 2018-04-17 一种基于循环神经网络的蒙古语语言模型的训练方法

Country Status (1)

Country Link
CN (1) CN108549703B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032644A (zh) * 2019-04-03 2019-07-19 人立方智能科技有限公司 语言模型预训练方法
CN110399619A (zh) * 2019-07-30 2019-11-01 南京邮电大学 面向神经机器翻译的位置编码方法及计算机存储介质
CN111460264A (zh) * 2020-03-30 2020-07-28 口口相传(北京)网络技术有限公司 语义相似度匹配模型的训练方法及装置
CN111611769A (zh) * 2019-02-25 2020-09-01 北京嘀嘀无限科技发展有限公司 一种多种语言模型的文本转换方法及装置
CN116705001A (zh) * 2023-05-04 2023-09-05 内蒙古工业大学 一种蒙古语语音数据选择方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810999A (zh) * 2014-02-27 2014-05-21 清华大学 基于分布式神经网络的语言模型训练方法及其***
CN105957518A (zh) * 2016-06-16 2016-09-21 内蒙古大学 一种蒙古语大词汇量连续语音识别的方法
EP3173983A1 (en) * 2015-11-26 2017-05-31 Siemens Aktiengesellschaft A method and apparatus for providing automatically recommendations concerning an industrial system
CN107066445A (zh) * 2017-04-11 2017-08-18 华东师范大学 一种属性情感词向量的深度学习方法
CN107330379A (zh) * 2017-06-13 2017-11-07 内蒙古大学 一种蒙古语手写识别方法和装置
CN107506345A (zh) * 2016-06-14 2017-12-22 科大讯飞股份有限公司 语言模型的构建方法和装置
CN107832400A (zh) * 2017-11-01 2018-03-23 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810999A (zh) * 2014-02-27 2014-05-21 清华大学 基于分布式神经网络的语言模型训练方法及其***
EP3173983A1 (en) * 2015-11-26 2017-05-31 Siemens Aktiengesellschaft A method and apparatus for providing automatically recommendations concerning an industrial system
CN107506345A (zh) * 2016-06-14 2017-12-22 科大讯飞股份有限公司 语言模型的构建方法和装置
CN105957518A (zh) * 2016-06-16 2016-09-21 内蒙古大学 一种蒙古语大词汇量连续语音识别的方法
CN107066445A (zh) * 2017-04-11 2017-08-18 华东师范大学 一种属性情感词向量的深度学习方法
CN107330379A (zh) * 2017-06-13 2017-11-07 内蒙古大学 一种蒙古语手写识别方法和装置
CN107832400A (zh) * 2017-11-01 2018-03-23 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
H ZHANG等: "Comparison on Neural Network based acoustic model in Mongolian speech recognition", 《2016 INTERNATIONAL CONFERENCE ON ASIAN LANGUAGE PROCESSING (IALP)》 *
YANGYANGSHI 等: "Recurrent neural network language model adaptation with curriculum learning", 《COMPUTER SPEECH & LANGUAGE》 *
刘章 等: "联合无监督词聚类的递归神经网络语言模型", 《计算机***应用》 *
黎亚雄 等: "基于RNN-RBM语言模型的语音识别研究", 《计算机研究与发展》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611769A (zh) * 2019-02-25 2020-09-01 北京嘀嘀无限科技发展有限公司 一种多种语言模型的文本转换方法及装置
CN110032644A (zh) * 2019-04-03 2019-07-19 人立方智能科技有限公司 语言模型预训练方法
CN110399619A (zh) * 2019-07-30 2019-11-01 南京邮电大学 面向神经机器翻译的位置编码方法及计算机存储介质
CN111460264A (zh) * 2020-03-30 2020-07-28 口口相传(北京)网络技术有限公司 语义相似度匹配模型的训练方法及装置
CN116705001A (zh) * 2023-05-04 2023-09-05 内蒙古工业大学 一种蒙古语语音数据选择方法及***
CN116705001B (zh) * 2023-05-04 2024-06-14 内蒙古工业大学 一种蒙古语语音数据选择方法及***

Also Published As

Publication number Publication date
CN108549703B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN108549703A (zh) 一种基于循环神经网络的蒙古语语言模型的训练方法
Yao et al. An improved LSTM structure for natural language processing
CN107358948B (zh) 基于注意力模型的语言输入关联性检测方法
CN110210032B (zh) 文本处理方法及装置
CN110717334A (zh) 基于bert模型和双通道注意力的文本情感分析方法
CN112990296B (zh) 基于正交相似度蒸馏的图文匹配模型压缩与加速方法及***
CN109308353B (zh) 词嵌入模型的训练方法及装置
CN112541356B (zh) 一种生物医学命名实体识别的方法和***
CN112417894B (zh) 一种基于多任务学习的对话意图识别方法及识别***
CN111414481A (zh) 基于拼音和bert嵌入的中文语义匹配方法
CN110162789A (zh) 一种基于汉语拼音的词表征方法及装置
CN108109615A (zh) 一种基于dnn的蒙古语声学模型的构造和使用方法
CN114925195A (zh) 一种融合词汇编码与结构编码的标准内容文本摘要生成方法
CN110858480B (zh) 一种基于n元文法神经网络语言模型的语音识别方法
CN111353040A (zh) 基于gru的属性级别情感分析方法
CN113360667A (zh) 基于多任务学习的生物医学触发词检测和命名实体识别方法
Haikun et al. Speech recognition model based on deep learning and application in pronunciation quality evaluation system
CN116010874A (zh) 基于深度学习多模态深尺度情感特征融合的情感识别方法
CN114254645A (zh) 一种人工智能辅助写作***
CN115687609A (zh) 一种基于Prompt多模板融合的零样本关系抽取方法
Shi A study on neural network language modeling
CN117034961B (zh) 一种基于bert的中法互译质量测评方法
CN112579739A (zh) 基于ELMo嵌入与门控自注意力机制的阅读理解方法
CN108563639A (zh) 一种基于循环神经网络的蒙古语语言模型
CN114333762B (zh) 基于表现力的语音合成方法、***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant