CN114490950A - 编码器模型的训练方法及存储介质、相似度预测方法及*** - Google Patents
编码器模型的训练方法及存储介质、相似度预测方法及*** Download PDFInfo
- Publication number
- CN114490950A CN114490950A CN202210360834.8A CN202210360834A CN114490950A CN 114490950 A CN114490950 A CN 114490950A CN 202210360834 A CN202210360834 A CN 202210360834A CN 114490950 A CN114490950 A CN 114490950A
- Authority
- CN
- China
- Prior art keywords
- neural network
- text
- encoder model
- text sequence
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 title claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 153
- 239000013598 vector Substances 0.000 claims abstract description 140
- 230000006870 function Effects 0.000 claims abstract description 60
- 238000011176 pooling Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Acoustics & Sound (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明提供编码器模型的训练方法及存储介质、相似度预测方法及***,包括:将两个文本序列输入嵌入层得到文本序列向量;将两个文本序列向量输入孪生神经网络编码器模型,以使其基于相同的神经网络参数确定隐状态;根据神经网络参数构造自监督损失函数;将隐状态输入池化层以使其根据隐状态进行池化处理,根据池化处理后的文本序列向量确定两个文本序列的相似度,并以其构造有监督损失函数;根据自监督和有监督损失函数确定损失函数,以更新神经网络参数;继续将新的文本序列输入直至损失函数的数值为最小值。该方法大幅提高了模型在计算文本序列相似度时的推理带宽,且基于已训练的神经网络编码器模型能够实现两个文本序列相似度的精准计算。
Description
技术领域
本发明涉及文本相似度领域,更具体地,涉及编码器模型的训练方法及存储介质、相似度预测方法及***。
背景技术
文本相似度是指衡量两个文本的相似程度,应用的场景包括有文本分类、聚类、文本主题检测、主题跟踪、机器翻译等等。更具体地,在语音通信场景对通话线路进行监管也会要求确定文本之间的相似度,但语音通信场景中获取到的对话内容噪声大、夹杂口音、信息完整度不足,在现有技术中判断对话内容是否相似时需要依赖人工抽检,耗费大量人力和时间,且人工抽检存在的问题是抽检覆盖面较小,且人工检测存在主观性较强的问题,无法全面准确地检测出对话内容的相似性,因此通话线路监管的可信性和准确性也较低。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷,提供编码器模型的训练方法及存储介质、相似度预测方法及***,用于解决现有技术中在确定文本相似度时依赖人工抽检,存在检测覆盖面小且主观性较强的问题。
本发明采用的技术方案包括:
第一方面,本发明提供一种深度神经网络编码器模型的训练方法,包括:对两个不同的文本序列执行训练操作;所述训练操作为:将两个所述文本序列输入嵌入层进行向量化,得到两个文本序列向量;将两个所述文本序列向量输入孪生神经网络编码器模型,以使所述神经网络编码器模型基于相同的神经网络参数确定两个所述文本序列向量的隐状态;同时根据所述神经网络参数构造所述神经网络编码器模型的自监督损失函数;将两个所述文本序列向量的隐状态输入池化层,以使所述池化层根据两个所述文本序列向量的隐状态对两个所述文本序列向量进行池化处理,根据池化处理后的两个所述文本序列向量确定两个所述文本序列的相似度;根据两个所述文本序列的相似度构造所述神经网络编码器模型的有监督损失函数;根据所述自监督损失函数和所述有监督损失函数确定所述神经网络编码器模型的损失函数,以使所述神经网络编码器模型根据所述损失函数更新神经网络参数;继续对新的两个不同的文本序列执行所述训练操作直至所述损失函数的数值为最小值,得到已训练的神经网络编码器模型。
第二方面,本发明提供一种文本序列的相似度预测方法,将两个不同的文本序列输入嵌入层进行向量化,得到两个文本序列向量;将两个所述文本序列向量输入由上述的深度神经网络编码器模型的训练方法训练得到的孪生神经网络编码器模型,以使所述神经网络编码器模型输出两个所述文本序列向量的隐状态;将两个所述文本序列向量的隐状态输入池化层,以使所述池化层根据两个所述文本序列向量的隐状态对两个所述文本序列向量进行池化处理;根据池化处理后的两个文本序列向量确定两个所述文本序列的相似度。
第三方面,本发明提供一种文本序列的相似度预测***,包括:词输入模块、词嵌入模块、由上述的深度神经网络编码器模型的训练方法训练得到的孪生神经网络编码器模型、隐状态池化模块、向量相似度计算模块;所述词输入模块用于将外部输入的两种不同的文本数据序列化得到两个不同的文本序列,并将其输出至所述词嵌入模块;所述词嵌入模块用于将两个所述文本序列进行向量化,得到两个文本序列向量并将其输出至所述神经网络编码器模型;所述神经网络编码器模型用于基于所述神经网络参数确定两个所述文本序列向量的隐状态,并将其输出至隐状态池化模块;所述隐状态池化模块用于根据两个所述文本序列向量的隐状态对两个所述文本序列向量进行池化处理,并将池化处理后的文本序列向量输出至向量相似度计算模块;所述向量相似度计算模块用于根据池化处理后的两个文本序列向量确定两个文本序列的相似度。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的深度神经网络编码器模型的训练方法,和/或上述的文本序列的相似度预测方法。
与现有技术相比,本发明的有益效果为:
本实施例提供的编码器模型的训练方法,用于训练得到已训练的孪生神经网络编码器模型,由于孪生神经网络编码器模型共享同一个神经网络参数,因此大幅提高了该模型在计算文本序列之间语义相似度时的推理带宽,且基于已训练的神经网络编码器模型能够实现两个文本序列相似度的精准计算。同时,在训练过程中,采用自监督与有监督的方式联合训练神经网络编码器模型,以使最终更新得到的神经网络参数有利于提高神经网络编码器模型在语义层面计算语义相似度的准确性。
附图说明
图1为实施例1的方法步骤S110~S180的流程示意图。
图2为实施例1的神经网络编码器模型的训练过程示意图。
图3为实施例1的神经网络编码器模型的隐状态计算过程示意图。
图4为实施例2的方法步骤S210~S240的流程示意图。
图5为实施例2的预测方法的预测过程示意图。
图6为实施例3的预测***的预测过程示意图。
具体实施方式
本发明附图仅用于示例性说明,不能理解为对本发明的限制。为了更好说明以下实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
本实施例提供一种深度神经网络编码器模型的训练方法,用于训练孪生神经网络编码器模型,孪生神经网络在广义上既可以由两个子网络构成,也可以由一个网络构成,关键在于孪生神经网络共享同一神经网络参数。
结合图1、2所示,该方法包括以下步骤:
S110、将两个不同的文本序列输入嵌入层进行向量化,得到两个文本序列向量;
在本步骤中,文本序列是指已经经过预处理后的文本数据,以使其满足嵌入层兼容的输入格式。在具体的实施方式中,预处理包括:
对原始文本数据进行数据清洗;读取预设特殊符号、停用词与用户词典词表,去除文本数据中的特殊符号,结合所读取的用户词典对文本序列进行分词,去除文本数据中存在的停用词。将文本数据转换为多个子文本序列,并按长度将多个子文本序列进行排序并拼接,再根据预先设定的训练批次的数据大小进行裁切,得到若干个文本序列作为训练数据。
从训练数据中随机采样选择作为输入的多组文本序列,每组文本序列中包括两个不同的文本序列,并获取每一组文本序列对应的标签,由于本实施例提供的训练方法用于训练计算文本序列相似度的神经网络编码器模型,因此标签为每组文本序列中两个不同的文本序列之间的真实相似度。在输入嵌入层之前将已经选择作为输入的多组文本序列转换为整型数据。在优选的实施方式中,可采用Tokenizer将文本数据转换为整型数据。
嵌入层用于将输入的文本序列转换为具有固定大小的向量,具体是将文本序列映射到向量空间中,从而得到两个文本序列的文本序列向量。
S120、将两个文本序列向量输入孪生神经网络编码器模型,以使神经网络编码器模型确定两个文本序列向量的隐状态;
在本步骤中,神经网络编码器模型接收到两个文本序列向量后,基于相同的神经网络参数确定两个文本序列向量的隐状态。神经网络参数指神经网络编码器模型骨干网的参数。隐状态是指经过神经网络中的一系列矩阵运算和非线性变换后得到的高维向量。
神经网络编码器模型初始化时根据内部各模块分配显存空间,加载预训练的参数并读取神经网络参数。在具体的实施方式中,神经网络编码模型可由(BidirectionalEncoder Representation from Transformers,双向Transformer编码器)预训练语言模型实现,在初始化该神经网络编码模型时,需加载预训练的BERT参数,再读取神经网络参数。
如图3所示,在具体的实施过程中,神经网络编码器模型由N个神经网络编码器子模块组成,用于迭代计算文本序列向量的隐状态。
神经网络编码器模型中的单个编码器模型子模块在接收到两个文本序列向量x1和x2后,首先确定每个文本序列向量的隐状态,对得到的隐状态进行层标准化处理,用以缓解模型训练过程中的梯度***问题。将经过层标准化处理后的隐状态输入子模块中的残差模块进行计算,用以避免由于神经网络编码器模型的网络层数过多而产生梯度弥散。将残差模块输出的隐状态输入子模块中的全连接层中进行处理,得到该编码器子模块输出的对应文本序列向量x1的隐状态u1和对应文本序列向量x2的隐状态u2。
将N个编码器子模块前后串联,每个编码器模型子模块基于各自内部的神经网络参数计算其自身关于文本序列向量的隐状态,并将该子模块最终输出的文本序列向量的隐状态输出至下一个编码器模型子模块,作为下一个编码器模型子模块的输入,直至最后一个编码器模型子模块输出文本序列向量的隐状态,作为最终模型输出的文本序列向量的隐状态。
具体地,神经网络编码器模型中的每个编码器模型子模块可根据式子:
S130、根据神经网络参数构造神经网络编码器模型的自监督损失函数;
自监督损失函数的变量为神经网络编码器模型的神经网络参数,用于通过梯度下降的方式更新神经网络参数以使该损失函数达到最小值。
在具体的实施方式中,自监督损失函数为:
其中,表示概率密度函数,为神经网络参数,为遮掩语言模型输出层的对应参数,为下一句预测模型输出层的对应参数。遮掩语言模型(Masked Language Model,MLM)是指通过随机对输入文本序列中的某些位置进行遮掩,再对文本序列遮掩的位置进行预测的模型。下一句预测模型(NextSentencePrediction, NSP)是指用于预测两个句子是否是连续的两个句子的模型。为遮掩语言模型的训练数据集,为下一句预测模型的训练数据集,和分别为遮掩语言模型对遮掩位置所预测的词语以及该位置真实的词语,表示下一句预测模型输出的与前后两个文本序列的连接关系,表示与前后两个文本序列的真实连接关系。
S140、将神经网络编码器模型输出的两个文本序列向量的隐状态输入池化层,以使池化层根据两个文本序列向量的隐状态对两个文本序列向量进行池化处理;
在本步骤中,池化层在接收到两个文本序列向量的隐状态后,具体是将该隐状态映射到固定尺寸的语义向量空间,从而得到文本序列向量在统一尺寸的语义向量,即为进行池化处理后的文本序列向量。该固定尺寸是预先设定的。
S150、根据池化处理后的两个文本序列向量确定两个文本序列的相似度;
S160、根据两个文本序列的相似度构造神经网络编码器模型的有监督损失函数;
有监督损失函数由神经网络编码器模型确定的两个文本序列的相似度以及真实的相似度构造,两个文本序列的相似度基于池化后的文本序列向量计算得到,池化后的文本序列向量基于神经网络编码器模型输出的隐状态得到,隐状态基于神经网络参数得到,因此神经网络参数必定影响了两个文本序列的相似度计算,该有监督损失函数的变量仍然是神经网络编码器模型的神经网络参数,通过梯度下降的方式更新神经网络参数,使两个文本序列的相似度与真实的相似度尽可能地接近,从而使有监督损失函数达到最小值。
在具体的实施方式中,有监督损失函数为:
S170、根据自监督损失函数和有监督损失函数确定神经网络编码器模型的损失函数,以使神经网络编码器模型根据损失函数更新神经网络参数;
在本步骤中,结合自监督损失函数和有监督损失函数构造神经网络编码器模型的损失函数,即联合了自监督和有监督的两种方式联合训练神经网络编码器,有利于得到神经网络参数的最优解。自监督损失函数和有监督损失函数的结合方式可以是将两者相加或对两者执行任何适用的运算方式。
S180、判断损失函数的数值是否达到最小值,如否,更新神经网络参数,并对新的两个不同的文本序列重新执行步骤S110,如是,得到已训练的神经网络编码器模型。
由于以上步骤仅输入一组即两个不同的文本序列至神经网络编码器模型,需要重新执行步骤S110,向神经网络编码器模型不断输入新的文本序列以对其进行训练,训练过程中神经网络编码器模型的神经网络参数以梯度下降的方式不断更新,直至损失函数的数值为最小值,神经网络编码器模型训练完成,得到已训练的神经网络编码器模型。
本实施例提供的深度神经网络编码器模型的训练方法,用于训练孪生神经网络编码器模型,训练得到的神经网络编码器模型大幅提高了文本序列之间语义相似度计算时的推理带宽,则基于该神经网络编码器模型能够实现两个文本序列相似度的精准计算。同时,在训练过程中,采用自监督与有监督相结合的方式构造神经网络编码器模型的损失函数,用以联合训练神经网络编码器模型,最终更新得到的神经网络参数有利于提高神经网络编码器模型在语义层面计算语义相似度的准确性。由于该神经网络编码器模型较好地捕捉了上下文语义信息,当应用于通信线路这类多轮对话场景时,能够更智能地自动区分不同通话场景,及时发现异常通信行为,提升语音业务治理的智能化程度。
实施例2
基于与实施例1相同的构思,本实施例提供一种文本序列的相似度预测方法,主要利用通过实施例提供的神经网络编码器模型的训练方法训练得到的神经网络编码器模型对两个不同的文本序列的相似度进行预测。
结合图3、4所示,该方法包括:
S210、将两个不同的文本序列输入嵌入层进行向量化,得到两个文本序列向量;
在本步骤执行之前,可先确定需要预测相似度的两种文本数据,并将其进行序列化等预处理,使其成为两种文本序列,且为嵌入层、神经网络编码器模型以及池化层所兼容。
S220、将两个文本序列向量输入已训练的神经网络编码器模型,以使神经网络编码器模型输出两个文本序列向量的隐状态;
已训练的神经网络编码器模型在接收到两个文本序列向量后,神经网络编码器模型的每个编码器模型子模块根据式子确定文本序列向量的隐状态,其中,为文本序列向量的隐状态,为非线性激活函数,为注意力机制变换,为神经网络参数,为输入的文本序列向量。
在具体的实施过程中,神经网络编码器模型中包含多个神经网络编码器模型子模块,以前后串联的方式将一个子模块的输出作为下一个子模块的输入,用于迭代计算文本序列向量的隐状态,最后一个编码器模型子模块输出文本序列向量的隐状态,作为最终模型输出的文本序列向量的隐状态。
S230、将两个文本序列向量的隐状态输入池化层,以使池化层根据两个文本序列向量的隐状态对两个文本序列向量作池化处理;
池化层接收到两个文本序列向量的隐状态后,将两个文本序列的隐状态映射到固定尺寸的语义向量空间,得到统一尺寸的语义向量。
S240、根据池化处理后的两个文本序列向量确定两个文本序列的相似度。
利用实施例1提供的训练方法得到的孪生神经网络编码器模型,基于已确定的神经网络参数能够实现语义层面计算语义相似度的高准确性,且当输入的文本序列为通信线路中监管的对话内容时,该神经网络编码器模型能够更智能地自动区分不同通话场景,及时发现异常通信行为,提升语音业务治理的智能化程度。
本实施例提供的文本序列的相似度预测方法与实施例1基于同一构思,因此与实施例1出现相同的步骤以及名词,其定义、解释、具体/优选的实施方式,以及所带来的有益效果均可参考实施例1中的说明,在本实施例中不再赘述。
实施例3
基于与实施例1、2相同的构思,本实施例提供一种文本序列的相似度预测***,主要利用通过实施例1提供的神经网络编码器模型的训练方法训练得到的神经网络编码器模型对两个不同的文本序列的相似度进行预测。
如图5所示,该***包括:词输入模块310、词嵌入模块320、由实施例1提供的训练方法训练得到的神经网络编码器模型、隐状态池化模块330、向量相似度计算模块340。
词输入模块310用于接收外部输入的两种文本数据,并将其序列化得到两个不同的文本序列,并将其输出至词嵌入模块320。
词嵌入模块320用于将两个文本序列进行向量化,具体是将文本序列映射到向量空间中,从而得到两个文本序列的文本序列向量,并将其输出至神经网络编码器模型。神经网络编码器模型用于基于神经网络参数确定两个文本序列向量的隐状态,并将其输出至隐状态池化模块330。
已训练的神经网络编码器模型在接收到两个文本序列向量后,神经网络编码器模型的每个编码器模型子模块根据式子确定文本序列向量的隐状态,其中,为文本序列向量的隐状态,为非线性激活函数,为注意力机制变换,为神经网络参数,为输入的文本序列向量。
在具体的实施过程中,神经网络编码器模型中包含多个神经网络编码器模型子模块,以前后串联的方式将一个子模块的输出作为下一个子模块的输入,用于迭代计算文本序列向量的隐状态,最后一个编码器模型子模块输出文本序列向量的隐状态,作为最终模型输出的文本序列向量的隐状态。
隐状态池化模块330用于根据两个文本序列向量的隐状态对两个文本序列向量进行池化处理,具体是将两个文本序列的隐状态映射到固定尺寸的语义向量空间,得到统一尺寸的语义向量,作为池化处理后的文本序列向量输出至向量相似度计算模块340。
向量相似度计算模块340用于根据池化处理后的两个文本序列向量确定两个文本序列的相似度。
向量相似度计算模块340具体用于利用式子确定两个文本序列的相似度。其中,两个文本序列的相似度,和分别表示两个文本序列,为两个池化处理后的文本序列向量的向量积,为两个池化处理后的文本序列向量的模的乘积。
本实施例提供的文本序列的相似度预测***与实施例1、2基于同一构思,因此与实施例1、2出现相同的步骤以及名词,其定义、解释、具体/优选的实施方式,以及所带来的有益效果均可参考实施例1、2中的说明,在本实施例中不再赘述。
显然,本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例,而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种深度神经网络编码器模型的训练方法,其特征在于,包括:
对两个不同的文本序列执行训练操作;
所述训练操作为:
将两个所述文本序列输入嵌入层进行向量化,得到两个文本序列向量;
将两个所述文本序列向量输入孪生神经网络编码器模型,以使所述神经网络编码器模型基于相同的神经网络参数确定两个所述文本序列向量的隐状态;
同时根据所述神经网络参数构造所述神经网络编码器模型的自监督损失函数;
将两个所述文本序列向量的隐状态输入池化层,以使所述池化层根据两个所述文本序列向量的隐状态对两个所述文本序列向量进行池化处理,根据池化处理后的两个所述文本序列向量确定两个所述文本序列的相似度;
根据两个所述文本序列的相似度构造所述神经网络编码器模型的有监督损失函数;
根据所述自监督损失函数和所述有监督损失函数确定所述神经网络编码器模型的损失函数,以使所述神经网络编码器模型根据所述损失函数更新神经网络参数;
继续对新的两个不同的文本序列执行所述训练操作直至所述损失函数的数值为最小值,得到已训练的神经网络编码器模型。
2.根据权利要求1所述的深度神经网络编码器模型的训练方法,其特征在于,
根据所述自监督损失函数和所述有监督损失函数确定所述神经网络编码器模型的损失函数,具体包括:将所述自监督损失函数以及所述有监督损失函数的和作为所述神经网络编码器模型的损失函数。
8.一种文本序列的相似度预测方法,其特征在于,
将两个不同的文本序列输入嵌入层进行向量化,得到两个文本序列向量;
将两个所述文本序列向量输入由权利要求1~7任一项所述的深度神经网络编码器模型的训练方法训练得到的孪生神经网络编码器模型,以使所述神经网络编码器模型输出两个所述文本序列向量的隐状态;
将两个所述文本序列向量的隐状态输入池化层,以使所述池化层根据两个所述文本序列向量的隐状态对两个所述文本序列向量进行池化处理;
根据池化处理后的两个文本序列向量确定两个所述文本序列的相似度。
9.一种文本序列的相似度预测***,其特征在于,包括:词输入模块、词嵌入模块、由权利要求1~7任一项所述的深度神经网络编码器模型的训练方法训练得到的孪生神经网络编码器模型、隐状态池化模块、向量相似度计算模块;
所述词输入模块用于将外部输入的两种不同的文本数据序列化得到两个不同的文本序列,并将其输出至所述词嵌入模块;
所述词嵌入模块用于将两个所述文本序列进行向量化,得到两个文本序列向量并将其输出至所述神经网络编码器模型;
所述神经网络编码器模型用于基于所述神经网络参数确定两个所述文本序列向量的隐状态,并将其输出至隐状态池化模块;
所述隐状态池化模块用于根据两个所述文本序列向量的隐状态对两个所述文本序列向量进行池化处理,并将池化处理后的文本序列向量输出至向量相似度计算模块;
所述向量相似度计算模块用于根据池化处理后的两个文本序列向量确定两个文本序列的相似度。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~7任一项所述的深度神经网络编码器模型的训练方法,和/或权利要求8所述的文本序列的相似度预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210360834.8A CN114490950B (zh) | 2022-04-07 | 2022-04-07 | 编码器模型的训练方法及存储介质、相似度预测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210360834.8A CN114490950B (zh) | 2022-04-07 | 2022-04-07 | 编码器模型的训练方法及存储介质、相似度预测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114490950A true CN114490950A (zh) | 2022-05-13 |
CN114490950B CN114490950B (zh) | 2022-07-12 |
Family
ID=81487384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210360834.8A Active CN114490950B (zh) | 2022-04-07 | 2022-04-07 | 编码器模型的训练方法及存储介质、相似度预测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114490950B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114743545A (zh) * | 2022-06-14 | 2022-07-12 | 联通(广东)产业互联网有限公司 | 方言种类预测模型的训练方法、设备及存储介质 |
CN115357690A (zh) * | 2022-10-19 | 2022-11-18 | 有米科技股份有限公司 | 基于文本模态自监督的文本去重方法及装置 |
CN115660871A (zh) * | 2022-11-08 | 2023-01-31 | 上海栈略数据技术有限公司 | 医学临床过程无监督建模方法、计算机设备、存储介质 |
WO2024067779A1 (zh) * | 2022-09-30 | 2024-04-04 | 华为技术有限公司 | 一种数据处理方法及相关装置 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3054403A2 (en) * | 2015-02-06 | 2016-08-10 | Google, Inc. | Recurrent neural networks for data item generation |
CN108388888A (zh) * | 2018-03-23 | 2018-08-10 | 腾讯科技(深圳)有限公司 | 一种车辆识别方法、装置和存储介质 |
CN109614471A (zh) * | 2018-12-07 | 2019-04-12 | 北京大学 | 一种基于生成式对抗网络的开放式问题自动生成方法 |
CN110009013A (zh) * | 2019-03-21 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 编码器训练及表征信息提取方法和装置 |
CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
US20200026954A1 (en) * | 2019-09-27 | 2020-01-23 | Intel Corporation | Video tracking with deep siamese networks and bayesian optimization |
CN111144565A (zh) * | 2019-12-27 | 2020-05-12 | 中国人民解放军军事科学院国防科技创新研究院 | 基于一致性训练的自监督领域自适应深度学习方法 |
CN112149689A (zh) * | 2020-09-28 | 2020-12-29 | 上海交通大学 | 基于目标领域自监督学习的无监督领域适应方法和*** |
CN112396479A (zh) * | 2021-01-20 | 2021-02-23 | 成都晓多科技有限公司 | 一种基于知识图谱的服饰搭配推荐方法及*** |
CN113159945A (zh) * | 2021-03-12 | 2021-07-23 | 华东师范大学 | 一种基于多任务自监督学习的股票涨跌预测方法 |
US20210326660A1 (en) * | 2020-04-21 | 2021-10-21 | Google Llc | Supervised Contrastive Learning with Multiple Positive Examples |
CN113553906A (zh) * | 2021-06-16 | 2021-10-26 | 之江实验室 | 基于类中心域对齐的判别无监督跨域行人重识别方法 |
CN113705772A (zh) * | 2021-07-21 | 2021-11-26 | 浪潮(北京)电子信息产业有限公司 | 一种模型训练方法、装置、设备及可读存储介质 |
CN113936647A (zh) * | 2021-12-17 | 2022-01-14 | 中国科学院自动化研究所 | 语音识别模型的训练方法、语音识别方法和*** |
CN114003698A (zh) * | 2021-12-27 | 2022-02-01 | 成都晓多科技有限公司 | 一种文本检索方法、***、设备及存储介质 |
-
2022
- 2022-04-07 CN CN202210360834.8A patent/CN114490950B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3054403A2 (en) * | 2015-02-06 | 2016-08-10 | Google, Inc. | Recurrent neural networks for data item generation |
CN108388888A (zh) * | 2018-03-23 | 2018-08-10 | 腾讯科技(深圳)有限公司 | 一种车辆识别方法、装置和存储介质 |
CN109614471A (zh) * | 2018-12-07 | 2019-04-12 | 北京大学 | 一种基于生成式对抗网络的开放式问题自动生成方法 |
CN110009013A (zh) * | 2019-03-21 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 编码器训练及表征信息提取方法和装置 |
CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
US20200026954A1 (en) * | 2019-09-27 | 2020-01-23 | Intel Corporation | Video tracking with deep siamese networks and bayesian optimization |
CN111144565A (zh) * | 2019-12-27 | 2020-05-12 | 中国人民解放军军事科学院国防科技创新研究院 | 基于一致性训练的自监督领域自适应深度学习方法 |
US20210326660A1 (en) * | 2020-04-21 | 2021-10-21 | Google Llc | Supervised Contrastive Learning with Multiple Positive Examples |
CN112149689A (zh) * | 2020-09-28 | 2020-12-29 | 上海交通大学 | 基于目标领域自监督学习的无监督领域适应方法和*** |
CN112396479A (zh) * | 2021-01-20 | 2021-02-23 | 成都晓多科技有限公司 | 一种基于知识图谱的服饰搭配推荐方法及*** |
CN113159945A (zh) * | 2021-03-12 | 2021-07-23 | 华东师范大学 | 一种基于多任务自监督学习的股票涨跌预测方法 |
CN113553906A (zh) * | 2021-06-16 | 2021-10-26 | 之江实验室 | 基于类中心域对齐的判别无监督跨域行人重识别方法 |
CN113705772A (zh) * | 2021-07-21 | 2021-11-26 | 浪潮(北京)电子信息产业有限公司 | 一种模型训练方法、装置、设备及可读存储介质 |
CN113936647A (zh) * | 2021-12-17 | 2022-01-14 | 中国科学院自动化研究所 | 语音识别模型的训练方法、语音识别方法和*** |
CN114003698A (zh) * | 2021-12-27 | 2022-02-01 | 成都晓多科技有限公司 | 一种文本检索方法、***、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
徐流畅: "预训练深度学习架构下的语义地址匹配与语义空间融合模型研究", 《中国优秀博硕士学位论文全文数据库(博士)基础科学辑》 * |
赵龙龙: "基于深度学习组合模型的滚动轴承故障诊断", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114743545A (zh) * | 2022-06-14 | 2022-07-12 | 联通(广东)产业互联网有限公司 | 方言种类预测模型的训练方法、设备及存储介质 |
CN114743545B (zh) * | 2022-06-14 | 2022-09-02 | 联通(广东)产业互联网有限公司 | 方言种类预测模型的训练方法、设备及存储介质 |
WO2024067779A1 (zh) * | 2022-09-30 | 2024-04-04 | 华为技术有限公司 | 一种数据处理方法及相关装置 |
CN115357690A (zh) * | 2022-10-19 | 2022-11-18 | 有米科技股份有限公司 | 基于文本模态自监督的文本去重方法及装置 |
CN115660871A (zh) * | 2022-11-08 | 2023-01-31 | 上海栈略数据技术有限公司 | 医学临床过程无监督建模方法、计算机设备、存储介质 |
CN115660871B (zh) * | 2022-11-08 | 2023-06-06 | 上海栈略数据技术有限公司 | 医学临床过程无监督建模方法、计算机设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114490950B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114490950B (zh) | 编码器模型的训练方法及存储介质、相似度预测方法及*** | |
CN112116030B (zh) | 一种基于向量标准化和知识蒸馏的图像分类方法 | |
Gu et al. | Stack-captioning: Coarse-to-fine learning for image captioning | |
CN108427771B (zh) | 摘要文本生成方法、装置和计算机设备 | |
CN111708882B (zh) | 基于Transformer的中文文本信息缺失的补全方法 | |
WO2022142041A1 (zh) | 意图识别模型的训练方法、装置、计算机设备和存储介质 | |
CN110648659B (zh) | 基于多任务模型的语音识别与关键词检测装置和方法 | |
CN111930914B (zh) | 问题生成方法和装置、电子设备以及计算机可读存储介质 | |
CN109902301B (zh) | 基于深度神经网络的关系推理方法、装置及设备 | |
WO2020155619A1 (zh) | 带情感的机器聊天方法、装置、计算机设备及存储介质 | |
CN111813954B (zh) | 文本语句中两实体的关系确定方法、装置和电子设备 | |
CN113254615A (zh) | 文本处理方法、装置、设备及介质 | |
CN110942774A (zh) | 一种人机交互***、其对话方法、介质和设备 | |
CN115064154A (zh) | 混合语言语音识别模型的生成方法及装置 | |
CN115204143A (zh) | 一种基于prompt的文本相似度计算方法及*** | |
CN115687609A (zh) | 一种基于Prompt多模板融合的零样本关系抽取方法 | |
CN115757695A (zh) | 一种日志语言模型训练方法及*** | |
CN114662601A (zh) | 基于正负样本的意图分类模型训练方法及装置 | |
CN113177113B (zh) | 任务型对话模型预训练方法、装置、设备及存储介质 | |
CN114626529B (zh) | 一种自然语言推理微调方法、***、装置及存储介质 | |
CN114925681A (zh) | 知识图谱问答问句实体链接方法、装置、设备及介质 | |
CN115759043A (zh) | 一种文档级敏感信息检测模型训练及预测方法 | |
CN115495579A (zh) | 5g通信助理文本分类的方法、装置、电子设备及存储介质 | |
CN114333790A (zh) | 数据处理方法、装置、设备、存储介质及程序产品 | |
CN114282058A (zh) | 模型训练与视频主题预测的方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |