CN110543566B - 一种基于自注意力近邻关系编码的意图分类方法 - Google Patents
一种基于自注意力近邻关系编码的意图分类方法 Download PDFInfo
- Publication number
- CN110543566B CN110543566B CN201910842195.7A CN201910842195A CN110543566B CN 110543566 B CN110543566 B CN 110543566B CN 201910842195 A CN201910842195 A CN 201910842195A CN 110543566 B CN110543566 B CN 110543566B
- Authority
- CN
- China
- Prior art keywords
- attention
- self
- sequence
- neighbor relation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 14
- YCKRFDGAMUMZLT-UHFFFAOYSA-N Fluorine atom Chemical compound [F] YCKRFDGAMUMZLT-UHFFFAOYSA-N 0.000 claims description 4
- 229910052731 fluorine Inorganic materials 0.000 claims description 4
- 239000011737 fluorine Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 10
- 238000013507 mapping Methods 0.000 abstract description 7
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于自注意力近邻关系编码的意图分类方法,该方法包括以下步骤:步骤1:问答***接收待分类语句,并将待分类语句输入词嵌入层,转换为词向量矩阵;步骤2:将词向量矩阵输入基于近邻关系的自注意力层进行加权计算,映射出目标序列;步骤3:将目标序列输入到传统的自注意力层进行特征学习,获取具有高维语句信息的输出序列;步骤4:将输出序列通过批量归一化层进行批量归一化计算,得到归一化分布序列;步骤5:将归一化分布序列输入全连接层得出分类结果。此方法改善了现有问答***的准确率和性能提升的瓶颈问题,针对问答***中的问句意图分类,提出基于新型自注意力机制的改进方法。
Description
技术领域
本发明涉及问答***领域,具体涉及一种基于自注意力近邻关系编码的意图分类方法。
背景技术
问答***是当前学术界自然语言处理领域中的热门研究话题,也是在工业界内最为广泛使用的人工智能应用之一。它是一种能将互联网大数据时代积累下来的无序语料信息进行有序和科学整理的用于知识分类的***模型,并使得用户可以利用自然语言的形式来查询他们所想得到的知识信息。
问句的意图识别和理解通常是问答***处理信息过程中的第一步骤。对用户提出的问题进行意图分析的目的也是为了得到问题的意图类别,从而在后续的***过程中可以根据不同类型的问题采用不同机制、选择适当的知识库来检索到正确的答案。问句意图分类是将用户提出的自然语言形式的问题根据分类模型来分配给对应意图类别的任务。虽然不同形式的问答***背后具有不同的技术架构,但是它们大多遵循一个统一的抽象框架,在这其中,问句意图分类在问答***中起着关键作用,一些相关研究表明问句意图分类的性能对整个问答***整体性能具有显著的影响。
问句意图分类通常有基于规则和基于学习的方法。问句意图分类是将用户提出的自然语言形式的问题根据分类模型来分配给对应意图类别的任务。虽然不同形式的问答***背后具有不同的技术架构,但是它们大多遵循一个统一的抽象框架,在这其中,问句意图分类在问答***中起着关键作用,一些相关研究表明问句意图分类的性能对整个问答***整体性能具有显著的影响。
基于规则的问句意图分类方法:这种方法往往试图将问题与一些人为预先制定编写的规则相匹配。显而易见的是,这类方法需要根据实际情况定义大量的规则且非常繁琐。而且这类方法在特定的数据集上表现良好,但是在未知的新数据集中的性能可能会相当差,因而难以对其进行扩展,导致其泛化性不足。
传统上基于学习的问句意图分类方法:通常利用的是统计机器学习中的监督学习方法。业内常用的分类器模型包括支持向量机(SVM)、最大熵模型以及SNoW(SparseNetwork ofWinnows)模型。
支持向量机(Support Vector Machine SVM)是用于对数据进行分类的非概率模型,它的本质是试图找到一个超平面来进行分类任务的线性判别模型。为了能够线性地分离数据,通常的做法是将特征空间映射到更高维度空间,而这种映射便是通过内核函数来完成的。基本的内核函数有线性、多项式、径向基函数和sigmoid函数。
稀疏网络模型(Sparse Network ofWinnows SNoW)是一种可用于问句分类的传统机器学习模型。它是一种多层次的学习体系结构,特别适用于高维空间学习任务。它为每个类学习单独的线性函数,而线性函数通过更新规则(如朴素贝叶斯,感知机或者winnow)进行学习。
注意力机制(Attention):最早的Attention机制算法是由Bahdanau D等人于2014年提出来的。他们为了缓解中间语义向量难以压缩源序列所有信息的问题,尤其是那些较长的序列,提出了对Encoder-Decoder框架进行扩展的想法。具体操作是在生成目标序列的每个词时,对于使用到的中间语义向量的计算方式改为源序列通过编码器的隐藏层的加权求和,而不是传统方法的只用编码器的最后一个输出状态ht来作为语义向量。
自注意力机制(Self-Attention):自注意力结构来取代传统的RNN和CNN完成对句子的编码任务。它一方面可以关联单个序列的不同位置以便计算序列的交互表示,另一方面还可以以自适应方式学习复杂的上下文单词表示。
然而,采用现有的几种问句意图分类的问答***,其准确率和性能的提升遭遇了瓶颈。
发明内容
本发明的目的是提供一种基于自注意力近邻关系编码的意图分类方法。此方法旨在改善现有问答***的准确率和性能提升的瓶颈问题,针对问答***中的问句意图分类,提出基于新型自注意力机制的改进方法。在原自注意力模型的基础上,增加了描述句子中相邻单词关系的偏置量,提出了一种基于自注意力近邻关系编码的意图分类方法SNR(Self-attention based onNeighbor Relation)。
为达到上述目的,本发明提供了一种基于自注意力近邻关系编码的意图分类方法,该方法包括以下步骤:步骤1:问答***接收待分类语句,并将待分类语句输入词嵌入层,转换为词向量矩阵;步骤2:将词向量矩阵输入基于近邻关系的自注意力层进行加权计算,映射出目标序列;步骤3:将目标序列输入到传统的自注意力层进行特征学习,获取具有高维语句信息的输出序列;步骤4:将输出序列通过批量归一化层进行批量归一化计算,得到归一化分布序列;步骤5:将归一化分布序列输入全连接层得出分类结果。
最优选的,待分类语句通过词嵌入层中的One-Hot向量和glove词嵌入模型进行转换,转换为词向量矩阵;词向量矩阵为X={x1,…,xn}。
最优选的,词向量矩阵输入基于近邻关系的自注意力层中,是在自注意力模型的基础上,增加描述相邻单词关系的偏置向量进行加权计算。
最优选的,加权计算中添加偏置向量的同时还添加了高斯分布;所述加权计算满足以下公式:
其中,H={h1,…,hn}为目标序列,αij为输入序列的权重系数,eij为比较两个输入元素i和j的兼容性系数,WV为模型中输入量为V时的相对位置序列,为输入量为V时描述相邻单词xi与xj相邻关系的偏置向量,GAUij为中心词与对齐词汇xj的紧密程度。最优选的,GAUij满足高斯分布:
其中,GAUij∈Rn×n;POSi为中心位置词汇;σi为标准偏差。
最优选的,中心位置词汇POSi满足:POSi=n*sigmoid(pi),其中,pi为中心位置预测参数,n为sigmoid函数取值范围为(0,n);中心位置预测参数pi可以由自注意力模型映射得来,且满足:
最优选的,标准偏差σi满足:
其中,Di为以POSi为中心的窗口大小范围。
最优选的,窗口大小范围Di满足:Di=n*sigmoid(di),其中,di为窗口大小预测参数;所述窗口大小预测参数可以由自注意力模型映射得来,且满足:
最优选的,输入序列的权重系数为αij满足:
其中,k为整数,当同一个序列中的两个元素距离超过k,那么这两个元素之间的位置信息关系便没有重要意义。eik为比较两个输入元素i和k的兼容性系数,GAUik为中心词POSi与对齐词汇的紧密程度,score(xi,xj)为输入序列的权重系数采用的打分函数,为输入量为V时描述相邻单词xi与xj相邻关系的偏置向量,WQ为输入量为Q时的相对位置序列,WK为输入量为K时的相对位置序列,d为缩放因子。
最优选的,输入量为K时的相对位置序列WK和输入量为V时的相对位置序列WV分别满足:
运用此发明,改善了现有问答***的准确率和性能提升的瓶颈问题,针对问答***中的问句意图分类,提出了基于新型自注意力机制的改进方法。在原自注意力模型的基础上,增加了描述句子中相邻单词关系的偏置量,提出了一种基于自注意力近邻关系编码的意图分类方法SNR(Self-attention based on Neighbor Relation)。
相对于现有技术,本发明具有以下有益效果:
1、本发明方法改善了现有问答***的准确率和性能提升的瓶颈问题,提出了基于新型自注意力机制的改进方法。
2、本发明方法在学习问答语句全局注意力的同时增强局部语义上下文的理解能力。
附图说明
图1为本发明提供的意图分类方法流程图;
图2为本发明提供的相邻关系修正分布示意图;
图3为本发明提供的自注意力层编码权重分布图A;
图4为本发明提供的自注意力层编码权重分布图B;
图5为本发明提供的自注意力层编码权重分布图C;
图6为本发明提供的批量归一化层的算法描述示意图;
图7为本发明提供的测试集样本分类效果示意图;
图8为本发明提供的实测场景样本测试效果示意图。
具体实施方式
以下结合附图通过具体实施例对本发明作进一步的描述,这些实施例仅用于说明本发明,并不是对本发明保护范围的限制。
本发明是一种基于自注意力近邻关系编码的意图分类方法,如图1所示,该方法包括以下步骤:
步骤1:问答***接收待分类语句,待分类语句为Q={q1,q2,...,qm},并将待分类语句输入词嵌入层,待分类语句通过词嵌入层中的One-Hot向量和glove词嵌入模型进行转换,转换为词向量矩阵;相比传统的词向量构建方法保留了更多的语义信息,词向量矩阵为X={x1,...,xn}。
步骤2:将所述词向量矩阵输入基于近邻关系的自注意力层,通过在自注意力模型的基础上,增加描述相邻单词关系的偏置向量进行加权计算,映射出目标序列,目标序列为H={h1,...,hn};
其中,H={h1,...,hn}为目标序列,αij为输入序列的权重系数,eij为比较两个输入元素i和j的兼容性系数,WV为模型中输入量为V时的相对位置序列,为描述相邻单词xi与xj相邻关系的偏置向量,GAUij为中心词POSi与对齐词汇xj的紧密程度。
在对eij进行softmax计算权重时,基于近邻关系的自注意力层添加了高斯分布来测量中心词与第i个对齐的词向量xj的紧密程度,且满足:
其中,GAUij为中心词POSi与对齐词汇xj的紧密程度,GAUij∈Rn×n;POSi为中心位置词汇;σi为标准偏差。
中心位置词汇POSi满足:POSi=n*sigmoid(pi),其中,pi为中心位置预测参数,n为sigmoid函数取值范围为(0,n),由于sigmoid函数取值范围为(0,1),因此在其基础上添加序列长度参数n,将其缩放到(0,n)的区间;中心位置预测参数pi可以由自注意力模型的Query查询向量经过前馈网络映射得来,且满足:
标准偏差σi满足:
其中,Di为以POSi为中心的窗口大小范围;窗口大小范围Di满足:Di=n*sigmoid(di),其中,di为窗口大小预测参数;窗口大小预测参数可以由自注意力模型的Query查询向量经过前馈网络映射得来,且满足:
考虑了中心位置词汇一定范围内的词权重情况,输入序列的权重系数为αij满足:
eij=score(xi,xj)
其中,k为整数,假定当同一个序列中的两个元素距离超过某个k时,那么这两个元素之间的位置信息关系便没有重要意义了。eik为比较两个输入元素i和k的兼容性系数,GAUik为中心词POSi与对齐词汇的紧密程度,score(xi,xj)为输入序列的权重系数采用的打分函数,为输入量为V时描述相邻单词xi与xj相邻关系的偏置向量,WQ为输入量为Q时的相对位置序列,WK为输入量为K时的相对位置序列,d为缩放因子;打分计算函数采取了自注意力机制模型中的缩放点积法(Scaled Dot-Product),它在点积注意力的基础上增加了缩放因子。
基于近邻关系的自注意力层在对词向量xj对齐的同时也增加了同样的输入量为K时描述相邻单词xi与xj相邻关系的偏置向量在实际计算中,假定当同一个序列中的两个元素距离超过某个整数k时,那么这两个元素之间的位置信息关系便没有重要意义了。因而,计算和的方法本质上可归于训练输入量为K时的相对位置序列WK和输入量为V时的相对位置序列WV,且分别满足:
基于近邻关系的自注意力层在保留自注意力层学习问句中各个单词间依赖关系的基础上,加入了各个单词之间的位置信息,可以捕获相邻单词的语义信息从而获取问句中不同单词的位置信息,修正单词之间注意力的分布,修正后的分布如图2所示。
步骤3:将所述目标序列输入到传统的自注意力层进行特征学习,以学习高层次特征,获取具有高维语句信息,更加高维的语义信息和句子特征的输出序列。自注意力层编码权重分布图如图3、图4、图5所示。
步骤4:将所述输出序列通过批量归一化层进行批量归一化计算,得到归一化分布序列;批量归一化计算的本质是在训练深度神经网络时保证每一层网络层的输入都保持相同的分布,即对每个隐藏层神经元的激活值做类似白化(Whiten)的操作。由于深度神经网络在做非线性变换前的激活输入值会随着网络的层数的叠加而发生分布上的偏移,其结果会导致训练难以收敛。因此批量归一化层将输出序列的值分布转换为标准正态分布,对每个隐藏层神经元,都会将激活函数映射后得到的值分布强制拉回均值为0,方差为1的标准正态分布。批量归一化计算降低了模型过拟合的风险,批量归一化计算的算法如图6所示。
步骤5:将归一化分布序列输入全连接层得出分类结果,测试集样本分类效果如图7所示,实测场景样本测试效果如图8所示。
本发明的工作原理:
问答***接收待分类语句,并将待分类语句输入词嵌入层,转换为词向量矩阵;将词向量矩阵输入基于近邻关系的自注意力层进行加权计算,映射出目标序列;将目标序列输入到传统的自注意力层进行特征学习,获取具有高维语句信息的输出序列;将输出序列通过批量归一化层进行批量归一化计算,得到归一化分布序列;将归一化分布序列输入全连接层得出分类结果。
综上所述,本发明方法,改善了现有问答***的准确率和性能提升的瓶颈问题,针对问答***中的问句意图分类,提出了基于新型自注意力机制的改进方法。在原自注意力模型的基础上,增加了描述句子中相邻单词关系的偏置量,提出了一种基于自注意力近邻关系编码的意图分类方法SNR(Self-attention based on Neighbor Relation)。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。
Claims (9)
1.一种基于自注意力近邻关系编码的意图分类方法,其特征在于,包括以下步骤:
步骤1:问答***接收待分类语句,并将待分类语句输入词嵌入层,转换为词向量矩阵;
步骤2:将所述词向量矩阵输入基于近邻关系的自注意力层进行加权计算,映射出目标序列,所述词向量矩阵输入所述基于近邻关系的自注意力层中,是在自注意力模型的基础上,增加描述相邻单词关系的偏置向量进行加权计算,所述加权计算中添加所述偏置向量的同时还添加了高斯分布;
步骤3:将所述目标序列输入到传统的自注意力层进行特征学习,获取具有高维语句信息的输出序列;
步骤4:将所述输出序列通过批量归一化层进行批量归一化计算,得到归一化分布序列;
步骤5:将所述归一化分布序列输入全连接层得出分类结果。
2.如权利要求1所述的基于自注意力近邻关系编码的意图分类方法,其特征在于,所述待分类语句通过所述词嵌入层中的One-Hot向量和glove词嵌入模型进行转换,转换为词向量矩阵;所述词向量矩阵为X={x1,…,xn}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910842195.7A CN110543566B (zh) | 2019-09-06 | 2019-09-06 | 一种基于自注意力近邻关系编码的意图分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910842195.7A CN110543566B (zh) | 2019-09-06 | 2019-09-06 | 一种基于自注意力近邻关系编码的意图分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110543566A CN110543566A (zh) | 2019-12-06 |
CN110543566B true CN110543566B (zh) | 2022-07-22 |
Family
ID=68712764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910842195.7A Active CN110543566B (zh) | 2019-09-06 | 2019-09-06 | 一种基于自注意力近邻关系编码的意图分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110543566B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144110B (zh) * | 2019-12-27 | 2024-06-04 | 科大讯飞股份有限公司 | 拼音标注方法、装置、服务器及存储介质 |
CN111597339B (zh) * | 2020-05-22 | 2023-06-30 | 北京慧闻科技(集团)有限公司 | 文档级多轮对话意图分类方法、装置、设备及存储介质 |
CN112035645B (zh) * | 2020-09-01 | 2024-06-11 | 平安科技(深圳)有限公司 | 数据查询方法以及*** |
CN113486395B (zh) * | 2021-07-02 | 2024-07-23 | 南京大学 | 一种采用多元信息融合的科研数据匿名化方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108519890A (zh) * | 2018-04-08 | 2018-09-11 | 武汉大学 | 一种基于自注意力机制的鲁棒性代码摘要生成方法 |
CN109670050A (zh) * | 2018-12-12 | 2019-04-23 | 科大讯飞股份有限公司 | 一种实体关系预测方法及装置 |
CN110046248A (zh) * | 2019-03-08 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 用于文本分析的模型训练方法、文本分类方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190156220A1 (en) * | 2017-11-22 | 2019-05-23 | Microsoft Technology Licensing, Llc | Using machine comprehension to answer a question |
-
2019
- 2019-09-06 CN CN201910842195.7A patent/CN110543566B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108519890A (zh) * | 2018-04-08 | 2018-09-11 | 武汉大学 | 一种基于自注意力机制的鲁棒性代码摘要生成方法 |
CN109670050A (zh) * | 2018-12-12 | 2019-04-23 | 科大讯飞股份有限公司 | 一种实体关系预测方法及装置 |
CN110046248A (zh) * | 2019-03-08 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 用于文本分析的模型训练方法、文本分类方法和装置 |
Non-Patent Citations (2)
Title |
---|
Modeling Localness for Self-Attention Networks;Baosong Yang等;《arXiv》;20181024;全文 * |
基于序列注意力机制的卷积神经网络异常检测;李苑;《郑州大学学报(理学版)》;20190630;第51卷(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110543566A (zh) | 2019-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110543566B (zh) | 一种基于自注意力近邻关系编码的意图分类方法 | |
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 | |
WO2021143396A1 (zh) | 利用文本分类模型进行分类预测的方法及装置 | |
CN111695779B (zh) | 一种知识追踪方法、装置及存储介质 | |
CN110807320B (zh) | 基于cnn双向gru注意力机制的短文本情感分析方法 | |
US5048100A (en) | Self organizing neural network method and system for general classification of patterns | |
CN110647619A (zh) | 一种基于问题生成和卷积神经网络的常识问答方法 | |
CN112232087B (zh) | 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法 | |
CN111581520A (zh) | 基于会话中物品重要性的物品推荐方法和*** | |
CN114936623B (zh) | 一种融合多模态数据的方面级情感分析方法 | |
CN113705238B (zh) | 基于bert和方面特征定位模型的方面级情感分析方法及*** | |
CN111597340A (zh) | 一种文本分类方法及装置、可读存储介质 | |
CN110909736A (zh) | 一种基于长短期记忆模型与目标检测算法的图像描述方法 | |
CN114898219B (zh) | 一种基于svm的机械手触觉数据表示识别方法 | |
CN115270752A (zh) | 一种基于多层次对比学习的模板句评估方法 | |
CN109308316A (zh) | 一种基于主题聚类的自适应对话生成*** | |
Varshitha et al. | Natural language processing using convolutional neural network | |
Mikhaylenko et al. | Analysis of the predicting neural network person recognition system by picture image | |
CN114036298A (zh) | 一种基于图卷积神经网络与词向量的节点分类方法 | |
CN112668543B (zh) | 一种手模型感知的孤立词手语识别方法 | |
CN112528168B (zh) | 基于可形变自注意力机制的社交网络文本情感分析方法 | |
CN116719930A (zh) | 基于视觉方面注意的多模态情感分析方法 | |
CN114782791A (zh) | 基于transformer模型和类别关联的场景图生成方法 | |
CN112667788A (zh) | 一种新型的基于bertcontext的多轮对话自然语言理解模型 | |
CN113626537A (zh) | 一种面向知识图谱构建的实体关系抽取方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |