CN113947069A - 一种端到端的多任务学习的对话指代消解方法及*** - Google Patents

一种端到端的多任务学习的对话指代消解方法及*** Download PDF

Info

Publication number
CN113947069A
CN113947069A CN202111220408.6A CN202111220408A CN113947069A CN 113947069 A CN113947069 A CN 113947069A CN 202111220408 A CN202111220408 A CN 202111220408A CN 113947069 A CN113947069 A CN 113947069A
Authority
CN
China
Prior art keywords
representation
context
pronoun
attention
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111220408.6A
Other languages
English (en)
Inventor
庞文君
杨猛
许红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianhai Qibao Technology Shenzhen Co ltd
Original Assignee
Qianhai Qibao Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianhai Qibao Technology Shenzhen Co ltd filed Critical Qianhai Qibao Technology Shenzhen Co ltd
Priority to CN202111220408.6A priority Critical patent/CN113947069A/zh
Publication of CN113947069A publication Critical patent/CN113947069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种端到端的多任务学习的对话指代消解方法及***，包括：上下文信息表示模块、零代词注意力表示模块深度检测模型、替换模块；所述上下文信息表示模块，用于将历史对话和当前对话进行预处理后，提取候选词上下文表示和代词上下文表示，并将两者进行注意力权重计算；所述零代词注意力表示模块，将候选词上下文表示和代词上下文表示进一步进行注意力权重计算；所述深度检测模型，用于判断当前会话中是否存在指代现象，所述替换模块，将代词、零代词替换成候选词。本发明采用了端到端的多任务深度学习技术，实现基于注意力机制表示完成消解任务，提高了消解准确率，保证了指代完整恢复，提高对话***智能化能力。

Description

一种端到端的多任务学习的对话指代消解方法及***
技术领域
本发明涉及人工智能技术领域，具体涉及一种端到端的多任务学习的对话指代消解方法及***。
背景技术
指代是一种常见的语言现象。在文章、会话中常常使用代词来指代前文或者前对话中已经出现过的某个名词，虽然指代让文章或者会话沟通更加简洁多样，但这一类指代现象在机器处理时，就面临指代不清晰，意图不明确的问题发生，因此，为解决此类问题，让机器更好的理解，指代消解尤为关键。
随着人工智能技术的快速发展，自然语言处理技术也逐步深化到更加细致的领域，指代消解成为自然语言处理中的关键问题，尤其在智能对话***中，评价一个智能对话机器人是否智能，指代消解的好坏将直接影响智能会话能力。目前大多数智能对话机器人处于“一问一答”模式，没有指代消解或者规则化指代消解，导致机器人理解能力并不能满足实际需求。
现有技术存在以下几点不足：
(1)在指代检测中，大量的方法只利用了零代词的句子信息，而没有结合语义信息，导致在检测任务中准确率不高，错误累积，影响消解效果。
(2)在指代消解中，现行的方法在利用句子信息时，将所有句子信息权重一致，没有突出句子的重点信息，消解率较低。
(3)在指代消解中，一般分为指代检测和指代消解，由于两个单任务存在前后误差累积，整体消解率受到限制。
因此，现有技术存在不足，需要进一个改进。
发明内容
针对现有技术存在的问题，本发明一种端到端的多任务学习的对话指代消解方法及***。
为实现上述目的，本发明的具体方案如下：
本发明提供一种端到端的多任务学习的对话指代消解***，包括：
上下文信息表示模块、零代词注意力表示模块、深度检测模型、替换模块；
所述上下文信息表示模块，用于将历史对话和当前对话进行预处理后，提取候选词上下文表示和代词上下文表示，并将两者进行注意力权重计算；
所述零代词注意力表示模块，将候选词上下文表示和代词上下文表示进一步进行注意力权重计算；
所述深度检测模型，用于判断当前会话中是否存在指代现象，并识别指代是否可以消解，若代词是无意义的代词或者没有确定的候选词，则不可消解，若可以消解，则进行消解；
所述替换模块，将代词、零代词替换成候选词。
进一步地，所述上下文信息表示模块包含词向量ELMO、CNN卷积神经网络、双向BILSTM神经网络、attention层、全连接层、表示层；
所述词向量ELMO用于进行对话资料的预处理；
所述CNN卷积神经网络，包含卷积层和池化层，卷积层和池化层用于提取经过预处理的对话资料中的局部重点信息；
所述双向BILSTM神经网络用于提取上下文的语义信息；
所述attention层用于将候选词上下文和代词上下文进行注意力权重计算；
所述全连接层用于连接attention层和表示层；
所述表示层用于候选词上下文表示和代词上下文表示的输出。
进一步地，所述零代词注意力表示模块包含tanh激活函数、max pool最大池化函数、softmax归一化指数函数。
本发明还一种端到端的多任务学习的对话指代消解方法，包括如下步骤：
S1，将历史对话和当前对话通过上下文信息表示模块处理，得到候选词上下文表示和代词上下文表示；零代词注意力表示模块将候选词上下文表示和代词上下文表示进一步进行注意力权重计算；
S2，深度检测模型判断当前会话中是否存在指代现象，并识别指代是否可以消解；
S3，将代词和零代词用最高分数的候选词进行替换或补充。
进一步地，步骤S1具体包括如下步骤：
S11，将历史对话和当前对话通过词向量ELMO进行预处理；
S12，CNN卷积神经网络中卷积层与池化层提取经过预处理的对话资料中的局部重点信息，双向BILSTM神经网络提取经过预处理的对话资料上下文的语义信息；
S13，将前述步骤处理后的数据，进行注意力权重计算，经过全连接层后作为表示层输出；
S14，采用基于注意力的表示，结合候选词上下文表示和代词上下文表示，交互注意力能根据序列中的权重提取重要信息，建立候选词和代词之间的联系，突出零代词的信息表示；
S15，经过最大池化和softmax归一化指数函数处理，得到注意力权重，然后与对应的表示做注意力权重计算，分别与候选词上下文表示和代词上下文表示，再做注意力权重计算；
S16，得到两者表示后，相加即可得到基于注意力的代词表示。
进一步地，步骤S12中，CNN卷积神经网络的处理函数如下：
Cmax-pool＝Max_pool(C1,C2,C3Λ)
其中Ci为经过卷积层后的表示，Cmax-pool经过最大池化层的特征表示。
进一步地，步骤S12中，双向BILSTM神经网络的处理函数表示如下：
Hbilstm＝BILSTM(Si+w1*Cmax-pool)
其中Si为当前句子表示，w1为表示中的可调参数。
进一步地，步骤S13中，将CNN卷积神经网络和双向BILSTM神经网络处理的结果做注意力权重计算，具体函数如下：
Rcontext＝[Cmax-pool,Hbilstm]*softmax(W3*tanh(W2*[Cmax-pool,Hbilstm]))
其中W2，W3为可以学习权重参数。
进一步地，步骤S14中，结合候选词上下文表示和代词上下文表示，交互注意力根据序列中的权重提取重要信息，建立候选词和代词之间的联系，突出零代词的信息表示，具体采用如下函数：
Attc＝softmax(max_pool(w4*tanh(Rc_context*Ra_context),1))
Atta＝softmax(max_pool(w5*tanh(Rc_context*Ra_context)),2))
其中Rc_context表示候选词上下文表示，Ra_context表示代词的上下文表示，两者相乘经过激活函数tanh，其中w4,w5为可调参数。
进一步地，步骤S3中，所述得分最高的候选词是指根据待消解词组在替换模块网络输出得分最高的候选词。
采用本发明的技术方案，具有以下有益效果：
采用端到端的多任务深度学习技术，实现基于注意力机制表示完成消解任务，提高了消解准确率，保证了指代完整恢复，在含有代词或者零代词句子中，使意图更加明确，在多轮会话中，让机器更加智能化；利用注意力机制，让信息表示不在关注句子本身，突出了重要词的信息，同时多任务学习，减少了单模型的误差累积，能够克服指代消解任务中消解错误、消解率低等缺点，在对话***化中，端到端的模式，易于被业界使用，提高对话***智能化能力，让机器更加理解人类，交互自然。
附图说明
图1是本发明具体实施方式的端到端多任务学习的对话指代消解技术框图；
图2是本发明具体实施方式的代词与候选词上下文表示模块图；
图3是本发明具体实施方式的基于注意力的代词表示模块；
图4是本发明具体实施方式的的整体流程图。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
结合图1-图4对本发明进行具体说明
本发明提供一种端到端的多任务学习的对话指代消解方法及***，
该***包括：上下文信息表示模块、零代词注意力表示模块、深度检测模型、替换模块；
所述上下文信息表示模块，用于将历史对话和当前对话进行预处理后，提取候选词上下文表示和代词上下文表示，并将两者进行注意力权重计算；
所述零代词注意力表示模块，将候选词上下文表示和代词上下文表示进一步进行注意力权重计算；
所述深度检测模型，用于判断当前会话中是否存在指代现象，并识别指代是否可以消解，若代词是无意义的代词或者没有确定的候选词，则不可消解，若可以消解，则进行消解；所述替换模块，将代词、零代词替换成候选词。
所述上下文信息表示模块包含词向量ELMO、CNN卷积神经网络、双向BILSTM神经网络、attention层、全连接层、表示层；
所述词向量ELMO用于进行对话资料的预处理；
所述CNN卷积神经网络，包含卷积层和池化层，卷积层和池化层用于提取经过预处理的对话资料中的局部重点信息；
所述双向BILSTM神经网络用于提取上下文的语义信息；
所述attention层用于将候选词上下文和代词上下文进行注意力权重计算；
所述全连接层用于连接attention层和表示层；
所述表示层用于候选词上下文表示和代词上下文表示的输出。
所述零代词注意力表示模块包含tanh激活函数、max pool最大池化函数、softmax归一化指数函数。
一种端到端的多任务学习的对话指代消解方法，具体如下：
如图1所示，本申请提出的端到端的多任务学习的指代消解技术包含三个任务，包括代词检测任务、是否消解任务、代词消解任务。三个任务都是基于最新的深度学习技术进行模型学习来进行完成指代的最终消解。
端到端的多任务学习的指代消解方法步骤如下：
步骤1：代词检测任务。输入当前对话，经过数据预处理，得到当前对话的语义表示，语义表示能够有效表示句子语义信息和潜在代词的上下文信息，句子信息表示我们采用预训练的词向量ELMO。
上下文信息表示模块，分别有两处的上下文，候选词上下文与代词上下文，采用同样的神经网络的结构，主体模块框如图2。上下文表示由CNN卷积神经网络和双向BILSTM神经网络两者结合的表示，将得到的词向量分别经过两个不同的深度神经网络。CNN卷积神经网络中卷积层与池化层提取(经过预处理的对话资料)文本中的局部重点信息，双向BILSTM神经网络提取上下文的语义信息，CNN卷积神经网络的处理函数如下：
Cmax-pool＝Max_pool(C1,C2,C3Λ)
其中Ci为词向量经过卷积层后的表示，Cmax-pool为经过最大池化层的特征表示。
双向BILSTM神经网络的处理函数表示如下：
Hbilstm＝BILSTM(Si+w1*Cmax-pool)
Si为当前句子表示，w1为表示中的可调参数。
将CNN卷积神经网络和双向BILSTM神经网络处理的结果做注意力权重计算：
具体函数如下：
Rcontext＝[Cmax-pool,Hbilstm]*softmax(W3*tanh(W2*[Cmax-pool,Hbilstm]))
其中W2，W3为可以学习权重参数，softmax为归一化指数函数，tanh为激活函数；
attention层经过全连接层后作为表示层输出。
为了突出零代词的信息表示，我们采用了基于注意力的表示，零代词注意表示模块为图3模块，结合候选词上下文表示和代词上下文表示，交互注意力能根据序列中的权重提取重要信息，有助于建立候选词和代词之间的联系，具体结构表示如下：
Attc＝softmax(max_pool(w4*tanh(Rc_context*Ra_context),1))
Atta＝softmax(max_pool(w5*tanh(Rc_context*Ra_context)),2))
Rc_context表示候选词上下文表示，Ra_context表示代词上下文表示，两者相乘经过激活函数tanh，其中w4,w5为可调参数。
经过上面的最大池化和softmax归一化指数函数，即得到注意力权重，然后与对应的表示做注意力权重计算，分别与候选词上下文表示和代词上下文表示，做如下权重计算，结果如下：
Vc＝∑attc(k)*Rc_context(k)
Va＝∑atta(i)*Ra_context(i)
得到两者表示后，相加即可得到基于注意力的(零)代词表示。
零代词检测，检测每个词前后是否有零代词出现，有零代词出现，比如当用户咨询保险产品时，“我刚买的”，深度检测模型检测到零代词的存在，采用符号“*_pos*”表示，“我刚买的*_pos*”。
经过深度检测模型判断是否在当前会话中存在指代现象，如果有指代在，则进入下一个任务。
步骤2：指代是否消解。从历史会话中提取到候选词，一般为名词，作为用于消解的候选词，基于同样的信息表示，可以得到候选词的上下文表示信息。利用上个任务中代词的上下文表示信息与候选词的计算代词的注意力权重，得到代词的注意力表示，由深度检测模型识别指代是否可以消解，不可消解，表示该代词是无意义的代词或者没有确定的候选词；可消解进入下一个任务中。
步骤3：候选词的挑选，我们采用了句法解析树，句法结构中检测到名词都将作为候选词，候选词也采用了基于注意力表示，为了更好的表示上下文的语义环境，根据候选词的位置，将句子分割成前后句子分别作为上下文信息表征，基于指代检测任务中的代词注意力表示，联合两者信息学***台或者客服，但“你们”是很好的说明，并不需要消解，消解只会消错，是否消解作为一个分类任务，将不需要的消解代词过滤，减少错误的出现。
步骤4：消解任务。确定代词可消解后，从前面的候选词表示结合代词表示，逐个消解，获得消解分数，替换模块选择最佳的候选词作为消解对象替换代词，完成消解任务。
在该任务中，候选词可能存在多个，在这里将零代词与候选词组成待消解的词组对，如下：
f(w,ci)；
其中Ci表示第i个待消解的词组对，w是分类器权重参数，f是全连接网络，在训练时，若ci是正确的待消解的词组对，则f(w,ci)输出为1，否则输出为0。在测试时，同一个零指代，有多个候选词时，例如“怎么下载*_pos*”，候选词“保险”、“电子保单”，存在多个分数，选择f(w,ci)得分最高的候选词作为消解结果，学习该任务时，上下文信息做了信息表示学习，“电子保单”将作为消解结果，为了更好保证消解结果的准确率，设置了一定的阈值，只有达到一定的阈值才消解，避免带来错误。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。

Claims (10)

1.一种端到端的多任务学习的对话指代消解***，其特征在于包括：
上下文信息表示模块、零代词注意力表示模块、深度检测模型、替换模块；
所述上下文信息表示模块，用于将历史对话和当前对话进行预处理后，提取候选词上下文表示和代词上下文表示，并将两者进行注意力权重计算；
所述零代词注意力表示模块，将候选词上下文表示和代词上下文表示进一步进行注意力权重计算；
所述深度检测模型，用于判断当前会话中是否存在指代现象，并识别指代是否可以消解，若代词是无意义的代词或者没有确定的候选词，则不可消解，若可以消解，则进行消解；
所述替换模块，将代词、零代词替换成候选词。
2.根据权利要求1所述的端到端的多任务学习的对话指代消解***，其特征在于，
所述上下文信息表示模块包含词向量ELMO、CNN卷积神经网络、双向BILSTM神经网络、attention层、全连接层、表示层；
所述词向量ELMO用于进行对话资料的预处理；
所述CNN卷积神经网络，包含卷积层和池化层，卷积层和池化层用于提取经过预处理的对话资料中的邻域内任务关联语义信息；
所述双向BILSTM神经网络用于提取上下文的语义信息；
所述attention层用于将候选词上下文和代词上下文进行注意力权重计算；
所述全连接层用于连接attention层和表示层；
所述表示层用于候选词上下文表示和代词上下文表示的输出。
3.根据权利要求1所述的端到端的多任务学习的对话指代消解***，其特征在于，
所述零代词注意力表示模块包含tanh激活函数、max pool最大池化函数、softmax归一化指数函数。
4.一种端到端的多任务学习的对话指代消解方法，其特征在于，包括如下步骤：
S1，将历史对话和当前对话通过上下文信息表示模块处理，得到候选词上下文表示和代词上下文表示；零代词注意力表示模块将候选词上下文表示和代词上下文表示进一步进行注意力权重计算；
S2，深度检测模型判断当前会话中是否存在指代现象，并识别指代是否可以消解；
S3，将代词和零代词用替换模块输出得分最高的候选词进行替换或补充。
5.根据权利要求4所述的端到端的多任务学习的对话指代消解方法，其特征在于，
步骤S1具体包括如下步骤：
S11，将历史对话和当前对话通过词向量ELMO进行预处理；
S12，CNN卷积神经网络中卷积层与池化层提取经过预处理的对话资料中的局部重点信息，双向BILSTM神经网络提取经过预处理的对话资料上下文的语义信息；
S13，将前述步骤处理后的数据，进行注意力权重计算，经过全连接层后作为表示层输出；
S14，采用基于注意力的表示，结合候选词上下文表示和代词上下文表示，交互注意力能根据序列中的权重提取重要信息，建立候选词和代词之间的联系，突出零代词的信息表示；
S15，经过最大池化和softmax归一化指数函数处理，得到注意力权重，然后与对应的表示做注意力权重计算，分别与候选词上下文表示和代词上下文表示，再做注意力权重计算；
S16，得到两者表示后，相加即可得到基于注意力的代词表示。
6.根据权利要求5所述的端到端的多任务学习的对话指代消解方法，其特征在于，
步骤S12中，CNN卷积神经网络的处理函数如下：
Cmax-pool＝Max_pool(C1,C2,C3Λ)
其中Ci为经过卷积层后的表示，Cmax-pool经过最大池化层的特征表示。
7.根据权利要求6所述的端到端的多任务学习的对话指代消解方法，其特征在于，
步骤S12中，双向BILSTM神经网络的处理函数表示如下：
Hbilstm＝BILSTM(Si+w1*Cmax-pool)
其中Si为当前句子表示，w1为表示中的可调参数。
8.根据权利要求7所述的端到端的多任务学习的对话指代消解方法，其特征在于，
步骤S13中，将CNN卷积神经网络和双向BILSTM神经网络处理的结果做注意力权重计算，
具体函数如下：
Rcontext＝[Cmax-pool,Hbilstm]*softmax(W3*tanh(W2*[Cmax-pool,Hbilstm]))
其中W2，W3为可以学习权重参数。
9.根据权利要求8所述的端到端的多任务学习的对话指代消解方法，其特征在于，
步骤S14中，结合候选词上下文表示和代词上下文表示，交互注意力根据序列中的权重提取重要信息，建立候选词和代词之间的联系，突出零代词的信息表示，具体采用如下函数：
Attc＝softmax(max_pool(w4*tanh(Rc_context*Ra_context),1))
Atta＝softmax(max_pool(w5*tanh(Rc_context*Ra_context)),2))
其中Rc_context表示候选词上下文表示，Ra_context表示代词的上下文表示，两者相乘经过激活函数tanh，其中w4,w5为可调参数。
10.根据权利要求4所述的端到端的多任务学习的对话指代消解方法，其特征在于，
步骤S3中，所述得分最高的候选词是指根据待消解词组在替换模块网络输出得分最高的候选词，
得分通过f(w,ci)计算得到，
其中Ci表示第i个待消解的词组对，w是分类器权重参数，f是全连接网络。
CN202111220408.6A 2021-10-20 2021-10-20 一种端到端的多任务学习的对话指代消解方法及*** Pending CN113947069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111220408.6A CN113947069A (zh) 2021-10-20 2021-10-20 一种端到端的多任务学习的对话指代消解方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111220408.6A CN113947069A (zh) 2021-10-20 2021-10-20 一种端到端的多任务学习的对话指代消解方法及***

Publications (1)

Publication Number Publication Date
CN113947069A true CN113947069A (zh) 2022-01-18

Family

ID=79331744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111220408.6A Pending CN113947069A (zh) 2021-10-20 2021-10-20 一种端到端的多任务学习的对话指代消解方法及***

Country Status (1)

Country Link
CN (1) CN113947069A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579706A (zh) * 2022-03-07 2022-06-03 桂林旅游学院 一种基于bert神经网络和多任务学习的主观题自动评阅方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579706A (zh) * 2022-03-07 2022-06-03 桂林旅游学院 一种基于bert神经网络和多任务学习的主观题自动评阅方法
CN114579706B (zh) * 2022-03-07 2023-09-29 桂林旅游学院 一种基于bert神经网络和多任务学习的主观题自动评阅方法

Similar Documents

Publication Publication Date Title
CN110413746B (zh) 对用户问题进行意图识别的方法及装置
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN110489555B (zh) 一种结合类词信息的语言模型预训练方法
CN110704641B (zh) 一种万级意图分类方法、装置、存储介质及电子设备
CN111581361B (zh) 一种意图识别方法及装置
WO2018028077A1 (zh) 一种基于深度学习的中文语义分析的方法及装置
CN111339305B (zh) 文本分类方法、装置、电子设备及存储介质
CN114580382A (zh) 文本纠错方法以及装置
CN110825867B (zh) 相似文本推荐方法、装置、电子设备和存储介质
CN113553412B (zh) 问答处理方法、装置、电子设备和存储介质
CN110134950B (zh) 一种字词结合的文本自动校对方法
CN108287848B (zh) 用于语义解析的方法和***
CN112364631B (zh) 基于层级多任务学习的中文语法错误检测方法及***
CN112364167A (zh) 基于深度学习的意图识别方法、***、设备及存储介质
CN112036705A (zh) 一种质检结果数据获取方法、装置及设备
CN111767714B (zh) 一种文本通顺度确定方法、装置、设备及介质
Dunn Frequency vs. association for constraint selection in usage-based construction grammar
CN109766523A (zh) 词性标注方法和标注***
CN116680386A (zh) 基于多轮对话的答案预测方法和装置、设备、存储介质
CN109710756B (zh) 基于语义角色标注的文书体裁分类***及方法
CN111209373A (zh) 基于自然语义的敏感文本识别方法和装置
CN113177113B (zh) 任务型对话模型预训练方法、装置、设备及存储介质
CN113947069A (zh) 一种端到端的多任务学习的对话指代消解方法及***
CN109165300B (zh) 文本蕴含识别方法及装置
CN111858894A (zh) 语义缺失的识别方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination