CN115269807B - 一种基于问题类型识别的问答对联合生成模型 - Google Patents

一种基于问题类型识别的问答对联合生成模型 Download PDF

Info

Publication number
CN115269807B
CN115269807B CN202210966935.XA CN202210966935A CN115269807B CN 115269807 B CN115269807 B CN 115269807B CN 202210966935 A CN202210966935 A CN 202210966935A CN 115269807 B CN115269807 B CN 115269807B
Authority
CN
China
Prior art keywords
question
answer
model
text
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210966935.XA
Other languages
English (en)
Other versions
CN115269807A (zh
Inventor
宫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Shenzhi Technology Co ltd
Original Assignee
Beijing Zhongke Shenzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Shenzhi Technology Co ltd filed Critical Beijing Zhongke Shenzhi Technology Co ltd
Priority to CN202210966935.XA priority Critical patent/CN115269807B/zh
Publication of CN115269807A publication Critical patent/CN115269807A/zh
Application granted granted Critical
Publication of CN115269807B publication Critical patent/CN115269807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于问题类型识别的问答对联合生成模型，包括使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型，来辅助模型获取更多的知识生成问题和答案；将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型；在答案抽取模块采用联合式抽取，将答案的起始位置和结束位置联系起来，更准确地定位起始位置。本发明采用了联合的方式，将问题生成和答案抽取联合训练，并且在数据预处理时，通过已有的训练好的序列标注模型获取输入文本的关键词信息，并将其转化为对应的商品属性类别，来辅助模型获取更多的知识生成问题和抽取答案。

Description

一种基于问题类型识别的问答对联合生成模型
技术领域
本发明属于问题类型识别技术领域，更具体的说是涉及一种基于问题类型识别的问答对联合生成模型。
背景技术
基于阅读理解模式的问答严重依赖人力去标注问答对，这样大大的加大了时间和人力成本。给定一段文本，自动生成问答对可以大大减少在人力和时间上的消耗。目前在电商领域，每天都有成百上千的新商品出现，很容易获取到每件商品的解说词，即一段描述商品信息的文本，根据这段文本自动生成对应的问答对是急需要解决的问题。
传统方法中，通过文本生成问题，会出现生成的问题涉及文本的内容但是和实际关注的问题不一致的情况。如图1中，原文1中，生成问题和实际关注问题是一致的。但原文2,3中，生成的问题和实际关注的问题严重不一致。在对商品解说词进行问题生成时，我们只想生成和商品属性相关的问题，屏蔽掉与属性无关的问题。
根据输入文本生成与文本相关的问答对，目前采用的是流水线模型的方式，如图2中的(a)和(b)。第一种方案为从文档中抽取候选答案，选出最有可能的一个句子片段作为答案，根据答案来生成问题。第二种方案是根据文档生成问题，再进行答案的抽取。这样分步的流水线模型有如下弊端：(1)抽取的答案和生成的问题不兼容，因为抽取到的答案忽视了问题和答案之间的内在关联。(2)生成的问题会涉及文本内容但和实际关注的问题不一致的情况。如图1中，原文1中，生成问题和实际关注问题是一致的。但原文2,3中，生成的问题和实际关注的问题严重不一致。(3)将问题分步处理还会导致损失的累积，影响效果。增加训练和部署的复杂度。
因此，如何提供一种基于问题类型识别的问答对联合生成模型成为了本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于问题类型识别的问答对联合生成模型，采用了联合的方式，将问题生成和答案抽取联合训练，并且在数据预处理时，通过已有的训练好的序列标注模型获取输入文本的关键词信息，并将其转化为对应的商品属性类别，来辅助模型获取更多的知识生成问题和答案。
为了实现上述目的，本发明采用如下技术方案：
一种基于问题类型识别的问答对联合生成模型，包括：使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型，来辅助模型获取更多的知识生成问题和答案；将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型；在答案抽取模块采用联合式抽取，将答案的起始位置和结束位置联系起来，更准确地定位起始位置。
进一步的，问题生成模块和答案抽取模块采用联合式抽取，生成问题的同时将答案抽取出来。
进一步的，采用编码器-解码器结构来生成问题，解码器生成答案的同时，将编码器的输出和解码器的输出共同输入到注意力层后，通过联合目标函数的方式，来生成问题和抽取答案。
进一步的，在编码器输入端，融合了通过提取输入文本的关键词判别文本中的商品属性，确定问题的提问点，锁定文本生成问题的范围。
进一步的，编码器-解码器的初始化参数加载的是基于电商各领域的商品说明书的文本训练的BART预训练模型的参数。
进一步的，编码器和解码器都为6层，向量的维度为768；编码器部分具有双向表征的能力，用于抽取输入文本t的语义信息；解码器是一个从左到右的自回归语言模型，用于生成对应的问题；编码器的最后一层的输出要和解码器的每一层的输出计算cross-attention；通过注意力机制，获取输入文本中应该重点被关注的信息，用解码器生成问题；
编码器最后一层的输出，经过线性变换，得到能够表征输入信息的query和key矩阵，解码器最终在<EOS>处的输出，经过线性变化后，产生value矩阵；将query，key，value这三个矩阵输入到transformer的自注意力单元，将注意力单元的输出的结果输入到答案抽取模块，获取一对数值，表示答案在输入文本的开始和结束位置，该文本片段为最终的答案。
进一步的，模型训练过程的输入包含：输入文本t,与答案相关的问题q,从输入文本中抽取的答案a。
本发明的有益效果在于：
本发明通过关键词抽取技术从文本中抽取关键词，将其转化为商品属性类别，锁定了文本生成问题的范围，解决了生成问题和实际关注问题不一致的问题。将原始的流水线模型改进成联合模型，在训练过程中，问题生成和答案抽取部分相互影响，提高了生成问答对的相关性，同时提高了模型训练和在工业中部署的效率。答案抽取模块采用联合式抽取，将答案的起始位置和结束位置联系起来，能够更准确地定位起始位置。避免了分别抽取开始和结束位置带来的能够以大的概率定位到起始位置的附近，但不能够很好地预测到结束的位置的问题。从而提高抽取答***性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为模型生成问题和实际关注问题对比图；
图2为现有技术生成问答对模型流程图；
图3为本发明生成问答对模型流程图；
图4为模型中是否加入关键词获取的商品属性信息生成效果对比图；
图5为本发明模型的整个流程图；
图6为序列标注模型抽取关键词；
图7为encoder部分文本输入图形。
具体实施方式
下面将结合本发明的实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图3-7，本发明提供了一种基于问题类型识别的问答对联合生成模型，包括：使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型，来辅助模型获取更多的知识生成问题和答案；将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型，在训练过程中，问题生成和答案抽取部分相互影响，提高了生成问答对的相关性，同时提高了模型训练和在工业中部署的效率；在答案抽取模块采用联合式抽取，将答案的起始位置和结束位置联系起来，能够更准确地定位起始位置。避免了分别抽取开始和结束位置带来的能够以大的概率定位到起始位置的附近，但不能够很好地预测到结束的位置的问题。从而提高抽取答***性。
本发明使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型，来辅助模型获取更多的知识生成问题和答案。如图4，通过序列标注模型，获取到输入句子的关键词“屏幕”，将其转化为商品的属性类别“屏幕”，属性类别就是生成的问题要关注的提问点。通过生成的问题可以看到，模型未加入商品属性信息生成的问题与实际关注的问题是存在偏差的，融合了商品属性信息后，很好的改善了这个问题。
本发明采用了联合的方式，将问题生成和答案抽取联合训练，并且在数据预处理时，通过已有的训练好的序列标注模型获取输入文本的关键词信息，并将其转化为对应的商品属性类别，来辅助模型获取更多的知识生成问题和答案。问题类别信息和文本信息融合在一起输入到模型编码器部分，解决了生成问题和实际关注问题不一致的问题。
模型采用将问题生成和答案抽取联合的方式，在模型训练的过程中，生成的问题和抽取的答案之间会相互影响，进而促进了问题和答案之间的关联性。即缓解了问题和答案之间出现的答非所问，问非所答的情况，在模型的训练和部署过程都变得简化。
在答案抽取部分，改进了之前分别独立预测起始位置和结束位置，本发明采用联合位置抽取的方法，将答案的起始位置和结束位置联系起来。避免了分别抽取开始和结束位置带来的能够以大的概率定位到起始位置的附近，但不能够很好地预测到结束的位置的问题。从而提高抽取答***性。
现有技术中虽然是采用编码器-解码器结构来生成问题，但要分成两部分才能够获取到问答对，这种模式获取的问答对存在问题和答案之间不相关的情况。本发明采用的联合的方法，生成问题的同时将答案抽取出来。解码器生成答案的同时，将编码器的输出和解码器的输出共同输入到注意力层后，通过联合目标函数的方式，来生成问题和抽取答案。问题生成和答案抽取之间相互影响，增强了问题和答案之间的关联性。在编码器输入端，融合了通过提取输入文本的关键词判别文本中的商品属性，确定问题的提问点，锁定了文本生成问题的范围，解决了生成问题和实际关注问题不一致的问题。编码器-解码器的初始化参数加载的是基于电商各领域的商品说明书等文本训练的BART预训练模型的参数。
实施例
本发明要解决的问题描述为：给定一个文本t，找到和文本相关联的问题和相应的答案。
Figure BDA0003801487180000061
其中，t表示输入文本，a表示从输入文本中抽取的答案，q表示与答案相关的问题。
Figure BDA0003801487180000062
表示最优的问答对。
本发明使用编码器-解码器结构，编码器和解码器的结构和BART的结构完全一致。编码器和解码器都为6层，向量的维度为768。编码器部分具有双向表征的能力，用于抽取输入文本t的语义信息。解码器是一个从左到右的自回归语言模型，用于生成对应的问题。编码器的最后一层的输出要和解码器的每一层的输出计算cross-attention。通过注意力机制，获取输入文本中应该重点被关注的信息，用解码器生成问题。
编码器最后一层的输出，经过线性变换，可以得到能够表征输入信息的query和key矩阵，解码器最终在<EOS>处的输出，经过线性变化后，产生value矩阵。将query，key，value这三个矩阵输入到transformer的自注意力单元，将注意力单元的输出的结果输入到答案抽取模块，获取一对数值，表示答案在输入文本的开始和结束位置，该文本片段为最终的答案，如图5所示。
模型的训练整个过程如图5。训练过程的输入包含：输入文本t,与答案相关的问题q,从输入文本中抽取的答案a。
在数据预处理阶段，要获取输入文本的关键词信息。该部分使用的已经训练好的序列标注模型来抽取对应的关键词，如图6所示。关键词抽取采用BIO模式，“-”后的单词代表所标注的关键词所属的类别，其中charging表示本句话所属的类别为“充电”类别。
在获取到输入问题的类别后，将输入文本和类别拼接在一起，中间用[type]字符拼接，输入到编码器部分。其中，经过三层处理，分别是词嵌入、位置嵌入和片段嵌入，将着三部分表征向量相加，作为编码器的输入。如图7所示。
模型由问题生成模块P(q|t；θ)和答案抽取模块P(a|t,q；θ)联合完成抽取文本问答对任务。P(a|t；θ)表示给定输入文本t生成问题q的概率分布。P(a|t,q；θ)表示给定输入文本t和已生成好的问题q，从输入文本t种抽取答案的概率。
目标函数表示为：
argmaxP(q,a|t)＝argmaxP(q|t；θ)·P(a|t,q；θ)
问答对的获取，由问题生成模块和答案抽取模块共同决定，并且他们共享模型参数θ。
问题生成目标函数为：
Figure BDA0003801487180000081
问题生成过程是一个自回归问题，即生成的问题的第k个字符，依赖于第k个字符以前的所有字符。
Figure BDA0003801487180000082
表示，从k＝1的第一个字符开始，到问题的长度n，将每一步的概率进行相乘。用对目标函数做负对数似然函数得到损失函数：
Figure BDA0003801487180000083
答案抽取的过程为，注意力层的输出经过线性层的变换后，分别得到起始位置和结束位置的向量表示Hs,He。
Figure BDA0003801487180000084
Figure BDA0003801487180000085
Figure BDA0003801487180000086
其中，Hs,He∈Rd×L，d表示模型的维度，L表示输入文本的长度。
Figure BDA0003801487180000087
是开始位置和结束位置的权重参数的转置，bs,be是开始位置和结束位置的偏移量。通过使用softmax()函数将整个向量表示空间映射到[0,1]范围内。fdot(Hs,He)表示将起始位置和结束位置的向量表示做点乘，可以获取起始位置和结束位置之间的内部关联。再使用softmax()函数将值影射到[0,1]范围内。
答案抽取的目标函数为：
P(a|t,q；θ)＝Pθ(as,ae)Pθ(as)P(ae)
即将Pθ(as),Pθ(ae),Pθ(as,ae)这三部相乘，使用联合概率来预测最终的问答对。用负对数似然函数作为损失函数：
Lanswer＝-log(Pθ(as,ae)Pθ(as)Pθ(ae))
最终的目标函数为：
Figure BDA0003801487180000091
对目标函数取负对数似然函数为：
Figure BDA0003801487180000092
最终的训练损失由问题生成部分和答案抽取部分共同决定。
在问题生成的解码过程中，采用束搜索算法，将束宽设置为3。
推理过程为输入文本t，得到相应的<q,a>，即问答对。
本发明通过关键词抽取技术从文本中抽取关键词，将其转化为商品属性类别，锁定了文本生成问题的范围，解决了生成问题和实际关注问题不一致的问题。将原始的流水线模型改进成联合模型，在训练过程中，问题生成和答案抽取部分相互影响，提高了生成问答对的相关性，同时提高了模型训练和在工业中部署的效率。答案抽取模块采用联合式抽取，将答案的起始位置和结束位置联系起来，能够更准确地定位起始位置。避免了分别抽取开始和结束位置带来的能够以大的概率定位到起始位置的附近，但不能够很好地预测到结束的位置的问题。从而提高抽取答***性。
目前，基于文本生成问答对主要依靠流水线模型，即将问题生成和答案抽取分别进行处理，这样做的弊端是在训练过程中无法将答案和问题之间语义信息进行关联。问题生成过程中，只能依靠预训练模型或者训练预料，无法提供有价值的信息给模型。本发明将问题生成和答案抽取的联合模型，训练过程中，将这两部分的损失联合训练，使其相互影响，提高最终问题和答案之间的关联性。并且，在编码器输入部分，使用基于电商数据训练好的序列标注模型来抽取输入文本的关键词信息，将其转化为对应问题的类别作为输入的一部分，进一步给模型提供辅助信息，来锁定了文本生成问题的范围，解决了生成问题和实际关注问题不一致的问题。
本发明采用联合模型，使得训练和部署是变得更加简单。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于问题类型识别的问答对联合生成模型，其特征在于，包括：使用关键词抽取技术从文本中抽取关键词并将其转化为对应的商品属性类型，来辅助模型获取更多的知识生成问题和答案；将原始的流水线模型改进成将问题生成模块和答案抽取模块联合训练的模型；在答案抽取模块采用联合式抽取，将答案的起始位置和结束位置联系起来，准确地定位起始位置；
模型训练过程的输入包含：输入文本t,与答案相关的问题q,从输入文本中抽取的答案a；
模型由问题生成模块P(q|t；θ)和答案抽取模块P(a|t，q；θ)联合完成抽取文本问答对任务；P(q|t；θ)表示给定输入文本t生成问题q的概率分布，θ表示模型参数；P(a|t，q；θ)表示给定输入文本t和已生成好的问题q，从输入文本t种抽取答案的概率；
目标函数表示为：
argmaxP(q，a|t)＝argmaxP(q|t；θ)·P(a|t，q；θ)
问答对的获取，由问题生成模块和答案抽取模块共同决定，并且他们共享模型参数θ；
问题生成目标函数为：
Figure FDA0004263238770000011
问题生成过程是一个自回归问题，即生成的问题的第k个字符，依赖于第k个字符以前的所有字符；
Figure FDA0004263238770000012
表示，从k＝1的第一个字符开始，到问题的长度n，将每一步的概率进行相乘；用对目标函数做负对数似然函数得到损失函数：
Figure FDA0004263238770000013
答案抽取的过程为，注意力层的输出经过线性层的变换后，分别得到起始位置和结束位置的向量表示Hs，He；
Figure FDA0004263238770000021
Figure FDA0004263238770000022
Figure FDA0004263238770000023
其中，Hs，He∈Rd×L，d表示模型的维度，L表示输入文本的长度；
Figure FDA0004263238770000024
是开始位置和结束位置的权重参数，bs，be是开始位置和结束位置的偏移量；通过使用soft max()函数将整个向量表示空间映射到[0,1]范围内；fdot(Hs，He)表示将起始位置和结束位置的向量表示做点乘，获取起始位置和结束位置之间的内部关联；再使用softmax()函数将值影射到[0,1]范围内；
答案抽取的目标函数为：
P(a|t，q；θ)＝Pθ(as，ae)Pθ(as)Pθ(ae)
即将Pθ(as)，Pθ(ae)，Pθ(as，ae)这三部相乘，使用联合概率来预测最终的问答对；
用负对数似然函数作为损失函数：
Lanswer＝-logPθ(as，ae)Pθ(as)Pθ(ae)
最终的目标函数为：
Figure FDA0004263238770000025
对目标函数取负对数似然函数为：
Figure FDA0004263238770000026
最终的训练损失由问题生成部分和答案抽取部分共同决定。
2.根据权利要求1所述的一种基于问题类型识别的问答对联合生成模型，其特征在于，在答案抽取模块采用联合式抽取，生成问题的同时将答案抽取出来。
3.根据权利要求2所述的一种基于问题类型识别的问答对联合生成模型，其特征在于，采用编码器-解码器结构来生成问题，解码器生成答案的同时，将编码器的输出和解码器的输出共同输入到注意力层后，通过联合目标函数的方式，来生成问题和抽取答案。
4.根据权利要求3所述的一种基于问题类型识别的问答对联合生成模型，其特征在于，在解码器输入端，融合了通过提取输入文本的关键词判别文本中的商品属性，确定问题的提问点，锁定文本生成问题的范围。
5.根据权利要求3所述的一种基于问题类型识别的问答对联合生成模型，其特征在于，编码器-解码器的初始化参数加载的是基于电商各领域的商品说明书的文本训练的BART预训练模型的参数。
6.根据权利要求5所述的一种基于问题类型识别的问答对联合生成模型，其特征在于，编码器和解码器都为6层，向量的维度为768；编码器部分具有双向表征的能力，用于抽取输入文本t的语义信息；解码器是一个从左到右的自回归语言模型，用于生成对应的问题；编码器的最后一层的输出要和解码器的每一层的输出计算cross-attention；通过注意力机制，获取输入文本中应该重点被关注的信息，用解码器生成问题；
编码器最后一层的输出，经过线性变换，得到能够表征输入信息的query和key矩阵，解码器最终在<EOS>处的输出，经过线性变化后，产生value矩阵；将query，key，value这三个矩阵输入到transformer的自注意力单元，将注意力单元的输出的结果输入到答案抽取模块，获取一对数字，表示答案在输入文本的开始和结束位置，该文本片段为最终的答案。
CN202210966935.XA 2022-08-17 2022-08-17 一种基于问题类型识别的问答对联合生成模型 Active CN115269807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210966935.XA CN115269807B (zh) 2022-08-17 2022-08-17 一种基于问题类型识别的问答对联合生成模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210966935.XA CN115269807B (zh) 2022-08-17 2022-08-17 一种基于问题类型识别的问答对联合生成模型

Publications (2)

Publication Number Publication Date
CN115269807A CN115269807A (zh) 2022-11-01
CN115269807B true CN115269807B (zh) 2023-06-30

Family

ID=83751601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210966935.XA Active CN115269807B (zh) 2022-08-17 2022-08-17 一种基于问题类型识别的问答对联合生成模型

Country Status (1)

Country Link
CN (1) CN115269807B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3625699A1 (en) * 2017-10-25 2020-03-25 Google LLC Natural language processing with an n-gram machine
CN111563378A (zh) * 2020-04-30 2020-08-21 神思电子技术股份有限公司 一种联合学习的多文档阅读理解实现方法
CN113127623A (zh) * 2021-05-06 2021-07-16 东南大学 一种基于混合专家模型和联合学习的知识库问题生成方法
CN114328852A (zh) * 2021-08-26 2022-04-12 腾讯科技（深圳）有限公司 一种文本处理的方法、相关装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324717B (zh) * 2020-02-24 2023-06-27 武汉大学 一种面向开放域问答的基于机器阅读理解的答案获取方法及***
CN111930887B (zh) * 2020-07-06 2023-07-21 河海大学常州校区 基于联合训练方式的多文档多答案机器阅读理解***
CN111914062B (zh) * 2020-07-13 2021-04-06 上海乐言科技股份有限公司 一种基于关键词的长文本问答对生成***
CN112464641B (zh) * 2020-10-29 2023-01-03 平安科技（深圳）有限公司 基于bert的机器阅读理解方法、装置、设备及存储介质
CN114780696A (zh) * 2022-04-11 2022-07-22 天津大学 适用于对话***的以会话内容驱动的问题生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3625699A1 (en) * 2017-10-25 2020-03-25 Google LLC Natural language processing with an n-gram machine
CN111563378A (zh) * 2020-04-30 2020-08-21 神思电子技术股份有限公司 一种联合学习的多文档阅读理解实现方法
CN113127623A (zh) * 2021-05-06 2021-07-16 东南大学 一种基于混合专家模型和联合学习的知识库问题生成方法
CN114328852A (zh) * 2021-08-26 2022-04-12 腾讯科技（深圳）有限公司 一种文本处理的方法、相关装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
融合知识表示的生成式自动问答模型研究;杨静莹;中国优秀硕士学位论文全文数据库信息科技辑(第10期);I138-199 *

Also Published As

Publication number Publication date
CN115269807A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN112115238B (zh) 一种基于bert和知识库的问答方法和***
CN110825848A (zh) 一种基于短语向量的文本分类方法
CN115204143B (zh) 一种基于prompt的文本相似度计算方法及***
CN112685538B (zh) 一种结合外部知识的文本向量检索方法
CN112800184B (zh) 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法
CN113360582B (zh) 基于bert模型融合多元实体信息的关系分类方法及***
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及***
CN116775874B (zh) 一种基于多重语义信息的资讯智能分类方法及***
CN117370580A (zh) 一种基于知识图谱增强大语言模型双碳领域服务方法
CN114647715A (zh) 一种基于预训练语言模型的实体识别方法
CN112597306A (zh) 一种基于bert的旅游评论意见挖掘方法
CN114780582A (zh) 基于表格问答的自然答案生成***及其方法
CN115658898A (zh) 一种中英文本实体关系抽取方法、***及设备
CN115310560A (zh) 一种基于模态空间同化和对比学习的多模态情感分类方法
CN114595700A (zh) 融合零代词与篇章信息的汉越神经机器翻译方法
CN115269807B (zh) 一种基于问题类型识别的问答对联合生成模型
CN117034921A (zh) 一种基于用户数据的提示学习训练方法、装置和介质
CN114880994B (zh) 一种直白文本到反讽文本的文本风格转换方法及装置
CN114117069B (zh) 一种用于知识图谱智能问答的语义理解方法及***
CN116302953A (zh) 一种基于增强嵌入向量语义表示的软件缺陷定位方法
CN115238705A (zh) 语义解析结果重排序方法及***
CN113553844A (zh) 一种基于前缀树特征与卷积神经网络的领域识别方法
Sattari et al. Improving image captioning with local attention mechanism
Xie et al. Enhancing multimodal deep representation learning by fixed model reuse
Shahid Unsupervised Dual Modality Prompt Learning for Facial Expression Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 911, 9th Floor, Block B, Xingdi Center, Building 2, No.10, Jiuxianqiao North Road, Jiangtai Township, Chaoyang District, Beijing, 100000

Patentee after: Beijing Zhongke Shenzhi Technology Co.,Ltd.

Country or region after: China

Address before: 100000 room 311a, floor 3, building 4, courtyard 4, Yongchang Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee before: Beijing Zhongke Shenzhi Technology Co.,Ltd.

Country or region before: China