CN111414464B - 一种问题生成方法、装置、设备及存储介质 - Google Patents
一种问题生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111414464B CN111414464B CN202010169926.9A CN202010169926A CN111414464B CN 111414464 B CN111414464 B CN 111414464B CN 202010169926 A CN202010169926 A CN 202010169926A CN 111414464 B CN111414464 B CN 111414464B
- Authority
- CN
- China
- Prior art keywords
- text
- answer
- vector
- question
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 239000013598 vector Substances 0.000 claims abstract description 273
- 238000009826 distribution Methods 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 36
- 238000005457 optimization Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 235000002020 sage Nutrition 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请提供了一种问题生成方法、装置、设备及存储介质；所述方法包括，通过第一编码模型对参考文本对应的第一词向量、答案信息向量、和当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列；通过第二编码模型对历史问答文本对应的第二词向量进行编码处理，得到第二语义向量序列；通过解码模型对所述第一语义向量序列和所述第二语义向量序列进行解码处理，得到所述当前轮数对应的问题文本；输出所述问题文本。通过本申请，能够结合历史对话内容生成连贯且对话性良好的问题。
Description
技术领域
本申请涉及通信技术领域，尤其涉及一种问题生成方法、装置及存储介质。
背景技术
随着人工智能技术的飞速发展，作为人工智能的最为重要的研究领域之一的自然语言处理的研究内容也越来越丰富，例如包括机器翻译、自动文摘、问题生成等。问题生成(Question Generation，QG)技术作为信息检索中的一种高级检索形式，是根据一段文字，自动生成相应问题的技术。问题生成技术可用于在教育场景中进行知识测试，如智能导师***(Intelligence Tutor System)，可以主动提出一些针对阅读理解的问题，测试学生对于文章的理解；同时，该技术也可以应用到聊天机器人，语音助手中，使得聊天***能够主动提问题，以增强对话的交互性与持续性。另外，问题生成技术还可以应用在医药领域，例如可以用于自动问诊***，通过与病人的对话进行诊断。
现有的问题生成方法主要关注于阅读理解文本上单句话的问题生成，经常由于不能考虑之前的对话内容而使得对话不连贯，从而带来不好的用户体验。
发明内容
本申请实施例提供一种问题生成方法、装置、设备及存储介质，能够结合历史对话内容生成连贯且对话性良好的问题。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种问题生成方法，包括：
通过第一编码模型对参考文本对应的第一词向量、答案信息向量、和当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列；
通过第二编码模型对历史问答文本对应的第二词向量进行编码处理，得到第二语义向量序列；
通过解码模型对所述第一语义向量序列和所述第二语义向量序列进行解码处理，得到所述当前问答轮数对应的问题文本；
输出所述问题文本。
本申请实施例提供一种问题生成装置，包括：
第一编码模块，用于通过第一编码模型对参考文本对应的第一词向量、答案信息向量、和当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列；
第二编码模块，用于通过第二编码模型对历史问答文本对应的第二词向量进行编码处理，得到第二语义向量序列；
解码模块，用于通过解码模型对所述第一语义向量序列和所述第二语义向量序列进行解码处理，得到所述当前问答轮数对应的问题文本；
输出模块，用于输出所述问题文本。
在上述方案中，所述装置还包括：
训练模块，用于至少根据第一优化目标函数和第二优化目标函数对所述解码模型进行联合训练，以对所述解码模型的参数进行调整；
其中，所述第一优化目标函数用于在需要生成代词时，将所述解码模型的注意力分布集中到实体名词，第二优化目标函数用于优化每一轮问答对话对应的篇章位置注意力分布，以使得所述解码模型的篇章位置注意力分布集中到当前问答轮数对应的文本。
本申请实施例提供一种问题生成设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的方法。
本申请实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的方法。
本申请实施例具有以下有益效果：
在利用本申请实施例提供的方法生成问题时，是分别对参考文本中的相关向量和历史问答文本的相关向量进行编码，再进行解码得到生成的问题，由于结合了历史对话内容能够使得生成的问题与历史对话内容有更好的衔接；并且参考文本相关向量中还包括了当前问答轮数对应的文本位置向量，从而能够使得问题的焦点能够集中在当前问答轮数对应的文本位置向量，使得生成的问题更有针对性。
附图说明
图1A为相关技术的门控指代知识神经问题生成模型的示意图；
图1B为本申请实施例问题生成方法的一种网络架构示意图；
图1C为本申请实施例问题生成方法的另一种网络架构示意图；
图1D为本申请实施例问题生成方法的再一种网络架构示意图；
图2为本申请实施例提供的终端400的一个可选的结构示意图；
图3A为本申请实施例提供的问题生成方法的一个实现流程示意图；
图3B为本申请实施例提供的问题生成方法的在一个实现流程示意图；
图4是本申请实施例提供的获取参考文本的词向量的实现流程示意图；
图5为本申请实施例问题生成方法的神经网络模型的***架构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)问题生成，根据一段文字，***自动生成相应问题的技术；
2)对话性(Conversational)，指一句话在对话中出现的适合程度。
3)对话流(Conversation Flow)，指对应时间轴先后发生的多次的对话，其中对话的主题根据时间轴可以发生一次或多次的转移。
4)智能导师***，指的是在教育场景下，一种能够自动出题，评测学生水平，并给予反馈的***；
5)损失函数(Loss Function)，又称为代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如在统计学和机器学习中被用于模型的参数估计，是机器学习模型的优化目标。
6)双语评估基础(Bilingual Evaluation Understudy，BLEU)，是一种衡量机器翻译质量的评价标准。BLEU是一个N-grams(N个词的集合)精确度的加权几何平均，最后的结果是机器翻译的译文中N-gram正确匹配次数与其中所有n-gram出现的次数的比值。
7)Rouge(Recall-Oriented Understudy for Gisting Evaluation)，是评估自动文摘以及机器翻译的一组指标。它通过将自动生成的摘要或翻译与一组参考摘要(通常是人工生成的)进行比较计算，得出相应的分值，以衡量自动生成的摘要或翻译与参考摘要之间的“相似度”。
Rouge-L中的L即是LCS(Longest Common Subsequence，最长公共子序列)的首字母，因为Rouge-L使用了最长公共子序列。
8)注意力(Attention)机制，根据解码模型的当前输入序列与输出向量的匹配程度，来决定解码器输出解码的注意力分布，匹配程度高也就是注意力集中点其相对的得分越高。
9)词向量，也称为词嵌入(word embedding)或词空间嵌入表示，词向量是自然语言分词在词空间中的表示，是指将词映射到一个语义空间，得到的向量。
10)编码模型，又可以称为编码器或者编码器模型，可以是一个循环神经网络(Recurrent Neural Network，RNN)模型，编码模型能够实现将整个源序列读取为固定长度的编码。
11)解码模型，又可以称为解码器或者解码器模型，也可以是一个RNN模型，解码模型可以是各种具有控制/记忆的RNN，例如基于长短期记忆网络(Long Short-Term Memory，LSTM)的RNN，变换器(Transformer)模型，基于门控循环单元(Gate Recurrent Unit，GRU)的RNN。解码模型将编码后得到的输入序列进行解码，以输出目标序列。
12)注意力分布，解码器模型对语义向量序列的每个词向量进行解码以输出问题时，通过注意力机制，确定历史问答文本中各个词语(当前输入解码器模型的词序列中的各个词语)作为解码结果输出的概率的分布。例如，对当前的词向量解码时，输出“he”和“Clinton”的概率分布是(0.6，0.4))，则解码的注意力分布集中在“he”。
13)篇章位置注意力分布，解码器模型解码输出问题时，将多个不同的文本作为当前问答轮数的正确答案所在文本的概率的分布。例如存在文本1、2和3时，假设概率的分布为(0.6，0.2，0.2)，则篇章位置注意分布集中在文本1。
为了更好地理解本申请实施例中提供的方法，首先对相关技术中用于进行问题生成的门控指代知识神经问题生成模型进行说明。
图1A为门控指代知识神经问题生成模型的示意图，如图1A所示，在该模型中至少包括编码器(Encoder)101和解码器(Decoder)102，也就是说问题生成是基于编码器-解码器的神经网络框架。在实现时，首先编码器101把一段英语短文从离散的源端词表示转化为连续的词空间嵌入表示(word embedding)，同时将答案位置信息转化为相应的答案特征(answer feature)，并将指代信息转化为指代位置特征(coreference positionfeature)，再将这三种特征拼接输入编码器101。编码器101将其编码为一个语义向量序列(h1，h2，…)，然后将编码得到的语义向量序列输入解码器102。解码器102读入此语义向量序列，逐词通过注意力机制(attention)和循环神经网络生成问题。
其中，指代位置特征的获取可以通过以下步骤实现：
步骤11，借助现有的指代消解工具获取文中的指代对(mention pairs)以及相应的置信分数(confidence score)。
以图1A为例，指代消解工具将句子中的代词“they”与上文中最可能的指代名词“the Panthers”相联系，同时获取这一指代对的分数(mention-pair sco re)。
步骤12，将指代名词(the Panthers)***代词(they)后，并将其转化为指代位置特征fc＝(c1,c2,…,cn)(co-reference position feature)，以表明当前位置是否有指代现象发生。
步骤13，通过门控机制(gating mechanism)，利用步骤11中指代对的置信分数，生成改进的指代位置特征fd＝(d1,d2,...,dn)(refined co-reference positi onfeature)，其中：
上述技术存在以下问题：1)生成问题只能考虑英文短文本身，在对话中，没有对之前的对话内容进行建模，使得问题与对话历史不连贯；2)没有针对对话流建模，那么在测试学生对于一篇英语短文的理解中无法规划多个问题之间的焦点转移。
基于此，本申请实施例提供一种问题生成方法，能够结合历史对话内容进行问题生成，从而保证问答对话之间连贯性；并且在生成问题时，还会考虑当前轮数对应的文本位置信息，从而能够实现多个问题之间的焦点转移。
下面说明实现本申请实施例的装置的示例性应用，本申请实施例提供的装置可以实施为终端，还可以实施为服务器。下面，将分别说明装置实施为终端和服务器时涵盖的示例性应用。
参见图1B，图1B为本申请实施例问题生成方法的一种网络架构示意图，为实现支撑一个示例性应用，第一终端400和第二终端100通过网络300建立有通信连接，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。本申请实施例提供的问题生成方法可以应用于线上教育场景中，假设第二终端100作为导师终端，第一终端400为学生终端，示例性地，在图1B中示例性地示出了两个第一终端400-1和第一终端400-2。
在该网络架构下，第二终端100可以先将一篇文章发送给第一终端400-1和第一终端400-2，第一终端400-1和第一终端400-2对应的用户在对该篇文章学习完成后，可以进行测试。此时第二终端100可以基于该篇文章生成问题，并将问题发送给400-1和第一终端400-2，在400-1和第一终端400-2对应的用户回答之后，再分别根据用户的答题结果和文章继续生成问题。
图1C为本申请实施例问题生成方法的另一种网络架构示意图，为实现支撑一个示例性应用，第三终端500通过网络300连接到服务器200，第三终端500可以是智能终端，在智能终端上可以安装有可以进行对话聊天的应用程序(Application，App)。第三终端500还可以是智能聊天机器人。网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
第三终端500可以采集到用户与自身的语音对话信息，然后将采集到的语音对话信息发送给服务器200，服务器200再基于用户的语音对话信息生成问题，并将问题发送至第三终端500，由第三终端500输出问题，例如可以是以语音的方式输出问题。在后续的对话过程中，服务器200会基于之前的对话内容，来继续生成问题，以使得第三终端500与用户之间的对话交流是连贯顺畅的，从而给予用户良好的沟通体验。
图1D为本申请实施例问题生成方法的再一种网络架构示意图，如图1D所示，该网络架构中仅包括第三终端500，第三终端500可以是智能手机、平板电脑、笔记本电脑等，还可以是聊天机器人。在图1D中将第三终端500以聊天机器人的形式示例性示出。第三终端500在采集到用户的语音对话信息后，自身根据采集到的语音对话信息生成问题，并输出问题。在后续的对话过程中，第三终端500可以基于之前的对话内容，再继续生成问题，以使得第三终端500与用户之间的对话交流是连贯顺畅的，从而给予用户良好的沟通体验。
本申请实施例提供的装置可以实施为硬件或者软硬件结合的方式，下面说明本申请实施例提供的装置的各种示例性实施。
参见图2，图2是本申请实施例提供的终端400一个可选的结构示意图，终端400可以是移动电话、计算机、数字广播终端、信息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等根据终端400的结构，可以预见装置实施为服务器时的示例性结构，因此这里所描述的结构不应视为限制，例如可以省略下文所描述的部分组件，或者，增设下文所未记载的组件以适应某些应用的特殊需求。
图2所示的终端400包括：至少一个处理器410、存储器440、至少一个网络接口420和用户接口430。终端400中的每个组件通过总线***450耦合在一起。可理解，总线***450用于实现这些组件之间的连接通信。总线***450除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线***450。
用户接口430可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
存储器440可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器440旨在包括任意适合类型的存储器。
本申请实施例中的存储器440能够存储数据以支持终端400的操作。这些数据的示例包括：用于在终端400上操作的任何计算机程序，如操作***和应用程序。其中，操作***包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
作为本申请实施例提供的方法采用软硬件结合实施的示例，本申请实施例所提供的方法可以直接体现为由处理器410执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器440，处理器410读取存储器440中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器410以及连接到总线450的其他组件)完成本申请实施例提供的方法。
作为示例，处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
将结合前述的实现本申请实施例的装置的示例性应用和实施，说明实现本申请实施例的方法。
参见图3A，图3A为本申请实施例提供的问题生成方法的一个实现流程示意图，本申请实施例提供的问题生成方法可以应用于图1B所示的第二终端100，图1C所示的服务器200以及图1D所示的第三终端500，其通过运行问题生成的神经网络模型来实现问题生成方法。
在一些实施例中，问题生成的神经网络模型包括：第一编码模型、第二编码模型和解码模型，其中，第一编码模型用于对参考文本进行编码，得到第一语义词向量，第二编码模型用于对历史对话文本进行编码，得到第二语义词向量，解码模型用于对第一语义词向量和第二语义词向量进行解码，得到生成的问题。
第一编码模型和第二编码模型可以是相同类型的编码模型，例如都为RNN模型，但是第一编码模型和第二编码模型的参数可以是不同的。第一编码模型可以对应图5中示出的篇章编码器501，第二编码模型可以对应图5中示出的段落编码器502。
下面将结合图3A示出的步骤对本申请实施例提供的问题生成方法进行说明。
在步骤S201中，通过第一编码模型对参考文本对应的第一词向量、答案信息向量、和当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列。
这里，第一词向量可以是参考文本中所有词在连续的词空间中的向量表示，还可以是参考文本中不是答案的词在连续的词空间的向量表示。
答案信息向量为参考文本中标记为答案的词在连续的词空间中的向量表示。在本申请实施例中，可以是预先将参考文本划分为几部分，例如可以将按照句子进行划分，每一句或者每两句为一部分，还可以是按照词数进行划分，每十个词或十五个词为一部分。每一部分具有该部分在参考文本中的位置信息，位置信息可以包括该部分中第一个词在参考文本中的位置和最后一个词在参考文本中的位置。并且问答轮数与参考文本划分的各个部分具有对应关系，可以是一个问答轮数对应一个部分的文本内容，还可以是多个问答轮数对应一个部分的文本内容。当前问答轮数对应的文本位置向量是根据当前问答轮数对应的文本位置信息生成的。
步骤S201在实现时，首先要获取到参考文本对应的第一词向量、答案信息向量和当前问答轮数对应的文本位置向量，将参考文本对应的第一词向量、答案信息向量和当前轮数对应的文本位置向量作为编码模型的输入，编码器在对第一词向量、答案信息向量和文本位置向量进行编码时，先将三者进行拼接，然后再对拼接后得到的向量进行编码处理，将拼接后得到的这个不定长的输入向量变换成一个具有固定长度的中间变量并在该中间变量中编码拼接后得到的向量的序列信息，从而得到第一语义向量序列。
在步骤S202中，通过第二编码模型对历史问答文本对应的第二词向量进行编码处理，得到第二语义向量序列。
在一些实施例中，可以通过这样的方式实现上述的步骤S202：第二编码模型将第二词向量变换成一个具有固定长度的上下文变量并在该上下文变量中编码第二词向量，从而得到第二语义向量序列。
在一些实施例中，在步骤S202之前，要先获取历史问答文本对应的第二词向量。在实现时，首先获取历史问答文本中各个词的原始词向量，然后将所述各个原始词向量映射为第二词向量。原始词向量可以是独热(one-hot)向量，在将各个原始词向量映射为第二词向量时，可以是将各个原始词向量作为词到向量(word to vector，word2vec)模型的输入，通过word2vec得到低维的第二词向量。
在步骤S203中，通过解码模型对所述第一语义向量序列和所述第二语义向量序列进行解码处理，得到所述当前问答轮数对应的问题文本。
由于在生成第一语义向量序列时，当前问答轮数对应的文本位置作为其中一项输入，并且第二语义向量序列是将历史问答内容对应的第二词向量进行编码得到的，那么解码模型在对第一语义向量序列和第二语义向量序列进行逐词解码，得到的问题，是与历史问答内容相衔接，能够保证问答的流畅性，且是针对当前轮数对应的文本内容的问题，在当前问答轮数的取值变化时，可以生成与新的问答轮数的文本内容相关的问题，能够在一个多轮对话中逐渐转移主题，从而能够更好地生成多轮问答中的问题。
在步骤S204中，输出所述问题文本。
这里，如果步骤S204是由图1B中的第二终端或者时图1C中的服务器实现时，输出所示问题文本可以是将生成的问题文本发送给图1B所示的第一终端或者发送给图1C所示的第三终端，以使得第一终端或第三终端通过显示装置以文字的形式显示问题文本，当然也可以是第一终端或第三终端通过语音的形式播放该问题文本对应的语音信息。
如果步骤S204是由图1D中的第三终端实现时，输出所述问题文本可以是第三终端通过显示装置以文字的形式显示问题文本，当然也可以是第三终端通过语音的形式播放该问题文本对应的语音信息。
在利用本申请实施例提供的方法生成问题时，是分别对参考文本中的相关向量和历史问答文本的相关向量进行编码，再进行解码得到生成的问题，由于结合了历史对话内容能够使得生成的问题与历史对话内容有更好的衔接；并且参考文本相关向量中还包括了当前问答轮数对应的文本位置向量，从而能够使得问题的焦点能够集中在当前问答轮数对应的文本位置向量，使得生成的问题更有针对性。
在一些实施例中，在步骤S201之前，需要首先获取参考文本对应的第一词向量和答案信息向量。参见图4，图4是本申请实施例提供的获取参考文本的词向量的实现流程示意图，如图4所示，包括以下步骤：
步骤S111，获取参考文本中各个分词对应的原始词向量和属性信息。
其中，在获取参考文本对应的第一词向量和答案信息向量时，首先要获取参考文本中的每个分词自动化生成的原始词向量，该原始词向量可以是one-hot向量，维数一般很高，因此在获取到每个分词的原始词向量之后，要将各个原始词向量映射到低维的连续向量词空间。
所述属性信息表征所述分词是否为答案。
步骤S112，判断分词的属性信息是否表明该分词为答案。
这里，如果分词的属性信息表明该分词为答案，则进入步骤S204，如果分词的属性信息表明该分词不为答案时，则进入步骤S203。
步骤S113，当所述分词的属性信息表明所述分词不为答案时，将所述分词对应的原始词向量映射为第一词向量。
例如，对于“Incumbent democratic president Bill Clinton was ineligibleto serve a third term due to term limitations in the 22nd amendment of theconstitution”这一句子，其中，“democratic”、“term limitations in the 22nd amendment of the constitution”的属性为答案，其余词的属性为非答案。那么第一词向量中至少包括将Incumbent、president、Bill Clinton、was、ineligible、to、serve、a、third、term、due、to这些词的原始词向量映射得到的低维词向量。
步骤S114，当所述分词的属性信息表明所述分词为答案，将所述分词对应的原始词向量映射为答案信息向量。
承接上述举例，答案信息向量中至少包括democratic、term、limitations、in、the、22nd、amendment、of、the、constitution这些词的原始词向量映射得到的低维词向量，在一些实施例中，答案信息向量中还可以包括答案的位置信息分量。
在一些实施例中，可以通过这样的方式来实现上述的步骤S201，通过第一编码模型对获取到的参考文本对应的第一词向量、答案信息向量、当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列：
步骤S2011，将所述第一词向量、答案信息向量和文本位置向量进行拼接得到拼接向量。
这里，在对第一词向量、答案信息向量和文本位置向量进行拼接时，可以是按照预设的顺序对三者进行拼接，例如该预设的顺序可以是第一个是文本位置向量，第二个是答案信息向量，第三个是第一词向量，那么就将文本位置向量、答案信息向量和第一词向量依次拼接，得到拼接向量。
步骤S2012，通过所述第一编码模型将所述拼接向量转换为具有固定长度的中间向量。
这里，中间向量可以是上下文向量(Context Vector)，上下文向量为各个词语的加权语境向量，通过上下文向量能够使得一个词与其他词语之间存在上下文关系。
步骤S2013，在所述中间向量中编码所述拼接向量的序列信息，得到第一语义向量序列。
由于对于不同的参考文本来说，第一词向量、答案信息向量和文本位置向量的长度一般是不同的，那么得到的拼接向量的长度也就是不同的，第一编码模型在对拼接向量进行编码处理时，是将拼接向量编码为长度固定的第一语义向量序列。
在步骤S2011至步骤S2013中，是先将第一词向量、答案信息向量和文本位置向量进行拼接，然后再对拼接向量进行编码处理，这样保证第一语义向量序列中包含这三方面的信息，并且还能够提高编码效率。
在一些实施例中，如图3B所示，在步骤S204之后，还可以执行以下流程：
步骤S205，获取所述问题文本对应的答题文本。
这里，答题文本可以是用户通过输入设备输入的，还可以是用户通过语音发出的。因此步骤S205在实现时，可以是获取用户通过输入设备输入的答题文本，或者是获取用户的答题语音信息，然后再对答题语音信息进行语音识别，获取答题文本。
步骤S206，判断所述答题文本和预设的答案文本是否满足匹配关系。
如果答题文本和预设的答案文本满足匹配关系时，说明答题文本与答案文本相匹配，也即说明答题正确，此时可以继续根据后续的文章部分生成问题，进入步骤S207；如果答题文本和预设的答案文本不满足匹配关系时，说明答题文本与答案文本不匹配，也即答题错误，此时进入步骤S208。
步骤S207，将所述当前问答轮数的取值更新为下一问答轮数的取值。
举例来说，假设当前问答轮数的取值为2，如果答题文本和答案文本满足匹配关系，则此时当前问答轮数的取值更新为3，然后再进入步骤S201，直至当前问答轮数达到预设的结束轮数。
步骤S208，保持所述当前问答轮数的取值。
举例来说，假设当前问答轮数的取值为2，如果答题文本和答案文本不满足匹配关系，此时当前问答轮数的取值保持不变，仍为2，然后再进入步骤S201。
在一些实施例中，当答题文本与所述答案文本不满足匹配关系时，将该问题对应的答错次数加1，并在答题次数超过指定的次数阈值时，将所述当前问答轮数的取值更新为下一问答轮数的取值。例如，次数阈值为3，当用户答错一个问题超过3次时，那么继续根据后续文章部分生成问题。
需要说明的是，每个问题对应的答错次数初始值为0。
通过步骤S205至步骤S208，可以根据用户的答题文本是否正确来决定是否进行后续的问题生成，在保证对话连贯性的同时，使得在问答过程中对于掌握不好的知识点再进行进一步的巩固。
在一些实施例中，可以通过这样的方式来实现上述的步骤S203：
通过解码模型对所述第一语义向量序列和第二语义向量序列，进行逐词解码，在解码过程中，将所述解码模型的篇章位置注意力分布集中在所述当前轮数对应的文本中，当解码输出代词时，将所述解码模型的注意力分布集中到第二语义向量序列中的实体名词，以使得生成所述当前轮数对应的指代对齐的问题文本。
这里，步骤S103在实现时，是利用已经训练好的解码模型，对第一语义向量序列和第二语义向量序列进行逐词解码。而在训练解码模型时，是根据能够实现指代对齐的损失函数和能够实现将注意力分布集中在当前问答轮数对应的文本位置的损失函数对解码模型的参数进行调整的，因此，在通过解码模型在对第一语义向量序列和第二语义向量序列进行逐词解码，所生成的问题，不仅能够实现指代对齐，并且是与当前问答轮数对应的文本内容相关的，从而提高问答的对话性。
在一些实施例中，所述方法还包括：
步骤31，获取初始的解码模型和训练文本对应的第三语义向量序列。
这里，训练文本可以是问答对话文本，训练文本对应的第三语义向量序列中还包括表征各个词的词性信息，以确定在解码过程中是否需要生成代词。
步骤32，通过所述解码模型对所述第三语义向量序列进行解码、且确定需要生成代词时，根据第一优化目标函数，对所述解码模型的参数进行调整，以使所述解码模型的注意力分布集中到实体名词。
这里，当解码模型对第三语义向量序列进行解码，确定需要生成代词时，可以通过第一优化目标函数，对解码模型的参数进行调整，以使所述解码模型的注意力分布集中到与代词相对应的实体名词，从而保证生成的问题中的代词与实体名词是对应的，进一步提高问答的对话性。
在一些实施例中，所述方法还包括：
步骤41，至少根据第一优化目标函数和第二优化目标函数对所述解码模型进行联合训练，以对所述解码模型的参数进行调整；
其中，所述第一优化目标函数用于在需要生成代词时，将所述解码模型的注意力分布集中到实体名词，第二优化目标函数用于优化每一轮问答对话对应的篇章位置注意力分布，以使得所述解码模型的篇章位置注意力分布集中到当前问答轮数对应的文本。
在实际实现过程中，除了根据第一优化目标函数和第二优化目标函数对所述解码模型进行联合训练之外，还可以是根据公式(1-1)对解码模型进行联合训练，以对解码模型的参数进行调整：
L＝Lnll+Lcoref+Lflow (1-1)；
其中，Lnll是经典的编码器解码器模型的优化目标，Lcoref为第一优化目标函数，Lflow为第二优化目标函数。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
图5为本申请实施例问题生成方法的***架构示意图，如图5所示，在***架构中至少包括篇章编码器(passage encoder)501、段落编码器(conversat ion encoder)502和解码器503。其中，篇章编码器501对英文短文进行编码，段落编码器502对历史对话内容进行编码，从而分别将离散的文本转换为连续的向量化语义表示。
篇章编码器501对英文短文进行编码，实际是篇章编码器501对英文短文的一系列相关向量进行编码。在编码之前，首先需要把英语短文从离散的源端词表示转化为连续的词空间嵌入表示(word embedding)，同时将答案位置信息转化为相应的答案位置表示(answer position embedding)。除此之外，在本申请实施例中还单独设计了对话流表示(turn number embedding&chunk embe dding)。然后由篇章编码器501对词空间嵌入表示、答案位置表示和对话流表示进行编码，得到向量化语义表示。由篇章编码器501进行编码得到的向量化语义表示对应其他实施例中的第一语义向量序列。
段落编码器502对历史对话内容进行编码，也即是对之前的问题和答案进行编码。在实现时，实际是段落编码器502对历史对话内容对应的词空间嵌入表示进行编码，从而得到向量化的语义表示。由段落编码器502进行编码得到的向量化语义表示对应其他实施例中的第二语义向量序列。
在得到向量化的语义表示之后，解码器503将向量化的语义表示转换为问题，在逐词解码的过程中，采用指代对齐(co-reference alignment)和对话流建模(conversationflow modeling)技术，使得模型能够生成有对话性的问题。
以下对指代对齐技术、对话流模块进行说明。
在本实施例中，采用了指代对齐技术的指代对齐模块能够将历史对话内容中的实体名词(entity)转化为要生成对话中的代词，例如：
英文短文片段：Incumbent democratic president Bill Clinton wasineligible to serve a third term due to term limitations in the 22ndamendment of the constitution。
对话历史：What politic party was Clinton a member of？
相关技术方案的结果：What was Clinton ineligible to serve？
指代对齐模块的结果：What was he ineligible to serve？
由相关技术方案生成问题的结果与利用指代对齐生成问题的结果的对比可以看出，指代对齐模块能够生成富有对话性的问题，使得问题能够与对话的历史对话内容相连贯。而相关技术方案只能简单的复制对话历史中的实体名词，而无法达到指代对齐的目的。
指代对齐模块在实现时，是在模型需要生成代词(如例子中的he)的时候，鼓励模型的注意力分布(attention distribution)集中到对话历史的实体名词(如例子中的Clinton)上，从而达到对齐生成的指代词和历史对话内容中的实体名词相对应的目的，优化目标可以用如公式(2-1)所述的损失函数Lcoref表示：
其中，
为是需要指代的实体名词所对应的注意力分布的概率，βi-k,j为是该句话的注意力分布，pcoref为生成概率分布中指代代词的概率，sc为是该指代对的置信概率，λ1和λ2为调节优化目标的超参数(hyper-parameter)，经验值为1。
对话流模块能够实现在连续的问题中的关注点转移，达到在对话中前几轮的问题问的是短文前几句的内容，随着对话的深入，问题逐渐关注短文后面的内容直至对话结束的目的。
在对话流模块中首先设计了一种对话流的嵌入表示方法(flow embedding)也即输入到篇章编码器501中的对话流表示，对话流表示包括两部分：当前轮数表示(turnnumber embedding)和篇章相对位置表示(chunk embedding)，其中：
当前轮数表示(turn number embedding)，将当前对话所处的轮数映射为连续的向量化表示，加入篇章编码器中，使得模型能够学习到当前对话所处轮数，从而关注文中的适当位置。
篇章相对位置表示(chunk embedding)，在本实施例中，假设将篇章(pas sage)按句子均匀分为10个部分，让模型学到轮数和篇章位置的相对关系。直观来讲，初始的对话轮数，模型应该注意到篇章靠前部分的句子，针对一些前面句子生成相应的问题，当对话深入的时候，模型应该关注篇章后面的句子，并针对后面的句子生成相应的问题。这样可以使得模型顺着篇章叙述的顺序来生成问题，更加符合对话中问问题的节奏。
其次，对话流模块优化每一轮对话的篇章注意力(passage attention)的分布，通过标注的篇章中问的句子的标签，限制模型的注意力分布αj，使得模型只关注短文中相关的内容。优化目标可以用如公式(2-2)所述的损失函数Lflow表示：
其中，λ3和λ4为调节优化目标的超参数，经验值为1；αj为篇章的注意力分布概率；CES指该句话属于当前问题需要问的句子，HES指该句话属于之前已经问过的句子。
在本申请实施例中，对指代对齐模块和对话流建模模块进行联合训练，联合训练的优化目标可以用公式(2-3)表示：
L＝Lnll+Lcoref+Lflow (2-3)；
其中，Lnll是经典的编码器解码器模型的优化目标。
本申请实施例提供的方法可以应用于智能导师***(intelligence tutor system)。应用场景是针对一段英语短文，该***以对话的形式问学生一系列的问题以测试学生对于短文的理解。相比于之前的模型主要关注于根据一句话分别提出问题，本申请提出的***能够通过对话这种交互方式，更具有互动性。
与现有技术方案的评测比较结果如表1所示：
表1
| BLEU1 | BLEU2 | BLEU3 | ROUGE_L | |
| 现有方案 | 28.84 | 13.74 | 8.16 | 39.18 |
| 本方案 | 37.38 | 22.81 | 16.25 | 46.90 |
通过表1可以看出，基于BLEU1、BLEU2、BLEU3和ROUGE_L这几种评价方式，本申请实施例提供的方法都优于现有方案。
本申请实施例可以应用于智能导师***在对话中连续提问，以测试学生对于一段英语短文的理解的场景，通过多输入编码器和指代对齐模型来建模对话历史内容，不仅使得生成的问题与对话历史相连贯，还能够在生成的问题中把对话历史中的实体名称(entity)转化为相应的代词，提升了问题的对话性；另外，通过本申请实施例提供的对话流模块，能够在一个多轮对话中逐渐转移主题，从而能够更好地生成多轮问答中的问题。
需要说明的是本申请实施例提供的问题生成方法不拘泥于具体的网络模型，除了可以在编码器-解码器模型上得到使用，也可以用于变换器(transformer)等模型；同时本申请实施例提供的问题生成方法也不局限于应用在智能导师***，指代对齐方法可以用于一切需要能够转换输入中的实体为代词的模型，对话流模块可以用于一般性的对话场景中，如聊天机器人，客服机器人等，此时将聊天对话历史作为生成篇章编码器输入的依据。
下面说明软件模块的示例性结构，在一些实施例中，如图2所示，存储器440中的问题生成装置80可以包括：
第一编码模块81，用于通过第一编码模型对参考文本对应的第一词向量、答案信息向量、和当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列；
第二编码模块82，用于通过第二编码模型对历史问答文本对应的第二词向量进行编码处理，得到第二语义向量序列；
解码模块83，用于通过解码模型对所述第一语义向量序列和所述第二语义向量序列进行解码处理，得到所述当前问答轮数对应的问题文本；
输出模块84，用于输出所述问题文本。
在一些实施例中，所述装置还包括：
第一获取模块，用于获取参考文本中各个分词对应的原始词向量和属性信息，其中，所述属性信息表征所述分词是否为答案；
第一映射模块，用于当所述分词的属性信息表明所述分词不为答案时，将所述分词对应的原始词向量映射为第一词向量；
第二映射模块，用于当所述分词的属性信息表明所述分词为答案，将所述分词对应的原始词向量映射为答案信息向量。
在其他实施例中，所述装置还包括：
拼接模块，用于将所述第一词向量、答案信息向量和文本位置向量进行拼接得到拼接向量；
所述第一编码模块81，还用于通过所述第一编码模型将所述拼接向量转换为具有固定长度的中间向量，并在所述中间向量中编码所述拼接向量的序列信息，得到第一语义向量序列。
在其他实施例中，所述装置还包括：
第二获取模块，用于获取所述问题文本对应的答题文本；
轮数更新模块，用于当所述答题文本和预设的答案文本满足匹配关系时，将所述当前问答轮数的取值更新为下一问答轮数的取值；
轮数保持模块，用于当所述答题文本和所述答案文本不满足匹配关系时，保持所述当前问答轮数的取值。
在其他实施例中，所述解码模块83，还用于通过解码模型对所述第一语义向量序列和第二语义向量序列，进行逐词解码；
其中，将所述解码模型的篇章位置注意力分布集中在所述当前轮数对应的文本中，且在需要生成代词时，将所述解码模型的注意力分布集中到第二语义向量序列中的实体名词，以使得生成所述当前轮数对应的指代对齐的问题文本。
在其他实施例中，所述装置还包括：
第三获取模块，用于获取初始的解码模型和训练文本对应的第三语义向量序列；
解码模块83，还用于通过所述解码模型对所述第三语义向量序列进行解码、且确定需要生成代词时，根据第一优化目标函数，对所述解码模型的参数进行调整，以使所述解码模型的注意力分布集中到实体名词。
在其他实施例中，所述装置还包括：
训练模块，用于至少根据第一优化目标函数和第二优化目标函数对所述解码模型进行联合训练，以对所述解码模型的参数进行调整；
其中，所述第一优化目标函数用于在需要生成代词时，将所述解码模型的注意力分布集中到实体名词，第二优化目标函数用于优化每一轮问答对话对应的篇章位置注意力分布，以使得所述解码模型的篇章位置注意力分布集中到当前问答轮数对应的文本。
作为本申请实施例提供的方法采用硬件实施的示例，本申请实施例所提供的方法可以直接采用硬件译码处理器形式的处理器410来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circui t)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex ProgrammableLogic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件执行实现本申请实施例提供的方法。
本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3和图4示出的方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (15)
1.一种问题生成方法，其特征在于，所述方法包括：
通过第一编码模型对参考文本对应的第一词向量、答案信息向量、和当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列；
通过第二编码模型对历史问答文本对应的第二词向量进行编码处理，得到第二语义向量序列；
通过解码模型对所述第一语义向量序列和所述第二语义向量序列进行解码处理，得到所述当前问答轮数对应的问题文本；
输出所述问题文本；
获取所述问题文本对应的答题文本；
当所述答题文本和预设的答案文本满足匹配关系时，将所述当前问答轮数的取值更新为下一问答轮数的取值；
当所述答题文本和所述答案文本不满足匹配关系时，保持所述当前问答轮数的取值。
2.根据权利要求1中所述的方法，其特征在于，所述方法还包括：
获取参考文本中各个分词对应的原始词向量和属性信息，其中，所述属性信息表征所述分词是否为答案；
当所述分词的属性信息表明所述分词不为答案时，将所述分词对应的原始词向量映射为第一词向量；
当所述分词的属性信息表明所述分词为答案时，将所述分词对应的原始词向量映射为答案信息向量。
3.根据权利要求1中所述的方法，其特征在于，所述通过第一编码模型对获取到的参考文本对应的第一词向量、答案信息向量、当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列，包括：
将所述第一词向量、答案信息向量和文本位置向量进行拼接得到拼接向量；
通过所述第一编码模型将所述拼接向量转换为具有固定长度的中间向量；
在所述中间向量中编码所述拼接向量的序列信息，得到第一语义向量序列。
4.根据权利要求1中所述的方法，其特征在于，所述通过解码模型对所述第一语义向量序列和所述第二语义向量序列进行解码处理，得到所述当前轮数对应的问题文本，包括：
通过解码模型对所述第一语义向量序列和第二语义向量序列，进行逐词解码；
在逐词解码过程中，将所述解码模型的篇章位置注意力分布集中在所述当前轮数对应的文本中，以及
当解码输出代词时，将所述解码模型的注意力分布集中到第二语义向量序列中的实体名词，以使得生成所述当前轮数对应的指代对齐的问题文本。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
获取初始的解码模型和训练文本对应的第三语义向量序列；
通过所述解码模型对所述第三语义向量序列进行解码、且确定需要生成代词时，根据第一优化目标函数，对所述解码模型的参数进行调整，以使所述解码模型的注意力分布集中到实体名词。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
至少根据第一优化目标函数和第二优化目标函数对所述解码模型进行联合训练，以对所述解码模型的参数进行调整；
其中，所述第一优化目标函数用于在需要生成代词时，将所述解码模型的注意力分布集中到实体名词，第二优化目标函数用于优化每一轮问答对话对应的篇章位置注意力分布，以使得所述解码模型的篇章位置注意力分布集中到当前问答轮数对应的文本。
7.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
将所述参考文本划分为至少两个部分，并获取各个部分在所述参考文本中的位置信息；
基于问答轮数和各个部分之间的对应关系，确定当前问答轮数对应的部分，和所述部分对应的位置信息；
基于所述部分对应的位置信息确定所述当前问答轮数对应的文本位置信息；
根据当前问答轮数对应的文本位置信息生成所述当前问答轮数对应的文本位置向量。
8.根据权利要求1至4中任一项所述的方法，其特征在于，所述通过第二编码模型对历史问答文本对应的第二词向量进行编码处理，得到第二语义向量序列，包括：
通过所述第二编码模型将所述历史问答文本对应的第二词向量转换为具有固定长度的上下文变量；
在所述上下文变量中编码所述第二词向量，得到所述第二语义向量序列。
9.一种问题生成装置，其特征在于，包括：
第一编码模块，用于通过第一编码模型对参考文本对应的第一词向量、答案信息向量、和当前问答轮数对应的文本位置向量进行编码处理，得到第一语义向量序列；
第二编码模块，用于通过第二编码模型对历史问答文本对应的第二词向量进行编码处理，得到第二语义向量序列；
解码模块，用于通过解码模型对所述第一语义向量序列和所述第二语义向量序列进行解码处理，得到所述当前问答轮数对应的问题文本；
输出模块，用于输出所述问题文本；
第二获取模块，用于获取所述问题文本对应的答题文本；
轮数更新模块，用于当所述答题文本和预设的答案文本满足匹配关系时，将所述当前问答轮数的取值更新为下一问答轮数的取值；
轮数保持模块，用于当所述答题文本和所述答案文本不满足匹配关系时，保持所述当前问答轮数的取值。
10.根据权利要求9中所述的装置，其特征在于，所述装置还包括：
第一获取模块，用于获取参考文本中各个分词对应的原始词向量和属性信息，其中，所述属性信息表征所述分词是否为答案；
第一映射模块，用于当所述分词的属性信息表明所述分词不为答案时，将所述分词对应的原始词向量映射为第一词向量；
第二映射模块，用于当所述分词的属性信息表明所述分词为答案时，将所述分词对应的原始词向量映射为答案信息向量。
11.根据权利要求9中所述的装置，其特征在于，所述装置还包括：
拼接模块，用于将所述第一词向量、答案信息向量和文本位置向量进行拼接得到拼接向量；
所述第一编码模块，还用于通过所述第一编码模型将所述拼接向量转换为具有固定长度的中间向量，并在所述中间向量中编码所述拼接向量的序列信息，得到第一语义向量序列。
12.根据权利要求9中所述的装置，其特征在于，
所述解码模块，还用于通过解码模型对所述第一语义向量序列和第二语义向量序列，进行逐词解码；
在逐词解码过程中，将所述解码模型的篇章位置注意力分布集中在所述当前轮数对应的文本中，以及
当解码输出代词时，将所述解码模型的注意力分布集中到第二语义向量序列中的实体名词，以使得生成所述当前轮数对应的指代对齐的问题文本。
13.根据权利要求9至12中任一项所述的装置，其特征在于，所述装置还包括：
第三获取模块，用于获取初始的解码模型和训练文本对应的第三语义向量序列；
解码模块，还用于通过所述解码模型对所述第三语义向量序列进行解码、且确定需要生成代词时，根据第一优化目标函数，对所述解码模型的参数进行调整，以使所述解码模型的注意力分布集中到实体名词。
14.一种问题生成设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至8任一项所述的方法。
15.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010169926.9A CN111414464B (zh) | 2019-05-27 | 2019-05-27 | 一种问题生成方法、装置、设备及存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010169926.9A CN111414464B (zh) | 2019-05-27 | 2019-05-27 | 一种问题生成方法、装置、设备及存储介质 |
| CN201910447602.4A CN110162613B (zh) | 2019-05-27 | 2019-05-27 | 一种问题生成方法、装置、设备及存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910447602.4A Division CN110162613B (zh) | 2019-05-27 | 2019-05-27 | 一种问题生成方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111414464A CN111414464A (zh) | 2020-07-14 |
| CN111414464B true CN111414464B (zh) | 2023-04-07 |
Family
ID=67629063
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010169926.9A Active CN111414464B (zh) | 2019-05-27 | 2019-05-27 | 一种问题生成方法、装置、设备及存储介质 |
| CN201910447602.4A Active CN110162613B (zh) | 2019-05-27 | 2019-05-27 | 一种问题生成方法、装置、设备及存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910447602.4A Active CN110162613B (zh) | 2019-05-27 | 2019-05-27 | 一种问题生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN111414464B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414464B (zh) * | 2019-05-27 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 一种问题生成方法、装置、设备及存储介质 |
| WO2021051091A1 (en) * | 2019-09-13 | 2021-03-18 | Rad Al, Inc. | Method and system for automatically generating a section in a radiology report |
| CN112560398B (zh) * | 2019-09-26 | 2023-07-04 | 百度在线网络技术（北京）有限公司 | 一种文本生成方法及装置 |
| CN110750677B (zh) * | 2019-10-12 | 2023-11-14 | 腾讯科技（深圳）有限公司 | 基于人工智能的音视频识别方法、***及存储介质和服务器 |
| CN110674279A (zh) * | 2019-10-15 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 基于人工智能的问答处理方法、装置、设备及存储介质 |
| CN110795549B (zh) * | 2019-10-31 | 2023-03-17 | 腾讯科技（深圳）有限公司 | 短文本对话方法、装置、设备及存储介质 |
| CN110909142B (zh) * | 2019-11-20 | 2023-03-31 | 腾讯科技（深圳）有限公司 | 一种问答模型的问题语句处理方法、装置、电子设备及存储介质 |
| CN111061851B (zh) * | 2019-12-12 | 2023-08-08 | 中国科学院自动化研究所 | 基于给定事实的问句生成方法及*** |
| CN112905754A (zh) * | 2019-12-16 | 2021-06-04 | 腾讯科技（深圳）有限公司 | 基于人工智能的视觉对话方法、装置及电子设备 |
| CN111291169B (zh) * | 2020-01-16 | 2024-05-28 | 中国平安人寿保险股份有限公司 | 模板编辑回复的方法、装置、设备及存储介质 |
| CN111428467B (zh) * | 2020-02-19 | 2024-05-07 | 平安科技（深圳）有限公司 | 生成阅读理解的问题题目的方法、装置、设备及存储介质 |
| CN111382563B (zh) * | 2020-03-20 | 2023-09-08 | 腾讯科技（深圳）有限公司 | 文本相关性的确定方法及装置 |
| CN111414737B (zh) * | 2020-03-23 | 2022-03-08 | 腾讯科技（深圳）有限公司 | 故事生成模型训练方法、装置、设备及存储介质 |
| CN111444399B (zh) * | 2020-03-30 | 2022-10-25 | 腾讯科技（深圳）有限公司 | 回复内容的生成方法、装置、设备及可读存储介质 |
| CN111553159B (zh) * | 2020-04-24 | 2021-08-06 | 中国科学院空天信息创新研究院 | 一种问句生成方法及*** |
| CN111639163A (zh) * | 2020-04-29 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 问题生成模型的训练方法、问题生成方法及其相关设备 |
| CN113822016B (zh) * | 2020-06-19 | 2024-03-22 | 阿里巴巴集团控股有限公司 | 文本数据处理方法、装置、电子设备及可读存储介质 |
| CN111967224A (zh) * | 2020-08-18 | 2020-11-20 | 深圳市欢太科技有限公司 | 对话文本的处理方法、装置、电子设备及存储介质 |
| CN112149426B (zh) * | 2020-09-27 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 阅读任务处理方法及相关设备 |
| CN112199481B (zh) * | 2020-09-30 | 2023-06-16 | 中国人民大学 | 一种采用pcc对话模型的单用户个性化对话方法和*** |
| CN112364665A (zh) * | 2020-10-11 | 2021-02-12 | 广州九四智能科技有限公司 | 一种语义提取方法、装置、计算机设备及存储介质 |
| US11615890B2 (en) | 2021-03-09 | 2023-03-28 | RAD AI, Inc. | Method and system for the computer-assisted implementation of radiology recommendations |
| CN113051371B (zh) * | 2021-04-12 | 2023-02-07 | 平安国际智慧城市科技股份有限公司 | 中文机器阅读理解方法、装置、电子设备及存储介质 |
| CN113268561B (zh) * | 2021-04-25 | 2021-12-14 | 中国科学技术大学 | 一种基于多任务联合训练的问题生成方法 |
| CN113239160B (zh) * | 2021-04-29 | 2022-08-12 | 桂林电子科技大学 | 一种问题生成方法、装置及存储介质 |
| CN113255928B (zh) * | 2021-04-29 | 2022-07-05 | 支付宝(杭州)信息技术有限公司 | 模型的训练方法、装置和服务器 |
| CN113282722B (zh) * | 2021-05-07 | 2024-03-29 | 中国科学院深圳先进技术研究院 | 机器阅读理解方法、电子设备及存储介质 |
| CN113204964B (zh) * | 2021-05-31 | 2024-03-08 | 平安科技（深圳）有限公司 | 一种数据处理方法、***、电子设备及存储介质 |
| CN113239173B (zh) * | 2021-06-09 | 2023-12-12 | 深圳集智数字科技有限公司 | 问答数据的处理方法、装置、存储介质与电子设备 |
| CN115600587B (zh) * | 2022-12-16 | 2023-04-07 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 数学应用题生成***、方法、智能终端及可读存储介质 |
| CN116863935B (zh) * | 2023-09-04 | 2023-11-24 | 深圳有咖互动科技有限公司 | 语音识别方法、装置、电子设备与计算机可读介质 |
| CN117473076B (zh) * | 2023-12-27 | 2024-03-08 | 广东信聚丰科技股份有限公司 | 基于大数据挖掘的知识点生成方法及*** |
| CN118052222A (zh) * | 2024-04-15 | 2024-05-17 | 北京晴数智慧科技有限公司 | 一种多轮对话数据的生成方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101606185A (zh) * | 2007-02-07 | 2009-12-16 | 夏普株式会社 | 计算机实现的学习方法和装置 |
| CN108509411A (zh) * | 2017-10-10 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 语义分析方法和装置 |
| CN109271496A (zh) * | 2018-08-30 | 2019-01-25 | 广东工业大学 | 一种基于文本、知识库及序列到序列的自然问答方法 |
| CN109670029A (zh) * | 2018-12-28 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 用于确定问题答案的方法、装置、计算机设备及存储介质 |
| CN109766423A (zh) * | 2018-12-29 | 2019-05-17 | 上海智臻智能网络科技股份有限公司 | 基于神经网络的问答方法及装置、存储介质、终端 |
| CN110162613A (zh) * | 2019-05-27 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种问题生成方法、装置、设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001101187A (ja) * | 1999-09-30 | 2001-04-13 | Sony Corp | 翻訳装置および翻訳方法、並びに記録媒体 |
| US20140108321A1 (en) * | 2012-10-12 | 2014-04-17 | International Business Machines Corporation | Text-based inference chaining |
| CN106776578B (zh) * | 2017-01-03 | 2020-03-17 | 竹间智能科技（上海）有限公司 | 用于提升对话***对话性能的方法及装置 |
| KR102016602B1 (ko) * | 2017-08-28 | 2019-08-30 | 주식회사 솔트룩스 | 대화 모델 기반의 질의응답 시스템 |
| CN108846130B (zh) * | 2018-06-29 | 2021-02-05 | 北京百度网讯科技有限公司 | 一种问题文本生成方法、装置、设备和介质 |
| CN109063174B (zh) * | 2018-08-21 | 2022-06-07 | 腾讯科技（深圳）有限公司 | 查询答案的生成方法及装置、计算机存储介质、电子设备 |
| CN109766424B (zh) * | 2018-12-29 | 2021-11-19 | 安徽省泰岳祥升软件有限公司 | 一种阅读理解模型训练数据的过滤方法及装置 |
-
2019
- 2019-05-27 CN CN202010169926.9A patent/CN111414464B/zh active Active
- 2019-05-27 CN CN201910447602.4A patent/CN110162613B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101606185A (zh) * | 2007-02-07 | 2009-12-16 | 夏普株式会社 | 计算机实现的学习方法和装置 |
| CN108509411A (zh) * | 2017-10-10 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 语义分析方法和装置 |
| CN109271496A (zh) * | 2018-08-30 | 2019-01-25 | 广东工业大学 | 一种基于文本、知识库及序列到序列的自然问答方法 |
| CN109670029A (zh) * | 2018-12-28 | 2019-04-23 | 百度在线网络技术（北京）有限公司 | 用于确定问题答案的方法、装置、计算机设备及存储介质 |
| CN109766423A (zh) * | 2018-12-29 | 2019-05-17 | 上海智臻智能网络科技股份有限公司 | 基于神经网络的问答方法及装置、存储介质、终端 |
| CN110162613A (zh) * | 2019-05-27 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种问题生成方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Personalized response generation by Dual-learning based domain adaptation;Min Yang et al.;《Neural Networks》;第103卷;72-82 * |
| 英语阅读教学中学生问题生成能力培养的行动研究;明永红;《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》;H130-550 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110162613B (zh) | 2023-12-01 |
| CN111414464A (zh) | 2020-07-14 |
| CN110162613A (zh) | 2019-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111414464B (zh) | 一种问题生成方法、装置、设备及存储介质 | |
| Tuan et al. | Capturing greater context for question generation | |
| CN108846130B (zh) | 一种问题文本生成方法、装置、设备和介质 | |
| US8874431B2 (en) | Knowledge system method and apparatus | |
| US20110202332A1 (en) | Knowledge System Method and Apparatus | |
| CN111651589B (zh) | 一种针对长文档的两阶段文本摘要生成方法 | |
| CN112765345A (zh) | 一种融合预训练模型的文本摘要自动生成方法及*** | |
| CN111125333B (zh) | 一种基于表示学习与多层覆盖机制的生成式知识问答方法 | |
| CN109992775A (zh) | 一种基于高级语义的文本摘要生成方法 | |
| CN112948558B (zh) | 面向开放域对话***的上下文增强的问题生成方法及装置 | |
| Luz et al. | Semantic parsing natural language into SPARQL: improving target language representation with neural attention | |
| CN112818106A (zh) | 一种生成式问答的评价方法 | |
| CN114625866A (zh) | 训练摘要生成模型的方法、装置、设备及介质 | |
| Chen | Computational generation of Chinese noun phrases | |
| Göker et al. | Neural text normalization for turkish social media | |
| CN115171870A (zh) | 一种基于m-BERT预训练模型的就诊引导提示方法及*** | |
| CN117009456A (zh) | 医疗查询文本的处理方法、装置、设备、介质和电子产品 | |
| CN114328853B (zh) | 一种基于Unilm优化语言模型的中文问题生成方法 | |
| Miao et al. | Improving accuracy of key information acquisition for social media text summarization | |
| Lv et al. | StyleBERT: Chinese pretraining by font style information | |
| CN114492464A (zh) | 一种基于双向异步序列的对话生成方法及*** | |
| Huang et al. | Flexible entity marks and a fine-grained style control for knowledge based natural answer generation | |
| Sun | Machine reading comprehension: challenges and approaches | |
| CN117972434B (zh) | 文本处理模型的训练方法、装置、设备、介质和程序产品 | |
| Zhou et al. | Enhancing Question Generation with Syntactic Details and Multi-Level Attention Mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40025812 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |