CN111723185B - 问题生成方法 - Google Patents

问题生成方法 Download PDF

Info

Publication number
CN111723185B
CN111723185B CN202010570508.0A CN202010570508A CN111723185B CN 111723185 B CN111723185 B CN 111723185B CN 202010570508 A CN202010570508 A CN 202010570508A CN 111723185 B CN111723185 B CN 111723185B
Authority
CN
China
Prior art keywords
question
generation
sentence
hidden layer
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010570508.0A
Other languages
English (en)
Other versions
CN111723185A (zh
Inventor
朱少华
缪庆亮
俞凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sipic Technology Co Ltd
Original Assignee
Sipic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sipic Technology Co Ltd filed Critical Sipic Technology Co Ltd
Priority to CN202010570508.0A priority Critical patent/CN111723185B/zh
Publication of CN111723185A publication Critical patent/CN111723185A/zh
Application granted granted Critical
Publication of CN111723185B publication Critical patent/CN111723185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种问题生成方法，包括：对阅读理解数据集中的阅读理解数据进行预处理；将问题生成数据输入至编码器，并获取编码器隐层状态；将相应于所述问题生成数据的问题输入至解码器，并获取解码器隐层状态；基于所述编码器隐层状态和所述解码器隐层状态确定预设词典中的词的生成概率；根据当前时刻的上下文向量、解码器隐层状态和解码器输入确定当前时刻的词生成概率；根据所述词的生成概率和所述当前时刻的词生成概率确定词的概率分布。本发明解决了现有技术中依赖于一个固定的词典，不能生成不在词典中的词，导致生成的问题不流畅的问题。

Description

问题生成方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种问题生成方法。
背景技术
问题生成在人类智能的发展和人工智能***的发展中都起着重要作用。在许多应用领域中，对问题生成的需求正在迅速增长。问题生成***旨在根据给定的文本生成各种问题。在教育领域，提出好的问题对于评估学生知识和激励自我学习至关重要；在对话***中，问题生成是机器人的很重要的一项技能，比如可以帮助机器人冷启动或者得到用户的信息从而进行更好的沟通；在阅读理解中，问题生成可以帮助人们自动生成问题，从而节省大量人力物力财力去标注数据。
现有的问题生成任务的研究方法主要分为两类：基于规则的与基于神经网络的方法。基于规则的问题生成方法，需要大量的人力创建规则，生成的问题也具有固定形式，并且无法避免规则中的错误。与基于规则的方法比较而言，基于神经网络的问题生成方法更多的是数据驱动、支持端到端训练的形式，不依赖手工编写的规则。但是目前基于神经网络方法不能很好的处理未登录词(OOV)和词重复生成的现象。
发明内容
本发明实施例提供一种问题生成方法，至少解决上述技术问题之一。
第一方面，本发明实施例提供一种问题生成方法，包括：
对阅读理解数据集中的阅读理解数据进行预处理，以得到多条问题生成数据；
将问题生成数据输入至编码器，并获取编码器隐层状态；
将相应于所述问题生成数据的问题输入至解码器，并获取解码器隐层状态；
基于所述编码器隐层状态和所述解码器隐层状态确定预设词典中的词的生成概率；
根据当前时刻的上下文向量、解码器隐层状态和解码器输入确定当前时刻的词生成概率；
根据所述词的生成概率和所述当前时刻的词生成概率确定词的概率分布，用于问题生成。
第二方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项问题生成方法。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明上述任一项问题生成方法。
第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项问题生成方法。
本发明实施例的有益效果在于：通过根据当前时刻的上下文向量、解码器隐层状态和解码器输入确定当前时刻的词生成概率，从而既能从固定的词典中生成词，又能从编码器端拷贝词，解决了现有技术中依赖于一个固定的词典，不能生成不在词典中的词，导致生成的问题不流畅的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的问题生成方法的一实施例的流程图；
图2为本发明的问题生成方法的另一实施例的流程图；
图3为本发明的问题生成方法的又一实施例的流程图；
图4为实施本发明的问题生成方法的一问题生成网络结构的示意图；
图5为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中，“模块”、“装置”、“***”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地***、分布式***中另一元件交互的，和/或在因特网的网络通过信号与其它***交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1所示，本发明的实施例提供一种问题生成方法，包括：
S10、对阅读理解数据集中的阅读理解数据进行预处理，以得到多条问题生成数据；
S20、将问题生成数据输入至编码器，并获取编码器隐层状态；
S30、将相应于所述问题生成数据的问题输入至解码器，并获取解码器隐层状态；
S40、基于所述编码器隐层状态和所述解码器隐层状态确定预设词典中的词的生成概率；
S50、根据当前时刻的上下文向量、解码器隐层状态和解码器输入确定当前时刻的词生成概率。示例性地，当前时刻的词生成概率由以下公式确定：
Figure BDA0002547779650000041
其中，wh*，ws，wy和标量bptr是可学习参数，δ是sigmoid函数。
S60、根据所述词的生成概率和所述当前时刻的词生成概率确定词的概率分布，用于问题生成。示例性地，词的概率分布由以下公式确定：
Figure BDA0002547779650000042
其中，当w是一个未登陆词时，Pvacab(w)为0；当w没有出现在输入文本中时，那么
Figure BDA0002547779650000043
为0。
本发明实施例中通过根据当前时刻的上下文向量、解码器隐层状态和解码器输入确定当前时刻的词生成概率，从而既能从固定的词典中生成词，又能从编码器端拷贝词，解决了现有技术中依赖于一个固定的词典，不能生成不在词典中的词，导致生成的问题不流畅的问题
如图2所示，为本发明的语句生成方法的另一实施例的流程图，在该实施例中，步骤S40包括：
S41、根据所述编码器隐层状态和所述解码器隐层状态计算第一关联向量；
S42、对所述第一关联向量进行softmax操作并归一化处理得到第一注意力分布；
S43、根据所述第一注意力分布确定当前时刻的上下文向量；
S44、根据所述当前时刻的上下文向量和所述解码器隐层状态确定预设词典中的词的生成概率。
如图3所示，为本发明的语句生成方法的另一实施例的流程图，在该实施例中，步骤S40包括：
S401、根据所述编码器隐层状态和所述解码器隐层状态计算第一关联向量；
S402、对所述第一关联向量进行softmax操作并归一化处理得到第一注意力分布；
S403、对当前时刻之前的多个第一注意力分布求和；
S404、根据求和结果所述编码器隐层状态和所述解码器隐层状态计算第二关联向量；
S405、对所述第二关联向量进行归一化得到第二注意力分布；
S406、根据所述第二注意力分布确定当前时刻的第二上下文向量；
S407、根据所述当前时刻的第二上下文向量和所述解码器隐层状态确定预设词典中的词的生成概率。
在一些实施例中，阅读理解数据集中包括多条阅读理解数据，每条阅读理解数据均包括阅读理解文章、问题和答案；
对阅读理解数据集中的阅读理解数据进行预处理，以得到多条问题生成数据包括对阅读理解数据做如下预处理：根据问题和答案从阅读理解文章中获取有效问题生成语句。
示例性地，根据问题和答案从阅读理解文章中获取有效问题生成语句包括：
确定阅读理解数据中包含所述答案的最短句子为目标句子；
当目标句子中不包含问题的主语时，从目标句子和问题中去除预设词得到新的目标句子和新的问题语句；
确定新的目标句子和新的问题语句之间的交集的长度与新的问题语句的长度之间的第一比值；
当第一比值大于第一设定阈值时，获取目标句子作为有效问题生成语句。
当目标句子中包含问题的主语时，从目标句子和问题中去除预设词得到新的目标句子和新的问题语句；
确定新的目标句子和新的问题语句之间的交集的长度与新的问题语句的长度之间的第二比值；
如果第二比值大于第二设定阈值，则获取目标句子作为有效问题生成语句；否则，确定新的目标句子和新的问题语句之间的最长公共子序列的长度，并确定最长公共子序列的长度与问题的长度之间的第二比值；
当第二比值大于第二设定阈值时，获取目标句子作为有效问题生成语句。
示例性地，利用规则从公开的阅读理解数据集中过滤出有效的问题生成数据。规则如下：
阅读理解数据集中每条数据由文章p,问题q和答案a组成。由于文章p比较长，直接输入到神经网络模型中效果不好，所以根据答案a的索引位置找出文章中包含答案的长度最短的句子范围s。
如果句子范围s不包含问题q中的主语，则进入下一条规则。该规则先对句子范围s和问题q进行分词，然后在分词基础上去掉停用词后成为s’和q’，再求两者的词的交集intersection，之后求交集intersection的长度与q’长度的比值recall，然后用预先设定的第一设定阈值与recall比较，如果recall大于阈值，则保留该数据，否则舍弃。示例性地，停用词可以是“啊”、“吧”、“的”、“并且”等；第一设定阈值可以为0.7，可以根据设置的阈值得出的数据质量来确定。
如果句子范围s包含问题q中的主语，则进入下一条规则。该规则先对句子范围s和问题q进行分词，然后在分词基础上去掉停用词后成为s’和q’，再求两者的词的交集intersection，之后求交集intersection的长度与q’长度的比值recall，然后用预先设定的第二设定阈值与recall比较，如果recall大于阈值，则保留该数据，否则进入下一条规则。该规则求句子范围s和问题q的最长公共子序列的长度，并求出该长度和问题q的比值，如果该比值高于预先设置的第三设定阈值，则保留该数据，否则舍弃。示例性地，第二设定阈值可以为0.5；第三设定阈值可以为0.6,，根据设置的阈值得出的数据质量来确定。
如图4所示，为实施本发明的问题生成方法的一问题生成网络结构的示意图，该问题生成网络结构通过执行以下步骤实现问题生成方法：
步骤1、将预先处理得到的有效的问题生成数据中的文本输入到编码器，输出隐层状态。该编码器是一个2层双向LSTM(Long Short-Term Memory,即：长短时记忆网络)神经网络模型，每一个隐层状态是一个LSTM神经网络单元在当前第i步下计算得到的结果：
Figure BDA0002547779650000071
表示前向和后向LSTM的隐层状态拼接在一起，其中，
Figure BDA0002547779650000072
表示前向LSTM输出的隐层状态，
Figure BDA0002547779650000073
表示后向LSTM输出的隐层状态。
步骤2、将问题输入到解码器，输出隐层状态，然后做线性变换，softmax求出词典中每个词的生成概率。经过步骤2中的编码器，得到隐层状态(h1，h2，...，hn)。解码器为单向LSTM，且隐层状态是st，然后计算编码器端每一个输出的隐层状态与当前解码器端隐层状态的关联性，eti＝f(st，hi)，写成相应的向量形式即为et＝(f(st，h1)，...，(f(st，ht))，其中f是一种相关性的算符，例如常见的有加权点乘形式et＝stWh，加和形式et＝vttanh(W1h+W2st)等。对于et进行softmax操作将其归一化得到注意力分布，at＝softmax(et)，接着进行加在推理阶段，解码器端采用束搜索法生成问题。在解码器端生成问题时，加权求和得到相应的上下文向量
Figure BDA0002547779650000074
最后，将st和
Figure BDA0002547779650000075
拼接在一起成为
Figure BDA0002547779650000076
再进行线性转换和归一化，
Figure BDA0002547779650000077
其中Pvocab是词典中每个词的生成概率。
步骤3、以上模型依赖于一个固定的词典，不能生成不在词典中的词，导致生成的问题不流畅。本专利在上面的模型基础上加上一个网络，使得它既能从固定的词典中生成词，又能从编码器端拷贝词。t时刻的生成概率pgen∈[0，1]是由上下文向量
Figure BDA0002547779650000081
解码状态(隐层状态)st和解码输入yt计算得到：
Figure BDA0002547779650000082
其中，向量wh*ws,wy和标量bptr是可学习参数，δ是sigmoid函数。其次，pgen用来在从词典中生成词或者从输入序列中拷贝词进行软切换。词的概率分布由以下公式计算得到：
Figure BDA0002547779650000083
其中如果w是一个未登录词，那么Pvocab(w)是0；同样地，如果w没有出现在原始的输入文本中，那么
Figure BDA0002547779650000084
为0。
步骤4、seq2seq模型中的重复生成是一个很常见的问题，本发明可以一定程度上解决这个问题，使得生成的问题更加流畅。在seq2seq基础上，增加一个向量，该向量是由所有先前解码时间步的注意力分布求和得到。
Figure BDA0002547779650000085
该向量作为注意力分布的额外输入，公式如下：
Figure BDA0002547779650000086
Figure BDA0002547779650000087
这能让增强的seq2seq模型更好的避免重复关注相同的位置，从而避免生成重复的文本。而且，定义一个损失来惩罚重复的关注相同的位置也是必要的。公式如下：
Figure BDA0002547779650000088
最终，将被超参数λ重新加权的coverage损失加入到主要的损失函数来生成一个新的复合的损失函数：
Figure BDA0002547779650000089
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述任一项问题生成方法。
在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项问题生成方法。
在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行问题生成方法。
在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现问题生成方法。
图5是本申请另一实施例提供的执行问题生成方法的电子设备的硬件结构示意图，如图5所示，该设备包括：
一个或多个处理器510以及存储器520，图5中以一个处理器510为例。
执行问题生成方法的设备还可以包括：输入装置530和输出装置540。
处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器520作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的问题生成方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例问题生成方法。
存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据问题生成装置的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至问题生成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可接收输入的数字或字符信息，以及产生与问题生成装置的用户设置以及功能控制有关的信号。输出装置540可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器520中，当被所述一个或者多个处理器510执行时，执行上述任意方法实施例中的问题生成方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种问题生成方法，包括：
对阅读理解数据集中的阅读理解数据进行预处理，以得到多条问题生成数据；
将问题生成数据输入至编码器，并获取编码器隐层状态；
将相应于所述问题生成数据的问题输入至解码器，并获取解码器隐层状态；
基于所述编码器隐层状态和所述解码器隐层状态确定预设词典中的词的生成概率；
根据当前时刻的上下文向量、解码器隐层状态和解码器输入确定当前时刻的词生成概率；
根据所述词的生成概率和所述当前时刻的词生成概率确定词的概率分布，用于问题生成。
2.根据权利要求1所述的方法，其中，所述基于所述编码器隐层状态和所述解码器隐层状态确定预设词典中的词的生成概率包括：
根据所述编码器隐层状态和所述解码器隐层状态计算第一关联向量；
对所述第一关联向量进行softmax操作并归一化处理得到第一注意力分布；
根据所述第一注意力分布确定当前时刻的上下文向量；
根据所述当前时刻的上下文向量和所述解码器隐层状态确定预设词典中的词的生成概率。
3.根据权利要求2所述的方法，其中，所述当前时刻的词生成概率由以下公式确定：
Figure FDA0002547779640000011
其中，wh*，ws，wy和标量bptr是可学习参数，δ是sigmoid函数。
4.根据权利要求3所述的方法，其中，所述词的概率分布由以下公式确定：
Figure FDA0002547779640000021
其中，当w是一个未登陆词时，Pvacab(w)为0；当w没有出现在输入文本中时，那么
Figure FDA0002547779640000022
为0。
5.根据权利要求1所述的方法，其中，所述基于所述编码器隐层状态和所述解码器隐层状态确定预设词典中的词的生成概率包括：
根据所述编码器隐层状态和所述解码器隐层状态计算第一关联向量；
对所述第一关联向量进行softmax操作并归一化处理得到第一注意力分布；
对当前时刻之前的多个第一注意力分布求和；
根据求和结果所述编码器隐层状态和所述解码器隐层状态计算第二关联向量；
对所述第二关联向量进行归一化得到第二注意力分布；
根据所述第二注意力分布确定当前时刻的第二上下文向量；
根据所述当前时刻的第二上下文向量和所述解码器隐层状态确定预设词典中的词的生成概率。
6.根据权利要求1-5中任一项所述的方法，其中，所述阅读理解数据集中包括多条阅读理解数据，每条阅读理解数据均包括阅读理解文章、问题和答案；
所述对阅读理解数据集中的阅读理解数据进行预处理，以得到多条问题生成数据包括对阅读理解数据做如下预处理：根据所述问题和答案从所述阅读理解文章中获取有效问题生成语句。
7.根据权利要求6所述的方法，其中，所述根据所述问题和答案从所述阅读理解文章中获取有效问题生成语句包括：
确定所述阅读理解数据中包含所述答案的最短句子为目标句子；
当所述目标句子中不包含所述问题的主语时，从所述目标句子和所述问题中去除预设词得到新的目标句子和新的问题语句；
确定所述新的目标句子和所述新的问题语句之间的交集的长度与所述新的问题语句的长度之间的第一比值；
当所述第一比值大于第一设定阈值时，获取所述目标句子作为有效问题生成语句。
8.根据权利要求7所述的方法，其中，当所述目标句子中包含所述问题的主语时，从所述目标句子和所述问题中去除预设词得到新的目标句子和新的问题语句；
确定所述新的目标句子和所述新的问题语句之间的交集的长度与所述新的问题语句的长度之间的第二比值；
如果所述第二比值大于第二设定阈值，则获取所述目标句子作为有效问题生成语句；否则，确定所述新的目标句子和所述新的问题语句之间的最长公共子序列的长度，并确定所述最长公共子序列的长度与所述问题的长度之间的第二比值；
当所述第二比值大于第二设定阈值时，获取所述目标句子作为有效问题生成语句。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任意一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任意一项所述方法的步骤。
CN202010570508.0A 2020-06-19 2020-06-19 问题生成方法 Active CN111723185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010570508.0A CN111723185B (zh) 2020-06-19 2020-06-19 问题生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010570508.0A CN111723185B (zh) 2020-06-19 2020-06-19 问题生成方法

Publications (2)

Publication Number Publication Date
CN111723185A CN111723185A (zh) 2020-09-29
CN111723185B true CN111723185B (zh) 2022-07-08

Family

ID=72569729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010570508.0A Active CN111723185B (zh) 2020-06-19 2020-06-19 问题生成方法

Country Status (1)

Country Link
CN (1) CN111723185B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392639B (zh) * 2020-09-30 2023-09-26 腾讯科技（深圳）有限公司 基于人工智能的标题生成方法、装置及服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846130A (zh) * 2018-06-29 2018-11-20 北京百度网讯科技有限公司 一种问题文本生成方法、装置、设备和介质
US20200065389A1 (en) * 2017-10-10 2020-02-27 Tencent Technology (Shenzhen) Company Limited Semantic analysis method and apparatus, and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200065389A1 (en) * 2017-10-10 2020-02-27 Tencent Technology (Shenzhen) Company Limited Semantic analysis method and apparatus, and storage medium
CN108846130A (zh) * 2018-06-29 2018-11-20 北京百度网讯科技有限公司 一种问题文本生成方法、装置、设备和介质

Also Published As

Publication number Publication date
CN111723185A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN108846130B (zh) 一种问题文本生成方法、装置、设备和介质
Zhang et al. A review on question generation from natural language text
US20180329884A1 (en) Neural contextual conversation learning
CN111782787B (zh) 问题生成模型训练方法、问题生成方法
CN106875940B (zh) 一种基于神经网络的机器自学习构建知识图谱训练方法
CN111753076B (zh) 对话方法、装置、电子设备及可读存储介质
CN114511860B (zh) 一种差异描述语句生成方法、装置、设备及介质
CN111767383B (zh) 对话状态跟踪方法、***及人机对话方法
CN113672708A (zh) 语言模型训练方法、问答对生成方法、装置及设备
CN111324736B (zh) 人机对话模型训练方法、人机对话方法及***
Mitchell et al. An emulator for fine-tuning large language models using small language models
CN117453898B (zh) 基于思维链的跨模态问答的处理方法和装置
CN111723185B (zh) 问题生成方法
CN116663679A (zh) 一种语言模型训练方法、装置、设备和存储介质
CN113257060A (zh) 一种答疑解决方法、装置、设备和存储介质
CN113177393A (zh) 改进针对网页结构理解的预训练语言模型的方法和装置
CN109299231B (zh) 对话状态跟踪方法、***、电子设备及存储介质
Yan et al. A method for personalized C programming learning contents recommendation to enhance traditional instruction
Ilagan et al. A prototype of a chatbot for evaluating and refining student startup ideas using a large language model
CN111783434A (zh) 提升回复生成模型抗噪能力的方法及***
CN112818084B (zh) 信息交互方法、相关装置、设备及计算机可读介质
CN114841157A (zh) 基于数据分析的线上互动方法、***、设备及存储介质
CN111666397B (zh) 多模型联合学习的问题匹配方法及***
CN113742541A (zh) 对话方法、装置、电子设备及计算机可读存储介质
CN114610861B (zh) 基于变分自编码器的融入知识和感情的端到端对话方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant after: Sipic Technology Co.,Ltd.

Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant before: AI SPEECH Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant