CN108280112B - 摘要生成方法、装置及计算机设备 - Google Patents

摘要生成方法、装置及计算机设备 Download PDF

Info

Publication number
CN108280112B
CN108280112B CN201710481703.4A CN201710481703A CN108280112B CN 108280112 B CN108280112 B CN 108280112B CN 201710481703 A CN201710481703 A CN 201710481703A CN 108280112 B CN108280112 B CN 108280112B
Authority
CN
China
Prior art keywords
sentence
document
ith
vector
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710481703.4A
Other languages
English (en)
Other versions
CN108280112A (zh
Inventor
孔行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710481703.4A priority Critical patent/CN108280112B/zh
Priority to PCT/CN2018/092078 priority patent/WO2018233647A1/zh
Publication of CN108280112A publication Critical patent/CN108280112A/zh
Priority to US16/545,904 priority patent/US11409960B2/en
Application granted granted Critical
Publication of CN108280112B publication Critical patent/CN108280112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种摘要生成方法、装置及计算机设备，属于自然语言处理领域。所述方法包括：获取文档D，所述文档D包括至少一个句子；通过抽取式模型从所述文档D中抽取出m个候选句子；通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。本发明先通过抽取式模型抽取适合作为摘要的m个候选句子，从而减少生成式模型所需要处理的文本序列长度，再通过生成式模型根据m个候选句子生成或提取出目标词语，根据目标词语合成文档的摘要，提高了最终生成的摘要的可读性和信息量。

Description

摘要生成方法、装置及计算机设备
技术领域
本申请实施例涉及自然语言处理领域，特别涉及一种摘要生成方法、装置及计算机设备。
背景技术
自动文本摘要(Automatic Text Summarization)用于将一篇文档进行提炼，生成简洁、流畅且包含文章主旨的摘要。自动文本摘要是自然语言处理领域的一大难题。
相关技术中提供了一种基于生成式(Abstractive)模型的自动文本摘要技术，该生成式模型用于从一篇文档中的每个句子中提取出词语，然后将提取出的词语重新组合为一个个句子，从而形成摘要。
但是在文档的文本序列长度较长时，生成式模型所提取出的词语难以控制，导致最终生成的摘要并不符合预期结果，也即最终生成的摘要的可读性和信息量均较差。
发明内容
为了解决在文档的文本序列长度较长时，生成式模型最终生成的摘要的可读性和信息量均较差的问题，本发明实施例提供了一种摘要生成方法、装置及计算机设备。所述技术方案如下：
第一方面，提供了一种摘要生成方法，所述方法包括：
获取文档D，所述文档D包括至少一个句子；
通过抽取式模型从所述文档D中抽取出m个候选句子；
通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。
在一个可选的实施例中，所述通过抽取式模型从所述文档D中抽取出m个候选句子，包括：
计算所述文档D中每个句子的句子级编码向量；
根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P，将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子。
在一个可选的实施例中，所述抽取式模型包括：第一双向循环神经网络；
所述计算所述文档D中每个句子的句子级编码向量，包括：
将所述句子中的词语沿前向传播方向输入所述第一双向循环神经网络，得到第一前向编码向量；
将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络，得到第一后向编码向量；
根据所述第一前向编码向量和所述第一后向编码向量，得到所述句子的句子级编码向量。
在一个可选的实施例中，所述抽取式模型包括：第二双向循环神经网络；
所述根据所述每个句子的句子级编码向量计算所述文档的文档级编码向量，包括：
将所述n个句子的句子级编码向量沿前向传播方向输入所述第二双向循环神经网络，得到第二前向编码向量；
将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络，得到第二后向编码向量；
根据所述第二前向编码向量和所述第二后向编码向量，得到所述文档D的文档级编码向量。
在一个可选的实施例中，所述抽取式模型包括基于注意力机制的模型；
所述基于注意力机制的模型为：
p(Si＝1|D)＝σ(a(Si,hi))；
其中，Si为所述文档D中第i个句子的句子级编码向量，所述hi为所述文档D的文档级编码向量，a为预设的前馈神经网络，σ为预设的第一非线性函数，p(Si＝1|D)代表在第i个句子的概率大于所述预设阈值时将所述第i个句子标注为1，并抽取所述第i个句子，i为正整数。
在一个可选的实施例中，所述通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要，包括：
将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，i为正整数；
当所述输出概率大于所述预设阈值时，从所述文档D对应的词典中生成一个词语，作为所述摘要中的第i个词语；所述词典中包括所述文档D中出现频率高于预设条件的词语；
当所述输出概率小于所述预设阈值时，从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
在一个可选的实施例中，所述生成式模型包括编码器和解码器；
所述将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，包括：
通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器，计算得到第i个解码时刻的隐含状态，所述第i个解码时刻的隐含状态用于表示所述解码器在所述第i个解码时刻下已经处理的部分输入序列；
根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率。
在一个可选的实施例中，所述生成式模型还包括：第一最大似然估计函数和第二最大似然估计函数；
所述从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语，包括：
通过所述第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子；
通过所述第二最大似然估计函数从所述目标句子的词语中确定出目标词语。
第二方面，提供了一种摘要生成装置，所述装置包括：
获取模块，被用于获取文档D，所述文档D包括至少一个句子，每个句子包括至少一个词语；
抽取模块，用于通过抽取式模型从所述文档D中抽取出m个候选句子；
输出模块，用于通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。
在一个可选的实施例中，所述抽取模块，包括：
计算单元，用于计算所述文档D中每个句子的句子级编码向量；
所述计算单元，还用于根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
所述计算单元，还用于根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P，将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子，每个所述句子的概率P的取值为1或0。
在一个可选的实施例中，所述计算单元，包括：
第一输入子单元，用于将所述句子中的词语沿前向传播方向输入第一双向循环神经网络，得到第一前向编码向量；
所述第一输入子单元，还用于将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络，得到第一后向编码向量；
所述第一输入子单元，还用于根据所述第一前向编码向量和所述第一后向编码向量，得到所述句子的句子级编码向量。
在一个可选的实施例中，所述输入子单元，还用于将所述n个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络，得到第二前向编码向量；
所述第一输入子单元，还用于将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络，得到第二后向编码向量；
所述第一输入子单元，还用于根据所述第二前向编码向量和所述第二后向编码向量，得到所述文档D的文档级编码向量。
在一个可选的实施例中，所述输出模块，包括：
输入子模块，用于将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，i为正整数；
生成子模块，还用于当所述输出概率大于所述预设阈值时，从所述文档D对应的词典中生成一个词语，作为所述摘要中的第i个词语；所述词典中包括所述文档D中出现频率高于预设条件的词语；
抽取子模块，还用于当所述输出概率小于所述预设阈值时，从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
在一个可选的实施例中，所述输入子模块，包括：
计算子单元，用于通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
第二输入子单元，还用于将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器，计算得到第i个解码时刻的隐含状态，所述解码时刻的隐含状态用于表示所述解码器在当前解码时刻下已经处理的部分输入序列；
所述计算子单元，还用于根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率，其中，i为正整数，且当i-1＝0时，所述第i-1个解码时刻的隐含状态取默认值，所述第i-1个词语取默认值。
在一个可选的实施例中，所述输出模块，还包括：
句子子模块，用于通过第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子；
词语子模块，用于通过第二最大似然估计函数从所述目标句子的词语中确定出目标词语。
第三方面，提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面及第一方面的任一可选实现方式中所述的摘要生成方法。
第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面及第一方面的任一可选实现方式中所述的摘要生成方法。
本发明实施例提供的技术方案带来的有益效果至少包括:
先通过抽取式模型抽取适合作为摘要的m个候选句子，从而减少生成式模型所需要处理的文本序列长度，再通过生成式模型根据m个候选句子生成或提取出目标词语，根据目标词语合成文档的摘要，提高了最终生成的摘要的可读性和信息量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个示例性实施例提供的摘要生成方法的流程图；
图2a至图2c是本发明另一个示例性实施例提供的摘要生成方法的流程图；
图3a至图3c是本发明另一个示例性实施例提供的摘要生成方法的流程图；
图4是本发明另一个示例性实施例提供的摘要生成方法的流程图；
图5是本发明另一个示例性实施例提供的摘要生成方法的流程图；
图6是本发明一个示例性实施例提供的摘要生成装置的框图；
图7是本发明一个示例性实施例提供的计算机设备的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明一个示例性实施例提供的摘要生成方法的流程图。该摘要生成方法包括：
在步骤101中，获取文档D，该文档D中包括至少一个句子。
在步骤102中，通过抽取式模型从文档D中抽取出m个候选句子。
可选地，该抽取式模型包括基于注意力机制(Attention)的模型。
基于注意力机制的模型用于计算文档D中的每个句子的概率值，将概率值大于预设阈值的句子抽取为候选句子，将概率小于预设阈值的句子抛弃。其中，抽取式模型用于从文档D中抽取出适合作为摘要的m个候选句子。
在步骤103中，通过生成式模型根据m个候选句子输出目标词语，根据目标词语生成摘要。
可选地，该生成式模型包括基于指针生成网络(Pointer-Generator Networks)的模型，生成式模型中包括编码器与解码器，其中，编码器对应有编码时刻，解码器对应有解码时刻。
通过该生成式模型对每个解码时刻的输出概率进行计算，将该输出概率与预设阈值进行比较，若输出概率大于预设阈值，则将该输出概率标注为1，并从文档D对应的词典中生成一个词语进行输出；若输出概率小于预设阈值，则将该输出概率标注为0，并从m个候选句子中抽取目标词语进行输出。可选地，该词典由文档D中出现频率最高的n个词语组成。
在步骤104中，根据目标词语生成摘要。
综上所述，本发明实施例中先通过抽取式模型从文档D中抽取出适合作为摘要的m个候选句子，从而减少生成式模型所需要处理的文本序列长度，再通过生成式模型根据候选句子生成或提取出目标词语，根据目标词语合成文档D的摘要，提高了最终生成的摘要的可读性和信息量。
在一个可选的实施例中，抽取式模型是基于注意力机制的模型，抽取式模型通过双向循环神经网络对文档D中的每个句子进行编码，得到每个句子的句子级编码向量，再根据每个句子的句子级编码向量从文档D中抽取m个适合作为摘要的候选句子，基于图1所示的摘要生成方法的流程图，步骤102可替代实现为步骤102a至步骤102d，如图2a所示：
在步骤102a中，计算文档D中每个句子的句子级编码向量。
可选地，该句子级编码向量可由双向循环神经网络或单向循环神经网络计算得到，本发明实施例对此不加以限定。
以每个句子的句子级编码向量由双向循环神经网络计算为例，本步骤可以包括三个步骤，如图2b所示：
11，将文档D中的每个句子中的词语沿前向传播方向输入第一双向循环神经网络得到第一前向编码向量；
12，将文档D中的每个句子中的词语沿后向传播方向输入第一双向循环神经网络得到第一后向编码向量；
13，根据第一前向编码向量和第一后向编码向量得到句子的句子级编码向量。
可选地，针对步骤11，设单个句子＝{w1、w2、w3…wn}，wi是表示句子中的第i个词语，第一双向循环神经网络为RNN；
将句子中每个词语按照由前到后的顺序沿前向传播方向输入RNN，采用如下计算公式计算：
Shf i＝RNN(Shf i-1，wi)
其中，Shf i为句子中第i个词语沿前向传播方向输入RNN后的编码结果，Shf i-1为句子中第i-1个词语沿前向传播方向输入RNN后的编码结果，wi为句子中第i个的词语，RNN为第一双向循环神经网络，其中，i为正整数，当i-1＝0时，第i-1个词语取空值或默认值；
也即，将句子中第i-1个词语的词语级编码结果与第i个词语输入第一双向循环神经网络得到第i个词语的词语级编码结果，其中第n个词语输入RNN后的编码结果为该句子的第一前向编码向量。
可选地，针对步骤12，将句子中每个词语按照由后到前的顺序沿后向传播方向输入RNN，采用如下计算公式计算：
Shb i＝RNN(Shb i+1，wi)
其中，Shb i为句子中第i个词语沿后向传播方向输入RNN的编码结果，Shb i+1为句子中第i+1个词语沿后向传播方向输入RNN的编码结果，wi为句子中第i个的词语，RNN为第一双向循环神经网络；
也即，将句子中第i+1个词语的词语级编码结果与第i个词语输入第一双向循环神经网络得到第i个词语的词语级编码结果，其中第1个词语输入RNN后的编码结果为该句子的第一后向编码向量。
可选地，需要对文档D中的每个句子执行步骤11和步骤12。
可选地，针对步骤13，采用如下计算公式进行计算：
Si＝[Shf in，Shb i1]
其中，Shf in为第i个句子中第n个词语(最后一个)沿前向传播方向输入RNN后得到的第一前向编码向量，Shb i1为第i个句子中第一个词语沿后向传播方向输入RNN后得到的第一后向编码向量，Si为第i个句子的句子级编码向量。
在步骤102b中，根据每个句子的句子级编码向量计算文档D的文档级编码向量。
可选地，该文档级编码向量可由双向循环神经网络或单向循环神经网络计算得到，本发明对此不加以限定。
以该文档级编码向量由双向循环神经网络计算为例，本步骤可以包括三个步骤，如图2c所示：
21，将n个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络，得到第二前向编码向量；
22，将n个句子的句子级编码向量沿后向传播方向输入第二双向循环神经网络，得到第二后向编码向量；
23，根据第二前向编码向量和第二后向编码向量得到文档D的文档级编码向量。
可选地，针对步骤21，第二双向循环神经网络为RNN，采用如下计算公式进行计算：
hf i＝RNN(hf i-1，Si)
其中，hf i为文档D中第i个句子沿前向传播方向输入RNN后的编码结果，hf i-1为文档D中第i-1个句子沿前向传播方向输入RNN后的编码结果，Si为第i个句子的句子级编码向量。
可选地，针对步骤22，第二双向循环神经网络为RNN，采用如下计算公式进行计算：
hb i＝RNN(hb i+1，Si)
其中，hb i为文档D中第i个句子沿后向传播方向输入RNN后的编码结果，hb i+1为文档D中第i+1个句子沿前向传播方向输入RNN后的编码结果，Si为第i个句子的句子级编码向量。
可选地，针对步骤23，采用如下计算公式进行计算：
hi＝[hf i，hb i]
其中，hf i为第i个句子的第二前向编码向量，hb i为第i个句子的第二后向编码向量，hi泛指文档D中的各个句子。
在步骤102c中，根据句子级的编码向量和文档级的编码向量计算文档中的每个句子的概率p。
可选地，该抽取式模型包括基于注意力机制的模型。
该基于注意力机制的模型用于根据每个句子的句子级编码向量以及文档级编码向量计算每个句子的概率值。
计算公式如下：
P(Si＝1|D)＝σ(a(Si，hi))
其中，Si为文档D中第i个句子的句子级编码向量，hi为所述文档D的文档级编码向量，a为预设的前馈神经网络，σ为预设的第一非线性函数，p(Si＝1|D)代表在第i个句子的概率大于预设阈值时被标注为1，并抽取该第i个句子；在第i个句子的概率小于预设阈值时被标注为0并抛弃该第i个句子。
在步骤102d中，将文档D中概率p大于预设阈值的句子抽取为m个候选句子。
综上所述，本发明实施例中通过基于注意力机制的模型从文档D中抽取出适合作为摘要的m个候选句子，从而将文档D中不被注意的无用句子进行丢弃，从而减少输入至生成式模型的文本序列中的噪声，提高生成式模型生成或提取出目标词语的信息量，进而提高最终生成的摘要的可读性。
在一个可选的实施例中，生成式模型是基于指针生成网络的模型，该生成模型包括编码器及解码器，解码器中包括指针生成网络，生成式模型通过m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量，并得到该第i个解码时刻的隐含状态，根据第i个解码时刻的隐含状态来输出摘要中第i个词语。具体地，基于图1所示的摘要生成方法的流程图，步骤103可替代实现为如下步骤310至步骤312，如图3a所示：
在步骤310中，将m个候选句子的句子级编码向量作为输入序列输入生成式模型，计算第i个解码时刻的输出概率。
其中，计算第i个解码时刻的输出概率包括如下步骤，如图3b所示：
31，通过编码器根据m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
32，将第i-1个解码时刻的隐含状态、上下文向量ci和摘要中的第i-1个词语输入指针生成网络，计算得到第i个解码时刻的隐含状态，其中，i为正整数，当i-1＝0时，第i-1个解码时刻的隐含状态取默认值。默认值可以是全部初始化为0。
33，根据摘要中的第i-1个词语、上下文向量和第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率。
可选地，针对步骤31，采用如下计算公式进行计算：
eij＝a(h'i-1,hj)
Figure BDA0001329459520000111
Figure BDA0001329459520000112
其中，αij为解码器在第i个解码时刻的权重值，hj表示编码器在第j个编码时刻的隐含状态，h’i-1表示第i-1个解码时刻的隐含状态，T表示输入序列的输入长度，a表示预设的前馈神经网络。解码器在第i-1个解码时刻的隐含状态是解码器在第i-1个解码时刻已经处理的部分输入序列；编码器在第j个编码时刻的隐含状态是编码器在第j个解码时刻已经处理的部分输入序列。
将解码器在第i-1个解码时刻的隐含状态以及编码器在第j个编码时刻的隐含状态输入预设的前馈神经网络a得到一个输出值，通过该输出值计算得到解码器在第i个解码时刻的权重值，通过解码器在第i个解码时刻的权重值与编码器在第j个编码时刻的隐含状态计算得到第i个解码时刻的输出概率。
可选地，针对步骤32，采用如下计算公式进行计算：
h’i＝RNN(h’i-1,ci,yi-1)
其中，h’i为解码器在第i个解码时刻的隐含状态，h’i-1为解码器在第i-1个解码时刻的隐含状态、ci为上下文向量，yi-1为摘要中的第i-1个词语，RNN为预设的指针生成网络。
可选的，针对步骤33，采用如下计算公式进行计算：
p(G＝1|D)＝σ(h'i,ci,yi-1)
其中，h’i为解码器在第i个解码时刻的隐含状态、ci为上下文向量，yi-1为摘要中的第i-1个词语，σ表示预设的第二非线性函数。
在步骤311中，当输出概率大于预设阈值时，将该输出概率标注为1，并从文档D对应的词典中生成一个词语作为摘要的第i个词语。
可选地，该词典由文档D中出现频率最高的n个词语组成。
在步骤312中，当输出概率小于预设阈值时，将该输出概率标注为0，并从m个候选句子中的目标句子中抽取出目标词语作为摘要的第i个词语。
抽取目标句子和目标词语的方式包括通过基于注意力机制的模型进行抽取。可选地，本步骤包括如下步骤，如图3c所示：
41，通过第一最大似然估计函数从m个候选句子中确定第i个解码时刻下的目标句子。
计算公式如下：
pij＝argmax(eij)
其中，Pij是m个候选句子在第i个解码时刻下针对第一最大似然估计函数的最优解，eij的计算公式如步骤31所示。
42，通过第二最大似然估计函数从目标句子中的词语中确定出目标词语。
计算公式如下：
pijk＝argmax(eijk)
其中，Pij是目标句子中的各个词语在第i个解码时刻下针对第二最大似然估计函数的最优解，eijk的计算公式如下所示：
eijk＝a(h’i-1，shjk)
其中，h’i-1代表第i-1个解码时刻的隐含状态，a代表预设的前馈神经网络，shjk代表目标句子中第k个词语在第一双向循环神经网络中的编码结果。
可选地，第一最大似然估计函数和第二最大似然估计函数是基于注意力机制所确定的函数。
综上所述，本发明实施例中先通过抽取式模型从文档D中抽取出适合作为摘要的m个候选句子，再通过生成式模型根据候选句子生成或提取出目标词语，该生成式模型中采用了前馈神经网络给每个编码时刻的隐含状态进行加权，使得编码器输出的上下文向量更适合作为当前编码时刻时选择目标词语时的背景。
本发明实施例中还通过第一最大似然估计函数和第二最大似然估计函数，在解码过程中使用注意力机制选择出更为合理的目标词语，提高生成式模型生成或提取出目标词语的准确性，进而提高最终生成的摘要的可读性和信息量。
在一个具体的例子中，结合图4和图5对本发明实施例提供的摘要生成方法进行说明：
在步骤301中，获取文档D，该文档D中包括6个句子，第三个句子中包括至少4个词语w1、w2、w3、w4。
在步骤302至步骤303中，如图4指针所示，将文档D中的每个句子中的词语沿前向传播方向输入第一双向循环神经网络得到第一前向编码向量；将文档D中的每个句子中的词语沿后向传播方向输入第一双向循环神经网络得到第一后向编码向量。
在步骤304中，根据第一前向编码向量和第一后向编码向量得到句子级编码向量s1至s6。
在步骤305至步骤307中，将6个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络，得到第二前向编码向量；将6个句子的句子级编码向量沿后向传播方向输入第二双向循环神经网络，得到第二后向编码向量；根据第二前向编码向量和第二后向编码向量得到文档D的文档级编码向量h1至h6。
在步骤308中，将句子级编码向量和文档级编码向量输入基于注意力机制的模型计算文档中的每个句子的概率p。
其中，第二句、第四句以及第五句的概率p大于预设阈值，被标注为1；第一句、第三句以及第六句的概率p小于预设阈值，被标注为0。
在步骤309中，将文档D中概率p大于预设阈值的句子抽取为候选句子，即抽取第二句、第四句以及第五句为候选句子h’2、h’4以及h’5。
在步骤310中，将候选句子的句子级编码向量作为输入序列输入生成式模型，计算第i个解码时刻的输出概率。
如图4可知，h’2在第i个解码时刻的输出概率大于预设阈值，并被标注为1，h’4在第i+k个解码时刻的输出概率小于预设阈值，并被标注为0，h’5在第i+l个解码时刻的输出概率大于预设阈值，并被标注为1，其中，第i个解码时刻、第i+k个解码时刻以及第i+l个解码时刻为三个不同的解码时刻，且k、l均为整数。
在步骤311中，当输出概率大于预设阈值时，从文档D对应的词典中生成一个词语作为摘要的词语，即w1与w3为从词典中生成的词语，
在步骤312中，当输出概率小于预设阈值时，从候选句子中的目标句子中抽取出目标词语作为摘要的词语，即w2为从目标句子第二句中抽取出的词语。
图6是本发明一个示例性实施例提供的摘要生成装置的框图。该装置可以通过软件、硬件或两者的结合实现成为计算机设备的全部或一部分。所述装置包括：获取模块52、抽取模块54以及输出模块56。
获取模块52，用于获取文档D，所述文档D包括至少一个句子，每个句子包括至少一个词语；
抽取模块54，用于通过抽取式模型从所述文档D中抽取出m个候选句子；
输出模块56，用于通过生成式模型根据所述m个候选句子输出目标词语，根据所述目标词语生成摘要。
在一个可选的实施例中，所述抽取模块，包括：
计算单元，用于计算所述文档D中每个句子的句子级编码向量；
所述计算单元，还用于根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
所述计算单元，还用于根据所述句子级编码向量和所述文档级编码向量计算所述文档中的每个句子的概率P，将所述文档D中所述概率P大于预设阈值的句子抽取为所述m个候选句子，每个所述句子的概率P的取值为1或0。
在一个可选的实施例中，所述计算单元，包括：
第一输入子单元，用于将所述句子中的词语沿前向传播方向输入第一双向循环神经网络，得到第一前向编码向量；
所述第一输入子单元，还用于将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络，得到第一后向编码向量；
所述第一输入子单元，还用于根据所述第一前向编码向量和所述第一后向编码向量，得到所述句子的句子级编码向量。
在一个可选的实施例中，所述输入子单元，还用于将所述n个句子的句子级编码向量沿前向传播方向输入第二双向循环神经网络，得到第二前向编码向量；
所述第一输入子单元，还用于将所述n个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络，得到第二后向编码向量；
所述第一输入子单元，还用于根据所述第二前向编码向量和所述第二后向编码向量，得到所述文档D的文档级编码向量。
在一个可选的实施例中，所述输出模块，包括：
输入子模块，用于将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，i为正整数；
生成子模块，还用于当所述输出概率大于所述预设阈值时，从所述文档D对应的词典中生成一个词语，作为所述摘要中的第i个词语；所述词典中包括所述文档D中出现频率高于预设条件的词语；
抽取子模块，还用于当所述输出概率小于所述预设阈值时，从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
在一个可选的实施例中，所述输入子模块，包括：
计算子单元，用于通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
第二输入子单元，还用于将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器，计算得到第i个解码时刻的隐含状态，所述解码时刻的隐含状态用于表示所述解码器在当前解码时刻下已经处理的部分输入序列；
所述计算子单元，还用于根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率，其中，i为正整数，且当i-1＝0时，所述第i-1个解码时刻的隐含状态取默认值，所述第i-1个词语取默认值。
在一个可选的实施例中，所述计算子单元，还用于按照如下公式计算所述上下文向量ci：
Figure BDA0001329459520000152
Figure BDA0001329459520000151
eij＝a(h’i-1,hj)
其中，hj代表第j个编码时刻的隐含状态，T代表所述输入序列的长度，h’i-1代表第i-1个解码时刻的隐含状态，a代表预设的前馈神经网络，其中，所述编码时刻的隐含状态用于表示所述编码器在当前编码时刻下已经处理的部分输入序列。
在一个可选的实施例中，所述输出模块，还包括：
句子子模块，用于通过第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子；
词语子模块，用于通过第二最大似然估计函数从所述目标句子的词语中确定出目标词语。
图7是本发明一个示例性实施例提供的计算机设备的框图。该计算机设备可以是手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等，该计算机设备包括：处理器62和存储器64，可选地，该计算机设备还包括显示屏66。
处理器62可以是单核处理器、多核处理器、嵌入式芯片以及具有计算能力的处理器中的至少一种。
存储器64存储有处理器的可执行指令。示意性的，存储器64中一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器62加载并执行以实现如图1至图5所示的任意一种摘要生成方法。
可选地，显示屏66是用于计算机设备显示文档D的内容以及根据文档D的内容生成的自动文本摘要的内容。
可选地，本发明实施例还提供了一种计算机可读存储介质，该存储介质中一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如图1至图5所示的任意一种摘要生成方法，可选地，该计算机可读存储介质包括高速存取存储器、非易失性存储器。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种摘要生成方法，其特征在于，所述方法包括：
获取文档D，所述文档D包括至少一个句子，每个句子包括至少一个词语，所述文档D用于依次通过抽取式模型与生成式模型，获得所述文档D对应的摘要；
通过所述抽取式模型计算所述文档D中每个句子的句子级编码向量；
通过所述抽取式模型根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
通过所述抽取式模型根据所述句子级编码向量和所述文档级编码向量计算所述文档D中的每个句子的概率P，将所述文档D中所述概率P大于预设阈值的句子抽取为m个候选句子；
将所述m个候选句子的句子级编码向量作为输入序列输入生成式模型，计算第i个解码时刻的输出概率，i为正整数；
当所述输出概率大于所述预设阈值时，通过所述生成式模型从词典中生成一个词语，作为摘要中的第i个词语，所述词典由所述文档D中出现频率最高的n个词语组成；
当所述输出概率小于所述预设阈值时，通过所述生成式模型从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
2.根据权利要求1所述的方法，其特征在于，所述抽取式模型包括：第一双向循环神经网络；
所述计算所述文档D中每个句子的句子级编码向量，包括：
将所述句子中的词语沿前向传播方向输入所述第一双向循环神经网络，得到第一前向编码向量；
将所述句子中的词语沿后向传播方向输入所述第一双向循环神经网络，得到第一后向编码向量；
根据所述第一前向编码向量和所述第一后向编码向量，得到所述句子的句子级编码向量。
3.根据权利要求1所述的方法，其特征在于，所述抽取式模型包括：第二双向循环神经网络；
所述通过所述抽取式模型根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量，包括：
将所述文档D中每个句子的句子级编码向量沿前向传播方向输入所述第二双向循环神经网络，得到第二前向编码向量；
将所述文档D中每个句子的句子级编码向量沿后向传播方向输入所述第二双向循环神经网络，得到第二后向编码向量；
根据所述第二前向编码向量和所述第二后向编码向量，得到所述文档D的文档级编码向量。
4.根据权利要求1所述的方法，其特征在于，所述抽取式模型包括基于注意力机制的模型；
所述基于注意力机制的模型为：
p(Si=1|D)=σ(a(Si,hi))；
其中，Si为所述文档D中第i个句子的句子级编码向量，所述hi为所述文档D的文档级编码向量，a为预设的前馈神经网络，σ为预设的第一非线性函数，p(Si=1|D)代表在第i个句子的概率大于所述预设阈值时将所述第i个句子标注为1，并抽取所述第i个句子，i为正整数。
5.根据权利要求1所述的方法，其特征在于，所述生成式模型包括编码器和解码器；
所述将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，包括：
通过所述编码器根据所述m个候选句子的句子级编码向量计算第i个解码时刻的上下文向量ci；
将第i-1个解码时刻的隐含状态、所述上下文向量ci和所述摘要中的第i-1个词语输入所述解码器，计算得到第i个解码时刻的隐含状态，所述第i个解码时刻的隐含状态用于表示所述解码器在所述第i个解码时刻下已经处理的部分输入序列；
根据所述摘要中的第i-1个词语、所述上下文向量ci和所述第i个解码时刻的隐含状态，计算第i个解码时刻的输出概率。
6.根据权利要求1所述的方法，其特征在于，所述生成式模型还包括：第一最大似然估计函数和第二最大似然估计函数；
所述从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语，包括：
通过所述第一最大似然估计函数从所述m个候选句子中确定出所述第i个解码时刻下的目标句子；
通过所述第二最大似然估计函数从所述目标句子的词语中确定出目标词语。
7.一种摘要生成装置，其特征在于，所述装置包括：
获取模块，被用于获取文档D，所述文档D包括至少一个句子，每个句子包括至少一个词语，所述文档D用于依次通过抽取式模型与生成式模型，获得所述文档D对应的摘要；通过抽取式模型计算所述文档D中的句子级编码向量；通过所述抽取式模型根据所述每个句子的句子级编码向量计算所述文档D的文档级编码向量；
抽取模块，用于通过所述抽取式模型根据所述句子级编码向量和所述文档级编码向量计算所述文档D中的每个句子的概率P，将所述文档D中概率P大于预设阈值的句子抽取为m个候选句子；
输出模块，用于将所述m个候选句子的句子级编码向量作为输入序列输入所述生成式模型，计算第i个解码时刻的输出概率，i为正整数；当所述输出概率大于所述预设阈值时，通过所述生成式模型从词典中生成一个词语，作为摘要中的第i个词语，所述词典由所述文档D中出现频率最高的n个词语组成；当所述输出概率小于所述预设阈值时，通过所述生成式模型从所述m个候选句子中的目标句子中抽取出目标词语，作为所述摘要中的第i个词语。
8.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如如权利要求1至6任一所述的摘要生成方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一所述的摘要生成方法。
CN201710481703.4A 2017-06-22 2017-06-22 摘要生成方法、装置及计算机设备 Active CN108280112B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710481703.4A CN108280112B (zh) 2017-06-22 2017-06-22 摘要生成方法、装置及计算机设备
PCT/CN2018/092078 WO2018233647A1 (zh) 2017-06-22 2018-06-21 摘要生成方法、装置、计算机设备以及存储介质
US16/545,904 US11409960B2 (en) 2017-06-22 2019-08-20 Summary generation method, apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710481703.4A CN108280112B (zh) 2017-06-22 2017-06-22 摘要生成方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN108280112A CN108280112A (zh) 2018-07-13
CN108280112B true CN108280112B (zh) 2021-05-28

Family

ID=62799363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710481703.4A Active CN108280112B (zh) 2017-06-22 2017-06-22 摘要生成方法、装置及计算机设备

Country Status (3)

Country Link
US (1) US11409960B2 (zh)
CN (1) CN108280112B (zh)
WO (1) WO2018233647A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280112B (zh) 2017-06-22 2021-05-28 腾讯科技（深圳）有限公司 摘要生成方法、装置及计算机设备
US10909157B2 (en) * 2018-05-22 2021-02-02 Salesforce.Com, Inc. Abstraction of text summarization
CN109325109B (zh) * 2018-08-27 2021-11-19 中国人民解放军国防科技大学 基于注意力编码器的抽取式新闻摘要生成装置
CN109214003B (zh) * 2018-08-29 2019-08-09 陕西师范大学 基于多层注意力机制的循环神经网络生成标题的方法
CN110990578A (zh) * 2018-09-30 2020-04-10 北京奇虎科技有限公司 一种改写模型的构建方法及装置
CN109522411B (zh) * 2018-11-12 2022-10-28 南京德磐信息科技有限公司 一种基于神经网络的写作辅助方法
CN109284367B (zh) * 2018-11-30 2021-05-18 北京字节跳动网络技术有限公司 用于处理文本的方法和装置
CN109726281A (zh) * 2018-12-12 2019-05-07 Tcl集团股份有限公司 一种文本摘要生成方法、智能终端及存储介质
CN109657054B (zh) * 2018-12-13 2021-02-02 北京百度网讯科技有限公司 摘要生成方法、装置、服务器及存储介质
CN110147533B (zh) * 2019-01-24 2023-08-29 腾讯科技（深圳）有限公司 编码方法、装置、设备及存储介质
CN109885683B (zh) * 2019-01-29 2022-12-02 桂林远望智能通信科技有限公司 一种基于K-means模型和神经网络模型的生成文本摘要的方法
CN110019768B (zh) * 2019-03-28 2021-09-21 北京寓乐世界教育科技有限公司 生成文本摘要的方法及装置
CN110119444B (zh) * 2019-04-23 2023-06-30 中电科大数据研究院有限公司 一种抽取式与生成式相结合的公文摘要生成模型
CN110189173B (zh) * 2019-05-28 2021-11-30 北京百度网讯科技有限公司 广告生成方法及装置
CN110377808A (zh) * 2019-06-14 2019-10-25 北京达佳互联信息技术有限公司 文档处理方法、装置、电子设备及存储介质
CN110209803B (zh) * 2019-06-18 2023-11-14 腾讯科技（深圳）有限公司 故事生成方法、装置、计算机设备及存储介质
CN110298436B (zh) * 2019-06-28 2023-05-09 乐山金蜜工业卫士服务股份有限公司 基于指针生成网络的数据到文本的生成模型
CN110489541B (zh) * 2019-07-26 2021-02-05 昆明理工大学 基于案件要素及BiGRU的涉案舆情新闻文本摘要方法
US10902191B1 (en) 2019-08-05 2021-01-26 International Business Machines Corporation Natural language processing techniques for generating a document summary
CN110532463A (zh) * 2019-08-06 2019-12-03 北京三快在线科技有限公司 推荐理由生成装置及方法、存储介质以及电子设备
CN110457661B (zh) * 2019-08-16 2023-06-20 腾讯科技（深圳）有限公司 自然语言生成方法、装置、设备及存储介质
WO2021038827A1 (ja) * 2019-08-30 2021-03-04 富士通株式会社 情報処理方法、情報処理プログラムおよび情報処理装置
CN110909152B (zh) * 2019-10-21 2021-07-09 昆明理工大学 一种融合主题信息的司法舆情文本摘要方法
CN110888976B (zh) * 2019-11-14 2023-06-20 北京香侬慧语科技有限责任公司 一种文本摘要生成方法和装置
CN111026861B (zh) * 2019-12-10 2023-07-04 腾讯科技（深圳）有限公司 文本摘要的生成方法、训练方法、装置、设备及介质
CN113011160A (zh) * 2019-12-19 2021-06-22 ***通信有限公司研究院 文本摘要生成方法、装置、设备及存储介质
CN111177366B (zh) * 2019-12-30 2023-06-27 北京航空航天大学 一种基于查询机制的抽取式文档摘要自动生成方法、装置及***
KR20210087843A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN111858911A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 工单描述信息的生成方法、装置、电子设备及存储介质
CN113626581A (zh) * 2020-05-07 2021-11-09 北京沃东天骏信息技术有限公司 摘要生成方法及装置、计算机可读存储介质、电子设备
CN111581374A (zh) * 2020-05-09 2020-08-25 联想(北京)有限公司 文本的摘要获取方法、装置及电子设备
US11294945B2 (en) * 2020-05-19 2022-04-05 International Business Machines Corporation Unsupervised text summarization with reinforcement learning
CN111723547A (zh) * 2020-05-25 2020-09-29 河海大学 一种基于预训练语言模型的文本自动摘要方法
US11593556B2 (en) * 2020-05-26 2023-02-28 Mastercard International Incorporated Methods and systems for generating domain-specific text summarizations
CN111831783B (zh) * 2020-07-07 2023-12-08 北京北大软件工程股份有限公司 一种篇章级关系抽取方法
CN111966820B (zh) * 2020-07-21 2023-03-24 西北工业大学 一种生成式摘要模型构建、提取生成式摘要方法及***
CN111857728B (zh) * 2020-07-22 2021-08-31 中山大学 一种代码摘要生成方法和装置
CN112069309B (zh) * 2020-09-14 2024-03-15 腾讯科技（深圳）有限公司 信息获取方法、装置、计算机设备及存储介质
CN112417139B (zh) * 2020-11-19 2023-07-25 深圳大学 一种基于预训练语言模型的摘要生成方法
CN112541348A (zh) * 2020-12-10 2021-03-23 平安科技（深圳）有限公司 长文本生成方法、装置、设备及存储介质
CN112560501B (zh) * 2020-12-25 2022-02-25 北京百度网讯科技有限公司 语义特征的生成方法、模型训练方法、装置、设备及介质
CN112732898A (zh) * 2020-12-30 2021-04-30 平安科技（深圳）有限公司 文献摘要生成方法、装置、计算机设备及存储介质
CN113779277A (zh) * 2021-01-22 2021-12-10 北京沃东天骏信息技术有限公司 用于生成文本的方法和装置
CN113282742B (zh) * 2021-04-30 2022-08-12 合肥讯飞数码科技有限公司 摘要获取方法以及电子设备、存储装置
CN113688231A (zh) * 2021-08-02 2021-11-23 北京小米移动软件有限公司 一种答案文本的摘要提取方法及装置、电子设备及介质
CN114386390B (zh) * 2021-11-25 2022-12-06 马上消费金融股份有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN114168727B (zh) * 2021-12-06 2024-07-12 哈尔滨工业大学 面向金融领域的文档级事件主体对抽取的方法、存储介质及设备
CN115062596A (zh) * 2022-06-07 2022-09-16 南京信息工程大学 一种气象专报的生成方法、装置、电子设备及存储介质
CN115270728A (zh) * 2022-06-20 2022-11-01 阿里巴巴达摩院(杭州)科技有限公司 会议记录处理方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136359A (zh) * 2013-03-07 2013-06-05 宁波成电泰克电子信息技术发展有限公司 单文档摘要生成方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7607083B2 (en) * 2000-12-12 2009-10-20 Nec Corporation Test summarization using relevance measures and latent semantic analysis
US8108398B2 (en) * 2007-06-29 2012-01-31 Microsoft Corporation Auto-summary generator and filter
CN101751425A (zh) * 2008-12-10 2010-06-23 北京大学 文档集摘要获取方法及装置
US9020808B2 (en) * 2013-02-11 2015-04-28 Appsense Limited Document summarization using noun and sentence ranking
JP2015225412A (ja) * 2014-05-26 2015-12-14 日本電信電話株式会社 文書要約装置、方法、及びプログラム
CN105488021B (zh) * 2014-09-15 2018-09-28 华为技术有限公司 一种生成多文档摘要的方法和装置
CN104503958B (zh) * 2014-11-19 2017-09-26 百度在线网络技术（北京）有限公司 文档摘要的生成方法及装置
US20160267165A1 (en) * 2015-03-14 2016-09-15 Hui Wang Automated Key Words (Phrases) Discovery In Document Stacks And Its Application To Document Classification, Aggregation, and Summarization
CN105930314B (zh) * 2016-04-14 2019-02-05 清华大学 基于编码-解码深度神经网络的文本摘要生成***及方法
CN106126620A (zh) * 2016-06-22 2016-11-16 北京鼎泰智源科技有限公司 基于机器学习的中文自动文摘方法
CN106502985B (zh) * 2016-10-20 2020-01-31 清华大学 一种用于生成标题的神经网络建模方法及装置
CN108280112B (zh) 2017-06-22 2021-05-28 腾讯科技（深圳）有限公司 摘要生成方法、装置及计算机设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136359A (zh) * 2013-03-07 2013-06-05 宁波成电泰克电子信息技术发展有限公司 单文档摘要生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A Survey of Extractive and Abstractive Text Summarization Techniques";Vipul Dalal等;《ICETET 13:Proceedings of the 2013 6th International Conference on Emerging Trends in Engineering and Technology》;20131231;109-110 *
"文本摘要中的句子抽取方法研究";张龙凯等;《第十一届全国计算语言学学术会议》;20111231;468-473 *

Also Published As

Publication number Publication date
US20190370338A1 (en) 2019-12-05
WO2018233647A1 (zh) 2018-12-27
CN108280112A (zh) 2018-07-13
US11409960B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
CN108280112B (zh) 摘要生成方法、装置及计算机设备
CN111460807B (zh) 序列标注方法、装置、计算机设备和存储介质
WO2020114429A1 (zh) 关键词提取模型训练方法、关键词提取方法及计算机设备
US10592607B2 (en) Iterative alternating neural attention for machine reading
JP2020038687A (ja) テキスト要約システム、方法及び記憶媒体
CN110134971B (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
WO2020244065A1 (zh) 基于人工智能的字向量定义方法、装置、设备及存储介质
GB2561669A (en) Implementing neural networks in fixed point arithmetic computing systems
CN107861954B (zh) 基于人工智能的信息输出方法和装置
US11693854B2 (en) Question responding apparatus, question responding method and program
CN110569505B (zh) 一种文本输入方法及装置
GB2573998A (en) Device and method for natural language processing
CN110188158B (zh) 关键词及话题标签生成方法、装置、介质及电子设备
CN111859940B (zh) 一种关键词提取方法、装置、电子设备及存储介质
CN112329476A (zh) 一种文本纠错方法及装置、设备、存储介质
US20240078385A1 (en) Method and apparatus for generating text
CN110263304B (zh) 语句编码方法、语句解码方法、装置、存储介质及设备
CN107111607B (zh) 用于语言检测的***和方法
CN111814479B (zh) 一种企业简称生成及其模型的训练方法及装置
WO2022228127A1 (zh) 要素文本处理方法、装置、电子设备和存储介质
CN113918031A (zh) 使用子字符信息进行中文标点恢复的***和方法
US11694041B2 (en) Chapter-level text translation method and device
CN115810068A (zh) 一种图像描述生成方法、装置、存储介质及电子设备
CN115130470B (zh) 一种文本关键词的生成方法、装置、设备及介质
JP2019144844A (ja) 形態素解析学習装置、形態素解析装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant