CN113010666B - 摘要生成方法、装置、计算机***及可读存储介质 - Google Patents

摘要生成方法、装置、计算机***及可读存储介质 Download PDF

Info

Publication number
CN113010666B
CN113010666B CN202110293478.8A CN202110293478A CN113010666B CN 113010666 B CN113010666 B CN 113010666B CN 202110293478 A CN202110293478 A CN 202110293478A CN 113010666 B CN113010666 B CN 113010666B
Authority
CN
China
Prior art keywords
hidden layer
layer sequence
unstructured
attribute
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110293478.8A
Other languages
English (en)
Other versions
CN113010666A (zh
Inventor
袁鹏
李浩然
徐松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202110293478.8A priority Critical patent/CN113010666B/zh
Publication of CN113010666A publication Critical patent/CN113010666A/zh
Application granted granted Critical
Publication of CN113010666B publication Critical patent/CN113010666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种摘要生成方法，包括：获取用于描述目标对象的文本数据，其中，文本数据包括结构化知识图谱和非结构化描述文本；对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列；根据第一编码器隐层序列和第二编码器隐层序列，生成文本数据的摘要。本公开还提供了摘要生成装置、计算机***、可读存储介质以及计算机程序产品。

Description

摘要生成方法、装置、计算机***及可读存储介质
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种摘要生成方法、装置、计算机***、可读存储介质及计算机程序产品。
背景技术
摘要生成技术，一般是用一些精炼的短小的文本来概括一些海量的信息的大意。用户通过阅读摘要就可以了解原信息要表达的意思。该摘要生成技术应用在我们生活的方方面面，例如，新闻关键词的提炼、搜索引擎的搜索结果优化以及购物平台的商品推荐等等。利用摘要生成技术，使阅读者能够快速的获取有效信息，节省时间，提高效率。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：现有摘要生成方法没有对原信息进行充分挖掘和参考，导致生成的摘要质量较低。
发明内容
有鉴于此，本公开提供了一种摘要生成方法、装置、计算机***、可读存储介质及计算机程序产品。
本公开的一个方面提供了一种摘要生成方法，包括：
获取用于描述目标对象的文本数据，其中，文本数据包括结构化知识图谱和非结构化描述文本；
对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列；以及
根据第一编码器隐层序列和第二编码器隐层序列，生成文本数据的摘要。
根据本公开的实施例，其中，根据第一编码器隐层序列和第二编码器隐层序列，生成文本数据的摘要包括：
对第一编码器隐层序列进行解码，生成结构化知识图谱的第一摘要词的复制概率；
对第二编码器隐层序列进行解码，生成非结构化描述文本的第二摘要词的复制概率和与非结构化描述文本对应的第三摘要词的生成概率；
基于第一摘要词的复制概率、第二摘要词的复制概率和第三摘要词的生成概率，得到融合概率；以及
根据融合概率，生成文本数据的摘要。
根据本公开的实施例，其中，对第二编码器隐层序列进行解码，生成非结构化描述文本的第二摘要词的复制概率和与非结构化描述文本对应的第三摘要词的生成概率包括：
对第二编码器隐层序列进行处理，生成解码器隐层序列和上下文向量序列；
基于解码器隐层序列和上下文向量序列，生成与非结构化描述文本对应的第三摘要词的生成概率；
基于解码器隐层序列和上下文向量序列，生成非结构化描述文本的第二摘要词的注意力权重；以及
基于第二摘要词的注意力权重，生成第二摘要词的复制概率。
根据本公开的实施例，其中，结构化知识图谱包括属性标识和属性值；
第一编码器隐层序列包括属性标识隐层序列和属性值隐层序列。
根据本公开的实施例，其中，对第一编码器隐层序列进行解码，生成结构化知识图谱的第一摘要词的复制概率包括：
基于解码器隐层序列和上下文向量序列，对属性标识隐层序列和属性值隐层序列分别进行处理，生成与属性标识语义向量对应的属性标识注意力权重，和与属性值语义向量对应的属性值注意力权重；以及
基于属性标识注意力权重和属性值注意力权重，生成第一摘要词的复制概率。
根据本公开的实施例，对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列之前，方法还包括：
对结构化知识图谱和非结构化描述文本进行分词处理，以便于对结构化知识图谱和非结构化描述文本分别进行编码。
本公开的再一方面提供了一种摘要生成装置，包括：
获取模块，用于获取用于描述目标对象的文本数据，其中，文本数据包括结构化知识图谱和非结构化描述文本；
编码模块，用于对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列；以及
生成模块，用于根据第一编码器隐层序列和第二编码器隐层序列，生成文本数据的摘要。
本公开的再一方面提供一种计算机***，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的摘要生成方法。
本公开的再一方面提供一种计算机可读存储介质，其上存储有可执行指令，指令被处理器执行时使处理器实现上述的摘要生成方法。
本公开的再一方面提供一种计算机程序产品，包括计算机程序，计算机程序包括计算机可执行指令，指令在被执行时用于实现上述的摘要生成方法。
根据本公开的实施例，因为采用了获取用于描述目标对象的文本数据，其中，文本数据包括结构化知识图谱和非结构化描述文本；对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列；以及根据第一编码器隐层序列和第二编码器隐层序列，生成文本数据的摘要的技术手段，同时结合结构化知识图谱和非结构化描述文本进行编码并生成文本数据的摘要；所以至少部分地克服了现有技术中没有对原信息进行充分挖掘和参考，导致生成的摘要质量较低的技术问题，进而达到了充分挖掘和参考原信息来生成摘要，以提高摘要生成的完整性和质量的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了可以应用本公开的摘要生成方法和装置的示例性***架构；
图2示意性示出了根据本公开实施例的摘要生成方法的流程图；
图3示意性示出了根据本公开另一实施例的摘要生成方法的流程图；
图4示意性示出了根据本公开实施例的摘要生成装置的框图；以及
图5示意性示出了根据本公开实施例的适于实现摘要生成方法的计算机***的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
本公开的实施例提供了一种摘要生成方法。该方法包括：获取用于描述目标对象的文本数据，其中，文本数据包括结构化知识图谱和非结构化描述文本；对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列；以及根据第一编码器隐层序列和第二编码器隐层序列，生成文本数据的摘要。
图1示意性示出了根据本公开实施例的可以应用摘要生成方法和装置的示例性***架构100。需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的摘要生成方法一般可以由服务器105执行。相应地，本公开实施例所提供的摘要生成装置一般可以设置于服务器105中。本公开实施例所提供的摘要生成方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的摘要生成装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的摘要生成方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的摘要生成装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
例如，用于描述目标对象的文本数据可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以将用于描述目标对象的文本数据发送到其他终端设备、服务器、或服务器集群，并由接收该用于描述目标对象的文本数据的其他服务器、或服务器集群来执行本公开实施例所提供的摘要生成方法。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的摘要生成方法的流程图。
如图2所示，该方法包括操作S210～S230。
在操作S210，获取用于描述目标对象的文本数据，其中，文本数据包括结构化知识图谱和非结构化描述文本；
在操作S220，对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列；以及
在操作S230，根据第一编码器隐层序列和第二编码器隐层序列，生成文本数据的摘要。
根据本公开的实施例，用于描述目标对象的文本数据，可以是例如用于描述某一目标商品的异构商品数据；该异构商品数据包括结构化知识图谱和非结构化描述文本。其中，结构化知识图谱可以是例如结构化的商品知识图谱，例如列有商品属性标识和与商品属性标识相对应的商品属性值的表格数据；非结构化描述文本可以是例如非结构化的商品详细描述文本，例如描述商品性能、规格等内容的文本。
根据本公开的实施例，对结构化知识图谱和非结构化描述文本分别进行编码，并基于编码后得到的第一编码器隐层序列和第二编码器隐层序列生成文本数据的摘要。实现了充分挖掘和参考原信息来生成摘要，提高摘要生成的完整性和质量的技术效果。
下面参考图3，结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开另一实施例的摘要生成方法的流程图。
如图3所示，摘要生成方法包括操作S310～S320、S331、S332、S340～S350。
在操作S310，获取用于描述目标对象的文本数据，其中，文本数据包括结构化知识图谱和非结构化描述文本。
根据本公开的实施例，该非结构化描述文本，可以是目标商品的一段商品详细描述文本，用序列x＝{x1，x2，...，xn}表示，其中每一个xi是该非结构化描述文本中的一个词。
根据本公开的可选实施例，结构化知识图谱可以包括属性标识和属性值。
表1为本公开实施例的一目标商品的结构化知识图谱。如表1所示，属性标识可以包括表征目标商品的属性描述，例如可以是颜色、高度、容量等属性；属性值可以是与属性标识相对应的具体参数，例如可以是具体的颜色白色，具体的高度2米，具体的容量4升等数据。
表1
商品名称 颜色 高度 容量
瓶子 白色 2米 4升
根据本公开的实施例，结构化知识图谱中的属性标识(比如：颜色、高度、容量)，可以用序列k＝{k1，k2，...，km}来表示；属性值(比如：白色、2米、4升)可以用序列v＝{v1，v2，...，vm}来表示。
根据本公开的可选实施例，对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列之前，还可以先进行对结构化知识图谱和非结构化描述文本进行分词处理操作，以便于对结构化知识图谱和非结构化描述文本分别进行编码。
根据本公开的实施例，首先将结构化知识图谱和非结构化描述文本进行分词处理，有利于得到序列x、k、v，进行后续的编码处理。在本公开的实施例中，分词处理操作可以使用相关分词技术完成即可，在此不再赘述。
在操作S320，对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列。
根据本公开的实施例，可以利用双向LSTM编码器(BiLSTM)对结构化知识图谱和非结构化描述文本分别进行编码；但是并不局限于此，还可以利用Transform网络作为编码器对结构化知识图谱和非结构化描述文本分别进行编码。
根据本公开的可选实施例，利用双向LSTM编码器(BiLSTM)对结构化知识图谱和非结构化描述文本分别进行编码，能够在训练样本量少的情况下，训练得到编码效果好的编码器。
根据本公开的实施例，第一编码器隐层序列可以包括属性标识隐层序列和属性值隐层序列。
根据本公开的可选实施例，利用双向LSTM编码器BiLSTM将序列k、v编码，分别生成属性标识隐层序列和属性值隐层序列hk、hv，如下公式(1)和公式(2)。
其中，i代表第i层隐层。
根据本公开的可选实施例，利用双向LSTM编码器BiLSTM将序列x编码，生成第二编码器隐层序列hx，如下公式(3)。
其中，i代表第i层隐层。
在操作S331，对第一编码器隐层序列进行解码，生成结构化知识图谱的第一摘要词的复制概率。
在操作S332，对第二编码器隐层序列进行解码，生成非结构化描述文本的第二摘要词的复制概率和与非结构化描述文本对应的第三摘要词的生成概率。
在操作S340，基于第一摘要词的复制概率、第二摘要词的复制概率和第三摘要词的生成概率，得到融合概率。
在操作S350，根据融合概率，生成文本数据的摘要。
根据本公开的实施例，利用本公开实施例的摘要生成方法，不仅使用两个编码器对结构化知识图谱和非结构化描述文本分别进行编码，而且最终解码综合考虑结构化知识图谱中出现的第一摘要词的复制概率、非结构化描述文本出现的第二摘要词的复制概率和根据非结构化描述文本的语义生成的第三摘要词的生成概率，实现在将原信息挖掘充分的基础上，生成的摘要更精准的技术效果。
根据本公开的实施例，其中，对第二编码器隐层序列进行解码，生成非结构化描述文本的第二摘要词的复制概率和与非结构化描述文本对应的第三摘要词的生成概率可以包括如下操作。
对第二编码器隐层序列进行处理，生成解码器隐层序列和上下文向量序列；
基于解码器隐层序列和上下文向量序列，生成与非结构化描述文本对应的第三摘要词的生成概率；
基于解码器隐层序列和上下文向量序列，生成非结构化描述文本的第二摘要词的注意力权重；以及
基于第二摘要词的注意力权重，生成第二摘要词的复制概率。
根据本公开的可选实施例，可以利用单向LSTM解码器(UniLSTM)对第二编码器隐层序列进行解码，并且采用注意力机制，最终生成解码器隐层序列和上下文向量序列。
根据本公开的实施例，对第二编码器隐层序列进行处理，生成解码器隐层序列和上下文向量序列，可以参见公式(4)～(7)。
其中，st为t时刻解码器隐层序列，yt-1为t-1时刻的输出，为t时刻的上下文向量，ua、Wa、Va分别为模型参数矩阵。
根据本公开的实施例，基于解码器隐层序列和上下文向量序列，生成与非结构化描述文本对应的第三摘要词的生成概率，可以采用如下式(8)。
其中，Wc和Vc为模型参数矩阵；为t时刻的上下文向量，st为t时刻解码器隐层序列。
根据本公开的实施例，还可以将非结构化描述文本中的关键词直接复制作为摘要词。将非结构化描述文本中的关键词直接复制作为第二摘要词的复制概率可以如下公式(9)。
其中，为第二摘要词的注意力权重。
根据本公开的实施例，本公开实施例的摘要生成方法不仅考虑到根据非结构化描述文本的语义生成摘要词，还考虑到将非结构化描述文本中的关键词直接复制作为摘要词。
根据本公开的可选实施例，还可以将结构化知识图谱中的关键词直接复制作为摘要词。将结构化知识图谱中的关键词直接复制作为第一摘要词的复制概率。
根据本公开的实施例，其中，对第一编码器隐层序列进行解码，生成结构化知识图谱的第一摘要词的复制概率可以包括如下操作。
对属性标识隐层序列和属性值隐层序列分别进行处理，生成与属性标识隐层序列对应的属性标识注意力权重，和与属性值隐层序列对应的属性值注意力权重；以及
基于属性标识注意力权重和属性值注意力权重，生成第一摘要词的复制概率。
根据本公开的实施例，第一摘要词的复制概率可以如公式(10)。
根据本公开的实施例，属性标识注意力权重可以如公式(11)；属性值注意力权重可以如公式(12)。
其中，st为t时刻解码器隐层序列，ua、Wa、Va分别为模型参数矩阵。
根据本公开的实施例，利用属性标识注意力权重和属性值注意力权重，即采用二次注意力权重得到第一摘要词的复制概率，充分考虑了低频关键词的识别，使生成的摘要信息把握的充分且关键。
根据本公开的实施例，最终的融合概率包括结构化知识图谱的第一摘要词的复制概率、非结构化描述文本的第二摘要词的复制概率和与非结构化描述文本对应的第三摘要词的生成概率，集合语义生成概率和关键词复制概率，具体可以如公式
综上所述，利用本公开实施例的摘要生成方法，一方面利用两个编码器分别对结构化知识图谱和非结构化描述文本进行编码，考虑到对原信息的充分挖掘；另一方面，还采用双重复制机制，与编码配合，综合了结构化知识图谱和非结构化描述文本中的关键词信息的复制，使生成的摘要完整性高；再一方面，在结构化知识图谱的复制概率的计算过程中，采用了二次注意力权重，提高了低频关键词的识别度，使生成的摘要更为精准。
根据本公开的其他实施例，需要说明的是，本公开实施例的摘要生成方法可以通过构建编码-解码模型来生成摘要。例如编码-解码模型包括两个双向LSTM编码器和单向LSTM解码器，并采用注意力机制和双重复制机制。该模型编码-解码基于极大似然进行训练，损失函数如公式(13)。
其中，T为文本数据中的词数量。
然后以具有结构化知识图谱和非结构化描述文本的文本数据作为训练样本进行训练。
根据本公开的实施例，利用结构化知识图谱和非结构化描述文本的文本数据作为训练样本，且利用极大似然进行训练，使最终训练得到的编码-解码模型生成的摘要精炼、准确且完整性高。
图4示意性示出了根据本公开的实施例的摘要生成装置的框图。
如图4所示，摘要生成装置400包括获取模块410、编码模块420、以及生成模块430。
获取模块410，用于获取用于描述目标对象的文本数据，其中，文本数据包括结构化知识图谱和非结构化描述文本；
编码模块420，用于对结构化知识图谱和非结构化描述文本分别进行编码，生成与结构化知识图谱对应的第一编码器隐层序列，和与非结构化描述文本对应的第二编码器隐层序列；以及
生成模块430，用于根据第一编码器隐层序列和第二编码器隐层序列，生成文本数据的摘要。
根据本公开的实施例，对结构化知识图谱和非结构化描述文本分别进行编码，并基于编码后得到的第一编码器隐层序列和第二编码器隐层序列生成文本数据的摘要。实现了充分挖掘和参考原信息来生成摘要，提高摘要生成的完整性和质量的技术效果。根据本公开的实施例，其中，生成模块430包括第一解码单元、第二解码单元、得到单元和生成单元。
第一解码单元，用于对第一编码器隐层序列进行解码，生成结构化知识图谱的第一摘要词的复制概率；
第二解码单元，用于对第二编码器隐层序列进行解码，生成非结构化描述文本的第二摘要词的复制概率和与非结构化描述文本对应的第三摘要词的生成概率；
得到单元，用于基于第一摘要词的复制概率、第二摘要词的复制概率和第三摘要词的生成概率，得到融合概率；以及
生成单元，用于根据融合概率，生成文本数据的摘要。
根据本公开的实施例，其中，第二解码单元包括第一生成子单元、第二生成子单元、第三生成子单元和第四生成子单元。
第一生成子单元，用于对第二编码器隐层序列进行处理，生成解码器隐层序列和上下文向量序列；
第二生成子单元，用于基于解码器隐层序列和上下文向量序列，生成与非结构化描述文本对应的第三摘要词的生成概率；
第三生成子单元，用于基于解码器隐层序列和上下文向量序列，生成非结构化描述文本的第二摘要词的注意力权重；以及
第四生成子单元，用于基于第二摘要词的注意力权重，生成第二摘要词的复制概率。
根据本公开的实施例，其中，结构化知识图谱包括属性标识和属性值；
第一编码器隐层序列包括属性标识隐层序列和属性值隐层序列。
根据本公开的实施例，其中，第一解码单元包括第五生成子单元和第六生成子单元。
第五生成子单元，用于基于解码器隐层序列和上下文向量序列，对属性标识隐层序列和属性值隐层序列分别进行处理，生成与属性标识语义向量对应的属性标识注意力权重，和与属性值语义向量对应的属性值注意力权重；以及
第六生成子单元，用于基于属性标识注意力权重和属性值注意力权重，生成第一摘要词的复制概率。
根据本公开的实施例，摘要生成装置400还包括分词模块。
分词模块，用于对结构化知识图谱和非结构化描述文本进行分词处理，以便于对结构化知识图谱和非结构化描述文本分别进行编码。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，获取模块410、编码模块420、以及生成模块430中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，获取模块410、编码模块420、以及生成模块430中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或同件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块410、编码模块420、以及生成模块430中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中摘要生成装置部分与本公开的实施例摘要生成方法部分是相对应的，摘要生成装置部分的描述具体参考摘要生成方法部分，在此不再赘述。
图5示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机***的框图。图5示出的计算机***仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，根据本公开实施例的计算机***500包括处理器501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 503中，存储有***500操作所需的各种程序和数据。处理器501、ROM 502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，***500还可以包括输入/输出(I/O)接口505，输入/输出(I/O)接口505也连接至总线504。***500还可以包括连接至I/O接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本公开实施例的***中限定的上述功能。根据本公开的实施例，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的摘要生成方法。
在该计算机程序被处理器501执行时，执行本公开实施例的***/装置中限定的上述功能。根据本公开的实施例，上文描述的***、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分509被下载和安装，和/或从可拆卸介质511被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时电可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (8)

1.一种摘要生成方法，包括：
获取用于描述目标对象的文本数据，其中，所述文本数据包括结构化知识图谱和非结构化描述文本，所述结构化知识图谱包括所述目标对象的属性标识和与所述属性标识相对应的属性值；
对所述结构化知识图谱和所述非结构化描述文本分别进行编码，生成与所述结构化知识图谱对应的第一编码器隐层序列，和与所述非结构化描述文本对应的第二编码器隐层序列，所述第一编码器隐层序列包括属性标识隐层序列和属性值隐层序列；以及
根据所述属性标识隐层序列、所述属性值隐层序列和所述第二编码器隐层序列，生成所述文本数据的摘要。
2.根据权利要求1所述的方法，其中，所述根据所述属性标识隐层序列、所述属性值隐层序列和所述第二编码器隐层序列，生成所述文本数据的摘要包括：
对所述属性标识隐层序列和所述属性值隐层序列进行解码，生成所述结构化知识图谱的第一摘要词的复制概率；
对所述第二编码器隐层序列进行解码，生成所述非结构化描述文本的第二摘要词的复制概率和与所述非结构化描述文本对应的第三摘要词的生成概率；
基于所述第一摘要词的复制概率、所述第二摘要词的复制概率和所述第三摘要词的生成概率，得到融合概率；以及
根据所述融合概率，生成所述文本数据的摘要。
3.根据权利要求2所述的方法，其中，所述对所述第二编码器隐层序列进行解码，生成所述非结构化描述文本的第二摘要词的复制概率和与所述非结构化描述文本对应的第三摘要词的生成概率包括：
对所述第二编码器隐层序列进行处理，生成解码器隐层序列和上下文向量序列；
基于所述解码器隐层序列和所述上下文向量序列，生成与所述非结构化描述文本对应的第三摘要词的生成概率；
基于所述解码器隐层序列和所述上下文向量序列，生成所述非结构化描述文本的第二摘要词的注意力权重；以及
基于所述第二摘要词的注意力权重，生成所述第二摘要词的复制概率。
4.根据权利要求3所述的方法，其中，所述对所述属性标识隐层序列和所述属性值隐层序列进行解码，生成所述结构化知识图谱的第一摘要词的复制概率包括：
基于所述解码器隐层序列和所述上下文向量序列，对所述属性标识隐层序列和属性值隐层序列分别进行处理，生成与所述属性标识语义向量对应的属性标识注意力权重，和与所述属性值语义向量对应的属性值注意力权重；以及
基于所述属性标识注意力权重和所述属性值注意力权重，生成所述第一摘要词的复制概率。
5.根据权利要求1所述的方法，所述对所述结构化知识图谱和所述非结构化描述文本分别进行编码，生成与所述结构化知识图谱对应的第一编码器隐层序列，和与所述非结构化描述文本对应的第二编码器隐层序列之前，所述方法还包括：
对所述结构化知识图谱和所述非结构化描述文本进行分词处理，以便于对所述结构化知识图谱和所述非结构化描述文本分别进行编码。
6.一种摘要生成装置，包括：
获取模块，用于获取用于描述目标对象的文本数据，其中，所述文本数据包括结构化知识图谱和非结构化描述文本，所述结构化知识图谱包括所述目标对象的属性标识和与所述属性标识相对应的属性值；
编码模块，用于对所述结构化知识图谱和所述非结构化描述文本分别进行编码，生成与所述结构化知识图谱对应的第一编码器隐层序列，和与所述非结构化描述文本对应的第二编码器隐层序列，所述第一编码器隐层序列包括属性标识隐层序列和属性值隐层序列；以及
生成模块，用于根据所述属性标识隐层序列、所述属性值隐层序列和所述第二编码器隐层序列，生成所述文本数据的摘要。
7.一种计算机***，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至5中任一项所述的方法。
CN202110293478.8A 2021-03-18 2021-03-18 摘要生成方法、装置、计算机***及可读存储介质 Active CN113010666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110293478.8A CN113010666B (zh) 2021-03-18 2021-03-18 摘要生成方法、装置、计算机***及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110293478.8A CN113010666B (zh) 2021-03-18 2021-03-18 摘要生成方法、装置、计算机***及可读存储介质

Publications (2)

Publication Number Publication Date
CN113010666A CN113010666A (zh) 2021-06-22
CN113010666B true CN113010666B (zh) 2023-12-08

Family

ID=76402760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110293478.8A Active CN113010666B (zh) 2021-03-18 2021-03-18 摘要生成方法、装置、计算机***及可读存储介质

Country Status (1)

Country Link
CN (1) CN113010666B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114218932B (zh) * 2021-11-26 2024-02-20 中国航空综合技术研究所 基于故障因果图谱的航空故障文本摘要生成方法及其装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619601B1 (en) * 2015-01-22 2017-04-11 Xilinx, Inc. Control and data flow graph generation for hardware description languages
JP2018067199A (ja) * 2016-10-20 2018-04-26 日本電信電話株式会社 要約生成装置、テキスト変換装置、方法、及びプログラム
CN108509413A (zh) * 2018-03-08 2018-09-07 平安科技（深圳）有限公司 文摘自动提取方法、装置、计算机设备及存储介质
US10402495B1 (en) * 2016-09-01 2019-09-03 Facebook, Inc. Abstractive sentence summarization
CN111460135A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 用于生成文本摘要的方法和装置
CN111666418A (zh) * 2020-04-23 2020-09-15 北京三快在线科技有限公司 文本重生成方法、装置、电子设备和计算机可读介质
JP2021033995A (ja) * 2019-08-16 2021-03-01 株式会社Ｎｔｔドコモ テキスト処理装置、方法、デバイス及びコンピューター読み取り可能な記憶媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942996B2 (en) * 2018-12-11 2021-03-09 block.one Digital identity social graph

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619601B1 (en) * 2015-01-22 2017-04-11 Xilinx, Inc. Control and data flow graph generation for hardware description languages
US10402495B1 (en) * 2016-09-01 2019-09-03 Facebook, Inc. Abstractive sentence summarization
JP2018067199A (ja) * 2016-10-20 2018-04-26 日本電信電話株式会社 要約生成装置、テキスト変換装置、方法、及びプログラム
CN108509413A (zh) * 2018-03-08 2018-09-07 平安科技（深圳）有限公司 文摘自动提取方法、装置、计算机设备及存储介质
JP2021033995A (ja) * 2019-08-16 2021-03-01 株式会社Ｎｔｔドコモ テキスト処理装置、方法、デバイス及びコンピューター読み取り可能な記憶媒体
CN111460135A (zh) * 2020-03-31 2020-07-28 北京百度网讯科技有限公司 用于生成文本摘要的方法和装置
CN111666418A (zh) * 2020-04-23 2020-09-15 北京三快在线科技有限公司 文本重生成方法、装置、电子设备和计算机可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于子词单元的深度学习摘要生成方法;陈雪雯;;计算机应用与软件(第03期) *
基于深度学习与图数据库构建中文商业知识图谱的探索研究;王仁武;袁毅;袁旭萍;;图书与情报(第01期) *

Also Published As

Publication number Publication date
CN113010666A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
US11758088B2 (en) Method and apparatus for aligning paragraph and video
CN113507419B (zh) 流量分发模型的训练方法、流量分发方法及装置
US11665121B2 (en) Determining topic cohesion between posted and linked content
CN111435376A (zh) 信息处理方法及***、计算机***和计算机可读存储介质
CN113010666B (zh) 摘要生成方法、装置、计算机***及可读存储介质
US20230041339A1 (en) Method, device, and computer program product for user behavior prediction
CN116155628B (zh) 网络安全检测方法、训练方法、装置、电子设备和介质
CN110852057A (zh) 一种计算文本相似度的方法和装置
CN116560661A (zh) 代码优化方法、装置、设备及存储介质
CN116069725A (zh) 文件迁移方法、装置、设备、介质和程序产品
CN116308704A (zh) 产品推荐方法、装置、电子设备、介质和计算机程序产品
CN113935334A (zh) 文本信息处理方法、装置、设备和介质
CN114691850A (zh) 生成问答对的方法、神经网络模型的训练方法和装置
CN114490400A (zh) 一种处理测试用例的方法和装置
US20140280006A1 (en) Managing text in documents based on a log of research corresponding to the text
US20200321026A1 (en) Method and apparatus for generating video
CN111767391B (zh) 目标文本生成方法、装置、计算机***和介质
CN116795866A (zh) 文件处理方法、装置、设备及存储介质
CN118152803A (zh) 训练数据集构建方法、装置、电子设备、介质和程序产品
CN116737813A (zh) 业务处理方法、装置、电子设备及存储介质
CN116721426A (zh) 文本识别方法、装置、设备及存储介质
CN117493519A (zh) 文本编码器的训练方法、文本生成方法、装置及存储介质
CN116450416A (zh) 软件测试用例的冗余校验方法、装置、电子设备及介质
CN117113999A (zh) 命名实体识别方法、装置、设备、存储介质及程序产品
CN116561258A (zh) 信息管理方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Digital Technology Holding Co.,Ltd.

GR01 Patent grant
GR01 Patent grant