CN110489755A - 文本生成方法和装置 - Google Patents

文本生成方法和装置 Download PDF

Info

Publication number
CN110489755A
CN110489755A CN201910775353.1A CN201910775353A CN110489755A CN 110489755 A CN110489755 A CN 110489755A CN 201910775353 A CN201910775353 A CN 201910775353A CN 110489755 A CN110489755 A CN 110489755A
Authority
CN
China
Prior art keywords
vector
entity
attribute
text
attribute value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910775353.1A
Other languages
English (en)
Inventor
吴智东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201910775353.1A priority Critical patent/CN110489755A/zh
Publication of CN110489755A publication Critical patent/CN110489755A/zh
Priority to PCT/CN2019/126797 priority patent/WO2021031480A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文本生成方法和装置。其中,该方法包括:从知识图谱集中选择目标实体的目标知识图谱,其中,知识图谱集用于表征至少一个实体在预设属性上的属性值,目标实体为待评价的对象;基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,实体向量、属性向量和属性值向量用三元组向量表征;依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本。本发明解决了相关技术中仅利用深度学习算法生成的文本信息缺乏对实体的个性化评述,导致文本信息与实体的实际表现匹配度不高的技术问题。

Description

文本生成方法和装置
技术领域
本发明涉及自然语言处理领域,具体而言,涉及一种文本生成方法和装置。
背景技术
文本生成技术,是自然语言处理(Natural Language Processing,NLP)领域的一个重要的研究方向,旨在通过规则、算法等自动生成符合人类语言规律、没有语法错误的句子。
文本生成技术的应用场合非常多。例如,在教育行业,每到学期结束时,教师需要根据学生的日常表现,写出一段关于学生表现的描述性、建议性的评语。传统生成每个学生的评语的方法大多依靠教师手动撰写,这样的方式不仅消耗教师大量的时间,而且,教师也不一定能准确记得所有学生的日常表现。因此,现有比较成熟的解决方式是,将输入的学生信息,与人工构造的评语模板进行相似度计算,选取相似度最高的模板作为生成的评语。
然而,上述方法的评语是人工构建出来的,而非通过算法生成的,因此,上述方法不能批量化、智能化、个性化地对每个学生生成不同的评语。另外,由于评语是通过计算学生信息与评语模板之间的相似度来获得的,这种方式仅考虑了字符表面的信息,没有考虑到评语文本的语义层信息。为解决这一问题,深度学习算法考虑了文本在多个维度上的统计分布,并使用概率的方式来生成评语。但是,深度学习算法缺乏知识性信息,对特定学生的日常行为表现与评语之间潜在关系的学习能力不足,缺乏对特定学生生成个性化评语的能力,以至深度学习算法生成的评语与学生的实际表现匹配度不高、不精确。
针对相关技术中仅利用深度学习算法生成的文本信息缺乏对实体的个性化评述,导致文本信息与实体的实际表现匹配度不高的技术问题,目前尚未提出有效的解决方案。
发明内容
本发明提供了一种文本生成方法和装置,以至少解决相关技术中仅利用深度学习算法生成的文本信息缺乏对学生的个性化评述,导致文本信息与学生的实际表现匹配度不高的技术问题。
根据本发明实施例的一个方面,提供了一种文本生成方法,包括:从知识图谱集中选择目标实体的目标知识图谱,其中,知识图谱集用于表征至少一个实体在预设属性上的属性值,目标实体为待评价的对象;基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,实体向量、属性向量和属性值向量用三元组向量表征;依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本。
可选地,在从知识图谱集中选择目标实体的目标知识图谱之前,上述方法还包括:生成知识图谱集,其中,生成知识图谱集的步骤包括:构建知识图谱集的规划层,其中,规划层至少包括:实体类型、属性类型和属性值类型;获取记录信息,其中记录信息包括:至少一个实体在预设属性上的属性值;将记录信息输入至规划层中,生成知识图谱集。
可选地,在将记录信息输入至规划层之前,上述方法还包括:对记录信息进行预处理,得到处理后的记录信息,其中,预处理包括如下至少之一:实体抽取、属性抽取、属性值抽取和实体消歧。
可选地,基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,包括:提取目标知识图谱中的目标实体的实体信息、属性信息和属性值信息;使用预设算法将实体信息转换为布尔向量,使用预设模型将属性信息和属性值信息均转换为高纬数值型向量,得到三元组向量。
可选地,依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本,包括:将实体向量、属性向量和属性值向量输入至文本生成模型中,其中,文本生成模型包括深度神经网络模型,深度神经网络模型根据三元组样本和文本样本训练得到;基于文本生成模型生成与目标实体匹配文本。
可选地,在将实体向量、属性向量和属性值向量输入至文本生成模型之前,上述方法还包括:生成文本生成模型,其中,生成文本生成模型的步骤包括:获取三元组样本和文本样本;使用预设算法将三元组样本中的实体样本转换为布尔向量,使用预设模型将三元组样本中的属性样本、属性值样本均转换为高纬数值型向量,得到三元组向量样本;基于三元组向量样本和文本样本训练文本生成模型,得到训练好的文本生成模型。
可选地,基于三元组向量样本和文本样本训练文本生成模型,得到训练好的文本生成模型,包括:利用结合注意力机制的编码器处理三元组向量样本和文本样本,得到上下文向量;利用结合注意力机制的解码器处理上下文向量,得到文本信息;基于文本信息,以最小化损失函数来训练文本生成模型。
根据本发明实施例的另一个方面,还提供了一种文本生成方法,包括:接收选中指令,其中,选中指令用于选中待评价的目标实体;显示与目标实体匹配的文本,其中,文本依据目标实体的目标知识图谱确定出的目标实体的实体向量、属性向量和属性值向量生成,目标知识图谱来自知识图谱集,知识图谱集用于表征至少一个实体在预设属性上的属性值,实体向量、属性向量和属性值向量用三元组向量表征。
根据本发明实施例的另一个方面,还提供了一种文本生成装置,包括:选择模块,用于从知识图谱集中选择目标实体的目标知识图谱,其中,知识图谱集用于表征至少一个实体在预设属性上的属性值,目标实体为待评价的对象;确定模块,用于基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,实体向量、属性向量和属性值向量用三元组向量表征;文本生成模块,用于依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本。
根据本发明实施例的另一个方面,还提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述任意一种文本生成方法。
根据本发明实施例的另一个方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述任意一种文本生成方法。
在本发明实施例中,从知识图谱集中选择目标实体的目标知识图谱,其中,知识图谱集用于表征至少一个实体在预设属性上的属性值,目标实体为待评价的对象;基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,实体向量、属性向量和属性值向量用三元组向量表征;依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本。与现有技术相比,本申请利用多个实体的平时表现建立知识图谱集,然后从中提取目标知识图谱的三元组向量,继而结合深度学***时表现的评语的目的,提高了评语的匹配度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本申请实施例1的一种文本生成方法的流程图;
图2是根据本申请实施例1的一种评语生成方法的基本原理框图;
图3是基于图2所示评语生成方法基本原理的详细原理图;
图4是根据本申请实施例2的一种文本生成方法的流程图;
图5是根据本申请实施例3的一种文本生成装置的结构示意图;以及
图6是根据本申请实施例4的一种文本生成装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种文本生成方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的文本生成方法,如图1所示,该方法包括如下步骤:
步骤S102,从知识图谱集中选择目标实体的目标知识图谱,其中,知识图谱集用于表征至少一个实体在预设属性上的属性值,目标实体为待评价的对象。
一种可选方案中,上述实体可以为学生、机构、公司员工等任何需要评价的对象;对于学生来讲,上述预设属性可以为课堂表现、自我形象、社交表现、情绪表现、周考成绩、期末成绩等,对应的属性值可以为积极、整洁、活跃、稳定、起伏较大、优良等;针对机构,上述预设属性可以为品牌形象、授权专利数量、年利润、社会公益等,对应的属性值可以为影响大、大于100件、2亿、活跃等。
知识图谱(Knowledge Graph,KG)作为大数据时代下新的知识组织与检索技术,用于以符号形式描述物理世界中的概念及其相互关系。知识图谱集汇集了多个实体的知识图谱,每个实体的知识图谱记录着该实体的日常行为表现,由于每个实体都是一个独立的个体,每个实体的知识图谱自然不一样。需要评价某一个实体,即目标实体时,从知识图谱集中选择目标实体的目标知识图谱即可。
以学生为例,在需要生成学生A的总结性评语时,从知识图谱集中抽取学生A的知识图谱,该知识图谱记载着学生A在所有属性上的属性值,即记录着学生A各个方面的日常行为表现。
步骤S104,基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,实体向量、属性向量和属性值向量用三元组向量表征。
上述步骤中,通过在目标知识图谱中提取目标实体的实体信息、属性信息和属性值信息,并将其转换为易于文本生成模型处理的实体向量、属性向量和属性值向量,可以大大提高生成文本的匹配度。
需要说明的是,三元组是知识图谱的一种通用表示形式,本实施例以三元组进行举例,并不构成对本申请的限制。
步骤S106,依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本。
一种可选方案中,上述生成文本的文本生成模型可以为深度神经网络模型。
深度神经网络是一门关于数学和计算机结合的综合学科,与机器学习不同,深度神经网络能实现端对端的数据高纬特征提取、抽象,解决了机器学习中特征难以提取的问题。例如典型的Seq2Seq模型、生成对抗网络模型等。
Seq2Seq是一个Encoder-Deocder结构的模型,基本思想是利用两个循环神经网络,一个作为编码器,一个作为解码器,编码器将一个可变长度的输入序列变为固定长度的向量,这个向量可以看作该序列的语义,解码器将这个固定长度的向量解码成可变长度的输出序列;生成对抗网络(Generative Adversarial Networks,GAN)模型中至少包括两个模块,一个生成模型,一个对抗模型,两个模型的互相博弈学习产生相当好的输出。因此,上述两种深度神经网络算法应用在评语生成领域,能够达到比机器学习方法更加精确和鲁棒的效果。
上述步骤中,将通过目标知识图谱确定出的由实体向量、属性向量和属性值向量构成的三元组向量,输入到深度神经网络模型中,可以生成与目标实体的日常行为表现相匹配的评语文本。
容易注意到,在现有的文本生成领域,即使有基于知识图谱的文本生成,也不是完全使用知识图谱本省的实体信息、属性信息和属性值等信息,而是将知识图谱作为中介,再通过搜索,或计算相似性的方法查找合适的文本。然而,本发明将知识图谱和深度神经网络相结合,考虑了目标实体的日常行为表现,且对不同实体,能够自动生成符合该实体实际表现情况的评语,提高了评语的匹配度和准确度。
仍以学生为例,教师在寒暑假之际需要针对每位学生写一段总结性的评语。教师可以通过点击鼠标从知识图谱集中抽取待评价学生的知识图谱,该知识图谱记载着该学生的日常表现,例如课堂表现、自我形象、社交表现、情绪表现、期末成绩等信息。执行本实施例方法的计算机终端基于该学生的知识图谱确定出该学生的三元组向量,输入至深度神经网络模型中,计算机终端的显示界面会自动生成与该学生的日常表现匹配的评语。采用上述方案,大大节约了教师的时间和精力,避免了教师记不准或记不全学生的日常行为表现,导致评语与学生的匹配度不高的问题出现。
基于本申请上述实施例提供的方案,从知识图谱集中选择目标实体的目标知识图谱,其中,知识图谱集用于表征至少一个实体在预设属性上的属性值,目标实体为待评价的对象;基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,实体向量、属性向量和属性值向量用三元组向量表征;依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本。与现有技术相比,本申请利用多个实体的平时表现建立知识图谱集,然后从中提取目标知识图谱的三元组向量,继而结合深度学***时表现的评语的目的,提高了评语的匹配度。
可选地,在执行步骤S102从知识图谱集中选择目标实体的目标知识图谱之前,上述方法还可以包括步骤S101,生成知识图谱集,其中,生成知识图谱集的步骤具体可以包括以下步骤:
步骤S1012,构建知识图谱集的规划层,其中,规划层至少包括:实体类型、属性类型和属性值类型。
一种可选方案中,上述规划层可以通过本体构建工具Protégé软件编辑。Protégé软件是基于Java语言开发的本体编辑和知识获取软件,用户只需要在概念层次上进行本体模型的构建即可,简单易操作。
规划层相当于知识图谱的架构,规划层中至少包括实体类型、属性类型和属性值类型,当然,也可以包括时间等信息。
步骤S1014,获取记录信息,其中记录信息包括:至少一个实体在预设属性上的属性值。
一种可选方案中,上述记录信息可以通过人工输入至执行本实施例方法的计算机终端中。例如,李明课堂表现积极、形象佳、期末成绩A等,张伟课堂表现爱打瞌睡、社交表现不积极、期末成绩B等。如此,在生成目标实体的文本时,可以全面考虑目标实体的日常行为表现,避免遗漏特征。
步骤S1016,将记录信息输入至规划层中,生成知识图谱集。
上述步骤中,将步骤S1014中获取的实体信息、属性信息、属性值信息对应填充到步骤S1012构建的规划层的实体类型、属性类型和属性值类型中,以此构造所有实体的知识图谱集,并存储到图形数据库Neo4j中。
可选地,在执行步骤S1016将记录信息输入至规划层之前,上述方法还可以包括:步骤S1015,对记录信息进行预处理,得到处理后的记录信息,其中,预处理包括如下至少之一:实体抽取、属性抽取、属性值抽取和实体消歧。
一种可选方案中,上述实体抽取、属性抽取、属性值抽取可以为实体识别、属性识别、属性值识别,包括实体、属性、属性值的检测和分类。
需要说明的是,通过实体消歧处理,可以区分出两个不同的名字代表同一个实体,或一个相同的名字指代两个不同的实体的情况。
可选地,步骤S104基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,具体可以包括以下步骤:
步骤S1042,提取目标知识图谱中的目标实体的实体信息、属性信息和属性值信息。
步骤S1044,使用预设算法将实体信息转换为布尔向量,使用预设模型将属性信息和属性值信息均转换为高纬数值型向量,得到三元组向量。
一种可选方案中,上述预设算法可以为独热(OneHot)算法,上述预设模型可以为BERT模型或Word2Vector模型。其中,BERT模型,用Transformer的双向编码器表示,适用于广泛任务的最先进模型的构建。
在对目标知识图谱中的三元组进行信息表示时,将实体信息、属性信息和属性值信息转换为易于神经网络模型处理的数值向量,神经网络模型连接到目标实体的所有属性,继而可以提取高纬属性向量特征。具体地,提取目标知识图谱中目标实体的多个三元组(ei,pij,vij),其中,ei、pij、vij分别表示第i个实体信息、第i个实体的第j个属性信息、第i个实体的第j个属性值信息,然后将ei,pij,vij分别表征成Vei,Vpi,Vvi向量。
在一个可选的实施例中,使用OneHot算法将实体ei表征成布尔向量,使用BERT模型将属性pij、属性值vij表征成高纬数值型向量,即
其中,t、s表示特征提取函数,也是一个神经网络结构的映射函数。
可选地,步骤S106依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本,具体可以包括以下步骤:
步骤S1062,将实体向量、属性向量和属性值向量输入至文本生成模型中,其中,文本生成模型包括深度神经网络模型,深度神经网络模型根据三元组样本和文本样本训练得到。
如前所述,上述深度神经网络模型可以是Seq2Seq模型、生成对抗网络模型等。
步骤S1064,基于文本生成模型生成与目标实体匹配文本。
上述步骤中,将实体向量Vei、属性向量Vpi和属性值向量Vvi输入至文本生成模型中,即可生成关于目标实体的总结性评语文本y*
一种可选方案中,上述总结性评语文本y*可表示为输出序列y1,…yT’,其中yt’表示t’时刻的输出文字,即
上式中,t'∈{1,...,T'},ct′表示t′时刻的上下文向量,P(yt'|y1,...,yt'-1,ct')表示第t′时刻所有候选文本的概率向量,arg max表示选取生成的候选文本中,概率向量值最大的文本。
可选地,在执行步骤S1062将实体向量、属性向量和属性值向量输入至文本生成模型之前,上述方法还可以包括步骤S1061,生成文本生成模型,其中,生成文本生成模型的步骤可以包括:
步骤S10611,获取三元组样本和文本样本。
一种可选方案中,上述三元组样本和文本样本可以组成对齐语料,表示为{((e,p,v),y)|((e1,p1,v1),y1),…((ei,pi,vi),yi)}。
步骤S10612,使用预设算法将三元组样本中的实体样本转换为布尔向量,使用预设模型将三元组样本中的属性样本、属性值样本均转换为高纬数值型向量,得到三元组向量样本。
如前所述,上述预设算法也可以为独热算法,上述预设模型也可以为双向编码器表征模型,将三元组样本转换为三元组向量样本的过程和步骤S1044类似,在此不再赘述。
步骤S10613,基于三元组向量样本和文本样本训练文本生成模型,得到训练好的文本生成模型。
在构造好由三元组和评语的组成的对齐语料后,就可以基于构造的语料,使用深度神经网络的算法,训练文本生成模型。由于文本生成模型采集了所有实体的日常行为表现数据,并以此作为训练语料,训练文本生成模型,因此,上述方案能根据具体的实体的日常行为表现生成符合该实体的总结性评语。
在一个可选的实施例中,步骤S10613基于三元组向量样本和文本样本训练文本生成模型,得到训练好的文本生成模型,具体可以包括以下步骤:
步骤S106131,利用结合注意力机制的编码器处理三元组向量样本和文本样本,得到上下文向量。
在Encoder-Deocder结构的模型中,存在两个循环神经网络,一个作为编码器,一个作为解码器,编码器将一个可变长度的输入序列变为固定长度的向量,这个向量可以看做该序列的语义,解码器将这个固定长度的向量解码成可变长度的输出序列。然而,如果输入序列的长度很长,固定长度的向量效果未免不佳,而结合注意力(Attention)机制的编码器可以解决此效果不佳的问题。具体的,结合注意力机制的编码器编码的上下文向量为:
ct'=f(ht,yt'-1,st'-1,ct')
其中,f表示编码函数,ht、yt′-1、st′-1、ct′分别表示编码器t时刻的隐含层输出、解码器t′-1时刻的输出、解码器t′-1时刻的隐含层状态、t′时刻的上下文向量。
步骤S106132,利用结合注意力机制的解码器处理上下文向量,得到文本信息。
考虑到编码器提取的最终上下文向量中,特征信息有限,且较难捕获到输入的局部特征,故需要结合编码器中注意力机制的输出结果,作为解码器的输入参数。具体地,结合注意力机制的解码器输出为:
P(yt'|y1,...,yt'-1,ct')=g(yt'-1,st',ct')
其中,g表示解码函数,yt′、yt′-1、st′、ct′分别表示t′时刻的输出、t′-1时刻的输出、解码器t′时刻的隐含层状态、t′时刻的上下文向量。
步骤S106133,基于文本信息,以最小化损失函数来训练文本生成模型。
需要说明的是,对文本生成模型训练的目标为:最小化文本生成模型的负对数似然损失函数:
其中,xi、yi分别代表第i个输入文本、输出文本,i∈{1,…,I},θ是模型参数。训练的结果是生成的文本与原始文本强相关,且最小化文本语法错误。
可选地,步骤S1044和步骤S10612中的预设算法为独热算法,预设模型为BERT模型或Word2Vector模型。
仍以学生为例,图2是根据本申请实施例的一种评语生成方法的基本原理框图。如图2所示,首先采集教师对每个学生的日常行为数据的记录情况,然后将其填充到设计好的知识图谱规划层中,以此构造所有学生表现的知识图谱集。在需要生成待评价学生的评语时,从知识图谱集中抽取待评价学生的目标知识图谱,然后将其输入到训练好的文本生成模型中,进而自动输出关于学生日常表现的总结性评语。详细的原理如图3所示,学生的日常行为数据包括课堂表现、自我形象、社交表现、情绪表现等,知识图谱的规划层规划有实体类型、属性类型和属性值类型,在构造知识图谱集时,将学生的日常行为数据进过实体抽取、属性抽取、属性值抽取、实体消歧等操作进行预处理,然后填充到对应的规划层中即可。在评价学生ID时,首先抽取出学生ID的知识子图,然后提取出三元组信息,将其转换为三元组向量的形式进行表征,最后输入到训练好的文本生成模型中,生成候选学生评语,由教师再次确认是否需要对该评语进行修改,以得到最终的学生评语。其中,文本生成模型由三元组样本和评语样本对结合注意力机制的Encoder-Deocder模型训练得到。
由上可知,本申请上述实施例,从知识图谱集中选择目标实体的目标知识图谱,其中,知识图谱集用于表征至少一个实体在预设属性上的属性值,目标实体为待评价的对象;基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,实体向量、属性向量和属性值向量用三元组向量表征;依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本。与现有技术相比,本申请利用多个实体的平时表现建立知识图谱集,然后从中提取目标知识图谱的三元组向量,继而结合深度学***时表现的评语的目的,提高了评语的匹配度。
实施例2
根据本发明实施例,从显示界面的角度提供了另一种文本生成方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图4是根据本发明实施例的另一种文本生成的方法,如图4所示,该方法包括如下步骤:
步骤S402,接收选中指令,其中,选中指令用于选中待评价的目标实体。
一种可选方案中,上述选择指令可以由教师通过鼠标点击触发,也可以通过触摸屏触摸触发;一种可选方案中,上述目标实体可以为学生、机构、公司员工等任何待评价的对象。
步骤S404,显示与目标实体匹配的文本,其中,文本依据目标实体的目标知识图谱确定出的目标实体的实体向量、属性向量和属性值向量生成,目标知识图谱来自知识图谱集,知识图谱集用于表征至少一个实体在预设属性上的属性值,实体向量、属性向量和属性值向量用三元组向量表征。
一种可选方案中,上述一种可选方案中,上述实体可以为学生、机构、公司员工等任何需要评价的对象;对于学生来讲,上述预设属性可以为课堂表现、自我形象、社交表现、情绪表现、周考成绩、期末成绩等,对应的属性值可以为积极、整洁、活跃、稳定、起伏较大、优良等;针对机构,上述预设属性可以为品牌形象、授权专利数量、年利润、社会公益等,对应的属性值可以为影响大、大于100件、2亿、活跃等;上述生成文本的文本生成模型可以为深度神经网络模型。
知识图谱(Knowledge Graph,KG)作为大数据时代下新的知识组织与检索技术,用于以符号形式描述物理世界中的概念及其相互关系。知识图谱集汇集了多个实体的知识图谱,每个实体的知识图谱记录着该实体的日常行为表现,由于每个实体都是一个独立的个体,每个实体的知识图谱自然不一样。需要评价某一个实体,即目标实体时,从知识图谱集中选择目标实体的目标知识图谱即可。
通过在目标知识图谱中提取目标实体的实体信息、属性信息和属性值信息,并将其转换为易于文本生成模型处理的实体向量、属性向量和属性值向量,可以大大提高生成文本的匹配度。
需要说明的是,深度神经网络是一门关于数学和计算机结合的综合学科,与机器学习不同,深度神经网络能实现端对端的数据高纬特征提取、抽象,解决了机器学习中特征难以提取的问题。例如典型的Seq2Seq模型、生成对抗网络模型等。
Seq2Seq是一个Encoder-Deocder结构的模型,基本思想是利用两个循环神经网络,一个作为编码器,一个作为解码器,编码器将一个可变长度的输入序列变为固定长度的向量,这个向量可以看做该序列的语义,解码器将这个固定长度的向量解码成可变长度的输出序列;生成对抗网络(Generative Adversarial Networks,GAN)模型中至少包括两个模块,一个生成模型,一个对抗模型,两个模型的互相博弈学习产生相当好的输出。因此,上述两种深度神经网络算法应用在评语生成领域,能够达到比机器学习方法更加精确和鲁棒的效果。
上述步骤中,计算机终端检测到来自显示界面的点击目标实体的选中指令后,就会在显示界面显示与目标实体匹配的评语文本。
容易注意到,在现有的文本生成领域,即使有基于知识图谱的文本生成,也不是完全使用知识图谱本省的实体信息、属性信息和属性值等信息,而是将知识图谱作为中介,再通过搜索,或计算相似性的方法查找合适的文本。然而,本发明将知识图谱和深度神经网络相结合,考虑了目标实体的日常行为表现,且对不同实体,能够自动生成符合该实体实际表现情况的评语,提高了评语的匹配度和准确度。
基于本申请上述实施例提供的方案,首先接收选中指令,其中,选中指令用于选中待评价的目标实体,然后显示与目标实体匹配的文本,其中,文本依据目标实体的目标知识图谱确定出的目标实体的实体向量、属性向量和属性值向量生成,目标知识图谱来自知识图谱集,知识图谱集用于表征至少一个实体在预设属性上的属性值,实体向量、属性向量和属性值向量用三元组向量表征。与现有技术相比,本申请利用多个实体的平时表现建立知识图谱集,然后从中提取目标知识图谱的三元组向量,继而结合深度学***时表现的评语的目的,提高了评语的匹配度。
可选地,在执行步骤S404显示与目标实体匹配的文本之前,上述方法还可以包括步骤S403,生成知识图谱集,其中,生成知识图谱集的步骤具体可以包括以下步骤:
步骤S4032,构建知识图谱集的规划层,其中,规划层至少包括:实体类型、属性类型和属性值类型。
一种可选方案中,上述规划层可以通过本体构建工具Protégé软件编辑。Protégé软件是基于Java语言开发的本体编辑和知识获取软件,用户只需要在概念层次上进行本体模型的构建即可,简单易操作。
规划层相当于知识图谱的架构,规划层中至少包括实体类型、属性类型和属性值类型,当然,也可以包括时间等信息。
步骤S4034,获取记录信息,其中记录信息包括:至少一个实体在预设属性上的属性值。
一种可选方案中,上述记录信息可以通过人工输入至执行本实施例方法的计算机终端中。例如,李明课堂表现积极、形象佳、期末成绩A等,张伟课堂表现爱打瞌睡、社交表现不积极、期末成绩B等。如此,在生成目标实体的文本时,可以全面考虑目标实体的日常行为表现,避免遗漏特征。
步骤S4036,将记录信息输入至规划层中,生成知识图谱集。
上述步骤中,将实体信息、属性信息、属性值信息对应填充到构建好的规划层的实体类型、属性类型和属性值类型中,以此构造所有实体的知识图谱集,并存储到图形数据库Neo4j中。
可选地,在执行步骤S4036将记录信息输入至规划层之前,上述方法还可以包括:步骤S4035,对记录信息进行预处理,得到处理后的记录信息,其中,预处理包括如下至少之一:实体抽取、属性抽取、属性值抽取和实体消歧。
一种可选方案中,上述实体抽取、属性抽取、属性值抽取可以为实体识别、属性识别、属性值识别,包括实体、属性、属性值的检测和分类。
需要说明的是,通过实体消歧处理,可以区分出两个不同的名字代表同一个实体,或一个相同的名字指代两个不同的实体的情况。
可选地,步骤S404中目标知识图谱确定出的目标实体的实体向量、属性向量和属性值向量,具体可以包括以下步骤:
步骤S4041,提取目标知识图谱中的目标实体的实体信息、属性信息和属性值信息。
步骤S4042,使用预设算法将实体信息转换为布尔向量,使用预设模型将属性信息和属性值信息均转换为高纬数值型向量,得到三元组向量。
一种可选方案中,上述预设算法可以为独热算法,上述预设模型可以为BERT模型或Word2Vector模型。其中,BERT模型,用Transformer的双向编码器表示,适用于广泛任务的最先进模型的构建。
在对目标知识图谱中的三元组进行信息表示时,将实体信息、属性信息和属性值信息转换为易于神经网络模型处理的数值向量,神经网络模型连接到目标实体的所有属性,继而可以提取高纬属性向量特征。具体地,提取目标知识图谱中目标实体的多个三元组(ei,pij,vij),其中,ei、pij、vij分别表示第i个实体信息、第i个实体的第j个属性信息、第i个实体的第j个属性值信息,然后将ei,pij,vij分别表征成Vei,Vpi,Vvi向量。
在一个可选的实施例中,使用OneHot算法将实体ei表征成布尔向量,使用BERT模型将属性pij、属性值vij表征成高纬数值型向量,即
其中,t、s表示特征提取函数,也是一个神经网络结构的映射函数。
可选地,步骤S404中依据实体向量、属性向量和属性值向量生成文本的步骤具体可以包括以下步骤:
步骤S4046,将实体向量、属性向量和属性值向量输入至文本生成模型中,其中,文本生成模型包括深度神经网络模型,深度神经网络模型根据三元组样本和文本样本训练得到。
如前所述,上述深度神经网络模型可以是Seq2Seq模型、生成对抗网络模型等。
步骤S4047,基于文本生成模型生成与目标实体匹配文本。
上述步骤中,将实体向量Vei、属性向量Vpi和属性值向量Vvi输入至文本生成模型中,即可生成关于目标实体的总结性评语文本y*。
一种可选方案中,上述总结性评语文本y*可表示为输出序列y1,…yT’,其中yt’表示t’时刻的输出文字,即
上式中,t'∈{1,...,T'},ct′表示t′时刻的上下文向量,P(yt'|y1,...,yt'-1,ct')表示第t′时刻所有候选文本的概率向量,arg max表示选取生成的候选文本中,概率向量值最大的文本。
可选地,在执行步骤S4046将实体向量、属性向量和属性值向量输入至文本生成模型之前,上述方法还可以包括步骤S4045,生成文本生成模型,其中,生成文本生成模型的步骤可以包括:
步骤S40451,获取三元组样本和文本样本。
一种可选方案中,上述三元组样本和文本样本可以组成对齐语料,表示为{((e,p,v),y)|((e1,p1,v1),y1),…((ei,pi,vi),yi)}。
步骤S40452,使用预设算法将三元组样本中的实体样本转换为布尔向量,使用预设模型将三元组样本中的属性样本、属性值样本均转换为高纬数值型向量,得到三元组向量样本。
如前所述,上述预设算法也可以为独热算法,上述预设模型也可以为双向编码器表征模型,将三元组样本转换为三元组向量样本的过程和步骤S1044类似,在此不再赘述。
步骤S40453,基于三元组向量样本和文本样本训练文本生成模型,得到训练好的文本生成模型。
在构造好由三元组和评语的组成的对齐语料后,就可以基于构造的语料,使用深度神经网络的算法,训练文本生成模型。由于文本生成模型采集了所有实体的日常行为表现数据,并以此作为训练语料,训练文本生成模型,因此,上述方案能根据具体的实体的日常行为表现生成符合该实体的总结性评语。
在一个可选的实施例中,步骤S40453基于三元组向量样本和文本样本训练文本生成模型,得到训练好的文本生成模型,具体可以包括以下步骤:
步骤S404531,利用结合注意力机制的编码器处理三元组向量样本和文本样本,得到上下文向量。
在Encoder-Deocder结构的模型中,存在两个循环神经网络,一个作为编码器,一个作为解码器,编码器将一个可变长度的输入序列变为固定长度的向量,这个向量可以看做该序列的语义,解码器将这个固定长度的向量解码成可变长度的输出序列。然而,如果输入序列的长度很长,固定长度的向量效果未免不佳,而结合注意力(Attention)机制的编码器可以解决此效果不佳的问题。具体的,结合注意力机制的编码器编码的上下文向量为:
ct'=f(ht,yt'-1,st'-1,ct')
其中,f表示编码函数,ht、yt′-1、st′-1、ct′分别表示编码器t时刻的隐含层输出、解码器t′-1时刻的输出、解码器t′-1时刻的隐含层状态、t′时刻的上下文向量。
步骤S404532,利用结合注意力机制的解码器处理上下文向量,得到文本信息。
考虑到编码器提取的最终上下文向量中,特征信息有限,且较难捕获到输入的局部特征,故需要结合编码器中注意力机制的输出结果,作为解码器的输入参数。具体地,结合注意力机制的解码器输出为:
P(yt'|y1,...,yt'-1,ct')=g(yt'-1,st',ct')
其中,g表示解码函数,yt′、yt′-1、st′、ct′分别表示t′时刻的输出、t′-1时刻的输出、解码器t′时刻的隐含层状态、t′时刻的上下文向量。
步骤S404533,基于文本信息,以最小化损失函数来训练文本生成模型。
需要说明的是,对文本生成模型训练的目标为:最小化文本生成模型的负对数似然损失函数:
其中,xi、yi分别代表第i个输入文本、输出文本,i∈{1,…,I},θ是模型参数。训练的结果是生成的文本与原始文本强相关,且最小化文本语法错误。
可选地,步骤S4042和步骤S40452中的预设算法为独热算法,预设模型为BERT模型或Word2Vector模型。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例3
根据本发明实施例,提供了一种文本生成的装置,图5是根据本申请实施例的文本生成装置的示意图。如图5所示,该装置500包括选择模块502、确定模块504和文本生成模块506。
其中,选择模块502,用于从知识图谱集中选择目标实体的目标知识图谱,其中,知识图谱集用于表征至少一个实体在预设属性上的属性值,目标实体为待评价的对象;确定模块504,用于基于目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,实体向量、属性向量和属性值向量用三元组向量表征;文本生成模块506,用于依据实体向量、属性向量和属性值向量生成与目标实体匹配的文本。
可选地,上述装置还可以包括:图谱生成模块,用于在从知识图谱集中选择目标实体的目标知识图谱之前,生成知识图谱集,其中,图谱生成模块包括:构建模块,用于构建知识图谱集的规划层,其中,规划层至少包括:实体类型、属性类型和属性值类型;第一获取模块,用于获取记录信息,其中记录信息包括:至少一个实体在预设属性上的属性值;将记录信息输入至规划层中,图谱生成子模块,用于生成知识图谱集。
可选地,上述装置还可以包括:预处理模块,用于在将记录信息输入至规划层之前,对记录信息进行预处理,得到处理后的记录信息,其中,预处理包括如下至少之一:实体抽取、属性抽取、属性值抽取和实体消歧。
可选地,确定模块包括:提取模块,用于提取目标知识图谱中的目标实体的实体信息、属性信息和属性值信息;第一转换模块,用于使用预设算法将实体信息转换为布尔向量,使用预设模型将属性信息和属性值信息均转换为高维数值型向量,得到三元组向量。
可选地,文本生成模块包括:输入模块,用于将实体向量、属性向量和属性值向量输入至文本生成模型中,其中,文本生成模型包括深度神经网络模型,深度神经网络模型根据三元组样本和文本样本训练得到;文本生成子模块,用于基于文本生成模型生成与目标实体匹配文本。
可选地,上述装置还可以包括:模型生成模块,用于在将实体向量、属性向量和属性值向量输入至文本生成模型之前,生成文本生成模型,其中,模型生成模块包括:第二获取模块,用于获取三元组样本和文本样本;第二转换模块,用于使用预设算法将三元组样本中的实体样本转换为布尔向量,使用预设模型将三元组样本中的属性样本、属性值样本均转换为高维数值型向量,得到三元组向量样本;训练模块,用于基于三元组向量样本和文本样本训练文本生成模型,得到训练好的文本生成模型。
可选地,训练模块包括:编码模块,用于利用结合注意力机制的编码器处理三元组向量样本和文本样本,得到上下文向量;解码模块,用于利用结合注意力机制的解码器处理上下文向量,得到文本信息;训练子模块,用于基于文本信息,以最小化损失函数来训练文本生成模型。
可选地,上述预设算法为独热算法,预设模型为BERT模型或Word2Vector模型。
需要说明的是,上述选择模块502、确定模块504和文本生成模块506对应于实施例1中的步骤S102至步骤S106,该三个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。
实施例4
根据本发明实施例,提供了另一种文本生成的装置,图6是根据本申请实施例的文本生成装置的示意图。如图6所示,该装置600包括接收模块602和显示模块604。
其中,接收模块602,用于接收选中指令,其中,选中指令用于选中待评价的目标实体;显示模块604,用于显示与目标实体匹配的文本,其中,文本依据目标实体的目标知识图谱确定出的目标实体的实体向量、属性向量和属性值向量生成,目标知识图谱来自知识图谱集,知识图谱集用于表征至少一个实体在预设属性上的属性值,实体向量、属性向量和属性值向量用三元组向量表征。
可选地,上述装置还可以包括图谱生成模块,用于在显示与目标实体匹配的文本之前,生成知识图谱集,其中,图谱生成模块可以包括:构建模块,用于构建知识图谱集的规划层,其中,规划层至少包括:实体类型、属性类型和属性值类型;第一获取模块,用于获取记录信息,其中记录信息包括:至少一个实体在预设属性上的属性值;图谱生成子模块,用于将记录信息输入至规划层中,生成知识图谱集。
可选地,上述装置还可以包括预处理模块,用于在将记录信息输入至规划层之前,对记录信息进行预处理,得到处理后的记录信息,其中,预处理包括如下至少之一:实体抽取、属性抽取、属性值抽取和实体消歧。
可选地,显示模块中还包括确定模块,用于根据目标知识图谱确定目标实体的实体向量、属性向量和属性值向量,其中,确定模块可以包括:提取模块,用于提取目标知识图谱中的目标实体的实体信息、属性信息和属性值信息;第一转换模块,用于使用预设算法将实体信息转换为布尔向量,使用预设模型将属性信息和属性值信息均转换为高纬数值型向量,得到三元组向量。
可选地,显示模块中还包括文本生成模块,用于依据实体向量、属性向量和属性值向量生成文本,其中,文本生成模块可以包括:输入模块,用于将实体向量、属性向量和属性值向量输入至文本生成模型中,其中,文本生成模型包括深度神经网络模型,深度神经网络模型根据三元组样本和文本样本训练得到;文本生成子模块,用于基于文本生成模型生成与目标实体匹配文本。
可选地,上述装置还可以包括模型生成模块,用于在将实体向量、属性向量和属性值向量输入至文本生成模型之前,生成文本生成模型,其中,模型生成模块可以包括:第二获取模块,用于获取三元组样本和文本样本;第二转换模块,用于使用预设算法将三元组样本中的实体样本转换为布尔向量,使用预设模型将三元组样本中的属性样本、属性值样本均转换为高纬数值型向量,得到三元组向量样本;训练模块,用于基于三元组向量样本和文本样本训练文本生成模型,得到训练好的文本生成模型。
可选地,训练模块可以包括:编码模块,用于利用结合注意力机制的编码器处理三元组向量样本和文本样本,得到上下文向量;解码模块,用于利用结合注意力机制的解码器处理上下文向量,得到文本信息;训练子模块,用于基于文本信息,以最小化损失函数来训练文本生成模型。
可选地,上述预设算法为独热算法,预设模型为BERT模型或Word2Vector模型。
需要说明的是,上述接收模块602和显示模块604对应于实施例2中的步骤S402至步骤S404,该两个模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例2所公开的内容。
实施例5
根据本发明实施例,提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行实施例1或2中的文本生成方法。
实施例6
根据本发明实施例,提供了一种处理器,处理器用于运行程序,其中,在程序运行时执行实施例1或2中的文本生成方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种文本生成方法,其特征在于,包括:
从知识图谱集中选择目标实体的目标知识图谱,其中,所述知识图谱集用于表征至少一个实体在预设属性上的属性值,所述目标实体为待评价的对象;
基于所述目标知识图谱确定所述目标实体的实体向量、属性向量和属性值向量,其中,所述实体向量、属性向量和属性值向量用三元组向量表征;
依据所述实体向量、属性向量和属性值向量生成与所述目标实体匹配的文本。
2.根据权利要求1所述的方法,其特征在于,在从知识图谱集中选择目标实体的目标知识图谱之前,所述方法还包括:生成所述知识图谱集,其中,生成所述知识图谱集的步骤包括:
构建所述知识图谱集的规划层,其中,所述规划层至少包括:实体类型、属性类型和属性值类型;
获取记录信息,其中所述记录信息包括:至少一个实体在预设属性上的属性值;
将所述记录信息输入至所述规划层中,生成所述知识图谱集。
3.根据权利要求2所述的方法,其特征在于,在将所述记录信息输入至所述规划层之前,所述方法还包括:
对所述记录信息进行预处理,得到处理后的记录信息,其中,所述预处理包括如下至少之一:实体抽取、属性抽取、属性值抽取和实体消歧。
4.根据权利要求1所述的方法,其特征在于,基于所述目标知识图谱确定所述目标实体的实体向量、属性向量和属性值向量,包括:
提取所述目标知识图谱中的所述目标实体的实体信息、属性信息和属性值信息;
使用预设算法将所述实体信息转换为布尔向量,使用预设模型将所述属性信息和所述属性值信息均转换为高纬数值型向量,得到所述三元组向量。
5.根据权利要求1所述的方法,其特征在于,依据所述实体向量、属性向量和属性值向量生成与所述目标实体匹配的文本,包括:
将所述实体向量、属性向量和属性值向量输入至文本生成模型中,其中,所述文本生成模型包括深度神经网络模型,所述深度神经网络模型根据三元组样本和文本样本训练得到;
基于所述文本生成模型生成与所述目标实体匹配的文本。
6.根据权利要求5所述的方法,其特征在于,在将所述实体向量、属性向量和属性值向量输入至文本生成模型之前,所述方法还包括:生成所述文本生成模型,其中,生成所述文本生成模型的步骤包括:
获取所述三元组样本和文本样本;
使用预设算法将所述三元组样本中的实体样本转换为布尔向量,使用预设模型将所述三元组样本中的属性样本、属性值样本均转换为高纬数值型向量,得到三元组向量样本;
基于所述三元组向量样本和所述文本样本训练所述文本生成模型,得到训练好的文本生成模型。
7.根据权利要求5所述的方法,其特征在于,基于所述三元组向量样本和所述文本样本训练所述文本生成模型,得到训练好的文本生成模型,包括:
利用结合注意力机制的编码器处理所述三元组向量样本和所述文本样本,得到上下文向量;
利用结合注意力机制的解码器处理所述上下文向量,得到文本信息;
基于所述文本信息,以最小化损失函数来训练所述文本生成模型。
8.一种文本生成方法,其特征在于,包括:
接收选中指令,其中,所述选中指令用于选中待评价的目标实体;
显示与所述目标实体匹配的文本,其中,所述文本依据所述目标实体的目标知识图谱确定出的所述目标实体的实体向量、属性向量和属性值向量生成,所述目标知识图谱来自知识图谱集,所述知识图谱集用于表征至少一个实体在预设属性上的属性值,所述实体向量、属性向量和属性值向量用三元组向量表征。
9.一种文本生成装置,其特征在于,包括:
选择模块,用于从知识图谱集中选择目标实体的目标知识图谱,其中,所述知识图谱集用于表征至少一个实体在预设属性上的属性值,所述目标实体为待评价的对象;
确定模块,用于基于所述目标知识图谱确定所述目标实体的实体向量、属性向量和属性值向量,其中,所述实体向量、属性向量和属性值向量用三元组向量表征;
文本生成模块,用于依据所述实体向量、属性向量和属性值向量生成与所述目标实体匹配的文本。
10.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1或8的文本生成方法。
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1或8的文本生成方法。
CN201910775353.1A 2019-08-21 2019-08-21 文本生成方法和装置 Pending CN110489755A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910775353.1A CN110489755A (zh) 2019-08-21 2019-08-21 文本生成方法和装置
PCT/CN2019/126797 WO2021031480A1 (zh) 2019-08-21 2019-12-20 文本生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775353.1A CN110489755A (zh) 2019-08-21 2019-08-21 文本生成方法和装置

Publications (1)

Publication Number Publication Date
CN110489755A true CN110489755A (zh) 2019-11-22

Family

ID=68552697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775353.1A Pending CN110489755A (zh) 2019-08-21 2019-08-21 文本生成方法和装置

Country Status (2)

Country Link
CN (1) CN110489755A (zh)
WO (1) WO2021031480A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061152A (zh) * 2019-12-23 2020-04-24 深圳供电局有限公司 基于深度神经网络攻击识别方法及智慧能源功率控制装置
CN111209389A (zh) * 2019-12-31 2020-05-29 天津外国语大学 一种电影故事生成方法
CN111897955A (zh) * 2020-07-13 2020-11-06 广州视源电子科技股份有限公司 基于编解码的评语生成方法、装置、设备和存储介质
CN111930959A (zh) * 2020-07-14 2020-11-13 上海明略人工智能(集团)有限公司 用于图谱知识生成文本的方法与装置
CN112036146A (zh) * 2020-08-25 2020-12-04 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质
CN112069781A (zh) * 2020-08-27 2020-12-11 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质
WO2021031480A1 (zh) * 2019-08-21 2021-02-25 广州视源电子科技股份有限公司 文本生成方法和装置
CN113111188A (zh) * 2021-04-14 2021-07-13 清华大学 一种文本生成方法及***
CN113157941A (zh) * 2021-04-08 2021-07-23 支付宝(杭州)信息技术有限公司 业务特征数据处理、文本生成方法、装置及电子设备
CN113488165A (zh) * 2021-07-26 2021-10-08 平安科技(深圳)有限公司 基于知识图谱的文本匹配方法、装置、设备以及存储介质
CN113569554A (zh) * 2021-09-24 2021-10-29 北京明略软件***有限公司 一种数据库中实体对匹配方法、装置、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158189B (zh) * 2021-04-28 2023-12-26 绿盟科技集团股份有限公司 一种恶意软件分析报告生成方法、装置、设备和介质
CN113239203A (zh) * 2021-06-02 2021-08-10 北京金山数字娱乐科技有限公司 一种基于知识图谱的筛选方法及装置
CN113609291A (zh) * 2021-07-27 2021-11-05 科大讯飞(苏州)科技有限公司 实体分类方法、装置、电子设备和存储介质
CN113761167B (zh) * 2021-09-09 2023-10-20 上海明略人工智能(集团)有限公司 一种会话信息抽取方法、***、电子设备及存储介质
CN116306925B (zh) * 2023-03-14 2024-05-03 中国人民解放军总医院 一种生成端到端实体链接方法和***
CN116150929B (zh) * 2023-04-17 2023-07-07 中南大学 一种铁路选线知识图谱的构建方法
CN116452072B (zh) * 2023-06-19 2023-08-29 华南师范大学 一种教学评价方法、***、设备和可读存储介质
CN117332282B (zh) * 2023-11-29 2024-03-08 之江实验室 一种基于知识图谱的事件匹配的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039275A1 (en) * 2015-08-03 2017-02-09 International Business Machines Corporation Automated Article Summarization, Visualization and Analysis Using Cognitive Services
CN108763336A (zh) * 2018-05-12 2018-11-06 北京无忧创新科技有限公司 一种签证自助服务***
CN109684394A (zh) * 2018-12-13 2019-04-26 北京百度网讯科技有限公司 文本生成方法、装置、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163836B2 (en) * 2018-02-12 2021-11-02 International Business Machines Corporation Extraction of information and smart annotation of relevant information within complex documents
CN108345690B (zh) * 2018-03-09 2020-11-13 广州杰赛科技股份有限公司 智能问答方法与***
CN109189944A (zh) * 2018-09-27 2019-01-11 桂林电子科技大学 基于用户正负反馈画像编码的个性化景点推荐方法及***
CN110489755A (zh) * 2019-08-21 2019-11-22 广州视源电子科技股份有限公司 文本生成方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039275A1 (en) * 2015-08-03 2017-02-09 International Business Machines Corporation Automated Article Summarization, Visualization and Analysis Using Cognitive Services
CN108763336A (zh) * 2018-05-12 2018-11-06 北京无忧创新科技有限公司 一种签证自助服务***
CN109684394A (zh) * 2018-12-13 2019-04-26 北京百度网讯科技有限公司 文本生成方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡圆媛: "《大数据环境下基于知识整合的语义计算技术与应用》", 31 August 2018, 北京理工大学出版社 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021031480A1 (zh) * 2019-08-21 2021-02-25 广州视源电子科技股份有限公司 文本生成方法和装置
CN111061152A (zh) * 2019-12-23 2020-04-24 深圳供电局有限公司 基于深度神经网络攻击识别方法及智慧能源功率控制装置
CN111209389B (zh) * 2019-12-31 2023-08-11 天津外国语大学 一种电影故事生成方法
CN111209389A (zh) * 2019-12-31 2020-05-29 天津外国语大学 一种电影故事生成方法
CN111897955A (zh) * 2020-07-13 2020-11-06 广州视源电子科技股份有限公司 基于编解码的评语生成方法、装置、设备和存储介质
CN111897955B (zh) * 2020-07-13 2024-04-09 广州视源电子科技股份有限公司 基于编解码的评语生成方法、装置、设备和存储介质
CN111930959A (zh) * 2020-07-14 2020-11-13 上海明略人工智能(集团)有限公司 用于图谱知识生成文本的方法与装置
CN111930959B (zh) * 2020-07-14 2024-02-09 上海明略人工智能(集团)有限公司 用于图谱知识生成文本的方法与装置
CN112036146A (zh) * 2020-08-25 2020-12-04 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质
CN112069781B (zh) * 2020-08-27 2024-01-02 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质
CN112069781A (zh) * 2020-08-27 2020-12-11 广州视源电子科技股份有限公司 一种评语生成方法、装置、终端设备及存储介质
CN113157941A (zh) * 2021-04-08 2021-07-23 支付宝(杭州)信息技术有限公司 业务特征数据处理、文本生成方法、装置及电子设备
CN113111188B (zh) * 2021-04-14 2022-08-09 清华大学 一种文本生成方法及***
CN113111188A (zh) * 2021-04-14 2021-07-13 清华大学 一种文本生成方法及***
CN113488165A (zh) * 2021-07-26 2021-10-08 平安科技(深圳)有限公司 基于知识图谱的文本匹配方法、装置、设备以及存储介质
CN113488165B (zh) * 2021-07-26 2023-08-22 平安科技(深圳)有限公司 基于知识图谱的文本匹配方法、装置、设备以及存储介质
CN113569554A (zh) * 2021-09-24 2021-10-29 北京明略软件***有限公司 一种数据库中实体对匹配方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021031480A1 (zh) 2021-02-25

Similar Documents

Publication Publication Date Title
CN110489755A (zh) 文本生成方法和装置
Bang et al. Explaining a black-box by using a deep variational information bottleneck approach
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答***
CN109783657A (zh) 基于受限文本空间的多步自注意力跨媒体检索方法及***
CN109062939A (zh) 一种面向汉语国际教育的智能导学方法
CN108984530A (zh) 一种网络敏感内容的检测方法及检测***
CN110516245A (zh) 细粒度情感分析方法、装置、计算机设备及存储介质
CN108536681A (zh) 基于情感分析的智能问答方法、装置、设备及存储介质
CN109543034B (zh) 基于知识图谱的文本聚类方法、装置及可读存储介质
CN108416065A (zh) 基于层级神经网络的图像-句子描述生成***及方法
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及***
CN106897559A (zh) 一种面向多数据源的症状体征类实体识别方法及装置
CN109446505A (zh) 一种范文生成方法及***
CN109710744A (zh) 一种数据匹配方法、装置、设备及存储介质
CN109710769A (zh) 一种基于胶囊网络的水军评论检测***及方法
CN110134954A (zh) 一种基于Attention机制的命名实体识别方法
CN110795565A (zh) 基于语义识别的别名挖掘方法、装置、介质及电子设备
CN113886567A (zh) 一种基于知识图谱的教学方法及***
CN115455171B (zh) 文本视频的互检索以及模型训练方法、装置、设备及介质
CN107679225A (zh) 一种基于关键词的回复生成方法
CN112749556B (zh) 多语言模型的训练方法和装置、存储介质和电子设备
CN109858024A (zh) 一种基于word2vec的房源词向量训练方法及装置
CN110532393A (zh) 文本处理方法、装置及其智能电子设备
CN110018823A (zh) 交互式应用程序的处理方法及***、生成方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122