CN113268577B - 一种基于对话关系的训练数据处理方法、装置及可读介质 - Google Patents

一种基于对话关系的训练数据处理方法、装置及可读介质 Download PDF

Info

Publication number
CN113268577B
CN113268577B CN202110624573.1A CN202110624573A CN113268577B CN 113268577 B CN113268577 B CN 113268577B CN 202110624573 A CN202110624573 A CN 202110624573A CN 113268577 B CN113268577 B CN 113268577B
Authority
CN
China
Prior art keywords
data set
triple
entity
data
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110624573.1A
Other languages
English (en)
Other versions
CN113268577A (zh
Inventor
邹辉
肖龙源
李稀敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Kuaishangtong Technology Co Ltd
Original Assignee
Xiamen Kuaishangtong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Kuaishangtong Technology Co Ltd filed Critical Xiamen Kuaishangtong Technology Co Ltd
Priority to CN202110624573.1A priority Critical patent/CN113268577B/zh
Publication of CN113268577A publication Critical patent/CN113268577A/zh
Application granted granted Critical
Publication of CN113268577B publication Critical patent/CN113268577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于对话关系的训练数据处理方法、装置及可读介质，通过词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出不包含词典中任一词的待识别语句；将每段对话中待识别语句进行实体识别，将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的待识别语句进行过滤得到第二数据集；统计第二数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，结合临界距离对第二数据集中的三元组数据进行过滤，得到三元组数据集合；基于三元组数据集合对第二数据集中的对话进行拆分，建立以对话片段和三元组单元作为最小训练单元的训练数据。本发明能减少无效信息干扰，实现数据增强。

Description

一种基于对话关系的训练数据处理方法、装置及可读介质
技术领域
本发明涉及自然语言处理领域，具体涉及一种基于对话关系的训练数据处理方法、装置及可读介质。
背景技术
世界上存在种类众多、数量众多的事物，它们之间可能存在这样或那样的联系。根据需要，将其中一些有意义的事物称作“实体”，并将一些实体之间的某些有意义的联系称为“实体关系”。一般来说，“关系”是“实体关系”的简称；“实体关系”是“实体及其关系”的简称，两个实体以及其中间的关系构成了关系三元组的三要素。
实体关系抽取是NLP领域的一个基础任务，广泛存在于文本挖掘、信息检索、智能问答等领域，占据非常重要的地位。现有的关系抽取大都是从单个语句中抽取关系三元组，缺少从聊天文本中抽取关系三元组的数据及相关数据处理方法。
在对话领域，两个实体间是否有关系往往不是在一两句话范围内就能确定的，大多可能发生在更长的距离，而实体间距离越长，关系抽取模型学习该关系的能力就越弱，现有方法为了避免在对话中抽取关系，都是抽取单个语句来抽取三元组关系，将遗漏大量有效信息。
现有的关系抽取模型大多采用人工标注的方式来获得训练数据，对话数据标注难度很高，且要耗费大量人力及时间。并且以单个语句来训练抽取三元组关系，在对话领域中训练得到的三元组关系准确率和效率都比较低。
有鉴于此，本发明提出一种基于对话关系的训练数据处理方法和装置是具有重要意义的。
发明内容
针对上述提到的采用单个语句抽取三元组关系能力弱、容易遗漏数据、训练数据不足等问题。本申请的实施例的目的在于提出了一种基于对话关系的训练数据处理方法、装置及可读介质，来解决以上背景技术部分提到的技术问题。
第一方面，本申请的实施例提供了一种基于对话关系的训练数据处理方法，包括以下步骤：
S1，构建词典，通过词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出不包含词典中任一词的待识别语句；
S2，将每段对话中待识别语句进行实体识别，得到对应的实体类别，将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的待识别语句进行过滤得到第二数据集；
S3，统计第二数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据相对位置距离结合临界距离对第二数据集中的三元组数据进行过滤，得到三元组数据集合；以及
S4，基于三元组数据集合对第二数据集中的每段对话进行拆分，得到至少包含三元组数据集合中一个三元组单元的一个对话片段，建立以对话片段和三元组单元作为最小训练单元的训练数据。
在一些实施例中，第一数据集中的语句已完成三元组关系标注。
在一些实施例中，词典包含肯定词或否定词。
在一些实施例中，步骤S2具体包括：
若实体类别与定义的实体类别比对上，则保留待识别语句并将待识别语句存入第二数据集；
若实体类别与定义的实体类别未比对上，则删除待识别语句。
在一些实施例中，步骤S3具体包括：
将第二数据集中的每段对话中的实体进行排列组合形成多个实体对，在多个实体对中过滤出存在实体关系的实体对形成三元组数据；
计算第二数据集中的每段对话中的三元组数据中的两个实体所在的语句在对话中的相对位置距离；
将相对位置距离小于或等于临界距离的三元组数据形成三元组数据集合。
在一些实施例中，还包括：对所述三元组数据对设定规则进行过滤。
在一些实施例中，根据第二数据集中超过预设阈值比例的三元组数据的相对位置距离小于或等于临界距离进行确定临界距离。
在一些实施例中，步骤S4中的对话片段中的第一句存在三元组单元的第一个实体，倒数第二句存在三元组单元的第二个实体。
在一些实施例中，对话片段与三元组单元建立映射关系。
第二方面，本申请的实施例提供了一种基于对话关系的训练数据处理装置，包括：
词典过滤模块，被配置为构建词典，通过词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出不包含词典中任一词的待识别语句；
实体识别模块，被配置为将每段对话中待识别语句进行实体识别，得到对应的实体类别，将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的待识别语句进行过滤得到第二数据集；
距离过滤模块，被配置为计算第二数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据相对位置距离结合临界距离对第二数据集中的三元组数据进行过滤，得到三元组数据集合；以及
对话拆分模块，被配置为基于三元组数据集合对第二数据集中的每段对话进行拆分，得到至少包含三元组数据集合中一个三元组单元的一个对话片段，建立以对话片段和三元组单元作为最小训练单元的训练数据。
第三方面，本申请的实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本发明公开了一种基于对话关系的训练数据处理方法、装置及可读介质，采用构建词典，通过词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出不包含词典中任一词的待识别语句；将每段对话中待识别语句进行实体识别，得到对应的实体类别，将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的待识别语句进行过滤得到第二数据集；统计第二数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据相对位置距离结合临界距离对第二数据集中的三元组数据进行过滤，得到三元组数据集合；基于三元组数据集合对第二数据集中的每段对话进行拆分，得到至少包含三元组数据集合中一个三元组单元的一个对话片段，建立以对话片段和三元组单元作为最小训练单元的训练数据。本申请提出的训练数据处理方法能够减少无效语义信息干扰，且以数据片段的形式更能添加更多的训练数据，实现数据增强的效果，减少了人工标注数据，且能显著提升关系抽取模型的准确率及召回率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的基于对话关系的训练数据处理方法的流程示意图；
图3为本发明的实施例的基于对话关系的训练数据处理装置的示意图；
图4是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于对话关系的训练数据处理方法或基于对话关系的训练数据处理装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于对话关系的训练数据处理方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于对话关系的训练数据处理装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的基于对话关系的训练数据处理方法，包括以下步骤：
S1，构建词典，通过词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出不包含词典中任一词的待识别语句。
在具体的实施例中，第一数据集中的语句已完成三元组关系标注，此部分的数据是通过人工标注得到的数据。所构建的词典是通过总结得到的，该词典中包含肯定词或否定词。包含肯定词否定词的语句会影响实体关系的判断，这样的语句才有一定概率可能觉得实体间是否有某个关系，因此需要保留在第二数据集中，并且经过过滤后标记出不包含词典中任一词的待识别语句，也就是说待识别语句是不包含肯定词和否定词的语句。待识别语句虽然不包含肯定词和否定词，但是有可能也包含实体关系，因此需要进一步对待识别语句进行判断。在本申请中第一数据集是以每段对话为一个单位进行处理的，也就是说是对第一数据集中的所有每段对话中的语句进行过滤删除，而对第一数据集中每段对话的数量并不会有改变，改变的是每段对话内部的语句的数量。
S2，将每段对话中待识别语句进行实体识别，得到对应的实体类别，将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的待识别语句进行过滤得到第二数据集。
在具体的实施例中，本申请中假设已经具有该行业已经训练好的命名实体识别模型(NER模型)，NER模型包括BiLSTM-CRF、BERT-BiLSTM-CRF、IDCNN/BiLSTM-CRF等其中任一个模型。通过以上的NER模型对待识别语句进行实体识别。
步骤S2中将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的语句的待识别语句进行过滤得到第二数据集的具体步骤为：若实体类别与定义的实体类别比对上，则保留待识别语句并将待识别语句存入第二数据集；若实体类别与定义的实体类别未比对上，则删除待识别语句。如果待识别语句的不包含定义的实体类别，则说明该待识别语句是无关紧要的语句，可以删除，从而减少每段对话中的无效句子，减少噪声。假如第一个数据集中有3段对话，每段对话的语句数量分别是6、8、4句，经过步骤S1和S2的处理后，3段对话中每段对话的语句数量分别是4、5、3。所以在第二数据集中依然还是存在3段对话，对话样本的数量保持不变。
S3，统计第二数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据相对位置距离结合临界距离对第二数据集中的三元组数据进行过滤，得到三元组数据集合。
在具体的实施例中，步骤S3具体包括：
将第二数据集中的每段对话中的实体进行排列组合形成多个实体对，在多个实体对中过滤出存在实体关系的实体对形成三元组数据；
计算第二数据集中的每段对话中的三元组数据中的两个实体所在的语句在对话中的相对位置距离；
将相对位置距离小于或等于临界距离的三元组数据形成三元组数据集合。
其中，三元组数据就是具有实体关系的实体对，相对位置距离是指在第二数据集中标注有实体关系的实体对间的距离。临界距离的确定过程具体是：根据第二数据集中超过预设阈值比例的三元组数据的相对位置距离小于或等于临界距离进行确定临界距离。假设该预设阈值为90％，若相对位置距离在小于或等于d的范围时已经可以覆盖90％以上的三元组数据，则将d设为临界距离，因此可以保留大部分的数据。根据该临界距离可以有效缩短实体对间的距离，对超出该临界距离的三元组数据进行删除，三元组数据中实体对间的相对位置距离越大，干扰信息越多，对算法模型影响越大。因为超出该临界距离的实体对之间的联系就比较弱，因此可以达到数据增强的效果。
在具体的实施例中，还包括：对三元组数据对设定规则进行过滤。因此可以减少负例数据量。该规则包括：将三元组数据中的实体类型不符合定义的实体类型的实体对进行删除，或者将对话片段中的语句不包含至少一个陈述句的三元组数据进行删除。例如：若定义的实体类别有A、B、C，假设A表示同义词关系，因此要求若两个实体有A关系，那么这两个实体必定是相同的实体类别，如土豆和马铃薯具有关系A，土豆和马铃薯都应该是属于植物，而不应该一个是植物一个是动物。该规则可以根据具体的要求制定，本申请的实施例中仅仅只是示例性地给出案例，可以结合实际情况进行调整。
S4，基于三元组数据集合对第二数据集中的每段对话进行拆分，得到至少包含三元组数据集合中一个三元组单元的一个对话片段，建立以对话片段和三元组单元作为最小训练单元的训练数据。
在具体的实施例中，三元组数据集合是将第二数据集中每段对话的所有实体做排列组合后得到的，也就是说三元组数据集合是第二数据集中经过数据增强之后得到的所有实体的集合。在此基础上，再对第二数据集中的每段对话进行拆分，拆分得到的对话片段包含三元组数据集合的一个三元组单元，该三元组单元包含“实体1，关系类别，实体2”这样一个实体组合，并且该对话片段中的第一句存在三元组单元的第一个实体，倒数第二句存在三元组单元的第二个实体。若对话片段较短，第二实体可以在对话片段的倒数第一句。因此可以在对话片段与三元组单元之间建立映射关系。在优选的实施例中，该对话片段的标签记为该三元组单元。因此在训练过程中以对话片段-三元组单元为最小训练单元作为训练数据。拆分得到的一个对话片段中可能出现多个三元组单元，建立一个对话片段与多个三元组单元或其中一个或多个三元组单元的训练数据，可以增加训练数据的数量，解决训练数据偏少的问题。
下面通过对第一数据集中的其中一个对话中的内容作为示例，展示本申请的基于对话关系的训练数据处理过程。
a、访客：感冒不好怎么办？
b、客服：好的。
c、客服：多久了呢？
d、访客：一周了。
e、客服：可以使用感冒药或者***。
f、访客：ok。
针对以上数据作出如下判断：
1.感冒药和***不能组合成一个关系三元组；
2.bcd这三个语句中无肯定词、否定词，因此将这段对话中的bcd这三个语句删除，得到以下训练数据：
最小训练单元1 三元组标签
a、访客：感冒不好怎么办？
e、客服：可以使用感冒药或者***。 (感冒，治疗方式，感冒药)
f、访客：ok。
最小训练单元2 三元组标签
a、访客：感冒不好怎么办？
e、客服：可以使用感冒药或者***。 (感冒，治疗方式，***)
f、访客：ok。
进一步参考图3，作为对上述各图所示方法的实现，本申请提供了一种基于对话关系的训练数据处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于对话关系的训练数据处理装置，如图3所示，包括：
词典过滤模块1，被配置为构建词典，通过词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出包含词典中任一词的待识别语句；
实体识别模块2，被配置为将每段对话中待识别语句进行实体识别，得到对应的实体类别，将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的语句进行过滤得到第二数据集；
距离过滤模块3，被配置为统计第一数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据相对位置距离结合临界距离对第二数据集中的三元组数据进行过滤，得到三元组数据集合；以及
对话拆分模块4，被配置为基于三元组数据集合对第二数据集中的每段对话进行拆分，得到至少包含三元组数据集合中一个三元组单元的一个对话片段，建立以对话片段和三元组单元作为最小训练单元的训练数据。
在具体的实施例中，词典过滤模块1的第一数据集中的语句已完成三元组关系标注，此部分的数据是通过人工标注得到的数据。所构建的词典是通过总结得到的，该词典中包含肯定词或否定词。包含肯定词或否定词的语句是具有实体，因此需要保留，并且经过过滤后标记出不包含词典中任一词的待识别语句，也就是说待识别语句是不包含肯定词或否定词的语句。待识别语句虽然不包含肯定词或否定词，但是有可能也包含实体，因此需要进一步对待识别语句进行判断。在本申请中第一数据集是以每段对话为一个单位进行处理的，也就是说是对第一数据集中的所有每段对话中的语句进行过滤删除，而对第一数据集中每段对话的数量并不会有改变，改变的是每段对话内部的语句的数量。
在具体的实施例中，本申请中假设已经具有该行业已经训练好的命名实体识别模型(NER模型)，NER模型包括BiLSTM-CRF、BERT-BiLSTM-CRF、IDCNN/BiLSTM-CRF等其中任一个模型。通过以上的NER模型对待识别语句进行实体识别。
实体识别模块2中将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的语句的待识别语句进行过滤得到第二数据集的具体步骤为：若实体类别与定义的实体类别比对上，则保留待识别语句并将待识别语句存入第二数据集；若实体类别与定义的实体类别未比对上，则删除待识别语句。如果待识别语句的不包含定义的实体类别，则说明该待识别语句是无关紧要的语句，可以删除，从而减少每段对话中的无效句子，减少噪声。假如第一个数据集中有3段对话，每段对话的语句数量分别是6、8、4句，经过步骤S1和S2的处理后，3段对话中每段对话的语句数量分别是4、5、3。所以在第二数据集中依然还是存在3段对话，对话样本的数量保持不变。
在具体的实施例中，距离过滤模块3具体包括：
将第二数据集中的每段对话中的实体进行排列组合形成多个实体对，在多个实体对中过滤出存在实体关系的实体对形成三元组数据；
计算第二数据集中的每段对话中的三元组数据中的两个实体所在的语句在对话中的相对位置距离；
将相对位置距离小于或等于临界距离的三元组数据形成三元组数据集合。
其中，三元组数据就是具有实体关系的实体对，相对位置距离是指在第二数据集中标注有实体关系的实体对间的距离。临界距离的确定过程具体是：根据第二数据集中超过预设阈值比例的三元组数据的相对位置距离小于或等于临界距离进行确定临界距离。假设该预设阈值为90％，若相对位置距离在小于或等于d的范围时已经可以覆盖90％以上的三元组数据，则将d设为临界距离，因此可以保留大部分的数据。根据该临界距离可以有效缩短实体对间的距离，对超出该临界距离的三元组数据进行删除，三元组数据中实体对间的相对位置距离越大，干扰信息越多，对算法模型影响越大。因为超出该临界距离的实体对之间的联系就比较弱，因此可以达到数据增强的效果。
在具体的实施例中，还包括：对三元组数据设定规则进行过滤。因此可以减少负例数据量。该规则包括：将三元组数据中的实体类型不符合定义的实体类型的实体对进行删除，或者将对话片段中的语句不包含至少一个陈述句的三元组数据进行删除。
在具体的实施例中，三元组数据集合是将第二数据集中每段对话的所有实体做排列组合后得到的，也就是说三元组数据集合是第二数据集中经过数据增强之后得到的所有实体的集合。在此基础上，对话拆分模块4中再对第二数据集中的每段对话进行拆分，拆分得到的对话片段包含三元组数据集合的一个三元组单元，该三元组单元包含“实体1，关系类别，实体2”这样一个实体组合，并且该对话片段中的第一句存在三元组单元的第一个实体，倒数第二句存在三元组单元的第二个实体。若对话片段较短，第二实体可以在对话片段的倒数第一句。因此可以在对话片段与三元组单元之间建立映射关系。在优选的实施例中，该对话片段的标签记为该三元组单元。因此在训练过程中以对话片段-三元组单元为最小训练单元作为训练数据。拆分得到的一个对话片段中可能出现多个三元组单元，建立一个对话片段与多个三元组单元或其中一个或多个三元组单元的训练数据，可以增加训练数据的数量，解决训练数据偏少的问题。
本发明公开了一种基于对话关系的训练数据处理方法、装置及可读介质，采用构建词典，通过词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出包含词典中任一词的待识别语句；将每段对话中待识别语句进行实体识别，得到对应的实体类别，将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的语句进行过滤得到第二数据集；计算第一数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据相对位置距离结合临界距离对第二数据集中的三元组数据进行过滤，得到三元组数据集合；基于三元组数据集合对第二数据集中的每段对话进行拆分，得到至少包含三元组数据集合中一个三元组单元的一个对话片段，建立以对话片段和三元组单元作为最小训练单元的训练数据。本申请提出的训练数据处理方法能够减少无效语义信息干扰，且以数据片段的形式更能添加更多的训练数据，实现数据增强的效果，减少了人工标注数据，且能显著提升关系抽取模型的准确率及召回率。
下面参考图4，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机装置400包括中央处理单元(CPU)401和图形处理器(GPU)402，其可以根据存储在只读存储器(ROM)403中的程序或者从存储部分409加载到随机访问存储器(RAM)404中的程序而执行各种适当的动作和处理。在RAM 404中，还存储有装置400操作所需的各种程序和数据。CPU 401、GPU402、ROM 403以及RAM 404通过总线405彼此相连。输入/输出(I/O)接口406也连接至总线405。
以下部件连接至I/O接口406：包括键盘、鼠标等的输入部分407；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分408；包括硬盘等的存储部分409；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分410。通信部分410经由诸如因特网的网络执行通信处理。驱动器411也可以根据需要连接至I/O接口404。可拆卸介质412，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器411上，以便于从其上读出的计算机程序根据需要被安装入存储部分409。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分410从网络上被下载和安装，和/或从可拆卸介质412被安装。在该计算机程序被中央处理单元(CPU)401和图形处理器(GPU)402执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：构建词典，通过词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出不包含词典中任一词的待识别语句；将每段对话中待识别语句进行实体识别，得到对应的实体类别，将实体类别与定义的实体类别进行比对，根据对比结果对第一数据集中的每段对话中的待识别语句进行过滤得到第二数据集；统计第二数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据相对位置距离结合临界距离对第二数据集中的三元组数据进行过滤，得到三元组数据集合；基于三元组数据集合对第二数据集中的每段对话进行拆分，得到至少包含三元组数据集合中一个三元组单元的一个对话片段，建立以对话片段和三元组单元作为最小训练单元的训练数据。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于对话关系的训练数据处理方法，其特征在于，包括以下步骤：
S1，构建词典，通过所述词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出不包含所述词典中任一词的待识别语句；
S2，将每段对话中所述待识别语句进行实体识别，得到对应的实体类别，将所述实体类别与定义的实体类别进行比对，根据对比结果对所述第一数据集中的每段对话中的所述待识别语句进行过滤得到第二数据集；
S3，统计所述第二数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据所述相对位置距离结合临界距离对所述第二数据集中的三元组数据进行过滤，得到三元组数据集合，所述步骤S3具体包括：
将所述第二数据集中的每段对话中的实体进行排列组合形成多个实体对，在所述多个实体对中过滤出存在实体关系的实体对形成所述三元组数据；
计算所述第二数据集中的每段对话中的所述三元组数据中的两个实体所在的语句在对话中的相对位置距离；
将所述相对位置距离小于或等于所述临界距离的所述三元组数据形成所述三元组数据集合，其中，三元组数据就是具有实体关系的实体对，相对位置距离是指在第二数据集中标注有实体关系的实体对间的距离，临界距离的确定过程具体是：根据第二数据集中超过预设阈值比例的三元组数据的相对位置距离小于或等于临界距离进行确定临界距离；
S4，基于所述三元组数据集合对所述第二数据集中的每段对话进行拆分，得到至少包含所述三元组数据集合中一个三元组单元的一个对话片段，建立以所述对话片段和所述三元组单元作为最小训练单元的训练数据。
2.根据权利要求1所述的基于对话关系的训练数据处理方法，其特征在于，所述第一数据集中的语句已完成三元组关系标注。
3.根据权利要求1所述的基于对话关系的训练数据处理方法，其特征在于，所述词典包含肯定词或否定词。
4.根据权利要求1所述的基于对话关系的训练数据处理方法，其特征在于，所述步骤S2具体包括：
若所述实体类别与定义的实体类别比对上，则保留所述待识别语句并将所述待识别语句存入所述第二数据集；
若所述实体类别与定义的实体类别未比对上，则删除所述待识别语句。
5.根据权利要求1所述的基于对话关系的训练数据处理方法，其特征在于，还包括：对所述三元组数据设定规则进行过滤。
6.根据权利要求1所述的基于对话关系的训练数据处理方法，其特征在于，所述步骤S4中的所述对话片段中的第一句存在所述三元组单元的第一个实体，倒数第二句存在所述三元组单元的第二个实体。
7.根据权利要求1所述的基于对话关系的训练数据处理方法，其特征在于，所述对话片段与所述三元组单元建立映射关系。
8.一种基于对话关系的训练数据处理装置，其特征在于，包括：
词典过滤模块，被配置为构建词典，通过所述词典将第一数据集中的每段对话中的每一个语句进行过滤，并标记出不包含所述词典中任一词的待识别语句；
实体识别模块，被配置为将每段对话中所述待识别语句进行实体识别，得到对应的实体类别，将所述实体类别与定义的实体类别进行比对，根据对比结果对所述第一数据集中的每段对话中的所述待识别语句进行过滤得到第二数据集；
距离过滤模块，被配置为计算所述第二数据集中的每段对话中的三元组数据的两个实体所在的语句在对话中的相对位置距离，并根据所述相对位置距离结合临界距离对所述第二数据集中的三元组数据进行过滤，得到三元组数据集合，所述距离过滤模块具体包括：
将所述第二数据集中的每段对话中的实体进行排列组合形成多个实体对，在所述多个实体对中过滤出存在实体关系的实体对形成所述三元组数据；
计算所述第二数据集中的每段对话中的所述三元组数据中的两个实体所在的语句在对话中的相对位置距离；
将所述相对位置距离小于或等于所述临界距离的所述三元组数据形成所述三元组数据集合，其中，三元组数据就是具有实体关系的实体对，相对位置距离是指在第二数据集中标注有实体关系的实体对间的距离，临界距离的确定过程具体是：根据第二数据集中超过预设阈值比例的三元组数据的相对位置距离小于或等于临界距离进行确定临界距离；以及
对话拆分模块，被配置为基于所述三元组数据集合对所述第二数据集中的每段对话进行拆分，得到至少包含所述三元组数据集合中一个三元组单元的一个对话片段，建立以所述对话片段和所述三元组单元作为最小训练单元的训练数据。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202110624573.1A 2021-06-04 2021-06-04 一种基于对话关系的训练数据处理方法、装置及可读介质 Active CN113268577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110624573.1A CN113268577B (zh) 2021-06-04 2021-06-04 一种基于对话关系的训练数据处理方法、装置及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624573.1A CN113268577B (zh) 2021-06-04 2021-06-04 一种基于对话关系的训练数据处理方法、装置及可读介质

Publications (2)

Publication Number Publication Date
CN113268577A CN113268577A (zh) 2021-08-17
CN113268577B true CN113268577B (zh) 2022-08-23

Family

ID=77234333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624573.1A Active CN113268577B (zh) 2021-06-04 2021-06-04 一种基于对话关系的训练数据处理方法、装置及可读介质

Country Status (1)

Country Link
CN (1) CN113268577B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210350209A1 (en) * 2018-09-28 2021-11-11 Jin Wang Intent and context-aware dialogue based virtual assistance
CN109472033B (zh) * 2018-11-19 2022-12-06 华南师范大学 文本中的实体关系抽取方法及***、存储介质、电子设备
CN110188182B (zh) * 2019-05-31 2023-10-27 中国科学院深圳先进技术研究院 模型训练方法、对话生成方法、装置、设备及介质
CN110888968A (zh) * 2019-10-15 2020-03-17 浙江省北大信息技术高等研究院 客服对话意图分类方法及装置、电子设备及介质
CN111309905A (zh) * 2020-02-06 2020-06-19 北京明略软件***有限公司 一种对话语句的聚类方法、装置、电子设备及存储介质
CN112182178A (zh) * 2020-09-25 2021-01-05 北京字节跳动网络技术有限公司 智能问答方法、装置、设备及可读存储介质
CN112487206B (zh) * 2020-12-09 2022-09-20 中国电子科技集团公司第三十研究所 一种自动构建数据集的实体关系抽取方法
CN112860862B (zh) * 2021-02-01 2022-11-11 北京邮电大学 人机对话中智能体对话语句的生成方法和装置

Also Published As

Publication number Publication date
CN113268577A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN109522552B (zh) 一种医疗信息的归一化方法、装置、介质及电子设备
CN110276023B (zh) Poi变迁事件发现方法、装置、计算设备和介质
WO2021174864A1 (zh) 基于少量训练样本的信息抽取方法及装置
CN114548110A (zh) 语义理解方法、装置、电子设备及存储介质
US20240220772A1 (en) Method of evaluating data, training method, electronic device, and storage medium
CN111143505A (zh) 文档处理方法、装置、介质及电子设备
CN111241209A (zh) 用于生成信息的方法和装置
US20220391598A1 (en) Text checking method based on knowledge graph, electronic device, and medium
CN111368551A (zh) 一种确定事件主体的方法和装置
CN113407851A (zh) 基于双塔模型的确定推荐信息的方法、装置、设备和介质
CN112528641A (zh) 建立信息抽取模型的方法、装置、电子设备和可读存储介质
CN112084779A (zh) 用于语义识别的实体获取方法、装置、设备及存储介质
CN112711943B (zh) 一种维吾尔文语种识别方法、装置及存储介质
CN109036554B (zh) 用于生成信息的方法和装置
CN113268577B (zh) 一种基于对话关系的训练数据处理方法、装置及可读介质
CN114662469B (zh) 情感分析方法、装置、电子设备及存储介质
CN113268575B (zh) 一种实体关系识别方法、装置及可读介质
CN114880498A (zh) 事件信息展示方法及装置、设备和介质
CN113961672A (zh) 信息标注方法、装置、电子设备和存储介质
CN114817476A (zh) 语言模型的训练方法、装置、电子设备和存储介质
CN114330718A (zh) 因果关系的提取方法、装置及电子设备
CN113033179A (zh) 知识获取方法、装置、电子设备及可读存储介质
CN110990528A (zh) 一种问答方法、装置及电子设备
US11907668B2 (en) Method for selecting annotated sample, apparatus, electronic device and storage medium
CN116363686B (zh) 一种在线社交网络视频平台来源检测方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant