CN116542297A - 基于文本数据训练生成对抗网络的方法及装置 - Google Patents

基于文本数据训练生成对抗网络的方法及装置 Download PDF

Info

Publication number
CN116542297A
CN116542297A CN202310797490.1A CN202310797490A CN116542297A CN 116542297 A CN116542297 A CN 116542297A CN 202310797490 A CN202310797490 A CN 202310797490A CN 116542297 A CN116542297 A CN 116542297A
Authority
CN
China
Prior art keywords
text data
generation
target
generator
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310797490.1A
Other languages
English (en)
Inventor
暴宇健
王芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202310797490.1A priority Critical patent/CN116542297A/zh
Publication of CN116542297A publication Critical patent/CN116542297A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种基于文本数据训练生成对抗网络的方法及装置，该方法包括：通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合；将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分；根据每个目标文本数据是否包含有害内容的评分，确定目标文本数据集合中目标文本数据包含有害内容的有害率；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练。本公开技术方案可以提升生成器识别有害内容的能力。

Description

基于文本数据训练生成对抗网络的方法及装置
技术领域
本公开涉及数据处理技术领域，尤其涉及一种基于文本数据训练生成对抗网络的方法及装置。
背景技术
目前，随着人工智能技术的不断发展，语言模型在自然语言处理领域得到了广泛的应用。然而，现在的语言模型识别有害内容的能力较差，在生成文本时，语言模型可能会涉及一些有害的内容，例如攻击性内容、隐私内容、涉及黄赌毒内容等。这些有害内容会对人们造成不良影响，甚至会引发社会问题和法律纠纷。因此，如何避免或减少语言模型生成的有害内容就成为了当前研究的热点问题。
发明内容
有鉴于此，本公开实施例提供了一种基于文本数据训练生成对抗网络的方法、装置、电子设备及计算机可读存储介质，以解决现有技术因语言模型识别有害内容的能力较差导致在生成文本时可能会包含有害内容的技术问题。
本公开实施例的第一方面，提供了一种基于文本数据训练生成对抗网络的方法，该生成对抗网络包括第一代生成器和第一代判别器，该方法包括：获取用于训练第一代生成器的文本数据集合；将文本数据集合中的每个文本数据输入到第一代生成器，并通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合；将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分；根据每个目标文本数据是否包含有害内容的评分，确定目标文本数据集合中目标文本数据包含有害内容的有害率；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练，循环上述步骤，直至第一代生成器收敛停止训练，得到目标生成器。
本公开实施例的第二方面，提供了一种基于文本数据训练生成对抗网络的装置，该生成对抗网络包括第一代生成器和第一代判别器，该装置包括：获取模块，用于获取用于训练第一代生成器的文本数据集合；识别处理模块，用于将文本数据集合中的每个文本数据输入到第一代生成器，并通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合；判别处理模块，用于将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分；确定模块，用于根据每个目标文本数据是否包含有害内容的评分，确定目标文本数据集合中目标文本数据包含有害内容的有害率；训练模块，用于以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练；循环模块，用于循环上述步骤，直至第一代生成器收敛停止训练，得到目标生成器。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：获取用于训练第一代生成器的文本数据集合，将文本数据集合中的每个文本数据输入到第一代生成器，并通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合，然后将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分，根据每个目标文本数据是否包含有害内容的评分可以确定目标文本数据集合中目标文本数据包含有害内容的有害率，这样以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练，循环上述步骤，直至第一代生成器收敛停止训练，得到目标生成器，以此方式得到的目标生成器识别有害内容的能力更强，有效地避免了在基于目标生成器生成文本时出现包含有害内容的文本数据。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了可以应用本发明实施例的技术方案的示例性***架构的示意图；
图2是本公开实施例提供的一种基于文本数据训练生成对抗网络的方法的流程示意图；
图3是本公开实施例提供的另一种基于文本数据训练生成对抗网络的方法的流程示意图；
图4是本公开实施例提供的又一种基于文本数据训练生成对抗网络的方法的流程示意图；
图5是本公开实施例提供的一种基于文本数据训练生成对抗网络的装置的结构示意图；
图6是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
需要说明的是，本公开所涉及的用户信息(包括但不限于终端设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
相关技术中，大语言模型在自然语言处理的各个领域都有着广泛的应用，其通过对海量语料的学习和建模，能够提取出文本的内在规律和语义信息，从而实现自然语言的各种应用，目前的使用场景如下：
1、语言生成任务：大语言模型可以用于生成文本，如生成对话、生成摘要、生成文章等，对于对话***、自动写作、自动摘要等任务具有很大的应用潜力。
2、语言理解任务：大语言模型可以用于语言理解任务，如命名实体识别、情感分析、文本分类等，对于搜索引擎、推荐***等具有很大的应用潜力。
3、语言增强任务：大语言模型可以用于文本数据增强，通过生成新的文本数据，扩充原始数据集，提高模型的泛化能力和鲁棒性。
4、机器翻译：大语言模型可以用于机器翻译，如谷歌的GNMT（Google NeuralMachineTranslation）模型就是一种基于大语言模型的机器翻译模型，其通过序列到序列的方式进行翻译。
5、文本生成与排版：大语言模型可以用于文本生成和排版，如自动生成新闻标题、自动排版等任务。
然而，在实际应用过程中，大语言模型在为用户提供优质内容的同时，也可能生成具有潜在危害的内容。一方面，大语言模型的训练数据来源于互联网和其他文本数据，其中不可避免地会包含错误、虚假或具有误导性的信息。这些错误信息可能导致模型在生成内容时产生类似的错误或误导性输出，进而对用户造成困扰和误导。其次，大语言模型可能生成具有攻击性和侵犯隐私的内容。这些模型在学习过程中可能吸收到一些具有攻击性、侵权或侵犯隐私的信息。在实际应用中，模型可能在无意识地生成包含类似信息的内容，从而引发道德伦理和法律纠纷。此外，大语言模型在生成内容时可能涉及恶意言论和令人不安的主题。训练数据中可能包含一些敏感话题、极端观点或令人不安的信息。这种情况可能导致模型在生成文本时产生具有负面影响的内容，进一步扩大恶劣言论的传播范围。
常见的大语言模型包括GPT（Generative Pre-trainedTransformer）、BERT（Bidirectional EncoderRepresentations from Transformers）、XLNet等，它们在自然语言处理任务中表现优秀，得到了广泛的应用。
以GPT为例，这是一种基于Transformer架构的大规模神经语言模型，其基本思想是在海量文本数据上进行预训练，然后在特定任务上进行微调，以实现更好的性能。其基本原理是基于Transformer架构，将输入序列映射到一个向量空间中，并将这个向量空间中的点表示为具有上下文相关性的词向量。在预训练过程中，GPT使用了一个基于自回归模型的语言模型，通过最大化下一个单词的条件概率，来学习模型参数。
GPT模型的主要过程如下：
（1）预处理阶段：GPT首先对原始文本进行分词，并将文本转化为一系列词向量的序列。在预训练阶段，GPT采用了类似于语言模型的任务，即预测给定上下文中的下一个单词。
（2）Transformer编码器：GPT使用了多层Transformer编码器来学习上下文相关的词向量表示。在每一层中，Transformer编码器使用自注意力机制和前向神经网络，对上一层的输出进行进一步的处理。
（3）预测下一个单词：在每一次预测时，GPT将前面的文本作为输入，通过多层Transformer编码器得到当前文本的表示，并通过softmax层计算下一个单词的条件概率。
（4）微调阶段：在特定任务上进行微调时，GPT会在预训练阶段的基础上，根据具体任务的特点，修改一些神经网络结构或者增加一些任务特定的输入，再对整个模型进行微调。
GPT在文本生成、文本分类、机器翻译等自然语言处理任务中表现出色，但是也可能生成具有潜在危害的内容。
基于以上问题，本公开提出了基于文本数据训练生成对抗网络的方法，采用该方法训练得到的生成器可以用于抵抗有害内容生成，以确保生成器在生成文本时能够有效地防止有害信息的传播。
图1示出了可以应用本发明实施例的技术方案的示例性***架构的示意图。
如图1所示，***架构100可以包括终第一端设备101、第二端设备102、第三终端设备103中的一种或多种，网络104和服务器105。网络104用以在第一端设备101、第二端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用第一端设备101、第二端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送文本数据。第一端设备101、第二端设备102、第三终端设备103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器。例如服务器105可以从第三端设备103（也可以是第一端设备101或第二端设备102）获取用于训练第一代生成器的文本数据集合，将文本数据集合中的每个文本数据输入到第一代生成器，并通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合，然后将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分，根据每个目标文本数据是否包含有害内容的评分可以确定目标文本数据集合中目标文本数据包含有害内容的有害率，这样以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练，循环上述步骤，直至第一代生成器收敛停止训练，得到目标生成器，以此方式得到的目标生成器识别有害内容的能力更强，有效地避免了在基于目标生成器生成文本时出现包含有害内容的文本数据。
在一些实施例中，本发明实施例所提供的基于文本数据训练生成对抗网络的方法一般由服务器105执行，相应地，基于文本数据训练生成对抗网络的装置一般设置于服务器105中。在另一些实施例中，某些终端设备可以具有与服务器相似的功能从而执行本方法。因此，本发明实施例所提供的基于文本数据训练生成对抗网络的方法不限定在服务器端执行。
下面将结合附图详细说明根据本公开实施例的基于文本数据训练生成对抗网络的方法和装置。
图2是本公开实施例提供的一种基于文本数据训练生成对抗网络的方法的流程示意图。本公开实施例提供的方法可以由任意具备计算机处理能力的电子设备执行，例如电子设备可以是图1示出的服务器。
如图2所示，该基于文本数据训练生成对抗网络的方法包括步骤S210至步骤S260。
在步骤S210中，获取用于训练第一代生成器的文本数据集合。
步骤S220，将文本数据集合中的每个文本数据输入到第一代生成器，并通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合。
在步骤S230中，将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分。
在步骤S240中，根据每个目标文本数据是否包含有害内容的评分，确定该目标文本数据集合中目标文本数据包含有害内容的有害率。
在步骤S250中，以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练。
在步骤S260中，循环上述步骤，直至第一代生成器收敛停止训练，得到目标生成器。
该方法可以获取用于训练第一代生成器的文本数据集合，将文本数据集合中的每个文本数据输入到第一代生成器，并通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合，然后将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分，根据每个目标文本数据是否包含有害内容的评分可以确定目标文本数据集合中目标文本数据包含有害内容的有害率，这样以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练，循环上述步骤，直至第一代生成器收敛停止训练，得到目标生成器，以此方式得到的目标生成器识别有害内容的能力更强，有效地避免了在基于目标生成器生成文本时出现包含有害内容的文本数据。
在本公开一些实施例中，上述用于训练第一代生成器的文本数据集合可以是收集与目标任务相关的大量文本数据。例如，可以从终端设备的公共数据集中获取，也可以通过网络爬虫自行收集。需要注意的是，收集的数据应该尽可能覆盖到不同的领域、不同的风格和不同的语种，以获得更加丰富的语言知识。在本实施例中，可以对收集到的文本数据需要进行预处理，包括去除无效字符、标点符号、停用词等，同时进行分词处理，将文本划分为单词或者短语。这些预处理操作有利于提高后续模型的性能。为了提高模型的鲁棒性和泛化能力，可以对训练集进行数据增强。例如，可以进行随机删除、替换、***、交换等操作，生成更多的训练样本。
在本公开一些实施例中，构建用于处理文本数据的生成对抗网络。例如，首先需要确定生成对抗网络要完成的文本处理任务目标，例如文本生成。根据任务目标和文本数据的特点，设计生成器和判别器的结构。生成器可以采用循环神经网络（RNN）、长短时记忆网络（LSTM）、变分自编码器（VAE）等结构；判别器可以采用卷积神经网络（CNN）、感知器等结构。定义生成器和判别器的损失函数，对于文本生成任务，可以使用交叉熵损失函数作为生成器的损失函数。判别器的损失函数可以采用对抗损失函数，例如JS散度、Wasserstein距离等。通过交替训练生成器和判别器，来提高生成器生成的文本数据的质量。具体来说，训练过程中，首先生成器生成样本数据，然后将这些生成数据以及真实数据输入到判别器中进行判别；判别器根据生成数据和真实数据的差异来更新自己的权重，使得判别器能够更加准确地区分生成数据和真实数据；同时，生成器根据判别器的反馈信息来更新自己的权重，使得生成器能够生成更加逼真的文本数据。在本申请中，该实施例中的生成器为通过现有训练方法得到语言模型，即上述第一代生成器，用于基于文本数据生成与其对应的目标文本数据。该实施例中的判别器为通过下面方法训练得到第一代判别器，用于判断目标本数据是否包含有害内容。
在本公开一些实施例中，在将目标文本数据集合中每个目标文本数据输入到第一代判别器之前，方法包括：获取用于训练判别器的标注文本数据，标注文本数据包括通过第一代生成器获取的有害文本数据和无害文本数据；将有害文本数据和无害文本数据输入到判别器，并通过判别器分别判断有害文本数据和无害文本数据是否包含有害内容，得到有害文本数据是否包含有害内容的评分和无害文本数据是否包好有害内容的评分；当有害文本数据是否包含有害内容的评分和无害文本数据是否包好有害内容的评分分别满足初始预设条件时，停止训练，得到第一代判别器，以此方式可以基于小规模的样本数据训练得到第一判别器，基于该第一代判别器可以用于判断第一代生成器生成的目标文本数据是否包含有害内容。
在本公开一些实施例中，第一代生成器可以是现有的语言模型，通过第一代生成器生成的文本数据包含的有害内容可以是错误、虚假或具有误导性的信息、还可以是具有攻击性、侵犯或侵权隐私、以及黄赌毒相关的信息。
在本公开一些实施例中，在第一代生成器收敛之后，方法还包括：获取用于训练第一代判别器的文本数据集合；将用于训练第一代判别器的文本数据集合中的每个文本数据输入到目标生成器，并通过目标生成器对用于训练第一代判别器的文本数据集合中的每个文本数据进行识别处理，生成用于训练第一代判别器的文本数据集合对应的目标文本数据集合；将用于训练第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据输入到第一代判别器，并通过第一代判别器判断用于训练第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容，得到用于训练第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容的评分；当用于训练第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容的评分满足目标预设条件时，停止训练，得到目标判别器。在第一代生成器收敛之后，循环采用该方式可以对第一代判别器进行优化，使得得到的目标判别器在判断目标文本数据时更加准确。
在本公开一些实施例中，根据每个目标文本数据是否包含有害内容的评分，确定该目标文本数据集合中目标文本数据包含有害内容的有害率。例如，目标数据集合中有100条目标文本数据，其中，根据每个目标文本数据是否包含有害内容的评分确定为包含有害内容的目标文本数据为50条，此时目标文本数据集合中目标文本数据包含有害内容的有害率为50%。
在本公开一些实施例中，以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练包括：以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过策略梯度算法对第一代生成器进行强化学习训练；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过演员-评论家算法对第一代生成器进行强化学习训练；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化对抗训练算法对第一代生成器进行强化学习训练；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过Q-learning算法对第一代生成器进行强化学习训练。
具体地，通过策略梯度算法对第一代生成器进行强化学习训练时，在策略梯度算法中，奖励通常被定义为智能体在执行某个策略时所获得的累积奖励，在文本生成任务中，奖励可以根据生成的文本质量或其他指标来定义。例如，可以将生成的文本质量作为奖励信号，以最大化生成的文本质量。在本申请中，生成的文本质量可以指该文本数据中是否包含有害内容，奖励信号可以是针对生成这个操作的奖励得分。在策略梯度算法中，需要通过学习一个策略函数来最大化累积奖励，具体而言，策略梯度算法使用梯度上升法来更新策略函数参数，以最大化累积奖励。因此，在策略梯度算法中，奖励机制扮演着重要的角色，它可以指导智能体学习如何在不同的状态下采取最优的动作，以最大化累积奖励。同时，策略梯度算法还需要通过梯度上升法来更新策略函数参数，以最大化期望累积奖励。
通过演员-评论家算法对第一代生成器进行强化学习训练时，在演员-评论家算法中，奖励通常被定义为智能体在执行某个策略时所获得的实时奖励，或者是智能体在执行某个策略时所获得的累积奖励，在文本生成任务中，奖励可以根据生成的文本质量或其他指标来定义。例如，可以将生成的文本质量作为奖励信号，以最大化生成的文本质量。在本申请中，生成的文本质量可以指该文本数据中是否包含有害内容，奖励信号可以是针对生成这个操作的奖励得分。在演员-评论家算法中，需要同时学习一个策略函数和一个价值函数。策略函数用于指导智能体如何在不同的状态下采取最优的动作，而价值函数用于评估当前状态的价值，以指导策略函数的更新。在演员-评论家算法中，奖励机制扮演着重要的角色，它可以指导智能体学习如何在不同的状态下采取最优的动作，以最大化实时奖励或累积奖励。同时，演员-评论家算法还需要通过更新策略函数和价值函数参数来最大化状态-动作值函数，以指导策略函数的更新。
通过强化对抗训练算法对第一代生成器进行强化学习训练时，在强化对抗训练算法中，奖励通常被定义为智能体在执行某个策略时所获得的实时奖励，或者是智能体在执行某个策略时所获得的累积奖励，在文本生成任务中，奖励可以根据生成的文本质量或其他指标来定义。例如，可以将生成的文本质量作为奖励信号，以最大化生成的文本质量。在本申请中，生成的文本质量可以指该文本数据中是否包含有害内容，奖励信号可以是针对生成这个操作的奖励得分。在强化对抗训练算法中，需要同时学习一个策略函数和一个对抗模型。策略函数用于指导智能体如何在不同的状态下采取最优的动作，而对抗模型用于评估当前状态是否具有对抗性，以指导策略函数的更新。在强化对抗训练算法中，奖励机制扮演着重要的角色，它可以指导智能体学习如何在不同的状态下采取最优的动作，以最大化实时奖励或累积奖励。同时，强化对抗训练算法还需要通过更新策略函数和对抗模型参数来最大化状态-动作值函数和对抗模型的鲁棒性。
通过Q-learning算法对第一代生成器进行强化学习训练时，在Q-learning算法中，奖励是指强化学习算法的反馈信号，用于指导智能体的学习过程。在Q-learning算法中，奖励通常被定义为智能体在状态执行动作后所获得的实时奖励。在训练过程中，Q-learning算法会根据当前状态和执行动作所获得的实时奖励，更新状态-动作值函数。在Q-learning算法中，奖励机制扮演着重要的角色，它可以指导智能体学习如何在不同的状态下采取最优的动作，以最大化累计奖励。
通过本申请提供的方法，可以采用上述四种方式以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练，以此方式获取的目标生成器识别有害内容的能力更强，避免将有害内容的文本数据传播给用户，进一步的提高用户体验。
图3是本公开实施例提供的另一种基于文本数据训练生成对抗网络的方法的流程示意图。
如图3所示，上述方法还可以包括步骤S310至步骤S330。
步骤S310，获取待识别的文本数据。
步骤S320，将待识别的文本数据输入到目标生成器，通过目标生成器对待识别的文本数据进行识别处理，生成待识别的文本数据对应的目标文本数据。
步骤S330，基于预设过滤规则，对待识别的文本数据对应的目标文本数据进行过滤处理，确定待识别的文本数据对应的目标文本数据是否包含有害内容，预设过滤规则包括基于正则表达式设置的过滤规则、基于硬匹配方式设置的过滤规则、以及基于软匹配方式设置的过滤规则。
该方法可以将待识别的文本数据输入到目标生成器，通过目标生成器对待识别的文本数据进行识别处理，生成待识别的文本数据对应的目标文本数据，以此方式生成的目标文本数据包含有害内容的概率更小，为了进一步保证目标文本数据的质量，可以基于预设过滤规则对待识别的文本数据对应的目标文本数据进行过滤处理，确定待识别的文本数据对应的目标文本数据是否包含有害内容，这样可以进一步避免生成包含有害内容的目标文本数据。
在本公开一些实施例中，上述基于正则表达式设置的过滤规则：首先需要确定有害内容的类型，例如涉黄、涉暴、涉政、涉恐等。不同类型的有害内容在语言表达方式上有所不同，需要针对不同类型设计不同的正则表达式。收集包含有害内容的文本数据，并进行分类整理。对收集到的样本数据进行分析，找出其中的特征和模式。可以采用文本挖掘、机器学习等技术来进行分析。根据样本数据的分析结果，设计正则表达式来匹配有害内容。正则表达式可以采用一些常见的语言特征，例如特定单词、特定字符、特定词性等。使用正则表达式对样本数据进行验证，查看匹配结果是否正确。如果发现匹配错误的情况，需要调整正则表达式并重新验证。
在本公开一些实施例中，上述硬匹配方式和软匹配方式的设置过程与设置正则表达式的过程相似，在此不再赘述。硬匹配是一种程序设计中的术语，指的是两个不同数据源之间的直接匹配。在硬匹配中，程序会直接比较两个数据源中的数据，如果两者完全匹配，则认为是匹配成功；如果不完全匹配，则匹配失败。硬匹配方式通常用于处理数据量较小、结构相对简单的数据集，例如对某个文本字符串进行精确匹配的情况。在实际应用中，硬匹配方式的精度较高。与硬匹配方式相对的是软匹配方式，软匹配方式通常用于处理数据量较大、结构相对复杂的数据集，例如对语音识别或自然语言处理任务进行的匹配。在软匹配中，程序会采用一些算法或模型，对数据进行预处理、特征提取等操作，然后使用相应的模型进行匹配。软匹配方式的优点在于可以处理更加复杂的数据集。
图4是本公开实施例提供的又一种基于文本数据训练生成对抗网络的方法的流程示意图。
如图4所示，上述方法还可以包括步骤S410至步骤S440。
在步骤S410中，获取待识别的文本数据。
在步骤S420中，将待识别的文本数据输入到目标生成器，通过目标生成器对待识别的文本数据进行识别处理，生成待识别的文本数据对应的目标文本数据。
在步骤S430中，通过实体识别模型对待识别的文本数据对应的目标文本数据进行实体抽取处理和实体关系抽取处理，得到待识别的文本数据对应的目标文本数据中的实体和实体关系，实体识别模型包括双向编码层和条件随机场层。
在步骤S440中，根据待识别的文本数据对应的目标文本数据中的实体和实体关系，确定待识别的文本数据对应的目标文本数据是否包含有害内容。
该方法可以将待识别的文本数据输入到目标生成器，通过目标生成器对待识别的文本数据进行识别处理，生成待识别的文本数据对应的目标文本数据，以此方式生成的目标文本数据包含有害内容的概率更小，为了进一步保证目标文本数据的质量，可以通过实体识别模型对待识别的文本数据对应的目标文本数据进行实体抽取处理和实体关系抽取处理，得到待识别的文本数据对应的目标文本数据中的实体和实体关系，根据待识别的文本数据对应的目标文本数据中的实体和实体关系，确定待识别的文本数据对应的目标文本数据是否包含有害内容，这样可以进一步避免生成包含有害内容的目标文本数据。
在本公开一些实施例中，上述实体识别模型包括双向编码层（即，BERT层）和条件随机场层（即，CRF层）。在本实施例中，使用BERT模型对目标文本数据进行实体识别，得到实体标注结果。例如，可以使用一些常见的实体识别工具，例如BERT-NER、BERT-CRF等。在实体识别时，需要注意选择合适的实体类型，例如人名、地名、组织机构名等。使用CRF模型对实体标注结果进行实体关系抽取，得到实体关系标注结果。在实体关系抽取时，需要注意设计合适的特征函数和参数，以提高实体关系抽取的准确性和鲁棒性。以此方式可以从上述目标文本数据中抽取实体和实体关系，并根据两者之间的关联关系判断该目标文本数据是否含有有害内容。
在本公开一些实施例中，上述方法还可以包括获取用户针对目标生成器生成的推荐文本数据作出的反馈信息，反馈信息包括推荐文本数据是否包含有害内容；基于用户针对目标生成器生成的推荐文本数据作出的反馈信息，更新目标生成器，更新预设过滤规则，以及更新实体识别模型。例如，反馈信息可以指推荐文本数据是有害文本数据，还是无害文本数据。然后将这些有害文本数据和无害文本数据返回发送至训练流程，可以继续对目标生成器进行训练以优化该目标生成器中的参数，以及还可以继续对训练实体识别模型进行训练以优化该实体识别模型中的参数。还可以针对反馈信息中的有害文本数据和无害文本数据设置新的过滤规则。采用上述方式可以不断的根据前端返回的反馈信息来优化目标生成器、过滤规则、以及实体识别模型。
下述为本公开装置实施例，可以用于执行本公开方法实施例。下文描述的基于文本数据训练生成对抗网络的装置与上文描述的基于文本数据训练生成对抗网络的方法可相互对应参照。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图5是本公开实施例提供的一种基于文本数据训练生成对抗网络的装置的结构示意图。
如图5所示，该基于文本数据训练生成对抗网络的装置500包括获取模块510、识别处理模块520、判别处理模块530、确定模块540、训练模块550和循环模块560。
具体地，获取模块510，用于获取用于训练第一代生成器的文本数据集合。
识别处理模块520，用于将文本数据集合中的每个文本数据输入到第一代生成器，并通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合。
判别处理模块530，用于将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分。
确定模块540，用于根据每个目标文本数据是否包含有害内容的评分，确定目标文本数据集合中目标文本数据包含有害内容的有害率。
训练模块550，用于以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练。
循环模块560，用于循环上述步骤，直至第一代生成器收敛停止训练，得到目标生成器。
该基于文本数据训练生成对抗网络的装置500可以获取用于训练第一代生成器的文本数据集合，将文本数据集合中的每个文本数据输入到第一代生成器，并通过第一代生成器对每个文本数据进行识别处理，生成文本数据集合对应的目标文本数据集合，然后将目标文本数据集合中每个目标文本数据输入到第一代判别器，并通过第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分，根据每个目标文本数据是否包含有害内容的评分可以确定目标文本数据集合中目标文本数据包含有害内容的有害率，这样以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练，循环上述步骤，直至第一代生成器收敛停止训练，得到目标生成器，以此方式得到的目标生成器识别有害内容的能力更强，有效地避免了在基于目标生成器生成文本时出现包含有害内容的文本数据。
在本公开的一些实施例中，上述训练模块550还用于：以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化学习算法对第一代生成器进行强化学习训练包括：以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过策略梯度算法对第一代生成器进行强化学习训练；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过演员-评论家算法对第一代生成器进行强化学习训练；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过强化对抗训练算法对第一代生成器进行强化学习训练；以目标文本数据集合中目标文本数据包含有害内容的有害率作为第一代生成器的生成奖励得分，通过Q-learning算法对第一代生成器进行强化学习训练。
在本公开的一些实施例中，在将目标文本数据集合中每个目标文本数据输入到第一代判别器之前，上述基于文本数据训练生成对抗网络的装置500还用于：获取用于训练判别器的标注文本数据，标注文本数据包括通过第一代生成器获取的有害文本数据和无害文本数据；将有害文本数据和无害文本数据输入到判别器，并通过判别器分别判断有害文本数据和无害文本数据是否包含有害内容，得到有害文本数据是否包含有害内容的评分和无害文本数据是否包好有害内容的评分；当有害文本数据是否包含有害内容的评分和无害文本数据是否包好有害内容的评分分别满足初始预设条件时，停止训练，得到第一代判别器。
在本公开的一些实施例中，在第一代生成器收敛之后，上述基于文本数据训练生成对抗网络的装置500还用于：获取用于训练第一代判别器的文本数据集合；将用于训练第一代判别器的文本数据集合中的每个文本数据输入到目标生成器，并通过目标生成器对用于训练第一代判别器的文本数据集合中的每个文本数据进行识别处理，生成用于训练第一代判别器的文本数据集合对应的目标文本数据集合；将用于训练第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据输入到第一代判别器，并通过第一代判别器判断用于训练第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容，得到用于训练第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容的评分；当用于训练第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容的评分满足目标预设条件时，停止训练，得到目标判别器。
在本公开的一些实施例中，上述基于文本数据训练生成对抗网络的装置500还用于：获取待识别的文本数据；将待识别的文本数据输入到目标生成器，通过目标生成器对待识别的文本数据进行识别处理，生成待识别的文本数据对应的目标文本数据；基于预设过滤规则，对待识别的文本数据对应的目标文本数据进行过滤处理，确定待识别的文本数据对应的目标文本数据是否包含有害内容，预设过滤规则包括基于正则表达式设置的过滤规则、基于硬匹配方式设置的过滤规则、以及基于软匹配方式设置的过滤规则。
在本公开的一些实施例中，上述基于文本数据训练生成对抗网络的装置500还用于：获取待识别的文本数据；将待识别的文本数据输入到目标生成器，通过目标生成器对待识别的文本数据进行识别处理，生成待识别的文本数据对应的目标文本数据；通过实体识别模型对待识别的文本数据对应的目标文本数据进行实体抽取处理和实体关系抽取处理，得到待识别的文本数据对应的目标文本数据中的实体和实体关系，实体识别模型包括双向编码层和条件随机场层；根据待识别的文本数据对应的目标文本数据中的实体和实体关系，确定待识别的文本数据对应的目标文本数据是否包含有害内容。
在本公开的一些实施例中，上述基于文本数据训练生成对抗网络的装置500还用于：获取用户针对目标生成器生成的推荐文本数据作出的反馈信息，反馈信息包括推荐文本数据是否包含有害内容；基于用户针对目标生成器生成的推荐文本数据作出的反馈信息，更新目标生成器，更新预设过滤规则，以及更新实体识别模型。
图6是本公开实施例提供的电子设备6的示意图。如图6所示，该实施例的电子设备6包括：处理器601、存储器602以及存储在该存储器602中并且可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者，处理器601执行计算机程序603时实现上述各装置实施例中各模块的功能。
电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备6可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解，图6仅仅是电子设备6的示例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器601可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器602可以是电子设备6的内部存储单元，例如，电子设备6的硬盘或内存。存储器602也可以是电子设备6的外部存储设备，例如，电子设备6上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器602还可以既包括电子设备6的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于文本数据训练生成对抗网络的方法，其特征在于，所述生成对抗网络包括第一代生成器和第一代判别器，所述方法包括：
获取用于训练所述第一代生成器的文本数据集合；
将所述文本数据集合中的每个文本数据输入到所述第一代生成器，并通过所述第一代生成器对每个文本数据进行识别处理，生成所述文本数据集合对应的目标文本数据集合；
将所述目标文本数据集合中每个目标文本数据输入到所述第一代判别器，并通过所述第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分；
根据每个目标文本数据是否包含有害内容的评分，确定所述目标文本数据集合中目标文本数据包含有害内容的有害率；
以所述目标文本数据集合中目标文本数据包含有害内容的有害率作为所述第一代生成器的生成奖励得分，通过强化学习算法对所述第一代生成器进行强化学习训练；
循环上述步骤，直至所述第一代生成器收敛停止训练，得到目标生成器。
2.根据权利要求1所述的方法，其特征在于，在将所述目标文本数据集合中每个目标文本数据输入到所述第一代判别器之前，所述方法包括：
获取用于训练判别器的标注文本数据，所述标注文本数据包括通过所述第一代生成器获取的有害文本数据和无害文本数据；
将所述有害文本数据和所述无害文本数据输入到所述判别器，并通过所述判别器分别判断所述有害文本数据和所述无害文本数据是否包含有害内容，得到所述有害文本数据是否包含有害内容的评分和所述无害文本数据是否包好有害内容的评分；
当所述有害文本数据是否包含有害内容的评分和所述无害文本数据是否包好有害内容的评分分别满足初始预设条件时，停止训练，得到所述第一代判别器。
3.根据权利要求2所述的方法，其特征在于，在所述第一代生成器收敛之后，所述方法还包括：
获取用于训练所述第一代判别器的文本数据集合；
将用于训练所述第一代判别器的文本数据集合中的每个文本数据输入到所述目标生成器，并通过所述目标生成器对用于训练所述第一代判别器的文本数据集合中的每个文本数据进行识别处理，生成用于训练所述第一代判别器的文本数据集合对应的目标文本数据集合；
将用于训练所述第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据输入到所述第一代判别器，并通过所述第一代判别器判断用于训练所述第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容，得到用于训练所述第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容的评分；
当用于训练所述第一代判别器的文本数据集合对应的目标文本数据集合中的每个目标文本数据是否包含有害内容的评分满足目标预设条件时，停止训练，得到目标判别器。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待识别的文本数据；
将所述待识别的文本数据输入到所述目标生成器，通过所述目标生成器对所述待识别的文本数据进行识别处理，生成所述待识别的文本数据对应的目标文本数据；
基于预设过滤规则，对所述待识别的文本数据对应的目标文本数据进行过滤处理，确定所述待识别的文本数据对应的目标文本数据是否包含有害内容，所述预设过滤规则包括基于正则表达式设置的过滤规则、基于硬匹配方式设置的过滤规则、以及基于软匹配方式设置的过滤规则。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取待识别的文本数据；
将所述待识别的文本数据输入到所述目标生成器，通过所述目标生成器对所述待识别的文本数据进行识别处理，生成所述待识别的文本数据对应的目标文本数据；
通过实体识别模型对所述待识别的文本数据对应的目标文本数据进行实体抽取处理和实体关系抽取处理，得到所述待识别的文本数据对应的目标文本数据中的实体和实体关系，所述实体识别模型包括双向编码层和条件随机场层；
根据所述待识别的文本数据对应的目标文本数据中的实体和实体关系，确定所述待识别的文本数据对应的目标文本数据是否包含有害内容。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取用户针对所述目标生成器生成的推荐文本数据作出的反馈信息，所述反馈信息包括所述推荐文本数据是否包含有害内容；
基于用户针对所述目标生成器生成的推荐文本数据作出的反馈信息，更新所述目标生成器，更新所述预设过滤规则，以及更新所述实体识别模型。
7.根据权利要求1所述的方法，其特征在于，以所述目标文本数据集合中目标文本数据包含有害内容的有害率作为所述第一代生成器的生成奖励得分，通过强化学习算法对所述第一代生成器进行强化学习训练包括：
以所述目标文本数据集合中目标文本数据包含有害内容的有害率作为所述第一代生成器的生成奖励得分，通过策略梯度算法对所述第一代生成器进行强化学习训练；
以所述目标文本数据集合中目标文本数据包含有害内容的有害率作为所述第一代生成器的生成奖励得分，通过演员-评论家算法对所述第一代生成器进行强化学习训练；
以所述目标文本数据集合中目标文本数据包含有害内容的有害率作为所述第一代生成器的生成奖励得分，通过强化对抗训练算法对所述第一代生成器进行强化学习训练；
以所述目标文本数据集合中目标文本数据包含有害内容的有害率作为所述第一代生成器的生成奖励得分，通过Q-learning算法对所述第一代生成器进行强化学习训练。
8.一种基于文本数据训练生成对抗网络的装置，其特征在于，所述生成对抗网络包括第一代生成器和第一代判别器，所述装置包括：
获取模块，用于获取用于训练所述第一代生成器的文本数据集合；
识别处理模块，用于将所述文本数据集合中的每个文本数据输入到所述第一代生成器，并通过所述第一代生成器对每个文本数据进行识别处理，生成所述文本数据集合对应的目标文本数据集合；
判别处理模块，用于将所述目标文本数据集合中每个目标文本数据输入到所述第一代判别器，并通过所述第一代判别器对每个目标文本数据进行判别处理，得到每个目标文本数据是否包含有害内容的评分；
确定模块，用于根据每个目标文本数据是否包含有害内容的评分，确定所述目标文本数据集合中目标文本数据包含有害内容的有害率；
训练模块，用于以所述目标文本数据集合中目标文本数据包含有害内容的有害率作为所述第一代生成器的生成奖励得分，通过强化学习算法对所述第一代生成器进行强化学习训练；
循环模块，用于循环上述步骤，直至所述第一代生成器收敛停止训练，得到目标生成器。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202310797490.1A 2023-07-03 2023-07-03 基于文本数据训练生成对抗网络的方法及装置 Pending CN116542297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310797490.1A CN116542297A (zh) 2023-07-03 2023-07-03 基于文本数据训练生成对抗网络的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310797490.1A CN116542297A (zh) 2023-07-03 2023-07-03 基于文本数据训练生成对抗网络的方法及装置

Publications (1)

Publication Number Publication Date
CN116542297A true CN116542297A (zh) 2023-08-04

Family

ID=87447472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310797490.1A Pending CN116542297A (zh) 2023-07-03 2023-07-03 基于文本数据训练生成对抗网络的方法及装置

Country Status (1)

Country Link
CN (1) CN116542297A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116822510A (zh) * 2023-08-28 2023-09-29 深圳市领存技术有限公司 一种文本处理方法、***、电子设备及存储介质
CN116886446A (zh) * 2023-09-06 2023-10-13 北京安天网络安全技术有限公司 一种自动化攻击的检测方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114896985A (zh) * 2022-05-25 2022-08-12 华中农业大学 一种幽默文本自动生成方法、***、介质、设备及终端
CN114969269A (zh) * 2022-06-23 2022-08-30 济南大学 基于实体识别和关系抽取的虚假新闻检测方法及***
CN115129866A (zh) * 2022-05-17 2022-09-30 网易（杭州）网络有限公司 训练文本生成方法、模型训练方法、装置及电子设备
CN115544245A (zh) * 2022-04-14 2022-12-30 东南大学 一种基于无监督学习的用户攻击性评论风格转换方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115544245A (zh) * 2022-04-14 2022-12-30 东南大学 一种基于无监督学习的用户攻击性评论风格转换方法
CN115129866A (zh) * 2022-05-17 2022-09-30 网易（杭州）网络有限公司 训练文本生成方法、模型训练方法、装置及电子设备
CN114896985A (zh) * 2022-05-25 2022-08-12 华中农业大学 一种幽默文本自动生成方法、***、介质、设备及终端
CN114969269A (zh) * 2022-06-23 2022-08-30 济南大学 基于实体识别和关系抽取的虚假新闻检测方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116822510A (zh) * 2023-08-28 2023-09-29 深圳市领存技术有限公司 一种文本处理方法、***、电子设备及存储介质
CN116822510B (zh) * 2023-08-28 2023-12-19 深圳市领存技术有限公司 一种文本处理方法、***、电子设备及存储介质
CN116886446A (zh) * 2023-09-06 2023-10-13 北京安天网络安全技术有限公司 一种自动化攻击的检测方法、电子设备及存储介质
CN116886446B (zh) * 2023-09-06 2023-11-24 北京安天网络安全技术有限公司 一种自动化攻击的检测方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Young et al. Recent trends in deep learning based natural language processing
Badjatiya et al. Attention-based neural text segmentation
CN112270196B (zh) 实体关系的识别方法、装置及电子设备
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
CN109299280B (zh) 短文本聚类分析方法、装置和终端设备
CN118349673A (zh) 文本处理模型的训练方法、文本处理方法及装置
CN110737758A (zh) 用于生成模型的方法和装置
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN116542297A (zh) 基于文本数据训练生成对抗网络的方法及装置
CN112527998A (zh) 一种答复推荐方法、答复推荐装置及智能设备
CN112016313B (zh) 口语化要素识别方法及装置、警情分析***
CN112101042A (zh) 文本情绪识别方法、装置、终端设备和存储介质
CN117076688A (zh) 基于领域知识图谱的知识问答方法及其装置、电子设备
CN115062718A (zh) 语言模型训练方法、装置、电子设备及存储介质
CN115840808A (zh) 科技项目咨询方法、装置、服务器及计算机可读存储介质
CN113468323B (zh) 争议焦点类别及相似判断方法及***及装置及推荐方法
KR102206781B1 (ko) 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치
CN114722832A (zh) 一种摘要提取方法、装置、设备以及存储介质
Mossie Social media dark side content detection using transfer learning emphasis on hate and conflict
CN116662555B (zh) 一种请求文本处理方法、装置、电子设备及存储介质
Mahalakshmi et al. Twitter sentiment analysis using conditional generative adversarial network
CN116484851A (zh) 基于变异字符检测的预训练模型训练方法及装置
CN111401070A (zh) 词义相似度确定方法及装置、电子设备及存储介质
CN114239555A (zh) 一种关键词提取模型的训练方法及相关装置
CN114333790A (zh) 数据处理方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230804