CN117312562A - 内容审核模型的训练方法、装置、设备及存储介质 - Google Patents

内容审核模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117312562A
CN117312562A CN202311286453.0A CN202311286453A CN117312562A CN 117312562 A CN117312562 A CN 117312562A CN 202311286453 A CN202311286453 A CN 202311286453A CN 117312562 A CN117312562 A CN 117312562A
Authority
CN
China
Prior art keywords
content
model
sample text
checking
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311286453.0A
Other languages
English (en)
Inventor
吴秉哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311286453.0A priority Critical patent/CN117312562A/zh
Publication of CN117312562A publication Critical patent/CN117312562A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种内容审核模型的训练方法、装置、设备及存储介质，属于内容审核领域。所述方法包括：获取多个样本文本的内容特征和每个样本文本的审核标签；通过生成模型根据样本文本的内容特征生成样本文本的第一审核过程，第一审核过程用于表述对样本文本的内容是否合规进行推理的过程；对第一审核过程进行多次内容采样，得到第一审核过程的多个采样结果；以及对第一审核过程和第一审核过程的多个采样结果进行一致性校验，以筛选出样本文本的第二审核过程；通过样本文本的第二审核过程训练内容审核模型。本申请能够消除生成模型生成训练数据时的错误和“幻觉”，从而提升训练的内容审核模型的可靠度。

Description

内容审核模型的训练方法、装置、设备及存储介质
技术领域
本申请涉及内容审核领域，特别涉及一种内容审核模型的训练方法、装置、设备及存储介质。
背景技术
随着用户生成内容的大量增加，各类在线平台对内容审核的需求也在激增。手工审核已越来越无法满足海量内容的审核要求，目前通常会构建自动化的内容审核模型进行内容审核。
相关技术中，在构建内容审核模型的过程中需要用到大量有标注的训练数据对内容审核模型进行训练，内容审核模型很难做到零样本学习。因此可采用生成模型来生成用于训练内容审核模型的训练数据，例如使用大语言模型生成训练数据。
大语言模型生成的训练数据，容易出现错误和“幻觉”，“幻觉”指生成的训练数据看似符合逻辑，但实际错误或者为不符合实际的虚假内容，此类训练数据会导致内容审核模型的可靠度较低。
发明内容
本申请提供了一种内容审核模型的训练方法、装置、设备及存储介质，可以提升训练的内容审核模型的可靠度。所述技术方案如下：
根据本申请的一方面，提供了一种内容审核模型的训练方法，所述方法包括：
获取多个样本文本的内容特征和每个所述样本文本的审核标签，所述审核标签用于反映所述样本文本的内容是否合规；
通过生成模型根据所述样本文本的内容特征生成所述样本文本的第一审核过程，所述第一审核过程用于表述对所述样本文本的内容是否合规进行推理的过程；
对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；以及对所述第一审核过程和所述第一审核过程的多个采样结果进行一致性校验，以筛选出所述样本文本的第二审核过程；
通过所述样本文本的第二审核过程训练所述内容审核模型，所述内容审核模型用于根据待预测文本的内容特征预测所述待预测文本的标签，所述待预测文本的标签用于预测所述待预测文本的内容是否合规。
根据本申请的另一方面，提供了一种内容审核模型的训练装置，所述装置包括：
获取模块，用于获取多个样本文本的内容特征和每个所述样本文本的审核标签，所述审核标签用于反映所述样本文本的内容是否合规；
生成模块，用于通过生成模型根据所述样本文本的内容特征生成所述样本文本的第一审核过程，所述第一审核过程用于表述对所述样本文本的内容是否合规进行推理的过程；
校验模块，用于对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；以及对所述第一审核过程和所述第一审核过程的多个采样结果进行一致性校验，以筛选出所述样本文本的第二审核过程；
训练模块，用于通过所述样本文本的第二审核过程训练所述内容审核模型，所述内容审核模型用于根据待预测文本的内容特征预测所述待预测文本的标签，所述待预测文本的标签用于预测所述待预测文本的内容是否合规。
在一个可选的设计中，所述生成模块，用于通过所述生成模型根据所述第一审核过程生成所述第一审核过程对应的问题，所述问题与所述第一审核过程的内容相关；以及通过所述生成模型根据所述第一审核过程以及所述问题生成第一回答；通过所述生成模型对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；通过所述生成模型根据所述第一审核过程的每个采样结果以及所述问题，生成所述每个采样结果的第二回答；
所述校验模块，用于对所述第一审核过程的所述第一回答和所述每个采样结果的第二回答进行一致性校验，以筛选出所述样本文本的第二审核过程。
在一个可选的设计中，所述校验模块，用于确定所述第一审核过程的所述第一回答和所述每个采样结果的第二回答的一致率；将所述一致率低于一致率阈值的第一审核过程从全部第一审核过程中移除，将剩余的第一审核过程确定为所述第二审核过程。
在一个可选的设计中，所述生成模块，用于将所述样本文本的内容特征和第一引导信息输入所述生成模型，得到所述样本文本的第三审核过程，所述第一引导信息用于引导所述生成模型根据所述样本文本的内容特征生成所述样本文本的第三审核过程；
所述装置还包括确定模块，所述确定模块，用于根据所述样本文本的第三审核过程确定所述样本文本的第一审核过程。
在一个可选的设计中，所述生成模块，用于将所述样本文本的内容特征、所述样本文本的第三审核过程以及第二引导信息输入所述生成模型，得到所述样本文本的第一预测标签，所述第一预测标签用于预测所述样本文本的内容是否合规，所述第二引导信息用于引导所述生成模型根据所述样本文本的内容特征和所述样本文本的第三审核过程生成所述样本文本的第一预测标签；
所述确定模块，用于在所述第一预测标签与所述审核标签一致的情况下，将所述样本文本的第三审核过程确定为所述样本文本的第一审核过程。
在一个可选的设计中，所述获取模块，用于在所述第一预测标签与所述审核标签不一致的情况下，获取第三引导信息，所述第三引导信息是通过修改所述第一引导信息得到的；
所述生成模块，用于将所述样本文本的内容特征和所述第三引导信息输入所述生成模型，以重新生成所述样本文本的第三审核过程；
所述确定模块，用于根据重新生成的所述样本文本的第三审核过程确定所述样本文本的第一审核过程。
在一个可选的设计中，所述生成模块，用于在重新生成所述样本文本的第三审核过程的过程中，将所述样本文本的审核标签输入所述生成模型。
在一个可选的设计中，所述训练模块，用于根据所述样本文本的内容特征、所述审核标签以及所述第二审核过程训练所述内容审核模型。
在一个可选的设计中，所述训练模块，用于将所述样本文本的内容特征以及所述样本文本的第二审核过程输入所述内容审核模型，得到所述样本文本的第二预测标签；根据所述样本文本的第二预测标签与所述样本文本的审核标签的误差确定误差损失；通过所述误差损失训练所述内容审核模型。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上方面所述的内容审核模型的训练方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上方面所述的内容审核模型的训练方法。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的内容审核模型的训练方法。
本申请提供的技术方案带来的有益效果至少包括：
通过生成样本文本的第一审核过程，并结合第一审核过程的内容采样结果对生成的第一审核过程进行一致性校验处理，从而能够生成并筛选出对齐且准确度较高的训练数据，即第二审核过程。由于若第一审核过程与其内容采样结果无法通过一致性校验，则很可能是生成的第一审核过程存在错误或“幻觉”导致的。因此对生成的数据进行一致性校验，从而筛选出模型训练使用的数据，有助于消除生成模型生成数据时的错误和“幻觉”。通过生成的具有较高准确度的第二审核过程来训练内容审核模型，能够提升内容审核模型的可靠度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的计算机***的结构框图；
图2是本申请一个示例性实施例提供的训练内容审核模型的过程的示意图；
图3是本申请一个示例性实施例提供的声源分离方法的流程示意图；
图4是本申请一个示例性实施例提供的声源分离方法的流程示意图；
图5是本申请一个示例性实施例提供的机器学习模型的结构示意图；
图6是本申请一个示例性实施例提供的编码器的结构示意图；
图7是本申请一个示例性实施例提供的解码器的结构示意图；
图8是本申请一个示例性实施例提供的信息流审核模型的训练方法的流程示意图；
图9是本申请一个示例性实施例提供的内容审核模型的训练装置的结构示意图；
图10是本申请一个示例性实施例提供的内容审核模型的训练装置的结构示意图；
图11是本申请一个示例性实施例提供的计算机设备的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请涉及的相关名词进行介绍：
人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互***、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
自然语言处理(Nature Language processing，NLP)：是计算机科学领域与人工智能领域中的重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理涉及自然语言，即人们日常使用的语言，与语言学研究密切，同时涉及计算机科学和数学，是人工智能领域模型训练的重要技术，例如预训练模型，即是从NLP领域的大语言模型(Large Language Model，LLM)发展而来。经过微调，大语言模型可以广泛应用于下游任务。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。本申请中的生成模型支持自然语言处理。
机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。
预训练模型(Pre-training model)：也称基石模型、大模型，指具有大参量的深度神经网络(Deep neural network，DNN)，在海量未标记的数据上对其进行训练，利用大参量DNN的函数近似能力使预训练模型在数据上提取共性特征，经微调(fine tune)、参数高效微调(PEFT)、prompt-tuning(一种模型微调方法)等技术，适用于下游任务。因此，预训练模型可以在小样本(Few-shot)或零样本(Zero-shot)场景下达到理想效果。预训练模型按照处理的数据模态可以分为语言模型(例如ELMO、BERT、GPT)、视觉模型(例如swin-transformer、ViT、V-MOE)、语音模型(例如VALL-E)、多模态模型(例如ViBERT、CLIP、Flamingo、Gato)等，其中多模态模型指建立两种或以上数据模态特征表示的模型。预训练模型是输出人工智能生成内容(AIGC)重要工具，也可以作为连接多个具体任务模型的通用接口。本申请中的生成模型可视为一种预训练模型。
大语言模型(Large Language Model，LLM)：是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。一些实施例中，本申请中的生成模型为大语言模型。
图1是本申请一个示例性实施例提供的计算机***的结构框图。该计算机***包括终端110、第一服务器120和第二服务器130，终端110、第一服务器120和第二服务器130之间通过通信网络140连接。一些实施例中，终端110中部署有支持用户输入文本的客户端，该客户端为独立的客户端，或者为依赖宿主程序运行的小程序，或者为网页端，本申请实施例对此不作限制。一些实施例中，上述客户端包括即时通信客户端、视频客户端、社交客户端、金融客户端、网购客户端、音乐客户端、外卖客户端、办公客户端、游戏客户端、地图客户端、交通客户端、导航客户端等，终端110通过该客户端实现与第一服务器120通信。
需要说明的是，图1中终端110和第一服务器120的数量仅用作示例，不作为对本申请实施例提供的计算机***的结构的限制。可以理解的是，第一服务器120可以与多个终端110连接。
在一些实施例中，终端110用于向第一服务器120发送待预测文本，待预测文本是用户输入的文本，包括手动输入的文本或者通过机器学习模型生成的文本，本申请实施例对此不作限制。一些实施例中，在触发判断用户输入的文本的内容是否合规的情况下，终端110向第一服务器120发送待预测文本。
对于针对待预测文本的标签进行预测的过程，可以由终端110单独执行实现，也可以由第一服务器120执行实现，或者由终端110和第一服务器120通过数据交互实现，本申请实施例对此不加以限定。示意性的，以第一服务器120通过内容审核模型121对待预测文本的标签进行预测为例进行说明。一些实施例中，内容审核模型121部署在第一服务器120中。一些实施例中，内容审核模型121未部署在第一服务器120中，第一服务器120通过内容审核模型121对应的应用程序编程接口(Application Programming Interface，API)向内容审核模型121输入信息，以及获取内容审核模型121输出的信息。一些实施例中，该内容审核模型121是自行构建并训练的模型。一些实施例中，该内容审核模型121是公开的预训练的模型。一些实施例中，该内容审核模型121是大语言模型，或者该内容审核模型121为判别模型或分类模型。第一服务器120通过将待预测文本输入内容审核模型121，能够得到待预测文本的标签，该待预测文本的标签用于预测待预测文本的内容是否合规。可选地，第一服务器120将待预测文本的标签发送至终端110，由终端110对待预测文本进行合规情况下的处理或不合规情况下的处理，例如删除待预测文本或发出警告等。
针对训练内容审核模型121的过程，是通过第二服务器130提供的训练数据实现的。一些实施例中，第二服务器130与第一服务器120独立设置。一些实施例中，第二服务器130与第一服务器120实现为同一服务器。第二服务器130能够调用生成模型131，生成模型131用于生成与输入信息匹配的输出信息。一些实施例中，生成模型131部署在第二服务器130中。一些实施例中，生成模型131未部署在第二服务器130中，第二服务器130通过生成模型131对应的API向生成模型131输入信息，以及获取生成模型131输出的信息。一些实施例中，该生成模型131是自行构建并训练的模型。一些实施例中，该生成模型131是公开的预训练的模型。一些实施例中，该生成模型131是大语言模型。第二服务器130能够基于多个样本文本的内容特征和每个样本文本的审核标签，通过生成模型131生成符合样本文本的审核标签的样本文本的第一审核过程，该第一审核过程用于表述对样本文本的内容是否合规进行推理的过程。以及基于通过生成模型131生成的第一审核过程的多个内容采样结果，对生成的第一审核过程进行一致性校验，从而筛选出第二审核过程，并将其与样本文本的内容特征和样本文本的审核标签共同作为训练数据。通过使生成的数据与原始数据对齐，和对生成的数据进行一致性校验处理有助于消除生成模型131生成数据时的错误和“幻觉”，从而生成具有较高准确度的训练数据，来训练内容审核模型121。
值得注意的是，上述终端包括但不限于手机、平板电脑、便携式膝上笔记本电脑、智能语音交互设备、智能家电、车载终端、飞行器等移动终端，也可以实现为台式电脑等；上述第一服务器、第二服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、应用程序、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。
在一些实施例中，上述第一服务器、第二服务器还可以实现为区块链***中的节点。
图2是本申请一个示例性实施例提供的训练内容审核模型的过程的示意图。如图2所示，计算机设备获取第一数据集201，第一数据集201包括多个样本文本的内容特征和每个样本文本的审核标签，该审核标签用于反映样本文本的内容是否合规。一些实施例中，审核标签是人工标注的。之后，计算机设备会通过下述步骤来生成对齐训练数据，从而得到第二数据集202。
生成审核过程：计算机设备通过生成模型203根据样本文本的内容特征生成样本文本的第三审核过程，该第三审核过程用于表述生成模型202对样本文本的内容是否合规进行推理的过程。
审核过程标签一致性处理：计算机设备通过生成模型203根据样本文本的内容特征和生成的样本文本的第三审核过程，生成样本文本的第一预测标签，在生成的第一预测标签与审核标签一致的情况下，计算机设备会将该第三审核过程确定为第一审核过程。在生成的第一预测标签与审核标签不一致的情况下，计算机设备会获取修改的引导信息，并以此重新生成样本文本的第三审核过程，之后再次执行上述判断与处理。该引导信息是在通过生成模型203生成样本文本的第三审核过程时，向生成模型203输入的信息，用于引导生成模型根据样本文本的内容特征生成样本文本的第三审核过程。
审核过程幻觉消除：计算机设备通过生成模型203根据样本文本的第一审核过程生成第一审核过程对应的问题，该问题与第一审核过程的内容相关。并通过生成模型203根据第一审核过程以及问题生成第一回答。之后通过生成模型203对第一审核过程进行多次内容采样，从而得到第一审核过程的多个采样结果，该采样结果用于表述第一审核过程的内容。之后计算机设备会通过生成模型203根据第一审核过程的每个采样结果以及之前生成的问题，生成每个采样结果的第二回答，并对第一审核过程的第一回答和每个采样结果的第二回答进行一致性校验，以从全部第一审核过程中筛选出符合一致性要求的样本文本的第二审核过程，以消除生成审核过程中的错误和“幻觉”。若第一审核过程与其内容采样结果无法通过一致性校验，则很可能是生成的第一审核过程存在错误或“幻觉”导致的。因此对生成的数据进行一致性校验，从而筛选出模型训练使用的数据，有助于消除生成模型生成数据时的错误和“幻觉”。
在得到样本文本的第二审核过程后，计算机设备会将其与第一数据集201合并，得到第二数据集202，从而根据第二数据集202中的样本文本的内容特征、审核标签以及第二审核过程训练内容审核模型204。
通过生成样本文本的第一审核过程，并结合第一审核过程的内容采样结果对生成的第一审核过程进行一致性校验处理，从而能够生成并筛选出对齐且准确度较高的训练数据，即第二审核过程。对生成的数据进行一致性校验处理有助于消除生成模型生成数据时的错误和“幻觉”。通过生成的具有较高准确度的第二审核过程来训练内容审核模型，能够提升内容审核模型的可靠度。
图3是本申请一个示例性实施例提供的内容审核模型的训练方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图3所示，该方法包括：
步骤302：获取多个样本文本的内容特征和每个样本文本的审核标签。
样本文本的内容特征用于反映样本文本的内容。可选地，样本文本的内容特征是指样本文本的文本数据。审核标签用于反映样本文本的内容是否合规。示例地，内容是否合规包括是否符合相关地区的规定，以及是否符合平台针对用户输入的内容设置的要求等，例如是否为不利于心理健康的有害信息。
计算机设备通过本地数据获取样本文本的内容特征，或者通过与计算机设备建立连接的其它计算机设备获取样本文本的内容特征，或者通过输入的数据获取样本文本的内容特征。可选地，审核标签是人工基于样本文本的内容特征对样本文本进行标注得到的。例如，审核标签为0表示正常内容，审核标签为1表示违规内容。
可选地，在获取到多个样本文本的内容特征和每个样本文本的审核标签后，计算机设备会将收集在第一数据集中。
步骤304：通过生成模型根据样本文本的内容特征生成样本文本的第一审核过程。
生成模型用于生成与输入信息匹配的输出信息。一些实施例中，该生成模型包括大语言模型。可选地，在将输入信息输入生成模型以生成对应的输出信息时，还需要向生成模型输入引导信息(也称为提示(prompt))，引导信息用于引导生成模型根据输入信息输出与输入信息匹配且符合引导信息要求的输出信息，引导信息与输入信息一同输入或分开输入。
一些实施例中，生成模型部署在计算机设备中，计算机设备直接调用生成模型。一些实施例中，生成模型未部署在计算机设备中，计算机设备通过生成模型对应的API调用生成模型。一些实施例中，生成模型是开发人员自行构建并训练的模型。一些实施例中，生成模型是公开的预训练的模型。
第一审核过程用于表述对样本文本的内容是否合规进行推理的过程。例如，用于表述生成模型对样本文本的内容是否合规进行推理(思考)的过程，可采用自然语言描述。需要说明的是，本申请实施例中的审核过程也可以称为审核过程描述。
可选地，计算机设备通过生成模型根据样本文本的内容特征生成样本文本的第三审核过程，并将其确定为样本文本的第一审核过程。或者，计算机设备在生成样本文本的第三审核过程后，会对其进行标签一致性检验，若检验不通过，则会重新生成样本文本的第三审核过程，并再次执行上述判断和处理的过程，从而得到样本文本的第一审核过程。标签一致性检验是指根据第三审核过程和其对应的样本文本的内容特征，预测样本文本的第一预测标签，并判断第一预测标签与样本文本的审核标签是否一致，第一预测标签用于预测样本文本的内容是否合规。可选地，第一预测标签是通过生成模型生成的。
可选地，在生成第三审核过程时，计算机设备会向生成模型输入第一引导信息。可选地，第一引导信息是人工设置的。设置第一引导信息时，可参照以下内容：(1)提示模型角色定位，例如“您是一个内容审核员”；(2)描述审核目标，例如“请审核下列内容是否违规”；(3)提供输出的样例格式，例如“请逐句给出判断理由”。示例地，第一引导信息为“您是一个内容审核员，下面提供一段需要审核的内容，请逐句判断其是否违规，并给出您的判断理由”，生成模型生成的审核过程为“句1:不违规，因为xx；句2:违规，因为xx”。
步骤306：对第一审核过程进行多次内容采样，得到第一审核过程的多个采样结果，以及对第一审核过程和第一审核过程的多个采样结果进行一致性校验，以筛选出样本文本的第二审核过程。
第一审核过程的采样结果与第一审核过程的内容相关，例如用于反映第一审核过程的内容。例如，采样结果用于总结第一审核过程的内容，或者提取第一审核过程的主要内容，或者采用其它表达方式表达第一审核过程的内容，本申请实施例对采样结果的具体内容不作限制。可选地，多个采样结果中的各个采样结果不同。一些实施例中，计算机设备通过生成模型实现对第一审核过程进行多次内容采样。
对第一审核过程和第一审核过程的多个采样结果进行一致性校验可视为校验第一审核过程表达的内容和多个采样结果表达的内容是否一致。若不一致，则生成的第一审核过程很可能存在错误或“幻觉”。若一致，则生成的第一审核过程很可能是与输入信息对齐且准确的，因此该情况下可以将第一审核过程作为第二审核过程用于后续模型训练。
可选地，计算机设备根据第一审核过程生成与第一审核过程的内容相关的问题，并基于该问题和第一审核过程生成第一回答。之后根据每个采样结果和该问题，生成每个采样结果的第二回答，通过校验第一回答和第二回答的一致率，从而实现对第一审核过程的一致性校验，进而可筛选出第二审核过程。可选地，上述生成过程是通过生成模型实现的。例如，计算机设备根据第一审核过程生成用于询问其内容的问题q，并基于第一审核过程生成问题q的回答a。之后基于采样结果生成问题q的回答，并对每个采样结果执行，得到不同采样结果对应的回答a1-aj，j为采样结果的数量。通过校验回答a和回答a1-aj的一致率，从而实现对第一审核过程的一致性校验，以筛选出第二审核过程。
步骤308：通过样本文本的第二审核过程训练内容审核模型。
内容审核模型用于根据待预测文本的内容特征预测待预测文本的标签，待预测文本的标签用于预测待预测文本的内容是否合规。待预测文本是用户输入的文本，包括手动输入的文本或者通过机器学习模型生成的文本，本申请实施例对此不作限制。一些实施例中，该内容审核模型是大语言模型，或者该内容审核模型为判别模型或分类模型。
可选地，计算机设备根据样本文本的内容特征、审核标签以及第二审核过程训练内容审核模型。可选地，在训练内容审核模型的过程中，计算机设备将样本文本的内容特征以及样本文本的第二审核过程输入内容审核模型，得到样本文本的第二预测标签。并根据样本文本的第二预测标签与样本文本的审核标签的误差确定误差损失，之后通过误差损失训练内容审核模型。
可选地，在获取到样本文本的第二审核过程后，计算机设备会将其与第一数据集合并，得到第二数据集，并通过第二数据集训练内容审核模型。
一些实施例中，上述样本文本和待预测文本为地图车联网领域中的文本，例如为用户在地图客户端中输入的文本，包括用户输入的反映道路交通状况的文本、用户与其他用户进行交流的文本、用户针对地图中的地点进行提问或描述的文本等。或者为用户在车载终端中输入的文本，包括用于进行提问或搜索的文本、用户与其他用户进行交流的文本、用户发表评论的文本等。本申请实施例对上述文本的内容类型不作限制。
综上所述，本实施例提供的方法，通过生成样本文本的第一审核过程，并结合第一审核过程的内容采样结果对生成的第一审核过程进行一致性校验处理，从而能够生成并筛选出对齐且准确度较高的训练数据，即第二审核过程。由于若第一审核过程与其内容采样结果无法通过一致性校验，则很可能是生成的第一审核过程存在错误或“幻觉”导致的。因此对生成的数据进行一致性校验，从而筛选出模型训练使用的数据，有助于消除生成模型生成数据时的错误和“幻觉”。通过生成的具有较高准确度的第二审核过程来训练内容审核模型，能够提升内容审核模型的可靠度。
图4是本申请一个示例性实施例提供的内容审核模型的训练方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图4所示，该方法包括：
步骤402：获取多个样本文本的内容特征和每个样本文本的审核标签。
样本文本的内容特征用于反映样本文本的内容。可选地，样本文本的内容特征是指样本文本的文本数据。审核标签用于反映样本文本的内容是否合规。示例地，内容是否合规包括是否符合国家或地方法律、法规的要求，以及是否符合平台针对用户输入的内容设置的要求等。
步骤404：通过生成模型根据样本文本的内容特征生成样本文本的第一审核过程。
生成模型用于生成与输入信息匹配的输出信息。一些实施例中，该生成模型包括大语言模型。第一审核过程用于表述对样本文本的内容是否合规进行推理的过程，可采用自然语言描述。
可选地，计算机设备将样本文本的内容特征和第一引导信息输入生成模型，从而得到样本文本的第三审核过程，第三审核过程用于表述对样本文本的内容是否合规进行推理的过程。其中，第一引导信息用于引导生成模型根据样本文本的内容特征生成样本文本的第三审核过程。可选地，第一引导信息是人工设置的。之后计算机设备可根据样本文本的第三审核过程确定样本文本的第一审核过程。
在通过生成模型生成第三审核过程的过程中，会在当前时间步对下一时间步的预测结果的概率进行预测，之后通过束搜索(beam search)对各时间步的预测结果基于概率进行搜索，从而汇总得到最终生成的第三审核过程。示例地，在时间步t，生成模型Gθ预测下一预测结果的概率可表示为P(ai,t∣ai,1:t-1,ci)＝Gθ(ai,1:t-1,ai)，其中P表示概率，ci表示第i个样本文本的内容特征，ai,t表示时间步t的预测结果，ai表示第i个样本文本的第三审核过程。束搜索是一种用于文本生成的搜索算法，其目的是找到可能的输出序列中概率最大的那个，通过使用束搜索可获得最终的生成序列，即第三审核过程。束搜索通过利用上述条件概率，可以计算到当前时间步t的所有可能序列的累积概率，并且会保留前K条概率最大的序列作为候选，之后在后续时间步迭代上述过程，直到获得最终概率最大的输出序列，从而最终的生成序列。束搜索这种搜索策略可以确保得到概率高且语义合理的生成序列。
计算机设备通过对生成的第三审核过程进行标签一致性检验，从而可确定样本文本的第一审核过程。可选地，计算机设备将样本文本的内容特征、样本文本的第三审核过程以及第二引导信息输入生成模型，从而得到样本文本的第一预测标签。其中，第一预测标签用于预测样本文本的内容是否合规，第二引导信息用于引导生成模型根据样本文本的内容特征和样本文本的第三审核过程生成样本文本的第一预测标签。在样本文本的第一预测标签与审核标签一致的情况下，计算机设备会将该样本文本的第三审核过程确定为改样本文本的第一审核过程，以供后续流程使用。
可选地，在样本文本的第一预测标签与审核标签不一致的情况下，计算机设备会获取第三引导信息，并将样本文本的内容特征和第三引导信息输入生成模型，以重新生成样本文本的第三审核过程，之后再根据重新生成的样本文本的第三审核过程确定样本文本的第一审核过程。可选地，在重新生成样本文本的第三审核过程的过程中，计算机设备还会将样本文本的审核标签输入生成模型，以供生成模型参考。计算机设备会对全部第三审核过程进行重新生成，或者对不满足标签一致性检验的第三审核过程进行重新生成。可选地，当全部第一预测标签与审核标签一致，或者重新生成的次数达到预设阈值时，计算机设备会终止重新生成过程。并将当前生成的第三审核过程确定为第一审核过程，以供后续流程使用。可选地，计算机设备可统计使用各引导信息生成的审核过程的标签一致性程度，并使用最优化的引导信息来生成审核过程。
可选地，上述第三引导信息是通过修改第一引导信息得到的。该修改过程是人工执行的，或者该修改过程是自动化实现的。示例地，对于第一引导信息的修改，可参照以下规则：(1)调整内容的表述，使用更清晰、中性的语言；(2)明确强调审核需要以真实标签为标准；(3)增加针对当前易错内容的提示，或提供正面榜样；(4)适当缩减或扩充引导信息的长度。可选地，通过将第一引导信息和上述修改规则输入生成模型，可得到生成模型预测的按照修改规则修改第一引导信息得到的第三引导信息。
步骤406：通过生成模型根据第一审核过程生成第一审核过程对应的问题，以及通过生成模型根据第一审核过程以及问题生成第一回答。
第一审核过程对应的问题与第一审核过程的内容相关。可选地，计算机设备将第一审核过程以及相应的引导信息输入生成模型，从而得到第一审核过程对应的问题。该引导信息用于引导生成模型根据第一审核过程生成第一审核过程对应的问题，例如引导生成模型生成对第一审核过程的内容进行询问的问题。例如，该引导信息为“请针对输入的审核过程的内容随机生成问题”。
可选地，计算机设备将第一审核过程、第一审核过程对应的问题以及相应的引导信息输入生成模型，从而得到第一回答。该引导信息用于引导生成模型根据第一审核过程对第一审核过程对应的问题生成回答。例如，该引导信息为“请基于输入的审核过程的内容，对其对应的问题生成回答”。
步骤408：通过生成模型对第一审核过程进行多次内容采样，得到第一审核过程的多个采样结果。
第一审核过程的采样结果与第一审核过程的内容相关，例如用于反映第一审核过程的内容。例如，采样结果用于总结第一审核过程的内容，或者提取第一审核过程的主要内容，或者采用其它表达方式表达第一审核过程的内容，本申请实施例对采样结果的具体内容不作限制。可选地，多个采样结果中的各个采样结果不同。可选地，计算机设备将第一审核过程以及每次采样的引导信息输入生成模型，从而得到第一审核过程的多个采样结果。例如，该引导信息包括“请为输入的审核过程生成总结”和“换一种方式表达输入的审核过程的内容”，或者“请采用2种不同方式来表达输入的审核过程的内容”。
示例地，内容采样过程可分为文本处理和模型预测，文本处理用于进行文本分割和向量化。例如，将输入的文本按照一定规则拆分成若干个片段，并将每个片段转化为向量。模型预测用于利用上述向量化的文本来生成预测结果。例如基于该预测结果，可从输入的文本中随机选择一些片段，形成新的文本即采样结果。
步骤410：通过生成模型根据第一审核过程的每个采样结果以及问题，生成每个采样结果的第二回答。
计算机设备将第一审核过程的采样结果、第一审核过程对应的问题以及相应的引导信息输入生成模型，从而得到该采样结果的第二回答。通过针对每个采样结果执行上述步骤，即可得到每个采样结果的第二回答。该引导信息用于引导生成模型根据采样结果对第一审核过程对应的问题生成回答。例如，该引导信息为“请基于输入的采样结果的内容，对输入的问题生成回答”。
步骤412：对第一审核过程的第一回答和每个采样结果的第二回答进行一致性校验，以筛选出样本文本的第二审核过程。
计算机设备确定第一审核过程的第一回答和每个采样结果的第二回答的一致率，并将一致率低于一致率阈值的第一审核过程从全部第一审核过程中移除，之后将剩余的第一审核过程确定为第二审核过程。可选地，该一致率是通过计算第一数量与第二数量的比值确定的。其中，第一数量为第一审核过程的各个采样结果的第二回答中，与第一回答一致的采样结果的数量，第二数量为第一审核过程对应的采样结果的总数量。
对第一审核过程和第一审核过程的多个采样结果进行一致性校验可视为校验第一审核过程表达的内容和多个采样结果表达的内容是否一致。若不一致，则生成的第一审核过程很可能存在错误或“幻觉”。若一致，则生成的第一审核过程很可能是与输入信息对齐且准确的，因此该情况下可以将第一审核过程作为第二审核过程用于后续模型训练。
步骤414：通过样本文本的第二审核过程训练内容审核模型。
内容审核模型用于根据待预测文本的内容特征预测待预测文本的标签，待预测文本的标签用于预测待预测文本的内容是否合规。待预测文本是用户输入的文本，包括手动输入的文本或者通过机器学习模型生成的文本，本申请实施例对此不作限制。一些实施例中，该内容审核模型是大语言模型，或者该内容审核模型为判别模型或分类模型。
可选地，计算机设备根据样本文本的内容特征、审核标签以及第二审核过程训练内容审核模型。可选地，在训练内容审核模型的过程中，计算机设备将样本文本的内容特征以及样本文本的第二审核过程输入内容审核模型，得到样本文本的第二预测标签，第二预测标签用于预测样本文本的内容是否合规。并根据样本文本的第二预测标签与样本文本的审核标签的误差确定误差损失，之后通过误差损失训练内容审核模型。可选地，计算机设备根据样本文本的第二预测标签与样本文本的审核标签确定交叉熵损失，之后通过交叉熵损失训练内容审核模型。
综上所述，本实施例提供的方法，通过生成样本文本的第一审核过程，并结合第一审核过程的内容采样结果对生成的第一审核过程进行一致性校验处理，从而能够生成并筛选出对齐且准确度较高的训练数据，即第二审核过程。由于若第一审核过程与其内容采样结果无法通过一致性校验，则很可能是生成的第一审核过程存在错误或“幻觉”导致的。因此对生成的数据进行一致性校验，从而筛选出模型训练使用的数据，有助于消除生成模型生成数据时的错误和“幻觉”。通过生成的具有较高准确度的第二审核过程来训练内容审核模型，能够提升内容审核模型的可靠度。
本实施例提供的方法，还通过根据第一审核过程生成问题和问题相应的第一回答，以及根据第一审核过程的每个采样结果以及相同的问题生成第二回答，从而可通过校验第二回答与第一回答的一致性，来对第一审核过程和第一审核过程的多个采样结果进行一致性校验，提供了一种便捷且准确的实现一致性校验的方式。
本实施例提供的方法，还通过计算第二审核过程和第一审核过程的一致率，从而确定需要移除的一致率较低的第一审核过程，实现准确确定可能存在错误和“幻觉”的生成数据，有助于准确消除生成模型生成数据时的错误和“幻觉”。
本实施例提供的方法，还通过先生成样本文本的第三审核过程，之后再根据样本文本的第三审核过程确定训练模型使用的第一审核过程，能够提升确定第一审核过程的准确度。
本实施例提供的方法，还通过对生成的第三审核过程进行标签一致性检验，有助于使生成的第三审核过程与样本文本对齐，从而提升生成的第三审核过程的准确度。
本实施例提供的方法，还通过在生成的第三审核过程未通过标签一致性检验的情况下，通过修改引导信息来重新生成第三审核过程，有助于提升生成的第三审核过程的准确度。
本实施例提供的方法，还通过在重新生成第三审核过程的过程中，向模型输入相应的审核标签，有助于模型生成更为准确的第三审核过程。
本实施例提供的方法，还通过样本文本的内容特征、审核标签以及第二审核过程构建模型的误差损失，并以此来训练生成模型，提供了一种高效地训练模型的方式。
本申请实施例提供的方法，无需外部人工标注资源就能通过对生成结果(审核过程)的采样结果进行一致性校验，从而检测语言模型存在的错误和“幻觉”，并对其消除，这为构建更加可靠和高效的内容审核模型提供了可能性。本申请实施例提供的方法可应用于生成对齐训练数据并进一步利用该训练数据微调内容审核模型，结合生成训练数据过程中的幻觉检测机制可打造适应性强、稳定可靠的内容审核模型。主要分为以下三部分：语料生成部分：使用通用预训练语言模型对部分无标签数据进行自动化语料生成(生成审核过程)。语料校准模块：将生成语料与真实标注语料进行标签校准和一致性校准(消除模型幻觉)，形成训练数据集。模型构建模块：使用一致性校准后的训练集数据进行内容审核模型的训练和优化。实现过程包括：收集真实语料数据(样本文本)，进行专家标注生成初始训练集；使用通用语言模型生成样本文本的审核过程；对生成的审核过程进行抽取，通过自我反思将审核过程与样本文本的真实标签对齐；使用采样一致性方法进一步检测并移除生成的审核过程中的幻觉(例如与真实标签不一致的审核过程，会通过问答(QA)一致性校验)；在校准优化后的数据集上进行内容审核模型训练；微调和部署内容审核模型以实现内容自动化审核。
本申请实施例提供的方法主要包括以下过程：
步骤1，真实专家标注数据生成。
收集真实语料数据(样本文本)，进行专家标注生成初始训练集。设真实语料样本为X＝x1,x2,…,xN，共N个样本，N为正整数。每个样本xi由内容特征ci和审核标签yi组成，即xi＝(ci,yi)。其中，内容特征ci为文本数据。审核标签yi∈0,1表示样本分类，0表示正常内容，1表示违规内容。
通过人工标注，即可形成初始训练集:该训练集只包含人工标注的样本及标签，将用于后续生成语料的验证和模型训练。
步骤2，审核过程生成。
使用通用生成模型(语言模型G)生成样本文本的审核过程。采用预训练语言模型Gθ对内容ci进行审核过程的生成，在此过程中，令生成任务为序列转序列，源序列为内容ci，目标序列为审核过程ai。在生成过程中，在时间步t，模型Gθ预测下一标记概率:P(ai,t∣ai,1:t-1,ci)＝Gθ(ai,1:t-1,ai)，其中P表示概率，ai,t表示时间步t的预测结果。之后通过束搜索(beam search)获得最终生成序列BeamSearch(Gθ,ci)。通过重复上述生成过程，即可获得所有生成样本(审核过程)a1,a2,…,aM，其中M为生成样本的数量。
模型Gθ在大量真实数据上预训练，以学习语义合理的生成。但可能存在个别生成样本中存在幻觉。后续步骤将检测并移除这些幻觉，以获得更可靠的训练数据。
步骤3，审核过程标签一致性检测。
进一步利用模型Gθ基于内容ci以及审核过程ai生成审核标签通过模型自我反思，将生成标签/>与真实标签yi对齐。具体的，当两者不对齐时，会进一步将真实标签信息反馈给模型Gθ，并重新设计用于生成审核过程的引导信息(prompt语句)，从而重新生成审核过程/>通过上述自我反思校准,可获得对齐后的高质量审核过程。
步骤4，审核过程幻觉消除。
通过上述自我反思过后，生成的审核过程中依然会存在幻觉，此时会进一步应用采样一致性校验来确定生成的审核过程中的幻觉，并将出现幻觉的审核过程过滤。具体的，在校准得到的审核过程集合后：
(1)基于审核过程ai生成与其内容相关的问题q，并基于审核过程ai和问题q生成相应的回答a。
(2)对审核过程ai重复进行Q次采样过程，得到表示生成的第i个审核过程的第Q个采样结果。
(3)对每个采样结果回答同一问题q，以生成回答a(Q)。
(4)通过如下公式计算回答一致率：
(5)如果回答一致率C低于阈值τ，则判定相应的审核过程存在潜在幻觉。
(6)将存在幻觉的审核过程从训练集中移除。
通过问答一致性采样，可以区分含幻觉的审核过程和语义一致的审核过程，从而有效检测并移除任何残留的潜在幻觉，保证训练集的质量。
步骤5，内容审核模型的训练与部署。
在校准数据集上训练内容审核模型。在前面步骤的语料生成、校准和质量优化下，构建新的训练集：
其中前M个样本对应校准优化过的生成过程，后N个样本对应人工标注的真实样本，表示审核过程。
定义审核模型为判别模型输入为内容特征c和审核过程/>输出为违规类别预测，表示如下：
模型通过最小化训练损失函数进行学习，损失函数表示如下：
其中l(·)为交叉熵损失函数。通过在语义合理、质量高的校准数据集上训练，学习到准确的内容审核模型/>完成模型构建。
示例地，图5是本申请一个示例性实施例提供的机器学习模型的结构示意图。如图5所示，机器学习模型501包括编码网络502和解码网络503。通过将输入信息输入编码网络502，能够得到编码网络502针对输入信息的特征提取结果，即编码信息。通过将编码信息输入解码网络503，能够得到解码网络503输出的输出信息，即与输入信息符合的预测信息。其中，编码网络502和解码网络503为N层的结构，编码网络502为N个编码器级联的结构，解码网络503为N个解码器级联的结构。编码网络502每一层的结构一致，解码网络503每一层的结构一致，且编码网络502中每层的结构与解码网络503相似。
示例地，图6是本申请一个示例性实施例提供的编码器的结构示意图。如图6所示，编码网络502的每一层(编码器504)通常包括一个多头自注意力模块(Multi-Head Self-Attention Module)，即图6中编码器504结构中的“自注意力”。和一个前馈全连接网络(也称前馈网络(Feed Forward Network，FFN))，即图6中编码器504结构中的“前馈全连接”。
示例地，图7是本申请一个示例性实施例提供的解码器的结构示意图。如图7所示，解码网络503的每一层(解码器505)通常包括一个掩码多头自注意力模块(Mask Multi-Head Self-Attention Module，可视为一种多头自注意力模块)，即图7中解码器505结构中下方的“自注意力”。一个交叉编码器和解码器的自注意力模块(也称为交叉自注意力模块(Cross Self-Attention Module)，可视为一种多头自注意力模块)，即图7中解码器505结构中中部的“自注意力”。以及一个前馈全连接模块，即图7中解码器505结构中上方的“前馈全连接”。
其中，编码网络502的多头自注意力模块用于获取输入文本中的每个词，相较输入文本中的其它词的权重关系。编码网络502的前馈全连接模块用于对输入的特征进行非线性变换。解码网络503的掩码多头自注意力模块与编码网络502的多头自注意力模块作用类似，区别在于其还用于使解码网络503在生成输入文本中与某一个词相符的预测结果时，无法获取到输入文本中的该词之后的词所对应的预测结果(训练时会在解码器结构中的下方位置输入输入文本对应的预测结果)。解码网络503的交叉自注意力模块与编码网络502的多头自注意力模块作用类似，区别在于其接收到的输入由解码网络503中上一模块的输出信息与编码网络502中最后一层的输出信息构成。解码网络503的前馈全连接模块与编码网络502的前馈全连接模块作用类似。
另外，继续参照图5、6、7，机器学习模型501的编码网络502和解码网络503中的上述每一个模块(多头自注意力模块、前馈全连接模块)都设置有一个残差连接和层规范化(LayerNorm)层(即图6、7中的残差&规范化(Add&Norm))。其中，残差连接可视为使模型某模块的输出作为后面不相邻的某模块的输入的结构，用于降低模型复杂度、防止梯度消失。层规范化层用于对输入的信息进行规范化处理，例如归一化处理。上述残差连接和层规范化层的结构，均用来稳定模型的训练。对于机器学习模型501的训练过程，计算机设备会获取大量的文本类数据对机器学习模型501进行预训练，从而使得机器学习模型501针对不同领域的文本均有良好的泛化效果。
生成模型一般分为三种：自回归模型、自编码模型和序列到序列模型。
自回归模型(Autoregressive Model)采用经典的语言模型任务进行预训练，即给出上文，预测下文，其结构对应图5中的机器学习模型的解码网络部分。由于解码网络只能看到上文而无法看到下文的特点，一般会用于文本生成的任务。
自编码模型(Auto Encoder Model)则采用句子重建的任务进行预训练，即预先通过某种方式破坏句子，可能是掩码，可能是打乱顺序，希望模型将被破坏的部分还原，其结构对应图5中的机器学习模型的编码网络部分。与自回归模型不同，模型既可以看到上文信息，也可以看到下文信息，由于这样的特点，自编码模型往往用于自然语言理解的任务，如文本分类、阅读理解等。
序列到序列模型(Sequence to Sequence Model)则是同时使用了图5中的机器学习模型的编码网络部分和解码网络部分。这种模型最自然的应用便是文本摘要、机器翻译等任务，事实上基本所有的NLP任务都可以通过序列到序列解决。
可选地，本申请实施例中的生成模型包括上述自回归模型、自编码模型和序列到序列模型中的至少一种。
以本申请实施例提供的方法应用于训练信息流审核模型为例进行介绍，信息流审核模型是用于审核社交信息流内容的内容审核模型。图8是本申请一个示例性实施例提供的信息流审核模型的训练方法的流程示意图。该方法可以用于计算机设备或计算机设备上的客户端。如图8所示，该方法包括：
步骤802：获取多个样本社交信息流的文本数据和每个样本社交信息流的审核标签。
社交信息流包括用于在信息流界面中显示的社交内容，该信息流界面是支持发布社交内容的客户端中的用户界面，信息流界面包括按照时间排列的不同用户发布的社交内容，例如为用户描述的反映其当前心情状态的内容、反映其当前行为的内容和反应其思考结果的内容等。审核标签用于反映样本社交信息流的内容是否合规。可选地，审核标签是人工根据样本社交信息流的文本数据生成的。
步骤804：通过生成模型根据样本社交信息流的文本数据生成样本社交信息流的第一审核过程。
生成模型用于生成与输入信息匹配的输出信息。一些实施例中，该生成模型包括大语言模型。第一审核过程用于表述对样本社交信息流的内容是否合规进行推理的过程，可采用自然语言描述。
可选地，计算机设备将样本社交信息流的文本数据和第一引导信息输入生成模型，从而得到样本社交信息流的第三审核过程，第三审核过程用于表述对样本社交信息流的内容是否合规进行推理的过程。其中，第一引导信息用于引导生成模型根据样本社交信息流的文本数据生成样本社交信息流的第三审核过程。可选地，第一引导信息是人工设置的。之后计算机设备可根据样本社交信息流的第三审核过程确定样本社交信息流的第一审核过程。
计算机设备通过对生成的第三审核过程进行标签一致性检验，从而可确定样本社交信息流的第一审核过程。可选地，计算机设备将样本社交信息流的文本数据、样本社交信息流的第三审核过程以及第二引导信息输入生成模型，从而得到样本社交信息流的第一预测标签。其中，第一预测标签用于预测样本社交信息流的内容是否合规，第二引导信息用于引导生成模型根据样本社交信息流的文本数据和样本社交信息流的第三审核过程生成样本社交信息流的第一预测标签。在样本社交信息流的第一预测标签与审核标签一致的情况下，计算机设备会将该样本社交信息流的第三审核过程确定为改样本社交信息流的第一审核过程，以供后续流程使用。
可选地，在样本社交信息流的第一预测标签与审核标签不一致的情况下，计算机设备会获取第三引导信息，并将样本社交信息流的文本数据和第三引导信息输入生成模型，以重新生成样本社交信息流的第三审核过程，之后再根据重新生成的样本社交信息流的第三审核过程确定样本社交信息流的第一审核过程。可选地，在重新生成样本社交信息流的第三审核过程的过程中，计算机设备还会将样本社交信息流的审核标签输入生成模型，以供生成模型参考。计算机设备会对全部第三审核过程进行重新生成，或者对不满足标签一致性检验的第三审核过程进行重新生成。可选地，当全部第一预测标签与审核标签一致，或者重新生成的次数达到预设阈值时，计算机设备会终止重新生成过程。并将当前生成的第三审核过程确定为第一审核过程，以供后续流程使用。可选地，计算机设备可统计使用各引导信息生成的审核过程的标签一致性程度，并使用最优化的引导信息来生成审核过程。可选地，上述第三引导信息是通过修改第一引导信息得到的。该修改过程是人工执行的，或者该修改过程是自动化实现的。
步骤806：通过生成模型根据第一审核过程生成第一审核过程对应的问题，以及通过生成模型根据第一审核过程以及问题生成第一回答。
第一审核过程对应的问题与第一审核过程的内容相关。可选地，计算机设备将第一审核过程以及相应的引导信息输入生成模型，从而得到第一审核过程对应的问题。该引导信息用于引导生成模型根据第一审核过程生成第一审核过程对应的问题，例如引导生成模型生成对第一审核过程的内容进行询问的问题。
可选地，计算机设备将第一审核过程、第一审核过程对应的问题以及相应的引导信息输入生成模型，从而得到第一回答。该引导信息用于引导生成模型根据第一审核过程对第一审核过程对应的问题生成回答。
步骤808：通过生成模型对第一审核过程进行多次内容采样，得到第一审核过程的多个采样结果。
第一审核过程的采样结果与第一审核过程的内容相关。可选地，多个采样结果中的各个采样结果不同。可选地，计算机设备将第一审核过程以及每次采样的引导信息输入生成模型，从而得到第一审核过程的多个采样结果。例如，该引导信息包括“请为输入的审核过程生成总结”和“换一种方式表达输入的审核过程的内容”，或者“请采用2种不同方式来表达输入的审核过程的内容”。
步骤810：通过生成模型根据第一审核过程的每个采样结果以及问题，生成每个采样结果的第二回答。
计算机设备将第一审核过程的采样结果、第一审核过程对应的问题以及相应的引导信息输入生成模型，从而得到该采样结果的第二回答。通过针对每个采样结果执行上述步骤，即可得到每个采样结果的第二回答。该引导信息用于引导生成模型根据采样结果对第一审核过程对应的问题生成回答。
步骤812：对第一审核过程的第一回答和每个采样结果的第二回答进行一致性校验，以筛选出样本社交信息流的第二审核过程。
计算机设备确定第一审核过程的第一回答和每个采样结果的第二回答的一致率，并将一致率低于一致率阈值的第一审核过程从全部第一审核过程中移除，之后将剩余的第一审核过程确定为第二审核过程。可选地，该一致率是通过计算第一数量与第二数量的比值确定的。其中，第一数量为第一审核过程的各个采样结果的第二回答中，与第一回答一致的采样结果的数量，第二数量为第一审核过程对应的采样结果的总数量。
对第一审核过程和第一审核过程的多个采样结果进行一致性校验可视为校验第一审核过程表达的内容和多个采样结果表达的内容是否一致。若不一致，则生成的第一审核过程很可能存在错误或“幻觉”。若一致，则生成的第一审核过程很可能是与输入信息对齐且准确的，因此该情况下可以将第一审核过程作为第二审核过程用于后续模型训练。
步骤814：通过样本社交信息流的第二审核过程训练信息流审核模型。
信息流审核模型是用于审核社交信息流内容的内容审核模型。信息流审核模型用于根据待预测社交信息流的文本数据预测待预测社交信息流的标签，待预测社交信息流的标签用于预测待预测社交信息流的内容是否合规。可选地，待预测社交信息流包括用户即将在信息流界面中发布的社交内容，在用户选择在信息流界面中发布社交内容时，会触发信息流审核模型的审核。一些实施例中，信息流审核模型部署在支持发布社交内容的客户端的后台服务器中。一些实施例中，该信息流审核模型是大语言模型，或者该信息流审核模型为判别模型或分类模型。
可选地，计算机设备根据样本社交信息流的文本数据、审核标签以及第二审核过程训练信息流审核模型。可选地，在训练信息流审核模型的过程中，计算机设备将样本社交信息流的文本数据以及样本社交信息流的第二审核过程输入信息流审核模型，得到样本社交信息流的第二预测标签，第二预测标签用于预测样本社交信息流的内容是否合规。并根据样本社交信息流的第二预测标签与样本社交信息流的审核标签的误差确定误差损失，之后通过误差损失训练信息流审核模型。可选地，计算机设备根据样本社交信息流的第二预测标签与样本社交信息流的审核标签确定交叉熵损失，之后通过交叉熵损失训练信息流审核模型。
综上所述，本实施例提供的方法，通过生成样本社交信息流的第一审核过程，并结合第一审核过程的内容采样结果对生成的第一审核过程进行一致性校验处理，从而能够生成并筛选出对齐且准确度较高的训练数据，即第二审核过程。由于若第一审核过程与其内容采样结果无法通过一致性校验，则很可能是生成的第一审核过程存在错误或“幻觉”导致的。因此对生成的数据进行一致性校验，从而筛选出模型训练使用的数据，有助于消除生成模型生成数据时的错误和“幻觉”。通过生成的具有较高准确度的第二审核过程来训练信息流审核模型，能够提升信息流审核模型的可靠度，从而提升对社交信息流进行内容审核的准确度。
需要进行说明的是，本申请在收集用户的相关数据(例如本申请中的样本文本、待预测文本)之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时)，结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
需要说明的是，本申请实施例提供的方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
图9是本申请一个示例性实施例提供的内容审核模型的训练装置的结构示意图。如图9所示，该装置包括：
获取模块901，用于获取多个样本文本的内容特征和每个所述样本文本的审核标签，所述审核标签用于反映所述样本文本的内容是否合规；
生成模块902，用于通过生成模型根据所述样本文本的内容特征生成所述样本文本的第一审核过程，所述第一审核过程用于表述对所述样本文本的内容是否合规进行推理的过程；
校验模块903，用于对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；以及对所述第一审核过程和所述第一审核过程的多个采样结果进行一致性校验，以筛选出所述样本文本的第二审核过程；
训练模块904，用于通过所述样本文本的第二审核过程训练所述内容审核模型，所述内容审核模型用于根据待预测文本的内容特征预测所述待预测文本的标签，所述待预测文本的标签用于预测所述待预测文本的内容是否合规。
在一个可选的设计中，所述生成模块902，用于通过所述生成模型根据所述第一审核过程生成所述第一审核过程对应的问题，所述问题与所述第一审核过程的内容相关；以及通过所述生成模型根据所述第一审核过程以及所述问题生成第一回答；通过所述生成模型对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；通过所述生成模型根据所述第一审核过程的每个采样结果以及所述问题，生成所述每个采样结果的第二回答；
所述校验模块903，用于对所述第一审核过程的所述第一回答和所述每个采样结果的第二回答进行一致性校验，以筛选出所述样本文本的第二审核过程。
在一个可选的设计中，所述校验模块903，用于确定所述第一审核过程的所述第一回答和所述每个采样结果的第二回答的一致率；将所述一致率低于一致率阈值的第一审核过程从全部第一审核过程中移除，将剩余的第一审核过程确定为所述第二审核过程。
在一个可选的设计中，所述生成模块902，用于将所述样本文本的内容特征和第一引导信息输入所述生成模型，得到所述样本文本的第三审核过程，所述第一引导信息用于引导所述生成模型根据所述样本文本的内容特征生成所述样本文本的第三审核过程；
如图10所示，所述装置还包括确定模块905，所述确定模块905，用于根据所述样本文本的第三审核过程确定所述样本文本的第一审核过程。
在一个可选的设计中，所述生成模块902，用于将所述样本文本的内容特征、所述样本文本的第三审核过程以及第二引导信息输入所述生成模型，得到所述样本文本的第一预测标签，所述第一预测标签用于预测所述样本文本的内容是否合规，所述第二引导信息用于引导所述生成模型根据所述样本文本的内容特征和所述样本文本的第三审核过程生成所述样本文本的第一预测标签；
所述确定模块905，用于在所述第一预测标签与所述审核标签一致的情况下，将所述样本文本的第三审核过程确定为所述样本文本的第一审核过程。
在一个可选的设计中，所述获取模块901，用于在所述第一预测标签与所述审核标签不一致的情况下，获取第三引导信息，所述第三引导信息是通过修改所述第一引导信息得到的；
所述生成模块902，用于将所述样本文本的内容特征和所述第三引导信息输入所述生成模型，以重新生成所述样本文本的第三审核过程；
所述确定模块905，用于根据重新生成的所述样本文本的第三审核过程确定所述样本文本的第一审核过程。
在一个可选的设计中，所述生成模块902，用于在重新生成所述样本文本的第三审核过程的过程中，将所述样本文本的审核标签输入所述生成模型。
在一个可选的设计中，所述训练模块904，用于根据所述样本文本的内容特征、所述审核标签以及所述第二审核过程训练所述内容审核模型。
在一个可选的设计中，所述训练模块904，用于将所述样本文本的内容特征以及所述样本文本的第二审核过程输入所述内容审核模型，得到所述样本文本的第二预测标签；根据所述样本文本的第二预测标签与所述样本文本的审核标签的误差确定误差损失；通过所述误差损失训练所述内容审核模型。
需要说明的是：上述实施例提供的内容审核模型的训练装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的内容审核模型的训练装置与内容审核模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请的实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的内容审核模型的训练方法。
示例地，图11是本申请一个示例性实施例提供的计算机设备的结构示意图。
所述计算机设备1100包括中央处理单元(Central Processing Unit，CPU)1101、包括随机存取存储器(Random Access Memory，RAM)1102和只读存储器(Read-OnlyMemory，ROM)1103的***存储器1104，以及连接***存储器1104和中央处理单元1101的***总线1105。所述计算机设备1100还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出***(Input/Output***，I/O***)1106，和用于存储操作***1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述基本输入/输出***1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到***总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出***1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1107通过连接到***总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读存储介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读存储介质(未示出)。
不失一般性，所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read OnlyMemory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable ProgrammableRead-Only Memory，EEPROM)、闪存或其他固态存储设备、CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器1104和大容量存储设备1107可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1101执行，一个或多个程序包含用于实现上述方法实施例的指令，中央处理单元1101执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备1100可以通过连接在所述***总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机设备***(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。
本申请实施例中还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，当该至少一条指令、至少一段程序、代码集或指令集由计算机设备的处理器加载并执行时，实现上述各方法实施例提供的内容审核模型的训练方法。
本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的内容审核模型的训练方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的计算机可读存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同切换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种内容审核模型的训练方法，其特征在于，所述方法包括：
获取多个样本文本的内容特征和每个所述样本文本的审核标签，所述审核标签用于反映所述样本文本的内容是否合规；
通过生成模型根据所述样本文本的内容特征生成所述样本文本的第一审核过程，所述第一审核过程用于表述对所述样本文本的内容是否合规进行推理的过程；
对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；以及对所述第一审核过程和所述第一审核过程的多个采样结果进行一致性校验，以筛选出所述样本文本的第二审核过程；
通过所述样本文本的第二审核过程训练所述内容审核模型，所述内容审核模型用于根据待预测文本的内容特征预测所述待预测文本的标签，所述待预测文本的标签用于预测所述待预测文本的内容是否合规。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；以及对所述第一审核过程和所述第一审核过程的多个采样结果进行一致性校验，以筛选出所述样本文本的第二审核过程，包括：
通过所述生成模型根据所述第一审核过程生成所述第一审核过程对应的问题，所述问题与所述第一审核过程的内容相关；以及通过所述生成模型根据所述第一审核过程以及所述问题生成第一回答；
通过所述生成模型对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；
通过所述生成模型根据所述第一审核过程的每个采样结果以及所述问题，生成所述每个采样结果的第二回答；
对所述第一审核过程的所述第一回答和所述每个采样结果的第二回答进行一致性校验，以筛选出所述样本文本的第二审核过程。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一审核过程的所述第一回答和所述每个采样结果的第二回答进行一致性校验，以筛选出所述样本文本的第二审核过程，包括：
确定所述第一审核过程的所述第一回答和所述每个采样结果的第二回答的一致率；
将所述一致率低于一致率阈值的第一审核过程从全部第一审核过程中移除，将剩余的第一审核过程确定为所述第二审核过程。
4.根据权利要求1至3任一所述的方法，其特征在于，所述通过生成模型根据所述样本文本的内容特征生成所述样本文本的第一审核过程，包括：
将所述样本文本的内容特征和第一引导信息输入所述生成模型，得到所述样本文本的第三审核过程，所述第一引导信息用于引导所述生成模型根据所述样本文本的内容特征生成所述样本文本的第三审核过程；
根据所述样本文本的第三审核过程确定所述样本文本的第一审核过程。
5.根据权利要求4所述的方法，其特征在于，所述根据所述样本文本的第三审核过程确定所述样本文本的第一审核过程，包括：
将所述样本文本的内容特征、所述样本文本的第三审核过程以及第二引导信息输入所述生成模型，得到所述样本文本的第一预测标签，所述第一预测标签用于预测所述样本文本的内容是否合规，所述第二引导信息用于引导所述生成模型根据所述样本文本的内容特征和所述样本文本的第三审核过程生成所述样本文本的第一预测标签；
在所述第一预测标签与所述审核标签一致的情况下，将所述样本文本的第三审核过程确定为所述样本文本的第一审核过程。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在所述第一预测标签与所述审核标签不一致的情况下，获取第三引导信息，所述第三引导信息是通过修改所述第一引导信息得到的；
将所述样本文本的内容特征和所述第三引导信息输入所述生成模型，以重新生成所述样本文本的第三审核过程；
根据重新生成的所述样本文本的第三审核过程确定所述样本文本的第一审核过程。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在重新生成所述样本文本的第三审核过程的过程中，将所述样本文本的审核标签输入所述生成模型。
8.根据权利要求1至3任一所述的方法，其特征在于，所述通过所述样本文本的第二审核过程训练所述内容审核模型，包括：
根据所述样本文本的内容特征、所述审核标签以及所述第二审核过程训练所述内容审核模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述样本文本的内容特征、所述审核标签以及所述第二审核过程训练所述内容审核模型，包括：
将所述样本文本的内容特征以及所述样本文本的第二审核过程输入所述内容审核模型，得到所述样本文本的第二预测标签；
根据所述样本文本的第二预测标签与所述样本文本的审核标签的误差确定误差损失；
通过所述误差损失训练所述内容审核模型。
10.一种内容审核模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取多个样本文本的内容特征和每个所述样本文本的审核标签，所述审核标签用于反映所述样本文本的内容是否合规；
生成模块，用于通过生成模型根据所述样本文本的内容特征生成所述样本文本的第一审核过程，所述第一审核过程用于表述对所述样本文本的内容是否合规进行推理的过程；
校验模块，用于对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；以及对所述第一审核过程和所述第一审核过程的多个采样结果进行一致性校验，以筛选出所述样本文本的第二审核过程；
训练模块，用于通过所述样本文本的第二审核过程训练所述内容审核模型，所述内容审核模型用于根据待预测文本的内容特征预测所述待预测文本的标签，所述待预测文本的标签用于预测所述待预测文本的内容是否合规。
11.根据权利要求10所述的装置，其特征在于，
所述生成模块，用于通过所述生成模型根据所述第一审核过程生成所述第一审核过程对应的问题，所述问题与所述第一审核过程的内容相关；以及通过所述生成模型根据所述第一审核过程以及所述问题生成第一回答；通过所述生成模型对所述第一审核过程进行多次内容采样，得到所述第一审核过程的多个采样结果；通过所述生成模型根据所述第一审核过程的每个采样结果以及所述问题，生成所述每个采样结果的第二回答；
所述校验模块，用于对所述第一审核过程的所述第一回答和所述每个采样结果的第二回答进行一致性校验，以筛选出所述样本文本的第二审核过程。
12.根据权利要求11所述的装置，其特征在于，
所述校验模块，用于确定所述第一审核过程的所述第一回答和所述每个采样结果的第二回答的一致率；将所述一致率低于一致率阈值的第一审核过程从全部第一审核过程中移除，将剩余的第一审核过程确定为所述第二审核过程。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至9任一所述的内容审核模型的训练方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至9任一所述的内容审核模型的训练方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如权利要求1至9任一所述的内容审核模型的训练方法。
CN202311286453.0A 2023-09-28 2023-09-28 内容审核模型的训练方法、装置、设备及存储介质 Pending CN117312562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311286453.0A CN117312562A (zh) 2023-09-28 2023-09-28 内容审核模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311286453.0A CN117312562A (zh) 2023-09-28 2023-09-28 内容审核模型的训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117312562A true CN117312562A (zh) 2023-12-29

Family

ID=89242195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311286453.0A Pending CN117312562A (zh) 2023-09-28 2023-09-28 内容审核模型的训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117312562A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688164A (zh) * 2024-02-03 2024-03-12 北京澜舟科技有限公司 基于大语言模型的幻觉检测方法、***以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688164A (zh) * 2024-02-03 2024-03-12 北京澜舟科技有限公司 基于大语言模型的幻觉检测方法、***以及存储介质
CN117688164B (zh) * 2024-02-03 2024-05-17 北京澜舟科技有限公司 基于大语言模型的幻觉检测方法、***以及存储介质

Similar Documents

Publication Publication Date Title
CN109344404B (zh) 情境感知的双重注意力自然语言推理方法
US7685082B1 (en) System and method for identifying, prioritizing and encapsulating errors in accounting data
CN112507628B (zh) 基于深度双向语言模型的风险预测方法、装置和电子设备
CN116992005B (zh) 基于大模型及本地知识库的智能对话方法、***及设备
CN115357719B (zh) 基于改进bert模型的电力审计文本分类方法及装置
CN116861258B (zh) 模型处理方法、装置、设备及存储介质
CN114443899A (zh) 视频分类方法、装置、设备及介质
CN115310551A (zh) 文本分析模型训练方法、装置、电子设备和存储介质
Shekhawat Sentiment classification of current public opinion on BREXIT: Naïve Bayes classifier model vs Python’s TextBlob approach
Moon et al. Natural language processing based advanced method of unnecessary video detection
Zhang Voice keyword retrieval method using attention mechanism and multimodal information fusion
Yadav et al. A novel automated depression detection technique using text transcript
CN117312562A (zh) 内容审核模型的训练方法、装置、设备及存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN114372532B (zh) 标签标注质量的确定方法、装置、设备、介质及产品
CN115273856A (zh) 语音识别方法、装置、电子设备及存储介质
CN114330483A (zh) 数据处理方法及模型训练方法、装置、设备、存储介质
CN116450848B (zh) 一种基于事理图谱的计算思维水平评估方法、装置及介质
CN113918710A (zh) 文本数据处理方法、装置、电子设备和可读存储介质
CN117312514A (zh) 咨询答复方法、装置及计算机可读取存储介质
CN116861913A (zh) 基于gpt大模型的立场检测方法及相关设备
CN112528015B (zh) 在消息交互传播中进行谣言判别的方法及装置
CN115391523A (zh) 风电场多源异构数据处理方法及装置
Akula et al. Credibility of social-media content using bidirectional long short-term memory-recurrent neural networks
Cao et al. An English pronunciation error detection system based on improved random forest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication