CN117351334A - 图像审核方法和相关设备 - Google Patents

Abstract

本申请公开了图像审核方法和相关设备，该图像审核方法中，因有害文本特征关联有语义表达相对应的库存图像特征，故图像模态和文本模态两种模态的特征能克服异构鸿沟，使得图像特征和文本特征之间的相似度能被直接计算且计算准确。此外，因各有害文本特征在语义表达上所属的违规类别为多种，且每一有害文本都各自对应有能作为判定依据的有害阈值，故本方法无需如传统般针对不同有害类型的内容训练一个个相应的审核模型，通过一套跨模态的审核方法就能解决各类违规图像的审核问题，减少开发成本和运维难度，从而高效保障图像传播正向的语义内容。

Description

图像审核方法和相关设备

技术领域

本申请实施例涉及互联网技术领域，尤其涉及图像审核方法和相关设备。

背景技术

随着用户在互联网平台发布的UGC(用户创作的内容)越来越多，互联网监管方要求对UGC内容进行审查，控制不合法或不合格的内容在平台上的展示，维护晴朗的互联网空间。

由于UGC内容特别是图像内容非常的丰富，其创作者的背景和目的也各不相同，被认为是违规图像的原因也多种多样，如图示行为不良、虚假广告、指向敏感、含禁用词等。因此目前，针对每一类型的违规图像，都需要广泛地收集、标注大量的图像数据，并用各类图像数据单独训练一个个模型，如卡通行为模型、真人行为模型、广告标识模型、敏感文本模型等，才能得到可对应筛查出各类违规图像的审核模型。

面对层出不穷的各种违规图像内容，针对各类违规图像数据，单独训练一个个审核模型的上述传统模式，需要训练的模型增多或迭代旧模型用时长，容易出现更新迭代慢，开发和维护模型成本高的挑战。针对于此，相关技术并未提供有效的解决方案。

发明内容

本申请实施例提供了图像审核方法和相关设备，用于高效低成本地审核出不同类型的有害图像。

本申请实施例第一方面提供一种图像审核方法，包括：

将待审图像输入图像特征提取模型，以输出所述待审图像的图像特征；

计算所述图像特征与特征库中各有害文本特征之间的相似度；其中，所述有害文本特征关联有语义表达相对应的库存图像特征，各所述有害文本特征在语义表达上所属的违规类别为多种；

对于对应各所述有害文本特征的相似度，判断所述有害文本特征的有害阈值与所述相似度之间的大小关系；

若所述相似度大于所述有害阈值，则确定所述待审图像命中所述有害文本的语义表达，属于有害图像。

本申请实施例第二方面提供一种电子设备，包括：

中央处理器，存储器以及输入输出接口；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。

本申请实施例第三方面提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。

本申请实施例第四方面提供一种包含指令或计算机程序的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。

从以上技术方案可以看出，本申请实施例至少具有以下优点：

因有害文本特征关联有语义表达相对应的库存图像特征，故图像模态和文本模态两种模态的特征能克服异构鸿沟，使得图像特征和文本特征之间的相似度能被直接计算且计算准确。此外，因各有害文本特征在语义表达上所属的违规类别为多种，且每一有害文本都各自对应有能作为判定依据的有害阈值，故本方法无需如传统般针对不同有害类型的内容训练一个个相应的审核模型，通过一套跨模态的审核方法就能解决各类违规图像的审核问题，减少开发成本和运维难度，从而高效保障图像传播正向的语义内容。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

需要说明的是，虽然各实施例所涉及的流程性示意图(若存在)中各个步骤按照箭头的指示依次绘制，但除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

图1为本申请实施例方法的一个***架构示意图；

图2至图7为本申请实施例方法的流程示意图；

图8为本申请实施例模型训练方法的一个流程示意图；

图9为本申请实施例电子设备的一个结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在以下的描述中，涉及到“一个具体实施方式”或“一个具体示例”等类似表达，其描述了所有可能实施例的子集，但是可以理解，“一个具体实施方式”或“一个具体示例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。在以下的描述中，涉及到的术语多个是指至少两个。本申请所说的某数值达到阈值(如果存在)，在一些具体示例中，可包括前者大于阈值后者的情况；若提及“任意”或“至少一”等类似表述，具体可指所列举示例中的任一种示例或这些示例之间的任意组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

为便于理解和说明，在对本申请做进一步的详细说明之前，将对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

图像审核***：通过算法和人工对图像内容进行风险定级、处置过滤的软件***。一般地，***接收到输入图像后，会调用人工智能算法，对内容进行打标分类；然后再将有风险的内容经人工复审，确认有问题后将删除、下架、仅自己可见等手段进行过滤处置。

图像嵌入特征：Image embedding feature,也简称为图像特征，通过模型算法将图像信息降维为一维特征向量，该向量压缩了图像内容信息，方便支持后续的图像分类和生成文本描述等任务。

文本嵌入特征：Text embedding feature,也简称为文本特征，和图像特征一样，通过模型算法将文本信息降维为一维特征向量，该向量压缩了文本的内容信息，方便支持后续的文本分类和相似比较等任务。

UGC:User Generate Contenct，用户创作的内容。

AIGC:AI Generate Content，通过人工智能算法生成或创造的内容。

有害图像：对内容生态有害的图像，如图示行为不良、虚假广告、指向敏感、含禁用词等内容不适的图像。随着UGC和AIGC内容的丰富，有害图像的违规原因和表现形式也变得层出不穷，这给内容审核带来了很大挑战。

为了更好地实现本申请的图像审核方法，现提供如图1所示的本方法的***架构示意图。该***可以包括至少一个终端设备101和一个服务器102；终端设备101上可以安装有不同类型应用程序，例如，在该终端设备101上可以安装有即时通讯应用程序、直播应用程序、会议通信应用程序等等；该终端设备101可以是为智能手机、平板电脑、笔记本电脑、台式电脑、智能车载等等。服务器102可以用于存储终端设备101的不同类型应用程序所产生的应用数据和图像数据；服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。

本图像审核方法可由终端设备101或服务器102任一方执行，也可由双方共同执行，具体可根据实际应用场景确定，此处不做限制。其中，上述方法由终端设备101和服务器102共同执行时，具体应用场景可为，终端设备101接收并上传用户输入的待审图像，服务器102使用图像特征提取模型提取该图像的图像特征，服务器102算得图像特征与各有害文本特征之间的相似度，之后，通过该相似度与其对应的有害阈值，即可确定出待审图像命中哪一有害文本的语义表达，当然，如此也可反馈该图像为示意内容不适或恶意的有害图像，会面临删除等过滤处置流程，从而营造晴朗舒适的网络环境。

上述的应用环境仅为方便理解所作的示例，可以理解的是，本申请实施例不仅局限于上述应用环境。

下面将对本申请的方法做进一步的详细说明。

请参阅图2，本申请第一方面提供一种图像审核方法的一个具体实施例，该实施例包括如下操作步骤20至23：

20、将待审图像输入图像特征提取模型，以输出待审图像的图像特征。

该图像编码器包括但不限于基于ViT(VisionTransformer)、CNN等预训练图像的编码器，也可以是其他具体领域或场景训练的图像编码器，用以实现对输入图像的特征表示。一般的，可以向量的形式表征图像特征。

21、计算图像特征与特征库中各有害文本特征之间的相似度。

其中，有害文本特征关联有语义表达相对应的库存图像特征，各有害文本特征在语义表达上所属的违规类别为多种。有害文本特征可以是文本特征提取模型从有害文本中提取出的特征；本申请实施例中，有害文本特征关联有对应的库存图像特征的原因有，图像特征提取模型(Image Encoder)训练所用的图像特征和文本特征提取模型(Text Encoder)训练所用的文本特征，按语义对应关系对齐映射在同一空间内，可简称为跨模态对齐，使得能通过一方找到与之对应的另一方，打破异构结构或不同模态带来的鸿沟。该有害类型(或称违规类别)具体可以是，行为表达不良、含虚假广告、指向敏感、含禁用词等中的任一种。

本申请中的跨模态对齐可指，将多模态数据的子元素进行对齐，如将一幅图中的多个物体与一段话中的短语(或单词)进行对齐，即建立图像模态和文本模态这两不同模态之间在特征表示上的关联关系，以便进行图文匹配；简言之，跨模态对齐是为了挖掘多模态数据的子元素之间的关联性。另一方面，图文匹配可理解为跨模态语义关联对齐检索，即通过某一种模态实例，在另一模态中检索出与之语义相关的实例，该检索过程中度量的是图像和文本之间的语义相似程度或相关性；例如，给定一张图像(草地上流血的狗)，图文匹配则旨在查询出与该图像所示语义对应的文本(如“草地上的狗”、“流血的狗”)，反之亦然。

本申请中的特征具体可以是向量形式的特征，或除向量特征之外的特征，如标量特征等。clip-vit-large-patch14、BLIP2等网络模型都能完成上述文本特征和图像特征的提取。

22、对于对应各有害文本特征的相似度，判断有害文本特征的有害阈值与相似度之间的大小关系。

由于特征库中的每一有害文本，在有害程度、语义覆盖程度等方面有所区别，故每一有害文本都应有一个专属对应的有害阈值，以便准确判定待审图像是否命中该有害文本的语义表达。示例性的，本申请实施例的相似度，可为余弦距离和欧式距离等中的任一种向量距离度量值，或者，也可以为多种距离度量值之间的加权结果，具体可由需自定，不做限制。

23、若相似度大于有害阈值，则确定待审图像属于有害图像。

若相似度大于有害阈值，则确定待审图像命中有害文本的语义表达，换言之，若命中，则可表示该待审图像示有与该有害文本同类型的语义表达，如同样表达了某敏感类型的内容，故属于有害图像，会面临被删除等过滤流程。

综上，本申请实施例通过跨模态的特征对齐方式，能让图像模态和文本模态两种不同模态的特征即图像特征和文本特征映射到同一空间，克服不同模态之间的异构鸿沟，使得图像特征和文本特征之间的相似度能被直接计算且计算准确，并建立起图像特征提取模型和文本特征提取模型间的关联。此外，因特征库中各有害文本在语义表达上所属的有害类型为多种，且每一有害文本都各自对应有能作为判定依据的有害阈值，故本方法无需如传统般针对不同有害类型的内容训练一个个相应的审核模型，通过一套跨模态的审核方法就能解决各类违规图像的审核问题，减少开发成本和运维难度，从而高效保障图像传播正向的语义内容。

在上述示例说明的基础上，下面将提供一些具体的可能实施示例，实际应用中，这些示例之间的实施内容可根据相应的功能原理和应用逻辑，由需地结合实施或单独实施。

请参阅图2至图7，本申请提供一种图像审核方法的另一个具体实施例，该实施例包括如下操作步骤：

20、将待审图像输入图像特征提取模型，以输出待审图像的图像特征。

21、计算图像特征与特征库中各有害文本特征之间的相似度。

在一些具体示例中，步骤21的过程具体可包括：当特征库的特征含量在预设量级内时，使用指令集加速或矩阵运算加速库，计算图像特征与库内每一有害文本特征之间的相似度；当特征库的特征含量超过预设量级时，通过分层检索技术建立的库内特征索引，定位出与图像特征语义相似的至少一有害文本特征，并计算图像特征分别与至少一有害文本特征之间的相似度。

如图5所示，实际应用中，文本特征提取模型(或称文本特征模型Text encoder)可提取有害文本库(可称为黑库)中每一条文本的特征，建立有害文本特征库，该步骤可为一次性操作，建立好特征库后可以被重复应用。在审核环节，对于输入的待审核图像，通过图像特征提取模型Image Encoder提取其图像特征Ii，然后和有害文本特征库内的每一文本特征计算相似度S{i}。其中，图像和文本间的特征相似度，可用余弦距离和/或切比雪夫距离等向量距离来衡量。示例性的，图像特征与文本特征间的相似性计算，可根据有害文本特征库的大小规模来实施：

1)库大小在万级(预设量级)以内时：由于库样本较少，可采用遍历计算的方法，或者是利用指令集加速或矩阵运算加速库，对所有库内数据与请求数据计算相似度。

2)库大小在万级别至千万级以内时：此时需要使用一些相似最近邻检索方法，如hnsw索引或faiss索引等核心思想是分区或者分层设计的检索方法，通过少量次数的相似计算，由粗到精的找到最相似的数据；如通过构建出的库内特征索引，定位出仅计算某一层区有害文本与图像特征间的相似度，就能找到高度相似的有害文本。

3)库大小在千万以上时：当量级非常大时，采用上述hnsw索引或faiss索引等检索思想的同时，还需要综合考虑内存、效率或存储等问题，以应对检索速度慢或准确度低的挑战。

在一些具体示例中，有害文本的产生有很多方法，包括人工收集关键词、人工进行关键内容描述、特定图像或语言模型生成的特定文本内容等，其中前两种比较准确、有针对性，但需要人工介入，而后面的模型生成方法更加自动化，但也需要人工检查和优化，具体可由需自定。

22、对于对应各有害文本特征的相似度，判断有害文本特征的有害阈值与相似度之间的大小关系。

每一个有害文本特征都需要一个判定阈值(如有害阈值)，故为使得阈值设计的更加合理，每一有害阈值的确定过程可包括：构建图像数目均超过预设数目的有害图像集和正常图像集；对于每一有害文本特征，计算有害文本特征分别与各有害图像特征、各正常图像特征之间的相似度，以得到有害文本特征的相似度量区间，相似度量区间包括最大相似度和最小相似度构成的区间；搜索出相似度量区间内的目标判定阈值作为有害文本特征的有害阈值，目标判定阈值为促使全部图像特征在真实违规类别、预测违规类别计量方面成就最高评价指标的值。

如图7所示，首先需要构建一个比较全的有害图像集和正常图像集，为后续的阈值确定提供搜索空间。对于库内的每一个有害文本特征，其和全部正常图像特征、全部有害图像特征间会产生正常相似度集合、有害相似度集合，正常相似度集合、有害相似度集合中，最大相似度Smax和最小相似度Smin所划定的范围[Smin，Smax]，可称为该有害文本特征的相似度量区间(即阈值搜索空间)。理想情况中，应为每一个有害文本特征选定出其对应的最佳阈值，以减少无害图像被误判为命中某有害文本、反而归属为有害图像的可能；因此需要设计一套综合选择方案，使得在追求搜索评价指标Object最优(最高评价指标)的目的下，有理有据地在[Smin，Smax]空间内搜索出最佳的目标判定阈值。一般的，可采用准确率、召回率、F1-Score和虚警率中的至少一种评价指标，设计出最优的搜索评价指标Object，该设计理念可包含追求高水平的准确率和召回率、低水平的虚警率等。其中，准确度P＝预测正确的量TP/(预测总数TP+FP)，召回率R＝TP/(TP+FN)、F1-Score＝(2*P*R)/(P+R)，真正例(True Positive，TP)表示实际为正被预测为正的样本数量，真反例(True Negative，TN):表示实际为负被预测为负的样本的数量，假正例(False Positive，FP):表示实际为负但被预测为正的样本的数量，假反例(False Negative，FN):表示实际为正但被预测为负的样本数量。

23、若相似度大于有害阈值，则确定待审图像属于有害图像。

如图6所示，对于图像特征和黑库中每一有害文本特征间的相似度匹配结果，需要和每一有害文本特征的有害阈值进行比较，最终得到审核结果。具体而言，只要相似度S{i}大于黑库文本特征对应的有害阈值{i}，就可以认为待审图像命中了黑库文本Text{i}的语义表达。另外，一个图像有可能命中多条黑库文本(即有害文本)，此情况下，相似度越高说明命中的概率会越高。

作为一种可能的实施方式，面对一个图像命中多条有害文本的情况，本申请实施例的方法还可以包括：若多个有害文本特征的相似度大于各自的有害阈值，则可以确定待审图像命中当中最高相似度对应的有害文本语义。

作为一种可能的实施方式，考虑到审核会存在一定的误判率，故从容错率和误判应对等方面出发，可以为每一有害文本特征设定一无害阈值，则本申请实施例的方法还可以包括：若图像特征与有害文本特征之间的相似度，在有害文本特征对应的无害阈值和有害阈值之间，则发起预警提醒；其中，无害阈值小于有害阈值，无害阈值依据样本图像特征产生的评价指标确定(可类似上述确定有害阈值的操作)。此处的预警提醒，可以是请求人工介入审核；该提醒的发起可视为判定待审图像疑似有害。

作为一种可能的实施方式，有害文本特征库可以根据业务需求增加、删除或修改其中内容，从而实现快速响应新违规内容审核的需求。故计算图像特征与特征库中各有害文本特征之间的相似度即步骤21之前，本申请实施例的图像审核方法还可以包括：新增、删除或修改特征库中的有害文本，以得到用于与图像特征做对比的特征库。需说明的是，此处“新增、删除或修改特征库中的有害文本”的过程，和步骤20之间的先后执行顺序可以不限，当然也可以同时执行，具体可由需自定。

综上，如图3所示，本申请实施例可包括：图像特征提取、相似特征检索、审核结果判决、有害文本库运营等四个操作模块。图像特征提取：可基于深度神经网络模型，提取图像内容转换为向量特征，以便后续做跨模态的相似性比较。相似特征检索：比较图像向量特征X与事先准备好的各有害文本特征，得到二者之间的相似度，如果命中相似则进入下一步的判决；因为模型将两种不同模态的数据映射到同一向量空间，故图像特征和文本特征之间能够直接计算相似度。审核结果判决：根据有害阈值与上一步所得的相似度之间的大小关系，判断待审图像是否属于有害图像；一般地，如果相似度大于某一个有害阈值，则可直接判断该图像有害，或者，如果相似度小于无害阈值则认为无害，其他情况则可判断为疑似有害，需人审介入。有害文本库运营：有害文本特征库可以根据业务需求增加、修改或删除其中的内容，从而实现快速响应新违规内容审核的需求。当然，上述判决过程中除了考虑相似度与判定阈值(有害阈值、无害阈值)之间的大小关系，还可以综合考虑有害文本的危害程度等信息。

基于上述说明，在一些具体示例中，每一有害阈值指向一(个或些)违规类别，故相应地，在步骤22之后，本图像审核方法还包括：面对大于相应有害阈值的多个相似度，将其中最大相似度指向的违规类别或各相似度共同指向的违规类别，作为待审图像对应所属的有害类型。更进一步的，例如，面对大于各自有害阈值的6个相似度，其中，3个相似度共同指向违规类别1(含禁用词)，2个相似度共同指向违规类别2(行为表达不良)，则可以将相对多数的被共同指向的违规类别1作为待审图像对应所属的有害类型，即可以认为待审图像是含禁用词的有害图像。

请参阅图8，本申请提供一种模型训练方法的一个具体实施例，该实施例包括如下操作步骤81至82：

81、调整样本集中的图像特征和/或文本特征，以得到语义相对应的图像特征和文本特征。

对于跨模态技术而言，步骤81可视为，对样本集中图像模态的各图像特征和文本模态的各文本特征进行跨模态的特征对齐，以使语义相对应的图像特征和文本特征能对齐映射在同一空间内。此处的文本特征包含有害文本特征。

82、使用语义相对应的图像特征和文本特征，分别训练针对图像和文本的初始特征提取模型，以得到应用于上述第一方面或第一方面的任一具体实现方式(即上述图像审核方法)所描述的图像特征提取模型和文本特征提取模型。

如此，有助于适用不同模态特征的模型之间，建立起跨模态的语义对齐关系，方便由一模态的特征关联性地查找到另一模态的特征，并使得两模态的特征之间能直接进行相似度比较，从而打破多模态间的异构鸿沟。

在一些具体示例中，上述步骤81的过程可包括：根据各图像特征和各文本特征之间的相似度，构造损失函数；以损失函数取得最小值为目的，调整图像特征和/或文本特征，以得到语义相对应的图像特征和文本特征。如此，可促使图像模态的特征和文本模态的特征因语义对应关系对齐映射在同一空间内，即能针对性地便捷找到彼此，并训练得到相关联的图像特征提取模型(即图像模型Image Encoder)和文本特征提取模型(即文本模型Text Encoder)。实际应用中，调整两特征间的相似度，可理解为是调整当中至少一方的特征，使得特征间因变动而产生空间距离上的变化，包括使得表达同一语义的两特征更接近，表达不同语义的两特征更疏远，以防止输入的查询和输出结果不匹配，如二者的语义表达矛盾。

如图4所示，模型训练时，初始状态的文本模型的输入为一组文本[text1,text2,…,textN]，输出为对应提取的一组文本特征[T1,T2,…,TN]；图像模型的输入为一组图像[image1,image2,…,imageN]，输出为对应提取的一组图像特征[I1,I2,…,IN]，其中，text{i}和image{i}为语义内容上对应的一个成对pair数据即图文对。最后，为使得同一pair的图文对的语义特征接近，不同pair的图文对的语义特征远离，达到语义内容对应的图文特征能对齐的目的，故具体的：可根据各图像特征和各文本特征之间的相似度构造损失函数，并利用该损失函数调整图像特征和文本特征对之间的相似度(可视为改特征的过程)，例如，使语义内容对应的图文对之间的特征(I{i}乘以T{i})相似度趋于预设值1，即使得该情况的I{i}和T{i}在空间上相靠近，反之，语义内容不对应的图文对之间的特征相似度反向于预设值1(如趋于0)，即使得该情况的I{i}和T{i}在空间上相远离，直至损失函数取得最小值，从而最终构建出图文两种模态特征在共同特征空间(同一空间)内的位置关系，促使语义对应的图像特征和文本特征对齐。通过以上的预训练原理(可运用注意力机制)，最终训练得到的图像模型和文本模型就可以在图像模态和文本模态，建立起跨模态的语义对齐关系，以便准确直接地对提取出的图像特征和文本特征计算相似度。可选的，上述损失函数具体可为，各图文对的相似度构成的SDM损失函数。

需说明的是，本申请提供的模型训练方法的操作内容，可参见上述第一方面描述的具体内容实现，反之亦然，故类似部分不做赘述。

综上可见，本申请实施例的方法为泛化能力强、开发和维护成本低的图像审核技术，主要益处有：

1、降低了图像审核算法研发的成本：按照传统的方法需要为图像审核研发多个子模型，每个模型的研发都需要经过数据收集与标注、模型训练与优化、服务发布与运维等等，费时费力。而本方法只需研发一套跨模态的模型***，就能处理各类违规内容，大大节省算法研发成本和难度。具体的，使用跨模态的方法，基于文本特征向量和图像特征向量间的相似性比较，就能召回违规图像，提升对违规图像的召回率。

2、快速响应处置新违规图像：发现新违规内容时，传统的方法要不是训练一个新模型，要不就是迭代旧模型，过程耗时耗力，成本高速度慢。而本方法通过维护有害文本特征库，添加新内容入库，就能快速响应处置新的违规图像，速度快成本低。换言之，本申请通过建立有害文本特征库的判定阈值搜索、运营机制，能支持快速添加和删除相应的文本内容，从而快速响应召回新违规图像。

3、跨模态审核技术具备更好的泛化能力：可在较少样本甚至零样本的情况下，大大提高图像审核能力迭代效率，并快速处理解决各类AIGC违规内容，提升AIGC内容的安全性，促进AIGC技术的应用，召回更多样的违规内容。

请参阅图9，本申请实施例的电子设备900可以包括一个或一个以***处理器CPU(CPU，central processing units)901和存储器905，该存储器905中存储有一个或一个以上的应用程序或数据。

其中，存储器905可以是易失性存储或持久存储。存储在存储器905的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器901可以设置为与存储器905通信，在电子设备900上执行存储器905中的一系列指令操作。

电子设备900还可以包括一个或一个以上电源902，一个或一个以上有线或无线网络接口903，一个或一个以上输入输出接口904，和/或，一个或一个以上操作***，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。

该中央处理器901可以执行前述第一方面或第一方面的任一具体方法实施例所执行的操作，具体不再赘述。

本申请提供的一种计算机可读存储介质，包括指令，当指令在计算机上运行时，使得计算机执行如上述第一方面或第一方面的任一具体实现方式所描述的方法。

本申请提供的一种包含指令或计算机程序的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述第一方面或第一方面的任一具体实现方式所描述的方法。

可以理解的是，在本申请的各种实施例中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***(若存在)、装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***或装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品(计算机程序产品)存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，业务服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-only memory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种图像审核方法，其特征在于，包括：

将待审图像输入图像特征提取模型，以输出所述待审图像的图像特征；

计算所述图像特征与特征库中各有害文本特征之间的相似度；其中，所述有害文本特征关联有语义表达相对应的库存图像特征，各所述有害文本特征在语义表达上所属的有害类型为多种；

对于对应各所述有害文本特征的相似度，判断所述有害文本特征的有害阈值与所述相似度之间的大小关系；

若所述相似度大于所述有害阈值，则确定所述待审图像命中所述有害文本的语义表达，属于有害图像。

2.根据权利要求1所述的图像审核方法，其特征在于，所述计算所述图像特征与特征库中各有害文本特征之间的相似度，包括：

当所述特征库的特征含量在预设量级内时，使用指令集加速或矩阵运算加速库，计算所述图像特征与库内每一所述有害文本特征之间的相似度；

当所述特征库的特征含量超过所述预设量级时，通过分层检索技术建立的库内特征索引，定位出与所述图像特征语义相似的至少一有害文本特征，并计算所述图像特征分别与所述至少一有害文本特征之间的相似度。

3.根据权利要求1所述的图像审核方法，其特征在于，每一所述有害阈值的确定过程包括：

构建图像数目均超过预设数目的有害图像集和正常图像集；

对于每一有害文本特征，计算所述有害文本特征分别与各有害图像特征、各正常图像特征之间的相似度，以得到所述有害文本特征的相似度量区间，所述相似度量区间包括最大相似度和最小相似度构成的区间；

搜索出所述相似度量区间内的目标判定阈值作为所述有害文本特征的有害阈值，所述目标判定阈值为促使全部图像特征在真实违规类别、预测违规类别计量方面成就最高评价指标的值。

4.根据权利要求1所述的图像审核方法，其特征在于，所述方法还包括：

若所述图像特征与所述有害文本特征之间的相似度，在所述有害文本特征对应的无害阈值和所述有害阈值之间，则发起预警提醒；

其中，所述无害阈值小于所述有害阈值，所述无害阈值依据样本图像特征产生的评价指标确定。

5.根据权利要求1所述的图像审核方法，其特征在于，所述方法还包括：

若多个所述有害文本特征的相似度大于各自的有害阈值，则确定所述待审图像命中当中最高相似度对应的有害文本语义。

6.根据权利要求1所述的图像审核方法，其特征在于，计算所述图像特征与特征库中各有害文本特征之间的相似度之前，所述方法还包括：

新增、删除或修改特征库中的有害文本，以得到用于与所述图像特征做对比的特征库。

7.根据权利要求1所述的图像审核方法，其特征在于，所述相似度为多种距离度量值之间的加权结果，所述距离度量值包括特征向量之间的余弦距离和/或欧式距离。

8.根据权利要求1所述的图像审核方法，其特征在于，每一所述有害阈值指向一违规类别；判断所述有害文本特征的有害阈值与所述相似度之间的大小关系之后，所述方法还包括：

面对大于相应所述有害阈值的多个所述相似度，将其中最大所述相似度指向的违规类别或各所述相似度共同指向的违规类别，作为所述待审图像对应所属的有害类型。

9.一种电子设备，其特征在于，包括：

中央处理器，存储器以及输入输出接口；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行权利要求1至8中任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至8中任意一项所述的方法。