CN111382291A - 机器审核方法、装置及机器审核服务器 - Google Patents

Abstract

本发明提供了一种机器审核方法、装置及机器审核服务器，涉及机器审核技术领域，首先获取待审核对象，以及关于该待审核对象的审核服务要求；然后根据该审核服务要求，从预设的审核策略库中，配置与待审核对象对应的审核策略；进而通过配置的审核策略，对待审核对象的内容进行审核。本发明根据客户的审核服务要求，对待审核对象的审核策略进行相应地配置，以根据配置的审核策略对审核对象进行审核，提高了机器审核的策略配置灵活度。

Description

机器审核方法、装置及机器审核服务器

技术领域

本发明涉及机器审核技术领域，尤其是涉及一种机器审核方法、装置及机器审核服务器。

背景技术

移动互联网时代，互联网上的各类数据呈现***式增长，大量的图片、视频等内容持续被创作、传播。越来越丰富的内容不断占领人们的娱乐生活，各种平台内容的质量良莠不齐，内容平台中涉政、涉黄、涉暴等违规内容频发，互联网内容监管工作面临极大的挑战。

为了更好监管网络内容，通常需要对相关的内容平台进行人工审核和机器审核。对于机器审核，它可以根据客户的审核需求，预先配置服务所用的审核模型，模型输出标签与服务输出标签的映射关系，以及模型复审阈值，以保证机器尽可能召回违规内容。

但是，现有机器审核方式的审核策略配置，对所有客户都使用***默认的审核策略，配置缺乏灵活性。

发明内容

有鉴于此，本发明的目的在于提供一种机器审核方法、装置及机器审核服务器，可以根据客户需求灵活配置机器审核的审核策略。

第一方面，本发明实施例提供了一种机器审核方法，包括：获取待审核对象，以及关于该待审核对象的审核服务要求；根据该审核服务要求，从预设的审核策略库中，配置与待审核对象对应的审核策略；通过配置的审核策略，对待审核对象的内容进行审核。

在本发明较佳的实施例中，在上述通过配置的审核策略，对该待审核对象的内容进行审核的步骤之后，该方法还包括：输出审核结果；该审核结果包括待审核对象对应的服务标签，该服务标签用于描述该待审核对象的违规类型或合规类型。

在本发明较佳的实施例中，上述服务标签包括多级粒度的子服务标签，该多级粒度的子服务标签根据该待审核对象的审核服务要求确定。

在本发明较佳的实施例中，上述审核策略库中包括模型审核策略；该模型审核策略包括多个与不同审核服务要求对应的审核模型，该审核模型对应有预设模型标签，该模型标签用于描述该审核模型的审核类别。

在本发明较佳的实施例中，上述根据该审核服务要求，从预设的审核策略库中，配置与该待审核对象对应的审核策略的步骤，包括：从该模型审核策略中，确定与该审核服务要求对应的审核模型；对每一个确定的审核模型，建立该审核模型的模型标签与服务标签的映射关系；将确定的审核模型和映射关系，配置为与该待审核对象对应的审核策略。

在本发明较佳的实施例中，上述配置的审核策略中包括模型审核策略；上述通过配置的审核策略，对该待审核对象的内容进行审核的步骤，包括：通过模型审核策略中确定的审核模型，对该待审核对象的内容进行审核，得到该审核模型的每个模型标签对应的置信度值；从每个审核模型的模型标签中，筛选出最大置信度值对应的模型标签；根据上述映射关系，计算筛选出的模型标签对应的服务标签；将计算得到的服务标签确定为该待审核对象的审核结果。

在本发明较佳的实施例中，上述审核策略库中还包括白名单策略，图片检索策略和人脸比对策略；在从模型审核策略中，确定与该审核服务要求对应的审核模型的步骤之前，该方法还包括：从上述白名单策略，图片检索策略或人脸比对策略中，确定与该审核服务要求对应的策略；将确定出的策略配置到审核策略中。

在本发明较佳的实施例中，如果配置的审核策略中包括白名单策略，图片检索策略和人脸比对策略中的至少一个；上述通过配置的审核策略，对待审核对象的内容进行审核的步骤，包括：按照该审核策略的预设优先级，对配置的审核策略从高优先级到低优先级进行排序；通过排序后的审核策略，依次对待审核对象的内容进行审核。

在本发明较佳的实施例中，上述审核策略的优先级从高到底依次为：白名单策略，图片检索策略，人脸比对策略和模型审核策略。

在本发明较佳的实施例中，配置的审核策略中包括白名单策略，该白名单策略中预设有客户端白名单；上述通过配置的审核策略，对待审核对象的内容进行审核的步骤，包括：获取待审核对象的来源客户端；判断该客户端是否属于客户端白名单的范围；若是，将预设比例的待审核对象对应的服务标签确定为审核正常；将除该预设比例部分之外的待审核对象，根据配置的除白名单策略之外的审核策略进行审核。

在本发明较佳的实施例中，上述待审核对象为图片，并且，配置的审核策略中包括图片检索策略；上述通过配置的审核策略，对待审核对象的内容进行审核的步骤，包括：从预设图片样本库中，按预设选取方式选取预设数量的图片样本；计算待审核对象与选取出的该图片样本的相似度；将相似度超过预设相似度阈值的图片样本对应的预设服务标签，确定为该待审核对象的审核结果。

在本发明较佳的实施例中，上述配置的审核策略中包括人脸比对策略；上述通过配置的审核策略，对待审核对象的内容进行审核的步骤，包括：调用预设的人脸检测模型对该待审核对象进行人脸检测；如果检测出人脸，将检测出的人脸与预设人脸库中的人脸样本进行比对；如果比对成功，将比对成功的人脸样本对应的预设人物信息，确定为该待审核对象的审核结果。

第二方面，本发明实施例还提供了一种机器审核装置，该装置包括：待审核对象获取模块，用于获取待审核对象，以及关于该待审核对象的审核服务要求；审核策略配置模块，用于根据该审核服务要求，从预设的审核策略库中，配置与该待审核对象对应的审核策略；审核模块，用于通过配置的审核策略，对该待审核对象的内容进行审核。

在本发明较佳的实施例中，上述装置还包括：审核结果输出模块，用于输出审核结果；该审核结果包括待审核对象对应的服务标签，该服务标签用于描述该待审核对象的违规类型或合规类型。

第三方面，本发明实施例还提供了一种机器审核服务器，该机器审核服务器括处理器和存储器，该存储器存储有能够被该处理器执行的计算机可执行指令，该处理器执行该计算机可执行指令以实现上述机器审核方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述机器审核方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种机器审核方法、装置及机器审核服务器，首先获取待审核对象，以及关于该待审核对象的审核服务要求；然后根据该审核服务要求，从预设的审核策略库中，配置与待审核对象对应的审核策略；进而通过配置的审核策略，对待审核对象的内容进行审核。该方式中，可以根据客户的审核服务要求，对待审核对象的审核策略进行相应地配置，以根据配置的审核策略对审核对象进行审核，从而提高了机器审核的策略配置灵活度。

此外，该机器审核方法通过设置多级粒度的子服务标签，可以为客户输出更细粒度的审核信息，有助于客户了解审核内容被判违规的具体原因。并且，通过设置白名单策略，可以短期内缓解某些客户容易被误判的问题；通过设置图片检索策略，如果送审图片与违规样本库里的图片比对成功，则无需再调用审核模块进行审核，从而降低资源成本；通过设置人脸比对策略，可以缓解非人脸图片和小脸图片被误判为敏感人物的问题。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种机器审核方法的流程示意图；

图2为本发明实施例提供的另一种机器审核方法的流程示意图；

图3为本发明实施例提供的另一种机器审核方法的流程示意图；

图4为本发明实施例提供的一种机器审核装置的结构示意图；

图5为本发明实施例提供的一种机器审核服务器的结构示意图。

图标：41-待审核对象获取模块；42-审核策略配置模块；43-审核模块；51-处理器；52-存储器；53-总线；54-通信接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在移动互联网时代，互联网上的各类数据呈现***式增长，大量的图片、视频等内容持续被创作、传播。越来越丰富的内容不断占领人们的娱乐生活，各种平台内容质量良莠不齐，内容平台中涉政、涉黄、涉暴等违规内容频发，互联网内容监管工作面临极大的挑战。

在海量数据面前，传统依靠人力审核的弊端更加凸显，审核员在长时间过滤暴力、色情等不良内容时产生心理压力，导致整体审核效率低、成本高。并且，由于内容平台可能会出现国家政策及法规掌握不到位的情况，加之缺乏内容运营经验，会导致整体审核效果出现问题。再者，如果内容平台上垃圾内容清理不净，将影响用户体验，导致平台用户量降低。

因此，借助技术手段识别违规内容势在必行，其中，通过人工智能***即可以提供7*24小时不间断的工作，基于云服务的丰富底层资源、百亿图片存量和日均亿级图片更新，人工智能***可准确识别违规内容，响应时间小于1s，做到即发即审。通过人工智能***辅助内容平台进行人工审核，可以大大降低人工审核成本和管理费用。

通常情况下，不同内容平台的审核标准也各不相同，考虑到现有机器审核中的审核策略配置，对所有客户都使用***默认的审核策略配置，导致缺乏灵活性的问题，本发明提供了一种机器审核方法、装置及机器审核服务器，该技术可以应用于各种利用机器进行审核的应用场景中。为便于对本实施例进行理解，首先对本发明实施例所公开的一种机器审核方法进行详细介绍。

参见图1，所示为本发明实施例提供的一种机器审核方法的流程示意图，由图1可见，该方法包括以下步骤：

步骤S102：获取待审核对象，以及关于该待审核对象的审核服务要求。

这里，待审核对象可以是图片、文本、视频和音频等等。并且，上述审核服务要求可以包括服务类型，例如：涉政审核、涉暴审核、涉黄审核等；并且，该审核服务要求还可以包括对返回的审核结果的要求，例如，提供待审核对象是否违规的置信度，以及具体的违规项目等等。

以待审核对象为图片为例，在其中一种可能的实施方式中，关于该图片的审核服务要求可以是：要求对送审图片进行涉黄和涉暴审核；要求提供是否涉黄和涉暴的审核结果，以及具体涉黄、涉暴的内容，比如：涉黄的具体内容为露胸，涉暴的具体内容为持有枪械，等等。

在实际操作中，为了服务端和客户端之间的对接更加顺畅，机器审核服务端可以给客户端提供一套审核服务标准，以供客户端选择相应的审核服务。这样，客户端可以根据该审核服务标准，结合自身的实际需求，确定针对待审核对象的审核服务要求，并向服务端返回该审核服务要求，从而实现客户端对审核服务要求的定制化。

步骤S104：根据该审核服务要求，从预设的审核策略库中，配置与待审核对象对应的审核策略。

在审核服务端，审核策略库中预设有多种审核策略，这里，针对不同的审核对象、不同的服务要求通常采用不同的审核策略，例如，针对图片，可以通过图片检索策略对图片进行审核；针对视频，可以通过图像识别智能模型对视频进行审核，也可以通过人脸检测的方式对视频中的人物进行识别，等等。

并且，同样是针对图片的审核，可能对不同种类的图片，在服务端训练了不同的智能模型，例如，对于色情图像识别服务，假设通过强化学习训练了A模型、B模型和C模型，其中，A模型主要针对“露***”的图像进行了识别训练，B模型主要针对“露臀”的图像进行了识别训练，C模型主要针对“裸体”的图像进行了识别训练。如果客户根据实际情况认为，送审的图片主要是需要针对“露***”的色情识别服务，则可以相应选择A模型作为审核模型，从而配置A模型为送审图片对应的审核策略。而如果是***默认的审核策略，例如，***默认为选取A模型、B模型和C模型共同进行色情图像识别，则无法根据客户的实际需求进行调整，造成资源的浪费。在实际操作中，为了操作界面的整洁，在训练得到细分的露***审核模型、露臀审核模型和裸体审核模型之后，还可以设置上一层级的“鉴黄模型”，其中，该鉴黄模型包括露***审核模型、露臀审核模型和裸体审核模型等子模型，在选择适用客户的需求服务时，确定选用鉴黄模型的情况下，再根据实际需要增加二级子模型。

步骤S106：通过配置的审核策略，对待审核对象的内容进行审核。

在配置好与待审核对象对应的审核策略之后，通过该配置的审核策略，对待审核对象的内容进行审核。也即，执行配置的审核策略，以审核上述待审核内容。

这样，当审核服务端获取客户端的审核服务要求后，根据该审核服务要求，相应地配置与待审核对象对应的审核策略，相比于现有技术中，对所有客户都使用***默认审核策略配置的方式，本实施例对审核配置的方式更加灵活，更能符合客户的实际需求。

本发明实施例提供的一种机器审核方法，首先获取待审核对象，以及关于该待审核对象的审核服务要求；然后根据该审核服务要求，从预设的审核策略库中，配置与待审核对象对应的审核策略；进而通过配置的审核策略，对待审核对象的内容进行审核。该方式中，可以根据客户的审核服务要求，对待审核对象的审核策略进行相应地配置，以根据配置的审核策略对审核对象进行审核，从而提高了机器审核的策略配置灵活度。

在实际操作中，在服务端完成机器审核之后，还需要将审核结果返回给客户端，因此，在图1所示机器审核方法的基础上，本实施例还提供了另一种机器审核方法，如图2，所示为另一种机器审核方法的流程示意图，其中，该方法包括以下步骤：

步骤S202：获取待审核对象，以及关于该待审核对象的审核服务要求。

步骤S204：根据该审核服务要求，从预设的审核策略库中，配置与待审核对象对应的审核策略。

步骤S206：通过配置的审核策略，对待审核对象的内容进行审核。

步骤S208：输出审核结果；该审核结果包括待审核对象对应的服务标签，该服务标签用于描述该待审核对象的违规类型或合规类型。

在本实施例中，完成对待审核对象的审核之后，得到了审核结果，其中，该审核结果中包括了与待审核对象相对应的服务标签。这里，服务标签用于描述待审核对象的违规类型或合规类型，在至少一种可能的实施方式中，违规类型的服务标签可以包括：涉黄、涉暴、涉政、敏感人物、违法违规图像等等；合规类型的服务标签可以包括正常刀具，正常服装等等。

在实际操作中，某些情况下，客户需要根据送审内容的审核结果对送审内容进行相应地调整，以满足法律法规的要求。而返回的服务标签粒度太大，例如，针对送审图片，如果只是返回哪些图片审核为“涉黄”，哪些图片审核为“涉暴”，则客户无法了解到被判为“涉黄”的具体的原因是什么，不便于后期进行调整。为此，在现有的服务标签下，还可以设置多级粒度的子服务标签，例如，可以分为一级服务标签，二级服务标签等等，并且，多级粒度的子服务标签根据该待审核对象的审核服务要求确定。

以待审核对象为图片为例，假设客户的审核服务要求为对图片是否“涉黄”进行审核，且对被审核为“涉黄”的图片需要获得具体被判涉黄的原因。这样，可以设置一级服务标签为“涉黄”，二级服务标签包括：露***、露臀线、露背、裸体、露下体、动物下体、穿着性感等等。

这里，假设图片内容为一个女主播穿着低胸的衣服跳舞，机器审核结果为低俗，内容平台收到审核结果为低俗，但并不知道图片内容哪部分低俗，在本实施例中，通过返回细粒度的子服务标签“露***”，内容平台就了解到这张图片是因为女主播露***被判为低俗。

本实施例提供的机器审核方法，通过配置相应地色情图像识别模型对送审图片进行审核，输出审核结果后，客户根据审核结果中的一级服务标签和二级服务标签，可以具体了解到图片违规的具体原因，以及图片合规的情况。

在图2所示机器审核方法的基础上，本实施例还提供了另一种机器审核方法，该方法重点描述了根据审核服务要求，从预设的审核策略库中，配置与该待审核对象对应的审核策略的具体实现过程。在本实施例中，上述审核策略库中包括模型审核策略，该模型审核策略包括多个与不同审核服务要求对应的审核模型，并且，该审核模型对应有预设模型标签，该模型标签用于描述该审核模型的审核类别。

参见图3，所示为该机器审核方法的流程示意图，其中，该方法包括以下步骤：

步骤S302：获取待审核对象，以及关于该待审核对象的审核服务要求。

步骤S304：从该模型审核策略中，确定与该审核服务要求对应的审核模型。

在本实施例中，审核策略库中包括模型审核策略。这里，模型审核策略是一种通过预先训练好的智能模型进行审核的审核方式，它包括不同的审核模型，例如OCR(opticalcharacter recognition，光学字符识别)模型，暴恐图像识别模型，色情图像识别模型，涉政图像识别模型，敏感人物图像识别模型等等。

对于每一个审核模型，均对应有预设的模型标签，以描述该模型的审核类别，其中，一个审核模型可以有多个模型标签，例如，暴恐图像识别模型，可以对应有以下模型标签：军装，刀具，极端旗帜，聚集，迷彩服装等等。在其他实施方式中，各个审核模型可以根据实际需要设置不同的模型标签，在此不作限制。

根据审核服务要求，确定对应的审核模型。假设需要进行涉政和涉暴审核，则可以相应确定暴恐图像识别模型、涉政图像识别模型和敏感人物图像识别模型等。

步骤S306：对每一个确定的审核模型，建立该审核模型的模型标签与服务标签的映射关系。

这里，以***识别的服务为例说明，对于不同的客户，对于***的判断标准可能不同，例如，有的内容平台可能认为“露背”即为低俗，有的平台可能认为“露背”为正常；又比如，对于“露***”，有的平台认为暴露三分之一及以上则为低俗，而有的平台则认为暴露三分之一属于正常，暴露二分之一及以上才为低俗。这样，需要根据客户的审核服务要求，建立模型标签与服务标签的映射关系，以输出满足服务要求的审核结果。

步骤S308：将确定的审核模型和映射关系，配置为与该待审核对象对应的审核策略。

对于通过模型审核策略对送审内容进行审核的情况下，确定好与审核服务要求对应的审核模型，以及各个审核模型的模型标签和服务标签的映射关系后，即完成了对审核策略的配置。

步骤S310：通过配置的审核策略，对待审核对象的内容进行审核。

在其中一种可能的实施方式中，上述配置的审核策略中包括模型审核策略，并且，可以通过下述步骤11-14实现上述通过配置的审核策略，对待审核对象的内容进行审核的步骤：

(11)通过模型审核策略中确定的审核模型，对该待审核对象的内容进行审核，得到该审核模型的每个模型标签对应的置信度值；

(12)从每个审核模型的模型标签中，筛选出最大置信度值对应的模型标签；

(13)根据上述映射关系，计算筛选出的模型标签对应的服务标签；

(14)将计算得到的服务标签确定为该待审核对象的审核结果。

这里，假设确定的审核模型包括：暴恐图像识别模型和色情图像识别模型，其中，暴恐图像识别模型包括以下模型标签：穿着迷彩服，持有刀具，持有枪械；色情图像识别模型包括以下模型标签：露***，露臀线，露背。以暴恐图像识别模型为例，经过模型审核后，分别得到各个模型标签的置信度值，分别为：穿着迷彩服对应执行度值为0.2，持有刀具对应执行度值为0.5，持有枪械对应执行度值为0.6；此时，筛选出最大置信度值对应的模型标签，即：持有枪械；根据策略配置过程中设置的映射关系，假设“持有枪械”这一模型标签与服务标签的映射关系为：持有枪械置信度值范围在[0,0.4]时映射为“正常”，置信度值范围在[0.5,0.6]时映射为“疑似暴恐”，置信度值范围在[0.7,1]时映射为“暴恐”；则根据该映射关系，计算对应的服务标签为“疑似暴恐”，这样，输出的审核结果为：疑似暴恐，具体内容为：持有枪械。

在其他可能的实施方式中，还可以设置审核模型的复审阈值，当某个送审对象M的审核结果显示，其对应的某一模型标签的置信度值大于该复审阈值时，该审核模型对送审对象M重新进行审核。这样，可以降低误判的情况。

步骤S312：输出审核结果；该审核结果包括待审核对象对应的服务标签，该服务标签用于描述该待审核对象的违规类型或合规类型。

本实施例提供的机器审核方法，介绍了通过模型审核策略对送审内容进行审核策略的配置，以及审核的具体实施方式，该方式可以提高机器审核的策略配置灵活度。

在图3所示机器审核方法的基础上，本实施例还提供了另一种机器审核方法，在本实施例中，审核策略库中包括模型审核策略，还包括白名单策略，图片检索策略和人脸比对策略。

这里，在根据该审核服务要求，从预设的审核策略库中，配置与该待审核对象对应的审核策略时，可以通过下述步骤22-23实现：

(22)从上述白名单策略，图片检索策略或人脸比对策略中，确定与该审核服务要求对应的策略；将确定出的策略配置到审核策略中。

(23)从该模型审核策略中，确定与该审核服务要求对应的审核模型；对每一个确定的审核模型，建立该审核模型的模型标签与服务标签的映射关系；将确定的审核模型和映射关系，配置为与该待审核对象对应的审核策略。

在其中一种可能的实施方式中，假设配置的审核策略中包括白名单策略，图片检索策略和人脸比对策略中的至少一个，则可以先按照该审核策略的预设优先级，对配置的审核策略从高优先级到低优先级进行排序；然后，通过排序后的审核策略，依次对待审核对象的内容进行审核。

例如，假设上述审核策略的优先级从高到低依次为：白名单策略，图片检索策略，人脸比对策略和模型审核策略。并且实际配置的审核策略中包括白名单策略和模型审核策略，其中，该白名单策略中预设有客户端白名单，这里，首先通过白名单策略对送审对象进行审核，其中，审核的步骤如下：

(31)获取待审核对象的来源客户端；

(32)判断该客户端是否属于客户端白名单的范围；

(33)若是，将预设比例的待审核对象对应的服务标签确定为审核正常；将除该预设比例部分之外的待审核对象，根据配置的除白名单策略之外的审核策略进行审核。

例如，在某种场景下，假设某直播平台B1将一批主播的图像送审，由于该直播平台B1某些主播的妆容，和另一直播平台B2中已经列为禁播主播的妆容相似，实际审核过程中，容易造成误判，将妆容相似的主播识别为违禁主播。为了缓解这种情况，可以首先获取被误判较多内容的所属来源，将该来源设置到客户端白名单，例如，将该直播平台B1添加到客户端白名单中，并且，在其中一种实施方式中，可以将该直播平台B1的40％的送审内容对应的服务标签确定为审核正常，将其余60％的送审内容通过已经配置的，除白名单策略之外的审核策略进行审核。这样，可以短期内缓解某些客户容易被误判的问题。

又比如，通过获取送审图片内容所属来源，如用户ID、直播流ID，将易被误判的用户ID或直播流ID配置到白名单中，相同用户ID或直播流ID的图片内容再送审过来时会命中白名单策略，此时，***直接返回审核正常标签，不再调用审核模型对送审图片进行审核。

在另一种可能的实施方式中，还可以通过统计造成误判的模型标签置信度值分布情况，根据分布情况，调整模型标签与服务标签映射关系，从而降低误判率。此外，如果是图像识别类模型针对某一模型标签容易误判，也可以通过收集易造成误判的模型标签对应的图片，对该图像识别模型进行训练，从而降低误判率。

在另一种可能的实施方式中，假设待审核对象为图片，并且，上述配置的审核策略中包括图片检索策略；则上述通过配置的审核策略，对待审核对象的内容进行审核的步骤，可以通过下述步骤41-43实现：

(41)从预设图片样本库中，按预设选取方式选取预设数量的图片样本。其中，预设选取方式可以是随机选取，也可以是其他选取方式。例如，可以根据客户的审核规则预先设置图片样本库的图片样本，将送审的图片与图片样本库中选取的N张图片样本分别进行相似度计算。

(42)计算待审核对象与选取出的该图片样本的相似度。

(43)将相似度超过预设相似度阈值的图片样本对应的预设服务标签，确定为该待审核对象的审核结果。

这里，图片样本库中预设的图片可以是已经确认为违规的图片，并且，该图片样本库中的每一张图片样本，都对应有预设服务标签，这样，当待审核对象为图片时，可以配置图片检索策略，优先从图片样本库中进行检索，如果检索到与送审图片的相似度超过相似度阈值的图片样本，则直接返回样本库里的图片样本对应的服务标签，无需再调用模型对图片进行审核，从而减少了审核模型被调用的次数，降低资源成本。

在另一种可能的实施方式中，假设上述配置的审核策略中包括人脸比对策略；则上述通过配置的审核策略，对待审核对象的内容进行审核的步骤，可以通过下述步骤51-53实现：

(51)调用预设的人脸检测模型对该待审核对象进行人脸检测；

(52)如果检测出人脸，将检测出的人脸与预设人脸库中的人脸样本进行比对；

(53)如果比对成功，将比对成功的人脸样本对应的预设人物信息，确定为该待审核对象的审核结果。

在其中一种应用场景中，假设客户的审核服务要求中包括审核是否出现敏感人物，则可以通过配置人脸比对策略满足这一需求。假设在预设人脸库中保存有敏感人物的人脸样本，并且，每一张人脸样本对应有预设的人物信息，例如，姓名，身份证号，职业等等。类似于上述图片检索策略的过程，假设待审核对象为图片，则可以通过调用人脸检测模型对送审图片进行人脸检测，检测出人脸后，再调用人脸比对服务，将检测出的人脸与预设人脸库中的人脸样本进行比对，如果比对成功，返回相似人脸的人物信息。这样，可以快速获得满足客户审核服务要求的审核结果。

本实施例提供的机器审核方法，通过设置白名单策略，可以短期内缓解某些客户容易被误判的问题；通过设置图片检索策略，如果送审图片与违规样本库里的图片比对成功，则无需再调用审核模块进行审核，从而降低资源成本；通过设置人脸比对策略，可以缓解非人脸图片和小脸图片被误判为敏感人物的问题。

对应于上述机器审核方法，本实施例还提供了一种机器审核装置，参见图4，所示为该机器审核装置的结构示意图，由图4可见，该装置包括依次连接的待审核对象获取模块41、审核策略配置模块42和审核模块43，其中，各个模块的功能如下：

待审核对象获取模块41，用于获取待审核对象，以及关于该待审核对象的审核服务要求；

审核策略配置模块42，用于根据该审核服务要求，从预设的审核策略库中，配置与该待审核对象对应的审核策略；

审核模块43，用于通过配置的审核策略，对该待审核对象的内容进行审核。

本发明实施例提供的一种机器审核装置，首先获取待审核对象，以及关于该待审核对象的审核服务要求；然后根据该审核服务要求，从预设的审核策略库中，配置与待审核对象对应的审核策略；进而通过配置的审核策略，对待审核对象的内容进行审核。该装置中，可以根据客户的审核服务要求，对待审核对象的审核策略进行相应地配置，以根据配置的审核策略对审核对象进行审核，从而提高了机器审核的策略配置灵活度。

在其中一种可能的实施方式中，上述机器审核装置还包括审核结果输出模块；该审核结果输出模块用于输出审核结果；该审核结果包括待审核对象对应的服务标签，该服务标签用于描述该待审核对象的违规类型或合规类型。

在另一种可能的实施方式中，上述服务标签包括多级粒度的子服务标签，该多级粒度的子服务标签根据该待审核对象的审核服务要求确定。

在另一种可能的实施方式中，上述审核策略库中包括模型审核策略；该模型审核策略包括多个与不同审核服务要求对应的审核模型，该审核模型对应有预设模型标签，该模型标签用于描述该审核模型的审核类别。

在另一种可能的实施方式中，上述审核策略配置模块42还用于：从该模型审核策略中，确定与该审核服务要求对应的审核模型；对每一个确定的审核模型，建立该审核模型的模型标签与服务标签的映射关系；将确定的审核模型和映射关系，配置为与该待审核对象对应的审核策略。

在另一种可能的实施方式中，上述配置的审核策略中包括模型审核策略；上述审核策略配置模块42还用于：通过模型审核策略中确定的审核模型，对该待审核对象的内容进行审核，得到该审核模型的每个模型标签对应的置信度值；从每个审核模型的模型标签中，筛选出最大置信度值对应的模型标签；根据上述映射关系，计算筛选出的模型标签对应的服务标签；将计算得到的服务标签确定为该待审核对象的审核结果。

在另一种可能的实施方式中，上述审核策略库中还包括白名单策略，图片检索策略和人脸比对策略；在从模型审核策略中，确定与该审核服务要求对应的审核模型的步骤之前，该方法还包括：从上述白名单策略，图片检索策略或人脸比对策略中，确定与该审核服务要求对应的策略；将确定出的策略配置到审核策略中。

在另一种可能的实施方式中，如果配置的审核策略中包括白名单策略，图片检索策略和人脸比对策略中的至少一个；上述审核模块43还用于：按照该审核策略的预设优先级，对配置的审核策略从高优先级到低优先级进行排序；通过排序后的审核策略，依次对待审核对象的内容进行审核。

在另一种可能的实施方式中，上述审核策略的优先级从高到底依次为：白名单策略，图片检索策略，人脸比对策略和模型审核策略。

在另一种可能的实施方式中，上述配置的审核策略中包括白名单策略，该白名单策略中预设有客户端白名单；上述审核模块43还用于：获取待审核对象的来源客户端；判断该客户端是否属于客户端白名单的范围；若是，将预设比例的待审核对象对应的服务标签确定为审核正常；将除该预设比例部分之外的待审核对象，根据配置的除白名单策略之外的审核策略进行审核。

在另一种可能的实施方式中，上述待审核对象为图片，并且，配置的审核策略中包括图片检索策略；上述审核模块43还用于：从预设图片样本库中，按预设选取方式选取预设数量的图片样本；计算待审核对象与选取出的该图片样本的相似度；将相似度超过预设相似度阈值的图片样本对应的预设服务标签，确定为该待审核对象的审核结果。

在本发明较佳的实施例中，上述配置的审核策略中包括人脸比对策略；上述审核模块43还用于：调用预设的人脸检测模型对该待审核对象进行人脸检测；如果检测出人脸，将检测出的人脸与预设人脸库中的人脸样本进行比对；如果比对成功，将比对成功的人脸样本对应的预设人物信息，确定为该待审核对象的审核结果。

本发明实施例提供的机器审核装置，其实现原理及产生的技术效果和前述机器审核方法实施例相同，为简要描述，机器审核装置的实施例部分未提及之处，可参考前述机器审核方法实施例中相应内容。

本发明实施例还提供了一种机器审核服务器，如图5所示，为该机器审核服务器的结构示意图，其中，该机器审核服务器包括处理器51和存储器52，该存储器52存储有能够被该处理器51执行的机器可执行指令，该处理器51执行该机器可执行指令以实现上述机器审核方法。

在图5示出的实施方式中，该机器审核服务器还包括总线53和通信接口54，其中，处理器51、通信接口54和存储器52通过总线连接。

其中，存储器52可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口54(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器51读取存储器52中的信息，结合其硬件完成前述实施例的机器审核方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述机器审核方法，具体实现可参见前述方法实施例，在此不再赘述。

本发明实施例所提供的机器审核方法、机器审核装置和机器审核服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的机器审核方法，具体实现可参见方法实施例，在此不再赘述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种机器审核方法，其特征在于，包括：

获取待审核对象，以及关于所述待审核对象的审核服务要求；

根据所述审核服务要求，从预设的审核策略库中，配置与所述待审核对象对应的审核策略；

通过配置的所述审核策略，对所述待审核对象的内容进行审核。

2.根据权利要求1所述的机器审核方法，其特征在于，在所述通过配置的所述审核策略，对所述待审核对象的内容进行审核的步骤之后，所述方法还包括：

输出审核结果；所述审核结果包括所述待审核对象对应的服务标签，所述服务标签用于描述所述待审核对象的违规类型或合规类型。

3.根据权利要求2所述的机器审核方法，其特征在于，所述服务标签包括多级粒度的子服务标签，所述多级粒度的子服务标签根据所述待审核对象的审核服务要求确定。

4.根据权利要求2所述的机器审核方法，其特征在于，所述审核策略库中包括模型审核策略；所述模型审核策略包括多个与不同审核服务要求对应的审核模型，所述审核模型对应有预设模型标签，所述模型标签用于描述所述审核模型的审核类别。

5.根据权利要求4所述的机器审核方法，其特征在于，所述根据所述审核服务要求，从预设的审核策略库中，配置与所述待审核对象对应的审核策略的步骤，包括：

从所述模型审核策略中，确定与所述审核服务要求对应的审核模型；

对每一个确定的所述审核模型，建立所述审核模型的模型标签与所述服务标签的映射关系；

将确定的所述审核模型和所述映射关系，配置为与所述待审核对象对应的审核策略。

6.根据权利要求5所述的机器审核方法，其特征在于，配置的所述审核策略中包括所述模型审核策略；

所述通过配置的所述审核策略，对所述待审核对象的内容进行审核的步骤，包括：

通过所述模型审核策略中确定的所述审核模型，对所述待审核对象的内容进行审核，得到所述审核模型的每个模型标签对应的置信度值；

从每个所述审核模型的所述模型标签中，筛选出最大置信度值对应的所述模型标签；

根据所述映射关系，计算筛选出的所述模型标签对应的所述服务标签；

将计算得到的所述服务标签确定为所述待审核对象的审核结果。

7.根据权利要求5所述的机器审核方法，其特征在于，所述审核策略库中还包括白名单策略，图片检索策略和人脸比对策略；

在从所述模型审核策略中，确定与所述审核服务要求对应的审核模型的步骤之前，所述方法还包括：

从所述白名单策略，所述图片检索策略或所述人脸比对策略中，确定与所述审核服务要求对应的策略；

将确定出的所述策略配置到所述审核策略中。

8.根据权利要求7所述的机器审核方法，其特征在于，如果配置的所述审核策略中包括所述白名单策略，所述图片检索策略和所述人脸比对策略中的至少一个；

所述通过配置的所述审核策略，对所述待审核对象的内容进行审核的步骤，包括：

按照所述审核策略的预设优先级，对配置的所述审核策略从高优先级到低优先级进行排序；

通过排序后的所述审核策略，依次对所述待审核对象的内容进行审核。

9.根据权利要求8所述的机器审核方法，其特征在于，所述审核策略的优先级从高到底依次为：所述白名单策略，所述图片检索策略，所述人脸比对策略和所述模型审核策略。

10.根据权利要求7所述的机器审核方法，其特征在于，配置的所述审核策略中包括所述白名单策略，所述白名单策略中预设有客户端白名单；

所述通过配置的所述审核策略，对所述待审核对象的内容进行审核的步骤，包括：

获取所述待审核对象的来源客户端；

判断所述客户端是否属于所述客户端白名单的范围；

若是，将预设比例的所述待审核对象对应的服务标签确定为审核正常；将除所述预设比例部分之外的所述待审核对象，根据配置的除所述白名单策略之外的审核策略进行审核。

11.根据权利要求7所述的机器审核方法，其特征在于，所述待审核对象为图片，并且，配置的所述审核策略中包括所述图片检索策略；

所述通过配置的所述审核策略，对所述待审核对象的内容进行审核的步骤，包括：

从预设图片样本库中，按预设选取方式选取预设数量的图片样本；

计算所述待审核对象与选取出的所述图片样本的相似度；

将所述相似度超过预设相似度阈值的所述图片样本对应的预设服务标签，确定为所述待审核对象的审核结果。

12.根据权利要求7所述的机器审核方法，其特征在于，配置的所述审核策略中包括所述人脸比对策略；

所述通过配置的所述审核策略，对所述待审核对象的内容进行审核的步骤，包括：

调用预设的人脸检测模型对所述待审核对象进行人脸检测；

如果检测出人脸，将检测出的所述人脸与预设人脸库中的人脸样本进行比对；

如果比对成功，将比对成功的所述人脸样本对应的预设人物信息，确定为所述待审核对象的审核结果。

13.一种机器审核装置，其特征在于，包括：

待审核对象获取模块，用于获取待审核对象，以及关于所述待审核对象的审核服务要求；

审核策略配置模块，用于根据所述审核服务要求，从预设的审核策略库中，配置与所述待审核对象对应的审核策略；

审核模块，用于通过配置的所述审核策略，对所述待审核对象的内容进行审核。

14.根据权利要求13所述的机器审核装置，其特征在于，所述装置还包括：

审核结果输出模块，用于输出审核结果；所述审核结果包括所述待审核对象对应的服务标签，所述服务标签用于描述所述待审核对象的违规类型或合规类型。

15.一种机器审核服务器，其特征在于，所述机器审核服务器括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至12任一项所述的机器审核方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至12任一项所述的机器审核方法。

Images