CN114241374A - 直播处理模型的训练方法、直播处理方法、装置和设备 - Google Patents

Abstract

本公开提供了直播处理模型的训练方法和装置、直播处理方法和装置，涉及人工智能领域，尤其涉及计算机视觉和深度学习领域。具体实现方案为：从直播图像中提取候选样本图像；采用直播处理模型，对所述候选样本图像进行处理得到候选样本图像的处理结果；所述直播处理模型包括直播检测模型和直播分类模型，所述候选样本图像的处理结果包括候选样本图像的检测结果和分类结果；根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练。本公开可以提高对直播处理模型的训练效率和识别准确度。

Description

直播处理模型的训练方法、直播处理方法、装置和设备

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习领域。

背景技术

随着互联网和通信网络的不断发展，网络直播也越来越普及，满足用户的各种娱乐、购物等需求。由于网络直播内容的良莠不齐，经常会出现各种不良和有害直播，给观看者带来了极大的身体和心理影响。

因而，如何对这些违规直播进行及时发现和处理是业内重要问题。

发明内容

本公开提供了直播处理模型的训练方法、直播处理方法、装置和设备，以可以提高对直播处理模型的训练效率和识别准确度。

根据本公开的一方面，提供了一种直播处理模型的训练方法，包括：

从直播图像中提取候选样本图像；

采用直播处理模型，对所述候选样本图像进行处理得到候选样本图像的处理结果；所述直播处理模型包括直播检测模型和直播分类模型，所述候选样本图像的处理结果包括候选样本图像的检测结果和分类结果；

根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练。

根据本公开的另一方面，提供了一种直播处理方法，包括：

从直播图像中提取待检测的目标图像；

采用直播处理模型中的直播检测模型对所述目标图像进行检测，得到目标图像的检测结果，并采用直播处理模型中的直播分类模型对所述目标图像进行分类，得到目标图像的分类结果；

根据所述目标图像的检测结果和/或所述目标图像的分类结果，确定目标图像的直播处理结果；

其中，所述直播处理模型采用本公开任意实施例所提供的直播处理模型的训练方法训练得到。

根据本公开的另一方面，提供了一种播处理模型的训练装置，所述装置包括：

候选样本图像提取模块，用于从直播图像中提取候选样本图像；

候选样本图像处理模块，采用直播处理模型，对所述候选样本图像进行处理得到候选样本图像的处理结果；所述直播处理模型包括直播检测模型和直播分类模型，所述候选样本图像的处理结果包括候选样本图像的检测结果和分类结果；

模型训练模块，用于根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练。

根据本公开的另一方面，提供了一种直播处理装置，所述装置包括：

目标图像提取模块，用于从直播图像中提取待检测的目标图像；

目标图像处理模块，用于采用直播处理模型中的直播检测模型对所述目标图像进行检测，得到目标图像的检测结果，并采用直播处理模型中的直播分类模型对所述目标图像进行分类，得到目标图像的分类结果；

处理结果确定模块，用于根据所述目标图像的检测结果和/或所述目标图像的分类结果，确定目标图像的直播处理结果；

其中，所述直播处理模型由本公开任意实施例所提供直播处理模型的训练装置确定。

根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所提供的直播处理模型的训练方法或者直播处理方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任意实施例所提供的直播处理模型的训练方法或者直播处理方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任意实施例所提供的直播处理模型的训练方法或者直播处理方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例提供的一种直播处理模型的训练方法的示意图；

图2是根据本公开又一实施例提供的一种直播处理模型的训练方法的示意图；

图3是根据本公开又一实施例提供的一种直播处理方法的示意图；

图4是根据本公开又一实施例提供的一种直播处理方法的示意图；

图5是根据本公开又一实施例提供的一种直播处理模型的训练装置的装置图；

图6是根据本公开又一实施例提供的一种直播处理装置的装置图；

图7是用来实现本公开实施例所述方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开一实施例提供的一种直播处理模型的训练的流程图，本实施例可适用于利用样本图像对模型进行训练的情况，该方法可以由直播处理模型的训练装置来执行，该装置可以采用软件和/或硬件的方式来实现。该装置可配置于具备相应数据处理能力的电子设备中，该方法具体包括：

S110、从直播图像中提取候选样本图像。

其中，直播图像可以是确定已经存在不良图像帧的图像。候选样本图像可以是该直播图对应的帧图像。

具体的，基于预设的帧间隔或者直播图像自身的帧率对直播图像进行分帧，将得到的多个图像帧候选样本图像。需要说明的是，不良图像帧在候选样本图像中的比例可以是百分之一百，也可以是其他比例，根据具体的直播视频确定，可以将该直播视频外的其他健康图像帧同样作为候选样本图像来验证直播处理模型训练后的处理能力。

S120、采用直播处理模型，对所述候选样本图像进行处理得到候选样本图像的处理结果；所述直播处理模型包括直播检测模型和直播分类模型，所述候选样本图像的处理结果包括候选样本图像的检测结果和分类结果。

其中，直播检测模型可以基于神经网络检测算法构建，通过提取图像中的纹理、位置特征，然后采用分类和回归的方式，对图片中的区域进行分类和检测，从而识别出当前图片是否存在预设人体不良区域的袒露。而直播分类模型则可以基于神经网络分类算法构建，通过提取图像中的纹理、语义特征，然后使用特征分类器，对特征进行分类，从而判断当前图像对所属的有害类别。

具体的，通过标注工具对提取到的候选样本图像进行标注，在标注时，既有整张候选样本图像类别标注，以用于对分类模型的训练；也有候选样本图像中具体内容的目标框和框类别标注，以用于对检测模型的训练。例如对于衣着完全正常，但特定部位明确袒露的候选图像帧，对该候选图像帧中袒露的特定部位标注目标框，作为检测数据集；对于无明显形体特征，但语义低俗的诱惑姿势和动作的候选图像帧，对整张图片进行标注，作为分类数据集。在获取直播分类模型对应的分类数据集合和检测模型对应的检测数据集之后，将数据集输入其对应的模型进行处理，得到每张候选样本图像的两个模型输出结果。其中，对于分类模型的输出结果，每一候选样本图像可以存在三个置信度得分，分别是正常性有害置信度、高危型有害置信度及低危型有害置信度，且三个置信度的和固定不变；对于检测模型的输出结果，每一候选样本图像因袒露不良区域的不同，可以存在不同的类别，并基于该不良区域袒露程度的不同，进而在该不良类型的基础上进一步给出当前样本图像在至少一个有害类别下的置信度。

S130、根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练。

其中，目标样本图像是候选样本图像中分类结果和检测结果满足预设条件的样本图像。

具体的，两个模型都没有检出的图像认为是正常图像，可以从对应的数据集中弃用，两个模型分别检出的候选样本图像如果大于一定的置信度标准则认为是目标样本图像，两个模型同时检出的候选样本图像同样被可认为是目标样本图像。通过处理模型对候选样本图像进行检测和分类，得到了一定识别精确度的目标样本图像，在这一过程中，通过分类和检测模型对图片进行标记和识别以及从候选样本中目标样本的确定，降低了目标样本确定过程中的人工操作，提高了模型训练的效率。

在本公开通过在直播图像中抽取候选样本图像后，基于直播检测模型和直播分类模型采用模型迭代的方式，对候选图像类别识别和标注，进而得到模型训练所需的目标样本图像，提高了模型训练效率和识别准确度，节省大量人力资源。

在上述公开的基础上，可选的，所述根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练，包括：

在任一候选样本图像的处理结果有误的情况下，采用该候选样本图像和该候选样本图像的处理结果构建负样本；采用所述负样本，对所述直播处理模型进行训练。

其中，负样本可以是应被确定为目标样本图像，但实际被误判为非目标样本图像而丢弃的误检图像，也可以是应被判断为非目标样本图像，但实际被误判为目标样本图像而保留的误检图像。

具体的，模型学习过程中，会出现正样本被预测为负样本，负样本被预测为正样本的情形。因而本公开中，在模型迭代过程中会分析误检图像，并针对误检图像定向添加对应负样本或正样本数据，以此可以有效降低部分误检的情况。定向添加的正负样本数据来源于检测或者分类模型对应检出或者误检类别的图像，可以经过一定的调整后，添加到训练集中。通过采用误检图像作为负样本，有效降低了降低模型的误检率。

图2是根据本公开又一实施例提供的一种直播处理模型的训练方法的流程图，本实施例在上述各实施例的基础上，将“所述根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像”细化为“在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第一置信度阈值，且该候选样本图像的分类结果中该候选样本图像的有害类别置信度大于第二置信度阈值的情况下，将该候选样本图像作为目标样本图像”或“在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第三置信度阈值的情况下，将该候选样本图像作为目标样本图像；在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度小于所述第三置信度阈值，且大于第四置信度阈值的情况下，生成对该候选样本图像的标注核验任务；根据对该候选样本图像的标注核验信息，确定该候选样本图像是否为目标样本图像”。

参见图2，该方法包括：

S210、从直播图像中提取候选样本图像。

S220、采用直播处理模型，对所述候选样本图像进行处理得到候选样本图像的处理结果；所述直播处理模型包括直播检测模型和直播分类模型，所述候选样本图像的处理结果包括候选样本图像的检测结果和分类结果。

S230A、在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第一置信度阈值，且该候选样本图像的分类结果中该候选样本图像的有害类别置信度大于第二置信度阈值的情况下，将该候选样本图像作为目标样本图像。

其中，不良区域为袒露时会造成不良影响的身体区域，例如性别器官等。有害类别可以根据身体区域所属的身体部位、身体区域的暴露程度、身体区域所属者的身份信息等，确定不良影响程度，并根据不良影响程度将不良区域划分为低危型有害类别和高危型有害类别。例如，可以预设14种不良类别，其中7种可以划分为高危性有害类别，另外7种可以划分为低危型有害类别。

具体的，对候选样本图像基于检测模型进行检测，得到当前候选样本图像的裸露的不良区域，进而根据不良区域的位置和大小，来确定当前候选样本图像中不良区域的类型和置信度，需要说明的是，置信度得分同时与不良区域的位置、大小及人体特征有关。有害类别置信度大于第二置信度阈值可以是低危型有害置信度或高危型有害置信度任一类别对应的置信度阈值大于第二置信度阈值，也可以是两者的置信度总和大于第二置信度阈值，具体设置方式可以根据需求确定。通过结合检测结果中的不良类别置信度和分类结果中的有害结果置信度，实现了对目标样本图像的精准筛选。

S230B、在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第三置信度阈值的情况下，将该候选样本图像作为目标样本图像；在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度小于所述第三置信度阈值，且大于第四置信度阈值的情况下，生成对该候选样本图像的标注核验任务；根据对该候选样本图像的标注核验信息，确定该候选样本图像是否为目标样本图像。

具体的，为了提高目标样本图像确定效率，若检测结果中不良类型的置信度大于第三置信度阈，就直接可以明确其是目标样本图像的候选样本图像，不再需要结合分类结果进行辅助判断。需要说明的是，第三置信度阈值应大于需要结合分类结果来进一步判断的第一置信度阈值，使得在提高提高目标样本图像确定效率的同时，保证筛选准确度。而候选样本图像中不良区域所属不良类别的置信度小于所述第三置信度阈值，但是大于第四置信度阈值时，此时不良类别的置信度处在一个较为中间的位置，无论直接确定为目标样本图像或者丢弃，都可能与实际情况存在较大的出入，因此需要对满足这一置信度区间的候选样本图像进一步进行补充标注校验，在完成标注校验后，再进行确定其是否目标样本图像。通过对第三置信度阈值和第四置信度阈值的大小合理设置以及与候选样本图像的比对，在保证可以对违规图像正常识别的基础上，尽量避免将正常的候选样本图像错误识别为违规的目标样本图像。

示例性的，对于标注校验，可以先将对应存疑的候选样本图像再次输入直播检测模型，如果第二次的检测结果依旧是不良类型的置信度小于第三置信度阈值且大于第四置信度阈值，则说明这一候选图像无法被正常识别，可以通过人工对当前候选样本图像进行标注核验。在人工标注核验之前，还可以对当前可疑候选样本图像的集合进行测试，确定该集合的召回准确率，在准确率等于或大于准确率阈值的情况下，可以触发对该集合中当前候选样本图像进行标注核验；在准确率小于准确率阈值的情况下，可以丢弃该集合，不做标注核验。通过根据准确率对标注核验的候选样本图像进行筛选，能够进一步降低人工标注核验工作量并提高人工标注核验的成功率。

在本公开中，可选的，所述将该候选样本图像作为目标样本图像之后，还包括：

将该候选样本图像中不良区域所属的不良类别与预设的关联关系进行匹配，确定该候选样本图像所属的有害类别；所述预设的关联关系为直播检测模型的候选不良类别和直播分类模型的候选有害类别之间的关联关系；将该候选样本图像中不良区域和不良区域所属的不良类别作为该候选样本图像的检测标注数据，且将该候选样本图像所属的有害类别作为该候选样本图像的分类标注数据。

具体的，由于直接基于不良类型和不良置信度从候选样本图像确定了目标样本图像，导致无法确定当前目标样本图像在分类结果中的有害类型，导致后续这一目标样本图像无法对分类模型进行有效训练，仅能对检测模型进行有效训练。本公开将直播检测模型的候选不良类别与直播分类模型的候选有害类别预先建立一定的关联关系，例如对于某些不良影响较大的不良区域袒露所述不良类别，一旦确定候选样本图像的不良类别为这些类别，并且该候选样本图像仅根据检测结果被直接确定为目标样本图像，则确定该样本图像对应的有害类别为高危型；同样的，对于不良影响较小的不良区域袒露所述不良类别，出现上述情况时，则将其有害类别判定为低危型。在得到目标图像的不良和有害类别后，分别生成检测标注数据和分类标识数据，与当前目标样本图像进行关联存储，使得目标样本图像可以同时用于对直播检测模型和直播分类模型训练，扩充了样本数据，提高了相应模型的处理效率。

S240、采用所述目标样本图像对所述直播处理模型进行训练。

本公开中进一步根据候选样本图像中不良区域所属不良类别的置信度与预先设置的多个置信度阈值之间的大小关系，以及候选样本图像所关联的有害类别，来确定候选样本图像是否是目标样本图像，实现对候选目标图像的准确区分，提高了从候选样本图像中确定目标样本图像的准确度和有效性。

图3是根据本公开又一实施例提供的一种直播处理方法的流程图，本实施例可适用于利用直播处理模型对直播进行处理的情况，该方法可以由直播处理模型的训练装置来执行，该装置可以采用软件和/或硬件的方式来实现。该装置可配置于具备相应数据处理能力的电子设备中，该方法具体包括：

S310、从直播图像中提取待检测的目标图像。

具体的，将直播图像按照预设时间间隔进行抽帧，将得到的帧图像统一按照第一预设尺寸比例进行缩放，得到相同尺寸大小的帧图像进归一化处理后作为待检测目标图像。

S320、采用直播处理模型中的直播检测模型对所述目标图像进行检测，得到目标图像的检测结果，并采用直播处理模型中的直播分类模型对所述目标图像进行分类，得到目标图像的分类结果。

具体的，由于直播检测模型和直播分类模型的工作原理不同，两者对输入目标图片的尺寸要求可能也不尽相同。因此在抽取目标图像时设置的第一预设尺寸实际上可能是最契合两个模型的其中一个模型图像尺寸。因此，在利用另外一个模型对目标图像进行处理之前，需要按照同样的方式，将目标图像统一缩放为第二预设尺寸，并做归一化后再输入另一个模型进行处理，从而保证两个模型都能在最优场景下运行。

S330、根据所述目标图像的检测结果和/或所述目标图像的分类结果，确定目标图像的直播处理结果；其中，所述直播处理模型采用上述公开实施例所公开的直播处理模型的训练方法训练得到。

具体的，基于检测结果和分类结果中的至少一个来确定直播处理结果，可以对含有语义信息和特征位置至少一种的目标图像进行有效识别，并根据目标图像的识别结果确定当前直播的处理结果。如果确定当前目标图像是有害图像，则以对主播进行警告处理，也可以对主播进行停播整顿或者永久封号处理；如果是正常图像，则无需处理；如果基于分类结果和检测结果均无法对目标图像进行有效识别，则可以由人工参与来确定当前直播的处理结果。

本公开通过利用预选训练的直播处理模型对来自直播图像的目标图像进行处理，结合直播分类模型和直播检测模型对服务器进行预先处理，具有较高的准召，和较低的误检、鲁棒性好，可有效替代人工审核，节省人力。

图4为本公开又一实施例提供的直播处理方法的流程图，本实施例在上述各实施例的基础上，将“根据所述目标图像的检测结果和/或所述目标图像的分类结果，确定目标图像的直播处理结果”细化为“在目标图像的检测结果中不良区域所属不良类别唯一，且该不良类别为预设的高危型不良类别的情况下，从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；在目标图像的高危型有害置信度大于第五置信度阈值，或目标图像的低危型有害置信度大于第六置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果”或“从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；在目标图像的高危型有害置信度和低危型有害置信度之和，大于第七置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果”或“在目标图像的检测结果中存在不良区域，且不良区域属于至少两个不良类别的情况下，根据所述至少两个不良类别确定目标图像的直播处理结果”。

参见图4，该方法包括：

S410、从直播图像中提取待检测的目标图像。

S420、采用直播处理模型中的直播检测模型对所述目标图像进行检测，得到目标图像的检测结果，并采用直播处理模型中的直播分类模型对所述目标图像进行分类，得到目标图像的分类结果。

S430A、在目标图像的检测结果中不良区域所属不良类别唯一，且该不良类别为预设的高危型不良类别的情况下，从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；在目标图像的高危型有害置信度大于第五置信度阈值，或目标图像的低危型有害置信度大于第六置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果。

其中，不良类别是否为高危型可以基于该类别对应的不良区域位置，袒露程度确定及人体特征确定，例如同样的袒露区域大小，在不同的位置例如生殖器和肩膀，两者对应的不良类别危害程度是不同的，前者可能是高危型，后者可能时非高危型；对于同样的上身完全袒露，男性主播和女性主播由于人体特征的不同，对应的不良类别危害程度也是不同的。

具体的，如果判定当前不良类型为高危型且不良类型单一时，则说明该目标图像是潜在的有害图像，此时获取直播分类模型的分类结果来辅助确定。由于每一张目标图像的分类结果都存在高危型有害置信度以及低危型有害置信度，可以基于检测结果结合两者其中一个可以快速对目标图像进行定性。需要说明的是，第五置信度阈值应设置为低于第六置信度阈值，在有害类型为高危型时，较低的置信度即可触发，而在有害类型为低危型时，较高的置信度才会触发，合理设置第五置信度阈值和第六置信度阈值的关系，可以保证基最终有害图像的确定准确性。

S430B、从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；在目标图像的高危型有害置信度和低危型有害置信度之和，大于第七置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果。

具体的，与模型训练过程中仅基于检测结果来确定目标样本图像类似，本公开中在也可以仅根据分类结果来确定目标图像的有害类别。获取分类结果中当前目标图像的高危型有害置信度和低危型有害置信度之和，如果两者之和大于第七置信度阈值，则说明此时目标图像在语义上极大概率是有害图像。将该目标图像作为有害图像来确定相应的直播处理结果。通过仅根据分类结果来确定目标图像是否是违规图像，可以实现对完全不袒露任何不良区域，但是姿态、动作等存在语义违规的目标图像也进行有效识别，提高了对各种违规情况的识别有效性。

S440C、在目标图像的检测结果中存在不良区域，且不良区域属于至少两个不良类别的情况下，根据所述至少两个不良类别确定目标图像的直播处理结果。

具体的，与上述基于检测结果和分类结果两者结合、仅分类结果来确定直播处理结果不同。本公开提供了第三种方式：仅根据检测结果来确定目标图像的直播处理结果。如果当前图像存在不良区域，而不良区域又属于不同的不良类别，说明此时目标图像中出现了至少两处不同不良区域袒露，可以直接对判定当前图像为违规图像，进而确定直播处理结果。通过对存在多处不同类型的不良区域的目标图像进行直接定性，无需进一步根据分类结果辅助确认，提高了对违规目标图像的确定效率。

此外，需要说明的是，步骤S430A，S430B，S430C并没有固定的先后执行顺序和优先级，可根据具体的需求来使用其中的一种或多种，本公开不做过多限定。

本公开进一步对可以同时利用分类结果和检测结果，或仅利用其中之一来识别目标图像，使得即便仅有有害语义而没有不良区域袒露的目标图像也可以被有效识别，提高了对不同违规情况直播的准确性和泛用性；通过对存在多处不同类型的不良区域的目标图像进行直接定性，无需进一步根据分类结果辅助确认，提高了对违规目标图像的确定效率。

图5根据本公开又一实施例提供的一种直播处理模型的训练装置的示意图，本公开实施例利用样本图像对模型进行训练的情况，该装置配置于具备相应数据处理能力的电子设备中，可实现本公开任意实施例所述的直播处理模型的训练方法。

参考图5，所述装置包括：

候选样本图像提取模块510，用于从直播图像中提取候选样本图像；

候选样本图像处理模块520，用于采用直播处理模型，对所述候选样本图像进行处理得到候选样本图像的处理结果；所述直播处理模型包括直播检测模型和直播分类模型，所述候选样本图像的处理结果包括候选样本图像的检测结果和分类结果；

模型训练模块530，用于根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练。

上述装置和模块可执行本公开任意实施例所提供的直播处理模型的训练方法，具备执行方法相应的功能模块和有益效果。可选的，所述模型训练模块包括第一目标样本图像确定单元531；

所述第一样本图像确定单元531，用于在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第一置信度阈值，且该候选样本图像的分类结果中该候选样本图像的有害类别置信度大于第二置信度阈值的情况下，将该候选样本图像作为目标样本图像。

可选的，所述模型训练模块包括第二目标样本图像确定单元532和第三目标样本图像确定单元533；

所述第二目标样本图像确定单元532，用于在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第三置信度阈值的情况下，将该候选样本图像作为目标样本图像；

所述第三目标样本图像确定单元533，用于在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度小于所述第三置信度阈值，且大于第四置信度阈值的情况下，生成对该候选样本图像的标注核验任务；根据对该候选样本图像的标注核验信息，确定该候选样本图像是否为目标样本图像。

可选的，所述模型训练模块还包括关联确定单元534和数据标注单元535；

所述关联确定单元534，用于将该候选样本图像中不良区域所属的不良类别与预设的关联关系进行匹配，确定该候选样本图像所属的有害类别；所述预设的关联关系为直播检测模型的候选不良类别和直播分类模型的候选有害类别之间的关联关系；

所述数据标注单元535，用于将该候选样本图像中不良区域和不良区域所属的不良类别作为该候选样本图像的检测标注数据，且将该候选样本图像所属的有害类别作为该候选样本图像的分类标注数据。

可选的，所述模型训练模块还包括样本扩充单元536；

所述样本扩充单元536，用于在任一候选样本图像的处理结果有误的情况下，采用该候选样本图像和该候选样本图像的处理结果构建负样本；采用所述负样本，对所述直播处理模型进行训练。

进一步说明后的上述装置、模块和单元可执行本公开任意实施例所提供的直播处理模型的训练方法，具备执行方法相应的功能模块和有益效果。

图6是根据本公开又一实施例提供的一种直播处理装置的示意图，本公开实施例可适用于利用直播处理模型对直播进行处理的情况，该装置配置于具备相应数据处理能力的电子设备中，可实现本公开任意实施例所述的直播处理方法。

参加图6，所述装置包括：

目标图像提取模块610，用于从直播图像中提取待检测的目标图像；

目标图像处理模块620，用于采用直播处理模型中的直播检测模型对所述目标图像进行检测，得到目标图像的检测结果，并采用直播处理模型中的直播分类模型对所述目标图像进行分类，得到目标图像的分类结果；

处理结果确定模块630，用于根据所述目标图像的检测结果和/或所述目标图像的分类结果，确定目标图像的直播处理结果；其中，所述直播处理模型采用上述公开实施例所公开的直播处理模型的训练方法训练得到。

上述装置和模块可执行本公开任意实施例所提供的直播处理方法，具备执行方法相应的功能模块和有益效果。可选的，所述检测图像处理模块包括第一结果确定单元621；

所述第一结果确定单元621，用于在目标图像的检测结果中不良区域所属不良类别唯一，且该不良类别为预设的高危型不良类别的情况下，从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；

在目标图像的高危型有害置信度大于第五置信度阈值，或目标图像的低危型有害置信度大于第六置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果。

可选的，所述处理结果确定模块包括第二结果确定单元622；

所述第二结果确定单元622，用于从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；

在目标图像的高危型有害置信度和低危型有害置信度之和，大于第七置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果。

所述处理结果确定模块包括第三结果确定单元623；

所述第三结果确定单元623，用于在目标图像的检测结果中存在不良区域，且不良区域属于至少两个不良类别的情况下，根据所述至少两个不良类别确定目标图像的直播处理结果。

进一步说明后的上述装置、模块和单元可执行本公开任意实施例所提供的直播处理方法，具备执行方法相应的功能模块和有益效果。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如直播处理模型的训练方法和/或直播处理方法。例如，在一些实施例中，直播处理模型的训练方法和/或直播处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元707。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的直播处理模型的训练方法和/或直播处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为直播处理模型的训练方法和/或直播处理方法X。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种直播处理模型的训练方法，包括：

从直播图像中提取候选样本图像；

采用直播处理模型，对所述候选样本图像进行处理得到候选样本图像的处理结果；所述直播处理模型包括直播检测模型和直播分类模型，所述候选样本图像的处理结果包括候选样本图像的检测结果和分类结果；

根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练。

2.根据权利要求1所述的方法，其中，所述根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，包括：

在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第一置信度阈值，且该候选样本图像的分类结果中该候选样本图像的有害类别置信度大于第二置信度阈值的情况下，将该候选样本图像作为目标样本图像。

3.根据权利要求1所述的方法，其中，所述根据候选样本图像的处理结果，从候选样本图像中确定目标样本图像，包括：

在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第三置信度阈值的情况下，将该候选样本图像作为目标样本图像；

在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度小于所述第三置信度阈值，且大于第四置信度阈值的情况下，生成对该候选样本图像的标注核验任务；

根据对该候选样本图像的标注核验信息，确定该候选样本图像是否为目标样本图像。

4.根据权利要求3所述的方法，所述将该候选样本图像作为目标样本图像之后，还包括：

将该候选样本图像中不良区域所属的不良类别与预设的关联关系进行匹配，确定该候选样本图像所属的有害类别；所述预设的关联关系为直播检测模型的候选不良类别和直播分类模型的候选有害类别之间的关联关系；

将该候选样本图像中不良区域和不良区域所属的不良类别作为该候选样本图像的检测标注数据，且将该候选样本图像所属的有害类别作为该候选样本图像的分类标注数据。

5.根据权利要求1所述的方法，其中，所述根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练，包括：

在任一候选样本图像的处理结果有误的情况下，采用该候选样本图像和该候选样本图像的处理结果构建负样本；

采用所述负样本，对所述直播处理模型进行训练。

6.一种直播处理方法，包括：

从直播图像中提取待检测的目标图像；

采用直播处理模型中的直播检测模型对所述目标图像进行检测，得到目标图像的检测结果，并采用直播处理模型中的直播分类模型对所述目标图像进行分类，得到目标图像的分类结果；

根据所述目标图像的检测结果和/或所述目标图像的分类结果，确定目标图像的直播处理结果；

其中，所述直播处理模型采用如权利要求1-5中任一项所述的直播处理模型的训练方法训练得到。

7.根据权利要求6所述的方法，其中，所述根据所述目标图像的检测结果和/或所述目标图像的分类结果，确定目标图像的直播处理结果，包括：

在目标图像的检测结果中不良区域所属不良类别唯一，且该不良类别为预设的高危型不良类别的情况下，从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；

在目标图像的高危型有害置信度大于第五置信度阈值，或目标图像的低危型有害置信度大于第六置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果。

8.根据权利要求6所述的方法，其中，所述根据所述目标图像的分类结果，确定目标图像的直播处理结果，包括：

从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；

在目标图像的高危型有害置信度和低危型有害置信度之和，大于第七置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果。

9.根据权利要求6所述的方法，其中，根据所述目标图像的检测结果，确定目标图像的直播处理结果，包括：

在目标图像的检测结果中存在不良区域，且不良区域属于至少两个不良类别的情况下，根据所述至少两个不良类别确定目标图像的直播处理结果。

10.一种直播处理模型的训练装置，包括：

候选样本图像提取模块，用于从直播图像中提取候选样本图像；

候选样本图像处理模块，用于采用直播处理模型，对所述候选样本图像进行处理得到候选样本图像的处理结果；所述直播处理模型包括直播检测模型和直播分类模型，所述候选样本图像的处理结果包括候选样本图像的检测结果和分类结果；

模型训练模块，用于根据所述候选样本图像的处理结果，从所述候选样本图像中确定目标样本图像，并采用所述目标样本图像对所述直播处理模型进行训练。

11.根据权利要求10所述的装置，其中，所述模型训练模块包括第一目标样本图像确定单元；

所述第一样本图像确定单元，用于在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第一置信度阈值，且该候选样本图像的分类结果中该候选样本图像的有害类别置信度大于第二置信度阈值的情况下，将该候选样本图像作为目标样本图像。

12.根据权利要求10所述的装置，其中，所述模型训练模块包括第二目标样本图像确定单元和第三目标样本图像确定单元；

所述第二目标样本图像确定单元，用于在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度大于第三置信度阈值的情况下，将该候选样本图像作为目标样本图像；

所述第三目标样本图像确定单元，用于在任一候选样本图像的检测结果中该候选样本图像中不良区域所属不良类别的置信度小于所述第三置信度阈值，且大于第四置信度阈值的情况下，生成对该候选样本图像的标注核验任务；根据对该候选样本图像的标注核验信息，确定该候选样本图像是否为目标样本图像。

13.根据权利要求12所述的装置，其中，所述模型训练模块还包括关联确定单元和数据标注单元；

所述关联确定单元，用于将该候选样本图像中不良区域所属的不良类别与预设的关联关系进行匹配，确定该候选样本图像所属的有害类别；所述预设的关联关系为直播检测模型的候选不良类别和直播分类模型的候选有害类别之间的关联关系；

所述数据标注单元，用于将该候选样本图像中不良区域和不良区域所属的不良类别作为该候选样本图像的检测标注数据，且将该候选样本图像所属的有害类别作为该候选样本图像的分类标注数据。

14.根据权利要求10所述的装置，其中，所述模型训练模块还包括样本扩充单元；

所述样本扩充单元，用于在任一候选样本图像的处理结果有误的情况下，采用该候选样本图像和该候选样本图像的处理结果构建负样本；采用所述负样本，对所述直播处理模型进行训练。

15.一种直播处理装置，包括：

目标图像提取模块，用于从直播图像中提取待检测的目标图像；

目标图像处理模块，用于采用直播处理模型中的直播检测模型对所述目标图像进行检测，得到目标图像的检测结果，并采用直播处理模型中的直播分类模型对所述目标图像进行分类，得到目标图像的分类结果；

处理结果确定模块，用于根据所述目标图像的检测结果和/或所述目标图像的分类结果，确定目标图像的直播处理结果；

其中，所述直播处理模型由权利要求10-14中任一项所述的直播处理模型的训练装置确定。

16.根据权利要求15所述的装置，其中，所述检测图像处理模块包括第一结果确定单元；所述第一结果确定单元，具体用于：

在目标图像的检测结果中不良区域所属不良类别唯一，且该不良类别为预设的高危型不良类别的情况下，从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；

在目标图像的高危型有害置信度大于第五置信度阈值，或目标图像的低危型有害置信度大于第六置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果。

17.根据权利要求15所述的装置，其中，所述处理结果确定模块包括第二结果确定单元；所述第二结果确定单元，具体用于：

所述第二结果确定单元，用于从目标图像的分类结果中提取目标图像的高危型有害置信度和目标图像的低危型有害置信度；

在目标图像的高危型有害置信度和低危型有害置信度之和，大于第七置信度阈值的情况下，确定目标图像属于有害图像，作为所述目标图像的直播处理结果。

18.根据权利要求15所述的装置，其中，所述处理结果确定模块包括第三结果确定单元；

所述第三结果确定单元，用于在目标图像的检测结果中存在不良区域，且不良区域属于至少两个不良类别的情况下，根据所述至少两个不良类别确定目标图像的直播处理结果。

19.一种电子设备，其中，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的直播处理模型的训练方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的直播处理模型的训练方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的直播处理方法。

Images