CN113627536A - 模型训练、视频分类方法，装置，设备以及存储介质 - Google Patents

Abstract

本公开提供了模型训练、视频分类方法，装置，设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域，具体可用于智慧城市和智能交通场景下。具体实现方案为：利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果；根据各视频帧的视频分类结果以及样本视频中各视频帧的标注分类结果，确定样本视频中的显著帧；基于显著帧，训练显著帧确定模型。本实现方式可以从视频中选择出显著帧，提高候选视频分类的准确度。

Description

模型训练、视频分类方法，装置，设备以及存储介质

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域，尤其涉及模型训练、视频分类方法，装置，设备以及存储介质，具体可用于智慧城市和智能交通场景下。

背景技术

高效视频识别，即对给定的视频内容在兼顾准确率和速度以及计算成本的情况下完成类别指定。作为计算机视觉社区中较活跃的研究主题之一，高效视频识别广泛用于视频监视，视频推荐，检索等场景。虽然视频识别已经在识别精度上取得了较大的进展，但是在保证准确率的情况下降低计算成本仍然不是简单的任务。

发明内容

本公开提供了一种模型训练、视频分类方法，装置，设备以及存储介质。

根据第一方面，提供了一种模型训练方法，包括：利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果；根据各视频帧的视频分类结果以及样本视频中各视频帧的标注分类结果，确定样本视频中的显著帧；基于显著帧，训练显著帧确定模型。

根据第二方面，提供了一种视频分类方法，包括：获取目标视频；利用通过如第一方面所描述的模型训练方法训练得到的显著帧确定模型确定目标视频的显著帧；根据目标视频的显著帧以及预先训练的视频分类模型，确定目标视频的分类结果。

根据第三方面，提供了一种模型训练装置，包括：样本视频分类单元，被配置成利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果；第一显著帧确定单元，被配置成根据各视频帧的视频分类结果以及样本视频中各视频帧的标注分类结果，确定样本视频中的显著帧；模型训练单元，被配置成基于显著帧，训练显著帧确定模型。

根据第四方面，提供了一种视频分类装置，包括：目标视频获取单元，被配置成获取目标视频；第二显著帧确定单元，被配置成利用通过如第一方面所描述的模型训练方法训练得到的显著帧确定模型确定目标视频的显著帧；视频分类单元，被配置成根据目标视频的显著帧以及预先训练的视频分类模型，确定目标视频的分类结果。

根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法或如第二方面所描述的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法或如第二方面所描述的方法。

根据第七方面，一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如第一方面所描述的方法或如第二方面所描述的方法。

根据本公开的技术可以从视频中选择出显著帧，提高候选视频分类的准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性***架构图；

图2是根据本公开的模型训练方法的一个实施例的流程图；

图3是根据本公开的模型训练方法的另一个实施例的流程图；

图4是根据本公开的模型训练方法的又一个实施例的流程图；

图5是根据本公开的视频分类方法的一个实施例的流程图；

图6是根据本公开的模型训练方法、视频分类方法的一个应用场景的示意图；

图7是根据本公开的模型训练装置的一个实施例的结构示意图；

图8是根据本公开的视频分类装置的一个实施例的结构示意图；

图9是用来实现本公开实施例的模型训练方法、视频分类方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的模型训练方法、视频分类方法或用于模型训练装置、视频分类装置的实施例的示例性***架构100。

如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频播放类应用、视频分类类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上提供语言模型的后台服务器。后台服务器可以利用训练样本对模型进行训练，得到目标模型，并将目标模型反馈给终端设备101、102、103。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本公开实施例所提供的模型训练方法一般由服务器105执行，视频分类方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，模型训练装置一般设置于服务器105中，视频分类装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本公开的模型训练方法的一个实施例的流程200。本实施例的模型训练方法，包括以下步骤：

步骤201，利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果。

本实施例中，模型训练方法的执行主体(例如图1所示的服务器105)可以首先获取样本视频。样本视频中可以包括多个视频帧。执行主体可以将各个视频帧输入预先训练的视频分类模型，得到各视频帧的视频分类结果。这里，视频分类模型用于表征视频帧和视频分类结果的对应关系。其可以是各种深度学习算法，例如卷积神经网络等等。视频分类结果可以包括：奔跑、跳跃等等。视频分类模型可以输出对应不同分类的置信度，得到置信度向量。具体的，执行主体可以采用不同的标识用于表示不同的分类。

步骤202，根据各视频帧的视频分类结果以及样本视频中各视频帧的标注分类结果，确定样本视频中的显著帧。

执行主体在得到各视频帧的视频分类结果后，可以结合各视频帧的标注分类结果，确定样本视频中的显著帧。这里，显著帧可以是包含了显著的特征信息的视频帧。具体的，对于每个视频帧，执行主体可以对比视频分类模型的输出结果和标注分类结果，如果二者表示的分类一致，则认为该视频帧为显著帧。或者，执行主体可以首先将各视频帧的置信度向量中最大的置信度对应的分类作为各视频帧的分类。然后，可以从各视频帧中选取出置信度大于预设阈值的视频帧。然后继续将选取出的视频帧的分类与标注分类结果进行比较，如果一致，则认为该视频帧为显著帧。这样，可以进一步提高显著帧的准确度。

步骤203，基于显著帧，训练显著帧确定模型。

本实施例中，执行主体在得到各显著帧后，可以基于各显著帧，训练显著帧确定模型。具体的，执行主体可以将样本视频的各视频帧作为显著帧确定模型的输入，可以将显著帧作为期望输出，训练显著帧确定模型。在训练过程中，可以迭代调整显著帧确定模型的参数，直到满足训练终止条件。上述训练终止条件可以包括但不限于：损失函数收敛、迭代次数达到了预设阈值。可以理解的是，损失函数值越小，说明训练的显著帧确定模型的性能越好。

本公开的上述实施例提供的模型训练方法，可以利用显著帧对模型进行训练，从而能够使得训练好的模型从视频中确定出显著帧，提高后续视频分类的准确度。

在本实施例的一些可选的实现方式中，上述步骤203具体可以通过图2中未示出的以下步骤实现显著帧确定模型的训练：基于显著帧以及显著帧的标注分类结果，确定目标损失函数；根据目标损失函数，训练显著帧确定模型。

本实施例中，执行主体可以将各视频帧输入显著帧确定模型，根据显著帧确定模型的输出与显著帧以及显著帧的标注分类结果，确定目标损失函数。然后，根据目标损失函数，训练显著帧确定模型。具体的，执行主体可以不断调整显著帧确定模型的参数，是目标损失函数值收敛。

继续参见图3，其示出了根据本公开的模型训练方法的另一个实施例的流程300。如图3所示，本实施例的方法可以包括以下步骤：

步骤301，利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果。

步骤302，对于每个视频帧，响应于确定该视频帧的视频分类结果与该视频帧的标注分类结果一致，确定该视频帧为显著帧。

本实施例中，执行主体可以将视频分类模型输出的视频分类结果中置信度最高的分类作为视频帧的分类结果。并将上述视频分类结果与标注分类结果进行比较。如果二者一致，则执行主体可以认定该视频帧为显著帧。

步骤303，根据显著帧，更新样本视频中各视频帧的标注分类标识。

本实施例中，执行主体在确定显著帧后，可以更新样本视频中各视频帧的标注分类标识。这里，为了突出显著帧，可以将非显著帧的标注分类标识都设置为同一预设数值(例如设置为0)。这样，即将非显著帧的标注分类都理解为背景。为了区分显著帧的标注分类标识与上述背景对应的标识的区别，也可以同时更新显著帧的标注分类标识(例如将各标注分类标识都增加预设值)。需要说明的是，本实施例中，如果执行主体将非显著帧的标注分类标识设置为不同于标注分类标识的数值，也可以不对显著帧的标注分类标识进行更新。举例来说，如果标注分类标识为0～99，执行主体可以将各非显著帧的标注分类标识设置为0，并且可以将0对应的分类理解为背景。为了区分原标注分类标识0对应的分类与背景，可以将各显著帧的标注分类标识均增加1。这样，标注分类标识由0～99更新为0～100。但如果执行主体直接将非显著帧的标注分类标识设置为100，则不需要更新显著帧的标注分类标识。

在本实施例的一些可选的实现方式中，执行主体可以通过图3中未示出的以下步骤对标注分类标识进行更新：将样本视频中非显著帧的标注分类标识设置为预设数值；响应于确定预设数值与更新前的标注分类标识重复，更新部分或全部显著帧的标注分类标识，以避免重复。

本实现方式中，执行主体可以将非显著帧的标注分类标识设置为预设数值。如果上述预设数值与原有的标注分类标识有重复，则可以再更新显著帧的标注分类标识。如果上述预设数值与原有的标注分类标识没有重复，则不需要更新显著帧的标注分类标识。在更新显著帧的标注分类标识时，可以只更新部分显著帧的标注分类标识，也可以更新全部显著帧的标注分类标识。例如，标注分类标识为0～99，执行主体将非显著帧的标注分类标识都更新为50，则执行主体可以将50～99更新为51～100。如果执行主体将将非显著帧的标注分类标识都更新为100，则不需要更新显著帧的标注分类标识。

步骤304，将样本视频中的各视频帧输入显著帧确定模型，根据显著帧确定模型的输出确定各视频帧的预测分类标识。

执行主体可以将样本视频中的各视频帧输入显著帧确定模型，得到显著帧确定模型对各视频帧的预测结果，上述预测结果中可以以第一预设标识表示非显著帧，以第二预设标识表示显著帧。

步骤305，根据预测分类标识以及更新的标注分类标识，确定目标损失函数。

执行主体可以根据预测分类标识与更新的标注分类标识，确定目标损失函数。具体的，执行主体可以计算预测分类标识与更新的标注分类标识之间的交叉熵损失函数。并将各个视频帧的交叉熵损失函数相加，得到目标损失函数。

步骤306，根据目标损失函数，训练显著帧确定模型。

最后，执行主体可以根据目标损失函数，训练显著帧确定模型。具体的，执行主体可以迭代调整显著帧确定模型的参数，使得目标损失函数的值收敛。在目标损失函数值小于预设阈值时，可以停止训练，得到训练好的显著帧确定模型。

本公开的上述实施例提供的模型训练方法，可以在训练过程中使得显著帧确定模型更关注显著帧，不关注非显著帧的分类，从而能够提高显著帧确定模型对显著帧的筛选准确度。

继续参见图4，其示出了根据本公开的模型训练方法的又一个实施例的流程400。如图4所示，本实施例的方法可以包括以下步骤：

步骤401，利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果。

步骤402，对于每个视频帧，响应于确定该视频帧的视频分类结果与该视频帧的标注分类结果一致，确定该视频帧为显著帧。

步骤403，根据样本视频中的各视频帧，确定混叠帧。

本实施例中，执行主体可以将样本视频中的显著帧与非显著帧进行混叠，或者将显著帧与显著帧进行混叠，或者将非显著帧与非显著帧进行混叠。这里，混叠是指将两个视频帧的像素值相加，或者将两个视频帧的特征值相加。在混叠时可以设置两个视频帧的权重。

在本实施例的一些可选的实现方式中，执行主体可以通过以下步骤确定混叠帧：

步骤4031，对于样本视频中的每个视频帧，从样本视频中选取一个视频帧与该视频帧进行混叠，得到混叠帧。

本实现方式中，对于样本视频中的每个视频帧，执行主体可以从样本视频中选取一个视频帧与该视频帧进行混叠，得到混叠帧。在具体应用中，执行主体可以复制以下样本视频，然后对样本视频中的各视频帧进行打乱。将打乱前的视频帧与打乱后的视频帧一一对应混叠，得到多个混叠帧。本实现方式可以实现在特征空间进行混叠，从而能够保留视频帧的更多原本的信息。

步骤404，根据混叠的视频帧的标注分类结果，确定与混叠帧对应的混叠分类结果。

执行主体还可以根据得到混叠帧的两个视频帧的标注分类结果，确定与混叠帧对应的混叠分类结果。具体的，执行主体可以将得到混叠帧的两个视频帧的标注分类结果按权重进行相加。例如，对视频帧A的特征图和视频帧B的特征图进行混叠，混叠帧C的特征图＝λ*视频帧A的特征图+(1-λ)视频帧B的特征图。其中，λ的取值范围位于(0，1)之间。则混叠帧C的标注分类标识＝λ*视频帧A的标注分类标识+(1-λ)视频帧B的标注分类标识。

在本实施例的一些可选的实现方式中，执行主体可以通过以下步骤确定混叠帧对应的混叠分类结果：

步骤4041，更新各视频帧的标注分类结果对应的标注分类标识。

步骤4042，根据得到混叠帧的视频帧的更新的标注分类标识，确定混叠帧对应的混叠分类结果。

本实现方式中，标注分类标识的更新方式可以与步骤303描述的更新方式可以相同，此处不再赘述。执行主体可以根据参与混叠的两个视频帧的更新的标注分类标识，确定混叠帧对应的混叠分类结果。这里，考虑到混叠的两个视频帧可能都是显著帧，两个显著帧都有自身的标注分类标识，那混叠后得到的混叠帧的分类应该不同于任一显著帧的标注分类标识，因此，这里对标注分类标识也进行混叠。标注分类标识也可以称为标签，则本实现方式是在标签空间实现混叠。

步骤405，根据显著帧、显著帧的标注分类结果、混叠帧以及混叠帧对应的混叠分类结果，确定目标损失函数。

执行主体在确定混叠帧以及混叠帧对应的混叠分类结果后，可以结合显著帧以及显著帧的标注分类结果，确定目标损失函数。具体的，执行主体可以根据显著帧以及显著帧的标注分类结果，生成第一损失函数。根据混叠帧以及混叠帧对应的混叠分类结果，生成第二损失函数。然后，根据第一损失函数和第二损失函数，确定目标损失函数。这里，生成第一损失函数的方式可以与步骤305中的方式相同，此处不再赘述。生成第二损失函数的与原理可以与生成第一损失函数的原理类似。

在本实施例的一些可选的实现方式中，执行主体可以通过从得到的多个混叠帧中选取出一部分混叠帧用于目标损失函数的计算。由于混叠帧是额外增加的信息，为了避免过多的混叠帧的信息加入，对样本视频的原本的信息造成干扰，所以只选取一部分混叠帧进行目标损失函数的计算。

步骤406，根据目标损失函数，训练显著帧确定模型。

本公开的上述实施例提供的模型训练方法，可以利用显著帧和混叠帧对显著帧确定模型进行训练，可以避免模型的过拟合，提高模型的泛化性。

参见图5，其示出了根据本公开的视频分类方法的一个实施例的流程500。如图5所示，本实施例的方法可以包括以下步骤：

步骤501，获取目标视频。

本实施例中，执行主体可以首先获取目标视频。这里，目标视频是待处理的视频。

步骤502，利用通过模型训练方法训练得到的显著帧确定模型确定目标视频的显著帧。

本实施例中，执行主体可以将目标视频的各视频帧输入通过图2或图3实施例中所描述的模型训练方法得到的显著帧确定模型，确定目标视频的显著帧。

步骤503，根据目标视频的显著帧以及预先训练的视频分类模型，确定目标视频的分类结果。

执行主体可以在得到显著帧后，可以将显著帧输入预先训练的视频分类模型，从而能够得到目标视频的分类结果。分类结果可以包括各视频帧的分类，例如可以包括跑步、跳高等等。

本公开的上述实施例提供的视频分类方法，由于可以利用训练好的显著帧确定模型从目标视频中提取出显著帧，从而能够提高后续视频分类的准确度。

继续参见图6，其示出了根据本公开的模型训练方法、视频分类方法的一个应用场景的示意图。在图6的应用场景中，服务器601利用步骤201～203，得到训练好的显著帧确定模型。然后，将上述显著帧确定模型发送给终端602。终端602可以利用上述显著帧确定模型进行视频分类，得到视频的分类结果。

进一步参考图7，作为对上述各图所示方法的实现，本公开提供了一种模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图7所示，本实施例的模型训练装置700包括：样本视频分类单元701、第一显著帧确定单元702和模型训练单元703。

样本视频分类单元701，被配置成利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果。

第一显著帧确定单元702，被配置成根据各视频帧的视频分类结果以及样本视频中各视频帧的标注分类结果，确定样本视频中的显著帧。

模型训练单元703，被配置成基于显著帧，训练显著帧确定模型。

在本实施例的一些可选的实现方式中，第一显著帧确定单元703可以进一步被配置成：对于每个视频帧，响应于确定该视频帧的视频分类结果与该视频帧的标注分类结果一致，确定该视频帧为显著帧。

在本实施例的一些可选的实现方式中，模型训练单元703可以进一步包括图7中未示出的：损失函数确定模块和模型训练模块。

损失函数确定模块，被配置成基于显著帧以及显著帧的标注分类结果，确定目标损失函数。

模型训练模块，被配置成根据目标损失函数，训练显著帧确定模型。

在本实施例的一些可选的实现方式中，损失函数确定模块进一步被配置成：根据显著帧，更新样本视频中各视频帧的标注分类标识；将样本视频中的各视频帧输入显著帧确定模型，根据显著帧确定模型的输出确定各视频帧的预测分类标识；根据预测分类标识以及更新的标注分类标识，确定目标损失函数。

在本实施例的一些可选的实现方式中，损失函数确定模块进一步被配置成：将样本视频中非显著帧的标注分类标识设置为预设数值；响应于确定预设数值与更新前的标注分类标识重复，更新部分或全部显著帧的标注分类标识，以避免重复。

在本实施例的一些可选的实现方式中，损失函数确定模块进一步被配置成：根据样本视频中的各视频帧，确定混叠帧；根据得到混叠帧的视频帧的标注分类结果，确定与混叠帧对应的混叠分类结果；根据显著帧、显著帧的标注分类结果、混叠帧以及混叠帧对应的混叠分类结果，确定目标损失函数。

在本实施例的一些可选的实现方式中，损失函数确定模块进一步被配置成：对于样本视频中的每个视频帧，从样本视频中选取一个视频帧与该视频帧进行混叠，得到混叠帧。

在本实施例的一些可选的实现方式中，损失函数确定模块进一步被配置成：更新各视频帧的标注分类结果对应的标注分类标识；根据得到混叠帧的视频帧的更新的标注分类标识，确定混叠帧对应的混叠分类结果。

在本实施例的一些可选的实现方式中，损失函数确定模块进一步被配置成：根据显著帧以及显著帧的标注分类结果，确定第一损失函数；根据混叠帧以及混叠帧对应的混叠分类结果，确定第二损失函数；根据第一损失函数以及第二损失函数，确定目标损失函数。

应当理解，模型训练装置700中记载的单元701至单元703分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对模型训练方法描述的操作和特征同样适用于装置700及其中包含的单元，在此不再赘述。

进一步参考图8，作为对上述图5所示方法的实现，本公开提供了一种视频分类装置的一个实施例，该装置实施例与图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图8所示，本实施例的视频分类装置800包括：目标视频获取单元801、第二显著帧确定单元802以及视频分类单元803。

目标视频获取单元801，被配置成获取目标视频。

第二显著帧确定单元802，被配置成利用通过图2～图4任一实施例所描述的模型训练方法训练得到的显著帧确定模型确定目标视频的显著帧。

视频分类单元803，被配置成根据目标视频的显著帧以及预先训练的视频分类模型，确定目标视频的分类结果。

应当理解，视频分类装置800中记载的单元801至单元803分别与参考图5中描述的方法中的各个步骤相对应。由此，上文针对视频分类方法描述的操作和特征同样适用于装置800及其中包含的单元，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了根据本公开实施例的执行模型训练方法、视频分类方法的电子设备900的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，电子设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储器908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM903中，还可存储电子设备900操作所需的各种程序和数据。处理器901、ROM 902以及RAM 903通过总线904彼此相连。I/O接口(输入/输出接口)905也连接至总线904。

电子设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储器908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器901可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器901执行上文所描述的各个方法和处理，例如模型训练方法、视频分类方法。例如，在一些实施例中，模型训练方法、视频分类方法可被实现为计算机软件程序，其被有形地包含于机器可读存储介质，例如存储器908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由处理器901执行时，可以执行上文描述的模型训练方法、视频分类方法的一个或多个步骤。备选地，在其他实施例中，处理器901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法、视频分类方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。上述程序代码可以封装成计算机程序产品。这些程序代码或计算机程序产品可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器901执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读存储介质可以是机器可读信号存储介质或机器可读存储介质。机器可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以是分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开的保护范围之内。

Claims (23)

1.一种模型训练方法，包括：

利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果；

根据各视频帧的视频分类结果以及所述样本视频中各视频帧的标注分类结果，确定所述样本视频中的显著帧；

基于所述显著帧，训练显著帧确定模型。

2.根据权利要求1所述的方法，其中，所述根据各视频帧的视频分类结果以及所述样本视频中各视频帧的标注分类结果，确定所述样本视频中的显著帧，包括：

对于每个视频帧，响应于确定该视频帧的视频分类结果与该视频帧的标注分类结果一致，确定该视频帧为显著帧。

3.根据权利要求1所述的方法，其中，所述基于所述显著帧，训练显著帧确定模型，包括：

基于所述显著帧以及所述显著帧的标注分类结果，确定目标损失函数；

根据所述目标损失函数，训练显著帧确定模型。

4.根据权利要求3所述的方法，其中，所述基于所述显著帧以及所述显著帧的标注分类结果，确定目标损失函数，包括：

根据所述显著帧，更新所述样本视频中各视频帧的标注分类标识；

将所述样本视频中的各视频帧输入所述显著帧确定模型，根据所述显著帧确定模型的输出确定各视频帧的预测分类标识；

根据所述预测分类标识以及更新的标注分类标识，确定目标损失函数。

5.根据权利要求4所述的方法，其中，根据所述显著帧，更新所述样本视频中各视频帧的标注分类标识，包括：

将所述样本视频中非显著帧的标注分类标识设置为预设数值；

响应于确定所述预设数值与更新前的标注分类标识重复，更新部分或全部显著帧的标注分类标识，以避免重复。

6.根据权利要求3所述的方法，其中，所述基于所述显著帧以及所述显著帧的标注分类结果，确定目标损失函数，包括：

根据所述样本视频中的各视频帧，确定混叠帧；

根据得到所述混叠帧的视频帧的标注分类结果，确定与所述混叠帧对应的混叠分类结果；

根据所述显著帧、所述显著帧的标注分类结果、所述混叠帧以及所述混叠帧对应的混叠分类结果，确定目标损失函数。

7.根据权利要求6所述的方法，其中，所述根据所述样本视频中的各视频帧，确定混叠帧，包括：

对于所述样本视频中的每个视频帧，从样本视频中选取一个视频帧与该视频帧进行混叠，得到混叠帧。

8.根据权利要求6所述的方法，其中，所述根据得到所述混叠帧的视频帧的标注分类结果，确定与所述混叠帧对应的混叠分类结果，包括：

更新各视频帧的标注分类结果对应的标注分类标识；

根据得到所述混叠帧的视频帧的更新的标注分类标识，确定所述混叠帧对应的混叠分类结果。

9.根据权利要求6所述的方法，其中，所述根据所述显著帧、所述显著帧的标注分类结果、所述混叠帧以及所述混叠帧对应的混叠分类结果，确定目标损失函数，包括：

根据所述显著帧以及所述显著帧的标注分类结果，确定第一损失函数；

根据所述混叠帧以及所述混叠帧对应的混叠分类结果，确定第二损失函数；

根据所述第一损失函数以及所述第二损失函数，确定目标损失函数。

10.一种视频分类方法，包括：

获取目标视频；

利用通过权利要求1-9任一项所述的模型训练方法训练得到的显著帧确定模型确定所述目标视频的显著帧；

根据所述目标视频的显著帧以及预先训练的视频分类模型，确定所述目标视频的分类结果。

11.一种模型训练装置，包括：

样本视频分类单元，被配置成利用预先训练的视频分类模型，确定样本视频中各视频帧的视频分类结果；

第一显著帧确定单元，被配置成根据各视频帧的视频分类结果以及所述样本视频中各视频帧的标注分类结果，确定所述样本视频中的显著帧；

模型训练单元，被配置成基于所述显著帧，训练显著帧确定模型。

12.根据权利要求11所述的装置，其中，所述第一显著帧确定单元进一步被配置成：

对于每个视频帧，响应于确定该视频帧的视频分类结果与该视频帧的标注分类结果一致，确定该视频帧为显著帧。

13.根据权利要求11所述的装置，其中，所述模型训练单元包括：

损失函数确定模块，被配置成基于所述显著帧以及所述显著帧的标注分类结果，确定目标损失函数；

模型训练模块，被配置成根据所述目标损失函数，训练显著帧确定模型。

14.根据权利要求13所述的装置，其中，所述损失函数确定模块进一步被配置成：

根据所述显著帧，更新所述样本视频中各视频帧的标注分类标识；

将所述样本视频中的各视频帧输入所述显著帧确定模型，根据所述显著帧确定模型的输出确定各视频帧的预测分类标识；

根据所述预测分类标识以及更新的标注分类标识，确定目标损失函数。

15.根据权利要求14所述的装置，其中，所述损失函数确定模块进一步被配置成：

将所述样本视频中非显著帧的标注分类标识设置为预设数值；

响应于确定所述预设数值与更新前的标注分类标识重复，更新部分或全部显著帧的标注分类标识，以避免重复。

16.根据权利要求13所述的装置，其中，所述损失函数确定模块进一步被配置成：

根据所述样本视频中的各视频帧，确定混叠帧；

根据得到所述混叠帧的视频帧的标注分类结果，确定与所述混叠帧对应的混叠分类结果；

根据所述显著帧、所述显著帧的标注分类结果、所述混叠帧以及所述混叠帧对应的混叠分类结果，确定目标损失函数。

17.根据权利要求16所述的装置，其中，所述损失函数确定模块进一步被配置成：

对于所述样本视频中的每个视频帧，从样本视频中选取一个视频帧与该视频帧进行混叠，得到混叠帧。

18.根据权利要求16所述的装置，其中，所述损失函数确定模块进一步被配置成：

更新各视频帧的标注分类结果对应的标注分类标识；

根据得到所述混叠帧的视频帧的更新的标注分类标识，确定所述混叠帧对应的混叠分类结果。

19.根据权利要求16所述的装置，其中，所述损失函数确定模块进一步被配置成：

根据所述显著帧以及所述显著帧的标注分类结果，确定第一损失函数；

根据所述混叠帧以及所述混叠帧对应的混叠分类结果，确定第二损失函数；

根据所述第一损失函数以及所述第二损失函数，确定目标损失函数。

20.一种视频分类装置，包括：

目标视频获取单元，被配置成获取目标视频；

第二显著帧确定单元，被配置成利用通过权利要求1-9任一项所述的模型训练方法训练得到的显著帧确定模型确定所述目标视频的显著帧；

视频分类单元，被配置成根据所述目标视频的显著帧以及预先训练的视频分类模型，确定所述目标视频的分类结果。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法或权利要求10所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法或权利要求10所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法或权利要求10所述的方法。

Images