CN110458008A - 视频处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及图像处理领域，特别涉及一种视频处理方法、装置、计算机设备和存储介质。所述方法包括：获取监控视频，从所述监控视频中截取目标监控对象的服务子视频；从所述服务子视频中抽取包含所述目标监控对象的第一视频图像集合，从所述第一视频图像集合中提取目标对象图像；从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合；分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情；根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案。采用本方法能够提高视频有效信息获取效率。

Description

视频处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频处理方法、装置、计算机设备和存储介质。

背景技术

目前，社会上越来越注重服务行业的服务态度，作为消费者都希望在任何地方都能得到最优质的服务，因此，需要对服务人员的服务质量进行监控，在服务人员的服务质量出现问题时予以及时提醒和纠正。

但是，监控视频中包含的信息量往往很大，质量监测人员若想根据监控视频来评价服务人员的服务质量时，需要回看监控视频，且视频中存在数量巨大的图像帧，又包含了较多的冗余信息，因此，从中获取到能够用于评价服务器质量的有效信息需要花费大量时间，视频有效信息的获取效率很低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高视频有效信息获取效率的视频处理方法、装置、计算机设备和存储介质。

一种视频处理方法，所述方法包括：

获取监控视频，从所述监控视频中截取目标监控对象的服务子视频；

从所述服务子视频中抽取包含所述目标监控对象的第一视频图像集合，从所述第一视频图像集合中提取目标对象图像；

从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合；

分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情；

根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案。

在其中一个实施例中，从所述监控视频中截取目标监控对象的服务子视频，包括：

获取所述目标监控对象的服务标识，查找所述服务标识对应的服务时间和目标人脸图像；

从所述监控视频中提取拍摄时间与所述服务时间匹配的监控视频片段；

根据所述目标人脸图像对所述监控视频片段进行人脸检测，并从所述监控视频片段中提取出未检测到与所述目标人脸图相匹配人脸的视频子片段；

获取各所述视频子片段的片段时长，将所述片段时长与预设缺失阈值进行比较；

将所述片段时长大于所述预设缺失阈值的第一视频子片段从所述视频片段中删除，得到服务子视频。

在其中一个实施例中，从所述第一视频图像集合中提取目标对象图像，包括：

从所述第一视频图像集合中抽取第一图像帧，检测各所述第一图像帧中的人像个数；

从所述第一图像帧中提取所述人像个数大于1个的多人图像帧；

根据服务人脸库中预存的服务人脸图像对所述多人图像帧进行人脸检测，检测所述多人图像帧中是否存在与所述服务人脸图像均不匹配的人脸图像；

若检测出存在与所述服务人脸图像均不匹配的人脸图像，则将对应的所述多人图像帧中与所述目标人脸图像匹配的面部图像提取为目标对象图像。

在其中一个实施例中，述从所述服务子视频中提取包含服务对象的第二视频图像，包括：

获取所述片段时长未超过所述预设缺失阈值的第二视频子片段，从所述第二视频子片段中提取出与所述服务人脸图像不匹配的第一面部图像；

从所述多人图像帧中提取出与所述服务人脸图像不匹配的第二面部图像；

根据所述第一面部图像和所述第二面部图像得到第二视频图像。

在其中一个实施例中，分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情，包括：

从各所述集合图像中提取面部特征点，根据所述面部特征点计算面部动作特征；

将所述面部动作特征输入微表情分析模型得到各预设微表情的匹配概率值；

根据所述匹配概率值选取与所述集合图像匹配的预设微表情。

在其中一个实施例中，根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案，包括：

将所述预设微表情与所述服务图像集合中对应的集合图像进行关联；

获取所述各所述集合图像对应的对象类别；

查找所述预设微表情对应的表情标签，并根据所述标签判定所述预设微表情对应的情感类别；

根据所述对象类别和所述情感类别，将所述服务图像集合中的集合图像划分为多个图像子集，根据所述图像子集生成服务信息档案。

在其中一个实施例中，方法还包括：

将所述服务图像集合中，拍摄时间匹配的目标对象类别的第一集合图像与服务对象类别的第二集合图像进行关联；

判断所述第一集合图像关联的预设微表情与所述第二集合图像关联的预设微表情，是否对应相同的情感类别；

当对应不同的情感类别时，将关联的所述第一集合图像和所述第二集合图像进行拼接得到表情比对图。

一种视频处理装置，所述装置包括：

视频截取模块，用于获取监控视频，从所述监控视频中截取目标监控对象的服务子视频；

目标图像提取模块，用于从所述服务子视频中抽取包含所述目标监控对象的第一视频图像集合，从所述第一视频图像集合中提取目标对象图像；

图像集合生成模块，用于从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合；

表情分析模块，用于分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情；

档案生成模块，用于根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

上述视频处理方法、装置、计算机设备和存储介质，能够从监控视频中截取出目标监控对象的处于服务位置的服务子视频，并从服务子视频中检测出包含服务对象的和包含目标对象的图像，从而能够自动过滤到无用的冗余图像信息；还能够对筛选出的图像进行微表情分析，分析出目标对象及服务对象在图像中的微表情，从而对图像信息进一步处理，得到能够帮助评价目标监控对象的有效信息，从而大大提高了视频有效信息的获取效率。

附图说明

图1为一个实施例中视频处理方法的应用场景图；

图2为一个实施例中视频处理方法的流程示意图；

图3为一个实施例中表情比对图生成方法的流程示意图；

图4为一个实施例中视频处理装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的视频处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102向服务器104发送监控视频，服务器104接收监控视频后，从监控视频中截取目标监控对象的服务子视频；从服务子视频中抽取包含目标监控对象的第一视频图像集合，从第一视频图像集合中提取目标对象图像；从服务子视频中提取包含服务对象的第二视频图像，根据目标对象图像和第二视频图像得到服务图像集合；分别对服务图像集合中的各集合图像进行微表情分析，得到与各集合图像匹配的预设微表情；根据服务图像集合和预设微表情生成目标监控对象的服务信息档案。服务器104将生成的服务信息档案返回给终端102。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种视频处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤210，获取监控视频，从监控视频中截取目标监控对象的服务子视频。

目标监控对象为需要进行服务质量监控评价的对象，如客服人员等。监控视频为对目标监控对象所处服务位置进行监控拍摄的视频，监控视频中的拍摄到的人物除了目标监控对象以外，还可能包括服务对象如顾客，或其他服务人员等。监控视频的拍摄时长一般为固定的时间周期，如1天、1周等。用于监控的终端可以定期将拍摄的监控视频发送给服务器，服务器接收到监控录视频后，可以立即或定时对监控视频进行处理。服务器中事先存储了需要进行监控的目标监控对象的信息，如目标监控图像的人脸图像、服务时间等信息。服务器根据目标监控对象的信息从获取的监控视频中截取出，目标监控对象对应的服务子视频，服务子视频为目标监控对象出现在所处服务位置进行活动的视频。

步骤220，从服务子视频中抽取包含目标监控对象的第一视频图像集合，从第一视频图像集合中提取目标对象图像。

服务子视频只是对目标监控对象处于服务位置的初步和粗略筛选，其中可能包含其他人物信息或冗余信息。服务子视频中除了包含目标监控对象的图像之外，由于监控视频拍摄时拍摄角度的转动和改变，还可能包含服务对象的图像、其他服务人员的图像、或多个人物对象共同出现的图像等。服务器根据目标监控对象的人脸信息对服务子视频进行人脸监测，从中识别出包含目标监控对象的第一视频图像集合，即能够检测出目标监控对象人脸的视频图像的集合。

进一步地，由于服务子视频中包含数量众多的视频图像帧，在对服务子视频进行处理之前，服务器可以先以固定的时间间隔从服务子视频中抽取视频图像帧，从而能够减小视频图像的处理量，但抽取的时间间隔的设定需要同时兼顾视频信息量，不能设置太大而丢失太多有效信息。

在服务器提取出包含目标监控对象的视频集合后，服务器对集合中的图像进一步筛选，判断图像中的目标监控对象是否处于服务行为状态，将目标监控对象处于服务行为状态的目标对象图像从第一视频图像集合中提取出来。例如，服务行为状态可以为客服人员对顾客进行服务的状态。此外，目标监控对象也可能处于其他状态，如与其他服务器人员交流的状态，未进行服务的空闲状态，服务器可以通过图像中的人物数量、目标监控对象之外其他人物的情况等信息来判断目标监控对象是否处于服务行为状态。

步骤230，从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合。

服务对象为目标监控对象进行服务的对象，如顾客等。服务器从服务子视频中提取出包含服务对象的第二视频图像。服务器中可以事先存储有所有服务人员的人脸信息，对各图像进行人脸监测，若检测到未与服务人员匹配的人脸，则可判定该图像中存在服务对象。进一步地，可以根据图像中的人物数量等进一步判断服务对象是否处于被服务状态，将包含服务对象且处于被服务状态的图像提取为第二视频图像。

服务器根据提取出的目标对象图像和第二视频图像得到服务对象集合。服务器可以对服务对象中各图像的对象类别，如是服务对象还是目标监控对象进行类别标注，并在服务图像集合中可以根据各图像对应的视频时间进行排序和整理。

步骤240，分别述服务图像集合中的各集合图像进行微表情分析，得到与各集合图像匹配的预设微表情。

得到服务图像集合后，服务器分别对服务图像集合中各集合图像进行微表情分析，具体地，服务器可以从集合图像中提取出各对象的脸部图像，从脸部图像中提取出脸部特征，再查找与脸部特征想匹配的预设微表情。服务器的数据库中事先存储了多种预设微表情，预设微表情可以根据脸部部位进行设置，如眼部的预设微表情可以包括眯眼睛、瞪眼睛等，因此，得到的与各集合图像匹配的预设微表情的数量可能有多个，如可以为多个部位所匹配的预设微表情。预设微表情也可以为各个部位特征综合得到的微表情，服务器根据多个部位的脸部特征，匹配出一个脸部综合的微表情，如微笑、大笑等。

步骤250，根据服务图像集合和预设微表情生成目标监控对象的服务信息档案。

服务器可以根据各服务图像集合对应的对象类别、拍摄时间及匹配的预设微表情进行分类整理，且可以对相同时间段内目标监控对象与服务对象所匹配的预设微表情进行对比分析，根据双方对象的预设微表情得到目标监控对象的服务得分，并可以将各时间段的服务得分进行综合计算，得到该时间周期内目标监控对象的整体服务评价得分，服务器还可以将各时间段段服务得分与服务预警阈值进行比较，判断该时间段的服务器得分是否合格及是否要进行服务质量预警提示信息等。服务器可以根据上述服务图像集合、各集合图像等预设微表情、各时间段的服务得分、预警提示信息等各信息中的一种或几种的组合生成服务信息档案，服务器也可以根据集合图像和预设微表情进行其他处理方式得到其他分析信息，得到服务信息档案。

具体地，服务器在计算各时间段段服务得分时，可以设定预先设定各预设微表情对应的服务分值，服务对象和目标监控对象匹配的预设微表情可以设定不同的服务分值，并对服务对象和目标监控对象的预设微表情设定不同的权重，根据双方的服务分值和权重计算得到各时间段的服务得分。在其他实施例中，服务器也可以采用其他方法计算服务得分。

在本实施例中，服务器能够从监控视频中截取出目标监控对象的处于服务位置的服务子视频，并从服务子视频中检测出包含服务对象的和包含目标对象的图像，从而能够自动过滤到无用的冗余图像信息；还能够对筛选出的图像进行微表情分析，分析出目标对象及服务对象在图像中的微表情，从而对图像信息进一步处理，得到能够帮助评价目标监控对象的有效信息，从而大大提高了视频有效信息的获取效率。

在一个实施例中，从监控视频中截取目标监控对象的服务子视频的步骤可以包括：获取目标监控对象的服务标识，查找服务标识对应的服务时间和目标人脸图像；从监控视频中提取拍摄时间与服务时间匹配的监控视频片段；根据目标人脸图像对监控视频片段进行人脸检测，并从监控视频片段中提取出未检测到与目标人脸图相匹配人脸的视频子片段；获取各视频子片段的片段时长，将片段时长与预设缺失阈值进行比较；将片段时长大于预设缺失阈值的第一视频子片段从视频片段中删除，得到服务子视频。

服务标识用于对服务人员进行唯一标识，服务标识可以为员工代码、姓名、工号等，各服务人员的服务标识与服务人员基本信息的映射关系事先存储于服务器中，服务人员基本信息可以包括服务时间如在班的客服时间，人员信息如性别、年龄、人脸图像信息等。服务器获取目标监控对象的服务标识，查找服务标识对应的服务时间和目标人脸图像，服务器将服务时间与监控视频的拍摄时间进行比对，从监控视频中提取出拍摄时间与服务时间匹配的监控视频片段，如可以根据服务时间的起始时间从监控视频中截取相应的片段，并获取固定休息时间，如吃饭时间等，将其中固定休息时间对应的视频片段剔除得到监控视频片段。

服务器根据查找到的目标人脸图像对监控视频片段进行人脸检测，可以每隔固定时间间隔从监控视频片段中抽取出图像帧，检测图像帧中是否存在与目标人脸图像匹配的人脸图像，将未检测到匹配人脸图像的图像帧提取出来，获取抽取顺序连续的未检测出匹配人脸图像的多个图像帧得到视频子片段，得到的视频子片段的个数可能为多个，服务器获取各视频子片段的起始时间和终止时间，根据终止时间和起始时间计算出各视频子片段的持续的片段时长，服务器获取预设缺失阈值，预设缺失阈值为评判服务人员是否离岗的时间阈值，若服务人员在监控视频中的缺失时间超过预设缺失阈值，则判定服务人员离岗。服务器将各视频子片段的片段时长与预设缺失阈值进行比较，将片段时长大于预设缺失阈值的第一视频子片段从视频片段中删除，得到服务子视频。其中，在进行人脸识别检测时的算法，可以采用基于模板匹配的识别方法、主成分分析法、基于奇异值特征的方法、子空间分析法、局部保持投影法等算法。

在本实施例中，通过视频匹配和人脸检测可以初步筛选出包含目标监控对象的视频片段，从而能够有效减少与目标监控目标无关的冗余视频片段。且通过设定预设缺失阈值，可以初步判定目标监控对象是长时间离岗如上厕所、外出等离岗，还是短时间离岗如向其他服务人员咨询，获取资料等，并保留短时间离岗时的视频信息(会包含服务对象的表情信息)，从而降低有效信息的流失。

在一个实施例中，从第一视频图像集合中提取目标对象图像的步骤可以包括：从第一视频图像集合中抽取第一图像帧，检测各第一图像帧中的人像个数；从第一图像帧中提取人像个数大于1个的多人图像帧；根据服务人脸库中预存的服务人脸图像对多人图像帧进行人脸检测，检测多人图像帧中是否存在与服务人脸图像均不匹配的人脸图像；若检测出存在与服务人脸图像均不匹配的人脸图像，则将对应的多人图像帧中与目标人脸图像匹配的面部图像提取为目标对象图像。

第一视频图像集合为包含目标监控对象的人脸图像的图像集合，服务器可以以固定时间间隔从第一视频图集合中抽取出第一图像帧，减少图像处理的数据量。服务器检测各抽取的第一图像帧中的人像个数，人像检测并不同于人脸检测，只需检测各第一图像帧中存在的人数即可，不需要精确的识别出人脸，如可以通过检测人体轮廓来检测人像个数。服务器从第一图像帧中提取出人像个数大于1的多人图像帧，即排除目标监控对象单独出现在视频中的非服务状态的图像帧。

服务人脸库为服务器中的一个人脸信息库，所有服务人员包括目标监控对象的人脸图像均存储于服务人脸库中，服务器对各多人图像帧进行人脸视频，得到检测到的各人脸特征，将检测到的人脸特征与服务人脸库中预存的所有服务器人员的服务人脸图像进行特征比对和匹配，判断检测出的人脸特征是否与服务人脸库中的某个服务人脸图像匹配，当检测到多人图像帧中存在与所有服务人脸图像军部匹配的人脸图像时，则判定该多人图像帧中存在服务对象，将该多人图像帧中与目标人脸图像匹配的面部图像提取出来，提取为目标对象图像。

在本实施例中，通过多人图像检测，可以排除目标监控对象单独存在的图像帧，通过服务人员的服务人脸图像的检测匹配，可以排除只有目标监控对象和服务人员存在的非服务状态的图像帧，从而进一步地缩小视频图像范围，有效减少冗余图像信息。

在一个实施例中，从服务子视频中提取包含服务对象的第二视频图像的步骤可以包括：获取片段时长未超过预设缺失阈值的第二视频子片段，从第二视频子片段中提取出与服务人脸图像不匹配的第一面部图像；从多人图像帧中提取出与服务人脸图像不匹配的第二面部图像；根据第一面部图像和第二面部图像得到第二视频图像。

服务器从服务子视频中获取片段时长未超过预设缺失阈值的第二视频子片段，第二视频子片段为未出现目标监控对象的，且目标监控对象的缺失时长未超过预设缺失阈值的视频片段，服务器从第二视频子片段中先识别出与服务人脸库中的服务人脸图像匹配的人脸图像，再将其他人脸图像提取为服务对象的第一面部图像。

多人图像帧为包含目标监控对象的多人图像，同样地，服务器先存多人图像帧中识别出与与服务人脸库中的服务人脸图像匹配的人脸图像，再将其他人脸图像提取为服务对象的第二面部图像。服务器根据第一面部图像和第二面部图像共同生成第二视频图像。进一步地，服务器可以对第二视频图像进行服务对象类别的图像类别标注，并可以标注各第二视频图像的拍摄时间。

在本实施例中，服务器将包含或未包含目标监控对象中的服务对象的图像均提取出来，可以避免丢失服务对象的面部表情信息。

在一个实施例中，分别对服务图像集合中的各集合图像进行微表情分析，得到与各集合图像匹配的预设微表情的步骤可以包括：从各集合图像中提取面部特征点，根据面部特征点计算面部动作特征；将面部动作特征输入微表情分析模型得到各预设微表情的匹配概率值；根据匹配概率值选取与集合图像匹配的预设微表情。

各集合图像为目标监控对象或服务对象的面部图像。服务器从集合图像中提取出面部特征点，面部特征点为五官及脸部轮廓的特征点，如眼睛、嘴巴、鼻子、眉毛等的特征坐标。具体地，服务器可以通过预先训练好的3D人脸模型或者深度学习神经网络对当前面部图像进行面部特征点提取。

服务器可以基于提取出的面部特征点再通过预先训练好的3D人脸模型或者深度学习神经网络模型从集合图像中提取出面部动作特征，也可以将提取出的各面部特征点进行分类后输入对应的面部动作特征计算模型，得到相应面部动作特征，例如，将属于眼部的面部特征点输入眼动模型可以得到关于眼部的面部动作特征，如眨眼特征、眯眼特征、瞪眼特征等。3D人脸模型、深度学习神经网络模型、面部动作特征计算模型都是通过事先对多张人脸图像深度学习训练得到的。

服务器可以根据3D人脸模型或者深度学习神经网络模型或者面部动作特征计算模型计算各面部动作特征的取值，并将面部动作特征以及取值输入预先训练好的微表情分类模型中，得到各种预设微表情的概率值。微表情分类模型可以采用SVM分类器、深度神经网络学习模型、决策树分类模型等多种用于分类的模型，微表情分类模型通过事先对多张人脸图像的面部动作特征训练得到。服务器可以根据模型输出结果选取出概率值最大的预设微表情。

在本实施例中，通过对脸部特征进行提取和特征分类训练，可以得到更加准确的预设微表情，得到的预设微表情可为评价服务人员的服务态度和质量，以及服务对象的满意程度提供重要的数据参考。

在一个实施例中，根据服务图像集合和预设微表情生成目标监控对象的服务信息档案的步骤可以包括：将预设微表情与服务图像集合中对应的集合图像进行关联；获取各集合图像对应的对象类别；查找预设微表情对应的表情标签，并根据标签判定预设微表情对应的情感类别；根据对象类别和情感类别，将服务图像集合中的集合图像划分为多个图像子集，根据图像子集生成服务信息档案。

服务器将各集合图像和相应的预设微表情进行关联，如可以对各集合图像进行预设微表情标注，或记录集合图像与相应预设微表情的映射关系等。服务器获取各集合图像对应的对象类别，在本实施例中，对象类别按照图像中的人脸对象进行划分，对象类别可以包括两类，即目标监控对象类别和服务对象类别，在对各种对象类别的集合图像进行人脸检测匹配时，即根据检测出的人脸图像的对象对集合图像进行类别标注。

表情标签即为预设微表情对应的情绪模式标签，表情标签可以开心、兴奋、轻蔑、愤怒、平和等，一种表情标签可以对应于多种预设微表情，如开心表情标签对应的预设微表情可以包括眯眼睛、嘴角上扬等预设微表情。表情标签与预设微表情之间的映射关系事先存储于服务器中。服务器查找预设微表情对应的表情标签。

表情标签可以划分为多个情感类别，一种情感类别可以对应于多个表情标签。如在一个实施例中，可以将表情标签的情感类别划分为三种，包括积极情感类别、中性情感类别和消极情感类别，如开心、兴奋等表情标签属于积极情感类别，轻蔑、愤怒等表情标签属于消极情感类别，平和表情标签属于中性情感类别等。在其他实施例中，也可以采用其他方式划分情感类别。情感类别与表情标签的映射关系可以事先存储于服务器中，服务器获取各集合图像的预设微表情对应的情感类别，并将查找到的情感类别与相应的集合图像进行关联。

服务器可以根据各集合图像对应的对象类别和情感类别对集合图像进行分类，如可以先根据对象类别将集合图像划分为多个对象类别的服务图像集，再在各对象类别的服务图像集中根据集合图像所属的情感类别划分为多个小的图像子集，同时将各集合图像对应的拍摄时间预设微表情、对象类别及情感类别等信息的映射关系进行整理，形成各服务图像集的图像信息表，根据划分的多个图像子集及对应的图像信息表生成服务信息档案。服务器可以将服务信息档案推送至终端，以使终端根据服务信息档案对目标监控对象的服务质量进行合理评测。

在本实施例中，通过对预设微表情进行情感类别的判定，及根据集合图像的对象类别和情感类别对集合图像进行分类整理，能够方便对集合图像进行查找，并便于获取集合图像中的对象表情信息。

在一个实施例中，如图3所示，图3为表情比对图生成方法的流程图，具体可以包括以下步骤：

步骤310，将服务图像集合中，拍摄时间匹配的目标对象类别的第一集合图像与服务对象类别的第二集合图像进行关联。

上述实施例中，服务器图像集合中的集合图像根据对象类别划分为不同的图像子集，且各图像子集均有对应的图像信息表，服务器从分别从目标对象类别即目标监控对象类别的，和服务对象类别的图像子集的图像信息表中获取各集合图像的拍摄时间，并查找拍摄时间相匹配的标对象类别的第一集合图像与服务对象类别的第二集合图像，将匹配的两类图像之间进行关联。其中，拍摄时间相匹配并不一定是拍摄时间完全一致，也可以是所属时间范围一致则判定拍摄时间相匹配，如可以将时间范围长度设定为10秒、20秒、30秒等。

步骤320，判断第一集合图像关联的预设微表情与第二集合图像关联的预设微表情，是否对应相同的情感类别。

服务器分别获取相匹配的第一集合图像与第二集合图像的预设微表情，并查找各预设微表情对应的情感类别，判定两个图像对应的情感类别是否一致，即判断目标监控对象与服务对象当时的表情情感状态是否相符，目标监控对象与服务对象在交流过程中的情感变化一般都会相对同步，这时易于评价目标监控对象的服务态度，但当两者情感状态不一致具有冲突时，无法对目标监控对象的服务状态进行客户分析评价，往往需要人工确定当时的真实服务情况。

步骤330，当对应不同的情感类别时，将关联的第一集合图像和第二集合图像进行拼接得到表情比对图。

当服务器判定出两个图像对应不同的情感类别时，服务器将关联的第一集合图像和第二集合图像进行拼接得到表情比对图，二者拼接的位置和形式可以根据监控人员的需求进行设置。进一步地，服务器可以进一步地对表情比对图对应的拍摄时间进行记录和标注。服务器也可以将多个拍摄时间的表情比对图根据拍摄时间进行排序后，生成表情比对动图。服务器可以将生成的表情比对图或表情比对动图发送至终端，以对终端进行冲突表情的预警提示。

在本实施例中，将同一拍摄时间的目标监控对象与服务对象的图像进行关联，并自动对双方图像中人物情感状态进行匹配检测，可以将情感状态出图的图像进行拼接，从而便于监控人员进行比对分析。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种视频处理装置，包括：视频截取模块410、目标图像提取模块420、图像集合生成模块430、表情分析模块440和档案生成模块450，其中：

视频截取模块410，用于获取监控视频，从所述监控视频中截取目标监控对象的服务子视频。

目标图像提取模块420，用于从所述服务子视频中抽取包含所述目标监控对象的第一视频图像集合，从所述第一视频图像集合中提取目标对象图像。

图像集合生成模块430，用于从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合。

表情分析模块440，用于分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情。

档案生成模块450，用于根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案。

在一个实施例中，视频截取模块410可以包括：

信息查找单元，用于获取所述目标监控对象的服务标识，查找所述服务标识对应的服务时间和目标人脸图像。

片段提取单元，用于从所述监控视频中提取拍摄时间与所述服务时间匹配的监控视频片段。

再筛选单元，用于根据所述目标人脸图像对所述监控视频片段进行人脸检测，并从所述监控视频片段中提取出未检测到与所述目标人脸图相匹配人脸的视频子片段。

时长比较单元，用于获取各所述视频子片段的片段时长，将所述片段时长与预设缺失阈值进行比较。

视频删除单元，用于将所述片段时长大于所述预设缺失阈值的第一视频子片段从所述视频片段中删除，得到服务子视频。

在一个实施例中，目标图像提取模块420可以包括：

人像检测单元，用于从所述第一视频图像集合中抽取第一图像帧，检测各所述第一图像帧中的人像个数。

多人检测单元，用于从所述第一图像帧中提取所述人像个数大于1个的多人图像帧。

人脸匹配单元，用于根据服务人脸库中预存的服务人脸图像对所述多人图像帧进行人脸检测，检测所述多人图像帧中是否存在与所述服务人脸图像均不匹配的人脸图像。

目标对象提取单元，用于若检测出存在与所述服务人脸图像均不匹配的人脸图像，则将对应的所述多人图像帧中与所述目标人脸图像匹配的面部图像提取为目标对象图像。

在一个实施例中，图像集合生成模块430可以包括：

第一提取单元，用于获取所述片段时长未超过所述预设缺失阈值的第二视频子片段，从所述第二视频子片段中提取出与所述服务人脸图像不匹配的第一面部图像。

第二提取单元，用于从所述多人图像帧中提取出与所述服务人脸图像不匹配的第二面部图像；

图像汇总单元，用于根据所述第一面部图像和所述第二面部图像得到第二视频图像。

在一个实施例中，表情分析模块440可以包括：

特征提取单元，用于从各所述集合图像中提取面部特征点，根据所述面部特征点计算面部动作特征。

概率计算单元，用于将所述面部动作特征输入微表情分析模型得到各预设微表情的匹配概率值。

表情选取单元，用于根据所述匹配概率值选取与所述集合图像匹配的预设微表情。

在一个实施例中，档案生成模块450可以包括：

关联单元，用于将所述预设微表情与所述服务图像集合中对应的集合图像进行关联。

类别获取单元，用于获取所述各所述集合图像对应的对象类别。

情感判定单元，用于查找所述预设微表情对应的表情标签，并根据所述标签判定所述预设微表情对应的情感类别。

子集划分单元，用于根据所述对象类别和所述情感类别，将所述服务图像集合中的集合图像划分为多个图像子集，根据所述图像子集生成服务信息档案。

在一个实施例中，装置还可以包括：

图像关联模块，用于将所述服务图像集合中，拍摄时间匹配的目标对象类别的第一集合图像与服务对象类别的第二集合图像进行关联。

类别匹配模块，用于判断所述第一集合图像关联的预设微表情与所述第二集合图像关联的预设微表情，是否对应相同的情感类别。

图像拼接模块，用于当对应不同的情感类别时，将关联的所述第一集合图像和所述第二集合图像进行拼接得到表情比对图。

关于视频处理装置的具体限定可以参见上文中对于视频处理方法的限定，在此不再赘述。上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频处理方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取监控视频，从所述监控视频中截取目标监控对象的服务子视频；从所述服务子视频中抽取包含所述目标监控对象的第一视频图像集合，从所述第一视频图像集合中提取目标对象图像；从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合；分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情；根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案。

在一个实施例中，处理器执行计算机程序时实现从所述监控视频中截取目标监控对象的服务子视频的步骤时，还用于：获取所述目标监控对象的服务标识，查找所述服务标识对应的服务时间和目标人脸图像；从所述监控视频中提取拍摄时间与所述服务时间匹配的监控视频片段；根据所述目标人脸图像对所述监控视频片段进行人脸检测，并从所述监控视频片段中提取出未检测到与所述目标人脸图相匹配人脸的视频子片段；获取各所述视频子片段的片段时长，将所述片段时长与预设缺失阈值进行比较；将所述片段时长大于所述预设缺失阈值的第一视频子片段从所述视频片段中删除，得到服务子视频。

在一个实施例中，处理器执行计算机程序时实现从所述第一视频图像集合中提取目标对象图像的步骤时，还用于：从所述第一视频图像集合中抽取第一图像帧，检测各所述第一图像帧中的人像个数；从所述第一图像帧中提取所述人像个数大于1个的多人图像帧；根据服务人脸库中预存的服务人脸图像对所述多人图像帧进行人脸检测，检测所述多人图像帧中是否存在与所述服务人脸图像均不匹配的人脸图像；若检测出存在与所述服务人脸图像均不匹配的人脸图像，则将对应的所述多人图像帧中与所述目标人脸图像匹配的面部图像提取为目标对象图像。

在一个实施例中，处理器执行计算机程序时实现从所述服务子视频中提取包含服务对象的第二视频图像的步骤时，还用于：获取所述片段时长未超过所述预设缺失阈值的第二视频子片段，从所述第二视频子片段中提取出与所述服务人脸图像不匹配的第一面部图像；从所述多人图像帧中提取出与所述服务人脸图像不匹配的第二面部图像；根据所述第一面部图像和所述第二面部图像得到第二视频图像。

在一个实施例中，处理器执行计算机程序时实现分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情的步骤时，还用于：从各所述集合图像中提取面部特征点，根据所述面部特征点计算面部动作特征；将所述面部动作特征输入微表情分析模型得到各预设微表情的匹配概率值；根据所述匹配概率值选取与所述集合图像匹配的预设微表情。

在一个实施例中，处理器执行计算机程序时实现根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案的步骤时，还用于：将所述预设微表情与所述服务图像集合中对应的集合图像进行关联；获取所述各所述集合图像对应的对象类别；查找所述预设微表情对应的表情标签，并根据所述标签判定所述预设微表情对应的情感类别；根据所述对象类别和所述情感类别，将所述服务图像集合中的集合图像划分为多个图像子集，根据所述图像子集生成服务信息档案。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述服务图像集合中，拍摄时间匹配的目标对象类别的第一集合图像与服务对象类别的第二集合图像进行关联；判断所述第一集合图像关联的预设微表情与所述第二集合图像关联的预设微表情，是否对应相同的情感类别；当对应不同的情感类别时，将关联的所述第一集合图像和所述第二集合图像进行拼接得到表情比对图。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取监控视频，从所述监控视频中截取目标监控对象的服务子视频；从所述服务子视频中抽取包含所述目标监控对象的第一视频图像集合，从所述第一视频图像集合中提取目标对象图像；从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合；分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情；根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案。

在一个实施例中，计算机程序被处理器执行时实现从所述监控视频中截取目标监控对象的服务子视频的步骤时，还用于：获取所述目标监控对象的服务标识，查找所述服务标识对应的服务时间和目标人脸图像；从所述监控视频中提取拍摄时间与所述服务时间匹配的监控视频片段；根据所述目标人脸图像对所述监控视频片段进行人脸检测，并从所述监控视频片段中提取出未检测到与所述目标人脸图相匹配人脸的视频子片段；获取各所述视频子片段的片段时长，将所述片段时长与预设缺失阈值进行比较；将所述片段时长大于所述预设缺失阈值的第一视频子片段从所述视频片段中删除，得到服务子视频。

在一个实施例中，计算机程序被处理器执行时实现从所述第一视频图像集合中提取目标对象图像的步骤时，还用于：从所述第一视频图像集合中抽取第一图像帧，检测各所述第一图像帧中的人像个数；从所述第一图像帧中提取所述人像个数大于1个的多人图像帧；根据服务人脸库中预存的服务人脸图像对所述多人图像帧进行人脸检测，检测所述多人图像帧中是否存在与所述服务人脸图像均不匹配的人脸图像；若检测出存在与所述服务人脸图像均不匹配的人脸图像，则将对应的所述多人图像帧中与所述目标人脸图像匹配的面部图像提取为目标对象图像。

在一个实施例中，计算机程序被处理器执行时实现从所述服务子视频中提取包含服务对象的第二视频图像的步骤时，还用于：获取所述片段时长未超过所述预设缺失阈值的第二视频子片段，从所述第二视频子片段中提取出与所述服务人脸图像不匹配的第一面部图像；从所述多人图像帧中提取出与所述服务人脸图像不匹配的第二面部图像；根据所述第一面部图像和所述第二面部图像得到第二视频图像。

在一个实施例中，计算机程序被处理器执行时实现分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情的步骤时，还用于：从各所述集合图像中提取面部特征点，根据所述面部特征点计算面部动作特征；将所述面部动作特征输入微表情分析模型得到各预设微表情的匹配概率值；根据所述匹配概率值选取与所述集合图像匹配的预设微表情。

在一个实施例中，计算机程序被处理器执行时实现根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案的步骤时，还用于：将所述预设微表情与所述服务图像集合中对应的集合图像进行关联；获取所述各所述集合图像对应的对象类别；查找所述预设微表情对应的表情标签，并根据所述标签判定所述预设微表情对应的情感类别；根据所述对象类别和所述情感类别，将所述服务图像集合中的集合图像划分为多个图像子集，根据所述图像子集生成服务信息档案。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述服务图像集合中，拍摄时间匹配的目标对象类别的第一集合图像与服务对象类别的第二集合图像进行关联；判断所述第一集合图像关联的预设微表情与所述第二集合图像关联的预设微表情，是否对应相同的情感类别；当对应不同的情感类别时，将关联的所述第一集合图像和所述第二集合图像进行拼接得到表情比对图。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频处理方法，所述方法包括：

获取监控视频，从所述监控视频中截取目标监控对象的服务子视频；

从所述服务子视频中抽取包含所述目标监控对象的第一视频图像集合，从所述第一视频图像集合中提取目标对象图像；

从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合；

分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情；

根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案。

2.根据权利要求1所述的方法，其特征在于，所述从所述监控视频中截取目标监控对象的服务子视频，包括：

获取所述目标监控对象的服务标识，查找所述服务标识对应的服务时间和目标人脸图像；

从所述监控视频中提取拍摄时间与所述服务时间匹配的监控视频片段；

根据所述目标人脸图像对所述监控视频片段进行人脸检测，并从所述监控视频片段中提取出未检测到与所述目标人脸图相匹配人脸的视频子片段；

获取各所述视频子片段的片段时长，将所述片段时长与预设缺失阈值进行比较；

将所述片段时长大于所述预设缺失阈值的第一视频子片段从所述视频片段中删除，得到服务子视频。

3.根据权利要求2所述的方法，其特征在于，所述从所述第一视频图像集合中提取目标对象图像，包括：

从所述第一视频图像集合中抽取第一图像帧，检测各所述第一图像帧中的人像个数；

从所述第一图像帧中提取所述人像个数大于1个的多人图像帧；

根据服务人脸库中预存的服务人脸图像对所述多人图像帧进行人脸检测，检测所述多人图像帧中是否存在与所述服务人脸图像均不匹配的人脸图像；

若检测出存在与所述服务人脸图像均不匹配的人脸图像，则将对应的所述多人图像帧中与所述目标人脸图像匹配的面部图像提取为目标对象图像。

4.根据权利要求3所述的方法，其特征在于，所述从所述服务子视频中提取包含服务对象的第二视频图像，包括：

获取所述片段时长未超过所述预设缺失阈值的第二视频子片段，从所述第二视频子片段中提取出与所述服务人脸图像不匹配的第一面部图像；

从所述多人图像帧中提取出与所述服务人脸图像不匹配的第二面部图像；

根据所述第一面部图像和所述第二面部图像得到第二视频图像。

5.根据权利要求4所述的方法，其特征在于，所述分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情，包括：

从各所述集合图像中提取面部特征点，根据所述面部特征点计算面部动作特征；

将所述面部动作特征输入微表情分析模型得到各预设微表情的匹配概率值；

根据所述匹配概率值选取与所述集合图像匹配的预设微表情。

6.根据权利要求1所述的方法，其特征在于，所述根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案，包括：

将所述预设微表情与所述服务图像集合中对应的集合图像进行关联；

获取所述各所述集合图像对应的对象类别；

查找所述预设微表情对应的表情标签，并根据所述标签判定所述预设微表情对应的情感类别；

根据所述对象类别和所述情感类别，将所述服务图像集合中的集合图像划分为多个图像子集，根据所述图像子集生成服务信息档案。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述服务图像集合中，拍摄时间匹配的目标对象类别的第一集合图像与服务对象类别的第二集合图像进行关联；

判断所述第一集合图像关联的预设微表情与所述第二集合图像关联的预设微表情，是否对应相同的情感类别；

当对应不同的情感类别时，将关联的所述第一集合图像和所述第二集合图像进行拼接得到表情比对图。

8.一种视频处理装置，其特征在于，所述装置包括：

视频截取模块，用于获取监控视频，从所述监控视频中截取目标监控对象的服务子视频；

目标图像提取模块，用于从所述服务子视频中抽取包含所述目标监控对象的第一视频图像集合，从所述第一视频图像集合中提取目标对象图像；

图像集合生成模块，用于从所述服务子视频中提取包含服务对象的第二视频图像，根据所述目标对象图像和所述第二视频图像得到服务图像集合；

表情分析模块，用于分别对所述服务图像集合中的各集合图像进行微表情分析，得到与所述各集合图像匹配的预设微表情；

档案生成模块，用于根据所述服务图像集合和所述预设微表情生成所述目标监控对象的服务信息档案。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。