CN110807394A - 情绪识别方法、试驾体验评估方法、装置、设备与介质 - Google Patents

Abstract

本发明提供了一种情绪识别方法、试驾体验评估方法、装置、设备与介质，其中的人脸表情的情绪识别方法，包括：确定当前的一个待识别视频段；所述待识别视频段具有连续的N帧图像；其可以为利用单位时间内图像帧数量较多的慢镜头视频，若所述待识别视频段中的表情为微表情，则：利用微表情识别模型对所述N帧图像进行识别，得到对应的第一情绪信息；若所述待识别视频段中的表情为普通表情，则：自所述N帧图像中选取具有先后次序的K帧图像，利用微表情识别模型对所述K帧图像进行识别，得到对应的第二情绪信息，其中，K小于N。

Description

情绪识别方法、试驾体验评估方法、装置、设备与介质

技术领域

本发明涉及情绪识别领域，尤其涉及一种情绪识别方法、试驾体验评估方法、装置、设备与介质。

背景技术

情绪识别，可理解为对人的情绪进行识别，从而确定对应情绪信息的过程，其中，例如可基于人脸图像进行情绪识别。现有相关技术中，可利用经训练的识别模型对视频中的表情进行情绪识别。

然而，在人的脸部表情中，可能既发生普通表情又发生微表情，其中的微表情可例如脸部表情变化幅度较小的且能够很快恢复原状的表情，若采用普通表情的识别模型对其进行识别，很可能难以识别到情绪信息，或识别到错误的情绪信息。可见，现有技术中难以同时兼顾普通表情的识别与微表情的识别。

发明内容

本发明提供一种情绪识别方法、试驾体验评估方法、装置、设备与介质，以解决难以同时兼顾普通表情的识别与微表情的识别的问题。

根据本发明的第一方面，提供了一种人脸表情的情绪识别方法，包括：

确定当前的一个待识别视频段；所述待识别视频段具有连续的N帧图像；

若所述待识别视频段中的表情为微表情，则：利用微表情识别模型对所述N帧图像进行识别，得到对应的第一情绪信息；

若所述待识别视频段中的表情为普通表情，则：自所述N帧图像中选取具有先后次序的K帧图像，利用微表情识别模型对所述K帧图像进行识别，得到对应的第二情绪信息，其中，K小于N。

可选的，所述微表情识别模型是利用微表***素材，以及针对于所述微表***素材所标定的情绪信息训练确定的，所述微表***素材的帧率与所述待识别视频段的帧率相同，均为第一帧率；

所述普通表情识别模型是利用普通表***素材，以及针对于所述普通表***素材所标定的情绪信息训练确定的，所述普通表***素材的帧率为第二帧率，所述第二帧率小于所述第一帧率。

可选的，其中的N与K是根据所述第一帧率与所述第二帧率确定的。

可选的，所述第二帧率小于60帧/秒，所述第一帧率大于100帧/秒。

可选的，所述微表情与所述普通表情是根据所述待识别视频段中人脸特征点的位置变化幅度区分的。

根据本发明的第二方面，提供了一种试驾体验评估方法，应用于云端或车载智能终端，包括：

控制试驾车辆的摄像头采集车内视频；

利用第一方面及其可选方案涉及的人脸表情的情绪识别方法识别试驾车辆中试驾人员的情绪，所述待识别视频段为所述车内视频中的部分或全部。

根据本发明的第三方面，提供了一种人脸表情的情绪识别装置，包括：

视频段确定模块，用于确定当前的一个待识别视频段；所述待识别视频段具有连续的N帧图像；

第一识别模块，用于若所述待识别视频段中的表情为微表情，则：利用微表情识别模型对所述N帧图像进行识别，得到对应的第一情绪信息；

第二识别模块，用于若所述待识别视频段中的表情为普通表情，则：自所述N帧图像中选取具有先后次序的K帧图像，利用微表情识别模型对所述K帧图像进行识别，得到对应的第二情绪信息，其中，K小于N。

根据本发明的第四方面，提供了一种试驾体验评估装置，应用于云端或车载智能终端，包括：

采集控制单元，用于控制试驾车辆的摄像头采集车内视频；

识别单元，用于利用权利要求1至5任一项所述的人脸表情的情绪识别方法识别试驾车辆中试驾人员的情绪，所述待识别视频段为所述车内视频中的部分或全部。

根据本发明的第五方面，提供了一种电子设备，包括存储器与处理器，所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的方法，或者第二方面及其可选方案涉及的方法。

根据本发明的第六方面，提供了一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现第一方面及其可选方案涉及的方法，或者第二方面及其可选方案涉及的方法。

本发明提供的情绪识别方法、试驾体验评估方法、装置、设备与介质，能够区分普通表情与微表情进行处理，进而，针对于普通表情，利用微表情识别模型进行识别，得到第一情绪信息，针对于普通表情，利用微表情识别模型进行识别，得到第二情绪信息，本发明实现了区分普通表情与微表情的不同流程，避免了使用同一模型进行情绪识别而易于造成的无法识别或识别错误，从而兼顾了普通表情的情绪识别与微表情的情绪识别。

同时，本发明中，针对于微表情，由于其变化较为细微，和/或其出现的时间较短，此时就需要在单位时间内提供更多的图像才能体现出这种变化，这就导致识别微表情所需的单位时间内的图像数量会区别于普通表情，故而，在本发明中，在N帧图像能够满足微表情识别的基础上，可通过在N帧图像中选取K帧图像，同时满足普通表情识别的需求，此外，由于其中的K小于N，还可降低普通表情识别所需处理的数据量，提高处理效率。

进一步的可选方案中，不同识别模型与不同数量图像的需求，可匹配于不同的训练过程与训练素材，其中，还能够更有针对性形成对微表情与普通表情的识别能力，提高识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中人脸表情的情绪识别方法的流程示意图一；

图2是本发明一实施例中人脸表情的情绪识别方法的流程示意图二；

图3是本发明一实施例中人脸表情的情绪识别方法的流程示意图三；

图4是本发明一实施例中试驾体验评估方法的流程示意图；

图5是本发明一实施例中人脸表情的情绪识别装置的程序模块示意图一；

图6是本发明一实施例中人脸表情的情绪识别装置的程序模块示意图二；

图7是本发明一实施例中试驾体验评估装置的程序模块示意图；

图8是本发明一实施例中电子设备的构造示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1是本发明一实施例中人脸表情的情绪识别方法的流程示意图一。

请参考图1，人脸表情的情绪识别方法，包括：

S11：确定当前的一个待识别视频段。

其中的待识别视频段，可理解为需识别人脸表情，从而确定对应情绪信息的一段视频，其可以为所采集到的视频内容的部分或全部。其中，待识别视频段具有连续的N帧图像，该N帧图像可理解为采集视频时所采集到的连续多帧图像；进而，其中的N可以为大于或等于1的整数。

具体实施过程中，待识别视频段可以为单位时间内图像帧数量较多的慢镜头视频，或可描述为高帧率视频，例如是120帧/秒的视频。

若以上所涉及的方法应用于试驾车辆，则该待识别视频段可以为试驾车辆中采集车内图像的摄像头所采集到的视频的部分或全部。

该试驾车辆，可理解为用于试驾场景的车辆，在汽车领域中，传统的试驾，通常是指顾客在经销商指定人员的陪同下，沿着指定的路线驾驶指定的车辆，从而了解这款汽车的行驶性能和操控性能。在现有技术中，也可在无指定人员陪同的情况下实现自动试驾，或称自助试驾。

现有相关技术中，尤其在自动试驾的场景下，为了评估试驾体验如何，通常只能通过工作人员事后对试驾者进行询问来获悉，进而试驾体验的评估结果很容易受到工作人员、试驾者的记忆里、表达能力、理解能力的限制和影响，从而使得评估结果的准确性可能难以保障。

进而，可利用采集车内图像，并针对于车内图像中的待识别视频段进行情绪识别的手段，得到试驾人员的情绪信息。

步骤S11中确定当前的一个待识别视频段的过程，可例如是在所采集到的车内视频中截取的，该截取过程可例如：自车内视频的图像中采集部分或全部特征点，进而，若该些特征点的位置变化幅度超出一个第一阈值，则确定该段视频段中产生了表情，进而将未超出第一阈值的部分确定为未发生表情，从而确定未产生表情的视频段，通过该方式，可通过未产生表情的视频段，将不同的产生了表情的视频段隔开，。

表征该位置变化幅度的数据可以是这些特征点中部分或全部特征点位置变化量之和，又或者该变化量之和与相应时间长度或图像数量的比值，再或者是该位置变化量的平均数、中位数等。

此外，位置变化幅度可逐一针对于每L帧图像来确定，该L为大于或等于2的整数。例如，若L取10，可针对于第1帧至第10帧图像判断其中是否发生表情，若发生，则将其均标注为发生了表情的视频段，再对第11帧至第20帧图像判断其中是否发生表情，若发生，则将其标注为发生了表情的视频段，此时，第1帧图像至第20帧图像可合并在一起，若第21帧至30帧图像被判断为未具有表情，则第1帧图像至第20帧图像的视频段即为一个待识别视频段，若第11帧至第20帧未发生表情，则将其标注为未发生表情的视频段，进而将第1帧至第10前10帧图像作为一个待识别视频段。

步骤S11之后，还可包括：

S12：所述待识别视频段中的表情是否为微表情；

若步骤S12的判断结果为是，则可实施步骤S13，若步骤S12的判断结果为否，则可实施步骤S14：所述待识别视频段中的表情是否为普通表情。

可见，通过以上过程可识别确定待识别视频段中的表情为普通表情还是微表情。

具体实施过程中，为了区分微表情与普通表情，可进一步利用以上所涉及的位置变化幅度来区分，进而，所述微表情与所述普通表情是根据所述待识别视频段中人脸特征点的位置变化幅度区分的。

例如，若以上位置变化幅度在第一阈值与第二阈值之间，则确定该段视频段中的表情为微表情，若以上位置变化幅度在第二阈值以上，则确定该视频段中的表情为普通表情。

其中，表征该位置变化幅度的数据可参照前文的描述理解。

可见，判断是微表情还是普通表情的过程，可在判断是否发生表情，即确定待识别视频段的过程中一同确定。

本实施例中，若步骤S11的判断结果为是，则可实施步骤S13：利用微表情识别模型对所述N帧图像进行识别，得到对应的第一情绪信息；

若步骤S14的判断结果为是，则可实施：

S15：自所述N帧图像中选取具有先后次序的K帧图像；

S16：利用微表情识别模型对所述K帧图像进行识别，得到对应的第二情绪信息，其中，K小于N。

其中的微表情识别模型，可理解为被训练为用于识别微表情，得到对应情绪信息的模型，任意可用于对人的情绪进行识别的实施方式，不论是现有的还是改进的，均不脱离本实施例的描述。

其中的普通表情识别模型，可理解为被训练为用于识别普通表情，得到对应情绪信息的模型，任意可用于对人的情绪进行识别的实施方式，不论是现有的还是改进的，均不脱离本实施例的描述。

其中的K帧图像可以是自N帧图像中均匀选取的。同时，本实施例也不排除非均匀选取的方式。

图2是本发明一实施例中人脸表情的情绪识别方法的流程示意图二；图3是本发明一实施例中人脸表情的情绪识别方法的流程示意图三。

请参考图2，步骤S13之前的任意时机，均可实施步骤S17：利用微表***素材，以及针对于所述微表***素材所标定的情绪信息训练确定微表情识别模型，即：所述微表情识别模型是利用微表***素材，以及针对于所述微表***素材所标定的情绪信息训练确定的，所述微表***素材的帧率与所述待识别视频段的帧率相同，均为第一帧率。

请参考图3，步骤S16之前的任意时机，均可实施步骤S18：利用普通表***素材，以及针对于所述普通表***素材所标定的情绪信息训练确定普通表情识别模型，即：所述普通表情识别模型是利用普通表***素材，以及针对于所述普通表***素材所标定的情绪信息训练确定的，所述普通表***素材的帧率为第二帧率。

由于识别微表情所需的单位时间的图像帧数多余普通视频，或者说：在单位时间的图像帧数较大的情况下，才能较为准确识别出微表情，那么，以上所涉及的第二帧率应是小于第一帧率的。

其中的帧率，可理解为单位时间内的图像帧数，其单位可例如帧/秒。

对应的，在步骤S15中的K与以上所涉及的N可以是根据所述第一帧率与所述第二帧率确定的，例如，若两个帧率之比为n，则K与N之比也为n。

具体实施过程中，所述第二帧率可以小于60帧/秒，例如可以取值为比较常见的24帧/秒，所述第一帧率可以大于100帧/秒，例如120帧/秒，300帧/秒等取值。可见，本方案中的待识别视频段为慢镜头视频，或可描述为高帧率视频。

图4是本发明一实施例中试驾体验评估方法的流程示意图。

请参考图4，试驾体验评估方法，应用于云端或车载智能终端，包括：

S21：控制试驾车辆的摄像头采集车内视频；

S22：利用以上可选方案涉及的人脸表情的情绪识别方法识别试驾车辆中试驾人员的情绪。

可见，在试驾场景中，所述待识别视频段为所述车内视频中的部分或全部。

其中的云端，可理解为具有一定数据存储与数据处理能力的任意设备或设备的集合。

其中的车载智能终端，可以为车辆本身的车机，也可以是连接于车机的其他任意智能设备，例如专用于试驾的智能设备，其可与车机相连接。

此外，本实施例所涉及的方法，可应用于自动试驾的场景，其中，由于无专人陪同，更需要借助其他方式判断试驾参与人员的试驾体验。同时，本实施例也不排除应用于普通试驾的场景。

综上，本实施例提供的方法，能够区分普通表情与微表情进行处理，进而，针对于普通表情，利用微表情识别模型进行识别，得到第一情绪信息，针对于普通表情，利用微表情识别模型进行识别，得到第二情绪信息，本实施例实现了区分普通表情与微表情的不同流程，避免了使用同一模型进行情绪识别而易于造成的无法识别或识别错误，从而兼顾了普通表情的情绪识别与微表情的情绪识别。

同时，针对于微表情，由于其变化较为细微，和/或其出现的时间较短，此时就需要在单位时间内提供更多的图像才能体现出这种变化，这就导致识别微表情所需的单位时间内的图像数量会区别于普通表情，故而，在本发明中，在N帧图像能够满足微表情识别的基础上，可通过在N帧图像中选取K帧图像，同时满足普通表情识别的需求，此外，由于其中的K小于N，还可降低普通表情识别所需处理的数据量，提高处理效率。

进一步的可选方案中，不同识别模型与不同数量图像的需求，可匹配于不同的训练过程与训练素材，其中，还能够更有针对性形成对微表情与普通表情的识别能力，提高识别的准确性。

图5是本发明一实施例中人脸表情的情绪识别装置的程序模块示意图一；图6是本发明一实施例中人脸表情的情绪识别装置的程序模块示意图二。

请参考图5和图6，人脸表情的情绪识别装置300，包括：

视频段确定模块301，用于确定当前的一个待识别视频段；所述待识别视频段具有连续的N帧图像；

第一识别模块302，用于若所述待识别视频段中的表情为微表情，则：利用微表情识别模型对所述N帧图像进行识别，得到对应的第一情绪信息；

第二识别模块303，用于若所述待识别视频段中的表情为普通表情，则：自所述N帧图像中选取具有先后次序的K帧图像，利用微表情识别模型对所述K帧图像进行识别，得到对应的第二情绪信息，其中，K小于N。

可选的，所述微表情识别模型是利用微表***素材，以及针对于所述微表***素材所标定的情绪信息训练确定的，所述微表***素材的帧率与所述待识别视频段的帧率相同，均为第一帧率；

所述普通表情识别模型是利用普通表***素材，以及针对于所述普通表***素材所标定的情绪信息训练确定的，所述普通表***素材的帧率为第二帧率，所述第二帧率小于所述第一帧率。

可选的，其中的N与K是根据所述第一帧率与所述第二帧率确定的。

可选的，所述第二帧率小于60帧/秒，所述第一帧率大于100帧/秒。

可选的，所述微表情与所述普通表情是根据所述待识别视频段中人脸特征点的位置变化幅度区分的。

图7是本发明一实施例中试驾体验评估装置的程序模块示意图。

请参考图7，试驾体验评估装置400，应用于云端或车载智能终端，包括：

采集控制单元401，用于控制试驾车辆的摄像头采集车内视频；

识别单元402，用于利用权利要求1至5任一项所述的人脸表情的情绪识别方法识别试驾车辆中试驾人员的情绪，所述待识别视频段为所述车内视频中的部分或全部。

综上，本实施例提供的装置，能够区分普通表情与微表情进行处理，进而，针对于普通表情，利用微表情识别模型进行识别，得到第一情绪信息，针对于普通表情，利用微表情识别模型进行识别，得到第二情绪信息，本实施例实现了区分普通表情与微表情的不同流程，避免了使用同一模型进行情绪识别而易于造成的无法识别或识别错误，从而兼顾了普通表情的情绪识别与微表情的情绪识别。

同时，针对于微表情，由于其变化较为细微，和/或其出现的时间较短，此时就需要在单位时间内提供更多的图像才能体现出这种变化，这就导致识别微表情所需的单位时间内的图像数量会区别于普通表情，故而，在本发明中，在N帧图像能够满足微表情识别的基础上，可通过在N帧图像中选取K帧图像，同时满足普通表情识别的需求，此外，由于其中的K小于N，还可降低普通表情识别所需处理的数据量，提高处理效率。

进一步的可选方案中，不同识别模型与不同数量图像的需求，可匹配于不同的训练过程与训练素材，其中，还能够更有针对性形成对微表情与普通表情的识别能力，提高识别的准确性。

图8是本发明一实施例中电子设备的结构示意图。

请参考图8，提供了一种电子设备50，包括：

处理器51；以及，

存储器52，用于存储所述处理器的可执行指令；

其中，所述处理器51配置为经由执行所述可执行指令来执行以上所涉及的方法。

处理器51能够通过总线53与存储器52通讯。

本发明一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种人脸表情的情绪识别方法，其特征在于，包括：

确定当前的一个待识别视频段；所述待识别视频段具有连续的N帧图像；

若所述待识别视频段中的表情为微表情，则：利用微表情识别模型对所述N帧图像进行识别，得到对应的第一情绪信息；

若所述待识别视频段中的表情为普通表情，则：自所述N帧图像中选取具有先后次序的K帧图像，利用微表情识别模型对所述K帧图像进行识别，得到对应的第二情绪信息，其中，K小于N。

2.根据权利要求1所述的方法，其特征在于，所述微表情识别模型是利用微表***素材，以及针对于所述微表***素材所标定的情绪信息训练确定的，所述微表***素材的帧率与所述待识别视频段的帧率相同，均为第一帧率；

所述普通表情识别模型是利用普通表***素材，以及针对于所述普通表***素材所标定的情绪信息训练确定的，所述普通表***素材的帧率为第二帧率，所述第二帧率小于所述第一帧率。

3.根据权利要求2所述的方法，其特征在于，其中的N与K是根据所述第一帧率与所述第二帧率确定的。

4.根据权利要求2或3所述的方法，其特征在于，所述第二帧率小于60帧/秒，所述第一帧率大于100帧/秒。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述微表情与所述普通表情是根据所述待识别视频段中人脸特征点的位置变化幅度区分的。

6.一种试驾体验评估方法，应用于云端或车载智能终端，其特征在于，包括：

控制试驾车辆的摄像头采集车内视频；

利用权利要求1至5任一项所述的人脸表情的情绪识别方法识别试驾车辆中试驾人员的情绪，所述待识别视频段为所述车内视频中的部分或全部。

7.一种人脸表情的情绪识别装置，其特征在于，包括：

视频段确定模块，用于确定当前的一个待识别视频段；所述待识别视频段具有连续的N帧图像；

第一识别模块，用于若所述待识别视频段中的表情为微表情，则：利用微表情识别模型对所述N帧图像进行识别，得到对应的第一情绪信息；

第二识别模块，用于若所述待识别视频段中的表情为普通表情，则：自所述N帧图像中选取具有先后次序的K帧图像，利用微表情识别模型对所述K帧图像进行识别，得到对应的第二情绪信息，其中，K小于N。

8.一种试驾体验评估装置，应用于云端或车载智能终端，其特征在于，包括：

采集控制单元，用于控制试驾车辆的摄像头采集车内视频；

识别单元，用于利用权利要求1至5任一项所述的人脸表情的情绪识别方法识别试驾车辆中试驾人员的情绪，所述待识别视频段为所述车内视频中的部分或全部。

9.一种电子设备，其特征在于，包括存储器与处理器，

所述存储器，用于存储代码；

所述处理器，用于执行所述存储器中的代码用以实现权利要求1至5任一项所述的方法，或者权利要求6所述的方法。

10.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现权利要求1至5任一项所述的方法，或者权利要求6所述的方法。

Images