CN112541553A - 目标对象的状态检测方法、装置、介质以及电子设备 - Google Patents

Abstract

公开了一种目标对象的状态检测方法、装置、介质和设备，其中的检测方法包括：从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块，获得第一图像块；从第二摄像装置采集的第二视频帧中，获取包含所述目标对象预定部位的图像块，获得第二图像块；其中，第二视频帧的采集时间所属的预定时间范围由第一视频帧的采集时间点和第一摄像装置采集第三视频帧的采集时间点确定，第一摄像装置的帧率低于第二摄像装置的帧率，第三视频帧为第一摄像装置采集的与第一视频帧相隔预定帧数的视频帧；基于第一图像块和第二图像块，检测目标对象的状态。本公开提供的技术方案有利于在消耗较少计算资源的情况下，保证目标对象的状态检测处理的准确性。

Description

目标对象的状态检测方法、装置、介质以及电子设备

技术领域

本公开涉及计算机视觉技术，尤其是涉及一种目标对象的状态检测方法、目标对象的状态检测装置、存储介质以及电子设备。

背景技术

在一些计算机视觉应用中，往往需要从视频帧中截取出包含目标对象的预定部位的图像块，以便于对图像块中的目标对象的状态进行检测处理。例如，在驾驶员疲劳监测应用中，通常需要从摄像装置采集的多个视频帧中获取驾驶员的眼部图像块序列，并基于该眼部图像块序列获得驾驶员的眼睛关键点序列，从而基于眼睛关键点序列，可以确定出驾驶员当前的疲劳状态。

摄像装置在摄取视频的过程中，外部光线的变化(如强度变化或者照射方向变化等)和目标对象的姿态变化等因素，会影响摄像装置采集的视频帧中的目标对象的预定部位(如眼部)的清晰度，从而会影响目标对象的状态检测结果的准确性。

如何获得具有较佳清晰度的包含目标对象的预定部位的图像块，以保证基于图像块的目标对象的状态检测结果的准确性，是一个值得关注的技术问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种目标对象的状态检测方法、装置、存储介质以及电子设备。

根据本公开实施例的一个方面，提供了一种目标对象的状态检测方法，该方法包括：从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块，获得第一图像块；从第二摄像装置采集的第二视频帧中，获取包含所述目标对象预定部位的图像块，获得第二图像块；其中，所述第二视频帧的采集时间均属于一预定时间范围，所述预定时间范围由所述第一视频帧的采集时间点和所述第一摄像装置采集第三视频帧的采集时间点确定，且所述第一摄像装置的帧率低于第二摄像装置的帧率，所述第三视频帧为所述第一摄像装置采集的与所述第一视频帧相隔预定帧数的视频帧；基于所述第一图像块和所述第二图像块，检测所述目标对象的状态。

根据本公开实施例的再一个方面，提供一种目标对象的状态检测装置，该装置包括：第一获取模块，用于从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块，获得第一图像块；第二获取模块，用于从第二摄像装置采集的第二视频帧中，获取包含所述目标对象预定部位的图像块，获得第二图像块；其中，所述第二视频帧的采集时间均属于一预定时间范围，所述预定时间范围由所述第一视频帧的采集时间点和所述第一摄像装置采集第三视频帧的采集时间点确定，且所述第一摄像装置的帧率低于第二摄像装置的帧率，所述第三视频帧为所述第一摄像装置采集的与所述第一视频帧相隔预定帧数的视频帧；状态检测模块，用于基于所述第一获取模块获得的第一图像块和所述第二获取模块获得的第二图像块，检测所述目标对象的状态。

根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。

根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。

基于本公开上述实施例提供的一种目标对象的状态检测方法和装置，由于第二摄像装置的帧率高于第一摄像装置的帧率，因此，第二摄像装置在采集第二视频帧的过程中，有利于避免光线变化以及目标对象姿态变化等因素引起的第二视频帧图像内容模糊现象，而第一摄像装置采集的第一视频帧可能会存在由于光线变化以及目标对象姿态变化等因素而引起的图像内容清晰度欠佳的问题，从而本公开可以通过第二摄像装置采集的第二视频帧中的包含目标对象预定部位的第二图像块来弥补第一图像块在图像内容清晰度上的缺陷，从而有利于避免第一图像块中的噪点对目标对象的状态检测操作的影响；本公开在利用第一图像块和第二图像块进行状态检测的过程中，由于第一摄像装置可以采用帧率较低的摄像装置，因此，在单位时间内需要进行状态检测操作的图像数量可以较少，从而本公开可以在不需要耗费较多计算资源的情况下，完成目标对象的状态检测操作。由此可知，本公开提供的技术方案有利于在消耗较少计算资源的情况下，通过利用第二摄像装置采集的第二视频帧实现图像内容清晰度的弥补，从而可保证目标对象的状态检测结果的准确性。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开所适用的场景示意图；

图2为本公开的目标对象的状态检测方法一个实施例的流程图；

图3为本公开的确定第二摄像装置的光轴目标指向一个实施例的流程图；

图4为本公开的利用第三图像块中的像素点确定第二摄像装置的光轴目标指向一个实施例的流程图；

图5为本公开的利用棋盘格标定板设置单位像素移动量一个实施例的流程图；

图6为本公开的从第一视频帧中获取包含目标对象预定部位的图像块一个实施例的流程图；

图7为本公开的第一视频帧一个实施例的示意图；

图8为本公开的检测目标对象的状态一个实施例的流程图；

图9为本公开的通过融合获得包含目标对象预定部位的第四图像块一个实施例的流程图；

图10为本公开的目标对象的状态检测装置一个实施例的结构示意图；

图11是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开的实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或者专用计算***环境或配置一起操作。适于与终端设备、计算机***或者服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境等等。

终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，为了避免摄像装置采集的视频帧的成像效果不佳这一问题，目前通常会采用两种方式，其中一种方式为：增大补光功率，以提高摄像装置采集的视频帧的清晰度；其中另一种方式为：采用高图像分辨率和高帧率的摄像装置进行视频采集。增大补光功率这一方式，一方面会导致功耗增加，从而加重设备的发热现象，另一方面，补光也可能会对目标对象有一定的伤害，例如，增强的红外线会对驾驶员的身体尤其是驾驶员的眼睛有一定的伤害，再有，补光有可能会导致反光现象，如驾驶员佩带的眼镜反光等，从而会造成驾驶员眼睛区域的细节缺失。采用高图像分辨率高帧率的摄像装置进行视频采集这一方式，由于在对高图像分辨率高帧率的视频帧进行处理时往往需要消耗大量的计算资源，因此，往往需要高性能的数据处理单元支持，从而会提高目标对象的状态检测成本。

示例性概述

本公开的目标对象的状态检测技术可以适用于疲劳状态检测等应用中。下面结合图1，以对驾驶员进行疲劳状态检测为例，对本公开的目标对象的状态检测技术的应用进行说明。

图1中，车辆100中的101位置处设置有两个摄像装置，这两个摄像装置的类型可以根据实际需求设置，例如，两个摄像装置可以均为基于RGB(Red Green Blue，红绿蓝)的摄像装置或者基于红外的摄像装置等。这两个摄像装置的帧率不相同，而且，这两个摄像装置的图像分辨率(也可以称为空间分辨率)也不相同。帧率高的摄像装置的图像分辨率低于帧率低的摄像装置的图像分辨率。在一个例子中，假定两个摄像装置为第一摄像装置和第二摄像装置，第一摄像装置的帧率为10FPS(Frames Per Second，每秒传输帧数)，第二摄像装置的帧率为60FPS，第一摄像装置的图像分辨率为720p(Progressive，逐行)，第二摄像装置的图像分辨率为240p。

在驾驶员处于车辆100的驾驶位置时，驾驶员的面部应位于车辆100中的两个摄像装置的视野边界线之内，即两个摄像装置采集到的视频通常包括驾驶员的面部(如正脸等)，且驾驶员的面部最好位于两个摄像装置的视野中心区域。

对车辆100中的两个摄像装置进行时间同步，并控制两个摄像装置在同一时间点开始视频拍摄，两个摄像装置分别采集的视频帧可以实时地提供给车辆100中设置的DMS(Driver Monitor System，驾驶员监控***)。DMS可以从第一摄像装置采集的每一视频帧中分别获取包含驾驶员眼部的图像块，并从第二摄像装置采集的每一视频帧中分别获取包含驾驶员眼部的图像块，DMS可以利用来自第一摄像装置的一个图像块和来自第二摄像装置的六个图像块进行一次目标对象的疲劳状态检测处理。

在确定出驾驶员在一段时间范围内的疲劳状态属于预先设定的轻度疲劳状态时，DMS可以通过文字、语音、灯光以及视频等方式，提醒驾驶员可以考虑短暂休息。在确定出驾驶员在一段时间范围内的疲劳状态属于预先设定的中度疲劳状态时，DMS可以通过文字、语音、灯光以及视频等方式，提醒驾驶员应该进行短暂休息。在确定出驾驶员在一段时间范围内的疲劳状态属于预先设定的重度疲劳状态时，DMS可以通过文字、语音、灯光以及视频等方式，对驾驶员进行紧急警示，以提示驾驶员其当前驾驶行为为危险驾驶行为，驾驶员必须进行短暂休息之后，再上路行驶，以保障车辆100的行驶安全性。

示例性方法

图2为本公开的目标对象的状态检测方法一个实施例的流程图。如图2所示的方法包括：S200、S201以及S202。下面对各步骤分别进行说明。

S200、从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块，获得第一图像块。

本公开中的第一摄像装置可以包括但不限于：基于RGB的摄像装置或者基于红外的摄像装置等。本公开中的目标对象可以认为是需要进行状态检测的对象。例如，目标对象可以为驾驶员或者值岗人员等。本公开中的预定部位可以是指目标对象上的部分区域，例如，预定部位可以为面部或者眼部或者嘴部或者手部等。

本公开可以采用神经网络等方式从第一视频帧中获得第一图像块，例如，将第一视频帧通过用于人脸检测的神经网络进行人脸检测处理，并根据人脸检测处理的结果，对该第一视频帧进行剪切，获得第一图像块。

S201、从第二摄像装置采集的第二视频帧中，获取包含目标对象预定部位的图像块，获得第二图像块。

本公开中的第二摄像装置可以包括但不限于：基于RGB的摄像装置或者基于红外的摄像装置等。第一摄像装置和第二摄像装置可以为相同类型的摄像装置，例如，第一摄像装置和第二摄像装置均为基于RGB的摄像装置或者均为基于红外的摄像装置。当然，本公开也不排除第一摄像装置和第二摄像装置为不同类型的摄像装置的情况。

本公开可以采用神经网络等方式从第二视频帧中获得第二图像块，例如，将第二视频帧通过用于人脸检测的神经网络进行人脸检测处理，并根据人脸检测处理的结果，对该第二视频帧进行剪切，获得第二图像块。

本公开可以从第二摄像装置采集的多个视频帧中，获得多个第二图像块，每一第二图像块均包含目标对象预定部位，即一个第一视频帧可以对应多个第二视频帧，也就是说，本公开在从一个第一视频帧中获得一个第一图像块的同时，可以从多个第二视频帧中获得多个第二图像块，即一个第一图像块可以对应多个第二图像块。

本公开中的一个第一视频帧所对应的多个第二视频帧的采集时间均属于一预定时间范围，且该预定时间范围由该第一视频帧的采集时间点和第三视频帧的采集时间点确定。一个例子，第一视频帧的采集时间点为预定时间范围中的最小值，而第三视频帧的采集时间点为预定时间范围中的最大值，此时，第一视频帧对应的所有第二视频帧的采集时间点均应大于等于第一视频帧的采集时间点，并小于第三视频帧的采集时间点。本公开中的第三视频帧是由第一摄像装置采集的视频帧。第一视频帧和第三视频帧之间可以相隔预定帧数，该预定帧数可以为大于等于0的整数。在一个例子中，第一视频帧和第三视频帧可以为前后相邻的两个视频帧，即第一视频帧和第三视频帧之间相隔的预定帧数为0。

本公开中的第一摄像装置的帧率低于第二摄像装置的帧率，且第二摄像装置的帧率通常为第一摄像装置的帧率的整数倍。在一个例子中，第一摄像装置的帧率为10FPS，第二摄像装置的帧率为60FPS，此时，本公开中的一个第一视频帧可以对应六个第二视频帧。

本公开中的第一摄像装置的图像分辨率通常与第二摄像装置的图像分辨率不相同。例如，第一摄像装置的图像分辨率高于第二摄像装置的图像分辨率。第一摄像装置的图像分辨率可以为第二摄像装置的图像分辨率的整数倍。在一个例子中，第一摄像装置的图像分辨率为720p，第二摄像装置的图像分辨率为240p。

S202、基于第一图像块和第二图像块，检测目标对象的状态。

本公开中的检测目标对象的状态可以包括但不限于：检测目标对象的疲劳状态等。本公开可以基于第一摄像装置的帧率，执行目标对象的状态检测处理。也就是说，本公开可以在每产生一个第一视频帧时，执行一次目标对象的状态检测处理，即本公开在单位时间内执行目标对象的状态检测操作的次数，是由第一摄像装置的帧率决定的，而不是由第二摄像装置的帧率决定的。

由于第二摄像装置的帧率高于第一摄像装置的帧率，因此，第二摄像装置在采集第二视频帧的过程中，有利于避免光线变化以及目标对象姿态变化等因素引起的第二视频帧图像内容模糊现象，而第一摄像装置采集的第一视频帧可能会存在由于光线变化以及目标对象姿态变化等因素而引起的图像内容清晰度欠佳的问题，从而本公开可以通过第二摄像装置采集的第二视频帧中的包含目标对象预定部位的第二图像块来弥补第一图像块在图像内容清晰度上的缺陷，从而有利于避免第一图像块中的噪点对目标对象的状态检测的影响；本公开在利用第一图像块和第二图像块进行状态检测时，由于第一摄像装置可以采用帧率较低的摄像装置，因此，在单位时间需要进行状态检测操作的图像数量可以较少，例如，如果第一摄像装置的帧率为10FPS，第二摄像装置的帧率为60FPS，本公开在一秒钟内执行状态检测操作的图像数量可以为10，而不是60；从而本公开可以在不需要耗费较多计算资源的情况下，完成目标对象的状态检测操作。由此可知，本公开提供的技术方案有利于在消耗较少计算资源的情况下，通过利用第二摄像装置采集的第二视频帧实现图像内容清晰度的弥补，从而可保证目标对象的状态检测结果的准确性。

在一个可选示例中，本公开中的第二摄像装置在加电或者重新启动等应用场景中，通常会将预先设置的缺省光轴指向作为光轴当前指向，本公开可以对第二摄像装置的光轴当前指向进行光轴指向更新处理，并在光轴指向更新处理后，将第二摄像装置采集的视频帧作为本公开中的第二视频帧。本公开对第二摄像装置的光轴当前指向进行光轴指向更新处理，可以认为是对第二摄像装置的光轴当前指向的初始化处理，且初始化处理后的光轴当前指向通常在下一次初始化处理之前不会发生变化。

可选的，本公开初始化第二摄像装置的光轴当前指向的过程可以包括：根据目标对象预定部位在第一摄像装置采集的第四视频帧中的位置，确定第二摄像装置的光轴目标指向，第二摄像装置的光轴当前指向应变更为光轴目标指向。也就是说，本公开是利用第一摄像装置采集的视频帧(在此称为第四视频帧)，对第二摄像装置的光轴当前指向进行初始化的。

可选的，本公开中的第四视频帧的采集时间点早于第一视频帧的采集时间点。在一个例子中，在第一摄像装置和第二摄像装置同时加电之后，本公开可以将第一摄像装置采集的包含有目标对象预定部位(如驾驶员眼部)的第1个视频帧，作为第四视频帧。在另一个例子中，在第一摄像装置和第二摄像装置同时加电之后，本公开可以将第一摄像装置采集的包含有目标对象预定部位(如驾驶员眼部)，且图像清晰度符合预设要求的第1个视频帧，作为第四视频帧。在利用第四视频帧确定了第二摄像装置的光轴目标指向后，本公开可以通过形成并输出相应的控制命令等方式，控制电机等摄像装置移动控制设备执行相应的动作，从而使第二摄像装置产生机械移动，进而使第二摄像装置的光轴当前指向真正指向光轴目标指向。

在一个例子中，本公开可以先获得第一摄像装置采集的第四视频帧中的目标对象预定部位所在的图像区域，并确定第二摄像装置的光轴当前指向在第四视频帧中的位置，本公开可以根据上述图像区域以及该位置，确定第二摄像装置的光轴目标指向。

本公开通过根据目标对象预定部位在第一摄像装置采集的第四视频帧中的位置，来确定第二摄像装置的光轴目标指向，可以使第二摄像装置的光轴目标指向与目标对象预定部位产生关联，例如，本公开可以实现尽可能的使第二摄像装置的光轴目标指向在目标对象预定部位所在位置范围内，从而有利于使目标对象预定部位尽可能的呈现在第二摄像装置采集的第二视频帧的显著位置处，以尽量减少目标对象预定部位不能完全呈现在第二视频帧中或者处于第二视频帧的边缘位置等现象，对目标对象的状态检测结果的影响，进而有利于提高目标对象的状态检测结果的准确性。

在一个可选示例中，本公开确定第二摄像装置的光轴目标指向的一个具体例子如图3所示。

图3中，S300、从第一摄像装置采集的第四视频帧中，获取包含目标对象预定部位的图像块，获得第三图像块。

可选的，本公开可以采用神经网络等方式，从第一摄像装置采集的第四视频帧中获得第三图像块，例如，将第四视频帧通过用于人脸检测的神经网络进行人脸检测处理，并根据人脸检测处理的结果，获得目标对象预定部位在第四视频帧中的位置，根据该位置对该第四视频帧进行剪切，即可获得第三图像块。在一个例子中，本公开中的第三图像块可以为基于眼睛的图像块，即预定部位为眼部。

S301、根据上述第三图像块中的像素点，确定第二摄像装置的光轴目标指向。

可选的，本公开可以根据第三图像块中的一像素点，确定第二摄像装置的光轴目标指向，也就是说，在将第二摄像装置的光轴目标指向映射到第三图像块中时，第二摄像装置的光轴目标指向应与第三图像块中的该像素点存在一定的关联，例如，在将第二摄像装置的光轴目标指向映射到第三图像块中时，第二摄像装置的光轴目标指向所在的位置可以为第三图像块中的该像素点所在的位置。

本公开通过从第四视频帧中获得第三图像块，并基于第三图像块中的像素点确定第二摄像装置的光轴目标指向，可以使第二摄像装置的光轴目标指向与第三图像块中的像素点产生关联，从而本公开可以使第二摄像装置的光轴目标指向靠近目标对象预定部位中的一指定位置，从而有利于使目标对象预定部位中的一指定位置尽可能的呈现在第二摄像装置采集的第二视频帧的显著位置处，以尽可能的减少目标对象预定部位不能完全呈现在第二视频帧中或者处于第二视频帧的边缘位置等现象，对目标对象的状态检测结果的影响，进而有利于提高目标对象的状态检测结果的准确性。

在一个可选示例，本公开利用第三图像块中的像素点确定第二摄像装置的光轴目标指向的一个例子如图4所示。

图4中，S400、确定第三图像块中的中心位置像素点。

可选的，在第三图像块的宽方向和高方向上的像素数量，均为大于零的奇数的情况下，本公开可以将第三图像块的两条对角线的交点所在的像素点，作为第三图像块中的中心位置像素点。在第三图像块的宽方向或者高方向上的像素数量为大于零的偶数的情况下，本公开可以将第三图像块中的与第三图像块的两条对角线的交点相邻的任一像素点，作为第三图像块中的中心位置像素点。

S401、基于该中心位置像素点，确定第二摄像装置的光轴目标指向在第一摄像装置的图像坐标系中的目标指向像素点。

可选的，第一摄像装置的图像坐标系可以是指第一摄像装置采集的图像(如照片或者视频帧)的平面坐标系。为方便描述，本公开将第一摄像装置的图像坐标系简称为第一图像坐标系。第一图像坐标系的原点可以位于第一摄像装置采集的视频帧的左上角。在一个例子中，第一摄像装置采集的视频帧的宽方向为第一图像坐标系的X坐标轴方向，第一摄像装置采集的视频帧的高方向为第一图像坐标系的Y坐标轴方向。在一个例子中，本公开可以直接将该中心位置像素点，作为第二摄像装置的光轴目标指向在第一图像坐标系中的目标指向像素点。在另一个例子中，本公开可以将该中心位置像素点周边的一像素点，作为第二摄像装置的光轴目标指向在第一图像坐标系中的目标指向像素点。

S402、根据目标指向像素点和第二摄像装置的光轴当前指向在第一摄像装置的图像坐标系中的当前指向像素点，确定第二摄像装置的光轴平移量。

可选的，本公开中的第二摄像装置的光轴当前指向在第一摄像装置的图像坐标系中的当前指向像素点可以是指：将第二摄像装置的光轴当前指向映射到第一摄像装置的图像坐标系后，第二摄像装置的光轴当前指向所在像素点。例如，第二摄像装置的光轴当前指向可以对应一第二摄像装置的图像坐标系中的一像素点，该像素点可以基于第一摄像装置和第二摄像装置之间的相对位置关系，而被转换到第一摄像装置的图像坐标系中，从而获得第二摄像装置的光轴当前指向在第一摄像装置的图像坐标系中的当前指向像素点。

可选的，本公开中的光轴平移量可以是指光轴在水平方向上的平移量以及光轴在竖直方向上的平移量。本公开中的平移量所涉及到的水平方向和竖直方向可以是指基于世界坐标系的水平方向和竖直方向。本公开可以根据目标指向像素点和第二摄像装置的光轴当前指向在第一摄像装置的图像坐标系中的当前指向像素点之间的像素距离，确定第二摄像装置的光轴平移量。

可选的，本公开中的光轴平移量可以具有正负号，正负号可以表示出光轴平移量的方向。在一例子中，当前光轴在水平方向上的平移量为负时，表示光轴平移量的方向为光轴当前指向的左方；当前光轴在水平方向上的平移量为正时，表示光轴平移量的方向为光轴当前指向的右方；当前光轴在竖直方向上的平移量为负时，表示光轴平移量的方向为光轴当前指向的上方；当前光轴在竖直方向上的平移量为正时，表示光轴平移量的方向为光轴当前指向的下方。

可选的，本公开确定第二摄像装置的光轴平移量的一个具体过程的例子如下：

首先，确定目标指向像素点的坐标和当前指向像素点之间，在水平方向上的第一像素距离以及在竖直方向上的第二像素距离。这里的水平方向和竖直方向是指第一摄像装置的图像坐标系的水平方向和竖直方向。更具体而言，这里的水平方向可以是第一摄像装置采集的第一视频帧的宽方向，这里的竖直方向可以是第一摄像装置采集的第一视频帧的高方向。本公开可以将目标指向像素点的x坐标与当前指向像素点的x坐标的差值作为第一像素距离，并将目标指向像素点的y坐标与当前指向像素点的y坐标的差值作为第二像素距离。

其次，根据第一像素距离、第二像素距离以及预先存储的光轴的单位像素移动量，确定第二摄像装置的光轴水平平移量和光轴竖直平移量。也就是说，本公开预先设置有光轴的单位像素移动量，该光轴的单位像素移动量可以包括：光轴的水平方向单位像素移动量和光轴的竖直方向单位像素移动量。光轴的水平方向单位像素移动量可以是指第二摄像装置的光轴当前指向在第一摄像装置的图像坐标系的水平方向上移动一个单位像素时，光轴当前指向在世界坐标系的水平方向上的移动量。光轴的竖直方向单位像素移动量可以是指第二摄像装置的光轴当前指向在第一摄像装置的图像坐标系的竖直方向上移动一个单位像素时，光轴当前指向在世界坐标系的竖直方向上的移动量。这里的一个单位像素可以是指由一个像素或者多个像素形成的一个基本单位。在一个单位像素为由一个像素形成的基本单位的情况下，本公开可以将第一像素距离和光轴的水平方向单位像素移动量的乘积，作为第二摄像装置的光轴水平平移量，并将第二像素距离和光轴的竖直方向单位像素移动量的乘积，作为第二摄像装置的光轴竖直平移量。在一个单位像素为由多个像素形成的基本单位的情况下，本公开可以先将第一像素距离和第二像素距离分别换算为基于单位像素的量值，并利用换算获得的量值与相应的单位像素移动量的乘积，获得第二摄像装置的光轴水平平移量和光轴竖直平移量。

可选的，本公开可以利用标定板来设置单位像素移动量。具体的，本公开中的单位像素移动量是根据第二摄像装置的光轴从标定板(如棋盘格标定板)上的一个角点移动到另一个角点时，两个角点间的像素数量和第二摄像装置的光轴移动量来设置的。本公开可以将单位像素移动量存储在第二摄像装置的存储单元中，也可以将单位像素移动量存储在DMS等中。本公开利用棋盘格标定板设置单位像素移动量的一个例子，可以参见下述针对图5的描述。

S403、根据光轴平移量，确定第二摄像装置的光轴目标指向。

可选的，本公开中的第二摄像装置的光轴当前指向和光轴平移量可以唯一确定出一光轴目标指向。本公开可以根据光轴平移量形成相应的控制命令，该控制命令可以为针对电机等摄像装置移动控制设备的控制命令，从而摄像装置移动控制设备会基于该控制命令产生相应的动作，使第二摄像装置产生机械移动，最终促使第二摄像装置的光轴当前指向变更为光轴目标指向。

本公开通过基于第三图像块中的中心位置像素点确定第二摄像装置的光轴目标指向，可以使第二摄像装置的光轴目标指向与目标对象预定部位的中心点产生关联，例如，本公开可以实现尽可能的使第二摄像装置的光轴目标指向为目标对象预定部位的中心位置，从而有利于使目标对象预定部位尽可能的呈现在第二摄像装置采集的第二视频帧的中心区域，例如，无论位于驾驶舱的驾驶员的个子高低以及驾驶员距离第二摄像装置的远近，本公开均可以使驾驶员的眼部尽可能的位于第二摄像装置采集的第二视频帧的中心区域，从而尽量减少了目标对象预定部位不能完全呈现在第二视频帧中或者处于第二视频帧的边缘位置等现象，对目标对象的状态检测结果的影响，进而有利于提高目标对象的状态检测结果的准确性。通过利用目标指向像素点、当前指向像素点间的差异以及光轴的单位像素移动量，确定第二摄像装置的光轴平移量，并基于该光轴平移量确定第二摄像装置的光轴目标指向，为调整第二摄像装置的光轴目标指向提供了一种易于实施的实现方式，从而有利于提高本公开的技术方案的易用性。

假设第一摄像装置的图像分辨率为720p，第二摄像装置的图像分辨率为240p，第一摄像装置和第二摄像装置的相对位置固定不变，第二摄像装置的光轴指向可以发生改变。棋盘格标定板应固定设置在第一摄像装置和第二摄像装置的视场角范围内，第一摄像装置和第二摄像装置分别针对该棋盘格标定板进行拍摄，可以获得第一图像和第二图像，例如，图5中的图像501是第一图像中的一部分，图5中的图像502是第二图像中的一部分。本公开使第二摄像装置的光轴当前指向对准棋盘格标定板中的第一角点进行拍摄，之后，通过控制第二摄像装置产生机械移动，使第二摄像装置的光轴当前指向对准棋盘格标定板中的第二角点(第一角点和第二角点是两个不同的角点)，并执行图像拍摄操作。本公开可以根据第二摄像装置的机械移动获得第二摄像装置的光轴从第一角点移动到第二角点的光轴平移量，即第一光轴水平平移量和第一光轴竖直平移量。本公开可以从图像501中获得第一角点和第二角点之间在水平方向上的像素距离(即第三像素距离)和在竖直方向上的像素距离(即第四像素距离)，例如，假设第一角点在第一图像坐标系中的坐标为(x1，y1)，且第二角点在第一图像坐标系中的坐标为(x2、y2)，则第三像素距离为x2-x1，第四像素距离为y2-y1。本公开可以将第一光轴水平平移量与第三像素距离的比值的绝对值、以及第一光轴竖直平移量与第四像素距离的比值的绝对值，作为第二摄像装置的单位像素移动量。

在一个可选示例中，本公开从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块的一个例子如图6所示。

图6中，S600、对第一视频帧进行目标对象的关键点检测，获得至少一个关键点。

可选的，本公开中的目标对象的关键点检测可以为人脸关键点检测，即本公开可以对第一视频帧进行人脸关键点检测，从而获得多个人脸关键点。例如，本公开可以将图7所示的第一视频帧700通过用于人脸关键点检测的神经网络进行人脸关键点检测处理，并基于检测处理的结果，获得目标对象的多个人脸关键点。

S601、根据至少一个关键点，确定第一视频帧中的目标对象所在区域。

可选的，本公开可以确定出当前获得的所有关键点的坐标(即基于第一视频帧700的平面坐标系的二维坐标)中的最小x坐标、最大x坐标、最小y坐标和最大x坐标，并利用最小x坐标、最大x坐标、最小y坐标和最大x坐标形成四个顶点的坐标，例如，图7中的第一顶点701、第二顶点702、第三顶点703和第四顶点704的坐标。本公开可以直接将该四个顶点的坐标所形成的区域作为第一视频帧中的目标对象所在区域。

S602、根据目标对象所在区域，确定目标对象预定部位所在区域，获得第一图像块。

可选的，本公开可以根据预定部位与目标对象之间的相对位置关系，确定目标对象所在区域中的目标对象预定部位所在区域，例如，本公开可以根据眼部和人脸之间的相对位置关系(例如，眼部的高度为脸部高度的七分之一，眼部的最下端位于脸部的五分之一位置处等)，确定人脸所在区域中的眼部所在区域。本公开可以基于目标对象预定部位所在区域对第一视频帧进行剪切处理，从而获得包含目标对象预定部位的图像块，即获得第一图像块。

本公开通过利用关键点检测获得目标对象所在区域，并利用目标对象所在区域来确定包含目标对象预定部位的图像块，为获得第一图像块提供了一种易于实施且结果准确的实现方式，从而有利于提高本公开的技术方案的易用性。

可选的，本公开获得第二图像块的具体过程，可以参考上述针对图6和图7的描述，例如，本公开可以先对第二视频帧进行目标对象的关键点检测，获得至少一个关键点，然后，根据至少一个关键点，确定第二视频帧中的目标对象所在区域，最后，根据目标对象所在区域，确定目标对象预定部位所在区域，获得第二图像块。具体的过程在此不再详细说明。

在一个可选示例中，本公开基于第一图像块和第二图像块，检测目标对象的状态的一个例子如图8所示。

图8中，S800、对第一图像块和第二图像块进行融合处理，获得包含目标对象预定部位的第四图像块。

可选的，本公开中的融合处理可以是指利用多个图像块形成一个图像块的处理。本公开可以对一个第一图像和该第一图像对应的多个第二图像进行融合处理，从而获得一个包含目标对象预定部位的图像块，即第四图像块。本公开不限制融合处理的具体实现方式，本公开提供的一种融合处理的方式如下述针对图9的描述。

S801、根据由第四图像块形成的图像序列，确定目标对象的状态。

可选的，本公开中的每一个第一视频帧分别对应一个第四图像块，所有第四图像块可以按照各自对应的第一视频帧的采集时间点进行排列，从而形成一图像序列，例如，可以形成一眼部图像序列，本公开可以通过对图像序列进行状态检测处理，获得目标对象的状态。例如，本公开对眼部图像序列进行疲劳状态检测处理，从而可以获得目标对象的疲劳状态，如非疲劳状态、轻度疲劳状态、中度疲劳状态、或者重度疲劳状态等。

可选的，本公开的疲劳状态检测处理可以包括：人眼关键点检测、以及基于人眼关键点进行相应的距离以及面积计算等操作，本公开不限制疲劳状态检测处理的具体实现方式。

由于第二摄像装置的帧率高于第一摄像装置的帧率，因此，第二摄像装置在采集第二视频帧的过程中，有利于避免光线变化以及目标对象姿态变化等因素引起的第二视频帧图像模糊现象，从而本公开通过利用第二摄像装置采集的多个第二视频帧中的包含目标对象预定部位的多个第二图像块，与第一摄像装置采集的第一视频帧中的包含目标对象预定部位的第二图像块进行融合，有利于消除第一图像块中的噪点，使融合处理后的包含目标对象预定部位的第三图像块具有较好的清晰度；进一步的，本公开在利用这样的图像块进行疲劳状态检测等状态检测处理时，由于第一摄像装置可以采用帧率较低的摄像装置，因此，单位时间需要处理的图像数量较少，从而本公开可以在不需要耗费较多计算资源的情况下，完成对图像的后续处理。由此可知，本公开提供的技术方案有利于提高低帧率摄像装置采集图像的清晰度，从而在对图像进行疲劳检测等后续处理时，有利于避免图像清晰度和计算资源消耗之间的矛盾。

在一个可选示例中，本公开对第一图像块和第二图像块进行融合处理，获得包含目标对象预定部位的第四图像块的一个例子如图9所示。

图9中，S900、针对第一图像块中的任一待处理像素点，从第二图像块中获取待处理像素点对应的像素点，获得待融合像素点。

可选的，假设待处理像素点为用于表示第一图像块中相应位置的图像画面信息，则本公开中的待处理像素点对应的像素点可以是指，用于表示第二图像块中的待处理像素点所对应位置处的图像画面信息。

可选的，由于第一摄像装置和第二摄像装置的图像分辨率不相同，因此，第一图像块的尺寸大小和第二图像块的尺寸大小通常不相同，且第二图像块的尺寸通常小于第一图像块的尺寸。本公开可以将第二图像块的尺寸转换为第一图像块的尺寸，这样，第一图像块和第二图像块中的相同位置处的像素点即为待处理像素点和待处理像素点对应的像素点(即待融合像素点)。在一个例子中，本公开可以利用高斯核函数对每一个第二图像块分别进行转换处理，从而将第二图像块转换为与第一图像块的尺寸大小相同的图像块。

可选的，在一个第一图像块对应多个第二图像块的情况下，本公开可以从该第一图像块对应的每一个第二图像块中分别获得待处理像素点对应的像素点，从而获得多个待融合像素点。

S901、对上述待处理像素点和上述待融合像素点进行像素值加权计算，获得融合处理后的像素点的像素值。

可选的，在第一图像块和第二图像块均为基于单通道的图像块时，本公开直接可以将待处理像素点和待融合像素点进行像素值加权计算，获得融合处理后的像素点的像素值。在第一图像块和第二图像块均为基于多通道的图像块时，本公开将待处理像素点和待融合像素点的相同通道的像素值进行加权计算，获得每一个通道的加权计算结果，从而获得融合处理后的像素点的像素值。另外，本公开中的待处理像素点和待融合像素点的权值可以相等，也可以不相等。

S902、基于融合处理后的多个像素点的像素值，获得包含目标对象预定部位的第四图像块。

可选的，在对第一图像块中的每一个像素点均进行了加权计算后，所有融合处理后的像素点形成一第四图像块。

本公开通过对第一图像块中的待处理像素点和第二图像块中的待融合像素点的像素值进行加权计算，可以通过第二图像块减少第四图像块中的噪点，从而有利于使第四图像块具有较好的清晰度，进而有利于提高状态检测的准确性。

示例性装置

图10为本公开的目标对象的状态检测装置一个实施例的结构示意图。

该实施例的装置可用于实现本公开相应的方法实施例。如图10所示的装置包括：第一获取模块1000、第二获取模块1001以及状态检测模块1002。本实施例的装置还可以可选的包括：确定目标指向1003。

第一获取模块1000用于从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块，获得第一图像块。

第二获取模块1001用于从第二摄像装置采集的第二视频帧中，获取包含所述目标对象预定部位的图像块，获得第二图像块；其中，所述第二视频帧的采集时间均属于一预定时间范围，所述预定时间范围由所述第一视频帧的采集时间点和所述第一摄像装置采集第三视频帧的采集时间点确定，且所述第一摄像装置的帧率低于第二摄像装置的帧率，所述第三视频帧为所述第一摄像装置采集的与所述第一视频帧相隔预定帧数的视频帧。

状态检测模块1002用于基于第一获取模块1000获得的第一图像块和第二获取模块1001获得的第二图像块，检测目标对象的状态。

确定目标指向1003用于根据所述目标对象预定部位在所述第一摄像装置采集的第四视频帧中的位置，确定所述第二摄像装置的光轴目标指向。其中，所述第四视频帧的采集时间点早于所述第一视频帧的采集时间点。

确定目标指向1003可以包括：第一子模块10031和第二子模块10032。第一子模块10031用于从所述第一摄像装置采集的第四视频帧中，获取包含目标对象预定部位的图像块，获得第三图像块。第二子模块10032用于根据所述第一子模块10031获得的第三图像块中的像素点，确定所述第二摄像装置的光轴目标指向。

可选的，第二子模块10032可以包括：第一单元、第二单元、第三单元以及第四单元(图10中未示出)。其中的第一单元用于确定所述第三图像块中的中心位置像素点。其中的第二单元用于基于所述中心位置像素点，确定所述第二摄像装置的光轴目标指向在第一摄像装置的图像坐标系中的目标指向像素点。其中的第三单元用于根据所述目标指向像素点和所述第二摄像装置的光轴当前指向在所述图像坐标系中的当前指向像素点，确定所述第二摄像装置的光轴平移量。其中的第四单元用于根据所述光轴平移量，确定所述第二摄像装置的光轴目标指向。

可选的，第三单元进一步用于确定所述目标指向像素点的坐标以及所述当前指向像素点之间，在水平方向上的第一像素距离和在竖直方向上的第二像素距离，并根据所述第一像素距离、所述第二像素距离以及预先存储的光轴的单位像素移动量，确定所述第二摄像装置的光轴水平平移量和光轴竖直平移量。其中的所述单位像素移动量是根据第二摄像装置的光轴从标定板上的一角点移动到另一角点时，两个角点间的像素数量和第二摄像装置的移动量来设置的。

可选的，第一获取模块1000可以包括：第三子模块10001、第四子模块10002以及第五子模块10003。其中的第三子模块10001用于对所述第一视频帧进行目标对象的关键点检测，获得至少一个关键点。其中的第四子模块10002用于根据所述至少一个关键点，确定所述第一视频帧中的目标对象所在区域。第五子模块10003用于根据所述目标对象所在区域，确定目标对象预定部位所在区域，获得第一图像块。

可选的，状态检测模块1002可以包括：第六子模块10021以及第七子模块10022。其中的第六子模块10021用于对所述第一图像块和第二图像块进行融合处理，获得包含所述目标对象预定部位的第四图像块。其中的第七子模块10022用于根据由所述第四图像块形成的图像序列，确定所述目标对象的状态。

可选的，第六子模块10021可以包括：第五单元、第六单元和第七单元(图10中未示出)。其中的第五单元可以用于针对所述第一图像块中的任一待处理像素点，从所述第二图像块中获取所述待处理像素点对应的像素点，获得待融合像素点。其中的第六单元用于对所述待处理像素点和所述待融合像素点进行像素值加权计算，获得融合处理后的像素点的像素值。其中的第七单元用于基于融合处理后的多个像素点的像素值，获得包含所述目标对象预定部位的第四图像块。

示例性电子设备

下面参考图11来描述根据本公开实施例的电子设备。图11示出了根据本公开实施例的电子设备的框图。如图11所示，电子设备111包括一个或多个处理器1111和存储器1112。

处理器1111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备111中的其他组件以执行期望的功能。

存储器1112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的目标对象的状态检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备111还可以包括：输入装置1113以及输出装置1114等，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。此外，该输入设备1113还可以包括例如键盘、鼠标等等。该输出装置1114可以向外部输出各种信息。该输出设备1114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备111中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备111还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的目标对象的状态检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的目标对象的状态检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及***。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种目标对象的状态检测方法，包括：

从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块，获得第一图像块；

从第二摄像装置采集的第二视频帧中，获取包含所述目标对象预定部位的图像块，获得第二图像块；其中，所述第二视频帧的采集时间均属于一预定时间范围，所述预定时间范围由所述第一视频帧的采集时间点和所述第一摄像装置采集第三视频帧的采集时间点确定，且所述第一摄像装置的帧率低于第二摄像装置的帧率，所述第三视频帧为所述第一摄像装置采集的与所述第一视频帧相隔预定帧数的视频帧；

基于所述第一图像块和所述第二图像块，检测所述目标对象的状态。

2.根据权利要求1所述的方法，其中，所述方法在获得第一图像块的步骤之前，还包括：

根据所述目标对象预定部位在所述第一摄像装置采集的第四视频帧中的位置，确定所述第二摄像装置的光轴目标指向；

其中，所述第四视频帧的采集时间点早于所述第一视频帧的采集时间点。

3.根据权利要求2所述的方法，其中，所述根据所述目标对象预定部位在所述第一摄像装置采集的第四视频帧中的位置，确定所述第二摄像装置的光轴目标指向，包括：

从所述第一摄像装置采集的第四视频帧中，获取包含目标对象预定部位的图像块，获得第三图像块；

根据所述第三图像块中的像素点，确定所述第二摄像装置的光轴目标指向。

4.根据权利要求3所述的方法，其中，所述根据所述第三图像块中的像素点，确定第二摄像装置的光轴目标指向，包括：

确定所述第三图像块中的中心位置像素点；

基于所述中心位置像素点，确定所述第二摄像装置的光轴目标指向在第一摄像装置的图像坐标系中的目标指向像素点；

根据所述目标指向像素点和所述第二摄像装置的光轴当前指向在所述图像坐标系中的当前指向像素点，确定所述第二摄像装置的光轴平移量；

根据所述光轴平移量，确定所述第二摄像装置的光轴目标指向。

5.根据权利要求4所述的方法，其中，所述根据所述目标指向像素点和所述第二摄像装置的光轴当前指向在所述图像坐标系中的当前指向像素点，确定所述第二摄像装置的光轴平移量，包括：

确定所述目标指向像素点的坐标和所述当前指向像素点之间，在水平方向上的第一像素距离和在竖直方向上的第二像素距离；

根据所述第一像素距离、所述第二像素距离以及预先存储的光轴的单位像素移动量，确定所述第二摄像装置的光轴水平平移量和光轴竖直平移量；

其中，所述单位像素移动量是根据第二摄像装置的光轴从标定板上的一角点移动到另一角点时，两个角点间的像素数量和第二摄像装置的移动量来设置的。

6.根据权利要求1至5中任一项所述的方法，其中，所述从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块，获得第一图像块，包括：

对所述第一视频帧进行目标对象的关键点检测，获得至少一个关键点；

根据所述至少一个关键点，确定所述第一视频帧中的目标对象所在区域；

根据所述目标对象所在区域，确定目标对象预定部位所在区域，获得第一图像块。

7.根据权利要求1至6中任一项所述的方法，其中，所述基于所述第一图像块和所述第二图像块，检测所述目标对象的状态，包括：

对所述第一图像块和第二图像块进行融合处理，获得包含所述目标对象预定部位的第四图像块；

根据由所述第四图像块形成的图像序列，确定所述目标对象的状态。

8.一种目标对象的状态检测装置，包括：

第一获取模块，用于从第一摄像装置采集的第一视频帧中，获取包含目标对象预定部位的图像块，获得第一图像块；

第二获取模块，用于从第二摄像装置采集的第二视频帧中，获取包含所述目标对象预定部位的图像块，获得第二图像块；其中，所述第二视频帧的采集时间均属于一预定时间范围，所述预定时间范围由所述第一视频帧的采集时间点和所述第一摄像装置采集第三视频帧的采集时间点确定，且所述第一摄像装置的帧率低于第二摄像装置的帧率，所述第三视频帧为所述第一摄像装置采集的与所述第一视频帧相隔预定帧数的视频帧；

状态检测模块，用于基于所述第一获取模块获得的第一图像块和所述第二获取模块获得的第二图像块，检测所述目标对象的状态。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一项所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一项所述的方法。

Images