CN116883977A - 一种乘客状态监控方法、装置、终端设备和车辆 - Google Patents

Abstract

本申请涉及智能汽车技术领域，提供一种乘客状态监控方法、装置、终端设备和车辆，其方法包括：在待监测车辆处于上电状态时，获取待监测车辆的汽车座舱内的用户信息；根据用户信息确定汽车座舱内是否存在主驾驶员和目标乘客；其中，目标乘客为乘坐位置为待监测车辆的后排座位且年龄在预设年龄范围内的乘客；在汽车座舱内存在主驾驶员和目标乘客时，向远端设备发送目标乘客的实时监控视频，以便利用远端设备对目标乘客进行乘客状态监控。本方法能够高效便捷地对待监测车辆上的目标乘客进行乘客状态监控。

Description

一种乘客状态监控方法、装置、终端设备和车辆

技术领域

本申请涉及智能汽车技术领域，尤其涉及一种乘客状态监控方法、装置、终端设备和车辆。

背景技术

随着人们生活水平的提高以及智能汽车技术快速发展，驾驶车辆出行成为人们日常出行的常用方式之一。驾驶员在驾驶车辆时，汽车座舱内的其他乘客的乘客状态可能会影响驾驶员的驾驶状态；例如，当汽车座舱内存在儿童乘客时，儿童情绪不稳定、哭闹以及危险动作等都将影响驾驶员的驾驶状态。

目前的技术方案中，当儿童状态影响驾驶安全性时，驾驶员手动操作打开监控设备，并建立与远端设备的通信连接，将监控视频发送给远端设备，远端设备实现对车辆中的儿童乘客进行状态监控或者进行用户干预，但是该技术方案操作过程复杂。

因此，如何高效便捷地进行乘客状态监控，是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的在于提供一种乘客状态监控方法、装置、终端设备、车辆和计算机可读存储介质，旨在高效便捷地进行乘客状态监控。

第一方面，本申请提供了一种乘客状态监控方法。所述方法包括：

在待监测车辆处于上电状态时，获取所述待监测车辆的汽车座舱内的用户信息；

根据所述用户信息确定所述汽车座舱内是否存在主驾驶员和目标乘客；其中，所述目标乘客为乘坐位置为所述待监测车辆的后排座位且年龄在预设年龄范围内的乘客；

在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，向远端设备发送所述目标乘客的实时监控视频，以便利用所述远端设备对所述目标乘客进行乘客状态监控。

在其中一个实施例中，所述在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，向远端设备发送所述目标乘客的实时监控视频，以便利用所述远端设备对所述目标乘客进行乘客状态监控，包括：

在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，确定所述目标乘客的乘客数量；

若所述乘客数量在预设数量范围内，向远端设备发送与各所述目标乘客分别对应的实时监控视频，并根据所述乘客数量在所述远端设备分屏显示各所述目标乘客，以便利用所述远端设备对各所述目标乘客进行乘客状态监控。

在其中一个实施例中，所述向远端设备发送与各所述目标乘客分别对应的实时监控视频，并根据所述乘客数量在所述远端设备分屏显示各所述目标乘客，以便利用所述远端设备对各所述目标乘客进行乘客状态监控，包括：

若所述乘客数量在预设数量范围内，从实时监控视频中截取与各所述目标乘客分别对应的目标图像；

向远端设备发送与各所述目标乘客分别对应的目标图像，并在所述远端设备分屏显示各所述目标图像；

按照预设时间间隔确定同一所述目标乘客的相邻两次的所述目标图像中的人脸框中心点是否发生位移；

若发生位移，则重新确定所述目标乘客的目标图像，并向所述远端设备发送更新的所述目标图像，以便利用所述远端设备对各所述目标乘客进行乘客状态监控。

在其中一个实施例中，所述一种乘客状态监控方法还包括：

若所述乘客数量不在所述预设数量范围内，则根据所述远端设备的显示比例对拍摄画面进行切割，得到所述实时监控视频。

在其中一个实施例中，所述用户信息包括所述待监测车辆内的图像信息和声纹信息；所述根据所述用户信息确定所述汽车座舱内是否存在主驾驶员和目标乘客，包括：

根据所述图像信息确定所述汽车座舱内是否存在主驾驶员和后排座位乘客；

根据所述图像信息和所述声纹信息确定所述后排座位乘客是否为目标乘客。

在其中一个实施例中，所述根据所述图像信息确定所述汽车座舱内是否存在主驾驶员和后排座位乘客，包括：

当检测目标处于图像采集设备的拍摄范围内时，采集检测目标的图像信息；

对所述图像信息进行人脸识别，确定所述汽车座舱内是否存在主驾驶员和后排座位乘客。

在其中一个实施例中，在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，向远端设备发送所述目标乘客的实时监控视频，以便利用所述远端设备对所述目标乘客进行乘客状态监控之后，所述一种乘客状态监控方法还包括：

获取所述主驾驶员的手势动作和/或语音提示；

根据所述手势动作和/或所述语音提示对所述远端设备进行操作控制；所述操作控制包括调出或收起所述实时监控视频。

第二方面，本申请还提供了一种乘客状态监控装置。所述装置包括：

获取模块，用于在待监测车辆处于上电状态时，获取所述待监测车辆的汽车座舱内的用户信息；

识别模块，用于根据所述用户信息确定所述汽车座舱内是否存在主驾驶员和目标乘客；其中，所述目标乘客为乘坐位置为所述待监测车辆的后排座位且年龄在预设年龄范围内的乘客；

监控模块，用于在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，向远端设备发送所述目标乘客的实时监控视频，以便利用所述远端设备对所述目标乘客进行乘客状态监控。

第三方面，本申请还提供了一种终端设备。所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

第四方面，本申请还提供了一种车辆，包括车辆本体，还包括控制器，所述控制器执行上述方法的步骤。

第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

本申请提供一种乘客状态监控方法，是在识别到待监测车辆的汽车座舱内存在主驾驶员和后排座位的目标乘客时，主动向远端设备发送目标乘客的实时监控视频，即不依赖驾驶员的手动操作便能向远端设备发送实时监控视频，因此本方法能够高效便捷地对待监测车辆上的目标乘客进行乘客状态监控。

可以理解的是，本申请实施例提供的一种乘客状态监控装置、终端设备、车辆和计算机可读存储介质，具有如上述乘客状态监控方法相同的有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种乘客状态监控方法的流程图；

图2为本申请实施例中以检测目标的鼻尖为原点构建三维坐标系的示意图；

图3为本申请实施例提供的另一种乘客状态监控方法的流程图；

图4所示为本申请实施例提供的一种乘客状态监控装置的结构示意图；

图5为本申请实施例提供的一种终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、设备、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。“多个”表示“两个或两个以上”。

本申请实施例提供的一种乘客状态监控方法，可以由终端设备的处理器在运行相应的计算机程序时执行。

图1为本申请实施例提供的一种乘客状态监控方法的流程图，为了便于说明，仅示出了与本实施例相关的部分，本实施例提供的方法包括如下步骤：

S100：在待监测车辆处于上电状态时，获取待监测车辆的汽车座舱内的用户信息。

其中，待监测车辆指的是需要进行乘客状态监控的车辆，可以是燃油汽车或电动汽车，本实施例对待监测车辆的具体类型不做限定。

其中，待监测车辆处于上电状态指的是待监测车辆处于点火后的状态，包括待监测车辆处于准备开始驾驶或处于行驶中的状态。更具体的，对于燃油汽车而言，待监测车辆处于上电状态为用户执行开门刷卡后待监测车辆对应的状态；对于电动汽车而言，待监测车辆处于上电状态为待监测车辆软启动后对应的状态。在一个具体的实施例中，是在待监测车辆每次上电后，若待监测车辆处于P档(Parking，停车档)时，获取待监测车辆的汽车座舱内的用户信息。

其中，汽车座舱指的是待监测车辆中驾驶和乘坐的空间；用户信息包括汽车座舱内的驾驶员和乘客对应的信息，具体包括是否存在主驾驶员、乘客在待监测车辆上的位置以及乘客数量等。

在实际操作中，可以利用预设于待监测车辆中的图像采集设备获取汽车座舱内的图像信息，并对该图像信息进行人脸识别，结合人脸识别结果、图像采集设备的安装位置以及识别出的人脸对应的用户对象的乘坐位置确定用户信息。

S200：根据用户信息确定汽车座舱内是否存在主驾驶员和目标乘客；其中，目标乘客为乘坐位置为待监测车辆的后排座位且年龄在预设年龄范围内的乘客。

在本步骤中，根据确定出的用户信息进行分析判断，确定待监测车辆的汽车座舱内是否存在主驾驶员和目标乘客。在具体实现中，确定汽车座舱内是否存在主驾驶员和目标乘客包括至少两种情况，一种是汽车座舱内是否仅存在主驾驶员和目标乘客，即待监测车辆的主驾驶座位有主驾驶员、副驾驶座位没有乘客、后排座位有乘客且乘客的年龄在预设年龄范围内的情况；另一种是汽车座舱内是否包括主驾驶员和目标乘客，即汽车座舱内除主驾驶员和目标乘客外还有其他乘客，如副驾驶座位存在乘客的情况。

需要说明的是，本实施例对目标乘客的预设年龄范围不做限定，根据实际需求设置即可。如预设年龄范围可以是表征乘客为儿童的年龄范围，也可以是表征乘客为老年人的年龄范围。在一个具体的实施例中，基于儿童用户的智能关怀监控场景，设置预设年龄范围为表征乘客为儿童的年龄范围，且预设年龄范围的具体取值区间可根据需求设置，本实施例对此不做限定。更具体的，若定义儿童的年龄范围为小于或等于12岁，定义成人的年龄范围为大于12岁，即目标乘客对应的预设年龄范围为小于或等于12岁。在实际操作中，还可以设置误差范围，即当识别出的乘客的年龄在预设年龄范围的误差范围内时，确定乘客年龄在预设年龄范围内；误差范围可以是预设年龄范围±3岁。

S300：在汽车座舱内存在主驾驶员和目标乘客时，向远端设备发送目标乘客的实时监控视频，以便利用远端设备对目标乘客进行乘客状态监控。

本步骤中，是在确定汽车座舱内存在主驾驶员和目标乘客时，利用远端设备对目标乘客进行乘客状态监控。具体的，判断远端设备当前是否已经调出实时监控视频，即远端设备的智能后排监控是否为开启状态；若当前未调出实时监控视频(智能后排监控为关闭状态)，则确定出目标乘客的实时监控视频，打开远端设备的智能后排监控，并向远端设备发送目标乘客的实时监控视频；若当前已经调出实时监控视频(智能后排监控为开启状态)，则不再重复向远端设备发送实时监控视频。远端设备在接收到实时监控视频后，通过应用程序或在widget位置显示实时监控视频；其他用户通过远端设备显示的实时监控视频，实现对待监测车辆中的目标乘客进行乘客状态监控。

需要说明的是，在实际操作中，还可以通过远端设备对待监测车辆进行远程操作，例如，在检测到目标乘客情绪异常时，通过远端设备控制待监测车辆的智能设备播放音乐或者其他类型的音频，或者与待监测车辆建立语音通话，以安抚目标乘客的情绪；情绪异常包括哭泣、暴躁以及惊恐等。

本申请实施例提供一种乘客状态监控方法，是在识别到待监测车辆的汽车座舱内存在主驾驶员和后排座位的目标乘客时，主动向远端设备发送目标乘客的实时监控视频，即不依赖驾驶员的手动操作便能向远端设备发送实时监控视频，因此本方法能够高效便捷地对待监测车辆上的目标乘客进行乘客状态监控。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，在汽车座舱内存在主驾驶员和目标乘客时，向远端设备发送目标乘客的实时监控视频，以便利用远端设备对目标乘客进行乘客状态监控，包括：

在汽车座舱内存在主驾驶员和目标乘客时，确定目标乘客的乘客数量；

若乘客数量在预设数量范围内，向远端设备发送与各目标乘客分别对应的实时监控视频，并以便利用远端设备对各目标乘客进行乘客状态监控。

其中，预设数量范围一般在后排座位的限乘人数范围内，可根据实际需求设置。在汽车座舱内存在主驾驶员和目标乘客时，进一步对图像信息进行人脸识别，根据识别出的人脸数以及相同人脸数确定目标乘客的乘客数量。

然后，判断乘客数量是否在预设数量范围内；若乘客数量在预设数量范围内，则向远端设备发送与各目标乘客分别对应的实时监控视频，根据乘客数量在远端设备分屏显示各目标乘客；即针对每一个目标乘客，在远端设备利用对应的分屏显示与该目标乘客对应的实时监控视频。其他用户通过远端设备显示的与各目标用户分别对应的实时监控视频，实现对各目标乘客进行乘客状态监控。

在一个具体实施例中，若目标乘客为在待监测车辆的后排座位上的儿童乘客，当检测到后排座位有2名儿童时，将远端设备的显示区域一分为二，通过感知算法输出儿童的人脸框中心点，以每个儿童的人脸框中心点为中心，按远端设备横向分割后的比例切割后排拍摄画面(以UI设计(User Interface Design，界面设计)为准)，得到与各儿童分别对应的后排拍摄画面，然后对切割后的后排拍摄画面进行同比例缩放以适配远端设备的各分屏对应的显示区域。

按照本实施例的方法，能够针对每个目标乘客单独显示对应的实时监控视频，避免其他因素干扰，提高乘客状态监控的有效性。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，若乘客数量在预设数量范围内，向远端设备发送与各目标乘客分别对应的实时监控视频，并根据乘客数量在远端设备分屏显示各目标乘客，以便利用远端设备对各目标乘客进行乘客状态监控，包括：

若乘客数量在预设数量范围内，从实时监控视频中截取与各目标乘客分别对应的目标图像；

向远端设备发送与各目标乘客分别对应的目标图像，并在远端设备分屏显示各目标图像；

按照预设时间间隔确定同一目标乘客的相邻两次的目标图像中的人脸框中心点是否发生位移；

若发生位移，则重新确定目标乘客的目标图像，并向远端设备发送更新的目标图像，以便利用远端设备对各目标乘客进行乘客状态监控。

具体的，在获取到实时监控视频后，若乘客数量在预设数量范围内，确定实时监控视频中的目标帧图像，识别该目标帧图像中的各目标乘客，并从该目标帧图像中截取与各目标乘客分别对应的目标图像；向远端设备发送与各目标乘客分别对应的目标图像，并在远端设备分屏显示各目标图像。

然后，按照预设时间间隔确定实时监控视频中的下一目标帧图像，识别该下一目标帧图像中的各目标乘客，得到下一目标图像；针对每一个目标乘客，判断目标图像和下一目标图像中的人脸框中心点位置是否发生位移；即确定目标图像和下一目标图像中的人脸框中心点位置的偏差值是否超过偏差阈值；若发生位移(超过偏差阈值)，则将下一目标图像作为目标乘客更新的目标图像，并向远端设备发送更新的目标图像，以便利用远端设备对各目标乘客进行乘客状态监控。其中，本实施例对预设时间间隔的具体取值不做限定，预设时间间隔可以是5s。

也就是说，本实施例是每隔预设时间间隔确定各目标乘客对应的人脸框中心点是否发生位移，并在确定发生位移的情况下更新远端设备显示的与目标乘客对应的目标图像，因此能在保证远端设备显示稳定的情况下，及时更新目标乘客的状态，提高对乘客状态监控的精准度。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，一种乘客状态监控方法还包括：

若乘客数量不在预设数量范围内，则根据远端设备的显示比例对拍摄画面进行切割，得到实时监控视频。

具体的，本实施例是在确定出目标乘客的乘客数量不在预设数量范围内时，直接对后排拍摄画面进行切割，得到能够适应远端设备的显示比例的实时监控视频。

更具体的，当目标乘客的乘客数量大于预设数量范围中的上限值时，可以先确定远端设备的显示比例以及后排拍摄画面的中心点，然后以后排拍摄画面的中心点为中心，根据远端设备的显示比例对拍摄画面进行切割，得到实时监控视频。

或者，当目标乘客的乘客数量为1时，可以先确定远端设备的显示比例以及儿童的人脸框中心点，然后以儿童的人脸框中心点为中心，根据远端设备的显示比例对拍摄画面进行切割，得到实时监控视频。

在一个具体的实施例中，若目标乘客为在待监测车辆的后排座位上的儿童乘客，假设预设数量范围为2-3，当检测到后排座位仅有1名儿童时，通过感知算法输出儿童的人脸框中心点，并以儿童的人脸框中心点为中心，按远端设备的显示比例切割后排拍摄画面(以UI设计(User Interface Design，界面设计)为准)，并对切割后的拍摄画面进行同比例缩放以适配远端设备的显示区域。当检测到后排座位的儿童为3人以上时，以后排拍摄画面的中心点为中心，按远端设备的显示比例切割后排拍摄画面，并利用远端设备显示切割后的后排拍摄画面，即显示实时监控视频。

可见，按照本实施例的方法，能够完整全面地显示各目标乘客的状态，即提高乘客状态监控的全面性和精准度。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，用户信息包括待监测车辆内的图像信息和声纹信息；根据用户信息确定汽车座舱内是否存在主驾驶员和目标乘客，包括：

根据图像信息确定汽车座舱内是否存在主驾驶员和后排座位乘客；

根据图像信息和声纹信息确定后排座位乘客是否为目标乘客。

其中，本实施例中的用户信息包括待监测车辆内的图像信息和声纹信息；图像信息指的是用图像采集设备获取的汽车座舱内的信息，声纹信息指的是用声音采集装置获取的汽车座舱内的信息。

具体的，在获取汽车座舱内的用户信息后，先对图像信息进行人脸识别，根据人脸识别结果、图像采集设备的安装位置以及识别出的人脸对应的用户对象的乘坐位置确定用户信息。更具体的，可以利用第一拍摄装置采集主驾驶座位和副驾驶座位对应的图像信息，若该图像信息中识别出人脸信息，则根据识别出的人脸信息的乘坐位置以及第一拍摄装置的安装位置确定汽车座舱内的主驾驶座位是否有主驾驶员，副驾驶座位是否有乘客；利用第二拍摄装置采集后排座位对应的图像信息，若该图像信息中识别出人脸信息，则确定汽车座舱内存在后排座位乘客。

在确定出后排座位乘客后，根据后排座位乘客对应的图像信息和声纹信息进行年龄识别，确定后排座位乘客的年龄是否在预设年龄范围内，即确定后排座位乘客是否为目标乘客。

在本实施例中，根据图像信息和声纹信息结合来确定待监测车辆中的后排座位是否为目标乘客，能够更加精准地确定出目标乘客，避免误识别目标乘客，从而提高乘客状态监控的精准度。

在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，根据图像信息确定汽车座舱内是否存在主驾驶员和后排座位乘客，包括：

当检测目标处于图像采集设备的拍摄范围内时，采集检测目标的图像信息；

对图像信息进行人脸识别，确定汽车座舱内是否存在主驾驶员和后排座位乘客。

在实际操作中，在待监测车辆处于上电状态后，图像采集设备判断检测目标是否在其拍摄范围内；若检测目标在图像采集设备的拍摄范围内，则采集检测目标的图像信息，即获取汽车座舱内的用户信息；若检测目标不在图像采集设备的拍摄范围内，则持续检测，直至检测目标处于图像采集设备的拍摄范围内或接收到结束检测的控制指令。在获取到图像信息后，对图像信息进行人脸识别，以确定汽车座舱内是否存在主驾驶员和后排座位乘客。

在一个具体的实施例中，假设检测目标为主驾驶员，检测目标位于主驾驶座位，双眼平视，正面面向图像采集设备，检测目标的人脸与图像采集设备之间的距离在40-60cm之间；以检测目标的鼻尖为原点构建三维坐标系如图2所示，其中，z轴为视线方向。图像采集设备的识别范围如下：

x(PITCH)：[-30°,30°]；

y(YAW)：[-45°,45°]；

z(ROLL)：[-30°,30°]。

也就是说，当检测目标的人脸与图像采集设备的距离在指定范围内，且检测目标的人脸处于图像采集设备的识别范围内，则图像采集设备采集检测目标的图像信息。

需要说明的是，在采集图像信息时，需要保障图像信息的像素大于或等于预设标准，如96px*96px，以保障针对图像信息进行人脸识别的精准度。

另外，在进行人脸识别的过程中，采用的人脸识别算法能够支持不同光照场景情况下的人脸识别，不同光照场景包括白天、黑夜、顺光、侧光、逆光、树荫阳光交替闪烁以及氛围灯等；采用的人脸识别算法能够支持面部遮挡情况下的人脸识别，面部遮挡包括口罩、眼镜以及墨镜遮挡情况；采用的人脸识别算法能够支持面部妆容情况下的人脸识别，面部妆容包括对眼睛、眉毛、嘴、鼻子以及皮肤等进行妆造改变。

可见，本实施例是在确定检测目标处于图像采集设备的拍摄范围内时，才获取汽车座舱内的图像信息，因此按照本实施例的方法采集到的图像信息更加精准，能够提高基于该图像信息进行乘客状态监控的精准度。

图3为本申请实施例提供的另一种乘客状态监控方法的流程图。在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，在汽车座舱内存在主驾驶员和目标乘客时，向远端设备发送目标乘客的实时监控视频，以便利用远端设备对目标乘客进行乘客状态监控之后，一种乘客状态监控方法还包括：

获取主驾驶员的手势动作和/或语音提示；

根据手势动作和/或语音提示对远端设备进行操作控制；操作控制包括调出或收起实时监控视频。

具体的，在待检测车辆处于上电状态时，进行OMS(Occupancy MonitoringSystem，乘客监控***)乘客识别，在汽车座舱内存在主驾驶员和目标乘客时，判断远端设备的智能后排监控是否为开启状态，若为开启状态，则获取主驾驶员的手势动作和/或语音提示；根据手势动作和/或语音提示确定对应的操作指令，将操作指令发送给远端设备，远端设备根据接收到的操作指令确定执行对应的操作控制，包括调出或收起实时监控视频；若汽车座舱内不存在主驾驶员或不存在目标乘客，则结束进程。

在一个具体的实施例中，根据手势动作对远端设备进行操作控制的情况如下：

情况1：在“智能后排监控”的开关为开启(on)的状态下，当检测到“手心面向主驾驶窗，手掌与手指在一个平面内，以手腕为旋转点向左摆动，左摆幅度超过[-20°，0°]，右侧定点时长大于或等于1s”时，则对应生成“画面调出”指令，将远端设备的实时监控视频调出；

情况2：在远端设备打开实时监控视频的状态下，当检测到“手心面向主驾驶窗，手掌与手指在一个平面内，以手腕为旋转点向右摆动，右摆幅度超过[0°，+20°]，左侧定点时长大于或等于1s”时，则对应生成“画面收起”指令，将远端设备的实时监控视频收起。

可见，按照本实施例的方法，能够依据主驾驶员的手势动作或语音提示对实时监控视频进行操作控制，能够进一步提高乘客状态监控的便捷度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图4所示为本申请实施例提供的一种乘客状态监控装置的结构示意图。如图4所示，该实施例的乘客状态监控装置包括获取模块410、识别模块420和监控模块430；其中，

获取模块410，用于在待监测车辆处于上电状态时，获取待监测车辆的汽车座舱内的用户信息；

识别模块420，用于根据用户信息确定汽车座舱内是否存在主驾驶员和目标乘客；其中，目标乘客为乘坐位置为待监测车辆的后排座位且年龄在预设年龄范围内的乘客；

监控模块430，用于在汽车座舱内存在主驾驶员和目标乘客时，向远端设备发送目标乘客的实时监控视频，以便利用远端设备对目标乘客进行乘客状态监控。

本申请实施例提供的一种乘客状态监控装置，具有与上述一种乘客状态监控方法相同的有益效果。

在其中一个实施例中，监控模块430包括：

数量确定子模块，用于在汽车座舱内存在主驾驶员和目标乘客时，确定目标乘客的乘客数量；

数据发送子模块，用于若乘客数量在预设数量范围内，向远端设备发送与各目标乘客分别对应的实时监控视频，并根据乘客数量在远端设备分屏显示各目标乘客，以便利用远端设备对各目标乘客进行乘客状态监控。

在其中一个实施例中，数据发送子模块包括：

图像确定单元，用于若乘客数量在预设数量范围内，从实时监控视频中截取与各目标乘客分别对应的目标图像；

发送单元，用于向远端设备发送与各目标乘客分别对应的目标图像，并在远端设备分屏显示各目标图像；

判断单元，用于按照预设时间间隔确定同一目标乘客的相邻两次的目标图像中的人脸框中心点是否发生位移；

更新单元，用于若发生位移，则重新确定目标乘客的目标图像，并向远端设备发送更新的目标图像，以便利用远端设备对各目标乘客进行乘客状态监控。

在其中一个实施例中，一种乘客状态监控装置还包括：

调整单元，用于若乘客数量不在预设数量范围内，则根据远端设备的显示比例对拍摄画面进行切割，得到实时监控视频。

在其中一个实施例中，用户信息包括待监测车辆内的图像信息和声纹信息；识别模块420包括：

第一确定子模块，用于根据图像信息确定汽车座舱内是否存在主驾驶员和后排座位乘客；

第二确定子模块，用于根据图像信息和声纹信息确定后排座位乘客是否为目标乘客。

在其中一个实施例中，第一确定子模块包括：

采集单元，用于当检测目标处于图像采集设备的拍摄范围内时，采集检测目标的图像信息；

识别单元，用于对图像信息进行人脸识别，确定汽车座舱内是否存在主驾驶员和后排座位乘客。

在其中一个实施例中，一种乘客状态监控装置还包括：

操作获取模块，用于获取主驾驶员的手势动作和/或语音提示；

控制模块，用于根据手势动作和/或语音提示对远端设备进行操作控制；操作控制包括调出或收起实时监控视频。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图5为本申请实施例提供的一种终端设备的结构示意图。如图5所示，该实施例的终端设备500包括存储器501、处理器502以及存储在存储器501中并可在处理器502上运行的计算机程序503；处理器502执行计算机程序503时实现上述各个乘客状态监控方法实施例中的步骤，例如图1所示的S100至S300；或者处理器502执行计算机程序503时实现上述各装置实施例中各模块/单元的功能，例如图3所示获取模块、识别模块和监控模块的功能。

示例性的，计算机程序503可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器501中，并由处理器502执行，以实现本申请实施例的方法。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序503在终端设备500中的执行过程。例如，计算机程序503可以被分割成获取模块、识别模块和监控模块，各模块具体功能如下：

获取模块，用于在待监测车辆处于上电状态时，获取待监测车辆的汽车座舱内的用户信息；

识别模块，用于根据用户信息确定汽车座舱内是否存在主驾驶员和目标乘客；其中，目标乘客为乘坐位置为待监测车辆的后排座位且年龄在预设年龄范围内的乘客；

监控模块，用于在汽车座舱内存在主驾驶员和目标乘客时，向远端设备发送目标乘客的实时监控视频，以便利用远端设备对目标乘客进行乘客状态监控。

在应用中，终端设备500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备500可包括但不仅限于存储器501和处理器502。本领域技术人员可以理解，图5仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等；其中，输入输出设备可以包括摄像头、音频采集/播放器件、显示屏等；网络接入设备可以包括通信模块，用于与外部设备进行无线通信。

在应用中，处理器可以是中央处理单元(Central Processing Unit，CPU)，也可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在应用中，存储器可以是终端设备的内部存储单元，例如终端设备的硬盘或内存；也可以是终端设备的外部存储设备，例如，终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等；还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作***、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器还可以用于暂时存储已经输出或者将要输出的数据。

本申请实施例还提供了一种车辆，包括车辆本体，还包括控制器，控制器执行上述各个方法实施例中的步骤。

本申请实施例提供的一种车辆，具有与上述一种乘客状态监控方法相同的有益效果。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本申请实施例提供的一种计算机可读存储介质，具有与上述一种乘客状态监控方法相同的有益效果。

本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到终端设备的任何实体或设备、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的设备及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，设备间接耦合或通讯连接，可以是电性，机械或其它的形式。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种乘客状态监控方法，其特征在于，所述方法包括：

在待监测车辆处于上电状态时，获取所述待监测车辆的汽车座舱内的用户信息；

根据所述用户信息确定所述汽车座舱内是否存在主驾驶员和目标乘客；其中，所述目标乘客为乘坐位置为所述待监测车辆的后排座位且年龄在预设年龄范围内的乘客；

在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，向远端设备发送所述目标乘客的实时监控视频，以便利用所述远端设备对所述目标乘客进行乘客状态监控。

2.根据权利要求1所述的方法，其特征在于，所述在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，向远端设备发送所述目标乘客的实时监控视频，以便利用所述远端设备对所述目标乘客进行乘客状态监控，包括：

在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，确定所述目标乘客的乘客数量；

若所述乘客数量在预设数量范围内，向远端设备发送与各所述目标乘客分别对应的实时监控视频，并根据所述乘客数量在所述远端设备分屏显示各所述目标乘客，以便利用所述远端设备对各所述目标乘客进行乘客状态监控。

3.根据权利要求2所述的方法，其特征在于，所述向远端设备发送与各所述目标乘客分别对应的实时监控视频，并根据所述乘客数量在所述远端设备分屏显示各所述目标乘客，以便利用所述远端设备对各所述目标乘客进行乘客状态监控，包括：

若所述乘客数量在预设数量范围内，从实时监控视频中截取与各所述目标乘客分别对应的目标图像；

向远端设备发送与各所述目标乘客分别对应的目标图像，并在所述远端设备分屏显示各所述目标图像；

按照预设时间间隔确定同一所述目标乘客的相邻两次的所述目标图像中的人脸框中心点是否发生位移；

若发生位移，则重新确定所述目标乘客的目标图像，并向所述远端设备发送更新的所述目标图像，以便利用所述远端设备对各所述目标乘客进行乘客状态监控。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述乘客数量不在所述预设数量范围内，则根据所述远端设备的显示比例对拍摄画面进行切割，得到所述实时监控视频。

5.根据权利要求1所述的方法，其特征在于，所述用户信息包括所述待监测车辆内的图像信息和声纹信息；所述根据所述用户信息确定所述汽车座舱内是否存在主驾驶员和目标乘客，包括：

根据所述图像信息确定所述汽车座舱内是否存在主驾驶员和后排座位乘客；

根据所述图像信息和所述声纹信息确定所述后排座位乘客是否为目标乘客。

6.根据权利要求5所述的方法，其特征在于，所述根据所述图像信息确定所述汽车座舱内是否存在主驾驶员和后排座位乘客，包括：

当检测目标处于拍摄装置的拍摄范围内时，采集检测目标的图像信息；

对所述图像信息进行人脸识别，确定所述汽车座舱内是否存在主驾驶员和后排座位乘客。

7.根据权利要求1至6任一项所述的方法，其特征在于，在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，向远端设备发送所述目标乘客的实时监控视频，以便利用所述远端设备对所述目标乘客进行乘客状态监控之后，所述方法还包括：

获取所述主驾驶员的手势动作和/或语音提示；

根据所述手势动作和/或所述语音提示对所述远端设备进行操作控制；所述操作控制包括调出或收起所述实时监控视频。

8.一种乘客状态监控装置，其特征在于，所述装置包括：

获取模块，用于在待监测车辆处于上电状态时，获取所述待监测车辆的汽车座舱内的用户信息；

识别模块，用于根据所述用户信息确定所述汽车座舱内是否存在主驾驶员和目标乘客；其中，所述目标乘客为乘坐位置为所述待监测车辆的后排座位且年龄在预设年龄范围内的乘客；

监控模块，用于在所述汽车座舱内存在所述主驾驶员和所述目标乘客时，向远端设备发送所述目标乘客的实时监控视频，以便利用所述远端设备对所述目标乘客进行乘客状态监控。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种车辆，包括车辆本体，其特征在于，还包括控制器，所述控制器执行如权利要求1至7任一项所述方法的步骤。