CN113246997A - 智能驾驶中的安全监测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种智能驾驶中的安全监测方法、装置、电子设备及存储介质，该方法包括：获取当前车辆在行驶方向上的第一图像，根据第一图像确定障碍物信息和车道线弯度信息；获取当前车辆在车内的第二图像，根据第二图像确定司机状态信息；司机状态信息用于表征手部与方向盘的接触状态；根据障碍物信息和车道线弯度信息，以及司机状态信息确定目标跟踪结果；目标跟踪结果用于表征是否发出报警，通过对车辆行驶前方的图像分析识别出车辆遇到的具体危险场景，并对车辆内部的图像分析检测司机握持方向盘的状态，然后根据具体危险场景来判断握持方向盘的状态是否安全，并在不安全的场景下，给司机发出提醒，提高车辆的安全驾驶，减少道路事故的发生。

Description

智能驾驶中的安全监测方法、装置、电子设备及存储介质

技术领域

本发明涉及智能车辆技术领域，尤其涉及一种智能驾驶中的安全监测方法、装置、电子设备及存储介质。

背景技术

无论是人工驾驶车辆还是智能驾驶车辆，在驾驶车辆时，由于道路上不同场景的可变性，如果司机出现疲劳、注意力不集中等原因，存在很大的安全隐患，例如车辆出现车祸。此种情况势必对司机的人身及财产带来损害。为此，司机在车内是否安全驾驶需要实时监测。

发明内容

针对现有技术存在的问题，本发明提供一种智能驾驶中的安全监测方法、装置、电子设备及存储介质。

本发明提供一种智能驾驶中的安全监测方法，包括：

根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；

根据当前车辆在车内的第二图像获取司机状态信息；其中，所述司机状态信息用于表征手部与方向盘的接触状态；其中，所述第二图像与所述第一图像在同一时刻采集，且针对同一个所述当前车辆；

根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果；

根据所述目标跟踪结果监测并发出安全报警。

根据本发明提供的一种智能驾驶中的安全监测方法，根据当前车辆在行驶方向上的第一图像获取障碍物信息，包括：

将所述第一图像输入到障碍识别模型中，得到由障碍识别模型输出的识别结果，所述识别结果用于表征当前车辆在行驶方向上是否存在障碍物；

根据所述识别结果确定当前车辆在行驶方向上存在障碍物，根据所述第一图像确定当前车辆与障碍物的实际距离；

将当前车辆与障碍物的实际距离作为确定的障碍物信息；

其中，障碍识别模型为将根据样本图像的图像特征和样本图像的识别结果作为输入，通过机器学习训练得到的，用于预测车辆在行驶方向上是否存在障碍物的模型。

根据本发明提供的一种智能驾驶中的安全监测方法，根据当前车辆在行驶方向上的第一图像获取车道线弯度信息，包括：

将所述第一图像输入到车道线预测模型中，得到由车道线预测模型输出的弯度倾向度，所述弯度倾向度用于表征第一图像中车道线倾向于一弯度值的概率；

根据输出的弯度倾向度确定车道线弯度信息；

其中，所述车道线预测模型为将样本图像的车道线特征和样本图像中车道线的弯度值作为输入，通过机器学习训练得到的，用于预测车辆在行驶方向上车道线弯度的模型；

所述车道线预测模型包括识别层和计算层，所述识别层用于根据第一图像确定第一图像中的车道线特征，所述计算层用于基于样本图像的车道线特征和第一图像中的车道线特征确定第一图像中车道线的弯度倾向度。

根据本发明提供的一种智能驾驶中的安全监测方法，根据所述第二图像确定司机状态信息，包括：

根据所述第二图像确定司机的手部像素区域和方向盘像素区域；

根据所述手部像素区域和所述方向盘像素区域确定区域相连信息，根据所述区域相连信息判断司机对方向盘的握持状况；

根据所述方向盘像素区域确定对应于方向盘的拟合环形线，根据所述手部像素区域确定手部的中心点；

根据所述拟合环形线和所述中心点确定司机的手部在方向盘上的夹角信息；

将所述握持状况和所述夹角信息作为确定的司机状态信息。

根据本发明提供的一种智能驾驶中的安全监测方法，根据所述拟合环形线和所述中心点确定司机的手部在方向盘上的夹角信息，包括：

确定所述中心点与所述拟合环形线上的标准轴线之间的夹角作为司机的手部在方向盘上的夹角信息；

其中，所述标准轴线为基于方向盘摆正时的图像拟合的环形线的中心分割线，所述中心分割线垂直于车辆的中轴线。

根据本发明提供的一种智能驾驶中的安全监测方法，根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果，包括：

根据当前车辆与障碍物的实际距离确定第一危险等级；

根据车道线弯度信息确定第二危险等级；

根据所述第一危险等级和第二危险等级，以及所述握持状况和所述夹角信息确定目标跟踪结果。

根据本发明提供的一种智能驾驶中的安全监测方法，根据所述目标跟踪结果监测并发出安全报警，包括：

若第一危险等级为高危险，且所述握持状况为未双手握持方向盘，则发出报警；

若第一危险等级为中危险，且没有握持方向盘，则发出报警；

若第一危险等级为低危险，则不发出报警；

若第二危险等级为高危险，且根据所述夹角信息确定至少一只手在方向盘的第一夹角范围，根据所述握持状况确定双手握持方向盘，则不发出报警；

若第二危险等级为中危险，且根据所述夹角信息确定至少一只手在方向盘的第二夹角范围，则不发出报警；

若第二危险等级为低危险，则不发出报警。

本发明还提供一种智能驾驶中的安全监测装置，包括：

第一监测模块，用于根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；

第二监测模块，用于根据当前车辆在车内的第二图像获取司机状态信息；其中，所述司机状态信息用于表征手部与方向盘的接触状态；其中，所述第二图像与所述第一图像在同一时刻采集，且针对同一个所述当前车辆；

处理模块，用于根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果；

报警模块，用于根据所述目标跟踪结果监测并发出安全报警。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述智能驾驶中的安全监测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述智能驾驶中的安全监测方法的步骤。

本发明提供的智能驾驶中的安全监测方法、装置、电子设备及存储介质，通过对车辆行驶前方的图像分析识别出车辆遇到的具体危险场景，并对车辆内部的图像分析检测司机握持方向盘的状态，然后根据具体危险场景来判断握持方向盘的状态是否安全，并在不安全的场景下，给司机发出提醒，提高车辆的安全驾驶，减少道路事故的发生。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的智能驾驶中的安全监测方法的流程示意图；

图2是本发明提供的智能驾驶中的安全监测装置的结构示意图；

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图3描述本发明提供的智能驾驶中的安全监测方法、装置、电子设备及存储介质。

图1示出了本发明提供的智能驾驶中的安全监测方法的流程示意图，参见图1，该方法包括：

11、根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；

12、根据当前车辆在车内的第二图像获取司机状态信息；其中，司机状态信息用于表征手部与方向盘的接触状态；其中，第二图像与第一图像在同一时刻采集，且针对同一个当前车辆；

13、根据障碍物信息和车道线弯度信息，以及司机状态信息确定目标跟踪结果；

14、根据目标跟踪结果监测并发出安全报警。

针对步骤11-步骤14，需要说明的是，在本发明中，该方法用于对司机驾驶车辆在行驶方向上可能遇到危险场景时操作方向盘不当的监测及提醒。

在本发明中，通过给车辆配置前视摄像头和后视摄像头采集当前车辆在行驶方向上的第一图像和当前车辆在车内的第二图像。例如在车内顶部配置两个摄像头，其中一个摄像头对准车辆的行驶方向，拍摄第一图像，另一个摄像头朝下对准方向盘，拍摄第二图像。采集的图像以视频形式存在，可对视频流数据的每一帧图像进行处理，第二图像与第一图像在同一时刻采集，且针对同一个当前车辆。

对第一图像进行分析处理，旨在确定当前车辆的前方是否存在障碍物，以及在车辆行驶过程中车辆与障碍物的实时距离。在本发明中，可将实时距离作为车辆前方存在障碍物的具体信息。另外，由于道路存在弯道的情况，且道路上通常会画出车道线，为此，对第一图像进行分析处理，还旨在获知当前车辆的前方的车道线弯度信息，通过车道线弯度信息可以确定弯道的实际情况。

对第二图像进行分析处理，旨在确定司机驾驶车辆的状态，该状态主要是确定司机是否握持方向盘及如何握持方向盘。

上述各信息确定之后，可根据障碍物信息和车道线弯度信息确定司机驾驶车辆所遇到的具体场景（即确定该场景是否达到危险程度），然后再参考司机驾驶车辆的当前状态，判断是否发出报警（警报声），给司机一个安全提醒。

本发明提供的智能驾驶中的安全监测方法，通过对车辆行驶前方的图像分析识别出车辆遇到的具体危险场景，并对车辆内部的图像分析检测司机握持方向盘的状态，然后根据具体危险场景来判断握持方向盘的状态是否安全，并在不安全的场景下，给司机发出提醒，提高车辆的安全驾驶，减少道路事故的发生。

在上述智能驾驶中的安全监测方法的进一步发明中，主要是对根据当前车辆在行驶方向上的第一图像获取障碍物信息的处理过程进行解释说明，具体如下：

将第一图像输入到障碍识别模型中，得到由障碍识别模型输出的识别结果，识别结果用于表征当前车辆在行驶方向上是否存在障碍物；

根据识别结果确定当前车辆在行驶方向上存在障碍物，根据第一图像确定当前车辆与障碍物的实际距离；

将当前车辆与障碍物的实际距离作为确定的障碍物信息。

对此，需要说明的是，在本发明中，该障碍识别模型为根据样本图像的图像特征和样本图像的识别结果作为输入，通过机器学习训练得到的，用于预测车辆在行驶方向上是否存在障碍物的模型。

构建障碍识别模型时，采集大量的样本图像。该样本图像是车辆前方的图像，每个图像上都可以提取出自有的图像特征。这些图像特征包含障碍物（车辆、行人或物体等）的图像。这些样本图像是包含有不同障碍物的图像或不包含有障碍物的图像，为此，样本图像的识别结果为存在障碍物或不存在障碍物。

将样本图像的图像特征和样本图像的识别结果输入到初始的神经网络（如YOLO、SSD等）中去进行训练，训练得到预测车辆在行驶方向上是否存在障碍物的模型。

通过障碍识别模型对第一图像进行处理，确定当前车辆行驶的前方存在障碍物后，再根据第一图像确定当前车辆与障碍物的实际距离。例如基于图像进行像素标定，通过标定量与实际距离的关系式求得。最后将当前车辆与障碍物的实际距离作为确定的障碍物信息。

本发明进一步提供的智能驾驶中的安全监测方法，通过样本图像训练得到的障碍识别模型对当前图像进行分析，能够快速且精准的识别出车辆在行驶方向上是否存在障碍物，降低识别错误率。

在上述智能驾驶中的安全监测方法的进一步发明中，主要是对根据当前车辆在行驶方向上的第一图像获取车道线弯度信息的处理过程进行解释说明，具体如下：

将第一图像输入到车道线预测模型中，得到由车道线预测模型输出的弯度倾向度，弯度倾向度用于表征第一图像中车道线倾向于一弯度值的概率；

根据输出的弯度倾向度确定车道线弯度信息。

对此，需要说明的是，在本发明中，该车道线预测模型为将样本图像的车道线特征和样本图像中车道线的弯度值作为输入，通过机器学习训练得到的，用于预测车辆在行驶方向上车道线弯度的模型。

构建车道线预测模型时，采集大量的样本图像。该样本图像是车辆前方的图像，每个图像上都可以提取出自有的车道线特征。这些图像特征包含不同车道线弯曲程度的图像。为此，将样本图像的车道线特征和样本图像中车道线的弯度值输入到初始的神经网络（如SCNN、LaneNet等）中去进行训练，训练得到预测车辆在行驶方向上车道线弯度的模型。

训练得到的车道线预测模型包括识别层和计算层，该识别层用于根据第一图像确定第一图像中的车道线特征，该计算层用于基于样本图像的车道线特征和第一图像中的车道线特征确定第一图像中车道线的弯度倾向度。

对此，需要说明的是，该识别层用于从第一图像上识别出车道线，并获取到车道线特征。然后将车道线特征输入到计算层。计算层用于计算获得样本图像的车道线特征和第一图像中的车道线特征之间的相似度，基于相似度去确定第一图像中车道线的弯度倾向度。

本发明进一步提供的智能驾驶中的安全监测方法，通过样本图像训练得到的车道线预测模型对当前图像进行分析，能够快速且精准的识别出车辆在行驶方向上车道线的弯度值，降低识别错误率。

在上述智能驾驶中的安全监测方法的进一步发明中，主要是对根据第二图像确定司机状态信息的处理过程进行解释说明，具体如下：

根据第二图像确定司机的手部像素区域和方向盘像素区域；

根据手部像素区域和方向盘像素区域确定区域相连信息，根据区域相连信息判断司机对方向盘的握持状况；

根据方向盘像素区域确定对应于方向盘的拟合环形线，根据手部像素区域确定手部的中心点；

根据拟合环形线和中心点确定司机的手部在方向盘上的夹角信息；

将握持状况和夹角信息作为确定的司机状态信息。

对此，需要说明的是，在本发明中，该方法用于对司机驾驶车辆在行驶方向上可能遇到危险场景时操作方向盘不当的监测及提醒，故要从第二图像中提取出司机的手部像素区域和方向盘像素区域。在本发明中，可以采用训练语义分割网络（如U-Net、DeepLab）来分割出手部和方向盘两个类别的像素区域。

在图像中，当司机手握持方向盘时，手部的像素区域会与方向盘的像素区域产生交连，故根据手部像素区域和方向盘像素区域确定区域相连信息。该区域相连信息能够表征司机是单手握持方向盘还是双手握持方向盘。若司机单手握持方向盘，则手部像素区域和方向盘像素区域会产生一个交连区域，若司机双手握持方向盘，则手部像素区域和方向盘像素区域会产生两个交连区域。

在本发明中，该握持状况是司机单手握持方向盘还是双手握持方向盘。

司机的手部握持在方向盘的有效位置，才能达到更好的安全驾驶。为此，还要判断司机的手部是否在方向盘的有效位置。方向盘通常是环形的物件，为此，可以借助夹角的概念去判断手部在方向盘上的位置关系。

故在本发明中，根据方向盘像素区域确定对应于方向盘的拟合环形线，根据手部像素区域确定手部的中心点，然后根据拟合环形线和中心点确定司机的手部在方向盘上的夹角信息。在本发明的进一步说明中，确定中心点与拟合环形线上的标准轴线之间的夹角作为司机的手部在方向盘上的夹角信息；其中，标准轴线为基于方向盘摆正时的图像拟合的环形线的中心分割线，中心分割线垂直于车辆的中轴线，车辆的中轴线是沿着车前方向的线。

最后将握持状况和夹角信息作为确定的司机状态信息。

本发明进一步提供的智能驾驶中的安全监测方法，通过对图像中的手部和方向盘进行区分提取像素区域，然后从区域的交连情况发现司机是否握持方向盘，还进一步的确定司机握持方向盘的有效性，实现对司机是否安全驾驶的有效数据支持。

在上述智能驾驶中的安全监测方法的进一步发明中，主要是对根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果的处理过程的解释说明，具体如下：

根据当前车辆与障碍物的实际距离确定第一危险等级；

根据车道线弯度信息确定第二危险等级；

根据第一危险等级和第二危险等级，以及握持状况和夹角信息确定目标跟踪结果。

对此，需要说明的是，在本发明中，存在道路上存在障碍物或车辆拐弯时，则会对行驶的车辆造成一定的危险状况。例如前面有车辆，可能存在追尾的危险；例如速度太快，拐弯容易甩出道路。为此，要基于当前车辆与障碍物的实际距离实时去确定危险等级，以及根据车道线弯度信息确定危险等级。该危险等级均可分为高危险、中危险和低危险。

该方法是用于对司机驾驶车辆在行驶方向上可能遇到危险场景时操作方向盘不当的监测及提醒，为此，要在确定危险等级的基础上，结合握持状况和夹角信息确定目标跟踪结果，然后根据目标跟踪结果是否发出报警。

在上述智能驾驶中的安全监测方法的进一步发明中，主要是对根据所述目标跟踪结果监测并发出安全报警的处理过程进行解释说明，具体如下：

若第一危险等级为高危险，且握持状况为未双手握持方向盘，则发出报警；若为其他情况，则不发出报警（即警报声或语音提醒）。

若第一危险等级为中危险，且没有握持方向盘，则发出报警；若为其他情况，则不发出报警。

若第一危险等级为低危险，则不发出报警；

若第二危险等级为高危险，且根据夹角信息确定至少一只手在方向盘的第一夹角范围，根据握持状况确定双手握持方向盘，则不发出报警；若为其他情况，则发出报警。

若第二危险等级为中危险，且根据夹角信息确定至少一只手在方向盘的第二夹角范围，则不发出报警；若为其他情况，则发出报警。

若第二危险等级为低危险，则不发出报警。

另外，还可以说明的，根据第一危险等级和第二危险等级的结合情况，配置报警或不报警的规则也在本发明实施例中，在此不再展示。

下面对本发明提供的智能驾驶中的安全监测装置进行描述，下文描述的智能驾驶中的安全监测装置与上文描述的智能驾驶中的安全监测方法可相互对应参照。

图2示出了本发明提供的一种智能驾驶中的安全监测装置的结构示意图，参见图2，该装置包括第一监测模块21、第二监测模块22、处理模块23和报警模块24，其中：

第一监测模块21，用于根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；

第二监测模块22，用于根据当前车辆在车内的第二图像获取司机状态信息；其中，所述司机状态信息用于表征手部与方向盘的接触状态；其中，所述第二图像与所述第一图像在同一时刻采集，且针对同一个所述当前车辆；

处理模块23，用于根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果；

报警模块24，用于根据所述目标跟踪结果监测并发出安全报警。

在上述装置的进一步说明中，该第一监测模块在根据当前车辆在行驶方向上的第一图像获取的处理过程中，具体用于：

将第一图像输入到障碍识别模型中，得到由障碍识别模型输出的识别结果，识别结果用于表征当前车辆在行驶方向上是否存在障碍物；

根据识别结果确定当前车辆在行驶方向上存在障碍物，根据第一图像确定当前车辆与障碍物的实际距离；

将当前车辆与障碍物的实际距离作为确定的障碍物信息；

其中，障碍识别模型为将根据样本图像的图像特征和样本图像的识别结果作为输入，通过机器学习训练得到的，用于预测车辆在行驶方向上是否存在障碍物的模型。

在上述装置的进一步说明中，该第一监测模块在根据当前车辆在行驶方向上的第一图像获取的处理过程中，具体用于：

将第一图像输入到车道线预测模型中，得到由车道线预测模型输出的弯度倾向度，弯度倾向度用于表征第一图像中车道线倾向于一弯度值的概率；

根据输出的弯度倾向度确定车道线弯度信息；

其中，车道线预测模型为将样本图像的车道线特征和样本图像中车道线的弯度值作为输入，通过机器学习训练得到的，用于预测车辆在行驶方向上车道线弯度的模型；

车道线预测模型包括识别层和计算层，识别层用于根据第一图像确定第一图像中的车道线特征，计算层用于基于样本图像的车道线特征和第一图像中的车道线特征确定第一图像中车道线的弯度倾向度。

在上述装置的进一步说明中，该第二监测模块在根据所述第二图像确定司机状态信息的处理过程中，具体用于：

根据所述第二图像确定司机的手部像素区域和方向盘像素区域；

根据所述手部像素区域和所述方向盘像素区域确定区域相连信息，根据所述区域相连信息判断司机对方向盘的握持状况；

根据所述方向盘像素区域确定对应于方向盘的拟合环形线，根据所述手部像素区域确定手部的中心点；

根据所述拟合环形线和所述中心点确定司机的手部在方向盘上的夹角信息；

将所述握持状况和所述夹角信息作为确定的司机状态信息。

在上述装置的进一步说明中，该第二监测模块在根据拟合环形线和中心点确定司机的手部在方向盘上的夹角信息的处理过程中，具体用于：

确定中心点与拟合环形线上的标准轴线之间的夹角作为司机的手部在方向盘上的夹角信息；

其中，标准轴线为基于方向盘摆正时的图像拟合的环形线的中心分割线，中心分割线垂直于车辆的中轴线。

在上述装置的进一步说明中，该处理模块在根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果的处理过程中，具体用于：

根据当前车辆与障碍物的实际距离确定第一危险等级；

根据车道线弯度信息确定第二危险等级；

根据第一危险等级和第二危险等级，以及握持状况和所述夹角信息确定目标跟踪结果。

在上述装置的进一步说明中，该处理模块在根据所述目标跟踪结果监测并发出安全报警的处理过程中，具体用于：

若第一危险等级为高危险，且握持状况为未双手握持方向盘，则发出报警；

若第一危险等级为中危险，且没有握持方向盘，则发出报警；

若第一危险等级为低危险，则不发出报警；

若第二危险等级为高危险，且根据夹角信息确定至少一只手在方向盘的第一夹角范围，根据握持状况确定双手握持方向盘，则不发出报警；

若第二危险等级为中危险，且根据夹角信息确定至少一只手在方向盘的第二夹角范围，则不发出报警；

若第二危险等级为低危险，则不发出报警。

本发明提供的智能驾驶中的安全监测装置，通过对车辆行驶前方的图像分析识别出车辆遇到的具体危险场景，并对车辆内部的图像分析检测司机握持方向盘的状态，然后根据具体危险场景来判断握持方向盘的状态是否安全，并在不安全的场景下，给司机发出提醒，提高车辆的安全驾驶，减少道路事故的发生。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器（processor）31、通信接口（Communication Interface）32、存储器（memory）33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信。处理器31可以调用存储器33中的计算机程序，以执行用户的智能驾驶中的安全监测方法的步骤，例如包括：根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；根据当前车辆在车内的第二图像获取司机状态信息；其中，司机状态信息用于表征手部与方向盘的接触状态；其中，第二图像与第一图像在同一时刻采集，且针对同一个当前车辆；根据障碍物信息和车道线弯度信息，以及司机状态信息确定目标跟踪结果；根据目标跟踪结果监测并发出安全报警。

此外，上述的存储器33中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的智能驾驶中的安全监测方法，该方法包括：根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；根据当前车辆在车内的第二图像获取司机状态信息；其中，司机状态信息用于表征手部与方向盘的接触状态；其中，第二图像与第一图像在同一时刻采集，且针对同一个当前车辆；根据障碍物信息和车道线弯度信息，以及司机状态信息确定目标跟踪结果；根据目标跟踪结果监测并发出安全报警。

另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述各实施例提供的智能驾驶中的安全监测方法，例如包括：根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；根据当前车辆在车内的第二图像获取司机状态信息；其中，司机状态信息用于表征手部与方向盘的接触状态；其中，第二图像与第一图像在同一时刻采集，且针对同一个当前车辆；根据障碍物信息和车道线弯度信息，以及司机状态信息确定目标跟踪结果；根据目标跟踪结果监测并发出安全报警。

所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NANDFLASH）、固态硬盘（SSD））等。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种智能驾驶中的安全监测方法，其特征在于，包括：

根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；

根据当前车辆在车内的第二图像获取司机状态信息；其中，所述司机状态信息用于表征手部与方向盘的接触状态；其中，所述第二图像与所述第一图像在同一时刻采集，且针对同一个所述当前车辆；

根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果；

根据所述目标跟踪结果监测并发出安全报警。

2.根据权利要求1所述的智能驾驶中的安全监测方法，其特征在于，根据当前车辆在行驶方向上的第一图像获取障碍物信息，包括：

将所述第一图像输入到障碍识别模型中，得到由障碍识别模型输出的识别结果，所述识别结果用于表征当前车辆在行驶方向上是否存在障碍物；

根据所述识别结果确定当前车辆在行驶方向上存在障碍物后，根据所述第一图像确定当前车辆与障碍物的实际距离；

将当前车辆与障碍物的实际距离作为确定的障碍物信息；

其中，障碍识别模型为将根据样本图像的图像特征和样本图像的识别结果作为输入，通过机器学习训练得到的，用于预测车辆在行驶方向上是否存在障碍物的模型。

3.根据权利要求2所述的智能驾驶中的安全监测方法，其特征在于，根据当前车辆在行驶方向上的第一图像获取车道线弯度信息，包括：

将所述第一图像输入到车道线预测模型中，得到由车道线预测模型输出的弯度倾向度，所述弯度倾向度用于表征第一图像中车道线倾向于一弯度值的概率；

根据输出的弯度倾向度确定车道线弯度信息；

其中，所述车道线预测模型为将样本图像的车道线特征和样本图像中车道线的弯度值作为输入，通过机器学习训练得到的，用于预测车辆在行驶方向上车道线弯度的模型；

所述车道线预测模型包括识别层和计算层，所述识别层用于根据第一图像确定第一图像中的车道线特征，所述计算层用于基于样本图像的车道线特征和第一图像中的车道线特征确定第一图像中车道线的弯度倾向度。

4.根据权利要求3所述的智能驾驶中的安全监测方法，其特征在于，根据所述第二图像确定司机状态信息，包括：

根据所述第二图像确定司机的手部像素区域和方向盘像素区域；

根据所述手部像素区域和所述方向盘像素区域确定区域相连信息，根据所述区域相连信息判断司机对方向盘的握持状况；

根据所述方向盘像素区域确定对应于方向盘的拟合环形线，根据所述手部像素区域确定手部的中心点；

根据所述拟合环形线和所述中心点确定司机的手部在方向盘上的夹角信息；

将所述握持状况和所述夹角信息作为确定的司机状态信息。

5.根据权利要求4所述的智能驾驶中的安全监测方法，其特征在于，根据所述拟合环形线和所述中心点确定司机的手部在方向盘上的夹角信息，包括：

确定所述中心点与所述拟合环形线上的标准轴线之间的夹角作为司机的手部在方向盘上的夹角信息；

其中，所述标准轴线为基于方向盘摆正时的图像拟合的环形线的中心分割线，所述中心分割线垂直于车辆的中轴线。

6.根据权利要求5所述的智能驾驶中的安全监测方法，其特征在于，根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果，包括：

根据当前车辆与障碍物的实际距离确定第一危险等级；

根据车道线弯度信息确定第二危险等级；

根据所述第一危险等级和第二危险等级，以及所述握持状况和所述夹角信息确定目标跟踪结果。

7.根据权利要求6所述的智能驾驶中的安全监测方法，其特征在于，根据所述目标跟踪结果监测并发出安全报警，包括：

若第一危险等级为高危险，且所述握持状况为未双手握持方向盘，则发出报警；

若第一危险等级为中危险，且没有握持方向盘，则发出报警；

若第一危险等级为低危险，则不发出报警；

若第二危险等级为高危险，且根据所述夹角信息确定至少一只手在方向盘的第一夹角范围，根据所述握持状况确定双手握持方向盘，则不发出报警；

若第二危险等级为中危险，且根据所述夹角信息确定至少一只手在方向盘的第二夹角范围，则不发出报警；

若第二危险等级为低危险，则不发出报警。

8.一种智能驾驶中的安全监测装置，其特征在于，包括：

第一监测模块，用于根据当前车辆在行驶方向上的第一图像，获取障碍物信息和车道线弯度信息；

第二监测模块，用于根据当前车辆在车内的第二图像获取司机状态信息；其中，所述司机状态信息用于表征手部与方向盘的接触状态；其中，所述第二图像与所述第一图像在同一时刻采集，且针对同一个所述当前车辆；

处理模块，用于根据所述障碍物信息和车道线弯度信息，以及所述司机状态信息确定目标跟踪结果；

报警模块，用于根据所述目标跟踪结果监测并发出安全报警。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述智能驾驶中的安全监测方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项权利要求所述智能驾驶中的安全监测方法的步骤。

Images