CN116142173A - 基于图像深度的车辆控制方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种基于图像深度的车辆控制方法、装置、设备及存储介质。该方法应用于车辆，包括：获取车辆前方预设空间范围内的环境图像；识别所述环境图像中的物体，确定所述环境图像中物体所对应的图像深度的深度区间；其中，所述深度区间用于表示物体与车辆之间的距离范围；根据所述环境图像中物体所对应的图像深度的深度区间，控制所述车辆进行行驶。本申请通过确定车辆与前方物体的距离范围，进行车辆控制，准确率提升，计算速度更快，提高车辆控制效率。

Description

基于图像深度的车辆控制方法、装置、设备及存储介质

技术领域

本申请涉及自动驾驶技术，尤其涉及一种基于图像深度的车辆控制方法、装置、设备及存储介质。

背景技术

随着经济的快速发展，道路上的行驶的车辆越来越多，因司机疲劳驾驶、醉酒驾驶或驾驶技术操作不当导致的交通事故频频发生。道路交通事故给个人、家庭和整个社会都带来了巨大的经济损失和精神上的痛苦。计算出车辆前方的行人、车辆及障碍物与本车之间的距离，可以为车辆的安全行驶提供保障。

现有技术中，利用马尔科夫随机场学习输入图像的特征与输出的深度之间的映射关系，利用图像中多尺度的纹理、模糊等深度特征，构建高斯马尔科夫随机场模型和拉普拉斯马尔科夫随机场模型对单张图片进行深度估计。

但是，这种方法中建立的模型所适用的场景非常局限，且需要计算出图像深度的具体距离值，计算量大，耗时高，图像深度的确定精度和效率较低，导致车辆控制的精度和效率较低。

发明内容

本申请提供一种基于图像深度的车辆控制方法、装置、设备及存储介质，用以提高车辆控制的精度和效率。

第一方面，本申请提供一种基于图像深度的车辆控制方法，该方法应用于车辆，包括：

获取车辆前方预设空间范围内的环境图像；

识别所述环境图像中的物体，确定所述环境图像中物体所对应的图像深度的深度区间；其中，所述深度区间用于表示物体与车辆之间的距离范围；

根据所述环境图像中物体所对应的图像深度的深度区间，控制所述车辆进行行驶。

第二方面，本申请提供一种基于图像深度的车辆控制装置，该装置应用于车辆，包括：

图像获取模块，用于获取车辆前方预设空间范围内的环境图像；

区间确定模块，用于识别所述环境图像中的物体，确定所述环境图像中物体所对应的图像深度的深度区间；其中，所述深度区间用于表示物体与车辆之间的距离范围；

车辆控制模块，用于根据所述环境图像中物体所对应的图像深度的深度区间，控制所述车辆进行行驶。

第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如本申请第一方面所述的基于图像深度的车辆控制方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本申请第一方面所述的基于图像深度的车辆控制方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本申请第一方面所述的基于图像深度的车辆控制方法。

本申请提供的一种基于图像深度的车辆控制方法、装置、设备及存储介质，通过车辆上安装的图像采集设备获取车辆前方的环境图像，对环境图像进行物体的识别，确定图像中物体的图像深度所在的深度区间，即，确定物体与车辆之间的距离范围。根据距离范围控制车辆行驶，提高驾驶安全。解决了现有技术中，需要计算出具体距离值导致的计算速度慢或计算精度低等问题。通过确定深度区间，提高计算的准确率，且计算速度更快，满足车端计算平台低算力的要求，提高车辆控制的精度和效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种基于图像深度的车辆控制方法的流程示意图；

图2为本申请实施例提供的安装有图像采集设备的车辆示意图；

图3为本申请实施例提供的一种基于图像深度的车辆控制方法的流程示意图；

图4为本申请实施例提供的一种基于图像深度的车辆控制装置的结构框图；

图5为本申请实施例提供的一种基于图像深度的车辆控制装置的结构框图；

图6为本申请实施例提供的一种电子设备的结构框图；

图7为本申请实施例提供的一种电子设备的结构框图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

需要注意的是，由于篇幅所限，本申请说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。下面对各实施例进行详细说明。

近些年，随着经济的快速发展，道路上的行驶的车辆越来越多，其中，因司机疲劳驾驶、醉酒驾驶或驾驶技术操作不当导致的交通事故频频发生。据统计，全世界每年约有130万人的生命因道路交通事故而终止，还有2000万至5000万人受到非致命伤害。道路交通事故给个人和家庭都带来了巨大的经济损失和精神上的痛苦。每年道路交通碰撞的损失占国内生产总值的3％。而自动驾驶技术可以大大降低道路交通事故的发生次数，通过精确的算法及精良的传感器设备可以安全地驾驶车辆，其中，单目深度估计可以计算出车辆前方的行人、车辆及障碍物与本车之间的距离，为车辆的安全行驶提供保障。

传统的单目图像深度估计算法是基于机器学习的中的马尔可夫随机场或条件随机场对深度关系进行建模，在最大后验概率的基础上，通过对能量函数最小化来求解图像深度。根据模型是否包含参数，该方法又可进一步分为参数学习方法和非参数学习方法。参数学习方法假定模型包含未知参数，训练过程即是对未知参数进行求解。通常是利用马尔科夫随机场学习输入图像特征与输出深度之间的映射关系，利用图像中多尺度的纹理、模糊等深度特征，分别构建高斯马尔科夫随机场模型和拉普拉斯马尔科夫随机场模型对单张图片进行深度估计。但是，参数学习方法所假定的模型难以模拟真实世界的映射关系，适用场景非常局限。非参数学习方法通过使用现有的数据集进行相似性检索进而推测图像深度，不需要通过学习来获得参数。但是需要依赖图像检索，计算量较大，耗时高，不能满足自动驾驶中实时性和低算力的性能要求。

且现有技术中都需要计算出距离的深度值，计算难度大，计算出的深度值容易出现偏差，导致车辆控制时出现错误，车辆控制的精度和效率较低，影响驾驶安全。

本申请提供的一种基于图像深度的车辆控制方法、装置、设备及存储介质，旨在解决现有技术的如上技术问题。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1是根据本申请实施例提供的一种基于图像深度的车辆控制方法的流程示意图，该方法应用于车辆，可以由一种基于图像深度的车辆控制装置执行。如图1所示，该方法包括以下步骤：

S101、获取车辆前方预设空间范围内的环境图像。

示例性地，车辆上可以安装有图像采集设备，例如，图像采集设备可以是摄像头，图像采集设备可以实时或定时地获取车辆周围的环境图像。可以预设图像采集周期，例如，图像采集周期为一分钟，则图像采集设备可以每分钟采集一次环境图像。在车辆驾驶时，为了避免车辆与前方行人、车辆或其他障碍物发生碰撞，图像采集设备可以采集车辆前方的环境图像。例如，图像采集设备可以安装在车头的位置。图2为安装有图像采集设备的车辆示意图。图2中的图像采集设备安装在车内的顶部，可以朝向车辆的前方进行环境图像的采集。

可以预先设置图像采集设备可以采集到的空间范围，图像采集设备采集到预设空间范围内的环境图像，车辆通过图像采集设备获取环境图像。即，车辆可以实时或定时获取到自身前方预设空间范围内的环境图像。

S102、识别环境图像中的物体，确定环境图像中物体所对应的图像深度的深度区间；其中，深度区间用于表示物体与车辆之间的距离范围。

示例性地，对环境图像进行目标识别，可以预先设定目标识别算法，识别得到的目标为环境图像中的物体。环境图像中的物体可以是车辆、行人及其他障碍物等，一张环境图像中可以有一个或多个物体。例如，可以预先训练一个目标识别的网络模型，预先对该模型进行训练，可以识别出图像中的车辆、行人及其他障碍物等。

预先设定一个或多个深度区间，深度区间的区间范围可以用于表示物体与自身车辆之间的距离范围。例如，深度区间为1米至2米的范围，则可以表示物体与车辆之间的距离在1米至2米之间。在确定环境图像中各物体的图像深度时，可以确定各物体图像深度所在的深度区间，即，确定各物体的图像深度的范围。例如，环境图像中存在一个行人，该行人的图像深度所在的深度区间为3米至5米，则可以确定该行人与车辆的距离在3米至5米之间。

可以预先设置深度区间的确定算法，例如，可以根据环境图像中物体的大小、颜色和光影等确定物体的深度区间。在确定深度区间时，不需要确定具体的图像深度值，避免图像深度值计算错误。可以预先设置多个深度区间，例如，可以将预先将车前100米的范围内划分出多个深度区间，各深度区间的总长为100米，深度区间可以表示为[0，1]、[1，3][3，8][8，15]和[15，30]等。若根据物体的大小确定深度区间，则可以预先设置不同物体大小与深度区间之间的关联关系，从而确定出物体所处的深度区间，减少计算量，提高计算效率。

S103、根据环境图像中物体所对应的图像深度的深度区间，控制车辆进行行驶。

示例性地，在确定环境图像中各物体的深度区间后，可以根据深度区间，对车辆进行智能控制。例如，环境图像中存在一辆汽车位于自身车辆的前方，汽车的所处的深度区间为[2，3]，即该汽车与自身车辆之间的距离在2米至3米之间，则可以向自身车辆发送减速指令，控制车辆进行减速，避免发生碰撞。

车辆也可以预设需要发出提示信息的深度区间，作为危险深度区间。即，当车辆前方的物***于预设的危险深度区间中，则车辆可以向用户发出提示信息，提醒用户及时进行操作，避免发生危险。例如，危险深度区间为[0，1]，则当存在物体与车辆之间的距离小于1米时，车辆可以发出声光报警，提醒用户注意行车安全。

若环境图像中存在多个物体，各物体所在的深度区间不同，则可以根据各物体的深度区间，确定距离车辆最近的物体。根据距离车辆最近的物体的深度区间，控制车辆进行行驶。

本实施例中，根据环境图像中物体所对应的图像深度的深度区间，控制车辆进行行驶，包括：根据环境图像中物体所对应的图像深度的深度区间，基于预设的深度区间与控制规则之间的关联关系，确定与环境图像中物体所对应的图像深度的深度区间关联的控制规则，为当前控制规则；根据当前控制规则，控制车辆进行行驶。

具体的，当车辆前方的物体处于不同的深度区间时，车辆的控制操作可以不同。例如，若物体距离车辆过近，则车辆需要减速并进行鸣笛；若物体距离车辆过远，则车辆继续正常行驶。

可以预先设置车辆的多种控制规则，车辆根据控制规则进行驾驶控制，控制规则中可以包括车辆的行驶操作，例如，行驶操作可以包括停车、减速、加速和鸣笛等。预设不同深度区间与控制规则之间的关联关系，在得到物体的深度区间后，根据该关联关系，确定与物体深度区间所关联的控制规则，作为当前控制规则。例如，预设控制规则包括控制规则一和控制规则二，与控制规则一关联的深度区间为[1，2]，与控制规则二关联的深度区间为[2，4]。若物体所在深度区间为[1，2]，则可以确定控制规则一为当前控制规则。执行当前控制规则，对车辆进行智能控制，例如，控制规则一可以是车辆以预设加速度进行减速，直至停止。

这样设置的有益效果在于，可以根据预设的控制规则，快速确定针对车前物体所需执行的控制操作，提高车辆控制的效率，实现车辆行驶的智能化，为车辆的安全行驶提供保障。

本申请实施例提供的一种基于图像深度的车辆控制方法，通过车辆上安装的图像采集设备获取车辆前方的环境图像，对环境图像进行物体的识别，确定图像中物体的图像深度所在的深度区间，即，确定物体与车辆之间的距离范围。根据距离范围控制车辆行驶，提高驾驶安全。解决了现有技术中，需要计算出具体距离值导致的计算速度慢或计算精度低等问题。通过确定深度区间，提高计算的准确率，且计算速度更快，满足车端计算平台低算力的要求，提高车辆控制的精度和效率。

图3为本申请实施例提供的一种基于图像深度的车辆控制方法的流程示意图，该实施例是在上述实施例基础上的可选实施例。

本实施例中，识别环境图像中的物体，确定环境图像中物体所对应的图像深度的深度区间，可细化为：将环境图像输入至预设的神经网络模型，得到环境图像中的物体；确定环境图像中物体的图像深度在预先划分的各深度区间中的概率；其中，在车辆前方的预设距离内，预先划分有至少一个深度区间；根据环境图像中的物体在预先划分的各深度区间中的概率，确定环境图像中物体所对应的图像深度的深度区间。

如图3示，该方法包括以下步骤：

S301、获取车辆前方预设空间范围内的环境图像。

示例性地，本步骤可以参见上述步骤S101，不再赘述。

S302、将环境图像输入至预设的神经网络模型，得到环境图像中的物体。

示例性地，预先训练一个神经网络模型，例如，可以训练一个深度学习的神经网络模型，神经网络模型可以用于确定环境图像中的物体以及各物体所处的深度区间。将环境图像输入至神经网络模型，预先训练神经网络模型，使神经网络模型可以识别出图像中的行人、车辆、树木、动物及其他障碍物等。神经网络模型对输入的环境图像进行特征提取，输出得到环境图像中的各物体。

本实施例中，将环境图像输入至预设的神经网络模型，得到环境图像中的物体，包括：将环境图像输入至预设的神经网络模型中的U型网络；根据U型网络对环境图像进行特征提取，得到环境图像的特征向量；根据特征向量，确定环境图像的前景部分，识别前景部分中的物体，为环境图像中的物体。

具体的，可以采用U-net(U型网络)网络结构作为神经网络的骨干网络。将环境图像输入至U-net网络，U-net网络对环境图像进行特征提取，例如，可以对环境图像进行卷积、降采样和反卷积等操作。U-net网络经过特征提取，可以输出得到环境图像的特征向量。

根据环境图像的特征向量，从环境图像中分割出前景部分，前景部分是指行人、车辆和障碍物等的图像部分，背景部分可以是指天空、道路、道路两侧的树木以及道路上悬挂的标识牌等图像部分。在得到环境图像的前景部分后，对前景部分中的物体进行识别，将前景部分中的物体确定为环境图像中的物体。即，在确定环境图像中的物体时，可以不考虑道路背景中的标识牌等物体。

这样设置的有益效果在于，通过预先训练神经网络模型，可以适应多种道路场景，通过使用U-net网络，以及分割出前景部分，可以对物体进行精确识别，提高物体识别精度，进而提高车辆的控制精度。

本实施例中，根据特征向量，确定环境图像的前景部分，包括：根据特征向量，基于预设的前景和背景分割算法，对环境图像的前景部分和背景部分进行分割；为前景部分添加预设的第一标识，为背景部分添加预设的第二标识，根据第一标识，确定环境图像的前景部分。

具体的，预先设置一个图像的前景和背景分割算法，前景和背景分割算法可以用于对环境图像的前景部分和背景部分进行分割。本实施例中，对前景和背景分割算法不做具体限定。

利用前景和背景分割算法，根据环境图像的特征向量，对环境图像的前景部分和背景部分进行分割。预先设置第一标识和第二标识，例如，第一标识为0，第二标识为1，将第一标识添加到前景部分，以及将第二标识添加到背景部分。通过获取分割出的图像上的标识，确定添加了第一标识的部分为前景部分。

这样设置的有益效果在于，通过对前景和背景进行分割，可以对环境图像中的物体进行精确识别，避免物体识别错误，进而提高车辆控制的精度。

本实施例中，在将环境图像输入至预设的神经网络模型之前，还包括：获取预先采集的待训练图像，确定待训练图像中的实际物体以及各实际物体的实际深度区间；将待训练图像输入至待训练的神经网络模型中，输出得到待训练图像中的目标物体以及各目标物体所对应的目标深度区间；根据待训练图像中的实际物体、各实际物体的实际深度区间、待训练图像中的目标物体以及各目标物体所对应的目标深度区间，基于预设的有序回归损失函数，对神经网络模型进行训练，得到训练完成的神经网络模型。

具体的，预先对构建的神经网络模型进行训练，构建的神经网络模型可以是DORN(Deep Ordinal Regression Network，深度有序回归网络)模型。原始的DORN网络模型的结构是输入图像经过一个卷积网络，该卷积网络与其他提取特征的骨干网络区别在于去掉了一些池化层，因此特征提取器是致密的，即特征图的尺寸比较大。接着特征图经过了五个通道，包括一个全图编码器，一个卷积运算和三个尺度的膨胀卷积，这五个通道的结果串联起来构成了Scene understanding modular(场景理解模块)，最后经过1×1卷积，整合五个通道的信息，送给有序回归部分进行输出。本实施例中，采用U-net网络代替有序回归之前的部分。即，在训练时，输入环境图像，直接通过U-net网络得到特征向量，根据特征向量，确定环境图像的前景部分，识别前景部分中的物体，为环境图像中的物体。确定环境图像中物体所对应的图像深度的深度区间，将环境图像中的物体和深度区间的结果输入至有序回归部分进行训练。

预先采集大量的待训练图像，对待训练图像进行标记，人工确定待训练图像上的物体以及各物体所在的深度区间。将人工确定的待训练图像上的物体确定为实际物体，实际物体实际所在的深度区间为实际深度区间。即，预先确定待训练图像中的实际物体以及各实际物体的实际深度区间。实际深度区间为拍摄图像时，摄像头与图像中物体的实际距离所在的深度区间。

将待训练图像输入至待训练的神经网络模型中，输出得到待训练图像中的目标物体以及各目标物体所对应的目标深度区间。目标物体是神经网络模型经过计算得到的环境图像中的物体，目标深度区间是神经网络模型经过计算得到的目标物体所处的深度区间。

根据预设的有序回归损失函数进行反向传播，根据待训练图像中的实际物体、各实际物体的实际深度区间、待训练图像中的目标物体以及各目标物体所对应的目标深度区间，基于预设的有序回归损失函数，对神经网络模型进行训练，确定实际物体与目标物体之间是否一致，以及确定一个物体的实际深度区间与该物体所对应的目标深度区间是否一致。若均一致，则确定神经网络模型训练完成；若存在不一致，则可以继续训练该神经网络模型。

这样设置的有益效果在于，使用U-net网络替换原始DORN网络模型的五个通道和场景理解模块，减少计算过程，计算结果更精确，计算速度快，满足车端计算平台低算力的要求，提高车辆控制精度和效率。

S303、确定环境图像中物体的图像深度在预先划分的各深度区间中的概率；其中，在车辆前方的预设距离内，预先划分有至少一个深度区间。

示例性地，预先划分多个深度区间，可以按距离增加的离散化方式对预设距离进行深度区间的划分。例如，距离车辆越近，深度区间越密集，距离车辆越远，深度区间越稀疏。可以将100米的范围内划分为120个区间，本实施例中，对各个深度区间的距离范围和深度区间的数量不做具体限定。

根据训练好的神经网络模型，确定各物***于各个深度区间中的概率，例如，共划分有120个深度区间，则对于一个物体，可以计算出120个概率。所计算出的概率可以表示为物体处于各深度区间的可能性。

本实施例中，确定环境图像中物体的图像深度在预先划分的各深度区间中的概率，包括：根据环境图像中物体的特征向量，计算各物体与车辆之间的距离位于各深度区间中的概率。

具体的，神经网络模型对环境图像进行特征提取，得到环境图像中各物体的特征向量。各物体的特征向量可以包括物体的大小和像素值等特征的向量。根据物体的特征向量，计算各物***于各深度区间的概率。例如，物体的大小越大，则位于靠前的深度区间的概率就越大。可以预先设置概率的计算公式并进行训练，本实施例中，对概率的计算公式不做具体的限定。

这样设置的有益效果在于，根据各物体的图像特征，确定物***于各深度区间的可能性，便于找到物体所在的深度区间，提高车辆控制的精度。

S304、根据环境图像中的物体在预先划分的各深度区间中的概率，确定环境图像中物体所对应的图像深度的深度区间。

示例性地，在得到一个物体在各深度区间的概率后，可以确定该物体实际所处的深度区间，而不需要计算该物体的具体图像深度。若环境图像中有多个物体，则可以确定各物体所处的深度区间。

本实施例中，根据环境图像中的物体在预先划分的各深度区间中的概率，确定环境图像中物体所对应的图像深度的深度区间，包括：将环境图像中的物体在预先划分的各深度区间中的概率，进行由大至小的排序；将排在第一位的概率所对应的深度区间，确定为环境图像中物体所对应的图像深度的深度区间。

具体的，在得到各个物体的在各个深度区间中的概率后，对每个物体的各个概率进行排序，可以按照由小至大排序，也可以按照由大至小排序。即，每个物体都可以得到一条排序结果。根据排序结果，确定各个物体的概率中的最大概率。例如，将一个物体的多个概率进行由大至小的排序，排序结果中位于第一位的概率即为该物体的最大概率。将最大概率所对应的深度区间，确定为物体所处的深度区间。

这样设置的有益效果在于，可以根据大小比较，找到物体真正所处的深度区间，从而得到物体与车辆之间的距离范围，便于对车辆进行控制，保障行驶安全。

S305、根据环境图像中物体所对应的图像深度的深度区间，控制车辆进行行驶。

示例性地，本步骤可以参见上述步骤S103，不再赘述。

本申请实施例提供的一种基于图像深度的车辆控制方法，通过车辆上安装的图像采集设备获取车辆前方的环境图像，对环境图像进行物体的识别，确定图像中物体的图像深度所在的深度区间，即，确定物体与车辆之间的距离范围。根据距离范围控制车辆行驶，提高驾驶安全。解决了现有技术中，需要计算出具体距离值导致的计算速度慢或计算精度低等问题。通过确定深度区间，提高计算的准确率，且计算速度更快，满足车端计算平台低算力的要求，提高车辆控制的精度和效率。

图4为本申请实施例提供的一种基于图像深度的车辆控制装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。该装置应用于车辆，参照图4，该装置包括：图像获取模块401、区间确定模块402和车辆控制模块403。

图像获取模块401，用于获取车辆前方预设空间范围内的环境图像；

区间确定模块402，用于识别所述环境图像中的物体，确定所述环境图像中物体所对应的图像深度的深度区间；其中，所述深度区间用于表示物体与车辆之间的距离范围；

车辆控制模块403，用于根据所述环境图像中物体所对应的图像深度的深度区间，控制所述车辆进行行驶。

图5为本申请实施例提供的一种基于图像深度的车辆控制装置的结构框图，在图4所示实施例的基础上，如图5所示，区间确定模块402包括物体识别单元4021、概率确定单元4022和深度区间确定单元4023。

物体识别单元4021，用于将所述环境图像输入至预设的神经网络模型，得到所述环境图像中的物体；

概率确定单元4022，用于确定所述环境图像中物体的图像深度在预先划分的各深度区间中的概率；其中，在所述车辆前方的预设距离内，预先划分有至少一个深度区间；

深度区间确定单元4023，用于根据所述环境图像中的物体在预先划分的各深度区间中的概率，确定所述环境图像中物体所对应的图像深度的深度区间。

一个示例中，物体识别单元4021，包括：

图像输入子单元，用于将所述环境图像输入至预设的神经网络模型中的U型网络；

特征提取子单元，用于根据所述U型网络对所述环境图像进行特征提取，得到所述环境图像的特征向量；

前景确定子单元，用于根据所述特征向量，确定所述环境图像的前景部分，识别所述前景部分中的物体，为所述环境图像中的物体。

一个示例中，前景确定子单元，具体用于：

根据所述特征向量，基于预设的前景和背景分割算法，对所述环境图像的前景部分和背景部分进行分割；

为所述前景部分添加预设的第一标识，为所述背景部分添加预设的第二标识，根据所述第一标识，确定所述环境图像的前景部分。

一个示例中，概率确定单元4022，具体用于：

根据所述环境图像中物体的特征向量，计算各物体与车辆之间的距离位于各深度区间中的概率。

一个示例中，深度区间确定单元4023，具体用于：

将所述环境图像中的物体在预先划分的各深度区间中的概率，进行由大至小的排序；

将排在第一位的概率所对应的深度区间，确定为所述环境图像中物体所对应的图像深度的深度区间。

一个示例中，该装置还包括：

模型训练模块，用于在将所述环境图像输入至预设的神经网络模型之前，获取预先采集的待训练图像，确定所述待训练图像中的实际物体以及各实际物体的实际深度区间；

将所述待训练图像输入至待训练的神经网络模型中，输出得到所述待训练图像中的目标物体以及各目标物体所对应的目标深度区间；

根据所述待训练图像中的实际物体、各实际物体的实际深度区间、所述待训练图像中的目标物体以及各目标物体所对应的目标深度区间，基于预设的有序回归损失函数，对所述神经网络模型进行训练，得到训练完成的神经网络模型。

一个示例中，车辆控制模块403，具体用于：

根据所述环境图像中物体所对应的图像深度的深度区间，基于预设的深度区间与控制规则之间的关联关系，确定与所述环境图像中物体所对应的图像深度的深度区间关联的控制规则，为当前控制规则；

根据所述当前控制规则，控制所述车辆进行行驶。

图6为本申请实施例提供的一种电子设备的结构框图，如图6所示，电子设备包括：存储器61，处理器62；存储器61，用于存储处理器62可执行指令的存储器。

其中，处理器62被配置为执行如上述实施例提供的方法。

电子设备还包括接收器63和发送器64。接收器63用于接收其他设备发送的指令和数据，发送器64用于向外部设备发送指令和数据。

图7是根据一示例性实施例示出的一种电子设备的结构框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)接口712，传感器组件714，以及通信组件716。

处理组件702通常控制设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件706为设备700的各种组件提供电力。电源组件706可以包括电源管理***，一个或多个电源，及其他与为设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为设备700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为设备700的显示器和小键盘，传感器组件714还可以检测设备700或设备700一个组件的位置改变，用户与设备700接触的存在或不存在，设备700方位或加速/减速和设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于设备700和其他设备之间有线或无线方式的通信。设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当该存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述终端设备的基于图像深度的车辆控制方法。

本申请还公开了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如本实施例中所述的方法。

本申请以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或电子设备上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据电子设备)、或者包括中间件部件的计算***(例如，应用电子设备)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和电子设备。客户端和电子设备一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-电子设备关系的计算机程序来产生客户端和电子设备的关系。电子设备可以是云电子设备，又称为云计算电子设备或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。电子设备也可以为分布式***的电子设备，或者是结合了区块链的电子设备。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (12)

1.一种基于图像深度的车辆控制方法，其特征在于，所述方法应用于车辆，所述方法包括：

获取车辆前方预设空间范围内的环境图像；

识别所述环境图像中的物体，确定所述环境图像中物体所对应的图像深度的深度区间；其中，所述深度区间用于表示物体与车辆之间的距离范围；

根据所述环境图像中物体所对应的图像深度的深度区间，控制所述车辆进行行驶。

2.根据权利要求1所述的方法，其特征在于，识别所述环境图像中的物体，确定所述环境图像中物体所对应的图像深度的深度区间，包括：

将所述环境图像输入至预设的神经网络模型，得到所述环境图像中的物体；

确定所述环境图像中物体的图像深度在预先划分的各深度区间中的概率；其中，在所述车辆前方的预设距离内，预先划分有至少一个深度区间；

根据所述环境图像中的物体在预先划分的各深度区间中的概率，确定所述环境图像中物体所对应的图像深度的深度区间。

3.根据权利要求2所述的方法，其特征在于，将所述环境图像输入至预设的神经网络模型，得到所述环境图像中的物体，包括：

将所述环境图像输入至预设的神经网络模型中的U型网络；

根据所述U型网络对所述环境图像进行特征提取，得到所述环境图像的特征向量；

根据所述特征向量，确定所述环境图像的前景部分，识别所述前景部分中的物体，为所述环境图像中的物体。

4.根据权利要求3所述的方法，其特征在于，根据所述特征向量，确定所述环境图像的前景部分，包括：

根据所述特征向量，基于预设的前景和背景分割算法，对所述环境图像的前景部分和背景部分进行分割；

为所述前景部分添加预设的第一标识，为所述背景部分添加预设的第二标识，根据所述第一标识，确定所述环境图像的前景部分。

5.根据权利要求3所述的方法，其特征在于，确定所述环境图像中物体的图像深度在预先划分的各深度区间中的概率，包括：

根据所述环境图像中物体的特征向量，计算各物体与车辆之间的距离位于各深度区间中的概率。

6.根据权利要求2所述的方法，其特征在于，根据所述环境图像中的物体在预先划分的各深度区间中的概率，确定所述环境图像中物体所对应的图像深度的深度区间，包括：

将所述环境图像中的物体在预先划分的各深度区间中的概率，进行由大至小的排序；

将排在第一位的概率所对应的深度区间，确定为所述环境图像中物体所对应的图像深度的深度区间。

7.根据权利要求2所述的方法，其特征在于，在将所述环境图像输入至预设的神经网络模型之前，还包括：

获取预先采集的待训练图像，确定所述待训练图像中的实际物体以及各实际物体的实际深度区间；

将所述待训练图像输入至待训练的神经网络模型中，输出得到所述待训练图像中的目标物体以及各目标物体所对应的目标深度区间；

根据所述待训练图像中的实际物体、各实际物体的实际深度区间、所述待训练图像中的目标物体以及各目标物体所对应的目标深度区间，基于预设的有序回归损失函数，对所述神经网络模型进行训练，得到训练完成的神经网络模型。

8.根据权利要求1-7中任一所述的方法，其特征在于，根据所述环境图像中物体所对应的图像深度的深度区间，控制所述车辆进行行驶，包括：

根据所述环境图像中物体所对应的图像深度的深度区间，基于预设的深度区间与控制规则之间的关联关系，确定与所述环境图像中物体所对应的图像深度的深度区间关联的控制规则，为当前控制规则；

根据所述当前控制规则，控制所述车辆进行行驶。

9.一种基于图像深度的车辆控制装置，其特征在于，所述装置应用于车辆，所述装置包括：

图像获取模块，用于获取车辆前方预设空间范围内的环境图像；

区间确定模块，用于识别所述环境图像中的物体，确定所述环境图像中物体所对应的图像深度的深度区间；其中，所述深度区间用于表示物体与车辆之间的距离范围；

车辆控制模块，用于根据所述环境图像中物体所对应的图像深度的深度区间，控制所述车辆进行行驶。

10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-8中任一项所述的基于图像深度的车辆控制方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8中任一项所述的基于图像深度的车辆控制方法。

12.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现如权利要求1-8中任一项所述的基于图像深度的车辆控制方法。

Images