CN113591569A - 障碍物检测方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了障碍物检测方法、装置、电子设备以及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智能交通和智慧城市场景下。具体实现方案为：获取在目标场景下采集的检测图像以及目标场景的背景图像，其中，背景图像中未包含障碍物；根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道；将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。由此，检测模型能准确检测到检测模型的训练过程中未出现过的障碍物，提高了障碍物检测的准确性。

Description

障碍物检测方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于智能交通和智慧城市场景下，尤其涉及障碍物检测方法、装置、电子设备以及存储介质。

背景技术

随着自动驾驶技术的快速发展，自动驾驶车辆正逐渐替代传统车辆成为用户的出行选择。自动驾驶不仅能够将汽车行驶的危险性降到最低，而且能够减轻用户繁重的驾驶任务。因此，自动驾驶将是未来汽车发展的大趋势。

自主泊车是自动驾驶中的一项重要功能，其是指车辆自动地泊车入位而不需要人工操作或控制。在自主泊车场景中，需要准确的定位停车场所的车位或通道上的障碍物，以确定空车位和能规避通道中障碍物的行驶路线，从而引导自动驾驶车辆实现自主泊车。

发明内容

本公开提供了一种障碍物检测方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种障碍物检测方法，包括：获取在目标场景下采集的检测图像以及所述目标场景的背景图像，其中，所述背景图像中未包含障碍物；根据所述检测图像与所述背景图像生成目标图像，所述目标图像中各像素点的色彩通道包括所述检测图像中对应像素点的色彩通道与所述背景图像中对应像素点的色彩通道；将所述目标图像输入经过训练的检测模型，以获取所述检测图像中的障碍物信息。

根据本公开的另一方面，提供了一种障碍物检测装置，包括：第一获取模块，用于获取在目标场景下采集的检测图像以及所述目标场景的背景图像，其中，所述背景图像中未包含障碍物；生成模块，用于根据所述检测图像与所述背景图像生成目标图像，所述目标图像中各像素点的色彩通道包括所述检测图像中对应像素点的色彩通道与所述背景图像中对应像素点的色彩通道；第一处理模块，用于将所述目标图像输入经过训练的检测模型，以获取所述检测图像中的障碍物信息。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的障碍物检测方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的障碍物检测方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据如上所述的障碍物检测方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的障碍物检测方法的流程示意图；

图2是根据本公开第二实施例的障碍物检测方法的流程示意图；

图3是根据本公开第二实施例的障碍物图像的示例图；

图4是根据本公开第二实施例的样本检测图像的示例图；

图5是根据本公开第三实施例的障碍物检测方法的流程示意图；

图6是根据本公开第四实施例的障碍物检测装置的结构示意图；

图7是根据本公开第五实施例的障碍物检测装置的结构示意图；

图8是用来实现本公开实施例的障碍物检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

可以理解的是，随着自动驾驶技术的快速发展，自动驾驶车辆正逐渐替代传统车辆成为用户的出行选择。自动驾驶不仅能够将汽车行驶的危险性降到最低，而且能够减轻用户繁重的驾驶任务。因此，自动驾驶将是未来汽车发展的大趋势。

自主泊车是自动驾驶中的一项重要功能，其是指车辆自动地泊车入位而不需要人工操作或控制。在自主泊车场景中，需要准确的定位停车场所的车位或通道上的障碍物，以确定空车位和能规避通道中障碍物的行驶路线，从而引导自动驾驶车辆实现自主泊车。

相关技术，通常是采用神经网络模型直接对摄像头采集的图像进行障碍物检测，以确定图像中障碍物的区域、类型等信息。这种方式，无法准确检测神经网络模型的训练过程中未出现过的障碍物，准确性差。

本公开针对上述问题，提出一种障碍物检测方法，该障碍物检测方法，获取在目标场景下采集的检测图像以及目标场景的背景图像后，其中，背景图像中未包含障碍物，根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道，进而将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。本公开实施例中的检测模型能够学习到同一场景下的包含障碍物的图像与未包含障碍物的背景图像之间的差异，从而能准确检测到检测模型的训练过程中未出现过的障碍物，提高了障碍物检测的准确性。

下面参考附图描述本公开实施例的障碍物检测方法、装置、电子设备、非瞬时计算机可读存储介质以及计算机程序产品。

首先结合图1，对本公开提供的障碍物检测方法进行详细描述。

图1是根据本公开第一实施例的障碍物检测方法的流程示意图。其中，需要说明的是，本公开实施例提供的障碍物检测方法，执行主体为障碍物检测装置。该障碍物检测装置可以为电子设备，也可以被配置在电子设备中，以提高障碍物检测的准确性。本公开实施例以障碍物检测装置被配置在电子设备中为例进行说明。

其中，电子设备，可以是任意能够进行数据处理的静止或者移动计算设备，例如笔记本电脑、智能手机、可穿戴设备等移动计算设备，或者台式计算机等静止的计算设备，或者服务器，或者其它类型的计算设备等，本公开对此不作限制。

如图1所示，障碍物检测方法，可以包括以下步骤：

步骤101，获取在目标场景下采集的检测图像以及目标场景的背景图像，其中，背景图像中未包含障碍物。

其中，检测图像为待进行障碍物检测的图像；背景图像为预先采集的目标场景的未包含障碍物的图像。

在示例性实施例中，以停车场所的车位或通道上的障碍物检测为例，可以在停车场所的至少一个位置固定安装摄像头，从而可以将摄像头预先采集的未包含障碍物的图像作为背景图像，将摄像头采集的待进行障碍物检测的图像作为检测图像。

需要注意的是，本公开实施例中，认为一个摄像头采集的图像为一个场景的图像，即在停车场所的不同位置安装的不同摄像头采集的图像，为不同场景的图像。相应的，目标场景下采集的检测图像以及目标场景的背景图像，为安装在同一个位置的同一摄像头采集的图像。

步骤102，根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道。

在示例性实施例中，可以将检测图像以及背景图像进行通道合并，从而生成目标图像，且目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道。

举例来说，假设检测图像和背景图像均为512*512*3的图像。其中，512*512*3表示该图像包含512*512个像素点，每个像素点包括R(Red，红色)、G(Green，绿色)、B(Blue，蓝色)三个色彩通道。

则本公开实施例中，可以将检测图像和背景图像的色彩通道合并，生成512*512*6的目标图像。其中，目标图像包含512*512个像素点，且每个像素点包括6个色彩通道。

步骤103，将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。

其中，检测模型，可以为YOLOv3、SSD(Single Shot Multi Box Detector，单发多盒探测器)、CenterNet(中心网)等任意能够实现目标检测的神经网络模型，本公开对此不作限制。

其中，障碍物信息，可以包括障碍物的所在区域、类型、大小等与障碍物有关的信息。

在示例性实施例中，可以预先训练检测模型，检测模型的输入为根据同一场景下采集的检测图像和背景图像生成的目标图像，输出为检测图像中的障碍物信息，从而将根据目标场景下采集的检测图像与目标场景的背景图像生成的目标图像输入经过训练的检测模型，可以获取检测图像中的障碍物信息。

由于检测模型将根据同一场景下采集的检测图像和背景图像生成的目标图像作为输入，检测模型在训练过程中可以学习到同一场景下的包含障碍物的图像与未包含障碍物的背景图像之间的差异，从而能够准确检测出检测模型的训练过程中未出现过的障碍物，提高了障碍物检测的准确性，从而利用本公开实施例的障碍物检测方法，能够准确检测停车场所的车位或通道的障碍物，以更准确的确定空车位和能规避通道中障碍物的行驶路线，从而更好的引导自动驾驶车辆实现自主泊车。

本公开实施例提供的障碍物检测方法，获取在目标场景下采集的检测图像以及目标场景的背景图像后，其中，背景图像中未包含障碍物，根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道，进而将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。由此，检测模型能准确检测到检测模型的训练过程中未出现过的障碍物，提高了障碍物检测的准确性。

通过上述分析可知，本公开实施例中，可以根据目标场景下采集的检测图像以及目标场景的背景图像，生成目标图像，其中目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道以及背景图像中对应像素点的色彩通道，再将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。下面结合图2，对本公开提供的障碍物检测方法中，生成目标图像的过程以及检测模型的训练过程进一步说明。

图2是根据本公开第二实施例的障碍物检测方法的流程示意图。如图2所示，障碍物检测方法，可以包括以下步骤：

步骤201，获取在目标场景下采集的检测图像以及目标场景的背景图像，其中，背景图像中未包含障碍物。

其中，步骤201的具体实现过程及原理，可以参考上述实施例的描述，此处不再赘述。

步骤202，将检测图像的各像素点与背景图像的各像素点对齐。

步骤203，将相互对齐的各像素点的色彩通道合并，生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道。

在示例性实施例中，可以将检测图像的各像素点与背景图像的各像素点对齐，再将相互对齐的各像素点的色彩通道合并，生成目标图像，从而使目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道。

举例来说，假设检测图像和背景图像均为512*512*3的图像，可以将检测图像和背景图像的各像素点对齐，从而针对相互对齐的512*512个像素点中的每个像素点，可以将检测图像中该像素点的色彩通道与背景图像中该像素点的色彩通道合并，从而生成512*512*6的目标图像，目标图像中每个像素点的色彩通道，包括检测图像中对应像素点的3个色彩通道以及背景图像中对应像素点的3个色彩通道。

通过上述过程，实现了对目标场景下采集的检测图像以及目标场景的背景图像的通道合并，从而生成各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道的目标图像。

步骤204，将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。

在示例性实施例中，经过训练的检测模型可以包括特征提取层以及障碍物检测层，其中，特征提取层用于对目标图像进行特征提取，以得到目标图像的图像特征，障碍物检测层用于根据图像特征识别检测图像中的障碍物信息。

需要说明的是，检测模型的特征提取层对应的色彩通道的输入数量，需要与目标图像中各像素点的色彩通道的数量匹配，从而使得目标图像输入检测模型后，特征提取层可以对目标图像进行特征提取。

比如，假设目标图像中各像素点的色彩通道的数量为6，检测模型为YOLOv3模型，本公开实施例中，需要将YOLOv3模型的特征提取层对应的色彩通道的输入数量设置为6，从而使得YOLOv3模型的特征提取层可以对各像素点的色彩通道为6的目标图像进行特征提取，以得到目标图像的图像特征，进而利用障碍物检测层，根据目标图像的图像特征识别检测图像中的障碍物信息。

在示例性实施例中，将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息之前，还需要训练得到检测模型。具体的，可以通过以下方法训练得到检测模型，即步骤204之前，还可以包括：

获取训练数据；其中，训练数据中包括多个样本图像，每个样本图像是根据训练场景下采集的样本检测图像以及训练场景的样本背景图像生成的，样本图像中各像素点的色彩通道包括样本检测图像中对应像素点的色彩通道与样本背景图像中对应像素点的色彩通道，样本检测图像包含障碍物，样本背景图像未包含障碍物，训练数据采用样本检测图像中的样本障碍物信息进行标注；

获取初始检测模型；

将样本图像输入初始检测模型，以得到样本检测图像中的预测障碍物信息；

根据样本检测图像中的预测障碍物信息与样本检测图像中的样本障碍物信息之间的差异，对初始检测模型的模型参数进行调整，以得到经过训练的检测模型。

其中，初始检测模型，可以为YOLOv3、SSD、CenterNet等任意能够实现目标检测的神经网络模型，本公开对此不作限制。

其中，生成同一样本图像时所利用的样本检测图像以及样本背景图像，是同一个训练场景的图像，即生成同一样本图像时所利用的样本检测图像以及样本背景图像，是安装在同一个位置的同一个摄像头采集的。并且，本公开实施例中的训练场景可以包括多个场景。同一训练场景下可以采集多个样本检测图像以及样本背景图像，以生成同一训练场景对应的多个样本图像。

举例来说，训练数据可以包括100个样本图像。其中的第1-30个样本图像可以是根据安装在位置a的摄像头A采集的样本检测图像以及样本背景图像生成的；其中的第31-60个样本图像可以是根据安装在位置b的摄像头B采集的样本检测图像以及样本背景图像生成的：其中的第61-100个样本图像可以是根据安装在位置c的摄像头C采集的样本检测图像以及样本背景图像生成的。

其中，根据训练场景下采集的样本检测图像以及训练场景的样本背景图像生成样本图像的过程，可以参考上述根据目标场景下采集的检测图像以及目标场景的背景图像生成目标图像的过程，此处不再赘述。

在示例性实施例中，对初始检测模型进行训练时，例如可以通过深度学习的方式进行训练，相比于其它机器学习方法，深度学习在大数据集上的表现更好。

通过深度学习的方式训练初始检测模型时，可以先将训练数据中的一个或多个样本图像作为输入，输入初始检测模型，获取生成该样本图像时利用的样本检测图像中的预测障碍物信息，并结合该样本检测图像中的样本障碍物信息，得到该样本检测图像中的预测障碍物信息与该样本检测图像中的样本障碍物信息之间的差异，以根据差异对初始检测模型的模型参数进行调整，得到调整后的检测模型。再将训练数据中的另一个或多个样本图像作为输入，输入调整后的检测模型，获取生成该样本图像时利用的样本检测图像中的预测障碍物信息，并结合该样本检测图像中的样本障碍物信息，得到该样本检测图像中的预测障碍物信息与该样本检测图像中的样本障碍物信息之间的差异，以根据差异对调整后的检测模型的模型参数进行调整，得到进一步调整后的检测模型。由此，通过不断地调整初始检测模型的模型参数对初始检测模型进行迭代训练，直至检测模型输出的预测障碍物信息的准确率满足预先设定的阈值，训练结束，得到经过训练的检测模型。

在检测模型训练完成后，即可采用检测模型，对根据目标场景下采集的检测图像与目标场景的背景图像生成的目标图像进行处理，以获取检测图像中的障碍物信息。

值得注意的是，本公开实施例的训练数据中的训练场景，与检测模型训练完成后，利用检测模型检测目标场景下采集的检测图像中的障碍物信息时的目标场景可以是不同的。即，经过训练的检测图像可以对训练过程中未出现过的场景下采集的检测图像进行障碍物检测。

由于在进行检测模型的训练时，检测模型输入的样本图像是根据训练场景下采集的样本检测图像以及训练场景的样本背景图像生成的，样本图像中各像素点的色彩通道包括样本检测图像中对应像素点的色彩通道与样本背景图像中对应像素点的色彩通道，样本检测图像包含障碍物，样本背景图像未包含障碍物，检测模型可以学习到包含障碍物的样本检测图像与未包含障碍物的样本背景图像之间的差异，从而在利用经过训练的检测模型对目标场景下采集的检测图像进行障碍物检测时，检测模型可以识别到目标场景下采集的检测图像与目标场景的背景图像之间的差异，以准确获取检测图像中的障碍物信息，并且即使对于训练过程中未出现过的障碍物，也能准确获取障碍物的信息，提高了障碍物检测的准确性。

可以理解的是，COCO(Common Objects in Context，上下文中的公共对象)等大型数据库中收集了摄像头采集的大量包含障碍物的图片以及未包含障碍物的图片，本公开实施例中，生成多个样本图像时利用的训练场景下采集的样本检测图像以及训练场景的背景图像，可以从等大型数据库中直接获取。

可以理解的是，摄像头正常采集的某个场景下的图像中，包含的障碍物的种类和数量可能较少，从而导致将摄像头正常采集的图像作为样本检测图像，结合样本背景图像生成样本图像后，训练检测模型时，检测模型可能无法很好的学习到样本检测图像与样本背景图像之间的差异。

本公开实施例中，可以在摄像头正常采集的图像中添加障碍物图像，将添加了障碍物图像的图像作为样本检测图像，从而使检测模型在利用样本检测图像以及对应场景的样本背景图像进行检测模型的训练时，检测模型可以更好的学习到样本检测图像与样本背景图像之间的差异，提高检测模型检测障碍物时的准确性。

其中，障碍物图像为包含障碍物的图像。

在示例性实施例中，在检测模型的训练过程中，可以从预先收集的障碍物图像库中随机选择障碍物图像，并将随机选择的障碍物图像与摄像头采集的图像进行合并，从而得到样本检测图像。即，本公开实施例中的样本检测图像可以是将摄像头采集的图像与随机选择的障碍物图像进行合并得到的。

需要说明的是，随机选择的需要与摄像头采集的图像进行合并的障碍物图像的数量，可以根据需要设置，本公开实施例对此不作限制。

参考图3，在障碍物图像库中可以预先保存多个障碍物图像，比如交通锥图像301、水桶图像302，搬运车图像303、纸箱图像等，从而在进行检测模型的训练时，可以从障碍物图像库中随机选择障碍物图像，并将随机选择的障碍物图像与摄像头采集的图像进行合并，从而得到样本检测图像。

参考图4，假设从障碍物图像库中随机选择了交通锥图像401、纸箱图像402，则可以将交通锥图像401、纸箱图像402与摄像头采集的图像进行合并，从而得到如图4所示的样本检测图像。

本公开实施例的障碍物检测方法，获取在目标场景下采集的检测图像以及目标场景的背景图像后，其中，背景图像中未包含障碍物，将检测图像的各像素点与背景图像的各像素点对齐，将相互对齐的各像素点的色彩通道合并，生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道，再将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。由此，实现了将目标场景下采集的检测图像以及目标场景的背景图像进行通道合并，生成目标图像，进而利用目标图像获取检测图像中的障碍物信息，由于检测模型能够学习到同一场景下的包含障碍物的图像与未包含障碍物的图像之间的差异，从而能准确检测到检测模型的训练过程中未出现过的障碍物，提高了障碍物检测的准确性。

下面以在停车场中实现自主泊车的场景为例，对本公开实施例中的障碍物检测方法进行进一步说明。

图5是根据本公开第三实施例的障碍物检测方法的流程示意图。如图5所示，障碍物检测方法，可以包括以下步骤：

步骤501，获取在目标场景下采集的检测图像以及目标场景的背景图像，其中，背景图像中未包含障碍物，检测图像以及背景图像是安装在停车场中固定位置的摄像头采集的。

步骤502，根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道。

在示例性实施例中，可以在停车场中固定位置设置摄像头，并预先通过该摄像头采集未包含障碍物的背景图像T1，并且，该摄像头可以实时或者以预设时间间隔采集停车场图像T2，并将背景图像T1与停车场图像T2发送至障碍物检测装置。其中，障碍物检测装置可以配置在智能车辆中。

障碍物检测装置获取背景图像T1与停车场图像T2后，可以将停车场图像T2作为检测图像，并将检测图像的各像素点与背景图像T1的各像素点对齐，将相互对齐的各像素点的色彩通道合并，生成目标图像，其中，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像T1中对应像素点的色彩通道。

步骤503，将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。

在示例性实施例中，障碍物检测装置生成目标图像后，可以将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。

步骤504，根据障碍物信息确定停车场中的空车位以及可行的路线。

步骤505，根据空车位以及可行的路线，引导智能车辆进行自主泊车。

其中，障碍物信息，可以包括障碍物所在区域、类型、大小等信息。

在示例性实施例中，障碍物检测装置获取障碍物信息后，即可根据障碍物信息，确定停车场中是否有障碍物，以及有障碍物时的障碍物的类型、大小以及在停车场中的位置，进而确定哪个车位为空车位，并规划从车辆所在位置行驶至空车位、且能规避障碍物所在位置的可行路线，从而根据空车位以及可行路线引导智能车辆进行自主泊车。

本公开实施例的障碍物检测方法，获取在目标场景下采集的检测图像以及目标场景的背景图像后，其中，背景图像中未包含障碍物，检测图像以及背景图像是安装在停车场中固定位置的摄像头采集的，根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道，将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息，再根据障碍物信息确定停车场中的空车位以及可行的路线，进而根据空车位以及可行的路线，引导智能车辆进行自主泊车。由此，实现了准确检测停车场中的障碍物，进而根据障碍物信息准确确定空车位以及能规避障碍物的可行路线，以引导智能车辆实现自主泊车。

下面结合图6，对本公开提供的障碍物检测装置进行说明。

图6是根据本公开第四实施例的障碍物检测装置的结构示意图。

如图6所示，本公开提供的障碍物检测装置600，包括：第一获取模块601、生成模块602以及第一处理模块603。

其中，第一获取模块601，用于获取在目标场景下采集的检测图像以及目标场景的背景图像，其中，背景图像中未包含障碍物；

生成模块602，用于根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道；

第一处理模块603，用于将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。

需要说明的是，本实施例提供的障碍物检测装置，可以执行前述实施例的障碍物检测方法。其中，障碍物检测装置可以为电子设备，也可以被配置在电子设备中，以提高障碍物检测的准确性。

其中，电子设备，可以是任意能够进行数据处理的静止或者移动计算设备，例如笔记本电脑、智能手机、可穿戴设备等移动计算设备，或者台式计算机等静止的计算设备，或者服务器，或者其它类型的计算设备等，本公开对此不作限制。

需要说明的是，前述对于障碍物检测方法的实施例的说明，也适用于本公开提供的障碍物检测装置，此处不再赘述。

本公开实施例提供的障碍物检测装置，获取在目标场景下采集的检测图像以及目标场景的背景图像后，其中，背景图像中未包含障碍物，根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道，进而将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。由此，检测模型能准确检测到检测模型的训练过程中未出现过的障碍物，提高了障碍物检测的准确性。

下面结合图7，对本公开提供的障碍物检测装置进行说明。

图7是根据本公开第六实施例的障碍物检测装置的结构示意图。

如图7所示，障碍物检测装置700，具体可以包括：第一获取模块701、生成模块702以及第一处理模块703。其中，图7中第一获取模块701、生成模块702以及第一处理模块703与图6中第一获取模块601、生成模块602以及第一处理模块603具有相同功能和结构。

在示例性实施例中，经过训练的检测模型包括特征提取层以及障碍物检测层；

其中，特征提取层对应的色彩通道的输入数量与目标图像中各像素点的色彩通道的数量匹配，特征提取层用于对目标图像进行特征提取，以得到目标图像的图像特征；

障碍物检测层，用于根据图像特征识别检测图像中的障碍物信息。

在示例性实施例中，如图7所示，障碍物检测装置700，还可以包括：

第二获取模块704，用于获取训练数据；其中，训练数据中包括多个样本图像，每个样本图像是根据训练场景下采集的样本检测图像以及训练场景的样本背景图像生成的，样本图像中各像素点的色彩通道包括样本检测图像中对应像素点的色彩通道与样本背景图像中对应像素点的色彩通道，样本检测图像包含障碍物，样本背景图像未包含障碍物，训练数据采用样本检测图像中的样本障碍物信息进行标注；

第三获取模块705，用于获取初始检测模型；

第二处理模块706，用于将样本图像输入初始检测模型，以得到样本检测图像中的预测障碍物信息；

训练模块707，用于根据样本检测图像中的预测障碍物信息与样本检测图像中的样本障碍物信息之间的差异，对初始检测模型的模型参数进行调整，以得到经过训练的检测模型。

在示例性实施例中，样本检测图像是将摄像头采集的图像与随机选择的障碍物图像进行合并得到的。

在示例性实施例中，生成模块702，包括：

对齐单元，用于将检测图像的各像素点与背景图像的各像素点对齐；

合并单元，用于将相互对齐的各像素点的色彩通道合并，生成目标图像。在示例性实施例中，其中，检测图像以及背景图像是安装在停车场中固定位置的摄像头采集的；

相应的，如图7所示，障碍物检测模型700，还可以包括：

确定模块708，用于根据障碍物信息确定停车场中的空车位以及可行的路线；

引导模块709，用于根据空车位以及可行的路线，引导智能车辆进行自主泊车。

需要说明的是，前述对于障碍物检测方法的实施例的说明，也适用于本公开提供的障碍物检测装置，此处不再赘述。

本公开实施例提供的障碍物检测装置，获取在目标场景下采集的检测图像以及目标场景的背景图像后，其中，背景图像中未包含障碍物，根据检测图像与背景图像生成目标图像，目标图像中各像素点的色彩通道包括检测图像中对应像素点的色彩通道与背景图像中对应像素点的色彩通道，进而将目标图像输入经过训练的检测模型，以获取检测图像中的障碍物信息。由此，检测模型能准确检测到检测模型的训练过程中未出现过的障碍物，提高了障碍物检测的准确性。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如障碍物检测方法。例如，在一些实施例中，障碍物检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的障碍物检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行障碍物检测方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。

需要说明的是，本公开实施例涉及人工智能领域,具体涉及计算机视觉和深度学习技术，具体可用于智能交通和智慧城市场景下。

其中，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

计算机视觉，是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。

深度学习，是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种障碍物检测方法，包括：

获取在目标场景下采集的检测图像以及所述目标场景的背景图像，其中，所述背景图像中未包含障碍物；

根据所述检测图像与所述背景图像生成目标图像，所述目标图像中各像素点的色彩通道包括所述检测图像中对应像素点的色彩通道与所述背景图像中对应像素点的色彩通道；

将所述目标图像输入经过训练的检测模型，以获取所述检测图像中的障碍物信息。

2.根据权利要求1所述的方法，其中，所述经过训练的检测模型包括特征提取层以及障碍物检测层；

其中，所述特征提取层对应的色彩通道的输入数量与所述目标图像中各像素点的色彩通道的数量匹配，所述特征提取层用于对所述目标图像进行特征提取，以得到所述目标图像的图像特征；

所述障碍物检测层，用于根据所述图像特征识别所述检测图像中的障碍物信息。

3.根据权利要求1或2所述的方法，其中，所述将所述目标图像输入经过训练的检测模型，以获取所述检测图像中的障碍物信息之前，还包括：

获取训练数据；其中，所述训练数据中包括多个样本图像，每个所述样本图像是根据训练场景下采集的样本检测图像以及所述训练场景的样本背景图像生成的，所述样本图像中各像素点的色彩通道包括所述样本检测图像中对应像素点的色彩通道与所述样本背景图像中对应像素点的色彩通道，所述样本检测图像包含障碍物，所述样本背景图像未包含障碍物，所述训练数据采用所述样本检测图像中的样本障碍物信息进行标注；

获取初始检测模型；

将所述样本图像输入所述初始检测模型，以得到所述样本检测图像中的预测障碍物信息；

根据所述样本检测图像中的预测障碍物信息与所述样本检测图像中的样本障碍物信息之间的差异，对所述初始检测模型的模型参数进行调整，以得到经过训练的所述检测模型。

4.根据权利要求3所述的方法，其中，所述样本检测图像是将摄像头采集的图像与随机选择的障碍物图像进行合并得到的。

5.根据权利要求1或2所述的方法，其中，所述根据所述检测图像与所述背景图像生成目标图像，包括：

将所述检测图像的各像素点与所述背景图像的各像素点对齐；

将相互对齐的各像素点的色彩通道合并，生成目标图像。

6.根据权利要求1或2所述的方法，其中，所述检测图像以及所述背景图像是安装在停车场中固定位置的摄像头采集的；

在所述获取所述检测图像中的障碍物信息后，还包括：

根据所述障碍物信息确定所述停车场中的空车位以及可行的路线；

根据所述空车位以及可行的路线，引导智能车辆进行自主泊车。

7.一种障碍物检测装置，包括：

第一获取模块，用于获取在目标场景下采集的检测图像以及所述目标场景的背景图像，其中，所述背景图像中未包含障碍物；

生成模块，用于根据所述检测图像与所述背景图像生成目标图像，所述目标图像中各像素点的色彩通道包括所述检测图像中对应像素点的色彩通道与所述背景图像中对应像素点的色彩通道；

第一处理模块，用于将所述目标图像输入经过训练的检测模型，以获取所述检测图像中的障碍物信息。

8.根据权利要求7所述的装置，其中，所述经过训练的检测模型包括特征提取层以及障碍物检测层；

其中，所述特征提取层对应的色彩通道的输入数量与所述目标图像中各像素点的色彩通道的数量匹配，所述特征提取层用于对所述目标图像进行特征提取，以得到所述目标图像的图像特征；

所述障碍物检测层，用于根据所述图像特征识别所述检测图像中的障碍物信息。

9.根据权利要求7或8所述的装置，其中，还包括：

第二获取模块，用于获取训练数据；其中，所述训练数据中包括多个样本图像，每个所述样本图像是根据训练场景下采集的样本检测图像以及所述训练场景的样本背景图像生成的，所述样本图像中各像素点的色彩通道包括所述样本检测图像中对应像素点的色彩通道与所述样本背景图像中对应像素点的色彩通道，所述样本检测图像包含障碍物，所述样本背景图像未包含障碍物，所述训练数据采用所述样本检测图像中的样本障碍物信息进行标注；

第三获取模块，用于获取初始检测模型；

第二处理模块，用于将所述样本图像输入所述初始检测模型，以得到所述样本检测图像中的预测障碍物信息；

训练模块，用于根据所述样本检测图像中的预测障碍物信息与所述样本检测图像中的样本障碍物信息之间的差异，对所述初始检测模型的模型参数进行调整，以得到经过训练的所述检测模型。

10.根据权利要求9所述的装置，其中，所述样本检测图像是将摄像头采集的图像与随机选择的障碍物图像进行合并得到的。

11.根据权利要求7或8所述的装置，其中，所述生成模块，包括：

对齐单元，用于将所述检测图像的各像素点与所述背景图像的各像素点对齐；

合并单元，用于将相互对齐的各像素点的色彩通道合并，生成目标图像。

12.根据权利要求7或8所述的装置，其中，所述检测图像以及所述背景图像是安装在停车场中固定位置的摄像头采集的；

所述装置，还包括：

确定模块，用于根据所述障碍物信息确定所述停车场中的空车位以及可行的路线；

引导模块，用于根据所述空车位以及可行的路线，引导智能车辆进行自主泊车。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images