CN108734058B

CN108734058B - 障碍物类型识别方法、装置、设备及存储介质

Info

Publication number: CN108734058B
Application number: CN201710253581.3A
Authority: CN
Inventors: 薛召
Original assignee: Baidu Online Network Technology Beijing Co Ltd
Current assignee: Baidu Online Network Technology Beijing Co Ltd
Priority date: 2017-04-18
Filing date: 2017-04-18
Publication date: 2022-05-27
Anticipated expiration: 2037-04-18
Also published as: CN108734058A

Abstract

本发明公开了障碍物类型识别方法、装置、设备及存储介质，其中方法包括：获取待识别的障碍物对应的三维点云数据；将所述三维点云数据映射到二维图像；基于所述二维图像，通过深度学习算法识别出障碍物的类型。应用本发明所述方案，能够提高识别结果的准确性。

Description

障碍物类型识别方法、装置、设备及存储介质

【技术领域】

本发明涉及计算机应用技术，特别涉及障碍物类型识别方法、装置、设备及存储介质。

【背景技术】

无人驾驶车辆，也可称为自动驾驶车辆，是指通过各种传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息等，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。

激光雷达是无人驾驶车辆用于感知三维环境的重要传感器，激光雷达扫描一圈场景，返回场景三维空间的点云数据，即三维(3D)点云数据。

基于扫描到的三维点云数据，可进行障碍物的检测及障碍物类型的识别等，以便无人驾驶车辆进行避障操作等。

现有技术中，对障碍物类型的识别通常都是在三维空间中进行，而且没有一种成熟的实现方式，识别结果的准确性均较低。

【发明内容】

有鉴于此，本发明提供了障碍物类型识别方法、装置、设备及存储介质，能够提高识别结果的准确性。

具体技术方案如下：

一种障碍物类型识别方法，包括：

获取待识别的障碍物对应的三维点云数据；

将所述三维点云数据映射到二维图像；

基于所述二维图像，通过深度学习算法识别出所述障碍物的类型。

根据本发明一优选实施例，

该方法进一步包括：

获取从扫描得到的三维点云数据中检测出的每个障碍物；

分别将检测出的每个障碍物作为所述待识别的障碍物；

其中，所述三维点云数据为对无人驾驶车辆周围环境进行扫描得到的。

根据本发明一优选实施例，

所述二维图像包括：二维RGB图像。

根据本发明一优选实施例，

将所述三维点云数据映射到二维RGB图像包括：

从第一视角将所述三维点云数据映射到二维图像的R通道；

从第二视角将所述三维点云数据映射到二维图像的G通道；

从第三视角将所述三维点云数据映射到二维图像的B通道；

根据各映射结果生成所述二维RGB图像。

根据本发明一优选实施例，

所述第一视角为以下之一：俯视视角、车头正视角、左侧视角；

所述第二视角为以下之一：俯视视角、车头正视角、左侧视角；

所述第三视角为以下之一：俯视视角、车头正视角、左侧视角；

所述第一视角、所述第二视角和所述第三视角为不同的视角。

一种障碍物类型识别装置，包括：获取单元、映射单元以及分类单元；

所述获取单元，用于获取待识别的障碍物对应的三维点云数据，并发送给所述映射单元；

所述映射单元，用于将所述三维点云数据映射到二维图像，并将所述二维图像发送给所述分类单元；

所述分类单元，用于基于所述二维图像，通过深度学习算法识别出所述障碍物的类型。

根据本发明一优选实施例，

所述获取单元进一步用于，

获取从扫描得到的三维点云数据中检测出的每个障碍物；

分别将检测出的每个障碍物作为所述待识别的障碍物；

根据本发明一优选实施例，

所述二维图像包括：二维RGB图像。

根据本发明一优选实施例，

所述映射单元从第一视角将所述三维点云数据映射到二维图像的R通道，从第二视角将所述三维点云数据映射到二维图像的G通道，从第三视角将所述三维点云数据映射到二维图像的B通道，根据各映射结果生成所述二维RGB图像。

根据本发明一优选实施例，

一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

基于上述介绍可以看出，采用本发明所述方案，首先将待识别的障碍物对应的三维点云数据映射到二维图像，之后基于得到的二维图像，通过深度学习算法识别出障碍物的类型，即将待识别的障碍物从三维空间转换到二维空间，进行降维处理，而在二维图像识别领域，深度学习算法是一种很成熟的算法，从而确保了识别结果的准确性，即相比于现有技术，提高了识别结果的准确性。

【附图说明】

图1为本发明所述障碍物类型识别方法实施例的流程图。

图2为本发明所述不同视角与不同通道之间的对应关系示意图。

图3为本发明所述三维点云的示意图。

图4为本发明所述障碍物类型识别方法较佳实施例的流程图。

图5为本发明所述障碍物类型识别装置实施例的组成结构示意图。

图6示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。

【具体实施方式】

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。

图1为本发明所述障碍物类型识别方法实施例的流程图，如图1所示，包括以下具体实现方式。

在101中，获取待识别的障碍物对应的三维点云数据。

在此之前，可首先获取从扫描得到的三维点云数据中检测出的每个障碍物，并分别将检测出的每个障碍物作为待识别的障碍物，即针对检测出的每个障碍物，可分别按照本发明所述方式对其类型进行识别。

其中，扫描得到的三维点云数据可为对无人驾驶车辆周围环境进行扫描得到的。

具体如何从扫描得到的三维点云数据中检测出障碍物可根据实际需要而定，比如，可采用聚类算法。

聚类是指按照某种特定标准，将一个数据集分割成不同的类或簇，使得用一个类或簇内的数据之间的相似性尽可能大。

常用的聚类算法可分为以下几类：划分方法、层次方法、基于密度的方法、基于网络的方法、基于模型的方法等。

对于扫描得到的三维点云数据，可能从中检测出零个障碍物，也可能检测出一个障碍物，还可能检测出多个障碍物。

对于每个障碍物，可按照现有技术，分别确定出其对应的三维点云数据，对于一个障碍物来说，其对应的三维点云数据为扫描得到的三维点云数据中的一部分。

在102中，将获取到的三维点云数据映射到二维图像。

较佳地，映射得到的二维图像可为二维红绿蓝(RGB，Red、Green、Blue)图像。

具体的映射方式可为：

从第一视角将三维点云数据映射到二维图像的R通道；

从第二视角将三维点云数据映射到二维图像的G通道；

从第三视角将三维点云数据映射到二维图像的B通道；

根据各映射结果生成二维RGB图像。

其中，第一视角可为以下之一：俯视视角、车头正视角、左侧视角；

第二视角可为以下之一：俯视视角、车头正视角、左侧视角；

第三视角可为以下之一：俯视视角、车头正视角、左侧视角；

第一视角、第二视角和第三视角为不同的视角。

比如，第一视角可为俯视视角、第二视角可为车头正视角、第三视角可为左侧视角。

相应地，可将三维点云数据从俯视视角映射到二维图像的R通道，将三维点云数据从车头正视角映射到二维图像的G通道，将三维点云数据从左侧视角映射到二维图像的B通道。

从而可得到如图2所示的视角与通道之间的对应关系，图2为本发明所述不同视角与不同通道之间的对应关系示意图，如图2所示，俯视视角对应R通道，车头正视角对应G通道，左侧视角对应B通道。

当然，以上所述对应关系仅为举例说明，具体采用何种对应关系可根据实际需要而定。

具体如何进行映射同样可根据实际需要而定，比如，以俯视视角为例，可采用如下映射方式。

对于三维空间中的一个点来说，假设其坐标位置为(10，20，30)，其中10为x方向坐标，20为y方向坐标，30为z方向坐标。

当从俯视视角进行映射时，可将z方向坐标设为0，进而可利用x方向坐标和y方向坐标标定出一个二维空间的坐标位置(10，20)，对应到二维图像中，即可指二维图像中的坐标位置为(10，20)的像素点，该像素点在R通道上的取值可设置为255，表示颜色最明亮。

需要说明的是，在三维空间中，x方向坐标和y方向坐标可能为负值，这种情况下，在进行映射时，还需要进行平移操作等，具体实现为现有技术。

图3为本发明所述三维点云的示意图，如图3所示，点云是一团离散的点，有的位置有点，有的位置没有点，因此，对于二维图像上的每个像素点来说，如果在三维空间中存在对应的点，则其R通道上的取值可设置为255，如果在三维空间中不存在对应的点，则其R通道上的取值可设置为0。

按照上述方式，可分别得到二维图像上的每个像素点在R通道上的取值。

按照与上述类似的方式，可分别得到二维图像上的每个像素点在G通道上的取值以及每个像素点在B通道上的取值。

由于分别获取到了每个像素点在R通道、G通道和B通道上的取值，那么则可得到一幅二维RGB图像。

在103中，基于得到的二维图像，通过深度学习算法识别出障碍物的类型。

在得到二维图像之后，即可基于二维图像，识别出障碍物的类型。

较佳地，可采用深度学习算法，识别出障碍物的类型。

具体采用何种深度学习算法可根据实际需要而定，比如，可采用应用较广的卷积神经网络(CNN，Convolution Neural Network)算法。

卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。

卷积神经网络通过一系列方法，成功将数据庞大的图像识别问题不断降维，最终使其能够被训练。

一个典型的卷积神经网络，可以由卷积层、池化层、全连接层组成，其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。

卷积层完成的操作，可以认为是受局部感受野概念的启发，而池化层，主要是为了降低数据维度。

综合来说，卷积神经网络通过卷积来模拟特征区分，并且通过卷积的权值共享及池化，来降低网络参数的数量级，最后通过传统神经网络完成分类等任务。

具体到本发明中，获取到的二维RGB图像是三通道的，通过卷积神经网络等深度学习算法，可以充分学习到每个视角的特征，从而确保了识别结果的准确性。

通过对二维RGB图像进行识别，可以确定出障碍物的类型，如人、自行车、机动车等。

基于上述介绍，图4为本发明所述障碍物类型识别方法较佳实施例的流程图，如图4所示，包括以下具体实现方式。

在401中，获取从扫描得到的三维点云数据中检测出的每个障碍物，针对检测出的每个障碍物，分别将其作为待识别的障碍物，并按照402～404所示方式进行处理。

对于无人驾驶车辆来说，激光雷达是无人驾驶车辆用于感知三维环境的重要传感器，激光雷达扫描一圈场景，可返回场景三维空间的点云数据，即三维点云数据。

在获取到三维点云数据之后，可首先根据其进行障碍物检测，即检测出无人驾驶车辆周围场景中存在的障碍物，并可将各障碍物通过预定方式标注出来。

之后，可进一步识别出检测出的各障碍物的类型，相应地，可将检测出的每个障碍物分别作为待识别的障碍物，分别按照402～404所示方式进行处理。

在402中，获取障碍物对应的三维点云数据。

即可获取组成障碍物的三维点云数据。

在403中，通过三个不同的视角，分别将障碍物对应的三维点云数据映射到二维RGB图像的R通道、G通道和B通道，得到二维RGB图像。

所述三个不同的视角可分别为俯视视角、车头正视角和左侧视角。

视角与通道之间的对应关系可根据实际需要而定，比如，如图2所示，俯视视角可对应R通道，车头正视角可对应G通道，左侧视角可对应B通道。

在404中，基于得到的二维RGB图像，通过深度学习算法识别出障碍物的类型。

所述深度学习算法可为卷积神经网络等。

通过对二维RGB图像进行识别，可确定出障碍物的类型，如人、自行车、机动车等。

基于上述介绍可以看出，采用上述实施例所述方式，将待识别的障碍物从三维空间转换到二维空间，即进行降维处理，得到二维RGB图像，并基于二维RGB图像，通过深度学习算法识别出障碍物的类型，而在二维图像识别领域，深度学习算法是一种很成熟的算法，从而确保了识别结果的准确性。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

图5为本发明所述障碍物类型识别装置实施例的组成结构示意图，如图5所示，包括：获取单元501、映射单元502以及分类单元503。

获取单元501，用于获取待识别的障碍物对应的三维点云数据，并发送给映射单元502。

映射单元502，用于将三维点云数据映射到二维图像，并将二维图像发送给分类单元503。

分类单元503，用于基于二维图像，通过深度学习算法识别出障碍物的类型。

获取单元501可获取从扫描得到的三维点云数据中检测出的每个障碍物，并分别将检测出的每个障碍物作为待识别的障碍物。

其中，三维点云数据可为对无人驾驶车辆周围环境进行扫描得到的。

对于扫描得到三维点云数据，可能从中检测出零个障碍物，也可能检测出一个障碍物，还可能检测出多个障碍物，对于每个障碍物，可按照现有技术，分别确定出其对应的三维点云数据，对于一个障碍物来说，其对应的三维点云数据为扫描得到的三维点云数据中的一部分。

针对每个待识别的障碍物，获取单元501可进一步获取障碍物对应的三维点云数据，并发送给映射单元502。

相应地，映射单元502可将三维点云数据映射到二维图像，即进行降维处理，从三维空间转化到二维空间。

较佳地，映射得到的二维图像为二维RGB图像。

具体地，映射单元502可采用以下映射方式：

从第一视角将三维点云数据映射到二维图像的R通道；

从第二视角将三维点云数据映射到二维图像的G通道；

从第三视角将三维点云数据映射到二维图像的B通道；

根据各映射结果生成二维RGB图像。

第一视角、第二视角和第三视角为不同的视角。

相应地，映射单元502可将三维点云数据从俯视视角映射到二维图像的R通道，将三维点云数据从车头正视角映射到二维图像的G通道，将三维点云数据从左侧视角映射到二维图像的B通道。

在得到二维RGB图像之后，分类单元503可基于二维RGB图像，通过深度学习算法识别出障碍物的类型。

较佳地，所述深度学习算法可为卷积神经网络算法等。

获取到的二维RGB图像是三通道的，通过卷积神经网络等深度学习算法，可以充分学习到每个视角的特征，从而确保了识别结果的准确性。

图5所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。

图6示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。图6显示的计算机***/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机***/服务器12以通用计算设备的形式表现。计算机***/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同***组件(包括存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

计算机***/服务器12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机***/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机***/服务器12交互的设备通信，和/或与使得该计算机***/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机***/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器20通过总线18与计算机***/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机***/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1和图4所示实施例中的方法，即：获取待识别的障碍物对应的三维点云数据，将三维点云数据映射到二维图像，基于所述二维图像，通过深度学习算法识别出障碍物的类型等。

其中，所述二维图像可为二维RGB图像。

相应地，可从第一视角将三维点云数据映射到二维图像的R通道，从第二视角将三维点云数据映射到二维图像的G通道，从第三视角将三维点云数据映射到二维图像的B通道，最后根据各映射结果生成二维RGB图像。

第一视角、第二视角和第三视角为不同的视角。

具体实现请参照前述方法实施例中的相应说明，不再赘述。

本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1和图4所示实施例中的方法。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种障碍物类型识别方法，其特征在于，包括：

获取待识别的障碍物对应的三维点云数据；

将所述三维点云数据映射到二维图像，包括：通过三个不同的视角，分别将所述三维点云数据映射到二维图像的R通道、G通道和B通道，得到二维RGB图像；

2.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：

获取从扫描得到的三维点云数据中检测出的每个障碍物；

分别将检测出的每个障碍物作为所述待识别的障碍物；

3.根据权利要求1所述的方法，其特征在于，

所述得到二维RGB图像包括：

从第一视角将所述三维点云数据映射到二维图像的R通道；

从第二视角将所述三维点云数据映射到二维图像的G通道；

从第三视角将所述三维点云数据映射到二维图像的B通道；

根据各映射结果生成所述二维RGB图像。

4.根据权利要求3所述的方法，其特征在于，

5.一种障碍物类型识别装置，其特征在于，包括：获取单元、映射单元以及分类单元；

所述映射单元，用于将所述三维点云数据映射到二维图像，包括：通过三个不同的视角，分别将所述三维点云数据映射到二维图像的R通道、G通道和B通道，得到二维RGB图像，并将所述二维图像发送给所述分类单元；

6.根据权利要求5所述的装置，其特征在于，

所述获取单元进一步用于，

获取从扫描得到的三维点云数据中检测出的每个障碍物；

分别将检测出的每个障碍物作为所述待识别的障碍物；

7.根据权利要求5所述的装置，其特征在于，

8.根据权利要求7所述的装置，其特征在于，

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～4中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～4中任一项所述的方法。