CN111325136B - 智能车辆中物体对象的标注方法及装置、无人驾驶车辆 - Google Patents
智能车辆中物体对象的标注方法及装置、无人驾驶车辆 Download PDFInfo
- Publication number
- CN111325136B CN111325136B CN202010097499.8A CN202010097499A CN111325136B CN 111325136 B CN111325136 B CN 111325136B CN 202010097499 A CN202010097499 A CN 202010097499A CN 111325136 B CN111325136 B CN 111325136B
- Authority
- CN
- China
- Prior art keywords
- information
- labeling
- vehicle
- image information
- target map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000009877 rendering Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 230000003068 static effect Effects 0.000 claims description 5
- 230000006855 networking Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Navigation (AREA)
- Instructional Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种智能车辆中物体对象的标注方法及装置、无人驾驶车辆。其中，该方法包括：获取当前车辆周围区域在目标地图中的初始图像信息，其中，初始图像信息包括：物体对象的位置和占据区域；识别初始图像信息中每种物体对象的组成结构，得到物体结构信息；基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。本发明解决了相关技术中车辆显示屏显示的图像无法标注周围障碍物体，导致车辆容易与其它物体发生碰撞，影响车辆行驶的技术问题。
Description
技术领域
本发明涉及车辆信息处理领域，具体而言，涉及一种智能车辆中物体对象的标注方法及装置、无人驾驶车辆。
背景技术
相关技术中，很多的车辆内部都会设置显示屏，通过显示屏显示，车辆前方、后方的图像，或者通过显示屏来显示导航地图；但是，车辆内部显示屏显示的车辆前方或后方图像，往往只能显示少量的部分区域图像，不能将车辆周围的其它物体(例如，地下停车库的立柱、立交桥附近汇合时的周围车辆)，导致在操作车辆时，需要重复查看周围的区域信息，无法保障车辆的安全行进；而通过显示屏显示的导航地图，往往是采用特定的导航软件的地图，该导航软件地图采用的导航区域往往是显示车辆能够行驶的道路信息，对道路周围的障碍物体和周围车辆无法显示，例如，导航软件地图中显示的较大比例度的道路和周围社区，并不会显示周围的花园、立柱、路上行人等信息，导致车辆容易与其它物体相碰撞，发生交通事故。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种智能车辆中物体对象的标注方法及装置、无人驾驶车辆，以至少解决相关技术中车辆显示屏显示的图像无法标注周围障碍物体，导致车辆容易与其它物体发生碰撞，影响车辆行驶的技术问题。
根据本发明实施例的一个方面，提供了一种智能车辆中物体对象的标注方法，应用于无人驾驶车辆，包括：获取当前车辆周围区域在目标地图中的初始图像信息，其中，所述初始图像信息包括：物体对象的位置和占据区域；识别所述初始图像信息中每种物体对象的组成结构，得到物体结构信息；基于所述物体结构信息与预设标注库，将全部物体对象标注在所述目标地图上，其中，所述预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，所述目标地图中显示每种所述物体对象和每个物体结构的点云数据。
可选地，获取当前车辆周围区域在目标地图中的初始图像信息的步骤，包括：扫描当前车辆的周围区域，得到区域地图；提取所述区域地图中的立体物体对象的外部轮廓；确定每种所述物体对象的空间位置、物体表面颜色和占据区域，得到当前车辆周围区域在目标地图中的所述初始图像信息。
可选地，识别所述初始图像信息中每种物体对象的组成结构，得到物体结构信息的步骤，包括：扫描每种所述物体对象的内部结构，得到内部结构信息，其中，所述内部结构信息至少包括：物体结构颜色、物体结构所处空间位置和结构连接信息；基于所述内部结构信息，对所述物体对象进行拆分，得到所有物体结构的结构形状和占据空间，得到物体结构信息。
可选地，基于所述物体结构信息与预设标注库，将全部物体对象标注在目标地图上的步骤，包括：基于所述第一映射关系，将与每种所述物体对象对应的物体标识渲染在所述目标地图上；基于所述第二映射关系和物体结构信息，采用物体标注模型将与每个所述物体结构对应的结构标识渲染在所述目标地图上。
可选地，所述物体对象的类型为静态物体，所述物体标识为对应于不同物体对象的第一目标形状的图形元素，所述结构标识为对应于不同物体结构的第二目标形状的图形元素。
可选地，所述点云数据中的每个点至少记载：物体颜色信息和物体空间位置信息。
可选地，在获取当前车辆周围区域在目标地图中的初始图像信息之前，所述标注方法还包括：获取扫描得到的历史图像信息，其中，所述历史图像信息中包括未标注物体对象；接收物体标注数据，其中，所述物体标注数据包括已完成物体标注的标识；以所述历史图像信息和所述物体标注数据形成训练数据；利用所述训练数据训练得到所述物体标注模型。
根据本发明实施例的另一方面，还提供了一种智能车辆中物体对象的标注装置，应用于无人驾驶车辆，该标注装置包括：获取单元，用于获取当前车辆周围区域在目标地图中的初始图像信息，其中，所述初始图像信息包括：物体对象的位置和占据区域；识别单元，用于识别所述初始图像信息中每种物体对象的组成结构，得到物体结构信息；标注单元，用于基于所述物体结构信息与预设标注库，将全部物体对象标注在所述目标地图上，其中，所述预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，所述目标地图中显示每种所述物体对象和每个物体结构的点云数据。
可选地，所述获取单元包括：第一扫描模块，用于扫描当前车辆的周围区域，得到区域地图；第一提取模块，用于提取所述区域地图中的立体物体对象的外部轮廓；第一确定模块，用于确定每种所述物体对象的空间位置、物体表面颜色和占据区域，得到当前车辆周围区域在目标地图中的所述初始图像信息。
可选地，所述识别单元包括：第二扫描模块，用于扫描每种所述物体对象的内部结构，得到内部结构信息，其中，所述内部结构信息至少包括：物体结构颜色、物体结构所处空间位置和结构连接信息；第二确定模块，用于基于所述内部结构信息，对所述物体对象进行拆分，得到所有物体结构的结构形状和占据空间，得到物体结构信息。
可选地，所述标注单元包括：第一渲染模块，用于基于所述第一映射关系，将与每种所述物体对象对应的物体标识渲染在所述目标地图上；第二渲染模块，用于基于所述第二映射关系和物体结构信息，采用物体标注模型将与每个所述物体结构对应的结构标识渲染在所述目标地图上。
可选地，所述物体对象的类型为静态物体，所述物体标识为对应于不同物体对象的第一目标形状的图形元素，所述结构标识为对应于不同物体结构的第二目标形状的图形元素。
可选地，所述点云数据中的每个点至少记载：物体颜色信息和物体空间位置信息。
可选地，所述智能车辆中物体对象的标注装置还包括：第一获取模块，用于在获取当前车辆周围区域在目标地图中的初始图像信息之前，获取扫描得到的历史图像信息，其中，所述历史图像信息中包括未标注物体对象；接收模块，用于接收物体标注数据，其中，所述物体标注数据包括已完成物体标注的标识；形成单元，用于以所述历史图像信息和所述物体标注数据形成训练数据；训练模块，用于利用所述训练数据训练得到所述物体标注模型。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的智能车辆中物体对象的标注方法。
根据本发明实施例的另一方面，还提供了一种无人驾驶车辆，包括：处理器，用于运行程序，其中，所述程序运行时执行上述任意一项所述的智能车辆中物体对象的标注方法。
在本发明实施例中，先获取当前车辆周围区域在目标地图中的初始图像信息，然后识别初始图像信息中每种物体对象的组成结构，得到物体结构信息，最后可基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。在该实施例中，可对地图中与当前车辆周围区域关联的物体对象或需要标注的物体结构进行识别和标注，将当前车辆周围区域的特殊物体对象和物体内部结构进行识别和标注，然后可以在目标地图中通过点云数据显示标注的物体标识(例如，通过特殊虚拟形状标注物体对象)，方便查看周围区域的其它物体，尤其是障碍物体，减少车辆与其它物体的碰撞，让车辆能够更为方便的规划最优行驶路线，从而至少解决相关技术中车辆显示屏显示的图像无法标注周围障碍物体，导致车辆容易与其它物体发生碰撞，影响车辆行驶的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的智能车辆中物体对象的标注方法的流程图；
图2是根据本发明实施例的一种可选的智能车辆中物体对象的标注装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明下述各实施例，可应用于各种车辆中，例如，无人驾驶车辆、自动导引运输车AGV、半自动驾驶车辆等。在本发明实施例以无人驾驶车辆作为示意性说明。本发明实施方案涉及地图中一些区域物体对象(如建筑物、树木、立交桥)和特殊形状的对象(如道路立柱、花园、路标)，或需要标注的对象进行识别和标注(例如，通过空心圆柱标识车辆轮胎)，由于对象特征种类较多，因此，可以通过对一些特殊位置或特殊形状的地方进行识别和标注，例如，通过棱柱标注车辆内部座位，并通过点云数据组合棱柱结构，这样就方便将当前车辆周围区域的区域物体和特殊物体显示标注出来，并采用三维空间显示各个物体对象、物体结构的标识，方便后续的车辆导航、路线优化。下面结合各个实施例来说明本发明。
实施例一
根据本发明实施例，提供了一种智能车辆中物体对象的标注方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例提供了一种智能车辆中物体对象的标注方法，该标注方法可应用于无人驾驶车辆。
图1是根据本发明实施例的一种可选的智能车辆中物体对象的标注方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取当前车辆周围区域在目标地图中的初始图像信息，其中，初始图像信息包括：物体对象的位置和占据区域；
步骤S104，识别初始图像信息中每种物体对象的组成结构，得到物体结构信息；
步骤S106，基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。
通过上述步骤，可以先获取当前车辆周围区域在目标地图中的初始图像信息，然后识别初始图像信息中每种物体对象的组成结构，得到物体结构信息，最后可基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。在该实施例中，可对地图中与当前车辆周围区域关联的物体对象或需要标注的物体结构进行识别和标注，将当前车辆周围区域的特殊物体对象和物体内部结构进行识别和标注，然后可以在目标地图中通过点云数据显示标注的物体标识(例如，通过特殊虚拟形状标注物体对象)，方便查看周围区域的其它物体，尤其是障碍物体，减少车辆与其它物体的碰撞，让车辆能够更为方便的规划最优行驶路线，从而至少解决相关技术中车辆显示屏显示的图像无法标注周围障碍物体，导致车辆容易与其它物体发生碰撞，影响车辆行驶的技术问题。
下面结合上述各个步骤来说明本发明。
本发明实施例中标注物体对象和物体结构的实施方案可以是在车辆内部的目标地图中。在进行标注之前，可以先构建并训练物体标注模型，其中，物体标注模型用于深度学习、优化车辆路线规划，通过物体标注模型可以在车辆地图中标注车辆的周围区域的物体对象和物体结构，利用特殊形状的物体标识或者结构标识标注对应的物体或物体内部结构。
在构建物体标注模型时，可以是通过已知的物体标注库和多组物体对象信息来构建的。在构建完成物体标注模型后，可以优化、训练物体标注模型，提高物体标注的准确率。
可选的，在获取当前车辆周围区域在目标地图中的初始图像信息之前，标注方法还包括：获取扫描得到的历史图像信息，其中，历史图像信息中包括未标注物体对象；接收物体标注数据，其中，物体标注数据包括已完成物体标注的标识；以历史图像信息和物体标注数据形成训练数据；利用训练数据训练得到物体标注模型。
在该实施例，可以通过以历史图像信息和物体标注数据形成训练数据，其中，历史图像信息可以为通过车辆拍摄装置(车辆摄像头，该摄像头可安装与车辆顶部、车辆四周)拍摄的周围区域图像、识别图像后得到的物体区域、物体形状、物体参数。在得到历史图像信息后，结合人工标注数据和计算机自主标注数据，对物体标注模型进行训练。
步骤S102，获取当前车辆周围区域在目标地图中的初始图像信息，其中，初始图像信息包括：物体对象的位置和占据区域；
在本发明可选的实施例中，获取当前车辆周围区域在目标地图中的初始图像信息的步骤，包括：扫描当前车辆的周围区域，得到区域地图；提取区域地图中的立体物体对象的外部轮廓；确定每种物体对象的空间位置、物体表面颜色和占据区域，得到当前车辆周围区域在目标地图中的初始图像信息。
从区域地图中获取车辆或物体对象(建筑、树木、路标等)的图像。该物体对象的类型可以为静态物体，需要标注的物体对象主要是无人驾驶车辆在行驶过程中需要识别的静态物体:比如红绿灯，车道线等等。
上述在扫描当前车辆的周围区域时，可以是通过安装与车辆内部的扫描装置(车载雷达等)或者扫描传感器扫描当前车辆的周围区域，得到区域地图；或者通过安装于当前车辆顶部、车辆四周的拍摄装置拍摄区域地图。
在提取区域地图中的立体物体对象的外部轮廓时，可以是通过图像二值化处理方式、图像细粒度方式(通过图像去噪、图像分割、物体线条汇描、物体对象分类、确定物体轮廓)等分析区域地图，得到物体对象的外部轮廓。
在确定每种物体对象的空间位置时，可以是以当前车辆的驾驶位置为三维原始点，建立坐标系，并确定物体对象的空间区域和空间坐标；在确定物体对象的物体表面颜色时，可以是分析拍摄得到的RGB图像的图像信息，确定物体外部表面的颜色，便于后续物体对象的标识；在确定物体对象的占据区域时，可以是通过定位物体的各个顶点信息，计算得到的物体对象占据区域，例如，物体对象为花园，圆形，可以分析该花园所在区域。通过分析得到空间位置、物体表面颜色和占据区域，得到当前车辆周围区域在目标地图中的初始图像信息。
另一种可选的，若物体对象为其它车辆或者内部联网对象，则在分析每种物体对象的空间位置、物体表面颜色和占据区域等初始图像信息，还可以通过联网，与物体对象建立网络连接，从而通过联网获取到物体信息(例如物体所占据区域和物体表面颜色等信息)。
步骤S104，识别初始图像信息中每种物体对象的组成结构，得到物体结构信息；
作为本发明可选的实施例，识别初始图像信息中每种物体对象的组成结构，得到物体结构信息的步骤，包括：扫描每种物体对象的内部结构，得到内部结构信息，其中，内部结构信息至少包括：物体结构颜色、物体结构所处空间位置和结构连接信息；基于内部结构信息，对物体对象进行拆分，得到所有物体结构的结构形状和占据空间，得到物体结构信息。
在扫描每种物体对象的内部结构，得到内部结构信息时，可以是通过车载扫描装置或车载传感器等扫描得到每种物体对象的内部结构，从车辆或物体对象的图像中识别出存在棱柱形状的部件，也可以是其它需要识别的形状或特征的内容，例如，在物体对象为其它车辆时，可以扫描车辆内部的结构，得到车辆零部件信息、零部件连接信息和空间区域信息，其中车辆零部件信息包括多种车辆零部件，例如，座位位置、驾驶杆、方向盘、后车厢、车辆轮胎等，在扫描得到相应的零部件信息后，便于结构标识。
步骤S106，基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。
可选的，基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上的步骤，包括：基于第一映射关系，将与每种物体对象对应的物体标识渲染在目标地图上；基于第二映射关系和物体结构信息，采用物体标注模型将与每个物体结构对应的结构标识渲染在目标地图上。
即针对物体对象，可以通过物体标识标注物体对象，本发明实施例中可以采用人工智能AI的方式实现自动标注物体对象和物体结构，例如，通过长方体标注其它车辆(例如，轿车、无人驾驶车辆)、通过圆柱标注道路立柱、通过三角体标注花园、通过棱柱标注货车等；而对于物体结构，可以通过各种预设的标注形状来标注物体结构，例如，在长方体(标注无人驾驶车辆)内部通过月牙形标注车辆座位、通过空心圆柱标注车辆轮胎等。通过这些方式，基于物体结构信息与预设标注库，采用已训练好的物体标注模型将全部物体对象标注在目标地图上。
一种可选的，物体标识为对应于不同物体对象的第一目标形状的图形元素，结构标识为对应于不同物体结构的第二目标形状的图形元素。其中，第一目标形状是针对各种物体对象的形状，而第二目标形状是针对物体对象的内部结构的形状，尤其是针对物体对象内部的零部件结构。
在目标地图上显示的是这些标注后的形状，将各种形状渲染在目标地图上，并通过物体标注模型提高标注的准确率。
作为本发明可选的实施例，点云数据中的每个点至少记载：物体颜色信息和物体空间位置信息。即在每个物体对象所对应的标注形状上，通过无数个点云数据组合为标注形状的线条(直线、曲线等)，每个点云数据分别记载了对应的物体对象的数据，例如，点云数据中记载了物体颜色信息和物体空间位置信息。
通过上述实施例，可以在目标地图上渲染出在当前周围区域的物体对象和物体结构信息，尤其是涉及地图中一些特殊形状的对象，或需要标注的对象，对物体对象、物体结构进行识别和标注，通过点云数据来组合为一个个特定形状，并通过特性形状来标注对应的物体对象和物体结构，并将标注后的物体对象显示在目标地图上，在连接物体标注服务器后，通过标注库可以确定出当前车辆周围区域的各种物体对象和物体结构，提高物体标注的准确率，便于后续车辆导航、车辆行驶轨迹规划。
下面结合另一种可选的实施例来说明本发明。
实施例二
本发明实施例涉及的智能车辆中物体对象的标注装置，可应用于无人驾驶车辆中。
图2是根据本发明实施例的一种可选的智能车辆中物体对象的标注装置的示意图，如图2所示，该标注装置包括：获取单元21、识别单元23、标注单元25，其中，
获取单元21，用于获取当前车辆周围区域在目标地图中的初始图像信息，其中，初始图像信息包括：物体对象的位置和占据区域；
识别单元23，用于识别初始图像信息中每种物体对象的组成结构，得到物体结构信息；
标注单元25，用于基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。
上述智能车辆中物体对象的标注装置，可以通过获取单元21获取当前车辆周围区域在目标地图中的初始图像信息，然后通过识别单元23识别初始图像信息中每种物体对象的组成结构，得到物体结构信息，最后可通过标注单元25基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。在该实施例中，可对地图中与当前车辆周围区域关联的物体对象或需要标注的物体结构进行识别和标注，将当前车辆周围区域的特殊物体对象和物体内部结构进行识别和标注，然后可以在目标地图中通过点云数据显示标注的物体标识(例如，通过特殊虚拟形状标注物体对象)，方便查看周围区域的其它物体，尤其是障碍物体，减少车辆与其它物体的碰撞，让车辆能够更为方便的规划最优行驶路线，从而至少解决相关技术中车辆显示屏显示的图像无法标注周围障碍物体，导致车辆容易与其它物体发生碰撞，影响车辆行驶的技术问题。
可选的，获取单元包括：第一扫描模块，用于扫描当前车辆的周围区域，得到区域地图；第一提取模块，用于提取区域地图中的立体物体对象的外部轮廓；第一确定模块，用于确定每种物体对象的空间位置、物体表面颜色和占据区域，得到当前车辆周围区域在目标地图中的初始图像信息。
另一种可选的，识别单元包括：第二扫描模块，用于扫描每种物体对象的内部结构，得到内部结构信息，其中，内部结构信息至少包括：物体结构颜色、物体结构所处空间位置和结构连接信息；第二确定模块，用于基于内部结构信息，对物体对象进行拆分，得到所有物体结构的结构形状和占据空间，得到物体结构信息。
在本发明实施例中，标注单元包括：第一渲染模块，用于基于第一映射关系，将与每种物体对象对应的物体标识渲染在目标地图上；第二渲染模块，用于基于第二映射关系和物体结构信息，采用物体标注模型将与每个物体结构对应的结构标识渲染在目标地图上。
另一种可选的，物体标识为对应于不同物体对象的第一目标形状的图形元素，结构标识为对应于不同物体结构的第二目标形状的图形元素。
可选的，点云数据中的每个点至少记载：物体颜色信息和物体空间位置信息。
可选的，智能车辆中物体对象的标注装置还包括：第一获取模块，用于在获取当前车辆周围区域在目标地图中的初始图像信息之前，获取扫描得到的历史图像信息，其中，历史图像信息中包括未标注物体对象；接收模块，用于接收物体标注数据，其中，物体标注数据包括已完成物体标注的标识；形成单元，用于以历史图像信息和物体标注数据形成训练数据；训练模块，用于利用训练数据训练得到物体标注模型。
上述的智能车辆中物体对象的标注装置还可以包括处理器和存储器，上述获取单元21、识别单元23、标注单元25等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上。
上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的智能车辆中物体对象的标注方法。
根据本发明实施例的另一方面，还提供了一种无人驾驶车辆，包括：处理器，用于运行程序，其中，程序运行时执行上述任意一项的智能车辆中物体对象的标注方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取当前车辆周围区域在目标地图中的初始图像信息，其中，初始图像信息包括：物体对象的位置和占据区域；识别初始图像信息中每种物体对象的组成结构，得到物体结构信息；基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种智能车辆中物体对象的标注方法，其特征在于，应用于无人驾驶车辆，包括：
获取当前车辆周围区域在目标地图中的初始图像信息，其中，所述初始图像信息包括：物体对象的位置和占据区域，获取所述初始图像信息的步骤包括：扫描当前车辆的周围区域，得到区域地图；提取所述区域地图中的立体物体对象的外部轮廓；确定每种所述物体对象的空间位置、物体表面颜色和占据区域，得到当前车辆周围区域在目标地图中的所述初始图像信息；
识别所述初始图像信息中每种物体对象的组成结构，得到物体结构信息，其中，包括：扫描每种所述物体对象的内部结构，得到内部结构信息，其中，所述内部结构信息至少包括：物体结构颜色、物体结构所处空间位置和结构连接信息；基于所述内部结构信息，对所述物体对象进行拆分，得到所有物体结构的结构形状和占据空间，得到物体结构信息；
基于所述物体结构信息与预设标注库，将全部物体对象和物体结构标注在所述目标地图上，其中，所述预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，所述目标地图中显示每种所述物体对象和每个物体结构的点云数据，所述点云数据中的每个点至少记载：物体颜色信息和物体空间位置信息，
基于所述物体结构信息与预设标注库，将全部物体对象和物体结构标注在所述目标地图上的步骤包括:基于所述第一映射关系，将与每种所述物体对象对应的物体标识渲染在所述目标地图上；基于所述第二映射信息和物体结构信息，采用物体标注模型将与每个所述物体结构对应的结构标识渲染在所述目标地图上。
2.根据权利要求1所述的标注方法，其特征在于，所述物体对象的类型为静态物体，所述物体标识为对应于不同物体对象的第一目标形状的图形元素，所述结构标识为对应于不同物体结构的第二目标形状的图形元素。
3.根据权利要求1所述的标注方法，其特征在于，在获取当前车辆周围区域在目标地图中的初始图像信息之前，所述标注方法还包括：
获取扫描得到的历史图像信息，其中，所述历史图像信息中包括未标注物体对象；
接收物体标注数据，其中，所述物体标注数据包括已完成物体标注的标识；
以所述历史图像信息和所述物体标注数据形成训练数据；
利用所述训练数据训练得到所述物体标注模型。
4.一种智能车辆中物体对象的标注装置，其特征在于，应用于无人驾驶车辆，该标注装置包括：
获取单元，用于获取当前车辆周围区域在目标地图中的初始图像信息，其中，所述初始图像信息包括：物体对象的位置和占据区域，获取所述初始图像信息的步骤包括：扫描当前车辆的周围区域，得到区域地图；提取所述区域地图中的立体物体对象的外部轮廓；确定每种所述物体对象的空间位置、物体表面颜色和占据区域，得到当前车辆周围区域在目标地图中的所述初始图像信息；
识别单元，用于识别所述初始图像信息中每种物体对象的组成结构，得到物体结构信息，
其中，所述识别单元包括：第二扫描模块，用于扫描每种所述物体对象的内部结构，得到内部结构信息，其中，所述内部结构信息至少包括：物体结构颜色、物体结构所处空间位置和结构连接信息；第二确定模块，用于基于所述内部结构信息，对所述物体对象进行拆分，得到所有物体结构的结构形状和占据空间，得到物体结构信息；
标注单元，用于基于所述物体结构信息与预设标注库，将全部物体对象和物体结构标注在所述目标地图上，其中，所述预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，所述目标地图中显示每种所述物体对象和每个物体结构的点云数据，所述点云数据中的每个点至少记载：物体颜色信息和物体空间位置信息,
所述标注单元包括：第一渲染模块，用于基于所述第一映射关系，将与每种所述物体对象对应的物体标识渲染在所述目标地图上；第二渲染模块，用于基于所述第二映射信息和物体结构信息，采用物体标注模型将与每个所述物体结构对应的结构标识渲染在所述目标地图上。
5.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至3中任意一项所述的智能车辆中物体对象的标注方法。
6.一种无人驾驶车辆，其特征在于，包括：处理器，用于运行程序，其中，所述程序运行时执行权利要求1至3中任意一项所述的智能车辆中物体对象的标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010097499.8A CN111325136B (zh) | 2020-02-17 | 2020-02-17 | 智能车辆中物体对象的标注方法及装置、无人驾驶车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010097499.8A CN111325136B (zh) | 2020-02-17 | 2020-02-17 | 智能车辆中物体对象的标注方法及装置、无人驾驶车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325136A CN111325136A (zh) | 2020-06-23 |
| CN111325136B true CN111325136B (zh) | 2024-03-19 |
Family
ID=71167036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010097499.8A Active CN111325136B (zh) | 2020-02-17 | 2020-02-17 | 智能车辆中物体对象的标注方法及装置、无人驾驶车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325136B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112197763B (zh) * | 2020-09-30 | 2024-02-27 | 灵动科技（北京）有限公司 | 地图构建方法、装置、设备和存储介质 |
| CN113033496A (zh) * | 2021-04-30 | 2021-06-25 | 北京小马慧行科技有限公司 | 车辆类型的确定方法及装置 |
| CN113191279A (zh) * | 2021-05-07 | 2021-07-30 | 北京百度网讯科技有限公司 | 数据标注方法、装置、设备、存储介质以及计算机程序产品 |
| CN113469000B (zh) * | 2021-06-23 | 2024-06-14 | 追觅创新科技(苏州)有限公司 | 区域地图的处理方法及装置、存储介质及电子装置 |
| CN113837614B (zh) * | 2021-09-26 | 2024-06-21 | 北京京东振世信息技术有限公司 | 承运货物量监控方法、***、电子设备及可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778548A (zh) * | 2016-11-30 | 2017-05-31 | 百度在线网络技术（北京）有限公司 | 用于检测障碍物的方法和装置 |
| CN109214248A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 用于识别无人驾驶车辆的激光点云数据的方法和装置 |
| CN109271924A (zh) * | 2018-09-14 | 2019-01-25 | 盯盯拍（深圳）云技术有限公司 | 图像处理方法及图像处理装置 |
| CN109949439A (zh) * | 2019-04-01 | 2019-06-28 | 星觅(上海)科技有限公司 | 行车实景信息标注方法、装置、电子设备和介质 |
| CN110598743A (zh) * | 2019-08-12 | 2019-12-20 | 北京三快在线科技有限公司 | 一种目标对象的标注方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10748426B2 (en) * | 2017-10-18 | 2020-08-18 | Toyota Research Institute, Inc. | Systems and methods for detection and presentation of occluded objects |
-
2020
- 2020-02-17 CN CN202010097499.8A patent/CN111325136B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778548A (zh) * | 2016-11-30 | 2017-05-31 | 百度在线网络技术（北京）有限公司 | 用于检测障碍物的方法和装置 |
| CN109214248A (zh) * | 2017-07-04 | 2019-01-15 | 百度在线网络技术（北京）有限公司 | 用于识别无人驾驶车辆的激光点云数据的方法和装置 |
| CN109271924A (zh) * | 2018-09-14 | 2019-01-25 | 盯盯拍（深圳）云技术有限公司 | 图像处理方法及图像处理装置 |
| CN109949439A (zh) * | 2019-04-01 | 2019-06-28 | 星觅(上海)科技有限公司 | 行车实景信息标注方法、装置、电子设备和介质 |
| CN110598743A (zh) * | 2019-08-12 | 2019-12-20 | 北京三快在线科技有限公司 | 一种目标对象的标注方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| Design of a Resource-Oriented Framework for Point Cloud Semantic Annotation with Deep Learning;Chen-Yu Hao, et al;2018 IEEE First International Conference on Artificial Intelligence and Knowledge Engineering (AIKE);全文 * |
| 实时的移动机器人语义地图构建***;李秀智;李尚宇;贾松敏;单吉超;;仪器仪表学报(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325136A (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325136B (zh) | 智能车辆中物体对象的标注方法及装置、无人驾驶车辆 | |
| CN108345822B (zh) | 一种点云数据处理方法及装置 | |
| CN110210280B (zh) | 一种超视距感知方法、***、终端和存储介质 | |
| CN108470159B (zh) | 车道线数据处理方法、装置、计算机设备和存储介质 | |
| CN111874006B (zh) | 路线规划处理方法和装置 | |
| CN109556617A (zh) | 一种自动建图机器人的地图要素提取方法 | |
| CN112991791B (zh) | 交通信息识别和智能行驶方法、装置、设备及存储介质 | |
| CN111220993A (zh) | 目标场景定位方法、装置、计算机设备和存储介质 | |
| CN108068817A (zh) | 一种无人驾驶汽车自动变道装置及方法 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| CN110956100A (zh) | 一种高精度地图生成方法、装置、电子设备和存储介质 | |
| CN111316324A (zh) | 一种自动驾驶模拟***、方法、设备及存储介质 | |
| CN112950972A (zh) | 一种停车场地图构建方法、装置、设备和介质 | |
| CN115372990A (zh) | 一种高精度语义地图的建图方法、装置和无人车 | |
| CN113071500A (zh) | 车道线的获取方法、装置、计算机设备和存储介质 | |
| CN111126154A (zh) | 路面元素的识别方法、装置、无人驾驶设备和存储介质 | |
| CN114359233B (zh) | 图像分割模型训练方法、装置、电子设备及可读存储介质 | |
| CN113212452A (zh) | 无人驾驶车辆的控制方法及控制装置、无人驾驶车辆 | |
| CN114677658A (zh) | 十亿像素动态大场景图像采集和多目标检测方法及装置 | |
| WO2021138372A1 (en) | Feature coverage analysis | |
| CN113841154A (zh) | 一种障碍物检测方法及装置 | |
| CN112418183A (zh) | 一种停车场的元素提取方法、装置、电子设备及存储介质 | |
| CN112184605A (zh) | 一种车辆驾驶视野增强方法、设备及*** | |
| CN109144052A (zh) | 用于自动驾驶车辆的导航***及其方法 | |
| KR102540636B1 (ko) | 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210203 Address after: 100094 19 / F, block A1, Zhongguancun No.1, 81 Beiqing Road, Haidian District, Beijing Applicant after: BEIJING XIAOMA HUIXING TECHNOLOGY Co.,Ltd. Address before: 100094 2 / F, block B, building 1, yard 68, Beiqing Road, Haidian District, Beijing Applicant before: BEIJING PONY.AI SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |