CN111401133A - 目标数据增广方法、装置、电子设备和可读存储介质 - Google Patents
目标数据增广方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111401133A CN111401133A CN202010101994.1A CN202010101994A CN111401133A CN 111401133 A CN111401133 A CN 111401133A CN 202010101994 A CN202010101994 A CN 202010101994A CN 111401133 A CN111401133 A CN 111401133A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- scene
- point cloud
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013434 data augmentation Methods 0.000 title claims abstract description 34
- 238000002372 labelling Methods 0.000 claims abstract description 37
- 230000003190 augmentative effect Effects 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 35
- 238000013075 data extraction Methods 0.000 claims description 2
- 230000003416 augmentation Effects 0.000 abstract description 12
- 238000003062 neural network model Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种目标数据增广方法、装置、电子设备、计算机可读存储介质。其中方法包括：从目标数据集中提取出若干个符合预设条件的目标数据，目标数据包括目标图像和与所述目标图像对应的目标点云；获取场景数据，场景数据包括场景图像和与所述场景图像对应的场景点云；根据场景数据中场景图像和/或场景点云的标注信息将目标数据融合到场景数据中，得到包含目标的增广数据。上述方案能够实现包括点云和图像数据的联动增广，保证图像和点云数据的一致性，且成本低，获得的增广数据能够很好地提升神经网络模型的预测性能。
Description
技术领域
本申请涉及深度学习技术领域，具体涉及一种目标数据增广方法、装置、电子设备和可读存储介质。
背景技术
无人驾驶是一个复杂***，涉及定位、感知、决策、控制等多种技术，其中感知模块用于识别并定位环境中的各种行人、车辆等障碍物。为了实现精确的3D障碍物检测，深度学习是目前的主流技术，它需要利用大量路面数据训练卷积神经网络模型，数据量的大小决定了模型性能，因此，怎样扩充增广数据量是使用深度学习技术必须面对的技术。
随着技术的迭代更新，无人驾驶设备上一般装载有摄像头和激光雷达，从而结合多个传感器的优点，实现更精准的障碍物检测效果。因此，深度学习网络是以图像和点云作为输入，数据增广需要在图像和点云上同步进行，从而为数据增广带来了不小的挑战。现有技术中的增广方案一般采用手动采集增广目标，需要消耗大量的人力和财力；且由于随机放置增广目标在背景图像上，可能将增广目标放置在了不合适的位置。
申请内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的目标数据增广方法、装置、电子设备和可读存储介质。
依据本申请的一个方面，提供了一种目标数据增广方法，所述方法包括：
从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；
获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；
根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。
可选的，所述目标数据集是通过如下方式获取的：
选取或采集具有对应关系的点云数据和图像数据；
根据所述点云数据的标注信息，判断所述点云数据中的每一点云点是否在目标的3D框中，从而获取该目标的所述目标点云；
根据所述图像数据的标注信息，获取所述目标图像的2D框，根据实例分割网络模型获取所述目标图像的实例分割。
可选的，所述点云数据的标注信息包括如下任一种或几种信息：目标位置、目标大小、朝向角、是否遮挡；所述图像数据的标注信息包括所述目标图像的2D框的位置；
所述根据实例分割网络模型获取所述目标图像的实例分割包括：
采用预训练的识别网络模型从所述图像数据中生成所述目标图像的前景实例分割。
可选的，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据包括：
根据所述场景点云中标注的地面信息，通过所述目标的俯视图位置确定所述目标距离地面的理论高度，并根据所述理论高度和当前高度的差值确定所述目标在高度上的偏移量；
根据所述偏移量对所述目标点云进行平移，使得所述目标点云在场景点云的地面上。
可选的，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据还包括：
确定所述目标点云和所述场景点云中其他目标点云的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标。
可选的，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据还包括：
根据所述目标点云在所述场景点云中的位置以及所述场景点云到所述场景图像的标定关系，生成所述目标图像在所述场景图像中的2D框；
根据所述2D框对所述目标图像进行2D碰撞检测和/或前置遮挡检测；
依据计算确定的2D框尺寸调整所述目标图像的尺寸；
将生成的目标图像中处于所述实例分割内的像素点覆盖所述场景图像的像素。
可选的，所述对所述目标图像进行2D碰撞检测包括：
确定所述目标图像的2D框和所述场景图像中其他目标的2D框的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标；
所述对所述目标图像进行前置遮挡检测包括：
获取所述场景点云中所有能够投影到此目标图像的2D框中的点云点，且所述点云点的最远距离不超过目标距离传感器的距离，若存在所述点云点则表明存在前置遮挡物，若不存在所述点云点则表明不存在前置遮挡物。
依据本申请的另一方面，提供了一种目标数据增广装置，所述装置包括：
目标数据提取单元，适于从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；
场景数据获取单元，适于获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；
数据增广实现单元，适于根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。
依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。
由上述可知，本申请公开的目标数据增广技术方案，能够获得以下的技术效果：
相较于单纯图像数据或者单纯点云数据的增广，本申请公开的联动增广方案可以保证图像和点云数据的一致性，实现了融合书的增广，能够用于多传感器融合的深度学习模型训练，提高了检测性能；
增广数据从原始数据集中直接得到，不需要额外的数据采集，节省了人力财力开支；
通过利用原始数据集中标注的地面信息，保证增广的目标出现在地平面上，避免了非真实场景的出现。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的目标数据增广方法的流程示意图；
图2示出了根据本申请一个实施例的目标数据增广装置的结构示意图；
图3示出了根据本申请一个实施例的电子设备的结构示意图；
图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图
图5示出了根据本申请一个实施例的从点云数据中提取目标点云的流程示意图；
图6示出了根据本申请一个实施例的从图像数据中提取目标图像2D框和目标实例分割的流程示意图；
图7示出了根据本申请实施例的数据增广整体的流程示意图；
图8示出了根据本申请实施例的目标数据增广前后对比的示例图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请的实施例中公开的数据增广方案技术构思要点包括：预先获取并设置目标数据集，该目标数据集包括多条目标的点云、图像，比如车辆的点云和车辆的图像，即预设上述目标数据集作为增广的目标数据的来源；然后获取需要增广的场景数据，场景数据一般是从实际场景通过摄像头以及激光雷达采集到的数据，其中场景数据和目标数据集可以是同一来源的数据集；最后将提取出的目标数据融入到场景数据中，获得增广后的场景数据。本申请的目标在于在上述场景数据加入新的目标以获得更多的训练样本数据，根据模型训练的目的不同，上述目标不仅包括车辆，也可以是行人、动物等其他障碍物。
图1示出了根据本申请一个实施例的目标数据增广方法的流程示意图；所述方法包括：
步骤S110，从目标数据集中提取出若干个符合预设条件的目标数据，目标数据包括目标图像和与所述目标图像对应的目标点云。
该步骤是从预设的目标数据集中选取若干个待融合的目标，从而为数据增广做好准备。其中，目标数据集可以是用于无人驾驶中的、根据融合传感器采集的车辆、行人或其他障碍物的图像或点云，当然也可以不限于无人驾驶领域，还可以是其他任意的用于识别模型训练样本的增广的目标数据集。
该步骤的目标数据集可以保存在一个数据库中，从目标数据集中提取或选取的每个目标可以包括多条数据，比如包括目标图像、目标点云以及它们的坐标位置。每条目标点云和目标图像具有对应的关系，表明它们是同一目标的图像或点云。上述对应关系具体包括上述点云和图像数据的时间对齐关系，比如它们可以是通过在同一时刻同一台无人设备上的摄像头和激光雷达采集得到。优选地，为了减少人力财力成本，和其他方案中用人工重新采集目标数据不同，该实施例中的目标数据可利用数据集的标注信息直接从数据集中提取比如车辆、行人、动物、其他障碍物等，从而形成上述目标数据集。
另外，为了提高目标数据的质量，还可以通过预设条件对目标数据进行过滤，过滤的预设条件包括：目标是否被遮挡、截断，所包含的点云的点数是否太少，有无前景分割掩膜(mask)，以及前景分割掩膜包含的像素点是否过少等，其中点数是否太少可通过设置阈值来判断。若目标不符合预设条件，则放弃该目标，从目标数据集中重新提取或选取。
步骤S120，获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云。
场景数据是一个基础数据集合，以该场景数据为基础蓝本，形成增广的数据集。其中，为了节省成本，场景数据可以选自作为目标数据来源的数据集，当然，也可以选自其他的数据集。并且，根据神经网络模型训练的需求，场景数据中同样包括具有时间对齐关系的场景图像数据和场景点云数据，它们分别用于融合目标的图像数据和目标的点云数据。
步骤S130，根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据。
场景数据中场景图像和/或场景点云的标注信息比如地面信息，既可以仅出现在场景图像中或场景点云中，然后根据对应关系将目标放置到另一方中的同一位置，也可以场景点云和场景图像中标注信息，并且可以根据该标注信息进行定位和校验。
上述标注信息和作为目标数据来源的数据集中的标注信息一样，可根据人为标注获得的信息，包括地面位置、目标2D框以及3D框的位置、朝向角等信息，利用上述标注信息，可以方便地将目标融合到场景中，保证目标出现地面的合理位置，而不是出现在天空或者建筑物上。
一般地，目标是逐个地***到场景中的，且针对不同场景的操作可以获得更多的增广场景。在实际执行中，可以分别操作，将目标点云数据和目标图像数据融合到场景数据的场景点云和场景图像中；也可以先将目标点云融合到场景点云中，然后根据场景点云和场景图像之间的标定关系，再将场景点云中的目标3D框映射到场景点云的目标2D框；或者通过相反的映射程序实现，即先在场景图像中生成目标图像的2D框，然后获得场景点云的目标3D框。
在具体实现时，所述目标数据集和场景数据集为同源数据集，它们可由相同的融合传感器采集而成，或者可经过坐标转换关系获得了相同的坐标系。因此，在将目标数据集成到场景数据中时，根据目标数据中的坐标值将该目标数据放置到场景数据的同样位置中，然后做简单调整即可。
通过上述步骤，可实现对数据集中的每一帧场景中加入随机数量的新目标。为了保证生成目标的真实性，可以根据标注信息将目标***到合理的位置，同时，为了保持场景点云数据和图像数据的一致性，新增加的目标不但在点云数据中出现，在图像中也应该在相应位置出现。
在一个实施例中，所述目标数据集是通过如下方式获取的：选取或采集具有对应关系的点云数据和图像数据；根据所述点云数据的标注信息，判断所述点云数据中的每一点云点是否在目标的3D框中，从而获取该目标的所述目标点云。
首先需要确定待提取目标数据的样本数据，比如可以从无人设备采集的数据集中选取部分数据样本。
参见图5，示出了从点云数据中提取目标点云的流程，得到数据集中某的点云数据以及标注文件，根据标注文件中的标注信息，通过计算每一个点云点是否处于某一目标的3D框中，可以将每个目标包含的点云提取出来。如图5所示，通过前后点云图的对比，其中目标对应的点云点进行了加灰处理。
根据所述图像数据的标注信息，获取所述目标图像的2D框，并根据实例分割网络模型获取所述目标图像的实例分割。这里的实例分割是指对车辆、行人、其他障碍物进行目标检测和像素级分割，即将目标图像的像素点从整体图像中识别并分离出来。
参见图6所示，首先获得数据集中与点云数据帧对应的图像数据及标注文件，标注文件中至少包括了每一个目标在图像中的2D框的位置信息。为了防止在数据增广时将不属于目标的像素点加入到场景图像中，还需要得到每个目标的前景分割掩膜，优选的，分割掩膜是通过MASK-RCNN实例分割网络模型来实现。根据图6，图像中包含四个车辆目标，其对应的目标图像由2D框标出，对应的分割结果由mask显示。
通过上述操作，可以得到数据集中某一帧里所有目标，且每个目标包含三种信息：目标点云(即3D框)、目标图像截片(即2D框)和目标实例分割mask。而把所有的目标汇总，即得到目标数据库。
在一个实施例中，所述点云数据的标注信息包括如下任一种或几种信息：目标位置、目标大小、朝向角、是否遮挡；所述图像数据的标注信息包括所述目标图像的2D框的位置。
为了获取准确的模型检测性能以及获取准确的目标数据，在对点云数据和图像数据进行人工标注时，可以根据需要进行相应的标注。如在点云数据的标注信息中可包括如下的信息：目标的位置、目标的大小、目标的朝向角度以及目标是否被其他物体遮挡等。而在图像数据的标注文件中还可以包括目标的2D框位置，目标图像大小等信息。
所述根据实例分割网络模型获取所述目标图像的实例分割包括：采用预训练的识别网络模型从所述图像数据中生成所述目标图像的前景实例分割。
在利用公开数据集进行实验的情况下，比如利用KITTI数据集时，由于KITTI数据集本身没有目标分割的结果，为了从目标图像的2D框中准确“抠出”目标图像而不包括其他的像素点，可采用识别网络模型从图像数据中生成目标图像的前景实例分割，优选的，上述识别网络模型为MASK-RCNN。MASK-RCNN是一个通用实例分割架构，是Faster RCNN框架，用于对Faster RCNN的每个候选框(Proposal Box)进行语义分割，其中分割任务与定位、分类任务是同时进行的。在本实施例中利用MASK-RCNN用于将目标图像识别并精确地分割出来。
根据图6中的右下角小图可知，目标车辆已经被掩膜覆盖，从而为后续准确生成目标图像提供了前提条件。
在一个实施例中，所述步骤S130包括：根据所述场景点云中标注的地面信息，通过所述目标的俯视图位置确定所述目标距离地面的理论高度，并根据所述理论高度和当前高度的差值确定所述目标在高度上的偏移量；根据所述偏移量对所述目标点云进行平移，使得所述目标点云在场景点云的地面上。
具体地，虽然提取的目标在原点云数据中所处的场景与场景数据中的场景大都不相同，然而由于它们采用相同的坐标系，特别是在两者数据为同源数据的情况下，在将目标点云放置到场景点云时，可以首先以该目标点云在原数据中的坐标位置放置到场景点云中，然后再进行微调。比如，为了将目标点云放置到场景点云的地面上，可根据场景点云的地面标注信息调整其高度上的位置使其放置到地面上，同时保持其他坐标位置不变。此时需要计算目标点云需要进行调节的调整量，根据调整量垂直平移目标点云，从而使得目标点云能够真实地出现在场景点云中。并最终生成符合场景数据中当前场景的目标点云和目标点云在所述场景点云中3D框的位置。
在一个实施例中，所述步骤S130还包括：确定所述目标点云和所述场景点云中其他目标点云的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标。
在该实施例中对目标点云是否与场景点云中的其他目标产生碰撞进行了检测，其方法是利用放置到某位置处的目标点云与该位置附近的原来已经存在的其他目标点云的交并比值来判断它们是否会发生干涉碰撞，若所述目标点云和其他目标点云之间存在交叉重叠，则说明它们会发生碰撞，该目标的放置会导致场景不真实，则需要放弃该目标，若不存在交叉重叠，则说明可以将所述目标放置到该位置。
一般地，交并比IoU(Intersection overUnion)表示目标检测模型产生的目标框和原来标记框的交叠率，可以简单理解为：目标框的检测结果(DetectionResult)与标识框的真实值(GroundTruth)的交集与它们并集的比值，即为检测的准确率IoU：
目标框与标识框的相关度越高IoU值也越高，最理想情况是完全重叠，即IoU值为1。
在本申请中则是利用交并比值判断待选取或提取的2D或3D目标框放置在场景数据后是否与场景数据中的其他目标框之间是否存在交集，即是否存在共同的点云点或图像像素点，若不存在共同的点云点或图像像素点，则待选取或提取的目标框与场景数据中的其他目标框的交集为0，然后该交集和它们的并集的商同样为0，则表示可选取该目标用于场景数据中；若交并比值不为0，则表明上述两个目标框之间有交集，会导致两者碰撞的产生，应该放弃待提取或选取的目标框。
该实施例中的目标框为目标点云形成3D框，此时实质上就是要判断目标点云组成的3D框和其他目标点云组成的3D框是否存在相同的点云点，若不存在则交并比值为0，可选取该目标；若存在则交并比值大于0，需放弃该目标。
在一个实施例中，所述步骤S130还包括：根据所述目标点云在所述场景点云中的位置以及所述场景点云到所述场景图像的标定关系，生成所述目标图像在所述场景图像中的2D框；根据所述2D框对所述目标图像进行2D碰撞检测和/或前置遮挡检测；依据计算确定的2D框尺寸调整所述目标图像的尺寸；然后将生成的目标图像中处于所述实例分割内的像素点覆盖所述场景图像的像素。
该实施例描述了根据在场景点云中生成的目标3D框位置和目标点云确定目标图像在场景图像中的2D框位置，并且经过2D碰撞检测以及或者前置遮挡检测以及目标图像尺寸调整等步骤，最终将目标图像加入到场景图像中，实现目标图像与场景图像的融合。
当然，目标图像和目标点云的融合过程也可以分开进行，或者先将目标图像融合到场景图像中，然后再通过映射关系将目标点云融合到场景点云数据中。
其中，为了将场景点云中的3D框位置映射到场景图像中对应的2D框目标图像的位置，需要根据摄像头内参和外参对摄像头坐标和激光设备坐标进行标定，然后根据标定结果根据上述3D框位置获得场景图像中的2D框位置。值得说明的是，由于3D框的位置改变，导致生成的2D框的大小与目标之前的大小可能存在差异，为了使得目标图像更加逼真，可以依据标定的2D框的大小对原目标图像的大小进行调整，使得目标图像更加接近真实情况。
在一个实施例中，所述对所述目标图像进行2D碰撞检测包括：确定所述目标图像的2D框和所述场景图像中其他目标的2D框的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标。
根据上述交并比值的记载，在该实施例需要判断目标图像的2D框与其他目标的2D框是否存在相同的像素点，若不存在则交并比值为0，可选取该目标；若存在则交并比值大于0，需放弃该目标。
所述对所述目标图像进行前置遮挡检测包括：获取所述场景点云中所有能够投影到此目标图像的2D框中的点云点，且所述点云点的最远距离不超过目标距离传感器的距离，若存在所述点云点则表明存在前置遮挡物，若不存在所述点云点则表明不存在前置遮挡物。
上述步骤分别实现了2D框的碰撞检测和前置遮挡检测，2D框的碰撞检测和3D框碰撞检测原理和算法相同，这里不再赘述。
前置遮挡检测主要用于根据激光设备形成点云的原理在激光设备坐标系下是否存在前置遮挡物。即通过判断在目标与传感器之间是否存在点云点，进而判断是否存在前置遮挡物。若存在前置遮挡，则可能表明该目标可能放置到了建筑物或其他障碍物之上或者之间，需要放弃该目标的融合，从而进一步避免出现不真实情况的发生。
图2示出了根据本申请一个实施例的目标数据增广装置的结构示意图；所述装置包括：
目标数据提取单元210，适于从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云。
场景数据获取单元220，适于获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云。
数据增广实现单元230，适于根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据。
通过上述装置中各单元的执行，可实现对数据集中的每一帧场景中加入随机数量的新目标。为了保证生成目标的真实性，可以根据标注信息将目标***到合理的位置，同时，为了保持场景点云数据和图像数据的一致性，新增加的目标不但在点云数据中出现，在图像中也应该在相应位置出现。
在一个实施例中，所述目标数据集是通过如下方式获取的：选取或采集具有对应关系的点云数据和图像数据；根据所述点云数据的标注信息，判断所述点云数据中的每一点云点是否在目标的3D框中，从而获取该目标的所述目标点云。
首先需要确定待提取目标数据的样本数据，比如可以从无人设备采集的数据集中选取部分数据样本。
参见图5，示出了从点云数据中提取目标点云的流程，得到数据集中某的点云数据以及标注文件，根据标注文件中的标注信息，通过计算每一个点云点是否处于某一目标的3D框中，可以将每个目标包含的点云提取出来。如图5所示，通过前后点云图的对比，其中目标对应的点云点进行了加灰处理。
根据所述图像数据的标注信息，获取所述目标图像的2D框，并根据实例分割网络模型获取所述目标图像的实例分割。
参见图6所示，首先获得数据集中与点云数据帧对应的图像数据及标注文件，标注文件中至少包括了每一个目标在图像中的2D框的位置信息。为了防止在数据增广时将不属于目标的像素点加入到场景图像中，还需要得到每个目标的前景分割掩膜，分割掩膜是通过MASK-RCNN实例分割网络模型来实现。根据图6，图像中包含四个车辆目标，其对应的目标图像由2D框标出，对应的分割结果由mask显示。
通过上述操作，可以得到数据集中某一帧里所有目标，且每个目标包含三种信息：目标点云、目标图像截片和目标实例分割mask。而把所有的目标汇总，即得到目标数据库。
在一个实施例中，所述点云数据的标注信息包括如下任一种或几种信息：目标位置、目标大小、朝向角、是否遮挡；所述图像数据的标注信息包括所述目标图像的2D框的位置。
为了获取准确的模型检测性能以及获取准确的目标数据，在对点云数据和图像数据进行人工标注时，可以根据需要进行相应的标注。如在点云数据的标注信息中可包括如下的信息：目标的位置、目标的大小、目标的朝向角度以及目标是否被其他物体遮挡等。而在图像数据的标注文件中还可以包括目标的2D框位置，目标图像大小等信息。
所述根据实例分割网络模型获取所述目标图像的实例分割包括：采用预训练的识别网络模型从所述图像数据中生成所述目标图像的前景实例分割。
为了从目标图像的2D框中准确“抠出”目标图像而不包括其他的像素点，可采用MASK-RCNN识别网络模型从图像数据中生成目标图像的前景实例分割mask，根据图6中的右下角小图可知，目标车辆已经被掩膜覆盖。
在一个实施例中，所述数据增广单元230适于：根据所述场景点云中标注的地面信息，通过所述目标的俯视图位置确定所述目标距离地面的理论高度，并根据所述理论高度和当前高度的差值确定所述目标在高度上的偏移量；根据所述偏移量对所述目标点云进行平移，使得所述目标点云在场景点云的地面上。
在一个实施例中，所述数据增广实现单元230还适于：确定所述目标点云和所述场景点云中其他目标点云的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标。
在该实施例中对目标点云是否与场景点云中的其他目标产生碰撞进行了检测，即利用交并比值计算来进行碰撞检测。
在一个实施例中，所述数据增广实现单元230还适于：
根据所述目标点云在所述场景点云中的位置以及所述场景点云到所述场景图像的标定关系，生成所述目标图像在所述场景图像中的2D框；
根据所述2D框对所述目标图像进行2D碰撞检测和/或前置遮挡检测；
依据计算确定的2D框尺寸调整所述目标图像的尺寸；
将生成的目标图像中处于所述实例分割内的像素点覆盖所述场景图像的像素。
该实施例描述了根据在场景点云中生成的目标3D框位置和目标点云确定目标图像在场景图像中的2D框位置，并且经过2D碰撞检测以及前置遮挡检测以及目标图像尺寸调整等步骤，最终将目标图像加入到场景图像中，实现目标图像与场景图像的融合。
在一个实施例中，所述对所述目标图像进行2D碰撞检测包括：确定所述目标图像的2D框和所述场景图像中其他目标的2D框的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标。
对所述目标图像进行前置遮挡检测包括：获取所述场景点云中所有能够投影到此目标图像的2D框中的点云点，且所述点云点的最远距离不超过目标距离传感器的距离，若存在所述点云点则表明存在前置遮挡物，若不存在所述点云点则表明不存在前置遮挡物。
综上所述，参见图7所示的目标数据增广流程，本申请公开的数据增广方案包括：从目标数据集中经过过滤提取出若干个符合预设条件的目标数据，目标数据包括具有对应关系的目标点云和目标图像；获取场景数据，利用场景数据为基础生成目标增广数据，其中场景数据包括具有对应关系的场景点云和场景图像；根据场景数据的标注信息将目标数据融合到场景数据中，比如可首先生成场景点云中的3D目标点云，根据3D框与2D框中的对应关系生成目标2D框和目标分割，经处理后得到包含目标的增广数据。上述方案能够实现包括点云和图像数据的联动增广，保证图像和点云数据的一致性，且成本低，获得的增广数据能够很好地提升神经网络模型的预测性能。
图8示出了将场景数据增广的具体实例，其中，中间图为原场景，上图和下图分别为增广后的场景点云和场景图像。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的目标数据增广装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种目标数据增广方法，其特征在于，所述方法包括：
从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；
获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；
根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。
2.如权利要求1所述的目标数据增广方法，其特征在于，所述目标数据集是通过如下方式获取的：
选取或采集具有对应关系的点云数据和图像数据；
根据所述点云数据的标注信息，判断所述点云数据中的每一点云点是否在目标的3D框中，从而获取该目标的所述目标点云；
根据所述图像数据的标注信息，获取所述目标图像的2D框，根据实例分割网络模型获取所述目标图像的实例分割。
3.如权利要求2所述的目标数据增广方法，其特征在于，所述点云数据的标注信息包括如下任一种或几种信息：目标位置、目标大小、朝向角、是否遮挡；所述图像数据的标注信息包括所述目标图像的2D框的位置；
所述根据实例分割网络模型获取所述目标图像的实例分割包括：
采用预训练的识别网络模型从所述图像数据中生成所述目标图像的前景实例分割。
4.如权利要求2或3所述的目标数据增广方法，其特征在于，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据包括：
根据所述场景点云中标注的地面信息，通过所述目标的俯视图位置确定所述目标距离地面的理论高度，并根据所述理论高度和当前高度的差值确定所述目标在高度上的偏移量；
根据所述偏移量对所述目标点云进行平移，使得所述目标点云在场景点云的地面上。
5.如权利要求4所述的目标数据增广方法，其特征在于，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据还包括：
确定所述目标点云和所述场景点云中其他目标点云的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标。
6.如权利要求4所述的目标数据增广方法，其特征在于，所述根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含所述目标的增广数据还包括：
根据所述目标点云在所述场景点云中的位置以及所述场景点云到所述场景图像的标定关系，生成所述目标图像在所述场景图像中的2D框；
根据所述2D框对所述目标图像进行2D碰撞检测和/或前置遮挡检测；
依据计算确定的2D框尺寸调整所述目标图像的尺寸；
将生成的目标图像中处于所述实例分割内的像素点覆盖所述场景图像的像素。
7.如权利要求6所述的目标数据增广方法，其特征在于，所述对所述目标图像进行2D碰撞检测包括：
确定所述目标图像的2D框和所述场景图像中其他目标的2D框的交并比值，判断所述交并比值是否等于0，若等于0则表明该目标所处位置没有其他目标存在，则可选取该目标，若大于0则表明该目标所处位置已经有其他目标存在，则需要放弃该目标；
所述对所述目标图像进行前置遮挡检测包括：
获取所述场景点云中所有能够投影到此目标图像的2D框中的点云点，且所述点云点的最远距离不超过目标距离传感器的距离，若存在所述点云点则表明存在前置遮挡物，若不存在所述点云点则表明不存在前置遮挡物。
8.一种目标数据增广装置，其特征在于，包括：
目标数据提取单元，适于从目标数据集中提取出若干个符合预设条件的目标数据，所述目标数据包括目标图像和与所述目标图像对应的目标点云；
场景数据获取单元，适于获取场景数据，所述场景数据包括场景图像和与所述场景图像对应的场景点云；
数据增广实现单元，适于根据所述场景数据中场景图像和/或场景点云的标注信息将所述目标数据融合到所述场景数据中，得到包含目标的增广数据。
9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的目标数据增广方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的目标数据增广方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010101994.1A CN111401133A (zh) | 2020-02-19 | 2020-02-19 | 目标数据增广方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010101994.1A CN111401133A (zh) | 2020-02-19 | 2020-02-19 | 目标数据增广方法、装置、电子设备和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111401133A true CN111401133A (zh) | 2020-07-10 |
Family
ID=71432648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010101994.1A Pending CN111401133A (zh) | 2020-02-19 | 2020-02-19 | 目标数据增广方法、装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401133A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881029A (zh) * | 2020-07-23 | 2020-11-03 | 深圳慕智科技有限公司 | 一种面向自动驾驶的多场景自动化点云扩增方法 |
| CN112001287A (zh) * | 2020-08-17 | 2020-11-27 | 禾多科技（北京）有限公司 | 障碍物的点云信息生成方法、装置、电子设备和介质 |
| CN112287860A (zh) * | 2020-11-03 | 2021-01-29 | 北京京东乾石科技有限公司 | 物体识别模型的训练方法及装置、物体识别方法及*** |
| CN112329547A (zh) * | 2020-10-15 | 2021-02-05 | 北京三快在线科技有限公司 | 一种数据处理方法及装置 |
| CN112462348A (zh) * | 2021-02-01 | 2021-03-09 | 知行汽车科技（苏州）有限公司 | 激光点云数据增广的方法、装置及存储介质 |
| CN112700455A (zh) * | 2020-12-28 | 2021-04-23 | 北京超星未来科技有限公司 | 一种激光点云数据生成方法、装置、设备及介质 |
| CN113435273A (zh) * | 2021-06-15 | 2021-09-24 | 北京的卢深视科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
| CN113763307A (zh) * | 2020-08-11 | 2021-12-07 | 北京京东乾石科技有限公司 | 样本数据的获取方法和装置 |
| WO2022193604A1 (en) * | 2021-03-16 | 2022-09-22 | Huawei Technologies Co., Ltd. | Devices, systems, methods, and media for point cloud data augmentation using model injection |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778548A (zh) * | 2016-11-30 | 2017-05-31 | 百度在线网络技术（北京）有限公司 | 用于检测障碍物的方法和装置 |
| CN107463629A (zh) * | 2017-07-14 | 2017-12-12 | 青岛海尔智能技术研发有限公司 | 基于3d技术的图像数据库建立方法和*** |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN108765584A (zh) * | 2018-05-31 | 2018-11-06 | 深圳市易成自动驾驶技术有限公司 | 激光点云数据集增广方法、装置及可读存储介质 |
| US20180365503A1 (en) * | 2017-06-16 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium |
| CN109345510A (zh) * | 2018-09-07 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
| US20190065637A1 (en) * | 2017-08-31 | 2019-02-28 | Ford Global Technologies, Llc | Augmenting Real Sensor Recordings With Simulated Sensor Data |
| US10235601B1 (en) * | 2017-09-07 | 2019-03-19 | 7D Labs, Inc. | Method for image analysis |
| CN110096059A (zh) * | 2019-04-25 | 2019-08-06 | 杭州飞步科技有限公司 | 自动驾驶方法、装置、设备及存储介质 |
| US20190251397A1 (en) * | 2018-02-14 | 2019-08-15 | Nvidia Corporation | Generation of Synthetic Images For Training a Neural Network Model |
| CN110428388A (zh) * | 2019-07-11 | 2019-11-08 | 阿里巴巴集团控股有限公司 | 一种图像数据生成方法及装置 |
| CN110490960A (zh) * | 2019-07-11 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 一种合成图像生成方法及装置 |
| CN110598743A (zh) * | 2019-08-12 | 2019-12-20 | 北京三快在线科技有限公司 | 一种目标对象的标注方法和装置 |
-
2020
- 2020-02-19 CN CN202010101994.1A patent/CN111401133A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778548A (zh) * | 2016-11-30 | 2017-05-31 | 百度在线网络技术（北京）有限公司 | 用于检测障碍物的方法和装置 |
| US20180365503A1 (en) * | 2017-06-16 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium |
| CN107463629A (zh) * | 2017-07-14 | 2017-12-12 | 青岛海尔智能技术研发有限公司 | 基于3d技术的图像数据库建立方法和*** |
| US20190065637A1 (en) * | 2017-08-31 | 2019-02-28 | Ford Global Technologies, Llc | Augmenting Real Sensor Recordings With Simulated Sensor Data |
| US10235601B1 (en) * | 2017-09-07 | 2019-03-19 | 7D Labs, Inc. | Method for image analysis |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| US20190251397A1 (en) * | 2018-02-14 | 2019-08-15 | Nvidia Corporation | Generation of Synthetic Images For Training a Neural Network Model |
| CN108765584A (zh) * | 2018-05-31 | 2018-11-06 | 深圳市易成自动驾驶技术有限公司 | 激光点云数据集增广方法、装置及可读存储介质 |
| CN109345510A (zh) * | 2018-09-07 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
| CN110096059A (zh) * | 2019-04-25 | 2019-08-06 | 杭州飞步科技有限公司 | 自动驾驶方法、装置、设备及存储介质 |
| CN110428388A (zh) * | 2019-07-11 | 2019-11-08 | 阿里巴巴集团控股有限公司 | 一种图像数据生成方法及装置 |
| CN110490960A (zh) * | 2019-07-11 | 2019-11-22 | 阿里巴巴集团控股有限公司 | 一种合成图像生成方法及装置 |
| CN110598743A (zh) * | 2019-08-12 | 2019-12-20 | 北京三快在线科技有限公司 | 一种目标对象的标注方法和装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881029A (zh) * | 2020-07-23 | 2020-11-03 | 深圳慕智科技有限公司 | 一种面向自动驾驶的多场景自动化点云扩增方法 |
| CN113763307A (zh) * | 2020-08-11 | 2021-12-07 | 北京京东乾石科技有限公司 | 样本数据的获取方法和装置 |
| CN113763307B (zh) * | 2020-08-11 | 2024-06-18 | 北京京东乾石科技有限公司 | 样本数据的获取方法和装置 |
| CN112001287A (zh) * | 2020-08-17 | 2020-11-27 | 禾多科技（北京）有限公司 | 障碍物的点云信息生成方法、装置、电子设备和介质 |
| CN112001287B (zh) * | 2020-08-17 | 2023-09-12 | 禾多科技（北京）有限公司 | 障碍物的点云信息生成方法、装置、电子设备和介质 |
| CN112329547A (zh) * | 2020-10-15 | 2021-02-05 | 北京三快在线科技有限公司 | 一种数据处理方法及装置 |
| CN112287860A (zh) * | 2020-11-03 | 2021-01-29 | 北京京东乾石科技有限公司 | 物体识别模型的训练方法及装置、物体识别方法及*** |
| CN112700455A (zh) * | 2020-12-28 | 2021-04-23 | 北京超星未来科技有限公司 | 一种激光点云数据生成方法、装置、设备及介质 |
| CN112462348A (zh) * | 2021-02-01 | 2021-03-09 | 知行汽车科技（苏州）有限公司 | 激光点云数据增广的方法、装置及存储介质 |
| WO2022193604A1 (en) * | 2021-03-16 | 2022-09-22 | Huawei Technologies Co., Ltd. | Devices, systems, methods, and media for point cloud data augmentation using model injection |
| CN113435273A (zh) * | 2021-06-15 | 2021-09-24 | 北京的卢深视科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
| CN113435273B (zh) * | 2021-06-15 | 2022-03-25 | 北京的卢深视科技有限公司 | 数据增广方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111401133A (zh) | 目标数据增广方法、装置、电子设备和可读存储介质 | |
| CN110598743A (zh) | 一种目标对象的标注方法和装置 | |
| CN110197148B (zh) | 目标物体的标注方法、装置、电子设备和存储介质 | |
| CN107341453B (zh) | 一种车道线提取方法及装置 | |
| CN110210280B (zh) | 一种超视距感知方法、***、终端和存储介质 | |
| CN111123927A (zh) | 轨迹规划方法、装置、自动驾驶设备和存储介质 | |
| CN112257605B (zh) | 基于自标注训练样本的三维目标检测方法、***及装置 | |
| CN112507862B (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及*** | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| CN111160527A (zh) | 一种基于mask rcnn网络模型的目标识别方法、装置 | |
| EP2491530A1 (de) | Verfahren zur bestimmung der pose einer kamera und zur erkennung eines objekts einer realen umgebung | |
| CN111091739B (zh) | 自动驾驶场景的生成方法、装置和存储介质 | |
| CN110969592B (zh) | 图像融合方法、自动驾驶控制方法、装置和设备 | |
| CN112967283A (zh) | 基于双目摄像头的目标识别方法、***、设备及存储介质 | |
| US20230005278A1 (en) | Lane extraction method using projection transformation of three-dimensional point cloud map | |
| CN111144315A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
| CN110956100A (zh) | 一种高精度地图生成方法、装置、电子设备和存储介质 | |
| CN111274927A (zh) | 一种训练数据的生成方法、装置、电子设备和存储介质 | |
| CN111241969A (zh) | 目标检测方法、装置及相应模型训练方法、装置 | |
| CN113255578B (zh) | 交通标识的识别方法及装置、电子设备和存储介质 | |
| Hospach et al. | Simulation of falling rain for robustness testing of video-based surround sensing systems | |
| CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| CN115147328A (zh) | 三维目标检测方法及装置 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200710 |
|
| WD01 | Invention patent application deemed withdrawn after publication |