CN110018470A - 基于多传感器前融合的实例标注方法、模型、终端和存储介质 - Google Patents

基于多传感器前融合的实例标注方法、模型、终端和存储介质 Download PDF

Info

Publication number
CN110018470A
CN110018470A CN201910154093.6A CN201910154093A CN110018470A CN 110018470 A CN110018470 A CN 110018470A CN 201910154093 A CN201910154093 A CN 201910154093A CN 110018470 A CN110018470 A CN 110018470A
Authority
CN
China
Prior art keywords
data
awareness apparatus
multisensor
perception
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910154093.6A
Other languages
English (en)
Inventor
吴子章
唐锐
王凡
丁丽珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Anchi Zongmu Intelligent Technology Co Ltd
Original Assignee
Beijing Anchi Zongmu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Anchi Zongmu Intelligent Technology Co Ltd filed Critical Beijing Anchi Zongmu Intelligent Technology Co Ltd
Priority to CN201910154093.6A priority Critical patent/CN110018470A/zh
Publication of CN110018470A publication Critical patent/CN110018470A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于多传感器前融合的实例标注方法、模型、终端和存储介质，数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自感知数据的原始数据，将数据采集模块获得的感知数据做时间同步处理，将数据采集模块获得的感知数据做空间同步处理，采用的是多传感器前融合方式，在前融合过程中，我们在原始层把多种传感器数据都融合在一起，对目标进行融合数据的实例标注，输出一个更精确的结果。

Description

基于多传感器前融合的实例标注方法、模型、终端和存储介质
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种基于多传感器前融合的实例标注方法、模型、终端和存储介质。
背景技术
目前常用的实例分割标注方式为使用lableme等标注工具，在二维图像中使用人工将目标利用多边形工具沿着该目标的边界将目标标注出来，再给予其一个实例属性，目前这种标注方法使用的信息只有相机采集的二维图像数据，而在无人驾驶中，除了相机这个传感器外，还有毫米波雷达，激光雷达等多个传感器数据，这些传感器之间的数据是相互补充的，并没有数据冗余，但目前的标注方式并没有将其他传感器的数据利用起来，得到的标签数据过于单一，影响感知算法的实现。
此外，我们采用的是多传感器前融合方式，后融合方式是每个传感器各自独立处理生成目标数据，当所有传感器完成目标数据生成后，再自主进行融合，这种后融合方式的问题是激光雷达产生的3D点云数据与摄像头收到的图像数据帧率完全不同，难以进行匹配，而且低置信度信息会被过滤掉，导致原始数据的丢失。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于多传感器前融合的实例标注方法、模型、终端和存储介质，在前融合过程中，我们在原始层把多种传感器数据都融合在一起，而且这个传感器可以看到红外线，摄像头，三维信息以及LiDAR信息。在融合之后的数据中，输出一个更精确的结果。
一种基于多传感器前融合的实例标注方法，包括以下步骤：
S01：数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自感知数据的原始数据；
S02：将数据采集模块获得的感知数据做时间同步处理；
S03：将数据采集模块获得的感知数据做空间同步处理；
S04：采集数据处理前将多个感知设备获得的数据融合；
S05：使用一种感知设备获得数据对目标进行融合数据的实例标注；
S06：将感知设备中出除步骤S05使用的感知设备之外的剩余感知设备的感知数据与步骤S05中的对应。
进一步地，还包括步骤S07：最后得到该目标的多传感器前融合实例标签，应用到基于融合数据开发的算法中。
进一步地，所述步骤S02中时间同步处理是将激光雷达数据与毫米波雷达数据在时间维度上与摄像头采集的图像数据进行对齐。
进一步地，所述步骤S03中空间同步处理是用棋盘标定法将多传感器数据进行空间上的对齐。
进一步地，步骤S05中所述一种感知设备是激光雷达，所述一种感知设备获得数据是指激光雷达获得三维数据，步骤S05中通过使用激光雷达三维数据使用标注工具对目标物体进行实例标注。
进一步地，步骤S06中具体将感知设备中出除步骤S05使用的感知设备之外的剩余感知设备的感知数据与步骤S05中的对应是指：将感知设备中的摄像头数据、毫米波雷达数据与激光雷达数据进行对齐，即可得到同步标注数据。
进一步地，还包括步骤S07：还包括获得目标的多传感器前融合实例标签。
进一步地，所述步骤S04中原始的融合数据包含了由激光雷达和毫米波雷达输出的X,Y,Z的空间数据、摄像头输出的R,G,B的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。
进一步地，所述步骤S05中激光雷达数据上使用标注工具对目标物体进行实例标注的原因是激光雷达采集的数据是三维信息。
一种基于多传感器前融合的实例标注***，包括以下部分：
数据采集模块，所述数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自的感知数据；
时间同步模块，所述时间同步模块用于将数据采集模块获得的感知数据做时间同步处理；
空间同步模块，所述空间同步模块用于将数据采集模块获得的感知数据做空间同步处理；
数据融合模块，所述数据融合模块用于在采集数据处理前将多个感知设备获得的数据融合；
标注模块，所述标注模块用于对目标进行融合数据的实例标注。
进一步地，所述标注模块标注得到的结果，应用到基于融合数据的算法应用中。
进一步地，所述数据融合模块融合的数据包含了由激光雷达和毫米波雷达输出的X,Y,Z的空间数据、摄像头输出的R,G,B的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。
如上所述，本发明的具有以下有益效果：
1)、我们提出了一种基于多传感器前融合的实例标注方法，在原始层将激光雷达、摄像头、毫米波雷达等多种传感器的感知数据进行融合，得到一个8维的数据集，其中包括X、Y、Z的空间数据以及R、G、B的颜色数据、激光反射值数据和多普勒速度数据，增大了感知能力，能够更加准确的对行人车辆等进行识别；
2)、在传感器融合提供的8维数据中，每个通道都是没有任何冗余信息，能够极大的提高整个***的可靠性以及稳定性。；
3)、在前融合过程中，我们在原始层把多种传感器数据都融合在一起，融合好的数据就好比是一个超级传感器，而且这个传感器可以看到红外线，摄像头，三维信息以及LiDAR信息。在融合之后的数据中，我们开发自己的感知算法，最后会输出一个更精确的结果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1，
一种基于多传感器前融合的实例标注方法，包括以下步骤：
S01：数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自感知数据的原始数据；
S02：将数据采集模块获得的感知数据做时间同步处理；
S03：将数据采集模块获得的感知数据做空间同步处理；
S04：采集数据处理前将多个感知设备获得的数据融合；
S05：使用一种感知设备获得数据对目标进行融合数据的实例标注；
S06：将感知设备中出除步骤S05使用的感知设备之外的剩余感知设备的感知数据与步骤S05中的对应。
进一步地，还包括步骤S07：最后得到该目标的多传感器前融合实例标签，应用到基于融合数据开发的算法中。
进一步地，所述步骤S02中时间同步处理是将激光雷达数据与毫米波雷达数据在时间维度上与摄像头采集的图像数据进行对齐。
进一步地，所述步骤S03中空间同步处理是用棋盘标定法将多传感器数据进行空间上的对齐。
进一步地，步骤S05中所述一种感知设备是激光雷达，所述一种感知设备获得数据是指激光雷达获得三维数据，步骤S05中通过使用激光雷达三维数据使用标注工具对目标物体进行实例标注。
进一步地，步骤S06中具体将感知设备中出除步骤S05使用的感知设备之外的剩余感知设备的感知数据与步骤S05中的对应是指：将感知设备中的摄像头数据、毫米波雷达数据与激光雷达数据进行对齐，即可得到同步标注数据。
进一步地，还包括步骤S07：还包括获得目标的多传感器前融合实例标签。
进一步地，所述步骤S04中原始的融合数据包含了由激光雷达和毫米波雷达输出的X,Y,Z的空间数据、摄像头输出的R,G,B的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。
进一步地，所述步骤S05中激光雷达数据上使用标注工具对目标物体进行实例标注的原因是激光雷达采集的数据是三维信息。
一种基于多传感器前融合的实例标注***，包括以下部分：
数据采集模块，所述数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自的感知数据；
时间同步模块，所述时间同步模块用于将数据采集模块获得的感知数据做时间同步处理；
空间同步模块，所述空间同步模块用于将数据采集模块获得的感知数据做空间同步处理；
数据融合模块，所述数据融合模块用于在采集数据处理前将多个感知设备获得的数据融合；
标注模块，所述标注模块用于对目标进行融合数据的实例标注。
进一步地，所述标注模块标注得到的结果，应用到基于融合数据的算法应用中。
进一步地，所述数据融合模块融合的数据包含了由激光雷达和毫米波雷达输出的X,Y,Z的空间数据、摄像头输出的R,G,B的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。
本方案提出了一种基于多传感器前融合的实例标注方法，在原始层将激光雷达、摄像头、毫米波雷达等多种传感器的感知数据进行融合，得到一个8维的数据集，其中包括X、Y、Z的空间数据以及R、G、B的颜色数据、激光反射值数据和多普勒速度数据，增大了感知能力，能够更加准确的对行人车辆等进行识别；
在传感器融合提供的8维数据中，每个通道都是没有任何冗余信息，能够极大的提高整个***的可靠性以及稳定性。
在前融合过程中，我们在原始层把多种传感器数据都融合在一起，融合好的数据就好比是一个超级传感器，而且这个传感器可以看到红外线，摄像头，三维信息以及LiDAR信息。在融合之后的数据中，我们开发自己的感知算法，最后会输出一个更精确的结果。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过***总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的基于多传感器前融合的实例标注方法实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作***和各类应用软件，例如实施例中的目标检测的下边缘检测程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，例如运行的检测程序，以实现实施例中基于多传感器前融合的实例标注***的功能。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于多传感器前融合的实例标注程序，被处理器执行时实现实施例中的基于多传感器前融合的实例标注方法。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于多传感器前融合的实例标注方法，其特征在于，包括以下步骤：
S01：数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自感知数据的原始数据；
S02：将数据采集模块获得的感知数据做时间同步处理；
S03：将数据采集模块获得的感知数据做空间同步处理；
S04：采集数据处理前将多个感知设备获得的数据融合；
S05：使用一种感知设备获得数据对目标进行融合数据的实例标注；
S06：将感知设备中出除步骤S05使用的感知设备之外的剩余感知设备的感知数据与步骤S05中的对应。
2.根据权利要求1所述的基于多传感器前融合的实例标注方法，其特征在于，所述步骤S02中时间同步处理是将激光雷达数据与毫米波雷达数据在时间维度上与摄像头采集的图像数据进行对齐。
3.根据权利要求2所述的基于多传感器前融合的实例标注方法，其特征在于，所述步骤S03中空间同步处理是用棋盘标定法将多传感器数据进行空间上的对齐。
4.根据权利要求2所述的基于多传感器前融合的实例标注方法，其特征在于，步骤S05中所述一种感知设备是激光雷达，所述一种感知设备获得数据是指激光雷达获得三维数据，步骤S05中通过使用激光雷达三维数据使用标注工具对目标物体进行实例标注。
5.根据权利要求4所述的基于多传感器前融合的实例标注方法，其特征在于，步骤S06中具体将感知设备中出除步骤S05使用的感知设备之外的剩余感知设备的感知数据与步骤S05中的对应是指：将感知设备中的摄像头数据、毫米波雷达数据与激光雷达数据进行对齐，即可得到同步标注数据。
6.根据权利要求5所述的基于多传感器前融合的实例标注方法，其特征在于，还包括步骤S07：还包括获得目标的多传感器前融合实例标签。
7.根据权利要求5所述的基于多传感器前融合的实例标注方法，其特征在于，所述步骤S04中原始的融合数据包含了由激光雷达和毫米波雷达输出的X,Y,Z的空间数据、摄像头输出的R,G,B的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。
8.一种基于多传感器前融合的实例标注***，其特征在于，包括以下部分：
数据采集模块，所述数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自的感知数据；
时间同步模块，所述时间同步模块用于将数据采集模块获得的感知数据做时间同步处理；
空间同步模块，所述空间同步模块用于将数据采集模块获得的感知数据做空间同步处理；
数据融合模块，所述数据融合模块用于在采集数据处理前将多个感知设备获得的数据融合；
标注模块，所述标注模块用于对目标进行融合数据的实例标注。
9.一种车载终端，其特征在于：包括权利要求8所述的基于多传感器前融合的实例标注***。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至7任一权利要求所述的方法中的步骤。
CN201910154093.6A 2019-03-01 2019-03-01 基于多传感器前融合的实例标注方法、模型、终端和存储介质 Pending CN110018470A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910154093.6A CN110018470A (zh) 2019-03-01 2019-03-01 基于多传感器前融合的实例标注方法、模型、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910154093.6A CN110018470A (zh) 2019-03-01 2019-03-01 基于多传感器前融合的实例标注方法、模型、终端和存储介质

Publications (1)

Publication Number Publication Date
CN110018470A true CN110018470A (zh) 2019-07-16

Family

ID=67189127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910154093.6A Pending CN110018470A (zh) 2019-03-01 2019-03-01 基于多传感器前融合的实例标注方法、模型、终端和存储介质

Country Status (1)

Country Link
CN (1) CN110018470A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543850A (zh) * 2019-08-30 2019-12-06 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN111353273A (zh) * 2020-03-09 2020-06-30 深圳大学 一种雷达数据标注方法、装置、设备及存储介质
CN111604899A (zh) * 2020-05-15 2020-09-01 深圳国信泰富科技有限公司 一种高智能机器人的数据传输***
CN111830502A (zh) * 2020-06-30 2020-10-27 广州小鹏车联网科技有限公司 数据集的建立方法、车辆和存储介质
CN111860604A (zh) * 2020-06-24 2020-10-30 国汽(北京)智能网联汽车研究院有限公司 数据融合方法、***及计算机存储介质
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合***及方法
CN113375682A (zh) * 2021-06-09 2021-09-10 深圳朗道智通科技有限公司 一种数据融合对实时高精地图自动标注***及方法
CN113449632A (zh) * 2021-06-28 2021-09-28 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、***及汽车
CN114523985A (zh) * 2022-04-24 2022-05-24 新石器慧通（北京）科技有限公司 基于传感器的感知结果的无人车运动决策方法及装置
CN114763997A (zh) * 2022-04-14 2022-07-19 中国第一汽车股份有限公司 车辆采集到的雷达点云数据的处理方法、装置及电子设备
CN117036868A (zh) * 2023-10-08 2023-11-10 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN110458885B (zh) * 2019-08-27 2024-04-19 纵目科技（上海）股份有限公司 基于行程感知与视觉融合的定位***和移动终端

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
JP2012517652A (ja) * 2009-02-13 2012-08-02 ハリス コーポレイション シーン補間及び登録性能評価のための２ｄ電子光学的画像及び３ｄ点群データの融合
CN105109484A (zh) * 2015-08-21 2015-12-02 奇瑞汽车股份有限公司 目标障碍物体确定方法及装置
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知***及方法
CN105910604A (zh) * 2016-05-25 2016-08-31 武汉卓拔科技有限公司 一种基于多传感器的自主避障导航***
CN106919895A (zh) * 2016-07-01 2017-07-04 湖南拓视觉信息技术有限公司 用于运动目标的跟踪方法和***
CN107103276A (zh) * 2016-02-19 2017-08-29 德尔福技术有限公司 使用低层传感器融合的视觉算法执行
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成***及方法
CN107710012A (zh) * 2015-10-06 2018-02-16 谷歌有限责任公司 支持雷达的传感器融合
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108416257A (zh) * 2018-01-19 2018-08-17 北京交通大学 融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法
EP3379289A1 (en) * 2017-03-21 2018-09-26 Delphi Technologies LLC Automated vehicle object detection system with camera image and radar data fusion
CN108603933A (zh) * 2016-01-12 2018-09-28 三菱电机株式会社 用于融合具有不同分辨率的传感器输出的***和方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN109086788A (zh) * 2017-06-14 2018-12-25 通用汽车环球科技运作有限责任公司 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和***
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109239720A (zh) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） 一种智能激光雷达装置、***及其数据处理方法
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
JP2012517652A (ja) * 2009-02-13 2012-08-02 ハリス コーポレイション シーン補間及び登録性能評価のための２ｄ電子光学的画像及び３ｄ点群データの融合
CN105109484A (zh) * 2015-08-21 2015-12-02 奇瑞汽车股份有限公司 目标障碍物体确定方法及装置
CN107710012A (zh) * 2015-10-06 2018-02-16 谷歌有限责任公司 支持雷达的传感器融合
CN108603933A (zh) * 2016-01-12 2018-09-28 三菱电机株式会社 用于融合具有不同分辨率的传感器输出的***和方法
CN107103276A (zh) * 2016-02-19 2017-08-29 德尔福技术有限公司 使用低层传感器融合的视觉算法执行
CN105711597A (zh) * 2016-02-25 2016-06-29 江苏大学 前方局部行驶环境感知***及方法
CN105910604A (zh) * 2016-05-25 2016-08-31 武汉卓拔科技有限公司 一种基于多传感器的自主避障导航***
CN106919895A (zh) * 2016-07-01 2017-07-04 湖南拓视觉信息技术有限公司 用于运动目标的跟踪方法和***
EP3379289A1 (en) * 2017-03-21 2018-09-26 Delphi Technologies LLC Automated vehicle object detection system with camera image and radar data fusion
CN109086788A (zh) * 2017-06-14 2018-12-25 通用汽车环球科技运作有限责任公司 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和***
CN107505644A (zh) * 2017-07-28 2017-12-22 武汉理工大学 基于车载多传感器融合的三维高精度地图生成***及方法
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108416257A (zh) * 2018-01-19 2018-08-17 北京交通大学 融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法
CN109100741A (zh) * 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN109239720A (zh) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） 一种智能激光雷达装置、***及其数据处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王葵等: "基于激光测距雷达和机器视觉的障碍物检测", 《仪表技术》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458885B (zh) * 2019-08-27 2024-04-19 纵目科技（上海）股份有限公司 基于行程感知与视觉融合的定位***和移动终端
CN110543850B (zh) * 2019-08-30 2022-07-22 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN110543850A (zh) * 2019-08-30 2019-12-06 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN111353273A (zh) * 2020-03-09 2020-06-30 深圳大学 一种雷达数据标注方法、装置、设备及存储介质
CN111353273B (zh) * 2020-03-09 2023-09-26 深圳大学 一种雷达数据标注方法、装置、设备及存储介质
CN111604899A (zh) * 2020-05-15 2020-09-01 深圳国信泰富科技有限公司 一种高智能机器人的数据传输***
CN111860604A (zh) * 2020-06-24 2020-10-30 国汽(北京)智能网联汽车研究院有限公司 数据融合方法、***及计算机存储介质
CN111860604B (zh) * 2020-06-24 2024-02-02 国汽(北京)智能网联汽车研究院有限公司 数据融合方法、***及计算机存储介质
CN111830502B (zh) * 2020-06-30 2021-10-12 广州小鹏自动驾驶科技有限公司 数据集的建立方法、车辆和存储介质
CN111830502A (zh) * 2020-06-30 2020-10-27 广州小鹏车联网科技有限公司 数据集的建立方法、车辆和存储介质
CN111958595B (zh) * 2020-08-13 2021-09-17 成都理工大学 一种变电站巡检机器人多传感器异步信息融合***及方法
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合***及方法
CN113375682A (zh) * 2021-06-09 2021-09-10 深圳朗道智通科技有限公司 一种数据融合对实时高精地图自动标注***及方法
CN113449632A (zh) * 2021-06-28 2021-09-28 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、***及汽车
CN114763997A (zh) * 2022-04-14 2022-07-19 中国第一汽车股份有限公司 车辆采集到的雷达点云数据的处理方法、装置及电子设备
CN114523985A (zh) * 2022-04-24 2022-05-24 新石器慧通（北京）科技有限公司 基于传感器的感知结果的无人车运动决策方法及装置
CN117036868A (zh) * 2023-10-08 2023-11-10 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117036868B (zh) * 2023-10-08 2024-01-26 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备

Similar Documents

Publication Publication Date Title
CN110018470A (zh) 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN111210429B (zh) 点云数据划分方法及装置、障碍物检测方法及装置
US11321822B2 (en) Determining image defects using image comparisons
CN115880536B (zh) 数据处理方法、训练方法、目标对象检测方法及装置
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN109584377B (zh) 一种用于呈现增强现实内容的方法与设备
CN111582054A (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN108711144A (zh) 增强现实方法及装置
US11501123B2 (en) Method and apparatus for asynchronous data fusion, storage medium and electronic device
CN109190662A (zh) 一种基于关键点回归的车辆三维检测方法、***、终端和存储介质
CN109614914A (zh) 车位顶点定位方法、装置和存储介质
CN113807182A (zh) 用于处理点云的方法、装置、介质以及电子设备
CN112818968A (zh) 一种目标物分类方法及装置
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN114638996A (zh) 基于对抗学习的模型训练方法、装置、设备和存储介质
CN117201883A (zh) 用于图像编辑的方法、装置、设备和存储介质
CN111680680A (zh) 一种目标码定位方法、装置、电子设备及存储介质
CN113033426B (zh) 动态对象标注方法、装置、设备和存储介质
CN115761425A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
CN109190467A (zh) 一种基于关键点回归的多物体检测方法、***、终端和存储介质
US11281935B2 (en) 3D object detection from calibrated 2D images
US20230252661A1 (en) Depth map generation method, and device and storage medium
CN114170373A (zh) 目标物体标注方法、处理器、装置及搅拌站
CN112783156A (zh) 扫地机器人及其清扫任务规划方法和装置
CN112509061B (zh) 多摄像头视觉定位方法、***、电子装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716