CN107610084A - 一种对深度图像和激光点云图进行信息融合的方法与设备 - Google Patents
一种对深度图像和激光点云图进行信息融合的方法与设备 Download PDFInfo
- Publication number
- CN107610084A CN107610084A CN201710920096.7A CN201710920096A CN107610084A CN 107610084 A CN107610084 A CN 107610084A CN 201710920096 A CN201710920096 A CN 201710920096A CN 107610084 A CN107610084 A CN 107610084A
- Authority
- CN
- China
- Prior art keywords
- laser
- point
- depth
- target
- cloud atlas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请的目的是提供一种对深度图像和激光点云图进行信息融合的设备的方法或设备；获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。与现有技术相比，本申请可以通过像素深度信息稠密但相对不精确的相机与点云深度信息准确但相对稀疏的激光雷达进行优势互补，得到被检测对象对应的稠密且相对准确的深度信息，在提高深度信息精度的同时，有效缩短了计算时间，从而有效降低了设备及计算成本，有利于产品及方法的推广应用。
Description
技术领域
本申请涉及自动驾驶领域，尤其涉及一种对深度图像和激光点云图进行信息融合的技术。
背景技术
现有的深度信息探测技术中，利用激光雷达得到的深度信息准确度较高但相对稀疏，利用双目相机等深度相机通过几何光学关系推导出来的深度信息虽然比较稠密但准确度较低。为适应机器人、无人驾驶等人工智能科技发展的需求，多传感器融合是现在科技研发的趋势，能够结合各传感器优势从而达到最佳效果。现有的激光雷达和相机传感器在自动驾驶领域当中应用较多，通常情况下，两种传感器往往独立运行，分别感知信息之后在决策层面再进行整合分析；或者也存在将多组高清度摄像头和多线激光雷达进行融合的多传感融合技术，主要是采用图像分割的方法，假设各平面的深度具有相似性，从而分别对落在各平面中的相应激光点进行填充扩散，从而得到稠密的激光点云，但是此方法对控制器的运算能力要求较高，所需时间较长，设备及计算成本较高。
发明内容
本申请的目的是提供一种对深度图像和激光点云图进行信息融合的方法与设备。
根据本申请的一个方面，提供了一种对深度图像和激光点云图进行信息融合的方法，包括：
获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
根据本申请的另一个方面，提供了一种对深度图像和激光点云图进行信息融合的设备，包括：
获取装置，用于获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定装置，用于确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
融合装置，用于基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
根据本申请的另一方面，还提供了一种对深度图像和激光点云图进行信息融合的设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下操作：
获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
根据本申请的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行以下操作：
获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
与现有技术相比，本申请基于对应于同一空间范围的激光点云图与深度图像中相匹配的目标激光点和目标像素点，实现对原有的激光点云图进行模拟填充。从而可以通过像素深度信息稠密但相对不精确的相机与点云深度信息准确但相对稀疏的激光雷达进行优势互补，得到被检测对象对应的稠密且相对准确的深度信息，本申请中对深度图像和激光点云图进行信息融合的方法，在提高深度信息精度的同时，有效缩短了计算时间，从而有效降低了设备及计算成本，有利于产品及方法的推广应用。从而能够极大满足机器人、自动驾驶等人工智能科技发展对高效便捷的信息融合技术的需求的需求。
进一步，具体地，本申请可以通过先对激光扫描线上的第一空位点进行模拟填充，并再对各个激光扫描线彼此之间的第二空位点进行模拟填充的方式，获取到与深度图像中目标像素点对应的激光点云图中各个空位点的精确化的深度信息，例如，通过分步式拟合插值方法迅速得到稠密且准确度较高的融合点云图像。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种对深度图像和激光点云图进行信息融合的方法流程图；
图2示出根据本申请一个方面的一种对深度图像和激光点云图进行信息融合的设备的设备示意图；
图3示出了可被用于实施本申请中所述的各个实施例的示例性***；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作***，如android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。
图1示出根据本申请一个方面的一种对深度图像和激光点云图进行信息融合的方法流程图。其中，所述方法包括步骤S11、步骤S12和步骤S13。
其中，在步骤S11中，获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；在步骤S12中，确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；在步骤S13中，基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
具体地，在步骤S11中，可以获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围。
在一种实现方式中，所述激光点云图可以是由激光雷达、或是其他激光发射器采集到的，其中，所述激光雷达可以是单线激光雷达，也可以是多线激光雷达。所述深度图像可以是由双目相机、RGBD相机、或是其他任意可以提供深度信息的深度相机。在此，所述激光点云图中包含着由离散的激光点组成的激光扫描线；所述深度图像包含着多个像素点。
在一种实现方式中，可以对所述激光雷达采集到的初始激光点云图，及与之对应的所述深度相机采集到的初始深度图像进行标定，例如，通过变换矩阵的方式进行坐标系换算，从而将所述初始激光点云图和初始深度图像换算至同一世界坐标系中。接着，在所述初始激光点云图与初始深度图像的范围内、确定对应于同一世界坐标系中被检测的同一空间范围的待处理的激光点云图与深度图像。
接着，在步骤S12中，确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点。在此，当所述深度图像中的像素点与所述激光点云图中的激光点的同一空间点时，可以确定两者为相匹配的目标像素点和目标激光点。在一种实现方式中，当所述深度图像中的某个像素点所在的空间点上同时存在对应的激光点云图中的激光点，则确定所述像素点为所述深度图像中目标像素点，所述激光点为与该目标像素点相匹配的所述激光点云图中的目标激光点。在一种实现方式中，所述同一空间点可以存在于上述同一世界坐标系中同一空间范围中。
接着，在步骤S13中，可以基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。在此，对所述激光点云图进行模拟填充可以包括对所述激光点云图中、所述目标激光点之外的空白点进行模拟填充，其中，所述空白点为激光点云图中目标激光点之外的空间点、即不对应于任何一个激光点的空间点，同时，在所述空白点所对应的空间点上存在着所述深度图像中一个相应的目标像素点。在激光点云图中存在多个空白点，其中，所述空白点可以存在于激光点云图中激光扫描线上，或是存在于激光扫描线之间的空间中。在一种实现方式中，所述模拟填充可以通过在所述激光点云图中的空白点模拟出比该空白点对应的像素点的深度信息精确度更高的深度信息的方式实现。在一种实现方式中，可以基于一对或多对所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
在本申请的一个实施例中，所述步骤S13可以包括以下至少任一项：
基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充。即对激光点云图中各条由同一激光发射位置通过移动或旋转打出的激光形成的扫描线上的空位点进行模拟填充。
基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充，其中，所述目标激光点分布在所述相邻激光扫描线上。即对激光点云图中激光扫描线与激光扫描线彼此之间的空位点进行模拟填充。
在一种实现方式中，可以先对激光点云图中各条由同一激光发射位置通过移动或旋转打出的激光形成的扫描线上的空位点进行模拟填充，进而再对激光点云图中激光扫描线与激光扫描线彼此之间的空位点进行模拟填充。在另一种实现方式中，在实际应用中，还可以执行上述两种模拟填充中任意一种，或者可以并行执行上述两种模拟填充。
在一个实施例中，所述基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充包括：基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定与所述目标激光点在同一激光扫描线上的第一空位点对应的深度关系信息；基于所述第一空位点对应的深度关系信息，结合所述第一空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
具体地，在一种实现方式中，所述第一深度信息可以包括基于激光雷达采集到的目标激光点的点云深度信息，所述第二深度信息可以是基于深度设备采集或是确定的目标像素点的像素深度信息，例如基于所述双目设备采集到的色彩信息，通过计算确定出的双目深度信息。在一种实现方式中，在与所需要模拟填充的第一空位点所在的激光扫描上选取一对或多对相匹配的目标激光点和目标像素点，通过插值法，确定所述第一空位点对应的深度关系信息，例如，确定所述激光扫描线上左右近邻的两对目标激光点和目标像素点的深度关系信息，进而根据像素距离加权拟合得到所述激光扫描线上所述第一空位点的深度关系信息，从而，基于所述第一空位点对应的深度关系信息，结合所述第一空位点对应的所述深度图像的像素点的第二深度信息，确定所述第一空位点的点云深度信息，实现对所述第一空位点的模拟填充。在一种实现方式中，所述深度关系信息可以包括但不限于第一深度信息与第二深度信息的差值关系、或比例关系。一种可能的举例是：已知目标激光点A1的第一深度信息L1，与之匹配的目标像素点B1的第二深度信息D1及其像素坐标(u1,v1)，目标激光点A2的第一深度信息L2，与之匹配的目标像素点B2的第二深度信息D2及其像素坐标(u2,v2)，模拟某位于同一激光扫描线上的第一空位点的第一深度信息L，则根据该第一空位点对应的世界坐标可以知道其对应于中深度图像中的一个像素点，其存在第二深度信息D及像素坐标(u,v)。首先确定两对目标激光点和目标像素点的深度关系信息：δ1＝L1-D1，δ2＝L2-D2；进而根据像素距离加权拟合得到所述激光扫描线上所述第一空位点的深度关系信息，可以是差值或比例关系，如w1＝(u-u1)/(u2-u1),w2＝(u2-u)/(u2-u1)，计算得δ＝w2*δ1+w1*δ2，最后得L＝D+δ，即拟合出第一空位点的第二深度信息，即点云深度信息。
在一个实施例中，所述基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充包括：基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定所述激光点云图中相邻激光扫描线之间的第二空位点对应的深度关系信息，其中，所述目标激光点分布在所述相邻激光扫描线上；基于所述第二空位点对应的深度关系信息，结合所述第二空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
具体地，在一种实现方式中，所述第一深度信息可以包括基于激光雷达采集到的目标激光点的点云深度信息，所述第二深度信息可以是基于深度设备采集或是确定的目标像素点的像素深度信息，例如基于所述双目设备采集到的色彩信息，通过计算确定出的双目深度信息。在一种实现方式中，可以选择与所述第二空位点像素距离相近的激光扫描线，例如所述第二空位点竖直方向上近邻的上下激光扫描线上的部分目标激光点、及其对应的目标像素点，利用所述一对或多对目标激光点和目标像素点的深度关系信息，进而根据像素距离加权拟合得到所述第二空位点的深度关系信息，再结合所述第二空位点对应的所述深度图像的像素点的第二深度信息，确定所述第二空位点的点云深度信息，实现对所述第二空位点的模拟填充。在一种实现方式中，所述深度关系信息可以包括但不限于第一深度信息与第二深度信息的差值关系、或比例关系。一种可能的举例是：模拟不在激光扫描线上的某个第二空位点的第一深度信息L，则根据该第一空位点对应的世界坐标可以知道其对应于中深度图像中的一个像素点其存在第二深度信息D及像素坐标(u,v)，此时已知与该第二空位点相近的上下两条激光扫描线上两个目标激光点A1和A2，其中，目标激光点A1的第一深度信息为L1，目标激光点A1对应的目标像素点B1对应于像素坐标(u,v1)及第二深度信息D1；目标激光点A2的第一深度信息为L2，目标激光点A2对应的目标像素点B2对应于像素坐标(u,v2)及第二深度信息D2。首先确定两对目标激光点和目标像素点的深度关系信息：δ1＝L1-D1，δ2＝L2-D2；进而根据像素距离加权拟合得到所述第二空位点的深度关系信息，可以是差值或比例关系，w1＝(v-v1)/(v2-v1),w2＝(v2-v)/(v2-v1)，计算得δ＝w2*δ1+w1*δ2，最后得L＝D+δ，即拟合出第二空位点的第二深度信息，即点云深度信息。
在此，本领域技术人员应该能够理解，上述对激光点云图中各条由同一激光发射位置通过移动或旋转打出的激光形成的扫描线上的空位点进行模拟填充、或对激光点云图中激光扫描线与激光扫描线彼此之间的空位点进行模拟填充所涉及到的算法仅为举例，现有或今后出现的其他算法如果能够适用于本申请，也应该包含在本申请的保护范围内，并以引用的形式包含于此。
在此，本申请基于对应于同一空间范围的激光点云图与深度图像中相匹配的目标激光点和目标像素点，实现对原有的激光点云图进行模拟填充。从而可以通过像素深度信息稠密但相对不精确的相机与点云深度信息准确但相对稀疏的激光雷达进行优势互补，得到被检测对象对应的稠密且相对准确的深度信息，本申请中对深度图像和激光点云图进行信息融合的方法，在提高深度信息精度的同时，有效缩短了计算时间，从而有效降低了设备及计算成本，有利于产品及方法的推广应用。从而能够极大满足机器人、自动驾驶等人工智能科技发展对高效便捷的信息融合技术的需求。
进一步，在具体实施例中，本申请可以通过先对激光扫描线上的第一空位点进行模拟填充，并再对各个激光扫描线彼此之间的第二空位点进行模拟填充的方式，获取到与深度图像中目标像素点对应的激光点云图中各个空位点的精确化的深度信息，例如，通过分步式拟合插值方法迅速实时得到稠密且准确度较高的融合点云图像。
在本申请的一个实施例中，所述方法还包括步骤S14(未示出)和步骤S15(未示出)，在步骤S14中，可以采集初始激光点云图与初始深度图像；在步骤S15中，可以去除所述初始深度图像中的噪点；接着，在步骤S11中，可以基于所述初始激光点云图与去除了所述噪点的所述初始深度图像，确定待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围。在一种实现方式中，可以由激光雷达、或是其他激光发射器采集到所述初始激光点云图，其中，所述激光雷达可以是单线激光雷达，也可以是多线激光雷达；可以由双目相机、RGBD相机、或是其他任意可以提供深度信息的深度相机采集到所述初始深度图像。接着，可以通过去除噪点的方式去除所述初始深度图像中不该出现的外来像素。在一种实现方式中，可以采用中值滤波、维纳滤波、小波滤波等算去除噪点。
在一个实施例中，在步骤S11中，可以将所述初始激光点云图与去除了所述噪点的所述初始深度图像换算至同一世界坐标系；进而，在同一世界坐标系下，确定匹配于同一空间范围的待处理的激光点云图与深度图像。在一种实现方式中，可以对所述激光雷达采集到的初始激光点云图，及与之对应的所述深度相机采集到的初始深度图像进行标定，例如，通过变换矩阵的方式进行坐标系换算，从而将所述初始激光点云图和初始深度图像换算至同一世界坐标系中。接着，可以参考所述初始激光点云图和初始深度图像在所述同一世界坐标系下的坐标信息，在所述初始激光点云图与初始深度图像的范围内、确定匹配于同一空间范围的待处理的激光点云图与深度图像。
在一个实施例中，用于采集所述初始激光点云图的激光雷达与用于采集所述初始深度图像的深度相机安装于同一智能设备。在此，所述智能设备可以包括但不限于适应机器人、自动驾驶设备等人工智能设备。例如可以是以部分自动驾驶模式、有条件自动驾驶模式、高度自动驾驶模式或完全自动驾驶模式等任意模式行驶的自动驾驶车辆。在一种实现方式中，可以设置所述激光雷达与所述深度相机在同一智能设备上的安装位置小于预设的距离阈值；还可以设置所述激光雷达与所述深度相机在同一智能设备上的安装方式相匹配，例如，所述，激光雷达与深度相机均是向下倾斜安装。以此可以实现控制所采集到的初始激光点云图与初始深度图像的图像重叠度，通过提高所述图像重叠度来提高信息融合的准确度，从而有利于发挥本申请的技术效果。
在一个实施例中，所述初始激光点云图与初始深度图像的采集时间间隔小于预设时间阈值。在此，理论上，所述初始激光点云图与初始深度图像可以是在同一时刻采集，或是可以基于实际应用场景的需要，灵活地设置所述时间阈值，例如，所述时间阈值越小，所采集到的初始激光点云图与初始深度图像的图像重叠度将越高，进而进行信息融合的准确度越高，从而有利于本申请技术效果的扩大。
在一个实施例中，所述方法还包括步骤S16(未示出)，其中，在步骤S16中，可以基于模拟填充后的激光点云图、并结合深度图像，生成融合图像。在此，可以基于模拟填充后的新的激光点云图中的激光点的点云深度信息、并结合深度图像的像素点的RGB信息，生成新的融合图像。
图2示出根据本申请一个方面的一种对深度图像和激光点云图进行信息融合的设备的设备示意图。其中，所述设备1包括获取装置21、确定装置22和融合装置23。
其中，所述获取装置21可以获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；所述确定装置22可以确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；所述融合装置23可以基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
具体地，获取装置21可以获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围。
在一种实现方式中，所述激光点云图可以是由激光雷达、或是其他激光发射器采集到的，其中，所述激光雷达可以是单线激光雷达，也可以是多线激光雷达。所述深度图像可以是由双目相机、RGBD相机、或是其他任意可以提供深度信息的深度相机。在此，所述激光点云图中包含着由离散的激光点组成的激光扫描线；所述深度图像包含着多个像素点。
在一种实现方式中，可以对所述激光雷达采集到的初始激光点云图，及与之对应的所述深度相机采集到的初始深度图像进行标定，例如，通过变换矩阵的方式进行坐标系换算，从而将所述初始激光点云图和初始深度图像换算至同一世界坐标系中。接着，在所述初始激光点云图与初始深度图像的范围内、确定对应于同一世界坐标系中被检测的同一空间范围的待处理的激光点云图与深度图像。
确定装置22可以确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点。在此，当所述深度图像中的像素点与所述激光点云图中的激光点的同一空间点时，可以确定两者为相匹配的目标像素点和目标激光点。在一种实现方式中，当所述深度图像中的某个像素点所在的空间点上同时存在对应的激光点云图中的激光点，则确定所述像素点为所述深度图像中目标像素点，所述激光点为与该目标像素点相匹配的所述激光点云图中的目标激光点。在一种实现方式中，所述同一空间点可以存在于上述同一世界坐标系中同一空间范围中。
融合装置23可以基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。在此，对所述激光点云图进行模拟填充可以包括对所述激光点云图中、所述目标激光点之外的空白点进行模拟填充，其中，所述空白点为激光点云图中目标激光点之外的空间点、即不对应于任何一个激光点的空间点，同时，在所述空白点所对应的空间点上存在着所述深度图像中一个相应的目标像素点。在激光点云图中存在多个空白点，其中，所述空白点可以存在于激光点云图中激光扫描线上，或是存在于激光扫描线之间的空间中。在一种实现方式中，所述模拟填充可以通过在所述激光点云图中的空白点模拟出比该空白点对应的像素点的深度信息精确度更高的深度信息的方式实现。在一种实现方式中，可以基于一对或多对所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
在本申请的一个实施例中，所述融合装置23可以包括以下至少任一项：第一单元(未示出)、第二单元(未示出)，其中，所述第一单元可以基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充。即对激光点云图中各条由同一激光发射位置通过移动或旋转打出的激光形成的扫描线上的空位点进行模拟填充。
所述第二单元可以基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充，其中，所述目标激光点分布在所述相邻激光扫描线上。即对激光点云图中激光扫描线与激光扫描线彼此之间的空位点进行模拟填充。
在一种实现方式中，可以先对激光点云图中各条由同一激光发射位置通过移动或旋转打出的激光形成的扫描线上的空位点进行模拟填充，进而再对激光点云图中激光扫描线与激光扫描线彼此之间的空位点进行模拟填充。在另一种实现方式中，在实际应用中，还可以执行上述两种模拟填充中任意一种，或者可以并行执行上述两种模拟填充。
在一个实施例中，所述第一单元可以基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定与所述目标激光点在同一激光扫描线上的第一空位点对应的深度关系信息；基于所述第一空位点对应的深度关系信息，结合所述第一空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
具体地，在一种实现方式中，所述第一深度信息可以包括基于激光雷达采集到的目标激光点的点云深度信息，所述第二深度信息可以是基于深度设备采集或是确定的目标像素点的像素深度信息，例如基于所述双目设备采集到的色彩信息，通过计算确定出的双目深度信息。在一种实现方式中，在与所需要模拟填充的第一空位点所在的激光扫描上选取一对或多对相匹配的目标激光点和目标像素点，通过插值法，确定所述第一空位点对应的深度关系信息，例如，确定所述激光扫描线上左右近邻的两对目标激光点和目标像素点的深度关系信息，进而根据像素距离加权拟合得到所述激光扫描线上所述第一空位点的深度关系信息，从而，基于所述第一空位点对应的深度关系信息，结合所述第一空位点对应的所述深度图像的像素点的第二深度信息，确定所述第一空位点的点云深度信息，实现对所述第一空位点的模拟填充。在一种实现方式中，所述深度关系信息可以包括但不限于第一深度信息与第二深度信息的差值关系、或比例关系。一种可能的举例是：已知目标激光点A1的第一深度信息L1，与之匹配的目标像素点B1的第二深度信息D1及其像素坐标(u1,v1)，目标激光点A2的第一深度信息L2，与之匹配的目标像素点B2的第二深度信息D2及其像素坐标(u2,v2)，模拟某位于同一激光扫描线上的第一空位点的第一深度信息L，则根据该第一空位点对应的世界坐标可以知道其对应于中深度图像中的一个像素点，其存在第二深度信息D及像素坐标(u,v)。首先确定两对目标激光点和目标像素点的深度关系信息：δ1＝L1-D1，δ2＝L2-D2；进而根据像素距离加权拟合得到所述激光扫描线上所述第一空位点的深度关系信息，可以是差值或比例关系，如w1＝(u-u1)/(u2-u1),w2＝(u2-u)/(u2-u1)，计算得δ＝w2*δ1+w1*δ2，最后得L＝D+δ，即拟合出第一空位点的第二深度信息，即点云深度信息。
在一个实施例中，所述第二单元可以基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定所述激光点云图中相邻激光扫描线之间的第二空位点对应的深度关系信息，其中，所述目标激光点分布在所述相邻激光扫描线上；基于所述第二空位点对应的深度关系信息，结合所述第二空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
具体地，在一种实现方式中，所述第一深度信息可以包括基于激光雷达采集到的目标激光点的点云深度信息，所述第二深度信息可以是基于深度设备采集或是确定的目标像素点的像素深度信息，例如基于所述双目设备采集到的色彩信息，通过计算确定出的双目深度信息。在一种实现方式中，可以选择与所述第二空位点像素距离相近的激光扫描线，例如所述第二空位点竖直方向上近邻的上下激光扫描线上的部分目标激光点、及其对应的目标像素点，利用所述一对或多对目标激光点和目标像素点的深度关系信息，进而根据像素距离加权拟合得到所述第二空位点的深度关系信息，再结合所述第二空位点对应的所述深度图像的像素点的第二深度信息，确定所述第二空位点的点云深度信息，实现对所述第二空位点的模拟填充。在一种实现方式中，所述深度关系信息可以包括但不限于第一深度信息与第二深度信息的差值关系、或比例关系。一种可能的举例是：模拟不在激光扫描线上的某个第二空位点的第一深度信息L，则根据该第一空位点对应的世界坐标可以知道其对应于中深度图像中的一个像素点其存在第二深度信息D及像素坐标(u,v)，此时已知与该第二空位点相近的上下两条激光扫描线上两个目标激光点A1和A2，其中，目标激光点A1的第一深度信息为L1，目标激光点A1对应的目标像素点B1对应于像素坐标(u,v1)及第二深度信息D1；目标激光点A2的第一深度信息为L2，目标激光点A2对应的目标像素点B2对应于像素坐标(u,v2)及第二深度信息D2。首先确定两对目标激光点和目标像素点的深度关系信息：δ1＝L1-D1，δ2＝L2-D2；进而根据像素距离加权拟合得到所述第二空位点的深度关系信息，可以是差值或比例关系，w1＝(v-v1)/(v2-v1),w2＝(v2-v)/(v2-v1)，计算得δ＝w2*δ1+w1*δ2，最后得L＝D+δ，即拟合出第二空位点的第二深度信息，即点云深度信息。
在此，本领域技术人员应该能够理解，上述对激光点云图中各条由同一激光发射位置通过移动或旋转打出的激光形成的扫描线上的空位点进行模拟填充、或对激光点云图中激光扫描线与激光扫描线彼此之间的空位点进行模拟填充所涉及到的算法仅为举例，现有或今后出现的其他算法如果能够适用于本申请，也应该包含在本申请的保护范围内，并以引用的形式包含于此。
在此，本申请基于对应于同一空间范围的激光点云图与深度图像中相匹配的目标激光点和目标像素点，实现对原有的激光点云图进行模拟填充。从而可以通过像素深度信息稠密但相对不精确的相机与点云深度信息准确但相对稀疏的激光雷达进行优势互补，得到被检测对象对应的稠密且相对准确的深度信息，本申请中对深度图像和激光点云图进行信息融合的方法，在提高深度信息精度的同时，有效缩短了计算时间，从而有效降低了设备及计算成本，有利于产品及方法的推广应用。从而能够极大满足机器人、自动驾驶等人工智能科技发展对高效便捷的信息融合技术的需求。
进一步，在具体实施例中，本申请可以通过先对激光扫描线上的第一空位点进行模拟填充，并再对各个激光扫描线彼此之间的第二空位点进行模拟填充的方式，获取到与深度图像中目标像素点对应的激光点云图中各个空位点的精确化的深度信息，例如，通过分步式拟合插值方法迅速实时得到稠密且准确度较高的融合点云图像。
在本申请的一个实施例中，所述设备1还包括采集装置(未示出)和去除噪点装置(未示出)，所述采集装置可以采集初始激光点云图与初始深度图像；所述去除噪点装置可以去除所述初始深度图像中的噪点；进而，所述获取装置11可以基于所述初始激光点云图与去除了所述噪点的所述初始深度图像，确定待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围。在一种实现方式中，可以由激光雷达、或是其他激光发射器采集到所述初始激光点云图，其中，所述激光雷达可以是单线激光雷达，也可以是多线激光雷达；可以由双目相机、RGBD相机、或是其他任意可以提供深度信息的深度相机采集到所述初始深度图像。接着，可以通过去除噪点的方式去除所述初始深度图像中不该出现的外来像素。在一种实现方式中，可以采用中值滤波、维纳滤波、小波滤波等算去除噪点。
在一个实施例中，所述获取装置11可以将所述初始激光点云图与去除了所述噪点的所述初始深度图像换算至同一世界坐标系；进而，在同一世界坐标系下，确定匹配于同一空间范围的待处理的激光点云图与深度图像。在一种实现方式中，可以对所述激光雷达采集到的初始激光点云图，及与之对应的所述深度相机采集到的初始深度图像进行标定，例如，通过变换矩阵的方式进行坐标系换算，从而将所述初始激光点云图和初始深度图像换算至同一世界坐标系中。接着，可以参考所述初始激光点云图和初始深度图像在所述同一世界坐标系下的坐标信息，在所述初始激光点云图与初始深度图像的范围内、确定匹配于同一空间范围的待处理的激光点云图与深度图像。
在一个实施例中，用于采集所述初始激光点云图的激光雷达与用于采集所述初始深度图像的深度相机安装于同一智能设备。在此，所述智能设备可以包括但不限于适应机器人、自动驾驶设备等人工智能设备。例如可以是以部分自动驾驶模式、有条件自动驾驶模式、高度自动驾驶模式或完全自动驾驶模式等任意模式行驶的自动驾驶车辆。在一种实现方式中，可以设置所述激光雷达与所述深度相机在同一智能设备上的安装位置小于预设的距离阈值；还可以设置所述激光雷达与所述深度相机在同一智能设备上的安装方式相匹配，例如，所述，激光雷达与深度相机均是向下倾斜安装。以此可以实现控制所采集到的初始激光点云图与初始深度图像的图像重叠度，通过提高所述图像重叠度来提高信息融合的准确度，从而有利于发挥本申请的技术效果。
在一个实施例中，所述初始激光点云图与初始深度图像的采集时间间隔小于预设时间阈值。在此，理论上，所述初始激光点云图与初始深度图像可以是在同一时刻采集，或是可以基于实际应用场景的需要，灵活地设置所述时间阈值，例如，所述时间阈值越小，所采集到的初始激光点云图与初始深度图像的图像重叠度将越高，进而进行信息融合的准确度越高，从而有利于本申请技术效果的扩大。
在一个实施例中，所述设备1还包括生成装置(未示出)，其中，所述生成装置可以基于模拟填充后的激光点云图、并结合深度图像，生成融合图像。在此，可以基于模拟填充后的新的激光点云图中的激光点的点云深度信息、并结合深度图像的像素点的RGB信息，生成新的融合图像。
本申请还提供了一种对深度图像和激光点云图进行信息融合的设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下操作：
获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
进一步，所述设备的所述程序还可以用于执行基于上述操作的其他相关实施例中的对应操作。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行以下操作：
获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
进一步，所述计算机程序还可被处理器执行基于上述操作的其他相关实施例中的对应操作。
图3示出了可被用于实施本申请中所述的各个实施例的示例性***；
如图3所示在一些实施例中，***300能够作为图1、图2所示的实施例或其他所述实施例中的任意一个对深度图像和激光点云图进行信息融合的设备1。在一些实施例中，***300可包括具有指令的一个或多个计算机可读介质(例如，***存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，***控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与***控制模块310通信的任意适当的设备或组件提供任意适当的接口。
***控制模块310可包括存储器控制器模块330，以向***存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
***存储器315可被用于例如为***300加载和存储数据和/或指令。对于一个实施例，***存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，***存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，***控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为***300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为***300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。***300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中，***300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，***300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，***300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
在权利要求书中规定了各个实施例的各个方面。在下列编号条款中规定了各个实施例的这些和其他方面：
1.一种对深度图像和激光点云图进行信息融合的方法，其中，所述方法包括：
获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
2.根据条款1所述的方法，其中，所述基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充包括以下至少任一项：
基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充；
基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充，其中，所述目标激光点分布在所述相邻激光扫描线上。
3.根据条款2所述的方法，其中，所述基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充包括：
基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定与所述目标激光点在同一激光扫描线上的第一空位点对应的深度关系信息；
基于所述第一空位点对应的深度关系信息，结合所述第一空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
4.根据条款2所述的方法，其中，基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充包括：
基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定所述激光点云图中相邻激光扫描线之间的第二空位点对应的深度关系信息，其中，所述目标激光点分布在所述相邻激光扫描线上；
基于所述第二空位点对应的深度关系信息，结合所述第二空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
5.根据条款1所述的方法，其中，所述方法还包括：
采集初始激光点云图与初始深度图像；
去除所述初始深度图像中的噪点；
其中，所述获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围包括：
基于所述初始激光点云图与去除了所述噪点的所述初始深度图像，确定待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围。
6.根据条款5所述的方法，其中，基于所述初始激光点云图与去除了所述噪点的所述初始深度图像，确定待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围包括：
将所述初始激光点云图与去除了所述噪点的所述初始深度图像换算至同一世界坐标系；
在同一世界坐标系下，确定匹配于同一空间范围的待处理的激光点云图与深度图像。
7.根据条款5所述的方法，其中，用于采集所述初始激光点云图的激光雷达与用于采集所述初始深度图像的深度相机安装于同一智能设备。
8.根据条款5所述的方法，其中，所述初始激光点云图与初始深度图像的采集时间间隔小于预设时间阈值。
9.一种对深度图像和激光点云图进行信息融合的设备，其中，所述设备包括：
获取装置，用于获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定装置，用于确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
融合装置，用于基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
10.根据条款9所述的设备，其中，所述融合装置包括以下至少任一项：
第一单元，用于基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充；
第二单元，用于基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充，其中，所述目标激光点分布在所述相邻激光扫描线上。
11.根据条款10所述的设备，其中，第一单元用于：
基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定与所述目标激光点在同一激光扫描线上的第一空位点对应的深度关系信息；
基于所述第一空位点对应的深度关系信息，结合所述第一空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
12.根据条款10所述的设备，其中，所述第二单元用于：
基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定所述激光点云图中相邻激光扫描线之间的第二空位点对应的深度关系信息，其中，所述目标激光点分布在所述相邻激光扫描线上；
基于所述第二空位点对应的深度关系信息，结合所述第二空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
13.根据条款9所述的设备，其中，所述设备还包括：
采集装置，用于采集初始激光点云图与初始深度图像；
去除噪点装置，用于去除所述初始深度图像中的噪点；
其中，所述获取装置用于：
基于所述初始激光点云图与去除了所述噪点的所述初始深度图像，确定待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围。
14.根据条款13所述的设备，其中，所述获取装置用于：
将所述初始激光点云图与去除了所述噪点的所述初始深度图像换算至同一世界坐标系；
在同一世界坐标系下，确定匹配于同一空间范围的待处理的激光点云图与深度图像。
15.根据条款13所述的设备，其中，用于采集所述初始激光点云图的激光雷达与用于采集所述初始深度图像的深度相机安装于同一智能设备。
16.根据条款13所述的设备，其中，所述初始激光点云图与初始深度图像的采集时间间隔小于预设时间阈值。
17.一种对深度图像和激光点云图进行信息融合的设备的设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如条款1-8中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如条款1-8中任一项所述的方法。
Claims (10)
1.一种对深度图像和激光点云图进行信息融合的方法，其中，所述方法包括：
获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于的同一空间范围；
确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
2.根据权利要求1所述的方法，其中，所述基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充包括以下至少任一项：
基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充；
基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充，其中，所述目标激光点分布在所述相邻激光扫描线上。
3.根据权利要求2所述的方法，其中，所述基于所述目标激光点及与所述目标激光点相匹配的所述目标像素点，并结合与所述目标激光点在同一激光扫描线上的第一空位点对应的所述深度图像的像素点，对所述第一空位点进行模拟填充包括：
基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定与所述目标激光点在同一激光扫描线上的第一空位点对应的深度关系信息；
基于所述第一空位点对应的深度关系信息，结合所述第一空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
4.根据权利要求2所述的方法，其中，基于所述目标激光点及与所述目标激光点相匹配的目标像素点，并结合所述激光点云图中相邻激光扫描线之间的第二空位点对应的所述深度图像的像素点，对所述第二空位点进行模拟填充包括：
基于所述目标激光点的第一深度信息、及与所述目标激光点相匹配的所述目标像素点的第二深度信息，确定所述激光点云图中相邻激光扫描线之间的第二空位点对应的深度关系信息，其中，所述目标激光点分布在所述相邻激光扫描线上；
基于所述第二空位点对应的深度关系信息，结合所述第二空位点对应的所述深度图像的像素点的第二深度信息，对所述第一空位点进行模拟填充。
5.根据权利要求1所述的方法，其中，所述方法还包括：
采集初始激光点云图与初始深度图像；
去除所述初始深度图像中的噪点；
其中，所述获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围包括：
基于所述初始激光点云图与去除了所述噪点的所述初始深度图像，确定待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围。
6.根据权利要求5所述的方法，其中，基于所述初始激光点云图与去除了所述噪点的所述初始深度图像，确定待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围包括：
将所述初始激光点云图与去除了所述噪点的所述初始深度图像换算至同一世界坐标系；
在同一世界坐标系下，确定匹配于同一空间范围的待处理的激光点云图与深度图像。
7.根据权利要求5所述的方法，其中，用于采集所述初始激光点云图的激光雷达与用于采集所述初始深度图像的深度相机安装于同一智能设备。
8.一种对深度图像和激光点云图进行信息融合的设备，其中，所述设备包括：
获取装置，用于获取待处理的激光点云图与深度图像，其中，所述激光点云图与所述深度图像对应于同一空间范围；
确定装置，用于确定与所述深度图像中的目标像素点相匹配的所述激光点云图中的目标激光点；
融合装置，用于基于所述目标激光点及相匹配的所述目标像素点，对所述激光点云图进行模拟填充。
9.一种对深度图像和激光点云图进行信息融合的设备的设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710920096.7A CN107610084B (zh) | 2017-09-30 | 2017-09-30 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710920096.7A CN107610084B (zh) | 2017-09-30 | 2017-09-30 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107610084A true CN107610084A (zh) | 2018-01-19 |
| CN107610084B CN107610084B (zh) | 2020-09-01 |
Family
ID=61067856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710920096.7A Active CN107610084B (zh) | 2017-09-30 | 2017-09-30 | 一种对深度图像和激光点云图进行信息融合的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610084B (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108489496A (zh) * | 2018-04-28 | 2018-09-04 | 北京空间飞行器总体设计部 | 基于多源信息融合的非合作目标相对导航运动估计方法及*** |
| CN108564615A (zh) * | 2018-04-20 | 2018-09-21 | 驭势（上海）汽车科技有限公司 | 模拟激光雷达探测的方法、装置、***及存储介质 |
| CN108694731A (zh) * | 2018-05-11 | 2018-10-23 | 武汉环宇智行科技有限公司 | 基于低线束激光雷达和双目相机的融合定位方法及设备 |
| CN108764187A (zh) * | 2018-06-01 | 2018-11-06 | 百度在线网络技术（北京）有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
| CN108957478A (zh) * | 2018-07-23 | 2018-12-07 | 上海禾赛光电科技有限公司 | 多传感器同步采样***及其控制方法、车辆 |
| CN109917419A (zh) * | 2019-04-12 | 2019-06-21 | 中山大学 | 一种基于激光雷达与图像的深度填充密集***及方法 |
| CN110942477A (zh) * | 2019-11-21 | 2020-03-31 | 大连理工大学 | 一种利用双目相机和激光雷达深度图融合的方法 |
| CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
| CN111645067A (zh) * | 2020-05-15 | 2020-09-11 | 深圳国信泰富科技有限公司 | 一种高智能机器人环境感知方法及*** |
| CN111696144A (zh) * | 2019-03-11 | 2020-09-22 | 北京地平线机器人技术研发有限公司 | 深度信息确定方法、深度信息确定装置及电子设备 |
| CN111861962A (zh) * | 2020-07-28 | 2020-10-30 | 湖北亿咖通科技有限公司 | 一种数据融合方法及电子设备 |
| CN112184901A (zh) * | 2020-09-08 | 2021-01-05 | 北京三快在线科技有限公司 | 一种深度图确定方法及装置 |
| CN112312113A (zh) * | 2020-10-29 | 2021-02-02 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和*** |
| CN112396630A (zh) * | 2019-08-15 | 2021-02-23 | 纳恩博（北京）科技有限公司 | 目标对象状态的确定方法、装置、存储介质及电子装置 |
| CN112434610A (zh) * | 2020-11-25 | 2021-03-02 | 合肥三恩信息科技有限公司 | 一种基于无监督机器学习的多模态数据训练*** |
| CN112785634A (zh) * | 2019-11-05 | 2021-05-11 | 财团法人资讯工业策进会 | 计算机装置与合成深度图产生方法 |
| CN112927281A (zh) * | 2021-04-06 | 2021-06-08 | Oppo广东移动通信有限公司 | 深度检测方法、深度检测装置、存储介质与电子设备 |
| CN113066162A (zh) * | 2021-03-12 | 2021-07-02 | 武汉大学 | 一种用于电磁计算的城市环境快速建模方法 |
| CN113223067A (zh) * | 2021-05-08 | 2021-08-06 | 东莞市三姆森光电科技有限公司 | 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法 |
| CN113409227A (zh) * | 2021-08-19 | 2021-09-17 | 深圳市信润富联数字科技有限公司 | 点云图修补方法、装置、电子设备和存储介质 |
| CN113496509A (zh) * | 2020-03-18 | 2021-10-12 | 广州极飞科技股份有限公司 | 深度图像帧的生成方法、装置、计算机设备及存储介质 |
| CN113534191A (zh) * | 2021-07-26 | 2021-10-22 | 重庆连芯光电技术研究院有限公司 | 单光子激光雷达的3d图像扫描和修复方法、装置和设备 |
| WO2022042197A1 (zh) * | 2020-08-28 | 2022-03-03 | 上海禾赛科技有限公司 | 激光雷达、数据处理方法及数据处理模块、介质 |
| CN114677315A (zh) * | 2022-04-11 | 2022-06-28 | 探维科技(北京)有限公司 | 基于图像与激光点云的图像融合方法、装置、设备和介质 |
| CN114937081A (zh) * | 2022-07-20 | 2022-08-23 | 之江实验室 | 基于独立非均匀增量采样的网联车位置估计方法及装置 |
| US12020490B2 (en) | 2022-07-20 | 2024-06-25 | Zhejiang Lab | Method and device for estimating position of networked vehicle based on independent non-uniform increment sampling |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268935A (zh) * | 2014-09-18 | 2015-01-07 | 华南理工大学 | 一种基于特征的机载激光点云与影像数据融合***及方法 |
| CN105180890A (zh) * | 2015-07-28 | 2015-12-23 | 南京工业大学 | 融合激光点云和数字影像的岩体结构面产状测量方法 |
| CN106056563A (zh) * | 2016-05-20 | 2016-10-26 | 首都师范大学 | 一种机载激光点云数据与车载激光点云数据融合方法 |
| CN106097348A (zh) * | 2016-06-13 | 2016-11-09 | 大连理工大学 | 一种三维激光点云与二维图像的融合方法 |
| CN106526605A (zh) * | 2016-10-28 | 2017-03-22 | 北京康力优蓝机器人科技有限公司 | 激光雷达与深度相机的数据融合方法及*** |
-
2017
- 2017-09-30 CN CN201710920096.7A patent/CN107610084B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268935A (zh) * | 2014-09-18 | 2015-01-07 | 华南理工大学 | 一种基于特征的机载激光点云与影像数据融合***及方法 |
| CN105180890A (zh) * | 2015-07-28 | 2015-12-23 | 南京工业大学 | 融合激光点云和数字影像的岩体结构面产状测量方法 |
| CN106056563A (zh) * | 2016-05-20 | 2016-10-26 | 首都师范大学 | 一种机载激光点云数据与车载激光点云数据融合方法 |
| CN106097348A (zh) * | 2016-06-13 | 2016-11-09 | 大连理工大学 | 一种三维激光点云与二维图像的融合方法 |
| CN106526605A (zh) * | 2016-10-28 | 2017-03-22 | 北京康力优蓝机器人科技有限公司 | 激光雷达与深度相机的数据融合方法及*** |
Non-Patent Citations (5)
| Title |
|---|
| CHENGLU WEN等: "Three-Dimensional Indoor Mobile Mapping With Fusion of Two-Dimensional Laser Scanner and RGB-D Camera Data", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
| 尚大帅等: "机载LiDAR点云数据与影像数据融合", 《测绘工程》 * |
| 汪开理: "三维激光点云与全景影像匹配融合方法", 《测绘通报》 * |
| 贺秉安等: "基于稀疏激光点云数据和单帧图像融合的三维重构算法", 《计测技术》 * |
| 邵杰等: "三维激光点云与CCD影像融合的研究", 《中国激光》 * |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564615A (zh) * | 2018-04-20 | 2018-09-21 | 驭势（上海）汽车科技有限公司 | 模拟激光雷达探测的方法、装置、***及存储介质 |
| CN108564615B (zh) * | 2018-04-20 | 2022-04-29 | 驭势（上海）汽车科技有限公司 | 模拟激光雷达探测的方法、装置、***及存储介质 |
| CN108489496A (zh) * | 2018-04-28 | 2018-09-04 | 北京空间飞行器总体设计部 | 基于多源信息融合的非合作目标相对导航运动估计方法及*** |
| CN108694731A (zh) * | 2018-05-11 | 2018-10-23 | 武汉环宇智行科技有限公司 | 基于低线束激光雷达和双目相机的融合定位方法及设备 |
| CN108764187A (zh) * | 2018-06-01 | 2018-11-06 | 百度在线网络技术（北京）有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
| US11255973B2 (en) | 2018-06-01 | 2022-02-22 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for extracting lane line and computer readable storage medium |
| CN108957478A (zh) * | 2018-07-23 | 2018-12-07 | 上海禾赛光电科技有限公司 | 多传感器同步采样***及其控制方法、车辆 |
| CN108957478B (zh) * | 2018-07-23 | 2021-03-26 | 上海禾赛科技股份有限公司 | 多传感器同步采样***及其控制方法、车辆 |
| CN111696144A (zh) * | 2019-03-11 | 2020-09-22 | 北京地平线机器人技术研发有限公司 | 深度信息确定方法、深度信息确定装置及电子设备 |
| CN109917419A (zh) * | 2019-04-12 | 2019-06-21 | 中山大学 | 一种基于激光雷达与图像的深度填充密集***及方法 |
| CN109917419B (zh) * | 2019-04-12 | 2021-04-13 | 中山大学 | 一种基于激光雷达与图像的深度填充密集***及方法 |
| CN112396630B (zh) * | 2019-08-15 | 2024-05-31 | 纳恩博（北京）科技有限公司 | 目标对象状态的确定方法、装置、存储介质及电子装置 |
| CN112396630A (zh) * | 2019-08-15 | 2021-02-23 | 纳恩博（北京）科技有限公司 | 目标对象状态的确定方法、装置、存储介质及电子装置 |
| CN112785634A (zh) * | 2019-11-05 | 2021-05-11 | 财团法人资讯工业策进会 | 计算机装置与合成深度图产生方法 |
| CN110942477A (zh) * | 2019-11-21 | 2020-03-31 | 大连理工大学 | 一种利用双目相机和激光雷达深度图融合的方法 |
| CN110942477B (zh) * | 2019-11-21 | 2021-11-19 | 大连理工大学 | 一种利用双目相机和激光雷达深度图融合的方法 |
| CN113496509A (zh) * | 2020-03-18 | 2021-10-12 | 广州极飞科技股份有限公司 | 深度图像帧的生成方法、装置、计算机设备及存储介质 |
| CN111645067B (zh) * | 2020-05-15 | 2022-05-31 | 深圳国信泰富科技有限公司 | 一种高智能机器人环境感知方法及*** |
| CN111645067A (zh) * | 2020-05-15 | 2020-09-11 | 深圳国信泰富科技有限公司 | 一种高智能机器人环境感知方法及*** |
| CN111626217B (zh) * | 2020-05-28 | 2023-08-22 | 宁波博登智能科技有限公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
| CN111626217A (zh) * | 2020-05-28 | 2020-09-04 | 宁波博登智能科技有限责任公司 | 一种基于二维图片和三维点云融合的目标检测和追踪方法 |
| CN111861962B (zh) * | 2020-07-28 | 2021-07-30 | 湖北亿咖通科技有限公司 | 一种数据融合方法及电子设备 |
| CN111861962A (zh) * | 2020-07-28 | 2020-10-30 | 湖北亿咖通科技有限公司 | 一种数据融合方法及电子设备 |
| WO2022042197A1 (zh) * | 2020-08-28 | 2022-03-03 | 上海禾赛科技有限公司 | 激光雷达、数据处理方法及数据处理模块、介质 |
| CN112184901B (zh) * | 2020-09-08 | 2024-04-19 | 北京三快在线科技有限公司 | 一种深度图确定方法及装置 |
| CN112184901A (zh) * | 2020-09-08 | 2021-01-05 | 北京三快在线科技有限公司 | 一种深度图确定方法及装置 |
| CN112312113A (zh) * | 2020-10-29 | 2021-02-02 | 贝壳技术有限公司 | 用于生成三维模型的方法、装置和*** |
| CN112434610A (zh) * | 2020-11-25 | 2021-03-02 | 合肥三恩信息科技有限公司 | 一种基于无监督机器学习的多模态数据训练*** |
| CN113066162B (zh) * | 2021-03-12 | 2022-04-29 | 武汉大学 | 一种用于电磁计算的城市环境快速建模方法 |
| CN113066162A (zh) * | 2021-03-12 | 2021-07-02 | 武汉大学 | 一种用于电磁计算的城市环境快速建模方法 |
| CN112927281A (zh) * | 2021-04-06 | 2021-06-08 | Oppo广东移动通信有限公司 | 深度检测方法、深度检测装置、存储介质与电子设备 |
| CN113223067A (zh) * | 2021-05-08 | 2021-08-06 | 东莞市三姆森光电科技有限公司 | 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法 |
| CN113534191A (zh) * | 2021-07-26 | 2021-10-22 | 重庆连芯光电技术研究院有限公司 | 单光子激光雷达的3d图像扫描和修复方法、装置和设备 |
| CN113409227B (zh) * | 2021-08-19 | 2021-11-30 | 深圳市信润富联数字科技有限公司 | 点云图修补方法、装置、电子设备和存储介质 |
| CN113409227A (zh) * | 2021-08-19 | 2021-09-17 | 深圳市信润富联数字科技有限公司 | 点云图修补方法、装置、电子设备和存储介质 |
| CN114677315A (zh) * | 2022-04-11 | 2022-06-28 | 探维科技(北京)有限公司 | 基于图像与激光点云的图像融合方法、装置、设备和介质 |
| CN114677315B (zh) * | 2022-04-11 | 2022-11-29 | 探维科技(北京)有限公司 | 基于图像与激光点云的图像融合方法、装置、设备和介质 |
| WO2023197351A1 (zh) * | 2022-04-11 | 2023-10-19 | 探维科技(北京)有限公司 | 基于图像与激光点云的图像融合方法、装置、设备和介质 |
| US11954835B2 (en) | 2022-04-11 | 2024-04-09 | Tanway Technology (beijing) Co., Ltd. | Methods, devices, apparatuses, and media for image fusion utilizing images and LiDAR point clouds |
| CN114937081B (zh) * | 2022-07-20 | 2022-11-18 | 之江实验室 | 基于独立非均匀增量采样的网联车位置估计方法及装置 |
| CN114937081A (zh) * | 2022-07-20 | 2022-08-23 | 之江实验室 | 基于独立非均匀增量采样的网联车位置估计方法及装置 |
| US12020490B2 (en) | 2022-07-20 | 2024-06-25 | Zhejiang Lab | Method and device for estimating position of networked vehicle based on independent non-uniform increment sampling |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107610084B (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610084A (zh) | 一种对深度图像和激光点云图进行信息融合的方法与设备 | |
| US11677920B2 (en) | Capturing and aligning panoramic image and depth data | |
| WO2020134082A1 (zh) | 一种路径规划方法、装置和移动设备 | |
| CN108537876A (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| CN102982579B (zh) | 图像三维（3d）建模 | |
| EP3570253A1 (en) | Method and device for reconstructing three-dimensional point cloud | |
| JP2018514031A (ja) | ＤｅｅｐＳｔｅｒｅｏ：実世界の画像から新たなビューを予測するための学習 | |
| CN106991639B (zh) | 用于记录对象的多分辨率图像***的***、介质、方法 | |
| CN109660783A (zh) | 虚拟现实视差校正 | |
| CN111221933A (zh) | 海量地图数据与建筑信息模型融合的三维瓦片构建方法 | |
| CN108629231A (zh) | 障碍物检测方法、装置、设备及存储介质 | |
| US10733777B2 (en) | Annotation generation for an image network | |
| WO2018140656A1 (en) | Capturing and aligning panoramic image and depth data | |
| KR20120101974A (ko) | 장면의 3차원 뷰들을 렌더링 하기 위한 시스템 및 방법 | |
| CN104349155A (zh) | 模拟立体图像显示方法及显示设备 | |
| Jiang et al. | Estimation of construction site elevations using drone-based orthoimagery and deep learning | |
| CN104050709A (zh) | 一种三维图像处理方法及电子设备 | |
| CN107832331A (zh) | 可视化对象的生成方法、装置和设备 | |
| EP2589933B1 (en) | Navigation device, method of predicting a visibility of a triangular face in an electronic map view | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| JP2022050311A (ja) | 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム | |
| JPWO2019244944A1 (ja) | 三次元再構成方法および三次元再構成装置 | |
| CN105931284B (zh) | 三维纹理tin数据与大场景数据的融合方法及装置 | |
| CN108255932B (zh) | 基于三维数字化平台的数字化工厂的漫游浏览方法及*** | |
| Meng et al. | Distortion-aware room layout estimation from a single fisheye image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |