CN115993608A - 三维成像***、三维成像方法、车载***以及车辆 - Google Patents

Abstract

本公开涉及三维成像***、三维成像方法、车载***以及车辆，该三维成像***包括红外激光发射***、红外传感器、激光雷达传感器以及数据融合***；红外激光发射***用于投射红外激光光线至目标区域；红外传感器用于采集由目标区域中的物体反射的红外激光光线，以确定图像数据；激光雷达传感器用于采集由目标区域中的物体反射的红外激光光线，以确定目标物体的点云数据；数据融合***用于匹配图像数据和点云数据。本公开实施例提供的三维成像***中，通过设置红外传感器和激光雷达传感器共用一个红外激光发射***，能够节省一个光源，从而简化了三维成像***的整体结构，且有利于降低三维成像***的硬件成本。

Description

三维成像***、三维成像方法、车载***以及车辆

技术领域

本公开涉及成像探测技术领域，尤其涉及一种三维成像***、三维成像方法、车载***以及车辆。

背景技术

激光雷达(Light Detection And Ranging，LiDAR)是一种以激光为光源，可以精确且快速地获取目标区域内的信息的主动探测***，可获得点云数据，并生成精确的数字化三维模型。

相关技术中，为了获取目标区域内的更加丰富的信息，可将激光雷达与其他多种不同的传感器结合，以实现对同一个目标区域进行多维度的探测。但是，将激光雷达与其他探测***结合时，存在***结构复杂且整体成本较高的问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种结构简单且成本低的三维成像***、三维成像方法、车载***以及车辆。

本公开提供了一种三维成像***，该成像***包括红外激光发射***、红外传感器、激光雷达传感器以及数据融合***；

所述红外激光发射***用于投射红外激光光线至目标区域；

所述红外传感器用于采集由目标区域中的物体反射的红外激光光线，以确定图像数据；

所述激光雷达传感器用于采集由目标区域中的物体反射的红外激光光线，以确定目标物体的点云数据；

所述数据融合***用于匹配所述图像数据和所述点云数据。

在一些实施例中，所述红外激光发射***包括垂直腔表面发射激光器；

所述垂直腔表面发射激光器用于按照预设的时间间隔以脉冲的形式投射所述红外激光光线。

在一些实施例中，所述红外传感器包括门控图像传感器；

所述门控图像传感器用于基于所述脉冲发射时间，确定像素化门阵列的开启时间和关闭时间，以采集由目标区域中的物体反射的红外激光光线。

在一些实施例中，所述激光雷达传感器包括硅光电倍增管；

所述硅光电倍增管用于基于所述脉冲发射时间被触发，与所述红外传感器同步采集由目标区域中的物体反射的红外激光光线。

在一些实施例中，该成像***还包括支撑构件，所述红外激光发射***、所述红外传感器和所述激光雷达传感器均由所述支撑构件固定；

所述红外传感器和所述激光雷达传感器分别设置于所述红外激光发射***的相对两侧。

在一些实施例中，所述红外激光光线的波长为808nm、905nm或940nm。

在一些实施例中，所述数据融合***具体用于：

将所述图像数据的像素转换到参考系，获得第一空间数据；

将所述点云数据转换到参考系，获得第二空间数据；

将所述第二空间数据与所述第一空间数据进行匹配。

在一些实施例中，所述数据融合***具体还用于：

将第二空间数据赋值给匹配成功的第一空间数据对应的像素；

对于未匹配成功的第一空间数据，基于匹配成功的第二空间数据通过模型算法计算辅助空间数据；所述辅助空间数据对应于未匹配成功的第一空间数据；

将未匹配成功的第一空间数据与所述辅助空间数据进行匹配，直至全部匹配完成。

在一些实施例中，所述点云数据包括空间位置数据；所述第二空间数据包括对应的空间位置数据。

在一些实施例中，所述点云数据还包括表面特性数据，所述表面特性数据包括激光反射强度数据；所述第二空间数据包括对应的激光反射强度数据。

本公开还提供了一种三维成像方法，该方法包括：

所述红外激光发射***投射红外激光光线至目标区域；

所述红外传感器采集由目标区域中的物体反射的红外激光光线，以确定图像数据；

所述激光雷达传感器采集由目标区域中的物体反射的红外激光光线，以确定目标物体的点云数据；

所述数据融合***匹配所述图像数据和所述点云数据。

在一些实施例中，所述数据融合***匹配所述图像数据和所述点云数据，包括：

将所述图像数据的像素转换到参考系，获得第一空间数据；

将所述点云数据转换到参考系，获得第二空间数据；

将所述第二空间数据与所述第一空间数据进行匹配。

在一些实施例中，所述数据融合***匹配所述图像数据和所述点云数据，还包括：

将第二空间数据赋值给匹配成功的第一空间数据对应的像素；

对于未匹配成功的第一空间数据，基于匹配成功的第二空间数据通过模型算法计算辅助空间数据；所述辅助空间数据对应于未匹配成功的第一空间数据；

将未匹配成功的第一空间数据与所述辅助空间数据进行匹配，直至全部匹配完成。

在一些实施例中，所述点云数据包括空间位置数据；所述第二空间数据包括对应的空间位置数据。

在一些实施例中，所述点云数据还包括表面特性数据，所述表面特性数据包括激光反射强度数据；所述第二空间数据包括对应的激光反射强度数据。

在一些实施例中，所述红外激光发射***按照预设的时间间隔以脉冲的形式投射所述红外激光光线时，所述方法还包括：

所述数据融合***基于所述图像数据，确定图像亮度；

所述红外激光发射***基于所述图像亮度动态调节激光脉冲的持续时间。

本公开还提供了一种车载***，该车载***包括上述任一种三维成像***。

本公开还提供了一种车辆，该车辆包括上述任一种车载***。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供的三维成像***、三维成像方法、车载***以及车辆中，该三维成像***包括红外激光发射***、红外传感器、激光雷达传感器以及数据融合***；红外激光发射***用于投射红外激光光线至目标区域；红外传感器用于采集由目标区域中的物体反射的红外激光光线，以确定图像数据；激光雷达传感器用于采集由目标区域中的物体反射的红外激光光线，以确定目标物体的点云数据；数据融合***用于匹配图像数据和点云数据，由此，红外传感器和激光雷达传感器共用同一个红外激光发射***，从而能够减少三维成像***中的光源的数量，有利于简化三维成像***的结构，降低其成本。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种三维成像***的结构示意图；

图2为本公开实施例提供的一种三维成像***的原理示意图；

图3为本公开实施例提供的另一种三维成像***的结构示意图；

图4为本公开实施例提供的一种三维成像方法的流程示意图；

图5为图4示出的三维成像方法中S24的一种细化流程示意图；

图6为图4示出的三维成像方法中S24的另一种细化流程示意图。

其中，11、红外激光发射***；12、红外传感器；13、激光雷达传感器；14、数据融合***；15、目标区域的目标物；16、支撑构件。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

本公开实施例提供的三维成像***可应用于任何具有三维成像需求的场景中，例如可包括机器人、无人机以及无人驾驶等场景。将其应用到无人驾驶场景时，其可辅助实现无人驾驶定位、路沿/可行驶区域检测、车道标识线检测、障碍物检测、动态物体跟踪、障碍物分类识别等功能，在此不限定。

下面结合图1-图6，对本公开实施例提供的三维成像***、三维成像方法、车载***以及车辆进行示例性说明。

在一些实施例中，图1为本公开实施例提供的一种三维成像***的结构示意图。参照图1，该三维成像***包括红外激光发射***11、红外传感器12、激光雷达传感器13以及数据融合***14；红外激光发射***11用于投射红外激光光线至目标区域；红外传感器12用于采集由目标区域中的物体反射的红外激光光线，以确定图像数据；激光雷达传感器13用于采集由目标区域中的物体反射的红外激光光线，以确定目标物体的点云数据；数据融合***14用于匹配图像数据和点云数据。

其中，目标区域为被检测的区域。示例性地，以无人驾驶为例，目标区域可为车辆的前方区域、后方区域或环周区域，在此不限定。其中，目标物体为被检测的区域中可被检测到的物体。示例性地，以无人驾驶为例，目标物体可为路标、指示灯、行人、车辆、路沿或行车环境中可能存在的任何其他动态或静态的物体，在此不限定。

其中，红外激光发射***11能够将红外激光光线投射至目标区域，投射至目标区域中的红外激光光线可被目标区域中的物体反射；对应地，红外传感器12能够采集由目标区域中的物体发射的红外激光光线，以确定图像数据，且可将该图像数据发送至数据融合***14；激光雷达传感器13能够采集由目标区域中的问题反射的红外激光光线，以确定目标物体的点云数据，且可将该点云数据发送至数据融合***14；数据融合***14将图像数据与点云数据融合，以确定目标区域中的目标物体的空间位置、表面特性等信息，实现对目标区域中的目标物体的多维度检测。

示例性地，如图2所示，为本公开实施例提供的一种三维成像***的工作原理示意图。参照图2，该三维成像***的工作原理可为：红外激光发射***11向目标区域投射红外激光光线，红外激光光线照射到目标区域后，被目标区域中的物体反射，由目标区域中的物体反射的红外激光光线被红外传感器12和激光雷达传感器13采集；对应地，红外传感器12根据采集到红外激光光线确定包括目标物体15在内的图像数据，激光雷达传感器13根据采集到的红外激光光线确定包括目标物体15在内的点云数据；数据融合***14将图像数据和点云数据进行匹配，输出包含目标物体的图像以及空间位置、表面特征等多个不同维度数据的三维图像。

能够理解的是，图2中仅示例性地示出了目标物体15为车辆；在其他实施方式中，目标物体15还可为其他物体，在此不限定。

其中，红外传感器12和激光雷达传感器13均与数据融合***14通信连接，通信连接的具体实现方式可为有线电连接，也可为无线连接，在此不限定。示例性地，数据融合***14对图像数据和点云数据的具体匹配过程在后文中进行示例性说明。

在本公开实施例提供的三维成像***中，红外传感器12和激光雷达传感器13共用同一个红外激光发射***11，即红外传感器12和激光雷达传感器13均以红外激光发射***作为光源，由此相对于相关技术中为红外传感器12和激光雷达传感器13分别对应设置不同的光源而言，减少了三维成像***中的光源的数量，简化了三维成像***的结构，且有利于降低三维成像***的整体成本。

此外，通过基于红外激光光线进行三维成像，避免了可见光的强度对成像效果的影响，在低光、眩光或恶劣天气条件下，均能够具有较好的三维成像效果，从而能够实现在全天候环境中实时成像。

在一些实施例中，红外激光发射***11包括垂直腔表面发射激光器(VerticalCavity Surface Emitting Laser，VCSEL)；垂直腔表面发射激光器用于按照预设的时间间隔以脉冲的形式投射红外激光光线。

其中，垂直腔表面发射激光器以砷化镓半导体材料为基础，区别于发光二极管(LightEmitting Diode，LED)和激光二极管(Laser Diode，LD)等其他光源，具有体积小、功率低、便于量产、易于集成、价格低廉等优点，将其应用于三维成像***，可进一步降低三维成像***的整体成本。

示例性地，垂直腔表面发射激光器的工作电流可为3.5A，工作电压可为30V，功耗可为35W，对应红外激光光线的波长可为850nm。在其他实施方式中，垂直腔表面发射激光器还可采用其他参数工作，在此不赘述也不限定。

示例性地，预设的时间间隔可为5ms、8ms、10ms或其他时间间隔，单个脉冲持续的时长可为10ms、15ms、20ms或其他时长，可基于三维成像***的需求设置，在此不限定。

其中，垂直腔表面发射激光器可与计时装置连接，基于计时装置实现脉冲控制，使垂直腔表面发射激光器能够按照预设的时间间隔以脉冲的形式投射红外激光光线，进而使得红外传感器12和激光雷达传感器13仅在预设的时间才能采集到目标区域中的物体反射的红外激光光线，进而获得目标物体的三维图像。如此，有利于基于红外激光发射***11的脉冲控制，实现红外传感器12和激光雷达传感器13在时间上的同步采集，从而实现图像数据和点云数据的同步融合。

够理解的是，本实施例仅示例性地示出了红外激光发射***11为垂直腔表面发射激光器。在其他实施方式中，红外激光发射***11还可采用本领域技术人员可知的能够满足三维成像***需求的其他红外激光发射器，在此不限定。

在一些实施例中，红外传感器12包括门控图像传感器(Gated Imaging Sensor，GIS)；门控图像传感器用于基于脉冲发射时间，确定像素化门阵列的开启时间和关闭时间，以采集由目标区域中的物体反射的红外激光光线。

其中，门控图像传感器包括像素化的门阵列以及基于该门阵列实现开关控制的传感器阵列；门阵列可包括多行多列的控制开关，传感器阵列可包括多行多列的传感器，每个控制开关可对应控制一个传感器，从而可通过基于脉冲发射时间对像素化门阵列的开启时间和关闭时间的控制，实现基于脉冲发射时间对传感器阵列中的各传感器的开关控制，进而实现对由目标区域中的物体反射的红外激光光线的采集。

其中，门控图像传感器与红外激光发射***11共同构成主动门控成像***(Active Gated Imaging System，AGIS)；其中，门控图像传感器作为成像单元，红外激光发射***11(例如上文中的VCSEL)作为近红外脉冲光源。通过将门控图像传感器与红外激光发射***11进行门控联动，能够在红外激光发射***11脉冲发射时间内，对传感器像素化门阵列的开启时间和关闭时间的控制，从而实现控制成像单元在脉冲发射时间内采集反射的红外激光光线，实现对门控图像传感器和红外激光发射***11的同步控制。

主动门控成像***的工作原理为：红外激光发射***11向目标区域投射脉冲形式的红外激光光线，以照亮目标区域；单个脉冲的红外激光光线照射到目标区域后，可被目标区域中的物体(包括目标物体15)反射，门控图像传感器采集目标区域中的物体反射的红外激光光线，从而形成图像数据。

具体地，用一束脉冲形式的红外激光光线照亮目标区域，每次脉冲激发门控图像传感器(可简称为“相机”)的一次短积分(曝光)。相机的短积分根据可调的脉冲激光进行延时动作，相机的积分时间也是可调的。延时时间和积分时间由三维成像***所检测的目标区域(对应一目标场景)的距离和深度决定，距离越远，深度越深，时间越长。因此，只有从目标区域中的物体反射的光子才能被采集并成像。较短的积分时间结合较短的激光脉冲时长，可得到具有较高质量分辨率的图像。该主动门控成像***中，可同步门控红外传感器和红外激光发射***的脉冲，从而可生成清晰的图像。进一步地，通过切片场景景深，其捕获的图像也能够生成距离图。

示例性地，门控图像传感器可为门控互补型金属-氧化物-半导体(ComplementaryMetal-Oxide-Semiconductor，CMOS)图像传感器，其能够实现严格控制像素化门阵列的开启时间和关闭时间，从而确保较高的图像质量。或者门控图像传感器还可采用本领域技术人员可知的其他类型的门控图像传感器，在此不限定。

进一步地，门控图像传感器可通过内部算法根据当前帧的成像效果判断图像亮度以及被脉冲激光照射的目标区域的大小是否满足三维成像要求，并可进一步动态调节门控时间，以及控制红外激光发射***发射脉冲的持续时间，以实现对照亮区域大小以及图像亮度亮暗的调整，以使下一帧图像的成像效果较佳。

在其他实施方式中，红外传感器12还可采用除门控图像传感器以外的、本领域技术人员可知的能够满足三维成像***需求的其他类型的红外传感器，在此不限定。

在一些实施例中，激光雷达传感器13包括硅光电倍增管(SiliconPhotomultiplier，SiPM)；硅光电倍增管用于基于脉冲发射时间被触发，与红外传感器同步采集由目标区域中的物体反射的红外激光光线。

如此设置，使得硅光电倍增管与红外传感器12被同一个红外激光发射***11触发，并具体在脉冲发射时间被触发，硅光电倍增管与红外传感器12同步采集由目标区域中的物体反射的红外激光光线，实现红外成像和激光雷达测距点云硬同步，使同步融合准确。

其中，硅光电倍增管具体可采用多像素光子计数器(Multi-Pixel PhotonCounter，MPPC)，其组成单元是由盖革模式下的雪崩光电二极管(Avalanche Photodiode，APD)和与之串联的淬灭电阻构成，该组成单元可称为一个像素，MPPC可为由多个这样的像素组成的阵列。

由此，当MPPC中的一个像素接收到一个入射光子时，就会输出一个幅度一定的脉冲，当多个像素都接收到入射光子时，则该多个像素中的每个像素都会输出一个对应幅度的脉冲，这几个像素输出的脉冲会叠加在一起，由MPPC的一个公共输出端输出，如此可以在高动态范围内实现多光子检测，且能够实现更大的增益。基于此，相比于单个的APD，MPPC的增益可达到105～106，如此有利于在较短的时间内得到较长的距离信息，且探测带宽也与APD相当。

进一步地，还可利用MPPC独特的光子分辨能力，将不同表面反射率的物体识别出来，从而在测量距离信息的同时能够分辨物体表面特性，例如可区分具有不同反射率的物体。

进一步地，MPPC的封装形式也更易于拼接成阵列，相比APD而言，MPPC具有更大的感光面积，如此使之更适用于固态激光雷达。

从上述对MPPC的性能分析可知，MPPC较适用于脉冲测距法，其可用作自动驾驶(例如无人驾驶)场景的激光雷达传感器。

在其他实施方式中，激光雷达传感器13还可以采用本领域技术人员可知的其他类型的基于脉冲激发的激光雷达传感器，可基于三维成像***的需求设置，在此不限定。

在一些实施例中，继续参照图2，该三维成像***还可包括镜头组件，镜头组件可设置于红外激光发射***11、红外传感器12和激光雷达传感器13中的至少一个的前方，设置于光线传输路径中，以对红外激光发射***11发射的红外激光光线(即图2中的“发射光线”)和/或由目标区域中的物体反射的红外激光光线(例如图2中由红外传感器12或激光雷达传感器13采集的“反射光线”)进行调节，提高红外激光光线的强度，从而提升信噪比，确保较高的检测准确性。

示例性地，镜头组件可包括透镜或透镜组，可基于三维成像***的需求设置，在此不限定。

在一些实施例中，继续参照图2，三维成像***还可包括微控制单元(MicroController Unit，MCU)，图2中以MCU示出，红外激光发射***11、红外传感器12和激光雷达传感器13均与MCU连接，MCU能够控制红外激光发射***11按照预设的时间间隔以脉冲形式投射红外激光光线；MCU还能够控制红外传感器12和激光雷达传感器13的时钟同步，以基于激光脉冲同步采集由目标区域中的物体反射的红外激光光线，从而实现同步采集，便于实现对应的图像数据和点云数据的硬融合。

在一些实施例中，继续参照图2，三维成像***中该包括与激光雷达传感器13连接的定时器电路时间测量电路，该定时器电路时间测量电路可基于发射光线与反射光线的时间差、采用时间飞行法确定测量距离，该测量距离为目标物体与激光雷达传感器13的镜头之间的距离。

在其他实施方式中，还可基于其他预设的或检测的位置信息，确定任意物体之间的相对距离，可基于实际需求设置，在此不限定。

在一些实施例中，如图3所示，为本公开实施例提供的另一种三维成像***的结构示意图，示出了该三维成像***中红外激光发射***、红外传感器和激光雷达传感器的空间相对位置关系。参照图3，该成像***还包括支撑构件16，红外激光发射***11、红外传感器12和激光雷达传感器13均由支撑构件16固定；红外传感器12和激光雷达传感器13分别设置于红外激光发射***11的相对两侧。

其中，支撑构件16用于支撑固定红外激光发射***11、红外传感器12和激光雷达传感器13。

示例性地，支撑构件16可为一具有开口的中空壳体，红外激光发射***11、红外传感器12和激光雷达传感器13均固定于中空壳体内，且分别由对应的开口漏出，以允许红外激光光线出射和入射。

在其他实施方式中，支撑构件16还可采用本领域技术人员可知的其他具有支撑固定功能的结构部件，在此不限定。

示例性地，如图3所示，支撑构件16整体为一长方体结构；在其他实施方式中，支撑构件16还可以设置为其他立体形状，能够满足适应于红外激光发射***11、红外传感器12和激光雷达传感器13的空间布局方式的支撑固定即可，在此不限定。

其中，通过将红外激光发射***11居中设置，并将红外传感器12和激光雷达传感器13设置于红外激光发射***11的相对两侧，有利于使得由目标区域中的物体到红外传感器12的路径长度与由目标区域中的物体到激光雷达传感器13的路径长度基本相等，其分别叠加由红外激光发射***11到目标区域中的物体的路径长度后，所构成的对应的红外激光光线的发射接收路径也基本相等，从而便于红外传感器12和激光雷达传感器13同步采集由目标区域中的物体反射的红外激光光线，进而有利于提高检测准确性。

示例性地，如图3所示，红外激光发射***11设置于支撑构件16的居中位置，红外传感器12和激光雷达传感器13分别水平设置于红外激光发射***11的左右两侧。

在其他实施方式中，还可设置红外传感器12和激光雷达传感器13分别位于红外激光发射***11的上侧和下侧，或者红外传感器12和激光雷达传感器13设置在红外激光发射***11其他方位的相对两侧，在此不限定。

在一些实施例中，红外激光光线的波长为808nm、905nm或940nm。

如此设置，使得该红外激光光线既可以被红外传感器12识别，又可被激光雷达传感器13识别，进而能够实现红外传感器12和激光雷达传感器13共用同一个光源。

同时，红外激光光线不能被人眼识别，但能够被红外传感器12和激光雷达传感器13识别，基于此，当红外激光发射***11向目标区域投射脉冲形式的红外激光光线时，目标区域中的物体反射的红外激光光线不会对人眼产生影响，避免眩光。

进一步地，当红外激光光线为近红外(Near Infrared，NIR)光线时，由于近红外光线的穿透能力比较强，该近红外光线能够穿过雾、雨、雪等介质并继续传播。基于此，该应用近红外光线的三维成像***能够在雾、雨、雪等恶劣天气下也具有良好的成像效果，能够在全天候环境实现实时感知。

其中，红外激光发射***11发射的红外激光光线波长要与红外传感器12和激光雷达传感器13能够识别的红外激光光线波长相匹配，使红外传感器12和激光雷达传感器13均具有较高的灵敏度和准确度。通过设置红外激光光线可为波长为808nm、905nm或940nm的短波红外激光光线，一方面红外传感器12和激光雷达传感器13均具有较高的灵敏度和准确度，另一方面红外激光发射***11的功率较低，且可采用硅基器件，而无需采用高成本的砷化镓基器件，如此能够同时兼顾成本和***检测性能，使三维成像***具有较高的性价比。

需要说明的是，上述仅示例性地示出了红外激光光线的波长为单点波长，在其他实施方式中，红外激光光线的波长还可为波段范围，例如0.75μm～1.1μm；其他实施方式中，还可以采用其他波长或波段的红外激光光线，确保红外传感器和激光雷达传感器在所采用的波长或波段具有较高的灵敏度和准确度即可，可基于三维成像***的需求设置，在此不限定。

在一些实施例中，数据融合***14用于匹配图像数据和点云数据，具体包括：将图像数据的像素转换到参考系，获得第一空间数据；将点云数据转换到参考系，获得第二空间数据；将第二空间数据与第一空间数据进行匹配。

其中，图像数据与参考系之间可基于红外传感器12的标定参数进行转换，点云数据与参考系之间可基于激光雷达传感器13的标定参数进行转换；基于上述转换过程，图像数据和点云数据均可转换为参考系中的空间数据，以便实现数据匹配。

具体地，数据融合***14可基于红外传感器12的标定参数，确定图像数据中的目标像素对应的第一空间数据(例如第一空间位置)；且，数据融合***14可基于激光雷达传感器13的标定参数，确定点云数据中的目标点对应的第二空间数据(例如第二空间位置)。在此基础上，数据融合***14将第二空间数据与第一空间数据进行匹配，即实现了图像数据和点云数据的匹配。

示例性地，参考系可为空间坐标系；对应的，第一空间数据和第二空间数据分别为将图像数据的像素和点云数据转换到空间坐标系中所对应的空间坐标，其可为空间直角坐标，也可为空间极坐标，还可采用其他的空间坐标形式表示，在此不限定。

进一步地，数据融合***14可将与第二空间位置匹配的第一空间位置所对应的目标像素确定为待赋值像素，并将该第二空间位置对应的目标点的空间位置数据确定为该待赋值像素的空间位置，由此，以点云所在的空间坐标系为基准，确定了图像数据中的匹配成功的像素的空间位置。

在其他实施方式中，还可以将参考系作为基准，以确定图像数据中各像素的空间位置。

在一些实施例中，数据融合***14用于匹配图像数据和点云数据，具体还包括：将第二空间数据赋值给匹配成功的第一空间数据对应的像素；对于未匹配成功的第一空间数据，基于匹配成功的第二空间数据通过模型算法计算辅助空间数据；辅助空间数据对应于未匹配成功的第一空间数据；将未匹配成功的第一空间数据与辅助空间数据进行匹配，直至全部匹配完成。

其中，当图像数据的像素的数量大于点云数据的点云数量时，数据融合***14可首先将第二空间数据赋值给匹配成功的第一空间数据对应的像素，从而确定了匹配成功的第一空间数据对应的像素在参考系中的空间位置；并进一步地，对于未匹配成功的第一空间数据，可利用插值法确定与其匹配的辅助空间数据，例如可利用模型算法计算辅助空间数据，将辅助空间数据与第一空间数据进行匹配，匹配成功后，将辅助空间数据复制给匹配成功的第一空间数据对应的像素，重复上述过程，直至全部匹配和赋值完成。由此，以参考系为基准，确定了图像数据中各像素的空间位置。

结合上文，当第一空间数据和第二空间数据均为空间坐标时，第一空间数据可为第一空间坐标，第二空间数据可为第二空间坐标。数据融合***14可首先将第二空间坐标赋值给匹配成功的第一空间坐标的像素；并进一步地，对于未匹配成功的第一空间坐标，基于匹配的第二空间坐标通过模型算法计算未匹配的第二空间坐标，将未匹配的第二空间坐标与未匹配的第一空间坐标进行匹配，直至全部匹配完成。

结合上文，在图像数据中的目标像素的数量大于点云数据中的目标点的数量时，数据融合***14可基于匹配成功的第二空间位置，在每相邻两个目标点之间***预设数量的辅助目标点；且辅助目标点与目标点的数量之和等于目标像素的数量，即辅助目标点的数量等于未匹配成功的第一空间数据对应的像素数量。

其中，数据融合***基于激光雷达传感器的标定参数，确定辅助目标点对应的第三空间位置；数据融合***将与第三空间位置匹配的第一空间位置所对应的目标像素确定为辅助待赋值像素；将第三空间位置对应的辅助目标点的空间位置数据确定为辅助待赋值像素的空间位置，直至第一空间数据对应的像素全部赋值成功。由此，以点云所在的空间坐标系为基准，确定了图像数据中的各像素的空间位置。

在一些实施例中，点云数据包括空间位置数据；第二空间数据包括对应的空间位置数据。

其中，点云数据包括表征点云的多维度数据，例如空间位置数据、表面特征数据(见后文)或其他特性数据，在此不限定。

当点云数据包括空间位置数据时，其可为三维数据，可表示为多个(X,Y,Z)坐标的集合。其中，通过在点云所在的坐标系与参考系之间进行的坐标转换，可将点云数据中的空间位置数据转换为参考系下对应的空间位置数据，例如可表示为多个(X2,Y2,Z2)坐标的集合。

对应地，图像数据可为二维数据，可表示为多个(X0,Y0)坐标的集合；通过在图像数据对应的平面坐标系与参考系之间进行的坐标转换，可将图像数据中的平面坐标转换为参考系下对应的空间位置数据，例如可表示为多个(X1,Y1,Z1)坐标的集合。

进一步地，通过在参考系下的(X2,Y2,Z2)与(X1,Y1,Z1)的匹配，实现图像数据和点云数据的匹配。

在一些实施例中，点云数据还包括表面特性数据；表面特性数据包括激光反射强度数据；第二空间数据包括对应的激光反射强度数据。

其中，目标区域中的不同物体的表面特性或者同一物体的不同区域的表面特性可能会存在差异，例如其反射率不同，则由其反射的红外激光光线的强度不同。基于此，由激光雷达传感器13采集到的目标区域中的物体反射的红外激光光线强度也有差异，点云数据中包括对应于各空间位置数据的表面特性数据，当该表面特性数据不同时，表明对应位置处的表面特性存在差异。

由此，点云数据与图像数据的匹配融合，还可包括：将表面特性数据赋值给基于空间位置匹配成功的像素。

在其他实施方式中，当点云数据中还包括其他维度的数据时，还可将其他维度的数据也赋值给对应匹配成功的像素，在此不限定。

本公开实施例提供的三维成像***至少具有如下有益效果：

第一、红外传感器和激光雷达传感器均以红外激光发射***作为光源，相对于相关技术中为红外传感器和激光雷达传感器分别对应设置不同的光源而言，减少了三维成像***中的光源的数量，简化了三维成像***的结构，且有利于降低三维成像***的整体成本；

第二、采用具有较强穿透能力的近红外光线，相对于相关技术中基于可见光成像而言，能够在低光、眩光等场景以及雾、雨、雪等恶劣天气下具有良好的成像效果，能够在全天候环境实现实时感知；

第三、红外传感器和激光雷达传感器基于同一个红外激光发射***而被触发，可同步采集由目标区域中的物体反射的红外激光光线，从而实现图像数据和点云数据的准确同步融合，相对于传统的图像传感器基于环境亮度自动调整曝光时长而导致的图像数据与点云数据不能很好不同步而言，本公开实施例提供的三维成像***的同步性较好，便于实现，且准确性较高。

基于同一发明构思，本公开实施例还提供了一种三维成像方法，该三维成像方法可基于上述实施例提供的任一种三维成像***执行，具有对应的有益效果，相同之处可参照上文理解，后文中不赘述。

下面结合图4–图6对本公开实施例提供的三维成像方法进行示例性说明。

在一些实施例中，如图4所示，为本公开实施例提供的一种三维成像方法的流程示意图。参照图4，该三维成像方法可包括如下步骤：

S21、红外激光发射***投射红外激光光线至目标区域。

S22、红外传感器采集由目标区域中的物体反射的红外激光光线，以确定图像数据。

S23、激光雷达传感器采集由目标区域中的物体反射的红外激光光线，以确定目标物体的点云数据。

S24、数据融合***匹配图像数据和点云数据。

本公开实施例提供的三维成像方法中，红外激光发射***向目标区域投射红外激光光线，红外激光光线照射到目标区域中的物体后被反射，反射的红外激光光线被红外传感器和激光雷达传感器采集；对应地，红外传感器采集由目标区域中的物体反射的红外激光光线，并据此确定目标区域的图像数据；激光雷达传感器采集目标区域中的物体反射的红外激光光线，并据此确定目标物体的点云数据；基于此，数据融合***将图像数据和点云数据进行匹配。由此，该三维成像方法中，红外传感器和激光雷达传感器均以红外激光发射***作为光源，在节省了一个光源，简化了***结构，降低了***的整体成本的同时；相对于需要控制两个光源而言，节省了一个光源的控制过程，简化了三维成像方法。此外，由相同的光源同步触发红外传感器和激光雷达传感器，使其同步对由目标区域中的物体反射的红外激光光线进行采集，有利于图像数据和点云数据的同步匹配融合，其同步方式简单，便于实现，且同步性好，融合准确性高。

下面对数据融合过程进行示例性说明。

在一些实施例中，如图5所示，为图4示出的三维成像方法中S24的细化流程示意图。结合图4和图5，S24具体可包括数据融合***执行的如下步骤：

S241、将图像数据的像素转换到参考系，获得第一空间数据。

示例性地，参考系为空间坐标系；第一空间数据包括第一空间位置。由此，实现由图像数据的平面坐标系向参考系的坐标转换。

S242、将点云数据转换到参考系，获得第二空间数据。

示例性地，参考系为空间坐标系，第二空间数据包括第二空间位置。由此，实现由点云数据的空间坐标系向参考系的坐标转换。

S243、将第二空间数据与第一空间数据进行匹配。

其中，第一空间数据参考系下对应于图像数据的像素的数据，第二空间数据为参考系下对应于点云数据的数据，通过将第一空间数据和第二空间数据匹配，实现了点云数据与图像数据的匹配。

需要说明的是，当图像数据的像素数量与点云数据中的点云数量相等时，第一空间数据和第二空间数据的数量也对应相等，二者可全部互相匹配。当图像数据的像素数量大于点云数据的点云数量时，可基于匹配成功的第二空间数据，确定对应于未匹配成功的第一空间数据的辅助空间数据，以使第一空间数据能够全部被匹配。

下文中结合图6进行示例性地说明。

在一些实施例中，图6为图4示出的三维成像方法中S24的另一种细化流程示意图。在图5的基础上，参照图6，在S24中，在S243之后，还可包括如下步骤：

S244、将第二空间数据赋值给匹配成功的第一空间数据对应的像素。

其中，在第一空间数据与第二空间数据匹配成功之后，先将第二空间数据赋值给匹配成功的第一空间数据对应的像素。

S245、对于未匹配成功的第一空间数据，基于匹配成功的第二空间数据通过模型算法计算辅助空间数据；辅助空间数据对应于未匹配成功的第一空间数据。

其中，在图像数据的像素的数量大于点云数据的点云数量时，第一空间数据的数量对应大于第二空间数据的数量，第一空间数据和第二空间数据不能一一匹配；此时，对于未匹配成功的第一空间数据，可基于匹配成功的第二空间数据，通过模型算法计算辅助空间数据，例如可利用差值法，在相邻的两个第二空间数据之间***预设数量的辅助空间数据；辅助空间数据的总数量等于未匹配成功的第一空间数据的数量，以便后续完成第一空间数据的全部匹配。

S246、将未匹配成功的第一空间数据与辅助空间数据进行匹配，直至全部匹配完成。

其中，将辅助空间数据与未匹配成功的第一空间数据进行匹配，直至所有的第一空间数据全部被匹配完成。

上述任一实施例中，点云数据包括空间位置数据，其对应于点云数据的坐标系下的三维空间位置；第二空间数据包括对应的空间位置数据，其对应于仅坐标转换后的参考系下的三维空间位置。

在一些实施例中，点云数据还包括表面特性数据，表面特性数据包括激光反射强度数据；第二空间数据包括对应的激光反射强度数据。

示例性地，表面特性数据与对应的激光反射强度数据可相同，或者表面特性数据进行插值后得到对应的激光反射强度数据，在此不限定。

在上述实施方式的基础上，三维成像***的红外激光发射***按照预设的时间间隔以脉冲的形式投射红外激光光线时，该三维成像方法还可包括如下步骤：

步骤一、数据融合***基于图像数据，确定图像亮度。

步骤二、红外激光发射***基于图像亮度动态调节激光脉冲的持续时间。

其中，数据融合***基于图像数据确定图像亮度，并根据当前帧的成像效果判断图像亮度是否满足三维成像要求；当图像亮度不满足三维成像要求时，例如图像亮度过亮或者过暗时，红外激光发射***基于当前帧的图像亮度适应性调节激光脉冲的持续时间，以实现对图像亮度亮暗的调整，以使下一帧图像的成像效果较佳。

示例性地，在图像亮度过亮时，可缩短激光脉冲的持续时间；在图像亮度过暗时，可延长激光脉冲的持续时间；或者可采用本领域技术人员可知的其他方式调节，在此不限定。

本公开实施例提供了一种车载***，该车载***包括上述实施方式中的任一种三维成像***，能够实现对应的有益效果。

在其他实施方式中，车载***还可包括本领域技术人员可知的其他结构部件或功能部件，在此不赘述也不限定。

本公开实施例提供了一种车辆，该车辆包括上述实施方式中的任一种车载***，能够实现对应的有益效果。

在其他实施方式中，车辆还可包括本领域技术人员可知的其他***，例如驱动***、驾舱***等，在此不赘述也不限定。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维成像***，其特征在于，包括红外激光发射***、红外传感器、激光雷达传感器以及数据融合***；

所述红外激光发射***用于投射红外激光光线至目标区域；

所述红外传感器用于采集由目标区域中的物体反射的红外激光光线，以确定图像数据；

所述激光雷达传感器用于采集由目标区域中的物体反射的红外激光光线，以确定目标物体的点云数据；

所述数据融合***用于匹配所述图像数据和所述点云数据。

2.根据权利要求1所述的三维成像***，其特征在于，所述红外激光发射***包括垂直腔表面发射激光器；

所述垂直腔表面发射激光器用于按照预设的时间间隔以脉冲的形式投射所述红外激光光线。

3.根据权利要求2所述的三维成像***，其特征在于，所述红外传感器包括门控图像传感器；

所述门控图像传感器用于基于所述脉冲发射时间，确定像素化门阵列的开启时间和关闭时间，以采集由目标区域中的物体反射的红外激光光线。

4.根据权利要求2所述的三维成像***，其特征在于，所述激光雷达传感器包括硅光电倍增管；

所述硅光电倍增管用于基于所述脉冲发射时间被触发，与所述红外传感器同步采集由目标区域中的物体反射的红外激光光线。

5.一种三维成像方法，其特征在于，包括：

所述红外激光发射***投射红外激光光线至目标区域；

所述红外传感器采集由目标区域中的物体反射的红外激光光线，以确定图像数据；

所述激光雷达传感器采集由目标区域中的物体反射的红外激光光线，以确定目标物体的点云数据；

所述数据融合***匹配所述图像数据和所述点云数据。

6.根据权利要求5所述的三维成像方法，其特征在于，所述数据融合***匹配所述图像数据和所述点云数据，包括：

将所述图像数据的像素转换到参考系，获得第一空间数据；

将所述点云数据转换到参考系，获得第二空间数据；

将所述第二空间数据与所述第一空间数据进行匹配。

7.根据权利要求6所述的三维成像方法，其特征在于，所述数据融合***匹配所述图像数据和所述点云数据，还包括：

将第二空间数据赋值给匹配成功的第一空间数据对应的像素；

对于未匹配成功的第一空间数据，基于匹配成功的第二空间数据通过模型算法计算辅助空间数据；所述辅助空间数据对应于未匹配成功的第一空间数据；

将未匹配成功的第一空间数据与所述辅助空间数据进行匹配，直至全部匹配完成。

8.根据权利要求5所述的三维成像方法，其特征在于，所述红外激光发射***按照预设的时间间隔以脉冲的形式投射所述红外激光光线时，所述方法还包括：

所述数据融合***基于所述图像数据，确定图像亮度；

所述红外激光发射***基于所述图像亮度动态调节激光脉冲的持续时间。

9.一种车载***，其特征在于，包括权利要求1-4任一项所述的三维成像***。

10.一种车辆，其特征在于，包括权利要求9所述的车载***。

Images