CN115661262A - 内外参标定方法、装置及电子设备 - Google Patents
内外参标定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115661262A CN115661262A CN202211281195.2A CN202211281195A CN115661262A CN 115661262 A CN115661262 A CN 115661262A CN 202211281195 A CN202211281195 A CN 202211281195A CN 115661262 A CN115661262 A CN 115661262A
- Authority
- CN
- China
- Prior art keywords
- target
- point cloud
- environment
- camera
- internal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000013507 mapping Methods 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 65
- 238000005457 optimization Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 25
- 230000007613 environmental effect Effects 0.000 claims description 22
- 238000002310 reflectometry Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims 1
- 239000003550 marker Substances 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003252 repetitive effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 244000152100 Sorbus torminalis Species 0.000 description 3
- 235000005121 Sorbus torminalis Nutrition 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请实施例提供了一种内外参标定方法、装置及电子设备，涉及传感器标定技术领域。该方法包括：获得同一环境对应的环境点云及环境图像；根据初始外参，对环境点云进行角度映射、边缘特征提取及反向映射，获得环境点云中的目标边缘点云，映射至的空间为以在相机的相机坐标系中的俯仰角及方位角为正交轴的目标空间；根据初始内参，对环境图像进行角度映射、边缘特征提取及反向映射，获得环境图像中的目标边缘像素点，将环境图像映射至的空间为目标空间；根据目标边缘像素点及目标边缘点云，对初始内参及初始外参进行迭代更新，以得到目标内参及目标外参。如此，在无标志物的情况下，自动完成相机和激光雷达的内外参联合标定。
Description
技术领域
本申请涉及传感器标定技术领域，具体而言，涉及一种内外参标定方法、装置及电子设备。
背景技术
目前通常会将相机与激光雷达进行融合使用。在该方式中，需要标定两种参数。第一种是相机的内参(intrinsic parameters)，用于映射像素坐标到空间坐标。第二种是相机和激光雷达之间的外参(extrinsic parameters)，也即两种传感器坐标系之间的刚体变换参数。而对于多传感器的融合使用，传感器标定是最根本最重要的工作。
现有的相机内参标定方法大多基于固定标志物。基于固定标志物的内参标定方法会受到标定场景的限制，需要人工操作标志物，非常繁琐；同时，这种标定方法需要很好的设计标志物的位置，从而获得更加准确的标定结果，这对人工操作要求较高，也进一步限制了标定的工作场景。
并且，现有的相机与激光雷达的外参标定方法全部分两步进行，即先标定相机内参，再基于内参标定外参。这种传统的内外参两步标定方法中，内参标定结果的误差，会在外参标定中会被进一步放大。
发明内容
本申请实施例提供了一种内外参标定方法、装置、电子设备及可读存储介质，其能够在无标志物的情况下，自动完成相机和激光雷达的内外参联合标定，可解决现有相机内参标定方法、相机和激光雷达之间的外参标定方法所存在的问题，并避免两步标定过程带来的误差放大的情况。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种内外参标定方法，所述方法包括：
获得同一环境对应的环境点云及环境图像，其中，所述环境点云通过激光雷达获得，所述环境图像通过相机获得；
根据初始外参，对所述环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云，其中，映射至的空间为以在所述相机的相机坐标系中的俯仰角及方位角为正交轴的目标空间；
根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点，其中，将所述环境图像映射至的空间为所述目标空间；
根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参。
第二方面，本申请实施例提供一种内外参标定装置，所述装置包括：
获得模块，用于获得同一环境对应的环境点云及环境图像，其中，所述环境点云通过激光雷达获得，所述环境图像通过相机获得；
第一边缘确定模块，用于根据初始外参，对所述环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云，其中，映射至的空间为以在所述相机的相机坐标系中的俯仰角及方位角为正交轴的目标空间；
第二边缘确定模块，用于根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点，其中，将所述环境图像映射至的空间为所述目标空间；
优化模块，用于根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式所述的内外参标定方法。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式所述的内外参标定方法。
本申请实施例提供的内外参标定方法、装置、电子设备及可读存储介质，首先，获得利用相机得到的环境图像，并获得利用激光雷达对同一环境进行信息采集得到的环境点云；然后，基于初始外参，对该环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云，其中，映射至的空间为以在所述相机的相机坐标系中的俯仰角及方位角为正交轴的目标空间；并根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点，其中，将所述环境图像映射至的空间为所述目标空间；最后，根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参。如此，可在无标志物环境下，自动完成相机和激光雷达的内外参联合标定，解决了现有相机内参标定方法、相机和激光雷达之间的外参标定方法所存在的问题，并且避免了两步标定过程带来的误差放大的情况。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图；
图2为本申请实施例提供的内外参标定方法的流程示意图；
图3为本申请实施例提供的激光雷达与相机的示意图；
图4为图2中步骤S110包括的子步骤的流程示意图之一；
图5为图2中步骤S110包括的子步骤的流程示意图之二；
图6为图2中步骤S120包括的子步骤的流程示意图；
图7为图6中子步骤S123包括的子步骤的流程示意图；
图8为图2中步骤S130包括的子步骤的流程示意图；
图9为图8中子步骤S132包括的子步骤的流程示意图；
图10为图2中步骤S140包括的子步骤的流程示意图；
图11为本申请实施例提供的内外参标定方法的一种应用示意图；
图12为本申请实施例提供的内外参标定装置的方框示意图。
图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-内外参标定装置；210-获得模块；220-第一边缘确定模块；230-第二边缘确定模块；240-优化模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面以鱼眼相机和激光雷达组合使用为例，对当前如何进行内外参标定进行介绍。
鱼眼相机是一种超广角镜头，一般通过多组凸透镜，或凸透镜加平面镜组合使用，改变入射光路，使得很大视域内的入射光线可以被聚焦在一个较小的成像平面上。鱼眼相机虽然有很大的视域，但其在机器人领域并没有被广泛应用，其中一个原因就是鱼眼相机畸变严重，难以被准确的标定。
在将鱼眼相机与激光雷达进行组合使用时，需要标定两种参数。第一种是鱼眼相机的内参(intrinsic parameters)，用于映射像素坐标到空间坐标。第二种是相机和激光雷达之间的外参(extrinsic parameters)，也即两种传感器坐标系之间的刚体变换参数。对于传感器的使用，或是多传感器的融合使用，传感器标定是最重要最根本的工作。
而目前在鱼眼相机与激光雷达融合使用时，一般的步骤为先进行相机内参的标定，再基于标定好的相机内参，对相机与激光雷达之间的外参进行标定。下面对两种参数的标定方式进行说明。
最早的鱼眼相机内参模型都是通过不同类型的三角函数构建的，例如正交投影模型，立体投影模型，等积投影模型等等，后来利用泰勒展开，这些所有的三角函数模型可以被多项式来统一描述。至此绝大多数的鱼眼相机内参模型都使用多项式来构建。
现有的鱼眼相机内参标定方法全部基于固定标志物。例如被广泛使用的OcamCalib MATLAB Toolbox，需要手动将棋盘放置在不同的空间位置，拍摄至少10张照片。该方法实现了自动提取角点，基于所估计的不同棋盘格的姿态，计算角点在内参模型下的重投影误差，并以此作为代价函数进行非线性优化。
再例如，将多项式鱼眼相机模型的自变量和因变量调换位置，是更直接的模型构建方式，同时加入固定比例系数，对多项式不同阶的系数取值范围进行限制。这种方式使用了条纹图案作为固定标志物，通过图案所给出的先验几何关系来构建代价函数，并用非线性优化的方式得到鱼眼相机的内参估计。
目前的鱼眼相机与激光雷达的外参标定方法，使用激光雷达的点云生成bearingangle图像，对边缘特征进行增强。人工在激光雷达的bearing angle图像和鱼眼相机的图像上选择对应的边缘特征点，构建PnP问题优化求解两种传感器的外参。
对于现有的内参标定方法来说，基于固定标志物的内参标定方法会受到标定场景的限制，需要人工操作标志物，非常繁琐。同时，当标志物距离相机较近时，角点提取准确，但角点密度较小，标定出的内参多项式曲线在角点分布少的区域并不准确。当标志物距离较远时，虽然可以通过多个棋盘格让角点密度增加，但是由于此时棋盘格在图像中所占的像素面积较小，角点提取的误差会增大。同时由于这种方法需要对棋盘格相对于相机的姿态进行估计，距离越远时，对平动向量的估计就越不敏感，也容易产生误差。而现有的鱼眼相机和激光雷达的外参标定方法只有一种，且完全依赖人工选取特征像素点，误差非常大。
同时需要注意的是，现在几乎所有的相机标定方法都是两步，先标定相机内参，再基于内参标定相机外参。对于鱼眼相机模型而言，高阶多项式的不稳定性导致每个多项式系数优化的较小误差都导致较大的多项式曲线的误差。如果将一个不稳定的内参标定结果作为先验，再去标定外参，那么参数的偏差会被进一步放大。
可以理解的是，上述是以鱼眼相机为例进行分析，当组合使用其他类型的相机及激光雷达时，使用的标定方式中依然存在上述类似问题。
基于上述研究，本申请实施例提供了一种内外参标定方法、装置、电子设备及可读存储介质，先获得利用相机得到的环境图像以及激光雷达获得的环境点云，然后通过映射、边缘提取及反向映射，获得目标边缘像素点及目标边缘点云，进而基于该目标边缘像素点及目标边缘点云得到目标内参及目标外参。如此，可解决标定过程受限于标定环境或固定标志物的情况，摆脱标定过程对人工的依赖，使其可以在任意环境下自动完成；并且，解决了固定标志物特征点密度不足导致标定不准确，或固定标志物与传感器距离大幅度影响标定结果的情况；还解决了现有的鱼眼相机和激光雷达外参标定方法中，人工选择特征点所带来的标定误差的问题；以及由于是联合标定鱼眼相机和激光雷达的内外参，在同一个优化过程中完成对所有参数的估计，因此可以解决传统的内外参两步标定方法中由于内参标定结果不稳定导致的误差在外参标定中被进一步放大的问题。
值得说明的是，针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得到的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应是发明人在本申请过程中对本申请做出的贡献。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，电脑、服务器等。所述电子设备100包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有内外参标定装置200，所述内外参标定装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的内外参标定装置200，从而执行各种功能应用以及数据处理，即实现本申请实施例中的内外参标定方法。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件(比如，所述电子设备100中还可以包括相机及雷达)，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2为本申请实施例提供的内外参标定方法的流程示意图。所述方法可应用于电子设备100。下面对内外参标定方法的具体流程进行详细阐述。在本实施例中，所述方法可以包括步骤S110～步骤S140。
步骤S110，获得同一环境对应的环境点云及环境图像。
在本实施例中，可利用相机对任意环境进行拍摄，得到环境图像。所述环境图像中包括所述环境中的颜色信息。还可以利用激光雷达对同一环境进行信息采集，以得到同一环境对应的环境点云。所述环境点云可以包括扫描到的各点在激光雷达坐标系下的三维坐标及该点的反射率。反射率的范围为0～255，可以直接将该反射率作为扫描点在图像上的灰度值。其中，所述相机可以是鱼眼相机，也可以是其他相机，具体可以由实际情况确定。
所述电子设备与相机、激光雷达可以是各自独立的设备，在此情况下，所述相机可以将采集到的图像发送给所述电子设备，以便所述电子设备得到所述环境图像；所述激光雷达可以将针对同一环境采集到的点云发送给所述电子设备，以使所述电子设备得到所述环境点云。所述电子设备与相机、激光雷达也可以是集成在一起的设备，所述电子设备可通过对相机及激光雷达的控制获得所述环境图像及所述环境点云。可以立即的是，上述环境图像及环境点云的获得方式仅为举例说明，也可以采用其他方式获得的所述环境图像及所述环境点云，比如，另外的设备将同一环境的点云及图像发送给所述电子设备。
步骤S120，根据初始外参，对所述环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云。
在本实施例中，可预先设置所述激光雷达与所述相机之间的初始外参，即预先设置好外参初值。在获得所述环境点云的情况下，根据该初始外参，对所述环境点云进行角度映射，以将所述环境点云映射到目标空间A中。其中，所述目标空间A为以在所述相机的相机坐标系(三维坐标系)中的俯仰角及方位角为正交轴的空间。在完成角度映射后，可进行边缘特征提取，以从所述环境点云对应在所述目标空间A中的图像中提取出边缘特征，进而将该边缘特征反向映射回所述激光雷达坐标系，以得到所述环境点云中的目标边缘点云。所述目标边缘点云中的点，为从所述环境点云中确定出的边缘点。
步骤S130，根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点。
在本实施例中，可预先设置好所述相机的初始内参，即预先设置好内参初值。在获得所述环境图像的情况下，根据该初始内参，对所述环境图像进行角度映射，以将所述环境图像映射到所述目标空间A中。即，所述环境图像及环境点云映射至的空间相同，均映射至目标空间A。然后，与环境点云的处理过程类似，进行边缘提取，以从所述环境图像对应的在所述目标空间A的图像中提取出边缘特征，进而将该边缘特征反向映射回所述相机的相机图像坐标系(二维坐标系，即所述环境图像所在的坐标系)，以得到所述环境图像中的目标边缘像素点。所述目标边缘像素点，为所述环境图像中确定出的边缘像素点。
步骤S140，根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参。
可根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行优化更新，直到基于所述目标边缘点云基于更新后的内参与外参处理之后的结果和所述目标边缘像素点满足预设条件，则可以确定优化完成。在优化完成时，可将此时的内参作为所述相机的目标内参，以及将此时的外参作为所述激光雷达与所述相机之间的目标外参。所述目标内参为标定出的所述相机的内参，所述目标外参为标定出的所述激光雷达相对于所述相机的外参。
本申请实施例针对相机和激光雷达融合使用的情况，提出了一种内外参共同标定的方法，在无标志物环境下，在同一个优化过程中自动完成相机和激光雷达的内外参联合标定，解决了鱼眼相机内参标定方法、相机和激光雷达之间的外参标定方法所存在的问题，并避免了两步标定过程带来的误差放大的情况。
可选地，所述激光雷达可以为重复式扫描的雷达，也可以非重复式扫描的雷达，具体可以结合实际需求确定。作为一种可能的实现方式，如图3所示，所述激光雷达为LivoxMid-360激光雷达，该雷达是一个4线激光雷达，是第一个兼具非重复式扫描特性和360°水平方向视域的激光雷达。由于其具有非重复扫描特性，随着时间积累，视域覆盖率会趋近于100％。所述相机为鱼眼相机(Fisheye Camera)，该鱼眼相机具有360°的水平视域和70°的垂直视域。整个传感器组合(包括Livox Mid-360激光雷达及鱼眼相机)的体积很小，激光雷达和鱼眼相机的体积分别只有6.5x6.5x6.5cm，5x5x10cm，所以可以集成在任意移动平台上，例如移动底盘、机器狗、或者无人机等。
由于相机在垂直方向的视域与所述激光雷达在垂直方向的视域不同，在所述相机在垂直方向的视域大于所述激光雷达在垂直方向的视域时，若直接基于所述激光雷达采集的点云及所述相机采集的图像进行内外参标定，可能会由于激光雷达的点云信息缺失导致标定结果不佳。为避免该情况下，可通过图4所示方式获得所述环境点云。
请参照图4，图4为图2中步骤S110包括的子步骤的流程示意图之一。在本实施例中，步骤S110中环境点云的获取过程可以包括子步骤S111～子步骤S112。
子步骤S111，通过所述激光雷达以不同角度获得的初始点云。
子步骤S112，对不同角度的初始点云进行拼接，获得所述环境点云。
在本实施例中，在所述相机在垂直方向的视域大于所述激光雷达在垂直方向的视域时，可改变所述激光雷达的姿态，以使所述激光雷达以不同姿态进行扫描，从而获得不同角度对应的初始点云。如此，可在多个视角积累点云。其中，具体姿态变换的方式可以结合实际需求确定，只要后续得到的环境点云对应的视域不小于所述环境图像对应的视域即可，即需要环境点云对应的视域包括环境图像对应的视域。然后，可对不同角度的初始点云进行拼接，得到环境点云。可选地，可以利用ICP(Iterative Closest Point，最近点迭代)算法拼接。比如，可利用非重复式扫描的激光雷达获得初始点云，经过时间的累计，可得到一个接近覆盖激光雷达全视域的亚像素级(非重复式扫描激光雷达的特性)点云。
作为一种可能的实现方式，为了增强在不同光照环境下的鲁棒性，可通过图5所示方法获得所述环境图像。请参照图5，图5为图2中步骤S110包括的子步骤的流程示意图之二。在本实施例中，步骤S110中环境图像的获取过程可以包括子步骤S115～子步骤S116。
子步骤S115，获得所述相机在所述环境中以不同曝光时长得到的初始图像。
子步骤S116，将得到的多张初始图像进行曝光融合，获得所述环境图像。
在本实施例中，可控制所述相机在同一环境中，使用不同的曝光时长进行图像采集，从而得到不同曝光时长对应的多张初始图像。然后，可对所述多张初始图像进行曝光融合，得到作为所述环境图像的高动态范围图像(High Dynamic Range，HDR)。如此，可增强在不同光照环境下的鲁棒性。
在获得所述环境点云的情况下，可通过图6所示方式获得所述目标边缘点云。请参照图6，图6为图2中步骤S120包括的子步骤的流程示意图。在本实施例中，步骤S120可以包括子步骤S121～子步骤S125。
子步骤S121，根据所述初始外参，将所述环境点云转到所述相机坐标系下，得到转换后的环境点云。
子步骤S122，针对所述转换后的环境点云中的各点，根据该点在所述相机坐标系下的坐标，计算得到该点对应的第一俯仰角及第一方位角。
在本实施例中，可按照如下公式(1)～公式(3)计算得转换后至相机坐标系下的环境点云中各点对应的第一俯仰角及第一方位角。外参
可根据所述初始外参，通过以下公式(1)将环境点云由激光雷达坐标系转换到相机坐标系下，得到转换后的环境点云。其中，公式(1)为：
其中，CP表示相机坐标系{C}下的三维点，LP表示激光雷达坐标系下的三维点；在给定外参Δ的情况下，
表示针对激光雷达坐标系下的三维点从激光雷达坐标系{L}到相机坐标系{C}的外参变换(通过旋转
和平动
)。
在完成转换后，根据转换后的环境点云中各点的三维坐标，基于公式(2)可计算得到俯仰角θ，基于公式(3)可计算得到方位角φ。其中，公式(2)为：
公式(3)
子步骤S123，根据各点对应的第一俯仰角、第一方位角及反射率，在所述目标空间生成第一投影图像。
可根据相机坐标系下的环境点云中各点对应的第一俯仰角、第一方位角及反射率，以反射率作为灰度值，在所述目标空间A中生成第一投影图像。可选地，所述第一投影图像中各像素格的灰度值的确定方式可以结合实际需求确定。
可选地，可预先设置好所述目标空间A的尺寸。比如，
其中，方位角的范围为[0,2π]，俯仰角的范围为[0,π]，在目标空间A中，横轴为方位角，纵轴为俯仰角，8000为设置好的目标空间大小。如此，所述目标空间A中的各像素格的对应的俯仰角及方位角范围可以确定。
在确定出所述目标空间A中的各像素格以及相机坐标系下的环境点云中各点对应的第一俯仰角、第一方位角及反射率的情况，可以根据实际需求采用相应的方式确定出目标空间A中各像素点的灰度值，从而得到所述第一投影图像。
作为一种可能的实现方式，可通过图7所示方式得到所述第一投影图像。请参照图7，图7为图6中子步骤S123包括的子步骤的流程示意图。在本实施例中，步骤S123可以包括子步骤S1231～子步骤S1232。
子步骤S1231，根据各点对应的第一俯仰角及第一方位角，针对所述目标空间中的各像素格，以该像素格的中心点为中心、以第一预设距离为半径进行搜索。
子步骤S1232，根据搜索到的点对应的反射率确定该像素格的灰度值，以得到所述第一投影图像。
在本实施例中，可根据相机坐标下的环境点云中各点对应的第一俯仰角及第一方位角，针对所述目标空间A中的各像素格，以该像素格的中心点为搜索中心，在映射至目标空间A内的点云里以第一预设距离为半径进行搜索；进而根据基于该像素格搜索到的所有点的反射率，确定出该像素格的灰度值。比如，将基于该像素格搜索到的所有点的反射率的平均值，作为该像素格的灰度值。其中，所述第一预设距离具体可以结合实际需求确定。如此，在一个像素格中有多个投影点时，针对各像素格进行以上处理后，可确定各像素各的灰度值，从而得到所述第一投影图像。
子步骤S124，对所述第一投影图像进行边缘提取，获得第一目标边缘特征。
可选地，可使用边缘特征提取算法，比如，Canny算法，对所述第一投影图像进行边缘特征提取，以得到所述第一目标边缘特征。
作为一种可能的实现方式，可利用边缘特征提取算法从所述第一投影图像中提取出第一边缘特征，然后按照边缘像素长度过滤，保留长度较长的第一边缘特征作为所述第一目标边缘特征。可选地，可以将各第一边缘特征的像素长度与第一预设像素长度进行比较，将像素长度大于所述第一预设像素长度的第一边缘特征作为所述第一目标边缘特征。
子步骤S125，根据映射至所述目标空间时使用的映射方式，对所述第一目标边缘特征进行反向映射，获得所述目标边缘点云。
在得到第一目标边缘特征的情况下，可根据先前生成第一投影图像时像素格与对应点云的映射关系，将目标空间A内的第一目标边缘特征反向映射回对应的原始空间(即雷达坐标系)，从而得到所述目标边缘点云。如此，可自动从环境点云中确定出目标边缘点云。
同理，通过类似方式对所述环境图像进行处理，以得到目标边缘像素点。
请参照图8，图8为图2中步骤S130包括的子步骤的流程示意图。在本实施例中，步骤S130可以包括子步骤S131～子步骤S134。
子步骤S131，根据所述初始内参及所述环境图像，计算得到所述环境图像中各像素点对应的第二俯仰角及第二方位角。
下面以相机为鱼眼相机为例，介绍如何得到第二俯仰角及第二方位角。在本实施例中，可按照如下公式(4)～公式(7)计算得到所述环境图像中各像素点对应的第二俯仰角及第二方位角。内参
可先通过公式(4)对所述环境图像进行修正。其中，公式(4)为：
其中，[u',v']表示处理后的环境图像的二维点的像素坐标，
表示畸变修正矩阵，[u,v]表示环境图像的二维点的像素坐标，[u0,v0]表示环境图像的中心点的像素坐标。
然后，可基于公式(5)～公式(7)计算得到所述环境图像中各像素点对应的第二俯仰角及第二方位角：
θ＝F-1(r；a0,...,an) (7)
其中，公式(7)是公式(8)r＝F(θ；a0,...,an)＝a0+a1θ+...+anθn的逆过程，通过样条曲线拟合得到。F(θ；a0,...,an)是鱼眼相机内参模型的多项式，其将俯仰角计算为以[u0,v0]为中心的像素半径r。
如此，可从相机像素坐标开始，计算得到空间俯仰角和方位角，从而将投影至目标空间。
子步骤S132，根据所述环境图像中各像素点对应的第二俯仰角、第二方位角及灰度值，在所述目标空间生成第二投影图像。
可根据所述环境图像中各像素点对应的第二俯仰角、第二方位角及灰度值，确定出所述目标空间A中各像素格对应的灰度值，从而在所述目标空间A中生成第二投影图像。可选地，所述第二投影图像中各像素格的灰度值的确定方式可以结合实际需求确定。
作为一种可能的实现方式，可通过图9所示方式得到所述第二投影图像。请参照图9，图9为图8中子步骤S132包括的子步骤的流程示意图。在本实施例中，步骤S132可以包括子步骤S1321～子步骤S1322。
子步骤S1321，根据所述环境图像中各像素点对应的第二俯仰角及第二方位角，针对所述目标空间中的各像素格，以该像素格的中心点为中心、以第二预设距离为半径进行搜索。
子步骤S1322，根据搜索到的点对应的灰度值确定该像素格的灰度值，以得到所述第二投影图像。
在本实施例中，可根据环境图像中各点对应的第二俯仰角及第二方位角，针对所述目标空间A中的各像素格，以该像素格的中心点为搜索中心，在映射至目标空间A内的像素点里以第二预设距离为半径进行搜索；进而根据基于该像素格搜索到的所有像素点的灰度值，确定出该像素格的灰度值。比如，将基于该像素格搜索到的所有像素点的灰度值的平均值，作为该像素格的灰度值。其中，所述第二预设距离具体可以结合实际需求确定。如此，在环境图像分辨率小于目标空间A的大小时，依然可以确定各像素各的灰度值，从而得到第二投影图像。
子步骤S133，对所述第二投影图像进行边缘提取，获得第二目标边缘特征。
与从第一投影图像中获得第一目标边缘特征同理，可利用边缘特征提取算法从所述第二投影图像中提取出第二边缘特征，然后按照边缘像素长度过滤，保留长度较长的第二边缘特征作为所述第二目标边缘特征。可选地，可以将各第二边缘特征的像素长度与第二预设像素长度进行比较，将像素长度大于所述第二预设像素长度的第二边缘特征作为所述第二目标边缘特征。
子步骤S134，根据映射至所述目标空间时使用的映射方式，对所述第二目标边缘特征进行反向映射，获得所述目标边缘像素点。
在得到第二目标边缘特征的情况下，可根据先前生成第二投影图像时像素格与对应环境图像中对应像素点的映射关系，将目标空间A内的第二目标边缘特征反向映射回对应的原始空间(即相机图像坐标系)，从而得到所述目标边缘像素点。如此，可自动从环境图像中确定出目标边缘像素点。
在获得所述目标边缘点云及目标边缘像素点的情况下，可将所述目标边缘点云投影至所述相机对应的相机图像平面上，可将投影出的像素点作为投影结果。可以所述投影结果的分布情况与所述目标边缘像素点的分布情况一致为目标，对所述初始内参及初始外参进行迭代更新，以得到所述目标内参及目标外参。
可选地，可利用ICP针对所述投影结果及所述目标边缘像素点，计算出最近点距离。此时，最近点距离为代价函数的函数值。可以最近点距离对应的代价函数最大为目的，对初始内参及初始外参进行优化。也可以使用其他方式确定出代价函数，然后进行优化。
作为一种可能的实现方式，可利用图10所示方式完成优化以获得目标内参及目标外参。请参照图10，图10为图2中步骤S140包括的子步骤的流程示意图。在本实施例中，步骤S140可以包括子步骤S141～子步骤S144。
子步骤S141，根据所述目标边缘像素点，计算得到目标核密度估计函数。
在本实施例中，为了使代价函数梯度连续且易于优化，利用核密度估计(KernelDensity Estimation，KDE)，基于作为样本的目标边缘像素点，基于预设窗宽估计该所述目标边缘像素点的边缘分布，以得到目标核密度估计函数。
子步骤S142，根据当前的内参及外参，将所述目标边缘点云投影至所述相机图像平面，确定各投影点的位置。
在获得所述目标边缘点云的情况下，可将该目标边缘点云投影到所述相机平面，得到各投影点的二维坐标。其中，以鱼眼相机为例，该投影过程如下：
内参
外参
其中，
r＝F(θ；a0,...,an)＝a0+a1θ+...+anθn，
其中，LP表示激光雷达坐标系{L}中的三维点，
表示从{L}坐标系到鱼眼相机坐标系{C}(三维坐标系)的外参变换(通过旋转
和平动
)；θ表示{L}坐标系下计算出的俯仰角，φ表示{L}坐标系下计算出的方位角；F(θ；a0,...,an)表示鱼眼相机内参模型的多项式，其将俯仰角计算为以[u0,v0]为中心的像素半径r；Cp表示像素点坐标(相机图像坐标系下的二维坐标)，Π(CP；Θ)表示将三维空间点从坐标系{C}变换到二维鱼眼相机图像坐标系的内参变换，
表示畸变修正矩阵。
子步骤S143，根据各投影点的位置及所述目标核密度估计函数，计算得到各投影点对应的函数值。
可针对各投影点，将该投影点的位置坐标代入所述目标核密度估计函数，计算得到该投影点对应的函数值，即计算出该投影点在KDE分布概率密度函数上的值。
子步骤S144，以所述函数值最大为目标，对当前使用的内参及外参进行调整，并根据调整后的内参及外参跳转至函数值计算步骤，以在迭代更新完毕时得到所述目标内参及目标外参。
可将所有投影点的函数值的平方和作为代价函数，或者将所有投影点的函数值的平方除以投影点数量的结果作为代价函数等，通过非线性优化方法(比如，L-M方法)，以最大化代价函数为目标进行优化，得到内外参数的优化值。
在该优化过程中，可以根据当前的内参及外参、以及当前的目标核密度估计函数，计算得到雷达投影点对应的函数值。接着，根据该函数值对当前的内参及外参进行调整，并将调整后的内参及外参作为更新后的当前的内参及外参，然后跳转至子步骤S142以重新计算雷达投影点对应的函数值。当重复上述流程预设次数、或者计算出的函数值满足要求时，可确定迭代完成，得到了最优内外参。
可选地，为了尽可能地让代价函数的梯度对优化有效，可进行了多轮优化，使参数值逐渐逼近正确值。为了在不同的区域都能够有效进行优化，可以在每一轮优化后都重新调整KDE的窗宽。也即，在参数优化过程中，还可以调整所述目标核密度估计函数对应的窗宽，并根据调整后的窗宽计算得到更新后的目标核密度估计函数。其中，调整前的窗宽大于调整后的窗宽，一个窗宽对应的目标核密度估计函数用于计算多组内外参对应的函数值。在得到更新后的目标核密度估计函数后，利用该函数再次计算函数值、并对内外参进行优化。
在KDE中，窗宽决定了核函数受到多大范围内的采样点的影响，也即影响估计的概率密度函数的光滑与否。在优化的最开始，可以将窗宽设置较大，平滑的函数可以让优化快速趋近最优解区域。当进入最优解区域后，再逐渐减小窗宽，以增大局部区域的梯度，让优化继续向最优解趋近。
其中，在一轮优化过程中，可在迭代预设次数，或者计算出代价函数的值大于预设值的情况下，确定本轮优化完成。
在该方式中，首先可在一个窗宽下计算出当前的目标核密度估计函数，接着通过子步骤S142～子步骤S143，计算得到在当前窗宽下，基于当前内参及外参得到的雷达投影点的函数值；基于函数值对当前内参及外参进行调整，再跳转至子步骤S142，重复一定次数后得到当前窗口对应的最优内参及外参。然后，则可以调整窗宽，根据新的窗宽重新估计目标核密度估计函数，之后基于新的目标核密度估计函数再次对内外参进行调整。在停止窗宽及内外参调整时，即得到了目标内参及目标外参。
下面标定图3所示的鱼眼相机及激光雷达的内外参为例，结合图11对上述内外参标定方法进行说明。其中，鱼眼相机的垂直方向视域大于激光雷达的垂直方向视域，激光雷达为非重复式扫描激光雷达。
首先进行预处理Pre-Processing。使激光雷达从不同角度进行扫描(LiDAR Scansfrom different views)，进而对扫描得到的点云进行拼接(Point cloud registration)，得到环境点云。使鱼眼相机以不同曝光时长采集图像，得到不同曝光时长的鱼眼图像(Fisheye images with different exposure times)。对多张鱼眼图像进行曝光融合(Exposure fusion)，得到环境图像。针对所述环境点云及环境图像，分别按照方位角和俯仰角进行投影(Projection by azimuth and pitch angles)，得到所述环境点云对应的第一投影图像及所述环境图像对应的第二投影图像。
接下来，进行边缘提取(Edge Extraciton)。分别针对所述第一投影图像及第二投影图像，使用Canny算法进行边缘提取(Canny edge extraciton)。然后可针对提取的边缘特征进行反向映射，以获得边缘特征对应的原始点云和原始鱼眼像素(Obtain originalpoint clouds and fisheye pixels)。
接着，进行迭代优化(Iterative Optimization)。针对确定出的边缘特征对应的原始鱼眼像素，使用KDE进行边缘估计分布(Edge distribution estimation by KDE)，得到一边缘概率预测函数。针对确定出的边缘特征对应的原始点云，进行点云投影，并结合边缘概率预测函数计算得到投影出的各点对应的边缘概率阈值(Point projection andedge probability projection)。以优化出的内参及外参对应的代价函数最大为目标，即
使用L-M方法进行优化(Optimization by L-M method)。在一次参数调整后，可更新参数(Update parameter)，并基于更新后的参数再次计算当前代价值。
还可以在确定出一个窗宽对应的最优内参及最优外参的情况下，重新设置窗宽(Set bandwidth)，并基于重新设置的窗口计算出新的边缘概率预测函数，进而在新设置的窗宽下进行参数优化。
本申请实施例针对鱼眼相机和激光雷达的融合使用，提出了一种内外参共同标定方法，在同一个优化过程中完成对所有内参、外参的估计。利用Livox激光雷达的非重复式特性，积累足够密集(亚像素级)的点云，在其反射率投影图和鱼眼相机的投影图中提取边缘特征，通过核密度估计(KDE)给出鱼眼相机的边缘分布概率密度函数，将激光雷达的边缘特征点通过内外参变换投影到鱼眼相机平面，最大化每个投影点在鱼眼相机分布上的概率密度函数的均方值来得到最优的内外参数。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种内外参标定装置200的实现方式，可选地，该内外参标定装置200可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图12，图12为本申请实施例提供的内外参标定装置200的方框示意图。需要说明的是，本实施例所提供的内外参标定装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。在本实施例中，所述内外参标定装置200可以包括：获得模块210、第一边缘确定模块220、第二边缘确定模块230及优化模块240。
所述获得模块210，用于获得同一环境对应的环境点云及环境图像。其中，所述环境点云通过激光雷达获得，所述环境图像通过相机获得。
所述第一边缘确定模块220，用于根据初始外参，对所述环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云，其中，映射至的空间为以在所述相机的相机坐标系中的俯仰角及方位角为正交轴的目标空间；
所述第二边缘确定模块230，用于根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点。其中，将所述环境图像映射至的空间为所述目标空间。
所述优化模块240，用于根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于电子设备100的操作***(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的内外参标定方法。
综上所述，本申请实施例提供一种内外参标定方法、装置、电子设备及可读存储介质，首先，获得利用相机得到的环境图像，并获得利用激光雷达对同一环境进行信息采集得到的环境点云；然后，基于初始外参，对该环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云，其中，映射至的空间为以在所述相机的相机坐标系中的俯仰角及方位角为正交轴的目标空间；并根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点，其中，将所述环境图像映射至的空间为所述目标空间；最后，根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参。如此，可在无标志物环境下，自动完成相机和激光雷达的内外参联合标定，解决了现有相机内参标定方法、相机和激光雷达之间的外参标定方法所存在的问题，并且避免了两步标定过程带来的误差放大的情况。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的可选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种内外参标定方法，其特征在于，所述方法包括：
获得同一环境对应的环境点云及环境图像，其中，所述环境点云通过激光雷达获得，所述环境图像通过相机获得；
根据初始外参，对所述环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云，其中，映射至的空间为以在所述相机的相机坐标系中的俯仰角及方位角为正交轴的目标空间；
根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点，其中，将所述环境图像映射至的空间为所述目标空间；
根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参。
2.根据权利要求1所述的方法，其特征在于，所述根据初始外参，对所述环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云，包括：
根据所述初始外参，将所述环境点云转到所述相机坐标系下，得到转换后的环境点云；
针对所述转换后的环境点云中的各点，根据该点在所述相机坐标系下的坐标，计算得到该点对应的第一俯仰角及第一方位角；
根据各点对应的第一俯仰角、第一方位角及反射率，在所述目标空间生成第一投影图像；
对所述第一投影图像进行边缘提取，获得第一目标边缘特征；
根据映射至所述目标空间时使用的映射方式，对所述第一目标边缘特征进行反向映射，获得所述目标边缘点云。
3.根据权利要求2所述的方法，其特征在于，所述根据该点对应的第一俯仰角、第一方位角及反射率，在所述目标空间生成第一投影图像，包括：
根据各点对应的第一俯仰角及第一方位角，针对所述目标空间中的各像素格，以该像素格的中心点为中心、以第一预设距离为半径进行搜索；
根据搜索到的点对应的反射率确定该像素格的灰度值，以得到所述第一投影图像。
4.根据权利要求1所述的方法，其特征在于，所述根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点，包括：
根据所述初始内参及所述环境图像，计算得到所述环境图像中各像素点对应的第二俯仰角及第二方位角；
根据所述环境图像中各像素点对应的第二俯仰角、第二方位角及灰度值，在所述目标空间生成第二投影图像；
对所述第二投影图像进行边缘提取，获得第二目标边缘特征；
根据映射至所述目标空间时使用的映射方式，对所述第二目标边缘特征进行反向映射，获得所述目标边缘像素点。
5.根据权利要求1所述的方法，其特征在于，
在所述相机在垂直方向的视域大于所述激光雷达在垂直方向的视域时，所述获得同一环境对应的环境点云，包括：
通过所述激光雷达以不同角度获得的初始点云；
对不同角度的初始点云进行拼接，获得所述环境点云，其中，所述环境点云对应的视域不小于所述环境图像对应的视域；
和/或，
所述获得同一环境对应的环境图像，包括：
获得所述相机在所述环境中以不同曝光时长得到的初始图像；
将得到的多张初始图像进行曝光融合，获得所述环境图像。
6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参，包括：
以投影结果的分布情况与所述目标边缘像素点的分布情况一致为目标，对所述初始内参及初始外参进行迭代更新，以得到所述目标内参及目标外参，其中，所述投影结果为所述目标边缘点云投影至所述相机对应的相机图像平面上时得到的像素点。
7.根据权利要求6所述的方法，其特征在于，所述以投影结果的分布情况与所述目标边缘像素点的分布情况一致为目标，对所述初始内参及初始外参进行迭代更新，以得到所述目标内参及目标外参，包括：
根据所述目标边缘像素点，计算得到目标核密度估计函数；
根据当前的内参及外参，将所述目标边缘点云投影至所述相机图像平面，确定各投影点的位置；
根据各投影点的位置及所述目标核密度估计函数，计算得到各投影点对应的函数值；
以所述函数值最大为目标，对当前使用的内参及外参进行调整，并根据调整后的内参及外参跳转至步骤：根据当前的内参及外参，将所述目标边缘点云投影至所述相机图像平面，确定各投影点的位置，直到迭代更新完毕得到所述目标内参及目标外参。
8.根据权利要求7所述的方法，其特征在于，所述以投影结果的分布情况与所述目标边缘像素点的分布情况一致为目标，对所述初始内参及初始外参进行迭代更新，以得到所述目标内参及目标外参，还包括：
在迭代更新过程中，调整所述目标核密度估计函数对应的窗宽，并根据调整后的窗宽计算得到更新后的目标核密度估计函数，其中，调整前的窗宽大于调整后的窗宽，一个窗宽对应的目标核密度估计函数用于计算多组内外参对应的函数值。
9.一种内外参标定装置，其特征在于，所述装置包括：
获得模块，用于获得同一环境对应的环境点云及环境图像，其中，所述环境点云通过激光雷达获得，所述环境图像通过相机获得；
第一边缘确定模块，用于根据初始外参，对所述环境点云进行角度映射、边缘特征提取及反向映射，获得所述环境点云中的目标边缘点云，其中，映射至的空间为以在所述相机的相机坐标系中的俯仰角及方位角为正交轴的目标空间；
第二边缘确定模块，用于根据初始内参，对所述环境图像进行角度映射、边缘特征提取及反向映射，获得所述环境图像中的目标边缘像素点，其中，将所述环境图像映射至的空间为所述目标空间；
优化模块，用于根据所述目标边缘像素点及目标边缘点云，对所述初始内参及初始外参进行迭代更新，以得到所述相机的目标内参及所述激光雷达与所述相机之间的目标外参。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-8中任意一项所述的内外参标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211281195.2A CN115661262A (zh) | 2022-10-19 | 2022-10-19 | 内外参标定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211281195.2A CN115661262A (zh) | 2022-10-19 | 2022-10-19 | 内外参标定方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115661262A true CN115661262A (zh) | 2023-01-31 |
Family
ID=84989207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211281195.2A Pending CN115661262A (zh) | 2022-10-19 | 2022-10-19 | 内外参标定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661262A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953484A (zh) * | 2023-03-13 | 2023-04-11 | 福思(杭州)智能科技有限公司 | 探测设备的参数标定方法和装置、存储介质及电子装置 |
| CN115994955A (zh) * | 2023-03-23 | 2023-04-21 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
| CN116152333A (zh) * | 2023-04-17 | 2023-05-23 | 天翼交通科技有限公司 | 一种相机外参标定的方法、装置、设备及介质 |
| CN116740197A (zh) * | 2023-08-11 | 2023-09-12 | 之江实验室 | 一种外参的标定方法、装置、存储介质及电子设备 |
| CN117437303A (zh) * | 2023-12-18 | 2024-01-23 | 江苏尚诚能源科技有限公司 | 一种标定相机外参的方法及*** |
-
2022
- 2022-10-19 CN CN202211281195.2A patent/CN115661262A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953484A (zh) * | 2023-03-13 | 2023-04-11 | 福思(杭州)智能科技有限公司 | 探测设备的参数标定方法和装置、存储介质及电子装置 |
| CN115953484B (zh) * | 2023-03-13 | 2023-07-04 | 福思(杭州)智能科技有限公司 | 探测设备的参数标定方法和装置、存储介质及电子装置 |
| CN115994955A (zh) * | 2023-03-23 | 2023-04-21 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
| CN115994955B (zh) * | 2023-03-23 | 2023-07-04 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
| CN116152333A (zh) * | 2023-04-17 | 2023-05-23 | 天翼交通科技有限公司 | 一种相机外参标定的方法、装置、设备及介质 |
| CN116152333B (zh) * | 2023-04-17 | 2023-09-01 | 天翼交通科技有限公司 | 一种相机外参标定的方法、装置、设备及介质 |
| CN116740197A (zh) * | 2023-08-11 | 2023-09-12 | 之江实验室 | 一种外参的标定方法、装置、存储介质及电子设备 |
| CN116740197B (zh) * | 2023-08-11 | 2023-11-21 | 之江实验室 | 一种外参的标定方法、装置、存储介质及电子设备 |
| CN117437303A (zh) * | 2023-12-18 | 2024-01-23 | 江苏尚诚能源科技有限公司 | 一种标定相机外参的方法及*** |
| CN117437303B (zh) * | 2023-12-18 | 2024-02-23 | 江苏尚诚能源科技有限公司 | 一种标定相机外参的方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115661262A (zh) | 内外参标定方法、装置及电子设备 | |
| CN107316325B (zh) | 一种基于图像配准的机载激光点云与影像配准融合方法 | |
| CN107167788B (zh) | 获取激光雷达校准参数、激光雷达校准的方法及*** | |
| CN105096329B (zh) | 一种精确校正超广角摄像头图像畸变的方法 | |
| CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| CN112270713B (zh) | 标定方法以及装置、存储介质、电子装置 | |
| CN109727278B (zh) | 一种机载LiDAR点云数据与航空影像的自动配准方法 | |
| CN112444242A (zh) | 一种位姿优化方法及装置 | |
| EP2686827A1 (en) | 3d streets | |
| CN108332752B (zh) | 机器人室内定位的方法及装置 | |
| CN108364279B (zh) | 确定静止轨道遥感卫星指向偏差的方法 | |
| CN111583119B (zh) | 一种正射影像拼接方法、设备以及计算机可读介质 | |
| CN113947638B (zh) | 鱼眼相机影像正射纠正方法 | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| CN108801225B (zh) | 一种无人机倾斜影像定位方法、***、介质及设备 | |
| CN111260539A (zh) | 鱼眼图目标识别方法及其*** | |
| CN112270698A (zh) | 基于最邻近曲面的非刚性几何配准方法 | |
| CN117665841B (zh) | 一种地理空间信息采集测绘方法及装置 | |
| CN115423863B (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
| CN115359130B (zh) | 雷达和相机的联合标定方法、装置、电子设备及存储介质 | |
| CN110766731A (zh) | 一种全景影像与点云自动配准的方法、装置及存储介质 | |
| WO2021212319A1 (zh) | 红外图像处理方法、装置、***及可移动平台 | |
| CN115937325B (zh) | 一种结合毫米波雷达信息的车端摄像头标定方法 | |
| CN115588127B (zh) | 机载激光点云与多光谱影像融合的方法 | |
| CN114792343B (zh) | 图像获取设备的标定方法、获取图像数据的方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |