CN114140539A - 一种室内物体的位置获取方法和装置 - Google Patents

一种室内物体的位置获取方法和装置 Download PDF

Info

Publication number
CN114140539A
CN114140539A CN202111472804.8A CN202111472804A CN114140539A CN 114140539 A CN114140539 A CN 114140539A CN 202111472804 A CN202111472804 A CN 202111472804A CN 114140539 A CN114140539 A CN 114140539A
Authority
CN
China
Prior art keywords
camera
coordinate system
image
laser
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111472804.8A
Other languages
English (en)
Inventor
王旭
何为
白世杰
陈永丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianke Public Facilities Operation Management Co ltd
Original Assignee
Jianke Public Facilities Operation Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianke Public Facilities Operation Management Co ltd filed Critical Jianke Public Facilities Operation Management Co ltd
Priority to CN202111472804.8A priority Critical patent/CN114140539A/zh
Publication of CN114140539A publication Critical patent/CN114140539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种室内物体的位置获取方法和装置，属于室内空间定位技术领域，解决了现有室内物体的定位位置误差大进而无法有效反应建筑信息的记录和变更的问题。对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数；通过多传感器获取室内空间的激光点集和图像点集以对多线激光雷达进行定位；通过多传感器获取位于室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测待识别物体在相机坐标系下的位置，用于提取视觉语义特征的图像特征提取器和有效融合激光雷达特征和视觉语义特征的融合模块；以及通过坐标变换获取待识别物体在世界坐标系下的绝对位置。能够降低室内物体的定位位置误差。

Description

一种室内物体的位置获取方法和装置
技术领域
本发明涉及室内空间定位技术领域，尤其涉及一种室内物体的位置获取方法和装置。
背景技术
激光雷达是利用激光测距原理确定待扫描的空间的新型测量仪器。通过逐点测定激光器发射信号与待测目标反射信号的相位差(时间差)来获取激光器到达目标的直线距离。同时，根据发射激光信号的方向和激光器的空间位置来获得目标点的空间位置。通过激光器对待扫物体表面的密集扫描，可获得物体的三维表面模型。
而BIM技术也是当下最为热门的科技话题之一，其能附加信息的三维图像让建筑全生命周期可视化成为了现实。由此不妨可以衍生出一个想法，是否可以研制一种***既有激光点云的准确性和可测距性又具备BIM模型的信息性和灵活性呢？目前市面上的室内空间定位技术无论是利用GPS亦或是蓝牙，误差都超出了理想范围，进而导致无法有效反应建筑信息的记录和变更。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种室内物体的位置获取方法和装置，用以解决现有室内物体的定位位置误差大进而无法有效反应建筑信息的记录和变更的问题。
一方面，本发明实施例提供了一种室内物体的位置获取方法，包括：对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，所述多传感器包括多线激光雷达、固定激光雷达和相机；通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位；通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置，其中，所述目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合所述激光雷达特征和所述视觉语义特征的融合模块；以及通过坐标变换获取所述待识别物体在世界坐标系下的绝对位置。
上述技术方案的有益效果如下：本申请通过对多传感器进行高精度空间标定，对所述多线激光雷达进行定位以及利用目标识别模型检测所述待识别物体在相机坐标系下的位置，能够大幅度降低了室内物体定位位置的误差。另外，通过坐标变换获取待识别物体在世界坐标系下的绝对位置，以便于将待识别目标添加至建筑信息模型BIM，以能够有效反映对于建筑信息的记录和变更。
基于上述方法的进一步改进，所述激光雷达特征包括点云的几何结构和深度信息；所述视觉语义特征包括图像的色彩和纹理信息；以及所述融合模块用于将所述点云的几何结构和深度信息与所述图像的色彩和纹理信息进行融合以生成所述待识别物体的3D模型。
基于上述方法的进一步改进，所述点云特征提取器包括多尺度点云特征提取器，用于提取多尺度点云的几何结构和深度信息；所述图像特征提取器包括多尺度图像特征提取器，用于提取多尺度图像的色彩和纹理信息；以及所述融合模块包括多尺度融合模块，用于将不同尺度的点云的几何结构和深度信息和对应尺度的图像的色彩和纹理信息进行逐层融合。
基于上述方法的进一步改进，通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置进一步包括：建立深度学习神经网络，利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述目标识别模型；利用所述相机拍摄所述待识别目标的可见光图像并利用所述多线激光雷达和所述固定激光雷达扫描所述待识别目标的激光点云图，并将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。
基于上述方法的进一步改进，构建以下损失函数，并基于所述损失函数利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练：
Figure BDA0003383193120000031
其中，D和G分别代表预测的边界框和真实的边界框，c代表D的分类的置信度；总的残差函数Ltotal定义如下：
Ltotal＝Lrpn+Lrcnn，
其中，Lrpn和Lrcnn分别代表RPN和RCNN两个子网络的残差函数，所述RPN网络用于生成候选框，以及所述RCNN优化网络用于优化目标检测框。
基于上述方法的进一步改进，通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位进一步包括：基于特征匹配进行高精度定位，其中，基于特征匹配进行高精度定位进一步包括：根据激光点坐标(x，y，z)，计算所述激光点的激光束相比于激光雷达水平面的倾角ω：
Figure BDA0003383193120000032
第k+1帧与第k帧的相对位姿为：
Figure BDA0003383193120000033
所述第k+1帧中的点转到所述第k帧坐标系：
Figure BDA0003383193120000041
其中，pi为线特征，
Figure BDA0003383193120000042
为预测线特征；
构建线特征和面特征的残差函数以求解在世界坐标系下的位姿向量Twl：
Figure BDA0003383193120000043
Figure BDA0003383193120000044
其中，|pa-pb|为线特征的长度，当pi为线特征时，在上一帧中搜索离其最近的线特征点pa，并在相邻线上再找一个线特征点pb，组成直线；当其为面特征时，在上一帧中搜索离其最近的面特征点pm，并在相邻线上找两个面特征点pj和pl，组成平面。
上述技术方案的有益效果如下：利用由便携式激光扫描仪获取的激光点集和图像点集对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿，能够避免由于***精度不够而导致将如墙内物体定位添加到墙外隔壁房间内去。
基于上述方法的进一步改进，对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数进一步包括：对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移；以及对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数，其中，对所述多线激光雷达和所述相机进行联合标定进一步包括：
Figure BDA0003383193120000045
其中，Zc为尺度参数；(Xw,Yw,Zw)为所述世界坐标系；(u,v)为像素坐标；相机坐标系以相机的光轴作为z轴，光线在相机的光学***中心位置就是原点Oc，相机坐标系Xc，Yc分别与图像坐标系X，Y轴平行，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，
Figure BDA0003383193120000051
为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；
Figure BDA0003383193120000052
为相机外参数矩阵；以及对所述多线激光雷达和所述相机进行外参数联合粗标定；以及对所述多线激光雷达和所述相机进行外参数联合精标定。
基于上述方法的进一步改进，对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数进一步包括：在标准室内空间内采集两个激光雷达的点云数据；从所述点云数据中提供平面特征；匹配所述平面特征；在完成平面特征匹配后，利用奇异值分解求解R和t的初始值；以及按照点到平面的距离平方作为目标函数以建立优化函数。
基于上述方法的进一步改进，通过以下公式获取所述待识别目标在所述世界坐标系下的位置Pw进一步包括：
Pw＝Twl*Tlc*Pc
其中，所述待识别目标在相机坐标系下的位置为Pc；所述多线激光雷达在所述世界坐标系下的位姿为Twl；以及所述相机局部坐标系到基础坐标中心的外参数为Tlc。
另一方面，本发明实施例提供了一种室内物体的位置获取装置，包括：标定模块，用于对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，所述多传感器包括多线激光雷达、固定激光雷达和相机；定位模块，用于通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位；目标识别模型，用于通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置，其中，所述目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合所述激光雷达特征和所述视觉语义特征的融合模块；以及坐标变换模块，用于通过坐标变换获取所述待识别物体在世界坐标系下的绝对位置。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本申请通过对多传感器进行高精度空间标定，对所述多线激光雷达进行定位以及利用目标识别模型检测所述待识别物体在相机坐标系下的位置，能够大幅度降低了室内物体定位位置的误差。另外，通过坐标变换获取待识别物体在世界坐标系下的绝对位置，以便于将待识别目标添加至建筑信息模型BIM，以能够有效反映对于建筑信息的记录和变更。
2、利用由便携式激光扫描仪获取的激光点集和图像点集对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿，能够避免由于***精度不够而导致将如墙内物体定位添加到墙外隔壁房间内去。
3、通过连接在所述点云分支网络和所述图像分支网络之间的多个融合模组网络，以多级别融合激光雷达特征(几何)和视觉语义特征(纹理)。
4、通过设计新的Loss函数能够进一步提高目标分类和定位置信水平的一致性。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的室内物体的位置获取方法的流程图；
图2为激光雷达相对于相机的旋转和平移的示意图；
图3为由相机获取的目标图像和由激光雷达获取的激光点云图的示图。
图4为对提前给定的目标提取圆心的示图。
图5为关于多线激光雷达和固态激光雷达建立局部坐标系。
图6为多线激光雷达基于直接匹配的高精度定位方法的流程图。
图7为多线激光雷达的坐标***。
图8为具有激光点到雷达的距离和曲率的激光点云图。
图9为根据本发明实施例的点云分支和图像分支的融合的示图。
图10为根据本发明实施例的深度网络结构图。
图11为根据本发明实施例的融合模组网络结构的结构图。
图12为根据本发明实施例的激光雷达和相机之间的空间变换的示意图。
图13为根据本发明实施例的室内物体自动标识定位装置的框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
对于激光点云和BIM模型二者的优势都要求极高的室内空间定位技术恰好成为了一个得以实践运用的地方。
本发明的一个具体实施例，公开了一种室内物体的位置获取方法。参考图1，室内物体的位置获取方法包括：在步骤S102中，对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，多传感器包括多线激光雷达、固定激光雷达和相机；在步骤S104中，通过多传感器获取室内空间的激光点集和图像点集以对多线激光雷达进行定位；在步骤S106中，通过多传感器获取位于室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测待识别物体在相机坐标系下的位置，其中，目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合激光雷达特征和视觉语义特征的融合模块；以及在步骤S108中，通过坐标变换获取待识别物体在世界坐标系下的绝对位置。
与现有技术相比，本实施例提供的室内物体的位置获取方法中，通过对多传感器进行高精度空间标定，对所述多线激光雷达进行定位以及利用目标识别模型检测所述待识别物体在相机坐标系下的位置，能够大幅度降低了室内物体定位位置的误差。另外，通过坐标变换获取待识别物体在世界坐标系下的绝对位置，以便于将待识别目标添加至建筑信息模型BIM，以能够有效反映对于建筑信息的记录和变更。
下文中，将参考图1，对根据本发明实施例的室内物体的位置获取方法的各个步骤进行详细描述。
在步骤S102中，对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，多传感器包括多线激光雷达、固定激光雷达和相机。对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数进一步包括：对多线激光雷达和相机进行联合标定以获得多线激光雷达相对于相机的旋转和平移；以及对多线激光雷达和固体激光雷达进行联合标定以计算多线激光雷达和固定激光雷达之间外参数。
具体地，对多线激光雷达和相机进行联合标定进一步包括：
Figure BDA0003383193120000081
其中，Zc为尺度参数；(Xw,Yw,Zw)为世界坐标系；(u,v)为像素坐标；相机坐标系以相机的光轴作为z轴，光线在相机的光学***中心位置就是原点Oc，相机坐标系Xc，Yc分别与图像坐标系X，Y轴平行，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，
Figure BDA0003383193120000091
为相机内参数矩阵，利用张正友标定法求解相机内参数矩阵；
Figure BDA0003383193120000092
为相机外参数矩阵；以及对多线激光雷达和相机进行外参数联合粗标定；以及对多线激光雷达和相机进行外参数联合精标定。
具体地，对多线激光雷达和固体激光雷达进行联合标定以计算多线激光雷达和固定激光雷达之间外参数进一步包括：在标准室内空间内采集两个激光雷达的点云数据；从点云数据中提供平面特征；匹配平面特征；在完成平面特征匹配后，利用奇异值分解求解R和t的初始值；以及按照点到平面的距离平方作为目标函数以建立优化函数。
在步骤S104中，通过多传感器获取室内空间的激光点集和图像点集以对多线激光雷达进行定位。通过多传感器获取室内空间的激光点集和图像点集以对多线激光雷达进行定位进一步包括：基于特征匹配进行高精度定位。基于特征匹配进行高精度定位进一步包括：根据激光点坐标(x，y，z)，计算激光点的激光束相比于激光雷达水平面的倾角ω：
Figure BDA0003383193120000093
第k+1帧与第k帧的相对位姿为：
Figure BDA0003383193120000094
第k+1帧中的点转到第k帧坐标系：
Figure BDA0003383193120000095
其中，pi为线特征，
Figure BDA0003383193120000096
为预测线特征；
构建线特征和面特征的残差函数以求解在世界坐标系下的位姿向量Twl：
Figure BDA0003383193120000097
Figure BDA0003383193120000101
其中，|pa-pb|为线特征的长度，当pi为线特征时，在上一帧中搜索离其最近的线特征点pa，并在相邻线上再找一个线特征点pb，组成直线；当其为面特征时，在上一帧中搜索离其最近的面特征点pm，并在相邻线上找两个面特征点pj和pl，组成平面。
在步骤S106中，通过多传感器获取位于室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测待识别物体在相机坐标系下的位置，其中，目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合激光雷达特征和视觉语义特征的融合模块。
激光雷达特征包括点云的几何结构和深度信息。视觉语义特征包括图像的色彩和纹理信息。融合模块用于将点云的几何结构和深度信息与图像的色彩和纹理信息进行融合以生成待识别物体的3D模型。具体地，点云特征提取器包括多尺度点云特征提取器，用于提取多尺度点云的几何结构和深度信息。图像特征提取器包括多尺度图像特征提取器，用于提取多尺度图像的色彩和纹理信息。融合模块包括多尺度融合模块，用于将不同尺度的点云的几何结构和深度信息和对应尺度的图像的色彩和纹理信息进行逐层融合。
具体地，通过多传感器获取位于室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测待识别物体在相机坐标系下的位置进一步包括：建立深度学习神经网络，利用标记的可见光图像和标记的激光点云图对深度学习神经网络进行训练以获得目标识别模型；利用相机拍摄待识别目标的可见光图像并利用多线激光雷达和固定激光雷达扫描待识别目标的激光点云图，并将待识别目标的可见光图像和待识别目标的激光点云图输入目标识别模型以获得待识别目标的种类和在相机坐标系下的位置。构建以下损失函数，并基于损失函数利用标记的可见光图像和标记的激光点云图对深度学习神经网络进行训练：
Figure BDA0003383193120000111
其中，D和G分别代表预测的边界框和真实的边界框，c代表D的分类的置信度；
总的残差函数Ltotal定义如下：
Ltotal＝Lrpn+Lrcnn，
其中，Lrpn和Lrcnn分别代表RPN和RCNN两个子网络的残差函数，RPN网络用于生成候选框，以及RCNN优化网络用于优化目标检测框。
在步骤S108中，通过坐标变换获取待识别物体在世界坐标系下的绝对位置。通过以下公式获取待识别目标在世界坐标系下的位置Pw进一步包括：
Pw＝Twl*Tlc*Pc
其中，待识别目标在相机坐标系下的位置为Pc；多线激光雷达在世界坐标系下的位姿为Twl；以及相机局部坐标系到基础坐标中心的外参数为Tlc。
在步骤S110中，根据待识别目标在世界坐标系下的位置，将待识别目标添加至建筑信息模型BIM(Building Information Modeling)中。具体地，BIM通过数字化手段，在计算机中建立虚拟建筑，该虚拟建筑会提供单一、完整、包含逻辑关系的建筑信息库。“信息”的内涵不仅仅是几何形状描述的视觉信息，还包含大量的非几何信息，如材料的耐火等级和传热系数、构件的造价和采购信息等等。
本发明的一个具体实施例，公开了一种室内物体的位置获取装置。参考图13，根据本发明实施例的室内物体的位置获取装置包括：标定模块1302，用于对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，多传感器包括多线激光雷达、固定激光雷达和相机；定位模块1304，用于通过多传感器获取室内空间的激光点集和图像点集以对多线激光雷达进行定位；目标识别模型1306，用于通过多传感器获取位于室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测待识别物体在相机坐标系下的位置，其中，目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合激光雷达特征和视觉语义特征的融合模块；以及坐标变换模块1308，用于通过坐标变换获取待识别物体在世界坐标系下的绝对位置。
下文中，将参考图2至图12，以具体实例的方式，对根据本发明实施例的室内物体的位置获取方法进行详细描述。
手持智能监测设备的技术涉及到外观与结构设计、硬件***设计、软件***设计(嵌入式软件、采集软件、智能处理软件)、核心算法设计等几部分。核心算法是本申请的关键，其设计的合理性直接影响到设备的整体性能，本文主要对该部分进行原理性的详细阐述。
手持智能监测设备的核心算法主要包含以下四部分：多传感器高精度空间标定算法、基于激光雷达的高精度定位算法、基于深度学习的多模态目标识别算法、基于多传感器融合的目标位置获取算法。下文中将逐一对这四部分进行详细说明。
1、多传感器高精度空间标定算法
本***中的核心传感器为1个多线激光雷达、1个固态激光雷达和1个可见光相机，因此传感器标定主要指的是通过精密设计，研究出一套严密的算法与操作流程，最终获取到这三者两两之间的高精度外参数，其中外参数用4*4的空间变换矩阵或位置向量与欧拉角向量(四元数)的组合来表示。
欧拉角与旋转矩阵变换关系：
设按Z-Y-X顺序(2,1,0)旋转，旋转角度分别为φ、θ、ψ，则旋转矩阵表达如下：
Figure BDA0003383193120000131
本实施例以多线激光为基础坐标参考，分别标定可见光相机、固态激光到多线激光的变换关系。
1.1多线激光与相机联合标定
如图2所示，激光雷达和相机的联合标定的结果是得到激光雷达相对于相机的旋转和平移。
联合标定分两步进行：先标定相机内参数、再联合标定外参数。
1.1.1相机内参数标定
内参数标定概念：图像测量过程以及计算器视觉中，为确定空间物体某点的三维几何关系位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，模型的参数就是相机的参数，求解参数的过程称为相机标定。
内参数标定的实验过程如下：
(1)打印一张棋盘格A4纸张(黑白间距已知)，并贴在一个平板上。
(2)针对棋盘格拍摄若干张图片(一般10-20张)。
(3)在图片中检测特征点(Harris特征)。
(4)利用解析解估算方法计算出5个内部参数，以及6个外部参数.
(5)根据极大似然估计策略，设计优化目标并实现参数的refinement.
相机的成像过程可表示为：
Figure BDA0003383193120000132
其中，世界坐标系(Xw,Yw,Zw)，相机坐标(Xc,Yc,Zc)，像素坐标(u,v)，相机坐标系以相机的光轴作为z轴，光线在相机的光学***中心位置就是原点Oc，相机坐标系Xc、Yc分别与图像坐标系X、Y轴平行。相机坐标原点与图像坐标系的原点之间的距离f，即焦距
Figure BDA0003383193120000141
为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；
Figure BDA0003383193120000142
为相机外参数矩阵。
1.1.2外参数联合标定
粗标定：
(1)标志点描述
本文在标定过程中使用标志点(marker)进行标定，因为标志点的边沿在两种传感器数据中较容易被检测到。在标定过程中利用激光与相机分别采集一帧数据作为基础数据。
(2)点云下的检测
如图3所示，由于深度信息不连续，可以通过检测同一线下相邻点之间的深度差实现边沿检测。图3中的(a)和(c)为检测原图，(b)和(d)为分别与(a)和(c)相对应的激光点云图。
实际标定板上目标的尺寸、数量、位置是已知的，接下来需要进行检测(detection)、验证(verification)和点云修剪(pointcloud pruning)。
a、将拟合成平面的内点进行保留，外点去除，以下将对内点进行处理，如图4中的(a)所示。
b、利用随机抽样一致算法RANSAC(全称为Random sample consensus)方法针对提前给定的目标(四个圆，形成方形，半径，点距离)，提取圆心，如图4中的(b)所示。
c、对检测的结果进行验证，通过则结束，没通过则进行下一步。
d、如果提取不出来，就需要对点云进行处理，点云修剪。设定规则对想提取出的点进行提取。
(3)相机中的检测
利用Sobel算子，对图像边沿进行提取，再利用霍夫变换(Hough transform)提取圆形边界。
(4)计算初始的平移向量(tx ty tz)
通过下式计算tz，r3D表示点云检测出的半径，r2D表示图像检测出来的半径，Z表示图像检测出的圆心的深度坐标，f表示焦距：
Figure BDA0003383193120000151
X、Y、Z表示激光雷达下的点坐标，x、y表示图像坐标系下的坐标，ox、oy表示主点偏差。
Figure BDA0003383193120000152
Figure BDA0003383193120000153
精标定：
精标定的过程即为在一个小参数搜索空间搜索参数的最优解。基于相机检测到的边缘和激光雷达检测到的边缘是相互匹配的这一前提，设计loss函数如下：
a：将激光雷达坐标系下的目标点投影到相机平面上，构建成二维的图像平面；
b：经过Sobel算子处理后，生成包含边缘信息的图像；
c：利用Inverse Distance Transform(IDT)方法以对图像的边缘信息进行L1正则化。
d：构建误差函数SE，利用非线性优化方法对外参数进行优化，从而使得loss函数的值最小。
Figure BDA0003383193120000161
上式表示Loss函数的设置，IC表示处理后的图像坐标系下的数据，IV表示处理投影后雷达坐标系下的数据。因此，在粗标定的基础上进行优化以提高标定精度。
1.2多线激光与固态激光联合标定
本项目采用面特征匹配计算激光雷达之间外参的标定方法，在标准的标定室房间内分别采集两个激光的点云数据作为基础数据。
(1)面特征提取
a.点云预处理：由于噪声的影响，存在很多不在平面上的点，因此首先进行点云预处理，将不在平面上的点处理掉。
b.使用RANSAC在两个点云中拟合平面，可能拟合出很多个平面。
c.由于平面法向量就相当于一个坐标轴，因此，只需要三个坐标轴之间的匹配即可以求解两个坐标系的旋转。在利用RANSAC在两个点云中分别拟合出的平面可能大于3个，根据平面点数量的大小，保留三个最大的平面。
d.求解平面的参数系数，平面方程通常表达为：
β(i,0)xn+β(i,1)yn+β(i,2)zn+β(i,3)＝0
其中，β(i,0)、β(i,1)、β(i,2)和β(i,3)分别为参数。因此可以定义点到平面的距离为：
fi(Pn)＝|β(i,0)xn+β(i,1)yn+β(i,2)zn+β(i,3)|
e.构建最小二乘问题，在平面上选取N个点，则平面系数应该满足以下最小二乘问题：
Figure BDA0003383193120000171
f.求解出平面系数后，将三个平面考虑成XYZ坐标轴的三个平面，则这三个平面组成的局部坐标系的坐标原点为三个平面的交点：
Figure BDA0003383193120000172
(2)面特征匹配
如图5所示，通常在标定过程中会选择地面作为一个特征面，而激光雷达的安装一般也近似平行于地面，因此，在设定法向量方向后，利用：
n地面＝max([0,0,1]ni)
确定点云中哪个平面是地面，而又在设定了局部右手坐标系后，三个法向量n1、n2和n3满足以下关系：
(n2×n1)n3>0
通过遍历组合，即可给每个平面编上对应的号，完成平面特征的匹配。
(3)外参初始值闭式求解
在完成平面特征的匹配后，将三个法向量当作三个点，利用SVD分解即可求解R的初始值，由于三个法向量有以下对应关系：
Rn1＝n′1，Rn2＝n′2，Rn3＝n′3
R[n1,n2,n3]＝[n′1,n′2,n′3]
P＝[n1,n2,n3],Q＝[n′1,n′2,n′3]
H＝PQT
对H矩阵进行SVD分解可以得到中间变量V和U，利用以下公式即可求解出R和t的初始值，其中，O和O′分别为两个激光雷达的局部坐标系的原点坐标。
R＝VUT,t＝O′-RO
(4)非线性优化
最后按照点到平面的距离的平方作为目标函数，建立优化函数，并进行迭代优化即可。该优化函数为分别对3个匹配平面的误差值进行求和，其中每个匹配平面的误差由两部分组成：第一部分fi 2(Rp′+t)为固态激光平面上的点到多线激光对应平面的距离，p′为固态激光平面上点的坐标；第二部分fi 2(R′p+t)为多线激光平面上的点到固态激光对应平面的距离，p为多线激光平面上点的坐标。
Figure BDA0003383193120000183
2、基于激光雷达的高精度定位算法
本模块主要采用基于直接匹配与特征融合的高精度定位算法。
2.1基于直接匹配的高精度定位算法
对于两个点集：
X＝{x1,x2,…,xNx}
Y＝{y1,y2,…,yNy}
参考图6，首先，对点云数据进行预处理；将空间划分为栅格，统计落在各栅格中的点；根据各栅格中的点，计算各栅格均值、协方差、构建高斯分布；根据预测姿态计算联合概率；求解R，t，判断求解是否结束，如果没有结束，则返回至根据预测姿态计算联合概率。如果结束，则输出R，t。
寻找目标函数，使得：
Figure BDA0003383193120000191
其中：
Figure BDA0003383193120000192
定义目标函数为：
Figure BDA0003383193120000193
y′i＝T(p,yi)＝Ryi+t
其中，定义目标函数如下，μ为点集X的质心，y′i为利用预测位姿对点yi进行变换后得到的点坐标。
按照高斯牛顿法的流程，只需计算残差函数关于待求参数的雅可比，便可迭代优化。
2.2基于特征匹配的高精度定位算法
(1)线面特征提取
参考图7，根据激光点坐标(x,y,z)，可计算该束激光相比于雷达水平面的倾角ω：
Figure BDA0003383193120000194
参考图8，根据倾角和雷达内参(各扫描线的设计倾角)，可知雷达属于哪条激光束。
根据前后相邻点与当前点的长度X(长度指激光点到雷达的距离)，计算曲率大小。并根据曲率大小进行特征的判断。
Figure BDA0003383193120000195
(2)线面特征关联
第k+1帧与第k帧的相对位姿为：
Figure BDA0003383193120000201
第k+1帧中的点转到第k帧坐标系：
Figure BDA0003383193120000202
pi为线特征，
Figure BDA0003383193120000203
为预测线特征。
(3)位姿优化
分别构建线特征和面特征的残差函数：
Figure BDA0003383193120000204
Figure BDA0003383193120000205
其中，
Figure BDA0003383193120000206
为预测线特征；|pa-pb|为线特征的长度，当pi为线特征时，在上一帧中搜索离其最近的线特征点pa，并在相邻线上再找一个线特征点pb，组成直线。当其为面特征时，在上一帧中搜索离其最近的面特征点pm，并在相邻线上找两个面特征点pj和pl，组成平面。
根据凸优化基础，只要求得残差关于待求变量的雅可比，便可采用高斯牛顿等进行优化，从而求解位姿向量。
3、基于深度学习的多模态目标识别
传统基于深度学习的图像目标识别技术目前已趋于稳定与成熟，但其在小目标、复杂场景下容易出现误检和漏检的问题，使其目前只能应用在环境较为简单的目标识别场景中。深度学习本质上是一种数据驱动模式表达学习的方法，目前在复杂情况下的表现不佳主要受限于单一传感器数据的局限性问题。多模态数据可以实现对环境在不同特征维度上进行有效表达，其巨大优势目前已逐渐引起研究人员的高度重视。本课题拟采用一种新型的深度神经网络结构，网络输入端为多模态传感器数据，包含可见光图像、激光点云，通过网络参数实现对不同输入数据的特征表达学习，输出端为目标的种类与位置。利用一定量的标记数据进行训练与学习，实现对参数的自动调优，从而大幅提高目标识别的精度与环境适应性。
从理论上讲，图像信息是dense和规则的，包含了丰富的色彩信息和纹理信息，但是缺点就是由于为二维信息。存在因为远近而存在的scale问题。相对图像而言，点云的表达为稀疏的、不规则的，这也就使得采用传统的CNN感知在点云上直接处理是不可行的。但是点云包含了三维的几何结构和深度信息，这是对3D目标检测更有利的，因此二者信息是存在理论上的互补的。此外目前二维图像检测中，深度学习方法都是以CNN为基础设计的方法，而在点云目标检测中则有着MLP、CNN，GCN等多种基础结构设计的网络，在融合过程中和哪一种网络做融合也是比较需要研究的。
本项目主要采用基于特征融合的方法，如图9所示。该融合需要在特征层中做一定的交互。主要的融合方式是对点云和图像分支都各自采用特征提取器，对图像分支和点云分支的网络在前馈的层次中逐语义级别融合，做到multi-scale信息的语义融合。
本项目采用的网络结构如图10所示，其中点云分支是点编码器-解码器(pointencoder-decoder)的结构，图像分支则是一个逐步编码的网络，并且逐层做特征融合。
该网络由一个two-stream的RPN网络和一个优化网络组成，RPN网络主要用来做候选框生成，优化网络主要做目标检测框的优化，该网络可以直接进行端到端的训练。通过L1-Fusion模块，该网络能有效融合激光雷达特征和视觉语义特征。
L1-Fusion模组网络结构，如图11所示：
此外，该网络通过设计一种新的loss函数(CE loss)以进一步提高目标分类和定位置信水平的一致性。
CE loss定义如下：
Figure BDA0003383193120000221
其中D和G分别代表预测和真实的边界框(bounding box)，c代表D的分类的置信度。
总的残差函数Ltotal定义如下：
Ltotal＝Lrpn+Lrcnn，
其中Lrpn和Lrcnn分别代表rpn和rcnn两个子网络的残差函数。
4、基于多传感器融合的目标位置获取
参考图12，传感器标定、高精度定位、多模态数据的目标检测三个步骤后，即可利用以上三步骤的结果进行融合计算，从而求解得到感兴趣目标在世界坐标系下的绝对位置，整个计算过程概述如下：
(1)t时刻根据多模融合结果，检测到感兴趣目标，且其在相机坐标系下的位置为Pc；
(2)已经求解基础坐标中心(多线激光)此时刻在世界坐标系下的位姿为Twl；
(3)已经对各传感器外参进行高精度标定，其中相机局部坐标系到基础坐标中心的外参数为Tlc；
(4)可通过空间变换求解感兴趣目标在世界坐标系下的位置Pw，其计算公式为：
Pw＝Twl*Tlc*Pc
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种室内物体的位置获取方法，其特征在于，包括：
对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，所述多传感器包括多线激光雷达、固定激光雷达和相机；
通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位；
通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置，其中，所述目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合所述激光雷达特征和所述视觉语义特征的融合模块；以及
通过坐标变换获取所述待识别物体在世界坐标系下的绝对位置。
2.根据权利要求1所述的室内物体的位置获取方法，其特征在于，
所述激光雷达特征包括点云的几何结构和深度信息；
所述视觉语义特征包括图像的色彩和纹理信息；以及
所述融合模块用于将所述点云的几何结构和深度信息与所述图像的色彩和纹理信息进行融合以生成所述待识别物体的3D模型。
3.根据权利要求2所述的室内物体的位置获取方法，其特征在于，
所述点云特征提取器包括多尺度点云特征提取器，用于提取多尺度点云的几何结构和深度信息；
所述图像特征提取器包括多尺度图像特征提取器，用于提取多尺度图像的色彩和纹理信息；以及
所述融合模块包括多尺度融合模块，用于将不同尺度的点云的几何结构和深度信息和对应尺度的图像的色彩和纹理信息进行逐层融合。
4.根据权利要求2所述的室内物体的位置获取方法，其特征在于，通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置进一步包括：
建立深度学习神经网络，利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述目标识别模型；
利用所述相机拍摄所述待识别目标的可见光图像并利用所述多线激光雷达和所述固定激光雷达扫描所述待识别目标的激光点云图，并将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。
5.根据权利要求4所述的室内物体的位置获取方法，其特征在于，构建以下损失函数，并基于所述损失函数利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练：
Figure FDA0003383193110000021
其中，D和G分别代表预测的边界框和真实的边界框，c代表D的分类的置信度；
总的残差函数Ltotal定义如下：
Ltotal＝Lrpn+Lrcnn，
其中，Lrpn和Lrcnn分别代表RPN和RCNN两个子网络的残差函数，所述RPN网络用于生成候选框，以及所述RCNN优化网络用于优化目标检测框。
6.根据权利要求1所述的室内物体的位置获取方法，其特征在于，通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位进一步包括：基于特征匹配进行高精度定位，其中，基于特征匹配进行高精度定位进一步包括：
根据激光点坐标(x，y，z)，计算所述激光点的激光束相比于激光雷达水平面的倾角ω：
Figure FDA0003383193110000022
第k+1帧与第k帧的相对位姿为：
Figure FDA0003383193110000023
所述第k+1帧中的点转到所述第k帧坐标系：
Figure FDA0003383193110000031
其中，pi为线特征，
Figure FDA0003383193110000032
为预测线特征；
构建线特征和面特征的残差函数以求解在世界坐标系下的位姿向量Twl：
Figure FDA0003383193110000033
Figure FDA0003383193110000034
其中，|pa-pb|为线特征的长度，当pi为线特征时，在上一帧中搜索离其最近的线特征点pa，并在相邻线上再找一个线特征点pb，组成直线；当其为面特征时，在上一帧中搜索离其最近的面特征点pm，并在相邻线上找两个面特征点pj和l，组成平面。
7.根据权利要求1所述的室内物体的位置获取方法，其特征在于，对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数进一步包括：
对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移；以及
对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数，
其中，对所述多线激光雷达和所述相机进行联合标定进一步包括：
Figure FDA0003383193110000035
其中，Zc为尺度参数；(Xw，Yw，Zw)为所述世界坐标系；(u，v)为像素坐标；相机坐标系以相机的光轴作为z轴，光线在相机的光学***中心位置就是原点Oc，相机坐标系Xc，Yc分别与图像坐标系X，Y轴平行，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，
Figure FDA0003383193110000041
为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；
Figure FDA0003383193110000042
为相机外参数矩阵；以及
对所述多线激光雷达和所述相机进行外参数联合粗标定；以及
对所述多线激光雷达和所述相机进行外参数联合精标定。
8.根据权利要求7所述的室内物体的位置获取方法，其特征在于，对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数进一步包括：
在标准室内空间内采集两个激光雷达的点云数据；
从所述点云数据中提供平面特征；
匹配所述平面特征；
在完成平面特征匹配后，利用奇异值分解求解R和t的初始值；以及
按照点到平面的距离平方作为目标函数以建立优化函数。
9.根据权利要求8所述的室内物体的位置获取方法，其特征在于，通过以下公式获取所述待识别目标在所述世界坐标系下的位置Pw进一步包括：
Pw＝Twl*Tlc*Pc
其中，所述待识别目标在相机坐标系下的位置为Pc；所述多线激光雷达在所述世界坐标系下的位姿为Twl；以及所述相机局部坐标系到基础坐标中心的外参数为Tlc。
10.一种室内物体的位置获取装置，其特征在于，包括：
标定模块，用于对多传感器进行高精度空间标定以获得相机局部坐标系到基础坐标中心的外参数，其中，所述多传感器包括多线激光雷达、固定激光雷达和相机；
定位模块，用于通过所述多传感器获取室内空间的激光点集和图像点集以对所述多线激光雷达进行定位；
目标识别模型，用于通过所述多传感器获取位于所述室内空间的待识别物体的激光点集和图像点集，并利用目标识别模型检测所述待识别物体在相机坐标系下的位置，其中，所述目标识别模型包括用于提取激光雷达特征的点云特征提取器、用于提取视觉语义特征的图像特征提取器和有效融合所述激光雷达特征和所述视觉语义特征的融合模块；以及
坐标变换模块，用于通过坐标变换获取所述待识别物体在世界坐标系下的绝对位置。
CN202111472804.8A 2021-11-30 2021-11-30 一种室内物体的位置获取方法和装置 Pending CN114140539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111472804.8A CN114140539A (zh) 2021-11-30 2021-11-30 一种室内物体的位置获取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111472804.8A CN114140539A (zh) 2021-11-30 2021-11-30 一种室内物体的位置获取方法和装置

Publications (1)

Publication Number Publication Date
CN114140539A true CN114140539A (zh) 2022-03-04

Family

ID=80388015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111472804.8A Pending CN114140539A (zh) 2021-11-30 2021-11-30 一种室内物体的位置获取方法和装置

Country Status (1)

Country Link
CN (1) CN114140539A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241269A (zh) * 2022-02-18 2022-03-25 聚时科技(江苏)有限公司 一种用于岸桥自动控制的集卡视觉融合定位***
CN115294204A (zh) * 2022-10-10 2022-11-04 浙江光珀智能科技有限公司 一种户外目标定位方法及***
CN117456146A (zh) * 2023-12-21 2024-01-26 绘见科技(深圳)有限公司 激光点云拼接方法、装置、介质和设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241269A (zh) * 2022-02-18 2022-03-25 聚时科技(江苏)有限公司 一种用于岸桥自动控制的集卡视觉融合定位***
CN115294204A (zh) * 2022-10-10 2022-11-04 浙江光珀智能科技有限公司 一种户外目标定位方法及***
CN117456146A (zh) * 2023-12-21 2024-01-26 绘见科技(深圳)有限公司 激光点云拼接方法、装置、介质和设备
CN117456146B (zh) * 2023-12-21 2024-04-12 绘见科技(深圳)有限公司 激光点云拼接方法、装置、介质和设备

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及***
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
Daftry et al. Building with drones: Accurate 3D facade reconstruction using MAVs
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN110415342A (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN114140539A (zh) 一种室内物体的位置获取方法和装置
CN104574406B (zh) 一种360度全景激光与多个视觉***间的联合标定方法
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
Moussa Integration of digital photogrammetry and terrestrial laser scanning for cultural heritage data recording
Hu et al. An automatic 3D registration method for rock mass point clouds based on plane detection and polygon matching
Liang et al. Automatic registration of terrestrial laser scanning data using precisely located artificial planar targets
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
CN113916130B (zh) 一种基于最小二乘法的建筑物位置测量方法
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
US10432915B2 (en) Systems, methods, and devices for generating three-dimensional models
Jin et al. An Indoor Location‐Based Positioning System Using Stereo Vision with the Drone Camera
CN114089329A (zh) 一种基于长短焦相机与毫米波雷达融合的目标检测方法
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
CN115359130A (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
Wang et al. A survey of extrinsic calibration of LiDAR and camera
Coorg Pose imagery and automated three-dimensional modeling of urban environments
CN116679314A (zh) 融合点云强度的三维激光雷达同步建图与定位方法及***
Partovi et al. Automatic integration of laser scanning and photogrammetric point clouds: From acquisition to co-registration
CN115656991A (zh) 车辆外参标定方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination