CN109102537A - 一种激光雷达和球幕相机结合的三维建模方法和*** - Google Patents

一种激光雷达和球幕相机结合的三维建模方法和*** Download PDF

Info

Publication number
CN109102537A
CN109102537A CN201810663053.XA CN201810663053A CN109102537A CN 109102537 A CN109102537 A CN 109102537A CN 201810663053 A CN201810663053 A CN 201810663053A CN 109102537 A CN109102537 A CN 109102537A
Authority
CN
China
Prior art keywords
laser radar
data
ball curtain
mobile terminal
curtain camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810663053.XA
Other languages
English (en)
Other versions
CN109102537B (zh
Inventor
崔岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sino-German Institute Of Artificial Intelligence Ltd
Wuyi University
Original Assignee
Sino-German Institute Of Artificial Intelligence Ltd
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sino-German Institute Of Artificial Intelligence Ltd, Wuyi University filed Critical Sino-German Institute Of Artificial Intelligence Ltd
Priority to CN201810663053.XA priority Critical patent/CN109102537B/zh
Publication of CN109102537A publication Critical patent/CN109102537A/zh
Application granted granted Critical
Publication of CN109102537B publication Critical patent/CN109102537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种激光雷达和球幕相机结合的三维建模方法和***，涉及三维成像建模技术领域。该方法包括以下步骤：对当前场景采用激光雷达进行实时扫描，获取数据；触发球幕相机拍照，获得全景照片；上传雷达数据与全景照片至移动终端，并经移动终端根据雷达数据计算路径以及缓冲全景照片；上传步骤处理得到的路径数据及全景照片数据至服务器进行三维建模。本发明通过激光雷达实时扫描定位，相比在遇到白墙、玻璃等特征点较少时会出现跟踪丢失的基于视觉的SLAM，本发明通过激光雷达的实时扫描定位比基于视觉的SLAM的视频流定位更加稳定和准确，创建的三维模型不会发生模型畸变，创建的三维模型的景象更加准确和可靠。

Description

一种激光雷达和球幕相机结合的三维建模方法和***
技术领域
本发明涉及三维成像建模技术领域，具体涉及一种激光雷达和球幕相机结合的三维建模方法和***。
背景技术
在使用球幕相机进行三维建模的过程中，因牵涉到即时定位与地图构建(SLAM)技术，球幕相机(一般都是双目或者多目)一直进行视频流的拍摄需要处理的数据量比较大，这样会给硬件造成非常大的负担，产生较大的发热现象，约几分钟到十几分钟电量将耗尽。其次，如果直接使用球幕相机进行空间定位，就必须利用球幕相机拍摄的视频流的帧图片，然后进行SLAM定位，但是这样的计算量大，占用大量的CPU资源，从而会增加巨大的电量消耗。此外，使用这种定位方式，球幕相机拍摄的视频流的帧图片之间在进行SLAM定位之前需要进行拼接，会产生畸变；球幕相机进行SLAM定位时就需要向处理器回传数据，数据回传产生时差会导致实时预览延时。
为此，在即时定位与地图构建(SLAM)技术的基础上，发展出了基于视觉的即时定位与地图构建(VSLAM)技术。VSLAM的优点是它所利用的丰富纹理信息。例如两块尺寸相同内容却不同的广告牌，基于点云的激光SLAM算法无法区别他们，而视觉则可以轻易分辨。这带来了重定位、场景分类上无可比拟的巨大优势。同时，视觉信息可以较为容易的被用来跟踪和预测场景中的动态目标，如行人、车辆等，对于在复杂动态场景中的应用这是至关重要的。第三，视觉的投影模型理论上可以让无限远处的物体都进入视觉画面中，在合理的配置下(如长基线的双目相机)可以进行大场景的定位与地图构建。
然而，基于视觉的即时定位与地图构建(VSLAM)技术在遇到白墙、玻璃等特征点比较少的情况下会出现跟踪丢失的情况。虽然回环检测会重新优化路径，但优化多次之后会依然存在较大的误差。而激光雷达定位比VSLAM定位更加稳定，原因是其时刻在进行扫描。激光雷达的作用是做初定位，同时给后端建模提供初始位置，其优点是定位稳定、准确。
发明内容
鉴于现有技术的不足，本发明旨在于提供一种激光雷达和球幕相机结合的三维建模方法和***，本发明应用在大场景中。
为了实现上述目的，本发明采用的技术方案如下：
通过激光雷达和球幕相机对大场景进行三维建模的方法，所述方法包括以下步骤：
S1、对当前场景采用激光雷达进行实时扫描，获取数据；
S2、触发球幕相机拍照，获得全景照片；
S3、上传雷达数据与全景照片至移动终端，并经移动终端根据雷达数据计算路径以及缓冲全景照片；
S4、上传步骤S3中处理得到的路径数据及全景照片数据至服务器进行三维建模。
进一步地，在步骤S1中，对当前场景采用激光雷达进行实时扫描获取的数据包括位置信息、距离信息以及旋转信息。
进一步地，在步骤S2中，全景照片的张数至少为一张。
进一步地，在步骤S2中，球幕相机拍摄全景照片的张数与需要拍摄的场景的面积成正比，在每间隔所拍摄场景1.5米距离的位置拍摄一张全景照片。
进一步地，在步骤S3中，根据雷达数据计算路径具体包括步骤：
S31、提取扫描图像的特征点，获得环境信息；
S32、对当前激光雷达扫描获得的数据与地图中已经存在的数据及特征进行比对更新，确定该特征是否来源于环境中的同一物体；
S33、采用栅格地图进行环境描述。
进一步地，在步骤S32中，根据***状态的条件概率分布在状态空间构造一组随机粒子，根据观测信息不断调整每个粒子的位姿和权值，根据调整后的粒子信息来校正***状态先前的条件概率分布。
进一步地，在步骤S3中，缓冲至移动终端的全景照片以图片预览形式呈现。
进一步地，在步骤S4中，服务器在后台根据在移动终端上处理得到的路径数据及全景照片数据建设三维模型并生成链接返回移动终端。
进一步地，在步骤S4中，服务器通过移动终端反馈操作信息以及场景建模信息。
本发明有益效果在于：
1、通过激光雷达实时扫描定位，相比在遇到白墙、玻璃等特征点较少时会出现跟踪丢失的情况，也就是基于视觉的SLAM会出现的情况，本发明的实时扫描定位比基于视觉的SLAM的视频流定位更加稳定和准确，通过激光雷达的实时扫描定位，基于本发明创建的三维模型不会发生模型畸变，创建的三维模型的景象更加准确和可靠。
2、球幕相机只有在拍摄全景照片或者修改一些内在参数的时候会被触发调用，其余时间处于半睡眠状态，可最大限度的节约球幕相机的能耗。
附图说明
图1为应用本发明的方法进行前端扫描作业的装置的示意图；
图2为本发明的激光雷达扫描的2D地图；
图3为本发明的激光雷达定位的路径图；
图4为本发明对场景中提取后的特征点进行匹配的示意图；
图5为本发明在进行特征点提取匹配后的二维图片中各特征点的三维空间位置和相机位置的示意图；
图6为本发明经过稀疏点云处理后进行结构化建模的初步模型示意图；
图7为本发明经过贴图后构建的虚拟空间模型示意图。
具体实施方式
以下将对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
本发明为一种通过激光雷达3和球幕相机1对大场景进行三维建模的方法，该方法包括以下步骤：
S1、对当前场景采用激光雷达3进行实时扫描，获取数据；
S2、触发球幕相机1拍照，获得全景照片；
S3、上传雷达数据与全景照片至移动终端2，并经移动终端2根据雷达数据计算路径以及缓冲全景照片；
S4、上传步骤S3中处理得到的路径数据及全景照片数据至服务器进行三维建模。
需要说明的是，本发明所指的移动终端2包括但不限于手机、平板电脑等带有摄像头的终端设备。
优选地，在步骤S1中，对当前场景采用激光雷达3进行实时扫描获取的数据包括位置信息、距离信息以及旋转信息。
优选地，在步骤S2中，全景照片的张数至少为一张。
优选地，在步骤S2中，球幕相机1拍摄全景照片的张数与需要拍摄的场景的面积成正比，在每间隔所拍摄场景预设距离的位置拍摄一张全景照片，预设距离可以为1～2米，优选为1.5米。
优选地，在步骤S3中，根据雷达数据计算路径具体包括步骤：
S31、提取扫描图像的特征点，获得环境信息。特征点是曲率突变或者法向产生突变的地方。点云数据特征点提取方法有:基于曲率的边界边缘提取方法、基于特征值的边界边缘提取方法、基于邻域信息的边界边缘提取方法，三种方法都各自有其优缺点。Demarsin提出的三维点云数据封闭特征线的提取方法中，利用主成分分析计算点法向，然后，基于局部邻域的法向变换将点聚类，形成不同的簇。在进行特征点的判断过程中，采用的是通过两点的法向夹角和可接受的最大角度阈值进行比较的方法，此时的特征点是以一个聚类为单位进行判断的。聚类分析是一种数据探测工具，对于未分类样例是有效的，它的目标就是把对象分组成自然类别或基于相似性或距离的簇类，在对象类别未知的情况中，簇技术往往更为有效。所以，此类技术在即时定位与地图构建(SLAM)技术中得到了很广泛的应用。
S32、对当前激光雷达3扫描获得的数据与地图中已经存在的数据及特征进行比对更新，确定该特征是否来源于环境中的同一物体。数据关联(Data Association，DA)也称为一致性问题(Consistency)，是指对当前传感器观测数据与地图中已经存在的数据及特征进行比对更新时，确定它们是否来源于环境中的同一物体。
S33、采用栅格地图进行环境描述。栅格地图的概念在1985年由Elfeshe和Moravec首次提出，后来主要应用在机器人领域。栅格地图把周围环境划分为网格结构，一般是划为大小相等的正方形，然后对每个栅格赋予一个属性值，表示该栅格的占用状态。一般对于二维平面栅格地图，有0和1两种属性值。0代表该栅格没有被占用，1代表该栅格存在障碍物。而三维栅格地图每个栅格属性值还要包括障碍物的高度信息。栅格地图的优点是易于创建与维护，且不依赖于环境地形。
优选地，在步骤S32中，根据***状态的条件概率分布在状态空间构造一组随机粒子，根据观测信息不断调整每个粒子的位姿和权值，根据调整后的粒子信息来校正***状态先前的条件概率分布。本发明的优选实施例中，激光雷达3采用粒子滤波定位方法。粒子滤波的思想是用N个带有权重的粒子{xi t，wi t}Ni＝1来表示机器人位姿的后验概率密度分布。xi t为第i个粒子的位姿，wi t为第i个粒子的权值。根据***状态的条件概率分布在状态空间构造一组随机粒子，根据观测信息不断调整每个粒子的位姿和权值，根据调整后的粒子信息来校正***状态先前的条件概率分布。
优选地，在步骤S3中，缓冲至移动终端2的全景照片以图片预览形式呈现。移动终端2可视化球幕相机1拍摄完的数据预览，即以图片预览的形式方便操作者实时观察,并且可以和服务器通讯。在步骤S4中，服务器根据在移动终端2上处理得到的路径数据及全景照片数据建设三维模型并生成链接返回移动终端2。服务器通过移动终端反馈操作信息以及场景建模信息，方便操作者使用及灵活调整。
作为本发明一种优选实施例，本发明的移动终端2为智能手机，激光雷达3优选采用日本产北阳电机公司Hokuyo，型号为URG04LX和UTM-30LX的激光雷达。
需要说明的是，在激光雷达3扫描定位的期间，移动终端2一直处于运行状态，用于接收激光雷达3的数据和球幕相机1摄取的全景照片。移动终端2与球幕相机1的通信方式为无线通信方式，可利用现有技术中的WIFI、蓝牙等。激光雷达3和移动终端2之间的通讯方式可以是无线通信方式，也可以是数据线缆传输方式，为保证数据不失真，本发明的优选实施例中，对激光雷达3的数据采用USB连接线的方式进行数据传输。
需要进一步说明的是，在移动终端2上装载有APP应用程序，球幕相机1和移动终端2通过WIFI连接，将拍摄到的全景相片实时传输至移动终端2的APP应用程序上，待整个场景的照片拍摄完毕之后，将照片一起上传至服务器进行三维建模。激光雷达3通过USB连接线将扫描的地图数据传送至移动终端2，并通过移动终端2上的APP应用程序进行处理计算。在球幕相机1对场景进行拍摄的时候，触发点是人为界定的，即用户自行判断什么时候让球幕相机1开始拍摄，也就是触发点自定义，在球幕相机1进行拍摄的时候，多个触发点形成的排布点(即间隔多远距离进行一次拍摄)在稠密程度适中的情况下建造出来的模型在浏览和过渡效果上都会更好。
在整个拍摄过程中，激光雷达3的扫描一直在运行，移动终端2不用于拍摄照片和拍摄视频；球幕相机1只有在采集数据(拍照)或者修改一些内在参数的时候会调用到，其它时间是处于不断发射WIFI的半睡眠状态，移动终端2与球幕相机1的分工合作使球幕相机1能耗更低。
在本实施例中，三维重建离线算法是指SFM算法。在其它实施例中，也可采取其它三维重建离线算法。
在S4步骤中，根据球幕相机1拍摄的照片三维建模还包括下列步骤：
S41基于球幕相机1所得出的至少一组照片的特征点进行识别与匹配；
S42基于球幕相机1三维数字化建模的闭环进行自动检测；
S43检测后，进行数字化建模；
S44结构化模型贴图。
需要说明的是，在所述一组照片或者视频流中，对单张照片用SIFT描述符进行特征点(图片上的像素点)提取同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。
需要说明的是，所述闭环检测为：用当前算出所述球幕相机1位置与过去所述球幕相机1位置进行比较，检测有无距离相近；若检测到两者距离在一定阈值范围内，就认为所述球幕相机1又回到原来走过的地方，此时启动闭环检测。
需要进一步说明的是，过滤指的是：在确认了二维图片中某一点对应的三维坐标位置后，将这个三维坐标点重新投影到原来的球幕照片上，再次确认是否仍是那个点。其原因是，二维图片的点与其在三维世界的点的位置是一一对应关系，所以在确认了二维图片中某一点的三维坐标点后，可以将这个三维坐标点重新投射回去验证二维坐标点是否仍在原来的位置，以此来决定该像素点是否为噪点，是否需要过滤。需要说明的是，在照片中确定一张来自于某个所述球幕相机1的最优图片。上述所说的照片也将当前位置中移动终端2拍摄得到的视频流的帧照片放进备选行列。
需要说明的是，即当多部所述球幕相机1都看到某一目标并捕捉到画面，选取使用其中最优的一张进行贴图。
需要进一步说明的是，利用公式计算出对应的球幕相机1及其拍到的图形颜色：
V1＝normalize(CameraMatrixi*V0)
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将球幕相机1位置变换到原点，并重置球幕相机1面朝方向。
基于上述，需要指出的是，所述闭环检测是一个动态过程，在拍摄球幕相片的过程中是持续进行的。
如图1所示，本发明还提出一种激光雷达和球幕相机结合的三维建模***，所述***包括：球幕相机1、激光雷达3、移动终端2、服务器、存储在移动终端2并可在所述移动终端2上运行的根据雷达数据计算路径以及缓冲全景照片程序、存储在服务器并可在所述服务器上运行的三维建模程序，所述球幕相机1、激光雷达3分别与移动终端2信号连接，在实际应用中，可以通过移动终端2的USB接口接入激光雷达3，移动终端2和激光雷达3通过USB接口来进行数据传输。所述移动终端2和服务器无线通信连接，所述初步定位和校准程序被所述移动终端执行时实现如权利要求1中步骤S3所述的步骤，所述三维建模程序被所述服务器执行时实现如权利要求1中步骤S4所述的步骤。其中，激光雷达3、球幕相机1、移动终端2三位一体，也就是说三者的地理位置在本发明中是一致的，三者之间的距离在本发明中的位置信息可忽略不计。如图1所示，球幕相机1设置在该立杆的上端，移动终端2可转动地固定立杆的中部，其屏幕角度可调节，激光雷达3通过移动终端2的USB接口连接在移动终端2上。
基于激光雷达3结合即时定位与地图构建(SLAM)技术是现有技术中，本发明中简要说明如下：通过激光雷达3获取移动终端与周围可视物体之间的距离信息及周围物体的点云信息，在移动终端经过对点云的匹配和比对，计算出激光雷达3相邻时刻的位置和姿态变化，进而对移动终端进行定位，再对输出的结果进行优化，利用滤波理论或者优化理论，最终得到最优的位姿估计，即计算出当前的绝对位置或者相对位置，从而知道了移动终端当前在什么位置。
本发明基于激光雷达3和SLAM技术对大场景进行数字三维建模，通过激光雷达3实时扫描定位，本发明的实时扫描定位比基于视觉的SLAM的视频流定位更加稳定和准确；因为基于视觉的SLAM在遇到白墙、玻璃等特征点较少时会出现跟踪丢失的情况，而本发明不会出现这种情况。通过激光雷达3的实时扫描定位，基于本发明创建的三维模型不会发生模型畸变，创建的三维模型的景象更加准确和可靠。
下面结合附图对本发明进行辅助说明，如图2所示，为激光雷达扫描的2D地图，通过激光雷达对当前场景进行实时扫描，获取的2D地图数据，在该2D地图上，当前被扫描的场景的轮廓边界显现出来。
进一步地，如图3所示，为本发明的激光雷达定位的路径图。在变换激光雷达的扫描位置时，其移动的位置被记录下来，形成一个完整的移动路径图。
进一步地，如图4所示，为本发明对场景中提取后的特征点进行匹配的示意图。通过对一张球幕照片(样图)自动提取特征点，图中主要通过图片上的点表现，即对提取后的特征点进行匹配。需要说明的是，在实际操作中可对拍摄某一场景的所有照片的特征点进行匹配。
更进一步的，如图5所示，为本发明对在进行特征点提取匹配后的二维图片中各特征点的三维空间位置和相机位置的示意图，其基于图4进一步进行处理，即可得到二维图片中各特征点的三维空间位置和相机位置，形成稀疏点。图片中面积较小的点就是稀疏点云，面积较大的是相机位置。
再如图6所示，为本发明经过稀疏点云处理后进行结构化建模的初步模型示意图。通过图5处理后得到点云，并进行结构化建模，生成场景的三维模型实体。建模完成后，基于图6的空间结构进行自动化贴图，形成与现实世界吻合的虚拟空间模型，即图7所示的虚拟空间模型，贴图采用服务器中的贴图数据进行自动匹配。
以上将对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

Claims (10)

1.一种激光雷达和球幕相机结合的三维建模方法，所述方法包括以下步骤：
S1、对当前场景采用激光雷达进行实时扫描，获取数据；
S2、触发球幕相机拍照，获得全景照片；
S3、上传雷达数据与全景照片至移动终端，并经移动终端根据雷达数据计算路径以及缓冲全景照片；
S4、上传步骤S3中处理得到的路径数据及全景照片数据至服务器进行三维建模。
2.根据权利要求1所述的激光雷达和球幕相机结合的三维建模方法，其特征在于，在步骤S1中，对当前场景采用激光雷达进行实时扫描获取的数据包括位置信息、距离信息以及旋转信息。
3.根据权利要求1所述的激光雷达和球幕相机结合的三维建模方法，其特征在于，在步骤S2中，全景照片的张数至少为一张。
4.根据权利要求1或3所述的激光雷达和球幕相机结合的三维建模方法，其特征在于，在步骤S2中，球幕相机拍摄全景照片的张数与需要拍摄的场景的面积成正比，在每间隔所拍摄场景预设距离的位置拍摄一张全景照片。
5.根据权利要求1所述的激光雷达和球幕相机结合的三维建模方法，其特征在于，在步骤S3中，根据雷达数据计算路径具体包括步骤：
S31、提取扫描图像的特征点，获得环境信息；
S32、对当前激光雷达扫描获得的数据与地图中已经存在的数据及特征进行比对更新，确定该特征是否来源于环境中的同一物体；
S33、采用栅格地图进行环境描述。
6.根据权利要求5所述的激光雷达和球幕相机结合的三维建模方法，其特征在于，在步骤S32中，根据***状态的条件概率分布在状态空间构造一组随机粒子，根据观测信息不断调整每个粒子的位姿和权值，根据调整后的粒子信息来校正***状态先前的条件概率分布。
7.根据权利要求1所述的激光雷达和球幕相机结合的三维建模方法，其特征在于，在步骤S3中，缓冲至移动终端的全景照片以图片预览形式呈现。
8.根据权利要求1所述的激光雷达和球幕相机结合的三维建模方法，其特征在于，在步骤S4中，服务器在后台根据在移动终端上处理得到的路径数据及全景照片数据建设三维模型并生成链接返回移动终端。
9.根据权利要求1所述的激光雷达和球幕相机结合的三维建模方法，其特征在于，在步骤S4中，服务器通过移动终端反馈操作信息以及场景建模信息。
10.一种激光雷达和球幕相机结合的三维建模***，其特征在于，所述***包括：球幕相机、激光雷达、移动终端、服务器、存储在移动终端并可在所述移动终端上运行的根据雷达数据计算路径以及缓冲全景照片程序、存储在服务器并可在所述服务器上运行的三维建模程序，所述球幕相机、激光雷达分别与移动终端信号连接，所述移动终端和服务器无线通信连接，所述初步定位和校准程序被所述移动终端执行时实现如权利要求1中所述步骤S3所述的步骤，所述三维建模程序被所述服务器执行时实现如权利要求1中所述步骤S4所述的步骤。
CN201810663053.XA 2018-06-25 2018-06-25 一种二维激光雷达和球幕相机结合的三维建模方法和*** Active CN109102537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810663053.XA CN109102537B (zh) 2018-06-25 2018-06-25 一种二维激光雷达和球幕相机结合的三维建模方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810663053.XA CN109102537B (zh) 2018-06-25 2018-06-25 一种二维激光雷达和球幕相机结合的三维建模方法和***

Publications (2)

Publication Number Publication Date
CN109102537A true CN109102537A (zh) 2018-12-28
CN109102537B CN109102537B (zh) 2020-03-20

Family

ID=64844942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810663053.XA Active CN109102537B (zh) 2018-06-25 2018-06-25 一种二维激光雷达和球幕相机结合的三维建模方法和***

Country Status (1)

Country Link
CN (1) CN109102537B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109878926A (zh) * 2019-04-17 2019-06-14 上海振华重工(集团)股份有限公司 集装箱固定锁钮的定位方法及装置
CN110148216A (zh) * 2019-05-24 2019-08-20 中德（珠海）人工智能研究院有限公司 一种双球幕相机及双球幕相机三维建模的方法
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、***及存储介质
CN110276774A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 物体的绘图方法、装置、终端和计算机可读存储介质
CN110288650A (zh) * 2019-05-27 2019-09-27 盎锐（上海）信息科技有限公司 用于vslam的数据处理方法及扫描终端
CN110298136A (zh) * 2019-07-05 2019-10-01 广东金雄城工程项目管理有限公司 基于bim技术场景建造方法和***及于园林景观数字建模中的应用
CN110421557A (zh) * 2019-06-21 2019-11-08 国网安徽省电力有限公司淮南供电公司 配网带电作业机器人的环境立体感知与安全预警保护***及方法
CN110910498A (zh) * 2019-11-21 2020-03-24 大连理工大学 一种利用激光雷达和双目相机构建栅格地图的方法
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及***
CN110992468A (zh) * 2019-11-28 2020-04-10 贝壳技术有限公司 基于点云数据的建模方法、装置以及设备、存储介质
DE102019202304A1 (de) * 2019-02-20 2020-08-20 Siemens Schweiz Ag Verfahren und Anordnung zum Erstellen eines digitalen Gebäudemodells
CN111739158A (zh) * 2020-06-29 2020-10-02 成都信息工程大学 一种基于纠删码的三维场景图像恢复方法
CN113177975A (zh) * 2021-05-07 2021-07-27 中德（珠海）人工智能研究院有限公司 基于球幕相机及激光雷达的深度计算方法及三维建模方法
CN113496545A (zh) * 2020-04-08 2021-10-12 阿里巴巴集团控股有限公司 数据处理***、方法、传感器、移动采集背包及设备
CN114440928A (zh) * 2022-01-27 2022-05-06 杭州申昊科技股份有限公司 激光雷达与里程计的联合标定方法、机器人、设备和介质
CN117351140A (zh) * 2023-09-15 2024-01-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995264A (zh) * 2014-04-17 2014-08-20 北京金景科技有限公司 一种车载移动激光雷达测绘***
US8817018B1 (en) * 2011-06-13 2014-08-26 Google Inc. Using photographic images to construct a three-dimensional model with a curved surface
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及***
CN105678783A (zh) * 2016-01-25 2016-06-15 西安科技大学 折反射全景相机与激光雷达数据融合标定方法
US20160314593A1 (en) * 2015-04-21 2016-10-27 Hexagon Technology Center Gmbh Providing a point cloud using a surveying instrument and a camera device
CN106443687A (zh) * 2016-08-31 2017-02-22 欧思徕（北京）智能科技有限公司 一种基于激光雷达和全景相机的背负式移动测绘***
CN206095238U (zh) * 2016-10-11 2017-04-12 广州正度数据处理服务有限公司 应用360度全景相机的移动测绘装置
CN107392944A (zh) * 2017-08-07 2017-11-24 广东电网有限责任公司机巡作业中心 全景影像与点云的配准方法及装置
US20180061055A1 (en) * 2016-08-30 2018-03-01 The Boeing Company 2d vehicle localizing using geoarcs
WO2018066352A1 (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
CN107948501A (zh) * 2017-10-30 2018-04-20 深圳市易成自动驾驶技术有限公司 自动环视方法、装置及计算机可读存储介质
CN108053473A (zh) * 2017-12-29 2018-05-18 北京领航视觉科技有限公司 一种室内三维模型数据的处理方法
CN108171780A (zh) * 2017-12-28 2018-06-15 电子科技大学 一种基于激光雷达构建室内真实三维地图的方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817018B1 (en) * 2011-06-13 2014-08-26 Google Inc. Using photographic images to construct a three-dimensional model with a curved surface
CN103995264A (zh) * 2014-04-17 2014-08-20 北京金景科技有限公司 一种车载移动激光雷达测绘***
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及***
US20160314593A1 (en) * 2015-04-21 2016-10-27 Hexagon Technology Center Gmbh Providing a point cloud using a surveying instrument and a camera device
CN105678783A (zh) * 2016-01-25 2016-06-15 西安科技大学 折反射全景相机与激光雷达数据融合标定方法
US20180061055A1 (en) * 2016-08-30 2018-03-01 The Boeing Company 2d vehicle localizing using geoarcs
CN106443687A (zh) * 2016-08-31 2017-02-22 欧思徕（北京）智能科技有限公司 一种基于激光雷达和全景相机的背负式移动测绘***
WO2018066352A1 (ja) * 2016-10-06 2018-04-12 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
CN206095238U (zh) * 2016-10-11 2017-04-12 广州正度数据处理服务有限公司 应用360度全景相机的移动测绘装置
CN107392944A (zh) * 2017-08-07 2017-11-24 广东电网有限责任公司机巡作业中心 全景影像与点云的配准方法及装置
CN107948501A (zh) * 2017-10-30 2018-04-20 深圳市易成自动驾驶技术有限公司 自动环视方法、装置及计算机可读存储介质
CN108171780A (zh) * 2017-12-28 2018-06-15 电子科技大学 一种基于激光雷达构建室内真实三维地图的方法
CN108053473A (zh) * 2017-12-29 2018-05-18 北京领航视觉科技有限公司 一种室内三维模型数据的处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄明伟等: "采用激光扫描的古田会议会址三维几何造型建模", 《华侨大学学报》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019202304A1 (de) * 2019-02-20 2020-08-20 Siemens Schweiz Ag Verfahren und Anordnung zum Erstellen eines digitalen Gebäudemodells
DE102019202304B4 (de) * 2019-02-20 2021-01-28 Siemens Schweiz Ag Verfahren und Anordnung zum Erstellen eines digitalen Gebäudemodells
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、***及存储介质
CN109878926A (zh) * 2019-04-17 2019-06-14 上海振华重工(集团)股份有限公司 集装箱固定锁钮的定位方法及装置
CN110148216A (zh) * 2019-05-24 2019-08-20 中德（珠海）人工智能研究院有限公司 一种双球幕相机及双球幕相机三维建模的方法
CN110148216B (zh) * 2019-05-24 2023-03-24 中德（珠海）人工智能研究院有限公司 一种双球幕相机的三维建模方法
CN110288650B (zh) * 2019-05-27 2023-02-10 上海盎维信息技术有限公司 用于vslam的数据处理方法及扫描终端
CN110288650A (zh) * 2019-05-27 2019-09-27 盎锐（上海）信息科技有限公司 用于vslam的数据处理方法及扫描终端
CN110421557A (zh) * 2019-06-21 2019-11-08 国网安徽省电力有限公司淮南供电公司 配网带电作业机器人的环境立体感知与安全预警保护***及方法
CN110276774A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 物体的绘图方法、装置、终端和计算机可读存储介质
CN110298136A (zh) * 2019-07-05 2019-10-01 广东金雄城工程项目管理有限公司 基于bim技术场景建造方法和***及于园林景观数字建模中的应用
CN110910498B (zh) * 2019-11-21 2021-07-02 大连理工大学 一种利用激光雷达和双目相机构建栅格地图的方法
CN110910498A (zh) * 2019-11-21 2020-03-24 大连理工大学 一种利用激光雷达和双目相机构建栅格地图的方法
CN110992468A (zh) * 2019-11-28 2020-04-10 贝壳技术有限公司 基于点云数据的建模方法、装置以及设备、存储介质
US11935186B2 (en) 2019-11-28 2024-03-19 Realsee (Beijing) Technology Co., Ltd. Point cloud data based modeling method and apparatus, device and storage medium
CN110969696A (zh) * 2019-12-19 2020-04-07 中德人工智能研究院有限公司 三维建模快速空间重构的方法及***
CN113496545A (zh) * 2020-04-08 2021-10-12 阿里巴巴集团控股有限公司 数据处理***、方法、传感器、移动采集背包及设备
CN113496545B (zh) * 2020-04-08 2022-05-27 阿里巴巴集团控股有限公司 数据处理***、方法、传感器、移动采集背包及设备
CN111739158B (zh) * 2020-06-29 2023-04-25 成都信息工程大学 一种三维场景图像恢复方法
CN111739158A (zh) * 2020-06-29 2020-10-02 成都信息工程大学 一种基于纠删码的三维场景图像恢复方法
CN113177975A (zh) * 2021-05-07 2021-07-27 中德（珠海）人工智能研究院有限公司 基于球幕相机及激光雷达的深度计算方法及三维建模方法
CN113177975B (zh) * 2021-05-07 2023-12-05 中德（珠海）人工智能研究院有限公司 基于球幕相机及激光雷达的深度计算方法及三维建模方法
CN114440928A (zh) * 2022-01-27 2022-05-06 杭州申昊科技股份有限公司 激光雷达与里程计的联合标定方法、机器人、设备和介质
CN117351140A (zh) * 2023-09-15 2024-01-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备
CN117351140B (zh) * 2023-09-15 2024-04-05 中国科学院自动化研究所 融合全景相机和激光雷达的三维重建方法、装置及设备

Also Published As

Publication number Publication date
CN109102537B (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN109102537A (zh) 一种激光雷达和球幕相机结合的三维建模方法和***
KR102524422B1 (ko) 객체 모델링 및 움직임 방법 및 장치, 그리고 기기
CN108154550B (zh) 基于rgbd相机的人脸实时三维重建方法
JP5093053B2 (ja) 電子カメラ
CN108335353B (zh) 动态场景的三维重建方法、装置和***、服务器、介质
CN108470370B (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测***
CN103810744B (zh) 在点云中回填点
US9747668B2 (en) Reconstruction of articulated objects from a moving camera
CN109461210B (zh) 一种在线家装的全景漫游方法
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
JP2016537901A (ja) ライトフィールド処理方法
CN107862718B (zh) 4d全息视频捕捉方法
CN110544273B (zh) 运动捕捉方法、装置以及***
CN113379901A (zh) 利用大众自拍全景数据建立房屋实景三维的方法及***
CN109147027A (zh) 基于参考平面的单目图像三维重建方法、***及装置
CN108629828B (zh) 三维大场景的移动过程中的场景渲染过渡方法
CN112270736A (zh) 增强现实处理方法及装置、存储介质和电子设备
CN111739080A (zh) 多台深度相机共同构建3d空间及3d物体的方法
CN107610219A (zh) 一种三维场景重构中几何线索感知的像素级点云稠密化方法
CN108564654B (zh) 三维大场景的画面进入方式
WO2023098737A1 (zh) 三维重建方法、电子设备和计算机可读存储介质
CN111862278A (zh) 一种动画获得方法、装置、电子设备及存储介质
CN116704112A (zh) 一种用于对象重建的3d扫描***
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant