CN110163968A - Rgbd相机大型三维场景构建方法及*** - Google Patents

Rgbd相机大型三维场景构建方法及*** Download PDF

Info

Publication number
CN110163968A
CN110163968A CN201910452208.XA CN201910452208A CN110163968A CN 110163968 A CN110163968 A CN 110163968A CN 201910452208 A CN201910452208 A CN 201910452208A CN 110163968 A CN110163968 A CN 110163968A
Authority
CN
China
Prior art keywords
subgraph
point cloud
dimensional
cloud
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910452208.XA
Other languages
English (en)
Other versions
CN110163968B (zh
Inventor
周风余
顾潘龙
万方
边钧健
于邦国
庄文密
杨志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Xinchen Artificial Intelligence Technology Co ltd
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910452208.XA priority Critical patent/CN110163968B/zh
Publication of CN110163968A publication Critical patent/CN110163968A/zh
Application granted granted Critical
Publication of CN110163968B publication Critical patent/CN110163968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种RGBD相机大型三维场景构建方法及***，该方法包括以下步骤：获取RGBD相机的深度图像与彩色图像，生成三维点云，并将点云配准到激光雷达参考系；获取机器人姿态数据和激光雷达的扫描点数据，利用Cartographerd算法的局部优化算法对其进行处理，生成子图和机器人里程计信息；根据机器人里程计信息，将生成的子图与对应的点云进行绑定，拼接子图生成三维地图。

Description

RGBD相机大型三维场景构建方法及***
技术领域
本公开涉及三维建模技术领域，具体涉及一种基于Cartographer算法的RGBD相机大型三维场景构建方法及***。
背景技术
在移动机器人的智能化应用中，机器人的智能化程度一大部分上取决于机器人在场景内的定位精度，因此需要为机器人提供高精确度的环境地图。环境地图一般有二维地图和三维地图两种形式，其中使用二维激光雷达构建的二维地图仅有平面二维数据，在应用过程中会丢失较多信息，不利于机器人进行导航和定位，所以三维地图在很多方面有着极其重要的应用与研究价值。
对比能够生成三维数据的三维激光雷达、深度相机与双目相机。其中RGBD相机受测量原理、测量精度和测量距离的限制，在大场景建图的应用过程中效果较差，当遇到较大的干扰或机器人运行较快时，容易丢失自身位置，虽然然能够通过改变图像之间的约束关系来解决位置丢失问题，但都无可避免的增加了计算机资源消耗。而与RGBD相机相比，虽然三维激光雷达和双目相机的抗干扰能力较强，但三维激光雷达的价格十分昂贵，生成的点云稀疏，缺少颜色信息；双目相机则是需要耗费额外的计算资源对比图像计算深度数据，两者在室内进行建图的快速性和精确性均不足。因此本文提出了一种融合激光雷达与RGBD相机两种传感器，利用激光SLAM输出机器人的位姿叠加RGBD相机点云在大场景下进行稠密建图的方法。
当前流行的几种激光SLAM算法有：(1)Gmapping算法是一种基于改进后粒子滤波方法的建图算法，在大场景下粒子数量较多会耗费较多资源；(2)Karto算法，采用图优化的方法代替了粒子滤波，并使用SPA对图进行调整，但是会在大场景建图情况下有大量landmark的***，也会耗费大量内存；(3)Hector算法利用高斯牛顿方法来对扫描点集进行扫描匹配，虽然内存消耗较少，但对传感器要求较高，需要较高精度的激光雷达才能建出较好的地图；(4)Cartographer算法采用了姿态优化的方法，将激光雷达的数据帧与Submap进行匹配，并在全局优化过程中通过找到闭环约束进行全局优化，相比前三种方法，该方案能够消除大部分的累积误差，且无需精度特别高的的激光雷达。
在当前流行的RGBD相机三维重建方法中，多是采用VSLAM(visual simultaneouslocalization and mapping)算法在前端计算RGBD图像特征点之间的约束关系并按此关系叠加点云，同时在后端对前端数据进行回环优化的方法构建三维地图。发明人在研发过程中发现，这种方法受RGBD相机测量原理、测量精度和测量距离的限制，在大场景、环境复杂、存在大量阳光干扰的情况下，建图精度较差、容易丢失机器人位置，且在计算时会耗费大量资源，需要较高性能的电脑才能保证计算速度。
发明内容
为了克服上述现有技术的不足，本公开以配备激光雷达与RGBD相机的室内机器人为研究对象，提出了一种基于Cartographer算法的RGBD相机大型三维场景构建方法及***，借助激光雷达数据少、抗干扰能力强的特点，通过Cartographer激光SLAM算法计算机器人位姿，在Cartographer生成的子图中***实时点云以实现实时建图；同时使用Cartographer的回环优化功能对之前***的位姿进行调整，在现实场景下实验表明，相比单纯的使用激光雷达或RGBD相机进行建图精度更高，建图速度更快。
本公开提供的一种基于Cartographer算法的RGBD相机大型三维场景构建方法的技术方案是：
一种基于Cartographer算法的RGBD相机大型三维场景构建方法，该方法包括以下步骤：
获取RGBD相机的深度图像与彩色图像，生成三维点云，并将点云配准到激光雷达参考系；
获取机器人姿态数据和激光雷达的扫描点数据，利用Cartographerd算法的局部优化算法对其进行处理，生成子图和机器人里程计信息；
根据机器人里程计信息，将生成的子图与对应的点云进行绑定，拼接子图生成三维地图。
进一步的，所述点云生成方法为：
对RGBD相机进行配准，将深度相机参考系配准到彩色相机参考系下；
根据配准后深度图像中的相应的像素值计算彩色图像中的任一点在空间中的三维位置信息；
依次遍历整幅深度图像，得到相机对应的点云。
进一步的，所述将点云配准到激光雷达参考系的步骤包括：
获取机器人底盘上彩色相机光心与激光雷达中心的距离及其在偏航角上的偏离的角度；
使用变换矩阵对相机点云中的每个点的坐标进行变换，将激光雷达的扫描点集与点云进行配准。
进一步的，所述将子图与对应的点云进行绑定的步骤包括：
记录生成的子图的位姿信息和时间戳，将生成子图时产生的时间戳与RGBD相机采集深度图像的时间戳进行对比，选择时间上最靠近子图的RGBD相机深度图像信息；
将时间上最靠近子图的RGBD相机深度图像信息和机器人位姿信息进行时间同步；
计算生成子图时机器人与子图之间的水平位移差和转动的角度差，形成旋转矩阵，使用旋转矩阵将点云变换到其对应子图的参考系中；
将变换到子图参考系中的点云与子图信息绑定，并对点云进行位移，将变换后的点云平移到子图空间所在位置。
进一步的，还包括当子图位姿发生变化时，将位姿出现变化的子图所绑定的点云按照子图变化进行重新平移的步骤。
本公开的另一方面提供的一种基于Cartographer算法的RGBD相机大型三维场景构建方法的技术方案是：
一种基于Cartographer算法的RGBD相机大型三维场景构建***，该***包括：
点云配准模块，用于获取RGBD相机的深度图像与彩色图像，生成三维点云，并将点云配准到激光雷达参考系；
子图生成模块，用于获取机器人姿态数据和激光雷达的扫描点数据，利用Cartographerd算法的局部优化算法对其进行处理，生成子图和机器人里程计信息；
点云绑定模块，用于根据机器人里程计信息，将生成的子图与对应的点云进行绑定；
三维构建模块，用于拼接子图生成三维地图；
回环点云模块，用于当子图位姿发生变化时，将位姿出现变化的子图所绑定的点云按照子图变化进行重新平移。
本公开的另一方面提供的计算机可读存储介质的技术方案是：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于Cartographer算法的RGBD相机大型三维场景构建方法中的步骤。
本公开的另一方面提供的一种计算机设备的技术方案是：
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于Cartographer算法的RGBD相机大型三维场景构建方法中的步骤。
通过上述技术方案，本公开的有益效果是：
(1)本公开采用激光雷达的大视场角和Cartographer算法的高鲁棒性，大大提升了RGBD相机大场景下三维重建的抗干扰能力和算法运行速度；
(2)本公开采用Cartographer算法的回环优化功能对位姿发生变化的子图所对应的点云进行重新平移，消除建图过程中产生的累积误差，提升了RGBD相机三维重建地图的精度。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。
图1是实施例一基于Cartographer算法的RGBD相机大型三维场景构建方法的流程图一；
图2是实施例一基于Cartographer算法的RGBD相机大型三维场景构建方法的流程图二；
图3(a)是实施例一矫正前KinectV2深度图像与RGB图像配准图；
图3(b)是实施例一矫正后KinectV2深度图像与RGB图像配准图；
图4是实施例一Kinect与雷达点云配准图；
图5是实施例一Submap与点云数据的绑定示意图；
图6(a)是实施例一回环前Cartographer回环效果图；
图6(b)是实施例一回环后Cartographer回环效果图；
图7(a)和图7(b)是实施例一RGBD相机大型三维场景构建方法所得结果图；
图7(c)和图7(d)是RTAB算法所得结果图；
图7(e)和图7(f)是阳光干扰下的彩色图像与深度图像；
图8(a)和图8(b)是实施例一RGBD相机大型三维场景构建方法所得结果图；
图8(c)和图8(d)是实施例一RGBD相机大型三维场景构建方法的点云叠加精度示意图；
图8(e)和图8(f)是RTAB算法所得结果图；
图9是Cartographer建图精度示意图；
图10(a)和图10(b)是二楼实验精度对比示意图；
图10(c)和图10(d)是一楼实验精度对比示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例以配备激光雷达与RGBD相机的室内机器人为研究对象，提出了一种基于Cartographer算法的RGBD相机大型三维场景构建方法，借助激光雷达数据少、抗干扰能力强的特点，通过Cartographer激光SLAM算法计算机器人位姿，在Cartographer生成的子图中***实时点云以实现实时建图。同时使用Cartographer的回环优化功能对之前***的位姿进行调整，在现实场景下实验表明，相比单纯的使用激光雷达或RGBD相机进行建图精度更高，建图速度更快。
请参阅附图1，所述基于Cartographer算法的RGBD相机大型三维场景构建方法包括以下步骤：
S101，获取RGBD相机深度图像与彩色图像，生成三维点云，并将点云配准到激光雷达参考系。
具体地，所述步骤101的实现方式如下：
S1011，获取RGBD相机的深度图像与彩色图像。
具体地，获取RGBD相机Kinectv2采集的深度图像数据与彩色图像数据。
为了RGBD相机Kinectv2采集的数据与激光雷达采集的数据融合使用，需要将两传感器数据配准到同一坐标系下。
S1012，点云生成。
为了获得精确的点云，首先对RGBD相机进行配准，将深度相机参考系配准到RGB相机参考系下，如图3(a)和图3(b)所示。
完成配准后，RGB图像中的任一点(ximg，yimg)，都可以根据配准后深度图像中的相应的像素值计算出该点的深度值，并且根据公式(1)、(2)、(3)即可计算出该点在空间中的位置p＝[px,py,pz]T，遍历整幅深度图像即可得到相机对应的点云。
其中，Z0表示从相机到标定时所使用参考平面的距离，f表示深度相机焦距，b表示为深度相机到RGB相机的距离，(cx，cy)表示深度相机的光心坐标。
S1013，点云到激光雷达坐标系的配准。
在得到相机点云后，为了能将点云准确的***到Cartographer生成的栅格地图中，还需要对点云与激光雷达扫描点进行配准。
测量可得机器人底盘上RGB相机光心与激光雷达中心的距离及其Yaw轴上的偏离的角度ξ＝(ξx,ξy,ξz,ξθ)，因为相机和雷达相对水平放置，所以可以忽略Pitch轴和Roll轴的偏量。测得以上数据后，使用变换矩阵Tξ对相机点云中的每个点的坐标进行变换：
其中，p为点在空间中的位置。
即可完成激光雷达的扫描点集与点云进行配准，效果图如图4所示。
S102，获取机器人姿态和激光雷达数据，利用Cartographerd算法的局部优化算法对得到的数据进行处理，生成子图和机器人里程计信息。
Cartographer是2016年谷歌提出的一种跨平台、多传感器融合的激光SLAM算法，由局部优化(Local SLAM)和全局优化(Global SLAM)两部分组成。
请参阅附图2，在前端的局部优化算法中，Cartographer主要是通过拟合新***的激光雷达扫描点数据和惯性测量单元(IMU)测量的加速度和角度数据，将新***数据与对应子图间的位置匹配问题等效为一个最小二乘问题，使得扫描数据点集与子图之间匹配的概率最大，以此来找到数据在子图中的最佳***点，并在新的扫描点数据***后对子图进行实时更新。
在局部优化算法中生成的子图是Cartographer算法新引入的一个概念，他被用来表示全局地图中的一部分，并以概率网格的形式在地图中呈现。它的每个网格都有一个固定的概率值来表示该网格被阻塞的概率，会在新的扫描点数据***到子图后，重新计算一个代表着网格点的hits集合和misses集合，通过与子图之前的hits集合和misses集合进行对比，使用概率公式(2)对hits和misses集合所代表的网格点的概率值phits或pmiss进行更新。并在***了足够的扫描点集后输出当前子图，并开始新子图的更新。
Mnew(x)＝clamp(odd-1(odds(Mold(x))·odds(phits/misses))) (6)。
在后端的全局优化算法中，Cartographer会将本地优化算法生成的每一个子图与组成它的扫描点数据及其位置记录下来用作回环检测，并在机器人运动过程中使用分枝定界方法开窗检测回环，将新***的数据与之前记录的数据对比，建立回环约束。最后再利用SPA(Sparse Pose Adjustment)算法对所有子图的位置再进行优化。图6(a)和图6(b)为在真实场景下进行建图回环前后的效果图，可以明显看出，通过回环修正可以消除大部分存在的累积误差。
在本实施例中，所述机器人里程计信息为机器人的路径信息，包括单位时间内机器人在X轴、Y轴的坐标变化和角度变化。
S103，将步骤102得到的子图与对应点云进行绑定，拼接子图生成三维地图。
在本实施例中，通过把Cartographer算法生成的子图作为关键帧，将对应的点云***到子图相应的空间中的方式完成的建图工作。同时在后端，Cartographer会对子图和之前***子图的扫描点集进行回环优化，通过调整子图位姿信息的方式调整***到子图的点云。所以为了使子图之间的点云信息能够被精确的叠加，需要将点云信息与子图进行绑定，并寻找一种资源消耗较少的方法对调整后的点云进行更新。
具体地，将子图与对应点云进行绑定的具体步骤如下：
在机器人前进过程中，随着激光雷达扫描点的不断更新，Cartographer会通过ROS话题“/tf”的形式不断的输出机器人位姿信息。记录该位姿信息为δ＝[δx，δy，δz，δpitch，δroll，δyaw]T，并通过对比/tf话题与图像话题的时间戳与实时RGBD相机的深度图像、RGB图像进行时间同步。同时，每当一个新的子图产生后，记录该新生成子图的位姿信息为φ＝[φx，φy，φz，φpitch，φroll，φyaw]T和时间戳，通过与图像的时间戳进行对比，选择最靠近子图的深度图像信息和机器人位姿信息。
由于Cartographer在运行过程中会不断生成子图，随着子图的叠加，绑定在子图上配准好的点云也会随之进行叠加，即可生成全局地图，图5为在线运行过程中Submap14绑定的点云与Submap15绑定的点云叠加的效果。
在图像信息与机器人位姿信息进行同步过程中，图像信息的发布频率为25HZ，机器人位姿的发布频率为70HZ，在二者之间进行时间同步能够将两者的时间差控制在±14ms内。与上述同步过程不同，由于子图的发布频率设置为5HZ，Cartographer输出新生成的子图时，所接收到的图像数据理论存在±40ms的时间误差，但在实际运行过程中运算较多，尤其是在回环过程中，可能会出现程序阻塞，子图与匹配到的点云数据之间的时间误差一般会有120ms左右。此时所接收到的点云的姿态δ与φ不一定相等，在本实施例中，机器人以2m/s的速度移动，子图与子图所匹配到的机器人位姿之间一般存在20cm左右的误差。且Cartographer新生成子图的姿态值指向默认方向代表着该子图的朝向，在后期新的扫描点数据加入进来后会对此值不断进行调整，与机器人位姿中指向机器人朝向的姿态值为不同两变量。同时在Cartographer进行回环优化时不会对回环点云的位姿进行调整，而是对回环点云对应的子图的位姿进行调整。
因此，需要对点云进行变换，通过公式(7)、公式(8)计算出机器人与子图之间的水平位移和转动的角度，并利用C++的Eigen库初始化旋转矩阵RΔ到欧拉角rΔ所指方向。将旋转矩阵RΔ与欧拉角tΔ带入欧式变换矩阵TransΔ中，使用公式(9)即可把点云P变换到与其对应子图的参考系中。
tΔ＝[δx-φx，δy-φy，δz-φz]T (7)
rΔ＝[δpitch-φpitch，δroll-φroll，δyaw-φyaw]T (8)
将变换到子图参考系的点云与子图信息绑定后并记录，再按照公式(11)对点云进行位移，即可将变换后的点云平移到子图空间所在位置。
tSubmap＝[φx，φy，φz]T (10)
其中，tSubmap为对应子图在空间中的位姿；p为绑定到该子图上点云中的点的位姿信息。
本实施例将子图与对应点云进行绑定，在回环后，需要对子图位姿信息进行调整时，不需要再对绑定到需要调整位姿的子图上的点云进行位姿变换，缩短回环所用时间。
随着Cartographer算法运行过程中逐步拼接子图生成全局三维地图，绑定在对应点云上的点云也会被拼接，以此来实现RGBD相机三维场景图构建。
S104，回环点云，当子图位姿发生变化时，将位姿出现变化的子图所绑定的点云按照子图变化进行平移。
随着子图的不断加入，Cartographer会用DFS分枝定界的方法进行回环检测，并建立回环约束，并使用SPA方法实时调整子图的位姿φ。即之前建立的子图的位姿φ，不仅会在回环的时候调整，在进行稀疏位姿矫正的时候也会对子图的位姿进行调整，子图位姿调整的频率会比较高。
在实施例中，使用PCL库中的PointXYZRGB类型对点云进行存储和叠加，如果在每次子图出现变化后就重新平移叠加一次之前所存储的所有点云占用时间较长，无法实现实时的点云叠加和显示。
为解决该问题，在子图位姿变换时分区进行变换和叠加。使用C++库中的类模板Vector定义一个PointXYZRGB类型的区域点云数组，并把设定阈值数量的点云叠加后***区域点云数组。在子图位姿发生变化的时候，只对其对应区域点云重新平移并叠加，并在定时器回调函数中把所有区域点云转化为ROS话题发布出来。
建图实验，当出现11个子图位姿出现变化并重新叠加点云耗时2.1s，并且在没有点云重新叠加情况下RVIZ的显示频率基本能稳定在5帧以上(27个子图p)，基本对实时显示没有影响。
具体地，区域点云叠加的具体实现步骤为：
获取Catographer算法输出的子图、生成的实时点云；
判断是否新出现子图，若新出现，则寻找与此时时间差最小的实时点云；
将实时点云按公式(9)变换到相对新子图的位置；
如果将这次新出现的子图加入到最新的残余点云后，残余点云中的子图数量大于设定阈值，则将该点云加到残余点云中，并将其作为一个区域点云记录到内存中，同时清除残余点云中的内容。
如果将这次新出现的子图加入到最新的残余点云后，残余点云中的子图数量未达到设定阈值，则将该点云加到残余点云中，等待下一次新子图出现后进行判断。
如果发现之前生成的子图位姿出现变化，判断该子图在哪一个区域点云中，并对该区域点云中的点云按照公式(11)进行重新平移，并输出。
本实施例得到的大型三维场景地图可用于蔬菜大棚的智能喷洒，可采用本实施例提出的RGBD相机三维场景构建方法构建蔬菜大棚三维环境地图，并控制机器人在蔬菜大棚内进行移动对植株进行喷药或施肥。
实验验证
对本实施例提出的基于Cartographer算法的RGBD相机三维场景构建方法进行实验验证。在本实验过程中，使用搭载有KinectV2相机、SICKTIM561激光雷达和IMU的麦克纳姆伦移动平台进行现场试验。进行RGBD相机三维场景构建方法中步骤的电脑配置为：Macbookpro(Apple)、i7 6700 2.6GHZCPU、16GRAM、512GRAM。在建图过程中，选用Kinect传感器深度数据精度较高的0.2m到5.5m区间内的点云数据计算，使用0.03m网格大小的体素滤波器(Voxel Filter)对原始点云和叠加后的点云进行降采样，并且通过ROS话题的形式将点云数据发送到RVIZ上进行显示。实验地点选择在校区主楼的一楼大厅和二楼环形回廊，如图7(a)、图7(b)、图7(c)、图7(d)、图7(e)和图7(f)所示。并且选择精确度和运行速度相对RGB-DSLAMV2和DVOSLAM(Dense Visual Odometry and SLAM)更好的RTAB(Real TimeAppearance-Based Mapping)室内建图算法进行对比实验。
首先为了验证本实施例提出的RGBD相机三维场景构建方法对干扰的抑制能力，选择在校区主楼二楼光照不均匀的回廊大厅进行现场实验，机器人以2m/s的匀速绕回廊运行一圈半，在回廊墙壁的帮助下，激光雷达和RGBD相机测得的数据量更多，没有回环修正也能获得较好的里程计精度。二楼入口处是一面玻璃墙，会有大量的阳光射入，由图7(e)和图7(f)深度图像可以看出，在阳光的干扰下RGBD相机丢失了大部分的深度信息，对仅使用视觉信息的RTAB算法影响较大，在RTAB的视觉里程计的计算过程中会引入较大误差，尽管在计算的时候不对点云测量区间进行限制，在进行的多次建图实验过程中均无法完成三维地图的构建，每次实验过程中都会在接近门口的时候丢失机器人位置而导致建图失败。而仅有的一次成功建图实验中所构建的三维地图也与现实场景差距较大，在多个地方出现重影、错位和扭曲的现象，如图7(c)和图7(d)所示。而与RGBD相机相比，激光雷达具有更强的抗噪性能，有效测量距离更长，同时借助Cartographer的回环优化功能消除建图过程中大部分的累积误差，使得本实施例提出的方法在大场景下三维重建作业中优势更明显，能够在大场景下构建更加精确的三维地图，如图7(a)和图7(b)所示。
而为了对比本实施例的方法在大场景三维重构过程中点云叠加的精度，在夜晚无阳光且室内光源较为均匀的校区主楼一楼进行了对比实验，大厅长27m、宽16m，面积约为300m2，机器人以2m/s的匀速在一楼大绕柱运行一圈半。由图8(c)和图8(d)所示的建图效果可以看出，使用Cartographer计算的Submap位姿对点云数据进行叠加也能够获得较好的建图效果，与RTAB算法中使用视觉里程计的位姿对齐点云所得的结果相比(如图8(e)和图8(f)所示)，使用本文算法所计算出的点云在5cm的分辨率下能够被更为准确的对齐，所叠加的点云基本没有重影。
由于不是在实验室环境验证算法，无法在主楼架设光学追踪仪器。因此为了验证本实施例的方法与RTAB的建图精度，对主楼一楼进行了实地测量，先对Cartographer的建图精度进行了验证。如图9所示，横向两支撑柱之间的建图距离误差为2cm，纵向两支撑柱之间的建图误差为1cm，大厅横向最长部分的距离误差约4cm，纵向最长部分的距离误差为7cm。与Real-Time Loop Closure in 2D LIDAR SLAM论文中，Wolfgang Hess等人实验结果中的误差范围相符。
然后将本实施例的方法与RTAB算法所计算的轨迹绘制在同一张图上，通过两轨迹之间的距离误差来对比本文算法与RTAB算法的建图精度。由图10(a)、图10(b)、图10(c)、图10(d)所示。可以看到基于视觉里程计的RTAB算法在开阔场景或有大范围干扰的情况下会有大于1m的较大的计算误差，远大于Cartographer算法5cm的误差，因此本实施例的方法所构建的三维地图精度更高。
本实施例提出的基于Cartographer算法的RGBD相机大型三维场景构建方法，针对RGBD视觉SLAM算法在大场景和大干扰的情况下容易丢失自身位置和建图精确度不够的的问题，将激光SLAM算法应用在大场景三维建图中，并在校区主楼进行了现场实验，在线验证了本文算法相对传统意义上仅使用视觉里程计数据的建图算法更具实时性、准确性和抗干扰能力。
实施例二
本实施例提供一种基于Cartographer算法的RGBD相机大型三维场景构建***，该***包括：
点云配准模块，用于获取RGBD相机的深度图像与彩色图像，生成三维点云，并将点云配准到激光雷达参考系；
子图生成模块，用于获取机器人姿态数据和激光雷达的扫描点数据，利用Cartographerd算法的局部优化算法对其进行处理，生成子图和机器人里程计信息；
点云绑定模块，用于根据机器人里程计信息，将生成的子图与对应的点云进行绑定；
三维构建模块，用于拼接子图生成三维地图，绑定在对应点云上的点云也会被拼接，以此来实现RGBD相机三维场景图构建；
回环点云模块，用于当子图位姿发生变化时，将位姿出现变化的子图所绑定的点云按照子图变化进行重新平移。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1或图2所示的基于Cartographer算法的RGBD相机大型三维场景构建方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1或图2所示的基于Cartographer算法的RGBD相机大型三维场景构建方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于Cartographer算法的RGBD相机大型三维场景构建方法，其特征是，该方法包括以下步骤：
获取RGBD相机的深度图像与彩色图像，生成三维点云，并将点云配准到激光雷达参考系；
获取机器人姿态数据和激光雷达的扫描点数据，利用Cartographerd算法的局部优化算法对其进行处理，生成子图和机器人里程计信息；
根据机器人里程计信息，将生成的子图与对应的点云进行绑定，拼接子图生成三维地图。
2.根据权利要求1所述的基于Cartographer算法的RGBD相机大型三维场景构建方法，其特征是，所述点云生成方法为：
对RGBD相机进行配准，将深度相机参考系配准到彩色相机参考系下；
根据配准后深度图像中的相应的像素值计算彩色图像中的任一点在空间中的三维位置信息；
依次遍历整幅深度图像，得到相机对应的点云。
3.根据权利要求1所述的基于Cartographer算法的RGBD相机大型三维场景构建方法，其特征是，所述将点云配准到激光雷达参考系的步骤包括：
获取机器人底盘上彩色相机光心与激光雷达中心的距离及其在偏航角上的偏离的角度；
使用变换矩阵对相机点云中的每个点的坐标进行变换，将激光雷达的扫描点集与点云进行配准。
4.根据权利要求1所述的基于Cartographer算法的RGBD相机大型三维场景构建方法，其特征是，所述将生成的子图与对应的点云进行绑定的步骤包括：
记录生成的子图的位姿信息和时间戳，将生成子图时产生的时间戳与RGBD相机采集深度图像的时间戳进行对比，选择时间上最靠近子图的RGBD相机深度图像信息；
将时间上最靠近子图的RGBD相机深度图像信息和机器人位姿信息进行时间同步；
计算生成子图时机器人与子图之间的水平位移差和转动的角度差，形成旋转矩阵，使用旋转矩阵将点云变换到其对应子图的参考系中；
将变换到子图参考系中的点云与子图信息绑定，并对点云进行位移，将变换后的点云平移到子图空间所在位置。
5.根据权利要求1所述的基于Cartographer算法的RGBD相机大型三维场景构建方法，其特征是，还包括当子图位姿发生变化时，将位姿出现变化的子图所绑定的点云按照子图变化进行重新平移的步骤。
6.根据权利要求5所述的基于Cartographer算法的RGBD相机大型三维场景构建方法，其特征是，所述将位姿出现变化的子图所绑定的点云按照子图变化进行重新平移的步骤包括：
判断位姿出现变化的子图所在的区域点云，将该区域点云中的点云按照子图变化重新平移到子图空间所在位置。
7.一种基于Cartographer算法的RGBD相机大型三维场景构建***，其特征是，该***包括：
点云配准模块，用于获取RGBD相机的深度图像与彩色图像，生成三维点云，并将点云配准到激光雷达参考系；
子图生成模块，用于获取机器人姿态数据和激光雷达的扫描点数据，利用Cartographerd算法的局部优化算法对其进行处理，生成子图和机器人里程计信息；
点云绑定模块，用于根据机器人里程计信息，将生成的子图与对应的点云进行绑定；
三维构建模块，用于拼接子图生成三维地图。
8.根据权利要求7所述的基于Cartographer算法的RGBD相机大型三维场景构建***，其特征是，该***还包括：
回环点云模块，用于当子图位姿发生变化时，将位姿出现变化的子图所绑定的点云按照子图变化进行重新平移。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-6中任一项所述的基于Cartographer算法的RGBD相机大型三维场景构建方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的基于Cartographer算法的RGBD相机大型三维场景构建方法中的步骤。
CN201910452208.XA 2019-05-28 2019-05-28 Rgbd相机大型三维场景构建方法及*** Active CN110163968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910452208.XA CN110163968B (zh) 2019-05-28 2019-05-28 Rgbd相机大型三维场景构建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910452208.XA CN110163968B (zh) 2019-05-28 2019-05-28 Rgbd相机大型三维场景构建方法及***

Publications (2)

Publication Number Publication Date
CN110163968A true CN110163968A (zh) 2019-08-23
CN110163968B CN110163968B (zh) 2020-08-25

Family

ID=67629702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910452208.XA Active CN110163968B (zh) 2019-05-28 2019-05-28 Rgbd相机大型三维场景构建方法及***

Country Status (1)

Country Link
CN (1) CN110163968B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110849351A (zh) * 2019-11-21 2020-02-28 大连理工大学 一种利用深度相机和双目相机构建栅格地图的方法
CN110849352A (zh) * 2019-11-21 2020-02-28 大连理工大学 一种利用红外、深度和双目相机融合构建栅格地图的方法
CN111340834A (zh) * 2020-03-10 2020-06-26 山东大学 基于激光雷达和双目相机数据融合的衬板装配***及方法
CN111429344A (zh) * 2020-02-19 2020-07-17 上海交通大学 基于感知哈希的激光slam闭环检测方法及***
CN111461982A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 用于拼接点云的方法和装置
CN111757021A (zh) * 2020-07-06 2020-10-09 浙江大学 面向移动机器人远程接管场景的多传感器实时融合方法
CN111795687A (zh) * 2020-06-29 2020-10-20 深圳市优必选科技股份有限公司 一种机器人地图更新方法、装置、可读存储介质及机器人
CN111915723A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 一种用于室内的三维全景构建方法和***
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和***
CN112462385A (zh) * 2020-10-21 2021-03-09 南开大学 一种基于激光雷达的室外大环境下的地图拼接定位方法
CN112799095A (zh) * 2020-12-31 2021-05-14 深圳市普渡科技有限公司 静态地图生成方法、装置、计算机设备及存储介质
CN112894832A (zh) * 2019-11-19 2021-06-04 广东博智林机器人有限公司 三维建模方法、装置、电子设备和存储介质
WO2021189194A1 (zh) * 2020-03-23 2021-09-30 罗伯特博世有限公司 三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
WO2021208442A1 (zh) * 2020-04-14 2021-10-21 广东博智林机器人有限公司 一种三维场景的重建***、方法、设备及存储介质
CN113587933A (zh) * 2021-07-29 2021-11-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113674399A (zh) * 2021-08-16 2021-11-19 杭州图灵视频科技有限公司 一种移动机器人室内三维点云地图构建方法及***
CN113834479A (zh) * 2021-09-03 2021-12-24 Oppo广东移动通信有限公司 地图生成方法、装置、***、存储介质及电子设备
CN113870358A (zh) * 2021-09-17 2021-12-31 聚好看科技股份有限公司 一种多个3d相机联合标定的方法及设备
WO2022257801A1 (zh) * 2021-06-09 2022-12-15 山东大学 基于slam的移动机器人矿山场景重建方法及***
US11928830B2 (en) 2021-12-22 2024-03-12 Honeywell International Inc. Systems and methods for generating three-dimensional reconstructions of environments

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2302586A1 (en) * 2009-08-21 2011-03-30 Sony Corporation Information processing device, information processing method and program
US8224097B2 (en) * 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
US9390344B2 (en) * 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN105843223A (zh) * 2016-03-23 2016-08-10 东南大学 一种基于空间词袋模型的移动机器人三维建图与避障方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106598052A (zh) * 2016-12-14 2017-04-26 南京阿凡达机器人科技有限公司 一种基于环境地图的机器人安防巡检方法及其机器人
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN107301654A (zh) * 2017-06-12 2017-10-27 西北工业大学 一种多传感器的高精度即时定位与建图方法
US20180074176A1 (en) * 2016-09-14 2018-03-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Motion compensation method and apparatus applicable to laser point cloud data
CN109507677A (zh) * 2018-11-05 2019-03-22 浙江工业大学 一种结合gps和雷达里程计的slam方法
CN109541630A (zh) * 2018-11-22 2019-03-29 武汉科技大学 一种适用于建筑物室内平面2d slam测绘的方法
CN109633664A (zh) * 2018-12-29 2019-04-16 南京理工大学工程技术研究院有限公司 基于rgb-d与激光里程计的联合定位方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224097B2 (en) * 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
EP2302586A1 (en) * 2009-08-21 2011-03-30 Sony Corporation Information processing device, information processing method and program
US9390344B2 (en) * 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN105843223A (zh) * 2016-03-23 2016-08-10 东南大学 一种基于空间词袋模型的移动机器人三维建图与避障方法
US20180074176A1 (en) * 2016-09-14 2018-03-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Motion compensation method and apparatus applicable to laser point cloud data
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN106598052A (zh) * 2016-12-14 2017-04-26 南京阿凡达机器人科技有限公司 一种基于环境地图的机器人安防巡检方法及其机器人
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN107301654A (zh) * 2017-06-12 2017-10-27 西北工业大学 一种多传感器的高精度即时定位与建图方法
CN109507677A (zh) * 2018-11-05 2019-03-22 浙江工业大学 一种结合gps和雷达里程计的slam方法
CN109541630A (zh) * 2018-11-22 2019-03-29 武汉科技大学 一种适用于建筑物室内平面2d slam测绘的方法
CN109633664A (zh) * 2018-12-29 2019-04-16 南京理工大学工程技术研究院有限公司 基于rgb-d与激光里程计的联合定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINFA YAN 等: "Design and evaluation of visual SLAM method based on Realsense for mobile robots", 《2018 CHINESE AUTOMATION CONGRESS (CAC)》 *
陈世浪 等: "基于RGB-D相机的SLAM技术研究综述", 《计算机是工程与应用》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112894832A (zh) * 2019-11-19 2021-06-04 广东博智林机器人有限公司 三维建模方法、装置、电子设备和存储介质
CN112894832B (zh) * 2019-11-19 2022-06-03 广东博智林机器人有限公司 三维建模方法、装置、电子设备和存储介质
CN110849352A (zh) * 2019-11-21 2020-02-28 大连理工大学 一种利用红外、深度和双目相机融合构建栅格地图的方法
CN110849351A (zh) * 2019-11-21 2020-02-28 大连理工大学 一种利用深度相机和双目相机构建栅格地图的方法
CN111429344A (zh) * 2020-02-19 2020-07-17 上海交通大学 基于感知哈希的激光slam闭环检测方法及***
CN111429344B (zh) * 2020-02-19 2022-04-26 上海交通大学 基于感知哈希的激光slam闭环检测方法及***
CN111340834A (zh) * 2020-03-10 2020-06-26 山东大学 基于激光雷达和双目相机数据融合的衬板装配***及方法
CN111340834B (zh) * 2020-03-10 2023-05-12 山东大学 基于激光雷达和双目相机数据融合的衬板装配***及方法
WO2021189194A1 (zh) * 2020-03-23 2021-09-30 罗伯特博世有限公司 三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
CN111461982A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 用于拼接点云的方法和装置
CN111461982B (zh) * 2020-03-30 2023-09-22 北京百度网讯科技有限公司 用于拼接点云的方法和装置
WO2021208442A1 (zh) * 2020-04-14 2021-10-21 广东博智林机器人有限公司 一种三维场景的重建***、方法、设备及存储介质
CN113592989A (zh) * 2020-04-14 2021-11-02 广东博智林机器人有限公司 一种三维场景的重建***、方法、设备及存储介质
CN113592989B (zh) * 2020-04-14 2024-02-20 广东博智林机器人有限公司 一种三维场景的重建***、方法、设备及存储介质
CN111795687A (zh) * 2020-06-29 2020-10-20 深圳市优必选科技股份有限公司 一种机器人地图更新方法、装置、可读存储介质及机器人
CN111757021B (zh) * 2020-07-06 2021-07-20 浙江大学 面向移动机器人远程接管场景的多传感器实时融合方法
CN111757021A (zh) * 2020-07-06 2020-10-09 浙江大学 面向移动机器人远程接管场景的多传感器实时融合方法
CN111915723A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 一种用于室内的三维全景构建方法和***
CN112462385A (zh) * 2020-10-21 2021-03-09 南开大学 一种基于激光雷达的室外大环境下的地图拼接定位方法
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和***
CN112799095B (zh) * 2020-12-31 2023-03-14 深圳市普渡科技有限公司 静态地图生成方法、装置、计算机设备及存储介质
CN112799095A (zh) * 2020-12-31 2021-05-14 深圳市普渡科技有限公司 静态地图生成方法、装置、计算机设备及存储介质
WO2022257801A1 (zh) * 2021-06-09 2022-12-15 山东大学 基于slam的移动机器人矿山场景重建方法及***
CN113587933A (zh) * 2021-07-29 2021-11-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113587933B (zh) * 2021-07-29 2024-02-02 山东山速机器人科技有限公司 一种基于分支定界算法的室内移动机器人定位方法
CN113674399A (zh) * 2021-08-16 2021-11-19 杭州图灵视频科技有限公司 一种移动机器人室内三维点云地图构建方法及***
CN113834479A (zh) * 2021-09-03 2021-12-24 Oppo广东移动通信有限公司 地图生成方法、装置、***、存储介质及电子设备
CN113870358A (zh) * 2021-09-17 2021-12-31 聚好看科技股份有限公司 一种多个3d相机联合标定的方法及设备
CN113870358B (zh) * 2021-09-17 2024-05-24 聚好看科技股份有限公司 一种多个3d相机联合标定的方法及设备
US11928830B2 (en) 2021-12-22 2024-03-12 Honeywell International Inc. Systems and methods for generating three-dimensional reconstructions of environments

Also Published As

Publication number Publication date
CN110163968B (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN110163968A (zh) Rgbd相机大型三维场景构建方法及***
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN102609942B (zh) 使用深度图进行移动相机定位
Xie et al. Study on construction of 3D building based on UAV images
CN103226838A (zh) 地理场景中移动监控目标的实时空间定位方法
CN107036594A (zh) 智能电站巡检智能体的定位与多粒度环境感知技术
Xiao et al. 3D point cloud registration based on planar surfaces
CN114419147A (zh) 一种救援机器人智能化远程人机交互控制方法及***
CN115388902B (zh) 室内定位方法和***、ar室内定位导航方法和***
Hu et al. Stable least-squares matching for oblique images using bound constrained optimization and a robust loss function
Ceriani et al. Pose interpolation slam for large maps using moving 3d sensors
CN109872350A (zh) 一种新的点云自动配准方法
Kühner et al. Large-scale volumetric scene reconstruction using lidar
CN108665541A (zh) 一种基于激光传感器的地图生成方法及装置和机器人
CN108133496A (zh) 一种基于g2o与随机蕨类的稠密地图创建方法
Schadler et al. Multi-resolution surfel mapping and real-time pose tracking using a continuously rotating 2D laser scanner
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及***
CN117518196A (zh) 一种激光雷达的运动补偿方法、装置、***、设备及介质
CN117007065B (zh) 一种用于平面型边坡贴壁飞行的无人机航线规划方法
Xu et al. A flexible 3D point reconstruction with homologous laser point array and monocular vision
Ma et al. Low‐Altitude Photogrammetry and Remote Sensing in UAV for Improving Mapping Accuracy
CN106959101A (zh) 一种基于光流法的室内定位方法
Chai et al. A fast 3D surface reconstruction method for spraying robot with time-of-flight camera
CN111325662A (zh) 一种基于球面投影全景图生成3d空间户型模型的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230105

Address after: 1201-7, Floor 12, Hanyu Jingu Artificial Intelligence Building, Jingshi Road, Jinan Area, China (Shandong) Pilot Free Trade Zone, 250000 Shandong Province

Patentee after: Shandong Xinchen Artificial Intelligence Technology Co.,Ltd.

Address before: 250061, No. ten, No. 17923, Lixia District, Ji'nan City, Shandong Province

Patentee before: SHANDONG University