CN111754566A - 机器人场景定位方法和施工操作方法 - Google Patents
机器人场景定位方法和施工操作方法 Download PDFInfo
- Publication number
- CN111754566A CN111754566A CN202010396690.2A CN202010396690A CN111754566A CN 111754566 A CN111754566 A CN 111754566A CN 202010396690 A CN202010396690 A CN 202010396690A CN 111754566 A CN111754566 A CN 111754566A
- Authority
- CN
- China
- Prior art keywords
- robot
- information
- pose
- positioning
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000010276 construction Methods 0.000 title claims abstract description 78
- 238000010586 diagram Methods 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims description 68
- 239000002245 particle Substances 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 18
- 238000009435 building construction Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 30
- 239000010410 layer Substances 0.000 description 27
- 230000007547 defect Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 238000005034 decoration Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008439 repair process Effects 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000012792 core layer Substances 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 102000008115 Signaling Lymphocytic Activation Molecule Family Member 1 Human genes 0.000 description 2
- 108010074687 Signaling Lymphocytic Activation Molecule Family Member 1 Proteins 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007591 painting process Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种机器人场景定位方法和施工操作方法。涉及机器人控制领域，其中，机器人场景定位方法通过根据BIM数据提取结构信息生成建筑的完工状态栅格图，获取机器人上安装的激光雷达对当前场景的扫描数据，利用自适应蒙特卡洛算法根据扫描数据、完工状态栅格图对机器人在当前场景进行定位得到机器人的当前定位信息。基于BIM模型信息作为先验信息，从中提取关于房屋建筑结构尺寸信息，并转化为可用于机器人定位的完工状态栅格图，可在整个工程周期中使用信息冗余的完工图定位方法，简化了定位流程，提高机器人在变化场景下的定位效率。
Description
技术领域
本发明涉及机器人控制领域，尤其是涉及一种机器人场景定位方法和施工操作方法。
背景技术
同时定位和映射(simultaneous localization and mapping，简称SLAM)的主要原理是通过机器人上的传感器检测周围环境，并在估计姿势(位姿包括位置和方向)的同时构建环境图。以目前大量应用于室内机器人定位的视觉SLAM为例，到达施工场地后需要人工遥控机器人构建场景的视觉特征地图，尤其是在场地面积大、结构复杂时将会消耗大量工作时间及人力物力，降低机器人的自主性，失去了使用机器人提高装修自动化的意义。除此之外，由于建筑装修工作的特殊性，施工环境与机器人存在这大规模互动，随着施工过程的进行，机器人所处的实际环境会不断变化，例如逐渐搭建墙体，最终与完工图纸吻合等。面对变化场景的情况，传统情况下都需要不停的重新建图以确保机器人在变化场景下的定位精度，导致定位效率降低。因此需要提出一种能够提高机器人在变化场景下的定位效率的机器人场景定位方法。
发明内容
本发明旨在至少解决相关技术中存在的技术问题之一。为此，本发明提出一种机器人场景定位方法，能够提高机器人在变化场景下的定位效率，实现无需事先建图，并且可在整个工程周期中使用的定位方法。
第一方面，本发明的一个实施例提供了：一种机器人场景定位方法，包括：
根据BIM数据提取结构信息生成建筑的完工状态栅格图；
获取所述机器人上安装的激光雷达对当前场景的扫描数据；
利用自适应蒙特卡洛算法根据所述扫描数据、所述完工状态栅格图对所述机器人在当前场景进行定位得到所述机器人的当前定位信息。
进一步地，所述利用自适应蒙特卡洛算法根据所述扫描数据、所述完工状态栅格图对所述机器人在当前场景进行定位得到所述机器人的当前定位信息，包括：
获取所述扫描数据中包含的工程结构信息；
根据所述工程结构信息实时更新自适应蒙特卡洛算法中每一个粒子的似然域；
将所述似然域作为权重对粒子进行筛选；
根据筛选结果、所述完工状态栅格图对所述机器人在当前场景进行定位得到所述机器人的当前定位信息。
本发明实施例至少具有如下有益效果：简化了定位流程，提高机器人在变化场景下的定位效率
第二方面，本发明的一个实施例提供了：一种施工操作方法，包括：
利用如第一方面任一项所述的机器人场景定位方法得到机器人的当前定位信息；
利用所述当前定位信息进行帧间位姿追踪得到待优化估计位姿；
对所述待优化估计位姿进行联合优化，得到联合优化位姿；
根据所述联合优化位姿和通过特征提取得到的三维位置信息进行施工操作。
进一步地，所述将所述当前定位信息作为初始位姿进行帧间位姿追踪得到待优化估计位姿，包括：
根据机器人与相机之间的变换矩阵和所述当前定位信息得到当前的相机定位信息；
将所述相机定位信息作为初始位姿获得相机帧间定位差，利用相机投影误差和所述相机帧间定位差，得到待优化估计位姿。
进一步地，所述联合优化为利用非线性优化光束平差法进行优化。
进一步地，通过特征匹配得到所述相机投影误差，包括：
利用激光投射器进行环境投影得到若干个投影光斑；
利用摄像装置获取所述投影光斑进行ORB特征匹配；
根据特征匹配结果得到所述相机投影误差。
进一步地，还包括利用神经网络进行操作识别，根据操作识别结果确定操作目标的三维位置信息，机器人根据所述联合优化位姿和所述三维位置信息进行施工操作。
本发明实施例至少具有如下有益效果：利用BIM模型信息得到的当前定位信息，进行前端融合BIM信息的帧间位姿追踪和后端融合BIM信息的联合优化，提高传统视觉SLAM的精度。
第三方面，本发明的一个实施例提供了：一种施工操作***，包括：
获取当前定位信息单元：用于利用如第一方面任一项所述的机器人场景定位方法得到机器人的当前定位信息；
帧间位姿追踪单元：用于利用所述当前定位信息进行帧间位姿追踪得到待优化估计位姿；
联合优化单元：用于对所述待优化估计位姿进行联合优化，得到联合优化位姿；
施工操作单元：用于根据所述联合优化位姿和通过特征提取得到的操作位置信息进行施工操作。
第四方面，本发明的一个实施例提供了：一种电子设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法，或，用于执行如第二方面任一项所述的方法。
第五方面，本发明的一个实施例提供了：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法，或，用于执行如第二方面任一项所述的方法。
本发明实施例的有益效果是：
本发明实施例通过根据BIM数据提取结构信息生成建筑的完工状态栅格图，获取机器人上安装的激光雷达对当前场景的扫描数据，利用自适应蒙特卡洛算法根据扫描数据、完工状态栅格图对机器人在当前场景进行定位得到机器人的当前定位信息。无需在工程开始时事先遥控机器人构建场景的视觉特征地图，避免在场地面积大、结构复杂时消耗大量工作时间及人力物力，降低机器人的自主性，基于BIM模型信息作为先验信息，从中提取关于房屋建筑结构尺寸信息，并转化为可用于机器人定位的完工状态栅格图，可在整个工程周期中使用信息冗余的完工图定位方法，简化了定位流程，提高机器人在变化场景下的定位效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例中机器人场景定位方法的一具体实施例流程示意图；
图2是本发明实施例中机器人场景定位方法的一具体实施例BIM模型图与完工状态栅格图示意图；
图3是本发明实施例中机器人场景定位方法的一具体实施例激光扫描示意图；
图4是本发明实施例中施工操作方法的一具体实施例流程示意图；
图5是本发明实施例中施工操作方法的一具体实施例帧间位姿追踪示意图；
图6-图9是本发明实施例中施工操作方法的一具体实施例视觉增强效果示意图；
图10是相关技术中重投影误差示意图；
图11是本发明实施例中施工操作方法的一具体实施例基于BIM信息的帧间约束重投影误差示意图；
图12是两种墙面缺陷示意图；
图13是本发明实施例中施工操作方法的一具体实施例YOLO卷积神经网络检测效果示意图；
图14是本发明实施例中施工操作***的一具体实施例结构框图。
具体实施方式
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
实施例：
施工机器人工作环境不同于一般的室内移动机器人，主要有以下三个特点：1.可以获取工作环境先验信息BIM(Building Information Modeling，简称BIM)；2.工作环境多属于室内弱纹理毛胚墙；3.工作环境环境随施工进行会发生结构性变化。传统视觉SLAM的建图加定位流程框架效率低并且无法在弱纹理环境下工作，另外当环境结构发生变化时，传统视觉SLAM建立的特征地图将无法使用，需要重新构建地图，这与施工机器人工作场景存在不可调和的矛盾。
本实施例通过预先获取建筑环境先验信息BIM，并结合双目视觉与2D激光雷达进行可重复、高精度的定位工作。
本发明一实施例提供一种机器人场景定位方法，图1为本发明实施例提供的机器人场景定位方法的流程示意图，如图1所示，该方法包括以下步骤：
S11：根据BIM数据提取结构信息生成建筑的完工状态栅格图。
其中BIM全称为：Building Information Modeling，BIM将建筑的设计、施工、运行直至建筑全寿命周期的终结中各种信息整合于一个三维模型信息数据库中，通过建立虚拟的建筑工程三维模型，利用数字化技术，为这个模型提供完整的、与实际情况一致的建筑工程信息库。该数据库不仅包含描述建筑物构件的几何信息、专业属性及状态信息，还包含了非构件对象(如空间、运动行为)的状态信息。由于BIM包含了建筑领域的信息存储方案，有丰富的建筑物信息，因此本实施例针对施工机器人定位需求对BIM中的可用信息进行提取，将其作为建筑环境先验信息。
在一种实施方式中，BIM以标准交换格式IFC(IndustryFoundationClass)进行保存，IFC的信息描述分为四个层次：资源层(IFC-Resource Layer)、核心层(IFC-CoreLayer)、共享层(IFC-Interoperability Layer)和领域层(IFC-Domain Laye)。
其中资源层作为整个体系的基本层，IFC任意层都可引用资源层中的实体。该层主要定义了工程项目的通用信息，这些信息独立于具体建筑，没有整体结构，是分散的基础信息。该层核心内容主要包括属性资源、表现资源、结构资源。这些实体资源主要用于上层实体资源的定义，以显示上层实体的属性。
核心层定义了信息模型的总体框架，例如定义了产品、过程、控制等相关信息，主要作用是将下层分散的基础信息组织起来，形成IFC模型的基本结构，然后用以描述现实世界中的实物以及抽象的流程。在整个体系之中起到了承上启下的作用。该层提炼定义了适用于整个建筑行业的抽象概念，比如IFCProduct实体可以描述建筑项目的建筑场地、建筑空间、建筑构件等。
共享层主要是服务于领域层，使各个领域间的信息能够交互，同时细化***的组成元素，具体的建筑构件如板(IFCSlab)、柱(IFCColumn)、梁(IFCBeam)、墙(IfcWall)等均在这一层被定义，假如一栋楼有100道墙,在中性文件里就会有100个IfcWall实例。
领域层是IFC体系架构的顶层，主要定义了面向各个专业领域的实体类型。这些实体都面向各个专业领域具有特定的概念。比如暖通领域的锅炉、管道等。
如图2所示，为一种实施例中BIM模型图与完工状态栅格图示意图，从图中可见，根据BIM模型图中各IFC实体之间的继承关系提取工程中结构、尺寸信息，然后按照预设分辨率生成建筑的完工状态栅格图。
S12：获取机器人上安装的激光雷达对当前场景的扫描数据。
在一种实施方式中，机器人上安装一个2D激光雷达，实时对施工场景进行扫描获得现场的扫描数据，扫描数据包括工程结构信息，例如承重墙、隔板墙等。
S13：利用自适应蒙特卡洛算法根据扫描数据、完工状态栅格图对机器人在当前场景进行定位得到机器人的当前定位信息。
在一种实施方式中，步骤S13的实现过程如下述：
S131：获取扫描数据中包含的工程结构信息，根据施工过程中环境变化特点可知，最初状态只有承重墙，随着施工进展，搭建出隔板墙，当所有的隔板墙搭建完毕后，达到完工图纸的效果。
S132：根据障碍物信息实时更新自适应蒙特卡洛算法中每一个粒子的似然域。
S133：将似然域作为权重对粒子进行筛选。
S134：根据筛选结果、完工状态栅格图对机器人在当前场景进行定位得到机器人的当前定位信息。
例如在扫描层scan_layer进行更新，通过potential_map_server在潜在层加载完工状态的栅格图，在扫描层scan_layer获取当前位置的激光雷达扫描数据中的所有工程结构信息例如隔板墙等障碍物。通过计算每一个粒子的似然域(即上述的概率)作为权重对粒子进行筛选，权重越小的粒子说明以其为基准得到的观测数据与实际地图越不相符，所以该粒子越容易被筛选掉。
如图3所示，为一种实施方式中激光扫描示意图，对于所有粒子而言，如果地图中存在一面观测不到的墙(如图中虚线所示)，那么激光会穿过该墙，如果末端能照射到其他墙体上，那么可以根据其他墙体的似然域来计算权重(如左图)，如果末端没有照射到任何墙体，那么将会作为无效值舍去(如右图)。当某物体既出现在扫描层scan_layer中又出现在潜在层potential_map_server中，即认为其为墙体。
在一种实施方式中，利用自适应蒙特卡洛算法的粒子滤波实现定位，蒙特卡洛粒子滤波定位可以看成下述过程：例如一开始在场景中均匀分布一群粒子，通过机器人的移动来移动粒子，比如机器人向前移动一米，所有的粒子也向前移动一米，然后使用每个粒子所在的位置模拟一个传感器位置信息与本实施例中机器人通过2D激光雷达扫描得到的扫描数据进行比对，从而赋给每个粒子一个概率，即似然域，根据生成的概率大小来重新生成粒子，一般来说概率越高的生成概率越大，也就是将似然域进行权重进行筛选，留下权重大的粒子，经过多次迭代之后，所有的粒子会慢慢的收敛，根据粒子收敛的结果进行机器人定位得到机器人的当前定位信息。
在一种实施方式中权重计算方式有很多，权重可以简单的认为是和真实传感器测量值之间的差别大小，比如说当前的一个粒子的预测位置和测量目标之前的距离差别大，则其越大权重越小，小的权重说明距离真实的位置远。
例如机器人初始在一个墙附近的位置，但是机器人并不知道自己在哪，这时候初始化所有的粒子，并且所有粒子的权重都是一样的。此时机器人通过激光扫描数据得知面前是一面墙，这时候和墙比较近的粒子的权重都提高了。进行重采样之后，机器人移动，可以看到采样后的粒子都集中在原来靠近墙的这些粒子点附近，这时候机器人重新感知，得知面前还是一个墙，这时候，原来采样的靠近墙的粒子权重变大，进行筛选之后保留权重大的粒子，此时主要的采样点已经集中在墙的位置，机器人通过筛选结果得知自己的位置是在墙旁边，实现对机器人的定位。
由于任何施工阶段地图都是完工状态时地图的子集，同时本实施例的粒子似然域可以实时更新，因此通过权重筛选可以实时得到机器人的当前定位信息，所以本实施例中使用完工状态栅格图能够用于不同施工阶段的导航，无需在工程开始时事先遥控机器人构建场景的视觉特征地图，避免在场地面积大、结构复杂时消耗大量工作时间及人力物力，降低机器人的自主性。同时本实施例基于BIM模型信息作为先验信息，从中提取关于房屋建筑结构尺寸信息，并转化为可用于机器人定位的完工状态栅格图，可在整个工程周期中使用信息冗余的完工图定位方法，简化了定位流程，面对变化场景，直接可以定位，提高机器人在变化场景下的定位效率。
在另一个实施例中，提供一种施工操作方法，基于传统视觉SLAM方法进行改进。解决传统视觉SLAM在变化环境、弱纹理的室内装修情况下无法满足高效、高精度定位建图需求的问题，同时通过深度学习使构建的SLAM地图具有语义信息。
传统的激光SLAM和视觉SLAM优缺点非常的明显：在面对弱纹理环境下，激光SLAM的稳定性、精度都优于传统视觉SLAM；而在感知高维度环境信息(如：识别墙面缺陷点、三维重建等)方面，视觉SLAM更胜一筹。但是视觉SLAM对环境变化的鲁棒性差，不能直接应用于建筑施工场景中，无法很好的在室内墙面弱纹理的装修环境下工作，因此本实施例通过视觉结合2D激光雷达的融合SLAM的施工操作方法有效的结合传统激光SLAM和传统视觉SLAM的各自优势。
如图4所示，为本发明实施例提供的施工操作方法的流程示意图，如图1所示，该方法包括以下步骤：
S21：利用如上述实施例所述的任一项的机器人场景定位方法得到机器人的当前定位信息，即上述通过实施例得到机器人的当前定位信息。
S22：利用当前定位信息进行帧间位姿追踪得到待优化估计位姿，本实施例的帧间位姿追踪可看作是前端融合BIM信息的帧间位姿追踪。
传统视觉SLAM，其前端通过运动匀速模型，该模型认为相机始终处于恒速运动状态，所以第k+1帧相对于第k帧的变换矩阵与第k帧相对于第k-1帧的变换矩阵相同，但是这样的假设显然不符合施工机器人工作要求，因此本实施例中通过融合BIM信息对匀速模型进行改进。
S23：对待优化估计位姿进行联合优化，得到联合优化位姿。例如一种实施方式中采用利用非线性优化光束平差法进行联合优化，非线性优化光束平差法(BundleAdjustment)又称BA法。
S24：根据联合优化位姿和通过特征提取得到的三维位置信息进行施工操作，其中三维位置信息是一种语义信息，根据语义信息进行地图构建，识别出***作目标，例如墙面修复时，墙面缺陷的三维位置信息，施工操作即为机器人进行墙面缺陷修复等，扩展机器人的应用范围。
在一种实施方式中，步骤S22的前端融合BIM信息的帧间位姿追踪具体过程如下所示，包括：
S221：根据机器人与相机之间的变换矩阵和当前定位信息得到当前的相机定位信息，表示为：
T相机＝T当前机器人定位*T机器人-相机
其中，T相机表示当前的相机定位信息，T当前机器人定位表示机器人的当前定位信息，T机器人-相机表示机器人与相机之间的变换矩阵，该变换矩阵可以作为先验参数得到。
S222：将相机定位信息作为初始位姿获得相机帧间定位差，利用相机投影误差和相机帧间定位差，得到待优化估计位姿。
在一种实施方式中，将当前的相机定位信息作为初始位姿，替代相关技术中的匀速运动模型的初始位姿，然后基于已优化的上一帧到当前帧的相机帧间定位差，结合当前帧观测到的三维特征点到当前的相机投影误差。
如图5所示，为本实施例的帧间位姿追踪示意图，其中P为三维空间点，P1和P2为三维空间点分别在相机第k帧(已优化的前一帧)和第k+1帧(待优化的当前帧)的观测相匹配点对，即通过特征匹配得到观测相匹配点对，P2’为三维空间点P在相机在第k+1帧的投影点，e投影表示相机当前帧的观测点P2与投影点P2’之间的相机平面距离误差，即上述相机投影误差，eBIM表示相机帧间定位差，即相机当前帧的待优化估计位姿和通过BIM信息获得的相机初始位姿(步骤S221得到的相机定位信息)之间的误差。
待优化估计位姿是属于帧间追踪，通过观测对当前帧进行优化，表示为：
其中，ζ*表示待优化估计位姿，即相机位姿李代数，u表示相机第k+1帧中观测点P2的像素坐标，Kexp(ζ^)P表示三维空间点P在相机参数K的情况下对相机第k+1帧的帧平面投影，其投影值表示为P2’,Tw_curr表示相机第k+1帧的待优化估计位姿，Tw_BIM表示通过BIM信息获得的第k+1帧相机定位信息，即初始位姿，e投影表示相机第k+1帧的观测点P2与投影点P2’之间的相机平面距离误差，即上述相机投影误差，eBIM表示相机帧间定位差，即相机当前帧的待优化估计位姿和通过BIM信息获得的相机初始位姿之间的误差。
在一种实施方式中，通过特征匹配得到相机投影误差，包括：
S2221：利用激光投射器进行环境投影得到若干个投影光斑；
S2222：利用摄像装置获取投影光斑进行ORB特征匹配；
S2223：根据特征匹配结果得到相机投影误差。
由于装修环境中可能遇到墙面缺乏纹理特征的情况，这时将无法提取视觉特征进行特征匹配。因此本实施例针对此种情况进行人工投影的视觉特征增强。具体做法是通过激光投射器组成点阵向缺乏视觉特征的墙面进行环境投影得到若干个投影光斑，通过摄像装置，例如双目摄像机捕捉这些人工投影的投影光斑提取ORB特征进行ORB特征匹配，根据特征匹配结果按照上述方式得到相机投影误差，以进行待优化估计位姿的计算。
在一种实施方式中，设置激光投射器点阵的目的是当有些施工场景墙面大、场景范围大时，能够满足全场地视觉特征投放要求，因此设计全向激光点阵投射装置，例如该装置设置成8个激光点阵投射器，并均布在360度的圆形基座上，每个激光投射器配有2个自由度的旋转底座，可分别实现垂直于水平面方向的旋转与俯仰，以此满足不同房屋结构的投射需求。同时底部可安装三脚架，提高投射点高度，防止杂物遮挡光路。
如图6-图9所示，为本实施例一种实施方式中视觉增强效果示意图。图6为室内墙面提取到的视觉特征，图7为两幅图像之间成功匹配的特征，可以发现，由于墙面较为平整，纹理特征稀疏，导致相邻帧之间能够成功匹配的特征点很少。对于室内粉刷工艺需要操作的墙面为白墙时，可供提取的视觉特征将会更加稀疏。图8为激光投射器光斑示意图，图9为使用激光投射器进行视觉特征增强后的特征匹配情况。可以看出经过激光投影，能够提取的ORB特征显著增多，即使在完全空白的墙面上也可以实现特征匹配，实现弱纹理装修环境下的定位与建图，能够根据特征匹配结果按照上述方式得到相机投影误差，以进行待优化估计位姿的计算，最终满足施工机器人施工操作***需求。
本实施例上述过程完成了前端融合BIM信息的帧间位姿追踪，能够通过相邻帧间的检测图像估计相机的运动，将相邻时刻的运动串联起来，就构成了机器人的运动轨迹，从而实现定位。另一方面，根据每一时刻的相机位姿，就能够计算出各像素对应的三维空间点的位置，也就能够得到场景地图。
由于任何测量数据都有噪声，上述前端融合BIM信息的帧间位姿追踪能够从图像中估计到相机的运动，但是需要降低估计过程中噪声的影响进行后端优化，否则不可避免地出现累计漂移，漂移将导致无法建立一致的地图，因此将前端的待优化估计位姿以及这些数据的初始值发送给后端进行整体优化，一般来说，优化方法为滤波或非线性优化算法。
本实施例中步骤S23对待优化估计位姿进行联合优化，得到联合优化位姿中的联合优化即上述的后端优化过程，一种实施方式中采用利用非线性优化光束平差法进行联合优化，光束平差法(Bundle Adjustment)又称BA法，是一种非线性优化方法。
相关技术中后端优化多是使用重投影误差法，该方法将像素坐标对应的三维特征点坐标按照估计的位姿投影到临近帧上，在临近帧上得到的像素坐标与特征匹配得到的像素坐标之间的误差。
如图10所示，为相关技术中重投影误差示意图，其中P为三维空间点，P1和P2为三维空间点分别在相机第k帧和k+1帧的观测相匹配点对，P2’为三维空间点P在相机第k+1帧的投影点，e为相机第k+1帧观测点P2与投影点P2’之间的相机平面距离误差。使用非线性优化光束平差法BA进行求解。
但是现有的非线性优化光束平差法BA的优化过度依赖相机的初始位姿，由于初始位姿不精确，导致非线性优化光束平差法BA的优化过程需要多次迭代才能达到足够精度，需要的迭代周期较长，并且不能得到较好的优化结果。因此本实施例对重投影误差法进行改进，使用融合BIM信息，并通过2D激光雷达进行预定位得到相机定位信息作为相机当前帧的初始位姿，实现帧间约束，这样可以在较少优化迭代周期内获得更精确的优化结果。
如图11所示，为本实施例中基于BIM信息的帧间约束重投影误差示意图。其中P为三维空间点，P1和P2为三维空间点分别在相机第k帧和第k+1帧的观测相匹配点对，即通过特征匹配得到观测相匹配点对，P2’为三维空间点P在相机第k+1帧的投影点，e投影表示相机k+1帧的观测点P2与投影点P2’之间的相机平面距离误差，即上述相机投影误差，eBIM表示相机帧间定位差，即相机当前帧的待优化估计位姿和通过BIM信息获得的相机初始位姿之间的误差。
经过联合优化的联合优化位姿属于帧间优化，因此需要遍历当前帧的若干共视帧进行联合优化，表示为：
其中，ζ*1表示联合优化位姿，是一种李代数，
表示遍历第k+1帧之前的帧，例如取20个共视帧，即k从1遍历到20，u表示相机第k+1帧中观测点P2的像素坐标，Kexp(ζ^)P表示三维空间点P在相机参数K的情况下对相机第k+1帧的帧平面投影，其投影值表示为P2’,Tw_k+1表示相机第k+1帧的待优化估计位姿，Tw_BIM1表示通过BIM信息获得的第k+1帧相机定位信息，即初始位姿，e投影表示相机第k+1帧的观测点P2与投影点P2’之间的相机平面距离误差，即上述相机投影误差，eBIM表示相机帧间定位差，即相机第k+1帧的待优化估计位姿和通过BIM信息获得的相机初始位姿之间的误差。
上述得到联合优化位姿过程中，在图优化非线性优化光束平差法BA中，通过BIM信息的注入增加了相机第k帧和相机第k+1帧之间的约束边，相比较相关技术中非线性优化只有相机和路标三维空间点的边约束来说，提高了优化效果，减少了优化迭代次数。
在一种实施方式中步骤S24根据联合优化位姿和通过特征提取得到的三维位置信息进行施工操作，其中三维位置信息是一种语义信息，根据语义信息进行地图构建，识别出***作目标，例如墙面修复时，墙面缺陷的三维位置信息，扩展机器人的应用范围。
例如利用神经网络进行操作识别，根据操作识别结果确定操作目标的三维位置信息，机器人根据三维位置信息进行施工操作，操作识别是根据操作类型的不同识别操作对象，因为施工机器人施工过程中不仅需要获取自身位置、环境中物体的位置，还需要识别出***作对象，例如墙面上需要打磨的凸包等，甚至还需要识别出工地中常见的一些物体，例如梯子、桶、沙袋等等，并且定位这些操作对象，根据操作对象进行对应的施工操作。
以墙面修复为例，墙面缺陷的修复是装修施工中的一项主要工艺，该任务需要机器人识别墙面缺陷并确定其位置，从而实现对缺陷的打磨、抹平等操作。本实施方式中通过YOLO卷积神经网络进行目标检测，实现墙面缺陷的识别，根据缺陷识别结果确定缺陷对应的ORB特征来确定该缺陷在世界坐标的三维位置信息，在地图上表示修补缺陷的操作目标三维位置信息，将其注册到视觉特征地图中，方便机器人与环境交互进行施工操作，从而满足施工机器人的工作需要。
如图12所示，为两种墙面缺陷示意图，分别是凹坑缺陷和凸坑缺陷，这两种缺陷属于常见的墙面缺陷。在一种实施方式中，通过在装修现场采集若干张照片，手工标注制作数据集进行模型训练，例如采集500张照片作为样本，其中420张图片用于训练数据集，80张图片用于测试数据集，通过软件环境：Ubuntu+Darknet+Cuda+Cudnn来进行模型训练得到合适的模型参数。
如图13所示，为本实施例的YOLO卷积神经网络检测效果示意图，上图为采集的墙面缺陷示意图，其中包含两个凸坑缺陷一个凹坑缺陷，下图为经过本实施例的YOLO卷积神经网络检测后的检测结果示意图，从图中可见，经过检测识别出左图中的三处缺陷。
上述通过基于深度学习的YOLO卷积神经网络建立关于缺陷语义信息，识别出***作目标，并将操作目标标注进视觉SLAM创建的特征地图中，实现可操作的语义地图。
在一种实施方式中，还包括对后端的联合优化位姿进行回环检测来解决位置估计随时间漂移的问题，回环检测也称为闭环检测，实质上是一种检测观测数据相似性的算法，是指机器人识别曾到达场景的能力，如果检测回环成功，把检测信息提供给后端进行处理，后端根据这些信息把轨迹和地图调整到符合回环检测结果的样子，优化对累计误差进行矫正，剔除冗余地图点，优化本质图，更新所有地图点，可以显著地减小累积误差，实现全局位姿一致，得到全局一致的轨迹和地图。
本实施例基于BIM模型信息作为先验信息，从中提取关于房屋建筑结构尺寸信息，并转化为可用于机器人定位的完工状态栅格图，可在整个工程周期中使用信息冗余的完工图定位方法，简化了定位流程，面对变化场景，直接可以定位，提高机器人在变化场景下的定位效率。然后施工操作中，针对传统视觉SLAM无法在弱纹理环境下进行建图与定位问题，通过设置激光投射器点阵进行人工投影增加墙面视觉特征，解决了视觉SLAM前端在弱纹理环境下无法工作的问题，并利用YOLO卷积神经网络进行墙面可操作目标检测，将可操作目标融入视觉SLAM特征地图中，构建包含操作三维位置信息的语义地图。同时利用BIM模型信息得到的当前定位信息，进行前端融合BIM信息的帧间位姿追踪和后端融合BIM信息的联合优化，提高传统视觉SLAM的精度。
在本公开的另一个实施例中，提供一种施工操作***，用于执行上述施工操作方法，如图14所示，为本实施例施工操作***结构框图，包括：
获取当前定位信息单元100：用于利用如上述机器人场景定位方法得到机器人的当前定位信息；
帧间位姿追踪单元200：用于利用当前定位信息进行帧间位姿追踪得到待优化估计位姿；
联合优化单元300：用于对待优化估计位姿进行联合优化，得到联合优化位姿；
施工操作单元400：用于根据联合优化位姿和通过特征提取得到的操作位置信息进行施工操作。
上述中施工操作***中各单元模块的具体细节已经在上述实施例对应的施工操作方法中进行了详细的描述，因此此处不再赘述。
另外，本发明实施例还提供一种电子设备，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。计算机程序即程序代码，当程序代码在设备上运行时，程序代码用于使设备执行本说明书上述实施例部分描述的机器人场景定位方法或施工操作方法中的步骤。
另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行本说明书上述实施例部分描述的机器人场景定位方法或施工操作方法中的步骤。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备、存储介质和***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种机器人场景定位方法，其特征在于，包括：
根据BIM数据提取结构信息生成建筑的完工状态栅格图；
获取所述机器人上安装的激光雷达对当前场景的扫描数据；
利用自适应蒙特卡洛算法根据所述扫描数据、所述完工状态栅格图对所述机器人在当前场景进行定位得到所述机器人的当前定位信息。
2.根据权利要求1所述的一种机器人场景定位方法，其特征在于，所述利用自适应蒙特卡洛算法根据所述扫描数据、所述完工状态栅格图对所述机器人在当前场景进行定位得到所述机器人的当前定位信息，包括：
获取所述扫描数据中包含的工程结构信息；
根据所述工程结构信息实时更新自适应蒙特卡洛算法中每一个粒子的似然域；
将所述似然域作为权重对粒子进行筛选；
根据筛选结果、所述完工状态栅格图对所述机器人在当前场景进行定位得到所述机器人的当前定位信息。
3.一种施工操作方法，其特征在于，包括：
利用如权利要求1或2任一项所述的机器人场景定位方法得到机器人的当前定位信息；
利用所述当前定位信息进行帧间位姿追踪得到待优化估计位姿；
对所述待优化估计位姿进行联合优化，得到联合优化位姿；
根据所述联合优化位姿和通过特征提取得到的三维位置信息进行施工操作。
4.根据权利要求3所述的一种施工操作方法，其特征在于，所述将所述当前定位信息作为初始位姿进行帧间位姿追踪得到待优化估计位姿，包括：
根据机器人与相机之间的变换矩阵和所述当前定位信息得到当前的相机定位信息；
将所述相机定位信息作为初始位姿获得相机帧间定位差，利用相机投影误差和所述相机帧间定位差，得到待优化估计位姿。
5.根据权利要求3所述的一种施工操作方法，其特征在于，所述联合优化为利用非线性优化光束平差法进行优化。
6.根据权利要求4所述的一种施工操作方法，其特征在于，通过特征匹配得到所述相机投影误差，包括：
利用激光投射器进行环境投影得到若干个投影光斑；
利用摄像装置获取所述投影光斑进行ORB特征匹配；
根据特征匹配结果得到所述相机投影误差。
7.根据权利要求3所述的一种施工操作方法，其特征在于，还包括利用神经网络进行操作识别，根据操作识别结果确定操作目标的三维位置信息，机器人根据所述联合优化位姿和所述三维位置信息进行施工操作。
8.一种施工操作***，其特征在于，包括：
获取当前定位信息单元：用于利用如权利要求1或2任一项所述的机器人场景定位方法得到机器人的当前定位信息；
帧间位姿追踪单元：用于利用所述当前定位信息进行帧间位姿追踪得到待优化估计位姿；
联合优化单元：用于对所述待优化估计位姿进行联合优化，得到联合优化位姿；
施工操作单元：用于根据所述联合优化位姿和通过特征提取得到的操作位置信息进行施工操作。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1或2任一项所述的方法，或，用于执行如权利要求3至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机如权利要求1或2任一项所述的方法，或，用于执行如权利要求3至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010396690.2A CN111754566A (zh) | 2020-05-12 | 2020-05-12 | 机器人场景定位方法和施工操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010396690.2A CN111754566A (zh) | 2020-05-12 | 2020-05-12 | 机器人场景定位方法和施工操作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111754566A true CN111754566A (zh) | 2020-10-09 |
Family
ID=72673804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010396690.2A Pending CN111754566A (zh) | 2020-05-12 | 2020-05-12 | 机器人场景定位方法和施工操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754566A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965081A (zh) * | 2021-02-05 | 2021-06-15 | 浙江大学 | 基于融合行人信息的特征地图的模仿学习社交导航方法 |
| CN113001559A (zh) * | 2021-02-24 | 2021-06-22 | 汕头大学 | 一种带压堵漏机器人自主漏点定位方法 |
| CN113219980A (zh) * | 2021-05-14 | 2021-08-06 | 深圳中智永浩机器人有限公司 | 机器人全局自定位方法、装置、计算机设备及存储介质 |
| CN113345044A (zh) * | 2021-04-22 | 2021-09-03 | 北京房江湖科技有限公司 | 户型图生成方法及装置 |
| CN114547866A (zh) * | 2022-01-26 | 2022-05-27 | 深圳大学 | 基于bim-无人机-机械狗的预制构件智能检测方法 |
| CN114581623A (zh) * | 2022-04-08 | 2022-06-03 | 广州文远知行科技有限公司 | 仿真场景生成方法、装置、存储介质及计算机设备 |
| CN115290097A (zh) * | 2022-09-30 | 2022-11-04 | 安徽建筑大学 | 基于bim的实时精确地图构建方法、终端及存储介质 |
| CN116399328A (zh) * | 2023-04-17 | 2023-07-07 | 石家庄铁道大学 | 一种基于bim的室内移动机器人的地图构建与定位方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080119961A1 (en) * | 2006-11-16 | 2008-05-22 | Samsung Electronics Co., Ltd. | Methods, apparatus, and medium for estimating pose of mobile robot using particle filter |
| US20180075643A1 (en) * | 2015-04-10 | 2018-03-15 | The European Atomic Energy Community (Euratom), Represented By The European Commission | Method and device for real-time mapping and localization |
| CN108589979A (zh) * | 2018-05-28 | 2018-09-28 | 朱从兵 | 一种大空间机器人模块隔断吊顶装修方法及设备 |
| CN109459039A (zh) * | 2019-01-08 | 2019-03-12 | 湖南大学 | 一种医药搬运机器人的激光定位导航***及其方法 |
| CN109682382A (zh) * | 2019-02-28 | 2019-04-26 | 电子科技大学 | 基于自适应蒙特卡洛和特征匹配的全局融合定位方法 |
| CN110501017A (zh) * | 2019-08-12 | 2019-11-26 | 华南理工大学 | 一种基于orb_slam2的移动机器人导航地图生成方法 |
-
2020
- 2020-05-12 CN CN202010396690.2A patent/CN111754566A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080119961A1 (en) * | 2006-11-16 | 2008-05-22 | Samsung Electronics Co., Ltd. | Methods, apparatus, and medium for estimating pose of mobile robot using particle filter |
| US20180075643A1 (en) * | 2015-04-10 | 2018-03-15 | The European Atomic Energy Community (Euratom), Represented By The European Commission | Method and device for real-time mapping and localization |
| CN108589979A (zh) * | 2018-05-28 | 2018-09-28 | 朱从兵 | 一种大空间机器人模块隔断吊顶装修方法及设备 |
| CN109459039A (zh) * | 2019-01-08 | 2019-03-12 | 湖南大学 | 一种医药搬运机器人的激光定位导航***及其方法 |
| CN109682382A (zh) * | 2019-02-28 | 2019-04-26 | 电子科技大学 | 基于自适应蒙特卡洛和特征匹配的全局融合定位方法 |
| CN110501017A (zh) * | 2019-08-12 | 2019-11-26 | 华南理工大学 | 一种基于orb_slam2的移动机器人导航地图生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王俊: "面向自主装修机器人的同时定位与建图方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2020 (2020-02-15), pages 140 - 679 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112965081A (zh) * | 2021-02-05 | 2021-06-15 | 浙江大学 | 基于融合行人信息的特征地图的模仿学习社交导航方法 |
| CN112965081B (zh) * | 2021-02-05 | 2023-08-01 | 浙江大学 | 基于融合行人信息的特征地图的模仿学习社交导航方法 |
| CN113001559A (zh) * | 2021-02-24 | 2021-06-22 | 汕头大学 | 一种带压堵漏机器人自主漏点定位方法 |
| CN113345044A (zh) * | 2021-04-22 | 2021-09-03 | 北京房江湖科技有限公司 | 户型图生成方法及装置 |
| CN113345044B (zh) * | 2021-04-22 | 2022-06-10 | 贝壳找房(北京)科技有限公司 | 户型图生成方法及装置 |
| CN113219980A (zh) * | 2021-05-14 | 2021-08-06 | 深圳中智永浩机器人有限公司 | 机器人全局自定位方法、装置、计算机设备及存储介质 |
| CN113219980B (zh) * | 2021-05-14 | 2024-04-12 | 深圳中智永浩机器人有限公司 | 机器人全局自定位方法、装置、计算机设备及存储介质 |
| CN114547866A (zh) * | 2022-01-26 | 2022-05-27 | 深圳大学 | 基于bim-无人机-机械狗的预制构件智能检测方法 |
| CN114547866B (zh) * | 2022-01-26 | 2023-09-26 | 深圳大学 | 基于bim-无人机-机械狗的预制构件智能检测方法 |
| CN114581623A (zh) * | 2022-04-08 | 2022-06-03 | 广州文远知行科技有限公司 | 仿真场景生成方法、装置、存储介质及计算机设备 |
| CN114581623B (zh) * | 2022-04-08 | 2024-03-05 | 广州文远知行科技有限公司 | 仿真场景生成方法、装置、存储介质及计算机设备 |
| CN115290097A (zh) * | 2022-09-30 | 2022-11-04 | 安徽建筑大学 | 基于bim的实时精确地图构建方法、终端及存储介质 |
| CN116399328A (zh) * | 2023-04-17 | 2023-07-07 | 石家庄铁道大学 | 一种基于bim的室内移动机器人的地图构建与定位方法 |
| CN116399328B (zh) * | 2023-04-17 | 2024-06-21 | 石家庄铁道大学 | 一种基于bim的室内移动机器人的地图构建与定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754566A (zh) | 机器人场景定位方法和施工操作方法 | |
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及*** | |
| CN112785643A (zh) | 一种基于机器人平台的室内墙角二维语义地图构建方法 | |
| Huber et al. | Fully automatic registration of multiple 3D data sets | |
| Taneja et al. | Geometric change detection in urban environments using images | |
| CN110223351B (zh) | 一种基于卷积神经网络的深度相机定位方法 | |
| Jeong et al. | Multimodal sensor-based semantic 3D mapping for a large-scale environment | |
| Huang et al. | Active image-based modeling with a toy drone | |
| Kühner et al. | Large-scale volumetric scene reconstruction using lidar | |
| CN111402414A (zh) | 一种点云地图构建方法、装置、设备和存储介质 | |
| CN111161334B (zh) | 一种基于深度学习的语义地图构建方法 | |
| Zhang et al. | Automatic object removal with obstructed façades completion using semantic segmentation and generative adversarial inpainting | |
| CN113192200B (zh) | 一种基于空三并行计算算法的城市实景三维模型的构建方法 | |
| Wang et al. | Vision-based productivity analysis of cable crane transportation using augmented reality–based synthetic image | |
| CN115388902A (zh) | 室内定位方法和***、ar室内定位导航方法和*** | |
| Wen et al. | Cooperative indoor 3D mapping and modeling using LiDAR data | |
| Gao et al. | Multi-source data-based 3D digital preservation of largescale ancient chinese architecture: A case report | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN112991436B (zh) | 基于物体尺寸先验信息的单目视觉slam方法 | |
| Zhao et al. | Completing point clouds using structural constraints for large-scale points absence in 3D building reconstruction | |
| Ma et al. | Semantic geometric fusion multi-object tracking and lidar odometry in dynamic environment | |
| Ruan et al. | Dn-slam: A visual slam with orb features and nerf mapping in dynamic environments | |
| Yoon et al. | Practical implementation of semi-automated as-built BIM creation for complex indoor environments | |
| CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其*** | |
| Zhu et al. | Potentials of RGB-D cameras in as-built indoor environment modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |