CN115410198A - 一种基于激光语义的定位方法、装置、介质及机器人 - Google Patents

一种基于激光语义的定位方法、装置、介质及机器人 Download PDF

Info

Publication number
CN115410198A
CN115410198A CN202211042829.9A CN202211042829A CN115410198A CN 115410198 A CN115410198 A CN 115410198A CN 202211042829 A CN202211042829 A CN 202211042829A CN 115410198 A CN115410198 A CN 115410198A
Authority
CN
China
Prior art keywords
point
candidate
frame
point cloud
electric wire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211042829.9A
Other languages
English (en)
Inventor
袁国斌
柏林
刘彪
舒海燕
袁添厦
沈创芸
祝涛剑
王恒华
方映峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Gosuncn Robot Co Ltd
Original Assignee
Guangzhou Gosuncn Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Gosuncn Robot Co Ltd filed Critical Guangzhou Gosuncn Robot Co Ltd
Priority to CN202211042829.9A priority Critical patent/CN115410198A/zh
Publication of CN115410198A publication Critical patent/CN115410198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于激光语义的定位方法，通过对每一激光点云帧进行提取激光语义元素包括实际电线杆和电线，然后只通过提取出的语义元素点云进行配准定位，提高定位速度及定位精度。

Description

一种基于激光语义的定位方法、装置、介质及机器人
技术领域
本发明涉及机器人技术领域，具体来说，涉及一种基于激光语义的定位方法、装置、介质及机器人。
背景技术
自主移动机器人要求机器人能实现自主寻径行走能力，实现这一能力前提是机器人知道自己所在位置。因此自主移动机器人的定位技术是近年来研究热点技术之一。目前广泛应用在自主导航移动机器人的定位方式包括激光定位方式，GPS定位方式，视觉定位方式等。巡检机器人是自动移动机器人的一种具体运用，主要用于电站巡逻，拍照，录像等工作，巡检机器人相比普通自主移动机器人，机身上搭载一体化云台摄像设备。
由于激光雷达精度高，并且相比相机能实现全天候工作，因此目前巡检机器人多采用激光定位方式。巡检机器人主要用于变电站场景，要求能实现自动到达指定巡逻点，并且能对表盘/指示灯进行拍照及识别，对不正常表显及指示灯进行报警，为了达到高识别率，对巡检机器人的定位精度要求比较高，否则容易把表显拍的不全或者不够好，从而影响识别精度。普通的激光点云配准精度不容易达到精度要求，而且也费时。
目前巡检机器人定位技术基本上都以激光雷达为主，多直接利用运动前后激光点云帧(多线雷达一次发出的全部点)间的配准，来获取机器人运动前后位姿(位移和角度)。直接利用点云帧配准将会导致计算增大，同时由于电站场景的稀疏(通常只有电线杆，点线，电表盒等)直接利用激光点云帧配准精度难以满足电站巡检机器人的要求。
本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。
发明内容
针对相关技术中的上述技术问题，本发明提出一种基于激光语义的定位方法，其包括如下步骤：
S1，获取机器人行走过程中的任意两帧激光雷达点云数据，记为第一帧Scan_i，第二帧Scan_j；
S2，将所述第一帧Scan_i，第二帧Scan_j分别输入到电线杆语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线杆的点云；
S3，将所述第一帧Scan_i，第二帧Scan_j分别输入到电线语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线的点云；
S4，将所述第一帧的电线杆点云和电线点云合并作为第一帧语义点云，将所述第二帧的电线杆点云和电线点云合并作为第二帧语义点云；并将所述第一帧语义点云作为迭代最近点算法ICP点云配准算法的源点云source，第二帧语义点云作为ICP点云配准算法的目标点云target，并使用所述ICP点云配准算法获取机器人的运动位姿。
具体的，步骤S2中还包括：
S21、对输入的第一帧Scan_i激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第一候选电线杆A_i；
S22、对输入的第二帧Scan_j激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第二候选电线杆A_j；
S23、对所述第一候选电线杆A_i和第二候选电线杆A_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第三阈值时，则第一候选电线杆A_i或第二候选电线杆A_j是电线杆，否则丢弃第一候选电线杆A_i或第二候选电线杆A_j里点云，获取第一帧的电线杆点云或/和第二帧的电线杆点云。
具体的，步骤S3包括：
S31、对输入的第一帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第一候选电线B_i；
S32、对输入的第二帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第二候选电线B_j；
S33、对所述第一候选电线B_i和第二候选电线B_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第四阈值时，则第一候选电线B_i或第二候选电线B_j是电线，否则丢弃第一候选电线B_i或第二候选电线B_j里点云，获取第一帧的电线点云或/和第二帧的电线点云；
具体的，所述第三阈值为0.2*n，其中n为第一候选电线杆A_i或第二候选电线杆A_j中所有点云。
具体的，所述第四阈值为0.1*n，其中n为第一候选电线B_i或第二候选电线B_j中所有点云。
第二方面，本发明的另一个实施例例公开了一种基于激光语义的定位装置，其包括如下单元：
原始激光点云帧获取单元，用于获取机器人行走过程中的任意两帧激光雷达点云数据，记为第一帧Scan_i，第二帧Scan_j；
电线杆语义提取单元，用于将所述第一帧Scan_i，第二帧Scan_j分别输入到电线杆语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线杆的点云；
电线提取单元，用于将所述第一帧Scan_i，第二帧Scan_j分别输入到电线语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线的点云；
位姿获取单元，用于将所述第一帧的电线杆点云和电线点云合并作为第一帧语义点云，将所述第二帧的电线杆点云和电线点云合并作为第二帧语义点云；并将所述第一帧语义点云作为迭代最近点算法ICP点云配准算法的源点云source，第二帧语义点云作为ICP点云配准算法的目标点云target，并使用所述ICP点云配准算法获取机器人的运动位姿。
具体的，电线杆语义提取单元还包括：
第一帧电线杆提取单元、用于对输入的第一帧Scan_i激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第一候选电线杆A_i；
第二帧电线杆提取单元、用于对输入的第二帧Scan_j激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第二候选电线杆A_j；
电线杆确认单元、对所述第一候选电线杆A_i和第二候选电线杆A_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第三阈值时，则第一候选电线杆A_i或第二候选电线杆A_j是电线杆，否则丢弃第一候选电线杆A_i或第二候选电线杆A_j里点云，获取第一帧的电线杆点云或/和第二帧的电线杆点云。
具体的，电线提取单元还包括：
第一帧电线提取单元、用于对输入的第一帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第一候选电线B_i；
第二帧电线提取单元、用于对输入的第二帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第二候选电线B_j；
电线确认单元、用于对所述第一候选电线B_i和第二候选电线B_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第四阈值时，则第一候选电线B_i或第二候选电线B_j是电线，否则丢弃第一候选电线B_i或第二候选电线B_j里点云，获取第一帧的电线点云或/和第二帧的电线点云；
具体的，所述第三阈值为0.2*n，其中n为第一候选电线杆A_i或第二候选电线杆A_j中所有点云。
具体的，所述第四阈值为0.1*n，其中n为第一候选电线B_i或第二候选电线B_j中所有点云。
第三方面，本发明的另一个实施例公开了一种机器人，所述机器人包括一中央处理器，一存储器，一激光雷达，所述存储器上存储有指令，所述处理器在执行所述指令时用以实现上述的一种基于激光语义的定位方法方法。
第四方面，本发明的另一个实施例公开了一种非易失性存储器，所述存储器上存储有指令，所述处理器在执行所述指令时用以实现上述的一种基于激光语义的定位方法方法。
本发明通过对每一激光点云帧进行提取激光语义元素包括实际电线杆和电线，然后只通过提取出的语义元素点云进行配准定位，提高定位速度及定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于激光语义的定位方法流程图；
图2是本发明实施例提供的一种电线杆提取方法流程图；
图3是本发明实施例提供的电线提取方法流程图；
图4是本发明实施例提供的一种基于激光语义的定位装置示意图；
图5是本发明实施例提供的一种电线杆提取单元示意图；
图6是本发明实施例提供的一种电线提取单元示意图；
图7是本发明实施例提供的一种基于激光语义的定位设备示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参考图1，本实施例公开了一种基于激光语义的定位方法，其包括如下步骤：
S1，获取机器人行走过程中的任意两帧激光雷达点云数据，记为第一帧Scan_i，第二帧Scan_j；
本实施例的机器人配置有激光雷达，机器人在进行工作时，可以根据激光雷达进行自主导航。具体的，本实施例的机器人在进行巡逻时，可以自主的按照规划的路线进行行走，也可以手动控制机器人行走例如接收控制人员的控制指令，优选的本实施例的机器人一般是按照规划好的路线进行自主导航。
本实施例的任意两帧激光雷达点云数据是两帧连续的激光点云数据，在一个实施例方式中获取第一帧Scan_i的时间早于获取第二帧Scan_j的时间。在另外一个实施例中获取第一帧Scan_i的时间晚于获取第二帧Scan_j的时间。
本实施例的机器人用于电站的巡逻。在电站巡逻的机器人人，由于电站场景的稀疏，通常只有电线杆，点线，电表盒等；直接利用激光点云帧配准精度难以满足电站巡检机器人的要求。
S2，将所述第一帧Scan_i，第二帧Scan_j分别输入到电线杆语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线杆的点云；
本实施例首先使用电线杆语义提取网络，将激光点云中的所有电线杆提取处理。
具体的，参考图2，本实施例的步骤S2中还包括：
S21、对输入的第一帧Scan_i激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第一候选电线杆A_i；
具体的，本实施例的第一预设高度为3m；
对于电厂的电线杆来说，其是一个细长的物体，其体现在激光点云数据中也是一个细长的物体，因此，本实施例设置一个第一长宽高为1m*1m*6m，用于检测候选电线杆。具体的，第一阈值为100。
S22、对输入的第二帧Scan_j激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第二候选电线杆A_j；
S23、对所述第一候选电线杆A_i和第二候选电线杆A_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第三阈值时，则第一候选电线杆A_i或第二候选电线杆A_j是电线杆，否则丢弃第一候选电线杆A_i或第二候选电线杆A_j里点云，获取第一帧的电线杆点云或/和第二帧的电线杆点云；
具体的第三阈值为0.2*n，其中n为第一候选电线杆A_i或第二候选电线杆A_j中所有点云。
对所述第一候选电线杆A_i和第二候选电线杆A_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合
z＝Kx+B
计算拟合后的误差，
Figure BDA0003821446650000091
其中n代表第一候选电线杆A_i、第二候选电线杆A_j中所有点云；当所述当err小于0.2*n，则第一候选电线杆A_i或第二候选电线杆A_j是电线杆，否则丢弃第一候选电线杆A_i或第二候选电线杆A_j里点云。
其中Z表示点在机器人高度方向值，X表示点在机器人前进方向值，K，B分别表示拟合直线的斜率与截距，
Figure BDA0003821446650000093
为第i个点在Z方向的测量值，
Figure BDA0003821446650000092
为第i个点在X方向的测量值。
S3，将所述第一帧Scan_i，第二帧Scan_j分别输入到电线语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线的点云；
具体的，参考图3，本实施例的步骤S3包括：
S31、对输入的第一帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第一候选电线B_i；
具体的，本实施例第二常宽高为3m*3m*1m区域。
第二阈值为30。
具体的，本实施例的第一预设高度为3m；
具体的，因为电站的电线高度一般在3m左右，为了去除不相关物体的干扰，在步骤S31的随机选择一点p之前，先把高度低于2.5m以下点剃掉。
S32、对输入的第二帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第二候选电线B_j；
S33、对所述第一候选电线B_i和第二候选电线B_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第四阈值时，则第一候选电线B_i或第二候选电线B_j是电线，否则丢弃第一候选电线B_i或第二候选电线B_j里点云，获取第一帧的电线点云或/和第二帧的电线点云；
具体的第四阈值为0.1*n，其中n为第一候选电线B_i或第二候选电线B_j中所有点云。
对所述第一候选电线B_i和第二候选电线B_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合
z＝Kx+B
计算拟合后的误差，
Figure BDA0003821446650000101
其中n代表第一候选电线B_i、第二候选电线B_j中所有点云；当所述当err小于0.1*n，则第一候选电线B_i或第二候选电线B_j是电线，否则丢弃第一候选电线B_i或第一候选电线B_j里点云。
其中Z表示点在机器人高度方向值，X表示点在机器人前进方向值，K，B分别表示拟合直线的斜率与截距，
Figure BDA0003821446650000111
为第i个点在Y方向的测量值，
Figure BDA0003821446650000112
为第i个点在X方向的测量值。
S4，将所述第一帧的电线杆点云和电线点云合并作为第一帧语义点云，将所述第二帧的电线杆点云和电线点云合并作为第二帧语义点云；并将所述第一帧语义点云作为迭代最近点算法ICP点云配准算法的源点云source，第二帧语义点云作为ICP点云配准算法的目标点云target，并使用所述ICP点云配准算法获取机器人的运动位姿。
迭代最近点算法ICP是最常用的点云配准，点云配准是指输入两幅点云Ps(source)和Pt(target)，输出一个变换T，使得T(Ps)和T(Pt)的重合程度尽可能高，从而用于估计位姿。ICP的一般算法流程为：
点云预处理；2.匹配；3.加权；4.剔除不合理的对应点对；5.计算loss；6.最小化loss，求解当前最优变换；7.回到步骤2.进行迭代，直到收敛。
本实施例的ICP配准算法是现有的技术，本实施例不在赘述。
本实施例通过对每一激光点云帧进行提取激光语义元素包括实际电线杆和电线，然后只通过提取出的语义元素点云进行配准定位，提高定位速度及定位精度。
实施例二
参考图4，本实施例公开了一种基于激光语义的定位装置，其包括如下单元：
原始激光点云帧获取单元，用于获取机器人行走过程中的任意两帧激光雷达点云数据，记为第一帧Scan_i，第二帧Scan_j；
本实施例的机器人配置有激光雷达，机器人在进行工作时，可以根据激光雷达进行自主导航。具体的，本实施例的机器人在进行巡逻时，可以自主的按照规划的路线进行行走，也可以手动控制机器人行走例如接收控制人员的控制指令，优选的本实施例的机器人一般是按照规划好的路线进行自主导航。
本实施例的任意两帧激光雷达点云数据是两帧连续的激光点云数据，在一个实施例方式中获取第一帧Scan_i的时间早于获取第二帧Scan_j的时间。在另外一个实施例中获取第一帧Scan_i的时间晚于获取第二帧Scan_j的时间。
本实施例的机器人用于电站的巡逻。在电站巡逻的机器人人，由于电站场景的稀疏，通常只有电线杆，点线，电表盒等；直接利用激光点云帧配准精度难以满足电站巡检机器人的要求。
电线杆语义提取单元，用于将所述第一帧Scan_i，第二帧Scan_j分别输入到电线杆语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线杆的点云；
本实施例首先使用电线杆语义提取网络，将激光点云中的所有电线杆提取处理。
具体的，参考图5，本实施例的电线杆语义提取单元还包括如下单元：
第一帧电线杆提取单元、用于对输入的第一帧Scan_i激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第一候选电线杆A_i；
具体的，本实施例的第一预设高度为3m；
对于电厂的电线杆来说，其是一个细长的物体，其体现在激光点云数据中也是一个细长的物体，因此，本实施例设置一个第一长宽高为1m*1m*6m，用于检测候选电线杆。具体的，第一阈值为100。
第二帧电线杆提取单元、用于对输入的第二帧Scan_j激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第二候选电线杆A_j；
电线杆确认单元、用于对所述第一候选电线杆A_i和第二候选电线杆A_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合
z＝Kx+B
计算拟合后的误差，
Figure BDA0003821446650000131
其中n代表第一候选电线杆A_i、第二候选电线杆A_j中所有点云；当所述当err小于0.2*n，则第一候选电线杆A_i或第二候选电线杆A_j是电线杆，否则丢弃第一候选电线杆A_i或第二候选电线杆B_i里点云。
其中Z表示点在机器人高度方向值，X表示点在机器人前进方向值，K，B分别表示拟合直线的斜率与截距，
Figure BDA0003821446650000132
为第i个点在Z方向的测量值，
Figure BDA0003821446650000133
为第i个点在X方向的测量值。
电线提取单元，用于将所述第一帧Scan_i，第二帧Scan_j分别输入到电线语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线的点云；
具体的，本实施例的电线提取单元还包括如下单元：
第一帧电线提取单元、用于对输入的第一帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第一候选电线B_i；
具体的，本实施例第二常宽高为3m*3m*1m区域。
第二阈值为30。
具体的，本实施例的第一预设高度为3m；
具体的，因为电站的电线高度一般在3m左右，为了去除不相关物体的干扰，在步骤S31的随机选择一点p之前，先把高度低于2.5m以下点剃掉。
第二帧电线提取单元、用于对输入的第二帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第二候选电线B_j；
电线确认单元、用于对所述第一候选电线B_i和第二候选电线B_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合
z＝Kx+B
计算拟合后的误差，
Figure BDA0003821446650000141
其中n代表第一候选电线B_i、第二候选电线B_j中所有点云；当所述当err小于0.1*n，则第一候选电线B_i或第二候选电线B_j是电线，否则丢弃第一候选电线B_i或第二候选电线B_j里点云。
其中Z表示点在机器人高度方向值，X表示点在机器人前进方向值，K，B分别表示拟合直线的斜率与截距，
Figure BDA0003821446650000142
为第i个点在Y方向的测量值，
Figure BDA0003821446650000143
为第i个点在X方向的测量值，。
位姿获取单元，用于将所述第一帧的电线杆点云和电线点云合并作为第一帧语义点云，将所述第二帧的电线杆点云和电线点云合并作为第二帧语义点云；并将所述第一帧语义点云作为迭代最近点算法ICP点云配准算法的源点云source，第二帧语义点云作为ICP点云配准算法的目标点云target，并使用所述ICP点云配准算法获取机器人的运动位姿。
迭代最近点算法ICP是最常用的点云配准，点云配准是指输入两幅点云Ps(source)和Pt(target)，输出一个变换T，使得T(Ps)和T(Pt)的重合程度尽可能高，从而用于估计位姿。ICP的一般算法流程为：
点云预处理；2.匹配；3.加权；4.剔除不合理的对应点对；5.计算loss；6.最小化loss，求解当前最优变换；7.回到步骤2.进行迭代，直到收敛。
本实施例的ICP配准算法是现有的技术，本实施例不在赘述。
本实施例通过对每一激光点云帧进行提取激光语义元素包括实际电线杆和电线，然后只通过提取出的语义元素点云进行配准定位，提高定位速度及定位精度。
实施例三
参考图7，图7是本实施例的一种基于激光语义的定位设备的结构示意图。该实施例的基于激光语义的定位设备20包括处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于激光语义的定位设备20中的执行过程。例如，所述计算机程序可以被分割成实施例二中的各个模块,各模块具体功能请参考上述实施例所述的装置的工作过程，在此不再赘述。
所述基于激光语义的定位设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是基于激光语义的定位设备20的示例，并不构成对基于激光语义的定位设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于激光语义的定位设备20还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述基于激光语义的定位设备20的控制中心，利用各种接口和线路连接整个基于激光语义的定位设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述基于激光语义的定位设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述基于激光语义的定位设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于激光语义的定位方法，其包括如下步骤：
S1，获取机器人行走过程中的任意两帧激光雷达点云数据，记为第一帧Scan_i，第二帧Scan_j；
S2，将所述第一帧Scan_i，第二帧Scan_j分别输入到电线杆语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线杆的点云；
S3，将所述第一帧Scan_i，第二帧Scan_j分别输入到电线语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线的点云；
S4，将所述第一帧的电线杆点云和电线点云合并作为第一帧语义点云，将所述第二帧的电线杆点云和电线点云合并作为第二帧语义点云；并将所述第一帧语义点云作为迭代最近点算法ICP点云配准算法的源点云source，第二帧语义点云作为ICP点云配准算法的目标点云target，并使用所述ICP点云配准算法获取机器人的运动位姿。
2.根据权利要求1所述的方法，步骤S2中还包括：
S21、对输入的第一帧Scan_i激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第一候选电线杆A_i；
S22、对输入的第二帧Scan_j激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第二候选电线杆A_j；
S23、对所述第一候选电线杆A_i和第二候选电线杆A_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第三阈值时，则第一候选电线杆A_i或第二候选电线杆A_j是电线杆，否则丢弃第一候选电线杆A_i或第二候选电线杆A_j里点云，获取第一帧的电线杆点云或/和第二帧的电线杆点云。
3.根据权利要求1所述的方法，步骤S3包括：
S31、对输入的第一帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第一候选电线B_i；
S32、对输入的第二帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第二候选电线B_j；
S33、对所述第一候选电线B_i和第二候选电线B_j中所有点云，分别利用点的数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第四阈值时，则第一候选电线B_i或第二候选电线B_j是电线，否则丢弃第一候选电线B_i或第二候选电线B_j里点云，获取第一帧的电线点云或/和第二帧的电线点云。
4.根据权利要求2所述的方法，所述第三阈值为0.2*n，其中n为第一候选电线杆A_i或第二候选电线杆A_j中所有点云。
5.根据权利要求3所述的方法，所述第四阈值为0.1*n，其中n为第一候选电线B_i或第二候选电线B_j中所有点云。
6.一种基于激光语义的定位装置，其包括如下单元：
原始激光点云帧获取单元，用于获取机器人行走过程中的任意两帧激光雷达点云数据，记为第一帧Scan_i，第二帧Scan_j；
电线杆语义提取单元，用于将所述第一帧Scan_i，第二帧Scan_j分别输入到电线杆语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线杆的点云；
电线提取单元，用于将所述第一帧Scan_i，第二帧Scan_j分别输入到电线语义提取网络中，对Scan_i、Scan_j进行点云语义提取获取所有电线的点云；
位姿获取单元，用于将所述第一帧的电线杆点云和电线点云合并作为第一帧语义点云，将所述第二帧的电线杆点云和电线点云合并作为第二帧语义点云；并将所述第一帧语义点云作为迭代最近点算法ICP点云配准算法的源点云source，第二帧语义点云作为ICP点云配准算法的目标点云target，并使用所述ICP点云配准算法获取机器人的运动位姿。
7.根据权利要求5所述的装置，电线杆语义提取单元还包括：
第一帧电线杆提取单元、用于对输入的第一帧Scan_i激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第一候选电线杆A_i；
第二帧电线杆提取单元、用于对输入的第二帧Scan_j激光点云进行上下聚类，在第一预设高度内随机选择一点p，以点p为中心点，构建一第一长宽高的区域，如果所述第一长宽高区域内的点数大于第一阈值，则保留所述第一长宽高区域内的所有点，并进行标记为第二候选电线杆A_j；
电线杆确认单元、对所述第一候选电线杆A_i和第二候选电线杆A_j中所有点云，分别利用点的(Z，X)数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第三阈值时，则第一候选电线杆A_i或第二候选电线杆A_j是电线杆，否则丢弃第一候选电线杆A_i或第二候选电线杆A_j里点云，获取第一帧的电线杆点云或/和第二帧的电线杆点云。
8.根据权利要求5所述的装置，电线提取单元还包括：
第一帧电线提取单元、用于对输入的第一帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第一候选电线B_i；
第二帧电线提取单元、用于对输入的第二帧Scan_i激光点云进行上下聚类，随机选择一点p，以点p为中心点，构建一第二长宽高的区域，如果所述第二长宽高区域内的点数大于第二阈值，则保留所述第二长宽高区域内的所有点，并进行标记为第二候选电线B_j；
电线确认单元、用于对所述第一候选电线B_i和第二候选电线B_j中所有点云，分别利用点的数据通过最小二乘进行二维直线拟合，在二维直线拟合后的误差小于第四阈值时，则第一候选电线B_i或第二候选电线B_j是电线，否则丢弃第一候选电线B_i或第二候选电线B_j里点云，获取第一帧的电线点云或/和第二帧的电线点云。
9.根据权利要求7所述的装置，所述第三阈值为0.2*n，其中n为第一候选电线杆A_i或第二候选电线杆A_j中所有点云。
10.根据权利要求8所述的装置，所述第四阈值为0.1*n，其中n为第一候选电线B_i或第二候选电线B_j中所有点云。
CN202211042829.9A 2022-08-29 2022-08-29 一种基于激光语义的定位方法、装置、介质及机器人 Pending CN115410198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211042829.9A CN115410198A (zh) 2022-08-29 2022-08-29 一种基于激光语义的定位方法、装置、介质及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211042829.9A CN115410198A (zh) 2022-08-29 2022-08-29 一种基于激光语义的定位方法、装置、介质及机器人

Publications (1)

Publication Number Publication Date
CN115410198A true CN115410198A (zh) 2022-11-29

Family

ID=84160735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211042829.9A Pending CN115410198A (zh) 2022-08-29 2022-08-29 一种基于激光语义的定位方法、装置、介质及机器人

Country Status (1)

Country Link
CN (1) CN115410198A (zh)

Similar Documents

Publication Publication Date Title
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
US10878621B2 (en) Method and apparatus for creating map and positioning moving entity
CN109658504B (zh) 地图数据标注方法、装置、设备及存储介质
CN111192331B (zh) 一种激光雷达和相机的外参标定方法及装置
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN111563923A (zh) 获得稠密深度图的方法及相关装置
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
CN111976601B (zh) 自动泊车方法、装置、设备和存储介质
CN112329846A (zh) 激光点云数据高精度标注方法及***、服务器及介质
CN111964680A (zh) 一种巡检机器人的实时定位方法
CN109949414A (zh) 室内地图的构建方法及装置
CN115097419A (zh) 一种激光雷达到imu的外参标定方法及装置
CN114782529A (zh) 一种面向带电作业机器人的抓线点高精度定位方法、***及存储介质
CN110706288A (zh) 目标检测的方法、装置、设备及可读存储介质
CN111854616A (zh) 一种激光辅助下的树木胸径视觉测量方法与***
CN115546216B (zh) 一种托盘检测方法、装置、设备及存储介质
CN115410198A (zh) 一种基于激光语义的定位方法、装置、介质及机器人
CN112415524A (zh) 机器人及其定位导航方法和装置
CN110334657B (zh) 一种鱼眼畸变图像的训练样本生成方法、***及电子设备
CN114646317A (zh) 车辆视觉定位导航控制方法、装置及计算机设备、介质
CN111665522A (zh) 过滤激光扫描图中静止物体的方法、介质、终端和装置
CN110763232B (zh) 一种机器人及其导航定位方法和装置
CN116630923B (zh) 道路消失点的标注方法、装置及电子设备
CN116501033A (zh) 用于机器人的自主充电方法、存储介质及设备
CN115909265A (zh) 车道级定位检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination