CN112581451A - 一种基于激光雷达的仓库线卷位置检测***及方法 - Google Patents

一种基于激光雷达的仓库线卷位置检测***及方法 Download PDF

Info

Publication number
CN112581451A
CN112581451A CN202011519503.1A CN202011519503A CN112581451A CN 112581451 A CN112581451 A CN 112581451A CN 202011519503 A CN202011519503 A CN 202011519503A CN 112581451 A CN112581451 A CN 112581451A
Authority
CN
China
Prior art keywords
point cloud
laser radar
coil
warehouse
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011519503.1A
Other languages
English (en)
Other versions
CN112581451B (zh
Inventor
徐冬
张达
江敏
何安瑞
杨荃
王晓晨
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202011519503.1A priority Critical patent/CN112581451B/zh
Publication of CN112581451A publication Critical patent/CN112581451A/zh
Application granted granted Critical
Publication of CN112581451B publication Critical patent/CN112581451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种基于激光雷达的仓库线卷位置检测***及方法,库区内放置有标定板,单线激光雷达动态扫描标定板进行标定,获取单线激光雷达相对于世界坐标系的外参,进行位姿变换将单线激光雷达坐标系的点云转换到世界坐标系;单线激光雷达动态扫描库区,结合无人天车坐标进行位姿变换,生成库区三维点云;通过点云处理和特征提取得到线卷点云特征,对目标点云进行拟合,计算线卷长度、外径等尺寸信息,将线卷在世界坐标系下的坐标传递给库区管理***。由实验证明,本实施例的检测方法可以较为准确的生成线卷点云,准确地的检测出线卷的形状和位置,误差较小。

Description

一种基于激光雷达的仓库线卷位置检测***及方法
技术领域
本发明涉及智能仓储物流技术领域,特别是指一种基于激光雷达的仓库线卷位置检测方法及装置。
背景技术
库区作为钢铁生产流程中物流衔接和生产节奏控制的重要枢纽,是工厂无人化和智能化建设的基础,而起重机则是库区最重要的执行单元。传统的轧钢生产车间库区,起重机操作主要依靠人工完成,工人劳动强度大,库区运行效率低,且容易导致人员、设备安全和数据信息丢失等问题。研究与应用无人起重机与智能库管技术,将从根本上改变了库区的作业模式,实现起重机无人化运行和库区智能调度,对于提高生产效率,降低生产成本,改善产品质量具有重要的意义。
目前获取库区线卷位置信息主要依靠激光点云对于库区环境的三维重建技术,随着激光雷达技术的飞速发展,其制造和研发成本逐渐降低,愈加广泛地应用在了工业现场中。如专利一(车间钢卷激光雷达三维定位测量***,CN109782300A)利用二维激光雷达截面扫描辅以激光测距仪定位进行空间切片重构,有效完成了使用二维激光雷达的进行三维重建的任务,并且结合梯度下降平滑、连通域聚类法、径向失真校正算法实现了钢卷点云的目标定位分类,但需要实验中的轨道配合,不适合现有库区的智能化改造;文献一(张明,王铉,陈柯颖.基于激光雷达的室内场景三维重建***设计[J].电子设计工程,2019.)针对室内场景的三维重建问题,采用激光测距的方法并结合传感器及电机控制等技术设计了三维重建***,将激光雷达、惯性原件和测速码盘数据通过卡尔曼滤波融合起来,计算机器人的位置信息,得到室内场景的三维点云地图,但没有涉及到扫描精度和目标识别问题,库区内线卷扫描需要在三维重建的基础上进行特征提取和目标识别。专利二(基于2D激光雷达的三维激光SLAM***及控制方法,CN109358342A)提出一种基于2D激光雷达的实时三维激光SLAM***及控制方法,通过一种连续匀速旋转的2D激光雷达装置同时获取深度信息和旋转角度信息,将二者进行同步融合生成三维点云,不仅实时建立三维重建地图,而且通过SLAM算法计算出传感器的位姿,实现实时定位功能,但只适合小场景区域,且文中所用的ICP算法对初值较为敏感。
发明内容
本发明提供了一种基于激光雷达的仓库线卷位置检测***及方法,现有的线卷检测具有以下问题,扫描精度和目标识别精度不高,不适合现有库区的智能化改造,检测只适合小场景区域,ICP算法对初值较为敏感等
为解决上述技术问题,本发明的实施例提供如下方案:
一种基于激光雷达的仓库线卷位置检测***,包括单线激光雷达,单线激光雷达安装在激光雷达调整平台上,激光雷达调整平台安装在无人天车检修平台的正下方,单线激光雷达随着无人天车检修平台运动动态扫描库区,将扫描获得的仓库点云信息传递给无人天车工控机,无人天车工控机将上述仓库点云信息进行数据处理后传输给库区管理***,库区管理***与无人天车工控机连接,实现库区管理***、无人天车PLC和单线激光雷达三方通讯;
库区内放置有标定板,单线激光雷达动态扫描标定板进行标定,获取单线激光雷达相对于世界坐标系的外参,进行位姿变换将单线激光雷达坐标系的点云转换到世界坐标系;单线激光雷达动态扫描库区,结合无人天车坐标进行位姿变换,生成库区三维点云;通过点云处理和特征提取得到线卷点云特征,对目标点云进行拟合,计算线卷长度、外径等尺寸信息,将计算线卷在世界坐标系下的坐标传递给库区管理***。
其中,标定板斜向放置在地面上,其平面法线方向为无人天车前进方向。
其中,激光雷达调整平台包括上支撑部分,在所述上支撑部的下方设置有旋转平台,所述旋转平台可绕着回转中心旋转。
其中,还包括平板触摸屏,平板触摸屏与库区管理***连接,用于单线激光雷达扫描任务的发布与扫描结果的确认。
其中,库区管理***与无人天车工控机通过以太网连接。
一种基于激光雷达的仓库线卷位置检测方法,包括以下步骤:
步骤1:雷达标定,将基于激光雷达的仓库线卷位置检测***安装完成,调整好单线激光雷达,将标定板斜向放置在仓库线卷区域中,通过单线激光雷达随无人天车运动扫描标定板,结合天车位姿生成三维点云,进行数据处理后得到单线激光雷达坐标系相对于库区世界坐标系的外参;
步骤2:线卷位置检测,操作人员按下用户触摸平板内开始扫描按钮,单线激光雷达根据用户触摸平板内按钮发出的扫描信号,在随着无人天车运动的同时采集一组点云数据,将点云数据信息通过以太网传送给信息处理服务器,经过点云处理和数据计算后得到库区线卷位置信息,将库区线卷位置信息发送到库区管理***并显示在用户触摸平板上。
其中,雷达标定包括以下步骤:
步骤1.1:仓库周围环境中的三维点云生成,将单线激光雷达坐标系与无人天车PLC输出的无人天车运动位姿坐标结合,引入齐次坐标,进行位移变换,组成仓库环境中的三维点云;
步骤1.2:初始标定的变换矩阵计算,将上述仓库周围环境中的三维点云进行筛选,获得地面点云并拟合出地平面,根据地平面计算单线激光雷达坐标系与库区世界坐标系的相对变量,引入齐次坐标,得到初始标定的变换矩阵,将激光雷达坐标系的与Z轴垂直的平面变换到与世界坐标系的水平面重合,得到初始标定后的坐标系;
步骤1.3:二次标定后的变换矩阵计算,将上述仓库周围环境中的三维点云进行筛选,获得标定板点云,对标定板点云进行去噪处理后拟合获得标定板平面,根据标定板平面计算初始标定后的坐标系与库区世界坐标系的相对变量,得到二次标定后的变换矩阵;
步骤1.4:变换矩阵计算,将所述初始标定的变换矩阵与二次标定后的变换矩阵计算获得变换矩阵,并将所述变换矩阵储存,利用所述变换矩阵将单线激光雷达坐标系下的点云据变换到世界坐标系下的点云。
其中,线卷位置检测包括以下步骤:
步骤2.1:库区环境三维点云生成,库区管理***下达任务,单线激光雷达随天车扫描库区线卷时,结合天车运动位姿坐标生成库区环境三维点云;
步骤2.2:库区线卷位置信息计算,将步骤2.1中生成的库区环境三维点云进行数据处理和特征提取,获得库区线卷位置信息。
其中,库区环境三维点云生成包括以下步骤:
步骤2.1.1:扫描点位移计算,结合无人天车位姿和单线激光雷达扫描周期消除单线激光雷达随天车扫描过程中的运动畸变,计算出单线激光雷达每个扫描周期中的扫描点的位移;
步骤2.1.2:坐标系转换,结合步骤2.1.1中计算出的扫描点的位移和标定所得的变换矩阵计算出扫描点变换矩阵,将单线激光雷达坐标系变换到世界坐标系。
其中,库区线卷位置信息计算包括以下步骤:
步骤2.2.1:特征提取和降噪处理,提取点云中感兴趣的点云,对感兴趣的点云进行降噪处理;
步骤2.2.2:地面滤波,利用拟合出地平面对降噪处理后的点云进行地面点云滤波处理;
步骤2.2.3:分割聚类,将步骤2.2.2处理后的点云进行分割聚类,获得点云类簇;
步骤2.2.4:线卷识别,将每个点云簇分别拟合出圆柱体,计算出圆柱体的外径和长度,与库区管理***发送的线卷型号信息进行对比,取误差最小的作为线卷识别结果,并将线卷识别结果发送到库区管理***中,更新线卷位置坐标。
本发明的上述方案至少包括以下有益效果:
本发明的上述方案,由实验证明,基于激光雷达的仓库线卷位置检测方法可以较为准确的生成线卷点云,准确地的检测出线卷的形状和位置,误差较小。与利用机器视觉获取线卷位置信息的方案相比,本发明检测方法受环境光线等因素影响更小,能直接获取深度信息,精确度更高,适用于室内大场景建图;与利用多线激光雷达获取线卷位置信息的方案相比,本发明的检测方法成本更低,数据解读更方便,精确度更高,更适用于企业生产实际;与采用定制标定块进行外参标定的方式比较,本发明的检测方法应用标定板进行标定,操作过程更简单,且可存储标定结果,校正安装误差;本发明的检测***,整体结构简单明了,易于安装和维护保养,算法鲁棒性强,计算速度快,精度符合大多数仓库对线卷的定位要求。
附图说明
图1为本发明的基于激光雷达的仓库线卷位置检测***的结构示意图;
图2为本发明的基于激光雷达的仓库线卷位置检测***的激光雷达调整平台的结构示意图;
图3为本发明的基于激光雷达的仓库线卷位置检测方法的三维点云拼接效果图;
图4为本发明的基于激光雷达的仓库线卷位置检测方法的标定结果图;
图5为本发明的基于激光雷达的仓库线卷位置检测方法的-统计滤波处理结果图;
图6为本发明的基于激光雷达的仓库线卷位置检测方法的地面滤波结果图。
图7为本发明的基于激光雷达的仓库线卷位置检测方法的点云分割结果图。
附图标记:
1、单线激光雷达;2、激光雷达调整平台;21、上支撑部分;22、旋转平台;23、回转中心;3、无人天车检修平台;4、无人天车PLC;5、无人天车工控机;6、库区管理***;7、平板触摸屏;8、标定板;
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在智能仓库物料装卸过程中,准确获取线卷的位置信息是实现自动装卸的重要前提之一。由于机器视觉受环境中的光线等因素影响较大,难以适应恶劣环境,限制了机器视觉技术在工厂中的广泛应用,而激光雷达受环境影响较小,具有较高精度,能够直接获取深度信息,且单线激光雷达1比多线激光雷达成本更低,本实施例提供了一种基于激光雷达的仓库线卷位置检测***,单线激光雷达1随天车运动扫描库区线卷的方式,来准确获取线卷的位置信息。通过单线激光雷达1随天车运动,动态扫描库区环境,实现库区场景三维重建,精确识别线卷信息,为无人天车起吊落吊控制决策提供基础,大幅度增加了物流效率。
如图1-5所示的,本实施例提供了一种基于激光雷达的仓库线卷位置检测***,包括单线激光雷达1、激光雷达调整平台2、无人天车检修平台3、无人天车PLC4、无人天车工控机5、库区管理***6、平板触摸屏7和标定板8;单线激光雷达1安装在激光雷达调整平台2上,单线激光雷达1随着无人天车检修平台3运动动态扫描库区,竖直向下扫描库区,库区内放置有标定板8,标定板8斜向放置在地面上,其平面法线方向为无人天车前进方向,将扫描获得的仓库点云信息传递给无人天车工控机5,无人天车工控机5将上述仓库点云信息进行数据处理后传输给库区管理***6;激光雷达调整平台2安装在无人天车检修平台3的正下方,随着无人天车检修平台3运动;库区管理***6与无人天车工控机5连接,库区管理***6与无人天车工控机5通过以太网连接,实现库区管理***6、无人天车PLC4和单线激光雷达1三方通讯。平板触摸屏7与库区管理***6连接,平板触摸屏7与库区管理***6通过以太网连接,用于单线激光雷达1扫描任务的发布与扫描结果的确认。
库区内放置有标定板8,单线激光雷达1动态扫描标定板8进行标定,获取单线激光雷达1相对于世界坐标系的外参,进行位姿变换将单线激光雷达1坐标系的点云转换到世界坐标系;单线激光雷达1动态扫描库区,结合无人天车坐标进行位姿变换,生成库区三维点云;通过点云处理和特征提取得到线卷点云特征,对目标点云进行拟合,计算线卷长度、外径等尺寸信息,将计算线卷在世界坐标系下的坐标传递给库区管理***6。
如图2所示的,激光雷达调整平台2为铝合金结构,通过角钢支撑框架安装在无人天车检修平台3上。本实施例的激光雷达调整平台2包括上支撑部分21,上支撑部分21由铝合金材料制作完成,在上支撑部的下方设置有旋转平台22,旋转平台22可绕着回转中心23旋转,调整激光雷达扫描角度后锁紧。单线激光雷达1通过螺栓连接在旋转平台22。
本实施例的线卷位置检测***利用单线激光雷达1随天车运动动态扫描库区环境,然后对三维点云数据进行滤波预处理、聚类分析和特征提取,识别出目标线卷的位置信息,为无人天车起吊落吊的运动决策提供依据。在操作者与库区管理***6确认扫描任务后,本发明自动化进行一系列流程,最后将结果发送到库区管理***6,更新线卷外径、长度、中心轴线位置坐标。
本实施例提供了一种基于激光雷达的仓库线卷位置检测方法,包括以下步骤:
步骤1:雷达标定,将基于激光雷达的仓库线卷位置检测***安装完成,调整好单线激光雷达1,将标定板8斜向放置在仓库线卷区域中,通过单线激光雷达1随无人天车运动扫描标定板8,结合天车位姿生成三维点云,进行数据处理后得到单线激光雷达1坐标系相对于库区世界坐标系的外参;
步骤2:线卷位置检测,操作人员按下用户触摸平板内开始扫描按钮,单线激光雷达1根据用户触摸平板内按钮发出的扫描信号,在随着无人天车运动的同时采集一组点云数据,将点云数据信息通过以太网传送给信息处理服务器,经过点云处理和数据计算后,将线卷位置检测结果发送到库区管理***6并显示在用户触摸平板上。
步骤1完成后,再需测量线卷位置时,只需执行步骤2;如果雷达安装位置、姿态等发生变化,需要重新执行步骤1进行雷达标定,再执行步骤2测量线卷位置。
在本实施例中步骤1雷达标定中,将标定板8斜向放置在仓库线卷区域中,通过单线激光雷达1随无人天车运动扫描标定板8,结合天车位姿生成三维点云,再进行数据处理后得到单线激光雷达1相对于库区世界坐标系的外参,并存储在本地,其点云处理和数据计算是将原始点云数据进行拼接成三维点云,拟合平面、计算标定参数。包括步骤1.1仓库周围环境中的三维点云生成、步骤1.2初始标定的变换矩阵计算、步骤1.3二次标定后的变换矩阵计算和步骤1.4变换矩阵计算。
步骤1.1:仓库周围环境中的三维点云生成,将单线激光雷达1坐标系与无人天车PLC4输出的无人天车运动位姿坐标结合,引入齐次坐标,进行位移变换,组成仓库周围环境中的三维点云;
具体地,将单线激光雷达1扫描平面视为雷达坐标系olxlylzl中由xl轴和yl轴组成的平面,即竖直向下为雷达坐标系的yl轴,沿着无人天车运动方向设置为雷达坐标系的zl轴,垂直于雷达坐标系中zl轴和yl轴的为雷达坐标系的xl轴,按此坐标系将无人天车PLC4输出的无人天车运动位姿坐标xc、yc、zc结合起来,引入齐次坐标,进行位移变换,如公式-1所示。组成周围环境中的三维点云,如图3所示。
Figure BDA0002848485000000081
步骤1.2:初始标定的变换矩阵计算,将上述仓库周围环境中的三维点云进行筛选,获得地面点云并拟合出地平面,根据地平面计算单线激光雷达1坐标系与库区世界坐标系的相对变量,引入齐次坐标,得到初始标定的变换矩阵,将激光雷达坐标系的与Z轴垂直的平面变换到与世界坐标系的水平面重合,得到初始标定后的坐标系;
具体地,用直通滤波筛选出地面点云,通过RANSAC方法拟合地平面,得到地平面拟合方程如公式-2所示,根据地面拟合结果参数Ag、Bg、Cg、Dg计算单线激光雷达1坐标系xlylzl绕世界坐标系xwywzw中xw轴的转角θx和yw轴的转角θy,以及激光雷达坐标系沿世界坐标系zw轴的平移距离tz,引入齐次坐标,得到初始标定的变换矩阵T1,如公式-3所示,将激光雷达坐标系的xlolyl平面变换到与世界坐标系的xwowyw平面重合,得到初始标定后的坐标系x1y1z1,其中xw方向向左,yw方向与标定板8拟合平面法向量在水平面上的投影方向相同(即无人天车前进方向),zw方向竖直向上,ow为库区管理***6中定义的库区坐标原点;
Agx+Bgy+Cgz+Dg=0 公式-2
Figure BDA0002848485000000091
步骤1.3:二次标定后的变换矩阵计算,将上述仓库周围环境中的三维点云进行筛选,获得标定板8点云,对标定板8点云进行去噪处理后拟合获得标定板8平面,根据标定板8平面计算初始标定后的坐标系与库区世界坐标系的相对变量,得到二次标定后的变换矩阵;
具体地,用直通滤波筛选出斜向放置的标定板8点云,再以统计滤波除去噪点后,通过RANSAC方法拟合标定板8的平面,得到当前坐标系x1y1z1下的标定板8平面方程如公式-4所示,再由标定板8平面拟合结果的参数计算初始标定后的坐标系x1y1z1绕世界坐标系zwywzw中zw的转角θz、沿xw轴的平移量tx和沿zw轴的平移量tz,得到二次标定后的变换矩阵T2,如公式-5所示,将x1y1z1坐标系变换到世界坐标系xwywzw
Abx+Bby+Cbz+Db=0 公式-4
Figure BDA0002848485000000092
步骤1.4:变换矩阵计算,将初始标定的变换矩阵与二次标定后的变换矩阵计算获得变换矩阵,并将变换矩阵储存,利用变换矩阵将单线激光雷达1坐标系下的点云据变换到世界坐标系下的点云。
具体地,标定完成后,由变换矩阵T1和T2计算变换矩阵T并存储下来,通过公式-6即可将单线激光雷达1坐标系下的点云数据变换到世界坐标系下,标定结果如图4所示世界坐标系原点暂定为标定板8角点在地面上的投影点A,地平面方程拟合结果为:-0.083232x-0.996350y+0.018940z+1.348637=0,在标定板8平面拟合结果为:0.044279x-0.832118y+0.552828z-0.373667=0;。
Figure BDA0002848485000000101
在步骤2线卷位置检测过程中,单线激光雷达1对库区进行扫描,操作人员按下用户触摸平板内开始扫描按钮,单线激光雷达1根据用户触摸平板内按钮发出的扫描信号,在随着无人天车运动的同时采集一组点云数据,将点云数据信息通过以太网传送给信息处理服务器,经过点云处理和数据计算后,将结果发送到库区管理***6并显示在用户触摸平板上,其点云处理和数据计算包括步骤2.1库区环境三维点云生成和步骤2.2库区线卷位置信息计算,其中,步骤2.1库区环境三维点云生成包括步骤2.1.1扫描点位移计算和步骤2.1.2坐标系转换;步骤2.2库区线卷位置信息计算包括步骤2.2.1特征提取和降噪处理、步骤2.2.2:地面滤波、步骤2.2.3分割聚类、和步骤2.2.4线卷识别。
步骤2.1:库区环境三维点云生成,库区管理***6下达任务,单线激光雷达1随天车扫描库区线卷时,结合天车运动位姿坐标生成库区环境三维点云;
具体地,库区管理***6下达任务,单线激光雷达1随天车扫描库区线卷时,结合天车运动位姿坐标xc、yc、zc生成库区环境三维点云地图;
步骤2.1.1:扫描点位移计算,结合无人天车位姿和单线激光雷达1扫描周期消除单线激光雷达1随天车扫描过程中的运动畸变,计算出单线激光雷达1每个扫描周期中的扫描点的位移;
具体地,结合无人天车位姿xc、yc、zc和单线激光雷达1扫描周期Tl消除单线激光雷达1随天车扫描过程中的运动畸变,无人天车运动方向为世界坐标系的yw方向,据此在无人天车位姿传输频次之间进行插值,计算出单线激光雷达1第n个扫描周期中第i个扫描点在yw方向上的位移
Figure BDA0002848485000000111
如公式-7所示,其中
Figure BDA0002848485000000112
Figure BDA0002848485000000113
分别为单线激光雷达1第n个扫描周期前后由无人天车PLC4传输的相邻两次yw轴上的坐标,N为一次库区扫描任务中雷达扫描的周期数量,pnumn为第n个扫描周期中的扫描点总数量;
Figure BDA0002848485000000114
步骤2.1.2:坐标系转换,结合步骤2.1.1中计算出的扫描点的位移和标定所得的变换矩阵计算出扫描点变换矩阵,将单线激光雷达1坐标系变换到世界坐标系。
具体地,结合单线激光雷达1扫描点的yw轴位移
Figure BDA0002848485000000115
和中标定后存储的变换矩阵T,计算单线激光雷达1第n个扫描周期中的第i个扫描点的变换矩阵Ti n,并由此将单线激光雷达1坐标系xlylzl变换到世界坐标系xwywzw下,如公式-8所示;
Figure BDA0002848485000000116
步骤2.2:库区线卷位置信息计算,将步骤2.1中生成的库区环境三维点云进行数据处理和特征提取,获得库区线卷位置信息。
步骤2.2.1:特征提取和降噪处理,提取点云中感兴趣的点云,对感兴趣的点云进行降噪处理;
具体地,通过直通滤波筛选点云中的感兴趣区域,只保留相应方向上在阈值范围内的点,留下目标扫描区域的点云,如公式-9所示,其中xwmin、xwmax、ywmin、ywmax、zwmin、zwmax分别为xw、yw、zw方向上的直通滤波阈值范围,并且通过统计滤波除去点云中的噪点,如公式-10所示,假设三维点云服从高斯分布,其形状由点与点之间的平均距离μ和标准差σ决定,若目标点与k个邻近点的平均距离dwk在标准范围之外则将其视为离群点去除,在本发明中,取标准范围为[μ-zσ,μ+zσ],在本实施例中,z=1,k=5,滤波前后的点云如图5所示,左侧为统计滤波前的点云,右侧为统计滤波后的点云;
Figure BDA0002848485000000121
Figure BDA0002848485000000122
步骤2.2.2:地面滤波,利用拟合出地平面对降噪处理后的点云进行地面点云滤波处理;
具体地,进行地面滤波,通过RANSAC方法拟合地平面后,得到地平面方程Agx+Bgy+Cgz+Dg=0,将地面点云滤除,如公式-11所示,满足该条件的点
Figure BDA0002848485000000123
即为要删除的点云,其中
Figure BDA0002848485000000124
为该点到地平面的距离,在本实施例中,eg=0.05m,地面滤波结果如图6所示,左图为地面滤波前的点云,右图为要滤除的地面点云;
Figure BDA0002848485000000125
步骤2.2.3:分割聚类,将步骤2.2.2处理后的点云进行分割聚类,获得点云类簇;
具体地,通过DBSCAN聚类方法将去除地面点的剩余点云进行分割聚类,将点云划分为密度相连的点的最大集合,如公式-12所示,若目标点(xw,yw,zw)的给定半径reps内点数f(xw,yw,zw,reps)大于最小包含点数Ptsmin,则视为同一类簇,并在此半径范围内的点重复以上操作,对不同类簇进行一系列聚类分析,首先去除含点数少于knum的类簇和坐标范围分布与线卷大小差异dcoor过大的类簇,最终输出一系列类簇(c1,c2Λcn),在本实施例中,Ptsmin的值为5,knum取值为300,dcoor取值为0.5m;
f(xw,yw,zw,reps)>Ptsmin 公式-12
步骤2.2.4:线卷识别,将每个点云簇分别拟合出圆柱体,计算出圆柱体的外径和长度,与库区管理***6发送的线卷型号信息进行对比,取误差最小的作为线卷识别结果,并将线卷识别结果发送到库区管理***6中,更新线卷位置坐标。
具体地,对的点云类簇(c1,c2Λcn)进行RANSAC方法的圆柱体拟合,计算圆柱体拟合结果的外径和长度,与库区管理***6发送的线卷型号信息进行对比,取误差最小的作为线卷识别结果,并将识别结果发送到库区管理***6中,更新线卷位置坐标;
验证本实施例的检测方向的精度,取三个长度为200mm、直径为50mm的线卷并排放置在地上,令单线激光雷达1随自行搭建的实验平台上的导轨移动,动态扫描下方场景,生成三维点云,其点云分割结果如图7所示,不同灰度的点云对应着不同的线卷类簇,由图7可知,本实施例的检测方法可以较为准确的生成线卷点云。线卷模型拟合结果如表1所示;由表1可知,本实施例的检测方法较为准确地的检测出线卷的形状和位置,误差较小。
表1精度验证
Figure BDA0002848485000000141
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于激光雷达的仓库线卷位置检测***,其特征在于,包括单线激光雷达,单线激光雷达安装在激光雷达调整平台上,激光雷达调整平台安装在无人天车检修平台的正下方,单线激光雷达随着无人天车检修平台运动动态扫描库区,将扫描获得的仓库点云信息传递给无人天车工控机,无人天车工控机将上述仓库点云信息进行数据处理后传输给库区管理***,库区管理***与无人天车工控机连接,实现库区管理***、无人天车PLC和单线激光雷达三方通讯;
库区内放置有标定板,单线激光雷达动态扫描标定板进行标定,获取单线激光雷达相对于世界坐标系的外参,进行位姿变换将单线激光雷达坐标系的点云转换到世界坐标系;单线激光雷达动态扫描库区,结合无人天车坐标进行位姿变换,生成库区三维点云;通过点云处理和特征提取得到线卷点云特征,对目标点云进行拟合,计算线卷长度、外径等尺寸信息,将计算线卷在世界坐标系下的坐标传递给库区管理***。
2.如权利要求1所述的基于激光雷达的仓库线卷位置检测***,其特征在于,标定板斜向放置在地面上,其平面法线方向为无人天车前进方向。
3.如权利要求1所述的基于激光雷达的仓库线卷位置检测***,其特征在于,激光雷达调整平台包括上支撑部分,在所述上支撑部的下方设置有旋转平台,所述旋转平台可绕着回转中心旋转。
4.如权利要求1所述的基于激光雷达的仓库线卷位置检测***,其特征在于,还包括平板触摸屏,平板触摸屏与库区管理***连接,用于单线激光雷达扫描任务的发布与扫描结果的确认。
5.如权利要求1所述的基于激光雷达的仓库线卷位置检测***,其特征在于,库区管理***与无人天车工控机通过以太网连接。
6.一种基于激光雷达的仓库线卷位置检测方法,其特征在于,包括以下步骤:
步骤1:雷达标定,将权利要求1-4任意一项所述的基于激光雷达的仓库线卷位置检测***安装完成,调整好单线激光雷达,将标定板斜向放置在仓库线卷区域中,通过单线激光雷达随无人天车运动扫描标定板,结合天车位姿生成三维点云,进行数据处理后得到单线激光雷达坐标系相对于库区世界坐标系的外参;
步骤2:线卷位置检测,操作人员按下用户触摸平板内开始扫描按钮,单线激光雷达根据用户触摸平板内按钮发出的扫描信号,在随着无人天车运动的同时采集一组点云数据,将点云数据信息通过以太网传送给信息处理服务器,经过点云处理和数据计算后得到库区线卷位置信息,将库区线卷位置信息发送到库区管理***并显示在用户触摸平板上。
7.如权利要求6所述的基于激光雷达的仓库线卷位置检测方法,其特征在于,雷达标定包括以下步骤:
步骤1.1:仓库周围环境中的三维点云生成,将单线激光雷达坐标系与无人天车PLC输出的无人天车运动位姿坐标结合,引入齐次坐标,进行位移变换,组成仓库环境中的三维点云;
步骤1.2:初始标定的变换矩阵计算,将上述仓库周围环境中的三维点云进行筛选,获得地面点云并拟合出地平面,根据地平面计算单线激光雷达坐标系与库区世界坐标系的相对变量,引入齐次坐标,得到初始标定的变换矩阵,将激光雷达坐标系的与Z轴垂直的平面变换到与世界坐标系的水平面重合,得到初始标定后的坐标系;
步骤1.3:二次标定后的变换矩阵计算,将上述仓库周围环境中的三维点云进行筛选,获得标定板点云,对标定板点云进行去噪处理后拟合获得标定板平面,根据标定板平面计算初始标定后的坐标系与库区世界坐标系的相对变量,得到二次标定后的变换矩阵;
步骤1.4:变换矩阵计算,将所述初始标定的变换矩阵与二次标定后的变换矩阵计算获得变换矩阵,并将所述变换矩阵储存,利用所述变换矩阵将单线激光雷达坐标系下的点云据变换到世界坐标系下的点云。
8.如权利要求6所述的基于激光雷达的仓库线卷位置检测方法,其特征在于,线卷位置检测包括以下步骤:
步骤2.1:库区环境三维点云生成,库区管理***下达任务,单线激光雷达随天车扫描库区线卷时,结合天车运动位姿坐标生成库区环境三维点云;
步骤2.2:库区线卷位置信息计算,将步骤2.1中生成的库区环境三维点云进行数据处理和特征提取,获得库区线卷位置信息。
9.如权利要求8所述的基于激光雷达的仓库线卷位置检测方法,其特征在于,库区环境三维点云生成包括以下步骤:
步骤2.1.1:扫描点位移计算,结合无人天车位姿和单线激光雷达扫描周期消除单线激光雷达随天车扫描过程中的运动畸变,计算出单线激光雷达每个扫描周期中的扫描点的位移;
步骤2.1.2:坐标系转换,结合步骤2.1.1中计算出的扫描点的位移和标定所得的变换矩阵计算出扫描点变换矩阵,将单线激光雷达坐标系变换到世界坐标系。
10.如权利要求8所述的基于激光雷达的仓库线卷位置检测方法,其特征在于,库区线卷位置信息计算包括以下步骤:
步骤2.2.1:特征提取和降噪处理,提取点云中感兴趣的点云,对感兴趣的点云进行降噪处理;
步骤2.2.2:地面滤波,利用拟合出地平面对降噪处理后的点云进行地面点云滤波处理;
步骤2.2.3:分割聚类,将步骤2.2.2处理后的点云进行分割聚类,获得点云类簇;
步骤2.2.4:线卷识别,将每个点云簇分别拟合出圆柱体,计算出圆柱体的外径和长度,与库区管理***发送的线卷型号信息进行对比,取误差最小的作为线卷识别结果,并将线卷识别结果发送到库区管理***中,更新线卷位置坐标。
CN202011519503.1A 2020-12-21 2020-12-21 一种基于激光雷达的仓库线卷位置检测***及方法 Active CN112581451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011519503.1A CN112581451B (zh) 2020-12-21 2020-12-21 一种基于激光雷达的仓库线卷位置检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519503.1A CN112581451B (zh) 2020-12-21 2020-12-21 一种基于激光雷达的仓库线卷位置检测***及方法

Publications (2)

Publication Number Publication Date
CN112581451A true CN112581451A (zh) 2021-03-30
CN112581451B CN112581451B (zh) 2024-02-23

Family

ID=75136548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519503.1A Active CN112581451B (zh) 2020-12-21 2020-12-21 一种基于激光雷达的仓库线卷位置检测***及方法

Country Status (1)

Country Link
CN (1) CN112581451B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204029A (zh) * 2021-04-19 2021-08-03 北京科技大学 一种热轧板坯翘曲检测装置及方法
CN113359105A (zh) * 2021-06-15 2021-09-07 武汉米佳信息技术有限公司 一种基于二维激光雷达生成三维点云数据的方法及***
CN113567964A (zh) * 2021-06-29 2021-10-29 苏州一径科技有限公司 激光雷达自动测试方法及装置、***
CN113689351A (zh) * 2021-08-24 2021-11-23 北京石油化工学院 基于深度相机的危化品仓储监控方法、装置及设备
CN113759906A (zh) * 2021-08-30 2021-12-07 广州文远知行科技有限公司 一种车辆对位方法、装置、计算机设备和存储介质
CN114322828A (zh) * 2021-12-15 2022-04-12 云南昆钢电子信息科技有限公司 一种基于激光雷达扫描角度切换的点云采样***及方法
CN114455511A (zh) * 2021-12-27 2022-05-10 劢微机器人科技(深圳)有限公司 叉车装货方法及设备、计算机可读存储介质
CN114519711A (zh) * 2022-02-22 2022-05-20 中冶赛迪重庆信息技术有限公司 一种库区钢卷测量方法、***、介质及电子终端
CN114777648A (zh) * 2022-04-20 2022-07-22 中冶赛迪重庆信息技术有限公司 板坯感知测量方法及***
CN114994700A (zh) * 2022-05-19 2022-09-02 瑞诺(济南)动力科技有限公司 一种流动机械的定位方法、设备及介质
CN114994648A (zh) * 2022-08-05 2022-09-02 聚时科技(深圳)有限公司 一种直线运动机构上2d激光雷达的外参标定方法
CN115222826A (zh) * 2022-09-15 2022-10-21 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052274A (ja) * 2012-09-06 2014-03-20 Fujitsu Ltd 物体検出装置、物体検出プログラムおよび車両
CN104793619A (zh) * 2015-04-17 2015-07-22 上海交通大学 基于摆动单线激光雷达的仓库巷道自动引导车导航装置
CN108732582A (zh) * 2017-04-20 2018-11-02 百度在线网络技术(北京)有限公司 车辆定位方法和装置
CN109160452A (zh) * 2018-10-23 2019-01-08 西安中科光电精密工程有限公司 基于激光定位和立体视觉的无人转运叉车及导航方法
CN109541612A (zh) * 2018-11-09 2019-03-29 同济大学 基于单线激光雷达识别柱状物的机器人室内自定位***
US20190138978A1 (en) * 2017-11-09 2019-05-09 Locus Robotics Corporation Order grouping in warehouse order fulfillment operations
CN110118973A (zh) * 2019-05-27 2019-08-13 杭州亚美利嘉科技有限公司 仓库智能感知识别方法、装置及电子设备
CN110852180A (zh) * 2019-10-17 2020-02-28 上海快仓智能科技有限公司 用于自动引导车的tof相机标定方法及自动引导车
CN111103576A (zh) * 2019-12-31 2020-05-05 三一重工股份有限公司 单线激光雷达与多线激光雷达的标定方法和装置
CN111369630A (zh) * 2020-02-27 2020-07-03 河海大学常州校区 一种多线激光雷达与相机标定的方法
CN111429501A (zh) * 2020-03-25 2020-07-17 贝壳技术有限公司 深度图预测模型生成方法和装置、深度图预测方法和装置
CN111505606A (zh) * 2020-04-14 2020-08-07 武汉大学 多相机与激光雷达***相对位姿检校方法及装置
CN111664843A (zh) * 2020-05-22 2020-09-15 杭州电子科技大学 一种基于slam的智能仓储盘点方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052274A (ja) * 2012-09-06 2014-03-20 Fujitsu Ltd 物体検出装置、物体検出プログラムおよび車両
CN104793619A (zh) * 2015-04-17 2015-07-22 上海交通大学 基于摆动单线激光雷达的仓库巷道自动引导车导航装置
CN108732582A (zh) * 2017-04-20 2018-11-02 百度在线网络技术(北京)有限公司 车辆定位方法和装置
US20190138978A1 (en) * 2017-11-09 2019-05-09 Locus Robotics Corporation Order grouping in warehouse order fulfillment operations
CN109160452A (zh) * 2018-10-23 2019-01-08 西安中科光电精密工程有限公司 基于激光定位和立体视觉的无人转运叉车及导航方法
CN109541612A (zh) * 2018-11-09 2019-03-29 同济大学 基于单线激光雷达识别柱状物的机器人室内自定位***
CN110118973A (zh) * 2019-05-27 2019-08-13 杭州亚美利嘉科技有限公司 仓库智能感知识别方法、装置及电子设备
CN110852180A (zh) * 2019-10-17 2020-02-28 上海快仓智能科技有限公司 用于自动引导车的tof相机标定方法及自动引导车
CN111103576A (zh) * 2019-12-31 2020-05-05 三一重工股份有限公司 单线激光雷达与多线激光雷达的标定方法和装置
CN111369630A (zh) * 2020-02-27 2020-07-03 河海大学常州校区 一种多线激光雷达与相机标定的方法
CN111429501A (zh) * 2020-03-25 2020-07-17 贝壳技术有限公司 深度图预测模型生成方法和装置、深度图预测方法和装置
CN111505606A (zh) * 2020-04-14 2020-08-07 武汉大学 多相机与激光雷达***相对位姿检校方法及装置
CN111664843A (zh) * 2020-05-22 2020-09-15 杭州电子科技大学 一种基于slam的智能仓储盘点方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何静;刘冉;肖宇峰;梁高丽;付余路;: "融合RFID相位差和激光扫描的动态目标定位", 仪器仪表学报, no. 02, 15 February 2018 (2018-02-15) *
康国华;张琪;张晗;徐伟证;张文豪;: "基于点云中心的激光雷达与相机联合标定方法研究", 仪器仪表学报, no. 12, 15 December 2019 (2019-12-15) *
赵俊宏;吕恩利;陆华忠;王昱;王飞仁;: "基于激光雷达的托盘位姿识别算法及验证", 仪器仪表学报, no. 10, 15 October 2017 (2017-10-15) *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204029A (zh) * 2021-04-19 2021-08-03 北京科技大学 一种热轧板坯翘曲检测装置及方法
CN113359105A (zh) * 2021-06-15 2021-09-07 武汉米佳信息技术有限公司 一种基于二维激光雷达生成三维点云数据的方法及***
CN113567964A (zh) * 2021-06-29 2021-10-29 苏州一径科技有限公司 激光雷达自动测试方法及装置、***
CN113689351B (zh) * 2021-08-24 2023-10-10 北京石油化工学院 基于深度相机的危化品仓储监控方法、装置及设备
CN113689351A (zh) * 2021-08-24 2021-11-23 北京石油化工学院 基于深度相机的危化品仓储监控方法、装置及设备
CN113759906A (zh) * 2021-08-30 2021-12-07 广州文远知行科技有限公司 一种车辆对位方法、装置、计算机设备和存储介质
CN114322828A (zh) * 2021-12-15 2022-04-12 云南昆钢电子信息科技有限公司 一种基于激光雷达扫描角度切换的点云采样***及方法
CN114455511A (zh) * 2021-12-27 2022-05-10 劢微机器人科技(深圳)有限公司 叉车装货方法及设备、计算机可读存储介质
CN114519711A (zh) * 2022-02-22 2022-05-20 中冶赛迪重庆信息技术有限公司 一种库区钢卷测量方法、***、介质及电子终端
CN114777648A (zh) * 2022-04-20 2022-07-22 中冶赛迪重庆信息技术有限公司 板坯感知测量方法及***
CN114777648B (zh) * 2022-04-20 2023-09-05 中冶赛迪信息技术(重庆)有限公司 板坯感知测量方法及***
CN114994700A (zh) * 2022-05-19 2022-09-02 瑞诺(济南)动力科技有限公司 一种流动机械的定位方法、设备及介质
CN114994648A (zh) * 2022-08-05 2022-09-02 聚时科技(深圳)有限公司 一种直线运动机构上2d激光雷达的外参标定方法
CN114994648B (zh) * 2022-08-05 2022-11-08 聚时科技(深圳)有限公司 一种直线运动机构上2d激光雷达的外参标定方法
CN115222826A (zh) * 2022-09-15 2022-10-21 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置
CN115222826B (zh) * 2022-09-15 2022-12-27 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置

Also Published As

Publication number Publication date
CN112581451B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN112581451A (zh) 一种基于激光雷达的仓库线卷位置检测***及方法
CN107089599B (zh) 基于集装箱箱区轮廓三维识别的吊具安全防撞***及方法
CN110344621A (zh) 一种面向智能车库的车轮点云检测方法
CN110243380B (zh) 一种基于多传感器数据与角度特征识别的地图匹配方法
CN108182689A (zh) 应用于机器人搬运打磨领域的板状工件三维识别定位方法
CN111634636B (zh) 一种斗轮机的全自动取料控制***
Son et al. Rapid 3D object detection and modeling using range data from 3D range imaging camera for heavy equipment operation
CN112697058A (zh) 一种基于机器视觉的大尺寸板材装配间隙在线测量***与方法
CN109872355B (zh) 一种基于深度相机的最短距离获取方法及装置
CN114004869A (zh) 一种基于3d点云配准的定位方法
CN114152677B (zh) 一种复杂模锻件超声波自动检测装置
CN111880195A (zh) 基于激光雷达的塔吊防碰撞方法及其***
CN111539446A (zh) 一种基于模板匹配的2d激光孔位检测方法
CN116486287A (zh) 基于环境自适应机器人视觉***的目标检测方法及***
CN111413689A (zh) 一种基于rviz实现多激光雷达点云对齐的高效静态标定方法
CN113483664B (zh) 一种基于线结构光视觉的屏风板自动上料***及方法
Yan et al. Multi-line laser structured light fast visual positioning system with assist of TOF and CAD
CN112231848B (zh) 一种构建车辆喷涂模型的方法及***
CN111708356B (zh) 一种起重机自动规划路径***与方法
CN116659500A (zh) 基于激光雷达扫描信息的移动机器人定位方法及***
CN115932877A (zh) 一种激光雷达和单目摄像头融合的目标跟踪方法及***
CN114862908A (zh) 一种基于深度相机的动态目标追踪方法与***
CN114353779A (zh) 一种采用点云投影快速更新机器人局部代价地图的方法
Wang et al. Robot floor‐tiling control method based on finite‐state machine and visual measurement in limited FOV
CN111121639B (zh) 一种刚柔一体的建筑物狭窄空间的裂缝检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant