CN117553686B - 一种基于激光雷达点云的车厢散料超限检测方法 - Google Patents
一种基于激光雷达点云的车厢散料超限检测方法 Download PDFInfo
- Publication number
- CN117553686B CN117553686B CN202410049227.9A CN202410049227A CN117553686B CN 117553686 B CN117553686 B CN 117553686B CN 202410049227 A CN202410049227 A CN 202410049227A CN 117553686 B CN117553686 B CN 117553686B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- axis
- point
- carriage
- rotation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 239000011159 matrix material Substances 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 20
- 239000000463 material Substances 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 75
- 239000013590 bulk material Substances 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000002349 favourable effect Effects 0.000 claims description 7
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 4
- 241000764238 Isis Species 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出一种基于激光雷达点云的车厢散料超限检测方法，包括两个步骤：一个步骤是通过激光雷达采集包含车辆与下料口的车辆点云数据后，使用直通滤波移除环境中多余的大块杂点，进而使用欧式聚类算法对点云进行分割，获取旋转矩阵，对分割出的所有点云进行位姿变换，最后提取并记录车辆与下料口的信息，避免了装料过程中散料遮挡车厢导致的车厢信息缺失问题；另一个步骤是通过控制下料，开始获取带有车厢中散料的检测点云数据，使用旋转矩阵对检测点云进行位姿变换，移除下料口点云，最后使用直通滤波在处理后的检测点云中提取出散料点云，并判断散料点云是否超限，有利于实时检测散料装载量，降低数据的延迟和滞后。
Description
技术领域
本发明涉及点云检测技术，具体设计了一种基于激光雷达点云的车厢散料超限检测方法。
背景技术
现有散料装车高度依赖人工在装料现场指挥，车辆行驶至装料地点后，通过现场的画线标记判断车辆是否到达下料位置，然后指挥控制室进行下料操作，装料现场往往灰尘污染严重，工人在现场观察并指挥对人体伤害巨大；散料装载一段时间后，需要挪动车辆继续装载，也需要工人判断散料是否装满该段车厢，并指挥车辆移动，同样对工人依赖性较大，自动化程度不高。
公开号为CN115953400A的中国专利公开了一种基于三维点云物体表面的腐蚀坑自动检测方法，其中通过自动匹配拍摄物体表面点云和理想物体表面点云达到自动识别物体表面上的腐蚀坑，提供了一种基于点云检测物体的思路，但是无法将其直接应用在车厢散料超限检测具体场景中。
发明内容
本发明针对以上问题，提供一种基于激光雷达点云的车厢散料超限检测方法。
采用的技术方案是，一种基于激光雷达点云的车厢散料超限检测方法，包括以下步骤：
对车辆与下料口的信息进行提取，并获取旋转矩阵；
对散料点云提取，并判断是否超限；
其中：
所述对车辆与下料口的信息进行提取，并获取旋转矩阵，包括以下步骤：
S1.使用激光雷达采集包含车辆与下料口的点云数据PCD；
S2.通过直通滤波移除环境中的杂点；
S3.通过欧式聚类算法将点云数据分割为辅助平面点云、车厢点云、下料口点云三部分；
S4.对辅助平面点云进行平面拟合；
S5.通过直通滤波提取车厢底部平面点云并拟合平面；
S6.在可视化窗口中查看位姿矫正后的点云位置与姿态，并判断是否有利于信息提取；
所述对散料点云提取，并判断是否超限，包括以下步骤：
A1.输入散料高度限值h，并获取带有车厢中散料的检测点云数据；
A2.对检测点云数据进行位姿变换；
A3.通过直通滤波在检测点云数据中提取出散料点云，并使用欧式聚类分割移除散料点云中的漂浮杂点；
A4.判断散料点云在竖直方向的最大值是否小于车辆车厢在竖直方向最大值减去散料高度限值。
进一步的，S1中，通过可视化窗口查看点云数据中的车辆与下料口是否达到指定位置，若未达到指定位置，则需移动车辆或下料口，直至达到指定位置。
可选的，S2中，设定三维滤波方向向量为（A,B,C），并垂直于三维滤波方向向量建立两个相互平行，且不重合的平面：
Ax+By+Cz+D1=0；
Ax+By+Cz+D2=0；
同时，基于下式移除大块杂点：
；
；
其中，x、y、z分别为笛卡尔三维直角坐标系的三个轴，PCD为使用激光雷达采集的包含车辆与下料口的点云数据，A、B、C分别为三维滤波方向向量在x、y、z方向上的分量， D1和D2分别为两个平面的常数量。
进一步的，S3中，所述欧式聚类算法中，设置距离阈值，计算点与点之间的距离，若距离小于距离阈值，则将这两个点划分为同一个点集，否则将这两个点划分至不同的点集；同时设置最小聚类点数Cmin，并移除点数小于Cmin的点集。
可选的，S4中，在对辅助平面点云进行平面拟合中，先计算拟合平面的法向量N1与y轴之间的夹角α和旋转轴向量K1，然后通过夹角α和旋转轴向量K1计算旋转矩阵R1，最后将旋转矩阵R1作为y轴旋转矩阵对分割出的所有点云进行位姿变换，其中夹角α的计算公式为：
；
式中，α为拟合平面的法向量N1与y轴之间的夹角，分别为法向量N1在x、y、z方向上的分量；
旋转轴向量K1的计算公式为：
；
式中，为旋转轴向量，分别为法向量N1在x、y、z方向上的
分量；
旋转矩阵R1的计算公式为：
；
式中，R1为旋转矩阵，E为单位矩阵，α为拟合平面的法向量N1与y轴之间的夹角，为向量K1与K1的转置向量的乘积；
。
进一步的，S5中，直通滤波提取车厢底部平面点云并拟合平面，计算拟合平面的法向量N2与x轴之间的夹角和旋转轴向量K2，然后使用夹角/>和旋转轴向量K2计算旋转矩阵R2，最后将旋转矩阵R2作为x轴旋转矩阵对分割出的所有点云进行位姿变换，其中夹角/>的计算公式为：
；
式中，为拟合平面的法向量N2与x轴之间的夹角，、、分别为向量N2
在x、y、z方向上的分量；
旋转轴向量K2的计算公式为：
式中，为旋转轴向量，、、分别为法向量N2在x、y、z方向上的分量；
旋转矩阵R2的计算公式为：
；
式中，R2为旋转矩阵，E为单位矩阵，为拟合平面的法向量N2与x轴之间的夹角，为向量K2与K2的转置向量的乘积；
。
可选的，S6中，在可视化窗口中查看位姿矫正后的点云位置与姿态是否有利于信息提取，若不利于信息提取，则需移动车辆或下料口，重新执行S1至S5的操作，若位姿有利于信息提取，则提取并记录y轴旋转矩阵R1、x轴旋转矩阵R2、下料口点云、车辆车厢在x轴的最大值和最小值、车辆车厢在y轴的最大值和最小值，其中通过观察车厢侧面平面点云是否与yoz平面平行，车厢底部平面点云是否与xoz平面平行，若都平行，则有利于信息提取。
进一步的，A2中，通过使用y轴旋转矩阵R1和x轴旋转矩阵R2对检测点云进行位姿变换，得到点云，算式如下：
；
式中，为位姿变换前的检测点云，/>为位姿变换后的检测点云，R1为y轴旋转矩阵、R2为x轴旋转矩阵；
然后通过下料口点云对检测点云进行KdTree半径搜索，并在检测点云中移除搜索到的点云，其中被移除的点云为，表达式为：
；
式中， 为被移除的点云，/>为S3中提取出的下料口点云，/>为位姿变换后的检测点云，/>为KdTree的搜索半径，/>为/>中的点与/>中的点之间的距离，且可以通过下式进行表示：
；
；
式中，为/>中的点；
为/>中的点；
i为点云的点序号，n为/>的点数；
j为点云的点序号，m为/>的点数；
分别为点/>在x、y、z方向上的分量；
分别为点/>在x、y、z方向上的分量。
可选的，A3中，所述欧式聚类分割移除散料点云中的漂浮杂点为设置最小聚类点数Cmin，将点数小于Cmin的点集排除在算法结果之外。
进一步的，A4中，提取散料点云在y轴的最大值，判断散料点云在y轴的最大值是否小于车辆的车厢在y轴最大值减去散料高度限值h，若小于，则发出超限警告，否则继续下料，对下一帧检测点云数据进行检测。
本发明的有益效果至少包括以下之一；
1、提供了一种基于激光雷达点云的车厢散料超限检测方法，在车辆与下料口到达指定位置之后，装散料之前获取车辆车厢与下料口的信息，用于后续对散料点云的处理过程，避免了装料过程中散料遮挡车厢导致的车厢信息缺失问题，以及避免下料口对散料信息提取的影响。
2、在未装料时，提取并记录y轴旋转矩阵、x轴旋转矩阵、下料口点云、车辆车厢在x轴的最大最小值、车辆车厢在y轴的最大值和最小值，并在后续的每一帧点云中使用这些信息，可提升后续的点云处理速度，有利于实时检测散料装载量，降低数据的延迟和滞后。
附图说明
图1为车辆与下料口信息提取以及旋转矩阵获取流程图；
图2为散料点云提取流程图；
图3为检测流程图；
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
实施例1
一种基于激光雷达点云的车厢散料超限检测方法，其中包括以下步骤：
对车辆与下料口的信息进行提取，并获取旋转矩阵；
对散料点云提取，并判断是否超限；
其中：
所述对车辆与下料口的信息进行提取，并获取旋转矩阵，包括以下步骤：
S1.使用激光雷达采集包含车辆与下料口的点云数据PCD；
S2.通过直通滤波移除环境中的杂点；
S3.通过欧式聚类算法将点云数据分割为辅助平面点云、车厢点云、下料口点云三部分；
S4.对辅助平面点云进行平面拟合；
S5. 通过直通滤波提取车厢底部平面点云并拟合平面；
S6. 在可视化窗口中查看位姿矫正后的点云位置与姿态，并判断是否有利于信息提取；
所述对散料点云提取，并判断是否超限，包括以下步骤：
A1.输入散料高度限值h，并获取带有车厢中散料的检测点云数据；
A2. 对检测点云数据进行位姿变换；
A3.通过直通滤波在检测点云数据中提取出散料点云，并使用欧式聚类分割移除散料点云中的漂浮杂点；
A4. 判断散料点云在竖直方向的最大值是否小于车辆车厢在竖直方向最大值减去散料高度限值。
这样设计的目的在于，提供了一种基于激光雷达点云的车厢散料超限检测方法，在车辆与下料口到达指定位置之后，装散料之前获取车辆车厢与下料口的信息，用于后续对散料点云的处理过程，避免了装料过程中散料遮挡车厢导致的车厢信息缺失问题，以及避免下料口对散料信息提取的影响。在未装料时，提取并记录y轴旋转矩阵、x轴旋转矩阵、下料口点云、车辆车厢在x轴的最大最小值、车辆车厢在y轴的最大值和最小值，并在后续的每一帧点云中使用这些信息，可提升后续的点云处理速度，有利于实时检测散料装载量，降低数据的延迟和滞后。
实施例2
一种基于激光雷达点云的车厢散料超限检测方法，其中包括以下步骤：
对车辆与下料口的信息进行提取，并获取旋转矩阵；
对散料点云提取，并判断是否超限；
其中：
所述对车辆与下料口的信息进行提取，并获取旋转矩阵，包括以下步骤：
S1.使用激光雷达采集包含车辆与下料口的点云数据PCD；
S2.通过直通滤波移除环境中的杂点；
S3.通过欧式聚类算法将点云数据分割为辅助平面点云、车厢点云、下料口点云三部分；
S4.对辅助平面点云进行平面拟合；
S5. 通过直通滤波提取车厢底部平面点云并拟合平面；
S6. 在可视化窗口中查看位姿矫正后的点云位置与姿态，并判断是否有利于信息提取；
所述对散料点云提取，并判断是否超限，包括以下步骤：
A1.输入散料高度限值h，并获取带有车厢中散料的检测点云数据；
A2. 对检测点云数据进行位姿变换；
A3.通过直通滤波在检测点云数据中提取出散料点云，并使用欧式聚类分割移除散料点云中的漂浮杂点；
A4. 判断散料点云在竖直方向的最大值是否小于车辆车厢在竖直方向最大值减去散料高度限值。
如图1和图3所示，在S1中，通过可视化窗口查看点云数据中的车辆与下料口是否达到指定位置，若未达到指定位置，则需移动车辆或下料口，直至达到指定位置。
在S2中，设定三维滤波方向向量为（A,B,C），并垂直于三维滤波方向向量建立两个相互平行，且不重合的平面：
Ax+By+Cz+D1=0；
Ax+By+Cz+D2=0；
同时，基于下式移除大块杂点：
；
；
其中，x、y、z分别为笛卡尔三维直角坐标系的三个轴，PCD为使用激光雷达采集的包含车辆与下料口的点云数据，A、B、C分别为三维滤波方向向量在x、y、z方向上的分量， D1和D2分别为两个平面的常数量。
在S3中，所述欧式聚类算法中，设置距离阈值，计算点与点之间的距离，若距离小于距离阈值，则将这两个点划分为同一个点集，否则将这两个点划分至不同的点集；同时设置最小聚类点数Cmin，并移除点数小于Cmin的点集。
在S4中，S4中，在对辅助平面点云进行平面拟合中，先计算拟合平面的法向量N1与y轴之间的夹角α和旋转轴向量K1，然后通过夹角α和旋转轴向量K1计算旋转矩阵R1，最后将旋转矩阵R1作为y轴旋转矩阵对分割出的所有点云进行位姿变换，其中夹角α的计算公式为：
；
式中，α为拟合平面的法向量N1与y轴之间的夹角，分别为法向量N1在x、y、z方向上的分量；
旋转轴向量K1的计算公式为：
；
式中，为旋转轴向量，分别为法向量N1在x、y、z方向上的
分量；
旋转矩阵R1的计算公式为：
；
式中，R1为旋转矩阵，E为单位矩阵，α为拟合平面的法向量N1与y轴之间的夹角，为向量K1与K1的转置向量的乘积；
。
在S5中，直通滤波提取车厢底部平面点云并拟合平面，计算拟合平面的法向量N2与x轴之间的夹角和旋转轴向量K2，然后使用夹角/>和旋转轴向量K2计算旋转矩阵R2，最后将旋转矩阵R2作为x轴旋转矩阵对分割出的所有点云进行位姿变换，其中夹角/>的计算公式为：
；
式中，为拟合平面的法向量N2与x轴之间的夹角，、、分别为向量N2
在x、y、z方向上的分量；
旋转轴向量K2的计算公式为：
式中，为旋转轴向量，、、分别为法向量N2在x、y、z方向上的分量；
旋转矩阵R2的计算公式为：
；
式中，R2为旋转矩阵，E为单位矩阵，为拟合平面的法向量N2与x轴之间的夹角，为向量K2与K2的转置向量的乘积；
。
在S6中，在可视化窗口中查看位姿矫正后的点云位置与姿态是否有利于信息提取，若不利于信息提取，则需移动车辆或下料口，重新执行S1至S5的操作，若位姿有利于信息提取，则提取并记录y轴旋转矩阵R1、x轴旋转矩阵R2、下料口点云、车辆车厢在x轴的最大值和最小值、车辆车厢在y轴的最大值和最小值，其中通过观察车厢侧面平面点云是否与yoz平面平行，车厢底部平面点云是否与xoz平面平行，若都平行，则有利于信息提取。
如图2和图3所示，在A2中，通过使用y轴旋转矩阵R1和x轴旋转矩阵R2对检测点云进行位姿变换，得到点云，算式如下：
；
式中，为位姿变换前的检测点云，/>为位姿变换后的检测点云，R1为y轴旋转矩阵、R2为x轴旋转矩阵；
然后通过下料口点云对检测点云进行KdTree半径搜索，并在检测点云中移除搜索到的点云，这样避免下料口对散料点云提取的影响，其中被移除的点云为，表达式为：
；
式中， 为被移除的点云，/>为S3中提取出的下料口点云，/>为位姿变换后的检测点云，/>为KdTree的搜索半径，/>为/>中的点与/>中的点之间的距离，且可以通过下式进行表示：
；
；
式中，为/>中的点；
为/>中的点；
i为点云的点序号，n为/>的点数；
j为点云的点序号，m为/>的点数；
分别为点/>在x、y、z方向上的分量；
分别为点/>在x、y、z方向上的分量。
在A3中，所述欧式聚类分割移除散料点云中的漂浮杂点为设置最小聚类点数Cmin，将点数小于Cmin的点集排除在算法结果之外。
在A4中，提取散料点云在y轴的最大值，判断散料点云在y轴的最大值是否小于车辆的车厢在y轴最大值减去散料高度限值h，若小于，则发出超限警告，否则继续下料，对下一帧检测点云数据进行检测。
需要指出的是，在部分使用场景中，旋转矩阵又被称作矫正矩阵，其实质为相同的内容，仅本领域技术人员表述习惯间的差异，同时，本申请提供的技术方案主要可以概括为两个大的步骤，一个步骤是激光雷达采集包含车辆与下料口的车辆点云数据后，使用直通滤波移除环境中多余的大块杂点，进而使用欧式聚类分割对点云进行分割，获取y轴旋转矩阵与x轴旋转矩阵，对分割出的所有点云进行位姿变换，最后提取并记录车辆与下料口的信息；
另一个步骤是控制下料，并开始获取带有车厢中散料的检测点云数据，分别使用y轴旋转矩阵和x轴旋转矩阵对检测点云进行位姿变换，移除下料口点云，最后使用直通滤波在处理后的检测点云中提取出散料点云，并判断散料点云是否超限。
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于激光雷达点云的车厢散料超限检测方法，其特征在于，包括以下步骤：
对车辆与下料口的信息进行提取，并获取旋转矩阵；
对散料点云提取，并判断是否超限；
其中：
所述对车辆与下料口的信息进行提取，并获取旋转矩阵，包括以下步骤：
S1.使用激光雷达采集包含车辆与下料口的点云数据PCD；
S2.通过直通滤波移除环境中的杂点；
S3.通过欧式聚类算法将点云数据分割为辅助平面点云、车厢点云、下料口点云三部分；
S4.对辅助平面点云进行平面拟合，其中在对辅助平面点云进行平面拟合中，先计算拟合平面的法向量N1与y轴之间的夹角α和旋转轴向量K1，然后通过夹角α和旋转轴向量K1计算旋转矩阵R1，最后将旋转矩阵R1作为y轴旋转矩阵对分割出的所有点云进行位姿变换，其中夹角α的计算公式为：
式中，α为拟合平面的法向量N1与y轴之间的夹角，分别为法向量N1在x、y、z方向上的分量；
旋转轴向量K1的计算公式为：
式中，为旋转轴向量，/>分别为法向量N1在x、y、z方向上的分量；
旋转矩阵R1的计算公式为：
式中，R1为y轴旋转矩阵，E为单位矩阵，α为拟合平面的法向量N1与y轴之间的夹角，为向量K1与K1的转置向量的乘积；
S5.通过直通滤波提取车厢底部平面点云并拟合平面，其中直通滤波提取车厢底部平面点云并拟合平面，计算拟合平面的法向量N2与x轴之间的夹角β和旋转轴向量K2，然后使用夹角β和旋转轴向量K2计算旋转矩阵R2，最后将旋转矩阵R2作为x轴旋转矩阵对分割出的所有点云进行位姿变换，其中夹角β的计算公式为：
式中，β为拟合平面的法向量N2与x轴之间的夹角，分别为向量N2在x、y、z方向上的分量；
旋转轴向量K2的计算公式为：
式中，为旋转轴向量，/>分别为法向量N2在x、y、z方向上的分量；
旋转矩阵R2的计算公式为：
式中，R2为x轴旋转矩阵，E为单位矩阵，β为拟合平面的法向量N2与x轴之间的夹角，为向量K2与K2的转置向量的乘积；
S6.在可视化窗口中查看位姿矫正后的点云位置与姿态，并判断是否有利于信息提取；
所述对散料点云提取，并判断是否超限，包括以下步骤：
A1.输入散料高度限值h，并获取带有车厢中散料的检测点云数据；
A2.对检测点云数据进行位姿变换；
A3.通过直通滤波在检测点云数据中提取出散料点云，并使用欧式聚类分割移除散料点云中的漂浮杂点；
A4.判断散料点云在竖直方向的最大值是否小于车辆车厢在竖直方向最大值减去散料高度限值。
2.根据权利要求1所述的一种基于激光雷达点云的车厢散料超限检测方法，其特征在于，S1中，通过可视化窗口查看点云数据中的车辆与下料口是否达到指定位置，若未达到指定位置，则需移动车辆或下料口，直至达到指定位置。
3.根据权利要求2所述的一种基于激光雷达点云的车厢散料超限检测方法，其特征在于，S2中，设定三维滤波方向向量为(A，B，C)，并垂直于三维滤波方向向量建立两个相互平行，且不重合的平面：
Ax+By+Cz+D1＝0；
Ax+By+Cz+D2＝0；
同时，基于下式移除大块杂点：
{(x，y，z)∈PCD|Ax+By+Cz＜D1}∩{(x，y，z)∈PCD|Ax+By+Cz＞D2}；
(D1＞D2)；
其中，x、y、z分别为笛卡尔三维直角坐标系的三个轴，PCD为使用激光雷达采集的包含车辆与下料口的点云数据，A、B、C分别为三维滤波方向向量在x、y、z方向上的分量，D1和D2分别为两个平面的常数量。
4.根据权利要求3所述的一种基于激光雷达点云的车厢散料超限检测方法，其特征在于，S3中，所述欧式聚类算法中，设置距离阈值，计算点与点之间的距离，若距离小于距离阈值，则将这两个点划分为同一个点集，否则将这两个点划分至不同的点集；同时设置最小聚类点数Cmin，并移除点数小于Cmin的点集。
5.根据权利要求4所述的一种基于激光雷达点云的车厢散料超限检测方法，其特征在于，S6中，在可视化窗口中查看位姿矫正后的点云位置与姿态是否有利于信息提取，若不利于信息提取，则需移动车辆或下料口，重新执行S1至S5的操作，若位姿有利于信息提取，则提取并记录y轴旋转矩阵R1、x轴旋转矩阵R2、下料口点云、车辆车厢在x轴的最大值和最小值、车辆车厢在y轴的最大值和最小值，其中通过观察车厢侧面平面点云是否与yoz平面平行，车厢底部平面点云是否与xoz平面平行，若都平行，则有利于信息提取。
6.根据权利要求5所述的一种基于激光雷达点云的车厢散料超限检测方法，其特征在于，A2中，通过使用y轴旋转矩阵R1和x轴旋转矩阵R2对检测点云进行位姿变换，得到点云vr，算式如下：
vr＝R2·R1·v；
式中，v为位姿变换前的检测点云，vr为位姿变换后的检测点云，R1为y轴旋转矩阵、R2为x轴旋转矩阵；
然后通过下料口点云对检测点云进行KdTree半径搜索，并在检测点云中移除搜索到的点云，其中被移除的点云为B(v0，d)，表达式为：
B(v0，d)＝{vr|ρ(vr，v0)＜d}；
式中，B(v0，d)为被移除的点云，v0为S3中提取出的下料口点云，vr为位姿变换后的检测点云，d为KdTree的搜索半径，ρ(vr，v0)为vr中的点与v0中的点之间的距离，且ρ(vr，v0)可以通过下式进行表示：
式中，
vr[i]为vr中的点；
v0[j]为v0中的点；
i为点云vr的点序号，n为vr的点数；
j为点云v0的点序号，m为v0的点数；
vr[i]x、vr[i]y、vr[i]z分别为点vr[i]在x、y、z方向上的分量；
v0[j]x、v0[j]y、v0[j]z分别为点v0[j]在x、y、z方向上的分量。
7.根据权利要求6所述的一种基于激光雷达点云的车厢散料超限检测方法，其特征在于，A3中，所述欧式聚类分割移除散料点云中的漂浮杂点为设置最小聚类点数Cmin，将点数小于Cmin的点集排除在算法结果之外。
8.根据权利要求7所述的一种基于激光雷达点云的车厢散料超限检测方法，其特征在于，A4中，提取散料点云在y轴的最大值，判断散料点云在y轴的最大值是否小于车辆的车厢在y轴最大值减去散料高度限值h，若小于，则发出超限警告，否则继续下料，对下一帧检测点云数据进行检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410049227.9A CN117553686B (zh) | 2024-01-12 | 2024-01-12 | 一种基于激光雷达点云的车厢散料超限检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410049227.9A CN117553686B (zh) | 2024-01-12 | 2024-01-12 | 一种基于激光雷达点云的车厢散料超限检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117553686A CN117553686A (zh) | 2024-02-13 |
| CN117553686B true CN117553686B (zh) | 2024-05-07 |
Family
ID=89821953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410049227.9A Active CN117553686B (zh) | 2024-01-12 | 2024-01-12 | 一种基于激光雷达点云的车厢散料超限检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117553686B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE1506092A1 (de) * | 1965-02-10 | 1970-07-16 | Thomson Inf Et Visualisation | Anordnung zum Simulieren der Antwortsignale von Radarzielen |
| WO2015135015A1 (en) * | 2014-03-11 | 2015-09-17 | 3D Image Automation Pty Ltd | Train wagon 3d profiler |
| EP3094807A1 (en) * | 2014-01-14 | 2016-11-23 | Sandvik Mining and Construction Oy | Mine control system |
| CN110358895A (zh) * | 2019-07-16 | 2019-10-22 | 江阴市恒润环锻有限公司 | 一种超高压汽轮机用合金环锻件及其制造方法 |
| CN110781827A (zh) * | 2019-10-25 | 2020-02-11 | 中山大学 | 一种基于激光雷达与扇状空间分割的路沿检测***及其方法 |
| CN112299048A (zh) * | 2019-07-30 | 2021-02-02 | 上海宝信软件股份有限公司 | 基于无人化抓斗行车模式下的火车装车布料***及方法 |
| SE1951064A1 (en) * | 2019-09-20 | 2021-03-21 | Metso Sweden Ab | Mining Equipment Inspection System, Mining Equipment Inspection Method, and Mining Equipment Inspection Device |
| CN112735135A (zh) * | 2020-12-31 | 2021-04-30 | 东来智慧交通科技(深圳)有限公司 | 高速运动车辆超限检测方法 |
| CN113625299A (zh) * | 2021-07-26 | 2021-11-09 | 北京理工大学 | 基于三维激光雷达的装车物料高度与偏载检测方法及装置 |
| CN114612665A (zh) * | 2022-03-15 | 2022-06-10 | 北京航空航天大学 | 基于法向量直方图特征的位姿估计及动态车辆检测方法 |
| CN114782700A (zh) * | 2022-03-03 | 2022-07-22 | 中冶赛迪重庆信息技术有限公司 | 船型特征获取方法、***、电子设备及可读存储介质 |
| CN116424900A (zh) * | 2023-05-31 | 2023-07-14 | 中煤科工智能储装技术有限公司 | 一种基于激光雷达点云识别的满容积无人装车方法 |
| CN116424899A (zh) * | 2023-04-17 | 2023-07-14 | 天津港远航国际矿石码头有限公司 | 一种铁路敞车散装物料四点装载装置、方法及存储介质 |
| CN116630411A (zh) * | 2023-07-26 | 2023-08-22 | 湖南睿图智能科技有限公司 | 基于融合感知的矿用电铲物料面识别方法、装置及*** |
| CN116645348A (zh) * | 2023-05-29 | 2023-08-25 | 南京林业大学 | 基于点云随机采样的高速环道线形拟合方法 |
| CN116934832A (zh) * | 2023-07-19 | 2023-10-24 | 齐鲁工业大学(山东省科学院) | 基于现场参照物的三维点云的实时标定方法 |
| CN117329971A (zh) * | 2023-12-01 | 2024-01-02 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9305364B2 (en) * | 2013-02-19 | 2016-04-05 | Caterpillar Inc. | Motion estimation systems and methods |
-
2024
- 2024-01-12 CN CN202410049227.9A patent/CN117553686B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE1506092A1 (de) * | 1965-02-10 | 1970-07-16 | Thomson Inf Et Visualisation | Anordnung zum Simulieren der Antwortsignale von Radarzielen |
| EP3094807A1 (en) * | 2014-01-14 | 2016-11-23 | Sandvik Mining and Construction Oy | Mine control system |
| WO2015135015A1 (en) * | 2014-03-11 | 2015-09-17 | 3D Image Automation Pty Ltd | Train wagon 3d profiler |
| CN110358895A (zh) * | 2019-07-16 | 2019-10-22 | 江阴市恒润环锻有限公司 | 一种超高压汽轮机用合金环锻件及其制造方法 |
| CN112299048A (zh) * | 2019-07-30 | 2021-02-02 | 上海宝信软件股份有限公司 | 基于无人化抓斗行车模式下的火车装车布料***及方法 |
| SE1951064A1 (en) * | 2019-09-20 | 2021-03-21 | Metso Sweden Ab | Mining Equipment Inspection System, Mining Equipment Inspection Method, and Mining Equipment Inspection Device |
| CN110781827A (zh) * | 2019-10-25 | 2020-02-11 | 中山大学 | 一种基于激光雷达与扇状空间分割的路沿检测***及其方法 |
| CN112735135A (zh) * | 2020-12-31 | 2021-04-30 | 东来智慧交通科技(深圳)有限公司 | 高速运动车辆超限检测方法 |
| CN113625299A (zh) * | 2021-07-26 | 2021-11-09 | 北京理工大学 | 基于三维激光雷达的装车物料高度与偏载检测方法及装置 |
| CN114782700A (zh) * | 2022-03-03 | 2022-07-22 | 中冶赛迪重庆信息技术有限公司 | 船型特征获取方法、***、电子设备及可读存储介质 |
| CN114612665A (zh) * | 2022-03-15 | 2022-06-10 | 北京航空航天大学 | 基于法向量直方图特征的位姿估计及动态车辆检测方法 |
| CN116424899A (zh) * | 2023-04-17 | 2023-07-14 | 天津港远航国际矿石码头有限公司 | 一种铁路敞车散装物料四点装载装置、方法及存储介质 |
| CN116645348A (zh) * | 2023-05-29 | 2023-08-25 | 南京林业大学 | 基于点云随机采样的高速环道线形拟合方法 |
| CN116424900A (zh) * | 2023-05-31 | 2023-07-14 | 中煤科工智能储装技术有限公司 | 一种基于激光雷达点云识别的满容积无人装车方法 |
| CN116934832A (zh) * | 2023-07-19 | 2023-10-24 | 齐鲁工业大学(山东省科学院) | 基于现场参照物的三维点云的实时标定方法 |
| CN116630411A (zh) * | 2023-07-26 | 2023-08-22 | 湖南睿图智能科技有限公司 | 基于融合感知的矿用电铲物料面识别方法、装置及*** |
| CN117329971A (zh) * | 2023-12-01 | 2024-01-02 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和*** |
Non-Patent Citations (3)
| Title |
|---|
| 提升装车***自动化程度实现精美定量装车;刘海锋;;神华科技;20180126(第01期);全文 * |
| 火电机组抓斗卸船机全自动***开发及应用;余俐敏;孙浩童;蔡国强;黄益民;葛镇江;;能源研究与管理;20200915(第03期);全文 * |
| 珠海横琴国际金融中心大厦项目智慧工地集成化应用;周永明;苏章;苏前广;;土木建筑工程信息技术;20180815(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117553686A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111337941B (zh) | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 | |
| CN111598946B (zh) | 一种物***姿测量方法、装置及存储介质 | |
| EP0142990A2 (en) | Inspecting articles | |
| CN111496789B (zh) | 一种离线复杂曲面喷涂轨迹规划***及控制方法 | |
| CN111260289A (zh) | 一种基于视觉导航的微型无人机仓库盘点***及方法 | |
| CN108663026B (zh) | 一种振动测量方法 | |
| CN110866894B (zh) | 一种基于机器视觉技术的跨粒度的钣金件识别***及方法 | |
| CN111815706A (zh) | 面向单品类拆垛的视觉识别方法、装置、设备及介质 | |
| CN113034600A (zh) | 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 | |
| CN109146817B (zh) | 一种非迭代单一物体散乱点云数据的噪声处理方法 | |
| CN109708627B (zh) | 一种动平台下空间动态点目标快速检测方法 | |
| CN109409182B (zh) | 基于图像处理的胚胎自动识别方法 | |
| CN117553686B (zh) | 一种基于激光雷达点云的车厢散料超限检测方法 | |
| CN117523461B (zh) | 一种基于机载单目相机的运动目标跟踪与定位方法 | |
| CN113963129A (zh) | 基于点云的船舶小构件模板匹配与在线识别方法 | |
| CN114463425A (zh) | 一种基于概率Hough直线检测的工件表面无特征点定位方法 | |
| CN110889362B (zh) | 一种利用栅格地图高度信息的障碍物检测方法 | |
| CN116309371A (zh) | 列车零部件异常检测方法、装置及电子设备、介质 | |
| CN114529559A (zh) | 一种基于激光点云的地面分割方法 | |
| CN114137984A (zh) | 一种模块化传输平台及其控制方法和路径规划方法 | |
| CN112286230A (zh) | 无人机视觉图像算法、避障步骤及其信息融合处理*** | |
| CN118212592B (zh) | 一种客舱内异常行为识别方法 | |
| Wu et al. | Object tracking algorithm for UAV autonomous aerial refueling | |
| CN113688706B (zh) | 一种车辆检测方法、装置、设备及存储介质 | |
| CN116704035B (zh) | 工件位姿识别方法、电子设备、存储介质及抓取*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |