CN114202631A - 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 - Google Patents
一种岩石二次破碎作业中岩石作业面与作业点的确定方法 Download PDFInfo
- Publication number
- CN114202631A CN114202631A CN202111280387.7A CN202111280387A CN114202631A CN 114202631 A CN114202631 A CN 114202631A CN 202111280387 A CN202111280387 A CN 202111280387A CN 114202631 A CN114202631 A CN 114202631A
- Authority
- CN
- China
- Prior art keywords
- rock
- working
- point
- target
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011435 rock Substances 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005065 mining Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明涉及智慧矿山领域，尤其涉及一种岩石二次破碎作业中岩石作业面与作业点的确定方法，旨在解决在岩石二次破碎作业中，作业面与作业点智能化选取问题。本发明包括以下步骤：将彩色相机和三维点云获取设备进行多传感器融合；获取目标区域图像信息；将所述目标区域图像信息输入到岩石检测网络检测目标岩石；对所述目标岩石进行点云提取获得目标岩石点云；将所述目标岩石点云进行平面分割得到拟合平面；对所述拟合平面进行离群点剔除得到候选作业面；对所述候选作业面进行表面积估算；判断所述候选作业面是否满足作业条件并确定作业面；根据所述作业面确定作业点。本发明提供的方法实现了岩石二次破碎作业面与作业点的高精度、智能化确定。
Description
技术领域
本发明涉及智慧矿山领域，尤其涉及一种岩石二次破碎作业中岩石作业面与作业点的确定方法。
背景技术
长久以来，矿山被视为高危险、高污染、劳动密集的生产型企业，通过技术进步和装备水平提升来改善矿山的劳动条件始终是矿业界关注的重点和追求的目标。目前，***钻孔采矿是露天开采阶段常用的一种采矿技术。然而，钻孔和***的结果往往远不理想，所产生的岩石碎片可能比预计的尺寸大，无法放进初级破碎机进行初级破碎，需要破碎锤等机械设备进行岩石二次破碎进一步降低岩石的尺寸。在露天矿山进行工程作业的作业场景中，针对岩石二次破碎这一工程作业需求，目前尚无相关技术应用于工程机械执行岩石的二次破碎作业任务中，以实现智能辅助作业或无人自动作业，且没有相关技术应用在露天矿山环境下对岩石二次破碎作业面与作业点的确定。
发明内容
本发明提出了一种岩石二次破碎作业中岩石作业面与作业点的智能化确定方法，实现了岩石破碎作业面和作业点的智能化确定，解决了岩石二次破碎智能化作业中作业面与作业点智能化选取的难题。
根据一种岩石二次破碎作业中岩石作业面与作业点的确定方法第一方面，提供了一种岩石二次破碎作业中岩石作业面与作业点的确定方法，该方法包括：
步骤S1，将彩色相机和三维点云获取设备进行多传感器融合；
步骤S2，获取目标区域图像信息；
步骤S3，将所述目标区域图像信息输入到岩石检测网络检测目标岩石；
步骤S4，对所述目标岩石进行点云提取获得目标岩石点云；
步骤S5，将所述目标岩石点云进行平面分割得到拟合平面；
步骤S6，对所述拟合平面进行离群点剔除得到候选作业面；
步骤S7，对所述候选作业面进行表面积估算；
步骤S8，判断所述候选作业面是否满足作业条件并确定作业面；
步骤S9，根据所述作业面确定岩石破碎作业点。
步骤S1中所述彩色相机和激光雷达等三维点云获取设备固定安装在液压破碎锤等机械设备动臂上，且对彩色相机和三维点云获取设备进行多传感器融合，所述三维点云获取设备为激光雷达或深度相机。
步骤S2中所述图像信息包括所述目标区域彩色图和点云图，所述目标区域为彩色相机和三维点云获取设备单帧捕获的视野范围内待破碎岩石区域。
步骤S3中所述岩石检测神经网络是由岩石破碎目标检测数据集训练固化后的神经网络，其输入为步骤S2所述的目标区域彩色图，其输出为感兴趣区即目标岩石的位置信息和类别信息，所述岩石破碎目标检测数据集包括在不同环境下各种岩石图像以及所对应标注破碎目标位置信息和种类信息的图像。
步骤S4中所述对目标进行点云提取，具体为将步骤S3获得目标岩石的彩色图像和步骤S2中获得的点云来配准提取目标岩石的点云。
步骤S5中将所述目标岩石点云进行平面分割得到拟合平面，其中，所述平面分割具体为通过点云平面分割算法找出属于同一个平面模型的所有点，得到拟合平面的过程。
步骤S6中所述离群点，具体是指经所述点云平面分割后存在的一些边缘点或噪声点。
步骤S7对所述候选作业面进行表面积估算，具体为：首先对所述候选作业面进行曲面重构即三角剖分得到三维三角网格结构，然后计算所述三角网格的表面积即单个三角形表面的和来确定目标作业面的真实面积。
步骤S8中所述作业条件，具体为，若所述候选作业面满足作业条件，则确定所述候选作业面为岩石破碎作业面，若所述候选作业面不满足作业条件，则舍弃此候选作业面，由于不同的作业场景对破碎目标的岩石有不同的要求，所以，岩石作业面的面积阈值要根据不同作业要求来确定。
步骤S9中根据所述作业面确定岩石破碎作业点，具体为：
(1)将步骤S6所得候选作业面投影到拟合二维平面；
(2)遍历拟合平面上点云找到横坐标最小值点、横坐标最大值点、纵坐标最小值点和纵坐标最大值点共四个点，以所述四个点建立拟合平面外接矩形框；
(3)给定间隔长度，对所述矩形框进行网格划分，并求得每个网格中心点坐标；
(4)给定半径，对每个网格内中心点的所有近邻点进行搜索查询，得到每个网格中心点的近邻点的数量；
(5)取近邻点数量最多的网格中心点为岩石破碎作业点。
本发明具有以下优点和有益效果：
(1)本方法成本低，整个工作过程均为自动化处理，显著降低了人工参与度，为岩石二次破碎的智能化提供了必要的条件。
(2)本方法采用基于卷积神经网络的目标检测算法可以在矿山作业场景下实现对目标岩石的类别识别和相机空间中的定位，可以满足智能矿山中的岩石的实时、高准确率定位。
(3)本方法采用彩色图和点云图相结合来确定岩石破碎作业面和作业点，可有效规避矿山施工环境对岩石破碎作业面和作业点确定的影响，对目标岩石三维点云平面分割后的点云数据进行离群点去除可有效去除图像信息的噪声误差以及本方法累积误差带来的影响，实现岩石破碎作业面和作业点的准确选取。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得更加容易理解。
附图说明
本发明上述以及其他的特征、性质和优点将通过下面结合附图和实施例的描述变得更加明显，在附图中相同的附图标记始终表示相同的特征，附图不构成对本发明的限定。其中：
图1为本发明一种岩石二次破碎作业中岩石作业面与作业点的确定方法的流程框图；
图2为本发明实施例岩石检测网络结构模型；
图3为本发明实施例平面分割采用的随机抽样一致性算法流程框图；
图4为本发明实施例平面分割效果示意图；
图5为本发明实施例离群点去除采用的统计滤波器算法流程框图；
图6为本发明实施例所确定的岩石破碎作业面效果图；
图7为本发明实施例所确定的岩石破碎作业点效果图。
具体实施方式
以下结合附图对本发明的实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
参阅图1，一种岩石二次破碎作业中岩石作业面与作业点的确定方法的流程框图，包括以下步骤：
步骤S1，将彩色相机和三维点云获取设备进行多传感器融合；
步骤S2，获取目标区域图像信息；
步骤S3，将所述目标区域图像信息输入到岩石检测网络检测目标岩石；
步骤S4，对所述目标岩石进行点云提取获得目标岩石点云；
步骤S5，将所述目标岩石点云进行平面分割得到拟合平面；
步骤S6，对所述拟合平面进行离群点剔除得到候选作业面；
步骤S7，对所述候选作业面进行表面积估算；
步骤S8，判断所述候选作业面是否满足作业条件并确定作业面；
步骤S9，根据所述作业面确定岩石破碎作业点。
步骤S1中，针对三维点云获取设备，本实施例选择了一种基于非重复扫描模式的新型激光雷达——Livox系列40中号激光雷达。为了获得包含待破碎目标岩石的场景数据，需要将彩色相机和激光雷达安装在液压破碎锤等设备的动臂上，以便覆盖更多的岩石。本实施例将单目摄像头与激光雷达进行多传感器融合，以便对彩色图像和点云进行配准。
步骤S3中所述二维岩石检测是本方法的关键步骤之一，此步骤的目的是通过彩色相机的单帧捕获，识别出二维图像中目标岩石的位置信息和类别信息。基于卷积神经网络的YOLO-V3网络将岩石检测任务视为回归任务，通过对所述彩色相机捕获的单帧彩色图像一次估计，可以一次性预测所述彩色图内所有目标岩石，对于岩石二次破碎，检测任务为单目标检测任务，考虑到破碎锤等设备任务的实时性要求，本实施例选择了基于YOLO-V3神经网络的单阶段方法来进行二维岩石检测，如图2所示，其中输入X为步骤S2获取的彩色图经图像预处理得到的图像，Darknet53 without FC layer代表没有全连接层的Darknet53神经网络，CBL是所述YOLO-V3神经网络结构中的最小组件，Res unit是借鉴Resnet网络中的残差结构所形成的神经网络，ResX是由1个CBL和X个残差组件构成的网络结构，是所述YOLO-V3神经网络中的一个组件，Concat指的是张量拼接，add指的是张量相加，BN指的是正则化层，Leaky relu是神经网络中的一种激活函数，输出指的是对每个网格单元预测三个边界框，利用多尺度方法检测不同尺寸的目标，输出三幅不同尺度的特征图。
本实施例先对所述彩色相机获取的彩色图像进行一系列的图像预处理操作，包括灰度化、高斯滤波和Sobel算子卷积，并将得到的梯度图像作为岩石检测网络的输入。为了将噪声对最终检测结果的影响降到最低，必须对噪声进行过滤，以防止噪声引起的误检测。为了平滑图像，使用高斯滤波器卷积图像。高斯核是整个解的关键，整个解是用二维高斯函数计算的。一个离散的高斯卷积核H：(2k+1)×(2k+1)可以用公式(1)计算得到。
其中，σ为方差，k为核矩阵的维数，i,j表示第(i,j)个元素。
然后计算图像中每个像素的梯度强度和方向。本实施例选择Sobel算子计算Gx和Gy在水平和垂直方向上的差，然后得到梯度的模量和方向。
θ＝atan2(Gx,Gy) (3)
其中，A为图像矩阵，Gx和Gy为水平和垂直方向的梯度。
最后，将经过灰度化、高斯滤波和梯度计算的单通道图像作为整个岩石检测神经网络的输入。
根据训练数据集的标签，使用K-Means算法进行聚类，得到9个先验框。将输入图像划分为s*s网格单元。当目标中心落在网格中，网格单元负责检测它。逻辑回归用于预测每个边界框。边界盒中心点的坐标bx、坐标by、宽度bw、高度bh和置信度confidence计算公式如下：
bx＝σ(tx)+cx (5)
by＝σ(ty)+cy (6)
confidence＝pr(object)*IOU(b,object)＝σ(t0) (9)
其中，tx，ty，tw，th，t0为模型的预测输出；cx,cy为网络单元格左上角相对于整幅图像的坐标；pw、ph分别表示当前边界框的宽和高，pr(object)是目标岩石是否包含在当前边界框中的概率；IOU(b,object)当前边界盒中包含目标岩石时，预测的边界盒与实际边界的交并比。
步骤S4中，本实施例基于所述彩色图像上的岩石检测获得的二维感兴趣区域和所述激光雷达所获得的点云图进行配准，然后得到目标岩石的点云。利用目标检测后图像的边界框选择激光雷达获取的点云子集，将二维图像的目标检测结果与点云融合，得到多个点云子集。
步骤S5目标岩石点云平面分割中，本实施例采用随机抽样一致性算法RANSAC(Random sample consensus)分割表面点云，得到多个破碎目标候选作业面。随机抽样一致性算法是一种迭代的方法来从一系列包含有离群值的数据中计算数学模型参数的方法，其流程框图如图3所示。RANSAC算法本质上由两步组成，不断进行循环：
(1)从输入数据中随机选出能组成数学模型的最小数目的元素，使用这些元素计算出相应模型的参数；
(2)检查所有数据中有哪些元素能符合第一步得到的模型，超过误差阈值的元素认为是离群点，小于误差阈值的元素认为是内部点。
所述步骤重复多次，选出包含点最多的模型即得到最后的结果。
采用随机抽样一致性算法RANSAC分割表面点云得到多个破碎目标候选作业面的具体步骤为：
(1)首先在步骤S4中所述目标岩石点云中随机选取三个点，然后根据公式(10)对平面模型A，B，C，D进行计算，式中x,y,z分别代表三个坐标轴的单位向量；
A·x+B·y+C·z+D＝0 (10)
(2)用剩余所述目标岩石点云点去检验步骤(1)中的平面模型，计算结果误差，将结果误差与设定的阈值进行比较，如果小于设定的阈值，则将该点确定为内点，统计参数模型下内点的个数并记录；
(3)继续进行步骤(1)和步骤(2)，若当前模型的内点数量大于已经保存的最大内点数量，则更新模型参数，保留的模型参数始终是内点数量最多的模型参数；
(4)重复上述步骤，不断迭代，直到达到迭代阈值，找到内点数最多的模型参数，最后用内点再次对模型参数进行估计，从而得到最终的模型参数，即多个目标的候选作业面，图4所示为其中一个目标的候选作业面点云图。
经所述目标岩石点云提取和目标岩石点云平面分割后，会有一些外边缘点和噪声点。为了更好的获得目标作业面，需要过滤掉这些多余的点，即进行步骤S6所述操作。本实施例采用统计滤波器去除候选目标平面中的离群点，离群点在空间中分布稀疏，考虑到离群点的特征，则可以定义某处点云小于某个密度，即无效点云。对每个点的邻域进行统计分析，计算每个点到其最近的k个点平均距离，点云中所有点的距离应构成高斯分布，将平均距离在标准范围之外(由全局距离均值和方差定义)的点定义为离群点并从数据中去除，其流程框图如图5所示。
步骤S6中本实施例所采用统计滤波器去除候选目标平面点云中的离群点的具体计算过程如下：
对每个点的邻域进行统计分析，则目标岩石点云中所有点的距离假设构成高斯分布，其形状有均值μ和标准差σ决定。设点云中的第n个点坐标为Pn(Xn,Yn,Zn)，该点到任意一点Pm(Xm,Ym,Zm)的距离为：
计算遍历每个点到任意之间距离的平均公式为：
标准差为：
设标准差倍数为std，算法实现过程中需要输入k和std两个阈值，当某点临近k个点的平均距离在标准范围(μ-σ·std,μ+σstd)内时保留该点，不在该范围内定义为离群点删除。
由于岩石的二维目标检测无法获得三维距离信息，因此无法计算检测到的目标岩石是否满足破碎条件。因此，如步骤S7所述，本实施例利用得到的平面点云来估算目标作业面的真实面积，进而确定作业面是否满足岩石二次破碎的需要。具体为，首先建立目标作业面点云进行曲面重构即三角剖分得到三维三角网格结构，然后估计候选作业面点云的表面积。其中，三角剖分的过程中用到了alpha-shape算法，在三维层面上来讲，所述alpha-shape算法可认为一个球在一堆点集中进行滚动，符合条件的三个点即会构成一个三角形，直到将整个候选作业面形成三维三角网格结构，所述球除了三个基点之外不会包含其他的点，其中的alpha值即为所述球的半径。然后计算所述三角网格的表面积即单个三角形表面的和来确定目标作业面的真实面积。
步骤S8中，因为不同的作业场景对破碎目标岩石有不同的要求。因此，有必要设置一个面积阈值来处理不同作业要求下岩石破碎目标作业面的筛选，图6所示为岩石破碎目标作业面的效果图。若候选作业面的表面积满足作业要求，则确定为岩石破碎作业面，否则，舍弃此平面。
经步骤S8判断，所述候选作业面满足作业要求被确定为岩石破碎作业面，下一步需利用步骤S6所得点云进行步骤S9中所述破碎作业点的选取，图7所示为岩石破碎作业点的效果图。本实施例所采用确定作业点的方法为：
(1)将步骤S6所得点云投影到拟合二维平面；
(2)遍历拟合平面上点云找到横坐标最小值点、横坐标最大值点、纵坐标最小值点和纵坐标最大值点共四个点，以所述四个点建立拟合平面外接矩形框；
(3)以长度d为间隔，对所述矩形框进行网格划分，并求得每个网格中心点坐标；
(4)给定半径
利用半径近邻搜索算法(RNN搜索算法)对每个网格内中心点的所有近邻点进行搜索查询，得到每个网格中心点的近邻点的数量；
(5)设近邻点数量最多的网格中心点为岩石破碎作业点。
所述步骤S9中将点云投影到拟合二维平面，本实施例所用算法概述如下：
已知三维空间平面的一般方程如公式(10)所示，假设不在平面上的三维空间坐标为(x0,y0,z0)，其在平面上的投影点坐标为(xp,yp,zp)，因为投影点到当前点与平面垂直，根据垂直约束条件，可知yp与zp满足如下条件：
将(14)式和(15)式代入(10)式，可以解得：
将(16)式代入(14)式和(15)式可得：
由此可解得空间三维点到平面的投影坐标(xp,yp,zp)，遍历步骤S6所得点云重复以上步骤，可将三维点云投影到拟合二维平面。
以上描述了本发明实施例的具体设置方法和实现方式。上述具体实施方式，并不构成对本发明保护范围的限制。本领域一般技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所做的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种岩石二次破碎作业中岩石作业面与作业点的确定方法，其特征在于，包括以下步骤：
步骤S1，将彩色相机和三维点云获取设备进行多传感器融合；
步骤S2，获取目标区域图像信息；
步骤S3，将所述目标区域图像信息输入到岩石检测网络检测目标岩石；
步骤S4，对所述目标岩石进行点云提取获得目标岩石点云；
步骤S5，将所述目标岩石点云进行平面分割得到拟合平面；
步骤S6，对所述拟合平面进行离群点剔除得到候选作业面；
步骤S7，对所述候选作业面进行表面积估算；
步骤S8，判断所述候选作业面是否满足作业条件并确定作业面；
步骤S9，根据所述作业面确定岩石破碎作业点。
2.根据权利要求1所述的一种岩石二次破碎作业中岩石作业面与作业点的确定方法，其特征在于，步骤S1中所述彩色相机和三维点云获取设备固定安装在液压破碎锤等机械设备动臂上，且对彩色相机和三维点云获取设备进行多传感器融合，所述三维点云获取设备为激光雷达或深度相机。
3.根据权利要求1所述的一种岩石二次破碎作业中岩石作业面与作业点的确定方法，其特征在于，步骤S2中所述图像信息包括所述目标区域彩色图和点云图，所述目标区域为彩色相机和三维点云获取设备单帧捕获的视野范围内待破碎岩石区域。
4.根据权利要求1所述的一种岩石二次破碎作业中岩石作业面与作业点的确定方法，其特征在于，步骤S3中所述岩石检测神经网络是由岩石破碎目标检测数据集训练固化后的神经网络，其输入为步骤S2所述的目标区域彩色图，其输出为感兴趣区，所述感兴趣区为目标岩石的位置信息和类别信息，所述岩石破碎目标检测数据集包括在不同环境下各种岩石图像以及所对应标注破碎目标位置信息和种类信息的图像。
5.根据权利要求1所述的方法，其特征在于，步骤S4中所述对目标岩石进行点云提取，具体为将所述步骤S3获得目标岩石的彩色图和步骤S2中获得的点云图配准提取目标岩石的点云。
6.根据权利要求1所述的方法，其特征在于，步骤S5中所述平面分割为通过点云平面分割算法找出属于同一个平面模型的所有点，获得拟合平面的过程。
7.根据权利要求1所述的方法，其特征在于，步骤S6所述离群点是指经所述点云平面分割后存在的一些边缘点或噪声点。
8.根据权利要求1所述的方法，其特征在于，步骤S7对所述候选作业面进行表面积估算，具体为：
(1)首先对所述候选作业面进行曲面重构即三角剖分得到三维三角网格结构；
(2)计算所述三角网格的表面积即单个三角形表面的和来确定候选作业面的真实面积。
9.根据权利要求1所述的方法，其特征在于，步骤S8中所述候选作业面的表面积是否满足作业条件，具体为：若所述候选作业面满足作业条件，则确定所述候选作业面为岩石破碎作业面，若所述候选作业面不满足作业条件，则舍弃此候选作业面，由于不同的作业场景对破碎目标的岩石有不同的要求，所以，岩石作业面的面积阈值要根据不同作业要求来确定。
10.根据权利要求1所述的方法，其特征在于，步骤S9中所述根据所述作业面确定岩石破碎作业点，具体为：
(1)将步骤S6所得候选作业面投影到拟合二维平面；
(2)遍历拟合平面上点云找到横坐标最小值点、横坐标最大值点、纵坐标最小值点和纵坐标最大值点共四个点，以所述四个点建立拟合平面外接矩形框；
(3)以长度d为间隔，对所述矩形框进行网格划分，并求得每个网格中心点坐标，所述长度d根据不同作业要求来确定；
(4)给定半径
d为所述矩形框进行网格划分间隔长度，对每个网格内中心点的所有近邻点进行搜索查询，得到每个网格中心点的近邻点的数量；
(5)取近邻点数量最多的网格中心点为岩石破碎作业点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111280387.7A CN114202631A (zh) | 2021-11-01 | 2021-11-01 | 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111280387.7A CN114202631A (zh) | 2021-11-01 | 2021-11-01 | 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114202631A true CN114202631A (zh) | 2022-03-18 |
Family
ID=80646780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111280387.7A Pending CN114202631A (zh) | 2021-11-01 | 2021-11-01 | 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114202631A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115110598A (zh) * | 2022-08-10 | 2022-09-27 | 安徽建工集团股份有限公司总承包分公司 | 一种三维拟合现场挖掘破碎装置 |
-
2021
- 2021-11-01 CN CN202111280387.7A patent/CN114202631A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115110598A (zh) * | 2022-08-10 | 2022-09-27 | 安徽建工集团股份有限公司总承包分公司 | 一种三维拟合现场挖掘破碎装置 |
| CN115110598B (zh) * | 2022-08-10 | 2023-11-28 | 安徽建工集团股份有限公司总承包分公司 | 一种三维拟合现场挖掘破碎装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Computational methods of acquisition and processing of 3D point cloud data for construction applications | |
| Guo et al. | Dense construction vehicle detection based on orientation-aware feature fusion convolutional neural network | |
| Wang et al. | Automated estimation of reinforced precast concrete rebar positions using colored laser scan data | |
| Mirzaei et al. | 3D point cloud data processing with machine learning for construction and infrastructure applications: A comprehensive review | |
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及*** | |
| Teizer et al. | Personnel tracking on construction sites using video cameras | |
| CN110472553B (zh) | 图像和激光点云融合的目标追踪方法、计算装置和介质 | |
| Wang et al. | Modeling indoor spaces using decomposition and reconstruction of structural elements | |
| CN110065790B (zh) | 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法 | |
| KR102660837B1 (ko) | 딥러닝 기반 경사지 균열 감지 방법과 이를 이용한 산사태 조기 감지 방법 및 그 장치 | |
| US20160133008A1 (en) | Crack data collection method and crack data collection program | |
| US20140169639A1 (en) | Image Detection Method and Device | |
| Guo et al. | Evaluation-oriented façade defects detection using rule-based deep learning method | |
| US20160133007A1 (en) | Crack data collection apparatus and server apparatus to collect crack data | |
| Vetrivel et al. | Potential of multi-temporal oblique airborne imagery for structural damage assessment | |
| Truong-Hong et al. | Laser scanning for bridge inspection | |
| CN114022760B (zh) | 铁路隧道障碍物监测预警方法、***、设备及存储介质 | |
| Dhiman et al. | A multi-frame stereo vision-based road profiling technique for distress analysis | |
| CN114202631A (zh) | 一种岩石二次破碎作业中岩石作业面与作业点的确定方法 | |
| CN113870326A (zh) | 一种基于图像和三维点云配准的结构损伤映射、量化及可视化方法 | |
| JP7348575B2 (ja) | 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム | |
| Gehrung et al. | A fast voxel-based indicator for change detection using low resolution octrees | |
| Zhang et al. | Concrete crack quantification using voxel-based reconstruction and Bayesian data fusion | |
| Hamledari | Inpro: Automated indoor construction progress monitoring using unmanned aerial vehicles | |
| Nguyen et al. | Scan profiles based method for segmentation and extraction of planar objects in mobile laser scanning point clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |