CN112330670A - 一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质 - Google Patents

一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质 Download PDF

Info

Publication number
CN112330670A
CN112330670A CN202011359093.9A CN202011359093A CN112330670A CN 112330670 A CN112330670 A CN 112330670A CN 202011359093 A CN202011359093 A CN 202011359093A CN 112330670 A CN112330670 A CN 112330670A
Authority
CN
China
Prior art keywords
drilling
image
tunnel
robot
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011359093.9A
Other languages
English (en)
Inventor
刘飞香
龚文忠
朱晨
王利平
张雪
何韬
马熠
陈潇尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway Construction Heavy Industry Group Co Ltd
Original Assignee
China Railway Construction Heavy Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway Construction Heavy Industry Group Co Ltd filed Critical China Railway Construction Heavy Industry Group Co Ltd
Priority to CN202011359093.9A priority Critical patent/CN112330670A/zh
Publication of CN112330670A publication Critical patent/CN112330670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Excavating Of Shafts Or Tunnels (AREA)

Abstract

本申请提供了一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质,该方法包括:获取钻孔工作面的设定拍照位置的隧道表面图像,并将隧道表面图像进行预处理得到待检测图像;将待检测图像输入预设的图像检测模型中进行图像检测,得到图像数据;其中,图像数据包括钻孔像素坐标位置、多种类型对象区域;以钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据;根据钻孔定位数据所处的类型对象区域确定钻孔施工参数,并根据钻孔施工参数进行钻孔。本申请能够实现钻孔机器人的自动定位的同时提高钻孔精度,降低隧道钻孔施工的安全风险,提高施工效率。

Description

一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质
技术领域
本申请涉及钻孔技术领域,特别涉及一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质。
背景技术
近年来在建的铁路、公路、水利隧道规模庞大,在隧道建设中,需要敷设大量的水管管路和电缆线路,用于管线敷设的钻孔施工主要还是人工完成,效率较低。随着隧道施工技术的发展,隧道钻孔施工开始使用专用钻孔设备包括钻孔台车、钻孔机器人等代替传统的人工作业。
使用专用钻孔设备进行隧道钻孔施工时,都需要提前进行钻孔定位,确定钻孔目标。目前隧道钻孔定位主要使用以下几种方式:机械装置辅助定位、激光定位,设备姿态辅助定位。机械装置辅助定位的缺点是设备需要人员操控,定位要求越高,机械结构越复杂,调整时间长,效率不高;激光定位速度快,但是需要提前在工作面安装与激光装置配合的标记装置。设备姿态辅助定位缺点是钻机位置不可调,通过调整设备的整体姿态达到设定基准值来定位钻孔位置,缺少对钻孔工作面的感知,不能对工作面障碍物进行规避。
相关技术中需要人工放置定位标识,并且参与钻孔定位,隧道钻孔施工的安全风险较高,施工效率低。
因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和计算机可读存储介质,能够实现钻孔机器人的自动定位的同时提高钻孔精度,降低隧道钻孔施工的安全风险,提高施工效率。其具体方案如下:
本申请提供了一种隧道钻孔机器人钻孔方法,包括:
获取钻孔工作面的设定拍照位置的隧道表面图像,并将所述隧道表面图像进行预处理得到待检测图像;
将所述待检测图像输入预设的图像检测模型中进行图像检测,得到图像数据;其中,所述图像数据包括钻孔像素坐标位置、多种类型对象区域;
以所述钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据;
根据所述钻孔定位数据所处的所述类型对象区域确定钻孔施工参数,并根据所述钻孔施工参数进行钻孔。
优选的,所述以所述钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据,包括:
以所述钻孔像素坐标位置为基准,按照预设定的钻孔水平方向间距、垂直方向间距,确定下一个钻孔的像素坐标位置;
确定所述下一个钻孔的像素坐标位置所在的所述类型对象区域;
若所在的所述类型对象区域是钢筋区域,则按照偏移参数确定新的钻孔的像素坐标位置,直至所述新的钻孔的像素坐标位置不在所述钢筋区域中,得到所述钻孔定位数据。
优选的,所述根据所述钻孔定位数据所处的所述类型对象区域确定钻孔施工参数,包括:
当所述钻孔定位数据对应的钻孔所在的类型对象区域为混凝土区域时,选择第一钻孔施工参数;
当所述钻孔定位数据对应的钻孔所在的类型对象区域为岩石区域时,选择第二钻孔施工参数。
优选的,所述图像检测模型的建立过程包括:
获取测试集和训练集;
将所述训练集输入卷积神经网络模型中进行训练,得到初始图像检测模型;
利用所述测试集对所述初始图像检测模型进行检测,得到检测准确率;
判断所述检测准确率是否达到预设准确率;
若达到所述预设准确率,则将所述初始图像检测模型确定为所述图像检测模型;
若未达到所述预设准确率,继续进行模型训练,以使所述检测准确率达到所述预设准确率,得到所述图像检测模型。
优选的,所述获取测试集和训练集,包括:
获取隧道表面图像;
利用OpenCV函数库对所述隧道表面图像进行尺寸、亮度统一处理,得到隧道表面图像数据集;
使用标记工具对所述隧道表面图像数据集中的图像的不同类型对象区域进行标识,生成监督数据集;
将所述隧道表面图像数据集和所述监督数据集转换为三维矩阵数据;
对所述三维矩阵数据进行归一化处理得到处理后数据,并将所述处理后数据分成所述测试集和所述训练集。
优选的,所述将所述训练集输入卷积神经网络模型中进行训练,得到初始图像检测模型,包括:
利用卷积网络VGG16获取所述训练集中的训练图像的特征图;
利用上采样反卷积层将所述特征图利用插值计算进行图像还原,得到与所述训练图像同尺寸大小的还原图像;
在输出层对所述还原图像的图像像素进行特征对象分类,得到分类结果;
利用交叉熵误差函数作为损失函数来计算分类结果和实际结果的偏差;
若所述偏差在预设范围内,则确定得到所述初始图像检测模型;
若所述偏差不在所述预设范围内,则更新训练参数,直至所述偏差在所述预设范围内。
优选的,还包括:
输出所述图像数据中的着色图,其中,所述着色图是对每一所述类型对象区域进行不同颜色标记的图。
本申请提供了一种隧道钻孔机器人钻孔装置,包括:
隧道表面图像获取模块,用于获取钻孔工作面的设定拍照位置的隧道表面图像,并将所述隧道表面图像进行预处理得到待检测图像;
检测模块,用于将所述待检测图像输入预设的图像检测模型中进行图像检测,得到图像数据;其中,所述图像数据包括钻孔像素坐标位置、多种类型对象区域;
钻孔定位数据确定模块,用于以所述钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据;
钻孔模块,用于根据所述钻孔定位数据所处的所述类型对象区域确定钻孔施工参数,并根据所述钻孔施工参数进行钻孔。
本申请提供了一种钻孔机器人,包括:
钻孔设备,用于钻孔;
相机设备,用于采集钻孔工作面的设定拍照位置的隧道表面图像;
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述隧道钻孔机器人钻孔方法的步骤。
本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如时所述隧道钻孔机器人钻孔方法的步骤。
本申请提供了一种隧道钻孔机器人钻孔方法,包括:获取钻孔工作面的设定拍照位置的隧道表面图像,并将隧道表面图像进行预处理得到待检测图像;将待检测图像输入预设的图像检测模型中进行图像检测,得到图像数据;其中,图像数据包括钻孔像素坐标位置、多种类型对象区域;以钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据;根据钻孔定位数据所处的类型对象区域确定钻孔施工参数,并根据钻孔施工参数进行钻孔。
可见,本申请通过将隧道表面图像进行预处理后得到的待检测图像进行特征差异的检测,实现了钻孔位置的确定和隧道表面特征对象的分类,得到了钻孔像素坐标位置和多种类型对象区域,在已有的钻孔像素坐标位置为基准得到钻孔定位数据,实现钻孔机器人的自动定位,提高钻孔精度,不需要人工放置定位标识,减少施工人员参与钻孔定位,降低隧道钻孔施工的安全风险,并且根据该钻孔定位数据所处的隧道的表面介质分布即类型对象区域来确定钻孔施工参数,为钻孔机器人施工选择不同的钻孔施工参数提供参考,提高施工效率。
本申请同时还提供了一种隧道钻孔机器人钻孔装置、钻孔机器人和介质,均具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种隧道钻孔机器人钻孔方法的流程图;
图2为本申请实施例提供的一种钻孔定位数据确定的流程示意图;
图3为本申请实施例提供的一种图像检测模型的建立过程的示意图;
图4为本申请实施例所提供的一种隧道钻孔机器人钻孔装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中需要人工放置定位标识,并且参与钻孔定位,隧道钻孔施工的安全风险较高,施工效率低。基于上述技术问题,本实施例提供一种隧道钻孔机器人钻孔方法,能够实现钻孔机器人的自动定位,提高钻孔精度,不需要人工放置定位标识,减少施工人员参与钻孔定位,降低隧道钻孔施工的安全风险,提高施工效率,具体请参考图1,图1为本申请实施例所提供的一种隧道钻孔机器人钻孔方法的流程图,具体包括:
S101、获取钻孔工作面的设定拍照位置的隧道表面图像,并将隧道表面图像进行预处理得到待检测图像;
本实施例的执行主体为钻孔机器人,其中该钻孔机器人集成有相机设备、存储器、处理器、钻孔设备。其中相机设备用于在钻孔工作面的设定拍照位置进行拍照,得到隧道表面图像。具体的,隧道钻孔机器人带动相机设备移动到钻孔施工工作面的设定拍照位置进行拍照,获取隧道表面图像,并保存到数据库。进而,提取数据库中的隧道表面图像进行预处理,得到待检测图像。
本实施例不对预处理的方式进行限定,只要与进行图像检测模型时输入的图像形式一致即可。在一种可实现的实施方式中,可以是对隧道表面图像利用MATLAB函数库进行图像处理得到待检测图像。在另一种可实现的实施方式中,可以是对隧道表面图像利用OpenCV函数库进行尺寸、亮度统一处理,然后进行归一化处理得到待检测图像。当然,还可能存在其他的形式,本实施例不再进行赘述。
S102、将待检测图像输入预设的图像检测模型中进行图像检测,得到图像数据;其中,图像数据包括钻孔像素坐标位置、多种类型对象区域;
本实施例不对学习框架进行限定,可以是tensorflow框架,在tensorflow框架上搭建卷积神经网络模型,当然,还可以是其他模型,本实施例不再进行赘述,只要是能得到图像数据即可。其中,图像数据包括钻孔像素坐标位置、多种类型对象区域;当然,还可以包括:图像矩阵、不同颜色标识的类型对象区域的着色图。其中,类型对象区域是隧道表面图像中表征钻孔、混凝土、岩石、钢筋的区域,当然还可以包括在隧道表面人为设置的标牌等。
以类型对象区域是隧道表面图像中表征钻孔、混凝土、岩石、钢筋的区域为例,调用图像检测模型,对输入的待检测图像进行预测,得到输出数据,其中输出的图像数据包括钻孔像素坐标位置、钻孔对象区域、混凝土对象区域、岩石对象区域、钢筋对象区域;当然还可以包括图像矩阵、着色图(含钻孔、混凝土、岩石、钢筋四个对象,使用红、黄、蓝、绿四种颜色色块标识)。
S103、以钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据;
可以是以已有的钻孔的钻孔像素坐标位置为基准,按照预设定的偏移参数确定钻孔的定位数据,其中,偏移参数包括水平方向间距和垂直方向间距,来确定下一个钻孔的钻孔定位数据。例如,钻孔水平方向间距d、垂直方向偏差b,确定下一个钻孔的像素坐标位置即钻孔定位数据。其中,偏移参数中的水平方向间距或者垂直方向间距可以存在唯一一个为0的情况。
S104、根据钻孔定位数据所处的类型对象区域确定钻孔施工参数,并根据钻孔施工参数进行钻孔。
根据获得的图像数据结合钻孔定位策略,确定下一个钻孔的像素坐标和该处的表面介质的类型对象区域,隧道钻孔机器人根据钻孔定位数据调整钻孔施工参数。具体的,钻孔机器人可以根据钻孔定位数据所处的类型对象区域的介质类型调整钻孔施工参数。使用卷积神经网络预测隧道表面图像,确定已有钻孔的钻孔像素坐标位置,作为下一个钻孔点位的基准,实现钻孔机器人的自动定位,提高钻孔精度,不需要人工放置定位标识,减少施工人员参与钻孔定位,降低隧道钻孔施工的安全风险。
基于上述技术方案,本实施例通过将隧道表面图像进行预处理后得到的待检测图像进行特征差异的检测,实现了钻孔位置的确定和隧道表面特征对象的分类,得到了钻孔像素坐标位置和多种类型对象区域,在已有的钻孔像素坐标位置为基准得到钻孔定位数据,实现钻孔机器人的自动定位,提高钻孔精度,不需要人工放置定位标识,减少施工人员参与钻孔定位,降低隧道钻孔施工的安全风险,并且根据该钻孔定位数据所处的隧道的表面介质分布即类型对象区域来确定钻孔施工参数,为钻孔机器人施工选择不同的钻孔施工参数提供参考,提高施工效率。
进一步的,为了实现避开钢筋障碍物的功能,请参考图2,图2为本申请实施例提供的一种获取钻孔定位数据的流程示意图,S103,包括:
S1031、以钻孔像素坐标位置为基准,按照预设定的钻孔水平方向间距、垂直方向间距,确定下一个钻孔的像素坐标位置;
根据钻孔定位策略,以输入待检测图像中已有钻孔的钻孔像素坐标位置为基准,按照预设定的钻孔水平方向间距、垂直方向间距,确定下一个钻孔的像素坐标位置。在一种可实现的实施方式中,按照预设定的钻孔水平方向间距a、垂直方向间距b,确定下一个钻孔的像素坐标位置;在另一种可实现的实施方式中,按照预设定的钻孔水平方向间距a、垂直方向间距0,确定下一个钻孔的像素坐标位置;在另一种可实现的实施方式中,按照预设定的钻孔水平方向间距0、垂直方向间距b,确定下一个钻孔的像素坐标位置。
S1032、确定下一个钻孔的像素坐标位置所在的类型对象区域;
在一种可实现的实施方式中,像素位置坐标可以是(x,y,t),其中x为水平方向坐标,y为垂直方向坐标,t为类型对象。本步骤的目的是为了得到所处的类型对象区域。
S1033、若所在的类型对象区域是钢筋区域,则按照偏移参数确定新的钻孔的像素坐标位置,直至新的钻孔的像素坐标位置不在钢筋区域中,得到钻孔定位数据。
可以理解的是,在钢筋区域是不建议进行钻孔的,会影响隧道的结构,进而容易造成安全性的问题。本实施例中,检索图像矩阵中下一个钻孔的像素坐标位置,核对该坐标处所在的类型对象区域的隧道表面介质类型,其中,钻孔定位数据包括(x,y,t),x和y代表钻孔的坐标值,t代表该坐标处的介质类型,以隧道表面三种介质为例,当隧道表面的三种介质混凝土、岩石、钢筋分别使用数值1、2、3来表示。如果选定点位处的表面介质类型为3(钢筋),则按照偏移参数offset调整钻孔的定位位置重新选择钻孔位置,直到所选位置的介质类型为1(混凝土)或2(岩石),实现钻孔定位避障。进而,将钻孔定位数据(x,y,t)反馈给隧道钻孔机器人,钻孔机器人根据坐标位置移动到下一个钻孔位置,根据介质类型选择不同的钻孔施工参数来适应混凝土或岩石工作介质。对隧道表面的不同对象进行分类,区分隧道表面介质类型,实现钻孔机器人避开钢筋障碍物的功能。
优选的,S104,包括:当钻孔定位数据对应的钻孔所在的类型对象区域为混凝土区域时,选择第一钻孔施工参数;当钻孔定位数据对应的钻孔所在的类型对象区域为在岩石区域时,选择第二钻孔施工参数。
可以理解的是,本实施例可以判定钻孔所处的工作介质类型为混凝土、岩石、钢筋三种,实现钻孔定位避障,为钻孔机器人施工选择不同的钻孔施工参数提供参考,提高施工效率。
进一步的,请参考图3,图3为本申请实施例提供的一种图像检测模型的建立过程的示意图,包括:
S201、获取测试集和训练集;
进一步的,S201包括:
S2011、获取隧道表面图像;
使用隧道钻孔机器人上安装的相机设备采集隧道表面图像,在每次钻孔施工前,隧道钻孔机器人带动相机设备移动到钻孔施工工作面进行拍照并保存在数据库中。
S2012、利用OpenCV函数库对隧道表面图像进行尺寸、亮度统一处理,得到隧道表面图像数据集;
调用OpenCV函数库对数据库中的图像进行尺寸、亮度等统一处理,构建隧道表面图像数据集。
S2013、使用标记工具对隧道表面图像数据集中的图像的不同类型对象区域进行标识,生成监督数据集;
针对图像数据集建立监督数据集,使用标记工具Labelme对隧道表面图像数据集中的图像的不同类型对象(钻孔、混凝土、岩石、钢筋四类)使用红、黄、蓝、绿四种不同的颜色分别着色,通过不同的色块区分不同对象,为图像打上对应标签,也就是得到对应的钻孔像素坐标位置、多种类型对象区域。使生成得监督数据集与图像数据集的图像保持对应关系。
S2014、将隧道表面图像数据集和监督数据集转换为三维矩阵数据;
S2015、对三维矩阵数据进行归一化处理得到处理后数据,并将处理后数据分成测试集和训练集。
调用numpy函数库将图像数据集和监督数据集的图像转换为三维矩阵数据,每幅图像的三维矩阵尺寸可以为3*512*512,图像的每一个RGB通道都是一个矩阵,矩阵大小为图像像素大小一致。对矩阵进行归一化处理,三维矩阵的每一个元素除以255,将矩阵元素的数值从[0,255]映射到[0,1],有利于后续学习算法的收敛。将图像矩阵数据按照1:4的比例分为测试集和训练集。
S202、将训练集输入卷积神经网络模型中进行训练,得到初始图像检测模型;
进一步的,S202可以包括:
S2021、利用卷积网络VGG16获取训练集中的训练图像的特征图;
使用卷积网络VGG(Visual Geometry Group Network)16的卷积层和池化层作为前向传播卷积网络,包括13个卷积层和5个池化层。在这个前向传播卷积网络中,采用迁移学习方式,使用ImageNet的预训练参数加快模型的训练速度,获得训练图像的特征图数据,输出矩阵尺寸为512*16*16,是输入图像的1/32。
S2022、利用上采样反卷积层将特征图利用插值计算进行图像还原,得到与训练图像同尺寸大小的还原图像;
使用FCN(Fully Convolutional Networks,全卷积网络)的FCN-8s方法还原特征图矩阵,网络结构由5个卷积层组成。其中前两个卷积层用于减少特征图数量,输出矩阵尺寸为4*16*16。后三个卷积层与前向传播卷积网络的池化层输出做插值计算,再对矩阵进行上采样反卷积,对特征图进行32倍的放大,将特征图矩阵尺寸还原到输入图像尺寸,尺寸为512*512,通道数为4。
S2023、在输出层对还原图像的图像像素进行特征对象分类,得到分类结果;
使用softmax函数作为输出层函数,对尺寸还原后的像素矩阵进行逐像素的基于4种对象包括已有钻孔、混凝土、岩石、钢筋的概率分类判断,输出矩阵尺寸为4*512*512。可以理解的是输出矩阵的四个通道的元素值是该像素点对应为四种对象的概率值,取概率最大值的对象作为该像素点的分类结果。
S2024、利用交叉熵误差函数作为损失函数来计算分类结果和实际结果的偏差;
S2025、若偏差在预设范围内,则确定得到初始图像检测模型;
S2026、若偏差不在预设范围内,则更新训练参数,直至偏差在预设范围内在卷积网络中使用交叉熵误差函数作为损失函数来计算预测值(分类结果)和实际值(实际结果)的偏差,评价训练参数,对训练参数进行更新,直到误差函数的结果满足检测准确率要求。得到初始图像检测模型。
S203、利用测试集对初始图像检测模型进行检测,得到检测准确率;
得到初始图像检测模型后,可以利用测试集进行检测,得到检测准确率然后进行判定需要继续训练还是已经符合训练的要求,符合预设准确率后不再进行训练直接使用。
S204、判断检测准确率是否达到预设准确率;
S205、若达到预设准确率,则将初始图像检测模型确定为图像检测模型;
S206、若未达到预设准确率,继续进行模型训练,以使检测准确率达到预设准确率,得到图像检测模型。
可以理解的是,本实施例可以采用批处理方式训练模型。设置每个训练批次的输入数据量20张、迭代次数100次,学习率0.001等参数。每次训练后使用测试集对模型进行训练效果测试,达到检测准确率目标后生成图像检测模型。
进一步的,为了能够清楚的查看隧道表面不同的介质类型还包括:输出图像数据中的着色图,其中,着色图是对每一类型对象区域进行不同颜色标记的图。不同的类型对象区域对应不同颜色进行标记,以使用户能够清楚的查看隧道表面不同的介质类型。
基于上述任意一个实施例,本实施例提供一种具体的隧道钻孔机器人钻孔方法,包括:
一、构建隧道壁图像样本数据集。
1、使用隧道钻孔机器人上安装的相机设备采集隧道表面图像,机器人带动相机设备移动到钻孔施工工作面进行拍照并保存在数据库中。
2、调用OpenCV函数库对数据库中的隧道表面图像进行尺寸、亮度等统一处理,构建隧道表面图像数据集。
3、针对隧道表面图像数据集建立监督数据集,使用标记工具Labelme对隧道表面图像中的不同类型对象包括:钻孔、混凝土、岩石、钢筋四类,使用红、黄、蓝、绿四种不同的颜色分别着色,通过不同的色块区分不同对象,为图像打上对应标签,使生成得监督数据与隧道表面图像数据集的图像保持对应关系。
4、调用numpy函数库将隧道表面图像数据集和监督数据集的图像转换为三维矩阵数据,每幅图像的三维矩阵尺寸为3*512*512,图像的每一个RGB通道都是一个矩阵,矩阵大小为图像像素大小一致。对矩阵进行归一化处理,三维矩阵的每一个元素除以255,将矩阵元素的数值从[0,255]映射到[0,1],有利于后续学习算法的收敛。
5、对三维矩阵数据进行归一化处理得到处理后数据,按照1:4的比例分为测试集和训练集。
二、训练卷积神经网络模型。
使用tensorflow搭建卷积神经网络模型。
1、使用VGG16的卷积层和池化层作为前向传播卷积网络,包括13个卷积层和5个池化层。在这个前向传播卷积网络中,采用迁移学习方式,使用ImageNet的预训练参数加快模型的训练速度,获得训练图像的特征图数据,输出矩阵尺寸为512*16*16,是输入图像的1/32。
2、使用FCN的FCN-8s方法还原特征图矩阵,网络结构由5个卷积层组成。其中前两个卷积层用于减少特征图数量,输出矩阵尺寸为4*16*16。后三个卷积层与前向传播卷积网络的池化层输出做插值计算,再对矩阵进行上采样反卷积,对特征图进行32倍的放大,将特征图矩阵尺寸还原到输入图像尺寸,尺寸为512*512,通道数为4。
3、使用softmax函数作为输出层函数,对尺寸还原后的像素矩阵进行逐像素的基于4种对象包括已有钻孔、混凝土、岩石、钢筋的概率分类判断,输出矩阵尺寸为4*512*512。输出矩阵的四个通道的元素值是该像素点对应为四种对象的概率值,取概率最大值的对象作为该像素点的分类结果。
4、在卷积网络中使用交叉熵误差函数作为损失函数来计算预测值和实际值的偏差,评价训练参数,对训练参数进行更新,直到误差函数的结果满足检测准确率要求。
其中,输出数据包括图像矩阵、对象分类着色图含钻孔、混凝土、岩石、钢筋四个对象,使用红、黄、蓝、绿四种颜色色块标识、钻孔的像素坐标位置。
5、使用批处理方式训练模型。设置每个训练批次的输入数据量20张、迭代次数100次,学习率0.001等参数。每次训练后使用测试集对模型进行训练效果测试,达到检测准确率目标后生成图像检测模型。
三、隧道钻孔机器人钻孔施工定位。
1、隧道钻孔机器人带动相机设备移动到钻孔施工工作面的设定拍照位置进行拍照,获取隧道表面图像,保存到数据库。
2、提取数据库中的待检测图像进行预处理,得到待检测图像。
3、调用图像检测模型,对输入图像进行预测得到图像数据(输出数据)。输出数据包括图像矩阵、对象分类着色图含钻孔、混凝土、岩石、钢筋四个对象,使用红、黄、蓝、绿四种颜色色块标识、钻孔像素坐标位置。
4、钻孔像素坐标位置包括(x,y,t),x和y代表钻孔的坐标值,t代表该坐标处的介质类型,隧道表面的三种介质混凝土、岩石、钢筋分别使用数值1、2、3来表示。根据钻孔定位策略,以输入图像中已有钻孔的位置为基准,按照预设定的两个钻孔水平方向间距d、垂直方向偏差b,确定下一个钻孔的像素坐标位置。检索图像矩阵中钻孔坐标位置的数据,核对该坐标处的隧道表面介质类型,如果选定点位处的表面介质类型为3(钢筋),则按照偏移参数offset调整钻孔的定位位置重新选择钻孔位置,直到所选位置的介质类型为1(混凝土)或2(岩石),实现钻孔定位避障。
5、将钻孔定位数据(x,y,t)反馈给隧道钻孔机器人,钻孔机器人根据钻孔定位数据移动到下一个钻孔位置,根据介质类型选择不同的钻孔施工参数来适应混凝土或岩石工作介质。
可见,本实施例采用卷积神经网络对隧道表面多个具有不同差异特征的对象进行检测识别,可以有效提高钻孔定位精度,适用于隧道复杂的工作环境;对隧道表面的不同对象进行分类,区分隧道表面介质类型,实现钻孔机器人避开钢筋障碍物的功能;钻孔机器人可以根据介质类型调整钻孔施工参数。因此,使用卷积神经网络预测隧道表面图像,确定已有钻孔的位置,作为下一个钻孔点位的基准,实现钻孔机器人的自动定位,提高钻孔精度,不需要人工放置定位标识,减少施工人员参与钻孔定位,降低隧道钻孔施工的安全风险;判断钻孔所处的工作介质类型为混凝土、岩石、钢筋三种,实现钻孔定位避障,为钻孔机器人施工选择不同的钻孔施工参数提供参考,提高施工效率。
下面对本申请实施例提供的一种隧道钻孔机器人钻孔装置进行介绍,下文描述的隧道钻孔机器人钻孔装置与上文描述的隧道钻孔机器人钻孔方法可相互对应参照,参考图4,图4为本申请实施例所提供的一种隧道钻孔机器人钻孔装置的结构示意图,包括:
隧道表面图像获取模块401,用于获取钻孔工作面的设定拍照位置的隧道表面图像,并将隧道表面图像进行预处理得到待检测图像;
检测模块402,用于将待检测图像输入预设的图像检测模型中进行图像检测,得到图像数据;其中,图像数据包括钻孔像素坐标位置、多种类型对象区域;
钻孔定位数据确定模块403,用于以钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据;
钻孔模块404,用于根据钻孔定位数据所处的类型对象区域确定钻孔施工参数,并根据钻孔施工参数进行钻孔。
优选的,钻孔定位数据确定模块403,包括:
像素坐标位置确定单元,用于以钻孔像素坐标位置为基准,按照预设定的钻孔水平方向间距、垂直方向间距,确定下一个钻孔的像素坐标位置;
类型对象区域确定单元,用于确定下一个钻孔的像素坐标位置所在的类型对象区域;
更新单元,用于若所在的类型对象区域是钢筋区域,则按照偏移参数确定新的钻孔的像素坐标位置,直至新的钻孔的像素坐标位置不在钢筋区域中,得到钻孔定位数据。
优选的,钻孔模块404,包括:
第一钻孔单元,用于当钻孔定位数据对应的钻孔所在的类型对象区域为混凝土区域时,选择第一钻孔施工参数;
第二钻孔单元,用于当钻孔定位数据对应的钻孔所在的类型对象区域为岩石区域时,选择第二钻孔施工参数。
优选的,还包括:
图像检测模型建立模块,包括:
测试集和训练集获取单元,用于获取测试集和训练集;
初始图像检测模型获得单元,用于将训练集输入卷积神经网络模型中进行训练,得到初始图像检测模型;
检测单元,用于利用测试集对初始图像检测模型进行检测,得到检测准确率;
判断单元,用于判断检测准确率是否达到预设准确率;
第一获得单元,用于若达到预设准确率,则将初始图像检测模型确定为图像检测模型;
第二获得单元,用于若未达到预设准确率,继续进行模型训练,以使检测准确率达到预设准确率,得到图像检测模型。
优选的,测试集和训练集获取单元,包括:
隧道表面图像获取子单元,用于获取隧道表面图像;
隧道表面图像数据集获取子单元,用于利用OpenCV函数库对隧道表面图像进行尺寸、亮度统一处理,得到隧道表面图像数据集;
监督数据集生成子单元,用于使用标记工具对隧道表面图像数据集中的图像的不同类型对象区域进行标识,生成监督数据集;
转换子单元,用于将隧道表面图像数据集和监督数据集转换为三维矩阵数据;
测试集和训练集获取子单元,用于对三维矩阵数据进行归一化处理得到处理后数据,并将处理后数据分成测试集和训练集。
优选的,初始图像检测模型获得单元,包括:
特征图获取子单元,用于利用卷积网络VGG16获取训练集中的训练图像的特征图;
大小还原子单元,用于利用上采样反卷积层将特征图利用插值计算进行图像还原,得到与训练图像同尺寸大小的还原图像;
分类子单元,用于在输出层对还原图像的图像像素进行特征对象分类,得到分类结果;
偏差计算子单元,用于利用交叉熵误差函数作为损失函数来计算分类结果和实际结果的偏差;
第一初始图像检测模型确定子单元,用于若偏差在预设范围内,则确定得到初始图像检测模型;
第二初始图像检测模型确定子单元,用于若偏差不在预设范围内,则更新训练参数,直至偏差在预设范围内。
优选的,还包括:
着色图输出模块,用于输出图像数据中的着色图,其中,着色图是对每一类型对象区域进行不同颜色标记的图。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
下面对本申请实施例提供的一种钻孔机器人进行介绍,下文描述的钻孔机器人与上文描述的隧道钻孔机器人钻孔方法可相互对应参照。
本实施例提供一种钻孔机器人,包括:
钻孔设备,用于钻孔;
相机设备,用于采集钻孔工作面的设定拍照位置的隧道表面图像;
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述隧道钻孔机器人钻孔方法的步骤。
由于钻孔机器人部分的实施例与隧道钻孔机器人钻孔方法部分的实施例相互对应,因此钻孔机器人部分的实施例请参见隧道钻孔机器人钻孔方法部分的实施例的描述,这里暂不赘述。
下面对本申请实施例提供的一种计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的方法可相互对应参照。
本实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述隧道钻孔机器人钻孔方法的步骤。
由于计算机可读存储介质部分的实施例与方法部分的实施例相互对应,因此计算机可读存储介质部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种隧道钻孔机器人钻孔方法、装置、钻孔机器人及介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种隧道钻孔机器人钻孔方法,其特征在于,包括:
获取钻孔工作面的设定拍照位置的隧道表面图像,并将所述隧道表面图像进行预处理得到待检测图像;
将所述待检测图像输入预设的图像检测模型中进行图像检测,得到图像数据;其中,所述图像数据包括钻孔像素坐标位置、多种类型对象区域;
以所述钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据;
根据所述钻孔定位数据所处的所述类型对象区域确定钻孔施工参数,并根据所述钻孔施工参数进行钻孔。
2.根据权利要求1所述的隧道钻孔机器人钻孔方法,其特征在于,所述以所述钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据,包括:
以所述钻孔像素坐标位置为基准,按照预设定的钻孔水平方向间距、垂直方向间距,确定下一个钻孔的像素坐标位置;
确定所述下一个钻孔的像素坐标位置所在的所述类型对象区域;
若所在的所述类型对象区域是钢筋区域,则按照偏移参数确定新的钻孔的像素坐标位置,直至所述新的钻孔的像素坐标位置不在所述钢筋区域中,得到所述钻孔定位数据。
3.根据权利要求2所述的隧道钻孔机器人钻孔方法,其特征在于,所述根据所述钻孔定位数据所处的所述类型对象区域确定钻孔施工参数,包括:
当所述钻孔定位数据对应的钻孔所在的类型对象区域为混凝土区域时,选择第一钻孔施工参数;
当所述钻孔定位数据对应的钻孔所在的类型对象区域为岩石区域时,选择第二钻孔施工参数。
4.根据权利要求1所述的隧道钻孔机器人钻孔方法,其特征在于,所述图像检测模型的建立过程包括:
获取测试集和训练集;
将所述训练集输入卷积神经网络模型中进行训练,得到初始图像检测模型;
利用所述测试集对所述初始图像检测模型进行检测,得到检测准确率;
判断所述检测准确率是否达到预设准确率;
若达到所述预设准确率,则将所述初始图像检测模型确定为所述图像检测模型;
若未达到所述预设准确率,继续进行模型训练,以使所述检测准确率达到所述预设准确率,得到所述图像检测模型。
5.根据权利要求4所述的隧道钻孔机器人钻孔方法,其特征在于,所述获取测试集和训练集,包括:
获取隧道表面图像;
利用OpenCV函数库对所述隧道表面图像进行尺寸、亮度统一处理,得到隧道表面图像数据集;
使用标记工具对所述隧道表面图像数据集中的图像的不同类型对象区域进行标识,生成监督数据集;
将所述隧道表面图像数据集和所述监督数据集转换为三维矩阵数据;
对所述三维矩阵数据进行归一化处理得到处理后数据,并将所述处理后数据分成所述测试集和所述训练集。
6.根据权利要求4所述的隧道钻孔机器人钻孔方法,其特征在于,所述将所述训练集输入卷积神经网络模型中进行训练,得到初始图像检测模型,包括:
利用卷积网络VGG16获取所述训练集中的训练图像的特征图;
利用上采样反卷积层将所述特征图利用插值计算进行图像还原,得到与所述训练图像同尺寸大小的还原图像;
在输出层对所述还原图像的图像像素进行特征对象分类,得到分类结果;
利用交叉熵误差函数作为损失函数来计算分类结果和实际结果的偏差;
若所述偏差在预设范围内,则确定得到所述初始图像检测模型;
若所述偏差不在所述预设范围内,则更新训练参数,直至所述偏差在所述预设范围内。
7.根据权利要求1所述的隧道钻孔机器人钻孔方法,其特征在于,还包括:
输出所述图像数据中的着色图,其中,所述着色图是对每一所述类型对象区域进行不同颜色标记的图。
8.一种隧道钻孔机器人钻孔装置,其特征在于,包括:
隧道表面图像获取模块,用于获取钻孔工作面的设定拍照位置的隧道表面图像,并将所述隧道表面图像进行预处理得到待检测图像;
检测模块,用于将所述待检测图像输入预设的图像检测模型中进行图像检测,得到图像数据;其中,所述图像数据包括钻孔像素坐标位置、多种类型对象区域;
钻孔定位数据确定模块,用于以所述钻孔像素坐标位置为基准,按照预设偏移参数确定钻孔定位数据;
钻孔模块,用于根据所述钻孔定位数据所处的所述类型对象区域确定钻孔施工参数,并根据所述钻孔施工参数进行钻孔。
9.一种钻孔机器人,其特征在于,包括:
钻孔设备,用于钻孔;
相机设备,用于采集钻孔工作面的设定拍照位置的隧道表面图像;
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述隧道钻孔机器人钻孔方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述隧道钻孔机器人钻孔方法的步骤。
CN202011359093.9A 2020-11-27 2020-11-27 一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质 Pending CN112330670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011359093.9A CN112330670A (zh) 2020-11-27 2020-11-27 一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011359093.9A CN112330670A (zh) 2020-11-27 2020-11-27 一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质

Publications (1)

Publication Number Publication Date
CN112330670A true CN112330670A (zh) 2021-02-05

Family

ID=74308679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011359093.9A Pending CN112330670A (zh) 2020-11-27 2020-11-27 一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质

Country Status (1)

Country Link
CN (1) CN112330670A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115199205A (zh) * 2022-09-19 2022-10-18 辽宁省送变电工程有限公司 一种复合基础群锚电力钻机及其定位方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572146A (zh) * 2013-10-16 2015-04-29 北大方正集团有限公司 钻机参数的配置***和配置方法
CN110605716A (zh) * 2019-09-18 2019-12-24 成都钧诺威视智能科技有限公司 焊缝自动识别跟踪方法及自动焊接***
CN111369526A (zh) * 2020-03-03 2020-07-03 中建二局基础设施建设投资有限公司 基于半监督深度学习的多类型旧桥裂痕识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572146A (zh) * 2013-10-16 2015-04-29 北大方正集团有限公司 钻机参数的配置***和配置方法
CN110605716A (zh) * 2019-09-18 2019-12-24 成都钧诺威视智能科技有限公司 焊缝自动识别跟踪方法及自动焊接***
CN111369526A (zh) * 2020-03-03 2020-07-03 中建二局基础设施建设投资有限公司 基于半监督深度学习的多类型旧桥裂痕识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115199205A (zh) * 2022-09-19 2022-10-18 辽宁省送变电工程有限公司 一种复合基础群锚电力钻机及其定位方法和***

Similar Documents

Publication Publication Date Title
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN111178206A (zh) 一种基于改进yolo的建筑预埋件检测方法及***
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111681259B (zh) 基于无Anchor机制检测网络的车辆跟踪模型建立方法
CN114548278A (zh) 基于深度学习的在役隧道衬砌结构缺陷识别方法及***
CN111458721A (zh) 一种暴露垃圾的识别定位方法、装置及***
CN115115859A (zh) 基于无人机航拍的长线性工程施工进度智能识别与分析方法
CN112800934B (zh) 一种多类别工程车的行为识别方法及装置
CN115597494B (zh) 一种基于点云的预制构件预留孔的精度检测方法、***
CN108537825A (zh) 一种基于迁移学习回归网络的目标跟踪方法
CN113256599A (zh) 基于三维动态模型检测水工隧洞缺陷的方法
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及***
CN112580542A (zh) 一种基于目标检测的钢筋计数方法
CN112330670A (zh) 一种隧道钻孔机器人钻孔方法、装置、钻孔机器人和介质
CN109934151B (zh) 一种基于movidius计算芯片和Yolo face的人脸检测方法
CN111222462A (zh) 一种基于目标检测的表观特征监测数据智能标注方法
CN112627538B (zh) 基于计算机视觉的钢筋网扎丝绑扎质量智能验收方法
CN113421236A (zh) 基于深度学习的建筑墙面渗漏水表观发育状况预测方法
CN111696147B (zh) 一种基于改进YOLOv3模型的深度估计方法
CN117011280A (zh) 基于点云分割的3d打印混凝土墙质量监测方法及***
CN116739986A (zh) Auv在输水隧洞内对典型缺陷检测的光学声学组合方法
CN115937684A (zh) 一种建筑施工进度的识别方法及电子设备
CN113192204B (zh) 单幅倾斜遥感图像中建筑物的三维重建方法
CN111895931B (zh) 一种基于计算机视觉的煤矿作业区标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205