CN115205286B - 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 - Google Patents
爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 Download PDFInfo
- Publication number
- CN115205286B CN115205286B CN202211107044.5A CN202211107044A CN115205286B CN 115205286 B CN115205286 B CN 115205286B CN 202211107044 A CN202211107044 A CN 202211107044A CN 115205286 B CN115205286 B CN 115205286B
- Authority
- CN
- China
- Prior art keywords
- bolt
- image
- mechanical arm
- camera
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 210000001503 joint Anatomy 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 5
- 230000009194 climbing Effects 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000005253 cladding Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端,其中,爬塔机器人机械臂螺栓识别与定位方法,包括如下:步骤一:利用深度摄像机采集包含螺栓的对接塔段图像数据;步骤二:利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别;步骤三:针对步骤二的螺栓识别结果提取螺栓图像,采用Sobel算子对螺栓图像进行边缘提取,并利用均值滤波算法得到螺栓中心的图像坐标,根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息;步骤四:相机标定及手眼标定,得到螺栓中心在机械臂末端坐标系下的位置坐标。本发明能够克服使用传统技术时由于摄像机拍摄视角、光照、摄像机畸变等因素引起的螺栓图像质量不佳导致的识别精度降低、无法识别等问题。
Description
技术领域
本发明属于输电塔组装技术领域,尤其涉及一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端。
背景技术
输电塔在组装过程中,上塔段由起重机进行吊运,并放到已就位的下塔段上。上塔段与下塔段之间需要利用外包铁、内包角钢、以及紧固螺栓进行固接。传统的组塔方式是工作人员上到塔段连接处,人工完成两个塔段处螺栓的紧固。这种方式很容易造成人员伤亡。
为了解决人工组塔所存在的技术问题,人们研制了爬塔机器人,利用爬塔机器人爬到对接塔段,然后,使用爬塔机器人上的机械臂进行螺栓紧固。在该过程中需要机械臂自带摄像机识别并定位需要紧固的螺栓。
目前,在螺栓和螺孔等圆形物体的识别算法中,现有的工作大都采用传统图像处理的技术,比如利用Hough变换对圆的特征进行检测;除此之外还有使用最小二乘拟合圆,该方法拟合精度高但要求该圆具有较高的边缘精度。另外,还有在此基础上进行改进的圆检测算法,如对Hough变化圆检测的投票机制采取三角函数近似,采样点构成等腰三角形等方法。这些传统的检测方法的缺点是要求图像中的圆必须是标准的。然而,在实际的螺栓和螺孔识别中,由于光照和视角关系,螺栓和螺孔并非标准的圆形。
另外,在螺栓定位算法中,常用的方法包括单目视觉平面定位、单目视觉三维定位和双目立体视觉定位。然而,输电塔暴露在室外,且摄像机安装在机械臂的末端,这些定位算法的鲁棒性和精度都难以达到使用要求。
综上所述,为了使得爬塔机器人实现高精度鲁棒的对对接塔段的螺栓进行识别和定位,亟需提出一种爬塔机器人机械臂螺栓识别与定位方法及装置。
发明内容
本发明的目的在于提供一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端,以实现对接塔段处螺栓的精确识别与定位。
为实现本发明的目的,本发明提供的具体技术方案如下:
第一方面
本发明提供了一种爬塔机器人机械臂螺栓识别与定位方法,所述方法包括如下步骤:
步骤一:利用深度摄像机采集包含螺栓的对接塔段图像数据;
步骤二:利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别;
步骤三:针对步骤二的螺栓识别结果提取螺栓图像,采用Sobel算子对螺栓图像进行边缘提取,并利用均值滤波算法得到螺栓中心的图像坐标,根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息;
步骤四:相机标定及手眼标定,得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵,结合步骤三得到的图像坐标及深度信息,得到螺栓中心在机械臂末端坐标系下的位置坐标。
其中,所述深度神经网络采用yolov5深度神经网络。
其中,步骤三具体包括如下步骤:
图像的梯度方向与边缘方向关系是任一点的边缘与梯度向量正交,沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘,采用双阈值算法检测和连接边缘;
确定螺栓的边缘,螺栓的边缘为一个圆形,根据圆形确定螺栓的中心像素值,假定为,则利用深度信息获得螺栓中心像素位置处的深度,假定为d,通过计算则可获得螺栓中心在摄像机坐标系下的三维坐标(x c,y c,z c)T,表达式如下:A为摄像机的内参矩阵,c表示螺栓中心。
其中,在步骤三中,所述沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘,具体包括:在3*3区域内,将梯度的角度进行划分规则,量化成四个梯度方向:水平0°、45°、垂直90°、135°;非极大值抑制即为沿着4个的梯度方向,比较3*3邻域内对应邻域值的大小,在每一点上,中心坐标x与沿着其对应的梯度方向的两个像素相比,若中心像素为最大值,则保留,否则中心置0。
其中,在步骤三中,所述采用双阈值算法检测和连接边缘,具体包括:选取两个阈值系数TH和TL,比率为2:1或3:1,将小于低阈值的点抛弃,赋0;将大于高阈值的点立即标记,即确定为边缘点,赋1或255,将小于高阈值,大于低阈值的点使用8连通区域确定。
其中,步骤四具体包括如下步骤:
(1)采集机械臂在多个不同位置的机械臂图像并记录机械臂位姿;
(2)得到的机械臂姿态的数据格式为四元数,将其转换为旋转矩阵;
(3)对摄像机进行标定,得到每张机械臂图像的旋转向量和平移向量,将旋转向量变为旋转矩阵;
(5)得到螺栓中心在机械臂坐标系下的位置坐标。
第二方面
本发明提供了一种存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的爬塔机器人机械臂螺栓识别与定位方法。
第三方面
本发明提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的爬塔机器人机械臂螺栓识别与定位方法。
与现有技术相比,本发明的有益效果为,
1、本发明使用深度神经网络对输电塔对接处的螺栓进行识别,可克服使用传统技术时由于摄像机拍摄视角、光照、摄像机畸变等因素引起的螺栓图像质量不佳导致的识别精度降低、无法识别等问题,非常适用于野外螺栓识别;
2、本发明使用图像信息和深度信息对螺栓进行定位,定位精度高,有助于后期机械臂末端规划与避障算法;
3、本发明结合深度神经网络模型、机器视觉,机械臂手眼标定算法,提升了螺栓识别精度,并得到螺栓在机械臂坐标系的精确位置;
4、该发明有望被进一步应用于机械臂对其他圆形物体,如螺帽、螺孔的识别和定位,具有十分重要的应用价值。
附图说明
图1为本发明提供的爬塔机器人机械臂螺栓识别与定位方法流程示意图;
图2为本发明中图像的梯度方向与边缘方向关系示意图;
图3为本发明中梯度的角度划分规则示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供了一种爬塔机器人机械臂螺栓识别与定位方法,所述方法包括如下步骤:
步骤一:利用深度摄像机采集包含螺栓的对接塔段图像数据;
需要说明的是,上述的深度摄像机安装在爬塔机器人机械臂上,在输电塔上连接相邻塔段的外包铁和内包角钢通过螺栓进行固定,上述包含螺栓的图像是指包含外包铁和内包角钢上的螺栓的图像。
步骤二:利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别;
需要说明的是,上述的深度神经网络为yolov5神经网络模型,yolov5的网络结构,严格遵守了一个完整的目标检测模型由Backbone(骨干),Neck(脖子)和Head(头)组成的设计思想。其中Backbone是一个卷积神经网络,它将图像像素合并在一起以形成不同粒度的特征,Neck在传递到Head之前对ConvNet图层表示进行组合和混合,Head是网络中进行边界框和类预测的部分。
使用yolov5进行螺栓识别包括制作数据集、网络训练、实时检测。在利用网络模型进行识别之前,需要利用采集的数据进行模型训练。
拍摄不同角度对接塔段照片,经过数据增强、人工标注,得到yolov5算法所需的格式的数据集,格式为:(类别号,归一化后的中心坐标x,归一化后的中心坐标y,归一化后的目标框宽,归一化后的目标框高),然后将数据集划分为训练集和测试集。
步骤三:针对步骤二的螺栓识别结果提取螺栓图像,采用Sobel算子对螺栓图像进行边缘提取,并利用均值滤波算法得到螺栓中心的图像坐标,根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息;
需要说明的是,为获得螺栓中心的在图像中准确的像素位置,对上述获得的图像进行边缘检测,即可获得螺栓的边缘,进行计算可得螺栓中心的像素位置。此方案中采用边缘检测Canny算子。具体如下:
图像的梯度方向与边缘方向关系是任一点的边缘与梯度向量正交,如图2所示。
之后,沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘。具体方法如下:在3*3区域内,将梯度的角度按图3所示的划分规则,量化成四个方向:水平0°、45°、垂直90°、135°。非极大值抑制即为沿着上述4种类型的梯度方向,比较3*3邻域内对应邻域值的大小,在每一点上,中心坐标x与沿着其对应的梯度方向的两个像素相比,若中心像素为最大值,则保留,否则中心置0,这样可以抑制非极大值,保留局部梯度最大的点,以得到细化的边缘。
最终采用双阈值算法检测和连接边缘。具体方法如下:选取两个阈值系数TH和TL,比率为2:1或3:1,一般取TH=0.3或0.2,TL=0.1。将小于低阈值的点抛弃,赋0;将大于高阈值的点立即标记,即确定为边缘点,赋1或255。将小于高阈值,大于低阈值的点使用8连通区域确定。
经过上述过程,可以确定螺栓的边缘,理想状态应该为一个圆形,根据这个圆形可以确定螺栓的中心像素值,假定为。利用深度图像可获得螺栓中心像素位置处的深度,假定为d,通过计算则可获得螺栓中心在摄像机坐标系下的三维坐标(x c,y c,z c)T,表达式如下,其中,A为摄像机的内参矩阵, c表示螺栓中心。
步骤四:相机标定及手眼标定,得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵,结合步骤三得到的图像坐标及深度信息,得到螺栓中心在机械臂末端坐标系下的位置坐标。
需要说明的是,本发明采用eye-in-hand型手眼***,将摄像机固定在机械臂末端,因此需要计算出摄像机坐标系到机械臂末端坐标系的齐次变换矩阵。具体方法如下:
(1)采集机械臂图像并记录机械臂位姿。为了标定出摄像机坐标系到机械臂末端坐标系的齐次变换矩阵,需要机械臂在两次不同的位置对标定板进行拍照,但为了减小误差,所以在多个不同的位置进行拍照,共获取了17张图片,每张图片对应的机械臂的位姿如表1。
表1
(2)处理机械臂位姿数据。得到的机械臂姿态的数据格式为四元数,需要将其转换为旋转矩阵。
(3)摄像机标定。对摄像机进行标定,得到每张图片的旋转向量和平移向量,将旋转向量变为旋转矩阵。
为验证本发明方法的有效性,可按上述步骤,在自主搭建的已经平台上进行测试,识别率可达到100%。
本发明还提供了一种存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项爬塔机器人机械臂螺栓识别与定位方法。
本方明还提供一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一项爬塔机器人机械臂螺栓识别与定位方法。
需要说明的是终端为计算机设备。
对于计算机设备及存储介质中的爬塔机器人机械臂螺栓识别与定位方法可参考上述实施例进行理解,在此不再赘述。
以上结合附图详细描述了本发明实施例的可选实施方式,但是,本发明实施例并不限于上述实施方式中的具体细节,在本发明实施例的技术构思范围内,可以对本发明实施例的技术方案进行多种简单变型,这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明实施例对各种可能的组合方式不再另行说明。
Claims (4)
1.一种爬塔机器人机械臂螺栓识别与定位方法,其特征在于,所述方法包括如下步骤:
步骤一:利用深度摄像机采集包含螺栓的对接塔段图像数据;
步骤二:利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别;
步骤三:针对步骤二的螺栓识别结果提取螺栓图像,采用Sobel算子对螺栓图像进行边缘提取,并利用均值滤波算法得到螺栓中心的图像坐标,根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息;
步骤四:相机标定及手眼标定,得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵,结合步骤三得到的图像坐标及深度信息,得到螺栓中心在机械臂末端坐标系下的位置坐标;
其中,所述深度神经网络采用yolov5深度神经网络;
所述步骤三具体包括如下步骤:
(1)使用高斯滤波器G(x,y)与原始螺栓图像的像素函数f(x,y)进行卷积,得到平滑的螺栓图像I(x,y),表达式形式如下所示:
I(x,y)=G(x,y)*f(x,y) (2)
其中σ为高斯核的标准差,f(x,y)为图像的像素函数;
(2)采用Sobel算子计算螺栓图像I(x,y)的梯度幅值和方向,利用Sobel水平和垂直算子与图像I(x,y)卷积,计算gx和gy:
gx=I(x,y)*Sobelx(x,y) (3)
gy=I(x,y)*Sobely(x,y) (4)
其中Sobelx(x,y)为水平算子和Sobely(x,y)为竖直算法,其值分别为:
进一步得到螺栓图像梯度的幅值M(x,y)为:
角度α(x,y)为:
图像的梯度方向与边缘方向关系是任一点的边缘与梯度向量正交,沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘,采用双阈值算法检测和连接边缘;
确定螺栓的边缘,螺栓的边缘为一个圆形,根据圆形确定螺栓的中心像素值,假定为(u,v)T,则利用深度信息获得螺栓中心像素位置处的深度,假定为d,通过计算则可获得螺栓中心在摄像机坐标系下的三维坐标(xc,yc,zc)T,表达式如下:A为摄像机的内参矩阵,c表示螺栓中心;
其中,所述采用双阈值算法检测和连接边缘,具体包括:选取两个阈值系数TH和TL,比率为2:1或3:1,将小于低阈值的点抛弃,赋0;将大于高阈值的点立即标记,即确定为边缘点,赋1或255,将小于高阈值,大于低阈值的点使用8连通区域确定;
所述步骤四具体包括如下步骤:
(1)采集机械臂在多个不同位置的机械臂图像并记录机械臂位姿;
(2)得到的机械臂姿态的数据格式为四元数,将其转换为旋转矩阵;
(3)对摄像机进行标定,得到每张机械臂图像的旋转向量和平移向量,将旋转向量变为旋转矩阵;
(4)利用手眼标定得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵GMC,其中左上标G表示机械臂坐标系,右下标C表示摄像机坐标系,标定结果如下:
(5)得到螺栓中心在机械臂坐标系下的位置坐标。
2.根据权利要求1所述的一种爬塔机器人机械臂螺栓识别与定位方法,其特征在,在步骤三中,所述沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘,具体包括:在3*3区域内,将梯度的角度进行划分规则,量化成四个梯度方向:水平0°、45°、垂直90°、135°;非极大值抑制即为沿着4个的梯度方向,比较3*3邻域内对应邻域值的大小,在每一点上,中心坐标x与沿着其对应的梯度方向的两个像素相比,若中心像素为最大值,则保留,否则中心置0。
3.一种存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至2中任一项权利要求所述的爬塔机器人机械臂螺栓识别与定位方法。
4.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至2中任一项权利要求所述的爬塔机器人机械臂螺栓识别与定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211107044.5A CN115205286B (zh) | 2022-09-13 | 2022-09-13 | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211107044.5A CN115205286B (zh) | 2022-09-13 | 2022-09-13 | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115205286A CN115205286A (zh) | 2022-10-18 |
CN115205286B true CN115205286B (zh) | 2023-01-24 |
Family
ID=83571784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211107044.5A Active CN115205286B (zh) | 2022-09-13 | 2022-09-13 | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115205286B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116580005B (zh) * | 2023-05-15 | 2024-03-08 | 青岛环球重工科技有限公司 | 基于图像处理与深度学习的管片模具开模***的引导方法 |
CN116894616A (zh) * | 2023-08-04 | 2023-10-17 | 湖南大学 | 基于机器视觉识别***智能控制新能源物流车组装方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114387262A (zh) * | 2022-01-17 | 2022-04-22 | 华北电力大学(保定) | 一种基于机器视觉的螺母定位检测方法、装置及*** |
CN114387268A (zh) * | 2022-03-22 | 2022-04-22 | 中国长江三峡集团有限公司 | 一种螺栓松动检测方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067018A (zh) * | 2016-12-09 | 2017-08-18 | 南京理工大学 | 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法 |
CN109035200B (zh) * | 2018-06-21 | 2022-06-07 | 北京工业大学 | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 |
JP7263987B2 (ja) * | 2019-08-22 | 2023-04-25 | オムロン株式会社 | 制御装置、制御方法、及び制御プログラム |
CN113524194B (zh) * | 2021-04-28 | 2023-03-21 | 重庆理工大学 | 基于多模特征深度学习的机器人视觉抓取***的目标抓取方法 |
CN114407079B (zh) * | 2022-01-24 | 2024-01-30 | 湖南中南智能装备有限公司 | 一种控制机械臂安装螺栓的方法 |
CN114758215A (zh) * | 2022-04-25 | 2022-07-15 | 贵州电网有限责任公司 | 一种配网带电作业机器人接地环及其螺栓的识别定位方法 |
-
2022
- 2022-09-13 CN CN202211107044.5A patent/CN115205286B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114387262A (zh) * | 2022-01-17 | 2022-04-22 | 华北电力大学(保定) | 一种基于机器视觉的螺母定位检测方法、装置及*** |
CN114387268A (zh) * | 2022-03-22 | 2022-04-22 | 中国长江三峡集团有限公司 | 一种螺栓松动检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115205286A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115205286B (zh) | 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 | |
US11958197B2 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
CN111627072A (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN109986172B (zh) | 一种焊缝定位方法、设备及*** | |
CN111738320B (zh) | 基于模板匹配的遮挡工件识别方法 | |
CN110648362B (zh) | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 | |
CN104966302B (zh) | 一种任意角度激光十字的检测定位方法 | |
CN114022554A (zh) | 一种基于yolo的按摩机器人穴位检测与定位方法 | |
CN116804359A (zh) | 一种基于前视全景钻孔摄像的虚拟岩芯成像设备及方法 | |
CN113034526B (zh) | 一种抓取方法、抓取装置及机器人 | |
CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
CN116977328B (zh) | 车底机器人主动视觉中的图像质量评估方法 | |
Han et al. | Target positioning method in binocular vision manipulator control based on improved canny operator | |
CN106127147B (zh) | 一种基于三维数据的人脸深度纹理修复方法 | |
CN111709954A (zh) | 一种围棋机器人视觉***的标定方法 | |
CN112950787B (zh) | 一种基于图像序列的目标物体三维点云生成方法 | |
CN115272482A (zh) | 一种相机外参标定方法及存储介质 | |
CN115457093A (zh) | 一种牙齿图像的处理方法、装置、电子设备及存储介质 | |
CN114648544A (zh) | 一种亚像素椭圆提取方法 | |
CN115222912A (zh) | 目标位姿估计方法、装置、计算设备及存储介质 | |
CN111583174A (zh) | 基于点云数据的铁塔形变检测检测的方法和*** | |
CN116503387B (zh) | 图像检测方法、装置、设备、***及可读存储介质 | |
CN117315043A (zh) | 一种手持式三维扫描圆形标志点的纠错方法及*** | |
CN111586299B (zh) | 一种图像处理方法和相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |