CN115205286B - 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 - Google Patents

爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 Download PDF

Info

Publication number
CN115205286B
CN115205286B CN202211107044.5A CN202211107044A CN115205286B CN 115205286 B CN115205286 B CN 115205286B CN 202211107044 A CN202211107044 A CN 202211107044A CN 115205286 B CN115205286 B CN 115205286B
Authority
CN
China
Prior art keywords
bolt
image
mechanical arm
camera
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211107044.5A
Other languages
English (en)
Other versions
CN115205286A (zh
Inventor
李文杰
高国
郭宪
王云帆
刘志东
曹涛
孟令健
刘超
刘庆林
马骏
王斌
毛华
车晓钰
栗世勇
杜春阳
崔荣坤
杜祎
詹云腾
潘光
孟啸啸
李春雪
党国毅
王江
张晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Construction Branch of State Grid Tianjin Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Tianjin Electric Power Co Ltd
Construction Branch of State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Tianjin Electric Power Co Ltd, Construction Branch of State Grid Tianjin Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202211107044.5A priority Critical patent/CN115205286B/zh
Publication of CN115205286A publication Critical patent/CN115205286A/zh
Application granted granted Critical
Publication of CN115205286B publication Critical patent/CN115205286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端，其中，爬塔机器人机械臂螺栓识别与定位方法，包括如下：步骤一：利用深度摄像机采集包含螺栓的对接塔段图像数据；步骤二：利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别；步骤三：针对步骤二的螺栓识别结果提取螺栓图像，采用Sobel算子对螺栓图像进行边缘提取，并利用均值滤波算法得到螺栓中心的图像坐标，根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息；步骤四：相机标定及手眼标定，得到螺栓中心在机械臂末端坐标系下的位置坐标。本发明能够克服使用传统技术时由于摄像机拍摄视角、光照、摄像机畸变等因素引起的螺栓图像质量不佳导致的识别精度降低、无法识别等问题。

Description

爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
技术领域
本发明属于输电塔组装技术领域，尤其涉及一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端。
背景技术
输电塔在组装过程中，上塔段由起重机进行吊运，并放到已就位的下塔段上。上塔段与下塔段之间需要利用外包铁、内包角钢、以及紧固螺栓进行固接。传统的组塔方式是工作人员上到塔段连接处，人工完成两个塔段处螺栓的紧固。这种方式很容易造成人员伤亡。
为了解决人工组塔所存在的技术问题，人们研制了爬塔机器人，利用爬塔机器人爬到对接塔段，然后，使用爬塔机器人上的机械臂进行螺栓紧固。在该过程中需要机械臂自带摄像机识别并定位需要紧固的螺栓。
目前，在螺栓和螺孔等圆形物体的识别算法中，现有的工作大都采用传统图像处理的技术，比如利用Hough变换对圆的特征进行检测；除此之外还有使用最小二乘拟合圆，该方法拟合精度高但要求该圆具有较高的边缘精度。另外，还有在此基础上进行改进的圆检测算法，如对Hough变化圆检测的投票机制采取三角函数近似，采样点构成等腰三角形等方法。这些传统的检测方法的缺点是要求图像中的圆必须是标准的。然而，在实际的螺栓和螺孔识别中，由于光照和视角关系，螺栓和螺孔并非标准的圆形。
另外，在螺栓定位算法中，常用的方法包括单目视觉平面定位、单目视觉三维定位和双目立体视觉定位。然而，输电塔暴露在室外，且摄像机安装在机械臂的末端，这些定位算法的鲁棒性和精度都难以达到使用要求。
综上所述，为了使得爬塔机器人实现高精度鲁棒的对对接塔段的螺栓进行识别和定位，亟需提出一种爬塔机器人机械臂螺栓识别与定位方法及装置。
发明内容
本发明的目的在于提供一种爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端，以实现对接塔段处螺栓的精确识别与定位。
为实现本发明的目的，本发明提供的具体技术方案如下：
第一方面
本发明提供了一种爬塔机器人机械臂螺栓识别与定位方法，所述方法包括如下步骤：
步骤一：利用深度摄像机采集包含螺栓的对接塔段图像数据；
步骤二：利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别；
步骤三：针对步骤二的螺栓识别结果提取螺栓图像，采用Sobel算子对螺栓图像进行边缘提取，并利用均值滤波算法得到螺栓中心的图像坐标，根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息；
步骤四：相机标定及手眼标定，得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵，结合步骤三得到的图像坐标及深度信息，得到螺栓中心在机械臂末端坐标系下的位置坐标。
其中，所述深度神经网络采用yolov5深度神经网络。
其中，步骤三具体包括如下步骤：
（1）使用高斯滤波器
Figure 565760DEST_PATH_IMAGE001
与原始螺栓图像的像素函数
Figure 355862DEST_PATH_IMAGE002
进行卷积，得到平滑的螺栓图像
Figure 172508DEST_PATH_IMAGE003
，表达式形式如下所示：
Figure 440678DEST_PATH_IMAGE004
其中
Figure 26380DEST_PATH_IMAGE005
为高斯核的标准差，
Figure 987383DEST_PATH_IMAGE002
为图像的像素函数。
（2）采用Sobel算子计算螺栓图像
Figure 25746DEST_PATH_IMAGE003
的梯度幅值和方向，利用Sobel水平和垂直算子与图像
Figure 97608DEST_PATH_IMAGE003
卷积，计算
Figure 272237DEST_PATH_IMAGE006
和
Figure 669720DEST_PATH_IMAGE007
：
Figure 929800DEST_PATH_IMAGE009
其中
Figure 73861DEST_PATH_IMAGE010
为水平算子和
Figure 634156DEST_PATH_IMAGE011
为竖直算法，其值分别为：
Figure 671382DEST_PATH_IMAGE012
，
Figure 418758DEST_PATH_IMAGE013
进一步得到螺栓图像梯度的幅值
Figure 363580DEST_PATH_IMAGE014
为：
Figure 247223DEST_PATH_IMAGE015
（5）
角度
Figure 720929DEST_PATH_IMAGE016
为：
Figure 814656DEST_PATH_IMAGE017
（6）
图像的梯度方向与边缘方向关系是任一点的边缘与梯度向量正交，沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘，采用双阈值算法检测和连接边缘；
确定螺栓的边缘，螺栓的边缘为一个圆形，根据圆形确定螺栓的中心像素值，假定为
Figure 766432DEST_PATH_IMAGE018
，则利用深度信息获得螺栓中心像素位置处的深度，假定为d，通过计算则可获得螺栓中心在摄像机坐标系下的三维坐标（x c,y c,z c）T，表达式如下：A为摄像机的内参矩阵，c表示螺栓中心。
Figure 298388DEST_PATH_IMAGE019
（7）
其中，在步骤三中，所述沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘，具体包括：在3*3区域内，将梯度的角度进行划分规则，量化成四个梯度方向：水平0°、45°、垂直90°、135°；非极大值抑制即为沿着4个的梯度方向，比较3*3邻域内对应邻域值的大小，在每一点上，中心坐标x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0。
其中，在步骤三中，所述采用双阈值算法检测和连接边缘，具体包括：选取两个阈值系数TH和TL，比率为2:1或3:1，将小于低阈值的点抛弃，赋0；将大于高阈值的点立即标记，即确定为边缘点，赋1或255，将小于高阈值，大于低阈值的点使用8连通区域确定。
其中，步骤四具体包括如下步骤：
（1）采集机械臂在多个不同位置的机械臂图像并记录机械臂位姿；
（2）得到的机械臂姿态的数据格式为四元数，将其转换为旋转矩阵；
（3）对摄像机进行标定，得到每张机械臂图像的旋转向量和平移向量，将旋转向量变为旋转矩阵；
（4） 利用手眼标定得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵
Figure 677417DEST_PATH_IMAGE020
，其中左上标G表示机械臂坐标系，右下标C表示摄像机坐标系，标定结果如下：
Figure 133806DEST_PATH_IMAGE021
（8）
（5）得到螺栓中心在机械臂坐标系下的位置坐标。
第二方面
本发明提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的爬塔机器人机械臂螺栓识别与定位方法。
第三方面
本发明提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的爬塔机器人机械臂螺栓识别与定位方法。
与现有技术相比，本发明的有益效果为，
1、本发明使用深度神经网络对输电塔对接处的螺栓进行识别，可克服使用传统技术时由于摄像机拍摄视角、光照、摄像机畸变等因素引起的螺栓图像质量不佳导致的识别精度降低、无法识别等问题，非常适用于野外螺栓识别；
2、本发明使用图像信息和深度信息对螺栓进行定位，定位精度高，有助于后期机械臂末端规划与避障算法；
3、本发明结合深度神经网络模型、机器视觉，机械臂手眼标定算法，提升了螺栓识别精度，并得到螺栓在机械臂坐标系的精确位置；
4、该发明有望被进一步应用于机械臂对其他圆形物体，如螺帽、螺孔的识别和定位，具有十分重要的应用价值。
附图说明
图1为本发明提供的爬塔机器人机械臂螺栓识别与定位方法流程示意图；
图2为本发明中图像的梯度方向与边缘方向关系示意图；
图3为本发明中梯度的角度划分规则示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供了一种爬塔机器人机械臂螺栓识别与定位方法，所述方法包括如下步骤：
步骤一：利用深度摄像机采集包含螺栓的对接塔段图像数据；
需要说明的是，上述的深度摄像机安装在爬塔机器人机械臂上，在输电塔上连接相邻塔段的外包铁和内包角钢通过螺栓进行固定，上述包含螺栓的图像是指包含外包铁和内包角钢上的螺栓的图像。
步骤二：利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别；
需要说明的是，上述的深度神经网络为yolov5神经网络模型，yolov5的网络结构，严格遵守了一个完整的目标检测模型由Backbone(骨干)，Neck(脖子）和Head(头）组成的设计思想。其中Backbone是一个卷积神经网络，它将图像像素合并在一起以形成不同粒度的特征，Neck在传递到Head之前对ConvNet图层表示进行组合和混合，Head是网络中进行边界框和类预测的部分。
使用yolov5进行螺栓识别包括制作数据集、网络训练、实时检测。在利用网络模型进行识别之前，需要利用采集的数据进行模型训练。
拍摄不同角度对接塔段照片，经过数据增强、人工标注，得到yolov5算法所需的格式的数据集，格式为：（类别号，归一化后的中心坐标x，归一化后的中心坐标y，归一化后的目标框宽，归一化后的目标框高），然后将数据集划分为训练集和测试集。
步骤三：针对步骤二的螺栓识别结果提取螺栓图像，采用Sobel算子对螺栓图像进行边缘提取，并利用均值滤波算法得到螺栓中心的图像坐标，根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息；
需要说明的是，为获得螺栓中心的在图像中准确的像素位置，对上述获得的图像进行边缘检测，即可获得螺栓的边缘，进行计算可得螺栓中心的像素位置。此方案中采用边缘检测Canny算子。具体如下：
首先对输入的图像进行高斯滤波，本质就是模糊处理，主要目的是降噪，使图像变得平滑，同时也有可能增大了边缘的宽度。使用高斯滤波器
Figure 420431DEST_PATH_IMAGE022
与原始图像的像素函数
Figure 278666DEST_PATH_IMAGE023
进行卷积，得到平滑的图像
Figure 625333DEST_PATH_IMAGE024
。表达式形式如下所示：
Figure 100177DEST_PATH_IMAGE025
其中
Figure 393755DEST_PATH_IMAGE005
为高斯核的标准差，
Figure 106496DEST_PATH_IMAGE023
为图像的像素函数。
接下来，借助Sobel算子计算图像
Figure 624065DEST_PATH_IMAGE024
的梯度幅值和方向，Sobel算子的水平和垂直模板，利用Sobel水平和垂直算子与图像
Figure 55047DEST_PATH_IMAGE024
卷积计算
Figure 686404DEST_PATH_IMAGE006
和
Figure 253651DEST_PATH_IMAGE026
：
Figure 410963DEST_PATH_IMAGE027
其中
Figure 860399DEST_PATH_IMAGE010
为水平算子和
Figure 495780DEST_PATH_IMAGE011
为竖直算法，其值分别为：
Figure 714271DEST_PATH_IMAGE012
，
Figure 42485DEST_PATH_IMAGE013
进一步可以得到图像梯度的幅值
Figure 182479DEST_PATH_IMAGE014
为：
Figure 418288DEST_PATH_IMAGE015
（5）
角度
Figure 491286DEST_PATH_IMAGE016
为：
Figure 990401DEST_PATH_IMAGE017
（6）
图像的梯度方向与边缘方向关系是任一点的边缘与梯度向量正交，如图2所示。
之后，沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘。具体方法如下：在3*3区域内，将梯度的角度按图3所示的划分规则，量化成四个方向：水平0°、45°、垂直90°、135°。非极大值抑制即为沿着上述4种类型的梯度方向，比较3*3邻域内对应邻域值的大小，在每一点上，中心坐标x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘。
最终采用双阈值算法检测和连接边缘。具体方法如下：选取两个阈值系数TH和TL，比率为2:1或3:1，一般取TH=0.3或0.2，TL=0.1。将小于低阈值的点抛弃，赋0；将大于高阈值的点立即标记，即确定为边缘点，赋1或255。将小于高阈值，大于低阈值的点使用8连通区域确定。
经过上述过程，可以确定螺栓的边缘，理想状态应该为一个圆形，根据这个圆形可以确定螺栓的中心像素值，假定为
Figure 626480DEST_PATH_IMAGE018
。利用深度图像可获得螺栓中心像素位置处的深度，假定为d，通过计算则可获得螺栓中心在摄像机坐标系下的三维坐标（x c,y c,z c）T，表达式如下，其中，A为摄像机的内参矩阵, c表示螺栓中心。
Figure 134822DEST_PATH_IMAGE028
（7）
步骤四：相机标定及手眼标定，得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵，结合步骤三得到的图像坐标及深度信息，得到螺栓中心在机械臂末端坐标系下的位置坐标。
需要说明的是，本发明采用eye-in-hand型手眼***，将摄像机固定在机械臂末端，因此需要计算出摄像机坐标系到机械臂末端坐标系的齐次变换矩阵。具体方法如下：
（1）采集机械臂图像并记录机械臂位姿。为了标定出摄像机坐标系到机械臂末端坐标系的齐次变换矩阵，需要机械臂在两次不同的位置对标定板进行拍照，但为了减小误差，所以在多个不同的位置进行拍照，共获取了17张图片，每张图片对应的机械臂的位姿如表1。
表1
Figure 796748DEST_PATH_IMAGE029
（2）处理机械臂位姿数据。得到的机械臂姿态的数据格式为四元数，需要将其转换为旋转矩阵。
（3）摄像机标定。对摄像机进行标定，得到每张图片的旋转向量和平移向量，将旋转向量变为旋转矩阵。
（4）手眼标定。手眼标定得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵
Figure 529080DEST_PATH_IMAGE030
。其中左上标G表示机械臂坐标系，右下标C表示摄像机坐标系，标定结果如下：
Figure 643667DEST_PATH_IMAGE031
（8）
为验证本发明方法的有效性，可按上述步骤，在自主搭建的已经平台上进行测试，识别率可达到100%。
本发明还提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项爬塔机器人机械臂螺栓识别与定位方法。
本方明还提供一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一项爬塔机器人机械臂螺栓识别与定位方法。
需要说明的是终端为计算机设备。
对于计算机设备及存储介质中的爬塔机器人机械臂螺栓识别与定位方法可参考上述实施例进行理解，在此不再赘述。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

Claims (4)

1.一种爬塔机器人机械臂螺栓识别与定位方法，其特征在于，所述方法包括如下步骤：
步骤一：利用深度摄像机采集包含螺栓的对接塔段图像数据；
步骤二：利用深度神经网络模型对步骤一中采集的对接塔段图像数据中的螺栓进行识别；
步骤三：针对步骤二的螺栓识别结果提取螺栓图像，采用Sobel算子对螺栓图像进行边缘提取，并利用均值滤波算法得到螺栓中心的图像坐标，根据螺栓中心图像坐标从深度图中读取螺栓中心距离摄像机平面的深度信息；
步骤四：相机标定及手眼标定，得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵，结合步骤三得到的图像坐标及深度信息，得到螺栓中心在机械臂末端坐标系下的位置坐标；
其中，所述深度神经网络采用yolov5深度神经网络；
所述步骤三具体包括如下步骤：
(1)使用高斯滤波器G(x,y)与原始螺栓图像的像素函数f(x,y)进行卷积，得到平滑的螺栓图像I(x,y)，表达式形式如下所示：
Figure FDA0003937040700000011
I(x,y)＝G(x,y)*f(x,y) (2)
其中σ为高斯核的标准差，f(x,y)为图像的像素函数；
(2)采用Sobel算子计算螺栓图像I(x,y)的梯度幅值和方向，利用Sobel水平和垂直算子与图像I(x,y)卷积，计算gx和gy：
gx＝I(x,y)*Sobelx(x,y) (3)
gy＝I(x,y)*Sobely(x,y) (4)
其中Sobelx(x,y)为水平算子和Sobely(x,y)为竖直算法，其值分别为：
Figure FDA0003937040700000012
进一步得到螺栓图像梯度的幅值M(x,y)为：
Figure FDA0003937040700000021
角度α(x,y)为：
Figure FDA0003937040700000022
图像的梯度方向与边缘方向关系是任一点的边缘与梯度向量正交，沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘，采用双阈值算法检测和连接边缘；
确定螺栓的边缘，螺栓的边缘为一个圆形，根据圆形确定螺栓的中心像素值，假定为(u,v)T，则利用深度信息获得螺栓中心像素位置处的深度，假定为d，通过计算则可获得螺栓中心在摄像机坐标系下的三维坐标(xc,yc,zc)T，表达式如下：A为摄像机的内参矩阵，c表示螺栓中心；
Figure FDA0003937040700000023
其中，所述采用双阈值算法检测和连接边缘，具体包括：选取两个阈值系数TH和TL，比率为2:1或3:1，将小于低阈值的点抛弃，赋0；将大于高阈值的点立即标记，即确定为边缘点，赋1或255，将小于高阈值，大于低阈值的点使用8连通区域确定；
所述步骤四具体包括如下步骤：
(1)采集机械臂在多个不同位置的机械臂图像并记录机械臂位姿；
(2)得到的机械臂姿态的数据格式为四元数，将其转换为旋转矩阵；
(3)对摄像机进行标定，得到每张机械臂图像的旋转向量和平移向量，将旋转向量变为旋转矩阵；
(4)利用手眼标定得到摄像机坐标系到机械臂末端坐标系的齐次变换矩阵GMC，其中左上标G表示机械臂坐标系，右下标C表示摄像机坐标系，标定结果如下：
Figure FDA0003937040700000031
(5)得到螺栓中心在机械臂坐标系下的位置坐标。
2.根据权利要求1所述的一种爬塔机器人机械臂螺栓识别与定位方法，其特征在，在步骤三中，所述沿着梯度方向对梯度幅值进行非极大值抑制得到细化的边缘，具体包括：在3*3区域内，将梯度的角度进行划分规则，量化成四个梯度方向：水平0°、45°、垂直90°、135°；非极大值抑制即为沿着4个的梯度方向，比较3*3邻域内对应邻域值的大小，在每一点上，中心坐标x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0。
3.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至2中任一项权利要求所述的爬塔机器人机械臂螺栓识别与定位方法。
4.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至2中任一项权利要求所述的爬塔机器人机械臂螺栓识别与定位方法。
CN202211107044.5A 2022-09-13 2022-09-13 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端 Active CN115205286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211107044.5A CN115205286B (zh) 2022-09-13 2022-09-13 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211107044.5A CN115205286B (zh) 2022-09-13 2022-09-13 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端

Publications (2)

Publication Number Publication Date
CN115205286A CN115205286A (zh) 2022-10-18
CN115205286B true CN115205286B (zh) 2023-01-24

Family

ID=83571784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211107044.5A Active CN115205286B (zh) 2022-09-13 2022-09-13 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端

Country Status (1)

Country Link
CN (1) CN115205286B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580005B (zh) * 2023-05-15 2024-03-08 青岛环球重工科技有限公司 基于图像处理与深度学习的管片模具开模***的引导方法
CN116894616A (zh) * 2023-08-04 2023-10-17 湖南大学 基于机器视觉识别***智能控制新能源物流车组装方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387262A (zh) * 2022-01-17 2022-04-22 华北电力大学（保定） 一种基于机器视觉的螺母定位检测方法、装置及***
CN114387268A (zh) * 2022-03-22 2022-04-22 中国长江三峡集团有限公司 一种螺栓松动检测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067018A (zh) * 2016-12-09 2017-08-18 南京理工大学 一种基于随机Hough变换和SVM的带电作业机器人螺栓识别方法
CN109035200B (zh) * 2018-06-21 2022-06-07 北京工业大学 一种基于单双目视觉协同的螺栓定位及位姿检测方法
JP7263987B2 (ja) * 2019-08-22 2023-04-25 オムロン株式会社 制御装置、制御方法、及び制御プログラム
CN113524194B (zh) * 2021-04-28 2023-03-21 重庆理工大学 基于多模特征深度学习的机器人视觉抓取***的目标抓取方法
CN114407079B (zh) * 2022-01-24 2024-01-30 湖南中南智能装备有限公司 一种控制机械臂安装螺栓的方法
CN114758215A (zh) * 2022-04-25 2022-07-15 贵州电网有限责任公司 一种配网带电作业机器人接地环及其螺栓的识别定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387262A (zh) * 2022-01-17 2022-04-22 华北电力大学（保定） 一种基于机器视觉的螺母定位检测方法、装置及***
CN114387268A (zh) * 2022-03-22 2022-04-22 中国长江三峡集团有限公司 一种螺栓松动检测方法及装置

Also Published As

Publication number Publication date
CN115205286A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN115205286B (zh) 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
US11958197B2 (en) Visual navigation inspection and obstacle avoidance method for line inspection robot
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN111627072A (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN109986172B (zh) 一种焊缝定位方法、设备及***
CN111738320B (zh) 基于模板匹配的遮挡工件识别方法
CN110648362B (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN104966302B (zh) 一种任意角度激光十字的检测定位方法
CN114022554A (zh) 一种基于yolo的按摩机器人穴位检测与定位方法
CN116804359A (zh) 一种基于前视全景钻孔摄像的虚拟岩芯成像设备及方法
CN113034526B (zh) 一种抓取方法、抓取装置及机器人
CN113705564B (zh) 一种指针式仪表识别读数方法
CN116977328B (zh) 车底机器人主动视觉中的图像质量评估方法
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN106127147B (zh) 一种基于三维数据的人脸深度纹理修复方法
CN111709954A (zh) 一种围棋机器人视觉***的标定方法
CN112950787B (zh) 一种基于图像序列的目标物体三维点云生成方法
CN115272482A (zh) 一种相机外参标定方法及存储介质
CN115457093A (zh) 一种牙齿图像的处理方法、装置、电子设备及存储介质
CN114648544A (zh) 一种亚像素椭圆提取方法
CN115222912A (zh) 目标位姿估计方法、装置、计算设备及存储介质
CN111583174A (zh) 基于点云数据的铁塔形变检测检测的方法和***
CN116503387B (zh) 图像检测方法、装置、设备、***及可读存储介质
CN117315043A (zh) 一种手持式三维扫描圆形标志点的纠错方法及***
CN111586299B (zh) 一种图像处理方法和相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant