CN107315410A - 一种机器人自动排障方法 - Google Patents
一种机器人自动排障方法 Download PDFInfo
- Publication number
- CN107315410A CN107315410A CN201710455042.8A CN201710455042A CN107315410A CN 107315410 A CN107315410 A CN 107315410A CN 201710455042 A CN201710455042 A CN 201710455042A CN 107315410 A CN107315410 A CN 107315410A
- Authority
- CN
- China
- Prior art keywords
- point
- robot
- image
- control system
- sixdegree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013024 troubleshooting Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000004088 simulation Methods 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 239000012636 effector Substances 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 239000000725 suspension Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 239000006096 absorbing agent Substances 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000035939 shock Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 2
- 238000011835 investigation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 125000000623 heterocyclic group Chemical group 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种机器人自动排障方法，该机器人包括全向移动底盘、包括末端执行机构和六自由度机械臂的机械手排障装置、图像采集装置，车身内设置有采用ARM处理器的机器人控制***；方法包括：1、开启控制***并选择工作模式，利用视觉反馈确定六自由度机械臂的初始位置；2、ARM对步骤1对图像进行初步处理以获取抓取点坐标，并实时传输给PC机加以处理后获得判断结果；3、控制***依据该判断结果进行下步工作；4、对末端执行机构视觉标识物角点检测，控制六自由度机械臂趋近并抓取目标物。本发明可任选自主或者人工的自动排障，机器人排障智能化程度高，功能多样化，既可应用于地上排障也可用于地下探测，降低了劳动强度、提升了工作效率。
Description
技术领域
本发明属于机器人技术领域，具体涉及一种机器人自动排障方法。
技术背景
随着科学技术的发展，机器人正发展成为一个日益庞大的家族，代替人类从事各种各样的工作，在生产生活方面，特别是在危险环境和极限环境作业中，有着广泛的应用前景。特别是利用机器人排障、机器人救援等方面，不仅解放了劳动力，提高了工作效率，还保障了生命安全。
对于机器人排障工作而言，因需求目的不同，对排障的功能复杂程度要求也不同。在有些重要场合的排障，为了确保准确和安全，需要人工的实时参与而对机器人本身功能要求不高。而在一些普通场合，因为让机器人自由工作而无需人员参与，对机器人本身排障分析能力要求较高。上述两种情况下如何功能兼容，是现代机器人需要解决的一个问题。目前，现有技术的机器人排障功能大都单一，智能化程度不足，灵活性低。
申请号为CN201420569430.0的中国专利申请公开了一种机械臂排障灭火机器人，该机器人具备实时监控的能力，但不具有图像处理分析能力，无法识别障碍物也无法保证机械手的控制精度，需要人工的全程参与。申请号为CN201610131450.3的中国专利申请公开了一种自主排障式智能车***，虽然不需要人工参与，但该***利用的激光测距模块只能获得正前方障碍物的距离，无法获得障碍物的三维坐标，影响机械臂的抓取精度，且排障目标也被固定为正前方的障碍物，同时采用的履带式结构使得转向范围有限，排障区域小。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种机器人自动排障方法，该排障方法能根据选择进行自主或人工工作，通过视觉***智能化判断障碍物，可依据指令进行360度全方向移动，利用视觉反馈保证机器人机器臂的控制精度，智能化程度高，灵活性好。
为了解决上述技术问题，本发明采用以下技术方案。
本发明的一种机器人自动排障方法，所述的机器人包括全向移动底盘、机械手排障装置、图像采集装置、机器人控制***；所述的全向移动底盘包括Mecanum轮、减速电机、H型悬架、车身、避震器；
所述的车身：设置有机器人控制***、内嵌显示屏、四周装有测距传感器；所述车身通过H型悬架与Mecanum轮及减速电机相连；
所述的机械手排障装置包括末端执行机构、六自由度机械臂，所述六自由度机械臂安装在车身的顶部前端；所述末端执行机构上设置有视觉标识物；
所述的图像采集装置包括固定在车身下面的支架、安装在支架上面的双目摄像机；图像采集装置可通过支架来调节双目摄像机的位置，并将图像实时传输给控制***处理分析；
所述机器人控制***设置有ARM处理器，通过无线网络与PC机进行通信；
其特征在于：
所述机器人控制***包括欠压报警模块，图像采集模块，测距模块，驱动模块，所述欠压报警装置用以对电源检测并作欠压提示，所述图像采集模块用以将双目摄像机采集图像信号传输给控制***和PC机处理；所述测距模块用以检测在机械手操作空间范围的物体并给控制***触发信号停止前进，所述驱动模块用以驱动电机使机器人实现全向移动；
所述方法包括以下步骤：
步骤1，开启机器人控制***，并选择其工作模式，通过对末端执行机构上视觉标识物的角点检测，利用视觉反馈对六自由度机械臂的初始化位置进行确定；
步骤2，首先进行排障工作模式选择：包括自主控制和人工模式；然后所述的ARM处理器对步骤1所获取图像进行初步处理分析以获取抓取点坐标，并将该图像实时传输给PC机进行进一步处理分析识别，以便获得判断结果；
步骤3，PC机与ARM通信并传输所述的判断结果，机器人控制***依据该判断结果进行下一步工作；
步骤4，在排障作业过程中，通过对末端执行机构上视觉标识物的角点检测，利用视觉反馈控制六自由度机械臂趋近并抓取目标物。
所述步骤1具体包括：
S11：首先对双目摄像机进行标定，并获取双目摄像机内外参数，建立图像坐标系与世界坐标系的转换关系，确定六自由度机械臂初始化位置O(x1,y1,z1)；
S12：开启机器人控制***，对末端执行机构上视觉标识物进行角点检测，计算出与初始位置M(x2,y2,z3)的偏差(Δx,Δy,Δz)，并反馈给机器人控制***形成视觉闭环控制回路以控制六自由度机械臂准确到达初始位置。
在所述步骤2中，若排障工作模式选择为人工时，其过程包括：
S22、ARM处理器对图像进行第一步处理分析以获取抓取点坐标，其过程为：
S221、利用DP算法获得大致轮廓；
S222、对视差图像进行二值化分割，再进行闭运算，然后再计算障碍物的凸包，求出凸包面积，对面积小于阈值的障碍物进行去噪；
S223、对轮廓横纵坐标进行加权处理继而获得一个图像点二维坐标；
S224、将图像点二维坐标转换为机械臂三维坐标T(x,y,z)；
S225、遍历所有y值，选择最小的作为抓取点坐标；
S225、对y值设置了阈值Ny，若|y|＜Ny，则横向右移，移动时间若|y|＞Ny，则横向左移，移动时间其中W1、W2、W3、W4为全向移动底盘(10)的四个Mecanum轮(12)转速；
S226、将判断结果直接设置为“1”，即抓取点坐标位置为人工在图像上确定的点三维坐标。
进一步的，在所述步骤2中，若排障工作模式选择为自主控制时，其过程包括：
S22、ARM处理器对图像进行第一步处理分析以获取抓取点坐标，其过程为：
S221、利用一个DP算法获得大致轮廓；
S222、对视差图像进行二值化分割，再进行闭运算，然后再计算障碍物的凸包，求出凸包面积，对面积小于阈值的障碍物进行去噪；
S223、对轮廓横纵坐标进行加权处理继而获得一个图像点二维坐标；
S224、将图像点二维坐标转换为机械臂三维坐标T(x,y,z)；
S225、遍历所有y值，选择最小的作为抓取点坐标；
S225、对y值设置了阈值Ny，若|y|＜Ny，则横向右移，移动时间若|y|＞Ny，则横向左移，移动时间其中W1、W2、W3、W4为全向移动底盘(10)的四个Mecanum轮(12)转速；
S23、在ARM处理器将所述图像实时传输给PC机后，PC机进行进一步处理分析识别获得识别结果，其过程包括：采用了改进Canny与SIFT组合算法进行特征点提取，进而作为输入进入一个模糊神经网络中进行图像识别，所述的改进Canny与SIFT组合算法包括以下步骤：
(1)尺度空间极值检测：通过不同尺度因子的高斯核函数的差分和图像的卷积得到，计算公式为：
D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)
＝L(x,y,kσ)-L(x,y,σ)
式中，D(x,y)为高斯差分尺度空间，为一个变化尺度的高斯函数，L(x,y)为一个图像的尺度空间，I(x,y)为图像数据，*为卷积，k为相邻尺度空间倍数的常数，σ是尺度空间因子；
(2)检测尺度空间中的关键点：将尺度空间上的每个特征点与周围以及上下层共26个邻域点比较，如果此点为最大或是最小点，则确定为关键点，否则舍弃；
(3)边缘检测算法获得边缘点：采用各向异性高斯滤波器进行去噪工作平滑图像，采用与所述关键点检测相同的5X5领域计算梯度幅值和方向，通过线性插值进行非极大值抑制，运用Ostu自适应设定高低阈值，对经过非极大抑制后的梯度图像检测和连接边缘得到边缘点；
(4)精确关键点：对上述两步中的关键点和边缘点进行比较，判断是否去除关键点；
S231、对检测出的候选关键点，利用高斯函数滤掉一部分边缘响应点，然后再计算每一个特征点在原图中的位置；
S232、对检测出的每一个边缘点计算出其3X3临域内的位置点；
S233、对在S231和S232两步中所述的关键点与边缘点进行比较，判断位置坐标是否相等，若相等则舍弃关键点；若不相等则将关键点继续与边缘点和领域点集比较，若相等则舍弃，不相等则关键点继续与步骤S32检测出其它边缘点位置比较，相等则舍弃，否则保留；
S234、得到的特征点集作为输入进入模糊神经网络进行图像识别以获得判断结果。
所述步骤3具体包括：
S31、PC机将判断结果传输给机器人控制***，机器人控制***若接受到的判断结果为"0"则返回步骤2，若接受到“1”则进行步骤S32；
S32、机器人控制***利用逆向运动学原理，求解得到各关节指令以控制六自由度机械臂进行作业。
与现有技术相比，本发明包括以下优点和有益效果：
1.本发明的一种机器人自动排障方法，能根据需要进行工作模式选择，功能多样化；在自主控制模式时，利用视觉反馈对机械手进行自主控制，提高了机器人运动控制效率以及机械手重复定位精度；在图像采集上，有效地解决了复杂背景图像对目标物识别的干扰问题，提高了识别精度，确保了障碍物信息的精准性，且保证了机器人排障时机械手控制的准确性；能够智能化判断障碍物，提高了工作效率，具有较高的智能性；全向移动的特性确保了机器人能在狭小空间进行作业，灵活性好。
2.本发明在图像分析处理中，采用改进Canny与SIFT组合算法进行特征点提取，进而作为输入进入模糊神经网络中进行图像识别。该算法与传统检测算法相比，有利于在复杂环境中检测目标，提高了特征提取的抗噪声能力，检测效果好。
附图说明
图1是本发明一实施例的机器人结构示意图。其中，10全向移动底盘，11为H型悬架，12为Mecanum轮，13避震器，14减速电机，15测距传感器，16显示屏，17车身；20机械手排障装置；21末端执行机构，22六自由度机械臂；30图像采集装置，31支架，32双目摄像机。
图2是本发明一实施例的机器人自动排障方法流程图。
图3是本发明一实施例的机器人自动排障控制***框图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示，是本发明一实施例的机器人自动排障方法流程图。该实施例方法，用于对障碍物的检测以及排除，其机器人包括全向移动底盘10、机械手排障装置20、图像采集装置30、机器人控制***；
所述的全向移动底盘10包括Mecanum轮12、减速电机14、H型悬架11、车身17等；全向移动底盘10安装有避震器13，确保机器人在不平衡地面的平稳行进；
所述的车身17内设置有采用ARM处理器的机器人控制***，车身上内嵌显示屏16用于显示机器人运动状态，车身17四周装有测距传感器15，用于检测机器人周围环境以防触碰；所述车身17通过H型悬架11与Mecanum轮12及减速电机14相连；
机械手排障装置20包括末端执行机构21、六自由度机械臂22，所述六自由度机械臂22安装在车身17的顶部前端，所述末端执行机构21上设置有视觉标识物；所述机械手排障装置20，利用控制***逆向运动学原理来求解三维坐标，从而得到六自由度机械臂22各关节指令。然后利用末端执行机构21视觉标识物的角点检测，实现视觉反馈实时地控制机械手排障装置20完成排障作业。
图像采集装置30包括支架31、双目摄像机32，支架31固定在车身17下面，双目摄像机32安装在支架31上；图像采集装置30可通过支架31可水平调节双目摄像机32的位置，并将图像实时传输给控制***处理分析；本发明可根据选择进行自主或者人工的自动排障，提高了机器人排障的智能化程度，增加了功能多样性，既可应用于地上排障也可用于地下探测，降低了劳动强度、提升了工作效率。
所述机器人控制***设置有ARM处理器，通过无线网络与PC机进行通信，所述控制***包括欠压报警模块，图像采集模块，测距模块，驱动模块，所述欠压报警装置用以对电源检测并作欠压提示，所述图像采集模块用以将双目摄像机采集图像信号传输给控制***和PC机处理；所述测距模块用以检测在机械手操作空间范围的物体并给控制***触发信号停止前进，所述驱动模块用以驱动电机完成机器人的全向移动。
图2是本发明一实施例的机器人自动排障方法流程图。图3是本发明一实施例的机器人自动排障控制***框图。如图2和3所示，本实施例方法包括以下四个步骤：
步骤1：开启机器人控制***，选择工作模式，通过对末端执行机构21视觉标识物的角点检测，利用视觉反馈对六自由度机械臂22初始化位置进行确定，具体过程为：
S11：对双目摄像机32进行标定，获得双目摄像机32内外参数，建立图像坐标系与世界坐标系的转换关系，确定六自由度机械臂22初始化位置O(x1,y1,z1)。
S12：开启***，对末端执行机构21视觉标志物进行角点检测，计算出与初始位置M(x2,y2,z3)的偏差(Δx,Δy,Δz)，并反馈给机器人控制***形成视觉闭环控制回路以控制六自由度机械臂22准确到达初始位置。
步骤2：ARM处理器对图像进行第一步处理分析以获取抓取点坐标，并图像实时传输给PC机进行进一步处理分析识别获得识别结果。所述步骤2具体过程为：
S21：首先进行排障工作模式选择；
若工作模式为自主控制，则依次进行下述步骤S22和S23；
若工作模式为人工则只进行步骤S22，并将判断结果直接设置为：其抓取点坐标位置为人工在图像上确定的点三维坐标。
S22：ARM处理器对图像进行第一步处理分析以获取抓取点坐标，其过程为：
S221：利用DP算法获得大致轮廓；所述的DP(dynamic programming，动态规划)算法是解决多阶段决策过程最优化问题的一种常用方法。其基本思想是：将待求解的问题分解成若干个相互联系的子问题，先求解子问题，然后从这些子问题的解得到原问题的解；对于重复出现的子问题，只在第一次遇到的时候对它进行求解，并把答案保存起来，让以后再次遇到时直接引用答案，不必重新求解。动态规划算法将问题的解决方案视为一系列决策的结果，并且还要考察每个最优决策序列中是否包含一个最优决策子序列，即问题是否具有最优子结构性质。
S222：对视差图像进行二值化分割，再进行闭运算，然后再计算障碍物的凸包，求出凸包面积，对面积小于阈值的障碍物进行去噪；
S223：对轮廓横纵坐标进行加权处理继而获得一个图像点二维坐标；
S224：将图像点二维坐标转换为机械臂三维坐标T(x,y,z)；
S225：遍历所有y值，选择最小的作为抓取点坐标；
S225：对y值设置了阈值Ny，若|y|＜Ny，则横向，移动时间若|y|＞Ny，则横向左移，移动时间其中W1、W2、W3、W4为全向移动底盘(10)的四个Mecanum轮(12)转速；
S23：在ARM处理器将所述图像实时传输给PC机后，PC机进行进一步处理分析识别获得识别结果，其过程包括：采用了改进Canny与SIFT组合算法进行特征点提取，进而作为输入进入一个模糊神经网络中进行图像识别，所述的改进Canny与SIFT组合算法包括以下步骤：
(1)尺度空间极值检测。可以通过不同尺度因子的高斯核函数的差分和图像的卷积得到，
计算公式如下
D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)
＝L(x,y,kσ)-L(x,y,σ)
式中，D(x,y)为高斯差分尺度空间，为一个变化尺度的高斯函数，L(x,y)为一个图形的尺度空间，I(x,y)为图像数据，*为卷积，k为相邻尺度空间倍数的常数，σ是尺度空间因子；
(2)检测尺度空间中的关键点。将尺度空间上的每个特征点与周围以及上下层共26个邻域点比较，如果此点为最大或是最小点，则确定为关键点，否则舍弃。
(3)边缘检测算法获得边缘点。采用各向异性高斯滤波器进行去噪工作平滑图像，采用与关键点检测相同的5X5领域计算梯度幅值和方向，通过线性插值进行非极大值抑制，运用Ostu自适应设定高低阈值，对经过非极大抑制后的梯度图像检测和连接边缘得到边缘点。
(4)精确关键点。对前两步中的关键点和边缘点进行比较，判断是否去除关键点。
S231：对检测出的候选关键点，利用高斯函数滤掉一部分边缘响应点，然后再计算每一个特征点在原图中的位置；
S232：对检测出的每一个边缘点计算出其3X3临域内的位置点；
S233：对前两步的关键点和边缘点进行比较，判断位置坐标是否相等，若等则舍弃关键点，若不等则将关键点继续与边缘点领域点集比较，若等则舍弃，不等则关键点继续与步骤S32检测出其它边缘点位置比较，相等则舍弃，否则保留；
S234：得到的特征点集作为输入进入模糊神经网络进行图像识别以获得判断结果。
步骤3：PC机与ARM通信告之判断结果，机器人控制***依据结果进行下一步工作；所述步骤3具体过程为：
S31、PC机将判断结果传输给机器人控制***，机器人控制***若接受到的判断结果为字符"0"则返回步骤2，若接受到字符“1”则进行步骤S32；
S32：控制器进行逆向运动学求解得到各关节指令以控制六自由度机械臂进行作业；
步骤4：在作业过程中，通过对末端执行机构视觉标识物的角点检测，利用视觉反馈控制六自由度机械臂趋近并抓取目标物。
Claims (5)
1.一种机器人自动排障方法，所述的机器人包括全向移动底盘(10)、机械手排障装置(20)、图像采集装置(30)、机器人控制***；所述的全向移动底盘(10)包括Mecanum轮(12)、减速电机(14)、H型悬架(11)、车身(17)、避震器(13)；
所述的车身(17)：设置有机器人控制***、内嵌显示屏(16)、四周装有测距传感器(15)；所述车身(17)通过H型悬架(11)与Mecanum轮(12)及减速电机(14)相连；
所述的机械手排障装置(20)包括末端执行机构(21)、六自由度机械臂(22)，所述六自由度机械臂(22)安装在车身(17)的顶部前端；所述末端执行机构(21)上设置有视觉标识物；
所述的图像采集装置(30)包括固定在车身(17)下面的支架(31)、安装在支架(31)上面的双目摄像机(32)；图像采集装置(30)可通过支架(31)来调节双目摄像机(32)的位置，并将图像实时传输给控制***处理分析；
所述机器人控制***设置有ARM处理器，通过无线网络与PC机进行通信；
其特征在于：
所述机器人控制***包括欠压报警模块，图像采集模块，测距模块，驱动模块，所述欠压报警装置用以对电源检测并作欠压提示，所述图像采集模块用以将双目摄像机采集图像信号传输给控制***和PC机处理；所述测距模块用以检测在机械手操作空间范围的物体并给控制***触发信号停止前进，所述驱动模块用以驱动电机使机器人实现全向移动；
所述方法包括以下步骤：
步骤1，开启机器人控制***，并选择其工作模式，通过对末端执行机构(21)上视觉标识物的角点检测，利用视觉反馈对六自由度机械臂22的初始化位置进行确定；
步骤2，首先进行排障工作模式选择：包括自主控制和人工模式；然后所述的ARM处理器对步骤1所获取图像进行初步处理分析以获取抓取点坐标，并将该图像实时传输给PC机进行进一步处理分析识别，以便获得判断结果；
步骤3，PC机与ARM处理器通信并传输所述的判断结果，机器人控制***依据该判断结果进行下一步工作；
步骤4，在排障作业过程中，通过对末端执行机构(21)上视觉标识物的角点检测，利用视觉反馈控制六自由度机械臂(22)趋近并抓取目标物。
2.根据权利要求1所述的一种机器人自动排障方法，其特征在于，所述步骤1包括：
S11：首先对双目摄像机(32)进行标定，并获取双目摄像机(32)内外参数，建立图像坐标系与世界坐标系的转换关系，确定六自由度机械臂(22)初始化位置O(x1,y1,z1)；
S12：开启机器人控制***，对末端执行机构(21)上视觉标识物进行角点检测，计算出与初始位置M(x2,y2,z3)的偏差(Δx,Δy,Δz)，并反馈给机器人控制***形成视觉闭环控制回路以控制六自由度机械臂(22)准确到达初始位置。
3.根据权利要求1所述的一种机器人自动排障方法，其特征在于，在所述步骤2中，若排障工作模式选择为人工时，其过程包括：
S22、ARM处理器对图像进行第一步处理分析以获取抓取点坐标，其过程为：
S221、利用DP算法获得大致轮廓；
S222、对视差图像进行二值化分割，再进行闭运算，然后再计算障碍物的凸包，求出凸包面积，对面积小于阈值的障碍物进行去噪；
S223、对轮廓横纵坐标进行加权处理继而获得一个图像点二维坐标；
S224、将图像点二维坐标转换为机械臂三维坐标T(x,y,z)；
S225、遍历所有y值，选择最小的作为抓取点坐标；
S225、对y值设置了阈值Ny，若|y|＜Ny，则横向右移，移动时间若|y|＞Ny，则横向左移，移动时间其中W1、W2、W3、W4为全向移动底盘(10)的四个Mecanum轮(12)转速；
S226、将判断结果直接设置为：其抓取点坐标位置为人工在图像上确定的点三维坐标。
4.根据权利要求1所述的一种机器人自动排障方法，其特征在于，在所述步骤2中，若排障工作模式选择为自主控制时，其过程包括：
S22、ARM处理器对图像进行第一步处理分析以获取抓取点坐标，其过程为：
S221、利用一个DP算法获得大致轮廓；
S222、对视差图像进行二值化分割，再进行闭运算，然后再计算障碍物的凸包，求出凸包面积，对面积小于阈值的障碍物进行去噪；
S223、对轮廓横纵坐标进行加权处理继而获得一个图像点二维坐标；
S224、将图像点二维坐标转换为机械臂三维坐标T(x,y,z)；
S225、遍历所有y值，选择最小的作为抓取点坐标；
S225、对y值设置了阈值Ny，若|y|＜Ny，则横向右移，移动时间若|y|＞Ny，则横向左移，移动时间其中W1、W2、W3、W4为全向移动底盘(10)的四个Mecanum轮(12)转速；
S23、在ARM处理器将所述图像实时传输给PC机后，PC机进行进一步处理分析识别获得识别结果，其过程包括：采用了改进Canny与SIFT组合算法进行特征点提取，进而作为输入进入一个模糊神经网络中进行图像识别，所述的改进Canny与SIFT组合算法包括以下步骤：
(1)尺度空间极值检测：通过不同尺度因子的高斯核函数的差分和图像的卷积得到，计算公式为：
D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)
＝L(x,y,kσ)-L(x,y,σ)
式中，D(x,y)为高斯差分尺度空间，为一个变化尺度的高斯函数，L(x,y)为一个图形的尺度空间，I(x,y)为图像数据，*为卷积，k为相邻尺度空间倍数的常数，σ是尺度空间因子；
(2)检测尺度空间中的关键点：将尺度空间上的每个特征点与周围以及上下层共26个邻域点比较，如果此点为最大或是最小点，则确定为关键点，否则舍弃；
(3)边缘检测算法获得边缘点：采用各向异性高斯滤波器进行去噪工作平滑图像，采用与所述关键点检测相同的5X5领域计算梯度幅值和方向，通过线性插值进行非极大值抑制，运用Ostu自适应设定高低阈值，对经过非极大抑制后的梯度图像检测和连接边缘得到边缘点；
(4)精确关键点：对上述两步中的关键点和边缘点进行比较，判断是否去除关键点；
S231、对检测出的候选关键点，利用高斯函数滤掉一部分边缘响应点，然后再计算每一个特征点在原图中的位置；
S232、对检测出的每一个边缘点计算出其3X3临域内的位置点；
S233、对在S231和S232两步中所述的关键点与边缘点进行比较，判断位置坐标是否相等，若相等则舍弃关键点；若不相等则将关键点继续与边缘点和领域点集比较，若相等则舍弃，不相等则关键点继续与步骤S32检测出其它边缘点位置比较，相等则舍弃，否则保留；
S234、得到的特征点集作为输入进入模糊神经网络进行图像识别以获得判断结果。
5.根据权利要求1所述的一种机器人自动排障方法，其特征在于，所述步骤3包括：
S31、PC机将判断结果传输给机器人控制***，机器人控制***若接受到的判断结果为字符"0"则返回步骤2，若接受到字符“1”则进行步骤S32；
S32、机器人控制***利用逆向运动学原理，求解得到各关节指令以控制六自由度机械臂进行作业。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710455042.8A CN107315410B (zh) | 2017-06-16 | 2017-06-16 | 一种机器人自动排障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710455042.8A CN107315410B (zh) | 2017-06-16 | 2017-06-16 | 一种机器人自动排障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107315410A true CN107315410A (zh) | 2017-11-03 |
| CN107315410B CN107315410B (zh) | 2020-05-29 |
Family
ID=60184175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710455042.8A Active CN107315410B (zh) | 2017-06-16 | 2017-06-16 | 一种机器人自动排障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107315410B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110103196A (zh) * | 2019-06-19 | 2019-08-09 | 广东电网有限责任公司 | 一种gis的检修机器人和gis的检修*** |
| CN111121639A (zh) * | 2019-12-18 | 2020-05-08 | 同济大学 | 一种刚柔一体的建筑物狭窄空间的裂缝检测*** |
| CN111113421A (zh) * | 2019-12-30 | 2020-05-08 | 上海燊星机器人科技有限公司 | 一种机器人智能抓取排序*** |
| CN111421549A (zh) * | 2020-04-24 | 2020-07-17 | 深圳国信泰富科技有限公司 | 一种清障机器人及控制方法 |
| CN113029634A (zh) * | 2021-03-22 | 2021-06-25 | 江苏省产品质量监督检验研究院 | 全自动床垫取样机 |
| CN113065596A (zh) * | 2021-04-02 | 2021-07-02 | 鑫安利中（北京）科技有限公司 | 一种基于视频分析和人工智能的工业安全实时监测*** |
| CN113077413A (zh) * | 2020-01-06 | 2021-07-06 | 苏州宝时得电动工具有限公司 | 自移动设备及其控制方法 |
| CN113190031A (zh) * | 2021-04-30 | 2021-07-30 | 成都思晗科技股份有限公司 | 基于无人机的森林火灾自动拍照跟踪方法、装置及*** |
| WO2022000755A1 (zh) * | 2020-06-29 | 2022-01-06 | 济南浪潮高新科技投资发展有限公司 | 机器人及其行动控制方法、装置和计算机可读存储介质 |
| CN114833799A (zh) * | 2022-04-26 | 2022-08-02 | 浙江大学 | 一种用于养殖场动物唾液样本无人化采集的机器人和方法 |
| CN116300918A (zh) * | 2023-03-07 | 2023-06-23 | 广东隆崎机器人有限公司 | 六轴机器人的路径规划、装置、机器人及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102922521A (zh) * | 2012-08-07 | 2013-02-13 | 中国科学技术大学 | 一种基于立体视觉伺服的机械臂***及其实时校准方法 |
| CN103522291B (zh) * | 2013-10-29 | 2016-08-17 | 中国人民解放军总装备部军械技术研究所 | 一种排爆机器人的目标抓取***及方法 |
| CN106737665A (zh) * | 2016-11-30 | 2017-05-31 | 天津大学 | 基于双目视觉和sift特征匹配的机械臂控制***及实现方法 |
| GB2553641A (en) * | 2016-09-01 | 2018-03-14 | Adobe Systems Inc | Techniques for selecting objects in images |
-
2017
- 2017-06-16 CN CN201710455042.8A patent/CN107315410B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102922521A (zh) * | 2012-08-07 | 2013-02-13 | 中国科学技术大学 | 一种基于立体视觉伺服的机械臂***及其实时校准方法 |
| CN103522291B (zh) * | 2013-10-29 | 2016-08-17 | 中国人民解放军总装备部军械技术研究所 | 一种排爆机器人的目标抓取***及方法 |
| GB2553641A (en) * | 2016-09-01 | 2018-03-14 | Adobe Systems Inc | Techniques for selecting objects in images |
| CN106737665A (zh) * | 2016-11-30 | 2017-05-31 | 天津大学 | 基于双目视觉和sift特征匹配的机械臂控制***及实现方法 |
Non-Patent Citations (3)
| Title |
|---|
| MNBIKUH: "地面排障机器人", 《豆丁文库》 * |
| 杨秋菊等: "基于改进Canny特征点的SIFT算法", 《计算机工程与设计》 * |
| 范莹: "基于双目视觉的图像匹配与定位技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110103196A (zh) * | 2019-06-19 | 2019-08-09 | 广东电网有限责任公司 | 一种gis的检修机器人和gis的检修*** |
| CN111121639A (zh) * | 2019-12-18 | 2020-05-08 | 同济大学 | 一种刚柔一体的建筑物狭窄空间的裂缝检测*** |
| CN111121639B (zh) * | 2019-12-18 | 2021-07-27 | 同济大学 | 一种刚柔一体的建筑物狭窄空间的裂缝检测*** |
| CN111113421A (zh) * | 2019-12-30 | 2020-05-08 | 上海燊星机器人科技有限公司 | 一种机器人智能抓取排序*** |
| CN113077413A (zh) * | 2020-01-06 | 2021-07-06 | 苏州宝时得电动工具有限公司 | 自移动设备及其控制方法 |
| CN111421549A (zh) * | 2020-04-24 | 2020-07-17 | 深圳国信泰富科技有限公司 | 一种清障机器人及控制方法 |
| WO2022000755A1 (zh) * | 2020-06-29 | 2022-01-06 | 济南浪潮高新科技投资发展有限公司 | 机器人及其行动控制方法、装置和计算机可读存储介质 |
| CN113029634A (zh) * | 2021-03-22 | 2021-06-25 | 江苏省产品质量监督检验研究院 | 全自动床垫取样机 |
| CN113029634B (zh) * | 2021-03-22 | 2022-12-20 | 江苏省产品质量监督检验研究院 | 全自动床垫取样机 |
| CN113065596A (zh) * | 2021-04-02 | 2021-07-02 | 鑫安利中（北京）科技有限公司 | 一种基于视频分析和人工智能的工业安全实时监测*** |
| CN113190031A (zh) * | 2021-04-30 | 2021-07-30 | 成都思晗科技股份有限公司 | 基于无人机的森林火灾自动拍照跟踪方法、装置及*** |
| CN114833799A (zh) * | 2022-04-26 | 2022-08-02 | 浙江大学 | 一种用于养殖场动物唾液样本无人化采集的机器人和方法 |
| CN114833799B (zh) * | 2022-04-26 | 2024-01-02 | 浙江大学 | 一种用于养殖场动物唾液样本无人化采集的机器人和方法 |
| CN116300918A (zh) * | 2023-03-07 | 2023-06-23 | 广东隆崎机器人有限公司 | 六轴机器人的路径规划、装置、机器人及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107315410B (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107315410A (zh) | 一种机器人自动排障方法 | |
| CN104933730B (zh) | 使用半穷举搜索的多视图人检测 | |
| CN103413313B (zh) | 基于电力机器人的双目视觉导航***及方法 | |
| CN103268616B (zh) | 多特征多传感器的移动机器人运动人体跟踪方法 | |
| CN105243664B (zh) | 一种基于视觉的轮式移动机器人快速目标跟踪方法 | |
| CN206023052U (zh) | 一种高压输电线路巡检机器人 | |
| CN111399505A (zh) | 一种基于神经网络的移动机器人避障方法 | |
| CN107526360A (zh) | 一种未知环境下排爆机器人多阶自主导航探测***及方法 | |
| CN106863259B (zh) | 一种轮式多机械手智能捡球机器人 | |
| CN108364466A (zh) | 一种基于无人机交通视频的车流量统计方法 | |
| CN108241373A (zh) | 避障方法和智能机器人 | |
| CN110083099B (zh) | 一种符合汽车功能安全标准自动驾驶架构***和工作方法 | |
| CN106529404A (zh) | 基于摄像原理的无人驾驶汽车对路面标志线的识别方法 | |
| Jun et al. | Autonomous driving system design for formula student driverless racecar | |
| Soans et al. | Object tracking robot using adaptive color thresholding | |
| Fukuda et al. | Navigation system based on ceiling landmark recognition for autonomous mobile robot-landmark detection based on fuzzy template matching (ftm) | |
| CN113084776B (zh) | 基于视觉的多传感器融合的智能防疫机器人及*** | |
| CN109101029A (zh) | 一种果园自动巡逻检害智能小车及其工作方法 | |
| CN106033537A (zh) | 一种机器人定位用的视觉识别装置及其识别方法 | |
| CN107767366A (zh) | 一种输电线路拟合方法及装置 | |
| Liu et al. | A new measurement method of real-time pose estimation for an automatic hydraulic excavator | |
| Frank et al. | Stereo-vision for autonomous industrial inspection robots | |
| Luo et al. | Mobile robot based human detection and tracking using range and intensity data fusion | |
| CN109508017A (zh) | 智能小车控制方法 | |
| CN114115278A (zh) | 一种基于fpga的森林防火机器人行进间避障*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20171103 Assignee: Zhenjiang Kaituo Machinery Co.,Ltd. Assignor: JIANGSU University OF SCIENCE AND TECHNOLOGY Contract record no.: X2020980007284 Denomination of invention: A method of robot automatic obstacle removal Granted publication date: 20200529 License type: Common License Record date: 20201029 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Zhenjiang Kaituo Machinery Co.,Ltd. Assignor: JIANGSU University OF SCIENCE AND TECHNOLOGY Contract record no.: X2020980007284 Date of cancellation: 20201223 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220920 Address after: Room 1, No. 188 and 198, Hanlin Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province 215300 Patentee after: Kunshan Quantai Information Technology Service Co.,Ltd. Address before: 212003, No. 2, Mengxi Road, Zhenjiang, Jiangsu Patentee before: JIANGSU University OF SCIENCE AND TECHNOLOGY |