CN111113410A - 一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人 - Google Patents
一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人 Download PDFInfo
- Publication number
- CN111113410A CN111113410A CN201911234261.9A CN201911234261A CN111113410A CN 111113410 A CN111113410 A CN 111113410A CN 201911234261 A CN201911234261 A CN 201911234261A CN 111113410 A CN111113410 A CN 111113410A
- Authority
- CN
- China
- Prior art keywords
- robot
- tail end
- detection
- acquisition device
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人,通过图像采集装置检测机器人末端抓取的物件,分析检测到的图像数据,若检测不成功,控制机器人做聚焦性的姿态规划,机器人每达到一个姿态,图像采集装置均对机器人末端抓取的物件进行检测,直到检测成功。通过调整机器人姿态的方法,自动让机器人携带物件处于符合图像采集装置获取整个清晰图像的合适视角,提高了物件通过视觉进行质量检测的成功率及整体效率,不需人工重新调整图像采集装置姿态来重新检测。
Description
技术领域
本发明涉及机器人控制技术领域,具体涉及一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人。
背景技术
目前在自动化生产线中,工业机器人+视觉检测的应用越来越多,经常会通过工业机器人拾取产线上的物件,然后机器人将物件放置到带视觉检测功能的工业相机镜头前进行缺陷检测。工厂或车间里,因物件光泽原因或外界光线变化的原因,在检测过程中被工业相机拍到的物件图片会出现局部“反光”现象,即物件未能被工业相机拍摄清晰,进而出现较多物件无法图像检测质量情况,后续这些物件只能重新调整相机拍摄光照或人工手动检测其质量情况。另外,产线上若检测与上述不同类型的新物件,又需要重新调整工业相机位姿及视角,以适应新的物件检测。这样,较大地影响了产线上物件质量检测的效率,进而影响了产品的出厂效率。
如申请号为CN201820375643.8的中国专利一种微小零件选别机器人姿态调整机构公开了底板、调节机构和旋转输送盘,所述调节机构包括安装在底板上的调节支架,调节支架上部侧面安装有XY向滑块,所述XY向滑块外侧面安装有支板,所述支板上分别通过第一连接板和第二连接板安装有内姿态调节件和外姿态调节件,所述内姿态调节件和外姿态调节件位于旋转输送盘上表面上方;振动盘将微小零件导入旋转输送盘上表面后,当微小零件经过两个姿态调节件时,可将姿态杂乱的零件导正,使其姿态符合视觉检测的要求。但这种机械式的调整机构存在3个缺陷:第一,该调整机构设有X向调节旋钮和Y向调节旋钮来调整微小零件的姿态,若有些零件通过视觉筛选不成功,因该姿态调整机构是机械式的,只能人工重新调节旋钮,未能自动调节微小零件的姿态,进而不能自适应重新视觉筛选;第二,该调整机构只能针对微小零件,不能针对较大的零件进行姿态调整及视觉筛选,应用上具有较大的局限性;第三,该调整机构是额外定制的机构,没有利用现有产线上的工业机器人来进行零件的姿态调整,使得为添加该调整机构而额外增加了成本。
发明内容
针对现有技术的不足,本发明提出了一种视觉自适应检测的机器人运动控制方法,解决了物件因局部光照不好,较多物件基于视觉的质量检测不易成功,需要重新人工调整工业相机或人工肉眼看物件的质量缺陷情况。
为实现上述目的,本发明采用如下技术方案:
一种视觉自适应检测的机器人运动控制方法,通过图像采集装置检测机器人末端抓取的物件,分析检测到的图像数据,若检测不成功,控制机器人做聚焦性的姿态规划,机器人每达到一个姿态,图像采集装置均对机器人末端抓取的物件进行检测,直到检测成功。通过调整机器人姿态的方法,自动让机器人携带物件处于符合图像采集装置获取整个清晰图像的合适视角,提高了物件通过视觉进行质量检测的成功率及整体效率,不需人工重新调整图像采集装置姿态来重新检测。
进一步的,所述分析检测到的图像数据具体为:若检测到的物体表面轮廓的图像显示不全,则判断为检测不成功,进而控制机器人做聚焦性的姿态规划。通过调整机器人的姿态进行检测,而不调整图像采集装置的位置,一是机器人的姿态调整更为简单简单,二是避免了调整图像采集装置位置导致后续的检测也出现检测不成功的情况,提高物件质量检测效率。
进一步的,所述分析检测到的图像数据具体为:若检测到的物体表面轮廓的图像显示完整,则判断为检测成功,继而进入下一个物件的检测。当检测到的物体表面轮廓的图像显示完整表面物体的检测不受光环境的影响,这时检测判断的结果是准确的,进而进入下一个物体的检测,提高了检测效率。
进一步的,所述控制机器人做聚焦性的姿态规划具体为:机器人末端物体所处位置不变,机器人末端姿态以相同的角度转动,机器人末端初始姿态与最终姿态角度为,其中2°≤≤5°,60°≤≤90°。为了保证图像采集装置检测到的图像是清晰,转动角度需要保持一致,同时设定的机器人末端初始姿态和最终姿态的角度可以保证物体始终处于图像采集装置可以采集到图像的范围,防止物体超出采集范围导致无法采集到图像的情况发生。
进一步的,所述机器人末端姿态以相同的角度转动具体为:机器人末端姿态以相同的转动速度V相同的角度 转动,其中V的取值范围为5-20度/秒。在机器人末端转动时始终保持匀速,确保了采集的图像清晰,才更方便图像采集装置采集物体的图像。
进一步的,所述控制机器人做聚焦性的姿态规划具体为:机器人末端物体横向坐标不变,机器人末端物体纵向位置逐渐远离图像采集装置或逐渐靠近图像采集装置。针对转动机器人末端也无法采集到完整图像的情况,通过调整物体与图像采集装置的距离,保证了可以检测到完整清晰的物体图像。
进一步的,其特征在于,所述控制机器人做聚焦性的姿态规划具体为:机器人末端物体纵向坐标不变,机器人末端物体自左向右远离图像采集装置或自右向左远离图像采集装置。 针对不同的物体实现多角度多维度的图像采集,扩展了检测的应用范围。
进一步的,所述机器人末端物体移动过程中速度控制为匀速。为了便于图像采集装置所检测的图像清晰。
一种计算机可读存储介质,用于存储计算机程序,所述计算机程序被处理器调用时实现以上任一项所述的视觉自适应检测的机器人运动控制方法。
一种机器人,包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器调用时实现以上任一项所述的视觉自适应检测的机器人运动控制方法。
本发明提供的一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人的有益效果在于:采用这种机器人运动控制方法,自动让机器人携带物件处于符合图像采集装置获取整个清晰图像的合适视角,视觉检测***即会检测物件质量成功;提高了物件通过视觉进行质量检测的成功率及整体效率,不需人工重新调整图像采集装置姿态来重新检测,视觉检测的成功率达到99%以上;另外,该方法对不同物件的视觉检测具有自适应性,不需重新对不同的物件调整图像采集装置。
附图说明
图1为本发明流程示意图;
图2为本发明聚焦性姿态运动姿态位置J1示意图;
图3为本发明聚焦性姿态运动姿态位置J2示意图;
图4为本发明聚焦性姿态运动姿态位置Ji+1示意图;
图5为本发明聚焦性姿态运动姿态位置Jn示意图;
图6为本发明聚焦性姿态运动整体示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,均属于本发明的保护范围。
实施例1:一种视觉自适应检测的机器人运动控制方法。
如图1所示,一种视觉自适应检测的机器人运动控制方法,具体步骤如下:
步骤1:生产线上的物件被机器人抓取后,机器人末端携带物件运行到位置点P0对物件进行视觉质量检测,如图1所示的流程图,视觉检测***通过网络通讯反馈机器人质量检测是否成功。因有些物件表面产生局部的“镜面反射”,会出现工业相机拍摄该物件表面轮廓的图像显示不全,从而导致视觉检测不成功的情况,此时进入步骤2。若检测成功,机器人继续下一个物件的检测。
步骤2:携带物件的机器人进行聚焦性姿态变化的运动规划,如图2-图6机器人末端携带物件姿态变化图所示,机器人末端物件所处的位置点几乎不变,机器人末端姿态由某个Ji姿态,逐步变成Ji+1、…Jn姿态,整个运行的末端姿态形成一个圆锥面,如图1-图5所示,其中J1和Jn运行达到姿态与机器人末端初始姿态形成角度,整个运行过程需要遵循以下步骤3的速度控制方法。姿态之间的运行间距需保持等行程方式,即步骤4所述。当机器人末端姿态由当前姿态运行到下一个姿态后(如从姿态J1运行到姿态J2),进入到步骤5的流程。
步骤5:机器人末端从当前姿态Ji运行到下一个姿态Ji+1后,机器人通过TCP/IP网络通讯告知视觉检测***,通知视觉进行物件的质量检测,若检测成功,机器人继续执行下一个物件的抓起及检测准备。若未检测成功,则进入到步骤2,继续进行机器人末端姿态变化的运动,机器人从Ji+1又运行到新的姿态Ji+2,再进行视觉检测判断是否检测成功,形成一个闭环运动控制,达到自适应视觉检测的效果。
另外,机器人初始携带物件运行到的位置点P0,是指刚开始安装工业相机与机器人末端携带物件之间对焦后确定的初始位置,后面运行过程中机器人会记住该空间位置点P0,通过本实施例提到的方法,可让后面运行中不需人工调整出新的位置点来适应工业相机的光照,即可实现对物件进行自适应的质量缺陷检测。
实施例2:一种视觉自适应检测的机器人运动控制方法。
与实施例1不同之处在于,所述控制机器人做聚焦性的姿态规划为机器人末端物体横向坐标不变,机器人末端物体纵向位置以中低速匀速逐渐远离图像采集装置或逐渐靠近图像采集装置。针对转动机器人末端也无法采集到完整图像的情况,通过调整物体与图像采集装置的距离,保证了可以检测到完整清晰的物体图像。
实施例3:一种视觉自适应检测的机器人运动控制方法。
与实施例1不同之处在于,所述控制机器人做聚焦性的姿态规划为机器人末端物体纵向坐标不变,机器人末端物体以中低速匀速自左向右远离图像采集装置或自右向左远离图像采集装置。针对不同的物体实现多角度多维度的图像采集,扩展了检测的应用范围。
实施例4:一种计算机可读存储介质。
一种计算机可读存储介质,用于存储计算机程序,所述计算机程序被处理器调用时实现实施例1至实施例3任一项所述的视觉自适应检测的机器人运动控制方法。
实施例5:一种机器人。
一种机器人,包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器调用时实现实施例1至实施例3任一项所述的视觉自适应检测的机器人运动控制方法。
以上所述为本发明的较佳实施例而已,但本发明不应局限于该实施例和附图所公开的内容,所以凡是不脱离本发明所公开的精神下完成的等效或修改,都落入本发明保护的范围。
Claims (10)
1.一种视觉自适应检测的机器人运动控制方法,其特征在于,通过图像采集装置检测机器人末端抓取的物件,分析检测到的图像数据,若检测不成功,控制机器人做聚焦性的姿态规划,机器人每达到一个姿态,图像采集装置均对机器人末端抓取的物件进行检测,直到检测成功。
2.如权利要求1所述的视觉自适应检测的机器人运动控制方法,其特征在于,所述分析检测到的图像数据具体为:若检测到的物体表面轮廓的图像显示不全,则判断为检测不成功,进而控制机器人做聚焦性的姿态规划。
3.如权利要求1所述的视觉自适应检测的机器人运动控制方法,其特征在于,所述分析检测到的图像数据具体为:若检测到的物体表面轮廓的图像显示完整,则判断为检测成功,继而进入下一个物件的检测。
6.如权利要求1所述的视觉自适应检测的机器人运动控制方法,其特征在于,所述控制机器人做聚焦性的姿态规划具体为:机器人末端物体横向坐标不变,机器人末端物体纵向位置逐渐远离图像采集装置或逐渐靠近图像采集装置。
7.如权利要求1所述的视觉自适应检测的机器人运动控制方法,其特征在于,其特征在于,所述控制机器人做聚焦性的姿态规划具体为:机器人末端物体纵向坐标不变,机器人末端物体自左向右远离图像采集装置或自右向左远离图像采集装置。
8.如权利要求6或7所述的视觉自适应检测的机器人运动控制方法,其特征在于,所述机器人末端物体移动过程中速度控制为匀速。
9.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序被处理器调用时实现权利要求1-8任一项所述的视觉自适应检测的机器人运动控制方法。
10.一种机器人,包括处理器和存储器,所述存储器用于存储计算机程序,其特征在于,所述计算机程序被所述处理器调用时实现权利要求1-8任一项所述的视觉自适应检测的机器人运动控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911234261.9A CN111113410B (zh) | 2019-12-05 | 2019-12-05 | 一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911234261.9A CN111113410B (zh) | 2019-12-05 | 2019-12-05 | 一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111113410A true CN111113410A (zh) | 2020-05-08 |
CN111113410B CN111113410B (zh) | 2021-11-30 |
Family
ID=70497459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911234261.9A Active CN111113410B (zh) | 2019-12-05 | 2019-12-05 | 一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111113410B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053398A (zh) * | 2020-08-11 | 2020-12-08 | 浙江大华技术股份有限公司 | 物体抓取方法、装置、计算设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202729328U (zh) * | 2012-06-07 | 2013-02-13 | 康奋威科技(杭州)有限公司 | 应用于电池片精确定位抓取及移送的装置 |
JP2014206451A (ja) * | 2013-04-12 | 2014-10-30 | 新日鐵住金株式会社 | 色調変化検出装置、色調変化検出方法及びプログラム |
CN106181965A (zh) * | 2015-05-29 | 2016-12-07 | 发那科株式会社 | 悬挂运送物来运送的机器人*** |
CN107452051A (zh) * | 2011-11-18 | 2017-12-08 | 耐克创新有限合伙公司 | 鞋零件的自动化3‑d建模方法和*** |
CN108500979A (zh) * | 2018-03-10 | 2018-09-07 | 彭惠平 | 一种基于相机通讯连接的机器人抓取方法及其*** |
CN207946346U (zh) * | 2018-03-20 | 2018-10-09 | 东莞西尼自动化科技有限公司 | 微小零件选别机器人姿态调整机构 |
CN109631803A (zh) * | 2019-02-01 | 2019-04-16 | 东莞中科蓝海智能视觉科技有限公司 | 零件角度检测调节方法 |
CN110102511A (zh) * | 2019-05-23 | 2019-08-09 | 北京阿丘机器人科技有限公司 | 一种产品外观的视觉检测***及方法 |
JP2019138900A (ja) * | 2018-02-05 | 2019-08-22 | Jfeスチール株式会社 | 鋼板の欠陥検査装置及び欠陥検査方法 |
-
2019
- 2019-12-05 CN CN201911234261.9A patent/CN111113410B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107452051A (zh) * | 2011-11-18 | 2017-12-08 | 耐克创新有限合伙公司 | 鞋零件的自动化3‑d建模方法和*** |
CN202729328U (zh) * | 2012-06-07 | 2013-02-13 | 康奋威科技(杭州)有限公司 | 应用于电池片精确定位抓取及移送的装置 |
JP2014206451A (ja) * | 2013-04-12 | 2014-10-30 | 新日鐵住金株式会社 | 色調変化検出装置、色調変化検出方法及びプログラム |
CN106181965A (zh) * | 2015-05-29 | 2016-12-07 | 发那科株式会社 | 悬挂运送物来运送的机器人*** |
JP2019138900A (ja) * | 2018-02-05 | 2019-08-22 | Jfeスチール株式会社 | 鋼板の欠陥検査装置及び欠陥検査方法 |
CN108500979A (zh) * | 2018-03-10 | 2018-09-07 | 彭惠平 | 一种基于相机通讯连接的机器人抓取方法及其*** |
CN207946346U (zh) * | 2018-03-20 | 2018-10-09 | 东莞西尼自动化科技有限公司 | 微小零件选别机器人姿态调整机构 |
CN109631803A (zh) * | 2019-02-01 | 2019-04-16 | 东莞中科蓝海智能视觉科技有限公司 | 零件角度检测调节方法 |
CN110102511A (zh) * | 2019-05-23 | 2019-08-09 | 北京阿丘机器人科技有限公司 | 一种产品外观的视觉检测***及方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053398A (zh) * | 2020-08-11 | 2020-12-08 | 浙江大华技术股份有限公司 | 物体抓取方法、装置、计算设备和存储介质 |
CN112053398B (zh) * | 2020-08-11 | 2021-08-27 | 浙江大华技术股份有限公司 | 物体抓取方法、装置、计算设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111113410B (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110539109B (zh) | 一种基于单双目视觉的机器人自动焊接***及方法 | |
CN106181162B (zh) | 一种基于机器视觉的实时焊缝跟踪检测方法 | |
CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
US10059005B2 (en) | Method for teaching a robotic arm to pick or place an object | |
US20080314878A1 (en) | Apparatus and method for controlling a machining system | |
CN111775146A (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
CN108161931A (zh) | 基于视觉的工件自动识别及智能抓取*** | |
CN107688028B (zh) | 一种激光增材制造搭接率在线监测方法 | |
CN106031148B (zh) | 成像设备,成像设备中自动对焦的方法以及对应计算机程序 | |
CN111192307A (zh) | 基于激光切割三维零部件的自适应纠偏方法 | |
CN108489986A (zh) | 一种增材制造在线检测及修复方法 | |
CN113103215B (zh) | 一种机器人视觉飞拍的运动控制方法 | |
JP2003211382A (ja) | ロボット制御装置 | |
CN113706454B (zh) | 一种基于配准的工件偏移检测的方法及喷涂装置 | |
CN108032011B (zh) | 基于激光结构光焊缝初始点导引装置及方法 | |
CN113146172A (zh) | 一种基于多视觉的检测与装配***及方法 | |
CN112104842B (zh) | 图像采集设备校正方法、装置、设备和介质 | |
CN110328665B (zh) | Led模组的装配方法及装置、存储介质、处理器 | |
CN108956609B (zh) | 一种激光增材制造粉末利用率在线监测方法 | |
CN111113410B (zh) | 一种视觉自适应检测的机器人运动控制方法、计算机可读存储介质及机器人 | |
CN107571290B (zh) | 工业机器人末端执行器的校准装置、方法及*** | |
CN112164112B (zh) | 一种获取机械臂位姿信息的方法及装置 | |
CN114289332A (zh) | 工件分拣的视觉识别与定位方法、装置及分拣*** | |
CN114113115B (zh) | 一种大口径元件表面微缺陷高精度自动定位方法 | |
CN114257736A (zh) | 一种工件自适应拍摄方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |