CN107610086A - 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法 - Google Patents
一种基于仿生复眼结构的工业并联机器人快速视觉检测算法 Download PDFInfo
- Publication number
- CN107610086A CN107610086A CN201610543277.8A CN201610543277A CN107610086A CN 107610086 A CN107610086 A CN 107610086A CN 201610543277 A CN201610543277 A CN 201610543277A CN 107610086 A CN107610086 A CN 107610086A
- Authority
- CN
- China
- Prior art keywords
- eye
- parallel robot
- eye camera
- camera
- lateral inhibition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于仿生复眼结构的工业并联机器人快速视觉检测算法，主要包括它的复眼相机***包括工业并联机器人前端安装的多台子眼相机和一台主眼相机，以及采用基于仿生复眼的侧抑制算法。该算法能够迅速捕获全局视场下传送带上物品的轮廓，使工业并联机器人视觉***对目标轮廓极为敏感。通过子眼相机快速得到目标位置后采用坐标映射关系使得接受到指令后的主眼相机可以迅速放大定位，从而进行小视场大目标的进一步识别，提高了工业并联机器人视觉识别率和效率。
Description
技术领域
本发明属于工业并联机器人领域，特别涉及一种基于仿生复眼结构的工业并联机器人快速视觉检测算法。
背景技术
近年来，工业并联机器人广泛应用于工业生产线上，用于自动抓取、装箱、分拣、缺陷检测等多项工作任务。工业并联机器人中的视觉装置相当于人眼机构，对生产线上对物品进行识别，而生产线上一般是杂乱的多样本，如何快速高效的对生产线的物品进行快速检测定位至关重要。上世纪五六十年代，德国生物控制论研究所创始人Reichardt教授和Hanssentein教授根据昆虫生理学特征开创性的提出了EMD（基于视动反应的初级检测器）模型。由于昆虫复眼具有大视野并且对运动物体反应敏感得优势，例如蜜蜂反应时间约0.01s，而人眼需要0.05s，因此复眼技术也被广泛用于各种探测器及传感器的研制上面。
基于仿生学的复眼视觉理论近年来发展迅速, 是集机械学、生物学、光电子学和信息学等多学科为一体的前沿领域。本文基于仿生复眼视觉的机理，进行多目标中快速定位识别物品表面缺陷等瑕疵，采用3D子眼检测，主眼联动定位的方式，将仿生复眼的视觉机理用于工业并联机器人***中，可以在多目标中快速识别到特定目标，并且进行自动局部放大识别样本表面的特征等，快速自动检测生产线上的多个物体，从而生产提高效率。
发明内容
本发明在现有的工业并联机器人的视觉***的基础上，提出一种基于仿生复眼结构的工业并联机器人快速视觉检测算法，用来解决现有工业并联机器人视觉***识别速度慢，定位精度差等问题。
本发明的技术方案：一种基于仿生复眼结构的工业并联机器人快速视觉检测算法，其特征在于它复眼相机***包括工业并联机器人前端安装的多台子眼相机和一台主眼相机，以及采用基于仿生复眼的侧抑制算法；其中，所述子眼相机可以当传送带上的多个目标进入视场中后，进行快速检测并进行定位，然后建立与主眼之间的球坐标映射；所述主眼相机，其对子眼相机识别定位的物体进行精确放大定位，并对物体细节表面进行检测；所述基于仿生复眼的侧抑制算法，其主要用于子眼相机的进行快速轮廓定位和主眼相机的物体细节特征捕获。主眼相机将物品的位置信息传递给工业并联机器人***，工业并联机器人进行物品的抓取。
所述子眼相机定位方法主要为各个子眼在识别前先要先标定，根据相机镜头的视场角、焦距等采用高斯定理的成像原理进行位置标定，然后主眼相机连带云台在球坐标系下，根据平面的x, y像素坐标进行球坐标的两个角度和一个径向参数的转换，从而可以快速定位到传送带上需要轮询的目标。
所述主眼相机进行物体细节表面进行检测主要为当从子眼映射到主眼后，主眼侧抑制算法快速进行细节轮廓定位，并进行放大识别。
所述基于仿生复眼的侧抑制算法可以比较稳定地提取了目标轮廓。所述侧抑制现象广泛存在于昆虫复眼***中, 它指的是一个感受器周围邻近的感受器对其有抑制性作用, 并且这种抑制性影响存在空间总和效应。同时,距离某一感受器较近的感受器对它的抑制作用要比远一些的感受器的作用强。如果采用传统的算法进行目标检测会使得目标的轮廓不清晰、不完整，有阴影，而且速度比较慢，很难确定目标质心位置。因此，采用侧抑制可以快速提取目标边缘。本发明把每个像素单元都看成单个个子眼感受器，按照仿生复眼侧抑制的机理，由于在边缘地带在空间上存在较大的反差，使得距离较近的感受器对其有很强的抑制作用，随着距离的增加逐渐减弱，根据这种抑制系数可以增强反差突出边框，下面从时域的角度来做一个解析。
所属解析以两个单元的简单网络为例，以此证实其有使输入图像有增强反差的作用，设两单元的输入灰度为y1，y2，且假设，设0<k<1。网络输出灰度为X 1,X 2，由参数关系有
其中0<β<k<1，以保证 X 1/X 2为非负。输入反差可用 y 1/y 2来度量,输出反差可用X 1/X 2来度量，由上式可得
即输出反差大于输入反差，这正说明侧抑制网络突出了物体边缘，当子眼探测到目标并且通过3D联动映射到主眼后，采用这种算法可以很快并且准确得到物体轮廓，提高了效率和精度，方便下一步定位，灵敏度也得到了一定提高。
所述采用的抑制模型为，取3*3网络，对应于图像为：
，其中，I (m , n )为抑制处理后像素点（m ,n ）的灰度值，α i，j 为网络内（i , j ）位置像素对中心像素的侧抑制系数，f 是输出与输入间抑制竞争关系的函数，R 0(m , n )为网络在（m , n ）点的侧抑制竞争系数，根据复眼视觉***的机理，复眼的每个神经细胞与其周围的神经细胞的侧向联系有相对稳定性和一致性，并且由于边缘无方向性约束，权值以中心相互对称，选中心权值为α 00，周围8个权值为α 1则抑制竞争系数为：，因为视神经细胞在输入一直相等平面上，侧抑制竞争系数近似为零，所以α 00+8α 1=0，此处可取α 00=1，α 1=-0.125，故抑制系数模板要满足，则取模板为：
，把此模板系数带入上式可以得到图像边缘，。
本发明的优点和有益效果：
1.该***可以到达全局和局部的联合配合，也就是可以让并联机器人快速识别待检测物体的大致区域，然后再进行放大检测，从而提高了识别速度和漏识别率。
2.该***可以进行大视场下得表面纹理识别，可以让并联机器人在全局视场的同时进行局部放大识别，使得机器视觉装置更加灵活多变。
3.该***可以进行360度的多方位识别，也就是当物品在传送带正反区域都可以进行识别定位，提高了识别率的稳定性。
附图说明
图1为本发明所涉及的一种基于仿生复眼结构的工业并联机器人快速视觉检测算法的硬件结构图。
图2为本发明所涉及的一种基于仿生复眼结构的工业并联机器人快速视觉检测算法的***框图。
图中，1.子眼相机，2.相机连接座，3.主眼相机，4.主眼相机镜头。
具体实施方式
一、一种基于仿生复眼结构的工业并联机器人快速视觉检测算法结构组成
如图1所示，是本发明提出的一种基于仿生复眼结构的硬件结构图，其特征在于包括1.子眼相机，2.相机连接座，3.主眼相机，4.主眼相机镜头。
如图2所示，一种基于仿生复眼结构的工业并联机器人快速视觉检测算法的***框图，其特征在于它的复眼相机***包括工业并联机器人前端安装的多台子眼相机1和一台主眼相机3，以及采用基于仿生复眼的侧抑制算法；其中，所述子眼相机1可以当传送带上的多个目标进入视场中后，进行快速检测并进行定位，然后建立与主眼相机3之间的球坐标映射；所述主眼相机3，其对子眼相机1识别定位的物体进行精确放大定位，并对物体细节表面进行检测；所述基于仿生复眼的侧抑制算法，其主要用于子眼相机1的进行快速轮廓定位和主眼相机3的物体细节特征捕获。主眼相机3将物品的位置信息传递给工业并联机器人***，工业并联机器人进行物品的抓取。
所述子眼相机1定位方法主要为各个子眼在识别前先要先标定，根据相机镜头的视场角、焦距等采用高斯定理的成像原理进行位置标定，然后主眼相机连带云台在球坐标系下，根据平面的x, y像素坐标进行球坐标的两个角度和一个径向参数的转换，从而可以快速定位到传送带上需要轮询的目标。
所述主眼相机3进行物体细节表面进行检测主要为当从子眼映射到主眼后，主眼侧抑制算法快速进行细节轮廓定位，并进行放大识别。
所述基于仿生复眼的侧抑制算法可以比较稳定地提取了目标轮廓。本发明把每个像素单元都看成单个个子眼感受器，按照仿生复眼侧抑制的机理，由于在边缘地带在空间上存在较大的反差，使得距离较近的感受器对其有很强的抑制作用，随着距离的增加逐渐减弱，根据这种抑制系数可以增强反差突出边框。
二、工业并联机器人运动工作流程
阶段一：子眼相机进行全局探测
当传送带上物品进过视觉检查区域后，子眼进行全局检测，也就是进行快速粗识别。
阶段二：子眼相机发送指令给主眼
子眼相机全局探测到待检测物品后，将位置坐标通过3D联动的方式传送给主眼相机。
阶段三：主眼相机接受指令后进行放大定位
主眼相机接受到指令后，根据物品的全局坐标进行3D放大定位，从而可以在小视场高倍率下进行精识别。
阶段四：工业并联机器人进行抓取运动
主眼相机将物体的位置信息传递给工业并联机器***，工业并联机器人执行抓取运动。
Claims (5)
1.一种基于仿生复眼结构的工业并联机器人快速视觉检测算法，其特征在于它的复眼相机***包括工业并联机器人前端安装的多台子眼相机和一台主眼相机，以及采用基于仿生复眼的侧抑制算法；其中，所述子眼相机可以当传送带上的多个目标进入视场中后，进行快速检测并进行定位，然后建立与主眼之间的球坐标映射；所述主眼相机，其对子眼相机识别定位的物体进行精确放大定位，并对物体细节表面进行检测；所述基于仿生复眼的侧抑制算法，其主要用于子眼相机的进行快速轮廓定位和主眼相机的物体细节特征捕获；主眼相机将物品的位置信息传递给工业并联机器人***，工业并联机器人进行物品的抓取。
2.根据权利要求1所述子眼相机定位方法主要为各个子眼在识别前先要先标定，根据相机镜头的视场角、焦距等采用高斯定理的成像原理进行位置标定，然后主眼相机连带云台在球坐标系下，根据平面的x, y像素坐标进行球坐标的两个角度和一个径向参数的转换，从而可以快速定位到传送带上需要轮询的目标。
3.根据权利要求1所述主眼相机进行物体细节表面进行检测主要为当从子眼映射到主眼后，主眼侧抑制算法快速进行细节轮廓定位，并进行放大识别。
4.根据权利要求1所述基于仿生复眼的侧抑制算法可以比较稳定地提取了目标轮廓；所述侧抑制现象广泛存在于昆虫复眼***中, 它指的是一个感受器周围邻近的感受器对其有抑制性作用, 并且这种抑制性影响存在空间总和效应；同时,距离某一感受器较近的感受器对它的抑制作用要比远一些的感受器的作用强；如果采用传统的算法进行目标检测会使得目标的轮廓不清晰、不完整，有阴影，而且速度比较慢，很难确定目标质心位置；因此，采用侧抑制可以快速提取目标边缘；本发明把每个像素单元都看成单个个子眼感受器，按照仿生复眼侧抑制的机理，由于在边缘地带在空间上存在较大的反差，使得距离较近的感受器对其有很强的抑制作用，随着距离的增加逐渐减弱，根据这种抑制系数可以增强反差突出边框，下面从时域的角度来做一个解析。
5.根据权利要求4所属解析以两个单元的简单网络为例，以此证实其有使输入图像有增强反差的作用，设两单元的输入灰度为y1，y2，且假设，设0<k<1；
网络输出灰度为X 1,X 2，由参数关系有
其中0<β<k<1，以保证 X 1/X 2为非负；
输入反差可用 y 1/y 2来度量,输出反差可用X 1/X 2来度量，由上式可得
即输出反差大于输入反差，这正说明侧抑制网络突出了物体边缘，当子眼探测到目标并且通过3D联动映射到主眼后，采用这种算法可以很快并且准确得到物体轮廓，提高了效率和精度，方便下一步定位，灵敏度也得到了一定提高；
所述采用的抑制模型为，取3*3网络，对应于图像为：
，其中，I (m , n )为抑制处理后像素点（m ,n ）的灰度值，α i，j 为网络内（i , j ）位置像素对中心像素的侧抑制系数，f 是输出与输入间抑制竞争关系的函数，R 0(m , n )为网络在（m , n ）点的侧抑制竞争系数，根据复眼视觉***的机理，复眼的每个神经细胞与其周围的神经细胞的侧向联系有相对稳定性和一致性，并且由于边缘无方向性约束，权值以中心相互对称，选中心权值为α 00，周围8个权值为α 1则抑制竞争系数为：，因为视神经细胞在输入一直相等平面上，侧抑制竞争系数近似为零，所以α 00+8α 1=0，此处可取α 00=1，α 1=-0.125，故抑制系数模板要满足，则取模板为：
，把此模板系数带入上式可以得到图像边缘，。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610543277.8A CN107610086A (zh) | 2016-07-12 | 2016-07-12 | 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610543277.8A CN107610086A (zh) | 2016-07-12 | 2016-07-12 | 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107610086A true CN107610086A (zh) | 2018-01-19 |
Family
ID=61055279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610543277.8A Pending CN107610086A (zh) | 2016-07-12 | 2016-07-12 | 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107610086A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596977A (zh) * | 2018-03-07 | 2018-09-28 | 北京华凯汇信息科技有限公司 | 一种仿生眼双目视觉外参数连续标定方法 |
| CN109785333A (zh) * | 2018-12-11 | 2019-05-21 | 华北水利水电大学 | 用于并联机器人视觉***的目标检测方法及装置 |
| CN110188650A (zh) * | 2019-05-24 | 2019-08-30 | 张碧辉 | 基于ptz相机的双级视场目标检测方法、装置及*** |
| CN110738610A (zh) * | 2019-09-19 | 2020-01-31 | 天津大学 | 一种复眼图像像质提升方法 |
| CN111179294A (zh) * | 2019-12-30 | 2020-05-19 | 广西科技大学 | 一种基于x、y并行视觉通道响应的仿生型轮廓检测方法 |
| CN112102401A (zh) * | 2020-09-21 | 2020-12-18 | 中国科学院上海微***与信息技术研究所 | 一种目标定位方法、装置、***、设备及存储介质 |
| CN114310900A (zh) * | 2022-01-11 | 2022-04-12 | 重庆智能机器人研究院 | 一种工业机器人视觉在线写绘和视觉涂胶算法 |
-
2016
- 2016-07-12 CN CN201610543277.8A patent/CN107610086A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596977A (zh) * | 2018-03-07 | 2018-09-28 | 北京华凯汇信息科技有限公司 | 一种仿生眼双目视觉外参数连续标定方法 |
| CN108596977B (zh) * | 2018-03-07 | 2021-06-11 | 北京理工大学 | 一种仿生眼双目视觉外参数连续标定方法 |
| CN109785333A (zh) * | 2018-12-11 | 2019-05-21 | 华北水利水电大学 | 用于并联机器人视觉***的目标检测方法及装置 |
| CN110188650A (zh) * | 2019-05-24 | 2019-08-30 | 张碧辉 | 基于ptz相机的双级视场目标检测方法、装置及*** |
| CN110188650B (zh) * | 2019-05-24 | 2021-01-19 | 张碧辉 | 基于ptz相机的双级视场目标检测方法、装置及*** |
| CN110738610A (zh) * | 2019-09-19 | 2020-01-31 | 天津大学 | 一种复眼图像像质提升方法 |
| CN111179294A (zh) * | 2019-12-30 | 2020-05-19 | 广西科技大学 | 一种基于x、y并行视觉通道响应的仿生型轮廓检测方法 |
| CN111179294B (zh) * | 2019-12-30 | 2020-09-15 | 广西科技大学 | 一种基于x、y并行视觉通道响应的仿生型轮廓检测方法 |
| CN112102401A (zh) * | 2020-09-21 | 2020-12-18 | 中国科学院上海微***与信息技术研究所 | 一种目标定位方法、装置、***、设备及存储介质 |
| CN112102401B (zh) * | 2020-09-21 | 2024-05-28 | 中国科学院上海微***与信息技术研究所 | 一种目标定位方法、装置、***、设备及存储介质 |
| CN114310900A (zh) * | 2022-01-11 | 2022-04-12 | 重庆智能机器人研究院 | 一种工业机器人视觉在线写绘和视觉涂胶算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610086A (zh) | 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法 | |
| CN110118528B (zh) | 一种基于棋盘靶标的线结构光标定方法 | |
| CN109685141B (zh) | 一种基于深度神经网络的机器人物品分拣视觉检测方法 | |
| CN108177143B (zh) | 一种基于激光视觉引导的机器人定位抓取方法及*** | |
| CN101419055B (zh) | 基于视觉的空间目标位姿测量装置和方法 | |
| CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
| JP6125188B2 (ja) | 映像処理方法及び装置 | |
| CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN110509273B (zh) | 基于视觉深度学习特征的机器人机械手检测及抓取方法 | |
| CN104567727B (zh) | 利用立体靶标对线结构光轮廓传感器的全局统一校准方法 | |
| CN115082815B (zh) | 基于机器视觉的茶芽采摘点定位方法、装置及采摘*** | |
| CN104751146B (zh) | 一种基于3d点云图像的室内人体检测方法 | |
| CN107798313A (zh) | 一种人体姿态识别方法、装置、终端和存储介质 | |
| CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、***和存储介质 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN112419429B (zh) | 一种基于多视角的大型工件表面缺陷检测标定方法 | |
| CN114782626A (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
| CN107749060A (zh) | 机器视觉设备及基于飞行时间技术三维信息采集算法 | |
| CN114882109A (zh) | 一种面向遮挡、杂乱场景下的机器人抓取检测方法及*** | |
| Hu et al. | Recognition and localization of strawberries from 3D binocular cameras for a strawberry picking robot using coupled YOLO/Mask R-CNN | |
| Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
| CN108827250A (zh) | 一种机器人单目视觉测距技术方法 | |
| Zhang et al. | A fast detection and grasping method for mobile manipulator based on improved faster R-CNN | |
| CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及*** | |
| Zhang et al. | Fully automatic system for fish biomass estimation based on deep neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180119 |
|
| WD01 | Invention patent application deemed withdrawn after publication |