CN110211183A - 基于单次成像大视场led透镜贴装的多目标定位***与方法 - Google Patents

Abstract

本发明公开了一种基于单次成像的大视场LED透镜贴装的多目标定位***与方法，该***包括大幅面图像采集、目标定位、位置校正。本发明还提供了一种多目标定位方法。该方法包括第一个标准样品的处理方法与第二～N个样品的处理方法。标准样品的处理步骤：采集铝基板图像，设置目标与Mark点区域，图像分割,BLOB分析,特征提取与目标定位,Mark点中心定位及其连线中点与倾斜角度获取；第二～N个样品处理步骤：采集图像，Mark点中心定位及其直线段中点定位，获得样品角度与位移的偏移量，构造刚体变换矩阵，对标准样品的多目标点进行仿射变换。本发明所提供的***与方法具有定位速度快、可实现全自动化、无人工示教干预获取目标点、可实现不间断连续生产。

Description

基于单次成像大视场LED透镜贴装的多目标定位***与方法

技术领域：

本发明涉及多目标定位技术领域，具体涉及基于单次成像的大视场LED铝基板透镜贴装焊盘的多目标定位***装置与方法。本发明提出一种多目标定位方法，具体涉及一种中心定位及其校正技术。本发明的具体涉及表现为，***装置与方法的结合运用，实现大视场的LED透镜贴装引脚焊盘的多目标定位。

背景技术:

随着工业的发展，工业运用中的多目标定位识别技术成为市场需求。科技的进步，人工的人眼定位识别目标逐渐淘汰，但如今的定位识别技术仍然不够成熟，国内工业运用中的区域多目标定位还存在着操作误差大、检测精度小、工作持续性低的问题。尤其是目前国内的点胶机的多目标定位功能，就存在着***结构复杂、精度不高、稳定性差、操作误差大、检测精度小、工作持续性低的现象。

在工业的运用中，成像采集环境在LED光照条件下，工业相机对PCB铝基板焊盘执行拍照成像采集，但实现区域多目标定位识别技术还不够完善，目前的多目标定位识别技术，存在着定位目标范围小、稳定性差、工作时间短、检测速度慢、检测精度低、算法计算量大的不足。

中国专利【CN109201413A】公开了一种视觉定位点胶***，包括摄像机构、点胶机构、三轴机构、计算机和控制器。本发明还公开了一种视觉定位点胶方法，包括如下步骤：对片状体零件拍摄照片，读取拍摄图片建立图像坐标系，确定各个坐标系之间的转换关系，对片状体零件待点胶区域图形进行阈值分割，提取待点胶区域的点胶位置；将点胶位置数据传给控制器，控制三轴***运行到指定位置完成点胶。该***存在着检测速度慢、定位范围较小、成像采集频率较高的不足之处。

中国专利【CN105964492A】涉及一种自动点胶机，包括底座、定位部件、点胶部件与主面板盖，所诉定位部件主要包括定位板、设置于所诉定位板上端的次定位板、设置于所诉次定位板侧面的调节杆、设置与所诉次定位板前端的锁定件、设置于所诉次定位板上端的磁定位座、设置于所诉磁定位内部的定位块、设置于所诉主定位板下端的连接板、设置于所诉连接板下端的导轨、设置于所诉定位板下端的无杆气缸，设置于所诉定位板下端的缓冲器。但该方法的检测精度较低、成本较高、***结构比较复杂。

中国专利【CN202102970U】公开了一种带定位装置的继电器点胶机，包括机体，机体上端安装又进料轨道，进料轨道一侧安装有托板，托板上端安装有垂直于进料轨道的支座，支座上端滑动安装有搬运爪，进料轨道与托板之间安装有限位板，限位板上端滑动安装有数个上下伸缩的定位柱，定位柱前端固定有弹性垫，搬运抓前端设有数个卡槽，限位板高度高于搬运抓，搬运抓伸缩于进料轨道上方，采用定位柱进行多目标定位。该***的定位精准度较低、***结构较为复杂、工作持续性较低。

欧洲专利【EP2066166A1】涉及了一种定位***和补偿定位***中热膨胀变化的方法，以及组件安装机、喷射式点胶机，包括定位***。该定位***包括沿轴(X)延伸的细长梁，其中梁的形状在定位***操作期间由于热膨胀而发生变化。该***包括可移动地悬浮在横梁上的定位单元、用于沿轴(X)提供定位单元移动的电机以及安装到定位单元上或与之集成的工作头。提供了一种形状固定的细长参考元件，其沿轴(X)具有基本上平行于梁的纵向延伸。在沿着轴(X)的多个位置处，测量定位单元和参考元件之间参考距离。定位单元的定位过程中测量所得的参考距离来补偿热膨胀。该***成本较高、定位效率较差、检测精度较低。

综上所述，关于工业运用上的多目标定位***，仍然存在着多方面的不足，尤其是在单次成像的目标定位上，总是难以在工业生产线上广泛使用。而本发明致力于创造一种基于单次成像的大视场LED铝基板透镜贴装焊盘的多目标定位***装置与方法，本发明***与方法的结合使用，将解决目标定位时效率、误差、精度、稳定性等问题，实现大视场的LED透镜贴装引脚焊盘的多目标定位。

发明内容：

本发明目的在于提供一种多目标定位***装置，所述***装置由相机采集部分、机构定位部分、检测识别部分组成。所述***在稳定光照环境下，工业相机对LED铝基板的透镜焊盘进行图像采集。图像采集平台主要包括工业相机(120)、LED铝基板焊盘(121)、传感器(122)、导轨(123)，相机成像平台的工作环境为：

所述成像对象是基于铝基板(121)表面区域，而导轨(123)则位于铝基板(121)的正前方，传感器(122)居于铝基板(121)的侧边，工业相机(120)垂直固定在铝基板(121)的正上方；导轨(123)的传递实现铝基板(121)向前运动，铝基板(121)运动至传感器(122)感应范围时，所述传感器(122)感应基于铝基板(121)目标位置时，传感器该相机发出图像采集的信号指令。

所述***装置基于相机采集图像，通过对采集的图像进行多目标定位，从而获得多个目标的中心坐标。本发明的***装置与本发明的方法相互结合使用，解决了定位***在运行过程中的定位速度慢、自动化程度低下、***稳定性不足的问题

基于单次成像的大视场LED透镜贴装焊盘的多目标定位方法的定位步骤具体如下：

步骤1、通过工业相机对PCB铝基板焊盘进行图像采集，获得第一个样品的图像数据；

步骤2、将原图像拆分为RGB通道与HSV通道；

步骤3、边缘检测原图像RGB通道与HSV通道，选择对比度最佳的通道；

步骤4、目标点的ROI区域设置，以及两个Mark点的ROI区域设置；

步骤5、基于最佳阈值法跟个目标点的ROI区域图像，采用灰度平均值分割Mark点的ROI区域图像，实现图像分割；

步骤6、执行连通特性Blob分析；

步骤7、根据不同的面积、长度、宽度、矩形度、圆度等特征提取焊盘区域并进行多个目标的中心定位；

步骤8、根据灰度均值确定Mark点中心坐标；

步骤9、保存点胶点的多个目标坐标值数据(X_k，Y_k)，其中下标K表示第K个目标点；

步骤10、点胶点的多个目标坐标值数据的像素坐标转换为机器人运动的机械坐标；

步骤11、获取所建直线段的倾斜角度θ₀，并且保存；

步骤12、计算两个Mark点直线段的中点坐标(X₀，Y₀)，并保存倾斜角度与直线段的中点坐标，针对第一个样品(标准样品)的处理算法流程到此结束；

步骤13、获取第二～N个样品(当前样品)的图像；

步骤14、将当前像拆分为RGB通道与HSV通道；

步骤15、根据目标对比度选择最大对比度的通道；

步骤16、根据在第一个样品中已经设定好的Mark点区域，进行ROI感兴趣区域选择；

步骤17、对两个Mark点区域，采用基于灰度平均值的方法分割Mark点区域子图像；

步骤18、执行连通区域特性Blob分析，并根据面积特征提取Mark点目标区域；

步骤19、根据目标像素的坐标平均值确定Mark点的中心坐标；

步骤20、针对第二～N个样品，采用简化的定位策略。通过第一个样品的目标坐标，以及当前样品与第一个样品的位置控制差异性(即角度偏差与偏移量)，可快速可靠地获得当前样品的点胶点目标坐。采集当前样品图像，对所选择的两个Mark点进行中心定位，获得连个Mark点的中心连线的直线段，计算直线段的倾斜角度θ_i；

步骤21、获得第二～N个样品(当前样品)的图像的两个Mark点连线直线段的中点坐标(X_i，Y_i)。

步骤22、根据当前图像(第二～N个样品)与第一个样品(标准样品)的Mark定位结果的差异性，获得倾斜角度的差值(用ΔΘ表示)，并获得直线段中点坐标的偏移值(其中X方向的偏移量用ΔX表示、Y方向的偏移量用ΔY表示)。可用数学表达式表述为：

其中：下标0表示为第一个样品的标号，i表示为第二～N个样品的标号。

步骤23、基于中心点坐标的偏移量与角度偏差(ΔX、ΔY、ΔΘ)，可构造构造刚体变换矩阵；

步骤24、对第一个样品的多个点胶点的目标坐标，进行二维线性仿射变换，得到当前样品的多个点胶点目标坐标，并把像素坐标转换为机器人运动的机械坐标。从而快速且稳定地实现当前样品点胶点的目标坐标的高速定位。

本发明的***装置与方法只需要一次成像即可获取数百个甚至上千个目标定位点，该过程可以在0.1秒内实现。该装置与方法不但克服了人工示教方法耗时极长导致的生产线完全中断，而且克服了大霸面多次图像拼接技术所需要的多次成像，从而引发需要的多次图像拼接，从而进一步引入图像拼接误差，并引起生产的中断。因此***具备了具有定位速度快、定位精度较高、稳定性好特点。与现有的技术相比，具有如下优点：

(1)本发明***定位速度快的表现为：仅仅只需要进行一次成像即可获取视场的宽度W大于800mm，视场的高度H大于600mm的多个目标定位。其中LED贴装铝基板上有几百个点胶位置(目标焊盘)，甚至可以实现几千个目标点，并且成像精度高达0.1mm。在图像采集时，采集速度高，只需要30～50ms即可把图像数据传输到计算机的内存空间。在图像分析时，针对第一个样品图像处理分析只需要约50ms；第二～N个样品的目标定位时间更短，耗时少于10ms。因此，本发明只需要0.1秒即可完成超大幅面的图像采集与高达几千个目标的一次性精确定位，可实现生产线连续不间断生产。相比传统的超耗时并需要长时间停产的人工示教获取目标方法，以及现有的仍然耗时并需要生产中断的小视场图采集结合多帧图像拼接的目标定位方法，本发明所提出的方法在速度上得到了极大的提高。

(2)本发明工作的定位精度高的表现为：首次，成像精度高达0.1mm。为保证上述技术条件所采用的相机为采用大霸面且高分辨率的固定的高速工业相机一次成像定位的方法。该方法避免人工示教操作引入的主观因素、疲劳因素等所带来的定位人工操作误差；另外，并且避免了图像拼接方法需要传动机构运动带动相机在不同的位置成像所带来的机械定位误差，图像拼接算法引入的拼接算法误差。因此，本发明避免了人工操作误差、机械定位误差、拼接算法误差等，具有定位精度高的特点。

(3)本发明稳定性好的表现为：本发明方法采用第一个样品(标准样品)进行目标定位，而第二～N个样品的处理(当前样品)采用位置校正方法，可提高***的稳定性能。具体实现如下；对第一个样品(标准样品)进行目标定位，并实现标准样品两个Mark点定位，及确定Mark点连线中点与连线段倾斜角度；对于第二～N个样品的处理(当前样品)仅仅需要定位两个Mark点，以及确定Mark点连线中点与连线段倾斜角度。与第一个样品进行比较，获得角度偏差、位移偏移量，从而构造刚体变换矩阵，对标准样品的数百个目标点进行仿射变换，即可获得第二～N个样品的目标点位置，可大大减少了图像数据的处理量与时间。最为关键的是避免了由于产品的微细差异导致目标定位的缺失、或出现假目标，引起定位错误，使用***不稳定。因此，本发明提高提高了***高速连续生产的稳定性。

附图说明：

图1、为本发明的基于单次成像的大视场LED透镜贴装的多目标定位***装置示意图

图2、为所定位的目标对象分布示意图

图3、为原图像提取区域的目标点示意图

图4、为二次图像提取区域的目标点示意图

图5、为原图像与二次图像的定位目标点转机轨道示意图

图6、为本发明单次图像采集多目标定位方法较佳实施方式流程图

图7、为本发明N次图像采集多目标定位方法较佳实施方式流程图

图中所示为：120-工业相机，121-PCB铝基板焊盘，122-传感器，123-管道

具体实施方式:

为了更好地理解本发明，下面结合附图对本发明所述作进一步的描述，但本发明的实施方式不限于此。

本发明公开的基于单次成像的大视场LED铝基板透镜贴装焊盘的多目标定位***装置，包括了相机成像采集部分、机构定位部分、检测识别部分。

如图1说示，本发明的相机***成像环境主体框架包括：工业相机(120)、PCB铝基板焊盘(121)、传感器(122)、导轨(123)。相机***的成像包括：图像采集目标基于铝基板(121)表面区域，而导轨(123)则位于铝基板(121)的正前方，传感器(122)居于铝基板(121)的侧边，工业相机(120)垂直固定在铝基板(121)的正上方；管道(123)的传送实现铝基板(121)向前运动，铝基板(121)运动至传感器(122)感应范围时，侧边的传感器(122)感应基于铝基板(121)目标位置时，传递于工业相机(120)实施图像采集信号指令，完成相机成像采集。

如图2所示，本发明的定位目标对象分布示意图包括：右位置识别点131、左位置识别点133、图像中心点132、待定位的目标区域134。

根据本发明多目标定位***所述的机构定位部分是基于成像采集区域；读取拍照成像的区域，对成像的区域进行边缘检测，拆分出RGB通道与HSV通道，通过对比度选择最佳通道，根据特征提取选择阈值，完成区域图像的分割，通过数字图像形态学变换，排序区域并计算中心目标，定位提取图像位置识别点，根据定位中心点坐标与直线端斜率。

根据本***所述的识别定位检测基于二次成像与原图像的坐标对比；得出原图像中心坐标后，相机对位置偏移铝基板进行二次拍照采集，对采集成像区域进行边缘检测，实现偏移铝基板上的再次目标区域图像提取，定位得出二次图像中心坐标，计算原图像与二次图像间转机坐标位置偏差实现轨道规划，执行贴装焊盘运动命令。

如图6与图7所示，基于单次成像的大视场LED透镜贴装焊盘的多目标定位方法，按以下步骤完成多目标定位，包括如下步骤：

S201、通过工业相机对PCB铝基板焊盘进行图像采集，获得第一个样品的图像数据；

S202、将原图像拆分为RGB通道与HSV通道；

S203、边缘检测原图像RGB通道与HSV通道，选择对比度最佳的通道；

S204、目标点的ROI区域设置，以及两个Mark点的ROI区域设置；

S205、基于最佳阈值法跟个目标点的ROI区域图像，采用灰度平均值分割Mark点的ROI区域图像，实现图像分割；

S206、执行连通特性Blob分析；

S207、根据不同的面积、长度、宽度、矩形度、圆度等特征提取焊盘区域并进行多个目标的中心定位；

S208、根据灰度均值确定Mark点中心坐标；

S209、保存点胶点的多个目标坐标值数据(X_k，Y_k)，其中下标K表示第K个目标点；

S210、点胶点的多个目标坐标值数据的像素坐标转换为机器人运动的机械坐标；

S211、获取所建直线段的倾斜角度θ₀，并且保存；

S212、计算两个Mark点直线段的中点坐标(X₀，Y₀)，并保存倾斜角度与直线段的中点坐标，针对第一个样品(标准样品)的处理算法流程到此结束；

S301、获取第二～N个样品(当前样品)的图像；

S302、将当前像拆分为RGB通道与HSV通道；

S303、根据目标对比度选择最大对比度的通道；

S304、根据在第一个样品中已经设定好的Mark点区域，进行ROI感兴趣区域选择；

S305、对两个Mark点区域，采用基于灰度平均值的方法分割Mark点区域子图像；

S306、执行连通区域特性Blob分析，并根据面积特征提取Mark点目标区域；

S307、根据目标像素的坐标平均值确定Mark点的中心坐标；

S308、针对第二～N个样品，采用简化的定位策略。通过第一个样品的目标坐标，以及当前样品与第一个样品的位置控制差异性(即角度偏差与偏移量)，可快速可靠地获得当前样品的点胶点目标坐。采集当前样品图像，对所选择的两个Mark点进行中心定位，获得连个Mark点的中心连线的直线段，计算直线段的倾斜角度θ_i；

S309、获得第二～N个样品(当前样品)的图像的两个Mark点连线直线段的中点坐标(X_i，Y_i)。

S310、根据当前图像(第二～N个样品)与第一个样品(标准样品)的Mark定位结果的差异性，获得倾斜角度的差值(用ΔΘ表示)，并获得直线段中点坐标的偏移值(其中X方向的偏移量用ΔX表示、Y方向的偏移量用ΔY表示)。可用数学表达式表述为：

其中：下标0表示为第一个样品的标号，i表示为第二～N个样品的标号。

S311、基于中心点坐标的偏移量与角度偏差(ΔX、ΔY、ΔΘ)，可构造构造刚体变换矩阵；

S312、对第一个样品的多个点胶点的目标坐标，进行二维线性仿射变换，得到当前样品的多个点胶点目标坐标，并把像素坐标转换为机器人运动的机械坐标。从而快速且稳定地实现当前样品点胶点的目标坐标的高速定位。

经以上步骤所述，本发明实现了LED铝基板透镜贴装焊盘的图像采集与目标特征提取，并以多目标定位方法为核心，用于工业LED透镜贴装焊盘的多个目标的定位***。

本发明的上述实施仅例示性的诠释了本发明的原理，并非对本发明的实施方式进行限定。对于所属领域得技术人员来说，在上述说明的基础上还可以做出其它不同形式的变动。因此，凡在本发明的精神和原则之内所作的任何修改，等同改进等行为，均应被包含于本发明权利要求的保护范围内。

Claims (5)

1.基于单次成像的大视场LED铝基板透镜贴装焊盘的多目标定位***装置，其特征在于，该***包括大幅面图像采集、多目标定位、位置校正；其中所述的单次成像与大视场，其特征在于，仅仅只需要进行一次成像即可获取LED贴装铝基板上几百个点胶位置(目标焊盘)的中心坐标，甚至可以实现几千个目标点。并且成像视场巨大，视场的W大于800mm，视场的高度H大于600mm。此外，成像精度高达0.1mm；为保证上述技术条件所采用的相机为采用大霸面且高分辨率的高速工业相机；相比传统的超耗时并需要长时间停产的人工示教获取目标方法，以及现有的仍然耗时并需要生产中断的小视场图采集结合多帧图像拼接的目标定位方法，本发明所提出的方法在速度上得到了极大的提高，只需0.1秒即可完成超大幅面的图像采集与高达几千个目标的一次性精确定位，可实现生产线连续不间断生产。

2.如权利要求1所述的大幅面图像采集，其特征在于仅仅只需要成像1次，成像的视场的宽度W与高度H是可根据样品的尺寸调节的，最大样品的尺寸的宽度大于800mm,高度大于600mm，并且图像采集的速度快，只需要30～50ms即可把图像数据传输到计算机的内存空间。

3.如权利要求1所述的多目标定位，其特征在于只需0.1秒即可完成大幅面图像所采集的LED铝基板透镜贴装焊盘上几百个，甚至上千数量的点胶位置的目标焊盘，在0.1秒的时间内，精度高达0.1mm下一次完成大视场图像采集、以及几百个甚至上千个点胶点(目标焊盘)的定位。

4.如权利要求1所述的位置校正，其特征在于只要通过对第一个样品(标准样品)进行目标定位，并实现标准样品两个Mark点定位，及确定Mark点连线中点与连线段倾斜角度；针对第二～N个样品的处理，只需要定位两个Mark点，以及确定Mark点连线中点与连线段倾斜角度；通过样第二～N个样品与第一个样品进行比较，获得角度偏差、位移偏移量，从而构造刚体变换矩阵，对标准样品的数百个目标点进行仿射变换，即可获得第二～N个样品的目标点位置，可大大减少了图像数据的处理量与时间，并并且避免了由于产品的微细差异导致目标定位的缺失、或出现假目标。最终提高了***高速连续生产的运行速度与稳定性。

5.基于单次成像的大视场LED透镜贴装焊盘的多目标定位方法，该方法配合于所述***装置的结合运用，其特征在于，包括如下步骤：

步骤1、通过工业相机对PCB铝基板焊盘进行图像采集，获得第一个样品的图像数据；

步骤2、将原图像拆分为RGB通道与HSV通道；

步骤3、边缘检测原图像RGB通道与HSV通道，选择对比度最佳的通道；

步骤4、目标点的ROI区域设置，以及两个Mark点的ROI区域设置；

步骤5、基于最佳阈值法跟个目标点的ROI区域图像，采用灰度平均值分割Mark点的ROI区域图像，实现图像分割；

步骤6、执行连通特性Blob分析；

步骤7、根据不同的面积、长度、宽度、矩形度、圆度等特征提取焊盘区域并进行多个目标的中心定位；

步骤8、根据灰度均值确定Mark点中心坐标；

步骤9、保存点胶点的多个目标坐标值数据(X_k，Y_k)，其中下标K表示第K个目标点；

步骤10、点胶点的多个目标坐标值数据的像素坐标转换为机器人运动的机械坐标；

步骤11、获取所建直线段的倾斜角度θ₀，并且保存；

步骤12、计算两个Mark点直线段的中点坐标(X₀，Y₀)，并保存倾斜角度与直线段的中点坐标，针对第一个样品(标准样品)的处理算法流程到此结束；

步骤13、获取第二～N个样品(当前样品)的图像；

步骤14、将当前像拆分为RGB通道与HSV通道；

步骤15、根据目标对比度选择最大对比度的通道；

步骤16、根据在第一个样品中已经设定好的Mark点区域，进行ROI感兴趣区域选择；

步骤17、对两个Mark点区域，采用基于灰度平均值的方法分割Mark点区域子图像；

步骤18、执行连通区域特性Blob分析，并根据面积特征提取Mark点目标区域；

步骤19、根据目标像素的坐标平均值确定Mark点的中心坐标；

步骤20、针对第二～N个样品，采用简化的定位策略。通过第一个样品的目标坐标，以及当前样品与第一个样品的位置控制差异性(即角度偏差与偏移量)，可快速可靠地获得当前样品的点胶点目标坐。采集当前样品图像，对所选择的两个Mark点进行中心定位，获得连个Mark点的中心连线的直线段，计算直线段的倾斜角度θ_i；

步骤21、获得第二～N个样品(当前样品)的图像的两个Mark点连线直线段的中点坐标(X_i，Y_i)。

步骤22、根据当前图像(第二～N个样品)与第一个样品(标准样品)的Mark定位结果的差异性，获得倾斜角度的差值(用ΔΘ表示)，并获得直线段中点坐标的偏移值(其中X方向的偏移量用ΔX表示、Y方向的偏移量用ΔY表示)。可用数学表达式表述为：

其中：下标0表示为第一个样品的标号，i表示为第二～N个样品的标号。

步骤23、基于中心点坐标的偏移量与角度偏差(ΔX、ΔY、ΔΘ)，可构造构造刚体变换矩阵；

步骤24、对第一个样品的多个点胶点的目标坐标，进行二维线性仿射变换，得到当前样品的多个点胶点目标坐标，并把像素坐标转换为机器人运动的机械坐标。从而快速且稳定地实现当前样品点胶点的目标坐标的高速定位。