CN105547153B - 基于双目视觉的插件元件针脚视觉定位方法及装置 - Google Patents

Abstract

本发明提供了一种基于双目视觉的插件元件针脚视觉定位方法及装置。本定位***配合直线运动装置和旋转运动装置，通过两个相机分别获取元件其中两个针脚的图像，把两个相机采集的针脚投影图像传到计算机分析，然后通过坐标转换计算确定针脚在垂直于针脚平面的位置，即水平平面中针脚的位置。本发明所涉及的基于双目视觉的插件元件针脚视觉定位***，其中包括两个方向不同的相机和一个光源，气缸夹持装置，运动装置。通过两个方向的相机和一个光源组成的图像采集装置，配合直线运动装置，采集元件针脚的图像，通过两个相机采集的针脚图像对针脚进行定位，以及确定针脚姿态，可用于插件技术行业的高速高精度自动光学检测。

Description

基于双目视觉的插件元件针脚视觉定位方法及装置

技术领域

本发明涉及利用双目视觉的非接触方法对插件元件的针脚进行定位，从而对插件元件进行定位，具体是一种基于双目视觉的插件元件针脚视觉定位方法及装置。

背景技术

随着电子产品的市场不断发展，电子产品的生产效率需要不断提高，生产的自动化程度需要不断提高。目前市场上的一部分电子产品，因为对体积的要求没那么严格，为了控制成本，广泛应用插件元件。随着电子产品需求量的不断提高，人工插件的效率和质量已经无法满足目前的生产需要，需要通过自动化插件设备代替人工插件的过程，自动化插件设备的核心技术是一种准确和快速的元件定位方法。

目前利用机器视觉定位插件电子元件，有通过侧面激光给针脚打光，利用底部相机100采集针脚端部对光线的折射来定位针脚，如图1所示。这种方法机械手101夹持待检测元件102，激光线光源103从待检测元件的侧面打光，线光源的光照到针脚底端部，经过针脚底端部倒角反射光线进入镜头，在底部相机中成像。但是如果待检测元件本体是白色，本体反光和透光严重干扰针脚的定位，受本体颜色以及环境光线的限制较大；除此之外由于针脚端部倒角工艺的不一致性，这些倒角的质量差异会影响定位的准确性。

目前利用机器视觉定位电子元件，还有通过侧面平行光103打光利用另一侧的相机100采集元件本体各方向的投影来确定元件的位置和姿态，如图2、3所示。这种方法是用吸盘101吸住电子元件102，经过元件侧面平行光103打光，待检测元件本体遮挡住一部分光线，其他部位的光线进入在待检测元件的另一侧的镜头，在相机形成元件本体的投影图像。但是该方法只能通过吸盘吸取元件，因为需要通过元件本体的投影确定元件的位置和姿态，所以不能通过机械手夹持待定位元件，所以无法应用于一些上表面不光滑的电子元件；而且需要配合旋转运动采集元件本体多个方向的投影图像，不但计算量大，而且该定位方法需要待检测元件在检测位停顿一定的时间配合旋转运动采集多个方向的投影图像，如果使用到自动化插件设备，这种定位方法会使插件效率大大降低。对于一部分本体形状不规则或其针脚相对本***置精度不高的插件元件，这种通过本体的定位方法，针脚定位的误差比较大，可能造成针脚无法***电路板。

发明内容

本发明的目的在于提供基于双目视觉的插件元件针脚视觉定位方法，基于图像处理给予确定针脚定位，及通过坐标转换，确定元件姿态。

本发明的另一目的在于克服上述现有技术的缺点，提供基于双目视觉的插件元件针脚视觉定位装置，通过采集元件针脚的投影图像，可以有效稳定地检测所有针脚，不受待检测元件本体颜色和针脚端部倒角质量的影响；而通过对针脚直接进行定位，克服了本体投影定位的精度缺点，以及需要通过旋转元件采集不同方向图像的效率低的缺点。

为实现方法目的，本发明采用如下技术方案：

基于双目视觉的插件元件针脚视觉定位方法，该方法包括有如下步骤：

（1）在一取景平面上，从不同角度获取待定位元件的针脚的投影图像；

（2）经过电脑分析处理获得步骤（1）的待定位元件的针脚处在取景平面上的位置；

（3）重复上述步骤（1）、（2）获得待定位元件的另一针脚处在取景平面上的位置；

（4）经过电脑分析处理，把取景平面上两个针脚图像位置转换到世界坐标系中，得到世界坐标系中针脚的位置，以此确定待定位元件中心位置以及元件姿态。

为实现装置目的，本发明采用如下技术方案：

基于双目视觉的插件元件针脚视觉定位装置，该装置包括两个相机，一个光源，一个直线运动装置，一个夹持待定位元件的气缸夹持机构；其中：

两个相机位于待定位元件的针脚的一侧，光源位于待定位元件的另一侧，光线通过待定位元件的针脚区域，目标针脚的轮廓投影在相机成像，两个相机采集的针脚投影图像可以确定针脚在两个相机光轴所在平面的位置；

气缸夹持机构夹持待定位元件，由直线运动装置控制待定位元件通过两个相机和光源之间的区域，通过控制直线运动装置的速度使两个相机都可以采集到目标针脚投影图像，由直线运动装置的位移传感器确定待定位元件的位置，返回信号给控制电脑控制相机拍照和光源开关。

上述方案进一步是：所述气缸夹持机构与直线运动装置之间有旋转运动机构桥接。

上述方案进一步是：所述直线运动装置为电机-丝杆直线运动机构，包括有伺服电机、丝杆、丝杆螺母，丝杆螺母套装在丝杆上，伺服电机驱动丝杆旋转，丝杆螺母沿丝杆轴向往复移动，丝杆螺母连接旋转运动机构，旋转运动机构再连接气缸夹持机构。

上述方案进一步是：所述电脑分别通过总线进行通信连接的运动控制器、图像采集卡、摄像控制器、光源控制器，以此对应连接直线运动装置、相机、光源及气缸夹持机构，电脑设有图像处理模块、CPU、存储器、人机接口，其中：

所述的运动控制器与所述直线运动装置相连接；所述由两个相机和一个光源分别与所述摄像控制器和光源控制器连接，所述摄像控制器用于实现所述两个方向相机的图像采集，所述光源控制器用于实现所述光源的开关控制，用于配合相机采集图像；所述两个方向相机的信号输出端与所述图像采集卡分别连接，所述图像采集卡用于将相机采集的数字图像信号送给所述CPU处理或到所述存储器保存；所述直线运动装置的位移传感器与I/O口连接，反馈待检测元件的位置给CPU，用于控制相机和光源工作。

本发明与现有技术相比，具有以下优点和有益效果：

（1）本视觉定位方法通过两个光轴与针脚垂直的相机可以检测出待检测元件针脚在水平面中的位置以及元件的姿态。

（2）本视觉定位方法结合直线运动机构，使得相机可以在机械手抓取电子元件运动的过程中采集元件针脚的投影图像，不需要通过旋转获得各个角度的图像信息，可以大大节省插件元件的定位检测时间。

（3）本视觉定位方法通过背光打光的方式，利用针脚的投影图像对待检测元件的针脚进行定位，避免了待检测元件本体透光和反光以及针脚端部倒角质量对针脚定位效果的影响。

（4）本视觉定位方法通过直接采集元件针脚的图像来定位元件，有效消除了通过元件本体的图像来定位元件位置的误差，大大提高了元件定位的精准度。

（5）本发明可用于插件技术行业的高速高精度自动光学检测。

附图说明：

下面结合附图及实施案例对本发明作进一步描述：

图1为现有侧面激光打光针脚定位装置简图；

图2为现有电子元件本体定位装置简图；

图3为图2的仰视简图；

图4为本发明元件定位装置正视图；

图5为本发明元件定位装置上视图；

图6为普通镜头针孔成像模型；

图7为双普通镜头相机坐标系；

图8为双相机坐标系以及垂直坐标系；

图9为垂直坐标系以及世界坐标系；

图10为两个针脚定位示意图；

图11为双远心镜头相机坐标系；

图12本发明检测***构框图。

具体实施方式：

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明提供的基于双目视觉的插件元件针脚视觉定位方法，该方法包括有如下步骤：

（1）在一取景平面上，从不同角度获取待定位元件的针脚的投影图像；

（2）经过电脑分析处理获得步骤（1）的待定位元件的针脚处在取景平面上的位置；

（3）重复上述步骤（1）、（2）获得待定位元件的另一针脚处在取景平面上的位置；

（4）经过电脑分析处理，把取景平面上两个针脚图像位置转换到世界坐标系中，得到世界坐标系中针脚的位置，以此确定待定位元件中心位置以及元件姿态。

参阅图4~12所示，本发明针对上述方法提供的基于双目视觉的插件元件针脚视觉定位装置包括两个相机6、7，一个光源8，一个直线运动装置，一个夹持待定位元件的气缸夹持机构4；其中：

两个相机6、7位于待定位元件5的针脚的一侧，光源8位于待定位元件5的另一侧，光线通过待定位元件的针脚区域，目标针脚的轮廓投影在相机成像，两个相机采集的针脚投影图像可以确定针脚在两个相机光轴所在平面的位置；

气缸夹持机构4夹持待定位元件，由直线运动装置控制待定位元件通过两个相机和光源之间的区域，通过控制直线运动装置的速度使两个相机都可以采集到目标针脚51投影图像，由直线运动装置的位移传感器确定待定位元件的位置，返回信号给控制电脑控制相机拍照和光源开关。

实施例1：

如图4、5所示，本装置包括相机6、相机7，光源8，气缸夹持机构4及直线运动装置。气缸夹持机构4与直线运动装置之间有旋转运动机构3桥接。所述直线运动装置为电机-丝杆直线运动机构，包括有伺服电机11、丝杆9、丝杆螺母2，丝杆9通过滚动轴承10安装在支架1上，丝杆螺母2套装在丝杆9上，伺服电机11驱动丝杆9旋转，丝杆螺母2沿丝杆轴向往复移动，丝杆螺母2连接旋转运动机构3，旋转运动机构3再连接气缸夹持机构4。图12所示，所述电脑分别通过总线进行通信连接的运动控制器、图像采集卡、摄像控制器、光源控制器，以此对应连接直线运动装置、相机、光源及气缸夹持机构，电脑设有图像处理模块、CPU、存储器、人机接口，其中：所述的运动控制器与所述直线运动装置相连接；所述由两个相机和一个光源分别与所述摄像控制器和光源控制器连接，所述摄像控制器用于实现所述两个方向相机的图像采集，所述光源控制器用于实现所述光源的开关控制，用于配合相机采集图像；所述两个方向相机的信号输出端与所述图像采集卡分别连接，所述图像采集卡用于将相机采集的数字图像信号送给所述CPU处理或到所述存储器保存；所述直线运动装置上的伺服电机11的位移传感器与I/O口连接，反馈待检测元件的位置给CPU，用于控制相机和光源工作。

相机和光源分别位于待定位元件的两侧，光线垂直于待检测元件的运动方向，相机6和相机7成一定角度分布。相机6和相机7的镜头的光轴都垂直于待定位元件针脚的方向，且相机6和相机7的镜头的光轴位于同一水平面，如图7所示的s-O-t平面。

气缸夹持机构4夹持待检测元件，先控制旋转运动机构3旋转一定角度，使得相机6和相机7采集的目标针脚51无其他针脚的重叠。然后由电机-丝杆直线运动机构驱动待检测元件直线通过相机和光源之间的区域。由伺服电机的位移传感器获取直线运动机构的位置，将该位置信号反馈给工控电脑，用该位置信号控制相机6和相机7拍照，以及作为光源8开关的信号源，即当待定位原件运动到指定位置时，光源8打开，相机6和相机7拍照，然后电机-丝杆直线运动机构继续向前运动，运动一定距离后，待定位元件的第二个目标针脚到达两个相机的拍照区域后，由伺服电机的位移传感器的信号反馈给工控电脑控制相机6和相机7拍照，然后关闭光源8。

本图像采集装置采集图像的原理：光线从待检测元件的一侧穿过针脚区域，针脚遮挡住一部分光线，在相机上成黑色投影区域，其余透光部位在相机上成白色区域，结合相机6和相机7中针脚的投影图像可以对元件针脚进行定位。

如图12所示，采用上述基于双目视觉的插件元件针脚视觉定位装置。电脑分别通过总线进行通信连接的运动控制器、图像采集卡、摄像控制器、光源控制器、图像处理模块、CPU、存储器、人机接口，其中：其中摄像控制器分别与相机6和相机7连接，分别控制相机6和相机7图像采集；光源控制器与光源8连接，控制光源8。图像采集卡与相机6和相机7的信号输出连接，将相机采集的数字图像信号送给CPU处理或保存到存储器。运动控制器与所述直线运动装置相连接，用于控制直线运动。直线运动装置的伺服电机位移传感器与I/O口连接，反馈待检测元件的位置给CPU，相机6、相机7和光源8根据传感器的信号采集图像，图像采集过程由程序自动控制完成，采集的图像和处理结果保存在存储器内，用于确定两个针脚的位置关系。

电脑对采集的图像进行二值化，然后对二值图像进行分析，找出需要定位的针脚，然后对坐标系进行转换，最终得到元件针脚在世界坐标系中的位置以及元件的姿态。

实施例2：

基于实施例1，本双目视觉元件定位***还包括针脚定位和坐标转换方法，以及元件姿态的确定方法：

因为每个相机和镜头的参数都不一样，所以在定位针脚前需要标定相机的内和外参数，本发明的元件针脚定位方法需要标定的内参数包括镜头相机焦距以及相机的芯片单位像素的尺寸。除了相机内参数的标定，还需要标定相机的外参数，确定两个相机光轴的夹角，以及通过标定确定镜头光学中心在世界坐标系中的位置，然后再确定两个相机的光学中心距离双相机坐标系s-O-t的原点O的距离。

如图6所示，普通镜头是小孔成像模型，结合相机6的镜头和相机7的镜头两个小孔成像模型，确定针脚的投影在图像中的位置，即针脚投影图像在图像坐标系中的位置。通过小孔成像模型可以换算出待定位针脚在两个相机构成的相机坐标系中的位置坐标P（s,t）。

然后将针脚位置转换到如图8所示坐标轴相互垂直的坐标系x-O-y中，假设该坐标系的x轴与相机坐标系的s轴平行，原点与s-O-t坐标系重合。由相机坐标系（s,t）转换到x-O-y坐标系的公式为：

（）

（）

假设世界坐标系k-O'-w的k轴与元件运动方向平行，然后将P点在x-O-y坐标系转换到的坐标系k-O'-w中，如图9所示，转换后得到针脚P在k-O'-w坐标系中的表示P（k,w)，转换公式为：

目前为止，只确定了一个针脚在世界坐标系中的位置，记第一个定位的针脚在世界坐标系下的位置坐标为（k1,w1），下一步要通过两个针脚的位置确定元件几何中心的位置和元件的姿态。机械手继续夹持待定位元件运动，记录该距离为d，第一个针脚运动到位置P'(k1-d,w1)，如图10所示，然后再对第二个针脚进行拍照，然后再通过前面的方法确定第二个针脚的位置Q(k2,w2)。然后通过这两个针脚的位置计算出元件几何中心的位置以及元件的姿态。

实施例3：

图11所示基于实施例1的远心镜头双目视觉插件元件定位方法：

普通镜头成像原理是基于图6的小孔成像模型，需要通过相机的内外参数用小孔成像模型经过较复杂的计算才可以得到针脚在双相机坐标s-O-t中的坐标。如果在该双目视觉插件元件定位***中使用两个远心镜头，远心镜头是一种平行光的成像模型，通过远心镜头获得针脚的投影图像，远心镜头成像模型的计算更加简单，可以进一步简化图像坐标系转换到双相机坐标系s-O-t的过程。而且远心镜头可以有效减少镜头成像的畸变，可以进一步简化计算过程以及提高双目视觉插件元件定位***的定位精度。

实施例4：

基于实施例1，本图像采集装置需要保证两个针脚都可以检测到：

在机械手抓取待定位元件后需要旋转一定的角度，使得两个相机获取的元件两个目标针脚的投影图像没有其他针脚重叠，具体角度需要根据待定位元件的针脚分布和针脚宽度确定。旋转运动机构就是为了保证两个目标针脚没有其他针脚重叠，从而保证定位精度。

气缸夹持机构夹持元件旋转一定角度后，接着做直线运动，目标针脚运动至可检测区域，即两个相机都可以拍到的区域，如图5中的绿色阴影区域所示，然后光源打开，两个相机给第一个目标针脚51拍照。接着电机-丝杆直线运动机构控制机械手继续做直线运动，直到待定位元件的第二个目标针脚到达可检测区域，两个相机分别给第二个目标针脚拍照，保证两个目标针脚都可以检测得到。

Claims (5)

1.基于双目视觉的插件元件针脚视觉定位方法，其特征在于：该方法包括有如下步骤：

（1）在一取景平面上，通过两个相机从不同角度获取待定位元件的针脚的投影图像，该取景平面是两个相机光轴所在平面，两个相机的镜头的光轴都垂直于待定位元件针脚的方向，且该取景环境是通过背光打光的方式，相机和光源分别位于待定位元件的两侧，光源的光线垂直于待检测元件的运动方向，光线通过待定位元件的针脚区域，目标针脚的轮廓投影在相机成像；

（2）经过电脑分析处理获得步骤（1）的待定位元件的针脚处在取景平面上的位置；

（3）重复上述步骤（1）、（2）获得待定位元件的另一针脚处在取景平面上的位置；

（4）经过电脑分析处理，把取景平面上两个针脚图像位置转换到世界坐标系中，得到世界坐标系中针脚的位置，以此确定待定位元件中心位置以及元件姿态。

2.基于双目视觉的插件元件针脚视觉定位装置，其特征在于：该装置包括两个相机，一个光源，一个直线运动装置，一个夹持待定位元件的气缸夹持机构；其中：

两个相机位于待定位元件的针脚的一侧，且两个相机的镜头的光轴都垂直于待定位元件针脚的方向；光源位于待定位元件的另一侧进行背光打光，光源的光线垂直于待检测元件的运动方向，光线通过待定位元件的针脚区域，目标针脚的轮廓投影在相机成像，两个相机采集的针脚投影图像可以确定针脚在两个相机光轴所在平面的位置；

气缸夹持机构夹持待定位元件，由直线运动装置控制待定位元件通过两个相机和光源之间的区域，通过控制直线运动装置的速度使两个相机都可以采集到目标针脚投影图像，由直线运动装置的位移传感器确定待定位元件的位置，返回信号给控制电脑控制相机拍照和光源开关。

3.根据权利要求2所述的基于双目视觉的插件元件针脚视觉定位装置，其特征在于：所述气缸夹持机构与直线运动装置之间有旋转运动机构桥接。

4.根据权利要求3所述的基于双目视觉的插件元件针脚视觉定位装置，其特征在于：所述直线运动装置为电机-丝杆直线运动机构，包括有伺服电机、丝杆、丝杆螺母，丝杆螺母套装在丝杆上，伺服电机驱动丝杆旋转，丝杆螺母沿丝杆轴向往复移动，丝杆螺母连接旋转运动机构，旋转运动机构再连接气缸夹持机构。

5.根据权利要求2所述的基于双目视觉的插件元件针脚视觉定位装置，其特征在于：电脑分别通过总线进行通信连接的运动控制器、图像采集卡、摄像控制器、光源控制器，以此对应连接直线运动装置、相机、光源，电脑设有图像处理模块、CPU、存储器、人机接口，其中：

所述的运动控制器与所述直线运动装置相连接；两个相机和一个光源分别与所述摄像控制器和光源控制器连接，所述摄像控制器用于实现所述两个方向相机的图像采集，所述光源控制器用于实现所述光源的开关控制，用于配合相机采集图像；所述两个方向相机的信号输出端与所述图像采集卡分别连接，所述图像采集卡用于将相机采集的数字图像信号送给所述CPU处理或到所述存储器保存；所述直线运动装置的位移传感器与I/O口连接，反馈待检测元件的位置给CPU，用于控制相机和光源工作。