CN106206357A - 一种微型芯片脚位方向嵌入式视觉自动检测***及其检测方法 - Google Patents

Abstract

本发明属于嵌入式视觉检测技术领域的一种微型芯片脚位方向嵌入式视觉自动检测***及其检测方法，包括图像采集模块、DSP图像处理模块和显示模块；所述图像采集模块，用于实时采集微型芯片图像，包括CCD模拟摄像机、LED蓝色光源，半球形遮光罩以及固定支架；图像采集模块获取原始数据后通过AV端口传送给DSP图像处理模块；所述的DSP图像处理模块将接收到的原始数据转码为数字图像数据，再进行图像处理，检测出微型芯片脚位方向即缺角位置，并将处理后的图像数据输出到显示模块；所述的显示模块用于实时显示检测出的脚位方向；本发明具有小型化、低功耗特点，可实现微型芯片脚位方向的快速在线自动检测。

Description

一种微型芯片脚位方向嵌入式视觉自动检测***及其检测 方法

技术领域

本发明属于嵌入式视觉检测技术领域，用于电子制造工业中微型芯片自动贴片***内的脚位方向在线实时自动检测的一种微型芯片脚位方向嵌入式视觉自动检测***及其检测方法。

背景技术

二十世纪末，电子制造工业引入大规模集成电路和超大规模集成电路技术，同时电子芯片的封装技术也在向微型化、超薄化、制式化的方向发展，落后的生产工艺更难适应电子制造产业的需求。为了适应发展的需要，电子工业开始大力发展表面贴装技术，这种技术革命性的改变了在印刷电路板上固定电子芯片的方式，采用特殊的焊接工艺将电子芯片固定在电路板上，是当今电子装备领域的主流技术。近年来，随着国内电子行业的发展，我国已经成为世界第一电子大国。用户对电子产品质量的要求越来越高，同时国内人工成本不断提高，促使越来越多的电子企业引入全自动表面贴装生产线。

随着贴片技术的发展和生产的高度自动化，相关产品的生产速度大幅提升，传统的人工视觉检测方法已经无法满足需求，而且随着电子产品集成度的提高，芯片的尺寸越来越小，也给贴片检测提出了很高的技术要求。

目前市面上关于贴片时的芯片脚位方向检测产品较少，且大部分是结合工控机或PLC作为自动贴片***的一体化产品，没有可分解性和可移植性；而其他一些针对检测环节的产品或方法都是基于PC平台使用Halcon或Opencv等机器视觉软件开发完成，体积大，功耗高，同样不适合工业生产线模块化的灵活发展趋势。

鉴于以上问题，发明一款基于嵌入式平台的微型芯片脚位方向在线实时自动检测***具有广阔的市场前景。

发明内容

本发明的目的是针对上述问题，基于电子制造工业自动化贴片生产线上的微型芯片脚位方向检测环节，提出一种基于DSP的微型芯片脚位方向嵌入式视觉自动检测***及其检测方法，用于实现对于微型芯片脚位方向的检测。

本发明的技术方案是：一种微型芯片脚位方向嵌入式视觉自动检测***，包括：图像采集模块、DSP图像处理模块和显示模块；

所述图像采集模块，用于实时采集微型芯片图像；

所述图像采集模块包括下部的芯片装载工作台及由金属杆连接的上部的固定支架、半球形遮光罩、CCD模拟摄像机、LED蓝光环形光源和电源；所述LED蓝光环形光源置于半球形遮光罩内，且对着CCD模拟摄像机的位置，为所述CCD模拟摄像机提供采集图像所需的照明；所述CCD模拟摄像机与DSP图像处理模块通过AV接口线缆相连；所述DSP图像处理模块，用于微型芯片图像的实时处理和分析；所述DSP图像处理模块与显示模块电连接，所述显示模块，用于实时显示检测结果。

上述方案中，所述DSP图像处理模块包括摄像机输入端口、两片用于存储数据的SDRAM存储器、用于存储程序的FLASH存储器、用于程序运算的DSP处理器和视频解码芯片，各器件之间由总线相连；

所述摄像机输入端口与所述CCD模拟摄像机通过AV接口线缆相连，用于获取所述CCD模拟摄像机所采集到的模拟信号图像；

所述视频解码芯片分别与所述摄像机输入端口和DSP处理器相连，用于接收所述摄像机输入端口的模拟信号图像并进行转码，转码后生成的数字图像输出DSP处理器，且DSP处理器对解码芯片进行控制。

优选的，所述SDRAM存储器为16bit外接DDR2SDRAM存储器。

优选的，所述DSP处理器的型号为TMS320DM6437。

上述方案中，所述视频解码芯片为TVP5151片；

所述DSP图像处理模块从所述CCD模拟摄像机接收复合视频信号，经过TVP5151片上视频转码芯片转换成BT.656格式，接入TMS320DM6437的VPFE视频输入通道。

一种根据所述微型芯片脚位方向嵌入式视觉自动检测***的检测方法，包括以下步骤：

S1、所述图像采集模块中将LED蓝光环形光源置于半球形遮光罩内，为所述CCD模拟摄像机提供采集图像所需的照明，CCD模拟摄像机实时采集待检测的微型芯片图像，并通过摄像机输入端口将模拟信号图像传输至DSP图像处理模块；

S2、DSP图像处理模块所含图像转码芯片将所述模拟图像信号转码为数字图像信号存储在片上内存中，之后由DSP处理器运行图像处理算法，对微型芯片图像进行处理，判别微型芯片脚位方向即微型芯片缺角方向；

S3、所述显示模块将脚位方向的检测结果实时显示于LCD屏上。

上述方案中，所述步骤2中DSP处理器运行图像处理算法包括以下步骤：

S1)转码操作：当CCD模拟摄像机采集到待检测的微型芯片图像后进行转码操作，并将生成的YUV图像转化为单通道RGB图像，提取YUV图像中的Y分量即可完成；

S2)均值滤波：对转码操作后得到的灰度图像进行均值滤波，以减弱图像在采集或传输过程中产生的噪声；

S3)阈值分割：采用求取灰度直方图的方法，根据半球形遮光罩内LED蓝光环形光源照明下所采集到的微型芯片图像的特点，对微型芯片图像灰度直方图进行分析，得到中间波峰像素的灰度分布范围，将该灰度范围内的像素灰度值置为255，而将其他像素灰度值置为0，实现阈值分割，可得到芯片中间有颜色区域的轮廓；

S4)连通区域提取：在二值化之后，采用提取连通区域方法，提取二值图像中最大区域，而将其他区域再次置为黑色即像素灰度值为0，分割出图像中唯一最大连通区域；

S5)形态学处理：对该最大连通域进行腐蚀和膨胀，消除缺口和毛刺，填补连通区域中间的孔洞，使最大连通区域的轮廓清晰明显；

S6)芯片缺角方向的检测：要完成微型芯片缺角方向的检测需要在矩形区域找到芯片的缺角并根据其在图中的分布位置来确定芯片缺角的方向。

上述方案中，所述步骤S6)具体包括以下步骤：

SⅠ、采用从四面逼近的方法，寻找灰度值为255的像素，检测到的第一个像素即被判定为矩形一角，这样即可得到矩形的三个正常直角，和一个缺角处的钝角，之后求取点和点之间的距离并比较，求得最大距离的即为缺角相邻的两个直角，在计算另外两个角到这两点的距离，较短的即为缺角；

SⅡ、根据缺角的钝角角点在图像中的像素坐标来判断缺角的方向：若角点位于图像的左上部分，芯片缺角方向即为左上；若角点位于图像的右上部分，芯片缺角方向即为右上，其他方向以此类推。

本发明与现有技术相比的优点在于：

1.采用DSP平台进行图像处理与分析具有功耗低，体积小特点，并且充分应用DSP的强大运算能力可以保证图像处理的实时性，快速性。

2.图像采集模块利用独立LED蓝色环形光源，并结合半球形遮光罩，具有高封闭性，使光照环境稳定，让图像处理过程具有较高的鲁棒性，适应性强，可使***在复杂环境光照下也能得以工作。

3.图像处理算法采用先利用直方图进行阈值分割，得到连通域后再从四个方向逼近，利用矩形几何特征比较找到芯片缺角，对于芯片的摆放位置和摆放角度没有过高的要求，***运行容错率高，实时性好。

附图说明

图1是本发明一实施方式的结构及流程图；

图2是本发明一实施方式的检测结果示例图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明，但本发明的保护范围并不限于此。

本发明针对微型芯片自动化贴片生产线上的芯片脚位方向检测环节，提出微型芯片脚位方向嵌入式视觉自动检测***及其检测方法，用于实现对于微型芯片脚位方向的检测。

图1所示为本发明所述微型芯片脚位方向嵌入式视觉自动检测***的结构及流程图，***主要由三大模块组成，即图像采集模块，用于实时采集微型芯片图像；DSP图像处理模块，用于微型芯片图像的实时处理和分析；显示模块，用于实时显示检测结果。

图像采集模块包括：芯片装载工作台及固定支架、半球形遮光罩、CCD模拟摄像机、LED蓝光环形光源和电源。LED蓝光环形光源置于半球形遮光罩内，且对着CCD模拟摄像机的位置，为所述CCD模拟摄像机提供采集图像所需的照明。所述CCD模拟摄像机与DSP图像处理模块通过通过AV接口线缆相连。所述DSP图像处理模块，用于微型芯片图像的实时处理和分析；所述DSP图像处理模块与显示模块电连接，所述显示模块，用于实时显示检测结果。

所述DSP图像处理模块包括摄像机输入端口、两片用于存储数据的16bit外接DDR2SDRAM存储器、用于存储程序的FLASH存储器、用于程序运算的DSP处理器和视频解码芯片，各器件之间由总线相连；

所述摄像机输入端口与所述CCD模拟摄像机通过AV接口线缆相连，用于获取所述CCD模拟摄像机所采集到的模拟信号图像；

所述视频解码芯片分别与所述摄像机输入端口和DSP处理器相连，用于接收所述摄像机输入端口的模拟信号图像并进行转码，转码后生成的数字图像输出DSP处理器，且DSP处理器对解码芯片进行控制。

所述DSP处理器的型号为TMS320DM6437，它是基于TI公司达芬奇技术，专为片上图像处理功能而研发的芯片，利用片内集成的多级高速缓存保证了数据处理的高效，并且设计了两片16bit外接DDR2SDRAM存储器实现32bit位宽256MB外部存储器供图像内存申请。

所述视频解码芯片为TVP5151片；所述DSP图像处理模块从所述CCD模拟摄像机接收复合视频信号，经过TVP5151片上视频转码芯片转换成BT.656格式，接入TMS320DM6437的VPFE视频输入通道。

本发明还提供一种根据所述微型芯片脚位方向嵌入式视觉自动检测***的检测方法，包括以下步骤：

S1、所述图像采集模块中将LED蓝光环形光源置于半球形遮光罩内，为所述CCD模拟摄像机提供采集图像所需的照明，CCD模拟摄像机实时采集待检测的微型芯片图像，并通过摄像机输入端口将模拟信号图像传输至DSP图像处理模块；

S2、DSP图像处理模块所含TVP5151图像转码芯片将所述模拟图像信号转码为数字图像信号存储在片上内存中，之后由DSP处理器运行图像处理算法，对微型芯片图像进行处理，判别微型芯片脚位方向即微型芯片缺角方向；

S3、所述显示模块将脚位方向的检测结果实时显示于LCD屏上。

所述图像处理算法流程如图1中所示，包括转码操作、均值滤波、阈值分割、连通区域提取、形态学处理、芯片缺角方向的检测这些环节：

S1)转码操作。：当CCD模拟摄像机采集到待检测的微型芯片图像后进行转码操作，并将生成的YUV图像转化为单通道RGB图像，提取YUV图像中的Y分量即可完成。

S2)均值滤波。：对转码操作后得到的灰度图像进行均值滤波，以减弱图像在采集或传输过程中产生的噪声。

S3)阈值分割，采用求取灰度直方图的方法。：根据半球形遮光罩内LED蓝光环形光源照明下所采集到的微型芯片图像的特点，其灰度直方图往往有三个波峰，分别表示微型芯片周边处的黑色，图像背景处的白色，以及芯片中间的灰色。利用这一特点对微型芯片图像灰度直方图进行分析，从正反两个方向多次循环运算比较，求得直方图的两个波谷，即可得到中间波峰像素的灰度分布范围。将该灰度范围内的像素灰度值置为255，而将其他像素灰度值置为0，实现阈值分割，可得到芯片中间有颜色区域的轮廓。

S4)连通区域提取。：在二值化之后，因为微型芯片的引脚标识与中间区域呈现同样的颜色，也会呈现为白色的前景区域，从而对芯片的定位形成干扰。为了确保只提取出芯片轮廓，消除引脚区域的干扰，采用提取连通区域方法，提取二值图像中最大区域，而将其他区域再次置为黑色即像素灰度值为0，分割出图像中唯一最大连通区域。

S5)形态学处理。：对该最大连通域进行腐蚀和膨胀，消除缺口和毛刺，填补连通区域中间的孔洞，使最大连通区域的轮廓清晰明显。

S6)芯片缺角方向的检测。：要完成微型芯片缺角方向的检测需要在矩形区域找到芯片的缺角并根据其在图中的分布位置来确定芯片缺角的方向，具体包括以下步骤：

SⅠ、为了避免图像中的芯片位置歪斜而对检测结果带来影响，需要更为全面的检测芯片的四个角来判断哪个是缺角，因此本发明采用从四面逼近的方法，分别在左边从上至下，在下边从左至右，在右边从下至上，在上边从右至左进行扫，寻找灰度值为255的像素，检测到的第一个像素即被判定为矩形一角，这样即可得到矩形的三个正常直角，和一个缺角处的钝角，之后求取点和点之间的距离并比较，求得最大距离的即为缺角相邻的两个直角，在计算另外两个角到这两点的距离，较短的即为缺角；

SⅡ、根据缺角的钝角角点在图像中的像素坐标来判断缺角的方向：若角点位于图像的左上部分，芯片缺角方向即为左上；若角点位于图像的右上部分，芯片缺角方向即为右上，其他方向以此类推。

应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种微型芯片脚位方向嵌入式视觉自动检测***，其特征在于，包括：图像采集模块、DSP图像处理模块和显示模块；

所述图像采集模块，用于实时采集微型芯片图像；

所述图像采集模块包括下部的芯片装载工作台及由金属杆连接的上部的固定支架、半球形遮光罩、CCD模拟摄像机、LED蓝光环形光源和电源；所述LED蓝光环形光源置于半球形遮光罩内，且对着CCD模拟摄像机的位置，为所述CCD模拟摄像机提供采集图像所需的照明；所述CCD模拟摄像机与DSP图像处理模块通过AV接口线缆相连；所述DSP图像处理模块，用于微型芯片图像的实时处理和分析；所述DSP图像处理模块与显示模块电连接，所述显示模块，用于实时显示检测结果。

2.根据权利要求1所述的微型芯片脚位方向嵌入式视觉自动检测***，其特征在于，所述DSP图像处理模块包括摄像机输入端口、两片用于存储数据的SDRAM存储器、用于存储程序的FLASH存储器、用于程序运算的DSP处理器和视频解码芯片，各器件之间由总线相连；

所述摄像机输入端口与所述CCD模拟摄像机通过AV接口线缆相连，用于获取所述CCD模拟摄像机所采集到的模拟信号图像；

所述视频解码芯片分别与所述摄像机输入端口和DSP处理器相连，用于接收所述摄像机输入端口的模拟信号图像并进行转码，转码后生成的数字图像输出DSP处理器，且DSP处理器对解码芯片进行控制。

3.根据权利要求2所述的微型芯片脚位方向嵌入式视觉自动检测***，其特征在于，所述SDRAM存储器为16bit外接DDR2SDRAM存储器。

4.根据权利要求2所述的微型芯片脚位方向嵌入式视觉自动检测***，其特征在于，所述DSP处理器的型号为TMS320DM6437。

5.根据权利要求1所述的微型芯片脚位方向嵌入式视觉自动检测***，其特征在于，所述视频解码芯片为TVP5151片；

所述DSP图像处理模块从所述CCD模拟摄像机接收复合视频信号，经过TVP5151片上视频转码芯片转换成BT.656格式，接入TMS320DM6437的VPFE视频输入通道。

6.一种根据权利要求1所述微型芯片脚位方向嵌入式视觉自动检测***的检测方法，其特征在于，包括以下步骤：

S1、所述图像采集模块中将LED蓝光环形光源置于半球形遮光罩内，为所述CCD模拟摄像机提供采集图像所需的照明，CCD模拟摄像机实时采集待检测的微型芯片图像，并通过摄像机输入端口将模拟信号图像传输至DSP图像处理模块；

S2、DSP图像处理模块所含图像转码芯片将所述模拟图像信号转码为数字图像信号存储在片上内存中，之后由DSP处理器运行图像处理算法，对微型芯片图像进行处理，判别微型芯片脚位方向即微型芯片缺角方向；

S3、所述显示模块将脚位方向的检测结果实时显示于LCD屏上。

7.根据权利要求6所述的微型芯片脚位方向嵌入式视觉自动检测***的检测方法，其特征在于，所述步骤2中DSP处理器运行图像处理算法包括以下步骤：

S1)转码操作：当CCD模拟摄像机采集到待检测的微型芯片图像后进行转码操作，并将生成的YUV图像转化为单通道RGB图像，提取YUV图像中的Y分量即可完成；

S2)均值滤波：对转码操作后得到的灰度图像进行均值滤波，以减弱图像在采集或传输过程中产生的噪声；

S3)阈值分割：采用求取灰度直方图的方法，根据半球形遮光罩内LED蓝光环形光源照明下所采集到的微型芯片图像的特点，对微型芯片图像灰度直方图进行分析，得到中间波峰像素的灰度分布范围，将该灰度范围内的像素灰度值置为255，而将其他像素灰度值置为0，实现阈值分割，可得到芯片中间有颜色区域的轮廓；

S4)连通区域提取：在二值化之后，采用提取连通区域方法，提取二值图像中最大区域，而将其他区域再次置为黑色即像素灰度值为0，分割出图像中唯一最大连通区域；

S5)形态学处理：对该最大连通域进行腐蚀和膨胀，消除缺口和毛刺，填补连通区域中间的孔洞，使最大连通区域的轮廓清晰明显；

S6)芯片缺角方向的检测：要完成微型芯片缺角方向的检测需要在矩形区域找到芯片的缺角并根据其在图中的分布位置来确定芯片缺角的方向。

8.根据权利要求7所述的微型芯片脚位方向嵌入式视觉自动检测***的检测方法，其特征在于，所述步骤S6)具体包括以下步骤：

SⅠ、采用从四面逼近的方法，寻找灰度值为255的像素，检测到的第一个像素即被判定为矩形一角，这样即可得到矩形的三个正常直角，和一个缺角处的钝角，之后求取点和点之间的距离并比较，求得最大距离的即为缺角相邻的两个直角，在计算另外两个角到这两点的距离，较短的即为缺角；

SⅡ、根据缺角的钝角角点在图像中的像素坐标来判断缺角的方向：若角点位于图像的左上部分，芯片缺角方向即为左上；若角点位于图像的右上部分，芯片缺角方向即为右上，其他方向以此类推。