CN112233175A - 基于YOLOv3-tiny算法的芯片定位方法及一体化定位平台 - Google Patents

Abstract

本发明公开了一种基于YOLOv3‑tiny算法的芯片定位方法及一体化定位平台，包括：1)采集芯片盘图像并进行图像预处理，通过以下方式扩充了深度学***台中使用训练好的YOLOv3‑tiny网络对芯片盘图像中的芯片进行定位，获取芯片实时坐标信息；5)机器人根据视觉***所提供的芯片坐标抓取芯片。本发明具有较好的鲁棒性，可同时输出多个目标的像素级坐标，全角度处理时间为毫秒级，满足了生产实际的用时要求。

Description

基于YOLOv3-tiny算法的芯片定位方法及一体化定位平台

技术领域

本发明属于芯片定位和深度学***台、定位方法。

背景技术

随着集成电路技术的发展，单片晶圆所产出的芯片越来越多，芯片裸片的成本在整个集成电路设计到应用端的流程中所占的比例越来越小，但同时由于芯片功能的增加和封装管脚的增多、集成电路芯片的封装越来越具有挑战性、封装占据的成本越来越大。因此如何降低封装过程中的失误率就变得越来越重要。作为芯片封装的首要步骤——拾取芯片裸片也变得格外重要。为了做到准确拾取芯片，精准的芯片定位成为一个亟待解决的难题。

目前，国外众多机构已经开发出了很多性能良好的图像处理软件，并已经广泛应用与工业生产实际中，并达到了良好的鲁棒性，但这些软件正版授权费用极高，个人开发难以承担。对于国内公司的商业应用则需支付更多的软件许可费用。而国内已公开发表的定位算法性能虽然相比之前提升明显，但是相对于商业化软件的性能仍有较大差距，且无法同时达到芯片生产实际所要求的高精度、高实时性。目前业界还鲜有将基于深度学习的目标检测定位应用于芯片生产实际的文献或新闻介绍，可见这一研究将颇具开创性。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供基于YOLOv3-tiny算法的芯片定位方法及一体化定位平台、定位方法，针对工业生产实际，以机器视觉和深度学习等理论为手段，可用于芯片定位与抓取，实现了芯片封装过程中的芯片快速精准定位。

为了实现上述目的，本发明采用的技术方案是：

所述的基于YOLOv3-tiny算法的芯片定位方法，包括以下步骤：

步骤1)，采集芯片盘图像并进行图像预处理，以扩充图片集的数量和种类，并对预处理后的图像进行标注；

步骤2)，将步骤1标注过的数据集输入到YOLOv3-tiny模型以训练YOLOv3-tiny网络；

步骤3)，获取芯片盘图像，利用训练好的YOLOv3-tiny网络，从芯片盘图像中定位芯片，获取芯片实时坐标信息。

所述步骤1)中，图像预处理包括：

1.1)以不同的角度(包含大角度与小角度)旋转图像；

1.2)调整图像曝光量，为数据集增加曝光不足以及曝光过度的图像；

1.3)增加图像常见噪声，包括：高斯噪声、泊松噪声、乘性噪声以及椒盐噪声。

扩充后的图像集可有效应对生产实际中存在的芯片盘非人为旋转、光照的变化以及图像采集和传输过程中所带来的噪声等各种情况，从而为测试算法性能提供了统一标准。

所述步骤1)中，使用LabelImg软件对预处理后的图像进行标注。

所述步骤2)中，所述YOLOv3-tiny模型相比于YOLOv3模型没有使用Darknet-53中的残差层，同时减少了卷积层的数量，且只在两个位置进行输出，最终得到两个不同尺度的结果用以检测。

所述步骤2)中，所述YOLOv3-tiny模型的损失函数包括三大部分：坐标误差、置信度误差以及分类误差，其中：

所述坐标误差包括中心坐标误差以及宽高坐标误差。

所述中心坐标误差为：

所述宽高坐标误差：

所述置信度误差为：

所述分类误差为：

当图片输入到神经网络后会被分成K×K个网格，每个网格产生M个候选框。参数

表示第i个网格的第j个先验框是否负责这个目标物体，如果负责

否则为0；参数

等于

(x_i，y_i，w_i，h_i)代表实际框的位置与大小；

代表预测框的位置与大小；参数λ_coord用来协调不同大小矩形框对误差函数贡献不一致所设置的一个协调系数；参数λ_noobj是为了减少没有物体计算部分所设置的贡献权重；参数

表示预测框内含有目标物体的概率得分；参数

代表真实值；参数

表示标记框所属类别的真实值；参数p_i(c)表示预测框属于类别c的概率。

最终损失函数表达式为：

本发明还提供了利用所述基于YOLOv3-tiny算法的芯片定位方法的一体化定位平台，包括：

工业摄像头，设置于芯片盘运行导轨上方，采集芯片盘图像；

带监视器的处理器，接收工业摄像头采集的芯片盘图像，搭载所述训练好的YOLOv3-tiny网络，对所述芯片盘图像中的芯片进行定位，获取芯片实时坐标信息；

带机械抓手的机器人，根据处理器提供的芯片坐标从芯片盘上抓取芯片。

所述导轨在工业摄像头下方设置有用于对芯片盘进行固定的卡位装置。

所述导轨在末端分为正常通道和问题通道，如果芯片抓取过程中没有出现异常，则该芯片盘将通过正常通道进行下一道工序，否则将芯片盘导入问题通道。

利用该一体化定位平台：

当芯片盘通过导轨运行至工业摄像头下方时，工业摄像头将采集到的芯片盘图像送至处理器进行图像处理；

在处理器中使用训练好的YOLOv3-tiny网络对采集的芯片盘图像中的芯片进行定位，获取芯片实时坐标信息；

机器人根据处理器所提供的芯片坐标抓取芯片。

与现有技术相比，本发明的有益效果是：

1)本发明所采用的算法对光照的线性变化极不敏感，即明暗变化的光照对算法的匹配结果不会产生明显影响。

2)本发明在应对非线性光照也显示出了很好的鲁棒性。

3)当图像出现噪声、虚焦或者干扰等情况时，本发明所采用的算法显示出了良好的抗噪声和抗干扰性能。

4)本发明的定位精度为像素级别，定位精准度良好，完全满足生产实际所需精度的要求。从而避免了通过提高图像采集设备的分辨率来提高定位精度，很好地控制了整体成本。

5)本发明所使用的YOLOv3-tiny网络在进行图片处理时保证了良好的性能，在旗舰型显卡RTX 2080Ti 11GB上处理时间在3.5ms～3.8ms之间，而在经济型显卡GTX 10603GB上运行时间也能控制在6ms左右，完全达到了生产实际对于处理时间的苛刻要求。

附图说明

图1为本发明方法的流程图。

图2为YOLOv3-tiny网络结构。

图3为损失函数与准确率曲线。

图4为芯片定位与抓取设备示意图。

图5为软件设计框架与思路示意。

图6为基于深度学习的芯片定位应用程序界面。

图7为算法匹配结果示意图。

图8为光照线性变化条件下，YOLOv3-tiny算法的鲁棒性测试结果。其中：(a)为原光照、无旋转的光照条件；(b)为光照增强、无旋转的光照条件；(c)为光照增强、有旋转的光照条件；(d)为光照降低、有旋转的光照条件。

图9为非线性光照条件下，YOLOv3-tiny算法的鲁棒性测试结果。其中：(a)为芯片中央有阴影的光照条件；(b)为较于(a)四周增加阴影的光照条件。

图10为噪声、虚焦和干扰条件下，YOLOv3-tiny算法的鲁棒性测试结果。其中：(a)为彩色噪声条件；(b)为虚焦条件；(c)为干扰条件。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

参见图1，本发明提供的一种基于YOLOv3-tiny算法的芯片定位方法，包括以下步骤：

步骤1)，采集芯片盘图像并进行图像预处理，以扩充图片集的数量和种类，并使用LabelImg等类似软件对预处理后的图像进行标注；具体地：

图像预处理包括：

1.1)以不同的角度(包含大角度与小角度)旋转图像；

1.2)调整图像曝光量，为数据集增加曝光不足以及曝光过度的图像；

1.3)增加图像常见噪声，包括：高斯噪声、泊松噪声、乘性噪声以及椒盐噪声。

扩充后的图像集可有效应对生产实际中存在的芯片盘非人为旋转、光照的变化以及图像采集和传输过程中所带来的噪声等各种情况，从而为测试算法性能提供了统一标准。

步骤2)，将步骤1标注过的数据集输入到YOLOv3-tiny模型以训练YOLOv3-tiny网络；其中YOLOv3-tiny模型相比于YOLOv3模型没有使用Darknet-53中的残差层，同时减少了卷积层的数量，且只在两个位置进行输出，最终得到两个不同尺度的结果用以检测。

YOLOv3-tiny模型的损失函数包括三大部分：坐标误差、置信度误差以及分类误差，其中：

坐标误差包括中心坐标误差以及宽高坐标误差。

中心坐标误差为：

宽高坐标误差：

置信度误差为：

分类误差为：

当图片输入到神经网络后会被分成K×K个网格，每个网格产生M个候选框。参数

表示第i个网格的第j个先验框是否负责这个目标物体，如果负责

否则为0；参数

等于

(x_i，y_i，w_i，h_i)代表实际框的位置与大小；

代表预测框的位置与大小；参数λ_coord用来协调不同大小矩形框对误差函数贡献不一致所设置的一个协调系数；参数λ_noobj是为了减少没有物体计算部分所设置的贡献权重；参数

表示预测框内含有目标物体的概率得分；参数

代表真实值；参数

表示标记框所属类别的真实值；参数p_i(c)表示预测框属于类别c的概率。

最终损失函数表达式为：

步骤3)，获取芯片盘图像，利用训练好的YOLOv3-tiny网络，从芯片盘图像中定位芯片，获取芯片实时坐标信息。

参见图2，当YOLOv3-tiny模型的输入图像大小为832×832×3时，将先通过5个卷积层和4个池化层得到52×52×256张量T1，再通过3个卷积层和2个池化层得到26×26×256张量T2，通过上采样将其化为52×52×128张量T3，将T1与T3拼接获得一个52×52×384张量T4，分别对T2和T4进行两次卷积运算，获得26×26×18张量T5和52×52×18的张量T6。T5和T6就是供YOLO检测的张量，最终输出结果。

参见图3，损失函数整体呈波动下降趋势，在3200次迭代后损失函数值小于2.0，在6400次迭代后损失函数值小于1.5，在8000次迭代后损失函数约为1.25。另外经过8000次迭代训练后，该网络最终的准确度约为99.7％。

基于上述定位方法，本发明还提供了一种一体化定位平台，参考图4以及图1，其包括：

工业摄像头1，设置于芯片盘2运行导轨3的上方，采集芯片盘图像，其中导轨3在工业摄像头1下方采集镜头处设置有用于对芯片盘2进行固定的卡位装置4，导轨3在末端分为正常通道5和问题通道6；

带监视器的处理器7，接收工业摄像头1采集的芯片盘图像，搭载训练好的YOLOv3-tiny网络，对芯片盘图像中的芯片8进行定位，获取芯片8实时坐标信息；

带机械抓手的机器人9，根据处理器7提供的芯片坐标从芯片盘2上抓取芯片8。

图4所展示的硬件结构是本发明针对工业生产实际，设计的一套可以用于芯片定位与抓取的芯片图像采集与引导定位及抓取设备。工业摄像头1通过支架固定在支撑臂上，可以通过旋钮调节高低、瞳距等。芯片盘2通过导轨3运送，当其运行至机器人9下方时停止，卡位装置4将对芯片盘2进行固定，之后机器人9根据视觉***提供的坐标抓取芯片8。该区块所有芯片8被抓取后，导轨3继续运转将下一个芯片盘2送至机器人9和工业摄像头1下方。如果该作业过程中没有出现异常，则该芯片盘2将通过正常通道5进行下一道工序，反之导出机制则会控制导轨3的连接，利用与计算机相连的导出机构10，将芯片盘2导入问题通道6。

本发明的算法实现过程主要包括算法设计和在Visual Studio上利用C++语言进行编写及调试，并且使用MFC搭建了软件交互界面。本发明所设计的软件交互界面的功能主要包括数据采集模块、模板选择模块、待搜索图像选择模块、图像处理(基于YOLOv3的芯片定位模块)、结果数据显示模块以及结果可视化模块。

一体化快速芯片定位平台的架构组成参见图5，具体操作步骤如下：

1)图6为本发明的应用程序初始化界面。本发明的应用程序主界面主要有以下几个模块：“选择图片”按钮、“加载模板”按钮、“图像金字塔”按钮、“触发(开/关)”按钮、“退出”按钮、“YOLO匹配(图片)”按钮、“YOLO匹配(视频)”按钮和模板图像显示区域、结果数据显示区域以及待搜索图片显示区域。

2)点击“YOLO匹配(图片)”按钮则会对图片进行检测，检测结果如图7所示，图中右侧区域框出了所有检测到的芯片，而在左侧cmd命令行中输出了每一个芯片对应的坐标值，以及处理该张图片的用时—3.60500ms。

3)点击“YOLO匹配(视频)”按钮则会对视频流进行基于深度学习算法的检测，呈现结果与图7类似。

本发明在如表1所示的硬件配置下对YOLOv3-tiny算法的定位鲁棒性、定位精度以及定位时间进行了测试，结果如下。

表1实验平台硬件配置

1)定位鲁棒性测试

1.1)光照线性变化

通过对不同芯片在大量不同光照以及旋转角度下进行实验，实验结果表明本发明所提算法对光照的线性变化极不敏感，即明暗变化的光照对算法的匹配结果不会产生明显影响。参见图8中(a)、(b)、(c)、(d)，为本发明算法的匹配结果。

1.2)非线性光照

在芯片精定位时，虽然会采用专用设备进行照明，但保证理想均匀光照条件比较困难。因此本发明所提算法也应对非线性光照不敏感。参见图9中(a)、(b)，为本发明算法的匹配结果，结果显示算法在非线性光照条件下鲁棒性优秀。

1.3)噪声、虚焦和干扰

在生产实际中由于各种原因，如图像采集、传输过程中线路不稳定；电压等导致光照不稳定；由于***工作环境变化，如外界光照变化、振动等等很多因素影响，所处理的图像可能会出现噪声、虚焦或者干扰等情况。所以算法的鲁棒性很大程度上体现在对这类因素下的图像处理。参见图10中(a)、(b)、(c)显示的是在噪声、虚焦和干扰下算法匹配得到的结果。可以看出，YOLOv3-tiny算法在这类情况下同样具有良好的抗噪声和干扰性能。

2)定位精度测试

本发明YOLOv3-tiny算法最大的优点就是可以同时输出多个目标的坐标，图8(a)的处理数据结果如表2所示。

表2 YOLOv3-tiny算法对图8(a)处理数据结果

由表2和图8(a)可以看出，YOLOv3-tiny算法的定位精度为像素级，虽然没有输出旋转角度，但当图像发生旋转时仍能准确匹配到目标，并画出外接矩形，所以对于一开始的粗定位，该算法精度可以保证。

3)定位时间测试

在生产实际中，对于处理时间要求极为严苛，对于一张尺寸为640×480的图片，全角度(-180°～180°)处理时间须达到毫秒级，即单张图片处理时间要小于10ms。本发明YOLOv3-tiny算法在处理图片时可以保证良好的性能，在旗舰型显卡RTX 2080Ti 11GB上处理时间在3.5ms～3.8ms之间，而在经济型显卡GTX 1060 3GB上运行时间也能控制在6ms左右，完全达到了所要求的时间要求，且考虑到GTX 1060 3GB和RTX 2080Ti 11GB在价格上有着一个数量级的差距，在工业实际部署中前者显然是更好的选择。

以上的具体实施方式仅为本发明的较佳实施例，并不用以限制本发明，凡在发明的精神及原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于YOLOv3-tiny算法的芯片定位方法及一体化定位平台，其特征在于，包括以下步骤：

步骤1)，采集芯片盘图像并进行图像预处理，以扩充图片集的数量和种类，并对预处理后的图像进行标注；

步骤2)，将步骤1标注过的数据集输入到YOLOv3-tiny模型以训练YOLOv3-tiny网络；

步骤3)，获取芯片盘图像，利用训练好的YOLOv3-tiny网络，从芯片盘图像中定位芯片，获取芯片实时坐标信息。

2.根据权利要求1所述基于YOLOv3-tiny算法的芯片定位方法，其特征在于，所述步骤1)中，图像预处理包括：

1.1)以不同的角度旋转图像；

1.2)调整图像曝光量，为数据集增加曝光不足以及曝光过度的图像；

1.3)增加图像常见噪声，包括：高斯噪声、泊松噪声、乘性噪声以及椒盐噪声。

3.根据权利要求1或2所述基于YOLOv3-tiny算法的芯片定位方法，其特征在于，所述步骤1)中，使用LabelImg软件对预处理后的图像进行标注。

4.根据权利要求1所述基于YOLOv3-tiny算法的芯片定位方法，其特征在于，所述步骤2)中，所述YOLOv3-tiny模型相比于YOLOv3模型没有使用Darknet-53中的残差层，同时减少了卷积层的数量，且只在两个位置进行输出，最终得到两个不同尺度的结果用以检测。

5.根据权利要求1所述基于YOLOv3-tiny算法的芯片定位方法，其特征在于，所述步骤2)中，所述YOLOv3-tiny模型的损失函数包括三大部分：坐标误差、置信度误差以及分类误差，其中：

所述坐标误差包括中心坐标误差以及宽高坐标误差；

所述中心坐标误差为：

所述宽高坐标误差为：

所述置信度误差为：

所述分类误差为：

当图片输入到神经网络后会被分成K×K个网格，每个网格产生M个候选框，参数

表示第i个网格的第j个先验框是否负责这个目标物体，如果负责则

否则为0；参数

等于

(x_i，y_i，w_i，h_i)代表实际框的位置与大小；

代表预测框的位置与大小；参数λ_coord用来协调不同大小矩形框对误差函数贡献不一致所设置的一个协调系数；参数λ_noobj是为了减少没有物体计算部分所设置的贡献权重；参数

表示预测框内含有目标物体的概率得分；参数

代表真实值；参数

表示标记框所属类别的真实值；参数p_i(c)表示预测框属于类别c的概率；

最终损失函数表达式为：

6.一种利用权利要求1所述基于YOLOv3-tiny算法的芯片定位方法的一体化定位平台，其特征在于，包括：

工业摄像头，设置于芯片盘运行导轨上方，采集芯片盘图像；

带监视器的处理器，接收工业摄像头采集的芯片盘图像，搭载所述训练好的YOLOv3-tiny网络，对所述芯片盘图像中的芯片进行定位，获取芯片实时坐标信息；

带机械抓手的机器人，根据处理器提供的芯片坐标从芯片盘上抓取芯片。

7.根据权利要求6所述一体化定位平台，其特征在于，所述导轨在工业摄像头下方设置有用于对芯片盘进行固定的卡位装置。

8.根据权利要求6所述一体化定位平台，其特征在于，所述导轨在末端分为正常通道和问题通道，如果芯片抓取过程中没有出现异常，则该芯片盘将通过正常通道进行下一道工序，否则将芯片盘导入问题通道。

9.根据权利要求6所述一体化定位平台，其特征在于，当芯片盘通过导轨运行至工业摄像头下方时，工业摄像头将采集到的芯片盘图像送至处理器进行图像处理；在处理器中使用训练好的YOLOv3-tiny网络对采集的芯片盘图像中的芯片进行定位，获取芯片实时坐标信息；机器人根据处理器所提供的芯片坐标抓取芯片。

Images