CN112786509B - 一种定位***、定位方法及计算设备 - Google Patents
一种定位***、定位方法及计算设备 Download PDFInfo
- Publication number
- CN112786509B CN112786509B CN202110101951.8A CN202110101951A CN112786509B CN 112786509 B CN112786509 B CN 112786509B CN 202110101951 A CN202110101951 A CN 202110101951A CN 112786509 B CN112786509 B CN 112786509B
- Authority
- CN
- China
- Prior art keywords
- chip
- image
- camera
- station
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 124
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 60
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 15
- 238000007689 inspection Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/68—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for positioning, orientation or alignment
- H01L21/681—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for positioning, orientation or alignment using optical controlling means
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/67005—Apparatus not specifically provided for elsewhere
- H01L21/67242—Apparatus for monitoring, sorting or marking
- H01L21/67259—Position monitoring, e.g. misposition detection or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Die Bonding (AREA)
- Wire Bonding (AREA)
Abstract
本发明公开了一种定位***,包括:三个工位,每个工位分别包括一个相机,第一相机适于采集芯片的第一工位图像,第二工位、第三工位分别提供高温、低温环境,第二相机、第三相机分别采集芯片的第三图像、第四图像;驱动组件,适于驱动芯片运动;计算设备,分别与三个相机、驱动组件相连,适于根据第一工位图像确定芯片位置信息,以便调整芯片的位置至第一相机的视野中央,并适于处理第三图像和/或第四图像,以确定芯片的第三位置信息和/或第四位置信息,进而确定芯片的引脚位置,以便对芯片通电进行高温检测和/或低温检测。此外,本发明还公开了相应的方法和计算设备。根据本发明的技术方案,提高了对芯片的通电检测效率,检测结果也更加准确可靠。
Description
技术领域
本发明涉及定位和检测技术领域,尤其涉及一种用于芯片的定位***、定位方法及计算设备。
背景技术
智能制造是我国当前工业制造发展的主要方向,自动化设备的开发是推进智能制造发展的重要手段。随着信息科技的迅速发展,对整个电子行业提出了更高的要求。集成电路作为信息的主要载体,其生产效率需要大幅提升。
DIE芯片的检测是集成电路板生产过程中一个重要的环节。DIE芯片的检测需要经过上料、定位、拾取、检测等步骤,其中定位更是整个检测环节的关键。在检测过程中,通常利用机器视觉模拟人眼的方式,通过采集图像,提取DIE芯片的位置信息,来实现对芯片的识别定位。机器视觉是实现零部件自动化定位和检测的有效途径。
现有技术中,并未提出针对DIE芯片的视觉定位***。现有的用于其他零部件的定位检测***,一方面定位精度不高,不能满足DIE芯片的检测要求,另一方面,检测效率低。
为此,需要一种用于DIE芯片的定位***及方法,以解决上述技术方案中存在的问题。
发明内容
为此,本发明提供了一种定位***及定位方法,以解决或至少缓解上面存在的问题。
根据本发明的第一个方面,提供了一种定位***,第一工位,包括第一相机,所述第一相机适于采集芯片的第一工位图像;第二工位,适于提供高温环境,包括第二相机,所述第二相机适于采集芯片的第三图像;第三工位,适于提供高温环境,包括第三相机,所述第三相机适于采集芯片的第四图像;驱动组件,适于驱动芯片运动,并适于驱动芯片从第一工位移动至第二工位,或者从第二工位移动至第三工位;以及计算设备,分别与第一相机、第二相机、第三相机、驱动组件相连,适于获取第一工位图像,根据第一工位图像确定芯片位置信息,并根据芯片位置信息控制驱动组件调整芯片的位置,以使芯片位于第一相机的视野中央;并适于获取第三图像和/或第四图像,对第三图像和/或第四图像进行处理,以确定芯片的第三位置信息和/或第四位置信息,根据芯片的第三位置信息和/或第四位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片进行高温检测和/或低温检测。
可选地,在根据本发明的定位***中,所述第一工位图像包括第一图像和第二图像,所述第一相机进一步适于:基于第一焦距拍摄芯片带,以采集第一图像;基于第二焦距拍摄芯片,以采集第二图像;所述计算设备进一步适于:获取所述第一图像,根据第一图像确定芯片的第一位置信息,并根据第一位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野中;获取所述第二图像,根据第二图像确定芯片的第二位置信息,并根据第二位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野正中央。
可选地,在根据本发明的定位***中,所述驱动组件还与第一相机的镜头相连,适于调整第一相机的镜头运动,以便调整第一相机的焦距。
可选地,在根据本发明的定位***中,所述驱动组件包括电机和吸嘴,所述吸嘴适于吸取芯片,所述电机通过顶针与吸嘴连接,适于通过吸嘴带动芯片从第一工位移动至第二工位,或者从第二工位移动至第三工位。
可选地,在根据本发明的定位***中,第一工位包括基座,芯片适于放置在基座上;所述驱动组件与所述基座相连,适于驱动基座运动,以便带动基座上的芯片水平运动。
根据本发明的第二个方面,提供了一种定位方法,在如上所述的定位***中执行,包括步骤:在第一工位,通过第一相机采集芯片的第一工位图像;根据第一工位图像确定芯片位置信息,并根据芯片位置信息调整芯片的位置,以使芯片位于第一相机的视野中央;通过驱动组件驱动芯片运动至第二工位,并通过第二相机采集芯片的第三图像;对所述第三图像进行处理,以确定芯片的第三位置信息,并根据芯片的第三位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片通电进行高温检测;通过驱动组件驱动芯片运动至第三工位,并通过第三相机采集芯片的第四图像;对所述第四图像进行处理,以确定芯片的第四位置信息,并根据芯片的第四位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片通电进行低温检测。
可选地,在根据本发明的定位方法中,所述第一工位图像包括第一图像和第二图像,其中,采集第一工位图像、确定芯片位置信息的步骤包括:通过第一相机以第一焦距拍摄芯片带,以采集第一图像;根据所述第一图像确定芯片的第一位置信息,并根据第一位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野中;通过第一相机以第二焦距拍摄芯片,以采集第二图像;根据所述第二图像确定芯片的第二位置信息,并根据第二位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野正中央。
根据本发明的第三个方面,提供了一种定位方法,在计算设备中执行,包括步骤:获取芯片的第一工位图像,根据第一工位图像确定芯片位置信息,并根据芯片位置信息调整芯片的位置,以使芯片位于第一相机的视野中央;获取芯片的第三图像,并对第三图像进行处理,以确定芯片的第三位置信息,并根据芯片的第三位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片进行高温检测;以及获取芯片的第四图像,并对第四图像进行处理,以确定芯片的第四位置信息,并根据芯片的第四位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片进行低温检测。
可选地,在根据本发明的定位方法中,确定芯片位置信息的步骤包括:获取第一图像,根据第一图像确定芯片的第一位置信息,并根据第一位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野中;获取第二图像,根据第二图像确定芯片的第二位置信息,并根据第二位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野正中央。
可选地,在根据本发明的定位方法中,根据第一图像确定芯片的第一位置信息的步骤包括:获取第一图像对应的第一灰度图,对第一灰度图进行膨胀处理;根据第一灰度图的直方图确定第一阈值,并基于第一阈值对第一灰度图进行二值化处理;基于二值化处理后的第一灰度图提取多个连通域,并选取面积最大的连通域作为特征区域;根据所述特征区域的直方图确定第二阈值,并基于第二阈值对所述特征区域进行二值化处理;提取二值化处理后的特征区域的多个连通域,并对多个连通域进行开运算处理;对多个连通域进行排序,确定第一个连通域的位置;对多个连通域的边缘点进行直线拟合,以确定芯片的旋转角度。
可选地,在根据本发明的定位方法中,确定芯片的第二位置信息的步骤包括:确定芯片上的两个圆的圆心位置,基于两个圆的圆心位置确定芯片中心的位置和芯片的旋转角度。
可选地,在根据本发明的定位方法中,确定芯片的第二位置信息的步骤包括:获取第二图像对应的第二灰度图;根据第二灰度图的直方图确定第二阈值,并基于第二阈值对第二灰度图进行二值化处理;对二值化处理后的第二灰度图进行开运算处理,并提取开运算处理后的第二灰度图上的多个连通域;基于最小外接圆算法确定每个连通域对应的外接圆圆心和半径;基于圆心位置对多个外接圆进行排序,并确定间距在预定距离内的相邻的两个外接圆;基于所述两个外接圆的圆心位置来确定芯片中心的位置和芯片的旋转角度。
可选地,在根据本发明的定位方法中,对第三图像进行处理的步骤包括:获取第三图像对应的第三灰度图,基于高温定位模板对第三灰度图进行归一化匹配,以获取所述第三灰度图上相关系数大于阈值的多个数据点;基于所述多个数据点提取多个连通域,计算每个连通域的形心,并将形心作为连通域的候选点,基于每个连通域的候选点生成候选点集合。
可选地,在根据本发明的定位方法中,对第三图像进行处理的步骤包括:获取第三图像对应的第三灰度图,对第三灰度图进行边缘检测,以获取第三灰度图的轮廓图;计算所述轮廓图的权重形心,以所述权重形心为中心来提取第三灰度图的特征区域;确定所述特征区域对应的第三阈值,并基于第三阈值对所述特征区域进行二值化处理,基于二值化处理后的特征区域提取多个连通域;基于最小外接圆算法确定每个所述连通域对应的外接圆圆心和半径,确定半径在第一预定区间内的一个或多个外接圆的圆心,将所确定的一个或多个圆心作为候选点,生成候选点集合。
可选地,在根据本发明的定位方法中,在生成候选点集合之后,包括步骤:从所述候选点集合中,获取平方距在第二预定区间内的一组或多组候选点对,选取其中一组候选点对作为第一目标数据点对;基于第一目标数据点对确定芯片中心的位置和旋转角度。
可选地,在根据本发明的定位方法中,选取其中一组候选点对作为第一目标数据点对的步骤包括:确定在多组候选点对中、半径最接***均值或者平方距最接***均值的候选点对,作为第一目标数据点对。
可选地,在根据本发明的定位方法中,对第四图像进行处理的步骤包括:获取第四图像对应的第四灰度图,基于低温定位模板对第四灰度图进行归一化匹配,并获取匹配结果的最大值和最大值对应的数据点;从以所述最大值对应的数据点为圆心、以R为半径的圆内获取多个数据点,并从所述多个数据点中获取平方距在第三预定区间内的多组数据点对,从多组数据点对中选取匹配度最大的点对,作为第二目标数据点对;基于第二目标数据点对确定芯片中心的位置和旋转角度。
根据本发明的第四个方面,提供一种计算设备,包括:至少一个处理器;和存储有程序指令的存储器,当所述程序指令被所述处理器读取并执行时,使得所述计算设备执行如上所述的定位方法。
根据本发明的第五个方面,提供一种存储有程序指令的可读存储介质,当所述程序指令被计算设备读取并执行时,使得所述计算设备执行如上所述的定位方法。
根据本发明的技术方案,提供了一种定位***和方法,在检测芯片之前,基于机器视觉对芯片进行粗定位和细定位两步定位,有利于更精准地定位芯片,这样,在检测工位采集芯片图像后,可以根据芯片图像更高效、更准确地计算出芯片的位置信息,根据芯片位置对其通电检测,有利于提高对芯片的检测效率。
而且,本发明考虑到不同的温度环境会影响相机拍摄的图像效果,并针对高温检测和低温检测采取相应的算法来处理图像,以确定芯片的精确位置。这样,进一步提高了对芯片的通电检测效率,检测结果也更加准确可靠。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的定位***100的结构示意图;
图2示出了根据本发明一个实施例的芯片定位方法200的流程图;
图3示出了根据本发明一个实施例的芯片定位过程的示意图;
图4示出了根据本发明一个实施例的计算设备400的示意图;
图5示出了根据本发明一个实施例的芯片定位方法500的流程图;
图6a~图6d分别示出了根据本发明一个实施例的芯片的第一图像、第二图像、第三图像、第四图像的效果图;
图7a、图7b分别示出了根据本发明一个实施例的单张图像的直方图、直方图统计图;
图8a示出了根据本发明一个实施例的开运算的核值与连通域面积均值之间的拟合关系示意图;
如图8b示出了根据本发明一个实施例的芯片之间的距离示意图;
图8c示出了根据本发明一个实施例的开运算处理后的二值化图像的效果图;
图8d示出了一个根据本发明一个实施例的芯片边缘点拟合的效果图;
图9a、图9b分别示出了根据本发明一个实施例的第三图像的轮廓图、特征区域效果图;以及
图10a、图10b分别示出了根据本发明一个实施例的高温定位模板、低温定位模板的效果图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如前文所述,现有技术中的定位方法在对芯片进行定位检测时,存在一定的缺陷,因此本发明提出了一种性能更优化的定位***100,该定位***100可用于对芯片进行定位和检测。应当指出,本发明的定位***100可用于对DIE芯片进行定位和检测,但本发明并不限于芯片的具体种类,还可以对其他种类的芯片进行定位。
图1示出了根据本发明一个实施例的定位***100的结构示意图。
芯片定位***100可用于对待检测的芯片进行视觉定位,以检测芯片在高温环境和低温环境的运行状况。这里,本发明对高温环境、低温环境的具体温度范围不做限制,换言之,根据本发明的***100,在对芯片定位后,通过提供预定温度环境,便可以检测芯片在预订温度环境下的运行状况。
如图1所示,***100包括用于对芯片进行定位的第一工位110、用于对芯片进行高温检测的第二工位120、以及用于对芯片进行低温检测的第三工位130。这里,第二工位120可以为芯片提供高温环境,第三工位130可以为芯片提供低温环境。应当指出,本发明对三个工位的位置不做具体限定。为了便于定位后的检测,在本发明的实施例中,三个工位在水平方向并排间隔地布置,并且,三个工位的相机也位于水平方向的直线上。
其中,每个工位分别包括一个用于采集芯片图像的相机。第一工位110包括第一相机115,第二工位120包括第二相机125,第三工位130包括第三相机135。
***100还包括计算设备400(计算设备400未在图1中示出)。计算设备400分别与第一相机115、第二相机125、第三相机135相连,可以控制每个相机拍摄芯片图像,并获取三个相机采集的芯片图像,以及根据芯片图像来计算位置信息,从而确定芯片的位置和旋转角度。
根据一个实施例,***100还包括驱动组件140,计算设备400与驱动组件140相连,用于向驱动组件发送指令以控制驱动组件的工作,通过驱动组件驱动芯片在水平方向运动,从而调整芯片相对于相机的水平位置,或者,也可以通过控制驱动组件驱动第一相机的镜头运动,来调整镜头相对于芯片的位置或距离,以便调整第一相机镜头的焦距。
需要说明的是,在根据本发明的***100对芯片进行定位检测时,放置在第一工位110上的是包括多个芯片的芯片带,***100会基于芯片带上的芯片的排列顺序来依次对芯片进行检测,首先将芯片带上的第一个芯片作为待检测的芯片。在通过第二工位、第三工位对芯片进行高温或低温检测之前,首先在第一工位110完成对待检测的芯片的定位。
根据一个实施例,在第一工位110,通过第一相机115采集芯片的第一工位图像,并将第一工位图像发送至计算设备400。这里,需要说明的是,在第一工位110采集芯片图像时,第一相机115所拍摄的对象是包括多个芯片的芯片带,通过调整芯片带的位置可以采集到包括芯片带上的第一个芯片的图像,以便根据第一工位图像对该芯片进行定位。
计算设备400获取到第一工位图像后,可以根据第一工位图像确定芯片位置信息,并根据芯片位置信息调整芯片的位置,也即是计算设备400通过控制驱动组件的运动状态来驱动芯片运动,从而调整芯片位置,以使芯片位于第一相机110的视野中央。
根据一个实施例,第一工位图像包括第一图像和第二图像,相应地,芯片位置信息包括第一位置信息和第二位置信息。这里,第一位置信息和第二位置信息均是指芯片在第一工位110的位置信息,例如芯片的位置信息和旋转角度。
具体而言,通过第一相机115以第一焦距拍摄芯片,以采集第一图像。这里,第一相机115实际所拍摄的对象是包括多个芯片的芯片带,基于第一焦距可以使芯片带的至少一部分出现在第一相机115的视野中。应当指出,本发明不限于第一焦距的具体数值,第一焦距例如为1倍焦距。第一相机115在采集第一图像后,将第一图像发送至计算设备400。
计算设备400获取第一相机115发送的第一图像,根据第一图像,基于粗定位算法来确定芯片的第一位置信息,并根据第一位置信息控制驱动组件140驱动芯片(芯片带)运动,以使芯片带上的第一个芯片位于第一相机的视野中。这里,本发明对计算设备400确定芯片第一位置信息的具体算法(粗定位算法)不做限定,只要能根据第一图像确定第一位置信息的算法均在本发明的保护范围之内。
图6a~图6d分别示出了根据本发明一个实施例的芯片的第一图像、第二图像、第三图像、第四图像的效果图。
需要说明的是,基于第一焦距拍摄第一图像上包括芯片带的至少一部分,这样,根据第一图像可以确定芯片带上的第一个芯片(即是当前待检测的芯片)的粗略位置,换言之,计算设备400所确定的第一位置信息包括芯片带上的第一个芯片的粗略位置信息。进而,计算设备400根据第一位置信息来调整芯片带的位置,例如通过控制驱动组件140的运动状态来驱动芯片带在水平方向运动(水平移动或旋转),从而调整待检测的芯片相对于第一相机的位置或角度,以使芯片带上的第一个芯片位于第一相机115的视野中。
随后,通过第一相机115以第二焦距拍摄芯片,以采集第二图像。这里,基于第二焦距可以拍摄到芯片带上的第一个芯片的高清图像,以便基于高清图像对芯片进行更精细的定位。应当指出,本发明不限于第二焦距的具体数值,第二焦距例如为4.5倍焦距。第一相机115在采集第二图像后,将第二图像发送至计算设备。
计算设备400在获取第一相机发送的第二图像之后,根据第二图像,基于细定位算法确定芯片的第二位置信息,并根据第二位置信息控制驱动组件140驱动芯片(芯片带)运动,以使待检测的芯片位于第一相机115的视野正中央。这里,本发明对计算设备400确定芯片第二位置信息的具体算法(细定位算法)不做限定,只要能根据第二图像确定第二位置信息的算法均在本发明的保护范围之内。
根据本发明的***100,可以自动调整第一相机115的焦距。在一种实施方式中,驱动组件140与第一相机115的镜头116相连,计算设备400通过控制驱动组件140的运动状态,通过驱动组件140来调整第一相机115的镜头116运动,从而实现调整第一相机的焦距。例如,在通过第一相机110拍摄芯片的第一图像之前,控制驱动组件140将第一相机的镜头116调整到第一焦距;在通过第一相机110拍摄芯片的第二图像之前,控制驱动组件140将第一相机的镜头116调整到第二焦距。
需要说明的是,由于第二图像是基于更大的焦距拍摄针对待检测的芯片而拍摄的高清图像,根据第二图像所确定的第二位置信息是芯片在第一工位110上的精确位置信息,第二位置信息包括芯片中心的位置和芯片的旋转角度。根据第二位置信息可以进一步精确地调整芯片的位置,例如通过控制驱动组件140的运动状态来驱动芯片(芯片带)在水平方向运动(水平移动或旋转),从而调整待检测的芯片相对于第一相机的位置或角度,以使待检测的芯片位于第一相机115的视野正中央。
根据一种实施方式,每个工位分别包括用于放置芯片的基座。第一工位110包括第一基座,在对芯片进行定位和检测之前,人工上料,由人工将嵌入有多个芯片(芯片带)的支架112放置在第一基座111上。支架112用于固定芯片带。
驱动组件140与第一基座111相连,在第一工位对芯片的定位过程中,通过驱动组件140驱动第一基座111运动,例如驱动第一基座111在水平方向移动或旋转,从而带动第一基座111上的芯片带水平运动(水平移动或旋转),以便调整待检测的芯片相对于第一相机的位置或角度,实现对待检测的芯片进行定位。
根据本发明的***100,由于第一相机115、第二相机125、第三相机135均布置在一条直线上,故,在第一工位110对芯片进行精确定位后,通过控制驱动组件140的运动状态,可以更明确、方便地将待检测的芯片定位到第二相机、第三相机的视野中央。
还需指出,不同的温度环境会影响相机拍摄的图像效果,因此,在高温环境下的第二工位120、低温环境下的第三工位130,分别需要对拍摄的图像进行相应的处理,并根据处理后的图像来确定芯片在第二工位、第三工位上的精确位置。进而,基于芯片的引脚位置来对芯片进行通电检测。
根据本发明的实施例,在第一工位对芯片进行精确定位后,通过驱动组件140可以驱动待检测的芯片从第一工位110移动至第二工位120,并通过第二相机125采集芯片的第三图像。应当理解,第三图像是待检测的一个芯片的图像,第二相机125可以将采集的第三图像发送至计算设备400。这里,第二相机125可以基于第三焦距来拍摄待检测的芯片,第三焦距例如是10倍焦距,但本发明不限于此。
结合第三工位的高温环境,计算设备400在获取第二相机125发送的第三图像后,基于高温定位算法对第三图像进行处理,以确定芯片的第三位置信息,并根据芯片的第三位置信息确定芯片的引脚位置。这样,可以基于芯片的引脚位置对芯片通电,能实现在高温环境下对芯片进行高温检测。这里,第三位置信息是待检测的芯片在第二工位120上的精确位置信息,包括芯片中心的位置和芯片的旋转角度。应当指出,本发明对高温定位算法不做具体限定,只要根据经处理后的第三图像能确定芯片在第二工位上的精确位置的处理图像的方法,均在本发明的保护范围之内。
在第二工位对芯片进行高温检测后,通过驱动组件140可以驱动待检测的芯片从第二工位120移动至第三工位130,并通过第三相机135采集芯片的第四图像。应当理解,第四图像是待检测的一个芯片的图像,第三相机135可以将采集的第四图像发送至计算设备400。这里,第三相机135可以基于第四焦距来拍摄芯片,第四焦距例如是4倍焦距,但本发明不限于此。
结合第四工位的低温环境,计算设备400在获取第三相机135发送的第四图像后,基于低温定位算法对第四图像进行处理,以确定芯片的第四位置信息,并根据芯片的第四位置信息确定芯片的引脚位置。这样,可以基于芯片的引脚位置对芯片通电,能实现在低温环境下对芯片进行低温检测。这里,第四位置信息是芯片在第三工位130上的精确位置信息,包括芯片中心的位置和芯片的旋转角度。应当指出,本发明对低温定位算法不做具体限定,只要根据经处理后的第四图像能确定芯片在第三工位上的精确位置的处理图像的方法,均在本发明的保护范围之内。
需要说明的是,根据本发明的***100,虽然在上述实施例中记载了用于对芯片进行高温检测的第二工位120、以及用于对芯片进行低温检测的第三工位130,但,本发明并不限于此。例如,***100中可以仅包括第一工位110和第二工位120,只对芯片进行高温检测。又例如,***100中也可以仅包括第一工位110和第三工位130,只对芯片进行低温检测。又例如,***100中也可以同时设置第一工位110、第二工位120和第三工位130,但在具体检测芯片时,在第一工位对芯片定位后,可以只对芯片进行高温检测或低温检测中的一种,这样,仅需要将芯片移动至第二工位120或第三工位130,采集芯片的第三图像或第四图像,计算设备400仅获取第三图像或第四图像并对其进行处理,来确定芯片的第三位置信息或第四位置信息;当然,也可以像上述实施例中的记载那样,在第一工位对芯片定位后,依次对芯片进行高温检测和低温检测这两种检测。应当指出,上述所列举的几种实施方式均在本发明的保护范围内。
根据一个实施例,驱动组件140包括电机和吸嘴,吸嘴用于吸取芯片,电机通过顶针与吸嘴连接,在第一工位上对待检测的芯片定位之后,计算设备400通过控制驱动组件140的电机工作,并通过吸嘴吸附芯片,使电机运动时带动吸嘴和芯片运动,以便带动芯片从第一工位110移动至第二工位120。相应地,在第二工位上对芯片进行高温检测之后,电机通过吸嘴吸附芯片并带动芯片从第二工位120移动至第三工位130。
还应当指出,关于计算设备400确定芯片的第一位置信息和第二位置信息的具体方法、对第三图像进行处理以确定芯片的第三位置信息的具体方法、对第四图像进行处理以确定芯片的第四位置信息的具体方法,将会在下文中在计算设备400中执行的芯片定位方法500中详述。
根据本发明的定位***100,在检测芯片之前,可以在第一工位对芯片进行粗定位和细定位两步定位,有利于更精准地定位芯片,这样,在第二工位、第三工位采集芯片图像后,可以根据芯片图像更高效、更准确地计算出芯片的位置信息,根据芯片位置对其通电检测,有利于提高对芯片的检测效率。
图2示出了根据本发明一个实施例的芯片定位方法200的流程图。方法200在芯片定位***100中执行,适于对芯片进行定位和检测。如图2所示,方法200始于步骤S210。
需要说明的是,在根据本发明的***100对芯片进行定位检测时,放置在第一工位110上的是包括多个芯片的芯片带,***100会基于芯片带上的芯片的排列顺序来依次对芯片进行检测,首先将芯片带上的第一个芯片作为待检测的芯片。在通过第二工位、第三工位对芯片进行高温或低温检测之前,首先在第一工位110完成对待检测的芯片的定位。
在步骤S210中,在第一工位,通过第一相机采集芯片的第一工位图像。
这里,需要说明的是,在第一工位采集芯片图像时,第一相机所拍摄的对象是包括多个芯片的芯片带,通过调整芯片带的位置可以采集到包括芯片带上的第一个芯片的图像,以便根据第一工位图像对该芯片进行定位。
随后,在步骤S220中,计算设备通过获取第一相机采集的第一工位信息,根据第一工位图像确定芯片位置信息,并根据芯片位置信息控制驱动组件来调整芯片的位置,以使芯片位于第一相机的视野中央。
根据一个实施例,第一工位图像包括第一图像和第二图像,相应地,芯片位置信息包括第一位置信息和第二位置信息。这里,第一位置信息和第二位置信息均是指芯片在第一工位的位置信息,例如芯片的位置和旋转角度。具体而言,采集第一工位图像、根据第一工位图像确定芯片位置信息可以按照以下方法执行:
首先,通过第一相机以第一焦距拍摄芯片,以采集第一图像。这里,实际所拍摄的对象是包括多个芯片的芯片带。基于第一焦距可以使芯片带的至少一部分出现在第一相机的视野中。应当指出,本发明不限于第一焦距的具体数值,第一焦距例如为1倍焦距。第一相机在采集第一图像后,会将第一图像发送至计算设备。
随后,由计算设备400获取第一相机拍摄后发送的第一图像,根据第一图像,基于粗定位算法确定芯片的第一位置信息,并根据第一位置信息控制驱动组件驱动芯片(芯片带)水平运动,从而调整芯片相对于第一相机的位置或角度,以使芯片带上的第一个芯片位于第一相机的视野中。这里,本发明对确定芯片第一位置信息的具体算法(粗定位算法)不做限定,只要能根据第一图像确定第一位置信息的算法均在本发明的保护范围之内。
图6a~图6d分别示出了根据本发明一个实施例的芯片的第一图像、第二图像、第三图像、第四图像的效果图。
需要说明的是,基于第一焦距拍摄第一图像的目的在于采集到芯片带的至少一部分,换言之,第一图像上包括芯片带的至少一部分。这样,根据第一图像可以确定芯片带上的第一个芯片(待检测的芯片)的粗略位置,换言之,根据第一图像所确定的第一位置信息包括芯片带上的第一个芯片的粗略位置信息。进而,根据第一位置信息来调整芯片带的位置,例如通过控制驱动组件的运动状态来驱动芯片带在水平方向运动,从而调整待检测的芯片相对于第一相机的位置或角度,以使芯片带上的第一个芯片位于第一相机的视野中。也就是说,拍摄第一图像是为了将待检测的芯片定位到第一相机的视野中。
随后,通过第一相机以第二焦距拍摄芯片,以采集第二图像。这里,基于第二焦距可以拍摄到芯片带上的第一个芯片(待检测的芯片,以下简称芯片)的高清图像,以便基于高清图像对芯片进行更精细的定位。应当指出,本发明不限于第二焦距的具体数值,第二焦距例如为4.5倍焦距。第一相机在采集第二图像后,会将第二图像发送至计算设备。
最后,由计算设备获取第一相机拍摄后发送的第二图像,根据第二图像,基于细定位算法确定芯片的第二位置信息,并根据第二位置信息控制驱动组件驱动芯片(芯片带)水平运动,从而调整待检测的芯片相对于第一相机的位置或角度,以使待检测的芯片位于第一相机的视野正中央。这里,本发明对确定芯片第二位置信息的具体算法(细定位算法)不做限定,只要能根据第二图像确定第二位置信息的算法均在本发明的保护范围之内。
需要说明的是,由于第二图像是基于更大的焦距拍摄针对待检测的芯片而拍摄的高清图像,根据第二图像可以确定芯片在第一工位上的精确位置信息,换言之,根据第二图像所确定的第二位置信息是芯片在第一工位上的精确位置信息,第二位置信息包括芯片中心的位置和芯片的旋转角度。进而,根据第二位置信息来进一步精确地调整芯片的位置,例如通过控制驱动组件的运动状态来驱动芯片(芯片带)在水平方向运动,以使待检测的芯片位于第一相机的视野正中央。
应当指出,由于***100中的第一工位的第一相机、第二工位的第二相机、第三工位的第三相机均布置在一条直线上,故,在第一工位对芯片进行精确定位后,通过控制驱动组件的运动状态,可以更明确、方便地将芯片定位到第二相机、第三相机的视野中央。
需要说明的是,***100中的第二工位、第三工位分别为芯片的检测提供高温环境、低温环境,以便检测芯片在高温环境和低温环境下的运行情况。另外,不同的温度环境会影响相机拍摄的图像效果,因此,在高温环境下的第二工位、低温环境下的第三工位,分别需要对拍摄的图像进行相应的处理,并根据处理后的图像来确定芯片的精确位置。进而,基于芯片的引脚位置来对芯片进行通电检测。
在步骤S230中,通过驱动组件驱动芯片从第一工位移动至第二工位,并通过第二相机采集芯片的第三图像。这里,第二相机可以基于第三焦距来拍摄芯片,第三焦距例如是10倍焦距,但本发明不限于此。
随后,在步骤S240中,结合第三工位的高温环境,计算设备基于高温定位算法对第三图像进行处理,以确定芯片的第三位置信息,并根据芯片的第三位置信息确定芯片的引脚位置。进而,基于芯片的引脚位置对芯片通电,能实现在高温环境下对芯片进行高温检测。这里,第三位置信息是芯片在第二工位上的精确位置信息,包括芯片中心的位置和芯片的旋转角度。应当指出,本发明对高温定位算法不做具体限定,只要根据经处理后的第三图像能确定芯片在第二工位上的精确位置的处理图像的方法,均在本发明的保护范围之内。
在步骤S250中,通过驱动组件驱动芯片从第二工位移动至第三工位,并通过第三相机采集芯片的第四图像。这里,第三相机可以基于第四焦距来拍摄芯片,第四焦距例如是4倍焦距,但本发明不限于此。
随后,在步骤S260中,结合第四工位的低温环境,计算设备基于低温定位算法对第四图像进行处理,以确定芯片的第四位置信息,并根据芯片的第四位置信息确定芯片的引脚位置。进而,基于芯片的引脚位置对芯片通电,能实现在低温环境下对芯片进行低温检测。这里,第四位置信息是芯片在第三工位上的精确位置信息,包括芯片中心的位置和芯片的旋转角度。应当指出,本发明对低温定位算法不做具体限定,只要根据经处理后的第四图像能确定芯片在第三工位上的精确位置的处理图像的方法,均在本发明的保护范围之内。
根据本发明的实施例,步骤S220、S240和S260均由***100中的计算设备执行。其中,关于步骤S220中确定芯片的第一位置信息和第二位置信息的具体方法、S240中对第三图像进行处理以确定芯片的第三位置信息的具体方法、S260中对第四图像进行处理以确定芯片的第四位置信息的具体方法,将会在下文中在计算设备400中执行的芯片定位方法500中详述。
图3示出了根据本发明一个实施例的芯片定位过程的示意图,该检测过程是对应于前述方法200的一个具体应用实例。
如图3所示,在对芯片的定位检测过程中,由人工进行芯片支架上料。具体来说,在***100对芯片进行定位检测之前,由人工将嵌入有DIE芯片的支架放置在第一工位的基座上。进而,通过驱动组件(电机)驱动第一相机的镜头运动,来调整第一相机的焦距,使其调整为第一焦距(1倍焦距),随后通过第一相机拍摄芯片,得到第一图像,如图6a所示。计算设备通过获取该第一图像,并基于粗定位算法来处理第一图像,以便确定芯片的第一位置信息。若确定第一位置信息为No,0,0,0,表示芯片带没有出现在第一相机的视野中,在此情况下,计算设备控制驱动电机的工作,通过驱动电机带动基座和基座上的芯片带相对第一相机水平运动,以使芯片带的至少一部分区域出现在第一相机的视野中。若确定第一位置信息为Yes,X,Y,theta(其中,X和Y代表一条芯片带第一个芯片的粗略位置,theta为该芯片的旋转角度),则计算设备根据该第一位置信息来粗略调整芯片的位置,即控制驱动电机带动基座和基座上的芯片带相对第一相机水平运动,使芯片带的第一个芯片大致位于第一相机的视野中央,即完成对芯片的粗定位。
进而,再次控制驱动组件(电机)驱动第一相机的镜头运动,将第一相机的焦距调整为更大的第二焦距(4.5倍焦距),随后通过第一相机再次拍摄芯片,得到第二图像,如图6b所示。计算设备通过获取该第二图像,并基于细定位算法来处理第二图像,以便确定芯片的第二位置信息。若确定第二位置信息为Yes,X,Y,theta,则计算设备根据该第二位置信息来进一步精确地调整芯片的位置,同样是通过控制驱动电机带动基座和基座上的芯片带相对第一相机水平运动,以便将芯片带的第一个芯片更精准地定位在第一相机的视野正中央,即完成对芯片的细定位。
最后,对芯片进行高温检测。具体地,利用驱动组件的吸嘴吸附待检测的芯片(芯片带上的第一个芯片),并由电机驱动顶针和吸嘴移动,以驱动吸嘴吸附到的芯片从第一工位移动至第二工位上,在第二工位对芯片进行高温检测。具体地,在第二工位通过第二相机来拍摄芯片,得到第三图像,如图6c所示。计算设备通过获取该第三图像,并基于高温定位算法来处理第三图像,以便确定芯片的第三位置信息。如果确定第三位置信息为Yes,ORC,X,Y,theta,则计算设备根据该第三位置信息可以确定在第二工位的高温环境下的芯片的位置和旋转角度,进而经推算确定芯片的引脚位置,便可以对芯片进行通电检测,以检测芯片在该高温环境下的运行情况。另外,如果确定第三位置信息为No,ORC,0,0,0,则控制第二相机重新拍摄第二工位上的芯片。
随后,对芯片进行低温检测。具体地,与高温检测类似,利用驱动组件的吸嘴吸附待检测的芯片(芯片带上的第一个芯片),并由电机驱动顶针和吸嘴移动,以驱动吸嘴吸附到的芯片从第二工位移动至第三工位上,在第三工位对芯片进行高温检测。具体地,在第三工位通过第三相机来拍摄芯片,得到第四图像,如图6d所示。计算设备通过获取该第四图像,并基于高温定位算法来处理第四图像,以便确定芯片的第四位置信息。如果确定第四位置信息为Yes,ORC,X,Y,theta,则计算设备根据该第四位置信息可以确定在第三工位的高温环境下的芯片的位置和旋转角度,进而经推算确定芯片的引脚位置,便可以对芯片进行通电检测,以检测芯片在该低温环境下的运行情况。另外,如果确定第四位置信息为No,ORC,0,0,0,则控制第三相机重新拍摄第三工位上的芯片。
图4示出了根据本发明一个实施例的计算设备400的示意图。
需要说明的是,图4所示的计算设备400仅为一个示例,在实践中,用于实施本发明的芯片定位方法的计算设备可以是任意型号的设备,其硬件配置情况可以与图4所示的计算设备400相同,也可以不同。实践中用于实施本发明的芯片定位方法的计算设备可以对图4所示的计算设备400的硬件组件进行增加或删减,本发明对计算设备的具体硬件配置情况不做限制。
如图4所示,在基本的配置402中,计算设备400典型地包括***存储器406和一个或者多个处理器404。存储器总线408可以用于在处理器404和***存储器406之间的通信。
取决于期望的配置,处理器404可以是任何类型的处理,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器404可以包括诸如一级高速缓存410和二级高速缓存412之类的一个或者多个级别的高速缓存、处理器核心414和寄存器416。示例的处理器核心414可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器418可以与处理器404一起使用,或者在一些实现中,存储器控制器418可以是处理器404的一个内部部分。
取决于期望的配置,***存储器406可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。***存储器406可以包括操作***420、一个或者多个程序422以及程序数据424。在一些实施方式中,程序422可以布置为在操作***上由一个或多个处理器404利用程序数据424执行指令。
计算设备400还可以包括有助于从各种接口设备(例如,输出设备442、外设接口444和通信设备446)到基本配置402经由总线/接口控制器430的通信的接口总线440。示例的输出设备442包括图形处理单元448和音频处理单元450。它们可以被配置为有助于经由一个或者多个A/V端口452与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口444可以包括串行接口控制器454和并行接口控制器456,它们可以被配置为有助于经由一个或者多个I/O端口458和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备446可以包括网络控制器440,其可以被布置为便于经由一个或者多个通信端口464与一个或者多个其他计算设备442通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
在根据本发明的计算设备400中,应用422包括图像处理***,图像处理***包括用于执行芯片定位方法500的多条程序指令,这些程序指令可以指示处理器404执行本发明的芯片定位方法500,以便对芯片进行定位和检测。
图5示出了根据本发明一个实施例的芯片定位方法500的流程图。方法500在计算设备(例如前述计算设备400)中执行。计算设备400中包括图像处理***,图像处理***可以根据图像来确定芯片的位置,以便对芯片进行定位和检测。如图5所示,方法500始于步骤S510。
在步骤S510中,获取芯片的第一工位图像,根据第一工位图像确定芯片位置信息,并根据芯片位置信息调整芯片的位置,以使芯片位于第一相机的正下方。
这里,如前文所述,第一工位图像即是在第一工位通过第一相机采集的芯片图像,具体的拍摄对象是包括多个芯片的芯片带,通过调整芯片带的位置可以采集到芯片带上的第一个芯片的图像。
根据一个实施例,第一工位图像包括第一图像和第二图像,第一图像是通过第一相机以第一焦距拍摄芯片所得,第二图像是通过第一相机以第二焦距拍摄芯片所得。相应地,芯片位置信息包括第一位置信息和第二位置信息,第一位置信息和第二位置信息均是指芯片在第一工位的位置信息,例如芯片的位置和旋转角度。计算设备400具体可以按照以下方法来确定芯片位置信息:
首先,计算设备400获取第一相机采集的第一图像,即是第一相机在以第一焦距采集第一图像后将第一图像发送给计算设备400。计算设备400根据第一图像采用粗定位算法来确定芯片的第一位置信息,并根据第一位置信息控制驱动组件驱动芯片(芯片带)运动,以使芯片位于第一相机的视野中。这里,本发明对确定芯片第一位置信息的具体算法(粗定位算法)不做限定,只要能根据第一图像确定第一位置信息的算法均在本发明的保护范围之内。
需要说明的是,第一图像上包括芯片带的至少一部分,计算设备400根据第一图像可以来确定芯片带上的第一个芯片(即是本发明中待检测的芯片)的粗略位置,换言之,根据第一图像所确定的第一位置信息包括芯片带上的第一个芯片的粗略位置信息,例如芯片的粗略位置和旋转角度。进而,计算设备400可以根据第一位置信息来调整芯片带的位置,具体是通过控制驱动组件的运动状态来驱动芯片带在水平方向运动,以使芯片带上的第一个芯片位于第一相机的视野中。
进而,计算设备400获取第一相机采集的第二图像,即是第一相机在以第二焦距采集第二图像后将第二图像发送给计算设备400。计算设备400根据第二图像采用细定位算法来确定芯片的第二位置信息,并根据第二位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野正中央。这里,本发明对确定芯片第二位置信息的具体算法(细定位算法)不做限定,只要能根据第二图像确定第二位置信息的算法均在本发明的保护范围之内。
需要说明的是,第二焦距大于第一焦距,第一相机基于第二焦距可以拍摄到芯片带上的第一个芯片(待检测的芯片)的高清图像,基于高清图像可以对芯片进行更精细的定位。具体地,计算设备400根据第二图像可以确定芯片在第一工位上的精确位置信息,换言之,根据第二图像所确定的第二位置信息是芯片在第一工位上的精确位置信息,例如包括芯片中心的位置和芯片的旋转角度。进而,计算设备400可以根据第二位置信息来进一步精确地调整芯片的位置,具体是通过控制驱动组件的运动状态来驱动芯片(芯片带)在水平方向运动,以使待检测的芯片位于第一相机的视野正中央。
根据一个实施例,计算设备400通过提取第一图像的特征区域(特征区域),并对特征区域进行处理来确定芯片在第一工位的第一位置信息。具体地,根据第一图像确定芯片的第一位置信息可以按照以下方法执行:
获取第一图像对应的第一灰度图,对第一灰度图进行膨胀处理。这里,通过用较大的核来对第一灰度图进行膨胀处理,有利于提取更完整的特征区域。
基于第一阈值对第一灰度图进行二值化处理。这里,可以通过统计第一灰度图的直方图,根据直方图的统计特征来确定第一阈值,并根据确定的第一阈值来对第一灰度图进行二值化处理。
基于二值化处理后的第一灰度图提取多个连通域,并选取面积最大的连通域作为特征区域。这里,特征区域即是特征区域TOI。
以上,能实现提取第一图像的特征区域。
进而,对特征区域进行处理,具体如下:
基于第二阈值对特征区域进行二值化处理,得到二值化图像。这里,与上述确定第一阈值的方法类似,通过统计特征区域的直方图,根据直方图的统计特征来确定第二阈值。
提取二值化处理后的特征区域的多个连通域,并对多个连通域进行开运算处理。这里,基于每张图像的曝光程度不一致,可以通过统计连通域的面积来确定用于开运算处理的核值的大小,以便基于所确定的核值来对连通域进行形态学的开运算处理。这样,基于自适应实际图像来确定的核值,可以得到界限更分明的二值化图像。
这里,在对多个连通域进行开运算处理后,可以通过确定每个连通域的面积,来筛除面积过大或过小的连通域。另外,由于图像中可能存在其他杂物,所以还根据连通域之间的距离判断特征区域的连通域序列是否为芯片带。
进而,对多个连通域进行排序(即是按照芯片带上的芯片的排列顺序),确定第一个连通域的坐标位置(对应芯片带上第一个芯片的位置),从而确定了芯片在第一工位的位置。并且,通过对多个连通域(对应芯片带上的多个芯片)的边缘点进行直线拟合,来确定芯片带的旋转角度,也即是芯片的旋转角度。
这样,便实现基于粗定位算法确定芯片的第一位置信息,即芯片在第一工位的位置和旋转角度。
根据一个实施例,芯片上包括两个圆形区域,如图6b~6d所示,芯片图像上也包括相应的两个圆。在根据第二图像确定芯片的第二位置信息时,是通过确定芯片上的两个圆的圆心位置,基于两个圆的圆心位置来确定芯片中心的位置和芯片的旋转角度。
具体地,根据第二图像确定芯片的第二位置信息可以按照以下方法(细定位算法)执行:
获取第二图像对应的第二灰度图。并且,基于第二阈值对第二灰度图进行二值化处理。这里,可以通过统计第二灰度图的直方图,根据直方图的统计特征来来确定第二阈值,并根据所确定的第二阈值对第二灰度图进行二值化处理。
随后,对二值化处理后的第二灰度图进行开运算处理,并提取开运算处理后的第二灰度图上的多个连通域。
基于最小外接圆算法确定每个连通域对应的外接圆圆心和半径。这里,还可以进一步对外接圆进行筛选,筛选出半径在预定范围内的外接圆。
进而,基于圆心位置(x坐标)对多个外接圆进行排序,基于排列顺序依次判断每相邻的两个外接圆的间距是否在预定距离内,以便确定间距在预定距离内的相邻的两个外接圆,这两个外接圆即对应芯片上的两个圆形区域。
通过确定图像上的两个外接圆的圆心位置(坐标值),基于两个外接圆的圆心位置可以确定芯片上的两个圆的圆心位置,进而可以确定在第二工位上的芯片中心的位置和芯片的旋转角度,也即是确定在第二工位上的芯片的第二位置信息。
在一种实施方式中,最小外接圆的计算方式为首先寻找轮廓点集合相距最远的两个点,从两点连线的中心位置出发,在轮廓点集合中选取与中心相距最远的点。若三点构成钝角三角形或直角三角形,则以相距最远的两点的连线作为直径得到最小外接圆。若三点构成锐角三角形,则按照公式(1)解方程可得到最小外接圆。
将公式(1)a中的平方项展开后,两式相减,消去r2,可得到公式(1)b,使用公式(1)b可求得圆心,将圆心代入公式(1)a的一个式子中,可得到最小外接圆的半径计算式公式(1)c。
图7a、图7b分别示出了根据本发明一个实施例的单张图像的直方图、直方图统计图。
在一种实施方式中,通过统计直方图确定阈值具体可以根据以下方法来计算。以第一图像的灰度图为例,通过统计第一灰度图的直方图来确定第一阈值的方法如下:
利用公式(2)统计单张图像(例如第一图像的灰度图)的直方图。
公式(2)中,x表示像素值,y表示像素个数,i表示第i张灰度图像,hist(x,y)取1或0,表示像素值为x的像素个数是否有y个,T(x)表示像素值为x的像素总数。
对第i张图像根据公式(2)进行统计可得到直方图histi(x,y),将所有的histi(x,y)进行叠加,可得到所有图像的直方图统计图,叠加方法如公式(3)所示。
公式(3)中,HIST(x,y)表示拥有y个像素值为x的像素点的图片张数。
根据公式(1)可得到单张图像(第一灰度图)对应的直方图,如图7a所示。通过统计86张图像(第一灰度图)的直方图,并根据公式(3)可以得到直方图统计图,如图7b所示。由图7b可知,背景区域主要集中在0~120,由此可将第一阈值确定为150。通过公式(4)对第一灰度图进行二值化。
公式(4)中,(x,y)为像素的坐标点,src(x,y)为原图在(x,y)处的灰度值,T为阈值,biImg(x,y)为二值化图像在(x,y)处的灰度值。
根据一种实施方式,在确定第一位置信息的过程中,可以利用下述公式(5)来根据连通域面积计算开运算的核值。
其中,在公式(5)中,kernalSize为圆形核的大小,Areai为第i个连通域的面积,即连通域内像素点的个数,n为连通域的个数,floor()表示向下取整。
需要说明的是,当开运算核的大小与连通域面积的均值具有公式(5)的关系时,开运算的结果能够更好地适应后续判断。其中,图8a示出了根据本发明一个实施例的开运算的核值与连通域面积均值之间的拟合关系示意图。
图8c示出了根据本发明一个实施例的开运算处理后的二值化图像。图8c所示,基于上述方法确定的核值进行开运算处理,可以得到界限分明的芯片二值化图像。
另外,可以按照以下方法来判断特征区域是否为芯片带。
如图8b示出了根据本发明一个实施例的芯片之间的距离示意图。通过统计所有相邻芯片之间的距离的平方,可以得到相邻芯片之间距离的平方的均值是4775,标准差是193。其中95.48%的数据点在2倍标准差范围之内,两倍标准差范围为[4390,5161]。根据这一规律,当处理一张图片时,判断相邻芯片之间的距离平方序列是否有90%以上的数据点在[4390,5161]范围内,基于此来判断所得到的特征区域是否为芯片带。
图8d示出了一个根据本发明一个实施例的芯片边缘点拟合的效果图。可见,通过将一个芯片带上的所有芯片的边缘点进行直线拟合,可以得到一个芯片带的旋转角度。
随后,在步骤S520中,计算设备400获取芯片的第三图像,即是第二相机将在第二工位基于第三焦距采集的芯片的第三图像发送给计算设备400。进而,计算设备400基于高温定位算法对第三图像进行处理,以确定芯片的第三位置信息,并根据芯片的第三位置信息来确定芯片的引脚位置。这样,便可以基于芯片的引脚位置对芯片通电来进行高温检测。
需要说明的是,第三位置信息是芯片在第二工位上的精确位置信息,包括芯片中心的位置和芯片的旋转角度。应当指出,本发明不限定对第三图像进行处理的具体算法。
根据一个实施例,可以根据以下方法(高温定位算法一)来对第三图像进行处理:
获取第三图像对应的第三灰度图,基于高温定位模板对第三灰度图进行归一化匹配,以获取第三灰度图上相关系数大于阈值的多个数据点。这里,图10a示出了根据本发明一个实施例的高温定位模板的效果图。针对模板匹配的结果,筛选出基于归一化相关匹配法得到的相关系数大于阈值的数据点。应当指出,本发明不限于匹配阈值的确定方法。
进而,基于筛选出的多个数据点提取多个连通域,并计算每个连通域的形心,并将形心作为连通域的候选点。这样,基于每个连通域的候选点可以生成候选点集合。
在一种实施方式中,归一化相关匹配法可以基于公式(6)来计算。
在公式(6)中,(x′,y′)表示模板上的坐标点,T(x′,y′)表示模板像素值,I(x+x′,y+y′)表示模板对应点在灰度图上的像素值,R(x,y)表示,灰度图上每一点与模板之间的匹配度。
在一种实施方式中,在对模板匹配结果进行筛选时,可以通过统计的方法去确定阈值的大小,通过手工划定圆心区域,统计圆心区域的匹配值。例如,统计均值为0.9386,标准差为0.0216,在均值以下2倍标准差的匹配值为0.8955,在此范围内的数据点占比94.15%,基于此,可将模板匹配的筛选阈值确定为0.90。
根据又一个实施例,还可以根据以下方法(高温定位算法二)来对第三图像进行处理:
获取第三图像对应的第三灰度图,对第三灰度图进行边缘检测,以获取第三灰度图的轮廓图。这里,基于图像背景的均匀特点,从而可以对第三灰度图进行Sobel边缘检测。其中,图9a示出了根据本发明一个实施例的第三图像(第三灰度图)的轮廓图。
随后,以轮廓图上的每一点大小作为权重,计算轮廓图(在x轴和y轴上)的权重形心。进而,以权重形心为中心来提取第三灰度图的特征区域。其中,图9b示出了根据本发明一个实施例的第三图像(第三灰度图)的特征区域效果图。
进而,确定第三灰度图的特征区域对应的第三阈值,基于第三阈值对特征区域进行二值化处理,并基于二值化处理后的特征区域提取多个连通域。这里,同样可以基于统计直方图的方法来确定第三阈值。另外,在对特征区域图像进行二值化处理后,还可以对二值图像进行形态学的腐蚀、膨胀、开运算和闭运算处理。
进而,基于最小外接圆算法确定上述每个连通域对应的外接圆圆心和半径,确定半径在第一预定区间内的一个或多个外接圆的圆心,将所确定的一个或多个圆心作为候选点,生成候选点集合。这里,第一预定区间例如是[60,90]。但,应当指出,本发明对第一预定区间的具体数值不做限定,第一预定区间可以根据实际的芯片及芯片上圆形区域的尺寸来确定。
在一种实施方式中,可以根据以下算法来计算轮廓图的权重形心:
在公式(7)中,(xcenter,ycenter)为权重中心,rows和cols为边缘检测结果的行数和列数,v(c,r)为第c行和第r列的像素值。
在根据上述两种方法对第三图像进行处理之后,均生成了候选点集合。进而,执行以下方法来确定芯片的第三位置信息。
从候选点集合中,获取平方距在第二预定区间内的一组或多组候选点对,并选取其中一组候选点对作为第一目标数据点对。具体而言,可以在多组候选点对中,选取半径最接***均值或者平方距最接***均值的候选点对,作为第一目标数据点对。这里,该第一目标数据点对即是对应第三图像上的芯片的两个圆的圆心。另外,基于本发明的实施例,为平方距设置的第二预定区间例如是[110000,140000],但本发明并不限于此,第二预定区间可以根据实际情况来确定。
进而,基于第一目标数据点对可以确定芯片上两个圆的圆心坐标位置,进而可以确定芯片中心的位置和旋转角度,也即是确定芯片在第二工位上的第三位置信息。
需要说明的是,考虑到吸嘴吸取芯片的过程造成的污染和定位精度的要求,在从候选点集合中获取平方距在第二预定区间内的一组或多组候选点对之后,可以进一步筛选候选点对以提高候选点对的精度,以便从提高精度后的候选点对中选取第一目标数据点对。
在一种实施方式中,可以基于圆心定位精度提高算法来进一步筛选候选点对。
具体地,通过获取待提高精度的多个候选点(圆心点),分别以每个圆心点为中心提取特征区域,并对特征区域进行二值化处理、提取多个连通域。随后,选取面积最大的连通域,并提取该连通域的轮廓,获取轮廓点集合。进而,基于最小外接圆算法,统计轮廓点集合中在最小外接圆上的所有轮廓点,并记录最小外接圆的圆心、半径以及圆上的轮廓点的数量。最后,从这些圆中选取圆上的轮廓点数量最多的圆,并确定圆心、半径。
还应当指出,定位精度提高算法建立在最小外接圆的基础上。可以利用迭代的方法改善最小外接圆法,使定位的精度得到提高。迭代每一轮计算轮廓点集合的最小外接圆,然后删除所用到的点。将所得到的圆心集合应用公式(8),计算得到目标圆的圆心。为了加快程序的运行,减少迭代的次数,在每一轮迭代中,记录轮廓点集合中位于最小外接圆上的点的数量,以最小外接圆上的点的数量作为该圆的权重,删除这些点。改进公式(8),以公式(9)作为目标圆的计算公式。
在公式(8)中,x和y表示目标圆的圆心,(xi,yi)表示第i轮迭代得到的最小外接圆圆心,S表示最小外接圆圆心集合,n表示圆心集合的元素个数。
在公式(9)中,x和y表示目标圆的圆心,(xi,yi,ωi)表示第i轮迭代得到的最小外接圆圆心和权重,S表示最小外接圆圆心集合,n表示圆心集合的元素个数。
最后,在步骤S530中,计算设备400获取芯片的第四图像,这里,即是第三相机将在第三工位基于第四焦距采集的芯片的第四图像发送给计算设备400。进而,计算设备400基于低温定位算法对第四图像进行处理,以确定芯片的第四位置信息,并根据芯片的第四位置信息来确定芯片的引脚位置。这样,便可以基于芯片的引脚位置对芯片通电来进行低温检测。
需要说明的是,第四位置信息是芯片在第三工位上的精确位置信息,包括芯片中心的位置和芯片的旋转角度。应当指出,本发明不限定对第四图像进行处理的具体算法。
根据一个实施例,可以根据以下方法(低温定位算法)来对第四图像进行处理:
获取第四图像对应的第四灰度图,基于低温定位模板对第四灰度图进行归一化匹配,确定匹配结果中匹配度的最大值,并获取最大值对应的数据点。这里,图10b示出了根据本发明一个实施例的低温定位模板的效果图。
从以最大值对应的数据点为圆心、以R为半径的圆内获取多个数据点,并从多个数据点中获取平方距在第三预定区间内的多组数据点对。这里,基于本发明的实施例,为平方距设置的第二预定区间例如是[110000,130000],但本发明并不限于此,第三预定区间可以根据实际情况来确定。R例如为25。
随后,从多组数据点对中选取匹配度最大的点对,作为第二目标数据点对。这里,该第二目标数据点对即是对应第四图像上的芯片的两个圆的圆心。
最后,基于第二目标数据点对可以确定芯片上两个圆的圆心坐标位置,进而确定芯片中心的位置和旋转角度,也即是确定芯片在第三工位上的第四位置信息。
根据本发明的定位方法,在检测芯片之前,基于机器视觉对芯片进行粗定位和细定位两步定位,有利于更精准地定位芯片,这样,在检测工位采集芯片图像后,可以根据芯片图像更高效、更准确地计算出芯片的位置信息,根据芯片位置对其通电检测,有利于提高对芯片的检测效率。而且,本发明考虑到不同的温度环境会影响相机拍摄的图像效果,并针对高温检测和低温检测采取相应的算法来处理图像,以确定芯片的精确位置。这样,进一步提高了对芯片的通电检测效率,检测结果也更加准确可靠。
A3、如A2所述的***,其中,所述驱动组件还与第一相机的镜头相连,适于调整第一相机的镜头运动,以便调整第一相机的焦距。
A4、如A1-3任一项所述的***,其中,所述驱动组件包括电机和吸嘴,所述吸嘴适于吸取芯片,所述电机通过顶针与吸嘴连接,适于通过吸嘴带动芯片从第一工位移动至第二工位,或者从第二工位移动至第三工位。
A5、如A1-A4任一项所述的***,其中,第一工位包括基座,芯片适于放置在基座上;所述驱动组件与所述基座相连,适于驱动基座运动,以便带动基座上的芯片水平运动。
C12、如C9-C11任一项所述的方法,其中,确定芯片的第二位置信息的步骤包括:获取第二图像对应的第二灰度图;根据第二灰度图的直方图确定第二阈值,并基于第二阈值对第二灰度图进行二值化处理;对二值化处理后的第二灰度图进行开运算处理,并提取开运算处理后的第二灰度图上的多个连通域;基于最小外接圆算法确定每个连通域对应的外接圆圆心和半径;基于圆心位置对多个外接圆进行排序,并确定间距在预定距离内的相邻的两个外接圆;基于所述两个外接圆的圆心位置来确定芯片中心的位置和芯片的旋转角度。
C18、如C8-C12任一项所述的方法,其中,对第三图像进行处理的步骤包括:获取第三图像对应的第三灰度图,基于高温定位模板对第三灰度图进行归一化匹配,以获取所述第三灰度图上相关系数大于阈值的多个数据点;基于所述多个数据点提取多个连通域,计算每个连通域的形心,并将形心作为连通域的候选点,基于每个连通域的候选点生成候选点集合。
C19、如C8-C12任一项所述的方法,其中,对第三图像进行处理的步骤包括:获取第三图像对应的第三灰度图,对第三灰度图进行边缘检测,以获取第三灰度图的轮廓图;计算所述轮廓图的权重形心,以所述权重形心为中心来提取第三灰度图的特征区域;确定所述特征区域对应的第三阈值,并基于第三阈值对所述特征区域进行二值化处理,基于二值化处理后的特征区域提取多个连通域;基于最小外接圆算法确定每个所述连通域对应的外接圆圆心和半径,确定半径在第一预定区间内的一个或多个外接圆的圆心,将所确定的一个或多个圆心作为候选点,生成候选点集合。
C20、如C13或C14所述的方法,其中,在生成候选点集合之后,包括步骤:从所述候选点集合中,获取平方距在第二预定区间内的一组或多组候选点对,选取其中一组候选点对作为第一目标数据点对;基于第一目标数据点对确定芯片中心的位置和旋转角度。
C21、如C15所述的方法,其中,选取其中一组候选点对作为第一目标数据点对的步骤包括:确定在多组候选点对中、半径最接***均值或者平方距最接***均值的候选点对,作为第一目标数据点对。
C22、如C8-C16任一项所述的方法,其中,对第四图像进行处理的步骤包括:获取第四图像对应的第四灰度图,基于低温定位模板对第四灰度图进行归一化匹配,并获取匹配结果的最大值和最大值对应的数据点;从以所述最大值对应的数据点为圆心、以R为半径的圆内获取多个数据点,并从所述多个数据点中获取平方距在第三预定区间内的多组数据点对,从多组数据点对中选取匹配度最大的点对,作为第二目标数据点对;基于第二目标数据点对确定芯片中心的位置和旋转角度。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的多语言垃圾文本的识别方法。
以示例而非限制的方式,可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与本发明的示例一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
本说明书的描述中,除非另有明确的规定和限定,术语“连接”、“固定”等均应做广义理解。此外,术语“上”、“下”、“内”、“外”、“顶”、“底”等指示的方位或位置关系是基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的设备或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (16)
1.一种定位***,包括:
第一工位,包括第一相机,所述第一相机适于:基于第一焦距拍摄芯片带以采集第一图像,基于第二焦距拍摄芯片以采集第二图像;
第二工位,包括第二相机,所述第二相机适于采集芯片的第三图像;
第三工位,包括第三相机,所述第三相机适于采集芯片的第四图像;
驱动组件,适于驱动芯片运动,并适于驱动芯片从第一工位移动至第二工位,或者从第二工位移动至第三工位;以及
计算设备,分别与第一相机、第二相机、第三相机、驱动组件相连,适于:获取所述第一图像,根据第一图像确定芯片的第一位置信息,并根据第一位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野中,以及,获取所述第二图像,根据第二图像确定芯片的第二位置信息,并根据第二位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野正中央;并适于获取第三图像和/或第四图像,对第三图像和/或第四图像进行处理,以确定芯片的第三位置信息和/或第四位置信息,根据芯片的第三位置信息和/或第四位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片进行高温检测和/或低温检测。
2.如权利要求1所述的***,其中,
所述驱动组件还与第一相机的镜头相连,适于调整第一相机的镜头运动,以便调整第一相机的焦距。
3.如权利要求1所述的***,其中,
所述驱动组件包括电机和吸嘴,所述吸嘴适于吸取芯片,所述电机通过顶针与吸嘴连接,适于通过吸嘴带动芯片从第一工位移动至第二工位,或者从第二工位移动至第三工位。
4.如权利要求1-3中任一项所述的***,其中,
第一工位包括基座,芯片适于放置在基座上;
所述驱动组件与所述基座相连,适于驱动基座运动,以便带动基座上的芯片水平运动。
5.一种定位方法,在如权利要求1-4中任一项所述的定位***中执行,包括步骤:
在第一工位,通过第一相机以第一焦距拍摄芯片带,以采集第一图像;
根据所述第一图像确定芯片的第一位置信息,并根据第一位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野中;
通过第一相机以第二焦距拍摄芯片,以采集第二图像;
根据所述第二图像确定芯片的第二位置信息,并根据第二位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野中央;
通过驱动组件驱动芯片运动至第二工位,并通过第二相机采集芯片的第三图像;
对所述第三图像进行处理,以确定芯片的第三位置信息,并根据芯片的第三位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片通电进行高温检测;
通过驱动组件驱动芯片运动至第三工位,并通过第三相机采集芯片的第四图像;
对所述第四图像进行处理,以确定芯片的第四位置信息,并根据芯片的第四位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片通电进行低温检测。
6.一种定位方法,在计算设备中执行,包括步骤:
获取第一工位上的第一相机以第一焦距拍摄芯片带得到的第一图像,根据第一图像确定芯片的第一位置信息,并根据第一位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野中;
获取第一工位上的第一相机以第二焦距拍摄芯片得到的第二图像,根据第二图像确定芯片的第二位置信息,并根据第二位置信息控制驱动组件驱动芯片运动,以使芯片位于第一相机的视野正中央;
获取第二工位上的第二相机采集的芯片的第三图像,并对第三图像进行处理,以确定芯片的第三位置信息,并根据芯片的第三位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片进行高温检测;以及
获取第三工位上的第三相机采集的芯片的第四图像,并对第四图像进行处理,以确定芯片的第四位置信息,并根据芯片的第四位置信息确定芯片的引脚位置,以便基于芯片的引脚位置对芯片进行低温检测。
7.如权利要求6所述的定位方法,其中,根据第一图像确定芯片的第一位置信息的步骤包括:
获取第一图像对应的第一灰度图,对第一灰度图进行膨胀处理;
根据第一灰度图的直方图确定第一阈值,并基于第一阈值对第一灰度图进行二值化处理;
基于二值化处理后的第一灰度图提取多个连通域,并选取面积最大的连通域作为特征区域;
根据所述特征区域的直方图确定第二阈值,并基于第二阈值对所述特征区域进行二值化处理;
提取二值化处理后的特征区域的多个连通域,并对多个连通域进行开运算处理;
对多个连通域进行排序,确定第一个连通域的位置;
对多个连通域的边缘点进行直线拟合,以确定芯片的旋转角度。
8.如权利要求6所述的方法,其中,确定芯片的第二位置信息的步骤包括:
确定芯片上的两个圆的圆心位置,基于两个圆的圆心位置确定芯片中心的位置和芯片的旋转角度。
9.如权利要求6-8中任一项所述的方法,其中,确定芯片的第二位置信息的步骤包括:
获取第二图像对应的第二灰度图;
根据第二灰度图的直方图确定第二阈值,并基于第二阈值对第二灰度图进行二值化处理;
对二值化处理后的第二灰度图进行开运算处理,并提取开运算处理后的第二灰度图上的多个连通域;
基于最小外接圆算法确定每个连通域对应的外接圆圆心和半径;
基于圆心位置对多个外接圆进行排序,并确定间距在预定距离内的相邻的两个外接圆;
基于所述两个外接圆的圆心位置来确定芯片中心的位置和芯片的旋转角度。
10.如权利要求6-8中任一项所述的方法,其中,对第三图像进行处理的步骤包括:
获取第三图像对应的第三灰度图,基于高温定位模板对第三灰度图进行归一化匹配,以获取所述第三灰度图上相关系数大于阈值的多个数据点;
基于所述多个数据点提取多个连通域,计算每个连通域的形心,并将形心作为连通域的候选点,基于每个连通域的候选点生成候选点集合。
11.如权利要求6-8中任一项所述的方法,其中,对第三图像进行处理的步骤包括:
获取第三图像对应的第三灰度图,对第三灰度图进行边缘检测,以获取第三灰度图的轮廓图;
计算所述轮廓图的权重形心,以所述权重形心为中心来提取第三灰度图的特征区域;
确定所述特征区域对应的第三阈值,并基于第三阈值对所述特征区域进行二值化处理,基于二值化处理后的特征区域提取多个连通域;
基于最小外接圆算法确定每个所述连通域对应的外接圆圆心和半径,确定半径在第一预定区间内的一个或多个外接圆的圆心,将所确定的一个或多个圆心作为候选点,生成候选点集合。
12.如权利要求11所述的方法,其中,在生成候选点集合之后,包括步骤:
从所述候选点集合中,获取平方距在第二预定区间内的一组或多组候选点对,选取其中一组候选点对作为第一目标数据点对;
基于第一目标数据点对确定芯片中心的位置和旋转角度。
13.如权利要求12所述的方法,其中,选取其中一组候选点对作为第一目标数据点对的步骤包括:
确定在多组候选点对中、半径最接***均值或者平方距最接***均值的候选点对,作为第一目标数据点对。
14.如权利要求6-8中任一项所述的方法,其中,对第四图像进行处理的步骤包括:
获取第四图像对应的第四灰度图,基于低温定位模板对第四灰度图进行归一化匹配,并获取匹配结果的最大值和最大值对应的数据点;
从以所述最大值对应的数据点为圆心、以R为半径的圆内获取多个数据点,并从所述多个数据点中获取平方距在第三预定区间内的多组数据点对,
从多组数据点对中选取匹配度最大的点对,作为第二目标数据点对;
基于第二目标数据点对确定芯片中心的位置和旋转角度。
15.一种计算设备,包括:
至少一个处理器;和
存储有程序指令的存储器;
当所述程序指令被所述处理器读取并执行时,使得所述计算设备执行如权利要求6-14中任一项所述的方法。
16.一种存储有程序指令的可读存储介质,当所述程序指令被计算设备读取并执行时,使得所述计算设备执行如权利要求6-14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110101951.8A CN112786509B (zh) | 2021-01-26 | 2021-01-26 | 一种定位***、定位方法及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110101951.8A CN112786509B (zh) | 2021-01-26 | 2021-01-26 | 一种定位***、定位方法及计算设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112786509A CN112786509A (zh) | 2021-05-11 |
CN112786509B true CN112786509B (zh) | 2024-02-23 |
Family
ID=75759085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110101951.8A Active CN112786509B (zh) | 2021-01-26 | 2021-01-26 | 一种定位***、定位方法及计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112786509B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114743896B (zh) * | 2022-03-17 | 2022-10-04 | 无锡杰进科技有限公司 | 一种自动化芯片测试设备及其使用方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08288366A (ja) * | 1995-04-11 | 1996-11-01 | Nichiden Mach Ltd | チップの認識方法及びその認識装置 |
JPH08330391A (ja) * | 1995-05-31 | 1996-12-13 | Nichiden Mach Ltd | ピックアップ装置及びピックアップ方法 |
JP2004279302A (ja) * | 2003-03-18 | 2004-10-07 | Dowa Mining Co Ltd | 連続位置決め方法 |
JP2010272615A (ja) * | 2009-05-20 | 2010-12-02 | Panasonic Corp | チップ検査装置及びチップ検査方法 |
CN102636120A (zh) * | 2012-05-10 | 2012-08-15 | 吴晓 | Led芯片视觉伺服二次定位***及其定位方法 |
CN204834569U (zh) * | 2015-04-23 | 2015-12-02 | 昆山群悦精密模具有限公司 | Ic封装芯片检测装置 |
CN105514013A (zh) * | 2015-12-01 | 2016-04-20 | 中国电子科技集团公司第四十八研究所 | 适用于电池片或硅片传输的高精度视觉定位***及其方法 |
CN107464240A (zh) * | 2017-08-11 | 2017-12-12 | 哈尔滨工业大学 | 一种基于模板匹配的带矩形引脚芯片的定位算法 |
CN107478152A (zh) * | 2017-08-11 | 2017-12-15 | 哈尔滨工业大学 | Tr芯片定位方法及检测方法 |
WO2018094875A1 (zh) * | 2016-11-23 | 2018-05-31 | 华为技术有限公司 | 信息处理方法以及定位芯片、移动终端 |
CN108732189A (zh) * | 2018-08-03 | 2018-11-02 | 江苏阿瑞斯智能设备有限公司 | 一种晶圆芯片检测设备 |
TW201841562A (zh) * | 2017-02-13 | 2018-11-16 | 日商芝浦機械電子裝置股份有限公司 | 電子元件的安裝裝置及顯示用構件的製造方法 |
CN110174403A (zh) * | 2019-07-02 | 2019-08-27 | 何应辉 | 一种滤波芯片引脚极性的检测方法 |
CN111370345A (zh) * | 2020-03-17 | 2020-07-03 | 广西天微电子有限公司 | 芯片检测方法、装置、电子设备和计算机可读存储介质 |
CN111693546A (zh) * | 2020-06-16 | 2020-09-22 | 湖南大学 | 缺陷检测***、方法及图像采集*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5032170B2 (ja) * | 2007-03-23 | 2012-09-26 | 東京エレクトロン株式会社 | 検査装置 |
JP6903270B2 (ja) * | 2017-06-29 | 2021-07-14 | 株式会社Nsテクノロジーズ | 電子部品搬送装置および電子部品検査装置 |
EP3736671A4 (en) * | 2019-03-08 | 2020-11-11 | Shenzhen Goodix Technology Co., Ltd. | TOUCH CHIP, TOUCH DETECTION PROCESS, TOUCH DETECTION SYSTEM AND ELECTRONIC DEVICE |
-
2021
- 2021-01-26 CN CN202110101951.8A patent/CN112786509B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08288366A (ja) * | 1995-04-11 | 1996-11-01 | Nichiden Mach Ltd | チップの認識方法及びその認識装置 |
JPH08330391A (ja) * | 1995-05-31 | 1996-12-13 | Nichiden Mach Ltd | ピックアップ装置及びピックアップ方法 |
JP2004279302A (ja) * | 2003-03-18 | 2004-10-07 | Dowa Mining Co Ltd | 連続位置決め方法 |
JP2010272615A (ja) * | 2009-05-20 | 2010-12-02 | Panasonic Corp | チップ検査装置及びチップ検査方法 |
CN102636120A (zh) * | 2012-05-10 | 2012-08-15 | 吴晓 | Led芯片视觉伺服二次定位***及其定位方法 |
CN204834569U (zh) * | 2015-04-23 | 2015-12-02 | 昆山群悦精密模具有限公司 | Ic封装芯片检测装置 |
CN105514013A (zh) * | 2015-12-01 | 2016-04-20 | 中国电子科技集团公司第四十八研究所 | 适用于电池片或硅片传输的高精度视觉定位***及其方法 |
WO2018094875A1 (zh) * | 2016-11-23 | 2018-05-31 | 华为技术有限公司 | 信息处理方法以及定位芯片、移动终端 |
TW201841562A (zh) * | 2017-02-13 | 2018-11-16 | 日商芝浦機械電子裝置股份有限公司 | 電子元件的安裝裝置及顯示用構件的製造方法 |
CN107464240A (zh) * | 2017-08-11 | 2017-12-12 | 哈尔滨工业大学 | 一种基于模板匹配的带矩形引脚芯片的定位算法 |
CN107478152A (zh) * | 2017-08-11 | 2017-12-15 | 哈尔滨工业大学 | Tr芯片定位方法及检测方法 |
CN108732189A (zh) * | 2018-08-03 | 2018-11-02 | 江苏阿瑞斯智能设备有限公司 | 一种晶圆芯片检测设备 |
CN110174403A (zh) * | 2019-07-02 | 2019-08-27 | 何应辉 | 一种滤波芯片引脚极性的检测方法 |
CN111370345A (zh) * | 2020-03-17 | 2020-07-03 | 广西天微电子有限公司 | 芯片检测方法、装置、电子设备和计算机可读存储介质 |
CN111693546A (zh) * | 2020-06-16 | 2020-09-22 | 湖南大学 | 缺陷检测***、方法及图像采集*** |
Non-Patent Citations (4)
Title |
---|
"Visual positioning for round pin chips based on a parametric deformable template";Wang, ZJ等;《Optical Engineering》;第53卷(第5期);全文 * |
基于贴片机视觉***的SIM芯片识别定位算法;卢军;寸毛毛;;包装工程(第21期);全文 * |
微薄硅晶片高速视觉定位及矫正***;张美杰等;《广东工业大学学报》;第35卷(第01期);第9-15页 * |
面向芯片引线键合的视觉精确定位方法;李君兰;刘士为;张大卫;;天津大学学报(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112786509A (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
US20200134857A1 (en) | Determining positions and orientations of objects | |
CN110866903B (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
WO2019041519A1 (zh) | 目标跟踪装置、方法及计算机可读存储介质 | |
CN111951237A (zh) | 外观视觉检测方法 | |
US11238653B2 (en) | Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program | |
US10650234B2 (en) | Eyeball movement capturing method and device, and storage medium | |
JP2013089252A (ja) | 映像処理方法及び装置 | |
WO2021102741A1 (zh) | 一种免疫层析检测的图像分析方法以及*** | |
US20170053416A1 (en) | Image processing method, image processing apparatus, and recording medium | |
JP2021503139A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN112786509B (zh) | 一种定位***、定位方法及计算设备 | |
US10395090B2 (en) | Symbol detection for desired image reconstruction | |
CN108665459B (zh) | 一种图像模糊检测方法、计算设备及可读存储介质 | |
CN107038402A (zh) | 用于患者移动检测的检测方法及检测设备 | |
CN116109637A (zh) | 基于视觉的涡轮增压器叶轮外观缺陷检测的***及其方法 | |
CN105335751B (zh) | 一种基于视觉图像的泊位飞机前轮定位方法 | |
CN110596118A (zh) | 印刷图案检测方法及印刷图案检测装置 | |
CN112257607B (zh) | 一种处理流水线上采集的手机图像畸变的矫正方法 | |
CN113781419A (zh) | 一种柔性pcb板缺陷检测方法、视觉***、装置及介质 | |
US9305235B1 (en) | System and method for identifying and locating instances of a shape under large variations in linear degrees of freedom and/or stroke widths | |
CN110148133B (zh) | 基于特征点及其结构关系的电路板残片图像识别方法 | |
CN116977328A (zh) | 车底机器人主动视觉中的图像质量评估方法 | |
JP5160366B2 (ja) | 電子部品のパターンマッチング方法 | |
CN111563883B (zh) | 屏幕视觉定位方法、定位设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230105 Address after: Building 4, Yunlin Science and Technology Park, No. 77, Tongyunnan Road, Xishan District, Wuxi City, Jiangsu Province, 214000 Applicant after: Jiangsu Upna Technology Co.,Ltd. Address before: 410082 Hunan province Changsha Lushan Road No. 1 Applicant before: HUNAN University |
|
GR01 | Patent grant | ||
GR01 | Patent grant |