CN117871416A - 一种晶粒坐标排序方法及*** - Google Patents

一种晶粒坐标排序方法及*** Download PDF

Info

Publication number
CN117871416A
CN117871416A CN202410269296.0A CN202410269296A CN117871416A CN 117871416 A CN117871416 A CN 117871416A CN 202410269296 A CN202410269296 A CN 202410269296A CN 117871416 A CN117871416 A CN 117871416A
Authority
CN
China
Prior art keywords
sorting
small
preset
shot images
small materials
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410269296.0A
Other languages
English (en)
Inventor
单书畅
别晓辉
李智勇
别伟成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shirui Hangzhou Information Technology Co ltd
Original Assignee
Shirui Hangzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shirui Hangzhou Information Technology Co ltd filed Critical Shirui Hangzhou Information Technology Co ltd
Priority to CN202410269296.0A priority Critical patent/CN117871416A/zh
Publication of CN117871416A publication Critical patent/CN117871416A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67259—Position monitoring, e.g. misposition detection or presence detection
    • H01L21/67265—Position monitoring, e.g. misposition detection or presence detection of substrates stored in a container, a magazine, a carrier, a boat or the like
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67271—Sorting devices
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开的一种晶粒坐标排序方法及***，所述方法包括以下步骤：按照预设的折返式扫描轨迹扫描整待测料片，进行图像采集，得到一系列局部含小料的拍摄图像；并将采集到的拍摄图像进行分发；根据预设模板，对图片进行定位小料和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对图片进行分选；根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行排序，并输出排序结果。所述***包括：图像采集模块、检测模块、排序模块。本申请预设的折返式扫描轨迹可提高图像采集的效率，通过针对单行或单列拍摄的所有图片上小料进行八邻域排序，然后对多行实现八邻域方式的拼接，可有效提高排序效率。

Description

一种晶粒坐标排序方法及***
技术领域
本申请涉及半导体芯片检测技术领域，具体而言，涉及一种晶粒坐标排序方法及***。
背景技术
在工业生产过程中，受制作工艺水平的高低影响，晶圆、封装和PCB等表面会出现诸如异物、芯片缺失、划伤、斑点等缺陷，这些缺陷会严重影响了电子芯片的质量和寿命，也给芯片制造商带来了巨大的经济损失。
在芯片检测过程中，因为相机需要拍摄全部小料的局部细节，所以就会出现多次拍摄同一个芯片的情况。如果算法不能兼容相机多次拍摄过程中出现晶粒相邻间距宽窄不一、个别或者局部小料缺失及歪斜等极端情况，就会导致最后可视化环节中出现小料排序错乱，即小料排序坐标和实际图片的小料不对应等情况。
为节省人力成本和提高生成效率，必须使用计算机视觉的方式来代替人工进行质检和排序。目前市面上现有的晶粒排序方案存在诸多不足：
1、晶粒排列情况繁多复杂，如相邻晶粒缺失、整行整列缺失、贯穿性区域缺失、相邻两行或两列晶粒宽度大于正常晶粒宽度间距等。特别是针对晶圆晶粒尺寸微小，拍摄轨迹多变的情况，如果没有准确无误的排序方式，则需要人工借助显微镜进行观察。每一张圆片或者方片上的晶粒数量都在几十万级以上，此种情况下，人工检测效率低、而且极易出现错误的情况，很难保证准确和高效等；
2、只在主机上进行计算的效率较低，当主机上其他计算负载较高时，而且是串行计算，很难满足实际产线的需求。
发明内容
本申请的目的在于提供一种晶粒坐标排序方法及***，通过八邻域方式对晶粒进行排序，以提高晶粒排序的效率。
本申请提供了一种晶圆晶粒排列检测方法，包括以下步骤：
按照预设扫描轨迹拍摄整张待测料片，进行图像采集，得到一系列局部含小料的拍摄图像；并将含小料的拍摄图像进行分发；
根据预设模板，对分发后的含小料的拍摄图像进行小料定位和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对含小料的拍摄图像进行分选；
根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行排序，并输出排序结果。
可选地，所述预设扫描轨迹为Z字型扫描轨迹或S型扫描轨迹。
可选地，所述预设模板为基于OpenCV的形状模板；
所述基于OpenCV的形状模板的生成包括以下步骤：
通过Canny算法得到边缘图像，基于轮廓发现得到所有的轮廓点集；
基于Sobel梯度算子计算轮廓点集中的每个点的X轴方向算子、Y轴方向算子和梯度/>；
基于每个点的X轴方向算子、Y轴方向算子/>和梯度/>生成预设模板信息。
可选地，所述根据预设模板，对分发后的含小料的拍摄图像进行小料定位和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对含小料的拍摄图像进行分选，具体为：
根据预设模板，对拍摄图像进行匹配，定位出每个芯片的位置，得到各芯片中每颗晶粒的坐标位置；
根据晶粒坐标位置，和预设模板初始坐标位置生成一个仿射转换矩阵；
将预先设置的检测区域基于仿射转换矩阵进行仿射变换，然后将仿射变换之后的区域所对应的图像范围当作小料区域；
把对应的小料区域单独切割出来，并将其作为分选图像；
将分选图像输入训练好的分选模型进行缺陷检测，然后按照缺陷类型进行分选，并输出分选结果。
可选地，所述分选模型为基于深度学习算法的分选模型，所述分选模型的训练包括以下步骤：
收集超过预设张数的含小料的拍摄图像的数据，确定缺陷类型；
然后通过AOI算法或AI算法对小料图片的数据进行分选，得到经过标注后的训练数据；
利用训练数据对基于深度学习算法的分选模型进行训练。
可选地，所述根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行排序，并输出排序结果，具体包括：
根据预设扫描轨迹，按行/列输入经分选后的含小料的拍摄图像检测后的所有坐标点集；
判断是否遍历完所有行/列；
若是，则将每行/列含小料的拍摄图像上全部小料按上下的方式拼接，得到全局的Label坐标；
若否，则继续遍历剩下的行/列数据，并判断针对行数据中的单张图进行/列遍历，判断是否遍历完单张含小料的拍摄图像；
若是，则将同一行/列内的单张含小料的拍摄图像上所有小料按八邻域的方式进行排序；
若否，则继续遍历单张含小料的拍摄图像，然后再采用八邻域方式对晶粒进行排序，得到单张含小料的拍摄图像上局部的Label数据。第二方面，本申请还提供了一种晶粒坐标排序***，该***包括：图像采集模块、检测模块、排序模块；
所述图像采集模块用来按照预设扫描轨迹拍摄整张待测料片，进行图像采集，得到一系列局部含小料的拍摄图像；并将含小料的拍摄图像进行分发并将含小料的拍摄图像进行分发到检测模块；
所述检测模块用来根据预设模板，对分发后的含小料的拍摄图像进行定位小料和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对含小料的拍摄图像进行分选；
所述排序模块用来接收分选结果，并根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行坐标排序，并输出排序结果。
可选地，所述***还包括可视化显示模块，所述可视化显示模块将排序结果进行显示。
可选地，所述预设扫描轨迹为Z字型扫描轨迹或S型扫描轨迹；
所述预设模板为基于OpenCV的形状模板；
所述基于OpenCV的形状模板的生成包括以下步骤：
通过Canny算法得到边缘图像，基于轮廓发现得到所有的轮廓点集；
基于Sobel梯度算子计算轮廓点集中的每个点的X轴方向算子、Y轴方向算子和梯度/>；
基于每个点的X轴方向算子、Y轴方向算子/>和梯度/>生成预设模板信息；
所述检测模块具体执行以下步骤：
根据预设模板，对拍摄图像进行匹配，定位出每个芯片的位置，得到各芯片中每颗晶粒的坐标位置；
根据晶粒坐标位置，和预设模板初始坐标位置生成一个仿射转换矩阵；
将预先设置的检测区域基于仿射转换矩阵进行仿射变换，然后将仿射变换之后的区域所对应的图像范围当作小料区域；
把对应的小料区域单独切割出来，并将其作为分选图像；
将分选图像输入训练好的分选模块进行缺陷检测，然后按照缺陷类型进行分选，并输出分选结果；
所述分选模型为基于深度学习算法的分选模型，所述分选模型的训练包括以下步骤：
收集超过预设张数的含小料的拍摄图像的数据，确定缺陷类型；
然后通过AOI算法或AI算法对小料图片的数据进行分选，得到经过标注后的训练数据；
利用训练数据对基于深度学习算法的分选模型进行训练。
可选地，所述排序模块具体执行以下步骤：
根据预设扫描轨迹，按行/列输入经分选后的含小料的拍摄图像检测后的所有坐标点集；
判断是否遍历完所有行/列；
若是，则将每行/列含小料的拍摄图像上全部小料按上下的方式拼接，得到全局的Label坐标；
若否，则继续遍历剩下的行/列数据，并判断针对行数据中的单张图进行/列遍历，判断是否遍历完单张含小料的拍摄图像；
若是，则将同一行/列内的单张含小料的拍摄图像上所有小料按八邻域的方式进行排序；
若否，则继续遍历单张含小料的拍摄图像，然后再采用八邻域方式对晶粒进行排序，得到单张含小料的拍摄图像上局部的Label数据。
由上可知，本申请提供的一种晶粒坐标排序方法及***。本申请通过对待测料片进行扫描，得出一系列局部拍摄图像，然后对拍摄图像进行检测；在检查过程中，基于预设模板对图像进行定位小料，再进行缺陷检测，然后根据有无缺陷、不同缺陷的类型，对小料图像进行分选；最后采用八邻域方式对晶粒进行排序，并输出排序结果。本申请通过预设Z字形或S型等折返式扫描轨迹可提高图像采集的效率，通过针对单行（列）拍摄的所有小料图片进行八领域排序，然后对多行实现八邻域方式的拼接，可有效提高排序效率。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种晶粒坐标排序方法的流程图。
图2为本申请实施例提供的八邻域点位示意图。
图3为本申请实施例提高的八邻域方式排序流程图。
图4为本申请实施例提供的一种晶粒坐标排序***框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，为本申请一些实施例中的晶粒坐标排序方法的流程图。该晶粒坐标排序方法，包括以下步骤：
S101：按照预设扫描轨迹拍摄整张待测料片，进行图像采集，得到一系列局部含小料的拍摄图像；并将含小料的拍摄图像进行分发；
S102：根据预设模板，对分发后的含小料的拍摄图像进行小料定位和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对含小料的拍摄图像进行分选；
S103：根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行坐标排序，并输出排序结果。
需要说明的是，本申请通过对待测料片进行扫描，得出一系列拍摄图像，然后对图像进行小料检测；在检查过程中，基于预设模板对小料图像进行定位，其中，小料图像即含小料的拍摄图像。再进行缺陷检测，然后根据有无缺陷、不同缺陷的类型，对小料图像进行分选；最后采用八邻域方式对晶粒进行排序，并输出排序结果。
需要说明的是，所述待测料片上含有晶粒，因为相机需要拍摄全部小料的局部细节，所以就会出现多次拍摄同一个芯片的情况。如果算法不能兼容相机多次拍摄过程中出现晶粒相邻间距宽窄不一、个别或者局部小料缺失及歪斜等极端情况，就会导致最后可视化环节中出现小料排序错乱，即小料排序坐标和实际图片的小料不对应等情况。
所述八邻域由与中心点位直接相连的上、下、左、右以及两条对角线上的八个点位组成，八个点位都为其相邻点位，因此整个邻域由九个点位组成。八邻域点位如图2所示。图中m为中心点位在x轴的坐标，n为中心点位在y轴的坐标。
根据本发明实施例，所述预设扫描轨迹为Z字型扫描轨迹或S型扫描轨迹。
需要说明的是，本申请所述预设扫描轨迹为Z字型或S型扫描轨迹，但不局限于Z字型或S型扫描轨迹。倒Z字型或倒S型轨迹也可，只要是折返式的全覆盖扫描皆在本申请保护范围之内。
根据本发明实施例，所述预设模板为基于OpenCV的形状模板；
需要说明的是，OpenCV是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作***上。
通过预设能代表晶粒唯一特征的模板，采用该模板可以准确地定位出芯片的位置。本申请采用基于OpenCV的形状模板匹配，不仅可以高效使内存快速匹配到所有晶粒，对图像尺寸大小无限制，而且可减轻后续处理缺陷时的压力。
所述基于OpenCV的形状模板的生成包括以下步骤：
通过Canny算法得到边缘图像，基于轮廓发现得到所有的轮廓点集；
需要说明的是，Canny 算法是边缘检测的经典算法，被 John F. Canny 于 1986年提出。
基于Sobel梯度算子计算轮廓点集中的每个点的X轴方向算子、Y轴方向算子和梯度/>；
需要说明的是，Sobel梯度算子是计算机视觉领域的一种重要处理方法。主要用于获得数字图像的一阶梯度，常见的应用和物理意义是边缘检测。索贝尔算子是把图像中每个像素的上下左右四领域的灰度值加权差，在边缘处达到极值从而检测边缘。
基于每个点的X轴方向算子、Y轴方向算子/>和梯度/>生成预设模板信息。
需要说明的是，所述预设模板主要是基于图像梯度，实现基于梯度级别的NCC模板匹配，基于Sobel梯度算子得到X轴方向算子、Y轴方向算子/>和梯度/>，其中公式分别如下面(1)、(2)和(3)所示，
，
其中，为图像梯度中第/>行，第/>列的梯度。
本申请生成预设模板信息，然后对输入的图像进行Sobel梯度图像之后，根据模型信息进行匹配，这样的好处有两个：
（1）梯度对光照有很强的抗干扰能力，对模板匹配的抗光照干扰；
（2）基于梯度匹配，可以对目标图像上出现的微小像素迁移进行抵消。
根据本发明实施例，所述S102具体为：
根据预设模板，对拍摄图像进行匹配，定位出每个芯片的位置，得到各芯片中每颗晶粒的坐标位置；
需要说明的是，芯片中每颗晶粒的坐标位置包括每颗晶粒像素x坐标、像素y坐标。本申请首先根据预先设置的模板，从待检测的图像中定位出每颗芯片的位置，然后粗略范围内，得到各芯片中每颗晶粒的像素x坐标、像素y坐标和相对于模板的旋转角度等。
根据晶粒坐标位置，和预设模板初始坐标位置生成一个仿射转换矩阵；
将预先设置的检测区域基于仿射转换矩阵进行仿射变换，然后将仿射变换之后的区域所对应的图像范围当作小料区域；
把对应的小料区域单独切割出来，并将其作为分选图像；
将分选图像输入训练好的分选模型进行缺陷检测，然后按照缺陷类型进行分选，并输出分选结果。
需要说明的是，本申请对待测小料图像进行匹配为基于NCC算法对待测小料图像进行匹配。在基于NCC的匹配算法在匹配过程中，在任意一个点上来说，如果符合匹配NCC输出结果应该趋近于1，给定一个最小阈值，如果在任意一点求和匹配小于最小阈值，就停止，继续从下一个点开始匹配。
根据本发明实施例，所述分选模型为基于深度学习算法的分选模型，所述分选模型的训练包括以下步骤：
收集超过预设张数的含小料的拍摄图像的数据，确定缺陷类型；本实施例预设张数的含小料的拍摄图像为2000张。
然后通过AOI算法或AI算法对小料图片的数据进行分选，得到经过标注后的训练数据；
利用训练数据对基于深度学习算法的分选模型进行训练。
需要说明的是，本申请采用深度学习进行分选方式，分选模块需要提前训练，主要的流程包括：首先收集一定量原始图像数据，可以对数据预处理，单通道或者直接三通道图像均可。根据实际类别确定图片的分选类别。然后用分选后的数据，进行模型训练，得到可用的分选模型。
所述基于深度学习算法的分选模型如pytorch、ONNX、tensorRT等。在对缺陷进行分类过程中，为了提高算法精度和加速算法计算，往往需要标准化/归一化操作。归一化有最大-最小标准化和Z-score标准化等，公式分别如(4)和(5)所示，其中为均值，/>为标准差，/>为原始数据，/>为原始数据中的最小值，/>为原始数据中的最大值，
。
根据本发明实施例，如图3所示，所述S103包括：
根据预设扫描轨迹，按行/列输入经分选后的含小料的拍摄图像检测后的所有坐标点集；
判断是否遍历完所有行/列；
若是，则将每行/列含小料的拍摄图像上全部小料按上下的方式拼接，得到全局的Label坐标；
若否，则继续遍历剩下的行/列数据，并判断针对行数据中的单张图进行/列遍历，判断是否遍历完单张含小料的拍摄图像；
若是，则将同一行/列内的单张含小料的拍摄图像上所有小料按八邻域的方式进行排序；
若否，则继续遍历单张含小料的拍摄图像，然后再采用八邻域方式对晶粒进行排序，得到单张含小料的拍摄图像上局部的Label数据。
需要说明的是，排序模块针对单行（列）拍摄采用八邻域的方式，对全部小料进行排序。这里为了提高计算效率，同时可以减轻主机的计算压力，可以将单行的拼接逻辑放到从机来进行。多行拼接逻辑也是基于八邻域的方式，对将所有单行（列）的结果进行整体的排序和汇总。
简而言之，本申请所述采用八邻域方式对晶粒进行排序具体步骤为：首先，获取每个拍摄单元的检测结果，将同一行（列）的按照八邻域的方式进行排序合并。其次，多行排序模块会将所有行（列）的排序结果进行合并。
需要说明的是，本申请在判断是否遍历完所有行时，若是单行的情况；
若是，则将每行小料图按上下的方式拼接，并得到Label坐标；
若否，则继续遍历行数据，并判断是否遍历完单张图；
若是，则输出单张图数据作为大图数据；
若否，则继续遍历单张图数据，然后再采用八邻域方式对晶粒进行排序，最后根据排序结果将小料拼接，并得到全局的Label数据。
请参照图4，为本申请一些实施例中的晶粒坐标排序***框图。所述晶粒坐标排序***包括：图像采集模块41、检测模块42、排序模块43；
所述图像采集模块41用来按照预设扫描轨迹扫描整待测料片，进行图像采集，得到一系列局部含小料的图像；并将拍摄图像进行分发到检测模块；
所述检测模块42用来根据预设模板，对拍摄图像进行小料定位和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对小料图片进行分选；
所述排序模块43用来接收分选结果，并根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行排序，并输出排序结果。
需要说明的是，本申请通过图像采集模块41对待测图像进行扫描，得出一系列局部拍摄图像，然后对拍摄图像进行检测小料；在检测模块42的检测过程中，基于预设模板对小料图像进行定位，再进行缺陷检测，然后排序模块43根据有无缺陷、不同缺陷的类型，对小料图像进行分选；最后采用八邻域方式对晶粒进行坐标排序，并输出排序结果。
所述八邻域由与中心点位直接相连的上、下、左、右以及两条对角线上的八个点位组成，八个点位都为其相邻点位，因此整个邻域由九个点位组成。
根据本发明实施例，所述***还包括可视化显示模块44，所述可视化显示模块44将排序结果进行显示。
需要说明的是，本发明所述***通过可视化模块44对所有检测出来的小料进行正确的坐标排序和可视化显示。增设可视化显示模块44，不仅可以使用该***进行小料缺陷检测，也可以通过排序后的全局坐标对其中每个小料完整信息进行查看，同时可以保证高效的计算。
根据本发明实施例，所述预设扫描轨迹为Z字型扫描轨迹或S型扫描轨迹；
需要说明的是，本申请所述预设扫描轨迹为Z字型或S型扫描轨迹，但不局限于Z字型或S型扫描轨迹。倒Z字型或倒S型轨迹也可，只要是折返式的全覆盖扫描皆在本申请保护范围之内。
所述预设模板为基于OpenCV的形状模板；
需要说明的是，通过预设能代表晶粒唯一特征的模板，采用该模板可以准确地定位出芯片的位置。本申请采用基于OpenCV的形状模板匹配，不仅可以高效使内存快速匹配到所有晶粒，对图像尺寸大小无限制，而且可减轻后续处理缺陷时的压力。
所述基于OpenCV的形状模板的生成包括以下步骤：
通过Canny算法得到边缘图像，基于轮廓发现得到所有的轮廓点集；
基于Sobel梯度算子计算轮廓点集中的每个点的X轴方向算子、Y轴方向算子和梯度/>；
基于每个点的X轴方向算子、Y轴方向算子/>和梯度/>生成预设模板信息；
需要说明的是，所述预设模板主要是基于图像梯度，实现基于梯度级别的NCC模板匹配，基于Sobel梯度算子得到X轴方向算子、Y轴方向算子/>和梯度/>，其中公式分别如下所示，/>，
，
。
本申请生成预设模板信息，然后对输入的图像进行Sobel梯度图像之后，根据模型信息进行匹配，这样的好处有两个：
（1）梯度对光照有很强的抗干扰能力，对模板匹配的抗光照干扰；
（2）基于梯度匹配，可以对目标图像上出现的微小像素迁移进行抵消。
所述检测模块具体执行以下步骤：
根据预设模板，对待测小料图像进行匹配，定位出每个芯片的位置，得到各芯片中每颗晶粒的坐标位置；
需要说明的是，芯片中每颗晶粒的坐标位置包括每颗晶粒像素x坐标、像素y坐标。本申请首先根据预先设置的模板，从待检测的图像中定位出每颗芯片的位置，然后粗略范围内，得到各芯片中每颗晶粒的像素x坐标、像素y坐标和相对于模板的旋转角度等。
根据晶粒坐标位置，和预设模板初始坐标位置生成一个仿射转换矩阵；
将预先设置的检测区域基于仿射转换矩阵进行仿射变换，然后将仿射变换之后的区域所对应的图像范围当做小料区域；
把对应的小料区域单独切割出来，并将其作为分选图像；
将分选图像输入训练好的分选模块进行缺陷检测，然后按照缺陷类型进行分选，并输出分选结果；
需要说明的是，本申请对待测小料图像进行匹配为基于NCC算法对待测小料图像进行匹配。在基于NCC的匹配算法在匹配过程中，在任意一个点上来说，如果符合匹配NCC输出结果应该趋近于1，给定一个最小阈值，如果在任意一点求和匹配小于最小阈值，就停止，继续从下一个点开始匹配。
所述分选模型为基于深度学习算法的分选模型，所述分选模型的训练包括以下步骤：
收集超过预设张数的含小料的拍摄图像的数据，确定缺陷类型；
然后通过AOI算法或AI算法对小料图片的数据进行分选，得到经过标注后的训练数据；
利用训练数据对基于深度学习算法的分选模型进行训练。
需要说明的是，本申请采用深度学习进行分选方式，分选模块需要提前训练，主要的流程包括：首先收集一定量原始图像数据，可以对数据预处理，单通道或者直接三通道图像均可。根据实际类别确定图片的分选类别。然后用分选后的数据，进行模型训练，得到可用的分选模型。
所述基于深度学习算法的分选模型如pytorch、ONNX、tensorRT等。在对缺陷进行分类过程中，为了提高算法精度和加速算法计算，往往需要标准化/归一化操作。归一化有最大-最小标准化和Z-score标准化等，公式分别如下所示，其中为均值，/>为标准差，
。
根据本发明实施例，所述排序模块具体执行以下步骤：
根据预设扫描轨迹，按行/列输入经分选后的含小料的拍摄图像检测后的所有坐标点集；
判断是否遍历完所有行/列；
若是，则将每行/列含小料的拍摄图像上全部小料按上下的方式拼接，得到全局的Label坐标；
若否，则继续遍历剩下的行/列数据，并判断针对行数据中的单张图进行/列遍历，判断是否遍历完单张含小料的拍摄图像；
若是，则将同一行/列内的单张含小料的拍摄图像上所有小料按八邻域的方式进行排序；
若否，则继续遍历单张含小料的拍摄图像，然后再采用八邻域方式对晶粒进行排序，得到单张含小料的拍摄图像上局部的Label数据。
需要说明的是，排序模块针对单行（列）拍摄采用八邻域的方式，对全部小料进行排序。这里为了提供计算效率，同时可以减轻主机的计算压力，可以将单行的拼接逻辑放到从机来进行。多行拼接逻辑也是基于八邻域的方式，对将所有单行（列）的结果进行整体的排序和汇总。
具体而言，本申请所述采用八邻域方式对晶粒进行排序具体步骤为：首先，获取每个拍摄单元的检测结果，将同一行（列）的按照八邻域的方式进行排序合并。其次，多行排序模块会将所有行（列）的排序结果进行合并。
本申请所述***是在原有的定位检测缺陷检测***的基础上，开发的一套可以针对多种不同拍摄方式，针对不同的工业场景小料排序情况下，对所有检测出来的小料进行正确的坐标排序和可视化的***。该***具有准确率高、计算效率高和稳定好的优点。不仅可以使用该***进行小料缺陷检测，也可以通过排序后的全局坐标对其中每个小料完整信息进行查看，同时可以保证高效的计算。
本申请提供的一种晶粒坐标排序方法及***。本申请通过对待测料片进行扫描，得出一系列局部含小料的图像，然后对图像进行检测小料；在检查过程中，基于预设模板对小料图像进行定位，再进行缺陷检测，然后根据有无缺陷、不同缺陷的类型，对小料图像进行分选；最后采用八邻域方式对晶粒进行排序，并输出排序结果。本申请通过预设Z字形或S型等折返式扫描轨迹可提高图像采集的效率，通过针对单行（列）拍摄的所有小料图片进行八领域排序，然后对多行实现八领域方式的拼接，可有效提高排序效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种晶粒坐标排序方法，其特征在于，所述方法包括以下步骤：
按照预设扫描轨迹拍摄整张待测料片，进行图像采集，得到一系列含小料的拍摄图像；并将含小料的拍摄图像进行分发；
根据预设模板，对分发后的含小料的拍摄图像进行小料定位和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对含小料的拍摄图像进行分选；
根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行坐标排序，并输出排序结果。
2.根据权利要求1所述的一种晶粒坐标排序方法，其特征在于，所述预设扫描轨迹为Z字型扫描轨迹或S型扫描轨迹。
3.根据权利要求2所述的一种晶粒坐标排序方法，其特征在于，所述预设模板为基于OpenCV的形状模板；
所述基于OpenCV的形状模板的生成包括以下步骤：
通过Canny算法得到边缘图像，基于轮廓发现得到所有的轮廓点集；
基于Sobel梯度算子计算轮廓点集中的每个点的X轴方向算子 、Y轴方向算子 />和梯度/> ；
基于每个点的X轴方向算子、Y轴方向算子/>和梯度/>生成预设模板信息。
4.根据权利要求3所述的一种晶粒坐标排序方法，其特征在于，所述根据预设模板，对分发后的含小料的拍摄图像进行小料定位和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对含小料的拍摄图像进行分选，具体为：
根据预设模板，对拍摄图像进行匹配，定位出每个芯片的位置，得到各芯片中每颗晶粒的坐标位置；
根据晶粒坐标位置，和预设模板初始坐标位置生成一个仿射转换矩阵；
将预先设置的检测区域基于仿射转换矩阵进行仿射变换，然后将仿射变换之后的区域所对应的图像范围当作小料区域；
把对应的小料区域单独切割出来，并将其作为分选图像；
将分选图像输入训练好的分选模型进行缺陷检测，然后按照缺陷类型进行分选，并输出分选结果。
5.根据权利要求4所述的一种晶粒坐标排序方法，其特征在于，所述分选模型为基于深度学习算法的分选模型，所述分选模型的训练包括以下步骤：
收集超过预设张数的含小料的拍摄图像的数据，确定缺陷类型；
然后通过AOI算法或AI算法对小料图片的数据进行分选，得到经过标注后的训练数据；
利用训练数据对基于深度学习算法的分选模型进行训练。
6.根据权利要求5所述的一种晶粒坐标排序方法，其特征在于，所述根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行排序，并输出排序结果，具体包括：
根据预设扫描轨迹，按行/列输入经分选后的含小料的拍摄图像检测后的所有坐标点集；
判断是否遍历完所有行/列；
若是，则将每行/列含小料的拍摄图像上全部小料按上下的方式拼接，得到全局的Label坐标；
若否，则继续遍历剩下的行/列数据，并判断针对行数据中的单张图进行/列遍历，判断是否遍历完单张含小料的拍摄图像；
若是，则将同一行/列内的单张含小料的拍摄图像上所有小料按八邻域的方式进行排序；
若否，则继续遍历单张含小料的拍摄图像，然后再采用八邻域方式对晶粒进行排序，得到单张含小料的拍摄图像上局部的Label数据。
7.一种晶粒坐标排序***，其特征在于，该***包括：图像采集模块、检测模块、排序模块；
所述图像采集模块用来按照预设扫描轨迹拍摄整张待测料片，进行图像采集，得到一系列含小料的拍摄图像；并将含小料的拍摄图像进行分发到检测模块；
所述检测模块用来根据预设模板，对分发后的含小料的拍摄图像进行定位小料和缺陷检测，然后根据缺陷检测结果，按照缺陷类型对含小料的拍摄图像进行分选；
所述排序模块用来接收分选结果，并根据分选结果以及预设扫描轨迹，采用八邻域方式对晶粒进行坐标排序，并输出排序结果。
8.根据权利要求7所述的一种晶粒坐标排序***，其特征在于，所述***还包括可视化显示模块，所述可视化显示模块将排序结果进行显示。
9.根据权利要求8所述的一种晶粒坐标排序***，其特征在于，所述预设扫描轨迹为Z字型扫描轨迹或S型扫描轨迹；
所述预设模板为基于OpenCV的形状模板；
所述基于OpenCV的形状模板的生成包括以下步骤：
通过Canny算法得到边缘图像，基于轮廓发现得到所有的轮廓点集；
基于Sobel梯度算子计算轮廓点集中的每个点的X轴方向算子、Y轴方向算子/>和梯度/>；
基于每个点的X轴方向算子、Y轴方向算子/>和梯度/>生成预设模板信息；
所述检测模块具体执行以下步骤：
根据预设模板，对拍摄图像进行匹配，定位出每个芯片的位置，得到各芯片中每颗晶粒的坐标位置；
根据晶粒坐标位置，和预设模板初始坐标位置生成一个仿射转换矩阵；
将预先设置的检测区域基于仿射转换矩阵进行仿射变换，然后将仿射变换之后的区域所对应的图像范围当作小料区域；
把对应的小料区域单独切割出来，并将其作为分选图像；
将分选图像输入训练好的分选模型进行缺陷检测，然后按照缺陷类型进行分选，并输出分选结果；
所述分选模型为基于深度学习算法的分选模型，所述分选模型的训练包括以下步骤：
收集超过预设张数含小料的拍摄图像的数据，确定缺陷类型；
然后通过AOI算法或AI算法对小料图片的数据进行分选，得到经过标注后的训练数据；
利用训练数据对基于深度学习算法的分选模型进行训练。
10.根据权利要求9所述的一种晶粒坐标排序***，其特征在于，所述排序模块具体执行以下步骤：
根据预设扫描轨迹，按行/列输入经分选后的含小料的拍摄图像检测后的所有坐标点集；
判断是否遍历完所有行/列；
若是，则将每行/列含小料的拍摄图像上全部小料按上下的方式拼接，得到全局的Label坐标；
若否，则继续遍历剩下的行/列数据，并判断针对行数据中的单张图进行/列遍历，判断是否遍历完单张含小料的拍摄图像；
若是，则将同一行/列内的单张含小料的拍摄图像上所有小料按八邻域的方式进行排序；
若否，则继续遍历单张含小料的拍摄图像，然后再采用八邻域方式对晶粒进行排序，得到单张含小料的拍摄图像上局部的Label数据。
CN202410269296.0A 2024-03-11 2024-03-11 一种晶粒坐标排序方法及*** Pending CN117871416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410269296.0A CN117871416A (zh) 2024-03-11 2024-03-11 一种晶粒坐标排序方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410269296.0A CN117871416A (zh) 2024-03-11 2024-03-11 一种晶粒坐标排序方法及***

Publications (1)

Publication Number Publication Date
CN117871416A true CN117871416A (zh) 2024-04-12

Family

ID=90581613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410269296.0A Pending CN117871416A (zh) 2024-03-11 2024-03-11 一种晶粒坐标排序方法及***

Country Status (1)

Country Link
CN (1) CN117871416A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103185725A (zh) * 2012-12-12 2013-07-03 捷创科技股份有限公司 Led晶圆多晶粒检测方法及装置
CN110286126A (zh) * 2019-06-17 2019-09-27 浙江大学 一种基于视觉图像的晶圆表面缺陷分区域检测方法
CN110609037A (zh) * 2019-07-12 2019-12-24 北京旷视科技有限公司 产品缺陷检测***及方法
CN113470084A (zh) * 2021-05-18 2021-10-01 西安电子科技大学 一种基于外轮廓粗匹配的点集配准方法
CN114372980A (zh) * 2022-03-21 2022-04-19 视睿（杭州）信息科技有限公司 一种工业缺陷检测方法及***
CN115661148A (zh) * 2022-12-26 2023-01-31 视睿（杭州）信息科技有限公司 一种晶圆晶粒排列检测方法及***
CN115791822A (zh) * 2022-11-08 2023-03-14 磐柔(厦门)工业智能有限公司 晶圆表面缺陷的视觉检测算法及检测***
CN116188560A (zh) * 2022-12-16 2023-05-30 华电电力科学研究院有限公司 一种基于金相图片的晶粒自动识别及精确量化表征方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103185725A (zh) * 2012-12-12 2013-07-03 捷创科技股份有限公司 Led晶圆多晶粒检测方法及装置
CN110286126A (zh) * 2019-06-17 2019-09-27 浙江大学 一种基于视觉图像的晶圆表面缺陷分区域检测方法
CN110609037A (zh) * 2019-07-12 2019-12-24 北京旷视科技有限公司 产品缺陷检测***及方法
CN113470084A (zh) * 2021-05-18 2021-10-01 西安电子科技大学 一种基于外轮廓粗匹配的点集配准方法
CN114372980A (zh) * 2022-03-21 2022-04-19 视睿（杭州）信息科技有限公司 一种工业缺陷检测方法及***
CN115791822A (zh) * 2022-11-08 2023-03-14 磐柔(厦门)工业智能有限公司 晶圆表面缺陷的视觉检测算法及检测***
CN116188560A (zh) * 2022-12-16 2023-05-30 华电电力科学研究院有限公司 一种基于金相图片的晶粒自动识别及精确量化表征方法
CN115661148A (zh) * 2022-12-26 2023-01-31 视睿（杭州）信息科技有限公司 一种晶圆晶粒排列检测方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李建华等: "《高等教育网络空间安全规划教材 网络信息***安全管理》", 30 June 2021, 北京：机械工业出版社, pages: 155 - 163 *

Similar Documents

Publication Publication Date Title
CN110060237B (zh) 一种故障检测方法、装置、设备及***
CN114266773B (zh) 显示面板缺陷定位方法、装置、设备及存储介质
JP4617970B2 (ja) 欠陥検査装置及び欠陥検査方法
CN111507976A (zh) 基于多角度成像的缺陷检测方法及***
CN113920117B (zh) 一种面板缺陷区域检测方法、装置、电子设备及存储介质
CN115482186A (zh) 瑕疵检测方法、电子设备及存储介质
CN115661148B (zh) 一种晶圆晶粒排列检测方法及***
TW201606854A (zh) 用於晶粒對資料庫光罩檢查之自動校準樣本選擇
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115861153A (zh) 图像检测方法、计算机装置及存储介质
CN113822893B (zh) 一种基于纹理特征的液晶面板***电路检测方法和***
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及***
CN112069974B (zh) 一种识别元器件缺损的图像识别方法及其***
CN110596118A (zh) 印刷图案检测方法及印刷图案检测装置
CN115690104B (zh) 一种晶圆裂缝检测方法、装置及存储介质
CN117871416A (zh) 一种晶粒坐标排序方法及***
CN108564571B (zh) 图像区域选取方法及终端设备
CN115546016B (zh) Pcb的2d和3d图像的采集和处理方法及相关装置
CN114354622B (zh) 显示屏的缺陷检测方法、装置、设备和介质
CN114677373A (zh) 一种印刷品内容检错方法、装置、电子设备及介质
CN114897797A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
CN110874837B (zh) 一种基于局部特征分布的缺陷自动检测方法
CN116935421A (zh) 图片表格识别方法及图片表格识别装置
CN113808136B (zh) 一种基于最近邻算法的液晶屏幕缺陷检测方法和***
TWI681357B (zh) 用於基板缺陷分析之裝置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination