CN113222990B - 一种基于图像数据增强的芯片计数方法 - Google Patents
一种基于图像数据增强的芯片计数方法 Download PDFInfo
- Publication number
- CN113222990B CN113222990B CN202110657901.8A CN202110657901A CN113222990B CN 113222990 B CN113222990 B CN 113222990B CN 202110657901 A CN202110657901 A CN 202110657901A CN 113222990 B CN113222990 B CN 113222990B
- Authority
- CN
- China
- Prior art keywords
- chip
- picture
- chips
- pictures
- pasted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000002372 labelling Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像数据增强的芯片计数方法,包括:现场相机拍摄各类需要计数的芯片图片和承载对应芯片的托盘图片,制作图像数据增强的芯片样本数据集,拍摄装载芯片的实际托盘图片,进行标注,并和数据增强图片进行汇总,再使用Centernet关键点检测算法训练得到芯片关键点检测模型,通过检测模型过滤掉不符合要求的芯片,统计剩余芯片数量并输出芯片计数结果,在实际场景中大量减少了标注用的时间,通用性好、识别准确度高,克服了现有技术中受图片数量、芯片类别和芯片角度等影响导致芯片计数效率和精度降低的问题,提高了芯片计数的准确性、鲁棒性和环境适应性。
Description
技术领域
本发明涉及机器视觉技术领域,具体为一种基于图像数据增强的芯片计数方法。
背景技术
利用计算机视觉技术对图像中的各类芯片进行检测,可以统计芯片的数量,在一些工业生产线中,需要对托盘上的芯片数量进行计数,但是由于芯片种类多样,且体积较小,传统方式:使用人眼计数,是一项非常耗费人力时间的工作,因此,在机器视觉领域通常采用图像处理算法进行计数,常用的方式有:通过模板匹配方法,对图像中的芯片进行图像匹配,从而计算统计匹配到的芯片数量;
但是,在实际应用中,模板匹配方法会存在以下问题:(1)模板匹配算法依赖于芯片模板图像的质量,对匹配精度的影响很大;(2)托盘上芯片的角度大多都是倾斜的,模板匹配算法对倾斜目标的匹配精度较差;(3)现场应用中,芯片种类多样,在模板匹配过程中需要对每个位置使用所有的种类芯片都进行一次匹配,效率较低;
为提高芯片计数效率,专利号为CN109166116A的发明专利公开了“一种用于芯片计数的图像处理算法”,该方法通过图像形态学的方式对芯片进行计数,但是对图片的要求必须是X光,而且不同的芯片需要调试不同面积阈值参数,无法对多种芯片同时进行计数,在不同场景下的芯片检测计数中泛化性较差。
所以,需要一种基于图像数据增强的芯片计数方法来解决上述问题。
发明内容
本发明的目的在于提供一种基于图像数据增强的芯片计数方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:一种基于图像数据增强的芯片计数方法,其特征在于:包括以下步骤:
S1:现场相机拍摄需要计数的芯片及承载对应芯片的托盘图片;
S2:生成芯片样本数据集和托盘背景样本数据集;
S3:生成数据增强图片并获取芯片的四个角点,对角点进行反向标注,生成JSON标注文件;
S4:现场相机拍摄若干装载芯片的托盘实际图片,对芯片的四个角点使用Labelme软件进行角点标注;
S5:汇总实拍图片数据集和数据增强图片的数据集,处理对应JSON标注文件,生成水平方向最小外接矩形信息并将其添加到JSON标注文件中;
S6:使用Centernet关键点检测算法,训练芯片关键点检测模型;
S7:检测实际图片,过滤不符合要求的芯片并对剩余芯片进行计数,得到最终的芯片数量。
进一步的,所述生成数据增强图片并获取芯片的四个角点,具体为:使用现场相机拍摄多类需要计数的芯片图片,抠取图片中的所有类别芯片小图,对其进行旋转校正,去除校正后的图片背景信息,得到芯片小图的四个边角,即为芯片的四个角点,去除背景信息有效降低了数据增强过程中背景因素的干扰。
进一步的,所述旋转校正芯片小图的具体方式为:在芯片每次粘贴前,设置随机初始化旋转角度θ,角度θ的范围在0°~180°之间,芯片小图的形状都为矩形,假设某个芯片其中一个角点的位置坐标为(x0,y0),芯片的中心点位置坐标为(xcenter,ycenter),将芯片角点绕中心点进行旋转,根据下列公式分别计算逆时针旋转一定角度后芯片角点的横坐标x0_new和纵坐标y0_new:
x0_new=(x0-xcenter)*cosθ-(y0-ycenter)*sinθ+xcenter;
y0_new=(x0-xcenter)*sinθ+(y0-ycenter)*cosθ+ycenter,
其中,θ表示逆时针旋转的角度,对四个角点都按照上述方式进行旋转后,根据旋转校正后的四个角点坐标确认芯片小图的位置。
进一步的,所述对角点进行反向标注,生成JSON标注文件,具体为:得到旋转校正后的透明芯片图片数据集,设置随机数据增强规则,在拍摄的托盘背景图片上生成数据增强图片,提取数据增强图片中各个芯片的角点,生成和图片一一对应的JSON标注文件。
进一步的,所述随机数据增强规则主要设置为:
首先,从托盘背景图片数据集中随机选择一张图片作为数据增强图片的背景图片,并从芯片样本数据集中随机选择5~10种芯片图片作为数据增强图片的前景目标,即芯片数据;
其次,设置每种芯片在背景图片上的粘贴次数,根据现场相机安装属性统计芯片的像素分布,依据实际像素分布情况设置缩放像素参数,设置每个芯片的旋转角度参数;
然后,依据芯片的尺寸和背景图片的尺寸在背景图片上随机设置芯片粘贴的位置参数,位置参数设置方式如下:采集到芯片的宽为clip_width,高为clip_height,背景图片的宽为image_width,高为image_height,芯片中心点的位置坐标为(X,Y),将芯片中心点的横坐标X随机设置在[clip_width,image_width-clip_width]之间,纵坐标Y随机设置在[clip_height,image_height-clip_height]之间;
最后,设置芯片IOU交并比的阈值参数,根据下列公式计算随机一个待粘贴的芯片和已粘贴的芯片的IOU值:
其中,A表示待粘贴芯片覆盖的范围,B表示已粘贴芯片覆盖的范围,将待粘贴的芯片与所有已粘贴芯片的IOU值与阈值参数作比较:若IOU值小于等于阈值参数,说明对应待粘贴芯片正适合粘贴在背景图片的对应位置上;若IOU值大于阈值参数,说明对应待粘贴芯片不适合粘贴在背景图片的对应位置上,跳出,尝试粘贴到其他随机位置。
进一步的,所述JSON标注文件的处理方式为:将数据增强的数据集和实拍图片的数据集汇总为总数据集,在四个角点的基础上计算出水平方向最小外接矩形的位置信息:假设芯片带有旋转角度,四个角点的坐标为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4),比较计算出四个角点在x方向的最大值xmax、最小值xmin,以及四个角点在y方向的最大值ymax、最小值ymin,得到水平方向最小外接矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),将位置信息添加到标注好的JSON文件中。
进一步的,所述使用Centernet关键点检测算法,训练芯片关键点检测模型需要通过热力图来训练芯片关键点,在训练时需要设置最大迭代次数,当训练数据集在网络训练过程中损失函数值不大于阈值或达到设置的最大迭代次数时停止训练,得到训练好的芯片关键点检测模型。
进一步的,所述热力图的获取方式具体为:将芯片图片缩放到512*512大小,送入Centernet框架下的DLA34主干网络中进行卷积操作,卷积后得到热力图其中,R表示尺寸缩放比例,C表示关键点类型数,即为输出特征图通道数,W表示缩放后图像的宽度,即512,H表示缩放后图像的高度,即512。
进一步的,所述通过热力图训练芯片关键点,具体为:假设原始图片上真实关键点位置为P,其中,P∈R2,通过DLA34网络对输入的芯片图片不断地下采样,得到下采样后的坐标根据下面的高斯核函数公式,将原始图片真实关键点映射到热力图上:
其中,α和β指的是超参数,通常设置为2和4,N表示项目中关键点的个数,表示一个检测到目标的预测值,当时,表示对于类别c,在当前(x,y)坐标中,检测到了类别为c的目标,而则表示当前(x,y)坐标不存在类别为c的目标,类别c指的是芯片矩形的某一个角点。
进一步的,芯片关键点检测模型建立后,使用该模型对实际图片进行检测,输出每个芯片的四个角点位置和分数,分别设置四个角点的阈值分数,将检测分数与阈值分数进行比较:当某个芯片的一个角点检测分数小于阈值分数时,将对应芯片整体四个角点的检测信息都进行过滤,过滤掉检测分数低于阈值分数的芯片,对过滤后的芯片进行计数,得到最终的芯片数量,对芯片的每个角点都设置阈值参数提升了芯片图片检测的精度,有效降低了误检率。
与现有技术相比,本发明所达到的有益效果是:
1.本发明通过使用实拍的芯片透明图片和实拍的背景图片,生成数据增强数据集,并和现场实拍的少量图片数据集混合成总数据集,采用Centernet关键点检测算法对芯片图片训练以及检测,本发明的检测方式在实际场景中通用性高,识别准确度高,克服了现有技术中受图片数量、芯片类别、芯片角度等因素的影响导致计数精度低、效率慢的问题,提高了芯片计数的准确性、鲁棒性以及环境适应性。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种基于图像数据增强的芯片计数方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
请参阅图1,本发明提供技术方案:一种基于图像数据增强的芯片计数方法,其特征在于:包括以下步骤:
S1:现场相机拍摄需要计数的芯片及承载对应芯片的托盘图片;
S2:生成芯片样本数据集和托盘背景样本数据集;
S3:生成数据增强图片并获取芯片的四个角点,对角点进行反向标注,生成JSON标注文件;
S4:现场相机拍摄若干装载芯片的托盘实际图片,对芯片的四个角点使用Labelme软件进行角点标注;
S5:汇总实拍图片数据集和数据增强图片的数据集,处理对应JSON标注文件,生成水平方向最小外接矩形信息并将其添加到JSON标注文件中;
S6:使用Centernet关键点检测算法,训练芯片关键点检测模型;
S7:检测实际图片,过滤不符合要求的芯片并对剩余芯片进行计数,得到最终的芯片数量。
生成数据增强图片并获取芯片的四个角点,具体为:使用现场相机拍摄多类需要计数的芯片图片,抠取图片中的所有类别芯片小图,对其进行旋转校正,去除校正后的图片背景信息,得到芯片小图的四个边角,即为芯片的四个角点。
旋转校正芯片小图的具体方式为:在芯片每次粘贴前,设置随机初始化旋转角度θ,角度θ的范围在0°~180°之间,芯片小图的形状都为矩形,假设某个芯片其中一个角点的位置坐标为(x0,y0),芯片的中心点位置坐标为(xcenter,ycenter),将芯片角点绕中心点进行旋转,根据下列公式分别计算逆时针旋转一定角度后芯片角点的横坐标x0_new和纵坐标y0_new:
x0_new=(x0-xcenter)*cosθ-(y0-ycenter)*sinθ+xcenter;
y0_new=(x0-xcenter)*sinθ+(y0-ycenter)*cosθ+ycenter,
其中,θ表示逆时针旋转的角度,对四个角点都按照上述方式进行旋转后,根据旋转校正后的四个角点坐标确认芯片小图的位置。
对角点进行反向标注,生成JSON标注文件,具体为:得到旋转校正后的透明芯片图片数据集,设置随机数据增强规则,在拍摄的托盘背景图片上生成数据增强图片,提取数据增强图片中各个芯片的角点,生成和图片一一对应的JSON标注文件。
随机数据增强规则主要设置为:
首先,从托盘背景图片数据集中随机选择一张图片作为数据增强图片的背景图片,并从芯片样本数据集中随机选择5~10种芯片图片作为数据增强图片的前景目标,即芯片数据;
其次,设置每种芯片在背景图片上的粘贴次数,根据现场相机安装属性统计芯片的像素分布,依据实际像素分布情况设置缩放像素参数,设置每个芯片的旋转角度参数;
然后,依据芯片的尺寸和背景图片的尺寸在背景图片上随机设置芯片粘贴的位置参数,位置参数设置方式如下:采集到芯片的宽为clip_width,高为clip_height,背景图片的宽为image_width,高为image_height,芯片中心点的位置坐标为(X,Y),将芯片中心点的横坐标X随机设置在[clip_width,image_width-clip_width]之间,纵坐标Y随机设置在[clip_height,image_height-clip_height]之间;
最后,设置芯片IOU交并比的阈值参数,根据下列公式计算随机一个待粘贴的芯片和已粘贴的芯片的IOU值:
其中,A表示待粘贴芯片覆盖的范围,B表示已粘贴芯片覆盖的范围,将待粘贴的芯片与所有已粘贴芯片的IOU值与阈值参数作比较:若IOU值小于等于阈值参数,说明对应待粘贴芯片正适合粘贴在背景图片的对应位置上;若IOU值大于阈值参数,说明对应待粘贴芯片不适合粘贴在背景图片的对应位置上,跳出,尝试粘贴到其他随机位置。
JSON标注文件的处理方式为:将数据增强的数据集和实拍图片的数据集汇总为总数据集,在四个角点的基础上计算出水平方向最小外接矩形的位置信息:假设芯片带有旋转角度,四个角点的坐标为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4),比较计算出四个角点在x方向的最大值xmax、最小值xmin,以及四个角点在y方向的最大值ymax、最小值ymin,得到水平方向最小外接矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),将位置信息添加到标注好的JSON文件中。
使用Centernet关键点检测算法,训练芯片关键点检测模型需要通过热力图来训练芯片关键点,在训练时需要设置最大迭代次数,当训练数据集在网络训练过程中损失函数值不大于阈值或达到设置的最大迭代次数时停止训练,得到训练好的芯片关键点检测模型。
热力图的获取方式具体为:将芯片图片缩放到512*512大小,送入Centernet框架下的DLA34主干网络中进行卷积操作,卷积后得到热力图其中,R表示尺寸缩放比例,c表示关键点类型数,即为输出特征图通道数,W表示缩放后图像的宽度,即512,H表示缩放后图像的高度,即512。
通过热力图训练芯片关键点,具体为:假设原始图片上真实关键点位置为P,其中,P∈R2,通过DLA34网络对输入的芯片图片不断地下采样,得到下采样后的坐标根据下面的高斯核函数公式,将原始图片真实关键点映射到热力图上:
其中,α和β指的是超参数,通常设置为2和4,N表示项目中关键点的个数,表示一个检测到目标的预测值,当时,表示对于类别c,在当前(x,y)坐标中,检测到了类别为c的目标,而则表示当前(x,y)坐标不存在类别为c的目标,类别c指的是芯片矩形的某一个角点。
芯片关键点检测模型建立后,使用该模型对实际图片进行检测,输出每个芯片的四个角点位置和分数,分别设置四个角点的阈值分数,将检测分数与阈值分数进行比较:当芯片的一个角点检测分数小于阈值分数时,将对应芯片整体四个角点的检测信息都进行过滤,过滤掉检测分数低于阈值分数的芯片,对过滤后的芯片进行计数,得到最终的芯片数量。
实施例一:使用现场相机拍摄多类需要计数的芯片图片,抠取图片中的所有类别芯片小图,对其进行旋转校正,旋转校正芯片小图的具体方式为:在芯片每次粘贴前,设置随机初始化旋转角度θ,角度θ的范围在0°~180°之间,芯片小图的形状都为矩形,假设芯片的随机一个角点的位置坐标为(x0,y0)=(1,3),芯片的中心点位置坐标为(xcenter,ycenter)=(3,2),将芯片绕中心点进行旋转90°,即θ=90°,根据公式x0_new=(x0-xcenter)*cosθ-(y0-ycenter)*sinθ+xcenter计算逆时针旋转角度θ后芯片角点的横坐标x0_new=2,根据公式y0_new=(x0-xcenter)*sinθ+(y0-ycenter)*cosθ+ycenter计算逆时针旋转角度θ后芯片角点的纵坐标y0_new=0,确认该角点旋转后的新坐标为(2,0),在此基础上,对其余三个角点也进行计算,从而确认整个芯片小图的位置。
最后应说明的是:以上所述仅为本发明的优选实例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于图像数据增强的芯片计数方法,其特征在于:包括以下步骤:
S1:现场相机拍摄需要计数的芯片及承载对应芯片的托盘图片;
S2:生成芯片样本数据集和托盘背景样本数据集;
S3:生成数据增强图片并获取芯片的四个角点,对角点进行反向标注,生成JSON标注文件;
S4:现场相机拍摄若干装载芯片的托盘实际图片,对芯片的四个角点使用Labelme软件进行角点标注;
S5:汇总实拍图片数据集和数据增强图片的数据集,处理对应JSON标注文件,生成水平方向最小外接矩形信息并将其添加到JSON标注文件中;
S6:使用Centernet关键点检测算法,训练芯片关键点检测模型;
S7:检测实际图片,过滤不符合要求的芯片并对剩余芯片进行计数,得到最终的芯片数量;
芯片关键点检测模型建立后,使用该模型对实际图片进行检测,输出每个芯片的四个角点位置和分数,分别设置四个角点的阈值分数,将检测分数与阈值分数进行比较:当芯片的一个角点检测分数小于阈值分数时,将对应芯片整体四个角点的检测信息都进行过滤,过滤掉检测分数低于阈值分数的芯片,对过滤后的芯片进行计数,得到最终的芯片数量;
所述生成数据增强图片并获取芯片的四个角点,具体为:使用现场相机拍摄多类需要计数的芯片图片,抠取图片中的所有类别芯片小图,对其进行旋转校正,去除校正后的图片背景信息,得到芯片小图的四个边角,即为芯片的四个角点;
所述对角点进行反向标注,生成JSON标注文件,具体为:得到旋转校正后的透明芯片图片数据集,设置随机数据增强规则,在拍摄的托盘背景图片上生成数据增强图片,提取数据增强图片中各个芯片的角点,生成和图片一一对应的JSON标注文件;
所述随机数据增强规则设置为:
首先,从托盘背景图片数据集中随机选择一张图片作为数据增强图片的背景图片,并从芯片样本数据集中随机选择5~10种芯片图片作为数据增强图片的前景目标,即芯片数据;
其次,设置每种芯片在背景图片上的粘贴次数,根据现场相机安装属性统计芯片的像素分布,依据实际像素分布情况设置缩放像素参数,设置每个芯片的旋转角度参数;
然后,依据芯片的尺寸和背景图片的尺寸在背景图片上随机设置芯片粘贴的位置参数,位置参数设置方式如下:采集到芯片的宽为clip_width,高为clip_height,背景图片的宽为image_width,高为image_height,芯片中心点的位置坐标为(X,Y),将芯片中心点的横坐标X随机设置在[clip_width,
image_width-clip_width]之间,纵坐标Y随机设置在[clip_height,
image_height-clip_height]之间;
最后,设置芯片IOU交并比的阈值参数,根据下列公式计算随机一个待粘贴的芯片和已粘贴的芯片的IOU值;
其中,A表示待粘贴芯片覆盖的范围,B表示已粘贴芯片覆盖的范围,将待粘贴的芯片与所有已粘贴芯片的IOU值与阈值参数作比较:若IOU值小于等于阈值参数,说明对应待粘贴芯片正适合粘贴在背景图片的对应位置上;若IOU值大于阈值参数,说明对应待粘贴芯片不适合粘贴在背景图片的对应位置上,跳出,尝试粘贴到其他随机位置。
2.根据权利要求1所述的一种基于图像数据增强的芯片计数方法,其特征在于:所述旋转校正芯片小图的具体方式为:在芯片每次粘贴前,设置随机初始化旋转角度θ,角度θ的范围在0°~180°之间,芯片小图的形状都为矩形,假设某个芯片其中一个角点的位置坐标为(x0,y0),芯片的中心点位置坐标为(xcenter,ycenter),将芯片角点绕中心点进行旋转,根据下列公式分别计算逆时针旋转一定角度后芯片角点的横坐标x0_new和纵坐标y0_new:
x0_new=(x0-xcenter)*cosθ-(y0-ycenter)*sinθ+xcenter;
y0_new=(x0-xcenter)*sinθ+(y0-ycenter)*cosθ+ycenter,
其中,θ表示逆时针旋转的角度,根据旋转校正后的四个角点坐标确认芯片小图的位置。
3.根据权利要求1所述的一种基于图像数据增强的芯片计数方法,其特征在于:所述JSON标注文件的处理方式为:将数据增强的数据集和实拍图片的数据集汇总为总数据集,在四个角点的基础上计算出水平方向最小外接矩形的位置信息:假设芯片带有旋转角度,四个角点的坐标为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4),比较计算出四个角点在x方向的最大值xmax、最小值xmin,以及四个角点在y方向的最大值ymax、最小值ymin,得到水平方向最小外接矩形左上角点的坐标为(xmin,ymin),右下角点的坐标为(xmax,ymax),将位置信息添加到标注好的JSON文件中。
4.根据权利要求1所述的一种基于图像数据增强的芯片计数方法,其特征在于:所述使用Centernet关键点检测算法,训练芯片关键点检测模型需要通过热力图来训练芯片关键点,在训练时需要设置最大迭代次数,当训练数据集在网络训练过程中损失函数值不大于阈值或达到设置的最大迭代次数时停止训练,得到训练好的芯片关键点检测模型。
6.根据权利要求5所述的一种基于图像数据增强的芯片计数方法,其特征在于:所述通过热力图训练芯片关键点,具体为:假设原始图片上真实关键点位置为P,其中,P∈R2,通过DLA34网络对输入的芯片图片不断地下采样,得到下采样后的坐标根据下面的高斯核函数公式,将原始图片真实关键点映射到热力图上:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110657901.8A CN113222990B (zh) | 2021-06-11 | 2021-06-11 | 一种基于图像数据增强的芯片计数方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110657901.8A CN113222990B (zh) | 2021-06-11 | 2021-06-11 | 一种基于图像数据增强的芯片计数方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113222990A CN113222990A (zh) | 2021-08-06 |
CN113222990B true CN113222990B (zh) | 2023-03-14 |
Family
ID=77080264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110657901.8A Active CN113222990B (zh) | 2021-06-11 | 2021-06-11 | 一种基于图像数据增强的芯片计数方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113222990B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022478A (zh) * | 2022-01-05 | 2022-02-08 | 武汉琢越光电有限公司 | 全自动激光器Bar条芯片点数方法及其装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7768558B1 (en) * | 2000-09-29 | 2010-08-03 | Hewlett-Packard Development Company, L.P. | Digital still camera with remaining picture count indication |
CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
CN112070043A (zh) * | 2020-09-15 | 2020-12-11 | 常熟理工学院 | 基于特征融合的安全帽佩戴卷积网络、训练及检测方法 |
-
2021
- 2021-06-11 CN CN202110657901.8A patent/CN113222990B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7768558B1 (en) * | 2000-09-29 | 2010-08-03 | Hewlett-Packard Development Company, L.P. | Digital still camera with remaining picture count indication |
CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
CN112070043A (zh) * | 2020-09-15 | 2020-12-11 | 常熟理工学院 | 基于特征融合的安全帽佩戴卷积网络、训练及检测方法 |
Non-Patent Citations (1)
Title |
---|
基于机器视觉的芯片料管计数***设计;金佛荣等;《智能物联技术》;20201030;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113222990A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105957015B (zh) | 一种螺纹桶内壁图像360度全景拼接方法及*** | |
CN111784576B (zh) | 一种基于改进orb特征算法的图像拼接方法 | |
CN110807448B (zh) | 人脸关键点数据增强方法 | |
CN105608671B (zh) | 一种基于surf算法的图像拼接方法 | |
CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
WO2018219054A1 (zh) | 一种车牌识别方法、装置及*** | |
CN101458763B (zh) | 基于图像加权平均的自动人脸识别方法 | |
CN105427333B (zh) | 视频序列图像的实时配准方法、***及拍摄终端 | |
CN113191954B (zh) | 一种基于双目相机的全景图像拼接方法 | |
CN110930411B (zh) | 一种基于深度相机的人体分割方法及*** | |
CN111709980A (zh) | 基于深度学习的多尺度图像配准方法和装置 | |
CN105654421B (zh) | 基于变换不变低秩纹理的投影变换图像匹配方法 | |
CN106709500B (zh) | 一种图像特征匹配的方法 | |
CN111507908B (zh) | 图像矫正处理方法、装置、存储介质及计算机设备 | |
TWI639136B (zh) | 即時視訊畫面拼接方法 | |
CN109261528A (zh) | 基于双目视觉的快件分拣方法及装置 | |
CN108875504B (zh) | 基于神经网络的图像检测方法和图像检测装置 | |
CN109919832B (zh) | 一种用于无人驾驶的交通图像拼接方法 | |
CN112287867A (zh) | 一种多摄像头的人体动作识别方法及装置 | |
CN106067031A (zh) | 基于人工纠错机制与深度学习网络协作机器视觉识别*** | |
CN113222990B (zh) | 一种基于图像数据增强的芯片计数方法 | |
CN110909772B (zh) | 一种高精度实时多尺度表盘指针检测方法和*** | |
CN111950554A (zh) | 一种身份证识别方法、装置、设备及存储介质 | |
CN117576219A (zh) | 大广角鱼眼镜头单次拍摄图像的相机标定设备及标定方法 | |
CN114155285B (zh) | 基于灰度直方图的图像配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |