CN111275697B - 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法 - Google Patents

一种基于orb特征匹配和lk光流法的电池丝印质量检测方法 Download PDF

Info

Publication number
CN111275697B
CN111275697B CN202010085060.3A CN202010085060A CN111275697B CN 111275697 B CN111275697 B CN 111275697B CN 202010085060 A CN202010085060 A CN 202010085060A CN 111275697 B CN111275697 B CN 111275697B
Authority
CN
China
Prior art keywords
image
silk
screen
detected
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010085060.3A
Other languages
English (en)
Other versions
CN111275697A (zh
Inventor
李兵
张少杰
赵�卓
刘桐坤
高飞
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010085060.3A priority Critical patent/CN111275697B/zh
Publication of CN111275697A publication Critical patent/CN111275697A/zh
Application granted granted Critical
Publication of CN111275697B publication Critical patent/CN111275697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法，采集电池丝印图像数据，进行预处理提取电池丝印区域；采用矩形分块的方式进行建模，包括插画部分模板和文字部分模板，基于ORB算法提取模板丝印和待测丝印的特征并匹配，实现对丝印内容的定位；基于形态学的图像差影法进行检测，如果出现误报，使用基于L‑K光流法的扭曲校正检测方法进行二次检测；如果没有出现误报，输出结果图像及检测数据，执行分拣操作。本发明实时性好、检测率高，通过改进传统差影法，并将光流法引入印刷缺陷检测领域内，大大提升了对非精确印刷的适应性与检测率。

Description

一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法
技术领域
本发明属于机器视觉自动化表面检测技术领域，具体涉及一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法。
背景技术
检测电池的丝印/条码是电池组装加工过程中的重要步骤，不同型号的电池具有字符类型(汉字、韩文、英文及数字等)、字符格式、插图内容、条码格式等差异。目前电池丝印/条码受夹具、设备、人员等相关因素影响导致印刷缺陷，丝印/条码缺陷类型主要分为：条码缺损/扭曲/歪斜/模糊/重影/脏污/色差、丝印缺损/歪斜/模糊/重影/脏污/色差、丝印与条码信息不匹配、条码尺寸及条码/丝印位置不符合规格要求等。
传统的电池丝印外观检测主要依靠肉眼、放大镜和CCD摄像头等进行人工检测，由于不可避免地受人类情绪、周边环境噪声、工作专注度等因素影响，难以保证检测结果的准确性和实时性。人工检测的方法操作简单，但检测速度慢，容易引入误判，检测缺乏客观标准。
为了实现对电池丝印质量的自动化检测，国内外学者进行了大量研究，涌现出了许多经典方法，如全局模板匹配法、基于逐像素分层检测法、神经网络算法，小波变换检测方法、Gabor变换算法、特征提取法等。但以上方法主要存在两个问题：
1)算法过于复杂，检测耗时长，不适合工厂应用于生产线上检测；
2)应用对象特点比较单一，方法的通用性和对复杂对象的检测能力有待加强。
本发明检测的电池丝印类型众多，每种图案或文字适用的方法也不同，需要更高的处理精度。运用以往经典方法均无法取得良好效果。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于ORB(Oriented FAST and Rotated BRIEF)特征匹配和L-K(Lukas-Kanade)光流法的电池丝印质量检测方法，可以对工厂流水线上的丝印外观质量进行实时检测，准确率高，在一定程度上提高国内电池制造行业就电池丝印质量检测方面的自动化水平。
本发明采用以下技术方案：
一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法，包括以下步骤：
S1、采集电池丝印图像数据，进行预处理提取电池丝印区域；
S2、采用矩形分块的方式进行建模，包括插画部分模板和文字部分模板，基于ORB算法提取模板丝印和待测丝印的特征并匹配，实现对丝印内容的定位；
S3、基于形态学的图像差影法进行检测，如果出现误报，使用基于L-K光流法的扭曲校正检测方法进行二次检测；如果没有出现误报，输出结果图像及检测数据，执行分拣操作。
具体的，步骤S1具体为：
S101、根据原始图像尺寸创建十字交叉矩形窗，对原始图像进行裁剪，其目的为获取电芯丝印区域的边界信息；
S102、利用Ostu算法计算二值化阈值，将丝印区域与其他背景初步分离，并结合图像灰度特征对该阈值进行适当偏移以准确分离电芯丝印区域和其他背景，通过形态学开运算去除边缘毛刺，消除边缘细小的分割误差；
S103、利用相关算法对步骤S102提取出来的区域进行最小外接矩形拟合，根据拟合结果对原始图像进行裁剪，获得准确的电池丝印区域；
S104、对待测图像进行灰度校正，调整到与模板图像相同的灰度水平。
进一步的，步骤S104具体为：
S1041、将图像灰度化，将原始三通道图像转换为单通道灰度图像，采用心理学灰度公式：
gray＝0.299*red+0.587*green+0.114*blue
S1042、利用阈值分割方法划分前景区域R1和背景区域R2；分别计算前景区域和背景区域的灰度均值，对待测图像和模板图像分别执行上述操作，灰度均值计算如下：
Figure GDA0003508363120000031
其中，Ri为阈值分割后提取的区域，p为区域内一像素点，g(p)为点p处的灰度值，F为Ri内像素点总数；
S1043、对待测图像进行灰度变换，获得模板前景灰度均值M1、模板背景灰度均值M2、待测图像前景灰度均值T1、待测图像背景灰度均值T2，进行灰度变换，分别计算灰度放缩系数Mult和灰度平移系数Add，利用这两个系数对待测图像的原始灰度进行映射校正，具体如下：
Mult＝(M1-M2)/(T1-T2)
Add＝M1-Mult*T1
g'＝g*Mult+Add
其中，Mult为灰度放缩系数，Add为灰度平移系数，g’为映射后的新灰度值。
具体的，步骤S2具体为：
S201、oFAST特征点提取；
S202、rBRIEF特征描述子构造；
S203、特征点匹配。
进一步的，步骤S201中，将P点的灰度值和以P为中心半径为3的邻域内的16个像素点的灰度值进行比较，如果P点的像素值和圆圈上邻域内n个连续的像素点的像素值相减大于阈值t，点P是一个特征点。
进一步的，步骤S202中，在关键点P的周围选取N个点对，把N个点对的比较结果组合起来作为描述子，所有的点对进行比较，生成长度为n的二进制串。
进一步的，步骤S203中，采用描述子之间的汉明距离作为相似性测度，两个等长二进制串之间的汉明距离是两个字符串对应位置的不同字符的个数，通过设置相似度阈值进行匹配点对的筛选；获得匹配结果后，根据模板图像和待测图像中ORB特征点的对应关系，对模板和待测图像进行配准，将模板图像中的各个矩形子模板与待测图像中的各个部分完成匹配。
具体的，步骤S3中，插画部分检测具体为：
S3011、根据匹配结果得到对应点关系，计算刚体变换矩阵，将子模板图像与待测图像进行对准，利用阈值分割法将检测内容从背景分割出来；
S3012、对分割出来的丝印内容进行形态学腐蚀和膨胀处理，通过待测品和模板的正反作差可以获得多印类缺陷和漏印类缺陷，多印类缺陷为：T(腐蚀)-M(膨胀)；漏印类缺陷为：M(腐蚀)-T(膨胀)；
S3013、对步骤S3012作差后的差图像进行连通分析与阈值筛选，超出阈值的区域即为缺陷区域；
S3014、以缺陷中心为圆心，利用缺陷的最小外接圆对缺陷进行标记。
具体的，步骤S3中，文字部分缺陷检测流程如下：
S3015、仿射变换配准；
S3016、对文字进行骨架提取处理，提取后文字线条统一为单像素宽度，只保留其拓扑结构；
S3017、对提取出来的文字进行米字型平移处理，即上、下、左、右、左上、右上、左下、右下8个方向，然后进行图像作差，获得8个差图像；
S3018、对步骤S3017获得的8个差图像进行交运算，最终保留的区域视为真实缺陷区域；
S3019、连通分析阈值筛选及缺陷标记。
具体的，步骤S3中，将模板图像和待测图像视为视频中的连续帧图像，将待测图像中出现的不规律微小扭曲变形视为局部微量运动，检测流程如下：
S3021、利用L-K光流法就可以计算出两幅图像之间的光流场，光流场任意位置(i,j)上的光流矢量Vi,j构成如下：
Vi,j＝(x,y)
其中，x值代表了待测图像在(i,j)点的行偏移量，y值则代表了列偏移量；
S3022、分解光流矢量Vi,j获取其分量x和y，构成两个数据集{x}和{y}；
S3023、对待测图像进行阈值分割，获取丝印前景区域T，统计区域T内所有点的坐标(i,j)；
S3024、计算对应点集，待测图像相比模板图像，在坐标(i,j)处的像素点由于扭曲变形移动到了坐标(i+x,j+y)处；
S3025、以(i,j)和(i+x,j+y)作为对应点集，计算投影变换矩阵A，以此矩阵对待测丝印进行投影变换，实现对微小变形的校正；
S3026、对校正后的待测图像和模板图像再次进行差影处理，进行缺陷分离提取处理，并做最终的标记。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法，实时性好，检测率高于同类方法，并且通过引入光流法能够对无规律扭曲变形进行校正，大大增强了对丝印质量检测的适应性。
进一步的，对图像进行预处理后，消除了背景冗余，提高了图像质量，使得后续检测得以进行。
进一步的，进行灰度校正后，可将待测丝印与模板丝印调整到基本相同的灰度水平，大大降低了光照变化对检测的影响。
进一步的，分块匹配后，可以提高每一子模板的定位精度，防止了丝印各版块内容间的位置及角度误差带来误报，同时基于ORB特征的匹配具有较高的准确率与实时性。
进一步的，可以快速提取图像特征点，高效省时，为构建rBRIEF描述子提供前提条件。
进一步的，构建了二进制字符串形式的特征描述子，形式简单，大大节省了存储空间，降低了匹配耗时，同时该描述子对旋转具有不变性，提高了算法的适应性。
进一步的，通过计算汉明距离来度量二进制描述子的相似度，简单高效，筛选出了模板与待测图像的对应点从而完成匹配定位。
进一步的，插画检测中通过图像作差和腐蚀膨胀处理，可以有效消除轮廓伪缺陷，准确分离插画真实缺陷。
进一步的，文字检测中通过提取文字骨架可有效避免文字线条粗细不均带来的误报，通过“米”字型平移策略可以进一步降低文字位置一致性较差带来的误报干扰。
进一步的，将模板与待测丝印视作连续帧图像，通过L-K光流计算和投影变换可以准确地校正丝印中发生的微量扭曲变形，消除了此类扭曲变形的误报干扰。
综上所述，本发明实时性好、检测率高，通过改进传统差影法，并将光流法引入印刷缺陷检测领域内，大大提升了对非精确印刷的适应性与检测率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明流程图；
图2为预处理图，其中，(a)为原始图，(b)为预处理图像；
图3为预处理流程图；
图4为十字分割流程图，其中，(a)为十字开窗，(b)为Ostu二值化，(c)为Ostu阈值偏移，(d)为形态学开运算；
图5为灰度校正图，其中，(a)为模板图像，(b)为校正前待测图像，(c)为校正后待测图像；
图6为分块示意图；
图7为基于ORB特征模板匹配流程图；
图8为oFAST检测原理图；
图9为oFAST检测结果图；
图10为rBRIEF点对示意图；
图11为ORB算法匹配结果图；
图12为缺陷分离提取流程图；
图13为插画检测流程图；
图14为文字检测流程图；
图15为平移策略示意图；
图16为扭曲丝印示意图，其中，(a)为重合度对比，(b)为差影检测结果；
图17为某光流场示意图；
图18为L-K光流法检测流程图；
图19为丝印校正示意图。
具体实施方式
本发明提供了一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法，首先进行预处理阶段：相机采集到的原始图像包含了较多背景干扰和噪声，并且倾斜程度各不相同，所以需要在本阶段对其进行裁切校正、仿射变换以及灰度校正等；然后模板匹配阶段：基于ORB算法提取模板丝印和待测丝印的特征并匹配，实现对丝印内容的定位；最后缺陷分离提取阶段：在本阶段首先采用基于形态学的差影法进行初步检测，对于出现不规律扭曲变形的丝印采用基于L-K光流法的扭曲校正检测方法，进行二次检测。
请参阅图1，本发明一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法，包括以下步骤：
S1、图像预处理
相机采集到的原始图像包含了较多背景干扰和噪声，并且倾斜程度各不相同，所以需要在本阶段对其进行裁切校正、仿射变换以及灰度校正等；如图2所示，(a)为原始图像，(b)为预处理后的图像。
请参阅图3，原始图像视场内容包括背景载物台、夹具、金属电极片等干扰区域，影响了后续检测，因此，需要进行预处理以提取电芯丝印区域，提取步骤为：
S101、根据原始图像尺寸创建十字交叉矩形窗，对原始图像进行裁剪，其目的为获取电芯丝印区域的边界信息；
请参阅图4，通过上述处理，成功获取了电池丝印区域的上、下、左、右四个边界的信息，并且去掉了大量的与检测无关的背景冗余。
S102、利用Ostu算法计算二值化阈值，将丝印区域与其他背景初步分离，并结合图像灰度特征对该阈值进行适当偏移以准确分离电芯丝印区域和其他背景，最后通过形态学开运算去除边缘毛刺，消除边缘细小的分割误差，处理效果如图4所示；
S103、对上述提取出来的区域利用相关算法进行最小外接矩形拟合，根据拟合结果对原始图像进行裁剪，以获得准确的电池丝印区域；
S104、对待测图像进行灰度校正，调整到与模板图像相同的灰度水平，以解决光照不稳定带来的影响，提高检测准确度，这对后续检测至关重要。
本发明采用的灰度校正方法具体为：
S1041、首先将图像灰度化，将原始三通道图像转换为单通道灰度图像，人眼对绿色敏感最高，对蓝色敏感最低，故采用心理学灰度公式：
gray＝0.299*red+0.587*green+0.114*blue (1)
S1042、利用阈值分割方法划分前景区域R1和背景区域R2；分别计算前景区域和背景区域的灰度均值，对待测图像和模板图像分别执行上述操作，灰度均值计算公式如公式2所示：
Figure GDA0003508363120000091
其中，Ri为阈值分割后提取的区域(前景或者后景区域)，p为区域内一像素点，g(p)为点p处的灰度值，F为Ri内像素点总数；
S1043、对待测图像进行灰度变换，经过上述计算，获得了四个关键值：模板前景(丝印内容)灰度均值M1、模板背景灰度均值M2、待测图像前景(丝印内容)灰度均值T1、待测图像背景灰度均值T2，以此四个数据为基础，进行灰度变换，分别计算灰度放缩系数Mult和灰度平移系数Add，利用这两个系数对待测图像的原始灰度进行映射校正，各公式如下：
Mult＝(M1-M2)/(T1-T2) (3)
Add＝M1-Mult*T1 (4)
g'＝g*Mult+Add (5)
其中，Mult为灰度放缩系数，Add为灰度平移系数，g’为映射后的新灰度值，原始图像经过上述处理后的效果如图5所示，其中，(a)为模板图像，(b)为待测图像(校正前)，(c)为待测图像(校正后)；由图5可以看出，经过灰度变换后待测图像对比度、亮度等特征与模板图像已经非常接近，这为后续模板匹配算法的实施和缺陷分离提取提供了良好的条件。
S2、模板匹配阶段
基于ORB算法提取模板丝印和待测丝印的特征并匹配，实现对丝印内容的定位；
请参阅图6，预处理结束后，需要对待测图像上的各部分丝印内容进行识别定位，ORB特征检测运行时间远远优于SIFT算法和SURF算法，可应用于实时性特征检测，故本发明采用基于ORB特征的模板匹配算法，同时由于电池丝印图像尺寸较大，并且丝印内容一致性较差，不同丝印内容之间存在旋转和位置误差，故本发明采用矩形分块的方式进行建模。
包括插画部分模板和文字部分模板，各个子模板按照次序依次建立，每个子模板在当次建模完成后都会被灰度值为0的矩形掩膜覆盖，然后继续进行建模，所以图中各矩形框之间有交叠；接着利用ORB模板匹配算法进行匹配定位(Oriented FAST and RotatedBRIEF ORB)，主要分为以下三个步骤：
(1)oFAST特征点检测；
(2)rBRIEF特征描述；
(3)特征点的匹配。
请参阅图7，检测流程及技术细节步骤如下：
S201、oFAST特征点提取；
请参阅图8，oFAST角点检测是一种快速角点特征检测算法，具体是对兴趣点及其周围区域的16个像素点灰度进行判断，通常该区域选择圆形区域，其判断方法如下：
将P点的灰度值和以P为中心半径为3的邻域内的16个像素点的灰度值进行比较，如果P点的像素值和圆圈上邻域内n个连续的像素点的像素值相减大于阈值t，那么就认为点P是一个特征点。
oFAST算法具有良好的尺度不变性和旋转不变性，某块子图像经oFAST算法提取的特征点如图9所示。
S202、rBRIEF特征描述子构造；
得到特征点后我们需要以某种方式描述这些特征点的属性，这种描述称为特征描述子，ORB算法采用rBRIEF算法来计算描述子。操作为在关键点P的周围以一定模式选取N个点对，把这N个点对的比较结果组合起来作为描述子。所有的点对都进行比较，则生成长度为n的二进制串，一般N取128、256或512。
请参阅图10，以关键点P为圆心，以d为半径做圆O，在圆O内某一模式选取N个点对。假设当前选取的4个点对如图10所示，此时比较每个点对中Ai和Bi灰度值相对大小，可得长度为4的二进制描述子串，如1011。ORB在计算rBRIEF描述子时建立的坐标系是以关键点为原点，以关键点和取点区域的质心的连线为X轴建立2维坐标系，这样描述子就具有了旋转不变性。
S203、特征点匹配；
ORB算法最大特点为计算速度快。本发明匹配时采用描述子之间的汉明距离作为相似性测度，两个等长二进制串之间的汉明距离是两个字符串对应位置的不同字符的个数，也代表了两个二进制串的相似程度，通过设置相似度阈值进行匹配点对的筛选。根据汉明距离得到的匹配结果如图11所示。
获得上述匹配结果后，根据模板图像和待测图像中ORB特征点的对应关系，对模板和待测图像进行配准。至此，模板匹配阶段工作完成，将模板图像中的各个矩形子模板与待测图像中的各个部分完成了匹配。
S3、基于光流法和形态学图像差影法进行缺陷分离提取
首先对所有丝印统一使用基于形态学的差影法进行检测，检测结果若正常，则执行分拣操作；检测结果若出现大量误报，则使用基于L-K光流法的扭曲校正检测方法进行二次检测，以此消除误判。
请参阅图12，缺陷分离提取阶段的流程图及技术细节具体为：
S301、基于形态学的图像差影法缺陷分析算法；
将丝印内容分为插画和文字部分两大类型，根据其各自特点分别设计子算法，以达到最好的检测效果。
请参阅图13，插画区域油墨集中，线条简单，根据这一特点设计如下检测流程：
S3011、根据匹配结果可以得到对应点关系，据此计算刚体变换矩阵，将子模板图像与待测图像进行对准，利用阈值分割法将检测内容从背景分割出来；
S3012、对分割出来的丝印内容进行形态学腐蚀和膨胀处理，目的为防止图案边界不重合导致轮廓伪缺陷。通过待测品和模板的正反作差可以获得多印类缺陷和漏印类缺陷，如下所示：
多印类缺陷：
T(腐蚀)-M(膨胀)
漏印类缺陷：
M(腐蚀)-T(膨胀)
S3013、对作差后的差图像进行连通分析与阈值筛选，超出阈值的区域即为缺陷区域；
S3014、缺陷定位与标记：以缺陷中心为圆心，利用缺陷的最小外接圆对缺陷进行标记。
以上是对插画部分检测方法的介绍，而文字部分线条精细复杂，缺陷更加细小。
请参阅图14，文字部分缺陷检测方法流程如下：
S3015、仿射变换配准：同插画检测；
S3016、骨架提取：采用骨架提取的原因在于文字线条比较精细复杂，且线条粗细不均匀。若采用膨胀腐蚀处理会破坏文字拓扑结构，并且参数难以调节，故本发明对文字进行骨架提取处理。提取后文字线条统一为单像素宽度，只保留其拓扑结构，而不受粗细影响；
S3017、图像平移作差：对提取出来的文字进行“米”字型平移处理，即上、下、左、右、左上、右上、左下、右下8个方向，然后进行图像作差，获得8个差图像。平移作差原因在于丝印内容位置一致性较差，会有微量的位置偏差，单次直接作差会带来大量误报，如图15所示；
S3018、差影交运算：对上步获得的8个差图像进行交运算，最终保留的区域视为真实缺陷区域；
S3019、连通分析阈值筛选及缺陷标记：同插画检测；
S302、基于L-K光流法的扭曲校正检测算法
经过检测，大部分缺陷均可正常检测，但对于极少一部分丝印产品，由于印刷工艺其印刷内容会发生微量扭曲变形，而且无法引起人类视觉异常，此类属于印刷良品范畴，但此类产品在3.1检测方法即差影法检测下会判定为不良品，属于本次检测中的难点，如图16所示为微量扭曲变形的示意图，观察可知，在(a)图中，模板丝印和待测丝印重合度较低，且为不规律扭曲变形，但待测丝印属于良品范畴，经直接检测后，产生了大量误报，如右侧(b)图所示。故本发明提出基于L-K光流法的扭曲校正检测算法，创造性地将光流法引入表面缺陷检测领域，可对发生微量扭曲变形的产品进行准确检测，防止误报产生。
其检测流程及技术细节如下：
光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量，在时间间隔很小(比如视频的连续前后两帧之间)时，也等同于目标点的位移，某处丝印图像计算得出的光流场示意图如图17所示。
由于应用于输入图像的一组点上时比较方便，因此本发明选用L-K光流法，该算法基于以下三个假设：
(1)相邻帧之间的亮度恒定；
(2)相邻视频帧的取帧时间连续，或者相邻帧之间物体的运动比较“微小”；
(3)保持空间一致性；即同一子图像的像素点具有相同的运动。
其基本思路为：
设I(x,y,t)在t时刻图像上点P(x,y)处的亮度，I(x+dx,y+dy,t+dt)为t+dt时刻图像上点(x,y)的对应点P’处的亮度，根据亮度一致性假设，得到：
I(x,y,t)＝I(x+dx,y+dy,t+dt) (9)
根据光流的定义(u,v)＝(dx/dt,dy/dt),利用泰勒展开可得：
Ixu+Iyv+It＝0 (10)
上式为基本光流约束方程，一个方程无法求解两个未知量，此时需要引入另外的约束条件才能对两个速度矢量进行求解，根据假设(3)可得n个方程，再结合最小二乘法求解可得L-K光流：
Figure GDA0003508363120000141
Figure GDA0003508363120000142
其中，
Figure GDA0003508363120000143
即为所求，也就是计算得到的L-K光流。
请参阅图18，将模板图像和待测图像视为视频中的连续帧图像，将待测图像中出现的不规律微小扭曲变形视为局部微量运动，其检测流程如下：
S3021、利用L-K光流法就可以计算出两幅图像之间的光流场，如图17所示，该光流场任意位置(i,j)上的光流矢量Vi,j构成为：
Vi,j＝(x,y) (12)
其中，x值代表了待测图像在(i,j)点的行偏移量，y值则代表了列偏移量；
S3022、分解光流矢量Vi,j获取其分量x和y，构成两个数据集{x}和{y}；
S3023、对待测图像进行阈值分割，获取丝印前景区域T，统计区域T内所有点的坐标(i,j)；
S3024、计算对应点集，待测图像相比模板图像，在坐标(i,j)处的像素点由于扭曲变形移动到了坐标(i+x,j+y)处；
S3025、以(i,j)和(i+x,j+y)作为对应点集，计算投影变换矩阵A，以此矩阵对待测丝印进行投影变换，实现对微小变形的校正，校正后的图像如图19所示。由图19可以看到，待测丝印和模板丝印的重合度已经比较高，扭曲变形现象已经基本消除，便于后续检测；
S3026、对校正后的待测图像和模板图像再次进行差影处理，进行类似步骤S301中提出的缺陷分离提取处理，并做最终的标记。
经过上述方法的处理后，可以实现对微量扭曲变形丝印的正常检测，不产生误报，极大得提高了方法的实用性，可以满足企业流水线的实时性检测，并能保证较高的检测准确率。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
采用本发明一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法进行在线测试，通过对1000块待检丝印进行在线测试，981块丝印可正确检出，检测率为98.1％，其中，11块良品丝印被判断为不良品，8块不良品丝印被判断为良品。
而传统的全局模板匹配法对相同样本的检测率仅为49％，完全无法适应对此类非精确型印刷品的检测。
综上所述，本发明所述检测方法相比传统检测方法检测率高，实时性好，对于非精确型印刷品如扭曲变形、位置角度误差等等具有强大的适应性，可以准确分离出真实缺陷而不产生误报。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种基于ORB特征匹配和LK光流法的电池丝印质量检测方法，其特征在于，包括以下步骤：
S1、采集电池丝印图像数据，进行预处理提取电池丝印区域；
S2、采用矩形分块的方式进行建模，包括插画部分模板和文字部分模板，基于ORB算法提取模板丝印和待测丝印的特征并匹配，实现对丝印内容的定位；
S3、基于形态学的图像差影法进行检测，如果出现误报，使用基于L-K光流法的扭曲校正检测方法进行二次检测；如果没有出现误报，输出结果图像及检测数据，执行分拣操作，插画部分检测具体为：
S3011、根据匹配结果得到对应点关系，计算刚体变换矩阵，将子模板图像与待测图像进行对准，利用阈值分割法将检测内容从背景分割出来；
S3012、对分割出来的电池丝印内容进行形态学腐蚀和膨胀处理，通过待测品和模板的正反作差可以获得多印类缺陷和漏印类缺陷，多印类缺陷为：T(腐蚀)-M(膨胀)；漏印类缺陷为：M(腐蚀)-T(膨胀)，T(腐蚀)为腐蚀后的待测电池丝印内容区域，M(膨胀)为膨胀后的模板丝印内容区域，M(腐蚀)为腐蚀后的模板丝印内容区域，T(膨胀)为膨胀后的待测电池丝印内容区域；
S3013、对步骤S3012作差后的差图像进行连通分析与阈值筛选，超出阈值的区域即为缺陷区域；
S3014、以缺陷中心为圆心，利用缺陷的最小外接圆对缺陷进行标记；
文字部分缺陷检测流程如下：
S3015、仿射变换配准；
S3016、对文字进行骨架提取处理，提取后文字线条统一为单像素宽度，只保留其拓扑结构；
S3017、对提取出来的文字进行米字型平移处理，即上、下、左、右、左上、右上、左下、右下8个方向，然后进行图像作差，获得8个差图像；
S3018、对步骤S3017获得的8个差图像进行交运算，最终保留的区域视为真实缺陷区域；
S3019、连通分析阈值筛选及缺陷标记；
将模板图像和待测图像视为视频中的连续帧图像，将待测图像中出现的不规律微小扭曲变形视为局部微量运动，检测流程如下：
S3021、利用L-K光流法计算出两幅图像之间的光流场，光流场任意位置(i,j)上的光流矢量Vi,j构成如下：
Vi,j＝(x,y)
其中，x值代表了待测图像在(i,j)点的行偏移量，y值则代表了列偏移量；
S3022、分解光流矢量Vi,j获取其分量x和y，构成两个数据集{x}和{y}；
S3023、对待测图像进行阈值分割，获取电池丝印前景区域T，统计区域T内所有点的坐标(i,j)；
S3024、计算对应点集，待测图像相比模板图像，在坐标(i,j)处的像素点由于扭曲变形移动到了坐标(i+x,j+y)处；
S3025、以(i,j)和(i+x,j+y)作为对应点集，计算投影变换矩阵A，以此矩阵对待测电池丝印进行投影变换，实现对微小变形的校正；
S3026、对校正后的待测图像和模板图像再次进行差影处理，进行缺陷分离提取处理，并做最终的标记。
2.根据权利要求1所述的基于ORB特征匹配和LK光流法的电池丝印质量检测方法，其特征在于，步骤S1具体为：
S101、根据原始图像尺寸创建十字交叉矩形窗，对原始图像进行裁剪，其目的为获取电池丝印区域的边界信息；
S102、利用Ostu算法计算二值化阈值，将电池丝印区域与其他背景初步分离，并结合图像灰度特征对该阈值进行适当偏移以准确分离电池丝印区域和其他背景，通过形态学开运算去除边缘毛刺，消除边缘细小的分割误差；
S103、对步骤S102提取出来的区域进行最小外接矩形拟合，根据拟合结果对原始图像进行裁剪，获得准确的电池丝印区域；
S104、对待测图像进行灰度校正，调整到与模板图像相同的灰度水平。
3.根据权利要求2所述的基于ORB特征匹配和LK光流法的电池丝印质量检测方法，其特征在于，步骤S104具体为：
S1041、将图像灰度化，将原始三通道图像转换为单通道灰度图像，采用心理学灰度公式：
gray＝0.299*red+0.587*green+0.114*blue
S1042、利用阈值分割方法划分前景区域R1和背景区域R2；分别计算前景区域和背景区域的灰度均值，对待测图像和模板图像分别执行上述操作，灰度均值计算如下：
Figure FDA0003508363110000031
其中，Ri为阈值分割后提取的区域，p为区域内一像素点，g(p)为点p处的灰度值，F为Ri内像素点总数；
S1043、对待测图像进行灰度变换，获得模板前景灰度均值M1、模板背景灰度均值M2、待测图像前景灰度均值T1、待测图像背景灰度均值T2，进行灰度变换，分别计算灰度放缩系数Mult和灰度平移系数Add，利用这两个系数对待测图像的原始灰度进行映射校正，具体如下：
Mult＝(M1-M2)/(T1-T2)
Add＝M1-Mult*T1
g'＝g*Mult+Add
其中，Mult为灰度放缩系数，Add为灰度平移系数，g’为映射后的新灰度值。
4.根据权利要求1所述的基于ORB特征匹配和LK光流法的电池丝印质量检测方法，其特征在于，步骤S2具体为：
S201、oFAST特征点提取；
S202、rBRIEF特征描述子构造；
S203、特征点匹配。
5.根据权利要求4所述的基于ORB特征匹配和LK光流法的电池丝印质量检测方法，其特征在于，步骤S201中，将P点的灰度值和以P为中心半径为3的邻域内的16个像素点的灰度值进行比较，如果P点的像素值和圆圈上邻域内n个连续的像素点的像素值相减大于阈值t，则点P是一个特征点。
6.根据权利要求4所述的基于ORB特征匹配和LK光流法的电池丝印质量检测方法，其特征在于，步骤S202中，在关键点P的周围选取N个点对，把N个点对的比较结果组合起来作为描述子，所有的点对进行比较，生成长度为n的二进制串。
7.根据权利要求4所述的基于ORB特征匹配和LK光流法的电池丝印质量检测方法，其特征在于，步骤S203中，采用描述子之间的汉明距离作为相似性测度，两个等长二进制串之间的汉明距离是两个字符串对应位置的不同字符的个数，通过设置相似度阈值进行匹配点对的筛选；获得匹配结果后，根据模板图像和待测图像中ORB特征点的对应关系，对模板和待测图像进行配准，将模板图像中的各个矩形子模板与待测图像中的各个部分完成匹配。
CN202010085060.3A 2020-02-10 2020-02-10 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法 Active CN111275697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010085060.3A CN111275697B (zh) 2020-02-10 2020-02-10 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010085060.3A CN111275697B (zh) 2020-02-10 2020-02-10 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法

Publications (2)

Publication Number Publication Date
CN111275697A CN111275697A (zh) 2020-06-12
CN111275697B true CN111275697B (zh) 2022-04-22

Family

ID=71002140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010085060.3A Active CN111275697B (zh) 2020-02-10 2020-02-10 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法

Country Status (1)

Country Link
CN (1) CN111275697B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560858B (zh) * 2020-10-13 2023-04-07 国家计算机网络与信息安全管理中心 一种联合轻量化网络和个性化特征提取的字符图片检测及快速匹配方法
CN113063731B (zh) * 2021-03-24 2023-01-20 上海晨兴希姆通电子科技有限公司 用于转盘式玻璃盖板丝印的检测***及其检测方法
CN113191348B (zh) * 2021-05-31 2023-02-03 山东新一代信息产业技术研究院有限公司 一种基于模板的文本结构化提取方法及工具
CN113516584B (zh) * 2021-09-14 2021-11-30 风脉能源（武汉）股份有限公司 一种图像灰度处理方法、***及计算机存储介质
CN114120197B (zh) * 2021-11-27 2024-03-29 中国传媒大学 2si模式传输的超高清视频异态信号检测方法
CN114612469B (zh) * 2022-05-09 2022-08-12 武汉中导光电设备有限公司 产品缺陷检测方法、装置、设备及可读存储介质
CN115690102B (zh) * 2022-12-29 2023-04-18 摩尔线程智能科技(北京)有限责任公司 缺陷检测方法、装置、电子设备、存储介质和程序产品
CN116310289B (zh) * 2023-05-12 2023-08-08 苏州优备精密智能装备股份有限公司 喷墨打印在线测量和打印位置角度实时调整***和方法
CN117495852B (zh) * 2023-12-29 2024-05-28 天津中荣印刷科技有限公司 一种基于图像分析的数字印刷质量检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测***及方法
CN107680095A (zh) * 2017-10-25 2018-02-09 哈尔滨理工大学 基于模板匹配与光流法的无人机图像的输电线路异物检测
CN108122256A (zh) * 2017-12-25 2018-06-05 北京航空航天大学 一种逼近状态下旋转目标位姿测量的方法
CN108355987A (zh) * 2018-01-08 2018-08-03 西安交通大学 一种基于分块模板匹配的电池丝印质量检测方法
CN108986093A (zh) * 2018-07-19 2018-12-11 常州宏大智能装备产业发展研究院有限公司 基于机器视觉的圆网或平网印花机堵网疵点检测方法
CN110264445A (zh) * 2019-05-30 2019-09-20 西安交通大学 分块模板匹配结合形态学处理的电池丝印质量检测方法
CN110503633A (zh) * 2019-07-29 2019-11-26 西安理工大学 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
WO2019245320A1 (ko) * 2018-06-22 2019-12-26 삼성전자주식회사 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법
CN110672617A (zh) * 2019-09-14 2020-01-10 华南理工大学 基于机器视觉的智能手机玻璃盖板丝印区缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107662872B (zh) * 2016-07-29 2021-03-12 奥的斯电梯公司 乘客运输机的监测***及其监测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测***及方法
CN107680095A (zh) * 2017-10-25 2018-02-09 哈尔滨理工大学 基于模板匹配与光流法的无人机图像的输电线路异物检测
CN108122256A (zh) * 2017-12-25 2018-06-05 北京航空航天大学 一种逼近状态下旋转目标位姿测量的方法
CN108355987A (zh) * 2018-01-08 2018-08-03 西安交通大学 一种基于分块模板匹配的电池丝印质量检测方法
WO2019245320A1 (ko) * 2018-06-22 2019-12-26 삼성전자주식회사 이미지 센서와 복수의 지자기 센서를 융합하여 위치 보정하는 이동 로봇 장치 및 제어 방법
CN108986093A (zh) * 2018-07-19 2018-12-11 常州宏大智能装备产业发展研究院有限公司 基于机器视觉的圆网或平网印花机堵网疵点检测方法
CN110264445A (zh) * 2019-05-30 2019-09-20 西安交通大学 分块模板匹配结合形态学处理的电池丝印质量检测方法
CN110503633A (zh) * 2019-07-29 2019-11-26 西安理工大学 一种基于图像差分的贴花陶瓷盘表面缺陷检测方法
CN110672617A (zh) * 2019-09-14 2020-01-10 华南理工大学 基于机器视觉的智能手机玻璃盖板丝印区缺陷检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"A Hybrid 3D Registration Method of Augmented Reality for Intelligent Manufacturing";Xian Yang等;《IEEE Access》;20191216;第181867-181883页 *
"AR Based on ORB Feature and KLT Tracking";Jie Ren等;《Applied Mechanics and Materials》;20130731;第333-340页 *
"一种改进光流法的运动目标检测及跟踪算法";李成美等;《仪器仪表学报》;20180531;第249-256页 *
"基于LK光流约束的ORB特征配准算法";刘嘉威等;《第三十四届中国控制会议论文集（C卷）》;20150731;第3914-3919页 *
"基于光流跟踪和特征匹配的视觉里程计研究";贾哲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190815;I138-952 *
"基于机器视觉的标签缺陷检测算法研究";殷红杰;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20190615;B024-274 *

Also Published As

Publication number Publication date
CN111275697A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111275697B (zh) 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法
CN108460757B (zh) 一种手机TFT-LCD屏Mura缺陷在线自动检测方法
CN109308700A (zh) 一种基于印刷品字符的视觉识别缺陷检测方法
CN104568986A (zh) 基于surf算法的遥控器面板印刷缺陷自动检测方法
CN111242896A (zh) 一种彩色印刷标签缺陷检测与质量评级方法
WO2017181724A1 (zh) 电子元件漏件检测方法和***
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别***与方法
CN114418899B (zh) 一种自彩印的自适应修复方法、***及可读存储介质
CN109886960A (zh) 基于机器视觉的玻璃边缘缺陷检测的方法
CN111667475B (zh) 一种基于机器视觉的大枣分级检测方法
CN111354047A (zh) 一种基于计算机视觉的摄像模组定位方法及***
CN113034488A (zh) 一种喷墨印刷品的视觉检测方法
CN115205223A (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN116168218A (zh) 一种基于图像识别技术的电路板故障诊断方法
CN110533660B (zh) 一种电子产品外壳丝印缺陷的检测方法
CN115272350A (zh) 一种计算机pcb主板生产质量检测方法
CN115588208A (zh) 一种基于数字图像处理技术的全线表结构识别方法
CN114897881A (zh) 一种基于边缘特征的晶粒缺陷检测方法
CN111724375A (zh) 一种屏幕检测方法及***
CN116433978A (zh) 一种高质量瑕疵图像自动生成与自动标注方法及装置
CN108898584B (zh) 一种基于图像分析的全自动贴面电容装焊极性判别方法
CN111860500A (zh) 一种鞋印磨损区域检测与描边方法
Ouji et al. Chromatic/achromatic separation in noisy document images
CN110619331A (zh) 一种基于颜色距离的彩色影像字段定位方法
CN113506297B (zh) 基于大数据处理的印刷数据识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant