CN116309375A - 实木板材双面缺陷检测及智能加工坐标确定方法 - Google Patents
实木板材双面缺陷检测及智能加工坐标确定方法 Download PDFInfo
- Publication number
- CN116309375A CN116309375A CN202310159967.3A CN202310159967A CN116309375A CN 116309375 A CN116309375 A CN 116309375A CN 202310159967 A CN202310159967 A CN 202310159967A CN 116309375 A CN116309375 A CN 116309375A
- Authority
- CN
- China
- Prior art keywords
- solid wood
- wood board
- image
- defect
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002023 wood Substances 0.000 title claims abstract description 261
- 239000007787 solid Substances 0.000 title claims abstract description 250
- 230000007547 defect Effects 0.000 title claims abstract description 124
- 238000012545 processing Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000005520 cutting process Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30161—Wood; Lumber
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种实木板材双面缺陷检测及智能加工坐标确定方法,包括:采集N块实木板材样本双面图像,对图像进行预处理;对图像进行缺陷标注,并将其作为数据集用来训练实木板材缺陷检测深度学习离线网络模型;在线采集实木板材双面图像,并进行预处理,将实木板材双面图像按行对齐;将实木板材图像输入至训练好的模型内,获得实木板材缺陷坐标;优化实木板材缺陷坐标,获得实木板材图像上的加工位置坐标;将加工位置坐标从实木板材图像上转换至实际板材上。本发明通过集成双目视觉获取实木板材双面图像并进一步地进行缺陷检测,对检测到的双面缺陷坐标进行基于图像的工艺优化,实现实木板材的双面缺陷检测,并获取实际板材的加工坐标点。
Description
技术领域
本发明涉及实木板材智能加工方法,具体是一种基于双目视觉的实木板材双面缺陷检测及智能加工坐标确定方法。
背景技术
实木板材缺陷是影响板材质量的重要评价指标,由于实木是自然生长的材料,存在不规则分布的各种缺陷,在生产过程中需要考虑实木板材是否存在产品标准不允许的缺陷,如死节、裂纹等。
传统的实木板材缺陷检测及加工方式多依赖人工识别并划线,人工缺陷检测很难完成长时间连续分选工作,且随着工作时间的增加容易产生误检或漏检。而且目前的实木板材的缺陷检测多基于单目机器视觉,只能检测实木板材的单面缺陷,对于缺陷分布不对称的板材很容易遗漏反面的缺陷,或导致在优选截断时刀片加工在实木板材的节子等材质坚硬处,造成刀具损伤,对生产加工产生影响。
发明内容
本发明所要解决的技术问题是针对上述现有技术未解决的采集到实木地板双面图像后如何进行缺陷检测并确定加工坐标的问题,提供一种基于双目视觉的实木板材双面缺陷检测及智能加工坐标确定方法,本实木板材双面缺陷检测及智能加工坐标确定方法通过集成双目视觉获取实木板材双面图像并进一步地进行缺陷检测,对检测到的缺陷坐标进行基于图像的工艺优化,实现实木板材的双面缺陷检测,并获得实际实木板材的加工坐标点。
为实现上述技术目的,本发明采取的技术方案为:
一种基于双目视觉的实木板材双面缺陷检测加工方法,包括:
步骤1、搭建实木板材传送装置,所述实木板材传送装置包括用于运送实木板材的传送带以及设置在传送带两侧的图像采集装置,所述图像采集装置用于采集传送带上运送的实木板材的双面图像;
步骤2、通过图像采集装置采集N块实木板材样本双面图像,对采集到的图像进行预处理,去除背景;
步骤3、对预处理后并去除背景的图像进行缺陷标注,并将其作为数据集用来训练实木板材缺陷检测深度学习离线网络模型;
步骤4、通过图像采集装置在线采集实木板材双面图像,使用步骤2中的方法将实木板材双面图像预处理后去除背景,将去除背景后的实木板材双面图像按行对齐,实现双面图像的配准以及实木板材双面图像的坐标对齐;
步骤5、将步骤4采集到的实木板材图像输入至步骤3中训练完成的实木板材缺陷检测深度学习离线网络模型,对实木板材图像进行缺陷检测,获得实木板材缺陷坐标;
步骤6、使用基于图像的工艺优化算法将实木板材缺陷坐标进行优化,获得优化后的在实木板材图像上的加工位置坐标;
步骤7、结合与传送带传动连接的驱动电机的编码器信息以及实木板材实际长度计算折算系数K,将实木板材图像上的加工位置坐标从实木板材图像上转换至实际的实木板材上。
作为本发明进一步改进的技术方案,所述的图像采集装置采用工业相机。
作为本发明进一步改进的技术方案,所述的步骤2具体包括:
2.1、将从图像采集装置传回的实木板材样本彩色图像进行灰度化,将实木板材RGB三通道图转化为单通道灰度图;
2.2、对实木板材灰度图像进行阈值分割,通过自适应阈值将单通道灰度图中进行二值化;
2.3、对二值化后的图像进行连通域计算,通过计算得到连通域面积最大的区域;
2.4、将选取出的区域进行凸包区域选择,选取完整的实木板材区域;
2.5、对选取区域进行一次腐蚀形态学操作,获得最终的实木板材选定区域;
2.6、在原图像上将获得的最终的实木板材选定区域裁剪出来,从而去除背景。
作为本发明进一步改进的技术方案,所述步骤3具体包括:
3.1、将预处理后并去除背景的实木板材图像进行随机裁剪;
3.2、在裁剪得到的实木板材图像数据集上进行数据标注,通过绘制方框将实木板材图像中的缺陷框出并标注缺陷种类,将数据集按照1:1:8划分为测试集、验证集以及训练集;
3.3、将制作好的数据集输入基于深度学习的目标检测网络模型中,所述基于深度学习的目标检测网络模型即为实木板材缺陷检测深度学习离线网络模型,在训练集上进行模型参数调优,最终在测试集上测试,训练完成的模型能输出实木板材缺陷坐标,即输出实木板材的缺陷框以及缺陷框坐标。
作为本发明进一步改进的技术方案,所述步骤6具体包括:
6.1、读取步骤5中得到的实木板材缺陷框以及缺陷框坐标,并计算整张实木板材的宽度W和长度H,获得第i个缺陷框的坐标(xi,yi,wi,hi),其中xi为第i个缺陷框中心横坐标,yi为第i个缺陷框中心纵坐标,wi为第i个缺陷框宽度,hi为第i个缺陷框长度;
6.2、基于板材双面形状一致的假设,将实木板材的缺陷框坐标修改为(xi,yi,W,hi),并绘制新的缺陷框;
6.3、将实木板材双面图像中的缺陷框均采用实线绘制在一个W×H的矩形图上;
6.4、设加工时的最小尾料长度为T,以及最小木材长度为l;
在W×H的矩形图的前端增加一个虚线预料框,预料框的坐标为(W/2,l/2,W,l),在W×H的矩形图的尾端增加一个虚线尾料框,尾料框的坐标为(W/2,L-T/2,W,T),将W×H的矩形图上的所有缺陷框进行膨胀操作,膨胀后的缺陷框用虚线表示,即将步骤6.3中的所有缺陷框坐标变换为:(xi,yi,W,hi+l);
6.5、将W×H的矩形图上所有的虚线矩形框进行连通域检测,进一步的将每个连通域内的所有实线原矩形框作为一个整体取最大外接矩形,获得的最大外接矩形作为所要加工的矩形;
6.6、将步骤6.5获得的所要加工的矩形作为实木板材上所有待加工区域,将所要加工的矩形的两条边所在的位置作为实木板材图像上的加工位置坐标。
作为本发明进一步改进的技术方案,所述步骤7具体包括:
7.1、世界坐标系下的实木板材真实坐标:
实木板材的真实长度lreal为实木板材在一定时间内经过工业相机扫描区域的长度,即实木板材运动速度在拍摄时间内的积分,而实木板材在与传送带没有相对运动的情况下,实木板材的速度即为传送带的速度;
lreal=∫v(t)dt=∫k1ω(t)dt;
其中v(t)为传送带速度随时间的变化,k1为驱动电机与传送带之间的传动系数,ω(t)为驱动电机的转速;当传动带正常运转时,k1为常数,则写成:
lreal=k1∫ω(t)dt;
7.2、实木板材图像坐标系下的坐标计算:
拍摄到的实木板材图片的长度limage表示为实木板材拍摄时拍摄速度即行频的积分,行频信号由驱动电机的编码器提供,即:
limage=∫f(t)dt=∫k2ω(t)dt;
其中f(t)为工业相机拍摄速度随时间的变化,k2为编码器信号发送给工业相机时设置的分频系数,ω(t)为驱动电机的转速;k2为常数,则写成:
limage=k2∫ω(t)dt;
7.3、实木板材真实长度计算:
实木板材的真实坐标与实木板材图像坐标转换方式如下:
由7.1和7.2可知,k1和k2均为常数,所以K也为常数,即实木板材的真实长度与实木板材图像长度成比例关系,通过测量实际实木板材的长度与实木板材图像的长度求得比例系数K,通过比例系数K即可实现实际实木板材的长度与实木板材图像的长度的转换,即可将实木板材图像上的加工位置坐标从实木板材图像上转换至实际实木板材上。
与现有技术相比,本发明具有以下有益效果:
(1)引入双目视觉,通过工业相机获取实木板材双面图像,获得更为详细的实木板材表面信息,并使用机器视觉算法对图像进行预处理,去除实木板材图像无用信息,增强有效信息。
(2)通过对采集到的图像进行标注,训练高效目标检测模型,将训练好的模型用于实木板材表面图像在线缺陷检测,代替人工检测,提高加工效率以及准确率。
(3)开发了基于图像的实木板材加工工艺优化算法,充分利用双面缺陷信息,将双面缺陷信息进行融合,减少不必要的加工刀路,避免刀片加工在实木板材的节子等材质坚硬处,代替人工划线,进一步提高加工效率。、
(4)通过集成双目视觉获取实木板材双面图像并进一步地进行缺陷检测,对检测到的缺陷坐标进行基于图像的工艺优化,获得优化后的在实木板材图像上的加工位置坐标,将实木板材图像上的加工位置坐标从实木板材图像上转换至实际实木板材上,实现实木板材的双面缺陷检测以及实际实木板材的加工坐标点的确定。
附图说明
图1实木板材图像信息增强流程,即预处理去除背景流程图。
图2实木板材双面图像配准效果图。
图3为基于图像处理的实木板材加工工艺优化算法图。
图3中(a)为通过模型输出的实木板材双面图像中的缺陷框示意图。
图3中(b)为绘制的新的缺陷框示意图。
图3中(c)为将实木板材双面的所有缺陷框绘制在一个W×H的矩形上的示意图。
图3中(d)为将双面图片上的所有缺陷框进行膨胀操作后的示意图。
图3中(e)为获得的加工矩形示意图。
图3中(f)为将获得的加工矩形的两条边作为加工点示意图。
图4为本方法的算法流程图。
具体实施方式
下面根据附图对本发明的具体实施方式作出进一步说明:
一种基于双目视觉的实木板材双面缺陷检测及智能加工坐标确定方法,具体步骤如图4所示,包括:
步骤1、搭建实木板材传送装置,所述实木板材传送装置包括用于运送实木板材的传送带以及设置在传送带两侧的图像采集装置(采用工业相机),所述图像采集装置用于采集传送带上运送的实木板材的双面图像(即实木板材的上表面和下表面)。本实施例的图像采集主要分为上下两部分,两部分都包含了独立的工业相机以及光源。上半部分可以通过使用调整电机进行上下移动,从而控制工业相机以及光源达到最佳位置,达到最佳的成像效果。下半部分的工业相机可以通过两条传送带中间的间隙拍摄到实木板材下方的图像。当采集木材图像时,实木板材在传送带上前进,当经过对射式光电开关时,同时触发上下两台工业相机开始采集,从而实现实木板材双面图像采集。
本实施例的工业相机具有外部IO控制接口,因此可以通过设置工业相机内部触发模式实现实木板材图像自动采集,即将光电开关的输出信号线接入工业相机的GPIO口作为触发源。当需要拍摄的实木板材通过光电开关时,光电开关的输出端会因为被挡住而从高电平转换为低电平,产生一个下降沿,工业相机根据此下降沿开始拍摄图像。
步骤2:通过步骤1中的图像采集装置采集图像从而获得N块实木板材样本双面图像,对采集到的图像进行预处理,去除背景。
具体为:
2.1、上位机将从工业相机传回的且已经拼接完成获得的实木板材彩色图像(如图1中a所示)进行灰度化,如图1中b所示,将实木板材RGB三通道图转化为单通道灰度图,降低后续处理难度;
2.2、对实木板材灰度图像进行阈值分割,如图1中c所示,通过自适应阈值将单通道灰度图中进行二值化,进一步减少图像处理复杂度;
2.3、对二值化后的图像进行连通域计算,如图1中d所示,通过计算得到连通域面积最大的区域,去除拍摄得到图像中的细小杂物;
2.4、将选取出的区域进行凸包区域选择,如图1中e所示,选取完整的实木板材区域,填充因为阈值分割带来的裂纹、节子等区域的空洞;
2.5、对选取区域进行一次腐蚀形态学操作,如图1中f所示,减少因为光照造成边沿阴影带来的误差,获得最终的实木板材选定区域;
2.6、在原图像上将选定区域裁剪出来,如图1中g所示,将原来包含背景无效信息的实木板材图像裁剪为信息集中的实木板材图像。
步骤3:对预处理后并去除背景的实木板材图像进行缺陷标注并训练实木板材缺陷检测深度学习离线网络模型。
3.1、将预处理后并去除背景的实木板材图像进行随机裁剪,减少训练时的损耗;
3.2、在裁剪得到的实木板材图像数据集上进行数据标注,通过绘制方框将实木板材的缺陷框出并标注缺陷种类,将数据集按照1∶1:8划分为测试集、验证集以及训练集;
3.3、将制作好的数据集输入基于深度学习的目标检测网络模型中,在训练集上进行模型参数调优,最终在测试集上测试,训练完毕的模型可以输出实木板材上的缺陷坐标,具体是输出实木板材的实线缺陷框以及缺陷框坐标(坐标中心x,坐标中心y,坐标宽度w,坐标长度h)。
步骤4:通过图像采集装置在线采集实木板材图像,使用步骤2中的图像预处理算法将实木板材双面图像去除背景,如图2所示,通过将去除背景后的实木板材图像按行对齐,实现双面图像的配准,实木板材双面图像坐标对齐。
步骤5:分别将步骤4采集到的实木板材图像输入步骤3中充分训练的实木板材缺陷检测深度学习离线网络模型,对实木板材图像进行缺陷检测,获得实木板材缺陷坐标(坐标中心x,坐标中心y,坐标宽度w,坐标长度h)。
步骤6:使用基于图像的工艺优化算法将实木板材缺陷坐标进行优化,获得优化后的在实木板材图像上的加工坐标。
具体为:
6.1、读取步骤5中计算得到的实木板材缺陷坐标,即缺陷框以及缺陷框坐标,并计算整张实木板材的宽度W和长度H,获得第i个缺陷的坐标(xi,yi,wi,hi),如图3中(a)所示,其中xi为第i个缺陷框中心横坐标,yi为第i个缺陷框中心纵坐标,wi为第i个缺陷框宽度,hi为第i个缺陷框长度;其中实木板材宽度所在的方向作为X轴,实木板材长度所在的方向作为Y轴,实木板材图像的左下角为原点,上表面的图像坐标系为x′O′y′,下表面的坐标系为x″O″y″;
6.2、基于板材双面形状一致的假设,将实木板材的缺陷坐标修改为(xi,yi,W,hi),并绘制新的缺陷框,如图3中(b)所示;
6.3、将实木板材双面的所有缺陷框均采用实线绘制在一个W×H的矩形图上,新的矩形的图像坐标系为xOy,为便于说明,以缺陷框在长度方向边的位置进行标记,如图3中(c)所示,该实木板材双面共有六处缺陷,其中a1-b1、c1-dl、e1-f1为上表面三处缺陷的位置,a2-b2、c2-d2、e2-f2为下表面三处缺陷的位置;
6.4、在加工过程中木材锯片本身存在一定厚度,而且截取的实木板材过短将失去后续加工的价值,此外在加工过程中存在最后的尾料,过短的尾料会导致没有后续动力排出加工区域,导致堵塞,需要考虑加工时的最小尾料长度T,以及最小木材长度l;
因此,如图3中(d)所示,在W×H的矩形图的前端绘制一个虚线预料框,预料框的坐标为(W/2,l/2,W,l),在W×H的矩形图的尾部绘制一个虚线尾料框,尾料框的坐标为(W/2,L-T/2,W,T),将W×H的矩形图上的所有缺陷框进行膨胀操作,即将缺陷框的长度变为原来的长度加上两个加工点间最小距离l来模拟主锯加工过程,即将步骤6.3中的所有缺陷框坐标变换为:(xi,yi,W,hi+l),如图3中(d)所示,其中的虚线框表示膨胀后的缺陷框,a11-b11、c11-d11、e11-f1l为上表面缺陷框膨胀后的起始和结束位置,a21-b21、c21-d21、e21-f21为下表面缺陷框膨胀后的起始和结束位置,p11、p21为防止实木板材首段料过短的保护框的起始和结束位置,q11、q21为保证尾料长度的尾料框的起始和结束位置;
6.5、将W×H的矩形图上所有的虚线矩形框进行连通域检测,进一步的将每个连通域内的所有实线原矩形框作为一个整体取最大外接矩形,获得若干个加工矩形,如图3中(e)所示,最终获得三个加工矩形;
6.6、将获得的加工矩形作为板材上所有待加工区域,将所有加工矩形的两条边所在位置作为实木板材图像上的加工点坐标,即加工位置坐标,如图3中(f)所示,包括加工点1-加工点6。
步骤7:结合与传送带传动连接的驱动电机的编码器信息以及实木板材实际长度计算折算系数K,将实木板材的加工位置坐标从实木板材图像上转换至实际实木板材上。在实际操作过程中,保证工业相机拍摄速度和传送带速度同步。
具体为:
7.1世界坐标系下的实木板材真实坐标:
实木板材的真实长度lreal为实木板材在一定时间内经过工业相机扫描区域的长度,即实木板材运动速度在拍摄时间内的积分,而实木板材在与传送带没有相对运动的情况下,实木板材的速度即为传送带的速度;
lreal=∫v(t)dt=∫k1ω(t)dt;
其中v(t)为传送带速度随时间的变化,k1为驱动电机与传送带之间的传动系数,ω(t)为驱动电机的转速;当传动带正常运转时,k1为常数,所以可以写成:
lreal=k1∫ω(t)dt;
7.2实木板材图像坐标系下的坐标计算:
拍摄到的实木板材图片的长度limage可以表示为实木板材拍摄时拍摄速度即行频(每分钟拍摄多少行)的积分,行频信号由驱动电机的编码器提供;
limage=∫f(t)dt=∫k2ω(t)dt;
其中f(t)为工业相机拍摄速度随时间的变化,k2为编码器信号发送给工业相机时设置的分频系数,ω(t)为驱动电机的转速;因为k2为常数,所以可以写成:
limage=k2∫ω(t)dt;
7.3实木板材真实长度计算:
实木板材的真实坐标与图像坐标转换方式如下:
由7.1,7.2可知k1,k2为常数,所以K也为常数,即实木板材的真实长度与实木板材图像长度成比例关系,通过测量实际实木板材的长度与实木板材图像的长度求得比例系数K即可以实现实际实木板材长度与实木板材图像长度的转换,也即可将实木板材图像上的加工位置坐标从实木板材图像上转换至实际实木板材上。
图像采集装置将采集到的图像发送给上位机,在上位机中按照步骤2-步骤7的方法,最终将实木板材图像上的加工位置坐标从实木板材图像上转换至实际实木板材上后,从而获得实际实木板材的加工位置坐标,上位机将实际实木板材的加工位置坐标发送至实木板材锯切加工装置,再继续通过传送带将实际实木板材传送至实木板材锯切加工装置(产品EM8515),实木板材锯切加工装置加工过程为:进料,将采集完图像的实木板材输送至实木板材锯切加工装置处;实木板材锯切加工装置的进料伺服电机启动,主锯电机启动,出料输送带电机启动;实木板材锯切加工装置接收上位机发送的加工位置坐标;当第一进料开关接收到信号后,减速进料;当第二进料开关收到信号后,压轮气缸动作,压轮下压,压住实木板材前进;是否达到目标位置,当达到目标位置(即加工位置坐标)后,进料伺服电机停止;切割主轴升降电机动作,抬升锯片,锯切板材;锯切完毕,切割主轴升降电机动作,复位锯片;进料伺服电机启动,板材继续输送;按照上述方法将实木板材所有的加工坐标位置均进行切割,最终输出板材。
本发明引入双目视觉,通过工业相机获取实木板材双面图像,获得更为详细的实木板材表面信息,并使用机器视觉算法对图像进行预处理,去除实木板材图像无用信息,增强有效信息。通过对采集到的图像进行标注,训练高效目标检测模型,将训练好的模型用于实木板材表面图像在线缺陷检测,代替人工检测,提高加工效率以及准确率。开发了基于图像的实木板材加工工艺优化算法,充分利用双面缺陷信息,将双面缺陷信息进行融合,减少不必要的加工刀路,代替人工划线,进一步提高加工效率。
本发明的保护范围包括但不限于以上实施方式,本发明的保护范围以权利要求书为准,任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。
Claims (6)
1.一种实木板材双面缺陷检测及智能加工坐标确定方法,其特征在于,包括:
步骤1、搭建实木板材传送装置,所述实木板材传送装置包括用于运送实木板材的传送带以及设置在传送带两侧的图像采集装置,所述图像采集装置用于采集传送带上运送的实木板材的双面图像;
步骤2、通过图像采集装置采集N块实木板材样本双面图像,对采集到的图像进行预处理,去除背景;
步骤3、对预处理后并去除背景的图像进行缺陷标注,并将其作为数据集用来训练实木板材缺陷检测深度学习离线网络模型;
步骤4、通过图像采集装置在线采集实木板材双面图像,使用步骤2中的方法将实木板材双面图像预处理后去除背景,将去除背景后的实木板材双面图像按行对齐,实现双面图像的配准以及实木板材双面图像的坐标对齐;
步骤5、将步骤4采集到的实木板材图像输入至步骤3中训练完成的实木板材缺陷检测深度学习离线网络模型,对实木板材图像进行缺陷检测,获得实木板材缺陷坐标;
步骤6、使用基于图像的工艺优化算法将实木板材缺陷坐标进行优化,获得优化后的在实木板材图像上的加工位置坐标;
步骤7、结合与传送带传动连接的驱动电机的编码器信息以及实木板材实际长度计算折算系数K,将实木板材图像上的加工位置坐标从实木板材图像上转换至实际的实木板材上。
2.根据权利要求1所述的实木板材双面缺陷检测及智能加工坐标确定方法,其特征在于,所述的图像采集装置采用工业相机。
3.根据权利要求1所述的实木板材双面缺陷检测及智能加工坐标确定方法,其特征在于,所述的步骤2具体包括:
2.1、将从图像采集装置传回的实木板材样本彩色图像进行灰度化,将实木板材RGB三通道图转化为单通道灰度图;
2.2、对实木板材灰度图像进行阈值分割,通过自适应阈值将单通道灰度图中进行二值化;
2.3、对二值化后的图像进行连通域计算,通过计算得到连通域面积最大的区域;
2.4、将选取出的区域进行凸包区域选择,选取完整的实木板材区域;
2.5、对选取区域进行一次腐蚀形态学操作,获得最终的实木板材选定区域;
2.6、在原图像上将获得的最终的实木板材选定区域裁剪出来,从而去除背景。
4.根据权利要求1所述的实木板材双面缺陷检测及智能加工坐标确定方法,其特征在于,所述步骤3具体包括:
3.1、将预处理后并去除背景的实木板材图像进行随机裁剪;
3.2、在裁剪得到的实木板材图像数据集上进行数据标注,通过绘制方框将实木板材图像中的缺陷框出并标注缺陷种类,将数据集按照1:1:8划分为测试集、验证集以及训练集;
3.3、将制作好的数据集输入基于深度学习的目标检测网络模型中,所述基于深度学习的目标检测网络模型即为实木板材缺陷检测深度学习离线网络模型,在训练集上进行模型参数调优,最终在测试集上测试,训练完成的模型能输出实木板材缺陷坐标,即输出实木板材的缺陷框以及缺陷框坐标。
5.根据权利要求4所述的实木板材双面缺陷检测及智能加工坐标确定方法,其特征在于,所述步骤6具体包括:
6.1、读取步骤5中得到的实木板材缺陷框以及缺陷框坐标,并计算整张实木板材的宽度W和长度H,获得第i个缺陷框的坐标(xi,yi,wi,h)),其中xi为第i个缺陷框中心横坐标,yi为第i个缺陷框中心纵坐标,wi为第i个缺陷框宽度,hi为第i个缺陷框长度;
6.2、基于板材双面形状一致的假设,将实木板材的缺陷框坐标修改为(xi,yi,W,hi),并绘制新的缺陷框;
6.3、将实木板材双面图像中的缺陷框均采用实线绘制在一个W×H的矩形图上;
6.4、设加工时的最小尾料长度为T,以及最小木材长度为l;
在W×H的矩形图的前端增加一个虚线预料框,预料框的坐标为(W/2,l/2,W,l),在W×H的矩形图的尾端增加一个虚线尾料框,尾料框的坐标为(W/2,L-T/2,W,T),将W×H的矩形图上的所有缺陷框进行膨胀操作,膨胀后的缺陷框用虚线表示,即将步骤6.3中的所有缺陷框坐标变换为:(xi,yi,W,hi+l);
6.5、将W×H的矩形图上所有的虚线矩形框进行连通域检测,进一步的将每个连通域内的所有实线原矩形框作为一个整体取最大外接矩形,获得的最大外接矩形作为所要加工的矩形;
6.6、将步骤6.5获得的所要加工的矩形作为实木板材上所有待加工区域,将所要加工的矩形的两条边所在的位置作为实木板材图像上的加工位置坐标。
6.根据权利要求5所述的实木板材双面缺陷检测及智能加工坐标确定方法,其特征在于,所述步骤7具体包括:
7.1、世界坐标系下的实木板材真实坐标:
实木板材的真实长度lreal为实木板材在一定时间内经过工业相机扫描区域的长度,即实木板材运动速度在拍摄时间内的积分,而实木板材在与传送带没有相对运动的情况下,实木板材的速度即为传送带的速度;
lreal=∫v(t)dt=∫k1ω(t)dt;
其中v(t)为传送带速度随时间的变化,k1为驱动电机与传送带之间的传动系数,ω(t)为驱动电机的转速;当传动带正常运转时,k1为常数,则写成:
lreal=k1∫ω(t)dt;
7.2、实木板材图像坐标系下的坐标计算:
拍摄到的实木板材图片的长度limage表示为实木板材拍摄时拍摄速度即行频的积分,行频信号由驱动电机的编码器提供,即:
limage=∫f(t)dt=∫k2ω(t)dt;
其中f(t)为工业相机拍摄速度随时间的变化,k2为编码器信号发送给工业相机时设置的分频系数,ω(t)为驱动电机的转速;k2为常数,则写成:
limage=k2∫ω(t)dt;
7.3、实木板材真实长度计算:
实木板材的真实坐标与实木板材图像坐标转换方式如下:
由7.1和7.2可知,k1和k2均为常数,所以K也为常数,即实木板材的真实长度与实木板材图像长度成比例关系,通过测量实际实木板材的长度与实木板材图像的长度求得比例系数K,通过比例系数K即可实现实际实木板材的长度与实木板材图像的长度的转换,即可将实木板材图像上的加工位置坐标从实木板材图像上转换至实际实木板材上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310159967.3A CN116309375B (zh) | 2023-02-23 | 2023-02-23 | 实木板材双面缺陷检测及智能加工坐标确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310159967.3A CN116309375B (zh) | 2023-02-23 | 2023-02-23 | 实木板材双面缺陷检测及智能加工坐标确定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309375A true CN116309375A (zh) | 2023-06-23 |
CN116309375B CN116309375B (zh) | 2023-10-24 |
Family
ID=86819763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310159967.3A Active CN116309375B (zh) | 2023-02-23 | 2023-02-23 | 实木板材双面缺陷检测及智能加工坐标确定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309375B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152161A (zh) * | 2023-11-01 | 2023-12-01 | 山东迪特智联信息科技有限责任公司 | 一种基于图像识别的刨花板质量检测方法及*** |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09210785A (ja) * | 1996-02-02 | 1997-08-15 | Tokai Carbon Co Ltd | 木材欠陥部の検出方法 |
US20050147286A1 (en) * | 2003-09-25 | 2005-07-07 | Michael Lee | Identifying defects in decorative wood panels |
CN1789990A (zh) * | 2005-12-01 | 2006-06-21 | 渤海船舶重工有限责任公司 | 钢板预处理过程中的上、下表面缺陷在线自动检测方法 |
KR20080060851A (ko) * | 2006-12-27 | 2008-07-02 | 이형우 | 목재표면의 결함검출방법 |
JP2014032109A (ja) * | 2012-08-03 | 2014-02-20 | Taihei Mach Works Ltd | 木材の欠点検出装置及び検出方法 |
CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和*** |
CN107831175A (zh) * | 2017-11-17 | 2018-03-23 | 广西我的科技有限公司 | 一种板材表面缺陷双面检测装置及其检测方法 |
CN108398431A (zh) * | 2017-12-29 | 2018-08-14 | 北京林业大学 | 一种木质材料缺陷检测的装置及方法 |
CN109636772A (zh) * | 2018-10-25 | 2019-04-16 | 同济大学 | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 |
CN110554052A (zh) * | 2019-10-12 | 2019-12-10 | 南宁市威锐康商贸有限公司 | 一种人造板表面缺陷检测方法及其*** |
CN111862028A (zh) * | 2020-07-14 | 2020-10-30 | 南京林业大学 | 基于深度相机和深度学习的木材缺陷检测分选装置及方法 |
CN113066079A (zh) * | 2021-04-19 | 2021-07-02 | 北京滴普科技有限公司 | 木材缺陷自动检测方法、***及其存储介质 |
CN113160136A (zh) * | 2021-03-15 | 2021-07-23 | 哈尔滨理工大学 | 一种基于改进Mask R-CNN的木材缺陷识别和分割方法 |
CN114359235A (zh) * | 2022-01-07 | 2022-04-15 | 山东省计算中心(国家超级计算济南中心) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 |
CN114820470A (zh) * | 2022-04-07 | 2022-07-29 | 苏州科技大学 | 一种基于多特征融合的板材缺陷检测***及检测方法 |
CN115222685A (zh) * | 2022-07-08 | 2022-10-21 | 哈尔滨理工大学 | 一种基于改进yolox模型的木材缺陷检测方法 |
-
2023
- 2023-02-23 CN CN202310159967.3A patent/CN116309375B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09210785A (ja) * | 1996-02-02 | 1997-08-15 | Tokai Carbon Co Ltd | 木材欠陥部の検出方法 |
US20050147286A1 (en) * | 2003-09-25 | 2005-07-07 | Michael Lee | Identifying defects in decorative wood panels |
CN1789990A (zh) * | 2005-12-01 | 2006-06-21 | 渤海船舶重工有限责任公司 | 钢板预处理过程中的上、下表面缺陷在线自动检测方法 |
KR20080060851A (ko) * | 2006-12-27 | 2008-07-02 | 이형우 | 목재표면의 결함검출방법 |
JP2014032109A (ja) * | 2012-08-03 | 2014-02-20 | Taihei Mach Works Ltd | 木材の欠点検出装置及び検出方法 |
CN107392896A (zh) * | 2017-07-14 | 2017-11-24 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的木材缺陷检测方法和*** |
CN107831175A (zh) * | 2017-11-17 | 2018-03-23 | 广西我的科技有限公司 | 一种板材表面缺陷双面检测装置及其检测方法 |
CN108398431A (zh) * | 2017-12-29 | 2018-08-14 | 北京林业大学 | 一种木质材料缺陷检测的装置及方法 |
CN109636772A (zh) * | 2018-10-25 | 2019-04-16 | 同济大学 | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 |
CN110554052A (zh) * | 2019-10-12 | 2019-12-10 | 南宁市威锐康商贸有限公司 | 一种人造板表面缺陷检测方法及其*** |
CN111862028A (zh) * | 2020-07-14 | 2020-10-30 | 南京林业大学 | 基于深度相机和深度学习的木材缺陷检测分选装置及方法 |
CN113160136A (zh) * | 2021-03-15 | 2021-07-23 | 哈尔滨理工大学 | 一种基于改进Mask R-CNN的木材缺陷识别和分割方法 |
CN113066079A (zh) * | 2021-04-19 | 2021-07-02 | 北京滴普科技有限公司 | 木材缺陷自动检测方法、***及其存储介质 |
CN114359235A (zh) * | 2022-01-07 | 2022-04-15 | 山东省计算中心(国家超级计算济南中心) | 一种基于改进YOLOv5l网络的木材表面缺陷检测方法 |
CN114820470A (zh) * | 2022-04-07 | 2022-07-29 | 苏州科技大学 | 一种基于多特征融合的板材缺陷检测***及检测方法 |
CN115222685A (zh) * | 2022-07-08 | 2022-10-21 | 哈尔滨理工大学 | 一种基于改进yolox模型的木材缺陷检测方法 |
Non-Patent Citations (8)
Title |
---|
LI S ET AL: "Wood Defect Classification Based on Two-Dimensional Histogram Constituted by LBP and Local Binary Differential Excitation Pattern", IEEE ACCESS * |
URBONAS A ET AL: "Automated Identification of Wood Veneer Surface Defects Using Faster Region-Based Convolutional Neural Network with Data Augmentation and Transfer Learning", APPLIED SCIENCES * |
常宏杰;孙聚运;岳彦芳;杨光;: "机器视觉在板材表面缺陷检测中的应用", 机械设计与制造, no. 08 * |
王均东;赵乾;刘英;翟菲菲;赵特;: "木材表面缺陷的激光扫描与检测装置设计", 林业机械与木工设备, no. 11 * |
程玉柱;顾权;王众辉;李赵春;: "基于深度学习的木材缺陷图像检测方法", 林业机械与木工设备, no. 08 * |
翟菲菲;刘英;杨雨图;房友盼;於亚斌;: "基于PLC与组态王的实木板材双面检测装置的总体设计", 林产工业, no. 09 * |
翟菲菲;刘英;杨雨图;房友盼;於亚斌;: "实木板材表面无损检测装置控制***的设计", 木材加工机械, no. 03 * |
范佳楠;刘英;胡忠康;赵乾;沈鹭翔;周晓林;: "基于Faster R-CNN的实木板材缺陷检测识别***", 林业工程学报, no. 03 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152161A (zh) * | 2023-11-01 | 2023-12-01 | 山东迪特智联信息科技有限责任公司 | 一种基于图像识别的刨花板质量检测方法及*** |
CN117152161B (zh) * | 2023-11-01 | 2024-03-01 | 山东迪特智联信息科技有限责任公司 | 一种基于图像识别的刨花板质量检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN116309375B (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109772733B (zh) | 一种基于视觉的缺陷竹块检测分拣装置及方法 | |
CN110403232B (zh) | 一种基于二级算法的烟支质量检测方法 | |
CN116309375B (zh) | 实木板材双面缺陷检测及智能加工坐标确定方法 | |
CN104101600B (zh) | 连铸坯断面微小裂纹检测方法 | |
CN105388162A (zh) | 基于机器视觉的原料硅片表面划痕检测方法 | |
CN102175692A (zh) | 织物坯布疵点快速检测***及方法 | |
TWI607211B (zh) | Image generation device, defect inspection device, and defect inspection method | |
CN112950602B (zh) | 基于深度相机与机器学习的糖果缺陷检测装置及分类方法 | |
US20230152242A1 (en) | Continuous casting billet surface detection system and method based on two-dimensional and three-dimensional combined imaging | |
CN110715623A (zh) | 一种瓷砖平整度检测设备及方法 | |
CN212093316U (zh) | 一种基于kinect相机的木材缺陷检测装置 | |
CN116698860B (zh) | 基于图像处理实现批量实心根类中药切片质量分析的方法 | |
CN112837287A (zh) | 一种板面缺陷区域的提取方法及装置 | |
CN116078704A (zh) | 一种基于ccd的外观检测设备 | |
CN113538323A (zh) | 基于深度学习的缺陷检测方法和*** | |
CN116482125A (zh) | 一种基于机器视觉的布匹缺陷处理方法 | |
CN116482104A (zh) | 热转印胶片检测方法 | |
CN113705487B (zh) | 精密工件识别及工艺参数关联***以及识别方法 | |
Radovan et al. | An approach for automated inspection of wood boards | |
CN210533305U (zh) | 一种瓷砖平整度检测设备 | |
CN115415186A (zh) | 一种基于深度学习的人工智能木片自动分级方法及*** | |
CN114563416A (zh) | 一种人造板板面质量检测的方法 | |
CN114118266A (zh) | 一种表面含砂浆的再生骨料的视觉检测分类方法和*** | |
CN210442276U (zh) | 模切制品在线检测装置 | |
CN114004783A (zh) | 一种基于图像识别的自动扶梯的扶手带剩余寿命的判断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |