CN104458749A - 基于机器视觉的铝型材表面缺陷实时检测*** - Google Patents

Abstract

本发明提供了一种基于机器视觉的铝型材表面缺陷实时检测***，包括通讯设置模块、相机设置模块、对焦调节模块、电气控制模块、状态显示模块、图像显示模块、数据统计模块和故障检测模块。本发明基于机器视觉技术实现了铝型材表面缺陷的实时无损检测，与现有的人工检测相比，提高了自动化程度，减轻了劳动强度，能更快速、准确对缺陷进行定位，大大减少人力投入，具有检测速度快和检测精度高的优点，该***结构简单，易于维护，实用性强。

Description

基于机器视觉的铝型材表面缺陷实时检测***

技术领域

本发明涉及表面缺陷检测领域，特别涉及一种基于机器视觉的铝型材表面缺陷实时检测***。

背景技术

近几年来，随着我国大规模的基建投资和工业化进程的快速推进，铝型材全行业的产量和消费量迅猛增长，而我国也一跃成为世界上最大的铝型材生产基地和消费市场。中国铝型材约有300种合金、1500个品种，是世界上产品品种最丰富的国家之一。虽然我国技术与装备已进入国际先进行列，但广大中小企业的技术与装备多还停留在20世纪90年代水平，由此形成了我国铝型材加工工业大而不强、小而不精的现状。

表面质量是铝型材质量的一项重要指标，在加工过程中，由于原材料、设备和工艺等原因，导致铝型材表面会出现各种不同类型的缺陷，随着科学技术的不断发展，对铝型材表面质量的要求越来越高。在市场的激烈竞争条件下，其质量不仅代表企业的形象，而且还是赢得市场的首要条件。如何有效检测铝型材表面缺陷的同时加快检测速度是当前铝型材缺陷实时检测技术的一个很重要的课题。当前的质量检测工作全部由人工完成，检测工人通过用肉眼观察铝型材表面来进行缺陷查找，并对存在缺陷的铝材进行手工标记和分拣，但人工检测存在很多不足，容易受检测人员经验、情绪、劳累强度等主观因素影响，检测速度慢且很难检测到小的缺陷。

发明内容

本发明的主要目的在于克服现有检测技术的不足，提出一种基于机器视觉的铝型材表面缺陷实时检测***。

本发明为实现上述目的所采用的技术方案是：一种基于机器视觉的铝型材表面缺陷实时检测***，包括

通讯设置模块，用于设置与上位机通讯的各个相机的IP地址、UDP监听端口号、TCP监听端口号和上位机的UDP监听端口号、TCP监听端口号，使上位机与各个相机通讯连接；

相机设置模块，用于设置各个相机采用的边缘检测算法和相机参数；

对焦调节模块，用于调节各个相机的对焦情况，以使相机采集到清晰图像；

电气控制模块，用于控制电机的启动，以带动铝型材匀速运动；并根据光电开关检测到的铝型材运动位置信息控制光源的开关状态以及电机何时停止；在电机出现异常时，控制电机状态的复位；

状态显示模块，用于实时显示缺陷检测结果；

数据统计模块，记录每种铝型材的型号，当检测某根铝型材的某帧时，根据缺陷信息统计当前根铝型材的缺陷数量，各个缺陷的类别，当检测完当前根铝型材时，统计这种铝型材的缺陷数量、各种缺陷的数量、缺陷铝材数目以及缺陷率；

故障检测模块，用以检测整个***的运行状态，包括传送带故障、光电传感器故障、铝材卡住、照明故障和异物遮挡镜头/光源，如果出现其中一种故障则发出报警提示。

上位机通过UDP协议向指定IP地址和端口号的某相机发送控制命令，用于实现相机参数的设置，控制相机进行图像采集、处理；相机执行完相应命令后通过UDP协议向上位机指定端口发送应答信息，将设置结果、图像处理结果反馈给上位机。

上位机通过TCP协议向指定IP地址和端口号的某相机发起连接请求，成功建立TCP连接后，相机通过TCP协议将图片结构体及图像数据信息发送到上位机指定端口。

所述边缘检测算法，包括canny算法、sobel算法、prewitt算法和laplace算法；用户根据实际情况，针对检测速度和效率要求灵活多样的选择。

所述相机参数包括相机ID、检测范围、快门时间、是否上传图像、显示原图或二值图以及算法参数。

所述状态显示模块显示的内容包括设备状态、数据采集单元状态、电机运行状态、光电开关状态、光源状态和相机状态；所述设备状态和数据采集单元状态包含正常和故障两种状态；所述电机运行状态是指电机的运行与停止；所述光电开关状态是指光电开关是否检测到铝型材；所述光源状态是指光源的开或关；所述相机状态是指相机是否与上位机正常通讯。

所述图像显示模块，通过四个不同位置的相机分别检测一根铝型材的四个面，采用四方格分别显示四个相机采集的四幅图像。

本发明具有以下优点及有益效果：

1.本发明实现了铝型材表面缺陷的实时无损检测，将机器视觉技术应用到铝型材表面缺陷检测中，与现有人工检测方法相比，提高了自动化程度，减轻了劳动强度，能更快速、准确的定位缺陷部位，该***结构简单，易于维护，实用性强。

2.利用机器视觉技术对铝型材产品表面缺陷进行检测，可针对客户的不同要求对产品的缺陷进行等级分类，实现定量的缺陷检测，并能保证质量检测结果的稳定性和可靠性。

3.该***可将检测结果、缺陷图像保存，方便生产技术人员随时查看特定时间段内的产品缺陷率、缺陷种类分布、缺陷图片等资料，并可根据这些统计资料追溯产品质量问题产生的原因，从根本上杜绝或减少缺陷品的产生，同时也可指导技术人员改进生产工艺，提高整体产品质量。

附图说明

图1为缺陷检测***框图；

图2为UDP协议流程图；

图3为检测过程流程图；

图4为检测算法流程图；

图5为TCP协议流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

本发明基于机器视觉的铝型材表面缺陷实时检测***，包括通讯设置模块、相机设置模块、对焦调节模块、电气控制模块、状态显示模块、图像显示模块、数据统计模块和故障检测模块。如图1所示。

所述通讯设置模块用以设置与上位机通讯的各个相机的IP地址、UDP监听端口号和TCP监听端口号，上位机的UDP监听端口号和TCP监听端口号，为上位机和相机之间的通讯提供保障；UDP协议：上位机通过UDP协议向指定IP地址和端口号的某相机发送控制命令，用于实现相机参数的设置，控制相机进行图像采集、处理，相机执行完相应命令后通过UDP协议向上位机指定端口发送应答信息，将设置结果，图像处理结果反馈给上位机；TCP协议：上位机通过TCP协议向指定IP地址和端口号的某相机发起连接请求，成功建立TCP连接后，相机通过TCP协议将图片结构体及图像数据信息发送到上位机指定端口。

所述相机设置模块包括选择各个相机采用的边缘检测算法以及设置各个相机的参数；算法选择是指用户可以根据实际情况，针对检测速度和效率要求灵活多样的选择边缘检测算法，包括canny算法、sobel算法、prewitt算法和laplace算法；参数设置包括相机ID、检测范围、快门时间、是否上传图像、显示原图或二值图以及一些算法参数。

所述对焦调节模块是指根据对焦评价算法调节各个相机的对焦情况，以便相机采集到清晰图像；铝型材表面图像的清晰程度直接影响缺陷检测的准确率，采用对焦评价算法实现对相机对焦情况实时评价，能得到最清晰的图像，提高检测准确率。

所述电气控制模块包括控制电机的启动与停止以及电气状态的复位，保证铝型材的匀速运动。当电机启动时，带动铝型材运动，同时根据光电开关检测到的铝型材运动位置信息控制光源的开关状态以及电机何时停止。

所述状态显示模块包括设备状态、数据采集单元状态、电机运行状态、光电开关状态、光源状态和相机状态的显示，设备状态和数据采集单元状态包含正常和故障两种状态，电机运行状态是指电机的运行与停止，光电开关状态是指光电开关是否检测到铝型材，光源状态是指光源的开或关，相机状态是指相机是否与上位机正常通讯。

所述图像显示模块用以实时显示缺陷检测结果，可以采用四方格显示四个相机分别采集的四幅图像，也可以根据实际要求对单个图像进行放大显示。采用四个不同位置的相机分别检测一根铝型材的四个面，同一时间采集到的图像并不是铝型材的同一位置，对四个面的图像做综合匹配后，采用进度条的形式显示每根铝型材的每帧缺陷状态。

所述数据统计模块是指根据相机发送的每帧图像缺陷信息统计每根铝型材的缺陷数量、各个缺陷的类别、每种铝型材的缺陷数量、各种缺陷的数量、缺陷铝材数目以及缺陷率等信息，方便生产技术人员随时查看产品缺陷率、缺陷种类分布资料。数据统计模块首先要记录每种铝型材的型号，当检测某根铝型材的某帧时，根据缺陷信息统计当前根铝型材的缺陷数量，各个缺陷的类别，当检测完当前根铝型材时，统计这种铝型材的缺陷数量、各种缺陷的数量、缺陷铝材数目以及缺陷率。

所述故障检测模块用以检测整个***的运行状态，包括传送带故障、光电传感器故障、铝材卡住、照明故障和异物遮挡镜头或光源，如果出现其中一种故障则报警。

本发明的***工作流程为：首先要对通讯设置模块、相机设置模块、对焦调节模块进行相应的操作。通讯设置模块设置与上位机相连相机的IP地址、监听端口号，上位机的UDP监听端口号和TCP监听端口号，例如四台相机的ip地址分别为192.168.1.65-192.168.1.68，相机UDP监听端口为8010、TCP监听端口为8000，上位机的UDP监听端口分别为8010-8013、TCP监听端口为8000；为上位机和各相机之间的通信提供保障。

如图2所示为UDP协议流程图，首先在上位机和相机端分别创建UDP类型socket并绑定到指定地址，在相机端用listen函数让socket处于监听到来的连接请求的状态，当相机端收到上位机发送的命令包后，分析是何种命令，如参数设置、图像采集等，执行相应的命令，之后发送应答包，将设置结果，图像处理结果反馈给上位机。

相机设置模块包括选择各个相机采用的算法以及设置各个相机的参数，算法选择是指用户可以根据实际情况，针对检测速度和效率要求灵活多样的选择边缘检测算法，包括canny算法、sobel算法、prewitt算法和laplace算法；参数设置包括相机ID、检测范围、快门时间、是否上传图像、显示原图或二值图以及对应的一些算法参数例如canny阈值、hough阈值、分区帧数、分区距离、缺陷大小阈值等。然后采用对焦调节模块根据对焦评价算法调节各个相机的对焦情况，以便得到清晰图像，为接下来的缺陷检测工作做好准备。

图3为检测过程流程图，首先判断是否检测新型号，如果检测的不是新型号，需查询数据库当日是否检测过该型号，如当日检测过该型号，流水序号按上次最后一根标号加1计算，如当日未检测过该型号，流水序号从0开始；如果检测的是新型号，更改当前检测型号，流水序号从0开始，型材命名规则：类型-八位年月日-流水序号。然后电气控制模块控制电机运行，状态显示模块包括设备状态、数据采集单元状态、电机运行状态、光电开关状态、光源状态和相机状态的显示，实时显示各单元的运行状态。

当光电开关状态达到要求时上位机向相机发送检测命令，等待相机回馈检测结果，相机接收到检测命令后，进行如下操作，如图4所示：

1)当收到命令为分区命令时，采集10帧铝型材表面图片进行区域划分，同时对图像进行区域定位，截取待检测铝型材所在图像区域。

2)当收到命令为缺陷检测命令时，采集铝型材表面图片，并根据分区结果，对不同的区域用不同的缺陷检测方法检测。

当上位机收到相机回馈的检测结果时，判断是否有缺陷，如果有缺陷，则要求相机上传当前帧缺陷图像，如图5所示为TCP协议流程图，首先在上位机和相机端分别创建TCP类型socket并绑定到指定地址，在相机端用listen函数让socket处于监听到来的连接请求的状态，上位机通过TCP协议向指定IP地址和端口号的某相机发起连接请求，成功建立TCP连接后，相机通过TCP协议将图片结构体及图像数据信息发送到上位机指定端口，发送完成后相机等待下次连接请求。上位机收到图像后在图像显示模块显示并命名保存，之后数据统计模块保存当前帧缺陷数量和种类，同时综合四个面的图像做综合匹配，采用进度条的形式显示每根铝型材的每帧缺陷状态；依次检测后面各帧，直到检测的为单根铝型材的最后一帧，此时更新当前根铝型材包含的缺陷数量和各个缺陷的类别以及当前型号所有铝型材的缺陷数量、各种缺陷的数目、缺陷铝材数目以及缺陷率等，等待下一根铝型材进入。整个运行过程中故障检测模块用以检测整个***的运行状态，包括传送带故障、光电传感器故障、铝材卡住、照明故障和异物遮挡镜头或光源，如果出现其中一种故障则报警。

Claims (7)

1.一种基于机器视觉的铝型材表面缺陷实时检测***，其特征在于，包括

通讯设置模块，用于设置与上位机通讯的各个相机的IP地址、UDP监听端口号、TCP监听端口号和上位机的UDP监听端口号、TCP监听端口号，使上位机与各个相机通讯连接；

相机设置模块，用于设置各个相机采用的边缘检测算法和相机参数；

对焦调节模块，用于调节各个相机的对焦情况，以使相机采集到清晰图像；

电气控制模块，用于控制电机的启动，以带动铝型材匀速运动；并根据光电开关检测到的铝型材运动位置信息控制光源的开关状态以及电机何时停止；在电机出现异常时，控制电机状态的复位；

状态显示模块，用于实时显示缺陷检测结果；

数据统计模块，记录每种铝型材的型号，当检测某根铝型材的某帧时，根据缺陷信息统计当前根铝型材的缺陷数量，各个缺陷的类别，当检测完当前根铝型材时，统计这种铝型材的缺陷数量、各种缺陷的数量、缺陷铝材数目以及缺陷率；

故障检测模块，用以检测整个***的运行状态，包括传送带故障、光电传感器故障、铝材卡住、照明故障和异物遮挡镜头/光源，如果出现其中一种故障则发出报警提示。

2.根据权利要求1所述的基于机器视觉的铝型材表面缺陷实时检测***，其特征在于，上位机通过UDP协议向指定IP地址和端口号的某相机发送控制命令，用于实现相机参数的设置，控制相机进行图像采集、处理；相机执行完相应命令后通过UDP协议向上位机指定端口发送应答信息，将设置结果、图像处理结果反馈给上位机。

3.根据权利要求1所述的基于机器视觉的铝型材表面缺陷实时检测***，其特征在于，上位机通过TCP协议向指定IP地址和端口号的某相机发起连接请求，成功建立TCP连接后，相机通过TCP协议将图片结构体及图像数据信息发送到上位机指定端口。

4.根据权利要求1所述的基于机器视觉的铝型材表面缺陷实时检测***，其特征在于，所述边缘检测算法，包括canny算法、sobel算法、prewitt算法和laplace算法；用户根据实际情况，针对检测速度和效率要求灵活多样的选择。

5.根据权利要求1所述的基于机器视觉的铝型材表面缺陷实时检测***，其特征在于，所述相机参数包括相机ID、检测范围、快门时间、是否上传图像、显示原图或二值图以及算法参数。

6.根据权利要求1所述的基于机器视觉的铝型材表面缺陷实时检测***，其特征在于，所述状态显示模块显示的内容包括设备状态、数据采集单元状态、电机运行状态、光电开关状态、光源状态和相机状态；所述设备状态和数据采集单元状态包含正常和故障两种状态；所述电机运行状态是指电机的运行与停止；所述光电开关状态是指光电开关是否检测到铝型材；所述光源状态是指光源的开或关；所述相机状态是指相机是否与上位机正常通讯。

7.根据权利要求1所述的基于机器视觉的铝型材表面缺陷实时检测***，其特征在于，所述图像显示模块，通过四个不同位置的相机分别检测一根铝型材的四个面，采用四方格分别显示四个相机采集的四幅图像。