CN109693140B - 一种智能化柔性生产线及其工作方法 - Google Patents

Abstract

本发明涉及一种智能化柔性生产线及其工作方法，本智能化柔性生产线，包括：上位机、转运机械手、以及修补工位和按加工工序排布的若干加工工位，各加工工位之间通过输送机构相连；输送机构处设置有工件检测***；所述工件检测***适于对输送机构所流转的工件进行检测；所述上位机与工件检测***电性连接，且当判定工件不合格后，由转运机械手将工件夹持转运至修补工位；待完成修补工位完成工件修补后，转运机械手将工件夹持转运回输送机构以进入下一加工工位。

Description

一种智能化柔性生产线及其工作方法

技术领域

本发明属于智能制造技术领域，具体地，涉及一种智能化柔性生产线及其方法。

背景技术

柔性生产线是把多台可以调整的机床(加工设备)联结起来，配以自动运送装置组成的生产线。它依靠计算机管理，并将多种生产模式结合，从而能够减少生产成本做到物尽其用。

但是在自动化生产过程中工件的制造缺陷有时难以被及时人工发现，通常只能通过后序工序的人工检验才得以发现，从而造成智能制造的废品增加、生产率下降等问题。

因此，基于上述问题，需要设计一种智能化柔性生产线及其工作方法。

发明内容

本发明的目的是提供一种智能化柔性生产线及其工作方法。

为了解决上述技术问题，本发明提供了一种智能化柔性生产线，包括：

上位机、转运机械手、以及修补工位和按加工工序排布的若干加工工位，各加工工位之间通过输送机构相连；

输送机构处设置有工件检测***；

所述工件检测***适于对输送机构所流转的工件进行检测；

所述上位机与工件检测***电性连接，且当判定工件不合格后，由转运机械手将工件夹持转运至修补工位；

待完成修补工位完成工件修补后，转运机械手将工件夹持转运回输送机构以进入下一加工工位。

进一步，所述工件检测***包括：检测工位、接近开关、定位与放行机构，在检测工位的一侧设置有沿着柔性生产线连续布置的背景标板，背景标板上设置有多个对应当前检测工位的标记点，检测工位的另一侧设置有LED面光源矩阵，该LED面光源矩阵与上位机通信连接，背景标板与LED面光源矩阵共同构成背光照明环境。

进一步，所述工件检测***还包括：面阵相机，以及与面阵相机依次通信连接的第一光电转换元件、光纤滑环、第二光电转换元件，其中面阵相机的感光镜头轴线与检测工位流转方向垂直设置，面阵相机采集的图像经过光电转换后，由第二光电转换元件将图像的电信号发送至上位机。

进一步，所述上位机包括：图像处理单元、特征向量提取单元、深度神经网络单元以及计算机控制单元；其中

所述图像处理单元适于接收面阵相机采集检测工位上检测工位的图像，并对接收到的图像进行分辨率扫描，获得当前检测工位的敏感区域图像，且对敏感区域图像进行去噪，再将去噪后的敏感区域图像发送至特征向量提取单元；

特征向量提取单元对敏感区域图像进行边缘检测，形成目标区域，并分别通过公式(1)至(3)计算获得目标区域的边缘面积A_E、边缘形状因子E以及目标区域平均半径μ_R，再加上前3维的Hu不变矩，构成具有四个特征变量的敏感区域的特征向量，以反映当前检测工位的工件质量信息，特征向量作为输入层发送至深度神经网络单元；

上式中，参数M和N为目标区域的边缘点个数，

其中t(x,y)为各边缘点的灰度值；参数L为目标区域的周长；参考K为目标区域边界上的边缘点个数，(x_k,y_k)表示位于目标区域边界上的像素坐标，

表示目标区域的质心坐标，可通过如下公式进行计算：

其中，参数A表示敏感区域的面积，且适于在图像处理中识别到敏感区域时获得其大小；

深度神经网络单元基于神经网络算法构建制造缺陷预测模型，对检测工位的图像特征向量进行训练、学习与分类，识别当前检测工位上的待测工件的制造缺陷类型，并将分类结果反馈给计算机控制单元；

所述计算机控制单元适于控制转运机械手将工件夹持转运至修补工位；

并将制造缺陷类型发送至修补工位，以对工件的缺陷进行修补。

又一方面，本发明还提供了一种智能化柔性生产线的工作方法，包括：

对输送机构流转的工件进行在线检测；

若判定工件不合格后，将该工件进行转运修补；

在工件转运修补完成后，将该工件转运回输送机构。

进一步，所述工作方法适于采用所述的智能化柔性生产线。

本发明的有益效果如下：

本发明的智能化柔性生产线及其工作方法能够精确判断工件在生产过程中的缺陷，并且在检测到工件不合格即存在制造缺陷后，能够将工件转运至修补工位进行修补返工，当工件合格后，将工件转运回生产线，有效降低工件加工的不合格率，避免产品在初次加工不合理后还被多次加工处理。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的智能化柔性生产线的布局俯视图；

图2是本发明的智能化柔性生产线的控制原理框图。

转运机械手1、修补工位2、加工工位3、输送机构4、工件检测***5、工件6、检测工位501、背景标板502、LED面光源矩阵503、面阵相机504。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

图1是本发明的智能化柔性生产线的布局俯视图；

图2是本发明的智能化柔性生产线的控制原理框图。

如图1和图2所示，本实施例提供了一种智能化柔性生产线，包括：上位机、转运机械手1、以及修补工位2和按加工工序排布的若干加工工位3，各加工工位3之间通过输送机构4相连；输送机构4处设置有工件检测***5；所述工件检测***5适于对输送机构4所流转的工件6进行检测；所述上位机与工件检测***5电性连接，且当判定工件不合格后，由转运机械手1将工件夹持转运至修补工位2；待完成修补工位2完成工件修补后，转运机械手1将工件夹持转运回输送机构4以进入下一加工工位3。

本发明的智能化柔性生产线及其工作方法能够精确判断工件在生产过程中的缺陷，并且在检测到工件不合格即存在制造缺陷后，能够将工件转运至修补工位进行修补返工，当工件合格后，将工件转运回生产线，有效降低工件加工的不合格率，避免产品在初次加工不合理后还被多次加工处理。

所述工件检测***5包括：检测工位501、接近开关、定位与放行机构，在检测工位501的一侧设置有沿着柔性生产线连续布置的背景标板502，背景标板502上设置有多个对应当前检测工位501的标记点，检测工位501的另一侧设置有LED面光源矩阵503，该LED面光源矩阵503与上位机通信连接，背景标板502与LED面光源矩阵503共同构成背光照明环境。在优选的实施例中，接近开关、定位与放行机构均与上位机通信连接，其中定位与放行机构接收上位机的控制指令，带动待测工件在检测工位501上运动使其到达预设的检测位置，触发接近开关并发送触发信号至上位机，由上位机启动工件检测***5进行图像采集。

在本实施例中，还可以在背景标板502上设置有多个对应当前检测工位501的标记点，在优选的实施例中，基于当前检测工位501的待测工件可能出现的典型制造缺陷信息，设置背景标板502上的标记点位置，以便于后续图像处理对敏感区域的识别与分割。此外，检测工位501的另一侧设置有LED面光源矩阵503，该LED面光源矩阵503与上位机通信连接，上位机可以实现智能控制整个生产线上的LED面光源矩阵503的点亮与熄灭，在待测工件运动到当前检测工位501的预设位置时，上位机发送指令给对应该检测工位501的LED面光源矩阵503，使其点亮，背景标板502与LED面光源矩阵503共同构成背光照明环境，有利于待测工件在图像上与背景标板502的灰度对比，减少图像处理时的边缘检测耗时。

工件检测***5还包括依次通信连接的面阵相机504、第一光电转换元件、光纤滑环以及第二光电转换元件，其中，当待测工件在检测工位501上运动到预设的检测位置并接近面阵相机504的拍摄视野中心时，触发接近开关并发送触发信号至上位机；面阵相机504的感光镜头轴线与检测工位501流转方向垂直设置，考虑到智能化柔性生产线中，设备的运转可能会被检测工位501产生一定的振动，从而影响与检测工位501固定连接的面阵相机504的拍摄精度，为了获得清晰可靠的拍摄效果，本发明的面阵相机504拍摄的图像在发送至图像处理单元之前，分别经过第一光电转换元件、光纤滑环以及第二光电转换元件进行光电转换，使得上位机接收的图像电信号趋于完整和可靠。

在本实施例中，所述上位机包括：图像处理单元、特征向量提取单元、深度神经网络单元以及计算机控制单元。

对于工件检测***5，其中第一光电转换元件和第二光电转换元件均设置有相同数量的输入端和多个输出端，光纤滑环的数量与之对应，第一光电转换元件的每一个输入端分别与面阵相机504连接，每一个输出端分别通过一个光纤滑环与第二光电转换元件的输入端连接，第二光电转换元件的每一个输出端均与图像处理单元连接。

图像处理单元接收到经过光电转换的图像后，为了提高图像处理效率，本发明首先通过分辨率扫描获得当前检测工位501的敏感区域图像并进行图像分割，然后仅仅对获得的敏感区域进行去噪以及边缘检测，传统的图像处理，都是对整个图像进行去噪再进行图像分割处理，本发明首先分割出敏感区域，再进行局部去噪，可以有效的提高图像处理效率。

具体地，图像处理单元自动定位出图像上的多个标记点的中心位置，确定出背景标板502与水平方向的夹角，从而计算出面阵相机504与背景标板502之间的偏转角度，图像处理单元控制该图像沿着偏转角度进行分辨率扫描，从而完成对当前检测工位501的敏感区域的识别，识别出该敏感区域后，图像处理单元对该图像进行图像分割操作，从而获得新的待处理图像，在优选的实施例中，考虑到背景标板502以及LED面光源矩阵503构成的背光照明环境，图像的敏感区域与背景的对比度较高，灰度值相差较大，本发明采用基于区域的图像分割算法分割出该敏感区域图像。

在对分割出的敏感区域图像进行去噪时，为了使得该敏感区域图像有更自然的平滑效果，增强对敏感区域图像的随机噪声的处理效果，本发明采用高斯滤波法对该敏感区域图像进行去噪；在获得平滑的敏感区域图像后，特征向量提取单元对处理后的敏感区域图像作进一步的处理。

具体地，特征向量提取单元的目的是将以像素集合为特征的高维图像信息降为以向量集合为特征的低维图像信息，以便于计算机的处理以及保证深度神经网络单元分类的准确性；在本发明中，基于智能制造的柔性化生产特点，采用形状特征这一核心图像特征来获取待测工件的智能制造信息，是比较合适的，为了全面捕获待测工件敏感区域图像的制造信息，本发明同时考虑目标区域的外部边缘信息以及内部区域信息，将目标区域的边缘面积、边缘形状因子以及目标区域平均半径以及前3维的Hu不变矩作为表征敏感区域图像的特征变量，并以此作为敏感区域图像的特征向量，输入至基于深度神经网络单元。

在优选的实施例中，基于敏感区域图像的边缘属性，特征向量提取单元首先对敏感区域图像进行边缘检测，获得目标区域，并分别通过公式(1)-(3)计算获得目标区域的边缘面积A_E、边缘形状因子E以及目标区域平均半径μ_R，再加上前3维的Hu不变矩，构成具有四个特征变量的敏感区域的特征向量，以反映当前产品检测平台的加工或装配等制造质量信息，特征向量作为输入层发送至深度神经网络单元；

上式中，参数M和N为目标区域的边缘点个数，

其中t(x,y)为各边缘点的灰度值；参数L为目标区域的周长，可采用图像处理技术中的链码法进行计算获得，参考K为目标区域边界上的边缘点个数，(x_k,y_k)表示位于目标区域边界上的像素坐标，

表示目标区域的质心坐标，可通过如下公式进行计算：

其中，参数A表示敏感区域的面积，可在图像处理中识别到敏感区域时获得其大小。

另外，Hu不变矩作为图像重要的全局特征，不受光线、噪声的影响，具有良好的几何不变形，可以有效地描述形状较为复杂的物体图像，考虑到智能制造典型的制造缺陷性质以及图像处理的效率，选取前3维Hu不变矩作为待测工件敏感区域图像的特征变量之一，是行之有效的，具体的计算方式，可参照图像处理技术中的常规做法，在此不一一赘述。

在优选的实施例中，本发明的深度神经网络单元，具体是基于深度神经网络的制造缺陷预测模型，并包括三层神经网络，分别是输入层、隐含层和输出层，其中输入层与输出层具有相同的规模，输入层作为制造缺陷预测模型的输入接口，接收待测工件图像的特征向量，通过信息编码，到达隐含层，再经过信息解码变换到输出层，本发明可以采用经典的编码和解码公式模型；在深度神经网络单元正式进行待测工件的制造缺陷分类前，需要先进行学习训练，具体地，针对当前检测工位501待测工件可能出现的典型制造缺陷，建立标准样本图像库；在优选的实施例中，标准样本图像库可以包括制造合格、制造缺陷I、制造缺陷II、制造缺陷III等四种样本库类型，以此作为深度神经网络的训练样本库；类似于前述的提取待测工件特征向量，本发明将标准样本图像库中的图像同样进行边缘检测，并依次提取图像的边缘面积、边缘标准差、形状因子以及Hu不变矩等特征变量，构成训练样本库的特征向量；最后，深度神经网络单元的输入层读取训练样本库中的特征向量，基于深度神经网络单元的编码与解码，对每个标准样本图像库中的图像对应的制造信息进行深度学习，从而获得当前检测工位501的制造缺陷预测模型。

深度神经网络单元对训练样本库进行学***台上的待测工件的制造缺陷类型，并将待测工件的制造缺陷信息进一步发送给计算机控制单元，所述计算机控制单元适于控制转运机械手1将工件夹持转运至修补工位2；并将制造缺陷类型发送至修补工位2，以对工件的缺陷进行修补。

在优选的实施例中，计算机控制单元包括PLC控制器，并与产品检测平台、面阵相机504和深度神经网络单元分别通信连接，计算机控制单元根据深度神经网络单元的分类结果所指示的制造缺陷信息，结合历史维修数据库，确定出维修该制造缺陷所需的资源，并针对该缺陷类型、缺陷位置、缺陷程度、维护人员选择等方面自动生成维修该缺陷的维修策略，并形成相应的工作指令发送给PLC控制器，由PLC控制器执行具体的维修操作，并在历史维修数据库中更新添加一条针对该执行情况的维修记录。

在本实施例中，加工工位3和修补工位2均配置有相应的加工设备，各加工设备均由上位机控制。

本实施例还提供了一种所述智能化柔性生产线的工作方法，即

对输送机构4流转的工件进行在线检测；

若判定工件不合格后，将该工件进行转运修补；

在工件转运修补完成后，将该工件转运回输送机构4。

在对工件进行在线检测的步骤包括：

构建基于深度神经网络的制造缺陷预测模型，通过样本图像对深度神经网络进行训练学习；

定位与放行机构在计算机控制模块的控制指令下带动待测工件在检测工位501上运动使其到达预设的检测位置，触发接近开关，并发送触发信号至计算机控制单元；

计算机控制单元分别向LED面光源矩阵503和工件检测***5发送指令，LED面光源矩阵503打开照明，根据预先设定的程序和参数，面阵相机504对待测工件进行拍摄，光电转换后，将生成的图像发送至图像处理单元；

图像处理单元识别并分割出当前检测工位501的敏感区域，针对该局部区域进行图像去噪处理，去噪后将该敏感区域图像发送至特征向量提取单元；

特征向量提取单元对敏感区域进行边缘检测，形成目标区域，并分别通过计算获得目标区域的边缘面积、边缘形状因子以及目标区域平均半径，结合前3维的Hu不变矩，构成具有四个特征变量的敏感区域的特征向量；

基于训练好的深度神经网络对特征向量进行制造信息的诊断，预测并分类待测工件的制造缺陷，并将分类结果反馈给计算机控制单元；

计算机控制单元基于分类结果以及历史维修数据库信息，确定出维修该制造缺陷的维修策略，发送工作指令给PLC控制器，由PLC控制器执行具体的维修操作。

构建基于深度神经网络的制造缺陷预测模型，通过样本图像对深度神经网络进行训练学习的方法进一步包括：构建基于深度神经网络的制造缺陷预测模型，所述深度神经网络为3层的神经网络，包括输入层、输出层、隐含层，其中输入层与输出层具有相同的规模；针对当前检测工位501可能出现的典型制造缺陷，建立标准样本图像库，包括制造合格、制造缺陷I、制造缺陷II、制造缺陷III等四种样本库类型，作为深度神经网络的训练样本库；将标准样本图像库中的图像进行边缘检测，并依次提取图像的边缘面积、边缘标准差、形状因子以及Hu不变矩等特征变量，构成训练样本库的特征向量；深度学习网络单元的输入层读取所述训练样本库中的特征向量，并对每个标准样本图像库中的图像对应的制造信息进行深度学习，从而获得当前检测工位501的制造缺陷预测模型。

综上所述，本发明首次将图像采集与图像处理技术软性生产线的产品制造缺陷信息识别与诊断中，通过基于深度神经网络构建的制造缺陷预测模型，对智能化柔性生产线中的产品进行实时图像采集、处理与特征提取，获得产品制造信息的特征向量表示，从而实现了在智能制造过程中的产品制造信息可显示、缺陷可诊断、维修策略可自动生成，形成产品制造的实时监测、缺陷结论的实时分析、维修策略的自动实施的有机一体化***，从而有效地解决了现有的制约智能制造技术广泛应用的因素之一；并且本发明为了获得精准的图像处理结果，通过应用若干个光纤滑环以及图像处理过程中应用分辨率扫描技术，有效解决了智能化柔性生产线中可能出现的机床与检测工位501的微小振动带来的图像采集精度以及面阵相机504的镜头偏转问题，提高了本发明的产品制造在线故障缺陷诊断与识别的精度；以及本发明为了减少图像处理的耗时，基于待测工件在当前检测工位501上可能出现的典型制造缺陷，针对性地设置背景标板502的标记点位置，使得后序图像处理中可以直接定位出当前检测工位501的敏感区域图像，针对这一局部区域进行图像处理与特征变量的提取与计算，极大地提高了图像处理效率，使得本发明的产品在线故障预测***与方法相较于传统的对整个图像进行处理与特征变量的提取，显得更为实时与高效。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (4)

1.一种智能化柔性生产线，其特征在于，包括：

上位机、转运机械手、以及修补工位和按加工工序排布的若干加工工位，各加工工位之间通过输送机构相连；

输送机构处设置有工件检测***；

所述工件检测***适于对输送机构所流转的工件进行检测；

所述上位机与工件检测***电性连接，且当判定工件不合格后，由转运机械手将工件夹持转运至修补工位；

待完成修补工位完成工件修补后，转运机械手将工件夹持转运回输送机构以进入下一加工工位；

所述工件检测***包括：检测工位、接近开关、定位与放行机构，在检测工位的一侧设置有沿着柔性生产线连续布置的背景标板，背景标板上设置有多个对应当前检测工位的标记点，检测工位的另一侧设置有LED面光源矩阵，该LED面光源矩阵与上位机通信连接，背景标板与LED面光源矩阵共同构成背光照明环境；

所述上位机包括：图像处理单元、特征向量提取单元、深度神经网络单元以及计算机控制单元；其中

所述图像处理单元适于接收面阵相机采集检测工位上检测工位的图像，并对接收到的图像进行分辨率扫描，获得当前检测工位的敏感区域图像，且对敏感区域图像进行去噪，再将去噪后的敏感区域图像发送至特征向量提取单元；

特征向量提取单元对敏感区域图像进行边缘检测，形成目标区域，并分别通过公式(1)至(3)计算获得目标区域的边缘面积A_E、边缘形状因子E以及目标区域平均半径μ_R，再加上前3维的Hu不变矩，构成具有四个特征变量的敏感区域的特征向量，以反映当前检测工位的工件质量信息，特征向量作为输入层发送至深度神经网络单元；

上式中，参数M和N为目标区域的边缘点个数，

其中t(x,y)为各边缘点的灰度值；参数L为目标区域的周长；参考K为目标区域边界上的边缘点个数，(x_k,y_k)表示位于目标区域边界上的像素坐标，

表示目标区域的质心坐标，可通过如下公式进行计算：

其中，参数A表示敏感区域的面积，且适于在图像处理中识别到敏感区域时获得其大小；

深度神经网络单元基于神经网络算法构建制造缺陷预测模型，对检测工位的图像特征向量进行训练、学习与分类，识别当前检测工位上的待测工件的制造缺陷类型，并将分类结果反馈给计算机控制单元；

所述计算机控制单元适于控制转运机械手将工件夹持转运至修补工位；

并将制造缺陷类型发送至修补工位，以对工件的缺陷进行修补。

2.根据权利要求1所述的智能化柔性生产线，其特征在于，

所述工件检测***还包括：面阵相机，以及与面阵相机依次通信连接的第一光电转换元件、光纤滑环、第二光电转换元件，其中面阵相机的感光镜头轴线与检测工位流转方向垂直设置，面阵相机采集的图像经过光电转换后，由第二光电转换元件将图像的电信号发送至上位机。

3.一种根据权利要求1或2所述的智能化柔性生产线的工作方法，其特征在于，包括：

对输送机构流转的工件进行在线检测；

若判定工件不合格后，将该工件进行转运修补；

在工件转运修补完成后，将该工件转运回输送机构。

4.根据权利要求3所述的工作方法，其特征在于，

所述工作方法适于采用如权利要求1或2所述的智能化柔性生产线。

Images