CN114463751A - 基于神经网络和检测算法的边角定位方法及装置 - Google Patents

Abstract

本发明涉及一种基于神经网络和检测算法的边角定位方法及装置，其融合神经网络模型和传统边缘检测算法的优点，首先通过神经网络模型得到实时图像的第一边角数据，再根据该第一边角数据截取实时图像中的局部图像，以通过边缘检测算法得到实时图像的第二边角数据，将二者修正融合，得到修正后的边角数据，即边点、角点、倾斜角度等，相较于单一的神经网络算法或边缘检测算法，其稳定性和准确性更高、受环境干扰性更弱。

Description

基于神经网络和检测算法的边角定位方法及装置

技术领域

本发明涉及控制算法领域，特别是涉及一种工件的边角定位算法。

背景技术

车辆、船舶等工程机械的主体框架是由各种各样的工件焊接完成，而这些工件主要来源于钢板切割。通常钢板切割出的工件大小形状多种多样，并且不同工件的工序及用途各不相同，因此需要对各种工件进行喷码标识。一般采用机械喷码，需要先定位喷码位置，再控制喷码装置到指定喷码点位开始喷码工序，效率较人工方式更快，但可能由于钢板在到达喷码点位时本身存在位置角度偏差，而造成喷码位置出现偏差、甚至出现漏喷、错喷现象。

因此，如何确定钢板的实时位置、是否有角度偏差(边角数据)，以自适应调整喷码位置，是工件机械喷码工序中的关键步骤。现有技术中，由于钢板上加工可能存在一定的花纹、划痕等，传统边角检测算法稳定性不够，容易受环境影响；深度学习方法也容易造成边点的误检。因此，如何提供一种精确度高的边点检测算法，确定钢板的实时位姿，以自适应调整喷码位置，是工件机械喷码中亟待解决的重要技术问题。

发明内容

针对上述技术问题，本发明提供一种基于神经网络和检测算法的边角定位方法，包括：

S21：采集待检测主体的样本图像，并对样本图像标注边角数据，以构建训练样本集；

S22：构建用于学习边角数据的神经网络模型；

S23：将训练样本集输入神经网路模型，得到训练后的神经网络模型；

S24：采集待检测主体的实时图像；

S25：将实时图像，输入训练后的神经网络模型，输出第一边角数据；

S26：根据第一边角数据，截取实时图像中包括第一边角数据的区域图像；

S27：检测区域图像，得到第二边角数据；

S28：将第二边角数据，修正融合第一边角数据，得到修正后的边角数据作为边角定位输出结果。

进一步地，第一边角数据，包括第一角点；第二边角数据，包括第二角点；

步骤S27，包括：

S271：将区域图像，输入边缘检测算法模型中，得到区域图像内的边缘线段；

S272：根据边缘线段，确定区域图像内的预选角点；

S273：判断预选角点中，是否存在与第一角点的位置差在第一设定范围内的预选角点；

S274：若存在，则返回位置差在第一设定范围内的预选角点为第二角点；

S275：若不存在，则不返回第二角点。

进一步地，步骤S28，具体为若返回了第二角点，则计算第一角点和第二角点的聚类中心点，作为修正后的边角数据；若不返回第二角点，则以第一角点作为修正后的边角数据。

进一步地，第一边角数据，还包括第一边点；第二边角数据，还包括第二边点；步骤S27，还包括：

S276：根据边缘线段，确定边缘线段中，离第一边点最近的点为预选边点；

S277：判断预选边点与第一边点的位置差是否在第二设定范围内；

S278：若是，则返回位置差在第二设定范围内的预选边点为第二边点；

S279：若否，则不返回第二边点。

进一步地，步骤S28，具体为计算第一边点和第二边点的聚类中心点，作为修正后的边角数据。

进一步地，步骤S271：还包括：计算区域图像内边缘点所包裹的边缘面积；

步骤S272，包括：

S2721：找到最大边缘面积所对应的图像中心矩；

S2722：计算图像中心矩和边缘线段的距离，对距离在一定范围内的边缘进行融合，消除不连续边；

S2723：根据消除不连续边的边缘线段，确定区域图像内的预选角点。

进一步地，还包括：

S29：根据修正后的边角数据，输出倾斜角度。

进一步地，步骤S25，包括：

S251：将实时图像，输入训练后的神经网络模型；

S252：判断是否得到第一边角数据；

S253：若是，则输出待检测工件的第一边角数据；

S254：若否，则增强实时图像，再输入训练后的神经网络模型，输出第一边角数据。

进一步地，增强实时图像的方法，包括：亮度增强、HSV颜色空间增强、上下/水平反转增强、高斯拉普拉斯增强。

另一方面，本发明还提供一种基于神经网络和检测算法的边角定位装置，其特征在于，所述边角定位装置，用于实现上述任意的边角定位方法，包括：

样本采集模块，用于采集样本图像，并对样本图像标注边角数据，以构建训练样本集；

模型构建模块，用于构建用于学习边角数据的神经网络模型；

模型训练模块，用于将训练样本集输入神经网路模型，得到训练后的神经网络模型；

图像采集模块，用于采集待检测主体的实时图像；

第一边角数据输出模块，用于将实时图像，输入训练后的神经网络模型，输出待检测工件的第一边角数据；

图像截取模块，用于根据第一边角数据，截取实时图像中包括第一边角数据的区域图像；

第二边角数据输出模块，用于检测区域图像，得到待检测工件的第二边角数据；

修正模块，用于将第二边角数据，修正融合第一边角数据，得到修正后的边角数据作为边角定位输出结果。

本发明提供一种基于神经网络和检测算法的边角定位方法及装置，其融合神经网络模型和传统边缘检测算法的优点，首先通过神经网络模型得到实时图像的第一边角数据，再根据该第一边角数据截取实时图像中的局部图像，以通过边缘检测算法得到实时图像的第二边角数据，将二者修正融合，得到修正后的边角数据，可选但不仅限于包括边点数据、角点数据、倾斜角度等，相较于单一的神经网络模型或边缘检测算法，其稳定性和准确性更高、受环境干扰性更弱。

附图说明

图1为本发明示例的钢板上零件分布图；

图2为本发明工件喷码的校正方法的一个实施例的流程图；

图3为本发明示例的无偏移钢板上待喷码工件的喷码示意图；

图4为本发明示例的有偏移钢板上待喷码工件的喷码示意图；

图5为本发明示例的钢板上待喷码工件的喷码点位图；

图6为本发明工件喷码的校正方法的步骤S1的一个实施例的流程图；

图7为本发明待喷码工件的自身喷码信息的示意图；

图8为本发明提供的工件喷码的校正方法的步骤S11，即工件喷码的识别方法的一个实施例的流程图；

图9为本发明工件喷码的识别方法的步骤S111的一个实施例的流程图；

图10为本发明工件喷码的识别方法的步骤S114的一个实施例的流程图；

图11为本发明工件喷码的校正方法的步骤S2，即基于神经网络和检测算法的边角定位方法的一个实施例的流程图；

图12为本发明的神经网络模型的一个实施例的结构框图；

图13-14为本发明边角定位方法中，矩形框标注角点的示意图；

图15-16为本发明边角定位方法中，矩形框标注边点的示意图；

图17为本发明边角定位方法中，步骤S23的一个实施例的流程图；

图18为本发明边角定位方法中，步骤S25的一个实施例的流程图；

图19为本发明边角定位方法中，步骤S27的一个实施例的流程图；

图20为本发明边角定位方法中，步骤S272的一个实施例的流程图；

图21为本发明边角定位方法中的另一个实施例的流程图；

图22为本发明喷码路径控制方法的一个实施例的流程图；

图23为本发明喷码路径控制方法下的喷码路径示意图；

图24为本发明的工件喷码的校正***的一个实施例的结构框图；

图25为本发明的工件喷码的校正***的第一获取装置的一个实施例的结构框图；

图26为本发明的工件喷码的识别装置的一个实施例的结构框图；

图27为本发明的边角定位装置的一个实施例的结构框图；

图28为本发明的喷码路径规划装置的一个实施例的结构框图；

图29为本发明的喷码总***的一个实施例的结构示意图。

具体实施方式

为详细解释本发明技术思想，如图1所示，以喷码主体为钢板，待喷码工件为散落在钢板上的零件为例，现有技术中通常将钢板切割为各零件之前或之后，根据零件的类型喷码标识以区分不同零件，后续拼装成船舶、车辆等工程机械等。值得注意的，以上仅为示例说明，并不做具体限定。喷码主体，可选但不仅限于为钢板、合金件等主材，其上可选但不仅限于散落分布单一或多种类型的待喷码工件。为示例本发明的其它应用范围，喷码主体，还可选但不仅限于为塑胶板，上面散落分布用于拼装儿童玩具的零件，通过喷码标识以区分不同零件的名称编号等，方便后续拼装成完整的儿童玩具；喷码主体，还可选但不仅限于为布料，上面零散分布用于组装成整衣的零料、组装成整画的局部拼画等。本领域技术人员可以理解的，用于喷码识别零散零件以拼装成整件的实例均在本发明保护范围之内。

如图2-4所示，本发明提供一种工件喷码的校正方法，包括：

S1：获取待喷码工件在喷码主体上的喷码初始信息(如图3示例的，图中长方形外框为喷码主体，如钢板等，其形状尺寸等可任意设定；图中五边形图案为待喷码工件，同样的其形状尺寸等可任意设定，钢板上还零散分布其它待喷码工件此处未示出；图中虚线框为喷码区域、实心圆点为喷码中心，这是我们示例的需要获取的喷码初始信息，后续以重心位置示例指出，其可为喷码中心点/起点/终点等；喷码区域可为该重心位置所做的圆、矩形框等)。具体的，该喷码初始信息，可选但不仅限于为待喷码工件在喷码主体上的喷码坐标(可以喷码中心/起点/终点示例)、喷码角度等，即假设钢板的角点位于原点(0，0)，角度也为0(钢板放置无任何偏差的理想情况下)时，每个待喷码工件应当喷码的位置(假设钢板无偏差时，初始确定的位置和角度)。示例的，第N个工件的喷码初始信息，可选但不仅限于以坐标(x_n，y_n)，角度r_n表示，为(x_n，y_n，r_n)。

S2：获取喷码主体的位置信息(如图4所示钢板位移、角度有偏差)。具体的，该位置信息，可选但不仅限于为喷码主体以角点坐标、偏移角度等表示。以喷码主体为钢板为例，即钢板通过移动托盘运送到喷码点位时，其角点可能并非位于原点(0，0)，角度也并非为0，而是存在一个位移偏差和角度偏差，可选但不仅限于以角点坐标(x_c，y_c)，角度r_c表示，为(x_c，y_c，r_c)。更为优选的，如下文S2的具体实施例所示可通过角点坐标(x_c，y_c)和边点坐标(M_c，N_c)计算其偏移角度r_c。

S3：根据待喷码工件在喷码主体上的喷码初始信息(钢板无偏差，理想状态下确定的喷码信息)和喷码主体的位置信息(钢板的实时信息，位置、角度等存在偏差)，确定待喷码工件在喷码主体上的喷码校正信息(校正后的喷码位置角度等)。即根据喷码主体的位置信息(可选但不仅限于为位移偏差、角度偏差)，校正初始确定的喷码信息，得到校正后的喷码信息(喷码校正信息)，即当前喷码点位实际需要喷码的位置和角度，表示为(x_n1，y_n1，r_n1)，(如图4所示)。

在该实施例中，给出了本发明工件喷码的校正方法的一个具体实施例，其充分考虑喷码主体(可选但不仅限于为钢板)在到达喷码点位时的位置信息在位置、位姿、角度等方面可能存在偏差(如图4所示)，非正正方方摆放在喷码点位下的理想情况，其角点并非原点，角度也非零，通过检测喷码主体自身的位置信息，校正初始确定的喷码位置，得到待喷码工件实际应当喷码的位置，确保喷码位置角度等准确无误。值得注意的，在校正过程中，实际需要根据喷码主体上待喷码工件的数量，依次校正N个待喷码工件的喷码初始信息，确定每个待喷码工件的喷码校正信息，得到如图5所示的喷码点位图(相较于图1，增加的点即为每个待喷码工件的喷码校正信息，即实际喷码点位)。

具体的，如图6所示，步骤S1，可选但不仅限于包括：

S11：确定待喷码工件的自身喷码信息(如图7所示)，即不考虑待喷码工件处于喷码主体的何种位置，只根据待喷码工件自身的形状、尺寸等，确定的该喷码应该标识在待喷码工件自身的何处位置，可选但不仅限于以坐标(x_na，y_na)表示。

S12：确定待喷码工件在喷码主体上的放置位置信息(如图3所示，可选但不仅限于以待喷码工件的某个角点、中心点等关键点的坐标表示)，具体的，该待喷码工件在喷码主体上的放置位置，可选但不仅限于以待喷码工件的特征点(如该工件的上下左右角、中心点等，图示例为工件的一个角点)的坐标(x_nb，y_nb)表示。更为具体的，该放置位置，可选但不仅限于通过数据解析模块从生产套料图(例如dxf，json等)中解析提取物料数据(可选但不仅限于为包括各工件编号、名称等的信息数据)和线条数据(可选但不仅限于为包括各工件形状、尺寸、线段组成等的图形数据)；然后将物料数据以文件形式存储为文件数据，将线条数据组合转化为钢板切割的边框数据和工件数据以图片形式存储为图片数据；最后将文件数据和图片数据一一对应，以确定每个工件在喷码主体(钢板)上的位置、形状、尺寸等。

S13：根据待喷码工件的自身喷码信息(可选但不仅限于用坐标(x_na，y_na)表示)和待喷码工件在喷码主体上的放置位置信息(x_nb，y_nb)，确定待喷码工件在喷码主体上的喷码初始信息(x_n，y_n)。角度r_n可由本领域技术人员根据外观等设定一个角度，一般的，为方便查看，一般设置为平行于工件，即角度为0。

在该实施例中，给出了步骤S1，如何获取喷码初始信息的一个具体实施例，其通过获取待喷码工件的自身喷码信息和待喷码工件在喷码主体上的放置位置信息，确定喷码初始信息，即完成待喷码工件这个小坐标系下——到喷码主体这个大坐标系下的坐标转换，结构简单、计算精准，能够保障喷码位置准确无误。

具体的，为精准识别、找到待喷码工件的自身喷码信息(如图7所示，喷码区域(虚线框)/喷码起点/终点/中心点(实心圆)等表征喷码位置的任何信息)，步骤S11作为本发明的另一发明构思，还提供一种工件喷码的识别方法。具体的步骤S11，可选但不仅限于根据待喷码工件的重心位置确定待喷码工件的自身喷码信息。更为具体的，如图8所示，S11可选但不仅限于包括：

S111：计算待喷码工件的整体工件和局部工件的重心位置。具体的，该重心位置，可选但不仅限于根据待喷码工件的二值图计算得到。具体的，可选但不仅限于从生产套料图获取的文件数据和图片数据中，提取形成每一个工件的轮廓数据，然后通过对工件轮廓进行填充，得到每一个工件的二值图。

S112：判断重心位置是否为待喷码工件的实心区域；具体的，以局部工件包括4个象限的局部工件为例，此处需要分别判断5个重心位置(1个整体工件的重心位置+4个局部工件的重心位置)是否为实心区域。更为具体的，可选但不仅限于根据生产套料图获取的文件数据和图片数据中，分别判断计算得到的各重心位置(坐标)是否为待喷码工件的实心区域。

S113：若否，则删除该不是实心区域的重心位置；具体的，若该重心位置不为实心区域，则表征该重心位置不在待喷码工件上(如圆环的重心位置在中心圆内)，该空洞的地方必然不能作为喷码区域的预选位置，需要删除。具体的，可选但不仅限于在计算得到的众多重心位置中，将其剔除出存储序列。

S114：若是，则以是实心区域的重心位置为关键点，确定待喷码工件的自身喷码信息。具体的，该自身喷码信息，可选但不仅限于以是实心区域的重心位置为待喷码区域的起点/终点/中心点等表征待喷码位置的任何信息。更为具体的，由于步骤S111中，计算得到了多个重心位置，步骤S114中，可能存在多个在实心区域的重心位置，此时本领域技术人员可以理解的选取其中一个为喷码信息，下文有改进的优选方案。

在该实施例中，给出了本发明工件喷码的识别方法，通过计算待喷码工件的整体工件和局部工件的重心位置，选取在实心区域的重心位置为关键点，相较于现有技术能够避免某些工件(示例的，圆环等中空工件、其它异形件等)的整体重心位置不在工件的实心区域，属于中空部分，不能作为可喷码区域的情况，有效避免漏喷、错喷等现象，为后续工件的识别、组装等工序提供有力保障。

具体的，如图9所示，步骤S111，可选但不仅限于包括：

S1111：计算待喷码工件的整体工件的重心位置；

S1112：以整体工件的重心位置为分割点，过分割点确定分割线，将待喷码工件的整体工件分割为若干个局部工件。具体的，可选但不仅限于以重心位置为分割点，过重心位置(重心坐标点)做平行于水平面的横轴和垂直于水平面的纵轴，将待喷码工件分割为上下左右四个象限的局部工件。值得注意的，该分割线的具体形式、位置等，可选但不仅限于根据待喷码工件的实际形状、尺寸、喷码位置精度要求等而任意设定。可选但不仅限于仅选取一条分割线，将待喷码工件分割为两个象限的局部工件；或者选取更多条分割线，将待喷码工件分割为更多象限的局部工件。更为具体的，在待喷码工件为对称结构时，可选但不仅限于过重心位置，以待喷码工件的对称轴作为分割线，将待喷码工件分割为若干个局部工件。

S1113：分别计算待喷码工件的局部工件的重心位置；具体的，以局部工件包括4个象限的局部工件为例，到此共得到5个重心位置(1个整体工件的重心位置+4个局部工件的重心位置)。更为具体的，该重心位置，可选但不仅限于同样的通过待喷码工件的二值图计算得到。

在该实施例中，给出了步骤S111，如何计算待喷码工件的整体工件和局部工件的重心位置的一个具体实施例，其通过整体工件的重心位置作为分割点，选取分割线将待喷码工件分割为若干个局部工件，再确定局部工件的重心位置，能够从多个重心位置中选取在实心区域的重心位置作为喷码信息，能够进一步避免某些工件的整体重心位置不在工件的实心区域(属于中空部分)，不能作为可喷码区域的情况，有效避免漏喷、错喷等现象，为后续工件的识别、组装等工序提供有力保障。

更为具体的，如图10所示，步骤S114，可选但不仅限于包括：

S1141：以实心区域的重心位置为关键点，确定关键点周围的可喷码区域(预喷码区域)；具体的，S1141，可选但不仅限于为以实心区域的重心位置为喷码中心点，以r为半径画圆或a为边长画矩形框，确定重心位置周围的实心区域为可喷码区域。值得注意的，以关键点选定为喷码中心点、周围实心区域为可喷码区域仅为示范性示例，本领域技术人员可以理解的以该关键点选定为喷码区域的起始点(落脚点)，以关键点的左下方(左上方、右下方、右上方)实心区域计算其可喷码区域等方式，均能作为本发明的替代方案。

更为具体的，步骤S114，还可选但不仅限于包括：S1142：计算可喷码区域的面积。具体的，以每个在实心区域的重心位置为关键点，计算其周围的可喷码区域的面积，即计算重心位置周围的实心区域面积(可喷码的非空洞面积)作为预喷码区域。

S1143：比较可喷码区域的大小，选取最大可喷码区域所对应的关键点为自身喷码信息。即选定该最大可喷码区域(最大实心面积)为待喷码区域、其对应的关键点为喷码中心点/起点/终点等。值得注意的，此处确定的喷码信息，为待喷码工件的自身喷码信息，与其在喷码主体上的位置无关。更为具体的，可选但不仅限于以该重心位置作为喷码区域的中心，选取r为半径的圆、a为边长的矩形框等作为待喷码区域。

在该实施例中，给出了步骤S114，如何以是实心区域的重心位置为关键点，选取最佳自身喷码信息的具体实施例，其能够选取可喷码区域面积最大的区域及其对应的关键点作为喷码信息，一方面能够最大程度的避免喷码不完整的情况(喷码位置不充足导致部分喷码未显示)；另一方面能够最大程度的扩大喷码字体、扩充喷码内容，便于工作人员更清晰、更完整的识别待喷码工件。值得注意的，此处面积最大仅为最佳自身喷码信息的示范性示例，本领域技术人员还可选但不仅限于选定为最显眼位置等作为该最佳自身喷码信息的评价标准，对多个在实心区域的重心位置，做最佳选择。

具体的，为获取喷码主体的位置信息(可选但不仅限于以喷码主体的表征喷码主***置的角点边点坐标、倾斜角度等表示)，步骤S2作为本发明的另一发明构思，还提供一种基于神经网络和检测算法的边角定位方法，用于定位钢板边点、角点的位置以及钢板的倾斜角度等(如图4所示，此处以钢板喷码为例作解释说明，钢板的角点坐标并非原点，角点坐标为(X_c，Y_c)，边点坐标为(M_c，N_c))。值得注意的，该基于神经网络和检测算法的边角定位方法，仅为步骤S2的优选示例，并不以此为限。更为值得注意的，该基于神经网络和检测算法的边角定位方法，应用于该钢板的喷码位置确定仅为示范性示例，该方法还可应用于钢板切割、物件抓取等其它需要定位边角、位置信息的步骤中，其应用对象、应用范围并不以该示例为限。具体的，如图11所示，步骤S2提出一种基于神经网络和检测算法的边角定位方法，可选但不仅限于包括：

S21：采集样本图像，并对样本图像标注边角数据(可选但不仅限于以矩形框标注，后续返回矩形框，以计算确定边点、角点坐标)，以构建训练样本集；具体的，可选但不仅限于利用相机、摄像头等图像采集设备采集大量施工现场的钢板图像作为样本图像，尤其是包括但不仅限于边点/角点的拍照图像。更为具体的，为全面复原现场环境和实际情况，以提高后续模型训练的精确度，该样本图像，可选但不仅限于尽可能地涵盖该种光照以及粉尘的情况，得到各种复杂条件下的样本图像，使钢板及工件拥有更加真实的纹理细节，这样后续训练得到的神经网路模型也拥有更好的泛化性。

S22：构建用于学习边角数据的神经网络模型；具体的，可选但不仅限于采用高精度的改进版yolov4深度学习模型(如图12所示)。在Prediction区域，YOLOv4会跟着特征图数量的变化，相对应地输出分辨率分别为76×76/256、38×38/512和19×19/1024的图。本发明中，可选但不仅限于使用小的输入分辨率来加速网络训练，产出规模为52×52、26×26和13×13的图。更为具体的，本发明可选但不仅限于调整最后一层激活函数Mish，将其替换为Relu激活函数，在保证精度情况下，制作出更适合现场部署的快速模型。

S23：将训练样本集输入神经网路模型，优化参数得到训练后的神经网络模型；具体的，通过输入训练样本集，不断迭代缩小损失函数，以优化参数，得到性能更好的神经网络模型。

S24：采集待检测主体的实时图像；具体的，可选但不仅限于通过相机、摄像头等图像采集设备采集钢板(以喷码为例，即为喷码主体)的当前实时图像。

S25：将实时图像，输入训练后的神经网络模型，输出待检测主体(喷码主体，如钢板)的第一边角数据；具体的，神经网络模型，可选但不仅限于以按照步骤S21中标注样本图像的方式，返回同等类型的输出数据，表征实时图像的边角数据。具体的，可选但不仅限于返回表征角点的矩形框和表征边点的矩形框，以各矩形框的中心点作为第一角点坐标和第一边点坐标。

S26：根据第一边角数据，截取实时图像中包括第一边角数据的区域图像；具体的，根据第一边角数据(可选但不仅限于为以矩形框的中心点和框高或矩形框对角坐标表征的矩形框位置、大小尺寸)得到第一角点坐标和第一边点坐标，分别做以识别点为中心的裁剪处理，得到固定尺寸的裁剪区域图作为实时图像的区域图像。

S27：检测区域图像，得到第二边角数据；具体的，可选但不仅限于将裁剪得到的区域图像输入到边缘检测算法模型中，计算得到第二边角数据。更为具体的，该边缘检测算法模型，可选但不仅限于为canny算子。

S28：将第二边角数据，修正融合第一边角数据，得到修正后的边角数据作为最终的边角定位输出结果。具体的，可选但不仅限于通过检测区域图像所得到的第二边角数据，修正融合通过神经网络模型所得到的第一边角数据，二者数据互相匹配融合，得到修正后的边角数据。

在该实施例中，给出了本发明步骤S2的一个优选实施例，其融合神经网络模型和传统边缘检测算法的优点，首先通过神经网络模型得到实时图像的第一边角数据，再根据该第一边角数据截取实时图像中的局部图像(边角图像)，以通过边缘检测算法得到实时图像的第二边角数据，将二者修正融合，得到修正后的边角数据，即边点、角点、偏转角度等，反馈喷码主体的位置信息，其边点、角点计算结果更为精准，相较于单一的神经网络算法或边缘检测算法，其稳定性和准确性更高、受环境干扰性更弱。值得注意的，该方法仅为步骤S2的优选示例，并不以此为限，本领域技术人员可以理解的，可采用任何可以确定喷码主体(钢板)位置信息的其它方式，如单一的神经网络模型方式、单一的边缘检测算法等。

更为具体的，步骤S21中，在对样本图像标注边角数据时，可选但不仅限于以如图13-14所示例的矩形框标注样本图像的角点(具体的，实线为钢板；点线为放置钢板的格栅；虚线为作为标注的矩形框)；以如图15-16所示例的矩形框标注样本图像的边点。更为具体的，在用矩形框对样本图像标注边角数据时，可选但不仅限于用表征矩形框位置和矩形框大小尺寸的参数表示。示例的，该位置和大小参数，可选但不仅限于以矩形框的中心点位置和框高表示；或者以矩形框的两对角点坐标表示等。

更为具体的，在标注样本图像的边点数据时，需要特别注意矩形框的位置和大小，因为这两个参数共同决定了矩形框中目标对象(角点或边点)的占比大小，这对于训练神经网络模型、参数优化有至关重要的作用，能够提高后续利用训练好的神经网络模型检测实时图像的边角数据的准确性。

示例的，在角点标注的矩形框中，图14选取的矩形框优于图13选取的矩形框。具体的，如图13所示，左图选用了100x100像素大小的矩形框标注，像素点位于框体的正中心，标注出角点周围大区域，意味着框中近1/3的面积都来自于背景的格栅，在训练过程中，如果网络能找到一个框体中有大量格栅，又包含少部分均匀纹理的钢板的情况，则会认为在纹理的相似度上达到了很高的匹配度，这是与我们实际需求不符合的；右图标记出整块钢板，大面积的框选方式，受到摆放方式和钢板在全图中露出的面积大小影响，这些都将导致一定几率的误匹配/漏匹配。图13的标注方式先找到目标点周围区域，再在后续操作中做二次精细化匹配。这种分两步的计算方法带来更大的计算量，同时二次匹配的结果依赖于第一次粗定位的精度，如果在粗定位阶段就未能识别出目标点，那么后续步骤都将受阻。而图14中，左图的矩形框标注中，绝大部分为钢板的主体，框体中其余部分需要确保清晰地包含构成角点的两条直角边，让深度学习网络既可以区分钢板的角点和背景格栅角点，不会误匹配，同时又能确保无论钢板在拍摄图中呈现何种摆放角度和露出面积，矩形框都能精准的找到角点。右图的标注方式用于应对图像中纹理清晰，光源明亮，但存在多个“疑似角点”的情况，更小的矩形框会过滤掉许多背景中的角点，小框之所以有这种优势，是因为矩形框的像素更少，相当于每一个像素值的误匹配，都会在网络计算中造成更大的损失，从而促使深度学习网络以更严格的标准去审查匹配后的结果。因此，本发明优选于采用图14类型的矩形框标注角点数据，以应对标注不同的样本图像。具体的，对于质量低的样本图像采用图14左图所示的矩形框，其包括角点和两条直角边，且喷码主体占矩形框面积的2/3以上，在输入神经网络模型，返回第一边角数据时，以矩形框中心点和角点的中点为实际角点坐标；对于质量高的样本图像采用图14右图所示的矩形框，其包括角点和两条直角边，但是像素大小(矩形框尺寸)更小，在输入神经网络模型，返回第一边角数据时，以矩形框中心点为实际角点坐标。

在边点标注的矩形框中，最主要的技术难点在于如何让网络减少误匹配。相比于角点的检测，边点在图中会存在更多的干扰点，如所有的格栅、背景金属栏、钢板自身划痕、水渍等，全部都可能会被误检测为边点。尝试了图15四种标注方式，但所训练的神经网络模型均存在一定程度的误匹配。改进后采用如图16所示的矩形框作为边点新标注方法，其为一个长矩形框标记钢板边缘，标注框左右的预留位置保持相等，同时标注框不能太长，上下要预留一定的空间，确保当钢板边缘在图中露出过短时，标注框体和其他长边缘样本的标注框不会有太大的体积差距。

更为具体的，如图17所示，步骤S23，可选但不仅限于包括：S231：对训练样本集做数据清洗。即：发现并纠正数据文件中可识别的错误，去掉或者修复掉影响后续模型训练的“脏样本”。更为具体的，该数据清洗步骤，可选但不仅限于包括检查数据一致性，处理无效值和缺失值等。S232：将数据清洗后的训练样本集，输入神经网络模型，不断迭代以缩小模型输出的损失函数，再反向传播对模型参数进行调优，得到训练后的神经网络模型。该训练后的神经网络模型性能更优良。

更为具体的，如图18所示，步骤S25，还可选但不仅限于包括：

S251：将实时图像，输入训练后的神经网络模型；

S252：判断是否得到第一边角数据；

S253：若是，则输出待检测工件的第一边角数据；此种情况即为：当前输入的实时图像质量较优，神经网络模型能够主动识别出边点、角点等第一边角数据。

S254：若否，则增强所述实时图像，再输入训练后的神经网络模型，输出第一边角数据。此种情况即为：当前输入的实时图像质量较差，神经网络模型无法自动识别出边点、角点等第一边角数据，需要根据当前图片的光照特性，用预设值的多种合成算法做增强处理，得到一组增强后的图像，再输入神经网络模型，得到第一边角数据。

更为具体的，步骤S254中，增强实时图像的步骤，可选但不仅限于采用：亮度增强、HSV颜色空间增强、上下/水平反转增强、高斯拉普拉斯增强，有效的增强计算参数，能高效地、有针对性地对定位巡边原始数据进行增强，达到扩充数据集、提升深度学习网络泛化性、准确性的目的。

具体的，本领域技术人员可知的，存在上百种对图像进行处理的增强算法，以对采集数据进行扩充。发明人根据钢板所处的实际环境，通过不断研究试验，付出创造性劳动，选取其中几种优选的增强方式做组合，对实时图像做增强处理。

更为具体的，亮度增强的计算公式为：

g(x)＝αf(x)+β

其中，参数α>0和β称为增益和偏差参数，这些参数分别控制亮度。f(x)作为源图像像素，g(x)作为输出图像像素，表示对输入图像进行亮度上的增强计算，得到比原图更亮或更暗的图片。

HSV颜色空间增强中，H表示色调，取值范围为(0，180)；S表示饱和度，取值范围为(0，255)；V表示亮度，取值范围为(0，255)。算法先将实时图像由RGB空间转换到HSV空间，再根据经验分别对H、S、V三个分量做数值上的放大或缩小运算，最后再转换回RGB空间，达到图像增强的效果。

上下/水平反转增强方法，会随机对实时图像中的部分区域做裁剪，然后将所裁剪的n张图拼接到一起，使一张图中尽可能地多包含集中对象，从而增加样本的丰富程度，为网络提供更为复杂的识别场景。但尤其注意，从经验上来看，裁剪过程中不宜做缩放处理，应按原图尺寸去裁剪，避免缩放图像导致边点角点偏移出图像裁剪的区域，造成样本缺失。

拉普拉斯增强计算公式：

其中，G(x,y)表示高斯函数，δ表示标准差，即先用高斯核对图像做平滑处理，可以降低图片中的高频噪声，方便后续的拉普拉斯操作。

则表示对其进行二次偏分运算，得到高斯拉普拉斯的LoG函数。因为高斯拉普拉斯是导数算子，会突出图像中的急剧灰度变化，抑制灰度缓慢变化区域，往往会产生暗色背景下的灰色边缘和不连续图像。将拉普拉斯图像与原图叠加，可以得到保留锐化效果的图像。

更为具体的，增强实时图像的步骤，还可选但不仅限于采用：对比度增强、缩放增强、Mosaic增强等。但是因为场景的特殊性，不适当的增强处理算法在人眼视觉效果上可能会获得提升，但并不适用于后续的算法计算，最终反而会导致神经网络模型性能的下降。尤其是在钢板边点、角点的定位巡边场景下，拥有明显的优势，主要体现在：对比度增强方法带来的对比度差异，会增大钢板与背景之间的区分度，从而降低深度学习网络的泛化性，不利于识别复杂条件下的钢板；缩放增强、Mosaic增强方法在通常情况下是适用的，但由于钢板的边点和角点位置不确定，可能出现在图像的边缘位置，常见的缩放和拼接容易丢失掉一部分标注信息。当深度学习网络的训练数据中存在过多空白未标注样本时候，实际上相当于减少了训练的样本数量；

更为具体的，边角数据，可选但不仅限于包括角点数据，边点数据，可选但不仅限于以角点坐标(X_c，Y_c)和边点坐标(M_c，N_c)表示。更为具体的，在神经网络模型中，以标注角点矩形框的中心点坐标确定第一角点坐标，以标注边点矩形框的中心点坐标确定第一边点坐标。在检测算法中，以边缘线段确定第二角点坐标和第二边点坐标。具体的，如图19所示，步骤S27，可选但不仅限于包括角点数据确定：

S271：将区域图像，输入边缘检测算法模型中，得到区域图像内的边缘线段；值得注意的，该边缘线段，可能为钢板的直角边(我们需要检测的边缘线段)，也可能为钢板上的划痕、放置钢板的格栅边缘等，需要后续优选排除。

S272：根据边缘线段，确定区域图像内的预选角点；具体的，可选但不仅限于根据直角边的相交情况，找到区域图像内所存在的所有角点(即为预选角点)；具体的，该角点为边缘线段所确定的角点，由于边缘线段可能为钢板的直角边，则所确定的角点为钢板的实际角点，可以作为第二边角数据返回；也有可能为钢板上的划痕、放置钢板的格栅边缘，所确定的角点并非为钢板的实际角点，不可作为第二边角数据返回；所以为充分考虑钢板划痕等情况，需要在预选角点中排除并非钢板实际角点的角点，以提高边角定位的准确率；具体的：

S273：判断预选角点中，是否存在与第一角点的位置差在第一设定范围内的预选角点；具体的，由于步骤S272计算的预选角点，可能为钢板的角点(实际需要找到的角点)，也可能为钢板的划痕、格栅的角点等(可能被误认为钢板角点的角点)，需要比较预选角点和第一角点的位置差，若位置较近，则表征检测算法确定的预选角点中有一个为钢板的真实角点，需要二者融合修正；若位置较远，则表征检测算法确定的预选角点没有钢板的真实角点，而是划痕等其它线段的角点，需要排除，无需二者融合修正。

S274：若存在，则返回位置差在第一设定范围内的预选角点为第二角点；表征检测算法检测区域图像时，找到了钢板的实际角点。

S275：若不存在，则不返回第二角点。表征检测算法检测区域图像时，没有找到钢板的实际角点。

更为具体的，在上述角点数据确定的基础上，步骤S28角点修正的步骤具体为：若返回了第二角点，则计算第一角点和第二角点的聚类中心点，作为修正后的角点数据；若不返回第二角点，则以第一角点作为修正后的角点数据。

在该实施例中，给出了边角数据为角点数据，且如何计算第二角点以及修正融合第一角点的具体步骤，能够剔除不合理的离群点(划痕等的角点可能被误认为钢板角点的情况)，进一步优化角点坐标，提高边角定位的精确度。

更为具体的，S27，还可选但不仅限于包括边点数据确定。具体的，该边点数据确定，与上述角点数据确定具有类似特点，可选但不仅限于包括：

S276：根据边缘线段，确定边缘线段中，离第一边点最近的点为预选边点；

S277：判断预选边点与第一边点的位置差是否在第二设定范围内；

S278：若是，则返回位置差在第二设定范围内的预选边点为第二边点；

S279：若否，则不返回第二边点。表征检测算法检测区域图像时，没有找到钢板的实际边点。

更为具体的，在上述边点数据确定的基础上，步骤S28边点修正的步骤具体为：计算第一边点和第二边点的聚类中心点，作为修正后的边点数据。

在该实施例中，给出了边角数据为边点数据，且如何计算第二边点以及修正融合第一边点的具体步骤，进一步优化边点坐标，提高边角定位的精确度。

更为具体的，S28，还可选但不仅限于包括，计算出角点和边点后，进一步通过距离、边缘斜率、点所在的边长等多种参数，进一步优化得到的坐标位置。

在该实施例中，给出了本发明的定位方法，如何综合神经网络模型确定的第一边点数据和检测算法确定的第二边点数据的具体实施例，能够综合二者的优点，提高角点、边点的定位精度，进一步优化喷码点位定位精度。

具体的，如图21所示，为提高角点确定的准确性，S272：还可选但不仅限于包括：S2721：计算区域图像内边缘点所包裹的边缘面积；S2722，找到最大边缘面积所对应的图像中心矩；S2723：计算图像中心矩和边缘线段的距离，对距离在一定范围内的边缘进行融合，消除不连续边；S2724：根据消除不连续边的边缘线段，计算区域图像内的预选角点。

具体的，实际应用中，该边角定位方法，还可选但不仅限于包括：将得到的边角数据从图像坐标系转换到空间坐标系下。具体的，以采集待检测工件实时图像为钢板为例，可选但不仅限于将计算得到的边角数据，输入到转换算法中，调用当前相机的外参矩阵，计算出钢板角点/边点的真实坐标，返回结果。

更为具体的，为进一步获取喷码主体的当前位姿，如图21所示，本发明的边角定位方法，还可选但不仅限于包括：S29根据修正后的边角数据，计算喷码主体(待检测主体)的倾斜角度。具体的，可选但不仅限于结合角点数据(X_c，Y_c)、边点数据(M_c，N_c)和当前相机拍照位置的相关参数，测算出钢板的倾斜角度r_c。

在该实施例中，可根据角点数据和边点数据，进一步确定待检测主体(可选但不仅限于为钢板)的倾斜角度，以为喷码点位的进一步精确定位、喷码效果的进一步优化，提供有效保障

具体的，步骤S3，具体为采用公式(1)-(3)确定待喷码工件在喷码主体上的喷码校正信息。

x_n1＝x_n cos r_c-y_n sin r_c+x_c (1)

y_n1＝y_n sin r_c+y_n cos r_c+y_c (2)

r_n1＝r_n+r_c (3)

具体的，如图22所示，本发明还提供一种喷码路径控制方法，包括：

T1：获取喷码主体的喷码信息。具体的，该喷码信息，可选但仅限于喷码主体上每个待喷码工件(N个类型、名称相同或不同的待喷码工件，可选但不仅限于将每个工件的喷码信息以序号区分)的喷码信息。更为具体的，为保障喷码位置的准确无误、避免漏喷、错喷，可选但不仅限于充分考虑在喷码主体到达喷码点位时，存在位移、角度偏差等情况，将该喷码信息确定为每个待喷码工件校正后的喷码信息，即喷码校正信息，可选但不仅限于以坐标角度(x_n1，y_n1，r_n1)表示，该每个待喷码工件的喷码信息获取的具体方式可选但不仅限于采用上述工件喷码的校正方法确定，其中的步骤S1-S3，可选但不仅限于参照上文，在此不再赘述。

T2：以喷码主体的角点为出发点，选取离角点距离最近的待喷码工件为第一喷码工件，令i＝1，开始喷码工序；具体的，该距离计算可选但不仅限于采用欧几里得公式。

T3：完成第i个待喷码工件的喷码工序时，在待喷码序列中删除第i个待喷码工件；具体的，本领域技术人员可以理解的后续的待喷码工件，是还未完成喷码工序的待喷码工件，也就是说已经完成喷码工序的待喷码工件在此处需要删除，不再进行后续的距离比较，避免喷码装置再次返回已经喷码的位置，再次喷码，一方面降低时效、提高成本；另一方面可能导致喷码装置往返于某两点之间，造成喷码混乱、无法进行下去。

T4：选取离第i个待喷码工件距离最近的待喷码工件为下一个待喷码工件开始喷码，令为i＝i+1；

T5：判断i是否等于N；N为待喷码工件的总数；即是否待喷码工件是否全部完成喷码工序；

T6：若否，则返回步骤T3；

T7：若是，则喷码结束。

在该实施例中，给出了本发明喷码路径规划的一个具体实施例，其以最近距离为评价标准，按照最优规划路径安排喷码装置的喷码全过程(如图23线条所示)，使得桁架需要移动的距离最短化，缩短喷码时间、提高喷码效率，并降低喷码成本消耗，相较于现有技术中按照行/列为单位，依次喷码的路径控制方法而言，其效率明显更快，该方法虽然看似简单，但是打破了行业常规方式，获得了明显的有益效果。

另一方面，本发明还基于上述方法，提供其对应的***。

具体的，如图24所示，对应上述工件喷码的校正方法，本发明还提供一种工件喷码的校正***，可选但不仅限于包括：

第一获取装置，用于获取待喷码工件在喷码主体上的喷码初始信息(如图3示例的，长方形外框为喷码主体，如钢板等，其形状尺寸等可任意设定；其内的五边形图案为待喷码工件，同样的其形状尺寸等可任意设定，钢板上还零散分布其它待喷码工件此处未示出；虚线框为喷码区域、实心圆点为喷码中心，这是我们示例的需要获取的喷码初始信息，后续以重心位置示例指出，其可为喷码中心点/起点/终点等；喷码区域可为该重心位置所做的圆、矩形框等)。具体的，该喷码初始信息，可选但不仅限于为待喷码工件在喷码主体上的喷码坐标、喷码角度等。示例的，假设钢板的角点位于原点(0，0)，角度也为0(钢板放置无任何偏差的理想情况下)时，每个待喷码工件应当喷码的位置(假设钢板无偏差时，初始确定的位置和角度)。示例的，第N个工件的喷码初始信息，可选但不仅限于以坐标(x_n，y_n)，角度r_n表示，为(x_n，y_n，r_n)。更为具体的，第一获取模块，可选但不仅限于与存储单元连接，直接获取套料图中预先设定的喷码初始信息。

第二获取装置，用于获取喷码主体的位置信息(如图4所示)。具体的，该位置信息，可选但不仅限于为喷码主体的位置坐标、偏移角度等。以喷码主体为钢板为例，即钢板通过移动托盘运送到喷码点位时，其角点并非位于原点(0，0)，角度也并非为0，而是存在一个位移偏差和角度偏差。示例的，喷码主体的位置信息，可选但不仅限于以角点坐标(x_c，y_c)，角度r_c表示，为(x_c，y_c，r_c)。更为具体的，该第二获取模块，可选但不仅限于包括图像采集设备，采集喷码主体的实时图像，并通过图像识别，确定喷码主体的当前位置、位姿等。

校正装置，与第一获取装置和第二获取装置连接，用于根据待喷码工件在喷码主体上的喷码初始信息(钢板无偏差，理想状态下确定的喷码信息)和喷码主体的位置信息(钢板的实时信息，位置、角度等存在偏差)，确定待喷码工件在喷码主体上的喷码校正信息(，校正后的信息)。即根据喷码主体的位置信息(可选但不仅限于为位移偏差、角度偏差)，校正初始确定的喷码信息，得到校正后的喷码信息(喷码校正信息)，即当前喷码点位实际需要喷码的位置和角度，表示为(x_n1，y_n1，r_n1)，(如图4所示)。

在该实施例中，给出了本发明工件喷码的校正***的一个具体实施例，其充分考虑喷码主体(可选但不仅限于为钢板)在到达喷码点位时的位置信息(在位置、位姿、角度等方面可能存在偏差(如图4所示)，非正正方方摆放在喷码点位下的理想情况，其角点并非原点，角度也非零，通过检测喷码主体自身的位置信息，校正初始确定的喷码位置，得到待喷码工件实际应当喷码的位置，确保喷码位置角度等准确无误。值得注意的，在校正过程中，实际需要根据喷码主体上待喷码工件的数量，依次校正N个待喷码工件的喷码初始信息，确定每个待喷码工件的喷码校正信息，得到如图5所示的喷码点位图(相较于图1，增加的点即为每个待喷码工件的喷码校正信息，即喷码点位)。更为值得注意的，上述各装置及后续的各***、模块之间并非绝对物理意义上的划分，其仅为功能性定义，并不对其物理结构等作具体限定，各模块、装置、***之间可以任何形式连接、互动、组合。

具体的，如图25所示，第一获取装置，可选但不仅限于包括：

第一确定模块，用于确定待喷码工件的自身喷码信息(如图7所示)，即不考虑待喷码工件处于喷码主体的何种位置，只根据待喷码工件自身的形状、尺寸等，确定的该喷码应该标识在待喷码工件自身的何处位置，可选但不仅限于以坐标(x_na，y_na)表示。

第二确定模块，用于确定待喷码工件在喷码主体上的放置位置信息(如图3所示，可选但不仅限于以待喷码工件的某个角点、中心点等关键点的坐标表示)，具体的，该待喷码工件在喷码主体上的放置位置，可选但不仅限于以待喷码工件的特征点(如该工件的上下左右角、中心点等，图示例为工件的一个角点)的坐标(x_nb，y_nb)表示。更为具体的，该放置位置，可选但不仅限于通过数据解析模块从生产套料图(例如dxf，json等)中解析提取物料数据(可选但不仅限于为包括各工件编号、名称等的信息数据)和线条数据(可选但不仅限于为包括各工件形状、尺寸、线段组成等的图形数据)；然后将物料数据以文件形式存储为文件数据，将线条数据组合转化为钢板切割的边框数据和工件数据以图片形式存储为图片数据；最后将文件数据和图片数据一一对应，以确定每个工件在喷码主体(钢板)上的位置、形状、尺寸等。

第三确定模块，与第一确定模块和第二确定模块连接，用于根据待喷码工件的自身喷码信息(可选但不仅限于用坐标(x_na，y_na)表示)和待喷码工件在喷码主体上的放置位置信息(x_nb，y_nb)，确定待喷码工件在喷码主体上的喷码初始信息(x_n，y_n)。角度r_n可由本领域技术人员根据外观等设定一个角度，一般的，为方便查看，一般设置为平行于工件，即角度为0。

在该实施例中，给出了第一获取装置组成模块的一个具体实施例，其通过获取待喷码工件的自身喷码信息和待喷码工件在喷码主体上的放置位置信息，确定喷码初始信息，即完成待喷码工件这个小坐标系下——到喷码主体这个大坐标系下的坐标转换，结构简单、计算精准，能够保障喷码位置准确无误。

具体的，为精准识别、找到待喷码工件的自身喷码信息(如图7所示，喷码区域(虚线框)/喷码起点/终点/中心点(实心圆)等表征喷码位置的任何信息)，本发明还提供一种工件喷码的识别装置(用作校正***中的第一确定模块)，具体的工件喷码的识别装置，可选但不仅限于根据待喷码工件的重心位置确定待喷码工件的自身喷码信息。更为具体的，如图26所示，识别装置可选但不仅限于包括：

重心计算小模块，用于计算待喷码工件的整体工件和局部工件的重心位置。具体的，该重心位置，可选但不仅限于根据待喷码工件的二值图计算得到。具体的，可选但不仅限于从生产套料图获取的文件数据和图片数据中，提取形成每一个工件的轮廓数据，然后通过对工件轮廓进行填充，得到每一个工件的二值图。更为具体的，该重心计算小模块，可选但不仅限于为具有图像识别、处理以及数据接收、处理、传输等功能的控制单元，完成上述相应功能。

实心区域判断小模块，与重心计算小模块连接，用于判断重心位置是否为待喷码工件的实心区域；具体的，以局部工件包括4个象限的局部工件为例，此处需要分别判断5个重心位置(1个整体工件的重心位置+4个局部工件的重心位置)是否为实心区域。更为具体的，可选但不仅限于根据生产套料图获取的文件数据和图片数据中，分别判断计算得到的各重心位置(坐标)是否为待喷码工件的实心区域。

删除小模块，与实心区域判断小模块连接，用于删除不是实心区域的重心位置；具体的，若该重心位置不为实心区域，则表征该重心位置不在待喷码工件上(如圆环的重心位置在中心圆内)，该空洞的地方必然不能作为喷码区域的预选位置，需要删除。具体的，可选但不仅限于在计算得到的众多重心位置中，将其剔除出存储序列。具体的，可选但不仅限于在计算得到的众多重心位置中，将其剔除出存储序列，在存储单元中将该待喷码工件对应的编号、名称、喷码内容等删除。

喷码信息确定小模块，与实心区域判断小模块连接，用于以是实心区域的重心位置为关键点，确定待喷码工件的自身喷码信息。具体的，该自身喷码信息，可选但不仅限于以是实心区域的重心位置为待喷码区域的起点/终点/中心点等表征待喷码位置的任何信息。更为具体的，由于步骤S111中，计算得到了多个重心位置，步骤S114中，可能存在多个在实心区域的重心位置，此时本领域技术人员可以理解的选取其中一个为喷码信息，下文有改进的优选方案。

在该实施例中，给出了本发明工件喷码的识别装置，通过计算待喷码工件的整体工件和局部工件的重心位置，选取在实心区域的重心位置为关键点，相较于现有技术能够避免某些工件(示例的，圆环等中空工件、其它异形件等)的整体重心位置不在工件的实心区域，属于中空部分，不能作为可喷码区域的情况，有效避免漏喷、错喷等现象，为后续工件的识别、组装等工序提供有力保障。

具体的，重心计算小模块可选但不仅限于包括：

第一计算单元，用于计算待喷码工件的整体工件的重心位置；

分割单元，以整体工件的重心位置为分割点，过分割点确定分割线，将待喷码工件的整体工件分割为若干个局部工件。具体的，可选但不仅限于以重心位置为分割点，过重心位置(重心坐标点)做平行于水平面的横轴和垂直于水平面的纵轴，将待喷码工件分割为上下左右四个象限的局部工件。值得注意的，该分割线的具体形式、位置等，可选但不仅限于根据待喷码工件的实际形状、尺寸、喷码位置精度要求等而任意设定。可选但不仅限于仅选取一条分割线，将待喷码工件分割为两个象限的局部工件；或者选取更多条分割线，将待喷码工件分割为更多象限的局部工件。更为具体的，在待喷码工件为对称结构时，可选但不仅限于过重心位置，以待喷码工件的对称轴作为分割线，将待喷码工件分割为若干个局部工件。

第二计算单元，分别计算待喷码工件的局部工件的重心位置；具体的，以局部工件包括4个象限的局部工件为例，到此共得到5个重心位置(1个整体工件的重心位置+4个局部工件的重心位置)。更为具体的，该重心位置，可选但不仅限于同样的通过待喷码工件的二值图计算得到。

在该实施例中，给出了重心计算小模块，如何计算待喷码工件的整体工件和局部工件的重心位置的一个具体实施例，其通过整体工件的重心位置作为分割点，选取分割线将待喷码工件分割为若干个局部工件，再确定局部工件的重心位置，能够从多个重心位置中选取在实心区域的重心位置作为喷码信息，能够进一步避免某些工件的整体重心位置不在工件的实心区域(属于中空部分)，不能作为可喷码区域的情况，有效避免漏喷、错喷等现象，为后续工件的识别、组装等工序提供有力保障。

更为具体的，喷码信息确定小模块，可选但不仅限于包括：

可喷码区域确定单元，用于以实心区域的重心位置为关键点，确定关键点周围的可喷码区域(预喷码区域)；具体的，可喷码区域确定单元，可选但不仅限于为以实心区域的重心位置为喷码中心点，以r为半径画圆或a为边长画矩形框，确定重心位置周围的实心区域为可喷码区域。值得注意的，以关键点选定为喷码中心点、周围实心区域为可喷码区域仅为示范性示例，本领域技术人员可以理解的以该关键点选定为喷码区域的起始点(落脚点)，以关键点的左下方(左上方、右下方、右上方)实心区域计算其可喷码区域等方式，均能作为本发明的替代方案。

更为具体的，喷码信息确定小模块，还可选但不仅限于包括：面积计算单元，与可喷码区域确定单元连接，用于计算可喷码区域的面积。具体的，以每个在实心区域的重心位置为关键点，计算其周围的可喷码区域的面积，即计算重心位置周围的实心区域面积(可喷码的非空洞面积)作为预喷码区域。

自身喷码信息确定单元，与面积计算单元连接，用于比较可喷码区域的大小，选取最大可喷码区域所对应的关键点为自身喷码信息。即选定该最大可喷码区域(最大实心面积)为待喷码区域、其对应的关键点为喷码中心点/起点/终点等。值得注意的，此处确定的喷码信息，为待喷码工件的自身喷码信息，与其在喷码主体上的位置无关。更为具体的，可选但不仅限于以该重心位置作为喷码区域的中心，选取r为半径的圆、a为边长的矩形框等作为待喷码区域。

在该实施例中，给出了喷码信息确定小模块，如何以是实心区域的重心位置为关键点，选取最佳自身喷码信息的具体实施例，其能够选取可喷码区域面积最大的区域及其对应的关键点作为喷码信息，一方面能够最大程度的避免喷码不完整的情况(喷码位置不充足导致部分喷码未显示)；另一方面能够最大程度的扩大喷码字体、扩充喷码内容，便于工作人员更清晰、更完整的识别待喷码工件。值得注意的，此处面积最大仅为最佳自身喷码信息的示范性示例，本领域技术人员还可选但不仅限于选定为最显眼位置等作为该最佳自身喷码信息的评价标准，对多个在实心区域的重心位置，做最佳选择。

具体的，如图27所示，针对上述边角定位方法，本发明还提供一种基于神经网络和检测算法的边角定位装置(充当上述第二确定模块)，可选但不仅限于包括：

样本采集小模块，用于采集样本图像，并对样本图像标注边角数据，以构建训练样本集；

模型构建小模块，用于构建用于学习边角数据的神经网络模型；

模型训练小模块，用于将训练样本集输入神经网路模型，得到训练后的神经网络模型；

图像采集小模块，用于采集待检测工件实时图像；

第一边角数据输出小模块，用于将实时图像，输入训练后的神经网络模型，输出待检测工件的第一边角数据；

图像截取小模块，用于根据第一边角数据，截取实时图像中包括第一边角数据的区域图像；

第二边角数据输出小模块，用于检测区域图像，得到待检测工件的第二边角数据；

修正小模块，用于将第二边角数据，修正融合第一边角数据，得到修正后的边角数据作为边角定位输出结果。

具体的第二确定模块结构的细节可选但不仅限于与其方法对应，在此不再赘述。

具体的，第三确定模块，具体为采用公式(1)-(3)确定待喷码工件在喷码主体上的喷码校正信息。

x_n1＝x_n cos r_c-y_n sin r_c+x_c (1)

y_n1＝y_n sin r_c+y_n cos r_c+y_c (2)

r_n1＝r_n+r_c (3)

具体的，如图28所示，本发明还提供一种喷码路径规划装置，包括：

喷码信息获取小模块，用于获取喷码主体的喷码信息。具体的，该喷码信息，可选但仅限于喷码主体上每个待喷码工件(N个类型、名称相同或不同的待喷码工件，可选但不仅限于将每个工件的喷码信息以序号区分)的喷码信息。更为具体的，为保障喷码位置的准确无误、避免漏喷、错喷，可选但不仅限于充分考虑在喷码主体到达喷码点位时，存在位移、角度偏差等情况，将该喷码信息确定为每个待喷码工件校正后的喷码信息，即喷码校正信息，可选但不仅限于以坐标角度(x_n1，y_n1，r_n1)表示，通过连接上述校正***得到喷码信息，在此不再赘述。

第一工件选取小模块，以喷码主体的角点为出发点，选取离角点距离最近的待喷码工件为第一喷码工件，另i＝1，开始喷码工序；具体的，该距离计算可选但不仅限于采用欧几里得公式。

工件删除小模块，完成第i个待喷码工件的喷码工序时，在待喷码序列中删除第i个待喷码工件；具体的，本领域技术人员可以理解的后续的待喷码工件，是还未完成喷码工序的待喷码工件，也就是说已经完成喷码工序的待喷码工件在此处需要删除，不再进行后续的距离比较，避免喷码装置再次返回已经喷码的位置，再次喷码，一方面降低时效、提高成本；另一方面可能导致喷码装置往返于某两点之间，造成喷码混乱、无法进行下去。

下个工件选取小模块，用于选取离第i个待喷码工件距离最近的待喷码工件为下一个待喷码工件开始喷码，令为i＝i+1；

喷码完成判断小模块，判断i是否等于N；N为待喷码工件的总数；即是否待喷码工件是否全部完成喷码工序；若否，继续喷码；若是，则喷码结束。

在该实施例中，给出了本发明喷码路径喷码路径规划装置的一个具体实施例，其以最近距离为评价标准，按照最优规划路径安排喷码装置的喷码全过程，使得桁架需要移动的距离最短化，缩短喷码时间、提高喷码效率，并降低喷码成本消耗，相较于现有技术中按照行/列为单位，依次喷码的路径控制方法而言，其效率明显更快，该方法虽然看似简单，但是打破了行业常规方式，获得了明显的有益效果。

更为具体的，如图29所示，本发明还提供一种喷码总***，包括桁架、喷码***、控制***和校正***；其发明点在于，控制***，与上述校正***连接，用于根据喷码校正信息，控制桁架带动喷码***移动至喷码校正信息指定的喷码点位，开始喷码工序。

在该实施例中，本发明喷码总***的发明构思基于上述校正***而创造，在于如何得到喷码校正信息，以根据钢板的实时位姿，自适应调整喷码***至校正位置开始喷码，避免错喷、漏喷，其关键点在于通过图像采集小模块(可选但不仅限于为相机)采集喷码主体(钢板)的实时图像，识别其实际位姿，而自适应调整喷码位置，确保喷码位置更精准，是一种基于视觉引导、根据喷码主***姿而自适应调整喷码点位的喷码总***，而喷码***及桁架的具体形式、驱动方式等并不是本发明的发明重点，在此不再赘述，本领域技术人员可以理解的实现喷码、桁架移动的方式均可。

更为具体的，该喷码总***，还可选但不仅限于包括喷码路径规划装置，与控制***连接，用于给所述控制***提供路径规划；控制***根据路径规划，控制桁架按照路径规划，控制桁架按顺序完成喷码工序。具体的，桁架按照路径规划的行动轨迹，带动喷码装置依次移动至指定的喷码位置，在桁架移动至喷码位置的同时会触发喷码机开始喷码，循环此过程至下一个喷码位置，直到喷码主体上的所有待喷码工件全部喷码完成。更为具体的，喷码***，还可选但不仅限于包括传感装置，在喷码过程中能自动感应钢板高度，传送给控制***，以控制桁架高度，从而保持合适的喷码高度，确保喷码效果清晰可见。更为具体的，桁架、喷码***的具体结构、驱动方式等，以图29为例。

上述***、装置基于上述方法而创造，其技术作用和有益效果在此不再赘述，值得注意的，各***、装置、模块、单元等仅为功能性划分，并不对其物理结构作任何限定，本领域技术人员可以理解的+以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。另需要说明的，上述工件喷码的校正方法及其***和喷码总***，是本发明的总体发明构思，其关键在于获取喷码主体的位置信息，校正喷码初始信息，是一种基于视觉引导的、自适应喷码装置。工件喷码的识别方法及其装置，作为校正方法的步骤S1，是本发明的另一发明构思，其关键在于如何正确确定待喷码工件的自身喷码信息，避免喷码位置不在工件上的情况。边角定位方法及其装置，作为校正方法的步骤S2，是本发明的另一方面构思，其关键在于如何将深度学习网络模型算法和传统检测算法相融合，确定钢板的实时位姿。该三个发明点既相互配合、又相互独立，为避免本案存在单一性问题，将上述发明点作为系列申请分案保护，特在此说明。

Claims (10)

1.一种基于神经网络和检测算法的边角定位方法，其特征在于，包括：

S21：采集待检测主体的样本图像，并对样本图像标注边角数据，以构建训练样本集；

S22：构建用于学习边角数据的神经网络模型；

S23：将训练样本集输入神经网路模型，得到训练后的神经网络模型；

S24：采集待检测主体的实时图像；

S25：将实时图像，输入训练后的神经网络模型，输出第一边角数据；

S26：根据第一边角数据，截取实时图像中包括第一边角数据的区域图像；

S27：检测区域图像，得到第二边角数据；

S28：将第二边角数据，修正融合第一边角数据，得到修正后的边角数据作为边角定位输出结果。

2.根据权利要求1所述的边角定位方法，其特征在于，第一边角数据，包括第一角点；第二边角数据，包括第二角点；

步骤S27，包括：

S271：将区域图像，输入边缘检测算法模型中，得到区域图像内的边缘线段；

S272：根据边缘线段，确定区域图像内的预选角点；

S273：判断预选角点中，是否存在与第一角点的位置差在第一设定范围内的预选角点；

S274：若存在，则返回位置差在第一设定范围内的预选角点为第二角点；

S275：若不存在，则不返回第二角点。

3.根据权利要求2所述的边角定位方法，其特征在于，步骤S28，具体为若返回了第二角点，则计算第一角点和第二角点的聚类中心点，作为修正后的边角数据；若不返回第二角点，则以第一角点作为修正后的边角数据。

4.根据权利要求3所述的边角定位方法，其特征在于，第一边角数据，还包括第一边点；第二边角数据，还包括第二边点；步骤S27，还包括：

S276：根据边缘线段，确定边缘线段中，离第一边点最近的点为预选边点；

S277：判断预选边点与第一边点的位置差是否在第二设定范围内；

S278：若是，则返回位置差在第二设定范围内的预选边点为第二边点；

S279：若否，则不返回第二边点。

5.根据权利要求4所述的边角定位方法，其特征在于，步骤S28，具体为计算第一边点和第二边点的聚类中心点，作为修正后的边角数据。

6.根据权利要求2所述的边角定位方法，其特征在于，步骤S271：还包括：计算区域图像内边缘点所包裹的边缘面积；

步骤S272，包括：

S2721：找到最大边缘面积所对应的图像中心矩；

S2722：计算图像中心矩和边缘线段的距离，对距离在一定范围内的边缘进行融合，消除不连续边；

S2723：根据消除不连续边的边缘线段，确定区域图像内的预选角点。

7.根据权利要求1-7任意一项所述的边角定位方法，其特征在于，还包括：

S29：根据修正后的边角数据，输出待检测主体的倾斜角度。

8.根据权利要求7所述的边角定位方法，其特征在于，步骤S25，包括：

S251：将实时图像，输入训练后的神经网络模型；

S252：判断是否得到第一边角数据；

S253：若是，则输出待检测工件的第一边角数据；

S254：若否，则增强实时图像，再输入训练后的神经网络模型，输出第一边角数据。

9.根据权利要求8所述的边角定位方法，其特征在于，增强实时图像的方法，包括：亮度增强、HSV颜色空间增强、上下/水平反转增强、高斯拉普拉斯增强。

10.一种基于神经网络和检测算法的边角定位装置，其特征在于，所述边角定位装置，用于实现权利要求1-9任意一项所述的边角定位方法，包括：

样本采集小模块，用于采集样本图像，并对样本图像标注边角数据，以构建训练样本集；

模型构建小模块，用于构建用于学习边角数据的神经网络模型；

模型训练小模块，用于将训练样本集输入神经网路模型，得到训练后的神经网络模型；

图像采集小模块，用于采集待检测主体的实时图像；

第一边角数据输出小模块，用于将实时图像，输入训练后的神经网络模型，输出待检测工件的第一边角数据；

图像截取小模块，用于根据第一边角数据，截取实时图像中包括第一边角数据的区域图像；

第二边角数据输出小模块，用于检测区域图像，得到待检测工件的第二边角数据；

修正小模块，用于将第二边角数据，修正融合第一边角数据，得到修正后的边角数据作为边角定位输出结果。

Images