CN113111712A - 一种袋装产品的ai识别定位方法、***及装置 - Google Patents

Abstract

一种袋装产品的识别定位方法或***，融合AI与机器视觉，使用深度学习模型将采集到的袋装产品的原始图像进行识别和处理，得到第一组数据，并使用传统的模板匹配算法得到对应的另一组数据，将两组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品定位结果，以使得机械手根据该组最优数据进行袋装产品的抓取以完成后续程序，由于使用深度学习模型处理的方法得到数据进行判定袋装产品定位结果，不需要占用较大面积，就能完成混乱物料的识别和判断，并将准确数据传递给后续的充填或执行机械手，能够快速和准确的实现袋装产品包装自动化，更好的实现工厂现代化。

Description

一种袋装产品的AI识别定位方法、***及装置

技术领域

本发明涉及包装自动化领域，具体涉及一种袋装产品的AI识别定位方法、***及装置。

背景技术

在包装自动化领域，通常需要将袋装产品放入既定的包装容器当中(例如将小袋产品有序装入纸盒)，一般是利用充填或执行机械手抓取来料放入包装容器中，以实现包装自动化。然而，如果来料的不规则、混乱、堆叠等现象往往导致机械手无法抓取适当产品以至于后续自动化难以实现。通常，需要人工投料，以避免进料不规则、混乱或者堆叠的情况。

目前市面上有利用震动或差速理料装置将物料分开，以避免堆叠并使物料均匀的方式，但是，这些方式的成本较大，也需要占用较大的占地面积，效率较低，不利于现代化工厂。

因此，需要一种袋装产品识别定位方法，以使得在适当的占地面积情况下，完成混乱物料识别和判断，并将准确数据传递给后续的充填或执行机械手，使得效率更高。

发明内容

本发明主要解决的技术问题是提供一种袋装产品的识别定位方法、***及装置，能够在不增加过多占地面积的情况下，完成混乱物料的识别和判断，并将准确数据传递给后续的充填或执行机械手。

根据第一方面，一种实施例中提供一种融合AI与机器视觉的袋装产品的识别定位方法，包括：

采集流水线上袋装产品的原始图像；

将所述原始图像传入深度学习模型进行处理，得到袋装产品的第一组数据，其中，所述第一组数据包括中心点坐标、正反类别以及角度数据；

使用模板匹配算法对所述原始图像进行处理，得到对应所述第一组数据的第二组数据，其中，所述第二组数据包括中心点坐标、正反类别以及角度数据；

将所述第一组数据和第二组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品识别定位结果；

将所述袋装产品识别定位结果传递给机械手，以使机械手抓取袋装产品，同时，通过上位机软件界面实时进行效果展示。

一些实施例中，将所述原始图像传入深度学习模型进行处理，得到袋装产品的第一组数据包括：

将所述原始图像传入预先训练好的深度学习模型YOLO中进行识别；

将识别到的每一个非堆叠状态的袋装产品的坐标与类别信息经数据提取转换成中心点坐标、正反类别以及角度，以实现初步定位。

一些实施例中，所述深度学习模型YOLO的训练过程包括：

使用工业相机采集流水线上随机摆放的袋装产品图像，并使用标注工具进行袋装产品整体目标、局部目标的标注，从而构建起数据集，其中，所述整体目标包括袋装产品整体区域的范围，分为正面和反面；所述局部目标包括袋装产品上的局部特征区域，正面和反面上均至少1个；

从所述数据集中按照预设比例划分出训练集、验证集和测试集；

使用训练集对深度学习模型YOLO进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出整体目标和局部目标时既通过测试，最终得到满足要求的YOLO预训练模型。

一些实施例中，所述深度学习模型YOLO所识别到的每一个袋装产品的坐标与类别信息经数据提取转换成第一组数据的过程包括：通过YOLO所识别到的袋装产品整体目标框坐标，计算得出整体目标框的中心点坐标作为袋装产品的中心点坐标；通过YOLO所识别到的袋装产品整体目标的正面还是反面结果，作为袋装产品的正反类别；通过YOLO所识别到的袋装产品整体目标和局部目标的中心点连线，再加上一定的补偿角得到袋装产品的角度。

一些实施例中，基于深度学习模型YOLO提取得到的一组数据，采用传统的模板匹配算法，进行袋装产品目标的匹配，具体为：在所述原始图像的深度学习模型YOLO所识别到的整体目标范围内进行模板匹配，根据深度学习模型YOLO所识别到的整体目标正反类别选择不同的模板，匹配结果满足一定阈值即匹配成功，从而对应得到一组由模板匹配所生成的第二组数据。

一些实施例中，将所述第一组数据和第二组数据进行核对校准，获取最优组数据，包括：在深度学习模型YOLO得到的第一组数据与传统模板匹配得到的第二组数据中，若二者中心点坐标距离小于一定的阈值，正反类别一致，角度朝向相同且误差小于一定的阈值，则确定为识别结果正确，将模板匹配的中心点坐标、正反类别、角度作为最终的袋装产品识别定位结果；若二者中心点坐标距离小于一定的阈值，正反类别一致，角度朝相相反且误差小于一定的阈值，则确定为模板匹配方向错误，深度学习模型YOLO识别结果正确，将深度学习模型YOLO识别的中心点坐标、正反类别，以及传统模板匹配的角度旋转180°的新角度作为最终的袋装产品识别定位结果。

一些实施例中，还包括：当深度学习模型YOLO所识别的整体目标中包含多个局部目标，则会得到多个角度，若其中一个角度与模板匹配的角度朝向相同且误差小于一定的阈值，二者中心点坐标距离小于一定的阈值，正反类别一致，则取传统模板匹配的中心点坐标、正反类别和角度作为的最终的袋装产品识别定位结果；当模板匹配结果为0，且深度学习模型YOLO所识别的整体目标中包含单个局部目标时，则将深度学习模型YOLO的中心点坐标、角度、正反类别作为最终的袋装产品识别定位结果。

一些实施例中，所述模板匹配算法包括基于灰度值模板匹配或基于形状模板匹配。

根据第二方面，一种实施例中提供一种袋装产品的识别定位***，包括：

采集模块，用于采集流水线上袋装产品的原始图像；

AI识别定位模块，用于将所述原始图像传入深度学习模型进行处理，得到袋装产品的第一组数据，其中，所述第一组数据包括中心点坐标、正反类别以及角度数据；

传统识别定位模块，用于使用模板匹配算法对所述原始图像进行处理，得到对应所述第一组数据的第二组数据，其中，所述第二组数据包括中心点坐标、正反类别以及角度数据；

校准优化模块，用于将所述第一组数据和第二组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品识别定位结果；

传递和显示模块，用于将所述袋装产品识别定位结果传递给机械手，以使机械手抓取袋装产品，同时，通过上位机软件界面实时进行效果展示。

根据第三方面，一种实施例中提供一种袋装产品的识别定位装置，包括：

暗箱，用于为图像数据采集提供环境；

光源，为条形光源，设置在暗箱内底部的两侧；

工业相机，设置在待拍摄产品的顶部，用于拍摄流水线上的待拍摄产品的视图。

依据上述实施例的袋装产品的识别定位方法，融合AI与机器视觉，使用深度学习模型将采集到的袋装产品的原始图像进行识别和处理，得到第一组数据，并使用传统的模板匹配算法得到对应的另一组数据，将两组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品定位结果，以使得机械手根据该组最优数据进行袋装产品的抓取以完成后续程序，由于使用深度学习模型处理的方法得到数据进行判定袋装产品定位结果，不需要占用较大面积，就能完成混乱物料的识别和判断，并将准确数据传递给后续的充填或执行机械手，能够快速和准确的实现袋装产品包装自动化，更好的实现工厂现代化。

附图说明

图1为本发明一实施例提供的识别定位方法流程示意图；

图2为本发明一实施例提供的识别定位方法***示意图；

图3为本发明一实施例提供的识别定位方法装置结构图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

由背景技术可知，目前在将袋装产品放入既定的包装容器中的流水线上，来料需要较为规则，不能过于混乱和堆叠的现象，才能被机械手顺利抓起并按照规则的顺序放入后续包装容器中，但是现有技术中所使用的方法有一定的缺陷。

经过研究发现，在自动化领域中，将AI与机器视觉的识别定位方法运用在流水线中，能够在不增加占地面积的情况下，完成混乱物料识别和判断，并将准确数据传输给后续机械手，提高工作效率。

在本发明实施例中，融合AI与机器视觉，使用深度学习模型将采集到的袋装产品的原始图像进行识别和处理，得到第一组数据，并使用传统的模板匹配算法得到对应的另一组数据，将两组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品定位结果，以使得机械手根据该组最优数据进行袋装产品的抓取以完成后续程序，能够快速和准确的实现袋装产品包装自动化，更好的实现工厂现代化。

参考图1，为本实施例提供一种袋装产品的识别定位方法的流程图，所述识别定位方法融合了AI与机器视觉，包括：

步骤1，采集流水线上袋装产品的原始图像。

这些袋装产品在进料时的状态是混乱的，例如，可以是袋装的棉签或者单个袋装的口罩，进料时有堆叠状态和非堆叠状态、正面或反面以及以各种旋转角度放置的混乱状态。

本实施例中，采集流水线上袋装产品的原始图像包括：在输送产品的流水线上搭建合适的视频或图片拍摄环境的暗箱，暗箱中设有预先布置的工业相机和光源，当多个混乱的袋装产品在流水线上通过暗箱时，工业相机进行拍摄，之后，获取拍摄时工业相机中的视频流，经过转码后得到袋装产品原始图像。

步骤2，将所述原始图像传入深度学习模型进行处理，得到袋装产品的第一组数据，其中，所述第一组数据包括中心点坐标、正反类别以及角度数据。

本实施例中，将转码后的原始图像传入预先训练好的深度学习模型进行识别，识别包括堆叠状态的袋装产品的识别和非堆叠状态的袋装产品的识别，并将识别到的每一个非堆叠状态的袋装产品的坐标与类别信息经数据提取转换成中心点坐标、正反类别、角度，实现初步定位，而每一帧图像中所有识别定位出的非堆叠袋装产品提取后信息都构成一组数据，即第一组数据。

本实施例中，所述深度学习模型为预先训练好的深度学习模型YOLO，训练过程如下：

首先，使用工业相机采集流水线上随机摆放的堆叠袋装产品图像，使用标注工具labelImg进行非堆叠状态的袋装产品的整体目标、局部目标的标注，从而构建起数据集；

然后，从所构建的数据集中按照一定的比例划分出训练集、验证集和测试集；

最后，使用训练集对深度学习模型YOLO进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出整体目标和局部目标时既通过测试，最终得到满足要求的预训练模型YOLO。

本实施例中，整体目标指包含非堆叠袋装产品整体区域的范围，分为正面和反面两个类别；局部目标指非堆叠袋装产品上特征较为明显的局部特征区域范围，例如，正面和反面上各至少有1个局部特征区域。

本实施例中，将识别到的每一个非堆叠状态的袋装产品的坐标与类别信息经数据提取转换成中心点坐标、正反类别、角度，实现初步定位的过程包括：

数据提取过程具体为：通过YOLO所识别到的非堆叠袋装产品整体目标框坐标，计算得出整体目标框的中心点坐标作为非堆叠袋装产品的中心点坐标；通过YOLO所识别到的非堆叠袋装产品整体目标的正面还是反面结果，作为非堆叠袋装产品的正面类别；通过YOLO所识别到的非堆叠袋装产品整体目标和局部目标的中心点连线，再加上一定的补偿角得到非堆叠袋装产品的角度。

步骤3，使用模板匹配算法对所述原始图像进行处理，得到对应所述第一组数据的第二组数据，其中，所述第二组数据包括中心点坐标、正反类别以及角度数据。

本实施例中，使用模板匹配算法进行处理可以理解为使用传统视觉算法进行处理，包括：采用模板匹配算法，对非堆叠状态的袋装产品进行目标匹配，具体为：在所述原始图像的深度学习模型YOLO所识别到的整体目标范围内进行模板匹配，根据深度学习模型YOLO所识别到的整体目标正反类别选择不同的模板，匹配结果满足一定阈值即匹配成功，从而对应得到一组新的由模板匹配所生成的中心点坐标，正反类别和角度，即第二组数据。

本实施例中，通过传统视觉算法进行模板匹配以找到准确目标。

本实施例中，所述模板匹配算法包括基于灰度值模板匹配和基于形状模板匹配。

步骤4，将所述第一组数据和第二组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品识别定位结果。

本实施例中，将所述第一组数据和第二组数据放在一起，对应的进行核对校准，从而获得一组最优数据，这组最优数据即可以作为最终的袋装产品识别定位结果，这样得到的结果准确可靠，提高效率，其中，最优数据可以理解为是非堆叠状态的、距离最近，正反面正确，角度最合适的那组数据。

核对校准的过程具体可以包括：

在深度学习模型YOLO与传统模板匹配各自得到的数据组中，若二者中心点坐标距离小于一定的阈值，角度朝向相同且误差小于一定的阈值，正反类别一致，则认为识别结果正确，则将模板匹配的中心点坐标、正反类别、角度作为最终的结果。

若二者中心点坐标距离小于一定的阈值，角度朝相相反且在一定的范围内，正反类别一致，则认为模板匹配方向错误，但深度学习模型YOLO识别结果正确，故将深度学习模型YOLO识别的中心点坐标、正反类别，以及传统模板匹配的角度旋转180°的新角度作为最终的结果。

在两组数据的校准过程中还包括其余情况的结果，需再进行降漏优化，具体包括：

当深度学习模型YOLO所识别的整体目标中包含多个局部目标，则会得到多个角度，若其中一个角度与模板匹配的角度朝向相同且误差小于一定的阈值，二者中心点坐标距离小于一定的阈值，正反类别一致，则取传统模板匹配的中心点坐标、正反类别和角度作为的最终的袋装产品识别定位结果。

当模板匹配结果为0，且深度学习模型YOLO所识别的整体目标中包含单个局部目标时，则将深度学习模型YOLO的中心点坐标、角度、正反类别作为最终的袋装产品识别定位结果。

步骤5，将所述袋装产品识别定位结果传递给机械手，以使机械手抓取袋装产品，同时，通过上位机软件界面实时进行效果展示。

最终的袋装产品识别定位结果传递给机械手，机械手可以根据该结果对对应位置的袋装产品进行抓取并投入包装容器中，例如，经过上述步骤，之后，机械手可以抓取位置最近，摆放角度最合理并且是非堆叠状态的单个袋装产品，并将该袋装产品放入纸盒中。

本实施例中，通过AI与机器视觉的方法完成袋装产品的识别和判断，并将准确数据传递给后续的充填或执行机械手，提高了整个工业流程的效率。

参考图2，本实施例还提供一种袋装产品的识别定位***，包括：

采集模块101，用于采集流水线上袋装产品的原始图像。

采集模块101可以采集流水线上进料口进来的各种产品，一般是袋装的产品，这些袋装产品在进料时的状态是混乱的，需要将这些混乱的袋装产品有序的放入后续包装盒当中，例如，可以是袋装的棉签或者单个袋装的口罩，这些产品进料时有堆叠状态和非堆叠状态、正面或反面以及以各种旋转角度放置的混乱状态。

本实施例中，采集流水线上袋装产品的原始图像包括：在输送产品的流水线上搭建合适的视频或图片拍摄环境的暗箱，暗箱中设有预先布置的工业相机和光源，当多个混乱的袋装产品在流水线上通过暗箱时，工业相机进行拍摄，之后，获取拍摄时工业相机中的视频流，经过转码后得到袋装产品原始图像。

AI识别定位模块102，用于将所述原始图像传入深度学习模型进行处理，得到袋装产品的第一组数据，其中，所述第一组数据包括中心点坐标、正反类别以及角度数据。

所述AI识别定位模块102将转码后的原始图像传入预先训练好的深度学习模型进行识别，识别包括堆叠状态的袋装产品的识别和非堆叠状态的袋装产品的识别，并将识别到的每一个非堆叠状态的袋装产品的坐标与类别信息经数据提取转换成中心点坐标、正反类别、角度，实现初步定位，而每一帧图像中所有识别定位出的非堆叠袋装产品提取后信息都构成一组数据，即第一组数据。

本实施例中，所述深度学习模型为预先训练好的深度学习模型YOLO，训练过程如下：

首先，使用工业相机采集流水线上随机摆放的堆叠袋装产品图像，使用标注工具labelImg进行非堆叠状态的袋装产品的整体目标、局部目标的标注，从而构建起数据集；

然后，从所构建的数据集中按照一定的比例划分出训练集、验证集和测试集；

最后，使用训练集对深度学习模型YOLO进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出整体目标和局部目标时既通过测试，最终得到满足要求的预训练模型YOLO。

本实施例中，整体目标指包含非堆叠袋装产品整体区域的范围，分为正面和反面两个类别；局部目标指非堆叠袋装产品上特征较为明显的局部特征区域范围，例如，正面和反面上各至少有1个局部特征区域。

本实施例中，将识别到的每一个非堆叠状态的袋装产品的坐标与类别信息经数据提取转换成中心点坐标、正反类别、角度，实现初步定位的过程包括：

数据提取过程具体为：通过YOLO所识别到的非堆叠袋装产品整体目标框坐标，计算得出整体目标框的中心点坐标作为非堆叠袋装产品的中心点坐标；通过YOLO所识别到的非堆叠袋装产品整体目标的正面还是反面结果，作为非堆叠袋装产品的正面类别；通过YOLO所识别到的非堆叠袋装产品整体目标和局部目标的中心点连线，再加上一定的补偿角得到非堆叠袋装产品的角度。

传统识别定位模块103，用于使用模板匹配算法对所述原始图像进行处理，得到对应所述第一组数据的第二组数据，其中，所述第二组数据包括中心点坐标、正反类别以及角度数据。

本实施例中，所述传统识别定位模块103使用模板匹配算法对所述原始图像进行处理包括：通过传统视觉算法进行模板匹配，对非堆叠状态的袋装产品进行目标匹配，具体为：在所述原始图像的深度学习模型YOLO所识别到的整体目标范围内进行模板匹配，根据深度学习模型YOLO所识别到的整体目标正反类别选择不同的模板，匹配结果满足一定阈值即匹配成功，从而对应得到一组新的由模板匹配所生成的中心点坐标，正反类别和角度，即第二组数据。

本实施例中，所述模板匹配算法包括基于灰度值模板匹配和基于形状模板匹配。

校准优化模块104，用于将所述第一组数据和第二组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品识别定位结果。

校准优化模块104将所述第一组数据和第二组数据放在一起，对应的进行核对校准，从而获得一组最优数据，这组最优数据即可以作为最终的袋装产品识别定位结果，这样得到的结果准确可靠，提高效率，其中，最优数据可以理解为是非堆叠状态的、距离最近，正反面正确，角度最合适的那组数据。

核对校准的过程具体包括：在深度学习模型YOLO与传统模板匹配各自得到的数据组中，若二者中心点坐标距离小于一定的阈值，角度朝向相同且误差小于一定的阈值，正反类别一致，则认为识别结果正确，则将模板匹配的中心点坐标、正反类别、角度作为最终的结果。

若二者中心点坐标距离小于一定的阈值，角度朝相相反且在一定的范围内，正反类别一致，则认为模板匹配方向错误，但深度学习模型YOLO识别结果正确，故将深度学习模型YOLO识别的中心点坐标、正反类别，以及传统模板匹配的角度旋转180°的新角度作为最终的结果。

当深度学习模型YOLO所识别的整体目标中包含多个局部目标，则会得到多个角度，若其中一个角度与模板匹配的角度朝向相同且误差小于一定的阈值，二者中心点坐标距离小于一定的阈值，正反类别一致，则取传统模板匹配的中心点坐标、正反类别和角度作为的最终的袋装产品识别定位结果。

当模板匹配结果为0，且深度学习模型YOLO所识别的整体目标中包含单个局部目标时，则将深度学习模型YOLO的中心点坐标、角度、正反类别作为最终的袋装产品识别定位结果。

传递和显示模块105，用于将所述袋装产品识别定位结果传递给机械手，以使机械手抓取袋装产品，同时，通过上位机软件界面实时进行效果展示。

传递和显示模块105将最终的袋装产品识别定位结果传递给机械手，机械手可以根据该结果对对应位置的袋装产品进行抓取并投入包装容器中，例如，经过上述步骤，之后，机械手可以抓取位置最近，摆放角度最合理并且是非堆叠状态的单个袋装产品，并将该袋装产品放入纸盒中。并且，基于校准优化模块得到的最优组数据，对原始图像进行中心点坐标、正反类别、角度的效果绘制，最后通过上位机软件界面进行展示。

本实施例提供的袋装产品的识别定位***，在混乱来料场景下(半结构化，semi-structral)，通过YOLO深度学习算法对图形进行分割，找到目标区域，然后通过传统视觉算法进行模板匹配从而找到准确目标的软件***，能够提升***的鲁棒性与准确性。

参考图3，本实施例还一种袋装产品的识别定位装置结构示意图，用于为袋装产品的识别定位提供合适的数据采集环境，包括：

暗箱200，用于为图像数据采集提供环境。本实施例中的暗箱为一个铝型材矩形暗箱。

光源201，本实施例中为条形光源，设置在暗箱内底部的两侧，目的是能够较好均匀的为进来的物料打光。

工业相机202，设置在待拍摄产品的顶部，用于拍摄流水线上的待拍摄产品的视图。本实施例中的工业相机为带偏振片的相机，能够较好的拍摄进来的物料的视频或图形。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种袋装产品的AI识别定位方法，其特征在于，包括：

采集流水线上袋装产品的原始图像；

将所述原始图像传入深度学习模型进行处理，得到袋装产品的第一组数据，其中，所述第一组数据包括中心点坐标、正反类别以及角度数据；

使用模板匹配算法对所述原始图像进行处理，得到对应所述第一组数据的第二组数据，其中，所述第二组数据包括中心点坐标、正反类别以及角度数据；

将所述第一组数据和第二组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品识别定位结果；

将所述袋装产品识别定位结果传递给机械手，以使机械手抓取袋装产品，同时，通过上位机软件界面实时进行效果展示。

2.如权利要求1所述的AI识别定位方法，其特征在于，将所述原始图像传入深度学习模型进行处理，得到袋装产品的第一组数据包括：

将所述原始图像传入预先训练好的深度学习模型YOLO中进行识别；

将识别到的每一个非堆叠状态的袋装产品的坐标与类别信息经数据提取转换成中心点坐标、正反类别以及角度，以实现初步定位。

3.如权利要求2所述的AI识别定位方法，其特征在于，所述深度学习模型YOLO的训练过程包括：

使用工业相机采集流水线上随机摆放的袋装产品图像，并使用标注工具进行袋装产品整体目标、局部目标的标注，从而构建起数据集，其中，所述整体目标包括袋装产品整体区域的范围，分为正面和反面；所述局部目标包括袋装产品上的局部特征区域，正面和反面上均至少1个；

从所述数据集中按照预设比例划分出训练集、验证集和测试集；

使用训练集对深度学习模型YOLO进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出整体目标和局部目标时既通过测试，最终得到满足要求的YOLO预训练模型。

4.如权利要求3所述的AI识别定位方法，其特征在于，所述深度学习模型YOLO所识别到的每一个袋装产品的坐标与类别信息经数据提取转换成第一组数据的过程包括：

通过YOLO所识别到的袋装产品整体目标框坐标，计算得出整体目标框的中心点坐标作为袋装产品的中心点坐标；

通过YOLO所识别到的袋装产品整体目标的正面还是反面结果，作为袋装产品的正反类别；

通过YOLO所识别到的袋装产品整体目标和局部目标的中心点连线，再加上一定的补偿角得到袋装产品的角度。

5.如权利要求4所述的AI识别定位方法，其特征在于，基于深度学习模型YOLO提取得到的一组数据，采用传统的模板匹配算法，进行袋装产品目标的匹配，具体为：在所述原始图像的深度学习模型YOLO所识别到的整体目标范围内进行模板匹配，根据深度学习模型YOLO所识别到的整体目标正反类别选择不同的模板，匹配结果满足一定阈值即匹配成功，从而对应得到一组由模板匹配所生成的第二组数据。

6.如权利要求5所述的AI识别定位方法，其特征在于，将所述第一组数据和第二组数据进行核对校准，获取最优组数据，包括：

在深度学习模型YOLO得到的第一组数据与传统模板匹配得到的第二组数据中，若二者中心点坐标距离小于一定的阈值，正反类别一致，角度朝向相同且误差小于一定的阈值，则确定为识别结果正确，将模板匹配的中心点坐标、正反类别、角度作为最终的袋装产品识别定位结果；

若二者中心点坐标距离小于一定的阈值，正反类别一致，角度朝相相反且误差小于一定的阈值，则确定为模板匹配方向错误，深度学习模型YOLO识别结果正确，将深度学习模型YOLO识别的中心点坐标、正反类别，以及传统模板匹配的角度旋转180°的新角度作为最终的袋装产品识别定位结果。

7.如权利要求6所述的AI识别定位方法，其特征在于，还包括：

当深度学习模型YOLO所识别的整体目标中包含多个局部目标，则会得到多个角度，若其中一个角度与模板匹配的角度朝向相同且误差小于一定的阈值，二者中心点坐标距离小于一定的阈值，正反类别一致，则取传统模板匹配的中心点坐标、正反类别和角度作为的最终的袋装产品识别定位结果；

当模板匹配结果为0，且深度学习模型YOLO所识别的整体目标中包含单个局部目标时，则将深度学习模型YOLO的中心点坐标、角度、正反类别作为最终的袋装产品识别定位结果。

8.如权利要求1所述的AI识别定位方法，其特征在于，所述模板匹配算法包括基于灰度值模板匹配或基于形状模板匹配。

9.一种袋装产品的AI识别定位***，其特征在于，包括：

采集模块，用于采集流水线上袋装产品的原始图像；

AI识别定位模块，用于将所述原始图像传入深度学习模型进行处理，得到袋装产品的第一组数据，其中，所述第一组数据包括中心点坐标、正反类别以及角度数据；

传统识别定位模块，用于使用模板匹配算法对所述原始图像进行处理，得到对应所述第一组数据的第二组数据，其中，所述第二组数据包括中心点坐标、正反类别以及角度数据；

校准优化模块，用于将所述第一组数据和第二组数据进行核对校准，获取最优组数据，以所述最优组数据作为袋装产品识别定位结果；

传递和显示模块，用于将所述袋装产品识别定位结果传递给机械手，以使机械手抓取袋装产品，同时，通过上位机软件界面实时进行效果展示。

10.一种袋装产品的AI识别定位装置，其特征在于，包括：

暗箱，用于为图像数据采集提供环境；

光源，为条形光源，设置在暗箱内底部的两侧；

工业相机，设置在待拍摄产品的顶部，用于拍摄流水线上的待拍摄产品的视图。

Images