CN112720501B - 一种基于机器视觉技术的机械臂定位台球抓取方法及*** - Google Patents

Abstract

本发明公开了一种基于机器视觉技术的机械臂定位台球抓取方法及***，其方法包括：在人工智能机器人的机械臂上设置图像提取装置，利用图像提取装置拍摄目标台球桌上的第一图像与多张第二图像，在第一图像和多张第二图像中选择台球为监控实体，获取监控实体的初始摆球方位，将初始摆球方位进行存储，根据多张第二图像进行台球的路径绘制，获取绘制结果，根据绘制结果确定是否需要重新摆球，当需要重新摆球时，利用机械臂按照绘制路径对台球进行抓取，抓取完毕后，按照初始摆球方位将台球进行重新摆放。通过利用人工智能机器人来代替传统技术上的人为摆球，既节省了人力成本，又可以通过人工智能机器人实现高效的摆放效率。

Description

一种基于机器视觉技术的机械臂定位台球抓取方法及***

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于机器视觉技术的机械臂定位台球抓取方法及***。

背景技术

伴随着台球运动的发展，服务于台球竞赛的业务也随之增加，这就要求大量专业人员以及服务人员参与到台球运动的相关企业之中，台球服务企业自动化技术的先进与否，很大程度上影响着台球服务的工作效率、服务质量。

传统的人工服务越来越显现出其短板，不仅工作量巨大，而且工作重复烦躁对于人工摆放不具有良好的操作性，摆放准确率低，消费者需长时间等待运动体验差，效率低下。

发明内容

针对上述所显示出来的问题，本发明提供了一种基于机器视觉技术的机械臂定位台球抓取方法及***用以解决背景技术中提到的传统的人工服务越来越显现出其短板，不仅工作量巨大，而且工作重复烦躁对于人工摆放不具有良好的操作性，摆放准确率低，消费者需长时间等待运动体验差，效率低下的问题。

一种基于机器视觉技术的机械臂定位台球抓取方法，包括以下步骤：

在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像；

在所述第一图像和多张第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储；

根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球；

当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放。

优选的，所述第一图像为目标台球桌上台球摆放完毕未开始击打的图像，所述多个第二图像为目标台球桌上台球在击打过程中多个图像。

优选的，机械臂上设置有机械爪，在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像，包括：

在所述机械爪中心设置所述图像提取装置；

设置所述图像提取装置的拍摄角度和拍摄高度；

设置完毕后，根据所述拍摄角度和拍摄高度利用所述图像提取装置拍摄所述目标台球桌的第一图像；

设定所述图像提取装置的拍摄周期，根据所述拍摄周期拍摄所述目标台球桌上的多张第二图像。

优选的，所述在所述第一图像和第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储，包括：

在所述第一图像和多张第二图像中将包含所述台球的目标图像进行切割；

对所述目标图像进行预处理，获得预处理后的目标图像；

在所述预处理后的目标图像中确定与台球相关的目标像素值；

根据所述目标像素值将所述台球作为监控实体，根据所述目标像素值的排列结果确定台球的初始摆球方位；

将所述初始摆球方位存储到所述人工智能机器人的控制电路中。

优选的，所述根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球，包括：

提取所述多张第二图像中的台球特征因子；

根据所述台球特征因子在所述多张第二图像中的变化绘制台球在所述目标台球桌上的运动轨迹；

根据所述运动轨迹对台球进行路径绘制，获取所述绘制结果；

根据所述绘制结果确认在所述目标台球桌上是否有一方的第一目标台球全部落入目标台球桌上的洞口内，若是，确认需要重新摆球，否则，确认无需重新摆球。

优选的，所述人工智能机器人设置有托盘，当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放，包括：

将所述目标台球桌上的洞口内中的第一目标台球进行收集存储到所述托盘内；

对对所述目标台球桌上剩余的第二目标台球进行定位，获得每个第二目标台球的定位结果；

根据所述每个第二目标台球的定位结果以及所述第二目标台球的目标绘制路径对利用所述机械臂对所述第二目标台球进行抓取，抓取完毕后放置于所述托盘里；

将所述托盘里的第一目标台球和第二目标台球按照所述初始摆球方位重新摆放到所述目标台球桌上。

优选的，所述方法还包括：

确定摆放后的台球的目标摆放顺序与所述第一图像中的预设摆放顺序是否相同，若是，无需进行后续操作，否则，调节所述台球的摆放位置直到台球的目标摆放顺序与预设摆放顺序相同为止。

优选的，所述在所述第一图像和多张第二图像中将包含所述台球的目标图像进行切割，包括：

对所述第一图像和多张第二图像按照连续比例进行缩略，获取第一图像和多张第二图像的缩略图；

将所述获取第一图像和多张第二图像的缩略图以台球图像为中心进行等宽切割，获得切割后的缩略图，对切割后的获取第一图像和多张第二图像的缩略图进行补白处理；

构建预设三维坐标系；

获取所述切割后的获取第一图像和多张第二图像的缩略图中的多个像素点；

将第一图像的缩略图中的多个像素点以及每个第二图像的缩略图的多个像素点分为多个超像素；

对所述多个超像素进行第一二维特征量和第一三维特征向量提取；

在所述预设三维坐标系中获取第一图像和多张第二图像中包含台球像素点的多个目标坐标点；

根据所述多个目标坐标点与台球的面积确定未在所述第一图像和多张第二图像中出现的衍射坐标点；

根据所述多个目标坐标点和衍射坐标点在所述第一图像和多张第二图像中提取与台球相关的第二二维特征向量和第二三维特征向量；

在所述第一二维特征量和第一三维特征向量中将除所述第二二维特征向量和第二三维特征向量外的第三二维特征向量和第三三维特征向量删除；

删除完毕后，根据剩余的第四二维特征向量和第四三维特征向量生成所述包含所述台球的目标图像。

优选的，在根据所述运动轨迹对台球进行路径绘制，获取所述绘制结果之后，根据所述绘制结果确认在所述目标台球桌上是否有一方的第一目标台球全部落入目标台球桌上的洞口内，若是，确认需要重新摆球，否则，确认无需重新摆球之前，所述方法还包括：对所述绘制结果进行真实度检测，检测步骤包括：

获取所述台球的自身参数以及球员击打所述台球时所用的力道、击打方向和击打角度；

构建初始学习模型；

将所述台球的自身参数以及球员击打所述台球时所用的力道、击打方向和击打角度作为训练数据训练所述初始学习模型，获得训练后的目标学习模型；

将所述绘制结果输入到所述目标学习模型中，获取所述目标学习模型输出的实际运动参数；

确认所述绘制结果的当前运动参数；

计算所述实际运动参数与所述当前运动参数的相似度：

其中，a表示为实际运动参数，b表示为当前运动参数，sim_(a，b)表示为实际运动参数与当前运动参数的相似度，Q_a表示为实际运动参数的参数值，Q_b表示为当前运动参数的参数值，e表示为自然常数，取值为2.72，θ表示为模型的精度，取值为[0.8,0.99]，α表示为因台球的磨损度所产生的影响因子，取值为0.2，β表示为目标台球桌表面光滑度所产生的影响因子，取值为0.3，φ表示为目标台球桌所处环境内的灯光所产生的影响因子，取值为0.25；

确认所述实际运动参数与当前运动参数的相似度是否大于等于第一预设阈值，若是，将所述当前运动参数输入到所述目标学习模型中，否则，确认所述绘制结果的真实度为低；

从所述目标学习模型中获得根据所述当前运动参数获得的实际路径点；

解析所述绘制结果，获得所述绘制结果对应的当前路径点；

计算所述实际路径点与当前路径点的匹配度：

其中，k表示为实际路径点与当前路径点的匹配度，N表示为实际路径点的数量，S_i表示为第i个实际路径点的参数值，M表示为当前路径点的数量，Q_j表示为第j个当前路径点的参数值，h₁表示为多张第二图像的清晰度中的最高清晰度，h₂表示为多张第二图像的清晰度中的最低清晰度，h₃表示为多张第二图像的平均清晰度；

确认所述实际路径点与当前路径点的匹配度是否大于等于第二预设阈值，若是，确认所述绘制结果的真实度为高，否则，确认所述绘制结果的真实度为低。

一种基于机器视觉技术的机械臂定位台球抓取***，该***包括：

拍摄模块，用于在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像；

获取模块，用于在所述第一图像和多张第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储；

确定模块，用于根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球；

摆放模块，用于当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明所提供的一种基于机器视觉技术的机械臂定位台球抓取方法的工作流程图；

图2为本发明所提供的一种基于机器视觉技术的机械臂定位台球抓取方法的另一工作流程图；

图3为本发明所提供的一种基于机器视觉技术的机械臂定位台球抓取方法的又一工作流程图；

图4为本发明所提供的一种基于机器视觉技术的机械臂定位台球抓取***的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

伴随着台球运动的发展，服务于台球竞赛的业务也随之增加，这就要求大量专业人员以及服务人员参与到台球运动的相关企业之中，台球服务企业自动化技术的先进与否，很大程度上影响着台球服务的工作效率、服务质量。

传统的人工服务越来越显现出其短板，不仅工作量巨大，而且工作重复烦躁对于人工摆放不具有良好的操作性，摆放准确率低，消费者需长时间等待运动体验差，效率低下。为了解决上述问题，本实施例公开了一种基于机器视觉技术的机械臂定位台球抓取方法。

一种基于机器视觉技术的机械臂定位台球抓取方法，如图1所示，包括以下步骤：

步骤S101、在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像；

步骤S102、在所述第一图像和多张第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储；

步骤S103、根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球；

步骤S104、当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放。

在本实施例中，上述第一图像为球员在未开球时台球在初始摆放状态下所拍摄的图像，多张第二图像为球员在击打台球的过程中所拍摄的图像，在第一图像和第二图像中将台球作为监控实体可以确定台球的初始摆球方位以及台球的运动路径，人工智能机器人根据运动路径智能判断球员的获胜情况，进而根据获胜情况智能地对目标台球桌上剩余的台球进行抓取，连同已经入洞的台球一起根据初始摆球方位重新将台球摆放在目标台球桌上。

上述技术方案的工作原理为：在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像，在所述第一图像和多张第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储，根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球，当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放。

上述技术方案的有益效果为：通过利用人工智能机器人来代替传统技术上的人为摆球，既节省了人力成本，又可以通过人工智能机器人实现高效的摆放效率，同时，通过确定台球的初始摆球方位以及后续的台球的运动路径绘制可以使人工智能机器人智能地判断球员对于台球的击打情况以及重新需要摆球的时机，无需人工控制智能机器人来实现摆球操作，提高了用户的体验感，解决了传统技术中人工服务越来越显现出其短板，不仅工作量巨大，而且工作重复烦躁对于人工摆放不具有良好的操作性，摆放准确率低，消费者需长时间等待运动体验差，效率低下的问题。

在一个实施例中，所述第一图像为目标台球桌上台球摆放完毕未开始击打的图像，所述多个第二图像为目标台球桌上台球在击打过程中多个图像。

在一个实施例中，如图2所示，机械臂上设置有机械爪，在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像，包括：

步骤S201、在所述机械爪中心设置所述图像提取装置；

步骤S202、设置所述图像提取装置的拍摄角度和拍摄高度；

步骤S203、设置完毕后，根据所述拍摄角度和拍摄高度利用所述图像提取装置拍摄所述目标台球桌的第一图像；

步骤S204、设定所述图像提取装置的拍摄周期，根据所述拍摄周期拍摄所述目标台球桌上的多张第二图像；

在本实施例中，上述拍摄周期为0.3s。

上述技术方案的有益效果为：通过将图像提取装置设置在机械爪中心可以保证在后续抓取台球以及摆放台球的过程中实现对于台球准确抓取以及摆放，同时，通过设置图像提取装置的拍摄高度和拍摄角度可以完美地对于目标台球桌上的台球进行拍摄，保证拍摄出来的图像可以清晰明了的观察到台球的位置变化，进一步地，通过设定拍摄周期可以精准地对于台球的运动轨迹进行捕捉拍摄，更加精确地确定后续重新需要摆球的时机。

在一个实施例中，所述在所述第一图像和第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储，包括：

在所述第一图像和多张第二图像中将包含所述台球的目标图像进行切割；

对所述目标图像进行预处理，获得预处理后的目标图像；

在所述预处理后的目标图像中确定与台球相关的目标像素值；

根据所述目标像素值将所述台球作为监控实体，根据所述目标像素值的排列结果确定台球的初始摆球方位；

将所述初始摆球方位存储到所述人工智能机器人的控制电路中。

上述技术方案的有益效果为：通过将包含台球的目标图像进行切割可以排除周围环境因素的影响，同时，通过对目标图像进行预处理可以更加清晰的确定与台球相关的目标像素值，进而可以快速准确地确定台球的初始摆球方位，进一步地，通过将初始摆球方位存储到人工智能机器人的控制电路中可以使得人工智能机器人对台球的摆球方位刻印到执行程序中，为后续抓取和摆放台球奠定了基础。

在一个实施例中，如图3所示，所述根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球，包括：

步骤S301、提取所述多张第二图像中的台球特征因子；

步骤S302、根据所述台球特征因子在所述多张第二图像中的变化绘制台球在所述目标台球桌上的运动轨迹；

步骤S303、根据所述运动轨迹对台球进行路径绘制，获取所述绘制结果；

步骤S304、根据所述绘制结果确认在所述目标台球桌上是否有一方的第一目标台球全部落入目标台球桌上的洞口内，若是，确认需要重新摆球，否则，确认无需重新摆球。

上述技术方案的有益效果为：通过根据台球特征因子的运动轨迹来绘制路径，相比于传统技术中利用图像处理技术来实现对台球的运动路径绘制来说更加精确，进一步地，通过判断一方的目标台球是否全部落入洞口内可以精准地判断球员击打台球的实时情况，根据实时情况判断是否需要重新摆球，进一步地实现了智能化。

在一个实施例中，所述人工智能机器人设置有托盘，当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放，包括：

将所述目标台球桌上的洞口内中的第一目标台球进行收集存储到所述托盘内；

对对所述目标台球桌上剩余的第二目标台球进行定位，获得每个第二目标台球的定位结果；

根据所述每个第二目标台球的定位结果以及所述第二目标台球的目标绘制路径对利用所述机械臂对所述第二目标台球进行抓取，抓取完毕后放置于所述托盘里；

将所述托盘里的第一目标台球和第二目标台球按照所述初始摆球方位重新摆放到所述目标台球桌上。

上述技术方案的有益效果为：通过对目标台球桌上的第二目标台球进行定位结合第二台球的目标绘制路径来将第二目标台球进行抓取可以保证人工智能机器人对于每个第二目标台球可以准确无误地抓取，保证了可靠性，进一步地，通过将第一目标台球和第二目标台球按照初始摆球方位进行重新摆球可以更加智能化地实现对台球的摆放，进一步地提高了用户的体验感。

在一个实施例中，所述方法还包括：

确定摆放后的台球的目标摆放顺序与所述第一图像中的预设摆放顺序是否相同，若是，无需进行后续操作，否则，调节所述台球的摆放位置直到台球的目标摆放顺序与预设摆放顺序相同为止。

上述技术方案的有益效果为：通过确定台球的摆放顺序与预设摆放顺序是否相同可以保证人工智能机器人摆出来的台球序列与预设摆放序列相同，进一步地提高了用户的体验感。

在一个实施例中，所述在所述第一图像和多张第二图像中将包含所述台球的目标图像进行切割，包括：

对所述第一图像和多张第二图像按照连续比例进行缩略，获取第一图像和多张第二图像的缩略图；

将所述获取第一图像和多张第二图像的缩略图以台球图像为中心进行等宽切割，获得切割后的缩略图，对切割后的获取第一图像和多张第二图像的缩略图进行补白处理；

构建预设三维坐标系；

获取所述切割后的获取第一图像和多张第二图像的缩略图中的多个像素点；

将第一图像的缩略图中的多个像素点以及每个第二图像的缩略图的多个像素点分为多个超像素；

对所述多个超像素进行第一二维特征量和第一三维特征向量提取；

在所述预设三维坐标系中获取第一图像和多张第二图像中包含台球像素点的多个目标坐标点；

根据所述多个目标坐标点与台球的面积确定未在所述第一图像和多张第二图像中出现的衍射坐标点；

根据所述多个目标坐标点和衍射坐标点在所述第一图像和多张第二图像中提取与台球相关的第二二维特征向量和第二三维特征向量；

在所述第一二维特征量和第一三维特征向量中将除所述第二二维特征向量和第二三维特征向量外的第三二维特征向量和第三三维特征向量删除；

删除完毕后，根据剩余的第四二维特征向量和第四三维特征向量生成所述包含所述台球的目标图像。

上述技术方案的有益效果为：通过将像素点分为超像素的方式可以更加容易地第一图像以及多张第二图像中的特征进行提取，保证了提取特征向量的效率和准确率，进一步地，通过根据最终留下来的特征向量生成包含台球的目标图像可以保证在生成的图像中不会出现其他干扰的环境因子，保证了图像的专一性，同时也为后续进行台球的运动路径绘制奠定了基础。

在一个实施例中，在根据所述运动轨迹对台球进行路径绘制，获取所述绘制结果之后，根据所述绘制结果确认在所述目标台球桌上是否有一方的第一目标台球全部落入目标台球桌上的洞口内，若是，确认需要重新摆球，否则，确认无需重新摆球之前，所述方法还包括：对所述绘制结果进行真实度检测，检测步骤包括：

获取所述台球的自身参数以及球员击打所述台球时所用的力道、击打方向和击打角度；

构建初始学习模型；

将所述台球的自身参数以及球员击打所述台球时所用的力道、击打方向和击打角度作为训练数据训练所述初始学习模型，获得训练后的目标学习模型；

将所述绘制结果输入到所述目标学习模型中，获取所述目标学习模型输出的实际运动参数；

确认所述绘制结果的当前运动参数；

计算所述实际运动参数与所述当前运动参数的相似度：

其中，a表示为实际运动参数，b表示为当前运动参数，sim_(a，b)表示为实际运动参数与当前运动参数的相似度，Q_a表示为实际运动参数的参数值，Q_b表示为当前运动参数的参数值，e表示为自然常数，取值为2.72，θ表示为模型的精度，取值为[0.8,0.99]，α表示为因台球的磨损度所产生的影响因子，取值为0.2，β表示为目标台球桌表面光滑度所产生的影响因子，取值为0.3，φ表示为目标台球桌所处环境内的灯光所产生的影响因子，取值为0.25；

确认所述实际运动参数与当前运动参数的相似度是否大于等于第一预设阈值，若是，将所述当前运动参数输入到所述目标学习模型中，否则，确认所述绘制结果的真实度为低；

从所述目标学习模型中获得根据所述当前运动参数获得的实际路径点；

解析所述绘制结果，获得所述绘制结果对应的当前路径点；

计算所述实际路径点与当前路径点的匹配度：

其中，k表示为实际路径点与当前路径点的匹配度，N表示为实际路径点的数量，S_i表示为第i个实际路径点的参数值，M表示为当前路径点的数量，Q_j表示为第j个当前路径点的参数值，h₁表示为多张第二图像的清晰度中的最高清晰度，h₂表示为多张第二图像的清晰度中的最低清晰度，h₃表示为多张第二图像的平均清晰度；

确认所述实际路径点与当前路径点的匹配度是否大于等于第二预设阈值，若是，确认所述绘制结果的真实度为高，否则，确认所述绘制结果的真实度为低。

上述技术方案的有益效果为：通过利用模型来计算出在绘制结果下的实际运动参数与当前运动参数的相似度可以从台球的运动路径本质来确定其是否符合实际情况以及是否有干扰因素的影响从而导致数据异常，进一步地，通过计算特征点的匹配度可以更加直观地确定绘制结果与台球实际的运行路径是否匹配，确保了绘制结果的准确性。

本实施例还公开了一种基于机器视觉技术的机械臂定位台球抓取***，如图4所示，该***包括：

拍摄模块401，用于在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像；

获取模块402，用于在所述第一图像和多张第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储；

确定模块403，用于根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球；

摆放模块404，用于当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放。

上述技术方案的工作原理及有益效果在方法权利要求中已经说明，此处不再赘述。

本领域技术人员应当理解的是，本发明中的第一、第二指的是不同应用阶段而已。

本领域技术用户员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于机器视觉技术的机械臂定位台球抓取方法，其特征在于，包括以下步骤：

在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像；

在所述第一图像和多张第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储；

根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球；

当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放；

所述在所述第一图像和第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储，包括：

在所述第一图像和多张第二图像中将包含所述台球的目标图像进行切割；

对所述目标图像进行预处理，获得预处理后的目标图像；

在所述预处理后的目标图像中确定与台球相关的目标像素值；

根据所述目标像素值将所述台球作为监控实体，根据所述目标像素值的排列结果确定台球的初始摆球方位；

将所述初始摆球方位存储到所述人工智能机器人的控制电路中；

所述在所述第一图像和多张第二图像中将包含所述台球的目标图像进行切割，包括：

对所述第一图像和多张第二图像按照连续比例进行缩略，获取第一图像和多张第二图像的缩略图；

将所述获取第一图像和多张第二图像的缩略图以台球图像为中心进行等宽切割，获得切割后的缩略图，对切割后的获取第一图像和多张第二图像的缩略图进行补白处理；

构建预设三维坐标系；

获取所述切割后的获取第一图像和多张第二图像的缩略图中的多个像素点；

将第一图像的缩略图中的多个像素点以及每个第二图像的缩略图的多个像素点分为多个超像素；

对所述多个超像素进行第一二维特征量和第一三维特征向量提取；

在所述预设三维坐标系中获取第一图像和多张第二图像中包含台球像素点的多个目标坐标点；

根据所述多个目标坐标点与台球的面积确定未在所述第一图像和多张第二图像中出现的衍射坐标点；

根据所述多个目标坐标点和衍射坐标点在所述第一图像和多张第二图像中提取与台球相关的第二二维特征向量和第二三维特征向量；

在所述第一二维特征量和第一三维特征向量中将除所述第二二维特征向量和第二三维特征向量外的第三二维特征向量和第三三维特征向量删除；

删除完毕后，根据剩余的第四二维特征向量和第四三维特征向量生成所述包含所述台球的目标图像；

所述根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球，包括：

提取所述多张第二图像中的台球特征因子；

根据所述台球特征因子在所述多张第二图像中的变化绘制台球在所述目标台球桌上的运动轨迹；

根据所述运动轨迹对台球进行路径绘制，获取所述绘制结果；

根据所述绘制结果确认在所述目标台球桌上是否有一方的第一目标台球全部落入目标台球桌上的洞口内，若是，确认需要重新摆球，否则，确认无需重新摆球；

在根据所述运动轨迹对台球进行路径绘制，获取所述绘制结果之后，根据所述绘制结果确认在所述目标台球桌上是否有一方的第一目标台球全部落入目标台球桌上的洞口内，若是，确认需要重新摆球，否则，确认无需重新摆球之前，所述方法还包括：对所述绘制结果进行真实度检测，检测步骤包括：

获取所述台球的自身参数以及球员击打所述台球时所用的力道、击打方向和击打角度；

构建初始学习模型；

将所述台球的自身参数以及球员击打所述台球时所用的力道、击打方向和击打角度作为训练数据训练所述初始学习模型，获得训练后的目标学习模型；

将所述绘制结果输入到所述目标学习模型中，获取所述目标学习模型输出的实际运动参数；

确认所述绘制结果的当前运动参数；

计算所述实际运动参数与所述当前运动参数的相似度：

其中，a表示为实际运动参数，b表示为当前运动参数，sim_(a，b)表示为实际运动参数与当前运动参数的相似度，Q_a表示为实际运动参数的参数值，Q_b表示为当前运动参数的参数值，e表示为自然常数，取值为2.72，θ表示为模型的精度，取值为[0.8,0.99]，α表示为因台球的磨损度所产生的影响因子，取值为0.2，β表示为目标台球桌表面光滑度所产生的影响因子，取值为0.3，φ表示为目标台球桌所处环境内的灯光所产生的影响因子，取值为0.25；

确认所述实际运动参数与当前运动参数的相似度是否大于等于第一预设阈值，若是，将所述当前运动参数输入到所述目标学习模型中，否则，确认所述绘制结果的真实度为低；

从所述目标学习模型中获得根据所述当前运动参数获得的实际路径点；

解析所述绘制结果，获得所述绘制结果对应的当前路径点；

计算所述实际路径点与当前路径点的匹配度：

其中，k表示为实际路径点与当前路径点的匹配度，N表示为实际路径点的数量，S_i表示为第i个实际路径点的参数值，M表示为当前路径点的数量，Q_j表示为第j个当前路径点的参数值，h₁表示为多张第二图像的清晰度中的最高清晰度，h₂表示为多张第二图像的清晰度中的最低清晰度，h₃表示为多张第二图像的平均清晰度；

确认所述实际路径点与当前路径点的匹配度是否大于等于第二预设阈值，若是，确认所述绘制结果的真实度为高，否则，确认所述绘制结果的真实度为低。

2.根据权利要求1所述基于机器视觉技术的机械臂定位台球抓取方法，其特征在于，所述第一图像为目标台球桌上台球摆放完毕未开始击打的图像，所述多个第二图像为目标台球桌上台球在击打过程中多个图像。

3.根据权利要求2所述基于机器视觉技术的机械臂定位台球抓取方法，其特征在于，机械臂上设置有机械爪，在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像，包括：

在所述机械爪中心设置所述图像提取装置；

设置所述图像提取装置的拍摄角度和拍摄高度；

设置完毕后，根据所述拍摄角度和拍摄高度利用所述图像提取装置拍摄所述目标台球桌的第一图像；

设定所述图像提取装置的拍摄周期，根据所述拍摄周期拍摄所述目标台球桌上的多张第二图像。

4.根据权利要求1所述基于机器视觉技术的机械臂定位台球抓取方法，其特征在于，所述人工智能机器人设置有托盘，当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放，包括：

将所述目标台球桌上的洞口内中的第一目标台球进行收集存储到所述托盘内；

对所述目标台球桌上剩余的第二目标台球进行定位，获得每个第二目标台球的定位结果；

根据所述每个第二目标台球的定位结果以及所述第二目标台球的目标绘制路径对利用所述机械臂对所述第二目标台球进行抓取，抓取完毕后放置于所述托盘里；

将所述托盘里的第一目标台球和第二目标台球按照所述初始摆球方位重新摆放到所述目标台球桌上。

5.根据权利要求1所述基于机器视觉技术的机械臂定位台球抓取方法，其特征在于，所述方法还包括：

确定摆放后的台球的目标摆放顺序与所述第一图像中的预设摆放顺序是否相同，若是，无需进行后续操作，否则，调节所述台球的摆放位置直到台球的目标摆放顺序与预设摆放顺序相同为止。

6.一种基于机器视觉技术的机械臂定位台球抓取***，其特征在于，该***包括：

拍摄模块，用于在人工智能机器人的机械臂上设置图像提取装置，利用所述图像提取装置拍摄目标台球桌上的第一图像与多张第二图像；

获取模块，用于在所述第一图像和多张第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储；

确定模块，用于根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球；

摆放模块，用于当需要重新摆球时，利用所述机械臂按照所述绘制路径对台球进行抓取，抓取完毕后，按照所述初始摆球方位将所述台球进行重新摆放；

所述获取模块在所述第一图像和第二图像中选择台球为监控实体，获取所述监控实体的初始摆球方位，将所述初始摆球方位进行存储的步骤包括：

在所述第一图像和多张第二图像中将包含所述台球的目标图像进行切割；

对所述目标图像进行预处理，获得预处理后的目标图像；

在所述预处理后的目标图像中确定与台球相关的目标像素值；

根据所述目标像素值将所述台球作为监控实体，根据所述目标像素值的排列结果确定台球的初始摆球方位；

将所述初始摆球方位存储到所述人工智能机器人的控制电路中；

所述在所述第一图像和多张第二图像中将包含所述台球的目标图像进行切割，包括：

对所述第一图像和多张第二图像按照连续比例进行缩略，获取第一图像和多张第二图像的缩略图；

将所述获取第一图像和多张第二图像的缩略图以台球图像为中心进行等宽切割，获得切割后的缩略图，对切割后的获取第一图像和多张第二图像的缩略图进行补白处理；

构建预设三维坐标系；

获取所述切割后的获取第一图像和多张第二图像的缩略图中的多个像素点；

将第一图像的缩略图中的多个像素点以及每个第二图像的缩略图的多个像素点分为多个超像素；

对所述多个超像素进行第一二维特征量和第一三维特征向量提取；

在所述预设三维坐标系中获取第一图像和多张第二图像中包含台球像素点的多个目标坐标点；

根据所述多个目标坐标点与台球的面积确定未在所述第一图像和多张第二图像中出现的衍射坐标点；

根据所述多个目标坐标点和衍射坐标点在所述第一图像和多张第二图像中提取与台球相关的第二二维特征向量和第二三维特征向量；

在所述第一二维特征量和第一三维特征向量中将除所述第二二维特征向量和第二三维特征向量外的第三二维特征向量和第三三维特征向量删除；

删除完毕后，根据剩余的第四二维特征向量和第四三维特征向量生成所述包含所述台球的目标图像；

所述根据所述多张第二图像进行台球的路径绘制，获取绘制结果，根据所述绘制结果确定是否需要重新摆球，包括：

提取所述多张第二图像中的台球特征因子；

根据所述台球特征因子在所述多张第二图像中的变化绘制台球在所述目标台球桌上的运动轨迹；

根据所述运动轨迹对台球进行路径绘制，获取所述绘制结果；

根据所述绘制结果确认在所述目标台球桌上是否有一方的第一目标台球全部落入目标台球桌上的洞口内，若是，确认需要重新摆球，否则，确认无需重新摆球；

在根据所述运动轨迹对台球进行路径绘制，获取所述绘制结果之后，根据所述绘制结果确认在所述目标台球桌上是否有一方的第一目标台球全部落入目标台球桌上的洞口内，若是，确认需要重新摆球，否则，确认无需重新摆球之前，所述***还用于：对所述绘制结果进行真实度检测，检测步骤包括：

获取所述台球的自身参数以及球员击打所述台球时所用的力道、击打方向和击打角度；

构建初始学习模型；

将所述台球的自身参数以及球员击打所述台球时所用的力道、击打方向和击打角度作为训练数据训练所述初始学习模型，获得训练后的目标学习模型；

将所述绘制结果输入到所述目标学习模型中，获取所述目标学习模型输出的实际运动参数；

确认所述绘制结果的当前运动参数；

计算所述实际运动参数与所述当前运动参数的相似度：

其中，a表示为实际运动参数，b表示为当前运动参数，sim_(a，b)表示为实际运动参数与当前运动参数的相似度，Q_a表示为实际运动参数的参数值，Q_b表示为当前运动参数的参数值，e表示为自然常数，取值为2.72，θ表示为模型的精度，取值为[0.8,0.99]，α表示为因台球的磨损度所产生的影响因子，取值为0.2，β表示为目标台球桌表面光滑度所产生的影响因子，取值为0.3，φ表示为目标台球桌所处环境内的灯光所产生的影响因子，取值为0.25；

确认所述实际运动参数与当前运动参数的相似度是否大于等于第一预设阈值，若是，将所述当前运动参数输入到所述目标学习模型中，否则，确认所述绘制结果的真实度为低；

从所述目标学习模型中获得根据所述当前运动参数获得的实际路径点；

解析所述绘制结果，获得所述绘制结果对应的当前路径点；

计算所述实际路径点与当前路径点的匹配度：

其中，k表示为实际路径点与当前路径点的匹配度，N表示为实际路径点的数量，S_i表示为第i个实际路径点的参数值，M表示为当前路径点的数量，Q_j表示为第j个当前路径点的参数值，h₁表示为多张第二图像的清晰度中的最高清晰度，h₂表示为多张第二图像的清晰度中的最低清晰度，h₃表示为多张第二图像的平均清晰度；

确认所述实际路径点与当前路径点的匹配度是否大于等于第二预设阈值，若是，确认所述绘制结果的真实度为高，否则，确认所述绘制结果的真实度为低。

Images