CN113927601B - 一种基于视觉识别实现机械臂精准挑拣的方法及*** - Google Patents

Abstract

本发明提供一种基于视觉识别实现机械臂精准挑拣的方法及***，其中，方法包括：步骤S1：设定挑拣区域和挑拣目标，将对应于挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标；步骤S2：基于坐标转换矩阵，将像素坐标转换成空间坐标；步骤S3：基于空间坐标，规划机械臂的第一控制策略；步骤S4：基于第一控制策略，控制机械臂对挑拣目标进行挑拣。本发明的基于视觉识别实现机械臂精准挑拣的方法及***，利用相机与机械臂进行配合，对挑拣目标进行精准挑拣，实现视觉识别，节省了人力成本，更避免了人工进行挑拣容易出错的问题。

Description

一种基于视觉识别实现机械臂精准挑拣的方法及***

技术领域

本发明涉及视觉识别技术领域，特别涉及一种基于视觉识别实现机械臂精准挑拣的方法及***。

背景技术

目前，货品仓库中对货品进行挑拣(例如：依据货品尺寸进行挑拣分类)时，大多雇佣大量人工进行挑拣，人力成本较大，同时，由于该类工作的单调性，人工进行挑拣容易出错；

因此，亟需一种解决办法。

发明内容

本发明目的之一在于提供了一种基于视觉识别实现机械臂精准挑拣的方法及***，利用相机与机械臂进行配合，对挑拣目标进行精准挑拣，实现视觉识别，节省了人力成本，更避免了人工进行挑拣容易出错的问题。

本发明实施例提供的一种基于视觉识别实现机械臂精准挑拣的方法，包括：

步骤S1：设定挑拣区域和挑拣目标，将对应于挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标；

步骤S2：基于坐标转换矩阵，将像素坐标转换成空间坐标；

步骤S3：基于空间坐标，规划机械臂的第一控制策略；

步骤S4：基于第一控制策略，控制机械臂对挑拣目标进行挑拣。

优选的，步骤S1中，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标，包括：

对区域图像进行预处理；

基于图像识别技术，识别预处理结果中对应于挑拣目标的像素坐标；

其中，对区域图像进行预处理，包括：

对区域图像分别进行掩模处理、二值化处理和降噪处理。

优选的，步骤S3：基于空间坐标，规划机械臂的第一控制策略，包括：

获取预设的空间坐标系，将空间坐标输入至空间坐标系中，各空间坐标在空间坐标系中组合形成对应于挑拣目标的三维模型；

获取预设的抓取识别模型，将三维模型输入抓取识别模型，获得机械臂末端的机械爪抓取挑拣目标的第一抓取方向和多个抓取点坐标；

获取机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；

获取预设的第一控制策略规划模型，将第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入第一控制策略规划模型，获得机械臂的第一控制策略，完成规划；

其中，第一控制策略包括：机械臂中多个关节对应的在至少一个关节移动方向上的移动时机和移动距离以及机械爪的张开时机、收紧时机、旋转时机和对应于旋转时机的旋转角度。

优选的，基于视觉识别实现机械臂精准挑拣的方法，还包括：

当机械爪抓取完挑拣目标后，定时获取机械爪抓取挑拣目标的抓取状态信息；

对抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；

获取第一信息项的产生时间点，建立第一时间轴，基于产生时间点，将第一信息项对应设置于第一时间轴上，并将第一时间轴与对应第一类型进行关联；

对第一信息项进行特征分析并提取，获得至少一个第一特征；

获取预设的可疑特征库，将第一特征与可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应第一信息项在第一时间轴上的第一位置；

获取第二特征对应的至少一个跟踪信息，跟踪信息包括：进行跟踪的第二类型和对应触发特征库；

确定第二类型关联的第一时间轴，并作为第二时间轴；

确定第二时间轴上对应于第一位置的第二位置；

选取第二时间轴上第二位置之后的第一信息项，并作为第二信息项；

对第二信息项进行特征分析并提取，获得至少一个第三特征；

将第三特征与第二类型对应的触发特征库中的触发特征进行特征匹配，若匹配符合，确定挑拣目标发生掉落，并输出掉落时刻，触发机械爪对挑拣目标进行二次抓取；

获取机械爪的对应于掉落时刻的第二当前位置坐标、第一移动方向、移动速度和爪心对准方向，同时，获取挑拣目标的质量；

获取当前时刻，计算掉落时刻和当前时刻之间的第一时间差；

获取第二当前位置坐标与地面之间的垂直距离；

获取预设的时间差扩大模型，将第一时间差和垂直距离输入时间差扩大模型，获得第二时间差；

获取预设的掉落位置预测模型，将第二当前位置坐标、第一移动方向、移动速度、爪心对准方向、质量和第二时间差输入掉落位置预测模型，获得第一预测掉落位置的第一预测掉落位置坐标和掉落路线；

获取机械爪的第三当前位置坐标，将掉落路线作为需规避路线，将爪心对准方向的相反方向作为第二抓取方向；

获取预设的第二控制策略规划模型，将第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向输入第二第一控制策略规划模型，获得第二控制策略；

基于第二控制策略，控制机械爪前往第一预测掉落位置等待二次抓取挑拣目标；

当机械爪抵达后，控制机械爪张开至预设的最大张开幅度；

动态获取挑拣目标的当前掉落位置的掉落位置坐标；

每获取一次掉落位置坐标时，将掉落位置坐标补充输入掉落位置预测模型，获得第二预测掉落位置坐标；

获取预设的第三控制策略规划模型，将第一预测掉落位置坐标和第二预测掉落位置坐标输入第三控制策略规划模型，获得第三控制策略；

基于第三控制策略，控制机械爪前往第二预测掉落位置等待二次抓取挑拣目标；

计算掉落位置坐标和最新的第二预测掉落位置坐标之间的距离；

若距离小于等于预设的距离阈值，停止获取掉落位置坐标；

实时检测挑拣目标是否落入机械爪中，若是，控制机械爪进行收紧，二次抓取成功；

获取二次抓取成功时机械爪的第四当前位置坐标；

将第四当前位置坐标补充输入第一控制策略规划模型，获得第四控制策略；

基于第四控制策略，控制机械爪将挑拣目标送至挑拣放置位置。

优选的，基于视觉识别实现机械臂精准挑拣的方法，还包括：

获取机械臂对应的使用大数据；

对使用大数据进行数据分析并拆分，获得多个第一数据项；

获取第一数据项对应的来源类型，来源类型包括：共享和爬取；

当第一数据项对应的来源类型为共享时，获取第一数据项对应的共享方和对应共享场景；

获取共享方的信用值，同时，获取共享场景的可信度；

若信用值小于等于预设的第一阈值和/或可信度小于等于预设的第二阈值，剔除对应第一数据项；

当第一数据项对应的来源类型为爬取时，获取爬取第一数据项的爬取过程；

获取预设的风险分析模型，将爬取过程输入风险分析模型，获得风险值；

若风险值大于等于预设的第三阈值，剔除对应第一数据项；

当第一数据项中需要剔除的第一数据项均剔除后，将剩余第一数据项作为第二数据项；

获取机械臂对应的多个第一属性项，同时，获取第二数据项对应的多个第二属性项；

对第一属性项进行特征分析并提取，获得至少一个第四特征；

对第二属性项进行特征分析并提取，获得至少一个第五特征；

将第四特征和第五特征进行特征匹配，若匹配符合，将进行特征匹配的第四特征或第五特征作为第六特征；

基于预设的特征-价值度库，确定第六特征对应的价值度，并与对应第二数据项进行关联；

汇总第二数据项关联的价值度，获得价值度和；

若价值度和大于等于预设的第四阈值，将对应第二数据项作为第三数据项；

获取预设的异常分析模型，将第三数据项全部输入异常分析模型，获得至少一个异常类型和对应可能值；

定时对机械臂按照可能值从大至小依次执行相应异常类型的异常检测。

本发明实施例提供的一种基于视觉识别实现机械臂精准挑拣的***，包括：

识别模块，用于设定挑拣区域和挑拣目标，将对应于挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标；

转换模块，用于基于坐标转换矩阵，将像素坐标转换成空间坐标；

规划模块，用于基于空间坐标，规划机械臂的第一控制策略；

控制模块，用于基于第一控制策略，控制机械臂对挑拣目标进行挑拣。

优选的，规划模块执行如下操作：

对区域图像进行预处理；

基于图像识别技术，识别预处理结果中对应于挑拣目标的像素坐标；

其中，对区域图像进行预处理，包括：

对区域图像分别进行掩模处理、二值化处理和降噪处理。

优选的，规划模块执行如下操作：

获取预设的空间坐标系，将空间坐标输入至空间坐标系中，各空间坐标在空间坐标系中组合形成对应于挑拣目标的三维模型；

获取预设的抓取识别模型，将三维模型输入抓取识别模型，获得机械臂末端的机械爪抓取挑拣目标的第一抓取方向和多个抓取点坐标；

获取机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；

获取预设的第一控制策略规划模型，将第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入第一控制策略规划模型，获得机械臂的第一控制策略，完成规划；

其中，第一控制策略包括：机械臂中多个关节对应的在至少一个关节移动方向上的移动时机和移动距离以及机械爪的张开时机、收紧时机、旋转时机和对应于旋转时机的旋转角度。

优选的，控制模块执行如下操作：

当机械爪抓取完挑拣目标后，定时获取机械爪抓取挑拣目标的抓取状态信息；

对抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；

获取第一信息项的产生时间点，建立第一时间轴，基于产生时间点，将第一信息项对应设置于第一时间轴上，并将第一时间轴与对应第一类型进行关联；

对第一信息项进行特征分析并提取，获得至少一个第一特征；

获取预设的可疑特征库，将第一特征与可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应第一信息项在第一时间轴上的第一位置；

获取第二特征对应的至少一个跟踪信息，跟踪信息包括：进行跟踪的第二类型和对应触发特征库；

确定第二类型关联的第一时间轴，并作为第二时间轴；

确定第二时间轴上对应于第一位置的第二位置；

选取第二时间轴上第二位置之后的第一信息项，并作为第二信息项；

对第二信息项进行特征分析并提取，获得至少一个第三特征；

将第三特征与第二类型对应的触发特征库中的触发特征进行特征匹配，若匹配符合，确定挑拣目标发生掉落，并输出掉落时刻，触发机械爪对挑拣目标进行二次抓取；

获取机械爪的对应于掉落时刻的第二当前位置坐标、第一移动方向、移动速度和爪心对准方向，同时，获取挑拣目标的质量；

获取当前时刻，计算掉落时刻和当前时刻之间的第一时间差；

获取第二当前位置坐标与地面之间的垂直距离；

获取预设的时间差扩大模型，将第一时间差和垂直距离输入时间差扩大模型，获得第二时间差；

获取预设的掉落位置预测模型，将第二当前位置坐标、第一移动方向、移动速度、爪心对准方向、质量和第二时间差输入掉落位置预测模型，获得第一预测掉落位置的第一预测掉落位置坐标和掉落路线；

获取机械爪的第三当前位置坐标，将掉落路线作为需规避路线，将爪心对准方向的相反方向作为第二抓取方向；

获取预设的第二控制策略规划模型，将第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向输入第二第一控制策略规划模型，获得第二控制策略；

基于第二控制策略，控制机械爪前往第一预测掉落位置等待二次抓取挑拣目标；

当机械爪抵达后，控制机械爪张开至预设的最大张开幅度；

动态获取挑拣目标的当前掉落位置的掉落位置坐标；

每获取一次掉落位置坐标时，将掉落位置坐标补充输入掉落位置预测模型，获得第二预测掉落位置坐标；

获取预设的第三控制策略规划模型，将第一预测掉落位置坐标和第二预测掉落位置坐标输入第三控制策略规划模型，获得第三控制策略；

基于第三控制策略，控制机械爪前往第二预测掉落位置等待二次抓取挑拣目标；

计算掉落位置坐标和最新的第二预测掉落位置坐标之间的距离；

若距离小于等于预设的距离阈值，停止获取掉落位置坐标；

实时检测挑拣目标是否落入机械爪中，若是，控制机械爪进行收紧，二次抓取成功；

获取二次抓取成功时机械爪的第四当前位置坐标；

将第四当前位置坐标补充输入第一控制策略规划模型，获得第四控制策略；

基于第四控制策略，控制机械爪将挑拣目标送至挑拣放置位置。

优选的，基于视觉识别实现机械臂精准挑拣的***，还包括：

检测模块，检测模块执行如下操作：

获取机械臂对应的使用大数据；

对使用大数据进行数据分析并拆分，获得多个第一数据项；

获取第一数据项对应的来源类型，来源类型包括：共享和爬取；

当第一数据项对应的来源类型为共享时，获取第一数据项对应的共享方和对应共享场景；

获取共享方的信用值，同时，获取共享场景的可信度；

若信用值小于等于预设的第一阈值和/或可信度小于等于预设的第二阈值，剔除对应第一数据项；

当第一数据项对应的来源类型为爬取时，获取爬取第一数据项的爬取过程；

获取预设的风险分析模型，将爬取过程输入风险分析模型，获得风险值；

若风险值大于等于预设的第三阈值，剔除对应第一数据项；

当第一数据项中需要剔除的第一数据项均剔除后，将剩余第一数据项作为第二数据项；

获取机械臂对应的多个第一属性项，同时，获取第二数据项对应的多个第二属性项；

对第一属性项进行特征分析并提取，获得至少一个第四特征；

对第二属性项进行特征分析并提取，获得至少一个第五特征；

将第四特征和第五特征进行特征匹配，若匹配符合，将进行特征匹配的第四特征或第五特征作为第六特征；

基于预设的特征-价值度库，确定第六特征对应的价值度，并与对应第二数据项进行关联；

汇总第二数据项关联的价值度，获得价值度和；

若价值度和大于等于预设的第四阈值，将对应第二数据项作为第三数据项；

获取预设的异常分析模型，将第三数据项全部输入异常分析模型，获得至少一个异常类型和对应可能值；

定时对机械臂按照可能值从大至小依次执行相应异常类型的异常检测。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于视觉识别实现机械臂精准挑拣的方法的流程图；

图2为本发明实施例中一种基于视觉识别实现机械臂精准挑拣的***的示意图；

图3为本发明实施例中又一基于视觉识别实现机械臂精准挑拣的***的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的方法，如图1所示，包括：

步骤S1：设定挑拣区域和挑拣目标，将对应于挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标；

步骤S2：基于坐标转换矩阵，将像素坐标转换成空间坐标；

步骤S3：基于空间坐标，规划机械臂的第一控制策略；

步骤S4：基于第一控制策略，控制机械臂对挑拣目标进行挑拣。

上述技术方案的工作原理及有益效果为：

设定挑拣区域(例如：货品传送带上某区域)和挑拣目标(例如：尺寸为长8cm、宽2cm的红色纸箱)；将对应于挑拣区域的相机(例如：设置于货品传送带上某区域的上方且镜头对准传送带的CCD相机)进行相机标定，获得坐标转换矩阵(世界坐标与像素坐标的转换矩阵)；同时，基于图像识别技术，识别相机采集的挑拣区域的区域图像中挑拣目标的像素坐标；基于坐标转换矩阵，将像素坐标转换为空间坐标(货品的实际空间位置)；基于空间坐标，规划机械臂的第一控制策略(如何控制机械臂前往货品位置进行夹取)；基于第一控制策略，对机械臂进行控制；

本发明实施例利用相机与机械臂进行配合，对挑拣目标进行精准挑拣，实现视觉识别，节省了人力成本，更避免了人工进行挑拣容易出错的问题。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的方法，步骤S1中，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标，包括：

对区域图像进行预处理；

基于图像识别技术，识别预处理结果中对应于挑拣目标的像素坐标；

其中，对区域图像进行预处理，包括：

对区域图像分别进行掩模处理、二值化处理和降噪处理。

上述技术方案的工作原理及有益效果为：

在识别像素坐标前，需要对区域图像进行掩模处理、二值化处理和降噪处理(均值滤波、加权平均滤波和中值滤波等)。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的方法，步骤S3：基于空间坐标，规划机械臂的第一控制策略，包括：

获取预设的空间坐标系，将空间坐标输入至空间坐标系中，各空间坐标在空间坐标系中组合形成对应于挑拣目标的三维模型；

获取预设的抓取识别模型，将三维模型输入抓取识别模型，获得机械臂末端的机械爪抓取挑拣目标的第一抓取方向和多个抓取点坐标；

获取机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；

获取预设的第一控制策略规划模型，将第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入第一控制策略规划模型，获得机械臂的第一控制策略，完成规划；

其中，第一控制策略包括：机械臂中多个关节对应的在至少一个关节移动方向上的移动时机和移动距离以及机械爪的张开时机、收紧时机、旋转时机和对应于旋转时机的旋转角度。

上述技术方案的工作原理及有益效果为：

将空间坐标输入预设的空间坐标系中，各空间坐标构成挑拣目标的三维模型；将三维模型输入预设的抓取识别模型(利用机器学***一圈四个面的中心点)，获得第一抓取方向(例如：从上往下)和多个抓取点坐标；获取机械爪的第一当前位置坐标(一般取爪心位置的坐标)，设定挑拣放置位置(将挑拣目标挑拣出来应放置至的位置)的挑拣放置坐标；将第一当前位置坐标、挑拣位置坐标、第一抓取方向和抓取点输入预设的第一控制策略规划模型(利用机器学习算法对大量人工基于第一当前位置坐标等进行机械臂上的关节和机械爪移动规划的记录进行学习后生成的模型)，获得第一控制策略；

本发明实施例基于第一控制策略规划模型进行第一控制策略的规划，提升了***的工作效率。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的方法，还包括：

当机械爪抓取完挑拣目标后，定时获取机械爪抓取挑拣目标的抓取状态信息；

对抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；

获取第一信息项的产生时间点，建立第一时间轴，基于产生时间点，将第一信息项对应设置于第一时间轴上，并将第一时间轴与对应第一类型进行关联；

对第一信息项进行特征分析并提取，获得至少一个第一特征；

获取预设的可疑特征库，将第一特征与可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应第一信息项在第一时间轴上的第一位置；

获取第二特征对应的至少一个跟踪信息，跟踪信息包括：进行跟踪的第二类型和对应触发特征库；

确定第二类型关联的第一时间轴，并作为第二时间轴；

确定第二时间轴上对应于第一位置的第二位置；

选取第二时间轴上第二位置之后的第一信息项，并作为第二信息项；

对第二信息项进行特征分析并提取，获得至少一个第三特征；

将第三特征与第二类型对应的触发特征库中的触发特征进行特征匹配，若匹配符合，确定挑拣目标发生掉落，并输出掉落时刻，触发机械爪对挑拣目标进行二次抓取；

获取机械爪的对应于掉落时刻的第二当前位置坐标、第一移动方向、移动速度和爪心对准方向，同时，获取挑拣目标的质量；

获取当前时刻，计算掉落时刻和当前时刻之间的第一时间差；

获取第二当前位置坐标与地面之间的垂直距离；

获取预设的时间差扩大模型，将第一时间差和垂直距离输入时间差扩大模型，获得第二时间差；

获取预设的掉落位置预测模型，将第二当前位置坐标、第一移动方向、移动速度、爪心对准方向、质量和第二时间差输入掉落位置预测模型，获得第一预测掉落位置的第一预测掉落位置坐标和掉落路线；

获取机械爪的第三当前位置坐标，将掉落路线作为需规避路线，将爪心对准方向的相反方向作为第二抓取方向；

获取预设的第二控制策略规划模型，将第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向输入第二第一控制策略规划模型，获得第二控制策略；

基于第二控制策略，控制机械爪前往第一预测掉落位置等待二次抓取挑拣目标；

当机械爪抵达后，控制机械爪张开至预设的最大张开幅度；

动态获取挑拣目标的当前掉落位置的掉落位置坐标；

每获取一次掉落位置坐标时，将掉落位置坐标补充输入掉落位置预测模型，获得第二预测掉落位置坐标；

获取预设的第三控制策略规划模型，将第一预测掉落位置坐标和第二预测掉落位置坐标输入第三控制策略规划模型，获得第三控制策略；

基于第三控制策略，控制机械爪前往第二预测掉落位置等待二次抓取挑拣目标；

计算掉落位置坐标和最新的第二预测掉落位置坐标之间的距离；

若距离小于等于预设的距离阈值，停止获取掉落位置坐标；

实时检测挑拣目标是否落入机械爪中，若是，控制机械爪进行收紧，二次抓取成功；

获取二次抓取成功时机械爪的第四当前位置坐标；

将第四当前位置坐标补充输入第一控制策略规划模型，获得第四控制策略；

基于第四控制策略，控制机械爪将挑拣目标送至挑拣放置位置。

上述技术方案的工作原理及有益效果为：

当机械爪抓取完挑拣目标后，准备送至挑拣放置位置，一般情况下，机械爪均从上往下垂直抓取挑拣目标，之后机械爪不会旋转(若旋转180°形成托持状态，旋转可能造成挑拣物体更快掉落，旋转力度不易控制，也比较耗时)，由于机械爪的大小与挑拣目标的尺寸不适配、挑拣目标的表面材料较滑等原因，挑拣目标可能会从机械手上掉落；因此，定时获取机械爪的抓取状态信息(例如：在机械爪的掌心设置距离传感器，用于测量掌心与挑拣目标之间的距离；在机械爪的单个爪指的指尖处设置压力传感器，用于测量指尖与挑拣目标之间的压力；距离和压力即为抓取状态信息)；对抓取状态信息进行信息分析并归类，获得不同第一类型(例如：距离信息、压力信息等)对应的第一信息项；将第一信息项对应的第一特征与预设的可疑特征库中(包含大量挑拣目标可能从机械爪中掉落的距离信息特征和压力信息特征等)的可疑特征进行匹配，若匹配符合，说明挑拣目标可能会掉落，获取第二特征对应的跟踪信息，跟踪信息包含需要进行跟踪的第二类型(例如：压力信息)和对应触发特征库(包含大量挑拣目标掉落坐实的特征的数据库)；确定第二信息项，将提取出的第三特征与对应触发特征库中的触发特征进行匹配，若匹配符合，说明挑拣目标发生掉落，触发机械爪对挑拣目标进行二次抓取；想要对挑拣目标进行二次抓取，就要预测挑拣目标的掉落位置，确定机械爪对应于挑拣目标掉落时刻的第二当前位置坐标(挑拣目标掉落初始位置)、第一移动方向、移动速度(挑拣目标掉落的速度)和爪心对准方向(一般为竖直向下，即掉落方向)和挑拣目标的质量；计算第一时间差，同时，计算第二当前位置坐标与地面之间的垂直距离(点到面的垂直距离)；获取预设的时间差扩大模型(利用机器学习算法对大量人工基于垂直距离对时间差进行扩大的记录进行学习后生成的模型)，将第一时间差和垂直距离输入时间差扩大模型，进行扩大，获得第二时间差(时间差越大，预测的时间跨度越大，接住挑拣目标的位置越低，但是，不能比地面低，因此，需要考虑垂直距离)；将二当前位置坐标、第一移动方向、爪心对准方向、质量和第二时间差输入预设的掉落位置预测模型(利用机器学习算法对大量人工进行掉落位置预测的记录进行学习后生成的模型)，获得第一预测掉落位置和掉落路线(两者基于运动学分析技术，可以得到)；机械臂的运动不能与掉落路线交叉，以免发生碰撞，因此，将掉落路线作为需规避路线；将爪心对准方向的相反方向作为第二抓取方向(竖直朝上)；获取预设的第二控制策略规划模型(与第一控制策略规划模型同理)，将第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向，获得第二控制策略，基于第二控制策略，将机械爪移动到第一预测掉落位置等待接住掉落的挑拣目标，并控制机械爪张开至最大；但是，由于存在预测误差，接住掉落目标的位置不一定正确，因此，需要主动再次进行预测，实时获取掉落位置坐标(可在机械爪的掌心设置毫米波雷达传感器，由毫米波雷达传感器进行获取)，将掉落位置坐标补充输入掉落位置预测模型，重新预测；计算掉落位置坐标和最新的第二预测掉落位置坐标之间的距离，当距离小于等于预设的距离阈值(例如：13厘米)时，挑拣目标即将落入机械爪，属于最佳抓取时机，检测挑拣目标是否落入机械爪中(例如：距离传感器测得的距离满足要求)，若是，控制机械爪收紧，同时，基于重新规划的第四控制策略，将挑拣目标送至挑拣放置位置；

本发明实施例在挑拣目标发生掉落时，在挑拣目标落地前尝试对挑拣目标进行二次抓取，避免挑拣目标与地面碰撞发生损坏；对挑拣目标进行二次抓取时，首先进行掉落位置预测，前往掉落位置等待接住抓取目标，期间考虑了掉落位置与地面之间的垂直距离，合理对第一时间差进行扩大；在抵达等待位置时，再次进行掉落位置预测，提升了接住挑拣目标的准确性。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的方法，还包括：

设定扩充目标，所述扩充目标包括：可疑特征库和触发特征库；

获取所述扩充目标对应的至少一个第一扩充接口；

获取所述第一扩充接口对应的至少一个扩充来源；

获取所述第一扩充接口对相应所述扩充来源进行担保的担保值，同时，获取所述扩充来源的经验值；

基于所述担保值和所述经验值计算所述第一扩充接口的第一评价指数，计算公式如下：

其中，σ为所述第一评价指数，d_i为所述第一扩充接口对第i个扩充来源进行担保的担保值，E_i为第i个扩充来源的经验值，l为扩充来源的总数目；

若所述第一评价指数大于等于预设的第五阈值，将对应所述第一扩充接口作为第二扩充接口；

通过所述第二扩充接口获取新的至少一个扩充内容项；

获取所述扩充内容项对应的正向测试记录和反向测试记录；

对所述正向测试记录进行解析，获得多个第一测试值；

对所述反向测试记录进行解析，获得多个第二测试值；

基于所述第一测试值和所述第二测试值计算所述扩充内容项的第二评价指数，计算公式如下：

其中，γ为所述第二评价指数，θ₁和θ₂为预设的权重值，c_1,t为对所述正向测试记录进行解析获得的第t个第一测试值，c_2,t为对所述反向测试记录进行解析获得的第t个第二测试值，α为所述第一测试值的总数目，β为所述第二测试值的总数目；

若所述第二评价指数大于等于预设的第六阈值，将对应所述扩充内容项输入至所述扩充目标。

上述技术方案的工作原理及有益效果为：

扩充来源(某特征收集人员)想要从第一扩充接口提供给我方，需要第一扩充接口对其进行担保，担保值越大，担保力度越大；扩充来源对应有经验值，即特征收集人员的经验值(与人员经验程度呈正相关)；基于担保值和经验值计算第一评价指数，第一评价指数大于等于预设的第五阈值(例如：96)时，对应第一扩充接口满足要求，作为第二扩充接口；通过第二扩充接口获取新产生的至少一个扩充内容项(人员收集的特征)，获取扩充内容项对应的正向测试记录(人工模拟收集的特征，例如：轻微拽动机械爪中的挑拣目标，看是否能够证明挑拣目标掉落)和反向测试记录(当挑拣目标掉落时，回顾之前产生的特征是否的确有收集的特征)；分别对测试记录进行解析，获得测试值，测试值越大，说明收集的特征可用程度越高；基于第一测试值和第二测试值计算第二评价指数，第二评价指数越大，对应扩充内容项越可用，填充至扩充目标即可；

本发明实施例设定扩充目标，对扩充目标进行扩充，提升了发现挑拣目标可能掉落或已经掉落的及时性；对扩充接口进行筛选，保证获取扩充内容的扩充接口的可靠性；在获取扩充内容后，对内容进行正反向测试，基于测试结果，筛选出可用的扩充内容，对扩充目标进行扩充。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的方法，还包括：

获取机械臂对应的使用大数据；

对使用大数据进行数据分析并拆分，获得多个第一数据项；

获取第一数据项对应的来源类型，来源类型包括：共享和爬取；

当第一数据项对应的来源类型为共享时，获取第一数据项对应的共享方和对应共享场景；

获取共享方的信用值，同时，获取共享场景的可信度；

若信用值小于等于预设的第一阈值和/或可信度小于等于预设的第二阈值，剔除对应第一数据项；

当第一数据项对应的来源类型为爬取时，获取爬取第一数据项的爬取过程；

获取预设的风险分析模型，将爬取过程输入风险分析模型，获得风险值；

若风险值大于等于预设的第三阈值，剔除对应第一数据项；

当第一数据项中需要剔除的第一数据项均剔除后，将剩余第一数据项作为第二数据项；

获取机械臂对应的多个第一属性项，同时，获取第二数据项对应的多个第二属性项；

对第一属性项进行特征分析并提取，获得至少一个第四特征；

对第二属性项进行特征分析并提取，获得至少一个第五特征；

将第四特征和第五特征进行特征匹配，若匹配符合，将进行特征匹配的第四特征或第五特征作为第六特征；

基于预设的特征-价值度库，确定第六特征对应的价值度，并与对应第二数据项进行关联；

汇总第二数据项关联的价值度，获得价值度和；

若价值度和大于等于预设的第四阈值，将对应第二数据项作为第三数据项；

获取预设的异常分析模型，将第三数据项全部输入异常分析模型，获得至少一个异常类型和对应可能值；

定时对机械臂按照可能值从大至小依次执行相应异常类型的异常检测。

上述技术方案的工作原理及有益效果为：

获取机械臂对应的使用大数据(其他用户使用相同型号的机械臂遇到的问题等)；将使用大数据进行数据分析并拆分，获得第一数据项；第一数据项的来源类型分为共享(别的厂家进行共享)和爬取(基于爬取技术，从互联网中进行爬取)；当来源类型为共享时，获取共享方(例如：某厂家)和共享场景(例如：某共享平台)；获取共享方的信用值(可基于该共享方历史共享信息的真实程度确定)以及共享场景的可信度；若信用值小于等于预设的第一阈值(例如：75)和/或可信度小于等于预设的第二阈值(例如：90)，剔除对应第一数据项；当来源类型为爬取时，获取爬取过程；将爬取过程输入预设的风险分析模型(利用机器学习算法对大量人工对爬取过程进行风险分析的记录进行学习后生成的模型)，获得风险值；若风险值大于等于预设的第三阈值(例如：5)，剔除对应第一数据项；获取机械臂对应的多个第一属性项(例如：工作时长和工作模式等)；获取剔除剩余的第二数据项对应的多个第二属性项(其他用户对应机械臂的工作时长和工作模式等)；分别对第一属性项和第二属性项进行特征分析并提取，并进行特征匹配，若匹配符合，基于预设的特征-价值度库(包含不同特征对应的价值度的数据库，例如：某特征为使用时长特征，使用时长相同，其他机械臂出现的问题参考价值越大)；汇总(求和计算)价值度，获得价值度和，若价值度和大于等于预设的第四阈值(例如：150)，将对应第二数据项作为第三数据项；将第三数据项输入预设的异常分析模型(利用机器学习算法对大量人工进行异常分析的记录进行学习后生成的模型)，获得至少一个异常类型和对应可能值(可能值越大，发生对应异常类型的可能越大)；基于可能值大小，进行异常检测；

本发明实施例对使用大数据进行来源验证，保证使用大数据的可靠性；使用获取的使用大数据时，分别获取第一属性信息和第二属性信息，进行相应匹配，保证获得的异常类型的适用性；基于可能值，合理确定异常类型的检测顺序，提升了***的工作效率。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的***，如图2所示，包括：

识别模块1，用于设定挑拣区域和挑拣目标，将对应于挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别相机采集的挑拣区域的区域图像中对应于挑拣目标的像素坐标；

转换模块2，用于基于坐标转换矩阵，将像素坐标转换成空间坐标；

规划模块3，用于基于空间坐标，规划机械臂的第一控制策略；

控制模块4，用于基于第一控制策略，控制机械臂对挑拣目标进行挑拣。

上述技术方案的工作原理及有益效果为：

设定挑拣区域(例如：货品传送带上某区域)和挑拣目标(例如：尺寸为长8cm、宽2cm的红色纸箱)；将对应于挑拣区域的相机(例如：设置于货品传送带上某区域的上方且镜头对准传送带的CCD相机)进行相机标定，获得坐标转换矩阵(世界坐标与像素坐标的转换矩阵)；同时，基于图像识别技术，识别相机采集的挑拣区域的区域图像中挑拣目标的像素坐标；基于坐标转换矩阵，将像素坐标转换为空间坐标(货品的实际空间位置)；基于空间坐标，规划机械臂的第一控制策略(如何控制机械臂前往货品位置进行夹取)；基于第一控制策略，对机械臂进行控制；

本发明实施例利用相机与机械臂进行配合，对挑拣目标进行精准挑拣，实现视觉识别，节省了人力成本，更避免了人工进行挑拣容易出错的问题。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的***，规划模块3执行如下操作：

对区域图像进行预处理；

基于图像识别技术，识别预处理结果中对应于挑拣目标的像素坐标；

其中，对区域图像进行预处理，包括：

对区域图像分别进行掩模处理、二值化处理和降噪处理。

上述技术方案的工作原理及有益效果为：

在识别像素坐标前，需要对区域图像进行掩模处理、二值化处理和降噪处理(均值滤波、加权平均滤波和中值滤波等)。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的***，规划模块3执行如下操作：

获取预设的空间坐标系，将空间坐标输入至空间坐标系中，各空间坐标在空间坐标系中组合形成对应于挑拣目标的三维模型；

获取预设的抓取识别模型，将三维模型输入抓取识别模型，获得机械臂末端的机械爪抓取挑拣目标的第一抓取方向和多个抓取点坐标；

获取机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；

获取预设的第一控制策略规划模型，将第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入第一控制策略规划模型，获得机械臂的第一控制策略，完成规划；

其中，第一控制策略包括：机械臂中多个关节对应的在至少一个关节移动方向上的移动时机和移动距离以及机械爪的张开时机、收紧时机、旋转时机和对应于旋转时机的旋转角度。

上述技术方案的工作原理及有益效果为：

将空间坐标输入预设的空间坐标系中，各空间坐标构成挑拣目标的三维模型；将三维模型输入预设的抓取识别模型(利用机器学***一圈四个面的中心点)，获得第一抓取方向(例如：从上往下)和多个抓取点坐标；获取机械爪的第一当前位置坐标(一般取爪心位置的坐标)，设定挑拣放置位置(将挑拣目标挑拣出来应放置至的位置)的挑拣放置坐标；将第一当前位置坐标、挑拣位置坐标、第一抓取方向和抓取点输入预设的第一控制策略规划模型(利用机器学习算法对大量人工基于第一当前位置坐标等进行机械臂上的关节和机械爪移动规划的记录进行学习后生成的模型)，获得第一控制策略；

本发明实施例基于第一控制策略规划模型进行第一控制策略的规划，提升了***的工作效率。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的***，控制模块4执行如下操作：

当机械爪抓取完挑拣目标后，定时获取机械爪抓取挑拣目标的抓取状态信息；

对抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；

获取第一信息项的产生时间点，建立第一时间轴，基于产生时间点，将第一信息项对应设置于第一时间轴上，并将第一时间轴与对应第一类型进行关联；

对第一信息项进行特征分析并提取，获得至少一个第一特征；

获取预设的可疑特征库，将第一特征与可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应第一信息项在第一时间轴上的第一位置；

获取第二特征对应的至少一个跟踪信息，跟踪信息包括：进行跟踪的第二类型和对应触发特征库；

确定第二类型关联的第一时间轴，并作为第二时间轴；

确定第二时间轴上对应于第一位置的第二位置；

选取第二时间轴上第二位置之后的第一信息项，并作为第二信息项；

对第二信息项进行特征分析并提取，获得至少一个第三特征；

将第三特征与第二类型对应的触发特征库中的触发特征进行特征匹配，若匹配符合，确定挑拣目标发生掉落，并输出掉落时刻，触发机械爪对挑拣目标进行二次抓取；

获取机械爪的对应于掉落时刻的第二当前位置坐标、第一移动方向、移动速度和爪心对准方向，同时，获取挑拣目标的质量；

获取当前时刻，计算掉落时刻和当前时刻之间的第一时间差；

获取第二当前位置坐标与地面之间的垂直距离；

获取预设的时间差扩大模型，将第一时间差和垂直距离输入时间差扩大模型，获得第二时间差；

获取预设的掉落位置预测模型，将第二当前位置坐标、第一移动方向、移动速度、爪心对准方向、质量和第二时间差输入掉落位置预测模型，获得第一预测掉落位置的第一预测掉落位置坐标和掉落路线；

获取机械爪的第三当前位置坐标，将掉落路线作为需规避路线，将爪心对准方向的相反方向作为第二抓取方向；

获取预设的第二控制策略规划模型，将第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向输入第二第一控制策略规划模型，获得第二控制策略；

基于第二控制策略，控制机械爪前往第一预测掉落位置等待二次抓取挑拣目标；

当机械爪抵达后，控制机械爪张开至预设的最大张开幅度；

动态获取挑拣目标的当前掉落位置的掉落位置坐标；

每获取一次掉落位置坐标时，将掉落位置坐标补充输入掉落位置预测模型，获得第二预测掉落位置坐标；

获取预设的第三控制策略规划模型，将第一预测掉落位置坐标和第二预测掉落位置坐标输入第三控制策略规划模型，获得第三控制策略；

基于第三控制策略，控制机械爪前往第二预测掉落位置等待二次抓取挑拣目标；

计算掉落位置坐标和最新的第二预测掉落位置坐标之间的距离；

若距离小于等于预设的距离阈值，停止获取掉落位置坐标；

实时检测挑拣目标是否落入机械爪中，若是，控制机械爪进行收紧，二次抓取成功；

获取二次抓取成功时机械爪的第四当前位置坐标；

将第四当前位置坐标补充输入第一控制策略规划模型，获得第四控制策略；

基于第四控制策略，控制机械爪将挑拣目标送至挑拣放置位置。

上述技术方案的工作原理及有益效果为：

当机械爪抓取完挑拣目标后，准备送至挑拣放置位置，一般情况下，机械爪均从上往下垂直抓取挑拣目标，之后机械爪不会旋转(若旋转180°形成托持状态，旋转可能造成挑拣物体更快掉落，旋转力度不易控制，也比较耗时)，由于机械爪的大小与挑拣目标的尺寸不适配、挑拣目标的表面材料较滑等原因，挑拣目标可能会从机械手上掉落；因此，定时获取机械爪的抓取状态信息(例如：在机械爪的掌心设置距离传感器，用于测量掌心与挑拣目标之间的距离；在机械爪的单个爪指的指尖处设置压力传感器，用于测量指尖与挑拣目标之间的压力；距离和压力即为抓取状态信息)；对抓取状态信息进行信息分析并归类，获得不同第一类型(例如：距离信息、压力信息等)对应的第一信息项；将第一信息项对应的第一特征与预设的可疑特征库中(包含大量挑拣目标可能从机械爪中掉落的距离信息特征和压力信息特征等)的可疑特征进行匹配，若匹配符合，说明挑拣目标可能会掉落，获取第二特征对应的跟踪信息，跟踪信息包含需要进行跟踪的第二类型(例如：压力信息)和对应触发特征库(包含大量挑拣目标掉落坐实的特征的数据库)；确定第二信息项，将提取出的第三特征与对应触发特征库中的触发特征进行匹配，若匹配符合，说明挑拣目标发生掉落，触发机械爪对挑拣目标进行二次抓取；想要对挑拣目标进行二次抓取，就要预测挑拣目标的掉落位置，确定机械爪对应于挑拣目标掉落时刻的第二当前位置坐标(挑拣目标掉落初始位置)、第一移动方向、移动速度(挑拣目标掉落的速度)和爪心对准方向(一般为竖直向下，即掉落方向)和挑拣目标的质量；计算第一时间差，同时，计算第二当前位置坐标与地面之间的垂直距离(点到面的垂直距离)；获取预设的时间差扩大模型(利用机器学习算法对大量人工基于垂直距离对时间差进行扩大的记录进行学习后生成的模型)，将第一时间差和垂直距离输入时间差扩大模型，进行扩大，获得第二时间差(时间差越大，预测的时间跨度越大，接住挑拣目标的位置越低，但是，不能比地面低，因此，需要考虑垂直距离)；将二当前位置坐标、第一移动方向、爪心对准方向、质量和第二时间差输入预设的掉落位置预测模型(利用机器学习算法对大量人工进行掉落位置预测的记录进行学习后生成的模型)，获得第一预测掉落位置和掉落路线(两者基于运动学分析技术，可以得到)；机械臂的运动不能与掉落路线交叉，以免发生碰撞，因此，将掉落路线作为需规避路线；将爪心对准方向的相反方向作为第二抓取方向(竖直朝上)；获取预设的第二控制策略规划模型(与第一控制策略规划模型同理)，将第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向，获得第二控制策略，基于第二控制策略，将机械爪移动到第一预测掉落位置等待接住掉落的挑拣目标，并控制机械爪张开至最大；但是，由于存在预测误差，接住掉落目标的位置不一定正确，因此，需要主动再次进行预测，实时获取掉落位置坐标(可在机械爪的掌心设置毫米波雷达传感器，由毫米波雷达传感器进行获取)，将掉落位置坐标补充输入掉落位置预测模型，重新预测；计算掉落位置坐标和最新的第二预测掉落位置坐标之间的距离，当距离小于等于预设的距离阈值(例如：13厘米)时，挑拣目标即将落入机械爪，属于最佳抓取时机，检测挑拣目标是否落入机械爪中(例如：距离传感器测得的距离满足要求)，若是，控制机械爪收紧，同时，基于重新规划的第四控制策略，将挑拣目标送至挑拣放置位置；

本发明实施例在挑拣目标发生掉落时，在挑拣目标落地前尝试对挑拣目标进行二次抓取，避免挑拣目标与地面碰撞发生损坏；对挑拣目标进行二次抓取时，首先进行掉落位置预测，前往掉落位置等待接住抓取目标，期间考虑了掉落位置与地面之间的垂直距离，合理对第一时间差进行扩大；在抵达等待位置时，再次进行掉落位置预测，提升了接住挑拣目标的准确性。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的***，还包括：

扩充模块，所述扩充模块执行如下操作：

设定扩充目标，所述扩充目标包括：可疑特征库和触发特征库；

获取所述扩充目标对应的至少一个第一扩充接口；

获取所述第一扩充接口对应的至少一个扩充来源；

获取所述第一扩充接口对相应所述扩充来源进行担保的担保值，同时，获取所述扩充来源的经验值；

基于所述担保值和所述经验值计算所述第一扩充接口的第一评价指数，计算公式如下：

其中，σ为所述第一评价指数，d_i为所述第一扩充接口对第i个扩充来源进行担保的担保值，E_i为第i个扩充来源的经验值，l为扩充来源的总数目；

若所述第一评价指数大于等于预设的第五阈值，将对应所述第一扩充接口作为第二扩充接口；

通过所述第二扩充接口获取新的至少一个扩充内容项；

获取所述扩充内容项对应的正向测试记录和反向测试记录；

对所述正向测试记录进行解析，获得多个第一测试值；

对所述反向测试记录进行解析，获得多个第二测试值；

基于所述第一测试值和所述第二测试值计算所述扩充内容项的第二评价指数，计算公式如下：

其中，γ为所述第二评价指数，θ₁和θ₂为预设的权重值，c_1,t为对所述正向测试记录进行解析获得的第t个第一测试值，c_2,t为对所述反向测试记录进行解析获得的第t个第二测试值，α为所述第一测试值的总数目，β为所述第二测试值的总数目；

若所述第二评价指数大于等于预设的第六阈值，将对应所述扩充内容项输入至所述扩充目标。

上述技术方案的工作原理及有益效果为：

扩充来源(某特征收集人员)想要从第一扩充接口提供给我方，需要第一扩充接口对其进行担保，担保值越大，担保力度越大；扩充来源对应有经验值，即特征收集人员的经验值(与人员经验程度呈正相关)；基于担保值和经验值计算第一评价指数，第一评价指数大于等于预设的第五阈值(例如：96)时，对应第一扩充接口满足要求，作为第二扩充接口；通过第二扩充接口获取新产生的至少一个扩充内容项(人员收集的特征)，获取扩充内容项对应的正向测试记录(人工模拟收集的特征，例如：轻微拽动机械爪中的挑拣目标，看是否能够证明挑拣目标掉落)和反向测试记录(当挑拣目标掉落时，回顾之前产生的特征是否的确有收集的特征)；分别对测试记录进行解析，获得测试值，测试值越大，说明收集的特征可用程度越高；基于第一测试值和第二测试值计算第二评价指数，第二评价指数越大，对应扩充内容项越可用，填充至扩充目标即可；

本发明实施例设定扩充目标，对扩充目标进行扩充，提升了发现挑拣目标可能掉落或已经掉落的及时性；对扩充接口进行筛选，保证获取扩充内容的扩充接口的可靠性；在获取扩充内容后，对内容进行正反向测试，基于测试结果，筛选出可用的扩充内容，对扩充目标进行扩充。

本发明实施例提供了一种基于视觉识别实现机械臂精准挑拣的***，如图3所示，还包括：

检测模块5，检测模块5执行如下操作：

获取机械臂对应的使用大数据；

对使用大数据进行数据分析并拆分，获得多个第一数据项；

获取第一数据项对应的来源类型，来源类型包括：共享和爬取；

当第一数据项对应的来源类型为共享时，获取第一数据项对应的共享方和对应共享场景；

获取共享方的信用值，同时，获取共享场景的可信度；

若信用值小于等于预设的第一阈值和/或可信度小于等于预设的第二阈值，剔除对应第一数据项；

当第一数据项对应的来源类型为爬取时，获取爬取第一数据项的爬取过程；

获取预设的风险分析模型，将爬取过程输入风险分析模型，获得风险值；

若风险值大于等于预设的第三阈值，剔除对应第一数据项；

当第一数据项中需要剔除的第一数据项均剔除后，将剩余第一数据项作为第二数据项；

获取机械臂对应的多个第一属性项，同时，获取第二数据项对应的多个第二属性项；

对第一属性项进行特征分析并提取，获得至少一个第四特征；

对第二属性项进行特征分析并提取，获得至少一个第五特征；

将第四特征和第五特征进行特征匹配，若匹配符合，将进行特征匹配的第四特征或第五特征作为第六特征；

基于预设的特征-价值度库，确定第六特征对应的价值度，并与对应第二数据项进行关联；

汇总第二数据项关联的价值度，获得价值度和；

若价值度和大于等于预设的第四阈值，将对应第二数据项作为第三数据项；

获取预设的异常分析模型，将第三数据项全部输入异常分析模型，获得至少一个异常类型和对应可能值；

定时对机械臂按照可能值从大至小依次执行相应异常类型的异常检测。

上述技术方案的工作原理及有益效果为：

获取机械臂对应的使用大数据(其他用户使用相同型号的机械臂遇到的问题等)；将使用大数据进行数据分析并拆分，获得第一数据项；第一数据项的来源类型分为共享(别的厂家进行共享)和爬取(基于爬取技术，从互联网中进行爬取)；当来源类型为共享时，获取共享方(例如：某厂家)和共享场景(例如：某共享平台)；获取共享方的信用值(可基于该共享方历史共享信息的真实程度确定)以及共享场景的可信度；若信用值小于等于预设的第一阈值(例如：75)和/或可信度小于等于预设的第二阈值(例如：90)，剔除对应第一数据项；当来源类型为爬取时，获取爬取过程；将爬取过程输入预设的风险分析模型(利用机器学习算法对大量人工对爬取过程进行风险分析的记录进行学习后生成的模型)，获得风险值；若风险值大于等于预设的第三阈值(例如：5)，剔除对应第一数据项；获取机械臂对应的多个第一属性项(例如：工作时长和工作模式等)；获取剔除剩余的第二数据项对应的多个第二属性项(其他用户对应机械臂的工作时长和工作模式等)；分别对第一属性项和第二属性项进行特征分析并提取，并进行特征匹配，若匹配符合，基于预设的特征-价值度库(包含不同特征对应的价值度的数据库，例如：某特征为使用时长特征，使用时长相同，其他机械臂出现的问题参考价值越大)；汇总(求和计算)价值度，获得价值度和，若价值度和大于等于预设的第四阈值(例如：150)，将对应第二数据项作为第三数据项；将第三数据项输入预设的异常分析模型(利用机器学习算法对大量人工进行异常分析的记录进行学习后生成的模型)，获得至少一个异常类型和对应可能值(可能值越大，发生对应异常类型的可能越大)；基于可能值大小，进行异常检测；

本发明实施例对使用大数据进行来源验证，保证使用大数据的可靠性；使用获取的使用大数据时，分别获取第一属性信息和第二属性信息，进行相应匹配，保证获得的异常类型的适用性；基于可能值，合理确定异常类型的检测顺序，提升了***的工作效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，包括：

步骤S1：设定挑拣区域和挑拣目标，将对应于所述挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别所述相机采集的所述挑拣区域的区域图像中对应于所述挑拣目标的像素坐标；

步骤S2：基于坐标转换矩阵，将所述像素坐标转换成空间坐标；

步骤S3：基于所述空间坐标，规划机械臂的第一控制策略；

步骤S4：基于所述第一控制策略，控制所述机械臂对所述挑拣目标进行挑拣；

所述方法还包括：

获取所述机械臂对应的使用大数据；

对所述使用大数据进行数据分析并拆分，获得多个第一数据项；

获取所述第一数据项对应的来源类型，所述来源类型包括：共享和爬取；

当所述第一数据项对应的来源类型为共享时，获取所述第一数据项对应的共享方和对应共享场景；

获取所述共享方的信用值，同时，获取所述共享场景的可信度；

若所述信用值小于等于预设的第一阈值和/或所述可信度小于等于预设的第二阈值，剔除对应所述第一数据项；

当所述第一数据项对应的来源类型为爬取时，获取爬取所述第一数据项的爬取过程；

获取预设的风险分析模型，将所述爬取过程输入所述风险分析模型，获得风险值；

若所述风险值大于等于预设的第三阈值，剔除对应所述第一数据项；

当所述第一数据项中需要剔除的所述第一数据项均剔除后，将剩余所述第一数据项作为第二数据项；

获取所述机械臂对应的多个第一属性项，同时，获取所述第二数据项对应的多个第二属性项；

对所述第一属性项进行特征分析并提取，获得至少一个第四特征；

对所述第二属性项进行特征分析并提取，获得至少一个第五特征；

将所述第四特征和第五特征进行特征匹配，若匹配符合，将进行特征匹配的第四特征或第五特征作为第六特征；

基于预设的特征-价值度库，确定所述第六特征对应的价值度，并与对应所述第二数据项进行关联；

汇总所述第二数据项关联的所述价值度，获得价值度和；

若所述价值度和大于等于预设的第四阈值，将对应所述第二数据项作为第三数据项；

获取预设的异常分析模型，将所述第三数据项全部输入所述异常分析模型，获得至少一个异常类型和对应可能值；

定时对所述机械臂按照所述可能值从大至小依次执行相应所述异常类型的异常检测。

2.如权利要求1所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，所述步骤S1中，识别所述相机采集的所述挑拣区域的区域图像中对应于所述挑拣目标的像素坐标，包括：

对区域图像进行预处理；

基于图像识别技术，识别预处理结果中对应于所述挑拣目标的像素坐标；

其中，对区域图像进行预处理，包括：

对所述区域图像分别进行掩模处理、二值化处理和降噪处理。

3.如权利要求1所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，步骤S3：基于所述空间坐标，规划机械臂的第一控制策略，包括：

获取预设的空间坐标系，将所述空间坐标输入至所述空间坐标系中，各所述空间坐标在所述空间坐标系中组合形成对应于所述挑拣目标的三维模型；

获取预设的抓取识别模型，将所述三维模型输入所述抓取识别模型，获得所述机械臂末端的机械爪抓取所述挑拣目标的第一抓取方向和多个抓取点坐标；

获取所述机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；

获取预设的第一控制策略规划模型，将所述第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入所述第一控制策略规划模型，获得所述机械臂的第一控制策略，完成规划；

其中，所述第一控制策略包括：所述机械臂中多个关节对应的在至少一个关节移动方向上的移动时机和移动距离以及所述机械爪的张开时机、收紧时机、旋转时机和对应于所述旋转时机的旋转角度。

4.如权利要求3所述的一种基于视觉识别实现机械臂精准挑拣的方法，其特征在于，还包括：

当所述机械爪抓取完所述挑拣目标后，定时获取所述机械爪抓取所述挑拣目标的抓取状态信息；

对所述抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；

获取所述第一信息项的产生时间点，建立第一时间轴，基于所述产生时间点，将所述第一信息项对应设置于所述第一时间轴上，并将所述第一时间轴与对应所述第一类型进行关联；

对所述第一信息项进行特征分析并提取，获得至少一个第一特征；

获取预设的可疑特征库，将所述第一特征与所述可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应所述第一信息项在所述第一时间轴上的第一位置；

获取所述第二特征对应的至少一个跟踪信息，所述跟踪信息包括：进行跟踪的第二类型和对应触发特征库；

确定所述第二类型关联的所述第一时间轴，并作为第二时间轴；

确定所述第二时间轴上对应于所述第一位置的第二位置；

选取所述第二时间轴上所述第二位置之后的所述第一信息项，并作为第二信息项；

对所述第二信息项进行特征分析并提取，获得至少一个第三特征；

将所述第三特征与所述第二类型对应的所述触发特征库中的触发特征进行特征匹配，若匹配符合，确定所述挑拣目标发生掉落，并输出掉落时刻，触发所述机械爪对所述挑拣目标进行二次抓取；

获取所述机械爪的对应于所述掉落时刻的第二当前位置坐标、第一移动方向、移动速度和爪心对准方向，同时，获取所述挑拣目标的质量；

获取当前时刻，计算所述掉落时刻和所述当前时刻之间的第一时间差；

获取所述第二当前位置坐标与地面之间的垂直距离；

获取预设的时间差扩大模型，将所述第一时间差和所述垂直距离输入所述时间差扩大模型，获得第二时间差；

获取预设的掉落位置预测模型，将所述第二当前位置坐标、第一移动方向、移动速度、爪心对准方向、质量和第二时间差输入所述掉落位置预测模型，获得第一预测掉落位置的第一预测掉落位置坐标和掉落路线；

获取所述机械爪的第三当前位置坐标，将所述掉落路线作为需规避路线，将所述爪心对准方向的相反方向作为第二抓取方向；

获取预设的第二控制策略规划模型，将所述第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向输入所述第二第一控制策略规划模型，获得第二控制策略；

基于所述第二控制策略，控制所述机械爪前往所述第一预测掉落位置等待二次抓取所述挑拣目标；

当所述机械爪抵达后，控制所述机械爪张开至预设的最大张开幅度；

动态获取所述挑拣目标的当前掉落位置的掉落位置坐标；

每获取一次所述掉落位置坐标时，所述将所述掉落位置坐标补充输入所述掉落位置预测模型，获得第二预测掉落位置坐标；

获取预设的第三控制策略规划模型，将所述第一预测掉落位置坐标和所述第二预测掉落位置坐标输入所述第三控制策略规划模型，获得第三控制策略；

基于所述第三控制策略，控制所述机械爪前往所述第二预测掉落位置等待二次抓取所述挑拣目标；

计算所述掉落位置坐标和最新的所述第二预测掉落位置坐标之间的距离；

若所述距离小于等于预设的距离阈值，停止获取所述掉落位置坐标；

实时检测所述挑拣目标是否落入所述机械爪中，若是，控制所述机械爪进行收紧，二次抓取成功；

获取二次抓取成功时所述机械爪的第四当前位置坐标；

将所述第四当前位置坐标补充输入所述第一控制策略规划模型，获得第四控制策略；

基于所述第四控制策略，控制所述机械爪将所述挑拣目标送至所述挑拣放置位置。

5.一种基于视觉识别实现机械臂精准挑拣的***，其特征在于，包括：

识别模块，用于设定挑拣区域和挑拣目标，将对应于所述挑拣区域的相机进行相机标定，获得坐标转换矩阵，同时，识别所述相机采集的所述挑拣区域的区域图像中对应于所述挑拣目标的像素坐标；

转换模块，用于基于坐标转换矩阵，将所述像素坐标转换成空间坐标；

规划模块，用于基于所述空间坐标，规划机械臂的第一控制策略；

控制模块，用于基于所述第一控制策略，控制所述机械臂对所述挑拣目标进行挑拣；

所述***还包括：

检测模块，所述检测模块执行如下操作：

获取所述机械臂对应的使用大数据；

对所述使用大数据进行数据分析并拆分，获得多个第一数据项；

获取所述第一数据项对应的来源类型，所述来源类型包括：共享和爬取；

当所述第一数据项对应的来源类型为共享时，获取所述第一数据项对应的共享方和对应共享场景；

获取所述共享方的信用值，同时，获取所述共享场景的可信度；

若所述信用值小于等于预设的第一阈值和/或所述可信度小于等于预设的第二阈值，剔除对应所述第一数据项；

当所述第一数据项对应的来源类型为爬取时，获取爬取所述第一数据项的爬取过程；

获取预设的风险分析模型，将所述爬取过程输入所述风险分析模型，获得风险值；

若所述风险值大于等于预设的第三阈值，剔除对应所述第一数据项；

当所述第一数据项中需要剔除的所述第一数据项均剔除后，将剩余所述第一数据项作为第二数据项；

获取所述机械臂对应的多个第一属性项，同时，获取所述第二数据项对应的多个第二属性项；

对所述第一属性项进行特征分析并提取，获得至少一个第四特征；

对所述第二属性项进行特征分析并提取，获得至少一个第五特征；

将所述第四特征和第五特征进行特征匹配，若匹配符合，将进行特征匹配的第四特征或第五特征作为第六特征；

基于预设的特征-价值度库，确定所述第六特征对应的价值度，并与对应所述第二数据项进行关联；

汇总所述第二数据项关联的所述价值度，获得价值度和；

若所述价值度和大于等于预设的第四阈值，将对应所述第二数据项作为第三数据项；

获取预设的异常分析模型，将所述第三数据项全部输入所述异常分析模型，获得至少一个异常类型和对应可能值；

定时对所述机械臂按照所述可能值从大至小依次执行相应所述异常类型的异常检测。

6.如权利要求5所述的一种基于视觉识别实现机械臂精准挑拣的***，其特征在于，所述规划模块执行如下操作：

对区域图像进行预处理；

基于图像识别技术，识别预处理结果中对应于所述挑拣目标的像素坐标；

其中，对区域图像进行预处理，包括：

对所述区域图像分别进行掩模处理、二值化处理和降噪处理。

7.如权利要求5所述的一种基于视觉识别实现机械臂精准挑拣的***，其特征在于，所述规划模块执行如下操作：

获取预设的空间坐标系，将所述空间坐标输入至所述空间坐标系中，各所述空间坐标在所述空间坐标系中组合形成对应于所述挑拣目标的三维模型；

获取预设的抓取识别模型，将所述三维模型输入所述抓取识别模型，获得所述机械臂末端的机械爪抓取所述挑拣目标的第一抓取方向和多个抓取点坐标；

获取所述机械爪的第一当前位置坐标，同时，设定挑拣放置位置的挑拣放置坐标；

获取预设的第一控制策略规划模型，将所述第一当前位置坐标、挑拣放置坐标、第一抓取方向和多个抓取点坐标输入所述第一控制策略规划模型，获得所述机械臂的第一控制策略，完成规划；

其中，所述第一控制策略包括：所述机械臂中多个关节对应的在至少一个关节移动方向上的移动时机和移动距离以及所述机械爪的张开时机、收紧时机、旋转时机和对应于所述旋转时机的旋转角度。

8.如权利要求7所述的一种基于视觉识别实现机械臂精准挑拣的***，其特征在于，所述控制模块执行如下操作：

当所述机械爪抓取完所述挑拣目标后，定时获取所述机械爪抓取所述挑拣目标的抓取状态信息；

对所述抓取状态信息进行信息分析并归类，获得不同第一类型对应的多个第一信息项；

获取所述第一信息项的产生时间点，建立第一时间轴，基于所述产生时间点，将所述第一信息项对应设置于所述第一时间轴上，并将所述第一时间轴与对应所述第一类型进行关联；

对所述第一信息项进行特征分析并提取，获得至少一个第一特征；

获取预设的可疑特征库，将所述第一特征与所述可疑特征库中的可疑特征进行特征匹配，若匹配符合，确定匹配符合的可疑特征，并作为第二特征，同时，确定对应所述第一信息项在所述第一时间轴上的第一位置；

获取所述第二特征对应的至少一个跟踪信息，所述跟踪信息包括：进行跟踪的第二类型和对应触发特征库；

确定所述第二类型关联的所述第一时间轴，并作为第二时间轴；

确定所述第二时间轴上对应于所述第一位置的第二位置；

选取所述第二时间轴上所述第二位置之后的所述第一信息项，并作为第二信息项；

对所述第二信息项进行特征分析并提取，获得至少一个第三特征；

将所述第三特征与所述第二类型对应的所述触发特征库中的触发特征进行特征匹配，若匹配符合，确定所述挑拣目标发生掉落，并输出掉落时刻，触发所述机械爪对所述挑拣目标进行二次抓取；

获取所述机械爪的对应于所述掉落时刻的第二当前位置坐标、第一移动方向、移动速度和爪心对准方向，同时，获取所述挑拣目标的质量；

获取当前时刻，计算所述掉落时刻和所述当前时刻之间的第一时间差；

获取所述第二当前位置坐标与地面之间的垂直距离；

获取预设的时间差扩大模型，将所述第一时间差和所述垂直距离输入所述时间差扩大模型，获得第二时间差；

获取预设的掉落位置预测模型，将所述第二当前位置坐标、第一移动方向、移动速度、爪心对准方向、质量和第二时间差输入所述掉落位置预测模型，获得第一预测掉落位置的第一预测掉落位置坐标和掉落路线；

获取所述机械爪的第三当前位置坐标，将所述掉落路线作为需规避路线，将所述爪心对准方向的相反方向作为第二抓取方向；

获取预设的第二控制策略规划模型，将所述第一预测掉落位置坐标、第三当前位置坐标、需规避路线和第二抓取方向输入所述第二第一控制策略规划模型，获得第二控制策略；

基于所述第二控制策略，控制所述机械爪前往所述第一预测掉落位置等待二次抓取所述挑拣目标；

当所述机械爪抵达后，控制所述机械爪张开至预设的最大张开幅度；

动态获取所述挑拣目标的当前掉落位置的掉落位置坐标；

每获取一次所述掉落位置坐标时，所述将所述掉落位置坐标补充输入所述掉落位置预测模型，获得第二预测掉落位置坐标；

获取预设的第三控制策略规划模型，将所述第一预测掉落位置坐标和所述第二预测掉落位置坐标输入所述第三控制策略规划模型，获得第三控制策略；

基于所述第三控制策略，控制所述机械爪前往所述第二预测掉落位置等待二次抓取所述挑拣目标；

计算所述掉落位置坐标和最新的所述第二预测掉落位置坐标之间的距离；

若所述距离小于等于预设的距离阈值，停止获取所述掉落位置坐标；

实时检测所述挑拣目标是否落入所述机械爪中，若是，控制所述机械爪进行收紧，二次抓取成功；

获取二次抓取成功时所述机械爪的第四当前位置坐标；

将所述第四当前位置坐标补充输入所述第一控制策略规划模型，获得第四控制策略；

基于所述第四控制策略，控制所述机械爪将所述挑拣目标送至所述挑拣放置位置。

Images