CN117671014B - 一种基于图像处理的机械臂定位抓取方法及*** - Google Patents

Abstract

本发明涉及图像增强技术领域，具体涉及一种基于图像处理的机械臂定位抓取方法及***。该方法获取预设数量帧灰度图像；根据相邻两帧灰度图像的目标区域内像素点的位置变化，获取移动向量，筛选出模糊区域；将模糊区域所在的灰度图像及其之前的所有灰度图像，作为参考图像；根据参考图像与前一帧参考图像内的移动向量，获取像素点的模糊值；根据参考图像中相同像素点的模糊值的变化，获取实际模糊值，对灰度值进行调整，获得增强模糊区域，进行机械臂定位抓取。本发明通过获取模糊区域内像素点的实际模糊值，对模糊区域内每个像素点的灰度值进行调整，增强模糊区域，进而对目标物体准确定位识别，提高机械臂定位抓取目标物体的准确性。

Description

一种基于图像处理的机械臂定位抓取方法及***

技术领域

本发明涉及图像增强技术领域，具体涉及一种基于图像处理的机械臂定位抓取方法及***。

背景技术

机械臂定位抓取是指通过视觉感知或者其他传感器获取目标物体的位置信息，然后使用机械臂执行精确的抓取动作。现有方法中在机械臂末端安装视觉传感器采集拍摄画面，根据拍摄画面中目标物体的位置，规划机械臂的运动路径，准确抓取目标物体。

在实际情况中，目标物体在传送带上处于移动状态，视觉传感器对捕捉的每一帧目标物体的图像进行分析时，每一帧目标物体的图像中容易出现目标物体运动模糊现象，导致目标物体的定位不准确，进而使得机械臂不能准确抓取目标物体。

发明内容

为了解决每一帧目标物体的图像中容易出现目标物体运动模糊现象，导致目标物体的定位不准确的技术问题，本发明的目的在于提供一种基于图像处理的机械臂定位抓取方法及***，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于图像处理的机械臂定位抓取方法，该方法包括以下步骤：

获取连续预设数量帧目标物体的灰度图像；

根据灰度图像中连通域的大小，获取每帧灰度图像中的目标区域；根据相邻两帧灰度图像的目标区域内相同像素点的位置变化，获取目标区域内每个像素点的移动向量；根据每个目标区域内移动向量长度的变化情况，获取每个目标区域的增强值，筛选出模糊区域；

将模糊区域所在的灰度图像及其之前的所有灰度图像，作为模糊区域的参考图像；根据每帧参考图像的目标区域内每个像素点的移动向量角度的变化速度，每帧参考图像的目标区域内每个像素点的移动向量与前一帧参考图像中相同像素点的移动向量之间的角度变化，每帧参考图像的目标区域的增强值和每帧参考图像的目标区域内每个像素点与周围像素点之间的移动向量模长差异的波动，获取每帧参考图像的目标区域内每个像素点的模糊值；

根据模糊区域内每个像素点在对应参考图像中相同像素点的模糊值的变化趋势，对模糊区域内每个像素点的模糊值进行修正，获取模糊区域内每个像素点的实际模糊值；

根据所述实际模糊值对模糊区域内每个像素点的灰度值进行调整，获得增强模糊区域，进行机械臂定位抓取。

进一步地，所述目标区域的获取方法为：

通过连通域算法，获取每帧灰度图像中的连通域；

将每帧灰度图像中最大面积的连通域，作为每帧灰度图像中的目标区域；其中，每帧灰度图像中的目标区域均为目标物体所在的区域，每个目标区域中的像素点数量相同。

进一步地，所述根据每个目标区域内移动向量长度的变化情况，获取每个目标区域的增强值，筛选出模糊区域的方法为：

对于任一目标区域，获取该目标区域内每个像素点的移动向量长度；

获取该目标区域内最大移动向量长度与最小移动向量长度的相加结果，作为该目标区内移动向量长度的变化权重；

通过变化权重，对该目标区域内最大移动向量长度与最小移动向量长度的差值，进行调整，获取该目标区域的整体变化值；

根据该目标区域的整体变化值和该目标区域内移动向量长度的方差，获取该目标区域的增强值；

当归一化的增强值大于预设的增强值阈值时，将对应的目标区域作为模糊区域。

进一步地，所述增强值的计算公式为：

式中，为第q个目标区域的增强值；/>为第q个目标区域内最大移动向量长度；为第q个目标区域内最小移动向量长度；/>为第q个目标区域的变化权重；为第q个目标区域内移动向量长度的方差。

进一步地，所述根据每帧参考图像的目标区域内每个像素点的移动向量角度的变化速度，每帧参考图像的目标区域内每个像素点的移动向量与前一帧参考图像中相同像素点的移动向量之间的角度变化，每帧参考图像的目标区域的增强值和每帧参考图像的目标区域内每个像素点与周围像素点之间的移动向量模长差异的波动，获取每帧参考图像的目标区域内每个像素点的模糊值的方法为：

获取相邻两帧参考图像之间的时间间隔的大小，作为第一时长；其中，每相邻两帧参考图像之间的时间间隔均相等；

获取第k帧参考图像的目标区域内每个像素点的移动向量角度的大小与第一时长的比值，作为第k帧参考图像的目标区域内对应像素点的移动向量的角速度；

根据第k帧参考图像的目标区域内每个像素点与第(k-1)帧参考图像中相同像素点之间的移动向量角度大小的差异，第一时长，以及第(k-1)帧参考图像的目标区域内每个像素点的移动向量的角速度，获取第k帧参考图像的目标区域内每个像素点的移动向量的角度加速度；

根据第k帧参考图像的目标区域内每个像素点的移动向量的角速度和角度加速度，以及第k帧参考图像的目标区域的增强值和第k帧参考图像的目标区域内每个像素点与四邻域像素点之间的移动向量模长差异的波动，获取第k帧参考图像的目标区域内每个像素点的模糊值。

进一步地，所述角度加速度的计算公式为：

式中，为第k帧参考图像的目标区域内第i个像素点的移动向量的角度加速度；为第k帧参考图像的目标区域内第i个像素点的移动向量角度的大小；/>为第(k-1)帧参考图像的目标区域内第i个像素点的移动向量角度的大小；/>为第(k-1)帧参考图像的目标区域内第i个像素点的移动向量的角速度；t为第一时长。

进一步地，所述模糊值的计算公式为：

式中，为第k帧参考图像的目标区域内第i个像素点的模糊值；/>为第k帧参考图像的目标区域的增强值；/>为第k帧参考图像的目标区域内第i个像素点的移动向量角度的大小；t为第一时长；/>为第k帧参考图像的目标区域内第i个像素点的移动向量的角速度；/>为第k帧参考图像的目标区域内第i个像素点的移动向量的角度加速度；N为第k帧参考图像的目标区域内第i个像素点的邻域像素点的总数量；/>为第k帧参考图像的目标区域内第i个像素点的移动向量模长；/>为第k帧参考图像的目标区域内第i个像素点的第n个邻域像素点的移动向量模长；/>为第k帧参考图像的目标区域内第i个像素点与每个邻域像素点的移动向量模长差值的均值。

进一步地，所述实际模糊值的获取方法为：

对于任一模糊区域，将该模糊区域内第j个像素点作为目标像素点；

将该模糊区域的参考图像中与目标像素点相同的像素点的模糊值根据时间顺序进行排序，获得模糊值序列；

从模糊值序列的最后一个模糊值开始，减去相邻的前一个模糊值，将获得的差值作为目标差值；

当目标差值小于预设的目标差值阈值时，停止获取目标差值；

将获取的目标差值进行累加的结果，作为第一结果；

将参与获取第一结果的模糊值数量，作为第一数量；

将第一结果与第一数量的乘积，作为调节值；

将归一化的调节值，作为该模糊区域内第j个像素点的第一权重；

将该模糊区域内第j个像素点的第一权重与模糊值的乘积，作为该模糊区域中第j个像素点的实际模糊值。

进一步地，所述根据所述实际模糊值对模糊区域内每个像素点的灰度值进行调整的方法为：

将模糊区域内每个像素点的实际模糊值进行归一化的结果，作为对应像素点的模糊特征值；

将模糊特征值进行负相关的结果，作为对应像素点的非模糊特征值；

当模糊特征值大于预设的模糊特征值阈值时，将对应像素点的灰度值与非模糊特征值的乘积，作为对应像素点的调整灰度值；

当模糊分界值小于或者等于预设的分界值阈值时，获取对应像素点的灰度值与非模糊特征值的乘积，作为对应像素点的灰度调整值；将对应像素点的灰度值与灰度调整值的相加结果，作为对应像素点的调整灰度值。

第二方面，本发明另一个实施例提供了一种基于图像处理的机械臂定位抓取***，该***包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述任意一项方法的步骤。

本发明具有如下有益效果：

根据灰度图像中连通域的大小，获取每帧灰度图像中的目标区域，确定每帧灰度图像中目标物体所在的位置，初步确定每帧灰度图像中的目标物体进行定位识别；进而根据相邻两帧灰度图像的目标区域内相同像素点的位置变化，获取目标区域内每个像素点的移动向量，为分析每个目标区域内是否存在运动模糊现象做准备，进而根据每个目标区域内移动向量长度的变化情况，获取每个目标区域的增强值，筛选出模糊区域，对模糊区域进行分析，提高对运动模糊缺陷进行处理的效率；为了对模糊区域进行准确增强，进而将模糊区域所在的灰度图像及其之前的所有灰度图像，作为模糊区域的参考图像，基于参考图像中目标区域内每个像素点的移动向量的变化和分布情况，进而准确高效的获取模糊区域内每个像素点的实际模糊值，对模糊区域内每个像素点的灰度值进行准确调整，准确对模糊区域进行增强，进而对每帧灰度图像中的目标物体进行准确定位识别，使得机械臂准确高效抓取目标物体。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于图像处理的机械臂定位抓取方法的流程示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的机械臂定位抓取方法及***，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于图像处理的机械臂定位抓取方法的具体方案。

本发明实施例的具体场景：为了使得机械臂更准确的抓取药品，本发明实施例将传送带的背景设定为黑色，药品在传送带上是明显的亮区域，为了对待抓取药品进行准确定位识别，本发明实施例将获取的每帧图像进行灰度化处理，获取灰度图像，在灰度图像的基础上识别定位待抓取药品。其中，灰度化处理为现有技术，不再进行赘述。

本发明实施例的目的为：由于待抓取药品在传送带上处于动态变化，因此，视觉传感器获取的每帧灰度图像中容易存在运动模糊现象，进而导致待抓取药品存在重影现象，使得待抓取药品不能被机械臂准确定位抓取。因此，本发明实施例对每帧灰度图像进行分析，获取每帧灰度图像中待抓取药品所在的区域作为目标区域，根据相邻两帧灰度图像的目标区域内相同像素点的位置变化，获取目标区域内每个像素点的移动向量，根据每个目标区域内移动向量的变化，筛选出存在运动模糊缺陷的模糊区域，对模糊区域进行分析，进而调整模糊区域内每个像素点的灰度值，对模糊区域进行增强，准确对待抓取药品进行定位，使得机械臂准确高效抓取待抓取药品。

请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的机械臂定位抓取方法的流程示意图，该方法包括以下步骤：

步骤S1：获取连续预设数量帧目标物体的灰度图像。

具体的，本发明实施例以机械臂抓取传送带上的药品为例进行分析。其中，传送带上的每个药品完全相同。将机械臂布置在传送带尽头的一侧，在机械臂的末端安装视觉传感器，将视觉传感器以45°俯角的视角正对着传送带，拍摄传送带移动方向上的药品。其中，机械臂抓取传送带上距离最近的药品，因此，本发明实施例中的目标物体即为传送带上距离机械臂最近的药品。机械臂对传送带上的药品进行定位识别过程中，获取机械臂末端视觉传感器拍摄采集的视频，视觉传感器的采集帧率为30帧每秒，为了提高机械臂抓取的效率，本发明实施例获取机械臂抓取前最后一秒内最后连续10帧含有待抓取药品的图像，实施者可根据实际情况设定连续预设数量帧图像，在此不进行限定。其中，每帧图像中像素点的数量相同。

步骤S2：根据灰度图像中连通域的大小，获取每帧灰度图像中的目标区域；根据相邻两帧灰度图像的目标区域内相同像素点的位置变化，获取目标区域内每个像素点的移动向量；根据每个目标区域内移动向量长度的变化情况，获取每个目标区域的增强值，筛选出模糊区域。

具体的，已知在每帧灰度图像中背景为黑色，药品所在区域为灰度值较大的区域，因此通过连通域算法，获取每帧灰度图像中的连通域，一个连通域默认为一个药品。其中，连通域算法为现有技术不再进行赘述。获取的每帧灰度图像中可能会存在多个药品，即存在多个连通域，因为机械臂抓取距离最近的药品，根据近大远小的视觉原理，因此，获取每帧灰度图像中每个连通域的面积，将每帧灰度图像中最大面积的连通域，作为每帧灰度图像中的目标区域，其中，每帧灰度图像中的目标区域均为目标物体即待抓取药品所在的区域，因此，每个目标区域中的像素点数量相同且每帧灰度图像中只有一个目标区域。其中，连通域面积的获取方法为现有技术，不再进行赘述。至此，确定每帧灰度图像中待抓取药品的区域即目标区域。因为待抓取药品在传送带上运动，因此，每帧灰度图像中的目标区域都可能产生运动模糊缺陷，为了分析每个目标区域中是否存在运动模糊缺陷，本发明实施例根据相邻两帧灰度图像的目标区域内相同像素点的位置变化，获取目标区域内每个像素点的移动向量，其中，不同目标区域内的相同像素点指的是代表待抓取药品同一个区域的像素点。进而根据每个目标区域内移动向量长度的变化情况，筛选出存在运动模糊缺陷的目标区域即模糊区域，后续对模糊区域进行增强，进而准确对待抓取药品进行定位识别。其中，获取模糊区域的具体方法如下：

（1）获取移动向量。

优选地，获取移动向量的方法为：通过光流法，获取第(i-1)帧灰度图像的目标区域内每个像素点到第i帧灰度图像的目标区域内相同像素点的移动向量，作为第i帧灰度图像的目标区域内对应像素点的移动向量。其中，光流法为公知技术，不再进行赘述。需要说明的是，第一帧灰度图像不存在相邻的前一帧灰度图像，因此不对第一帧灰度图像的目标区域进行分析。

（2）获取模糊区域。

由于运动模糊缺陷是由待抓取药品在相邻两帧灰度图像之间的时间间隔中运动导致的残影，因此，当目标区域内的移动向量长度越相似时，说明该目标区域越清晰，越不存在运动模糊缺陷；当目标区域内的移动向量长度越不一致时，说明该目标区域越可能存在运动模糊缺陷。因此，根据每个目标区域内的移动向量长度的变化，获取每个目标区域的增强值，筛选出模糊区域。

优选地，获取模糊区域的方法为：对于任一目标区域，获取该目标区域内每个像素点的移动向量长度；获取该目标区域内最大移动向量长度与最小移动向量长度的相加结果，作为该目标区内移动向量长度的变化权重。其中，变化权重越大，说明该目标区域内移动向量长度比较大，间接说明该目标区域越可能存在运动模糊缺陷。为了进一步确定该目标区域的运动模糊缺陷情况，通过变化权重，对该目标区域内最大移动向量长度与最小移动向量长度的差值，进行调整，获取该目标区域的整体变化值。整体变化值越大，说明该目标区域越可能存在运动模糊缺陷。进而根据该目标区域的整体变化值和该目标区域内移动向量长度的方差，获取该目标区域的增强值。增强值越大，该目标区域越可能存在运动模糊缺陷，该目标区域越需要进行增强。当归一化的增强值大于预设的增强值阈值时，将对应的目标区域作为模糊区域。模糊区域即为需要进行增强的目标区域。

作为一个示例，以第q个目标区域为例，获取第q个目标区域的增强值的计算公式为：

式中，为第q个目标区域的增强值；/>为第q个目标区域内最大移动向量长度；为第q个目标区域内最小移动向量长度；/>为第q个目标区域的变化权重；为第q个目标区域内移动向量长度的方差。

需要说明的是，越大，说明第q个目标区域内移动向量长度的变化程度越大，第q个目标区域越可能存在运动模糊缺陷，越需要进行增强，/>越大；在越大的基础上，变化权重/>越大，说明第q个目标区域内每个像素点的移动向量长度的变化程度越大，第q个目标区域越可能存在运动模糊缺陷，/>越大；越大，说明第q个目标区域内移动向量长度越混乱，第q个目标区域越可能存在运动模糊缺陷，/>越大；因此，/>越大，说明第q个目标区域越可能存在运动模糊缺陷，越需要进行增强。

根据获取第q个目标区域的增强值的方法，获取每个目标区域的增强值。本发明实施例将预设的增强值阈值设定为0.7，实施者可根据实际情况设定预设的增强值阈值的大小，在此不进行限定。当归一化的增强值大于预设的增强值阈值时，将对应的目标区域作为模糊区域。模糊区域即为需要进行增强的目标区域。至此，确定需要进行增强的模糊区域，进而提高对待抓取药品进行定位识别的效率。

步骤S3：将模糊区域所在的灰度图像及其之前的所有灰度图像，作为模糊区域的参考图像；根据每帧参考图像的目标区域内每个像素点的移动向量角度的变化速度，每帧参考图像的目标区域内每个像素点的移动向量与前一帧参考图像中相同像素点的移动向量之间的角度变化，每帧参考图像的目标区域的增强值和每帧参考图像的目标区域内每个像素点与周围像素点之间的移动向量模长差异的波动，获取每帧参考图像的目标区域内每个像素点的模糊值。

具体的，随着待抓取药品逐渐靠近视觉传感器，相应捕获的灰度图像的目标区域内每个像素点的运动模糊缺陷越明显，为了对模糊区域进行准确的增强，本发明实施例对模糊区域内的每个像素点进行分析。为了后续对模糊区域内每个像素点的灰度值进行准确高效的调整，本发明实施例将模糊区域所在的灰度图像及其之前的所有灰度图像，作为模糊区域的参考图像，只对每个模糊区域的参考图像进行分析，提高对每个模糊区域进行增强的效率。进而对每帧参考图像的目标区域内每个像素点的移动向量，以及每帧参考图像的目标区域的增强值进行分析，获取每帧参考图像的目标区域内每个像素点的模糊值，提高后续获取模糊区域内每个像素点的实际模糊值的效率和准确性，进而对模糊区域内每个像素点的灰度值进行准确的调整，准确增强模糊区域，对待抓取药品进行准确定位识别。

优选地，获取每帧参考图像的目标区域内每个像素点的模糊值的方法为：获取相邻两帧参考图像之间的时间间隔的大小，作为第一时长；其中，每相邻两帧参考图像之间的时间间隔均相等；获取第k帧参考图像的目标区域内每个像素点的移动向量角度的大小与第一时长的比值，作为第k帧参考图像的目标区域内对应像素点的移动向量的角速度。因为运动模糊缺陷是由待抓取药品移动形成，当第k帧参考图像的目标区域内某个像素点的运动模糊缺陷越严重时，该像素点的移动向量分布会呈现由聚集到离散的趋势，因此，当该像素点的移动向量的角速度越大时，说明该像素点的移动向量的离散程度越大，该像素点存在的运动模糊缺陷越严重。根据第k帧参考图像的目标区域内每个像素点与第(k-1)帧参考图像中相同像素点之间的移动向量角度大小的差异，第一时长，以及第(k-1)帧参考图像的目标区域内每个像素点的移动向量的角速度，获取第k帧参考图像的目标区域内每个像素点的移动向量的角度加速度。当角度加速度越大，说明对应像素点的移动向量的离散趋势越明显，对应像素点存在的运动模糊缺陷越严重。当第k帧参考图像的目标区域的增强值越大时，说明第k帧参考图像的目标区域内的像素点存在运动模糊缺陷的可能性越大。获取第k帧参考图像的目标区域内每个像素点与四邻域像素点之间的移动向量模长差异的波动即方差，当该方差越大，说明对应像素点的移动向量与周围其他像素点的移动向量的差异越大，因此对应像素点存在的运动模糊缺陷的可能性越大。本发明实施例将每个像素点的周围像素点设定为每个像素点的四邻域，实施者可根据实际情况设定每个像素点的周围像素点，在此不进行限定。需要说明的是，若存在某个像素点为边界像素点，不存在四邻域像素点时，此时对该像素点的四邻域中存在的邻域像素点进行分析。因此，根据第k帧参考图像的目标区域内每个像素点的移动向量的角速度和角度加速度，以及第k帧参考图像的目标区域的增强值和第k帧参考图像的目标区域内每个像素点与四邻域像素点之间的移动向量模长差异的波动，获取第k帧参考图像的目标区域内每个像素点的模糊值。

作为一个示例，以第k帧参考图像的目标区域内第i个像素点为例，第k帧参考图像的目标区域内第i个像素点的移动向量角度的大小为，第一时长为t，因此，第k帧参考图像的目标区域内第i个像素点的移动向量的角速度为/>。根据获取第k帧参考图像的目标区域内第i个像素点的移动向量的角速度的方法，获取每帧参考图像的目标区域内每个像素点的移动向量的角速度。其中，第(k-1)帧参考图像中第i个像素点与第k帧参考图像的目标区域内第i个像素点是待抓取药品中的同一个区域对应的像素点，因此，根据第(k-1)帧参考图像中第i个像素点的移动向量角度的大小/>和角速度/>，以及第一时长和第k帧参考图像的目标区域内第i个像素点的移动向量角度的大小为/>，获取第k帧参考图像的目标区域内第i个像素点的移动向量的角度加速度/>。本发明实施例根据现有公式来推倒获取角度加速度，其中，/>表示初始位移；/>表示变化后的位移；表示位移变化量；/>表示初始速度；t表示变化时间；a表示加速度。因此，将/>代替公式中的x、/>代替公式中的/>和/>代替公式中的/>即获得公式，本发明实施例中的/>、/>和t均为标量，进而获取/>也是标量。因此，获取第k帧参考图像的目标区域内第i个像素点的移动向量的角度加速度的计算公式为：

式中，为第k帧参考图像的目标区域内第i个像素点的移动向量的角度加速度；为第k帧参考图像的目标区域内第i个像素点的移动向量角度的大小；/>为第(k-1)帧参考图像的目标区域内第i个像素点的移动向量角度的大小；/>为第(k-1)帧参考图像的目标区域内第i个像素点的移动向量的角速度；t为第一时长。

需要说明的是，越大，说明第(k-1)帧参考图像中第i个像素点的移动向量角度与第k帧参考图像的目标区域内第i个像素点的移动向量角度之间的差异越大，间接说明第k帧参考图像的目标区域内第i个像素点存在运动模糊缺陷的可能性越大，/>越大；因此，/>越大，说明第k帧参考图像的目标区域内第i个像素点存在运动模糊缺陷的可能性越大。

其中，获取第k帧参考图像的目标区域内第i个像素点的模糊值的计算公式为：

式中，为第k帧参考图像的目标区域内第i个像素点的模糊值；/>为第k帧参考图像的目标区域的增强值；/>为第k帧参考图像的目标区域内第i个像素点的移动向量角度的大小；t为第一时长；/>为第k帧参考图像的目标区域内第i个像素点的移动向量的角速度；/>为第k帧参考图像的目标区域内第i个像素点的移动向量的角度加速度；N为第k帧参考图像的目标区域内第i个像素点的邻域像素点的总数量，本发明实施例为4；/>为第k帧参考图像的目标区域内第i个像素点的移动向量模长；/>为第k帧参考图像的目标区域内第i个像素点的第n个邻域像素点的移动向量模长；/>为第k帧参考图像的目标区域内第i个像素点与每个邻域像素点的移动向量模长差值的均值。

需要说明的是，越大，说明第k帧参考图像的目标区域内的像素点存在运动模糊缺陷的可能性越大，/>越大；/>越大，即/>越大，说明第k帧参考图像的目标区域内第i个像素点的移动向量的离散程度越大，第k帧参考图像的目标区域内第i个像素点存在的运动模糊缺陷越严重，/>越大；/>越大，说明第k帧参考图像的目标区域内第i个像素点的移动向量的离散趋势越明显，间接说明第k帧参考图像的目标区域内第i个像素点存在的运动模糊缺陷越严重，/>越大；/>越大，说明第k帧参考图像的目标区域内第i个像素点的移动向量模长与周围其他像素点的移动向量模长的差异越大，间接说明第k帧参考图像的目标区域内第i个像素点的移动向量越离散，/>越大；因此，/>越大，第k帧参考图像的目标区域内第i个像素点存在的运动模糊缺陷越严重。

根据获取第k帧参考图像的目标区域内第i个像素点的模糊值的方法，获取每帧参考图像的目标区域内每个像素点的模糊值。需要说明的是，每个模糊区域的参考图像中的第一帧参考图像不存在相邻的前一帧参考图像，因此不对每个模糊区域的参考图像中的第一帧参考图像中的目标区域进行分析。

步骤S4：根据模糊区域内每个像素点在对应参考图像中相同像素点的模糊值的变化趋势，对模糊区域内每个像素点的模糊值进行修正，获取模糊区域内每个像素点的实际模糊值。

具体的，模糊值是只在当前帧参考图像与前一帧参考图像之间做了分析，为了准确确定模糊区域内每个像素点的实际模糊值，进而对模糊区域进行准确的增强，本发明实施例对模糊区域内每个像素点在对应参考图像中相同像素点的模糊值的变化趋势进行分析。当模糊区域内的某个像素点存在运动模糊缺陷时，参考图像中与该像素点相同的像素点的模糊值的变化符合递增趋势且递增程度越大。因此，根据模糊区域内每个像素点在对应参考图像中相同像素点的模糊值的变化趋势，对模糊区域内每个像素点的模糊值进行修正，获取模糊区域内每个像素点的实际模糊值。

优选地，获取实际模糊值的方法为：对于任一模糊区域，将该模糊区域内第j个像素点作为目标像素点；将该模糊区域的参考图像中与目标像素点相同的像素点的模糊值根据时间顺序进行排序，获得模糊值序列；从模糊值序列的最后一个模糊值开始，减去相邻的前一个模糊值，将获得的差值作为目标差值；当目标差值小于预设的目标差值阈值时，停止获取目标差值；将获取的目标差值进行累加的结果，作为第一结果；将参与获取第一结果的模糊值数量，作为第一数量；将第一结果与第一数量的乘积，作为调节值；将归一化的调节值，作为该模糊区域内第j个像素点的第一权重；将该模糊区域内第j个像素点的第一权重与模糊值的乘积，作为该模糊区域中第j个像素点的实际模糊值。

作为一个示例，以第m个模糊区域内第j个像素点为例，第m个模糊区域内第j个像素点即为目标像素点。若第m个模糊区域在第五帧灰度图像中，则第一帧到第五帧的5张灰度图像，均为第m个模糊区域的参考图像。获取第m个模糊区域的参考图像中与目标像素点代表的待抓取药品相同区域的像素点的模糊值，则共有5个模糊值，将5个模糊值根据时间顺序进行排序，获得模糊值序列。模糊值序列中的最后一个模糊值即为目标像素点的模糊值。将模糊值序列中的第5个模糊值减去第4个模糊值，获得的差值即为第一个目标差值，本发明实施例将预设的目标差值阈值设定为0，实施者可根据实际情况设定预设的目标差值阈值，在此不进行限定。当第一个目标差值小于预设的目标差值阈值时，停止获取目标差值，此时，第一个目标差值即为第一结果，第一数量即为2，分别为第5个模糊值和第4个模糊值。当第一个目标差值大于或者等于预设的目标差值阈值时，获取第4个模糊值与第3个模糊值的差值，作为第二个目标差值，当第二个目标差值大于或者等于预设的目标差值阈值时，获取第3个模糊值与第2个模糊值的差值，作为第三个目标差值，依次类推，直至目标差值小于预设的目标差值阈值，停止获取目标差值。将获取的所有目标差值进行累加的结果，即为第一结果，参与获取第一结果的模糊值数量即为第一数量。第一结果与第一数量的乘积即为调节值；归一化的调节值即为第m个模糊区域内第j个像素点的第一权重。根据第m个模糊区域内第j个像素点的第一权重和模糊值，获取第m个模糊区域内第j个像素点的实际模糊值的计算公式为：

式中，为第m个模糊区域内第j个像素点的实际模糊值；/>为第m个模糊区域内第j个像素点的模糊值；/>为第m个模糊区域内第j个像素点的调节值；norm为归一化函数；/>为第一权重。

需要说明的是，越大，第一权重/>越大，说明第m个模糊区域内第j个像素点的模糊值越符合运动模糊缺陷像素点的模糊值的变化规律，第m个模糊区域内第j个像素点存在运动模糊缺陷的可能性越大，因此/>参与获取/>的程度越大；因此/>越大，说明第m个模糊区域内第j个像素点存在运动模糊缺陷的可能性越大，对第m个模糊区域内第j个像素点的灰度值调整的程度越大。

根据获取第m个模糊区域内第j个像素点的实际模糊值的方法，获取每个模糊区域内每个像素点的实际模糊值。

步骤S5：根据所述实际模糊值对模糊区域内每个像素点的灰度值进行调整，获得增强模糊区域，进行机械臂定位抓取。

具体的，为了对模糊区域进行准确的增强，根据模糊区域内每个像素点的实际模糊值，对模糊区域内每个像素点的灰度值进行调整。为了对模糊区域内每个像素点的灰度值进行准确的调整，首先根据模糊区域内每个像素点的实际模糊值将模糊区域内的像素点进行划分，确定模糊区域内的运动模糊缺陷像素点和非运动模糊缺陷像素点，将运动模糊缺陷像素点的灰度值进行削弱，非运动模糊缺陷像素点的灰度值进行增强，降低运动模糊缺陷带来的影响，使得模糊区域进行增强。

优选地，根据实际模糊值对模糊区域内每个像素点的灰度值进行调整的方法为：将模糊区域内每个像素点的实际模糊值进行归一化的结果，作为对应像素点的模糊特征值；将模糊特征值进行负相关的结果，作为对应像素点的非模糊特征值；当模糊特征值大于预设的模糊特征值阈值时，对应像素点为运动模糊缺陷像素点，将对应像素点的灰度值与非模糊特征值的乘积，作为对应像素点的调整灰度值。当模糊分界值小于或者等于预设的分界值阈值时，对应像素点为非运动模糊缺陷像素点，获取对应像素点的灰度值与非模糊特征值的乘积，作为对应像素点的灰度调整值；将对应像素点的灰度值与灰度调整值的相加结果，作为对应像素点的调整灰度值。本发明实施例将预设的模糊特征值阈值设定为0.6，实施者可根据实际情况设定预设的模糊特征值阈值的大小，在此不进行限定。

作为一个示例，以步骤S4中的第m个模糊区域内第j个像素点为例，获取第m个模糊区域内第j个像素点的调整灰度值的计算公式为：

式中，为第m个模糊区域内第j个像素点的调整灰度值；/>为第m个模糊区域内第j个像素点的灰度值；/>为第m个模糊区域内第j个像素点的实际模糊值；norm为归一化函数；/>为第m个模糊区域内第j个像素点的模糊特征值；/>为第m个模糊区域内第j个像素点的非模糊特征值。

需要说明的是，当时，说明第m个模糊区域内第j个像素点为非运动模糊缺陷像素点，对第m个模糊区域内第j个像素点的灰度值进行增强，因此，在/>基础上增加/>；其中，当/>溢出最大灰度值时，将最大灰度值作为/>。当时，说明第m个模糊区域内第j个像素点为运动模糊缺陷像素点，对第m个模糊区域内第j个像素点的灰度值进行削弱，降低运动模糊缺陷的影响，因此，通过获取/>。

根据获取第m个模糊区域内第j个像素点的调整灰度值的方法，获取每个模糊区域内每个像素点的调整灰度值，实现对每个模糊区域的增强，降低运动模糊缺陷带来的影响。

根据获得的增强模糊区域，进而对每帧灰度图像中的待抓取药品进行准确的定位，机械臂对抓取路径进行准确计算，排除每一帧灰度图像内运动模糊缺陷的影响，提高了机械臂抓取定位的准确性。在机械臂的抓取路径规划确定后，实时控制机械臂沿着规划好的路径运动。本发明实施例使用PID(Proportional Integral Differential)算法来调整关节角度，确保机械臂的准确运动。至此，实现了机械臂的定位抓取***的优化。其中，PID算法为公知算法，不再进行赘述。

至此，本发明完成。

综上所述，本发明实施例获取预设数量帧灰度图像；根据相邻两帧灰度图像的目标区域内像素点的位置变化，获取移动向量，筛选出模糊区域；将模糊区域所在的灰度图像及其之前的所有灰度图像，作为参考图像；根据参考图像与前一帧参考图像内的移动向量，获取像素点的模糊值；根据参考图像中相同像素点的模糊值的变化，获取实际模糊值，对灰度值进行调整，获得增强模糊区域，进行机械臂定位抓取。本发明通过获取模糊区域内像素点的实际模糊值，对模糊区域内每个像素点的灰度值进行调整，增强模糊区域，进而对目标物体准确定位识别，提高机械臂定位抓取目标物体的准确性。

基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于图像处理的机械臂定位抓取***，该***包括：存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述一种基于图像处理的机械臂定位抓取方法实施例中的步骤，例如图1所示的步骤。该一种基于图像处理的机械臂定位抓取方法在上述实施例中已经详细说明，不再赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (8)

1.一种基于图像处理的机械臂定位抓取方法，其特征在于，该方法包括以下步骤：

获取连续预设数量帧目标物体的灰度图像；

根据灰度图像中连通域的大小，获取每帧灰度图像中的目标区域；根据相邻两帧灰度图像的目标区域内相同像素点的位置变化，获取目标区域内每个像素点的移动向量；根据每个目标区域内移动向量长度的变化情况，获取每个目标区域的增强值，筛选出模糊区域；

将模糊区域所在的灰度图像及其之前的所有灰度图像，作为模糊区域的参考图像；根据每帧参考图像的目标区域内每个像素点的移动向量角度的变化速度，每帧参考图像的目标区域内每个像素点的移动向量与前一帧参考图像中相同像素点的移动向量之间的角度变化，每帧参考图像的目标区域的增强值和每帧参考图像的目标区域内每个像素点与周围像素点之间的移动向量模长差异的波动，获取每帧参考图像的目标区域内每个像素点的模糊值；

根据模糊区域内每个像素点在对应参考图像中相同像素点的模糊值的变化趋势，对模糊区域内每个像素点的模糊值进行修正，获取模糊区域内每个像素点的实际模糊值；

根据所述实际模糊值对模糊区域内每个像素点的灰度值进行调整，获得增强模糊区域，进行机械臂定位抓取；

所述根据每帧参考图像的目标区域内每个像素点的移动向量角度的变化速度，每帧参考图像的目标区域内每个像素点的移动向量与前一帧参考图像中相同像素点的移动向量之间的角度变化，每帧参考图像的目标区域的增强值和每帧参考图像的目标区域内每个像素点与周围像素点之间的移动向量模长差异的波动，获取每帧参考图像的目标区域内每个像素点的模糊值的方法为：

获取相邻两帧参考图像之间的时间间隔的大小，作为第一时长；其中，每相邻两帧参考图像之间的时间间隔均相等；

获取第k帧参考图像的目标区域内每个像素点的移动向量角度的大小与第一时长的比值，作为第k帧参考图像的目标区域内对应像素点的移动向量的角速度；

根据第k帧参考图像的目标区域内每个像素点与第(k-1)帧参考图像中相同像素点之间的移动向量角度大小的差异，第一时长，以及第(k-1)帧参考图像的目标区域内每个像素点的移动向量的角速度，获取第k帧参考图像的目标区域内每个像素点的移动向量的角度加速度；

根据第k帧参考图像的目标区域内每个像素点的移动向量的角速度和角度加速度，以及第k帧参考图像的目标区域的增强值和第k帧参考图像的目标区域内每个像素点与四邻域像素点之间的移动向量模长差异的波动，获取第k帧参考图像的目标区域内每个像素点的模糊值；

所述模糊值的计算公式为：

式中，为第k帧参考图像的目标区域内第i个像素点的模糊值；/>为第k帧参考图像的目标区域的增强值；/>为第k帧参考图像的目标区域内第i个像素点的移动向量角度的大小；t为第一时长；/>为第k帧参考图像的目标区域内第i个像素点的移动向量的角速度；为第k帧参考图像的目标区域内第i个像素点的移动向量的角度加速度；N为第k帧参考图像的目标区域内第i个像素点的邻域像素点的总数量；/>为第k帧参考图像的目标区域内第i个像素点的移动向量模长；/>为第k帧参考图像的目标区域内第i个像素点的第n个邻域像素点的移动向量模长；/>为第k帧参考图像的目标区域内第i个像素点与每个邻域像素点的移动向量模长差值的均值。

2.如权利要求1所述一种基于图像处理的机械臂定位抓取方法，其特征在于，所述目标区域的获取方法为：

通过连通域算法，获取每帧灰度图像中的连通域；

将每帧灰度图像中最大面积的连通域，作为每帧灰度图像中的目标区域；其中，每帧灰度图像中的目标区域均为目标物体所在的区域，每个目标区域中的像素点数量相同。

3.如权利要求1所述一种基于图像处理的机械臂定位抓取方法，其特征在于，所述根据每个目标区域内移动向量长度的变化情况，获取每个目标区域的增强值，筛选出模糊区域的方法为：

对于任一目标区域，获取该目标区域内每个像素点的移动向量长度；

获取该目标区域内最大移动向量长度与最小移动向量长度的相加结果，作为该目标区内移动向量长度的变化权重；

通过变化权重，对该目标区域内最大移动向量长度与最小移动向量长度的差值，进行调整，获取该目标区域的整体变化值；

根据该目标区域的整体变化值和该目标区域内移动向量长度的方差，获取该目标区域的增强值；

当归一化的增强值大于预设的增强值阈值时，将对应的目标区域作为模糊区域。

4.如权利要求3所述一种基于图像处理的机械臂定位抓取方法，其特征在于，所述增强值的计算公式为：

式中，为第q个目标区域的增强值；/>为第q个目标区域内最大移动向量长度；为第q个目标区域内最小移动向量长度；/>为第q个目标区域的变化权重；/>为第q个目标区域内移动向量长度的方差。

5.如权利要求1所述一种基于图像处理的机械臂定位抓取方法，其特征在于，所述角度加速度的计算公式为：

式中，为第k帧参考图像的目标区域内第i个像素点的移动向量的角度加速度；/>为第k帧参考图像的目标区域内第i个像素点的移动向量角度的大小；/>为第(k-1)帧参考图像的目标区域内第i个像素点的移动向量角度的大小；/>为第(k-1)帧参考图像的目标区域内第i个像素点的移动向量的角速度；t为第一时长。

6.如权利要求1所述一种基于图像处理的机械臂定位抓取方法，其特征在于，所述实际模糊值的获取方法为：

对于任一模糊区域，将该模糊区域内第j个像素点作为目标像素点；

将该模糊区域的参考图像中与目标像素点相同的像素点的模糊值根据时间顺序进行排序，获得模糊值序列；

从模糊值序列的最后一个模糊值开始，减去相邻的前一个模糊值，将获得的差值作为目标差值；

当目标差值小于预设的目标差值阈值时，停止获取目标差值；

将获取的目标差值进行累加的结果，作为第一结果；

将参与获取第一结果的模糊值数量，作为第一数量；

将第一结果与第一数量的乘积，作为调节值；

将归一化的调节值，作为该模糊区域内第j个像素点的第一权重；

将该模糊区域内第j个像素点的第一权重与模糊值的乘积，作为该模糊区域中第j个像素点的实际模糊值。

7.如权利要求1所述一种基于图像处理的机械臂定位抓取方法，其特征在于，所述根据所述实际模糊值对模糊区域内每个像素点的灰度值进行调整的方法为：

将模糊区域内每个像素点的实际模糊值进行归一化的结果，作为对应像素点的模糊特征值；

将模糊特征值进行负相关的结果，作为对应像素点的非模糊特征值；

当模糊特征值大于预设的模糊特征值阈值时，将对应像素点的灰度值与非模糊特征值的乘积，作为对应像素点的调整灰度值；

当模糊分界值小于或者等于预设的分界值阈值时，获取对应像素点的灰度值与非模糊特征值的乘积，作为对应像素点的灰度调整值；将对应像素点的灰度值与灰度调整值的相加结果，作为对应像素点的调整灰度值。

8.一种基于图像处理的机械臂定位抓取***，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时，实现上述权利要求1-7任意一项所述一种基于图像处理的机械臂定位抓取方法的步骤。