CN116213306A - 一种自动视觉识别方法及分拣*** - Google Patents

Abstract

本发明公开了一种自动视觉识别方法及分拣***。该方法包括：针对具有目标商品的区域进行扫描，重构出三维点云并生成2D灰度图；将所述2D灰度图输入到经训练的神经网络模型，输出图像中各目标商品的中心点的2D坐标信息，并根据所述三维点云，计算出各2D点在相机坐标系下对应的3D坐标信息。在识别出目标商品后，可进一步实现分拣***，以控制机械臂对目标商品进行抓取控制。本发明集成了深度学习，偏振光成像，结构光三维重建等多项技术，克服了透光/反光材质引起的成像质量问题，减小了图像质量对于深度学习模型性能的影响，能够更精准定位和抓取物体。

Description

一种自动视觉识别方法及分拣***

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种自动视觉识别方法及分拣***。

背景技术

随着科学技术的发展，现有的生产车间中使用自动化机械臂代替人工操作逐渐成为一种趋势。相比于人工分拣，机械臂的工作具有效率高，成本低，误差小的特点。对于目前市面上常见的机械臂分拣***可以大致分为两类。第一类是采用固定参数的固定抓取，即只给机械臂输入不可变的移动参数，每次都使其通过上下左右平移和旋转相同的距离来到达固定的地点进行抓取。该方法一般只能应用于抓取固定的物体，对生产流水线上的物***置有严格的限制。第二类采用计算机视觉的算法，通过计算机视觉成像、识别技术来自动识别出物体的位置，然后将相关的位置信息传输给机械臂进行抓取。这类方法更智能，目前一般针对朗伯物体等表面抓取，对于反光以及透明的包装袋抓取时，则会出现抓取不准确等问题。

现有研究主要从四个方面对机械臂进行设计。第一类方法是采用固定参数的固定抓取，即通过人为设定好机械臂的平移或旋转参数，控制其移动到指定的位置进行操作。第二类方法是采用传统的2D图像特征提取算法的固定抓取，在2D特征抓取中，首先需要对图像进行预处理，如灰度变换、二值化、形态学处理等，以便提取出图像中的有用信息。然后，使用计算机视觉技术，如特征提取、模板匹配、目标跟踪等，来定位物体的位置。第三类方法是使用深度学习算法(如MASK-RCNN)对2D图像特征进行提取。该方法通过预先训练一个神经网络模型，使其具有识别2D图像中指定物体的能力，随后根据识别结果定位并使用机械手进行抓取。第四类方法是基于3D特征的抓取。这类方法使用三维感测器，通过基于三维激光扫描的方法和基于深度图像的方法测量物体表面的三维信息来定位物体。

例如，专利申请CN202210455324.9提出一种工业机器人的抓取控制***及方法，工业机器人设置有机械臂，机械臂与摄像设备电联接；摄像设备包括信息获取模块以及发送模块；机械臂包括接收模块、信息处理模块以及抓取判断模块；采集流水线上的商品信息图片；发送模块用于将商品信息图片发送给接收模块；信息处理模块用于将接收模块接收的商品信息图片与全角度模板图进行匹配，其中全角度模板图设置有360个不同角度的模板图；抓取判断模块用于根据偏移角度旋转机械臂，使机械臂夹手的夹持角度与目标商品的偏移角度一致，并对目标商品执行抓取动作。该方案识别到目标商品所在的偏移角度，旋转机械臂的夹手使夹持方向与偏移角度一致，使夹手牢固地夹持目标商品。

专利申请CN201910690105.7公开了一种基于三维点云的垃圾桶识别抓取方法。首先在传统挂桶垃圾车上增加三维点云激光雷达模块、将液压装置替换为机械臂执行单元。然后车载三维激光雷达扫描获得各扫描点的距离和角度信息,并将极坐标信息转换为激光雷达直角坐标系下的三维坐标点信息，并整合形成点云数据发送到数据处理单元。数据处理单元根据点云模型计算出垃圾桶和机械臂之间的相对位置关系，结合垃圾桶与机械臂之间的目标位置，将两个位置间的误差信息传递给控制解算器，产生控制信号传递给机械臂。最后机械臂准确到达给定的目标端点位置，完成垃圾桶抓取、垃圾的倾倒以及垃圾桶归位。

专利申请CN202110207871.0公开了一种基于计算机视觉和深度学***面抓取检测方法，包括：收集或自制抓取数据集，并进行特定的数据增强；利用深度补全算法补全深度图信息，并对数据集进行深度信息融合、统一裁剪以及训练验证划分；根据训练得到的抓取检测模型，利用真实图像数据作为网络输入，抓取质量分数及抓取框五维表示作为输出，采用反向传播算法和基于标准梯度的优化算法，通过排序优化转换为抓取框四个顶点信息，实现可视化，最终映射到真实世界坐标。使得检测得到的抓取框与真实值差异最小化。

专利申请CN202210163948.3提供了一种机械臂目标抓取方法及***，包括：获取夹取目标识别数据集；对夹取目标识别数据集进行图像预处理；基于预处理后的夹取目标识别数据集训练目标检测模型；基于训练好的目标检测模型对待夹取目标进行预测识别；基于预测识别结果，根据逆向运动学求解机械臂运动姿态；其中，所述基于预处理后的夹取目标识别数据集训练目标检测模型是根据预处理后的夹取目标识别数据集进行位置编码，然后基于位置编码后的夹取目标识别数据集基于自注意力原理进行编码器解码器的解算得到夹取目标识别数据预测集；根据夹取目标识别预测集得到最终的目标检测框。

经分析，现有技术主要存在以下缺陷：

1)对于使用固定参数的固定抓取，应用场景单一。通过人为设定参数来控制机械臂进行运动，意味着机械臂只能抓取固定位置的物体，且机械臂自身位置不能发生改变，这对生产流水线上的布局设计有严格的限制，不利于其后续的调整。

2)传统的2D图像特征提取算法鲁棒性差，不能很好的完成各种复杂目标的识别任务。

3)基于深度学习方法的2D图像特征提取容易受到外界因素影响，如目标表面的材质引起的反光/透光会影响成像质量，导致模型预测结果出现误差。

4)传统的机械臂视觉抓取都是使用2D坐标进行定位来引导抓取，而三维坐标z轴通常设置为一个固定值，这样会导致机械臂无法精确碰到目标，出现抓空的现象。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种自动视觉识别方法及分拣***，尤其适用于透明和反光包装袋。

根据本发明的第一方面，提供了一种自动视觉识别方法。该方法包括以下步骤：

针对具有目标商品的区域进行扫描，重构出三维点云并生成2D灰度图；

将所述2D灰度图输入到经训练的神经网络模型，输出图像中各目标商品的中心点的2D坐标信息，并根据所述三维点云，计算出各2D点在相机坐标系下对应的3D坐标信息。

根据本发明的第二方面，提供了一种分拣***。该***包括：3D结构光相机、机械臂和计算机设备，其中3D结构光相机用于对具有目标商品的区域进行扫描，并将扫描图像传递到计算机设备；计算机设备被配置执行：根据上述方法获得目标商品的3D坐标信息，作为抓取点信息；根据手眼标定转换矩阵，计算所述抓取点信息在机械臂基座坐标系下的对应点，并将该点输入机械臂运行指令，实现机械臂的定位抓取。

与现有技术相比，本发明的优点在于，提出一种基于结构光三维重建技术的复杂表面的物体无序分拣的方法，使用基于偏振成像的3D结构光相机采集大量物体的图片数据集，制作标签后放入实例分割网络中进行训练，获得能够对透明/反光的物体进行识别的神经网络模型，随后通过结合手眼标定参数，利用基于结构光的3D成像相机对物体进行定位，最后指导机械臂进行抓取。本发明通过将深度学习算法优秀的2D图像识别性能和基于偏振成像的3D结构光成像技术相结合，能够准确的识别和抓取物体，尤其可实现对于透明/反光包装袋的精确抓取。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的针对包装袋的分拣***应用场景示意图；

图2是根据本发明一个实施例的针对包装袋的自动视觉识别方法的流程图；

图3是根据本发明一个实施例的针对包装袋的自动视觉识别方法的过程示意图；

图4是根据本发明一个实施例的偏振镜原理示意图；

图5是根据本发明一个实施例的偏振相机像素阵列示意图；

图6是根据本发明一个实施例的MASK-RCNN网络结构图；

图7是根据本发明一个实施例的FPN结构示意图；

图8是根据本发明一个实施例的RPN结构示意图；

图9是根据本发明一个实施例的重建得到的灰度图效果；

图10是根据本发明一个实施例的基于深度学习模型实现的识别效果图；

附图中，predict-预测；scores-分数；coordinates-坐标；anchor boxes-锚框；sliding window-滑动窗口；intermediate layer-中间层；reg layer-回归层；cls layer-分类层；conv feature map-卷积特征图；conv-卷积；RoIAlign-感兴趣区域对齐。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明提供的自动视觉识别方法可识别多种类型的物体或商品，为清楚起见，以下以识别包装袋为例进行说明。在识别出目标商品后，可进一步实现分拣***，以控制机械臂对目标商品进行抓取控制。机械臂是可以将任一物体按空间位姿(位置和姿态)的时变要求进行移动，从而完成设定任务要求的机械电子装置，其形状可变现为各种类型。例如，机械臂末端的吸盘可以根据抓取目标的不同更换成其他形式的抓取装置，如机械手。

参见图1所示，以眼在手外为例，所提供的分拣***包括3D结构光相机，机械臂和计算机设备。3D结构光相机可扫描目标区域，如工作台，并将扫描图像发送给计算机设备进行处理。计算机设备可执行以下处理：将扫描图像利用3D结构光技术重构其三维点云，并生成2D灰度图；将2D灰度图传入训练好的神经网络模型，该模型对图像进行预测，输出图像中每一个包装袋实例的掩膜信息和中心点的2D坐标信息；根据重构的三维点云，计算出该2D点在相机坐标系下对应的3D坐标；根据手眼标定转换矩阵，计算出该3D点在机械臂基座坐标系下的对应点，并将该点输入机械臂运行指令，从而实现机械臂的定位抓取。

具体地，结合图2和图3所示，所提供的针对包装袋的自动视觉识别方法包括以下步骤：

步骤S210，针对目标区域进行扫描，重构出三维点云并生成2D灰度图。

3D结构光相机通过扫描目标区域获得其三维点云信息并能够生成目标的2D图像。2D图像中的点与三维点云中的点一一对应，每一个2D坐标下的点都有且只有一个3D点与之对应。当得到目标的2D坐标信息{P_2D(x_2D,y_2D)}后，可以通过计算得到其对应的3D坐标{P_3D(x_3D,y_3D,z_3D)}，计算方法是：

index＝y_2DW_pic+x_2D (1)

x_3D＝x[index] (2)

y_3D＝y[index] (3)

z_3D＝z[index] (4)

其中，index是2D坐标的索引值，W_pic是2D图像的宽度，x，y，z中存储的是图像的三维点云数据。

包装袋表面复杂的情况如反光/透光等现象会影响三维点云的重构，使得反光点的3D坐标缺失，为了减小该现象对三维点云重构的影响，利用偏振光的性质消除反光。光线在透明/反光包装袋的表面会同时发生镜面反射(高偏振度)和漫反射(偏振度低)，因此3D结构光相机传感器接收到的光混合了以上两种偏振度不同的光线。使用偏振滤镜，可以过滤掉光线中的偏振光部分，或是将偏振光转化成非偏振光给相机接收，由此来减小反光对三维点云重构的影响。偏振镜的原理如图4所示。

在一个实施例中，为了重建出完整点云，使用能够一次成像4个偏振态的偏振相机，在投影仪镜头前加装一个线偏振镜使投影光线为固定角度的偏振光，利用4个不同偏振态的图像重建出4块点云，进行点云融合获得完整点云。偏振相机存储图像的方法如图5所示，在相邻的4个像素各保存一个偏振态的像素，分别是0°、45°、90°、135°。采图完成后取出对应偏振态的像素，分割合成4张图片，这样就可以一次拍照获取得到4个不同偏振态的图像，每张图像是原始图像分辨率的四分之一。

使用3D结构光的三维重建方法，可以重建出4种偏振态下的点云和2D灰度图。对于重建获得的点云，图像像素过曝和过暗都会引起点云缺失，因此需要通过判断灰度图的像素值和点云是否缺失实施对应的融合操作。

步骤S220，将2D灰度图输入到经训练的神经网络模型，输出图像中各目标物体实例的掩膜信息和中心点的2D坐标信息，并根据重构出的三维点云，计算出2D点在相机坐标系下对应的3D坐标，进而确定抓取点坐标。

用于目标分割的神经网络模型可采用多种类型的深度学习模型。例如，使用2D灰度图训练了一个MASK-RCNN实例分割模型，可以用于复杂表面的包装袋的实例分割，该网络模型在目标检测基础上再进行分割，结构参见图6。Mask R-CNN的处理过程总体上包括：对输入图像进行数据预处理(尺寸，归一化等)；利用特征提取网络提取特征图；通过特征图中的每一点设定感兴趣区域(ROI)，获得多个ROI的候选框；将这些多个ROI候选框送到区域选取网络(RPN，Region Proposal Network)进行分类和回归，过滤掉一部分候选的ROI；对剩下的ROI进行ROI Align操作；最后，对这些ROI进行分类，回归和Mask(掩膜)生成等。

在一个实施例中，为了同时合并深层图像和浅层图像的信息，在神经网络模型中采用了如图7所示的FPN(Feature Pyramid Networks，特征金字塔)结构，用于对多尺度大小的图像进行融合，合并深层和浅层的图像特征，满足目标检测和图像分类的需要。

在神经网络模型中所采用了的RPN结构参见图8所示，该RPN用于提取候选框，生成感兴趣区域，且耗时少，精确度高。

在一个实施例中，神经网络模型的输入图像是一张四通道的图片，每一层的图像分别是在0°、45°、90°、135°角度下重建得到的单通道灰度图。经过神经网络模型计算，可以识别出表层每一个包装袋实例的mask掩膜信息和box位置信息。根据网络输出的box的左上角坐标L(X_L,Y_L)和右下角坐标R(X_R,Y_R)，由中点公式：

x_mid＝(X_L+X_R)/2 (5)

y_mid＝(Y_L+Y_R)/2 (6)

可计算出该实例目标的中心点坐标为M(x_mid,y_mid)。

为了防止中心点M对应的3D点坐标缺失导致的不能抓取问题，取一个以M点为左上角坐标，边长为5个像素值的正方形区域，求出该区域中每一个点M_ij对应的三维点云坐标{P_ij(x_ij,y_ij,z_ij)}，计算出它们的均值作为实际的中心点抓取坐标。

步骤S230，根据手眼标定转换矩阵，计算抓取点在机械臂基座坐标系下的对应点，进而驱动机械臂运行指令，实现定位抓取。

对于计算出的3D点坐标{P_ij(x_ij,y_ij,z_ij)}，其坐标数值是基于相机坐标系P_Camera的。对于P_Camera下的每一个点，都可以通过一个转换矩阵H计算出其在机械臂基座中心点坐标系P_robot下对应的点：

其中，R称为旋转矩阵，T称为平移向量。

构建出转换矩阵H后，可以计算出P_Camera下的点在P_robot下的对应值：

也就是说，对于一个P_Camera坐标系下的点P_ij，有：

P′_ij＝R*P_ij+T (10)

其中，P′_ij是P_ij点在P_robot坐标系下的对应点。

将P′_ij作为最终结果输入机械臂，即可命令机械臂运行到该点进行抓取。

为进一步验证本发明的效果，进行了实验***测试。图9是随机状态下重建得到的灰度图。图10是通过深度学习模型可实现的识别效果。经实验验证，本发明在准确识别目标物体的基础上，能够驱动机械臂进行更精确的抓取或移动控制。

综上所述，相对于现有技术，本发明具有以下优势：

1)本发明设计了一套基于结构光重建技术的透明/反光的包装袋物体的无序分拣方案，运用3D结构光相机和机械臂分工合作，实现智能识别和精确抓取。与传统的机械臂抓取技术相比，本发明不需要人为设定机械臂的移动参数，能够灵活运用在各种生产场景，具有鲁棒性强，灵活性高，性能出色等诸多优点。

2)本发明集成了深度学习，偏振光成像，结构光三维重建等多项技术，利用偏振光减小镜面反射，深度学习进行目标识别，结构光三维重建获得精确的目标位置信息。与使用深度学习算法的3D抓取技术相比，本发明运用偏振光的特性，克服了透光/反光材质引起的成像质量问题，减小了图像质量对于深度学习模型性能的影响。

3)本发明采用了三维点云重建技术将2D信息转换成3D信息。与使用传统视觉算法的抓取技术相比，本发明的鲁棒性更强，能够识别各种颜色形状特征不同的目标，可以运用在流水线的生产中。

本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种自动视觉识别方法，包括以下步骤：

针对具有目标商品的区域进行扫描，重构出三维点云并生成2D灰度图；

将所述2D灰度图输入到经训练的神经网络模型，输出图像中各目标商品的中心点的2D坐标信息，并根据所述三维点云，计算出各2D点在相机坐标系下对应的3D坐标信息。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型是MASK-RCNN模型，包括区域选取网络和特征金字塔结构，所述区域选取网络用于从输入图像中提取候选框，生成感兴趣区域；所述特征金字塔结构采用自顶而下以及自底而上的两条路径提取多尺度的图像，并合并深层和浅层的图像特征。

3.根据权利要求1所述的方法，其特征在于，根据以下公式计算目标商品的中心点的2D坐标信息：

x_mid＝(X_L+X_R)/2

y_mid＝(Y_K+Y_R)/2

其中，(X_L，Y_L)是目标商品左上角的坐标，(X_R，Y_R)是目标商品右上角的坐标，M(x_mid，y_mid)是目标商品的中心点的2D坐标信息。

4.根据权利要求3所述的方法，其特征在于，还包括：取一个以M点为左上角坐标，边长为5个像素值的正方形区域，求出该区域中每一个点M_ij对应的三维点云坐标，计算出它们的均值作为实际的中心点坐标。

5.根据权利要求1所述的方法，其特征在于，根据以下公式重构出三维点云：

index＝y_2DW_pic+x_2D

x_3D＝x[index]

y_3D＝y[index]

z_3D＝z[index]

其中，P_2D(x_2D，y_2D)表示2D坐标信息，(x_3D，y_3D，Z_3D)表示对应的3D坐标，index是2D坐标的索引值，W_pic是2D图像的宽度。

6.一种分拣***，包括：3D结构光相机、机械臂和计算机设备，其中：

3D结构光相机用于对具有目标商品的区域进行扫描，并将扫描图像传递到计算机设备；

计算机设备被配置执行：

根据权利要求1至5任一项所述的方法获得目标商品的3D坐标信息，作为抓取点信息；

根据手眼标定转换矩阵，计算所述抓取点信息在机械臂基座坐标系下的对应点，并将该点输入机械臂运行指令，实现机械臂的定位抓取。

7.根据权利要求1所述的***，其特征在于，所述3D结构光相机配置为：在投影仪镜头前设置一个线偏振镜，使投影光线为固定角度的偏振光；所述计算机设备利用0°、45°、90°、135°不同偏振态的图像重建出4块点云，进行点云融合获得完整的三维点云。

8.根据权利要求1所述的***，其特征在于，根据以下公式计算抓取点信息在机械臂基座坐标系下的对应点：

/>

P′_ij＝R*P_ij+T

其中，{P_ij(x_ij，y_ij，z_ij)}是抓取点的3D坐标，P′_ij是P_ij点是在机械臂基座中心点坐标系的对应点，并将P′_ij输入机械臂，R是旋转矩阵，T是平移向量。

9.根据权利要求1所述的***，其特征在于，所述目标商品是包装袋。

10.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至5中任一项所述方法的步骤。

Images