CN112347882A - 一种智能分拣控制方法和智能分拣控制*** - Google Patents
一种智能分拣控制方法和智能分拣控制*** Download PDFInfo
- Publication number
- CN112347882A CN112347882A CN202011166833.7A CN202011166833A CN112347882A CN 112347882 A CN112347882 A CN 112347882A CN 202011166833 A CN202011166833 A CN 202011166833A CN 112347882 A CN112347882 A CN 112347882A
- Authority
- CN
- China
- Prior art keywords
- sorted
- image
- workpiece
- module
- workpieces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 94
- 230000008569 process Effects 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000009616 inductively coupled plasma Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 23
- 238000010276 construction Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及工业机器人技术领域，具体涉及一种智能分拣控制方法和智能分拣控制***，所述智能分拣控制***应用所述智能分拣控制方法，所述智能分拣控制方法，包括：获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。可见，该智能分拣控制方法和智能分拣控制***，能够有效降低算法复杂度和***运行负担，大幅度提高识别精度以及识别速度，并提升工件识别种类。
Description
技术领域
本发明涉及工业机器人技术领域，具体涉及一种智能分拣控制方法和智能分拣控制***。
背景技术
随着科技的不断发展，工业机器人在工业制造生产中得到了广泛的应用，在工厂自动化、智能化进程中扮演着重要的角色。比如，利用工业机器人对工件进行分拣，就可以大大节省人力，提高工业的自动化程度。现有的工业机器人分拣***多采用模板匹配的方式对***生成的待分拣工件3D模型进行识别，并以此获取待分拣工件3D模型的立体信息，结合该信息计算待分拣工件或待分拣物料在真实空间中的位置信息，并利用机械臂完成待分拣工件的抓取及分拣。不过，这种方式的识别速度慢、识别精度低以及受限于模板库模板的数量，识别的工件种类也受到极大限制，进而影响物体的识别及空间定位，对物体的抓取及分拣会出现偏差，无法实现快速准确的物料分拣，无法满足工业化生产需求。
发明内容
为克服现有技术存在的上述不足，本发明提供一种智能分拣控制方法和智能分拣控制***，能够有效降低算法复杂度和***运行负担，大幅度提高识别精度以及识别速度，并提升工件识别种类。
为达此目的，本发明采用以下技术方案：
第一方面，提供一种智能分拣控制方法，包括：
获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；
根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；
将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。
优选的，所述获取待分拣工件的若干个图像信息，包括：
通过用于向待分拣工件投射光栅图像的图像投射模块向待分拣工件投射格雷码正码光栅图像以及格雷码反码光栅图像；其中，所述图像投射模块为光栅投影仪；
通过用于获取图像信息的图像获取模块从不同空间角度位置拍摄被投射格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件的图像，以完成待分拣工件图像信息的获取；其中，所述图像获取模块为双目相机。
优选的，所述获取待分拣工件的若干个图像信息之前，还包括：对所述图像获取模块进行标定；其中，用于标定的标定板为黑白格棋盘；
所述对所述图像获取模块进行标定，具体包括：
通过所述图像获取模块获得不同空间角度位置拍摄的若干幅所述标定板的图像；
获得每幅标定板的图像对应的参数，并根据所述参数进行图像角点检测；其中，所述参数包括被拍摄的所述黑白格棋盘上对应的棋盘格的行数、列数、物理高度和物理宽度；
通过坐标变换方式实现所述参数与所述图像获取模块内参数之间的转换，再利用所述标定板的图像以及对应的所述图像获取模块的内参数，计算所述图像获取模块的外参数；
通过LM算法对标定过程中计算得到的各参数进行优化，以完成所述图像获取模块的最终标定。
优选的，所述获取待分拣工件的若干个图像信息之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：
将携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像进行逐幅展开以及畸变校正，并通过图像预处理算法的如下公式(1)对经过畸变校正的待分拣工件图像进行图像增强及去噪；
F(u,v)＝Round[T(u,v)-med_T(u,v)*δ]+T(u,v) (1)
其中，F(u,v)为经过图像预处理后的图像灰度，T(u,v)为原始图像灰度函数，med_T(u,v)为经过中值滤波后得到的图像灰度，δ为调节原始图像和经过中值滤波图像的像素灰度差值的调节因子，δ值越大，代表图像轮廓越明显，Round[·]为取证函数；
分别计算携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像的各像素点的灰度值，将携带有格雷码正码光栅图像的图片像素点灰度值与携带有格雷码反码光栅图像的图片像素点灰度值作差；若差值小于零，则将该像素点对应灰度值设置为黑色，若差值大于或等于零，则将该像素点对应灰度值设置为白色；
通过上述方法完成待分拣工件图像上所有像素点灰度值的调整，以得到修正后的一幅待分拣工件图片；重复上述过程，以完成所有待分拣工件图片的修正；
利用如下公式(2)对完成修正后的待分拣工件图片进行解码，并重复上述过程直至完成所有已修正的待分拣工件图片的解码；
其中，Bi为二进制码，Gi为格雷码，0≤i≤m-1。
优选的，所述完成所有已修正的待分拣工件图片的解码之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：
利用Bought算法构建双目立体校正模型，以便对经过解码后的待分拣工件图片进行立体校正；
基于DP优化的全局匹配算法对经过立体校正的待分拣工件图片进行立体匹配；其中，所述待分拣工件图片包括左右两幅图片；
所述立体匹配，具体包括：
通过如下公式(3)计算经过立体校正后的待分拣工件的左右两幅图片的原始匹配代价；
其中，|FiL(xi)-FiR(yi)|为左右两幅图片各像素点灰度差的绝对值，A为针对计算得到的原始匹配代价设置的预设阈值；
通过如下公式(4)构建待分拣工件的左右两幅图片的全局匹配算法能量函数方程；
其中，C(dn)代表数据项，用于约束像素点在偏移前后的变化量，V(dn，dn-1)代表平滑项，用于约束像素点在偏移前后与周围像素点的关系变化量；
通过如下公式(5)构建及优化对应数据项C(dn)；
其中，(u，v)表示图像中像素，FiL(u，v)以及FiR(u，v)分别表示左图和右图中像素的灰度值，d表示视差值，w和k表示块分割匹配中窗口大小；
利用DP算法优化平滑项V(dn，dn-1)，根据所述公式(4)计算得到的全局匹配算法能量函数方程获得最小值，并计算此时对应的视差值，以完成待分拣工件图片的立体匹配；重复上述过程直至完成所有待分拣工件图片的立体匹配。
优选的，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，包括：
利用如下公式(6)对待分拣工件图片的视差图进行图像分割以形成超像素块，并对分割后的每个像素赋予一个标签，针对同一超像素块内具有视差值的像素点的视差值进行滤波，将滤波结果补充至视差空洞的超像素块内，以此得到初步的稠密视差图；
其中，SLI表示每个超像素块的边长，K表示图像中像素的数量，D表示分割的超像素块数；
选择所述初步的稠密视差图中的一个不平整超像素块作为目标块，利用K邻近算法搜索所述目标块相邻的超像素块，并依据距离的远近赋予这些相邻超像素块不同的权重，分别计算所述相邻超像素块与所述目标块相邻的每个超像素块的直方图，并进行两两比较直方图的相似度，筛选出相似度大于预设相似度阈值的超像素块，依据筛选出的超像素块对应的视差值的高低，对筛选出的超像素块进行重排后提取中间值，将所述中间值赋值给所述目标块，以完成所述目标块的平滑；其中，所述不平整超像素块为所述初步的稠密视差图的图像边界位置出现的需要进行平滑处理的超像素块；
重复上述过程，直至完成所述初步的稠密视差图的全部平滑，以得到待分拣工件的最终稠密视差图。
优选的，所述利用所述稠密视差图生成所述待分拣工件的3D模型，包括：
将所述最终稠密视差图通过如下公式(7)计算，生成待分拣工件对应的稠密3D点云，重复上述过程直至获得所有待分拣工件图片对应的稠密3D点云；
其中，Tdouble表示两个图像获取模块中心距离，h表示经过立体校正的图像获取模块的焦距，dn表示每个像素的视差值，n≥1；
利用ICP算法对在不同空间角度位置拍摄的待分拣工件图片相应的稠密3D点云进行配准拼接，再利用泊松表面重建算法生成所述待分拣工件的3D模型。
优选的，所述基于Solo框架构建的识别模型为神经网络模型，所述神经网络模型是通过若干组训练数据训练获得，所述若干组训练数据中的每一组训练数据均包括已预先设定注释的各类工件3D模型，以便实现工件类型的自动识别。
优选的，所述完成对待分拣工件的识别及分拣，包括：
完成对待分拣工件的识别后，提取所述待分拣工件的3D模型中图像的形状特征和几何特征，依据所述形状特征和所述几何特征，并结合用于抓取待分拣工件的机械手模块的类型计算工件抓取位置；其中，所述几何特征包括轮廓数、周长和面积；
若所述机械手模块为吸盘且所述待分拣工件为平面类工件，则利用如下公式(8)计算待分拣工件形心对应的像素点的坐标，再分别利用坐标变换算法和图像获取模块标定算法将所述待分拣工件的形心对应像素点的坐标转换到所述机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；
其中，(XCEN_pi,YCEN_pi)为平面工件形心对应像素点的坐标，(XCEN_T,YCEN_T)为平面工件形心坐标，G(XCEN_T,YCEN_T)为变换函数；
若所述机械手模块为抓夹且所述待分拣工件为非平面类工件，则依据待分拣工件3D模型中图像的形状特征和几何特征，构建所述待分拣工件3D模型对应的最小外接矩形，并获得所述最小外接矩形对应的四个顶点坐标，利用坐标变换将所述四个顶点坐标转换为世界坐标系下对应位置点的坐标，再通过计算得到所述待分拣工件在世界坐标下最小外接矩形对应参数信息，利用图像获取模块标定算法将所述待分拣工件在世界坐标下最小外接矩形对应参数信息转换到机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；其中，所述参数信息包括外接矩形的宽、高以及外接矩形的宽相对于世界坐标系的X轴的夹角。
第二方面，提供一种智能分拣控制***，包括图像模块、控制模块、上位机和机械手模块，所述智能分拣控制***应用如第一方面所述智能分拣控制方法；其中，
所述图像模块，包括图像投射模块以及图像获取模块；所述图像投射模块用于向待分拣工件投射光栅图像，所述图像获取模块用于对携带有投射图像的待分拣工件完成预设次数的不同空间角度位置的拍照；所述图像模块设置于所述机械手模块；
所述控制模块，包括第一控制模块、第二控制模块块以及取反模块；所述第一控制模块用于通过所述图像获取模块接收上位机发送的指令，所述第二控制模块用于接收所述第一控制模块发送的指令及驱动所述图像投射模块投射光栅图像，所述取反模块用于根据格雷码正码光栅图像获得格雷码反码光栅图像；
所述上位机，用于向各个模块发送指令、以及执行图像处理程序和空间定位程序；
所述机械手模块，用于接收所述上位机发送的指令，进行空间运动、姿态变换以及对待分拣工件进行抓取并分拣。
本发明的有益效果是：一种智能分拣控制方法和智能分拣控制***，所述智能分拣控制***应用所述智能分拣控制方法，所述智能分拣控制方法，包括：获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。可见，该智能分拣控制方法和智能分拣控制***，基于SLIC算法实现待分拣工件稠密视差图的构建，有效地解决了待分拣工件在进行立体匹配过程中，图像部分区域因投影缩减、遮挡、弱纹理等因素导致像素的视差无法计算，从而形成视差空洞，影响后续三维重建结果的问题，通过本智能分拣控制方法提供的视差图构建算法，可生成稠密的视差图，能够进一步提高后续重建后的三维模型的精度。此外，本智能分拣控制方法基于solo架构构建3D工件识别模型，相较于传统的利用模板匹配方法进行3D工件识别，可有效降低算法复杂度、降低***运行负担、大幅提升工件识别种类、提高识别精度以及识别速度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：
图1是本发明的第一实施例的智能分拣控制方法的流程图；
图2是本发明的第二实施例的智能分拣控制方法的流程图；
图3是本发明的第三实施例的智能分拣控制***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其是本发明的第一实施例的智能分拣控制方法的流程图。
该智能分拣控制方法，包括：
步骤S101：获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息。
具体地，若干个图像信息对应从不同空间角度位置拍摄的多张待分拣工件的图片信息。不同的空间角度位置是根据待分拣工件的结构复杂度进行设置的，结构越复杂，设置进行拍摄的空间角度位置越多，结构越简单，设置进行拍摄的空间角度位置越少。一般情况下，设置三个不同的空间角度位置进行拍摄，以完成对待分拣工件的全面拍摄。
具体地，格雷码是一种具有反射特性和循环特性的单步自补码，其循环和单步特性消除了随机取数时出现重大错误的可能，其反射和自补特性使得对其进行求反操作也非常方便，所以，格雷码属于一种可靠性编码，是一种错误最小化的编码方式。
步骤S102：根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型。
具体地，SLIC算法为Simple Linear Iterative Clustering，超像素分割算法。超像素分割算法是一种图像预处理技术，它将图像快速分割为一定数量的具有语义意义的子区域，相比于传统处理方法中的基本单元——像素，被分割出的超像素更有利于局部特征的提取与结构信息的表达，并且能够大幅度降低后续处理的计算复杂度。
步骤S103：将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。
具体地，Solo是一个专业、简约、稳定、极速的开源Java程序，可以自己搭建使用，也可以直接使用搭建好的服务，功能齐全，部署难度低。
与现有技术相比，本发明实施例的智能分拣控制方法，基于SLIC算法实现待分拣工件稠密视差图的构建，有效地解决了待分拣工件在进行立体匹配过程中，图像部分区域因投影缩减、遮挡、弱纹理等因素导致像素的视差无法计算，从而形成视差空洞，影响后续三维重建结果的问题，通过本智能分拣控制方法提供的视差图构建算法，可生成稠密的视差图，能够进一步提高后续重建后的三维模型的精度。此外，本智能分拣控制方法基于solo架构构建3D工件识别模型，相较于传统的利用模板匹配方法进行3D工件识别，可有效降低算法复杂度、降低***运行负担、大幅提升工件识别种类、提高识别精度以及识别速度。
以下是本发明的智能分拣控制方法的第二实施例。在本实施例中，包含步骤S201至步骤S205，其中，步骤S204与步骤S205分别与第一实施例中的步骤S102与步骤S103大致相同，此处不再赘述。下面主要针对本智能分拣控制方法的图像处理程序和空间定位程序进行具体说明：
请参考图2，其是本发明的第二实施例的智能分拣控制方法的流程图。
该智能分拣控制方法，包括：
步骤S201：对所述图像获取模块进行标定。
其中，用于标定的标定板为黑白格棋盘。所述图像获取模块用于获取待分拣工件的图像信息。
具体地，所述对所述图像获取模块进行标定，具体包括：
通过所述图像获取模块获得不同空间角度位置拍摄的若干幅所述标定板的图像；
获得每幅标定板的图像对应的参数，并根据所述参数进行图像角点检测；其中，所述参数包括被拍摄的所述黑白格棋盘上对应的棋盘格的行数、列数、物理高度和物理宽度；
通过坐标变换方式实现所述参数与所述图像获取模块内参数之间的转换，再利用所述标定板的图像以及对应的所述图像获取模块的内参数，计算所述图像获取模块的外参数；
通过LM(Levenberg-Marquard，列文伯格-马夸尔特算法)算法对标定过程中计算得到的各参数进行优化，以完成所述图像获取模块的最终标定。
步骤S202：通过用于向待分拣工件投射光栅图像的图像投射模块向待分拣工件投射格雷码正码光栅图像以及格雷码反码光栅图像；其中，所述图像投射模块为光栅投影仪。
步骤S203：通过用于获取图像信息的图像获取模块从不同空间角度位置拍摄被投射格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件的图像，以完成待分拣工件图像信息的获取；其中，所述图像获取模块为双目相机。
步骤S204：根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型。
步骤S205：将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。
具体地，所述获取待分拣工件的若干个图像信息之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：
将携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像进行逐幅展开以及畸变校正，并通过图像预处理算法的如下公式(1)对经过畸变校正的待分拣工件图像进行图像增强及去噪；
F(u,v)＝Round[T(u,v)-med_T(u,v)*δ]+T(u,v) (1)
其中，F(u,v)为经过图像预处理后的图像灰度，T(u,v)为原始图像灰度函数，med_T(u,v)为经过中值滤波后得到的图像灰度，δ为调节原始图像和经过中值滤波图像的像素灰度差值的调节因子，δ值越大，代表图像轮廓越明显，Round[·]为取证函数；
分别计算携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像的各像素点的灰度值，将携带有格雷码正码光栅图像的图片像素点灰度值与携带有格雷码反码光栅图像的图片像素点灰度值作差；若差值小于零，则将该像素点对应灰度值设置为黑色，若差值大于或等于零，则将该像素点对应灰度值设置为白色；
通过上述方法完成待分拣工件图像上所有像素点灰度值的调整，以得到修正后的一幅待分拣工件图片；重复上述过程，以完成所有待分拣工件图片的修正；
利用如下公式(2)对完成修正后的待分拣工件图片进行解码，并重复上述过程直至完成所有已修正的待分拣工件图片的解码；
其中，Bi为二进制码，Gi为格雷码，0≤i≤m-1。
具体地，所述完成所有已修正的待分拣工件图片的解码之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：
利用Bought算法构建双目立体校正模型，以便对经过解码后的待分拣工件图片进行立体校正；
基于DP(Dynamic Programming，即动态规划)优化的全局匹配算法对经过立体校正的待分拣工件图片进行立体匹配；其中，所述待分拣工件图片包括左右两幅图片；
所述立体匹配，具体包括：
通过如下公式(3)计算经过立体校正后的待分拣工件的左右两幅图片的原始匹配代价；
其中，|FiL(xi)-FiR(yi)|为左右两幅图片各像素点灰度差的绝对值，A为针对计算得到的原始匹配代价设置的预设阈值；
通过如下公式(4)构建待分拣工件的左右两幅图片的全局匹配算法能量函数方程；
其中，C(dn)代表数据项，用于约束像素点在偏移前后的变化量，V(dn，dn-1)代表平滑项，用于约束像素点在偏移前后与周围像素点的关系变化量；
通过如下公式(5)构建及优化对应数据项C(dn)；
其中，(u，v)表示图像中像素，FiL(u，v)以及FiR(u，v)分别表示左图和右图中像素的灰度值，d表示视差值，w和k表示块分割匹配中窗口大小；
利用DP算法优化平滑项V(dn，dn-1)，根据所述公式(4)计算得到的全局匹配算法能量函数方程获得最小值，并计算此时对应的视差值，以完成待分拣工件图片的立体匹配；重复上述过程直至完成所有待分拣工件图片的立体匹配。
具体地，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，包括：
利用如下公式(6)对待分拣工件图片的视差图进行图像分割以形成超像素块，并对分割后的每个像素赋予一个标签，针对同一超像素块内具有视差值的像素点的视差值进行滤波，将滤波结果补充至视差空洞的超像素块内，以此得到初步的稠密视差图；
其中，SLI表示每个超像素块的边长，K表示图像中像素的数量，D表示分割的超像素块数；
选择所述初步的稠密视差图中的一个不平整超像素块作为目标块，利用K邻近算法搜索所述目标块相邻的超像素块，并依据距离的远近赋予这些相邻超像素块不同的权重，分别计算所述相邻超像素块与所述目标块相邻的每个超像素块的直方图，并进行两两比较直方图的相似度，筛选出相似度大于预设相似度阈值的超像素块，依据筛选出的超像素块对应的视差值的高低，对筛选出的超像素块进行重排后提取中间值，将所述中间值赋值给所述目标块，以完成所述目标块的平滑；其中，所述不平整超像素块为所述初步的稠密视差图的图像边界位置出现的需要进行平滑处理的超像素块；是否需要进行平滑处理的判断条件依据待分拣工件的结构复杂度而定。
重复上述过程，直至完成所述初步的稠密视差图的全部平滑，以得到待分拣工件的最终稠密视差图。
具体地，所述利用所述稠密视差图生成所述待分拣工件的3D模型，包括：
将所述最终稠密视差图通过如下公式(7)计算，生成待分拣工件对应的稠密3D点云，重复上述过程直至获得所有待分拣工件图片对应的稠密3D点云；
其中，Tdouble表示两个图像获取模块中心距离，h表示经过立体校正的图像获取模块的焦距，dn表示每个像素的视差值，n≥1；两个图像获取模块中心距离为双目相机的两个拍摄镜头的中心距离；
利用ICP(Iterative Closest Point，迭代最近点算法)算法对在不同空间角度位置拍摄的待分拣工件图片相应的稠密3D点云进行配准拼接，再利用泊松表面重建算法生成所述待分拣工件的3D模型。
具体地，所述基于Solo框架构建的识别模型为神经网络模型，所述神经网络模型是通过若干组训练数据训练获得，所述若干组训练数据中的每一组训练数据均包括已预先设定注释的各类工件3D模型，以便实现工件类型的自动识别。
具体地，所述完成对待分拣工件的识别及分拣，包括：
完成对待分拣工件的识别后，提取所述待分拣工件的3D模型中图像的形状特征和几何特征，依据所述形状特征和所述几何特征，并结合用于抓取待分拣工件的机械手模块的类型计算工件抓取位置；其中，所述几何特征包括轮廓数、周长和面积；
若所述机械手模块为吸盘且所述待分拣工件为平面类工件，则利用如下公式(8)计算待分拣工件形心对应的像素点的坐标，再分别利用坐标变换算法和图像获取模块标定算法将所述待分拣工件的形心对应像素点的坐标转换到所述机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；
其中，(XCEN_pi,YCEN_pi)为平面工件形心对应像素点的坐标，(XCEN_T,YCEN_T)为平面工件形心坐标，G(XCEN_T,YCEN_T)为变换函数；
若所述机械手模块为抓夹且所述待分拣工件为非平面类工件，则依据待分拣工件3D模型中图像的形状特征和几何特征，构建所述待分拣工件3D模型对应的最小外接矩形，并获得所述最小外接矩形对应的四个顶点坐标，利用坐标变换将所述四个顶点坐标转换为世界坐标系下对应位置点的坐标，再通过计算得到所述待分拣工件在世界坐标下最小外接矩形对应参数信息，利用图像获取模块标定算法将所述待分拣工件在世界坐标下最小外接矩形对应参数信息转换到机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；其中，所述参数信息包括外接矩形的宽、高以及外接矩形的宽相对于世界坐标系的X轴的夹角。
与现有技术相比，本发明实施例的智能分拣控制方法，能够有效降低算法复杂度和***运行负担，大幅度提高识别精度以及识别速度，并提升工件识别种类。
以下具体说明本发明实施例的智能分拣控制方法的详细实施步骤，需要说明的是，以下所述待分拣工件简称为工件；实施本发明实施例的一种智能分拣控制方法时涉及一种智能分拣控制***，该智能分拣控制***包括图像模块、控制模块、上位机和机械手模块，图像模块包括图像获取模块和图像投射模块，图像模块设置于机械手模块；
本发明实施例的一种智能分拣控制方法，具体控制流程如下：
STEP11：对图像获取模块进行初始化(标定)
上位机向机械手模块发送控制指令，机械手模块带动图像获取模块从不同角度拍摄放置在工作台上的标定板图片，利用***内设的视觉图像标定算法完成对图像获取模块的标定，即针对每幅标定板的图像，向***中输入各标定板图像中对应的参数(包括对应棋盘格的行数、列数、棋盘格的物理高度和物理宽度)，进行图像角点检测，再通过坐标变换方式实现对相机内参数的转换，利用采集的对应标定板图像结合计算得到的图像获取模块(双目相机)内参数，计算图像获取模块的外参数，最后通过LM算法(Levenberg-Marquard，列文伯格-马夸尔特算法)对标定过程中计算得到的各参数进行优化，以完成图像获取模块最终标定。
需要说明的是，为提高图像获取模块的标定精度，至少需要拍摄8张标定板图片，其中标定板优选为黑白棋盘格,黑白方格交替排列设置可有效避免相机在拍摄过程中引入偏移。格线式角点便于亚像素级角点的定位，进而提高标定的精度。
STEP22：获取及处理工件的二维图像信息
STEP221：通过STEP11完成对图像获取模块的标定后，上位机向图像获取模块发送控制指令，图像获取模块将该指令传送给控制模块，控制模块中设有的第二控制模块驱动图像投射模块(光栅投影仪)向放置在工作台上的工件投射图像(格雷码正码光栅图像)，同时触发图像获取模块拍摄多组带有投射图像的工件图片(一组图片包括左右两个相机拍摄的左右两幅图片)，再对投射的图像进行取反(格雷码反码光栅图像)，第二控制模块驱动图像投射模块向放置在工作台上的工件投射取反后的图像，同时再次触发图像获取模块拍摄多组带有投射图像的工件图片。
STEP222：上位机控制机械手模块旋转一定角度后，重复STEP221的过程，(重复至少3次，以通过在不同空间角度位置进行拍摄来避免存在拍摄死角的问题，针对结构较为复杂的工件，还可以通过人工设定程序，设定拍摄次数)，图像获取模块将拍摄的图片通过USB数据线回传至上位机中。
STEP223：将拍摄得到的带有投射图像(带正反格雷码光栅图像)的工件图片首先进行逐幅展开以及畸变校正，通过图像预处理算法[公式(1)]对经过畸变校正的工件图像进行图像增强及去噪。
F(u,v)＝Round[T(u,v)-med_T(u,v)*δ]+T(u,v) (1)
其中，F(u,v)为经过图像预处理后的图像灰度，T(u,v)为原始图像灰度函数，med_T(u,v)为经过中值滤波后得到的图像灰度，δ为调节原始图像和经过中值滤波图像的像素灰度差值的调节因子，δ值越大，代表图像轮廓越明显，Round[·]为取证函数。
STEP224：首先分别计算经过步骤STEP223图像预处理后的某一方向的带有投射图像(格雷码正码光栅图像)工件图片以及带有取反投射图像(格雷码反码光栅图像)工件图片的各像素点的灰度值，将得到带有正码投射图像的图片像素点灰度值与带有反码投射图像的图片像素点灰度值作差，若差值小于零(即正码投射图像的图片像素点灰度值小于反码投射图像的图片像素点灰度值)，则将该像素点对应灰度值设置为黑色，反之为白色，通过上述方法完成图片上所有像素点灰度值的调整，最终得到修正后的某一空间角度位置拍摄的带有投射图像的工件图片。重复上述过程，直至完成所有空间角度位置拍摄的对应带有投射图像的工件图片的修正。
需要说明的是，为避免投射图像，即格雷码黑白光栅图像在投射时，因存在同一种颜色的条纹亮度和颜色不一致，进而导致后续编码不准确的问题，本发明实施例的一种智能分拣控制方法采用正反格雷码光栅图像作为投射图像，首先向放置在工作台上的工件投射格雷码正码光栅图像，利用图像获取模块拍摄带有该格雷码光栅图像的工件图像，再通过取反模块对图像进行取反，将格雷码反码光栅图像投射到放置在工作台上的工件上，利用图像获取模块拍摄带有该格雷码反码光栅图像的工件图像。
STEP225：利用公式(2)完成对经步骤STEP224修正后的某一空间角度位置拍摄的带有投射图像的工件图片的解码(将格雷码转换成二进制码的过程称为解码过程，即从左边第二位起，将每一位与左边一位解码后的值做异或，作为该位解码后的值)，重复上述过程直至完成所有空间角度位置拍摄方向的已修正后对应带有投射图像的工件图片的解码。
其中，Bi为二进制码，Gi为格雷码，0≤i≤m-1。
STEP33：生成工件的3D模型信息
STEP331：利用Bought算法构建双目立体校正模型，针对图像获取模块在某一空间角度位置拍摄的经过解码后的工件图片进行立体校正。
需要说明的是，传统的立体校正多采用基于对极约束方式，但该种方式存在计算量大以及校正时间长的缺点，因此本发明实施例的一种智能分拣控制方法采用Bought算法对多组图像逐一进行立体校正。
STEP332：基于DP(Dynamic Programming，即动态规划)优化的全局匹配算法对经过步骤STEP331立体校正后的工件图片(左右两幅图片)进行立体匹配。
通过公式(3)首先计算经过立体校正后的工件左右两幅图片的原始匹配代价，
其中，|FiL(xi)-FiR(yi)|为左右两幅图片各像素点灰度差的绝对值，A为设定的阈值(为降低误匹配，需要针对计算得到的原始匹配代价设定一个阈值)。
通过公式(4)构建工件左右两幅图片全局匹配算法能量函数方程，
其中，C(dn)代表数据项，用于约束像素点在偏移前后的变化量，V(dn，dn-1)代表平滑项，用于约束像素点在偏移前后与周围像素点的关系变化量。
利用公式(5)构建及优化对应数据项C(dn)，
其中，(u，v)表示图像中像素，FiL(u，v)以及FiR(u，v)分别表示左图和右图中像素的灰度值，d表示视差值，w和k表示窗口大小(即块分割匹配中窗口大小)。
利用DP算法优化平滑项V(dn，dn-1)，至公式(4)中计算得到全局匹配算法能量函数方程，以得到最小值，并计算此时对应的视差值，重复上述过程直至完成全部采集的工件图片(不同空间角度位置拍摄)的立体匹配。
STEP333：构建工件稠密视差图
在立体匹配过程中，图像中部分区域会因投影缩减、遮挡、弱纹理等因素导致像素的视差无法计算。即在图像中表现为视差空洞。本发明实施例的智能分拣控制方法利用SLIC算法对图像中每个区域内的视差空洞进行填补，以此构建稠密视差图。具体为：
(1)首先利用公式(6)对STEP332中得到的某一空间角度位置的工件图片视差图进行图像分割，形成超像素块，并对分割后的每个像素赋予一个标签，针对同一超像素块内具有视差值的像素点的视差值进行滤波，将滤波结果补充至视差空洞的超像素块内，以此初步得到稠密的视差图。
其中，SLI表示每个超像素块的边长，K表示图像中像素的数量，D表示分割的超像素块数。
(2)由于初步得到的稠密视差图在图像边界的位置会出现“不平整”的问题，需要对初步得到的稠密视差图进行平滑，即选择图像的其中一个“不平整”超像素块作为目标块，利用K邻近算法搜索该目标块相邻的超像素块，并依据距离的远近赋予这些这些相邻的超像素块不同的权重，分别计算其与目标块相邻的每个超像素块的直方图，并进行两两比较直方图的相似度，筛选相似度大于***设定的相似度阈值的超像素块，再依据筛选出的这些超像素块对应的视差值的高低，对这些超像素块进行重排后，提取中间值，将该中间值赋值给目标块。重复上述过程，直至完成全部稠密视差图的平滑，得到工件的最终稠密视差图。
STEP334：构建工件3D模型
将经过步骤STEP333后得到的工件的最终稠密视差图，依据公式(7)生成工件对应稠密3D点云(即计算每个像素点的深度)，重复上述过程直至完成全部不同空间角度位置拍摄的工件对应稠密3D点云。
其中，Tdouble表示两个图像获取模块中心距离，h表示经过立体校正的图像获取模块的焦距，dn表示每个像素的视差值，其中n≥1。
为了获得较为完整的工件3D模型，首先利用ICP算法(Iterative Closest Point，迭代最近点算法)对生成的不同空间角度位置拍摄的对应工件稠密3D点云进行配准拼接，再利用泊松表面重建算法生成工件3D模型。
STEP44：识别工件3D模型
将经过STEP33后得到的工件3D模型输入至基于Solo框架构建的识别模型中，其中，该基于Solo框架构建的识别模型为神经网络模型。该神经网络模型是通过多组训练数据训练获得，多组训练数据中的每一组训练数据包括：已预先设定注释(标签)的各类工件3D模型(即可直接提取***模板库中存储的工件3D模型，并对工件3D模型做标签，以此作为训练样本)],以实现工件类型的自动识别。
需要说明的是，本发明实施例的智能分拣控制方法提供的基于深度学习的3D物体识别模型为基于Solo框架构建的识别模型，首先利用ImageNet网络对模型训练参数进行初始化，Solo网络模型包含两个分支，分别为类别分支和掩码分支，其中类别分支用于预测语义类别，而掩码分支用于分割对象实例。其中利用FCN网络(Full Connected Network，全卷积神经网络)构建掩码分支(预测实例掩码分支)，利用FPN网络(Feature PyramidNetworks，特征金子塔网络)构建Solo框架主干网络。最后利用Matrix NMS矩阵计算最终的识别结果(实例分割结果)。随着网络层数的增加，会出现梯度消失或者梯度***等现象，导致网络无法收敛。本发明实施例的智能分拣控制方法利用SGD(stochastic gradientdescent，随机梯度下降)算法训练Solo网络模型。并通过公式(9)计算神经网络模型的损失函数，优化网络模型的权证，实现最大程度地减少网络损失。
LREC＝Lcla+βLmask (9)
其中，Lcla表示语义类别分类损失函数，Lmask表示掩码预测的损失函数，利用公式(9*)计算，
其中，in和jn代表搜索网格单元(搜索顺序：从左到右，从上到下)，Np代表识别得到的实例分割样本，1n(·)代表指数函数，q*以及m*表示分类及模板目标函数。
由于在识别模型网络训练初始阶段，起始点距代价函数的极小点距离较大，此时需要一个较大的学习率，在训练后期，该代价函数值逐渐减小，因此需要一个较小的学习率，但在传统的神经网络训练中学习率多采用人工设定方式，无法满足实际训练的需求，故本发明实施例的智能分拣控制方法利用AdaDelta算法【如公式(10)】实现对神经网络训练过程中，学习率的自适应调节。
其中，ρ表示为动量系数，gp表示p时刻当前的梯度值，δp代表神经网络参数，R[g2]p表示p时刻梯度平方的期望值。
STEP55：完成工件抓取及分拣
通过步骤STEP44完成工件识别后，提取工件3D模型图像的形状特征和几何特征，其中几何特征包括轮廓数、周长和面积，依据零件的形状特征和几何特征结合机械手模块的类型计算工件抓取位置。
若采用的用于抓取的机械手模块为吸盘且为平面类工件，则首先利用公式(8)计算工件形心对应的像素点的坐标，再分别利用坐标变换算法和图像获取模块标定算法(机器视觉图像标定算法)将该工件形心对应像素点的坐标转换到机械手模块对应坐标系下的坐标，并将该位置信息反馈给上位机，上位机向机械手模块发送控制指令以及自动规划机械手运动路径，以实现对工件进行精准抓取及分拣。
其中，(XCEN_pi,YCEN_pi)为平面工件形心对应像素点的坐标，(XCEN_T,YCEN_T)为平面工件形心坐标，G(XCEN_T,YCEN_T)为变换函数。
若采用的用于抓取的机械手模块为抓夹且为非平面类工件，则依据工件3D模型图像的形状特征和几何特征，构建该工件3D模型对应的最小外接矩形(该外接矩形包括的参数信息为：宽、高以及矩形的宽相对于X轴的夹角)，***通过计算得到该最小外接矩形对应的四个顶点坐标，利用坐标变换将该四个顶点坐标转换为世界坐标系下对应位置点的坐标，再通过计算得到该工件在世界坐标下最小外接矩形对应参数信息(即宽、高以及转角)，利用图像获取模块标定算法(机器视觉图像标定算法)将该工件在世界坐标下最小外接矩形对应参数信息转换到机械手模块对应坐标系下的坐标，并将该信息反馈给上位机，上位机向机械手模块发送控制指令以及自动规划机械手运动路径，以实现对工件进行精准抓取及分拣。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
以下为本发明提供的智能分拣控制***的实施例。智能分拣控制***的实施例与上述智能分拣控制方法的实施例属于同一构思，智能分拣控制***的实施例中未详尽描述的细节内容，可以参考上述智能分拣控制方法的实施例。
请参考图3，其是本发明的第三实施例的智能分拣控制***的结构示意图。
该智能分拣控制***，包括图像模块、控制模块、上位机和机械手模块，所述智能分拣控制***应用上述智能分拣控制方法；其中，
所述图像模块，包括图像投射模块以及图像获取模块；所述图像投射模块用于向待分拣工件投射光栅图像，所述图像获取模块用于对携带有投射图像的待分拣工件完成预设次数的不同空间角度位置的拍照；所述图像模块设置于所述机械手模块；
所述控制模块，包括第一控制模块、第二控制模块块以及取反模块；所述第一控制模块用于通过所述图像获取模块接收上位机发送的指令，所述第二控制模块用于接收所述第一控制模块发送的指令及驱动所述图像投射模块投射光栅图像，所述取反模块用于根据格雷码正码光栅图像获得格雷码反码光栅图像；
所述上位机，用于向各个模块发送指令、以及执行图像处理程序和空间定位程序；
所述机械手模块，用于接收所述上位机发送的指令，进行空间运动、姿态变换以及对待分拣工件进行抓取并分拣。
与现有技术相比，本发明实施例的智能分拣控制***，基于SLIC算法实现待分拣工件稠密视差图的构建，有效地解决了待分拣工件在进行立体匹配过程中，图像部分区域因投影缩减、遮挡、弱纹理等因素导致像素的视差无法计算，从而形成视差空洞，影响后续三维重建结果的问题，通过本智能分拣控制方法提供的视差图构建算法，可生成稠密的视差图，能够进一步提高后续重建后的三维模型的精度。此外，本智能分拣控制方法基于solo架构构建3D工件识别模型，相较于传统的利用模板匹配方法进行3D工件识别，可有效降低算法复杂度、降低***运行负担、大幅提升工件识别种类、提高识别精度以及识别速度。
以下具体说明本发明实施例的智能分拣控制***的工作原理，需要说明的是，以下所述待分拣工件简称为工件；
本发明实施例的智能分拣控制***,包括：图像模块、控制模块、机械手模块以及上位机；
所述图像模块设置在所述机械手模块上，所述图像模块包括图像获取模块及图像投射模块；所述图像投射模块用于向放置在工作台上的工件投射图像；所述图像获取模块用于对带有投射图像的工件进行不同空间角度位置的拍照；
所述控制模块包括第一控制模块、第二控制模块和取反模块；所述第一控制模块用于通过所述图像获取模块接收上位机发送的指令；所述第二控制模块用于接收第一控制模块发送的指令及驱动所述图像投射模块投射图像；所述取反模块用于针对投影图像进行取反；
所述机械手模块用于接收上位机发送的指令，进行空间运动、姿态变换以及抓取分拣工件；
所述上位机用于向各个模块发送指令、以及执行图像处理程序和空间定位程序。
本发明实施例的智能分拣控制***的工作原理如下：
STEP1：分别使能图像获取模块以及机械手模块，上位机向机械手模块发送控制指令，机械手模块带动图像获取模块从不同角度拍摄放置在工作台上的标定板(黑白棋盘格)(同一空间角度位置点至少要拍摄8张棋盘格图片，以此提高标定精度)图像，完成拍摄后，将多组标定板图像上传至上位机，利用上位机内置的视觉图像标定算法结合拍摄的多组标定板图像完成对图像获取模块的标定。
STEP2：上位机向图像获取模块发送控制指令，图像获取模块将指令通过第一控制模块(微控制器模块)传输至第二控制模块【DLP(Digital Light Procession、数字光处理)控制器】，第二控制模块预先从模块内置的存储器中调取需要投射的图像(格雷码正码光栅图像)，并将投射图像传输至图像投射模块(光栅投影仪)中，第二控制模块驱动图像投射模块向放置在工作台上的工件表面投射图像(即光栅图片)，第二控制模块同步触发图像获取模块拍摄带有光栅图像的工件图片。
STEP3：利用取反模块对刚投射的图像进行取反(得到格雷码反码光栅图像)，并将投射图像传输至图像投射模块(光栅投影仪)中，第二控制模块驱动图像投射模块向放置在工作台上的工件表面投射图像(即光栅图片)，第二控制模块同步触发图像获取模块拍摄带有光栅图像的工件图片。
STEP4：上位机启动机械手模块旋转一定角度，重复STEP2和STTEP3(重复至少3次，针对结构较为复杂的工件，还可以通过人工修改程序，设定拍摄次数)，图像获取模块将拍摄的图片通过USB数据线回传至上位机。
STEP5：利用上位机中内置的图像处理程序(图像预处理、图像建模算法、图像识别算法)分别生成工件3D模型以及对工件3D模型进行识别，再利用定位算法实现计算工件在真实空间中的位置信息并将其统一至机械手模块坐标系下，上位机通过工业以太网向机械手模块发出控制指令，机械手模块最终完成工件的抓取及分拣。
需要说明的是，图像获取模块优选为双目相机；图像投射模块优选为光栅投影仪；第一控制模块为微控制器；第二控制模块为DLP控制器；上位机与图像模块通过USB数据线进行通信连接，上位机通过工业总线与机械手模块进行通信连接。
需要说明的是，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种智能分拣控制方法，其特征在于，包括：
获取待分拣工件的若干个图像信息；其中，所述图像信息携带格雷码正码光栅图像和格雷码反码光栅图像的信息；
根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，利用所述稠密视差图生成所述待分拣工件的3D模型；
将所述3D模型输入至基于Solo框架构建的识别模型中，以完成对待分拣工件的识别及分拣。
2.根据权利要求1所述的一种智能分拣控制方法，其特征在于，所述获取待分拣工件的若干个图像信息，包括：
通过用于向待分拣工件投射光栅图像的图像投射模块向待分拣工件投射格雷码正码光栅图像以及格雷码反码光栅图像；其中，所述图像投射模块为光栅投影仪；
通过用于获取图像信息的图像获取模块从不同空间角度位置拍摄被投射格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件的图像，以完成待分拣工件图像信息的获取；其中，所述图像获取模块为双目相机。
3.根据权利要求2所述的一种智能分拣控制方法，其特征在于，所述获取待分拣工件的若干个图像信息之前，还包括：对所述图像获取模块进行标定；其中，用于标定的标定板为黑白格棋盘；
所述对所述图像获取模块进行标定，具体包括：
通过所述图像获取模块获得不同空间角度位置拍摄的若干幅所述标定板的图像；
获得每幅标定板的图像对应的参数，并根据所述参数进行图像角点检测；其中，所述参数包括被拍摄的所述黑白格棋盘上对应的棋盘格的行数、列数、物理高度和物理宽度；
通过坐标变换方式实现所述参数与所述图像获取模块内参数之间的转换，再利用所述标定板的图像以及对应的所述图像获取模块的内参数，计算所述图像获取模块的外参数；
通过LM算法对标定过程中计算得到的各参数进行优化，以完成所述图像获取模块的最终标定。
4.根据权利要求3所述的一种智能分拣控制方法，其特征在于，所述获取待分拣工件的若干个图像信息之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：
将携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像进行逐幅展开以及畸变校正，并通过图像预处理算法的如下公式(1)对经过畸变校正的待分拣工件图像进行图像增强及去噪；
F(u,v)＝Round[T(u,v)-med_T(u,v)*δ]+T(u,v) (1)
其中，F(u,v)为经过图像预处理后的图像灰度，T(u,v)为原始图像灰度函数，med_T(u,v)为经过中值滤波后得到的图像灰度，δ为调节原始图像和经过中值滤波图像的像素灰度差值的调节因子，δ值越大，代表图像轮廓越明显，Round[·]为取证函数；
分别计算携带格雷码正码光栅图像和格雷码反码光栅图像的待分拣工件图像的各像素点的灰度值，将携带有格雷码正码光栅图像的图片像素点灰度值与携带有格雷码反码光栅图像的图片像素点灰度值作差；若差值小于零，则将该像素点对应灰度值设置为黑色，若差值大于或等于零，则将该像素点对应灰度值设置为白色；
通过上述方法完成待分拣工件图像上所有像素点灰度值的调整，以得到修正后的一幅待分拣工件图片；重复上述过程，以完成所有待分拣工件图片的修正；
利用如下公式(2)对完成修正后的待分拣工件图片进行解码，并重复上述过程直至完成所有已修正的待分拣工件图片的解码；
其中，Bi为二进制码，Gi为格雷码，0≤i≤m-1。
5.根据权利要求4所述的一种智能分拣控制方法，其特征在于，所述完成所有已修正的待分拣工件图片的解码之后，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图之前，还包括：
利用Bought算法构建双目立体校正模型，以便对经过解码后的待分拣工件图片进行立体校正；
基于DP优化的全局匹配算法对经过立体校正的待分拣工件图片进行立体匹配；其中，所述待分拣工件图片包括左右两幅图片；
所述立体匹配，具体包括：
通过如下公式(3)计算经过立体校正后的待分拣工件的左右两幅图片的原始匹配代价；
其中，|FiL(xi)-FiR(yi)|为左右两幅图片各像素点灰度差的绝对值，A为针对计算得到的原始匹配代价设置的预设阈值；
通过如下公式(4)构建待分拣工件的左右两幅图片的全局匹配算法能量函数方程；
其中，C(dn)代表数据项，用于约束像素点在偏移前后的变化量，V(dn，dn-1)代表平滑项，用于约束像素点在偏移前后与周围像素点的关系变化量；
通过如下公式(5)构建及优化对应数据项C(dn)；
其中，(u，v)表示图像中像素，FiL(u，v)以及FiR(u，v)分别表示左图和右图中像素的灰度值，d表示视差值，w和k表示块分割匹配中窗口大小；
利用DP算法优化平滑项V(dn，dn-1)，根据所述公式(4)计算得到的全局匹配算法能量函数方程获得最小值，并计算此时对应的视差值，以完成待分拣工件图片的立体匹配；重复上述过程直至完成所有待分拣工件图片的立体匹配。
6.根据权利要求5所述的一种智能分拣控制方法，其特征在于，所述根据所述图像信息和SLIC算法构建所述待分拣工件的稠密视差图，包括：
利用如下公式(6)对待分拣工件图片的视差图进行图像分割以形成超像素块，并对分割后的每个像素赋予一个标签，针对同一超像素块内具有视差值的像素点的视差值进行滤波，将滤波结果补充至视差空洞的超像素块内，以此得到初步的稠密视差图；
其中，SLI表示每个超像素块的边长，K表示图像中像素的数量，D表示分割的超像素块数；
选择所述初步的稠密视差图中的一个不平整超像素块作为目标块，利用K邻近算法搜索所述目标块相邻的超像素块，并依据距离的远近赋予这些相邻超像素块不同的权重，分别计算所述相邻超像素块与所述目标块相邻的每个超像素块的直方图，并进行两两比较直方图的相似度，筛选出相似度大于预设相似度阈值的超像素块，依据筛选出的超像素块对应的视差值的高低，对筛选出的超像素块进行重排后提取中间值，将所述中间值赋值给所述目标块，以完成所述目标块的平滑；其中，所述不平整超像素块为所述初步的稠密视差图的图像边界位置出现的需要进行平滑处理的超像素块；
重复上述过程，直至完成所述初步的稠密视差图的全部平滑，以得到待分拣工件的最终稠密视差图。
7.根据权利要求6所述的一种智能分拣控制方法，其特征在于，所述利用所述稠密视差图生成所述待分拣工件的3D模型，包括：
将所述最终稠密视差图通过如下公式(7)计算，生成待分拣工件对应的稠密3D点云，重复上述过程直至获得所有待分拣工件图片对应的稠密3D点云；
其中，Tdouble表示两个图像获取模块中心距离，h表示经过立体校正的图像获取模块的焦距，dn表示每个像素的视差值，n≥1；
利用ICP算法对在不同空间角度位置拍摄的待分拣工件图片相应的稠密3D点云进行配准拼接，再利用泊松表面重建算法生成所述待分拣工件的3D模型。
8.根据权利要求1所述的一种智能分拣控制方法，其特征在于，所述基于Solo框架构建的识别模型为神经网络模型，所述神经网络模型是通过若干组训练数据训练获得，所述若干组训练数据中的每一组训练数据均包括已预先设定注释的各类工件3D模型，以便实现工件类型的自动识别。
9.根据权利要求1所述的一种智能分拣控制方法，其特征在于，所述完成对待分拣工件的识别及分拣，包括：
完成对待分拣工件的识别后，提取所述待分拣工件的3D模型中图像的形状特征和几何特征，依据所述形状特征和所述几何特征，并结合用于抓取待分拣工件的机械手模块的类型计算工件抓取位置；其中，所述几何特征包括轮廓数、周长和面积；
若所述机械手模块为吸盘且所述待分拣工件为平面类工件，则利用如下公式(8)计算待分拣工件形心对应的像素点的坐标，再分别利用坐标变换算法和图像获取模块标定算法将所述待分拣工件的形心对应像素点的坐标转换到所述机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；
其中，(XCEN_pi,YCEN_pi)为平面工件形心对应像素点的坐标，(XCEN_T,YCEN_T)为平面工件形心坐标，G(XCEN_T,YCEN_T)为变换函数；
若所述机械手模块为抓夹且所述待分拣工件为非平面类工件，则依据待分拣工件3D模型中图像的形状特征和几何特征，构建所述待分拣工件3D模型对应的最小外接矩形，并获得所述最小外接矩形对应的四个顶点坐标，利用坐标变换将所述四个顶点坐标转换为世界坐标系下对应位置点的坐标，再通过计算得到所述待分拣工件在世界坐标下最小外接矩形对应参数信息，利用图像获取模块标定算法将所述待分拣工件在世界坐标下最小外接矩形对应参数信息转换到机械手模块对应坐标系下的坐标，以便所述机械手模块获得自动规划的运动路径，对所述待分拣工件进行抓取及分拣；其中，所述参数信息包括外接矩形的宽、高以及外接矩形的宽相对于世界坐标系的X轴的夹角。
10.一种智能分拣控制***，包括图像模块、控制模块、上位机和机械手模块，其特征在于，所述智能分拣控制***应用如权利要求1-9任意一项所述智能分拣控制方法；其中，
所述图像模块，包括图像投射模块以及图像获取模块；所述图像投射模块用于向待分拣工件投射光栅图像，所述图像获取模块用于对携带有投射图像的待分拣工件完成预设次数的不同空间角度位置的拍照；所述图像模块设置于所述机械手模块；
所述控制模块，包括第一控制模块、第二控制模块块以及取反模块；所述第一控制模块用于通过所述图像获取模块接收上位机发送的指令，所述第二控制模块用于接收所述第一控制模块发送的指令及驱动所述图像投射模块投射光栅图像，所述取反模块用于根据格雷码正码光栅图像获得格雷码反码光栅图像；
所述上位机，用于向各个模块发送指令、以及执行图像处理程序和空间定位程序；
所述机械手模块，用于接收所述上位机发送的指令，进行空间运动、姿态变换以及对待分拣工件进行抓取并分拣。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011166833.7A CN112347882B (zh) | 2020-10-27 | 2020-10-27 | 一种智能分拣控制方法和智能分拣控制*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011166833.7A CN112347882B (zh) | 2020-10-27 | 2020-10-27 | 一种智能分拣控制方法和智能分拣控制*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112347882A true CN112347882A (zh) | 2021-02-09 |
| CN112347882B CN112347882B (zh) | 2024-03-22 |
Family
ID=74360272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011166833.7A Active CN112347882B (zh) | 2020-10-27 | 2020-10-27 | 一种智能分拣控制方法和智能分拣控制*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112347882B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861789A (zh) * | 2021-03-10 | 2021-05-28 | 上海交通大学 | 基于图像深度学习的crt荧光粉智能清理及品质控制方法 |
| CN113112502A (zh) * | 2021-05-11 | 2021-07-13 | 上海非夕机器人科技有限公司 | 线缆检测方法、机器人和具有存储功能的装置 |
| CN113192179A (zh) * | 2021-04-28 | 2021-07-30 | 沈阳工业大学 | 一种基于双目立体视觉的三维重建方法 |
| CN113506348A (zh) * | 2021-07-15 | 2021-10-15 | 吉林省凯迪科技有限公司 | 一种基于格雷码辅助的三维坐标计算方法 |
| CN113531838A (zh) * | 2021-09-15 | 2021-10-22 | 江苏宽程装备科技有限公司 | 一种智能化调整空间温度的制冷控制方法及*** |
| CN113689351A (zh) * | 2021-08-24 | 2021-11-23 | 北京石油化工学院 | 基于深度相机的危化品仓储监控方法、装置及设备 |
| CN115837363A (zh) * | 2023-02-20 | 2023-03-24 | 成都河狸智能科技有限责任公司 | 一种共享单车分拣***及方法 |
| CN116281070A (zh) * | 2023-03-30 | 2023-06-23 | 山东大舜医药物流有限公司 | 基于大数据的医药分拣***及方法 |
| WO2023225825A1 (zh) * | 2022-05-23 | 2023-11-30 | 上海玄戒技术有限公司 | 位置差异图生成方法及装置、电子设备、芯片及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0829136A (ja) * | 1994-07-13 | 1996-02-02 | Murata Mach Ltd | 三次元計測方法 |
| US20030042401A1 (en) * | 2000-04-25 | 2003-03-06 | Hansjorg Gartner | Combined stereovision, color 3D digitizing and motion capture system |
| DE102008002730A1 (de) * | 2008-06-27 | 2009-12-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur 3D-Rekonstruktion |
| JP2015158749A (ja) * | 2014-02-21 | 2015-09-03 | 株式会社リコー | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム |
| CN107463659A (zh) * | 2017-07-31 | 2017-12-12 | 广东欧珀移动通信有限公司 | 物体搜索方法及其装置 |
| CN209289269U (zh) * | 2018-12-17 | 2019-08-23 | 中北大学 | 一种基于双目立体视觉定位识别的智能垃圾分类机器人 |
-
2020
- 2020-10-27 CN CN202011166833.7A patent/CN112347882B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0829136A (ja) * | 1994-07-13 | 1996-02-02 | Murata Mach Ltd | 三次元計測方法 |
| US20030042401A1 (en) * | 2000-04-25 | 2003-03-06 | Hansjorg Gartner | Combined stereovision, color 3D digitizing and motion capture system |
| DE102008002730A1 (de) * | 2008-06-27 | 2009-12-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur 3D-Rekonstruktion |
| JP2015158749A (ja) * | 2014-02-21 | 2015-09-03 | 株式会社リコー | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム |
| CN107463659A (zh) * | 2017-07-31 | 2017-12-12 | 广东欧珀移动通信有限公司 | 物体搜索方法及其装置 |
| CN209289269U (zh) * | 2018-12-17 | 2019-08-23 | 中北大学 | 一种基于双目立体视觉定位识别的智能垃圾分类机器人 |
Non-Patent Citations (3)
| Title |
|---|
| 任慧娟 等: "面向分拣机器人的多目标视觉识别定位方法", 《机械与电子》, vol. 37, no. 12, pages 64 - 68 * |
| 时连标: "基于匹配点传播的三维重建及深度估计算法", 《电子技术与软件工程》, vol. 32, no. 7, pages 74 - 76 * |
| 王兵 等: "基于格雷码和多步相移法的双目立体视觉三维测量技术研究", 《计算机测量与控制》, vol. 26, no. 5, pages 25 - 28 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861789A (zh) * | 2021-03-10 | 2021-05-28 | 上海交通大学 | 基于图像深度学习的crt荧光粉智能清理及品质控制方法 |
| CN113192179A (zh) * | 2021-04-28 | 2021-07-30 | 沈阳工业大学 | 一种基于双目立体视觉的三维重建方法 |
| CN113192179B (zh) * | 2021-04-28 | 2024-03-26 | 沈阳工业大学 | 一种基于双目立体视觉的三维重建方法 |
| CN113112502A (zh) * | 2021-05-11 | 2021-07-13 | 上海非夕机器人科技有限公司 | 线缆检测方法、机器人和具有存储功能的装置 |
| CN113112502B (zh) * | 2021-05-11 | 2023-10-20 | 上海非夕机器人科技有限公司 | 线缆检测方法、机器人和具有存储功能的装置 |
| CN113506348B (zh) * | 2021-07-15 | 2023-02-28 | 吉林省凯迪科技有限公司 | 一种基于格雷码辅助的三维坐标计算方法 |
| CN113506348A (zh) * | 2021-07-15 | 2021-10-15 | 吉林省凯迪科技有限公司 | 一种基于格雷码辅助的三维坐标计算方法 |
| CN113689351A (zh) * | 2021-08-24 | 2021-11-23 | 北京石油化工学院 | 基于深度相机的危化品仓储监控方法、装置及设备 |
| CN113689351B (zh) * | 2021-08-24 | 2023-10-10 | 北京石油化工学院 | 基于深度相机的危化品仓储监控方法、装置及设备 |
| CN113531838A (zh) * | 2021-09-15 | 2021-10-22 | 江苏宽程装备科技有限公司 | 一种智能化调整空间温度的制冷控制方法及*** |
| WO2023225825A1 (zh) * | 2022-05-23 | 2023-11-30 | 上海玄戒技术有限公司 | 位置差异图生成方法及装置、电子设备、芯片及介质 |
| CN115837363A (zh) * | 2023-02-20 | 2023-03-24 | 成都河狸智能科技有限责任公司 | 一种共享单车分拣***及方法 |
| CN115837363B (zh) * | 2023-02-20 | 2023-05-09 | 成都河狸智能科技有限责任公司 | 一种共享单车分拣***及方法 |
| CN116281070A (zh) * | 2023-03-30 | 2023-06-23 | 山东大舜医药物流有限公司 | 基于大数据的医药分拣***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112347882B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112347882B (zh) | 一种智能分拣控制方法和智能分拣控制*** | |
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN109410321B (zh) | 基于卷积神经网络的三维重建方法 | |
| CN106709947B (zh) | 一种基于rgbd相机的三维人体快速建模*** | |
| Fitzgibbon et al. | Automatic 3D model acquisition and generation of new images from video sequences | |
| CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
| CN111553949B (zh) | 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法 | |
| CN108537876A (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| CN111768452B (zh) | 一种基于深度学习的非接触式自动贴图方法 | |
| CN110084243B (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| CN110634161A (zh) | 一种基于点云数据的工件位姿快速高精度估算方法及装置 | |
| CN109470149B (zh) | 一种管路位姿的测量方法及装置 | |
| CN109766873B (zh) | 一种混合可变形卷积的行人再识别方法 | |
| CN112613097A (zh) | 一种基于计算机视觉的bim快速化建模方法 | |
| CN111981982B (zh) | 一种基于加权sfm算法的多向合作靶标光学测量方法 | |
| CN104794748A (zh) | 基于Kinect视觉技术的三维空间地图构建方法 | |
| CN110991227A (zh) | 一种基于深度类残差网络的三维物体识别和定位方法 | |
| CN114510772A (zh) | 基于斜扫数据建筑面轮廓的快速生成方法 | |
| CN112055192A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| CN113724329A (zh) | 融合平面与立体信息的目标姿态估计方法、***和介质 | |
| US20230368414A1 (en) | Pick and place systems and methods | |
| Kwadjo et al. | From PC2BIM: Automatic Model generation from Indoor Point Cloud | |
| CN115205654A (zh) | 一种新型基于关键点约束的单目视觉3d目标检测方法 | |
| CN115719377A (zh) | 一种六自由度位姿估计数据集自动采集*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |