CN209289269U - 一种基于双目立体视觉定位识别的智能垃圾分类机器人 - Google Patents

Abstract

本实用新型属于机器人技术设计领域，涉及一种基于双目立体视觉定位识别的智能垃圾分类机器人。其特征在于硬件设计上包括中央处理器、DSP处理器、CCD相机、视频解码器、图像数据存储器、机器人分拣结构。由双目CCD相机进行垃圾目标图像的采集，解码并传递给DSP处理器做预处理和数据储存，再传送给中央处理器进行最为核心的垃圾图像再处理与双目立体视觉识别定位，得到垃圾目标三维信息并对比预设模型参数，最后由中央处理器将信息传输给DSP处理器，DSP发送指令完成机器人的分拣操作实现垃圾的分类。本实用新型设计***实现垃圾目标精准定位和三维信息获取并得到垃圾分类数据，对加快城市垃圾分类处理效率、提高社会效益和环境保护方面起到了重大的意义。

Description

一种基于双目立体视觉定位识别的智能垃圾分类机器人

技术领域

本实用新型属于垃圾处理领域，特涉及一种基于双目立体视觉定位识别的智能垃圾分类机器人。

背景技术

随着城市生活越来越自动化、智能化，城市垃圾的分类处理也逐步实现智能化。对垃圾回收再利用，使垃圾资源化具有重要的意义。现在我国垃圾分类处理大部分都靠人力，与我们所期望的智能分类处理、实现垃圾资源再利用还有很大的差距，所以我们急需这样一种实现识别、定位的智能垃圾分类机器人。

目前，垃圾分类机器人主要实现其识别、定位以及分拣操作，对目标的精确定位识别尤为重要。在现有的专利和技术研究中，如关于基于图像识别技术的视觉定位***以及带有红外传感器的垃圾分类机器人，在智能识别和定位方面取得了较为明显的进步，但在实用中，仅依靠二维图像的处理和传感器对目标的捕捉很难达到精准识别定位的要求，而后影响机器人的抓取分拣。

发明内容

针对上述不足之处，本实用新型提供一种智能化、高效率、高精确度的基于双目立体视觉定位识别的垃圾分类机器人。

本实用新型采用如下技术方案：

一种基于双目立体视觉定位识别的智能垃圾分类机器人，包括中央处理器、DSP处理器、两个CCD相机、视频解码器、图像数据存储器和分拣机构，两个CCD相机的输出端分别与视频解码器的输入端连接，视频解码器的输出端与DSP处理器的输入端连接，中央处理器、图像数据存储器和分拣机构分别与DSP处理器的输出端连接，中央处理器的输出端再与DSP处理器的输入端连接。

两个CCD相机与垃圾目标始终构成一个三角形。

机器人对垃圾的分类处理过程如下：

1）由左右两个CCD相机采集垃圾目标的图像，并将采集到的数字图像信息传递给视频解码器；

2）经视频解码器解码后传递给DSP处理器完成数字图像的预处理并传递给图像数据存储器进行储存；

3）再将DSP处理器处理后的图像信息传送给中央处理器进行数字图像再处理与双目立体视觉识别和定位，完成对垃圾目标的三维视觉匹配和三维信息重建，得到垃圾目标的具体三维尺寸和三维位置信息；

4）最后由中央处理器将垃圾目标的最终定位识别信息传输给DSP处理器，DSP发送指令至机器人分拣机械手臂完成垃圾的分类。

垃圾目标图像的采集和预处理以及垃圾目标三维信息的识别和定位构成垃圾目标双目立体视觉***，垃圾目标双目立体视觉***是基于代价垃圾目标函数的三维视觉匹配，中央处理器根据代价函数构造一个三维代价集，通过对代价集的局部优化和三维空间搜索实现视差的聚合，并进行三维滤波操作得到两图的视差信息，获得视差之后，对视差图进行后处理得到精细的视差图。

DSP处理器对垃圾目标图像预处理是指先对垃圾目标图像进行噪声滤除后，然后进行图像分割和边缘检测。

垃圾目标的三维尺寸和三维位置信息是通过左右两个CCD相机在不同位置下采集的图像和被测垃圾目标构成一个三角形，根据已知左右两个CCD相机的位置关系，以及该垃圾目标点在左右数字图像上形成的视差，再通过中央处理器的识别计算而获得。

所述的垃圾目标的三维重建，是利用同一垃圾目标不同视角的两幅图像根据三维视觉匹配获得的视差图，根据三角原理恢复三维信息，便得到了精准的三维尺寸和三维坐标，并将得到的三维信息与存入中央处理器中的预设模型数据进行比较匹配，得到分类结果。

噪声滤除是采用非线性滤波技术中值滤波算法，该滤波算法为：

其中N表示滤波窗口包含象素的总数，表示滤波窗口中心象素的灰度值， 表示排序向量中的第i个象素的灰度值，表示的加权系数。

图像分割和边缘检测是采用Roberts算子以色彩为识别依据检测出灰度或者图像中色彩变化突出的部位，根据变化梯度的大小达到图像分割和边缘的检测，Roberts算子的计算公式为：

由于采集的数字图像一个二维的离散型数集，表示图中一像素点的梯 度大小值，分别表示对角线两个方向的梯度。

垃圾目标的三维视觉匹配是基于图像像素，构建一个优化目标函数，从而得到不同视角图像中同一垃圾目标点的对应关系，通过代价聚合的立体匹配算法，构造基于像素的如下代价目标函数：

绝对误差：

平方误差：

其中是左边图像中位置点的像素强度，是右边图 像中位置点的像素强度，是视差, 分别是对应的匹配代价 函数。

本实用新型的优点是：在专利整个双目立体视觉识别***中，通过硬件和算法的设计达到了对目标的精准的定位识别，具有高效率、高精确度、智能化的特点。缺陷是在数字信息处理过程中，由于要得到精准的目标信息并进行三维重建使得算法处理设计复杂化，还要不断对***识别定位算法进行优化设计以应对不同的复杂情况。

附图说明

图1是本实用新型的目标定位识别硬件***基本框架；

图2是双目立体视觉机器人目标定位技术的原理图；

图3是双目立体视觉***算法处理框图。

具体实施方式

下面结合结构图对该发明的具体实施方式做进一步说明，以下具体实施方式是用来说明本实用新型的，不对本实用新型做任何限制。

下面结合附图对本实用新型基于双目立体视觉定位识别的智能垃圾分类机器人做进一步说明。

根据附图1，本实用新型的一个实施例的基于双目立体视觉定位识别的垃圾分类机器人主要由中央处理器、DSP处理器、两个CCD相机、视频解码器、图像数据存储器、机器人分拣结构以及其他组件组成。

在机器人处理过程中，首先由CCD相机进行目标图像的采集，目的是为了获取空间场景的基础图像，经视频解码器进行解码，并传递给DSP处理器将模拟信号转换为数字信号和对图像的初步处理并通过图像数据存储器来进行储存，然后再传送给中央处理器进行数字图像再处理与双目立体视觉识别和定位，计算出目标的具体三维尺寸和位置信息并进行预设模型匹配，最后再由中央处理器将信息传输给DSP处理器，DSP发送指令给机器人分拣结构实现机器人的分拣操作完成垃圾的分类。

本实用新型中的双目立体视觉垃圾分类***就相当于人的双眼，在识别垃圾物体目标时视觉上具有差异性，正是通过这种视觉上的差异来得到目标三维信息，从而进行对比分类处理。

在垃圾图像采集中，左右两个CCD相机在不同位置下采集的图像和被测目标构成一个三角形，根据已知左右相机的位置关系，以及该目标点在左右数字图像上形成的视差，通过中央处理器算法的识别计算可以获取该垃圾目标的三维信息。

在垃圾图像处理中，首先通过滤波算法对图像进行噪声滤除，后对噪声处理过后的图像进行图像分割和边缘的检测，完成对图像的预处理。

在数字图像再处理中，中央处理器进行三维视觉匹配，通过二维图像中各个目标元素之间的关系完成视差的计算。并在立体视觉***中建立目标的三维信息，从而更精准的获得三维尺寸和三维坐标。

在处理器执行处理过程中，采用嵌入式 DSP处理器对目标识别处理的准确性较高，所需的时间较短，可以满足高精度和高效率快速处理图像和特征提取的要求。

在机器人分拣操作过程中，通过由处理器得到的指令信息操控机械臂来实现垃圾的分类放置。

根据附图2目标定位技术的原理图，双目立体视觉***所对目标进行定位是通过视差来完成的，图中左右两个成像由CCD相机完成，相当于人的双目。利用左右相机成像的视觉差来对目标进行准确坐标定位：垃圾目标与两个相机构成三角形，已知两个相机的不同位置信息，根据采集的图像并通过中央处理器和 DSP处理器对视差数据信息处理，可以获取垃圾目标的具体的三维尺寸和三维位置信息数据。

根据附图3双目立体视觉***中，对垃圾目标图像的噪声滤除采用非线性滤波技术中值滤波算法。该算法在一定程度上克服了线性滤波算法模糊图像细符信息的缺点，而且对滤除脉冲干扰噪声及图像扫描噪声最为有效。在实际运算过程中并不需要图像的统计特性，因此大大节省了运算时间，同时也带来很多方便。该滤波算法为：

(1)

(2)

其中N表示滤波窗口包含象素的总数，表示滤波窗口中心象素的灰度值， 表示排序向量中的第i个象素的灰度值，表示的加权系数。对图像噪声滤除后，然后 对采集的垃圾图像进行图像分割和边缘检测才能有效地对目标进行识别，采用Roberts算 子以色彩为识别依据检测出灰度或者图像中色彩变化突出的部位，根据变化梯度的大小达 到图像分割和边缘的检测，Roberts算子的计算公式为：

由于采集的数字图像一个二维的离散型数集，表示图中一像素点的梯 度大小值，分别表示对角线两个方向的梯度。

完成对图像的预处理后，由DSP处理器进行数据的存储，并传送给中央处理器进行最终的三维信息的识别、匹配定位和重建。三维视觉匹配又称立体匹配，立体匹配的基本原理是基于图像像素，构建一个优化目标函数，从而得到不同视角图像中同一目标点的对应关系，并基于匹配的结果计算视差，立体匹配的结果直接决定了双目立体视觉的精度。

双目立体视觉处理采用极线几何约束和相似性约束，立体匹配从大空间中搜索目标的过程中很大程度上降低搜索空间，提高搜索效率。极线几何约束如附图2，限定了左图像上点对应右侧图像上的匹配点必定在一条直线上。相似性约束是根据左右图像上相似的属性，比如颜色、灰度分布、图像矩信息等来进行匹配约束。

三维视觉匹配采用基于代价聚合的立体匹配算法，并构造基于像素的代价目标函数。

绝对误差： （3）

平方误差： （4）

其中是左边图像中位置点的像素强度，是右边图 像中位置点的像素强度，是视差, 分别是对应的匹配代价 函数。

后进行基于代价目标函数的三维视觉匹配，通过中央处理器计算所有可能视差层次上的像素点的匹配代价构造一个三维代价集作为视差空间图像。采用局部优化方法在构造的三维空间中进行搜索并对三维代价集上进行滤波操作，获得聚合后的视差。获得视差之后，对视差图进行后处理得到精细的视差图。

基于双目立体视觉的三维重建是利用同一目标不同视角的两幅图像根据三维视觉匹配获得的视差图，根据三角原理恢复三维信息，便得到了精准的三维尺寸和三维坐标。并将得到的三维信息与存入中央处理器中的预设模型数据进行比较匹配，得到分类结果。中央处理器将信息传递给DSP处理器并由其发送指令给机器人分拣机构，操作机械臂完成最终的垃圾分类。其中，机器人分拣机构可采用常规技术，分拣手臂为串联结构并搭载伺服电机实现手臂的驱动。

Claims (2)

1.一种基于双目立体视觉定位识别的智能垃圾分类机器人，其特征在于包括中央处理器、DSP处理器、两个CCD相机、视频解码器、图像数据存储器和分拣机构，两个CCD相机的输出端分别与视频解码器的输入端连接，视频解码器的输出端与DSP处理器的输入端连接，中央处理器、图像数据存储器和分拣机构分别与DSP处理器的输出端连接，中央处理器的输出端再与DSP处理器的输入端连接。

2.根据权利要求1所述的基于双目立体视觉定位识别的智能垃圾分类机器人，其特征在于两个CCD相机与垃圾目标始终构成一个三角形。