CN110743818A - 基于视觉及深度学习的垃圾分选***、垃圾分选方法 - Google Patents
基于视觉及深度学习的垃圾分选***、垃圾分选方法 Download PDFInfo
- Publication number
- CN110743818A CN110743818A CN201911196746.3A CN201911196746A CN110743818A CN 110743818 A CN110743818 A CN 110743818A CN 201911196746 A CN201911196746 A CN 201911196746A CN 110743818 A CN110743818 A CN 110743818A
- Authority
- CN
- China
- Prior art keywords
- garbage
- deep learning
- target
- grabbing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 216
- 238000013135 deep learning Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000000463 material Substances 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000007599 discharging Methods 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000011087 paperboard Substances 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 238000003912 environmental pollution Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005188 flotation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种基于视觉及深度学习的垃圾分选***、垃圾分选方法，基于视觉及深度学习的垃圾分选***包括输送装置；图像获取装置，包括用以获取所述输送装置上的垃圾的2D图像数据的线阵相机、用以获取所述输送装置上的垃圾的3D点云数据的3D相机；抓取装置，用以抓取目标垃圾；控制单元，所述输送装置、图像获取装置、抓取装置均与所述控制单元通讯连接，所述控制单元包括用以将得到的2D图像数据与3D点云数据相配准得到RGB‑D图像数据的图像处理模块、对所述RGB‑D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息的深度学习训练及计算模块；增强目标垃圾识别的准确率以及识别速率。
Description
技术领域
本发明涉及垃圾回收领域，尤其涉及一种能够自动分选垃圾的基于视觉及深度学习的垃圾分选***、垃圾分选方法。
背景技术
垃圾造成的环境污染问题日益严重，特别是，随着我国城镇化速度的加快，城镇改造过程中伴随着大量的建筑物拆迁拆除，产生大量的建筑垃圾，如混凝土块、碎石块、木板、纸板、塑料、布艺等，处理不当会造成严重的环境污染以及资源浪费。
目前，垃圾分选的分选方式主要采用尺寸筛分、空气分选、液体浮选、弹跳分选、磁分选、涡流分选、传感器气流分选等机械式分选技术进行垃圾分选，其中，通过人工分选是上述各分选技术中不可或缺的环节，人工分选主要是用来挑选上述机械式分选技术无法识别的大尺寸目标垃圾，如塑料、木板、纸板、大件可燃材料、油漆桶等。但是，人工分选存在分选效率低、工作环境差、损害工人身体健康等问题。
现在部分国内科研机构尝试在实验室搭建测试环境，利用视觉技术对目标物进行筛选，且大多依赖于RGB图像，但是，由于RGB图像和灰度图像包含信息的局限性等限制，不能满足当代的工业应用中对于物体识别准确率的高要求，无法适应客户现场复杂的使用环境，均无法实现产业化。
有鉴于此，有必要提供一种新的基于视觉及深度学习的垃圾分选***、垃圾分选方法以解决上述问题。
发明内容
本发明的目的在于提供一种能够自动分选垃圾的基于视觉及深度学习的垃圾分选***、垃圾分选方法。
为实现上述发明目的，本发明采用如下技术方案：一种基于视觉及深度学习的垃圾分选***，包括用以输送待分选的垃圾的输送装置；
图像获取装置，包括用以获取所述输送装置上的垃圾的2D图像数据的线阵相机、用以获取所述输送装置上的垃圾的3D点云数据的3D相机；
抓取装置，用以抓取目标垃圾；
控制单元，所述输送装置、图像获取装置、抓取装置均与所述控制单元通讯连接，所述控制单元包括用以将得到的2D图像数据与3D点云数据相配准得到RGB-D图像数据的图像处理模块、对所述RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息的深度学习训练及计算模块。
作为本发明进一步改进的技术方案，所述输送装置包括相对设置的进料端以及出料端，所述图像获取装置靠近所述进料端设置。
作为本发明进一步改进的技术方案，所述图像获取装置还包括安装于所述输送装置上方的暗室、安装于所述暗室内的补光装置，所述暗室具有朝向所述输送装置开放的拍摄开口，所述线阵相机、3D相机均安装于所述暗室内。
作为本发明进一步改进的技术方案，所述输送装置包括输送线、用以驱动所述输送线的驱动组件，所述驱动组件包括与所述控制单元通讯连接的驱动件、与所述驱动件相连接的主动辊、与所述主动辊联动的从动辊；所述基于视觉及深度学习的垃圾分选***还包括设于所述从动辊上的编码器；所述编码器与所述线阵相机、3D相机、抓取装置均通讯连接。
作为本发明进一步改进的技术方案，所述抓取装置的数量为至少两组，且至少两组所述抓取装置沿所述输送装置的输送方向并排设置。
作为本发明进一步改进的技术方案，所述控制单元还包括抓取控制模块；每一组所述抓取装置包括安装架、安装于所述安装架上且与所述抓取控制模块通讯连接的机械手、用以放置分选出的目标垃圾的多个垃圾存储框。
作为本发明进一步改进的技术方案，所述机械手为直角坐标机械手。
为实现上述发明目的，本发明还提供一种基于视觉及深度学习的垃圾分选***的垃圾分选方法，包括如下步骤：
获取待分选的垃圾的2D图像数据以及3D点云数据；
将所述2D图像数据以及3D点云数据相配准得到RGB-D图像数据；
加载训练好的深度学习模型对所述RGB-D图像数据进行深度学习，识别出垃圾的材质得到目标垃圾；
计算出抓取装置抓取该目标垃圾的位置信息；
抓取目标垃圾，进行垃圾分选。
作为本发明进一步改进的技术方案，所述深度学习模型为FasterR-CNN目标检测算法模型或SSD目标检测算法模型。
作为本发明进一步改进的技术方案，步骤抓取目标垃圾，进行垃圾分选具体包括如下步骤：
沿垃圾的输送方向，待分选的垃圾依次经过至少两个抓取装置，以抓取目标垃圾，进行垃圾分选。
本发明的有益效果是：本发明中的基于视觉及深度学习的垃圾分选***，通过对RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息，增强目标垃圾识别的准确率以及识别速率。
附图说明
图1是本发明中的基于视觉及智能识别技术的垃圾分选***的结构示意图。
图2是本发明中的基于视觉及深度学习的垃圾分选***的结构示意框图。
图3是本发明中的垃圾分选方法的流程图。
具体实施方式
以下将结合附图所示的各实施方式对本发明进行详细描述，请参照图1至图3所示，为本发明的较佳实施方式。但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
请参图1至图2所示，本发明提供一种基于视觉及深度学习的垃圾分选***100，包括用以输送待分选的垃圾的输送装置1、用以获取所述输送装置1上的待分选的垃圾的图像数据的图像获取装置2、用以抓取目标垃圾的抓取装置3、控制单元4，所述输送装置1、图像获取装置2、抓取装置3均与所述控制单元4通讯连接。
所述输送装置1包括输送皮带11、用以安装所述输送皮带11的输送架12、用以驱动所述输送皮带11运行的驱动组件(未标号)，所述驱动组件包括与所述控制单元4通讯连接的驱动件、与所述驱动件连接的主动辊(未标号)、与所述主动辊联动的从动辊，所述控制单元4控制所述驱动件驱动所述主动辊转动，带动所述从动辊转动，使所述输送皮带11沿输送方向运行，以进行待分选的垃圾的输送。
于一具体实施方式中，所述驱动件为电机，当然，并不以此为限。
具体地，所述输送皮带11具有相对设置的进料端、出料端，所述待分选的垃圾自所述进料端进入所述输送皮带11上，在所述输送皮带11运行的过程中，带动垃圾向所述出料端移动。
具体地，所述图像获取装置2靠近所述进料端设置，以在待分选的垃圾自所述进料端向出料端输送的过程中，及时获取经过的垃圾的图像数据。
所述图像获取装置2包括用以获取所述输送装置1上的垃圾的2D图像数据的线阵相机21、用以获取所述输送装置1上的垃圾的3D点云数据的3D相机22，所述线阵相机21以及所述3D相机22均与所述控制单元4通讯连接。在待分选的垃圾经过所述图像获取装置2时，所述线阵相机21在线连续采集并生成经过的垃圾的2D图像数据反馈给所述控制单元4，所述3D相机同步在线连续采集并生成对应的垃圾的3D点云数据反馈给所述控制单元4。
可以理解的是，上述的2D图像数据包括图像的色彩信息，3D点云数据即三维信息，包括三维形状、三维轮廓、位置等信息。
进一步地，所述基于视觉及深度学习的垃圾分选***100还包括编码器5，所述编码器5与所述线阵相机21、所述3D相机22以及所述抓取装置3均通讯连接。
所述线阵相机21以及所述3D相机22能够根据所述编码器5反馈的电信号各自采集对应位置处的垃圾的图像数据，并反馈给所述控制单元4。即，能够将同一位置处的2D图像数据以及3D点云数据反馈给所述控制单元4。
于一具体实施方式中，所述控制单元4为控制所述垃圾分选***100运行的计算机，可以理解的是，并不对计算机的具体型号作特别的规定，所有能够实现控制所述垃圾分选***100的运行的计算机均在本发明的保护范围之内。当然，并不以此为限。
进一步地，所述控制单元4包括用以将获取的2D图像数据与3D点云数据相配准得到对应位置处的RGB-D图像数据的图像处理模块(未图示)、对所述RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出所述抓取装置3抓取该目标垃圾的位置信息的深度学习训练及计算模块(未图示)。所述控制单元4能够将得出的目标垃圾的材质以及所述抓取装置3抓取该目标垃圾的位置信息反馈给所述抓取装置3，所述抓取装置3接收到目标垃圾的材质以及所述抓取装置3抓取该目标垃圾的位置信息后，能够根据所述编码器5反馈的电信号得到输送皮带11的运行速度以及实时位置，从而所述抓取装置3能够动态抓取所述输送皮带11上的目标垃圾，实现垃圾在线分选。
可以理解的是，所述编码器5反馈的电信号即指包含了输送皮带11的运行速度、实时位置、等的信号。
所述目标垃圾即为需要分选出来的垃圾，例如木板、石头、塑料、纸板等。
所述RGB-D图像数据包含了垃圾的颜色信息、三维位置信息、三维轮廓信息等。本发明中，通过对RGB-D图像数据进行深度学习的方式识别出垃圾的材质得到目标垃圾，增强目标垃圾识别的准确率以及识别速率。
具体地，所述深度学习训练及计算模块中预存有深度学习算法，如Faster R-CNN目标检测算法或者SSD目标检测算法，以对获取的所述RGB-D图像数据中的垃圾的材质进行识别，得出目标垃圾。
下面，以所述深度学习训练及计算模块中预存有Faster R-CNN目标检测算法为例进行简要阐述，当然，并不以此为限。
在所述深度学习训练及计算模块中预存有Faster R-CNN目标检测算法时，所述深度学习训练及计算模块对垃圾的处理包括如下步骤：
S1：深度学习训练及计算模块获取以多维数组的形式输入的RGB-D图像数据，并将该RGB-D图像数据经预训练的CNN模型处理得到卷积特征图；
S2：RPN(Region Propose Network)对卷积特征图进行处理，识别出可能包含目标垃圾的区域；
S3：基于R-CNN模块对位于边界框内的垃圾进行分类，识别出目标垃圾的材质得出目标垃圾；
S4：计算得出抓取装置抓取该目标垃圾的位置信息。
在所述深度学习训练及计算模块识别出垃圾的材质得到目标垃圾并计算出所述抓取装置3抓取该目标垃圾的位置信息后，将目标垃圾材质及所述抓取装置3抓取该目标垃圾的位置信息反馈给所述控制单元4，以便于后续控制所述抓取装置3对目标垃圾进行抓取。
具体地，所述编码器5设于所述从动辊上，能够防止因输送皮带11打滑导致采集的数据不精确。
进一步地，所述图像获取装置2还包括安装于所述输送装置1上方的暗室23、安装于所述暗室23内的补光装置(未图示)，所述暗室23具有朝向所述输送装置1开放的拍摄开口，所述线阵相机21、3D相机22均安装于所述暗室23内，以防止外界的杂光影响所述线阵相机21以及所述3D相机22的拍摄效果。
具体地，所述暗室23安装于所述输送架12上，且所述暗室23具有朝向所述输送装置1开放的拍摄开口(未标号)，以便于所述线阵相机21以及所述3D相机22获取经过的垃圾的图像。
进一步地，所述抓取装置3的数量为至少两组，且至少两组所述抓取装置3沿所述输送皮带11的运行方向间隔且并排设置，以在目标垃圾较多，一个所述抓取装置3来不及全部抓取目标垃圾的时候，其他的抓取装置3能够抓取剩余的目标垃圾，提高垃圾分选的效率以及垃圾分选纯度。
于一具体实施方式中，所述抓取装置3的数量为两组，沿所述输送皮带11的输送方向，定义两个所述抓取装置分别为第一抓取装置31、第二抓取装置32，在所述输送皮带11输送的过程中，待分选的垃圾依次经过图像获取装置2、第一抓取装置31、第二抓取装置32，最终非目标垃圾自所述出料端排出所述输送装置1。
在目标垃圾较多时，待分选的垃圾经过所述第一抓取装置31时，第一抓取装置31抓取部分目标垃圾，并将未抓取的目标垃圾的材质及第二抓取装置32抓取该目标垃圾的位置信息反馈给所述控制单元4，所述第二抓取装置32根据所述编码器5反馈的电信号动态抓取剩余的目标垃圾。
进一步地，所述控制单元4还包括抓取控制模块，每一组所述抓取装置3包括安装架33、安装于所述安装架33上且与所述抓取控制模块通讯连接的机械手(未标号)、用以放置分选出的目标垃圾的多个垃圾存储框(未图示)，每一所述垃圾存储框用来存放一类材质的目标垃圾，所述机械手抓取目标垃圾后并根据该目标垃圾的材质将其回收至对应的垃圾存储框内。
于一具体实施方式中，所述机械手为直角坐标机械手，具有高速、大负载、大行程等特性，适用于建筑垃圾的分选。
所述直角坐标机械手包括安装于所述安装架33上且具有XYZR四轴的直角坐标模组、与所述直角坐标模组相连接的夹爪，所述直角坐标模组能够带动所述夹爪在X、Y、Z、R四轴方向上移动，以抓取目标垃圾并将目标垃圾放入至对应的垃圾存储框内。
具体地，所述直角坐标模组的结构可沿用现有的直角坐标模组的结构，于此，不再赘述。
具体地，所述安装架33支撑于地面上，以使所述抓取装置3能够实现模块化安装，即，能够根据具体需求选择所述抓取装置3的安装位置以及数量，且安装简便。
进一步地，请参图3所示，本发明还提供一种基于视觉及深度学习的垃圾分选***100的垃圾分选方法，包括如下步骤：
获取待分选的垃圾的2D图像数据以及3D点云数据；
将所述2D图像数据以及3D点云数据相配准得到RGB-D图像数据；
加载训练好的深度学习模型对所述RGB-D图像数据进行深度学习，识别出垃圾的材质得到目标垃圾；
计算出抓取装置抓取该目标垃圾的位置信息；
抓取目标垃圾，进行垃圾分选。
具体地，步骤获取待分选的垃圾的2D图像数据以及3D点云数据具体为：所述线阵相机21根据所述编码器5反馈的电信号采集某一位置处的2D图像数据，同时所述3D相机22根据所述编码器5反馈的电信号采集对应位置处的3D点云数据，然后将同一位置处的2D图像数据以及3D点云数据反馈给所述控制单元4。
上述步骤加载训练好的深度学习模型对所述RGB-D图像数据进行深度学习，识别出垃圾的材质得到目标垃圾中的深度学习模型为FasterR-CNN目标检测算法模型或SSD目标检测算法模型。
如，在所述深度学习模型为FasterR-CNN目标检测算法模型时，步骤加载训练好的深度学习模型对所述RGB-D图像数据进行深度学习，识别出垃圾的材质得到目标垃圾具体包括如下步骤：
S1：深度学习训练及计算模块获取以多维数组的形式输入的RGB-D图像数据，并将该RGB-D图像数据经预训练的CNN模型处理得到卷积特征图；
S2：RPN(Region Propose Network)对卷积特征图进行处理，识别出可能包含目标垃圾的区域；
S3：基于R-CNN模块对位于边界框内的垃圾进行分类，识别出目标垃圾的材质得出目标垃圾。
具体地，上述步骤：抓取目标垃圾，进行垃圾分选具体包括：
控制单元4将目标垃圾的材质及抓取装置3抓取该目标垃圾的位置信息反馈给所述抓取装置3；
所述抓取装置3根据所述编码器5反馈的电信号得到输送皮带11的运行速度以及实时位置，并动态抓取所述输送皮带11上的目标垃圾；
所述抓取装置3根据抓取的目标垃圾的材质将该目标垃圾放入对应的垃圾存储框内。
进一步地，在所述抓取装置3的数量为多组，且多组所述抓取装置3沿所述输送装置1的输送方向间隔排布的实施方式中，步骤抓取目标垃圾，进行垃圾分选具体包括如下步骤：
待分选的垃圾沿输送方向依次经过至少两个抓取装置，以抓取目标垃圾，进行垃圾分选。
于一具体实施方式中，所述抓取装置的数量为两组，沿所述输送皮带11的输送方向，定义两个所述抓取装置分别为第一抓取装置31、第二抓取装置32，在所述输送皮带11输送的过程中，待分选的垃圾依次经过第一抓取装置31、第二抓取装置32，最终自所述出料端排出所述输送装置1。
步骤抓取目标垃圾，进行垃圾分选具体包括如下步骤：
控制单元4将目标垃圾的材质及抓取装置3抓取该目标垃圾的位置信息反馈给所述第一抓取装置31以及第二抓取装置32；
所述第一抓取装置31根据所述编码器5反馈的电信号得到输送皮带11的运行速度以及实时位置，动态抓取所述输送皮带11上的部分目标垃圾，并根据抓取的目标垃圾的材质将该目标垃圾放入对应的垃圾存储框内，同时，将未抓取的目标垃圾的材质及第二抓取装置32抓取该目标垃圾的位置信息通过所述控制单元4反馈给所述第二抓取装置32；
所述第二抓取装置31根据所述编码器5反馈的电信号得到输送皮带11的运行速度以及实时位置，动态抓取所述输送皮带11上的剩余目标垃圾，并根据抓取的目标垃圾的材质将该目标垃圾放入对应的垃圾存储框内。
综上所述，本发明中的基于视觉及深度学习的垃圾分选***100，通过对RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息，增强目标垃圾识别的准确率以及识别速率。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于视觉及深度学习的垃圾分选***，包括用以输送待分选的垃圾的输送装置；其特征在于：所述基于视觉及深度学习的垃圾分选***还包括：
图像获取装置，包括用以获取所述输送装置上的垃圾的2D图像数据的线阵相机、用以获取所述输送装置上的垃圾的3D点云数据的3D相机；
抓取装置，用以抓取目标垃圾；
控制单元，所述输送装置、图像获取装置、抓取装置均与所述控制单元通讯连接，所述控制单元包括用以将得到的2D图像数据与3D点云数据相配准得到RGB-D图像数据的图像处理模块、对所述RGB-D图像数据进行深度学习识别出垃圾的材质得到目标垃圾并计算出抓取装置抓取该目标垃圾的位置信息的深度学习训练及计算模块。
2.如权利要求1所述的基于视觉及深度学习的垃圾分选***，其特征在于：所述输送装置包括相对设置的进料端以及出料端，所述图像获取装置靠近所述进料端设置。
3.如权利要求2所述的基于视觉及深度学习的垃圾分选***，其特征在于：所述图像获取装置还包括安装于所述输送装置上方的暗室、安装于所述暗室内的补光装置，所述暗室具有朝向所述输送装置开放的拍摄开口，所述线阵相机、3D相机均安装于所述暗室内。
4.如权利要求1所述的基于视觉及深度学习的垃圾分选***，其特征在于：所述输送装置包括输送线、用以驱动所述输送线的驱动组件，所述驱动组件包括与所述控制单元通讯连接的驱动件、与所述驱动件相连接的主动辊、与所述主动辊联动的从动辊；所述基于视觉及深度学习的垃圾分选***还包括设于所述从动辊上的编码器；所述编码器与所述线阵相机、3D相机、抓取装置均通讯连接。
5.如权利要求1所述的基于视觉及深度学习的垃圾分选***，其特征在于：所述抓取装置的数量为至少两组，且至少两组所述抓取装置沿所述输送装置的输送方向并排设置。
6.如权利要求5所述的基于视觉及深度学习的垃圾分选***，其特征在于：所述控制单元还包括抓取控制模块；每一组所述抓取装置包括安装架、安装于所述安装架上且与所述抓取控制模块通讯连接的机械手、用以放置分选出的目标垃圾的多个垃圾存储框。
7.如权利要求6所述的基于视觉及深度学习的垃圾分选***，其特征在于：所述机械手为直角坐标机械手。
8.一种基于视觉及深度学习的垃圾分选***的垃圾分选方法，其特征在于：包括如下步骤：
获取待分选的垃圾的2D图像数据以及3D点云数据；
将所述2D图像数据以及3D点云数据相配准得到RGB-D图像数据；
加载训练好的深度学习模型对所述RGB-D图像数据进行深度学习，识别出垃圾的材质得到目标垃圾；
计算出抓取装置抓取该目标垃圾的位置信息；
抓取目标垃圾，进行垃圾分选。
9.如权利要求8所述的基于视觉及深度学习的垃圾分选***的垃圾分选方法，其特征在于：所述深度学习模型为FasterR-CNN目标检测算法模型或SSD目标检测算法模型。
10.如权利要求8所述的基于视觉及深度学习的垃圾分选***的垃圾分选方法，其特征在于：步骤抓取目标垃圾，进行垃圾分选具体包括如下步骤：
沿垃圾的输送方向，待分选的垃圾依次经过至少两个抓取装置，以抓取目标垃圾，进行垃圾分选。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911196746.3A CN110743818A (zh) | 2019-11-29 | 2019-11-29 | 基于视觉及深度学习的垃圾分选***、垃圾分选方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911196746.3A CN110743818A (zh) | 2019-11-29 | 2019-11-29 | 基于视觉及深度学习的垃圾分选***、垃圾分选方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110743818A true CN110743818A (zh) | 2020-02-04 |
Family
ID=69285140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911196746.3A Pending CN110743818A (zh) | 2019-11-29 | 2019-11-29 | 基于视觉及深度学习的垃圾分选***、垃圾分选方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110743818A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111359915A (zh) * | 2020-03-24 | 2020-07-03 | 广东弓叶科技有限公司 | 基于机器视觉的物料分选方法及*** |
| CN111659635A (zh) * | 2020-06-16 | 2020-09-15 | 北京铮实环保工程有限公司 | 一种基于视觉技术和深度学习的存余垃圾识别方法和装置 |
| CN111844101A (zh) * | 2020-07-31 | 2020-10-30 | 中国科学技术大学 | 一种多指灵巧手分拣规划方法 |
| CN111921885A (zh) * | 2020-08-05 | 2020-11-13 | 东南数字经济发展研究院江山分院 | 木门板材尺寸智能检测方法与装置 |
| CN113378868A (zh) * | 2020-02-25 | 2021-09-10 | 顺丰科技有限公司 | 垃圾分拣方法和装置、服务器、计算机可读存储介质 |
| CN113505633A (zh) * | 2021-05-19 | 2021-10-15 | 海南师范大学 | 一种基于区块链的生活垃圾分拣处理方法和*** |
| KR20210130409A (ko) * | 2020-04-22 | 2021-11-01 | 동명대학교산학협력단 | 딥러닝을 이용한 비정형 재활용품 분류 시스템 및 그 방법 |
| CN114055438A (zh) * | 2022-01-17 | 2022-02-18 | 湖南视比特机器人有限公司 | 视觉引导工件随动分拣***及方法 |
| KR20220077987A (ko) * | 2020-12-02 | 2022-06-10 | 한국생산기술연구원 | 딥러닝 기반 재활용품 분류 방법 |
| CN116921247A (zh) * | 2023-09-15 | 2023-10-24 | 北京安麒智能科技有限公司 | 一种垃圾智能分拣***的控制方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102218406A (zh) * | 2011-01-04 | 2011-10-19 | 华南理工大学 | 一种基于机器视觉的手机外壳缺陷智能检测装置 |
| CN108447082A (zh) * | 2018-03-15 | 2018-08-24 | 深圳市唯特视科技有限公司 | 一种基于联合学习关键点检测器的三维目标匹配方法 |
| CN109543601A (zh) * | 2018-11-21 | 2019-03-29 | 电子科技大学 | 一种基于多模态深度学习的无人车目标检测方法 |
| CN109597087A (zh) * | 2018-11-15 | 2019-04-09 | 天津大学 | 一种基于点云数据的3d目标检测方法 |
| CN109834063A (zh) * | 2019-04-11 | 2019-06-04 | 苏州嘉诺环境工程有限公司 | 垃圾分选***及垃圾分选方法 |
| CN109977812A (zh) * | 2019-03-12 | 2019-07-05 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN110378909A (zh) * | 2019-06-24 | 2019-10-25 | 南京林业大学 | 基于Faster R-CNN的面向激光点云的单木分割方法 |
| CN110516570A (zh) * | 2019-08-15 | 2019-11-29 | 东莞弓叶互联科技有限公司 | 一种基于视觉的垃圾分类识别方法和装置 |
| CN111201451A (zh) * | 2018-02-09 | 2020-05-26 | 宝马股份公司 | 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置 |
| CN211100232U (zh) * | 2019-11-29 | 2020-07-28 | 苏州嘉诺环境工程有限公司 | 基于视觉及深度学习的垃圾分选*** |
-
2019
- 2019-11-29 CN CN201911196746.3A patent/CN110743818A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102218406A (zh) * | 2011-01-04 | 2011-10-19 | 华南理工大学 | 一种基于机器视觉的手机外壳缺陷智能检测装置 |
| CN111201451A (zh) * | 2018-02-09 | 2020-05-26 | 宝马股份公司 | 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置 |
| CN108447082A (zh) * | 2018-03-15 | 2018-08-24 | 深圳市唯特视科技有限公司 | 一种基于联合学习关键点检测器的三维目标匹配方法 |
| CN109597087A (zh) * | 2018-11-15 | 2019-04-09 | 天津大学 | 一种基于点云数据的3d目标检测方法 |
| CN109543601A (zh) * | 2018-11-21 | 2019-03-29 | 电子科技大学 | 一种基于多模态深度学习的无人车目标检测方法 |
| CN109977812A (zh) * | 2019-03-12 | 2019-07-05 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN109834063A (zh) * | 2019-04-11 | 2019-06-04 | 苏州嘉诺环境工程有限公司 | 垃圾分选***及垃圾分选方法 |
| CN110378909A (zh) * | 2019-06-24 | 2019-10-25 | 南京林业大学 | 基于Faster R-CNN的面向激光点云的单木分割方法 |
| CN110516570A (zh) * | 2019-08-15 | 2019-11-29 | 东莞弓叶互联科技有限公司 | 一种基于视觉的垃圾分类识别方法和装置 |
| CN211100232U (zh) * | 2019-11-29 | 2020-07-28 | 苏州嘉诺环境工程有限公司 | 基于视觉及深度学习的垃圾分选*** |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378868A (zh) * | 2020-02-25 | 2021-09-10 | 顺丰科技有限公司 | 垃圾分拣方法和装置、服务器、计算机可读存储介质 |
| CN111359915A (zh) * | 2020-03-24 | 2020-07-03 | 广东弓叶科技有限公司 | 基于机器视觉的物料分选方法及*** |
| KR20210130409A (ko) * | 2020-04-22 | 2021-11-01 | 동명대학교산학협력단 | 딥러닝을 이용한 비정형 재활용품 분류 시스템 및 그 방법 |
| KR102391501B1 (ko) * | 2020-04-22 | 2022-04-27 | 동명대학교산학협력단 | 딥러닝을 이용한 비정형 재활용품 분류 시스템 및 그 방법 |
| CN111659635A (zh) * | 2020-06-16 | 2020-09-15 | 北京铮实环保工程有限公司 | 一种基于视觉技术和深度学习的存余垃圾识别方法和装置 |
| CN111844101A (zh) * | 2020-07-31 | 2020-10-30 | 中国科学技术大学 | 一种多指灵巧手分拣规划方法 |
| CN111921885A (zh) * | 2020-08-05 | 2020-11-13 | 东南数字经济发展研究院江山分院 | 木门板材尺寸智能检测方法与装置 |
| KR20220077987A (ko) * | 2020-12-02 | 2022-06-10 | 한국생산기술연구원 | 딥러닝 기반 재활용품 분류 방법 |
| KR102445891B1 (ko) * | 2020-12-02 | 2022-09-23 | 한국생산기술연구원 | 딥러닝 기반 재활용품 분류 방법 |
| CN113505633A (zh) * | 2021-05-19 | 2021-10-15 | 海南师范大学 | 一种基于区块链的生活垃圾分拣处理方法和*** |
| CN114055438A (zh) * | 2022-01-17 | 2022-02-18 | 湖南视比特机器人有限公司 | 视觉引导工件随动分拣***及方法 |
| CN116921247A (zh) * | 2023-09-15 | 2023-10-24 | 北京安麒智能科技有限公司 | 一种垃圾智能分拣***的控制方法 |
| CN116921247B (zh) * | 2023-09-15 | 2023-12-12 | 北京安麒智能科技有限公司 | 一种垃圾智能分拣***的控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110743818A (zh) | 基于视觉及深度学习的垃圾分选***、垃圾分选方法 | |
| CN107096720A (zh) | 基于图像处理的快件条码自动识别***及方法 | |
| CN109261539A (zh) | 一种基于视觉识别和卷积神经网络的垃圾分拣***及方法 | |
| CN106124520A (zh) | 一种全自动上下料和视觉检测的装置 | |
| CN206854123U (zh) | 基于图像处理的快件条码自动识别*** | |
| CN109625986A (zh) | 机器人码垛***及其码垛方法 | |
| CN111389763A (zh) | 一种基于图像数据处理的煤矸石分选***和方法 | |
| JP2021030107A (ja) | 物品選別装置、物品選別システムおよび物品選別方法 | |
| CN105666485A (zh) | 一种基于图像处理的自动识别和定位摆棋机器人 | |
| CN112916416A (zh) | 一种建筑垃圾分拣*** | |
| JP2021030219A (ja) | 物品選別装置および物品選別方法 | |
| CN111266304A (zh) | 一种煤块识别检测分选*** | |
| CN109834063A (zh) | 垃圾分选***及垃圾分选方法 | |
| CN111659635A (zh) | 一种基于视觉技术和深度学习的存余垃圾识别方法和装置 | |
| CN112827846B (zh) | 一种垃圾自动分类的装置及方法 | |
| CN109433631A (zh) | 多规格螺栓损伤程度自动检测和分类的一体式装置 | |
| CN109675827A (zh) | 一种建筑垃圾识别分拣设备、识别方法及其抓取方法 | |
| CN102615053A (zh) | 柔版机添加质检剔次装置 | |
| CN113289925A (zh) | 一种基于深度学习的煤中杂物智能分拣***及其分拣方法 | |
| CN113469264A (zh) | 一种垃圾自动分类模型的构建方法、垃圾分拣方法和*** | |
| CN211100232U (zh) | 基于视觉及深度学习的垃圾分选*** | |
| CN209792032U (zh) | 基于视觉及智能识别技术的垃圾分选*** | |
| CN208092786U (zh) | 一种以深度卷积神经网络为基础的零件分拣*** | |
| CN111515133A (zh) | 快递异形件自动拣选方法、装置、设备和存储介质 | |
| CN209452328U (zh) | 一种建筑垃圾识别分拣设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200204 |
|
| WD01 | Invention patent application deemed withdrawn after publication |