CN110497419A - 建筑废弃物分拣机器人 - Google Patents

建筑废弃物分拣机器人 Download PDF

Info

Publication number
CN110497419A
CN110497419A CN201910635398.9A CN201910635398A CN110497419A CN 110497419 A CN110497419 A CN 110497419A CN 201910635398 A CN201910635398 A CN 201910635398A CN 110497419 A CN110497419 A CN 110497419A
Authority
CN
China
Prior art keywords
waste
data
module
sorting machine
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910635398.9A
Other languages
English (en)
Inventor
刘景矿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201910635398.9A priority Critical patent/CN110497419A/zh
Publication of CN110497419A publication Critical patent/CN110497419A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及移动机器人及路径规划的技术领域，尤其是涉及一种建筑废弃物分拣机器人，其包括分拣机器人本体，分拣机器人本体包括以下模块：机械手：用于拾拣建筑工地的废弃物；移动模块：用于驱动分拣机器人本体移动；图像获取装置：用于移动模块驱动分拣机器人本体实时获取建筑工地的图像数据；收集模块：用于存放机械手拾拣的废弃物；控制模块：在图像数据中自动识别出废弃物以及废弃物的类别数据，并控制移动模块驱动分拣机器人本体移动至废弃物处，控制机械手拾拣废弃物，并根据类别数据，将废弃物存储至收集模块中预设的位置。本发明具有能够在建筑工地，对建筑工地的废物进行分拣的效果。

Description

建筑废弃物分拣机器人
技术领域
本发明涉及移动机器人及路径规划的技术领域，尤其是涉及一种建筑废弃物分拣机器人。
背景技术
目前，建筑废物是指在建设或者拆除建筑物时，产生的废弃的或者是有害的材料。在如今人们的日常生活中，建筑业对自然环境造成了很多负面影响，其中就包括建筑废弃物。
现有的对建筑物进行建设或拆除时产生的建筑物废弃物时，若不能够及时将建筑废弃物清除，除了建筑废弃物会对周围环境造成影响，在建筑工地的施工人员也会误踩至该建筑废弃物上，造成不必要的损伤。因此需要及时对建筑废弃物进行清理，然而由于在建筑工地，建筑废弃物的数量很多，人工对建筑废弃物进行清理时，会耗费大量的时间精力，不利于工程的进展，也有可能会存在清理不完全等情况，因此存在改进空间。
发明内容
本发明的目的是提供一种能够在建筑工地，对建筑工地的废物进行分拣的建筑废弃物分拣机器人。
本发明的上述发明目的一是通过以下技术方案得以实现的：
一种建筑废弃物分拣机器人，所述建筑废弃物分拣机器人包括分拣机器人本体，所述分拣机器人本体包括以下模块：
机械手：用于拾拣建筑工地的废弃物；
移动模块：用于驱动所述分拣机器人本体移动；
图像获取装置：用于所述移动模块驱动所述分拣机器人本体实时获取所述建筑工地的图像数据；
收集模块：用于存放所述机械手拾拣的所述废弃物；
控制模块：在所述图像数据中自动识别出所述废弃物以及所述废弃物的类别数据，并控制所述移动模块驱动所述分拣机器人本体移动至所述废弃物处，控制所述机械手拾拣所述废弃物，并根据所述类别数据，将所述废弃物存储至所述收集模块中预设的位置。
通过采用上述技术方案，在分拣机器人本体上的控制模块能够根据图像获取装置获取到建筑工地的图像数据进行分析处理，从而获取该建筑工地的图像数据中废弃物的位置，从而控制移动模块和机械手，将分拣机器人本体移动至废弃物处，并使用机械手将废弃物拾起，并根据图像识别的结果，识别出拾拣起的废弃物的类别数据，将废弃物根据该类别数据进行分类存储，一来能够自动将建筑工地的废弃物拾起，起到了环保的效果；同时，在从图像数据中识别出废弃物时，根据废弃物的类别数据分类存储，能够使得存储的废弃物能够更合理，有助于后续对废弃物的回收和利用，进一步地有助于环保。
本发明进一步设置为：所述控制模块采用以下方法步骤识别所述废弃物以及所述类别数据：
S10：若获取到所述图像数据，则从所述图像数据中识别出所述废弃物和所述类别数据；
S20：根据所述图像数据中的所述废弃物，使用全覆盖路径规划算法进行计算，得到对应的移动路径数据；
S30：根据所述移动路径数据，生成并向所述移动模块发送移动消息，使所述移动模块根据所述移动消息驱动所述分拣机器人移动；
S40：当所述分拣机器人本体移动至所述废弃物时，向所述机械手发送拾拣消息，使所述机械手拾拣所述废弃物，并将所述废弃物根据存放至所述收集模块处对应的位置。
通过采用上述技术方案，控制模块在获取到图像数据后，使用预设的模型，在图像数据中识别出建筑工地的废弃物和对应的类别数据，能够使分拣机器人能够根据该废弃物和类别数据，对废弃物进行拾拣和分类存储；同时，采用全覆盖路径规划算法，基于废弃物的位置，规划出移动路径数据，能够使该分拣机器人本体移动的路线更合理，减少重复的路线，提升了效率。
本发明进一步设置为：步骤S10包括：
S11：使用预设的废弃物识别模型，对所述图像数据进行处理，得到对应的处理结果；
S12：从所述处理结果中，获取所述废弃物的图像以及对应的所述类别数据。
通过采用上述技术方案，预先训练好该废弃物识别模型，能够在控制模块获取到图像数据后，从图像数据中识别出废弃物的位置和废弃物对应的类别数据，从而可以使控制模块能够根据该位置和类别数据，控制移动模块和机械手动作。
本发明进一步设置为：在步骤S10之前，通过以下方法步骤训练获取所述废弃物识别模型：
S101：根据所述类别数据，逐类获取若干张对应的废弃物待测图片；
S102：逐类将所述废弃物待测图片输入CNN网络中，得到对应的废弃物特征值；
S103：根据所述废弃物特征值，使用RPN网络对每张是使废弃物待测图片进行处理，得到对应的建议窗口；
S104：将所述建议窗口映射至所述CNN网络中，并使用RoI pooling层对每一所述建议窗口进行处理，得到以每一所述建议窗口对应的固定尺寸的特征图；
S105：根据所述类别数据，对特征图进行训练，得到能够识别所述类别数据对应的废弃物的废弃物识别模型。
通过采用上述技术方案，通过采用Faster R-CNN算法，按照废弃物的类别数据对每一废弃物进行特征值提取、生成建议窗口以及经过池化层进行处理，进而得到能够训练得到能够获取到建筑工地每一废弃物以及对应的类别数据的废弃物识别模型。
本发明进一步设置为：步骤S20包括：
S21：对所述图像数据采取栅格化处理，得到栅格图像数据；
S22：获取每一所述废弃物在所述栅格图像数据的位置数据，并将根据所述位置数据，调用A*算法进行计算，得到对应的移动路径数据。
通过采用上述技术方案，使用栅格化处理和A*算法，能够在获取得到废弃物的位置后，计算得到分拣机器人本体拾拣施工现场的废弃物时，最优化的路线，从而减少分拣机器人本体的重复运动，提升拾拣的效率。
本发明进一步设置为：步骤S40包括：
S41：预先在所述类别数据中获取类别数量，根据所述类别数量在所述收集模块中划分对应的废弃物存储区域，并根据所述类别数据对每一所述废弃物存储区域进行标记；
S42：当所述机械手拾拣起所述废弃物时，将所述废弃物根据所述废弃物对应的类别数据存储至收集模块对应的所述废弃物存储区域中。
通过采用上述技术方案，预先在收集模块中设置好与每一类别数据对应的存储区域，能够对建筑工地的废弃物进行分拣时，将拾拣到的废弃物放置于收集模块对应的区域，有助于后续的循环利用。
优选地，所述控制模块还包括以下模块组成的控制***：
图像识别模块，用于若获取到所述图像数据，则从所述图像数据中识别出所述废弃物和所述类别数据；
移动路径计算模块，用于根据所述图像数据中的所述废弃物，使用全覆盖路径规划算法进行计算，得到对应的移动路径数据；
移动控制模块，用于根据所述移动路径数据，生成并向所述移动模块发送移动消息，使所述移动模块根据所述移动消息驱动所述分拣机器人移动；
分拣收集模块，用于当所述分拣机器人本体移动至所述废弃物时，向所述机械手发送拾拣消息，使所述机械手拾拣所述废弃物，并将所述废弃物根据存放至所述收集模块处对应的位置。
通过采用上述技术方案，控制模块在获取到图像数据后，使用预设的模型，在图像数据中识别出建筑工地的废弃物和对应的类别数据，能够使分拣机器人能够根据该废弃物和类别数据，对废弃物进行拾拣和分类存储；同时，采用全覆盖路径规划算法，基于废弃物的位置，规划出移动路径数据，能够使该分拣机器人本体移动的路线更合理，减少重复的路线，提升了效率。
综上所述，本发明的有益技术效果为：
1.在分拣机器人本体上的控制模块能够根据图像获取装置获取到建筑工地的图像数据进行分析处理，从而获取该建筑工地的图像数据中废弃物的位置，从而控制移动模块和机械手，将分拣机器人本体移动至废弃物处，并使用机械手将废弃物拾起，并根据图像识别的结果，识别出拾拣起的废弃物的类别数据，将废弃物根据该类别数据进行分类存储，一来能够自动将建筑工地的废弃物拾起，起到了环保的效果；
2.在从图像数据中识别出废弃物时，根据废弃物的类别数据分类存储，能够使得存储的废弃物能够更合理，有助于后续对废弃物的回收和利用，进一步地有助于环保。
附图说明
图1是本发明一实施例中控制模块进行识别废弃物以及类别数据的方法的一流程图；
图2是本发明一实施例中控制模块进行识别废弃物以及类别数据的方法中步骤S10的实现流程图；
图3是本发明一实施例中控制模块进行识别废弃物以及类别数据的方法的另一流程图；
图4是本发明一实施例中控制模块进行识别废弃物以及类别数据的方法中步骤S20的实现流程图；
图5是本发明一实施例中控制模块进行识别废弃物以及类别数据的方法中步骤S40的实现流程图；
图6是本发明一实施例中控制***的一原理框图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
实施例一：
本发明公开了一种建筑废弃物分拣机器人，包括：分拣机器人本体，该分拣机器人本体包括控制模块，以及藕接于该控制模块的机械手、移动模块、图像获取模块以及收集模块。
机械手受控于控制模块，能够根据控制模块发出的指令，拾拣对应的物品，在本实施例中，具体拾拣的物品是施工场地的废弃物。
图像获取装置向控制模块发送图像数据，在本实施例中，图像获取装置具体可以是摄像头。图像获取装置实时获取建筑工地现场的图像数据，并将该图像数据发送至控制模块进行处理。
移动模块受控于控制模块，能根据控制模块发出的指令，移动分拣机器人本体，使分拣机器人本体能够移动至废弃物旁。
收集模块用于存放机械手拾拣的废弃物，其中，收集模块可以是固定于分拣机器人本体上，也可以是设置于建筑工地的其中一个区域，分拣机器人本体能够知道该区域在建筑工地的位置。
实施例二：
在一实施例中，如图1所示，控制模块采用以下方法步骤识别废弃物以及类别数据，并对废弃物进行拾拣以及收集：
S10：若获取到图像数据，则从图像数据中识别出废弃物和类别数据。
在本实施例中，图像数据是指建筑工地中，实际情况的图像的数据。废弃物是指在建筑工地中，对建筑物进行建造或者拆除时产生的废料，其中，该废弃物包括但不限于螺钉、石头、木板以及其他垃圾等。其中，类别数据是指对应每一种废弃物的种类的数据。
具体地，预先在控制模块中设置有能够从图像中识别出废弃物和该废弃物对应的类别数据的模型，在获取到图像获取装置拍摄的建筑工地的图像数据后，使用该模型，在图形数据中获取到在建筑工地的废弃物的位置和每一种识别到的废弃物对饮的类别数据。
S20：根据图像数据中的废弃物，使用全覆盖路径规划算法进行计算，得到对应的移动路径数据。
在本实施例中，全覆盖路径规划算法是指在一定区域或空间范围内获取一条走遍除障碍物外所有地方的最短路径的算法。移动路径数据是指分拣机器人本体根据建筑工地的废弃物的位置，通过全覆盖路径算法进行计算后，得到的移动以及分拣废弃物的路线。
具体地，在控制模块从图像数据中识别出废弃物以及废弃物在建筑工地的位置后，采用全覆盖路径算法，计算出分拣机器人本体移动并拾拣建筑工地的废弃物的最短路线，并将该最短路线作为该移动路径数据。
S30：根据移动路径数据，生成并向移动模块发送移动消息，使移动模块根据移动消息驱动分拣机器人移动。
在本实施例中，移动消息是指控制移动模块进行移动的消息。
具体地，将该移动路径数据中具体包括的路径，以及该分拣机器人本体当前的位置生成该移动消息，从而驱动移动模块动作，驱动分拣机器人根据步骤S20计算得到的移动路径数据移动。
S40：当分拣机器人本体移动至废弃物时，向机械手发送拾拣消息，使机械手拾拣废弃物，并将废弃物根据存放至收集模块处对应的位置。
在本实施例中，拾拣消息是指控制机械手执行转动、夹持、拾拣等操作的消息。
具体地，当移动模块驱动分拣机器人本体根据移动消息移动至对应的废弃物旁时，控制模块向机械手发送该拾拣消息，将废弃物拾起，并存储至收集模块处对应的位置。
在本实施例中，在分拣机器人本体上的控制模块能够根据图像获取装置获取到建筑工地的图像数据进行分析处理，从而获取该建筑工地的图像数据中废弃物的位置，从而控制移动模块和机械手，将分拣机器人本体移动至废弃物处，并使用机械手将废弃物拾起，并根据图像识别的结果，识别出拾拣起的废弃物的类别数据，将废弃物根据该类别数据进行分类存储，一来能够自动将建筑工地的废弃物拾起，起到了环保的效果；同时，在从图像数据中识别出废弃物时，根据废弃物的类别数据分类存储，能够使得存储的废弃物能够更合理，有助于后续对废弃物的回收和利用，进一步地有助于环保。
在一实施例中，如图2所示，在步骤S10中，即若获取到图像数据，则从图像数据中识别出废弃物和类别数据，具体包括如下步骤：
S11：使用预设的废弃物识别模型，对图像数据进行处理，得到对应的处理结果。
在本实施例中，废弃物识别模型是指预先训练好，能够从建筑工地的图像数据中识别出废弃物的模型。
具体地，将该废弃物识别模型训练好后，将该废弃物识别模型存储并设置于控制模块中，在控制模块获取到建筑工地的图像数据后，调用该废弃物识别模型对该图像数据进行处理，得到对应的处理结果。
S12：从处理结果中，获取废弃物的图像以及对应的类别数据。
具体地，该处理结果包括目标为废弃物或目标不为废弃物。进一步地，从处理结果中将目标为废弃物的结果筛选出来，并获取废弃物对应的类别数据。
在一实施例中，如图3所示，在步骤S10之前，通过以下方法步骤训练获取所述废弃物识别模型：
S101：根据类别数据，逐类获取若干张对应的废弃物待测图片。
在本实施例中，废弃物待测图片是指需要进行训练的废弃物的图片。
具体地，按照废弃物的类别数据，获取每一类别的废弃物的图片，作为该废弃物待测图片。其中，为了保证训练得到的废弃物识别模型识别出废弃物的效果，获取每一类废弃物待图片的数量不做限制。
S102：逐类将废弃物待测图片输入CNN网络中，得到对应的废弃物特征值。
在本实施例中，CNN网络是指一类包含卷积计算且具有深度结构的前馈神经网络(Feed-forward Neural Networks)，是深度学***移不变分类。废弃物特征值是指每一类别数据对应的废弃物的特征的图片。
具体地，根据类别数据，逐类将每一废弃物待测图片输入至CNN网络中，经过CNN网络对每一废弃物待测图片进行下采样、卷积和池化等操作，得到与对饮的废弃物对应的废弃物特征值。
S103：根据废弃物特征值，使用RPN网络对每张是使废弃物待测图片进行处理，得到对应的建议窗口。
在本实施例中，RPN网络，即Region Proposal Network，区域生成网络，是指用于在特征图中寻找可能包含objects的预定义数量的区域的网络。
具体地，根据每张废弃物待测图片对应的废弃物特征值，使用RPN网络在每一张废弃物待测图片对应的废弃物特征值中生成至少300张建议窗口。
S104：将建议窗口映射至CNN网络中，并使用ROI pooling层对每一建议窗口进行处理，得到以每一建议窗口对应的固定尺寸的特征图。
在本实施例中，ROI pooling层是指将大小不同的建议窗口，生成固定尺寸的特征图的算法。
具体地，将废弃物特征值输入至ROI pooling层，根据建议窗口获取对应的位置区域，在该位置区域划分若干sections，最后对每个section做max pooling，最终得到与每一建议窗口对饮的固定尺寸的特征图。
S105：根据类别数据，对特征图进行训练，得到能够识别类别数据对应的废弃物的废弃物识别模型。
具体地，在根据类别数据，得到在该类别数据中，每一类别的废弃物的特征图后，对该特征图采用现有的深度学习的方式进行训练，最终得到能够识别该类别数据对应的废弃物的废弃物识别模型。
其中，该废弃物识别模型包括以下算法识别废弃物：
其中，A、B以及D代表非负常数，i和j分别表示深度学习时神经元的标号，Ii代表外部输入ωij代表神经元i和j的权重系数，通过公式是用于识别出障碍物，使控制模块控制移动模块移动时，能够绕开识别出的障碍物。其中，该障碍物是指重量较大，通过该机械手无法拾取，且会阻挡该分拣机器人移动的废弃物。是用于保证分拣机器人趋向于目标，即废弃物。为正系数，δit代表分拣机器人本体至神经元i的向量与分拣机器人本体至神经元t的向量的角度。
在一实施例中，如图4所示，在步骤S20中，即根据图像数据中的废弃物，使用全覆盖路径规划算法进行计算，得到对应的移动路径数据，具体包括如下步骤：
S21：对图像数据采取栅格化处理，得到栅格图像数据。
在本实施例中，栅格图像数据是指将空间分割成有规律的网格，每一个网格称为一个单元，并在各单元上赋予相应的属性值来表示实体的一种数据形式。
具体地，对图像数据进行栅格化处理，得到该图像数据的栅格图像数据。
S22：获取每一废弃物在栅格图像数据的位置数据，并将根据位置数据，调用A*算法进行计算，得到对应的移动路径数据。
在本实施例中，A*算法是指一种静态路网中求解最短路径最有效的直接搜索方法，也是解决许多搜索问题的有效算法。算法中的距离估算值与实际值越接近，最终搜索速度越快。
具体地，在栅格图像数据中，将每一废弃物映射至栅格图像数据中，并使用该A*算法进行计算，从而得到该移动路径数据。
使用步骤S101至步骤S105的方法识别出废弃物和障碍物后，将该废弃物作为分拣机器人本体移动的目标点，控制模块控制移动模块绕开障碍物，并计算该分拣机器人移动至识别出的目标点的最短路线，具体可采用以下A*算法的函数进行计算：
f(x)＝g(x)+h(x)
其中，g(x)代表在栅格图像中，从初始节点到任意节点x的代价，h(x)代表从节点x到目标节点，在本实施例中，具体为从分拣机器人本体移动至识别出的废弃物的距离。当分拣机器人本体从当前位置，即初始位置移动至识别出的废弃物时，通过A*算法分别调整g(x)和h(x)的大小，使得f(x)的节点数最小，即寻找出分拣机器人本体移动至废弃物的最小距离。
优选地，可以在控制模块中加入识别障碍物的对应的模型，该障碍物的判定标准可以是以移动模块无法越过为准，即例如，该障碍物为一块凸起来的木板或石头等，而移动模块在移动时，由于该木板或石头凸起来的高度过高，导致移动模块无法越过该凸起，因此该凸起判定为障碍物。进一步地，若判定为废弃物，可控制移动模块移动至该废弃物处停留数秒，直至该废弃物被拾取，若判定为障碍物，则在移动路径数据中的路线可为绕过该障碍物。
在一实施例中，如图5所示，在步骤S40中，当分拣机器人本体移动至废弃物时，向机械手发送拾拣消息，使机械手拾拣废弃物，并将废弃物根据存放至收集模块处对应的位置，具体包括入如下步骤：
S41：预先在类别数据中获取类别数量，根据类别数量在收集模块中划分对应的废弃物存储区域，并根据类别数据对每一废弃物存储区域进行标记。
在本实施例中，废弃物存储区域是指用于存储拾拣起来的废弃物的区域。
具体地，根据类别数据中的类别数量，即总共有多少种废弃物，根据该类别数量，在收集模块中划分对应数量的区域，作为废弃物存储区域，并根据类别数据对每一废弃物存储区域进行标记。
S42：当机械手拾拣起废弃物时，将废弃物根据废弃物对应的类别数据存储至收集模块对应的废弃物存储区域中。
具体地，当机械手拾拣起废弃物时，将废弃物根据废弃物对应的类别数据存储至收集模块对应的废弃物存储区域中。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例三：
在一实施例中，提供一种建筑废弃物分拣机器人的控制***，该控制***与上述实施例二中控制模块识别废弃物以及类别数据，并对废弃物进行拾拣以及收集的方法一一对应。如图6所示，该控制***包括图像识别模块10、移动路径计算模块20、移动控制模块30和分拣收集模块40。各功能模块详细说明如下：
图像识别模块10，用于若获取到图像数据，则从图像数据中识别出废弃物和类别数据；
移动路径计算模块20，用于根据图像数据中的废弃物，使用全覆盖路径规划算法进行计算，得到对应的移动路径数据；
移动控制模块30，用于根据移动路径数据，生成并向移动模块发送移动消息，使移动模块根据移动消息驱动分拣机器人移动；
分拣收集模块40，用于当分拣机器人本体移动至废弃物时，向机械手发送拾拣消息，使机械手拾拣废弃物，并将废弃物根据存放至收集模块处对应的位置。
优选地，图像识别模块10包括：
图像处理子模块11，使用预设的废弃物识别模型，对图像数据进行处理，得到对应的处理结果；
图像识别子模块12，从处理结果中，获取废弃物的图像以及对应的类别数据。
优选地，控制***还包括以下模块：
待测图片获取模块101，用于根据类别数据，逐类获取若干张对应的废弃物待测图片；
特征提取模块102，用于逐类将废弃物待测图片输入CNN网络中，得到对应的废弃物特征值；RPN网络模块103，用于根据废弃物特征值，使用RPN网络对每张是使废弃物待测图片进行处理，得到对应的建议窗口；
池化处理模块104，用于将建议窗口映射至CNN网络中，并使用RoI pooling层对每一建议窗口进行处理，得到以每一建议窗口对应的固定尺寸的特征图；
训练模块105，用于根据类别数据，对特征图进行训练，得到能够识别类别数据对应的废弃物的废弃物识别模型。
优选地，移动路径计算模块20包括：
栅格处理子模块21，用于对图像数据采取栅格化处理，得到栅格图像数据；
计算子模块22，用于获取每一废弃物在栅格图像数据的位置数据，并将根据位置数据，调用A*算法进行计算，得到对应的移动路径数据。
优选地，分拣收集模块40还包括：
分类子模块41，用于预先在类别数据中获取类别数量，根据类别数量在收集模块中划分对应的废弃物存储区域，并根据类别数据对每一废弃物存储区域进行标记；
分类存储子模块42，用于当机械手拾拣起废弃物时，将废弃物根据废弃物对应的类别数据存储至收集模块对应的废弃物存储区域中。
关于控制***的具体限定可以参见上文中实施例二对于识别废弃物以及类别数据，并对废弃物进行拾拣以及收集方法的限定，在此不再赘述。上述控制***中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

Claims (10)

1.一种建筑废弃物分拣机器人，其特征在于，所述建筑废弃物分拣机器人包括分拣机器人本体，所述分拣机器人本体包括以下模块：
机械手：用于拾拣建筑工地的废弃物；
移动模块：用于驱动所述分拣机器人本体移动；
图像获取装置：用于所述移动模块驱动所述分拣机器人本体实时获取所述建筑工地的图像数据；
收集模块：用于存放所述机械手拾拣的所述废弃物；
控制模块：在所述图像数据中自动识别出所述废弃物以及所述废弃物的类别数据，并控制所述移动模块驱动所述分拣机器人本体移动至所述废弃物处，控制所述机械手拾拣所述废弃物，并根据所述类别数据，将所述废弃物存储至所述收集模块中预设的位置。
2.如权利要求1所述的建筑废弃物分拣机器人，其特征在于，所述控制模块采用以下方法步骤识别所述废弃物以及所述类别数据：
S10：若获取到所述图像数据，则从所述图像数据中识别出所述废弃物和所述类别数据；
S20：根据所述图像数据中的所述废弃物，使用全覆盖路径规划算法进行计算，得到对应的移动路径数据；
S30：根据所述移动路径数据，生成并向所述移动模块发送移动消息，使所述移动模块根据所述移动消息驱动所述分拣机器人移动；
S40：当所述分拣机器人本体移动至所述废弃物时，向所述机械手发送拾拣消息，使所述机械手拾拣所述废弃物，并将所述废弃物根据存放至所述收集模块处对应的位置。
3.如权利要求2所述的建筑废弃物分拣机器人，其特征在于，步骤S10包括：
S11：使用预设的废弃物识别模型，对所述图像数据进行处理，得到对应的处理结果；
S12：从所述处理结果中，获取所述废弃物的图像以及对应的所述类别数据。
4.如权利要求2所述的建筑废弃物分拣机器人，其特征在于，在步骤S10之前，通过以下方法步骤训练获取所述废弃物识别模型：
S101：根据所述类别数据，逐类获取若干张对应的废弃物待测图片；
S102：逐类将所述废弃物待测图片输入CNN网络中，得到对应的废弃物特征值；
S103：根据所述废弃物特征值，使用RPN网络对每张是使废弃物待测图片进行处理，得到对应的建议窗口；
S104：将所述建议窗口映射至所述CNN网络中，并使用RoIpooling层对每一所述建议窗口进行处理，得到以每一所述建议窗口对应的固定尺寸的特征图；
S105：根据所述类别数据，对特征图进行训练，得到能够识别所述类别数据对应的废弃物的废弃物识别模型。
5.如权利要求2所述的建筑废弃物分拣机器人，其特征在于，步骤S20包括：
S21：对所述图像数据采取栅格化处理，得到栅格图像数据；
S22：获取每一所述废弃物在所述栅格图像数据的位置数据，并将根据所述位置数据，调用A*算法进行计算，得到对应的移动路径数据。
6.如权利要求2所述的建筑废弃物分拣机器人，其特征在于，步骤S40包括：
S41：预先在所述类别数据中获取类别数量，根据所述类别数量在所述收集模块中划分对应的废弃物存储区域，并根据所述类别数据对每一所述废弃物存储区域进行标记；
S42：当所述机械手拾拣起所述废弃物时，将所述废弃物根据所述废弃物对应的类别数据存储至收集模块对应的所述废弃物存储区域中。
7.如权利要求1所述的建筑废弃物分拣机器人，其特征在于，所述控制模块还包括以下模块组成的控制***：
图像识别模块，用于若获取到所述图像数据，则从所述图像数据中识别出所述废弃物和所述类别数据；
移动路径计算模块，用于根据所述图像数据中的所述废弃物，使用全覆盖路径规划算法进行计算，得到对应的移动路径数据；
移动控制模块，用于根据所述移动路径数据，生成并向所述移动模块发送移动消息，使所述移动模块根据所述移动消息驱动所述分拣机器人移动；
分拣收集模块，用于当所述分拣机器人本体移动至所述废弃物时，向所述机械手发送拾拣消息，使所述机械手拾拣所述废弃物，并将所述废弃物根据存放至所述收集模块处对应的位置。
8.如权利要求1所述的建筑废弃物分拣机器人，其特征在于，所述图像识别模块包括：
图像处理子模块，使用预设的废弃物识别模型，对所述图像数据进行处理，得到对应的处理结果；
图像识别子模块，从所述处理结果中，获取所述废弃物的图像以及对应的所述类别数据。
9.如权利要求1所述的建筑废弃物分拣机器人，其特征在于，所述控制***还包括以下模块：
待测图片获取模块，用于根据所述类别数据，逐类获取若干张对应的废弃物待测图片；
特征提取模块，用于逐类将所述废弃物待测图片输入CNN网络中，得到对应的废弃物特征值；
RPN网络模块，用于根据所述废弃物特征值，使用RPN网络对每张是使废弃物待测图片进行处理，得到对应的建议窗口；
池化处理模块，用于将所述建议窗口映射至所述CNN网络中，并使用RoIpooling层对每一所述建议窗口进行处理，得到以每一所述建议窗口对应的固定尺寸的特征图；
训练模块，用于根据所述类别数据，对特征图进行训练，得到能够识别所述类别数据对应的废弃物的废弃物识别模型。
10.如权利要求1所述的建筑废弃物分拣机器人，其特征在于，所述移动路径计算模块包括：
栅格处理子模块，用于对所述图像数据采取栅格化处理，得到栅格图像数据；计算子模块，用于获取每一所述废弃物在所述栅格图像数据的位置数据，并将根据所述位置数据，调用A*算法进行计算，得到对应的移动路径数据。
CN201910635398.9A 2019-07-15 2019-07-15 建筑废弃物分拣机器人 Pending CN110497419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910635398.9A CN110497419A (zh) 2019-07-15 2019-07-15 建筑废弃物分拣机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910635398.9A CN110497419A (zh) 2019-07-15 2019-07-15 建筑废弃物分拣机器人

Publications (1)

Publication Number Publication Date
CN110497419A true CN110497419A (zh) 2019-11-26

Family

ID=68586126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910635398.9A Pending CN110497419A (zh) 2019-07-15 2019-07-15 建筑废弃物分拣机器人

Country Status (1)

Country Link
CN (1) CN110497419A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110963209A (zh) * 2019-12-27 2020-04-07 中电海康集团有限公司 一种基于深度强化学习的垃圾分拣装置与方法
CN111203877A (zh) * 2020-01-13 2020-05-29 广州大学 爬坡建筑废弃物分拣机器人***及控制方法、装置、介质
CN111360042A (zh) * 2020-04-20 2020-07-03 上海环境工程设计研究院有限公司 一种建筑装潢垃圾资源化处置***及工艺
CN113538845A (zh) * 2021-07-12 2021-10-22 武汉市佳梦科技有限公司 一种基于远程视频监控分析技术的建筑施工现场安全生产实时监测预警方法
CN114523486A (zh) * 2022-04-24 2022-05-24 东南大学 适用于隧洞水下破损表面附着物的清理机器人及使用方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101315731A (zh) * 2008-07-17 2008-12-03 上海途锐信息技术有限公司 一种利用gps智能车载终端实现车辆监控调度的***
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
CN105320133A (zh) * 2015-10-26 2016-02-10 广东雷洋智能科技股份有限公司 一种应用于扫地机器人的改进势场栅格法
CN106347919A (zh) * 2016-11-10 2017-01-25 杭州南江机器人股份有限公司 一种自动仓储***
CN106527448A (zh) * 2016-12-16 2017-03-22 浙江工业大学 适用于仓库环境的改进a*机器人最优路径规划方法
CN106843216A (zh) * 2017-02-15 2017-06-13 北京大学深圳研究生院 一种基于回溯搜索的生物激励机器人完全遍历路径规划方法
CN107194501A (zh) * 2017-05-04 2017-09-22 湖州三基色信息科技有限公司 基于网格生成路径的方法
CN108508893A (zh) * 2018-03-23 2018-09-07 西安电子科技大学 一种基于改进a算法的机器人能效最优路径规划方法
WO2018191555A1 (en) * 2017-04-14 2018-10-18 Drishti Technologies. Inc Deep learning system for real time analysis of manufacturing operations
CN208092786U (zh) * 2018-02-02 2018-11-13 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣***
CN108972494A (zh) * 2018-06-22 2018-12-11 华南理工大学 一种仿人机械手抓取控制***及其数据处理方法
CN108994855A (zh) * 2018-08-15 2018-12-14 深圳市烽焌信息科技有限公司 垃圾定期清理方法及机器人
CN109483533A (zh) * 2018-11-05 2019-03-19 长沙中联重科环境产业有限公司 用于环卫作业的机器人的控制方法、装置以及机器人
CN109533704A (zh) * 2018-11-16 2019-03-29 合肥景彰科技有限公司 一种用于智能家居的智能垃圾回收设备
CN109584227A (zh) * 2018-11-27 2019-04-05 山东大学 一种基于深度学习目标检测算法的焊点质量检测方法及其实现***

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101315731A (zh) * 2008-07-17 2008-12-03 上海途锐信息技术有限公司 一种利用gps智能车载终端实现车辆监控调度的***
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
CN105320133A (zh) * 2015-10-26 2016-02-10 广东雷洋智能科技股份有限公司 一种应用于扫地机器人的改进势场栅格法
CN106347919A (zh) * 2016-11-10 2017-01-25 杭州南江机器人股份有限公司 一种自动仓储***
CN106527448A (zh) * 2016-12-16 2017-03-22 浙江工业大学 适用于仓库环境的改进a*机器人最优路径规划方法
CN106843216A (zh) * 2017-02-15 2017-06-13 北京大学深圳研究生院 一种基于回溯搜索的生物激励机器人完全遍历路径规划方法
WO2018191555A1 (en) * 2017-04-14 2018-10-18 Drishti Technologies. Inc Deep learning system for real time analysis of manufacturing operations
CN107194501A (zh) * 2017-05-04 2017-09-22 湖州三基色信息科技有限公司 基于网格生成路径的方法
CN208092786U (zh) * 2018-02-02 2018-11-13 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣***
CN108508893A (zh) * 2018-03-23 2018-09-07 西安电子科技大学 一种基于改进a算法的机器人能效最优路径规划方法
CN108972494A (zh) * 2018-06-22 2018-12-11 华南理工大学 一种仿人机械手抓取控制***及其数据处理方法
CN108994855A (zh) * 2018-08-15 2018-12-14 深圳市烽焌信息科技有限公司 垃圾定期清理方法及机器人
CN109483533A (zh) * 2018-11-05 2019-03-19 长沙中联重科环境产业有限公司 用于环卫作业的机器人的控制方法、装置以及机器人
CN109533704A (zh) * 2018-11-16 2019-03-29 合肥景彰科技有限公司 一种用于智能家居的智能垃圾回收设备
CN109584227A (zh) * 2018-11-27 2019-04-05 山东大学 一种基于深度学习目标检测算法的焊点质量检测方法及其实现***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
唐洪: "基于深度学习和双目视觉的工业机器人抓取方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
彭雅丽等: "BDD数据建模的路径规划算法 ", 《昆明理工大学学报(自然科学版)》 *
杨友良等: "快件分拣机器人群的路径规划及智能调度", 《华北理工大学学报(自然科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110963209A (zh) * 2019-12-27 2020-04-07 中电海康集团有限公司 一种基于深度强化学习的垃圾分拣装置与方法
CN111203877A (zh) * 2020-01-13 2020-05-29 广州大学 爬坡建筑废弃物分拣机器人***及控制方法、装置、介质
CN111360042A (zh) * 2020-04-20 2020-07-03 上海环境工程设计研究院有限公司 一种建筑装潢垃圾资源化处置***及工艺
CN113538845A (zh) * 2021-07-12 2021-10-22 武汉市佳梦科技有限公司 一种基于远程视频监控分析技术的建筑施工现场安全生产实时监测预警方法
CN113538845B (zh) * 2021-07-12 2022-07-12 中铁建网络信息科技有限公司 一种基于远程视频监控分析技术的建筑施工现场安全生产实时监测预警方法
CN114523486A (zh) * 2022-04-24 2022-05-24 东南大学 适用于隧洞水下破损表面附着物的清理机器人及使用方法

Similar Documents

Publication Publication Date Title
CN110497419A (zh) 建筑废弃物分拣机器人
CN109986560B (zh) 一种面向多目标种类的机械臂自适应抓取方法
CN108196453B (zh) 一种机械臂运动规划群体智能计算方法
CN108247637B (zh) 一种工业机器人手臂视觉防撞操控方法
Cao et al. Suctionnet-1billion: A large-scale benchmark for suction grasping
CN111015662B (zh) 一种动态抓取物体方法、***、设备和动态抓取垃圾方法、***、设备
CN109102543A (zh) 基于图像分割的物体定位方法、设备和存储介质
CN108942946A (zh) 一种智慧物流环境机器人装载方法与装置
CN111445368A (zh) 基于机器视觉与深度学习的垃圾分类方法、装置及设备
CN109528089A (zh) 一种被困清洁机器人的继续行走方法、装置及芯片
Liu et al. Garbage collection and sorting with a mobile manipulator using deep learning and whole-body control
Curtis et al. Efficient and effective grasping of novel objects through learning and adapting a knowledge base
CN108126914A (zh) 一种基于深度学习的料框内散乱多物体机器人分拣方法
JP2001092972A (ja) 画像認識方法
CN114815810A (zh) 无人机协同的水上清洁机器人路径规划方法及设备
US9098913B2 (en) Prediction of successful grasps by end of arm tooling
Gao et al. Iterative interactive modeling for knotting plastic bags
Spenrath et al. Using neural networks for heuristic grasp planning in random bin picking
CN116448118B (zh) 一种扫地机器人的工作路径优化方法和装置
Mosbach et al. Efficient representations of object geometry for reinforcement learning of interactive grasping policies
Mao et al. Shape-based object classification and recognition through continuum manipulation
CN115588132A (zh) 一种垃圾分拣设备的环境感知与垃圾识判方法
Arenas et al. Faster R-CNN for object location in a virtual environment for sorting task
CN114882214A (zh) 一种基于深度学习从图像预测物体抓取顺序的方法
Wang et al. Tendencyrl: Multi-stage discriminative hints for efficient goal-oriented reverse curriculum learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191126