CN114570674A - 一种基于高度传感器的自动分拣方法、装置及可读介质 - Google Patents

一种基于高度传感器的自动分拣方法、装置及可读介质 Download PDF

Info

Publication number
CN114570674A
CN114570674A CN202210057346.XA CN202210057346A CN114570674A CN 114570674 A CN114570674 A CN 114570674A CN 202210057346 A CN202210057346 A CN 202210057346A CN 114570674 A CN114570674 A CN 114570674A
Authority
CN
China
Prior art keywords
grabbing
height
image
pose
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210057346.XA
Other languages
English (en)
Inventor
曹礼禧
杨建红
张宝裕
王英俊
毕雪涛
庄汉强
黄文景
黄骁明
陈海生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian South Highway Machinery Co Ltd
Original Assignee
Fujian South Highway Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian South Highway Machinery Co Ltd filed Critical Fujian South Highway Machinery Co Ltd
Priority to CN202210057346.XA priority Critical patent/CN114570674A/zh
Priority to PCT/CN2022/084339 priority patent/WO2023137871A1/zh
Publication of CN114570674A publication Critical patent/CN114570674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高度传感器的自动分拣方法、装置及可读介质，通过获取同一分拣区域的高度图像和彩色图像；通过实例分割模型识别彩色图像上的物体的掩膜和种类，并基于掩膜获取包围物体的最小矩形框，并得到最小矩形框的中心点、长度、宽度和偏转角度；根据不同的高度阈值对高度图像进行处理，得到处理后的高度图像；将彩色图像的掩膜的面积与处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于面积比值确定能否寻找机械爪的抓取位姿；基于处理后的高度图像进行抓取位姿搜索，确定机械爪的抓取位姿，抓取位姿包括抓取中心点、抓取宽度和抓取角度。本发明增加对于物体分布密度大、堆叠率高等工况的抓取可能性，提高分拣效率。

Description

一种基于高度传感器的自动分拣方法、装置及可读介质
技术领域
本发明涉及自动分拣领域，具体涉及一种基于高度传感器的自动分拣方法、装置及可读介质。
背景技术
传统的自动分拣机器人实现抓取物体的方法是通过彩色相机采集到图像，对需要抓取的物体进行识别和定位，然后再把物体的类别和平面位置信息发送给下位机。
由于定位得到的只是物体的二维位置信息，机械爪每次进行抓取时都需要下降到贴近皮带，再进行抓取。这种抓取方式取决于传送带上物体的分布密度和堆叠情况，如果传送带上物体分布密度大、堆叠率高，则机械爪进行抓取的可能性就比较小。这将导致物体分布密度大的工况下，自动分拣机器人由于没有足够的抓取空间而不进行抓取从而导致自动分拣机器人抓取效率低下的问题。
在实际工况下物体的堆叠率高是比较常见的场景，因此物体周边需要有足够的空间让机械爪下抓，由此带来抓取难度越发大。
发明内容
针对上述提到的在实际工况下物体的堆叠率高、分布密度大导致抓取难度大等问题。本申请的实施例的目的在于提出了一种基于高度传感器的自动分拣方法、装置及可读介质，来解决以上背景技术部分提到的技术问题。
第一方面，本申请的实施例提供了一种基于高度传感器的自动分拣方法，包括以下步骤：
S1，获取同一分拣区域的高度图像和彩色图像；
S2，通过实例分割模型识别彩色图像上的物体的掩膜和种类，并基于掩膜获取包围物体的最小矩形框，并得到最小矩形框的中心点、长度、宽度和偏转角度；
S3，根据不同的高度阈值对高度图像进行处理，得到处理后的高度图像；
S4，将彩色图像的掩膜的面积与处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于面积比值确定能否寻找机械爪的抓取位姿；
S5，基于处理后的高度图像进行抓取位姿搜索，确定机械爪的抓取位姿，抓取位姿包括抓取中心点、抓取宽度和抓取角度。
在一些实施例中，步骤S5中的抓取位姿搜索包括基于最小矩形框的抓取位姿搜索和基于物体的形状的抓取位姿搜索，抓取位姿搜索根据不同高度阈值下的处理后的高度图像，调整机械爪的抓取位姿以获得无干涉的抓取位姿。
在一些实施例中，步骤S5具体包括：
S51，计算处理后的高度图像的第一像素值总和Sum1；
S52，根据最小矩形框的中心点、长度、宽度和偏转角度在处理后的高度图像上根据不同抓取中心点、抓取宽度和抓取角度绘制机械爪的抓取线，并且令抓取线的像素值为0，计算绘制抓取线的处理后的高度图像的第二像素值总和Sum2，先进行基于最小矩形框的抓取位姿搜索，再进行基于物体的形状的抓取位姿搜索，响应于第一像素值总和Sum1与第二像素值总和Sum2之间的差值小于预设阈值，确定抓取位姿。
在一些实施例中，步骤S5中基于最小矩形框的抓取位姿搜索具体包括：
判断当机械爪以第一抓取位姿绘制抓取线时，第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则以包围最小矩形框的中心点为抓取中心点，沿最小矩形框的长度方向进行抓取；否则将第一抓取位姿的抓取角度旋转90°以获得第二抓取位姿，并判断当机械爪以第二抓取位姿绘制抓取线时，第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则以包围最小矩形框的中心点为抓取中心点，沿最小矩形框的宽度方向进行抓取；否则进行基于物体的形状的抓取位姿搜索。
在一些实施例中，步骤S5中的基于物体的形状的抓取位姿搜索，具体包括：对物体进行形状判断，若物体为条状，则固定抓取角度，变换抓取中心点和抓取宽度以绘制机械爪的抓取线并判断第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则输出第一像素值总和Sum1与第二像素值总和Sum2之间的差值最小时的抓取中心点、抓取宽度和抓取角度，否则变换高度阈值重复步骤S3-S5；若是物体为非条状，则固定抓取中心点，变换抓取角度以绘制机械爪的抓取线并判断第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则输出第一像素值总和Sum1与第二像素值总和Sum2之间的差值最小时的抓取中心点、抓取宽度和抓取角度，否则变换高度阈值重复步骤S3-S5。
在一些实施例中，步骤S3具体包括：
基于高度图像获取高度信息，并根据高度阈值过滤低于高度阈值的高度信息，得到过滤后的高度图像；
对过滤后的高度图像进行二值化处理，得到处理后的高度图像。
在一些实施例中，步骤S1中具体包括：
获取设置在传送带上第一固定位置的单色相机所拍摄的多张高度单线图像，按顺序进行拼接后得到高度拼接图像；
获取设置在传送带上第二固定位置的彩色相机所拍摄的多张彩色单线图像，按顺序进行拼接后得到彩色拼接图像；
根据第一固定位置与第二固定位置的偏移量d对高度拼接图像和彩色拼接图像进行裁剪，得到高度图像和彩色图像。
第二方面，本申请的实施例提供了一种基于高度传感器的自动分拣装置，包括：
图像获取模块，被配置为获取同一分拣区域的高度图像和彩色图像；
物体识别模块，被配置为通过实例分割模型识别彩色图像上的物体的掩膜和种类，并基于掩膜获取包围物体的最小矩形框，根据最小矩形框得到物体的中心点、长度、宽度和偏转角度；
高度图像处理模块，被配置为根据不同的高度阈值对高度图像进行处理，得到处理后的高度图像；
面积相比模块，被配置为将彩色图像的掩膜的面积与处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于面积比值确定能否寻找机械爪的抓取位姿；
抓取位姿搜索模块，被配置为基于处理后的高度图像进行抓取位姿搜索，确定机械爪的抓取位姿，抓取位姿包括抓取中心点、抓取宽度和抓取角度。
第三方面，本申请的实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
(1)对比传统的自动分拣机器人，本发明利用传感器对物体的空间位置进行定位，并利用传感器判定是否抓取成功，可以增加自动分拣机器人对于物体分布密度大，堆叠率高的工况的抓取可能性，有效提高分拣效率。
(2)本发明采用的实例分割模型比较成熟，通过调整不同高度阈值下对高度图像进行处理，以过滤低于高度阈值的高度信息，因此结合不同高度下的物体的高度信息获得准确的抓取姿态。
(3)本发明的基于高度传感器的自动分拣方法增加自动分拣机器人对空间中物体三维位置的定位，能够模拟不同高度下机械爪的抓取线，抓取准确，从而提高自动分拣机器人的抓取效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的基于高度传感器的自动分拣方法的流程示意图；
图3为本发明的实施例的基于高度传感器的自动分拣方法的光源***尺寸建模示意图；
图4为本发明的实施例的基于高度传感器的自动分拣方法的数据采集触发时序图；
图5为本发明的实施例的基于高度传感器的自动分拣方法的图像拼接示意图；
图6为本发明的实施例的基于高度传感器的自动分拣方法的建筑固废图像采集平台的结构示意图；
图7为本发明的实施例的基于高度传感器的自动分拣方法的彩色图像；
图8为本发明的实施例的基于高度传感器的自动分拣方法的彩色图像的实例分割模型识别的结果图；
图9为本发明的实施例的基于高度传感器的自动分拣方法中由实例分割模型识别结果得到最小矩形框及其中心点、长度、宽度和偏转角度的示意图；
图10为本发明的实施例的基于高度传感器的自动分拣方法的高度图像；
图11为本发明的实施例的基于高度传感器的自动分拣方法的处理后的高度图像；
图12为本发明的实施例的基于高度传感器的自动分拣方法的面积比获取过程的示意图；
图13为本发明的实施例的基于高度传感器的自动分拣方法的具有需要抓取木块上的红砖的彩色图像；
图14为本发明的实施例的基于高度传感器的自动分拣方法的绘制完机械爪的抓取线的处理后的高度图像；
图15为本发明的实施例的基于高度传感器的自动分拣方法的获得最小矩形框的中心点和长度或宽度的示意图；
图16为本发明的实施例的基于高度传感器的自动分拣方法的根据最小矩形框、长度或宽度和偏转角度画出直线的示意图；
图17为本发明的实施例的基于高度传感器的自动分拣方法的根据直线画出机械爪的抓取线的示意图；
图18为本发明的实施例的基于高度传感器的自动分拣方法的在高度阈值为10的不同抓取姿态下的绘制完机械爪的抓取线的处理后的高度图像；
图19为本发明的实施例的基于高度传感器的自动分拣方法的在高度阈值为20的不同抓取姿态下的绘制完机械爪的抓取线的处理后的高度图像；
图20为本发明的实施例的基于高度传感器的自动分拣方法的在高度阈值为30的不同抓取姿态下的绘制完机械爪的抓取线的处理后的高度图像；
图21为本发明的实施例的基于高度传感器的自动分拣装置的示意图；
图22是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于高度传感器的自动分拣方法或基于高度传感器的自动分拣装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于高度传感器的自动分拣方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于高度传感器的自动分拣装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种基于高度传感器的自动分拣方法，包括以下步骤：
S1，获取同一分拣区域的高度图像和彩色图像。
在具体的实施例中，步骤S1中具体包括：
获取设置在传送带上第一固定位置的单色相机所拍摄的多张高度单线图像，按顺序进行拼接后得到高度拼接图像；
获取设置在传送带上第二固定位置的彩色相机所拍摄的多张彩色单线图像，按顺序进行拼接后得到彩色拼接图像；
根据第一固定位置与第二固定位置的偏移量d对高度拼接图像和彩色拼接图像进行裁剪，得到高度图像和彩色图像。
具体地，参考图3，光源的亮度、均匀性以及照射角度均会影响相机最终的成像质量。为了满足高光强、大范围和寿命长等要求，在本申请的实施例中选择奥普特公司型号为OPTLSG1254-W的高亮线性白色LED光源，由于光源照射方向与相机拍摄方向呈一定的角度，使得同一个目标在不同高度下拍摄得到的亮度不同。为最大化缓解上述问题，光源照射角度与相机拍摄角度应尽可能小，对光源***进行建模，得到如图3所示的示意图。
为了简化模型，将光源侧面形状简化为长为L，宽为W的矩形，光源的安装
高度为H，则角度应满足以下表达式：
Figure BDA0003476910120000071
根据上式进行编程近似求解，得到角度约为4.87°。
高度单线图像和彩色单线图像的获取包括数据采集触发和数据匹配两个步骤，在数据采集触发过程中，使用编码器将传送带的位移量按固定的比例转换为脉冲信号同时输入至高度相机和彩色相机，设置高度相机和彩色相机均为上升沿触发采集，则当编码器发出一个脉冲，便可得到当前脉冲对应的高度单线图像Hi和彩色单线图像Ci，其触发时序图如图4所示。
根据图4可知，由于脉冲数与传送带位移量之间的转换系数固定，可保证当传送带变速或存在速度波动时采集得到的图像数据不变形，且两种图像的采集节奏一致。对得到的所有高度单线图像Hi和彩色单线图像Ci进行拼接，即得到的高度单线图像Hi-1，Hi，Hi+1…进行拼接得到一张高度图像，彩色单线图像Ci-1，Ci，Ci+1…进行拼接得到一张彩色图像，得到完整的彩色图像和高度图像，如图5所示。由于高度相机和彩色相机的物理安装位置在传送带运行方向有一个固定的偏移d，因此造成在同一时刻高度相机和彩色相机的数据对应的实际位置不同。因此在数据匹配时，应根据高度相机和彩色相机安装位置的实际偏移量d截取相应的数据进行匹配，具体操作为去除两种数据虚线框部分的数据，则剩余的数据即为匹配数据，最终匹配完成的高度图像中的物体与彩色图像中的物体相对应。最终的采集***结构如图6所示。高度相机说明：
本申请的实施例中的高度相机中的单色相机和线激光为一体的，可以直接利用这种相机得到线激光处物体的高度，即拼接时候的一帧，一个编码器脉冲信号触发一次采集，960个脉冲采集到的960帧拼接成一张高度照片。
S2，通过实例分割模型识别彩色图像上的物体的掩膜和种类，并基于掩膜获取包围物体的最小矩形框，并得到最小矩形框的中心点、长度、宽度和偏转角度。
在具体的实施例中，通过步骤S1获得如图7所示的彩色图像，并通过实例分割模型识别得到彩色图像上物体的轮廓和种类，如图8所示。具体地，实例分割模型包括Mask RCNN神经网络，不仅能够识别物体的类别、位置，还能获得物体的掩膜(mask)。再利用掩膜得到包围物体的最小矩形框，根据最小矩形宽获得物体的中心点、长度、宽度、偏转角度等信息，如图9所示。在其他可选的实施例中，实例分割模型还可以采用其他神经网络构成的模型，只要能获得物体的轮廓和种类，以得到物体的最小矩形框，以及物体的中心点、长度、宽度、偏转角度等即可。
S3，根据不同的高度阈值对高度图像进行处理，得到处理后的高度图像。
在具体的实施例中，步骤S3具体包括：
基于高度图像获取高度信息，并根据高度阈值过滤低于高度阈值的高度信息，得到过滤后的高度图像；
对过滤后的高度图像进行二值化处理，得到处理后的高度图像，在处理后的高度图像中存在物体的像素点为1，无物体的像素点为0。
具体地，根据高度图像可获取传送带上物体的高度信息，如图10所示。从高度图像中可以对应得到高度信息，过滤低于高度阈值的高度信息，高度图像中每个点的像素值为此点处物体的高度，过滤指的是把低于高度阈值处的点的像素值设为0，而高于高度阈值部分的像素值不变，从而达到过滤低于某个高度平面以下的物体，将高于高度阈值部分的图像显示出来。通过该方式可以设置不同的高度阈值，处理得到对应于不同高度阈值的过滤后的高度图像。进一步将过滤后的高度图像进行二值化处理，即，在处理后的高度图像中存在物体的像素点为1，无物体的像素点为0，处理后的高度图像如图11所示。
S4，将彩色图像的掩膜的面积与处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于面积比值确定能否寻找机械爪的抓取位姿。
在具体的实施例中，计算彩色图像中物体掩膜的面积与拉高抓取平面后高度图像的物体掩膜面积的比值，当比值小于0.8时，代表物体形状出现变化，继续拉高抓取平面也无法找到合适的抓取位姿，就是提高高度阈值并获得处理后的高度图像，放弃此物体的抓取，如图12所示，其中图a为彩色图像的识别结果；图b为识别结果提取到的某个物体的掩膜；图c为在高度阈值为5时处理后的高度图像，此时与彩色图像提取的物体掩膜对比面积变化不大，因此可以在此状态下寻找抓取位姿；图d为在高度阈值为25时处理后的高度图像，此时与彩色图像提取的物体掩膜对比面积变化很大，因此不能在此状态下寻找抓取位姿。
S5，基于处理后的高度图像进行抓取位姿搜索，确定机械爪的抓取位姿，抓取位姿包括抓取中心点、抓取宽度和抓取角度。
在具体的实施例中，步骤S5中的抓取位姿搜索包括基于最小矩形框的抓取位姿搜索和基于物体的形状的抓取位姿搜索，抓取位姿搜索根据不同高度阈值下的处理后的高度图像，调整机械爪的抓取位姿以获得无干涉的抓取位姿。
在具体的实施例中，步骤S5具体包括：
S51，计算处理后的高度图像的第一像素值总和Sum1；
S52，根据最小矩形框的中心点、长度、宽度和偏转角度在处理后的高度图像上根据不同抓取中心点、抓取宽度和抓取角度绘制机械爪的抓取线，并且令抓取线的像素值为0，计算绘制抓取线的处理后的高度图像的第二像素值总和Sum2，先进行基于最小矩形框的抓取位姿搜索，再进行基于物体的形状的抓取位姿搜索，响应于第一像素值总和Sum1与第二像素值总和Sum2之间的差值小于预设阈值，确定抓取位姿。
在具体的实施例中，步骤S5中基于最小矩形框的抓取位姿搜索具体包括：
判断当机械爪以第一抓取位姿绘制抓取线时，第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则以包围最小矩形框的中心点为抓取中心点，沿最小矩形框的长度方向进行抓取；否则将第一抓取位姿的抓取角度旋转90°以获得第二抓取位姿，并判断当机械爪以第二抓取位姿绘制抓取线时，第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则以包围最小矩形框的中心点为抓取中心点，沿最小矩形框的宽度方向进行抓取；否则进行基于物体的形状的抓取位姿搜索。
在具体的实施例中，步骤S5中的基于物体的形状的抓取位姿搜索，具体包括：对物体进行形状判断，若物体为条状，则固定抓取角度，变换抓取中心点和抓取宽度以绘制机械爪的抓取线并判断第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则输出第一像素值总和Sum1与第二像素值总和Sum2之间的差值最小时的抓取中心点、抓取宽度和抓取角度，否则变换高度阈值重复步骤S3-S5；若是物体为非条状，则固定抓取中心点，变换抓取角度以绘制机械爪的抓取线并判断第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则输出第一像素值总和Sum1与第二像素值总和Sum2之间的差值最小时的抓取中心点、抓取宽度和抓取角度，否则变换高度阈值重复步骤S3-S5。
具体地，如图13所示，需要抓取图13中的木块上的红砖，在不同的高度阈值下获得处理后的图像，计算处理后的高度图像的第一像素值总和Sum1，由于处理后的高度图像进行高度信息过滤及二值化处理，保留下来的物体的像素点为1，其余部分像素点的值为0，因此可以计算出不同高度阈值下处理后的高度图像的第一像素值总和Sum1。利用得到的物体最小矩形框的中心点、长宽、偏转角度等信息，在处理后的高度图像上绘制两段粗线代表机械爪的抓取线(图中灰色粗线)，粗线的像素值为0，如图14所示，机械爪的抓取线的像素值为0则为黑色，此处为了说明这里弄成灰色方便解释。具体地，如图15所示，由最小矩形框得到最小矩形框的中心点、长度、宽度和偏转角度，如图16所示，根据最小矩形框的中心点、长度、宽度、偏转角度可以计算出平行于宽度方向或长度方向并且经过最小矩形框的中心点的直线，由于检测结果存在偏差，机械爪张开大小要比物体的宽度或长度左右各大10mm，因此直线比最小矩形框的宽度或长度要大20mm，最后在直线的两个端点继续画2条与机械爪等长的直线作为抓取线，如图17所示，就可以代表实际抓取过程中的机械爪的抓取位置，实际抓取时就是机械爪移到物体的中心点，旋转到与物体平行，然后张开到比物体宽20mm的开角，直接下移合上机械爪抓取物体。
如图18、19、20所示分别为高度阈值为10、20、30下的不同抓取姿态下的绘制完机械爪的抓曲线的处理后的高度图像。计算绘制完机械爪的抓取线的处理后的高度图像的像素值总和SUM2，当SUM1和SUM2的差值为0或小于一定值时，则代表这个位置抓取没有物体干涉，若是有物体干涉的话，在图上绘制机械爪的抓取线时，会把物***置的像素值从1改为0，则计算出的绘制了机械爪的抓取线的图像的总体像素值SUM2会小于未绘制机械爪的抓取线图像的总体像素值SUM1。若是没有物体干涉则以最小矩形框的中心点为抓取中心点，沿矩形长度方向进行抓取，输出抓取位姿，若是存在物体干涉则将抓取角度旋转90度，在长度方向无法找到抓取姿态的情况下，换成宽度方向进行尝试，判断是否有干涉，若是则以最小矩形框的中心点为抓取中心点，沿矩形宽度方向进行抓取，输出抓取位姿；否则进行物体的形状判定，根据条状和非条状进行基于物体的形状的抓取位姿搜索；若物体为条状，则固定旋转角度，变换抓取中心点和抓取宽度，绘制机械爪的抓取线并计算SUM1和SUM2的差值，输出差值最小时的抓取中心点和抓取宽度；若物体是非条状，则固定抓取中心点，变换抓取角度，绘制机械爪的抓取线并计算SUM1和SUM2的差值，输出差值最小时的抓取角度；最后进行抓取位姿的干涉判定，没有干涉则输出抓取位姿，有干涉则调整高度阈值重复步骤S3-S5进行下一次搜索。高度阈值在第一次进入循环时为0，后续每个循环时增加5，即0，5，10，15…的递增高度，利用二值化过滤高度低于高度阈值的物体，从而搜索不同高度平面的抓取姿态。
进一步参考图21，作为对上述各图所示方法的实现，本申请提供了一种基于高度传感器的自动分拣装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于高度传感器的自动分拣装置，包括：
图像获取模块1，被配置为获取同一分拣区域的高度图像和彩色图像；
物体识别模块2，被配置为通过实例分割模型识别彩色图像上的物体的掩膜和种类，并基于掩膜获取包围物体的最小矩形框，根据最小矩形框得到物体的中心点、长度、宽度和偏转角度；
高度图像处理模块3，被配置为根据不同的高度阈值对高度图像进行处理，得到处理后的高度图像；
面积相比模块4，被配置为将彩色图像的掩膜的面积与处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于面积比值确定能否寻找机械爪的抓取位姿；
抓取位姿搜索模块5，被配置为基于处理后的高度图像进行抓取位姿搜索，确定机械爪的抓取位姿，抓取位姿包括抓取中心点、抓取宽度和抓取角度。
下面参考图22，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机装置600包括中央处理单元(CPU)601和图形处理器(GPU)602，其可以根据存储在只读存储器(ROM)603中的程序或者从存储部分609加载到随机访问存储器(RAM)604中的程序而执行各种适当的动作和处理。在RAM 604中，还存储有装置600操作所需的各种程序和数据。CPU 601、GPU602、ROM 603以及RAM 604通过总线605彼此相连。输入/输出(I/O)接口606也连接至总线605。
以下部件连接至I/O接口606：包括键盘、鼠标等的输入部分607；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分608；包括硬盘等的存储部分609；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至I/O接口606。可拆卸介质612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器611上，以便于从其上读出的计算机程序根据需要被安装入存储部分609。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分610从网络上被下载和安装，和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元(CPU)601和图形处理器(GPU)602执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取同一分拣区域的高度图像和彩色图像；通过实例分割模型识别彩色图像上的物体的掩膜和种类，并基于掩膜获取包围物体的最小矩形框，并得到最小矩形框的中心点、长度、宽度和偏转角度；根据不同的高度阈值对高度图像进行处理，得到处理后的高度图像；将彩色图像的掩膜的面积与处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于面积比值确定能否寻找机械爪的抓取位姿；基于处理后的高度图像进行抓取位姿搜索，确定机械爪的抓取位姿，抓取位姿包括抓取中心点、抓取宽度和抓取角度。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于高度传感器的自动分拣方法，其特征在于，包括以下步骤：
S1，获取同一分拣区域的高度图像和彩色图像；
S2，通过实例分割模型识别所述彩色图像上的物体的掩膜和种类，并基于所述掩膜获取包围所述物体的最小矩形框，并得到所述最小矩形框的中心点、长度、宽度和偏转角度；
S3，根据不同的高度阈值对所述高度图像进行处理，得到处理后的高度图像；
S4，将所述彩色图像的所述掩膜的面积与所述处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于所述面积比值确定能否寻找机械爪的抓取位姿；
S5，基于所述处理后的高度图像进行抓取位姿搜索，确定所述机械爪的抓取位姿，所述抓取位姿包括抓取中心点、抓取宽度和抓取角度。
2.根据权利要求1所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤S5中的抓取位姿搜索包括基于最小矩形框的抓取位姿搜索和基于物体的形状的抓取位姿搜索，所述抓取位姿搜索根据不同高度阈值下的所述处理后的高度图像，调整所述机械爪的抓取位姿以获得无干涉的抓取位姿。
3.根据权利要求2所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤S5具体包括：
S51，计算所述处理后的高度图像的第一像素值总和Sum1；
S52，根据所述最小矩形框的中心点、长度、宽度和偏转角度在所述处理后的高度图像上根据不同抓取中心点、抓取宽度和抓取角度绘制机械爪的抓取线，并且令所述抓取线的像素值为0，计算绘制所述抓取线的处理后的高度图像的第二像素值总和Sum2，先进行基于最小矩形框的抓取位姿搜索，再进行基于物体的形状的抓取位姿搜索，响应于第一像素值总和Sum1与第二像素值总和Sum2之间的差值小于预设阈值，确定所述抓取位姿。
4.根据权利要求3所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤S5中基于最小矩形框的抓取位姿搜索具体包括：
判断当所述机械爪以第一抓取位姿绘制所述抓取线时，所述第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则以包围所述最小矩形框的中心点为抓取中心点，沿所述最小矩形框的长度方向进行抓取；否则将所述第一抓取位姿的抓取角度旋转90°以获得第二抓取位姿，并判断当所述机械爪以第二抓取位姿绘制所述抓取线时，所述第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则以包围所述最小矩形框的中心点为抓取中心点，沿所述最小矩形框的宽度方向进行抓取；否则进行基于物体的形状的抓取位姿搜索。
5.根据权利要求3所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤S5中的基于物体的形状的抓取位姿搜索，具体包括：对所述物体进行形状判断，若所述物体为条状，则固定所述抓取角度，变换所述抓取中心点和抓取宽度以绘制机械爪的抓取线并判断所述第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则输出所述第一像素值总和Sum1与第二像素值总和Sum2之间的差值最小时的所述抓取中心点、抓取宽度和抓取角度，否则变换高度阈值重复步骤S3-S5；若是所述物体为非条状，则固定所述抓取中心点，变换所述抓取角度以绘制机械爪的抓取线并判断所述第一像素值总和Sum1与第二像素值总和Sum2之间的差值是否小于预设阈值，若是则输出所述第一像素值总和Sum1与第二像素值总和Sum2之间的差值最小时的所述抓取中心点、抓取宽度和抓取角度，否则变换高度阈值重复步骤S3-S5。
6.根据权利要求2所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤S3具体包括：
基于所述高度图像获取高度信息，并根据所述高度阈值过滤低于高度阈值的高度信息，得到过滤后的高度图像；
对所述过滤后的高度图像进行二值化处理，得到所述处理后的高度图像。
7.根据权利要求1所述的基于高度传感器的自动分拣方法，其特征在于，所述步骤S1中具体包括：
获取设置在传送带上第一固定位置的单色相机所拍摄的多张高度单线图像，按顺序进行拼接后得到高度拼接图像；
获取设置在传送带上第二固定位置的彩色相机所拍摄的多张彩色单线图像，按顺序进行拼接后得到彩色拼接图像；
根据所述第一固定位置与第二固定位置的偏移量d对所述高度拼接图像和彩色拼接图像进行裁剪，得到所述高度图像和彩色图像。
8.一种基于高度传感器的自动分拣装置，其特征在于，包括：
图像获取模块，被配置为获取同一分拣区域的高度图像和彩色图像；
物体识别模块，被配置为通过实例分割模型识别所述彩色图像上的物体的掩膜和种类，并基于所述掩膜获取包围所述物体的最小矩形框，根据所述最小矩形框得到所述物体的中心点、长度、宽度和偏转角度；
高度图像处理模块，被配置为根据不同的高度阈值对所述高度图像进行处理，得到处理后的高度图像；
面积相比模块，被配置为将所述彩色图像的所述掩膜的面积与所述处理后的高度图像上相应位置物体的面积相比，得到面积比值，基于所述面积比值确定能否寻找机械爪的抓取位姿；
抓取位姿搜索模块，被配置为基于所述处理后的高度图像进行抓取位姿搜索，确定所述机械爪的抓取位姿，所述抓取位姿包括抓取中心点、抓取宽度和抓取角度。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202210057346.XA 2022-01-19 2022-01-19 一种基于高度传感器的自动分拣方法、装置及可读介质 Pending CN114570674A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210057346.XA CN114570674A (zh) 2022-01-19 2022-01-19 一种基于高度传感器的自动分拣方法、装置及可读介质
PCT/CN2022/084339 WO2023137871A1 (zh) 2022-01-19 2022-03-31 一种基于高度传感器的自动分拣方法、装置及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210057346.XA CN114570674A (zh) 2022-01-19 2022-01-19 一种基于高度传感器的自动分拣方法、装置及可读介质

Publications (1)

Publication Number Publication Date
CN114570674A true CN114570674A (zh) 2022-06-03

Family

ID=81770965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210057346.XA Pending CN114570674A (zh) 2022-01-19 2022-01-19 一种基于高度传感器的自动分拣方法、装置及可读介质

Country Status (2)

Country Link
CN (1) CN114570674A (zh)
WO (1) WO2023137871A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612061A (zh) * 2023-11-09 2024-02-27 中科微至科技股份有限公司 一种用于叠件分离的包裹堆叠状态视觉检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及***
CN110648364A (zh) * 2019-09-17 2020-01-03 华侨大学 一种多维度空间固废视觉检测定位及识别方法与***
WO2020034872A1 (zh) * 2018-08-17 2020-02-20 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN111079548A (zh) * 2019-11-22 2020-04-28 华侨大学 基于目标高度信息和色彩信息的固废在线识别方法
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、***及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11794343B2 (en) * 2019-12-18 2023-10-24 Intrinsic Innovation Llc System and method for height-map-based grasp execution
CN111144426B (zh) * 2019-12-28 2023-05-30 广东拓斯达科技股份有限公司 一种分拣方法、装置、设备和存储介质
CN113379849B (zh) * 2021-06-10 2023-04-18 南开大学 基于深度相机的机器人自主识别智能抓取方法及***
CN113420746B (zh) * 2021-08-25 2021-12-07 中国科学院自动化研究所 机器人视觉分拣方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020034872A1 (zh) * 2018-08-17 2020-02-20 深圳蓝胖子机器人有限公司 目标获取方法、设备和计算机可读存储介质
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及***
CN110648364A (zh) * 2019-09-17 2020-01-03 华侨大学 一种多维度空间固废视觉检测定位及识别方法与***
CN111079548A (zh) * 2019-11-22 2020-04-28 华侨大学 基于目标高度信息和色彩信息的固废在线识别方法
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、***及装置

Also Published As

Publication number Publication date
WO2023137871A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
CN111784685B (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN112318485B (zh) 物体分选***及其图像处理方法、装置
WO2023160312A1 (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN110756462B (zh) 电源适配器测试方法、装置、***、控制装置及存储介质
CN102706274A (zh) 工业结构化场景中机器视觉精确定位机械零件的***
CN117124302B (zh) 一种零件分拣方法、装置、电子设备及存储介质
CN114570674A (zh) 一种基于高度传感器的自动分拣方法、装置及可读介质
CN111242847B (zh) 基于闸道的图像拼接方法、***、设备及存储介质
CN110110666A (zh) 目标检测方法和装置
CN115284279A (zh) 一种基于混叠工件的机械臂抓取方法、装置及可读介质
WO2022227879A1 (zh) 基于二维码的物流管理方法、***、服务器和存储介质
CN105787429A (zh) 采用机器视觉用于检查物体的方法和设备
Gal Automatic obstacle detection for USV’s navigation using vision sensors
CN111382695A (zh) 用于检测目标的边界点的方法和装置
CN113762159B (zh) 一种基于有向箭头模型的目标抓取检测方法及***
CN116152685B (zh) 一种基于无人机视野下行人检测方法及***
CN113673344B (zh) 一种智能塔吊物料挂载位置识别方法和装置
CN114155487A (zh) 一种基于多组卷积融合的电力作业人员检测方法
CN113450291B (zh) 图像信息处理方法及装置
CN109934045B (zh) 行人检测方法和装置
CN113284129A (zh) 基于3d包围盒的压箱检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination