CN115578457A - 一种应用于无序抓取的动态箱体检测方法 - Google Patents

一种应用于无序抓取的动态箱体检测方法 Download PDF

Info

Publication number
CN115578457A
CN115578457A CN202211311818.6A CN202211311818A CN115578457A CN 115578457 A CN115578457 A CN 115578457A CN 202211311818 A CN202211311818 A CN 202211311818A CN 115578457 A CN115578457 A CN 115578457A
Authority
CN
China
Prior art keywords
point cloud
box body
box
calculating
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211311818.6A
Other languages
English (en)
Inventor
王绍龙
唐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhongke Xingzhi Intelligent Technology Co ltd
Original Assignee
Suzhou Zhongke Xingzhi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhongke Xingzhi Intelligent Technology Co ltd filed Critical Suzhou Zhongke Xingzhi Intelligent Technology Co ltd
Priority to CN202211311818.6A priority Critical patent/CN115578457A/zh
Publication of CN115578457A publication Critical patent/CN115578457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种应用于无序抓取的动态箱体检测方法，包括通过3D相机拍取标准模板箱体，并计算箱体参数信息；每次抓取前，拍摄装有工件的待测箱体点云，并对点云进行分割，根据点云高度值进行聚类，形成多层点云数据；遍历各层点云，计算点云参数，并判断点云参数是否满足先验参考值；若不满足，则选择下一层点云进行计算点云参数，直至点云参数满足先验参考值；若满足，则提取待测箱体顶框点云，并计算箱***姿及箱体高度；本申请能够实时准确检测箱***置和姿态的算法，避免了无序抓取过程中机械手与箱体的碰撞，保证了抓取的精确性和稳定性。

Description

一种应用于无序抓取的动态箱体检测方法
技术领域
本发明涉及工业自动化视觉检测技术领域，更具体的，涉及一种应用于无序抓取的动态箱体检测方法。
背景技术
传统的无序抓取，是在不需要检测容器的静态设置中完成。这种方法仅处理箱体内部的深度图像，可抓取区域固定不变。对于大多数复杂的工业场景，箱***置会由于振动或其他原因发生偏移或倾斜，导致原先假定的确切姿势失效，造成机械手碰撞箱体的情况。
本发明设计了一种可实时准确检测箱***置和姿态的算法，避免了无序抓取过程中机械手与箱体的碰撞，保证了抓取的精确性和稳定性。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种应用于无序抓取的动态箱体检测方法。
本发明第一方面提供了一种应用于无序抓取的动态箱体检测方法，其特征在于，包括如下步骤：
通过3D相机拍取标准模板箱体，并计算箱体参数信息；
每次抓取前，拍摄装有工件的待测箱体点云，并对点云进行分割，根据点云高度值进行聚类，形成多层点云数据；
遍历各层点云，计算点云参数，并判断点云参数是否满足先验参考值；
若不满足，则选择下一层点云进行计算点云参数，直至点云参数满足先验参考值；
若满足，则提取待测箱体顶框点云，并计算箱***姿及箱体高度。
本发明一个较佳实施例中，通过3D相机拍取标准模板箱体，并计算箱体参数信息，具体包括：
获取模板箱体点云，去除底部背景，获得箱体矩形边框点云，并计算法向量；
将点云投影到平面，计算箱体顶框最小外接矩形角点，将角点投影回三维空间；
计算框体中心位置与箱体实际参数信息。
本发明一个较佳实施例中，待测箱体点云包括顶部框体点云、箱底点云或噪声点。
本发明一个较佳实施例中，根据点云高度值进行聚类，还包括：分别对每一层点云计算其最小外接矩形长宽，根据先验参考值，判断该层是否在给定阈值范围内，如果满足条件，即为顶部框体点云，否则排除，对下一层点云进行计算，直到筛选出顶部框体点云为止；
其中先验参考值为模板箱体长宽。
本发明一个较佳实施例中，箱体高度计算方法如下：通过顶部框体点云的四个角点，以及箱底点云经过平面拟合求出的平面方程，可求出这四个点到工作台平面的距离，再计算距离平均值，所得结果即为箱体的高度。
本发明一个较佳实施例中，箱体的位姿计算方法如下：箱底中心的位置坐标(X,Y,Z)为顶部框体中心点沿着法线反方向平移高度H所在的坐标，计算箱底欧拉角，得到箱体中心的位置平移后的坐标(RX,RY,RZ)后，再根据用户给定的箱体侧壁宽度，即可重建出当前箱体的三维空间位置和姿态，最终达到避开箱体抓取物体的目的。
本发明一个较佳实施例中，箱底欧拉角通过以下公式进行计算：
Figure BDA0003907342880000031
Figure BDA0003907342880000032
Figure BDA0003907342880000033
Figure BDA0003907342880000034
本发明的上述技术方案相比现有技术具有以下优点：
本申请能够实时准确检测箱***置和姿态的算法，避免了无序抓取过程中机械手与箱体的碰撞，保证了抓取的精确性和稳定性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的一些附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例应用于无序抓取的动态箱体检测方法流程图；
图2是本发明实施例模板箱体注册流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
参见图1-2所示，本发明提出了一种应用于无序抓取的动态箱体检测方法，包括如下步骤：
通过3D相机拍取标准模板箱体，并计算箱体参数信息；
每次抓取前，拍摄装有工件的待测箱体点云，并对点云进行分割，根据点云高度值进行聚类，形成多层点云数据；
遍历各层点云，计算点云参数，并判断点云参数是否满足先验参考值；
若不满足，则选择下一层点云进行计算点云参数，直至点云参数满足先验参考值；
若满足，则提取待测箱体顶框点云，并计算箱***姿及箱体高度。
根据本发明实施例，通过3D相机拍取标准模板箱体，并计算箱体参数信息，具体包括：
获取模板箱体点云，去除底部背景，获得箱体矩形边框点云，并计算法向量；
将点云投影到平面，计算箱体顶框最小外接矩形角点，将角点投影回三维空间；
计算框体中心位置与箱体实际参数信息。
根据本发明实施例，待测箱体点云包括顶部框体点云、箱底点云或噪声点。
具体的，使用3D相机拍取标准模板箱体点云，计算箱体长宽高LWH等信息，其次在每次抓取前，先拍取装有工件的待测箱体点云，其中包括顶部框体点云、箱底点云和其他噪声点，根据点云高度值Z进行聚类，分别对每一层点云计算其最小外接矩形长宽，根据先验参考值(模板箱体长宽)，判断该层是否在给定阈值范围内，如果满足条件，即为顶部框体点云，否则排除，对下一层点云进行计算，直到筛选出顶部框体点云为止。得到顶部框体点云的同时，就得到了待测箱体的长宽，接着计算当前箱体的位姿(X,Y,Z,RX,RY,RZ)和高度。
根据本发明实施例，箱体高度计算方法如下：通过顶部框体点云的四个角点，以及箱底点云经过平面拟合求出的平面方程，可求出这四个点到工作台平面的距离，再计算距离平均值，所得结果即为箱体的高度，箱体的位姿计算方法如下：箱底中心的位置坐标(X,Y,Z)为顶部框体中心点沿着法线反方向平移高度H所在的坐标，计算箱底欧拉角，得到箱体中心的位置平移后的坐标(RX,RY,RZ)后，再根据用户给定的箱体侧壁宽度，即可重建出当前箱体的三维空间位置和姿态，最终达到避开箱体抓取物体的目的。
根据本发明实施例，箱底欧拉角通过以下公式进行计算：
Figure BDA0003907342880000061
Figure BDA0003907342880000062
Figure BDA0003907342880000063
Figure BDA0003907342880000064
综上所述，本申请能够实时准确检测箱***置和姿态的算法，避免了无序抓取过程中机械手与箱体的碰撞，保证了抓取的精确性和稳定性。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对上述实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的上述实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种应用于无序抓取的动态箱体检测方法，其特征在于，包括如下步骤：
通过3D相机拍取标准模板箱体，并计算箱体参数信息；
每次抓取前，拍摄装有工件的待测箱体点云，并对点云进行分割，根据点云高度值进行聚类，形成多层点云数据；
遍历各层点云，计算点云参数，并判断点云参数是否满足先验参考值；
若不满足，则选择下一层点云进行计算点云参数，直至点云参数满足先验参考值；
若满足，则提取待测箱体顶框点云，并计算箱***姿及箱体高度。
2.根据权利要求1所述的一种应用于无序抓取的动态箱体检测方法，其特征在于，通过3D相机拍取标准模板箱体，并计算箱体参数信息，具体包括：
获取模板箱体点云，去除底部背景，获得箱体矩形边框点云，并计算法向量；
将点云投影到平面，计算箱体顶框最小外接矩形角点，将角点投影回三维空间；
计算框体中心位置与箱体实际参数信息。
3.根据权利要求1所述的一种应用于无序抓取的动态箱体检测方法，其特征在于，待测箱体点云包括顶部框体点云、箱底点云或噪声点。
4.根据权利要求3所述的一种应用于无序抓取的动态箱体检测方法，其特征在于，根据点云高度值进行聚类，还包括：分别对每一层点云计算其最小外接矩形长宽，根据先验参考值，判断该层是否在给定阈值范围内，如果满足条件，即为顶部框体点云，否则排除，对下一层点云进行计算，直到筛选出顶部框体点云为止；
其中先验参考值为模板箱体长宽。
5.根据权利要求4所述的一种应用于无序抓取的动态箱体检测方法，其特征在于，箱体高度计算方法如下：通过顶部框体点云的四个角点，以及箱底点云经过平面拟合求出的平面方程，可求出这四个点到工作台平面的距离，再计算距离平均值，所得结果即为箱体的高度。
6.根据权利要求5所述的一种应用于无序抓取的动态箱体检测方法，其特征在于，箱体的位姿计算方法如下：箱底中心的位置坐标(X,Y,Z)为顶部框体中心点沿着法线反方向平移高度H所在的坐标，计算箱底欧拉角，得到箱体中心的位置平移后的坐标(RX,RY,RZ)后，再根据用户给定的箱体侧壁宽度，即可重建出当前箱体的三维空间位置和姿态，最终达到避开箱体抓取物体的目的。
7.根据权利要求6所述的一种应用于无序抓取的动态箱体检测方法，其特征在于，箱底欧拉角通过以下公式进行计算：
Figure FDA0003907342870000021
Figure FDA0003907342870000031
Figure FDA0003907342870000032
Figure FDA0003907342870000033
CN202211311818.6A 2022-10-25 2022-10-25 一种应用于无序抓取的动态箱体检测方法 Pending CN115578457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211311818.6A CN115578457A (zh) 2022-10-25 2022-10-25 一种应用于无序抓取的动态箱体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211311818.6A CN115578457A (zh) 2022-10-25 2022-10-25 一种应用于无序抓取的动态箱体检测方法

Publications (1)

Publication Number Publication Date
CN115578457A true CN115578457A (zh) 2023-01-06

Family

ID=84586572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211311818.6A Pending CN115578457A (zh) 2022-10-25 2022-10-25 一种应用于无序抓取的动态箱体检测方法

Country Status (1)

Country Link
CN (1) CN115578457A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252993A (zh) * 2023-11-16 2023-12-19 中铁大桥局集团有限公司 特征点提取算法的验证方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252993A (zh) * 2023-11-16 2023-12-19 中铁大桥局集团有限公司 特征点提取算法的验证方法、装置、电子设备及存储介质
CN117252993B (zh) * 2023-11-16 2024-03-26 中铁大桥局集团有限公司 特征点提取算法的验证方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP7352260B2 (ja) 自動物体検出機構を備えたロボットシステム、および、その動作方法
US11763459B2 (en) Method and computing system for object identification
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
US9089966B2 (en) Workpiece pick-up apparatus
JP6415066B2 (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
JP5469216B2 (ja) バラ積みされた物品をロボットで取出す装置
US9984291B2 (en) Information processing apparatus, information processing method, and storage medium for measuring a position and an orientation of an object by using a model indicating a shape of the object
US11667036B2 (en) Workpiece picking device and workpiece picking method
EP3229208A1 (en) Camera pose estimation
JP2010184308A (ja) ワーク取り出し装置
CN115578457A (zh) 一种应用于无序抓取的动态箱体检测方法
JP7448035B2 (ja) 情報処理装置、３次元位置推定方法、及びプログラム
JP7264247B2 (ja) 情報処理装置及び情報処理方法
CN115035492A (zh) 车辆识别方法、装置、设备和存储介质
US11823414B2 (en) Information processing device, information processing method, and information processing non-transitory computer readable medium
CN105513040B (zh) 不定形***置推定方法、不定形***置推定装置以及程序
CN113313803A (zh) 垛型分析方法、装置、计算设备及计算机存储介质
JP6719925B2 (ja) 情報処理装置、情報処理方法、プログラム
US9477890B2 (en) Object detection using limited learned attribute ranges
TWI716926B (zh) 物件姿態辨識方法及系統與電腦程式產品
CN114332430A (zh) 用于防止过检测的碰撞检测方法、装置、设备和介质
CN117115240A (zh) 一种通用栈板3d位姿定位方法及***、存储介质
JP2016148558A (ja) 情報処理装置、情報処理方法
JP2023552204A (ja) 画像上に見える車両のヨー方向を表すための装置及び方法
CN117213463A (zh) 基于点云检测的栅格地图更新方法、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination