CN115556094A - 基于三轴机械手的取料方法、装置及计算机可读存储介质 - Google Patents
基于三轴机械手的取料方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115556094A CN115556094A CN202211145615.4A CN202211145615A CN115556094A CN 115556094 A CN115556094 A CN 115556094A CN 202211145615 A CN202211145615 A CN 202211145615A CN 115556094 A CN115556094 A CN 115556094A
- Authority
- CN
- China
- Prior art keywords
- materials
- axis manipulator
- axis
- placement area
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mechanical Engineering (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Manipulator (AREA)
Abstract
本申请提供了基于三轴机械手的取料方法、装置及计算机可读存储介质,用于对物料放置区域的物料进行自动取料,所述方法包括:S1:检测所述物料放置区域的物料是否满足预设的取料条件;如果满足,则执行S2;如果不满足,则执行S4;S2:基于所述物料放置区域的物料的高度分布信息,获取所述三轴机械手的移动策略;S3:基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,执行S1;S4:经过预设时长后,再次执行S1。智能化地确定每个物料的取料顺序,取料效率高,物料堆放美观。
Description
技术领域
本申请涉及机械自动化和智能制造的技术领域,尤其涉及基于三轴机械手的取料方法、装置及计算机可读存储介质。
背景技术
机械手(英语:robotic arm)是具有模仿人类手臂功能并可完成各种作业的自动控制设备,允许在平面或三维空间进行运动或使用线性位移移动。机械手以完成“腕部以及手部”的动作为主要诉求,以形状和尺寸来区分,机械手包括线性手臂、SCARA手臂、关节多轴机械手臂等类型。用于执行取料任务的三轴机械手可以采用线性手臂,具体来说,可以采用三轴连接机构,外形与龙门机构相似,配合吸盘或者夹爪等拾取机构组成联动机械手。
专利CN213415470U公开了一种视觉引导自动上料机构,该机构包括入料输送组件、位于入料输送组件上方的引导检测组件、位于入料输送组件一侧并用于在入料输送组件上取料的取料组件、及用于放置取料组件所抓取产品的上料输送组件;所述引导检测组件包括引导直线模组、安装于引导直线模组的引导运输架、及安装于引导运输架至少一组的检测相机,所述检测相机检测端朝向于入料输送组件。该机构对输送过程中的产品进行视觉检测,检测到产品位置后通过取料组件将产品抓取放置到上料输送组件上输送,然而当物料放置区域设置有多个物料、无法一次取放完毕时,则无法智能化地确定每个物料的取料顺序,如果每次随机拾取任意物料,则计算过程和控制过程的复杂程度高,控制难度大,导致取料效率低,物料堆放也不美观。
基于此,本申请提供了基于三轴机械手的取料方法、装置及计算机可读存储介质,以改进现有技术。
发明内容
本申请的目的在于提供基于三轴机械手的取料方法、装置及计算机可读存储介质,智能化地确定每个物料的取料顺序,取料效率高,物料堆放美观。
本申请的目的采用以下技术方案实现:
第一方面,本申请提供了一种基于三轴机械手的取料方法,用于对物料放置区域的物料进行自动取料,所述方法包括:
S1:检测所述物料放置区域的物料是否满足预设的取料条件;如果满足,则执行S2;如果不满足,则执行S4;
S2:基于所述物料放置区域的物料的高度分布信息,获取所述三轴机械手的移动策略,所述移动策略用于指示所述三轴机械手的目标拾取组件在预设直角坐标系中的X轴位移、Y轴位移和Z轴位移;
S3:基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,执行S1;
S4:经过预设时长后,再次执行S1。
该技术方案的有益效果在于:智能化地确定每个物料的取料顺序,取料效率高,物料堆放美观。
首先检测物料放置区域是否满足预设的取料条件(例如物料放置区域的物料堆积得比较多或者质量比较大),并根据判断结果分别执行不同的后续步骤;如果满足则表明当前时刻需要利用三轴机械手进行取料,因此进入移动策略的规划步骤;如果不满足则表明当前时刻不需要利用三轴机械手进行取料,因此经过预设时长后,再次执行检测步骤。
在移动策略的规划步骤中,规划依据是物料放置区域的物料的高度分布信息(该高度分布信息用于指示物料放置区域的承载面上的每个点处的物料高度)。这样做的好处是,基于高度分布情况来选择每次拾取的一个或多个物料,从而使得物料放置区域的剩余物料符合实际应用中的不同需求,例如可以使得物料放置区域的剩余物料始终处于高度分布比较均匀的情况(高度分布均匀是指物料放置区域的承载面上的物料高度的最大值和最小值之差不大于预设高度阈值),或者使得物料放置区域的剩余物料分区域地被拾取(即一个子区域被拾取完之后再拾取另一个子区域)。
物料高度分布均匀,容易符合三轴机械手的运动学约束条件,避免运动干涉导致无法完成拾取任务。干涉是指零件与其它零件接触(距离小于设定的间隙值,不一定为零)。运动干涉是指零件在运动过程中出现干涉情况,例如拾取组件与其他物料(非本次拾取的物料)之间的碰撞阻碍等。
物料分区域被拾取,适合需要将物料取放至外部设备的情况,能够大大减少三轴机械手的行程,提高物料的取料效率。例如可以将物料放置区域划分为多个子区域,即子区域A、子区域B、子区域C……;将AGV移动至子区域A的附近位置,利用三轴机械手将子区域A的物料从物料放置区域拾取至AGV上;在子区域A的物料拾取完毕后,将AGV移动至子区域B的附近位置,利用三轴机械手将子区域B的物料从物料放置区域拾取至AGV上;在子区域B的物料拾取完毕后,将AGV移动至子区域C的附近位置,利用三轴机械手将子区域C的物料从物料放置区域拾取至AGV上;以此类推,可以将AGV先后移动至每个子区域的附近位置,以完成对应子区域的物料的自动运输过程。相比于将AGV停放在固定位置来说,减少了三轴机械手在拾取物料后、放置物料的行程;相比于根据每拾取一次都根据所拾取的物料位置将AGV逐次移动至附近位置来说,AGV的移动次数少,降低了三轴机械手和AGV之间的联动难度。
在获取移动策略后,就可以利用三轴机械手的驱动组件带动目标拾取组件移动至物料的上方并拾取物料,并且每次可以拾取一个物料或者多个物料。其中,三轴机械手设置有多个拾取组件,目标拾取组件是多个拾取组件的其中一个,即三轴机械手在执行拾取任务时驱动组件所连接的拾取组件。
上述取料过程基于取料条件是否满足的检测结果实现循环,所达到的效果是,针对不同物料的取料需求或者相同物料不同阶段的取料需求,结合实际应用中的性能需求和成本需求,可以通过设置不同的取料条件、设置不同的预设时长、设置不同的单次拾取数量等方式,从而实现不同的取料过程,智能化地确定每个物料的取料顺序,智能化程度高,取料效率高,适用范围广,满足多种类型物料的取料需求,可实现整个取料过程的精细化控制,且(相比于每次随机拾取物料来说)物料堆放所形成的视觉效果比较美观。
在一些可选的实施方式中,检测所述物料放置区域的物料是否满足所述取料条件的过程包括:
利用图像采集设备获取所述物料放置区域的图像信息;
将所述物料放置区域的图像信息输入至图像识别模型,以得到所述物料放置区域的物料的数量;
当所述物料放置区域的物料的数量不小于预设数量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的数量小于所述预设数量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
该技术方案的有益效果在于:图像识别模型在图像识别方面可以达到甚至超越人类的图像识别能力,利用图像识别模型对采集到的图像信息进行图像识别,以得到物料的数量,可以大大降低人工成本,且图像识别结果的准确性高,便于推广复制。另外,预先设定预设数量阈值,以物料的数量作为是否取料的判断依据,能够避免物料放置区域的物料堆积过多。
在一些可选的实施方式中,所述将所述物料放置区域的图像信息输入至图像识别模型,以得到所述物料放置区域的物料的数量,包括:
将所述物料放置区域的图像信息输入至所述图像识别模型,以得到所述物料放置区域的物料的数量和高度分布信息。
该技术方案的有益效果在于:一方面,利用图像识别模型同时输出物料的数量和高度分布信息,计算效率高;另一方面,实现了图像信息的复用,即,采集一次图像信息,所采集得到的图像信息同时用于获取数量和高度分布信息,相比于分别获取图像信息并单独用于获取数量和高度分布信息来说,减少了图像采集次数,提高了整体取料效率。
在一些可选的实施方式中,所述图像识别模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本物料放置区域的样本图像信息以及所述样本物料放置区域的物料的数量和高度分布信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本图像信息输入至预设的深度学习模型,以得到所述样本物料放置区域的物料的数量和高度分布信息的预测数据;
基于所述样本物料放置区域的物料的数量和高度分布信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述图像识别模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
该技术方案的有益效果在于:通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%找到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的图像识别模型,可以基于任意的输入数据(即图像信息)获取对应的输出数据(即数量和高度分布信息),适用范围广,且计算结果准确性高、可靠性高。
在一些可选的实施方式中,检测所述物料放置区域的物料是否满足所述取料条件的过程包括:
利用称重传感器获取所述物料放置区域的物料的质量;
当所述物料放置区域的物料的质量不小于所述预设质量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的质量小于所述预设质量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
该技术方案的有益效果在于:一方面,利用称重传感器获取物料的质量,质量获取效率高,实时性强;另一方面,预先设定预设质量阈值,以物料的质量作为是否取料的判断依据,能够避免物料放置区域的物料堆积过重、损伤物料放置区域的承载面,导致物料倾倒至周围区域。
在一些可选的实施方式中,在所述S1之前,所述方法还包括:
基于所述物料放置区域的物料的种类,获取所述三轴机械手的拾取策略,所述拾取策略用于指示以下一种或多种拾取参数:拾取机构的拾取类型、数量、形状、尺寸和材料类型;
基于所述三轴机械手的拾取策略,从多个拾取组件中确定其中一个拾取组件作为所述目标拾取组件;
将所述三轴机械手的驱动组件连接至所述目标拾取组件;
基于所述目标拾取组件,确定所述三轴机械手的驱动策略;
当所述三轴机械手的驱动组件采用电机时,所述驱动策略用于指示以下一种或多种驱动参数:转速、扭矩、输出功率和功率因数;
当所述三轴机械手的驱动组件采用气缸时,所述驱动策略用于指示以下一种或多种驱动参数:输出力、活塞行程和活塞运动速度。
该技术方案的有益效果在于:预先设置多个拾取组件,每个拾取组件对应的拾取参数不同,即对应不同的拾取机构的拾取类型、数量、形状、尺寸或材料类型。针对不同种类的物料,采用不同的拾取策略以确定取料过程中所连接的目标拾取组件,采用目标拾取组件对应的驱动策略以实现取料过程的平稳、高效运行,有利于实现精细化控制,兼顾取料效率和取料过程中的安全性(包括物料的安全性和拾取机构自身的安全性),避免损伤物料,同时延长拾取机构的使用寿命。例如针对受力容易变形的物料,可以选用托举式拾取机构、采用托举方式拾取以避免物料发生变形;针对容易滑落的物料,可以选用具有防滑功能的拾取机构拾取以避免物料发生滑落;针对排布成规则形状的物料,可以选用多个拾取机构、每次拾取多个物料以提高取料效率;针对不同形状、尺寸的物料,可以选用对应形状、尺寸的拾取机构,以提高拾取过程和移动过程中的稳定性;针对不同材料类型的物料,可以选用不同材料类型的拾取机构以避免损伤物料;针对容易发生倾倒的物料,可以选用具有防倾倒功能的拾取机构,并以适合的驱动参数驱动目标拾取组件,以实现较低的移动速度,避免物料发生倾倒。
在一些可选的实施方式中,所述基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,包括:
基于所述目标拾取组件,确定每次拾取的物料的目标数量;
基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至所述目标数量的物料的上方并拾取所述目标数量的物料。
该技术方案的有益效果在于:在确定目标拾取组件后,每次拾取物料的目标数量也随之确定,因此在将三轴机械手移动至移动策略对应的指定位置后,就可以利用目标拾取组件拾取目标数量的物料。
在一些可选的实施方式中,所述方法还包括:
控制所述三轴机械手将所拾取的物料放入AGV的承载面,以使所述AGV将所放入的物料运输至目标位置。
该技术方案的有益效果在于:可以利用AGV将所拾取的物料移动至预设的目标位置,实现物料的自动运输过程。AGV是Automated Guided Vehicle的简称,通常也称为AGV小车,指装备有电磁或光学等自动导航装置,能够沿预定的行驶路径行驶,具有安全保护以及各种移载功能的运输车,其行驶路径可以根据不同需求灵活改变,具有自动化程度高、行动快捷、占地面积小、定位精度高等优点,大大降低人力成本,且安装、调试简单,适应于柔性制造的发展趋势,提高了工业生产的安全性和规范性。
第二方面,本申请提供了一种基于三轴机械手的取料装置,用于对物料放置区域的物料进行自动取料,所述装置包括处理器,所述处理器被配置成实现以下步骤:
S1:检测所述物料放置区域的物料是否满足预设的取料条件;如果满足,则执行S2;如果不满足,则执行S4;
S2:基于所述物料放置区域的物料的高度分布信息,获取所述三轴机械手的移动策略,所述移动策略用于指示所述三轴机械手的目标拾取组件在预设直角坐标系中的X轴位移、Y轴位移和Z轴位移;
S3:基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,执行S1;
S4:经过预设时长后,再次执行S1。
在一些可选的实施方式中,所述处理器被配置成采用以下方式检测所述物料放置区域的物料是否满足所述取料条件:
利用图像采集设备获取所述物料放置区域的图像信息;
将所述物料放置区域的图像信息输入至图像识别模型,以得到所述物料放置区域的物料的数量;
当所述物料放置区域的物料的数量不小于预设数量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的数量小于所述预设数量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
在一些可选的实施方式中,所述处理器被配置成采用以下方式获取所述物料放置区域的物料的数量:
将所述物料放置区域的图像信息输入至所述图像识别模型,以得到所述物料放置区域的物料的数量和高度分布信息。
在一些可选的实施方式中,所述图像识别模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本物料放置区域的样本图像信息以及所述样本物料放置区域的物料的数量和高度分布信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本图像信息输入至预设的深度学习模型,以得到所述样本物料放置区域的物料的数量和高度分布信息的预测数据;
基于所述样本物料放置区域的物料的数量和高度分布信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述图像识别模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
在一些可选的实施方式中,所述处理器被配置成采用以下方式检测所述物料放置区域的物料是否满足所述取料条件:
利用称重传感器获取所述物料放置区域的物料的质量;
当所述物料放置区域的物料的质量不小于所述预设质量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的质量小于所述预设质量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
在一些可选的实施方式中,所述处理器还被配置成在实现所述步骤S1之前实现以下步骤:
基于所述物料放置区域的物料的种类,获取所述三轴机械手的拾取策略,所述拾取策略用于指示以下一种或多种拾取参数:拾取机构的拾取类型、数量、形状、尺寸和材料类型;
基于所述三轴机械手的拾取策略,从多个拾取组件中确定其中一个拾取组件作为所述目标拾取组件;
将所述三轴机械手的驱动组件连接至所述目标拾取组件;
基于所述目标拾取组件,确定所述三轴机械手的驱动策略;
当所述三轴机械手的驱动组件采用电机时,所述驱动策略用于指示以下一种或多种驱动参数:转速、扭矩、输出功率和功率因数;
当所述三轴机械手的驱动组件采用气缸时,所述驱动策略用于指示以下一种或多种驱动参数:输出力、活塞行程和活塞运动速度。
在一些可选的实施方式中,所述处理器被配置成采用以下方式拾取一个或多个所述物料:
基于所述目标拾取组件,确定每次拾取的物料的目标数量;
基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至所述目标数量的物料的上方并拾取所述目标数量的物料。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
控制所述三轴机械手将所拾取的物料放入AGV的承载面,以使所述AGV将所放入的物料运输至目标位置。
第三方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤或者实现上述任一项装置的功能。
附图说明
下面结合附图和实施方式对本申请进一步说明。
图1示出了本申请实施例提供的一种三轴机械手的结构示意图。
图2示出了本申请实施例提供的一种基于三轴机械手的取料方法的流程示意图。
图3示出了本申请实施例提供的一种确定三轴机械手的驱动策略的流程示意图。
图4示出了本申请实施例提供的一种基于三轴机械手的取料装置的结构框图。
图5示出了本申请实施例提供的一种程序产品的结构示意图。
具体实施方式
下面将结合本申请的说明书附图以及具体实施方式,对本申请中的技术方案进行描述,需要说明的是,在不相冲突的前提下,以下描述的各实施方式之间或各技术特征之间可以任意组合形成新的实施方式。
在本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,a和b和c,其中a、b和c可以是单个,也可以是多个。值得注意的是,“至少一项(个)”还可以解释成“一项(个)或多项(个)”。
还需说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施方式或设计方案不应被解释为比其他实施方式或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
(方法实施例)
参见图1和图2,图1示出了本申请实施例提供的一种三轴机械手的结构示意图,图2示出了本申请实施例提供的一种基于三轴机械手的取料方法的流程示意图。
本申请实施例中的三轴机械手可以在X轴方向、Y轴方向、Z轴方向发生移动。具体而言,三轴机械手设置有驱动组件和拾取组件,驱动组件带动拾取组件发生X轴方向、Y轴方向、Z轴方向的移动。
本申请实施例提供了一种基于三轴机械手的取料方法,用于对物料放置区域的物料进行自动取料,所述方法包括:
S1:检测所述物料放置区域的物料是否满足预设的取料条件;如果满足,则执行S2;如果不满足,则执行S4;
S2:基于所述物料放置区域的物料的高度分布信息,获取所述三轴机械手的移动策略,所述移动策略用于指示所述三轴机械手的目标拾取组件在预设直角坐标系中的X轴位移、Y轴位移和Z轴位移;
S3:基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,执行S1;
S4:经过预设时长后,再次执行S1。
由此,智能化地确定每个物料的取料顺序,控制驱动组件带动目标拾取组件移动至对应物料的上方以拾取物料,取料效率高,物料堆放美观。
首先检测物料放置区域是否满足预设的取料条件(例如物料放置区域的物料堆积得比较多或者质量比较大),并根据判断结果分别执行不同的后续步骤;如果满足则表明当前时刻需要利用三轴机械手进行取料,因此进入移动策略的规划步骤;如果不满足则表明当前时刻不需要利用三轴机械手进行取料,因此经过预设时长后,再次执行检测步骤。
在移动策略的规划步骤中,规划依据是物料放置区域的物料的高度分布信息(该高度分布信息用于指示物料放置区域的承载面上的每个点处的物料高度)。这样做的好处是,基于高度分布情况来选择每次拾取的一个或多个物料,从而使得物料放置区域的剩余物料符合实际应用中的不同需求,例如可以使得物料放置区域的剩余物料始终处于高度分布比较均匀的情况(高度分布均匀是指物料放置区域的承载面上的物料高度的最大值和最小值之差不大于预设高度阈值),或者使得物料放置区域的剩余物料分区域地被拾取(即一个子区域被拾取完之后再拾取另一个子区域)。
物料高度分布均匀,容易符合三轴机械手的运动学约束条件,避免运动干涉导致无法完成拾取任务。干涉是指零件与其它零件接触(距离小于设定的间隙值,不一定为零)。运动干涉是指零件在运动过程中出现干涉情况,例如拾取组件与其他物料(非本次拾取的物料)之间的碰撞阻碍等。
物料分区域被拾取,适合需要将物料取放至外部设备的情况,能够大大减少三轴机械手的行程,提高物料的取料效率。例如可以将物料放置区域划分为多个子区域,即子区域A、子区域B、子区域C……;将AGV移动至子区域A的附近位置,利用三轴机械手将子区域A的物料从物料放置区域拾取至AGV上;在子区域A的物料拾取完毕后,将AGV移动至子区域B的附近位置,利用三轴机械手将子区域B的物料从物料放置区域拾取至AGV上;在子区域B的物料拾取完毕后,将AGV移动至子区域C的附近位置,利用三轴机械手将子区域C的物料从物料放置区域拾取至AGV上;以此类推,可以将AGV先后移动至每个子区域的附近位置,以完成对应子区域的物料的自动运输过程。相比于将AGV停放在固定位置来说,减少了三轴机械手在拾取物料后、放置物料的行程;相比于根据每拾取一次都根据所拾取的物料位置将AGV逐次移动至附近位置来说,AGV的移动次数少,降低了三轴机械手和AGV之间的联动难度。
在获取移动策略后,就可以利用三轴机械手的驱动组件带动目标拾取组件移动至物料的上方并拾取物料,并且每次可以拾取一个物料或者多个物料。
上述取料过程基于取料条件是否满足的检测结果实现循环,所达到的效果是,针对不同物料的取料需求或者相同物料不同阶段的取料需求,结合实际应用中的性能需求和成本需求,可以通过设置不同的取料条件、设置不同的预设时长、设置不同的单次拾取数量等方式,从而实现不同的取料过程,智能化地确定每个物料的取料顺序,智能化程度高,取料效率高,适用范围广,满足多种类型物料的取料需求,可实现整个取料过程的精细化控制,且(相比于每次随机拾取物料来说)物料堆放所形成的视觉效果比较美观。
本申请实施例中,物料放置区域例如可以设置在室内或者室外。作为一个示例,物料放置区域可以设置于厂房内部。
物料放置区域设置有承载面,承载面用于承载物料。承载面的形状可以是圆形、椭圆形、多边形、弓形、弧形、环形、跑道形等。其中,多边形包括三角形、四边形、五边形、六边形、八边形、十边形等。
本申请实施例对物料放置区域的物料的数量不作限定,其例如可以是0个、1个、3个、5果然、10个、50个、100个、1000个、10000个、100000个等。
本申请实施例对物料放置区域的物料的形状不作限定,其例如可以是柱体、椎体、旋转体、截面体或者无规则形状。其中,柱体包括圆柱和棱柱,锥体包括圆锥体和棱锥体,旋转体包括圆柱、圆台、圆锥、球、椭球、球冠、弓环、圆环、堤环、扇环、枣核形等,截面体包括棱台、圆台、斜截圆柱、斜截棱柱、斜截圆锥、球冠、球缺等。
本申请实施例对物料放置区域的物料的尺寸不作限定,其尺寸例如可以是毫米数量级、厘米数量级、分米数量级、米数量级等。
本申请实施例对物料放置区域的物料的材料类型不作限定,其例如可以是金属材料、有机高分子材料、无机非金属材料、复合材料等。其中,金属材料包括金属和合金,有机高分子材料包括合成塑料、纤维、橡胶、天然的羊毛棉花等,无机非金属材料包括玻璃、陶瓷等,复合材料由两种以及两种以上的材料组成,例如水泥、木材等。
本申请实施例中,物料可以是有包装的或者无包装的。作为一个示例,物料放置区域的物料是有包装盒的口红或者球鞋。作为另一个示例,物料放置区域的物料是有包装袋的包裹。作为又一个示例,物料放置区域的物料是无包装的芯片。作为又一个示例,物料放置区域的物料是袋装大米。
本申请实施例中,物料放置区域的物料的高度分布信息用于指示物料放置区域的承载面上的每个点处的物料的高度。此处承载面上的每个点是指承载面上的每个采样点,物料放置区域的承载面上的采样点例如可以排布为M行N列的形状,采样点之间的行间距和列间距可以采用预设距离,预设距离例如可以是1微米、1毫米或者1厘米等,M、N是大于1的整数。或者,物料放置区域的承载面上的采样点例如可以排布为多个同心圆的形状。
本申请实施例中,直角坐标系即笛卡尔坐标系,在数学中是一种正交坐标系。预设直角坐标系中的X轴位移、Y轴位移和Z轴位移分别是指预设直角坐标系中的X轴方向、Y轴方向和Z轴方向的位移。
本申请实施例中,三轴机械手设置有多个拾取组件,目标拾取组件是多个拾取组件的其中一个,即三轴机械手在执行拾取任务(即取料任务)时驱动组件所连接的拾取组件。
本申请实施例对预设时长不作限定,其例如可以是3秒钟、5秒钟、10秒钟、30秒钟、1分钟、3分钟、5分钟、10分钟等。预设时长不宜设置得太长或者太短。如果将预设时长设置得太长,则无法实时检测是否满足取料条件并进行及时取料;如果将预设时长设置得太短,则消耗的计算资源较多,不利于节能减排。
在一些可选的实施方式中,检测所述物料放置区域的物料是否满足所述取料条件的过程包括:
利用图像采集设备获取所述物料放置区域的图像信息;
将所述物料放置区域的图像信息输入至图像识别模型,以得到所述物料放置区域的物料的数量;
当所述物料放置区域的物料的数量不小于预设数量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的数量小于所述预设数量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
由此,图像识别模型在图像识别方面可以达到甚至超越人类的图像识别能力,利用图像识别模型对采集到的图像信息进行图像识别,以得到物料的数量,可以大大降低人工成本,且图像识别结果的准确性高,便于推广复制。另外,预先设定预设数量阈值,以物料的数量作为是否取料的判断依据,能够避免物料放置区域的物料堆积过多。
本申请实施例对预设数量阈值不作限定,其例如可以是1个、2个、3个、5个、10个、30个、50个、100个、1000个等。
本申请实施例对图像采集设备不作限定,其例如可以包括一个或多个摄像头。摄像头包括光学摄像头和/或红外摄像头。
在一些可选的实施方式中,所述将所述物料放置区域的图像信息输入至图像识别模型,以得到所述物料放置区域的物料的数量,包括:
将所述物料放置区域的图像信息输入至所述图像识别模型,以得到所述物料放置区域的物料的数量和高度分布信息。
由此,一方面,利用图像识别模型同时输出物料的数量和高度分布信息,计算效率高;另一方面,实现了图像信息的复用,即,采集一次图像信息,所采集得到的图像信息同时用于获取数量和高度分布信息,相比于分别获取图像信息并单独用于获取数量和高度分布信息来说,减少了图像采集次数,提高了整体取料效率。
在一些可选的实施方式中,所述图像识别模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本物料放置区域的样本图像信息以及所述样本物料放置区域的物料的数量和高度分布信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本图像信息输入至预设的深度学习模型,以得到所述样本物料放置区域的物料的数量和高度分布信息的预测数据;
基于所述样本物料放置区域的物料的数量和高度分布信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述图像识别模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
由此,通过设计,建立适量的神经元计算节点和多层运算层次结构,选择合适的输入层和输出层,就可以得到预设的深度学习模型,通过该深度学习模型的学习和调优,建立起从输入到输出的函数关系,虽然不能100%找到输入与输出的函数关系,但是可以尽可能地逼近现实的关联关系,由此训练得到的图像识别模型,可以基于任意的输入数据(即图像信息)获取对应的输出数据(即数量和高度分布信息),适用范围广,且计算结果准确性高、可靠性高。
在一些可选的实施方式中,本申请实施例可以训练得到图像识别模型,在另一些可选的实施方式中,本申请可以采用预先训练好的图像识别模型。
在一些可选的实施方式中,例如可以对历史数据进行数据挖掘,以获取训练集中的样本物料放置区域的样本图像信息。也就是说,这些样本物料放置区域的样本图像信息可以是对真实的物料放置区域进行图像采集得到的图像信息。另外,样本物料放置区域的样本图像信息也可以是利用GAN模型的生成网络自动生成的。
其中,GAN模型即生成对抗网络(Generative Adversarial Network),由一个生成网络与一个判别网络组成。生成网络从潜在空间(latent space)中随机采样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。使用GAN模型可以生成多个样本物料放置区域的样本图像信息,用于图像识别模型的训练过程,能有效降低原始数据采集的数据量,大大降低数据采集和标注的成本。
本申请对标注数据的获取方式不作限定,例如可以采用人工标注的方式,也可以采用自动标注或者半自动标注的方式。当样本物料放置区域的样本图像信息是对真实物料放置区域进行图像采集得到的图像信息时,可以通过关键词提取的方式从历史数据中获取真实数据作为标注数据。
本申请对图像识别模型的训练过程不作限定,其例如可以采用上述监督学习的训练方式,或者可以采用半监督学习的训练方式,或者可以采用无监督学习的训练方式。
本申请对预设的训练结束条件不作限定,其例如可以是训练次数达到预设次数(预设次数例如是1次、3次、10次、100次、1000次、10000次等),或者可以是训练集中的训练数据都完成一次或多次训练,或者可以是本次训练得到的总损失值不大于预设损失值。
在一些可选的实施方式中,检测所述物料放置区域的物料是否满足所述取料条件的过程包括:
利用称重传感器获取所述物料放置区域的物料的质量;
当所述物料放置区域的物料的质量不小于所述预设质量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的质量小于所述预设质量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
由此,一方面,利用称重传感器获取物料的质量,质量获取效率高,实时性强;另一方面,预先设定预设质量阈值,以物料的质量作为是否取料的判断依据,能够避免物料放置区域的物料堆积过重、损伤承载面,导致物料倾倒至周围区域。
本申请实施例对预设质量阈值不作限定,其例如可以是1毫克、2毫克、3毫克、5毫克、10毫克、30毫克、50毫克、100毫克、1千克、2千克、3千克、5千克、10千克、30千克、50千克、100千克、1000千克等。
在一些可选的实施方式中,检测所述物料放置区域的物料是否满足所述取料条件的过程包括:
利用称重传感器获取所述物料放置区域的物料的质量;
利用所述物料放置区域的物料的质量和单个物料的质量,计算得到所述物料放置区域的物料的数量;
当所述物料放置区域的物料的数量不小于预设数量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的数量小于所述预设数量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
也就是说,可以利用物料放置区域的物料的质量和单个物料的质量计算出对应的数量。其中,单个物料的质量可以是人工输入的,也可以是对随机抽取的几个物料进行质量测量并求取平均值得到的。
参见图3,图3示出了本申请实施例提供的一种确定三轴机械手的驱动策略的流程示意图。
在一些可选的实施方式中,在所述S1之前,所述方法还包括:
F1:基于所述物料放置区域的物料的种类,获取所述三轴机械手的拾取策略,所述拾取策略用于指示以下一种或多种拾取参数:拾取机构的拾取类型、数量、形状、尺寸和材料类型;
F2:基于所述三轴机械手的拾取策略,从多个拾取组件中确定其中一个拾取组件作为所述目标拾取组件;
F3:将所述三轴机械手的驱动组件连接至所述目标拾取组件;
F4:基于所述目标拾取组件,确定所述三轴机械手的驱动策略;
当所述三轴机械手的驱动组件采用电机时,所述驱动策略用于指示以下一种或多种驱动参数:转速、扭矩、输出功率和功率因数;
当所述三轴机械手的驱动组件采用气缸时,所述驱动策略用于指示以下一种或多种驱动参数:输出力、活塞行程和活塞运动速度。
由此,预先设置多个拾取组件,每个拾取组件对应的拾取参数不同,即对应不同的拾取机构的拾取类型、数量、形状、尺寸或材料类型。
本申请实施例中,拾取机构的拾取类型例如可以包括吸取、抓取和钩取中的一种或多种。
本申请实施例中,拾取机构的数量例如可以是1个、2个、3个、4个等。每个吸取式拾取机构可以设置有一个或多个气孔,每个抓取式拾取机构可以设置有2个、4个、8个或更多夹爪,每个钩取式拾取机构可以设置有一个或多个钩取端。
本申请实施例对拾取机构的形状不作限定,吸取式拾取机构例如可以是扁平吸盘、椭圆吸盘、波纹吸盘、异形吸盘等,抓取式拾取机构例如可以设置有两指夹爪、三指夹爪或异形夹爪,钩取式拾取机构的钩取端可以向内靠拢或者向外延伸。
本申请实施例对拾取机构的尺寸不作限定,其尺寸例如可以是毫米数量级、厘米数量级、分米数量级、米数量级等。
本申请实施例对拾取机构的材料类型不作限定,其例如可以是金属材料、有机高分子材料、无机非金属材料、复合材料等。
针对不同种类的物料,采用不同的拾取策略以确定取料过程中所连接的目标拾取组件,采用目标拾取组件对应的驱动策略以实现取料过程的平稳、高效运行,有利于实现精细化控制,兼顾取料效率和取料过程中的安全性(包括物料的安全性和拾取机构自身的安全性),避免损伤物料,同时延长拾取机构的使用寿命。
例如针对受力容易变形的物料,可以选用托举式拾取机构、采用托举方式拾取以避免物料发生变形;针对容易滑落的物料,可以选用具有防滑功能的拾取机构拾取以避免物料发生滑落;针对排布成规则形状的物料,可以选用多个拾取机构、每次拾取多个物料以提高取料效率;针对不同形状、尺寸的物料,可以选用对应形状、尺寸的拾取机构,以提高拾取过程和移动过程中的稳定性;针对不同材料类型的物料,可以选用不同材料类型的拾取机构以避免损伤物料;针对容易发生倾倒的物料,可以选用具有防倾倒功能的拾取机构,并以适合的驱动参数驱动目标拾取组件,以实现较低的移动速度,避免物料发生倾倒。
作为一个示例,物料放置区域的物料的种类是口红且有包装,其包装是长方体纸质盒子。该物料种类所对应的三轴机械手的拾取策略例如可以是“拾取机构的拾取类型是吸取式、数量是4个、形状是扁平吸盘、尺寸是直径3厘米、材料类型是丁腈橡胶(NBR)”。从多个拾取组件中确定拾取参数符合要求的其中一个拾取组件作为目标拾取组件,将三轴机械手的驱动组件连接至目标拾取组件,基于目标拾取组件确定三轴机械手的驱动策略是“输出力是0.5牛顿、活塞行程是10毫米、活塞运动速度是50-500毫米每秒”。
在一些可选的实施方式中,所述基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料(即步骤S3),包括:
基于所述目标拾取组件,确定每次拾取的物料的目标数量;
基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至所述目标数量的物料的上方并拾取所述目标数量的物料。
由此,在确定目标拾取组件后,每次拾取物料的目标数量也随之确定,因此在将三轴机械手移动至移动策略对应的指定位置后,就可以利用目标拾取组件拾取目标数量的物料。
作为一个示例,当目标拾取组件设置有4个真空扁平吸盘时,每次拾取的物料的目标数量是4个。
在一些可选的实施方式中,所述方法还包括:
控制所述三轴机械手将所拾取的物料放入AGV的承载面,以使所述AGV将所放入的物料运输至目标位置。
由此,可以利用AGV将所拾取的物料移动至预设的目标位置,实现物料的自动运输过程。AGV是Automated Guided Vehicle的简称,通常也称为AGV小车,指装备有电磁或光学等自动导航装置,能够沿预定的行驶路径行驶,具有安全保护以及各种移载功能的运输车,其行驶路径可以根据不同需求灵活改变,具有自动化程度高、行动快捷、占地面积小、定位精度高等优点,大大降低人力成本,且安装、调试简单,适应于柔性制造的发展趋势,提高了工业生产的安全性和规范性。
本申请实施例中,目标位置可以是人工设定的,也可以是智能设定的。当采用智能设定方式时,基于AGV的智能仓储管理***以AGV作为承载平台,以智能仓储设计及管理优化算法为核心,通过多AGV协同及调度技术智能化地设定每个AGV的目标位置,结合仓储管理软件、自动化物流设备接口,能够实现AGV自动运输、自动拣配等功能,达到入库、装卸、搬运、堆码、储存、拣货、包装、出库、发货等全过程的高度自动化,进而提高物流周转效率,保证物流供应的及时性、准确性以及实现柔性存储功能。
在一个具体应用场景中,本申请实施例还提供了一种基于三轴机械手的取料方法,用于对物料放置区域的物料进行自动取料,所述方法包括:
F1:基于所述物料放置区域的物料的种类,获取所述三轴机械手的拾取策略,所述拾取策略用于指示以下一种或多种拾取参数:拾取机构的拾取类型、数量、形状、尺寸和材料类型;
F2:基于所述三轴机械手的拾取策略,从多个拾取组件中确定其中一个拾取组件作为所述目标拾取组件;
F3:将所述三轴机械手的驱动组件连接至所述目标拾取组件;
F4:基于所述目标拾取组件,确定所述三轴机械手的驱动策略;当所述三轴机械手的驱动组件采用电机时,所述驱动策略用于指示以下一种或多种驱动参数:转速、扭矩、输出功率和功率因数;当所述三轴机械手的驱动组件采用气缸时,所述驱动策略用于指示以下一种或多种驱动参数:输出力、活塞行程和活塞运动速度;
S1:检测所述物料放置区域的物料是否满足预设的取料条件;如果满足,则执行S2;如果不满足,则执行S4;
S2:基于所述物料放置区域的物料的高度分布信息,获取所述三轴机械手的移动策略,所述移动策略用于指示所述三轴机械手的目标拾取组件在预设直角坐标系中的X轴位移、Y轴位移和Z轴位移;
S3:基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,执行S1;
S4:经过预设时长后,再次执行S1;
在所述S3之后,所述方法还包括:控制所述三轴机械手将所拾取的物料放入AGV的承载面,以使所述AGV将所放入的物料运输至目标位置。
其中,检测所述物料放置区域的物料是否满足所述取料条件的过程包括:
利用图像采集设备获取所述物料放置区域的图像信息;
将所述物料放置区域的图像信息输入至所述图像识别模型,以得到所述物料放置区域的物料的数量和高度分布信息;
当所述物料放置区域的物料的数量不小于预设数量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的数量小于所述预设数量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
其中,所述图像识别模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本物料放置区域的样本图像信息以及所述样本物料放置区域的物料的数量和高度分布信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本图像信息输入至预设的深度学习模型,以得到所述样本物料放置区域的物料的数量和高度分布信息的预测数据;
基于所述样本物料放置区域的物料的数量和高度分布信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述图像识别模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
其中,所述基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,包括:基于所述目标拾取组件,确定每次拾取的物料的目标数量;基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至所述目标数量的物料的上方并拾取所述目标数量的物料。
(装置实施例)
本申请实施例还提供了一种基于三轴机械手的取料装置,其具体实施例与上述方法实施例中记载的实施例、所达到的技术效果一致,部分内容不再赘述。
所述基于三轴机械手的取料装置用于对物料放置区域的物料进行自动取料,所述装置包括处理器,所述处理器被配置成实现以下步骤:
S1:检测所述物料放置区域的物料是否满足预设的取料条件;如果满足,则执行S2;如果不满足,则执行S4;
S2:基于所述物料放置区域的物料的高度分布信息,获取所述三轴机械手的移动策略,所述移动策略用于指示所述三轴机械手的目标拾取组件在预设直角坐标系中的X轴位移、Y轴位移和Z轴位移;
S3:基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,执行S1;
S4:经过预设时长后,再次执行S1。
在一些可选的实施方式中,所述处理器被配置成采用以下方式检测所述物料放置区域的物料是否满足所述取料条件:
利用图像采集设备获取所述物料放置区域的图像信息;
将所述物料放置区域的图像信息输入至图像识别模型,以得到所述物料放置区域的物料的数量;
当所述物料放置区域的物料的数量不小于预设数量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的数量小于所述预设数量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
在一些可选的实施方式中,所述处理器被配置成采用以下方式获取所述物料放置区域的物料的数量:
将所述物料放置区域的图像信息输入至所述图像识别模型,以得到所述物料放置区域的物料的数量和高度分布信息。
在一些可选的实施方式中,所述图像识别模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本物料放置区域的样本图像信息以及所述样本物料放置区域的物料的数量和高度分布信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本图像信息输入至预设的深度学习模型,以得到所述样本物料放置区域的物料的数量和高度分布信息的预测数据;
基于所述样本物料放置区域的物料的数量和高度分布信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述图像识别模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
在一些可选的实施方式中,所述处理器被配置成采用以下方式检测所述物料放置区域的物料是否满足所述取料条件:
利用称重传感器获取所述物料放置区域的物料的质量;
当所述物料放置区域的物料的质量不小于所述预设质量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的质量小于所述预设质量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
在一些可选的实施方式中,所述处理器还被配置成在实现所述步骤S1之前实现以下步骤:
基于所述物料放置区域的物料的种类,获取所述三轴机械手的拾取策略,所述拾取策略用于指示以下一种或多种拾取参数:拾取机构的拾取类型、数量、形状、尺寸和材料类型;
基于所述三轴机械手的拾取策略,从多个拾取组件中确定其中一个拾取组件作为所述目标拾取组件;
将所述三轴机械手的驱动组件连接至所述目标拾取组件;
基于所述目标拾取组件,确定所述三轴机械手的驱动策略;
当所述三轴机械手的驱动组件采用电机时,所述驱动策略用于指示以下一种或多种驱动参数:转速、扭矩、输出功率和功率因数;
当所述三轴机械手的驱动组件采用气缸时,所述驱动策略用于指示以下一种或多种驱动参数:输出力、活塞行程和活塞运动速度。
在一些可选的实施方式中,所述处理器被配置成采用以下方式拾取一个或多个所述物料:
基于所述目标拾取组件,确定每次拾取的物料的目标数量;
基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至所述目标数量的物料的上方并拾取所述目标数量的物料。
在一些可选的实施方式中,所述处理器还被配置成实现以下步骤:
控制所述三轴机械手将所拾取的物料放入AGV的承载面,以使所述AGV将所放入的物料运输至目标位置。
参见图4,图4示出了本申请实施例提供的一种基于三轴机械手的取料装置的结构框图。
基于三轴机械手的取料装置例如可以包括至少一个存储器210、至少一个处理器220以及连接不同平台***的总线230。
存储器210可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)211和/或高速缓存存储器212,还可以进一步包括只读存储器(ROM)213。
其中,存储器210还存储有计算机程序,计算机程序可以被处理器220执行,使得处理器220实现上述任一项方法的功能,其具体实施例与上述方法实施例中记载的实施例、所达到的技术效果一致,部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214,这样的程序模块215包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例的每一个或某种组合中可能包括网络环境的实现。
相应的,处理器220可以执行上述计算机程序,以及可以执行实用工具214。
处理器220可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
总线230可以为表示几类总线结构的一种或多种,包括存储器总线或者存储器控制器、***总线、图形加速端口、处理器或者使用多种总线结构的任意总线结构的局域总线。
基于三轴机械手的取料装置也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信,还可与一个或者多个能够与该基于三轴机械手的取料装置交互的设备通信,和/或与使得该基于三轴机械手的取料装置能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且,基于三轴机械手的取料装置还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与基于三轴机械手的取料装置的其它模块通信。应当明白,尽管图中未示出,可以结合基于三轴机械手的取料装置使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储平台等。
(介质实施例)
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项方法的步骤或者实现上述任一项装置的功能,其具体实施例与上述方法实施例中记载的实施例、所达到的技术效果一致,部分内容不再赘述。
所述计算机可读存储介质例如可以是一种程序产品。
参见图5,图5示出了本申请实施例提供的一种程序产品的结构示意图。
所述程序产品用于实现上述任一项方法的步骤。程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本申请实施例中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、C++等,还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上,效能上,进步及新颖性等观点进行阐述,已符合专利法所强调的功能增进及使用要件,本申请以上的说明书及说明书附图,仅为本申请的较佳实施例而已,并非以此局限本申请,因此,凡一切与本申请构造,装置,特征等近似、雷同的,即凡依本申请专利申请范围所作的等同替换或修饰等,皆应属本申请的专利申请保护的范围之内。
Claims (10)
1.一种基于三轴机械手的取料方法,其特征在于,用于对物料放置区域的物料进行自动取料,所述方法包括:
S1:检测所述物料放置区域的物料是否满足预设的取料条件;如果满足,则执行S2;如果不满足,则执行S4;
S2:基于所述物料放置区域的物料的高度分布信息,获取所述三轴机械手的移动策略,所述移动策略用于指示所述三轴机械手的目标拾取组件在预设直角坐标系中的X轴位移、Y轴位移和Z轴位移;
S3:基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,执行S1;
S4:经过预设时长后,再次执行S1。
2.根据权利要求1所述的基于三轴机械手的取料方法,其特征在于,检测所述物料放置区域的物料是否满足所述取料条件的过程包括:
利用图像采集设备获取所述物料放置区域的图像信息;
将所述物料放置区域的图像信息输入至图像识别模型,以得到所述物料放置区域的物料的数量;
当所述物料放置区域的物料的数量不小于预设数量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的数量小于所述预设数量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
3.根据权利要求2所述的基于三轴机械手的取料方法,其特征在于,所述将所述物料放置区域的图像信息输入至图像识别模型,以得到所述物料放置区域的物料的数量,包括:
将所述物料放置区域的图像信息输入至所述图像识别模型,以得到所述物料放置区域的物料的数量和高度分布信息。
4.根据权利要求3所述的基于三轴机械手的取料方法,其特征在于,所述图像识别模型的训练过程包括:
获取训练集,所述训练集包括多个训练数据,每个所述训练数据包括一个样本物料放置区域的样本图像信息以及所述样本物料放置区域的物料的数量和高度分布信息的标注数据;
针对所述训练集中的每个训练数据,执行以下处理:
将所述训练数据中的样本图像信息输入至预设的深度学习模型,以得到所述样本物料放置区域的物料的数量和高度分布信息的预测数据;
基于所述样本物料放置区域的物料的数量和高度分布信息的预测数据和标注数据,对所述深度学习模型的模型参数进行更新;
检测是否满足预设的训练结束条件;如果是,则将训练出的所述深度学习模型作为所述图像识别模型;如果否,则利用下一个所述训练数据继续训练所述深度学习模型。
5.根据权利要求1所述的基于三轴机械手的取料方法,其特征在于,检测所述物料放置区域的物料是否满足所述取料条件的过程包括:
利用称重传感器获取所述物料放置区域的物料的质量;
当所述物料放置区域的物料的质量不小于所述预设质量阈值时,确定所述物料放置区域的物料满足所述取料条件;
当所述物料放置区域的物料的质量小于所述预设质量阈值时,确定所述物料放置区域的物料不满足所述取料条件。
6.根据权利要求1所述的基于三轴机械手的取料方法,其特征在于,在所述S1之前,所述方法还包括:
基于所述物料放置区域的物料的种类,获取所述三轴机械手的拾取策略,所述拾取策略用于指示以下一种或多种拾取参数:拾取机构的拾取类型、数量、形状、尺寸和材料类型;
基于所述三轴机械手的拾取策略,从多个拾取组件中确定其中一个拾取组件作为所述目标拾取组件;
将所述三轴机械手的驱动组件连接至所述目标拾取组件;
基于所述目标拾取组件,确定所述三轴机械手的驱动策略;
当所述三轴机械手的驱动组件采用电机时,所述驱动策略用于指示以下一种或多种驱动参数:转速、扭矩、输出功率和功率因数;
当所述三轴机械手的驱动组件采用气缸时,所述驱动策略用于指示以下一种或多种驱动参数:输出力、活塞行程和活塞运动速度。
7.根据权利要求6所述的基于三轴机械手的取料方法,其特征在于,所述基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,包括:
基于所述目标拾取组件,确定每次拾取的物料的目标数量;
基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至所述目标数量的物料的上方并拾取所述目标数量的物料。
8.根据权利要求1所述的基于三轴机械手的取料方法,其特征在于,所述方法还包括:
控制所述三轴机械手将所拾取的物料放入AGV的承载面,以使所述AGV将所放入的物料运输至目标位置。
9.一种基于三轴机械手的取料装置,其特征在于,用于对物料放置区域的物料进行自动取料,所述装置包括处理器,所述处理器被配置成实现以下步骤:
S1:检测所述物料放置区域的物料是否满足预设的取料条件;如果满足,则执行S2;如果不满足,则执行S4;
S2:基于所述物料放置区域的物料的高度分布信息,获取所述三轴机械手的移动策略,所述移动策略用于指示所述三轴机械手的目标拾取组件在预设直角坐标系中的X轴位移、Y轴位移和Z轴位移;
S3:基于所述三轴机械手的移动策略,利用所述三轴机械手的驱动组件带动所述三轴机械手的目标拾取组件移动至一个或多个所述物料的上方并拾取一个或多个所述物料,执行S1;
S4:经过预设时长后,再次执行S1。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211145615.4A CN115556094A (zh) | 2022-09-20 | 2022-09-20 | 基于三轴机械手的取料方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211145615.4A CN115556094A (zh) | 2022-09-20 | 2022-09-20 | 基于三轴机械手的取料方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115556094A true CN115556094A (zh) | 2023-01-03 |
Family
ID=84741289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211145615.4A Pending CN115556094A (zh) | 2022-09-20 | 2022-09-20 | 基于三轴机械手的取料方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115556094A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118071256A (zh) * | 2024-04-19 | 2024-05-24 | 宁波钢铁有限公司 | 一种原料管理方法及*** |
-
2022
- 2022-09-20 CN CN202211145615.4A patent/CN115556094A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118071256A (zh) * | 2024-04-19 | 2024-05-24 | 宁波钢铁有限公司 | 一种原料管理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11905116B2 (en) | Controller and control method for robot system | |
CN111776759B (zh) | 具有自动化包裹登记机构的机器人***及其操作方法 | |
JP6793428B1 (ja) | 物体を把持および保持するためのロボットマルチグリッパアセンブリおよび方法 | |
Schwarz et al. | Fast object learning and dual-arm coordination for cluttered stowing, picking, and packing | |
US11406061B2 (en) | Automated walnut picking and collecting method based on multi-sensor fusion technology | |
US9205558B1 (en) | Multiple suction cup control | |
US20210260762A1 (en) | Controller and control method for robotic system | |
JP2023155399A (ja) | ピースロス管理メカニズムを有するロボットシステム | |
CN110329710A (zh) | 具有机器人臂吸附控制机制的机器人***及其操作方法 | |
JP2021045811A (ja) | ハンドリング装置、ハンドリング方法及びプログラム | |
CN114933176A (zh) | 一种采用人工智能的3d视觉码垛*** | |
Asadi et al. | Automated object manipulation using vision-based mobile robotic system for construction applications | |
CN115556094A (zh) | 基于三轴机械手的取料方法、装置及计算机可读存储介质 | |
US20230286140A1 (en) | Systems and methods for robotic system with object handling | |
JP2023154055A (ja) | ロボット多面グリッパアセンブリ及びその操作方法 | |
Breyer et al. | Closed-loop next-best-view planning for target-driven grasping | |
Han et al. | Object-agnostic suction grasp affordance detection in dense cluster using self-supervised learning. docx | |
Kumar et al. | Design and development of an automated robotic pick & stow system for an e-commerce warehouse | |
CN114800512A (zh) | 一种基于深度强化学习的机器人推拨装箱方法及*** | |
US20230182315A1 (en) | Systems and methods for object detection and pick order determination | |
LU502977B1 (en) | Automated walnut picking and collecting method based on multi-sensor fusion technology | |
US20230182293A1 (en) | Systems and methods for grasp planning for a robotic manipulator | |
Xiang et al. | Classification-design-optimization integrated picking robots: a review | |
US20240228192A9 (en) | Robotic systems with dynamic motion planning for transferring unregistered objects | |
Leitner et al. | Designing Cartman: a cartesian manipulator for the Amazon Robotics Challenge 2017 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |