CN111687829B - 基于深度视觉的防碰撞控制方法、装置、介质、及终端 - Google Patents

基于深度视觉的防碰撞控制方法、装置、介质、及终端 Download PDF

Info

Publication number
CN111687829B
CN111687829B CN201910193711.8A CN201910193711A CN111687829B CN 111687829 B CN111687829 B CN 111687829B CN 201910193711 A CN201910193711 A CN 201910193711A CN 111687829 B CN111687829 B CN 111687829B
Authority
CN
China
Prior art keywords
target object
operable
collision
collision safety
safety area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910193711.8A
Other languages
English (en)
Other versions
CN111687829A (zh
Inventor
吴俊伟
何雪萦
梁志远
蔡伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Chuangshi Intelligent Technology Co ltd
Original Assignee
Suzhou Chuangshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Chuangshi Intelligent Technology Co ltd filed Critical Suzhou Chuangshi Intelligent Technology Co ltd
Priority to CN201910193711.8A priority Critical patent/CN111687829B/zh
Publication of CN111687829A publication Critical patent/CN111687829A/zh
Application granted granted Critical
Publication of CN111687829B publication Critical patent/CN111687829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本申请提供基于深度视觉的防碰撞控制方法、装置、介质、及终端,所述方法包括:获取目标对象和可操作式移动装置的操作部的三维数据;根据所述三维数据,确定目标对象的第一防碰撞安全区域以及可操作式移动装置的操作部的第二防碰撞安全区域;在第一防碰撞安全区域和第二防碰撞安全区域的重叠域内,建立围绕所述目标对象的分界线,以供可操作式移动装置朝着靠近目标对象的方向移动至该分界线时将其操作部调整至正对所述目标对象的姿态。本申请确定目标对象和机械臂的安全区域,控制机械臂的行进速度,创建供机械臂调整其机械手抓姿态的分界线,使机械臂能以其手抓的手心正对目标对象的姿态朝目标对象移动,从而有效解决了与目标物体相碰撞的问题。

Description

基于深度视觉的防碰撞控制方法、装置、介质、及终端
技术领域
本申请涉及基于视觉***的控制领域,特别是涉及基于深度视觉的防碰撞控制方法、装置、介质、及终端。
背景技术
机械手是一种能模仿人手和臂的某些动作功能,用以按固定程序抓取、搬运物件或操作工具的自动操作装置。特点是可以通过编程来完成各种预期的作业,构造和性能上兼有人和机械手机器各自的优点。
但在现有技术中,机械手在执行抓取、搬运物件或操作工具等任务的过程中,经常发生与目标物体相碰撞的问题。
申请内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供基于深度视觉的防碰撞控制方法、装置、介质、及终端,用于解决现有的机械手在执行抓取、搬运物件或操作工具等任务的过程中,经常发生与目标物体相碰撞的问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种基于深度视觉的防碰撞控制方法,其包括:获取目标对象和可操作式移动装置的操作部的三维数据;根据所述三维数据,确定目标对象的第一防碰撞安全区域以及可操作式移动装置的操作部的第二防碰撞安全区域;在第一防碰撞安全区域和第二防碰撞安全区域的重叠域内,建立围绕所述目标对象的分界线,以供可操作式移动装置朝着靠近目标对象的方向移动至该分界线时将其操作部调整至正对所述目标对象的姿态;其中,所述重叠域包括可操作式移动装置靠近但不触碰目标对象的区域。
于本申请第一方面的一些实施方式中,所述方法包括:当所述可操作式移动装置朝着靠近目标对象的方向移动至所述第一防碰撞安全区域和第二防碰撞安全区域相切的位置域时,降低所述可操作式移动装置的移动速率和/或提高深度视觉采样频率。
于本申请第一方面的一些实施方式中,所述第一防碰撞安全区域的确定方式包括:以所述目标对象的几何中心为中心确定第一防碰撞安全区域。
于本申请第一方面的一些实施方式中,所述可操作式移动装置的类型包括移动式机械臂;所述移动式机械臂包括用于抓取目标对象的机械手抓。
于本申请第一方面的一些实施方式中,所述第二防碰撞安全区域的确定方式包括:以所述机械手抓的手心为中心确定第二防碰撞安全区域。
于本申请第一方面的一些实施方式中,所述移动式机械臂朝着靠近目标对象的方向移动至所述分界线时,将其机械手抓调整至手心正对所述目标对象的姿态。
为实现上述目的及其他相关目的,本申请的第二方面提供一种可操作式移动装置,其包括:深度视觉模块,用于获取目标对象和可操作式移动装置的操作部的三维数据;控制模块,用于基于目标对象和可操作式移动装置的三维数据确定目标对象的第一防碰撞安全区域和可操作式移动装置的操作部的第二防碰撞安全区域,还用于在第一防碰撞安全区域和第二防碰撞安全区域的重叠域内建立围绕所述目标对象的分界线,以供可操作式移动装置朝着靠近目标对象的方向移动至该分界线时将其操作部调整至正对所述目标对象的姿态;其中,所述重叠域包括可操作式移动装置靠近但不触碰目标对象的区域。
于本申请第二方面的一些实施方式中,所述深度视觉模块包括深度相机;所述深度相机基于点特征进行物体检测,以获取目标对象和可操作式移动装置的操作部的三维数据。
为实现上述目的及其他相关目的,本申请的第三方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述基于深度视觉的防碰撞控制方法。
为实现上述目的及其他相关目的,本申请提供一种电子终端,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行所述基于深度视觉的防碰撞控制方法。
如上所述,本申请的基于深度视觉的防碰撞控制方法、装置、介质、及终端,具有以下有益效果:本申请确定目标对象和机械臂的安全区域,并控制机械臂的行进速度,创建供机械臂调整其机械手抓姿态的分界线,使得机械臂能够以其手抓的手心正对目标对象的姿态朝着目标对象移动,从而有效解决了与目标物体相碰撞的问题。
附图说明
图1a显示为本申请一实施例中可操作式移动装置的应用场景的示意图。
图1b显示为本申请一实施例中可操作式移动装置的应用场景的示意图。
图1c显示为本申请一实施例中可操作式移动装置的应用场景的示意图。
图2显示为本申请一实施例中基于深度视觉的防碰撞控制方法的流程示意图。
图3显示为本申请一实施例中基于深度视觉的防碰撞控制方法的流程示意图。
图4显示为本申请一实施例中可操作式移动装置的模块示意图。
图5显示为本申请一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
机械手是一种能模仿人手和臂的某些动作功能,用以按固定程序抓取、搬运物件或操作工具的自动操作装置。特点是可以通过编程来完成各种预期的作业,构造和性能上兼有人和机械手机器各自的优点。但是,现有的机械手在执行抓取、搬运物件或操作工具等任务的过程中,经常发生与目标物体相碰撞的问题。
鉴于上述存在于现有技术中的种种问题,本申请的主要思想旨在提供基于深度视觉的防碰撞控制方法、装置、介质、及终端,用于确定目标对象和机械臂的安全区域,并控制机械臂的行进速度,创建供机械臂调整其机械手抓姿态的分界线,使得机械臂能够以其手抓的手心正对目标对象的姿态朝着目标对象移动,从而有效解决了与目标物体相碰撞的问题。
为便于本领域技术人员理解,现结合图1a~1c对本申请的技术方案做详细说明。如图1a所示,展示的是本申请在一实施例中的应用场景,于该场景中,目标对象11是置于桌子上的饮料瓶,可操作式移动装置12包括机械臂13以及机械手抓14。机械手抓14装于机械臂13的端部,可调整其姿态以更适于抓取目标对象11。可移动式移动装置12的内部还装有未图示的深度相机,用于获取拍摄对象的带有深度信息的三维数据。
于本申请的一些实施方式中,如图1b所示,以目标对象11的几何中心为中心建立第一防碰撞安全区域15,并以机械手抓14的手心为中心建立第二防碰撞安全区域16。结合图1a和图1b可知,当第一防碰撞安全区域15和第二防碰撞安全区域16未重叠时,可操作式移动装置12可朝着靠近目标对象11的方向快速移动。而当第一防碰撞安全区域15和第二防碰撞安全区域16相切时,可操作式移动装置12降低其移动速率和/或提升深度相机的采样频率。
于本申请的一些实施方式中,如图1c所示,建立围绕目标对象11的分界线17。结合图1a~1c可知,当可操作式移动装置12继续朝着靠近目标对象11的方向移动并抵达围绕所述分界线17时,将机械手抓14调整至手心正对目标对象11的姿态,并朝着目标对象11缓慢行进,以能够顺利抓取且不碰撞目标对象11。
上文,就本申请在一实施例中的应用场景做了详细的说明。下文,将结合基于深度视觉的防碰撞控制方法对本申请的技术方案做进一步的解释。
如图2所示,展示本申请一实施例中基于深度视觉的防碰撞控制方法的流程示意图。
在一些实施方式中,所述防碰撞控制方法可应用于控制器,例如:ARM控制器、FPGA控制器、SoC控制器、DSP控制器、或者MCU控制器等等。在一些实施方式中,所述防碰撞控制方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子***、显示屏、其他输出或控制设备,以及外部端口等组件的计算机;所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant,简称PDA)等个人电脑。在另一些实施方式中,所述防碰撞控制方法还可应用于服务器,所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上,也可以由分布的或集中的服务器集群构成。
于本实施例中,所述基于深度视觉的防碰撞控制方法包括步骤S21、步骤S22、以及步骤S23。
在步骤S21中,获取目标对象和可操作式移动装置的操作部的三维数据。
于本申请的一些实施方式中,利用深度相机获取目标对象和可操作式移动装置的操作部的三维数据。深度相机除了能够获取拍摄对象的平面图像以外,还可以获得拍摄对象的深度信息,即三维的位置和尺寸信息,从而获得目标对象及可操作式移动装置的周围环境的三维数据。
可选的,深度相机基于点特征进行物体检测,以获取目标对象和可操作式移动装置的操作部的三维数据。基于点特征是指利用点特征进行图像配准与匹配,目标描述与识别,光束计算,运动目标跟踪和识别,以及立体像的3D建模等操作。
基于点特征进行物体检测,通常在图像中可检测到成百上千的点特征,且由于点特征属于局部特征,因此基于点特征进行物体检测的方式具有较好的鲁棒性。此外,基于点特征进行物体检测的方式还具有较好的辨识性,容易区分不同物体上的点。
在步骤S22中,根据所述三维数据,确定目标对象的第一防碰撞安全区域以及可操作式移动装置的操作部的第二防碰撞安全区域。
于本申请的一些实施方式中,以所述目标对象的几何中心为中心确定第一防碰撞安全区域。需要说明的是,第一防碰撞安全区域可以是外形与目标对象的几何外形相似的区域,也可以是圆形区域,三角形区域,方形区域、或者不规则形状区域等等,本申请对此不作限定。
于本申请的一些实施方式中,以机械手抓的手心为中心确定第二防碰撞安全区域。需要说明的是,第二防碰撞安全区域可以是外形与机械手抓的几何外形相似的区域,也可以是圆形区域,三角形区域,方形区域、或者不规则形状区域等等,本申请对此不作限定。
在步骤S23中,在第一防碰撞安全区域和第二防碰撞安全区域的重叠域内,建立围绕所述目标对象的分界线,以供可操作式移动装置朝着靠近目标对象的方向移动至该分界线时将其操作部调整至正对所述目标对象的姿态。本申请中所述的重叠域,包括第一防碰撞安全区域和第二防碰撞安全区域相交的情况,也包括第一防碰撞安全区域和第二防碰撞安全区域相切的情况。
需要说明的是,可操作式移动装置朝着靠近目标对象的方向移动至该分界线时靠近但不触碰目标对象,从而使可操作式移动装置在触碰到目标对象前,及时调整其机械手抓的姿态为正对目标对象,确保机械手抓以正确的姿态触碰目标对象,从而顺利执行抓取、按压、或者搬运等操作任务。
如图3所示,展示本申请另一实施例中的基于深度视觉的防碰撞控制方法的流程示意图。于本实施例中,所述防碰撞控制方法包括步骤S31、步骤S32、步骤S33、以及步骤S34。
在步骤S31中,获取目标对象和可操作式移动装置的操作部的三维数据。
在步骤S32中,根据所述三维数据,确定目标对象的第一防碰撞安全区域以及可操作式移动装置的操作部的第二防碰撞安全区域。
本实施例中的步骤S31和步骤S32与上一实施例中的步骤S21和步骤S22的实施方式类似,故不再赘述。
在步骤S33中,当所述可操作式移动装置朝着靠近目标对象的方向移动至所述第一防碰撞安全区域和第二防碰撞安全区域相切的位置域时,降低所述可操作式移动装置的移动速率和/或提高深度视觉采样频率。
在第一防碰撞安全区域和第二防碰撞安全区域相离的情况下,可操作式移动装置通常以较高的速率移动,从而提高可操作式移动装置执行任务的效率。但是,随着可操作式移动装置越来越靠近目标对象,与目标对象相碰撞的概率也越来越高。
因此,本实施例设定一供调节移动速率和/或深度相机的采样频率的区域。也即,当可操作式移动装置朝着靠近目标对象的方向移动至所述第一防碰撞安全区域和第二防碰撞安全区域相切的位置域时,可操作式移动装置降低其移动速率而使机械臂以较低的速率移向目标对象,或者可操作式移动装置提高深度相机的采样频率而提高图像识别的效率,再或者可操作式移动装置既降低其移动速率又提高深度相机的采样频率,本申请对此不作限定。
在步骤S34中,在第一防碰撞安全区域和第二防碰撞安全区域的重叠域内,建立围绕所述目标对象的分界线,以供可操作式移动装置朝着靠近目标对象的方向移动至该分界线时将其操作部调整至正对所述目标对象的姿态;其中,所述重叠域包括可操作式移动装置靠近但不触碰目标对象的区域。
需要说明的是,本申请中所述的重叠域,包括第一防碰撞安全区域和第二防碰撞安全区域相交的情况,也包括第一防碰撞安全区域和第二防碰撞安全区域相切的情况。
在所述分界线位于第一防碰撞安全区域和第二防碰撞安全区域的相交域的情况下,可操作式移动装置在朝着靠近目标对象的方向移动至两个安全区域相切的位置域时,降低移动速率和/或提高深度相机的采样频率,并在继续朝着靠近目标对象的方向移动至分界线时,调整机械手抓的姿态以使手心正对目标对象。
在所述分界线位于第一防碰撞安全区域和第二防碰撞安全区域的相切域的情况下,可操作式移动装置在朝着靠近目标对象的方向移动至两个安全区域相切的位置域时,降低移动速率和/或提高深度相机的采样频率,并且调整机械手抓的姿态以使手心正对目标对象。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图4所示,展示本申请一实施例中可操作式移动装置的模块示意图。所述可操作式移动装置包括:深度视觉模块41和控制模块42。
深度视觉模块41用于获取目标对象和可操作式移动装置的操作部的三维数据。控制模块42用于根据目标对象和可操作式移动装置的三维数据,确定目标对象的第一防碰撞安全区域和可操作式移动装置的操作部的第二防碰撞安全区域,还用于在第一防碰撞安全区域和第二防碰撞安全区域的重叠域内建立围绕所述目标对象的分界线,以供可操作式移动装置朝着靠近目标对象的方向移动至该分界线时将其操作部调整至正对所述目标对象的姿态;其中,所述重叠域包括可操作式移动装置靠近但不触碰目标对象的区域。
需要说明的是,本实施例提供的可操作式移动装置与上文中提供的基于深度视觉的防碰撞控制方法的实施方式类似,故不再赘述。另外需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,控制模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上控制模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上***(system-on-a-chip,简称SOC)的形式实现。
如图5所示,展示本申请实施例提供的再一种电子终端的结构示意图。本实例提供的电子终端,包括:处理器51、存储器52、收发器53、通信接口54和***总线55;存储器52和通信接口54通过***总线55与处理器51和收发器53连接并完成相互间的通信,存储器52用于存储计算机程序,通信接口54和收发器53用于和其他设备进行通信,处理器51用于运行计算机程序,使电子终端执行如上基于深度视觉的防碰撞控制方法的各个步骤。
上述提到的***总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该***总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述,本申请提供基于深度视觉的防碰撞控制方法、装置、介质、及终端,能够确定目标对象和机械臂的安全区域,并控制机械臂的行进速度,创建供机械臂调整其机械手抓姿态的分界线,使得机械臂能够以其手抓的手心正对目标对象的姿态朝着目标对象移动,从而有效解决了与目标物体相碰撞的问题。所以,本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (9)

1.一种基于深度视觉的防碰撞控制方法,其特征在于,包括:
获取目标对象和可操作式移动装置的操作部的三维数据;
根据所述三维数据,确定目标对象的第一防碰撞安全区域以及可操作式移动装置的操作部的第二防碰撞安全区域;
在第一防碰撞安全区域和第二防碰撞安全区域的重叠域内,建立围绕所述目标对象的分界线,以供可操作式移动装置朝着靠近目标对象的方向移动至该分界线时将其操作部调整至正对所述目标对象的姿态;其中,所述重叠域包括可操作式移动装置靠近但不触碰目标对象的区域;
当所述可操作式移动装置朝着靠近目标对象的方向移动至所述第一防碰撞安全区域和第二防碰撞安全区域相切的位置域时,降低所述可操作式移动装置的移动速率和/或提高深度视觉采样频率,以能够顺利抓取且不碰撞所述目标对象。
2.根据权利要求1所述的基于深度视觉的防碰撞控制方法,其特征在于,所述第一防碰撞安全区域的确定方式包括:以所述目标对象的几何中心为中心确定第一防碰撞安全区域。
3.根据权利要求1所述的基于深度视觉的防碰撞控制方法,其特征在于,所述可操作式移动装置的类型包括移动式机械臂;所述移动式机械臂包括用于抓取目标对象的机械手抓。
4.根据权利要求3所述的基于深度视觉的防碰撞控制方法,其特征在于,所述第二防碰撞安全区域的确定方式包括:以所述机械手抓的手心为中心确定第二防碰撞安全区域。
5.根据权利要求3所述的基于深度视觉的防碰撞控制方法,其特征在于,所述移动式机械臂朝着靠近目标对象的方向移动至所述分界线时,将其机械手抓调整至手心正对所述目标对象的姿态。
6.一种可操作式移动装置,其特征在于,包括:
深度视觉模块,用于获取目标对象和可操作式移动装置的操作部的三维数据;
控制模块,用于根据目标对象和可操作式移动装置的三维数据,确定目标对象的第一防碰撞安全区域和可操作式移动装置的操作部的第二防碰撞安全区域,还用于在第一防碰撞安全区域和第二防碰撞安全区域的重叠域内建立围绕所述目标对象的分界线,以供可操作式移动装置朝着靠近目标对象的方向移动至该分界线时将其操作部调整至正对所述目标对象的姿态;其中,所述重叠域包括可操作式移动装置靠近但不触碰目标对象的区域;当所述可操作式移动装置朝着靠近目标对象的方向移动至所述第一防碰撞安全区域和第二防碰撞安全区域相切的位置域时,降低所述可操作式移动装置的移动速率和/或提高深度视觉采样频率,以能够顺利抓取且不碰撞所述目标对象。
7.根据权利要求6所述的可操作式移动装置,其特征在于,所述深度视觉模块包括深度相机;所述深度相机基于点特征进行物体检测,以获取目标对象和可操作式移动装置的操作部的三维数据。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于深度视觉的防碰撞控制方法。
9.一种电子终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行如权利要求1至5中任一项所述的基于深度视觉的防碰撞控制方法。
CN201910193711.8A 2019-03-14 2019-03-14 基于深度视觉的防碰撞控制方法、装置、介质、及终端 Active CN111687829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910193711.8A CN111687829B (zh) 2019-03-14 2019-03-14 基于深度视觉的防碰撞控制方法、装置、介质、及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910193711.8A CN111687829B (zh) 2019-03-14 2019-03-14 基于深度视觉的防碰撞控制方法、装置、介质、及终端

Publications (2)

Publication Number Publication Date
CN111687829A CN111687829A (zh) 2020-09-22
CN111687829B true CN111687829B (zh) 2023-10-20

Family

ID=72474478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910193711.8A Active CN111687829B (zh) 2019-03-14 2019-03-14 基于深度视觉的防碰撞控制方法、装置、介质、及终端

Country Status (1)

Country Link
CN (1) CN111687829B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117681214B (zh) * 2024-02-04 2024-04-12 泓浒(苏州)半导体科技有限公司 基于晶圆传送的多机械臂碰撞预警方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559711A (zh) * 2013-11-05 2014-02-05 余洪山 基于三维视觉***图像特征和三维信息的运动估计方法
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的***和方法
CN107803831A (zh) * 2017-09-27 2018-03-16 杭州新松机器人自动化有限公司 一种aoaae层次包围盒碰撞检测方法
CN107932560A (zh) * 2017-11-14 2018-04-20 上海交通大学 一种人机安全防护***和防护方法
CN108247637A (zh) * 2018-01-24 2018-07-06 中南大学 一种工业机器人手臂视觉防撞操控方法
CN108858251A (zh) * 2018-08-30 2018-11-23 东北大学 一种高速运动机械手的防碰撞***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI615691B (zh) * 2016-11-24 2018-02-21 財團法人資訊工業策進會 防碰撞系統及防碰撞方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104870147A (zh) * 2012-08-31 2015-08-26 睿信科机器人有限公司 机器人安全工作的***和方法
CN103559711A (zh) * 2013-11-05 2014-02-05 余洪山 基于三维视觉***图像特征和三维信息的运动估计方法
CN107803831A (zh) * 2017-09-27 2018-03-16 杭州新松机器人自动化有限公司 一种aoaae层次包围盒碰撞检测方法
CN107932560A (zh) * 2017-11-14 2018-04-20 上海交通大学 一种人机安全防护***和防护方法
CN108247637A (zh) * 2018-01-24 2018-07-06 中南大学 一种工业机器人手臂视觉防撞操控方法
CN108858251A (zh) * 2018-08-30 2018-11-23 东北大学 一种高速运动机械手的防碰撞***

Also Published As

Publication number Publication date
CN111687829A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN108044627B (zh) 抓取位置的检测方法、装置及机械臂
Sayour et al. Autonomous robotic manipulation: real‐time, deep‐learning approach for grasping of unknown objects
CN107138432B (zh) 非刚性物体分拣方法和装置
CN110599544B (zh) 一种基于机器视觉的工件定位方法及装置
US11833692B2 (en) Method and device for controlling arm of robot
CN112828892B (zh) 一种工件抓取方法、装置、计算机设备及存储介质
CN111428731A (zh) 基于机器视觉的多类目标识别定位方法、装置和设备
CN112464410B (zh) 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN113538459B (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
CN115781673A (zh) 一种零件抓取方法、装置、设备及介质
CN112775967A (zh) 基于机器视觉的机械臂抓取方法、装置及设备
Prezas et al. AI-enhanced vision system for dispensing process monitoring and quality control in manufacturing of large parts
CN111687829B (zh) 基于深度视觉的防碰撞控制方法、装置、介质、及终端
CN114310892B (zh) 基于点云数据碰撞检测的物体抓取方法、装置和设备
Teke et al. Real-time and robust collaborative robot motion control with Microsoft Kinect® v2
CN109848968B (zh) 一种抓件装置的移动控制方法、装置、设备及***
CN111702761B (zh) 码垛机器人的控制方法、控制装置、处理器和分拣***
Kim et al. Improvement of Door Recognition Algorithm using Lidar and RGB-D camera for Mobile Manipulator
Bhuyan et al. Structure‐aware multiple salient region detection and localization for autonomous robotic manipulation
CN113420752A (zh) 基于抓取点检测的三指手势生成方法及***
TWI770726B (zh) 搬運機控制方法、系統及非揮發性電腦可讀記錄媒體
Kang et al. Multiple concurrent operations and flexible robotic picking for manufacturing process environments
CN117226854B (zh) 一种夹取任务的执行方法、装置、存储介质及电子设备
CN117798933B (zh) 一种基于智能机器人的机器末端的动态跟随方法及装置
Rautiainen Design and Implementation of a Multimodal System for Human-Robot Interactions in Bin-Picking Operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant