CN112008727A - 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人 - Google Patents

基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人 Download PDF

Info

Publication number
CN112008727A
CN112008727A CN202010901742.7A CN202010901742A CN112008727A CN 112008727 A CN112008727 A CN 112008727A CN 202010901742 A CN202010901742 A CN 202010901742A CN 112008727 A CN112008727 A CN 112008727A
Authority
CN
China
Prior art keywords
target key
key
target
elevator
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010901742.7A
Other languages
English (en)
Inventor
支涛
饶向荣
应甫臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN202010901742.7A priority Critical patent/CN112008727A/zh
Publication of CN112008727A publication Critical patent/CN112008727A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Elevator Control (AREA)
  • Manipulator (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)

Abstract

本申请公开了一种基于仿生视觉的乘梯机器人按键控制方法、装置及乘梯机器人,本申请的方法包括接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。本申请是为了解决现有的控制电梯按钮方案流程复杂,影响机器人执行任务的效率问题。

Description

基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人
技术领域
本申请涉及可移动机器人应用技术领域,具体而言,涉及一种基于仿生视觉的乘梯机器人按键控制方法、装置及乘梯机器人。
背景技术
随着数字化和智能化技术在各个领域的深入发展,服务机器人市场保持快速的需求增长模式,应用于运输、修理、安防、救援、监护、交互等广泛的应用领域。在不同的应用领域都有可能存在需要机器人独自乘梯的需求。比如,对于运输机器人,在其给写字楼中的职员配送餐饮的过程中,会涉及独自乘坐电梯。再比如,对于救援机器人,在其在多层的建筑中执行救援任务时,会涉及独自乘坐电梯。独自乘坐电梯,需要机器人可以控制电梯按钮,实现到达目的楼层的功能。
发明人发现现有的机器人可以控制电梯按钮的方案,大都需要改装电梯,安装电梯模块,机器人通过和电梯模块无线通信,控制电梯。如果无法改装电梯,就无法实现,非常不便。针对上述现有的控制电梯按钮方案存在的问题,也出现了一些解决方案,主要是为机器人增加机械臂,摄像头装置,实现的原理为,机器人进入电梯后进行盲扫,扫描到电梯控制面板后,在控制面板上进行S形扫描,扫描到目标按钮后,重新进行多次的识别检测确认目标按钮在摄像头的视野中心后,控制机械臂执行按键的操作。发明人发现,上述方式虽然不需要对电梯进行改装,但是流程比较复杂,影响机器人执行任务的效率。
发明内容
本申请的主要目的在于提供一种基于仿生视觉的乘梯机器人按键控制方法、装置及乘梯机器人,解决现有的控制电梯按钮方案流程复杂,影响机器人执行任务的效率问题。
为了实现上述目的,根据本申请的第一方面,提供了一种基于仿生视觉的乘梯机器人按键控制方法。所述方法包括:
接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;
根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;
根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。
可选的,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息包括:
根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息。
可选的,根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息包括:
通过RGB摄像头获取包含电梯控制面板的RGB图像;
根据目标检测模型从包含电梯控制面板的RGB图像中定位出机器人视线范围内所有按键的边界框,并根据所有按键的边界框确定所有按键的中心点;
根据预设标志识别模型识别出所有按键的边界框中对应的标志信息;
将标示信息为目标按键的标志信息的按键对应的中心点作为所述目标按键的平面位置信息。
可选的,在接收目标按键的点击指示之后,在结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息之前,所述方法还包括:
检测目标按键是否在RGB摄像头当前的视线范围内;
若目标按键不在RGB摄像头当前的视线范围内,则判断当前的视线范围内的按键与目标按键之间的位置关系;
根据所述位置关系控制机械臂进行位置的调整;
若目标按键在RGB摄像头当前的视线范围内,则执行结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息。
可选的,所述方法还包括:
每次调整前,判断调整后的位置是否在机械臂对应的安全范围内;
若不在安全范围内,则停止调整,并返回点击失败。
可选的,所述RGB摄像头与所述深度摄像头为一集成摄像头;所述集成摄像头位于机械臂的末端。
为了实现上述目的,根据本申请的第二方面,提供了一种基于仿生视觉的乘梯机器人按键控制装置。
确定单元,用于接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;
获取单元,用于根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;
控制单元,用于根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。
可选的,确定单元还用于:
根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息。
可选的,确定单元包括:
获取模块,用于通过RGB摄像头获取包含电梯控制面板的RGB图像;
定位模块,用于根据目标检测模型从包含电梯控制面板的RGB图像中定位出机器人视线范围内所有按键的边界框,并根据所有按键的边界框确定所有按键的中心点围;
识别模块,用于根据预设标志识别模型识别出所有按键的边界框中对应的标志信息;
确定模块,用于将标示信息为目标按键的标志信息的按键对应的中心点作为所述目标按键的平面位置信息。
可选的,所述装置还包括:
检测单元,用于在接收目标按键的点击指示之后,在结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息之前,检测目标按键是否在RGB摄像头当前的视线范围内;
判断单元,用于若目标按键不在RGB摄像头当前的视线范围内,则判断当前的视线范围内的按键与目标按键之间的位置关系;
调整单元,用于根据所述位置关系控制机械臂进行位置的调整;
执行单元,用于若目标按键在RGB摄像头当前的视线范围内,则执行结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息。
可选的,所述调整单元还包括:
判断模块,用于每次调整前,判断调整后的位置是否在机械臂对应的安全范围内;
返回模块,用于若不在安全范围内,则停止调整,并返回点击失败。
可选的,所述RGB摄像头与所述深度摄像头为一集成摄像头;所述集成摄像头位于机械臂的末端。
为了实现上述目的,根据本申请的第三方面,提供了一种基于仿生视觉的乘梯机器人,其特征在于,包括RGB摄像头、深度摄像头、机械臂、处理器:
所述RGB摄像头,用于采集包含电梯控制面板的RGB图像;
深度摄像头,用于采集目标按键与深度摄像头的之间的距离信息;
机械臂,用于执行处理器生成的移动和点击的指令;
处理器,用于执行前述第一方面中任一项所述的基于仿生视觉的乘梯机器人按键控制方法。
为了实现上述目的,根据本申请的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行上述第一方面中任一项所述的基于仿生视觉的乘梯机器人按键控制方法
在本申请实施例中,基于仿生视觉的乘梯机器人按键控制方法、装置及乘梯机器人中,接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。可以看出,本申请中在实现乘梯机器人按键控制时,当接收到按键点击指示之后,先根据仿生视觉识别确定所有按键的平面位置信息和标志信息,然后再结合深度摄像头来确定目标按键的空间坐标,最终根据空间坐标控制机械移动并点击目标按键。与现有的按键控制方法相比,不需要进行S型扫描,定位更快,另外,扫描到目标按键后,不需要多次的识别检测的过程,简化了流程。综上,本申请的按键控制方式效率更高。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的一种基于仿生视觉的乘梯机器人按键控制方法流程图;
图2是根据本申请实施例提供的一种基于仿生视觉的乘梯机器人按键控制装置的组成框图;
图3是根据本申请实施例提供的另一种基于仿生视觉的乘梯机器人按键控制装置的组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请实施例,还提供了一种基于仿生视觉的乘梯机器人按键控制方法,如图1所示,该方法包括:
S101.接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息。
目标按键的点击指示可以是机器人管理平台发送的,也可以是机器人接收到机器人管理平台发送的任务后,从任务对应的信息中提取目标按键信息。比比如任务中包括将货物或餐饮送到某一楼层。另外,对于电梯开关按钮的点击指示,可以由机器人自己根据当前的环境或位置生成。比如当需要乘梯时,位于电梯外时,会生成点击上楼或者下楼对应的按键的点击指示。
接收到点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息。具体基于仿生视觉识别确定的包括如下步骤:
1)通过RGB摄像头获取包含电梯控制面板的RGB图像;
本实施例中使用RGB摄像头相比于普通的摄像头可以提高图像的质量,为后续的定位和识别提供更好的数据支持。
2)根据目标检测模型从包含电梯控制面板的RGB图像中定位出所有按键的边界框,并根据所有按键的边界框确定所有按键的中心点
在实际的应用中目标检测模型可以为现有的任一种目标检测模型,比如可以为mobilenet-ssd网络、rcnn系列、yolo系列和ssd,前端网络如vgg、AlexNet、SqueezeNet等目标检测算法模型。当通过RGB摄像头获取到RGB图像后,传给机器人内部的处理器进行图像的处理,优选的,本实施例是通过mobilenet-ssd网络对RGB图像进行目标检测,定位出电梯控制面板上所有的按键的边界框。
确定按键的边界框后,确定边界框的中心点,将中心点作为每个按键的平面位置信息。将中心点作为每个按键的平面位置信息,对于点击可以有更好的容错率,即保证点击后一定可以点击成功,不容易出现点击位置不太准确导致点击后没有成功的反馈的情况(点击后,按键没有灯没有亮)。
3)根据预设标志识别模型识别出所有按键的边界框中对应的标志信息。
定位出电梯控制面板上所有的按键的边界框后,再通过预设标志识别模型识别出所有按键的中所示的内容,即按键对应的标志信息。标志信息包括楼层数、上下标识、开关标识等。
4)将标示信息为目标按键的标志信息的按键对应的中心点作为目标按键的平面位置信息。
得到所有按键的标示信息后,可以根据目标按键的标示信息确定目标按键的平面位置信息。需要说明的是,目标按键的平面位置信息为目标按键在RGB图像中像素位置。
S102.根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标。
之前通过仿生视觉确定的时平面位置信息,不是三维的空间位置,因此还需要确定目标按键相对于RGB相机的深度信息。具体的,本实施例是通过深度摄像头确定的,深度摄像头与RGB摄像头集成为一个集成摄像头,即两者位置是一致的。通过深度摄像头可以得到目标按键与深度摄像头的距离,即目标按键的中心点到深度摄像头的距离,即目标按键相对于RGB相机的深度。确定深度信息后结合之前确定平面位置可以得到目标按键在集成相机坐标系下的空间坐标。
S103.根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。
具体的,在得到目标按键的在集成相机坐标系下的空间坐标,还需要根据该空间坐标计算(坐标转换)得到以机械臂为坐标系下的目标按键的坐标,然后根据以机械臂为坐标系下的目标按键的坐标,控制机械臂移动,当机械臂的用于点击的点击端移动到该空间坐标位置后,生成点击指令以控制点击端完成目标按键的点击动作。
从以上的描述中,可以看出,本申请实施例的基于仿生视觉的乘梯机器人按键控制方法中,接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。可以看出,本申请中在实现乘梯机器人按键控制时,当接收到按键点击指示之后,先根据仿生视觉识别确定所有按键的平面位置信息和标志信息,然后再结合深度摄像头来确定目标按键的空间坐标,最终根据空间坐标控制机械移动并点击目标按键。与现有的按键控制方法相比,不需要进行S型扫描,定位更快,另外,扫描到目标按键后,不需要多次的识别检测的过程,简化了流程。综上,本申请的按键控制方式效率更高。
进一步的,若目标按键不在RGB摄像头当前的视线范围内,因此在接收目标按键的点击指示之后,在结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息之前,上述实施例中的基于仿生视觉的乘梯机器人按键控制方法还包括:检测目标按键是否在RGB摄像头当前的视线范围内;若目标按键不在RGB摄像头当前的视线范围内,则判断当前的视线范围内的按键与目标按键之间的位置关系;根据位置关系控制机械臂进行位置的调整;若目标按键在RGB摄像头当前的视线范围内,则执行结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息。
当目标按键不在RGB摄像头当前的视线范围内,则需要及时判断当前的视线范围内的按键与目标按键之间的位置关系,比如在目标按键上方、下方、左方、右方。位置关系可以根据各按钮之间的实际的位置排列确定,然后根据位置关系进行机械臂的对应调整,使目标按键在当前视线范围内。在目标按键的上方,就向下移预设距离;若在目标按键的下方,就向上移预设距离。其中预设距离根据实际情况自由调整,比如可以根据各按键之间的间隔距离等等进行调整和设置。
在实际应用中,机械臂是有移动的安全范围的设置的,因此每次调整前(移动前),先判断调整后的位置是否在机械臂对应的安全范围内;若不在安全范围内,则停止调整,并返回点击失败。若在安全范围内则可以移动。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例,对应于图1中的基于仿生视觉的乘梯机器人按键控制方法提供了一种基于仿生视觉的乘梯机器人按键控制装置,如图2所示,包括:
确定单元201,用于接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;
获取单元202,用于根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;
控制单元203,用于根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。
具体的,本实施例中个模块的实现可以参考方法实施例中的相关实现,不再赘述。
从以上的描述中,可以看出,本实施例中基于仿生视觉的乘梯机器人按键控制装置中,接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。可以看出,本申请中在实现乘梯机器人按键控制时,当接收到按键点击指示之后,先根据仿生视觉识别确定所有按键的平面位置信息和标志信息,然后再结合深度摄像头来确定目标按键的空间坐标,最终根据空间坐标控制机械移动并点击目标按键。与现有的按键控制方法相比,不需要进行S型扫描,定位更快,另外,扫描到目标按键后,不需要多次的识别检测的过程,简化了流程。综上,本申请的按键控制方式效率更高。
进一步的,确定单元201还用于:
根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息。
进一步的,如图3所示,确定单元201包括:
获取模块2011,用于通过RGB摄像头获取包含电梯控制面板的RGB图像;
定位模块2012,用于根据目标检测模型从包含电梯控制面板的RGB图像中定位出机器人视线范围内所有按键的边界框,并根据所有按键的边界框确定所有按键的中心点;
识别模块2013,用于根据预设标志识别模型识别出所有按键的边界框中对应的标志信息;
确定模块2014,用于将标示信息为目标按键的标志信息的按键对应的中心点作为所述目标按键的平面位置信息。
进一步的,如图3所示,所述装置还包括:
检测单元204,用于在接收目标按键的点击指示之后,在结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息之前,检测目标按键是否在RGB摄像头当前的视线范围内;
判断单元205,用于若目标按键不在RGB摄像头当前的视线范围内,则判断当前的视线范围内的按键与目标按键之间的位置关系;
调整单元206,用于根据所述位置关系控制机械臂进行位置的调整;
执行单元207,用于若目标按键在RGB摄像头当前的视线范围内,则执行结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息。
进一步的,如图3所示,所述调整单元206还包括:
判断模块2061,用于每次调整前,判断调整后的位置是否在机械臂对应的安全范围内;
返回模块2062,用于若不在安全范围内,则停止调整,并返回点击失败。
进一步的,所述RGB摄像头与所述深度摄像头为一集成摄像头;所述集成摄像头位于机械臂的末端。
具体的,本实施例中个模块的实现可以参考方法实施例中的相关实现,不再赘述。
根据本申请实施例,还提供了一种基于仿生视觉的乘梯机器人,其特征在于,包括RGB摄像头、深度摄像头、机械臂、处理器:
RGB摄像头,用于采集包含电梯控制面板的RGB图像;
深度摄像头,用于采集目标按键与深度摄像头的之间的距离信息;
机械臂,用于执行处理器生成的移动和点击的指令;
处理器,用于执行前述图1中所述的基于仿生视觉的乘梯机器人按键控制方法。
在本申请实施例中,基于仿生视觉的乘梯机器人,在实现乘梯机器人按键控制时,当接收到按键点击指示之后,先根据仿生视觉识别确定所有按键的平面位置信息和标志信息,然后再结合深度摄像头来确定目标按键的空间坐标,最终根据空间坐标控制机械移动并点击目标按键。与现有的按键控制方法相比,不需要进行S型扫描,定位更快,另外,扫描到目标按键后,不需要多次的识别检测的过程,简化了流程。综上,本申请的按键控制方式效率更高。
根据本申请实施例,还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行图1中所述的基于仿生视觉的乘梯机器人按键控制方法。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于仿生视觉的乘梯机器人按键控制方法,其特征在于,所述方法包括:
接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;
根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;
根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。
2.根据权利要求1所述的基于仿生视觉的乘梯机器人按键控制方法,其特征在于,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息包括:
根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息。
3.根据权利要求2所述的基于仿生视觉的乘梯机器人按键控制方法,其特征在于,根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息包括:
通过RGB摄像头获取包含电梯控制面板的RGB图像;
根据目标检测模型从包含电梯控制面板的RGB图像中定位出机器人视线范围内所有按键的边界框,并根据所有按键的边界框确定所有按键的中心点;
根据预设标志识别模型识别出所有按键的边界框中对应的标志信息;
将标示信息为目标按键的标志信息的按键对应的中心点作为所述目标按键的平面位置信息。
4.根据权利要求1所述的基于仿生视觉的乘梯机器人按键控制方法,其特征在于,在接收目标按键的点击指示之后,在结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息之前,所述方法还包括:
检测目标按键是否在RGB摄像头当前的视线范围内;
若目标按键不在RGB摄像头当前的视线范围内,则判断当前的视线范围内的按键与目标按键之间的位置关系;
根据所述位置关系控制机械臂进行位置的调整;
若目标按键在RGB摄像头当前的视线范围内,则执行结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息。
5.根据权利要求4所述的基于仿生视觉的乘梯机器人按键控制方法,其特征在于,所述方法还包括:
每次调整前,判断调整后的位置是否在机械臂对应的安全范围内;
若不在安全范围内,则停止调整,并返回点击失败。
6.根据权利要求5所述的基于仿生视觉的乘梯机器人按键控制方法,其特征在于,所述RGB摄像头与所述深度摄像头为一集成摄像头;所述集成摄像头位于机械臂的末端。
7.一种基于仿生视觉的乘梯机器人按键控制装置,其特征在于,所述装置包括:
确定单元,用于接收目标按键的点击指示后,结合目标按键的标示信息并基于仿生视觉识别确定目标按键的平面位置信息;
获取单元,用于根据目标按键的平面位置信息并结合深度摄像头获取目标按键对应的空间坐标;
控制单元,用于根据目标按键对应的空间坐标控制机械臂移动,以点击目标按键。
8.根据权利要求7所述的基于仿生视觉的乘梯机器人按键控制装置,其特征在于,确定单元还用于:
根据RGB摄像头、目标检测模型、预设标志识别模型确定目标按键的平面位置信息。
9.一种基于仿生视觉的乘梯机器人,其特征在于,包括RGB摄像头、深度摄像头、机械臂、处理器:
所述RGB摄像头,用于采集包含电梯控制面板的RGB图像;
深度摄像头,用于采集目标按键与深度摄像头的之间的距离信息;
机械臂,用于执行处理器生成的移动和点击的指令;
处理器,用于执行前述权利要求1至6中任一项所述的基于仿生视觉的乘梯机器人按键控制方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-6任一项所述的基于仿生视觉的乘梯机器人按键控制方法。
CN202010901742.7A 2020-08-31 2020-08-31 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人 Pending CN112008727A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010901742.7A CN112008727A (zh) 2020-08-31 2020-08-31 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010901742.7A CN112008727A (zh) 2020-08-31 2020-08-31 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人

Publications (1)

Publication Number Publication Date
CN112008727A true CN112008727A (zh) 2020-12-01

Family

ID=73515555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010901742.7A Pending CN112008727A (zh) 2020-08-31 2020-08-31 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人

Country Status (1)

Country Link
CN (1) CN112008727A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529953A (zh) * 2020-12-17 2021-03-19 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN114348811A (zh) * 2021-12-06 2022-04-15 深圳市普渡科技有限公司 机器人、机器人乘梯方法、装置及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1481772A2 (en) * 2003-05-29 2004-12-01 Fanuc Ltd Robot system for controlling the movements of a robot utilizing a visual sensor
CN102701033A (zh) * 2012-05-08 2012-10-03 华南理工大学 一种基于图像识别技术的电梯按键及方法
CN105867390A (zh) * 2016-06-16 2016-08-17 中南大学 运输机器人自主式进入电梯的控制方法
CN106625697A (zh) * 2016-11-15 2017-05-10 同济大学 一种基于机器视觉技术的智能桌面式机械臂***
CN107639638A (zh) * 2017-09-27 2018-01-30 广东工业大学 一种基于机器视觉的按键机械臂
CN108177150A (zh) * 2016-12-08 2018-06-19 广州映博智能科技有限公司 基于视觉的电梯门板定位与抓取装置及方法
CN109760058A (zh) * 2019-02-25 2019-05-17 文浩 一种乘梯机器人及其乘梯机器人按键控制方法
CN109760070A (zh) * 2019-03-15 2019-05-17 深圳市锐曼智能装备有限公司 机器人电梯按键定位控制方法及***
CN110696004A (zh) * 2019-09-18 2020-01-17 五邑大学 一种智能导航机器人及其控制方法
US20200086493A1 (en) * 2018-09-18 2020-03-19 Kinova Inc. Vision guided robot arm and method for operating the same
CN111360851A (zh) * 2020-02-19 2020-07-03 哈尔滨工业大学 一种融合触觉和视觉的机器人混合伺服控制装置及方法
CN111531531A (zh) * 2020-03-27 2020-08-14 向仲宇 一种机器人按键控制方法及***
CN111598172A (zh) * 2020-05-18 2020-08-28 东北大学 基于异构深度网络融合的动态目标抓取姿态快速检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1481772A2 (en) * 2003-05-29 2004-12-01 Fanuc Ltd Robot system for controlling the movements of a robot utilizing a visual sensor
CN102701033A (zh) * 2012-05-08 2012-10-03 华南理工大学 一种基于图像识别技术的电梯按键及方法
CN105867390A (zh) * 2016-06-16 2016-08-17 中南大学 运输机器人自主式进入电梯的控制方法
CN106625697A (zh) * 2016-11-15 2017-05-10 同济大学 一种基于机器视觉技术的智能桌面式机械臂***
CN108177150A (zh) * 2016-12-08 2018-06-19 广州映博智能科技有限公司 基于视觉的电梯门板定位与抓取装置及方法
CN107639638A (zh) * 2017-09-27 2018-01-30 广东工业大学 一种基于机器视觉的按键机械臂
US20200086493A1 (en) * 2018-09-18 2020-03-19 Kinova Inc. Vision guided robot arm and method for operating the same
CN109760058A (zh) * 2019-02-25 2019-05-17 文浩 一种乘梯机器人及其乘梯机器人按键控制方法
CN109760070A (zh) * 2019-03-15 2019-05-17 深圳市锐曼智能装备有限公司 机器人电梯按键定位控制方法及***
CN110696004A (zh) * 2019-09-18 2020-01-17 五邑大学 一种智能导航机器人及其控制方法
CN111360851A (zh) * 2020-02-19 2020-07-03 哈尔滨工业大学 一种融合触觉和视觉的机器人混合伺服控制装置及方法
CN111531531A (zh) * 2020-03-27 2020-08-14 向仲宇 一种机器人按键控制方法及***
CN111598172A (zh) * 2020-05-18 2020-08-28 东北大学 基于异构深度网络融合的动态目标抓取姿态快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李瀚辉: "基于视觉引导的机器人乘坐电梯算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529953A (zh) * 2020-12-17 2021-03-19 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN112529953B (zh) * 2020-12-17 2022-05-03 深圳市普渡科技有限公司 电梯的空间状态判断方法、装置及存储介质
CN114348811A (zh) * 2021-12-06 2022-04-15 深圳市普渡科技有限公司 机器人、机器人乘梯方法、装置及存储介质
CN114348811B (zh) * 2021-12-06 2024-04-09 深圳市普渡科技有限公司 机器人、机器人乘梯方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN111496770B (zh) 基于3d视觉与深度学习的智能搬运机械臂***及使用方法
CN110861094B (zh) 机器人控制方法、机器人和可读存储介质
EP3686703B1 (en) Control method, apparatus and system for robot, and applicable robot
CN112537702B (zh) 机器人乘梯引导方法、装置、终端设备及可读存储介质
CN109108973B (zh) 单向式路径调度方法及***
US20170323253A1 (en) Distributed Autonomous Robot Systems and Methods
Chae et al. The IoT based automate landing system of a drone for the round-the-clock surveillance solution
CN106347919A (zh) 一种自动仓储***
CN112008727A (zh) 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人
CN107272710A (zh) 一种基于视觉定位的医用物流机器人***及其控制方法
CN110956327B (zh) 一种多机器人自动停靠方法、介质、终端和装置
CN113420682B (zh) 车路协同中目标检测方法、装置和路侧设备
CN109052077A (zh) 基于物联网的机器人呼梯方法及装置
CN106256512A (zh) 包括机器视觉的机器人装置
CN114089735A (zh) 可移动机器人调整货架位姿的方法和装置
CN113946728A (zh) 智能建筑整合管理***
CN115609587A (zh) 一种目标跟随的方法、装置、设备及存储介质
CN107538485B (zh) 一种机器人导引方法及***
CN115248039A (zh) 多机器人-多人协作控制方法、装置及***
CN112123328B (zh) 人机协作控制方法和***
Aguirre et al. Using a deep learning model on images to obtain a 2d laser people detector for a mobile robot
CN110989607A (zh) 基于序号的机器人路径规划及行走控制方法及***
JP7248203B2 (ja) エレベーター装置及び落下物検出装置
US20220291696A1 (en) Transport system, control apparatus, transport method, and program
US10755100B2 (en) Information processing device, system, information processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100089

Applicant after: Beijing Yunji Technology Co.,Ltd.

Address before: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100089

Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201201