CN114505840A - 一种自主操作箱式电梯的智能服务机器人 - Google Patents
一种自主操作箱式电梯的智能服务机器人 Download PDFInfo
- Publication number
- CN114505840A CN114505840A CN202210042353.2A CN202210042353A CN114505840A CN 114505840 A CN114505840 A CN 114505840A CN 202210042353 A CN202210042353 A CN 202210042353A CN 114505840 A CN114505840 A CN 114505840A
- Authority
- CN
- China
- Prior art keywords
- elevator
- module
- mechanical arm
- key
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 106
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 239000012636 effector Substances 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 26
- 238000005516 engineering process Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 230000001174 ascending effect Effects 0.000 claims description 11
- 210000003857 wrist joint Anatomy 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 claims description 8
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 7
- 229910052744 lithium Inorganic materials 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 210000002310 elbow joint Anatomy 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 210000000323 shoulder joint Anatomy 0.000 claims description 3
- 230000009471 action Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L15/00—Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles
- B60L15/32—Control or regulation of multiple-unit electrically-propelled vehicles
- B60L15/38—Control or regulation of multiple-unit electrically-propelled vehicles with automatic control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
- B60L2200/00—Type of vehicles
- B60L2200/40—Working vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Transportation (AREA)
- Power Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种自主操作箱式电梯的智能服务机器人***，激光雷达传感器与PC端连接，机器人基座与PC端连接，硬件平台包括机器人智能移动平台、机械臂按电梯按键装置以及计算机视觉识别定位装置；工控机连接嵌入式控制器，嵌入式控制器连接驱动轮、机械臂的末端执行器；工控机的物体识别检测模块向运动模块提供电梯位置信息，通过运动模块运动到电梯口，接着通过物体识别检测模块向坐标系转换模块提供电梯按键像素坐标来进行坐标转换，之后，机械臂运动模块通过接收坐标系转换模块提供的电梯按键在机械臂基坐标系下的坐标信息，调整好机械臂位姿，然后按键模块通过接收物体检测模块判断出的按键结果来进行按键，机械臂柔顺控制模块控制物体按按键的力度。
Description
技术领域
本发明属于智能机器人领域，具体涉及一种自主操作箱式电梯的智能服务机器人。
背景技术
箱式电梯是生活中常见的一种基础设施。人们可以通过电梯显示屏了解电梯运行状态，通过控制按键操作电梯的上行、下行、开门和关门等基本动作。但是，对于智能服务机器人来说，像人类那样自主操作电梯是一件具有挑战性的任务。
在现有资料的检索过程中，尚未发现有关自主操作箱式电梯的智能服务机器人方面的文献资料。对于智能服务机器人自主操作电梯，存在以下一些技术问题：第一，机器人在自主运动到电梯口这个过程中，在面对动态障碍物时，***应如何响应，才能避免与动态障碍物发送碰撞；第二，来到电梯口之后怎么判断电梯运行状态以及确定电梯按键的位置，机器人机械臂应如何操作，才能正确使用电梯。
基于此，本发明提供了一种自主操作箱式电梯的智能服务机器人。
发明内容
本发明要克服现有技术的上述问题，提出一种自主操作箱式电梯的智能服务机器人***。
首先该***具有人性化的操作界面，让操作者便捷地下达复杂的配送任务。其次该***具有物体识别检测模块向机械臂运动模块提供电梯按键位置信息，使机械臂运动模块控制机械臂正确使用电梯，再次该***具有物体识别检测模块判断电梯运行状态、再次该***具有运动模块控制机器人移动，最后该***基于激光雷达进行动态避障，避障效果稳定可靠。
本发明为解决现有技术问题所采用的技术方案是：
一种自主操作箱式电梯的智能服务机器人***，其特征在于：PC端软件安装在用户的硬件平台上，具体安装在硬件平台的Linux电脑上，激光雷达传感器与PC端通过USB有线连接，机器人基座与PC端通过USB有线连接。
所述的硬件平台包括机器人智能移动平台、机械臂按电梯按键装置以及计算机视觉识别定位装置；
机器人智能移动平台包括AGV移动底盘、供电***、工控机、嵌入式控制器、路由器以及运动控制装置，所述AGV移动底盘包括驱动轮、麦克纳姆轮、超声波传感器和激光雷达，所述工控机连接嵌入式控制器，嵌入式控制器连接驱动轮、机械臂的末端执行器；所述工控机安装于所述移动底盘上方，所述工控机拥有室内导航模块，通过由所述路由器提供的ETH网络连接的激光雷达传递而来的数据对室内环境进行建图与导航，通过连接所述路由器提供的ETH网络运动控制装置接收同一局域网下所述工控机传递而来的指令处理所述超声波传感器所获得的数据，来对室内环境中的障碍物进行检测；所述工控机通过局域网将控制指令传递给运动控制模块，所述运动控制模块通过CAN总线将控制指令发送给所述嵌入式控制器，同时所述嵌入式控制器也将返回反馈数据给所述运动控制装置，所述嵌入式控制器将PWM信号传递给2路H桥进行电机驱动控制，所述2路电桥同时通过电流采样IC来将电流信号反馈给所述嵌入式控制器，以及将电机电压信号传递给两个电机进行电机运转，电机通过光电编码器将转速信号反馈给所述嵌入式控制器，同时电机获得驱动转动信号用于驱动所述驱动轮转动，且驱动轮带动所述麦克纳姆轮进行机器人整体的运动；所述供电***包括电源管理器、变压器以及锂电池，所述运动控制装置通过485总线连接供电***，所述电源管理器用于防止所述电源过载，所述变压器用于对所述锂电池电压进行升降压处理来连接机器人内部各个元器件；
所述机械臂按电梯按键装置安装于所述智能移动平台上方，包括机械臂、末端执行器和躯干部分，所述机械臂置于所述智能服务机器人左侧，所述机械臂末端安装所述末端执行器，所述躯干部分安装在所述智能服务机器人右侧部分，包括交互屏、载物台以及抬升杆，所述交互屏通过USB总线用于显示所述工控机的控制界面，所述载物台用于搭载所述机械臂，所述抬升杆与通过局域网接收所述工控机控制指令的运动控制装置通过CAN总线相连接，用于控制躯干部分的整体高度。
所述计算机视觉识别装置包括双目RGBD相机以及四自由度云台，所述双目RGBD相机置于所述四自由度云台之上，所述工控机通过USB总线与所述双目RGBD相机连接，将所述RGBD相机获取的环境信息进行处理，通过深度信息以及RGB图像利用目标检测算法，用以完成待按按键的识别与定位，所述4自由度云台与运动控制装置通过485总线相连接，用以改变所述RGBD相机的角度。
所述的PC端软件：包括嵌入式控制器和工控机两个部分：
嵌入式控制器包括依次连接的驱动轮控制模块、升降杆控制模块、四自由度云台控制模块。驱动轮控制模块从运动模块处输入的速度信息，控制驱动轮的转动；升降杆控制模块从机械臂运动模块输入速度信息，控制升降运动；四自由度云台控制模块通过从机械臂运动模块输入的速度信息，控制四自由度云台的转动。
工控机包括依次连接的运动模块、物体识别检测模块、坐标系转换模块、机械臂运动模块、按键模块、机械臂柔顺控制模块。机器人先由物体识别检测模块向运动模块提供电梯位置信息，通过运动模块运动到电梯口，接着通过物体识别检测模块向坐标系转换模块提供电梯按键像素坐标来进行坐标转换，之后，机械臂运动通过接收坐标系转换模块提供的电梯按键在机械臂基坐标系下的坐标信息，调整好机械臂位姿，然后按键模块通过接收物体检测模块判断出的按键结果来进行按键，在按键模块进行按按键的过程中，通过机械臂柔顺控制模块来控制物体按按键的力度，以此保护机械臂和电梯不受损伤。
各模块的具体构成是：
驱动轮控制模块从运动模块输入速度信息，并通过PID控制器调整驱动轮内部电机转速，控制驱动轮的转动。
升降杆控制模块从机械臂运动模块输入速度信息，并通过PID控制器调整所述升降杆内部电机转速，控制升降杆的运动。
四自由度云台控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整四自由度云台内部的电机转速，控制四自由度云台的转动。
运动控制模块从物体识别检测模块输入目标位置信息，向驱动轮控制模块输出速度信息，并通过导航算法来控制底盘运动。
运动控制模块具体实现如下：
S1、给机器人输入到达某一层的指令，机器人把该指令当作目标层；
S2、根据按键模块提供的图像信息，以机器人当前位置为起始点，电梯口正前方1.5米处为目标点，利用SLAM中的导航算法，机器人AGV底盘开始运动，自动移动到电梯口；
S3、机器人利用物体识别检测模块，识别出当前电梯的状态，当电梯为到达机器人所处楼层并呈打开状态时，机器人以当前位置为起始点，正前方障碍物1米出为目标点，导航进入电梯内；
S4、机器人利用物体识别检测模块,识别出当前电梯的状态，当电梯为到达机器人的目标楼层并呈打开状态时，机器人以当前位置为起始点，正前方3米处为目标点，导航到电梯外；
S5、同时NODE卡将速度信息传输给驱动轮控制模块，驱动轮控制模块从运动模块输入速度信息，并通过PID控制器来调整驱动轮内部电机转速，控制驱动轮的转动。
物体识别检测模块向运动控制模块输出目标点位置信息，向坐标系转换模块输出电梯按键像素坐标信息，并通过机器人视觉识别技术识别出当前自身所处的楼层后，经过与输入的楼层指令对比，判断出应该上升键还是下降键以及提供按键区上升键、下降键的坐标信息。
物体识别检测模块具体实现如下：
T1、机器人利用相机获取对电梯的全局图像信息，通过机器人视觉识别技术，识别出当前机器人所处的楼层；机器人识别出当前自身所处的楼层后，经过与输入的楼层指令对比，机器人判断出应该上升键还是下降键；
物体识别检测模块通过以下方式识别出当前自身所处的楼层后，判断出应该上升键还是下降键：
(11)利用卷积网络对获取的机器人识别电梯口图像进行初步的语义特征提取获得初级特征图；
(12)利用区域候选网络对得到的初级特征图进行检测，获得机器人待识别电梯显示区域和按钮区域在输入图像上的位置信息；
(13)根据机器人待电梯显示区域和按钮区域信息得到电梯显示区域和按钮区域在输入图像中的位置区域，然后对不同大小的区域进行同一池化操作，使输出的机器人待电梯显示区域和按钮区域特征图尺寸相同；
(14)将获取到相同大小的机器人待电梯显示区域和按钮区域特征图送入物体识别支路进行按电梯按钮识别检测和按电梯按钮检测支路进行按电梯按钮框检测；
(15)机器人对属于同一区域的两个支路的机器人按电梯按钮的检测结果进行匹配，得到最终的机器人待电梯显示区域和按钮区域检测结果。
T2、机器人利用相机采集电梯外部的按键区图像信息，经过图像处理技术与三维定位技术，为按电梯按键工作提供按键区上升键、下降键的坐标信息。
物体识别检测模块通过以下方式提供按键区上升键、下降键的坐标信息：
(21)通过先验框和预测值编码得到预测框在输入图像中的位置，先验框与预测框的编码公式如下：
Lx＝(bx-px)/c (1)
Ly＝(by-py)/c (2)
Lw＝log(by/py) (3)
Lh＝log(bh-ph) (4)
La＝(ba-pa)/n (5)
其中，c表示网格单元的宽度，n表示每个网格单元中的先验框数量，(Lx,Ly,Lw,Lh,La)分别表示物体编码后预测框的中心点横纵坐标、宽高以及旋转角度；(bx,by,bw,bh,ba)分别表示物体按电梯按钮先验框的中心点横纵坐标、宽高以及旋转角度，(px,py,pw,ph,pa)分别表示物体按电梯按钮真实框的中心点横纵坐标、宽高以及旋转角度。
(22)按电梯按钮检测支路预测物体按电梯按钮框在图像中的位置，旋转按电梯按钮框的RS损失函数公式如下：
其中，Lgd表示按电梯按钮物体的分类损失和回归损失之和，i表示正样本变量，j表示负样本变量，pg表示正样本中按电梯按钮先验框的概率，pu表示负样本中按电梯按钮物体先验框的概率，L为表示预测按电梯按钮矩形框的向量，Lgt为与按电梯按钮先验框相关的真实框坐标，θ为按电梯按钮预测框角度，θgt为和按电梯按钮先验框匹配的真实框，N为匹配的按电梯按钮先验框数量，α表示损失函数中回归损失占的比重，β表示回归损失中旋转角度差值占的比重。对属于同一区域的两个支路的机器人操作电梯显示区域和按钮区域的检测结果进行匹配，得到最终的机器人操作电梯显示区域和按钮区域检测结果。
坐标系转换模块从物体识别检测模块输入电梯按键像素坐标信息，向机械臂运动模块输出机械臂基坐标系下的坐标信息，并通过ROS***中的TF变换工具，将电梯按键在相机像素坐标系下的坐标转换为在机械臂基坐标系下的坐标。
机械臂运动模块从坐标转换模块输入电梯按键在机械臂基坐标系下的坐标信息，向按键模块输出机械臂调整好位姿的信息。
机械臂运动模块通过以下方式调整位姿：
P1.在所述的硬件平台的基础上，根据物体识别检测模块提供的电梯运行状态和电梯按键位置坐标信息的需要对机械臂以及相机进行手眼标定，机器人调整好机械臂爪具的位姿；
P2.同时NODE卡将速度信息传输给升降杆以及四自由度云台，采用PID控制来使得升降杆调整高度使得机械臂移动至合适的位置，同时四自由度云台调整角度使得相机更好的进行环境检测。
按键模块从机械臂运动模块输入调整好的位姿信息，从机械臂柔顺控制模块输入力反馈信息，向机械臂柔顺控制模块输出启动通知信息，按下判断出来的按键。
机械臂柔顺控制模块从按键模块输入启动通知信息，向按键模块输出力反馈信息，使机械臂在按按键的过程中按照感受到的阻力调节按按键的力度，达到柔顺控制的目的。
进一步，所述机械臂按电梯按键装置模块包括从下而上的基座、大臂、肩关节、腰关节、肘关节、小臂以及腕关节，其中所述腕关节为所述机械臂末端关节，其接口处通过485总线与所述末端执行器相连接，所述机械臂基座安装于所述载物台上。
再进一步，所述机械臂按电梯按键装置模块与所述交互屏下方装有所述抬升杆，通过所述抬升杆实现所述机器人整体高度的变化。
本发明的有益效果表现在：本发明首先该***具有人性化的操作界面，让操作者便捷地下达复杂的配送任务。其次该***具有物体识别检测模块向机械臂运动模块提供电梯按键位置信息，使机械臂运动模块控制机械臂正确使用电梯，再次该***具有物体识别检测模块判断电梯运行状态、再次该***具有运动模块控制机器人移动，最后该***基于激光雷达进行动态避障，避障效果稳定可靠。另外，本发明使机器人可以通过电梯显示屏了解电梯运行状态，通过控制按键操作电梯的上行、下行、开门和关门等基本动作，能够像人类那样自主操作电梯。
附图说明
图1位本发明的智能服务机器人硬件结构示意图；
图2位本发明的智能服务机器人的硬件框架图；
图3为本发明的机器人动作库***框架流程框图；
图4为本发明的机器人动作库静态环境下上电梯流程框图；
图5为本发明的机器人动作库动态环境下上电梯流程框图；
图6为移动底盘的连接图；
图7为工控机与嵌入式控制器软件的联系图。
其中：1为变压器，2为电源，3为麦克纳姆轮，4为工控机，5为路由器，6为激光雷达，7为屏幕，8为铁箱，9为相机，10为用于开门的机械手，101为机械臂，102为机械臂末端夹爪，11为铝型材搭建的底盘，12为驱动轮，13为超声波传感器，14为4自由度云台，15为载物台，16为抬升杆，17为NODE卡，18为电源管理器。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
参照附图：
实施例1本发明专利所述的一种自主操作箱式电梯的智能服务机器人，如图一、图二所示，硬件平台如包括AGV移动底盘、供电***、工控机4、嵌入式控制器、路由器5以及运动控制装置NODE卡17，其中所述工控机4为NUC控制器，所述AGV移动底盘包括驱动轮12、麦克纳姆轮3、超声波传感器13和激光雷达6，所述工控机4连接嵌入式控制器，嵌入式控制器连接驱动轮12、机械臂的末端执行器；所述工控机4安装于所述移动底盘11上，所述工控机4拥有室内导航模块，通过由所述路由器5提供的ETH网络连接的所述激光雷达6传递而来的数据对室内环境进行建图与导航，通过连接所述路由器5提供的ETH网络所述运动控制装置17接收同一局域网下所述工控机4传递而来的指令处理所述超声波传感器13所获得的数据，来对室内环境中的障碍物进行检测；结合图6，所述工控机4通过局域网将控制指令传递给所述运动控制装置17，所述运动控制装置17通过CAN总线来将控制指令发送给所述嵌入式控制器，同时所述嵌入式控制器也将返回反馈数据给所述运动控制装置，所述嵌入式控制器将PWM信号传递给2路H桥进行电机驱动控制，所述2路电桥同时通过电流采样IC来将电流信号反馈给所述嵌入式控制器，以及将电机电压信号传递给两个电机进行电机运转，电机通过光电编码器将转速信号反馈给所述嵌入式控制器，同时电机获得驱动转动信号用于驱动所述驱动轮转动，且所述驱动轮12带动所述麦克纳姆轮3进行机器人整体的运动；所述供电***包括电源管理器、变压器以及锂电池，所述运动控制装置17通过485总线连接供电***，所述电源管理器18用于防止所述电源2过载，所述变压器1用于对所述锂电池2电压进行升降压处理来连接机器人内部各个元器件，其中所述电池2为48V20Ah的锂电池，所述变压器1包括12V、24V、36V三类变压器，通过12V变压器给所述路由器5、所述运动控制装置17、所述工控机4、所述驱动轮12、所述超声波传感器13、所述激光雷达6、所述抬升杆16、所述RGBD相机9、所述4自由度云台14供电，通过24V变压器给所述机械臂101供电，通过36V变压器给所述交互屏7供电。
所述机械臂按电梯按键装置安装于所述智能移动平台上方，包括机械臂、末端执行器和躯干部分，所述机械臂101为kinova7自由度机械臂，所述机械臂101末端安装所述末端执行器102，所述末端执行器102为二指夹爪，用时夹取物体，所述躯干部分安装在所述医护机器人右侧，包括交互屏、载物台以及抬升杆，所述交互屏7通过USB总线用于显示所述工控机4的控制界面，所述载物台15用于搭载所述机械臂101，其中所述载物台15与所述机械臂101基座通过法兰相连接，所述抬升杆16与通过局域网接收所述工控机4控制指令的运动控制装置17通过CAN总线相连接，用于控制躯干部分的整体高度，所述抬升杆16所能抬升的范围为0至30cm。
所述计算机视觉识别装置包括双目RGBD相机以及四自由度云台，所述双目RGBD相机9置于所述四自由度云台14之上，所述工控机4通过USB总线与所述双目RGBD相机9连接，将所述RGBD相机9获取的环境信息进行处理，通过深度信息以及RGB图像利用目标检测算法，用以完成待抓取物体的识别与定位，所述4自由度云台14与所述运动控制装置17通过485总线相连接，用以改变所述RGBD相机的角度。
所述机械臂101为kinova7自由度机械臂，包括从下而上的基座、大臂、肩关节、腰关节、肘关节、小臂以及腕关节，其中所述腕关节为所述机械臂101末端关节，其接口处通过485总线与所述末端执行器102相连接，所述机械臂基座安装于所述载物台15上。
结合图3、图4，图7，在静态环境下的本发明的智能服务机器人自主操作箱式电梯方法，按照以下实施方式进行：
驱动轮控制模块从运动模块处输入速度信息，并通过PID控制器调整所述驱动轮内部电机转速，控制驱动轮的转动。
升降杆控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整升降杆内部电机转速，控制升降杆的运动。
四自由度云台控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整四自由度云台内部的电机转速，控制四自由度云台的转动。
运动模块从物体识别检测模块输入目标位置信息，向驱动轮控制模块输出速度信息，输入到达目标位置的指令后，识别当前位置，规划路径，运动到要乘坐的电梯口，同时NODE卡将速度信息传输给驱动轮控制模块，驱动轮控制模块从运动模块处输入速度信息，并通过PID控制器来调整驱动轮内部电机转速，控制驱动轮的转动。
物体识别检测模块向运动控制模块输出目标点位置信息，向坐标系转换模块输出电梯按键像素坐标信息，并通过机器人视觉识别技术识别出当前自身所处的楼层后，经过与输入的楼层指令对比，判断出应该上升键还是下降键以及提供按键区上升键、下降键的坐标信息。
物体识别检测模块具体实现如下：
T1、机器人利用相机获取对电梯的全局图像信息，通过机器人视觉识别技术，识别出当前机器人所处的楼层；机器人识别出当前自身所处的楼层后，经过与输入的楼层指令对比，机器人判断出应该上升键还是下降键；
物体识别检测模块通过以下方式识别出当前自身所处的楼层后，判断出应该上升键还是下降键：
(11)利用卷积网络对获取的机器人识别电梯口图像进行初步的语义特征提取获得初级特征图；
(12)利用区域候选网络对得到的初级特征图进行检测，获得机器人待识别电梯显示区域和按钮区域在输入图像上的位置信息；
(13)根据机器人待电梯显示区域和按钮区域信息得到电梯显示区域和按钮区域在输入图像中的位置区域，然后对不同大小的区域进行同一池化操作，使输出的机器人待电梯显示区域和按钮区域特征图尺寸相同；
(14)将获取到相同大小的机器人待电梯显示区域和按钮区域特征图送入物体识别支路进行按电梯按钮识别检测和按电梯按钮检测支路进行按电梯按钮框检测；
(15)机器人对属于同一区域的两个支路的机器人按电梯按钮的检测结果进行匹配，得到最终的机器人待电梯显示区域和按钮区域检测结果。
T2、机器人利用相机采集电梯外部的按键区图像信息，经过图像处理技术与三维定位技术，为按电梯按键工作提供按键区上升键、下降键的坐标信息。
物体识别检测模块通过以下方式提供按键区上升键、下降键的坐标信息：
(21)通过先验框和预测值编码得到预测框在输入图像中的位置，先验框与预测框的编码公式如下：
Lx＝(bx-px)/c (1)
Ly＝(by-py)/c (2)
Lw＝log(by/py) (3)
Lh＝log(bh/ph) (4)
La＝(ba/pa)/n (5)
其中，c表示网格单元的宽度，n表示每个网格单元中的先验框数量，(Lx,Ly,Lw,Lh,La)分别表示物体编码后预测框的中心点横纵坐标、宽高以及旋转角度；(bx,by,bw,bh,ba)分别表示物体按电梯按钮先验框的中心点横纵坐标、宽高以及旋转角度，(px,py,pw,ph,pa)分别表示物体按电梯按钮真实框的中心点横纵坐标、宽高以及旋转角度。(22)按电梯按钮检测支路预测物体按电梯按钮框在图像中的位置，旋转按电梯按钮框的RS损失函数公式如下：
其中，Lgd表示按电梯按钮物体的分类损失和回归损失之和，i表示正样本变量，j表示负样本变量，pg表示正样本中按电梯按钮先验框的概率，pu表示负样本中按电梯按钮物体先验框的概率，L为表示预测按电梯按钮矩形框的向量，Lgt为与按电梯按钮先验框相关的真实框坐标，θ为按电梯按钮预测框角度，θgt为和按电梯按钮先验框匹配的真实框，N为匹配的按电梯按钮先验框数量，α表示损失函数中回归损失占的比重，β表示回归损失中旋转角度差值占的比重。对属于同一区域的两个支路的机器人操作电梯显示区域和按钮区域的检测结果进行匹配，得到最终的机器人操作电梯显示区域和按钮区域检测结果。
坐标系转换模块从物体识别检测模块输入电梯按键像素坐标信息，向机械臂运动模块输出机械臂基坐标系下的坐标信息，并通过ROS***中的TF变换工具，将电梯按键在相机像素坐标系下的坐标转换为在机械臂基坐标系下的坐标。
机械臂运动模块从坐标转换模块输入电梯按键在机械臂基坐标系下的坐标信息，向按键模块输出机械臂调整好位姿的信息。
机械臂运动模块具体通过以下方式调整位姿：
v1、根据所述的硬件平台，对的KINOVA机械臂以及kinect相机进行手眼标定，用以将物体在相机坐标系下的坐标转换为物体在机械臂基坐标系下的坐标，由于硬件的设计要求，本发明所进行的标定是眼在手外的标定方式；
v2、通过电梯按钮区域的位置信息模块中获得的电梯按钮区域在像素坐标系下的坐标，将其传递给工控机，再在ubuntu18.04中的ROS***下进行相应的坐标变换，将其转换为电梯按钮区域在机械臂基坐标系下的坐标；
v3、在得到电梯按钮区域在机械臂基坐标系下的坐标后，利用GPD算法，在ubuntu18.04下，得到电梯按钮区位置的按按键姿态，并返还给机械臂该信息，再通过机械臂逆运动学求解出机械臂末端执行器到达该姿态时，各个轴所需要旋转的角度，并通过RRT算法进行机械臂运动的轨迹规划，避免机械臂在运动过程中发生碰撞，最终使得机械臂的夹爪按住电梯按钮区位置；
v4、同时NODE卡将速度信息传输给升降杆以及四自由度云台，采用PID控制来使得升降杆调整高度使得机械臂移动至合适的位置，同时四自由度云台调整角度使得相机更好的进行环境检测。
按键模块从机械臂运动模块输入调整好的位姿信息，从机械臂柔顺控制模块输入力反馈信息，向机械臂柔顺控制模块输出启动通知信息，按下判断出来的按键。
按键模块具体通过以下方式按按键：
给出电梯按钮区目标按键位置，并将其作为机械臂末端的目标位置，之后通过机械臂逆运动学求解出机械臂每个轴所需要旋转的角度，并通过RRT算法进行机械臂的轨迹规划，同时在机械臂运动过程中使用柔顺控制方法，避免机械臂将电梯按键按坏或者损伤机械臂，最终完成按电梯按钮区位置的任务，将电梯门打开。
机械臂柔顺控制模块从按键模块输入启动通知信息，向按键模块输出力反馈信息，使机械臂在按按键的过程中按照感受到的阻力调节按按键的力度，达到柔顺控制的目的。
结合图3、图4，图7，在动态环境下的本发明的智能服务机器人自主操作箱式电梯方法，按照以下实施方式进行：
驱动轮控制模块从运动模块处输入速度信息，并通过PID控制器调整驱动轮内部电机转速，控制驱动轮的转动。
升降杆控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整升降杆内部电机转速，控制升降杆的运动。
四自由度云台控制模快从机械臂运动模块处输入速度信息，并通过PID控制器调整四自由度云台内部的电机转速，控制四自由度云台的转动。
机械臂运动模块从物体识别检测模块输入目标位置信息，向驱动轮控制模块输出速度信息。
运动控制模块具体实现如下：
n1、给机器人出入到达某一层的指令，利用物体识别检测模块提供的要操作的电梯周围的图像信息；
n2、事先利用SLAM中的建图算法根据移动机器人里程计数据和激光雷达数据(深度相机消息转换成雷达消息)来绘制二维的栅格地图，实现通过建图算法的构建地图；
n3、利用ROS中map_server功能包中提供了两个节点:map_saver和map_server，前者用于将栅格地图保存到磁盘，后者读取磁盘的栅格地图并以服务的方式提供出去；
n4、利用ROS中amcl功能包，实现导航中的机器人定位，确定机器人的位置，以此作为起始点；
n5、通过物体识别检测模块提供的获取到的图像信息确定电梯的位置，以此作为目标点，利用ROS中在ROS的导航功能包集navigation中提供了move_base功能包进行路径规划实现，move_base可以根据给定的目标点，控制机器人底盘运动至电梯口；
n6、同时NODE卡将速度信息传输给驱动轮控制模块，驱动轮控制模块从运动模块处输入速度信息，并通过PID控制器来调整驱动轮内部电机转速，控制驱动轮的转动。
运动控制模块具体按照以下方式实现路径规划：
m1、获取室内场景的全局静态栅格地图，栅格地图的每个节点代表当前位置是障碍物或可通行区域，并确认起始点和目标点。为了避免重复计算部分节点，我们在选择节点x的邻居节点n时，只选择通过x到n的路径比任何不通过x到n的路径都短的节点，即邻居节点n需要满足条件：L(<p(x)，…，n|x>)＞L(<p(x)，x，n>)，，函数L()表示路径的长度，<p(x)，…，n|x>表示p(x)为起始节点，n为目标节点且不经过x的路径，<p(x)，x，n>表示p(x)→x→n的路径，p(x)表示节点x的父节点。这类需要通过x搜索的节点n被成为节点x的邻居。将邻居节点分为自然邻居和强迫邻居两种：自然邻居指节点x周围没有障碍物时需要通过节点x拓展的相邻节点，强迫邻居指节点x因为周围的障碍物而多出来的需要拓展的相邻节点；
m2、对栅格地图预处理，分别计算每个可通行节点的最近的跳点距离。对栅格地图的预处理主要是计算每个跳点的各个方向上最近的下一个跳点的距离；
m3、基于跳点搜索的全局路径规划算法进行寻路，根据当前寻路方向以及获得的跳点距离，获得对应方向上的搜索节点，从而获得规划路径。在预处理后的栅格地图上进行路径规划，其中，规划过程拓展了一些节点,首先将起始点加入open_set中，每次从open_set中取出代价值最小的节点cur，如果cur节点为起始点，则从cur节点的8个方向分别拓展寻找跳点，否则根据cur节点的父节点计算当前方向，若为直线方向，则需要拓展的方向为当前方向和强迫邻居方向；若为对角线方向，则需要拓展的方向为斜方向同向的水平和垂直方向以及当前斜方向。其中，open_set表示还需要探索的节点集合，closed_set表示已经确定了起始点到该点最优最短路径的节点的集合。代价值指总的代价函数f(n)计算的结果值，每个节点都能计算出具体的代价值，每次选取open_set集合中总代价值最小的cur节点进行寻路拓展。从cur节点的各个拓展方向分别寻找第一个跳点next，该跳点有以下三种情况：若next在closed_set中，则不处理该跳点；若next在open_set中，则计算出从cur到该跳点的新的代价，若新的代价小于原始代价，则更新该跳点的父节点和代价值；否则next既不在open_set又不在closed_set中，此时将该跳点加入open_set中。在open_set变为空之前如果找到终点，则路径规划成功，否则路径规划失败；
其中，进行代价值计算的应用指数加权的代价函数为：
其中，f(n)表示当前节点的总代价，g(n)表示当前节点的真实代价，h(n)表示当前节点的预估代价，h(n-1)表示当前节点父节点的预估代价。
物体识别检测模块向运动控制模块输出目标点位置信息，向坐标系转换模块输出电梯按键像素坐标信息，并通过机器人视觉识别技术识别出当前自身所处的楼层后，经过与输入的楼层指令对比，判断出应该上升键还是下降键以及提供按键区上升键、下降键的坐标信息。
坐标系转换模块从物体识别检测模块输入电梯按键像素坐标信息，向机械臂运动模块输出机械臂基坐标系下的坐标信息，并通过ROS***中的TF变换工具，将电梯按键在相机像素坐标系下的坐标转换为在机械臂基坐标系下的坐标。
机械臂运动模块从坐标转换模块输入电梯按键在机械臂基坐标系下的坐标信息，向按键模块输出机械臂调整好位姿的信息。
机械臂运动模块通过以下方式调整位姿：
P1.在所述的硬件平台的基础上，根据物体识别检测模块提供的电梯运行状态和电梯按键位置坐标信息的需要对机械臂以及相机进行手眼标定，机器人调整好机械臂爪具的位姿；
P2.同时NODE卡将速度信息传输给升降杆以及四自由度云台，采用PID控制来使得升降杆调整高度使得机械臂移动至合适的位置，同时四自由度云台调整角度使得相机更好的进行环境检测。
按键模块从机械臂运动模块输入调整好的位姿信息，从机械臂柔顺控制模块输入力反馈信息，向机械臂柔顺控制模块输出启动通知信息，按下判断出来的按键。
机械臂柔顺控制模块从按键模块输入启动通知信息，向按键模块输出力反馈信息，使机械臂在按按键的过程中按照感受到的阻力调节按按键的力度，达到柔顺控制的目的。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也包括本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (3)
1.一种自主操作箱式电梯的智能服务机器人***，其特征在于：PC端软件安装在用户的硬件平台上，具体安装在硬件平台的Linux电脑上，激光雷达传感器与PC端通过USB有线连接，机器人基座与PC端通过USB有线连接；
所述的硬件平台包括机器人智能移动平台、机械臂按电梯按键装置以及计算机视觉识别定位装置；
机器人智能移动平台包括AGV移动底盘、供电***、工控机、嵌入式控制器、路由器以及运动控制装置，所述AGV移动底盘包括驱动轮、麦克纳姆轮、超声波传感器和激光雷达，所述工控机连接嵌入式控制器，嵌入式控制器连接驱动轮、机械臂的末端执行器；所述工控机安装于所述移动底盘上方，所述工控机拥有室内导航模块，通过由所述路由器提供的ETH网络连接的激光雷达传递而来的数据对室内环境进行建图与导航，通过连接所述路由器提供的ETH网络运动控制装置接收同一局域网下所述工控机传递而来的指令处理所述超声波传感器所获得的数据，来对室内环境中的障碍物进行检测；所述工控机通过局域网将控制指令传递给运动控制模块，所述运动控制模块通过CAN总线将控制指令发送给所述嵌入式控制器，同时所述嵌入式控制器也将返回反馈数据给所述运动控制装置，所述嵌入式控制器将PWM信号传递给2路H桥进行电机驱动控制，所述2路电桥同时通过电流采样IC来将电流信号反馈给所述嵌入式控制器，以及将电机电压信号传递给两个电机进行电机运转，电机通过光电编码器将转速信号反馈给所述嵌入式控制器，同时电机获得驱动转动信号用于驱动所述驱动轮转动，且驱动轮带动所述麦克纳姆轮进行机器人整体的运动；所述供电***包括电源管理器、变压器以及锂电池，所述运动控制装置通过485总线连接供电***，所述电源管理器用于防止所述电源过载，所述变压器用于对所述锂电池电压进行升降压处理来连接机器人内部各个元器件；
所述机械臂按电梯按键装置安装于所述智能移动平台上方，包括机械臂、末端执行器和躯干部分，所述机械臂置于所述智能服务机器人左侧，所述机械臂末端安装所述末端执行器，所述躯干部分安装在所述智能服务机器人右侧部分，包括交互屏、载物台以及抬升杆，所述交互屏通过USB总线用于显示所述工控机的控制界面，所述载物台用于搭载所述机械臂，所述抬升杆与通过局域网接收所述工控机控制指令的运动控制装置通过CAN总线相连接，用于控制躯干部分的整体高度；
所述计算机视觉识别装置包括双目RGBD相机以及四自由度云台，所述双目RGBD相机置于所述四自由度云台之上，所述工控机通过USB总线与所述双目RGBD相机连接，将所述RGBD相机获取的环境信息进行处理，通过深度信息以及RGB图像利用目标检测算法，用以完成待按按键的识别与定位，所述4自由度云台与运动控制装置通过485总线相连接，用以改变所述RGBD相机的角度；
所述的PC端软件：包括嵌入式控制器和工控机两个部分：
嵌入式控制器包括依次连接的驱动轮控制模块、升降杆控制模块、四自由度云台控制模块；驱动轮控制模块从运动模块处输入的速度信息，控制驱动轮的转动；升降杆控制模块从机械臂运动模块输入速度信息，控制升降运动；四自由度云台控制模块通过从机械臂运动模块输入的速度信息，控制四自由度云台的转动；
工控机包括依次连接的运动模块、物体识别检测模块、坐标系转换模块、机械臂运动模块、按键模块、机械臂柔顺控制模块；机器人先由物体识别检测模块向运动模块提供电梯位置信息，通过运动模块运动到电梯口，接着通过物体识别检测模块向坐标系转换模块提供电梯按键像素坐标来进行坐标转换，之后，机械臂运动通过接收坐标系转换模块提供的电梯按键在机械臂基坐标系下的坐标信息，调整好机械臂位姿，然后按键模块通过接收物体检测模块判断出的按键结果来进行按键，在按键模块进行按按键的过程中，通过机械臂柔顺控制模块来控制物体按按键的力度，以此保护机械臂和电梯不受损伤；
各模块的具体构成是：
驱动轮控制模块从运动模块输入速度信息，并通过PID控制器调整驱动轮内部电机转速，控制驱动轮的转动；
升降杆控制模块从机械臂运动模块输入速度信息，并通过PID控制器调整所述升降杆内部电机转速，控制升降杆的运动；
四自由度云台控制模块从机械臂运动模块处输入速度信息，并通过PID控制器调整四自由度云台内部的电机转速，控制四自由度云台的转动；
运动控制模块从物体识别检测模块输入目标位置信息，向驱动轮控制模块输出速度信息，并通过导航算法来控制底盘运动；
运动控制模块具体实现如下：
S1、给机器人输入到达某一层的指令，机器人把该指令当作目标层；
S2、根据按键模块提供的图像信息，以机器人当前位置为起始点，电梯口正前方1.5米处为目标点，利用SLAM中的导航算法，机器人AGV底盘开始运动，自动移动到电梯口；
S3、机器人利用物体识别检测模块，识别出当前电梯的状态，当电梯为到达机器人所处楼层并呈打开状态时，机器人以当前位置为起始点，正前方障碍物1米出为目标点，导航进入电梯内；
S4、机器人利用物体识别检测模块,识别出当前电梯的状态，当电梯为到达机器人的目标楼层并呈打开状态时，机器人以当前位置为起始点，正前方3米处为目标点，导航到电梯外；
S5、同时NODE卡将速度信息传输给驱动轮控制模块，驱动轮控制模块从运动模块输入速度信息，并通过PID控制器来调整驱动轮内部电机转速，控制驱动轮的转动；
物体识别检测模块向运动控制模块输出目标点位置信息，向坐标系转换模块输出电梯按键像素坐标信息，并通过机器人视觉识别技术识别出当前自身所处的楼层后，经过与输入的楼层指令对比，判断出应该上升键还是下降键以及提供按键区上升键、下降键的坐标信息；
物体识别检测模块具体实现如下：
T1、机器人利用相机获取对电梯的全局图像信息，通过机器人视觉识别技术，识别出当前机器人所处的楼层；机器人识别出当前自身所处的楼层后，经过与输入的楼层指令对比，机器人判断出应该上升键还是下降键；
物体识别检测模块通过以下方式识别出当前自身所处的楼层后，判断出应该上升键还是下降键：
(11)利用卷积网络对获取的机器人识别电梯口图像进行初步的语义特征提取获得初级特征图；
(12)利用区域候选网络对得到的初级特征图进行检测，获得机器人待识别电梯显示区域和按钮区域在输入图像上的位置信息；
(13)根据机器人待电梯显示区域和按钮区域信息得到电梯显示区域和按钮区域在输入图像中的位置区域，然后对不同大小的区域进行同一池化操作，使输出的机器人待电梯显示区域和按钮区域特征图尺寸相同；
(14)将获取到相同大小的机器人待电梯显示区域和按钮区域特征图送入物体识别支路进行按电梯按钮识别检测和按电梯按钮检测支路进行按电梯按钮框检测；
(15)机器人对属于同一区域的两个支路的机器人按电梯按钮的检测结果进行匹配，得到最终的机器人待电梯显示区域和按钮区域检测结果；
T2、机器人利用相机采集电梯外部的按键区图像信息，经过图像处理技术与三维定位技术，为按电梯按键工作提供按键区上升键、下降键的坐标信息；
物体识别检测模块通过以下方式提供按键区上升键、下降键的坐标信息：
(21)通过先验框和预测值编码得到预测框在输入图像中的位置，先验框与预测框的编码公式如下：
Lx＝(bx-px)/c (1)
Ly＝(by-py)/c (2)
Lw＝log(by/py) (3)
Lh＝log(bh/ph) (4)
La＝(ba-pa)/n (5)
其中，c表示网格单元的宽度，n表示每个网格单元中的先验框数量，(Lx,Ly,Lw,Lh,La)分别表示物体编码后预测框的中心点横纵坐标、宽高以及旋转角度；(bx,by,bw,bh,ba)分别表示物体按电梯按钮先验框的中心点横纵坐标、宽高以及旋转角度，(px,py,pw,ph,pa)分别表示物体按电梯按钮真实框的中心点横纵坐标、宽高以及旋转角度。
(22)按电梯按钮检测支路预测物体按电梯按钮框在图像中的位置，旋转按电梯按钮框的RS损失函数公式如下：
其中，Lgd表示按电梯按钮物体的分类损失和回归损失之和，i表示正样本变量，j表示负样本变量，pg表示正样本中按电梯按钮先验框的概率，pu表示负样本中按电梯按钮物体先验框的概率，L为表示预测按电梯按钮矩形框的向量，Lgt为与按电梯按钮先验框相关的真实框坐标，θ为按电梯按钮预测框角度，θgt为和按电梯按钮先验框匹配的真实框，N为匹配的按电梯按钮先验框数量，α表示损失函数中回归损失占的比重，β表示回归损失中旋转角度差值占的比重。对属于同一区域的两个支路的机器人操作电梯显示区域和按钮区域的检测结果进行匹配，得到最终的机器人操作电梯显示区域和按钮区域检测结果。
坐标系转换模块从物体识别检测模块输入电梯按键像素坐标信息，向机械臂运动模块输出机械臂基坐标系下的坐标信息，并通过ROS***中的TF变换工具，将电梯按键在相机像素坐标系下的坐标转换为在机械臂基坐标系下的坐标；
机械臂运动模块从坐标转换模块输入电梯按键在机械臂基坐标系下的坐标信息，向按键模块输出机械臂调整好位姿的信息；
机械臂运动模块通过以下方式调整位姿：
P1.在所述的硬件平台的基础上，根据物体识别检测模块提供的电梯运行状态和电梯按键位置坐标信息的需要对机械臂以及相机进行手眼标定，机器人调整好机械臂爪具的位姿；
P2.同时NODE卡将速度信息传输给升降杆以及四自由度云台，采用PID控制来使得升降杆调整高度使得机械臂移动至合适的位置，同时四自由度云台调整角度使得相机更好的进行环境检测；
按键模块从机械臂运动模块输入调整好的位姿信息，从机械臂柔顺控制模块输入力反馈信息，向机械臂柔顺控制模块输出启动通知信息，按下判断出来的按键；
机械臂柔顺控制模块从按键模块输入启动通知信息，向按键模块输出力反馈信息，使机械臂在按按键的过程中按照感受到的阻力调节按按键的力度，达到柔顺控制的目的。
2.如权利要求1所述的一种自主操作箱式电梯的智能服务机器人***，其特征在于：所述机械臂按电梯按键装置模块包括从下而上的基座、大臂、肩关节、腰关节、肘关节、小臂以及腕关节，其中所述腕关节为所述机械臂末端关节，其接口处通过485总线与所述末端执行器相连接，所述机械臂基座安装于所述载物台上。
3.如权利要求1所述的一种自主操作箱式电梯的智能服务机器人***，其特征在于：所述机械臂按电梯按键装置模块与所述交互屏下方装有所述抬升杆，通过所述抬升杆实现所述机器人整体高度的变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210042353.2A CN114505840B (zh) | 2022-01-14 | 2022-01-14 | 一种自主操作箱式电梯的智能服务机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210042353.2A CN114505840B (zh) | 2022-01-14 | 2022-01-14 | 一种自主操作箱式电梯的智能服务机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114505840A true CN114505840A (zh) | 2022-05-17 |
| CN114505840B CN114505840B (zh) | 2023-10-20 |
Family
ID=81549405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210042353.2A Active CN114505840B (zh) | 2022-01-14 | 2022-01-14 | 一种自主操作箱式电梯的智能服务机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114505840B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115079703A (zh) * | 2022-07-22 | 2022-09-20 | 安徽工业大学 | 外卖配送机器人及控制方法 |
| CN115890677A (zh) * | 2022-11-29 | 2023-04-04 | 中国农业大学 | 一种用于标准化笼养鸡舍的捡死鸡机器人及其方法 |
| CN116141343A (zh) * | 2022-11-23 | 2023-05-23 | 麦岩智能科技(北京)有限公司 | 一种基于机械臂的服务机器人梯控***及智能控梯清洁机器人 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003256042A (ja) * | 2002-03-03 | 2003-09-10 | Tmsuk Co Ltd | 警備ロボット |
| CN109895105A (zh) * | 2017-12-11 | 2019-06-18 | 拉扎斯网络科技（上海）有限公司 | 一种智能装置 |
| CN111730575A (zh) * | 2020-06-30 | 2020-10-02 | 杨鸿城 | 一种用于物品配送的自动乘梯机器人及其工作方法 |
| KR102194426B1 (ko) * | 2020-04-29 | 2020-12-24 | 주식회사 트위니 | 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 |
-
2022
- 2022-01-14 CN CN202210042353.2A patent/CN114505840B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003256042A (ja) * | 2002-03-03 | 2003-09-10 | Tmsuk Co Ltd | 警備ロボット |
| CN109895105A (zh) * | 2017-12-11 | 2019-06-18 | 拉扎斯网络科技（上海）有限公司 | 一种智能装置 |
| KR102194426B1 (ko) * | 2020-04-29 | 2020-12-24 | 주식회사 트위니 | 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 |
| CN111730575A (zh) * | 2020-06-30 | 2020-10-02 | 杨鸿城 | 一种用于物品配送的自动乘梯机器人及其工作方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115079703A (zh) * | 2022-07-22 | 2022-09-20 | 安徽工业大学 | 外卖配送机器人及控制方法 |
| CN116141343A (zh) * | 2022-11-23 | 2023-05-23 | 麦岩智能科技(北京)有限公司 | 一种基于机械臂的服务机器人梯控***及智能控梯清洁机器人 |
| CN115890677A (zh) * | 2022-11-29 | 2023-04-04 | 中国农业大学 | 一种用于标准化笼养鸡舍的捡死鸡机器人及其方法 |
| CN115890677B (zh) * | 2022-11-29 | 2024-06-11 | 中国农业大学 | 一种用于标准化笼养鸡舍的捡死鸡机器人及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114505840B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114505840B (zh) | 一种自主操作箱式电梯的智能服务机器人 | |
| CN111055281B (zh) | 一种基于ros的自主移动抓取***与方法 | |
| US10759051B2 (en) | Architecture and methods for robotic mobile manipulation system | |
| CN205219101U (zh) | 一种家庭服务机器人 | |
| US11580724B2 (en) | Virtual teach and repeat mobile manipulation system | |
| CN109605363B (zh) | 机器人语音操控***及方法 | |
| CN109571513B (zh) | 一种沉浸式移动抓取服务机器人*** | |
| CN102902271A (zh) | 基于双目视觉的机器人目标识别与抓取***及方法 | |
| Paul et al. | A multirotor platform employing a three-axis vertical articulated robotic arm for aerial manipulation tasks | |
| KR20180055571A (ko) | 이동 로봇 시스템, 이동 로봇 및 이동 로봇 시스템의 제어 방법 | |
| JP2003266345A (ja) | 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置 | |
| US11633852B2 (en) | Computing device, machine learning method, and storage medium | |
| CN110744544B (zh) | 服务机器人视觉抓取方法及服务机器人 | |
| CN111203849A (zh) | 一种移动机器人抓取作业***及控制方法 | |
| JP2024001106A (ja) | ロボットが技能を学習し実行するシステム、装置及び方法 | |
| CN112571415A (zh) | 一种基于视觉导引的机器人自主开门方法与*** | |
| CN114473998B (zh) | 一种自动开门的智能服务机器人*** | |
| Schnaubelt et al. | Autonomous assistance for versatile grasping with rescue robots | |
| Lunenburg et al. | Tech united eindhoven team description 2012 | |
| Sharan et al. | Design of an easy upgradable cost efficient autonomous assistive robot ROSWITHA | |
| Tang et al. | Grasp Planning Based on Deep Reinforcement Learning: A Brief Survey | |
| Chen et al. | Semiautonomous industrial mobile manipulation for industrial applications | |
| Linghan et al. | Dogget: A legged manipulation system in human environments | |
| Anderson et al. | Coordinated control and range imaging for mobile manipulation | |
| Abdulla | An intelligent multi-floor mobile robot transportation system in life science laboratories |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |