CN117428784A - 用于乘客辅助出行或无人化巡检的机器人远程操控*** - Google Patents
用于乘客辅助出行或无人化巡检的机器人远程操控*** Download PDFInfo
- Publication number
- CN117428784A CN117428784A CN202311677081.4A CN202311677081A CN117428784A CN 117428784 A CN117428784 A CN 117428784A CN 202311677081 A CN202311677081 A CN 202311677081A CN 117428784 A CN117428784 A CN 117428784A
- Authority
- CN
- China
- Prior art keywords
- robot
- remote
- driving
- screen
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- 230000006698 induction Effects 0.000 claims description 22
- 230000008447 perception Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000013461 design Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种用于乘客辅助出行或无人化巡检的机器人远程操控***，该***包括：机器人端硬件设备、远程驾驶端硬件设备以及地铁站内的网络通信设备；机器人端硬件设备包括：远程操控专用车载控制器和环境感知传感器；远程驾驶端硬件设备包括：远程端控制器、远程驾驶位；远程操控专用车载控制器将底盘状态信息和环境感知信息发送给远程端控制器，远程端控制器接收远程驾驶员在远程驾驶位输入的控制信号并发送到机器人端，由远程操控专用车载控制器根据控制信号对机器人的底盘运动控制单元进行控制。本申请解决了相关技术中的地铁站内用于乘客辅助出行或无人化巡检的机器人出行安全性与运行效率较低的问题，实现了对应安全性与运行效率的提升。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种用于乘客辅助出行或无人化巡检的机器人远程操控***。
背景技术
目前，城市轨道交通线网日益加密，客流量也急速增加。部分地铁车站由于多线交汇，不可避免地会产生车站内部的换乘问题。这对于不熟悉地铁站内部空间布局以及行动不便的乘客(残疾人、老年人或携带大件行李的乘客)来说，相关的辅助设备或指引措施有助于实现更好的轨道交通出行体验。特别是在地铁车站运营智慧化，管理少人化的发展大背景下，可实现地铁站内乘客辅助出行与无人化巡检功能的智能设备(例如机器人)需求增加。
现有的地铁站通常具有多层结构，其内部空间复杂，并且在高峰时期人流量可观。基于完全自主导航的机器人难以覆盖到所有复杂的场景中，特别是在人流量大的环境下，传统路径规划算法通常找不到可行驶的安全路径从而发生任务执行失败的情况。此外，在机器人通过闸机或等待电梯的时候，由于高人流量带来的影响，现有导航决策算法在面对排队场景时的性能表现往往不能满足要求。因此，现有技术中的地铁站内用于乘客辅助出行或无人化巡检的机器人面临着运行安全性与运行效率较低的问题。
目前，针对相关技术中的地铁站内用于乘客辅助出行或无人化巡检的机器人存在着的运行安全性与运行效率较低等问题，尚未提出有效的解决方案。
发明内容
本申请的目的是针对现有技术中的不足，提供一种用于乘客辅助出行或无人化巡检的机器人远程操控***及方法、计算机设备和计算机可读存储介质，以至少解决相关技术中的地铁站内用于乘客辅助出行或无人化巡检的机器人将会导致的运行安全性与运行效率较低的问题。
为实现上述目的，本申请采取的技术方案是：
第一方面，本申请实施例提供了一种用于乘客辅助出行或无人化巡检的机器人远程操控***，包括：机器人端硬件设备、远程驾驶端硬件设备以及地铁站内的网络通信设备；
所述机器人端硬件设备包括：远程操控专用车载控制器和环境感知传感器；其中，所述远程操控专用车载控制器用于获取机器人的底盘状态信息以及所述环境感知传感器采集的环境感知信息，并将所述底盘状态信息和所述环境感知信息发送给所述远程驾驶端硬件设备中的远程端控制器，以及接收所述远程端控制器的控制信号对所述机器人的底盘运动控制单元进行控制；
远程驾驶端硬件设备包括：远程端控制器、远程驾驶位；其中，所述远程端控制器用于将接收到的所述底盘状态信息和所述环境感知信息发送给所述远程驾驶位处的显示器进行展示，以及接收远程驾驶员在所述远程驾驶位输入的所述控制信号，并将所述控制信号发送至所述远程操控专用车载控制器。
在其中一些实施例中，所述远程操控专用车载控制器通过UART串口与所述机器人的控制***相连接，用于对所述机器人的自动驾驶模式和远程操控模式进行切换。
在其中一些实施例中，所述远程驾驶位包括：
驾驶员座椅，内部设置有用于调节座椅坐垫的高度、座椅与操控控制装置之间的纵向距离以及座椅靠背的倾斜角度的机械装置；
所述操控控制装置，包括线控方向盘、加速踏板与制动踏板，所述远程驾驶员通过操控所述操控控制装置向所述机器人发送所述控制信号；
信息显示交互装置，包括LED显示大屏与控制面板，其中，所述LED显示大屏用于展示所述底盘状态信息和所述环境感知信息，所述控制面板用于对所述机器人进行远程控制功能的相关设置。
在其中一些实施例中，所述控制信号包括：所述线控方向盘的转向角度δf，所述加速踏板的角度αa，所述制动踏板的角度αb，其中，所述机器人的底盘采用两轮差速驱动，采用以下公式将所述控制信号转化为所述底盘左右轮的角速度控制信号：
wL＝(2v-Lδf)/2r,wR＝(2v+Lδf)/2r
其中，wL为左轮的角速度，wR为右轮的角速度，v为所述机器人的行驶线速度，L为预设阿克曼转向模型中前后轮的轴距，r为所述机器人的轮胎半径。
在其中一些实施例中，所述LED显示大屏包括：驾驶主视角屏幕，机器人鸟瞰视角屏幕以及定位显示屏幕；其中，所述驾驶主视角屏幕采用横向布置的三联屏设计；所述机器人鸟瞰视角屏幕布置于所述驾驶主视角屏幕中间下部的位置，用于确定所述机器人周边侧向的障碍物以及所述机器人与所述障碍物之间的距离；所述定位显示屏幕布置于所述驾驶主视角屏幕左侧下部的位置，用于确定所述机器人在地铁站环境中的位置信息。
在其中一些实施例中，所述驾驶主视角屏幕用于通过以下功能中的至少之一实现视觉增强：
将所述机器人配置的激光雷达的二维点云投影到所述驾驶主视角屏幕增强显示；
将地面预铺设的磁感线投影到所述驾驶主视角屏幕增强显示；
将所述机器人预测的前进曲线投影到所述驾驶主视角屏幕增强显示。
在其中一些实施例中，所述将所述机器人配置的激光雷达的二维点云投影到所述驾驶主视角屏幕增强显示包括：
获取主摄像头内参cx,cy,fx,fy以及主摄像头与激光雷达坐标间的变换矩阵
将点pi的在激光雷达坐标系下l的坐标lpi通过变换投影到主摄像头坐标系c下，并计算该点在主摄像头成像平面中的像素坐标u＝fx cpi_x+cx cpi_z与像素坐标v＝fy cpi_y+cy cpi_z；
将像素坐标u，v确定为该点应同步显示在所述驾驶主视角屏幕中的位置。
在其中一些实施例中，所述将地面预铺设的磁感线投影到所述驾驶主视角屏幕增强显示包括：
通过融合当前所述机器人在地铁站内的定位坐标与预设磁感线的几何参数，得到当前所述机器人感知域内磁感线的二维空间离散表示；
使用经过标定的主摄像头与所述机器人机体坐标间的变换矩阵将感知域内离散的磁感线投影到所述驾驶主视角屏幕上进行显示。
在其中一些实施例中，所述将所述机器人预测的前进曲线投影到所述驾驶主视角屏幕增强显示包括：
根据所述远程驾驶位线控方向盘的转向角度δf，在地面对应的二维平面中计算所述机器人的预测前进曲线，并通过所述变换矩阵将所述前进曲线投影到所述驾驶主视角屏幕上进行增强显示，其中，所述前进曲线的弧度与所述线控方向盘的转向角度δf成正比，所述前进曲线的长度与所述机器人的线速度vx有关，所述前进曲线有预设的最小长度lmin，根据所述机器人的实时线速度的大小改变所述前进曲线显示的长度：lcurve＝lmin+k·vx，其中，k为预设可调参数。
在其中一些实施例中，通过以下公式将所述机器人侧向摄像头中的每个像素唯一映射到鸟瞰图坐标系中特定位置的像素：
其中，KBEV与[RBEV|tBEV]分别为鸟瞰图坐标系中的相机内参矩阵与外参矩阵。
第二方面，本申请实施例提供了一种用于上述第一方面所述的用于乘客辅助出行或无人化巡检的机器人远程操控***的远程操控方法，包括：
检测是否接收到机器人发送的任务失败报警信息，其中，所述任务失败报警信息为所述机器人执行自动导航任务失败并关闭自动驾驶模式后触发生成的信息；
若检测到所述任务失败报警信息，远程操控专用车载控制器将所述任务失败报警信息同步至远程端控制器，其中，所述远程端控制器在接收到所述任务失败报警信息之后，要求远程驾驶员在远程驾驶位输入控制信号；
机器人端远程操控专用车载控制器接收所述远程端控制器发送的所述控制信号，所述控制信号用于对所述机器人进行远程操控。
在其中一些实施例中，还包括：
接收所述远程端控制器发送的任务重启信号，其中，所述任务重启信号用于指示在对所述机器人进行远程操控结束之后，控制所述机器人恢复所述自动驾驶模式；
将所述任务重启信号发送给所述机器人，以控制所述机器人恢复所述自动驾驶模式。
在其中一些实施例中，还包括：
所述机器人在处于所述自动驾驶模式时，判断当前执行的自动导航任务是否能够完成；
若判断出所述当前执行的任务无法完成，则触发生成所述任务失败报警信息。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第二方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第二方面所述的方法。
本申请采用以上技术方案，与现有技术相比，本申请实施例提供的用于乘客辅助出行或无人化巡检的机器人远程操控***包括：机器人端硬件设备、远程驾驶端硬件设备以及地铁站内的网络通信设备，通过将远程操控技术引入到地铁站内用于辅助乘客出行或无人化巡检的机器人，有助于在机器人自身完成决策的基础之上增加人工远程操控介入的部分，保证了***在地铁站内的复杂场景下依然能够可靠运行，解决了相关技术中的地铁站内用于乘客辅助出行或无人化巡检的机器人将会导致将会导致的运行安全性与运行效率较低的问题，实现了一定程度上对应安全性与运行效率的提升。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的用于乘客辅助出行或无人化巡检的机器人远程操控***的结构示意图；
图2是根据本申请实施例的用于乘客辅助出行或无人化巡检的机器人远程操控***的硬件架构图；
图3是根据本申请实施例的信息显示交互装置的结构示意图；
图4是根据本申请实施例的驾驶主视角屏幕增强显示的示意图；
图5是根据本申请实施例的机器人定位显示屏幕增强显示的示意图；
图6是根据本申请实施例的用于乘客辅助出行或无人化巡检的机器人远程操控方法的流程图；
图7是根据本申请实施例的机器人人机交互执行流程的示意图；
图8是根据本申请实施例的用于乘客辅助出行或无人化巡检的机器人远程操控装置的结构框图；
图9为根据本申请实施例的计算机设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供了一种用于乘客辅助出行或无人化巡检的机器人远程操控***。图1是根据本申请实施例的用于乘客辅助出行或无人化巡检的机器人远程操控***的结构示意图，如图1所示，该***包括：机器人端硬件设备10、远程驾驶端硬件设备20以及地铁站内的网络通信设备30。
所述机器人端硬件设备10包括：远程操控专用车载控制器101和环境感知传感器102；其中，所述远程操控专用车载控制器101用于获取机器人的底盘状态信息以及所述环境感知传感器102采集的环境感知信息，并将所述底盘状态信息和所述环境感知信息发送给所述远程驾驶端硬件设备20中的远程端控制器201，以及接收所述远程端控制器201的控制信号对所述机器人的底盘运动控制单元进行控制。可选地，所述远程操控专用车载控制器101通过UART串口与所述机器人的控制***相连接，用于对所述机器人的自动驾驶模式和远程操控模式进行切换以及其他控制功能。
远程驾驶端硬件设备20包括：远程端控制器201、远程驾驶位202；其中，所述远程端控制器201用于将接收到的所述底盘状态信息和所述环境感知信息发送给所述远程驾驶位202处的显示器进行展示，以及接收远程驾驶员在所述远程驾驶位202输入的所述控制信号，并将所述控制信号发送至所述远程操控专用车载控制器101。
图2是根据本申请实施例的用于乘客辅助出行或无人化巡检的机器人远程操控***的硬件架构图，如图2所示，用于地铁站内AGV(Automated Guided Vehicle，自动导引运输车)服务机器人的远程操控***，也即地铁站内用于乘客辅助出行或无人化巡检的机器人的远程操控***，由机器人端硬件设备(包括远程操控专用车载控制器，与诸如主摄像头、侧向环视摄像头等环境感知传感器)，以及远程驾驶端的硬件设备(包含远程驾驶位，远程端控制器)与地铁站内的网络通信设备共同组成。该***内的软件核心算法依托于ROS***实现，并使用车站内部搭建的局域网实现分布式ROS节点间的通信。
其中，机器人端的远程操控专用车载控制器通过CAN总线与原有机器人线控底盘中的核心运动控制单元相连，其作为重要接口实现机器人远程操控的功能。该远程操控专用车载控制器配置有嵌入式处理器，运行有ROS***。一方面，其通过CAN分析仪获取机器人端所有CAN报文并进行解析以获取机器人的底盘实时状态信息与传感器信息，转化为ROS中的消息格式并通过无线网卡连接已有无线局域网发送到远程驾驶端的ROS节点，包括但不限于当前机器人的电机转速，机器人位置信息，机器人行驶模式，任务完成状态等。此外，如果原有机器人已配置有激光雷达或摄像头等环境感知传感器，则同样需要从对应的控制器中接入其数据到该远程操控专用车载控制器中，再转化为ROS中的消息格式进行到远程驾驶端的发送。如果这些传感器在原始机器人中未进行部署，则需要额外进行安装，并使用USB接口直接与远程操控专用车载控制器进行数据传输。其中，主、侧向摄像头视频流与激光雷达扫描点云等数据会通过高速局域网发送到远端的ROS节点，用于表示实时的环境感知信息。另一方面，该远程操控专用车载控制器从远端接收控制信号，转换为CAN信号并发送至线控底盘中的CAN总线，以通过对底盘运动控制单元的控制，实现机器人底盘的运动。最后，为了实现驾驶模式的切换，该远程操控专用车载控制器还需要通过串口与机器人原有的控制***相连接，以启动或关闭原有的自动驾驶模式(关闭自动驾驶模式即代表接入远程操控模式)。上述机器人端的架构可以实现对原有机器人***的最小修改。
此外，在远程驾驶端，远程端控制器为服务器设备，同样运行有ROS***。一方面，该远程端控制器用于获取并处理机器人端发送过来的底盘状态信息与环境感知信息，其通过ROS中的消息格式直接呈现，具体的处理内容与数据处理方式此处不做具体限定，包含在远程驾驶位处使用显示器对当前的视频流以及处理的数据进行可视化展示。另一方面，其通过USB接口接入远程驾驶位装备的线控方向盘，加速踏板与制动踏板，用于对从远程驾驶员输入的控制信号进行处理并以ROS中的消息格式发送到机器人端。
为了构建车站内部的无线局域网***，车站内不同点位需要架设网络通信设备(无线AP)，保证机器人端与远程控制端的数据传输过程，并尽量较少传输的延迟。
在其中一些实施例中，如图2所示，所述远程驾驶位包括：驾驶员座椅，所述操控控制装置，信息显示交互装置。
驾驶员座椅内部设置有用于调节座椅坐垫的高度、座椅与操控控制装置之间的纵向距离以及座椅靠背的倾斜角度的机械装置。
所述操控控制装置，包括线控方向盘、加速踏板与制动踏板，所述远程驾驶员通过操控所述操控控制装置向所述机器人发送所述控制信号。可选地，所述控制信号包括：所述线控方向盘的转向角度δf，所述加速踏板的角度αa，所述制动踏板的角度αb，其中，所述机器人的底盘采用两轮差速驱动，采用以下公式将所述控制信号转化为所述底盘左右轮的角速度控制信号：
wL＝(2v-Lδf)/2r,wR＝(2v+Lδf)/2r
其中，wL为左轮的角速度，wR为右轮的角速度，v为所述机器人的行驶线速度，L为预设阿克曼转向模型中前后轮的轴距，r为所述机器人的轮胎半径。
信息显示交互装置，包括LED显示大屏与控制面板，其中，所述LED显示大屏用于展示所述底盘状态信息和所述环境感知信息，所述控制面板用于对所述机器人进行远程控制功能的相关设置。
可选地，所述LED显示大屏包括：驾驶主视角屏幕，机器人鸟瞰视角屏幕以及定位显示屏幕；其中，所述驾驶主视角屏幕采用横向布置的三联屏设计；所述机器人鸟瞰视角屏幕布置于所述驾驶主视角屏幕中间下部的位置，用于确定所述机器人周边侧向的障碍物以及所述机器人与所述障碍物之间的距离；所述定位显示屏幕布置于所述驾驶主视角屏幕左侧下部的位置，用于确定所述机器人在地铁站环境中的位置信息。
可选地，所述驾驶主视角屏幕用于通过以下功能中的至少之一实现视觉增强：
将所述机器人配置的激光雷达的二维点云投影到所述驾驶主视角屏幕增强显示；
将地面预铺设的磁感线投影到所述驾驶主视角屏幕增强显示，其中，地面预铺设的磁感线用于引导机器人在自动驾驶模式下的行驶轨迹；
将所述机器人预测的前进曲线投影到所述驾驶主视角屏幕增强显示。
可选地，所述将所述机器人配置的激光雷达的二维点云投影到所述驾驶主视角屏幕增强显示包括：
获取主摄像头内参cx,cy,fx,fy以及主摄像头与激光雷达坐标间的变换矩阵
将点pi的在激光雷达坐标系下l的坐标lpi通过变换投影到主摄像头坐标系c下，并计算该点在主摄像头成像平面中的像素坐标u＝fx cpi_x+cx cpi_z与像素坐标v＝fy cpi_y+cy cpi_z；
将像素坐标u，v确定为该点应同步显示在所述驾驶主视角屏幕中的位置。
可选地，所述将地面预铺设的磁感线投影到所述驾驶主视角屏幕增强显示包括：
通过融合当前所述机器人在地铁站内的定位坐标与预设磁感线的几何参数，得到当前所述机器人感知域内磁感线的二维空间离散表示；
使用经过标定的主摄像头与所述机器人机体坐标间的变换矩阵将感知域内离散的磁感线投影到所述驾驶主视角屏幕上进行显示。
可选地，所述将所述机器人预测的前进曲线投影到所述驾驶主视角屏幕增强显示包括：
根据所述远程驾驶位线控方向盘的转向角度δf，在地面对应的二维平面中计算所述机器人的预测前进曲线，并通过所述变换矩阵将所述前进曲线投影到所述驾驶主视角屏幕上进行增强显示，其中，所述前进曲线的弧度与所述线控方向盘的转向角度δf成正比，所述前进曲线的长度与所述机器人的线速度vx有关，所述前进曲线有预设的最小长度lmin，根据所述机器人的实时线速度的大小改变所述前进曲线显示的长度：lcurve＝lmin+k·vx，其中，k为预设可调参数。
可选地，通过以下公式将所述机器人侧向摄像头中的每个像素唯一映射到鸟瞰图坐标系中特定位置的像素：
其中，KBEV与[RBEV|tBEV]分别为鸟瞰图坐标系中的相机内参矩阵与外参矩阵。
本发明实施例中的远程驾驶位的设计目标是首先要为远程驾驶员提供一个舒适的、符合人体工程学的工作环境，其次是通过对远端环境感知信息的实时回传可视化与合理人机交互的设计，为远程驾驶员提供一个尽可能真实的远端环境重现，利于其做出合理的操控决策，保证了在远程操控驾驶过程中的安全性。
远程驾驶位共包括三个部分，分别为驾驶员座椅、操控控制装置以及信息显示交互装置。
首先，类似于汽车驾驶位，驾驶员座椅的造型需要满足人体工程学设计，提供内部手动调节的机械装置，用于调整座椅坐垫的高度、座椅与操控控制装置之间的纵向距离以及座椅靠背的倾斜角度。远程驾驶位的操控控制装置同样与汽车驾驶位类似，包含简单的线控方向盘、加速踏板与制动踏板。这样的设计保证了远程驾驶员可以拥有和驾驶汽车近乎一致的体验，不用从零开始学***滑的，提升了行驶时的平顺性。
其次，远程驾驶位的信息显示交互装置包含了LED显示大屏与控制面板两个部分，如图3所示。LED显示大屏由以下的三个显示模块(驾驶主视角屏幕，机器人鸟瞰视角屏幕，定位显示屏幕)组成，用于为远程驾驶员提供详尽的，具备人机交互属性的机器人端实时环境感知信息。控制面板则是实现远程驾驶控制的人机交互重要接口，也是所属服务器设备的对外操作界面，所有的设置均在此处进行。具体的，驾驶主视角屏幕是横向布置的三联大屏设计。此外，机器人鸟瞰视角屏幕、定位显示屏幕与控制面板形成了另外一个小型三联屏，展现在远程驾驶员的前方。
驾驶主视角屏幕：该驾驶主视角屏幕采用横向布置的三联屏设计，保证了远程驾驶员在操控驾驶的过程中拥有横向上开阔的视角。此外，驾驶主视角屏幕除了显示机器人端主摄像头发送来的实时画面外，通过以下的功能实现视觉加强，帮助远程驾驶员获得更加真实、直观的环境信息。(1)为了辅助远程驾驶员对空间中物体的径向距离进行感知，将AGV机器人配置的激光雷达的实时二维点云投影到该驾驶主视角屏幕上加强显示，以弥补普通相机不能提供深度信息的缺陷：该功能实现的前提是需要完成对主摄像头内参以及主摄像头与激光雷达间空间位置进行标定，以得到相机内参cx,cy,fx,fy以及主摄像头与激光雷达坐标间的变换矩阵具体的，将空间中得到点云的某个点pi的在激光雷达坐标系下l的坐标lpi通过变换/>投影到主摄像头坐标系c下，并继续通过相机内参计算该点在主摄像头成像平面中的像素坐标u＝fx cpi_x+cx cpi_z与像素坐标v＝fy cpi_y+cy cpi_z。该像素坐标u，v即为该激光点应同步显示在驾驶主视角屏幕中的位置。(2)为了辅助远程驾驶员对预设行进方向有大致的判断，将地面预铺设的磁感线投影到该驾驶主视角屏幕上进行加强显示。具体的，通过融合当前的AGV机器人在车站内的定位坐标与预设AGV磁感线的几何参数，得到当前机器人感知域内AGV磁感线的二维空间离散表示。接着，使用经过标定的主摄像头与机器人机体坐标的变换矩阵/>将感知域内离散的磁感线投影到该驾驶主视角屏幕上进行显示。(3)为了辅助远程驾驶员对机器人预计的前进方向与距离有大致的判断，根据实时的方向盘转角δf，在地面二维平面中计算机器人的预测前进曲线，并通过变换矩阵/>将曲线投影到该驾驶主视角屏幕上进行加强显示。其中，该曲线的弧度与实时的线控方向盘转向角δf成正比，通过阿克曼约束进行计算。该曲线的长度与机器人实时的线速度vx有关，曲线有预设的最小长度lmin，并根据实时线速度的大小改变其显示的长度：lcurve＝lmin+k·vx，其中，k为一可调参数。将预测的机器人前进曲线显示为可变长度的目的在于，如果机器人当前的线速度越大，则该曲线的长度会越长，因此可以通过线条的长度直觉地提醒远程驾驶员注意可能的刹车距离，避免与前方障碍物的距离过于接近而造成危险。驾驶主视角屏幕增强显示如图4所示，大圆圈表示激光雷达点，线条虚线表示预设磁感线，点虚线表示预计行驶路线。
机器人鸟瞰视角屏幕：该机器人鸟瞰视角屏幕布置于驾驶主视角屏幕中间下部的位置，屏幕法向角度斜向上方，保证远程驾驶员可以正确，直觉地理解鸟瞰图中所展示的周边环境感知信息。鸟瞰视角的意义在于通过视觉手段帮助远程驾驶员全面感知机器人周边侧向的障碍物，以及与这些障碍物之间的距离，保证了安全驾驶。鸟瞰视角的生成依赖于布置在机器人机身侧面的前后左右的四个侧向摄像头，通过透视变化可以将侧向摄像头中的每个像素唯一映射到鸟瞰图中特定为位置的像素，其转换公式如下，其中，KBEV与[RBEV|tBEV]分别为鸟瞰图坐标系中的相机内参与外参矩阵：
类似的，通过以下的功能实现视觉增强，帮助远程驾驶员获得更加真实，直观的环境信息：(1)为了辅助远程驾驶员对空间中物体的径向距离进行感知，将AGV机器人配置的激光雷达的实时二维点云投影到该机器人鸟瞰视角屏幕上进行加强显示。(2)为了辅助远程驾驶员对预设行进方向有大致的判断，将地面预铺设的磁感线投影到该机器人鸟瞰视角屏幕上进行加强显示。
定位显示屏幕：该定位显示屏幕布置于驾驶主视角屏幕左侧下部的位置，主要目的是帮助驾驶员获得当前机器人在环境中的位置信息。具体的，该显示屏接入当前地铁站的建筑信息模型(BIM模型)，并对该模型进行显示渲染。特别的，建筑信息模型中需要录入传统的建筑元素以及地铁站内的特有元素并进行加强显示，包括但不限于传统的土建结构(墙、柱或通道)、地铁站内的乘客服务中心、自动售票机、出入站闸机，电梯等。通过加强显示，这些站内的标志性元素将会提示远程驾驶员当前机器人所处位置，帮助远程驾驶员选择合适的行驶路线，尤其是当机器人的实时驾驶主视角中全部是人流从而导致无法看清前路的情况。在渲染中，主视角始终选择为当前机器人的实时位置附近的点，远程驾驶员可以通过触屏操作进行视角的简单平移或旋转。特别的，除了对建筑信息模型进行渲染外，机器人模型同样依据当前视角显示在屏幕中，如图5所示。
本发明实施例首先助力于推动将AGV机器人用于地铁站内辅助乘客出行或无人化巡检的场景，并特别针对一些复杂环境下的导航场景进行额外的功能覆盖：例如机器人遇到人流密集区域(地铁站在高峰时期的显著特点)，遇到等待电梯、等待排队通过闸机的场景，内置的自动导航算法由于考虑到安全性，其采用的决策往往相当保守，无法满足地铁站内高人流量场景下的运行效率。这时，通过人工介入的方式进行远程操控，通过人工对场景的判断，可以实现对这些复杂场景的覆盖，使得总体导航任务的执行是顺畅的，不会遇到失败的情况。通过对运行效率及运行安全性的提升，进一步提升了该类机器人在地铁站中的可用性。
此外，通过对远程驾驶位的特殊设计，保证了远程驾驶员即便身处远端，也可以切身感受到实际得场景，使用人工操控帮助机器人脱离复杂的场景，提升了安全性，具有实际的使用意义。
本实施例提供了一种用于上述实施例的用于乘客辅助出行或无人化巡检的机器人远程操控***的远程操控方法。图6是根据本申请实施例的用于乘客辅助出行或无人化巡检的机器人远程操控方法的流程图，如图6所示，该流程包括如下步骤：
步骤S601，检测是否接收到机器人发送的任务失败报警信息，其中，所述任务失败报警信息为所述机器人执行自动导航任务失败并关闭自动驾驶模式后触发生成的信息；
步骤S602，若检测到所述任务失败报警信息，远程操控专用车载控制器将所述任务失败报警信息同步至远程端控制器，其中，所述远程端控制器在接收到所述任务失败报警信息之后，要求远程驾驶员在远程驾驶位输入控制信号；
步骤S603，机器人端远程操控专用车载控制器接收所述远程端控制器发送的所述控制信号，所述控制信号用于对所述机器人进行远程操控。
在使用时，首先，会不断检测是否接收到机器人发送的任务失败报警信息，这些信息是由机器人在执行自动导航任务失败并关闭自动驾驶模式后触发生成的。一旦***检测到这些报警信息，将会将这些信息同步发送至远程端控制器。远程端控制器是一个关键的环节，它位于远程驾驶员所在的位置。在接收到任务失败报警信息之后，远程驾驶员可以在远程驾驶位上输入控制信号，这些信号将被用于对机器人进行远程操控。最后，远程驾驶员的输入的控制信号会被传送到机器人，从而实现对机器人的远程操控。本实施例的技术方案允许远程驾驶员在机器人执行自动导航任务失败或面临复杂情况时，能够快速介入并提供远程操控，以确保机器人在特殊情况下能够安全、高效地完成任务。这种灵活性和实时响应的能力大大提高了机器人在地铁站内应用过程中的可靠性和安全性。
在其中一些实施例中，还包括：
接收所述远程端控制器发送的任务重启信号，其中，所述任务重启信号用于指示在对所述机器人进行远程操控结束之后，控制所述机器人恢复所述自动驾驶模式；
将所述任务重启信号发送给所述机器人，以控制所述机器人恢复所述自动驾驶模式。
通过引入了任务重启信号的机制，允许在远程操控结束后，***可以自动将机器人恢复到自动驾驶模式。远程驾驶员在解决特殊情况后，无需手动切换机器人回到自动驾驶模式，而是通过发送任务重启信号，***会自动将机器人的控制模式切换回自动驾驶模式。这不仅减轻了远程驾驶员的操作负担，还确保了机器人在恢复自动驾驶模式后可以继续执行任务，提高了***的自动化程度和操作的便捷性，对于提高机器人在复杂环境下的应对能力和任务执行的连续性具有重要意义。
需要说明的是，上述步骤均由机器人控制***平台执行，该机器人控制***平台是机器人和远程操控端之间的媒介，负责信息传输。
在其中一些实施例中，在机器人端，机器人还可以执行：
所述机器人在处于所述自动驾驶模式时，判断当前执行的自动导航任务是否能够完成；
若判断出所述当前执行的任务无法完成，则触发生成所述任务失败报警信息。
机器人在自动驾驶模式下能够主动判断当前执行的自动导航任务是否能够完成，一旦判断出任务无法完成，便会触发生成任务失败报警信息，提高了机器人的智能决策能力和自我保护机制。机器人可以根据实时的环境情况和路径规划情况来判断任务的可行性，避免了潜在的危险情况。通过主动触发任务失败报警信息，***能够更早地引起远程驾驶员的注意，使其能够及时介入并采取必要的措施，从而减少了任务执行过程中的意外事件和损害风险，有助于保护设备和维护人员的安全。
图7是根据本申请实施例的机器人人机交互执行流程的示意图，如图7所示，原有AGV机器人的自动驾驶***在正常时间段内保持自动运行的状态，用于完成地铁站内点到点的导航任务。如是在执行任务的过程中，机器人遇到不可解决的情况(例如机器人当前无法找到一条无碰撞的安全路径，并且尝试重新规划路线几次后仍然失败)，则机器人会在机器人控制***平台(如图7所示的RCS***)中进行报警，并通知相应的工作人员进行查看。
远程驾驶员此时可以在远程驾驶位中准备就位，开启该远程驾驶位的相关设备。机器人控制***平台中接收的任务失败报警会自动同步到远程驾驶端控制器中。驾驶员可以在远程驾驶位的信息显示交互屏中根据报警提示开启远程手动驾驶模式，暂停当前失败任务的自动执行。
当远程驾驶员将AGV机器人驾驶到一个新的位置(较为简单，空旷的环境)后，可以在远程驾驶位的信息显示交互屏中重新启动此前被暂停的点到点导航任务，该重启指令会同步到机器人控制***平台，并发布到机器人端。如果此时机器人根据当前的全新位置、全新环境可以重新进行路径规划，则机器人继续自动开始执行此前的点到点导航任务，远程驾驶员的职责到此结束。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例提供了一种用于乘客辅助出行或无人化巡检的机器人远程操控装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8是根据本申请实施例的用于乘客辅助出行或无人化巡检的机器人远程操控装置的结构框图，如图8所示，该装置包括：
检测单元81，用于检测是否接收到机器人发送的任务失败报警信息，其中，所述任务失败报警信息为所述机器人执行自动导航任务失败并关闭自动驾驶模式后触发生成的信息；
发送单元82，用于若检测到所述任务失败报警信息，远程操控专用车载控制器将所述任务失败报警信息同步至远程端控制器，其中，所述远程端控制器在接收到所述任务失败报警信息之后，要求远程驾驶员在远程驾驶位输入控制信号；
接收单元83，用于接收所述远程端控制器发送的所述控制信号，所述控制信号用于对所述机器人进行远程操控。
在其中一些实施例中，该装置还包括：
重启单元，用于接收所述远程端控制器发送的任务重启信号，其中，所述任务重启信号用于指示在对所述机器人进行远程操控结束之后，控制所述机器人恢复所述自动驾驶模式；
恢复单元，用于将所述任务重启信号发送给所述机器人，以控制所述机器人恢复所述自动驾驶模式。
在其中一些实施例中，该装置还包括：
判断单元，用于所述机器人在处于所述自动驾驶模式时，判断当前执行的自动导航任务是否能够完成；
触发单元，用于若判断出所述当前执行的任务无法完成，则触发生成所述任务失败报警信息。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例提供了一种计算机设备。结合本申请实施例用于乘客辅助出行或无人化巡检的机器人远程操控方法可以由计算机设备来实现。图9为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器901以及存储有计算机程序指令的存储器902。
具体地，上述处理器901可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器902可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器902可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器902可在数据处理装置的内部或外部。在特定实施例中，存储器902是非易失性(Non-Volatile)存储器。在特定实施例中，存储器902包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器902可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器901所执行的可能的计算机程序指令。
处理器901通过读取并执行存储器902中存储的计算机程序指令，以实现上述实施例中的任意一种用于乘客辅助出行或无人化巡检的机器人远程操控方法。
在其中一些实施例中，计算机设备还可包括通信接口903和总线900。其中，如图9所示，处理器901、存储器902、通信接口903通过总线900连接并完成相互间的通信。
通信接口903用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口903还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线900包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线900包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线900可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、***组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线900可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的用于乘客辅助出行或无人化巡检的机器人远程操控方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种用于乘客辅助出行或无人化巡检的机器人远程操控方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种用于乘客辅助出行或无人化巡检的机器人远程操控***，其特征在于，包括：机器人端硬件设备、远程驾驶端硬件设备以及地铁站内的网络通信设备；
所述机器人端硬件设备包括：远程操控专用车载控制器和环境感知传感器；其中，所述远程操控专用车载控制器用于获取机器人的底盘状态信息以及所述环境感知传感器采集的环境感知信息，并将所述底盘状态信息和所述环境感知信息发送给所述远程驾驶端硬件设备中的远程端控制器，以及接收所述远程端控制器的控制信号对所述机器人的底盘运动控制单元进行控制；
远程驾驶端硬件设备包括：远程端控制器、远程驾驶位；其中，所述远程端控制器用于将接收到的所述底盘状态信息和所述环境感知信息发送给所述远程驾驶位处的显示器进行展示，以及接收远程驾驶员在所述远程驾驶位输入的所述控制信号，并将所述控制信号发送至所述远程操控专用车载控制器。
2.根据权利要求1所述的***，其特征在于，所述远程操控专用车载控制器通过UART串口与所述机器人的控制***相连接，用于对所述机器人的自动驾驶模式和远程操控模式进行切换。
3.根据权利要求1所述的***，其特征在于，所述远程驾驶位包括：
驾驶员座椅，内部设置有用于调节座椅坐垫的高度、座椅与操控控制装置之间的纵向距离以及座椅靠背的倾斜角度的机械装置；
所述操控控制装置，包括线控方向盘、加速踏板与制动踏板，所述远程驾驶员通过操控所述操控控制装置向所述机器人发送所述控制信号；
信息显示交互装置，包括LED显示大屏与控制面板，其中，所述LED显示大屏用于展示所述底盘状态信息和所述环境感知信息，所述控制面板用于对所述机器人进行远程控制功能的相关设置。
4.根据权利要求3所述的***，其特征在于，所述控制信号包括：所述线控方向盘的转向角度δf，所述加速踏板的角度αa，所述制动踏板的角度αb，其中，所述机器人的底盘采用两轮差速驱动，采用以下公式将所述控制信号转化为所述底盘左右轮的角速度控制信号：
wL＝(2v-Lδf)/2r,wR＝(2v+Lδf)/2r
其中，wL为左轮的角速度，wR为右轮的角速度，v为所述机器人的行驶线速度，L为预设阿克曼转向模型中前后轮的轴距，r为所述机器人的轮胎半径。
5.根据权利要求3所述的***，其特征在于，所述LED显示大屏包括：驾驶主视角屏幕，机器人鸟瞰视角屏幕以及定位显示屏幕；其中，所述驾驶主视角屏幕采用横向布置的三联屏设计；所述机器人鸟瞰视角屏幕布置于所述驾驶主视角屏幕中间下部的位置，用于确定所述机器人周边侧向的障碍物以及所述机器人与所述障碍物之间的距离；所述定位显示屏幕布置于所述驾驶主视角屏幕左侧下部的位置，用于确定所述机器人在地铁站环境中的位置信息。
6.根据权利要求5所述的***，其特征在于，所述驾驶主视角屏幕用于通过以下功能中的至少之一实现视觉增强：
将所述机器人配置的激光雷达的二维点云投影到所述驾驶主视角屏幕增强显示；
将地面预铺设的磁感线投影到所述驾驶主视角屏幕增强显示；
将所述机器人预测的前进曲线投影到所述驾驶主视角屏幕增强显示。
7.根据权利要求6所述的***，其特征在于，所述将所述机器人配置的激光雷达的二维点云投影到所述驾驶主视角屏幕增强显示包括：
获取主摄像头内参cx,cy,fx,fy以及主摄像头与激光雷达坐标间的变换矩阵
将点pi的在激光雷达坐标系下l的坐标lpi通过变换投影到主摄像头坐标系c下，并计算该点在主摄像头成像平面中的像素坐标u＝fx cpi_x+cx cpi_z与像素坐标v＝fy cpi_y+cy cpi_z；
将像素坐标u，v确定为该点应同步显示在所述驾驶主视角屏幕中的位置。
8.根据权利要求6所述的***，其特征在于，所述将地面预铺设的磁感线投影到所述驾驶主视角屏幕增强显示包括：
通过融合当前所述机器人在地铁站内的定位坐标与预设磁感线的几何参数，得到当前所述机器人感知域内磁感线的二维空间离散表示；
使用经过标定的主摄像头与所述机器人机体坐标间的变换矩阵将感知域内离散的磁感线投影到所述驾驶主视角屏幕上进行显示。
9.根据权利要求8所述的***，其特征在于，所述将所述机器人预测的前进曲线投影到所述驾驶主视角屏幕增强显示包括：
根据所述远程驾驶位线控方向盘的转向角度δf，在地面对应的二维平面中计算所述机器人的预测前进曲线，并通过所述变换矩阵将所述前进曲线投影到所述驾驶主视角屏幕上进行增强显示，其中，所述前进曲线的弧度与所述线控方向盘的转向角度δf成正比，所述前进曲线的长度与所述机器人的线速度vx有关，所述前进曲线有预设的最小长度lmin，根据所述机器人的实时线速度的大小改变所述前进曲线显示的长度：lcurve＝lmin+k·vx，其中，k为预设可调参数。
10.根据权利要求5所述的***，其特征在于，通过以下公式将所述机器人侧向摄像头中的每个像素唯一映射到鸟瞰图坐标系中特定位置的像素：
其中，KBEV与[RBEV|tBEV]分别为鸟瞰图坐标系中的相机内参矩阵与外参矩阵。
11.一种用于权利要求1至10中任一项所述的用于乘客辅助出行或无人化巡检的机器人远程操控***的远程操控方法，其特征在于，包括：
检测是否接收到机器人发送的任务失败报警信息，其中，所述任务失败报警信息为所述机器人执行自动导航任务失败并关闭自动驾驶模式后触发生成的信息；
若检测到所述任务失败报警信息，远程操控专用车载控制器将所述任务失败报警信息同步至远程端控制器，其中，所述远程端控制器在接收到所述任务失败报警信息之后，要求远程驾驶员在远程驾驶位输入控制信号；
机器人端远程操控专用车载控制器接收所述远程端控制器发送的所述控制信号，所述控制信号用于对所述机器人进行远程操控。
12.根据权利要求11所述的方法，其特征在于，还包括：
接收所述远程端控制器发送的任务重启信号，其中，所述任务重启信号用于指示在对所述机器人进行远程操控结束之后，控制所述机器人恢复所述自动驾驶模式；
将所述任务重启信号发送给所述机器人，以控制所述机器人恢复所述自动驾驶模式。
13.根据权利要求11所述的方法，其特征在于，还包括：
所述机器人在处于所述自动驾驶模式时，判断当前执行的自动导航任务是否能够完成；
若判断出所述当前执行的任务无法完成，则触发生成所述任务失败报警信息。
14.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求11至13中任一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求11至13中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311677081.4A CN117428784A (zh) | 2023-12-07 | 2023-12-07 | 用于乘客辅助出行或无人化巡检的机器人远程操控*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311677081.4A CN117428784A (zh) | 2023-12-07 | 2023-12-07 | 用于乘客辅助出行或无人化巡检的机器人远程操控*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117428784A true CN117428784A (zh) | 2024-01-23 |
Family
ID=89550113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311677081.4A Pending CN117428784A (zh) | 2023-12-07 | 2023-12-07 | 用于乘客辅助出行或无人化巡检的机器人远程操控*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117428784A (zh) |
-
2023
- 2023-12-07 CN CN202311677081.4A patent/CN117428784A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11789461B2 (en) | Autonomous vehicle collision mitigation systems and methods | |
| US11789445B2 (en) | Remote control system for training deep neural networks in autonomous machine applications | |
| US11249474B2 (en) | Safety of autonomous vehicles using a virtual augmented support environment | |
| US10908604B2 (en) | Remote operation of vehicles in close-quarter environments | |
| CN111736604B (zh) | 一种远程驾驶控制方法、装置、设备及存储介质 | |
| US11996902B2 (en) | Vehicle remote instruction system | |
| US10996668B2 (en) | Systems and methods for on-site recovery of autonomous vehicles | |
| WO2020116195A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 | |
| CN113348125B (zh) | 用于辅助用户遥控机动车辆的方法、计算机可读存储介质、遥控装置以及用于机动车辆的驾驶员辅助*** | |
| US11747816B2 (en) | Autonomous traveling control device, autonomous traveling control system, and autonomous traveling control method | |
| WO2021193099A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US20230085877A1 (en) | System and Methods for Controlling State Transitions Using a Vehicle Controller | |
| CN114973050A (zh) | 自动驾驶应用中深度神经网络感知的地面实况数据生成 | |
| WO2020183892A1 (ja) | 情報処理装置及び情報処理方法、並びに移動体装置 | |
| JP7462837B2 (ja) | 低信頼度の物体検出条件における車両動作のための注釈及びマッピング | |
| JP7487178B2 (ja) | 情報処理方法、プログラム、及び、情報処理装置 | |
| US20220277556A1 (en) | Information processing device, information processing method, and program | |
| CN117428784A (zh) | 用于乘客辅助出行或无人化巡检的机器人远程操控*** | |
| CN113777975A (zh) | 一种自动驾驶车辆的远程辅助***及方法 | |
| WO2023090001A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| US20240010233A1 (en) | Camera calibration for underexposed cameras using traffic signal targets | |
| CN118043843A (zh) | 利用基于自我车辆状态的动态接缝布置的图像拼接用于环视可视化 | |
| CN117940319A (zh) | 利用周围环境的自适应三维碗模型的图像拼接用于环视可视化 | |
| WO2023121811A1 (en) | Hybrid scenario closed course testing for autonomous vehicles | |
| CN118043233A (zh) | 用于车辆环境可视化的优化可视化流式传输 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |