CN112109090A - 多传感器融合的搜索救援机器人*** - Google Patents

Abstract

本发明涉及一种多传感器融合的搜索救援机器人***，包括本地机器人、远程网关、云端服务器、客户端，本地机器人通过远程网关连接到云端服务器中的可视化控制台，可视化控制台通信连接客户端；本地机器人包括Waffle_pi款机壳组及伺服电机组、电池组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头、SBC微型计算机、OpenCR控制器，SBC微型计算机与OpenCR控制器是主从关系，SBC微型计算机中的SBC主控模块无线连接远程网关。本***利用云端大数据处理、云端决策与控制，达到智能一体化，让搜索救援任务更加安全稳定高效，更加实用化、便捷化，使得没有专业背景的人也能通过该***完成搜索救援任务。

Description

多传感器融合的搜索救援机器人***

技术领域

本发明涉及智能机器人***技术领域，尤其涉及一种多传感器融合的搜索救援机器人***。

背景技术

从上世纪开始，搜索救援任务就有机器人的参与，1995年日本神户大地震中的搜索救援任务，标志着机器人首次参与人类救灾活动，在美国911恐怖袭击后的灾难救援任务中，救援机器人的成功参与救援任务，掀起了世界各国科研机构等对救援机器人的研究热潮。

在近几十年，搜索救援机器人一直被作为重点研究对象。2011年3月21日，我国自主研制的废墟搜索与辅助救援机器人，在中国科学院沈阳自动化研究所成功实验运行，接受并且通过了国家地震应急搜救中心的全方面测试，已经被应用到了地震救援一线。并且成功研制出可变形搜救机器人、生命探测机器人、旋翼搜救无人机等一系列用于搜索救援的机器人设备。2013年4月四川雅安地震后，沈阳自动化研究所的一系列搜索救援机器人被运用到实战当中，开展灾区救援工作，有效地减少了人员的危险，极大地提高了搜索救援的效率。

在911恐怖袭击后的搜索救援中，美国Fostermiller公司的研发的救援机器人TALON因为其功能的强大和稳定优异的表现成为学术业的榜样。这种机器人在光线不足时，也能进行作业。在遇到炸弹威胁时，TALON机器人能够通过控制多个机械臂协同运作，对可疑***物进行拆除。美国iRobot公司研发的PackBot搜索救援机器人，可以随时调整运动方式，在爬楼和越过障碍情况下，具有较强的运动能力。该机器人拥有四个摄像头，能够远程传输控制，在夜晚运作。在一般环境下，轮履式和旋翼式机器人能够进行现场勘查搜救，而在废墟等场景下，普通机器人无法抵达救援地点时，可采用仿生机器人参与救援。而卡内基梅隆大学研究的蛇形仿生机器人，能在狭小废墟和洞穴等环境下完成任务。四足机器人，仍然是普遍仿生机器人的发展方向。

在灾害频发国家日本，机器人早已投入实战运用，爬行者和Robocue都是日本警务厅研制的，可以远程控制的救援机器人，从2009年开始部署在东京消防局。Robocue由履带式机器人，和两个大型机械臂组成，目的是能够在灾难发生，人员无法进行移动时，使用机械臂将人体拉入传送带，送至机器人内部储存空间，将伤者携带到安全地带。在火灾、核泄漏等救援人员难以抵达的救援现场，该机器人能够高效安全的将伤者转送。MasatoshiHantano和Toshifumi Fuji最近研制出一款能够碎石的搜救机器人，该机器人采用视觉处理算法SSD(Single Shot MultiBox Detector)，SSD算法检测速度高，能迅速地通过模型计算，进行安全高效的碎石工作，让搜救工作更快更稳定地开展。

当前，虽然国内外许多团体科研机构，研制出了各种功能的机器人，但这些机器人在实际搜索救援环境下，依然还存在着很多缺点。这些机器人对灾后复杂环境的感知、稳定的作业能力、通信能力还达不到要求，很多情况因为***的不完善，需要人为的干预。

发明内容

本发明的目的在于提供一种多传感器融合的搜索救援机器人***，采用模块化的具有开放特点的分布式结构，通过云端操控数据处理，激光雷达成像处理，深度视觉图像处理，多传感器的融合，达到多种条件下，完成模拟搜索救援任务的效果。

为了实现上述目的，本发明采用的技术方案为，一种多传感器融合的搜索救援机器人***，包括本地机器人、远程网关、云端服务器、客户端，本地机器人无线通信连接远程网关，由远程网关连接到云端服务器中的可视化控制台，可视化控制台通信连接客户端；所述本地机器人包括Waffle_pi款机壳组及设置在其上的4台伺服电机组、电池组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头、SBC微型计算机、OpenCR控制器，电池组为4台伺服电机组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头、SBC微型计算机、OpenCR控制器分别供电，4台伺服电机组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头连接OpenCR控制器，OpenCR控制器连接SBC微型计算机，SBC微型计算机中的SBC主控模块无线连接远程网关。

作为本发明的一种改进，所述SBC微型计算机中采用的是开源的ROS操作***(Robot Operating System)，ROS***的核心内容在于其采用“订阅-发布”为形式，能将各种机器人所要处理的程序和问题，分类成“主题”，利用节点、消息、主题、服务这四种方式对机器人进行控制，以及对外进行数据交流。

作为本发明的一种改进，所述SBC主控模块中设有Broadcom BCM芯片驱动的802.11AC无线模块，支持2.4Ghz/5Ghz双频WIFI信号，通过WIFI，在室内可以直接接入互联网，进行远程控制，在户外可连接移动信号，利用电信运营商的移动数据网络，使SBC微型计算机联网，所述SBC微型计算机采用ARMv7架构，采用型号为Raspberry 3B(以下简称“树莓派3B”)的处理器。

作为本发明的一种改进，所述Waffle_pi款机壳组为三层结构，4台伺服电机组、电池组设置在最下层，中间层为OpenCR控制器与SBC微型计算机，包含红外传感器、有害气体传感器，前段放置双目摄像头，顶层只放置激光雷达测距仪，能让激光雷达更精准地工作，避免自身影响导致误差的出现。

作为本发明的一种改进，所述4台伺服电机组均采用ROBOTIS公司生产的DYNAMIXEL-X系列的XM430型伺服电机，该电机中内设有STM32微型单片机控制器；所述激光雷达测距仪采用型号为HLS-LFCD2的SLAM传感器，其内置有激光发射与接收装置以及设置在其尾部驱动该装置转动的电机，电机驱动该装置旋转并不断发出激光和采集反射的激光，采集到现场各个点到机器人之间的距离，再通过SLAM算法，绘制出现场的地图模型；所述红外传感器采用的是HC-SR501人体感应模块，能工作在4.5-20V直流电压环境下，通过高低电平的输出，来显示探测结果；所述有害气体传感器采用的是MQ-2气体传感器，用于包含苯、酒精、烷、氢气、液化气、烟雾在内的多种可燃气体的探测；所述双目摄像头具有720p分辨率。

作为本发明的一种改进，所述可视化控制台基于Html语言与Javascript脚本，其后端采用Javascript与Python语言，前端采用了Layui项目的Html框架，包含了主控台、数据操控台、网络接口查看以及帮助部分，配合阿里云网络内容分发技术，可以让在任何地点的设备极快的连入可视化控制台，可视化控制台包含了视频影像功能，可超远距离低延迟地通过视频影像信息来操控机器人并也包含了有害气体的检测以及人体红外检测的可视化显示，能迅速获取救援现场的信息，有效保护了救援人员的安全。

作为本发明的一种改进，当4台伺服电机组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头作为分布式模块同时工作时，每个分布式模块独立输出并生成各自的目标数据，并通过ROS***的话题功能分别发送各自的数据包至云端服务器，由云端的可视化控制台对数据进行处理以实现多传感器数据的融合，由可视化控制台最后下发命令，返回本地ROS***，达到操控的目的。

作为本发明的一种改进，所述红外传感器部分采用Python编程，将红外传感器程序加入ROS话题，外部的云端服务器与机器人中SBC微型计算机的Rosbridge程序进行连接后，可通过ROS话题来订阅传感器的信息；本地机器人利用红外传感器、双目摄像头结合SBC微型计算机实现基础人体识别功能，基础人体识别功能采用了Face++的开放API接口，能够实时对ROS话题中的视频信号进行截取，通过Face++的人体识别接口，当识别不到人体时，返回Null空值，识别到人体信号时，会返回request_id，以及各项能检测到的人体参数。

作为本发明的一种改进，在ROS操作***中采用了卡内基梅隆大学的AI开源项目Openpose，可以实现多线程实时监测人体关键点，可同时识别多个人体图像，以及面部、手部的关键点信息，利用OpenPose先对人体特征部位进行识别，再进行组合。

作为本发明的一种改进，所述OpenPose采用机器学习的方法实现工作，具体流程如下：

(1)下载数据集：采用COCO数据集，该数据集包含了人体关键点的坐标、类型信息，根据关键点信息来生成part和paf的训练样本；

(2)数据处理：首先关键点从COCO的格式转为openpose的格式，再生成heatmap，vectmap等参数模型；

(3)多线程数据增强：OpenPose具有独特的多线程处理能力，能实时识别多个人体目标，再进行多个人体目标的数据增强；

(4)DataFlow数据读入：DataFlow数据进行入队操作，定义神经网络基础函数，再通过loss函数进一步对数据进行集合处理；

(5)模型可视化：对模型和日志进行保存，通过可视化窗口显示出OpenPose识别出的人体关键点模型。

相对于现有技术，本发明的机器人***整体结构设计巧妙，通过基于ROS操作***的SBC微型计算机，伺服电机精确控制，多传感器实时监测，激光雷达参数实时回传，视觉设备低延迟处理，多部件进行统一融合进行智能控制，通过云端数据的采集和信息融合，进行云端计算机的数据的分析以及处理，达到救援现场远程视觉图像快速获取，有害气体实时低延迟检测，红外探测等基础功能；通过SLAM算法，绘制现场的平面以及三维地图，结合路径规划保障机器人搜索的有效进行；通过视觉图像算法结合红外传感数据，达到智能识别人体的功能；同时利用云端大数据处理、云端决策与控制，达到智能一体化，让搜索救援任务更加安全稳定高效，更加实用化、便捷化，使得没有专业背景的人也能通过该***完成搜索救援任务。

附图说明

图1为本发明优选实施例的机器人***总体架构图。

图2为本发明优选实施例的机器人***硬件结构框图。

图3为本发明优选实施例的***数据传输处理结构示意图。

图4为本发明优选实施例的ROS操作***软件框架图。

具体实施方式

为了加深对本发明的理解和认识，下面结合附图对本发明作进一步描述和介绍。

如图1-4给出了本发明的多传感器融合的搜索救援机器人***的优选实施例，在该实施例机器人***的下层结构组中包含：Waffle_pi款机壳组，搭配4台伺服电机组，两组12V/1800mAh的电池组，另外搭配激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头。上层结构中，硬件控制方面，采用OpenCR控制器，完成对伺服电机、电源、激光测距仪、红外传感器、有害气体传感器、双目摄像头等底层分布式硬件的总体驱动和控制。硬件总体控制由SBC微型计算机，对OpenCR控制器进行控制和数据的接收处理，以及向外传输、接受外部控制信号，通过SBC微型计算机内部程序的运算与决策，再将信号传递到下层的STM32控制器，实现分布式控制。

硬件布局上，采用Waffle_pi款机壳组的三层结构，最下层为伺服电机组、电池组，使机器人重心有效保持平衡，有效保证了硬件结构的运行平稳，中间层为OpenCR控制器与SBC微型计算机，包含红外传感器、有害气体传感器，前段放置双目摄像头。在恶劣环境下，中间层可以密封增加保温层，保证运行安全。顶部只放置激光雷达测距仪，能让激光雷达更精准地工作，避免自身影响导致误差的出现。ARMv7架构的SBC微型计算机对STM32单片机进行实时控制和数据传输，型号为Raspberry 3B，简称树莓派3B，该微型计算机处理速度快，可靠性强，能在电池作为电源下，保证高复杂运算。在搜索救援机器人中，运用树莓派作为平台能让机器人的运行更加可靠。

SBC微型计算机与STM32单片机是主从关系，在下层控制器中采用了STM32F7系列芯片组作为控制核心的单片机，树莓派向STM32单片机实时发送控制代码，驱动电机设备运转，且两者均为独立供电，保证了电机运行失败时，搜索救援机器人仍然能在当前环境下工作。STM32实时接收的伺服电机反馈信号，也将实时传回树莓派，完成机器人的中心化管理。

当前机器人的运动几乎都是由伺服电机驱动的，本机器人采用的是ROBOTIS公司生产的DYNAMIXEL-X系列的XM430型伺服电机，该伺服电机是一种最新的设计，采用该电机，可以组成多电机同步***，通过高性能串接式的智能马达，能够广泛的应用于构建具有可靠性和高扩展性的机器人。与传统的机器人电机设备相比，采用XM430型伺服电机，可以让机器人能迅速加装或者拆换该种电机。

XM430型伺服电机是基于PID控制，内含STM32微型单片机控制器，芯片型号为STM32F103C8，拥有72MHZ的时钟频率，速度传感器采用非接触式12位绝对值编码器，保证了PID控制下反馈信号的精准度。

激光雷达设备为本机器人所采用的SLAM传感器，本机器人用的激光雷达设备是HLS-LFCD2型号，该型号激光雷达具有小型化、高精度的特点，缺点是功率小导致的测量范围不大，但是可以通过机器人的范围式运行，采集到所需场景的全部信息。该激光雷达采用的仍是机械式扫描结构，利用电机驱动，通过雷达的旋转，发出激光束，再探测到激光束的反射时间，计算出每个点云的距离。该型号激光雷达内置有激光发射与接收装置，通过尾部的电机驱动，让激光发射接收装置旋转，不断发出激光和采集反射的激光，采集到现场各个点到机器人之间的距离，再通过SLAM算法，绘制出现场的地图模型。

红外传感器采用的是HC-SR501人体感应模块，能工作在4.5-20V直流电压环境下，通过高低电平的输出，来显示探测结果。该产品具有微功耗的特点，静态电流65微安，特别适合在电池供电下的设备。还布设左右两个电位器，分别是灵敏度调节器和延时时间调节器。顺时针调节右侧电位器，灵敏度越高，可以设置的探测范围为2到7米。顺时针调节左侧电位器，延时时间增长，逆时针则减短，范围为0.3秒到10分钟。

该传感器外部，使用菲涅尔透镜覆盖，菲涅尔透镜为聚烯烃材料制造，菲涅尔透镜表面是光滑的，里测覆盖的是同心圆，该光学透镜可以将红外信号聚焦，红外线照射时会折射到传感器上，产生多个明区和暗区，当红外物体在附近移动时，该红外传感器会以信号变化的方式工作，产生高低平信号对外输出。

采用有害气体传感器，能让机器人进入危险区域探测，能避免救援当中的二次人员伤害。在本机器人上，采用的是MQ-2气体传感器，MQ-2气体传感器是一种对多种可燃气体敏感的传感器。在附近环境有可燃气体时，能够发出高平电信号。是多种搜索救援环境下的气体监测装置，MQ-2气体传感器可用于苯、酒精、烷、氢气、液化气、烟雾等多种可燃气体的探测。该传感器由二氧化锡半导体材料制成，该半导体材料对可燃气体具有较高灵敏度。离子式N型半导体覆盖在该二氧化锡半导体材料表面。当传感器温度处在两百到三百摄氏度范围中，二氧化锡半导体将发生氧化反应，负离子氧吸附在表面，二氧化锡中的电子密度减少，电阻减小到一定数值后，输出高电平，从而能检测出可燃气体。

当半导体与烟雾接触时，半导体晶粒间的势垒因为烟雾吸附和填充而变化，就会引起表面导电率的变化。当环境烟雾的浓度越大，半导体导电率变高电阻减小，输出的电平信号越高。MQ-2型传感器对天然气、液化石油气等烟雾有很高的灵敏度，对烷类烟雾更具敏感性和良好的抗干扰性，可准确排除有刺激性非可燃性烟雾的干扰信息。经过测试，其对烷类的感应度比纸张木材燃烧产生的烟雾要灵敏，输出的电压升高的比较快。

在本机器人***中，将数字量输出DO、模拟量输出AO输出口与STM32单片机GPIO针脚相连接，通过数字量DO输出口的高低电平来判断现场的状态。模拟量AO接口可以获取当前环境气体环境的浓度值。在测量前，需要将灵敏度调制LED警示灯亮起，后缓缓旋转至熄灭，此时的灵敏度是最高的，可以快速检测到易燃气体和烟雾。在实际的救援救灾环境下需要对传感器进行这一步骤调整，保证现场检测的灵敏度，防止人员伤害。

本机器人***中的SBC主控模块，含有Broadcom BCM芯片驱动的802.11AC无线模块，支持2.4Ghz/5Ghz双频WIFI信号。通过WIFI，在室内可以直接接入互联网，进行远程控制，在户外可连接移动信号，利用电信运营商的移动数据网络，使SBC微机联网。在户外信号选择上，使用4G移动数据满足大部分救援设备的要求，但在某些延迟要求较高场景，如自动驾驶，需采用5G移动数据网络作为连接方式，可以极大降低延迟。

在搜索救援当中，视觉设备是最重要的一环，通过远程的视觉图像传输，可以实时了解到现场的情况，本机器人***中采用了双目视觉设备，分别具有720p分辨率。该摄像头具有小型化与可靠性等优点，可以高效率的获取彩色图像，通过ROS的话题发布，传递到控制端，通过彩色图像我们可以获取很多物体的辨识度信息。

本机器人***采用的是开源的ROS***(Robot Operating System)，ROS***的底层仍然是基于Linux的***，相比其他***具有高稳定性、处理速度快等特点。ROS***的核心内容在于其采用“订阅-发布”为形式，能将各种机器人所要处理的程序和问题，分类成“主题”。利用节点、消息、主题、服务，四种方式，对机器人进行控制，以及对外进行数据交流。

云端控制和数据处理，是如今机器人必须要具备的功能，ROS***提供了一种解决方法，使用ROSbridge依赖，向外部提供连接口，通过Rosbridge，拥有与本地机器人ROS***中的ROSmaster是同一层级的权限，可以调用机器人的各种功能。Rosbridge程序已经嵌入在ROS***当中。Rosbridge实际上是一个组合环境，包含了ROS***内部的话题发布和接功能，以及通信传输协议Websocket。本***完全采用应用层的Websocket协议，从数据本地的汇总，通过ROS话题形式发布，使用Websocket协议对外握手传输。

考虑到搜索救援机器人面对环境的复杂性和多样性，救灾现场网络环境的不确定性，Websocket协议是最好的通信方式。在本地SBC上部署的Rosbridge，可以通过Websocket协议与各种类型的客户端进行交流，C、C++、Python、Java、Go、Javascript等几乎所有的编程语言，都可以使用Websocket与服务端进行交流通信。同时Websocket还具有可靠性高、延迟低等特点，适合传感设备、控制命令等消息的传输。

本机器人的网络***采用了点到点再到客户端的结构。使机器人本身仅连接到外部控制计算机，再通过外部计算机进行数据的处理、分发，保证了任务运行下，多台控制设备可同时连接，而不会造成网络设备的卡顿与延迟。

在机器人与远程网关连接方面，采用了Frp程序。通过Frp将本地机器人的9090端口，与远程计算机的端口打通隧道，可实现通过远程网关分发本地机器人的广播与信息。不同环境下的客户端，均可以连接到远程网关，从而连接到机器人，避免了因为客户端与机器人网络之间的不畅通，而导致信息传输的失败以及拥塞。

本***通过网络端口隧道，实现了机器人信息由本地到远程网关的传输，保证了复杂环境下通信的稳定与快速。将机器人本地的9090网络端口，映射到远程网关，可以通过控制端程序与其进行连接。

可视化控制台基于Html语言与Javascript脚本，部署于云服务器，保证了运行的稳定性，控制台包含了主控台、数据操控台、网络接口查看，以及帮助部分，配合阿里云网络内容分发技术，可以让在任何地点的设备极快的连入控制台。后端采用Javascript与Python语言，前端采用了Layui项目的Html框架，Layui的各种开源库文件易于开发人员能快速稳定的搭建控制台项目。

SLAM功能部分可以实时绘制出机器人周围的2D扫描图像，操作点击、拉动2D扫描图像，可以对机器人进行远程2D导航功能，在没有便携式计算机的情况下，可以快速简便的对机器人实时导航，让机器人自主到达任务地点。

可视化控制台还包含了视频影像功能，可以超远距离低延迟地通过视频影像信息来操控机器人。另外包含了有害气体的检测以及人体红外检测的可视化显示，让没有编程能力的人也能迅速获取救援现场的信息，有效保护了救援人员的安全。

在数据操控台，使用了Webviz开源项目，该程序能对机器人发布的话题进行可视化的订阅，在websocket与机器人连接后，对每一时刻的机器人所有订阅的信息进行保存。通过Webviz的实时保存功能，可以在救援时进行实时回放，不错过任何一个救援的细节。并且所有数据都保存在云端***，可供后方搜救人员进行实时回放，数据分析，避免了救援期间对重要信息的忽略。

在机器人利用多传感器融合，可以使机器人环境感知能力进一步提升，通过对多种环境指标的同步综合判断。当视觉图像、激光雷达、红外传感器、气体传感器、伺服电机同时工作时，每个分布式模块独立输出，生成目标数据，通过ROS***的话题功能分别发送自己的数据包，具有稳定性，能分布式的采集各传感器数据并且保存到云端。再通过云端的数据处理，进行传感器的融合，避免了现场设备因为处理数据而产生的资源消耗。

本发明的搜索救援机器人***利用了分布式融合的思想，从分布式硬件，到信息汇总，上传云端数据中心，再进行云端的数据分析与处理，最后由云端下发命令，返回本地ROS***，达到操控的目的。

红外传感器部分采用Python编程，将红外传感器程序加入ROS话题，外部与机器人Rosbridge进行连接后，可以通过ROS话题来订阅传感器的信息。在机器人本地，红外传感器的python程序通过判断传感器高低电平的输出，转化为IO信号0或1。其中0代表低电平，1代表高电平，通过websocket协议，我们能接受红外传感器ROS话题的1或者0的整型INT字符，在web console中，可以获取到当前传输的INT字符。

基础人体识别功能采用了Face++的开放API接口，能够实时对ROS话题中的视频信号进行截取，通过Face++的人体识别接口，当识别不到人体时，返回Null空值，识别到人体信号时，会返回request_id，以及各项能检测到的人体参数。之所以采用外部API接口，而不是***内进行处理，考虑到搜索人员时任务的紧急性，***内进行处理会导致处理速度降低。

对以上两种传感器信号，进行综合判断：

表1人体识别判断

通过机器自动综合判断，可以快速实时的检测到现场是否有人员，传感器的后期融合和机器判断的参与，避免了因为同时观测多个传感器，导致人工判断的不准确。配合机器人的自主巡航，可以自动搜索现场人员，发送出现场人员信息。在传感器融合判断中，采用的是基础人体识别功能，通过机器学习，完成对现场视频流的实时解析，完成对场景的判断、对人体轮廓识别、对人脸关键点识别等功能。

本***采用了卡内基梅隆大学的AI开源项目Openpose，可以实现多线程实时监测人体关键点。可以同时识别多个人体图像，以及面部、手部的关键点信息。OpenPose，先对特征部位进行识别，再进行组合。在搜索救援当中，可以通过这种人体关键点识别技术，有效识别出现场人体信息，跟踪人员状态。

机器人摄像头获取图像，将图像传入云端服务器，从本地获取云端服务器的视频流，再从计算机进行OpenPose的人体关键点识别。

OpenPose采用机器学习的方法实现工作，具体流程如下：

(1)下载数据集：采用COCO数据集，该数据集包含了人体关键点的坐标、类型信息。根据关键点信息来生成part和paf的训练样本。

(2)数据处理：首先关键点从COCO的格式转为openpose的格式，再生成heatmap，vectmap等参数模型。

(3)多线程数据增强：OpenPose具有独特的多线程处理能力，能实时识别多个人体目标，再进行多个人体目标的数据增强。

(4)DataFlow数据读入：DataFlow数据进行入队操作，定义神经网络基础函数，再通过loss函数进一步对数据进行集合处理。

(5)模型可视化：对模型和日志进行保存，通过可视化窗口显示出OpenPose识别出的人体关键点模型。

SLAM算法在ROS***内，其基础是Rbpf粒子滤波算法。Rbpf粒子滤波算法能够同一时间有效同步定位和建图，将控制数据，和测量数据进行整合，从而获得当前地图的模型和运行数据。

在本机器人***中采用了Rbpf粒子滤波算法，作为建模算法。

算法流程如下：

(1)粒子初采样:根据建议分布，从t–1时刻开始，获取t时刻粒子集合采样，产生出粒子的先验分布集合。

(2)计算粒子权重:计算每个粒子的权重,权重的大小表示了建议分布与目标后验分布的差距。

(3)重新采样:根据权重对粒子重新采样,在根据权重分布的粒子集合中抽取更换粒子,最后将重采样粒子和原先粒子集合。

(4)建立地图:通过传感器的观测数据，新的粒子集合，与机器人实时位置，计算更新地图。

Rbpf粒子滤波算法的基础，是条件联合概率分布，可以用以下公式来描述。

P(X_1：t，m|Z_1：t，U_1：t-1) (1)

通过观测和运动控制的数据，同时进行计算来推导算出位移和地图。通过

P(x，y)＝P(y|x)P(x) (2)

可以由联合概率转换成条件概率。

采用Gmapping修正算法对在RBpf的基础上改进提议分布和选择性重采样。改进提议分布公式如下：

当变量I＝1时，为真，I＝0时为假。相似度越大，权重越大，重要性采样也就是根据建议分布样本匹配获取f(x)的样本。接下来将权重进行归一化处理，为重采样做准备。

OpenPose采用“bottom-up”的人体姿态估计方法，先检测图片中所有的人体关键点，然后将这些关键点对应到不同的人物个体。Openpose通过Branch1和Branch2，分别对应着heatmap与vectormap。heatmap称为概率热点图，通过高斯分布生成，vectormap通过向量叉乘生成。

人体识别算法的核心是机器学习当中的loss函数，也称为损失函数。损失函数是保证网络能收敛的最重要的关键点。训练时，每个阶段都会产生loss，避免梯度消失；预测时只使用最后一层的输出。在对heatmap和vectormap生成后的参数，再进行loss函数的处理运算：

其中，上面的公式表示branch1的label图，也称为heatmap。下面的公式为branch2的label图，也称为vectormap。通过loss函数对机器进行大规模的图形训练，可以确保生成的结果更加接近真实值。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种多传感器融合的搜索救援机器人***，其特征在于：包括本地机器人、远程网关、云端服务器、客户端，本地机器人无线通信连接远程网关，由远程网关连接到云端服务器中的可视化控制台，可视化控制台通信连接客户端；所述本地机器人包括Waffle_pi款机壳组及设置在其上的4台伺服电机组、电池组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头、SBC微型计算机、OpenCR控制器，电池组为4台伺服电机组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头、SBC微型计算机、OpenCR控制器分别供电，4台伺服电机组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头连接OpenCR控制器，OpenCR控制器连接SBC微型计算机，SBC微型计算机中的SBC主控模块无线连接远程网关。

2.如权利要求1所述的多传感器融合的搜索救援机器人***，其特征在于，所述SBC微型计算机中采用的是开源的ROS操作***，ROS***的核心内容在于其采用“订阅-发布”为形式，能将各种机器人所要处理的程序和问题，分类成“主题”，利用节点、消息、主题、服务这四种方式对机器人进行控制，以及对外进行数据交流。

3.如权利要求2所述的多传感器融合的搜索救援机器人***，其特征在于，所述SBC主控模块中设有Broadcom BCM芯片驱动的802.11AC无线模块，支持2.4Ghz/5Ghz双频WIFI信号，通过WIFI，在室内可以直接接入互联网，进行远程控制，在户外可连接移动信号，利用电信运营商的移动数据网络，使SBC微型计算机联网，所述SBC微型计算机采用ARMv7架构，采用型号为Raspberry 3B的处理器。

4.如权利要求3所述的多传感器融合的搜索救援机器人***，其特征在于，所述Waffle_pi款机壳组为三层结构，4台伺服电机组、电池组设置在最下层，中间层为OpenCR控制器与SBC微型计算机，包含红外传感器、有害气体传感器，前段放置双目摄像头，顶层只放置激光雷达测距仪，能让激光雷达更精准地工作，避免自身影响导致误差的出现。

5.如权利要求4所述的多传感器融合的搜索救援机器人***，其特征在于，所述4台伺服电机组均采用ROBOTIS公司生产的DYNAMIXEL-X系列的XM430型伺服电机，该电机中内设有STM32微型单片机控制器；所述激光雷达测距仪采用型号为HLS-LFCD2的SLAM传感器，其内置有激光发射与接收装置以及设置在其尾部驱动该装置转动的电机，电机驱动该装置旋转并不断发出激光和采集反射的激光，采集到现场各个点到机器人之间的距离，再通过SLAM算法，绘制出现场的地图模型；所述红外传感器采用的是HC-SR501人体感应模块，能工作在4.5-20V直流电压环境下，通过高低电平的输出，来显示探测结果；所述有害气体传感器采用的是MQ-2气体传感器，用于包含苯、酒精、烷、氢气、液化气、烟雾在内的多种可燃气体的探测；所述双目摄像头具有720p分辨率。

6.如权利要求5所述的多传感器融合的搜索救援机器人***，其特征在于，所述可视化控制台基于Html语言与Javascript脚本，其后端采用Javascript与Python语言，前端采用Layui项目的Html框架，包含了主控台、数据操控台、网络接口查看以及帮助部分，配合阿里云网络内容分发技术，可让在任何地点的设备极快的连入可视化控制台，可视化控制台包含了视频影像功能，可超远距离低延迟地通过视频影像信息来操控机器人并也包含了有害气体的检测以及人体红外检测的可视化显示，能迅速获取救援现场的信息。

7.如权利要求6所述的多传感器融合的搜索救援机器人***，其特征在于，当4台伺服电机组、激光雷达测距仪、红外传感器、有害气体传感器、双目摄像头作为分布式模块同时工作时，每个分布式模块独立输出并生成各自的目标数据，并通过ROS***的话题功能分别发送各自的数据包至云端服务器，由云端的可视化控制台对数据进行处理以实现多传感器数据的融合，由可视化控制台最后下发命令，返回本地机器人的ROS***以实现操控。

8.如权利要求7所述的多传感器融合的搜索救援机器人***，其特征在于，所述红外传感器部分采用Python编程，将红外传感器程序加入ROS话题，外部的云端服务器与机器人中SBC微型计算机的Rosbridge程序进行连接后，可通过ROS话题来订阅传感器的信息；本地机器人利用红外传感器、双目摄像头结合SBC微型计算机实现基础人体识别功能，基础人体识别功能采用了Face++的开放API接口，能够实时对ROS话题中的视频信号进行截取，通过Face++的人体识别接口，当识别不到人体时，返回Null空值，识别到人体信号时，会返回request_id，以及各项能检测到的人体参数。

9.如权利要求8所述的多传感器融合的搜索救援机器人***，其特征在于，在ROS操作***中采用了卡内基梅隆大学的AI开源项目Openpose，可以实现多线程实时监测人体关键点，可同时识别多个人体图像，以及面部、手部的关键点信息，利用OpenPose先对人体特征部位进行识别，再进行组合。

10.如权利要求9所述的多传感器融合的搜索救援机器人***，其特征在于，所述OpenPose采用机器学习的方法实现工作，具体流程如下：

(1)下载数据集：采用COCO数据集，该数据集包含了人体关键点的坐标、类型信息，根据关键点信息来生成part和paf的训练样本；

(2)数据处理：首先关键点从COCO的格式转为openpose的格式，再生成包含heatmap和vectmap的参数模型；

(3)多线程数据增强：OpenPose具有独特的多线程处理能力，能实时识别多个人体目标，再进行多个人体目标的数据增强；

(4)DataFlow数据读入：DataFlow数据进行入队操作，定义神经网络基础函数，再通过loss函数进一步对数据进行集合处理；

(5)模型可视化：对模型和日志进行保存，通过可视化窗口显示出OpenPose识别出的人体关键点模型。

Images