CN102895092A - 一种基于多传感器融合的助行机器人三维环境识别*** - Google Patents

Abstract

本发明公开一种基于多传感器融合的助行机器人三维环境识别***及方法，包括：ARM信息处理模块、工控机模块、下位机运动控制模块；ARM信息处理模块对采集的数据进行处理后，建立三维场景重建及目标跟踪信息，发送至工控机模块；工控机模块接收用户的指令，利用GPS生成导航地图，将三维场景重建及目标跟踪信息与导航地图相结合生成运动路径规划信息，发送至下位机运动控制模块；下位机控制模块根据该信息驱动控制助行机器人产生相应动作，同时反馈运动信息至工控机模块。本发明将多个传感器融合，为助行机器人建立真实的三维环境，生成较优的运动路径实现助行机器人的安全、平稳、可靠行走，实现对目标有效跟踪，提高了助行机器人智能化。

Description

一种基于多传感器融合的助行机器人三维环境识别***

技术领域

本发明涉及信息工程技术领域，尤其涉及一种基于多传感器融合的助行机器人三维环境识别***及方法。

背景技术

助行机器人主要针对老年人或行动不便的残疾人如盲人等的安全、自主行动，对提高老年人和残疾人的生活质量，减轻家庭社会负担具有极其重要的意义。实现助行机器人对三维复杂环境的识别则是助行机器人关键技术之一，其有效性、可靠性直接决定了助行机器人技术能否实际应用的成败。

传统的助行机器人技术一般是利用诸如GPS进行地图导航，或利用图像处理设备、超声波等传感器对盲道进行检测，这种技术重视的是对助行机器人的行走路径的识别、导航，而忽略了对助行机器人所处环境的识别。

助行机器人的使用者不仅仅是希望借助助行机器人从一个地方到达另一个地方，还希望助行机器人帮助他们对其所处的环境进行识别、对其感兴趣的人或物进行跟踪。而对于弱视者来说，他们从一个地方到另一个地方，GPS建立的导航数据仅可以为他们提供一个粗的路径信息，至于路况、障碍物等信息还需要通过图像或超声波传感器来完成。但是，当他们到达目的地时或在其活动场所进行活动时，助行机器人不仅需要产生活动路径，还要对其所处的环境进行识别和跟踪，例如弱视者或老年人也希望像正常人一样和家人一起在独立的散步或逛商场而不是由家人推着他们散步或逛商场，要实现这一功能，就需要实现对助行机器人三维环境的识别和目标的跟踪，但是由于GPS不能提供三维信息，再加上其精度的影响，仅靠GPS不能满足此要求，通过图像传感器尽管能提供周围环境的信息，但是提供的二维信息，也不能满足三维环境识别和目标跟踪的要求，所以传统的技术通过采用GPS定位和地图创建实现导航功能，通过采用图像处理技术和超声波技术仅能实现在小环境下的路径规划和避障功能。这些技术没有涉及到为使用者提供目标选择、目标识别、目标跟踪，不能为使用者提供好的、人性化的用户体验，这种不足有待必改进和提高。

现有技术中公开了“一种智能导盲车”(中国发明专利申请号200610088153.1)，该车通过超声波测障探头，实现盲道的探测，然而该***仅能用于有盲道的地方，实现盲道的探测和导引，而没有GPS全局地图导航，更没有基于三维环境的识别和目标跟踪。

现有技术中还公开了“盲人就医导盲***”(中国发明专利申请号200610117532.9)，该***采用红外发射和接收装置实现盲人就医导盲，采用该***盲人可有效找到就医科室，但是该***不能实现避障，也没路径规划和三维环境的识别。

发明内容

本发明的目的在于克服现有技术的不足，为老年人或弱视者提供一种基于多传感器融合的助行机器人三维环境识别***及方法。

为达到上述目的，本发明是通过以下技术方案来实现的：

本发明公开了一种基于多传感器融合的助行机器人三维环境识别***，该***包括：ARM信息处理模块、工控机模块、下位机运动控制模块；其中，ARM信息处理模块采集数据，并对数据进行处理以建立三维场景重建及目标跟踪信息，并将该信息发送至工控机模块；工控机模块接收用户的指令，利用其自身的GPS生成导航地图，将接收的三维场景重建及目标跟踪信息与导航地图相结合生成运动路径规划信息，并发送至下位机运动控制模块；下位机控制模块根据运动路径规划信息驱动控制助行机器人产生相应动作，同时反馈运动信息至工控机模块。

进一步，所述的ARM信息处理模块还包括：ARM处理器***、全维摄像头、局部摄像头、激光传感器和倾角传感器；全维摄像头实时采集全局图像信息送至ARM处理器***，ARM处理器***根据全局图像对跟踪目标进行粗定位；局部摄像头将其采集的局部图像实时送至ARM处理器***，ARM处理器***根据局部图像对目标进行精定位，激光传感器和倾角传感器均将其采集到的数据实时传给ARM处理器***，ARM处理器***将激光传感器数据和倾角传感器数据结合生成三维数据，ARM处理器***通过多传感器信息融合，进行三维场景重建及目标跟踪信息，并将这些信息送至工控机模块。

进一步，所述的工控机模块还包括：工控机、脉搏传感器、血压传感器、体温传感器、GPS、触摸屏、受话器和GPRS，工控机实时读取脉搏传感器、血压传感器、体温传感器，生成健康信息，工控机根据受话器或触摸屏接收到的命令，读取GPS生成导航地图，读取ARM信息处理模块送过来的三维场景重建及目标跟踪信息，根据其接收到的命令，利用导航地图和三维场景重建及目标跟踪信息生成运动路径规划信息，并将生成的运动路径规划信息送至下位机运动控制模块；工控机模块产生的助行机器人运动参数及用户的健康信息，或送至触摸屏实时显示，或送至音箱输出，或利用GPRS通过internet传到服务器计算机。

进一步，所述的下位机运动控制模块还包括：运动控制卡、电机驱动器、伺服电机、升降机构、行走机构、姿态保持机构，上位机运动控制模块中的运动控制卡接受工控机送来的运动路径规划信息，对运动路径进行插补，产生运动控制信号，运动控制卡将其产生的运动控制信号送至各电机驱动器，由各电机驱动器分别对各伺服电机进行驱动，伺服电机驱动升降机构可产生升降运动，伺服电机驱动行走机构可使助行机器人行走，伺服电机驱动姿态保持机构，可使助行机器人运动过程中姿态保持平稳。

本发明还公开了一种基于多传感器信息融合的助行机器人三维环境识别方法，用于如权利要求1所述的***中，该方法包括如下步骤：

S1.ARM信息处理模块采集数据，对该采集数据进行加工处理以建立三维场景重建及目标跟踪信息，并将所述信息送至工控机模块；

S2.工控机模块读取ARM信息处理器模块传送的信息，利用其自身的GPS生成导航地图，根据接收到的命令产生运动路径规划信息，并将该运动路径规划信息送至下位机运动控制模块；

S3.下位机控制模块根据运动路径规划信息驱动控制各部分机构产生相应的动作，同时反馈运动信息至工控机模块。

进一步，所述步骤S1中，所述ARM信息处理模块还包括：ARM处理器***、全维摄像头、局部摄像头、激光传感器和倾角传感器；其中，全维摄像头实时采集全局图像信息送至ARM处理器***，ARM处理器***根据全局图像对跟踪目标进行粗定位；局部摄像头将其采集的局部图像实时送至ARM处理器***，ARM处理器***根据局部图像对目标进行精定位，激光传感器和倾角传感器均将其采集到的数据实时传给ARM处理器***，ARM处理器***将激光传感器数据和倾角传感器数据结合生成三维数据，ARM处理器***通过多传感器信息融合，进行三维场景重建及目标跟踪信息，并将这些信息送至工控机模块。

进一步，所述步骤S2中，所述的工控机模块还包括：工控机、脉搏传感器、血压传感器、体温传感器、GPS、触摸屏、受话器和GPRS，其中，工控机实时读取脉搏传感器、血压传感器、体温传感器，生成健康信息，工控机根据受话器或触摸屏接收到的命令，读取GPS生成导航地图，读取ARM信息处理模块送过来的三维场景重建及目标跟踪信息，根据其接收到的命令，利用导航地图和三维场景重建及目标跟踪信息生成运动路径规划信息，并将生成的运动路径规划信息送至下位机运动控制模块；工控机产生的助行机器人运动参数及用户的健康信息，或送至触摸屏实时显示，或送至音箱输出，或利用GPRS通过internet传到服务器计算机。

进一步，所述步骤S3中，所述的下位机运动控制模块还包括：运动控制卡、电机驱动器、伺服电机、升降机构、行走机构、姿态保持机构，其中，上位机运动控制模块中的运动控制卡接受工控机送来的运动路径规划信息，对运动路径进行插补，产生运动控制信号，运动控制卡将其产生的运动控制信号送至各电机驱动器，由各电机驱动器分别对各伺服电机进行驱动，伺服电机驱动升降机构可产生升降运动，伺服电机驱动行走机构可使助行机器人行走，伺服电机驱动姿态保持机构，可使助行机器人运动过程中姿态保持平稳。

本发明还公开了一种基于多传感器信息融合的助行机器人三维环境识别方法，包括如下步骤：

S1.ARM处理器***根据全局摄像头、局部摄像头采集的图像进行粗定位和精定位；ARM处理器***将激光传感器数据和倾角传感器数据结合生成三维数据；ARM处理器将三维数据、粗定位信息和精定位信息进行融合，生成助行机器人的三维环境识别及目标跟踪信息，并将这些信息送至工控机模块；

S2.工控机模块根据受话器或触摸屏接收到的命令，读取GPS生成导航地图；结合ARM处理器送来的三维场景重建及目标跟踪信息，生成运动路径规划信息，传送至下位机运动控制模块；

S3.下位机运动控制模块接收工控机模块送来的运动路径规划信息，对运动路径进行插补，产生运动控制信号；并将运动控制信号送至各电机驱动器，由各电机驱动器分别驱动各伺服电机使助行机器人分别产生升降、行走、姿态保持；并将各机构运动信息反馈至工控机模块。

进一步，该方法还包括如下步骤：

S4.工控机模块产生的助行机器人运动参数及用户的健康信息，或送至触摸屏实时显示，或送至音箱输出，或利用GPRS通过internet传到服务器计算机。

本发明的有益效果：采用本发明将多个传感器融合，为助行机器人建立真实的三维环境，可生成较优的运动路径从而实现助行机器人的安全、平稳、可靠的行走，可实现对目标的有效跟踪，从而提高了助行机器人的智能化程序。

附图说明

下面根据附图和实施例对本发明作进一步详细说明。

图1为本发明基于多传感器融合的助行机器人三维环境识别***结构框图；

图2为本发明基于多传感器信息融合的助行机器人三维环境识别方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

图1为本发明基于多传感器融合的助行机器人三维环境识别******结构框图，如图1所示，本发明的***包括工控机模块、ARM信息处理模块和下位机运动控制模块。ARM信息处理模块通过socket通讯与工控机模块相连；工控机模块通过串口与下位机模块相连；工控机模块还通过GPRS与Web服务器相连，实现与Web数据的交换，其他用户可以通过Internet查询助行机器人使用者的信息。

ARM处理器模块包括：全维摄像头、局部摄像头、激光传感器和倾角传感器、以及ARM处理器***。全维摄像头将采集的图像送至ARM处理器***，ARM处理器***对全局图像进行边缘检测，然后进行区域合并，再进行区域的特征提取，根据区域特征，实现对环境目标的粗定位；局部摄像头将局部图像传送至ARM处理器***，ARM处理器***对局部图像先进行边缘检测、然后再进行区域合并，再对合并后的区域进行模板匹配，根据匹配的结果，实现对具体目标的精定位；激光传感器和倾角传感器将数据传送至ARM处理器***，由ARM处理器***通过三维数据合成算法得到三维数据；ARM处理器***利用三维重建及目标跟踪算法对粗定位信息、精定位信息和三维数据进行多传感器融合，从而实现对助行机器人周围环境的三维重建及目标的跟踪；并将这些信息传送至工控机处理***。

ARM(Advanced RISC Machines)处理器是微处理器的通称，是一个32位元精简指令集(RISC)处理器架构，其广泛地使用在许多嵌入式***设计。

工控机模块包括：工控机、脉搏传感器、血压传感器、体温传感器、GPS、触摸屏、受话器和GPRS。用户的命令可能过受话器输入也可通过触摸屏输入，通过受话器输入时，工控机通过其内部的命令语音识别模块来识别命令；工控机根据GPS传来的数据及用户命令生成导航路径，同时，结合ARM信息处理模块得到的三维环境识别信息，生成运动路径规划；工控机将生成的运动路径规划信息传送至下位机运动控制模块；同时，触摸屏实时显示助行机器人的运动参数和使用者的健康状况信息，并进行语音提示；工控机还将助行机器人的运动参数和使用者的健康状况信息通过GPRS模块经Internet送至服务器计算机，其他用户可通过网络对助行机器人的信息进行查询和处理。

下位机运动控制模块包括：运动控制卡、电机驱动器、驱动电机以及升降机构、行走机构、姿态保持机构。运动控制卡接受工控机规划的路径数据，根据这些数据进行插补，并对各电机驱动器发送驱动信号，电机驱动器根据运动控制卡给定的信号，驱动电机运动。运动控制卡还将各机构的位置传送至工控机，从而实现工控机对助行机器人运动状态的信息的获取。

图2为本发明基于多传感器信息融合的助行机器人三维环境识别方法流程图，如图2所示，本发明包括如下步骤：

S1.ARM信息处理模块采集数据，对该采集数据进行加工处理以建立三维场景重建及目标跟踪信息，并将所述信息送至工控机模块；

所述步骤S1中，所述ARM信息处理模块还包括：ARM处理器***、全维摄像头、局部摄像头、激光传感器和倾角传感器；其中，全维摄像头实时采集全局图像信息送至ARM处理器***，ARM处理器***根据全局图像对跟踪目标进行粗定位；局部摄像头将其采集的局部图像实时送至ARM处理器***，ARM处理器***根据局部图像对目标进行精定位，激光传感器和倾角传感器均将其采集到的数据实时传给ARM处理器***，ARM处理器***将激光传感器数据和倾角传感器数据结合生成三维数据，ARM处理器***通过多传感器信息融合，进行三维场景重建及目标跟踪信息，并将这些信息送至工控机模块。

S2.工控机模块读取ARM信息处理器模块传送的信息，利用其自身的GPS生成导航地图，根据接收到的命令产生运动路径规划信息，并将该运动路径规划信息送至下位机运动控制模块；

所述步骤S2中，所述的工控机模块还包括：工控机、脉搏传感器、血压传感器、体温传感器、GPS、触摸屏、受话器和GPRS，其中，工控机实时读取脉搏传感器、血压传感器、体温传感器，生成健康信息，工控机根据受话器或触摸屏接收到的命令，读取GPS生成导航地图，读取ARM信息处理模块送过来的三维场景重建及目标跟踪信息，根据其接收到的命令，利用导航地图和三维场景重建及目标跟踪信息生成运动路径规划信息，并将生成的运动路径规划信息送至下位机运动控制模块；工控机产生的助行机器人运动参数及用户的健康信息，或送至触摸屏实时显示，或送至音箱输出，或利用GPRS通过internet传到服务器计算机。

S3.下位机控制模块驱动控制各部分机构产生相应的动作，并将其运动信息反馈至工控机模块；

所述步骤S3中，所述的下位机运动控制模块还包括：运动控制卡、电机驱动器、伺服电机、升降机构、行走机构、姿态保持机构，其中，上位机运动控制模块中的运动控制卡接受工控机送来的运动路径规划信息，对运动路径进行插补，产生运动控制信号，运动控制卡将其产生的运动控制信号送至各电机驱动器，由各电机驱动器分别对各伺服电机进行驱动，伺服电机驱动升降机构可产生升降运动，伺服电机驱动行走机构可使助行机器人行走，伺服电机驱动姿态保持机构，可使助行机器人运动过程中姿态保持平稳。

另外，本发明的具体实施方式还可以包括如下步骤：

S1.ARM处理器***根据全局摄像头、局部摄像头采集的图像进行粗定位和精定位；ARM处理器***将激光传感器数据和倾角传感器数据结合生成三维数据；ARM处理器将三维数据、粗定位信息和精定位信息进行融合，生成助行机器人的三维环境识别及目标跟踪信息，并将这些信息送至工控机模块；

S2.工控机模块根据受话器或触摸屏接收到的命令，读取GPS生成导航地图；结合ARM处理器送来的三维场景重建及目标跟踪信息，生成运动路径规划信息，传送至下位机运动控制模块；

S3.下位机运动控制模块接收工控机模块送来的运动路径规划信息，对运动路径进行插补，产生运动控制信号；并将运动控制信号送至各电机驱动器，由各电机驱动器分别驱动各伺服使助行机器人分别产生升降、行走、姿态保持；并将各机构运动信息反馈至工控机模块；

S4.工控机模块产生的助行机器人运动参数及用户的健康信息，或送至触摸屏实时显示，或送至音箱输出，或利用GPRS通过internet传到服务器计算机。

本发明的有益效果：采用本发明将多个传感器融合，为助行机器人建立真实的三维环境，可生成较优的运动路径从而实现助行机器人的安全、平稳、可靠的行走，可实现对目标的有效跟踪，从而提高了助行机器人的智能化程序。

上述仅为本发明的较佳实施例及所运用技术原理，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围的内。

Claims (10)

1.一种基于多传感器融合的助行机器人三维环境识别***，其特征在于，该***包括：ARM信息处理模块、工控机模块、下位机运动控制模块；其中，ARM信息处理模块对采集的数据进行处理后，建立三维场景重建及目标跟踪信息，并将该信息发送至工控机模块；工控机模块接收用户的指令，利用其自身的GPS生成导航地图，将接收的三维场景重建及目标跟踪信息与导航地图相结合生成运动路径规划信息，发送至下位机运动控制模块；下位机控制模块根据运动路径规划信息驱动控制助行机器人产生相应动作，同时反馈运动信息至工控机模块。

2.如权利要求1所述的基于多传感器融合的助行机器人三维环境识别***，其特征在于，所述的ARM信息处理模块还包括：ARM处理器***、全维摄像头、局部摄像头、激光传感器和倾角传感器；全维摄像头实时采集全局图像信息送至ARM处理器***，ARM处理器***根据全局图像对跟踪目标进行粗定位；局部摄像头将其采集的局部图像实时送至ARM处理器***，ARM处理器***根据局部图像对目标进行精定位，激光传感器和倾角传感器均将其采集到的数据实时传给ARM处理器***，ARM处理器***将激光传感器数据和倾角传感器数据结合生成三维数据，ARM处理器***通过多传感器信息融合，进行三维场景重建及目标跟踪信息，并将这些信息送至工控机模块。

3.如权利要求1所述的基于多传感器融合的助行机器人三维环境识别***，其特征在于，所述的工控机模块还包括：工控机、脉搏传感器、血压传感器、体温传感器、GPS、触摸屏、受话器和GPRS，工控机实时读取脉搏传感器、血压传感器、体温传感器，生成健康信息，工控机根据受话器或触摸屏接收到的命令，读取GPS生成导航地图，读取ARM信息处理模块送过来的三维场景重建及目标跟踪信息，根据其接收到的命令，利用导航地图和三维场景重建及目标跟踪信息生成运动路径规划信息，并将生成的运动路径规划信息送至下位机运动控制模块；工控机模块产生的助行机器人运动参数及用户的健康信息，或送至触摸屏实时显示，或送至音箱输出，或利用GPRS通过internet传到服务器计算机。

4.如权利要求1所述的基于多传感器融合的助行机器人三维环境识别***，其特征在于，所述的下位机运动控制模块还包括：运动控制卡、电机驱动器、伺服电机、升降机构、行走机构、姿态保持机构，上位机运动控制模块中的运动控制卡接受工控机送来的运动路径规划信息，对运动路径进行插补，产生运动控制信号，运动控制卡将其产生的运动控制信号送至各电机驱动器，由各电机驱动器分别对各伺服电机进行驱动，伺服电机驱动升降机构可产生升降运动，伺服电机驱动行走机构可使助行机器人行走，伺服电机驱动姿态保持机构，可使助行机器人运动过程中姿态保持平稳。

5.一种基于多传感器信息融合的助行机器人三维环境识别方法，用于如权利要求1所述的***中，其特征在于，该方法包括如下步骤：

S1.ARM信息处理模块采集数据，对该采集数据进行处理以建立三维场景重建及目标跟踪信息，并将该信息送至工控机模块；

S2.工控机模块读取ARM信息处理器模块传送的信息，利用其自身的GPS生成导航地图，根据接收到的命令产生运动路径规划信息，并将该运动路径规划信息送至下位机运动控制模块；

S3.下位机控制模块根据运动路径规划信息驱动控制助行机器人产生相应的动作，同时反馈运动信息至工控机模块。

6.如权利要求5所述的基于多传感器信息融合的助行机器人三维环境识别方法，其特征在于，所述步骤S1中，所述ARM信息处理模块还包括：ARM处理器***、全维摄像头、局部摄像头、激光传感器和倾角传感器；其中，全维摄像头实时采集全局图像信息送至ARM处理器***，ARM处理器***根据全局图像对跟踪目标进行粗定位；局部摄像头将其采集的局部图像实时送至ARM处理器***，ARM处理器***根据局部图像对目标进行精定位，激光传感器和倾角传感器均将其采集到的数据实时传给ARM处理器***，ARM处理器***将激光传感器数据和倾角传感器数据结合生成三维数据，ARM处理器***通过多传感器信息融合，进行三维场景重建及目标跟踪信息，并将这些信息送至工控机模块。

7.如权利要求5所述的基于多传感器信息融合的助行机器人三维环境识别方法，其特征在于，所述步骤S2中，所述的工控机模块还包括：工控机、脉搏传感器、血压传感器、体温传感器、GPS、触摸屏、受话器和GPRS，其中，工控机实时读取脉搏传感器、血压传感器、体温传感器，生成健康信息，工控机根据受话器或触摸屏接收到的命令，读取GPS生成导航地图，读取ARM信息处理模块送过来的三维场景重建及目标跟踪信息，根据其接收到的命令，利用导航地图和三维场景重建及目标跟踪信息生成运动路径规划信息，并将生成的运动路径规划信息送至下位机运动控制模块；工控机产生的助行机器人运动参数及用户的健康信息，或送至触摸屏实时显示，或送至音箱输出，或利用GPRS通过internet传到服务器计算机。

8.如权利要求5所述的基于多传感器信息融合的助行机器人三维环境识别方法，其特征在于，所述步骤S3中，所述的下位机运动控制模块还包括：运动控制卡、电机驱动器、伺服电机、升降机构、行走机构、姿态保持机构，其中，上位机运动控制模块中的运动控制卡接受工控机送来的运动路径规划信息，对运动路径进行插补，产生运动控制信号，运动控制卡将其产生的运动控制信号送至各电机驱动器，由各电机驱动器分别对各伺服电机进行驱动，伺服电机驱动升降机构可产生升降运动，伺服电机驱动行走机构可使助行机器人行走，伺服电机驱动姿态保持机构，可使助行机器人运动过程中姿态保持平稳。

9.一种基于多传感器信息融合的助行机器人三维环境识别方法，其特征在于，包括如下步骤：

S1.ARM处理器***根据全局摄像头、局部摄像头采集的图像进行粗定位和精定位；ARM处理器***将激光传感器数据和倾角传感器数据结合生成三维数据；ARM处理器将三维数据、粗定位信息和精定位信息进行融合，生成助行机器人的三维环境识别及目标跟踪信息，并将这些信息送至工控机模块；

S2.工控机模块根据受话器或触摸屏接收到的命令，读取GPS生成导航地图；结合ARM处理器送来的三维场景重建及目标跟踪信息，生成运动路径规划信息，传送至下位机运动控制模块；

S3.下位机运动控制模块接收工控机模块送来的运动路径规划信息，对运动路径进行插补，产生运动控制信号；并将运动控制信号送至各电机驱动器，由各电机驱动器分别驱动各伺服电机使助行机器人分别产生升降、行走、姿态保持；同时反馈运动信息至工控机模块。

10.如权利要求9所述的基于多传感器信息融合的助行机器人三维环境识别方法，其特征在于，还包括如下步骤：

S4.工控机模块产生的助行机器人运动参数及用户的健康信息，或送至触摸屏实时显示，或送至音箱输出，或利用GPRS通过internet传到服务器计算机。

Images