CN112683288B - 一种交叉口环境下辅助盲人过街的智能引导方法 - Google Patents

Abstract

本发明公开了一种交叉口环境下辅助盲人过街的智能引导机器人***及智能引导方法，通过ZigBee模块与交叉口信号灯进行通信，获取信号灯当前的灯色状态和剩余时长，当绿灯状态时，启动机器人；然后利用高清摄像头拍摄交叉口场景图像并进行分析处理，识别斑马线，确定大致行走区域；再融合高清摄像头图像与三维激光雷达的云信息获取障碍物类别，并辨识障碍物位置与运动状态参数，更新局部环境地图；预先设定目标点位置及无障碍物时机器人过街初步路径，由目标点位置、预设速度阈值计算得到安全过街预估时长，当预估时长小于剩余绿灯时长，根据障碍物位置和运动状态实时规划行进路径；最后实现机器人转向角度和速度控制，辅助盲人安全完成过街任务。

Description

一种交叉口环境下辅助盲人过街的智能引导方法

技术领域

本发明涉及智能导盲技术领域，具体是一种交叉口环境下辅助盲人过街的智能引导机器人***及智能引导方法。

背景技术

随着人口增长和老龄化程度加深，到2050年为止，全球预计会有7.03亿人面临中重度视力损害或失明。中国残联数据显示，目前我国盲人数量至少为500万，且正在以每年45万的速度迅猛增长。盲人无法通过视觉获取环境信息，导致出行困难，亟需通过现代化手段解决盲人出行问题。目前现有的导盲工具主要有导盲犬、导引式手杖、穿戴式导盲仪等，其中导盲犬虽然有很好的记忆力，能引导盲人在熟悉区域往返，但其区域局限性强、训练周期长、适应期长；导引式手杖通常具备探测功能，但不具备精确导航功能，不能满足盲人安全过街需求；穿戴式导盲仪能够较好地将障碍物信息传达给使用者，但存在质量大、穿戴舒适度不佳等问题，无法满足大多数盲人的出行需求。

盲人出行时不可避免地会遇到城市交叉口复杂环境，需要独立完成自主过街。安全过街的前提是全面获取交叉口信息，包括(1)环境信息，如路面状况、运动障碍物(其他行人、车辆)等；(2)交通信息，如斑马线位置、信号灯状态信息等；(3)导向信息，包括自身位置、朝向、目标位置及前往目标位置的合理路径信息。

申请号为CN201510423197.4，发明创造名称为“一种导盲方法及导盲***”的发明专利通过定位盲人当前位置，拍摄所处位置路面信息，对所处位置的路面信息进行分析，最后通过语音通知盲人分析结果进行导盲；申请号为CN201711119609.0，发明创造名称为“导盲方法及导盲***”的发明专利利用使用者所处场景的图像获取各对象的位置和尺寸信息，根据各对象位置信息和尺寸信息获取障碍物信息，然后通过语音向使用者播放障碍物信息以对使用者进行导盲。然而，上述两个发明专利虽然能通过语音提醒辅助盲人出行，但并未考虑到交叉口的复杂交通场景，当盲人有过街需求时，仅通过语音提醒盲人障碍物信息不能满足盲人安全过街的需求。

发明内容

为了克服上述现有技术中的缺陷，本发明第一个发明目的在于提供一种交叉口环境下辅助盲人过街的智能引导机器人***，该***能够全面获取交叉口环境信息，通过分析交叉口信息实时规划行进路径，引导盲人安全高效地完成过街任务，能够有效增强盲人用户的使用体验，保证盲人用户的使用安全；本发明的第二个发明目的在于提供一种交叉口环境下辅助盲人过街的智能引导方法，该方法同样具有能够引导盲人安全高效地完成过街任务，能够有效增强盲人用户的使用体验，保证盲人用户的使用安全的优点。

上述一种交叉口环境下辅助盲人过街的智能引导机器人***与一种交叉口环境下辅助盲人过街的智能引导方法技术上相互关联，属于同一个发明构思。

为了实现上述第一个发明目的，本发明采用以下技术方案：一种交叉口环境下辅助盲人过街的智能引导机器人***，包括用于采集交叉口环境数据和机器人运行状态数据的信息采集单元、用于处理交叉口环境信息的信息处理单元、用于控制机器人转向角度和速度的运动控制单元及扶持设备，所述信息采集单元的输出端与所述信息处理单元的输入端相连，所述信息处理单元的输出端与所述运动控制单元的输入端相连，所述扶持设备安装于机器人主体上。

作为本发明的一种优选方案，所述信息采集单元包括用于获取当前时刻交叉口信号灯灯色状态和剩余时长的ZigBee无线通信设备、用于采集交叉口图像信息的高清摄像头、用于采集障碍物信息的三维激光雷达、用于采集机器人加速度和角速度数据的惯性导航传感器、用于采集机器人实际转向角度的转向角传感器及用于采集机器人实际运行速度的线速度传感器。

作为本发明的一种优选方案，所述信息处理单元包括信号灯识别模块、斑马线识别模块、障碍物识别模块、地图构建模块及路径规划模块，所述信号灯识别模块对ZigBee无线通信设备获取的当前信号灯灯色状态和剩余时长进行判定，若当前信号灯灯色状态为绿灯，则触发斑马线识别模块、障碍物识别模块、地图构建模块及路径规划模块。

作为本发明的一种优选方案，所述斑马线识别模块对高清摄像头采集的交叉口场景图像进行处理，识别出盲人所在交叉口的斑马线并确定大致行进区域。

作为本发明的一种优选方案，所述障碍物识别模块对信息采集单元中高清摄像头获取的图像信息与三维激光雷达点的数据进行分析处理，获取盲人周围障碍物尺寸、位置和运动状态信息。

作为本发明的一种优选方案，所述地图构建模块用于构建全局环境地图，并结合过街过程中盲人位置与周围障碍物信息实时更新局部环境地图。

作为本发明的一种优选方案，所述路径规划模块：首先设定人行横道上距离盲人最远的斑马线中点为目标点，建立盲人过街初步路径，将斑马线中点连线方向预先设定为盲人过街方向；然后由目标点位置、预设速度阈值计算得到安全过街预估时长，并与剩余绿灯时长进行比较，当安全过街预估时长小于剩余绿灯时长时，规划局部行进路径；接着结合惯性导航传感器采集的加速度和角速度数据，实时更新局部行进路径内自身航向、姿态、速度和位置等信息，若检测到局部行进路径内障碍物与盲人过街初步路径之间存在冲突，则进一步分析障碍物运动状态；针对静态障碍物采取主动避障操作；针对动态障碍物则预测障碍物运动轨迹，根据轨迹预测结果进行主动避障和路径规划。

作为本发明的一种优选方案，所述运动控制单元包括转向角控制模块和速度控制模块；所述转向角控制模块采用位置式PID算法，通过转向角传感器获取实际转向角并反馈给控制器，实现机器人转向角控制；所述速度控制模块采用增量式PID算法，通过线速度传感器获取实际运行速度并反馈给控制器，实现机器人速度控制。

与现有技术相比，本发明的有益效果是：本发明的交叉口环境下辅助盲人过街的智能引导机器人***中，通过利用信息采集单元中的ZigBee模块与信号灯进行通信，获取当前灯色状态和剩余时长，确定过街是否可行，保障盲人过街安全性；再结合多传感器融合识别障碍物并采取相应措施，使用限制少，可应用范围广，有利于应用上述智能引导机器人***的智能引导机器人在导盲技术领域的推广及应用。

为了实现上述第二个发明目的，本发明采用以下技术方案：一种交叉口环境下辅助盲人过街的智能引导方法，包括以下步骤：

步骤1、判断交叉口信号灯当前灯色状态并获取当前灯色剩余时长，若当前信号灯为绿灯显示状态，进入步骤2；

步骤2、对高清摄像头拍摄的交叉口场景图像进行分析处理，识别出斑马线，确定大致行进区域；具体采用低通滤波和高通滤波算法对图像进行增强处理，接着进行灰度二值化处理，并运用Sobel边缘检测算法提取斑马线边缘，最后利用霍夫变换检测出斑马线，确定斑马线区域为大致行进区域；

步骤3、在联合标定高清摄像头和三维激光雷达的基础上，融合高清摄像头图像信息与三维激光雷达点云信息识别周围障碍物：先利用图像语义分割和Faster R-CNN神经网络对高清摄像头获取的图像进行处理，识别周围障碍物类别，再采用均值聚类算法对三维激光雷达获取的点云数据进行聚类分割，剔除斑马线区域以外的类簇，保留斑马线区域内的障碍物类簇，接着利用卡尔曼滤波算法进行障碍物跟踪，获取障碍物位置、尺寸与运动状态信息；

步骤4、结合步骤2获取的斑马线信息、步骤3获取的障碍物信息和惯性导航信息采用占据栅格地图算法构建全局环境地图，并根据机器人实时位置变化和障碍物信息对全局环境地图进行实时修正，同时构建局部环境地图；

步骤5、设定人行横道上距离盲人最远的斑马线中点为目标点，建立盲人过街初步路径，将斑马线中点连线方向预先设定为盲人过街方向，由目标点位置、预设速度阈值计算得到盲人安全过街预估时长，当安全过街预估时长小于剩余绿灯时长时，根据障碍物位置和运动状态变化采取相应的避障方法，实时规划行进路径；

步骤6、按照步骤5所规划的行进路径，利用PID自适应控制方法控制机器人转向角和行进速度，转向角控制采用位置式PID算法，并通过转向角传感器获取实际转向角并反馈给控制器，实现机器人转向角控制；速度控制采用增量式PID算法，并通过线速度传感器获取实际运行速度并反馈给控制器，实现机器人速度控制，引导盲人完成安全过街。

作为本发明的一种优选方案，所述步骤5具体包括：首先设定人行横道上距离盲人最远的斑马线中点为目标点，机器人运动过程中机器人质心为圆心、半径为R的圆形区域为判定区域；然后建立盲人过街初步路径，将斑马线中点连线方向预先设定为盲人过街方向；接着由目标点位置和预设速度阈值计算得到盲人过街预估时长，对比盲人过街预估时长与剩余绿灯时长：若盲人过街预估时长大于或等于剩余绿灯时长，则语音提醒盲人当前绿灯时长不能满足安全过街需求，机器人保持静止操作，等待下一绿灯状态；若盲人过街预估时长小于剩余绿灯时长，则根据所述障碍物位置和运动状态信息分析判定区域内障碍物是否与盲人过街初步路径存在冲突，对动态障碍物采用长短时记忆神经网络方法进行轨迹预测，若判定区域内存在静态障碍物干扰盲人过街初步路径，则采取主动避障操作；若判定区域内动态障碍物的预测轨迹与盲人过街初步路径存在冲突，则采取主动避障操作；否则机器人沿盲人过街初步路径运动。

作为本发明的一种优选方案，对动态障碍物采用长短时记忆神经网络方法进行轨迹预测的具体方法为：将过街场景中每个行人i在过去时刻t的状态

作为LSTM编码器的输入，则所有行人的历史轨迹集合为：

其中，t_obs是轨迹的观测时域。在每一时刻，LSTM对特征向量进行编码，得到序列的上下文向量

其中，μ为全连接层，将二维坐标转化为特征向量；w_μe为该全连接层参数。

单个行人i在t时刻的状态不仅与当前位置信息和过去状态有关，也与周围其他行人的影响有关。因此引入卷积社会池化结构，将目标行人邻近二维区域(m,n)内其它行人的LSTM隐层状态共享，构建社会张量

反映行人间的社会交互关系：

其中

为第j个人在t-1时刻所对应的LSTM隐藏状态；1_mn为检测所提取的周围行人的位置(x,y)是否在所观测的二维区域(m,n)；N_i为涉及的所有周围行人总数。

考虑到行人运动存在不确定性，因此基于行人历史轨迹信息、行人意图I_k和行人间交互

输出多模态轨迹坐标，使预测的行人轨迹符合二元高斯分布：

其中Θ^t＝(μ^t,∑^t)为在t时刻二元高斯分布所对应的参数，分别代表均值和方差。

与现有技术相比，本发明的有益效果是：本发明的交叉口环境下辅助盲人过街的智能引导机器人的智能引导方法中，通过利用信息采集单元中的ZigBee模块与信号灯进行通信，获取当前灯色状态和剩余时长，确定过街是否可行能够全面获取交叉口环境信息，同样能够引导盲人安全高效地完成过街任务，能够有效增强盲人用户的使用体验，保证盲人用户的使用安全。

附图说明

图1是实施例中交叉口环境下辅助盲人过街的智能引导机器人***的方案示意图；

图2是实施例中交叉口环境下辅助盲人过街的智能引导方法的流程示意图；

图3是实施例中局部路径规划流程示意图；

图4是实施例中的转向角控制流程示意图；

图5是实施例中的速度控制流程示意图。

附图标记：101、信息采集单元；102、信息处理单元；103、运动控制单元；104、信号灯识别模块；105、斑马线识别模块；106、障碍物识别模块；107、地图构建模块；108、路径规划模块；109、转向角控制模块；110、速度控制模块；111、高清摄像头；112、三维激光雷达；113、惯性导航传感器；114、转向角传感器；115、线速度传感器；116、ZigBee无线通信设备。

具体实施方式

下面结合附图对本发明实施例作详细说明。

实施例：如图1至5所示，一种交叉口环境下辅助盲人过街的智能引导机器人***，包括用于采集交叉口环境数据和机器人运行状态数据的信息采集单元101、用于处理交叉口环境信息的信息处理单元102、用于控制机器人转向角度和速度的运动控制单元103及扶持设备，上述信息采集单元101的输出端与上述信息处理单元102的输入端相连，上述信息处理单元102的输出端与上述运动控制单元103的输入端相连，上述扶持设备安装于机器人主体上，扶持设备可为伸缩式手杖，盲人可根据身高状态选择适合的手杖高度，过街过程中轻握手杖跟随机器人行走，使得机器人应用范围更广，使用体验更佳。

信息采集单元101包括用于获取当前时刻交叉口信号灯灯色状态和剩余时长的ZigBee无线通信设备116、用于采集交叉口图像信息的高清摄像头111、用于采集障碍物信息的三维激光雷达112、用于采集机器人加速度和角速度数据的惯性导航传感器113、用于采集机器人实际转向角度的转向角传感器114及用于采集机器人实际运行速度的线速度传感器115。

信息处理单元102包括信号灯识别模块104、斑马线识别模块105、障碍物识别模块106、地图构建模块107及路径规划模块108，上述信号灯识别模块108对ZigBee无线通信设备116获取的当前信号灯灯色状态和剩余时长进行判定，若当前信号灯灯色状态为绿灯，则触发斑马线识别模块105、障碍物识别模块106、地图构建模块107及路径规划模块108，斑马线识别模块105对高清摄像头111采集的交叉口场景图像进行处理，识别出盲人所在交叉口的斑马线并确定大致行进区域。

障碍物识别模块106对信息采集单元101中高清摄像头111获取的图像信息与三维激光雷达112的云数据进行分析处理，获取盲人周围障碍物尺寸、位置和运动状态信息。

地图构建模块107用于构建全局环境地图，并结合过街过程中盲人位置与周围障碍物信息实时更新局部环境地图。

路径规划模块108：首先设定人行横道上距离盲人最远的斑马线中点为目标点，建立盲人过街初步路径，将斑马线中点连线方向预先设定为盲人过街方向；然后由目标点位置、预设速度阈值计算得到安全过街预估时长，并与剩余绿灯时长进行比较，当安全过街预估时长小于剩余绿灯时长时，规划局部行进路径；接着结合惯性导航传感器采集的加速度和角速度数据，实时更新局部行进路径内自身航向、姿态、速度和位置等信息，若检测到局部行进路径内障碍物与盲人过街初步路径之间存在冲突，则进一步分析障碍物运动状态；针对静态障碍物采取主动避障操作；针对动态障碍物则预测障碍物运动轨迹，根据轨迹预测结果进行主动避障和路径规划。

运动控制单元103包括转向角控制模块109和速度控制模块110，上述转向角控制模块109采用位置式PID算法，通过转向角传感器114获取实际转向角并反馈给控制器，实现机器人转向角控制；上述速度控制模块110采用增量式PID算法，通过线速度传感器115获取实际运行速度并反馈给控制器，实现机器人速度控制。

如图2所示，为本实施例中辅助盲人过街的智能引导方法流程示意图。

一种交叉口环境下辅助盲人过街的智能引导方法，包括以下步骤：步骤201、为完成过街，首先通过ZigBee无线通信设备116获取盲人所在交叉口信号灯状态信息，ZigBee无线通信设备116中的ZigBee协调器模块与ZigBee接收终端模块主要是由CC2530芯片组成，ZigBee协调器模块与交叉口信号灯控制模块通过UART串口相连，负责建立协调器网络，获取信号灯的状态信息；ZigBee接收终端模块与机器人内信息处理单元102的信号灯识别模块104相连，将获取的信号灯的状态信息传输给信号灯识别模块104。ZigBee协调器模块与ZigBee接收终端模块共同组成无线通信网络，实现信号灯状态的实时传输。当机器人进入到信号发射半径内，ZigBee接收终端模块自动作为终端节点加入到网络中，获取信号灯状态。

若当前信号灯为绿灯显示状态，则继续图2中的步骤S202，对高清摄像头111拍摄的交叉口场景图像进行处理，图像生成、传输过程中，由于受到光照、噪声等客观因素影响，常会出现图像清晰度较差等情况。为此，采用低通滤波和高通滤波对图像进行增强处理，其中低通滤波器为指数低通滤波器，高通滤波器为梯形高通滤波器。接着进行灰度二值化处理，并运用Sobel边缘检测算法提取斑马线边缘，最后利用霍夫变换检测出斑马线。

得到斑马线信息后，继续图2中的步骤S203，融合高清摄像头111图像数据与三维激光雷达112的云数据解析交叉口场景信息，识别周围障碍物：先利用图像语义分割和Faster R-CNN神经网络对高清摄像头111获取的图像进行处理，识别出障碍物类别，再采用均值聚类算法对三维激光雷达112获取的云数据进行聚类分割，剔除斑马线区域以外的类簇，保留斑马线区域内的障碍物类簇，接着利用卡尔曼滤波算法进行障碍物跟踪，获取障碍物位置、尺寸与运动状态信息。

根据上述步骤获取的斑马线和障碍物信息，进行图2中的步骤S204，采用占据栅格地图算法将环境地图表示为均匀间隔的二进制随机变量场，栅格地图中每个独立的栅格有两种状态：占用和空闲。通过计算每个独立栅格被占据的概率，判断每个栅格的状态，灰色栅格表示未知区域，白色栅格表示可行进区域，黑色栅格表示障碍区域。根据机器人实时位置变化进行自身位姿校正，同时修正全局栅格地图。根据机器人位置变化和周围障碍物动态信息实时更新局部环境地图。

完成地图构建后，进行图2中的步骤S205，设定人行横道上距离盲人最远的斑马线中点为目标点，建立盲人过街初步路径，将斑马线中点连线方向预先设定为盲人过街方向。由目标点位置、预设速度阈值计算得到盲人安全过街预估时长，当安全过街预估时长小于剩余绿灯时长时，执行局部路径规划。局部路径规划过程中，根据惯性导航采集的机器人加速度和角速度数据，得到局部环境地图内自身航向、姿态、速度和位置等信息。

下面结合图3，对局部路径规划过程进行具体说明：

如图3所示，在已获取障碍物位置信息后，首先如图3中步骤S301所示，判断障碍物是否接触机器人判定区域边缘。判定区域为以机器人质心为圆心、半径为R的圆形区域。若无障碍物接触机器人判定区域边缘，即无障碍物影响机器人向目标点前进，则继续沿着斑马线中点连线方向向目标点行进，参见步骤S306；若有障碍物接触机器人判定区域边缘，则执行图3中步骤S302，判断障碍物是否运动。

若判定为静态障碍物，则采取主动避障操作，沿着障碍物边缘向前行驶靠近目标点，参见步骤S307。

若判定为运动障碍物，则执行图3中步骤S303，进行运动障碍物轨迹预测。考虑到斑马线区域过街主体大多为行人，因此以运动障碍物为行人为例具体介绍本发明的运动障碍物轨迹预测方法。本实施例中具体采用长短时记忆神经网络(Long Short-Term Memory，LSTM)编码器-解码器结构预测周围运动行人行走轨迹，该结构采用LSTM学习历史轨迹并编码上下文向量，在编码器输出端采用卷积社会池化操作构建行人间交互关系，利用LSTM解码器结合历史轨迹上下文向量和行人间相互影响程度输出预测轨迹的概率分布。

将过街场景中每个行人i在过去时刻t的状态

作为LSTM编码器的输入，则所有行人的历史轨迹集合为：

其中，t_obs是轨迹的观测时域。在每一时刻，LSTM对特征向量进行编码，得到序列的上下文向量

其中，μ为全连接层，将二维坐标转化为特征向量；w_μe为该全连接层参数。

单个行人i在t时刻的状态不仅与当前位置信息和过去状态有关，也与周围其他行人的影响有关。因此引入卷积社会池化结构，将目标行人邻近二维区域(m,n)内其它行人的LSTM隐层状态共享，构建社会张量

反映行人间的社会交互关系：

其中

为第j个人在t-1时刻所对应的LSTM隐藏状态；1_mn为检测所提取的周围行人的位置(x,y)是否在所观测的二维区域(m,n)；N_i为涉及的所有周围行人总数。

考虑到行人运动存在不确定性，因此基于行人历史轨迹信息、行人意图I_k和行人间交互

输出多模态轨迹坐标，使预测的行人轨迹符合二元高斯分布：

其中Θ^t＝(μ^t,∑^t)为在t时刻二元高斯分布所对应的参数，分别代表均值和方差。

根据运动障碍物轨迹预测结果，判断运动障碍物轨迹是否与机器人过街初步路径存在冲突，参见步骤S304，若轨迹预测结果表明运动障碍物轨迹与机器人过街初步路径间无冲突，则机器人沿斑马线中心线向目标点行进，参见步骤S306；若障碍物轨迹预测结果表明运动障碍物轨迹与机器人过街初步路径间存在冲突，则执行步骤S305，采用基于人工势场理论的避障方法进行局部路径规划。

基于人工势场理论的避障方法主要思路为：机器人在势力场中从势场强度高的地方向势场强度低的地方移动，通过构建机器人与目标点间的引力函数和机器人与障碍物间的斥力函数确定机器人受到的合力方向，作为机器人运动方向。

引力函数受机器人与目标点之间的距离影响，机器人距离目标点越远，则其所受势能越大；机器人距离目标点越近，则其所受势能越小。当机器人势能为零时，表明机器人到达目标点位置。

引力势场函数表示为：

其中η为正比例位置增益系数；ρ(q,q_g)表示一个矢量，矢量大小为机器人位置q和目标点位置q_g之间的欧式距离|q-q_g|，矢量方向为机器人位置指向目标点位置。

由引力势场产生的引力为：F_att(q)＝ηρ(q,q_g)

机器人所受引力方向为机器人位置指向目标点位置。

斥力函数在考虑距离因素的基础上，还引入了速度和加速度的因素。

机器人与障碍物之间的相对距离势场表示为：

机器人与障碍物之间的相对速度势场表示为：

机器人与障碍物之间的相对加速度势场表示为：

式中：k为正比例位置增益；ρ₀为机器人周围障碍物区域对机器人产生作用的最大距离；ρ(q,q₀)为距离矢量，表示机器人位置q和离机器人最近障碍物q₀之间的欧式距离|q-q₀|，矢量方向为障碍物位置指向机器人位置；k_repv为可调的速度斥力常量；k_repa为可调的加速度斥力常量；V_or为障碍物相对于机器人的速度，速度斥力方向与V_or同向；A_or为障碍物相对于机器人的加速度，加速度斥力方向与A_or同向；α为V_or与

(机器人位置到障碍物位置的向量)的夹角，当

时，即障碍物朝远离机器人的方向运动或障碍物与机器人间的距离超过判定区域范围时，无需考虑速度斥力；β为A_or与

的夹角，当

时，即障碍物的移动趋势朝远离机器人的方向运动或障碍物与机器人间的距离超过判定区域范围时，无需考虑加速度斥力。

机器人与障碍物之间的距离斥力为：

机器人与障碍物之间的速度斥力为：

机器人与障碍物之间的加速度斥力为：

加入速度、加速度因素后，机器人所受的斥力势能为：

U_rep(q,v,a)＝U_rep(q)+U_repv(q)+U_repa(q)

机器人所受斥力为：

F_rep(q,v,a)＝F_rep(q)+F_repv(q)+F_repa(q)

则机器人所受合力为：

F_rep(q,v,a)＝F_att(q)+F_rep(q)+F_repv(q)+F_repa(q)

此合力方向即为机器人运动方向，基于此步骤得到的机器人运动方向，接着进入图4中的步骤S406，利用PID自适应控制方法控制机器人转向角度和速度。

机器人动作命令设为Action:(θ,v)，其中，θ表示机器人转向角度，v表示机器人行驶速度。若θ为正，则机器人顺时针转向θ角度；若θ为负，则机器人逆时针转向θ角度。转向角控制流程如图4所示，采用位置式PID算法，将计算结果作为舵机PWM的输入，舵机接收到控制信号后控制机器人转向，通过转向角传感器获取实际转向角并反馈给控制器，实现机器人转向角控制；速度控制流程如图5所示，采用增量式PID算法，将计算结果作为电机的输入，通过控制电机输入调节机器人运行速度，通过线速度传感器获取实际运行速度并反馈给控制器，实现机器人速度控制，完成引导盲人过街任务。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现；因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

尽管本文较多地使用了图中附图标记：101、信息采集单元；102、信息处理单元；103、运动控制单元；104、信号灯识别模块；105、斑马线识别模块；106、障碍物识别模块；107、地图构建模块；108、路径规划模块；109、转向角控制模块；110、速度控制模块；111、高清摄像头；112、三维激光雷达；113、惯性导航传感器；114、转向角传感器；115、线速度传感器；116、ZigBee无线通信设备等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (1)

1.一种交叉口环境下辅助盲人过街的智能引导方法，其特征在于：包括以下步骤：

步骤1、判断交叉口信号灯当前灯色状态并获取当前灯色剩余时长，若当前信号灯为绿灯显示状态，进入步骤2；

步骤2、对高清摄像头(111)拍摄的交叉口场景图像进行分析处理，识别出斑马线，确定大致行进区域；采用低通滤波和高通滤波算法对图像进行增强处理，接着进行灰度二值化处理，并运用Sobel边缘检测算法提取斑马线边缘，最后利用霍夫变换检测出斑马线，确定斑马线区域为大致行进区域；

步骤3、在联合标定高清摄像头(111)和三维激光雷达(112)的基础上，融合高清摄像头(111)的图像信息与三维激光雷达(112)的云数据信息识别周围障碍物：先利用图像语义分割和Faster R-CNN神经网络对高清摄像头获取的图像进行处理，识别周围障碍物类别，再采用均值聚类算法对三维激光雷达(112)获取的云数据信息进行聚类分割，剔除斑马线区域以外的类簇，保留斑马线区域内的障碍物类簇，接着利用卡尔曼滤波算法进行障碍物跟踪，获取障碍物位置、尺寸与运动状态信息；

步骤4、结合步骤2获取的斑马线信息、步骤3获取的障碍物信息和惯性导航信息采用占据栅格地图算法构建全局环境地图，并根据机器人实时位置变化和障碍物信息对全局环境地图进行实时修正，同时构建局部环境地图；

步骤5、设定人行横道上距离盲人最远的斑马线中点为目标点，建立盲人过街初步路径，将斑马线中点连线方向预先设定为盲人过街方向，由目标点位置、预设速度阈值计算得到盲人安全过街预估时长，当安全过街预估时长小于剩余绿灯时长时，根据障碍物位置和运动状态变化采取相应的避障方法，实时规划行进路径；

步骤6、按照步骤5所规划的行进路径，利用PID自适应控制方法控制机器人转向角和行进速度，转向角控制采用位置式PID算法，并通过转向角传感器(114)获取实际转向角并反馈给控制器，实现机器人转向角控制；速度控制采用增量式PID算法，并通过线速度传感器(115)获取实际运行速度并反馈给控制器，实现机器人速度控制，引导盲人完成安全过街；

所述步骤5具体包括：首先设定人行横道上距离盲人最远的斑马线中点为目标点，机器人运动过程中机器人质心为圆心、半径为R的圆形区域为判定区域；然后建立盲人过街初步路径，将斑马线中点连线方向预先设定为盲人过街方向；接着由目标点位置和预设速度阈值计算得到盲人过街预估时长，对比盲人过街预估时长与剩余绿灯时长：若盲人过街预估时长大于或等于剩余绿灯时长，则语音提醒盲人当前绿灯时长不能满足安全过街需求，机器人保持静止操作，等待下一绿灯状态；若盲人过街预估时长小于剩余绿灯时长，则根据所述障碍物位置和运动状态信息分析判定区域内障碍物是否与盲人过街初步路径存在冲突，对动态障碍物采用长短时记忆神经网络方法进行轨迹预测，若判定区域内存在静态障碍物干扰盲人过街初步路径，则采取主动避障操作；若判定区域内动态障碍物的预测轨迹与盲人过街初步路径存在冲突，则采取主动避障操作；否则机器人沿盲人过街初步路径运动；

对动态障碍物采用长短时记忆神经网络方法进行轨迹预测的具体方法为：

将过街场景中每个行人i在过去时刻t的状态

作为LSTM编码器的输入，则所有行人的历史轨迹集合为：

其中，t_obs是轨迹的观测时域；在每一时刻，LSTM对特征向量进行编码，得到序列的上下文向量

其中，μ为全连接层，将二维坐标转化为特征向量；w_μe为该全连接层参数；

单个行人i在t时刻的状态不仅与当前位置信息和过去状态有关，也与周围其他行人的影响有关；因此引入卷积社会池化结构，将目标行人邻近二维区域(m,n)内其它行人的LSTM隐层状态共享，构建社会张量

反映行人间的社会交互关系：

其中

为第j个人在t-1时刻所对应的LSTM隐藏状态；1_mn为检测所提取的周围行人的位置(x,y)是否在所观测的二维区域(m,n)；N_i为涉及的所有周围行人总数；

考虑到行人运动存在不确定性，因此基于行人历史轨迹信息、行人意图I_k和行人间交互

输出多模态轨迹坐标，使预测的行人轨迹符合二元高斯分布：

其中Θ^t＝(μ^t,∑^t)为在t时刻二元高斯分布所对应的参数，分别代表均值和方差。

Images