CN112274399A - 一种智能感知机器导盲控制方法、存储介质、***、装置 - Google Patents

Abstract

本发明属于计算机视觉、高精度传感与数据融合、人工智能技术领域，公开了一种智能感知机器导盲控制方法、存储介质、***、装置，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后进入待机状态，等待发送的外部环境数据包；将当前位置信息通过GSM模块发送至手机APP中；读取航向角数据，并进行初步处理；将路径中的关键节点标注出来；在多线程工作模式中控制高清摄像头采集前方路面信息，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，综合判断前方路况以及目前所处位置。本发明能够有效解决传统导盲犬培训时间长，培训成本高以及其引起的导盲犬是否准入公共场所等社会问题。

Description

一种智能感知机器导盲控制方法、存储介质、***、装置

技术领域

本发明属于计算机视觉、高精度传感与数据融合、人工智能技术领域，尤其涉及一种智能感知机器导盲控制方法、存储介质、***、装置。

背景技术

日常生活中很难见到视障人士出行，这是因为相关的无障碍公共设施不完善，视障人士出行辅助设备发展缓慢。目前解决视障人士生活障碍问题的方法较少，主要方法为配备导盲犬，但数据显示2016年我国有1731万登记视障人士，却只有150多只正规导盲犬在服役。导盲犬是盲人出行的有力辅助手段，但其培养费用高达15～20万元，培养过程困难。碍于以上问题，在中国有能力与机会申请获得一只正规导盲犬的视障人士少之又少。导盲犬不仅价格昂贵，培养困难，社会大众对其的不理解、不接纳以及不合时宜的好奇心均会对导盲犬的工作造成困扰，也一定程度上阻碍导盲犬的普及，形成了不可忽视的社会问题，如何能够让视障人士不依靠导盲犬正常出行成为了解决此问题的关键。故设计一种能够有效帮助视障人士像正常人一样生活的出行辅助设备成为了解决视障人士出行问题的重要一环。

通过上述分析，现有技术存在的问题及缺陷为：盲人出行时的定位、导航、避障问题，能够在一定程度上辅助盲人自主出行，同时解决由传统导盲犬所引起的社会问题。

解决以上问题及缺陷的难度为：当前解决视障人士出行问题的主要方式还是依靠导盲犬进行辅助出行，但正规训练的导盲犬数量稀少，价格昂贵。在目前的社会背景下，为数量庞大的视障人群中的每一个人都配备一只合格的导盲犬是不现实的，故需要通过能进行大批量工业生产的智能化设备解决视障人士出行的问题。

目前市面上常见的数字化导盲设备多为各种使用超声波传感器、红外传感器的测距设备，通过物理传感的方式检测前方是否存在障碍物，功能较为单一，无法为盲人提供更为全面的出行辅助。目前大多数城市的无障碍设施缺乏统一标准，并且存在恶意毁坏，非法占用等情况，例如盲道上经常可见停着的自行车，上述情况大大增加了盲人出行的困难程度，使用单一的物理传感器很难检测到室外街道复杂环境下的多种障碍物，使用体验较差，同时存在一定的危险性。

随着深度学***台算力的提升，使得在移动端使用深度学习技术进行目标识别成为了可能，但如何能够将深度学习技术与传统物理传感器进行融合来完成复杂环境下的定位、导航、避障等功能依旧存在非常大的困难。例如如何获得当前所处位置的精确定位信息，如何确定前方障碍物的种类与对应的避障方式，如何判断当前所处的道路位置等。

解决以上问题及缺陷的意义为：本发明提出的智能感知机器导盲犬，通过高精度的差分GPS定位与盲道位置识别算法，有效的解决了室外复杂环境下的高精度定位问题与当前所处道路位置问题。通过上述算法，能够准确判断当前盲人所处位置，进而通过导航算法完成高精度的领航功能；将超声波传感器、红外传感器、深度学习障碍物识别算法等多种障碍物识别方式进行数据融合，依据不同识别方式的优缺点进行障碍物识别优先级排序，再通多次判断与延迟比较进行数据确认，大大增加了障碍物识别的精确度，辅以自主设计的避障方式，能够解决盲道占道等问题。

通过上述方案有效解决了目前智能化盲人辅助出行设备所存在的问题，能够有效的、安全的、稳定的为盲人提供优质的出行辅助服务。通过大批量的工业生产，可以降低成本，使得大部分盲人都能够以较低的成本获得有效的出行辅助，且不存在导盲犬所引起的社会问题，对推动社会公益，提高残障人士人权福利具有积极意义。

发明内容

针对现有技术存在的问题，本发明提供了一种智能感知机器导盲控制方法、存储介质、***、装置。

本发明是这样实现的，一种智能感知机器导盲控制方法，所述智能感知机器导盲控制方法包括：

接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

在多线程工作模式中TX2控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置。

进一步，所述智能感知机器导盲控制方法的红外测距模块位于智能感知机器导盲犬前端两侧，正常状态下正对智能感知机器导盲犬运行方向，当检测阈值范围内出现障碍物后，机器导盲犬开始向无障碍的一侧转向，若两侧均有障碍则向距离障碍物较远的一侧转向，将根据航向角数据的改变控制舵机做反向旋转，保持红外测距模块一直正对此前检测到障碍物的方向，在转向的同时能够有效检测水平方向的位移距离是否避开了障碍物；当机器导盲犬进入到避障转向程序中时，此时的红外传感器所检测的位置发生了改变，不能够检测机器导盲犬正方向上的障碍物，在机器导盲犬前方正中央加装了一枚超声波测距模块，测距方向始终为机器导盲犬正方向，用于弥补避障转向过程中红外测距的检测盲区，共同完成避障功能；高精度卫星定位模块与航向角传感器组成定位模块，卫星定位模块采用差分技术。

进一步，所述智能感知机器导盲控制方法的路径规划算法在东北天坐标系下，选取路径点上的关键节点，取两两节点为一个路径片段，计算相连两段路径片段的航向角变化值，当航向角变化值超过一定阈值时则认为其运动方向发生变化，最后将规划道路上的所有节点与道路段信息计算完成后存储在内存中。

进一步，所述智能感知机器导盲控制方法的障碍物与红绿灯检测算法采用Darknet神经网络进行训练及测试，首先制作数据集，使用爬虫爬取互联网上所需的20000张图片，采用labe1Img工具对图片进行标注，直接生成xml文件；数据集制作完成后，开始训练模型，不断修改迭代次数，学习率，检测obj、IOU、AVgRecall指标，以获得最优的权值，训练完成后部署于TX2上进行实际测试，并对检测到的目标位置进行提取。

进一步，所述智能感知机器导盲控制方法的盲道识别算法采用计算机视觉实现，首先对高清摄像头采集到的视频数据进行重采样，将采集到的图像原始数据从RGB模型转换为HSV模型，根据颜色边界将盲道分割出来，分割完成后的盲道区域边缘锐利，图片其他区域存在大小不等的噪点，通过中值滤波等方式平滑盲道边缘，滤除噪点；图片预处理完成后提取其最大连通域便可得到盲道的轮廓曲线，求出盲道区域的中心点在图片中的位置，可得当前所处的盲道位置。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

在多线程工作模式中控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置。

本发明的另一目的在于提供一种实施所述智能感知机器导盲控制方法的智能感知机器导盲控制***，所述智能感知机器导盲控制***包括：

语音数据采集模块，用于接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

外部环境数据采集模块，用于实现物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

数据预处理模块，用于读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

路径规划模块，用于实现TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

数据融合处理模块，用于在多线程工作模式中控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角等数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置。

本发明的另一目的在于提供一种安装有所述智能感知机器导盲控制***的智能感知机器导盲控制装置，所述智能感知机器导盲控制装置包括：STM32F103、NVIDA TX2高性能嵌入式平台、红外测距、超声波测距、差分GPS/BD定位、航向角传感器、GSM、电机驱动、语音播报、直流舵机为***设备。

本发明的另一目的在于提供一种智能感知机器导盲犬，所述智能感知机器导盲犬安装有所述的智能感知机器导盲控制装置。

本发明的另一目的在于提供一种机器人，所述机器人安装有所述的智能感知机器导盲控制装置。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明的硬件层面，测试多种物理传感器效果，包括激光雷达、小型红外测距传感器、超声波传感器等，评估其有效测距范围、有效测距角度、抗干扰性等指标，选择最符合智能感知机器导盲犬的物理测距传感器，综合对比后选择了小型红外测距传感器与超声波传感器综合使用的方案。计算平台选择了目前AI计算能力较强的NVIDA TX2嵌入式平台，用于完成计算机视觉与深度学***台选用STM32F103作为核心，具有较强的外设控制能力和丰富的通信接口。

本发明的算法层面，软件技术分为三个部分，分别为路径规划、障碍物及红绿灯识别以及盲道位置识别。路径规划使用百度地图API接口实现，通过百度地图进行起止点路径规划，同时获得路径中关键点的经纬度坐标，作为运动状态调整的结点。障碍物及红绿灯识别采用Darknet神经网络框架进行训练，对常见路障，如石球、自行车灯障碍物与红灯进行识别。盲道位置识别采用图像识别技术，使用opencv进行处理，首先将提取盲道与正常路面的过渡边缘，再采用中值滤波滤除图片中的噪声，然后提取出图片中的最大连通域就可将盲道的范围提取出来，最后可计算出最大连通域的中点位置，从而判断导盲犬所处的盲道位置。

本发明的应用软件层面，设计了手机APP，供监护人用于实时显示导盲犬位置以及接收报警信息。

本发明的智能感知机器导盲犬与传统导盲犬相比，不仅能够解决盲人出行过程中的领航与避障问题，还能够通过智能路径规划增加盲人出行目的地的丰富性，通过实时定位数据上传APP与危险报警功能，最大程度保障盲人出行过程中的安全。智能感知机器导盲犬是一种能够量产的工业产品，能够有效解决传统导盲犬培训时间长，培训成本高的问题，同时解决了传统导盲犬是否准入公共场所的社会问题，对解决盲人出行问题具有积极意思。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的智能感知机器导盲控制方法流程图。

图2是本发明实施例提供的智能感知机器导盲控制***的结构示意图；

图2中：1、语音数据采集模块；2、外部环境数据采集模块；3、数据预处理模块；4、路径规划模块；5、数据融合处理模块。

图3是本发明实施例提供的智能感知机器导盲控制***的结构框图。

图4是本发明实施例提供的智能感知机器导盲犬实物图。

图5是本发明实施例提供的智能感知机器导盲犬设计概念图。

图6是本发明实施例提供的常规卫星定位效果图。

图7是本发明实施例提供的差分卫星定位效果图。

图8是本发明实施例提供的深度学习训练标签截图。

图9是本发明实施例提供的盲道识别测试结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种智能感知机器导盲控制方法、存储介质、***、装置，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的智能感知机器导盲控制方法包括以下步骤：

S101：接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

S102：物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

S103：读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

S104：TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

S105：在多线程工作模式中TX2将控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角等数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置。

本发明提供的智能感知机器导盲控制方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的智能感知机器导盲控制方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的智能感知机器导盲控制***包括：

语音数据采集模块1，用于接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

外部环境数据采集模块2，用于实现物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

数据预处理模块3，用于读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

路径规划模块4，用于实现TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

数据融合处理模块5，用于在多线程工作模式中将控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角等数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置。

下面结合附图对本发明的技术方案作进一步的描述。

图3为本发明的***结构框图，本发明为双核***，控制核心为STM32F103，计算核心为NVIDA TX2高性能嵌入式平台。发明以STM32F103为核心，以红外测距、超声波测距、差分GPS/BD定位、航向角传感器、GSM、电机驱动、语音播报、直流舵机为***设备组成智能感知机器导盲犬的硬件***，其中红外测距模块、差分GPS/BD定位模块、航向角传感器、GSM通过串口与STM32F103控制核心进行连接，超声波传感器、电机驱动、语音播报、直流舵机通过导线与STM32F103直接连接，通过各模块所要求的方式进行通信与控制。红外测距模块与直流舵机位于智能感知导盲犬(以下简称导盲犬)的下层前段两侧、超声波测距模块与航向角传感器位于导盲犬下层前端中央、差分GPS/BD定位模块、GSM模块以及语音播报模块位于导盲犬上层前端、电机驱动模块位于导盲犬四个履带的内侧。该***用于完成物理障碍物测距、高精度定位数据采集、航向角数据采集、危险报警、电机驱动、语音播报等功能，同时通过高速串口与计算核心TX2进行通信，完成数据交换。同时以NVIDA TX2作为本发明的计算核心，为路径规划、定位导航、深度学习与计算机视觉提供算力支持，完成路径规划与导航、深度学习障碍物与红灯识别、盲道位置识别等功能，使用高速串口与控制核心通信。

智能机器感知导盲犬实物如图4所示，概念设计图如图5所示。智能感知机器导盲犬为多线程多核心工作模式，***上电后TX2休眠等待，通过识别语音中的特定字段激活TX2，激活字段设置为“目的地+目的地名称”，例如“目的地，贵州大学”，当接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包。***上电后STM32F103控制物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置。读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2。TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式，在多线程工作模式中将控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角等数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，从而计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处的位置。

本发明物理传感器为红外测距模块、超声波测距模块、高精度卫星定位模块、航向角传感器模块。其中红外测距模块与舵机、超声波定位模块组成物理障碍物检测模块，红外测距模块与舵机硬连接(以下简称红外测距模块)，红外测距模块位于智能感知机器导盲犬前端两侧，正常状态下正对智能感知机器导盲犬运行方向，当检测阈值范围内出现障碍物后，机器导盲犬开始向无障碍的一侧转向，若两侧均有障碍则向距离障碍物较远的一侧转向，此时将根据航向角数据的改变控制舵机做反向旋转，从而保持红外测距模块一直正对此前检测到障碍物的方向，在转向的同时能够有效检测水平方向的位移距离是否避开了障碍物。当机器导盲犬进入到避障转向程序中时，此时的红外传感器所检测的位置发生了改变，不能够检测机器导盲犬正方向上的障碍物，故在机器导盲犬前方正中央加装了一枚超声波测距模块，测距方向始终为机器导盲犬正方向，用于弥补避障转向过程中红外测距的检测盲区，共同完成避障功能。其中高精度卫星定位模块与航向角传感器组成定位模块，卫星定位模块采用差分技术，能够有效将误差控制在分米级，辅以航向角传感器可完成高精度导航功能，相较于非差分的常规卫星定位效果，具有精度高、鲁棒性高、漂移小等优点，常规卫星定位效果参看图6，本发明中的卫星定位效果参看图7(为方便观察，将实际路线与卫星定位路线进行了平移，其中既定路径表示实际路线，GPS路径表示定位数据描绘的路径)。

本发明路径规划算法为自主设计，在东北天坐标系下，选取路径点上的关键节点，取两两节点为一个路径片段，计算相连两段路径片段的航向角变化值，当航向角变化值超过一定阈值时则判断其运动方向发生变化，最后将规划道路上的所有节点与道路段信息计算完成后存储在内存中。

本发明障碍物与红绿灯检测算法采用Darknet神经网络进行训练及测试，首先制作自己所需的数据集，使用爬虫爬取互联网上所需的20000张图片，采用labe1Img工具对图片进行标注，直接生成xml文件，制作的标签参看图8。数据集制作完成后，开始训练模型，不断修改迭代次数，学习率，检测obj、IOU、AVgRecall等指标，以获得最优的权值，训练完成后部署于TX2上进行实际测试，并对检测到的目标位置进行提取。

本发明盲道识别算法采用计算机视觉实现，首先对高清摄像头采集到的视频数据进行重采样，降低采样率，将采集到的图像原始数据从RGB模型转换为HSV模型，根据颜色过渡边界将盲道分割出来，分割完成后的盲道区域边缘锐利，图片其他区域存在大小不等的噪点，通过中值滤波等方式平滑盲道边缘，滤除噪点。图片预处理完成后提取其最大连通域便可得到盲道的轮廓曲线，求出盲道区域的中心点在图片中的位置，即可知道当前所处的盲道位置，盲道位置识别截图参看图9。

为了应对盲人外出时遇到的意外情况，在机器导盲犬牵引杆手握处下端设计了报警按钮，当盲人遇到危险或出现自己无法解决的问题时按下报警按钮，将通过GSM模块发送报警信号至监护人手机APP。

通过上述功能，在智能感知机器导盲犬上电后，能够根据盲人的指令进行路径规划，在行经过程中能够根据周围障碍物情况，所处盲道位置实时调整自身的运动状态，配合自主设计的避障机制，较好的完成了在户外复杂环境下的避障与高精度领航功能，同时能够大量生产，不存在导盲犬是否准入公共场所等社会问题，较好的解决了盲人独立出行困难的问题，有利于盲人群体共享社会发展，技术进步的社会红利。

证明部分(具体实施例/实验/仿真/能够证明本发明创造性的正面实验数据等)

对以上述结构为具体构建方式的智能感知机器导盲犬实施例进行了障碍物识别、避障、盲道位置识别、高精度定位、路径规划等多项功能的实机测试。

其中，深度学习障碍物识准确度可达90％，1s可识别1.3帧图像数据，用于特定障碍物识别，如石球、路障等的识别效果较好，识别速度满足正常运行时的计算性能要求。

在避障功能测试中，红外测距的预警距离为2.5m，超声波测距的预警距离设置为0.5m，即红外测距检测前方2.5m距离内存在障碍物时开始进入避障程序，在前方0.5m内存在障碍物时，导盲犬将反向后退一段距离，再继续在原方向上进行避障操作，以增加避障角度。经过测试，该导盲犬能够稳定避开纵向间距1.5m，横向交叉间距为0.2m的三个连续障碍物组成的S型障碍物组。

在盲道位置识别测试中，分别选取了晴、阴以及雨后三种不同路面情况进行测试，其中阳光干扰因素较小的阴天，盲道位置识别的准确度可达92％，阳光强烈的晴天，摄像头面对太阳方向进行拍摄时常出现过爆情况，导致识别精确度下降，增加镜头周围的遮光板后，识别精度也可达到87％，雨后路面被水打湿，盲道与周围路面的颜色过渡边缘减弱，识别准确度为80％。

在高精度定位与路径规划的测试中，选取了贵州省贵阳市花溪区贵州大学西校区中五段具有代表性的路段，分别为：

1.长距离直行路段用于测试定位漂移情况。

2.直角左转弯、右转弯路段，用于测试入弯点与转弯角度情况。

3.弧形道路，用于测试高精度定位与盲道识别数据融合情况。

4.复合路段，其中存在直行、转弯、弧形区域，用于测试复杂连续路段中智能感知机器导盲犬的综合运行效果。

5.复合路段中加入移动障碍物，测试运行过程中的避障性能。

上述测试过程的路径选择均为***自动完成，选取目的地后进行自主路径规划，规划完成后进行高精度定位测试。

测试结果表明，在直行路段高精度定位数据未出现漂移情况，定位路径与实际路径基本吻合，在转弯测试中，入弯点存在±20cm误差，但不影响实际的转弯过程。弧形路段，其运动轨迹基本与路径重合，运动路径基本贴合弧形道路，不存在算法判断阈值进行调整时的段落感，运动轨迹连续。复合路段测试中与复合路段出现在障碍物的测试中，无障碍物时，智能感知导盲犬能够较好的完成高精度定位功能，出现行人，路障等常见障碍物时均能有效避障并回到正常运行路径。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种智能感知机器导盲控制方法，其特征在于，所述智能感知机器导盲控制方法包括：

接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

在多线程工作模式中，TX2将控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置。

2.如权利要求1所述的智能感知机器导盲控制方法，其特征在于，所述智能感知机器导盲控制方法的红外测距模块位于智能感知机器导盲犬前端两侧，正常状态下正对智能感知机器导盲犬运行方向，当检测阈值范围内出现障碍物后，机器导盲犬开始向无障碍的一侧转向，若两侧均有障碍则向距离障碍物较远的一侧转向，将根据航向角数据的改变控制舵机做反向旋转，保持红外测距模块一直正对此前检测到障碍物的方向，在转向的同时能够有效检测水平方向的位移距离是否避开了障碍物；当机器导盲犬进入到避障转向程序中时，此时的红外传感器所检测的位置发生了改变，不能够检测机器导盲犬正方向上的障碍物，在机器导盲犬前方正中央加装了一枚超声波测距模块，测距方向始终为机器导盲犬正方向，用于弥补避障转向过程中红外测距的检测盲区，共同完成避障功能；高精度卫星定位模块与航向角传感器组成定位模块，卫星定位模块采用差分技术。

3.如权利要求1所述的智能感知机器导盲控制方法，其特征在于，所述智能感知机器导盲控制方法的路径规划算法在东北天坐标系下，选取路径点上的关键节点，取两两节点为一个路径片段，计算相连两段路径片段的航向角变化值，当航向角变化值超过一定阈值时则判断其运动方向发生变化，最后将规划道路上的所有节点与道路段信息计算完成后存储在内存中。

4.如权利要求1所述的智能感知机器导盲控制方法，其特征在于，所述智能感知机器导盲控制方法的障碍物与红绿灯检测算法采用Darknet神经网络进行训练及测试，首先制作数据集，使用爬虫爬取互联网上所需的20000张图片，采用labe1Img工具对图片进行标注，直接生成xml文件；数据集制作完成后，开始训练模型，不断修改迭代次数，学习率，检测obj、IOU、AVgRecall指标，以获得最优的权值，训练完成后部署于TX2上进行实际测试，并对检测到的目标位置进行提取。

5.如权利要求1所述的智能感知机器导盲控制方法，其特征在于，所述智能感知机器导盲控制方法的盲道识别算法采用计算机视觉实现，首先对高清摄像头采集到的视频数据进行重采样，将采集到的图像原始数据从RGB模型转换为HSV模型，根据颜色边界将盲道分割出来，分割完成后的盲道区域边缘锐利，图片其他区域存在大小不等的噪点，通过中值滤波等方式平滑盲道边缘，滤除噪点；图片预处理完成后提取其最大连通域便可得到盲道的轮廓曲线，求出盲道区域的中心点在图片中的位置，可得当前所处的盲道位置。

6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

在多线程工作模式中TX2控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置。

7.一种实施权利要求1～5任意一项所述智能感知机器导盲控制方法的智能感知机器导盲控制***，其特征在于，所述智能感知机器导盲控制***包括：

语音数据采集模块，用于接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

外部环境数据采集模块，用于实现物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

数据预处理模块，用于读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

路径规划模块，用于实现TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

数据融合处理模块，用于在多线程工作模式中控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角等数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置。

8.一种安装有权利要求7所述智能感知机器导盲控制***的智能感知机器导盲控制装置，其特征在于，所述智能感知机器导盲控制装置包括：STM32F103、NVIDA TX2高性能嵌入式平台、红外测距、超声波测距、差分GPS/BD定位、航向角传感器、GSM、电机驱动、语音播报、直流舵机为***设备。

9.一种智能感知机器导盲犬，其特征在于，所述智能感知机器导盲犬安装有权利要求8所述的智能感知机器导盲控制装置。

10.一种机器人，其特征在于，所述机器人安装有权利要求8所述的智能感知机器导盲控制装置。

Images