CN109223346A - 一种语音控制导航的盲人轮椅及其控制方法 - Google Patents

Abstract

本发明涉及视频环境识别、语音识别、语音导航、电动轮椅领域，具体公开了一种语音控制导航的盲人轮椅及其控制方法，包括轮椅车体，轮椅车体下方或后方设有主机箱，内设有中控电脑、电机控制器和网络模块；轮椅车体前方设有前置设备组，车体后方设有后置设备组，车体两侧分别设有测距传感器，电池组与中控电脑、电机控制器通过导线相连，电机控制器与转向电机和动力电动机通过导线相连，前置设备组和后置设备组与中控电脑通过数据线相连。本发明采用语音控制以及视频智能识别技术，使盲人或弱视人群可以通过语音信息得知周围的环境情况，并通过语音命令操控电动轮椅按照智能导航设定的可选路线进行移动，从而为行动不便的弱视群体提供了独自移动与外出的可能。

Description

一种语音控制导航的盲人轮椅及其控制方法

技术领域

本发明涉及视频环境识别、语音识别、语音导航、电动轮椅领域，具体公开了一种语音控制导航的盲人轮椅及其控制方法。

背景技术

随着电力技术以及电子技术的发展，电动轮椅逐渐在市场上普及，为越来越多的行动不便的患者提供了独自行动的可能。

然而，盲人或弱视人群在遭遇腿部行动不便时，即使使用了电动轮椅，由于无法看清周围环境，从而无法独自使用电动轮椅移动或出行，从而极大的限制了独自生活的能力，无法脱离他人的照顾。

发明内容

为了克服现有的弱视群体在行动不便时无法自主移动的问题，本发明提供一种语音控制导航的盲人轮椅及其控制方法。

本发明采用的技术方案是：一种语音控制导航的盲人轮椅，包括轮椅车体，轮椅车体包括转向轴、转向电机、电池组、后轮、前轮、动力电动机、轮椅扶手和靠背，其特征是：所述的轮椅车体下方或后方设有主机箱，主机箱内设有中控电脑、电机控制器和网络模块；轮椅车体前方的左右两侧分别设有用于检测路面凹陷的左测距传感器和右测距传感器；轮椅车体前方设有前置设备组，前置设备组包括麦克风、喇叭和前置摄像测距传感器；轮椅车体后方设有后置设备组，后置设备组包括扬声器、麦克风、后置摄像测距传感器；所述的电池组与中控电脑、电机控制器通过导线相连，电机控制器与转向电机和动力电动机通过控制线相连，前置设备组和后置设备组与中控电脑通过数据线相连。

作为优选的，所述的前置设备组设于轮椅扶手下方前端，后置设备组设于靠背上方。

优选的，所述的前置摄像测距传感器包括朝前方的前置摄像头和朝前方的测距雷达，后置摄像测距传感器包括全向的后置摄像头和全向的测距雷达。

优选的，所述的前置摄像测距传感器是朝前方的深度摄像头，后置摄像测距传感器是全向的深度摄像头。

优选的，所述的轮椅扶手上表面设有控制面板，控制面板上设有用于控制中控电脑的按钮组与摇杆。

优选的，所述的轮椅扶手上表面设有耳麦外接接口。

优选的，所述的轮椅车体四周设有闪烁警示灯。

一种语音控制导航的盲人轮椅的控制方法，包括用于实现控制方法的控制***，控制***包含下列***模块：

用于运行各功能模块的应用程序并驱动中控电脑的底层硬件功能的中央控制***；

用于将麦克风收集到的语音指令智能识别成可执行命令的语音识别模块；

用于将文字信息转换成语音音频信号并播放的智能语音模块；

用于通过前置摄像测距传感器、后置摄像测距传感器、左测距传感器和右测距传感器采集的环境数据来为轮椅周围环境建模以供计算机进行环境判断的环境识别模块；

用于通过GPS信号和电子地图进行位置确定和整体路线导航的电子地图导航模块；

用于根据环境识别模块和电子地图导航模块的数据结合后计算出最终轮椅行走路径的智能导航路径模块；

用于根据最终轮椅行走路径来控制轮椅行驶的行驶控制***；

上述控制***实现一种语音控制导航的盲人轮椅的控制方法，其实现的步骤如下：

S1.通过智能语音模块询问乘员前往的目的地，并通过语音识别模块识别乘员的语音指令以确定行驶目的地，并通过智能语音模块确认识别结果是否正确；

S2.通过电子地图导航模块确认轮椅的当前位置以及目的地位置，使用电子地图的导航功能得出导航路线；

S3.环境识别模块实时通过前置摄像测距传感器和后置摄像测距传感器识别周围的环境数据，结合S2的导航路线知识的方向，通过智能导航路径模块智能规划出轮椅的前进路线，前进路线实时根据环境变化而更新；

S4.通过行驶控制***根据S3确定的前进路线，控制轮椅向目的地行驶。

优选的，所述的控制***还包含下列***模块：

用于记录常用路线以及有问题路线的道路记忆模块；

用于电量监测和管理的电量智能管理模块；

用于在紧急情况下主动发出报警求助信息并启动被动呼救提示的智能报警模块；

用于在环境识别模块识别出行人和车辆等障碍物挡住轮椅行驶路线时自动鸣笛的智能鸣笛模块。

优选的，所述的步骤S4包括子步骤如下：

S4a.当人员无操作或语音指令时，行驶控制***自动根据S3确定的前进路线控制轮椅自动行驶；

S4b.当人员通过手动操作或语音指令操控轮椅运动时，行驶控制***根据人员操控指令运动，智能语音模块自动播报S3确定的前进路线的前进方向、环境识别模块识别到的障碍物位置以及电子地图导航模块确定的轮椅所在位置。

本发明的有益效果是：采用语音控制以及视频智能识别技术，使盲人或弱视人群可以通过语音信息得知周围的环境情况，并通过语音命令操控电动轮椅按照智能导航设定的可选路线进行移动，从而为行动不便的弱视群体提供了独自移动与外出的可能。

附图说明

图1是本发明的结构示意图。

图2是本发明的设备连接示意图。

图3是本发明的***架构图。

图中：1、轮椅车体，2、转向轴，3、转向电机，4、电池组，5、后轮，6、前轮，7、主机箱，8、动力电动机，9、轮椅扶手，10、前置设备组，11、前置摄像头，12、控制面板，13、耳机外接接口，14、靠背，15、后置设备组，16、后置摄像头。

具体实施方式

参见图1和图2，本发明是一种语音控制导航的盲人轮椅，包括轮椅车体1和主机箱7。

参见图1，轮椅车体1包括转向轴2、转向电机3、电池组4、后轮5、前轮6、动力电动机8、轮椅扶手9和靠背14；电池组4设于轮椅车体1下方，动力电动机8设于轮椅车体1下后方，动力电动机8侧面设有后轮5，转向电机3设于轮椅车体1下前方，转向轴2设于转向电机3下方，前轮6通过轴承固定连接在转向轴2上。

参见图1和图2，轮椅车体1下方或后方设有主机箱7，主机箱7内设有中控电脑、电机控制器和网络模块；轮椅车体1前方的左右两侧分别设有用于检测路面凹陷防止车轮陷坑的左测距传感器和右测距传感器，优选为安装在两侧扶手的前端下方；前置设备组10设于轮椅扶手9下方前端，可以与左测距传感器或右测距传感器整合安装在一起；前置设备组10包括麦克风、喇叭和前置摄像测距传感器；前置摄像测距传感器包括朝前方的前置摄像头11和朝前方的测距雷达或是具有深度探测功能的深度摄像头。后置设备组15设于靠背14上方；后置设备组15包括扬声器、麦克风、后置摄像测距传感器；后置摄像测距传感器包括全向的后置摄像头16和全向的测距雷达或是全向的具有深度探测功能的深度摄像头；后置设备组15根据需要可以用支撑杆加高，以满足俯视轮椅周围环境的角度。

其中左测距传感器和右测距传感器为近距离的高精度测距传感器，可以扫描车辆前进路线上近距离的路面是否足够平整而可以通行，当前置摄像测距传感器精度足够高且观察范围可以覆盖左测距传感器和右测距传感器的测量范围时，可以去掉左测距传感器和右测距传感器而直接用前置摄像测距传感器的测量数据来实现防陷坑的目的。

电池组4与中控电脑、电机控制器通过电源线相连，电机控制器与转向电机3和动力电动机8通过控制线相连，前置设备组10和后置设备组15与中控电脑通过数据线相连。

轮椅扶手9上表面设有控制面板12，控制面板12上设有用于控制中控电脑的按钮组与摇杆，其中按钮和摇杆上设有便于盲人或弱视人群触摸区分的凹凸花纹、形状或者盲文。

轮椅扶手9上表面设有耳麦外接接口13，以便于乘员在嘈杂环境中使用时接入头戴式耳机和麦克风进行语音操控，亦可使用蓝牙耳机和蓝牙麦克风与中控主机进行无线连接。

轮椅车体1四周设有用于提示周围人员注意的闪烁警示灯，以起到警示周围的行人或车辆注意规避残疾人或在需要外人帮助时辅助起到引起周围人员的注意目的。

参见图3，中控电脑中的程序与电路根据功能可分为：中央控制***、行驶控制***、电量智能管理模块、智能导航路径模块、智能报警模块、智能鸣笛模块、智能语音模块、语音识别模块、环境识别模块和电子地图导航模块。

中央控制***是本发明的所有功能的基础操作***，用于运行个功能模块的应用程序并驱动中控电脑的底层硬件功能，其余控制程序均是基于中央操控***进行开发与执行的。本发明可采用安卓***、Windows***或linux***等，其余模块软件均根据所选操作***进行针对开发。

语音识别模块是通过网络模块连接互联网中的语音识别云服务程序，将麦克风收集到的音频信号中的乘员语音指令智能识别出来，并转换成文字信息以供中央控制***识别并执行对应语音指令。

智能语音模块是将***现有状态、轮椅的位置、周围环境描述以及程序需要语音指令输入时的提示语自动转换成语音信号，通过扬声器播放出来以供盲人或弱视人群能够通过语音了解***状态以及周围情况。

环境识别模块是通过图像识别程序和空间建模程序来将前置摄像测距传感器、后置摄像测距传感器、左测距传感器和右测距传感器采集的图像信息和空间距离信息转换成计算机可以识别的数学模型，硬件可采用深度学习功能的GPU运算显卡或者使用云服务代替，通过网络模块连接互联网的云服务，进行图像识别与空间建模结合的数字环境判断，以供中控电脑自动判断电动轮椅可行走的路线，规避障碍物，以及过马路时的红绿灯信号等。

电子地图导航模块是通过网络模块连接互联网下载并预存电子地图，并根据GPS定位来确定轮椅所在的地理位置，并确定地名、街道名、具***置地点以及到目的地的大略导航路径；在乘员询问所在位置时，优先采用附近的公交站来确认位置关系，附近无公交站时反馈道路名称，乘员可以通过语音控制对当前所在位置进行自定义命名并记录在中控电脑中，并可备份在网络服务的个人数据中。电子地图定期联网更新。

智能导航路径模块是根据电子地图导航模块和环境识别模块的数据进行结合，智能判断出电动轮椅可以通过并到达目的地的具体路径。

道路记忆模块，用于记录常用路线以及有问题路线，当行走被记住的路线时可以根据已走过路线尝试前进，减少***计算量以及网络流量，当默写路段被记忆为不宜通行时，在选定导航路线时降低通过该位置的路线优先级。

行驶控制***是根据智能导航路径模块计算出的具体路径，通过程序和电机控制器来控制动力电动机8和转向电机3，使轮椅按照具体路径行驶。

电量智能管理模块包括电量检测程序单元、剩余行驶距离计算程序单元、电量控制程序单元和电量提示程序单元；电量检测程序单元实时检测电池组4的剩余电量；剩余行驶距离计算程序单元根据剩余电量计算出整个电动轮椅还可以行驶的距离，并比对目的地的剩余距离，当电量不足以达到目的地时进行报警；电量控制程序单元在剩余电量低于保护值时，关闭大部分耗电功能，只保留必要的报警、求助和基本控制功能；电量提示程序单元会在剩余电量达到各级预设值时或乘员询问时反馈实时的剩余电量。

智能报警模块是在中央控制***的各程序模块最终判断电动轮椅无法将乘员安全移动到目的地时，想后套预设的联系方式和电话进行呼叫和报警，并将电动轮椅的具***置和状态通过语音信号进行呼叫，以及文字信息发送到指定地址。

智能鸣笛模块是在环境识别模块检测到前方有行人或者车辆挡住前进路径时，自动进行鸣笛并引起周围人员的注意。

上述控制***实现一种语音控制导航的盲人轮椅的控制方法，其实现的步骤如下：

S1.通过智能语音模块询问乘员前往的目的地，并通过语音识别模块识别乘员的语音指令以确定行驶目的地，并通过智能语音模块确认识别结果是否正确；

S2.通过电子地图导航模块确认轮椅的当前位置以及目的地位置，使用电子地图的导航功能得出导航路线；

S3.环境识别模块实时通过前置摄像测距传感器和后置摄像测距传感器识别周围的环境数据，结合S2的导航路线知识的方向，通过智能导航路径模块智能规划出轮椅的前进路线，前进路线实时根据环境变化而更新；

S4.通过行驶控制***根据S3确定的前进路线，控制轮椅向目的地行驶。

所述的步骤S4包括子步骤如下：

S4a.当人员无操作或语音指令时，行驶控制***自动根据S3确定的前进路线控制轮椅自动行驶；

S4b.当人员通过手动操作或语音指令操控轮椅运动时，行驶控制***根据人员操控指令运动，智能语音模块自动播报S3确定的前进路线的前进方向、环境识别模块识别到的障碍物位置以及电子地图导航模块确定的轮椅所在位置。

即乘员即可手动控制轮椅行动，中控电脑起到语音辅助乘员了解轮椅周围环境的功能，亦可直接用过语音指令让轮椅自动导航并行驶。

本发明采用语音控制以及视频智能识别技术，使盲人或弱视人群可以通过语音信息得知周围的环境情况，并通过语音命令操控电动轮椅按照智能导航设定的可选路线进行移动，从而为行动不便的弱视群体提供了独自移动与外出的可能。通过各种安全保护功能以确保电动轮椅在智能移动时的安全。

Claims (10)

1.一种语音控制导航的盲人轮椅，包括轮椅车体(1)，轮椅车体(1)包括转向轴(2)、转向电机(3)、电池组(4)、后轮(5)、前轮(6)、动力电动机(8)、轮椅扶手(9)和靠背(14)，其特征是：所述的轮椅车体(1)下方或后方设有主机箱(7)，主机箱(7)内设有中控电脑、电机控制器和网络模块；轮椅车体前方的左右两侧分别设有用于检测路面凹陷的左测距传感器和右测距传感器；轮椅车体(1)前方设有前置设备组(10)，前置设备组(10)包括麦克风、喇叭和前置摄像测距传感器；轮椅车体(1)后方设有后置设备组(15)，后置设备组(15)包括扬声器、麦克风、后置摄像测距传感器；所述的电池组(4)与中控电脑、电机控制器通过电源线相连，电机控制器与转向电机(3)和动力电动机(8)通过控制线相连，前置设备组(10)和后置设备组(15)与中控电脑通过数据线相连。

2.根据权利要求1所述的一种语音控制导航的盲人轮椅，其特征是：所述的前置设备组(10)设于轮椅扶手(9)下方前端，后置设备组(15)设于靠背(14)上方。

3.根据权利要求2所述的一种语音控制导航的盲人轮椅，其特征是：所述的前置摄像测距传感器包括朝前方的前置摄像头(11)和朝前方的测距雷达，后置摄像测距传感器包括全向的后置摄像头(16)和全向的测距雷达。

4.根据权利要求2所述的一种语音控制导航的盲人轮椅，其特征是：所述的前置摄像测距传感器是朝前方的深度摄像头，后置摄像测距传感器是全向的深度摄像头。

5.根据权利要求1所述的一种语音控制导航的盲人轮椅，其特征是：所述的轮椅扶手(9)上表面设有控制面板(12)，控制面板(12)上设有用于控制中控电脑的按钮组与摇杆。

6.根据权利要求1所述的一种语音控制导航的盲人轮椅，其特征是：所述的轮椅扶手(9)上表面设有耳麦外接接口(13)。

7.根据权利要求1所述的一种语音控制导航的盲人轮椅，其特征是：所述的轮椅车体(1)四周设有闪烁警示灯。

8.一种语音控制导航的盲人轮椅的控制方法，用于控制上述权利要求1-7中的任意一种语音控制导航的盲人轮椅，其特征在于：包括用于实现控制方法的控制***，控制***包含下列***模块：

用于运行各功能模块的应用程序并驱动中控电脑的底层硬件功能的中央控制***；

用于将麦克风收集到的语音指令智能识别成可执行命令的语音识别模块；

用于将文字信息转换成语音音频信号并播放的智能语音模块；

用于通过前置摄像测距传感器、后置摄像测距传感器、左测距传感器和右测距传感器采集的环境数据来为轮椅周围环境建模以供计算机进行环境判断的环境识别模块；

用于通过GPS信号和电子地图进行位置确定和整体路线导航的电子地图导航模块；

用于根据环境识别模块和电子地图导航模块的数据结合后计算出最终轮椅行走路径的智能导航路径模块；

用于根据最终轮椅行走路径来控制轮椅行驶的行驶控制***；

上述控制***实现一种语音控制导航的盲人轮椅的控制方法，其实现的步骤如下：

S1.通过智能语音模块询问乘员前往的目的地，并通过语音识别模块识别乘员的语音指令以确定行驶目的地，并通过智能语音模块确认识别结果是否正确；

S2.通过电子地图导航模块确认轮椅的当前位置以及目的地位置，使用电子地图的导航功能得出导航路线；

S3.环境识别模块实时通过前置摄像测距传感器和后置摄像测距传感器识别周围的环境数据，结合S2的导航路线知识的方向，通过智能导航路径模块智能规划出轮椅的前进路线，前进路线实时根据环境变化而更新；

S4.通过行驶控制***根据S3确定的前进路线，控制轮椅向目的地行驶。

9.根据权利要求8所述的一种语音控制导航的盲人轮椅的控制方法，其特征是：所述的控制***还包含下列***模块：

用于记录常用路线以及有问题路线的道路记忆模块；

用于电量监测和管理的电量智能管理模块；

用于在紧急情况下主动发出报警求助信息并启动被动呼救提示的智能报警模块；

用于在环境识别模块识别出行人和车辆等障碍物挡住轮椅行驶路线时自动鸣笛的智能鸣笛模块。

10.根据权利要求8所述的一种语音控制导航的盲人轮椅的控制方法，其特征是：所述的步骤S4包括子步骤如下：

S4a.当人员无操作或语音指令时，行驶控制***自动根据S3确定的前进路线控制轮椅自动行驶；

S4b.当人员通过手动操作或语音指令操控轮椅运动时，行驶控制***根据人员操控指令运动，智能语音模块自动播报S3确定的前进路线的前进方向、环境识别模块识别到的障碍物位置以及电子地图导航模块确定的轮椅所在位置。