CN101986673A - 一种智能手机导盲器及导盲方法 - Google Patents

Abstract

本发明公开一种智能手机导盲器，包括手机摄像模块、手机嵌入式处理器和软件模块、手机无线信号发射及接收模块、输入与输出交互模块和后台服务器，手机摄像模块包括一个手机摄像镜头和图像传感器；嵌入式处理器和软件模块包括手机的嵌入式处理器和嵌入式操作***以及运行在嵌入式***上的应用软件；应用软件为导盲软件，通过机器视觉的技术采集到的图像进行特征分析，利用人工智能的技术将“现场图像”的特征和后台数据库中的“障碍参数”进行匹配，可以实现对障碍物的识别，位置判读，并用语音和振动的方式提示盲人行进。本发明的导盲器设备通用，成本低廉，具有功能扩展和升级性的手机智能导盲器。

Description

一种智能手机导盲器及导盲方法

技术领域

本发明涉及一种导盲器技术，尤其是涉及一种手机嵌入式***控制的导盲器技术及导盲方法。

背景技术

众所周知，手机已经是人们生活中必不可少的电子产品。随着嵌入式处理器处理能力的不断强大，机器视觉技术、传感器技术、无线传输技术和人工智能技术得以在手机硬件平台上的结合，使得智能手机开发出很多的高级功能和应用来更好的满足人们生活的需求。

利用新的技术，给残障人士开发助残产品是一个具有潜在发展潜力的产业。据2005年的统计显示，中国是世界上盲人最多的国家，约有盲人500万，占世界盲人总数的18％。我们每年会出现新盲人大约45万，即每分钟就会出现1个盲人。

人类70％的信息都是通过视觉来获取的，所以盲人是残疾人中最痛苦的，也是最需要帮助的。盲人独立行走一般需要导盲器的协助，传统的方法是利用导盲杖或者是训练导盲犬，电子类的导盲器一般是采用超声波、红外线探头等回波测距的原理来设计的，也有利用图像传感器和激光测距方法来进行对障碍物的测距。

导盲杖是用它在地面上敲击，可帮助盲人发现0.5米以内的障碍物。它的主要缺点是不能发现较远一点的障碍物以及空中突出的障碍物。也无法识别交通标志。

超声波导盲器是利用超声波回声的时间差原理来实现测距。图1是一种超声波导盲器。这种方法可以较准确的探测前方障碍物离人的距离，但是因为探头只能对某个方向的上的障碍物进行测距，所以如果要全部前方空间的探测则需要安装多路探头，使得设备结构复杂，成本增加。而且，超声波导盲器也无法识别障碍为何种物体，也无法识别交通标志。

红外线导盲器是另外一种利用回波测距方法探测距离的仪器。图2是红外线测距方法的设计图。他的原理是根据发射波与返回波强度的差别判断距离的远近。同样，这种方法受到探头探测方向性的限制，对于识别物体和交通标志方面存在功能缺陷。

激光测距类的产品，是利用激光三角测距的原理设计的。因此环境的影响对该种方法的干扰较大，对于识别物体和交通标志方面也存在功能缺陷。

用机器视觉和人工智能技术的方法是解决导盲器技术问题的新突破。专利公开号为CN 1969781A的发明专利公开了一种利用计算机控制的导盲器，该发明利用多种传感器技术的结合(包括了图像和超声波传感器)进行前方空间的探测，可以进行对物体的识别和距离的判断。但是，利用便携式计算机做导盲器的成本高，而且用机器视觉实现人工智能需要积累庞大的后台数据库，该发明利用计算机本地数据库对于不同的地理位置和复杂环境的应对方案存在不足，当盲人需要在更大范围和新环境中活动的导盲器的适应能力有限。

图像处理技术在手机硬件平台上实现，也可以作为导盲的解决办法。专利公开号为CN 101227539A的发明专利公开了一种导盲手机及其方法，其特点在于利用手机的嵌入式处理器作为基带模块进行运载平台，然后结合了距离、温度、震动传感器进行信息的获取。但是普通手机一般是没有红外、激光等距离传感器，也没有温度传感器。所以，要实现导盲需要在现有手机上加装新设备，成本增加。而且该发明专利同样适用了本地数据库，而手机的存储容量相当有限，不利于“障碍”数据的可增长性积累，因此程序的环境适应性开发潜力有限。

国外的类似产品向着服务机器人的方向发展，如此采用了复杂的机械结构和控制软件，使得机器人的成本提高，产品难以得到推广。

发明内容

本发明针对现有的导盲器技术存在的不足与缺点，提供了一种设备通用，成本低廉，具有功能扩展和升级性的手机智能导盲器。

一种手机智能导盲器，包括手机摄像模块、手机嵌入式处理器和应用软件模块、手机无线信号发射及接收模块、输入与输出交互模块和后台服务器。

所述的手机摄像模块，用于图像的采集，利用光学***获成像原理取距离信息；

所述的手机嵌入式处理器和软件模块，用于图像的处理、导盲的实现和手机硬件控制；

所述的手机无线信号发射及接收模块，用于与后台服务器通信，进行图像和障碍参数的传递；

所述的后台服务器，用于运行“地图”和“障碍”两个数据库，并保存海量的“环境图像”数据。

所述的手机摄像模块包括一个手机摄像镜头和图像传感器，手机摄像镜头为标准镜头，图像传感器感光器件为手机自带的CMOS、CCM或者CCD感光器件。手机摄像头朝人行走的前方拍摄，光轴与水平方向成一定倾角，倾角角度在30°～90°之间，利用摄影光学***的几何原理来测算空间距离。

所述的嵌入式处理器和应用软件模块，包括手机的嵌入式处理器和嵌入式操作***以及运行在嵌入式***上的应用软件。利用手机的嵌入式***对手机摄像模块、手机无线信号发射及接收模块、输入与输出交互模块的硬件进行分配和控制；所述的应用软件，包括语音识别软件和导盲软件，以及通过手机无线信号发射接收模块与导盲软件连接的地图数据库和障碍数据库，这两个数据库都运行在后台的服务器上。

所述的导盲软件是本发明的核心技术，它的工作原理是读入手机摄像模块采集到的数字图像，对图像信息进行分析，分析的内容包括了视频中的运动目标，障碍物的颜色特征，轮廓特征，纹理特征，空间位置。将分析结果与当前从“障碍”数据库中获得的“障碍参数”做比较，当障碍物进入预设的预警区间(约2m)内，发出指令提示盲人止步。人与障碍物间的距离满足以下函数关系：

$\mathrm{px}=\frac{f^{\′}*\tan (\mathrm{\θ}-\arctan \left(\frac{d}{h}\right))}{a}(h*\tan (\mathrm{\θ}-w)\≤d\≤\∞)---\left(1\right)$

px是数字图像中的像高(用像素表示)，d空间中的距离，θ是光轴倾角，f’是镜头的像方焦距，a是一个感光元件的边长尺寸，h是导盲器的高度，该数据目前只能通过对用户的身高和使用习惯进行估计之后手动输入，w是手机摄像头的半视场角。

预警区间是根据式(1)中的θ和h的浮动区间，计算得到的px和d的浮动区间。确定θ和h都会确定一种px与d的对应关系。设定的预警距离(2m)，允许θ和h在一定区间内变动，而对设定(h＝1.2m)值测算的预警距离2m的会产生误差，最远误差与最近误差之间的区间即是预警区间。最近误差就是可能提出报警的最近距离，也是保护盲人的安全距离。

所述的无线信号发射及接受模块，其工作原理是利用GSM、GPRS、CDMA等手机通信网络向后台服务器发送GPS或LBS计算得到的定位位置和“现场图像”，并接受后台服务器发送的“障碍参数”响应。从后台发送过来的障碍参数包括了特征物体的HSV颜色特征区间，轮廓特征参数，纹理特征参数。并且障碍参数适用于当前定位位置，比如在街道口和公园中对于绿色信号的判断的意义是不同的：街口表示遇到可能是绿灯，公园中则可能表示草坪或者树木。当然识别还需要其他信息的参考。手机导盲器的后台是由服务器组成的工作站，手机导盲器每隔一段时间向后台传回数字图像，后台对图像进行分析获得“障碍参数”并且保存在“障碍”数据库中。“障碍”数据库是在一个动态扩充的过程中不断完善的。

所述的输入与输出交互模块包括手机语音话筒，手机键盘和手机加速度传感器为输入硬件设备，利用手机按键输入和自然语言输入可以实现对软件的控制，加速度传感器对重力加速度的感应判断手机摄像头的光轴倾角θ，光轴倾角是导盲程序识别障碍物距离的重要参数；输出设备由手机耳机，手机振动电机为输出硬件设备，耳机的作用是播放导盲软件编辑产生的语音指令，手机振动电机在如果距离障碍物太近时，就会发出振动提示盲人止步。

首先由手机摄像模块将拍摄到的数字图形传递给嵌入式处理器与软件模块进行图像处理，嵌入式处理器与软件模块进行图像处理同时还需要无线信号发生与接收模块接受从后台发送过来的“障碍参数”，后台服务器通过与无线信号发生与接收模块的通信，将无线信号发生与接收模块发送回来的图像数据和“障碍参数”存储在数据库(包括地图数据库和障碍数据库)作为后台数据的积累；所有人对于***的控制操作通过输入输出交互模块进行人机交互，手机加速度传感器、话筒、键盘等输入设备将人的控制指令传达给嵌入式处理器与软件模块，由嵌入式处理器与软件模块实现对于其他模块的控制，然后嵌入式处理器与软件模块中的导盲程序将对环境和障碍作出智能判断，编辑成语音或者振动指令，通过无线信号发生与接收模块的耳机或振动电机输出设备来引导盲人。

一种利用本发明手机智能导盲器的导盲方法，按照以下步骤进行：

步骤1：手机摄像头拍摄前方图像，对图像检测运动物体和识别静态物体，动态物体的检测用前后两帧图像的差别，静态物体识别通过与后台“障碍数据库”的模板匹配。

步骤2：监测到运动物体跟踪运动其轨迹，向盲人提示报警；识别出静态物体测算出预警区间，当静态物体在预警区间外时，不提示报警。如果近于预警区间，向盲人振动发出报警功。

步骤3：再根据障碍物在图像中的位置(靠左或靠右)判断出障碍物在空间中的位置。最后，编辑和输出语音提示，告知盲人下一步行走方向。

步骤4：如果加速度传感器测得角度倾角高于90°，进入交通信号灯和其他指示性标志的识别，并且编辑输出相应的语音指令。

本发明在智能手机的硬件平台上，利用软件控制现有硬件资源来实现导盲的功能，所以成本低廉。凡是智能手机下载该软件就能实现导盲功能，所以该导盲器非常适合于市场推广，具有很好的通用性。

本发明对于空间距离信息的采集是通过手机摄像模块采集的，而且对于安全距离的判断有一定的预警范围和容错区间，不需要在手机上安装额外的距离传感器，比起需要精确计算距离的导盲方法，计算预警区间的导盲方法对于复杂环境和运动物体更具有适应能力。

此外，本发明利用了GSM、GPRS、CDMA等手机通信网络，可以实现现场与后台的通信，利用手机网络远程提供障碍参数的定时、定位更新，而现场图片传回后台存入数据库，可以积累越来越多的“障碍参数”，适合更多不同环境的导盲，所以这是一个具有可升级性的产品。

附图说明

图1是一种超声波导盲器原理图；

图2是一种红外线导盲器原理图；

图3是本发明的光学***测距原理图；

图4是本发明的***模块结构图；

图5是本发明的程序流程图。

具体实施方式

图3说明了单个手机摄像头对空间障碍距离测量计算的原理和方法。具体说是根据摄影光学***像高计算公式：

y’＝y*f’/x                   (2)

x是物点在光轴方向上到物方主面的距离，f’是像方焦距。在图4中，假设物出现在A位置，人与物之间的距离为OA，在光学***倾角为θ的情况下，A到光轴的距离AD就是以光轴为参考的光学***中的像高。DP的就是公式(2)中的x，f’是光学***的固定参数。将DP和AD的长度带入公式(2)就得到了像高y’，再将y’的高度除以每个感光元件的尺寸就是像素。而DP和AD都可以通过三角函数关系计算得到，两个距离都是关于d的函数，所以就找到了d对px的数学关系式：

$\mathrm{px}=\frac{f^{\′}*\tan (\mathrm{\θ}-\arctan \left(\frac{d}{h}\right))}{a}(h*\tan (\mathrm{\θ}-w)\≤d\≤\∞)---\left(1\right)$

px是数字图像中的像高(用像素表示)，d空间中的距离，θ是光轴倾角，f’是镜头的像方焦距，a是一个感光元件的边长尺寸，h是导盲器的高度，该数据通过对用户的身高和使用习惯进行评估后手动输入，w是手机摄像头的半视场角。

本实施实例中运用的手机摄像头图像传感器为CMOS，尺寸为1/2.5英寸，视频采样速度15fps，图像分辨率240×320，因此最小像元为2.54e-5m，焦距为5.45mm，F数为2.8。

图4是本发明5个模块之间的功能关系图，首先由手机摄像头模块1将拍摄到的数字图形传递给嵌入式处理器与软件模块2进行图像处理，嵌入式处理器与软件模块2进行图像处理同时还需要无线信号发生与接收模块3接受从后台发送过来的“障碍参数”。后台服务器5通过与无线信号发生与接收模块3的通信，将无线信号发生与接收模块3发送回来的图像数据和“障碍参数”存储在数据库(包括地图数据库和“障碍”数据库)作为后台数据的积累。所有人对于***的控制操作通过输入输出交互模块4进行人机交互，手机加速度传感器、话筒、键盘等输入设备将人的控制指令传达给嵌入式处理器与软件模块2，由嵌入式处理器与软件模块2实现对于其他模块的控制，然后嵌入式处理器与软件模块2中的导盲程序将对环境和障碍作出智能判断，编辑成语音或者振动指令，通过输入输出交互模块4的耳机或振动电机输出设备来引导盲人。

本发明的外观是手机加上一副耳机(耳塞)，耳机与手机的连接可以采用有线或蓝牙方式。使用时，盲人通过语音命令，如“开始导盲”或者按下手机某键来启动程序。手机导盲器由盲人手持，手机摄像头朝人行走路线的正前方拍摄。

本实施例的手机加速度传感器采用意法半导体公司(STMicroelectronics公司)的LIS302DL。该款加速度传感器是一款低功耗的三轴精加速度传感器，N95，N82用的都是这一款，可以测量x，y，z轴3个方向的重力加速度。

手机加速度传感器将感受的重力加速度来计算镜头光轴的倾角，拍摄的图像和测得光轴倾角θ传递到导盲导航软件。

导盲软件通过四种辨识物体的方法检测和识别，分别是运动判断、颜色判断、轮廓判断、纹理判断；软件运行过程中，四种判断方法综合运用互为补充和加强。障碍物的识别是通过比对当前图像的各个特征(比如颜色、轮廓)与“障碍”库中的“障碍参数”，相匹配的则识别为障碍物。比如，在十字路口具有绿色圆形特征的被识别为绿灯，人前开过的一辆汽车可以识别为运动目标。

识别出的目标再进行空间位置的判断，根据公式(1)

$\mathrm{px}=\frac{f^{\′}*\tan (\mathrm{\θ}-\arctan \left(\frac{d}{h}\right))}{a}(h*\tan (\mathrm{\θ}-w)\≤d\≤\∞)---\left(1\right)$

可以计算出障碍物离人的距离。公式中θ和h是参变量，每一对确定的θ和h可以得到一对px和d的对应关系。而px是在图像上相对于中心点的像素差，可以直接从数字图像处理程序中获得。θ可以通过手机自带的加速度传感器精确获得，而h根据正常人的身高高度定为1.2m。由于手持会发生θ和h在一定范围内改变，所以对于设定的安全距离2m的测算会产生误差，误差的上限与下限构成了可能发生预警的区间，也就是容错区间，具体如表1。

表1

注：以上数据按照Nokia N85的性能参数和1.7m身高的人计算得到。

由于障碍物距离人很远，可以暂不提醒。当障碍距人的距离小于安全距离时，手机振动提示报警，盲人随即止步。然后，根据障碍物在图像中的像位于整幅图像中的位置(靠左或靠右)来判断障碍物在空间中的位置。如果障碍物在左边，程序编辑一段语音“左方近距离有柜子，请靠右行走”引导盲人前进。在右侧则提示相反方向。

在不同的环境下，导盲软件会有设置不同的环境参数作为判断依据也会选择不同的导盲策略。确定当前环境用什么样的参数和策略有两个步骤，首先手机GPS芯片传回的坐标判断你的地理位置。在后台地图数据库中找到盲人所在的位置的地理特征，比如十字路口，公园环境等等。然后用GSM手机通信网络把适合于该环境的“障碍参数”发送到手机，暂存于存储卡中。手机就可以选择合适的参数和模式进行导盲了。

图5是本发明的软件流程图，当程序进入程序开始的大循环后，首先判断有没有程序终止的信号。如果没有，则进入3个线程，其中线程1是进行图像处理的，线程2是进行与后台服务器通信的，线程三是进行输出设备控制的。三个线程同步运行，其中线程1、2的进入点在程序开始信号之后，线程3的进入点在障碍匹配判断之后。

线程1分别依次对动态图像进行运动目标特征检测、颜色特征检测、轮廓特征检测、纹理特征检测，比且通过这些检测获取“图像特征”。

线程2通过手机GPS芯片进行定位，将位置信息和线程的图像通过无线网络发送回后台，然后等待后台服务器响应，如果后台对图像与数据库中地理位置进行匹配，然后把数据库中的“障碍参数”传送到手机上，手机接受到障碍参数。如果没有服务器没有向手机发送信号，则继续进行定位判断。将手机获得的当前图像特征与后台数据库传来的“障碍参数”进行比对，匹配的则可以分析出障碍的种类和位置，因此宣传导盲模式，进行导盲语音提示。如果没有匹配，则说明前方环境中没有具有障碍特征的物体出现，程序返回开始继续大循环。

选择导盲模式进入线程3后，程序分为两种提示首先是判断有障碍是否需要报警，如果是，则控制启动电机发出振动，此时盲人需要止步。第二种是有障碍物，但是导盲模式的选择决定不需要报警(比如判断为交通信息灯的绿灯)则，跳过报警步骤，直接进入语音提示。然后结束线程。1、2两个线程与程序结束时共同结束，故在线程3给盲人传递导盲指令的时候，对于环境障碍的判断是不间断进行中的。

本发明采用的手机是市场上普通的智能手机，一般智能手机都采用ARM嵌入式处理器，Symbain、Android等***，具有语音播放、GPS芯片、摄像等功能，因此仅仅一部智能手机，就可以实现我们导盲需要的全部功能，体现了一机多用，经济性好的特点。

Claims (9)

1.一种智能手机导盲器，包括手机摄像模块、手机嵌入式处理器和应用软件模块、手机无线信号发射及接收模块、输入与输出交互模块和后台服务器，其特征在于：

所述的手机摄像模块，用于图像的采集，利用光学***成像原理获取距离信息；

所述的手机嵌入式处理器和软件模块，用于图像的处理、导盲的实现和手机硬件控制；

所述的手机无线信号发射及接收模块，用于与后台服务器通信，进行图像和障碍参数的传递；

所述的输入与输出交互模块，用于获取由人发出的控制命令并将机器的智能导盲指令传递给人，实现人机交互；

所述的后台服务器，用于运行“地图”和“障碍”两个数据库，并保存海量的“环境图像”数据。

2.如权利要求1所述的智能手机导盲器，其特征在于：所述的手机摄像模块包括一个手机摄像镜头和图像传感器。

3.如权利要求1所述的智能手机导盲器，其特征在于：所述的嵌入式处理器和应用软件模块，包括手机的嵌入式处理器和嵌入式操作***以及运行在操作***上的应用软件，所述的嵌入式***对手机摄像模块、手机无线信号发射及接收模块、输入与输出交互模块的硬件资源进行分配和控制；所述的应用软件，包括语音识别软件和导盲软件，以及通过手机无线信号发射接收模块与导盲软件连接的地图数据库和障碍数据库，这两个数据库都运行在后台的服务器上。

4.如权利要求2所述的智能手机导盲器，其特征在于：所述的导盲软件为：读入手机摄像模块采集到的数字图像，对图像信息进行分析，将分析结果与当前从“障碍”数据库中获得的“障碍参数”做比较，当障碍物进入预设的预警区间内，发出指示提示盲人止步。

5.如权利要求4所述的智能手机导盲器，其特征在于：所述的图像信息包括视频中的运动目标、障碍物的颜色特征、轮廓特征、纹理特征和空间位置。 

6.如权利要求4所述的智能手机导盲器，其特征在于：所述的“障碍参数”包括特征物体的颜色特征区间，轮廓特征参数，纹理特征参数。

7.如权利要求1所述的智能手机导盲器，其特征在于：所述的无线信号发射及接受模块，利用GSM、GPRS、CDMA等手机通信网络向后台服务器发送GPS或LBS定位位置和“现场图像”，并接受后台服务器发送的“障碍参数”响应。

8.如权利要求1所述的智能手机导盲器，其特征在于：所述的输入与输出交互模块包括输入设备与输出设备，输入设备包括手机语音话筒，手机键盘和手机加速度传感器，利用手机按键输入和自然语言输入实现对软件的控制，加速度传感器对重力加速度的感应判断手机摄像头的光轴倾角；输出设备包括手机耳机，手机振动电机，手机耳机用于播放导盲软件编辑产生的语音指令，手机振动电机在如果距离障碍物太近时，发出振动信号提示盲人止步。

9.一种根据权利1-8任一权利要求所述的智能手机导盲器的导盲方法，包括：

(1)手机摄像头拍摄前方图像，对图像检测运动物体和识别静态物体，动态物体的检测用前后两帧图像的差别，静态物体识别通过与后台“障碍数据库”的模式匹配；

(2)监测到运动物体跟踪其运动轨迹，向盲人提示报警；识别出静态物体测算出预警区间，当静态物体在预警区间外时，不提示报警，如果近于预警区间，向盲人振动发出报警；

(3)再根据障碍物在图像中的位置判断出障碍物在空间中的位置。最后，编辑和输出语音提示，告知盲人下一步行走方向；

(4)如果加速度传感器测得角度倾角高于90°，进入交通信号灯和其他指示性标志的识别，并且编辑输出相应的语音指令。 

Images