CN104983511A - 针对全盲视觉障碍者的语音帮助智能眼镜*** - Google Patents

Abstract

本发明提供了一种针对全盲视觉障碍者的语音帮助智能眼镜***，包括：眼镜支架；高清摄像采集设备；用于检测外部环境的各传感器；数据处理中心；本发明能实时地采集现实场景，并传到服务器端，服务器端采用图像处理算法对现场的场景进行实时处理、建模，识别盲人周围环境，结果通过蓝牙骨传导耳机给盲人语音指示，同时根据障碍物的距离远近给出不同强度的震动；使用机器学习算法，使得***自动学习，将物体存入数据库中；同时本发明还对采集的书本和报纸上的文字识别并转化为语音，通过耳机朗读给盲人听，帮助盲人能够无障碍阅读；同实现时WiFi语音上网、蓝牙连接手机；本发明体积小，更具有便捷性，轻便，实用性，也更能够被盲人接受。

Description

针对全盲视觉障碍者的语音帮助智能眼镜***

技术领域

本发明涉及视觉辅助技术领域，具体地，涉及一种针对全盲视觉障碍患者的语音帮助智能眼镜***。

背景技术

根据直接健康组织报告，据估计全世界范围内有2.85亿人有视觉障碍，3900万人是全盲，2.46亿人视力低下。有视觉障碍的人群不仅不能够很有效的和正常人交流，而且不能够很有效的和他们周围的环境进行交流，他们很大程度上依赖他们的其他感官，比如听觉，触觉，嗅觉来感知他们周围的环境。他们独自出门是非常困难的。如果盲人能够在其他设备的帮助下“看”见世界，他们的独立性和自由将极大的提升，这也正是我们为什么要做这样的一个智能眼镜***。然而，现现有的种类繁杂的视觉障碍辅助器具有功能单一、可扩展性差等特点，不符合易用、适用、简单便携、可扩展等原则。

如中国专利申请号为201410193383.9的发明专利，该专利提供一种盲人眼镜，包括镜架，所述镜架上设置有信号采集单元、中央处理单元、功能单元；所述信号采集单元用于采集图像信息和语音信息，并将所采集到的信息发送给所述中央处理单元，所述中央处理单元对接收到的信息进行处理，驱动所述功能单元执行相应指令。该发明的盲人眼镜大大缓解了盲人出行不便的问题。

又如中国专利申请号为CN201310611065.5的发明专利，该专利提供一种盲人导航眼镜。它解决了现有专门为盲人设计的眼镜种类很少，而且大多技术含量不高，导致他们外出十分不便的问题。本盲人导航眼镜包括眼镜主体，眼镜主体上呈内嵌安设电池、针孔摄像头、红外测距传感器、GPS接收器、蓝牙接收器、信息处理器、语音提示器以及数据线接口，眼镜主体还连接外置耳机，针孔摄像头、红外测距传感器、GPS接收器、蓝牙接收器均与信息处理器形成电路连接，信息处理器电控连接语音提示器与耳机，电池与数据线接口与信息处理器形成供电连接。该发明集影像探路、测距探路、导航定位、路线指引、语音提示及警示闪光等多项功能于一身，并且还提供收听广播或音乐的娱乐功能，对盲人使用带来很大便利。

但是上述现有技术盲人眼镜臃肿，体积大，较为笨重，不便于携带，实用性不高，同时实现的功能有限，智能性有待进一步提高。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种针对视觉障碍患者的轻便式语音帮助智能眼镜***，更便捷性，轻便，实用性强，同时智能程度高，功能丰富，更能够被盲人接受。

为实现以上目的，本发明提供一种针对视觉障碍患者的语音帮助智能眼镜***，包括：

眼镜支架，用于安装及连接***的各个部件以及方便用户佩戴；

高清摄像头，用于采集图像，设置在眼镜支架上；

多个传感器，用于检测外部信息和眼镜所处状态并将信号传输给数据处理中心；

数据处理中心，用于***的总体控制，包括图像的采集、智能眼镜***和服务器端数据处理、传感器数据的接受和处理、语音输出；所述数据处理中心使用英特尔爱迪生芯片；

所述数据处理中心和服务器云端均有数据处理，简单的物体识别算法放在数据处理中心处理，能够迅速得到结果，复杂的数据处理在服务器端进行；对于不在服务器端数据库中的物体，使用机器学习算法，使得***自动学习，将物体存入数据库中，服务器端的数据库能帮助算法来迅速进行匹配物体，文字，达到快速识别的结果。

优选的，高清摄像头采集图片和视频流并将图片和视频流上传到服务器端，图片和视频部分通过服务器端的图像处理算法的实时处理，对现场的场景进行处理、建模，识别盲人周围的障碍物、生活用品、标志物，处理得到的结果通过蓝牙骨传导耳机给盲人语音指示。

优选的，高清摄像头采集的文字，通过文字识别算法转化为语音，通过耳机朗读给盲人听，帮助盲人实现无障碍阅读。

优选的，所述***设有WiFi模块和蓝牙模块，通过WiFi连接互联网，盲人通过语音的方式自由上网；蓝牙模块连接手机电子地图和GPS地位的信息，通过语音方式给盲人以语音导航、接收电话、信息功能。

优选地，所述数据处理中心图像处理算法根据所需功能不同，而有不同的设定；针对不同的患者有不同的图像处理算法与之对应。

优选地，将所述高清摄像头采集到的图片处理并通过语音指示的方式输出，让盲人更能够接受，也更加实用。

优选地，所述数据处理中心内置WiFi模块，用于连接网络，比如将一些复杂的数据传到云端进行处理。

优选地，所述数据处理中心内置蓝牙模块，通过蓝牙模块连接手机和耳机，通过连接手机，实现接收电话和短信的功能，短信以语音的方式读出来，同时通过利用手机内部的电子地图和GPS模块，将信息反馈到智能眼镜中，实现语音导航的功能，将盲人所在位置信息，如何达到目的地的信息通过语音的方式告诉盲人。

优选地，所述数据处理中心内置传感器，用于检测外部信息和眼镜所处状态，所述传感器各自将采集到的数据传到数据处理中心的CPU，CPU的图像处理及机器视觉算法会利用这些数据进行分析；其中，红外传感器用于采集红外信号，以用于可能的夜间视野探测、或者用于障碍物距离检测；加速度计和陀螺仪分别采集眼镜的各个方向加速度以及角度；通过分析这些传感器采集的数据，数据处理中心对将要显示的图像做出相应的处理。

与现有技术相比，本发明具有如下的有益效果：

本发明为可穿戴式设备，具有简单便携、易扩展等优点，可以让盲人在日常生活中使用；同时，采用了英特尔爱迪生芯片，除了视觉辅助功能外，还可以通过WiFi连接互联网，实现其他智能设备的一些功能，通过WiFi的连接，将一些复杂的数据的处理在云端进行，如在室内的时候，盲人可以通过带上眼镜阅读报纸，通过摄像头拍照，将数据传到服务器端，服务器端的计算识别出文字，将结果返还到智能眼镜***，智能眼镜***通过骨传导耳机将文字用语音读出来，帮助盲人实现正常阅读报纸，书籍的需求。

此外，智能眼镜***可以通过蓝牙连接手机，利用手机上的电子地图和GPS模块实现电子导航的功能，帮助盲人能够更好的在城市中生活，给盲人极大的自由性和便利性。

相比于其他的智能眼镜的臃肿，体积大，较为笨重，本发明智能眼镜将复杂的功能集成到一块不到邮票大小的芯片上，使得做出的眼镜原型***体积、重量相比现有的眼镜***更具有便捷性，轻便，实用性强，也更能够被盲人接受。此外，本发明在眼镜终端和服务器云端均有数据处理，简单的物体识别算法可以放在眼镜终端处理，能够迅速得到结果，对于不同距离的障碍物，用不同强度的震动来表示，这样使得眼镜更实用。此外本发明***具有学习型的功能，对于不在数据库中的物体，可以迅速学习，并加入数据库。进一步的，相比于其他的眼镜***，新增加了文字识别，通过眼镜***，可以将文字实时迅速识别，并通过语音朗读给盲人，实现帮助盲人无障碍阅读的功能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一较优实施例的结构示意图；

图2为本发明一较优实施例的工作原理框图；

图3为本发明一实施例实物效果图；

图中：1为眼镜支架，2为智能眼镜开关，3为锂电池，4为传感器部分，5为微型高清摄像头，6为***指示灯，7为爱迪生芯片(内部包含WiFi和蓝牙模块)，8为骨传导耳机。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，为本发明一较优实施例的针对视觉障碍患者的智能眼镜***结构示意图，其中：

所述的眼镜支架1用于安装、连接和固定***的各个部件，以及方便用户佩戴；

所述的智能眼镜开关2，用于控制智能眼镜的开关状态；

所述的锂电池3用于整个***供电；

所述的传感器部分4(独立与爱迪生芯片7的传感器)，用于测量与障碍物的距离，盲人的运动等状态；

所述的微型高清摄像头5用于***图像采集，采集盲人用户周围的环境；

所述的***指示灯6用于指示智能眼镜***的正常工作，充电状态等；

所述的爱迪生芯片7，里面包括图像处理模块，蓝牙控制模块，WiFi控制模块，音频控制模块，各类传感器模块，用于***的总体控制，图像的采集、处理，用于***的总体控制及各个模块的驱动，用于将图片和视频信息传到服务器端，用于从服务器端接收图片和视频处理的结果，用于控制***给出指令给骨传导耳机部分，为整个***的核心部分；所述爱迪生芯片7和服务器云端均有数据处理，简单的物体识别算法放在爱迪生芯片7处理，能够迅速得到结果，复杂的数据处理在服务器端进行；对于不在服务器端数据库中的物体，使用机器学习算法，使得***自动学习，将物体存入数据库中，服务器端的数据库能帮助算法来迅速进行匹配物体，文字，达到快速识别的结果；

所述的骨传导耳机8，用于输出声音和震动。

作为一个优选，本实施例中打开智能眼镜开关，智能眼镜***开始工作，微型高清摄像头5采集图片和视频流通过爱迪生芯片7通过WiFi控制模块将图片和视频流上传到服务器端，图片和视频部分通过服务器端的图像处理算法的实时处理，对现场的场景进行处理、建模，识别盲人周围的障碍物、生活用品、标志物，处理得到的结果通过蓝WiFi控制模块返还给爱迪生芯片7，爱迪生芯片7根据返还的结果，通过蓝牙骨传导耳机8给盲人语音指示，同时根据障碍物的距离远近给出不同强度的震动。

本发明***针对盲人患者的不同需求，利用图像处理及机器视觉算法对图像进行处理，将处理后的图像结果，如识别出某些标志物，通过视觉障碍患者熟悉的语音提示的方式输出，从而达到视觉辅助，帮助盲人生活的目的，同时***内部有蓝牙控制模块、WiFi控制模块，在室内时可以通过WiFi连接互联网，盲人可以通过语音的方式自由上网，如语音去进行百度，听网络音乐等功能，而在室外的时候，通过蓝牙连接手机电子地图和GPS地位的信息，智能眼镜***可以通过语音方式，给盲人以语音导航，接收电话，信息等功能。

本实施例中，爱迪生芯片7可以通过WiFi与互联网相连接、与服务器端连接，通过语音输入的方式进行智能上网，如完成语音搜索的功能。

本实施例中，爱迪生芯片7可以通过蓝牙部分与手机相连接，通过手机部分的电子地图和GPS模块，实现语音电子导航的功能，帮助盲人更好的在城市中生活。

本实施例中，爱迪生芯片7的传感器部分用于检测外部信息和眼镜所处状态并将信号传输给数爱迪生CPU中心；传感器部分包括但不限于红外传感器，加速度计，运动传感器，陀螺仪等各种传感器，它们各自将采集到的数据传到CPU，图像处理及机器视觉算法会利用这些数据进行分析。其中，红外传感器用于采集红外信号，以用于可能的夜间视野探测、或者用于障碍物距离检测；加速度计和陀螺仪分别采集眼镜的各个方向加速度以及角度。通过分析这些传感器采集的数据，爱迪生芯片7可以对将要显示的图像做出相应的处理。

作为一个优选方式，所述***除了以上所述的实体部件外，爱迪生芯片7还包含配套的针对盲人设计的图像处理模块，本模块从高清摄像头实时地采集图像，传输到数据处理中心爱迪生CPU中利用图像处理模块(图像处理及机器视觉算法)对采集的图像进行处理，针对不同的视觉障碍患者，利用相应的图像处理及机器视觉算法对图像进行处理，检测图像中出现的物体，标志物等。

如图2所示，为***的工作原理框图，工作流程包括如下步骤：

一、图像采集

该部分由眼镜前方的微型高清摄像头5完成，实现了图像的实时采集，采集的视频流到数据处理中心——爱迪生芯片的CPU中，进行图像的分析和处理。

二、图像处理

该部分由***的数据处理中心——爱迪生芯片完成。微型高清摄像头5采集图片和视频流并将图片和视频流通过爱迪生芯片7上传到服务器端，图片和视频部分通过服务器端优秀的图像处理算法的实时处理，对现场的场景进行处理，建模，识别盲人周围的障碍物，生活用品，标志物，处理得到的结果用语音通过蓝牙骨传导耳机8给盲人相应的语音指示，同时根据障碍物的距离远近给出不同强度的震动，对于不在服务器端的数据库中的物体，使用机器学习算法，使得***可以自动学习，将物体存入数据库中；同时本发明还可以根据微型高清摄像头5采集书本和报纸上的文字，通过文字识别算法，将文字转化为语音，通过耳机朗读给盲人听，帮助盲人能够无障碍阅读。

进一步的，所述数据处理中心的图像处理算法根据所需功能不同而有不同的设定，针对不同的患者有不同的图像处理算法与之对应。简单的物体识别算法放在爱迪生芯片7处理，能够迅速得到结果，复杂的数据处理在服务器端进行。

三、语音输出

数据处理中心——爱迪生芯片7，将图像分析和处理得到的结果以语音的方式，通过骨传导耳,8输出到盲人的耳朵，从而实现语音辅助，语音朗读，帮助盲人能够了解周围的物体和环境，无障碍阅读，达到帮助盲人的目的。

如图3所示，为本发明开发出来的智能眼镜原型，非常轻便，易携带，功能丰富，实用性强，很适合盲人。盲人带上智能眼镜***，智能眼镜***的高清摄像头捕捉到书籍和报纸的文字图片和视频，爱迪生芯片7将图片和视频流通过WiFi实时传输到服务器端，服务器端利用文字识别算法，还有内部已有的数据库，进行快速匹配，识别文字，将结果返还给智能眼镜终端，智能眼镜终端通过骨传导耳机将识别的文字用语音朗读给盲人听。

本发明上述实施例中的智能眼镜***采用英特尔爱迪生芯片，爱迪生芯片性能十分强大，体积却非常小，这样使它非常适合去做一款可穿戴设备。

本发明中服务器端采用图像处理算法对现场的场景进行实时处理、建模，识别盲人周围环境；使用机器学习算法，使得***自动学习，将物体存入数据库中；同时对采集的书本和报纸上的文字识别并转化为语音，通过耳机朗读给盲人听，帮助盲人能够无障碍阅读。该眼镜可以与手机等现有的设备进行交互，较大程度上利用了现有的手机。简单的处理可以在眼镜的处理器上进行处理，而复杂的处理通过手机或者服务器端进行处理。蓝牙、WiFi模块的使用，极大的提升了眼镜的智能互联性。本发明更便捷性，轻便，实用性强，同时智能程度高，功能丰富。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，包括：

眼镜支架，用于安装及连接***的各个部件以及方便用户佩戴；

高清摄像头，用于采集图像，设置在眼镜支架上；

多个传感器，用于检测外部信息和眼镜所处状态并将信号传输给数据处理中心；

数据处理中心，用于***的总体控制，包括图像的采集、智能眼镜***和服务器端数据处理、传感器数据的接受和处理、语音输出；所述数据处理中心使用英特尔爱迪生芯片；

所述数据处理中心和服务器云端均有数据处理，简单的物体识别算法放在数据处理中心处理，能够迅速得到结果，复杂的数据处理在服务器端进行；对于不在服务器端数据库中的物体，使用机器学习算法，使得***自动学习，将物体存入数据库中，服务器端的数据库能帮助算法来迅速进行匹配物体，文字，达到快速识别的结果。

2.根据权利要求1所述的一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，所述高清摄像头采集图片和视频流并将图片和视频流上传到服务器端，图片和视频部分通过服务器端的图像处理算法的实时处理，对现场的场景进行处理、建模，识别盲人周围的障碍物、生活用品、标志物，处理得到的结果通过蓝牙骨传导耳机给盲人语音指示。

3.根据权利要求1所述的一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，所述高清摄像头采集的文字，通过文字识别算法转化为语音，通过耳机朗读给盲人听，帮助盲人实现无障碍阅读。

4.根据权利要求1所述的一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，所述***设有WiFi模块和蓝牙模块，通过WiFi连接互联网，盲人通过语音的方式自由上网；蓝牙模块连接手机电子地图和GPS地位的信息，通过语音方式给盲人以语音导航、接收电话、信息功能。

5.根据权利要求4所述的一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，所述数据处理中心内置WiFi模块。

6.根据权利要求4所述的一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，所述数据处理中心内置蓝牙模块，通过蓝牙模块连接手机和耳机，通过连接手机实现接收电话和短信的功能，短信以语音的方式读出来，同时通过利用手机内部的电子地图和GPS模块，将信息反馈到智能眼镜中，实现语音导航的功能，将盲人所在位置信息，如何达到目的地的信息通过语音的方式告诉盲人。

7.根据权利要求1-6任一项所述的一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，所述数据处理中心内置传感器，用于检测外部信息和眼镜所处状态，所述传感器各自将采集到的数据传到数据处理中心的CPU，CPU的图像处理及机器视觉算法会利用这些数据进行分析；其中，红外传感器用于采集红外信号，以用于可能的夜间视野探测、或者用于障碍物距离检测；加速度计和陀螺仪分别采集眼镜的各个方向加速度以及角度；通过分析这些传感器采集的数据，数据处理中心对将要显示的图像做出相应的处理。

8.根据权利要求1-6任一项所述的一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，所述蓝牙骨传导耳机给盲人语音指示，根据障碍物的距离远近给出不同强度的震动。

9.根据权利要求1-6任一项所述的一种针对全盲视觉障碍者的语音帮助智能眼镜***，其特征在于，所述数据处理中心图像处理算法根据所需功能不同而有不同的设定，针对不同的患者有不同的图像处理算法与之对应。