CN110246178A - 一种模块化智能视障辅助*** - Google Patents

一种模块化智能视障辅助*** Download PDF

Info

Publication number
CN110246178A
CN110246178A CN201910613791.8A CN201910613791A CN110246178A CN 110246178 A CN110246178 A CN 110246178A CN 201910613791 A CN201910613791 A CN 201910613791A CN 110246178 A CN110246178 A CN 110246178A
Authority
CN
China
Prior art keywords
module
mould group
avoidance
visually impaired
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910613791.8A
Other languages
English (en)
Inventor
徐书凝
胡孟晗
李庆利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201910613791.8A priority Critical patent/CN110246178A/zh
Publication of CN110246178A publication Critical patent/CN110246178A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明公开了一种模块化智能视障辅助***，其特点是该智能视障辅助***由室内定位模组、室外定位模组、避障模组、识别模组和交互模组组成，采用各功能模块构建智能视障辅助***，通过不同传感器采集的信息，准确获取复杂应用场景下的有效信息和精准全面的传递，以满足不同环境下的视障辅助，实现室内、外定位及避障等功能。本发明与现有技术相比具有室内、外定位和交互阅读等功能，准确获取复杂应用场景下的有效信息和精准全面的传递，以满足不同环境下的视障辅助，帮助视障人士有效避障，结构简单，使用方便，可靠性高。

Description

一种模块化智能视障辅助***
技术领域
本发明涉多种定位模式和文字图像识别处理技术领域，具体地说是一种模块化智能视障辅助***。
背景技术
视障人士（包括部分视障人士和全盲人士）由于视觉缺失造成了生活上的诸多不便 , 因此人们一直在努力研究辅助装置来提高视障人士生活质量，设计智能视障辅助***能为视觉障碍人士提供帮助，这已经成为现今研究热点，在该领域已有不少辅助视障人士的成果及应用。
申请号：2013203817903公开了一种视障人士手杖，该视障人士手杖为传统的视障辅助工具，其探测距离有限，只能检测脚边的障碍物，也无法反映远处和空中的状况，使用时需视障人士反复移动手杖，才能获知面前的情况，既费时也费力。
申请号：2015205123794公开了一种视障人士环境感知器，该感知器虽然采用超声波技术、激光测距技术、双目视觉技术、激光散斑编码技术、激光雷达技术、毫米波雷达技术、热成像技术、全球定位***(GPS)，但基于超声波技术和激光测距技术的测距范围有限，只能实现单点测距，获取的信息量太少，且耗电多，设备笨重，只能实现报警功能，容易受环境干扰。此外，该设备是集中式的传感形式，存在传感距离有限、传感信息冗余等局限性，由于在多变的场景下，视障人士对于***环境分辨，并且对信息获取要求较高。
导盲犬可以为视障人士提供帮助，但是导盲犬的训练和养护费用是高昂的，普通家庭难以承担。有些场合，导盲犬不能陪同视障人士进入，比如公交车和火车站，因此导盲犬的辅助是有局限性的。
现有技术的助盲工具大多是基于单源传感的***，为了解决上述问题，因此，亟待开发能满足各种环境条件下的基于分布式多源异构传感技术的智能视障辅助***。目前没有发现有关类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明的目的是针对现有技术的不足而设计的一种模块化智能视障辅助***，采用各功能模块构建智能视障辅助***，通过不同传感器采集的信息，有效、准确获取复杂应用场景下的有效信息和精准全面的传递，以满足不同环境下的视障辅助，实现室内、外定位及避障等功能，结构简单，使用方便，可靠性高。
本发明的目的是这样实现的：一种模块化智能视障辅助***，其特点是该智能视障辅助***由室内定位模组、室外定位模组、避障模组、识别模组和交互模组组成，所述室内定位模组包括无线定位模块、第一RGB+二维码相机、第一深度相机、蓝牙标签模块和第一语音反馈模块；所述室外定位模组包括第二RGB+二维码相机、第二深度相机、远红外相机、GPS模块、栅栏状激光器和室外处理平台；所述避障模组包括检测模块、避障训练数据模块和避障处理平台模块；所述识别模组包括第三RGB+二维码相机、补光模块、识别训练数据模块和识别处理平台；所述交互模组包括震动反馈模块、第二语音反馈模块和交互处理平台；所述无线定位模块、第一RGB+二维码相机、第一深度相机和蓝牙标签模块采集的数据经第一语音反馈模块的处理后输入交互处理平台；所述第二RGB+二维码相机、第二深度相机、远红外相机、GPS模块和栅栏状激光器采集的数据经室外处理平台的处理后输入交互处理平台；所述检测模块和避障训练数据模块采集的数据经避障处理平台的处理后输入交互处理平台；所述第三RGB+二维码相机、补光模块和识别训练数据模块采集的数据经识别处理平台的处理后输入交互处理平台；所述交互处理平台分别与震动反馈模块、第二语音反馈模块，以及第一语音反馈模块、室外处理平台、避障处理平台和识别处理平台连接。
所述识别处理平台将接入的数据由深度网络模型进行识别处理。
所述室内定位模组通过无线定位模块实现粗定位、第一RGB+二维码相机获取朝向信息、第一深度相机获取距离信息、蓝牙标签模块实现精细定位，并将上述采集的信息经第一语音反馈模块接入交互处理平台处理。
所述室外定位模组通过第二RGB+二维码相机进行常规物体识别、第二深度相机获取二维距离信息、远红外相机识别热源物体、GPS模块获取位置信息、栅栏状激光器检测棱角状物体，并将上述采集的信息接入室外处理平台处理。
所述避障模组通过室内定位模组和室外定位模组中的第一RGB相机或第二RGB相机，以及第一深度相机或第二深度相机对常规物体进行识别并获取二维距离信息，并将采集的数据与避障训练数据模块中的数据一起输入避障处理平台模块。
所述识别模组通过第三RGB+二维码相机进行常规物体识别，若在亮度较低的环境下，通过补光模块进行补光，提升第三RGB+二维码相机对物体识别的准确率，并将采集的数据与识别训练数据模块中的数据一起输入识别处理平台的深度网络进行处理。
所述交互模组通过交互处理平台收集室内定位模组、室外定位模组、避障模块和识别模组采集的信息，处理后的数据通过震动反馈模块和第二语音反馈模块，以震动和语音播报的形式将实时采集得到的信息通告使用者。
本发明与现有技术相比具有室内、外定位和交互阅读等功能，能准确获取复杂应用场景下的有效信息和精准全面的传递，以满足不同环境下的视障辅助，帮助视障人士有效避障，结构简单，使用方便，可靠性高。
附图说明
图1为本发明结构示意图。
具体实施方式
参阅附图1，本发明由由室内定位模组1、室外定位模组2、避障模组3、识别模组4和交互模组5组成，所述室内定位模组1包括：无线定位模块11、第一RGB+二维码相机12、第一深度相机13、蓝牙标签模块14和第一语音反馈模块15；所述室外定位模组2包括：第二RGB+二维码相机21、第二深度相机22、远红外相机23、GPS模块24、栅栏状激光器25和室外处理平台26；所述避障模组3包括：检测模块31、避障训练数据模块32和避障处理平台模块33；所述识别模组4包括：第三RGB+二维码相机41、补光模块42、识别训练数据模块43和识别处理平台44；所述交互模组5包括：震动反馈模块51、第二语音反馈模块52和交互处理平台53；所述无线定位模块11、第一RGB+二维码相机12、第一深度相机13和蓝牙标签模块14采集的数据经语音反馈模块15的处理后接入交互处理平台53；所述第二RGB+二维码相机21、第二深度相机22、远红外相机23、GPS模块24和栅栏状激光器25采集的数据经室外处理平台26的处理后接入交互处理平台53；所述检测模块31和避障训练数据模块32采集的数据经避障处理平台33的处理后接入交互处理平台53；所述第三RGB+二维码相机41、补光模块42和识别训练数据模块43采集的数据经识别处理平台44的处理后接入交互处理平台53；所述识别处理平台44将接入的数据由深度网络模型进行识别处理；所述交互处理平台53分别与震动反馈模块51、第二语音反馈模块52，以及第一语音反馈模块15、室外处理平台26、避障处理平台33和识别处理平台44连接。
本发明是这样实现室内、外定位、避识别以及交互等功能的：
（一）室内定位
室内定位模组1通过无线定位模块11实现粗定位，通过第一RGB+二维码相机12获取朝向信息、第一深度相机13获取距离信息、蓝牙标签模块14实现精细定位，上述采集的信息经第一语音反馈模块15接入交互处理平台53处理。
（二）室外定位
室外定位模组2通过第二RGB+二维码相机21进行常规物体识别、第二深度相机22获取二维距离信息、远红外相机23识别热源物体、GPS模块24获取位置信息、栅栏状激光器25检测棱角状物体，并由第一处理平台26进行处理对上述所采集的信息进行处理。
（三）避障
避障模组3通过室内定位模组1和室外定位模组2中的第一RGB相机11或第二RGB相机21和第一深度相机13或第二深度相机23对常规物体进行识别并获取二维距离信息，将采集得到的数据与避障训练数据模块32中的数据一起输入避障处理平台模块33处理。
（四）识别
识别模组4通过第三RGB+二维码相机41进行常规物体识别，若在亮度较低的环境下，通过补光模块42进行补光，提升第三RGB+二维码相机41对物体识别的准确率，并将采集得到的数据与识别训练数据模块43中的数据一起输入识别处理平台44的深度网络进行处理。
（五）交互
交互模组5将收集处理室内定位模组1、室外定位模组2、避障模组3和识别模组4中处理后的数据。如果识别到文字信息或前方有障碍物等情况出现，通过震动反馈模块51和第二语音反馈模块52以震动和语音播报的形式将实时采集得到的信息通告使用者。
以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims (2)

1.一种模块化智能视障辅助***，其特征在于该智能视障辅助***由室内定位模组、室外定位模组、避障模组、识别模组和交互模组组成，所述室内定位模组包括无线定位模块、第一RGB+二维码相机、第一深度相机、蓝牙标签模块和第一语音反馈模块；所述室外定位模组包括第二RGB+二维码相机、第二深度相机、远红外相机、GPS模块、栅栏状激光器和室外处理平台；所述避障模组包括检测模块、避障训练数据模块和避障处理平台模块；所述识别模组包括第三RGB+二维码相机、补光模块、识别训练数据模块和识别处理平台；所述交互模组包括震动反馈模块、第二语音反馈模块和交互处理平台；所述无线定位模块、第一RGB+二维码相机、第一深度相机和蓝牙标签模块采集的数据经语音反馈模块的处理后输入交互处理平台；所述第二RGB+二维码相机、第二深度相机、远红外相机、GPS模块和栅栏状激光器采集的数据经室外处理平台的处理后输入交互处理平台；所述检测模块和避障训练数据模块采集的数据经避障处理平台的处理后输入交互处理平台；所述第三RGB+二维码相机、补光模块和识别训练数据模块采集的数据经识别处理平台的处理后输入交互处理平台；所述交互处理平台分别与震动反馈模块、第二语音反馈模块，以及第一语音反馈模块、室外处理平台、避障处理平台和识别处理平台连接。
2.根据权利要求1所述模块化智能视障辅助***，其特征在于所述识别处理平台将接入的数据由深度网络模型进行识别处理。
CN201910613791.8A 2019-07-09 2019-07-09 一种模块化智能视障辅助*** Pending CN110246178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910613791.8A CN110246178A (zh) 2019-07-09 2019-07-09 一种模块化智能视障辅助***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910613791.8A CN110246178A (zh) 2019-07-09 2019-07-09 一种模块化智能视障辅助***

Publications (1)

Publication Number Publication Date
CN110246178A true CN110246178A (zh) 2019-09-17

Family

ID=67891459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910613791.8A Pending CN110246178A (zh) 2019-07-09 2019-07-09 一种模块化智能视障辅助***

Country Status (1)

Country Link
CN (1) CN110246178A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111067767A (zh) * 2019-12-30 2020-04-28 西安Tcl软件开发有限公司 行走辅助设备及其控制方法、控制装置和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075302A1 (en) * 2016-09-15 2018-03-15 Float, LLC Wayfinding and Obstacle Avoidance System
CN207281590U (zh) * 2017-09-12 2018-04-27 北京创享高科科技有限公司 一种智能化导盲机器人装置
CN207908978U (zh) * 2018-03-28 2018-09-25 南京工业大学 一种基于gps和rfid组合导航的导盲机器人
CN109085926A (zh) * 2018-08-21 2018-12-25 华东师范大学 一种多模态成像与多感知交融的增强现实***及其应用
CN109925171A (zh) * 2019-04-18 2019-06-25 四川大学 一种多功能导航设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075302A1 (en) * 2016-09-15 2018-03-15 Float, LLC Wayfinding and Obstacle Avoidance System
CN207281590U (zh) * 2017-09-12 2018-04-27 北京创享高科科技有限公司 一种智能化导盲机器人装置
CN207908978U (zh) * 2018-03-28 2018-09-25 南京工业大学 一种基于gps和rfid组合导航的导盲机器人
CN109085926A (zh) * 2018-08-21 2018-12-25 华东师范大学 一种多模态成像与多感知交融的增强现实***及其应用
CN109925171A (zh) * 2019-04-18 2019-06-25 四川大学 一种多功能导航设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111067767A (zh) * 2019-12-30 2020-04-28 西安Tcl软件开发有限公司 行走辅助设备及其控制方法、控制装置和可读存储介质
CN111067767B (zh) * 2019-12-30 2022-12-23 西安Tcl软件开发有限公司 行走辅助设备及其控制方法、控制装置和可读存储介质

Similar Documents

Publication Publication Date Title
Rao et al. Real-time monitoring of construction sites: Sensors, methods, and applications
Caraiman et al. Computer vision for the visually impaired: the sound of vision system
US7598976B2 (en) Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
CN110147106A (zh) 具激光和视觉融合避障***的智能移动服务机器人
US20080170118A1 (en) Assisting a vision-impaired user with navigation based on a 3d captured image stream
CN110321860A (zh) 一种基于分布式多源异构传感技术的智能视障辅助***
CN108010375A (zh) 基于云端无线传输的智能巡航机器人反向寻车***及方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN101986673A (zh) 一种智能手机导盲器及导盲方法
CN105014675B (zh) 一种狭窄空间智能移动机器人视觉导航***及方法
CN103941746A (zh) 无人机巡检图像处理***及方法
Mahendran et al. Computer vision-based assistance system for the visually impaired using mobile edge artificial intelligence
CN103312899A (zh) 一种带有导盲功能的智能手机
CN112232139B (zh) 一种基于Yolo v4与Tof算法相结合的避障方法
Dunai et al. Obstacle detectors for visually impaired people
CN114113118B (zh) 一种地铁隧道衬砌裂缝渗漏水病害快速检测装置及其检测方法
Fei et al. Review of machine vision-based electronic travel aids
Kuriakose et al. DeepNAVI: A deep learning based smartphone navigation assistant for people with visual impairments
CN106817577B (zh) 一种基于rgb-d相机和立体声的视障人士障碍物预警眼镜
CN109998873A (zh) 一种可穿戴的盲人智能定位与导盲***
CN111035543A (zh) 一种智能导盲机器人
Grewe et al. Seeing eye drone: a deep learning, vision-based UAV for assisting the visually impaired with mobility
CN201899668U (zh) 一种智能手机导盲器
CN110246178A (zh) 一种模块化智能视障辅助***
Bala et al. Design, development and performance analysis of cognitive assisting aid with multi sensor fused navigation for visually impaired people

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination