CN114191267A - 一种轻量级的复杂环境下智能辅助盲人出行方法及其*** - Google Patents

一种轻量级的复杂环境下智能辅助盲人出行方法及其*** Download PDF

Info

Publication number
CN114191267A
CN114191267A CN202111480420.0A CN202111480420A CN114191267A CN 114191267 A CN114191267 A CN 114191267A CN 202111480420 A CN202111480420 A CN 202111480420A CN 114191267 A CN114191267 A CN 114191267A
Authority
CN
China
Prior art keywords
blind
module
obstacle
early warning
obstacle avoidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111480420.0A
Other languages
English (en)
Inventor
陈晓敏
赵涛涛
孙强
赵之喻
周桓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202111480420.0A priority Critical patent/CN114191267A/zh
Publication of CN114191267A publication Critical patent/CN114191267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及智能辅助装备技术领域，具体涉及一种轻量级的复杂环境下智能辅助盲人出行方法及其***，包括以下步骤：步骤S0：构建盲人出行智能辅助***；步骤S1：开发轻量级的复杂环境下盲人出行智能辅助应用；步骤S2：障碍识别；步骤S3：避障预警；步骤S4：多端交互。本发明通过在嵌入式设备上部署轻量级人工智能模型，进行快速运算和高效决策，减轻人工智能方案对设备性能和网络资源的依赖；本发明采用节能、不易受干扰的多级体感震动预警以及语音预警模块，为盲人进行避障行为提供准确的避障信息；在降低成本和功耗的同时保障盲人和视力残疾群体日常出行多样化场景的安全性，从而为盲人提供经济、即时且安全的智能服务。

Description

一种轻量级的复杂环境下智能辅助盲人出行方法及其***
技术领域
本发明涉及智能辅助装备技术领域，具体涉及一种轻量级的复杂环境下智能辅助盲人出行方法及其***。
背景技术
随着城市的发展，道路状况越来越复杂，为了规范盲道的路径保证其畅通，在盲道周围设置了路障，阻止大型车辆通行；在重要活动、节日或者施工现场，会在路边设立预警牌等等，这些都是盲人前进的潜在障碍。普通的导盲装置已经远远不能满足盲人的出行需求，基于图像识别导盲杖的传统方案对设备的运算能力和网络传输能力要求极高且造价高昂，而障碍物的多样性给识别带来更大的挑战。
目前已有多种盲人出行智能辅助方案被提出，从模型推断方式可分为本地推断方案和云端推断方案；从识别对象可分为盲道识别方案和盲道上的障碍物识别方案。本地推断方案在设备端运行轻量级的复杂环境下盲人出行智能辅助应用，需要强大的运算能力和存储能力；云端推断方式通过网络摄像头采集图像数据上传到云端进行推断；盲道识别方案从盲道图像信息识别左转右转直行等导航信息；盲道上的障碍物识别方案主张将盲道特征与障碍物特征绑定识别，主要识别在盲道上的障碍物，并对盲人进行避障提醒，而不单独对盲道或者障碍物进行识别。
本地推断方案多在性能较好、存储空间较大的设备上运行，硬件成本高昂且功耗较大不适用于移动场景；因此也有方案提出使用网络摄像头，将实时数据流上传云端，在云端推断完毕后将结果反馈给终端设备，云端推断方案对网络资源需求较高且实时性低；盲道识别方案主要进行场景识别，识别盲道图案并反馈给盲人有效的盲道导航信息，但并不能保证盲人行走的安全性；盲道上的障碍物识别方案比盲道识别方案考虑的更全面，将常出现在盲道上的障碍物分类，识别这些障碍物并预警盲人进行避障，但这种方案常常将识别主体和盲道绑定在一起，即识别内容里需要包含盲道才可以进行识别，这限制了导盲装置在复杂出行环境下的应对能力。
发明内容
针对以上问题，本发明提供了一种轻量级的复杂环境下智能辅助盲人出行方法及其***，通过在嵌入式设备上部署轻量级人工智能模型，进行快速运算和高效决策，减轻人工智能方案对设备性能和网络资源的依赖，在降低成本和功耗的同时满足盲人和视力残疾群体日常出行多样化场景的安全性，从而为盲人提供经济、即时且安全的智能服务。
为了实现上述目的，本发明采用的技术方案如下：
一种轻量级的复杂环境下智能辅助盲人出行方法，包括以下步骤：
步骤S0：构建盲人出行智能辅助***；
步骤S1：开发轻量级的复杂环境下盲人出行智能辅助应用；
步骤S2：障碍识别；
步骤S3：避障预警；
步骤S4：多端交互。
优选地，所述步骤S1的具体步骤如下：
步骤S1.1：收集影响盲人出行安全的特征障碍物图像数据建立数据集；
步骤S1.2：搭建神经网络模型，并基于步骤S1.1所述特征障碍物数据集训练神经网络模型对特征障碍物进行识别；
步骤S1.3：全整数量化步骤S1.2所述神经网络模型，压缩神经网络模型体量；
步骤S1.4：基于步骤S1.3所述量化的神经网络模型在导盲装置嵌入式***微控制器上开发轻量级的复杂环境下盲人出行智能辅助应用。
优选地，所述步骤S2的具体步骤如下：
步骤S2.1：初始化导盲装置的嵌入式***微控制器、障碍物识别模块、避障预警模块和多端交互模块；
其中，所述导盲装置包括导盲基体和智能辅助装置；
所述智能辅助装置包括障碍物识别模块、避障预警模块、多端交互模块；
其中，所述障碍物识别模块包括图像采集模块和辅助照明模块，图像采集模块包括图像传感器和边缘人工智能图像识别应用模块；
所述避障预警模块包括测距模块、线性马达震动模块和语音合成播报模块；
所述多端交互模块包括按键模块、通信模块和定位模块；
步骤S2.2：设定环境光阈值L，使用光强传感器获取环境光强数值S，当所述环境光强数值低于环境光阈值时，打开照明模块辅助图像采集；
步骤S2.3：图像传感器采集环境图像数据；
步骤S2.4：轻量级的复杂环境下盲人出行智能辅助应用通过推断图像数据识别特征障碍物，识别到特征障碍物进入步骤S3，未识别到特征障碍物返回步骤S2.2。
优选地，所述步骤S3的具体步骤如下：
步骤S3.1：设定安全距离S_safe，在0～S_safe之间选取均匀N等分点或非均匀N分点 S_risk_1、S_risk_2、……、S_risk_(n-1)；
本步骤中，所述安全距离S_safe与盲人步速和超声波测距设备最大探测距离相关；
步骤S3.2：启动测距模块测距，当障碍物距离大于S_safe时，重复步骤S3.2，当障碍物距离小于S_safe时，进入步骤S3.3；
步骤S3.3：当所测障碍物距离处于S_risk_(n-1)～S_safe范围时，震动模块以预设模式 PWM_set_n频率进行体感震动避障预警，语音播报模块以预设模式V_set_n进行语音避障预警；当所测障碍物距离处于S_risk_(n-2)～S_risk_(n-1)范围时，震动模块以预设模式 PWM_set_(n-1)频率进行体感震动避障预警，语音播报模块以预设模式V_set_(n-1)进行语音避障预警；……；当所测障碍物距离处于0～S_risk1范围时，震动模块以预设模式PWM_set1 频率进行体感震动避障预警，语音播报模块以预设模式V_set_1进行语音避障预警；
本步骤中，所述距离S_risk_n尾缀数字n表示危险级别，n越小，危险级别越高；
本步骤中，PWM_set_n和V_set_n尾缀数字n表示多级预警模式，n越小，危险级别越高，震动模块的震动频率和振动幅度越高，语音播报模块的语速和播报音量越高，从而以层次递进的方式预警多级危险。
优选地，所述步骤S4的具体步骤如下：
步骤S4.1：导盲装置通过通信模块上传设备当前位置信息和状态信息到云服务器进行解析和存储；云服务器通过通信模块下发指令到导盲装置；
步骤S4.2：云服务器定时推送导盲装置上传的信息到移动端应用程序；移动端应用程序通过访问云服务器获取导盲装置的历史信息和最新信息。
本发明还提供了一种轻量级的复杂环境下智能辅助盲人出行***，所述出行***包括导盲装置、云服务器和移动端应用程序；
所述导盲装置进行边缘设备的实时障碍物识别并反馈避障预警信息辅助盲人进行安全避障；
所述云服务器与导盲装置通信，接收导盲装置更新的状态信息、位置信息；
所述移动端应用程序与云服务器交互，获取导盲装置的实时位置信息与状态信息。
本发明有益效果：
1、本发明通过收集影响盲人出行安全的障碍物图像数据建立了盲人出行环境障碍物数据集，基于该数据集训练轻量级人工智能模型从而智能辅助盲人应对复杂的出行环境。
2、本发明通过在嵌入式设备上部署轻量级人工智能模型，进行快速运算和高效决策，减轻人工智能方案对设备性能和网络资源的依赖。
3、本发明采用节能、不易受干扰的多级体感震动预警以及语音预警模块，为盲人进行避障行为提供准确的避障信息；在降低成本和功耗的同时保障盲人和视力残疾群体日常出行多样化场景的安全性，从而为盲人提供经济、即时且安全的智能服务。
附图说明
图1是本发明出行方法的流程图；
图2是本发明出行方法的开发轻量级的复杂环境下盲人出行智能辅助应用流程图；
图3是本发明出行方法的障碍识别流程图；
图4是本发明出行方法的避障预警流程图；
图5是本发明实施例的具体流程图；
图6是本发明出行***的方框图。
具体实施方式
下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-6，一种轻量级的复杂环境下智能辅助盲人出行***，所述出行***包括导盲装置1、云服务器2和移动端应用程序3；
所述导盲装置1进行边缘设备的实时障碍物识别并反馈避障预警信息辅助盲人进行安全避障；
所述云服务器2与导盲装置1通信，接收导盲装置1更新的状态信息、位置信息；
所述移动端应用程序3与云服务器2交互，获取导盲装置1的实时位置信息与状态信息。
实施例：
参照图5，一种轻量级的复杂环境下智能辅助盲人出行方法，包括以下步骤：
步骤1：收集影响盲人出行安全的特征障碍物图像数据建立数据集；
步骤2：搭建神经网络模型，并基于步骤1所述特征障碍物数据集训练神经网络模型对特征障碍物进行识别；
步骤3：全整数量化步骤2所述神经网络模型，压缩神经网络模型体量；
本步骤中，全整数量化方法将神经网络模型的浮点型输入输出数据、神经网络模型的权重和偏置数据转换为无符号8位二进制整数。
步骤4：基于步骤3所述量化的神经网络模型在导盲装置嵌入式***微控制器上开发轻量级的复杂环境下盲人出行智能辅助应用。
步骤5：初始化导盲装置的嵌入式***微控制器、障碍物识别模块、避障预警模块和多端交互模块；
本步骤中，所述导盲装置包括导盲基体和智能辅助装置；
作为一种优选的实施方式，所述导盲基体包括但不限于辅助出行的导盲杖和可穿戴的导盲腰带、导盲眼镜；
所述智能辅助装置包括障碍物识别模块、避障预警模块、多端交互模块；
其中，所述障碍物识别模块包括图像采集模块和辅助照明模块，图像采集模块包括图像传感器和轻量级的复杂环境下盲人出行智能辅助应用模块；
所述避障预警模块包括测距模块、震动模块和语音合成播报模块；
所述多端交互模块，包括按键模块、通信模块和定位模块；
作为一种优选的实施方式，所述图像传感器模块为CMOS图像传感器或CCD图像传感器中的任意一种；
作为一种优选的实施方式，所述测距模块为红外测距模块、超声波测距模块、激光测距模块中的任意一种；
作为一种优选的实施方式，所述震动模块为线性马达震动模块、转子马达震动模块中的任意一种；
作为一种优选的实施方式，所述通信模块为NB-IoT、e MTC、4G、5G通信模块中的任意一种；
作为一种优选的实施方式，所述通信模块采用LWM2M、MQTT、CoAP等通信协议中的一种连接云服务器；
作为一种优选的实施方式，所述定位模块为GNSS、GPS、北斗卫星***中的任意一种。
步骤6：设定环境光阈值为30lux，使用光强传感器获取环境光强数值S，当所述环境光强数值低于环境光阈值时，打开照明模块辅助图像采集。
本步骤中，光强传感器采集光强数据并传输给嵌入式微处理器核心***，当光强S<30lux 时，视为进入阴影区域或夜晚时间，打开照明模块辅助障碍物识别以及对来往行人和车辆起到光警示的作用。
步骤7：图像传感器采集环境图像数据。
步骤8：轻量级的复杂环境下盲人出行智能辅助应用通过推断图像数据识别特征障碍物，识别到特征障碍物进入步骤9，未识别到特征障碍物返回步骤6。
步骤9：本步骤中，根据盲人步速和超声波测距设备最大探测距离设定安全距离为6m，在0～6m之间选取均匀3等分点2m、4m，启动测距模块测距，当障碍物距离大于6m时，重新开始步骤9，当障碍物小于6m时，进入步骤10。
步骤10：如图5所示，当所测障碍物距离处于4m～6m范围时，震动模块以预设模式PWM_set_3频率进行体感震动避障预警，语音播报模块以预设模式V_set_3进行语音避障预警；当所测障碍物距离处于2m～4m范围时，震动模块以预设模式PWM_set_2频率进行体感震动避障预警，语音播报模块以预设模式V_set_2进行语音避障预警；……；当所测障碍物距离处于0～2m范围时，震动模块以预设模式PWM_set_1频率进行体感震动避障预警，语音播报模块以预设模式V_set_1进行语音避障预警。
步骤11：导盲装置通过通信模块上传设备当前位置信息和状态信息到云服务器进行解析和存储；云服务器通过通信模块下发指令到导盲装置。
步骤12：云服务器定时推送导盲装置上传的信息到移动端应用程序；移动端应用程序通过访问云服务器获取导盲装置的历史信息和最新信息。
综上所述，本发明通过收集影响盲人出行安全的障碍物图像数据建立了盲人出行环境障碍物数据集，基于该数据集训练轻量级人工智能模型从而智能辅助盲人应对复杂的出行环境；本发明通过在嵌入式设备上部署轻量级人工智能模型，进行快速运算和高效决策，减轻人工智能方案对设备性能和网络资源的依赖；本发明采用节能、不易受干扰的多级体感震动预警以及语音预警模块，为盲人进行避障行为提供准确的避障信息；在降低成本和功耗的同时保障盲人和视力残疾群体日常出行多样化场景的安全性，从而为盲人提供经济、即时且安全的智能服务。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、***和计算机程序产品的流程图和方框图来描述的。应理解可由计算机程序指令实现流程图和方框图中的每一流程和方框、以及流程图和方框图中的流程和方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.一种轻量级的复杂环境下智能辅助盲人出行方法，其特征在于：包括以下步骤：
步骤S0：构建盲人出行智能辅助***；
步骤S1：开发轻量级的复杂环境下盲人出行智能辅助应用；
步骤S2：障碍识别；
步骤S3：避障预警；
步骤S4：多端交互。
2.根据权利要求1所述的一种轻量级的复杂环境下智能辅助盲人出行方法，其特征在于：所述步骤S1的具体步骤如下：
步骤S1.1：收集影响盲人出行安全的特征障碍物图像数据建立数据集；
步骤S1.2：搭建神经网络模型，并基于步骤S1.1所述特征障碍物数据集训练神经网络模型对特征障碍物进行识别；
步骤S1.3：全整数量化步骤S1.2所述神经网络模型，压缩神经网络模型体量；
步骤S1.4：基于步骤S1.3所述量化的神经网络模型在导盲装置嵌入式***微控制器上开发轻量级的复杂环境下盲人出行智能辅助应用。
3.根据权利要求1所述的一种轻量级的复杂环境下智能辅助盲人出行方法，其特征在于：所述步骤S2的具体步骤如下：
步骤S2.1：初始化导盲装置的嵌入式***微控制器、障碍物识别模块、避障预警模块和多端交互模块；
其中，所述导盲装置包括导盲基体和智能辅助装置；
所述智能辅助装置包括障碍物识别模块、避障预警模块、多端交互模块；
其中，所述障碍物识别模块包括图像采集模块和辅助照明模块，图像采集模块包括图像传感器和边缘人工智能图像识别应用模块；
所述避障预警模块包括测距模块、线性马达震动模块和语音合成播报模块；
所述多端交互模块包括按键模块、通信模块和定位模块；
步骤S2.2：设定环境光阈值L，使用光强传感器获取环境光强数值S，当所述环境光强数值低于环境光阈值时，打开照明模块辅助图像采集；
步骤S2.3：图像传感器采集环境图像数据；
步骤S2.4：轻量级的复杂环境下盲人出行智能辅助应用通过推断图像数据识别特征障碍物，识别到特征障碍物进入步骤S3，未识别到特征障碍物返回步骤S2.2。
4.根据权利要求1所述的一种轻量级的复杂环境下智能辅助盲人出行方法，其特征在于：所述步骤S3的具体步骤如下：
步骤S3.1：设定安全距离S_safe，在0～S_safe之间选取均匀N等分点或非均匀N分点S_risk_1、S_risk_2、……、S_risk_(n-1)；
本步骤中，所述安全距离S_safe与盲人步速和超声波测距设备最大探测距离相关；
步骤S3.2：启动测距模块测距，当障碍物距离大于S_safe时，重复步骤S3.2，当障碍物距离小于S_safe时，进入步骤S3.3；
步骤S3.3：当所测障碍物距离处于S_risk_(n-1)～S_safe范围时，震动模块以预设模式PWM_set_n频率进行体感震动避障预警，语音播报模块以预设模式V_set_n进行语音避障预警；当所测障碍物距离处于S_risk_(n-2)～S_risk_(n-1)范围时，震动模块以预设模式PWM_set_(n-1)频率进行体感震动避障预警，语音播报模块以预设模式V_set_(n-1)进行语音避障预警；……；当所测障碍物距离处于0～S_risk1范围时，震动模块以预设模式PWM_set1频率进行体感震动避障预警，语音播报模块以预设模式V_set_1进行语音避障预警；
本步骤中，所述距离S_risk_n尾缀数字n表示危险级别，n越小，危险级别越高；
本步骤中，PWM_set_n和V_set_n尾缀数字n表示多级预警模式，n越小，危险级别越高，震动模块的震动频率和振动幅度越高，语音播报模块的语速和播报音量越高，从而以层次递进的方式预警多级危险。
5.根据权利要求1所述的一种轻量级的复杂环境下智能辅助盲人出行方法，其特征在于：所述步骤S4的具体步骤如下：
步骤S4.1：导盲装置通过通信模块上传设备当前位置信息和状态信息到云服务器进行解析和存储；云服务器通过通信模块下发指令到导盲装置；
步骤S4.2：云服务器定时推送导盲装置上传的信息到移动端应用程序；移动端应用程序通过访问云服务器获取导盲装置的历史信息和最新信息。
6.一种根据权利要求1所述的轻量级的复杂环境下智能辅助盲人出行方法的出行***，其特征在于：所述出行***包括导盲装置、云服务器和移动端应用程序；
所述导盲装置进行边缘设备的实时障碍物识别并反馈避障预警信息辅助盲人进行安全避障；
所述云服务器与导盲装置通信，接收导盲装置更新的状态信息、位置信息；
所述移动端应用程序与云服务器交互，获取导盲装置的实时位置信息与状态信息。
CN202111480420.0A 2021-12-06 2021-12-06 一种轻量级的复杂环境下智能辅助盲人出行方法及其*** Pending CN114191267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111480420.0A CN114191267A (zh) 2021-12-06 2021-12-06 一种轻量级的复杂环境下智能辅助盲人出行方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111480420.0A CN114191267A (zh) 2021-12-06 2021-12-06 一种轻量级的复杂环境下智能辅助盲人出行方法及其***

Publications (1)

Publication Number Publication Date
CN114191267A true CN114191267A (zh) 2022-03-18

Family

ID=80650769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111480420.0A Pending CN114191267A (zh) 2021-12-06 2021-12-06 一种轻量级的复杂环境下智能辅助盲人出行方法及其***

Country Status (1)

Country Link
CN (1) CN114191267A (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2248956Y (zh) * 1995-12-21 1997-03-05 山东师范大学 手持式多功能导盲器
CN101227539A (zh) * 2007-01-18 2008-07-23 联想移动通信科技有限公司 导盲手机及导盲方法
CN102641197A (zh) * 2011-02-16 2012-08-22 中兴通讯股份有限公司 一种便携式导盲终端及导盲方法
CN106074099A (zh) * 2016-06-13 2016-11-09 李彤轩 盲人专用智能引导***
CN106389078A (zh) * 2016-11-24 2017-02-15 贵州大学 一种智能导盲眼镜***及其导盲方法
CN107175645A (zh) * 2017-07-05 2017-09-19 深圳悉罗机器人有限公司 移动机器人
CN107588780A (zh) * 2017-10-27 2018-01-16 朱秋华 一种智能导盲***
US20180185232A1 (en) * 2015-06-19 2018-07-05 Ashkon Namdar Wearable navigation system for blind or visually impaired persons with wireless assistance
CN108606916A (zh) * 2018-05-24 2018-10-02 安徽大学 一种智能导盲装置及***
CN208448080U (zh) * 2018-03-26 2019-02-01 浙江师范大学 一种多功能智能导盲杖
CN109662830A (zh) * 2019-01-18 2019-04-23 湖南师范大学 一种语言导盲手杖、基于该手杖的深度神经网络优化方法
CN109902745A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种基于cnn的低精度训练与8位整型量化推理方法
CN110081895A (zh) * 2019-04-26 2019-08-02 宁波财经学院 一种智能导盲方法及***
CN110135580A (zh) * 2019-04-26 2019-08-16 华中科技大学 一种卷积网络全整型量化方法及其应用方法
CN110478204A (zh) * 2019-07-25 2019-11-22 李高轩 一种结合图像识别的导盲眼镜及其构成的导盲***
CN111529324A (zh) * 2020-05-07 2020-08-14 重庆工程学院 一种基于计算机视觉的导盲仪
CN111985495A (zh) * 2020-07-09 2020-11-24 珠海亿智电子科技有限公司 模型部署方法、装置、***及存储介质
CN112168634A (zh) * 2020-10-29 2021-01-05 中国电子科技集团公司第二十八研究所 一种多功能导盲杖
CN112508125A (zh) * 2020-12-22 2021-03-16 无锡江南计算技术研究所 一种图像检测模型的高效全整数量化方法
CN214632899U (zh) * 2020-05-18 2021-11-09 福建农林大学 智能引路拐杖

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2248956Y (zh) * 1995-12-21 1997-03-05 山东师范大学 手持式多功能导盲器
CN101227539A (zh) * 2007-01-18 2008-07-23 联想移动通信科技有限公司 导盲手机及导盲方法
CN102641197A (zh) * 2011-02-16 2012-08-22 中兴通讯股份有限公司 一种便携式导盲终端及导盲方法
US20180185232A1 (en) * 2015-06-19 2018-07-05 Ashkon Namdar Wearable navigation system for blind or visually impaired persons with wireless assistance
CN106074099A (zh) * 2016-06-13 2016-11-09 李彤轩 盲人专用智能引导***
CN106389078A (zh) * 2016-11-24 2017-02-15 贵州大学 一种智能导盲眼镜***及其导盲方法
CN107175645A (zh) * 2017-07-05 2017-09-19 深圳悉罗机器人有限公司 移动机器人
CN107588780A (zh) * 2017-10-27 2018-01-16 朱秋华 一种智能导盲***
CN208448080U (zh) * 2018-03-26 2019-02-01 浙江师范大学 一种多功能智能导盲杖
CN108606916A (zh) * 2018-05-24 2018-10-02 安徽大学 一种智能导盲装置及***
CN109662830A (zh) * 2019-01-18 2019-04-23 湖南师范大学 一种语言导盲手杖、基于该手杖的深度神经网络优化方法
CN109902745A (zh) * 2019-03-01 2019-06-18 成都康乔电子有限责任公司 一种基于cnn的低精度训练与8位整型量化推理方法
CN110081895A (zh) * 2019-04-26 2019-08-02 宁波财经学院 一种智能导盲方法及***
CN110135580A (zh) * 2019-04-26 2019-08-16 华中科技大学 一种卷积网络全整型量化方法及其应用方法
CN110478204A (zh) * 2019-07-25 2019-11-22 李高轩 一种结合图像识别的导盲眼镜及其构成的导盲***
CN111529324A (zh) * 2020-05-07 2020-08-14 重庆工程学院 一种基于计算机视觉的导盲仪
CN214632899U (zh) * 2020-05-18 2021-11-09 福建农林大学 智能引路拐杖
CN111985495A (zh) * 2020-07-09 2020-11-24 珠海亿智电子科技有限公司 模型部署方法、装置、***及存储介质
CN112168634A (zh) * 2020-10-29 2021-01-05 中国电子科技集团公司第二十八研究所 一种多功能导盲杖
CN112508125A (zh) * 2020-12-22 2021-03-16 无锡江南计算技术研究所 一种图像检测模型的高效全整数量化方法

Similar Documents

Publication Publication Date Title
US9615066B1 (en) Smart lighting and city sensor
US20190333378A1 (en) Distributed safety infrastructure for autonomous vehicles and methods of use
CN116017818A (zh) 一种基于物联网的智慧城市道路照明智能控制方法和***
KR102595886B1 (ko) 매핑에서의 향상된 시맨틱 라벨링을 위한 멀티 모달 분할 네트워크
KR102657921B1 (ko) 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝
CN108282744B (zh) 基于智慧灯杆的智慧交通***
CN114971290B (zh) 一种基于智慧路灯的园区管理***及方法
CN111951548A (zh) 一种车辆驾驶风险确定方法、装置、***及介质
KR20230143961A (ko) 시뮬레이션된 상태들에 기초한 차량 행동 선택
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung
CN117521937B (zh) 适于多维尺度的协同感知环境的动态路径诱导方法及***
US11209830B2 (en) Safety aware automated governance of vehicles
CN110838219A (zh) 一种危险预测报警方法及装置
Gupta et al. Real-time traffic control and monitoring
CN112414424B (zh) 盲人导航方法及盲人导航装置
CN114191267A (zh) 一种轻量级的复杂环境下智能辅助盲人出行方法及其***
CN114120665B (zh) 一种基于行人数量的智能相位控制方法及***
US20230394677A1 (en) Image-based pedestrian speed estimation
Otsu et al. Spatial-importance-based computation scheme for real-time object detection from 3d sensor data
CN110446106B (zh) 一种前置摄像头文件的识别方法、电子设备及存储介质
JP2023502306A (ja) 車両のナビゲーション表示
Azfar et al. Incorporating Vehicle Detection Algorithms via Edge Computing on a Campus Digital Twin Model
Satyanarayana et al. A laser curtain for detecting heterogeneous lane-less traffic
KR102645980B1 (ko) 플래너에서 보정된 미래 기동 파라미터 생성
CN117113037B (zh) 通行数据确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination