CN114699287A - 基于移动端快速深度神经网络的盲人日常出行辅助方法 - Google Patents

基于移动端快速深度神经网络的盲人日常出行辅助方法 Download PDF

Info

Publication number
CN114699287A
CN114699287A CN202210203994.1A CN202210203994A CN114699287A CN 114699287 A CN114699287 A CN 114699287A CN 202210203994 A CN202210203994 A CN 202210203994A CN 114699287 A CN114699287 A CN 114699287A
Authority
CN
China
Prior art keywords
neural network
mobile terminal
deep neural
camera
daily trip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210203994.1A
Other languages
English (en)
Inventor
王钦
何坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210203994.1A priority Critical patent/CN114699287A/zh
Publication of CN114699287A publication Critical patent/CN114699287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pain & Pain Management (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Traffic Control Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了基于移动端快速深度神经网络的盲人日常出行辅助方法，涉及盲人出行辅助技术领域，具体为基于移动端快速深度神经网络的盲人日常出行辅助方法，包括以下步骤：S1、采集图像数据：移动端摄像头采集实时场景信息，通过调用修改Android***底层对相机的处理获取摄像头采集到的图像信息；S2、图像数据处理：将场景信息输入到快速神经网络，并配合损失函数预测检测结果；S3、语音提示：将网络输出的检测结果转换成语音提示用户，将检测到的目标框按照重要程度排序，凝练成简短的一句话，当场景信息发生变化时及时提示用户注意。本发明实时性好，设计的深度神经网络可在移动端上达到实时性的要求，无需借助远程服务器。

Description

基于移动端快速深度神经网络的盲人日常出行辅助方法
技术领域
本发明涉及盲人出行辅助技术领域，具体为基于移动端快速深度神经网络的盲人日常出行辅助方法。
背景技术
近些年来，随着计算机视觉技术和语音识别等技术的快速发展，盲人日常出行辅助技术能够帮助盲人判断路径方向和障碍物位置等更全面的环境信息，在人机交互方面更加智能化。已有的技术包括电子式行进辅具ETA的工作原理是将激光或超声波束沿空间的特定方向发射，遇到物体时会反射回来。传感器会检测反射的光束，计算物体的距离，通过听觉或触觉信号反映物体的相关信息，这种技术实现的功能较为单一；移动式导盲机器人通过多种传感器对周围环境进行探测，然后将探测到的信息反馈给盲人，这种技术软硬件开发成本也比较高，不易推广；智能手杖能够及时检测到周围环境的障碍物并发出警告，但是在使用的过程中，盲人需要不断的探测才能确定障碍物，需要长期的训练才能熟练使用。
发明内容
针对现有技术的不足，本发明提供了基于移动端快速深度神经网络的盲人日常出行辅助方法，解决了上述背景技术中提出的问题。
为实现以上目的，本发明通过以下技术方案予以实现：基于移动端快速深度神经网络的盲人日常出行辅助方法，包括以下步骤：
S1、采集图像数据：移动端摄像头采集实时场景信息，通过调用修改Android***底层对相机的处理获取摄像头采集到的图像信息；
S2、图像数据处理：将场景信息输入到快速神经网络，并配合损失函数预测检测结果；
S3、语音提示：将网络输出的检测结果转换成语音提示用户，将检测到的目标框按照重要程度排序，凝练成简短的一句话，当场景信息发生变化时及时提示用户注意。
可选的，所述步骤S2中的神经网络主要由Backbone、Neck和Head三部分组成，其中，Backbone负责提取图像特征，借鉴了Darknet-53和CSP结构，Neck部分结构实现Backbone特征的多尺度融合提取，Head部分借鉴DecoupledHead处理分类与回归问题之间的冲突，优化了网络的整体性能。
可选的，所述步骤S2中的损失函数是分类损失，回归损失以及置信度损失的加权求和，回归损失应用的是CIoU损失函数；
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE006
。
可选的，所述步骤S1中的移动端摄像头的采集范围包括树、杆、自行车、摩托车、轿车、斑马线、障碍物和信号灯8类。
本发明提供了基于移动端快速深度神经网络的盲人日常出行辅助方法，具备以下有益效果：
使用方便，在移动端实现盲人日常出行辅助技术，盲人及视障人士可通过Android操作***的talkback辅助功能进行屏幕朗读，使用过程中只需要将移动设备挂在胸前，无需其他设备的辅助设备。
实时性好，设计的深度神经网络可在移动端上达到实时性的要求，无需借助远程服务器。
成本较低，只需要在移动端安装相关的软件，无需硬件设备的辅助。
附图说明
图1为本发明快速深度神经网络架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
请参阅图1，本发明提供一种技术方案：基于移动端快速深度神经网络的盲人日常出行辅助方法，包括，包括以下步骤：
S1、采集图像数据：移动端摄像头采集实时场景信息，其中，移动端摄像头的采集范围包括树、杆、自行车、摩托车、轿车、斑马线、障碍物和信号灯8类，并通过调用修改Android***底层对相机的处理获取摄像头采集到的图像信息；
S2、图像数据处理：将场景信息输入到快速神经网络，并配合损失函数预测检测结果，其中，网络的检测类别包括树、杆、自行车、摩托车、轿车、斑马线、障碍物和信号灯8类，数据集自行标注，涵盖了多种路面情况，光照环境，场景等，并可以通过腾讯开发的NCNN计算框架实现；
S3、语音提示：将网络输出的检测结果转换成语音提示用户，将检测到的目标框按照重要程度排序，凝练成简短的一句话，当场景信息发生变化时及时提示用户注意。
进一步优选的，步骤S2中的神经网络主要由Backbone、Neck和Head三部分组成，其中，Backbone负责提取图像特征，借鉴了Darknet-53和CSP结构，Neck部分结构实现Backbone特征的多尺度融合提取，Head部分借鉴DecoupledHead处理分类与回归问题之间的冲突，优化了网络的整体性能。
进一步优选的，步骤S2中的损失函数是分类损失，回归损失以及置信度损失的加权求和，回归损失应用的是CIoU损失函数；
Figure DEST_PATH_IMAGE002A
Figure DEST_PATH_IMAGE004A
Figure DEST_PATH_IMAGE006A
。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.基于移动端快速深度神经网络的盲人日常出行辅助方法，包括以下步骤：
S1、采集图像数据：移动端摄像头采集实时场景信息，通过调用修改Android***底层对相机的处理获取摄像头采集到的图像信息；
S2、图像数据处理：将场景信息输入到快速神经网络，并配合损失函数预测检测结果；
S3、语音提示：将网络输出的检测结果转换成语音提示用户，将检测到的目标框按照重要程度排序，凝练成简短的一句话，当场景信息发生变化时及时提示用户注意。
2.根据权利要求1所述的基于移动端快速深度神经网络的盲人日常出行辅助方法，其特征在于：所述步骤S2中的神经网络主要由Backbone、Neck和Head三部分组成，其中，Backbone负责提取图像特征，借鉴了Darknet-53和CSP结构，Neck部分结构实现Backbone特征的多尺度融合提取，Head部分借鉴DecoupledHead处理分类与回归问题之间的冲突，优化了网络的整体性能。
3.根据权利要求1所述的基于移动端快速深度神经网络的盲人日常出行辅助方法，其特征在于：所述步骤S2中的损失函数是分类损失，回归损失以及置信度损失的加权求和，回归损失应用的是CIoU损失函数；
Figure 123593DEST_PATH_IMAGE002
Figure 306312DEST_PATH_IMAGE004
Figure 289312DEST_PATH_IMAGE006
。
4.根据权利要求1所述的基于移动端快速深度神经网络的盲人日常出行辅助方法，其特征在于：所述步骤S1中的移动端摄像头的采集范围包括树、杆、自行车、摩托车、轿车、斑马线、障碍物和信号灯8类。
CN202210203994.1A 2022-03-02 2022-03-02 基于移动端快速深度神经网络的盲人日常出行辅助方法 Pending CN114699287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210203994.1A CN114699287A (zh) 2022-03-02 2022-03-02 基于移动端快速深度神经网络的盲人日常出行辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210203994.1A CN114699287A (zh) 2022-03-02 2022-03-02 基于移动端快速深度神经网络的盲人日常出行辅助方法

Publications (1)

Publication Number Publication Date
CN114699287A true CN114699287A (zh) 2022-07-05

Family

ID=82167023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210203994.1A Pending CN114699287A (zh) 2022-03-02 2022-03-02 基于移动端快速深度神经网络的盲人日常出行辅助方法

Country Status (1)

Country Link
CN (1) CN114699287A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227539A (zh) * 2007-01-18 2008-07-23 联想移动通信科技有限公司 导盲手机及导盲方法
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援***
CN106265004A (zh) * 2016-10-08 2017-01-04 西安电子科技大学 多传感器智能盲人指路方法与装置
CN109753900A (zh) * 2018-12-21 2019-05-14 西安科技大学 一种基于cnn/lstm的盲人辅助视觉***
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法
CN112674998A (zh) * 2020-12-23 2021-04-20 北京工业大学 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227539A (zh) * 2007-01-18 2008-07-23 联想移动通信科技有限公司 导盲手机及导盲方法
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援***
CN106265004A (zh) * 2016-10-08 2017-01-04 西安电子科技大学 多传感器智能盲人指路方法与装置
CN109753900A (zh) * 2018-12-21 2019-05-14 西安科技大学 一种基于cnn/lstm的盲人辅助视觉***
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法
CN112674998A (zh) * 2020-12-23 2021-04-20 北京工业大学 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法

Similar Documents

Publication Publication Date Title
Vaidya et al. Real-time object detection for visually challenged people
Afif et al. Indoor objects detection and recognition for an ICT mobility assistance of visually impaired people
WO2019128304A1 (zh) 人体跌倒检测方法和装置
US20190057696A1 (en) Information processing apparatus, information processing method, and program
WO2021077941A1 (zh) 机器人定位方法、装置、智能机器人和存储介质
Rahman et al. The architectural design of smart blind assistant using IoT with deep learning paradigm
CN111035542A (zh) 一种基于图像识别的智能导盲***
WO2022227490A1 (zh) 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
CN109444912B (zh) 一种基于协同控制与深度学习的驾驶环境感知***及方法
CN107336243A (zh) 基于智能移动终端的机器人控制***及控制方法
CN111775151A (zh) 一种机器人智能控制***
TWI442917B (zh) 具即時語音回報功能的導盲系統及其方法
CN114194180A (zh) 一种辅助泊车信息的确定方法、装置、设备及介质
Patel et al. Enhancing Traffic Management with YOLOv5-Based Ambulance Tracking System
CN114677603A (zh) 导盲方法、装置、计算机设备及计算机可读存储介质
CN111144209A (zh) 一种基于异构多分支深度卷积神经网络的监控视频人头检测方法
WO2024139874A1 (zh) 一种佩戴设备的定位方法、***与存储介质
CN114699287A (zh) 基于移动端快速深度神经网络的盲人日常出行辅助方法
Mahesh et al. Cicerone-a real time object detection for visually impaired people
Ambawane et al. Smart e-stick for visually impaired using video intelligence api
Zheng et al. A method of detect traffic police in complex scenes
CN115471872A (zh) 散发广告的行为检测方法、装置、电子设备和存储介质
US11631245B2 (en) Smart glasses for property evaluation using AI and ML
Pachodiwale et al. Viva: a virtual assistant for the visually impaired
CN108721069A (zh) 一种基于多模态数据进行视觉定位的盲人辅助眼镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination