CN111814747A - 基于图像认知的智能导盲方法和*** - Google Patents
基于图像认知的智能导盲方法和*** Download PDFInfo
- Publication number
- CN111814747A CN111814747A CN202010803198.2A CN202010803198A CN111814747A CN 111814747 A CN111814747 A CN 111814747A CN 202010803198 A CN202010803198 A CN 202010803198A CN 111814747 A CN111814747 A CN 111814747A
- Authority
- CN
- China
- Prior art keywords
- traffic light
- module
- picture
- data processing
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000019771 cognition Effects 0.000 title claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 29
- 239000003086 colorant Substances 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000009432 framing Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 abstract description 5
- 240000007651 Rubus glaucus Species 0.000 description 16
- 235000011034 Rubus glaucus Nutrition 0.000 description 16
- 235000009122 Rubus idaeus Nutrition 0.000 description 16
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 241000760358 Enodes Species 0.000 description 2
- 239000011358 absorbing material Substances 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000018769 loss of vision Diseases 0.000 description 1
- 231100000864 loss of vision Toxicity 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V11/00—Prospecting or detecting by methods combining techniques covered by two or more of main groups G01V1/00 - G01V9/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于图像认知的智能导盲方法和***，涉及智能导盲技术领域。本发明提供的智能导盲方法首先预处理实时图片，并将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；然后将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值，判断所述HSV数值是否位于提前设定的红色交通灯的第一HSV阈值或绿色交通灯的第二HSV阈值的范围内，完成对交通灯部分颜色的识别；最后将对交通灯部分颜色的识别信息通过语音播报的形式传递给盲人。这弥补了现有智能导盲***对交通灯识别功能的稳定性不足的缺陷，更加方便盲人的出行。
Description
技术领域
本发明涉及智能导盲领域，具体涉及一种基于图像认知的智能导盲方法和***。
背景技术
盲人是社会中的一个特殊群体，由于其丧失视觉，盲人的出行相当的不方便。正是因为盲人无法对周围的环境做出正确，及时的反应的现实问题，智能导盲的相关研究成为了科研的热点话题。
目前，现有技术中已经存在了多种导盲方法，能够很好的做到避障提醒和帮助盲人越过障碍物。此外，还有部分智能导盲产品已经能够做到帮助盲人识别交通路口的交通信息，帮助盲人识别交通灯的颜色。例如，申请号为CN105640747A的发明《一种智能导盲***》，其通过GPS定位技术，将红绿灯识别加入到了智能导盲车的设计中。
但是，上述发明存在着很大的弊端。当导盲***处于GPS信号微弱的地点时，红绿灯的识别功能将无法发挥作用，这给盲人的出行造成了极大的不便。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于图像认知的智能导盲方法和***，解决了现有的导盲***处于GPS信号微弱的地点时，红绿灯的识别功能将无法发挥作用的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于图像认知的智能导盲方法，包括：
获取交通灯的实时图片，并对所述实时图片进行预处理；将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；
设定交通灯中红色交通灯的第一HSV阈值和绿色交通灯的第二HSV阈值；
将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值；
判断所述HSV数值是否位于所述第一HSV阈值或第二HSV阈值的范围内，完成对交通灯部分颜色的识别；
将对交通灯部分颜色的识别信息通过语音播报的形式传递给盲人。
优选的，所述交通灯识别模型的构建过程包括：
获取正样本图片和负样本图片，所述正样本图片为包含交通灯的图片，所述负样本图片为不包含交通灯的图片，对所述正样本图片和负样本图片进行预处理；
将所述预处理后的正样本图片和负样本图片输入基于haar特征的级联分类器，得到一条第一结果文件，并将对应图片中的交通灯信息作为该条第一结果文件的第一标签；
结合所述第一结果文件和第一标签构建交通灯识别训练数据库；
基于所述交通灯识别训练数据库，利用opencv库中的CascadeClassifier函数，得到所述交通灯识别模型。
一种基于图像认知的智能导盲***，包括图片采集模块、交通灯识别模块、语音播报模块和第一数据处理模块，所述图片采集模块、交通灯识别模块、语音播报模块分别与第一数据处理模块相连，
所述图片采集模块用于获取交通灯的实时图片，并将所述实时图片传递给第一数据处理模块，所述第一数据处理模块预处理所述实时图片；
所述交通灯识别模块用于：
接收通过所述第一数据处理模块传输的预处理后的实时图片，并将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；
设定交通灯中红色交通灯的第一HSV阈值和绿色交通灯的第二HSV阈值；
将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值，判断所述HSV数值位于所述第一HSV阈值或第二HSV阈值的范围内时，完成对交通灯部分颜色的识别，并将所述识别信息传递给第一数据处理模块；
所述语音播报模块用于接收通过所述第一数据处理模块传输的识别信息，并将所述识别信息通过语音播报的形式传递给盲人。
优选的，所述交通灯识别模型的构建过程包括：
获取正样本图片和负样本图片，所述正样本图片为包含交通灯的图片，所述负样本图片为不包含交通灯的图片，对所述正样本图片和负样本图片进行预处理；
将所述预处理后的正样本图片和负样本图片输入基于haar特征的级联分类器，得到一条第一结果文件，并将对应图片中的交通灯信息作为该条第一结果文件的第一标签；
结合所述第一结果文件和第一标签构建交通灯识别训练数据库；
基于所述交通灯识别训练数据库，利用opencv库中的CascadeClassifier函数，得到所述交通灯识别模型。
优选的，所述智能导盲***还包括超声波模块和第二数据处理模块，所述超声波模块与第二数据处理模块相连，
所述超声波模块用于测距和避障，得到超声波探测结果，并将所述超声波探测结果传递给所述第二数据处理模块；
所述第二数据处理模块还与所述语音播报模块相连，所述语音播报模块用于接收通过所述第二数据处理模块传输的超声波探测结果，并将所述超声波探测结果通过语音播报的形式传递给盲人。
优选的，所述智能导盲***还包括红外模块，所述红外模块与第二数据处理模块相连，
所述红外模块用于避障，得到红外探测结果，并将所述红外探测结果传递给所述第二数据处理模块；
所述语音播报模块还用于接收通过所述第二数据处理模块传输的红外探测结果，并将所述红外探测结果通过语音播报的形式传递给盲人。
优选的，所述智能导盲***还包括语音采集模块，
所述语音采集模块与所述第一数据处理模块和第二数据处理模块相连，所述语音采集模块用于采集盲人的语音信息，并将所述语音信息传递给所述第一数据处理模块和第二数据处理模块，
所述语音播报模块接收通过所述第一数据处理模块和第二数据处理模块传递的语音信息后主动播报对应的交通信息。
(三)有益效果
本发明提供了一种基于图像认知的智能导盲方法和***。与现有技术相比，具备以下有益效果：本发明提供的智能导盲方法首先预处理实时图片，并将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；然后将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值，判断所述HSV数值是否位于提前设定的红色交通灯的第一HSV阈值或绿色交通灯的第二HSV阈值的范围内，完成对交通灯部分颜色的识别；最后将对交通灯部分颜色的识别信息通过语音播报的形式传递给盲人。这弥补了现有智能导盲***对交通灯识别功能稳定性不足的缺陷，更加方便盲人的出行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的一种基于图像认知的智能导盲方法流程图；
图2为本发明实施例中的一种基于图像认知的智能导盲***结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于图像认知的智能导盲方法和***，解决了现有的导盲***处于GPS信号微弱的地点时，红绿灯的识别功能将无法发挥作用的技术问题，实现提高智能导盲***中交通灯识别功能的稳定性，更加方便盲人的出行的有益效果。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例提供的智能导盲方法首先预处理实时图片，并将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；然后将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值，判断所述HSV数值是否位于提前设定的红色交通灯的第一HSV阈值或绿色交通灯的第二HSV阈值的范围内，完成对交通灯部分颜色的识别；最后将对交通灯部分颜色的识别信息通过语音播报的形式传递给盲人。这弥补了现有智能导盲***对交通灯识别功能的稳定性不足的缺陷，更加方便盲人的出行。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例：
如图1所示，本发明实施例提供了一种基于图像认知的智能导盲方法，包括：
获取交通灯的实时图片，并预处理所述实时图片；
将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；
设定交通灯中红色交通灯的第一HSV阈值和绿色交通灯的第二HSV阈值；
将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值；
判断所述HSV数值是否位于所述第一HSV阈值或第二HSV阈值的范围内，完成对交通灯部分颜色的识别；
将对交通灯部分颜色的识别信息通过语音播报的形式传递给盲人。
本发明实施例的有益效果至少包括：实现提高智能导盲***中交通灯识别功能的稳定性，更加方便盲人的出行。
本发明实施例提供的基于图像认知的智能导盲方法，具体包括：
S1、获取交通灯的实时图片，并对所述实时图片进行预处理。
本发明实施例采用高清摄像头获取交通灯的实时图片，所述预处理包括：
第一，首先将所述实时图片的像素尺寸统一缩小为20*20；
第二，利用opencv中的GaussianBlur函数将上述实时图片的指定像素和其周围像素进行加权平均，将所述实时图片的像素尺寸由20*20缩小为5*5；
第三，分别利用opencv中的dilate函数和erode函数进行膨胀、腐蚀处理，用于消除上述实时图片中的噪声，再次利用GaussianBlur函数将图片的像素缩小为3*3。
S2、将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分。
所述交通灯识别模型的构建过程包括：
获取正样本图片和负样本图片，所述正样本图片为包含交通灯的图片，所述负样本图片为不包含交通灯的图片，并预处理所述正样本图片和负样本图片，此处的预处理过程与S1步骤中的预处理过程相同；
将所述预处理后的正样本图片和负样本图片输入基于haar特征的级联分类器，得到一条第一结果文件，并将对应图片中的交通灯信息作为该条第一结果文件的第一标签；
结合所述第一结果文件和第一标签构建交通灯识别训练数据库；
基于所述交通灯识别训练数据库，利用opencv库中的CascadeClassifier函数，得到所述交通灯识别模型。
具体训练过程如下：
每一轮训练使用250张正样本和350张负样本，分别放在pos和neg文件夹中，参数设定为：训练级数设为5，每层最大容错率设为0.12，即每一级训练错误率小于0.12时进入下一级训练，运行级联分类器的exe执行文件，经过4轮训练得到一条第一结果文件，所述结果文件为xml格式，将对应图片中的交通灯信息作为该条第一结果文件的第一标签。
结合所述第一结果文件和第一标签构建交通灯识别训练数据库。
基于所述交通灯识别训练数据库，利用opencv库中的CascadeClassifier函数，得到所述交通灯识别模型。
将预处理后的实时图片输入上述得到的交通灯识别模型，即可识别并框选出所述预处理后的实时图片中的交通灯部分。
S3、设定交通灯中红色交通灯的第一HSV阈值和绿色交通灯的第二HSV阈值。
一般对颜色空间的图片进行有效处理都是在HSV颜色空间进行的，所以对于基本色中对应的HSV分量需要给定一个严格的范围。
经过多组图片的测试本发明实施例对红、绿两个交通灯颜色设置了较为适合的HSV阈值，具体如下：
红色交通灯的第一HSV阈值为：[0，43，46]到[10，255，255]；
绿色交通灯的第二HSV阈值为：[26，43，46]到[34，255，255]。
S4、将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值。
利用opencv库中的cvtColor函数将所述交通灯部分的图片由RGB格式非线性转换为HSV格式。
S5、判断所述HSV数值是否位于所述第一HSV阈值或第二HSV阈值的范围内，完成对交通灯部分颜色的识别。
利用opencv库中的inRange函数判断图片各个像素点的HSV数值是否在设定的第一HSV阈值或第二HSV阈值内即可完成对交通灯颜色的判断，从而完成对交通灯部分颜色的识别。
S6、将对交通灯部分颜色的识别信息通过语音播报的形式传递给盲人。
如图2所示，本发明实施例还提供了一种基于图像认知的智能导盲***，包括图片采集模块、交通灯识别模块、语音播报模块和第一数据处理模块，所述图片采集模块、交通灯识别模块、语音播报模块分别与第一数据处理模块相连，所述第一数据处理模块可以为第一树莓派。
所述图片采集模块用于获取交通灯的实时图片，所述图片采集模块可以为高清摄像头。据统计，中国的主干道、次干道、支路的路宽的范围为18～40米，而人行道交通灯的高度h约为2.5m。为了清楚的拍摄大部分路口人行道红绿灯，本发明实施例将摄像头设定为斜向上约5°。
所述图片采集模还并将所述实时图片传递给第一树莓派，所述第一树莓派预处理所述实时图片；所述预处理包括：
第一，首先将所述实时图片的像素尺寸统一缩小为20*20；
第二，利用opencv中的GaussianBlur函数将上述实时图片的指定像素和其周围像素进行加权平均，将所述实时图片的像素尺寸由20*20缩小为5*5；
第三，分别利用opencv中的dilate函数和erode函数进行膨胀、腐蚀处理，用于消除上述实时图片中的噪声，再次利用GaussianBlur函数将图片的像素缩小为3*3。
所述交通灯识别模块用于：
接收通过所述第一树莓派传输的预处理后的实时图片，并将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分。
所述交通灯识别模型的构建过程包括：
获取正样本图片和负样本图片，所述正样本图片为包含交通灯的图片，所述负样本图片为不包含交通灯的图片，并对所述正样本图片和负样本图片进行预处理，此处的预处理过程与上述预处理过程相同；
将所述预处理后的正样本图片和负样本图片输入基于haar特征的级联分类器，得到一条第一结果文件，并将对应图片中的交通灯信息作为该条第一结果文件的第一标签；
结合所述第一结果文件和第一标签构建交通灯识别训练数据库；
基于所述交通灯识别训练数据库，利用opencv库中的CascadeClassifier函数，得到所述交通灯识别模型。
具体训练过程如下：
每一轮训练使用250张正样本和350张负样本，分别放在pos和neg文件夹中，参数设定为：训练级数设为5，每层最大容错率设为0.12，即每一级训练错误率小于0.12时进入下一级训练，运行级联分类器的exe执行文件，经过4轮训练得到一条第一结果文件，所述结果文件为xml格式，将对应图片中的交通灯信息作为该条第一结果文件的第一标签。
结合所述第一结果文件和第一标签构建交通灯识别训练数据库。
基于所述交通灯识别训练数据库，利用opencv库中的CascadeClassifier函数，得到所述交通灯识别模型。
将预处理后的实时图片输入上述得到的交通灯识别模型，即可识别并框选出所述预处理后的实时图片中的交通灯部分。
所述交通灯识别模块还用于设定交通灯中红色交通灯的第一HSV阈值和绿色交通灯的第二HSV阈值。
一般对颜色空间的图片进行有效处理都是在HSV颜色空间进行的，所以对于基本色中对应的HSV分量需要给定一个严格的范围。
经过多组图片的测试本发明实施例对红、绿两个交通灯颜色设置了较为适合的HSV阈值，具体如下：
红色交通灯的第一HSV阈值为：[0，43，46]到[10，255，255]；
绿色交通灯的第二HSV阈值为：[26，43，46]到[34，255，255]。
所述交通灯识别模块还用于将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值，判断所述HSV数值位于所述第一HSV阈值或第二HSV阈值的范围内时，完成对交通灯部分颜色的识别，并将所述识别信息传递给第一树莓派。具体而言：利用opencv库中的cvtColor函数将所述交通灯部分的图片由RGB格式非线性转换为HSV格式，利用opencv库中的inRange函数判断图片各个像素点的HSV数值是否在设定的第一HSV阈值或第二HSV阈值内即可完成对交通灯颜色的判断，从而完成对交通灯部分颜色的识别。
所述语音播报模块用于接收通过所述第一树莓派传输的识别信息，并将所述识别信息通过语音播报的形式传递给盲人。
此外，本发明实施例提供的智能导盲***还包括超声波模块、红外模块和第二数据处理模块，所述超声波模块、红外模块分别与所述第二数据处理模块相连，所述第二数据处理模块为第二树莓派。
本发明实施例均采用Python通过PRI.GPIO命令控制GPIO。首先导入python类库RPi.GPIO命令，然后设置BOARD编码方式，基于BCM引脚。实现第二树莓派对超声波模块与红外模块的控制与信号接收。
所述超声波模块包括超声波测距模块和超声波避障模块。
所述超声波测距模块采用HC-SR04模块，其最远探测距离为4m，最近探测距离为2cm，测量角度范围为0～15度。第二树莓派首先传输给IO口TRIG端口至少10us的高电平信号，模块内部自动循环发送8个40khz的方波，模块内部自动检测是否有信号返回，若有信号返回，通过IO口ECHO端口输出一个持续的高电平，高电平持续的时间就是超声波从发射到返回的时间。而测得的距离等于高电平时间与声速乘积的二分之一。
所述超声波避障模块至少包括两个，其中一个用于实时探测盲人正前方的障碍物，当超声波避障模块到障碍物的距离小于1m时判定前方有障碍物。
另一个用于实时探测盲人前底部地面上的障碍物。假定该避障模块离地面的参考距离Dref＝10cm，而实时的探测结果为与地面的距离D，并计算出相对距离
当相对距离大于5cm是判定为路面有坑，相对距离小于-5cm判定路面有石头等凸起物。
得到上述超声波探测结果后，超声波模块将所述超声波探测结果传递给所述第二树莓派；
所述第二数据处理模块还与所述语音播报模块相连，所述语音播报模块用于接收通过所述第二数据处理模块传输的超声波探测结果，并将所述超声波探测结果通过语音播报的形式传递给盲人。
考虑到一些吸音材料的障碍物导致超声波模块的误判以及障碍物的角度等因素导致超声波模块的误判，故加入不受上述因素限制的红外模块。并且本发明实施例取超声波探测结果与红外探测结果的或集，辅助避障，降低误判率。
所述红外模块选用规格参数工作电压为DC4.5V-9V、检测距离为1-80CM可调、输出信号为TTL电平、有效角度为35°的红外避障模块。
红外避障模块的接收采用的是漫反射的方式，模块在使用时收发头的周边不要有其它的物体遮挡，从而减小周边物体对模块的干扰。
所述红外避障模块至少包括三个，其中一个用于实时探测盲人正前方的障碍物，并调节该模块最大检测距离为80cm。当该红外避障模块输出低电平时，判定盲人正前方有障碍物。
另外两个用于实时探测盲人前底部地面上的障碍物。两个红外避障模块离地面的参考距离均为Dref＝10cm。调节其中一个最大探测距离为离地距离Dref-5cm，另一个最小检测距离为离地距离Dref+5cm。
当第一个红外避障模块输出低电平且第二个红外避障模块输出高电平判定路面有石头等凸起物；当第二个红外避障模块输出低电平且第一个红外避障模块输出高电平判定路面有坑。
得到红外探测结果后，红外模块将所述红外探测结果传递给所述第二树莓派；
所述语音播报模块还用于接收通过所述第二树莓派传输的红外探测结果，并将所述红外探测结果通过语音播报的形式传递给盲人。
本发明实施例提供的基于图像认知智能导盲***还包括语音采集模块，
所述语音采集模块与所述第一树莓派和第二树莓派相连，所述语音采集模块用于采集盲人的语音信息，并将所述语音信息传递给所述第一数据处理模块和第二数据处理模块，
所述语音播报模块接收通过所述第一数据处理模块和第二数据处理模块传递的语音信息后主动播报对应的交通信息。
具体的，所述语音采集模块采用百度云语音识别API接口，预先通过snowboy平台离线语音唤醒引擎实现离线语音唤醒词的录制。
在主动调用时，盲人使用者用提前训练好的唤醒词进行识别唤醒，唤醒后，盲人的语音信息将被第一树莓派和第二树莓派上搭载的Respeaker2MIC上的麦克风阵列接受，进而传给语音播报模块，语音播报模块调用百度云语音识别API接口进行语音处理，最后将识别出来的语音转文字返回，语音播报模块文字中的关键词进行确认，主动播报对应的交通信息。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例提供的智能导盲方法首先预处理实时图片，并将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；然后将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值，判断所述HSV数值是否位于提前设定的红色交通灯的第一HSV阈值或绿色交通灯的第二HSV阈值的范围内，完成对交通灯部分颜色的识别；最后将对交通灯部分颜色的识别信息通过语音播报的形式传递给盲人。这弥补了现有智能导盲***对交通灯识别功能的稳定性不足的缺陷，更加方便盲人的出行。
2、本发明实施例中考虑到一些吸音材料的障碍物导致超声波模块的误判以及障碍物的角度等因素导致超声波模块的误判，故加入不受上述因素限制的红外模块。并且本发明实施例取超声波探测结果与红外探测结果的或集，辅助避障，降低误判率。
3、本发明实施例中的语音采集模块的设置，方便盲人通过语音识别能够主动获取交通信息，更加贴合盲人的实际生活需求。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于图像认知的智能导盲方法，其特征在于，包括：
获取交通灯的实时图片，并对所述实时图片进行预处理；
将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；
设定交通灯中红色交通灯的第一HSV阈值和绿色交通灯的第二HSV阈值；
将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值；
判断所述HSV数值是否位于所述第一HSV阈值或第二HSV阈值的范围内，完成对交通灯部分颜色的识别；
将对交通灯部分颜色的识别信息通过语音播报的形式传递给盲人。
2.如权利要求1所述的智能导盲方法，其特征在于，所述交通灯识别模型的构建过程包括：
获取正样本图片和负样本图片，所述正样本图片为包含交通灯的图片，所述负样本图片为不包含交通灯的图片，对所述正样本图片和负样本图片进行预处理；
将所述预处理后的正样本图片和负样本图片输入基于haar特征的级联分类器，得到一条第一结果文件，并将对应图片中的交通灯信息作为该条第一结果文件的第一标签；
结合所述第一结果文件和第一标签构建交通灯识别训练数据库；
基于所述交通灯识别训练数据库，利用opencv库中的CascadeClassifier函数，得到所述交通灯识别模型。
3.一种基于图像认知的智能导盲***，其特征在于，包括图片采集模块、交通灯识别模块、语音播报模块和第一数据处理模块，所述图片采集模块、交通灯识别模块、语音播报模块分别与第一数据处理模块相连，
所述图片采集模块用于获取交通灯的实时图片，并将所述实时图片传递给第一数据处理模块，所述第一数据处理模块预处理所述实时图片；
所述交通灯识别模块用于：
接收通过所述第一数据处理模块传输的预处理后的实时图片，并将预处理后的实时图片输入到预训练的交通灯识别模型中，识别并框选出所述预处理后的实时图片中的交通灯部分；
设定交通灯中红色交通灯的第一HSV阈值和绿色交通灯的第二HSV阈值；
将所述交通灯部分由RGB格式转换为HSV格式，并获取所述交通灯部分的HSV数值，判断所述HSV数值位于所述第一HSV阈值或第二HSV阈值的范围内时，完成对交通灯部分颜色的识别，并将所述识别信息传递给第一数据处理模块；
所述语音播报模块用于接收通过所述第一数据处理模块传输的识别信息，并将所述识别信息通过语音播报的形式传递给盲人。
4.如权利要求3所述的智能导盲***，其特征在于，所述交通灯识别模型的构建过程包括：
获取正样本图片和负样本图片，所述正样本图片为包含交通灯的图片，所述负样本图片为不包含交通灯的图片，并预处理所述正样本图片和负样本图片；
将所述预处理后的正样本图片和负样本图片输入基于haar特征的级联分类器，得到一条第一结果文件，并将对应图片中的交通灯信息作为该条第一结果文件的第一标签；
结合所述第一结果文件和第一标签构建交通灯识别训练数据库；
基于所述交通灯识别训练数据库，利用opencv库中的CascadeClassifier函数，得到所述交通灯识别模型。
5.如权利要求3所述的智能导盲***，其特征在于，所述智能导盲***还包括超声波模块和第二数据处理模块，所述超声波模块与第二数据处理模块相连，
所述超声波模块用于测距和避障，得到超声波探测结果，并将所述超声波探测结果传递给所述第二数据处理模块；
所述第二数据处理模块还与所述语音播报模块相连，所述语音播报模块用于接收通过所述第二数据处理模块传输的超声波探测结果，并将所述超声波探测结果通过语音播报的形式传递给盲人。
6.如权利要求4所述的智能导盲***，其特征在于，所述智能导盲***还包括红外模块，所述红外模块与第二数据处理模块相连，
所述红外模块用于避障，得到红外探测结果，并将所述红外探测结果传递给所述第二数据处理模块；
所述语音播报模块还用于接收通过所述第二数据处理模块传输的红外探测结果，并将所述红外探测结果通过语音播报的形式传递给盲人。
7.如权利要求3所述的智能导盲***，其特征在于，所述智能导盲***还包括语音采集模块，
所述语音采集模块与所述第一数据处理模块和第二数据处理模块相连，所述语音采集模块用于采集盲人的语音信息，并将所述语音信息传递给所述第一数据处理模块和第二数据处理模块，
所述语音播报模块接收通过所述第一数据处理模块和第二数据处理模块传递的语音信息后主动播报对应的交通信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010803198.2A CN111814747A (zh) | 2020-08-11 | 2020-08-11 | 基于图像认知的智能导盲方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010803198.2A CN111814747A (zh) | 2020-08-11 | 2020-08-11 | 基于图像认知的智能导盲方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111814747A true CN111814747A (zh) | 2020-10-23 |
Family
ID=72858928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010803198.2A Pending CN111814747A (zh) | 2020-08-11 | 2020-08-11 | 基于图像认知的智能导盲方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814747A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288909A (zh) * | 2020-11-02 | 2021-01-29 | 曹琳 | 一种智能语音指令即时传送视频信息的行车记录仪 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105167967A (zh) * | 2015-09-14 | 2015-12-23 | 深圳市冠旭电子有限公司 | 一种导盲方法及*** |
| WO2018028296A1 (zh) * | 2016-08-12 | 2018-02-15 | 苏州大学 | 一种新型导盲*** |
| CN110081895A (zh) * | 2019-04-26 | 2019-08-02 | 宁波财经学院 | 一种智能导盲方法及*** |
| CN110538051A (zh) * | 2019-08-27 | 2019-12-06 | 华南理工大学 | 一种自动寻路的盲人智能辅助装置及其方法 |
-
2020
- 2020-08-11 CN CN202010803198.2A patent/CN111814747A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105167967A (zh) * | 2015-09-14 | 2015-12-23 | 深圳市冠旭电子有限公司 | 一种导盲方法及*** |
| WO2018028296A1 (zh) * | 2016-08-12 | 2018-02-15 | 苏州大学 | 一种新型导盲*** |
| CN110081895A (zh) * | 2019-04-26 | 2019-08-02 | 宁波财经学院 | 一种智能导盲方法及*** |
| CN110538051A (zh) * | 2019-08-27 | 2019-12-06 | 华南理工大学 | 一种自动寻路的盲人智能辅助装置及其方法 |
Non-Patent Citations (4)
| Title |
|---|
| 廖文: "基于脑机接口的智能导盲***设计与实现", 中国优秀硕士学位论文全文数据库 * |
| 胡娟: "基于超声波与图像识别的盲人导航眼镜研究与实现", 中国优秀硕士学位论文全文数据库, pages 3 - 4 * |
| 董云飞;钟万福;梁子杰;柳明远;周佳豪;: "基于北斗导航的导盲无人机", 科技创新与应用, no. 07 * |
| 袁珍;: "一种基于树莓派的盲人避障导航手杖", 鄂州大学学报, no. 04 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288909A (zh) * | 2020-11-02 | 2021-01-29 | 曹琳 | 一种智能语音指令即时传送视频信息的行车记录仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553929B (zh) | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 | |
| CN111222574B (zh) | 基于多模型决策级融合的舰船与民船目标检测与分类方法 | |
| KR102129893B1 (ko) | 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템 | |
| CN111079586B (zh) | 基于深度学习与双目摄像的自动驾驶目标检测***及方法 | |
| CN107229929A (zh) | 一种基于r‑cnn的车牌定位方法 | |
| CN108154102A (zh) | 一种道路交通标志识别方法 | |
| CN110378865A (zh) | 一种复杂背景下的雾天能见度智能分级识别方法及*** | |
| CN103808723A (zh) | 一种柴油车烟气黑度自动检测装置 | |
| CN113345237A (zh) | 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、***、设备及存储介质 | |
| CN109657599B (zh) | 距离自适应的车辆外观部件的图片识别方法 | |
| CN110263654A (zh) | 一种火焰检测方法、装置及嵌入式设备 | |
| CN105427342A (zh) | 一种水下小目标声呐图像目标检测跟踪方法和*** | |
| CN111582253B (zh) | 基于事件触发的车牌跟踪识别方法 | |
| CN109086803A (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测***及方法 | |
| CN110852164A (zh) | 一种基于YOLOv3的自动检测违章建筑方法及*** | |
| CN109558790B (zh) | 一种行人目标检测方法、装置及*** | |
| CN113591592B (zh) | 水上目标识别方法、装置、终端设备及存储介质 | |
| CN116824542B (zh) | 一种基于深度学习的轻量级雾天车辆检测方法 | |
| CN111814751A (zh) | 基于深度学习目标检测和图像识别的车辆属性分析方法及*** | |
| CN111814747A (zh) | 基于图像认知的智能导盲方法和*** | |
| CN111259736B (zh) | 一种基于深度学习的复杂环境下行人实时检测方法 | |
| CN104599291A (zh) | 基于结构相似度和显著性分析的红外运动目标检测方法 | |
| CN117152513A (zh) | 一种面向夜间场景的车辆边界定位方法 | |
| Yin | Object Detection Based on Deep Learning: A Brief Review | |
| CN114627186A (zh) | 一种测距方法及测距装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |