CN110070514A - 一种盲道状态的fpga嵌入式视觉识别方法及便携式设备 - Google Patents
一种盲道状态的fpga嵌入式视觉识别方法及便携式设备 Download PDFInfo
- Publication number
- CN110070514A CN110070514A CN201910255813.8A CN201910255813A CN110070514A CN 110070514 A CN110070514 A CN 110070514A CN 201910255813 A CN201910255813 A CN 201910255813A CN 110070514 A CN110070514 A CN 110070514A
- Authority
- CN
- China
- Prior art keywords
- blind way
- image
- blind
- recognition methods
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004438 eyesight Effects 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 230000004888 barrier function Effects 0.000 claims abstract description 9
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 208000033749 Small cell carcinoma of the bladder Diseases 0.000 claims description 5
- 201000007710 urinary bladder small cell neuroendocrine carcinoma Diseases 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 239000004615 ingredient Substances 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 230000020509 sex determination Effects 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 239000004568 cement Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 206010047531 Visual acuity reduced Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004315 low visual acuity Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physical Education & Sports Medicine (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种盲道状态的FPGA嵌入式视觉识别方法及便携式设备，所述盲道状态包括盲道相对于使用者左右偏离、盲道即将左右转向和盲道上存在障碍物，FPGA嵌入式视觉识别方法包括以下步骤：原始视频流采集，HSV色彩空间阈值分割，形态学开运算及判定，盲道分析，障碍检测和语音提示。使用者通过便携式设备通过上述方法将识别结果通过语音播报形式告知使用者，完成盲道状态的识别。
Description
技术领域
本发明涉及盲道智能识别技术，尤其涉及一种盲道状态的FPGA 嵌入式视觉识别方法及便携式设备。
背景技术
视障人群是一个很大的弱势群体。调查表明，中国现有视力残疾人数量达到1350万，其中550多万为盲人，占世界盲人总数的18％，同时，还有800多万的低视力者。视障人群数量庞大，但我国社会导盲设备现状却仍存在很多问题亟待解决。目前，占据市场的导盲辅具仍以传统的导盲杖和导盲犬为主，然而导盲杖功能过于局限而导盲犬可控性差且价格昂贵——社会急需新型导盲设备。
国内外市场中，一方面，智能导盲产品为数不多，且大多产品存在有传感技术落后、欠智能化、人机交互困难的通病，可改进空间较大。另一方面，企业缺乏与盲人使用者的深入沟通了解，对用户体验和需求把握有偏差，且收集用户意见反馈环节较为薄弱。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种盲道状态的FPGA嵌入式视觉识别方法及便携式设备，用于解决上述的导盲辅具技术欠缺的问题，尤其是盲人在盲道上的引导问题。
本发明的目的采用以下技术方案实现：
一种盲道状态的FPGA嵌入式视觉识别方法，所述盲道状态包括盲道相对于使用者左右偏离、盲道即将左右转向和盲道上存在障碍物，FPGA嵌入式视觉识别方法包括以下步骤：
步骤1，原始视频流采集，通过SCCB总线配置摄像头参数，通过DVP总线获取原始视频流数据并分离为连续单帧图像；
步骤2，HSV色彩空间阈值分割，通过HSV色彩空间阈值判别式，对图像进行阈值分割，处理后的图像为位图；
步骤3，形态学开运算及判定，对位图进行形态学开运算，并判断是否存在盲道成分；
步骤4，盲道分析，对位图进行特征判别，判断盲道是否处在左右偏离或左右转向的状态；
步骤5，障碍检测，对位图进行连通性检测，判断盲道上是否存在有障碍物遮挡；
步骤6，语音提示，将识别结果通过语音播报形式告知使用者，完成盲道状态的识别。
优选的，在步骤1中，所述原始视屏流为640×480像素，30帧 /秒的RGB565数据，所述单帧图像为640×480像素的RGB888图像。
优选的，在步骤2中，阈值分割运用以下判别式：
式中，r、g、b分别表示原始图像的RGB色彩空间参数，其取值范围为0～255；h1、h2分别表示HSV色彩空间中H分量的阈值下、上限；s1、s2分别表示HSV色彩空间中S分量的阈值下、上限；v1、 v2分别表示HSV色彩空间中V分量的阈值下、上限；max、min分别表示R、G、B三值的最大值与最小值；处理后的图像为640×480 像素的位图。
优选的，在步骤3中，形态学开运算包括了以下步骤：
步骤311，对图像进行边缘复制填充，图像各边缘各扩展2像素，填充后的图像为644×484像素的位图；
步骤312，对图像进行形态学膨胀3次，膨胀所用卷积核为5×5 的全一矩阵；
步骤313，对图像进行形态学腐蚀2次，腐蚀所用卷积核为5×5 的全一矩阵；
步骤314，丢弃填充的边缘像素，处理后的图像为640×480像素的位图。
优选的，在步骤3中，判断是否处在左右偏离或左右转向的状态包括以下步骤：
步骤321，通过比较判断锚点斜向窗口内盲道成分数量，辅之以锚点横纵坐标，找出盲道区域的四个顶点，将右上顶点记为righttop，左上顶点记为lefttop，右下顶点记为rightdown，左下顶点记为 leftdown；将右上顶点的x轴坐标记为righttop.x，将右上顶点的y轴坐标记为righttop.y，将左上顶点的x轴坐标记为lefttop.x，将左上顶点的y轴坐标记为leftttop.y；
步骤322，通过以下判别式判断是否满足转弯情况，
righttop.x-lefttop.x>＝2*(rightdown.x-leftdown.x) (2)
公式2表征了盲道在直行的基础上是否存在有横向的路径；
步骤323，若满足公式2，则可通过以下公式判断具体转弯方向；
leftdown.x-lefttop.x>rightdown.x-leftdown.x (3)
righttop.x-rightdown.x>rightdown.x-leftdown.x (4)
若满足公式3，则当前盲道为左转方向；若满足公式4，则当前盲道为右转方向；
步骤324，若不满足公式2，则可通过以下公式判断盲道是否偏离中心，
(rightdown.x+leftdown.x)/2<leftThreshold.x (5)
(rightdown.x+leftdown.x)/2<rightThreshold.x (6)
式中leftThreshold.x、rightThreshold.x分别为左右侧偏离的阈值；若满足公式5，则当前盲道向左侧偏离；若满足公式6，则当前盲道向右侧偏离。
优选的，在步骤5中，连通性检测包括，通过盲道区域的四个顶点，在盲道的位图内划分出矩形边框，通过正反两次遍历某一行像素，结合之前遍历累计值，即可获取连通性判定，若盲道不满足连通性要求，则视作盲道存在有障碍物。
优选的，在步骤6中，提前将可能的识别结果预存于语音芯片中，并在识别为盲道异常状态时，告知使用者。
一种实施上述识别方法的便携式设备，所述便携式设备包括FPGA芯片、语音播报芯片、小型CMOS摄像头和机体。
相比现有技术，本发明的有益效果在于：本发明的可靠性较高，可以有效地提高盲道状态识别的准确率；运算过程的可并行程度较高，加之以FPGA技术，可以显著地提升识别速度。
附图说明
图1为盲道状态的FPGA嵌入式视觉识别方法流程图；
图2为示例性提供的SCCB总线配置时序仿真图；
图3为示例性提供的DVP总线时序仿真图；
图4为本发明的实施例采集的一种原始视频图像；
图5为本发明的行缓存空间原理示意图；
图6为本发明的实施例提供的一种阈值分割效果图；
图7为本发明的形态学开运算原理示意图；
图8为本发明的实施例提供的一种形态学开运算效果图；
图9为本发明的顶点选择方法示意图；
图10为本发明的实施例提供的一种顶点选择效果图；
图11为本发明的实施例提供的一种连通性障碍检测效果图；
图12为本发明的实施例提供的一种强反光条件下的处理效果图；
图13为本发明的实施例提供的一种阴影条件下的处理效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，一种盲道状态的FPGA嵌入式视觉识别方法，所述盲道状态包括盲道相对于使用者左右偏离、盲道即将左右转向和盲道上存在障碍物，FPGA嵌入式视觉识别方法包括以下步骤：
步骤1，原始视频流采集，通过SCCB总线配置摄像头参数，通过DVP总线获取原始视频流数据并分离为连续单帧图像。
在步骤1中，所述原始视屏流为640×480像素，30帧/秒的 RGB565数据，所述单帧图像为640×480像素的RGB888图像。
参见图2和图3，分别为示例性的提供的SCCB总线配置时序仿真图和DVP总线时序仿真图。
示例性的，参见图4和图5，图4为本发明的实施例采集所得的一种原始视频图像，图像在***内部存贮于图5所示的行缓存空间内，所述行缓存空间由行号和图像具体内容组成。
步骤2，HSV色彩空间阈值分割，通过HSV色彩空间阈值判别式，对图像进行阈值分割，处理后的图像为位图。
盲道是具有显著颜色特征的图像，故可以通过设置颜色阈值的方式，在图像中获取有关盲道的信息。因为RGB颜色模型是从各种颜色发光与混合的角度所设计的，但不贴近于人眼的对颜色的感知，不易设置阈值，所以采用更贴近于人眼感知的HSV颜色模型，且HSV分量值受环境影响较小。
根据HSV颜色空间各分量的含义，阈值分割主要考虑H分量，辅以S与V分量以防亮度过高或过低的区域。
常规方法是将原始RGB数据通过转换公式(1’)、(2’)和(3')转化为 HSV空间后，再进行阈值判断。
V＝max (3’)
式中的max与min分别表示RGB三分量中的最大值与最小值。
但是上述方法将会产生2至3个除法器，在造成大量***逻辑资源开销的同时，还会引入较大的组合逻辑时延。因此，需对以上公式进行系列线性变换，根据FPGA自身特性，将耗费资源量大的除法运算变成可以依靠内部DSP资源完成的乘法运算。
标准盲道应为鲜艳的黄色，其色调大致位于60°附近，故H分量阈值下限h1落入(0°，60°)区间，而上限h2落入(60°，120°) 区间。又因S分量为零时，H分量无意义，故S分量下限s1为正数。
经过上述修正，步骤2中，像素点是否位于阈值范围内的判别式或阈值分割运用的判别式为：
式中，r、g、b分别表示原始图像的RGB色彩空间参数，其取值范围为0～255；h1、h2分别表示HSV色彩空间中H分量的阈值下、上限；s1、s2分别表示HSV色彩空间中S分量的阈值下、上限；v1、 v2分别表示HSV色彩空间中V分量的阈值下、上限；max、min分别表示R、G、B三值的最大值与最小值；处理后的图像为640×480 像素的位图。
参见图6，为本发明的实施例提供的一种阈值分割效果图。可以看到，由于盲道大多为水泥材质且具有起伏，故存在有大量的椒盐造粒及阴影。为了消除上述问题的影响，需要对图像进行进一步处理。
步骤3，形态学开运算及判定，对位图进行形态学开运算，并判断是否存在盲道成分。
在形态学开运算中，为了防止图像边缘信息的丢失，首先应对图像进行边缘复制填充。又因盲道大多为水泥材质，表面粗糙且易附着杂质，存在有大量椒盐噪粒，故需选取范围较大的卷积核，本文中选取了5×5的矩形窗。
图7为本发明的形态学开运算原理示意图，开运算包括的腐蚀与膨胀操作都使用了如图所示方法。在选择了相邻的五行数据之后，卷积窗口自左向右滑过整个数据区域，并计算出与数据列数一致的卷积结果，通过设定阈值即可获得腐蚀或膨胀结果。在经历了3次膨胀和 2次腐蚀后，图像处理效果最佳。图8为本发明的实施例提供的一种形态学开运算效果图。
而形态学过滤判定方法为：通过直线与底边的夹角角度差判断是否平行、垂直，角度差相差小于10度，视为平行，角度差在85度至 95度内，视为垂直。若某一区域中超过30％的直线关系不是平行或垂直，则不将该区域视为盲道。
具体的，在步骤3中，形态学开运算包括了以下步骤：
步骤311，对图像进行边缘复制填充，图像各边缘各扩展2像素，填充后的图像为644×484像素的位图。
步骤312，对图像进行形态学膨胀3次，膨胀所用卷积核为5×5 的全一矩阵。
步骤313，对图像进行形态学腐蚀2次，腐蚀所用卷积核为5×5 的全一矩阵。
步骤314，丢弃填充的边缘像素，处理后的图像为640×480像素的位图。
在步骤3中，判断是否处在左右偏离或左右转向的状态包括以下步骤：
步骤321，通过比较判断锚点斜向窗口内盲道成分数量，辅之以锚点横纵坐标，找出盲道区域的四个顶点，将右上顶点记为righttop，左上顶点记为lefttop，右下顶点记为rightdown，左下顶点记为 leftdown；将右上顶点的x轴坐标记为righttop.x，将右上顶点的y轴坐标记为righttop.y，将左上顶点的x轴坐标记为lefttop.x，将左上顶点的y轴坐标记为leftttop.y。
步骤322，通过以下判别式判断是否满足转弯情况，
righttop.x-lefttop.x>＝2*(rightdown.x-leftdown.x) (2)
公式2表征了盲道在直行的基础上是否存在有横向的路径。
步骤323，若满足公式2，则可通过以下公式判断具体转弯方向；
leftdown.x-lefttop.x>rightdown.x-leftdown.x (3)
righttop.x-rightdown.x>rightdown.x-leftdown.x (4)
若满足公式3，则当前盲道为左转方向；若满足公式4，则当前盲道为右转方向。
步骤324，若不满足公式2，则可通过以下公式判断盲道是否偏离中心，
(rightdown.x+leftdown.x)/2<leftThreshold.x (5)
(rightdown.x+leftdown.x)/2<rightThreshold.x (6)
式中leftThreshold.x、rightThreshold.x分别为左右侧偏离的阈值；若满足公式5，则当前盲道向左侧偏离；若满足公式6，则当前盲道向右侧偏离。
本发明采用了形态学开运算与形态学相关判定方法实现了盲道区域的降噪与筛选。
步骤4，盲道分析，对位图进行特征判别，判断盲道是否处在左右偏离或左右转向的状态。
图9为本发明的顶点选择方法示意图，通过比较判断锚点斜向窗口内盲道成分数量，辅以锚点横纵坐标。以左上顶点为例，若右下窗口内的盲道成分与左下之差大于某一阈值，且该点横纵坐标和最小，则可认为该锚点为盲道左上顶点。图10为本发明的实施例提供的一种顶点选择效果图。
选取盲道区域的四个顶点，我们便可以通过公式(5)、(6)和以下判别式组判断出盲道的左右偏离及左右转向状态。
righttop.x-lefttop.x>＝2*(rightdown.x-leftdown.x) (7)
leftdown.x-lefttop.x>rightdown.x-leftdown.x (8)
righttop.x-rightdown.x>rightdown.x-leftdown.x (9)
判别式组中，右上顶点记为righttop，左上顶点记为lefttop，右下顶点记为rightdown，左下顶点记为leftdown；将右上顶点的x轴坐标记为righttop.x，将右上顶点的y轴坐标记为righttop.y，依次类推；leftThreshold.x、rightThreshold.x分别为左右侧偏离的阈值。
若满足判别式(7)，即表明当前盲道存在有转弯成分；在此基础上，若满足判别式(8)，则当前盲道为左方向转弯；反之，若满足判别式(9)，则当前盲道为右方向转弯。
若不满足判别式(7)，即表明当前盲道不存在转弯成分；在此基础上，若满足判别式(5)，则当前盲道向左侧偏离；反之，若满足判别式(6)，则当前盲道向右侧偏离。
步骤5，障碍检测，对位图进行连通性检测，判断盲道上是否存在有障碍物遮挡。
在步骤5中，连通性检测包括，通过盲道区域的四个顶点，在盲道的位图内划分出矩形边框，通过正反两次遍历某一行像素，结合之前遍历累计值，即可获取连通性判定，若盲道不满足连通性要求，则视作盲道存在有障碍物。参见图11所示的一种连通性障碍检测效果图。
具体的，步骤5包括如下步骤：
步骤511，通过盲道区域的四个顶点，在盲道位图内划分出一个最大矩形边框，矩形框的选择参考以下公式：
beginrow＝max(lefttop.y,righttop.y) (10)
endrow＝min(leftdown.y,rightdown.y) (11)
begincol＝max(lefttop.x,leftdown.x) (12)
endcol＝min(rightdown.x,righttop.x) (13)
式中beginrow、endrow、begincol、endcol分别表示起始行、结束行、起始列、结束列。
步骤512，定义一个数组与行变量进行障碍连通判定，数组长度与列数相同。
步骤513，若某一列的像素被判定为不是盲道内容，则行变量加一并判断该列数组变量值与前一列数组变量值的关系，若前一列数组变量值大于该列数组变量值，则该列数组变量更新为前一列数组变量值加一，若小于或等于，则该列数组变量更新为原值加行变量值。若某一列的像素被判定为盲道内容，则该列数组变量与行变量归零。
步骤514，在遍历完一行后，需反向遍历，在某一列的像素被判定为不是盲道内容且该列数组变量值小于其后一列数组变量值时，该列数组变量值更新为其后一列数组变量值，若某一列数组变量值超过一定值时(如暂取300)时判定前方盲道上有障碍。
步骤6，语音提示，将识别结果通过语音播报形式告知使用者，完成盲道状态的识别。
在步骤6中，提前将可能的识别结果预存于语音芯片中，并在识别为盲道异常状态时，告知使用者。
具体的，通过将可能的处理结果预先录制于语音芯片中，***可以综合考虑多次处理的判断结果，并在识别为盲道异常状态时，以一定的频率通讯语音芯片，以此告知使用者。
图12为本发明的实施例提供的一种强反光条件下的处理效果图；图13为本发明的实施例提供的一种阴影条件下的处理效果图。
一种实施上述识别方法的便携式设备，所述便携式设备包括 FPGA芯片、语音播报芯片、小型CMOS摄像头和机体。
实施例验证表明，本发明能够满足既定的***的功能要求，总体处理速度高达每秒1000FPS以上。此外，***还能适应复杂的道路情况并受环境光条件制约相对较小，具有较高的准确性与鲁棒性。
本发明不同于传统的导盲***利用测距传感器做判断的做法，针对盲道左右偏离、左右转向、存在障碍遮挡的情况，提出了依据嵌入式视觉的盲道状态检测方法。同时，运用FPGA技术，显著地提升了***的并行处理能力和识别速度。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种盲道状态的FPGA嵌入式视觉识别方法，所述盲道状态包括盲道相对于使用者左右偏离、盲道即将左右转向和盲道上存在障碍物，其特征在于，FPGA嵌入式视觉识别方法包括以下步骤：
步骤1，原始视频流采集，通过SCCB总线配置摄像头参数，通过DVP总线获取原始视频流数据并分离为连续单帧图像；
步骤2，HSV色彩空间阈值分割，通过HSV色彩空间阈值判别式，对图像进行阈值分割，处理后的图像为位图；
步骤3，形态学开运算及判定，对位图进行形态学开运算，并判断是否存在盲道成分；
步骤4，盲道分析，对位图进行特征判别，判断盲道是否处在左右偏离或左右转向的状态；
步骤5，障碍检测，对位图进行连通性检测，判断盲道上是否存在有障碍物遮挡；
步骤6，语音提示，将识别结果通过语音播报形式告知使用者，完成盲道状态的识别。
2.根据权利要求1所述的识别方法，其特征在于：在步骤1中，所述原始视屏流为640×480像素，30帧/秒的RGB565数据，所述单帧图像为640×480像素的RGB888图像。
3.根据权利要求1所述的识别方法，其特征在于：在步骤2中，阈值分割运用以下判别式：
式中，r、g、b分别表示原始图像的RGB色彩空间参数，其取值范围为0～255；h1、h2分别表示HSV色彩空间中H分量的阈值下、上限；s1、s2分别表示HSV色彩空间中S分量的阈值下、上限；v1、v2分别表示HSV色彩空间中V分量的阈值下、上限；max、min分别表示R、G、B三值的最大值与最小值；处理后的图像为640×480像素的位图。
4.根据权利要求1所述的识别方法，其特征在于：在步骤3中，形态学开运算包括了以下步骤：
步骤311，对图像进行边缘复制填充，图像各边缘各扩展2像素，填充后的图像为644×484像素的位图；
步骤312，对图像进行形态学膨胀3次，膨胀所用卷积核为5×5的全一矩阵；
步骤313，对图像进行形态学腐蚀2次，腐蚀所用卷积核为5×5的全一矩阵；
步骤314，丢弃填充的边缘像素，处理后的图像为640×480像素的位图。
5.根据权利要求1所述的识别方法，其特征在于：在步骤3中，判断是否处在左右偏离或左右转向的状态包括以下步骤：
步骤321，通过比较判断锚点斜向窗口内盲道成分数量，辅之以锚点横纵坐标，找出盲道区域的四个顶点，将右上顶点记为righttop，左上顶点记为lefttop，右下顶点记为rightdown，左下顶点记为leftdown；将右上顶点的x轴坐标记为righttop.x，将右上顶点的y轴坐标记为righttop.y，将左上顶点的x轴坐标记为lefttop.x，将左上顶点的y轴坐标记为leftttop.y；
步骤322，通过以下判别式判断是否满足转弯情况，
righttop.x-lefttop.x>＝2*(rightdown.x-leftdown.x) (2)
公式2表征了盲道在直行的基础上是否存在有横向的路径；
步骤323，若满足公式2，则可通过以下公式判断具体转弯方向；
leftdown.x-lefttop.x>rightdown.x-leftdown.x (3)
righttop.x-rightdown.x>rightdown.x-leftdown.x (4)
若满足公式3，则当前盲道为左转方向；若满足公式4，则当前盲道为右转方向；
步骤324，若不满足公式2，则可通过以下公式判断盲道是否偏离中心，
(rightdown.x+leftdown.x)/2<leftThreshold.x (5)
(rightdown.x+leftdown.x)/2<rightThreshold.x (6)
式中leftThreshold.x、rightThreshold.x分别为左右侧偏离的阈值；若满足公式5，则当前盲道向左侧偏离；若满足公式6，则当前盲道向右侧偏离。
6.根据权利要求1所述的识别方法，其特征在于：在步骤5中，连通性检测包括，通过盲道区域的四个顶点，在盲道的位图内划分出矩形边框，通过正反两次遍历某一行像素，结合之前遍历累计值，即可获取连通性判定，若盲道不满足连通性要求，则视作盲道存在有障碍物。
7.根据权利要求1所述的识别方法，其特征在于：在步骤6中，提前将可能的识别结果预存于语音芯片中，并在识别为盲道异常状态时，告知使用者。
8.一种实施权利要求1-7任一项所述识别方法的便携式设备，其特征在于：所述便携式设备包括FPGA芯片、语音播报芯片、小型CMOS摄像头和机体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910255813.8A CN110070514B (zh) | 2019-04-01 | 2019-04-01 | 一种盲道状态的fpga嵌入式视觉识别方法及便携式设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910255813.8A CN110070514B (zh) | 2019-04-01 | 2019-04-01 | 一种盲道状态的fpga嵌入式视觉识别方法及便携式设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110070514A true CN110070514A (zh) | 2019-07-30 |
| CN110070514B CN110070514B (zh) | 2023-04-04 |
Family
ID=67366793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910255813.8A Active CN110070514B (zh) | 2019-04-01 | 2019-04-01 | 一种盲道状态的fpga嵌入式视觉识别方法及便携式设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070514B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109938974A (zh) * | 2019-04-01 | 2019-06-28 | 杨天歌 | 一种视障人士用便携式智能导盲设备及导盲方法 |
| CN110688915A (zh) * | 2019-09-11 | 2020-01-14 | 上海卓希智能科技有限公司 | 一种用于视障人士自主出行的安全设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150070129A1 (en) * | 2013-09-12 | 2015-03-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for providing navigation assistance to a user |
| CN105232295A (zh) * | 2015-10-16 | 2016-01-13 | 北京机械设备研究所 | 一种用于避障的智能导引*** |
| CN106709518A (zh) * | 2016-12-20 | 2017-05-24 | 西南大学 | 基于Android平台的盲道识别*** |
-
2019
- 2019-04-01 CN CN201910255813.8A patent/CN110070514B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150070129A1 (en) * | 2013-09-12 | 2015-03-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for providing navigation assistance to a user |
| CN105232295A (zh) * | 2015-10-16 | 2016-01-13 | 北京机械设备研究所 | 一种用于避障的智能导引*** |
| CN106709518A (zh) * | 2016-12-20 | 2017-05-24 | 西南大学 | 基于Android平台的盲道识别*** |
Non-Patent Citations (2)
| Title |
|---|
| 柯剑光等: "基于图像处理的盲道识别算法", 《计算机工程》 * |
| 靖固等: "盲道识别***算法设计及FPGA实现", 《哈尔滨理工大学学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109938974A (zh) * | 2019-04-01 | 2019-06-28 | 杨天歌 | 一种视障人士用便携式智能导盲设备及导盲方法 |
| CN110688915A (zh) * | 2019-09-11 | 2020-01-14 | 上海卓希智能科技有限公司 | 一种用于视障人士自主出行的安全设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110070514B (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6526161B1 (en) | System and method for biometrics-based facial feature extraction | |
| EP0635981B1 (en) | Feature-region extraction method and feature-region extraction circuit | |
| US7321668B2 (en) | Object detection apparatus, object detection method and computer program product | |
| US7747071B2 (en) | Detecting and correcting peteye | |
| CN107122789B (zh) | 基于深度摄像头的多模态信息融合的学习专注度分析方法 | |
| EP2916540B1 (en) | Image processing system and image processing method | |
| US20090278958A1 (en) | Method and an apparatus for detecting a composition adjusted | |
| US10509948B2 (en) | Method and device for gesture recognition | |
| CN110070514A (zh) | 一种盲道状态的fpga嵌入式视觉识别方法及便携式设备 | |
| CN103235938A (zh) | 车牌检测与识别的方法及*** | |
| CN108805065A (zh) | 一种基于几何特征改进的车道线检测方法 | |
| US11747278B2 (en) | Deposit detection device for detecting a partial covering location, a not-adhere location, and a diffuse reflection location | |
| CN110210360A (zh) | 一种基于视频图像目标识别的跳绳计数方法 | |
| CN1932847A (zh) | 复杂背景下彩色图像人脸检测的方法 | |
| CN105844242A (zh) | 图像中的肤色检测方法 | |
| CN110210451A (zh) | 一种斑马线检测方法 | |
| CN103218615B (zh) | 人脸判定方法 | |
| CN107085707A (zh) | 一种基于交通监控视频的车牌定位方法 | |
| CN110309787A (zh) | 一种基于深度相机的人体坐姿检测方法 | |
| CN102592113A (zh) | 一种基于表观特征的静态手势快速识别法 | |
| CN106373096A (zh) | 一种多特征权值自适应的阴影消除方法 | |
| WO2005055143A1 (ja) | 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム | |
| JP2000105819A (ja) | 顔領域検出装置 | |
| CN115713794A (zh) | 一种基于图像的视线落点估计方法、装置 | |
| CN103268472A (zh) | 基于双色彩空间的嘴唇检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200414 Address after: Room 1119, 3255 Zhoujiazui Road, Yangpu District, Shanghai 200090 Applicant after: SHANGHAI JOOSEE SMART TECHNOLOGY Co.,Ltd. Address before: 201424 No. 999, Fengxian District, Shanghai Applicant before: Sun Xinyu |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |