CN1713696A - 以图像处理方式判别周围环境及输出该判别结果的装置 - Google Patents

Abstract

本发明为一种以图像处理技术判别周围环境的装置，以供视觉障碍者或无人驾驶运载工具使用，包含一输入元件，其可包含至少一个CCD或CMOS构件，用以拾取图像；一处理元件，可为一笔记本电脑之类的微处理单元；以及一输出元件，可为一语音提示耳机。该处理元件是利用色调分析以及几何形状分析判别交通灯信号以及标线。

Description

以图像处理方式判别周围环境及输出该判别结果的装置

技术领域

本发明有关一种电子装置，具体的说，关于一种使用图像处理以判别周围环境并可将判别结果输出的电子装置，以供视觉障碍者使用。

背景技术

一个迈入现代化的社会，将花费更多的心力去照顾行动不便者。以视障者为例，从传统的导盲杖，导盲犬，到现在街头可见的灯信号声音警示，使视障者行动更加便利的设施不可谓不多，但其都具有不同的缺点。传统的导盲杖只能探知身前不远处地面有无障碍物，对于较远处的情况则一无所知。导盲犬则无法和视障者互动，使其对前方情况有所准备，而且导盲犬训练与饲养成本甚高，非一般人可负担。预建地标(例如路口的灯信号声音警示，或语音向导等)需要对现有城市街道做全面翻修，其成本过高。

由于电子电机科技的进步，有许多相关专利针对传统导盲设备做了前瞻性的改良，例如台湾专利公告第563525号《交通导盲装置》，其对传统的导盲砖做出改良，使其在红灯时具有磁性，可吸住特殊导盲杖或特制视障者用鞋，但它的缺点是除了所有视障者都必须使用所述特制导盲杖或视障者用鞋之外，其仍然需对现有城市街道做全面更新，否则仅对少数路口进行安装并没有太大的意义。

再如台湾公告号第518965号《语音导盲眼镜》，该专利为一种设有检测装置及输出耳机的眼镜，该检测装置具两种功能，第一种功能可感测红绿灯等交通信号标志的颜色，以耳机通知视障者前方灯信号的颜色；第二种功能可发射红外线光束，通过检测反射的红外线光束得知前方障碍物状况，并以耳机指示视障者应如何动作。这个发明立意初看起来比较巧妙，但是深究之后可讨论的地方较多：

1.该案采用RGB分光滤镜处理红绿灯光线，但需要知道，所有的可见光线都可分解为RGB三原色。如果由进行RGB三原色分解后的图像信息进行红绿灯实时判别，可以想象的是，所产生的数据量将会十分庞大，故该案所采用的方法并非工程上的最佳方案。

2.即使计算机技术有了长足的进步，能实时运算这些庞大的数据，但RGB三原色分解***在强弱不等的光线环境下会有明显不同的过滤结果，从而造成误判状况偏多。

3.该发明仅能判别红绿灯以及面前障碍物状况，对于标线等平面指示便无能为力，然而在日常生活中，以平面标志来提供行路信息的情况是比较多的。

本发明的发明人为大学现职教授，专精图像识别与计算机视觉，针对以上已知技术的缺点，提出一套真正可行的解决方法。

发明内容

本发明装置主要由三部分构成，如附图中第1图所示，第一部分为输入元件，其主要可由一个或多个CMOS(Complementary Metal-OxideSemiconductor，互补金属氧化物半导体)或CCD(Charge-Coupled Device，电荷耦合器件)构件所构成；第二部分为一处理元件，其可由一PDA(个人数字助理)或笔记本电脑之类的移动运算***所构成，其使用的图像识别技术将于稍后详述；第三部分为一输出元件，其可为一语音输出装置或一触觉输出装置。

该输入元件主要包含CMOS或CCD摄像构件，其摄取彩色图像并传送给该处理元件做图像判别。该输入元件可另外含有如红外线或雷达之类的主动感应构件，以增进整体***的功能。

该处理元件在接收到从输入元件来的彩色图像后，先将其转为HSV格式(色调/饱和度/亮度)，以适应不同光源环境，然后标定在转换后的图像中色调信息接近交通灯信号且紧密连结的主区块。此种转换为已知技术，目前市面上常见的Photoshop等软件便已内含类似功能。

进行如上转换后，可于图像中标定出可能为交通灯信号处，再辅佐以其他判别条件，例如交通灯信号是否按合理的时间间隔变化，是否有其他辅佐灯信号(如表示停止的红色人形)存在、灯信号是否为圆形(或任何灯信号可能的形状；此种图形识别为已知技术)。

除了识别交通灯信号的存在之外，该处理元件还可根据输入元件摄得的图像找出路面上是否存在标线。由于标线(例如行人穿越道路的斑马线)为规则延伸的图形，因此可以用色调与几何检测技术容易辨别出其长度、宽度与方向。

该处理元件除了上述基本功能之外，还可以采用立体视觉分析技术、或差值图像分析技术等已知技术识别在该输入元件摄得的图像中是否有固定的或移动的障碍物存在。还可利用诸如纹理分析、频谱分析或输入装置另含的主动感应构件所取得的数据对环境有更精确的了解。其中以差值图像分析移动平台所摄得图像中障碍物的技术可见于欧洲专利EP1391845，″Image Based0bject Detection Apparatus and Method″。

该处理元件还可分析输入元件撷取视频中的线段几何和色调，找出地面水平线信息，而驱动该输入元件自行调整仰角；或驱动该输出元件输出一提示，通知用户手动调整该输入元件仰角。

最后，该处理元件可具有一***设定模式，在此模式中，除了基本的***调整外，还可以对该装置进行“教育”，使该装置在使用中识别的正确率越来越高。进入***设定模式或在该***设定模式中操作的方法，除了直接操作该处理元件之外，还可以通过给该输入元件输入指定的信息实现，例如在该摄像构件前做出指定的手势等。

该输出元件则根据该处理元件所判别的周围环境情况，适时送出适当的语音或触觉消息以导引视障者行进。

由上观之，本发明的优点如下：

1.先前以主动式检测构件为主的导盲装置构想，除了耗电量大之外，分辨率不足，价格昂贵，无法判别标线都是缺点。本发明以图像处理方法解决了上述问题。

2.除了被动式分析所摄得的图像以判别周围环境之外，本装置还可以加配主动式检测构件以满足特殊状况下，更为严格的需求。

3.该输入元件可包含一录像功能，该录像功能除了可增加对环境的全面了解之外，还可提供该装置自我学习之用。

4.成本低廉。

5.本装置除了导盲功能之外，还可应用于无人运载工具的自我导航控制，尤其在环境单一且完全可控制的工厂内，本装置应用在无人运载工具上会有最好的效果。

附图说明

图1为本发明的装置示意图；

图2为本发明一具体实施例的外观说明；

图3为本发明一具体实施例的动作流程图。

具体实施方式

有关本发明的具体实施步骤及装置结构，请见附图中第2及第3图。该等实施例仅说明本发明的最简易实施方式以使本发明更容易被了解，但是它并不用以限制本发明的实施方式，所属领域的技术人员可以对实施方式作修改，但仍不脱离本发明的精神与范畴。

该实施例包含一***机1，其由CCD或CMOS构件组成，一微处理器***2(如笔记本电脑或PDA)，及一语音提示耳机3。其中该***机1配戴在视障者胸前或头部较稳定处，微处理器***2则配戴于身上，如图2所示。

请见图3，本导盲装置启动后，该***机1随即开始摄取图像，并将所摄取的图像传送给微处理器***2，并转换为HSV格式。若概略描述，可先将彩色图像中R、G、B(红、绿、蓝三原色)的亮度标准化(normalize)为0～1之后，以下式计算而得色调(H)值：

$H_1={\cos }^{-1}[0.5(2R-G-B)/\sqrt{{(R-G)}^2+(R-B)(G-B)}]$

H＝H₁  若B≤G

H＝360°-H₁  若B＞G

接着标定色调信息接近交通灯信号之处：

当0＜H＜0.125时为红色灯信号，0.125＜H＜0.22时为黄色灯信号，0.25＜H＜0.45时为绿色灯信号。

该微处理器同时判别***机1角度是否正确，并适时进行修正。

如图3，当微处理器***2发现疑似交通灯信号时，即进行标定，并以其他辅助信息综合分析，如灯信号的几何形状，周围是否有辅助信号标志(如表示停止的红色人形信号标志等)，还有是否具有行人穿越道路，行人穿越道路的宽度及长度、方向等信息。综合判别之后，若确定为灯信号，则会根据此时灯信号的可通行状况，将判断结果通过耳机3通知视障者。若可通行，则除了通过耳机3提供行人穿越道路的宽度及长度、方向等信息外，本导盲装置还会以差值图像障碍物检测演算法则等方法，检测前方是否有障碍物，并通过耳机3通知视障者。

Claims (15)

1.一种感测并判断周围环境的电子装置，其包含：

一输入元件，其包含至少一个CCD或CMOS构件，用以拾取图像；

一处理元件，其可由一移动运算***组成；及

一输出元件，其可为一语音提示元件或触觉输出元件等，

该输入元件感测周围环境信息并传送至该处理元件以进行判别，再由该输出元件将周围环境的数据输出。

2.根据权利要求1所述的装置，其中所述输入元件还另外可包括一主动感应构件，其为一雷达构件或一超音波构件等。

3.根据权利要求1所述的装置，其中所述输入元件所摄取的光线频率可不仅为可见光。

4.根据权利要求1所述的装置，其中所述处理元件可通过所述输入元件获取的数据进行交通灯信号以及各种信号标志及标线的判别。

5.根据权利要求1所述的装置，其中所述处理元件可通过所述输入元件获取的数据进行周围环境中障碍物、其他移动物体或导航信息(如路面起伏的警告，导盲砖的跟踪，路面边缘的识别等)的判别。

6.根据权利要求4所述的装置，其中所述处理元件利用色调分析以及几何分析对交通灯信号及各式信号标志及标线进行判别。

7.根据权利要求6所述的装置，其中所述处理元件判别交通灯信号的操作是：

将所述输入元件摄取的彩色图像转换为HSV格式；

选择图像中色调信息近似于灯信号且紧密连接者；

对其进行几何分析以确定是否为灯信号形状；及

检查是否存在其他辅助识别信息，如灯信号是否会在红、绿、黄、红间按照合理的时间间隔变换，邻近是否有辅助灯信号等。

8.根据权利要求6所述的装置，其中所述处理元件可利用直线检测技术搜寻行人穿越道路标线，并判别其方向、宽度、长度等信息。

9.根据权利要求4或5所述的装置，其中所述处理元件还可利用诸如差值图像分析、立体视觉分析、物体纹理分析、或频谱分析等方法以判别周围环境。

10.根据权利要求1所述的装置，其中所述处理元件可通过分析经由所述输入元件所获取图像中的线段几何及色调数据，找出地面水平线信息，以此得知目前输入元件的仰角。

11.根据权利要求10所述的装置，其中所述处理元件可驱动所述输入元件自行调整仰角，或驱动所述输出元件输出一提示，通知用户手动调整所述输入元件之仰角。

12.根据权利要求1所述的装置，其中所述处理元件可包含一***设定模式。

13.根据权利要求12所述的装置，其中所述***设定模式的操作可由直接操作所述处理元件或根据用户对输入设备输入特定的信息完成。

14.根据权利要求12或13所述的装置，其中所述***设定模式可包含一自我学习设定功能。

15.根据权利要求1所述的装置，其中所述处理元件可根据所述输入元件录像的数据作为自我学习的基础。

Images