CN113051987A - 信号识别***及其方法 - Google Patents

Abstract

一种信号识别***，包括一地理数据、一定位模块、至少一影像撷取装置以及一影像处理模块。地理数据用以提供包含信号的信息。定位模块用以提供包含信号的一定位信息。至少一影像撷取装置用以撷取包含信号的一即时道路影像。影像处理模块结合地理数据及定位模块所提供的信号的定位信息，于影像撷取装置所撷取的即时道路影像中产生一关注区域，并识别关注区域中的信号，其中信号包括灯箱及至少一灯号。

Description

信号识别***及其方法

技术领域

本发明是有关于一种识别***，且特别是有关于一种信号识别***及其方法。

背景技术

随着社会的发展，汽车已经成为人类日常生活不可替代的交通工具。同时，随着自驾或辅助驾驶的技术越来越成熟，不需要人类操作即能感测其环境及导航的自动驾驶车已是各车厂积极投入与开发的领域。然而，随之而来的是日益突出的安全问题，尤其是交通信号识别度不佳的问题。因此，在自驾或辅助驾驶时，车控***需要搭载信号识别***，以遵守交通信号的指示，并提供即时灯号信息给车控***，使之做出符合法规与安全的决策。因而，加强对交通信号自动识别的准确率显得十分重要。

发明内容

本发明有关于一种信号识别***及其方法，通过定位信息结合地理数据产生一关注区域，并识别关注区域中的信号，以有效识别信号的状态。

根据本发明的一方面，提出一种信号识别***，包括一地理数据、一定位模块、至少一影像撷取装置以及一影像处理模块。地理数据用以提供包含信号的信息。定位模块用以提供包含信号的一定位信息。至少一影像撷取装置用以撷取包含信号的一即时道路影像。影像处理模块结合地理数据及定位模块所提供的信号的定位信息，于影像撷取装置所撷取的即时道路影像中产生一关注区域，并识别关注区域中的信号，其中信号包括灯箱及至少一灯号。

根据本发明的一方面，提出一种信号识别方法，包括下列步骤。取得包含信号的信息的一地理数据。取得包含信号的一定位信息。取得包含信号的一即时道路影像。结合地理数据、定位信息，于即时道路影像中产生一关注区域，并识别关注区域中的信号，其中信号包括灯箱及至少一灯号。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为依照本发明一实施例的信号识别***的示意图。

图2为依照本发明一实施例的即时道路影像的示意图，其中关注区域对应即时道路影像中预先设定的信号的位置。

图3为依照本发明一实施例的灯号排序与方式的示意图。

图4为依照本发明一实施例的灯号排序与方式的示意图。

图5为依照本发明一实施例的信号识别方法的流程图。

图6为依照本发明一实施例的识别关注区域中的信号的流程图。

其中，附图标记：

100：信号识别***

110：地理数据

111：信号

112：灯箱

113-115：灯号

116a-116c：箭头图案

120：定位模块

121：定位信息

130：影像撷取装置

131：即时道路影像

140：影像处理模块

141：灯箱位置检测模块

142：灯号颜色检测模块

143：箭头分类模块

144：计算机视觉识别演算法

145：机器学习演算法

150：视窗界面

151：灯号显示区

ROI：关注区域

S11-S15、S141-S143：步骤

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

以下提出实施例进行详细说明，实施例仅用以作为范例说明，并非用以限缩本发明欲保护的范围。以下是以相同/类似的符号表示相同/类似的元件做说明。以下实施例中所提到的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明。

依照本发明的一实施例，提出一种信号识别***，用以取得包含信号的地理数据、定位信息及即时道路影像，并结合地理数据及定位信息，于即时道路影像中产生一关注区域，并识别关注区域中的信号，以提升***识别准确度与可识别距离。本实施例的信号识别***能用于车辆的车控***中，以实现自驾或辅助驾驶时的信号识别。

请参照图1，其为依照本发明一实施例的信号识别***100的示意图。信号识别***100可包括一地理数据110、一定位模块120、至少一影像撷取装置130以及一影像处理模块140。地理数据110用以提供包含信号111的信息，例如信号111的地图座标或GPS座标(信号111例如设置在市区街道交岔路口、平交道前、收费车道上方、行人穿越道旁、交通分隔岛等多处)。定位模块120用以提供包含信号111的一定位信息121，定位模块120例如包括一光达模块或一全球卫星定位***(GPS)***，其设置于车辆上，用以检测车辆与信号111之间的相对位置或座标。

在一实施例中，光达模块发射激光，并利用时差测距(time-of-flight)技术撷取三维空间点云数据，定位模块120根据三维空间点云数据从地理数据110中取得标记信号111位置的地图座标，再根据车辆的地图座标及信号111的地图座标来计算车辆与信号111之间的相对位置，如此车辆在行驶过程中，定位模块120可即时取得包含信号111的定位信息121。在另一实施例中，GPS***接收卫星不断地发送自身的星历参数和时间参数，以得知车辆的GPS座标，且定位模块120可从地理数据110中取得标记信号111位置的GPS座标，再根据车辆的GPS座标及信号111的GPS座标来检测车辆与信号111之间的相对位置，如此车辆在行驶过程中，定位模块120可即时取得包含信号111的定位信息121。

请参照图2，影像撷取装置130用以撷取包含信号111的一即时道路影像131。影像撷取装置130例如为相机，设置在车辆的前方或左右两侧，用以撷取车辆前方的即时道路影像131。如图1所示，上述的地理数据110、定位信息121及即时道路影像131可传输至影像处理模块140，并通过计算机视觉识别演算法144或机器学习演算法145增加识别准确率。如此车辆在行驶过程中，信号识别***100能从即时道路影像131中准确地识别信号111的位置及显示的灯号113-115。

在一实施例中，信号识别***100结合定位信息121及内建的地理数据110，取得地理数据座标，并分析地理数据座标，以判断车辆前方的即时道路影像131是否包含信号111(例如红绿灯、行人穿越灯、或平交道信号等)，并藉由地理数据110确定信号111的灯号113-115排序与方式，以供信号识别***100能即时识别信号111的状态。例如：目前信号显示的灯号颜色(红、黄、绿)或箭头方向(上、左、右)、计时信号显示的数字、平交道专用的双闪红色灯号、行人穿越专用的双闪黄色灯号、匝道仪控灯号等，但不限制。

请参照图2，影像处理模块140可于即时道路影像131中产生一关注区域ROI，并可识别关注区域ROI中的信号111。关注区域ROI对应即时道路影像131中预先设定的信号111的位置。例如：影像处理模块140可结合选择性搜寻、卷积神经网络(Convolutional NeuralNetwork,CNN)模型、支援向量机(SVM)分类器或Yolov3演算法来进行机器学习，以找到即时道路影像131中信号111所在的位置。其中，选择性搜寻可考虑点云的空间分布、距离相似度、尺寸相似度与填充相似度等相似度演算，将与信号111相似的局部特征从点云数据中分割出来，以产生一关注区域ROI。同时，影像处理模块140只需针对信号111位置所在的关注区域ROI进行数值分析，不需对全图像进行数值分析，以相对减少演算时间。

请参照图1，在一实施例中，影像处理模块140包括一计算机视觉识别演算法144和/或一机器学习演算法145，用以识别关注区域ROI中的信号111。此外，影像处理模块140可包括一灯箱位置检测模块141，用以检测关注区域ROI中信号111的灯箱位置，如图2所示。另外，影像处理模块140可包括一灯号颜色检测模块142，用以检测灯箱位置中显示的灯号颜色，如图3所示。再者，影像处理模块140可包括一箭头分类模块143，用以判断灯箱位置中显示的箭头方向，如图4所示。

一般而言，信号111包括灯箱112及灯号113-115。如图3所示，灯箱112为长方形或方形，灯号113-115由不同颜色的灯面及发光元件组成，灯号113-115可为圆形或箭头形，尺寸约为20公分至30公分，在无障碍遮蔽或正常天气状况下，灯号113-115的照度能让驾驶者于四百公尺距离清楚看见灯色。灯箱112可以具有一个或多个灯号113-115，灯号113-115可以包括单一种灯色、红、绿两种灯色或红、黄、绿三种灯色，如图4所示，灯号亦可包括一种或多种箭头图案116a-116c，其可与上述的红、黄、绿三种灯色的灯号113-115并列使用。

灯号113-115及箭头图案116a-116c的排列方式可为横排或纵排，其排列方式按照各国的道路交通标志的规定安装。例如，横排灯号由左至右，依次为圆形红灯(113)，圆形黄灯(114)，圆形绿灯(115)，左转箭头绿灯(116a)，直行箭头绿灯(116b)，右转箭头绿灯(116c)。纵排灯号由上至下，依次为圆形红灯(113)、圆形黄灯(114)、圆形绿灯(115)，直行箭头绿灯(116b)，左转箭头绿灯(116a)，右转箭头绿灯(116c)。另外，圆形红色灯号(113)旁得附设可显示红色数字灯号的方形行车倒数计时显示器，或可附设于黄色灯面内，用以表示红灯剩余秒数。

在图1中，灯箱位置检测模块141、灯号颜色检测模块142及箭头分类模块143可经由机器学习演算法145和/或计算机视觉识别演算法144训练而成。然而，当无机器学习演算法145的识别结果时，可采用计算机视觉识别演算法144的识别结果并输出，反之亦然。

在一实施例中，当计算机视觉识别演算法144与机器学***均分数，若平均分数大于一门槛值，输出识别的灯号。或是，选择二者的识别结果中较稳定的一识别结果，然后输出识别的灯号。意即，灯号的变化状态是持续稳定的，不会突然改变为黄灯、红灯或绿灯，此时影像处理模块140会在计算机视觉识别演算法144和机器学习演算法145中择一稳定的识别结果，输出识别的灯号。

上述的机器学习演算法145有多种实现方法，例如支援向量机(SVM)分类器、整体学习(Ensemble learning)分类器或卷积神经网络(CNN)进行深度学习，以建立信号111的分类模型。分类模型例如包括前述的灯号颜色检测模块142及箭头分类模块143。卷积神经网络由一个或多个卷积层和顶端的全连通层组成，同时也包括关联权重和池化层(poolinglayer)，使得卷积神经网络能够利用输入数据的二维结构进行演算。与其他深度学习结构相比，卷积神经网络在图像和物件识别方面具有更好的结果，且需要考量的参数更少，因此物件识别准确率相对较高，例如大于95％。卷积神经网络亦有多种实现架构，例如区域卷积神经网络(R-CNN)、快速型区域卷积神经网络(Fast R-CNN)及更快速型区域卷积神经网络(Faster R-CNN)，通过对输入数据分成多个区域，并将每个区域分到对应的类别中，再将所有的区域结合在一起，以完成目标物(信号)的检测。

在本实施例中，影像处理模块140可将即时道路影像131(RGB图像)、光达定位信息(点云数据的座标)或GPS定位信息(经纬度的座标)以及地理数据110的座标进行叠加，以获得如图2所示的包含信号111的定位信息121的RGB图像，并以多个连续的包含信号111定位信息的RGB图像建立数据集，输入到卷积神经网络进行机器学习，建立信号111的分类模型。最后，根据信号111的分类模型对识别结果输出相对应的决策，以完成信号111的自动识别。

或者，可选择地，影像处理模块140亦可将即时道路影像131(RGB图像)、光达定位信息(点云数据的座标)或GPS定位信息(经纬度的座标)以及地理数据110的座标进行叠加，以获得如图2所示的包含信号111的定位信息121的RGB图像，并输入计算机中，以进行计算机视觉影像处理，以完成信号111的自动识别。计算机视觉影像处理方法如下。首先，进行RGB-HSV色彩空间转换，在HSV色彩空间中能够呈现影像当下的色彩明亮度，在HSV色彩空间中对灯号颜色(红、黄、绿)找出对应的颜色区间进行分割并通过二值化处理以产生前景及背景，将前景各个相连部份标记为连通区域，而此区域即为包含信号111的关注区域ROI，并从所述连通区域中利用型态学(morphology)、面积和形状等进行识别，以确定当前图像的灯号信息，并将所述灯号信息提供给下一张图像使用，所述灯号信息包括灯箱112的位置，灯号113-115颜色信息和箭头图案116a-116c信息等，如图2至图4所示。此外，图像进行二值化处理时，由于受到信号111本身颜色、亮度、气候条件以及周围环境光线的影响(例如逆光、下雨或起雾等)，可能会影响信号111的识别结果，因此可进一步对二值化图像进行去干扰、去背光等处理，以提高识别准确率。

在一实施例中，当天气不佳时或极端状况(例如逆光)下，可利用进阶的计算机视觉影像处理方法来提高信号111的识别准确率。首先，利用HSV色彩空间中的颜色亮度来判定是否为极端状况，若亮度低于一个门槛值则认为此时为极端状况。接着，针对RBG图像中的各灯号颜色做直方图均值化(histogram equalization)处理及伽码校正(gammacorrection)处理，用来强化灯号颜色。利用型态学(morphology)影像处理来去除非灯号的干扰并在此同时能够保留灯号113-115的外型。接着，切割灯箱内各个灯号113-115位置，计算重叠区域，若此重叠区域大于一个门槛值则认定此灯号有亮，藉此来判定灯号113-115的状态。

在一实施例中，最远可检测距离例如为100m，最小可检测灯箱解析度例如为6x14像素，下表列出可检测距离由小到大时，识别准确率及召回率的实验数值。根据实验结果可知，当可检测距离小于100m时，准确率大于95％，召回率大于92％，符合远距识别的需求。

另外，上述实施例虽以定位信息121结合地理数据110来产生一关注区域ROI，但即使不结合地理数据110，仍可产生一关注区域ROI。因此，本发明不限定结合地理数据110。下表列出定位信息121结合地理数据110或不结合地理数据110时，识别准确率及召回率的实验数值。根据实验结果可知，当可检测距离小于100m时，若未使用地理数据110，准确率下降至85.91％，召回率下降至73.9％，可见定位信息121结合地理数据110，能有效提高远距识别的准确率与召回率。

如上所述，本发明上述实施例以定位信息121结合地理数据110产生一关注区域ROI，并结合机器学习的识别结果以及计算机视觉影像处理的识别结果，于关注区域ROI中识别信号111，以提升识别准确率及达到远距识别的功效。因此，本发明的信号识别***100可解决传统影像识别***的解析度低、远距识别的准确率无法提高等问题，并且能解决传统影像识别***在影像处理过程中需耗费大量计算机资源、运算时间长、以及容易受天气影响而发生误判等问题。

请参照图5，其为依照本发明一实施例的信号识别方法的流程图。根据上述的内容及附图，信号识别方法可包括下列步骤S11-S15。在步骤S11中，取得包含信号111的信息的一地理数据110。在步骤S12中，取得包含信号111的一定位信息121。在步骤S13中，取得包含信号111的一即时道路影像131。在步骤S14中，结合地理数据110、定位信息121，于即时道路影像131中产生一关注区域ROI，并识别关注区域ROI中的信号111。在步骤S15中，此方法更可包括根据识别结果，提供一指示灯号至一视窗界面150的一个或多个灯号显示区151，此些灯号显示区151对应显示信号111的状态，其中信号111的状态包括显示的灯号颜色或箭头方向，以告知驾驶者目前显示的灯号与其颜色。

在一实施例中，上述的信号识别方法可根据一光达模块或一GPS***提供的定位信息121与地理数据110产生一地理数据座标。接着，分析地理数据座标，于即时道路影像131中取得关注区域ROI，关注区域ROI对应即时道路影像131中预先设定的包含信号111的位置，并藉由地理数据110确定信号111的灯号排序与方式。

请参照图6，识别关注区域ROI中的信号111包括下列步骤S141-S143。在步骤S141中，识别关注区域ROI中信号的灯箱位置，如图2所示。在步骤S142中，识别灯箱位置中显示的灯号颜色，如图3所示。在步骤S143中，识别灯箱位置中显示的箭头方向，如图4所示。上述步骤S141-S143例如经由计算机视觉识别演算法144和/或机器学习演算法145训练而成。通过比对计算机视觉识别演算法144与机器学习演算法145的识别结果，输出正确的交通信号111。或者，当无机器学习演算法145的识别结果时，将计算机视觉识别演算法144的识别结果输出，反之亦然。

本发明上述实施例所述的信号识别***及其识别方法，用以取得包含信号的地理数据、定位信息及即时道路影像，并结合地理数据及定位信息，于即时道路影像中产生一关注区域，藉由识别关注区域中的信号，以提供即时灯号信息给车控***或显示于视窗界面。本发明因结合机器学习的识别结果以及计算机视觉影像处理的识别结果，故能减少演算时间并减少天气不佳时或极端状况的干扰，加强对交通信号自动识别的准确率，并达到远距识别的功效，进而实现自驾或辅助驾驶时的信号识别。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (23)

1.一种信号识别***，其特征在于，包括：

一地理数据，用以提供包含信号的信息；

一定位模块，用以提供包含该信号的一定位信息；

至少一影像撷取装置，用以撷取一即时道路影像；以及

一影像处理模块，用以结合该地理数据及该定位模块所提供的该定位信息，于该影像撷取装置所撷取的该即时道路影像中产生一关注区域，并识别该关注区域中的该信号，其中该信号包括灯箱及至少一灯号。

2.如权利要求1所述的***，其特征在于，该定位模块根据一光达模块或一GPS***提供的该定位信息与该地理数据产生一地理数据座标。

3.如权利要求2所述的***，其特征在于，该影像处理模块分析该地理数据座标，于该即时道路影像中取得该关注区域，该关注区域对应该即时道路影像中预先设定的该信号的位置，并藉由该地理数据确定该信号的该至少一灯号的排序与方式。

4.如权利要求1项所述的***，其特征在于，该影像处理模块包括一灯箱位置检测模块，用以检测该关注区域中该信号的该灯箱的灯箱位置。

5.如权利要求4所述的***，其特征在于，该影像处理模块包括一灯号颜色检测模块，用以检测该灯箱位置中显示的灯号颜色。

6.如权利要求4所述的***，其特征在于，该影像处理模块包括一箭头分类模块，用以判断该灯箱位置中显示的箭头方向。

7.如权利要求1所述的***，其特征在于，更包括一视窗界面，包括至少一灯号显示区，该至少一灯号显示区根据该影像处理模块的识别结果，对应显示该信号的状态，其中该信号的状态包括该至少一灯号显示的灯号颜色或箭头方向。

8.如权利要求4至6其中之一所述的***，其特征在于，该灯箱位置检测模块、该灯号颜色检测模块及该箭头分类模块经由一计算机视觉识别演算法或一机器学习演算法训练而成。

9.如权利要求1所述的***，其特征在于，该影像处理模块包括一计算机视觉识别演算法或一机器学习演算法，用以识别该信号。

10.如权利要求1所述的***，其特征在于，该影像处理模块包括一计算机视觉识别演算法以及一机器学习演算法，用以识别该信号，该影像处理模块比对该计算机视觉识别演算法与该机器学习演算法的识别结果，并根据该比对，决定输出识别的该灯号。

11.一种信号识别方法，其特征在于，包括：

取得包含信号的信息的一地理数据；

取得包含该信号的一定位信息；

取得包含该信号的一即时道路影像；以及

结合该地理数据、该定位信息，于该即时道路影像中产生一关注区域，并识别该关注区域中的该信号，其中该信号包括灯箱及至少一灯号。

12.如权利要求11所述的方法，其特征在于，根据一光达模块或一GPS***提供的该定位信息与该地理数据产生一地理数据座标。

13.如权利要求12所述的方法，其特征在于，分析该地理数据座标，于该即时道路影像中取得该关注区域，该关注区域对应该即时道路影像中预先设定的包含该信号的位置，并藉由该地理数据确定该信号的该至少一灯号的排序与方式。

14.如权利要求11所述的方法，其特征在于，识别该关注区域中的该信号包括识别该关注区域中该信号的该灯箱的灯箱位置。

15.如权利要求14所述的方法，其特征在于，识别该关注区域中的该信号包括识别该灯箱位置中显示的灯号颜色。

16.如权利要求14所述的方法，其特征在于，识别该关注区域中的该信号包括识别该灯箱位置中显示的箭头方向。

17.如权利要求11所述的方法，其特征在于，更包括提供一指示灯号至一视窗界面的至少一灯号显示区，该至少一灯号显示区对应显示该信号的状态，其中该信号的状态包括该至少一灯号显示的灯号颜色或箭头方向。

18.如权利要求14至16其中之一所述的方法，其特征在于，识别该关注区域中的灯箱位置、识别该灯箱位置中显示的灯号颜色及识别该灯箱位置中显示的箭头方向经由一计算机视觉识别演算法或一机器学习演算法训练而成。

19.如权利要求11所述的方法，其特征在于，识别该信号包括一计算机视觉识别演算法或一机器学习演算法。

20.如权利要求11所述的方法，其特征在于，识别该信号包括经由一计算机视觉识别演算法以及一机器学习演算法，并比对该计算机视觉识别演算法与该机器学习演算法的识别结果，以及根据该比对，决定输出识别的该灯号。

21.如权利要求20所述的方法，其特征在于，若该计算机视觉识别演算法与该机器学习演算法的识别结果相同，输出识别的该灯号。

22.如权利要求20所述的方法，其特征在于，若该计算机视觉识别演算法与该机器学习演算法的识别结果不相同，选择该二识别结果中较稳定的一者输出识别的该灯号。

23.如权利要求20所述的方法，其特征在于，若该计算机视觉识别演算法与该机器学***均分数，若该平均分数大于一门槛值，输出识别的该灯号。

Images