CN104463105B - 路牌识别方法及装置 - Google Patents

路牌识别方法及装置 Download PDF

Info

Publication number
CN104463105B
CN104463105B CN201410663502.2A CN201410663502A CN104463105B CN 104463105 B CN104463105 B CN 104463105B CN 201410663502 A CN201410663502 A CN 201410663502A CN 104463105 B CN104463105 B CN 104463105B
Authority
CN
China
Prior art keywords
guideboard
image
color
region
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410663502.2A
Other languages
English (en)
Other versions
CN104463105A (zh
Inventor
徐昆
邓海峰
马里千
高磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Tsinghua University
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Shenzhen Tencent Computer Systems Co Ltd filed Critical Tsinghua University
Priority to CN201410663502.2A priority Critical patent/CN104463105B/zh
Publication of CN104463105A publication Critical patent/CN104463105A/zh
Application granted granted Critical
Publication of CN104463105B publication Critical patent/CN104463105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种路牌识别方法及装置,属于计算机技术领域。所述方法包括:对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;连通满足路牌颜色的像素点,得到至少一个第一连通区域;根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;提取每个第二连通区域的图像特征;使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤,从至少一个第二连通区域中筛选出路牌区域,其中,路牌识别支持向量机由路牌图像训练得到;对路牌区域进行文字识别,得到路牌区域的路牌信息。由于路牌识别过程无需人工参与,因此,不仅节省了路牌识别成本,而且提高了路牌识别效率。

Description

路牌识别方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种路牌识别方法及装置。
背景技术
为了便于用户掌握POI(Point of Interest,信息点)的周边情况,出现了越来越多的街景地图。其中,街景地图的街景图像中可能包括很多路牌,用以表示该街景属于哪条路或哪条街等信息。通过对街景图像中的路牌进行识别,可以对街景地图包括的信息进行补充、标注和校准等,从而便于用户掌握街景所属地理位置。
相关技术在对街景图像中的路牌进行识别时,通常需要由人工实现,即通过人工识别街景图像中的路牌,并提取路牌包括的路牌信息。
在实现本发明的过程中,发明人发现相关技术至少存在以下问题:
由于街景图像的数据规模很大,因此,通过人工方式识别路牌需要消耗大量人力,成本较高。另外,人工识别路牌往往比较耗时,从而使得路牌识别效率不高。
发明内容
为了解决相关技术的问题,本发明实施例提供了一种路牌识别方法及装置。所述技术方案如下:
第一方面,提供了一种路牌识别方法,所述方法包括:
对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;
连通所述满足路牌颜色的像素点,得到至少一个第一连通区域;
根据路牌图像特征,对所述至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;
提取每个第二连通区域的图像特征;
使用路牌识别SVM(Support Vector Machine,支持向量机)对每个第二连通区域的图像特征进行过滤,从所述至少一个第二连通区域中筛选出路牌区域,所述路牌识别支持向量机根据路牌图像训练得到;
对所述路牌区域进行文字识别,得到所述路牌区域的路牌信息。
第二方面,提供了一种路牌识别装置,所述装置包括:
检测模块,用于对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;
连通模块,用于连通所述满足路牌颜色的像素点,得到至少一个第一连通区域;
第一过滤模块,用于根据路牌图像特征,对所述至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;
第一提取模块,用于提取每个第二连通区域的图像特征;
第二过滤模块,用于使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤,从所述至少一个第二连通区域中筛选出路牌区域,所述路牌识别支持向量机根据路牌图像训练得到;
识别模块,用于对所述路牌区域进行文字识别,得到所述路牌区域的路牌信息。
本发明实施例提供的技术方案带来的有益效果是:
通过对待处理街景图像的每个像素点进行颜色检测,得到满足路牌颜色的像素点,并通过连通满足路牌颜色的像素点得到第一连通区域后,再根据路牌图像特征进行区域过滤,从而从第一连通区域中筛选出满足路牌图像特征的第二连通区域,再进一步根据第二连通区域的图像特征及预先训练得到的路牌识别SVM,过滤得到路牌区域,进而通过提取路牌区域的路牌信息完成路牌的识别过程。由于路牌识别过程无需人工参与,因此,不仅节省了路牌识别成本,而且提高了路牌识别效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种路牌识别方法的流程图;
图2是本发明另一实施例提供的一种路牌识别方法的流程图;
图3是本发明另一实施例提供的一种路牌识别装置的结构示意图;
图4是本发明另一实施例提供的一种路牌识别装置的结构示意图;
图5是本发明另一实施例提供的一种检测模块的结构示意图;
图6是本发明另一实施例提供的一种第一过滤模块的结构示意图;
图7是本发明另一实施例提供的一种路牌识别装置的结构示意图;
图8是本发明另一实施例提供的一种第二提取模块的结构示意图;
图9是本发明另一实施例提供的一种终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
随着地图技术的迅速发展,出现了越来越多的街景地图,其能够为用户提供城市、街道或其它环境的360度全景图像,用户可以通过街景地图中的街景图像获得如临其境的地图浏览体验。为了标识街景所在的地理位置,很多街景图像中均包括路牌。因此,通过识别街景图像中的路牌区域,并提取路牌中的地图信息,对街景地图的地图信息进行补充、分类、标注和校准有很大作用。因此,经常需要对街景图像中的路牌进行识别。为了实现高效快速地识别街景图像中的路牌,本发明实施例提供了一种路牌识别方法。
结合上述内容,图1是根据一示例性实施例提供的一种路牌识别方法的流程图。如图1所示,本发明实施例提供的方法流程包括:
101、对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点。
102、连通满足路牌颜色的像素点,得到至少一个第一连通区域。
103、根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域。
104、提取每个第二连通区域的图像特征。
105、使用路牌识别SVM对每个第二连通区域的图像特征进行过滤,从至少一个第二连通区域中筛选出路牌区域,其中,路牌识别SVM根据路牌图像训练得到。
106、对路牌区域进行文字识别,得到路牌区域的路牌信息。
本发明实施例提供的方法,通过对待处理街景图像的每个像素点进行颜色检测,得到满足路牌颜色的像素点,并通过连通满足路牌颜色的像素点得到第一连通区域后,再根据路牌图像特征进行区域过滤,从而从第一连通区域中筛选出满足路牌图像特征的第二连通区域,再进一步根据第二连通区域的图像特征及预先训练得到的路牌识别SVM,过滤得到路牌区域,进而通过提取路牌区域的路牌信息完成路牌的识别过程。由于路牌识别过程无需人工参与,因此,不仅节省了路牌识别成本,而且提高了路牌识别效率。
可选地,对待处理街景图像中的每个像素点进行颜色检测之前,还包括:
获取初始街景图像;
根据初始街景图像中的路牌区域常规分布信息,对初始街景图像进行裁剪,得到待处理街景图像。
可选地,对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点,包括:
在HSV(Hue-Saturation-Value,色调饱和度亮度)模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤;
如果任一像素点的颜色在路牌颜色对应的HSV阈值范围内,则将像素点作为满足路牌颜色的像素点。
可选地,根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域,包括:
根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对每个第一连通区域进行过滤;
如果任一第一连通区域满足大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征,则将第一连通区域作为一个第二连通区域。
可选地,当第一连通区域的颜色聚合为指定数值个颜色类时,确定第一连通区域满足颜色分布特征。
可选地,图像特征为HOG(Histogram of Gradients,方向梯度直方图)特征,使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤之前,还包括:
获取预设数值的路牌图像;
提取每个路牌图像的HOG特征;
通过SVM方式训练每个路牌图像的HOG特征,得到路牌识别SVM。
可选地,提取每个路牌图像的HOG特征,包括:
确定每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值;
将每个路牌图像划分为指定像素大小的像素块;
根据每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值,确定每个像素块的HOG值;
根据每个路牌图像包括的所有像素块的HOG值,确定每个路牌图像的HOG特征。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
结合图1对应实施例的内容,图2是根据一示例性实施例提供的一种路牌识别方法的流程图。如图2所示,本发明实施例提供的方法流程包括:
201、获取预设数值的路牌图像,提取每个路牌图像的图像特征,通过SVM方式训练每个路牌图像的图像特征,得到路牌识别SVM。
该步骤为训练路牌识别SVM的过程。其中,在获取路牌图像时,可以由人工选取街景图像中的路牌图像,从而将人工选取的路牌图像作为获取到的路牌图像。关于预设数值的具体数量,本发明实施例不作具体限定。例如,可以选择100个街景图像中的路牌图像,也可以选择1000个街景图像中的路牌图像等。然而,为了使得训练的到的路牌识别SVM比较准确,从而可以作为后续识别街景图像中的路牌的依据,该预设数值的数量越大越好。
另外,由于在训练路牌识别SVM时,往往是根据每个路牌图像的图像特征实现的,因此,需要提取每个路牌图像的图像特征。其中,图像特征包括但不限于为路牌图像的HOG特征。
具体地,当图像特征为HOG特征时,在提取每个路牌图像的图像特征时,具体为提取每个路牌图像的HOG特征。关于提取每个路牌图像的HOG特征的方式,包括但不限于通过如下步骤201a至步骤201c来实现:
201a、确定每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值。
其中,指定空间坐标系用于在确定每个路牌图像包含的各个像素点的空间坐标值时,作为参考坐标系。
由于每个路牌图像的HOG特征与每个路牌图像包括的像素点的坐标值相关,因此,在提取每个路牌图像的HOG特征时,需要确定每个路牌图像包含的各个像素点在空间坐标系下的坐标值。
在确定每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值时,需要以指定空间坐标系为参考,确定各个像素点在指定空间坐标系各个坐标轴上的值,根据各个像素点在指定空间坐标系各个坐标轴上的值,确定各个像素点在指定空间坐标系下的坐标值。
可选地,为了调节每个路牌图像的对比度,从而降低每个路牌图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰,可以采用灰阶校正法对每个路牌图像进行颜色空间的归一化。
201b、将每个路牌图像划分为指定像素大小的像素块,根据每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值,确定每个像素块的HOG值。
其中,指定像素大小用于描述每个像素块的大小。关于每个像素块包括的像素点的个数,本发明实施例不作具体限定。例如,每个像素块可以包括2*2个像素,也可以包括4*4个像素等。
具体地,在确定每个像素块的HOG值时,包括但不限于:计算每个像素块包括的所有像素点的梯度,其中,每个像素点的梯度包括大小和方向;统计每个像素块包括的所有像素点的梯度中不同梯度的个数,将该个数作为每个像素块的HOG值。
201c、根据每个路牌图像包括的所有像素块的HOG值,确定每个路牌图像的HOG特征。
在根据每个路牌图像包括的所有像素块的HOG值,确定每个路牌图像的HOG特征时,可以将每个路牌图像包括的所有像素块的HOG值串接起来,从而得到每个路牌图像的HOG特征。
进一步地,当获得每个图像的图像特征后,便可以通过SVM方式训练每个路牌图像的图像特征,得到路牌识别SVM。其中,在通过SVM方式训练每个路牌图像的图像特征时,包括但不限于建立路牌图像与图像特征的映射关系。训练得到路牌识别SVM后,后续在进行路牌识别时,可以根据街景图像中某一区域的图像的HOG特征,确定该区域是否为路牌区域。
需要说明的是,该步骤为路牌识别之前的步骤,并非每次进行路牌识别时均要执行该步骤,保证在进行路牌识别时,已经训练得到路牌识别SVM即可。
202、获取初始街景图像,根据初始街景图像中的路牌区域常规分布信息,对初始街景图像进行裁剪,得到待处理街景图像。
其中,初始街景图像为街景地图中展示的街景图像。由于初始街景图像往往包括该街道所在位置的全部信息,例如,街景图像包括的内容可以上至该街道的天空情况,下至该街道的地面情况。然而,无论是街景图像中的天空区域还是地面区域,均不可能包括路牌区域,即初始街景图像中包括很多不包括路牌区域的无效区域。因此,可以先裁剪掉该初始街景图像中的无效区域。具体地,在裁剪初始街景图像的无效区域时,可以根据初始街景图像中的路牌区域常规分布信息,对初始街景图像进行裁剪。在裁剪掉初始街景图像中的无效区域后,得到待处理街景图像。其中,路牌区域常规分布信息是指路牌区域通常在初始街景图像中的分布情况。
具体地,由于路牌区域经常位于初始街景图像中部,因此,可以将该图像中部位置所对应的高度范围设置为预设高度范围,并将该预设高度范围作为路牌区域常规分布信息。例如,可以将初始街景图像中从上至下的第一预设高度至第二预设高度之间的部分作为预设高度范围。在此基础上,在裁剪初始街景图像时,可以裁剪掉初始街景图像中除该预设高度范围的区域,从而得到待处理街景图像。其中,本发明实施例不对第一预设高度及第二预设高度的具体数值进行限定。
例如,可以将初始街景图像中部40%的区域作为预设高度范围,并裁剪掉初始街景图像上部及下部的30%高度范围的图像区域,从而将初始街景图像中部的40%的高度范围的图像区域作为待处理街景图像。具体地,如果初始街景图像的高度为10cm(厘米),则可以裁剪掉初始街景图像上部3cm高度范围的图像和下部3cm高度范围的图像,将中部4cm高度范围的图像区域作为待处理街景图像。
需要说明的是,该步骤为可选步骤。通过该可选步骤,可以裁剪掉初始街景图像中的很多无效区域,因此,在后续识别街景图像中的路牌区域时,能够简化待计算区域,从而能够提高路牌区域识别效率。然而,在具体识别路牌时,也可以不执行该步骤而直接通过下面的步骤实现路牌的识别过程,详见下述各个步骤。
203、对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点。
在道路规划设置路牌时,往往会将路牌设置为一定颜色,例如,蓝色、绿色或白色等。由于街景图像中的路牌颜色可以真实反映实际道路中的路牌颜色,因此,可以先对待处理街景图像进行颜色检测,以从待处理街景图像中筛选出可能为路牌区域的第一连通区域。具体地,在进行颜色检测时,可以先对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点。
其中,在对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点时,包括但不限于通过如下步骤203a和步骤203b来实现:
203a、在HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤。
由于每种颜色在HSV模式下均对应一个HSV阈值,因此,可以在HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤,从而筛选出属于路牌颜色的像素点。
具体地,在HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤时,可以将每个像素点映射到HSV所在的颜色空间,得到每个像素点的H值、S值和V值,然后将每个像素点的H值、S值和V值分别与预设满足路牌颜色的像素点的H值、S值和V值进行比对来实现。
例如,以在目前的道路规划建设时,将路牌设置为蓝色为例,在筛选满足路牌颜色的像素点时,可以在HSV模式下,对待处理街景图像中每个像素点的颜色进行蓝色HSV阈值过滤,从而筛选出蓝色像素点。
具体地,通过对颜色与HSV阈值之间的关系进行统计,可以得到:在HSV模式下,蓝色HSV阈值可以包括如下几种情况:
第一种情况:100<H<125,S>150,V>55;
第二种情况:90<H<125,S>95,V>55;
第三种情况:90<H<125,S>200,V>155;
第四种情况:90<H<125,S>110,V>55。
在此基础上,在HSV模式下,对待处理街景图像中每个像素点的颜色进行蓝色HSV阈值过滤时,可以将每个像素点的H值、S值和V值与上述四种情况中的任一情况对应的HSV值进行比对来实现。
同理,当在目前的道路规划建设中,将路牌颜色设置为绿色时,通过对颜色与HSV阈值之间的关系进行统计,可以得到:在HSV模式下,绿色HSV阈值可以为:60<H<100,S>150,V>55。
在此基础上,在HSV模式下,对待处理街景图像中每个像素点的颜色进行绿色HSV阈值过滤时,可以将每个像素点的H值、S值和V值分别与“60<H<100,S>150,V>55”进行比对来实现。
进一步地,当路牌颜色为白色时,由于白色HSV阈值设定比较困难,因此,在筛选白色像素点时,可以通过meanshfit(均值漂移)算法对待处理街景图像进行分割,并获取分割得到的区域包括的每个像素点的平均值,将该平均值作为该区域的每个像素点的颜色。通过上述处理过程,即可得到白色像素点。具体地,通过对颜色与HSV阈值之间的关系进行统计,可以得到:在HSV模式下,可以将S<55作为白色HSV阈值。
203b、如果任一像素点的颜色在路牌颜色对应的HSV阈值范围内,则将像素点作为满足路牌颜色的像素点。
结合上述内容,在HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤时,如果某一像素点的颜色满足100<H<125,S>150,V>55;90<H<125,S>95,V>55;90<H<125,S>200,V>155;90<H<125,S>110,V>55中的任一种情况,则将该像素点作为过滤出的满足蓝色HSV阈值的像素点。如果某一像素点的颜色满足60<H<100,S>150,V>55,则将该像素点作为过滤出的满足绿色HSV阈值的像素点。如果通过meanshift算法对待处理图像进行分割后,得到某一区域的像素点的颜色平均值满足S<55,则将该区域的所有像素点作为过滤出的满足白色HSV阈值的像素点。
204、连通满足路牌颜色的像素点,得到至少一个第一连通区域。
由于路牌在街景图像中往往为一个区域,为了得到街景图像中的路牌区域,可以连通满足路牌颜色的像素点,得到至少一个第一连通区域。其中,第一连通区域可能为路牌区域。关于第一连通区域的数量,本发明实施例不作具体限定。具体实施时,需要结合满足路牌颜色的像素点的分布情况而定。
205、根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域。
具体地,由于在设置路牌时,路牌的大小、宽高比例、旋转角度、颜色分布等都有一定的标准,街景图像中的路牌的大小、宽高比例、旋转角度、颜色分布也都满足一定的条件,因此,可以根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域。其中,第二连通区域为从第一连通区域中过滤掉不属于路牌区域的区域后,筛选得到的可能属于路牌区域的区域。
其中,在对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域时,包括但不限于通过如下步骤205a和步骤205b来实现:
205a、根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对每个第一连通区域进行过滤。
具体地,街景图像中的路牌图像的大小、宽高比例、旋转角度、颜色分布都有一定的阈值范围。因此,可以预先统计路牌图像的大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征,使得在进行路牌识别时,可以根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对每个第一连通区域进行过滤。
例如,通过对大量的路牌图像进行分析,统计出的路牌区域的大小特征的阈值范围为:23<高度<165,40<宽度<600;宽高比例阈值范围为:1.6<宽高比<7.5;旋转角度阈值范围为:旋转角度<40度。
另外,在确定某一个第一连通区域是否满足颜色分布特征时,由于路牌通常由指定数值种颜色组成,例如,路牌包括牌子的颜色和字的颜色,即路牌由两种颜色组成。因此,在确定该第一连通区域是否满足路牌的颜色分布特征时,可以通过确定该第一连通区域是否由指定数值个颜色类组成来实现。具体地,在确定第一连通区域是否由指定数值个颜色类组成时,可以通过K-means(K-均值)算法检测某一个第一连通区域的颜色是否能够聚合为指定数值个颜色类来实现。例如,如果路牌通常由两种颜色组成,则可以通过K-means算法检测该第一连通区域的颜色是否能够聚合为两个颜色类来实现。如果该第一连通区域的颜色能够聚合为指定数值个颜色类,例如,该第一连通区域的颜色能够聚合为两个颜色类,则确定该第一连通区域满足路牌的颜色分布特征。
关于根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对某一个第一连通区域进行过滤的方式时的顺序,本发明实施例不作具体限定。具体实施时,可以先对该第一连通区域进行大小特征过滤,然后进行宽高比例特征过滤,再进行旋转角度特征过滤,最后进行颜色分布检测。当然,还可以采用其它顺序实现,在此不再赘述。
205b、如果任一第一连通区域满足大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征,则将第一连通区域作为一个第二连通区域。
结合上述内容,如果某一个第一连通区域不能同时满足上述大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征,则将该第一连通区域过滤掉;如果某一个第一连通区域同时满足上述大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征,则将该第一连通区域作为一个第二连通区域。
206、提取每个第二连通区域的图像特征,使用路牌识别SVM对每个第二连通区域的图像特征进行过滤,从至少一个第二连通区域中筛选出路牌区域,其中,路牌识别SVM根据路牌图像训练得到。
为了从第二连通区域中筛选出路牌区域,还可以结合第二连通区域的图像特征及预先训练得到的路牌识别SVM进一步进行过滤。其中,第二连通区域的图像特征与训练路牌识别SVM时使用的图像特征一致。具体地,如果训练路牌识别SVM时使用的图像特征为HOG特征,则此处应该提取每个第二连通区域的HOG特征。
关于使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤的方式,包括但不限于:将提取出的每个第二连通区域的路牌图像特征输入路牌识别SVM,根据路牌识别SVM的输出结果确定该第二连通区域是否是路牌区域。如果路牌识别SVM的输出结果标识该第二连通区域不是路牌区域,则将该第二连通区域丢弃;如果路牌识别SVM的输出结果标识该第二连通区域是路牌区域,则将该第二连通区域作为路牌区域。
207、对路牌区域进行文字识别,得到路牌区域的路牌信息。
其中,路牌信息包括路牌所标识的街道信息、路牌指示的方向信息等等。关于对路牌区域进行文字识别的方式,包括但不限于:先对路牌区域进行二值化处理,然后使用OCR(Optical Character Recognition,光学字符识别)方式确定路牌信息。
通过路牌信息,可以确定路牌所在街景图像的地理位置,从而实现对包括路牌区域的街景图像的定位,便于扩充街景地图标注的信息。
经统计确定,通过采用上述方法识别路牌,蓝色路牌的识别成功率为95%,绿色路牌和白色路牌的识别成功率为87%。因此,通过本发明实施例提供的方法,能够实现路牌的自动识别过程。
本发明实施例提供的方法,通过对待处理街景图像的每个像素点进行颜色检测,得到满足路牌颜色的像素点,并通过连通满足路牌颜色的像素点得到第一连通区域后,再根据路牌图像特征进行区域过滤,从而从第一连通区域中筛选出满足路牌图像特征的第二连通区域,再进一步根据第二连通区域的图像特征及预先训练得到的路牌识别SVM,过滤得到路牌区域,进而通过提取路牌区域的路牌信息完成路牌的识别过程。由于路牌识别过程无需人工参与,因此,不仅节省了路牌识别成本,而且提高了路牌识别效率。
图3是根据一示例性实施例提供的一种路牌识别装置的结构示意图,该路牌识别装置用于执行上述图1或2所示实施例提供的路牌识别方法。参见图3,该装置包括:
检测模块301,用于对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;
连通模块302,用于连通满足路牌颜色的像素点,得到至少一个第一连通区域;
第一过滤模块303,用于根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;
第一提取模块304,用于提取每个第二连通区域的图像特征;
第二过滤模块305,用于使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤,从至少一个第二连通区域中筛选出路牌区域,其中,路牌识别支持向量机根据路牌图像训练得到;
识别模块306,用于对路牌区域进行文字识别,得到路牌区域的路牌信息。
可选地,参见图4,装置,还包括:
第一获取模块307,用于获取初始街景图像;
裁剪模块308,用于根据初始街景图像中的路牌区域常规分布信息,对初始街景图像进行裁剪,得到待处理街景图像。
可选地,参见图5,检测模块301,包括:
过滤单元3011,用于在HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤;
第一确定单元3012,用于当任一像素点的颜色在路牌颜色对应的HSV阈值范围内时,将像素点作为满足路牌颜色的像素点。
可选地,参见图6,第一过滤模块303,包括:
过滤单元3031,用于根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对每个第一连通区域进行过滤;
第二确定单元3032,用于当任一第一连通区域满足大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征时,将第一连通区域作为一个第二连通区域。
可选地,第二确定单元3032在确定第一连通区域是否满足颜色分布特征时,用于:
当第一连通区域的颜色聚合为指定数值个颜色类时,确定第一连通区域满足颜色分布特征。
可选地,图像特征为HOG特征,参见图7,装置,还包括:
第二获取模块309,用于获取预设数值的路牌图像;
第二提取模块310,用于提取每个路牌图像的HOG特征;
训练模块311,用于通过支持向量机方式训练每个路牌图像的HOG特征,得到路牌识别支持向量机。
可选地,参见图8,第二提取模块310包括:
第三确定单元3101,用于确定每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值;
划分单元3102,用于将每个路牌图像划分为指定像素大小的像素块;
第四确定单元3103,用于根据每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值,确定每个像素块的HOG值;
第五确定单元3104,用于根据每个路牌图像包括的所有像素块的HOG值,确定每个路牌图像的HOG特征。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
本发明实施例提供的装置,通过对待处理街景图像的每个像素点进行颜色检测,得到满足路牌颜色的像素点,并通过连通满足路牌颜色的像素点得到第一连通区域后,再根据路牌图像特征进行区域过滤,从而从第一连通区域中筛选出满足路牌图像特征的第二连通区域,再进一步根据第二连通区域的图像特征及预先训练得到的路牌识别SVM,过滤得到路牌区域,进而通过提取路牌区域的路牌信息完成路牌的识别过程。由于路牌识别过程无需人工参与,因此,不仅节省了路牌识别成本,而且提高了路牌识别效率。
请参考图9,其示出了本发明实施例所涉及的终端的结构示意图,该终端可以用于实施上述图1或图2实施例提供的路牌识别方法。具体来讲:
终端900可以包括RF(Radio Frequency,射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、WiFi(Wireless Fidelity,无线保真)模块170、包括有一个或者一个以上处理核心的处理器180、以及电源190等部件。本领域技术人员可以理解,图9中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器180处理;另外,将涉及上行的数据发送给基站。通常,RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯***)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(CodeDivision Multiple Access,码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service,短消息服务)等。
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端900的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器120还可以包括存储器控制器,以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端900的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板141。进一步的,触敏表面131可覆盖显示面板141,当触敏表面131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图9中,触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端900还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在终端900移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端900还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与终端900之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔,以提供外设耳机与终端900的通信。
WiFi属于短距离无线传输技术,终端900通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块170,但是可以理解的是,其并不属于终端900的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端900的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行终端900的各种功能和处理数据,从而对终端进行整体监控。可选的,处理器180可包括一个或多个处理核心;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
终端900还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理***与处理器180逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源190还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端900还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端的显示单元是触摸屏显示器,终端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。所述一个或者一个以上程序包含用于执行以下操作的指令:
对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;
连通满足路牌颜色的像素点,得到至少一个第一连通区域;
根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;
提取每个第二连通区域的图像特征;
使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤,从至少一个第二连通区域中筛选出路牌区域,其中,路牌识别支持向量机根据路牌图像训练得到;
对路牌区域进行文字识别,得到路牌区域的路牌信息。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:对待处理街景图像中的每个像素点进行颜色检测之前,还包括:
获取初始街景图像;
根据初始街景图像中的路牌区域常规分布信息,对初始街景图像进行裁剪,得到待处理街景图像。
在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点,包括:
在HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤;
如果任一像素点的颜色在路牌颜色对应的HSV阈值范围内,则将像素点作为满足路牌颜色的像素点。
在第一种可能的实施方式作为基础而提供的第四种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域,包括:
根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对每个第一连通区域进行过滤;
如果任一第一连通区域满足大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征,则将第一连通区域作为一个第二连通区域。
在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:
当第一连通区域的颜色聚合为指定数值个颜色类时,确定第一连通区域满足颜色分布特征。
在第一种可能的实施方式作为基础而提供的第六种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:图像特征为HOG特征,使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤之前,还包括:
获取预设数值的路牌图像;
提取每个路牌图像的HOG特征;
通过支持向量机方式训练每个路牌图像的HOG特征,得到路牌识别支持向量机。
在第六种可能的实施方式作为基础而提供的第七种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:提取每个路牌图像的HOG特征,包括:
确定每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值;
将每个路牌图像划分为指定像素大小的像素块;
根据每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值,确定每个像素块的HOG值;
根据每个路牌图像包括的所有像素块的HOG值,确定每个路牌图像的HOG特征。
本发明实施例提供的终端,通过对待处理街景图像的每个像素点进行颜色检测,得到满足路牌颜色的像素点,并通过连通满足路牌颜色的像素点得到第一连通区域后,再根据路牌图像特征进行区域过滤,从而从第一连通区域中筛选出满足路牌图像特征的第二连通区域,再进一步根据第二连通区域的图像特征及预先训练得到的路牌识别SVM,过滤得到路牌区域,进而通过提取路牌区域的路牌信息完成路牌的识别过程。由于路牌识别过程无需人工参与,因此,不仅节省了路牌识别成本,而且提高了路牌识别效率。
本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。该计算机可读存储介质存储有一个或者一个以上程序,该一个或者一个以上程序被一个或者一个以上的处理器用来执行路牌识别方法,该方法包括:
对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;
连通满足路牌颜色的像素点,得到至少一个第一连通区域;
根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;
提取每个第二连通区域的图像特征;
使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤,从至少一个第二连通区域中筛选出路牌区域,其中,路牌识别支持向量机根据路牌图像训练得到;
对路牌区域进行文字识别,得到路牌区域的路牌信息。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:对待处理街景图像中的每个像素点进行颜色检测之前,还包括:
获取初始街景图像;
根据初始街景图像中的路牌区域常规分布信息,对初始街景图像进行裁剪,得到待处理街景图像。
在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点,包括:
在HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤;
如果任一像素点的颜色在路牌颜色对应的HSV阈值范围内,则将像素点作为满足路牌颜色的像素点。
在第一种可能的实施方式作为基础而提供的第四种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域,包括:
根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对每个第一连通区域进行过滤;
如果任一第一连通区域满足大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征,则将第一连通区域作为一个第二连通区域。
在第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:
当第一连通区域的颜色聚合为指定数值个颜色类时,确定第一连通区域满足所述颜色分布特征。
在第一种可能的实施方式作为基础而提供的第六种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:图像特征为HOG特征,使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤之前,还包括:
获取预设数值的路牌图像;
提取每个路牌图像的HOG特征;
通过支持向量机方式训练每个路牌图像的HOG特征,得到路牌识别支持向量机。
在第六种可能的实施方式作为基础而提供的第七种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:提取每个路牌图像的HOG特征,包括:
确定每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值;
将每个路牌图像划分为指定像素大小的像素块;
根据每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值,确定每个像素块的HOG值;
根据每个路牌图像包括的所有像素块的HOG值,确定每个路牌图像的HOG特征。
本发明实施例提供的计算机可读存储介质,通过对待处理街景图像的每个像素点进行颜色检测,得到满足路牌颜色的像素点,并通过连通满足路牌颜色的像素点得到第一连通区域后,再根据路牌图像特征进行区域过滤,从而从第一连通区域中筛选出满足路牌图像特征的第二连通区域,再进一步根据第二连通区域的图像特征及预先训练得到的路牌识别SVM,过滤得到路牌区域,进而通过提取路牌区域的路牌信息完成路牌的识别过程。由于路牌识别过程无需人工参与,因此,不仅节省了路牌识别成本,而且提高了路牌识别效率。
本发明实施例中提供了一种图形用户接口,该图形用户接口用在终端上,该终端包括触摸屏显示器、存储器和用于执行一个或者一个以上的程序的一个或者一个以上的处理器;该图形用户接口包括:
对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;
连通满足路牌颜色的像素点,得到至少一个第一连通区域;
根据路牌图像特征,对至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;
提取每个第二连通区域的图像特征;
使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤,从至少一个第二连通区域中筛选出路牌区域,其中,路牌识别支持向量机根据路牌图像训练得到;
对路牌区域进行文字识别,得到路牌区域的路牌信息。
本发明实施例提供的图形用户接口,通过对待处理街景图像的每个像素点进行颜色检测,得到满足路牌颜色的像素点,并通过连通满足路牌颜色的像素点得到第一连通区域后,再根据路牌图像特征进行区域过滤,从而从第一连通区域中筛选出满足路牌图像特征的第二连通区域,再进一步根据第二连通区域的图像特征及预先训练得到的路牌识别SVM,过滤得到路牌区域,进而通过提取路牌区域的路牌信息完成路牌的识别过程。由于路牌识别过程无需人工参与,因此,不仅节省了路牌识别成本,而且提高了路牌识别效率。
需要说明的是:上述实施例提供的路牌识别装置在识别路牌时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的路牌识别装置与路牌识别方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种路牌识别方法,其特征在于,所述方法包括:
获取初始街景图像;
将所述初始街景图像中的第一预设高度至第二预设高度之间的部分作为预设高度范围;
将所述预设高度范围作为路牌区域常规分布信息;
根据所述初始街景图像中的路牌区域常规分布信息,对所述初始街景图像进行裁剪,得到待处理街景图像;
对所述待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;
连通所述满足路牌颜色的像素点,得到至少一个第一连通区域;
根据路牌图像特征,对所述至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;
提取每个第二连通区域的图像特征;
使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤,从所述至少一个第二连通区域中筛选出路牌区域,所述路牌识别支持向量机根据路牌图像训练得到;
对所述路牌区域进行文字识别,得到所述路牌区域的路牌信息。
2.根据权利要求1所述的方法,其特征在于,所述对待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点,包括:
在色调饱和度亮度HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤;
如果任一像素点的颜色在路牌颜色对应的HSV阈值范围内,则将所述像素点作为满足路牌颜色的像素点。
3.根据权利要求1所述的方法,其特征在于,所述根据路牌图像特征,对所述至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域,包括:
根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对每个第一连通区域进行过滤;
如果任一第一连通区域满足大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征,则将所述第一连通区域作为一个第二连通区域。
4.根据权利要求3所述的方法,其特征在于,
当所述第一连通区域的颜色聚合为指定数值个颜色类时,确定所述第一连通区域满足所述颜色分布特征。
5.根据权利要求1所述的方法,其特征在于,所述图像特征为方向梯度直方图HOG特征,所述使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤之前,还包括:
获取预设数值的路牌图像;
提取每个路牌图像的HOG特征;
通过支持向量机方式训练每个路牌图像的HOG特征,得到路牌识别支持向量机。
6.根据权利要求5所述的方法,其特征在于,所述提取每个路牌图像的HOG特征,包括:
确定所述每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值;
将所述每个路牌图像划分为指定像素大小的像素块;
根据所述每个路牌图像包含的各个像素点在所述指定空间坐标系下的坐标值,确定每个像素块的HOG值;
根据所述每个路牌图像包括的所有像素块的HOG值,确定所述每个路牌图像的HOG特征。
7.一种路牌识别装置,其特征在于,所述装置包括:
第一获取模块,用于获取初始街景图像;
剪裁模块,用于将所述初始街景图像中的第一预设高度至第二预设高度之间的部分作为预设高度范围;将所述预设高度范围作为路牌区域常规分布信息;根据所述初始街景图像中的路牌区域常规分布信息,对所述初始街景图像进行裁剪,得到待处理街景图像;
检测模块,用于对所述待处理街景图像中的每个像素点进行颜色检测,得到满足路牌颜色的像素点;
连通模块,用于连通所述满足路牌颜色的像素点,得到至少一个第一连通区域;
第一过滤模块,用于根据路牌图像特征,对所述至少一个第一连通区域进行区域过滤,得到至少一个第二连通区域;
第一提取模块,用于提取每个第二连通区域的图像特征;
第二过滤模块,用于使用路牌识别支持向量机对每个第二连通区域的图像特征进行过滤,从所述至少一个第二连通区域中筛选出路牌区域,所述路牌识别支持向量机根据路牌图像训练得到;
识别模块,用于对所述路牌区域进行文字识别,得到所述路牌区域的路牌信息。
8.根据权利要求7所述的装置,其特征在于,所述检测模块,包括:
过滤单元,用于在色调饱和度亮度HSV模式下,对待处理街景图像中每个像素点的颜色进行HSV阈值过滤;
第一确定单元,用于当任一像素点的颜色在路牌颜色对应的HSV阈值范围内时,将所述像素点作为满足路牌颜色的像素点。
9.根据权利要求7所述的装置,其特征在于,所述第一过滤模块,包括:
过滤单元,用于根据路牌大小特征、宽高比例特征、旋转角度特征及颜色分布特征,对每个第一连通区域进行过滤;
第二确定单元,用于当任一第一连通区域满足大小特征阈值范围、宽高比例特征阈值范围、旋转角度特征阈值范围及颜色分布特征时,将所述第一连通区域作为一个第二连通区域。
10.根据权利要求9所述的装置,其特征在于,所述第二确定单元在确定所述第一连通区域是否满足所述颜色分布特征时,用于:
当所述第一连通区域的颜色聚合为指定数值个颜色类时,确定所述第一连通区域满足所述颜色分布特征。
11.根据权利要求7所述的装置,其特征在于,所述图像特征为方向梯度直方图HOG特征,所述装置,还包括:
第二获取模块,用于获取预设数值的路牌图像;
第二提取模块,用于提取每个路牌图像的HOG特征;
训练模块,用于通过支持向量机方式训练每个路牌图像的HOG特征,得到路牌识别支持向量机。
12.根据权利要求11所述的装置,其特征在于,所述第二提取模块,包括:
第三确定单元,用于确定所述每个路牌图像包含的各个像素点在指定空间坐标系下的坐标值;
划分单元,用于将所述每个路牌图像划分为指定像素大小的像素块;
第四确定单元,用于根据所述每个路牌图像包含的各个像素点在所述指定空间坐标系下的坐标值,确定每个像素块的HOG值;
第五确定单元,用于根据所述每个路牌图像包括的所有像素块的HOG值,确定所述每个路牌图像的HOG特征。
CN201410663502.2A 2014-11-19 2014-11-19 路牌识别方法及装置 Active CN104463105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410663502.2A CN104463105B (zh) 2014-11-19 2014-11-19 路牌识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410663502.2A CN104463105B (zh) 2014-11-19 2014-11-19 路牌识别方法及装置

Publications (2)

Publication Number Publication Date
CN104463105A CN104463105A (zh) 2015-03-25
CN104463105B true CN104463105B (zh) 2017-11-03

Family

ID=52909121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410663502.2A Active CN104463105B (zh) 2014-11-19 2014-11-19 路牌识别方法及装置

Country Status (1)

Country Link
CN (1) CN104463105B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503011A (zh) * 2015-09-07 2017-03-15 高德软件有限公司 一种地图数据处理方法及装置
CN106560835B (zh) * 2015-09-30 2019-05-24 高德软件有限公司 一种路牌识别方法及装置
CN105279488B (zh) * 2015-10-16 2018-12-25 西南交通大学 一种公路视频巡检的里程标识牌自动识别方法
CN106709412B (zh) * 2015-11-17 2021-05-11 腾讯科技(深圳)有限公司 交通标志检测方法和装置
CN105678318B (zh) * 2015-12-31 2019-03-08 百度在线网络技术(北京)有限公司 交通标牌的匹配方法及装置
CN105825203B (zh) * 2016-03-30 2018-12-18 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN113554554A (zh) 2020-04-24 2021-10-26 京东方科技集团股份有限公司 图像颜色过滤方法及装置、电子设备、存储介质
CN112528970A (zh) * 2021-02-07 2021-03-19 禾多科技(北京)有限公司 路牌检测方法、装置、设备和计算机可读介质
CN112668675B (zh) * 2021-03-22 2021-06-22 腾讯科技(深圳)有限公司 一种图像处理方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404117A (zh) * 2008-10-21 2009-04-08 东软集团股份有限公司 交通标志识别方法及装置
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法
CN103020623A (zh) * 2011-09-23 2013-04-03 株式会社理光 交通标志检测方法和交通标志检测设备
CN103971126A (zh) * 2014-05-12 2014-08-06 百度在线网络技术(北京)有限公司 一种交通标志识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010039634B4 (de) * 2010-08-23 2013-05-08 Ford Global Technologies, Llc Anordnung und Verfahren zur Verkehrszeichenerkennung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404117A (zh) * 2008-10-21 2009-04-08 东软集团股份有限公司 交通标志识别方法及装置
CN103020623A (zh) * 2011-09-23 2013-04-03 株式会社理光 交通标志检测方法和交通标志检测设备
CN102542260A (zh) * 2011-12-30 2012-07-04 中南大学 一种面向无人驾驶车的道路交通标志识别方法
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法
CN103971126A (zh) * 2014-05-12 2014-08-06 百度在线网络技术(北京)有限公司 一种交通标志识别方法和装置

Also Published As

Publication number Publication date
CN104463105A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104463105B (zh) 路牌识别方法及装置
CN105005457B (zh) 地理位置展示方法及装置
CN104135609B (zh) 辅助拍照方法、装置及终端
CN103871051B (zh) 图像处理方法、装置和电子设备
CN103729636B (zh) 字符切割方法、装置及电子设备
CN106778585A (zh) 一种人脸关键点跟踪方法和装置
CN103714161B (zh) 图像缩略图的生成方法、装置和终端
CN107038681A (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN105956518A (zh) 一种人脸识别方法、装置和***
CN109391762A (zh) 一种跟踪拍摄的方法和装置
CN103853819B (zh) 一种信息获取的方法、终端及***
CN107590463A (zh) 人脸识别方法及相关产品
CN104881844B (zh) 一种图片组合的方法、装置以及终端设备
CN107705251A (zh) 图片拼接方法、移动终端及计算机可读存储介质
CN106156711A (zh) 文本行的定位方法及装置
CN106204423A (zh) 一种基于增强现实的图片调整方法、装置及终端
CN106558039A (zh) 一种人像处理方法及装置
CN104519269B (zh) 一种照相设备的取景框显示方法和装置
CN106250187A (zh) 一种增强现实ar的信息处理方法、装置及***
CN110022553A (zh) 一种用户身份识别卡管理方法及移动终端
CN105912920A (zh) 一种指纹解锁方法及终端
CN106203459A (zh) 图片处理方法及装置
CN105898561B (zh) 一种视频图像处理方法和装置
CN108256100A (zh) 一种信息搜索方法、移动终端及云服务器
CN109213407A (zh) 一种截图方法及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170830

Address after: 100084 Haidian District Tsinghua Yuan Beijing No. 1

Applicant after: Tsinghua University

Applicant after: Shenzhen Tencent Computer System Co., Ltd.

Address before: The South Road in Guangdong province Shenzhen city Fiyta building 518000 floor 5-10 Nanshan District high tech Zone

Applicant before: Shenzhen Tencent Computer System Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant