CN106557759B - 一种标志牌信息获取方法及装置 - Google Patents

一种标志牌信息获取方法及装置 Download PDF

Info

Publication number
CN106557759B
CN106557759B CN201611063821.5A CN201611063821A CN106557759B CN 106557759 B CN106557759 B CN 106557759B CN 201611063821 A CN201611063821 A CN 201611063821A CN 106557759 B CN106557759 B CN 106557759B
Authority
CN
China
Prior art keywords
target
coordinate point
mean shift
image
traffic sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611063821.5A
Other languages
English (en)
Other versions
CN106557759A (zh
Inventor
万韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201611063821.5A priority Critical patent/CN106557759B/zh
Publication of CN106557759A publication Critical patent/CN106557759A/zh
Application granted granted Critical
Publication of CN106557759B publication Critical patent/CN106557759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种标志牌信息获取方法及装置,涉及信息处理技术领域,所述方法包括:对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,所述目标图像为待获取标志牌信息的图像;基于所述多个坐标点,通过均值偏移算法从所述目标图像中确定交通标志牌的图像区域;对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息。本公开实施例通过霍夫变换对目标图像进行检测,并采用均值偏移算法确定交通标志牌的图像区域,之后,通过对该交通标志牌的图像区域进行识别,得到该交通标志牌的标志牌信息,提高了交通标志的图像区域的检测精度,降低了误检率。

Description

一种标志牌信息获取方法及装置
技术领域
本公开涉及信息处理技术领域,尤其涉及一种标志牌信息获取方法及装置。
背景技术
随着信息处理技术的发展,智能驾驶技术越来越受到人们关注。其中,实现智能驾驶的一个重要前提是能够自动的获取到准确的交通标志牌的标志牌信息。
相关技术中,终端首先通过图像采集设备进行图像采集,之后,判断采集到的图像中是否包含交通标志牌的图像。当采集到的图像中包含交通标志牌的图像时,将该交通标志牌的图像与样本集中的多个交通标志牌模板逐一进行相似度比较,当该交通标志牌的图像与至少一个交通标志牌模板的相似度大于预设阈值时,则选取该至少一个交通标志牌模板中与该交通标志牌的图像相似度最大的交通标志牌模板作为最终的识别结果,并获取该交通标志牌的标志牌信息。
发明内容
为克服相关技术中存在的问题,本公开提供一种标志牌信息获取方法及装置。
根据本公开实施例的第一方面,提供一种标志牌信息获取方法,所述方法包括:
对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,所述目标图像为待获取标志牌信息的图像;
基于所述多个坐标点,通过均值偏移算法从所述目标图像中确定交通标志牌的图像区域;
对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息。
可选地,所述基于所述多个坐标点,通过均值偏移算法从所述目标图像中确定交通标志牌的图像区域,包括:
从所述多个坐标点中选择目标坐标点,以及从所述多个坐标点中选择位于目标圆形区域内的坐标点,所述目标圆形区域为以所述目标坐标点为圆心且以预设长度为半径的圆形区域;
基于所述目标坐标点和位于所述目标圆形区域内的坐标点,计算均值偏移向量;
判断所述均值偏移向量的向量值是否小于预设阈值;
当所述均值偏移向量的向量值不小于预设阈值时,将所述均值偏移向量的向量终点确定为所述目标坐标点,并返回从所述多个坐标点中选择位于目标圆形区域内的坐标点的步骤,直至确定得到向量值小于所述预设阈值的均值偏移向量为止;
基于用于计算得到向量值小于所述预设阈值的均值偏移向量的目标坐标点,从所述目标图像中确定交通标志牌的图像区域。
可选地,所述基于所述目标坐标点和位于所述目标圆形区域内的坐标点,计算均值偏移向量,包括:
确定所述目标坐标点在所述;
基于所述目标坐标点在所述霍夫参数空间中的坐标和位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标,通过下述公式计算所述均值偏移向量;
可选地,所述对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息,包括:
通过预设卷积网络模型对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息,所述预设卷积网络模型的卷积核、卷积层数和全连接层数均小于指定卷积网络模型的卷积核、卷积层数和全连接层数。
可选地,所述指定卷积网络模型为AlexNet网络模型。
根据本公开实施例的第二方面,提供一种标志牌信息获取装置,所述装置包括:
变换模块,用于对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,所述目标图像为待获取标志牌信息的图像;
确定模块,用于基于所述多个坐标点,通过均值偏移算法从所述目标图像中确定交通标志牌的图像区域;
识别模块,用于对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息。
可选地,所述确定模块包括:
选择子模块,用于从所述多个坐标点中选择目标坐标点,以及从所述多个坐标点中选择位于目标圆形区域内的坐标点,所述目标圆形区域为以所述目标坐标点为圆心且以预设长度为半径的圆形区域;
计算子模块,用于基于所述目标坐标点和位于所述目标圆形区域内的坐标点,计算均值偏移向量;
判断子模块,用于判断所述均值偏移向量的向量值是否小于预设阈值;
第一确定子模块,用于当所述均值偏移向量的向量值不小于预设阈值时,将所述均值偏移向量的向量终点确定为所述目标坐标点,并返回从所述多个坐标点中选择位于目标圆形区域内的坐标点的步骤,直至确定得到向量值小于所述预设阈值的均值偏移向量为止;
第二确定子模块,用于基于用于计算得到向量值小于所述预设阈值的均值偏移向量的目标坐标点,从所述目标图像中确定交通标志牌的图像区域。
可选地,所述计算子模块用于:
确定所述目标坐标点在所述霍夫参数空间中的坐标,以及位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标;
基于所述目标坐标点在所述霍夫参数空间中的坐标和位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标,通过下述公式计算所述均值偏移向量;
Figure BDA0001162400630000031
其中,在上述公式中,mh,G为所述均值偏移向量,q为预设置信度,g(·)为梯度概率密度函数,x为所述目标坐标点在所述霍夫参数空间中的坐标,xj为位于所述目标圆形区域内的第j坐标点在所述霍夫参数空间中的坐标,h为所述预设长度,所述n为位于所述目标圆形区域内的坐标点的总个数。
可选地,所述识别模块包括:
识别子模块,用于通过预设卷积网络模型对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息,所述预设卷积网络模型的卷积核、卷积层数和全连接层数均小于指定卷积网络模型的卷积核、卷积层数和全连接层数。
可选地,所述指定卷积网络模型为AlexNet网络模型。
本公开的实施例提供的技术方案可以包括以下有益效果:本公开实施例采用霍夫变换对目标图像进行检测,并通过均值偏移算法来确定交通标志牌的图像区域,减少了相关技术中仅采用霍夫变换对目标图像进行检测时,由于强光、遮挡等外部环境的影响,难以准确确定交通标志牌的图像区域而导致的对目标图像的误检,提高了交通标志牌的图像区域的检测精度,降低了误检率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种标志牌信息获取方法的流程图。
图2是根据一示例性实施例示出的一种标志牌信息获取方法的流程图。
图3A是根据一示例性实施例示出的一种标志牌信息获取装置的框图。
图3B是根据一示例性实施例示出的一种确定模块的框图。
图4是根据一示例性实施例示出的一种标志牌信息获取装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在对本公开实施例进行详细的解释说明之前,先对本公开实施例的应用场景予以介绍。随着信息处理技术的发展,智能驾驶技术越来越受到人们关注。其中,实现智能驾驶的一个重要前提是能够自动的获取到准确的交通标志牌的标志牌信息。
在相关技术中,终端可以利用霍夫变换对交通标志牌的图像区域进行检测,但是由于拍摄目标图像时诸如强光、变形等外部环境的影响,单纯采用霍夫变换进行检测的检测精度较低,误检率高。在对交通标志牌的图像区域进行识别时,终端可以采用模板匹配算法或者是深度卷积网络。模板匹配算法识别精度较低,在遇到强光、有遮挡等情况时,识别错误现象比较严重,而深度卷积网络模型由于参数较多,模型复杂,因此识别速度较慢,且占用内存严重,尤其不适用于类似手机之类的移动终端。
为了解决上述问题,本公开实施例提供了一种标志牌信息获取方法,该方法在对目标图像采用霍夫变换进行检测的同时,还采用均值偏移算法来确定交通标志牌的图像区域,提高了交通标志牌的图像区域的检测精度,降低了误检率。之后,终端通过采用卷积核、卷积层数、全连接层数均小于指定卷积网络模型的预设卷积网络模型对该交通标志牌的图像区域进行识别,在保证识别精度的前提下,降低了卷积网络模型的复杂度,提高了识别该交通标志牌的图像区域的速度,降低了终端的内存占用率。
图1是根据一示例性实施例示出的一种标志牌信息获取方法的流程图,如图1所示,该标志牌信息获取方法用于终端中,包括以下步骤:
在步骤101中,对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,该目标图像为待获取标志牌信息的图像。
在步骤102中,基于该多个坐标点,通过均值偏移算法从该目标图像中确定交通标志牌的图像区域。
在步骤103中,对该交通标志牌的图像区域进行识别,得到该交通标志牌的标志牌信息。
本公开实施例在采用霍夫变换对目标图像进行检测时,通过均值偏移算法确定交通标志牌的图像区域,减少了相关技术中仅仅采用霍夫变换对目标图像进行检测时,由于强光、遮挡等外部环境的影响,难以准确确定交通标志牌的图像区域而导致的对目标图像的误检,提高了交通标志牌的图像区域的检测精度,降低了误检率。
可选地,基于该多个坐标点,通过均值偏移算法从该目标图像中确定交通标志牌的图像区域,包括:
从该多个坐标点中选择目标坐标点,以及从该多个坐标点中选择位于目标圆形区域内的坐标点,目标圆形区域为以目标坐标点为圆心且以预设长度为半径的圆形区域;
基于该目标坐标点和位于该目标圆形区域内的坐标点,计算均值偏移向量;
判断该均值偏移向量的向量值是否小于预设阈值;
当该均值偏移向量的向量值不小于预设阈值时,将该均值偏移向量的向量终点确定为目标坐标点,并返回从该多个坐标点中选择位于该目标圆形区域内的坐标点的步骤,直至确定得到向量值小于预设阈值的均值偏移向量为止;
基于用于计算得到向量值小于预设阈值的均值偏移向量的目标坐标点,从目标图像中确定交通标志牌的图像区域。
可选地,基于该目标坐标点和位于该目标圆形区域内的坐标点,计算均值偏移向量,包括:
确定该目标坐标点在霍夫参数空间中的坐标,以及位于该目标圆形区域内的坐标点在霍夫参数空间中的坐标;
基于该目标坐标点在霍夫参数空间中的坐标和位于该目标圆形区域内的坐标点在霍夫参数空间中的坐标,通过下述公式计算均值偏移向量;
Figure BDA0001162400630000061
其中,在上述公式中,mh,G为均值偏移向量,q为预设置信度,g(·)为梯度概率密度函数,x为目标坐标点在霍夫参数空间中的坐标,xj为位于目标圆形区域内的第j坐标点在霍夫参数空间中的坐标,h为预设长度,n为位于目标圆形区域内的坐标点的总个数。
可选地,对该交通标志牌的图像区域进行识别,得到该交通标志牌的标志牌信息,包括:
通过预设卷积网络模型对交通标志牌的图像区域进行识别,得到交通标志牌的标志牌信息,预设卷积网络模型的卷积核、卷积层数和全连接层数均小于指定卷积网络模型的卷积核、卷积层数和全连接层数。
可选地,指定卷积网络模型为AlexNet网络模型。
上述所有可选技术方案,均可按照任意结合形成本公开的可选实施例,本公开实施例对此不再一一赘述。
图2是根据一示例性实施例示出的一种标志牌信息获取方法的流程图,如图2所示,该标志牌信息获取方法用于终端中,包括以下步骤:
在步骤201中,获取目标图像。
终端可以通过自身的摄像头实时获取目标图像,也可以连接其他摄像设备,从其他摄像设备中获取目标图像。也即是,该目标图像可以是该终端通过自身携带的摄像头进行拍摄获取到的,比如手机通过自身的摄像头拍摄的图像;也可以是与该终端连接的其他摄像设备拍摄后,该终端从该摄像设备中获取到的。
进一步地,终端在获取到目标图像之后,可以将该目标图像进行二值化处理或者是将该目标图像处理成灰度图。
在步骤202中,对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,该目标图像为待获取标志牌信息的图像。
可选地,当终端将目标图像进行二值化处理或者将目标图像处理成灰度图之后,可以将处理后的目标图像中多个灰度值相同的像素点进行连接,从而得到经过该多个像素点的多个参数方程。之后,将该处理后的目标图像进行霍夫变换,从而得到霍夫参数空间中的多个坐标点。
其中,霍夫参数空间是指过该目标图像内像素点的参数方程经霍夫变换后得到的由该参数方程中的参数组成的空间。例如,在目标图像内,过某一像素点(x,y)的参数方程为y=kx+b,则经过霍夫变换后的霍夫参数空间是由(k,b)组成的空间。再例如,在目标图像内,过某一像素点(x,y)的参数方程为(x-a)2+(y-b)2=r2,经过霍夫变换后的霍夫参数空间则是由(a,b,r)组成的三维空间。
需要说明的是,对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点的方法可以参考相关技术,本公开实施例对此不再一一赘述。
在步骤203中,基于该多个坐标点,通过均值偏移算法从该目标图像中确定交通标志牌的图像区域。
可选地,本步骤203可以通过以下三个步骤来实现:
(1)从该多个坐标点中选择目标坐标点。
其中,终端可以从该多个坐标点中随机选择一个点,将该选择的点作为目标坐标点。
(2)从该多个坐标点中选择位于目标圆形区域内的坐标点,该目标圆形区域为以该目标坐标点为圆心且以预设长度为半径的圆形区域。
当确定了目标坐标点之后,终端可以以该目标坐标点为圆心,以预设长度h为半径绘制圆形区域,得到目标圆形区域。此时,从该多个坐标点中选择位于该目标圆形区域内的坐标点。
(3)基于该目标坐标点和位于该目标圆形区域内的坐标点,计算均值偏移向量。
可选地,终端首先确定目标坐标点在霍夫参数空间中的坐标,以及位于该目标圆形区域内的坐标点在该霍夫参数空间中的坐标;之后,基于目标坐标点在霍夫参数空间中的坐标,以及位于该目标圆形区域内的坐标点在该霍夫参数空间中的坐标,通过下述公式计算均值偏移向量;
Figure BDA0001162400630000081
其中,在上述公式中,mh,G为均值偏移向量,q为预设置信度,g(·)为梯度概率密度函数,x为目标坐标点在霍夫参数空间中的坐标,xj为位于目标圆形区域内的第j坐标点在霍夫参数空间中的坐标,h为预设长度,n为位于目标圆形区域内的坐标点的总个数。
(4)判断该均值偏移向量的向量值是否小于预设阈值。
基于步骤(3)中计算得到的均值偏移向量,计算该均值偏移向量的向量值,并将该均值偏移向量的向量值与预设阈值进行比较,从而确定该均值偏移向量的向量值是否小于预设阈值。
(5)当该均值偏移向量的向量值不小于预设阈值时,将该均值偏移向量的向量终点确定为目标坐标点,并返回步骤(2),直至确定得到向量值小于预设阈值的均值偏移向量为止。
进一步地,当该均值偏移向量的向量值小于该预设阈值时,则基于步骤(1)中确定的目标坐标点的坐标,从该目标图像中确定交通标志牌的图像区域的位置和大小,从而得到交通标志牌在目标图像中的图像区域。
其中,基于目标坐标点的坐标,从该目标图像中确定交通标志牌的图像区域的位置和大小的实现过程可以为:将目标坐标点的坐标确定为在目标图像中过像素点的参数方程中的参数,并根据该参数方程从该目标图像中确定交通标志牌的图像区域的位置和大小。
例如,该均值偏移向量为m1,计算得到的该均值偏移向量的向量值为|m1|,预设阈值为ε,当|m1|≥ε时,将该均值偏移向量m1的向量终点作为目标坐标点,并返回步骤(2)继续计算均值偏移向量,直至确定得到向量值小于预设阈值ε的均值偏移向量为止。
进一步地,当|m1|<ε时,则获取步骤(1)中用于计算该均值偏移向量m1的目标坐标点的坐标,假设该霍夫参数空间是由目标图像中过像素点的参数方程(x-a)2+(y-b)2=r2进行霍夫变换而来的,且该目标坐标点的坐标为(a0,b0,r0),则将该目标坐标点的坐标确定为参数方程(x-a)2+(y-b)2=r2中的参数,也即是a=a0,b=b0,r=r0,此时,终端可以基于该参数方程,从该目标图像中确定该交通标志牌的图像区域为圆形,且该圆形交通标志牌的图像区域的圆心坐标为(a0,b0),半径为r0
(6)基于用于计算得到向量值小于该预设阈值的均值偏移向量的目标坐标点,从该目标图像中确定交通标志牌的图像区域。
基于步骤(5)中最终确定的向量值小于预设阈值的均值偏移向量,将用于计算该均值偏移向量的目标坐标点的坐标确定为在目标图像中过像素点的参数方程中的参数,并根据该参数方程从该目标图像中确定交通标志牌的图像区域的位置和大小,从而得到该交通标志牌在目标图像中的图像区域。
例如,当步骤(5)中|m1|≥ε,且返回步骤(2)后继续计算均值偏移向量,最终确定得到的向量值小于预设阈值的均值偏移向量为mj时,则基于用于计算该均值偏移向量mj的目标坐标点,从该目标图像中确定交通标志牌的图像区域的位置和大小。
本公开实施例通过步骤202和步骤203对目标图像进行检测,确定了交通标志牌的图像区域;之后,终端可以将该目标图像进行剪裁,去除该目标图像中除该交通标志牌的图像区域外的其他区域,得到该交通标志牌的图像区域,并通过步骤204对该交通标志牌的图像区域进行识别。
在步骤204中,对该交通标志牌的图像区域进行识别,得到该交通标志牌的标志牌信息。
可选地,终端可以通过预设卷积网络模型对交通标志牌的图像区域进行识别,得到交通标志牌的标志牌信息。其中,预设卷积网络模型的卷积核、卷积层数和全连接层数均小于指定卷积网络模型的卷积核、卷积层数和全连接层数。
其中,该预设卷积网络模型可以通过对该指定卷积网络模型的卷积核减小指定卷积核数,对卷积层数减少第一指定数值以及对全连接层减少第二指定数值而得到。也即是,该预设卷积网络模型是通过对该指定卷积网络模型进行改进而得到的。其中,指定卷积核数,第一指定数值和第二指定数值均为预先设置的数值。通过这种改进,可以有效地避免终端在使用该指定卷积网络模型时由于参数较多,模型复杂度较高而导致的运算速度较慢且内存占用严重的问题。
进一步地,该指定卷积网络模型可以为AlexNet网络模型。其中,AlexNet网络模型是由Alex Krizhevsky提出的一种深度卷积网络模型。该AlexNet网络模型包含六千万个参数,五层卷积层和三层全连接层,该网络模型的最前端输入的是图片的原始像素点,最终输出的结果是图片的识别结果。通常,该AlexNet网络模型最终可以同时输出五个识别结果,其中,该五个识别结果全部错误的概率为15.3%。
例如,该指定卷积网络模型为AlexNet网络模型,该AlexNet网络模型的卷积层数为5,前两个卷积层的卷积核分别为11×11,5×5,后面三个卷积层的卷积核均为3×3,全连接层数为3;而该预设卷积网络模型可以是对该AlexNet网络模型的改进,即在该AlexNet网络模型的基础上,将卷积层数减少为4,各卷积层的卷积核均减小为3×3,全连接层数减少为1。由于该预设卷积网络模型采用了更小的卷积核、卷积层数及全连接层数,因此,采用该预设卷积网络模型对该交通标志牌的图像区域进行识别,降低了卷积网络模型的复杂度,提高了识别该交通标志牌的图像区域的速度,降低了终端的内存占用率。
在本公开实施例中,通过霍夫变换对目标图像进行检测,并采用均值偏移算法确定交通标志牌的图像区域,减少了相关技术中仅仅采用霍夫变换对目标图像进行检测时,由于强光、遮挡等外部环境的影响,难以准确确定交通标志牌的图像区域而导致的对目标图像的误检,提高了交通标志牌的图像区域的检测精度,降低了误检率。之后,终端通过采用卷积核、卷积层数、全连接层数均小于指定卷积网络模型的预设卷积网络模型对该交通标志牌的图像区域进行识别,降低了卷积网络模型的复杂度,提高了识别该交通标志牌的图像区域的速度,降低了终端的内存占用率。
图3A是根据一示例性实施例示出的一种标志牌信息获取装置300框图。参照图3A,该装置包括变换模块301,确定模块302和识别模块303。
变换模块301,用于对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,该目标图像为待获取标志牌信息的图像;
确定模块302,用于基于该多个坐标点,通过均值偏移算法从该目标图像中确定交通标志牌的图像区域;
识别模块303,用于对该交通标志牌的图像区域进行识别,得到交通标志牌的标志牌信息。
可选地,参见图3B,确定模块302包括:
选择子模块3021,用于从多个坐标点中选择目标坐标点,以及从多个坐标点中选择位于目标圆形区域内的坐标点,目标圆形区域为以目标坐标点为圆心且以预设长度为半径的圆形区域;
计算子模块3022,用于基于目标坐标点和位于目标圆形区域内的坐标点,计算均值偏移向量;
判断子模块3023,用于判断均值偏移向量的向量值是否小于预设阈值;
第一确定子模块3024,用于当均值偏移向量的向量值不小于预设阈值时,将均值偏移向量的向量终点确定为目标坐标点,并返回从多个坐标点中选择位于目标圆形区域内的坐标点的步骤,直至确定得到向量值小于预设阈值的均值偏移向量为止;
第二确定子模块3025,用于基于用于计算得到向量值小于预设阈值的均值偏移向量的目标坐标点,从目标图像中确定交通标志牌的图像区域。
可选地,计算子模块3022用于:
确定目标坐标点在霍夫参数空间中的坐标,以及位于目标圆形区域内的坐标点在霍夫参数空间中的坐标;
基于目标坐标点在霍夫参数空间中的坐标和位于目标圆形区域内的坐标点在霍夫参数空间中的坐标,通过下述公式计算均值偏移向量;
Figure BDA0001162400630000121
其中,在上述公式中,mh,G为均值偏移向量,q为预设置信度,g(·)为梯度概率密度函数,x为目标坐标点在霍夫参数空间中的坐标,xj为位于目标圆形区域内的第j坐标点在霍夫参数空间中的坐标,h为预设长度,n为位于目标圆形区域内的坐标点的总个数。
可选地,识别模块303包括:
识别子模块,用于通过预设卷积网络模型对交通标志牌的图像区域进行识别,得到交通标志牌的标志牌信息,预设卷积网络模型的卷积核、卷积层数和全连接层数均小于指定卷积网络模型的卷积核、卷积层数和全连接层数。
可选地,指定卷积网络模型为AlexNet网络模型。
在本公开实施例中,终端通过霍夫变换对目标图像进行检测,并采用均值偏移算法确定交通标志牌的图像区域,减少了相关技术中仅仅采用霍夫变换对目标图像进行检测时,由于强光、遮挡等外部环境的影响,难以准确确定交通标志牌的图像区域而导致的对目标图像的误检,提高了交通标志牌的图像区域的检测精度,降低了误检率。之后,终端通过采用卷积核、卷积层数、全连接层数均小于指定卷积网络模型的预设卷积网络模型对该交通标志牌的图像区域进行识别,降低了卷积网络模型的复杂度,提高了识别该交通标志牌的图像区域的速度,降低了终端的内存占用率。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种用于标志牌信息获取的装置400的框图。例如,装置400可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图4,装置400可以包括以下一个或多个组件:处理组件402,存储器404,电源组件406,多媒体组件408,音频组件410,输入/输出(I/O)的接口412,传感器组件414,以及通信组件416。
处理组件402通常控制装置400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件406为装置400的各种组件提供电源。电源组件406可以包括电源管理***,一个或多个电源,及其他与为装置400生成、管理和分配电源相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克风(MIC),当装置400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
I/O接口412为处理组件402和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器,用于为装置400提供各个方面的状态评估。例如,传感器组件414可以检测到装置400的打开/关闭状态,组件的相对定位,例如所述组件为装置400的显示器和小键盘,传感器组件414还可以检测装置400或装置400一个组件的位置改变,用户与装置400接触的存在或不存在,装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件416还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由装置400的处理器420执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种标志牌信息获取方法,所述方法包括:
对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,所述目标图像为待获取标志牌信息的图像;
基于所述多个坐标点,通过均值偏移算法从所述目标图像中确定交通标志牌的图像区域;
对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息。
可选地,所述基于所述多个坐标点,通过均值偏移算法从所述目标图像中确定交通标志牌的图像区域,包括:
从所述多个坐标点中选择目标坐标点,以及从所述多个坐标点中选择位于目标圆形区域内的坐标点,所述目标圆形区域为以所述目标坐标点为圆心且以预设长度为半径的圆形区域;
基于所述目标坐标点和位于所述目标圆形区域内的坐标点,计算均值偏移向量;
判断所述均值偏移向量的向量值是否小于预设阈值;
当所述均值偏移向量的向量值不小于预设阈值时,将所述均值偏移向量的向量终点确定为所述目标坐标点,并返回从所述多个坐标点中选择位于目标圆形区域内的坐标点的步骤,直至确定得到向量值小于所述预设阈值的均值偏移向量为止;
基于用于计算得到向量值小于所述预设阈值的均值偏移向量的目标坐标点,从所述目标图像中确定交通标志牌的图像区域。
可选地,所述基于所述目标坐标点和位于所述目标圆形区域内的坐标点,计算均值偏移向量,包括:
确定所述目标坐标点在所述;
基于所述目标坐标点在所述霍夫参数空间中的坐标和位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标,通过下述公式计算所述均值偏移向量;
可选地,所述对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息,包括:
通过预设卷积网络模型对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息,所述预设卷积网络模型的卷积核、卷积层数和全连接层数均小于指定卷积网络模型的卷积核、卷积层数和全连接层数。
可选地,所述指定卷积网络模型为AlexNet网络模型。
在本公开实施例中,终端通过霍夫变换对目标图像进行检测,并采用均值偏移算法确定交通标志牌的图像区域,减少了相关技术中仅仅采用霍夫变换对目标图像进行检测时,由于强光、遮挡等外部环境的影响,难以准确确定交通标志牌的图像区域而导致的对目标图像的误检,提高了交通标志牌的图像区域的检测精度,降低了误检率。之后,终端通过采用卷积核、卷积层数、全连接层数均小于指定卷积网络模型的预设卷积网络模型对该交通标志牌的图像区域进行识别,降低了卷积网络模型的复杂度,提高了识别该交通标志牌的图像区域的速度,降低了终端的内存占用率。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (7)

1.一种标志牌信息获取方法,其特征在于,所述方法包括:
对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,所述目标图像为待获取标志牌信息的图像;
从所述多个坐标点中选择目标坐标点,以及从所述多个坐标点中选择位于目标圆形区域内的坐标点,所述目标圆形区域为以所述目标坐标点为圆心且以预设长度为半径的圆形区域;
确定所述目标坐标点在所述霍夫参数空间中的坐标,以及位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标;
基于所述目标坐标点在所述霍夫参数空间中的坐标和位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标,通过下述公式计算均值偏移向量;
Figure FDA0002367884380000011
其中,在上述公式中,mh,G为所述均值偏移向量,q为预设置信度,g(·)为梯度概率密度函数,x为所述目标坐标点在所述霍夫参数空间中的坐标,xj为位于所述目标圆形区域内的第j坐标点在所述霍夫参数空间中的坐标,h为所述预设长度,所述n为位于所述目标圆形区域内的坐标点的总个数;
判断所述均值偏移向量的向量值是否小于预设阈值;
当所述均值偏移向量的向量值不小于预设阈值时,将所述均值偏移向量的向量终点确定为所述目标坐标点,并返回从所述多个坐标点中选择位于目标圆形区域内的坐标点的步骤,直至确定得到向量值小于所述预设阈值的均值偏移向量为止;
将用于计算得到向量值小于所述预设阈值的均值偏移向量的目标坐标点的坐标确定为在所述目标图像中过像素点的参数方程中的参数,并根据所述参数方程从所述目标图像中确定交通标志牌的图像区域的位置和大小;
对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息。
2.根据权利要求1所述的方法,其特征在于,所述对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息,包括:
通过预设卷积网络模型对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息,所述预设卷积网络模型的卷积核、卷积层数和全连接层数均小于指定卷积网络模型的卷积核、卷积层数和全连接层数。
3.根据权利要求2所述的方法,其特征在于,所述指定卷积网络模型为AlexNet网络模型。
4.一种标志牌信息获取装置,其特征在于,所述装置包括:
变换模块,用于对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,所述目标图像为待获取标志牌信息的图像;
确定模块,用于基于所述多个坐标点,通过均值偏移算法从所述目标图像中确定交通标志牌的图像区域;
识别模块,用于对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息;
其中,所述确定模块包括:
选择子模块,用于从所述多个坐标点中选择目标坐标点,以及从所述多个坐标点中选择位于目标圆形区域内的坐标点,所述目标圆形区域为以所述目标坐标点为圆心且以预设长度为半径的圆形区域;
计算子模块,用于基于所述目标坐标点和位于所述目标圆形区域内的坐标点,计算均值偏移向量;
判断子模块,用于判断所述均值偏移向量的向量值是否小于预设阈值;
第一确定子模块,用于当所述均值偏移向量的向量值不小于预设阈值时,将所述均值偏移向量的向量终点确定为所述目标坐标点,并返回从所述多个坐标点中选择位于目标圆形区域内的坐标点的步骤,直至确定得到向量值小于所述预设阈值的均值偏移向量为止;
第二确定子模块,用于将用于计算得到向量值小于所述预设阈值的均值偏移向量的目标坐标点的坐标确定为在所述目标图像中过像素点的参数方程中的参数,并根据所述参数方程从所述目标图像中确定交通标志牌的图像区域的位置和大小;
其中,所述计算子模块具体用于:
确定所述目标坐标点在所述霍夫参数空间中的坐标,以及位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标;
基于所述目标坐标点在所述霍夫参数空间中的坐标和位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标,通过下述公式计算所述均值偏移向量;
Figure FDA0002367884380000031
其中,在上述公式中,mh,G为所述均值偏移向量,q为预设置信度,g(·)为梯度概率密度函数,x为所述目标坐标点在所述霍夫参数空间中的坐标,xj为位于所述目标圆形区域内的第j坐标点在所述霍夫参数空间中的坐标,h为所述预设长度,所述n为位于所述目标圆形区域内的坐标点的总个数。
5.根据权利要求4所述的装置,其特征在于,所述识别模块包括:
识别子模块,用于通过预设卷积网络模型对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息,所述预设卷积网络模型的卷积核、卷积层数和全连接层数均小于指定卷积网络模型的卷积核、卷积层数和全连接层数。
6.根据权利要求5所述的装置,其特征在于,所述指定卷积网络模型为AlexNet网络模型。
7.一种标志牌信息获取装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
对目标图像进行霍夫变换,得到霍夫参数空间中的多个坐标点,所述目标图像为待获取标志牌信息的图像;
从所述多个坐标点中选择目标坐标点,以及从所述多个坐标点中选择位于目标圆形区域内的坐标点,所述目标圆形区域为以所述目标坐标点为圆心且以预设长度为半径的圆形区域;
确定所述目标坐标点在所述霍夫参数空间中的坐标,以及位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标;
基于所述目标坐标点在所述霍夫参数空间中的坐标和位于所述目标圆形区域内的坐标点在所述霍夫参数空间中的坐标,通过下述公式计算均值偏移向量;
Figure FDA0002367884380000041
其中,在上述公式中,mh,G为所述均值偏移向量,q为预设置信度,g(·)为梯度概率密度函数,x为所述目标坐标点在所述霍夫参数空间中的坐标,xj为位于所述目标圆形区域内的第j坐标点在所述霍夫参数空间中的坐标,h为所述预设长度,所述n为位于所述目标圆形区域内的坐标点的总个数;
判断所述均值偏移向量的向量值是否小于预设阈值;
当所述均值偏移向量的向量值不小于预设阈值时,将所述均值偏移向量的向量终点确定为所述目标坐标点,并返回从所述多个坐标点中选择位于目标圆形区域内的坐标点的步骤,直至确定得到向量值小于所述预设阈值的均值偏移向量为止;
将用于计算得到向量值小于所述预设阈值的均值偏移向量的目标坐标点的坐标确定为在所述目标图像中过像素点的参数方程中的参数,并根据所述参数方程从所述目标图像中确定交通标志牌的图像区域的位置和大小;
对所述交通标志牌的图像区域进行识别,得到所述交通标志牌的标志牌信息。
CN201611063821.5A 2016-11-25 2016-11-25 一种标志牌信息获取方法及装置 Active CN106557759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611063821.5A CN106557759B (zh) 2016-11-25 2016-11-25 一种标志牌信息获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611063821.5A CN106557759B (zh) 2016-11-25 2016-11-25 一种标志牌信息获取方法及装置

Publications (2)

Publication Number Publication Date
CN106557759A CN106557759A (zh) 2017-04-05
CN106557759B true CN106557759B (zh) 2020-03-17

Family

ID=58445199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611063821.5A Active CN106557759B (zh) 2016-11-25 2016-11-25 一种标志牌信息获取方法及装置

Country Status (1)

Country Link
CN (1) CN106557759B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122737B (zh) * 2017-04-26 2020-07-31 聊城大学 一种道路交通标志自动检测识别方法
GB2574372B (en) * 2018-05-21 2021-08-11 Imagination Tech Ltd Implementing Traditional Computer Vision Algorithms As Neural Networks
CN110287767A (zh) * 2019-05-06 2019-09-27 深圳市华付信息技术有限公司 可防攻击的活体检测方法、装置、计算机设备及存储介质
CN112036421A (zh) * 2019-05-16 2020-12-04 搜狗(杭州)智能科技有限公司 一种图像处理方法、装置和电子设备
CN110163153B (zh) * 2019-05-23 2022-01-04 阿波罗智能技术(北京)有限公司 用于识别交通标志牌边界的方法及装置
CN112348876B (zh) * 2019-08-08 2024-06-11 北京地平线机器人技术研发有限公司 一种标志牌的空间坐标获取方法及装置
CN111275000B (zh) * 2020-02-18 2023-05-02 广州敏视数码科技有限公司 基于历史定位数据的交通标志牌检测方法
CN113361303B (zh) * 2020-03-05 2023-06-23 百度在线网络技术(北京)有限公司 临时交通标志牌识别方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008057675A1 (de) * 2008-11-17 2009-07-02 Daimler Ag Verfahren zur Verkehrszeichenerkennung

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457373B2 (en) * 2009-03-16 2013-06-04 Siemens Aktiengesellschaft System and method for robust 2D-3D image registration
CN102147857A (zh) * 2011-03-22 2011-08-10 黄晓华 利用改进霍夫变换进行类圆形检测的图像处理方法
US9053389B2 (en) * 2012-12-03 2015-06-09 Analog Devices, Inc. Hough transform for circles
KR101737791B1 (ko) * 2014-10-23 2017-05-19 현대모비스 주식회사 교통 표지판 인식 장치 및 그 동작 방법
CN106022300B (zh) * 2016-06-02 2019-07-05 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008057675A1 (de) * 2008-11-17 2009-07-02 Daimler Ag Verfahren zur Verkehrszeichenerkennung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
In-vehicle camera traffic sign detection and recognition;Andrzej Ruta等;《Machine Vision and Applications》;20091203;第22卷(第2期);第359-375页 *

Also Published As

Publication number Publication date
CN106557759A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN106557759B (zh) 一种标志牌信息获取方法及装置
CN106651955B (zh) 图片中目标物的定位方法及装置
CN106557768B (zh) 对图片中的文字进行识别的方法及装置
CN108121952B (zh) 人脸关键点定位方法、装置、设备及存储介质
RU2577188C1 (ru) Способ, аппарат и устройство для сегментации изображения
JP6392468B2 (ja) 領域認識方法及び装置
US9674395B2 (en) Methods and apparatuses for generating photograph
CN108629354B (zh) 目标检测方法及装置
CN108010060B (zh) 目标检测方法及装置
CN107480665B (zh) 文字检测方法、装置及计算机可读存储介质
CN107784279B (zh) 目标跟踪方法及装置
CN106778773B (zh) 图片中目标物的定位方法及装置
CN107944367B (zh) 人脸关键点检测方法及装置
CN106228556B (zh) 图像质量分析方法和装置
CN108668080B (zh) 提示镜头脏污程度的方法及装置、电子设备
CN109034150B (zh) 图像处理方法及装置
CN107958223B (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
CN108009563B (zh) 图像处理方法、装置及终端
CN107025441B (zh) 肤色检测方法及装置
US20220222831A1 (en) Method for processing images and electronic device therefor
CN105678296B (zh) 确定字符倾斜角度的方法及装置
CN108154093B (zh) 人脸信息识别方法及装置、电子设备、机器可读存储介质
CN110930351A (zh) 一种光斑检测方法、装置及电子设备
CN108154090B (zh) 人脸识别方法及装置
CN107239758B (zh) 人脸关键点定位的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant