CN116324911A - 用于从车辆牌照中提取字符的方法和用于执行方法的牌照字符提取装置 - Google Patents

Abstract

本申请提供了一种方法，通过该方法，牌照字符提取装置从车辆牌照中提取字符。该方法可以包括以下步骤：将通过拍摄车辆的牌照所获得的预输入图像转换为灰度图像；将包括在灰度图像中的像素的颜色值与该像素附近的像素的颜色值的第一平均值进行比较，以便生成转换图像；将转换图像与通过对转换图像进行二值化所获得的二值化图像进行比较，以便生成细化图像；以及提取包括在细化图像中的字符。

Description

用于从车辆牌照中提取字符的方法和用于执行方法的牌照字 符提取装置

技术领域

本公开内容涉及从车辆的牌照中提取字符的方法以及用于执行该方法的牌照字符提取装置。

背景技术

牌照识别***是检测车辆的牌照并识别牌照上的字符的***，并且可以用于管理车辆在停车场的进出。

在牌照识别***中，为了识别车辆的牌照，需要对车辆的牌照进行拍摄以及将牌照字符从所拍摄的牌照中分离的处理。

在现有技术的牌照识别***中，使用诸如边缘检测和二值化的方法来将牌照字符从牌照中分离。在边缘检测和二值化方法中，使用阈值来分离牌照字符，并且存在这样的问题：当整个牌照中的亮度分布由于照明的位置、亮度等的改变而改变时，不能保证牌照字符的识别率。

发明内容

本公开内容提供了一种将像素的值与位于这样的像素周围的像素的值的平均值进行比较以从所拍摄的图像中提取牌照字符的方法。

然而，本公开内容要解决的问题不限于上面所提及的那些问题，并且本领域技术人员可以从下面的描述清楚地理解未提及的另外的要解决的问题。

根据本公开内容的一个方面，提供了一种由牌照字符提取装置执行的从车辆的牌照中提取字符的方法，该方法包括：将通过拍摄车辆的牌照所获得的输入图像转换为灰度图像；基于将包括在灰度图像中的至少一个像素的值与指示邻近至少一个像素的像素的平均值的第一平均值进行比较的结果，生成转换图像；基于将转换图像与通过对转换图像进行二值化所获得的二值化图像进行比较的结果，生成细化图像；以及提取包括在细化图像中的字符。

生成转换图像可以包括：确定反映将包括在灰度图像中的至少一个像素的值与第一平均值进行比较的结果的至少一个像素的转换值；以及生成包括具有该转换值的至少一个像素的转换图像。

该方法还包括：通过标记灰度图像来生成至少一个标记，该至少一个标记包括具有预定转换值并且彼此接触的像素。

确定转换值可以包括：在灰度图像中不存在长度等于或大于预定长度的标记的情况下，增加灰度图像中的所有像素中小于第一平均值的像素的值，并且减少灰度图像中的所有像素中等于或大于第一平均值的像素的值。

该方法还包括：通过标记灰度图像来生成至少一个标记，该至少一个标记包括具有预定值并且彼此接触的像素。

确定转换值可以包括：在灰度图像中存在长度等于或大于预定长度的标记的情况下，对灰度图像中的所有像素中等于或小于第一平均值的像素的值进行转换。

提取包括在细化图像中的字符包括：确定包括在细化图像中的字符中的每个字符的字符边界框；计算字符边界框与包括在各个预定牌照模板中的模板边界框之间的交叠程度；以及基于所计算的交叠程度，使用预定牌照模板中与字符边界框具有最高交叠程度的牌照模板来提取字符。

该方法还包括：确定在转换图像中的预定区域中包括的像素中具有预设值或更大值的像素的值的第二平均值；以及基于将包括在转换图像中的像素的值与第二平均值进行比较的结果，从转换图像生成二值化图像。

根据本公开内容的另一方面，提供了一种牌照字符提取装置，该装置包括：摄像装置，其被配置成对车辆的牌照进行拍摄；存储器，其被配置成存储牌照字符提取模型，牌照字符提取模型用于从通过拍摄车辆的牌照所获得的图像中提取字符；以及处理器。

该处理器被配置成：执行牌照字符提取模型，并且将通过拍摄车辆的牌照所获得的图像转换为灰度图像，基于将包括在灰度图像中的像素的值与该像素周围的像素的值的第一平均值进行比较的结果，生成转换图像，基于将转换图像与通过对转换图像进行二值化所获得的二值化图像进行比较的结果，生成细化图像，以及提取包括在细化图像中的字符。

根据本公开内容的另一方面，提供了一种包括计算机可执行指令的非暂态计算机可读存储介质，其中，指令在由处理器执行时使处理器执行从车辆的牌照中提取字符的方法，该方法包括：将通过拍摄车辆的牌照所获得的输入图像转换为灰度图像；基于将包括在灰度图像中的至少一个像素的值与邻近该像素的像素的值的第一平均值进行比较的结果，生成转换图像；基于将转换图像与通过对转换图像进行二值化所获得的二值化图像进行比较的结果，生成细化图像；以及提取包括在细化图像中的字符。

根据本公开内容的实施方式，将像素的值与位于这样的像素周围的像素的值的平均值进行比较，并且从图像中提取牌照字符，使得无论照明的位置或亮度如何改变都可以保证一定的高识别率。

附图说明

图1是示出根据本公开内容的实施方式的牌照字符提取装置的框图。

图2是概念性地示出根据本公开内容的实施方式的牌照字符提取模型的功能的框图。

图3的(a)和(b)示出了灰度图像和经改变的图像的示例，在经改变的图像中，值已经从灰度图像改变。

图4的(a)至(c)示出了示出了灰度图像和经改变的图像的另一示例，在经改变的图像中，值已经从灰度图像改变。

图5的(a)和(b)是示出根据本公开内容的实施方式的在牌照边框检测单元中检测牌照边框的处理的示例。

图6示出了根据本公开内容的实施方式的由牌照二值化单元生成的二值化图像的示例。

图7示出了根据本公开内容的实施方式的由图像细化单元生成的细化图像的示例。

图8的(a)至(d)示出了根据本公开内容的实施方式的牌照模板的示例。

图9示出了图8的(a)的牌照模板中设置关注区域的形式。

图10的(a)和(b)示出了根据本公开内容的实施方式的在模板匹配单元中获得匹配模板的处理的示例。

图11示出了根据本公开内容的实施方式的由字符提取单元提取的牌照字符的示例。

图12是示出根据本公开内容的实施方式的提取车辆的牌照字符的方法的流程图。

具体实施方式

根据结合附图进行的以下描述，将清楚地理解实施方式的优点和特征以及实现实施方式的方法。然而，实施方式不限于所描述的这些实施方式，因为实施方式可以以各种形式实现。应当注意，提供本实施方式是为了进行完整公开，并且还使本领域技术人员能够了解实施方式的完整范围。因此，实施方式仅由所附权利要求书的范围来限定。

将简要描述本说明书中所使用的术语，并且将详细地描述本公开内容。

在本公开内容中所使用的术语中，在考虑本公开内容中的功能的同时，使用了当前尽可能广泛使用的通用术语。然而，这些术语可以根据在该领域工作的技术人员的意图或先例、新技术的出现等而改变。另外，在某些情况下，存在由申请人任意选择的术语，并且在这种情况下，将在对应发明的描述中详细描述术语的含义。因此，本公开内容中使用的术语应当基于术语的含义和本公开内容的整体内容来限定，而不仅仅通过术语的名称来限定。

当在整个说明书中描述某一部分“包括”某个部件时，除非有相反的具体说明，否则这意指还可以包括其他部件，而不是排除其他部件。

另外，本说明书中所使用的术语例如“单元”或“部分”意指软件部件或硬件部件(例如FPGA或ASIC)，并且“单元”和“部分”发挥某种作用。然而，“单元”或“部分”不限于软件或硬件。“部分”或“单元”可以被配置成在可寻址存储介质中，或者可以被配置成再现一个或更多个处理器。因此，例如，“单元”或“部分”包括部件(例如软件部件、面向对象的软件部件、类部件和任务部件)、进程、函数、属性、过程、子例程、程序代码段、驱动器、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。部件和“单元”中所提供的功能可以组合成较小数量的部件和“单元”，或者可以进一步分为其他部件和“单元”。

在下文中，将参照附图详细地描述本公开内容的实施方式，使得本领域的普通技术人员可以容易地实现本公开内容。在附图中，为了清楚地描述本公开内容，省略了与描述无关的部分。

图1是示出根据本公开内容的实施方式的牌照字符提取装置的框图。

参照图1和图2，车辆牌照字符提取装置100可以包括处理器110、存储器120和收发器130。

处理器110可以控制车辆牌照字符提取装置100的所有功能。

存储器120可以存储牌照字符提取模型200和执行牌照字符提取模型200所需的信息。

在本说明书中，牌照字符提取模型200意指用于执行从通过拍摄车辆的牌照所获得的图像或一组图像中提取牌照字符的功能的软件(计算机程序代码)，并且可以通过一系列指令来实现。

处理器110可以对存储在存储器130中的牌照字符提取模型200和执行牌照字符提取模型200所需的信息进行加载，以便执行牌照字符提取模型200。

处理器110可以执行牌照字符提取模型200以将从摄像装置(未示出)接收到的车辆牌照的图像转换为灰度图像，提取通过从灰度图像转换牌照字符的像素值所获得的转换图像，从转换图像中检测牌照边框，对转换图像进行二值化以生成二值化图像，使用已经从其中检测到牌照边框的转换图像来细化二值化图像，并且将细化的图像与牌照模板进行匹配以提取牌照字符。本说明书中的牌照字符是指构成牌照上的车辆编号的字符，并且可以包括数字以及字符。

处理器110可以控制存储器120和收发器130中的至少一个以执行牌照字符提取模型200。

将参照图2更详细地描述牌照字符提取模型200的功能。

收发器130可以从拍摄车辆牌照的摄像装置(未示出)接收车辆牌照的图像。

在本说明书中，已经对使用收发器130从摄像装置(未示出)接收车辆牌照的图像的情况进行了描述，但是本公开内容不限于此。即，根据实施方式，牌照字符提取装置100可以包括输入和输出装置(未示出)，并且牌照字符提取装置100可以使用输入和输出装置接收车辆牌照的图像。

图2是概念性地示出根据本公开内容实施方式的牌照字符提取模型的功能的框图。

参照图2，牌照字符提取模型200可以包括图像接收单元210、图像预处理单元220、像素值转换单元230、牌照边框检测单元240、牌照二值化单元250、图像细化单元260、模板匹配单元270和字符提取单元280。

在图2中所示出的牌照字符提取模型200中，通过概念性地划分牌照字符提取模型200的功能来获得图像接收单元210、图像预处理单元220、像素值转换单元230、牌照边框检测单元240、牌照二值化单元250、图像细化单元260、模板匹配单元270和字符提取单元280，以便易于说明牌照字符提取模型200的功能，并且本公开内容不限于此。即，根据实施方式，在牌照字符提取模型200中，图像接收单元210、图像预处理单元220、像素值转换单元230、牌照边框检测单元240、牌照二值化单元250、图像细化单元260、模板匹配单元270和字符提取单元280的功能可以被合并或分离，并且可以通过包括在一个或更多个程序中的一系列指令来实现。

图像接收单元210可以接收通过使用摄像装置120拍摄车辆的牌照所获得的图像。

根据实施方式，当接收到的车辆牌照的图像不满足预设标准时，图像预处理单元220可以对接收到的车辆牌照的图像进行校正。

预设标准包括在车辆牌照的图像中牌照是否以预设角度(例如，5度)或更大的角度倾斜，车辆牌照是否包括图像中心，以及牌照的水平长度和垂直长度是否等于或大于图像的水平长度和垂直长度的一半。

例如，当在车辆牌照的图像中牌照以预设角度(例如，5度)或更大的角度倾斜时，图像预处理单元220可以通过执行扭曲来减小牌照的倾斜。

此外，当车辆的牌照不包括图像中心时，图像预处理单元220可以移动车辆的牌照，再次接收车辆牌照的图像，或者再次从整个图像拍摄车辆的牌照以校正图像，使得车辆的牌照包括图像中心。

最后，当牌照的水平长度小于图像的水平长度的一半或牌照的垂直长度小于图像的垂直长度的一半时，图像预处理单元220可以再次接收车辆牌照的图像，或者再次从整个图像拍摄车辆的牌照图像，并且对图像进行校正以使得牌照的水平长度和垂直长度等于或大于图像的水平长度和垂直长度的一半。

由图像接收单元210接收的车辆牌照的图像可以是彩色图像或灰度图像。

在图像接收单元210接收到彩色图像的情况下，图像预处理单元220可以将接收到的彩色图像转换为灰度图像。这旨在降低提取牌照字符的复杂性，因为牌照的背景或牌照字符的颜色不是固定的。

根据实施方式，图像预处理单元220可以对车辆牌照的图像执行平滑。这旨在避免以下问题：由于图像或背景中的噪声而导致字符被切割以及字符被合并的情况而出现牌照字符的提取准确度降低。由于平滑是已知技术，因此将省略对其的描述。

像素值转换单元230可以将车辆牌照的灰度图像中的牌照字符的像素值放大，以便将牌照字符与车辆的牌照分离。在现有技术中，使用阈值对整个图像执行二值化，但是在这种情况下，存在字符提取的准确度由于照明分布的变化而改变的问题。

为了解决这个问题，像素值转换单元230可以确定是否使用位于像素周围的像素的颜色值代替阈值来对该像素的颜色值进行转换以从灰度图像中分离字符。

更具体地，像素值转换单元230可以将像素的值与位于该像素周围的像素的值的平均值进行比较，并且根据比较结果确定是否要转换像素的值。此处，位于该像素周围的像素可以指邻近该像素并且位于距该像素预定距离或范围内的像素。

根据实施方式，像素值转换单元230可以使用下面的式1来对包括在车辆牌照的灰度图像中的像素的值进行转换以生成转换图像。

[式1]

此处，D(p)可以指转换图像D中的像素p的值，G(p)可以指灰度图像G中的像素p的值，并且M(p)可以指位于像素p周围的像素的值的平均值。

即，在表示车辆牌照的灰度图像G(p)中的像素p的值小于(或者等于或小于)周围像素的值的平均值M(p)的情况下，像素值转换单元230可以确定像素p的颜色是黑色(或较为接近黑色的颜色)，并且将通过从255中减去像素p的值G(p)所获得的值确定为转换图像D中的像素p的值。

另一方面，在表示车辆牌照的灰度图像G(p)中的像素p的值大于(或超过)周围像素的值的平均值M(p)的情况下，像素值转换单元230可以确定像素p的颜色是白色(或较为接近白色的颜色)，并且将转换图像D中的像素p的值确定为0。

例如，进一步参照图3的(a)，图3的(a)示出了灰度图像G被转换为转换图像D之前的灰度图像G，并且图3的(b)示出了使用式1从灰度图像G转换而来的转换图像G。

如图3的(a)和(b)所示，暗区域例如牌照字符或牌照边框(即，式1中G(p)＜M(p)的区域)可以被转换为转换图像中的亮区域(即，像素值D(p)可以被放大为通过从255减去像素p的值G(p)所获得的值)，并且亮区域例如牌照内部或外部的背景(即，对应于式1中的“否则”的区域)可以被转换为转换图像中的暗区域(即，像素值D(p)可以被转换为0)。

然而，进一步参照图4的(a)至(c)，取决于车辆牌照的类型，可能存在具有白色牌照字符的牌照。

因此，当图4的(a)中的灰度图像被代入式1时，如图4的(b)所示，灰度图像中的亮区域例如牌照字符或牌照边框(即，对应于式1中的“否则”的区域)被转换为转换图像中的暗区域(即，像素值D(p)被转换为0)，并且暗区域例如牌照内部或外部的背景(即，式1中G(p)＜M(p)的区域)被转换为转换图像中的亮区域(即，像素值D(p)可以被放大为通过从255减去像素p的值G(p)所获得的值)。

即，如从图3和图4可以看出的，取决于牌照的类型，灰度图像中像素值被放大的部分可以不同。因此，为了获得与牌照类型无关的相同的转换图像，像素值转换单元230需要确定在通过将灰度图像代入式1所获得的图像中像素值已经被放大的区域是牌照的字符区域还是牌照的背景区域。

为此，像素值转换单元230可以对使用式1所获取的转换图像执行标记。

此处，标记可以指通过将图像中具有相同的像素值(或者在预定范围内或者等于或大于预定像素值的像素值)(此处，像素值大于0)的相邻(即，连接的)像素设置相同的标记来将具有相同像素值的相邻像素形成为一个组的处理。例如，由于构成图3的(b)中的数字5的像素彼此相邻并且具有等于或大于预定值的相同的像素值，因此构成数字5的像素可以形成一个标记LB1。另一方面，在图4的(b)中，由于位于数字8646的边界之外的像素彼此相邻并且具有等于或大于预定值的相同像素值，因此位于数字8646的边界之外并且围绕数字8646的像素可以形成一个标记(LB2)。

即，在假设转换图像的水平长度和垂直长度分别为w和h并且转换图像中的每个牌照字符形成标记的情况下，因为转换图像中应当存在至少四个牌照字符，所以牌照字符的标记的水平长度应当小于w/4。另一方面，在假设背景形成转换图像中的标记的情况下，具有大于w/4的长度的标记可以出现在牌照的中心。

因此，在与转换图像中连接(w/4，h/2)到(3w/4，h/2)的线段接触的标记的水平长度小于w/4的情况下(即，在不存在水平长度大于w/4的标记的情况下)，像素值转换单元230可以确定牌照字符已经被放大。例如，进一步参照图3的(b)，与转换图像中连接(w/4，h/2)到(3w/4，h/2)的线段接触的标记是{9}、

{6}、{3}、{2}和背景中的一些小标记，并且由于{9}、/>

{6}、{3}、{2}以及背景中的一些小标记均不具有大于w/4的水平长度，所以像素值转换单元230可以确定牌照字符已经被放大。

另一方面，在与转换图像中连接(w/4，h/2)到(3w/4，h/2)的线段接触的标记的水平长度大于w/4的情况下，像素值转换单元230可以确定牌照的背景已经被放大。例如，进一步参照图4的(b)，与转换图像中连接(w/4，h/2)到(3w/4，h/2)的线段接触的标记是位于数字8646的边界外并且围绕数字8646的标记LB2，并且由于标记LB2的水平长度大于w/4(即，从标记的最左侧到最右侧的长度大于w/4)，所以像素值转换单元230可以确定牌照的背景已经被放大。

因此，在确定牌照背景被放大的情况下，像素值转换单元230可以使用下面的式2代替式1来对灰度图像的像素值进行转换以生成图4的(c)中的转换图像。

【式2】

在本说明书中，标记的水平长度可以指包括在标记中的像素中最左侧像素的x坐标与最右侧像素的x坐标之间的差。此外，如下面将描述的，标记的垂直长度可以指包括在标记中的像素中最上面的像素的y坐标与最下面的像素的y坐标之间的差。

此外，在本说明书中，为了便于描述，可以将转换图像表示为顶点是(0，0)、(0，h)、(w，0)和(w，h)的矩形。

牌照边框检测单元240可以从由像素值转换单元230生成的转换图像中检测牌照边框。

更具体地，牌照边框检测单元240可以从转换图像的中心执行向上扫描、向下扫描、向左扫描和向右扫描，并且当遇到标记时，将遇到具有等于或大于预定长度(例如，w/4)的水平长度的标记处的点确定为牌照边框的上侧，下侧，左侧和右侧所位于的点。

例如，参照图5的(a)至(b)，当牌照边框检测单元240从转换图像的中心(w/2，h/2)向左执行扫描时，在扫描期间会按顺序遇到

的标记、‘9’的标记和‘5’的标记。

然而，由于

的标记、‘9’的标记和‘5’的标记的水平长度未超过w/4，所以牌照边框检测单元240可以继续扫描。

然后，由于在第一点LP1处扫描到的标记的水平长度等于或大于w/4，所以牌照边框检测单元240可以确定牌照边框的左侧位于第一点LP1处。

当从中心(w/2，h/2)向右、向上和向下执行相同的处理时，牌照边框检测单元240可以确定牌照边框的右侧位于第二点LP2处，确定牌照边框的上侧位于第三点LP3处，并且确定牌照边框的下侧位于第四点LP4处。

如图5的(b)所示，当形成连接第一点LP1、第二点LP2、第三点LP3和第四点LP4的矩形时，牌照边框检测单元240可以检测到牌照边框LP。

牌照二值化单元250可以对由像素值转换单元230生成的转换图像进行二值化。此处，与表示光强度(光强度)的灰度图像不同，二值化可以指以黑色和白色表示图像。

如图3的(a)和(b)所示，在像素值转换单元230中，在生成字符转换的图像时，不仅可以放大牌照字符，还可以放大牌照内部或外部的部分背景(即，也可以放大对应于牌照内部或外部的部分背景的像素的值)。因此，牌照二值化单元250可以对转换图像进行二值化，以便从转换图像中去除在牌照内部或外部的不需要放大的背景。

在假设转换图像的中间高度处存在标记的情况下，牌照二值化单元250可以计算连接中间高度(即，h/2)的线上的阈值以用于进行二值化。

更具体地，牌照二值化单元250可以在从左到右扫描连接(0，h/2)到(w-1，h/2)的线段的同时计算位于该线段上的像素中其像素值已经被放大的像素(即，像素值不为0的像素)的值的平均值，并且将计算的平均值确定为阈值。

牌照二值化单元250可以将阈值与包括在转换图像中的像素的值进行比较，并且基于比较结果生成二值化图像。

即，在包括在转换图像中的像素的值小于(或者等于或小于)阈值的情况下，牌照二值化单元250可以将像素的值改变为‘0’，并且在包括在转换图像中的像素的值等于或大于(或者超过)阈值的情况下，可以不改变像素的值或者将像素的值改变为等于或大于‘0’的预定值，以生成二值化图像。

进一步参照图6，图6中所示出的图像可以是由牌照二值化单元250生成的二值化图像。当将图6中所示出的二值化图像与图3的(b)中所示出的转换图像进行比较时，可以确认通过二值化已经极大地去除了牌照的内部和外部的背景的放大部分。

图像细化单元260可以将由牌照二值化单元250生成的二值化图像与牌照边框检测单元240已经从其中检测到牌照边框的转换图像进行比较以生成细化图像。

更具体地，图像细化单元260可以通过以下三个步骤生成细化图像。

在第一步骤中，图像细化单元260可以对二值化图像执行标记，并且从包括在转换图像中的标记中去除与包括在二值化图像中的标记不交叠的标记。这旨在去除位于转换图像的背景中的标记。

在第二步骤中，图像细化单元260可以从转换图像中去除位于牌照边框外部的标记，通过第一步骤已经从转换图像中去除了与包括在二值化图像中的标记不交叠的标记。此处，位于牌照边框外部的标记不仅可以包括完全位于牌照边框外部的标记，还可以包括部分位于牌照边框外部的标记。这是因为位于牌照边框外部的标记与牌照字符不对应。

在第三步骤中，图像细化单元260可以从包括在二值化图像中的标记中去除长度大于预设值的标记。此处，大于预设值的长度可以包括大于w/4的标记的水平长度和大于0.9h的标记的垂直长度。这是因为认识到由于牌照包括至少四个牌照字符，所以水平长度不大于w/4，并且牌照字符不大于灰度图像的垂直长度的0.9倍。然而，取决于实施方式，用作去除标记的标准的水平长度和垂直长度可以不同。

根据实施方式，在不需要执行第三步骤的情况下，图像细化单元260可以仅执行第一步骤和第二步骤。

图像细化单元260可以通过上面的步骤生成细化图像。

进一步参照图7，图7中所示出的图像可以是使用图5的(b)中已经从其中检测到牌照边框的转换图像和图6中所示出的二值化图像生成的细化图像。从图7可以确认，除了牌照字符之外的所有标记已经通过第一步骤至第三步骤的纯化处理被去除。

模板匹配单元270可以将预输入的牌照模板与细化图像进行比较以确定牌照模板中与细化图像匹配的匹配模板。

更具体地，模板匹配单元270可以将包括在每个牌照模板中的关注区域与包括在细化图像中的关注区域进行比较，并且将具有最匹配的关注区域的模板确定为匹配模板。

此处，包括在牌照模板中的关注区域可以是表示牌照模板中一个字符所位于的区域的区域。可以在牌照模板中预先设置与包括在牌照模板中的字符数量一样多的关注区域，并且例如，包括在牌照模板中的关注区域可以是边界框。

此外，包括在细化图像中的关注区域是其中标记了包括在细化图像中的牌照字符的区域，并且例如，关注区域可以是边界框。

当模板匹配单元270接收到细化图像时，模板匹配单元270可以检测包括在细化图像中的关注区域。

更具体地，模板匹配单元270可以检测细化图像中的牌照字符中的每个牌照字符的标记以便从细化图像中检测关注区域。例如，模板匹配单元270可以将包括在细化图像中的标记中具有预设范围内的水平长度和垂直长度的标记确定为牌照字符的标记。

模板匹配单元270可以计算牌照字符的标记的水平长度和垂直长度，并且将关注区域设置为具有与牌照字符的标记的水平长度和垂直长度相同的水平长度和垂直长度，或者设置为具有预定余量的大于牌照字符的标记的水平长度和垂直长度的长度。

根据实施方式，模板匹配单元270可以将具有针对牌照字符设置关注区域的细化图像和具有预设的关注区域的牌照模板应用于下面的式3以确定匹配模板。

【式3】

其中

这里，A_n表示牌照模板A的第n个关注区域，B_m表示细化图像B的第m个关注区域，includeness(A_n，B_m)表示牌照模板A的第n个关注区域与细化图像B的第m个关注区域之间的交叠程度。area(A)表示牌照模板A的关注区域的宽度，并且area(A∩B)表示牌照模板A的关注区域与细化图像B的关注区域交叠的区域的宽度。

因此，模板匹配单元270可以针对包括在牌照模板A中的关注区域(A_n)中的每个关注区域确定包括在细化图像B中的关注区域(B_m)中最交叠的关注区域的交叠值，并且将所确定的交叠值相乘以确定牌照模板中与细化图像最匹配的匹配模板。

即，模板匹配单元270可以将牌照模板中具有式3的最大包括度(includeness)的牌照模板确定为匹配模板。

进一步参照图8至图10，图8的(a)至(d)示出了牌照模板的示例，图9示出了牌照模板T_LP，在牌照模板T_LP中预设了关注区域T_BBX1至T_BBX7，并且图10示出了模板匹配单元270使牌照模板的关注区域与细化图像对应以获得匹配模板的处理。

从图10的(a)可以确认，当使图8的(a)至(d)中的图8的(a)和图9中所示出的牌照模板T_LP与图7中的细化图像对应时，细化图像的关注区域与牌照模板T_LP的关注区域T_BBX1至T_BBX7非常交叠。

另一方面，从图10的(b)可以确认，当使图8的(a)至(d)中的图8的(c)中所示出的牌照模板与图7中的细化图像对应时，细化图像的关注区域以比图10所示出的交叠程度更低的交叠程度与牌照模板的关注区域交叠。

这使得模板匹配单元270可以将图8的(a)的牌照模板T_LP确定为匹配模板。

字符提取单元280可以使用所确定的匹配模板从细化图像中仅提取牌照字符。

更具体地，字符提取单元280可以使包括在匹配模板中的关注区域与细化图像对应，并且从包括在细化图像中的标记中删除未包括在牌照模板的关注区域中的标记以最终提取牌照字符。

此处，被包括在牌照模板的关注区域中可以意指细化图像的整个标记被包括在牌照模板的关注区域中，但是也可以意指细化图像的标记的预设范围或更大范围被包括在牌照模板的关注区域中。

进一步参照图11，图11示出了由字符提取单元280提取的牌照字符。从图11可以确认，可以通过模板匹配单元270和字符提取单元280的操作从牌照中提取仅牌照字符。

图12是示出根据本公开内容的实施方式的提取车辆的牌照字符的方法的流程图。

参照图2和图12，当图像接收单元210接收到使用摄像装置120拍摄的车辆牌照的图像时(S1200)，像素值转换单元230可以对车辆牌照的灰度图像中的牌照字符的像素值(即，对应于牌照字符的像素的值)进行转换(S1210)。

此后，牌照边框检测单元240可以从通过对字符的像素值进行转换获得的转换图像中检测牌照边框(S1220)，并且牌照二值化单元250可以对通过对牌照字符的像素值进行转换获得的转换图像进行二值化(S1230)。

在本说明书中，为了便于描述，已经描述了牌照边框检测单元240对转换图像中的牌照边框进行检测，并且然后牌照二值化单元250对转换图像进行二值化的情况，但是本公开内容不限于此。即，根据实施方式，可以同时执行对牌照边框的检测和对转换图像的二值化，或者可以首先执行对转换图像的二值化，然后可以执行对牌照边框的检测。

图像细化单元260可以将通过对转换图像进行二值化所获得的二值化图像与从其中已经检测到牌照边框的转换图像进行比较以生成通过使用二值化图像对转换图像的标记进行细化所获得的细化图像(S1240)。

模板匹配单元270可以将预输入的牌照模板与细化图像进行比较以确定牌照模板中与细化图像匹配的匹配模板(S1250)。

字符提取单元280可以使用由模板匹配单元270确定的匹配模板从车辆的牌照中提取牌照字符(S1260)。

本公开内容所附的每个流程图中的步骤的组合可以由计算机程序指令执行。由于计算机程序指令可以安装在通用计算机、专用计算机或其他可编程数据处理设备的处理器上，由计算机或其他可编程数据处理设备的处理器执行的指令创建了用于执行流程图的每个步骤中所描述的功能的手段。计算机程序指令还可以存储在计算机可用或计算机可读存储介质上，可以将该存储介质指向计算机或其他可编程数据处理设备以特定方式来实现功能。因此，存储在计算机可用或计算机可读记录介质上的指令还可以产生包含指令手段的制品，该指令手段执行流程图的每个步骤中所描述的功能。计算机程序指令还可以安装在计算机或其他可编程数据处理设备上。因此，在计算机或其他可编程数据处理设备上执行一系列操作步骤以创建计算机可执行的处理，并且还可以由指令执行计算机或其他可编程数据处理设备以提供用于执行流程图的每个步骤中所描述的功能的步骤。

此外，每个步骤可以表示包含用于执行指定逻辑功能的一个或更多个可执行指令的模块、段或代码的一部分。还应注意，在一些替选实施方式中，步骤中所提及的功能可以无序发生。例如，连续示出的两个步骤实际上可以基本同时执行，或者这些步骤有时可以根据对应的功能以相反的顺序执行。

以上描述仅是本公开内容的技术范围的示例性描述，并且本领域技术人员将理解，在不脱离本公开内容的原始特性的情况下，可以进行各种改变和修改。因此，本公开内容中所公开的实施方式旨在说明而非限制本公开内容的技术范围，并且本公开内容的技术范围不受实施方式的限制。本公开内容的保护范围应当基于所附权利要求书来解释，并且应当理解，包括在与所附权利要求等同的范围内的所有技术范围都包括在本公开内容的保护范围内。

Claims (13)

1.一种由牌照字符提取装置执行的从车辆的牌照中提取字符的方法，所述方法包括：

将通过拍摄所述车辆的所述牌照所获得的输入图像转换为灰度图像；

基于将包括在所述灰度图像中的至少一个像素的值与邻近所述至少一个像素的像素的值的第一平均值进行比较的结果，生成转换图像；

基于将所述转换图像与通过对所述转换图像进行二值化所获得的二值化图像进行比较的结果，生成细化图像；以及

提取包括在所述细化图像中的字符。

2.根据权利要求1所述的方法，其中，生成所述转换图像包括：

确定反映将包括在所述灰度图像中的所述至少一个像素的值与所述第一平均值进行比较的结果的所述至少一个像素的转换值；以及

生成包括具有所述转换值的所述至少一个像素的所述转换图像。

3.根据权利要求2所述的方法，还包括：

通过标记所述灰度图像来生成至少一个标记，所述至少一个标记包括具有预定转换值并且彼此接触的像素，

其中，确定所述转换值包括：在所述灰度图像中不存在长度等于或大于预定长度的标记的情况下，增加所述灰度图像中的所有像素中小于所述第一平均值的像素的值，并且减少所述灰度图像中的所有像素中等于或大于所述第一平均值的像素的值。

4.根据权利要求2所述的方法，还包括：

通过标记所述灰度图像来生成至少一个标记，所述至少一个标记包括具有预定值并且彼此接触的像素，

其中，确定所述转换值包括：在所述灰度图像中存在长度等于或大于预定长度的标记的情况下，对所述灰度图像中的所有像素中等于或小于所述第一平均值的像素的值进行转换。

5.根据权利要求1所述的方法，其中，提取包括在所述细化图像中的所述字符包括：

确定包括在所述细化图像中的所述字符中的每个字符的字符边界框；

计算所述字符边界框与包括在各个预定牌照模板中的模板边界框之间的交叠程度；以及

基于所计算的交叠程度，使用所述预定牌照模板中与所述字符边界框具有最高交叠程度的牌照模板来提取所述字符。

6.根据权利要求1所述的方法，还包括：

确定在所述转换图像中的预定区域中包括的像素中具有预设值或更大值的像素的值的第二平均值；以及

基于将包括在所述转换图像中的像素的值与所述第二平均值进行比较的结果，从所述转换图像生成所述二值化图像。

7.一种牌照字符提取装置，包括：

摄像装置，其被配置成对车辆的牌照进行拍摄；

存储器，其被配置成存储牌照字符提取模型，所述牌照字符提取模型用于从通过拍摄所述车辆的所述牌照所获得的图像中提取字符；以及

处理器，其被配置成：

执行所述牌照字符提取模型，并且将通过拍摄所述车辆的所述牌照所获得的图像转换为灰度图像，

基于将包括在所述灰度图像中的像素的值与所述像素周围的像素的值的第一平均值进行比较的结果，生成转换图像，

基于将所述转换图像与通过对所述转换图像进行二值化所获得的二值化图像进行比较的结果，生成细化图像，以及

提取包括在所述细化图像中的字符。

8.根据权利要求7所述的牌照字符提取装置，其中，所述处理器被配置成：

确定反映将包括在所述灰度图像中的至少一个像素的值与所述第一平均值进行比较的结果的所述至少一个像素的转换值，以及

生成包括具有所述转换值的所述至少一个像素的所述转换图像。

9.根据权利要求8所述的牌照字符提取装置，其中，所述处理器被配置成：

通过标记所述灰度图像来生成至少一个标记，所述至少一个标记包括具有预定转换值并且彼此接触的像素，以及

在所述灰度图像中不存在长度等于或大于预定长度的标记的情况下，增加所述灰度图像中的所有像素中小于所述第一平均值的像素的值，并且减少所述灰度图像中的所有像素中等于或大于所述第一平均值的像素的值。

10.根据权利要求8所述的牌照字符提取装置，其中，所述处理器被配置成：

通过标记所述灰度图像来生成至少一个标记，所述至少一个标记包括具有预定值并且彼此接触的像素，以及

在所述灰度图像中存在长度等于或大于预定长度的标记的情况下，对所述灰度图像中的所有像素中等于或小于所述第一平均值的像素的值进行转换。

11.根据权利要求7所述的牌照字符提取装置，其中，所述处理器被配置成：

确定包括在所述细化图像中的所述字符中的每个字符的字符边界框，

计算所述字符边界框与包括在各个预定模板中的模板边界框之间的交叠程度；以及

基于所计算的交叠程度，使用所述预定模板中与所述字符边界框具有最高交叠程度的牌照模板来提取所述字符。

12.根据权利要求7所述的牌照字符提取装置，其中，所述处理器被配置成：

确定在所述转换图像中的预定区域中包括的像素中具有预设值或更大值的像素的值的第二平均值；以及

基于将包括在所述转换图像中的像素的值与所述第二平均值进行比较的结果，从所述转换图像生成所述二值化图像。

13.一种包括计算机可执行指令的非暂态计算机可读记录介质，其中，所述指令在由处理器执行时使所述处理器执行从车辆的牌照中提取字符的方法，所述方法包括：

将通过拍摄所述车辆的所述牌照所获得的输入图像转换为灰度图像；

基于将包括在所述灰度图像中的至少一个像素的值与邻近所述像素的像素的值的第一平均值进行比较的结果，生成转换图像；

基于将所述转换图像与通过对所述转换图像进行二值化所获得的二值化图像进行比较的结果，生成细化图像；以及

提取包括在所述细化图像中的字符。

Images