CN108256521B - 用于车身颜色识别的有效区域定位方法 - Google Patents

用于车身颜色识别的有效区域定位方法 Download PDF

Info

Publication number
CN108256521B
CN108256521B CN201711498902.2A CN201711498902A CN108256521B CN 108256521 B CN108256521 B CN 108256521B CN 201711498902 A CN201711498902 A CN 201711498902A CN 108256521 B CN108256521 B CN 108256521B
Authority
CN
China
Prior art keywords
image
mask
positioning
block
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711498902.2A
Other languages
English (en)
Other versions
CN108256521A (zh
Inventor
刘爱玲
刘琛
尹萍
安晓博
韩明秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jovision Technology Co ltd
Original Assignee
Jovision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jovision Technology Co ltd filed Critical Jovision Technology Co ltd
Priority to CN201711498902.2A priority Critical patent/CN108256521B/zh
Publication of CN108256521A publication Critical patent/CN108256521A/zh
Application granted granted Critical
Publication of CN108256521B publication Critical patent/CN108256521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明的用于车身颜色识别的有效区域定位方法,包括以下步骤:(1)获取车身颜色识别初步定位区域;(2)对初步定位区域图像进行图像预处理;(3)对预处理后的图像计算分块特征掩膜图像;(4)对特征掩膜图像对应的定位图像计算亮度特征,更新掩膜图像;(5)对获取的特征掩膜图像进行信息统计;(6)根据掩膜图像统计信息,修正掩膜图像值,获取最终定位图像。本发明考虑到车身反光或阴影干扰导致区域相对平滑容易被划分为定位区域中,因此除了对车身纹理信息进行提取外,还考虑到亮度信息的分布对干扰去除的作用,最大程度去除干扰,保留最能代表车身颜色的区域作为识别的定位区域。

Description

用于车身颜色识别的有效区域定位方法
技术领域
本发明涉及图像处理技术在车身颜色识别中应用的技术领域,具体为一种用于车身颜色识别的有效区域定位方法。
背景技术
在视频监控快速发展的今天,高清化、智能化已经逐渐融入到人们的生活中。智能交通***在收费卡口、停车场及刑事追踪等方面展现出强大的作用。随着车辆数量的激增,车辆事件越来越多,越来越复杂,对机动车辆的监控仅仅依靠车牌识别信息显然是不够的,加上车牌容易受到故意遮挡、污损等影响,以及一牌多车、套牌等的情况,会导致车辆识别能力的下降。视频图像中车辆信息除了车牌号码,还包括车辆颜色、车辆型号等,其中车辆颜色识别在车辆道路监控中有着举足轻重的作用,是车辆信息中不可或缺的一部分。
车身颜色识别容易受到识别区域光照、天气、污损、遮挡等环境因素的影响导致颜色失真,尤其是太阳光的反光现象,会很大程度上改变车身本身的颜色值,导致颜色识别错误。而且,对于监控摄像头采集到的车辆信息,还存在车辆姿态多样性,其他区域纹理干扰的问题,导致车身颜色无法准确识别。
目前,关于车身颜色识别的方法主要是在车身上选择一处平滑区域作为颜色识别区域,然后使用颜色模板或者如SVM等机器学习的方法来识别出具体的颜色。车身颜色区域定位作为颜色识别的第一步具有重要的作用,定位区域质量的好坏,直接影响到颜色识别结果的准确与否。而目前大多数颜色识别算法把主要精力放在了识别方法上,定位区域的选择仅仅使用纹理信息,通过边缘密度选取车身定位区域,当车身发生强反光或遮挡阴影的时候,由于反光区域纹理较少,通常会被选择作为定位区域,导致识别结果不正确。
发明内容
本发明为了弥补现有技术的不足,提供了一种结构简单、使用方便的用于车身颜色识别的有效区域定位方法。
本发明是通过如下技术方案实现的:
本发明的用于车身颜色识别的有效区域定位方法,其特征在于:包括以下步骤:
(1)获取车身颜色识别初步定位区域;
(2)对初步定位区域图像进行图像预处理;
(3)对预处理后的图像计算分块特征掩膜图像;
(4)对特征掩膜图像对应的定位图像计算亮度特征,更新掩膜图像;
(5)对获取的特征掩膜图像进行信息统计;
(6)根据掩膜图像统计信息,修正掩膜图像值,获取最终定位图像。
第(1)步中,获取车身颜色识别初步定位区域,包括获取车牌定位信息和定位图像;
首先根据车牌定位技术获取车牌在整幅图像中的位置信息,即矩形信息,包括车牌左上角在图像中的坐标(x0,y0),车牌的宽度w0和高度h0
获取初步定位区域具体为:根据车牌位置,获取车牌上方的一个矩形区域作为初步定位区域,设该区域宽高分别为w和h。
第(2)步中,对初步定位区域进行图像预处理,包括纹理信息提取和形态学处理;
所述的纹理信息提取具体为:对初步定位图像进行灰度化处理,计算其边缘特征,并进行二值化处理;其中,边缘特征可采用sobel算子,canny算子或prewitt算子等边缘提取算子;
形态学处理为采用膨胀操作,使得边缘更加清晰。
第(3)步对处理后的定位图像计算特征掩膜图像包括对处理后的定位图像进行分块处理,获取以块为单位的纹理特征掩膜图像;
图像掩模是用选定的图像、图形或物体、对待处理的图像(全部或局部)进行遮挡来控制图像处理的区域或处理过程;数字图像处理中,掩模为二维矩阵数组,有时也用多值图像,掩膜图像为二维矩阵,将其看做是一张图像来处理;
数字图像处理中,图像掩模主要用于:①提取感兴趣区,用预先制作的感兴趣区掩模与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0;②屏蔽作用,用掩模对图像上某些区域作屏蔽,使其不参加处理或不参加处理参数的计算,或仅对屏蔽区作处理或统计;③结构特征提取,用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征;④特殊形状图像的制作;
掩膜图像的主要作用是屏蔽作用,用掩膜图像上某些区域做屏蔽,使其不参与后续的计算;
所述对定位图像分块处理具体为:将处理后的定位图像进行分块,设块的大小为blk*blk,则定位图像可以划分为若干块;以块为单位进行处理,计算每块中纹理像素在该块中所占的比例,根据比例与阈值的关系,将定位图像分为纹理块与平滑块;
创建对应的掩膜图像,定位图像中的一个块的状态对应掩膜图像中一个像素值,由此得到的掩膜图像尺寸为(w/blk,h/blk),若定位图像中的块判定为平滑块,则将掩膜图像中对应的像素值设为255或其他非零值,若定位纹理块,则掩膜图像中对应位置的像素值设为0,由此得到定位图像对应的掩膜图像;对于掩膜图像中像素值为0对应的区域不参与后续识别的运算。
第(4)步,对特征掩膜图像对应的初步定位图像计算亮度特征,更新掩膜图像,计算平滑块对应的定位图像中该块内的像素亮度平均值,并将该值作为掩膜图像中对应块的像素值,得到更新后的掩膜图像。
第(5)步,对获取的掩膜图像进行统计,包括计算掩膜图像的直方图及对直方图的处理;所述的对直方图的处理包括计算每个bin中像素个数的占比,对得到的bin个占比进行排序。
第(6)步,根据掩膜图像统计信息,对掩膜图像像素值进行修正,获取最终定位图像,包括根据统计信息去除初步定位区域中的干扰区域,如反光区域;通过统计信息决定最终掩膜图像的像素值,从而得到定位区域图像中对应块的像素值是否保留,最终得到只包含满足条件的对应块的像素值,将该图作为最终定位图像。
本发明的有益效果是,解决了车身颜色识别中区域定位不准确导致颜色识别错误的问题。该方法考虑到车身反光或阴影干扰导致区域相对平滑容易被划分为定位区域中,因此除了对车身纹理信息进行提取外,还考虑到亮度信息的分布对干扰去除的作用,通过统计信息,最大程度去除干扰,保留最能代表车身颜色的区域作为识别的定位区域。通过分块掩膜图像的方式,充分考虑到车身纹理、亮度信息分布的影响,将原图中可能会带来的干扰信息屏蔽掉,只保留能反应车身颜色的区域信息,以块的形式保存下来,解决了矩形定位区域中干扰区域对识别结果的影响。能够为后续采用颜色模板匹配或机器学习方法进行识别提供准确的像素值。
附图说明
图1表示本发明的区域定位方法的流程图。
图2表示初始定位区域选择示意图。
具体实施方式
附图为本发明的一种具体实施例。
本发明的车身颜色识别的有效区域定位方法,以该定位出的区域作为颜色识别的识别区域。该区域需要满足避免反光、阴影干扰等周围环境造成的颜色变化的影响,区域内各像素点的颜色值一致,且能够真实反应当前车辆车身颜色的特点。
本发明的用于车身颜色识别的有效区域定位方法,包括以下步骤:
(1)获取车身颜色识别初步定位区域;
(2)对初步定位区域图像进行图像预处理;
(3)对预处理后的图像计算分块特征掩膜图像;
(4)对特征掩膜图像对应的定位图像计算亮度特征,更新掩膜图像;
(5)对获取的特征掩膜图像进行信息统计;
(6)根据掩膜图像统计信息,修正掩膜图像值,获取最终定位图像。
具体步骤如下。
第(1)步中的获取车身颜色识别初步定位区域包括获取车牌定位信息和定位图像。
首先根据车牌定位技术获取车牌在整幅图像中的位置信息,即矩形信息,包括车牌左上角在图像中的坐标(x0,y0),车牌的宽度w0和高度h0
获取初步定位区域具体为:根据车牌位置,获取车牌上方的一个矩形区域作为初步定位区域,设该区域宽高分别为w和h。
第(2)步对初步定位区域进行图像预处理包括纹理信息提取和形态学处理;
所述的纹理信息提取具体为:对初步定位图像进行灰度化处理,计算其边缘特征,并进行二值化处理。其中,边缘特征可采用sobel算子,canny算子或prewitt算子等边缘提取算子。
形态学处理为采用膨胀操作,使得边缘更加清晰。
第(3)步对处理后的定位图像计算特征掩膜图像包括对处理后的定位图像进行分块处理,获取以块为单位的纹理特征掩膜图像。
图像掩模是用选定的图像、图形或物体、对待处理的图像(全部或局部)进行遮挡来控制图像处理的区域或处理过程。数字图像处理中,掩模为二维矩阵数组,有时也用多值图像,掩膜图像为二维矩阵,将其看做是一张图像来处理。
数字图像处理中,图像掩模主要用于:①提取感兴趣区,用预先制作的感兴趣区掩模与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0。②屏蔽作用,用掩模对图像上某些区域作屏蔽,使其不参加处理或不参加处理参数的计算,或仅对屏蔽区作处理或统计。③结构特征提取,用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。④特殊形状图像的制作。
掩膜图像的主要作用是屏蔽作用,用掩膜图像上某些区域做屏蔽,使其不参与后续的计算。
所述对定位图像分块处理具体为:将处理后的定位图像进行分块,设块的大小为blk*blk,则定位图像可以划分为若干块;以块为单位进行处理,计算每块中纹理像素在该块中所占的比例,根据比例与阈值的关系,将定位图像分为纹理块与平滑块。
创建对应的掩膜图像,定位图像中的一个块的状态对应掩膜图像中一个像素值,由此得到的掩膜图像尺寸为(w/blk,h/blk),若定位图像中的块判定为平滑块,则将掩膜图像中对应的像素值设为255或其他非零值,若定位纹理块,则掩膜图像中对应位置的像素值设为0,由此得到定位图像对应的掩膜图像。对于掩膜图像中像素值为0对应的区域不参与后续识别的运算。
第(4)步对特征掩膜图像对应的初步定位图像计算亮度特征,更新掩膜图像,其特征在于,计算平滑块对应的定位图像中该块内的像素亮度平均值,并将该值作为掩膜图像中对应块的像素值,得到更新后的掩膜图像。
第(5)步对获取的掩膜图像进行统计包括计算掩膜图像的直方图及对直方图的处理。
所述的对直方图的处理包括计算每个bin中像素个数的占比,对得到的bin个占比进行排序。
第(6)步根据掩膜图像统计信息,对掩膜图像像素值进行修正,获取最终定位图像,包括根据统计信息去除初步定位区域中的干扰区域,如反光区域。
通过统计信息决定最终掩膜图像的像素值,从而得到定位区域图像中对应块的像素值是否保留,最终得到只包含满足条件的对应块的像素值,将该图作为最终定位图像。
本发明更为详细具体的步骤如下。
步骤(1):获取车身初步定位区域图像。
根据车辆图像中车牌位置信息以及车牌颜色信息确定初步定位区域。
所述的图像可以通过在停车场进出口,收费站等有车辆通过场所的摄像机抓拍得到的车辆图像。
车牌位置信息以及车牌颜色信息通过车牌识别技术获取,不再进行赘述。
车辆前端最能反映车身颜色的区域位于车的发动机罩部分,该部分拥有大面积平滑的区域,相比其他区域更容易获取。因此,在发动机罩部位选取一矩形区域作为候选定位区域。
发动机罩外侧位于车牌位置的正上方,因此,选取车牌位置上方的区域作为颜色识别的候选区域。根据不同的应用场景,对候选区域位置进行适当的调整。举例说明,对于停车场场景,考虑到大部分车牌识别机器位于进出车辆前进方向的左侧,因此以面向车辆为主视角时,车头右侧要比左侧获得更多的拍摄部分。因此对于该场景选取的矩形区域相比车牌中心位置要偏向右侧。
考虑到部分中型车散热器格栅上下部分的车身颜色不同的情况,该候选定位区域不包含车牌所在的位置区域及车牌左右两侧的区域,以车身上半部分的颜色作为车身的主要颜色。
同时考虑到不同车型车辆前端形状的差异性,将根据车牌的类型对矩形区域进行适当的调整,以尽可能的适应不同车型。根据车牌颜色信息,可以简单判别车辆是大型车还是小型车,当车牌颜色为黄色时且非教练车时,表示车为大型车,当车牌颜色为蓝色或其他颜色时,表示车型为小型车或中型车。根据车型适当调整参数可以解决一部分大型车前端过高的问题,但是对于大部分的中型货车来讲并不能有效的解决。因此在实际选取矩形区域的时候,尽可能扩大边界区域。
具体的,假设当前包含车辆的图像为f,图像中车牌位置信息为Rect(x0,y0,w0,h0),分别表示车牌在原图像f中的矩形坐标,(x0,y0)表示车牌左上角在图像f中的坐标值,w0表示车牌的宽度,h0表示车牌的高度。选取的定位区域的宽高为(w,h),定位区域在原图像中的矩形坐标表示为Rect(x,y,w,h),将定位到的区域表示为图像floc
其中,w,h表示定位区域的宽和高信息,可以分别表示为w=m*w0,h=n*h0,由上述描述可知,y=y0-h,x=x0-α(w-w0),其中α表示定位区域相对于车牌中心的偏移量。
m为定位区域图像中,定位区域宽度与车牌宽度的比值;n为定位区域图像中,定位区域高度与车牌高度的比值;m、n经测量定位区域图像得到。
步骤(2):对初步定位区域的图像进行预处理。需要对步骤(1)确定的初步颜色定位区域进行进一步的纹理特征分析。
对初步定位图像进行预处理包括边缘信息提取和形态学处理。
所述的边缘信息提取具体过程为,先对定位图像floc进行灰度化处理,得到灰度图像fgray,使用边缘检测算子提出灰度图像fgray的边缘信息,并进行二值化。
所述的边缘信息提取可选用sobel算子,canny算子或者prewitt算子等边缘提取算子,
选择sobel边缘检测,由于干扰信息并不固定方向,因此选用两个方向的检测,即竖直边缘和水平边缘都进行检测,计算出的边缘图像记为fedge
然后对边缘图像fedge进行二值化处理,以去除部分比较弱的边缘信息,记为fbinary。二值化图像有利于图像的进一步分析处理,数据量减少,能够凸显感兴趣目标的轮廓信息。
图像二值化处理中,可以使用固定阈值方法和自适应阈值方法。固定阈值方法为手动设定一个阈值或者通过计算获取该阈值,图像中大于该阈值的像素,其灰度值用255表示,否则用0表示。固定阈值的计算方法主要包括计算图像像素的平均值作为阈值,使用直方图方法寻找两个峰之间峰谷最低处作为阈值等方法。
所述自适应阈值方法,可采用图像处理领域中最大类间方差法(OSTU)、迭代法,局部阈值法等方法获取阈值。
所述形态学处理为对得到的二值化图像进行形态学膨胀处理,以获取更加清晰的边缘图像,膨胀操作的步骤为:
⑴用结构元素B,扫描图像fbinary的每一个像素
⑵用结构元素与其覆盖的二值图像做“或”操作
⑶如果有一个元素为0,结果图像ftexture的该像素为0,否则为255。
所述步骤(3)为对预处理后的纹理图像计算掩膜图像。具体的包括对纹理图像进行分块处理,获取以块为单位的纹理特征掩膜图像。
步骤(3)所述的分块处理具体为:将预处理后纹理图像ftexture,以块为单位进行处理,计算每一块中预处理图像中边缘像素所占的比例。将此比例与设定的阈值进行比较,从而将定位图像中的每个块划分为纹理块与平滑块。
具体分块处理过程为:
1)由上述步骤已知纹理图像ftexture的尺寸为(w,h),设分块的尺寸为blk*blk。则图像被分为(w/blk)*(h/blk)个块,然后对每个blk*blk块依次进行处理;
2)创建一张对应纹理图像的掩膜图像fmask,该掩膜图像的尺寸为(w/blk)*(h/blk),即像素个数为掩膜图像分块的个数。fmask中一个像素值对应ftexture中的一个块;
3)依次计算纹理图像ftexture每块中的边缘像素值个数与该块总像素值blk*blk的比值;
4)判断比值与设定阈值的大小,当比值大于设定阈值时,表示该块中纹理像素值占比较大,则该块为判定为纹理块,将掩膜图像fmask中对应该块的像素值设为0;反之,当比值小于设定阈值时,表示该块中纹理像素值占比较小,该块被判定为平滑块,将掩膜图像fmask中对应该块的像素值设为255或其他非零值,以示区分。
5)当遍历完纹理图像ftexture中的所有块时,即可获取掩膜图像fmask的所有像素值。
特别的,在第4)步骤中,阈值表示每块中纹理像素值与该块像素总数的比值,范围为0~1,其选取依据是为了区分每块中纹理像素值的占比,以判断该块是否是平滑的。
步骤(4)对定位图像floc分块计算亮度特征,来更新掩膜图像中的像素值。
仅仅考虑纹理信息作为区域定位的依据显然是不够的,因为车身的反光、大面积阴影等情况,反应在车身上也是平滑的,纹理比较少的。但是这些影响会导致颜色值的改变、失真,当定位到这些区域的时候,识别的结果并不能够代表真实的车身颜色值。
车身反光的影响是,对应的区域的亮度会增大,颜色的饱和度会降低;而阴影的影响主要是对应区域的亮度值会减小,颜色的饱和度也会相应变化。因此,可以计算定位图像的亮度值,来更新特征掩膜图像。
具体处理过程为:
1)选择步骤(2)中计算得到的定位图像的灰度图像fgray
2)将定位灰度图像fgray进行分块,分块方法与步骤(3)中相同,分为blk*blk大小的块;
3)根据求出的掩膜图像fmask,选择像素值为255或其他非零值对应的平滑块进行操作;
4)计算平滑块对应的定位灰度图像fgray中的每块的像素值的平均值;
5)将计算得到的亮度平均值作为该块掩膜图像fmask的新的像素值。
遍历完掩膜图像中所有平滑块,即可得到更新后的掩膜图像fmask,即纹理块对应的像素值依旧为0,而平滑块的像素值为对应块的亮度平均值。
所述的步骤(5)需要对更新后的掩膜图像进行统计计算,包括计算其直方图,及对直方图的处理。
计算掩膜图像的直方图及处理过程为:
1)设fhist为直方图图像,掩膜图像fmask像素值的范围为0~255,将其分为均等的t份,即直方图的bin数目为t,计算落入t个区间内的像素值个数,fhist为一个t维的向量;
2)对得到的直方图fhist进行统计,计算落入每个bin中的像素值个数与掩膜图像fmask中非零像素个数的总和的比值;
3)对计算得到的t个比值进行从大到小的顺序排序。
步骤(6)根据掩膜图像的统计信息,去除干扰区域的影响,获取最终定位区域的掩膜图像。
根据直方图统计信息对排序后的结果进行进一步的处理,对于占比过大或过小的bin段进行修正,以尽量降低强光及其他干扰信息的影响。
具体的处理步骤为:
1)去除占比较小的bin值所对应的像素值范围内的掩膜像素值,因为定位图像应满足像素值分布一致,而占比较小的bin值所对应的像素值范围很大可能上为干扰信息,故后续不参与处理;
2)判断排序后最大的比例值若大于设定阈值,则只保留该bin值对应的像素值范围内的掩膜像素值,而把其余范围内的掩膜图像像素值均置为0,结束掩膜图像的处理,该步骤是为了区分出该掩膜图像中绝大多数像素值所在的范围,而去除其他范围内像素值的影响。若最大比例值小于设定的阈值,则转到下一步骤;
3)判断最大值若位于前几项bin中,则计算前几项bin对应的比例值的和,若该比例大于剩下所有的比例和,则只保留前几项bin对应的像素值范围内的掩膜图像值,该步骤可以判断车辆的颜色为暗色系,因为最大比例值及前几个bin中的比例值占据了绝大多数,因此将其余bin中对应的像素值均置为0,可以去除车身反光造成的局部像素值过大的区域,结束掩膜图像的处理。否则,转到下一步骤;
4)若最大值位于中间几项bin的位置,且中间几项的比例和大于剩余位置的比例和,则只保留中间几项bin对应的像素值范围内的掩膜图像像素值,结束掩膜图像的处理。该步骤的目的是为了去除车身部分区域反光及阴影的影响。否则,转到下一步骤:
5)若最大值位于后几项bin的位置,且后几项的比例和大于剩余位置的比例和,则只保留最大值所在bin位置及其周围最近邻位置bin对应的像素值范围内的掩膜图像值。该步骤可以去除部分阴影造成灰度值较低的区域的影响。
实践证明,车身反光不容易去除,因此我们选择规避反光区域,通过直方图统计信息,尽量将反光影响的区域进行去除。
通过上述处理后,可以有效去除反光及其他占比较小的干扰区域,即将这些干扰区域对应的掩膜图像的像素值置零,只保留掩膜图像中非零像素值对应的区域,作为最终的定位掩膜图像。
最终掩膜图像中,像素值不为零的区域即为用于车身颜色识别的定位区域。掩膜图像中的一个像素值对应定位图像中的一个块的保留状态。
车身颜色识别的有效区域定位图像即可由最终求得的掩膜图像确定。若掩膜图像中像素值为0,则表示对应块不参与计算的区域;若像素值不为0,则表示对应块为有效定位区域。

Claims (8)

1.一种用于车身颜色识别的有效区域定位方法,其特征在于:包括以下步骤:
(1)获取车身颜色识别初步定位区域;
(2)对初步定位区域图像进行图像预处理;
(3)对预处理后的图像计算分块特征掩膜图像;
(4)对特征掩膜图像对应的定位图像计算亮度特征,更新掩膜图像;
(5)对获取的特征掩膜图像进行信息统计;
包括计算掩膜图像的直方图及对直方图的处理;
对直方图的处理包括计算每个bin中像素个数的占比,对得到的t个占比进行排序;
计算掩膜图像的直方图及详细处理过程为:
5-1、设fhist为直方图图像,掩膜图像fmask像素值的范围为0~255,将其分为均等的t份,即直方图的bin数目为t,计算落入t个区间内的像素值个数,fhist为一个t维的向量;
5-2、对得到的直方图fhist进行统计,计算落入每个bin中的像素值个数与掩膜图像fmask中非零像素个数的总和的比值;
5-3、对计算得到的t个比值进行从大到小的排序;
(6)根据掩膜图像统计信息,修正掩膜图像像素值,获取最终定位图像;
根据掩膜图像的统计信息,去除干扰区域的影响,获取最终定位区域的掩膜图像;
根据直方图统计信息对排序后的结果进行进一步的处理,对于占比过大或过小的bin段进行修正,以尽量降低强光及其他干扰信息的影响;
具体的处理步骤为:
6-1、去除占比较小的bin值所对应的像素值范围内的掩膜像素值,因为定位图像应满足像素值分布一致,而占比较小的bin值所对应的像素值范围很大可能上为干扰信息,故后续不参与处理;
6-2、判断排序后最大的比例值若大于设定阈值,则只保留该bin值对应的像素值范围内的掩膜像素值,而把其余范围内的掩膜图像像素值均置为0,结束掩膜图像的处理,该步骤是为了区分出该掩膜图像中绝大多数像素值所在的范围,而去除其他范围内像素值的影响;若最大比例值小于设定的阈值,则转到下一步骤;
6-3、判断最大值若位于前几项bin中,则计算前几项bin对应的比例值的和,若该比例大于剩下所有的比例和,则只保留前几项bin对应的像素值范围内的掩膜图像值,该步骤能够判断车辆的颜色为暗色系,因为最大比例值及前几个bin中的比例值占据了绝大多数,因此将其余bin中对应的像素值均置为0,能够去除车身反光造成的局部像素值过大的区域,结束掩膜图像的处理;否则,转到下一步骤;
6-4、若最大值位于中间几项bin的位置,且中间几项的比例和大于剩余位置的比例和,则只保留中间几项bin对应的像素值范围内的掩膜图像像素值,结束掩膜图像的处理;该步骤的目的是为了去除车身部分区域反光及阴影的影响;否则,转到下一步骤:
6-5、若最大值位于后几项bin的位置,且后几项的比例和大于剩余位置的比例和,则只保留最大值所在bin位置及其周围最近邻位置bin对应的像素值范围内的掩膜图像值;该步骤能去除部分阴影造成灰度值较低的区域的影响。
2.根据权利要求1所述的用于车身颜色识别的有效区域定位方法,其特征在于:
第(1)步中,获取车身颜色识别初步定位区域,包括获取车牌定位信息和定位图像;
首先根据车牌定位技术获取车牌在整幅图像中的位置信息,即矩形信息,包括车牌左上角在图像中的坐标(x0,y0),车牌的宽度w0和高度h0
获取初步定位区域具体为:根据车牌位置,获取车牌上方的一个矩形区域作为初步定位区域,设该区域宽高分别为w和h;
第(2)步中,对初步定位区域进行图像预处理,包括纹理信息提取和形态学处理;
所述的纹理信息提取具体为:对初步定位图像进行灰度化处理,计算其边缘特征,并进行二值化处理;其中,边缘特征采用边缘提取算子,包括sobel算子,canny算子或prewitt算子;形态学处理为采用膨胀操作,使得边缘更加清晰。
3.根据权利要求1所述的用于车身颜色识别的有效区域定位方法,其特征在于:
第(3)步对处理后的定位图像计算特征掩膜图像包括对处理后的定位图像进行分块处理,获取以块为单位的纹理特征掩膜图像;
图像掩模是用选定的图像、图形或物体、对待处理的图像的全部或局部进行遮挡来控制图像处理的区域或处理过程;数字图像处理中,掩模为二维矩阵数组,有时也用多值图像,掩膜图像为二维矩阵,将其看做是一张图像来处理;
数字图像处理中,图像掩模用于:①提取感兴趣区,用预先制作的感兴趣区掩模与待处理图像相乘,得到感兴趣区图像,感兴趣区内图像值保持不变,而区外图像值都为0;②屏蔽作用,用掩模对图像上某些区域作屏蔽,使其不参加处理或不参加处理参数的计算,或仅对屏蔽区作处理或统计;③结构特征提取,用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征;④特殊形状图像的制作;
掩膜图像的作用是屏蔽作用,用掩膜图像上某些区域做屏蔽,使其不参与后续的计算;
所述对定位图像分块处理具体为:将处理后的定位图像进行分块,设块的大小为blk*blk,则定位图像能够划分为若干块;以块为单位进行处理,计算每块中纹理像素在该块中所占的比例,根据比例与阈值的关系,将定位图像分为纹理块与平滑块;
创建对应的掩膜图像,定位图像中的一个块的状态对应掩膜图像中一个像素值,由此得到的掩膜图像尺寸为(w/blk,h/blk),若定位图像中的块判定为平滑块,则将掩膜图像中对应的像素值设为255或其他非零值,若定位纹理块,则掩膜图像中对应位置的像素值设为0,由此得到定位图像对应的掩膜图像;对于掩膜图像中像素值为0对应的区域不参与后续识别的运算。
4.根据权利要求1所述的用于车身颜色识别的有效区域定位方法,其特征在于:
第(4)步,对特征掩膜图像对应的初步定位图像计算亮度特征,更新掩膜图像,计算平滑块对应的定位图像中该块内的像素亮度平均值,并将该值作为掩膜图像中对应块的像素值,得到更新后的掩膜图像;
第(6)步,根据掩膜图像统计信息,对掩膜图像像素值进行修正,获取最终定位图像,包括根据统计信息去除初步定位区域中的干扰区域,干扰区域包括反光区域;通过统计信息决定最终掩膜图像的像素值,从而得到定位区域图像中对应块的像素值是否保留,最终得到只包含满足条件的对应块的像素值,将该图作为最终定位图像。
5.根据权利要求1所述的用于车身颜色识别的有效区域定位方法,其特征在于:
步骤(1)中,假设当前包含车辆的图像为f,图像中车牌位置信息为Rect(x0,y0,w0,h0),分别表示车牌在原图像f中的矩形坐标,(x0,y0)表示车牌左上角在图像f中的坐标值,w0表示车牌的宽度,h0表示车牌的高度;选取的定位区域的宽高为(w,h),定位区域在原图像中的矩形坐标表示为Rect(x,y,w,h),将定位到的区域表示为图像floc
其中,w,h表示定位区域的宽和高信息,分别表示为w=m*w0,h=n*h0,即,y=y0-h,x=x0-α(w-w0),其中a表示定位区域相对于车牌中心的偏移量。
6.根据权利要求1所述的用于车身颜色识别的有效区域定位方法,其特征在于:
步骤(2)中:对初步定位区域的图像进行预处理,需要对步骤(1)确定的初步颜色定位区域进行进一步的纹理特征分析;
对初步定位图像进行预处理包括边缘信息提取和形态学处理;
所述的边缘信息提取具体过程为,先对定位图像floc进行灰度化处理,得到灰度图像fgray,使用边缘检测算子提出灰度图像fgray的边缘信息,并进行二值化;
所述的边缘信息提取采用边缘提取算子,包括sobel算子,canny算子或者prewitt算子;
选择sobel边缘检测,由于干扰信息并不固定方向,因此选用两个方向的检测,即竖直边缘和水平边缘都进行检测,计算出的边缘图像记为fedge
然后对边缘图像fedge进行二值化处理,以去除部分比较弱的边缘信息,记为fbinary;二值化图像有利于图像的进一步分析处理,数据量减少,能够凸显感兴趣目标的轮廓信息;图像二值化处理中,能够使用固定阈值方法和自适应阈值方法;
固定阈值方法,为手动设定一个阈值或者通过计算获取该阈值,图像中大于该阈值的像素,其灰度值用255表示,否则用0表示;固定阈值的计算方法包括计算图像像素的平均值作为阈值,或使用直方图方法寻找两个峰之间峰谷最低处作为阈值;
自适应阈值方法,采用图像处理领域中最大类间方差法(OSTU)、迭代法、局部阈值法,获取阈值;
所述形态学处理为对得到的二值化图像进行形态学膨胀处理,以获取更加清晰的边缘图像,膨胀操作的步骤为:
2-1、用结构元素B,扫描图像fbinary的每一个像素;
2-2、用结构元素与其覆盖的二值图像做“或”操作;
2-3如果有一个元素为0,结果图像ftexture的该像素为0,否则为255。
7.根据权利要求1所述的用于车身颜色识别的有效区域定位方法,其特征在于:
步骤(3)所述的分块处理具体为:将预处理后纹理图像ftexture,以块为单位进行处理,计算每一块中预处理图像中边缘像素所占的比例;将此比例与设定的阈值进行比较,从而将定位图像中的每个块划分为纹理块与平滑块:
具体分块处理过程为:
3-1、由上述步骤已知纹理图像ftexture的尺寸为(w,h),设分块的尺寸为blk*blk;则图像被分为(w/blk)*(h/blk)个块,然后对每个blk*blk块依次进行处理;
3-2、创建一张对应纹理图像的掩膜图像fmask,该掩膜图像的尺寸为(w/blk)*(h/blk),即像素个数为掩膜图像分块的个数;fmask中一个像素值对应ftexture中的一个块;
3-3、依次计算纹理图像ftexture每块中的边缘像素值个数与该块总像素值blk*blk的比值;
3-4、判断比值与设定阈值的大小,当比值大于设定阈值时,表示该块中纹理像素值占比较大,则该块为判定为纹理块,将掩膜图像fmask中对应该块的像素值设为0;反之,当比值小于设定阈值时,表示该块中纹理像素值占比较小,该块被判定为平滑块,将掩膜图像fmask中对应该块的像素值设为255或其他非零值,以示区分;阈值表示每块中纹理像素值与该块像素总数的比值,范围为0~1,其选取依据是为了区分每块中纹理像素值的占比,以判断该块是否是平滑的;
5)当遍历完纹理图像ftexture中的所有块时,即可获取掩膜图像fmask的所有像素值。
8.根据权利要求6所述的用于车身颜色识别的有效区域定位方法,其特征在于:
步骤(4)中,计算定位图像的亮度值,来更新特征掩膜图像,具体处理过程为:
4-1、选择步骤(2)中计算得到的定位图像的灰度图像fgray
4-2、将定位灰度图像fgray进行分块,分块方法与步骤(3)中相同,分为blk*blk大小的块;
4-3、根据求出的掩膜图像fmask,选择像素值为255或其他非零值对应的平滑块进行操作;
4-4、计算平滑块对应的定位灰度图像fgray中的每块的像素值的平均值;
4-5、将计算得到的亮度平均值作为该块掩膜图像fmask的新的像素值;
遍历完掩膜图像中所有平滑块,即可得到更新后的掩膜图像fmask,即纹理块对应的像素值依旧为0,而平滑块的像素值为对应块的亮度平均值。
CN201711498902.2A 2017-12-29 2017-12-29 用于车身颜色识别的有效区域定位方法 Active CN108256521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711498902.2A CN108256521B (zh) 2017-12-29 2017-12-29 用于车身颜色识别的有效区域定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711498902.2A CN108256521B (zh) 2017-12-29 2017-12-29 用于车身颜色识别的有效区域定位方法

Publications (2)

Publication Number Publication Date
CN108256521A CN108256521A (zh) 2018-07-06
CN108256521B true CN108256521B (zh) 2021-06-22

Family

ID=62724665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711498902.2A Active CN108256521B (zh) 2017-12-29 2017-12-29 用于车身颜色识别的有效区域定位方法

Country Status (1)

Country Link
CN (1) CN108256521B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062484B (zh) * 2018-07-30 2022-08-02 安徽慧视金瞳科技有限公司 一种交互式课堂教学***手动掩膜图获取方法
CN109325421B (zh) * 2018-08-28 2021-01-26 武汉真元生物数据有限公司 一种基于边缘检测的睫毛去除方法及***
CN110569864A (zh) * 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像生成方法和装置
CN109801249A (zh) * 2018-12-27 2019-05-24 深圳豪客互联网有限公司 图像融合方法、装置、计算机设备和存储介质
EP3942520A1 (en) * 2019-03-22 2022-01-26 BASF Coatings GmbH Method and system for defect detection in image data of a target coating
CN113139409B (zh) * 2020-01-20 2023-06-16 浙江宇视科技有限公司 车辆识别方法、装置、设备及存储介质
CN112348103B (zh) * 2020-11-16 2022-11-11 南开大学 图像块分类方法和装置及其超分辨重建方法和装置
CN114140382B (zh) * 2021-10-22 2022-07-29 珠海视熙科技有限公司 一种屏幕区域检测方法、装置以及存储介质
CN113795071B (zh) * 2021-11-11 2022-03-08 珠海视熙科技有限公司 一种氛围灯控制方法、装置以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184413A (zh) * 2011-05-16 2011-09-14 浙江大华技术股份有限公司 车辆智能监控***中车身颜色自动识别方法
JP2012238244A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN106384117A (zh) * 2016-09-14 2017-02-08 东软集团股份有限公司 一种车辆颜色识别方法及装置
CN106529553A (zh) * 2016-10-27 2017-03-22 深圳市捷顺科技实业股份有限公司 一种车身颜色识别区域定位的方法及装置
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN106650611A (zh) * 2016-10-27 2017-05-10 深圳市捷顺科技实业股份有限公司 一种识别车身颜色的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101211A1 (en) * 2010-08-19 2013-04-25 Aisin Seiki Kabushiki Kaisha Target location determination device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238244A (ja) * 2011-05-12 2012-12-06 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN102184413A (zh) * 2011-05-16 2011-09-14 浙江大华技术股份有限公司 车辆智能监控***中车身颜色自动识别方法
CN106384117A (zh) * 2016-09-14 2017-02-08 东软集团股份有限公司 一种车辆颜色识别方法及装置
CN106529553A (zh) * 2016-10-27 2017-03-22 深圳市捷顺科技实业股份有限公司 一种车身颜色识别区域定位的方法及装置
CN106650611A (zh) * 2016-10-27 2017-05-10 深圳市捷顺科技实业股份有限公司 一种识别车身颜色的方法及装置
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vehicle color recognition using monocular camera;Mengjie Yang等;《2011 International Conference on Wireless Communications and Signal Processing (WCSP)》;20111208;全文 *
一种高效的车辆颜色识别方法;肖驰;《现代计算机(专业版)》;20170615;全文 *

Also Published As

Publication number Publication date
CN108256521A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108256521B (zh) 用于车身颜色识别的有效区域定位方法
CN111310558B (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN111145161B (zh) 一种路面裂缝数字图像处理和识别的方法
CN109886896B (zh) 一种蓝色车牌分割与矫正方法
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪***
TWI409718B (zh) 移動中車輛之車牌定位方法
CN108564814B (zh) 一种基于图像的停车场车位检测方法及装置
US7639878B2 (en) Shadow detection in images
CN109784344A (zh) 一种用于地平面标识识别的图像非目标滤除方法
CN107784669A (zh) 一种光斑提取及其质心确定的方法
CN110414355A (zh) 基于视觉的右方位空停车位与泊车过程中车位线检测方法
KR101182173B1 (ko) 차량 번호판 인식 방법 및 시스템
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN115115612B (zh) 一种用于机械配件的表面缺陷检测方法及***
CN107895151A (zh) 一种强光照条件下基于机器视觉的车道线检测方法
CN110674812B (zh) 一种面向复杂背景的民用车牌定位与字符分割方法
Chang et al. An efficient method for lane-mark extraction in complex conditions
CN111476804A (zh) 托辊图像高效分割方法、装置、设备及存储介质
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
CN115841633A (zh) 一种电力塔和电力线关联矫正的电力塔和电力线检测方法
KR101026778B1 (ko) 차량 영상 검지 장치
CN114018946B (zh) 一种基于OpenCV的高反光瓶盖缺陷检测方法
Vargas et al. A shadow removal algorithm for vehicle detection based on reflectance ratio and edge density
TWI498830B (zh) 不均勻光線下的車牌辨識方法及系統
CN111695374B (zh) 监控视角中斑马线区域的分割方法、***、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant