CN107730481B - 一种交通信号灯图像处理方法及交通信号灯图像处理装置 - Google Patents

一种交通信号灯图像处理方法及交通信号灯图像处理装置 Download PDF

Info

Publication number
CN107730481B
CN107730481B CN201710852496.9A CN201710852496A CN107730481B CN 107730481 B CN107730481 B CN 107730481B CN 201710852496 A CN201710852496 A CN 201710852496A CN 107730481 B CN107730481 B CN 107730481B
Authority
CN
China
Prior art keywords
signal lamp
traffic signal
frame image
exposure frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710852496.9A
Other languages
English (en)
Other versions
CN107730481A (zh
Inventor
姜晓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201710852496.9A priority Critical patent/CN107730481B/zh
Publication of CN107730481A publication Critical patent/CN107730481A/zh
Priority to EP18814282.2A priority patent/EP3635622A4/en
Priority to PCT/CN2018/089162 priority patent/WO2018223882A1/en
Priority to US16/702,622 priority patent/US11138444B2/en
Application granted granted Critical
Publication of CN107730481B publication Critical patent/CN107730481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种交通信号灯图像处理方法及交通信号灯图像处理装置，用以在恢复异常交通信号灯的颜色和形状、避免红灯和黄灯误检，提高交通信号灯图像处理的准确性。本申请实施例提供的一种交通信号灯图像处理方法，该方法包括：确定当前交通信号灯的状态，所述交通信号灯的状态包括红灯状态、绿灯状态、黄灯状态；采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像；根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；对所述交通信号灯形状恢复图像进行颜色恢复处理。

Description

一种交通信号灯图像处理方法及交通信号灯图像处理装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种交通信号灯图像处理方法及交通信号灯图像处理装置。
背景技术
电子警察相机一般为高清数字摄像机，连接红绿灯信号***，对十字路口的车辆进行监控检测。当车辆出现违反交通信号灯的行为时，电子警察相机通过图像处理技术对违法车辆进行图片抓拍。抓拍图不仅需要清楚地记录车辆违法过程，也要保证能够清晰地辨别车辆号码、信号灯状态等，这样抓拍图才能作为车辆违法处罚的有效证据。但是在交通路口采集车辆违法的图像时，由于某些场景光线较暗，为了能清晰辨别车辆信息，往往需要加大相机的曝光时间，使得交通信号灯区域出现了过饱和现象，红灯出现偏黄或者发白现象，绿灯和黄灯出现发白现象，而且交通信号灯的形状变得模糊。如果抓拍图中的信号灯颜色过饱和，抓拍图将不能作为对违法行为进行处理的有效依据，因此需要对信号灯颜色进行校正，将信号灯颜色进行恢复。现阶段对信号灯颜色恢复的方式主要有两种：1、人工标定交通信号灯区域，然后用正常状态的交通信号灯图像替换异常的交通信号灯图像。2、采用图像处理的方式，首先划定一个信号灯会出现的感兴趣区域，通过颜色和亮度信息，搜索偏色交通信号灯位置，统计异常交通信号灯像素，并对异常像素进行校正。但是，采用上述两种方式对信号灯颜色恢复，无法避免红灯和黄灯误检，也无法恢复交通信号灯的形状，并且第二种方式算法负责度高，很难应用到实时场景中。
发明内容
本申请实施例提供了一种交通信号灯图像处理方法及交通信号灯图像处理装置，用以在恢复异常交通信号灯的颜色和形状、避免红灯和黄灯误检，提高交通信号灯图像处理的准确性。
本申请实施例提供的一种交通信号灯图像处理方法，该方法包括：
确定当前交通信号灯的状态，所述交通信号灯的状态包括红灯状态、绿灯状态、黄灯状态；
采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像；
根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；
根据所述当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理。
本申请实施例提供交通信号灯图像处理方法，通过采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像，并根据所述长曝光帧图像和短曝光帧图像中的交通信号灯区域对当前交通信号灯的形状进行恢复，之后再对交通信号灯的颜色进行恢复。即本申请提供的交通信号灯图像处理方法，既可以恢复交通信号灯的颜色，又可以恢复交通信号灯的形状，使得交通信号灯的恢复结果更加准确。此外，本申请实施例提供的交通信号灯图像处理方法，在对交通信号灯的形状和颜色进行恢复之前，需要确定当前交通信号灯的状态，从而可以满***通信号灯检测到实时性，并且可以防止红灯和黄灯误检。
可选地，采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像之后，该方法还包括：
在所述长曝光帧图像和所述短曝光帧图像中获取指定范围的区域作为感兴趣区域，所述感兴趣区域包括所述当前交通信号灯出现的区域；
根据所述当前信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像具体包括：
在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域；
对一帧所述长曝光帧图像和一帧所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前信号灯的形状，得到交通信号灯形状恢复图像。
本申请实施例提供交通信号灯图像处理方法，在所述长曝光帧图像和所述短曝光帧图像中获取指定范围的区域作为感兴趣区域，从而可以避免对该区域进行图像处理造成资源浪费和处理效率降低。
可选地，在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域具体包括：
获取所述长曝光帧图像的感兴趣区域的每一像素点的红绿蓝RGB空间的颜色值，以及和所述短曝光帧图像的感兴趣区域的每一像素点的RGB空间的颜色值；
针对每一像素点，判断该像素点的RGB空间的颜色值是否满足预设条件，将满足所述预设条件的像素点设置为1，将不满足所述预设条件的像素点设置为0，得到所述感兴趣区域的二值图；
将满足所述预设条件的像素点组成第一交通信号灯异常区域，将所述二值图中的所述第一交通信号灯异常区域作为当前交通信号灯区域。
可选地，当所述当前交通信号灯状态为红灯状态时，所述预设条件具体包括：对任一像素点，所述短曝光帧图像的红色通道与绿色通道的比值r/g，与所述长曝光帧图像的红色通道与绿色通道的比值r’/g’的差值，大于第一预设阈值，且在所述长曝光帧图像中该像素点红色通道r’值大于第二预设阈值；
当所述当前交通信号灯状态为绿灯状态时，所述预设条件具体包括：所述短曝光帧图像绿色通道与红色通道的比值g/r，与所述长曝光帧图像的绿色通道与红色通道的比值g’/r’的差值，大于第三预设阈值，且所述长曝光帧图像的绿色通道g’值大于第四预设阈值。
本申请实施例提供交通信号灯图像处理方法，根据r/g与r’/g’的差值或g/r与g’/r’的差值，可以同时实现异常信号灯像素点判断和定位。并且，采用本申请实施例提供的交通信号灯异常像素点的判定和定位的方法，还可以避免将天空或信号灯灯盘误检为交通信号灯。
可选地，对所述长曝光帧图像和所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前信号灯的形状，得到交通信号灯形状恢复图像具体包括：
根据所述二值图生成融合掩码；
利用所述融合掩码、长曝光帧图像和短曝光帧图像，根据预设融合条件进行融合。
可选地，在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域之前，所述方法还包括：
对所述长曝光帧图像和所述短曝光帧图像中的所述感兴趣区域分别依次进行白平衡处理、插值处理；
对所述长曝光帧图像中所述感兴趣区域进行减光晕处理。
本申请实施例提供交通信号灯图像处理方法，对长曝光帧图像进行减光晕处理，从而可以避免在根据长曝光帧图像和短曝光帧图像进行交通信号灯形状恢复时，由于长曝光帧光晕较大造成的交通信号灯形状恢复效果突兀。
可选地，根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像之后，所述方法还包括：
在所述第一信号灯异常区域获取当前交通信号灯光晕区域；
在所述第一信号灯异常区域提取高亮区域，所述高亮区域的亮度满足预设亮度条件；
若存在所述提取的光晕区域和所述高亮区域的重叠区域，则确定所述重叠区域为第二交通信号灯异常区域；
根据所述当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理具体包括：
将所述第一交通信号灯异常区域划分成多个矩形区域；
计算每个所述矩形区域的亮度平均值；
根据每个所述矩形区域的亮度平均值，计算该矩形区域的颜色校正等级；
对于任一所述矩形区域中的任一像素点，当该像素点为所述第二异常交通信号灯区域的像素点时，将该像素点的RGB空间的颜色值转换成HSV空间的颜色值，调整该像素点的色调、饱和度，并将该像素点的HSV空间的颜色值转换成RGB空间的颜色值。
本申请实施例提供的一种交通信号灯图像处理装置，该装置包括：
交通信号检测器模块，用于确定当前交通信号灯的状态，所述交通信号灯的状态包括红灯状态、绿灯状态、黄灯状态；
采集模块，用于采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像；
信号灯形状恢复模块，用于根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；
颜色恢复模块，用于根据所述当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理。
可选地，所述信号灯形状恢复模块还用于：
在所述采集模块采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像之后，在所述长曝光帧图像和所述短曝光帧图像中获取指定范围的区域作为感兴趣区域，所述感兴趣区域包括所述当前交通信号灯出现的区域；
所述信号灯形状恢复模块还包括：
交通信号灯定位模块，用于在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域；
交通信号灯融合模块，用于对一帧所述长曝光帧图像和一帧所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前信号灯的形状，得到交通信号灯形状恢复图像。
可选地，所述交通信号灯定位模块具体用于：
获取所述长曝光帧图像的感兴趣区域的每一像素点的红绿蓝RGB空间的颜色值，以及和所述短曝光帧图像的感兴趣区域的每一像素点的RGB空间的颜色值；
针对每一像素点，判断该像素点的RGB空间的颜色值是否满足预设条件，将满足所述预设条件的像素点设置为1，将不满足所述预设条件的像素点设置为0，得到所述感兴趣区域的二值图；
将满足所述预设条件的像素点组成第一交通信号灯异常区域，将所述二值图中的所述第一交通信号灯异常区域作为当前交通信号灯区域。
可选地，当所述当前交通信号灯状态为红灯状态时，所述预设条件具体包括：对任一像素点，所述短曝光帧图像的红色通道与绿色通道的比值r/g，与所述长曝光帧图像的红色通道与绿色通道的比值r’/g’的差值，大于第一预设阈值，且在所述长曝光帧图像中该像素点红色通道r’值大于第二预设阈值；
当所述当前交通信号灯状态为绿灯状态时，所述预设条件具体包括：所述短曝光帧图像绿色通道与红色通道的比值g/r，与所述长曝光帧图像的绿色通道与红色通道的比值g’/r’的差值，大于第三预设阈值，且所述长曝光帧图像的绿色通道g’值大于第四预设阈值。
可选地，所述交通信号灯融合模块具体用于：
根据所述二值图生成融合掩码；
利用所述融合掩码、长曝光帧图像和短曝光帧图像，根据预设融合条件进行融合。
可选地，所述形状恢复模块还包括预处理模块，用于在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域之前，对所述长曝光帧图像和所述短曝光帧图像中的所述感兴趣区域分别依次进行白平衡处理、插值处理；对所述长曝光帧图像中所述感兴趣区域进行减光晕处理。
可选地，该装置还包括：
光晕检测模块，用于在所述第一信号灯异常区域获取当前交通信号灯光晕区域；
高亮区域检测模块，用于在所述第一信号灯异常区域提取高亮区域，所述高亮区域的亮度满足预设亮度条件；
异常区域确定模块，用于若存在所述提取的光晕区域和所述高亮区域的重叠区域，则确定所述重叠区域为第二交通信号灯异常区域；
所述颜色恢复模块具体用于：
将所述第一交通信号灯异常区域划分成多个矩形区域；
计算每个所述矩形区域的亮度平均值；
根据每个所述矩形区域的亮度平均值，计算该矩形区域的颜色校正等级；
对于任一所述矩形区域中的任一像素点，当该像素点为所述第二异常交通信号灯区域的像素点时，将像素点的RGB空间的颜色值转换成HSV空间的颜色值，调整该像素点的色调、饱和度，并将调整后的该矩形区域的HSV空间的颜色值转换成RGB空间的颜色值。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种交通信号灯图像处理方法流程图；
图2为本申请实施例提供的一种定位异常红灯区域的流程图；
图3为本申请实施例提供的一种交通信号灯图像处理方法中根据二值图生成融合掩码的流程图；
图4为本申请实施例提供的一种交通信号灯图像处理方法中减光晕处理流程图；
图5为本申请实施例提供的一种交通信号灯图像处理方法中交通信号灯颜色恢复流程图；
图6本申请实施例提供的一种交通信号灯图像处理装置结构示意图。
具体实施方式
本申请实施例提供的一种交通信号灯图像处理方法，如图1所示，该方法包括：
S101、确定当前交通信号灯的状态，所述交通信号灯的状态包括红灯状态、绿灯状态、黄灯状态；
S102、采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像；
S103、根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；
S104、根据当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理。
本申请实施例提供交通信号灯图像处理方法，通过采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像，并根据所述长曝光帧图像和短曝光帧图像中的交通信号灯区域对当前交通信号灯的形状进行恢复，之后再对交通信号灯的颜色进行恢复。即本申请提供的交通信号灯图像处理方法，既可以恢复交通信号灯的颜色，又可以恢复交通信号灯的形状，使得交通信号灯的恢复结果更加准确。此外，本申请实施例提供的交通信号灯图像处理方法，在对交通信号灯的形状和颜色进行恢复之前，需要确定当前交通信号灯的状态，从而可以满***通信号灯检测到实时性，并且可以防止红灯和黄灯误检。
可选地，确定当前交通信号灯状态，例如可以采用交通信号检测器，根据信号检测器提供的信号，便可以准确地知道当前交通信号灯是红灯、绿灯还是黄灯，后续在进行交通信号灯颜色和形状恢复的过程中，有针对性的对异常红灯或者异常绿灯进行颜色和形状恢复。
需要说明的是，在不同的环境条件下，获取的图像中异常交通信号灯的状态并不相同，例如，在白天环境，异常红灯多为黄色，且光晕较小，在夜晚环境是，异常交通信号灯的中间区域多为白色，且光晕较大。因此需要根据环境的不同条件，调节长曝光帧图像和短曝光帧图像的曝光参数，例如调节曝光时间。此外，采集长短曝光帧图像时，需要保持固定的时序，本申请提供的交通信号灯处理方法，每秒只采集1张短曝光帧，其余均采集长曝光帧，例如当视频帧的帧率为25时，首先采集1张短曝光帧，之后采集24张长曝光帧。需要说明的是，长曝光帧图像对应的是正常曝光参数，红灯在长曝光帧图像中往往偏黄或偏白，并且红灯的形状也会发生变化，为了获得信号灯呈现正常形状的图像，需要采集短曝光帧图像，短曝光帧图像的曝光时间比长曝光帧图像的曝光时间短。此外，在设置短曝光帧图像的曝光参数时，需要保证采集到的整体图像中的场景亮度不能过暗，不能影响交通信号灯形状的恢复效果。
可选地，采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像之后，该方法还包括：
在所述长曝光帧图像和所述短曝光帧图像中获取指定范围的区域作为感兴趣区域，所述感兴趣区域包括所述当前交通信号灯出现的区域；
根据所述当前信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像具体包括：
在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域；
对一帧所述长曝光帧图像和一帧所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前信号灯的形状，得到交通信号灯形状恢复图像。
由于采集到的长曝光帧图像和短曝光帧图像中存在与交通信号灯无关的区域，为了避免对该区域进行图像处理造成资源浪费和处理效率降低，因此可以人工指定包括交通信号灯的区域作为感兴趣区域，例如可以人工设定感兴趣区域的坐标位置。所述感兴趣区域例如可以是矩形区域。
可选地，在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域具体包括：
获取所述长曝光帧图像的感兴趣区域的每一像素点的红绿蓝RGB空间的颜色值，以及和所述短曝光帧图像的感兴趣区域的每一像素点的RGB空间的颜色值；
针对每一像素点，判断该像素点的RGB空间的颜色值是否满足预设条件，将满足所述预设条件的像素点设置为1，将不满足所述预设条件的像素点设置为0，得到所述感兴趣区域的二值图；
将满足所述预设条件的像素点组成第一交通信号灯异常区域，将所述二值图中的所述第一交通信号灯异常区域作为当前交通信号灯区域。
可选地，当所述当前交通信号灯状态为红灯状态时，所述预设条件具体包括：对任一像素点，所述短曝光帧图像的红色通道与绿色通道的比值r/g，与所述长曝光帧图像的红色通道与绿色通道的比值r’/g’的差值，大于第一预设阈值，且在所述长曝光帧图像中该像素点红色通道r’值大于第二预设阈值；
当所述当前交通信号灯状态为绿灯状态时，所述预设条件具体包括：所述短曝光帧图像绿色通道与红色通道的比值g/r，与所述长曝光帧图像的绿色通道与红色通道的比值g’/r’的差值，大于第三预设阈值，且所述长曝光帧图像的绿色通道g’值大于第四预设阈值。
需要说明的是，对于红灯状态，在长曝光帧图像中，异常红灯呈现为黄色或者白色，r’/g’的值接近1，而在短曝光帧中，红灯呈现红色，r/g的值大于1，即异常红灯区域的r/g与r’/g’存在差异；对于绿灯状态，在长曝光帧图像中，异常绿灯呈现为白色，g’/r’的值为1，而在短曝光帧中，绿灯呈现绿色，g/r的值大于1，即异常绿灯区域的g/r与g’/r’存在差异；红灯状态下根据r/g与r’/g’的差异、或者绿灯状态下根据g/r与g’/r’的差异，即可位异常红灯区域或异常绿灯区域。也就是说本申请实施例提供的交通信号灯图像处理方法，根据r/g与r’/g’的差值或g/r与g’/r’的差值，可以同时实现异常信号灯像素点判断和定位。并且，采用本申请实施例提供的交通信号灯异常像素点的判定和定位的方法，还可以避免将天空或信号灯灯盘误检为交通信号灯。
以红灯状态为例，如图2所示，定位异常红灯区域的流程具体包括：
S201、遍历像素点，判断是否遍历结束，是则执行步骤S207，否则执行步骤S202；
S202、计算该像素点的r’/g’的值和r/g的值，以及计算r/g和r’/g’的差值；
S203、判断r/g和r’/g’的差值是否大于第一预设阈值thr1；是则执行步骤S204，否则，将该像素点置为0，并执行步骤S201；
S204、判断该像素点r’的值是否大于第二预设阈值thr2；是则将该像素点置为1，并执行步骤S201，否则将该像素点置为0，并执行步骤S201；
S205、对遍历像素点得到的二值图进行半径为N的膨胀处理，之后在进行半径为2N的腐蚀处理，之后再进行半径为N的膨胀处理；
其中N代表像素点数目；
S206、对二值图进行连通区域标记，获取异常红灯位置；
S207、结束。
需要说明的是，一般情况下，二值图像中的背景区域像素点置为0，目标区域像素点置为1，为了提取二值图像中不同区域的特征，通常先要对连通区域进行标记，但在上述步骤S205之前得到的二值图中可能存在噪点，导致目标区域不连续，因此在进行联通区域标记之前，需要对二值图进行形态学滤波(膨胀、腐蚀处理)，消除噪点。连通区域标记是指将图像中符合某种连通规则的像素用相同的标号表示出来，联通规则包括4邻域连通规则和8邻域连通规则。图像的标记方法大致可以分为以下3类：像素标记法、线标记法和区域增长法。
可选地，对所述长曝光帧图像和所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前信号灯的形状，得到交通信号灯形状恢复图像具体包括：
根据所述二值图生成融合掩码；
利用所述融合掩码、长曝光帧图像和短曝光帧图像，根据预设融合条件进行融合。
可选地，如图3所示，根据所述二值图生成融合掩码的过程具体包括：
S601、确定所述二值图中联通区域的最小外接圆区域，该外接圆区域的半径为r，圆心为centre；
S602、扩大最小外接圆区域，得到半径为r’的新的圆形区域；
其中，r’＝r+d，d为沿半径方向扩大到距离；
S603、计算圆形融合掩码权重w。
在上述步骤S603中，沿着新的圆形区域的边界往圆心计算掩码权重，例如可以采用如下公式计算圆形融合掩码权重w：
Figure BDA0001412306280000121
其中，dis为点到圆心centre的距离，border为过渡边界的半径。
利用如图3所示的方法得到的圆形融合掩码，根据如下预设融合条件，对长曝光帧图像和短曝光帧图像进行融合：
img_new＝img_long×(1-w)+img_sort×w；
其中，img_new为融合后输出的图像的bayer数据，img_long为长曝光帧图像原始bayer数据，img_sort为短曝光帧图像原始bayer数据。
可选地，在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域之前，所述方法还包括：
对所述长曝光帧图像和所述短曝光帧图像中的所述感兴趣区域分别依次进行白平衡处理、插值处理；
对所述长曝光帧图像中所述感兴趣区域进行减光晕处理。
需要说明的是，采集到的长曝光帧图像和短曝光帧图像均为未处理的、原始图像数据(即RAW数据)，通常为拜耳(bayer)格式，需要转换成RGB格式，以红灯状态为例，对于长曝光帧图像或短曝光帧图像，首先需要将bayer格式中的R、B通道值分别乘以白平衡增益参数r_gain、g_gain进行白平衡处理，之后再进行插值处理，将bayer格式转换成RGB格式，使每个像素点都有RGB三个通道数值，例如可以采用双线性插值，实现将bayer格式转换成RGB格式。对于长曝光帧图像，在进行差值处理之后，还需进行减光晕处理，从而可以避免在根据长曝光帧图像和短曝光帧图像进行交通信号灯形状恢复时，由于长曝光帧光晕较大造成的交通信号灯形状恢复效果突兀。
以红灯状态为例，如图4所示，对长曝光帧图像进行减光晕处理具体包括：
S901、遍历像素点，判断是否遍历结束，是则执行步骤S904，否则执行步骤S902；
S902、比较该像素点的r’和g’的值，判断r’和g’是否满足r’＞Sr×g’，是则对r’进行修正，使得r’满足r’＝Sr×g’，并执行步骤S903，否则执行步骤S901；
其中Sr为光晕减弱强度参数，Sr的值越小，光晕减弱越强；
S903、比较当前像素点的绿色通道b’的值和g’的值，判断b’和g’是否满足b’＜Sb×g’，是则对b’进行修正，使得b’满足b’＝Sb×g’，并且执行步骤S901，否则，执行步骤S901；
其中Sb为光晕偏黄抑制强度参数，Sb的值越大，光晕偏黄抑制越强；
S904、结束。
需要说明的是Sr、Sb的取值需要根据实际情况进行选择，本申请不进行限制。
可选地，根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像之后，所述方法还包括：
在所述第一信号灯异常区域获取当前交通信号灯光晕区域；
在所述第一信号灯异常区域提取高亮区域，所述高亮区域的亮度满足预设亮度条件；
若存在所述提取的光晕区域和所述高亮区域的重叠区域，则确定所述重叠区域为第二交通信号灯异常区域；
根据所述当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理具体包括：
将所述第一交通信号灯异常区域划分成多个矩形区域；
计算每个所述矩形区域的亮度平均值；
根据每个所述矩形区域的亮度平均值，计算该矩形区域的颜色校正等级；
对于任一所述矩形区域中的任一像素点，当该像素点为所述第二异常交通信号灯区域的像素点时，将该像素点的RGB空间的颜色值转换成HSV空间的颜色值，调整该像素点的色调、饱和度，并将该像素点的HSV空间的颜色值转换成RGB空间的颜色值。
以红灯状态为例，异常红灯区别于黄灯和绿灯的特征是红灯周围存在红色光晕，因此，在定位第一异常红灯区域之后，可在该区域定位红色光晕，例如，在Lab颜色空间，定位红色光晕，进行二值化生成二值图，在将该二值图进行形态学滤波，除去干扰像素点，最后通过连通区域标记，获取红色光晕区域。此外，由于交通信号灯是自发光的物体，因此其亮度比较高。对于红灯来说，成像介质，例如电荷耦合元件(Charge-coupled Device，CCD)响应红灯时，红色分量先达到饱和，然后是绿色分量，最后是蓝色分量，这样致使红色分量值最大，绿色分量值次之，蓝色分量值最小，在定位第一异常红灯区域之后，可将该区域中亮度满足条件但是颜色不满足条件的区域剔除，最后将原图像满足条件的区域置为255，其他置为0，生成二值化图像。再利用形态学对二值化图像进行滤波，去除干扰像素，最后通过连通区域标记，获取初步定位异常红灯区域中的高亮度区域。一般情况，异常红灯包含红色光晕区域和高亮区域，并且红色光晕分布在高亮区域周围，当红色区域包含高亮区域时，则认为该高亮区域为异常红灯。本申请实施例通过光晕区域和高亮区域重叠的区域定位异常红灯区域，从而可以更准确的定位异常红灯区域，并且可以进一步防止其他物体(例如车尾灯)被误检为信号灯。
下面，针对所述当交通信号灯状态下的交通信号灯形状恢复图像，对本申请实施例提供的在第一信号灯异常区域获取当前交通信号灯光晕区域、在所述第一信号灯异常区域提取高亮区域、以及确定所述光晕区域和所述高亮区域的重叠区域为第二交通信号灯异常区域的具体方法进行介绍。
可选地，在所述第一信号灯异常区域获取当前交通信号灯光晕区域具体包括：提取所述第一信号灯异常区域中的光晕区域，其中，所述光晕区域的颜色在以所述当前交通信号灯状态的信号灯颜色为基准的第一颜色范围内。
可选地，在所述第一信号灯异常区域提取高亮区域，所述高亮区域的亮度满足预设亮度条件具体包括：提取所述第一信号灯异常区域中的高亮区域，其中，所述高亮区域的颜色在以所述当前交通信号灯状态的异常信号灯颜色为基准的第二颜色范围内，且所述高亮区域的亮度大于指定亮度。
需要说明的是，在所述第一信号灯异常区域获取当前交通信号灯光晕区域的步骤，和在所述第一信号灯异常区域提取高亮区域的步骤的执行先后顺序不受限。
需要说明的是，一种颜色可由亮度、色调和饱和度这三个参数来表述。由于同一信号灯的光晕的颜色不可能完全一致，但是光晕的色调方向基本不变，例如红灯的光晕整体还都是红色，但是红的程度不同，即颜色值不会完全相同。本申请实施例中，为了提高确定光晕的准确性，所述红灯状态的第一颜色范围为预设红色范围，所述绿灯状态的第一颜色范围为预设绿色范围。同理，不同信号灯偏色情况不同，例如红灯通常偏色为黄灯或类似白色的灯，而绿灯通常偏色为白色的灯。所以为了提高确定高亮区域的准确性，所述红灯状态的第二颜色范围为第一预设白色范围或预设黄色范围，所述绿灯状态的第二颜色范围为第二预设白色范围。也就是说，通过一定的颜色范围来区分高亮区域，能够尽可能将需要的高亮区域提取出来。
需要说明的是，光晕区域的颜色在以所述当前交通信号灯状态的信号灯颜色为基准的第一颜色范围内，因此，为了提取光晕区域，需要判断一个像素点颜色是否在第一颜色范围内，若是，则该像素点才属于光晕区域。本申请实施例中，为了便于描述并确定第一颜色范围，并判断一个像素点是否属于光晕区域，提取所述第一信号灯异常区域中的光晕区域具体包括如下步骤：
步骤A1、将所述第一信号灯异常区域内像素点的颜色值转换到Lab颜色空间；
步骤A2、针对所述第一信号灯异常区域中的每一像素点，确定该像素点的在所述Lab颜色空间中的颜色值是否在以所述当前交通信号灯状态的信号灯颜色为基准的第一颜色范围内；其中，第一颜色范围是对Lab颜色空间根据当前交通信号灯状态的颜色进行线性分割得到的颜色区域；
Lab颜色空间中的L分量用于表示像素的亮度，取值范围是[0,100]，表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]。假设一像素点的颜色值为(L，a，b)，则可以根据公式(1)所来该像素点是否在第一颜色范围，即若该点的(L，a，b)满足公式(1)所列的条件，则说明该像素点在第一颜色范围内；
Figure BDA0001412306280000161
其中，λ1、λ2、λ3、λ4、λ5、λ6均为预设常量。具体实施时，可以根据实际需求确定各预设常量；
步骤A3、若是，则将该像素点确定为属于所述光晕区域的点，否则，将该像素点确定为不属于所述光晕区域的点。
由上述步骤A1～A3可知，在Lab颜色空间中通过线性分割能够得到相应的第一颜色范围。根据线性分割的特点，可以通过简单的数学方法的判断一个像素点的颜色是否在第一颜色范围内，从而提高提取光晕区域的效率。
需要说明的是，采用的颜色空间不同，第一颜色范围的表达方式不同。具体实施时，可以根据具体的颜色空间来确定第一颜色范围，均适用于本申请实施例。
根据上述步骤A1～A3的方法提取的光晕区域往往会有噪点，而且提取的区域不连通，也很可能会存在空洞。本申请实施例中为了克服这些问题，提高提取的光晕区域的准确性，所述方法还包括：
步骤B1、将所述第一信号灯异常区域进行二值化，其中，将属于所述光晕区域的像素点设置为255，将不属于所述光晕区域的像素点设置为0；
步骤B2、通过第一腐蚀处理，去除二值化后的所述第一信号灯异常区域中的噪点；
步骤B3、对去除噪点后的所述第一信号灯异常区域进行第一膨胀处理得到所述光晕区域。
可选地、为了便于提取出准确的高亮区域，所从所述第一信号灯异常区域中提取所述高亮区域，具体包括：
步骤C1、针对所述第一信号灯异常区域中的每一像素点，确定该像素点是否满足以下条件：亮度大于指定亮度，且在RGB颜色空间该像素点的颜色值在以所述当前交通信号灯状态的异常信号灯颜色为基准的第二颜色范围内；
步骤C2、若满足，则将该像素点设置为255；
步骤C3、若不满足，则将该像素点设置为0；
步骤C4、通过第二腐蚀处理，去除所述第一信号灯异常区域中的噪点；
步骤C5、对通过第二腐蚀处理后的所述第一信号灯异常区域进行第二膨胀处理得到所述高亮区域。
同理，提取高亮区域的过程中，二值化后提取的高亮区域也会存在噪点和空洞，故此通过步骤C4和步骤C5克服这些问题，使得提取的高亮区域更加准确。其中，第二腐蚀处理的腐蚀因子和第二膨胀处理的膨胀因子的形状和大小也可以根据实际需求设定，本申请对此不作限定。
对于步骤C1中的亮度条件的判定，可以将RGB图像转换为灰度图像，针对每个像素点若该像素点的灰度值大于指定灰度值则该像素点的亮度大于指定亮度，否则，该像素点的亮度不大于指定亮度。进一步的，具体实施时，将RGB图像转换为灰度图像后，为了能够提高判断的准确性，可以采用大律法针对每幅图像确定一个适当的指定灰度值。
需要说明的是，表示亮度的方法还有很多种，具体实施时可以根据实际需求确定。例如转换到其它有亮度信息的颜色空间来判断亮度是否大于指定亮度。此外，采集到的当前信号灯状态的图像满足色光加色原理，即R、G、B值的和值越大，亮度也就越大，也可以采用R、G、B值的和值来表示亮度，然后确定该亮度是否大于指定亮度。
具体实施时，信号灯的环境因素也会对采集到的图像的颜色值造成一定影响。例如夜晚、阴雨天等光线较暗的情况下，需要增加曝光量获取抓拍图像。那么对于本申请实施例中提取高亮区域的准确性会造成一定的影响。故此，为了适应各种环境因素，更加准确的提取高亮区域，所述在步骤C1中确定该像素点是否满足以下条件之前，所述方法还包括：
步骤D1、根据所述信号灯所处环境因素，确定当前交通信号灯状态对应的当前场景；其中，所述环境因素包括以下中的至少一种：天气状态、获取所述抓拍图片的曝光量、环境光强度。
其中，天气状态，例如光线较暗的夜晚、白天中的阴天、白天中的雨天、白天中的下雪天、白天中的多云天；和光线较好的白天晴天。
曝光量也能从一定程度上反应环境光的强度，所以也可以采用曝光量表示。
需要说明的是，其它能够反应曝光量的环境因素也适用于本申请实施例，本申请对此不作限定。
步骤D2、根据预置的场景与颜色范围的对应关系，确定所述当前场景对应的颜色范围作为以所述当前交通信号灯状态的异常信号灯颜色为基准的第二颜色范围。
这样，通过为不同的应用场景配置不同的第二颜色范围，能够对不同的场景有针对性的提取高亮区域，从而提高提取高亮区域的准确性，并为之后判断异常信号灯打下较好的基础。
可选地，为了能够准确的提取出高亮区域，本申请实施例中，每个场景对应一组颜色阈值，且每组颜色阈值均包括红色阈值、绿色阈值和蓝色阈值；
针对每种场景，红灯状态的第二颜色范围为：红色R值大于红灯状态的红色阈值、绿色G值大于红灯状态的绿色阈值、且蓝色B小于红灯状态的蓝色阈值；这样，对应红灯的偏色情况能将偏黄和偏白都能够包括在内，并且准确的检测出偏色。
针对每种场景，绿灯状态的第二颜色范围为：红色R值大于绿灯状态的红色阈值、绿色G值大于绿灯状态的绿色阈值、蓝色B小于绿灯状态的蓝色、且R、G、B的最大差值小于或等于预设差值。由于绿灯偏色通常为偏白，所以通过要求R、G、B的最大差值小于或等于预设差值，实现针对偏白情况的处理。
可选地，为了便于准确的定位出异常信号灯的位置，所述方法还包括：根据连通区域标记方法，对第一膨胀处理后的所述第一信号灯异常区域进行标记，得到由具有标记的至少一个第一连通域组成的所述光晕区域；以及，根据连通区域标记方法，对第二膨胀处理后的所述第一信号灯异常区域进行标记，得到由具有标记的至少一个第二连通域组成的所述高亮区域；这样，每个位置可以采用连通域的标记来表示。
具有了各连通域的标记后，所述若所述光晕区域和所述高亮区域存在重叠区域，则确定所述第一信号灯异常区域中存在所述当前交通信号灯状态的异常信号灯，具体包括：
步骤E1、针对每个第二连通域，判断是否存在与该第二连通域重叠的第一连通域；
步骤E2、若否，则确定该第二连通域不存在异常信号灯；若是，则计算该第二连通域与重合的第一连通域的重叠部分与该第二连通域的比例；
步骤E3、若该比例大于预设比例，则确定该第二连通域是异常信号灯位置，并将该第二连通域的标记作为所述异常信号灯位置的标记。
以当前交通信号灯状态为红灯状态为例，如图5所示，在确定第二交通信号灯异常区域之后，异常红灯颜色恢复具体包括如下步骤：
S1001、遍历矩形区域，判断是否遍历结束；是则执行步骤S1006，否则执行步骤S1002；
S1002、计算该矩形区域的亮度平均值y_avg；
S1003、根据该矩形区域的亮度平均值，计算该矩形区域的颜色校正等级degree；
其中，degree满足如下公式：
Figure BDA0001412306280000201
其中，x1、x2、y1、y2代表该矩形区域的坐标范围；
S1004、遍历该矩形区域的像素点，判断是否遍历结束；是则执行步骤S1005，否则执行步骤S1001；
S1005、判断该像素点对应的掩码(mask)是否为1；是则将该像素点的RGB颜色空间的颜色值转换成HSV空间的颜色值，调整H、S的值，并将调整后的该像素点的HSV空间的颜色值转换成RGB空间的颜色值，并执行步骤S1004；否则执行步骤S1004；
S1006、结束。
需要说明的是，在如图5所示的异常红灯颜色恢复流程中，在步骤S1005中的mask为提取高亮区域之后的二值图；在步骤S1005中，调整H包括：采用如下公式调整H：
Figure BDA0001412306280000211
在步骤S1005中，调整S包括：当degree＝0时，不调整S值；当degree大于0时，调整S包括如下步骤：
S1、new＝S当new≥degree时，执行步骤S3，否则执行步骤S2；
S2、new＝1.367×new，当new≥degree或者步骤执行次数大于9时，执行步骤S3，否则执行步骤S2；
S3、S＝new/100，并对S进行滤波处理。
与本申请实施例提供的交通信号灯图像处理方法相对应，本申请实施例还提供了一种交通信号灯图像处理装置，如图6所示，该装置包括：
交通信号检测器模块01，用于确定当前交通信号灯的状态，所述交通信号灯的状态包括红灯状态、绿灯状态、黄灯状态；
采集模块02，用于采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像；
信号灯形状恢复模块03，用于根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；
颜色恢复模块04，用于根据所述当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理。
本申请实施例提供交通信号灯图像处理装置，通过采集模块采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像，信号灯形状恢复模块根据所述长曝光帧图像和短曝光帧图像中的交通信号灯区域对当前交通信号灯的形状进行恢复，之后颜色恢复模块对交通信号灯的颜色进行恢复。即本申请提供的交通信号灯图像处理装置，既可以恢复交通信号灯的颜色，又可以恢复交通信号灯的形状，使得交通信号灯的恢复结果更加准确。此外，本申请实施例提供的交通信号灯图像处理装置，在对交通信号灯的形状和颜色进行恢复之前，利用交通信号检测器模块确定当前交通信号灯的状态，从而可以满***通信号灯检测到实时性，并且可以防止红灯和黄灯误检。
交通信号检测器模块，例如可以包括交通信号检测器，根据信号检测器提供的信号，便可以准确地知道当前交通信号灯是红灯、绿灯还是黄灯，后续在进行交通信号灯颜色和形状恢复的过程中，有针对性的对异常红灯或者异常绿灯进行颜色和形状恢复。
可选地，所述信号灯形状恢复模块还用于：
在所述采集模块采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像之后，在所述长曝光帧图像和所述短曝光帧图像中获取指定范围的区域作为感兴趣区域，所述感兴趣区域包括所述当前交通信号灯出现的区域；
所述信号灯形状恢复模块还包括：
交通信号灯定位模块，用于在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域；
交通信号灯融合模块，用于对一帧所述长曝光帧图像和一帧所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前信号灯的形状，得到交通信号灯形状恢复图像。
可选地，所述交通信号灯定位模块具体用于：
获取所述长曝光帧图像的感兴趣区域的每一像素点的红绿蓝RGB空间的颜色值，以及和所述短曝光帧图像的感兴趣区域的每一像素点的RGB空间的颜色值；
针对每一像素点，判断该像素点的RGB空间的颜色值是否满足预设条件，将满足所述预设条件的像素点设置为1，将不满足所述预设条件的像素点设置为0，得到所述感兴趣区域的二值图；
将满足所述预设条件的像素点组成第一交通信号灯异常区域，将所述二值图中的所述第一交通信号灯异常区域作为当前交通信号灯区域。
可选地，当所述当前交通信号灯状态为红灯状态时，所述预设条件具体包括：对任一像素点，所述短曝光帧图像的红色通道与绿色通道的比值r/g，与所述长曝光帧图像的红色通道与绿色通道的比值r’/g’的差值，大于第一预设阈值，且在所述长曝光帧图像中该像素点红色通道r’值大于第二预设阈值；
当所述当前交通信号灯状态为绿灯状态时，所述预设条件具体包括：所述短曝光帧图像绿色通道与红色通道的比值g/r，与所述长曝光帧图像的绿色通道与红色通道的比值g’/r’的差值，大于第三预设阈值，且所述长曝光帧图像的绿色通道g’值大于第四预设阈值。
可选地，所述交通信号灯融合模块具体用于：
根据所述二值图生成融合掩码；
利用所述融合掩码、长曝光帧图像和短曝光帧图像，根据预设融合条件进行融合。
可选地，所述形状恢复模块还包括预处理模块，用于在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域之前，对所述长曝光帧图像和所述短曝光帧图像中的所述感兴趣区域分别依次进行白平衡处理、插值处理；对所述长曝光帧图像中所述感兴趣区域进行减光晕处理。
可选地，该装置还包括：
光晕检测模块，用于在所述第一信号灯异常区域获取当前交通信号灯光晕区域；
高亮区域检测模块，用于在所述第一信号灯异常区域提取高亮区域，所述高亮区域的亮度满足预设亮度条件；
异常区域确定模块，用于若存在所述提取的光晕区域和所述高亮区域的重叠区域，则确定所述重叠区域为第二交通信号灯异常区域；
所述颜色恢复模块具体用于：
将所述第一交通信号灯异常区域划分成多个矩形区域；
计算每个所述矩形区域的亮度平均值；
根据每个所述矩形区域的亮度平均值，计算该矩形区域的颜色校正等级；
对于任一所述矩形区域中的任一像素点，当该像素点为所述第二异常交通信号灯区域的像素点时，将像素点的RGB颜色空间的颜色值转换成HSV空间的颜色值,调整该像素点的色调、饱和度，并将调整后的该矩形区域的HSV空间的颜色值转换成RGB空间的颜色值。
下面对本申请实施例提供的光晕检测模块、高亮区域检测模块、异常区域确定模块进行具体介绍。
可选地，所述光晕检测模块在所述第一信号灯异常区域获取当前交通信号灯光晕区域具体包括：提取所述第一信号灯异常区域中的光晕区域，其中，所述光晕区域的颜色在以所述当前交通信号灯状态的信号灯颜色为基准的第一颜色范围内。
可选地，所述高亮区域检测模块用于在所述第一信号灯异常区域提取高亮区域具体包括：提取所述第一信号灯异常区域中的高亮区域，其中，所述高亮区域的颜色在以所述当前交通信号灯状态的异常信号灯颜色为基准的第二颜色范围内，且所述高亮区域的亮度大于指定亮度。
可选地，所述光晕提取模块，具体包括：
颜色转换单元，用于将所述第一信号灯异常区域内像素点的颜色值转换到Lab颜色空间；
第一颜色范围判断单元，用于针对所述第一信号灯异常区域中的每一像素点，确定该像素点的在所述Lab颜色空间中的颜色值是否在以所述当前交通信号灯状态的信号灯颜色为基准的第一颜色范围内；其中，第一颜色范围是对Lab颜色空间根据当前交通信号灯状态的颜色进行线性分割得到的颜色区域；
光晕确定单元，用于若是，则将该像素点确定为属于所述光晕区域的点，否则，将该像素点确定为不属于所述光晕区域的点。
可选地，本申请实施例提供的交通信号灯图像处理装置还包括：
二值化模块，用于将所述第一信号灯异常区域进行二值化，其中，将属于所述光晕区域的像素点设置为255，将不属于所述光晕区域的像素点设置为0；
腐蚀模块，用于通过第一腐蚀处理，去除二值化后的所述第一信号灯异常区域中的噪点；
光晕区域优化模块，用于对去除噪点后的所述第一信号灯异常区域进行第一膨胀处理得到所述光晕区域。
可选地，所述高亮区域提取模块，具体包括：
第二颜色范围判断单元，用于针对所述第一信号灯异常区域中的每一像素点，确定该像素点是否满足以下条件：亮度大于指定亮度，且在RGB颜色空间该像素点的颜色值在以所述当前交通信号灯状态的异常信号灯颜色为基准的第二颜色范围内；
第一二值化单元，用于若满足，则将该像素点设置为255；
第二二值化单元，用于若不满足，则将该像素点设置为0；
腐蚀单元，用于通过第二腐蚀处理，去除所述第一信号灯异常区域中的噪点；
高亮区域确定单元，用于对通过第二腐蚀处理后的所述第一信号灯异常区域进行第二膨胀处理得到所述高亮区域。
可选地，所述装置还包括：
第一区域标记模块，用于根据连通区域标记方法，对第一膨胀处理后的所述第一信号灯异常区域进行标记，得到由具有标记的至少一个第一连通域组成的所述光晕区域；
第二区域标记模块，用于根据连通区域标记方法，对第二膨胀处理后的所述第一信号灯异常区域进行标记，得到由具有标记的至少一个第二连通域组成的所述高亮区域；
可选地，异常区域确定模块，具体包括：
重叠判断单元，用于针对每个第二连通域，判断是否存在与该第二连通域重叠的第一连通域；
非异常确定单元，用于若否，则确定该第二连通域不存在异常信号灯；
计算单元，用于若是，则计算该第二连通域与重合的第一连通域的重叠部分与该第二连通域的比例；
异常确定单元，若该比例大于预设比例，则确定该第二连通域是异常信号灯位置，并将该第二连通域的标记作为所述异常信号灯位置的标记。
可选地，所述装置还包括：
当前场景确定模块，用于在所述第二颜色范围判断单元在红绿蓝RGB颜色空间确定该像素点是否满足以下条件之前，根据所述信号灯所处环境因素，确定当前交通信号灯状态对应的当前场景；其中，所述环境因素包括以下中的至少一种：天气状态、获取所述抓拍图片的曝光量、环境光强度；
第二颜色范围确定模块，用于根据预置的场景与颜色范围的对应关系，确定所述当前场景对应的颜色范围作为以所述当前交通信号灯状态的异常信号灯颜色为基准的第二颜色范围。
可选地，每个场景对应一组颜色阈值，且每组颜色阈值均包括红色阈值、绿色阈值和蓝色阈值；
针对每种场景，红灯状态的第二颜色范围为：红色R值大于红灯状态的红色阈值、绿色G值大于红灯状态的绿色阈值、且蓝色B小于红灯状态的蓝色阈值；
针对每种场景，绿灯状态的第二颜色范围为：红色R值大于绿灯状态的红色阈值、绿色G值大于绿灯状态的绿色阈值、蓝色B小于绿灯状态的蓝色、且R、G、B的最大差值小于或等于预设差值。
需要说明的是，本申请实施例提供的上述交通信号灯图像处理装置，其中采集模块和信号灯形状恢复模块是在RAW域中执行操作。光晕检测模块、亮度区域检测模块、异常区域确定模块和颜色恢复模块是在YUV(Y代表亮度分量、U、V代表色差分量)域中执行操作，例如，将感兴趣区域的数据格式由YUV格式转换成RGB格式、Lab格式等格式。
综上所述，本申请实施例提供交通信号灯图像处理方法及装置，通过采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像，并根据所述长曝光帧图像和短曝光帧图像中的交通信号灯区域对当前交通信号灯的形状进行恢复，之后再对交通信号灯的颜色进行恢复。即本申请提供的交通信号灯图像处理方法，既可以恢复交通信号灯的颜色，又可以恢复交通信号灯的形状，使得交通信号灯的恢复结果更加准确。此外，本申请实施例提供的交通信号灯图像处理方法，在对交通信号灯的形状和颜色进行恢复之前，需要确定当前交通信号灯的状态，从而可以满***通信号灯检测到实时性，并且可以防止红灯和黄灯误检。本申请实施例提供交通信号灯图像处理方法，在所述长曝光帧图像和所述短曝光帧图像中获取指定范围的区域作为感兴趣区域，从而可以避免对该区域进行图像处理造成资源浪费和处理效率降低。本申请实施例提供交通信号灯图像处理方法，根据r/g与r’/g’的差值或g/r与g’/r’的差值，可以同时实现异常信号灯像素点判断和定位。并且，采用本申请实施例提供的交通信号灯异常像素点的判定和定位的方法，还可以避免将天空或信号灯灯盘误检为交通信号灯。本申请实施例提供交通信号灯图像处理方法，对长曝光帧图像进行减光晕处理，从而可以避免在根据长曝光帧图像和短曝光帧图像进行交通信号灯形状恢复时，由于长曝光帧光晕较大造成的交通信号灯形状恢复效果突兀。本申请实施例通过光晕区域和高亮区域重叠的区域定位异常交通信号灯区域，从而可以更准确的定位异常交通信号灯区域，并且可以进一步防止其他物体(例如车尾灯)被误检为信号灯。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种交通信号灯图像处理方法，其特征在于，该方法包括：
确定当前交通信号灯的状态，所述交通信号灯的状态包括红灯状态、绿灯状态、黄灯状态；
采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像；
根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；
根据所述当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理；
根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像，具体包括：
在所述长曝光帧图像和所述短曝光帧图像中定位所述当前交通信号灯区域；
对一帧所述长曝光帧图像和一帧所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；
在所述长曝光帧图像和所述短曝光帧图像中定位所述当前交通信号灯区域，具体包括：
获取所述长曝光帧图像中至少包括所述交通信号灯区域的每一像素点的红绿蓝RGB空间的颜色值，以及获取所述短曝光帧图像中至少包括所述交通信号灯区域的每一像素点的RGB空间的颜色值；
针对每一像素点，判断该像素点的RGB空间的颜色值是否满足预设条件,将满足所述预设条件的像素点设置为1，将不满足所述预设条件的像素点设置为0，得到感兴趣区域的二值图；
将满足所述预设条件的像素点组成第一交通信号灯异常区域，将所述二值图中的所述第一交通信号灯异常区域作为当前交通信号灯区域；
当所述当前交通信号灯状态为红灯状态时，所述预设条件具体包括：对任一像素点，所述短曝光帧图像的红色通道与绿色通道的比值r/g，与所述长曝光帧图像的红色通道与绿色通道的比值r’/g’的差值，大于第一预设阈值，且在所述长曝光帧图像中该像素点红色通道r’值大于第二预设阈值；
当所述当前交通信号灯状态为绿灯状态时，所述预设条件具体包括：所述短曝光帧图像绿色通道与红色通道的比值g/r，与所述长曝光帧图像的绿色通道与红色通道的比值g’/r’的差值，大于第三预设阈值，且所述长曝光帧图像的绿色通道g’值大于第四预设阈值。
2.根据权利要求1所述的交通信号灯图像处理方法，其特征在于，采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像之后，该方法还包括：
在所述长曝光帧图像和所述短曝光帧图像中获取指定范围的区域作为感兴趣区域，所述感兴趣区域包括所述当前交通信号灯出现的区域；
在所述长曝光帧图像和所述短曝光帧图像中定位所述当前交通信号灯区域，具体包括：
在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域。
3.根据权利要求1所述的交通信号灯图像处理方法，其特征在于，对所述长曝光帧图像和所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像具体包括：
根据所述二值图生成融合掩码；
利用所述融合掩码、长曝光帧图像和短曝光帧图像，根据预设融合条件进行融合。
4.根据权利要求2所述的交通信号灯图像处理方法，其特征在于，在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域之前，所述方法还包括：
对所述长曝光帧图像和所述短曝光帧图像中的所述感兴趣区域分别依次进行白平衡处理、插值处理；
对所述长曝光帧图像中所述感兴趣区域进行减光晕处理。
5.根据权利要求1所述的交通信号灯图像处理方法，其特征在于，根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像之后，所述方法还包括：
在所述第一交通信号灯异常区域获取当前交通信号灯光晕区域；
在所述第一交通信号灯异常区域提取高亮区域，所述高亮区域的亮度满足预设亮度条件；
若存在提取的所述 光晕区域和所述高亮区域的重叠区域，则确定所述重叠区域为第二交通信号灯异常区域；
根据所述当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理具体包括：
将所述第一交通信号灯异常区域划分成多个矩形区域；
计算每个所述矩形区域的亮度平均值；
根据每个所述矩形区域的亮度平均值，计算该矩形区域的颜色校正等级；
对于任一所述矩形区域中的任一像素点，当该像素点为所述第二交通信号灯异常区域的像素点时，将该像素点的RGB空间的颜色值转换成HSV空间的颜色值，调整该像素点的色调、饱和度，并将该像素点的HSV空间的颜色值转换成RGB空间的颜色值。
6.一种交通信号灯图像处理装置，其特征在于，该装置包括：
交通信号检测器模块，用于确定当前交通信号灯的状态，所述交通信号灯的状态包括红灯状态、绿灯状态、黄灯状态；
采集模块，用于采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像；
信号灯形状恢复模块，用于根据所述当前交通信号灯状态的长曝光帧图像和短曝光帧图像中的交通信号灯区域，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；
颜色恢复模块，用于根据所述当前交通信号灯的状态，对所述交通信号灯形状恢复图像中的交通信号灯进行颜色恢复处理；
所述信号灯形状恢复模块还包括：
交通信号灯定位模块，用于在所述长曝光帧图像和所述短曝光帧图像中定位所述当前交通信号灯区域；
交通信号灯融合模块，用于对一帧所述长曝光帧图像和一帧所述短曝光帧图像中的所述当前交通信号灯区域融合，恢复所述当前交通信号灯的形状，得到交通信号灯形状恢复图像；
在所述长曝光帧图像和所述短曝光帧图像中定位所述当前交通信号灯区域，具体包括：
获取所述长曝光帧图像中至少包括所述交通信号灯区域的每一像素点的红绿蓝RGB空间的颜色值，以及获取所述短曝光帧图像中至少包括所述交通信号灯区域的每一像素点的RGB空间的颜色值；
针对每一像素点，判断该像素点的RGB空间的颜色值是否满足预设条件,将满足所述预设条件的像素点设置为1，将不满足所述预设条件的像素点设置为0，得到感兴趣区域的二值图；
将满足所述预设条件的像素点组成第一交通信号灯异常区域，将所述二值图中的所述第一交通信号灯异常区域作为当前交通信号灯区域；
当所述当前交通信号灯状态为红灯状态时，所述预设条件具体包括：对任一像素点，所述短曝光帧图像的红色通道与绿色通道的比值r/g，与所述长曝光帧图像的红色通道与绿色通道的比值r’/g’的差值，大于第一预设阈值，且在所述长曝光帧图像中该像素点红色通道r’值大于第二预设阈值；
当所述当前交通信号灯状态为绿灯状态时，所述预设条件具体包括：所述短曝光帧图像绿色通道与红色通道的比值g/r，与所述长曝光帧图像的绿色通道与红色通道的比值g’/r’的差值，大于第三预设阈值，且所述长曝光帧图像的绿色通道g’值大于第四预设阈值。
7.根据权利要求6所述的装置，其特征在于，所述信号灯形状恢复模块还用于：
在所述采集模块采集当前交通信号灯状态的长曝光帧图像和短曝光帧图像之后，在所述长曝光帧图像和所述短曝光帧图像中获取指定范围的区域作为感兴趣区域，所述感兴趣区域包括所述当前交通信号灯出现的区域；
在所述长曝光帧图像和所述短曝光帧图像中定位所述当前交通信号灯区域具体包括：在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域。
8.根据权利要求6所述的装置，其特征在于，所述交通信号灯融合模块具体用于：
根据所述二值图生成融合掩码；
利用所述融合掩码、长曝光帧图像和短曝光帧图像，根据预设融合条件进行融合。
9.根据权利要求7所述的装置，其特征在于，所述形状恢复模块还包括预处理模块，用于在所述长曝光帧图像和所述短曝光帧图像的感兴趣区域中定位所述当前交通信号灯区域之前，对所述长曝光帧图像和所述短曝光帧图像中的所述感兴趣区域分别依次进行白平衡处理、插值处理；对所述长曝光帧图像中所述感兴趣区域进行减光晕处理。
10.根据权利要求6所述的装置，其特征在于，该装置还包括：
光晕检测模块，用于在所述第一交通信号灯异常区域获取当前交通信号灯光晕区域；
高亮区域检测模块，用于在所述第一交通信号灯异常区域提取高亮区域，所述高亮区域的亮度满足预设亮度条件；
异常区域确定模块，用于若存在所述提取的光晕区域和所述高亮区域的重叠区域，则确定所述重叠区域为第二交通信号灯异常区域；
所述颜色恢复模块具体用于：
将所述第一交通信号灯异常区域划分成多个矩形区域；
计算每个所述矩形区域的亮度平均值；
根据每个所述矩形区域的亮度平均值，计算该矩形区域的颜色校正等级；
对于任一所述矩形区域中的任一像素点，当该像素点为所述第二交通信号灯异常区域的像素点时，将像素点的RGB空间的颜色值转换成HSV空间的颜色值，调整该像素点的色调、饱和度，并将调整后的该矩形区域的HSV空间的颜色值转换成RGB空间的颜色值。
CN201710852496.9A 2017-06-08 2017-09-19 一种交通信号灯图像处理方法及交通信号灯图像处理装置 Active CN107730481B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710852496.9A CN107730481B (zh) 2017-09-19 2017-09-19 一种交通信号灯图像处理方法及交通信号灯图像处理装置
EP18814282.2A EP3635622A4 (en) 2017-06-08 2018-05-31 DEVICES AND METHODS FOR PROCESSING TRAFFIC LIGHT IMAGES
PCT/CN2018/089162 WO2018223882A1 (en) 2017-06-08 2018-05-31 Methods and devices for processing images of traffic light
US16/702,622 US11138444B2 (en) 2017-06-08 2019-12-04 Methods and devices for processing images of a traffic light

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710852496.9A CN107730481B (zh) 2017-09-19 2017-09-19 一种交通信号灯图像处理方法及交通信号灯图像处理装置

Publications (2)

Publication Number Publication Date
CN107730481A CN107730481A (zh) 2018-02-23
CN107730481B true CN107730481B (zh) 2020-09-29

Family

ID=61207598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710852496.9A Active CN107730481B (zh) 2017-06-08 2017-09-19 一种交通信号灯图像处理方法及交通信号灯图像处理装置

Country Status (1)

Country Link
CN (1) CN107730481B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018223882A1 (en) * 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
CN108282619B (zh) * 2018-02-24 2020-09-04 北京大恒图像视觉有限公司 一种具有红灯颜色校正功能的图像采集***
CN111209775B (zh) * 2018-11-21 2023-10-20 杭州海康威视数字技术股份有限公司 信号灯图像处理方法、装置、设备及存储介质
CN110532903B (zh) * 2019-08-12 2022-02-22 浙江大华技术股份有限公司 一种交通灯图像处理的方法和设备
CN112766026B (zh) * 2019-11-05 2024-02-02 大富科技(安徽)股份有限公司 交通灯的检测方法、计算机存储介质、车载终端和车辆
CN114730478A (zh) 2019-11-18 2022-07-08 波士顿科学国际有限公司 用于处理电子医学图像以确定增强的电子医学图像的***和方法
CN111507210B (zh) * 2020-03-31 2023-11-21 华为技术有限公司 交通信号灯的识别方法、***、计算设备和智能车
CN111931724B (zh) * 2020-09-23 2024-06-21 阿波罗智联(北京)科技有限公司 信号灯的异常识别方法、装置、电子设备和路侧设备
CN112528944A (zh) * 2020-12-23 2021-03-19 杭州海康汽车软件有限公司 一种图像识别方法、装置、电子设备及存储介质
CN112700410A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 信号灯位置确定方法、装置、存储介质、程序、路侧设备
CN112669387B (zh) * 2020-12-28 2024-04-16 阿波罗智联(北京)科技有限公司 灯头位置确定方法、装置、存储介质、程序、路侧设备
CN113222870B (zh) * 2021-05-13 2023-07-25 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301621A (zh) * 2014-09-28 2015-01-21 北京凌云光技术有限责任公司 图像处理方法、装置及终端
CN104966071A (zh) * 2015-07-03 2015-10-07 武汉烽火众智数字技术有限责任公司 一种基于红外补光的夜间车牌检测和识别方法以及装置
CN105323425A (zh) * 2014-05-30 2016-02-10 苹果公司 融合图像***中的场景运动校正
CN105812674A (zh) * 2014-12-29 2016-07-27 浙江大华技术股份有限公司 一种信号灯的颜色修正方法、监控方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170228606A1 (en) * 2016-02-09 2017-08-10 Haike Guan Information processing apparatus, information processing method, and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323425A (zh) * 2014-05-30 2016-02-10 苹果公司 融合图像***中的场景运动校正
CN104301621A (zh) * 2014-09-28 2015-01-21 北京凌云光技术有限责任公司 图像处理方法、装置及终端
CN105812674A (zh) * 2014-12-29 2016-07-27 浙江大华技术股份有限公司 一种信号灯的颜色修正方法、监控方法及装置
CN104966071A (zh) * 2015-07-03 2015-10-07 武汉烽火众智数字技术有限责任公司 一种基于红外补光的夜间车牌检测和识别方法以及装置

Also Published As

Publication number Publication date
CN107730481A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107730481B (zh) 一种交通信号灯图像处理方法及交通信号灯图像处理装置
CN107273838B (zh) 交通信号灯抓拍图片的处理方法及装置
US11138444B2 (en) Methods and devices for processing images of a traffic light
CN101877050B (zh) 一种车牌字符的自动提取方法
KR101717613B1 (ko) 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN107507142B (zh) 信号灯图像处理方法
EP3611914A1 (en) Method and apparatus for photographing image
CN108965726B (zh) 车辆摄相机***
CN105812674A (zh) 一种信号灯的颜色修正方法、监控方法及装置
CN110866926B (zh) 一种红外遥感图像快速精细海陆分割方法
US20200151912A1 (en) Vehicle surroundings recognition apparatus
Niksaz Automatic traffic estimation using image processing
JP3550874B2 (ja) 監視装置
CN111723805B (zh) 一种信号灯的前景区域识别方法及相关装置
KR102398874B1 (ko) 전경 분리 장치 및 방법
KR20140062334A (ko) 장애물 검출 장치 및 방법
KR101875786B1 (ko) 도로영상에서 후미등영역을 이용한 차량식별방법
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质
JP5988716B2 (ja) 画像処理装置
CN110852228B (zh) 监控视频中的动态背景提取及前景物体检测方法及***
KR20190105273A (ko) 조명환경에 강인한 색상 필터링을 위한 전처리 방법 및 그 시스템
KR101370545B1 (ko) 자동적인 영상데이터 분석에 기초하여 선택적으로 영상개선처리를 수행하는 방법
JPWO2007034765A1 (ja) 色抽出方法及び装置
CN102446346A (zh) 快速去除运动图像阴影的方法
Zhao et al. Low-Illumination Lane Detection by Fusion of Multi-light Information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant