CN104937637A - 用于识别交通标志牌的车辆用影像识别*** - Google Patents
用于识别交通标志牌的车辆用影像识别*** Download PDFInfo
- Publication number
- CN104937637A CN104937637A CN201480005780.7A CN201480005780A CN104937637A CN 104937637 A CN104937637 A CN 104937637A CN 201480005780 A CN201480005780 A CN 201480005780A CN 104937637 A CN104937637 A CN 104937637A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- frame
- gain
- image
- time shutter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000003321 amplification Effects 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 230000001105 regulatory effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及用于识别交通标志牌的车辆用影像识别***,上述用于识别交通标志牌的车辆用影像识别***可提高交通标志牌的识别性能,调节摄像机的曝光时间来提高反射型交通标志牌和发光型交通标志牌的识别性能,调节影像信号的增益来提高反射型交通标志牌和发光型交通标志牌的识别性能,并同时调节摄像机的曝光时间和影像信号的增益来提高反射型交通标志牌和发光型交通标志牌的识别性能。本发明的用于识别交通标志牌的车辆用影像识别***可调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的多个帧的至少一个影像组,并对上述多个帧内的标志牌区域进行比较来选择最接近规定的设定值的影像。
Description
技术领域
本发明涉及汽车用驾驶员辅助***(ADAS,Advanced Driver AssistanceSystems)影像识别技术,更详细地,涉及安装于汽车,并在行驶中识别设于路面的交通标志牌的驾驶员辅助***影像识别***。
背景技术
驾驶员辅助***是指,包括可以在车辆的行驶中确认周边环境的传感器和可以判断车辆的行驶状况并决定车辆的行迹的控制装置,来增进驾驶员的方便及安全的技术。驾驶员辅助***影像识别装置为利用影像识别技术来鉴定行驶中的道路的信息(车道线、其他车辆、光源、步行人员及交通标志牌)的装置。
以往,交通标识牌在圆形或三角形形态的板材画有特定形态的标准化记号来使用,并且不断进行了开发通过影响处理技术来鉴定上述交通标志牌的形态和记号的交通标志牌识别装置,来向驾驶人员告知当前道路中的行驶环境,从而提高行驶安全性和方便性的努力。
目前,以欧洲为中心,在交通标志牌适用发光二极管(LED),且在韩国国内也已部分导入。发光型标志牌可以很少受周边光照度的影响,且可变地表示标志牌的内容或改变亮度,因此,用于提高夜间的能见度和基于交通量、天气的限制速度的变更。
驾驶员辅助***影像识别装置利用数值解释技术,通过摄像机来对以数码形态输入的影像进行处理,因此,可根据输入影像的特性而很大程度上影响性能。
在反射型交通标志牌的情况下,由于经过白天主要由太阳光在交通标志牌反射,夜间主要由路灯、自己的车辆及其他车辆的前照灯在交通标志牌反射来向驾驶员辅助***影像识别装置的摄像机入射,并转换为数码影像的过程,因此,很大程度上受到周边光源的亮度或方向的影响。另一方面,在发光性标志牌的情况下,与其他光源无关,由于在自身光源中产生的光向影像识别装置的摄像机入射,因此,不受周边光源的影响。由于这种特性的差异,很难在相同摄像机中以可识别两种交通标志牌的方式进行拍摄。
即,为了实现可进行无人驾驶的智能型汽车***而开发交通标志牌的检测乃至识别技术,但到目前为止,现有的文献中并未公开可同时识别反射型交通标识牌和发光型交通标志牌的控制技术。
发明内容
本发明提供用于提高交通标志牌识别性能的用于识别交通标志牌的车辆用影像识别***。
并且,本发明提供调节摄像机的曝光时间来提高反射型交通标志牌和发光型交通标志牌的识别性能的用于识别交通标志牌的车辆用影像识别***。
并且,本发明提供调节影像信号的增幅比来提高反射型交通标志牌和发光型交通标志牌的识别性能的用于识别交通标志牌的车辆用影像识别***。
并且,本发明提供同时调节摄像机的曝光时间和影像信号的增幅比来提高反射型交通标志牌和发光型交通标志牌的识别性能的用于识别交通标志牌的车辆用影像识别***。
本发明的用于识别交通标志牌的车辆用影像识别***可调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的多个帧的至少一个影像组,并对上述多个帧内的标志牌区域进行比较来选择最接近规定的设定值的影像。
优选地,上述多个帧中的至少一个帧为使整个画面的亮度或上述画面内的关注区域的亮度维持恒定的自动曝光控制帧。
优选地,可以固定上述摄像机镜头的曝光时间,并调节上述影像的增益,来获得上述自动曝光控制帧。
优选地,可以固定上述影像的增益,并调节上述摄像机镜头的曝光时间,来获得上述自动曝光控制帧。
优选地,可以调节摄像机镜头的曝光时间和影像的增益来获得上述自动曝光控制帧。
优选地,上述多个帧中的至少一个帧为使上述影像的亮度以大于上述自动曝光控制帧的亮度的方式维持的过曝光控制帧。
优选地,可以使上述摄像机镜头的曝光时间以与上述自动曝光控制帧的曝光时间相同的方式维持,并提高上述影像的增益,来获得上述过曝光控制帧。
优选地,可以使上述影像的增益以与上述自动曝光控制帧的增益相同的方式维持,并延长上述摄像机镜头的曝光时间,来获得上述过曝光控制帧。
优选地,可以使上述影像的增益和上述摄像机镜头的曝光时间以大于上述自动曝光控制帧的增益和曝光时间的方式获得上述过曝光控制帧。
优选地,可以使上述影像的增益和上述摄像机镜头的曝光时间的乘积以大于上述自动控制帧的增益和曝光时间的乘积的方式获得上述过曝光控制帧。
优选地,上述多个帧中的至少一个帧为使上述影像的亮度以小于上述自动曝光控制帧的亮度的方式维持的低曝光控制帧。
优选地,可以使上述摄像机镜头的曝光时间以与上述自动曝光控制帧的时间相同的方式维持,并降低上述影像的增益,来获得上述低曝光控制帧。
优选地,可以使上述影像的增益以与上述自动曝光控制帧的增益相同的方式维持,并缩减上述摄像机镜头的曝光时间,来获得上述低曝光控制帧。
优选地,可以使上述影像的增益和上述摄像机镜头的曝光时间以小于上述自动曝光控制帧的增益和曝光时间的方式获得上述低曝光控制帧。
优选地,可以使上述影像的增益和上述摄像机镜头的曝光时间的乘积以小于上述自动曝光帧的增益和曝光时间的乘积的方式获得上述低曝光控制帧。
优选地,上述多个帧中的至少一个帧为恒定维持上述摄像机镜头的曝光时间和上述影像的增益的固定曝光帧。
优选地,上述多个帧中的至少一个帧为恒定维持上述摄像机镜头的曝光时间,并使关注区域的平均亮度以与所设定的基准值相同的方式控制上述影像的增益的帧。
优选地,可以对上述自动曝光控制帧的亮度和所输入的影像的亮度进行比较,若所输入的上述影像的亮度为上述自动曝光控制帧的亮度以上,则判断为白天,并针对形成上述影像组的多个帧中的至少一个帧变更上述曝光时间或上述增益来适用。
优选地,可以利用车辆的头灯信号,若头灯信号关闭(OFF),则判断为白天条件,若头灯信号开启(ON),则判断为夜间条件,从而对形成1组的多个帧中的至少一个帧的参数设定进行变更来适用。
并且,本发明的交通标志牌的识别方法包括:获得包括多个帧的影像组的步骤;在上述多个帧中的自动曝光控制帧中搜索具有规定颜色和规定形态的带的步骤;若存在具有上述规定颜色和规定形态的带,则对存在于上述影像组内的多个帧的上述带的亮度进行比较的步骤;在存在于上述多个帧中的带中选择包括最接近所设定的基准值的带的帧的步骤;以及对所选择的上述帧进行影像处理来识别标志牌的步骤。
并且,本发明的用于识别交通标志牌的车辆用影像识别***包括:中央控制部,调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的帧的至少一个影像组;第一存储部,上述曝光时间和上述增益被设定为一个参数集,并存储多个上述参数集;以及第二存储部,用于存储互不相同的至少两种以上的影像帧。
根据本发明,可调节摄像机的曝光时间来提高反射型交通标志牌和发光型交通标志牌的识别性能,可调节影像信号的增幅比来提高反射型交通标志牌和发光型交通标志牌的识别性能,可调节摄像机的曝光时间和影像信号的增幅比来提高反射型交通标志牌和发光型交通标志牌的识别性能。
附图说明
图1为向影像识别装置的摄像机入射顺光的示意图。
图2为向影像识别装置的摄像机入射逆光的示意图。
图3为数码摄像机的影像生成概念图。
图4为影像画面中的道路上的关注区域显示照片。
图5为本发明一实施例的影像识别装置的框图。
图6为本发明一实施例的多个影像生成概念图。
图7为本发明一实施例的帧选择流程图。
具体实施方式
以下,参照附图对本发明的优选实施例进行详细说明。首先,需要留意的是,在向各附图中的结构要素赋予附图标记的过程中,对于相同结构要素而言,即使显示于不同的附图中,也尽可能地赋予相同的附图标记。并且,在以下的说明中示出了多种特定事项,而这仅仅为了容易地理解本发明而提供,即使没有这种特定事项也可以实施本发明,这对于本发明所属技术领域的普通技术人员而言是显而易见的。并且,在对本发明进行说明的过程中,在判断对相关公知功能或结构的具体说明会不必要地模糊本发明的要旨的情况下,将省略对此的详细说明。
若以在暗处容易地识别反射型交通标志牌的方式控制摄像机,则发光型标志牌变得非常亮,若在亮处容易地识别反射型交通标志牌的方式控制摄像机,则发光型标识牌变得非常暗。
在反射性标志牌的情况下,根据周边照度,呈现于画面上的特性变得不同,对光源为顺光和逆光的情况进行比较如下。
逆光意味着光源的光直接向摄像机入射的情况,顺光意味着光源的光并不直接向摄像机入射的情况。
图1作为向影像识别装置的摄像机入射顺光的情况,道路仅向摄像机入射光源的光中的一部分散射的光,相反,板形态的标志牌反射大部分的光来向摄像机入射,因此,与周边相比,标志牌相对要亮。
图2作为向影像识别装置的摄像机入射逆光的情况,道路反射光源的光中的大部分来入射,相反,在板形态的标志牌中,光源的散射的光中的一部分在标志牌反射并向摄像机入射,因此,与周边相比,相对更暗。
图3作为数码摄像机的影像生成概念图,摄像机的图像传感器由像素单位的光传感器以阵列形态排列,并且,若入射光,则借助光电效应来产生电荷(步骤S310),在规定时间内将其曝光于光来积累电荷(步骤S320),并重新增幅(步骤S330),生成由与各像素相对应的亮度构成的影像(步骤S340)。其中,为了积累电荷,借助曝光于光中的时间和信号的增幅比来决定影像的亮度。
另一方面,在影像过亮的情况下,车道线等所要识别的形状饱和而无法进行识别,在影像过暗的情况下,因车辆等所要识别的形状埋没于背景而很难进行识别。因此,为了提高影像识别性能,有必要适当维持画面的亮度。
并且,影像识别装置的摄像机以使整个画面的平均亮度或关注区域(ROI,Region of Interest)的平均亮度维持恒定的方式调节曝光和增幅比,并将此称为自动曝光控制(auto-exposure control)。即,画面的目标亮度(Brightness)、关注区域的亮度(Inminance)、曝光(exposure)及增益(gain)之间成立数学式1的关系。
数学式1:
BrightnessTarget∝LuminanceROI×Exposure×Gain
即,可以与关注区域的亮度相对应地调节曝光、增益或同时调节曝光和增益来以恒定维持画面的亮度的方式进行控制。
然而,如图4的影响画面中的道路上的关注区域显示照片所示,影像识别装置的摄像机可以始终看到道路而可以预测,因此,可以指定为关注区域来对影像识别装置的摄像机进行自动曝光控制420,但在交通标志牌的情况下,当行驶时,由于短暂出现后消失,因此无法将交通标志牌指定为关注区域来对影像识别装置的摄像机进行自动曝光控制410。
因此,反射型标志牌沿着太阳的方向具有与道路不同的反射特性,因而在利用影像识别装置的摄像机来拍摄反射型标志牌的情况下,在利用摄像机来拍摄的影像中难以识别反射型标识牌的可能性较高。
本发明考虑到这种问题而提出。
图5作为本发明一实施例的影像识别装置的框图,包括摄像机部510和影像处理部520。
摄像机部510包括镜头511、图像传感器513、用于固定镜头和图像传感器的图像固定部515、动作控制存储器517及用于向图像传感器供电的第一电源部(未图示)。
动作控制存储器517按不同的影像帧分别存储用于摄像机动作的设定参数(曝光时间、增益)。
影像处理部520包括:中央处理器(CPU)521,按对应帧分别以规定时间间隔指定动作控制存储器517,并对从图像传感器513输出的影像进行处理;易失性存储器523,用于存储原有的影像数据和处理中的影像数据;非易失性存储器525;接口部527,用于与汽车的其他电子装置收发信号;以及供电部(未图示),用于向各个部供电。
图6作为本发明一实施例的多个影像生成概念图,可以反复生成多个影像帧,在上述多个影像帧中,通过影像识别装置的摄像机部510来调节画面的目标亮度的要素以互不相同的方式设定。
根据本发明的一实施例,影像识别***可将四个帧(帧0至帧3)形成为一个组,并可周期性地生成四个帧。即,在相同时间段拍摄互不相同的特性的影像,并分析各影像来选择适合用于识别标志牌的影像,并分析对应影像的标志牌区域,来识别标志牌信息。
具体地,根据本发明的一实施例,影像识别***在帧0中将道路区域或整个画面设为关注区域来适用自动曝光控制方式。并且,帧0中的摄像机镜头的曝光时间和影像的增益可存储于动作控制存储器517,并可以提供为用于调节其他帧的亮度的基准值。在并非为极端的区域或极端的顺光的情况下,帧0可用于识别标志牌。根据本发明的一实施例,影像识别***可固定摄像机镜头的曝光时间,并调节影像的增益,来使整个画面的亮度或关注区域的亮度维持恒定。根据本发明的再一实施例,影像识别***可固定影像的增益,并调节摄像机镜头的曝光时间,来使整个画面的亮度或关注区域的亮度维持恒定。根据本发明的另一实施例,影像识别***可调节摄像机镜头的曝光时间和影像的增益,来使整个画面的亮度或关注区域的亮度维持恒定。
其中,极端的逆光意味着太阳位于摄像机的正面和标志牌的背面的情况,而极端的顺光意味着太阳位于摄像机的背面和标志牌的正面的情况。
在极端的逆光的情况下,参照数学式1来说明很难识别标志牌的理由如下。在恒定维持画面的目标亮度的状态下,若因逆光而使关注区域的亮度增加,则根据自动曝光控制功能,影像处理部520内的中央处理器521减少摄像机镜头的曝光时间和影像的增益。另一方面,由于逆光而减少标志牌的亮度,因此发生标志牌的亮度减少所引起的不可进行识别的状况。
因此,根据本发明的一实施例,与帧1相对应的摄像机镜头的曝光时间和影像的增益存储于动作控制存储器517,影像处理部520内的中央处理器521从动作控制存储器517读取适用过曝光控制方式的参数(曝光时间和/或增益)设定值来对影像进行处理,上述过曝光控制方式用于调节帧1中的画面的亮度大于帧0(自动曝光控制)的亮度。在帧1中,虽然其他部分得到饱和,但标志牌部分呈现得较亮,从而可识别标志牌。
根据本发明的一实施例,可以使摄像机镜头的曝光时间可以比帧0的曝光时间长规定时间且影像的增益与帧0的增益相同的方式进行设定并存储于影像识别***内的动作控制存储器517中。
并且,根据本发明的再一实施例,可以使影像的增益比帧0的增益高规定比率,摄像机镜头的曝光时间以与帧0的曝光时间相同的方式进行设定并存储于影像识别***内的动作控制存储器517中。
并且,根据本发明的另一实施例,可以使摄像机镜头的曝光时间和影像的增益以分别比帧0的曝光时间和增益高出规定值的方式设定并存储于影像识别***内的动作控制存储器517中。
并且,根据本发明的还有一实施例,可以使摄像机镜头的曝光时间和影像的增益的乘积以大于帧0中的曝光时间和增益的乘积的方式设定并存储于影像识别***内的动作控制存储器517中。
另一方面,在极端的顺光的情况下,参照数学式1来说明很难识别标志牌的理由如下。在恒定维持画面的目标亮度的状态下,若因顺光而使关注区域的亮度减少,则根据自动曝光控制功能,影像处理部520以恒定维持画面的目标亮度的方式增进摄像机镜头的曝光时间和影像的增益。另一方面,由于顺光而增加标识牌的亮度,因此,标识牌的亮度增加并饱和,从而发生无法识别的状况。
因此,根据本发明的一实施例,影像处理部520内的中央处理器521从动作控制存储器517读取在帧2中适用将画面的亮度调节为比帧0(自动曝光控制)的亮度暗的低曝光控制方式的参数(曝光时间和/或增益)设定值来对影像进行处理。在帧2中,其他部分虽然暗,但标志牌部分很亮,从而可识别标志牌。
根据本发明的一实施例,可以使摄像机镜头的曝光时间以比帧0的曝光时间短规定时间,且影像的增益与帧0的增益相同的方式进行设定并存储于影像识别***内的动作控制存储器517中。
并且,根据本发明的再一实施例,可以使影像的增益以比帧0的增益低固定值,摄像机镜头的曝光时间与帧0的曝光时间相同的方式进行设定并存储于影像识别***内的动作控制存储器517中。
并且,根据本发明的另一实施例,可以使摄像机镜头的曝光时间和影像的增益以分别比帧0的曝光时间和增益低规定值的方式进行设定并存储于影像识别***内的动作控制存储器517中。
并且,根据本发明的还有一实施例,可以使摄像机镜头的曝光时间和影像的增益的乘积以小于帧0中的曝光时间和增益的乘积的方式进行设定并存储于影像识别***内的动作控制存储器517中。
根据本发明的一实施例,影像处理部520内的中央处理器521从动作控制存储器517读取在帧3中适用与整个画面的亮度或关注区域的亮度无关地使摄像机镜头的曝光时间和影像的增益维持恒定的恒定曝光控制方式的参数(曝光时间和/或增益)设定值来对影像进行处理。根据本发明的一实施例,摄像机镜头的曝光时间和影像的增益与帧3相对应来固定地设定为规定值并存储于影像识别***内的动作控制存储器517中。
发光型标志牌与周边的亮度无关地维持规定亮度,因此,与根据周边的亮度来以不同方式控制摄像机镜头的曝光时间或影像的增益的自动曝光控制方式的帧0相比,在帧3中更容易识别。
根据本发明的一实施例,形成一组的多个帧中的至少一个可以为恒定维持摄像机镜头的曝光时间,并使道路区域的平均亮度以与固定基准亮度相同的方式控制增益的帧。
并且,根据本发明的另一实施例,可以对帧0的亮度和所输入的影像的亮度进行比较,若在帧0的亮度以上,则判断为白天条件,若在帧0的亮度以下,则判断为夜间,从而可以对形成1组的多个帧中的至少一个帧的参数设定进行变更来适用。
并且,根据本发明的一实施例,可利用车辆的头灯信号,若头灯信号关闭,则判断为白天,若头灯信号开启,则判断为夜间,从而对形成1组的多个帧中的至少一个帧的参数设定进行变更来适用。
根据本发明的再一实施例,摄像机的影像处理控制部可将帧0至帧3中的两个以上的帧形成为一个组来周期性地生成。例如,在以逆光状态行驶于高速路的情况下,摄像机的影像处理控制部可周期性地生成帧0、帧1及帧3。并且,在以顺光状态行驶于高速路的情况下,摄像机的影像处理控制部可周期性地生成帧0、帧2及帧3。并且,在行驶于夜间道路的情况下,摄像机的影像处理控制部可周期性地生成帧0和帧3。
图7为本发明一实施例的帧选择流程图。
若获得1组的影像帧来开始选择帧(步骤S710),则搜索帧0(自动曝光控制帧)中红色的圆形带(步骤S720),若存在红色的圆形带(步骤S730),则与存在于组内的帧中的圆形带的亮度作比较(步骤S740),并选择包括最接近所设定的基准值的圆形带的帧(步骤S750),从而对所选择的帧进行影像处理来识别标志牌(步骤S760)并结束(步骤S770)。
另一方面,虽然例示成红色的圆形带,但交通标志牌并不局限于上述颜色及形状。例如,可以为矩形或三角形,也可以为蓝色或绿色。由于检测具有这种颜色及形状的交通标志牌的技术对于从事影像处理技术领域的普通技术人员而言是显而易见的,因此,将省略对此的详细说明。
Claims (21)
1.一种用于识别交通标志牌的车辆用影像识别***,其特征在于,调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的多个帧的至少一个影像组,并对上述多个帧内的标志牌区域进行比较来选择最接近规定的设定值的影像。
2.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,上述多个帧中的至少一个帧为使整个画面的亮度或上述画面内的关注区域的亮度维持恒定的自动曝光控制帧。
3.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,固定上述摄像机镜头的曝光时间,并调节上述影像的增益,来获得上述自动曝光控制帧。
4.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,固定上述影像的增益,并调节上述摄像机镜头的曝光时间,来获得上述自动曝光控制帧。
5.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,调节摄像机镜头的曝光时间和影像的增益来获得上述自动曝光控制帧。
6.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,上述多个帧中的至少一个帧为使上述影像的亮度以大于上述自动曝光控制帧的亮度的方式维持的过曝光控制帧。
7.根据权利要求6所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,使上述摄像机镜头的曝光时间以与上述自动曝光控制帧的曝光时间相同的方式维持,并提高上述影像的增益,来获得上述过曝光控制帧。
8.根据权利要求6所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,使上述影像的增益以与上述自动曝光控制帧的增益相同的方式维持,并延长上述摄像机镜头的曝光时间,来获得上述过曝光控制帧。
9.根据权利要求6所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,使上述影像的增益和上述摄像机镜头的曝光时间大于上述自动曝光控制帧的增益和曝光时间,来获得上述过曝光控制帧。
10.根据权利要求6所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,使上述影像的增益和上述摄像机镜头的曝光时间的乘积大于上述自动控制帧的增益和曝光时间的乘积,来获得上述过曝光控制帧。
11.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,上述多个帧中的至少一个帧为使上述影像的亮度以小于上述自动曝光控制帧的亮度维持的低曝光控制帧。
12.根据权利要求11所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,使上述摄像机镜头的曝光时间以与上述自动曝光控制帧的时间相同的方式维持,并降低上述影像的增益,来获得上述低曝光控制帧。
13.根据权利要求11所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,使上述影像的增益以与上述自动曝光控制帧的增益相同的方式维持,并缩减上述摄像机镜头的曝光时间,来获得上述低曝光控制帧。
14.根据权利要求11所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,使上述影像的增益和上述摄像机镜头的曝光时间小于上述自动曝光控制帧的增益和曝光时间,来获得上述低曝光控制帧。
15.根据权利要求11所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,使上述影像的增益和上述摄像机镜头的曝光时间的乘积小于上述自动曝光帧的增益和曝光时间,来获得上述低曝光控制帧。
16.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,上述多个帧中的至少一个帧为使上述摄像机镜头的曝光时间和上述影像的增益维持恒定的固定曝光帧。
17.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,上述多个帧中的至少一个帧使上述摄像机镜头的曝光时间维持恒定,并以使关注区域的平均亮度与所设定的基准值相同的方式控制上述影像的增益。
18.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,对上述自动曝光控制帧的亮度和所输入的影像的亮度进行比较,若所输入的上述影像的亮度为上述自动曝光控制帧的亮度以上,则判断为白天,并针对形成上述影像组的多个帧中的至少一个帧变更上述曝光时间或上述增益来适用。
19.根据权利要求2所述的用于识别交通标志牌的车辆用影像识别***,其特征在于,利用车辆的头灯信号,若头灯信号关闭,则判断为白天条件,若头灯信号开启,则判断为夜间条件,从而对形成1组的多个帧中的至少一个帧的参数设定进行变更来适用。
20.一种交通标志牌的识别方法,其特征在于,包括:
获得包括多个帧的影像组的步骤;
在上述多个帧中的自动曝光控制帧中搜索具有规定颜色和规定形态的带的步骤;
若存在上述具有规定颜色和规定形态的带,则对存在于上述影像组内的多个帧的上述带的亮度进行比较的步骤;
在存在于上述多个帧中的带中选择包括最接近所设定的基准值的带的帧的步骤;以及
对所选择的上述帧进行影像处理来识别标志牌的步骤。
21.一种用于识别交通标志牌的摄像机多重曝光控制装置,用于车辆用影像识别装置,上述用于识别交通标志牌的摄像机多重曝光控制装置的特征在于,包括:
中央控制部,调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的帧的至少一个影像组;
第一存储部,上述曝光时间和上述增益被设定为一个参数集,并存储多个上述参数集;以及
第二存储部,用于存储互不相同的至少两个以上的影像帧。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2013-0090630 | 2013-07-31 | ||
KR1020130090630A KR101353052B1 (ko) | 2013-07-31 | 2013-07-31 | 교통표지판 인식을 위한 차량용 영상인식시스템 |
PCT/KR2014/003902 WO2015016461A2 (ko) | 2013-07-31 | 2014-05-01 | 교통표지판 인식을 위한 차량용 영상인식시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104937637A true CN104937637A (zh) | 2015-09-23 |
CN104937637B CN104937637B (zh) | 2017-09-15 |
Family
ID=50145938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480005780.7A Active CN104937637B (zh) | 2013-07-31 | 2014-05-01 | 用于识别交通标志牌的车辆用影像识别*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US9639764B2 (zh) |
EP (1) | EP3029632A4 (zh) |
KR (1) | KR101353052B1 (zh) |
CN (1) | CN104937637B (zh) |
WO (1) | WO2015016461A2 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109074078A (zh) * | 2016-04-26 | 2018-12-21 | 高通股份有限公司 | 用于捕捉交通标志的图像的方法和装置 |
WO2021138988A1 (zh) * | 2020-01-10 | 2021-07-15 | 深圳奥比中光科技有限公司 | 一种设定成像参数的方法、***及计算机可读存储介质 |
CN113329189A (zh) * | 2017-05-19 | 2021-08-31 | 伟摩有限责任公司 | 检测闪烁照明的物体的方法以及车辆 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102174000B1 (ko) * | 2014-05-30 | 2020-11-04 | 주식회사 만도 | 차량 표지판 인식 시스템 및 그를 위한 방법 |
DE102015207902A1 (de) | 2015-04-29 | 2016-11-03 | Mando Corporation | Verfahren und Vorrichtung zur Bestätigung des relevanten inneren weißen Kreises bei der Erkennung des Umfelds eines kreisförmigen Verkehrszeichens |
KR102465335B1 (ko) * | 2015-11-19 | 2022-11-11 | 주식회사 에이치엘클레무브 | 헤드램프 인식 장치 및 방법 |
US10169649B2 (en) | 2016-07-28 | 2019-01-01 | International Business Machines Corporation | Smart image filtering method with domain rules application |
KR20180097966A (ko) * | 2017-02-24 | 2018-09-03 | 삼성전자주식회사 | 자율 주행을 위한 영상 처리 방법 및 장치 |
WO2018225516A1 (ja) * | 2017-06-07 | 2018-12-13 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
KR102519662B1 (ko) | 2017-07-31 | 2023-04-07 | 삼성전자주식회사 | 영상 획득 방법 및 영상 획득 장치 |
DE102017119394A1 (de) * | 2017-08-28 | 2019-02-28 | HELLA GmbH & Co. KGaA | Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium |
WO2019111309A1 (ja) * | 2017-12-05 | 2019-06-13 | 日産自動車株式会社 | 車両の制御方法及び制御装置 |
JP6868932B2 (ja) * | 2018-01-12 | 2021-05-12 | 日立Astemo株式会社 | 物体認識装置 |
KR101900073B1 (ko) | 2018-01-15 | 2018-09-19 | 김홍진 | 정보 생성 기능을 갖는 반사체 |
JP7289723B2 (ja) * | 2019-05-23 | 2023-06-12 | 日立Astemo株式会社 | 物体認識装置 |
CN110519526B (zh) * | 2019-09-09 | 2021-02-26 | Oppo广东移动通信有限公司 | 曝光时长控制方法、装置、存储介质及电子设备 |
US11702140B2 (en) | 2019-11-19 | 2023-07-18 | Robert Bosch Gmbh | Vehicle front optical object detection via photoelectric effect of metallic striping |
KR20210079638A (ko) | 2019-12-20 | 2021-06-30 | 한국건설기술연구원 | 영상 자료를 활용한 교통표지의 인식장치 및 인식방법 |
KR102538104B1 (ko) * | 2022-06-17 | 2023-05-31 | 한국건설기술연구원 | 라이다 검지형 도로 시설물 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101359148A (zh) * | 2007-08-03 | 2009-02-04 | 深圳艾科创新微电子有限公司 | 一种用于自动曝光调节的方法及控制*** |
US20100172542A1 (en) * | 2007-12-06 | 2010-07-08 | Gideon Stein | Bundling of driver assistance systems |
CN102265320A (zh) * | 2008-09-22 | 2011-11-30 | 自由科学公司 | 用于使物体成像的***和方法 |
CN102819728A (zh) * | 2012-07-17 | 2012-12-12 | 中国航天科工集团第三研究院第八三五七研究所 | 一种基于分类模板匹配的交通标志检测方法 |
KR101259836B1 (ko) * | 2011-08-08 | 2013-05-02 | 주식회사 피엘케이 테크놀로지 | 우적 감응형 와이퍼 장치 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6295415B1 (en) * | 1995-06-01 | 2001-09-25 | Canon Kabushiki Kaisha | Camera |
WO2004013654A1 (en) | 2002-08-05 | 2004-02-12 | Elbit Systems Ltd. | Vehicle mounted night vision imaging system and method |
US20050128063A1 (en) * | 2003-11-28 | 2005-06-16 | Denso Corporation | Vehicle driving assisting apparatus |
JP2008028957A (ja) * | 2006-07-25 | 2008-02-07 | Denso Corp | 車両用画像処理装置 |
EP2383679A1 (en) * | 2006-12-06 | 2011-11-02 | Mobileye Technologies Limited | Detecting and recognizing traffic signs |
JP2008187317A (ja) * | 2007-01-29 | 2008-08-14 | Fujifilm Corp | 撮影装置およびその制御方法並びにプログラム |
JP4987573B2 (ja) * | 2007-06-01 | 2012-07-25 | 富士重工業株式会社 | 車外監視装置 |
JP4433046B2 (ja) * | 2007-12-26 | 2010-03-17 | 株式会社デンソー | 露出制御装置及び露出制御プログラム |
US8441535B2 (en) * | 2008-03-05 | 2013-05-14 | Omnivision Technologies, Inc. | System and method for independent image sensor parameter control in regions of interest |
JP4666049B2 (ja) * | 2008-10-17 | 2011-04-06 | 株式会社デンソー | 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置 |
JP5294995B2 (ja) * | 2009-06-03 | 2013-09-18 | パナソニック株式会社 | 距離計測装置及び距離計測方法 |
JPWO2011055468A1 (ja) * | 2009-11-04 | 2013-03-21 | トヨタ自動車株式会社 | 撮像装置、調整装置、および撮像装置の光軸調整システム |
US8558913B2 (en) * | 2010-02-08 | 2013-10-15 | Apple Inc. | Capture condition selection from brightness and motion |
JP5246254B2 (ja) * | 2010-12-24 | 2013-07-24 | 株式会社デンソー | 車載カメラの露出制御値の決定方法 |
JP2012221103A (ja) * | 2011-04-06 | 2012-11-12 | Denso Corp | 車両用画像処理装置 |
KR20130030667A (ko) * | 2011-09-19 | 2013-03-27 | 최재순 | 증강 현실을 이용한 자동차 운행 보조 시스템 |
JP5832855B2 (ja) * | 2011-11-01 | 2015-12-16 | クラリオン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
KR101298937B1 (ko) * | 2011-11-11 | 2013-08-23 | 서강대학교산학협력단 | 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 |
JP5937832B2 (ja) * | 2012-01-30 | 2016-06-22 | クラリオン株式会社 | 車載カメラ用露出制御装置 |
-
2013
- 2013-07-31 KR KR1020130090630A patent/KR101353052B1/ko active IP Right Grant
-
2014
- 2014-05-01 CN CN201480005780.7A patent/CN104937637B/zh active Active
- 2014-05-01 EP EP14831532.8A patent/EP3029632A4/en not_active Withdrawn
- 2014-05-01 US US14/765,004 patent/US9639764B2/en active Active
- 2014-05-01 WO PCT/KR2014/003902 patent/WO2015016461A2/ko active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101359148A (zh) * | 2007-08-03 | 2009-02-04 | 深圳艾科创新微电子有限公司 | 一种用于自动曝光调节的方法及控制*** |
US20100172542A1 (en) * | 2007-12-06 | 2010-07-08 | Gideon Stein | Bundling of driver assistance systems |
CN102265320A (zh) * | 2008-09-22 | 2011-11-30 | 自由科学公司 | 用于使物体成像的***和方法 |
KR101259836B1 (ko) * | 2011-08-08 | 2013-05-02 | 주식회사 피엘케이 테크놀로지 | 우적 감응형 와이퍼 장치 |
CN102819728A (zh) * | 2012-07-17 | 2012-12-12 | 中国航天科工集团第三研究院第八三五七研究所 | 一种基于分类模板匹配的交通标志检测方法 |
Non-Patent Citations (1)
Title |
---|
谷明琴 等: "面向无人驾驶车感知***的自动曝光方法", 《计算机科学》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109074078A (zh) * | 2016-04-26 | 2018-12-21 | 高通股份有限公司 | 用于捕捉交通标志的图像的方法和装置 |
CN113329189A (zh) * | 2017-05-19 | 2021-08-31 | 伟摩有限责任公司 | 检测闪烁照明的物体的方法以及车辆 |
CN113329189B (zh) * | 2017-05-19 | 2023-12-01 | 伟摩有限责任公司 | 检测闪烁照明的物体的方法以及车辆 |
WO2021138988A1 (zh) * | 2020-01-10 | 2021-07-15 | 深圳奥比中光科技有限公司 | 一种设定成像参数的方法、***及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2015016461A3 (ko) | 2015-04-09 |
CN104937637B (zh) | 2017-09-15 |
US20150371097A1 (en) | 2015-12-24 |
KR101353052B1 (ko) | 2014-01-20 |
EP3029632A2 (en) | 2016-06-08 |
US9639764B2 (en) | 2017-05-02 |
EP3029632A4 (en) | 2017-03-29 |
WO2015016461A2 (ko) | 2015-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104937637A (zh) | 用于识别交通标志牌的车辆用影像识别*** | |
US20190351842A1 (en) | In-vehicle camera and vehicle control system | |
CN101142814A (zh) | 图像处理装置及方法、程序、以及记录介质 | |
US9944293B2 (en) | Object detection apparatus, moving body device control system and program thereof | |
KR100874461B1 (ko) | 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치 | |
KR101688695B1 (ko) | 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
JP4853437B2 (ja) | 車両周辺監視システム | |
CN102835115A (zh) | 用于车辆摄像机的图像传感器的颜色掩模 | |
US8605154B2 (en) | Vehicle headlight management | |
CN109204120B (zh) | 用于机动车辆的灯光*** | |
US10872419B2 (en) | Method and apparatus for evaluating a vehicle travel surface | |
CN101919246A (zh) | 非后向反射牌照成像*** | |
US10921485B2 (en) | Illuminator obstruction detection to identify an obstruction on an optical window | |
JP2015066956A (ja) | 車両制御システム、画像センサ | |
CN101571999A (zh) | 红外拍摄装置和交通信息*** | |
US20130116857A1 (en) | Environment estimation apparatus and vehicle control system | |
CN105034929B (zh) | 照射设备 | |
CN113438779A (zh) | 一种基于图像触发路灯光照强度调节的方法 | |
JP2009029227A (ja) | 照明制御装置および方法、並びに、プログラム | |
JP6555569B2 (ja) | 画像処理装置、移動体機器制御システム及び画像処理用プログラム | |
KR102155374B1 (ko) | 자동차용 야간 화상들을 형성하는 시스템 및 방법 | |
KR100961675B1 (ko) | 발광 다이오드를 이용하는 교통 신호등 | |
CN109677326B (zh) | 一种无人驾驶智能汽车 | |
KR101943195B1 (ko) | 지능형 조명 제어장치 및 방법 | |
CN109963084B (zh) | 行人检测红外摄像照明装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |