CN103227905B - 车载摄像机用曝光控制装置 - Google Patents
车载摄像机用曝光控制装置 Download PDFInfo
- Publication number
- CN103227905B CN103227905B CN201310036691.6A CN201310036691A CN103227905B CN 103227905 B CN103227905 B CN 103227905B CN 201310036691 A CN201310036691 A CN 201310036691A CN 103227905 B CN103227905 B CN 103227905B
- Authority
- CN
- China
- Prior art keywords
- concentration value
- exposure
- exposure characteristics
- value
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
本发明提供一种车载摄像机用曝光控制装置,其中,由摄像部(100)进行拍摄;在浓度变换部(140)中,基于将摄像部(100)所具有的第一曝光特性变换了的、具有线性的第二曝光特性来生成将亮度值变换为浓度值的图像;在目标浓度值设定部(234)中,设定要对由浓度值计算部(233)所计算的图像的规定的窗口内部的像素进行拍摄的目标浓度值;在曝光特性设定部(235)中,基于第二曝光特性设定用于得到所计算的目标浓度值的第三曝光特性;拍摄元件控制部(236)对拍摄部(100)输出以所设定的第三曝光特性进行拍摄的指示;以及由拍摄部(100)进行拍摄。
Description
技术领域
本发明涉及一种控制摄像机的曝光而使得安装在车辆上的车载摄像机不管周围的亮度如何变化都能够以恒定的对比度对被拍摄体进行拍摄的车载摄像机用曝光控制装置。
背景技术
近年来,提出了车道偏离报警***,其中,在车辆上设置摄像机,通过图像处理而从由所设置的摄像机拍摄了描画在行驶车道的边缘的白线或黄线(以下,称为车道标记)的图像中检测车道标记,并基于这种车道标记的位置和车辆的行为来判断偏离车道的可能性并发出警报。
在使用这种图像处理的***情况下,希望能够与周围的亮度无关地,稳定地检测车道标记。
因此,提出了与周围的亮度相应地进行摄像机的曝光控制的曝光控制装置(专利文献1)。
[专利文献1]日本特开2006-60504号公报
在专利文献1所记载的发明中,计算路面区域的平均像素值,将计算出的平均像素值乘以与平均像素值相应的常数来修正平均像素值,以使修正了的平均像素值成为与目标像素值相等的方式进行曝光控制,并从这样拍摄到的图像中检测车道标记。
但是,在专利文献1所记载的曝光控制方法的情况下,因为没有考虑拍摄部所使用的拍摄元件的曝光特性的非线性,所以在进行了曝光控制的图像中,路面区域和车道标记的对比度并不是恒定的。
在此,在从进行了曝光控制的图像中检测车道标记时,必须针对拍摄到的每个图像设定用于识别路面和车道标记的适当的阈值,但在如上所述那样对比度不恒定时,为了恰当地识别路面和车道标记必须针对每个图像改变阈值,这种设定阈值的处理变得复杂,存在计算时间增加的问题。
再者,在专利文献1所记载的曝光控制方法的情况下,记载了在周围突然变亮时的曝光控制方法,但对于周围突然变暗时的曝光控制方法没有任何记载,专利文献1所记载的发明能否适用于在诸如进入隧道时那样的周围突然变暗的情况尚不明确。
发明内容
本发明是鉴于上述情况而提出的,其目的在于提供一种不论周围的亮度变化如何或变化的方向如何,都能够以可以以恒定的对比度来拍摄诸如车道标记那样的规定的对象物的方式进行曝光控制的车载摄像机用曝光控制装置。
本发明的车载摄像机用曝光控制装置基于将具有非线性的第一曝光特性变换而成的、具有线性的第二曝光特性,将由拍摄部所拍摄的信息图像化,基于与设定在图像的规定位置处的窗口内部的像素的浓度值相对应的亮度值来计算窗口内部的像素的应被拍摄的目标浓度值,设定用于得到所计算出的目标浓度值的第三曝光特性,并利用所设定的第三曝光特性进行拍摄,据此,即使周围的亮度发生变化,也可以拍摄像路面和车道标记那样的规定的对象物之间的对比度为恒定的图像。
附图说明
图1是表示本发明的实施例1的车载摄像机用曝光控制装置的概略结构的方框图。
图2是说明图1的功能块间的关系的功能方框图。
图3是说明拍摄部的第一曝光特性的图。
图4是说明拍摄部的第二曝光特性的图。
图5是表示本发明的的实施例1的动作流程的流程图。
图6是说明求目标浓度值的方法的图。
图7是说明求目标浓度值的第二个方法的图。
图8是说明求目标浓度值的第三个方法的图。
图9是说明窗口的设定方法的图。
图10是说明窗口的第二个设定方法的图。
图11是说明窗口的第三个设定方法的图。
图12是说明窗口的第四个设定方法的图
具体实施方式
以下,参照附图说明本发明的车载摄像机用曝光控制装置的实施方式。
[实施例1]
本实施例涉及作为本发明的车载摄像机用曝光控制装置的一例的车道标记检测装置。
图1是表示涉及本发明的实施例1的车道标记检测装置10的结构的方框图。
另外,图2是更明确地表示图1所示的各功能块间的关系的功能方框图。
本实施例的车道标记检测装置10包括:设置在车辆(未图示)上并对包含车辆前方路面的区域进行拍摄的、且快门速度可变的拍摄部100;处理由拍摄部100拍摄的图像、执行恰当的曝光特性的设定、车道标记的识别等的处理部200;以及将由处理部200检测到的车道标记的位置、曲率等的信息发送到车辆控制单元的通信接口300。
另外,拍摄部100以能够拍摄包含车辆前进方向前方的路面的区域的布置方案设置在车辆中央的天花板上或车内后视镜附近。
拍摄部100具体地包括:将入射的光变换为电荷并将电荷变换为电信号的由CCD元件、C-MOS元件等构成的拍摄元件110;驱动拍摄元件110的拍摄元件驱动器120;由设置在与拍摄元件110的表面正交的方向上的光学透镜构成的光学***130;用于将由拍摄元件110所拍摄的点的亮度信息变换为浓度信息的变换表、即容纳后述的第一曝光特性表或后述的第二曝光特性表的曝光特性表150;以及基于曝光特性表150将由拍摄元件110所拍摄的点的亮度信息变换为浓度信息的浓度变换部140。另外,浓度变换部140具有AD变换功能,浓度变换部140输出各个像素具有数字化了的浓度信息的图像。
处理部200具体地包括:容纳由拍摄部100所拍摄的图像、在处理部200中的处理过程中的图像以及为了执行图像处理所需要的数据等的RAM210;容纳为了进行图像处理所需的程序、数据等的ROM220;执行后述的第二曝光特性表的生成处理、第三曝光特性的选择处理等的CPU230;以及执行将由浓度变换部140生成的图像向RAM210的转送、作为用于由后述的车道标记识别部238识别车道标记的前处理的边缘检测、二值化处理等的图像处理部240。
处理部200内部的RAM210、ROM220、CPU230、以及图像处理部240由内部总线连接起来。
另外,RAM210除了暂时保存所拍摄的图像外,还容纳由CPU230进行的各种计算处理的中间数据。此外,还容纳由后述的处理所生成的第二曝光特性表212。
另外,在ROM220中预先容纳着为了使车道标记检测装置10工作所需要的程序。
CPU230具体地包括:将容纳在曝光特性表150中的、拍摄元件110原本具有的曝光特性(第一曝光特性)变换为在规定的浓度值范围中具有线性的第二曝光特性的曝光特性变换部231;对变换了的第二曝光特性的线性进行判断的线性判断部232;计算在由浓度变换部140变换了的图像的规定位置处设定为规定的尺寸的窗口内的浓度值的浓度值计算部233;计算上述窗口内的像素应被拍摄的目标浓度值的目标浓度值设定部234;基于容纳在第二曝光特性表212中的曝光特性设定在具有第二曝光特性的线性的浓度值范围中具有与第二曝光特性相同的曝光特性的、为了以目标浓度值拍摄上述窗口内的像素所用的第三曝光特性的曝光特性设定部235;对拍摄元件驱动器120设定快门速度以便实现第三曝光特性的拍摄元件控制部236;以及从拍摄到的图像中检测车道标记的位置的车道标记识别部238。
下面,基于图5的流程图说明本实施方式的车道标记检测部10的作用。
首先,在曝光特性变换部231中,判断在第二曝光特性表212中是否已经生成了第二曝光特性(图5的步骤S1)。
这种处理是通过确认是否存在预先在生成第二曝光特性表212时与第二曝光特性表212一起保存的标志来执行的。
在已经生成了第二曝光特性时,转移到步骤S3。
另一方面,在未生成第二曝光特性时,在曝光特性变换部231中生成第二曝光特性(图5的步骤S2)。
所述第二曝光特性的生成方法说明如下。
通过光学***130用拍摄元件110拍摄亮度值为L的对象物,作为位于拍摄元件110的后级的浓度变换部140的输出,得到了像素的浓度值p。此时,将亮度值L与浓度值p的关系称为拍摄部100的曝光特性,特别地,将拍摄元件110原本具有的曝光特性称为第一曝光特性。这种曝光特性预先容纳在曝光特性表150中,每次在拍摄元件110进行拍摄时,参照曝光特性表150的内容,由浓度变换部140将亮度值L变换为浓度值p。
图3表示拍摄部100的第一曝光特性的一例。如图3所示,第一曝光特性一般是非线性的。第一曝光特性由于根据拍摄部100的快门速度、增益等而变化,所以表示为多个不同的曲线。
图3是作为其一例,按拍摄元件100的每个快门速度表示了第一曝光特性的图。
如果用具有这种第一曝光特性的拍摄部100对包含路面的车辆的前方进行拍摄,则由于第一曝光特性是非线性的,所以与路面对应的像素的浓度值与对应于在路面上施划的车道标记的像素的浓度值的对比度(浓度值之比)不是恒定的,而是根据周围的亮度而变化。
因此,在曝光特性变换部231中,将容纳在曝光特性表150中的第一曝光特性变换为亮度值(横轴)与浓度值(纵轴)具有线性的第二曝光特性,使得路面与车道标记的对比度变为恒定而与周围的亮度无关。
在曝光特性表150中预先测量并存储了如图3所示的拍摄部100的多个第一曝光特性。
所述第一曝光特性的测量是在拍摄元件控制部236中一边改变快门速度的设定,一边以多个快门速度来拍摄分别具有多个规定的亮度值的对象物的图像来执行的。
测量与所拍摄的对象物相对应的像素的浓度值p,并测量与各个快门速度相对应的多个第一曝光特性(C1、C2、…、Cn)。在此,C1、C2、…、Cn被绘制为形状相互相等、并且相互沿着图3横轴平行移动了的关系。
所述第一曝光特性一般称为伽马特性,具有用(式1)表现的指数函数的关系。
p=Lγ(式1)
利用曝光特性变换部231对这些第一曝光特性进行修正,并变换为在规定的浓度值范围中具有线性的多个第二曝光特性。
另外,如果像素的浓度值取从0到255的值,并设浓度值为p的像素的浓度值利用第二曝光特性而被修正为浓度值p',则浓度值p'用(式2)表示。
p'=255×(p/255)(1/γ)(式2)
在此,在(式1)的变量γ的值为未知时,针对作为多个第一曝光特性(C1、C2、…、Ci、…、Cn)中的任意一个的第一曝光特性Ci,使(式2)中的变量γ的值按每个规定值来变化,并且每次计算第二曝光特性Di。
针对所计算的第二曝光特性Di的每个,在线性判断部232中判断第二曝光特性Di的直线性(线性),当在规定的浓度值范围中与直线的偏差在规定范围内时,判断为得到了具有线性的第二曝光特性Di。
这种线性的判断可以是:求出第二曝光特性Di与拟合于第二曝光特性Di的直线之间的偏差的总和、以及求出取偏差的总和的浓度值范围,当在某个浓度值范围中偏差的总和小于等于规定值时,则判断为在该浓度值范围中,第二曝光特性Di具有线性。
使(式2)的变量γ的值按照规定值的每个来改变并重复地执行同样的判断,在最宽的浓度值范围中求线性提高的第二曝光特性Di。
通过使如此求得的第二曝光特性Di在图3的横轴方向上平移与快门速度之差相对应的规定量,得到多个第二曝光特性(D1、D2、…、Di、……、Dn)。
所得到的第二曝光特性容纳在RAM210中的第二曝光特性表212中。此时,判断为具有线性的浓度值范围也一起存储。另外,将所得到的第二曝光特性写入到曝光特性表150中。
另一方面,在预先已知(式1)的变量γ的值时,使用所述变量γ的值,并利用(式2)对多个第一曝光特性C1、C2、…、Ci、…、Cn中的任意的第一曝光特性Ci进行修正,求出第二曝光特性Di。
当在某一浓度值范围中,与直线的偏差在规定范围内时,判断为得到了具有线性的第二曝光特性。
通过将这样求得的第二曝光特性Di在图3的横轴方向上平行移动与快门速度之差相应的规定量,得到多个第二曝光特性(D1、D2、…、Dn)。
所得到的第二曝光特性容纳在RAM210中的第二曝光特性表212中。另外,此时,被判断为具有线性的浓度值范围也一起存储。另外,所得到的第二曝光特性被写入到曝光特性表150中。
在此,为了说明,得到图4所示的多个第二曝光特性(D1、D2、…、Dn),还判断为第二曝光特性在从浓度值p1到浓度值p2的浓度值范围Z中具有线性。
其次,在拍摄元件控制部236中,在表示拍摄次数的常数K中容纳0(图5的步骤S3)。
利用拍摄部100拍摄图像(图5的步骤S4)。此时的拍摄是通过在利用拍摄元件控制部236将快门速度设定为规定的初始值的状态下进行的。
其次,在拍摄元件控制部236中,使表示拍摄次数的常数K增大(图5的步骤S5)。
进而,在步骤S6中,判断常数K的值是否为1,即,判断是否是第一次拍摄。
在K=1时,即,在是第一次拍摄时,在浓度变换部140中,基于容纳在第二曝光特性表212中的与快门速度的初始值相对应的第二曝光特性Di将在步骤S4中所拍摄的对象物的亮度值变换为浓度值(图5的步骤S7),这样生成的图像被容纳在RAM210中。然后,转移到步骤S9。
另外,存储在RAM210中的图像在以后的处理中被适当地从RAM210中读出并实施规定的图像处理。另外,所述图像处理的中间数据也适当地暂时保存在RAM210中。
另一方面,在K≠1时,即在第二次或之后的拍摄时,在浓度变换部140中,基于在后述的曝光特性设定部235中设定的第三曝光特性将在步骤S4中所拍摄的对象物的亮度值变换为浓度值(图5的步骤S8),这样生成的图像被容纳在RAM210中。然后,转移到步骤S10。步骤S8的详细处理内容将在后文中说明。
其次,在车道标记识别部238中,将在浓度变换部140中生成的图像从RAM210中读出,并检测车道标记的位置(图5的步骤S9、S10)。
针对这种车道标记的检测处理提出了各种方法,可以使用其中的任何一种方法,但是对第一次拍摄(K=1)所得到的图像和对第二次或之后的拍摄(K>1)所得到的图像的处理方法不同。
对于在第一次拍摄中得到的图像,以规定的阈值将所拍摄的图像的二值化,从二值化了的图像中提取出接近车道标记形状的区域,并通过对这样提取出的区域进行直线拟合、曲线拟合等,来检测车道标记(图5的步骤S9),然后转移到步骤S12。
另一方面,对于在第二次或之后的拍摄中得到的图像,以比后述的路面的目标浓度值高规定值的浓度值为阈值对所拍摄的图像进行二值化,从这样二值化了的图像中提取出接近车道标记形状的区域,并通过对这样提取出的区域进行直线拟合、曲线拟合等,来检测车道标记(图5的步骤S10),然后转移到步骤S11。
这样,对于在第二次或之后的拍摄中得到的图像,如后述那样,为了利用拍摄元件控制部236来设定用于实现由曝光特性设定部235所设定的合适曝光的快门速度,在所拍摄的图像方面,相对于以目标浓度值拍摄的路面,以与路面之间具有恒定的对比度的方式来拍摄车道标记。
因而,与后述的路面的目标浓度值相比,通过利用只高规定值的浓度值进行二值化,能够稳定可靠地检测车道标记。
在步骤S11中,基于车道标记的检测结果,计算从车辆到车道标记的横向距离、前方的车道标记的曲率等,经由I2C等的通信接口300将这样计算出的值发送到车辆控制单元(未图示),进行规定的车辆控制。
作为所述车辆控制,执行例如在有越出车道标记的可能性时输出警报来执行提醒驾驶员注意的控制、或在转向致动器上发生与越出车道标记的方向相反方向的反力并由此执行提醒驾驶员注意的控制等。
另外,在判断为是第一次拍摄时(K=1时),在步骤S9中检测车道标记后,不进行车辆控制而是转移到步骤S12。这是因为对在第一次拍摄中得到的图像并未执行合适的曝光控制的缘故。
其次,在浓度值计算部233中,在由步骤S4所拍摄并在步骤S7或步骤S8中生成的图像中的描绘着路面的位置处设定指定尺寸、指定形状的窗口W1,并计算所述窗口内部的像素的浓度值的平均值(图5的步骤S12)。
所述窗口W1例如如图9所示,设定在基于左侧车道标记M1、右侧车道标记M2的检测结果而确定的消失点V的下方部。
另外,关于所述窗口W1的尺寸、形状等,可以通过预先的实验等来确定合适的尺寸、形状等,并以这样确定的尺寸和形状来设定。
另外,所述窗口W1只要能够适应于路面区域,则也可以设定在图像的水平方向上大致中央部的下部区域、即车辆的前方跟前的位置上。
其次,基于所设定的窗口W1内部的像素的浓度值的平均值和在拍摄所述图像时所使用的一个第二曝光特性,计算窗口W1内部的像素的亮度值的平均值。
使用图6说明这种亮度值的计算方法。
设在步骤S12中,计算了窗口W1内部的像素的浓度值的平均值p3。另外,设此时拍摄到的图像的亮度值L基于作为多个第二曝光特性(D1、D2、D3、…、Dn)中的一个的第二曝光特性D3而被变换为了浓度值p。
此时,从图6中读出窗口W1内部像素的亮度值的平均值为L1。
在目标浓度值设定部234中,基于窗口W1内部的像素的浓度值p的平均值,计算路面的目标浓度值pt以便图像化为路面与车道标记具有规定的对比度(图5的步骤S13)。
以下,说明这种目标浓度值pt的计算方法。
为了容易地进行车道标记的检测,希望路面与车道标记的对比度为恒定值而与周围的亮度无关。为此,可以将路面和车道标记都以在第二曝光特性具有线性的浓度值范围Z中的浓度值进行图像化。
因此,如图6所示,路面的目标浓度值pt被设定在第二曝光特性具有线性的浓度值范围Z(浓度值p1到p2的范围)的中间位置、即pt=(p1+p2)/2。
由于路面的亮度受到周围的亮度的影响而发生变化,并且车道标记的亮度也随之发生变化,因此,这样将路面的目标浓度值pt设定在浓度值范围Z的中间位置是为了即使路面的亮度发生变化,也使得路面和车道标记都以浓度值范围Z内的浓度值进行图像化。
其次,在曝光特性设定部235中,从多个第二曝光特性(D1、D2、…、Dn)中选择一个来设定用于以目标浓度值pt拍摄路面的最优的曝光特性(图5的步骤S14)。
使用图6说明这种处理。
如上所述,从图6中读取窗口W1内部像素的亮度值的平均值为L1。
进而,从图6中知道,为了用目标浓度值pt对亮度值的平均值为L1的路面进行图像化,只要将第二曝光特性D3变换为第二曝光特性D2即可。
即,可知通过将第二曝光特性D3改变为第二曝光特性D2,窗口W1内部的像素浓度值的平均值是以最接近目标浓度值pt的浓度值p4而图像化的。
在此,目标浓度值pt与实际要图像化的浓度值p4不一致,但这是由于为了便于说明而粗粒度地记载了多个第二曝光特性(D1、D2、…、Dn)的缘故。实际上,多个第二曝光特性(D1、D2、…、Dn)可更加细致地设定,因此可以设定目标浓度值pt与浓度值p4之差更小的曝光特性。
为了使目标浓度值pt与浓度值p4之差更小,优选为,在第二曝光特性具有线性的浓度值范围Z内,对于特定的亮度值,尽可能多地设定快门速度不同的至少两个或更多个第二曝光特性。
另外,在步骤S14中,所选择的一个第二曝光特性(D2)称为第三曝光特性。
其次,从曝光特性设定部235对拍摄元件控制部236输出用于实现第三曝光特性的快门速度设定以及实施拍摄的指示(图5的步骤S15)。
从拍摄元件控制部236对拍摄元件驱动器120设定所指示的快门速度并输出拍摄指示。
其次,如果在车道标记识别部238中,检测到车辆的引擎停止、执行车道标记识别的主开关被切断的情况,则结束处理(图5的步骤S16为“是”时)。
另一方面,在步骤S16中,在未进行车道标记检测处理的结束判断时,转移到步骤S4,并以实现由拍摄元件控制部236所设定的第三曝光特性的快门速度,在拍摄部100中进行拍摄。
在是第二次或之后的拍摄(K>1)时,在浓度变换部140中,基于在步骤S14中设定的第三曝光特性,将所拍摄的对象物的亮度值变换为浓度值(图5的步骤S8)。
进而,对于以目标浓度值pt观测了路面的图像,在步骤S9中执行车道标记的检测。
此时,由于是用在步骤S14中设定的目标浓度值pt观测路面,所以车道标记以与路面之间的对比度为恒定的方式被图像化,而与周围的亮度无关。
因而,通过以比路面的目标浓度值pt高规定值的浓度作为阈值将用第三曝光特性拍摄到的图像二值化,能够稳定地检测车道标记。
在执行从用在步骤S14中设定的第三曝光特性所拍摄的图像中检测车道标记的同时,针对该图像再次计算窗口内的亮度值的平均值,基于这种亮度值再次设定路面的目标浓度值pt并设定第三曝光特性,并基于再次设定的第三曝光特性来拍摄下一个图像。
以后,按照图5重复进行同样的处理。
根据具备这样构成的实施例1的车载摄像机用曝光控制装置的车道标记检测装置10,用曝光特性变换部31将表示由拍摄部100所拍摄的对象物的亮度值与图像化了的对象物的浓度值的关系的多个第一曝光特性变换为具有线性的多个第二曝光特性;在浓度变换部140中基于变换了的多个第二曝光特性中的一个第二曝光特性将由拍摄部100所拍摄的对象物的亮度值变换为浓度值;在浓度值计算部233中计算设定在所生成的图像中的规定位置处的窗口W1内部的像素的浓度值;在目标浓度值设定部234中基于与窗口W1内部的像素的浓度值相对应的亮度值将窗口W1内部的像素的目标浓度值pt设定在第二曝光特性具有线性的浓度值范围Z的内部;在曝光特性设定部235中设定用于得到目标浓度值pt的第三曝光特性;基于这样设定的第三曝光特性,拍摄元件控制部236改变拍摄部100的快门速度以便实现第三曝光特性,而由拍摄部100执行拍摄,因此,能够以与周围的亮度变化、其变化的方向等无关地拍摄路面与车道标记的对比度为恒定的图像的方式进行拍摄部100的曝光控制。
另外,本发明的实施方式并不限于上述的实施方式。
即,在上述实施例中,在步骤S12中,作为规定的窗口W1内的像素的浓度值,采用了窗口W1内的全部像素的浓度值的平均值,但并不限于此,作为规定的窗口W1内的像素的浓度值,也可以采用窗口W1内的全部像素的浓度值的中央值。
另外,在上述实施例中,在步骤S14中,将路面的目标浓度值pt设定在第二曝光特性具有线性的浓度值范围Z的中间位置,但并不限于此,也可以根据行驶状况来改变目标浓度值pt的值。
例如,在隧道的入口跟前,如图7所示,可以使路面的目标浓度值pt成为在第二曝光特性具有线性的浓度值范围Z内,比浓度值范围Z的中间位置高的浓度值py。
这是因为,在车辆进入隧道时,周围迅速变暗,因而路面的浓度值急剧变小,因此,通过预先将目标浓度值pt设置为比浓度值范围Z的中间位置还高,而将变暗一侧的浓度值范围设定得宽,据此,即使在周围迅速变暗时,也可以可靠地用浓度值范围Z内的浓度值来拍摄路面和车道标记。
由此,在将路面的目标浓度值pt设定在浓度值范围Z的中间位置时,在进入隧道时,可以防止所拍摄的图像中的路面的浓度值下降到小于浓度值范围Z的下限值的浓度值的现象,因此可以获得迅速地用目标浓度值pt拍摄路面的效果。
另外,在隧道的出口跟前,如图7所示,可以使路面的目标浓度值pt成为在第二曝光特性具有线性的浓度值范围Z内,比浓度值范围Z的中间位置低的浓度值px。
这是因为,在车辆驶出隧道时,周围迅速变亮,因而路面的浓度值急剧变大,因此通过预先减小目标浓度值pt,而将变亮一侧的浓度值范围设定得宽,据此,即使在周围迅速变亮时,也可以可靠地用浓度值范围Z内的浓度值来拍摄路面和车道标记。
由此,在将路面的目标浓度值pt设定在浓度值范围Z的中间位置时,在驶出隧道时,可以防止所拍摄的图像的路面的浓度值增大到超过浓度值范围Z的上限值的浓度值的现象,因此能够获得迅速地用目标浓度值pt拍摄路面的效果。
另外,关于处于隧道的入口跟前的情况或处于隧道的出口跟前的情况,根据在不同时刻拍摄的多个图像分别计算由浓度值计算部233设定的窗口W1内部的像素的亮度值,求出所计算的多个亮度值关于时间的推移,在该值逐渐变暗时,可以判断为处于隧道的入口跟前。
例如,在窗口内部的像素的亮度值小于等于100cd/m2的状态持续时,判断为在隧道内部行驶,检测窗口内部的像素的亮度值从大于等于100cd/m2的状态向小于等于100cd/m2推移,可以将目标浓度值pt设定为比浓度值范围Z的中间位置高的浓度值py。
相反,在窗口内部的像素的亮度值逐渐变亮时,判断为处于隧道出口附近,可以将目标浓度值pt设定为比浓度值范围Z的中间位置低的浓度值px。
另外,如后述那样,也可以在车辆的跟前和远处设定包含车道标记的多个窗口,求这些多个窗口内部的像素的亮度值关于时间的推移,来确认隧道与车辆的位置关系。
或者,可以利用图1未图示的导航***,求到位于行驶方向前方的隧道的距离,并基于该距离的值来判断处于隧道的入口跟前的情况,也可以在已经行驶在隧道内部中时,求到位于行驶方向前方的隧道出口的距离,并基于该距离的值判断处于隧道的出口跟前的情况。
另外,路面的目标浓度值pt还可以如图8所示,基于与亮度值L相对应地单调增加的函数P来设定。
在此,函数P是对于亮度值L,取第二曝光特性具有线性的浓度值范围Z内的浓度值的函数。
基于这样的函数P来设定与路面的亮度值相对应的目标浓度值pt,据此,即使在周围的亮度随时间变化的情况下,也能够将以某个拍摄定时设定的目标浓度值pt与以下一个拍摄定时设定的目标浓度值pt的变化量抑制得小,由此能够进行明暗变化小的曝光控制。
另外,在上述实施例中,在步骤S12中,窗口W1设定在路面区域中,但并不限于此,也可以将窗口设定在包含车道标记的位置处。
图10表示在包含左侧车道标记M1的位置处设定窗口W2的例子。
这样,在将窗口设定在包含车道标记的位置处时,在浓度值计算部233中计算包含车道标记的区域的浓度值。
在目标浓度值设定部234中,设定包含车道标记的区域的目标浓度值。此时,目标浓度值可以通过与在设定路面区域的目标浓度值时相同的步骤来设定。
这样,通过将窗口设定在包含车道标记的区域中,能够直接地控制成为识别对象物的车道标记部的浓度值,因此,可以得到更直接地执行曝光控制的效果。
但是,在将窗口设定在包含车道标记的区域中时,需要注意用于检测车道标记的阈值的设定。
即,在将窗口设定在包含车道标记的区域中时,通过以比设定的目标浓度值低规定值的浓度值对拍摄的图像进行二值化,能够稳定可靠地检测车道标记。
另外,在上述实施例中,虽然设定了一个计算亮度值的窗口,但并不限于此。
即,如图11所示,也可以在路面区域中设定窗口W1,在包含左侧车道标记M1的位置处设定窗口W2,在包含右侧车道标记M2的位置处设定窗口W3。
可以根据在车道标记识别部238中检测到的车道标记的检测状态,来选择为了设定目标浓度值而使用的窗口。
具体地,当检测到车道标记的曲率比规定值大时,由于车道标记的检测误差等原因,应该设定在包含车道标记的位置处的窗口W2、W3有可能被设定在从车道标记偏离的位置处,因此,也可以使用设定在路面区域中的窗口W1来设定路面区域的目标浓度值,并进行图5所示的处理。
另一方面,在检测到车道标记的曲率比规定值小时,判断为窗口W2、W3被可靠地设定在包含车道标记的位置处,也可以使用窗口W2或窗口W3来设定包含车道标记的区域的目标浓度值,并进行图5所示的处理。
这样,通过根据行驶场所、行驶状态等来选择并使用可靠性更高的窗口,可以得到能够进行可靠的曝光控制的效果。
另外,在执行选择并使用多个窗口的处理时,当所选择的窗口的设定位置发生变化时,必须根据所选择的窗口所在的区域的种类来改变目标对象物的检测方法。
即,如上所述,在将窗口W1设定在路面区域中时,针对设定的目标浓度值,必须以比规定值高的浓度值作为阈值检测车道标记,而另一方面,在将窗口W2或W3设定在包含车道标记的区域中时,针对设定的目标浓度值,必须以比规定值低的浓度值作为阈值检测车道标记。
另外,如图12所示,也可以在车辆的跟前和远处设定多个窗口,来检测接近了隧道的入口或出口的情况。
即,如图12所示,在路面区域中设定窗口W4、W5,在包含左侧车道标记M1的区域中设定窗口W6、窗口W7,另外,在包含右侧车道标记M2的区域中设定窗口W8、窗口W9。
在浓度值计算部233中,测量各窗口内部的浓度值关于时间的推移,在远处一侧的窗口W5、W6、W9的内部的浓度值比目标浓度值高规定值或更高时,可以判断为接近了隧道出口。
另外,在远处一侧的窗口W5、W7、W9的内部浓度值比目标浓度值低规定值或更低时,可以判断为接近了隧道入口。
这样,可以检测接近隧道入口或出口的情况,并如上所述地,进行目标浓度值px、py的设定。
另外,此时,使用设定在车辆跟前的窗口W4、W6、W8进行图5所示的曝光控制的处理。
另外,图4所示的曝光特性虽然记载为针对不同的快门速度的每个来进行设定,但并不限于此,也可以通过改变拍摄元件110的增益来改变曝光特性。
特别地,通过将增益与快门速度一起改变,可以进一步扩大曝光特性的改变范围,由此,可以扩大对周围亮度的应对范围。
另外,在上述实施例中,在曝光特性设定部235中,如在图6中说明的那样,对于亮度值的平均值L1,选择赋予最接近目标浓度值pt的浓度值p4的第二曝光特性并将其设定为第三曝光特性,但并不限于此。
即,也可以通过计算来求出并设定能够以目标浓度值pt将亮度值的平均值为L1的物体图像化的第三曝光特性。
这种计算是通过例如用线性插值对容纳在第二曝光特性表212中的第二曝光特性进行内插值来执行,并将计算出的曝光特性写入到曝光特性表150中。由拍摄元件控制部236计算用于实现第三曝光特性的快门速度、拍摄元件110的增益等,根据来自拍摄元件控制部236的指示在拍摄部100中设定快门速度、增益等,并以设定的条件拍摄车辆周围。
另外,上述的实施例是涉及作为本发明的车载摄像机用曝光控制装置一例的车道标记检测装置的例子,但本发明的适用范围并不限于车道标记检测装置。
即,本发明的车载摄像机用曝光控制装置能够以合适的曝光来拍摄车辆周围,因此,也能够适用于前方车辆的识别、道路标识的识别等。
根据本发明的车载摄像机用曝光控制装置,不管周围的亮度变化如何,也不管其变化方向如何,都能够以可以按恒定的对比度来拍摄诸如路面和车道标记那样的规定的对象物的方式进行拍摄部的曝光控制。
由于能够以恒定的对比度拍摄诸如路面和车道标记那样的规定的对象物,所以能够容易地进行用于识别路面和车道标记的合适的阈值的设定。
Claims (12)
1.一种车载摄像机用曝光控制装置,其特征在于具有:
拍摄部,其搭载在车辆上,对包含规定的对象物的车辆周围进行拍摄,并且该拍摄部的快门速度可变;
曝光特性变换部,其将多个第一曝光特性变换为多个第二曝光特性,所述多个第一曝光特性表示由所述拍摄部拍摄的所述对象物的亮度值和与由所述拍摄部拍摄的图像中的所述对象物相对应的像素的浓度值的关系,所述多个第二曝光特性的所述关系具有线性;
浓度变换部,其基于所述多个第二曝光特性中的一个第二曝光特性,将由所述拍摄部拍摄的所述对象物的亮度值变换为浓度值;
目标浓度值设定部,其设定规定的窗口内的像素应被拍摄的目标浓度值,所述窗口设定在具有由所述浓度变换部变换了的浓度值的图像中;
曝光特性设定部,其将与所述窗口内的像素的浓度值相对应的亮度值变换为所述目标浓度值,并在所述第二曝光特性中的具有线性的范围中设定具有与所述第二曝光特性相同的曝光特性的第三曝光特性;以及
拍摄元件控制部,其改变所述拍摄部的快门速度以便实现所述第三曝光特性,并进行拍摄。
2.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述多个第二曝光特性是将针对所述拍摄部的不同快门速度的每个而设定的所述多个第一曝光特性分别进行变换而得到的,并且在规定的浓度值范围上,在由所述拍摄部所拍摄的所述对象物的亮度值与由所述拍摄部所拍摄的图像中的与所述对象物相对应的像素的浓度值之间具有线性。
3.根据权利要求2所述的车载摄像机用曝光控制装置,其特征在于:所述多个第二曝光特性在所述具有线性的范围内,对于特定的亮度值,设定至少两个或更多个不同的曝光特性。
4.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述目标浓度值设定为所述第二曝光特性具有线性的浓度值范围中的中央的浓度值。
5.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述目标浓度值设定为,在所述第二曝光特性具有线性的浓度值范围中,与在所述亮度值计算部中根据在不同的时刻所拍摄的图像而计算的多个亮度值相对应的值。
6.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述目标浓度值设定为在所述第二曝光特性具有线性的浓度值范围中,与亮度值相应地单调增加的值。
7.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述曝光特性设定部基于所述多个第二曝光特性将要以所述目标浓度值拍摄所述窗口内部的像素的曝光特性设定为所述第三曝光特性。
8.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述曝光特性设定部从所述多个第二曝光特性中选择要以所述目标浓度值拍摄所述窗口内部的像素的曝光特性作为所述第三曝光特性。
9.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述窗口设定在由所述拍摄部所拍摄的图像中的路面区域中。
10.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述窗口设定在由所述拍摄部所拍摄的图像中的包含所述规定的对象物的一部分的区域中。
11.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:在由所述拍摄部所拍摄的图像中设定多个所述窗口,根据车辆的行驶场所或车辆的行驶状态来选择用于计算所述目标浓度值的窗口。
12.根据权利要求1所述的车载摄像机用曝光控制装置,其特征在于:所述规定的对象物是在表示路面行驶车道边界的位置处施划的白线、黄线。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012016279A JP5937832B2 (ja) | 2012-01-30 | 2012-01-30 | 車載カメラ用露出制御装置 |
JP2012-016279 | 2012-01-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103227905A CN103227905A (zh) | 2013-07-31 |
CN103227905B true CN103227905B (zh) | 2016-04-27 |
Family
ID=47757313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310036691.6A Active CN103227905B (zh) | 2012-01-30 | 2013-01-30 | 车载摄像机用曝光控制装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9118838B2 (zh) |
EP (1) | EP2621163A3 (zh) |
JP (1) | JP5937832B2 (zh) |
CN (1) | CN103227905B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101355076B1 (ko) * | 2013-02-18 | 2014-01-27 | 주식회사 만도 | 차량 조도 환경 인식 장치 및 그 방법 |
KR101353052B1 (ko) * | 2013-07-31 | 2014-01-20 | 주식회사 피엘케이 테크놀로지 | 교통표지판 인식을 위한 차량용 영상인식시스템 |
US20160259034A1 (en) * | 2015-03-04 | 2016-09-08 | Panasonic Intellectual Property Management Co., Ltd. | Position estimation device and position estimation method |
JP6571424B2 (ja) * | 2015-07-06 | 2019-09-04 | 株式会社トランストロン | 故障診断装置 |
JP6776213B2 (ja) * | 2017-11-01 | 2020-10-28 | 株式会社東芝 | 軌道識別装置 |
US20190243376A1 (en) * | 2018-02-05 | 2019-08-08 | Qualcomm Incorporated | Actively Complementing Exposure Settings for Autonomous Navigation |
CN109167929B (zh) * | 2018-09-30 | 2021-02-19 | 深圳市商汤科技有限公司 | 车载相机参数的调节方法、装置与电子设备 |
US11023746B2 (en) | 2019-01-02 | 2021-06-01 | Here Global B.V. | Lane count estimation |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03287142A (ja) * | 1990-04-02 | 1991-12-17 | Casio Comput Co Ltd | 自動露出制御装置 |
CN1406053A (zh) * | 2001-08-21 | 2003-03-26 | 徐明景 | 可调整感光特性曲线的影像处理方法与装置 |
JP2005012273A (ja) * | 2003-06-16 | 2005-01-13 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
CN1607818A (zh) * | 2003-10-15 | 2005-04-20 | 富士通天株式会社 | 图像处理装置、驾驶支援装置和驾驶支援*** |
CN101119439A (zh) * | 2007-08-22 | 2008-02-06 | 东风汽车有限公司 | 车载摄像机拍摄清晰车道图像的自动控制方法 |
JP2008060947A (ja) * | 2006-08-31 | 2008-03-13 | Fujinon Corp | 監視カメラシステム |
JP2011228857A (ja) * | 2010-04-16 | 2011-11-10 | Clarion Co Ltd | 車載カメラ用キャリブレーション装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205663A (ja) * | 1998-01-20 | 1999-07-30 | Nissan Motor Co Ltd | 車両用撮像装置の露光量制御装置 |
JP4323748B2 (ja) * | 2002-02-21 | 2009-09-02 | キヤノン株式会社 | デジタルカメラ及びその制御方法、画像処理装置、画像処理方法、画像処理システム |
US7609908B2 (en) * | 2003-04-30 | 2009-10-27 | Eastman Kodak Company | Method for adjusting the brightness of a digital image utilizing belief values |
DE10337357A1 (de) * | 2003-08-14 | 2005-03-10 | Adc Automotive Dist Control | Verfahren und Vorrichtung zur Beleuchtungssteuerung für eine Kamera |
JP2005148308A (ja) * | 2003-11-13 | 2005-06-09 | Denso Corp | 白線検出用カメラの露出制御装置 |
JP4393299B2 (ja) * | 2004-07-27 | 2010-01-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP2006060504A (ja) | 2004-08-19 | 2006-03-02 | Denso Corp | 白線検出用カメラの露出制御装置 |
JP4678218B2 (ja) * | 2005-03-24 | 2011-04-27 | コニカミノルタホールディングス株式会社 | 撮像装置及び画像処理方法 |
JP4114752B2 (ja) * | 2005-08-09 | 2008-07-09 | 三菱電機株式会社 | 撮像装置 |
JP2007074637A (ja) * | 2005-09-09 | 2007-03-22 | Konica Minolta Holdings Inc | 撮像装置 |
JP2009038463A (ja) * | 2007-07-31 | 2009-02-19 | Nissan Motor Co Ltd | 露光調整方法、車両用撮像装置および自動車 |
JP4389999B2 (ja) * | 2007-12-26 | 2009-12-24 | 株式会社デンソー | 露出制御装置及び露出制御プログラム |
JP4433046B2 (ja) * | 2007-12-26 | 2010-03-17 | 株式会社デンソー | 露出制御装置及び露出制御プログラム |
-
2012
- 2012-01-30 JP JP2012016279A patent/JP5937832B2/ja active Active
-
2013
- 2013-01-29 US US13/753,355 patent/US9118838B2/en active Active
- 2013-01-30 EP EP13153163.4A patent/EP2621163A3/en not_active Withdrawn
- 2013-01-30 CN CN201310036691.6A patent/CN103227905B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03287142A (ja) * | 1990-04-02 | 1991-12-17 | Casio Comput Co Ltd | 自動露出制御装置 |
CN1406053A (zh) * | 2001-08-21 | 2003-03-26 | 徐明景 | 可调整感光特性曲线的影像处理方法与装置 |
JP2005012273A (ja) * | 2003-06-16 | 2005-01-13 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
CN1607818A (zh) * | 2003-10-15 | 2005-04-20 | 富士通天株式会社 | 图像处理装置、驾驶支援装置和驾驶支援*** |
JP2008060947A (ja) * | 2006-08-31 | 2008-03-13 | Fujinon Corp | 監視カメラシステム |
CN101119439A (zh) * | 2007-08-22 | 2008-02-06 | 东风汽车有限公司 | 车载摄像机拍摄清晰车道图像的自动控制方法 |
JP2011228857A (ja) * | 2010-04-16 | 2011-11-10 | Clarion Co Ltd | 車載カメラ用キャリブレーション装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2013157770A (ja) | 2013-08-15 |
US9118838B2 (en) | 2015-08-25 |
CN103227905A (zh) | 2013-07-31 |
JP5937832B2 (ja) | 2016-06-22 |
EP2621163A3 (en) | 2017-01-25 |
US20130194424A1 (en) | 2013-08-01 |
EP2621163A2 (en) | 2013-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103227905B (zh) | 车载摄像机用曝光控制装置 | |
US20080317287A1 (en) | Image processing apparatus for reducing effects of fog on images obtained by vehicle-mounted camera and driver support apparatus which utilizies resultant processed images | |
US10748013B2 (en) | Method and apparatus for detecting road lane | |
EP1895766B1 (en) | Camera with two or more angles of view | |
US9171215B2 (en) | Image processing device | |
US10635910B2 (en) | Malfunction diagnosis apparatus | |
EP2793469B1 (en) | Image processing device | |
JP5867806B2 (ja) | 撮像装置及びこれを用いた物体識別装置 | |
EP2309746A1 (en) | Target position identifying apparatus | |
CN103269908A (zh) | 图像提供设备 | |
JP3722486B1 (ja) | 車両用走行区分線認識装置 | |
CN107211096A (zh) | 摄像装置和方法以及程序和记录介质 | |
JP2014165638A (ja) | 画像処理装置、撮像装置、移動体制御システム及びプログラム | |
CN113614810A (zh) | 图像处理装置、车辆控制装置、方法和程序 | |
JP3722485B1 (ja) | 車両用走行区分線認識装置 | |
CN110116731A (zh) | 传感器间学习 | |
CN113170057B (zh) | 摄像部控制装置 | |
JP2008042759A (ja) | 画像処理装置 | |
EP2642759B1 (en) | Multi-lens camera system | |
US11113549B2 (en) | Method and device for analyzing an image and providing the analysis for a driving assistance system of a vehicle | |
JP2022018428A (ja) | 露出制御装置、露出制御方法、および露出制御プログラム | |
US11875578B2 (en) | Determination of traffic light orientation | |
KR102564134B1 (ko) | 이미지 처리 방법 | |
US8797401B2 (en) | Control device for a camera arrangement, camera arrangement for a vehicle and method for controlling a camera in a vehicle | |
JP2023134013A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |