摄像头的同步方法、装置、***、存储介质及计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种摄像头的同步方法、装置、***、计算机可读存储介质及计算机设备。
背景技术
随着机器视觉技术的发展,人们越来越多地采用双目视觉技术进行测距。双目视觉技术,是由两个摄像头从不同角度获取周围场景的两路图像,再基于两路图像进行立体匹配得到距离信息。为避免立体匹配效果不佳,需要实现两个摄像头图像获取的同步性。
在传统的摄像头的同步方法中,预先在两个摄像头中挑选一个作为主摄像头,另一个作为从摄像头,在两个摄像头获取图像的过程中,由主摄像头自动确定曝光量并将其发送至从摄像头,从摄像头按照来自主摄像头的曝光量进行曝光,以此实现两个摄像头图像获取的同步性。然而,传统方式的鲁棒性不佳。
发明内容
基于此,有必要针对传统技术中鲁棒性不佳的技术问题,提供一种摄像头的同步方法、装置、***、计算机可读存储介质及计算机设备。
一种摄像头的同步方法,包括:
分别获得两幅场景图像的图像曝光值,所述两幅场景图像由两个摄像头分别从不同角度拍摄同一场景得到;
在两个所述图像曝光值的第一差值未超过曝光差值阈值时,根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量;其中,所述主摄像头包括两个所述图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头;
将所述同步曝光量分别发送至两个所述摄像头,所述同步曝光量用于指示两个所述摄像头均按照所述同步曝光量进行曝光。
一种摄像头的同步装置,包括:
曝光值获取模块,用于分别获得两幅场景图像的图像曝光值,所述两幅场景图像由两个摄像头分别从不同角度拍摄同一场景得到;
同步曝光量获取模块,用于在两个所述图像曝光值的第一差值未超过曝光差值阈值时,根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量;其中,所述主摄像头包括两个所述图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头;
同步曝光量发送模块,用于将所述同步曝光量分别发送至两个所述摄像头,所述同步曝光量用于指示两个所述摄像头均按照所述同步曝光量进行曝光。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的摄像头的同步方法中的步骤。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的摄像头的同步方法中的步骤。
一种摄像头的同步***,包括两个摄像头和计算机设备;
所述两个摄像头,用于分别从不同角度拍摄同一场景得到两幅场景图像;
所述的计算机设备,用于分别获得所述两幅场景图像的图像曝光值,再在两个所述图像曝光值的第一差值未超过曝光差值阈值时,根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量,以及将所述同步曝光量分别发送至两个所述摄像头;
其中,所述主摄像头包括两个所述图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头,所述同步曝光量用于指示两个所述摄像头均按照所述同步曝光量进行曝光。
上述摄像头的同步方法、装置、***、计算机可读存储介质及计算机设备,获得由两个摄像头分别从不同角度拍摄同一场景得到两幅场景图像的图像曝光值,并判断两个图像曝光值的差值是否超过曝光差值阈值,若未超过,则确定两个图像曝光值分别与参考曝光值的差值中最小的差值所对应的摄像头,并根据该摄像头拍摄的场景图像的图像曝光值确定同步曝光量,进而将同步曝光量分别发送至两个摄像头,使得两个摄像头均按照同步曝光量进行曝光。如此,在两幅场景图像的亮度差异较小时,确定其图像曝光值与参考曝光值的差值较小的场景图像所对应的摄像头,进而根据该摄像头拍摄得到的场景图像的图像曝光值确定这两个摄像头拍摄下一帧图像时的曝光量,有效地减少了传统技术中依赖于固定摄像头所带来的风险。
附图说明
图1为一个实施例中摄像头的同步方法的应用环境图;
图2为一个实施例中摄像头的同步方法的流程示意图;
图3为一个实施例中道路图像的示意图;
图4为一个实施例中对道路图像进行图像区域划分的示意图;
图5为一个实施例中对道路图像进行图像区域划分的示意图;
图6为一个实施例中摄像头的同步装置的结构框图;
图7为一个实施例中计算机设备的结构框图;
图8为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请所使用的术语“第一”、“第二”等是用于对类似的对象作出命名上的区分,但这些对象本身不受这些术语限制。应当理解,在不脱离本申请的范围的情况下,这些术语在适当的情况下可以互换。例如,可将“第一背景区域”描述为“第二背景区域”,且类似地,将“第二背景区域”描述为“第一背景区域”。
此外,术语“包括”、“包含”、“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于已清楚地列出的步骤或单元,而是还可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请各实施例提供的摄像头的同步方法,可应用于如图1所示的应用环境中。该应用环境可涉及计算机设备110、摄像头121以及摄像头122,摄像头121和摄像头122分别通过有线或无线的方式与计算机设备110连接。其中,有线方式比如USB(Universal SerialBUS,通用串行总线)数据线或以太网线。
具体地,摄像头121和摄像头122可分别从不同角度拍摄同一场景得到两幅场景图像,且各自将其拍摄得到的场景图像发送至计算机设备110。计算机设备110分别获得两幅场景图像的图像曝光值,再判断两个图像曝光值的第一差值是否超过曝光差值阈值,若未超过,则根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量,其中,主摄像头包括两个图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头,进而将同步曝光量分别发送至摄像头121和摄像头122。而后,摄像头121和摄像头122拍摄下一帧图像时均按照同步曝光量进行曝光。
其中,计算机设备110可以为终端或服务器。终端具体可以包括手机、平板电脑、笔记本电脑、个人数字助理、穿戴式设备、嵌入式设备以及车载控制终端等中的至少一种。服务器可以用独立的物理服务器,或者多个物理服务器构成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种摄像头的同步方法。以该方法应用于上述图1中的计算机设备110为例进行说明。该方法可以包括如下步骤S202至S206。
S202,分别获得两幅场景图像的图像曝光值。
两幅场景图像,由两个摄像头分别从不同角度拍摄同一场景得到。其中,两个摄像头可以采用互相独立的两个摄像头实现,也可以采用封装有左摄像头和右摄像头的双目摄像机实现。
在一个实施例中,场景图像可以是摄像头拍摄实际场景得到的图像本身。在另一个实施例中,场景图像也可以是对摄像头拍摄实际场景得到的图像进行预处理后得到的预处理图像;预处理是对图像进行优化的处理,比如通过高斯滤波进行去噪处理等。
图像曝光值,是摄像头拍摄参数(光圈和快门速度)的组合,一般用EV表示。相应地,场景图像的图像曝光值,是拍摄该场景图像所使用的摄像头的拍摄参数的组合。图像曝光值具体可以是图像的灰度均值,其可以用于表征图像的亮度的参数。具体地,可以直接获取场景图像中的各像素点的灰度值,进而根据该各像素点的灰度值进行均值运算,得到该场景图像的灰度均值。但可以理解,确定场景图像的灰度均值的具体方式不局限于此。
S204,在两个图像曝光值的第一差值未超过曝光差值阈值时,根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量。
第一差值,可以是两幅场景图像的图像曝光值的差值的绝对值。曝光差值阈值是用于衡量两幅场景图像的亮度差别的标准,其可以根据实际需求预先设定,比如曝光差值阈值可以为50。
主摄像头,可以包括两幅场景图像的图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头。第二差值,是场景图像的图像曝光值与参考曝光值的差值。具体地,将两幅场景图像的图像曝光值分别与参考曝光值作差,得到两个第二差值,将这两个第二差值中最小的第二差值所对应的摄像头,确定为主摄像头。比如,图1所示的摄像头121拍摄得到场景图像P1,摄像头122拍摄得到场景图像P2,场景图像P1与参考曝光值的第二差值D1小于场景图像P2与参考曝光值的第二差值D2,则第二差值D1所对应的摄像头121即为主摄像头,第二差值D2所对应的摄像头122即为从摄像头(下文简称为示例E-1)。
此外,参考曝光值可以是期望的图像曝光值,在一个实施例中,参考曝光值可以是根据经验确定的最优图像曝光值。
同步曝光量,是根据主摄像头拍摄的场景图像的图像曝光值确定出的曝光量。曝光量,通常用H表示,H=Et,E是影像平面的照度,t是曝光时间,E根据光圈确定,t根据快门确定。
在本实施例中,得到两幅场景图像的图像曝光值后,判断两个图像曝光值的第一差值是否超过曝光差值阈值;若未超过,表明两幅场景图像的亮度差异较小,应优先考虑保证两个摄像头的曝光一致性,曝光时间应尽量控制一致,且曝光值应尽量接近期望的最优图像曝光值,则确定两幅场景图像的图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头(即主摄像头),再获取两幅场景图像中由主摄像头拍摄的场景图像的图像曝光值,并根据该图像曝光值确定同步曝光量。比如,对于前文描述的示例E-1,计算机设备根据摄像头121拍摄的场景图像P1的图像曝光值EV1,确定同步曝光量ET-s1(下文简称示例E-2)。
需要说明的是,可以在确定出主摄像头之前,先根据两幅场景图像的图像曝光值分别得到两幅场景图像的图像曝光值,后续确定出主摄像头后,再直接读取主摄像头拍摄得到的场景图像的图像曝光值。当然,也可以在确定出主摄像头之后,再根据主摄像头拍摄得到的场景图像的图像曝光值得到该场景图像的图像曝光值。
S206,将同步曝光量分别发送至两个摄像头。
同步曝光量,可以用于表征两个摄像头拍摄下一帧图像时的曝光状况。
在本实施例中,计算机设备得到同步曝光量后,可以将该同步曝光量分别发送至两个摄像头,具体地,将同步曝光量分别写入两个摄像头的用于存储曝光量的寄存器中。相应地,两个摄像头拍摄下一帧图像时均按照该同步曝光量进行曝光,以此实现两个摄像头图像获取的同步性。
举例说明,对于示例E-2,计算机设备分别将同步曝光量ET-s1发送至摄像头121和摄像头122。而后,摄像头121拍摄下一帧图像时按照同步曝光量ET-s1进行曝光,摄像头122拍摄下一帧图像时也按照同步曝光量ET-s1进行曝光。
需要说明的是,现有摄像头的同步方式中,将两个摄像头中的一个摄像头固定作为主摄像头,另一个作为从摄像头,在两个摄像头获取图像的过程中,由主摄像头自动确定曝光量并将其发送至从摄像头,从摄像头按照来自于主摄像头的曝光量进行曝光。一方面,主摄像头出现无法自动确定曝光量的故障,会导致从摄像头也无法正常工作。另一方面,主摄像头被阴影遮挡(比如,应用到智能驾驶领域时,受到桥梁、隧道等物体的遮挡),而从摄像头未被阴影遮挡时,主摄像头自动确定出的曝光量较大,在从摄像头采用主摄像头自动确定出的曝光量进行曝光的情况下,从摄像拍摄得到的场景图像的亮度将偏大,严重时会导致根据主摄像头和从摄像头拍摄得到的两幅场景图像所进行立体匹配失效。综合上述两方面,将一个摄像头固定作为主摄像头的同步方式风险较大,鲁棒性不佳。
上述摄像头的同步方法,获得由两个摄像头分别从不同角度拍摄同一场景得到两幅场景图像的图像曝光值,并判断两个图像曝光值的差值是否超过曝光差值阈值,若未超过,则确定两个图像曝光值分别与参考曝光值的差值中最小的差值所对应的摄像头,并根据该摄像头拍摄的场景图像的图像曝光值确定同步曝光量,进而将同步曝光量分别发送至两个摄像头,使得两个摄像头均按照同步曝光量进行曝光。如此,在两幅场景图像的亮度差异较小时,确定其图像曝光值与参考曝光值的差值较小的场景图像所对应的摄像头,进而根据该摄像头拍摄得到的场景图像的图像曝光值确定这两个摄像头拍摄下一帧图像时的曝光量,有效地减少了传统技术中依赖于固定摄像头所带来的风险。
在一个实施例中,摄像头的同步方法还可以包括如下步骤:在两个参考图像曝光值的第一差值超过曝光差值阈值时,分别根据两幅场景图像的图像曝光值对应确定两个独立曝光量;分别将两个独立曝光量发送至各自对应的摄像头。
独立曝光量,是根据其对应的场景图像的图像曝光值确定的曝光量,其可以用于表征其对应的摄像头拍摄下一帧图像时的曝光状况。
两个参考图像曝光值的第一差值超过曝光差值阈值,表明两幅场景图像的亮度差异较大,则可以分别根据两幅场景图像的图像曝光值对应确定两个独立曝光量,再分别将两个独立曝光量发送至各自对应的摄像头。而后,两个摄像头拍摄下一帧图像时分别根据其接收到的独立曝光量进行曝光。
举例说明,图1所示的摄像头121拍摄得到场景图像P1,摄像头122拍摄得到场景图像P2。计算机设备根据场景图像P1的图像曝光值EV1确定独立曝光量ET-i1,根据场景图像P2的图像曝光值EV2确定独立曝光量ET-i2。并且,计算机设备将独立曝光量ET-i1发送至摄像头121,将独立曝光量ET-i2发送至摄像头122。进而,摄像头121拍摄下一帧图像时按照独立曝光量ET-i1进行曝光,摄像头122拍摄下一帧图像时按照独立曝光量ET-i2进行曝光。
需要说明的是,两幅场景图像的亮度差异较大,可能是出现了两个摄像头中的其中一个存在被阴影遮挡的情况,此时分别根据两幅场景图像的图像曝光值对应确定两个独立曝光量,再分别将两个独立曝光量发送至各自对应的摄像头,优先考虑补偿被遮挡的摄像头的曝光量,从而保证两个摄像头的画面亮度的一致性,提高了根据两个摄像头拍摄得到的两幅场景图像进行立体匹配的成功率。
在一个实施例中,根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量的步骤,可以包括如下步骤:读取主摄像头的当前曝光量;根据参考曝光值、当前曝光量、以及主摄像头拍摄的场景图像的图像曝光值,确定同步曝光量。
当前曝光量,是摄像头拍摄当前帧场景图像时的曝光量。主摄像头的当前曝光量,可以从主摄像头的用于存储曝光量的寄存器中读取得到。比如,对于前文描述的示例E-1,主摄像头的当前曝光量,即为摄像头121拍摄得到场景图像P1时的曝光量。
在本实施例中,根据参考曝光值、当前曝光量、以及主摄像头拍摄的场景图像的图像曝光值,共同确定同步曝光量。在一个实施例中,对于主摄像头的感光芯片的响应特性为线性的情况,具体可以是采用下述公式确定同步曝光量:其中,ETnew为同步曝光量,ETnow为主摄像头的当前曝光量,EVopt为参考曝光值,EV为主摄像头拍摄的场景图像的图像曝光值。
举例说明,假设参考曝光值EVopt=170,读取到的主摄像头的当前曝光量ETnow=3,两幅场景图像中由主摄像头拍摄得到的场景图像的图像曝光值EV=147,则采用这一公式计算得到同步曝光量ETnew=3.47。
在一个实施例中,两幅场景图像可以均为道路图像。在此情况下,确定场景图像的图像曝光值的方式,可以包括如下步骤:检测道路图像中的车道线;从检测出的车道线中确定目标车道线;根据目标车道线,将道路图像划分为多于一个的图像区域;根据各图像区域的灰度均值,确定道路图像的图像曝光值。
在应用场景为智能驾驶场景时,两个摄像头可以分别从不同角度拍摄相同的道路场景得到两幅道路图像。进而,计算机设备根据两幅道路图像的图像曝光值进行相应处理,得到两个摄像头拍摄下一帧图像时的曝光量。
目标车道线,是从道路图像中检测出的各车道线中、可用于确定目标车道区域的车道线。目标车道区域可以根据实际需求预先设定,比如目标车道区域仅包括本车所处的车道区域(比如,目标车道区域仅包括图3所示的1号车道),或者目标车道区域包括本车所处的车道及与本车所处的车道相邻的车道(比如,目标车道区域包括图3所示的1号车道和2号车道),又或者目标车道区域包括本车所在的道路一侧的所有车道(比如,目标车道区域包括图3所示的1号车道、2号车道以及3号车道)。其中,道路由位于道路中间的隔离标志划分为上、下行方向的两侧,车辆不得越过隔离标志行驶,隔离标志比如护栏、双黄实线、单黄实线等。
具体地,可以根据霍夫变换(Hough Transform)的直线检测方式,在从道路图像中检测出的车道线中筛选出符合车道线筛选条件的车道线作为目标车道线,车道线筛选条件根据目标车道区域确定。比如,目标车道区域仅包括本车所处的车道区域的情况下,车道筛选条件可以包括车道线的斜率值未超过斜率阈值,即在从道路图像中检测出的车道线中筛选出其斜率值未超过斜率阈值的车道线作为目标车道线。其中,斜率阈值可以根据经验进行确定。
图像区域,是道路图像的局部组成部分。在本实施例中,图像区域的数目多于一个。并且,按照图像内容进行区分,划分得到的各图像区域的内容可以涉及车道区域以及背景区域。
结合前文描述,图像的灰度均值,可以用于表征该图像的亮度。相应地,图像区域的灰度均值,可以用于表征该图像区域的亮度。具体地,可以获取图像区域中的各像素点的灰度值,进而根据该各像素点的灰度值进行均值运算,得到该图像区域的灰度均值。
在本实施例中,对于两幅场景图像均为道路图像的情况,对于其中一幅道路图像,可以检测该道路图像中的车道线,再从检测出的车道线中确定目标车道线,进而根据目标车道线将该道路图像划分为多于一个的图像区域,而后根据各图像区域的灰度均值确定该道路图像的图像曝光值。对于另一幅道路图像可以采用相同的方式确定其图像曝光值,此处不加赘述。
在一个实施例中,根据各图像区域的灰度均值,确定道路图像的图像曝光值的步骤,可以包括如下步骤:根据各图像区域的灰度均值及与各图像区域分别对应的权重进行加权平均运算,得到道路图像的图像曝光值。
图像区域对应的权重,用于衡量该图像区域的灰度均值对该图像区域所在的整幅场景图像的灰度均值的影响程度。可以理解,图像区域对应的权重越大,表明该图像区域的灰度均值对该图像区域所在的整幅场景图像的灰度均值的影响程度越大;反之,图像区域对应的权重越小,表明该图像区域的灰度均值对该图像区域所在的整幅场景图像的灰度均值的影响程度越小。
图像区域对应的权重可以根据实际需求预先设定,比如,事先设定涉及的图像内容为车道的图像区域对应的权重,大于涉及的图像内容为背景的图像区域对应的权重。此外,图像区域对应的权重也可以根据划分得到的图像区域自适应获得,而无需预先设定。
在本实施例中,具体可以采用如下公式确定道路图像的图像曝光值:其中,EV为道路图像的图像曝光值,n为划分道路图像得到的图像区域的总数目,ak为第k个图像区域所对应的权重,Wk为第k个图像区域的灰度均值。
比如,将道路图像RP1划分为5个图像区域,具体可以采用如下公式确定该道路图像RP1的图像曝光值:EVRP1=a1*W1+a2*W2+a3*W3+a4*W4+a5*W5;其中,EVRP1为道路图像RP1的图像曝光值,a1至a5分别为5个图像区域对应的权重,W1至W5分别为5个图像区域的灰度均值。
在一个实施例中,多于一个的图像区域包括第一背景区域、第二背景区域、第三背景区域、第一车道区域以及第二车道区域。在此情况下,根据目标车道线,将道路图像划分为多于一个的图像区域的步骤,可以包括如下步骤:根据目标车道线及目标车道线的消失点,确定道路图像中的目标车道区域;根据位于目标车道区域内的预定分界线对目标车道区域进行区域划分,确定第一车道区域和第二车道区域;根据目标车道线的消失点确定第一背景区域;根据左侧车道线及左侧车道线的消失点确定第二背景区域;根据右侧车道线及右侧车道线的消失点确定第三背景区域。
在一个实施例中,如图4所示的道路图像,目标车道线包括车道线MD1和车道线NC1,车道线MD1的消失点为消失点M,车道线NC1的消失点为消失点N。
根据车道线MD1、车道线NC1、消失点M以及消失点N,确定道路图像中的目标车道区域。具体地,可以将根据车道线MD1、车道线NC1、消失点M和消失点N的连线MN以及道路图像的下边界线D1C1所围成的区域,确定为道路图像中的目标车道区域(即图4中的梯形区域MD1C1N)。
根据位于目标车道区域内的预定分界线BL对目标车道区域进行区域划分,确定第一车道区域和第二车道区域。具体地,可以将预定分界线E1F1、道路图像的下边界线D1C1、车道线MD1以及车道线NC1所围成的区域,确定为第一车道区域;对于道路图像而言,第一车道区域可以覆盖目标车道区域中距离本车较近的车道区域。可以将预定分界线E1F1、消失点M和消失点N的连线MN、车道线MD1以及车道线NC1所围成的区域,确定为第二车道区域;对于道路图像而言,第二车道区域可以覆盖目标车道区域中距离本车较远的车道区域。其中,预定分界线E1F1和目标车道区域的相对位置关系可以根据实际需求预先设定,比如,预定分界线E1F1与连线MN的距离、预定分界线E1F1与连线D1C1的距离,两者的比值为预定比值,预定比值比如1:2、或者1:1等等。
根据目标车道线的消失点确定第一背景区域。具体地,可以将消失点M与图像左上角顶点的连线、消失点M和消失点N的连线MN、消失点N与图像右上角顶点的连线、以及道路图像的上边界线A1B1所围成的区域,确定为第一背景区域。对于道路图像而言,第一背景区域可以覆盖天空区域。
根据左侧车道线及左侧车道线的消失点确定第二背景区域,左侧车道线包括目标车道线中位于最左侧的车道线,即图4所示的车道线MD1。具体地,可以将车道线MD1、消失点M与图像左上角顶点的连线MA1以及道路图像的左边界线A1D1所围成的区域,确定为第二背景区域。对于道路图像而言,第二背景区域可以覆盖道路左侧的背景区域。
根据右侧车道线及右侧车道线的消失点确定第三背景区域,右侧车道线包括目标车道线中位于最右侧的车道线,即图4所示的车道线NC1。具体地,可以将车道线NC1、消失点N与图像右上角顶点的连线NB1以及道路图像的右边界线B1C1所围成的区域,确定为第三背景区域。对于道路图像而言,第三背景区域可以覆盖道路右侧的背景区域。
在另一个实施例中,目标车道线的消失点,也可以包括各目标车道线的交汇点。如图5所示,目标车道线包括车道线PD2和车道线PC2,目标车道的消失点为消失点P(即车道线PD2和车道线PC2的交汇点为消失点P)。在此情况下,可以将根据车道线PD2、车道线PC2、以及道路图像的下边界线D2C2所围成的区域,确定为道路图像中的目标车道区域(图5中的三角形区域PD2C2);可以将位于目标车道区域内的预定分界线BL2、道路图像的下边界线D2C2、车道线PD2以及车道线PC2所围成的区域,确定为第一车道区域;可以将位于目标车道区域内的预定分界线BL2、车道线PD2以及车道线PC2所围成的区域,确定为第二车道区域;可以将消失点P与图像左上角顶点的连线、消失点P与图像右上角顶点的连线、以及道路图像的上边界线A2B2所围成的区域,确定为第一背景区域;可以将车道线PD2、消失点P与图像左上角顶点的连线PA2以及道路图像的左边界线A2D2所围成的区域,确定为第二背景区域;可以将车道线PC2、消失点P与图像右上角顶点的连线PB2以及道路图像的右边界线B2C2所围成的区域,确定为第三背景区域。
在一个实施例中,提供了一种摄像头的同步方法。该方法可以包括如下步骤(1)至(12)。
(1)、获得由两个摄像头分别从不同角度拍摄同一道路场景得到的两幅道路图像。
(2)、检测道路图像中的车道线,并从检测出的车道线中确定目标车道线。
(3)、根据目标车道线及目标车道线的消失点,确定道路图像中的目标车道区域。
(4)、根据位于目标车道区域内的预定分界线对目标车道区域进行区域划分,确定第一车道区域和第二车道区域。
(5)、根据目标车道线的消失点确定第一背景区域。
(6)、根据左侧车道线及左侧车道线的消失点确定第二背景区域;左侧车道线包括目标车道线中位于最左侧的车道线。
(7)、根据右侧车道线及右侧车道线的消失点确定第三背景区域;右侧车道线包括目标车道线中位于最右侧的车道线。
(8)、采用以下公式确定道路图像的图像曝光值EVRP1:EVRP1=a1*W1+a2*W2+a3*W3+a4*W4+a5*W5;其中,a1至a5分别为第一车道区域、第二车道区域、第一背景区域、第二背景区域以及第三背景区域对应的权重,W1至W5分别为第一车道区域、第二车道区域、第一背景区域、第二背景区域以及第三背景区域的灰度均值。
(9)、在两幅道路图像的图像曝光值的第一差值未超过曝光差值阈值时,获取参考曝光值EVopt、主摄像头的当前曝光量ETnow、以及主摄像头拍摄的场景图像的图像曝光值EV,并根据以下公式确定同步曝光量ETnew:其中,主摄像头包括两个图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头。
(10)、将同步曝光量分别发送至两个摄像头,同步曝光量用于指示两个摄像头均按照同步曝光量进行曝光。
(11)、在两个参考图像曝光值的第一差值超过曝光差值阈值时,分别根据两幅场景图像的图像曝光值对应确定两个独立曝光量。
(12)、分别将两个独立曝光量发送至各自对应的摄像头,两个独立曝光量分别用于指示相应摄像头按照对应的独立曝光量进行曝光。
需要说明的是,本实施例中对各技术特征的具体限定,可以与前文中对相应技术特征的限定相同,此处不加赘述。
在合理条件下应当理解,虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种摄像头的同步装置600。该装置可以包括如下模块602至606。
曝光值获取模块602,用于分别获得两幅场景图像的图像曝光值,两幅场景图像由两个摄像头分别从不同角度拍摄同一场景得到。
同步曝光量获取模块604,用于在两个图像曝光值的第一差值未超过曝光差值阈值时,根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量;其中,主摄像头包括两个图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头。
同步曝光量发送模块606,用于将同步曝光量分别发送至两个摄像头,同步曝光量用于指示两个摄像头均按照同步曝光量进行曝光。
上述摄像头的同步装置600,获得由两个摄像头分别从不同角度拍摄同一场景得到两幅场景图像的图像曝光值,并判断两个图像曝光值的差值是否超过曝光差值阈值,若未超过,则确定两个图像曝光值分别与参考曝光值的差值中最小的差值所对应的摄像头,并根据该摄像头拍摄的场景图像的图像曝光值确定同步曝光量,进而将同步曝光量分别发送至两个摄像头,使得两个摄像头均按照同步曝光量进行曝光。如此,在两幅场景图像的亮度差异较小时,确定其图像曝光值与参考曝光值的差值较小的场景图像所对应的摄像头,进而根据该摄像头拍摄得到的场景图像的图像曝光值确定这两个摄像头拍摄下一帧图像时的曝光量,有效地减少了传统技术中依赖于固定摄像头所带来的风险。
在一个实施例中,摄像头的同步装置600还可以包括如下模块:独立曝光量确定模块,用于在两个参考图像曝光值的第一差值超过曝光差值阈值时,分别根据两幅场景图像的图像曝光值对应确定两个独立曝光量;独立曝光量发送模块,用于分别将两个独立曝光量发送至各自对应的摄像头,两个独立曝光量分别用于指示相应摄像头按照对应的独立曝光量进行曝光。
在一个实施例中,同步曝光量获取模块604可以包括如下单元:当前曝光量读取单元,用于读取主摄像头的当前曝光量;同步曝光量确定单元,用于根据参考曝光值、当前曝光量、以及主摄像头拍摄的场景图像的图像曝光值,确定同步曝光量。
在一个实施例中,同步曝光量确定单元具体可以用于:采用下述公式确定同步曝光量:
其中,ETnew为同步曝光量,ETnow为当前曝光量,EVopt为参考曝光值,EV为主摄像头拍摄的场景图像的图像曝光值。
在一个实施例中,两幅场景图像均为道路图像;曝光值获取模块602可以包括如下单元:车道线检测单元,用于检测道路图像中的车道线;目标车道线确定单元,用于从检测出的车道线中确定目标车道线;图像区域划分单元,用于根据目标车道线,将道路图像划分为多于一个的图像区域;曝光值确定单元,用于根据各图像区域的灰度均值,确定道路图像的图像曝光值。
在一个实施例中,曝光值确定单元具体可以用于:根据各图像区域的灰度均值及与各图像区域分别对应的权重进行加权平均运算,得到道路图像的图像曝光值。
在一个实施例中,多于一个的图像区域包括第一背景区域、第二背景区域、第三背景区域、第一车道区域以及第二车道区域。在此情况下,图像区域划分单元可以包括如下子单元:目标车道区域确定子单元,用于根据目标车道线及目标车道线的消失点,确定道路图像中的目标车道区域;第二车道区域确定子单元,用于根据位于目标车道区域内的预定分界线对目标车道区域进行区域划分,确定第一车道区域和第二车道区域;第一背景区域确定子单元,用于根据目标车道线的消失点确定第一背景区域;第二背景区域确定子单元,用于根据左侧车道线及左侧车道线的消失点确定第二背景区域;左侧车道线包括目标车道线中位于最左侧的车道线;第三背景区域确定子单元,用于根据右侧车道线及右侧车道线的消失点确定第三背景区域;右侧车道线包括目标车道线中位于最右侧的车道线。
需要说明的是,关于摄像头的同步装置的具体限定,可以参见上文中对于摄像头的同步方法的限定,在此不再赘述。上述摄像头的同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种摄像头的同步***,包括两个摄像头和计算机设备;两个摄像头,用于分别从不同角度拍摄同一场景得到两幅场景图像;计算机设备,用于分别获得两幅场景图像的图像曝光值,再在两个图像曝光值的第一差值未超过曝光差值阈值时,根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量,以及将同步曝光量分别发送至两个摄像头;其中,主摄像头包括两个图像曝光值分别与参考曝光值的第二差值中最小的第二差值所对应的摄像头,同步曝光量用于指示两个摄像头均按照同步曝光量进行曝光。
在一个实施例中,计算机设备还用于在两个参考图像曝光值的第一差值超过曝光差值阈值时,分别根据两幅场景图像的图像曝光值对应确定两个独立曝光量;
分别将两个独立曝光量发送至各自对应的摄像头,两个独立曝光量分别用于指示相应摄像头按照对应的独立曝光量进行曝光。
在一个实施例中,根据主摄像头拍摄的场景图像的图像曝光值确定同步曝光量的步骤,可以包括如下步骤:读取主摄像头的当前曝光量;根据参考曝光值、当前曝光量、以及主摄像头拍摄的场景图像的图像曝光值,确定同步曝光量。
在一个实施例中,根据参考曝光值、当前曝光量、以及主摄像头拍摄的场景图像的图像曝光值,确定同步曝光量的步骤,可以包括如下步骤:采用下述公式确定同步曝光量:
其中,ETnew为同步曝光量,ETnow为当前曝光量,EVopt为参考曝光值,EV为主摄像头拍摄的场景图像的图像曝光值。
在一个实施例中,两幅场景图像均为道路图像。在此情况下,确定场景图像的图像曝光值的方式,可以包括如下步骤:检测道路图像中的车道线;从检测出的车道线中确定目标车道线;根据目标车道线,将道路图像划分为多于一个的图像区域;根据各图像区域的灰度均值,确定道路图像的图像曝光值。
在一个实施例中,根据各图像区域的灰度均值,确定道路图像的图像曝光值的步骤,可以包括如下步骤:根据各图像区域的灰度均值及与各图像区域分别对应的权重进行加权平均运算,得到道路图像的图像曝光值。
在一个实施例中,多于一个的图像区域包括第一背景区域、第二背景区域、第三背景区域、第一车道区域以及第二车道区域。在此情况下,根据目标车道线,将道路图像划分为多于一个的图像区域的步骤,可以包括如下步骤:根据目标车道线及目标车道线的消失点,确定道路图像中的目标车道区域;根据位于目标车道区域内的预定分界线对目标车道区域进行区域划分,确定第一车道区域和第二车道区域;根据目标车道线的消失点确定第一背景区域;根据左侧车道线及左侧车道线的消失点确定第二背景区域;左侧车道线包括目标车道线中位于最左侧的车道线;根据右侧车道线及右侧车道线的消失点确定第三背景区域;右侧车道线包括目标车道线中位于最右侧的车道线。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现摄像头的同步方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行摄像头的同步方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口。其中,该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质和内存储器,该非易失性存储介质存储有操作***、计算机程序和数据库,该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种摄像头的同步方法。
本领域技术人员可以理解,图7和图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的摄像头的同步装置600可以实现为一种计算机程序的形式,计算机程序可在如图7或8所示的计算机设备上运行。计算机设备的存储器中可存储组成该摄像头的同步装置的各个程序模块,比如,图6所示的曝光值获取模块602、同步曝光量获取模块604以及同步曝光量发送模块606。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的摄像头的同步方法中的步骤。例如,图7或8所示的计算机设备可以通过如图6所示的摄像头的同步装置中的曝光值获取模块602执行步骤S202、通过同步曝光量获取模块604执行步骤S204、通过同步曝光量发送模块606执行步骤S206等等。
此外,本申请各实施例提供的摄像头的同步方法可以应用于智能驾驶场景。据此,摄像头的同步***可以为车辆***,两个摄像头可以分别设置于车辆的前挡风玻璃两侧,计算机设备可以为车载控制终端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此,在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本申请任一实施例提供的摄像头的同步方法。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。