CN109345593B - 一种摄像机姿态的检测方法及装置 - Google Patents

一种摄像机姿态的检测方法及装置 Download PDF

Info

Publication number
CN109345593B
CN109345593B CN201811025833.8A CN201811025833A CN109345593B CN 109345593 B CN109345593 B CN 109345593B CN 201811025833 A CN201811025833 A CN 201811025833A CN 109345593 B CN109345593 B CN 109345593B
Authority
CN
China
Prior art keywords
camera
lane
image
candidate
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811025833.8A
Other languages
English (en)
Other versions
CN109345593A (zh
Inventor
高语函
吴风炎
曲磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN201811025833.8A priority Critical patent/CN109345593B/zh
Publication of CN109345593A publication Critical patent/CN109345593A/zh
Application granted granted Critical
Publication of CN109345593B publication Critical patent/CN109345593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种摄像机姿态的检测方法及装置,该方法包括:确定车道图像中车道线的消失点在图像坐标系中的坐标位置;其中,所述消失点为两条车道线的交点;基于所述坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角;计算指定数量的车道图像确定出的候选俯仰角的置信率和候选偏航角的置信率,将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角。在本申请技术方案中,通过车道图像中车道线的消失点的坐标位置和摄像参数确定出摄像机的候选俯仰角和候选偏航角,然后基于指定数量的车道图像确定出摄像机实际的俯仰角和实际的偏航角,从而依据上述俯仰角和偏航角确定出摄像机姿态。

Description

一种摄像机姿态的检测方法及装置
技术领域
本申请涉及图像处理领域,特别涉及一种摄像机姿态的检测方法及装置。
背景技术
车道线检测是利用安装在车辆前方的摄像机采集车道图像,然后提取图像中的车道像素特征点,对车道像素特征点拟合后获得车辆前方的车道信息。通过判断车辆与车道信息中车道两边的车道线的距离,确定当前车辆在车道上行驶是否发生偏移。
在正常情况下,摄像机的光轴平行于车道线、水平地面,因此,摄像机采集到的车道图像可有效地用于车道线检测。
然而,若安装摄像机时未调整好摄像机姿态,或者,因车辆行驶过程中外力(比如,车辆颠簸产生的外力)导致摄像机姿态发生改变,则摄像机的光轴与车道线和/或水平地面会存在夹角。当摄像机姿态不正时,会影响车道线检测的结果,使判断出的车辆与两侧车道线的实际距离不准确。
发明内容
有鉴于此,本申请提供一种摄像机姿态的检测方法及装置,用于检测摄像机姿态,以便于后续调整从而避免因姿态不正对车道线检测造成的影响。
具体地,本申请是通过如下技术方案实现的:
一种摄像机姿态的检测方法,包括:
确定车道图像中车道线的消失点在图像坐标系中的坐标位置;其中,所述消失点为两条车道线的交点;
基于所述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角;
计算指定数量的车道图像确定出的候选俯仰角的置信率和候选偏航角的置信率,将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角。
在所述摄像机姿态的检测方法中,所述方法还包括:
基于确定出的实际的俯仰角和实际的偏航角对所述摄像机进行姿态调整。
在所述摄像机姿态的检测方法中,所述确定车道图像中车道线的消失点在图像坐标系中的坐标位置,包括:
获取车载传感器的测量参数,基于所述测量参数确定当前路况是否满足预设的车道线检测规则;
若是,确定当前车道图像中的车道线参数与前一帧车道图像中的车道线参数的差异是否小于预设比值阈值;
若是,从当前车道图像中确定车道线的消失点在图像坐标系中的坐标位置。
在所述摄像机姿态的检测方法中,所述摄像参数包括所述车道图像的图像中心在图像坐标系中的坐标位置、摄像机的焦距和所述车道图像的单位像素大小;
所述基于所述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角,包括:
基于如下第一公式计算所述摄像机的候选俯仰角β:
Figure BDA0001788498420000021
其中,u1为所述消失点的横坐标,u0为所述车道图像的图像中心的横坐标,dx为所述车道图像在横坐标方向上的单位像素大小,f为摄像机的焦距;
基于如下第二公式计算所述摄像机的候选偏航角α:
Figure BDA0001788498420000022
其中,v1为所述消失点的纵坐标,v0为所述车道图像的图像中心的纵坐标,dy为所述车道图像在纵坐标方向上的单位像素大小,f为摄像机的焦距,β为摄像机的候选俯仰角。
在所述摄像机姿态的检测方法中,所述方法还包括:
基于确定出的实际的俯仰角和实际的偏移角,确定车辆与两侧车道线的实际距离。
一种摄像机姿态的检测装置,包括:
第一确定单元,用于确定车道图像中车道线的消失点在图像坐标系中的坐标位置;其中,所述消失点为两条车道线的交点;
计算单元,用于基于所述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角;
第二确定单元,用于计算指定数量的车道图像确定出的候选俯仰角的置信率和候选偏航角的置信率,将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角。
在所述摄像机姿态的检测装置中,所述装置还包括:
调整单元,用于基于确定出的实际的俯仰角和实际的偏航角对所述摄像机进行姿态调整。
在所述摄像机姿态的检测装置中,所述第一确定单元,进一步用于:
获取车载传感器的测量参数,基于所述测量参数确定当前路况是否满足预设的车道线检测规则;
若是,确定当前车道图像中的车道线参数与前一帧车道图像中的车道线参数的差异是否小于预设比值阈值;
若是,从当前车道图像中确定车道线的消失点在图像坐标系中的坐标位置。
在所述摄像机姿态的检测装置中,所述摄像参数包括所述车道图像的图像中心在图像坐标系中的坐标位置、摄像机的焦距和所述车道图像的单位像素大小;
所述计算单元,进一步用于:
基于如下第一公式计算所述摄像机的候选俯仰角β:
Figure BDA0001788498420000041
其中,u1为所述消失点的横坐标,u0为所述车道图像的图像中心的横坐标,dx为所述车道图像在横坐标方向上的单位像素大小,f为摄像机的焦距;
基于如下第二公式计算所述摄像机的候选偏航角α:
Figure BDA0001788498420000042
其中,v1为所述消失点的纵坐标,v0为所述车道图像的图像中心的纵坐标,dy为所述车道图像在纵坐标方向上的单位像素大小,f为摄像机的焦距,β为摄像机的候选俯仰角。
在所述摄像机姿态的检测装置中,所述装置还包括:
第三确定单元,用于基于确定出的实际的俯仰角和实际的偏移角,确定车辆与两侧车道线的实际距离。
在本申请实施例中,首先确定车道图像中车道线的消失点在图像坐标系中的坐标位置,然后基于上述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角,并计算指定数量的车道图像确定出的候选俯仰角的置信率和候选偏航角的置信率,将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角;
可以通过车道图像中车道线的消失点的坐标位置和摄像参数确定出摄像机的候选俯仰角和候选偏航角,然后基于指定数量的车道图像确定出摄像机实际的俯仰角和实际的偏航角,从而依据上述俯仰角和偏航角确定摄像机姿态。
附图说明
图1是本申请示出的一种图像坐标系的示意图;
图2是本申请示出的一种摄像机坐标系的示意图;
图3是本申请示出的一种摄像机姿态检测方法的流程图;
图4是本申请示出的一种车道线变化的示意图;
图5是本申请示出的另一种车道线变化的示意图;
图6是本申请示出的一种摄像机姿态检测装置的实施例框图;
图7是本申请示出的一种摄像机姿态检测装置的硬件结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对现有技术方案和本发明实施例中的技术方案作进一步详细的说明。
本申请实施例在检测摄像机姿态的过程中,会涉及摄像机成像的空间几何关系的相关内容。为更清楚地说明本申请中检测手段的原理,首先对摄像机成像相关的三个坐标系进行说明。其中,三个坐标系包括图像坐标系、摄像机坐标系和世界坐标系。
参见图1,为本申请示出的一种图像坐标系的示意图。如图1所示,图像坐标系以图像左上角为原点O0建立以像素为单位的直角坐标系u-v,图像中任一像素点的横坐标u和纵坐标v分别为其在图像中所处的列数和行数。
由于u-v坐标仅代表像素的列数和行数,而像素点在图像中的位置还需以物理单位表示,所以,在图像平面还要建立以物理单位(比如:物理单位可以是毫米)表示的图像坐标系X-Y。
通常而言,可将摄像机的光轴与图像平面的交点定义为X-Y坐标系的原点O1,该交点通常位于图像平面的中心处。另外,X轴与u轴平行,Y轴与v轴平行。假设(u0,v0)代表O1在u-v坐标系下的坐标,dx与dy分别表示每个像素在X轴方向和Y轴方向上的物理尺寸。则图像中每个像素在u-v坐标系中的坐标和在X-Y坐标系中的坐标之间可以换算,具体详见下文相关描述。
参见图2,为本申请示出的一种摄像机坐标系的示意图。如图2所示,摄像机坐标系的原点O点为摄像机光点(投影中心),摄像机坐标系的Xc轴和Yc轴分别与图像平面X-Y坐标系的X轴和Y轴平行。摄像机坐标系的Zc轴与摄像机的光轴重合,垂直于图像平面,并与图像平面的相交于O1点。摄像机坐标系的原点与图像平面X-Y坐标系的原点之间的距离O-O1即为摄像机的焦距f。
世界坐标系是为描述摄像机的位置而引入的,本申请中,并不涉及摄像机整***置的计算,因此,将摄像机坐标系的原点作为世界坐标系的原点,将摄像机姿态正确时的摄像机坐标系作为世界坐标系。
参见图3,为本申请示出的一种摄像机姿态检测方法的流程图,如图3所示,该方法包括以下步骤:
步骤301:确定车道图像中车道线的消失点在图像坐标系中的坐标位置;其中,所述消失点为两条车道线的交点。
其中,上述方法可以应用于电子设备,该电子设备可以是摄像机,或与摄像机对接的智能设备。下文为便于描述本方案,以摄像机为执行主体。
其中,该摄像机安装在车前方合适的位置,使得摄像机可以采集车辆前方的图像。
在车辆行驶过程中,摄像机可以实时采集车辆前方的车道图像,然后通过车道线检测技术提取图像中的车道像素特征点,对车道像素特征点拟合后得到车道前方的车道信息。作为一种实施例,车道信息可以是拟合出车道两边的车道线的灰度图。
车道线检测可通过霍夫变换、最小二乘法、RANSAC等方法实现,具体可参照现有相关技术,在此不再赘述。
道路两侧的车道线在图像中可看作是两条直线,两条车道线在图像中由近及远向前延伸,最终会相交于一点,并且不再向前延伸。因此,两条车道线的交点也称为车道线的消失点。在道路为直路,且车辆朝向道路前方时,可将摄像机安装在车上合适的位置,使得摄像机采集到的图像中消失点位于图像中央。换而言之,使得消失点在图像平面u-v坐标系中的坐标为(u0,v0)。
当摄像机姿态发生变化,即摄像机的光轴与车道线存在夹角,或者,光轴与水平地面存在夹角,又或者,光轴与车道线和水平地面分别存在夹角,则车道线的消失点在图像中的坐标位置会发生变化。
参见图4和图5,为本申请示出的两种车道线变化的示意图。
如图4所示,当摄像机存在俯仰角时,若该俯仰角大于0,则车道线在车道图像中会上移,相应地,车道线的消失点也会往上移动,且俯仰角越大则车道线和消失点向上移动的距离越大;若该俯仰角小于0,则车道线在车道图像中会下移,相应地,车道线的消失点也会往下移动,且俯仰角越小则车道线和消失点向下移动的距离越大。
如图5所示,当摄像机存在偏航角时,若该偏航角大于0,则车道线在车道图像中会右移,相应地,车道线的消失点也会往右移动,且偏航角越大则车道线和消失点向右移动的距离越大;若该偏航角小于0,则车道线在车道图像中会左移,相应地,车道线的消失点也会往左移动,且偏航角越小则车道线和消失点向左移动的距离越大。
基于上述原理,本申请技术方案通过图像中消失点的坐标位置确定摄像机发生变化的姿态角(包括俯仰角和偏移角)。因此,通过车道线检测技术获得车道信息后,可以进一步确定车道线在该车道信息(灰度图)中的消失点的坐标位置,该坐标位置同样也是车道线在车道图像中的坐标位置。
在示出的一种实施方式中,考虑到存在一系列对摄像机姿态检测造成影响的因素,需在满足指定条件时确定车道线的消失点的坐标位置。
首先,车辆行驶的路况可能会对摄像机姿态检测造成影响。当车辆行驶在弯路或坡路上时,车道线不是直线,因此车道图像中车道线的消失点的位置也会发生变化。
其次,车辆行驶状态也可能对摄像机姿态检测造成影响。当车辆行驶不稳,比如,车辆上下颠簸,则同样会使车道线在车道图像中的成像位置发生变化,导致车道线的消失点的位置发生变化。
可见,为使得车道图像中确定出的车道线的消失点的坐标位置可准确用于摄像机姿态检测,需满足以下指定条件:
其一,车辆行驶在平整的直路上;
其二,车辆行驶状态稳定。
为满足上述指定条件,摄像机首先可以获取车载传感器(比如:陀螺仪)的测量参数,并基于上述测量参数确定当前路况是否满足预设的车道线检测规则。其中,上述车道线检测规则限定了测量参数范围,当车载传感器的测量参数在该策略参数范围内,则说明车辆行驶在平整的直路上。作为一种实施例,若上述车载传感器为三轴陀螺仪,则上述测量参数可以是陀螺仪围绕三个轴的角加速度。
一方面,如果上述测量参数不满足上述车道线检测规则,则可确定当前路况为弯路或坡路,无需从车道图像中确定车道线的消失点的坐标位置;
另一方面,如果上述策略参数满足上述车道线检测规则,则可确定当前路况为平整的直路,则可以进一步确定车辆行驶状况是否稳定。具体详见下文相关描述。
摄像机可以通过检测出的车道线参数的变化率确定当前车辆行驶状况是否稳定。其中,上述车道线参数可以包括车道线在图像平面坐标系的斜率和截距。
具体地,摄像机可以确定当前车道图像中的车道线参数与前一帧车道图像中的车道线的差异是否小于预设比值阈值。其中,该比值阈值可以是在应用过程中基于经验确定出的车道线差异对摄像机姿态检测可接受的数值,比如,可以是10%。
若车道线参数为斜率和截距,则可以将当前车道图像中两条车道线的斜率和截距,分别减去前一帧车道图像中对应的两条车道线的斜率和截距。进一步地,将差值再除以前一帧车道图像中对应的两条车道线的斜率和截距,获得四个比值。可以对四个比值计算平均值,然后将该平均值作为差异与上述比值阈值进行比较;或者,直接取四个比值中的最大值,然后将该最大值作为差异与上述比值阈值进行比较。
一方面,若差异不小于该比值阈值,则确定当前车辆行驶状况不稳定,无需从车道图像中确定车道线的消失点的坐标位置;
另一方面,若差异小于该比值阈值,则确定当前车辆行驶状况稳定,此时,可以从车道图像中确定车道线的消失点的坐标位置。
当然,若在摄像机安装的初始阶段,则需要将车辆停在平整直路的中央,然后通过摄像机采集车道图像后,确定车道图像中车道线消失点的坐标位置。当车道线消失点的坐标位置为图像中央时,说明摄像机的俯仰角和偏航角均为0,确定当前摄像机安装姿态正确。
步骤302:基于所述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角。
其中,上述摄像参数可以包括车道图像的图像中心在所述图像坐标系中的坐标位置、摄像机的焦距和车道图像的单位像素的大小。上述候选俯仰角指的是通过一帧车道图像确定出的摄像机的俯仰角,上述候选偏航角指的是通过一帧车道图像确定出的摄像机的偏航角。
下面说明本申请确定摄像机的候选俯仰角和候选偏航角的原理。
当摄像机姿态正常时,消失点在车道图像的图像中心在图像平面u-v坐标系中的坐标为(u0,v0)。当摄像机姿态发生变动,摄像机的候选俯仰角为β,候选偏航角为α。
则消失点在图像平面u-v坐标系中的坐标(u1,v1)可通过如下公式(1)表示:
Figure BDA0001788498420000091
其中,f是摄像机的焦距,dx表示像素点在X轴方向(u轴方向)的大小,dy表示像素点在Y轴方向(v轴方向)的大小。
因此,摄像机的候选俯仰角可以通过如下公式(2)表示:
Figure BDA0001788498420000092
摄像机的候选偏航角可以通过如下公式(3)表示:
Figure BDA0001788498420000093
步骤303:计算指定数量的车道图像确定出的候选俯仰角的置信率和候选偏航角的置信率,将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角。
为减少俯仰角和偏航角的计算误差,可以记录基于若干车道图像确定出的候选俯仰角和候选偏移角,在记录了指定数量的车道图像确定出的候选俯仰角和候选偏移角后,可以分别计算上述候选俯仰角的置信率和上述候选偏移角的置信率。具体的计算方式可以采用高斯分布函数和欧氏距离等数据处理手段,在此不赘述。
在计算完成后,可以将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角。
在本申请实施例中,可以基于确定出的实际的俯仰角和实际的偏航角对上述摄像机进行姿态调整。
比如:若偏航角为1度,则说明摄像机向右偏移1度,因此,可将摄像机向左调整1度。若偏航角为-1度,则说明摄像机向左偏移1度,因此,可将摄像机向右偏移1度。
若俯仰角为1度,则说明摄像机向上偏移1度,因此,可将摄像机向下调整1度。若俯仰角为-1度,则说明摄像机向下偏移1度,因此,可将摄像机向上调整1度。
此外,在本申请实施例中,当确定出摄像机的偏航角和俯仰角后,还可以对已产生误差的车辆与两侧车道线的实际距离进行调整,使得车道线检测对于车辆偏移可以得到一个准确的结果。具体计算过程如下:
若将空间中的一点在世界坐标系中的坐标记为(Xw,Yw,Zw),该点在图像平面的u-v坐标系中的坐标记为(u,v),该点在摄像机坐标系中的坐标为(Xc,Yc,Zc)。则世界坐标系中坐标向图像坐标系中坐标的转换可通过如下公式(4)表示:
Figure BDA0001788498420000111
其中,f是摄像机的焦距,dx表示像素点在X轴方向(u轴方向)的大小,dy表示像素点在Y轴方向(v轴方向)的大小,t为平移矩阵,R为旋转矩阵可基于已确定出的俯仰角和偏航角计算得到,计算方式可通过如下公式(5)表示:
Figure BDA0001788498420000112
其中,α为摄像机的偏航角,β为摄像机的俯仰角。
平移矩阵t可表示为
Figure BDA0001788498420000113
其中,h表示摄像机的距离地面的高度。
取车道线上的任意两点在图像坐标系上的坐标计算车道线的斜率,则斜率k可通过如下公式(6)表示:
Figure BDA0001788498420000114
其中,(u1,v1)和(u2,v2)为图像坐标系上车道线的两个点。
通过上述公式(4)可将图像坐标系中的点的横坐标u和纵坐标v均通过L矩阵中的元素和世界坐标系中的坐标来表示,然后带入到上述公式(6)中。
当摄像机处于正确的姿态时,摄像机光轴与车道线平行,因此,车道线上的点与光轴的距离相同,也就是说车道线上的点在世界坐标系中的Xw相同,而车道线上的点在世界坐标系中的Yw均为0,此外,两个点在世界坐标系中的Z轴方向的坐标在计算过程中会消掉。
因此,最终斜率可通过如下公式(7)表示:
Figure BDA0001788498420000115
将各系数带入计算后,进行约分,最终车道线与摄像机的距离Xw可通过如下公式(8)表示:
Figure BDA0001788498420000121
其中,斜率k实际可直接基于图像中车道线的位置确定,对于两条车道线而言斜率不同,因此,通过公式(8)可计算得到车辆与两侧车道线的实际距离;L矩阵中的各元素也可在公式(4)的计算过程中得到。
因此,在确定出实际的俯仰角和实际的偏移角后,可通过上述公式(4)到公式(8)确定出车辆与两侧车道线的实际距离。
综上所述,本申请通过车道图像中车道线的消失点在图像坐标系中的坐标位置和摄像参数确定出摄像机的候选俯仰角和候选偏航角,然后基于指定数量的车道图像确定出摄像机实际的俯仰角和实际的偏航角,从而依据该实际的俯仰角和该实际的偏航角确定摄像机姿态;
通过上述措施,可以对摄像机姿态进行调整,避免摄像机姿态不正对车道线检测造成的影响。
与前述摄像机姿态的检测方法的实施例相对应,本申请还提供了摄像机姿态的检测装置的实施例。
参见图6,为本申请示出的一种摄像机姿态的检测装置的实施例框图:
如图6所示,该摄像机姿态的检测装置60包括:
第一确定单元610,用于确定车道图像中车道线的消失点在图像坐标系中的坐标位置;其中,所述消失点为两条车道线的交点。
计算单元620,用于基于所述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角。
第二确定单元630,用于计算指定数量的车道图像确定出的候选俯仰角的置信率和候选偏航角的置信率,将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角。
在本例中,所述装置还包括:
调整单元640(图中未示出),用于基于确定出的实际的俯仰角和实际的偏航角对所述摄像机进行姿态调整。
在本例中,所述第一确定单元610,进一步用于:
获取车载传感器的测量参数,基于所述测量参数确定当前路况是否满足预设的车道线检测规则;
若是,确定当前车道图像中的车道线参数与前一帧车道图像中的车道线参数的差异是否小于预设比值阈值;
若是,从当前车道图像中确定车道线的消失点在图像坐标系中的坐标位置。
在本例中,所述摄像参数包括所述车道图像的图像中心在图像坐标系中的坐标位置、摄像机的焦距和所述车道图像的单位像素大小;
所述计算单元620,进一步用于:
基于如下第一公式计算所述摄像机的候选俯仰角β:
Figure BDA0001788498420000131
其中,u1为所述消失点的横坐标,u0为所述车道图像的图像中心的横坐标,dx为所述车道图像在横坐标方向上的单位像素大小,f为摄像机的焦距;
基于如下第二公式计算所述摄像机的候选偏航角α:
Figure BDA0001788498420000132
其中,v1为所述消失点的纵坐标,v0为所述车道图像的图像中心的纵坐标,dy为所述车道图像在纵坐标方向上的单位像素大小,f为摄像机的焦距,β为摄像机的候选俯仰角。
在本例中,所述装置还包括:
第三确定单元650(图中未示出),用于基于确定出的实际的俯仰角和实际的偏移角,确定车辆与两侧车道线的实际距离。
本申请摄像机姿态检测装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图7所示,为本申请摄像机姿态检测装置所在电子设备的一种硬件结构图,除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该摄像机姿态检测装置的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (8)

1.一种摄像机姿态的检测方法,其特征在于,包括:
获取车载传感器的测量参数,基于所述测量参数确定当前路况是否满足预设的车道线检测规则;其中,所述车道线检测规则用于指示车辆行驶在平整的直路上;
若是,确定当前车道图像中的车道线参数与前一帧车道图像中的车道线参数的差异是否小于预设比值阈值;车道线参数包括车道线在图像平面坐标系的斜率和截距;
若是,从当前车道图像中确定车道线的消失点在所述图像坐标系中的坐标位置;其中,所述消失点为两条车道线的交点;
基于所述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角;
计算指定数量的车道图像确定出的候选俯仰角的置信率和候选偏航角的置信率,将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于确定出的实际的俯仰角和实际的偏航角对所述摄像机进行姿态调整。
3.根据权利要求1所述的方法,其特征在于,
所述基于所述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角,包括:
基于如下第一公式计算所述摄像机的候选俯仰角β:
Figure FDA0003554034590000011
其中,v1为所述消失点的纵坐标,v0为所述车道图像的图像中心的纵坐标,dy为所述车道图像在纵坐标方向上的单位像素大小,f为摄像机的焦距;
基于如下第二公式计算所述摄像机的候选偏航角α:
Figure FDA0003554034590000021
其中,u1为所述消失点的横坐标,u0为所述车道图像的图像中心的横坐标,dx为所述车道图像在横坐标方向上的单位像素大小。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于确定出的实际的俯仰角和实际的偏移角,确定车辆与两侧车道线的实际距离。
5.一种摄像机姿态的检测装置,其特征在于,包括:
第一确定单元,用于获取车载传感器的测量参数,基于所述测量参数确定当前路况是否满足预设的车道线检测规则;其中,所述车道线检测规则用于指示车辆行驶在平整的直路上;若是,确定当前车道图像中的车道线参数与前一帧车道图像中的车道线参数的差异是否小于预设比值阈值;车道线参数包括车道线在图像平面坐标系的斜率和截距;若是,从当前车道图像中确定车道线的消失点在图像坐标系中的坐标位置;其中,所述消失点为两条车道线的交点;
计算单元,用于基于所述消失点的坐标位置和预设的摄像参数确定出摄像机的候选俯仰角和候选偏航角;
第二确定单元,用于计算指定数量的车道图像确定出的候选俯仰角的置信率和候选偏航角的置信率,将置信率最大的候选俯仰角确定为摄像机实际的俯仰角,将置信率最大的候选偏航角确定为摄像机实际的偏航角。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
调整单元,用于基于确定出的实际的俯仰角和实际的偏航角对所述摄像机进行姿态调整。
7.根据权利要求5所述的装置,其特征在于,所述摄像参数包括所述车道图像的图像中心在图像坐标系中的坐标位置、摄像机的焦距和所述车道图像的单位像素大小;
所述计算单元,进一步用于:
基于如下第一公式计算所述摄像机的候选俯仰角β:
Figure FDA0003554034590000031
其中,v1为所述消失点的纵坐标,v0为所述车道图像的图像中心的纵坐标,dy为所述车道图像在纵坐标方向上的单位像素大小,f为摄像机的焦距;
基于如下第二公式计算所述摄像机的候选偏航角α:
Figure FDA0003554034590000032
其中,u1为所述消失点的横坐标,u0为所述车道图像的图像中心的横坐标,dx为所述车道图像在横坐标方向上的单位像素大小。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:
第三确定单元,用于基于确定出的实际的俯仰角和实际的偏移角,确定车辆与两侧车道线的实际距离。
CN201811025833.8A 2018-09-04 2018-09-04 一种摄像机姿态的检测方法及装置 Active CN109345593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811025833.8A CN109345593B (zh) 2018-09-04 2018-09-04 一种摄像机姿态的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811025833.8A CN109345593B (zh) 2018-09-04 2018-09-04 一种摄像机姿态的检测方法及装置

Publications (2)

Publication Number Publication Date
CN109345593A CN109345593A (zh) 2019-02-15
CN109345593B true CN109345593B (zh) 2022-04-26

Family

ID=65293770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811025833.8A Active CN109345593B (zh) 2018-09-04 2018-09-04 一种摄像机姿态的检测方法及装置

Country Status (1)

Country Link
CN (1) CN109345593B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363819B (zh) * 2019-06-25 2023-03-03 华为技术有限公司 智能汽车中图像采集设备标定的方法和相关设备
CN112184822B (zh) * 2019-07-01 2024-01-30 北京地平线机器人技术研发有限公司 相机俯仰角的调整方法和装置、存储介质、电子设备
CN112308923A (zh) * 2019-07-25 2021-02-02 北京地平线机器人技术研发有限公司 基于车道线的相机位姿调整方法和装置、存储介质、设备
CN110718068B (zh) * 2019-09-27 2020-12-08 华中科技大学 一种道路监控摄像机安装角度估计方法
CN112866629B (zh) * 2019-11-27 2024-06-21 大富科技(安徽)股份有限公司 双目视觉应用的控制方法以及终端
CN113515973A (zh) * 2020-04-09 2021-10-19 北京地平线机器人技术研发有限公司 数据获取方法、训练方法、调整方法以及装置
CN111739105B (zh) * 2020-08-07 2020-11-20 北京理工大学 一种直播机位摄像方案自动学习方法
CN113490967A (zh) * 2020-09-22 2021-10-08 深圳市锐明技术股份有限公司 一种相机的标定方法、标定装置及电子设备
WO2022204953A1 (zh) * 2021-03-30 2022-10-06 深圳市锐明技术股份有限公司 确定俯仰角的方法、装置及终端设备
CN112837352B (zh) * 2021-04-20 2021-11-02 腾讯科技(深圳)有限公司 基于图像的数据处理方法、装置及设备、汽车、存储介质
CN114782549B (zh) * 2022-04-22 2023-11-24 南京新远见智能科技有限公司 基于定点标识的相机标定方法及***
CN115164823B (zh) * 2022-05-16 2024-04-02 上海芯翌智能科技有限公司 一种摄像机陀螺仪信息的获取方法及设备
CN115103123A (zh) * 2022-07-07 2022-09-23 上海智能交通有限公司 基于车道线识别的车载云台相机自动布控方法及***
CN116309814B (zh) * 2022-11-29 2024-03-08 北京斯年智驾科技有限公司 车辆位姿确定方法、装置、计算设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324017A (zh) * 2011-06-09 2012-01-18 中国人民解放军国防科学技术大学 一种基于fpga的车道线检测方法
CN103903435A (zh) * 2012-12-30 2014-07-02 王方淇 一种路况信息获取方法及移动终端
CN105320934A (zh) * 2014-07-11 2016-02-10 株式会社电装 车道边界线识别设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024139A (zh) * 2009-09-18 2011-04-20 富士通株式会社 字符串识别装置和方法
CN104008645B (zh) * 2014-06-12 2015-12-09 湖南大学 一种适用于城市道路车道线预测及预警方法
CN105447892B (zh) * 2015-11-05 2018-04-17 奇瑞汽车股份有限公司 车辆偏航角的确定方法及装置
CN108450058B (zh) * 2015-12-28 2022-07-26 英特尔公司 实时自动车载相机校准
CN105740809B (zh) * 2016-01-28 2019-03-12 东南大学 一种基于机载摄像机的高速公路车道线检测方法
CN106875448B (zh) * 2017-02-16 2019-07-23 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN108052908A (zh) * 2017-12-15 2018-05-18 郑州日产汽车有限公司 车道保持方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324017A (zh) * 2011-06-09 2012-01-18 中国人民解放军国防科学技术大学 一种基于fpga的车道线检测方法
CN103903435A (zh) * 2012-12-30 2014-07-02 王方淇 一种路况信息获取方法及移动终端
CN105320934A (zh) * 2014-07-11 2016-02-10 株式会社电装 车道边界线识别设备

Also Published As

Publication number Publication date
CN109345593A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109345593B (zh) 一种摄像机姿态的检测方法及装置
US11210534B2 (en) Method for position detection, device, and storage medium
CN108885791B (zh) 地面检测方法、相关装置及计算机可读存储介质
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN110163912B (zh) 二维码位姿标定方法、装置及***
US20190378296A1 (en) Method and device for positioning
EP2399239B1 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
WO2022078074A1 (zh) 车辆与车道线的位置关系检测方法、***和存储介质
US20210181747A1 (en) Robert climbing control method and robot
JP5105481B2 (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
CN111508272B (zh) 提供基于照相机的鲁棒物体距离预测的方法及装置
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN112017236A (zh) 一种基于单目相机计算目标物位置的方法及装置
CN108376384B (zh) 视差图的矫正方法、装置及存储介质
US20020196423A1 (en) Range finder for finding range by image realization
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
CN117745845A (zh) 一种外参信息确定方法、装置、设备和存储介质
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
JP3319383B2 (ja) 走行路認識装置
CN109600598B (zh) 影像处理方法、影像处理装置及电脑可读取记录媒体
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
CN113011212B (zh) 图像识别方法、装置及车辆
CN114299466A (zh) 基于单目相机的车辆姿态确定方法、装置和电子设备
CN110836656B (zh) 用于单目adas的防抖测距方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant