CN109086650A - 校准方法和校准设备 - Google Patents

校准方法和校准设备 Download PDF

Info

Publication number
CN109086650A
CN109086650A CN201810562496.XA CN201810562496A CN109086650A CN 109086650 A CN109086650 A CN 109086650A CN 201810562496 A CN201810562496 A CN 201810562496A CN 109086650 A CN109086650 A CN 109086650A
Authority
CN
China
Prior art keywords
camera
lane
angle
effective
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810562496.XA
Other languages
English (en)
Other versions
CN109086650B (zh
Inventor
金训珉
郑栋旭
李圣柱
崔敬泽
徐在逵
郑昊基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Jiaotong University School-Industry-University Cooperation Group
Hyundai Mobis Co Ltd
Original Assignee
Korea Jiaotong University School-Industry-University Cooperation Group
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170074556A external-priority patent/KR102325690B1/ko
Priority claimed from KR1020170132250A external-priority patent/KR102022402B1/ko
Application filed by Korea Jiaotong University School-Industry-University Cooperation Group, Hyundai Mobis Co Ltd filed Critical Korea Jiaotong University School-Industry-University Cooperation Group
Publication of CN109086650A publication Critical patent/CN109086650A/zh
Application granted granted Critical
Publication of CN109086650B publication Critical patent/CN109086650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了校准方法和校准设备。该校准方法和可包括：当车辆的行为满足预设行为条件时，由车道检测单元从通过车辆的摄像头获得的周围图像中检测车道；由有效车道提取单元分析所检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道；并且由参数估计单元基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。

Description

校准方法和校准设备
对相关申请的引用
本申请要求于2017年10月12日提交的韩国申请号10-2017-0132250的优先权，其整体通过引用的方式结合于此。
技术领域
本发明涉及一种校准方法和校准设备，更特别地，涉及一种能够基于车道估计安装在车辆上的摄像头的安装角度的校准方法和校准设备。
背景技术
环视监控(AVM)***指的是一种将从车辆的前摄像头、后摄像头、左摄像头和右摄像头获得的周围图像组合成一个图像并提供该图像使得驾驶员可识别周围情况的***。已经使AVM***扩展为一种用于通过对驾驶员提供方便来辅助驾驶员的驾驶支持***。例如，AVM***在停车期间可提供车辆的盲点图像或者车辆的后视图像。
为了将从多个安装在车辆中的摄像头获得的图像组合成一个图像，必须提供摄像头的内部参数和外部参数。内部参数可包括光学中心和焦距，而外部参数可包括安装位置和安装角度。由于内部参数是恒定的，所以可将通过校准获得的值连续用作内部参数。然而，由于可通过外部冲击容易地改变外部参数，所以需要连续地校准外部参数。在外部参数中，由于安装夹具的原因而不会明显地改变安装位置，即使更换摄像头。然而，安装角度对干扰的影响是敏感的，并且安装角度的误差可能导致无法组合从相应摄像头获得的图像的问题。
在相关技术中，熟练工人已经在校准地点使用单独的装置在摄像头上执行校准，该校准地点具有在地上画的特定校准图案。这种方法可提供精确的结果，因为工人可提前精确地知道校准图案上的特定标记的相对位置。然而，该方法具有空间限制，因为需要具有预定面积或者更大面积的空间。例如，该空间可安装在工厂中，从工厂运输车辆。而且，由于该方法由熟练工人使用单独的装置执行，所以不可避免地消耗驾驶员的时间和成本。因此，需要一种能够改进校准操作的方便性的***。
在2011年5月25日公布的韩国专利申请No.10-2011-0055421中公开了相关技术。
发明内容
本发明的实施例涉及这样的校准方法和校准设备：其能够去除传统校准操作的不方便性(该传统校准操作是熟练工人已经通过外部设备在之上绘制有特定校准图案的校准地点中来执行的)，从而改善了校准操作的实用性和方便性。
在一个实施例中，一种校准方法可包括：当车辆的行为满足预设行为条件时，由车道检测单元从通过车辆的摄像头获得的周围图像中检测车道；由有效车道提取单元分析所检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道；并且由参数估计单元基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。
行为条件可包括车速条件和转向角条件中的一个或多个，车速条件是车速等于或大于预设车速，转向角条件是转向角等于或大于预设转向角。
检测车道可包括：由车道检测单元基于从周围图像提取的边缘分量(edgecomponents)检测直线；并且由车道检测单元通过在所检测到的直线中确定预设车道检测区域中存在的直线的车道拟合(lane fits)来检测车道。
检测直线可包括：由车道检测单元计算从周围图像产生的鸟瞰图中的梯度(gradients)，并基于所计算的梯度的方向和量值(magnitudes，大小)提取边缘分量；并且由车道检测单元在所提取的边缘分量中检测一个或多个直线对，每个直线对包括用于在像素值的增加方向上具有梯度的边缘分量的直线和用于在像素值的减小方向上具有梯度的边缘分量的直线。
在通过确定车道拟合来检测车道时，车道检测单元可确定，当满足一个或多个以下条件时满足车道拟合，这些条件是：交叉条件，包含在直线对中的两条直线彼此不交叉；车道厚度条件，包含在直线对中的两条直线之间的最小距离和最大距离落在预设车道厚度变化范围内；以及重叠比条件，当将包含在直线对中的两条直线投射在鸟瞰图上的参考轴上时这两条直线的重叠比等于或大于预设比。
有效车道的提取可包括：由有效车道提取单元将所检测到的车道的位置投射在通过周围图像产生的鸟瞰图上的参考轴上，通过累积预定数量的帧或者更多帧产生柱状图，将离根据所产生的柱状图决定的参考车道位置预设距离或者更远距离的车道确定为误测车道，并移除误测车道；并且由有效车道提取单元使用通过所检测到的车道估计的消失点来计算摄像头的安装角度，通过基于所计算的安装角度校准所检测到的车道的角度误差来决定所计算的车道，基于所决定的校准车道与鸟瞰图上的参考轴之间的平行度来决定误测车道，并移除误测车道。
摄像头可包括前摄像头、后摄像头、左摄像头和右摄像头，并且安装角度可包括俯仰角、偏航角和翻滚角。在摄像头的安装角度的估计中，参数估计单元可估计12个安装角度，包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。
摄像头的安装角度的估计可包括：由参数估计单元基于前/后有效车道的方向和通过前/后有效车道决定的消失点来估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角，其中，前/后有效车道是通过前摄像头和后摄像头的周围图像产生的鸟瞰图上的有效车道；由参数估计单元基于左/右有效车道的方向和通过左/右有效车道决定的消失点来估计左摄像头和右摄像头的偏航角和翻滚角，其中，左/右有效车道是通过左摄像头和右摄像头的周围图像产生的鸟瞰图上的有效车道；并且由参数估计单元将前/后有效车道和左/右有效车道投射在公共坐标系上，并估计左摄像头和右摄像头的俯仰角以使得相同车道彼此匹配。
前摄像头和后摄像头的俯仰角、偏航角和翻滚角的估计可包括：由参数估计单元将前/后有效车道转换成校准其透镜变形的坐标系上的校准直线；由参数估计单元基于通过校准直线决定的消失点与预设第一参考消失点之间的关系来估计前摄像头和后摄像头的俯仰角和偏航角；由参数估计单元使用前摄像头和后摄像头的初始估计的俯仰角和偏航角作为初始值，通过Levenberg-Marquardt(LM)在预设角度范围内重新估计前摄像头和后摄像头的俯仰角和偏航角；并且由参数估计单元初始估计前摄像头和后摄像头的翻滚角，以使得根据前摄像头和后摄像头的重新估计的俯仰角和偏航角进行校准的、在鸟瞰图中的前/后有效车道中所包含的左车道和右车道的宽度之间的差最小化。
在通过LM重新估计前摄像头和后摄像头的俯仰角和偏航角中，参数估计单元可使用通过LM在重新估计处理期间计算的前摄像头和后摄像头的旋转矩阵，将校准直线转换成鸟瞰图上的前/后有效车道，并重新估计前摄像头和后摄像头的俯仰角和偏航角，以使得前/后有效车道与鸟瞰图上的第一方向参考轴平行，且彼此平行。
前摄像头和后摄像头的俯仰角、偏航角和翻滚角的估计可进一步包括：当检测到预设数量或者更多的与车辆的行驶方向不平行的车道时，由参数估计单元从与车辆的行驶方向不平行的车道提取停车线，并基于两条包含在所提取的停车线中的直线之间的平行度，通过LM在预设角度范围内重新估计前摄像头和后摄像头的初始估计的翻滚角。
左摄像头和右摄像头的偏航角和翻滚角的估计可包括：由参数估计单元将左/右有效车道转换成校准其透镜变形的坐标系上的校准直线；由参数估计单元基于通过校准直线决定的消失点与预设第二参考消失点之间的关系来初始估计左摄像头和右摄像头的偏航角和翻滚角；并且由参数估计单元使用左摄像头和右摄像头的初始估计的偏航角和翻滚角作为初始值，通过LM在预设角度范围内重新估计左摄像头和右摄像头的偏航角和翻滚角。
校准方法可进一步包括：由参数估计单元通过LM精确地估计12个安装角度，这12个安装角度包括对前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角。
校准方法可进一步包括：由参数选择单元累积12个安装角度作为12维向量，这12个安装角度包括对前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角，并且当所累积的12维向量的数量等于或大于预设值时，在所累积的12维向量中选择具有最小平均欧氏距离(Euclidean distance)的向量，作为前摄像头、后摄像头、左摄像头和右摄像头的最终安装角度。
在另一实施例中，一种校准设备可包括：车道检测单元，其配置为当车辆的行为满足预设行为条件时，从通过车辆的摄像头获得的周围图像中检测车道；有效车道提取单元，其配置为分析所检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道；以及参数估计单元，其配置为基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。
附图说明
图1是示出了根据本发明的一个实施例的校准设备的框图。
图2A至图2D是在根据本发明的实施例的校准设备中当前摄像头、后摄像头、左摄像头和右摄像头具有5°的误差时的鸟瞰图。
图3A至图3D示出了根据本发明的实施例的校准设备中的前摄像头、后摄像头、左摄像头和右摄像头的鸟瞰图中的感兴趣区域(ROI)的车道检测区域。
图4A和图4B示出了通过在根据本发明的实施例的校准设备中使用中值滤波器在鸟瞰图图像上执行图像预处理操作来获得的结果。
图5A和图5B示出了按照根据本发明的实施例的校准设备中的重叠比条件来确定车道拟合的过程。
图6A和图6B是在根据本发明的实施例的校准设备中校准前摄像头和后摄像头的俯仰角和偏航角之前和之后的鸟瞰图。
图7A和图7B示出了在根据本发明的实施例的校准设备中提取停车线的过程。
图8示出了在根据本发明的实施例的校准设备中估计左摄像头和右摄像头的俯仰角的过程。
图9是示出了根据本发明的一个实施例的校准方法的流程图。
图10是示出了根据本发明的实施例的校准方法中的车道检测单元检测车道的过程的流程图。
图11是示出了根据本发明的实施例的校准方法中的有效车道提取单元提取有效车道的过程的流程图。
图12是示出了根据本发明的实施例的校准方法中的参数估计单元估计摄像头的安装角度的过程的流程图。
图13是示出了根据本发明的实施例的校准方法中的参数估计单元估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的过程的流程图。
图14是示出了根据本发明的实施例的校准方法中的参数估计单元估计左摄像头和右摄像头的偏航角和翻滚角的过程的流程图。
具体实施方式
在下文中将参考附图详细地描述本发明的实施例。应注意，这些图并不是精确地按比例绘制的，并且仅为了描述方便和清楚起见而可在线的厚度或者部件的尺寸上放大。而且，通过考虑本发明的功能来定义如这里使用的术语，并可根据用户或者操作员的习惯或者意图来改变这些术语。因此，应根据这里阐述的全部公开内容来定义术语。
首先，将描述根据本发明的一个实施例的校准设备的操作。
在本实施例中，当车辆在道路上行驶时，车道检测单元可实时地从多个通过前摄像头、后摄像头、左摄像头和右摄像头获得的图像检测车道，车道包括道路标线和停车线。可将所检测到的车道储存在队列型数据结构中。当所储存的车道的数量等于或大于预定值时，可由有效车道提取单元移除误测车道。也就是说，当车辆沿着道路标线行驶时，车道的位置和方向在预定时间内可能不会明显变化。因此，有效车道提取单元可通过分析所检测到的车道的位置和方向的统计特征来移除误测车道，从而提取有效车道。参数估计单元可基于有效车道的方向和由有效车道决定的消失点来估计12个摄像头安装角度，包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。然后，参数选择单元可累积12个摄像头安装角度，作为12维向量，在这些12维向量中选择最佳的12维向量，并将所选择的向量设置为最终的摄像头安装角度。
在下文中，基于上述构造，将详细地描述根据本发明的实施例的校准设备。
图1是示出了根据本发明的一个实施例的校准设备的框图，图2A至图2D是在根据本发明的实施例的校准设备中当前摄像头、后摄像头、左摄像头和右摄像头具有5°的误差时的鸟瞰图，图3A至图3D示出了根据本发明的实施例的校准设备中的前摄像头、后摄像头、左摄像头和右摄像头的鸟瞰图中的感兴趣区域(ROI)的车道检测区域，图4A和图4B示出了通过在根据本发明的实施例的校准设备中使用中值滤波器在鸟瞰图图像上执行图像预处理操作来获得的结果，图5A和图5B示出了按照根据本发明的实施例的校准设备中的重叠比条件来确定车道拟合的过程，图6A和图6B是在根据本发明的实施例的校准设备中校准前摄像头和后摄像头的俯仰角和偏航角之前和之后的鸟瞰图，图7A和图7B示出了在根据本发明的实施例的校准设备中提取停车线的过程，并且图8示出了在根据本发明的实施例的校准设备中估计左摄像头和右摄像头的俯仰角的过程。
参考图1，根据本发明的实施例的校准设备可包括车道检测单元100、有效车道提取单元200、参数估计单元300和参数选择单元400。
当车辆的行为满足预设行为条件时，车道检测单元100可从从车辆的摄像头获得的周围图像中检测车道。行为条件可包括一个或多个用于判断车速是否等于或者大于预设车速的车速条件和用于判断转向角是否等于或者小于预设转向角的转向角条件。
具体地，在本实施例中，可基于通过车道检测单元100检测的车道校准摄像头。因此，由于车道检测的精度与摄像头的校准精度直接连接，所以精确地检测车道是重要的。当使车辆停止一段时间时，车道检测单元100可仅检测相同车道，这使得校准结果可能有缺陷。此时，当误测车道时，即使如后面描述的分析车道的位置和方向的统计特征，也无法移除误测车道。在此情况中，校准误差可进一步增加。因此，当满足车速条件或者车速等于或大于预设车速时，车道检测单元100可确定车辆正在行驶，然后检测车道。
当车辆调头时，车道检测单元100无法精确地检测车道。因此，当满足转向角条件或者转向角等于或大于预设转向角时，车道检测单元100可检测车道。
在本实施例中，车道检测单元100可检测道路标线和停车线。当在预定时间(例如，3秒)内都满足车速条件和转向角条件时，可表示车辆正在沿着车道行驶。因此，车道检测单元100可检测道路标线。当满足转向角条件但是不满足车速条件时，车道检测单元100可能不检测道路标线，而是仅检测停车线，以防止校准期间的偏转。
当车辆的行为满足行为条件时，车道检测单元100可从从车辆的摄像头获得的周围图像中检测车道。可在受透视变形和透镜变形(诸如径向变形)影响较小的鸟瞰图执行车道检测，并且可使用低分辨率图像(例如，300*125)来进行高速处理。图2A至图2D是当前摄像头、后摄像头、左摄像头和右摄像头的安装角度具有5°的误差时的鸟瞰图。在下文中，将详细地描述车道检测单元100检测车道的过程。
首先，可提前在车道检测单元100中设置感兴趣区域(ROI)，ROI包括车道检测区域、车道角度变化范围和车道厚度变化范围。
具体地，当车辆沿着道路行驶时，道路标线可与从前摄像头和后摄像头的周围图像产生的鸟瞰图中的y轴平行，并与从左摄像头和右摄像头的周围图像产生的鸟瞰图中的x轴平行。因此，当提前提供每个摄像头的安装角度误差范围(例如，-5°到+5°)时，可通过预定模拟来获得安装角度误差的情况中的车道可存在于鸟瞰图中的区域、鸟瞰图中的车道的角度变化范围、以及鸟瞰图中的车道的厚度变化范围，并且可提前在车道检测单元100中设置通过模拟获得的ROI。如后面描述的，车道检测单元100可基于ROI的车道检测区域来检测车道，当提取边缘分量时，必须利用车道角度变化范围，并且当确定车道拟合时，必须利用车道厚度变化范围。可将车道检测区域分成左车道检测区域、右车道检测区域和停车线检测区域，并且图3A至图3D示出了前摄像头、后摄像头、左摄像头和右摄像头的鸟瞰图中的车道检测区域。
基于上述ROI，车道检测单元100可使用从摄像头的周围图像提取的边缘分量来检测直线，并在所检测到的直线中确定ROI的车道检测区域中存在的直线的车道拟合，从而检测车道。
首先，将详细地描述车道检测单元100基于边缘分量检测直线的过程。
车道检测单元100可使用相应摄像头的初始安装角度，产生用于将从摄像头获得的周围图像转换成鸟瞰图的查找表，并且使用查找表产生鸟瞰图。车道检测单元100可计算所产生的鸟瞰图中的梯度，并基于所计算的梯度的方向和量值来提取边缘分量。
具体地，车道检测单元100可提取鸟瞰图的参考轴(x轴或者y轴)和在鸟瞰图中计算的梯度的方向之间的角度落在ROI的车道角度变化范围内的点，并且梯度的量值等于或大于预设阈值75，例如，作为边缘分量。在道路标线的情况中，可将参考轴(其是与梯度方向的比较对象)设置为前摄像头和后摄像头的鸟瞰图中的y轴，或者左摄像头和右摄像头的鸟瞰图中的x轴。在停车线的情况中，可将参考轴设置为前摄像头和后摄像头的鸟瞰图中的x轴。
此时，为了在移除诸如错误边缘分量的噪声的同时保留可用的边缘分量，在梯度的计算之前，车道检测单元100可通过中值滤波器(例如，3*3大小)执行图像预处理。因此，如图4A和图4B中示出的，车道检测单元100可将错误边缘分量最小化，从而在减小计算量的同时改进车道检测精度。
在提取边缘分量之后，车道检测单元100可检测一个或多个直线对，每个直线对包括用于在像素值的增加方向上具有梯度的边缘分量的直线和用于在像素值的减小方向上具有梯度的边缘分量的直线。直线对可指示一对两条包含在一个车道中的直线，如图2中示出的。也就是说，道路标线可包括一对左直线和右直线，停车线可包括一对上直线和下直线。可通过随机样本一致性(RANSAC)算法来检测用于边缘分量的线。当执行RANSAC算法时，车道检测单元100可仅检测这样的线，每条线具有其数量等于或大于预设值的内围层。
在车辆的左侧，可存在双车道(例如，中心线)。因此，车道检测单元100可通过上述过程检测ROI的左车道检测区域中的直线对，通过RANSAN算法检测附加直线对，并且选择最接近车辆的直线对。在遵循左侧通行的道路运输***中，车道检测单元100可在右车道检测区域上执行上述过程。
接下来，将详细地描述从所检测到的直线检测车道的过程。
车道检测单元100可在通过上述过程检测的直线中决定ROI的车道检测区域中存在的直线，并确定所决定的直线的车道拟合，以检测车道。车道拟合可包括交叉条件、车道厚度条件和重叠比条件中的一个或多个。
具体地，由于两条包含在上述直线对中的直线是一对两条包含在一个车道中的直线，所以两条直线不会彼此交叉。因此，车道检测单元100可判断是满***叉条件，还是两条直线不彼此交叉。而且，车道检测单元100可判断是满足车道厚度条件，还是包含在直线对中的两条直线之间的最小距离和最大距离落在ROI的车道厚度变化范围内。而且，当将两条直线投射在鸟瞰图的参考轴(x轴或者y轴)上时，车道检测单元100可判断是满足重叠比条件，还是包含在直线对中的两条直线的重叠比等于或大于预设比。在本实施例中，当将两条直线投射在鸟瞰图的参考轴上时，重叠比可指示两条直线彼此重叠多少。
将如下更详细地描述重叠比。当从相同车道检测不到两条直线时，如图5A和图5B中示出的，当将用来检测直线的在像素值的增加方向上具有梯度的边缘分量和在像素值的减小方向上具有梯度的边缘分量投射在参考轴上时，重叠比可减小。在道路标线的情况中，可将参考轴设置为前摄像头和后摄像头的鸟瞰图中的y轴，及左摄像头和右摄像头的鸟瞰图中的x轴。而且，在停车线的情况中，可将参考轴设置为前摄像头和后摄像头的鸟瞰图中的x轴。换句话说，当两条直线包含在相同车道中时，重叠比高。因此，当重叠比等于或大于预设比时，车道检测单元100可确定这两条直线包含在相同车道中，并检测车道。可根据以下方程式1计算重叠比。
[方程式1]
在方程式1中，Or代表重叠比，A代表投射在参考轴上并在像素值的增加方向上具有梯度的边缘分量的组，并且B代表投射在参考轴上并在像素值的减小方向上具有梯度的边缘分量的组。而且，Mc代表用于边缘分量投射于其上的参考轴的一维闭合形态算子。当使用重叠比确定车道拟合时，从阴影检测直线，或者可有效地排除另一车辆，如图5A和图5B中示出的。
车道检测单元100可检测车道，可判断是否满***叉条件、车道厚度条件和重叠比条件中的一个或多个。然而，为了更精确地检测车道，车道检测单元100可将直线检测为车道，直线满足所有三个条件。
当由车道检测单元100检测车道时，有效车道提取单元200可分析所检测到的车道的位置和方向的统计特征，并移除误测车道，从而提取有效车道。
具体地，由于在由车道检测单元100检测到的车道中不可避免地存在误测车道，所以需要移除误测车道。在如上所述的车辆沿着道路行驶的环境中，可限制由车道检测单元100检测到的车道的位置和方向的变化。而且，当大多数检测到的车道是行驶道路的车道时，车道的位置和方向特征可形成一个组。因此，有效车道提取单元200可分析车道的位置和方向的统计特征，并从该组移除误差，即，误测车道。
为了此操作，有效车道提取单元200可将由车道检测单元100检测到的车道的位置投射在鸟瞰图的参考轴上，通过累积预定数量的帧或者更多帧来产生柱状图，并将车道确定为误测车道，该车道离根据所产生的柱状图决定的参考车道位置预设距离或者更远。然后，有效车道提取单元200可移除误测车道。也就是说，车道检测单元100可分析车道位置的统计特征，以移除误测车道。
具体地，在从前摄像头和后摄像头的图像获得的道路标线的情况中，可限制鸟瞰图上的特定位置(例如，鸟瞰图的底部)处的x轴位置(x坐标)的变化。因此，车道检测单元100可将道路标线的x轴位置投射在y轴上，通过累积预定数量的帧或者更多帧来产生柱状图，基于所产生的柱状图决定参考车道位置，将离参考车道位置预设距离或者更远的道路标线确定为误测车道，并移除误测车道。
类似地，在从左摄像头和右摄像头的图像获得的道路标线的情况中，可限制鸟瞰图上的特定位置(例如，鸟瞰图的中心)处的y轴位置(y坐标)的变化。因此，车道检测单元100可将道路标线的y轴位置投射在x轴上，通过累积预定数量的帧或者更多帧来产生柱状图，基于所产生的柱状图决定参考车道位置，将离参考车道位置预设距离或者更远的道路标线确定为误测车道，并移除误测车道。
当所产生的柱状图是单峰柱状图时，参考车道位置可由峰值决定。当所产生的柱状图是多峰柱状图时，参考车道位置可由最接近车辆的模式决定。
然后，有效车道提取单元200可使用通过检测到的车道估计的消失点计算摄像头的安装角度，通过基于所计算的安装角度校准检测到的车道的角度误差来决定校准车道，基于所决定的校准车道和鸟瞰图上的参考轴之间的平行度来决定误测车道，并移除误测车道。也就是说，有效车道提取单元200可分析车道方向的统计特征，以移除误测车道。
具体地，在前摄像头和后摄像头的情况中，有效车道提取单元200可使用一对由车道检测单元100检测到的左车道和右车道来计算消失点，将消失点的位置累积为柱状图，并使用属于最大数据集(bin，接收器)的消失点的平均值来估计最终消失点。有效车道提取单元200可使用所估计的最终消失点计算前摄像头和后摄像头的俯仰角和偏航角，并通过基于所计算的安装角度(即，俯仰角和偏航角)校准由车道检测单元100检测到的车道的角度误差来决定校准车道。由于用于使用消失点计算俯仰角和偏航角的方法在相同的技术领域中是公知的，所以这里省略其详细描述。由于所决定的校准车道需要与鸟瞰图中的y轴平行，所以有效车道提取单元200可基于校准车道和鸟瞰图上的参考轴(y轴)之间的平行度来决定误测车道，并移除误测车道。可将校准车道和参考轴(y轴)之间的平行度计算为鸟瞰图上的校准车道的两个端点的x坐标之间的差的绝对值。当计算值等于或大于阈值时，有效车道提取单元200可将对应车道确定为误测车道，并移除误测车道。
由于左摄像头和右摄像头获得比前摄像头和后摄像头更小量的数据，所以有效车道提取单元200可对多个帧中的特定帧采样，并使用两条从对应帧检测的直线估计消失点。有效车道提取单元200可使用所估计的消失点计算左摄像头和右摄像头的偏航角和翻滚角，并通过基于所计算的安装角度(即，偏航角和翻滚角)校准检测到的车道的角度误差来决定校准车道。由于所决定的校准车道需要与鸟瞰图中的x轴平行，所以有效车道提取单元200可基于校准车道和鸟瞰图上的参考轴(x轴)之间的平行度来决定误测车道，并移除误测车道。可将校准车道和参考轴(x轴)之间的平行度计算为鸟瞰图上的校准车道的两个端点的y坐标之间的差的绝对值。当计算值等于或大于阈值时，有效车道提取单元200可将对应车道确定为误测车道，并移除误测车道。
当有效车道提取单元200通过移除误测车道来提取有效车道时，参数估计单元300可基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。此时，参数估计单元300可估计12个安装角度，包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。
为了便于描述，可清楚地定义术语。
可将前/后有效车道定义为从前摄像头和后摄像头的周围图像产生的鸟瞰图上的有效车道，并且可将左/右有效车道定义为从左摄像头和右摄像头的周围图像产生的鸟瞰图上的有效车道。
仅当由有效车道提取单元200提取的有效车道的数量等于或大于估计摄像头的安装角度之前的预设值时，参数估计单元300可估计摄像头的安装角度，从而保证安装角度估计的可靠性。而且，仅当在相同时间点检测的前/后有效车道和左/右有效车道的数量等于或大于预设值时，参数估计单元300可估计摄像头的安装角度，从而保证估计左摄像头和右摄像头的俯仰角的操作的可靠性。
可将参数估计单元300估计摄像头的安装角度的过程分成估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的过程，估计左摄像头和右摄像头的偏航角和翻滚角的过程，以及估计左摄像头和右摄像头的俯仰角的过程。
首先，将详细地描述参数估计单元300估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的过程。
参数估计单元300可基于前/后有效车道的方向和通过前/后有效车道决定的消失点来估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角。
具体地，参数估计单元300可将前/后有效车道转换成校准其透镜变形的坐标系上的校准直线。透镜变形可包括鱼眼透镜的径向变形。可根据以下方程式2将前/后有效车道转换成校准直线。
[方程式2]
Luv＝(Kb×Ro×K-1)-T×Lbv
在方程式2中，Luv代表校准其透镜变形的坐标系上的校准直线，Kb代表鸟瞰图的内部参数矩阵，R0代表由前摄像头和后摄像头的初始安装角度形成的摄像头旋转矩阵，K代表校准其透镜变形的图像的内部参数矩阵，而Lbv代表前/后有效车道(即，包含在前/后有效车道中的直线)。
当校准其透镜变形的坐标系上的校准直线Luv＝[Luv1,Luv2,...,LuvN]被决定时，参数估计单元300可基于校准直线的消失点和预设第一参考消失点之间的关系来初始地估计前摄像头和后摄像头的俯仰角和偏航角。
也就是说，由于校准直线的消失点与车辆的行驶方向平行的车道相遇，所以消失点需要定位在鸟瞰图中的坐标[0,1,0]处。因此，参数估计单元300可根据方程式3和4计算用于将校准直线的消失点转换成第一参考消失点的旋转矩阵，以初始地估计前摄像头和后摄像头的俯仰角和偏航角。
[方程式3]
[方程式4]
在方程式3和4中，V1'代表校准直线的消失点，θ代表两条直线之间的角度，这两条直线分别使原点[0,0,0]连接到校准直线的消失点和第一参考消失点[0,1,0]，而u代表与这两条直线垂直的向量(旋转轴)，而R代表旋转矩阵。由于翻滚角与校准直线的消失点无关，所以初始地可通过方程式3和4估计前摄像头和后摄像头的俯仰角和偏航角。由于用于通过方程式3和4计算俯仰角和偏航角的方法是公知的，所以这里省略其详细描述。
当初始地估计前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可使用初始估计的前摄像头和后摄像头的俯仰角和偏航角作为初始值，通过Levenberg-Marquardt(LM)算法在预设角度范围内重新估计前摄像头和后摄像头的俯仰角和偏航角。此时，参数估计单元300可使用前摄像头和后摄像头的旋转矩阵(通过使用LM算法的重新估计过程来计算该旋转矩阵)，将校准直线转换成鸟瞰图上的前/后有效车道，并且重新估计前摄像头和后摄像头的俯仰角和偏航角，以使得前/后有效车道与鸟瞰图上的第一方向上的参考轴(y轴)平行，且彼此平行。
具体地，参数估计单元300可使用初始估计的前摄像头和后摄像头的俯仰角和偏航角作为初始值，通过LM在预设角度范围(例如，±1°)内重新估计前摄像头和后摄像头的俯仰角和偏航角。而且，参数估计单元300可使用每当重复LM时计算的摄像头旋转矩阵，根据以下方程式5将校准直线转换成鸟瞰图上的直线，然后根据以下方程式6计算LM的成本。
[方程5]
[方程式6]
在方程式5中，Ri代表当将偏航角和翻滚角设置为初始估计值并将翻滚角设置为R0时计算的摄像头旋转矩阵，Luv代表校准直线，而Lbv'代表鸟瞰图上的转换直线。在方程式6中，xli(y)代表用于获得用于鸟瞰图中的直线li的y坐标值的x坐标的函数，而H代表鸟瞰图的竖直轴的分辨率。在方程式6中，第一项表示所转换的前/后有效车道需要与鸟瞰图上的第一方向参考轴(y轴)平行，而第二项表示所转换的前/后有效车道需要彼此平行。而且，i和j代表帧数。
当重新估计前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可初始地估计前摄像头和后摄像头的翻滚角，以使得根据前摄像头和后摄像头的重新估计的俯仰角和偏航角进行校准的、在鸟瞰图中的前/后有效车道中所包含的左车道和右车道的宽度之间的差最小化。
具体地，当校准前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可估计前/后有效车道的宽度，因为指示鸟瞰图中的道路标线的前/后有效车道与y轴平行，如图6A和图6B所示。如图6B所示，参数估计单元300可基于在鸟瞰图的高度的1/2位置处与x轴平行的测量线来估计前/后有效车道的宽度。而且，参数估计单元300可基于包含在前/后有效车道中的左车道和右车道的宽度彼此相等的假设，估计前摄像头和后摄像头的翻滚角。因此，参数估计单元300可通过LM估计前摄像头和后摄像头的翻滚角，以使得根据以下方程式7将左车道和右车道的宽度之间的差最小化。
[方程式7]
在方程式7中，WLi代表第i帧处的左车道的宽度，而WRi代表第i帧处的右车道的宽度。
在通过上述过程估计前摄像头和后摄像头的翻滚角之前，参数估计单元300可排除左车道和右车道的宽度的比例明显不同的前/后有效车道。为了此操作，参数估计单元300可将任意时间点的鸟瞰图中的左车道和右车道的宽度的比例选择为模型，并通过在不同的时间点将方程式7仅应用于左车道和右车道来估计前摄像头和后摄像头的翻滚角，其中，来自所选模型的比例差落在阈值(例如，10％)内。
估计前摄像头和后摄像头的翻滚角的上述过程不考虑停车线。然而，当在车辆行驶的同时检测到大量停车线时，参数估计单元300可通过利用检测到的停车线，更精确地估计前摄像头和后摄像头的翻滚角。也就是说，当检测到预设数量或者更多的与车辆的行驶方向不平行的车道时，参数估计单元300可从车道提取停车线，并基于两条包含在所提取的停车线中的直线之间的平行度，通过LM在预设角度范围内重新估计初始估计的前摄像头和后摄像头的翻滚角。
为了此操作，当检测到预设数量或者更多的与车辆的行驶方向(即，鸟瞰图上的y轴方向)不平行的车道时，参数估计单元300可通过移除道路标线来提取停车线，通过RANSAC算法来移除道路标线，如图7A和图7B中示出的，道路标线包含在与车辆的行驶方向不平行的车道中。图7A示出了所提取的停车线，而图7B示出了移除与车辆的行驶方向不平行的道路标线。参数估计单元300可通过使通过一条包含在所提取的停车线中的停车线决定的消失点连接到校准直线的消失点(在估计前摄像头和后摄像头的俯仰角和偏航角的过程期间决定的校准直线的消失点V1')，来产生消失线，并根据方程式8从所产生的消失线计算前摄像头和后摄像头的旋转矩阵。
[方程式8]
Re＝[r1-r1×r3r3]
在方程式8中，Re代表前摄像头和后摄像头的旋转矩阵，r1代表校准直线的消失点，在估计前摄像头和后摄像头的俯仰角和偏航角的过程期间决定该消失点，而r3代表消失线。
当计算摄像头的旋转矩阵时，参数估计单元300可根据以下方程式9将两条包含在停车线中的直线转换成鸟瞰图上的直线，并根据以下方程式10计算所转换的直线之间的平行度。
[方程式9]
在方程式9中，Luv代表停车线(即，两条包含在停车线中的直线，指示根据方程式2校准其透镜变形的直线)，而Lbv'代表鸟瞰图上的转换直线。
[方程式10]
Di＝|di(1)-di(W)|
在方程式10中，di(1)代表当第i条停车线在鸟瞰图中的x坐标是1时第i条停车线的宽度，而W代表鸟瞰图的水平轴分辨率。
当通过方程式10计算的值等于或小于预设值时，参数估计单元300可确定这两条直线之间的平行度高，并将包含这些直线的停车线设置为用于重新估计前摄像头和后摄像头的翻滚角的停车线。当所设置的停车线的数量等于或大于预设值时，参数估计单元300可根据方程式11通过LM在预设角度范围(例如，±1°)内重新估计前摄像头和后摄像头的初始估计的翻滚角。
[方程式11]
当通过上述过程估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角时，参数估计单元300可基于左/右有效车道的方向和通过左/右有效车道决定的消失点来估计左摄像头和右摄像头的偏航角和翻滚角。可以与估计前摄像头和后摄像头的俯仰角和偏航角的过程类似的方式，执行估计左摄像头和右摄像头的偏航角和翻滚角的过程。也就是说，参数估计单元300可通过校准左/右有效车道的透镜变形来决定校准直线，基于校准直线的消失点和预设第二参考消失点[1,0,0]之间的关系来初始地估计左摄像头和右摄像头的偏航角和翻滚角，并使用左摄像头和右摄像头的初始估计的偏航角和翻滚角作为初始值，在预设角度范围内重新估计左摄像头和右摄像头的偏航角和翻滚角。当重新估计左摄像头和右摄像头的偏航角和翻滚角时，参数估计单元300可使用左摄像头和右摄像头的旋转矩阵(通过使用LM的重新估计过程来计算该旋转矩阵)，将校准直线转换成鸟瞰图上的左/右有效车道，并重新估计左摄像头和右摄像头的偏航角和翻滚角，以使得所转换的左/右有效车道与鸟瞰图上的第二方向参考轴(x轴)平行，且彼此平行。
当估计前摄像头和后摄像头的偏航角和翻滚角及左摄像头和右摄像头的偏航角和翻滚角时，参数估计单元300可估计左摄像头和右摄像头的俯仰角。具体地，参数估计单元300可估计左摄像头和右摄像头的俯仰角，以使得通过前摄像头、后摄像头、左摄像头和右摄像头检测的车道中的相同车道彼此匹配。也就是说，参数估计单元300可将前/后有效车道和左/右有效车道投射在公共坐标系上，并估计左摄像头和右摄像头的俯仰角，以使得相同车道彼此匹配。
具体地，如图8中示出的，参数估计单元300可对左/右有效车道(其中，已经通过RANSAC算法完全估计偏航角和翻滚角)采样(a)，在通过左摄像头和右摄像头检测的车道与通过前摄像头和后摄像头检测的车道重合的假设下，使用俯仰角作为模型估计左摄像头和右摄像头的俯仰角(b)，并且根据以下方程式12评估在(b)估计的左摄像头和右摄像头的俯仰角的车道拟合(c)。
[方程式12]
在方程式12中，xsi代表AVM***的侧面和前面之间的边界处的侧车道i(即，左/右有效车道)的x坐标，而xfi代表侧面和前面之间的边界处的前车道i(即，前/后有效车道的前有效车道)的x坐标。而且，xsj和xrj代表侧面和后面之间的边界处的侧车道j的x坐标，和后车道j(即，前/后有效车道的后有效车道)的x坐标。而且，U代表单位阶跃函数，th代表阈值像素值(例如，五个像素)。
当通过上述过程估计12个安装角度(包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角)时，参数估计单元300可通过LM精确地估计12个安装角度。在此情况中，参数估计单元300可使用通过方程式12估计的俯仰角作为初始值，在左摄像头和右摄像头的安装角度误差范围(例如，±5°)内估计左摄像头和右摄像头的俯仰角，并基于通过方程式6和7(当未检测到停车线时)或者方程式11(当检测到停车线时)估计的角度在预设角度范围(例如，±1°)内重新估计其他10个安装角度。在精确估计过程期间应用的LM成本可包括条件C1(前/后有效车道与y轴平行，并且左/右有效车道与x轴平行)、条件C2(前/后有效车道和左/右有效车道彼此匹配)、条件C3(当未检测到停车线时，将左车道和右车道的宽度之间的差最小化)，和条件4(当检测到停车线时，两条包含在停车线中的直线彼此平行)。在估计前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角的过程期间已经应用这些条件，并且这些条件可表达为以下方程式13。
[方程式13]
C＝C1+C2+C3 or C1+C2+C4
在方程式13的C1中，x和y代表鸟瞰图的有效车道上的点的x坐标和y坐标，f、b、l和r代表前摄像头、后摄像头、左摄像头和右摄像头，而H和W代表鸟瞰图的高度和宽度。在方程式13的C2中，第一项代表前有效车道和左有效车道之间的匹配条件，第二项代表后有效车道和左有效车道之间的匹配条件，第三项代表前有效车道和右有效车道之间的匹配条件，而第四项代表后有效车道和右有效车道之间的匹配条件。例如，第一项中的xfi'代表四个摄像头图像布置于其中的公共坐标系上的前面和侧面之间的边界处的前有效车道的x坐标。在方程式13的C3中，w代表道路标线的宽度，而L和R代表左侧和右侧。在方程式13的C4中，dfi(1)代表当在前摄像头的鸟瞰图中的x坐标是1时的第i条停车线的宽度。当以方程式11的成本执行LM时，可精确地估计左摄像头和右摄像头的安装角度以将成本最小化，同时调节之前已经相对精确地估计的前摄像头和后摄像头的安装角度。而且，检测到的车道可精确地彼此连接，并且变得与车辆的行驶方向平行，以使得可将四个摄像头图像很好地布置在AVM坐标系上。
根据本实施例的校准设备可进一步包括参数选择单元400，该参数选择单元累积12个安装角度作为12维向量，这12个安装角度包括对前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角。当所累积的12维向量的数量等于或大于预设值时，参数选择单元400可在12维向量中选择具有最小平均欧氏距离的向量，作为前摄像头、后摄像头、左摄像头和右摄像头的最终安装角度。
换句话说，这12个通过上述过程精确地估计的安装角度可用作最终***输出。然而，根据本实施例的参数选择单元400可储存并累积12个安装角度，作为队列中的12维向量，以提高估计12个安装角度的过程的可靠性。当所累积的12维向量的数量等于或大于预设值时，参数选择单元400可在12维向量中选择具有最小平均欧氏距离的向量，作为最终安装角度。
在本实施例中，已将车道检测单元100、有效车道提取单元200、参数估计单元300和参数选择单元400描述为单独的单元。然而，根据一个实施例，可将这些单元100到400集成并实现为一个处理器。
图9是示出了根据本发明的一个实施例的校准方法的流程图，图10是示出了根据本发明的实施例的校准方法中的车道检测单元检测车道的过程的流程图，图11是示出了根据本发明的实施例的校准方法中的有效车道提取单元提取有效车道的过程的流程图，图12是示出了根据本发明的实施例的校准方法中的参数估计单元估计摄像头的安装角度的过程的流程图，图13是示出了根据本发明的实施例的校准方法中的参数估计单元估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的过程的流程图，而图14是示出了根据本发明的实施例的校准方法中的参数估计单元估计左摄像头和右摄像头的偏航角和翻滚角的过程的流程图。
在下文中，将参考图9至图14描述根据本发明的实施例的校准方法，并且这里将省略上述过程的重复描述。
首先，当车辆的行为在步骤S100满足预设行为条件时，车道检测单元100可在步骤S200从通过车辆的摄像头获得的周围图像中检测车道。该行为条件可包括一个或多个用于判断车速是否等于或大于预设车速的车速条件和用于判断转向角是否等于或小于预设转向角的转向角条件。
参考图10，将如下详细地描述步骤S200。在步骤S210，车道检测单元100可基于从通过摄像头获得的周围图像提取的边缘分量来检测直线，并在步骤S230通过在所检测到的直线中确定ROI的车道检测区域中存在的直线的车道拟合来检测车道。
将如下更详细地描述步骤S210。在步骤S211，车道检测单元100可计算从周围图像产生的鸟瞰图中的梯度，并基于所计算的梯度的方向和量值提取边缘分量。此时，车道检测单元100可提取鸟瞰图的参考轴和在鸟瞰图中计算的梯度的方向之间的角度落在ROI的车道角度变化范围内的点，并且梯度的量值等于或大于预设阈值75，例如，作为边缘分量。在道路标线的情况中，可将参考轴(其是与梯度方向的比较对象)设置为前摄像头和后摄像头的鸟瞰图中的y轴，或者左摄像头和右摄像头的鸟瞰图中的x轴。在停车线的情况中，可将参考轴设置为前摄像头和后摄像头的鸟瞰图中的x轴。
然后，在步骤S213，车道检测单元100可检测一个或多个直线对，每个直线对包括用于在像素值的增加方向上具有梯度的边缘分量的直线和用于在像素值的减小方向上具有梯度的边缘分量的直线。
当通过步骤S210检测到直线时，在步骤S230，车道检测单元100可在通过上述过程检测的直线中决定ROI的车道检测区域中存在的直线，并确定所决定的直线的车道拟合，从而检测车道。车道拟合可包括交叉条件、车道厚度条件和重叠比条件中的一个或多个。具体地，当满***叉条件、车道厚度条件和重叠比条件中的一个或多个时，车道检测单元100可确定直线满足车道拟合。交叉条件可指示两条包含在通过步骤S213检测的直线对中的直线彼此是否交叉，车道厚度条件可指示包含在直线对中的两条直线之间的最小距离和最大距离是否落在ROI的车道厚度保护范围内，而重叠比条件可指示当将包含在直线对中的两条直线投射在鸟瞰图上的参考轴上时这两条直线的重叠比是否等于或大于预设比。
当通过步骤S200检测到车道时，在步骤S300，有效车道提取单元200可分析检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道。
参考图11，将如下详细地描述步骤S300。在步骤S310，有效车道提取单元200可将由车道检测单元100检测到的车道的位置投射在从周围图像产生的鸟瞰图的参考轴上，通过累积预定数量或更多的帧来产生柱状图，将车道确定为误测车道，该车道离根据所产生的柱状图决定的参考车道位置预设距离或者更远，并且移除误测车道。也就是说，车道检测单元100可分析车道位置的统计特征，以移除误测车道。
然后，在步骤S330，有效车道提取单元200可使用通过由车道检测单元100检测到的车道估计的消失点来计算摄像头的安装角度，通过校准基于计算安装角度而检测的车道的角度误差来决定校准车道，基于所决定的校准车道和鸟瞰图上的参考轴彼此有多平行来确定误测车道，并且移除误测车道。也就是说，车道检测单元100可分析车道方向的统计特征，以移除误测车道。
当通过步骤S300提取到有效车道时，在步骤S400，参数估计单元300可基于有效车道的方向和通过有效车道决定的消失点来估计摄像头的安装角度。此时，参数估计单元300可估计12个安装角度，包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。
如图12中示出的，步骤S400可包括：估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的步骤S410，估计左摄像头和右摄像头的偏航角和翻滚角的步骤S430，以及估计左摄像头和右摄像头的俯仰角的步骤S450。
参考图13，将描述估计前摄像头和后摄像头的俯仰角、偏航角和翻滚角的步骤S410。首先，在步骤S411，参数估计单元300可通过校准前/后有效车道的透镜变形来决定校准直线。可根据以上方程式2决定校准直线。
然后，在步骤S412，参数估计单元300可基于校准直线的消失点与预设第一参考消失点之间的关系来初始地估计前摄像头和后摄像头的俯仰角和偏航角。由于校准直线的消失点与平行于车辆行驶方向的车道相遇，所以消失点需要定位在鸟瞰图中的[0,1,0]的坐标处。因此，参数估计单元300可根据方程式3和4计算用于将校准直线的消失点转换成第一参考消失点的旋转矩阵，以初始地估计前摄像头和后摄像头的俯仰角和偏航角。
然后，在步骤S413，参数估计单元300可使用前摄像头和后摄像头的初始估计的俯仰角和偏航角作为初始值，通过LM在预设角度范围内重新估计前摄像头和后摄像头的俯仰角和偏航角。此时，参数估计单元300可使用前摄像头和后摄像头的旋转矩阵(通过使用LM算法的重新估计过程来计算该旋转矩阵)，将校准直线转换成鸟瞰图上的前/后有效车道，并且重新估计前摄像头和后摄像头的俯仰角和偏航角，以使得前/后有效车道与鸟瞰图上的第一方向参考轴(y轴)平行，且彼此平行。
换句话说，参数估计单元300可使用前摄像头和后摄像头的初始估计的俯仰角和偏航角作为初始值，通过LM在预设角度范围(例如，±1°)内重新估计前摄像头和后摄像头的俯仰角和偏航角。而且，参数估计单元300可使用每当重复LM时计算的摄像头旋转矩阵，根据以上方程式5将校准直线转换成鸟瞰图上的直线，然后根据以上方程式6计算LM的成本。
在步骤S414，当重新估计前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可初始地估计前摄像头和后摄像头的翻滚角，以使得根据前摄像头和后摄像头的重新估计的俯仰角和偏航角进行校准的、在鸟瞰图中的前/后有效车道中所包含的左车道和右车道的宽度之间的差最小化。也就是说，当校准前摄像头和后摄像头的俯仰角和偏航角时，参数估计单元300可测量前/后有效车道的宽度，因为鸟瞰图中的前/后有效车道变得与y轴平行，如图6中示出的，并且基于包含在前/后有效车道中的左车道和右车道的宽度彼此相等的假设来估计前摄像头和后摄像头的翻滚角。因此，参数估计单元300可根据以上方程式7通过LM估计前摄像头和后摄像头的翻滚角，以使得左车道和右车道的宽度之间的差最小化。
通过步骤S414估计前摄像头和后摄像头的翻滚角的过程不考虑停车线。然而，当在车辆行驶的同时检测到足够数量的停车线时，参数估计单元300可通过利用检测到的停车线，更精确地估计前摄像头和后摄像头的翻滚角。也就是说，当在步骤S415检测到预定数量或者更多的与车辆的行驶方向不平行的车道时，参数估计单元300可在步骤S416从车道提取停车线，并且在步骤S417，基于包含在所提取的停车线中的两条直线之间的平行度，通过LM在预设角度范围内重新估计前摄像头和后摄像头的初始估计的翻滚角。
当通过步骤S410估计了前摄像头和后摄像头的俯仰角、偏航角和翻滚角时，在步骤S430，参数估计单元300可估计左摄像头和右摄像头的偏航角和翻滚角。
参考图14，将如下更详细地描述步骤S430。首先，在步骤S431，参数估计单元300可通过校准左/右有效车道的透镜变形来决定校准直线。
然后，在步骤S432，参数估计单元300可基于校准直线的消失点与预设第二参考消失点[1,0,0]之间的关系，初始地估计左摄像头和右摄像头的偏航角和翻滚角。
然后，在步骤S433，参数估计单元300可使用左摄像头和右摄像头的初始估计的偏航角和翻滚角作为初始值，通过LM在预设角度范围内重新估计左摄像头和右摄像头的偏航角和翻滚角。可以与步骤S413的重新估计过程类似的方式，执行步骤S433的重新估计过程。也就是说，参数估计单元300可使用左摄像头和右摄像头的旋转矩阵(在重新估计过程中使用LM计算该旋转矩阵)，将校准直线转换成鸟瞰图上的左/右有效车道，并且重新估计左摄像头和右摄像头的偏航角和翻滚角，以使得左/右有效车道与鸟瞰图上的第二方向参考轴(x轴)平行，且彼此平行。
当估计了前摄像头和后摄像头的俯仰角、偏航角和翻滚角以及左摄像头和右摄像头的偏航角和翻滚角时，参数估计单元300可估计左摄像头和右摄像头的俯仰角。此时，参数估计单元300可估计左摄像头和右摄像头的俯仰角，以使得通过前摄像头、后摄像头、左摄像头和右摄像头检测的车道中的相同车道彼此匹配。也就是说，在步骤S450，参数估计单元300可将前/后有效车道和左/右有效车道投射在公共坐标系上，并且估计左摄像头和右摄像头的俯仰角以使得相同车道彼此匹配。
当通过上述过程估计了12个安装角度(包括前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角)时，在步骤S500，参数估计单元300可通过LM精确地估计12个安装角度。在精确估计的过程中应用的LM成本可包括条件C1(前/后有效车道与y轴平行，并且左/右有效车道与x轴平行)、条件C2(前/后有效车道和左/右有效车道彼此匹配)、条件C3(当未检测到停车线时，将左车道和右车道的宽度之间的差最小化)，和条件4(当检测到停车线时，两条包含在停车线中的直线彼此平行)。在估计前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角的过程中已经应用了这些条件。
可将通过上述过程估计的12个安装角度用作最终***输出。在本实施例中，参数选择单元400可累积12个安装角度，包括对前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角，作为12维向量。在步骤S600，当所累积的12维向量的数量等于或大于预设值时，参数选择单元400可在12维向量中选择具有最小平均欧氏距离的向量，作为前摄像头、后摄像头、左摄像头和右摄像头的最终安装角度。也就是说，参数选择单元400可储存并累积12个安装角度，作为队列中的12维向量，以提高估计12个安装角度的过程的可靠性。当所累积的12维向量的数量等于或大于预设值时，参数选择单元400可在12维向量中选择具有最小平均欧氏距离的向量，作为最终安装角度。
根据本实施例的校准设备和校准方法可在没有单独设备和具有绘制于其上的特定图案的校准地点的情况下执行校准，并且去除在根据相关技术的校准操作期间所伴随的时间限制和空间限制，从而改进驾驶员的方便性。而且，一旦驾驶员在没有特殊指导的情况下在道路上驾驶车辆，便可自动地校准摄像头的外部参数，这使得可能改进校准操作的实用性。
虽然已经为了说明性目的公开了本发明的优选实施例，但是本领域技术人员将认识到，在不脱离如在所附权利要求中定义的本发明的范围和实质的情况下，各种修改、添加和替代是可能的。

Claims (27)

1.一种校准方法，包括：
当车辆的行为满足预设行为条件时，由车道检测单元从通过所述车辆的摄像头获得的周围图像中检测车道；
由有效车道提取单元分析所检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道；以及
由参数估计单元基于所述有效车道的方向和通过所述有效车道决定的消失点来估计所述摄像头的安装角度。
2.根据权利要求1所述的校准方法，其中，所述行为条件包括车速条件和转向角条件中的一个或多个，所述车速条件是车速等于或大于预设车速，所述转向角条件是转向角等于或大于预设转向角。
3.根据权利要求1所述的校准方法，其中，所述检测车道包括：
由所述车道检测单元基于从所述周围图像提取的边缘分量检测直线；以及
由所述车道检测单元通过在所检测到的直线中确定预设车道检测区域中存在的直线的车道拟合来检测车道。
4.根据权利要求3所述的校准方法，其中，所述检测直线包括：
由所述车道检测单元计算从所述周围图像产生的鸟瞰图中的梯度，并基于所计算的梯度的方向和量值提取所述边缘分量；以及
由所述车道检测单元在所提取的边缘分量中检测一个或多个直线对，每个直线对包括用于在像素值的增加方向上具有梯度的边缘分量的直线和用于在像素值的减小方向上具有梯度的边缘分量的直线。
5.根据权利要求4所述的校准方法，其中，在通过确定所述车道拟合来检测车道时，
所述车道检测单元确定，当满足一个或多个以下条件时满足所述车道拟合，这些条件是：交叉条件，该交叉条件是包含在所述直线对中的两条直线彼此不交叉；车道厚度条件，该车道厚度条件是包含在所述直线对中的两条直线之间的最小距离和最大距离落在预设车道厚度变化范围内；以及重叠比条件，该重叠比条件是当将包含在所述直线对中的两条直线投射在所述鸟瞰图上的参考轴上时这两条直线的重叠比等于或大于预设比。
6.根据权利要求1所述的校准方法，其中，所述有效车道的提取包括：
由所述有效车道提取单元将所检测到的车道的位置投射在通过所述周围图像产生的鸟瞰图上的参考轴上，通过累积预定数量的帧或者更多帧产生柱状图，将离根据所产生的柱状图决定的参考车道位置一预设距离或者更远距离的车道确定为误测车道，并移除该误测车道；以及
由所述有效车道提取单元使用通过所检测到的车道估计的消失点来计算所述摄像头的安装角度，通过基于所计算的安装角度校准所检测到的车道的角度误差来决定所计算的车道，基于所决定的校准车道与所述鸟瞰图上的参考轴之间的平行度来决定误测车道，并移除该误测车道。
7.根据权利要求1所述的校准方法，其中，所述摄像头包括前摄像头、后摄像头、左摄像头和右摄像头，所述安装角度包括俯仰角、偏航角和翻滚角，并且
在所述摄像头的安装角度的估计中，所述参数估计单元估计12个安装角度，这12个安装角度包括所述前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。
8.根据权利要求7所述的校准方法，其中，所述摄像头的安装角度的估计包括：
由所述参数估计单元基于前/后有效车道的方向和通过所述前/后有效车道决定的消失点来估计所述前摄像头和后摄像头的俯仰角、偏航角和翻滚角，其中，所述前/后有效车道是通过所述前摄像头和后摄像头的周围图像产生的鸟瞰图上的有效车道；
由所述参数估计单元基于左/右有效车道的方向和通过所述左/右有效车道决定的消失点来估计所述左摄像头和右摄像头的偏航角和翻滚角，其中，所述左/右有效车道是通过所述左摄像头和右摄像头的周围图像产生的鸟瞰图上的有效车道；以及
由所述参数估计单元将所述前/后有效车道和所述左/右有效车道投射在公共坐标系上，并估计所述左摄像头和右摄像头的俯仰角以使得相同车道彼此匹配。
9.根据权利要求8所述的校准方法，其中，所述前摄像头和后摄像头的俯仰角、偏航角和翻滚角的估计包括：
由所述参数估计单元将所述前/后有效车道转换成透镜变形被校准的坐标系上的校准直线；
由所述参数估计单元基于通过所述校准直线决定的消失点与预设第一参考消失点之间的关系来估计所述前摄像头和后摄像头的俯仰角和偏航角；
由所述参数估计单元使用所述前摄像头和后摄像头的初始估计的俯仰角和偏航角作为初始值，通过Levenberg-Marquardt在预设角度范围内重新估计所述前摄像头和后摄像头的俯仰角和偏航角；以及
由所述参数估计单元初始估计所述前摄像头和后摄像头的翻滚角，以使得根据所述前摄像头和后摄像头的重新估计的俯仰角和偏航角进行校准的、在所述鸟瞰图中的所述前/后有效车道中所包含的左车道与右车道的宽度之间的差最小化。
10.根据权利要求9所述的校准方法，其中，在通过Levenberg-Marquardt重新估计所述前摄像头和后摄像头的俯仰角和偏航角中，
所述参数估计单元使用通过Levenberg-Marquardt在重新估计处理期间计算的所述前摄像头和后摄像头的旋转矩阵，将所述校准直线转换成所述鸟瞰图上的前/后有效车道，并重新估计所述前摄像头和后摄像头的俯仰角和偏航角，以使得所述前/后有效车道与所述鸟瞰图上的第一方向参考轴平行，且彼此平行。
11.根据权利要求9所述的校准方法，其中，所述前摄像头和后摄像头的俯仰角、偏航角和翻滚角的估计进一步包括：当检测到预设数量或者更多的与所述车辆的行驶方向不平行的车道时，由所述参数估计单元从与所述车辆的行驶方向不平行的车道提取停车线，并基于包含在所提取的停车线中的两条直线之间的平行度，通过Levenberg-Marquardt在预设角度范围内重新估计所述前摄像头和后摄像头的初始估计的翻滚角。
12.根据权利要求8所述的校准方法，其中，所述左摄像头和右摄像头的偏航角和翻滚角的估计包括：
由所述参数估计单元将所述左/右有效车道转换成透镜变形被校准的坐标系上的校准直线；
由所述参数估计单元基于通过所述校准直线决定的消失点与预设第二参考消失点之间的关系来初始估计所述左摄像头和右摄像头的偏航角和翻滚角；以及
由所述参数估计单元使用所述左摄像头和右摄像头的初始估计的偏航角和翻滚角作为初始值，通过Levenberg-Marquardt在预设角度范围内重新估计所述左摄像头和右摄像头的偏航角和翻滚角。
13.根据权利要求8所述的校准方法，进一步包括：由所述参数估计单元通过Levenberg-Marquardt精确地估计12个安装角度，这12个安装角度包括对所述前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角。
14.根据权利要求8所述的校准方法，进一步包括：由参数选择单元累积12个安装角度作为12维向量，这12个安装角度包括对所述前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角，并且当所累积的12维向量的数量等于或大于预设值时，在所累积的12维向量中选择具有最小平均欧氏距离的向量，作为所述前摄像头、后摄像头、左摄像头和右摄像头的最终安装角度。
15.一种校准设备，包括：
车道检测单元，被配置为当车辆的行为满足预设行为条件时，从通过所述车辆的摄像头获得的周围图像中检测车道；
有效车道提取单元，被配置为分析所检测到的车道的位置和方向的统计特征，并通过移除误测车道来提取有效车道；以及
参数估计单元，被配置为基于所述有效车道的方向和通过所述有效车道决定的消失点来估计所述摄像头的安装角度。
16.根据权利要求15所述的校准设备，其中，所述车道检测单元基于从所述周围图像提取的边缘分量检测直线，并且在所检测到的直线中确定预设车道检测区域中存在的直线的车道拟合，以检测车道。
17.根据权利要求16所述的校准设备，其中，当基于所述边缘分量检测直线时，所述车道检测单元计算从所述周围图像产生的鸟瞰图中的梯度，基于所计算的梯度的方向和量值提取所述边缘分量，并且在所提取的边缘分量中检测一个或多个直线对，每个直线对包括用于在像素值的增加方向上具有梯度的边缘分量的直线和用于在像素值的减小方向上具有梯度的边缘分量的直线。
18.根据权利要求17所述的校准设备，其中，所述车道检测单元确定，当满足一个或多个以下条件时满足所述车道拟合，这些条件是：交叉条件，该交叉条件是包含在所述直线对中的两条直线彼此不交叉；
车道厚度条件，该车道厚度条件是包含在所述直线对中的两条直线之间的最小距离和最大距离落在预设车道厚度变化范围内；以及重叠比条件，该重叠比条件是当将包含在所述直线对中的两条直线投射在所述鸟瞰图上的参考轴上时这两条直线的重叠比等于或大于预设比。
19.根据权利要求15所述的校准设备，其中，所述有效车道提取单元将所检测到的车道的位置投射在从所述周围图像产生的鸟瞰图上的参考轴上，通过累积预定数量的帧或者更多帧产生柱状图，将离根据所产生的柱状图决定的参考车道位置一预设距离或者更远距离的车道确定为误测车道，并移除该误测车道，
其中，所述有效车道提取单元使用通过所检测到的车道估计的消失点来计算所述摄像头的安装角度，通过基于所计算的安装角度校准所检测到的车道的角度误差来决定校准车道，基于所决定的校准车道与所述鸟瞰图上的参考轴之间的平行度来决定误测车道，并移除该误测车道。
20.根据权利要求15所述的校准设备，其中，所述摄像头包括前摄像头、后摄像头、左摄像头和右摄像头，所述安装角度包括俯仰角、偏航角和翻滚角，并且
所述参数估计单元估计12个安装角度，包括所述前摄像头、后摄像头、左摄像头和右摄像头的俯仰角、偏航角和翻滚角。
21.根据权利要求20所述的校准设备，其中，所述参数估计单元基于前/后有效车道的方向和通过所述前/后有效车道决定的消失点来估计所述前摄像头和后摄像头的俯仰角、偏航角和翻滚角，基于左/右有效车道的方向和通过所述左/右有效车道决定的消失点来估计所述左摄像头和右摄像头的偏航角和翻滚角，将所述前/后有效车道和所述左/右有效车道投射在公共坐标系上，并估计所述左摄像头和右摄像头的俯仰角以使得相同车道彼此匹配，
其中，所述前/后有效车道是从所述前摄像头和后摄像头的周围图像产生的鸟瞰图上的有效车道，而所述左/右有效车道是从所述左摄像头和右摄像头的周围图像产生的鸟瞰图上的有效车道。
22.根据权利要求21所述的校准设备，其中，所述参数估计单元将所述前/后有效车道转换成透镜变形被校准的坐标系中的校准直线，基于通过所述校准直线决定的消失点与预设第一参考消失点之间的关系来初始地估计所述前摄像头和后摄像头的俯仰角和偏航角，使用所述前摄像头和后摄像头的初始估计的俯仰角和偏航角作为初始值、通过Levenberg-Marquardt在预设角度内重新估计所述前摄像头和后摄像头的俯仰角和偏航角，并且初始地估计所述前摄像头和后摄像头的翻滚角，以使得根据所述前摄像头和后摄像头的重新估计的俯仰角和偏航角进行校准的、在所述鸟瞰图中的前/后有效车道中所包含的左车道和右车道的宽度之间的差最小化。
23.根据权利要求22所述的校准设备，其中，当重新估计所述前摄像头和后摄像头的俯仰角和偏航角时，所述参数估计单元使用所述前摄像头和后摄像头的旋转矩阵将所述校准直线转换成所述鸟瞰图上的前/后有效车道，所述旋转矩阵是使用Levenberg-Marquardt在重新估计处理期间计算的，并且所述参数估计单元重新估计所述前摄像头和后摄像头的俯仰角和偏航角，以使得所述前/后有效车道与所述鸟瞰图上的第一方向参考轴平行，且彼此平行。
24.根据权利要求22所述的校准设备，其中，当检测到预设数量或者更多的与所述车辆的行驶方向不平行的车道时，所述参数估计单元从与所述车辆的行驶方向不平行的车道提取停车线，并基于包含在所提取的停车线中的两条直线之间的平行度，通过Levenberg-Marquardt在预设角度范围内重新估计所述前摄像头和后摄像头的初始估计的翻滚角。
25.根据权利要求21所述的校准设备，其中，所述参数估计单元将所述左/右有效车道转换成透镜变形被校准的坐标系上的校准直线，基于通过所转换的校准直线决定的消失点和预设第二参考消失点来初始地估计所述左摄像头和右摄像头的偏航角和翻滚角，并且使用所述左摄像头和右摄像头的初始估计的偏航角和翻滚角作为初始值，通过Levenberg-Marquardt在预设角度范围内重新估计所述左摄像头和右摄像头的偏航角和翻滚角。
26.根据权利要求21所述的校准设备，其中，所述参数估计单元通过Levenberg-Marquardt精确地估计12个安装角度，这12个安装角度包括对所述前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角。
27.根据权利要求21所述的校准设备，进一步包括参数选择单元，该参数选择单元被配置为累积12个安装角度作为12维向量，这12个安装角度包括对所述前摄像头、后摄像头、左摄像头和右摄像头估计的俯仰角、偏航角和翻滚角，并且当所累积的12维向量的数量等于或大于预设值时，该参数选择单元在所累积的12维向量中选择具有最小平均欧氏距离的向量，作为所述前摄像头、后摄像头、左摄像头和右摄像头的最终安装角度。
CN201810562496.XA 2017-06-14 2018-06-04 校准方法和校准设备 Active CN109086650B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020170074556A KR102325690B1 (ko) 2017-06-14 2017-06-14 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법
KR10-2017-0074556 2017-06-14
KR1020170132250A KR102022402B1 (ko) 2017-10-12 2017-10-12 캘리브레이션 방법 및 장치
KR10-2017-0132250 2017-10-12

Publications (2)

Publication Number Publication Date
CN109086650A true CN109086650A (zh) 2018-12-25
CN109086650B CN109086650B (zh) 2022-04-12

Family

ID=64656634

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810562496.XA Active CN109086650B (zh) 2017-06-14 2018-06-04 校准方法和校准设备
CN201810603287.5A Pending CN109089074A (zh) 2017-06-14 2018-06-12 用于环视监控***的摄像头角度估计方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810603287.5A Pending CN109089074A (zh) 2017-06-14 2018-06-12 用于环视监控***的摄像头角度估计方法

Country Status (2)

Country Link
US (2) US10529091B2 (zh)
CN (2) CN109086650B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111409053A (zh) * 2020-03-23 2020-07-14 上海高仙自动化科技发展有限公司 转向校准方法及装置、智能机器人及计算机可读存储介质
CN112215214A (zh) * 2020-12-11 2021-01-12 智道网联科技(北京)有限公司 调整智能车载终端的摄像头偏移的方法及***
CN112365549A (zh) * 2021-01-12 2021-02-12 腾讯科技（深圳）有限公司 车载相机的姿态校正方法、装置和存储介质及电子装置
CN113284186A (zh) * 2021-04-13 2021-08-20 武汉光庭信息技术股份有限公司 一种基于惯导姿态和灭点的相机标定方法及***

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282225B2 (en) * 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
KR102115915B1 (ko) * 2018-10-08 2020-05-27 주식회사 만도 차선 인식의 왜곡을 판단하여 차량을 제어하는 장치 및 방법
JP2020087001A (ja) * 2018-11-27 2020-06-04 株式会社デンソー 車線位置情報出力装置
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及***
CN111563840B (zh) * 2019-01-28 2023-09-05 北京魔门塔科技有限公司 分割模型的训练方法、装置、位姿检测方法及车载终端
KR102034316B1 (ko) * 2019-01-29 2019-11-08 주식회사 만도 차량 위치 보정 시스템 및 방법, 그리고 카메라
US10748032B1 (en) * 2019-01-31 2020-08-18 StradVision, Inc. Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same
US11010641B2 (en) 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device
CN111753605A (zh) * 2019-06-11 2020-10-09 北京京东尚科信息技术有限公司 车道线定位方法、装置、电子设备及可读介质
CN110278090B (zh) * 2019-06-27 2021-05-04 尚菊红 环保监测数据监控***、处理方法、计算机设备及存储介质
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
CN112307825B (zh) * 2019-07-30 2024-05-31 阿波罗智能技术(北京)有限公司 自动驾驶的视觉检测方法、装置、电子设备和存储介质
CN113091757B (zh) * 2019-12-23 2022-09-27 百度在线网络技术（北京）有限公司 地图生成方法和装置
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
CN115668297A (zh) * 2020-05-29 2023-01-31 西门子（中国）有限公司 用于车辆长度估计的方法和设备
KR102497805B1 (ko) * 2020-07-31 2023-02-10 주식회사 펫타버스 인공지능 기반 반려동물 신원확인 시스템 및 방법
CN112183512B (zh) * 2020-12-02 2021-11-19 深圳佑驾创新科技有限公司 摄像头标定方法、装置、车载终端和存储介质
CN114845037B (zh) * 2021-02-01 2024-02-13 浙江宇视科技有限公司 Ptz摄像机校准方法、装置、电子设备和存储介质
CN113340334B (zh) * 2021-07-29 2021-11-30 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
KR20230022715A (ko) * 2021-08-09 2023-02-16 현대모비스 주식회사 차량의 장애물 감지 시스템 및 방법
CN114663529B (zh) * 2022-03-22 2023-08-01 阿波罗智能技术(北京)有限公司 一种外参确定方法、装置、电子设备及存储介质
CN114758511B (zh) * 2022-06-14 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种跑车超速检测***、方法、电子设备及存储介质
CN116245748B (zh) * 2022-12-23 2024-04-26 珠海视熙科技有限公司 环视镜头的畸变校正方法、装置、设备、***及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011073529A (ja) * 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 車両制御装置
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5109294B2 (ja) 2006-06-19 2012-12-26 三菱電機株式会社 ３次元位置補正装置
JP5022428B2 (ja) 2009-11-17 2012-09-12 株式会社神戸製鋼所 硬化肉盛用ｍｉｇアーク溶接ワイヤおよび硬化肉盛用ｍｉｇアーク溶接方法
DE102009055776A1 (de) * 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
CN101789123B (zh) * 2010-01-27 2011-12-07 中国科学院半导体研究所 一种创建基于单目机器视觉距离图的方法
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
US9834153B2 (en) * 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US9357208B2 (en) * 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
JP6058256B2 (ja) * 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
EP2562717B1 (en) * 2011-08-25 2014-06-18 Samsung Electronics Co., Ltd. Three-dimensional display system with depth map mechanism and method of operation thereof
JP6025365B2 (ja) * 2012-04-04 2016-11-16 京セラ株式会社 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US9986173B2 (en) * 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) online calibration
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP6543050B2 (ja) * 2015-03-06 2019-07-10 株式会社デンソーテン 障害物検出装置および障害物検出方法
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
EP3086284A1 (en) * 2015-04-23 2016-10-26 Application Solutions (Electronics and Vision) Limited Camera extrinsic parameters estimation from image lines
JP6416712B2 (ja) * 2015-08-06 2018-10-31 株式会社Ｓｏｋｅｎ ピッチ角推定装置
CN106534766B (zh) * 2015-09-09 2019-07-09 广州市维安电子技术有限公司 一种使用ptz摄像机对目标进行自动跟踪的方法及装置
CN108885831B (zh) * 2016-03-24 2020-04-14 日产自动车株式会社 行进路检测方法及行进路检测装置
JP6614042B2 (ja) * 2016-06-15 2019-12-04 株式会社Ｊｖｃケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
KR102528002B1 (ko) * 2016-08-17 2023-05-02 현대모비스 주식회사 탑뷰 영상 생성 장치 및 그 방법
JP6894725B2 (ja) * 2017-03-09 2021-06-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011073529A (ja) * 2009-09-30 2011-04-14 Hitachi Automotive Systems Ltd 車両制御装置
CN103738243A (zh) * 2013-10-29 2014-04-23 惠州华阳通用电子有限公司 一种车道偏离预警方法
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
KR20150112656A (ko) * 2014-03-28 2015-10-07 주식회사 하나비전테크 카메라 캘리브레이션 방법 및 그 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111409053A (zh) * 2020-03-23 2020-07-14 上海高仙自动化科技发展有限公司 转向校准方法及装置、智能机器人及计算机可读存储介质
CN111409053B (zh) * 2020-03-23 2021-07-30 上海高仙自动化科技发展有限公司 转向校准方法及装置、智能机器人及计算机可读存储介质
CN112215214A (zh) * 2020-12-11 2021-01-12 智道网联科技(北京)有限公司 调整智能车载终端的摄像头偏移的方法及***
CN112365549A (zh) * 2021-01-12 2021-02-12 腾讯科技（深圳）有限公司 车载相机的姿态校正方法、装置和存储介质及电子装置
CN113284186A (zh) * 2021-04-13 2021-08-20 武汉光庭信息技术股份有限公司 一种基于惯导姿态和灭点的相机标定方法及***
CN113284186B (zh) * 2021-04-13 2022-04-15 武汉光庭信息技术股份有限公司 一种基于惯导姿态和灭点的相机标定方法及***

Also Published As

Publication number Publication date
US10529091B2 (en) 2020-01-07
US20180365858A1 (en) 2018-12-20
US20180365857A1 (en) 2018-12-20
CN109086650B (zh) 2022-04-12
CN109089074A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109086650A (zh) 校准方法和校准设备
US20100086174A1 (en) Method of and apparatus for producing road information
US8213685B2 (en) Video speed detection system
CN104951817B (zh) 边界检测装置和边界检测方法
US20060078197A1 (en) Image processing apparatus
JP6560355B2 (ja) ランドマーク認識装置及び認識方法
EP3301612A1 (en) Barrier and guardrail detection using a single camera
CN106978774A (zh) 一种路面坑槽自动检测方法
JP6822427B2 (ja) 地図変化点検出装置
JP3603836B2 (ja) 道路白線認識装置
JP4797846B2 (ja) 区画線検出装置及び車線検出装置
JP7163601B2 (ja) 情報処理装置および情報処理方法
KR102022402B1 (ko) 캘리브레이션 방법 및 장치
JP7480833B2 (ja) 計測装置、計測システムおよび車両
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
CN109886064B (zh) 确定可驾驶空间的边界的方法
CN112798811A (zh) 速度测量方法、装置和设备
CN112070756A (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
CN111998780B (zh) 目标测距方法、装置及***
CN106671991B (zh) 基于多线索视觉特征融合的车道偏离预警方法
McCarthy et al. On-the-go machine vision sensing of cotton plant geometric parameters: first results
US20240257376A1 (en) Method and system for detection a line above ground from a helicopter
JP2006293629A (ja) 移動物体の高さ検出方法及び装置並びに物体形状判定方法
WO2022253655A1 (en) Method and system for detecting a line above ground from a helicopter
JP4233272B2 (ja) 物体計数方法及び物体計数装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant