CN111336951A - 用于校准图像传感器的外部参数的方法和设备 - Google Patents

用于校准图像传感器的外部参数的方法和设备 Download PDF

Info

Publication number
CN111336951A
CN111336951A CN201911333327.XA CN201911333327A CN111336951A CN 111336951 A CN111336951 A CN 111336951A CN 201911333327 A CN201911333327 A CN 201911333327A CN 111336951 A CN111336951 A CN 111336951A
Authority
CN
China
Prior art keywords
feature edges
parallel
image
image sensor
vanishing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911333327.XA
Other languages
English (en)
Other versions
CN111336951B (zh
Inventor
S·马尔卡塞里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Automotive GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH filed Critical Continental Automotive GmbH
Publication of CN111336951A publication Critical patent/CN111336951A/zh
Application granted granted Critical
Publication of CN111336951B publication Critical patent/CN111336951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了校准图像传感器的一个或多个外部参数的方法，包括选择在由图像传感器捕获的图像帧中出现的第一组平行特征边缘并确定第一组特征边缘的基准消失点，该基准消失点位于投影参照系上。选择与第一组特征边缘平行的第二组平行特征边缘，并基于图像传感器的预先存在的投影矩阵将来自第二组特征边缘的多个点投影到图像传感器的投影参照系上。为第二组特征边缘确定位于投影参照系上的第二消失点并递归地执行至少以下步骤以减小第二消失点与基准消失点的任何位置偏差，直到该偏差在可接受的预定极限内：通过调节外部参数修改投影矩阵，使用修改后的投影矩阵将来自第二组特征边缘的多个点投影到投影参照系上，在投影之后确定第二消失点。

Description

用于校准图像传感器的外部参数的方法和设备
技术领域
本公开涉及用于校准图像传感器的一个或多个外部参数的方法、设备和计算机可读存储介质。
背景技术
现代车辆经常配备有各种旨在辅助驾驶者驾驶车辆的电子***。这些电子***通常涉及一个或多个车载图像传感器的使用，所述图像传感器用于捕获车辆及其外部环境的图像。对捕获的图像进行分析，并且可以单独使用，也可以与来自其它环境传感器的输入结合使用，以提供一个或多个驾驶者辅助功能，例如目标检测、车道偏离警告、泊车辅助和距离测量。车载视觉传感器还可用于为驾驶者提供更全面的外部环境视图，包括访问以前无法获得的视点。这是通过向驾驶者显示通过将来自安装在车辆不同部位的多个视觉传感器的图像拼接在一起而生成的合成图像来实现的。一个示例是环视***，其通常包括四个外部安装在车辆前部、后部和侧面的广角视觉传感器。环视***中的图像传感器通常具有大于180度的水平视场。通过将来自环视图像传感器的图像拼接在一起来获得车辆环境的360度视图。
但是，生成合成图像的过程包括在将来自不同图像传感器的图像拼接在一起之前将它们对齐。这需要了解用于将现实世界中的3D点映射到图像传感器的2D图像平面的投影矩阵。类似地，对于其它基于图像的驾驶者辅助功能(例如来自图像的距离测量)的操作，也需要对投影矩阵的了解。与图像传感器相关联的实际投影矩阵可以根据所使用的传感器的类型而变化，但是投影矩阵通常在与图像传感器相关联的固有和外部参数方面进行定义。固有参数通常与图像传感器的光学器件有关，亦即，光如何通过图像传感器投射到传感器的图像平面上。它们包括诸如焦距和焦点的参数。另一方面，外部参数涉及图像传感器的位置和取向，并且可以相对于用作参照系的坐标轴(即绝对外部参数)来定义。位置相关的外部参数描述图像传感器沿着参照系的x、y和z轴的位置，而取向相关的外部参数描述图像传感器沿着x、y和z轴的旋转。通常用作外部参数的参照系的坐标轴的示例包括车辆坐标系和世界坐标系，在车辆坐标系中坐标轴的原点位于车辆本身上。图像传感器的外部参数也可以相对于其它图像传感器的外部参数进行测量(即相对外部参数)。
因此，为了促进基于图像的驾驶者辅助功能的正确操作，用于建立图像传感器的外部参数的校准是必不可少的。然而，出现的问题是，图像传感器的位置和/或取向会受到各种因素引起的变化，例如车辆的负载、磨损的影响、各种车辆零部件的更换以及崎岖不平的道路和关门引起的振动。这继而引起图像传感器的外部参数的变化。
鉴于前述内容，期望稳健的在线外部参数校准方法，其不需要具有已知几何形状的专用校准结构并且能够在修车场所之外进行。
发明内容
本公开的各方面提供了用于校准图像传感器的一个或多个外部参数的方法、设备和计算机可读存储介质。
本公开的第一方面提供了一种用于校准图像传感器的一个或多个外部参数的方法，该方法包括：选择在由图像传感器捕获的图像帧中出现的第一组平行特征边缘，并确定该第一组平行特征边缘的基准消失点，基准消失点位于图像传感器的投影参照系上。第一组平行特征边缘可包括两个平行特征边缘。在一些实施方案中，第一组平行特征边缘可以包括车道标记、停车线或道路边界中的至少一者。所述方法还包括：选择与第一组平行特征边缘平行的第二组平行特征边缘，基于图像传感器的预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到投影参照系上，并为第二组平行特征边缘确定位于投影参照系上的第二消失点。第二组平行特征边缘可以是现实生活中存在的特征边缘或虚拟特征边缘。通过递归执行至少以下步骤来减小第二消失点与基准消失点的任何位置偏差，直到该偏差在一个或多个预定义的极限内：通过调节一个或多个外部参数来修改预先存在的投影矩阵，使用修改后的预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到投影参照系上，并在投影后确定第二消失点。
在一些实施方案中，图像传感器是可以使用球面相机模型建模的传感器。在使用球面相机图像传感器的一个变型中，确定第一组平行特征的第一对基准消失点可以包括将第一圆和第二圆拟合到第一组平行边缘中的第一和第二特征边缘的像点并确定第一圆和第二圆在何处相交。在这种情况下，图像传感器的投影参照系是图像传感器的图像平面。第二组平行特征边缘的第二消失点也可以通过将第三圆和第四圆拟合到第二组平行边缘中的第三和第四特征边缘的像点并确定第三圆和第四圆在何处相交来确定，该像点是通过基于图像传感器的预先存在的投影矩阵将来自第二组平行特征边缘中的第三和第四特征边缘的多个点投影到图像平面上而获得的。至少第一圆、第二圆、第三圆或第四圆的拟合可以基于最小化损失函数。在一任选的实施方案中，减小第二消失点与基准消失点的任何位置偏差直到该偏差在一个或多个预定极限内包括绘制将基准消失点连接的第一连接线以及绘制将第二消失点连接的第二连接线。然后，通过调节一个或多个外部参数来修改预先存在的投影矩阵可以包括：首先调节一个或多个外部参数，以减小第二连接线和第一连接线之间的任何斜率偏差，直到该斜率偏差在斜率极限内，然后调节一个或多个外部参数，以减小第二连接线与第一连接线的任何位置或长度偏差。在每次对一个或多个外部参数进行调节之后，使用修改后的预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到投影参照系上，并且在投影之后确定第二消失点，直到第二消失点与基准消失点的任何位置偏差在一个或多个预定极限内。在一个变型中，首先调节一个或多个外部参数以减小第二和第一连接线之间的斜率偏差直到该斜率偏差在斜率极限内包括调节一个或多个与取向相关的外部参数，并且调节所述一个或多个外部参数以减小第一和第二连接线的任何位置和/或长度偏差包括调节一个或多个与平移有关的外部参数。在可以使用球面相机模型对图像传感器建模的另一实施方案中，投影参照系是单一球体(unitary sphere)。
在另一示例性实施方案中，图像传感器被安装在车辆上。选择第一组平行特征边缘可以包括检测图像帧中的至少两个特征边缘，并通过在捕获图像帧时至少检查车辆的转向角度或车轮角度来判定特征边缘是否平行。在一些实施方案中，第二组平行特征边缘可以通过使第一组平行特征边缘沿着沿车辆的横向轴线定位的车辆的坐标轴移动来获得。
本公开的另一方面提供了一种用于校准图像传感器的一个或多个外部参数的设备，该设备包括处理器，和至少一个存储器，该存储器联接到该处理器并存储可由处理器执行的指令，该存储器使处理器选择在由图像传感器捕获的图像帧中出现的第一组平行特征边缘并确定第一组平行特征边缘的基准消失点，基准消失点位于图像传感器的投影参照系上。还使处理器选择与第一组平行特征边缘平行的第二组平行特征边缘，基于图像传感器的预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到投影参照系上，并为第二组平行特征边缘确定位于投影参照系上的第二消失点。通过递归执行至少以下步骤来减小第二消失点与基准消失点的任何位置偏差，直到该偏差在一个或多个预定义的极限内：通过调节一个或多个外部参数来修改预先存在的投影矩阵，使用修改后的预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到投影参照系上，并在投影后确定第二消失点。
在一些实施方案中，其中图像传感器是可以使用球面相机模型建模的图像传感器，投影参照系是图像传感器的图像平面，并且所述至少一个存储器使处理器通过将第一圆和第二圆拟合到第一组平行边缘中的第一和第二特征边缘的像点来确定基准消失点，其中基准消失点位于第一圆和第二圆相交处，通过将第三圆和第四圆拟合到通过将来自第三和第四特征边缘的多个点投影到图像传感器的图像平面上而获得的第二组平行边缘中的第三和第四特征边缘的像点来确定第二消失点。第二消失点位于第三圆和第四圆相交处。在图像传感器安装在车辆上的情况下，所述至少一个存储器可以使处理器至少通过以下步骤来选择第一组平行特征边缘：检测图像帧中的至少两个直线特征边缘，并通过在捕获图像帧时至少检查车辆的转向角度或车轮角度来判定所述直线特征边缘是否平行。所述至少一个存储器还可以使所述处理器通过使第一组平行特征边缘沿着沿车辆的横向轴线定位的车辆的坐标轴移动来选择第二组平行特征边缘。
本公开的其它方面还可包括非瞬态计算机可读存储介质，该非瞬态计算机可读存储介质包括用于执行本公开中所讨论的方法的计算机可读指令。在另一变型中，可以提供一种车辆，该车辆包括根据本公开的用于校准图像传感器的一个或多个外部参数的设备。
在附图和以下描述中阐述了本公开的一个或多个实施方案的细节。根据说明书和附图以及权利要求，其它方面、特征和优点将是显而易见的。
附图说明
图1是根据本公开的一个实施方案的可操作以校准图像传感器的一个或多个外部参数的包括机器视觉模块的***100的功能框图；
图2示出了捕获用于外部参数校准的第一组平行特征边缘的图像的车载图像传感器的示例性场景；
图3是示出了根据本公开的一个实施方案的用于校准图像传感器的一个或多个外部参数的自动化方法的流程图；
图4A示出了在现实世界中出现的一对示例性的平行车道标记，图4B示出了通过鱼眼相机捕获的图4A的车道标记的图像；
图5示出了通过将圆拟合到相应特征边缘的像点来确定与第一组平行特征边缘相关联的基准消失点的示例性方法；
图6示出了用于选择第二组平行特征边缘的示例性方法；
图7示出了包含图5中的第一组平行特征边缘的像点和通过使用预先存在的投影矩阵进行投影而获得的第二组平行特征边缘的像点的图像平面；
图8A示出了通过将第一组平行特征边缘的像点像素映射到单一球体的表面上来确定基准消失点的另一示例性方法；以及
图8B示出了包括与第二组平行特征边缘相关联的第二消失点的单一球体，第二组平行特征边缘平行于图8A中的第一组平行特征边缘。
具体实施方式
在以下详细描述中参考附图。在附图中，相似的标记典型地识别相似的构件，除非上下文另有规定。
为了将现实世界中的3维点透视投影到2维图像平面上，将无限场景线成像为终止于消失点中的线。根据相同的理论，彼此平行的世界线(例如车道标记)被成像为具有共同消失点的会聚线。本公开依赖于上述消失点概念作为执行图像传感器的外部参数校准的基础。取决于在被校准的图像传感器中使用的透镜***的类型，本公开允许执行外部参数校准，只要存在包括至少两个现实世界平行特征边缘的校准结构即可。例如，可以使用由两个现实世界平行特征边缘组成的第一组平行特征边缘来校准基于球面相机模型的图像传感器的外部参数。第二组平行特征边缘可以是现实世界中存在的特征边缘或虚拟特征边缘。与本公开相关联的优点之一是具有已知尺寸的专用校准结构——例如在离线校准方法中使用的专用校准结构——对于校准不是必不可少的。可以使用正常道路上可用的特征边缘进行校准。例如，可以使用通常在道路上发现的平行特征，例如车道/道路标记、停车线，路缘石或道路的侧面或它们的组合。因此，本公开可应用于离线和在线两种外部校准方法。由于车道标志和停车线在世界范围内通常是高度标准化的，因此本文描述的校准方法和设备可以稳健地部署在安装于车辆平台上的机器视觉模块中。
图1是根据本公开的一个实施方案的包括机器视觉模块140的示例性***100的功能框图，该***100构造成执行用于校准图像传感器的一个或多个外部参数的自动化方法。校准方法基于比较与在现实世界坐标中彼此平行的第一组和第二组平行特征边缘相关联的消失点。第一组平行特征边缘是现实世界中存在的特征边缘，而真实或虚拟特征边缘可以用于第二组平行特征边缘。可以通过基于图像传感器的预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到图像传感器的投影参照系上来得出第二组平行特征边缘的消失点。通过利用以下方式减小第二消失点与基准消失点的任何位置偏差直到该偏差在一个或多个预定极限内来得出一个或多个外部参数：通过调节一个或多个外部参数、使用修改后的预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到投影参照系上并检查投影之后所得的第二消失点的任何位置偏差是否在一个或多个预定极限内来递归地修改预先存在的投影矩阵。
与车辆相关联的***100还包括环境模块120和车辆***160，这两者均与机器视觉模块140通信。环境模块120包括环境传感器，其可操作以感测和收集关于车辆外部环境的信息。在图1的实施方案中，环境模块包括图像传感器模块122，该图像传感器模块122包括从外部安装在车辆的不同部位的4个图像传感器(124-127)。每个图像传感器具有其自己的一组外部参数。举例来说，图像传感器可以是如图2的示例中那样从外部安装在车辆的侧反光镜和后保险杠上的广角相机(124-127)。本领域技术人员将理解，图像传感器模块122还可以包括其它类型(例如，基于视觉的单色相机)和不同数量的图像传感器。此外，环境模块中还可以包括其它类型的环境传感器，例如雷达、激光雷达和超声波传感器。
图1的实施方案中的机器视觉模块140包括计算处理器142和与处理器142通信的硬件存储器144。计算处理器142可以例如是微控制器，并且也可以使用能够访问存储器144以存储信息并执行存储在其中的指令的图形处理单元(GPU)。存储器144可以包括非瞬态存储器(例如，硬盘驱动器、闪速存储器、随机存取存储器)、瞬态存储器或其组合。或者，处理器142和存储器144也可以集成在单个集成电路上。存储器144存储可由处理器142访问的信息以及可以由处理器142存储、检索或以其它方式使用的数据。例如，处理器142可以基于存储在存储器144中的指令执行根据本公开的用于校准图像传感器的一个或多个外部参数的自动化方法。存储器还可以包含用于处理器142判定图像帧是否可以用于外部参数校准的指令。这可以通过检查与图像帧相关联的特征是否满足一个或多个图像选择标准来实现。图像选择标准将包括与样本图像中合适的校准结构的可用性相关联的至少一个或多个条件。如前所述，本公开中的外部参数校准方法基于消失点的概念，并且需要包括至少两个彼此平行的校准特征边缘的第一组平行特征边缘。在一些实施方案中，判定图像帧是否包含第一组平行特征边缘的过程可以包括检测直线特征边缘的有无，然后检查它们是否平行。直线特征边缘的检测可以包括检测图像帧中边缘的有无并确定哪些检测到的边缘是直线。或者，可以从预定义的结构列表中选择潜在的校准结构，并检查这些结构作为校准结构的实际适用性。例如，预定义列表可以包括车道和道路标记作为潜在的校准结构。在一些实施方案中，可以使用各种方法来验证特征边缘的平行性，例如当拍摄图像帧时车辆的移动方向。可以从转向和/或车轮角度信息获得移动方向，处理器142可以从车辆***160中的一个或多个子模块获得转向和/或车轮角度信息。例如，ESC***162中的转向角度传感器164和车轮角度传感器166。图像选择标准还可包括与样本图像的品质有关的要素，尤其是与样本图像中潜在的校准结构的图像品质有关的要素。
然后，处理器142可以为第一组和第二组平行特征边缘确定位于正被校准的图像传感器的投影参照系上的消失点。投影参照系例如可以是图像传感器的图像平面或中间投影参照系，例如单一球体。举例来说，可以使用球面相机模型建模的图像传感器可以使用图像平面作为投影参照系，并且通过将圆拟合到第一组平行特征中的平行特征边缘的像点来确定第一组平行特征边缘的基准消失点。同时，通过使用预先存在的投影矩阵将来自平行特征边缘的点投影到图像平面上并找到特征边缘的所得图像之间的交点来导出与第二组平行特征边缘相关联的第二消失点。在另一实施方案中，可代之以使用单一球体作为球面相机图像传感器校准过程中的投影参照系。基准消失点在单一球体上的位置可以通过像素映射导出，而第二消失点在单一球体上的位置可以通过基于预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到单一球体上来获得。像素映射是指通过圆拟合为相应圆来逐个像素地将与第一组平行特征边缘中的特征边缘相关联的像点映射到单一球体上。尽管图1在功能上将处理器142和存储器144图示为位于同一框内，但是本领域的普通技术人员将理解，处理器和存储器实际上可以包括位于不同壳体中的多个处理器和/或存储器。因此，对处理器或存储器的引用将被理解为包括对能够执行本公开中描述的机器视觉模块的功能的处理器和/或存储器的集合的引用。此外，本领域技术人员将理解，机器视觉模块可以独立于其它模块或部件而存在。或者，它也可以是其它模块、程序或硬件的共享元件或过程。例如，处理器142和存储器144也可以构造成执行对象检测功能和/或车道保持辅助功能。
在一些实施方案中，机器视觉模块140可以构造成基于来自其它车辆模块的信息来提供自动图像传感器校准功能。例如，在图1的实施方案中，机器视觉模块140与包括电子稳定性控制(ESC)***162的车辆***160通信。ESC***可以包括测量方向盘位置角度和转弯率的转向角传感器164、车轮角度传感器166和ESC电子控制单元(ECU)168。在一些变型中，机器视觉模块140可以使用来自ESC***162的信息来判定样本图像是否满足一个或多个图像选择标准。例如，如果用于校准的第一组平行特征边缘包括车道标记或道路边界，则图像选择标准中之一可能会要求在拍摄样本图像时车辆以大致直线行驶，以便第一组中的特征边缘彼此平行。可以从测量车辆方向盘位置角度的转向角度传感器164、车轮角度传感器166或其组合获取有关车辆行驶方向的信息。
图2示出了配备有诸如图1中所示的***的车辆210的示例。应当理解，尽管所提供的示例示出了在校准安装在车辆上的图像传感器的外部参数的背景下使用的方法和设备，但这并不意图是限制性的。本公开还可以应用于安装在其它类型的平台上的校准图像传感器，无论是固定、移动、自主还是非自主的平台。在图2中，车辆210包括带有鱼眼镜头的四个广角图像传感器(124-127)。这四个图像传感器安装在位于车辆两侧的侧后视镜(124，125)和后保险杠的拐角(126，127)处。来自图像传感器的图像可以被组合以向驾驶者提供车辆周围的360度视野。该校准还可以应用于安装在车辆上的其它类型的图像传感器，例如单声道和立体声摄像机，而不是广角相机。由图像传感器(124-127)捕获的图像被传送到机器视觉模块140，在此它们可以被处理器142使用，以使用本公开中描述的方法来校准相应图像传感器的一个或多个外部参数。在一些实施方案中，可以对图像进行预处理，例如以在其被传输到机器视觉模块140之前去除噪声和失真。该预处理可以例如由环境模块120中的处理器执行。该预处理还可以在将图像用于校准之前由处理器142进行。在图2中，车辆210在道路上移动，该道路形成在二维x-y世界坐标空间中延伸并与沿垂直方向从图2的平面延伸出的z轴相交的地平面220。地平面220包括设置在车辆210两侧的平行车道标记(240a，240b)。安装在右侧后视镜上的第一图像传感器124具有由附图标记124a表示的视场。举例来说，机器视觉模块140可以构造成使用由第一图像传感器124捕获的图像中出现的第一组平行特征边缘来校准第一图像传感器124的一个或多个外部参数。如前所述，本公开仅需要包括两个平行特征边缘的第一组平行特征边缘，以用于图像传感器(例如球面相机图像传感器)的外部参数校准。具有已知尺寸的专用结构也不是必不可少的。例如，第一组平行特征边缘可以包括平行车道标记(240a，240b)。其它平行边缘特征(例如道路标记、路缘石或道路的侧面)也可以替代地或与车道标记结合使用，以形成第一组平行特征边缘。例如，第一组平行特征边缘可以包括与路缘石相结合的一排车道标记。
图3是示出了用于基于前面讨论的消失点概念来校准图像传感器的一个或多个外部参数的自动化方法300的示例性流程图。根据一种实施方案，该方法可以由位于诸如图1所示的***100内的机器视觉模块140执行。然而，应当理解，这并非旨在限制本公开，并且其它硬件和软件配置也可能是合适的。例如，用于执行该方法的处理器可以代替机器视觉模块位于其它地方，并且方法300可以通过位于不同模块中并共同执行该方法中的各个步骤的多个处理器的组合来实现。方法300在框301处开始，并且可以在机器视觉模块140中的处理器142接收到校准图像传感器的一个或多个外部参数的请求时启动。例如，这样的请求可以由需要校准的图像传感器或位于环境模块120内的处理器做出。该请求也可以周期性地和/或基于一个或多个指定事件的发生而做出。例如，可以基于车辆行驶的距离和/或车辆起动次数来周期性地做出请求。也可以基于事件的发生来触发它，例如可以触发外部参数变化的事件，或者当检测到外部参数的潜在漂移时。示例包括：当车辆的负载变化超过指定的阈值时，当检测到依赖于来自一个或多个图像传感器的图像的一个或多个功能的操作退化时，或其组合。在框301中的过程开始之后，该过程继续到框302，在此机器视觉模块选择可以用于校准从其中拍摄的图像传感器的样本图像帧。在框301中，在方法300开始时，可以触发图像传感器以捕获样本图像帧。图像传感器的触发还可以基于另外的标准，例如车辆是否直行，使得用于校准的特征边缘如车道标记将在图像帧中平行出现。在其它变型中，图像传感器构造成一旦点火开关被接通就连续捕获车辆环境的图像并从这些图像中选择样本图像帧。
在框302中选择了样本图像帧之后，该过程继续进行到决策框304，其中处理器142判定所选择的样本图像是否满足一个或多个图像选择标准。图像选择标准判定样本图像帧是否适合用于校准一个或多个外部参数。图像选择标准将包括与样本图像中合适的校准结构的可用性相关联的至少一个或多个条件。如前所述，本公开中的外部参数校准基于消失点的概念，并且需要第一组平行特征边缘作为校准结构。根据所使用的图像传感器的类型，第一组平行特征边缘可能需要更多平行特征边缘来确定基准消失点。然而，第一组平行特征边缘应当包括至少两个彼此平行的特征边缘。在一些实施方案中，机器视觉模块140可以构造成通过首先检测样本图像中有无直线特征边缘来识别潜在的校准结构。在这样的检测之前，可以对样本图像进行图像增强处理，该图像增强处理被设计为改善边缘检测能力，例如颜色校正、颜色掩蔽和噪声过滤。直线特征边缘的检测可以包括检测边缘的有无，然后确定哪些检测到的边缘是直线。可以将检测过程应用于整个样本图像，或者仅应用于更可能找到校准结构的特定区域。示例包括车辆道路的部分，在这些部分中车道标记和其它用于划定车道或道路边界的特征位于其中。边缘检测算法(例如canny边缘检测算法、最小单值段同化核(SUSAN)边缘检测算法、Sobel滤波器和其它基于canny边缘检测的算法)可用于检测边缘的有无，而霍夫变换可用于检测哪些检测到的边缘是直线。一旦已识别出直线特征边缘(如果有)，就可以将它们分组为潜在的平行特征边缘的相应集合，并标记为关注区域(ROI)。在另一实施方案中，可以从结构的预定义列表中选择潜在的校准结构，并且检查这些结构作为校准结构的实际适用性。例如，预定义列表可以包括车道和道路标记作为潜在的校准结构。机器视觉模块可能依赖于来自其它操作的信息，例如车道保持功能，用于获取有关车道标记在图像中的位置的信息。在识别出潜在的第一组平行特征之后，该过程可以检查这些潜在特征边缘是否平行。在一些实施方案中，可以通过在记录样本图像时查看车辆的行驶方向来推断平行度。例如，如果将一对车道标记用作校准结构，则在当捕获图像帧时转向角和/或车轮角度接近零(例如0.2度或更小)的情况下可以假定它们在图像帧中是平行的。车辆的转向角度和车轮角度可以分别从转向角度传感器164和车轮角度传感器166获得。以图2中的场景为例，车辆坐标系包括沿着车辆的纵向轴线延伸的x轴、沿着车辆的横向轴线(例如连接两侧车轮的车轴)延伸的y轴以及垂直于x和y轴从图纸平面伸出的z轴。在正常操作期间，如果车辆的行进方向212沿着车辆坐标系的x轴，则车辆的转向角度和车轮角度为零。因此，当车辆的转向角基本为零时，由于车辆210的x轴将平行于车道标记，所以车道标记(240a，240b)在由第一图像传感器124捕获的图像中将显示为基本平行。
图像选择标准还可以包括与样本图像的品质有关的要素，尤其是与样本图像中潜在的校准结构的图像品质有关的要素。可以基于一个或多个因素来评估图像品质，例如特征锐度、噪声水平、失真水平、对比度和分辨率。例如，样本图像不应曝光不足或曝光过度。用作校准结构的特征边缘还应具有清晰且不模糊或散焦的边缘。与图像品质有关的标准还可能需要潜在的校准结构与背景(例如路面)之间的最小对比度，以便校准结构清晰可见。例如，如果潜在的校准结构包括如图2的示例中所示的车道标记，则车道标记与路面之间应有足够的对比度，以便可以从样本图像帧中的路面清晰地辨别车道标记。如果在样本图像中识别出多于一个的潜在校准结构，则可以消除那些不符合图像品质相关要求的结构。在一些实施方案中，图像选择标准还可以包括与车辆的外部环境有关的要求。例如，示例包括要求在车辆在没有曲率或倾斜度的平坦路面上行驶时拍摄图像。
如果样本图像满足图像选择标准，则过程转入框310。另一方面，如果不满足图像选择标准，则过程返回到框302，其中选择来自第一图像传感器的另一样本图像。重复框302和304中的步骤，直到获得满足图像选择标准的样本图像。在框310中，选择形式为第一组平行特征边缘的校准结构。第一组平行特征边缘包括至少两个彼此平行的特征边缘。所需的平行特征边缘的实际数量可能会有所不同，具体取决于确定正被校准的图像传感器类型的基准消失点所需的平行特征的数量。例如，可以使用包括使用鱼眼镜头的中央反射折射***的球面相机模型建模的图像传感器仅需要两个平行特征边缘，以便确定可以用于校准的基准消失点。可以使用一个或多个校准结构选择标准来在适合用作校准结构的两组或更多组特征边缘之间做出决定。例如，可以使用与特征边缘的图像品质有关的特征。所选择的第一组平行特征边缘的图像可以经受构造成改善特征边缘的锐度的图像处理步骤。例如，该处理可以通过执行连接的分量分析来抑制虚假边缘，并且可以使用随机样本共识(RANSAC)算法过滤掉不构成该组中的特征边缘的一部分的错误像点。
然后，在框320中，该过程继续以确定第一组平行特征边缘的基准消失点。基准消失点位于投影参照系上。投影参照系可以指在图像帧中出现的二维图像平面或在将现实世界中的3维点投影到2维图像平面的过程中涉及的任何中间投影参照系。例如，在球面相机模型图像传感器的情况下，将现实世界中的3维点映射到2维图像涉及两个投影步骤。第一个是3维点到单一球体上的一个点的投影，第二个是从单一球体到传感器的图像平面的透视投影。在这种情况下，单一球体和图像平面都可以用作投影参照系。图4A示出了包括一对平行的纵向特征边缘(410a，410b)的第一组平行特征边缘410的示例性真实生活视图。在一个实施方案中，纵向特征构成车道标记——例如图2中所示的车道标记240a和240b——的两个平行轨道的一部分。图4B是当由图像传感器捕获时图4A中的第一组平行特征边缘的相应图像420，该图像传感器可以使用球面相机模型如使用鱼眼镜头的图像传感器进行建模。已知对于基于球面相机模型的图像传感器，现实世界中的直线作为圆锥曲线投影在图像平面中，由于非线性失真，圆锥曲线可以近似为圆的一部分。这在图4B中示出，其中图4A中的直线第一和第二特征边缘(410a，410b)作为圆锥曲线(420a，420b)投影在鱼眼图像平面中。
在图像传感器基于球面相机模型的一个实施方案中，可以通过将圆拟合到第一和第二特征边缘(420a，420b)的鱼眼图像并找到两个圆之间的交点来确定图像平面中的第一组平行特征的基准消失点。诸如逆鱼眼映射的其它方法也可以用于导出基准消失点。如果第一和第二特征边缘在现实世界坐标中不平行，则它们最多将在一个点而不是两个点处相交。该理论还可以用作判定第一组平行特征边缘中的特征边缘是否平行的手段。以图4A和图4B中的一对平行的纵向特征边缘为例，将第一圆(520a)拟合到第一特征边缘(420a)的图像，并且将第二圆(520b)拟合到第二特征边缘(420b)的图像。第一和第二特征边缘的图像在图5中被显示为白色曲线。选择相应圆的半径和中心，使得每个特征边缘的大多数像点位于该圆上。为此，可以设置像点的最小阈值百分比。例如，可以拟合圆，使得来自特征边缘(例如，图4B中的420a、420b)的像点的95％或更多落在该圆上。在一些实施方案中，可以使用斜率下降方法来找到最佳拟合最大像点数的圆。此方法使用损失函数(L)，其中形成特征边缘的每个像点相对于半径Rj以及中心u0j和v0j的拟合圆的误差函数是根据每个像点到该圆的中心的欧几里得距离定义，并受圆的半径偏置。计算并归纳每个像点的误差。
Figure BDA0002328157220000141
其中
(uij，vij)是平行特征边缘上的i，j处的像点
(u0j，v0j)和Rj分别是拟合圆的中心和半径
在第一次迭代中，首先从具有中心(u0，v0)和半径(R0)的圆开始，使用公式(1)计算损失函数(L)。通过更改圆的中心的位置及其半径来迭代地重复此操作，直到获得其中心和半径最小化或减小误差函数(在此示例中为损失函数(L))的圆，使得误差函数在阈值极限内。可以基于应该位于圆上的像点的阈值百分比来定义阈值极限。本领域技术人员将认识到，除了损失函数之外，用于拟合圆的其它公式也可能是合适的。图5示出了将第一和第二圆(520a，520b)分别拟合到第一和第二特征边缘(420a，420b)的像点的示例。在将第一和第二圆拟合到第一和第二特征边缘之后，可以通过确定第一和第二圆在何处相交来导出第一组平行特征边缘的基准消失点。例如，在图4-5的图示中，消失点位于由附图标记540和560指示的点处。在一个实施方案中，可以通过找到满足以下圆方程的[vl1 vl2]T和[vh1 vh2]T的值来确定基准消失点[vl1 vl2]T和[vh1 vh2]T，其中：
(u-u01)2+(v-v01)2-R01 2＝0
-------(2)
(u-u02)2+(v-v02)2-R02 2＝0--------(3)
(u01，v01)，R1＝第一圆的圆心和半径
(u02，v02)，R2＝第二圆的圆心和半径
在已确定基准消失点之后，该方法继续转入框330，其中选择地平面上与第一组平行特征边缘平行的第二组平行特征边缘。第二组平行特征边缘可以是存在于现实世界中的实际特征边缘或虚拟特征边缘。图6示出了为第二组平行特征边缘选择虚拟特征边缘的示例性方法。示出了包括形式为2个平行车道标记(620，640)的第一组平行特征边缘的路面或地平面610。出于说明的目的，我们将假定图像传感器被安装在具有车辆坐标系的车辆660上，该车辆坐标系包括沿着车辆的纵向轴线延伸的x轴、沿着车辆的横向轴线——例如连结两侧车轮的车轴——延伸的y轴以及垂直于x和y轴从纸张平面伸出的z轴。从图像帧导出关于车辆坐标系在至少一个车道标记(例如620)上的两个或更多个点的真实世界坐标。可以通过使至少一个车道标记(例如620)上的点的坐标沿着车辆的y轴移动来导出位于地平面610上并且平行于车道标记(620，640)的第二组平行特征边缘。为了说明的目的，假设第一车道标记620包括具有坐标(x＝-100，y＝0，z＝0)的点620a和具有坐标(x＝-10，y＝0，z＝0)的另一点620b。可以通过沿着车辆坐标系的y轴移动点620a和620b来获得属于第二组平行边缘的第三特征边缘。如前所述，如果车辆的转向和/或车轮角度接近零，车道标记(620，640)将平行于车辆坐标系的x轴。因此，通过在保持x和z坐标不变的同时沿着车辆坐标系的y轴移动，可以获得通过平行于第一车道标记620的线的点。将该原理应用于图6的示例，通过使车道标记620上的点620a和620b沿着y轴移动从而获得分别具有坐标(x＝-100，y＝50，z＝0)和(x＝-10，y＝50，z＝0)的点670a和670b，来导出第二组平行特征边缘的第三特征边缘670。平行于车道标记620的第三特征边缘670穿过点670a和670b。类似地，第二组平行特征边缘的第四特征边缘680可以定义为穿过在图6中用附图标记680a和680b表示的点(x＝-100，y＝150，z＝0)和(x＝-10，y＝150，z＝0)的线。可以通过使点620a和620b沿着车辆坐标系的y轴移位来获得点680a和680b。
在于框330中选择第二组平行特征边缘之后，该方法转入框340，其中处理器基于图像传感器的预先存在的投影矩阵将来自第二组平行特征边缘的多个点投影到图像传感器的投影参照系上。为此目的，可以使用已知的建模软件，例如Cam2算法。由于此处的目的是检查第二组平行特征边缘的消失点与基准消失点之间的任何偏差，来自第二组平行特征边缘的点被投影的投影参照系将与相对于其导出基准消失点的投影参照系相同。例如，在图4-5的示例中，基准消失点是在框320中相对于图像平面导出的。因此，在框340中，来自第二组平行特征边缘的点也将被投影到该图像平面上，从而可以确定图像平面上的第二消失点。图像传感器的投影矩阵通常关于图像传感器的固有和外部参数表达。如果这是在投影参照系上的第一轮投影，则将基于最后已知的固有和外部参数的预先存在的投影矩阵用于投影第二组平行特征边缘。使用图4-5中的相同球面相机模型图像传感器示例，将来自第二组平行特征边缘的多个点投影到图像传感器的图像平面上得到以可以近似为圆的一部分的圆锥曲线(见图7)形式出现的第三和第四特征边缘的图像(770、780)。
在框350中，处理器为第二组平行特征边缘确定位于投影参照系上的第二消失点。回到图4-5的示例，由于图像传感器基于球面相机模型，所以第二组平行特征边缘的消失点也可以通过将圆拟合到第三和第四特征边缘的像点(770，780)而导出。在此也可以采用与用于导出与第一组平行特征边缘相关联的第一和第二圆相同的圆拟合方法。方程4示出了在第一次迭代中应用于拟合圆和半径的损失函数
Figure BDA0002328157220000171
其中
(urij，vrij)是在i、j处的投影特征边缘的像点，
(ur0，vr0)和Rr0分别是第一次迭代中的拟合圆的中心和半径。
图7示出了通过分别拟合到第三和第四特征边缘的像点(770，780)而获得的第三圆775和第四圆785。由于第三和第四特征边缘是平行的，所以第三和第四圆在点790和792处相交，所述点对应于图像平面上的第二组平行特征边缘的消失点(即第二消失点)。类似地，可以通过求解与用于在框320中导出基准消失点的圆方程类似的圆方程来获得第二消失点。举例来说，可以通过求解以下圆方程来确定第二消失点[vrl1 vrl2]T和[vrh1 vrh2]T：
(u-u01)2+(v-v01)2-rr01 2＝0-------(5)
(u-ur02)2+(v-vr02)2-rr02 2＝0--------(6)
(ur01，vr01)，rr1＝第三圆的圆心和半径
(ur02，vr02)，rr2＝第四圆的圆心和半径
在已确定了第二消失点之后，在框360中，该方法检查第二消失点与基准消失点的变化。基于前面讨论的消失点概念，第一和第二组平行特征的消失点应当重合，因为它们的特征边缘在现实世界中彼此平行。但是，如果用于将来自第二组平行特征边缘的点投影到投影参照系上的投影矩阵中存在错误，则第二组平行特征边缘在图像平面或所使用的任何其它投影参照系中将不再与第一组平行。因此，第二消失点不会与基准消失点重合。例如，在图7中，通过投影来自第二组平行特征边缘的点而在框350中导出的第二消失点(790，792)与在框330中导出的基准消失点(540，560)不重合，即使第二组平行特征边缘已被选择为使得在现实世界的情况下第一和第二组平行特征边缘彼此平行。消失点位置的这种偏差指示预先存在的投影矩阵中的误差。然后，该方法转入决定框370，其检查第二消失点与基准消失点的任何位置偏差是否在可接受的预定极限内。如果该变化超出可接受的预定极限，则该方法转入步骤380，其中通过调节一个或多个外部参数来修改预先存在的投影矩阵，然后返回框340并重复框340-360，直到第二消失点的任何位置偏差在可接受的预定极限内。这里假设投影矩阵中的任何误差都归因于一个或多个外部参数的偏移，而不是诸如焦距、光学中心之类的固有参数值的偏移。另一方面，如果基准消失点与第二消失点之间的任何变化在预定义的极限内，要么由于差异最初在可接受的极限内，要么在调节一个或多个外部参数值后变得如此，则过程转入框390。
在其中通过圆拟合导出基准消失点和第二消失点的一些球面相机图像传感器实施方案中，减少基准消失点与第二消失点之间的变化的过程可以包括绘制将基准消失点(540，560)连接的第一连接线(R)和将第二消失点(790，792)连接的第二连接线(S)。回到图4-5和7所示的示例，第一连接线的方程R可以表达为
Figure BDA0002328157220000181
并且第一连接线的斜率可以表达为
Figure BDA0002328157220000182
类似地，第二连接线S的方程可以表达为
Figure BDA0002328157220000191
并且第二连接线的斜率可以表达为
Figure BDA0002328157220000192
在一任选变型中，最初调节所述一个或多个外部参数，以减小第二和第一连接线之间的任何斜率差异。这里的想法是使第二连接线的斜率与第一连接线的斜率匹配。要减小的第二连接线的总斜率误差可以表达为
Figure BDA0002328157220000193
发明人发现，取向相关的外部参数的变化倾向于表现为第二连接线的斜率的变化，而平移相关的外部参数的变化对第二连接线的斜率没有太大影响。因此，在一优选实施例中，出于斜率匹配目的而调节一个或多个外部参数优选地涉及调节一个或多个与取向相关的外部参数。当第二连接线和第一连接线之间的斜率偏差在斜率极限内时，可以通过调节一个或多个外部参数来调节第二连接线的位置和/或长度以匹配第一连接线的位置和/或长度。优选地，被调节的外部参数优选地与平移有关。特别地，发明人已经发现，y和z平移外部参数的变化趋向于引起第一连接线和第二连接线之间的位置差异。另一方面，x平移外部参数趋向于引起第二连接线的长度偏离第一连接线的长度。
为了减小第二连接线和第一连接线之间的斜率偏差而进行的调节(如果有)将导致第一连接线和第二连接线基本彼此平行，并且因此它们之间的任何距离都可以近似为两者之间的垂直距离。调节第二连接线以减小斜率偏差还会导致第二消失点的位置沿u方向移动Δu的距离并沿v方向移动Δv的距离。因此，新的一组第二消失点为[vrl1+Δul1 vrl2+Δvl1]T，and[vrh1+Δul2 vrh2+Δvl2]T。因此，在斜率调节之后基准消失线与新的第二连接线之间的距离可以通过相应的消失线对的欧几里得距离来近似。例如，如果我们将图7中的基准消失点540称为上部基准消失点并且将第二消失点790称为上部第二消失点，则可以将它们与新的一组第二消失点之间的误差函数差表示为
(vrl1+Δul1-vl1)2+(vrl2+Δvl1-vl2)2-------(12)
可以通过递归地改变y和z平移外部参数来减小此距离。当距离偏差在可接受的误差范围内时，可以优选地通过调节x平移外部参数来调节第一连接线和调节后的第二连接线的长度，以将任何长度差异最小化或减小到可接受的水平。第一和第二连接线的长度可以由以下方程(13)和(14)中所示的公式表示。第二连接线上的坐标是在对第一和第二连接线之间的斜率和/或位置偏差进行任何在先调节之后的坐标。
第一连接线的长度，
Figure BDA0002328157220000201
第二连接线的长度，
Figure BDA0002328157220000202
因此，长度偏差可以表达为l1和l2之间的绝对差值。当第二消失点与基准消失点的任何偏差在预定义的极限内时，该过程转入框390。该方法在框390处结束。如果一个或多个外部参数发生了变化，则通过框340-360的递归执行导出的一个或多个修改后的外部参数将是在投影矩阵中使用的新的外部参数值。
如前所述，投影参照系也可以是中间投影参照系。例如，根据球面相机模型，现实世界中的3D点映射到2D图像包括3D点到单一球体上的一个点的第一次投影和从单一球体到传感器的图像平面的第二次透视投影。因此，可以使用球面相机模型建模的图像传感器可以将图像平面或单一球面用作投影参照系。可以通过像素映射第一组平行特征边缘的像点来导出基准消失点在单一球体上的位置。图8A示出了单一球体810的一个示例，其中与第一组平行特征边缘中的第一和第二平行特征边缘相关联的像点通过圆拟合为第一圆和第二圆(820a，820b)逐个像素映射到单一球体上。在球面相机模型下，直线作为圆投影在单一球体的表面上，并且平行线将在两个消失点处相交，所述两个消失点对应于单一球体上的圆相交的位置。因此，在图8A中，第一和第二特征边缘的消失点位于第一圆和第二圆相交的点822和826处。图8B示出了白色的第三圆和第四圆(850a，850b)，该第三圆和第四圆是通过基于图像传感器的预先存在的投影矩阵将来自根据现实世界坐标的第三和第四平行特征边缘的多个点投影到单一球体810上而获得的。cam2模块可用于该投影。第三和第四特征边缘形成与第一组平行特征边缘平行的第二组平行特征边缘。第三圆和第四圆(850a，850b)在单一球体上相交的点对应于单一球体投影参照系上第二组平行特征边缘的第二消失点(852，856)。在图8B的示例中，第二消失点(852，856)的位置与基准消失点(822，826)不同。这表明图像传感器的一个或多个外部参数已经从其预先存在的值漂移，从而影响投影矩阵的准确性。类似于图3中的框360，自动的外部参数校准过程可以检查以查看差异是否在可接受的预定极限内，并通过递归地调节一个或多个外部参数并检查第二消失点的新位置来减小差异，直到差异在可接受的预定极限内。在一些实施方案中，可以绘制分别将基准消失点(822，826)和第二消失点(852，856)连接的第一连接线和第二连接线(R，S)。然后可以通过首先减小第二连接线S的长度与第一连接线(R)的长度的任何偏差并随后减小连接线(R，S)之间的角度θ来减小基准消失点与第二消失点之间的位置差。可以通过调节z-平移外部参数来使第二连接线S的长度与第一连接线的长度匹配，并调节取向相关的外部参数以将角度θ减小到可接受的误差范围内。
虽然本文已经公开了各个方面和实施方案，但其它方面和实施方案对本领域的技术人员来说将是显而易见的。例如，尽管以上描述说明了本公开被应用于校准安装在车辆平台上的图像传感器的一个或多个外部参数，但是用于校准图像传感器的一个或多个外部参数的校准方法和设备也可以应用于安装在其它类型的平台上的图像传感器，无论是固定的、移动的、自主的还是非自主的平台。本文公开的各个方面和实施方案是出于说明的目的而不是意在加以限制，真实范围和精神通过以下权利要求以及这些权利要求所赋予的等同物的全部范围来指示。还应理解，本文使用的术语仅仅是出于描述具体实施方案的目的，且并非意在加以限制。

Claims (19)

1.一种用于校准图像传感器的一个或多个外部参数的方法，包括：
选择在由图像传感器捕获的图像帧中出现的第一组平行特征边缘；
确定所述第一组平行特征边缘的基准消失点，所述基准消失点位于所述图像传感器的投影参照系上；
选择与所述第一组平行特征边缘平行的第二组平行特征边缘；
基于所述图像传感器的预先存在的投影矩阵将来自所述第二组平行特征边缘的多个点投影到所述投影参照系上；
为所述第二组平行特征边缘确定位于所述投影参照系上的第二消失点；以及
通过递归执行至少以下步骤来减小所述第二消失点与所述基准消失点的任何位置偏差，直到所述偏差在一个或多个预定极限内：
通过调节一个或多个所述外部参数来修改所述预先存在的投影矩阵；
使用修改后的预先存在的投影矩阵将来自所述第二组平行特征边缘的多个点投影到所述投影参照系上；和
在投影之后确定所述第二消失点。
2.根据权利要求1所述的方法，其中，所述图像传感器是能够使用球面相机模型建模的传感器。
3.根据权利要求2所述的方法，其中，所述图像传感器的投影参照系是所述图像传感器的图像平面，并且确定所述第一组平行特征的第一对基准消失点包括：
将第一圆和第二圆拟合到所述第一组平行边缘中的第一和第二特征边缘的像点，并确定所述第一圆和第二圆在何处相交。
4.根据权利要求3所述的方法，其中，确定所述第二组平行特征边缘的第二消失点包括：
将第三圆和第四圆拟合到所述第二组平行边缘中的第三和第四特征边缘的像点，所述像点是通过基于所述图像传感器的预先存在的投影矩阵将来自所述第二组平行特征边缘中的所述第三和第四特征边缘的多个点投影到所述图像平面上而获得的；以及
确定所述第三圆和第四圆在何处相交。
5.根据权利要求3或4所述的方法，其中，至少所述第一圆、第二圆、第三圆或第四圆的拟合基于最小化损失函数。
6.根据权利要求2至5中任一项所述的方法，其中，减小所述第二消失点与所述基准消失点的任何位置偏差直到所述偏差在所述一个或多个预定极限内还包括：
绘制将所述基准消失点连接的第一连接线；以及
绘制将所述第二消失点连接的第二连接线。
7.根据权利要求6所述的方法，其中，通过调节一个或多个所述外部参数来修改所述预先存在的投影矩阵包括：首先调节所述一个或多个外部参数以减小所述第二连接线和所述第一连接线之间的任何斜率偏差，直到所述斜率偏差在斜率极限内，然后调节所述一个或多个外部参数以减小所述第二连接线与所述第一连接线的任何位置偏差或长度偏差。
8.根据权利要求7所述的方法，其中：
首先调节所述一个或多个外部参数以减小所述第二连接线和第一连接线之间的斜率偏差直到所述斜率偏差在斜率极限内包括调节一个或多个与取向有关的外部参数。
9.根据权利要求7或8所述的方法，其中：
调节所述一个或多个外部参数以减小所述第一连接线和第二连接线的任何位置偏差和/或长度偏差包括调节一个或多个与平移有关的外部参数。
10.根据权利要求2所述的方法，其中，所述投影参照系是单一球体。
11.根据前述权利要求中任一项所述的方法，其中，所述图像传感器被安装在车辆上，并且选择第一组平行特征边缘包括：
检测所述图像帧中的至少两个特征边缘；以及
通过在捕获所述图像帧时至少检查所述车辆的转向角度或车轮角度来判定所述特征边缘是否平行。
12.根据前述权利要求中任一项所述的方法，其中，所述图像传感器被安装在车辆上，并且通过使所述第一组平行特征边缘沿着沿所述车辆的横向轴线定位的所述车辆的坐标轴移动来获得所述第二组平行特征边缘。
13.根据前述权利要求中任一项所述的方法，其中，所述第二组平行特征边缘是虚拟特征边缘。
14.一种用于校准图像传感器的一个或多个外部参数的设备，包括：
处理器；
至少一个存储器，其耦合到所述处理器并存储能由所述处理器执行的指令，使所述处理器：
选择在由所述图像传感器捕获的图像帧中出现的第一组平行特征边缘；
确定所述第一组平行特征边缘的基准消失点，所述基准消失点位于所述图像传感器的投影参照系上；
选择与所述第一组平行特征边缘平行的第二组平行特征边缘；
基于所述图像传感器的预先存在的投影矩阵将来自所述第二组平行特征边缘的多个点投影到所述投影参照系上；
为所述第二组平行特征边缘确定位于所述投影参照系上的第二消失点；以及
通过递归执行至少以下步骤来减小所述第二消失点与所述基准消失点的任何位置偏差，直到所述偏差在一个或多个预定极限内：
通过调节一个或多个所述外部参数来修改所述预先存在的投影矩阵；
使用修改后的预先存在的投影矩阵将来自所述第二组平行特征边缘的多个点投影到所述投影参照系上；和
在投影之后确定所述第二消失点。
15.根据权利要求14所述的设备，其中，所述图像传感器是能够使用球面相机模型建模的传感器，所述投影参照系是所述图像传感器的图像平面，并且所述至少一个存储器使所述处理器：
通过将第一圆和第二圆拟合到所述第一组平行边缘中的第一和第二特征边缘的像点来确定所述基准消失点，其中所述基准消失点位于所述第一圆和第二圆相交处；
通过将第三圆和第四圆拟合到所述第二组平行边缘中的第三和第四特征边缘的像点来确定第二消失点，所述像点是通过将来自所述第三和第四特征边缘的多个点投影到所述图像传感器的图像平面而获得的，其中所述第二消失点位于所述第三圆和第四圆相交处。
16.根据权利要求14或15所述的设备，其中，所述图像传感器被安装在车辆上，并且所述至少一个存储器使所述处理器通过至少以下步骤来选择第一组平行特征边缘：
检测所述图像帧中的至少两个直线特征边缘；和
通过在捕获所述图像帧时至少检查车辆的转向角度或车轮角度来判定所述直线特征边缘是否平行。
17.根据权利要求14至16中任一项所述的设备，其中，所述图像传感器被安装在车辆上，并且所述至少一个存储器通过使所述第一组平行特征边缘沿着沿所述车辆的横向轴线定位的所述车辆的坐标轴移动来选择第二组平行特征边缘。
18.一种非瞬态计算机可读存储介质，包括用于执行根据权利要求1至13中任一项所述的方法的计算机可读指令。
19.一种车辆，包括根据权利要求14至17中任一项所述的用于校准图像传感器的一个或多个外部参数的设备。
CN201911333327.XA 2018-12-18 2019-12-17 用于校准图像传感器的外部参数的方法和设备 Active CN111336951B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1820572.4A GB2579843A (en) 2018-12-18 2018-12-18 Method and apparatus for calibrating the extrinsic parameter of an image sensor
GB1820572.4 2018-12-18

Publications (2)

Publication Number Publication Date
CN111336951A true CN111336951A (zh) 2020-06-26
CN111336951B CN111336951B (zh) 2021-12-21

Family

ID=65147318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911333327.XA Active CN111336951B (zh) 2018-12-18 2019-12-17 用于校准图像传感器的外部参数的方法和设备

Country Status (6)

Country Link
US (1) US11393126B2 (zh)
EP (1) EP3671643A1 (zh)
JP (1) JP6924251B2 (zh)
KR (1) KR102365501B1 (zh)
CN (1) CN111336951B (zh)
GB (1) GB2579843A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150560A (zh) * 2020-09-27 2020-12-29 上海高德威智能交通***有限公司 确定消失点的方法、装置及计算机存储介质
WO2022032716A1 (en) * 2020-08-12 2022-02-17 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
WO2024139957A1 (zh) * 2022-12-30 2024-07-04 博泰车联网科技(上海)股份有限公司 Ar导航显示误差校准方法、导航显示校准方法及相关设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410334B2 (en) * 2020-02-03 2022-08-09 Magna Electronics Inc. Vehicular vision system with camera calibration using calibration target
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准***
CN112150558B (zh) * 2020-09-15 2024-04-12 阿波罗智联(北京)科技有限公司 用于路侧计算设备的障碍物三维位置获取方法及装置
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
CN112873280B (zh) * 2021-01-11 2022-10-25 上海思岚科技有限公司 一种用于机器人的传感器的标定方法及设备
US11702089B2 (en) * 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system
US11967112B2 (en) * 2022-09-07 2024-04-23 AitronX Inc. Method and apparatus for detecting calibration requirement for image sensors in vehicles
CN117830592B (zh) * 2023-12-04 2024-07-12 广州成至智能机器科技有限公司 一种基于图像的无人机夜间照明方法、***、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
CN102749209A (zh) * 2012-07-02 2012-10-24 麦苗 通道式汽车车轮定位仪及其检测方法
CN103136747A (zh) * 2011-11-28 2013-06-05 歌乐株式会社 车载摄像***及其校准方法和校准程序
JP5492275B1 (ja) * 2012-10-31 2014-05-14 三菱電機株式会社 ワイヤロープ検査装置の校正方法及び校正治具
CN104010560A (zh) * 2011-12-21 2014-08-27 皇家飞利浦有限公司 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿
CN104457805A (zh) * 2013-09-13 2015-03-25 佳能株式会社 编码器和使用编码器的装置
DE102013222291A1 (de) * 2013-11-04 2015-05-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN106895797A (zh) * 2016-08-12 2017-06-27 湖南佳林智能装备有限公司 一种转子偏移角度判定方法及校正装置
CN207867476U (zh) * 2017-12-18 2018-09-14 嘉兴仁光乌镇科技有限公司 用于产生平行于屏幕的红外光幕的装置及相关检测装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
JP4863922B2 (ja) 2007-04-18 2012-01-25 三洋電機株式会社 運転支援システム並びに車両
EP2243125B1 (en) * 2007-12-13 2020-04-29 Clemson University Research Foundation Vision based real time traffic monitoring
CN101894366B (zh) 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控***
JP5455124B2 (ja) * 2010-04-01 2014-03-26 国立大学法人鳥取大学 カメラ姿勢パラメータ推定装置
KR102248459B1 (ko) * 2015-02-03 2021-05-06 한국전자통신연구원 카메라 캘리브레이션 장치 및 방법
JP6780661B2 (ja) 2016-01-15 2020-11-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
US10008000B2 (en) * 2016-05-18 2018-06-26 Conduent Business Services, Llc Camera calibration based on moving vehicle line segments
US10127637B2 (en) * 2016-08-30 2018-11-13 Adobe Systems Incorporated Automatic orientation adjustment of spherical panorama digital images
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
CN103136747A (zh) * 2011-11-28 2013-06-05 歌乐株式会社 车载摄像***及其校准方法和校准程序
CN104010560A (zh) * 2011-12-21 2014-08-27 皇家飞利浦有限公司 来自体积模态的结构到未校准内窥镜的视频上的叠加与运动补偿
CN102749209A (zh) * 2012-07-02 2012-10-24 麦苗 通道式汽车车轮定位仪及其检测方法
JP5492275B1 (ja) * 2012-10-31 2014-05-14 三菱電機株式会社 ワイヤロープ検査装置の校正方法及び校正治具
CN104457805A (zh) * 2013-09-13 2015-03-25 佳能株式会社 编码器和使用编码器的装置
DE102013222291A1 (de) * 2013-11-04 2015-05-07 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Schätzung der Einbauwinkel eines in einem Fahrzeug montierten bildgebenden Sensors
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN106895797A (zh) * 2016-08-12 2017-06-27 湖南佳林智能装备有限公司 一种转子偏移角度判定方法及校正装置
CN207867476U (zh) * 2017-12-18 2018-09-14 嘉兴仁光乌镇科技有限公司 用于产生平行于屏幕的红外光幕的装置及相关检测装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022032716A1 (en) * 2020-08-12 2022-02-17 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
US11348277B2 (en) 2020-08-12 2022-05-31 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
CN112150560A (zh) * 2020-09-27 2020-12-29 上海高德威智能交通***有限公司 确定消失点的方法、装置及计算机存储介质
CN112150560B (zh) * 2020-09-27 2024-02-02 上海高德威智能交通***有限公司 确定消失点的方法、装置及计算机存储介质
WO2024139957A1 (zh) * 2022-12-30 2024-07-04 博泰车联网科技(上海)股份有限公司 Ar导航显示误差校准方法、导航显示校准方法及相关设备

Also Published As

Publication number Publication date
US11393126B2 (en) 2022-07-19
EP3671643A1 (en) 2020-06-24
JP2020098591A (ja) 2020-06-25
KR20200075766A (ko) 2020-06-26
KR102365501B1 (ko) 2022-02-21
GB2579843A (en) 2020-07-08
JP6924251B2 (ja) 2021-08-25
US20200193641A1 (en) 2020-06-18
GB201820572D0 (en) 2019-01-30
CN111336951B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN111336951B (zh) 用于校准图像传感器的外部参数的方法和设备
JP7301909B2 (ja) 地図データ、レーザ、およびカメラからのヨー誤差の確定
CN107703528B (zh) 自动驾驶中结合低精度gps的视觉定位方法及***
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
US8259174B2 (en) Camera auto-calibration by horizon estimation
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
CN110176038B (zh) 校准车辆的摄像头的方法、***和存储介质
US20110228101A1 (en) Method and device for determining calibration parameters of a camera
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和***及电子设备
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN115578470B (zh) 一种单目视觉定位方法、装置、存储介质和电子设备
US11151729B2 (en) Mobile entity position estimation device and position estimation method
CN113518995A (zh) 用于训练和使用神经网络以检测自部件位置的方法
US20090099767A1 (en) Light stripe detection method for indoor navigation and parking assist apparatus using the same
CN110515376B (zh) 一种航迹推演校正的评价方法、终端和存储介质
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
JP7232005B2 (ja) 車両の走行環境検出装置及び走行制御システム
CN111316337A (zh) 车载成像装置的安装参数的确定与驾驶控制方法及设备
JP7380443B2 (ja) 部分画像生成装置及び部分画像生成用コンピュータプログラム
JP7505909B2 (ja) キャリブレーション装置及びキャリブレーション方法
CN115346191A (zh) 用于校准的方法和设备
EP3227827A1 (en) Driver assistance system, motor vehicle and method for classifying a flow vector
US20240212194A1 (en) Vehicle and control method thereof
CN117726693A (zh) 相机标定方法、控制器及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230116

Address after: Germany Ingolstadt

Patentee after: Continental Zhixing Germany Co.,Ltd.

Address before: Hannover

Patentee before: CONTINENTAL AUTOMOTIVE GmbH