CN102982526B - 标定车辆视觉***的方法和车辆视觉*** - Google Patents

标定车辆视觉***的方法和车辆视觉*** Download PDF

Info

Publication number
CN102982526B
CN102982526B CN201210179833.XA CN201210179833A CN102982526B CN 102982526 B CN102982526 B CN 102982526B CN 201210179833 A CN201210179833 A CN 201210179833A CN 102982526 B CN102982526 B CN 102982526B
Authority
CN
China
Prior art keywords
imaging sensor
sensor
orientation
image
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210179833.XA
Other languages
English (en)
Other versions
CN102982526A (zh
Inventor
K.纳特罗什威利
K-U.肖勒
J.夸斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN102982526A publication Critical patent/CN102982526A/zh
Application granted granted Critical
Publication of CN102982526B publication Critical patent/CN102982526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种车辆视觉***包括分别捕获具有非线性畸变的图像的多个图像传感器（11至14）。为了标定所述车辆视觉***，使用图像传感器(11)捕获多个(22)物体的图像，以及使用额外图像传感器(13)捕获所述多个(22)物体的额外图像。所述图像传感器(11)和所述额外图像传感器(13)具有重叠的视场(15、17)。所述图像传感器(11)相对于所述多个(22)物体的位置和定向基于所述捕获的图像确定。所述额外图像传感器(13)相对于所述多个(22)物体的位置和定向基于所述捕获的额外图像确定。所述额外图像传感器(13)与所述图像传感器(11)之间的相对位置和定向基于所述确定的结果而建立。

Description

标定车辆视觉***的方法和车辆视觉***
技术领域
本发明涉及标定车辆视觉***的方法和车辆视觉***。本发明尤其涉及可建立组合用不同摄像机捕获的图像所需的摄像机***参数的这种方法和视觉***。
背景技术
在车辆***中整合图像传感器已得到越来越广泛的应用。这种图像传感器可用作驾驶员辅助***（其中图像传感器捕获车辆环境的图像）的组件。所捕获的图像可经处理来执行物体识别和/或可能可在处理之后显示给用户。可执行自动警告和辅助功能来警告驾驶员潜在的危险情况，或通过致动刹车或类似物来主动控制车辆操作。图像传感器也可以用作帮助驾驶员停泊车辆或其它关键操作的后视或侧视摄像机。
随着在车辆应用中使用图像传感器变得越来越普遍，可提供多个图像传感器，以便捕获车辆环境的图像，所述图像组合起来提供关于环绕车辆的全360°角度范围的环境的信息。为避免数量过多的图像传感器，希望使用具有较大横向开口角的视场的图像传感器。
当由不同图像传感器捕获的数据将彼此组合时，必须知道摄像机***的参数。为此，可执行标定以建立每个摄像机的外部和内部参数。摄像机标定的途径包括要求将一个记号定位在车辆参考系中事先已知的高精度位置的技术。由于由记号的不精确定位造成的误差传播，这种途径可能不精确。高精确性结果可能耗时，且实现成本高。摄像机标定的其它途径包括在物体相对于车辆移动时追踪物体。在许多这些途径中，单独针对每个摄像机逐一执行标定。
摄像机***标定的另外其它途径包括重叠视场(FOV)技术。这些途径的实施也常常要求将一个记号以高精确性定位在相对于车辆的预定义位置上。
在本领域中一直需要一种标定车辆视觉***的方法和标定无需事先知道记号在车辆参考系中的位置的车辆视觉***。本领域中也需要容许使用具有较大横向开口角视场的摄像机的这样一种方法和这样一种车辆视觉***。
发明内容
这种需求通过独立权利要求中叙述的方法和车辆视觉***来解决。附属权利要求描述实施方案。
根据一个方面，提供一种标定车辆视觉***的方法。所述车辆视觉***包括分别捕获具有非线性畸变（尤其是鱼眼畸变）的图像的多个图像传感器。图像传感器提供在车辆的不同位置上。方法包括针对一对图像传感器执行捕获、确定和建立步骤，所述图像传感器对包括多个图像传感器中的一个图像传感器和一个额外图像传感器。在所述方法中，使用图像传感器捕获多个物体的图像，以及使用额外图像传感器捕获多个物体的额外图像。多个物体被定位在所述图像传感器的视场和所述额外图像传感器的视场的重叠区域中。图像传感器相对于多个物体的位置和定向基于所捕获的图像来确定，而额外图像传感器相对于多个物体的位置和定向基于所捕获的额外图像来确定。额外图像传感器与图像传感器之间的相对位置和定向基于所述确定步骤的结果来建立。
在所述方法中，图像传感器之间的相对位置和定向基于定位在视场(FOV)的重叠区域中的多个物体的图像来确定。无需事先知道多个物体相对于车辆的位置来确定图像传感器的相对位置。图像传感器和额外图像传感器是不同的图像传感器。
图像传感器经过构造使得其捕获具有非线性畸变的图像。这容许图像传感器构造有容许图像传感器具有宽FOV的光学组件。少量图像传感器（诸如四个图像传感器）足以捕获覆盖环绕车辆的全360°角度范围的环绕视图。图像传感器在横向方向上的FOV开口角可为至少170°或至少175°。
多个物体相对于彼此的位置是已知的。这些预定相对位置可用于确定图像传感器和额外图像传感器相对于多个物体的位置和定向。多个物体可以是专用记号，诸如配置为三面形配置的棋盘图案。
多个物体可配置为至少一个规则配置。多个物体可包括至少一个棋盘图案。这容许从定义所有物体的相对位置的少量参数中确定多个物体之间的相对位置。多个物体可以使得其不全都位于相同平面内。可能存在与由多个物体中的至少三个其它物体定义的平面间隔的至少一个（具体若干个）物体。
根据本领域中的常用术语，本文中使用的术语“图像传感器的位置”指的是图像传感器的特征点的位置。为说明的目的，“图像传感器的位置”可定义为光轴与电光传感器、透镜或任何其它给定光学组件相交的点的位置。本文中使用的术语“图像传感器的定向”指的是可通过三个角度量化的空间中图像传感器坐标系的定向。相应地，两个图像传感器之间的“相对位置”是特征点之间的偏移。“相对定向”描述需要哪些旋转操作来将所述一对中的一个图像传感器的坐标系与额外图像传感器的坐标系对准。存在描述相对位置和相对定向的不同方式。为说明的目的，为了描述图像传感器相对于由多个物体所定义的坐标系的定向，无需明确计算旋转角度。可计算旋转矩阵。类似地，可通过旋转矩阵描述图像传感器与额外图像传感器之间的相对定向。可通过平移矩阵或平移矢量描述相对位置。
可针对具有重叠视场的多对图像传感器分别执行所述捕获、确定和建立步骤。从而可确定具有重叠FOV的所有图像传感器对的相对位置和/或相对定向。
一对图像传感器之间所确定的相对定向可包括或否则表示至少两个角度，以便提供关于需要旋转哪一个以将所述一对中的一个图像传感器的光轴与另一图像传感器的光轴对准的信息。
可针对多对图像传感器分别执行所述捕获、确定和建立步骤，并且可基于此确定关于非邻近图像传感器之间的相对定向的信息。为说明的目的，关于定义无重叠FOV的前侧摄像机与后侧摄像机之间的相对定向的至少两个角度的信息可基于针对至少两对图像传感器执行的所述捕获、确定和建立步骤来确定。关于定义无重叠FOV的前侧摄像机与后侧摄像机之间的相对定向的至少两个角度的信息可通过针对至少四对图像传感器执行所述捕获、确定和建立步骤而以更高的精确性实现。或可或另可通过针对至少两对图像传感器执行所述捕获、确定和建立步骤获得关于车辆的左侧与右侧摄像机之间的相对定向的信息。可通过针对至少四对图像传感器执行所述捕获、确定和建立步骤执行一致性检查，以便以更高的精确性确定非邻近图像传感器的相对定向。
多对中的一对可包括第一图像传感器和中间图像传感器。多对中的另一对可包括中间图像传感器和第二图像传感器。第二图像传感器与第一图像传感器之间的相对位置和定向可基于针对所述一对而获得的建立步骤的结果和针对另一对而获得的建立步骤的结果而建立。从而第一图像传感器与中间图像传感器之间的相对位置和定向以及中间图像传感器与第二图像传感器之间的相对位置和定向可经计算处理以计算第二图像传感器与第一图像传感器之间的相对位置和相对定向。如果第一图像传感器和第二图像传感器无重叠视场，和/或如果没有多个物体定位在这些传感器的FOV的重叠区域中，那么可以执行这种处理。
可分别针对额外多对图像传感器中的每一对执行所述捕获、确定和建立步骤。第二图像传感器与第一图像传感器之间的相对位置和定向也可以基于针对额外多对获得的建立步骤的结果来建立。从而第二图像传感器与第一图像传感器之间的相对位置和定向可通过两种独立方式确定。这容许执行一致性检查。可量化和/或改进标定程序的可靠性。在所述方法中，定义图像传感器之间的相对定向以及视需要定义相对位置的外部参数值可被反复调整，直到获得定义非邻近图像传感器之间的相对定向的一致参数组。
在所述方法中，第二图像传感器与第一图像传感器之间的相对位置和定向可通过两种不同方式计算，也就是使用针对多对获得的建立步骤的结果，以及针对不同于所述多对的额外多对获得的建立步骤的结果。可将所述结果互相作对比。为说明的目的，车辆的后侧图像传感器相对于车辆的前侧图像传感器的位置和定向可使用左侧图像传感器作为中间图像传感器或使用右侧图像传感器作为中间传感器来确定。可将分别计算出来的值互相作对比。对比可在优化程序中进行，其中对比可用于加强所述优化程序的约束。
第一图像传感器的视场和第二图像传感器的视场可以是不相交的。第一图像传感器和第二图像传感器可提供在车辆的相对侧。
所述方法还可以包括基于针对多对获得的建立步骤的结果来确定多个图像传感器在车辆参考系中的外部参数。为此，图像传感器之一可用作参考，而所有其它图像传感器的定向和位置可相对于所述参考图像传感器确定。或还可或另还可使用参考图像传感器相对于这个车辆参考系的已知位置和定向来确定相对于另一车辆参考系的位置和定向。
确定车辆参考系中的外部参数可包括计算多个物体的重投影。可确定多个物体在图像和额外图像中的图像坐标。当投影到投影表面上时，物体的图像坐标可使用针对图像确定的位置和针对额外图像确定的位置、基于图像传感器和额外图像传感器的外部参数来确定。可将投影表面上的位置互相对比。如果所述位置的差异大于一个阈值，那么可校正外部参数。从而可识别一致的外部参数组。可提高标定程序的稳健性。
车辆视觉***可为环绕视图***。
所确定的外部参数可用于基于由多个图像传感器捕获的图像计算环绕视图。使用时，可基于定义用户想要显示的环境区段的用户选择控制显示器。可基于由图像传感器捕获的图像和基于标定中确定的车辆视觉***的外部参数控制显示器。
多个物体可包括位于第一平面上的至少三个物体和位于第二平面上的至少三个物体。多个物体可包括位于第一平面上的至少六个物体和位于第二平面上的至少六个物体。第一平面和第二平面可相对于彼此按一个角度配置。第一平面和第二平面可相对于彼此按90°角配置。在另一个实施方案中，第一平面和第二平面可相对于彼此按不同于0°且不同于90°的角度配置。多个物体的这种构造不仅容许确定外部参数，而且容许确定内部参数。可基于内部参数校正光学畸变，诸如鱼眼畸变和/或其它畸变。
多个物体还可以包括位于第三平面上的至少三个物体。第一平面、第二平面和第三平面可相互正交。即，多个物体可被构造为三面体，所述物体定位在三个相互正交的平面上。从而可以进一步提高标定的稳健性。当物***于第一平面、第二平面和第三平面上时，所述三个平面无需相互正交。
在所述方法中，图像传感器的内部参数可基于图像建立，而额外图像传感器的内部参数可基于额外图像来建立。这容许在标定程序中建立车辆视觉***的外部参数和内部参数。内部参数可存储以随后用于校正图像畸变。
图像传感器可分别包括鱼眼透镜。从而可使用一个图像传感器覆盖大角度范围。
可在车辆的侧门镜上提供至少两个图像传感器。可减轻几何障碍问题。
根据另一个方面，提供一种车辆视觉***。所述车辆视觉***包括多个图像传感器和一个图像处理单元。所述图像传感器分别具有一个光学组件以捕获具有非线性畸变的图像。图像传感器提供在车辆的不同位置上。图像处理单元被构造来处理由多个图像传感器捕获的图像数据。为了标定车辆视觉***，所述图像处理单元被构造来识别由图像传感器捕获的图像和由额外图像传感器捕获的额外图像中所包括的多个物体。所述图像处理单元被构造来基于所捕获的图像确定图像传感器相对于多个物体的位置和定向，以及基于所捕获的额外图像确定额外图像传感器相对于多个物体的位置和定向。所述图像处理单元被构造来基于所确定的图像传感器相对于多个物体的位置和定向以及基于所确定的额外图像传感器相对于多个物体的位置和定向建立所述额外图像传感器与所述图像传感器之间的相对位置和定向。
车辆视觉***经过构造使得即使事先未知多个物体相对于车辆的位置，所述图像处理单元还是可以标定视觉***。
图像处理单元可被构造来针对多对图像传感器执行确定和建立步骤。
图像处理单元可被构造来使用针对分别具有重叠视场的多对图像传感器确定的相对位置和定向通过计算确定具有不相交视场的第一图像传感器和第二图像传感器的相对位置。为说明的目的，所述图像处理单元可被构造来基于第一图像传感器与中间图像传感器之间的相对位置和定向，以及还基于中间图像传感器与第二图像传感器之间的相对位置和定向计算第二图像传感器与第一图像传感器之间的相对位置和相对定向。
车辆视觉***可被构造来执行任何一个方面或实施方案的方法，图像处理单元被构造来执行由图像传感器捕获的图像之处理。
车辆视觉***可包括光学输出装置。所述图像处理单元可被构造来当经由光学输出装置输出环绕视图的区段时使用标定期间确定的车辆视觉***的参数。
车辆视觉***也可以包括输入界面，所述输入界面容许用户选择将要视觉输出的环绕视图的区段。
根据另一个方面，提供一种具有根据任何一个方面或实施方案的车辆视觉***的车辆。
实施方案可使用于环绕视图***中而不限于此。
附图说明
将参考附图更详细描述实施方案：
图1是具有车辆视觉***的车辆的示意图。
图2是用于标定车辆视觉***的多个物体的示意图。
图3是图示了标定程序的图1的车辆的示意图。
图4图示了使用图像传感器捕获的图像。
图5图示了使用额外图像传感器捕获的图像。
图6是包括由车辆视觉***执行的标定方法的方法的流程图。
图7是用于确定图像传感器之间的相对位置和定向的程序的流程图。
图8图示了投影表面。
具体实施方式
在描述中，相同或类似参考数字表示相同或类似组件。虽然一些实施方案将在特定上下文（诸如环绕视图***）中描述，但是实施方案不限于这些特定上下文。使用在车辆视觉***的上下文中的诸如“向前”、“前侧”、“向后”、“后侧”或“侧面”的术语涉及车辆参考系。即，“向前”方向是驾驶员可透过挡风玻璃看见的方向，等。
图1是示出车辆1的示意图。车辆1包括车辆视觉***。车辆视觉***包括多个图像传感器11至14，和耦合到多个图像传感器11至14的图像处理单元10。
图像传感器11至14可分别被构造为广角图像传感器。图像传感器11至14的视场(FOV)可分别具有至少170°的横向开口角（即，在平行于车辆1的底平面的平面中的开口角）。图像传感器11至14的FOV可具有至少175°的横向开口角。图像传感器11至14可分别包括鱼眼透镜。图像传感器经过构造使得为了适应宽FOV，其捕获具有非线性畸变的图像。广角特征和所得的非线性畸变通常由图像传感器的光学组件引起。由图像传感器11至14捕获的图像分别示出非线性径向畸变、非线性桶形畸变和/或非线性鱼眼畸变。图像传感器11至14分别包括电光传感器。图像传感器11至14可分别包括CCD传感器。图像传感器11至14的电光传感器耦合到车辆视觉***的图像处理单元（11至14）。
车辆视觉***可被构造为环绕视图***。在这种情况下，图像传感器11至14的FOV15至18可在平行于车辆底平面的至少一个平面中覆盖绕车辆1的全360°角度范围。如针对图像传感器11的FOV15的开口角度20所示，在这平面中的FOV 15至18的开口角度可为至少170°或至少175°。
车辆视觉***可包括至少四个图像传感器11至14。可安装在车辆前侧的图像传感器11可具有面朝向前方向的FOV 15。可安装在车辆后侧的另一个图像传感器12可具有面朝向后方向的FOV 16。可安装在车辆侧面的其它图像传感器13和14可分别具有导向车辆的对应侧面的FOV 16或18。安装在侧面的图像传感器13、14可安装在门镜中。如果门镜具有可移动组件，那么图像传感器13、14可分别安装在门镜的静止区段中。
处理单元10被构造来接收由不同的图像传感器11至14产生的图像数据，并且以产生环绕视图的这样一种方式融合图像数据。处理单元10还被构造来在标定程序中确定图像传感器11至14的外部参数和内部参数。内部参数可包括定义所捕获图像的非线性畸变的对应图像传感器的参数。已知并且使用不同的参数化来描述广角图像传感器的非线性畸变。这些参数化的实施例包括径向畸变的多项式模型、鱼眼畸变的非多项式模型、FOV模型或透视模型。处理单元10可存储标定程序中确定的内部参数。当融合图像时，处理单元10可检索内部参数以校正所捕获图像中的非线性畸变。
车辆视觉***的外部参数包括关于所有图像传感器在附至车辆的车辆参考系中的位置和定向的信息。车辆参考系可例如由图像传感器中的一个（诸如图像传感器11）来定义。即，为了确定外部参数，可相对于图像传感器11的位置和定向来确定图像传感器12至14的位置和定向。外部参数也可以参考附至车辆的任何其它坐标系来确定。在这种情况下，图像传感器12至14的位置和定向可首先相对于图像传感器11的位置和定向确定。基于图像传感器11在车辆参考系中的已知位置和定向，可确定所有图像传感器11至14在车辆参考系中的位置和定向。
处理单元10被构造来通过评估由具有重叠FOV的图像传感器捕获的图像对确定车辆视觉***的所有图像传感器11至14的外部参数。未单独针对每个摄像机逐一确定外部参数。执行标定程序以便建立不同图像传感器11至14的一致的外部参数组。这个一致的外部参数组通过组合使用不同图像传感器捕获的图像来确定。
在标定程序中，确定具有重叠FOV的图像传感器与额外图像传感器之间的相对位置和定向。多个物体被定位在图像传感器的FOV的重叠区域中。多个物体相对于彼此的位置是已知的。为说明的目的，多个物体可包括规则配置的记号，诸如棋盘图案，棋盘边角之间的间距是已知的。无需知道多个物体相对于车辆1的位置。
在标定方法中，捕获多个物体的图像的图像传感器的位置和定向可相对于多个物体来确定。为确定图像传感器相对于多个物体的位置和定向，可确定旋转矩阵的矩阵元和平移矢量的矢量元，其定义多个物体的坐标系中的点坐标与由图像传感器捕获的图像的图像坐标之间的映射。类似地，可相对于多个物体确定捕获多个物体的额外图像的额外图像传感器的位置和定向。
基于图像传感器相对于多个物体的位置和定向，以及基于额外图像传感器相对于相同的多个物体的位置和定向，可导出图像传感器与额外图像传感器之间的相对位置和定向。
通过针对具有重叠FOV的多对图像传感器重复这些动作，可确定具有重叠FOV的图像传感器之间的相对位置和定向。这数据可经过处理来确定无重叠FOV的图像传感器之间的相对位置和定向。
图1示意地图示了多个22物体24至26。多个22物体被定位在图像传感器11的FOV15与图像传感器13的FOV 17的重叠区域21中。物体24至26配置在至少一个平面23上。物体24至26可具有可易使用物体识别方案（诸如边缘检测）检测到的构造。为说明的目的，物体24至26可为棋盘图案的矩形的边角。虽然在图1中仅图示了位于平面23中的三个物体，但是多个22物体可具有三面体构造。多个22物体可包括位于第一平面上的至少三个物体、位于第二平面上的至少三个物体和位于第三平面上的至少三个物体。第一、第二和第三平面可为相互正交的。更多物体可定位在每一平面上以提高标定程序的稳定性。为说明的目的，多个22物体可包括位于第一平面上的至少六个物体、位于第二平面上的至少六个物体和位于第三平面上的至少六个物体。
评估由图像传感器11捕获的多个22物体的图像和使用另一个图像传感器13捕获的多个22物体的额外图像。这些图像在多个22物***于相对于车辆1的相同位置时捕获。无需事先知道相对于车辆1的位置。处理由图像传感器11捕获的图像和使用另一图像传感器13捕获的另一图像来确定图像传感器11与另一图像传感器13之间的相对位置和定向。此外，可基于由图像传感器11捕获的图像确定图像传感器11的内部参数，并且可基于由额外图像传感器13捕获的额外图像确定额外图像传感器13的内部参数。
类似地，通过捕获定位在图像传感器13的FOV 17与图像传感器12的FOV 16的重叠区域中的多个27物体的图像，可确定图像传感器13与图像传感器12之间的相对位置和定向。可如上文针对图像传感器对11和13的说明执行处理。
类似地，通过捕获定位在图像传感器11的FOV 15与图像传感器14的FOV 18的重叠区域中的多个29物体的图像，可确定图像传感器11与图像传感器14之间的相对位置和定向。通过捕获定位在图像传感器14的FOV 18与图像传感器12的FOV 16的重叠区域中的多个28物体的图像，可确定图像传感器14与图像传感器12之间的相对位置和定向。针对具有重叠FOV的任意对图像传感器，可通过与上文针对图像传感器对11和13所述相同的方式完成所捕获的图像的处理。
虽然图1中图示了包括图像传感器11和13的一对的FOV的重叠区域中的多个22物体、包括图像传感器13和12的一对的FOV的重叠区域中的另外多个27物体、包括图像传感器11和14的一对的FOV的重叠区域中的另外多个29物体和包括图像传感器14和12的一对的FOV的重叠区域中的另外多个28物体，但是用于确定具有重叠FOV的图像传感器之间的相对位置和定向的记号无需同时存在。为说明的目的，同一个三面体可首先被定位在图像传感器11和13的FOV 15和17的重叠区域21中以确定图像传感器11与图像传感器13之间的相对位置和定向。所述三面体接着可被重新定位到其它重叠区域以依序确定具有重叠FOV的图像传感器之间的相对位置和定向。此外，多个物体也可以按时序方式定位在重叠区域21中的不同位置上以增加可用于标定的数据量。
图2是多个31物体的示意展示。用于标定的多个31物体包括提供在三个不同平面32至34上的记号。三个平面32至34可以如图2所示相互正交，或可相对于彼此按不同于0°的另一角度配置。棋盘图案提供在平面32至34中的每一个上。物体可为棋盘的矩形的边角。这些物体的相对位置可由正方形棋盘的一个参数量化，所述参数表示棋盘的一个正方形的边长。可使用常规边缘检测算法检测所捕获图像中的边角。
可使用其它记号和其它数量的物体。在实施方案中，物体可被定位在彼此不同的至少两个平面上。两个平面尤其可相对于彼此按90°的角度配置。在每一个平面上，可提供至少三个物体，尤其至少六个物体。
在另外其它实施中，可使用多个物体，其中所述物体并不是都位于相同平面内。即，一些物体可经过定位使得它们与多个物体中的至少三个其它物体所处的平面间隔开。
图3是具有车辆视觉***的车辆1的示意图。
多个22物体的图像（其可为专用记号，诸如棋盘图案）由一对41图像传感器中的图像传感器11和另一个图像传感器13捕获。基于这些图像，可确定图像传感器11与图像传感器13之间的相对位置和定向。此外，可确定图像传感器11和图像传感器13的内部参数。
图像传感器11与图像传感器13之间的相对位置可由图像传感器11的特征点与图像传感器13的特征点之间的平移矢量定义。图像传感器11与图像传感器13之间的相对定向可由将图像传感器11的坐标系与图像传感器13的坐标系彼此对准所需的旋转矩阵来定义。图像传感器11的坐标系的轴35可为图像传感器11的光学***的特征轴，诸如光轴。类似地，图像传感器13的坐标系的轴37可为图像传感器13的光学***的特征轴，诸如光轴。
通过处理定位在FOV的重叠区域中的多个27物体的图像，可确定所述一对42中的图像传感器13与12的相对位置和定向。通过处理定位在FOV的重叠区域中的多个29物体的图像，可确定所述一对43中的图像传感器11与14的相对位置和定向。通过处理定位在FOV的重叠区域中的多个28物体的图像，可确定所述一对44中的图像传感器14与12的相对位置和定向。
因此所确定的相对位置和定向容许执行一致性检查。为说明的目的，图像传感器12与图像传感器11之间的相对位置和定向可通过两种不同方式确定。图像传感器12与图像传感器11之间的相对位置和定向可基于针对一对41和针对一对42所获得的结果来计算。图像传感器12与图像传感器11之间的相对位置和定向也可以基于针对一对43和针对一对44所获得的结果来计算。使用分别来自不同图像传感器对的数据而确定的图像传感器12与图像传感器11之间的相对位置和定向可彼此对比。这样一种对比可在优化程序中执行，其中独立于是否使用针对一对41和42而确定的相对位置和定向，或是否使用针对一对43和44而确定的相对位置和定向，所有图像传感器11至14的外部参数可在图像传感器11与图像传感器12之间的相对位置和定向应具有相同值的约束下确定。
图4是使用图像传感器捕获的图像45的示意展示。图5是使用额外图像传感器捕获的图像46的示意展示。使用具有重叠FOV的图像传感器捕获图像45和46。为说明的目的，图像45可为使用图像传感器11捕获的图像。图像46可为使用图像传感器13捕获的图像。
在图像45的右手侧上具有棋盘图案的三面体表示与图像46的左手侧上具有棋盘图案的三面体相同的多个物体。这容许确定捕获图像45和46的图像传感器之间的相对位置和定向。
下文描述可用于确定具有重叠和不重叠FOV的摄像机之间的相对位置和定向的程序。可使用替代程序和/或替代的数字描述。
程序一般包括：(A)针对一对图像传感器的每个图像传感器确定图像传感器相对于由多个物体定义的坐标系的位置和定向；(B)使用(A)的结果建立所述一对中的一个图像传感器与所述一对中的另一个图像传感器之间的相对位置和定向；和(C)使用所建立的针对多个不同图像传感器对确定的相对位置和定向来确定具有不相交FOV的图像传感器的相对位置和定向。
(A)确定图像传感器相对于由多个物体所定义的坐标系的位置和定向
齐次坐标可用于定义在多个物体的坐标系中定义的多个物体的坐标与图像传感器的图像平面之间的映射。
齐次坐标可用于将由多个物体定义的坐标空间中的坐标在图像平面上的映射描述为矩阵乘法。在由多个物体定义的坐标系中，物体的坐标可写为4个矢量
其中X、Y和Z是多个物体的坐标系中的坐标。使用齐次坐标，具有四行。
具有由(1)给出的坐标的物体在图像传感器的图像平面上的投影定义为
其中
z＝a0+a1d...+andn (3)
是由图像传感器捕获的图像的非径向畸变的多项式描述。为说明的目的，针对具有鱼眼透镜的图像传感器，方程式(3)描述鱼眼畸变的多项式近似。在方程式(3)中，d表示距图像中心的距离。当使用图像传感器的多项式描述时，系数a0，a1，…，an是具有非线性畸变的图像传感器的内部参数。
依据用于描述图像传感器的光学***的非线性畸变的模型，可使用z分量的其它表示。相应地，可在标定中确定的不同内部参数可依据用于描述非线性畸变的模型而变化。
在齐次坐标中，从附至多个物体的坐标系到图像空间的映射可写为矩阵乘法。H可写为
H包括旋转参数R和平移参数T。一旦已知，那么矩阵H描述图像传感器相对于附至多个物体的坐标系的位置和定向。
凭借H的定义，矩阵积
具有与共线的矢量分量。
多个物体包括位于第一平面上的物体，而且也可以包括位于第二和第三平面上的其它物体，不同平面是相互正交的。在下文中，确定H的矩阵元将在所述平面中的一个的上下文中说明。相同技术和步骤可应用于物体所处的三面体的三个平面中的每一个。
不失一般性，位于一个平面上的物体坐标可假设为满足Z=0。这意味着所述平面是三面体的XY平面。
接着的前三个分量与共线的条件可重写为：
在方程式(6)中，利用共线矢量的矢量积等于零的事实。这个方程式需针对每个物体（例如，棋盘图案的边角或其它记号）的坐标和对应图像点坐标成立。x和y图像点坐标可通过传统图像识别来确定。
在下文中，位于平面上的物体将用指数“j”标记。即，Xj和Yj表示物体j在由多个物体定义的坐标系的X-Y平面内的坐标。值xj和yj是物体j在图像传感器的图像平面内的图像点坐标。
当乘出时，方程式(6)可重写为方程组：
yj(R31Xj+R32Yj+T3)-(a0+a1d...+andn)(R21Xj+R22Yj+T2)＝0，(7a)
(a0+a1d...+andn)(R11Xj+R12Yj+T1)-xj(R31Xj+R32Yj+T3)＝0，(7b)
xj(R21Xj+R22Yj+T2)-yj(R11Xj+R12Yj+T1)＝0. (7c)
方程式(7c)独立于z＝a0+a1d...+andn。即，方程式(7c)独立于图像传感器的内部参数。
方程式(7c)针对所考虑的位于平面上的不同物体成立。方程式(7c)用于确定映射矩阵H的参数，参数T3除外。
定义矢量
其包括方程式(7c)所依据的H矩阵的参数，方程式(7c)可重写为矩阵形式。
可定义矩阵
其针对位于多个物体的坐标系的对应平面中的每个物体具有一行。为了减少噪音问题以及提高稳定性，物体的数量可选择为远大于六个。在这种情况下，方程式(7c)定义H矩阵的参数的超定方程组，H矩阵的参数是方程式(8)的矢量的分量。
为解这个超定方程组，确定矢量其矩阵积
在具有固定模数的约束下变为最小值，例如，在
的约束下。
可利用解超定方程组的其它技巧来确定矢量
利用描述旋转的H的一部分的列，即，方程式(4)左上角的3×3矩阵是标准正交的事实，旋转的其余参数可从R11、R12、R21和R22中确定。一旦方程式(10)在方程式(11)的约束下解出，则可确定除T3外的H的所有元。
物***于多个不同平面的情况下，可针对不同平面中的每一个执行上述处理步骤。位于不同平面上的物体与图像传感器的图像平面之间的映射由不同平面的映射矩阵H描述。通过组合独立于图像传感器的内部参数的方程式，可分别建立映射矩阵H的矩阵元的超定方程组。如上文所述，可解出这个方程组以确定矩阵H中除一个参数以外的所有参数。
因此所获得的H的矩阵元的结果可被重新代入到方程式(7a)和(7b)中。所得方程组的内部参数a0，a1，…，an是线性的，且H的仍未知矩阵元是线性的。即，当在解方程式(10)时T3矩阵元仍不确定时，T3可基于方程式(7a)和(7b)来确定。出于稳定性原因，针对位于不同平面上的物体组（例如，针对位于图2所示的三面体的三个正交平面上的不同记号）而获得的方程式可组合成一个矩阵方程式。
为说明的目的，对于记号提供在三个正交平面板上的多个物体，可引入标记平面板的指数“i”。对于三个平面板，1≤i≤3。
接着方程式(7a)和(7b)可被重写为以下矩阵方程式。为简洁起见，假设相同数量“k”的物体定位在每个板上：
在方程式(12)中，使用以下定义：
Ai，j＝Ri，21Xi，j-Ri，22Yi，j
Bi，j＝yi，j(Ri，31Xi，j-Ri，32Yi，j)
Ci，j＝Ri，11Xi，j+Ri，12Yi，j+Ti，1 (13)
Di，j＝xi，j(Ri，31Xi，j+Ri，32Xi，j)
在此，指数i标记板号。指数j标记对应板上的物体。即，yi，j表示板i上的点j。Ri,ab和Ti,a表示板i的H矩阵的分量。为说明的目的，Ri,21表示针对板号i的映射矩阵H的方程式(4)中的矩阵元R21。
由方程式(12)和(13)定义的方程体系可以是超定的。可例如使用矩阵伪逆来解所述方程体系。
因此可确定定义位于FOV的重叠区域中的物体至图像传感器的图像平面上的映射的映射矩阵H的矩阵元。此外，可确定图像传感器的内部参数。映射矩阵H的矩阵元描述图像传感器相对于映射到图像传感器的图像平面上的多个物体的坐标系的位置和定向。
针对都捕获多个物体的图像的至少两个图像传感器可确定图像传感器相对于多个物体的的坐标系的位置和定向。如上文所述，在每一种情况下可确定图像传感器相对于定位在FOV的重叠区域中的图案的位置和定向。
(B)建立具有重叠FOV的图像传感器之间的相对位置和定向
基于针对具有重叠FOV的图像传感器确定的H矩阵的矩阵元，可确定具有重叠FOV的图像传感器之间的相对位置和定向。
在下文说明中，不同图像传感器将用指数α、β、γ表示。所述指数可表示参考图1至图3所述的车辆视觉***的图像传感器11至14。
对于任何图像传感器对，这些图像传感器之间的相对定向由旋转矩阵R(α,β)定义。旋转矩阵R(α,β)是定义将图像传感器α和β的坐标系对准所需的旋转的3×3矩阵。图像传感器之间的相对位置由平移矢量T(α,β)定义。所述平移矢量T(α,β)是定义图像传感器α和β的坐标系原点之间的位移的3矢量。
如果Ω表示标定中使用的具有记号的三面体或另外多个物体，那么方程式(8)中定义的H矩阵的左上角中的3×3矩阵是旋转矩阵R(α,Ω)，其描述图像传感器α相对于多个物体Ω的定向。类似地，方程式(8)中定义的H矩阵的最后一列中的上面三个元是平移矢量T(α,Ω)，其描述图像传感器α相对于多个物体Ω的位置。
在具有配置多个物体Ω的重叠视场的图像传感器之间的相对位置和定向可根据下列方程式来确定：
R(α，β)＝R(α，Ω)(R(β，Ω))-1＝R(α，Ω)(R(β，Ω))T且 (14)
T(α，β)＝T(α，Ω)-R(α，β)T(β，Ω). (15)
方程式(14)和(15)右手侧的旋转矩阵和平移矢量分别相对于定位在两个图像传感器α和β的FOV重叠区域中的图案的坐标系来确定。
图像传感器α和β配置在车辆的不同位置上。为了确定对应图像传感器相对于定位在重叠区域中的多个物体的位置和定向，评估所捕获图像的不同区域。为说明的目的，假设要建立图像传感器11与13之间的相对位置和定向，那么多个22物***于由图像传感器11捕获的图像的右手侧上和由图像传感器13捕获的图像的左手侧上。当方程式(14)和(15)中使用的R(α，Ω)由图像传感器α所捕获的图像的右半部分上执行的物体识别来确定时，方程式(14)和(15)中使用的R(β，Ω)由图像传感器β捕获的图像的左半部分上执行的物体识别来确定。这对应地适用于平移矢量。
针对所有这些图像传感器对，可确定具有重叠FOV的图像传感器之间的相对位置和定向。如图1至图3所示，针对构造为具有四个图像传感器的环绕视图***的车辆视觉***，可确定图像传感器11与13之间；图像传感器13与12之间；图像传感器11与14之间；以及图像传感器14与12之间的相对位置和定向。相对位置和定向可以成对方式确定。这提供更高的灵活性。为说明的目的，不要求将具有图案的四个三面体同时定位在FOV的四个重叠区域中。一个三面体可依序定位在四个不同重叠区域中。当确定了不同对图像传感器的相对位置和定向时，车辆1无需相对于世界参考系保持静止。为说明的目的，在已确定图像传感器11与13之间的相对位置和定向之后，以及在确定另一对图像传感器之间的相对位置和定向之前，可移动车辆1。
(C)建立具有不相交FOV的图像传感器之间的相对位置和定向
基于根据上文所述的程序获得的不同图像传感器对的相对位置和定向，可确定具有不相交FOV的图像传感器之间的相对位置和定向。
为了确定无重叠FOV的第一图像传感器与第二图像传感器之间的相对位置和定向，处理针对具有重叠FOV的若干对图像传感器获得的相对位置和定向。为此，选择与第一图像传感器和第二图像传感器中的至少一个具有重叠FOV的至少一个中间图像传感器。
如果中间图像传感器与第一图像传感器和第二图像传感器具有重叠FOV，那么可基于第一图像传感器与中间图像传感器之间的相对位置和定向以及基于第二图像传感器与中间图像传感器之间的相对位置和定向来计算第一图像传感器与第二图像传感器之间的相对位置和定向。
如果α是第一图像传感器的指数，β是第二图像传感器的指数，且γ是中间图像传感器的指数，那么：
R(α，β)＝R(α，γ)R(γ，β)且 (16)
T(α，β)＝T(α，γ)+R(β，γ)T(β，γ) (17)
如上所述，可确定方程式(16)和(17)的右手侧上的旋转矩阵和平移矢量。
为说明的目的，参考图1至图3的车辆视觉***，通过使用安装在车辆一侧上的图像传感器13或安装在车辆的相对侧上的图像传感器14使作为中间图像传感器，可确定安装成面朝向前方向的图像传感器11与安装成面朝向后方向的图像传感器12之间的相对位置和定向。这类似地适用于无重叠FOV的任何图像传感器对。
对于车辆环绕视图***，经安置使得图像传感器的光轴导向相反方向的图像传感器之间的相对位置和定向可通过两种不同方式确定。这容许执行一致性检查。一致性检查可在确定所有图像传感器的外部参数的优化程序中强制作为约束。
参考图3，图像传感器11与12之间的相对位置和定向可使用针对一对41和42建立的结果来确定。图像传感器11与12之间的相对位置和定向也可以使用针对一对43和44建立的结果来确定。通过两种不同方式确定的相对位置和定向的值相同的约束可用于确定车辆视觉***的外部参数。
当已知一个图像传感器在附至车辆的任意车辆参考系中的位置和定向时，车辆视觉***的所有图像传感器的位置和定向可使用图像传感器之间的相对位置和定向来确定。为说明的目的，可独立确定图像传感器11相对于任意车辆参考系的位置和定向。或者，图像传感器11的坐标系可定义为与车辆参考系重合。
描述参考图像传感器α（例如，图像传感器11）在车辆参考系中的定向的旋转矩阵用R(α)表示。描述参考图像传感器在车辆参考系中的位置的平移矢量用T(α)表示。任何其它图像传感器在车辆参考系中的位置和定向可根据下列方程式来确定：
R(β)＝R(α)R(α，β)且 (18)
T(β)＝T(α)+R(α)T(α，β) (19)
为说明的目的，如果面朝向前方向的图像传感器11用作参考图像传感器，那么可根据方程式(18)和(19)确定面朝向后方向的图像传感器12和面对横向方向的图像传感器13和14在车辆参考系中的位置和定向。对于图像传感器13和14，方程式(18)和(19)的右手侧上的相对位置和相对定向可如上文(A)中所描述确定。对于图像传感器12，方程式(18)和(19)的右手侧上的相对位置和相对定向可如上文(B)中所描述确定。
标定程序的稳定性可以各种方式进一步提高。
如上文已描述，针对环绕视图***，存在不同的独立方式来确定至少一些图像传感器的位置和定向，诸如图像传感器12。通过使用这些图像传感器的位置和定向的值不应依据评估哪些图像来确定位置和定向的约束可提高一致性。
另可或或可计算标定中捕获的图像的重投影。已确定位于FOV重叠区域中的多个物体的图像坐标。针对已捕获多个物体的图像的任一个图像传感器，至投影表面上的投影可基于所建立的外部参数（即，图像传感器的定向和位置）计算。通过将所述一对中的一个图像传感器和所述一对中的另一个图像传感器的图像重投影而计算的物体在投影到投影表面上时的所得位置可彼此对比。如果所述位置的差异大于阈值，那么可在反复程序中调整外部参数（且视需要也可以调整内部参数）以提高一致性。凭借这样一种反复调整，可获得一组外部参数，其产生在标定之后车辆视觉***中使用的重投影图像之间的一致过渡。
为说明的目的，参考图4和图5，图像45的右手侧上的棋盘三面体的重投影和图像46的左手侧上的棋盘三面体的重投影应理想地重合。通过反复调整车辆视觉***的外部参数，可减小残余失配。
另可或或可扩大执行标定的数据量。从而可减小噪音问题。为此，多个物体（例如，具有三个棋盘图案或另一个适当记号的三面体）可以依序的方式定位在图像传感器的FOV的相同重叠区域中的不同位置上。针对多个不同位置中的每一个，可执行上述的图像分析。从而可增加用于标定的点的数量。
为说明的目的，参考图1，多个物体22可被转移到重叠区域21中的各种不同位置上。图像传感器11与13之间的相对位置和定向可基于针对各种不同位置捕获的图像所获得的结果来确定。这是可行的，因为图像***标定无需事先知道多个物体22相对于车辆的位置。
图6是由车辆视觉***执行的方法的流程图。方法51包括在52至59中的标定方法。标定结果可被存储以随后用于在60和61中产生环绕视图图像。
在52中，确定具有重叠FOV的图像传感器与额外图像传感器之间的相对位置和定向。可分别针对多对图像传感器确定相对位置和定向。针对具有重叠FOV的每一对图像传感器，可评估由图像传感器捕获的图像和由额外图像传感器捕获的额外图像，其示出了定位在FOV重叠区域中的多个物体，诸如记号。也可以确定图像传感器的内部参数。
在53中，建立无重叠FOV的图像传感器的相对位置和定向。针对具有重叠FOV的多对图像传感器而建立的相对位置和定向可用于建立无重叠FOV的图像传感器的相对位置和定向。
在54中，可估计图像传感器在车辆参考系中的位置和定向。一个图像传感器相对于车辆参考系的已知位置和定向可用于确定在车辆参考系中的位置和定向。
针对环绕视图***，可使用由不同对图像传感器捕获的图像确定至少一个图像传感器的位置和定向。为说明的目的，在标定时，可使用一对41中与一对42中的图像传感器之间的相对位置和定向，或使用一对43中与一对44中的图像传感器之间的相对位置和定向确定图1至图3的车辆视觉***的图像传感器12的位置和定向。
在55中，确定在54中估计的外部参数是否独立于被评估来获得外部参数的图像。步骤55可选择性地仅针对与参考图像传感器无重叠FOV的图像传感器的位置和定向而执行。
如果确定使用来自不同对图像传感器的数据估计的图像传感器的位置和定向的差异大于一个阈值，那么方法进入56。在56中，调整至少一个图像传感器的位置和定向。方法回到55。可以反复的方式提高外部参数的一致性。
如果确定使用来自不同对图像传感器的数据估计的图像传感器的位置和定向满足一致性标准，那么方法进入57。在57中，计算由不同图像传感器记录的相同的多个物体的重投影。可如下文参考图8所述，可针对投影表面计算重投影。所述重投影使用之前估计或调整的外部参数来计算。
在58中，将重投影中点的位置彼此对比。所述位置可以是重投影中记号的位置，诸如棋盘边角。将针对已捕获物体的图像的一个图像传感器和针对已捕获物体的额外图像的额外图像传感器而计算的重投影的位置彼此对比。如果所述位置不满足给定的一致性标准，诸如阈值对比，那么方法进入56。步骤55至58用经过调整的外部参数重复。
如果确定重投影满足给定的一致性标准，那么方法进入59。
在59中，存储已确定的车辆视觉***的外部参数。如果各种图像传感器的内部参数也在52中确定，那么也可以存储内部参数。
车辆视觉***的图像处理单元被构造来随后使用车辆视觉***的外部参数和内部参数。为说明的目的，当车辆视觉***随后用于将环绕视图的区段可视地输出给用户时，所述图像处理单元可处理由各种图像传感器捕获的图像，并且可使用外部参数和内部参数计算环绕视图。
在使用车辆视觉***以将图像输出给用户时，在60中，可使用多个图像传感器捕获图像。在61中，可计算图像至投影表面上的投影。可使用车辆视觉***的外部参数和图像传感器的内部参数计算投影。
可控制光学输出装置以将投影的区段输出给用户。所述区段可由用户经由输入界面选择。
在车辆视觉***持续使用期间，步骤60和61可分别基于标定方法中确定和存储的视觉***的参数执行很多次。
图7是用于建立具有重叠FOV的图像传感器与额外图像传感器之间的相对位置和定向的程序71的流程图。所述程序可用于实施方法51的步骤52。程序可由车辆视觉***执行。
在72中，选择包括一个图像传感器和一个额外图像传感器的一对图像传感器。所述一对经过选择使得图像传感器具有重叠FOV。相对于彼此具有预定义位置的多个物体定位在FOV重叠区域中。所述多个物体可包括配置在三面体的三个相互正交平面上的图案或其它记号。
在73中，使用图像传感器捕获图像。执行图像处理以确定多个物体的图像坐标。针对棋盘图案，可使用边缘检测方案。在74中，确定图像传感器相对于多个物体的坐标系的位置和定向。可确定图像传感器的内部参数。内部参数可描述由图像传感器的光学组件所导致的非线性畸变。
在75中，使用额外图像传感器捕获额外图像。执行图像处理以确定多个物体的图像坐标。针对棋盘图像，可使用边缘检测方案。在76中，确定额外图像传感器相对于多个物体的坐标系的位置和定向。可确定额外图像传感器的内部参数。内部参数可描述由额外图像传感器的光学组件所导致的非线性畸变。
在77中，基于74和76的结果确定图像传感器与额外图像传感器之间的相对位置和定向。
在标定方法中以及当从由不同图像传感器捕获的图像产生环绕视图时，图像处理单元10可计算图像或其区段至投影表面上的投影。
图8是可在标定时和当基于标定的结果计算环绕视图时使用的投影表面80的示意图。
多个摄像机的融合图像可投影到投影表面80上。投影表面80具有碗型形状。表面80具有平底，所述平底可对应于车辆1的地平面。投影表面80的平底可具有矩形形式。投影表面80的平底的纵横比可基于车辆的长度与宽度之间之比率选择。立方体81表示车辆。整圆表示图像传感器在车辆上的位置。
使用这样一种投影表面80，位于车辆环境中的点可适当地在由图像处理单元产生的环绕视图中可视化。投影表面的特定形状为用户提供高质量的视觉感知。为说明的目的，投影表面80具有平底。位于车辆的地平面水平的点投影到投影表面80的平坦下部上。这具有位于地平面水平上的点（诸如路标）将被适当映射的效果。
已参考图描述根据实施方案的方法和车辆视觉***。在其它实施方案中可实施修改和变更。
为说明的目的，虽然具有鱼眼透镜的图像传感器可用在车辆视觉***中，但是也可以使用其它广角图像传感器。图像传感器可产生具有不同类型畸变的图像，诸如非线性径向畸变或非线性桶形畸变。
为进一步说明的目的，车辆视觉***无需覆盖围绕车辆的全360°角度范围。
为进一步说明的目的，虽然可在标定中确定图像传感器的非线性畸变的多项式模型参数，但是也可以使用其它模型来描述图像传感器。这些模型的实施例包括鱼眼畸变的非多项式模型、FOV模型或透视模型。这些模型的参数也可以在标定程序中确定。
为进一步说明的目的，虽然可使用矩阵和矢量操作技巧来确定相对位置和定向，但是有多种处理选择可用于确定图像传感器相对于三面体坐标系的位置和定向，和/或用于确定图像传感器之间的相对位置和定向。
本发明的实施方案可用于环绕视图***但不限于此。

Claims (21)

1.一种标定车辆视觉***的方法，所述车辆视觉***包括分别捕获具有非线性畸变的图像(45、46)并且提供在所述车辆(1)的不同位置上的多个图像传感器(11至14)，
所述方法包括针对一对(41至44)图像传感器执行下列步骤，所述一对图像传感器包括所述多个图像传感器(11至14)中的一个图像传感器(11)和一个额外图像传感器(13)：
使用所述一个图像传感器(11)捕获多个(22)物体的图像(45)，以及使用所述额外图像传感器(13)捕获所述多个(22)物体的额外图像(46)，所述多个(22)物体定位在所述一个图像传感器(11)的视场(15)与所述额外图像传感器(13)的视场(17)的重叠区域(21)中；
基于使用所述一个图像传感器(11)捕获的图像(45)确定所述一个图像传感器(11)相对于所述多个(22)物体的位置和定向，以及基于使用所述额外图像传感器(13)捕获的额外图像(46)确定所述额外图像传感器(13)相对于所述多个(22)物体的位置和定向；
确定一个矢量，其包括所述一个图像传感器(11)的摄像机矩阵的旋转参数和平移参数，其中通过在包括旋转参数和平移参数的矢量的模数是固定的约束下求解最小值，来确定所述矢量；
基于所述确定所述一个图像传感器(11)相对于所述多个(22)物体的位置和定向和所述确定所述额外图像传感器(13)相对于所述多个(22)物体的位置和定向的结果建立所述额外图像传感器(13)与所述一个图像传感器(11)之间的相对位置和定向；
确定外部参数；
确定内部参数；和
存储所述内部参数。
2.根据权利要求1所述的方法，
其中针对具有重叠视场(15至18)的多对(41至44)图像传感器(11至14)的每一对图像传感器分别执行使用所述一个图像传感 器捕获多个物体的图像和使用所述额外图像传感器捕获所述多个物体的额外图像的步骤、确定所述一个图像传感器相对于所述多个物体的位置和定向和确定所述额外图像传感器相对于所述多个物体的位置和定向的步骤，以及建立所述额外图像传感器与所述一个图像传感器之间的相对位置和定向的步骤。
3.根据权利要求2所述的方法，其中所述多对中的一对(41)包括第一图像传感器(11)和中间图像传感器，以及其中所述多对中的另一对(42)包括所述中间图像传感器和第二图像传感器(12)，所述方法还包括：
基于针对所述多对中的所述一对(41)获得的建立步骤的结果以及针对所述另一对(42)获得的建立步骤的结果建立所述第二图像传感器(12)与所述第一图像传感器(11)之间的相对位置和定向。
4.根据权利要求3所述的方法，进一步包括：
基于针对所述多对图像传感器中的额外多对(43、44)图像传感器而获得的建立步骤的结果而建立所述第二图像传感器(12)与所述第一图像传感器(11)之间的所述相对位置和定向。
5.根据权利要求4所述的方法，其还包括：
对比
-基于针对所述一对(41)和所述另一对(42)获得的建立步骤的结果而计算的所述第二图像传感器(12)与所述第一图像传感器(11)之间的所述相对位置和定向，和
-基于针对所述额外多对(43、44)获得的建立步骤的结果而计算的所述第二图像传感器(12)与所述第一图像传感器(11)之间的所述相对位置和定向。
6.根据权利要求3至5中任一项所述的方法，
其中所述第一图像传感器(11)的视场(15)和所述第二图像传感器 (12)的视场(16)不相交。
7.根据权利要求3至5中任一项所述的方法，
其中所述第一图像传感器(11)和所述第二图像传感器(12)提供在所述车辆(1)的相对侧上。
8.根据权利要求1至5中任一项所述的方法，
其中确定所述多个图像传感器中的每个图像传感器相对于所述多个物体的位置和定向包括：确定矢量其
在矢量具有固定模数的约束下变为最小值，其中L是具有等于所述矢量的行数的列数的矩阵，且其中|| ||表示矢量模函数。
9.根据权利要求8所述的方法，
其中所述矢量具有作为所述每个图像传感器的摄像机矩阵元的矩阵元。
10.根据权利要求9所述的方法，
其中所述矢量定义为：
以及所述每个图像传感器的所述摄像机矩阵定义为
11.根据权利要求8所述的方法，
其中所述矢量独立于所述每个图像传感器的内部参数。
12.根据权利要求10所述的方法，
其中所述摄像机矩阵H独立于所述每个图像传感器的内部参数。
13.根据权利要求1至5中任一项所述的方法，其还包括：
基于针对具有重叠视场(15至18)的多对(41至44)图像传感器(11至14)获得的建立步骤的结果而确定所述多个图像传感器(11至14)在车辆参考系中的外部参数。
14.根据权利要求13所述的方法，
其中确定所述车辆参考系中的所述外部参数包括计算所述多个物体的投影。
15.根据权利要求13所述的方法，
其中所述车辆视觉***是环绕视图***，且所述多个图像传感器的确定的外部参数用于基于由所述多个图像传感器(11至14)捕获的图像(45、46)而计算环绕视图。
16.根据权利要求1至5中任一项所述的方法，
其中所述多个物体包括位于第一平面(32)上的至少三个物体和位于第二平面(33)上的至少三个物体，所述第一平面(32)和所述第二平面(33)相对于彼此按一个角度配置。
17.根据权利要求16所述的方法，
其中所述多个物体包括位于第三平面(34)上的至少三个物体，其中所述第一平面(32)、所述第二平面(33)和所述第三平面(34)相互正交。
18.根据权利要求1至5中任一项所述的方法，其中所述一个图像传感器(11)的内部参数基于使用所述一个图像传感器捕获的所述图像(45)建立，且其中所述额外图像传感器(13)的内部参数基于使用所 述额外图像传感器捕获的所述额外图像(46)建立。
19.根据权利要求1至5中任一项所述的方法，
其中所述多个图像传感器(11至14)分别包括鱼眼透镜，且
其中所述多个图像传感器中的至少两个(13、14)提供在所述车辆(1)的侧门镜上。
20.根据权利要求1至5中任一项所述的方法，
其中所述具有非线性畸变的图像(45，46)具有鱼眼畸变。
21.一种车辆视觉***，其包括：
多个图像传感器(11至14)，其分别具有电光组件以捕获具有非线性畸变的图像(45、46)，所述多个图像传感器(11至14)提供在所述车辆(1)上的不同位置上；和
图像处理单元(10)，其被构造来处理由所述多个图像传感器(11至14)捕获的图像数据，所述图像处理单元(10)被构造来：
识别包括在由多个图像传感器(11至14)中的一个图像传感器(11)捕获的图像(45)和由多个图像传感器(11至14)中的额外图像传感器(13)捕获的额外图像(46)中的多个物体(22)；
基于使用所述一个图像传感器捕获的图像(45)确定所述多个图像传感器(11至14)中的图像传感器(11)相对于所述多个物体(22)的位置和定向，以及基于使用所述额外图像传感器捕获的额外图像(46)确定所述额外图像传感器(13)相对于所述多个物体(22)的位置和定向；
确定一个矢量，其包括多个图像传感器(11至14)中的所述一个图像传感器(11)的摄像机矩阵的旋转参数和平移参数，其中通过在包括旋转参数和平移参数的矢量的模数是固定的约束下求解最小值，来确定所述矢量；和
基于所述多个图像传感器(11至14)中的所述一个图像传感器(11)相对于所述多个物体(22)的确定的位置和定向以及所述额外图像传感器(13)相对于所述多个物体(22)的确定的位置和定向建立所述额 外图像传感器(13)与所述一个图像传感器(11)之间的相对位置和定向；
确定外部参数；
确定内部参数；和
存储所述内部参数。
CN201210179833.XA 2011-06-01 2012-06-01 标定车辆视觉***的方法和车辆视觉*** Active CN102982526B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11168355A EP2530647A1 (en) 2011-06-01 2011-06-01 Method of calibrating a vehicle vision system and vehicle vision system
EP11168355.3 2011-06-01

Publications (2)

Publication Number Publication Date
CN102982526A CN102982526A (zh) 2013-03-20
CN102982526B true CN102982526B (zh) 2017-12-12

Family

ID=44508705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210179833.XA Active CN102982526B (zh) 2011-06-01 2012-06-01 标定车辆视觉***的方法和车辆视觉***

Country Status (4)

Country Link
US (1) US9311706B2 (zh)
EP (1) EP2530647A1 (zh)
JP (1) JP2012253758A (zh)
CN (1) CN102982526B (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016509767A (ja) * 2012-12-21 2016-03-31 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 車両用システム及び通信方法
KR101477900B1 (ko) * 2013-03-27 2014-12-30 (주) 넥스트칩 왜곡 영상 보정 장치 및 방법
US10063782B2 (en) * 2013-06-18 2018-08-28 Motorola Solutions, Inc. Method and apparatus for displaying an image from a camera
CN104276102B (zh) * 2013-07-10 2016-05-11 德尔福电子(苏州)有限公司 一种基于车辆位置检测的环视***标定装置
US20160176343A1 (en) * 2013-08-30 2016-06-23 Clarion Co., Ltd. Camera Calibration Device, Camera Calibration System, and Camera Calibration Method
PL2858055T3 (pl) * 2013-10-04 2017-05-31 Kapsch Trafficcom Ab Sposób kalibracji systemu nadzoru drogowego
US20150138314A1 (en) * 2013-11-20 2015-05-21 Google Inc. Generating Panoramic Images
US20150156391A1 (en) * 2013-12-04 2015-06-04 Chung-Shan Institute Of Science And Technology, Armaments Bureau, M.N.D Vehicle image correction system and method thereof
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
FR3015660B1 (fr) 2013-12-19 2020-06-05 Continental Automotive France Procede, support et systeme de calibration d'une camera d'un vehicule
KR101811157B1 (ko) 2013-12-19 2018-01-25 인텔 코포레이션 사발형 영상 시스템
US9978146B2 (en) * 2014-01-27 2018-05-22 Xylon d.o.o. Data-processing system and method for calibration of a vehicle surround view system
DE102014217939A1 (de) * 2014-09-08 2016-03-10 Continental Automotive Gmbh Kalibration von Surround-View-Systemen
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
DE102014014295A1 (de) * 2014-09-25 2016-03-31 Audi Ag Verfahren zur Überwachung einer Kalibrierung mehrerer Umgebungssensoren eines Kraftfahrzeugs und Kraftfahrzeug
US10091418B2 (en) * 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
WO2016090559A1 (zh) * 2014-12-09 2016-06-16 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像设备
US9894350B2 (en) * 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
US9582881B2 (en) * 2015-03-18 2017-02-28 Intel Corporation Machine vision image sensor calibration
US10013761B2 (en) 2015-03-24 2018-07-03 Intel Corporation Automatic orientation estimation of camera system relative to vehicle
US10359837B2 (en) 2015-03-31 2019-07-23 Sony Corporation Information processing device and information processing method
KR102261312B1 (ko) * 2015-04-21 2021-06-08 주식회사 만도 다중 카메라 운전 보조 시스템
DE102015209764A1 (de) * 2015-05-28 2016-12-01 Bayerische Motoren Werke Aktiengesellschaft Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs
KR101705558B1 (ko) * 2015-06-25 2017-02-13 (주)캠시스 Avm 시스템의 공차 보정 장치 및 방법
TWI536313B (zh) 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法
CN105187753A (zh) * 2015-08-06 2015-12-23 佛山六滴电子科技有限公司 一种录制全景视频的***
DE102015118874A1 (de) * 2015-11-04 2017-05-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs
CN107031523A (zh) * 2015-11-30 2017-08-11 法乐第未来公司 利用已知目标进行基于摄像头的车辆位置确定
CA3010305C (en) * 2015-12-30 2023-12-19 Baxter Corporation Englewood Measurement of syringe graduation marks using a vision system
GB2549259B (en) * 2016-04-05 2019-10-23 Continental Automotive Gmbh Determining mounting positions and/or orientations of multiple cameras of a camera system of a vehicle
EP3229209B1 (en) * 2016-04-06 2020-12-30 Facebook, Inc. Camera calibration system
US10187629B2 (en) 2016-04-06 2019-01-22 Facebook, Inc. Camera calibration system
EP3467428A4 (en) * 2016-05-30 2019-05-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, AND IMAGE CAPTURE SYSTEM
CN106097357B (zh) * 2016-06-17 2019-04-16 深圳市灵动飞扬科技有限公司 汽车全景摄像头的校正方法
US10354408B2 (en) 2016-07-20 2019-07-16 Harman International Industries, Incorporated Vehicle camera image processing
CN107878360A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 确定全景泊车***标定时机的方法及装置
JP6789767B2 (ja) * 2016-11-11 2020-11-25 スタンレー電気株式会社 監視システム
DE102016224766A1 (de) * 2016-12-13 2018-06-14 Robert Bosch Gmbh Verfahren zur Kalibrierung von Sensoren an einer mobilen Plattform
CN107256569A (zh) * 2017-06-08 2017-10-17 爱佩仪中测（成都）精密仪器有限公司 基于双目视角的三维测量双摄像机标定方法
CN107204017A (zh) * 2017-06-08 2017-09-26 爱佩仪中测（成都）精密仪器有限公司 一种三维测量中的单个摄像机标定方法
US10089753B1 (en) * 2017-07-05 2018-10-02 Almotive Kft. Method, system and computer-readable medium for camera calibration
CN109215083B (zh) * 2017-07-06 2021-08-31 华为技术有限公司 车载传感器的外部参数标定的方法和设备
KR102021202B1 (ko) * 2017-12-18 2019-09-11 전자부품연구원 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법
GB2572956B (en) * 2018-04-16 2021-09-08 Sony Interactive Entertainment Inc Calibration system and method
US11294060B2 (en) 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
CA3141704A1 (en) * 2018-05-25 2019-11-28 Packsize International Llc Systems and methods for multi-camera placement
CN108665501A (zh) * 2018-07-12 2018-10-16 合肥晟泰克汽车电子股份有限公司 汽车环视***三维标定场景及采用该场景的标定方法
CN109410283B (zh) * 2018-09-14 2021-09-24 高新兴科技集团股份有限公司 室内全景相机的空间标定装置和具有其的定位装置
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
JP7056540B2 (ja) * 2018-12-18 2022-04-19 株式会社デンソー センサ校正方法およびセンサ校正装置
DE102019200186A1 (de) * 2019-01-09 2020-07-09 Continental Automotive Gmbh Verfahren zur Lokalisierung von Kameras sowie ein Kamerasystem und ein Fahrzeug mit einem Kamerasystem
US11112490B2 (en) * 2019-04-15 2021-09-07 Argo AI, LLC Apparatus for joint calibration of radar and camera systems for autonomous vehicle applications
KR20200126540A (ko) * 2019-04-30 2020-11-09 주식회사 만도 카메라 보정 시스템 및 그 방법
US20200380725A1 (en) * 2019-05-28 2020-12-03 GM Global Technology Operations LLC Calibration for vehicle cameras
US10785474B1 (en) 2019-06-28 2020-09-22 GM Cruise Holdings, LLC Guide railing for precise vehicle positioning within dynamic scene for vehicle sensor calibration
US10742969B1 (en) 2019-06-28 2020-08-11 GM Cruise Holdings, LLC Control of dynamic scene motion by vehicle based on vehicle sensor capture
US11104350B2 (en) * 2019-06-28 2021-08-31 GM Cruise Holdings, LLC Wireless vehicle control of vehicle sensor calibration environment
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法
CN112652018B (zh) * 2019-10-11 2024-04-16 北京地平线机器人技术研发有限公司 外参确定方法、外参确定装置及电子设备
CN110751598B (zh) * 2019-10-17 2023-09-26 长沙智能驾驶研究院有限公司 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
ES2821104B2 (es) 2019-10-23 2021-08-23 Eines Systems S L Metodo de medicion de enrase y separacion de partes de un vehiculo y tunel de medicion
US11029179B2 (en) * 2019-11-05 2021-06-08 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor calibration enclosures and methods of using sensor calibration enclosures to calibrate vehicle sensors
DE102019134324A1 (de) 2019-12-13 2021-06-17 Connaught Electronics Ltd. Ein Verfahren zum Messen der Topografie einer Umgebung
US11668794B2 (en) * 2020-01-07 2023-06-06 Ford Global Technologies, Llc Sensor calibration
US11348273B2 (en) * 2020-02-25 2022-05-31 Zebra Technologies Corporation Data capture system
US11673567B2 (en) * 2020-04-14 2023-06-13 Plusai, Inc. Integrated fiducial marker for simultaneously calibrating sensors of different types
US11635313B2 (en) * 2020-04-14 2023-04-25 Plusai, Inc. System and method for simultaneously multiple sensor calibration and transformation matrix computation
US11366233B2 (en) 2020-04-14 2022-06-21 Plusai, Inc. System and method for GPS based automatic initiation of sensor calibration
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准***
US20220101558A1 (en) * 2020-09-28 2022-03-31 Griffyn Robotech Pvt. Ltd. Automated Tuning and Calibration of a Computer Vision System
US11960276B2 (en) * 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
JP7209755B2 (ja) * 2021-02-10 2023-01-20 三菱ロジスネクスト株式会社 キャリブレーション方法、プログラム、及びキャリブレーション装置
CN113538594B (zh) * 2021-06-30 2022-04-22 东风汽车集团股份有限公司 基于方向传感器的车载摄像头标定方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007443A1 (fr) * 2000-07-19 2002-01-24 Matsushita Electric Industrial Co., Ltd. Systeme de controle
US6731382B2 (en) * 2000-08-14 2004-05-04 Snap-On Technologies, Inc. Self-calibrating 3D machine measuring system useful in motor vehicle wheel alignment
KR100866450B1 (ko) 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
US8506301B2 (en) 2007-07-31 2013-08-13 Ivan John Jaszlics Transportable projection-based simulator
JP2009100342A (ja) 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
EP2285109B1 (en) 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5182042B2 (ja) 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US8655094B2 (en) * 2011-05-11 2014-02-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Photogrammetry system and method for determining relative motion between two bodies

Also Published As

Publication number Publication date
JP2012253758A (ja) 2012-12-20
US20120320190A1 (en) 2012-12-20
EP2530647A1 (en) 2012-12-05
CN102982526A (zh) 2013-03-20
US9311706B2 (en) 2016-04-12

Similar Documents

Publication Publication Date Title
CN102982526B (zh) 标定车辆视觉***的方法和车辆视觉***
US9978146B2 (en) Data-processing system and method for calibration of a vehicle surround view system
JP5091902B2 (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム
CN107993263B (zh) 环视***自动标定方法、汽车、标定装置及存储介质
JP4803450B2 (ja) 車載カメラの校正装置及び当該装置を用いた車両の生産方法
US20180357791A1 (en) Method for calibrating the orientation of a camera mounted to a vehicle
CN108367714B (zh) 填充由镜子或其他车辆部件遮挡的周围视野区域
WO2010137364A1 (ja) 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム
JP4725821B2 (ja) ターゲット位置特定装置
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
WO2014156429A1 (ja) 目視照合支援装置およびその制御方法
CN106296646A (zh) Avm***的公差校正装置及其方法
CN106651903B (zh) 一种运动物体检测方法
JP7260937B2 (ja) カメラテストシステムおよびカメラテスト方法
JP2010087743A (ja) 車載カメラの校正装置
JP4873272B2 (ja) カメラ校正装置
JP4905812B2 (ja) カメラ校正装置
US11430153B2 (en) Method for detecting an arrangement of at least two cameras of a multi-camera system of a mobile carrier platform relative to one another and method for detecting an arrangement of the camera with respect to an object outside the mobile carrier platform
US10070071B2 (en) Method of imaging a machine environment and machine system implementing same
CN113240752B (zh) 一种内参和外参协同标定方法和装置
JP5406898B2 (ja) 車載カメラの校正装置と、車載カメラの校正方法と、システムと、プログラム
WO2023007775A1 (ja) 車載カメラおよび車載カメラのキャリブレーション方法
JP2010230317A (ja) ３次元形状計測方法
Hou et al. Automatic calibration method based on traditional camera calibration approach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant