CN111243029B - 视觉传感器的标定方法以及装置 - Google Patents
视觉传感器的标定方法以及装置 Download PDFInfo
- Publication number
- CN111243029B CN111243029B CN201811432150.4A CN201811432150A CN111243029B CN 111243029 B CN111243029 B CN 111243029B CN 201811432150 A CN201811432150 A CN 201811432150A CN 111243029 B CN111243029 B CN 111243029B
- Authority
- CN
- China
- Prior art keywords
- calibration
- point
- vision sensor
- points
- calibration point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提出一种视觉传感器的标定方法以及装置,包括:在所述视觉传感器所在位置设置第一标定点,在所述视觉传感器的视野范围内设置第二标定点,并设置世界坐标已知的第三标定点;将包含所述第二标定点的图像作为标定图像并标记所述视觉传感器的光心在标定图像中的位置;设置测量点并获取所述测量点到各标定点的相对位置;然后根据标定点的世界坐标,测量点与所述标定点之间的位置关系,标定图像中各第二标定点与视觉传感器光心之间的位置关系,最终获取所述视觉传感器的光心的世界坐标以及所述视觉传感器的空间角度信息。本申请所述的视觉传感器标定方法无需大型装置和设备,成本低,使用灵活,更适用于低成本小批量标定场景。
Description
技术领域
本发明涉及自动驾驶领域,尤其涉及一种视觉传感器的标定方法以及装置。
背景技术
随着深度学***台的快速发展,基于视觉传感器(尤其是车载摄像头)的目标检测以及分割在自动驾驶领域得到了广泛的应用,车道保持、前方车辆碰撞预警等高级驾驶辅助功能均可依靠摄像头实现。为保证视觉传感器对于目标障碍物的准确测距以及对于车道线的拟合,就必须对视觉传感器进行精准的标定。
目前,现有的对于车载摄像头的标定方法大都依赖于特定的标定场地和复杂的标定***,仅适用于大规模量产作业。在已知的一种用于全景泊车标定的测试现场及其建设方法中,其标定方法需要在标定场地的特定位置绘制特定的标识点和标识线,然后通过多步图像处理算法得到所述标识点和标识线在图像中的像素坐标,最后根据得到的标识点和标识线的像素坐标计算摄像头的参数。这种标定方法对于标定场地的平整度以及大小均有要求,不仅标定过程中的主观因素极易产生标定误差,而且整个标定流程较为繁琐,还需编写特定的图像处理算法。
现有的另一种摄像头标定***,公开了一种高级辅助驾驶***(ADAS)控制器在HIL测试时的摄像头标定方法,将显示标靶图像的显示器固定在电控滑台上,通过移动显示标靶的图像与标准标靶信息重合,完成摄像头的标定。其中,所述电控滑台结构由前后滑动机构、左右滑动机构、垂直滑动机构和旋转机构组成,所述电控滑台的滑动需由控制处理器和ADAS控制器进行控制。这种标定方法对电控滑台的控制精度要求很高,还需专门的处理器,***繁杂,成本较高,不适用于目前自动驾驶行业中研发、试验阶段的小批量或者单一产品标定的场景。
因此,我们需要一种新的视觉传感器的标定方法以及装置,以解决上述技术问题。
发明内容
本申请的目的在于提供一种新的视觉传感器标定方法以及装置,以解决现有技术的视觉传感器标定方法或者依赖大型、特定场地以及高精度设备,成本高昂,流程繁琐,从而不适合小批量或者单一产品标定场景,或者可操作性差的的缺陷。
本申请的一方面提出一种视觉传感器的标定方法,包括:
在所述视觉传感器所在位置设置第一标定点,在所述视觉传感器的视野范围内设置第二标定点,并设置世界坐标已知的第三标定点;
将包含所述第二标定点的图像作为标定图像并标记所述视觉传感器的光心在标定图像中的位置;
设置测量点并获取所述测量点到所述第一标定点,第二标定点以及第三标定点的相对位置;
根据所述第三标定点的世界坐标获取所述测量点的世界坐标,并根据所述测量点到所述第一标定点和第二标定点的相对位置,获取所述第一标定点和第二标定点的世界坐标;
通过视觉传感器的第一标定点的世界坐标获取视觉传感器的空间坐标;
根据所述第二标定点和视觉传感器的光心在标定图像中的位置以及第二标定点的世界坐标,获取所述视觉传感器的光心的世界坐标;
根据所述视觉传感器的空间坐标以及所述视觉传感器的光心的世界坐标,获取所述视觉传感器的空间角度信息。
其中,所述第一标定点,第二标定点和第三标定点为包含具有反射光特性材料的标记点。
其中,所述的第二标定点设置在标定板上。
其中,所述的第二标定点的数量大于等于三个。
其中,所述的测量点设置的位置应使每次测量均可以测量到所述第一标定点,至少三个第二标定点以及至少两个第三标定点。
其中,所述的测量点设置在车辆的两侧,其中车辆每侧的测量点的数量大于等于3个。
其中,所述的第一标定点至少包括两个,分别设置在视觉传感器所在位置的水平方向和竖直方向。
本申请的另一方面还提供了一种视觉传感器的标定装置,包括:
第一标定点,设置在所述视觉传感器所在位置,第二标定点,设置在所述视觉传感器的视野范围内,第三标定点,设置在车辆上世界坐标已知的位置;
视觉传感器,用于获取包含所述第二标定点的图像,所述图像被储存为标定图像,并用于将所述视觉传感器的光心位置标记在所述标定图像中;
计算单元,用于根据所述第三标定点的世界坐标获取所述测量点的世界坐标,并根据所述测量点到所述第一标定点和第二标定点的相对位置,获取所述第一标定点和第二标定点的世界坐标;还用于通过视觉传感器的第一标定点的世界坐标获取视觉传感器的空间坐标,并根据所述第二标定点和视觉传感器的光心在标定图像中的位置以及第二标定点的世界坐标,获取所述视觉传感器的光心的世界坐标,以及根据所述视觉传感器的空间坐标以及所述视觉传感器的光心的世界坐标,获取所述视觉传感器的空间角度信息。
其中,所述的测量装置为包含具有测角功能的激光测距仪的激光测距装置。
其中,所述第一标定点,第二标定点和第三标定点为包含具有反射光特性材料的标记点。
其中,所述的视觉传感器的标定装置还包括:标定板,用于设置所述第二标定点。
其中,所述的测量点设置的位置应使每次测量均可以测量到所述第一标定点,至少三个第二标定点以及至少两个第三标定点。
其中,所述的测量点设置在车辆两侧,其中车辆每侧测量点的数量都大于等于3个。
其中,所述的第一标定点至少包括两个,分别设置在视觉传感器所在位置的水平方向和竖直方向。
综上,本申请针对现有车载摄像头标定方法或者依赖大型、特定场地以及高精度设备,成本高昂,流程繁琐,从而不适合小批量或者单一产品标定场景,或者可操作性差的的缺陷,提出了一种无需昂贵测量设备和特定标定场地、可复现和操作性强的的视觉传感器标定方法以及装置。
本申请所述的视觉传感器标定方法以及装置,仅需要设置若干第一标定点,第二标定点和第三标定点,选择测量点以及设置在测量点上的测量装置,以及用于进行计算的计算单元,即可对所述视觉传感器进行标定,无需大型装置和设备,成本低,使用灵活,更适用于低成本小批量标定场景。
本申请所用的用于设置第二标定点的标定板,无需限定尺寸与形状,以及摆放方位和固定精度,其可在视觉传感器视野范围内任意摆放,降低了对标定场地和标定条件的要求,提高了标定灵活性。
本申请所述的视觉传感器标定方法以及装置通过使用测距精度为毫米级的激光测距仪测量设置于车辆车身上的第三标定点和设置于标定板上的第二标定点,保证了测量数据的精准度,完全满足所述视觉传感器标定的精度,整个标定方法流程简单,可操作性和实用性强,适用于现阶段诸多自动驾驶创业公司研发试验阶段小批量或者单一产品的摄像头标定需求。
本申请所述的所述的视觉传感器标定方法以及装置用具有反射光特性的反光材料作为第一标定点,第二标定点以及第三标定点的标记材料,在激光测距仪发射的激光照射至所述第一标定点,第二标定点以及第三标定点上时,在反光标记表面时可以产生明亮光斑,并在入射方向上产生一束较强的反射光,提高了测试的精度和准确度。
本申请中另外的特征将部分地在下面的描述中阐述。通过该阐述,使以下附图和实施例叙述的内容对本领域普通技术人员来说变得显而易见。本申请中的发明点可以通过实践或使用下面讨论的详细示例中阐述的方法、手段及其组合来得到充分阐释。
附图说明
以下附图详细描述了本申请中披露的示例性实施例。其中相同的附图标记在附图的若干视图中表示类似的结构。本领域的一般技术人员将理解这些实施例是非限制性的、示例性的实施例,附图仅用于说明和描述的目的,并不旨在限制本公开的范围,其他方式的实施例也可能同样的完成本申请中的发明意图。应当理解,附图未按比例绘制。其中:
图1是本发明实施例所述的一种视觉传感器标定方法的流程框图。
图2为本发明的实施例执行所述视觉传感器标定方法的流程时各部分的位置示意图。
图3为本发明的实施例中所述的标定图像的结构示例。
图4为本发明的实施例中获取测量点的世界坐标步骤中测量点与第三标定点之间的位置关系图。
具体实施方式
以下描述提供了本申请的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本申请中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本公开的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本公开不限于所示的实施例,而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该***/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或。
在本公开中,术语“自动驾驶车辆”可以指能够感知其环境并且在没有人(例如,驾驶员,飞行员等)输入和/或干预的情况下对外界环境自动进行感知、判断并进而做出决策的车辆。术语“自动驾驶车辆”和“车辆”可以互换使用。术语“自动驾驶”可以指没有人(例如,驾驶员,飞行员等)输入的对周边环境进行智能判断并进行导航的能力。
考虑到以下描述,本公开的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本公开的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本公开的范围。
本公开中使用的流程图示出了根据本公开中的一些实施例的***实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
本公开中使用的定位技术可以基于全球定位***(GPS),全球导航卫星***(GLONASS),罗盘导航***(COMPASS),伽利略定位***,准天顶卫星***(QZSS),无线保真(WiFi)定位技术等,或其任何组合。一个或多个上述定位***可以在本公开中互换使用。
本申请所述的视觉传感器的标定方法较多的应用于具有自动驾驶***的自动驾驶车辆。包含有本自动驾驶***的自动驾驶车辆可包括出租车,私家车,挂车,公共汽车,火车,子弹列车,高速铁路,地铁,船只等,或其任何组合。在一些实施例中,该***或方法可以在例如物流仓库,军事事务中找到应用。
所述的自动驾驶车辆可以包括一个或多个传感器,例如视觉传感器,用于所述一个或多个传感器又可以包括摄像单元、定位单元、激光雷达、惯性传感器等。
本实施例所述的视觉传感器以摄像头为主要代表产品,包含具有探测识别功能的摄像头和没有探测识别功能的摄像头。其中,具有探测识别功能的摄像头的模块内部自带软件,对图像中的目标进行提取和处理,获得目标的位置和移动信息。例如,带目标识别功能的广角摄像头。没有探测识别功能的摄像头,只能记录和传输拍摄所得的图像用于后续处理。但本公开并不限定于此。所述摄像头包括单目摄像头、双目摄像头或更多摄像头的组合,单个摄像头可采用常规镜头、广角镜头、长焦镜头或变焦镜头等,摄像头类型可为多色摄像头(比如RGB彩色摄像头)或单色摄像头(比如黑白摄像头、红外摄像头、R/G/B单色摄像头)等,在此摄像头的具体形式不作为对本发明实施方式的限制。
本实施例中,所述视觉传感器还可以包括一个或者多个相机。所述相机可以是单目、双目或者多目相机。但本公开并不限定于此,只要是具有有限感知角度的传感器都可以应用于本公开。
更进一步,所述的视觉传感器为车载的视觉传感器,例如车载摄像头或者车载相机。可选地,所述车载视觉传感器设置在车辆的前挡风玻璃处、顶部、尾部、内后视镜处、外后视镜处或任意可能的安装位置,以使所述车载摄像头的视野范围内至少包括部分道路情况。
本实施例中,所述的车载视觉传感器的标定参数包括但不限于:车高、车长、车宽、摄像头距地面高度、摄像头距车顶高度、摄像头与车头距离、摄像头与车尾距离、摄像头与左右两侧车体(车门、A柱等)距离、摄像头主光轴水平偏转角度(相对车头方向)和摄像头主光轴俯仰角度等信息中的一个或多个。
图1示出了根据本申请的一些实施例所示的视觉传感器的标定方法的流程图。所述视觉传感器的标定方法可以通过本实施例所述的视觉传感器的标定装置来实施。本实施例以下呈现的视觉传感器的标定方法的操作,旨在是说明性的而非限制性的。在一些实施例中,所述视觉传感器的标定方法在实现时可以添加一个或多个未描述的额外操作,和/或删减一个或多个此处所描述的操作。此外,图1中所示的和下文描述的视觉传感器的标定方法的各工艺步骤可以根据需要进行调整,本实施例并不对各步骤的先后执行顺序进行限制。
参考图1,为本实施例所提供的一种视觉传感器的标定方法的工艺流程图,所述的视觉传感器的标定方法包括:
S101,在所述视觉传感器位置设置第一标定点,在所述视觉传感器的视野范围内设置第二标定点,并设置世界坐标已知的第三标定点;
S102,将包含所述第二标定点的图像作为标定图像并标记所述视觉传感器的光心在标定图像中的位置;
S103,设置测量点并获取所述测量点到所述第一标定点,第二标定点以及第三标定点的相对位置;
S104,根据所述第三标定点的世界坐标获取所述测量点的世界坐标,并根据所述测量点到所述第一标定点和第二标定点的相对位置,获取所述第一标定点和第二标定点的世界坐标;
S105,通过视觉传感器的第一标定点的世界坐标获取视觉传感器的空间坐标;
S106,根据所述第二标定点和视觉传感器的光心在标定图像中的位置以及第二标定点的世界坐标,获取所述视觉传感器的光心的世界坐标;
S107,根据所述视觉传感器的空间坐标以及所述视觉传感器的光心的世界坐标,获取所述视觉传感器的空间角度信息。
下面我们将结合具体实施方式对每一步做详细的说明。
在所述步骤S101中,在所述视觉传感器位置设置第一标定点,在所述视觉传感器的视野范围内设置第二标定点以及世界坐标已知的第三标定点;
其中,所述视觉传感器位置并不严格指所述视觉传感器被设置的确切位置,在设置标定点时,为了设置的方便,可以设置在所述视觉传感器周边比较接近的位置。例如,当所述视觉传感器位于车辆的前挡风玻璃一侧时,可以将用于标定视觉传感器位置的第一标定点设置在前挡风玻璃上。为了特定实施例描述的方便和统一,本实施例后续的描述和计算,都是以将所述的视觉传感器设置在车辆前挡风玻璃一侧为例进行的。
所述在视觉传感器的视野范围内设置的第二标定点为三个或者三个以上。其中的三个第二标定点用于确定所述第二标定点所在的空间平面,其余的第二标定点用于验证所述空间平面定位的精度。因此,优选的在视觉传感器的视野范围内设置的第二标定点个数为四个。
在一个更加具体的实施例中,所述在视觉传感器的视野范围内设置的第二标定点被人为的设置在一个标定板上,所述的标定板可以为四边形,三角形,圆形等各种形状,本实施例并不需要对标定板的形状进行限定。当所述标定板为四边形时,所述的第二标定点可以被方便的设置在标定板的四个角点。
本实施例中,所述的第二标定点的设置可以通过在特定位置粘贴具有反射光特性的标记来实现(下称“反光标记”)。所述粘贴反光标记的方法不仅执行方便,而且所述的反光标记可以确保后续获取测量点与第二标定点的相对位置关系时激光照射在反光标记表面时可以产生明亮光斑,并在入射方向上产生一束较强的反射光。在一个实施例中,为提高测量精度,反光标记被设置为大小为5mm×5mm的正方形。
在本实施例中,当所述的视觉传感器设置在自动驾驶车辆的车身时,在所述自动驾驶车辆上可设置第三标定点,用于获取测量点的世界坐标位置。所述的第三标定点相对于自动驾驶车辆车轴中心的位置确定即可,以方便的获取其在世界坐标系中的位置。在一个具体实施例中,所述的第三标定点设置在自动驾驶车辆的四个轮毂上。
参考附图2所示,为执行所述视觉传感器标定方法的流程时各部分的位置示意图,视觉传感器11设置在自动驾驶车辆10的前挡风玻璃上,在所述视觉传感器11旁边的挡风玻璃上设置所述第一标定点15,所述的第一标定点15包括分别在水平方向和竖直方向粘贴的反光标记,大小为5mm×5mm的正方形。其中,竖直方向粘贴的反光标记与视觉传感器11的镜片中心在自动驾驶车辆10的纵向与横向上保持相同位置,水平方向的标记与视觉传感器11的镜片中心保持相同的高度。
继续参考附图2所示,在所述自动驾驶车辆10的前方(车头方向),设置位于所述视觉传感器11视野范围内的标定板12,在所述标定板12上选定四个点并粘贴反光标记作为第二标定点13,所述的标定点分散的设置在所述标定板12的四个角点,大小为5mm×5mm的正方形。
继续参考附图2所示,在所述自动驾驶车辆10的轮毂上设置四个第三标定点14,所述的第三标定点14为粘贴在轮毂上的反光标记,大小为5mm×5mm的正方形。
在所述步骤S102中,将包含所述第二标定点的图像作为标定图像并标记所述视觉传感器的光心在标定图像中的位置;
在本申请的一个实施例中,所述的视觉传感器11,例如车载摄像头,拍摄所述带有第二标定点13的标定板12获取一个标定图像。继续参考附图2所示,在一个具体实施例中,拍摄所述标定图像时,首先将标定板12立在视觉传感器11的成像范围内,使标定板12尽可能垂直面向视觉传感器11,并确保视觉传感器11的光轴指向标定板12范围内,拍摄包含所述标定板12以及第二标定点13的图像作为标定图像20。
参考附图3所示,为所述标定图像20的示意图,所述的第二标定点13在所述标定图像20中显示为第二标定点13’。计算所述的四个第二标定点13’在所述标定图像20中的位置以及视觉传感器11的光心在所述标定图像20中的位置,并将所述光心在所述的标定图像中20中的对应位置标记出来,所述光心的位置在所述标定图像20中记录为光心标记21。所述的视觉传感器11拍摄的所述标定图像20可通过存储设备进行存储,并将所述标定图像传输至计算设备,从而计算出所述四个第二标定点13’在所述标定图像中的像素坐标位置,进而计算出所述光心在所述标定图像20中的像素坐标的位置,并标记显示为光心标记21。
在所述步骤S103中,设置测量点并获取所述测量点到所述第一标定点,第二标定点以及第三标定点的相对位置关系;
本实施例中,所述的测量点可根据需要设置在所述的自动驾驶车辆的周边。测量点的数量可设置为大于等于三个。然而,所述测量点的位置需满足每次测量均可以测量到视觉传感器位置的两个第一标定点,所述标定板上的至少三个第二标定点以及自动驾驶车辆上的至少两个第三标定点的位置。
在一个具体实施例中,所述的测量点设置在所述自动驾驶车辆的侧面。在另一个具体实施例中,所述的测量点被同时设置在所述自动驾驶车辆的两个侧面,例如,在所述自动驾驶车辆的两个侧面分别设置三个测量点。
在所述的自动驾驶车辆的两个侧面分别设置三个或者三个以上测量点可以提高本实施例所述视觉传感器标定方法的精确度。由于所述自动驾驶车辆的每个侧面的测量点都可以执行所述视觉传感器的标定方法并获取所述视觉传感器安装的空间位置和角度,因此,在所述的自动驾驶车辆的两个侧面分别设置三个或者三个以上测量点时,依据不同的测量点标定的视觉传感器安装的空间角度和位置可以互相验证。当依据不同的测量点标定的视觉传感器安装的空间角度和位置数值不同时,可以通过求平均值的方法对标定结果进行优化,从而提高本实施例所述标定方法的准确度。
继续参考附图2所示,在本实施例的一个具体实施方法中,所述的测量点16被设置在自动驾驶车辆10的一个侧面(所述自动驾驶车辆10的另一个侧面也可以设置另一组三个或者三个以上的测量点,为了附图看起来简单清晰,附图2中未示出)。其中,所述测量点16的位置需满足每次测量均可以测量到视觉传感器位置的两个第一标定点15,所述标定板12上的所有第二标定点13以及自动驾驶车辆10与所述测量点16相邻一侧的两个第三标定点14,具体如附图2中的虚线所示,为进行测量时测量上的激光测距装置17发射的激光到达所述第二标定点13,第一标定点15以及第三标定点14的路线。
之后,在所述测量点上放置激光测距装置17,并测量和记录所有的测量点16到所述第二标定点13,第一标定点15以及第三标定点14的俯仰角、水平距离和直线距离等反映所述测量点16到第二标定点13,第一标定点15以及第三标定点14的相对位置关系的数值,所述的数值随后被传输至存储设备。
在一个具体的实施例中,所述的激光测距装置17包含具有测角功能的激光测距仪以及三角架,所述的激光测距仪和三角架固定连接,所述的固定件例如为螺栓。在进行测量时,通过三脚架固定所述激光测距仪距离地面的高度并记录所述三脚架的的位置和高度,然后测量每个测量点16到所有能到达的标定点的俯仰角、水平距离和直线距离等。
在测量时,当激光测距装置17的测量激光产生的光斑位于其所能到达的所有标定点上的反光标记中心位置时,测试人员可以观察到较强反射光时,记录激光测距装置17显示的直线距离数据ld、水平距离lh及其俯仰角。重复所述操作,直至自动驾驶车辆10的两侧都记录有至少三个测量点到所有能到达的标定点的俯仰角、水平距离和直线距离。
在所述步骤S104中,依据所述第三标定点的世界坐标获取所述测量点的世界坐标,并依据所述测量点到所述第一标定点和第二标定点的相对位置关系,获取第一标定点和第二标定点的世界坐标;
由于所述第三标定点14在世界坐标系中的位置是已知的,因此,根据所述第三标定点14在世界坐标系中的坐标以及所述的测量点与第三标定点14之间的关系,可以确定所述测量点在世界坐标系中的位置,即世界坐标。
在一个具体实施例中,通过自动驾驶车辆10的轮毂中心距离和车辆轴距,获取第三标定点14的世界坐标,再根据所述第三标定点14与测量点之间的相对位置关系,获得所述测量点的世界坐标。
更具体的,获得所述测量点的世界坐标的步骤包括:1)构建测量点与其能够测量到的第三标定点之间的数学模型;参考附图4所示,为获取测量点的世界坐标步骤中测量点与第三标定点之间的位置关系图。如图4中所示,设测量点16a与第三标定点15a以及第三标定点15b之间的距离分别为lh1和Ih2,第三标定点15a和第三标定点15b之间的连线距离为L,则所述的lh1,Ih2以及L组成测量三角形;
2)通过余弦定理计算测量三角形中Ih2与L的夹角β;
3)基于夹角β、自动驾驶车辆10的两个轮毂之间的轮距Wb、轴距L,激光测距装置17的高度及测量点16a到第三标定点15b所在的车轮的距离ld2,用如下公式计算得到所述测量点16a的世界坐标:
其中,公式(1)为测量点16a位于车身左侧时的世界坐标,公式(2)为测量点16a位于车身右侧时的世界坐标,所谓的左右是驾驶人坐在驾驶室时去车辆之间对应的左右关系。
更换测量点,重复上述步骤1)至步骤3),直至获取全部测量点的世界坐标。
基于测量点的世界坐标,结合步骤S103中所述测量点到所述第一标定点和第二标定点的相对位置关系(直线距离数据、水平距离及其俯仰角),即可获取所述第一标定点和第二标定点在世界坐标系中的世界坐标。
在一个具体实施例中,获取所述第一标定点和第二标定点在世界坐标系中的世界坐标的流程包括如下步骤:
1)从所述的第一标定点和第二标定点中任意选择一个,例如选择第二标定点,获取三个测量该第二标记点的测量点16的世界坐标及测量点16与对应的第二标定点之间的水平距离lh3、lh4、lh5;
2)分别以所述测量点16为圆心,所述测量点16与该第二标记点之间的距离为半径,形成三个测量圆方程;
3)将所述三个测量圆方程两两联立求解,得到任意两个测量圆之间的交点坐标,根据该第二标记点所的在区域,通过筛选得到该第二标记点的三组平面测量坐标(xd1,yd1)、(xd2,yd2)、(xd3,yd3),所述该第二标记点的高度可通过步骤S103中测量点与第二标记点之间的直线距离数据及其俯仰角获得,所以,得到所述该第二标记点的三组空间坐标(xd1,yd1,zd1)、(xd2,yd2,zd2)、(xd3,yd3,zd3);
4)将上述三组空间坐标(xd1,yd1,zd1)、(xd2,yd2,zd2)、(xd3,yd3,zd3)的平均值作为所述该第二标记点的实际坐标(x,y,z);这是由于前期的测量点的世界坐标计算存在一定的误差,并且所述测量点与所述该第二标记点之间的直线距离数据以及俯仰角测量也存在一定的误差,导致所述三组空间坐标的值不完全相等,为了减少误差,提高精确度,将三组空间坐标的均值作为所述该第二标记点的实际世界坐标;
5)从所述的第一标记点和第二标价点中选取另一个标记点,再次执行上述步骤1)至步骤4),直至获取所有第一标记点和第二标记点的世界坐标。
在所述步骤S105中,通过视觉传感器的第一标定点的世界坐标获取视觉传感器的空间坐标;
在一个实施例中,根据视觉传感器11附近挡风玻璃处粘贴的竖直方向的第一标定点在横向和纵向的世界坐标和以及水平方向的第一标定点的竖直高度(世界坐标),得到视觉传感器11的空间三维坐标。
在所述步骤S106中,依据所述第二标定点和视觉传感器的光心在标定图像中的位置以及第二标定点的世界坐标,获取所述视觉传感器的光心的世界坐标;
在一个具体实施例中,根据附图3所示的标定图像可知,在步骤S102中已经计算出所述四个第二标定点13’在所述标定图像中的像素坐标位置和所述光心在所述标定图像20中的像素坐标的位置,并标记显示为光心标记21。
所述四个第二标定点13’中的任意三个可以确定一个空间平面,结合所述第二标定点13’以及光心标记21在标定图像中的像素坐标,以及其对应的第二标定点13以及视觉传感器的光心在所述标定板12内相对的世界坐标,获取所述视觉传感器的光心在空间平面中的世界坐标。所述的空间平面指所述四个第二标定点13’中的任意三个确定的空间平面。其中,所述标定板上的第二标定点大于3个时,其余的第二标定点用于验证所述空间平面的定位精度。
在步骤S107中,根据所述视觉传感器的空间坐标以及所述视觉传感器的光心的世界坐标,获取所述视觉传感器的空间角度信息。
在本申请的一个具体实施例中,结合所述视觉传感器11的空间三维坐标以及视觉传感器11的光心的世界坐标,进行视觉传感器空间角度计算得到视觉传感器的pitch、yaw、roll三个空间角度信息。
在本申请的另一个实施例中,在自动驾驶车辆的两侧分别设置三个以上的测量点,根据所述自动驾驶车辆两侧的测量点,可分别获取所述视觉传感器的空间坐标信息以及空间角度信息,获取两个标定结果。为了提高标定的准确性,当依据不同的测量点标定的视觉传感器安装的空间角度和位置数值不同时,可以通过求平均值的方法对标定结果进行优化,从而提高本实施例所述标定方法的准确度。
更进一步,本申请实施例还提供了一种视觉传感器的标定装置,参考附图2以及附图3,包括:
第一标定点15,设置在所述视觉传感器11所在位置,第二标定点13,设置在所述视觉传感器11的视野范围内,第三标定点14,设置在车辆10上世界坐标已知的位置;
视觉传感器11,用于获取包含所述第二标定点13的图像,所述图像被储存为标定图像20,并用于将所述视觉传感器11的光心位置标记在所述标定图像中20,记录为光心标记21;
测量点16以及设置在测量点上的测量装置17,用于获取所述测量点16到所述第一标定点15,第二标定点13以及第三标定点14的相对位置;
计算单元,用于根据所述第三标定点的世界坐标获取所述测量点的世界坐标,还用于根据所述测量点到所述第一标定点和第二标定点的相对位置,获取所述第一标定点和第二标定点的世界坐标,以及用于通过视觉传感器的第一标定点的世界坐标获取视觉传感器的空间坐标,并根据所述第二标定点和视觉传感器的光心在标定图像中的位置以及第二标定点的世界坐标,获取所述视觉传感器的光心的世界坐标,以及根据所述视觉传感器的空间坐标以及所述视觉传感器的光心的世界坐标,获取所述视觉传感器的空间角度信息。
本实施例所述的计算单元可以是具有数据以及图像处理功能的任何常规计算设备,例如笔记本电脑,台式机等等。
其中,所述的测量装置为包含具有测角功能的激光测距仪的激光测距装置17。所述的激光测距装置的结构以及使用方法参考本实施例视觉传感器标定方法中的描写,在此不再赘述。
其中,所述第一标定点,第二标定点和第三标定点为包含具有反射光特性材料的标记点。
其中,所述的视觉传感器的标定装置还包括:标定板,用于设置所述第二标定点。
其中,所述的测量点设置的位置应使每次测量均可以测量到所述第一标定点,至少三个第二标定点以及至少两个第三标定点。
其中,所述的测量点设置在车辆两侧,其中车辆每侧测量点的数量都大于等于3个。
其中,所述的第一标定点至少包括两个,分别设置在视觉传感器所在位置的水平方向和竖直方向。
综上,本申请针对现有车载摄像头标定方法或者依赖大型、特定场地以及高精度设备,成本高昂,流程繁琐,从而不适合小批量或者单一产品标定场景,或者可操作性差的的缺陷,提出了一种无需昂贵测量设备和特定标定场地、可复现和操作性强的的视觉传感器标定方法以及装置。
本申请所述的视觉传感器标定方法以及装置,仅需要设置若干第一标定点,第二标定点和第三标定点,选择测量点以及设置在测量点上的测量装置,以及用于进行计算的计算单元,即可对所述视觉传感器进行标定,无需大型装置和设备,成本低,使用灵活,更适用于低成本小批量标定场景。
本申请所用的用于设置第二标定点的标定板,无需限定尺寸与形状,以及摆放方位和固定精度,其可在视觉传感器视野范围内任意摆放,降低了对标定场地和标定条件的要求,提高了标定灵活性。
本申请所述的视觉传感器标定方法以及装置通过使用测距精度为毫米级的激光测距仪测量设置于车辆车身上的第三标定点和设置于标定板上的第二标定点,保证了测量数据的精准度,完全满足所述视觉传感器标定的精度,整个标定方法流程简单,可操作性和实用性强,适用于现阶段诸多自动驾驶创业公司研发试验阶段小批量或者单一产品的摄像头标定需求。
本申请所述的所述的视觉传感器标定方法以及装置用具有反射光特性的反光材料作为第一标定点,第二标定点以及第三标定点的标记材料,在激光测距仪发射的激光照射至所述第一标定点,第二标定点以及第三标定点上时,在反光标记表面时可以产生明亮光斑,并在入射方向上产生一束较强的反射光,提高了测试的精度和准确度。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本申请意图囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本公开提出,并且在本公开的示例性实施例的精神和范围内。
此外,本申请中的某些术语已被用于描述本公开的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本公开的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本公开的一个或多个实施例中适当地组合。
应当理解,在本公开的实施例的前述描述中,为了帮助理解一个特征,出于简化本公开的目的,本申请有时将各种特征组合在单个实施例、附图或其描述中。或者,本申请又是将各种特征分散在多个本发明的实施例中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本申请的时候完全有可能将其中一部分特征提取出来作为单独的实施例来理解。也就是说,本申请中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
在一些实施方案中,表达用于描述和要求保护本申请的某些实施方案的数量或性质的数字应理解为在某些情况下通过术语“约”,“近似”或“基本上”修饰。例如,除非另有说明,否则“约”,“近似”或“基本上”可表示其描述的值的±20%变化。因此,在一些实施方案中,书面描述和所附权利要求书中列出的数值参数是近似值,其可以根据特定实施方案试图获得的所需性质而变化。在一些实施方案中,数值参数应根据报告的有效数字的数量并通过应用普通的舍入技术来解释。尽管阐述本申请的一些实施方案列出了广泛范围的数值范围和参数是近似值,但具体实施例中都列出了尽可能精确的数值。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
最后,应理解,本文公开的申请的实施方案是对本申请的实施方案的原理的说明。其他修改后的实施例也在本申请的范围内。因此,本申请披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本申请中的实施例采取替代配置来实现本申请中的发明。因此,本申请的实施例不限于申请中被精确地描述过的哪些实施例。
Claims (14)
1.一种视觉传感器的标定方法,其特征在于,包括:
在所述视觉传感器所在位置设置第一标定点,在所述视觉传感器的视野范围内设置第二标定点,并设置世界坐标已知的第三标定点;
将包含所述第二标定点的图像作为标定图像并标记所述视觉传感器的光心在标定图像中的位置;
设置测量点并获取所述测量点到所述第一标定点,第二标定点以及第三标定点的相对位置;
根据所述第三标定点的世界坐标获取所述测量点的世界坐标,并根据所述测量点到所述第一标定点和第二标定点的相对位置,获取所述第一标定点和第二标定点的世界坐标;
通过视觉传感器的第一标定点的世界坐标获取视觉传感器的空间坐标;
根据所述第二标定点和视觉传感器的光心在标定图像中的位置以及第二标定点的世界坐标,获取所述视觉传感器的光心的世界坐标;
根据所述视觉传感器的空间坐标以及所述视觉传感器的光心的世界坐标,获取所述视觉传感器的空间角度信息。
2.如权利要求1所述的视觉传感器的标定方法,其特征在于,所述第一标定点,第二标定点和第三标定点为包含具有反射光特性材料的标记点。
3.如权利要求1所述的视觉传感器的标定方法,其特征在于,所述的第二标定点设置在标定板上。
4.如权利要求1所述的视觉传感器的标定方法,其特征在于,所述的第二标定点的数量大于等于三个。
5.如权利要求1所述的视觉传感器的标定方法,其特征在于,所述的测量点设置的位置应使每次测量均可以测量到所述第一标定点,至少三个第二标定点以及至少两个第三标定点。
6.如权利要求5所述的视觉传感器的标定方法,其特征在于,所述的测量点设置在车辆的两侧,其中车辆每侧的测量点的数量大于等于3个。
7.如权利要求1所述的视觉传感器的标定方法,其特征在于,所述的第一标定点至少包括两个,分别设置在视觉传感器所在位置的水平方向和竖直方向。
8.一种视觉传感器的标定装置,其特征在于,包括:
第一标定点,设置在所述视觉传感器所在位置,第二标定点,设置在所述视觉传感器的视野范围内,第三标定点,设置在车辆上世界坐标已知的位置;
视觉传感器,用于获取包含所述第二标定点的图像,所述图像被储存为标定图像,并用于将所述视觉传感器的光心位置标记在所述标定图像中;
测量点以及设置在测量点上的测量装置,用于获取所述测量点到所述第一标定点,第二标定点以及第三标定点的相对位置;
计算单元,用于根据所述第三标定点的世界坐标获取所述测量点的世界坐标,并根据所述测量点到所述第一标定点和第二标定点的相对位置,获取所述第一标定点和第二标定点的世界坐标;还用于通过视觉传感器的第一标定点的世界坐标获取视觉传感器的空间坐标,并根据所述第二标定点和视觉传感器的光心在标定图像中的位置以及第二标定点的世界坐标,获取所述视觉传感器的光心的世界坐标,以及根据所述视觉传感器的空间坐标以及所述视觉传感器的光心的世界坐标,获取所述视觉传感器的空间角度信息。
9.如权利要求8所述的视觉传感器的标定装置,其特征在于,所述的测量装置为包含具有测角功能的激光测距仪的激光测距装置。
10.如权利要求9所述的视觉传感器的标定装置,其特征在于,所述第一标定点,第二标定点和第三标定点为包含具有反射光特性材料的标记点。
11.如权利要求9所述的视觉传感器的标定装置,其特征在于,还包括:标定板,用于设置所述第二标定点。
12.如权利要求9所述的视觉传感器的标定装置,其特征在于,所述的测量点设置的位置应使每次测量均可以测量到所述第一标定点,至少三个第二标定点以及至少两个第三标定点。
13.如权利要求12所述的视觉传感器的标定装置,其特征在于,所述的测量点设置在车辆两侧,其中车辆每侧测量点的数量都大于等于3个。
14.如权利要求9所述的视觉传感器的标定装置,其特征在于,所述的第一标定点至少包括两个,分别设置在视觉传感器所在位置的水平方向和竖直方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811432150.4A CN111243029B (zh) | 2018-11-28 | 2018-11-28 | 视觉传感器的标定方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811432150.4A CN111243029B (zh) | 2018-11-28 | 2018-11-28 | 视觉传感器的标定方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111243029A CN111243029A (zh) | 2020-06-05 |
CN111243029B true CN111243029B (zh) | 2023-06-23 |
Family
ID=70872182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811432150.4A Active CN111243029B (zh) | 2018-11-28 | 2018-11-28 | 视觉传感器的标定方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111243029B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022001836A (ja) * | 2020-06-19 | 2022-01-06 | 株式会社小松製作所 | 校正装置および校正方法 |
CN112045688B (zh) * | 2020-09-17 | 2022-12-27 | 河南工业职业技术学院 | 基于视觉感知的被动柔顺机器人抛磨路径规划*** |
CN112902961B (zh) * | 2021-01-19 | 2022-07-26 | 宁德思客琦智能装备有限公司 | 基于机器视觉定位的标定方法、介质、标定设备及*** |
CN113084827B (zh) * | 2021-04-01 | 2022-06-14 | 北京飞影科技有限公司 | 一种摄像装置光心位置标定方法及装置 |
CN113274672A (zh) * | 2021-04-27 | 2021-08-20 | 中国矿业大学 | 一种基于机器视觉的消防炮混合控制***及控制方法 |
CN114608563B (zh) * | 2022-05-11 | 2022-07-26 | 成都瑞讯物联科技有限公司 | 导航地图的生成方法及融合定位导航方法 |
CN115187668A (zh) * | 2022-06-13 | 2022-10-14 | 楚能新能源股份有限公司 | 一种多功能激光视觉标定块 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103871071A (zh) * | 2014-04-08 | 2014-06-18 | 北京经纬恒润科技有限公司 | 一种用于全景泊车***的摄像头外参标定方法 |
CN105157604A (zh) * | 2015-08-07 | 2015-12-16 | 天津大学 | 外场多束线结构光视觉测量***的快速标定方法 |
CN106485753A (zh) * | 2016-09-09 | 2017-03-08 | 奇瑞汽车股份有限公司 | 用于无人驾驶汽车的摄像机标定的方法和装置 |
CN107146254A (zh) * | 2017-04-05 | 2017-09-08 | 西安电子科技大学 | 多相机***的相机外参数标定方法 |
WO2018014730A1 (zh) * | 2016-07-18 | 2018-01-25 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及*** |
CN108765495A (zh) * | 2018-05-22 | 2018-11-06 | 山东大学 | 一种基于双目视觉检测技术的快速标定方法及*** |
-
2018
- 2018-11-28 CN CN201811432150.4A patent/CN111243029B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103871071A (zh) * | 2014-04-08 | 2014-06-18 | 北京经纬恒润科技有限公司 | 一种用于全景泊车***的摄像头外参标定方法 |
CN105157604A (zh) * | 2015-08-07 | 2015-12-16 | 天津大学 | 外场多束线结构光视觉测量***的快速标定方法 |
WO2018014730A1 (zh) * | 2016-07-18 | 2018-01-25 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及*** |
CN106485753A (zh) * | 2016-09-09 | 2017-03-08 | 奇瑞汽车股份有限公司 | 用于无人驾驶汽车的摄像机标定的方法和装置 |
CN107146254A (zh) * | 2017-04-05 | 2017-09-08 | 西安电子科技大学 | 多相机***的相机外参数标定方法 |
CN108765495A (zh) * | 2018-05-22 | 2018-11-06 | 山东大学 | 一种基于双目视觉检测技术的快速标定方法及*** |
Non-Patent Citations (1)
Title |
---|
谭华春 等."车载摄像机的立体标定方法".《吉林大学学报(工学版)》.2013,第43卷(第S1期),第352-356页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111243029A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111243029B (zh) | 视觉传感器的标定方法以及装置 | |
CN109215083B (zh) | 车载传感器的外部参数标定的方法和设备 | |
US11420643B2 (en) | Device and method for calibrating vehicle assistance systems | |
US8872920B2 (en) | Camera calibration apparatus | |
US9201424B1 (en) | Camera calibration using structure from motion techniques | |
CA2767273C (en) | The surroundview system camera automatic calibration-only extrinsic parameters | |
CN103065323B (zh) | 一种基于单应性变换矩阵的分段空间对准方法 | |
US7652686B2 (en) | Device for image detecting objects, people or similar in the area surrounding a vehicle | |
CN101676686B (zh) | 确定布置在车辆中的照相机的位置和取向的方法 | |
US11392124B1 (en) | Method and system for calibrating a plurality of detection systems in a vehicle | |
CN112070841A (zh) | 一种毫米波雷达与摄像头快速联合标定方法 | |
US20220042794A1 (en) | System and method for operator guided identification of vehicle reference locations for adas sensor alignment | |
US11145112B2 (en) | Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle | |
CN110555884A (zh) | 一种车载双目相机的标定方法、装置及终端 | |
CN114764138A (zh) | 多传感器顺序校准*** | |
CN109712198B (zh) | 一种高级驾驶辅助***的标定方法 | |
CN115079143A (zh) | 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置 | |
CN112346037A (zh) | 车载激光雷达的标定方法、装置、设备及车辆 | |
CN109087361B (zh) | 一种基于单目摄像头的前向物体横向距离标定方法 | |
CN111141252B (zh) | 一种单目标定测距的方法及*** | |
CN109029438B (zh) | 一种在有限区域内的车辆定位方法 | |
KR102686507B1 (ko) | 전자 장치 및 센서 셀프-캘리브레이션 방법 | |
US20240116531A1 (en) | Systems and methods of calibrating sensors for an autonomous vehicle | |
CN117058210B (zh) | 基于车载传感器的距离计算方法和装置及存储介质和车辆 | |
EP4177629A1 (en) | System and method for joint calibration of sensors, vehicle and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |