CN108364320A - 摄像头标定方法、终端设备及计算机可读存储介质 - Google Patents
摄像头标定方法、终端设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108364320A CN108364320A CN201810274755.9A CN201810274755A CN108364320A CN 108364320 A CN108364320 A CN 108364320A CN 201810274755 A CN201810274755 A CN 201810274755A CN 108364320 A CN108364320 A CN 108364320A
- Authority
- CN
- China
- Prior art keywords
- image
- calibrated
- overlapping region
- pixel
- object pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种摄像头标定方法、终端设备及计算机可读存储介质，本发明通过终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，计算各目标像素坐标的坐标差值，根据坐标差值对所述预设矩阵进行更新，根据更新后的预设矩阵将重叠区域变换至目标坐标系中，计算所述重叠区域的重叠因子，当重叠因子大于预设门限值时，根据重叠区域在目标坐标系中的坐标对各待标定图像进行标定，能够减少对固定场地和精确车辆位置的依赖，能够实时地对车辆进行精确标定。
Description
技术领域
本发明涉及车辆标定领域，尤其涉及一种摄像头标定方法、终端设备及计算机可读存储介质。
背景技术
目前市面上对车辆标定一般是采用以下步骤实现：1、将待标定的车辆停在指定的场地，要求车辆停放位置的精度很高；2、在车辆周围铺上指定的图像场景，并且场地上不能有污渍、反光等；3、获取摄像头在该场景下的图片；4、计算标定图案中的有效角点的位置；5、利用图像上的角点位置和角点在真实世界坐标系里的真实位置，找到对应关系，然后得到世界坐标系到图像坐标系的转换参数，将每幅图像变换到指定的角点位置；6、利用相邻图像相同角点的重合程度进行拼接优化。
但是现有的车辆标定方法具有三个方面的缺点：1、需要较大的标定场地；2、场地利用率不高；3、尺寸要求严格；并且由于过于依赖场地环境及精确的位置信息，一旦环境或车辆位置出现偏差，就会导致角点在世界坐标系中出现偏离，很可能导致拼接图像错位，不能够精确对车辆进行标定，因此急需一种不依赖标定场地以及人为的标定环境来完成车辆标定的方案出现。
发明内容
本发明的主要目的在于提供一种摄像头标定方法、终端设备及计算机可读存储介质，旨在解决现有技术中过于依赖场地环境及精确的位置信息，一旦环境或车辆位置出现偏差，不能够精确对车辆进行标定的技术问题。
为实现上述目的，本发明提供一种摄像头标定方法，所述摄像头标定方法包括以下步骤：
终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量；
对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标；
计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新；
根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度；
当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定。
优选地，所述对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标之前，所述摄像头标定方法还包括：
根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域。
优选地，所述根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域，具体包括：
根据预设分层层数获取对应的抽取倍数，并通过所述预设分层层数和所述抽取倍数对所述目标坐标系中的各待标定图像进行分层抽取；
将抽取后的各待标定图像进行高斯滤波处理，获得各层抽取的各待标定图像的重叠区域。
优选地，所述对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，具体包括：
对各层抽取的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素；
将搜索到的所述光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标。
优选地，所述对各层抽取的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素，具体包括：
获取与所述抽取倍数对应的内插倍数；
根据所述内插倍数对各层抽取的各待标定图像进行内插，并进行高斯滤波处理；
将处理后的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素。
优选地，所述计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新，具体包括：
计算各目标像素坐标之间的坐标差值，根据各目标差值固定所述预设矩阵中的左右变换矩阵系数，更新所述预设矩阵中的前后变换矩阵系数；
根据所述左右变换矩阵系数和更新后的前后变换矩阵系数对所述预设矩阵进行更新。
优选地，所述多个待标定图像为标定车辆对应的多个车辆行驶图像。
优选地，所述将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量之前，所述摄像头标定方法还包括：
获取与所述标定车辆对应的多个车辆行驶图像，对各车辆行驶图像依次进行灰度化处理，滤波去噪处理和细节增强处理，将处理后的各车辆行驶图像作为各待标定图像。
此外，为实现上述目的，本发明还提出一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的摄像头标定程序，所述摄像头标定程序配置为实现如上文所述的摄像头标定方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有摄像头标定程序，所述摄像头标定程序被处理器执行时实现如上文所述的摄像头标定方法的步骤。
本发明提出的摄像头标定方法，本发明通过终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新，根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度，当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定，能够减少对固定场地和精确车辆位置的依赖，能够实时地对车辆进行精确标定，且不依赖场地环境及精确的位置信息，能够实现快速适配不同的车型。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图；
图2为本发明摄像头标定方法第一实施例的流程示意图；
图3为本发明摄像头标定方法第二实施例的流程示意图；
图4为本发明摄像头标定方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：本发明通过终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新，根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度，当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定，能够减少对固定场地和精确车辆位置的依赖，能够实时地对车辆进行精确标定，且不依赖场地环境及精确的位置信息，能够实现快速适配不同的车型，解决了现有技术中过于依赖场地环境及精确的位置信息，一旦环境或车辆位置出现偏差，不能够精确对车辆进行标定的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端设备结构示意图。
如图1所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002、用户端接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户端接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户端接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对该终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户端接口模块以及摄像头标定程序。
本发明终端设备通过处理器1001调用存储器1005中存储的摄像头标定程序，并执行以下操作：
终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量；
对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标；
计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新；
根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度；
当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定。
进一步地，处理器1001可以调用存储器1005中存储的摄像头标定程序，还执行以下操作：
根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域。
进一步地，处理器1001可以调用存储器1005中存储的摄像头标定程序，还执行以下操作：
根据预设分层层数获取对应的抽取倍数，并通过所述预设分层层数和所述抽取倍数对所述目标坐标系中的各待标定图像进行分层抽取；
将抽取后的各待标定图像进行高斯滤波处理，获得各层抽取的各待标定图像的重叠区域。
进一步地，处理器1001可以调用存储器1005中存储的摄像头标定程序，还执行以下操作：
对各层抽取的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素；
将搜索到的所述光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标。
进一步地，处理器1001可以调用存储器1005中存储的摄像头标定程序，还执行以下操作：
获取与所述抽取倍数对应的内插倍数；
根据所述内插倍数对各层抽取的各待标定图像进行内插，并进行高斯滤波处理；
将处理后的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素。
进一步地，处理器1001可以调用存储器1005中存储的摄像头标定程序，还执行以下操作：
计算各目标像素坐标之间的坐标差值，根据各目标差值固定所述预设矩阵中的左右变换矩阵系数，更新所述预设矩阵中的前后变换矩阵系数；
根据所述左右变换矩阵系数和更新后的前后变换矩阵系数对所述预设矩阵进行更新。
进一步地，处理器1001可以调用存储器1005中存储的摄像头标定程序，还执行以下操作：
所述多个待标定图像为标定车辆对应的多个车辆行驶图像。
进一步地，处理器1001可以调用存储器1005中存储的摄像头标定程序，还执行以下操作：
获取与所述标定车辆对应的多个车辆行驶图像，对各车辆行驶图像依次进行灰度化处理，滤波去噪处理和细节增强处理，将处理后的各车辆行驶图像作为各待标定图像。
本实施例通过上述方案，通过终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新，根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度，当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定，能够减少对固定场地和精确车辆位置的依赖，能够实时地对车辆进行精确标定，且不依赖场地环境及精确的位置信息，能够实现快速适配不同的车型。
基于上述硬件结构，提出本发明摄像头标定方法实施例。
参照图2，图2为本发明摄像头标定方法第一实施例的流程示意图。
在第一实施例中，所述摄像头标定方法包括以下步骤：
步骤S10、终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量；
需要说明的是，所述终端设备可以是具有图像处理功能的设备，也可以是具有图像处理功能的摄像头，还可以是具有图像处理功能的服务器，当然还可以是具有图像处理功能的其他类型的终端，本实施例对此不加以限制。
可以理解的是，所述预设矩阵为通过获取多个待标定图像的摄像头对应的参数确定的预设初始的矩阵，所述摄像头对应的参数可以包括内参和外参，所述内参为摄像头内部的参数，可以包括但不限于：焦距、视场角、光圈、最大帧数和色彩位数等，所述外参为摄像头的安装坐标参数，可以通过摄像头的内参和外参确定预先设定的初始矩阵，即所述预设矩阵。
应当理解的是，终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，即将多个不同的待标定图像变换到统一的坐标系中，以方便对各待标定图像进行标定，将多个待标定图像根据预设矩阵变换至目标坐标系之后，可以获取各待标定图像中各标定图像的每一像素对应的光流矢量，所述光流矢量表明各标定图像中每一像素的像素运动方向和大小。
在具体实现中，可以通过基于金字塔光流法的摄像头获取多个待标定图像，根据摄像头的内参和外参确定预先设置的预设矩阵，根据预设矩阵将多个待标定图像变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，当然也可以是通过其他类型的摄像头或终端设备获取多个待标定图像，本实施例对此不加以限制，通过金字塔光流法能够有效提高各待标定图像的标定结果的准确性和实时性。
相应地，所述多个待标定图像为标定车辆对应的多个车辆行驶图像。
可以理解的是，所述多个待标定图像可以是终端设备，例如是道路上的监控摄像头通过获取标定车辆对应的车辆行驶图像，所述标定车辆为预先设置的需要进行标定的车辆，可以是符合一定筛选条件的车辆，也可以是直接指定需要进行标定的车辆，当然还可以是其他方式确定的标定车辆，本实施例对此不加以限制。
进一步地，所述步骤S10之前，所述摄像头标定方法还包括：
获取与所述标定车辆对应的多个车辆行驶图像，对各车辆行驶图像依次进行灰度化处理，滤波去噪处理和细节增强处理，将处理后的各车辆行驶图像作为各待标定图像。
应当理解的是，获取所述标定车辆对应的多个车辆行驶图像之后，可以对各车辆行驶图像进行灰度化处理，只保留灰度值，经过灰度化处理后再进行滤波去噪处理和细节增强处理，将经过上述处理后的各车辆行驶图像作为各待标定图像，当然也可以是对多个车辆行驶图像经过其他类型的处理或更多或更少的处理过程以形成各待标定图像，本实施例对此不加以限制。
在具体实现中，标定车辆以一定的速度在路上行驶，多个摄像头会有到一个的同步触发信号，同时发送一个触发脉冲，使得在同一个时刻采集到多幅同步的图像，即多个车辆行驶图像，对每一幅图像进行灰度化处理、低通滤波去噪处理，然后对图像细节进行增强处理，将处理后的各车辆行驶图像作为各待标定图像，本实施例中对各待标定图像的摄像头标定可以适用于标定车辆，当然也可以适用于其他摄像头标定的场景，本实施例对此不加以限制。
步骤S20、对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标；
需要说明的是，各待标定图像的重叠区域即为各待标定图像重叠部分在目标坐标系中对应的区域，对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，即为在各待标定图像的重叠区域进行搜索匹配，找到各待标定图像之间光流矢量匹配程度最高的像素，即一个待标定图像与另一个待标定图像中正好有像素完全匹配或近似完全匹配，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取多个目标像素在所述目标坐标系中对应的目标像素坐标。
在具体实现中，可以在确定的图像重叠区域内进行多次搜索匹配，找到光流矢量匹配程度最大的地方，即对应的目标像素，并及时记录下目标像素相应的坐标位置，以方便影响后续操作，也可以是对各待标定图像的多个重叠区域进行搜索，即将各不同的重叠区域进行搜索，找到光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标。
步骤S30、计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新；
需要说明的是，各目标像素坐标的坐标差值为多个目标像素坐标在所述目标坐标系中的差值，反映对各待标定图像的重叠区域进行搜索的结果之间的差异，根据所述坐标差值能够对所述预设矩阵进行更新，使所述预设矩阵更加适合将各待标定图像映射至所述目标坐标系，使得各待标定图像的最终标定结果更加精确。
进一步地，所述步骤S30具体包括：
计算各目标像素坐标之间的坐标差值，根据各目标差值固定所述预设矩阵中的左右变换矩阵系数，更新所述预设矩阵中的前后变换矩阵系数；
根据所述左右变换矩阵系数和更新后的前后变换矩阵系数对所述预设矩阵进行更新。
可以理解的是，根据各目标像素坐标之间的坐标差值，即各待标定图像的重叠区域中光流矢量匹配程度最大的地方对应的坐标点与另一个各待标定图像的重叠区域中光流矢量匹配程度最大的地方对应的坐标点之间的差值，根据各目标差值可以固定所述预设矩阵中的左右变换矩阵系数，更新所述预设矩阵中的前后变换矩阵系数，根据所述左右变换矩阵系数和更新后的前后变换矩阵系数对所述预设矩阵进行更新。
步骤S40、根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度；
需要说明的是，根据更新后的预设矩阵将所述重叠区域变换至统一的坐标系中即所述目标坐标系中，计算所述重叠区域的重叠因子，即根据更新后的预设矩阵，将各待标定图像的重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠程度，即重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度。
步骤S50、当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定。
需要说明的是，所述预设门限值为预先设定的用于衡量重叠区域在所述目标坐标系中的重叠程度是否满足对各待标定图像的标定要求的门限值；当所述重叠因子大于所述预设门限值时，即表明当前重叠区域满足了对各待标定图像的标定要求，即此刻的预设矩阵符合各待标定图像的标定要求，此时根据所述重叠区域在所述目标坐标系中的坐标可以对各待标定图像进行标定。
在具体实现中，当所述重叠因子大于预设门限值时，一般可以将此时的预设矩阵以表格的形式进行保存，并根据重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定，当所述重叠因子不大于所述预设门限值时，一般可以重新进行一次摄像头标定流程，直至所述重叠因子大于所述预设门限值为止。
本实施例通过上述方案，通过终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新，根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度，当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定，能够减少对固定场地和精确车辆位置的依赖，能够实时地对车辆进行精确标定，且不依赖场地环境及精确的位置信息，能够实现快速适配不同的车型。
进一步地，图3为本发明摄像头标定方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明摄像头标定方法第二实施例，在本实施例中，所述步骤S20之前，所述摄像头标定方法还包括以下步骤：
步骤S201、根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域。
需要说明的是，所述预设分层层数为预先设置的对所述目标坐标系中的各待标定图像进行分层抽取的层数，可以是技术人员根据大量实验数据或训练数据确定的分层层数，也可以是根据日常经验确定的分层层数，还可以是通过其他方式确定的适合图像匹配计算过程的分层层数或分层层数范围，本实施例对此不加以限制。
可以理解的是，根据所述预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取之后，能够分别获取各层抽取的各待标定图像的重叠区域，即各层中各待标定图像之间的重叠区域。进一步地，所述步骤S201具体包括以下步骤：
根据预设分层层数获取对应的抽取倍数，并通过所述预设分层层数和所述抽取倍数对所述目标坐标系中的各待标定图像进行分层抽取；
将抽取后的各待标定图像进行高斯滤波处理，获得各层抽取的各待标定图像的重叠区域。
应当理解的是，根据预设分层层数获取对应的抽取倍数，所述抽取倍数为用于分层抽取的抽取倍数，与所述预设分层层数相对应，通过所述预设分层层数和所述抽取倍数完成对所述目标坐标系中的各待标定图像的分层抽取操作，将抽取后的各待标定图像进行高斯滤波处理，获得各层抽取的各待标定图像的重叠区域。
在具体实现中，终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量之后，一般可以根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域，例如在预设分层层数为3层时，将每幅图像进行对应的2倍抽取，并进行高斯滤波，将图像变换到第二层，此时图像分辨率为原始图像的1/2，再将每幅图像进行高斯滤波后进行2倍抽取，将图像变换到第三层，此时图像分辨率为原始图像的1/4，获取第三层中各待标定图像的重叠区域，当然也可以是通过其他方式利用雨水分层层数和抽取倍数对所述目标坐标系中的各待标定图像进行分层抽取，进而确定各待标定图像的重叠区域。
本实施例通过上述方案，通过终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域，能够使对重叠区域的搜索范围减小，避免了进行大面积搜索匹配造成的资源浪费和时间消耗，不论数据计算量的大小都能够进行有效控制，提高了对车辆标定的实时性，并且通过光流矢量匹配能够提高车辆标定的精确度，提高了鲁棒性，且不依赖场地环境及精确的位置信息，能够实现快速适配不同的车型。
进一步地，图4为本发明摄像头标定方法第三实施例的流程示意图，如图4所示，基于第二实施例提出本发明摄像头标定方法第三实施例，在本实施例中，所述步骤S20具体包括以下步骤：
步骤S21、对各层抽取的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素；
可以理解的是，对各层抽取的各待标定图像的重叠区域进行搜索，在各层中分别可以搜索到光流矢量匹配程度最高的像素，即在各层中搜索到各待标定图像中重叠部分中刚好完全匹配或近似完全匹配的像素作为所述目标像素。
相应地，所述步骤S21具体包括以下步骤：
获取与所述抽取倍数对应的内插倍数；
根据所述内插倍数对各层抽取的各待标定图像进行内插，并进行高斯滤波处理；
将处理后的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素。
应当理解的是，所述内插倍数为与所述抽取倍数对应的相应倍数，用于对各层抽取的各待标定图像进行内插，获取与所述抽取倍数对应的内插倍数后，可以根据所述内插倍数对各层抽取的各待标定图像进行内插，并进行高斯滤波处理，将处理后的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素。
在具体实现中，终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，一般可以根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域之后，对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，一般可以通过将第三层中的每幅图像进行2倍内插，并进行高斯滤波处理，将图像的光流矢量和对应的坐标变换到第二层，根据金字塔光流法求出第二层图像重叠区域更加精确的光流矢量，以第三层变换过来的目标像素坐标，以这个坐标为中心的一个正方形区域内进行进一步的精确匹配，并记录下坐标点，再将每幅图像进行2倍内插，并进行高斯滤波，将图像变换到第一层，也就是对应原图像的分辨率，同样将对应的光流矢量和匹配坐标变换到第一层，求出第一层图像重叠区域对应的精确光流矢量，继续以上层变换过来的匹配坐标点为中心的一个正方形区域内进行进一步的精确匹配，并记录下行的匹配坐标点即目标像素。
步骤S22、将搜索到的所述光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标。
可以理解的是，当搜索到相应的目标像素后，可以及时获取各目标像素的目标像素坐标，以方便后续计算各目标像素坐标的坐标差值。
在具体实现中，以预设分层层数为3层，待标定图像为4幅为例，一般可以通过以下公式算出第三层4幅图像之前互相重叠区域的光流矢量大小：
上述公式中，Ix表示图像在列方向上的导数，计算模板为[-180-81]/12；Iy表示图像在行方向上的导数，计算模板为[-180-81]/12；It表示图像在时间方向上的导数，计算模板为[-11]；W表示计算窗口；
上述公式中，A为预设矩阵，T为时间矩阵，t1＝∑W2IxIt，t2＝∑W2IyIt，t1和t2为时间向量，V表示矩阵的特征值，λ1和λ2表示预设矩阵A的特征向量，且λ1＜λ2，τ为预设门限值，通过以下计算机可读程序片段可以实现重叠因子与预设门限值的判断过程：
if λ2＜τ
u＝0；v＝0；
elseif
n2＝v12*t1+v22*t2；
u＝n2*v12/λ2；
v＝n2*v22/λ2；
else
n1＝v11*t1+v21*t2；
n2＝v12*t1+v22*t2；
u＝n1*v11/λ1+n2*v12/λ2；
v＝n1*λ21/λ1+n2*v22/λ2；
上述程序中n1，n2为更新后的预设矩阵的向量，u和v为各待标定图像在俯视图中对应的坐标，即可以在重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定，并在具体实现中可以通过更新查找表的方式对相应的更新后的预设矩阵进行保存，视为标定完成，否则重新进行一次标定流程。
本实施例通过上述方案，通过获取与所述抽取倍数对应的内插倍数，根据所述内插倍数对各层抽取的各待标定图像进行内插，并进行高斯滤波处理，将处理后的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素，将搜索到的所述光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，能够进一步保证各待标定图像的标定精度，确保标定结果的精确度，并且能够及时快速的对各待标定图像进行标定，缩短了标定时间，提高了标定效率，且不依赖场地环境及精确的位置信息，能够实现快速适配不同的车型。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有摄像头标定程序，所述摄像头标定程序被处理器执行时实现如下操作：
将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量；
对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标；
计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新；
根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度；
当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定。
进一步地，所述摄像头标定程序被处理器执行时还实现如下操作：
根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域。
进一步地，所述摄像头标定程序被处理器执行时还实现如下操作：
根据预设分层层数获取对应的抽取倍数，并通过所述预设分层层数和所述抽取倍数对所述目标坐标系中的各待标定图像进行分层抽取；
将抽取后的各待标定图像进行高斯滤波处理，获得各层抽取的各待标定图像的重叠区域。
进一步地，所述摄像头标定程序被处理器执行时还实现如下操作：
对各层抽取的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素；
将搜索到的所述光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标。
进一步地，所述摄像头标定程序被处理器执行时还实现如下操作：
获取与所述抽取倍数对应的内插倍数；
根据所述内插倍数对各层抽取的各待标定图像进行内插，并进行高斯滤波处理；
将处理后的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素。
进一步地，所述摄像头标定程序被处理器执行时还实现如下操作：
计算各目标像素坐标之间的坐标差值，根据各目标差值固定所述预设矩阵中的左右变换矩阵系数，更新所述预设矩阵中的前后变换矩阵系数；
根据所述左右变换矩阵系数和更新后的前后变换矩阵系数对所述预设矩阵进行更新。
进一步地，所述摄像头标定程序被处理器执行时还实现如下操作：
获取与所述标定车辆对应的多个车辆行驶图像，对各车辆行驶图像依次进行灰度化处理，滤波去噪处理和细节增强处理，将处理后的各车辆行驶图像作为各待标定图像。
本实施例通过上述方案，通过终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量，对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新，根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度，当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定，能够减少对固定场地和精确车辆位置的依赖，能够实时地对车辆进行精确标定，且不依赖场地环境及精确的位置信息，能够实现快速适配不同的车型。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种摄像头标定方法，其特征在于，所述摄像头标定方法包括：
终端设备将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量；
对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标；
计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新；
根据更新后的预设矩阵将所述重叠区域变换至所述目标坐标系中，计算所述重叠区域的重叠因子，所述重叠因子反映重叠区域在所述目标坐标系中的重叠程度；
当所述重叠因子大于预设门限值时，根据所述重叠区域在所述目标坐标系中的坐标对各待标定图像进行标定。
2.如权利要求1所述的摄像头标定方法，其特征在于，所述对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标之前，所述摄像头标定方法还包括：
根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域。
3.如权利要求2所述的摄像头标定方法，其特征在于，所述根据预设分层层数对所述目标坐标系中的各待标定图像进行分层抽取，获取各层抽取的各待标定图像的重叠区域，具体包括：
根据预设分层层数获取对应的抽取倍数，并通过所述预设分层层数和所述抽取倍数对所述目标坐标系中的各待标定图像进行分层抽取；
将抽取后的各待标定图像进行高斯滤波处理，获得各层抽取的各待标定图像的重叠区域。
4.如权利要求3所述的摄像头标定方法，其特征在于，所述对各待标定图像的重叠区域进行搜索，将搜索到的光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标，具体包括：
对各层抽取的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素；
将搜索到的所述光流矢量匹配程度最高的像素作为目标像素，并获取各目标像素的目标像素坐标。
5.如权利要求4所述的摄像头标定方法，其特征在于，所述对各层抽取的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素，具体包括：
获取与所述抽取倍数对应的内插倍数；
根据所述内插倍数对各层抽取的各待标定图像进行内插，并进行高斯滤波处理；
将处理后的各待标定图像的重叠区域进行搜索，在各层中搜索光流矢量匹配程度最高的像素。
6.如权利要求1-5中任一项所述的摄像头标定方法，其特征在于，所述计算各目标像素坐标的坐标差值，根据所述坐标差值对所述预设矩阵进行更新，具体包括：
计算各目标像素坐标之间的坐标差值，根据各目标差值固定所述预设矩阵中的左右变换矩阵系数，更新所述预设矩阵中的前后变换矩阵系数；
根据所述左右变换矩阵系数和更新后的前后变换矩阵系数对所述预设矩阵进行更新。
7.如权利要求1-5中任一项所述的摄像头标定方法，其特征在于，所述多个待标定图像为标定车辆对应的多个车辆行驶图像。
8.如权利要求7所述的摄像头标定方法，其特征在于，所述将多个待标定图像根据预设矩阵变换至目标坐标系中，获取各待标定图像中每一像素分别对应的光流矢量之前，所述摄像头标定方法还包括：
获取与所述标定车辆对应的多个车辆行驶图像，对各车辆行驶图像依次进行灰度化处理，滤波去噪处理和细节增强处理，将处理后的各车辆行驶图像作为各待标定图像。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的摄像头标定程序，所述摄像头标定程序配置为实现如权利要求1至8中任一项所述的摄像头标定方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有摄像头标定程序，所述摄像头标定程序被处理器执行时实现如权利要求1至8中任一项所述的摄像头标定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810274755.9A CN108364320B (zh) | 2018-03-29 | 2018-03-29 | 摄像头标定方法、终端设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810274755.9A CN108364320B (zh) | 2018-03-29 | 2018-03-29 | 摄像头标定方法、终端设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108364320A true CN108364320A (zh) | 2018-08-03 |
| CN108364320B CN108364320B (zh) | 2021-12-21 |
Family
ID=63001407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810274755.9A Active CN108364320B (zh) | 2018-03-29 | 2018-03-29 | 摄像头标定方法、终端设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108364320B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191525A (zh) * | 2018-09-03 | 2019-01-11 | 佛亚智能装备（苏州）有限公司 | 一种偏差预警方法及装置 |
| CN109712196A (zh) * | 2018-12-17 | 2019-05-03 | 北京百度网讯科技有限公司 | 摄像头标定处理方法、装置、车辆控制设备及存储介质 |
| CN110334688A (zh) * | 2019-07-16 | 2019-10-15 | 重庆紫光华山智安科技有限公司 | 基于人脸照片库的图像识别方法、装置和计算机可读存储介质 |
| CN111791226A (zh) * | 2019-12-31 | 2020-10-20 | 深圳市豪恩声学股份有限公司 | 通过机器人实现组装的方法、装置及机器人 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903019A (zh) * | 2014-04-11 | 2014-07-02 | 北京工业大学 | 一种多车道车辆轨迹时空图的自动生成方法 |
| CN104933429A (zh) * | 2015-06-01 | 2015-09-23 | 深圳市诺比邻科技有限公司 | 图像中信息提取的方法及装置 |
| WO2016148785A1 (en) * | 2015-03-16 | 2016-09-22 | Qualcomm Incorporated | Real time calibration for multi-camera wireless device |
| CN106683114A (zh) * | 2016-12-16 | 2017-05-17 | 河海大学 | 基于特征光流的流体运动矢量估计方法 |
| CN106980829A (zh) * | 2017-03-17 | 2017-07-25 | 苏州大学 | 基于视频分析的打架斗殴异常行为自动检测方法 |
| CN107016646A (zh) * | 2017-04-12 | 2017-08-04 | 长沙全度影像科技有限公司 | 一种基于改进的逼近投影变换图像拼接方法 |
| CN107289910A (zh) * | 2017-05-22 | 2017-10-24 | 上海交通大学 | 一种基于tof的光流定位*** |
| CN107451654A (zh) * | 2017-07-05 | 2017-12-08 | 深圳市自行科技有限公司 | 卷积神经网络的加速运算方法、服务器及存储介质 |
| US20180013968A1 (en) * | 2013-04-30 | 2018-01-11 | International Business Machines Corporation | Multifunctional Sky Camera System for Total Sky Imaging and Spectral Radiance Measurement |
-
2018
- 2018-03-29 CN CN201810274755.9A patent/CN108364320B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180013968A1 (en) * | 2013-04-30 | 2018-01-11 | International Business Machines Corporation | Multifunctional Sky Camera System for Total Sky Imaging and Spectral Radiance Measurement |
| CN103903019A (zh) * | 2014-04-11 | 2014-07-02 | 北京工业大学 | 一种多车道车辆轨迹时空图的自动生成方法 |
| WO2016148785A1 (en) * | 2015-03-16 | 2016-09-22 | Qualcomm Incorporated | Real time calibration for multi-camera wireless device |
| CN104933429A (zh) * | 2015-06-01 | 2015-09-23 | 深圳市诺比邻科技有限公司 | 图像中信息提取的方法及装置 |
| CN106683114A (zh) * | 2016-12-16 | 2017-05-17 | 河海大学 | 基于特征光流的流体运动矢量估计方法 |
| CN106980829A (zh) * | 2017-03-17 | 2017-07-25 | 苏州大学 | 基于视频分析的打架斗殴异常行为自动检测方法 |
| CN107016646A (zh) * | 2017-04-12 | 2017-08-04 | 长沙全度影像科技有限公司 | 一种基于改进的逼近投影变换图像拼接方法 |
| CN107289910A (zh) * | 2017-05-22 | 2017-10-24 | 上海交通大学 | 一种基于tof的光流定位*** |
| CN107451654A (zh) * | 2017-07-05 | 2017-12-08 | 深圳市自行科技有限公司 | 卷积神经网络的加速运算方法、服务器及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| BRUHN A ET AL: ""Combining local and global optic flow methods"", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
| 严娟: ""基于图像的移动目标跟踪与导航"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 石龙伟 等: ""基于光流法和卡尔曼滤波的多目标跟踪"", 《计算机应用》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109191525A (zh) * | 2018-09-03 | 2019-01-11 | 佛亚智能装备（苏州）有限公司 | 一种偏差预警方法及装置 |
| CN109712196A (zh) * | 2018-12-17 | 2019-05-03 | 北京百度网讯科技有限公司 | 摄像头标定处理方法、装置、车辆控制设备及存储介质 |
| CN109712196B (zh) * | 2018-12-17 | 2021-03-30 | 北京百度网讯科技有限公司 | 摄像头标定处理方法、装置、车辆控制设备及存储介质 |
| US11151392B2 (en) | 2018-12-17 | 2021-10-19 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for camera calibration processing, device for vehicle control and storage medium |
| CN110334688A (zh) * | 2019-07-16 | 2019-10-15 | 重庆紫光华山智安科技有限公司 | 基于人脸照片库的图像识别方法、装置和计算机可读存储介质 |
| CN111791226A (zh) * | 2019-12-31 | 2020-10-20 | 深圳市豪恩声学股份有限公司 | 通过机器人实现组装的方法、装置及机器人 |
| CN111791226B (zh) * | 2019-12-31 | 2021-12-03 | 深圳市豪恩声学股份有限公司 | 通过机器人实现组装的方法、装置及机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108364320B (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059608B (zh) | 一种物体检测方法、装置、电子设备和存储介质 | |
| CN108364320A (zh) | 摄像头标定方法、终端设备及计算机可读存储介质 | |
| CN111436216A (zh) | 用于彩色点云生成的方法和*** | |
| CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
| CN113935428A (zh) | 基于图像识别的三维点云聚类识别方法及*** | |
| CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN115170810B (zh) | 一种可见光红外图像融合目标检测实例分割方法 | |
| CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| CN111982132B (zh) | 数据处理方法、装置和存储介质 | |
| CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
| EP4293622A1 (en) | Method for training neural network model and method for generating image | |
| CN117152265A (zh) | 一种基于区域提取的交通图像标定方法及装置 | |
| CN111899277A (zh) | 运动目标检测方法及装置、存储介质、电子装置 | |
| CN116823966A (zh) | 相机的内参标定方法、装置、计算机设备和存储介质 | |
| CN116245943A (zh) | 基于web的连续帧点云数据标注方法及装置 | |
| CN116071721A (zh) | 一种基于Transformer的高精地图实时预测方法和*** | |
| CN113744361B (zh) | 一种基于三目视觉的三维高精地图构建方法及装置 | |
| CN115909241A (zh) | 一种车道线检测方法、***、电子设备和存储介质 | |
| CN112102412B (zh) | 一种无人机降落过程中视觉锚点的检测方法及*** | |
| CN110969875B (zh) | 一种用于道路交叉***通管理的方法及*** | |
| CN114998424B (zh) | 车窗的位置确定方法、装置和车辆 | |
| CN115861316B (zh) | 行人检测模型的训练方法及其装置、行人检测方法 | |
| CN118334662A (zh) | 挡轮杆标注方法、装置、计算机设备及存储介质 | |
| CN116468868A (zh) | 交通信号灯的建图方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |