CN114549666A - 一种基于agv的环视图像拼接标定方法 - Google Patents

一种基于agv的环视图像拼接标定方法 Download PDF

Info

Publication number
CN114549666A
CN114549666A CN202210442478.4A CN202210442478A CN114549666A CN 114549666 A CN114549666 A CN 114549666A CN 202210442478 A CN202210442478 A CN 202210442478A CN 114549666 A CN114549666 A CN 114549666A
Authority
CN
China
Prior art keywords
image
agv
camera
point
undistorted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210442478.4A
Other languages
English (en)
Other versions
CN114549666B (zh
Inventor
郑灵杰
徐永奎
国学理
朱月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lanxin Technology Co ltd
Original Assignee
Hangzhou Lanxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lanxin Technology Co ltd filed Critical Hangzhou Lanxin Technology Co ltd
Priority to CN202210442478.4A priority Critical patent/CN114549666B/zh
Publication of CN114549666A publication Critical patent/CN114549666A/zh
Application granted granted Critical
Publication of CN114549666B publication Critical patent/CN114549666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种基于AGV的环视图像拼接标定方法，包括：获取AGV上各环视相机采集的第一图像和AGV顶部相机采集的第二图像；对所有的第一图像和第二图像进行畸变校正，获取校正后的无畸变的第一图像和第二图像；对无畸变的第二图像进行透视变换，获得正视向下的第二图像；提取各无畸变的第一图像中的第一特征点和正视向下的第二图像中的第二特征点，并采用直线线性变换方式获取各第一图像的仿射变换矩阵；基于各第一图像的仿射变换矩阵对所属的第一图像进行仿射变换，并对仿射变换后的第一图像进行拼接，获得AGV的拼接后的环视图像；上述的环视相机为鱼眼相机。上述方法无需标定相机的内参和外参即可获取高精度的环视拼接图像，提高了可靠度。

Description

一种基于AGV的环视图像拼接标定方法
技术领域
本发明涉及机器人的图像拼接技术，尤其涉及一种基于AGV的环视图像拼接标定方法。
背景技术
目前，周边环境的感知对于定位和避障都是至关重要的。汽车的自动驾驶或者辅助驾驶中，车载环视***是由装配在车体上的多台广角相机构成， 每台相机覆盖一定区间， 图像经过仿射变换生成俯视图，以有效的定位和避障。上述***从根本上消除了车辆周围的视觉盲点，帮助智能车更为直观地进行车辆周围环境信息感知。
然而，通过安装在智能车上的多台广角相机采集图像进而智能车上的控制装置经反畸变生成没有畸变的无缝拼接的合成俯瞰环视图，上述装配在智能车车体上的广角相机的内部参数与外部参数必须被精确标定，借助于精确标定的内部参数和外部参数进而计算用于投影合成的矩阵，再通过该矩阵逆向投影合成一幅无缝的、高清晰的图像。
此外，控制装置的拼接算法采用的是基于图像纹理特征的拼接算法，这种拼接算法的计算过程过于复杂，拼接过程也十分困难。另外的一些采用全部外参标定的方案对空间布局要求过高，并且标定精度不高。
由此，上述智能车的车载环视***无法直接应用于AGV的标定***中，同时，算法复杂，需要经确定内参和外参信息，故，需要一种适用于AGV的环视图像拼接且无需相机内参和外参的拼接标定方法。
发明内容
（一）要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于AGV的环视图像拼接标定方法。
（二）技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于AGV的环视图像拼接标定方法，包括：
S10、获取AGV上各环视相机采集的第一图像和AGV顶部相机采集的第二图像；
S20、对所有的第一图像和第二图像进行畸变校正，获取校正后的无畸变的第一图像和第二图像；
S30、对无畸变的第二图像进行透视变换，获得正视向下的第二图像；
S40、提取各无畸变的第一图像中的第一特征点和正视向下的第二图像中的第二特征点，并采用直线线性变换方式获取各第一图像到第二图像的仿射变换矩阵；
S50、基于各第一图像的仿射变换矩阵对所属的第一图像进行仿射变换，并对仿射变换后的第一图像进行拼接，获得AGV的拼接后的环视图像；
其中，环视相机包括：四个分别安装在AGV上的具有水平视角的且用于拍摄指定区域的指定范围的相机，顶部相机为安装在AGV上方的用于俯瞰指定区域视野的相机。
可选地，所述S20包括：
基于第一图像/第二图像的点阵图，获取单应性关系，并根据单应性关系，采用样条插值方式获取每一对应点阵的畸变映射；
根据所述畸变映射对第一图像/第二图像进行畸变校正。
可选地，所述S20包括：
采用公式（1）对第一图像和第二图像分别进行畸变校正；
Figure 814367DEST_PATH_IMAGE001
公式（1）；
(xp,yp) 表示校正后图像的坐标，(xf ,yf) 表示第一图像/第二图像的坐标，λ为中间变量。
可选地，S30包括：
基于透视变换关系，对无畸变的第二图像进行透视变换，获得正视向下的第二图像；
其中，借助于假定的垂直于地面的顶部相机拍摄的图像和地面上的棋盘格的图像，获取所述透视变换关系。
可选地，S40和S50中的仿射变换矩阵为：
Figure 678417DEST_PATH_IMAGE002
其中，(ui,vi) 表示每个环视相机对应的无畸变的第一图像中特征点坐标，(xi,yi) 为顶部相机对应的正视向下的第二图像中特征点的空间坐标，c00,c01,⋯,c22为通过无畸变的第一图像中特征角点和正视向下的第二图像中角点确定的参数；
所述特征点为预先在指定区域的棋盘格中定义的角点。
可选地，S40包括：
采用旋转滤波核的方法提取各无畸变的第一图像中的第一特征点和正视向下的第二图像中的第二特征点；
其中，所述第一特征点和第二特征点为一一对应的且为图像灰度值发生变化的预先定义的角点。
可选地，S40包括：
角点包括：用于和像素坐标***坐标轴平行的点、用于旋转45°的点；
预先定义的角点原型包括：四个滤波核{A,B,C,D}，该角点原型用于对各无畸变的第一图像、正视向下的第二图像分别进行卷积操作；
针对无畸变的第一图像，采用角点原型对每一像素点进行卷积操作，即计算该无畸变的第一图像中每个像素点与角点原型的相似程度，获取的最大相似度的像素点作为筛选的角点，以及对最大相似度的像素点邻域内的所有像素点的坐标进行梯度求解，获得筛选的角点的亚像素坐标，得到提取的无畸变的第一图像中的第一特征点；
针对正视向下的第二图像，采用角点原型对每一像素点进行卷积操作，即计算该正视向下的第二图像中每个像素点与角点原型的相似程度，获取的最大相似度的像素点作为筛选的角点，以及对最大相似度的像素点邻域内的所有像素点的坐标进行梯度求解，获得筛选的角点的亚像素坐标，得到提取的正视向下的第二图像中的第二特征点；
具体地，针对待处理的图像的卷积操作，根据下述公式进行处理；
Figure DEST_PATH_IMAGE003
其中，c为角点原型和当前像素的相似度，
Figure 696052DEST_PATH_IMAGE004
表示角点原型j本身和其镜像；
Figure DEST_PATH_IMAGE005
表示卷积核A和角点原型i在某个像素点的卷积响应，
Figure 721777DEST_PATH_IMAGE006
表示卷积核B和角点原型i在某个 像素点的卷积响应
Figure DEST_PATH_IMAGE007
表示卷积核C和角点原型i在某个像素点的卷积响应
Figure 690608DEST_PATH_IMAGE008
表示卷积 核D和角点原型i在某个像素点的卷积响应；
Figure DEST_PATH_IMAGE009
为中间物理量。
可选地，S50包括：
借助于预先在AGV上的mark点，获取环视相机所属的第一图像与指定区域的棋盘格的位置对应关系，各环视相机所属的角点与顶部相机所属的角点的对应关系；
基于该对应关系和每一角点的亚像素坐标，获得每一环视相机相对于顶部相机的单应性矩阵；
基于所述仿射变换矩阵、单应性矩阵将无畸变的第一图像进行角点匹配，得到AGV的拼接后的环视图像。
第二方面，本发明实施例还提供一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，具体执行上述第一方面任一所述的基于AGV的环视图像拼接标定方法。
第三方面，本发明实施例还提供一种环视图像处理***，该环视图像处理***位于AGV中，并执行上述第一方面任一所述的基于AGV的环视图像拼接标定方法，所述环视图像处理***包括：四个分别安装在AGV上的具有水平视角的且用于拍摄指定区域的指定范围的鱼眼相机、安装在AGV上方的用于俯瞰指定区域视野的相机。
（三）有益效果
本发明实施例的方法通过在AGV上方的顶部设置一普通相机，在周围设置多个环视相机，进而获取各个图像，对各个环视相机拍摄的指定区域的图像进行指定特征点的提取和匹配，进而实现多个相机拍摄图像的环视拼接，保证了环视拼接图像的精度，且较好的解决了现有技术中必须预先标定相机的内参和外参进而进行环视拼接的问题，降低了计算复杂度，还提高了拼接图像的质量。
进一步地，本发明实施例直接根据单应性关系计算成像畸变，解决了现有畸变模型中参数不足导致的去畸变精度低的问题。
此外，本发明实施例采用直接线性变换，通过建立多个环视相机（局部）与顶部相机（全局）成像的亚像素单应性关系，摆脱对内外参的依赖，直接建立仿射变换关系，避免因为内外参标定过程导致的拼接精度不高的问题。
本实施例的方法可在实现过程中不需要非常严格的标定环境，方便项目现场标定测试；所有的环视相机的图片/图像都是跟顶部相机建立对应关系，顶部相机相当于一个上帝视角，避免传统环视拼接中匹配误差导致成像成锥体。
1、特别地，本实施例中，对环视相机分别采集的图像之间的有无重合视野并不做要求，只要求顶部相机和环视相机的视野有足够的重合区域，保证对应的棋盘格会被顶部相机、环视相机都拍摄到。在具体拼接中，若多个环视相机如果没有共视区域，则会对非共视区域进行填0或者填1操作；对共视区域选择其中一个进行填充，使得拼接后的环视图像为完整的图像。
针对本实施例中的畸变校正，其畸变的对应关系，和去畸变处理一定要在特征点提取之前，因为畸变处理会把图像中间（棋盘格所处的区域）压缩，导致角点提取精度降低；角点提取一定要采用棋盘格提高角点提取的可靠性，畸变处理采用点阵，提高去畸变亚像素精度。
2、本实施例中采用的棋盘格标定方法，可以使得光照影响yaw角计算降低到最小，减少了计算复杂度，同时避免了现有技术中采用圆点估计导致精度无法保证的问题。
附图说明
图1为本发明一实施例提供的基于AGV的环视图像拼接标定方法中环视相机和顶部相机的位置关系图；
图2为本发明另一实施例提供的基于AGV的环视图像拼接标定方法的流程示意图；
图3为普通相机和鱼眼相机的成像原理的示意图；
图4为畸变图像（相机直接拍摄的）和无畸变图像的示意图；
图5为角点原型的示意图；
图6为仿射变换原理的示意图；
图7为环视相机拍摄的棋盘格与顶部相机拍摄获得的棋盘格对应关系的示意图；
图8为所有环视相机相对于顶部相机的单应性矩阵的过程示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
当前智能驾驶汽车中为了减少成本，在内部的车载环视***中使用广角相机，有效降低相机数量，进而在各相机的视觉拼接中借助于内参和外参方式并通过复杂的算法实现图像拼接。由于使用的是广角相机，其在各广角相机拍摄的图像中存在较大的视野重合区域，图像处理复杂，相当耗费时间。同时，由于智能驾驶汽车空间位置的限定，其无法进行顶部相机的配置。
结合图1至图8可知，在本发明实施例中，AGV的各相机需要安装在指定区域，且AGV中环视相机采用鱼眼摄像头/鱼眼相机，不再使用广角相机，环视相机与顶部用于俯瞰的顶部相机的视野进行重合，并将采集的图像进行畸变校正后投影/仿射变换到顶部相机的图像坐标系中实现图像拼接。由此，通过安装位置和相机的一致性，提高了外参标定的精度，且减少了计算复杂度。
实施例一
如图1所示，本发明实施例提供一种基于AGV的环视图像拼接标定方法，本实施例的方法的执行主体可为任一计算设备，该计算设备可为AGV小车的控制装置，或者AGV之外的计算设备；其具体实现方法包括下述步骤：
S10、获取AGV上各环视相机采集的第一图像和AGV顶部相机采集的第二图像。
具体地，计算设备与每一环视相机和顶部相机通信连接如无线连接，实时获取各相机拍摄/采集的图像。
S20、对所有的第一图像和第二图像进行畸变校正，获取校正后的无畸变的第一图像和第二图像。
本实施例中优选使用点映射方式进行畸变校正，由此可以使得最后环视拼接的精度高。
S30、对无畸变的第二图像进行透视变换，获得正视向下的第二图像；
S40、提取各无畸变的第一图像中的第一特征点和正视向下的第二图像中的第二特征点，并基于预先定义的第一特征点和第二特征点的映射关系，获取各第一图像到第二图像的仿射变换矩阵；
S50、基于各第一图像的仿射变换矩阵对所属的第一图像进行仿射变换，并对仿射变换后的第一图像进行拼接，获得AGV的拼接后的环视图像；
本实施例中的环视相机可包括：四个分别安装在AGV上的具有水平视角的且用于拍摄指定区域的指定范围的相机，顶部相机为安装在AGV上方的用于俯瞰指定区域视野的相机。
当然，为了更好的保证拼接标定的精度，在优选的实现方式中，环视相机可包括：四个分别安装在AGV上的水平视角为150°用于拍摄指定区域的指定范围的鱼眼相机/鱼眼摄像头，顶部相机可为安装在AGV上方的用于俯瞰指定区域视野的相机，该相机可为任意的普通相机。多个相机构成整个AGV小车的周边环境感知成像。多个相机在安装时通过调整相机的安装角应尽量增加相机之间的视野重合区域，减小成像盲区。在本实施例中，顶部相机的作用是建一个全局参考图，把每个环视相机都参考到顶部相机（即顶部俯瞰相机），进而实现环视相机图像的高精度拼接。
为了更好的说明本实施例中AGV的环视图像拼接标定方法，针对上述的四个环视相机的安装进行说明：四个环视相机分别安装在AGV的四个角落，其具有对称性，即每一环视相机可为具有130万像素分辨率的，安装的角度为122*90°,（水平视角的对角150°），同时，环视相机的安装角度为光轴与水平面呈30°向下，由此，可较好的兼顾地面拼接和小车周边信息感知记录，记录异常情况（碰撞、避障等等）下的周边信息。
另外，顶部相机安装的角度为72*55°，分辨率为500万像素，由此，可以较好的兼顾全局信息，提高拼接图像的准确性。顶部相机安装高度（距离地面的安装高度）大约为2m，通常，可根据四个棋盘格的尺寸计算顶部相机的实际安装高度，由此保证顶部相机光轴与地面的角度，提高后续图像拼接的精度。
实施例二
本实施例中对本发明的方法进行详细说明。
计算设备首先对接收的每一环视相机和顶部相机采集的图像进行畸变校正，获得无畸变的图像；接着在无畸变的图像上提取特征点（举例来说，该特征点可为棋盘格的角点），并对顶部相机对应的畸变校正后的图像进行仿射变换，以使该图像转变成正视向下的图像；然后，根据环视相机和顶部相机各自的棋盘格的角点对应关系，进而求解PNP（Perspective-n-Point，通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参），计算得到仿射变换矩阵；最后，根据每一环视相机的仿射变换矩阵对各自拍摄的经由畸变校正之后的图像进行仿射变换并拼接到一张图像上，实现环视拼接。
为更好的理解上述的方案，下面借助于步骤201至步骤206进行详细说明。
：借助于AGV上的环视图像采集***采集指定区域的图像，并将采集的图像传输至任一处理设备/计算设备。
具体地，AGV上的环视图像采集***可包括：安装在AGV 上的四个水平视角为150°的鱼眼摄像头/鱼眼相机（下述简称为环视相机）、一个安装在AGV上方并用于俯视采集图像的摄像头（该摄像头可为任意的相机，下述简称为顶部相机）。指定区域是指预先铺设在地面上的棋盘格的区域。
上述的鱼眼摄像头位于AGV的四周，其用于根据预先标定的Mark点（标记点）确定鱼眼摄像头的顺序。如图1所示，鱼眼相机A、鱼眼相机B、鱼眼相机C和鱼眼相机D，四个鱼眼相机分别覆盖各自的棋盘格的信息即鱼眼相机的视野覆盖指定区域的指定范围，如鱼眼相机A覆盖的是棋盘格1的范围，鱼眼相机B覆盖的是棋盘格2的范围，鱼眼相机C覆盖的是棋盘格3的范围，鱼眼相机D覆盖的是棋盘格4的范围，顶部相机E的视野覆盖棋盘格1、棋盘格2、棋盘格3、棋盘格4及AGV的全部。也就是说，顶部相机E拍摄四个地面上的棋盘格和AGV的图像，AGV上的四个鱼眼相机分别拍摄各自对应的棋盘格图像。
需要说明的是，棋盘格可为当前现有的任意方式的棋盘格信息，本实施例中不对其限定。
本实施例中使用的棋盘格是6*5的棋盘格，单个格子边长尺寸为80cm，当然，格点数量大于3*4个的棋盘格均可使用，仅需每个格能够被提取到即可。
：计算设备可对环视相机采集的第一图像和顶部相机采集的第二图像进行畸变校正，获取畸变校正后的第一图像和第二图像。
具体地，第一种畸变校正方式如下：
当前普通相机（即顶部相机对应的摄像头）和鱼眼相机的成像原理如图3所示，为此，可对鱼眼相机采集的图像采用下述公式（1）的方式进行校正。
Figure 499295DEST_PATH_IMAGE001
公式（1）
公式（1）中，(xp,yp) 表示校正后第一图像或第二图像中像素点的坐标，(xf ,yf)表示第一图像/第二图像中像素点的坐标，λ为中间变量。
采用上述的公式（1）对第一图像和第二图像分别进行畸变校正。
当然，在其他实现方式中，还可以采用点映射关系进行直接的畸变校正。即第二种畸变校正方式如下：
实际应用中的相机镜头存在由于安装导致的各种偏差（位置的偏差和镜头玻璃之间的安装间距等等）和光学畸变（实际的光学畸变并不是理论上的）带来的成像误差，实际情况鱼眼相机镜头的成像关系会更复杂，因此本实施例中为了提高畸变校正的精度可采用直接点映射的方法，取代公式（1）中的校正方式。
点映射关系进行直接的畸变校正包括：
图像像素坐标系的像素点坐标(xf,yf)对应的无畸变图像中像素点坐标(xp,yp)，即经过坐标点(xf,yf)畸变校正后落在坐标点(xp,yp)上。真实图像 imgp 与 畸变图像 imgf之间的关系为:imgp(xp,yp) = imgf(xf,yf)。
本实施例中，使用点阵计算出点阵中每个点的亚像素中心，并将点阵使用OpenCV中findhomography函数可以找到单应性关系。在其他实现方式中也可使用matlab、halcyon等应用获取单应性关系。
点阵的亚像素中心采用下面的方法进行：
基于canny边缘检测算法对输入的图像进行提取边缘信息，根据边缘闭合性和对比度判据对非圆点特征进行剔除，再对每个圆点按照下面的函数进行拟合：
Figure 637015DEST_PATH_IMAGE010
拟合得到B’C’D’E’四个参数，则圆点中心坐标
Figure DEST_PATH_IMAGE011
为：
Figure 833641DEST_PATH_IMAGE012
通过对实际使用的每个相机（包括上述的环视相机和顶部相机）拍摄一张点阵图，借助于Opencv获取的单应性关系获得每个对应点阵的畸变关系，再通过临近点Spline（样条）插值的方法获得全部像素点的畸变对应关系。真实图像 imgp点阵图可以根据点阵图和相机的位置关系根据成像原理获得，畸变图像则是由实际的相机拍摄获得。
如图4所示，图4示出了畸变图像（相机直接拍摄的）和真实图像的示意图。其中，畸变对应关系根据图像中心向四周编码，根据相同编码的像素对应关系建立起关键点的畸变对应关系，其余像素则是通过邻近关键点的畸变关系样条差值获得畸变对应关系。
：对畸变校正后的图像中进行特征点提取。
在本实施例中指定区域的棋盘格作为下述的目标标定板。
根据所述目标标定板（即环视相机拍摄的棋盘格图像和顶部俯瞰相机拍摄的棋盘格图像），提取所述目标标定板图像上的图像灰度值发生变化的点作为特征点。这些点能够在其他含有相同场景或目标的相似图像中以一种相同的或至少非常相似的不变形式表示图像。
本发明实施例中选择棋盘格角点作为特征点，其可采用旋转滤波核的方法进行提取。
首先定义两种不同的角点原型。
如图5所示，一种用于和像素坐标***坐标轴（如图像的行和列）平行的角点，另一种用于旋转45°的角点。每个角点原型（即卷积核）由4个滤波核{A,B,C,D}组成，用于后面和图像（如第一图像、第二图像）进行卷积操作。利用这两个角点原型来计算每一图像中每个像素点与角点的相似程度，进而筛选出用于卷积的每一图像中极大相似点的像素坐标；
接着，对所获得的极大相似点邻域内所有像素坐标进行梯度求解，获取极大相似点（即具有最大相似度的像素点）的亚像素坐标，该极大相似点即为筛选出的每一图像中的作为特征点的角点。
具体可根据下述公式处理：
Figure 820926DEST_PATH_IMAGE003
其中，c为角点原型和当前像素的相似度，
Figure 26780DEST_PATH_IMAGE004
表示原型j本身和其镜像；
Figure 284586DEST_PATH_IMAGE005
表示 卷积核A和原型i（i=1,2）在某个像素点的卷积响应，
Figure 448851DEST_PATH_IMAGE006
表示卷积核B和原型i（i=1,2）在某 个像素点的卷积响应；
Figure 159318DEST_PATH_IMAGE007
表示卷积核C和原型i（i=1,2）在某个像素点的卷积响应，
Figure 903283DEST_PATH_IMAGE008
表 示卷积核D和原型i（i=1,2）在某个像素点的卷积响应；
Figure 281175DEST_PATH_IMAGE009
为中间物理量。
本实施例中采用互相关的方法实现提取到合适的角点。特别说明，本实施例的角点提取是按照环视相机的顺序进行的，由此保证每一环视相机的处理精度。
：对第二图像进行透视变换。
本实施例中将环视相机对应的校正后的第一图像进行坐标变换，即将第一图像的所有坐标转到顶部相机E的坐标系下。
需要说明的是，顶部相机安装尽量正向下，基于预先确定的相机与指定区域的外参关系进行透视变换再校正到正视向下的角度上。在本实施例中，根据地面棋盘格获取得到的顶部相机与棋盘格（地面）的外参关系。
如图6所示的透视变换原理的示意图，顶部相机需要先进行透视变换，将拍摄得到的地面图像转成正向下俯视的图片换才能进行后续第一图像的环视拼接。
在图6中，表达了顶部俯瞰相机任意采集图像转到正视向下的图像的过程。图像1A为顶部相机拍摄的地面上棋盘格的图像，图像1B为预想（假定）的垂直于地面的顶部相机拍摄得到的图像，两者之间通过地面棋盘格建立起来的内参H1、外参H2算出像素转换关系。
根据地面上的棋盘格可以计算得到顶部相机相对于地面的外参关系H1，H2。H2为假定的垂直于地面顶部相机对应的外参关系，那么可以通过H1和H2计算得到，图像A1（环视相机采集的第一图像）到图像A2（顶部相机）的外参关系R,T,根据RT关系可以获得的图像A1到图像A2的仿射变换关系。
相机成像中，像素坐标系和世界坐标系下的坐标映射关系：
Figure DEST_PATH_IMAGE013
其中，u、v表示像素坐标系中的坐标，s表示尺度因子，fx、fy、u0、v0、
Figure 819604DEST_PATH_IMAGE014
（由于制造误 差产生的两个坐标轴偏斜参数，通常很小）表示5个相机内参，R，t表示相机外参，Xw、Yw、Zw （假设标定棋盘位于世界坐标系中Zw=0的平面）表示世界坐标系中的坐标。
如果令：
Figure DEST_PATH_IMAGE015
其中，
Figure 751787DEST_PATH_IMAGE016
，M为内参。
于是可以得到物体在世界坐标系和像素坐标系之间的位置映射关系。
通过相机坐标（u，v）和H1计算得到世界坐标（Xw、Yw），再从世界坐标（Xw、Yw）和H2计算得到正视向下的相机坐标（xw、yw）。
也就是说，顶部相机的图像要先转到正向下的图像，然后再提取环视相机的图像与正向下的图像的角点实现匹配。
：获取仿射变换矩阵即求解PNP。
本实施例中采用直接线性变换（DLT）来找到俯视变换的投影矩阵即仿射变换矩阵，这种方法的优点在于不需要知道摄像头视角、内参等参数，只需要在像素坐标系下标定4对以上的特征点就可以计算出 8 个未知的参数，从而得到单应性矩阵，并利用单应性矩阵完成俯视变换。
直接线性变换的公式如下：
Figure DEST_PATH_IMAGE017
其中，(ui,vi) 表示每个相机环视图像坐标，(xi,yi,zi) 为物体在顶部相机中的空间坐标，c00,c01,…,c22 为未知参数。但是本实施例中的物体选择的是地面特征点，将所有目标棋盘格置于地面上，高度一致，因此可以将公式的 z = 0 ，简化后的二维DLT（作为仿射变换矩阵）可以表示为：
Figure 555837DEST_PATH_IMAGE002
。
：特征点匹配。
通过车上的mark点预先知道相机与棋盘格的对应关系即环视相机的位置对应关系，接下来只需要根据对应各环视相机与所属棋盘格进行编码映射就可以进行特征点匹配。
可理解的是，特征点匹配就是建立多个仿射变换等式，求解c00,c01,……,c22等内参的过程。将相同编码的角点建立仿射变换等式，仿射变换的左边是环视相机的像素坐标，等式右边是顶部俯瞰相机的像素坐标。
采用棋盘格进行仿射变换标定一个优势在于亚像素精度较高，另一个优势在于特征点的标记比较方便，可以直接对棋盘格角点按照顺序进行编码，再对相同编码的角点建立对应关系。
如图7所示，通过mark点可以预先知道，环视相机拍摄的棋盘格与顶部相机拍摄获得的棋盘格对应关系，在本实施例中，该棋盘格对应关系为预先给定的。
重复对环视的四个相机都进行特征点匹配关系建立，可以获得所有环视相机的仿射变换关系，如图8所示，从而可根据第四步进行仿射变换并拼接到一张全景图上。
即实现全景合成，如将所有获得图片根据特征点匹配得到的仿射变换进行转换或，获得拼接的效果图片/图像。
上述实施例在角点匹配之后，得到的环视拼接图像进行应用时，可以将分辨率降低到VGA分辨率，以降低后续AGV小车中控制***的算力消耗。
现有技术中智能车的标定过程均对标定环境有严格的要求，要么多个棋盘格之间采用测绘的方法准确知道外参；为了标出较为准确的yaw角变化，一般场地会建设的很大；在具体的拼接的流程中，需要实时提取共视区域的特征点进行匹配；其导致计算过程复杂，且精度不高。
而本实施例中，无需环视相机的各个图像存在重叠区域，即任意两个环视相机采集的图像可不重叠不具有共视区域，其通过和顶部相机采集的图像进行对应即可，在拼接过程中，若存在断层区域，则采用指定图案替代即可。本实施例中环视图像拼接使用的畸变校正的点映射关系能够实现像素级别的校正，提高了校正速度和校正准确度，进而为后续的拼接提升了拼接的精度。
实施例三
本实施例还提供一种计算设备，包括：存储器和处理器；所述处理器用于执行所述存储器中存储的计算机程序，以实现执行上述实施例一和实施例二任意所述的基于AGV的环视图像拼接标定方法的步骤。
具体地，本实施例的计算设备可包括：至少一个处理器、至少一个存储器、至少一个网络接口和/或其他的用户接口。电子设备中的各个组件通过总线***耦合在一起。可理解，总线***用于实现这些组件之间的连接通信。总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。用户接口可以包括显示器、键盘或者点击设备(例如，鼠标或者触感板等)。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。本文描述的存储器包括任意其它适合类型的存储器。
在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第一方面所提供的方法步骤。
上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程 存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
另一方面，本发明实施例还提供一种计算机可读存储介质，其用于存储有计算机程序，所述计算机程序被处理器执行时实现上述任意实施例的基于AGV的环视图像拼接标定方法的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于AGV的环视图像拼接标定方法，其特征在于，包括：
S10、获取AGV上各环视相机采集的第一图像和AGV顶部相机采集的第二图像；
S20、对所有的第一图像和第二图像进行畸变校正，获取校正后的无畸变的第一图像和第二图像；
S30、对无畸变的第二图像进行透视变换，获得正视向下的第二图像；
S40、提取各无畸变的第一图像中的第一特征点和正视向下的第二图像中的第二特征点，并采用直线线性变换方式获取各第一图像到第二图像的仿射变换矩阵；
S50、基于各第一图像的仿射变换矩阵对所属的第一图像进行仿射变换，并对仿射变换后的第一图像进行拼接，获得AGV的拼接后的环视图像；
其中，环视相机包括：四个分别安装在AGV上的具有水平视角的且用于拍摄指定区域的指定范围的相机，顶部相机为安装在AGV上方的用于俯瞰指定区域视野的相机。
2.根据权利要求1所述的基于AGV的环视图像拼接标定方法，其特征在于，所述S20包括：
基于第一图像/第二图像的点阵图，获取单应性关系，并根据单应性关系，采用样条插值方式获取每一对应点阵的畸变映射；
根据所述畸变映射对第一图像/第二图像进行畸变校正。
3.根据权利要求1所述的基于AGV的环视图像拼接标定方法，其特征在于，所述S20包括：
采用公式（1）对第一图像和第二图像分别进行畸变校正；
Figure DEST_PATH_IMAGE001
公式（1）；
(xp,yp) 表示校正后图像的坐标，(xf ,yf) 表示第一图像/第二图像的坐标，λ为中间变量。
4.根据权利要求1所述的基于AGV的环视图像拼接标定方法，其特征在于，S30包括：
基于透视变换关系，对无畸变的第二图像进行透视变换，获得正视向下的第二图像；
其中，借助于假定的垂直于地面的顶部相机拍摄的图像和地面上的棋盘格的图像，获取所述透视变换关系。
5.根据权利要求1所述的基于AGV的环视图像拼接标定方法，其特征在于，S40和S50中的仿射变换矩阵为：
Figure DEST_PATH_IMAGE002
其中，(ui,vi) 表示每个环视相机对应的无畸变的第一图像中特征点坐标，(xi,yi) 为顶部相机对应的正视向下的第二图像中特征点的空间坐标，c00,c01,⋯,c22为通过无畸变的第一图像中特征角点和正视向下的第二图像中角点确定的参数；
所述特征点为预先在指定区域的棋盘格中定义的角点。
6.根据权利要求1所述的基于AGV的环视图像拼接标定方法，其特征在于，S40包括：
采用旋转滤波核的方法提取各无畸变的第一图像中的第一特征点和正视向下的第二图像中的第二特征点；
其中，所述第一特征点和第二特征点为一一对应的且为图像灰度值发生变化的预先定义的角点。
7.根据权利要求6所述的基于AGV的环视图像拼接标定方法，其特征在于，S40包括：
角点包括：用于和像素坐标***坐标轴平行的点、用于旋转45°的点；
预先定义的角点原型包括：四个滤波核{A,B,C,D}，该角点原型用于对各无畸变的第一图像、正视向下的第二图像分别进行卷积操作；
针对无畸变的第一图像，采用角点原型对每一像素点进行卷积操作，即计算该无畸变的第一图像中每个像素点与角点原型的相似程度，获取的最大相似度的像素点作为筛选的角点，以及对最大相似度的像素点邻域内的所有像素点的坐标进行梯度求解，获得筛选的角点的亚像素坐标，得到提取的无畸变的第一图像中的第一特征点；
针对正视向下的第二图像，采用角点原型对每一像素点进行卷积操作，即计算该正视向下的第二图像中每个像素点与角点原型的相似程度，获取的最大相似度的像素点作为筛选的角点，以及对最大相似度的像素点邻域内的所有像素点的坐标进行梯度求解，获得筛选的角点的亚像素坐标，得到提取的正视向下的第二图像中的第二特征点；
具体地，针对待处理的图像的卷积操作，根据下述公式进行处理；
Figure DEST_PATH_IMAGE004
其中，c为角点原型和当前像素的相似度，
Figure DEST_PATH_IMAGE006
表示角点原型j本身和其镜像；
Figure DEST_PATH_IMAGE008
表示卷积核A和角点原型i在某个像素点的卷积响应，
Figure DEST_PATH_IMAGE010
表示卷积核B和角点原型i在某个像素点的卷积响应
Figure DEST_PATH_IMAGE012
表示卷积核C和角点原型i在某个像素点的卷积响应
Figure DEST_PATH_IMAGE014
表示卷积核D和角点原型i在某个像素点的卷积响应；
Figure DEST_PATH_IMAGE016
为中间物理量。
8.根据权利要求7所述的基于AGV的环视图像拼接标定方法，其特征在于，S50包括：
借助于预先在AGV上的mark点，获取环视相机所属的第一图像与指定区域的棋盘格的位置对应关系，各环视相机所属的角点与顶部相机所属的角点的对应关系；
基于该对应关系和每一角点的亚像素坐标，获得每一环视相机相对于顶部相机的单应性矩阵；
基于所述仿射变换矩阵、单应性矩阵将无畸变的第一图像进行角点匹配，得到AGV的拼接后的环视图像。
9.一种计算设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，具体执行上述权利要求1至8任一所述的基于AGV的环视图像拼接标定方法。
10.一种环视图像处理***，其特征在于，该环视图像处理***位于AGV中，并执行上述权利要求1至8任一所述的基于AGV的环视图像拼接标定方法，所述环视图像处理***包括：四个分别安装在AGV上的具有水平视角的且用于拍摄指定区域的指定范围的鱼眼相机、安装在AGV上方的用于俯瞰指定区域视野的相机。
CN202210442478.4A 2022-04-26 2022-04-26 一种基于agv的环视图像拼接标定方法 Active CN114549666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210442478.4A CN114549666B (zh) 2022-04-26 2022-04-26 一种基于agv的环视图像拼接标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210442478.4A CN114549666B (zh) 2022-04-26 2022-04-26 一种基于agv的环视图像拼接标定方法

Publications (2)

Publication Number Publication Date
CN114549666A true CN114549666A (zh) 2022-05-27
CN114549666B CN114549666B (zh) 2022-09-06

Family

ID=81667601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210442478.4A Active CN114549666B (zh) 2022-04-26 2022-04-26 一种基于agv的环视图像拼接标定方法

Country Status (1)

Country Link
CN (1) CN114549666B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882115A (zh) * 2022-06-10 2022-08-09 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN116245748A (zh) * 2022-12-23 2023-06-09 珠海视熙科技有限公司 环视镜头的畸变校正方法、装置、设备、***及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475437A (zh) * 2015-04-10 2018-08-31 邦迪克斯商用车***有限责任公司 具有角落放置摄像机的车辆360°环视***，校准***和方法
CN108876719A (zh) * 2018-03-29 2018-11-23 广州大学 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接***
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的***和方法
US20210127096A1 (en) * 2019-10-25 2021-04-29 Coretronic Corporation Projection system and projection image adjustment method thereof
CN112802109A (zh) * 2021-02-07 2021-05-14 的卢技术有限公司 一种汽车鸟瞰全景图生成方法
CN113362228A (zh) * 2021-06-29 2021-09-07 中国科学技术大学 基于改进畸变校正和标记拼接的环视图像拼接方法及***
CN113963065A (zh) * 2021-10-19 2022-01-21 杭州蓝芯科技有限公司 一种基于外参已知的镜头内参标定方法及装置、电子设备
US20220109791A1 (en) * 2020-10-01 2022-04-07 Black Sesame International Holding Limited Panoramic look-around view generation method, in-vehicle device and in-vehicle system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475437A (zh) * 2015-04-10 2018-08-31 邦迪克斯商用车***有限责任公司 具有角落放置摄像机的车辆360°环视***，校准***和方法
CN108876719A (zh) * 2018-03-29 2018-11-23 广州大学 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接***
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN110677599A (zh) * 2019-09-30 2020-01-10 西安工程大学 一种重建360度全景视频图像的***和方法
US20210127096A1 (en) * 2019-10-25 2021-04-29 Coretronic Corporation Projection system and projection image adjustment method thereof
US20220109791A1 (en) * 2020-10-01 2022-04-07 Black Sesame International Holding Limited Panoramic look-around view generation method, in-vehicle device and in-vehicle system
CN112802109A (zh) * 2021-02-07 2021-05-14 的卢技术有限公司 一种汽车鸟瞰全景图生成方法
CN113362228A (zh) * 2021-06-29 2021-09-07 中国科学技术大学 基于改进畸变校正和标记拼接的环视图像拼接方法及***
CN113963065A (zh) * 2021-10-19 2022-01-21 杭州蓝芯科技有限公司 一种基于外参已知的镜头内参标定方法及装置、电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NIANJUAN JIANG等: "A Global Linear Method for Camera Pose Registration", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
ZHAO YANG等: "A flexible vehicle surround view camera system by central-around coordinate mapping model", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
杨波: "广角图像透视畸变校正方法研究", 《信息科技辑》 *
汪旌: "基于改进配准算法的全景图像拼接研究", 《信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882115A (zh) * 2022-06-10 2022-08-09 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN114882115B (zh) * 2022-06-10 2023-08-25 国汽智控(北京)科技有限公司 车辆位姿的预测方法和装置、电子设备和存储介质
CN116245748A (zh) * 2022-12-23 2023-06-09 珠海视熙科技有限公司 环视镜头的畸变校正方法、装置、设备、***及存储介质
CN116245748B (zh) * 2022-12-23 2024-04-26 珠海视熙科技有限公司 环视镜头的畸变校正方法、装置、设备、***及存储介质

Also Published As

Publication number Publication date
CN114549666B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
JP6859442B2 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
CN111750820B (zh) 影像定位方法及其***
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
US8855441B2 (en) Method and apparatus for transforming a non-linear lens-distorted image
CN106846409B (zh) 鱼眼相机的标定方法及装置
KR100914211B1 (ko) 왜곡 영상 보정 장치 및 방법
JP4297111B2 (ja) 撮像装置、画像処理方法及びそのプログラム
EP3425587A1 (en) Method and device for generating a panoramic image
CN109559349B (zh) 一种用于标定的方法和装置
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
CN113301274B (zh) 一种船舶实时视频全景拼接方法及***
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
Guo et al. Mapping crop status from an unmanned aerial vehicle for precision agriculture applications
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
TWI602154B (zh) 環景影像的拼接方法及其系統
CN111461963B (zh) 一种鱼眼图像拼接方法及装置
CN111292413A (zh) 图像模型的处理方法及装置、存储介质、电子装置
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN111243034A (zh) 一种全景辅助泊车标定方法、装置、设备及存储介质
CN110689476A (zh) 全景图像拼接方法及其装置、可读存储介质和电子设备
CN113989392A (zh) 拼接摄像机的彩色棋盘格标定方法、装置及摄像机
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant