CN110501021A - 一种基于相机和激光雷达融合的里程计估计方法及*** - Google Patents

一种基于相机和激光雷达融合的里程计估计方法及*** Download PDF

Info

Publication number
CN110501021A
CN110501021A CN201910793566.7A CN201910793566A CN110501021A CN 110501021 A CN110501021 A CN 110501021A CN 201910793566 A CN201910793566 A CN 201910793566A CN 110501021 A CN110501021 A CN 110501021A
Authority
CN
China
Prior art keywords
point
camera
laser radar
indicate
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910793566.7A
Other languages
English (en)
Other versions
CN110501021B (zh
Inventor
谢成钢
施成浩
于清华
肖军浩
卢惠民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201910793566.7A priority Critical patent/CN110501021B/zh
Publication of CN110501021A publication Critical patent/CN110501021A/zh
Application granted granted Critical
Publication of CN110501021B publication Critical patent/CN110501021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于相机和激光雷达融合的里程计测量方法及***，包括如下步骤：获取相机视场图像与激光雷达视场图像，建立基于残差的里程计算模型；在相机视场图像与激光雷达视场图像共视区选择若干具有显著特征的特征点作为路标点，将与所述特征点距离最近的激光落点的深度作为该特征点的深度坐标，从而获取所有路标点的三维坐标；根据所述路标点的三维坐标与里程计算模型获取里程计。利用共视区具备显著特征的特征点直接和间接的图像特征获取路标点，使得路标点的数量更多，通过共视区内与特征点重合或近似重合的激光落点在激光雷达视场图像中的深度获得多个路标点的三维坐标，实现里程计估计的高准确性与鲁棒性。

Description

一种基于相机和激光雷达融合的里程计估计方法及***
技术领域
本发明涉及里程计估计技术领域，具体是一种基于相机和激光雷达融合的里程计估计方法及***。
背景技术
随着智能移动机器人的应用领域的扩大，人们期望智能移动机器人在更多领域为人类服务，代替人类完成更复杂的工作。然而,智能移动机器人所处的环境往往是未知的、很难预测，首要考虑的问题就是自主导航，而定位问题是移动机器人导航中的核心问题之一,是实现机器人路径规划任务的前提。在移动机器人导航中，无论是局部实时避障还是全局规划，都需要精确知道机器人或障碍物的当前状态及位置，即里程计，以完成导航、避障及路径规划等任务。现有技术中的里程计估计过程中大多通过利用卡尔曼滤波器的方法进行多传感器融合。这种基于滤波器的方法只能在小的场景的情况下使用，对于大的地图场景会因为特征向量的维度过大导致计算时间的急剧上升，从而不能保证实时性，更致命的是，对于长时间的运动，该方法由于误差的累积会导致状态不确定度的上升，从而也就导致了该方法的准确性与鲁棒性均不强。
发明内容
本发明提供一种基于相机和激光雷达融合的里程计估计方法及***，用于克服现有技术中里程计估计准确性与鲁棒性均不强等缺陷，实现里程计测量的高准确性与鲁棒性。
为实现上述目的，本发明提供一种基于相机和激光雷达融合的里程计估计方法，包括如下步骤：
步骤101，获取相机视场图像与激光雷达视场图像，建立基于残差的里程计算模型；
步骤102，在相机视场图像与激光雷达视场图像共视区选择若干具有显著特征的特征点作为路标点，将与所述特征点距离最近的激光落点的深度作为该特征点的深度坐标，从而获取所有路标点的三维坐标；
步骤103，根据所述路标点的三维坐标与里程计算模型获取里程计。
进一步优选的，步骤101中，所述基于残差的里程计算模型为：
式中，erep,i表示重投影残差，epho,j表示光度测量残差，和表示观测噪声协方差，aon表示世界坐标系下已添加的路标点，awn表示图像中对应的路标点，φ表示相对运动。
进一步优选的，步骤102具体包括：
步骤201，获取相机视场图像中与激光雷达视场图像共视区二维的特征点；
步骤202，在所有的特征点中筛选出满足深度插值条件的特征点作为待插值点；
步骤203，获取与待插值点距离最短的激光落点，并根据所述激光落点在激光雷达视场图像中的位置获得该激光落点的深度，将该所述激光落点的深度插值于该激光落点对应的待插值点，即获取三维的路标点。
进一步优选的，步骤201具体包括：
步骤301，基于光度信息在相机视场图像内提取第一类特征点；
步骤302，基于ORB算法在相机视场图像内提取第二类特征点；
步骤303，合并第一类特征点与第二类特征点，即为相机视场图像中二维的特征点。
进一步优选的，步骤301中，第一类特征点具体为相机视场图像中灰度梯度大于阈值的点。
进一步优选的，步骤202中，在所有的特征点中筛选出满足深度插值条件的特征点作为待插值点，具体为满足下式的特征点为待插值点：
式中，p(cj,ci)表示待插值点的置信度，ci表示所有的图像点，cj表示激光与相机的共识点，(u,v)表示点的像素坐标，(r,g,b)表示像素点的RGB颜色信息，表示像素点的方差，表示像素颜色的方差。
一种基于相机和激光雷达融合的里程计测量***，包括：存储器和处理器，所述基于相机和激光雷达融合的里程计测量程序，所述处理器在运行所述程序时执行上述方法所述的步骤。
本发明提供的一种基于相机和激光雷达融合的里程计估计方法及***，基于相机视场图像和激光雷达视场图像的特征融合，利用共视区具备显著特征的特征点直接和间接的图像特征获取路标点，使得路标点的数量更多，通过共视区内与特征点重合或近似重合的激光落点在激光雷达视场图像中的深度获得多个路标点的三维坐标，实现里程计估计的高准确性与鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例中基于相机和激光雷达融合的里程计估计的流程示意图；
图2为本发明实施例中路标点获取过程流程示意图；
图3为本发明实施例中仿真示例图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示的一种基于相机和激光雷达融合的里程计估计方法，其中，相机与激光雷达安置在同一个载体上，载体在移动过程中相机与激光雷达同时运动，生成相机视场图像与激光雷达视场图像，通过相机和激光雷达对载体的里程计进行估计，具体包括如下步骤：
步骤101，获取相机视场图像与激光雷达视场图像，建立基于残差的里程计算模型：
式中，erep,i表示重投影残差，epho,j表示光度测量残差，和表示观测噪声协方差，aon表示世界坐标系下已添加的路标点，awn表示图像中对应的路标点，φ表示相对运动，其中，观测噪声协方差通常是根据观测值分布在线估计的，其推到过程可以参考文献“Q.Yu,J.Xiao,H.Lu,and Z.Zheng,“Hybrid-residual-based rgbd visual odometry,”IEEE Access Journal,2018.”。
本实施例中的里程计算模型的实质为基于高斯声假设的相机运动的概率估计模型，由于相机安置在载体上并跟随载体移动，因此通过相机运动的概率估计模型即能获取载体的里程计估计。
步骤102中，在相机视场图像与激光雷达视场图像共视区选择若干具有显著特征的特征点作为路标点，将与所述特征点距离最近的激光落点的深度作为该特征点的深度坐标，从而获取所有路标点的三维坐标：具有激光雷达说射出激光落点的强度值和深度测量值的像素均可能是路标点，然而,并非所有激光落点都是突出和稳定的。为了确保鲁棒性,本实施例通过使用强度显著性来选择路标点，强度显著性由强度梯度测量,具有较大强度梯度值的像素被认为更显著、更鲁棒，因此,本实施例从梯度图像中提取显著像素。为此,本实施例构造了基于强度梯度的梯度直方图，然后,根据梯度直方图从大到小提取路标点,直到路标点的数量大于预设阈值，这样,即能保证提取的路标点足够,并且都具有最大的强度梯度值，假设环境的照明是不变的,则不同图像中同一路标点的灰度值将相同，因此,将灰度值设置为路标点的强度值，参考图2，步骤102的实现过程具体包括：
步骤201，获取相机视场图像中与激光雷达视场图像共视区二维的特征点，其中，特征点指的是相机视场图像中的关键点，本实施例通过两种方式来确定特征点，一种方式是基于光度信息在相机视场图像内提取第一类特征点，即提取相机视场图像中灰度梯度大于一定阈值的点作为第一类特征点，同样的也能够采用其他的得方式提取第一类特征点，例如亮度，对比度等；另一种方式是基于ORB算法(Oriented FAST and Rotated BRIEF，快速特征点提取和描述的算法)在相机视场图像内提取第二类特征点，最后合并第一类特征点与第二类特征点，作为相机视场图像中总的二维特征点，通过两种方式来提取特征点，使得特征点的提取更加全面，同时在一定程度上增加特征点的数量，进而提升后续计算过程中里程计估计的准确性与鲁棒性：
步骤202，在所有的特征点中筛选出满足深度插值条件的特征点作为待插值点，本实施例中基于强度梯度的梯度直方图在特征点中选取待插值点，具体为满足下式的特征点为待插值点：
式中，p(cj,ci)表示待插值点的置信度，ci表示所有的图像点，cj表示激光与相机的共识点，(u,v)表示点的像素坐标，(r,g,b)表示像素点的RGB颜色信息，表示像素点的方差，表示像素颜色的方差；
步骤203，在两个视场图像共视区获取与待插值点距离最短的激光落点，并根据所述激光落点在激光雷达视场图像中的位置获得该激光落点的深度，将该所述激光落点的深度插值于该激光落点对应的待插值点，即获取三维的路标点。
步骤103，根据路标点的三维坐标与里程计算模型获取里程计。
如图3所示的是依据本实施例中的里程计估计方法得到的运动轨迹生成的点云地图，以及对应场景的俯瞰照片。
其轨迹的平均位移误差为2％，相比于现有的单一传感器方法均有显著提升。证明本发明使用的混合残差方法能够有效提升里程计估计精度。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种基于相机和激光雷达融合的里程计估计方法，其特征在于，包括如下步骤：
步骤101，获取相机视场图像与激光雷达视场图像，建立基于残差的里程计算模型；
步骤102，在相机视场图像与激光雷达视场图像共视区选择若干具有显著特征的特征点作为路标点，将与所述特征点距离最近的激光落点的深度作为该特征点的深度坐标，从而获取所有路标点的三维坐标；
步骤103，根据所述路标点的三维坐标与里程计算模型获取里程计。
2.根据权利要求1所述基于相机和激光雷达融合的里程计估计方法，其特征在于，步骤101中，所述基于残差的里程计算模型为：
式中，erep,i表示重投影残差，epho,j表示光度测量残差，和表示观测噪声协方差，aon表示世界坐标系下已添加的路标点，awn表示图像中对应的路标点，φ表示相对运动。
3.根据权利要求1所述基于相机和激光雷达融合的里程计估计方法，其特征在于，步骤102具体包括：
步骤201，获取相机视场图像中与激光雷达视场图像共视区二维的特征点；
步骤202，在所有的特征点中筛选出满足深度插值条件的特征点作为待插值点；
步骤203，获取与待插值点距离最短的激光落点，并根据所述激光落点在激光雷达视场图像中的位置获得该激光落点的深度，将该所述激光落点的深度插值于该激光落点对应的待插值点，即获取三维的路标点。
4.根据权利要求3所述基于相机和激光雷达融合的里程计估计方法，其特征在于，步骤201具体包括：
步骤301，基于光度信息在相机视场图像内提取第一类特征点；
步骤302，基于ORB算法在相机视场图像内提取第二类特征点；
步骤303，合并第一类特征点与第二类特征点，即为相机视场图像中二维的特征点。
5.根据权利要求4所述基于相机和激光雷达融合的里程计估计方法，其特征在于，
步骤301中，第一类特征点具体为相机视场图像中灰度梯度大于阈值的点。
6.根据权利要求3所述基于相机和激光雷达融合的里程计估计方法，其特征在于，步骤202中，在所有的特征点中筛选出满足深度插值条件的特征点作为待插值点，具体为满足下式的特征点为待插值点：
式中，p(cj,ci)表示待插值点的置信度，ci表示所有的图像点，cj表示激光与相机的共识点，(u,v)表示点的像素坐标，(r,g,b)表示像素点的RGB颜色信息，表示像素点的方差，表示像素颜色的方差。
7.一种基于相机和激光雷达融合的里程计估计***，包括：存储器和处理器，所述基于相机和激光雷达融合的里程计估计程序，所述处理器在运行所述程序时执行所述权利要求1～6任一项方法所述的步骤。
CN201910793566.7A 2019-08-27 2019-08-27 一种基于相机和激光雷达融合的里程计估计方法及*** Active CN110501021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910793566.7A CN110501021B (zh) 2019-08-27 2019-08-27 一种基于相机和激光雷达融合的里程计估计方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910793566.7A CN110501021B (zh) 2019-08-27 2019-08-27 一种基于相机和激光雷达融合的里程计估计方法及***

Publications (2)

Publication Number Publication Date
CN110501021A true CN110501021A (zh) 2019-11-26
CN110501021B CN110501021B (zh) 2021-01-29

Family

ID=68589855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910793566.7A Active CN110501021B (zh) 2019-08-27 2019-08-27 一种基于相机和激光雷达融合的里程计估计方法及***

Country Status (1)

Country Link
CN (1) CN110501021B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161202A (zh) * 2019-12-30 2020-05-15 上海眼控科技股份有限公司 车辆行为信息获取方法、装置、计算机设备和存储介质
CN114529603A (zh) * 2020-11-23 2022-05-24 新疆大学 一种基于激光slam与单目slam融合的里程计方法
CN114639006A (zh) * 2022-03-15 2022-06-17 北京理工大学 一种回环检测方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140100713A1 (en) * 2010-07-15 2014-04-10 George C. Dedes Gnss/imu positioning, communication, and computation platforms for automotive safety applications
US20150253140A1 (en) * 2014-03-05 2015-09-10 Airbus Ds Gmbh Method for Position and Location Detection by Means of Virtual Reference Images
CN105607635A (zh) * 2016-01-05 2016-05-25 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制***及全向自动导引车
CN109633664A (zh) * 2018-12-29 2019-04-16 南京理工大学工程技术研究院有限公司 基于rgb-d与激光里程计的联合定位方法
CN110084272A (zh) * 2019-03-26 2019-08-02 哈尔滨工业大学（深圳） 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140100713A1 (en) * 2010-07-15 2014-04-10 George C. Dedes Gnss/imu positioning, communication, and computation platforms for automotive safety applications
US20150253140A1 (en) * 2014-03-05 2015-09-10 Airbus Ds Gmbh Method for Position and Location Detection by Means of Virtual Reference Images
CN105607635A (zh) * 2016-01-05 2016-05-25 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制***及全向自动导引车
CN109633664A (zh) * 2018-12-29 2019-04-16 南京理工大学工程技术研究院有限公司 基于rgb-d与激光里程计的联合定位方法
CN110084272A (zh) * 2019-03-26 2019-08-02 哈尔滨工业大学（深圳） 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU QINGHUA 等: "Hybrid-residual-based RGBD visual odometry", 《IEEE ACCESS》 *
卢惠民: "基于视觉的移动机器人自定位问题", 《中南大学学报(自然科学版)》 *
胡婷婷: "基于深度学习的移动机器人重定位算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161202A (zh) * 2019-12-30 2020-05-15 上海眼控科技股份有限公司 车辆行为信息获取方法、装置、计算机设备和存储介质
CN114529603A (zh) * 2020-11-23 2022-05-24 新疆大学 一种基于激光slam与单目slam融合的里程计方法
CN114529603B (zh) * 2020-11-23 2023-05-19 新疆大学 一种基于激光slam与单目视觉slam融合的里程计方法
CN114639006A (zh) * 2022-03-15 2022-06-17 北京理工大学 一种回环检测方法、装置和电子设备
CN114639006B (zh) * 2022-03-15 2023-09-26 北京理工大学 一种回环检测方法、装置和电子设备

Also Published As

Publication number Publication date
CN110501021B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
EP3407294B1 (en) Information processing method, device, and terminal
Wolcott et al. Visual localization within lidar maps for automated urban driving
US11816829B1 (en) Collaborative disparity decomposition
CN103162682B (zh) 基于混合现实的室内路径导航方法
Kim et al. Stereo camera localization in 3d lidar maps
CN110501021A (zh) 一种基于相机和激光雷达融合的里程计估计方法及***
CN110073362A (zh) 用于车道标记检测的***及方法
CN107850449A (zh) 用于生成及使用定位参考数据的方法及***
CN114332360A (zh) 一种协同三维建图方法及***
CN109815831B (zh) 一种车辆朝向获取方法及相关装置
CN108180912A (zh) 基于混合导航带的移动机器人定位***及方法
CN110456330A (zh) 一种相机与激光雷达之间外参无目标自动标定方法及***
CN105938619A (zh) 一种融合RGB和Depth信息的视觉里程计实现方法
US20230244227A1 (en) Data processing method, control apparatus and storage medium
CN110108269A (zh) 基于多传感器数据融合的agv定位方法
Wang et al. Autonomous landing of multi-rotors UAV with monocular gimbaled camera on moving vehicle
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
CN109753945A (zh) 目标主体识别方法、装置、存储介质和电子设备
CN110515088A (zh) 一种智能机器人的里程计估计方法及***
CN114612393A (zh) 一种基于单目视觉的反光零件位姿估计方法
US10859377B2 (en) Method for improving position information associated with a collection of images
Peng et al. Dynamic Visual SLAM Integrated with IMU for Unmanned Scenarios
Mueller et al. Continuous stereo self-calibration on planar roads
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant