CN110879400A - 激光雷达与imu融合定位的方法、设备及存储介质 - Google Patents
激光雷达与imu融合定位的方法、设备及存储介质 Download PDFInfo
- Publication number
- CN110879400A CN110879400A CN201911183681.9A CN201911183681A CN110879400A CN 110879400 A CN110879400 A CN 110879400A CN 201911183681 A CN201911183681 A CN 201911183681A CN 110879400 A CN110879400 A CN 110879400A
- Authority
- CN
- China
- Prior art keywords
- imu
- pose
- zero offset
- moving object
- measurement data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种激光雷达与IMU融合定位的方法、设备及存储介质,所述方法包括:基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;获取匹配结果,并输出对应的匹配位姿;达到了通过融合激光雷达和IMU测量数据实现移动物体定位的目的,提高了移动物体定位的准确性。
Description
技术领域
本发明涉及机器人领域,特别涉及一种激光雷达与IMU融合定位的方法、设备及存储介质。
背景技术
目前,SLAM(Simultaneous Localization And Mapping,同步定位与地图构建)主要用于解决移动物体的地图构建与定位导航的问题,而激光SLAM脱胎于早期的基于测距的定位方法(比如超声和红外单点测距),且激光雷达(Light Detection And Ranging)的出现和普及使得测量更加便捷和准确,信息量也更丰富。由于激光雷达采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点,因此被称为点云。激光SLAM***通过对不同时刻两片点云的匹配与比对,得到这段时间内物体移动的距离和转动的角度,即位姿的变化;一连串位姿变化的集合,便可以组成移动物体走过的路径,由此便可完成对机器人的定位。
利用激光雷达进行移动物***姿变化的预估时,针对两时刻之间位姿变化,若间隔时间很短,两片点云所描述的环境变化很小,进行两帧激光帧匹配的结果相对准确度较高,但是如果两片点云描述的环境变化较多,且没有较准确的初始预估位姿,则两片点云匹配的结果与真实的位姿可能相差很远,而且匹配是盲目的。单独利用IMU(InertialMeasurement Unit,惯性测量单元)也可以得到物体的位姿变化,但由于IMU测量的位姿是通过积分得到的,且IMU测量的数据存在零偏,噪声等原因会,因此使用IMU测量位姿时,估计的位姿随着时间的增大误差也越来越大。
发明内容
本发明提供一种激光雷达与IMU融合定位的方法、设备及存储介质,用以通过融合激光雷达和IMU实现移动物体的定位。
为实现上述目的,本发明提供了一种激光雷达与IMU融合定位的方法,所述融合定位的方法包括:
基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;
利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;
获取匹配结果,并输出对应的匹配位姿。
进一步地,所述基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化,之前还包括:
获取IMU的零偏,基于获取的所述零偏,纠正所述IMU测量数据。
进一步地,所述获取IMU的零偏包括:
选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化;
以所述估计位姿变化作为激光点云匹配的初始纠正位姿,基于所述初始纠正位姿,将激光点云中的两帧激光帧进行匹配,得到匹配纠正位姿;
将所述匹配纠正位姿与IMU预积分得到的所述初始纠正位姿作差,得到IMU预积分的误差;
将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏。
进一步地,所述将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏,包括:
获取IMU测量数据中的加速度和角速度,并计算所述加速度和角速度分别对应的加速度误差和角速度误差;
根据所述加速度误差和角速度误差,通过互补滤波的算法得到加速度的零偏与角速度的零偏。
进一步地,所述选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化,包括:
对IMU在每一个采样时刻输出的角速度数据进行归一化处理,得到所述角速度值对应的二维矩阵;
将得到的所述二维矩阵由IMU坐标系转换至移动物体坐标系,得到移动物体坐标系下移动物体对应的加速度;
对得到的所述加速度进行积分,得到移动物体的位置变化量对应的位移,即得到移动物体的估计位姿变化。
进一步地,所述获取IMU的零偏包括:
在IMU的测量数据中,加速度表示为a,角速度表示为w,加速度的零偏表示为ba,角速度的零偏表示为bw;
对IMU输出的角速度数据进行归一化处理,则有:
每一个IMU采样时刻的角速度积分,得到角速度积分的角度值θ为:
将所述角速度积分得到的角度值θ进行转换,得到二维旋转矩阵Rn为:
将IMU输出的所述角速度数据转换到移动物体坐标系下,则得到移动物体坐标系下移动物体对应的加速度ar n为:
ar n=Rr i*an;
其中,Rr i为已知的由IMU坐标系转换到移动物坐标系的3*3旋转矩阵,ar n表示移动物体坐标系下的加速度的数值;
对得到的所述加速度进行积分,得到移动物体对应的位置变化量即位移P为:
将得到的所述角度值与位移作为激光雷达匹配的初始值,基于所述初始值,从激光点云中获取与所述初始值相匹配的角度位移信息;
将获取的所述角度位移信息与初始值作差,即可得到角度差与位移差;
其中,所述位移差与加速度零偏的关系为:
则有:
根据角速度误差和加速度误差,通过互补滤波的算法得到加速度与角速度的零偏为:
其中,K1、K2、I1、I2为调整的权重参数,取值范围为0~1;
计算完新的零偏即返回重新执行下一个计算零偏的循环。
进一步地,所述融合定位的方法还包括:
所述获取IMU的零偏以及基于纠正零偏后的IMU测量数据执行匹配位姿的输出操作,在整个激光雷达与IMU融合定位的过程中循环执行。
为实现上述目的,本发明还提供了一种激光雷达与IMU融合定位的装置,所述融合定位的装置包括:
位姿获取模块,用于基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;
位姿匹配模块,用于利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;
位姿输出模块,用于获取匹配结果,并输出对应的匹配位姿。
为实现上述目的,本发明还提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的激光雷达与IMU的融合定位程序,所述融合定位程序被所述处理器运行时,执行所述的激光雷达与IMU融合定位的方法。
为实现上述目的,本发明还提供了一种计算机存储介质,所述存储介质上存储有激光雷达与IMU的融合定位程序,所述融合定位程序可以被一个或者多个处理器执行,以实现所述的激光雷达与IMU融合定位的方法的步骤。
本发明一种激光雷达与IMU融合定位的方法、设备及存储介质可以达到如下有益效果:
基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;获取匹配结果,并输出对应的匹配位姿;达到了通过融合激光雷达和IMU测量数据实现移动物体定位的目的,进一步地,由于循环纠正了IMU测量数据的零偏问题,并基于纠正零偏后的IMU测量数据进行移动物体的位姿匹配,因此,提高了移动物体定位的准确性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所指出的内容来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明激光雷达与IMU融合定位的方法的一种实施例方式的流程示意图;
图2是本发明激光雷达与IMU融合定位的方法中一种实施方式的流程框图;
图3是本发明激光雷达与IMU融合定位的装置的一种实施方式的功能模块示意图;
图4是本发明电子设备的一种实施方式的内部结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明提供了一种激光雷达与IMU融合定位的方法、设备及存储介质,通过融合激光雷达和IMU,实现了移动物体的定位,由于本发明提供的技术方案能够循环纠正IMU的零偏问题,进而基于纠正零偏后的IMU测量数据进行移动物***姿的匹配,因此,提高了移动物体定位的准确性。
如图1所示,图1是本发明激光雷达与IMU融合定位的方法的一种实施例方式的流程示意图;本发明一种激光雷达与IMU融合定位的方法可以实施为如下描述的步骤S10-S30:
步骤S10、基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;
本发明实施例中,与激光雷达对应的激光点云进行融合定位时所采用的IMU测量数据为纠正零偏后的IMU测量数据;当然,在首次实施本发明激光雷达与IMU融合定位的方式时,对两个时刻间的IMU测量数据进行预积分的数据为未纠正零偏的IMU测量数据。
基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,即可得到这两个时刻间移动物体的位姿变化,即移动物体在这两个时刻间的位移。
步骤S20、利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;
步骤S30、获取匹配结果,并输出对应的匹配位姿。
由于采用的IMU测量数据为纠正零偏后的数据,因此,对两个时刻间的IMU测量数据进行预积分后得到的位姿变化作为初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配时,即可得到一个准确的位姿变化,将与该初始位姿相匹配的匹配位姿进行输出,即可得到移动物体的位姿变化,从而实现对该移动物体的定位。同时利用与上述预积分的初始位姿相匹配的匹配位姿,作为对IMU估计的位姿进行修正反馈,即可估计出IMU测量数据对应的零偏,得到比较准确的IMU测量数据的零偏后,便可以为激光点云的匹配提供良好的匹配初始位姿。
如图2所示,图2是本发明激光雷达与IMU融合定位的方法中一种实施方式的流程框图;对IMU测量数据进行预积分,将预积分得到的位姿变化作为初始位姿,基于该初始位置,将激光点云中的两帧激光帧进行匹配,从而得到对应的匹配位姿,进而根据匹配结果输出对应的匹配位姿,同时将得到的匹配位姿与IMU预积分得到的初始位置进行求差等一系列的数据运算,从而得到IMU预积分的误差,利用互补滤波的算法计算得到IMU的零偏。即,所述获取IMU的零偏以及基于纠正零偏后的IMU测量数据执行匹配位姿的输出操作,在整个激光雷达与IMU融合定位的过程中循环执行。
在一个实施例中,针对首次实施图1实施例所描述的激光雷达与IMU融合定位的方法,为了进一步确保移动物体匹配位姿获取的准确性,本发明在图1所述实施例的“步骤S01、基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化”,之前,还需实施如下步骤:
获取IMU的零偏,基于获取的所述零偏,纠正所述IMU测量数据。
也就是说,首次实施图1所述的激光雷达与IMU融合定位的方法之前,先获取IMU的零偏,纠正IMU的测量数据,进而基于纠正零偏后的IMU测量数据,获取移动位图的位姿变化,从而实现对移动物体的定位。
进一步地,在本发明实施例中,基于图1和图2所述实施例的描述,获取IMU的零偏可以按照如下方式实施:
选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化;
以所述估计位姿变化作为激光点云匹配的初始纠正位姿,基于所述初始纠正位姿,将激光点云中的两帧激光帧进行匹配,得到匹配纠正位姿;
将所述匹配纠正位姿与IMU预积分得到的所述初始纠正位姿作差,得到IMU预积分的误差;
将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏。
需要说明的是,为了区别本发明实施例中与图1所述实施例中的相关概念,将“位姿变化”描述为“估计位姿变化”,将“初始位姿”描述为“初始纠正位姿”,将“匹配位姿”描述为“匹配纠正位姿”,上述三对概念中的每一对概念在实质上完全相同,比如在图2所述实施例中,三对概念的意义完全一致;仅仅为了区别首次运行图1所述实施例时的实施过程,和后续循环执行图1所述实施例时的实施过程。
进一步地,在一个实施例中,在获取IMU测量数据的零偏时,所述将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏,可以通过如下方式实施:
获取IMU测量数据中的加速度和角速度,并计算所述加速度和角速度分别对应的加速度误差和角速度误差;根据所述加速度误差和角速度误差,通过互补滤波的算法得到加速度的零偏与角速度的零偏。
基于上述通过获取加速度误差和角速度误差来计算得到IMU测量数据中的加速度零偏和角速度零偏的思想,本发明实施例中,所述选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化,可以通过如下方式实施:
对IMU在每一个采样时刻输出的角速度数据进行归一化处理,得到所述角速度值对应的二维矩阵;
将得到的所述二维矩阵由IMU坐标系转换至移动物体坐标系,得到移动物体坐标系下移动物体对应的加速度;
对得到的所述加速度进行积分,得到移动物体的位置变化量对应的位移,即得到移动物体的估计位姿变化。
对应于上述描述的获取IMU测量数据的零偏的实时过程,在一个具体的应用场景中,获取IMU测量数据的零偏还可以按照如下方式实施:
在IMU的测量数据中,加速度表示为a,角速度表示为w,加速度的零偏表示为ba,角速度的零偏表示为bw;
对IMU输出的角速度数据进行归一化处理,则有:
由于在两个激光帧时刻会有多个IMU的采样数据,因此,针对每一个IMU采样时刻的角速度积分,即可得到角速度积分的角度值θ为:
将所述角速度积分得到的角度值θ进行转换,得到二维旋转矩阵Rn为:
将IMU输出的所述角速度数据转换到移动物体坐标系下,则得到移动物体坐标系下移动物体对应的加速度ar n为:
ar n=Rr i*an;
其中,Rr i为已知的由IMU坐标系转换到移动物坐标系的3*3旋转矩阵,ar n表示移动物体坐标系下的加速度的数值;此时的加速度值是三维向量,去掉z方向上的值,即可变为二维向量。
对得到的所述加速度进行积分,得到移动物体对应的位置变化量即位移P为:
P即为加速度积分得到的位移,将IMU测量数据中得到的所述角度值与位移作为2D激光雷达匹配的初始值,激光雷达匹配成功即会返回一个准确的角度位移信息,将该角度位移与初始值作差,即可得到位移差与角度差;即基于所述初始值,从激光点云中获取与所述初始值相匹配的角度位移信息;将获取的所述角度位移信息与初始值作差,即可得到角度差与位移差;
其中,在忽略角速度零偏引起的较小的误差的情况下,所述位移差与加速度零偏的关系为:
则有:
根据角速度误差和加速度误差,通过互补滤波的算法得到加速度与角速度的零偏为:
其中,K1、K2、I1、I2为调整的权重参数,取值范围为0~1;
计算完新的零偏即返回重新执行下一个计算零偏的循环,如图2所述实施例的描述。
本发明激光雷达与IMU融合定位的方法,基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;获取匹配结果,并输出对应的匹配位姿;达到了通过融合激光雷达和IMU测量数据实现移动物体定位的目的,进一步地,由于循环纠正了IMU测量数据的零偏问题,并基于纠正零偏后的IMU测量数据进行移动物体的位姿匹配,因此,提高了移动物体定位的准确性。
对应于图1、图2实施例的描述,本发明还提供了一种激光雷达与IMU融合定位的装置,如图3所示,图3是本发明激光雷达与IMU融合定位的装置的一种实施方式的功能模块示意图;图3所述实施例描述的激光雷达与IMU融合定位的装置仅仅从功能上划分,所述融合定位的装置包括:
位姿获取模块100,用于基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;
位姿匹配模块200,用于利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;
位姿输出模块300,用于获取匹配结果,并输出对应的匹配位姿。
在一个实施例中,所述位姿获取模块100还用于:
获取IMU的零偏,基于获取的所述零偏,纠正所述IMU测量数据。
在一个实施例中,所述位姿获取模块100还用于:
选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化;
以所述估计位姿变化作为激光点云匹配的初始纠正位姿,基于所述初始纠正位姿,将激光点云中的两帧激光帧进行匹配,得到匹配纠正位姿;
将所述匹配纠正位姿与IMU预积分得到的所述初始纠正位姿作差,得到IMU预积分的误差;
将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏。
在一个实施例中,所述位姿获取模块100还用于:
获取IMU测量数据中的加速度和角速度,并计算所述加速度和角速度分别对应的加速度误差和角速度误差;
根据所述加速度误差和角速度误差,通过互补滤波的算法得到加速度的零偏与角速度的零偏。
在一个实施例中,所述位姿获取模块100还用于:
对IMU在每一个采样时刻输出的角速度数据进行归一化处理,得到所述角速度值对应的二维矩阵;
将得到的所述二维矩阵由IMU坐标系转换至移动物体坐标系,得到移动物体坐标系下移动物体对应的加速度;
对得到的所述加速度进行积分,得到移动物体的位置变化量对应的位移,即得到移动物体的估计位姿变化。
在一个实施例中,所述位姿获取模块100还用于:
在IMU的测量数据中,加速度表示为a,角速度表示为w,加速度的零偏表示为ba,角速度的零偏表示为bw;
对IMU输出的角速度数据进行归一化处理,则有:
每一个IMU采样时刻的角速度积分,得到角速度积分的角度值θ为:
将所述角速度积分得到的角度值θ进行转换,得到二维旋转矩阵Rn为:
将IMU输出的所述角速度数据转换到移动物体坐标系下,则得到移动物体坐标系下移动物体对应的加速度ar n为:
ar n=Rr i*an;
其中,Rr i为已知的由IMU坐标系转换到移动物坐标系的3*3旋转矩阵,ar n表示移动物体坐标系下的加速度的数值;
对得到的所述加速度进行积分,得到移动物体对应的位置变化量即位移P为:
将得到的所述角度值与位移作为激光雷达匹配的初始值,基于所述初始值,从激光点云中获取与所述初始值相匹配的角度位移信息;
将获取的所述角度位移信息与初始值作差,即可得到角度差与位移差;
其中,所述位移差与加速度零偏的关系为:
则有:
根据角速度误差和加速度误差,通过互补滤波的算法得到加速度与角速度的零偏为:
其中,K1、K2、I1、I2为调整的权重参数,取值范围为0~1;
计算完新的零偏即返回重新执行下一个计算零偏的循环。
所述激光雷达与IMU融合定位的装置中各功能模块相互配合,在整个激光雷达与IMU融合定位的过程中循环执行如下操作:获取IMU的零偏以及基于纠正零偏后的IMU测量数据执行匹配位姿的输出操作,以实现移动物体的定位。
本发明激光雷达与IMU融合定位的装置,基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;获取匹配结果,并输出对应的匹配位姿;达到了通过融合激光雷达和IMU测量数据实现移动物体定位的目的,进一步地,由于循环纠正了IMU测量数据的零偏问题,并基于纠正零偏后的IMU测量数据进行移动物体的位姿匹配,因此,提高了移动物体定位的准确性。
本发明还提供了一种电子设备,所述电子设备可以按照图1所述的激光雷达与IMU融合定位的方法来实现对移动物体的定位。如图4所示,图4是本发明电子设备的一种实施方式的内部结构示意图。
在本实施例中,电子设备1可以是PC(Personal Computer,个人电脑),也可以是智能手机、平板电脑、便携计算机等终端设备。该电子设备1至少包括存储器11、处理器12,通信总线13,以及网络接口14。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的硬盘。存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如激光雷达与IMU的融合定位程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行融合定位程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
图4仅示出了具有组件11-14以及融合定位程序01的电子设备1,本领域技术人员可以理解的是,图2示出的结构并不构成对电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
基于图1、图2实施例的描述,在图4所示的电子设备1实施例中,存储器11中存储有融合定位程序01;所述存储器11上存储的融合定位程序01可在所述处理器12上运行,所述融合定位程序01被所述处理器12运行时实现如下步骤:
基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;
利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;
获取匹配结果,并输出对应的匹配位姿。
在一个实施例中,所述融合定位程序01还可被所述处理器12执行,以基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化,之前还包括:
获取IMU的零偏,基于获取的所述零偏,纠正所述IMU测量数据。
在一个实施例中,所述融合定位程序01还可被所述处理器12执行,以获取IMU的零偏包括:
选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化;
以所述估计位姿变化作为激光点云匹配的初始纠正位姿,基于所述初始纠正位姿,将激光点云中的两帧激光帧进行匹配,得到匹配纠正位姿;
将所述匹配纠正位姿与IMU预积分得到的所述初始纠正位姿作差,得到IMU预积分的误差;
将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏。
在一个实施例中,所述融合定位程序01还可被所述处理器12执行,以将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏,包括:
获取IMU测量数据中的加速度和角速度,并计算所述加速度和角速度分别对应的加速度误差和角速度误差;
根据所述加速度误差和角速度误差,通过互补滤波的算法得到加速度的零偏与角速度的零偏。
在一个实施例中,所述融合定位程序01还可被所述处理器12执行,以选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化,包括:
对IMU在每一个采样时刻输出的角速度数据进行归一化处理,得到所述角速度值对应的二维矩阵;
将得到的所述二维矩阵由IMU坐标系转换至移动物体坐标系,得到移动物体坐标系下移动物体对应的加速度;
对得到的所述加速度进行积分,得到移动物体的位置变化量对应的位移,即得到移动物体的估计位姿变化。
在一个实施例中,所述融合定位程序01还可被所述处理器12执行,以获取IMU的零偏包括:
在IMU的测量数据中,加速度表示为a,角速度表示为w,加速度的零偏表示为ba,角速度的零偏表示为bw;
对IMU输出的角速度数据进行归一化处理,则有:
每一个IMU采样时刻的角速度积分,得到角速度积分的角度值θ为:
将所述角速度积分得到的角度值θ进行转换,得到二维旋转矩阵Rn为:
将IMU输出的所述角速度数据转换到移动物体坐标系下,则得到移动物体坐标系下移动物体对应的加速度ar n为:
ar n=Rr i*an;
其中,Rr i为已知的由IMU坐标系转换到移动物坐标系的3*3旋转矩阵,ar n表示移动物体坐标系下的加速度的数值;
对得到的所述加速度进行积分,得到移动物体对应的位置变化量即位移P为:
将得到的所述角度值与位移作为激光雷达匹配的初始值,基于所述初始值,从激光点云中获取与所述初始值相匹配的角度位移信息;
将获取的所述角度位移信息与初始值作差,即可得到角度差与位移差;
其中,所述位移差与加速度零偏的关系为:
则有:
根据角速度误差和加速度误差,通过互补滤波的算法得到加速度与角速度的零偏为:
其中,K1、K2、I1、I2为调整的权重参数,取值范围为0~1;
计算完新的零偏即返回重新执行下一个计算零偏的循环。
本发明电子设备,基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;获取匹配结果,并输出对应的匹配位姿;达到了通过融合激光雷达和IMU测量数据实现移动物体定位的目的,进一步地,由于循环纠正了IMU测量数据的零偏问题,并基于纠正零偏后的IMU测量数据进行移动物体的位姿匹配,因此,提高了移动物体定位的准确性。
本发明计算机可读存储介质具体实施方式与上述激光雷达与IMU融合定位的方法、装置和电子设备对应的各实施例的实施原理基本相同,在此不作累述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种激光雷达与IMU融合定位的方法,其特征在于,所述融合定位的方法包括:
基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;
利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;
获取匹配结果,并输出对应的匹配位姿。
2.如权利要求1所述的激光雷达与IMU融合定位的方法,其特征在于,所述基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化,之前还包括:
获取IMU的零偏,基于获取的所述零偏,纠正所述IMU测量数据。
3.如权利要求2所述的激光雷达与IMU融合定位的方法,其特征在于,所述获取IMU的零偏包括:
选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化;
以所述估计位姿变化作为激光点云匹配的初始纠正位姿,基于所述初始纠正位姿,将激光点云中的两帧激光帧进行匹配,得到匹配纠正位姿;
将所述匹配纠正位姿与IMU预积分得到的所述初始纠正位姿作差,得到IMU预积分的误差;
将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏。
4.如权利要求3所述的激光雷达与IMU融合定位的方法,其特征在于,所述将得到的所述误差作为互补滤波的输入量,计算得到IMU的零偏,包括:
获取IMU测量数据中的加速度和角速度,并计算所述加速度和角速度分别对应的加速度误差和角速度误差;
根据所述加速度误差和角速度误差,通过互补滤波的算法得到加速度的零偏与角速度的零偏。
5.如权利要求3所述的激光雷达与IMU融合定位的方法,其特征在于,所述选取连续两个时刻间的IMU测量数据,并对选取的两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的估计位姿变化,包括:
对IMU在每一个采样时刻输出的角速度数据进行归一化处理,得到所述角速度值对应的二维矩阵;
将得到的所述二维矩阵由IMU坐标系转换至移动物体坐标系,得到移动物体坐标系下移动物体对应的加速度;
对得到的所述加速度进行积分,得到移动物体的位置变化量对应的位移,即得到移动物体的估计位姿变化。
6.如权利要求5所述的激光雷达与IMU融合定位的方法,其特征在于,所述获取IMU的零偏包括:
在IMU的测量数据中,加速度表示为a,角速度表示为w,加速度的零偏表示为ba,角速度的零偏表示为bw;
对IMU输出的角速度数据进行归一化处理,则有:
每一个IMU采样时刻的角速度积分,得到角速度积分的角度值θ为:
将所述角速度积分得到的角度值θ进行转换,得到二维旋转矩阵Rn为:
将IMU输出的所述角速度数据转换到移动物体坐标系下,则得到移动物体坐标系下移动物体对应的加速度ar n为:
ar n=Rr i*an;
其中,Rr i为已知的由IMU坐标系转换到移动物坐标系的3*3旋转矩阵,ar n表示移动物体坐标系下的加速度的数值;
对得到的所述加速度进行积分,得到移动物体对应的位置变化量即位移P为:
将得到的所述角度值与位移作为激光雷达匹配的初始值,基于所述初始值,从激光点云中获取与所述初始值相匹配的角度位移信息;
将获取的所述角度位移信息与初始值作差,即可得到角度差与位移差;
其中,所述位移差与加速度零偏的关系为:
则有:
根据角速度误差和加速度误差,通过互补滤波的算法得到加速度与角速度的零偏为:
其中,K1、K2、I1、I2为调整的权重参数,取值范围为0~1;
计算完新的零偏即返回重新执行下一个计算零偏的循环。
7.如权利要求1至6任一项所述的激光雷达与IMU融合定位的方法,其特征在于,所述融合定位的方法还包括:
所述获取IMU的零偏以及基于纠正零偏后的IMU测量数据执行匹配位姿的输出操作,在整个激光雷达与IMU融合定位的过程中循环执行。
8.一种激光雷达与IMU融合定位的装置,其特征在于,所述融合定位的装置包括:
位姿获取模块,用于基于纠正零偏后的IMU测量数据,对两个时刻间的IMU测量数据进行预积分,得到这两个时刻间移动物体的位姿变化;
位姿匹配模块,用于利用得到的所述位姿变化作为激光点云匹配的初始位姿,基于所述初始位姿,将激光点云中的两帧激光帧进行匹配;
位姿输出模块,用于获取匹配结果,并输出对应的匹配位姿。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的激光雷达与IMU的融合定位程序,所述融合定位程序被所述处理器运行时,执行如权利要求1至7中任一项所述的激光雷达与IMU融合定位的方法。
10.一种计算机存储介质,其特征在于,所述存储介质上存储有激光雷达与IMU的融合定位程序,所述融合定位程序可以被一个或者多个处理器执行,以实现如权利要求1至7中任一项所述的激光雷达与IMU融合定位的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911183681.9A CN110879400A (zh) | 2019-11-27 | 2019-11-27 | 激光雷达与imu融合定位的方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911183681.9A CN110879400A (zh) | 2019-11-27 | 2019-11-27 | 激光雷达与imu融合定位的方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110879400A true CN110879400A (zh) | 2020-03-13 |
Family
ID=69730385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911183681.9A Pending CN110879400A (zh) | 2019-11-27 | 2019-11-27 | 激光雷达与imu融合定位的方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110879400A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111442722A (zh) * | 2020-03-26 | 2020-07-24 | 达闼科技成都有限公司 | 定位方法、装置、存储介质及电子设备 |
CN111812668A (zh) * | 2020-07-16 | 2020-10-23 | 南京航空航天大学 | 绕机检查装置及其定位方法、存储介质 |
CN111812669A (zh) * | 2020-07-16 | 2020-10-23 | 南京航空航天大学 | 绕机检查装置及其定位方法、存储介质 |
CN112067007A (zh) * | 2020-11-12 | 2020-12-11 | 湖北亿咖通科技有限公司 | 地图生成方法、计算机存储介质及电子设备 |
CN112083433A (zh) * | 2020-07-21 | 2020-12-15 | 浙江工业大学 | 一种应用于两轮移动机器人的激光雷达除畸变方法 |
CN112348897A (zh) * | 2020-11-30 | 2021-02-09 | 上海商汤临港智能科技有限公司 | 位姿确定方法及装置、电子设备、计算机可读存储介质 |
CN112489176A (zh) * | 2020-11-26 | 2021-03-12 | 香港理工大学深圳研究院 | 一种融合ESKF,g2o和点云匹配的紧耦合建图方法 |
CN112781594A (zh) * | 2021-01-11 | 2021-05-11 | 桂林电子科技大学 | 基于imu耦合的激光雷达迭代最近点改进算法 |
WO2021189479A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市速腾聚创科技有限公司 | 路基传感器的位姿校正方法、装置和路基传感器 |
CN113591015A (zh) * | 2021-07-30 | 2021-11-02 | 北京小狗吸尘器集团股份有限公司 | 时间延迟的计算方法、装置、存储介质及电子设备 |
CN113739785A (zh) * | 2020-05-29 | 2021-12-03 | 杭州海康机器人技术有限公司 | 一种机器人定位方法、装置及存储介质 |
CN114111775A (zh) * | 2021-12-20 | 2022-03-01 | 国汽(北京)智能网联汽车研究院有限公司 | 一种多传感器融合定位方法、装置、存储介质及电子设备 |
CN114199236A (zh) * | 2021-11-29 | 2022-03-18 | 北京百度网讯科技有限公司 | 定位数据处理的方法、装置、电子设备和自动驾驶车辆 |
CN114585879A (zh) * | 2020-09-27 | 2022-06-03 | 深圳市大疆创新科技有限公司 | 位姿估计的方法和装置 |
WO2023000294A1 (zh) * | 2021-07-23 | 2023-01-26 | 深圳市大疆创新科技有限公司 | 位姿估计方法、激光雷达-惯性里程计、可移动平台及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108507568A (zh) * | 2017-02-27 | 2018-09-07 | 华为技术有限公司 | 补偿温度漂移误差的方法、装置和组合导航*** |
CN108732603A (zh) * | 2017-04-17 | 2018-11-02 | 百度在线网络技术(北京)有限公司 | 用于定位车辆的方法和装置 |
CN109465832A (zh) * | 2018-12-18 | 2019-03-15 | 哈尔滨工业大学(深圳) | 高精度视觉和imu紧融合定位方法与*** |
CN110017850A (zh) * | 2019-04-19 | 2019-07-16 | 小狗电器互联网科技(北京)股份有限公司 | 一种陀螺仪漂移估计方法、装置及定位*** |
CN110361010A (zh) * | 2019-08-13 | 2019-10-22 | 中山大学 | 一种基于占据栅格地图且结合imu的移动机器人定位方法 |
US20190324471A1 (en) * | 2018-04-19 | 2019-10-24 | Faraday&Future Inc. | System and method for ground plane detection |
-
2019
- 2019-11-27 CN CN201911183681.9A patent/CN110879400A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108507568A (zh) * | 2017-02-27 | 2018-09-07 | 华为技术有限公司 | 补偿温度漂移误差的方法、装置和组合导航*** |
CN108732603A (zh) * | 2017-04-17 | 2018-11-02 | 百度在线网络技术(北京)有限公司 | 用于定位车辆的方法和装置 |
US20190324471A1 (en) * | 2018-04-19 | 2019-10-24 | Faraday&Future Inc. | System and method for ground plane detection |
CN109465832A (zh) * | 2018-12-18 | 2019-03-15 | 哈尔滨工业大学(深圳) | 高精度视觉和imu紧融合定位方法与*** |
CN110017850A (zh) * | 2019-04-19 | 2019-07-16 | 小狗电器互联网科技(北京)股份有限公司 | 一种陀螺仪漂移估计方法、装置及定位*** |
CN110361010A (zh) * | 2019-08-13 | 2019-10-22 | 中山大学 | 一种基于占据栅格地图且结合imu的移动机器人定位方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111442722A (zh) * | 2020-03-26 | 2020-07-24 | 达闼科技成都有限公司 | 定位方法、装置、存储介质及电子设备 |
WO2021189479A1 (zh) * | 2020-03-27 | 2021-09-30 | 深圳市速腾聚创科技有限公司 | 路基传感器的位姿校正方法、装置和路基传感器 |
CN113739785A (zh) * | 2020-05-29 | 2021-12-03 | 杭州海康机器人技术有限公司 | 一种机器人定位方法、装置及存储介质 |
CN111812668A (zh) * | 2020-07-16 | 2020-10-23 | 南京航空航天大学 | 绕机检查装置及其定位方法、存储介质 |
CN111812669A (zh) * | 2020-07-16 | 2020-10-23 | 南京航空航天大学 | 绕机检查装置及其定位方法、存储介质 |
CN112083433A (zh) * | 2020-07-21 | 2020-12-15 | 浙江工业大学 | 一种应用于两轮移动机器人的激光雷达除畸变方法 |
CN112083433B (zh) * | 2020-07-21 | 2023-06-13 | 浙江工业大学 | 一种应用于两轮移动机器人的激光雷达除畸变方法 |
CN114585879A (zh) * | 2020-09-27 | 2022-06-03 | 深圳市大疆创新科技有限公司 | 位姿估计的方法和装置 |
CN112067007A (zh) * | 2020-11-12 | 2020-12-11 | 湖北亿咖通科技有限公司 | 地图生成方法、计算机存储介质及电子设备 |
CN112067007B (zh) * | 2020-11-12 | 2021-01-29 | 湖北亿咖通科技有限公司 | 地图生成方法、计算机存储介质及电子设备 |
CN112489176A (zh) * | 2020-11-26 | 2021-03-12 | 香港理工大学深圳研究院 | 一种融合ESKF,g2o和点云匹配的紧耦合建图方法 |
CN112348897A (zh) * | 2020-11-30 | 2021-02-09 | 上海商汤临港智能科技有限公司 | 位姿确定方法及装置、电子设备、计算机可读存储介质 |
CN112781594A (zh) * | 2021-01-11 | 2021-05-11 | 桂林电子科技大学 | 基于imu耦合的激光雷达迭代最近点改进算法 |
WO2023000294A1 (zh) * | 2021-07-23 | 2023-01-26 | 深圳市大疆创新科技有限公司 | 位姿估计方法、激光雷达-惯性里程计、可移动平台及存储介质 |
CN113591015A (zh) * | 2021-07-30 | 2021-11-02 | 北京小狗吸尘器集团股份有限公司 | 时间延迟的计算方法、装置、存储介质及电子设备 |
CN114199236A (zh) * | 2021-11-29 | 2022-03-18 | 北京百度网讯科技有限公司 | 定位数据处理的方法、装置、电子设备和自动驾驶车辆 |
CN114111775A (zh) * | 2021-12-20 | 2022-03-01 | 国汽(北京)智能网联汽车研究院有限公司 | 一种多传感器融合定位方法、装置、存储介质及电子设备 |
CN114111775B (zh) * | 2021-12-20 | 2024-03-29 | 国汽(北京)智能网联汽车研究院有限公司 | 一种多传感器融合定位方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110879400A (zh) | 激光雷达与imu融合定位的方法、设备及存储介质 | |
US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
US20210158567A1 (en) | Visual positioning method and apparatus, electronic device, and system | |
CN111649739B (zh) | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 | |
EP2917754B1 (en) | Image processing method, particularly used in a vision-based localization of a device | |
CN107748569B (zh) | 用于无人机的运动控制方法、装置及无人机*** | |
CN110246182B (zh) | 基于视觉的全局地图定位方法、装置、存储介质和设备 | |
CN114663528A (zh) | 多相机外参的联合标定方法、装置、设备和介质 | |
US20210183100A1 (en) | Data processing method and apparatus | |
CN109752003B (zh) | 一种机器人视觉惯性点线特征定位方法及装置 | |
CN110197615B (zh) | 用于生成地图的方法及装置 | |
CN112184914B (zh) | 目标对象三维位置的确定方法、装置和路侧设备 | |
CN110942474B (zh) | 机器人目标跟踪方法、设备及存储介质 | |
KR102643425B1 (ko) | 차량의 차로변경을 탐지하는 방법과 장치, 전자 기기, 저장 장치, 노변 기기, 클라우드 제어 플랫폼 및 프로그램 제품 | |
WO2023005457A1 (zh) | 位姿计算方法和装置、电子设备、可读存储介质 | |
CN111721305B (zh) | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 | |
KR20220100813A (ko) | 자율주행 차량 정합 방법, 장치, 전자 기기 및 차량 | |
CN113610702A (zh) | 一种建图方法、装置、电子设备及存储介质 | |
CN116958452A (zh) | 三维重建方法和*** | |
CN113628284B (zh) | 位姿标定数据集生成方法、装置、***、电子设备及介质 | |
WO2020019116A1 (zh) | 多源数据建图方法、相关装置及计算机可读存储介质 | |
CN115560744A (zh) | 机器人以及基于多传感器的三维建图方法、存储介质 | |
CN113946151A (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
CN113758481A (zh) | 栅格地图生成方法、装置、***、存储介质及电子设备 | |
CN112683216B (zh) | 用于生成车辆长度信息的方法、装置、路侧设备和云控平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518000 Room 401, block D, building 7, Shenzhen International Innovation Valley, Dashi 1st Road, Xili community, Xili street, Nanshan District, Shenzhen, Guangdong Applicant after: JUXING TECHNOLOGY (SHENZHEN) Co.,Ltd. Address before: 518000 building 101, building R3b, Gaoxin industrial village, No.018, Gaoxin South 7th Road, community, high tech Zone, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: JUXING TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200313 |
|
RJ01 | Rejection of invention patent application after publication |