CN117109568A - 惯性/多维视觉联合定位方法 - Google Patents
惯性/多维视觉联合定位方法 Download PDFInfo
- Publication number
- CN117109568A CN117109568A CN202311075535.0A CN202311075535A CN117109568A CN 117109568 A CN117109568 A CN 117109568A CN 202311075535 A CN202311075535 A CN 202311075535A CN 117109568 A CN117109568 A CN 117109568A
- Authority
- CN
- China
- Prior art keywords
- line
- inertial
- matching
- feature
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000000007 visual effect Effects 0.000 claims abstract description 65
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 238000005457 optimization Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 230000010354 integration Effects 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000004393 visual impairment Effects 0.000 abstract description 3
- 201000004569 Blindness Diseases 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000009795 derivation Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004392 development of vision Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种惯性/多维视觉联合定位方法，该联合定位方法包括：提取点特征并完成点特征匹配；提取线特征完成线特征匹配；构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿；进行惯性预积分计算，构造视觉点线‑惯性联合优化模型；完成视觉点线‑惯性联合优化模型的雅克比矩阵计算和状态更新，更新相机位姿、三维地图点坐标。采用该技术方案能在视觉丢失场景维持导航定位，进一步提升了城市场景下自主导航的鲁棒性。
Description
技术领域
本发明属于惯性/视觉导航技术领域，涉及一种惯性/多维视觉联合定位方法，尤其是一种面向城市场景的惯性/多维视觉联合定位方法。
背景技术
随着科技的智能化发展，面向无人设备的自主导航技术逐渐成为导航领域内的热门研究方向。传统方法多依赖于卫星获取实时的位置完成定位。但是在楼宇、巷道、室内等典型城市复杂环境中，卫星拒止频发，传统基于卫星的定位技术受到很多制约，GPS装备甚至无法正常工作。
随着视觉传感器技术、计算机技术和人工智能技术的迅速发展，基于计算机视觉的识别定位技术作为一种新的导航方式，视觉导航开始在自主导航领域占据一席之地。视觉传感器具有隐蔽性、轻便、低功耗和价格低廉等特点，因此利用视觉传感器进行导航具有很大的优势。
视觉导航在纹理丰富区域往往能实现良好的跟踪效果，达到较高的定位精度。但是基于点特征的方法在弱纹理环境下难以提取到足够的特征点或者特征点分布不均匀，跟踪定位精度大幅下降。因此开展地面环境下高精度、高鲁棒性的导航定位技术研究极为迫切。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明提供了一种惯性/多维视觉联合定位方法。
本发明的技术解决方案如下：
根据一方面，提供一种惯性/多维视觉联合定位方法，该联合定位方法包括：
提取点特征并完成点特征匹配；
提取线特征并完成线特征匹配；
构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿；
进行惯性预积分计算，构造视觉点线-惯性联合优化模型；
完成视觉点线-惯性联合优化模型的雅克比矩阵计算和状态更新，更新相机位姿、三维地图点坐标。
进一步地，采用参数优化的LSD线特征提取方法提取线特征，其中，所述LSD线特征提取方法中，设计s＝0.5,d＝0.6，其中，s为尺度参数，用于缩放各层金字塔图像，d为最小密度阈值，代表区域生长拟合矩形框内最少点的数量。
进一步地，所述LSD的线特征提取方法还包括：
设置最短线长阈值其中WI和HI分别表示图像的宽和高，η为比例参数；
设计检测直线段的长度低于所述阈值时被过滤。
进一步地，对提取得到的线特征还进行如下处理：
若相邻的直线段在同一条直线上，即满足S1(l1,l2)·S2(l1,l2)≥1，则将相邻的直线段进行线段的合并；其中，
其中，S2(l1,l2)表示距离相似性，S1(l1,l2)表示方向一致性，∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
进一步地，对提取得到的特征点还进行如下筛选：
对于线段端点构成的像素点矩形区域进行判定，如果存在特征点位于特征线上，则剔除冗杂的特征点。
进一步地，采用下述方法进行线特征匹配：
基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：
初步建立线匹配集合；
采用双向最近邻结合比例测试的方式，选取出最优匹配线段；
基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；
进一步地，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：
1)将第i关键帧的第m条检测直线段记作计算/>在第j关键帧上的最近邻线段特征/>和次优最近邻线段特征/>
2)进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将/>记为优选匹配线段，其中ρ为比例阈值，d代表两个特征描述子距离；
3)对步骤2)得到的优选匹配线段的进行最优距离筛选，判断是否满足Dmax为特征距离的上限，若满足，则将/>使记为/>的最优匹配线段；
4)按照步骤1)～3)方法筛选出所有最优线段匹配对。
进一步地，所述基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，具体包括：
对于任意筛选出的最优线匹配对经过三角化获得地图线记作/>
假设存在线匹配将/>投影至第k关键帧，得到投影直线段/>并衡量投影直线段/>与/>的相似度，若满足/>时，认为匹配/>对/>提供了支持；其中，函数S1()代表角度相似度，函数S2()代表位置相似性；/>为第k关键帧的的最优匹配线段；
设计线匹配对在5个关键帧之内至少具有2票支持才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线。
进一步地，通过下述方式设计函数S1()和函数S2()：
假设两条直线段l1和l2，其中，该两条直线段满足：
其中，∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
进一步地，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：
构造特征点的最小化重投影误差模型；
构造线特征的最小化重投影误差模型；
联合任意第i个图像帧上面所有特征点和线特征的最小化重投影误差，迭代求解获取相机第i帧的位姿，实现视觉跟踪。
进一步地，通过下式迭代求解获取相机第i帧的位姿：
其中， 表示第i个关键帧特征点的最小化重投影误差，j表示地图点ID，该图像总共对应m个地图点，Xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上Xj对应的像素观测点，K代表相机内参矩阵，/>表示相机第i帧的位姿，rl表示线特征的最小化重投影，k代表第k对线匹配，该帧图像最多有n对线匹配。
进一步地，所述进行惯性预积分计算，构造视觉点线-惯性联合优化模型，包括：
根据惯性传感器运动测量状态求解IMU预积分增量，根据IMU预积分增量以及IMU旋转量、速度量和平移量构建惯性残差；
根据惯性残差、所述特征点的最小化重投影误差模型和所述线特征的最小化重投影误差模型构造视觉点线-惯性联合优化模型。
进一步地，通过下述方式根据惯性残差、所述特征点的最小化重投影误差模型和所述线特征的最小化重投影误差模型构造视觉点线-惯性联合优化模型：
给定n个关键帧，它们的状态集合为 表示第n个关键帧的位姿估计，它们观测到的三维点集合/>和地图线集合/>则由此构造的视觉点线-惯性联合优化模型如下式所示：
其中，i代表着第i个关键帧，惯性残差共包括k帧，Σ表示协方差矩阵，表示可观测到地图点的相机帧集合，/>表示可观测到地图线的相机帧集合，ρHub代表鲁棒核函数。rb为惯性残差，/>为特征点的最小化重投影误差；rl为线特征的最小化重投影误差。
进一步地，所述视觉点线-惯性联合优化模型的雅克比矩阵包括视觉点特征对应的雅克比矩阵、IMU残差部分对应的雅克比矩阵以及视觉线特征对应的雅克比矩阵，其中，视觉线特征对应的雅克比矩阵如下：
其中，
代表第i个关键帧中从b系到相机坐标系下的位姿转换矩阵；/>代表第i个关键帧中从世界坐标系到b系下的位姿转换矩阵，包括Rbw为旋转矩阵，tbw为平移向量，/>代表第i个关键帧中从b系到世界坐标系下的位姿转换矩阵，包括Rwb为旋转矩阵，twb为平移向量，世界坐标系下的3D直线/>其中dw是/>的方向向量，nw是/>与坐标原点所决定平面的法向量。
根据另一方面，提供一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法的步骤。
上述技术方案通过综合提取点、线特征实现匹配定位，一方面增加线特征，解决点特征过少难以定位的问题，并采用特定方法进行线特征的提取和匹配，大大提升精度；另一方面增加了观测约束，建立基于点线匹配的投影误差模型，提高了弱纹理场景下自主导航的精度，解决了弱纹理场景点特征稀疏难以定位的问题，为实现导航智能化提供必要的技术基础。同时，本发明方案还针对快速运动状态下定位易跟踪丢失问题，构造了视觉点线-惯性联合优化模型，完成雅克比矩阵推导，形成传感器优势互补，能在视觉丢失场景维持导航定位，进一步提升了城市场景下自主导航的鲁棒性。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例方法流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如图1所示，在本发明的一个实施例中，提供一种惯性/多维视觉联合定位方法，该联合定位方法包括：
步骤一、提取点特征并完成点特征匹配；
步骤二、提取线特征并完成线特征匹配；
步骤三、构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿；
步骤四、进行惯性预积分计算，构造视觉点线-惯性联合优化模型；
步骤五、完成视觉点线-惯性联合优化模型的雅克比矩阵计算和状态更新，更新相机位姿、三维地图点坐标。
本发明实施例中，可采用基于ORB的特征提取方法提取点特征，采用基于描述子的匹配方法完成点特征匹配。其中，采用基于ORB的特征提取方法提取点特征时，将改进后的Fast角点作为特征点，所述特征点具备旋转不变形。
本发明实施例中，可采用基于描述子的匹配方法完成点特征匹配，具体包括：
对于每个特征点采用改进的BRIEF描述子，利用ORB-SLAM2中的匀速模型运动预估划定上一帧图像在当前帧图像的投影区域；
然后在投影区域中对比特征点对描述子的汉明距离，选取距离最小的特征点对为匹配点对；
提取前后帧图像的所有匹配点对，完成点特征匹配。
可见，本发明实施例通过综合提取点、线特征实现匹配定位，一方面增加线特征，解决点特征过少难以定位的问题；另一方面增加了观测约束，建立基于点线匹配的投影误差模型，提高了弱纹理场景下自主导航的精度，解决了弱纹理场景点特征稀疏难以定位的问题，为实现导航智能化提供必要的技术基础。同时，本发明实施例还针对快速运动状态下定位易跟踪丢失问题，构造了视觉点线-惯性联合优化模型，完成雅克比矩阵推导，形成传感器优势互补，能在视觉丢失场景维持导航定位，进一步提升了城市场景下自主导航的鲁棒性。
在上述实施例中，为了进一步提高定位精度，采用参数优化的LSD的线特征提取方法提取线特征，其中，所述LSD线特征提取方法中，设计s＝0.5,d＝0.6，其中，s为尺度参数，用于缩放各层金字塔图像，d为最小密度阈值，代表区域生长拟合矩形框内最少点的数量。
较佳地，所述LSD线特征提取方法还包括：
设置最短线长阈值其中WI和HI分别表示图像的宽和高，η为比例参数；
设计检测直线段的长度低于所述阈值时被过滤。
也即，本发明实施例采用改进LSD的线特征提取方法提取线特征，具体来说，目前基于OpenCV的LSD方法是实现线段特征提取最通用的方法，但该方法线检测耗时较高，严重影响导航定位***的实时性。本实施例参考PL-VINS***的思路，通过筛选线段长度和耗时参数完成线段提取方法的改进，提高导航***的实时性。其中，地面大场景图像跟踪过程中，存在不同长度的线段特征，基于线特征的位姿估计应专注于较长的直线段，因为它们容易匹配、且更可能在后续帧中出现。本实施例设置最短线长阈值其中WI和HI分别表示图像的宽和高，η为比例参数，设置η＝0.125，检测直线段的长度低于该阈值时被过滤。通过过滤短直线，大幅提升了线检测效率。
此外，LSD方法通过区域生长检测具有相似梯度的区域，各个区域将被一个矩形拟合。本发明实施例确定出影响线检测耗时的关键参数是s和d。设置s＝0.5,d＝0.6，能够保证检测精度保持的情况下耗时最低。
在上述实施例中，为了进一步减少特征匹配的计算量，提高算法的实时性，所述方法还包括对提取得到的线特征还进行如下处理：
若相邻的直线段在同一条直线上，即满足S1(l1,l2)·S2(l1,l2)≥1，则将相邻的直线段进行线段的合并；其中，
其中，S2(l1,l2)表示距离相似性，S1(l1,l2)表示方向一致性，∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
也即，本发明实施例对提取得到的线特征还进一步进行特征筛选和冗杂特征的剔除，如果相邻的直线段在同一条直线上，即满足S1(l1,l2)·S2(l1,l2)≥1，会进行线段的合并，进一步减少无效计算，提高特征匹配的精度。
进一步地，为了进一步剔除冗杂的特征点，提高特征匹配的效率，所述方法还包括对提取得到的特征点还进行如下筛选：
对于线段端点构成的像素点矩形区域进行判定，如果存在特征点位于特征线上，则剔除冗杂的特征点。
在上述实施例中，为了进一步提高特征匹配的准确性，减少误匹配，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：
1)将第i关键帧的第m条检测直线段记作计算/>在第j关键帧上的最近邻线段特征/>和次优最近邻线段特征/>
2)进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将/>记为优选匹配线段，其中ρ为比例阈值，d代表两个特征描述子距离；
3)对步骤2)得到的优选匹配线段的进行最优距离筛选，判断是否满足Dmax为特征距离的上限，若满足，则将/>使记为/>的最优匹配线段；
4)按照步骤1)～3)方法筛选出所有最优线段匹配对。
也即，本发明实施例为了进一步提高特征匹配的准确性，减少误匹配，提出一种改进的线特征匹配方法，结合LBD特征描述子和投影相似度进行线段匹配。首先利用LBD特征描述初步建立线匹配集合。采用双向最近邻结合比例测试的方式，需要最优匹配的特征距离和次近邻匹配的特征距离之间，存在一个充分大的差异。
较佳地，Dmax＝25，ρ＝0.6。
进一步地，所述基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，具体包括：
对于任意筛选出的最优线匹配对经过三角化获得地图线记作/>
假设存在线匹配将/>投影至第k关键帧，得到投影直线段/>并衡量投影直线段/>与/>的相似度，若满足/>时，认为匹配/>对/>提供了支持；其中，函数S1()代表角度相似度，函数S2()代表位置相似性；/>为第k关键帧的的最优匹配线段；
设计线匹配对在5个关键帧之内至少具有2票支持才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线。
其中，通过下述方式设计函数S1()和函数S2()：
假设两条直线段l1和l2，其中，该两条直线段满足：
其中∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
具体来说，为进一步剔除误匹配，考虑结合线匹配之间的几何约束，采用线特征的投影相似度检验线匹配的正确性。通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配。假设两条直线段l1和l2，本实施例采用角度相似度S1和位置相似性S2衡量两条直线段的相似度：
其中∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
那么对于线匹配对经过三角化获得地图线记作/>另一方面，假设存在线匹配/>于是，将/>投影至第k关键帧，并衡量投影直线段/>与/>的相似度。若满足时，认为匹配/>对/>提供了支持。线匹配在5个关键帧之内至少具有2票才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线。
可见，本发明实施例针对复杂城市场景定位精度低的问题，提出一种改进的线特征匹配方法，能在大范围场景中剔除误匹配，获取了更精准的线段匹配对。
在上述实施例中，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：
构造特征点的最小化重投影误差模型；
构造线特征的最小化重投影误差模型；
联合任意第i个图像帧上面所有特征点和线特征的最小化重投影误差，迭代求解获取相机第i帧的位姿，实现视觉跟踪。
本发明实施例中，通过下式迭代求解获取相机第i帧的位姿：
其中， 表示第i个关键帧特征点的最小化重投影误差，j表示地图点ID，该图像总共对应m个地图点，Xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上Xj对应的像素观测点，K代表相机内参矩阵，/>表示相机第i帧的位姿，rl表示线特征的最小化重投影，k代表第k对线匹配，该帧图像最多有n对线匹配。
具体来说，为了构造最小化重投影模型，根据点特征和线特征的匹配，获取相机位姿，具体步骤如下：
根据点特征、线特征匹配的结果，构造最小化多维视觉重投影误差模型。针对于视觉导航，主要涉及到三种坐标系：图像坐标系、相机坐标系和世界坐标系，本文定义相机坐标系表示为c系，世界坐标系表示w系。惯性传感器主要涉及到惯性坐标系(body)表示为b系。
(1)构造特征点的最小化重投影模型
通过世界坐标系上三维地图点投影到图像坐标系，可以建立观测的像素点和估计的投影像素点之间的误差模型。
通过相机内参，可以将两个像素点从图像坐标系转换到相机坐标系。其中，图像坐标系上像素点定义为p，可以表示为p＝(u,v)；c坐标系上特征点定义为P，可以表示为P＝(x,y,z)，坐标系转换公式如下：
K代表相机内参矩阵，其中f是相机焦距，包括fx和fy，c表示相机平面中心点偏移，包括cx和cy。
相机坐标系和世界坐标系的转换，涉及到相机的导航位姿矩阵T，包括旋转矩阵和平移两部分。世界坐标系下坐标表示为X，那么c坐标系下特征点可以表示为：P＝TX。
基于视觉点特征的重投影误差是求解在图像坐标系下观测值与估计值的差。对于第i个关键帧而言，最小化重投影误差可以表示为下式：
其中j表示地图点ID，Xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上Xj对应的像素观测点，位姿矩阵表示为 代表从第i个关键帧对应的世界坐标系向相机坐标系的转换，Rcw为旋转矩阵，tcw为平移向量，深度表示为π。
(2)构造线特征的最小化重投影模型
为利用线特征进行跟踪建图，需要定义线特征的观测模型和重投影误差。对于针孔相机模型，它的内参数矩阵为对于第i个关键帧而言，采用普吕克坐标表达，那么相机系下的3D直线/>其中dc是/>的方向向量，nc是/>与坐标原点所决定平面的法向量。
跟世界坐标系下线段/>的转化可以表示为：
投影至图像的2D直线l可表达为：
其中表示用于线投影的内参数矩阵。由上式可见，投影直线l的坐标仅和直线/>与相机光心所决定的极平面的法向量nc有关。几何上，极平面内的任何直线，不论其什么方向，都将投影到同一直线段。
给定了直线的投影l，假定检测直线段的端点分别为s＝(us,vs)和e＝(ue,ve)，直线/>的重投影误差定义为检测端点到投影直线段l的距离：
通过联合第i个图像帧上面所有特征点和线特征的最小化重投影误差，公式如下：
通过迭代求解获取相机第i帧的位姿实现视觉跟踪。
在上述实施例中，所述进行惯性预积分计算，构造视觉点线-惯性联合优化模型，包括：
根据惯性传感器运动测量状态求解IMU预积分增量，根据IMU预积分增量以及IMU旋转量、速度量和平移量构建惯性残差；
根据惯性残差、所述特征点的最小化重投影误差模型和所述线特征的最小化重投影误差模型构造视觉点线-惯性联合优化模型。
也即，针对快速运动状态下定位易跟踪丢失问题，本发明实施例构造了视觉点线-惯性联合优化模型。
本发明实施例中，具体可通过下述方式构建惯性残差：
对于纯惯性运动，从i时刻运动到j时刻，旋转量、速度量和平移量分别满足：
其中，Rwbi表示i时刻从body坐标系到世界坐标系下的旋转量，Rwbj表示j时刻从body坐标系到世界坐标系下的旋转量，为传感器测量的角速度，/>为测量的加速度，g为重力加速度，/>和/>分别为k时刻陀螺仪的零位和加速度计的零位，vi、vj和vk分别为i时刻、j时刻和k时刻的速度初始值，Δt为从i时刻到k时刻的时间，Δtij为从i时刻到j时刻的时间，Rwbk表示k时刻从body坐标系到世界坐标系下的旋转量，pi为i时刻的平移量，pj为j时刻的平移量。
提取从i时刻到j时刻内IMU积分累积，可以获取IMU运动测量状态预积分增量：
其中，为j时刻与i时刻相比旋转量的预积分增量，/>为j时刻与i时刻相比速度量的预积分增量，/>为j时刻与i时刻相比平移量的预积分增量，/>为i时刻陀螺仪的零位，/>为i时刻加速度计的零位，ΔRbibk为k时刻与i时刻相比旋转量的预积分增量，Δvik为k时刻与i时刻相比速度量的预积分增量。
惯性残差rb定义包括三个部分，其中，为i时刻至j时刻的旋转残差，/>为i时刻至j时刻的速度残差，/>为i时刻至j时刻的平移残差。根据上述预积分增量、旋转量、速度量和平移量，则惯性残差具体如下：
在上述实施例中，通过下述方式根据惯性残差、所述特征点的最小化重投影误差模型和所述线特征的最小化重投影误差模型构造视觉点线-惯性联合优化模型：
给定n个关键帧，它们的状态集合为 表示第n个关键帧的位姿估计，它们观测到的三维点集合/>和地图线集合/>则由此构造的视觉点线-惯性联合优化模型如下式所示：
其中，i代表着第i个关键帧，惯性残差共包括k帧，Σ表示协方差矩阵，表示可观测到地图点的相机帧集合，/>表示可观测到地图线的相机帧集合，ρHub代表鲁棒核函数。rb为惯性残差，/>为特征点的最小化重投影误差；rl为线特征的最小化重投影误差。
此外，本领域技术人员知晓所述视觉点线-惯性联合优化模型的雅克比矩阵应该包括视觉点特征对应的雅克比矩阵、IMU残差部分对应的雅克比矩阵以及视觉线特征对应的雅克比矩阵，那么为了准确获取视觉点线-惯性联合优化模型的雅克比矩阵，其中视觉点特征和IMU残差部分对应的雅克比可以参照算法ORB-SLAM3中的推导进行构造，本发明实施例在此不进行详述。为了准确获取线段误差部分的雅克比，则具体方法如下：
地图线重投影误差rl对位姿∈i的雅克比矩阵，根据链式法则推导如下：
其中 分别为线段重投影误差对投影直线段的雅克比，投影直线段对相机系地图线的雅克比，/>为相机系下地图线对相机位姿的雅克比。关于/>有
其中，代表第i个关键帧中从b系到相机坐标系下的位姿转换矩阵；/>代表第i个关键帧中从世界坐标系到b系下的位姿转换矩阵，包括Rbw为旋转矩阵，tbw为平移向量，代表第i个关键帧中从b系到世界坐标系下的位姿转换矩阵，包括Rwb为旋转矩阵，twb为平移向量，世界坐标系下的3D直线/>其中dw是/>的方向向量，nw是/>与坐标原点所决定平面的法向量。
视觉惯性模式，位姿采用(Rwb,-tbw)的参数化。使用对Rwb的右扰动，于是雅克比推导如下：
此外，当求解完各误差模型的雅克比矩阵后，采用非线性优化框架g2o，通过Levenberg-Marquardt方法迭代直至所述误差函数值小于设定值，得到优化后的位姿估计、场景地图点和地图线。最后根据求解的结果对相应帧的状态进行更新。
根据另一实施例，还提供一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述视觉跟踪方法的步骤。
综上，本发明实施例为了提高地面环境下导航结果的可靠性和稳定性，提出一种面向城市场景的惯性/多维视觉联合定位方法(惯性传感器不受运动状态和环境的影响，能够在视觉跟踪丢失状态下稳定的提供运动观测信息，而视觉传感器又能针对惯性传感器长时间发散的短板进行抑制，形成优势互补)，一方面通过综合提取点、线特征联合匹配定位缓解弱纹理场景下特征稀疏难以定位的问题；另一方面针对于光照剧烈变化、快速移动场景，深度耦合惯性和视觉的状态误差，进一步提高复杂城市场景下的导航定位精度和鲁棒性。
如上针对一种实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施例中使用，和/或与其它实施例中的特征相结合或替代其它实施例中的特征使用。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤、组件或其组合的存在或附加。
本发明以上的方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
这些实施例的许多特征和优点根据该详细描述是清楚的，因此所附权利要求旨在覆盖这些实施例的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施例限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
本发明未详细说明部分为本领域技术人员公知技术。
Claims (15)
1.一种惯性/多维视觉联合定位方法，其特征在于，所述联合定位方法包括：
提取点特征并完成点特征匹配；
提取线特征并完成线特征匹配；
构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿；
进行惯性预积分计算，构造视觉点线-惯性联合优化模型；
完成视觉点线-惯性联合优化模型的雅克比矩阵计算和状态更新，更新相机位姿、三维地图点坐标。
2.根据权利要求1所述的一种惯性/多维视觉联合定位方法，其特征在于，采用参数优化的LSD线特征提取方法提取线特征，其中，所述LSD线特征提取方法中，设计s＝0.5,d＝0.6，其中，s为尺度参数，用于缩放各层金字塔图像，d为最小密度阈值，代表区域生长拟合矩形框内最少点的数量。
3.根据权利要求1或2所述的一种惯性/多维视觉联合定位方法，其特征在于，所述LSD的线特征提取方法还包括：
设置最短线长阈值其中WI和HI分别表示图像的宽和高，η为比例参数；
设计检测直线段的长度低于所述阈值时被过滤。
4.根据权利要求3所述的一种惯性/多维视觉联合定位方法，其特征在于，对提取得到的线特征还进行如下处理：
若相邻的直线段在同一条直线上，即满足S1(l1,l2)·S2(l1,l2)≥1，则将相邻的直线段进行线段的合并；其中，
其中，S2(l1,l2)表示距离相似性，S1(l1,l2)表示方向一致性，∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
5.根据权利要求4所述的一种惯性/多维视觉联合定位方法，其特征在于，对提取得到的特征点还进行如下筛选：
对于线段端点构成的像素点矩形区域进行判定，如果存在特征点位于特征线上，则剔除冗杂的特征点。
6.根据权利要求4所述的一种惯性/多维视觉联合定位方法，其特征在于，采用下述方法进行线特征匹配：
基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：
初步建立线匹配集合；
采用双向最近邻结合比例测试的方式，选取出最优匹配线段；
基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配。
7.根据权利要求6所述的一种惯性/多维视觉联合定位方法，其特征在于，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：
1)将第i关键帧的第m条检测直线段记作计算/>在第j关键帧上的最近邻线段特征和次优最近邻线段特征/>
2)进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将/>记为优选匹配线段，其中ρ为比例阈值，d代表两个特征描述子距离；
3)对步骤2)得到的优选匹配线段的进行最优距离筛选，判断是否满足Dmax为特征距离的上限，若满足，则将/>使记为/>的最优匹配线段；
4)按照步骤1)～3)方法筛选出所有最优线段匹配对。
8.根据权利要求7所述的一种惯性/多维视觉联合定位方法，其特征在于，所述基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，具体包括：
对于任意筛选出的最优线匹配对经过三角化获得地图线记作/>
假设存在线匹配将/>投影至第k关键帧，得到投影直线段/>并衡量投影直线段/>与/>的相似度，若满足/>时，认为匹配/>对/>提供了支持；其中，函数S1()代表角度相似度，函数S2()代表位置相似性；/>为第k关键帧的/>的最优匹配线段；
设计线匹配对在5个关键帧之内至少具有2票支持才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线。
9.根据权利要求8所述的一种惯性/多维视觉联合定位方法，其特征在于，通过下述方式设计函数S1()和函数S2()：
假设两条直线段l1和l2，其中，该两条直线段满足：
其中，∠(l1,l2)表示直线段的角度差异，dmax(l1,l2)表示直线段端点到另一直线段所在直线的最大距离，σa和σp是设置的标准差。
10.根据权利要求6-9任一项所述的一种惯性/多维视觉联合定位方法，其特征在于，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：
构造特征点的最小化重投影误差模型；
构造线特征的最小化重投影误差模型；
联合任意第i个图像帧上面所有特征点和线特征的最小化重投影误差，迭代求解获取相机第i帧的位姿，实现视觉跟踪。
11.根据权利要求10所述的一种惯性/多维视觉联合定位方法，其特征在于，通过下式迭代求解获取相机第i帧的位姿：
其中， 表示第i个关键帧特征点的最小化重投影误差，j表示地图点ID，该图像总共对应m个地图点，Xj为世界坐标系下三维地图点坐标，pij表示第i个关键图像帧上Xj对应的像素观测点，K代表相机内参矩阵，/>表示相机第i帧的位姿，rl表示线特征的最小化重投影，k代表第k对线匹配，该帧图像最多有n对线匹配。
12.根据权利要求10或11所述的一种惯性/多维视觉联合定位方法，其特征在于，所述进行惯性预积分计算，构造视觉点线-惯性联合优化模型，包括：
根据惯性传感器运动测量状态求解IMU预积分增量，根据IMU预积分增量以及IMU旋转量、速度量和平移量构建惯性残差；
根据惯性残差、所述特征点的最小化重投影误差模型和所述线特征的最小化重投影误差模型构造视觉点线-惯性联合优化模型。
13.根据权利要求12所述的一种惯性/多维视觉联合定位方法，其特征在于，通过下述方式根据惯性残差、所述特征点的最小化重投影误差模型和所述线特征的最小化重投影误差模型构造视觉点线-惯性联合优化模型：
给定n个关键帧，它们的状态集合为 表示第n个关键帧的位姿估计，它们观测到的三维点集合/>和地图线集合/>则由此构造的视觉点线-惯性联合优化模型如下式所示：
其中，i代表着第i个关键帧，惯性残差共包括k帧，Σ表示协方差矩阵，表示可观测到地图点的相机帧集合，/>表示可观测到地图线的相机帧集合，ρHub代表鲁棒核函数。rb为惯性残差，/>为特征点的最小化重投影误差；rl为线特征的最小化重投影误差。
14.根据权利要求13所述的一种惯性/多维视觉联合定位方法，其特征在于，所述视觉点线-惯性联合优化模型的雅克比矩阵包括视觉点特征对应的雅克比矩阵、IMU残差部分对应的雅克比矩阵以及视觉线特征对应的雅克比矩阵，其中，视觉线特征对应的雅克比矩阵如下：
其中，
代表第i个关键帧中从b系到相机坐标系下的位姿转换矩阵；/>代表第i个关键帧中从世界坐标系到b系下的位姿转换矩阵，包括Rbw为旋转矩阵，tbw为平移向量，/>代表第i个关键帧中从b系到世界坐标系下的位姿转换矩阵，包括Rwb为旋转矩阵，twb为平移向量，世界坐标系下的3D直线/>其中dw是/>的方向向量，nw是/>与坐标原点所决定平面的法向量。
15.一种计算机设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1-14所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311075535.0A CN117109568A (zh) | 2023-08-24 | 2023-08-24 | 惯性/多维视觉联合定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311075535.0A CN117109568A (zh) | 2023-08-24 | 2023-08-24 | 惯性/多维视觉联合定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117109568A true CN117109568A (zh) | 2023-11-24 |
Family
ID=88810547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311075535.0A Pending CN117109568A (zh) | 2023-08-24 | 2023-08-24 | 惯性/多维视觉联合定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117109568A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019057179A1 (zh) * | 2017-09-22 | 2019-03-28 | 华为技术有限公司 | 一种基于点线特征的视觉slam方法和装置 |
| EP3680809A1 (en) * | 2017-09-22 | 2020-07-15 | Huawei Technologies Co., Ltd. | Visual slam method and apparatus based on point and line characteristic |
| CN113532431A (zh) * | 2021-07-15 | 2021-10-22 | 贵州电网有限责任公司 | 一种用于电力巡检与作业的视觉惯性slam方法 |
| WO2022156755A1 (zh) * | 2021-01-21 | 2022-07-28 | 深圳市普渡科技有限公司 | 一种室内定位方法、装置、设备和计算机可读存储介质 |
| CN115218889A (zh) * | 2022-07-02 | 2022-10-21 | 哈尔滨理工大学 | 一种基于点线特征融合的多传感器室内定位方法 |
| CN115965686A (zh) * | 2022-11-30 | 2023-04-14 | 北京化工大学 | 一种融合点线特征的半直接视觉定位方法 |
| CN116182837A (zh) * | 2023-03-16 | 2023-05-30 | 天津大学 | 基于视觉激光雷达惯性紧耦合的定位建图方法 |
-
2023
- 2023-08-24 CN CN202311075535.0A patent/CN117109568A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019057179A1 (zh) * | 2017-09-22 | 2019-03-28 | 华为技术有限公司 | 一种基于点线特征的视觉slam方法和装置 |
| EP3680809A1 (en) * | 2017-09-22 | 2020-07-15 | Huawei Technologies Co., Ltd. | Visual slam method and apparatus based on point and line characteristic |
| WO2022156755A1 (zh) * | 2021-01-21 | 2022-07-28 | 深圳市普渡科技有限公司 | 一种室内定位方法、装置、设备和计算机可读存储介质 |
| CN113532431A (zh) * | 2021-07-15 | 2021-10-22 | 贵州电网有限责任公司 | 一种用于电力巡检与作业的视觉惯性slam方法 |
| CN115218889A (zh) * | 2022-07-02 | 2022-10-21 | 哈尔滨理工大学 | 一种基于点线特征融合的多传感器室内定位方法 |
| CN115965686A (zh) * | 2022-11-30 | 2023-04-14 | 北京化工大学 | 一种融合点线特征的半直接视觉定位方法 |
| CN116182837A (zh) * | 2023-03-16 | 2023-05-30 | 天津大学 | 基于视觉激光雷达惯性紧耦合的定位建图方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109307508B (zh) | 一种基于多关键帧的全景惯导slam方法 | |
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| CN112985416B (zh) | 激光与视觉信息融合的鲁棒定位和建图方法及*** | |
| CN105809687B (zh) | 一种基于图像中边沿点信息的单目视觉测程方法 | |
| CN112304307A (zh) | 一种基于多传感器融合的定位方法、装置和存储介质 | |
| CN111862673B (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| CN104200523B (zh) | 一种融合附加信息的大场景三维重建方法 | |
| CN109166149A (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与*** | |
| CN112734841B (zh) | 一种用轮式里程计-imu和单目相机实现定位的方法 | |
| CN110930495A (zh) | 基于多无人机协作的icp点云地图融合方法、***、装置及存储介质 | |
| CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及*** | |
| CN107677274A (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
| CN114234967B (zh) | 一种基于多传感器融合的六足机器人定位方法 | |
| CN109871024A (zh) | 一种基于轻量级视觉里程计的无人机位姿估计方法 | |
| CN114485640A (zh) | 基于点线特征的单目视觉惯性同步定位与建图方法及*** | |
| CN117367427A (zh) | 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法 | |
| CN115574816A (zh) | 仿生视觉多源信息智能感知无人平台 | |
| Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
| CN108921896B (zh) | 一种融合点线特征的下视视觉罗盘 | |
| CN114723811A (zh) | 一种非结构化环境四足机器人立体视觉定位建图方法 | |
| CN116989772B (zh) | 一种空地多模态多智能体协同定位与建图方法 | |
| CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及*** | |
| CN113720323B (zh) | 基于点线特征融合的单目视觉惯导slam方法及装置 | |
| CN116380079A (zh) | 一种融合前视声呐与orb-slam3的水下slam方法 | |
| Song et al. | Scale estimation with dual quadrics for monocular object SLAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |