CN117419690B - 一种无人船的位姿估计方法、装置及介质 - Google Patents
一种无人船的位姿估计方法、装置及介质 Download PDFInfo
- Publication number
- CN117419690B CN117419690B CN202311706071.9A CN202311706071A CN117419690B CN 117419690 B CN117419690 B CN 117419690B CN 202311706071 A CN202311706071 A CN 202311706071A CN 117419690 B CN117419690 B CN 117419690B
- Authority
- CN
- China
- Prior art keywords
- target
- current frame
- water surface
- point set
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 124
- 238000005096 rolling process Methods 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种无人船的位姿估计方法、装置及介质。所述方法包括：实时接收采集图像并根据当前帧的采集图像，获取当前帧的非水面区域的特征点集合；根据当前帧与上一帧的非水面区域的特征点集合确定当前帧的初始位姿；根据当前帧与上一帧的水面区域确定第一坐标点集合；将第一坐标点集合进行线面拟合计算获取目标岸线面，根据目标岸线面与预设参数获取方法获取目标高度、滚转角、俯仰角；将滚转角与俯仰角通过预设加权计算获取目标滚转角与目标俯仰角，根据目标高度、目标滚转角、目标俯仰角对初始位姿进行更新确定当前的目标位姿。通过实施本发明实施例的方法可解决单目相机传感器对无人船的位姿估计结果不够精确的问题。
Description
技术领域
本发明涉及视觉里程计技术领域，尤其涉及一种无人船的位姿估计方法、装置及介质。
背景技术
随着科技的发展，无人船因其广泛的应用逐渐被学界与工业界所关注，而精准的获取无人船的位置与方向是无人船应用过程中必不可少的过程。现有技术中，常使用视觉传感器对其进行位姿估计，尤其是单目相机传感器。因为单目相机传感器价格低廉且能反应出丰富的信息，所以在无人船的位姿估计中被广泛应用。但是，单目相机所采集的图像可能因受到水面反光或者水面倒影等因素影响，而导致对无人船的视觉里程计中对所述无人船的位姿的估计结果出现向上漂移或者俯仰、滚转位姿等错误。
发明内容
本发明实施例提供了一种无人船的位姿估计方法、装置及介质，旨在解决单目相机传感器对无人船的位姿估计结果不够精确的问题。
第一方面，本发明实施例提供了一种无人船的位姿估计方法，其包括：实时接收采集图像并根据当前帧的所述采集图像，获取当前帧的非水面区域的特征点集合，其中，所述采集图像包括所述非水面区域与水面区域；根据当前帧与上一帧的所述非水面区域的特征点集合确定所述无人船当前帧的初始位姿，其中，所述初始位姿包括初始高度、初始滚转角、初始俯仰角；根据当前帧与上一帧的所述水面区域确定第一坐标点集合，其中，所述第一坐标点集合为水岸交界处的坐标点的集合；将第一坐标点集合进行线面拟合计算获取目标岸线面，并根据所述目标岸线面与预设参数获取方法获取所述无人船至所述目标岸线面的目标高度、次级滚转角、次级俯仰角；将所述次级滚转角与所述次级俯仰角通过预设加权计算获取目标滚转角与目标俯仰角，并根据所述目标高度、所述目标滚转角、所述目标俯仰角对所述初始位姿进行更新以确定所述无人船当前帧的目标位姿。
第二方面，本发明实施例还提供了一种无人船的位姿估计装置，其包括：特征获取单元，用于实时接收采集图像并根据当前帧的所述采集图像，获取当前帧的非水面区域的特征点集合，其中，所述采集图像包括所述非水面区域与水面区域；初始位姿确定单元，用于根据当前帧与上一帧的所述非水面区域的特征点集合确定所述无人船当前帧的初始位姿，其中，所述初始位姿包括初始高度、初始滚转角、初始俯仰角；第一集合确定单元，用于根据当前帧与上一帧的所述水面区域确定第一坐标点集合，其中，所述第一坐标点集合为水岸交界处的坐标点的集合；参数获取单元，用于将第一坐标点集合进行线面拟合计算获取目标岸线面，并根据所述目标岸线面与预设参数获取方法获取所述无人船至所述目标岸线面的目标高度、次级滚转角、次级俯仰角；位姿更新单元，用于将所述次级滚转角与所述次级俯仰角通过预设加权计算获取目标滚转角与目标俯仰角，并根据所述目标高度、所述目标滚转角、所述目标俯仰角对所述初始位姿进行更新以确定所述无人船当前帧的目标位姿。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
本发明实施例提供了一种无人船的位姿估计方法、装置及介质。所述方法包括：实时接收采集图像并根据当前帧的所述采集图像，获取当前帧的非水面区域的特征点集合，其中，所述采集图像包括所述非水面区域与水面区域；根据当前帧与上一帧的所述非水面区域的特征点集合确定所述无人船当前帧的初始位姿，其中，所述初始位姿包括初始高度、初始滚转角、初始俯仰角；根据当前帧与上一帧的所述水面区域确定第一坐标点集合，其中，所述第一坐标点集合为水岸交界处的坐标点的集合；将第一坐标点集合进行线面拟合计算获取目标岸线面，并根据所述目标岸线面与预设参数获取方法获取所述无人船至所述目标岸线面的目标高度、次级滚转角、次级俯仰角；将所述次级滚转角与所述次级俯仰角通过预设加权计算获取目标滚转角与目标俯仰角，并根据所述目标高度、所述目标滚转角、所述目标俯仰角对所述初始位姿进行更新以确定所述无人船当前帧的目标位姿。本发明实施例中将通过将单目相机获取的当前帧的水面区域与非水面区域进行区分，根据非水面区域确定当前无人船的初始位姿，以降低水面反光或者水面倒影等因素对位姿的影响，通过水面区域确定第一坐标点集合，并根据初始位姿与第一坐标点集合确定无人船当前的目标位姿，使得获取的无人船位姿更加准确，以实现通过单目相机获取位姿估计结果，提升无人船在多样化环境中的自主化程度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的无人船的位姿估计方法的流程示意图；
图2为本发明实施例提供的无人船的位姿估计方法的子流程示意图；
图3为本发明实施例提供的无人船的位姿估计方法的子流程示意图；
图4为本发明实施例提供的无人船的位姿估计方法的子流程示意图；
图5为本发明实施例提供的无人船的位姿估计方法的子流程示意图；
图6为本发明实施例提供的无人船的位姿估计装置的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的无人船的位姿估计方法的流程示意图。本实施例中的无人船的位姿估计方法可以应用于具有单目相机传感器的无人船中，通过单目相机传感器实施获取周边图像的采集信息，并对所述采集信息进行本发明方法的处理，即可获取更加精准的无人船位姿，使得所述无人船可以进行更好的定位，以提升无人船在多样化环境中的自主化程度。
图1是本发明实施例提供的无人船的位姿估计方法的流程示意图。如图所示，该方法包括以下步骤S110-S140。
S110、实时接收采集图像并根据当前帧的所述采集图像，获取当前帧的非水面区域的特征点集合，其中，所述采集图像包括所述非水面区域与水面区域
在本实施例中，所述采集图像为单目相机传感器所采集的图像，所述特征点为所述采集图像中的显著点，即容易被人或机器识别出来的点，比如角点、边缘、区块等。所述采集图像中包括水面区域与非水面区域，并提取所述非水面区域的特征点，具体地，可根据SIFT、SURF或者ORB等算法进行特征点提取，根据提取出的所述特征点可确定非水面区域的特征点集合。通过确定所述非水面区域的特征点集合，即可根据容易辨别的非水面区域以确定所述无人船当前的移动情况，便于后续的无人船的位姿估计。
在一实施例中，如图2所示，所述步骤S110还包括步骤S111-S113。
S111、对所述采集图像进行图像语义分割，获取所述采集图像中的所述水面区域；
S112、根据所述水面区域与预设连通算法确定边缘区域的坐标点集合；
S113、根据所述水面区域与所述坐标点集合，获取所述非水面区域的特征点集合。
在本实施例中，所述图像语义分割为通过图像的语义对所述图像进行分割。例如，可通过ICNet（Image Cascade Network）算法对所述采集图像进行分割，其中，ICNet算法是通过结合多尺度分支与标签引导来快速地对所述采集图像进行分割以得到高质量的分割出的水面区域的算法。所述预设联通算法为八连通区域标记算法，具体地，八连通区域标记算法通过在图像上移动一个窗口来扫描整个图像，当窗口内的像素与其周围八个像素中的至少一个像素相同时，将其视为同一区域，并为其分配一个标记通过不断移动窗口并重复该过程，可以识别出整个图像中的所有区域并为共分配标记，相同标记的像素点为一个连通域。通过八连通区域标记算法可获取所述水面区域中由像素点所组成的连通域。并对所述连通域进行计算以获取每个区域的面积。可根据平均区域面积等数据设置区域阈值。并根据所述区域阈值对所述连通域的面积进行判断，若该连通域的面积小于区域阈值则判定所述该连通域为错误分割的连通域、或分割效果较差的连通域，并将该连通域对应的区域语义修改为非水区域，通过预设连通算法可对所述水面区域进行修改，获取修改后的水面区域，提取并记录剩余水面区域的连通域中的边缘点，记录所有边缘点的像素平面坐标以获取所述边缘区域的坐标点集合。
根据所述水面区域与所述坐标点集合，获取所述非水面区域的特征点集合，具体地，对所述采集图像中的修改后的水面区域施加掩膜，即对修改后的水面区域的图像像素均赋值为同一颜色值，例如均赋值为（0,0,0），以得到施加掩膜后的采集图像并其进行特征点提取，具体地，本实施例中，可采用FAST算法提取特征点，采用BRIEF算法计算每个特征点的描述子（描述子是对特征点的数值表示），并利用灰度质心法计算特征点方向。并使用ORB-SLAM中的四叉树均匀化算法，对提取出来的特征点进行均匀化，保证被提取的特征点均匀分布，以得到特征点，其中/>代表该点在图像平面的坐标，代表该特征点的描述子以及方向。因为将所述水面区域进行统一赋值，所以提取出的特征点均为所述非水面区域的特征点。对初步提取出所述非水面区域的特征点的进行筛选，即删除通过分布在边缘点集合中的每个边缘点以及边缘点附近的4个像素点所提取出的特征点，以得到所述非水面区域的特征点集合。通过根据所述水面区域与所述坐标点集合，获取所述非水面区域的特征点集合，可以仅保留非水面区域特征点，能避免低质量的水面干扰、反射特征点进入定位***，有效提升水面场景下视觉里程计的定位精度。
S120根据当前帧与上一帧的所述非水面区域的特征点集合确定所述无人船当前帧的初始位姿，其中，所述初始位姿包括初始高度、初始滚转角、初始俯仰角。
在本实施例中，所述位姿是指物体、机器人或无人船的姿态或姿势在三维空间中的位置和方向，它由位置和方向两个要素组成。位置表示物体的中心或参考点在三维空间中的坐标，通常使用三个实数表示。方向表示物体在三维空间中的朝向或朝向，通常使用旋转矩阵、欧拉角或四元数等表示。其中，所述欧拉角包括滚转角（roll）、俯仰角(pitch)与偏航角(yaw)。即所述初始位姿可以表示为。根据当前帧与上一帧的所述非水面区域的特征点集合确定所述无人船当前帧的初始位姿，具体地，获取当前帧与上一帧非水面区域的特征点中重合的特征点，根据所述重合的特征点恢复出两帧图像中的位置的角度变化，并对所述特征点进行坐标转换获取所述特征点的三维坐标，即所述特征点在北地东坐标系下的坐标，以此获取所述无人船的初始位姿。通过根据当前帧与上一帧的所述非水面区域的特征点集合确定所述无人船当前帧的初始位姿以实现对所述无人船的位姿恢复。
在一实施例中，如图3所示，所述步骤S120之前还包括步骤S1201-S1202。
S1201、判断当前帧的采集图像是否为第一帧采集图像；
S1202、若非所述第一帧采集图像，则将当前帧与上一帧的所述非水面区域的特征点进行特征匹配，获取第一特征点匹配集合。
在本实施例中，所述第一帧采集图像为本方法执行时所处理的第一帧图像，判断当前帧的采集图像是否为第一帧采集图像，若当前帧的采集图像非所述第一帧采集图像，则将当前帧的非水区域特征点，和上一帧的采集图像中所提取的非水区域特征点进行匹配，得到匹配结果，匹配结果可表示为：，其中a,b分别为当前帧与上一帧图像中所重合的特征点。具体地，可使用近似最近邻匹配算法（Fast Library forApproximate Nearest Neighbors，FLANN）进行特征匹配，得到第一特征点匹配集合，其中，所述近似最近邻匹配算法是指在给定的数据集中查找与查询点最接近的数据点。通过获取所述第一特征点匹配集合为后续的获取初始位姿提供了数据支持。
在一实施例中，如图4所示，所述步骤S120还包括步骤S121-S122。
S121、若当前帧非第一帧图像，则根据当前帧与上一帧的所述非水面区域的特征点集合确定第二坐标点集合，其中，所述第二坐标点为所述非水面区域的特征点所对应的三维坐标；
S122、根据所述第二坐标点集合与所述第一特征点匹配集合以及预设位姿算法确定所述初始位姿。
在本实施例中，所述第二坐标点集合为具有三维坐标的特征的坐标集合。具体地，若当前帧为第二帧图像，则第二坐标点集合仅为当前帧中所有特征点所对应的三维坐标；若当前帧非第二帧图像，则所述第二坐标点集合为当前帧与上一帧图像中的所有特征点所具有三维坐标的坐标总和。可假设船只姿态保持水平，所述单目相机传感器在船只上的安装也为水平安装，距离水面的预设高度为，其中，/>可直接通过加工图中相机在船体的安装位置和船只吃水深度得到。在本实施例中使用维度为4×4的齐次矩阵T表示位姿，具体地，位姿表示为/>其中，/>为旋转矩阵，/>为位移矩阵。
若当前帧为第一帧图像时，直接设第一帧采集图像的位姿为，具体地：
，其中，/>，
以第一帧位姿为参考的坐标系，将其称为地图坐标系。可以理解的是，为初始坐标系中的预设高度。若当前帧图像为第二帧图像时，对第一特征点匹配集合进行对极几何以及一致性检验，以恢复出两帧之间的位姿变换，其中，所述对极几何描述了同一场景两幅图像之间的视觉几何关系，所述一致性检验是判断在一定显著性水平下各平均值或各方差之间是否有显著性差异，若无显著性差异，则各均值或各方差是一致的，此称为一致性检验。通过对极几何以及一致性检验可恢复出第二帧位姿。对所述第二帧图像的非水面区域的特征点进行三角化得到所述特征点的三维坐标。其中，所述三角化为通过两次相机位姿和图像观测点坐标求得三维空间点坐标的过程。若当前帧非第一帧以及第二帧图像，对当前帧与上一帧不重合的特征点进行三角化。并找到当前帧的第一特征点匹配集合中已经求出三维坐标的特征点，获取上一帧的第二坐标集合与当前帧的第一特征点集合的匹配关系，及获取相同的具有三维坐标的特征点，将其通过PnP即可求的当前帧的位姿。其中，所述PnP是指3D到2D点对的物体运动定位问题，即已知物体在世界坐标系下的坐标，以及物体在相机的图像平面的像素坐标，对相机的位姿进行求解。因所述单目相机置于所述无人船中，所以无人船的位姿与所述单目相机的位姿相同。通过所述第二坐标点集合与所述第一特征点匹配集合可以确定所述无人船的当前初始位姿，便于后续对所述位姿进行优化。
S130、根据当前帧与上一帧的所述水面区域确定第一坐标点集合，其中，所述第一坐标点集合为水岸交界处的坐标点的集合。
在本实施例中，所述水岸交界处为水面和陆地之间交接的地方，提取出当前帧和上一帧的所述水面区域中的水岸交接点附近的像素点集合，其中，所述水面区域与非水面区域交接的点为水岸交接点，例如，提取水岸交界点附近预设数量的且在采集图像内部的像素点作为水岸交界处的交接点，并对其进行坐标转换，转换为三维坐标即可确定所述第一坐标点集合。通过获取第一坐标点集合，可以获取更精准的所述无人船的位姿。
在一实施例中，如图5所示，所述步骤S130还包括步骤S131-S133。
S131、根据当前帧的水面区域获取当前帧所述水岸交界处的初始像素点集合；
S132、将当前帧与上一帧的所述初始像素点集合进行像素匹配，获取像素对应点集合；
S132、对所述像素对应点集合进行坐标转换以确定所述第一坐标点集合。
在本实施例中，所述初始像素点集合为当前帧水面区域的边缘区域的像素点的集合。具体地，提取水面区域边缘像素点附近且在图像平面内部的所有像素点集合，例如，提取水面区域边缘像素点附近的4个图像平面内部的像素点，由其构成所述初始像素点集合。所述像素对应点集合为当前帧的初始像素点集合与上一帧的所述初始像素点集合所对应的像素点集合，具体地，通过单目稠密重建技术中的极线搜索和块匹配技术，确定当前帧的初始像素点集合中的像素点在上一帧的所述初始像素点集合中的对应点，以此获取所述像素对应点集合。获取像素对应点集合后使用单目稠密重建技术中的深度滤波方法，确定所述像素对应点集合中的像素点的深度值。即可根据所述像素对应点集合中的像素点的深度值和相机本身的内参像素对应点集合在的像素点恢复出像素对应点集合在的像素点在北地东坐标系下的坐标，即获取所述第一坐标点集合。通过获取所述第一坐标点集合为后续数据提供数据支持，使得所述无人船的位姿估计结果更加的准确。
S140、将第一坐标点集合进行线面拟合计算获取目标岸线面，并根据所述目标岸线面与预设参数获取方法获取所述无人船至所述目标岸线面的目标高度、次级滚转角、次级俯仰角。
在本实施例中，所述线面拟合计算为通过优化算法，对第一坐标点集合中的坐标点进行优化求解，得到一个目标岸线面的过程，其中，所有水岸交界处的坐标点到所述目标岸线面的距离之和最小。所述优化算法是一种用来寻求最优解的算法，它使用算法和数学概念来解决在某一时期获取最优解并逼近或实现最佳状态的一类搜索问题。获取的目标岸线面的可用方程：进行表示，所述方程为平面方程，是指空间中所有处于同一平面的点所对应的方程。根据所述目标岸线面与预设参数获取方法获取所述无人船距离所述目标岸线面的目标高度、次级滚转角、次级俯仰角，具体地，通过预设参数获取方法可计算相机相对所述目标岸线面的夹角与目标高度，即获取当前帧在北地东坐标系下的次级滚转角与次级俯仰角，即无人船当前帧位姿的次级滚转角与次级俯仰角，所述目标高度为目标岸线面距离上述地图坐标系原点的距离，即当前帧所述单目相机相至目标岸线面的距离。所述预设参数获取方法为：
其中，/>分别为当前帧的所述次级滚转角与所述次级俯仰角，/>为所述目标高度，/>预设高度，即所述地图坐标系内的初始高度，A、B、C、D为当前帧的所述目标岸线面的平面参数。通过目标岸线面的参数系数即可获取目标高度、滚转角、俯仰角，通过所述目标岸线面与预设参数获取方法可获取所述无人船高度所述目标岸线面的目标高度、次级滚转角、次级俯仰角，便于对所述无人船当前帧的位姿进行更新优化。
S150、将所述次级滚转角与所述次级俯仰角通过预设加权计算获取目标滚转角与目标俯仰角，并根据所述目标高度、所述目标滚转角、所述目标俯仰角对所述初始位姿进行更新以确定所述无人船当前帧的目标位姿
在本实施例中，所述目标滚转角与目标俯仰角为当前帧的目标位姿中的方向数据。为了获取更加精准的所述无人船的位姿，需要将计算得到的所述次级滚转角、所述次级俯仰角根据预设加权计算进行优化，具体地，所述预设加权计算为：
其中，/>为当前帧的所述初始滚转角与所述初始俯仰角，/>与/>分别为通过步骤S140计算出的当前帧的所述次级滚转角与所述次级俯仰角；/>和/>分别为欧拉角权重与角度权重，/>与/>为所述目标位姿中的所述目标滚转角与所述目标俯仰角。具体地，所述欧拉角权重为通过视觉里程计直接估计的出的数据，所述角度权重为通过水平岸线约束优化的角度权重，且/>。通过所述预设加权计算可获取目标滚转角、所述目标俯仰角，并根据所述目标滚转角、所述目标俯仰角以及目标高度对所述无人船的初始位姿进行更新优化，即将所述目标滚转角、所述目标俯仰角以及目标高度替换掉所述初始位姿中的相应的数据，具体地，优化后的目标位姿为：，其中，/>为初始位姿中的数据。将当前帧的目标位姿转换为4×4的齐次矩阵，即可获取当前帧的所述无人船的位姿估计结果。本发明实施例通过将初始位姿中的初始滚转角、初始俯仰角与通过目标岸线面计算得到的次级滚转角与次级俯仰角进行加权计算，以获取更加准确的目标俯仰角与目标滚转角。通过所述目标高度、所述目标滚转角、所述目标俯仰角对所述初始位姿进行更新，获取更加精准的无人船的目标位姿，实现对无人船较好的定位，提升无人船在多样化环境中的自主化程度。
图6是本发明实施例提供的一种无人船的位姿估计装置200的示意性框图。如图6所示，对应于以上无人船的位姿估计方法，本发明还提供一种无人船的位姿估计装置。该无人船的位姿估计装置包括用于执行上述无人船的位姿估计方法的单元，该装置可以被配置于无人船中。具体地，请参阅图6，该无人船的位姿估计装置包括特征获取单元210、初始位姿确定单元220、第一集合确定单元230、参数获取单元240以及位姿更新单元250。
特征获取单元210，用于实时接收采集图像并根据当前帧的所述采集图像，获取当前帧的非水面区域的特征点集合，其中，所述采集图像包括所述非水面区域与水面区域。
在一实施例中，所述特征获取单元210包括分割单元、边缘单元以及特征获取子单元。
分割单元，用于对所述采集图像进行图像语义分割，获取所述采集图像中的所述水面区域；
边缘单元，用于根据所述水面区域与预设连通算法确定边缘区域的坐标点集合；
特征获取子单元，用于根据所述水面区域与所述坐标点集合，获取所述非水面区域的特征点集合。
初始位姿确定单元220，用于根据当前帧与上一帧的所述非水面区域的特征点集合确定所述无人船当前帧的初始位姿，其中，所述初始位姿包括初始高度、初始滚转角、初始俯仰角。
在一实施例中，所述初始位姿确定单元220包括判断单元与匹配单元。
判断单元，用于判断当前帧的采集图像是否为第一帧采集图像；
匹配单元，用于若非所述第一帧采集图像，则将当前帧与上一帧的所述非水面区域的特征点进行特征匹配，获取第一特征点匹配集合。
在一实施例中，所述初始位姿确定单元220还包括第二坐标单元与计算单元。
第二坐标单元，用于若当前帧非第一帧图像，则根据当前帧与上一帧的所述非水面区域的特征点集合确定第二坐标点集合，其中，所述第二坐标点为所述非水面区域的特征点所对应的三维坐标；
计算单元，用于根据所述第二坐标点集合与所述第一特征点匹配集合以及进行位姿计算以确定所述初始位姿。
第一集合确定单元230，用于根据当前帧与上一帧的所述水面区域确定第一坐标点集合，其中，所述第一坐标点集合为水岸交界处的坐标点的集合。
在一实施例中，所述第一集合确定单元230还包括第一获取单元、像素对应单元以及确定单元。
第一获取单元，用于根据当前帧的水面区域获取当前帧所述水岸交界处的初始像素点集合；
像素对应单元，用于将当前帧与上一帧的所述初始像素点集合进行像素匹配，获取像素对应点集合；
确定单元，用于对所述像素对应点集合进行坐标转换以确定所述第一坐标点集合。
参数获取单元240，用于将第一坐标点集合进行线面拟合计算获取目标岸线面，并根据所述目标岸线面与预设参数获取方法获取所述无人船至所述目标岸线面的目标高度、次级滚转角、次级俯仰角。
位姿更新单元250，用于将所述次级滚转角与所述次级俯仰角通过预设加权计算获取目标滚转角与目标俯仰角，并根据所述目标高度、所述目标滚转角、所述目标俯仰角对所述初始位姿进行更新以确定所述无人船当前帧的目标位姿。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述无人船的位姿估计装置400和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述无人船的位姿估计装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是无人船。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备500包括通过装置总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作装置5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种无人船的位姿估计方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种无人船的位姿估计方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述方法的步骤。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机装置中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如上述方法的步骤。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种无人船的位姿估计方法，其特征在于，所述方法包括：
实时接收采集图像并根据当前帧的所述采集图像，获取当前帧的非水面区域的特征点集合，其中，所述采集图像包括所述非水面区域与水面区域；
根据当前帧与上一帧的所述非水面区域的特征点集合确定无人船当前帧的初始位姿，其中，所述初始位姿包括初始高度、初始滚转角、初始俯仰角；
根据当前帧与上一帧的所述水面区域确定第一坐标点集合，其中，所述第一坐标点集合为水岸交界处的坐标点的集合；
将第一坐标点集合进行线面拟合计算获取目标岸线面，并根据所述目标岸线面与预设参数获取方法获取所述无人船至所述目标岸线面的目标高度、次级滚转角、次级俯仰角；
将所述次级滚转角与所述次级俯仰角通过预设加权计算获取目标滚转角与目标俯仰角，并根据所述目标高度、所述目标滚转角、所述目标俯仰角对所述初始位姿进行更新以确定无人船当前帧的目标位姿。
2.根据权利要求1所述的方法，其特征在于，所述根据当前帧的所述采集图像，获取当前帧的非水面区域的特征点集合的步骤，包括：
对所述采集图像进行图像语义分割，获取所述采集图像中的所述水面区域；
根据所述水面区域与预设连通算法确定边缘区域的坐标点集合；
根据所述水面区域与所述坐标点集合，获取所述非水面区域的特征点集合。
3.根据权利要求1所述的方法，其特征在于，所述根据当前帧与上一帧的所述非水面区域的特征点集合确定无人船当前帧的初始位姿之前，包括：
判断当前帧的采集图像是否为第一帧采集图像；
若非所述第一帧采集图像，则将当前帧与上一帧的所述非水面区域的特征点进行特征匹配，获取第一特征点匹配集合。
4.根据权利要求3所述的方法，其特征在于，所述根据当前帧与上一帧的所述非水面区域的特征点集合确定无人船当前帧的初始位姿的步骤，包括：
若当前帧非第一帧图像，则根据当前帧与上一帧的所述非水面区域的特征点集合确定第二坐标点集合，其中，所述第二坐标点为所述非水面区域的特征点所对应的三维坐标；
根据所述第二坐标点集合与所述第一特征点匹配集合以及进行位姿计算以确定所述初始位姿。
5.根据权利要求1所述的方法，其特征在于，所述根据当前帧与上一帧的所述水面区域确定第一坐标点集合的步骤，包括：
根据当前帧的水面区域获取当前帧所述水岸交界处的初始像素点集合；
将当前帧与上一帧的所述初始像素点集合进行像素匹配，获取像素对应点集合；
对所述像素对应点集合进行坐标转换以确定所述第一坐标点集合。
6.根据权利要求1所述的方法，其特征在于，所述预设参数获取方法为：
、
、
、
其中，与/>分别为当前帧的所述次级滚转角与所述次级俯仰角，/>为所述目标高度，/>为预设高度，A、B、C、D为当前帧的所述目标岸线面的平面参数。
7.根据权利要求1所述的方法，其特征在于，所述预设加权计算为：
、
、
其中，分别为当前帧的所述初始滚转角与所述初始俯仰角，/>与分别为当前帧的所述次级滚转角与所述次级俯仰角；/>和/>分别为欧拉角权重与角度权重，/>与/>为所述目标位姿中的所述目标滚转角与所述目标俯仰角。
8.一种无人船的位姿估计装置，其特征在于，包括：
特征获取单元，用于实时接收采集图像并根据当前帧的所述采集图像，获取当前帧的非水面区域的特征点集合，其中，所述采集图像包括所述非水面区域与水面区域；
初始位姿确定单元，用于根据当前帧与上一帧的所述非水面区域的特征点集合确定无人船当前帧的初始位姿，其中，所述初始位姿包括初始高度、初始滚转角、初始俯仰角；
第一集合确定单元，用于根据当前帧与上一帧的所述水面区域确定第一坐标点集合，其中，所述第一坐标点集合为水岸交界处的坐标点的集合；
参数获取单元，用于将第一坐标点集合进行线面拟合计算获取目标岸线面，并根据所述目标岸线面与预设参数获取方法获取所述无人船至所述目标岸线面的目标高度、次级滚转角、次级俯仰角；
位姿更新单元，用于将所述次级滚转角与所述次级俯仰角通过预设加权计算获取目标滚转角与目标俯仰角，并根据所述目标高度、所述目标滚转角、所述目标俯仰角对所述初始位姿进行更新以确定无人船当前帧的目标位姿。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311706071.9A CN117419690B (zh) | 2023-12-13 | 2023-12-13 | 一种无人船的位姿估计方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311706071.9A CN117419690B (zh) | 2023-12-13 | 2023-12-13 | 一种无人船的位姿估计方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117419690A CN117419690A (zh) | 2024-01-19 |
| CN117419690B true CN117419690B (zh) | 2024-03-12 |
Family
ID=89526885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311706071.9A Active CN117419690B (zh) | 2023-12-13 | 2023-12-13 | 一种无人船的位姿估计方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117419690B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047108A (zh) * | 2019-03-07 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机位姿确定方法、装置、计算机设备及存储介质 |
| CN110866496A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于深度图像的机器人定位与建图方法和装置 |
| CN111415387A (zh) * | 2019-01-04 | 2020-07-14 | 南京人工智能高等研究院有限公司 | 相机位姿确定方法、装置、电子设备及存储介质 |
| WO2022002039A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| CN113900439A (zh) * | 2021-12-10 | 2022-01-07 | 山东理工职业学院 | 无人船自动进离码头的方法、***和控制终端 |
| CN113989350A (zh) * | 2021-10-29 | 2022-01-28 | 大连海事大学 | 无人船自主探索和未知环境三维重构的监控*** |
| CN114046792A (zh) * | 2022-01-07 | 2022-02-15 | 陕西欧卡电子智能科技有限公司 | 一种无人船水面定位与建图方法、装置及相关组件 |
| WO2023005457A1 (zh) * | 2021-07-29 | 2023-02-02 | Oppo广东移动通信有限公司 | 位姿计算方法和装置、电子设备、可读存储介质 |
| WO2023071442A1 (zh) * | 2021-10-29 | 2023-05-04 | 华为技术有限公司 | 一种数据处理方法和装置 |
| CN117197245A (zh) * | 2023-09-26 | 2023-12-08 | 杭州萤石软件有限公司 | 一种位姿修复方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3474230B1 (en) * | 2017-10-18 | 2020-07-22 | Tata Consultancy Services Limited | Systems and methods for edge points based monocular visual slam |
-
2023
- 2023-12-13 CN CN202311706071.9A patent/CN117419690B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111415387A (zh) * | 2019-01-04 | 2020-07-14 | 南京人工智能高等研究院有限公司 | 相机位姿确定方法、装置、电子设备及存储介质 |
| CN110047108A (zh) * | 2019-03-07 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机位姿确定方法、装置、计算机设备及存储介质 |
| CN110866496A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于深度图像的机器人定位与建图方法和装置 |
| WO2022002039A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种基于视觉地图的视觉定位方法、装置 |
| WO2023005457A1 (zh) * | 2021-07-29 | 2023-02-02 | Oppo广东移动通信有限公司 | 位姿计算方法和装置、电子设备、可读存储介质 |
| CN113989350A (zh) * | 2021-10-29 | 2022-01-28 | 大连海事大学 | 无人船自主探索和未知环境三维重构的监控*** |
| WO2023071442A1 (zh) * | 2021-10-29 | 2023-05-04 | 华为技术有限公司 | 一种数据处理方法和装置 |
| CN113900439A (zh) * | 2021-12-10 | 2022-01-07 | 山东理工职业学院 | 无人船自动进离码头的方法、***和控制终端 |
| CN114046792A (zh) * | 2022-01-07 | 2022-02-15 | 陕西欧卡电子智能科技有限公司 | 一种无人船水面定位与建图方法、装置及相关组件 |
| CN117197245A (zh) * | 2023-09-26 | 2023-12-08 | 杭州萤石软件有限公司 | 一种位姿修复方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117419690A (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Muhovič et al. | Obstacle tracking for unmanned surface vessels using 3-D point cloud | |
| CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
| CN109887033B (zh) | 定位方法及装置 | |
| US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
| CN110930459B (zh) | 灭点提取方法、相机标定方法以及存储介质 | |
| US20180150974A1 (en) | Image processing apparatus, method, and program | |
| CN111862201B (zh) | 一种基于深度学习的空间非合作目标相对位姿估计方法 | |
| US8503730B2 (en) | System and method of extracting plane features | |
| CN110390306B (zh) | 直角车位的检测方法、车辆和计算机可读存储介质 | |
| WO2020000737A1 (zh) | 移动机器人定位方法、存储介质及计算机设备 | |
| EP2887315B1 (en) | Camera calibration device, method for implementing calibration, program and camera for movable body | |
| CN111324145B (zh) | 一种无人机自主着陆方法、装置、设备及存储介质 | |
| US11189032B2 (en) | Method and apparatus for extracting a satellite image-based building footprint | |
| JPWO2020090428A1 (ja) | 地物検出装置、地物検出方法および地物検出プログラム | |
| CN114926726B (zh) | 基于多任务网络的无人船感知方法及相关设备 | |
| CN110428425B (zh) | 一种基于海岸线矢量数据的sar图像海陆分离方法 | |
| CN113743385A (zh) | 一种无人船水面目标检测方法、装置及无人船 | |
| CN113984039A (zh) | 运动轨迹的校正方法、装置、***和存储介质 | |
| CN110598771A (zh) | 一种基于深度语义分割网络的视觉目标识别方法和装置 | |
| WO2021056339A1 (zh) | 定位方法、***及可移动平台 | |
| Li et al. | Sea–sky line detection using gray variation differences in the time domain for unmanned surface vehicles | |
| CN117419690B (zh) | 一种无人船的位姿估计方法、装置及介质 | |
| CN116844124A (zh) | 三维目标检测框标注方法、装置、电子设备和存储介质 | |
| CN116721156A (zh) | 工件位置定位方法、装置、计算机设备及存储介质 | |
| CN111553342A (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |