CN104504381B - 非刚体目标检测方法及其*** - Google Patents
非刚体目标检测方法及其*** Download PDFInfo
- Publication number
- CN104504381B CN104504381B CN201510012127.XA CN201510012127A CN104504381B CN 104504381 B CN104504381 B CN 104504381B CN 201510012127 A CN201510012127 A CN 201510012127A CN 104504381 B CN104504381 B CN 104504381B
- Authority
- CN
- China
- Prior art keywords
- rectangular area
- carried out
- root
- rigid object
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种非刚体目标检测方法，包括对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域；通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征；构成特征金子塔；对特征金字塔进行PCA投影，在低维度的特征金子塔空间进行模式分类；对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图；在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；距离转换重构每个root对应的所有part得分，同模型的阈值进行比较判断，得到矩形区域的非刚体目标的位置。本发明检测效果佳，速度既快且漏检率低。
Description
技术领域
本发明属于目标检测技术领域，尤其涉及一种非刚体目标检测方法及其***。
背景技术
目标检测是计算机视觉领域内一项基础性的工作。由于待检测的目标外表可能千差万别，使得此项工作变得有些复杂。而且，变化不仅来自亮度和视角，还有由于目标不是刚体而引起的形变，以及同一类目标的形状和其他视觉上的变化。例如，人可能穿不同的衣服，做不同的姿势，车可能有不同的形状和颜色。而目前常用的目标检测方法经常采用一些简单的模型，例如固定的刚体模板或者特征袋模型来表征物体，这显然不足以表示一个变化丰富的非刚体目标。
在目标检测领域，由于HOG特征的引入，发生了翻天覆地的变化，目前主流行人检测器，比如Dalal‐Triggs的行人检测器，流行的DPM行人检测器，Exemplar‐SVM模型检测器等都是采用的HOG系列特征。但是HOG特征只是一种基于梯度的特征，不能很好的表示其他更丰富的模式，比如颜色，纹理等。总之，采用哪种特征学习来做检测是一个非常重要的基础课题。
另外，sliding window策略是目标检测中最常用的检测方式，我们需要遍历图像中的每个点以及获取以该点为起始点的不同大小矩形窗口的某种特征信息，然后依靠所采用的评分方式对该检索窗口进行估分，从而判断当前检测位置是否是目标。可以清楚的看到，这样的遍历空间是巨大的。目前虽然也有一些降低目标检索空间的方法，比如Efficient Subwindow Search等，但是效果有限，而且最终得到的mAP值并不是太理想。
发明内容
基于此，针对上述技术问题，提供一种非刚体目标检测方法及其***。
为解决上述技术问题，本发明采用如下技术方案：
一种非刚体目标检测方法，包括：
采用selective search region proposals算法对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域；
通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，所述非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成；
按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔；
对所述特征金字塔进行PCA投影，在低维度的特征金子塔空间进行模式分类；
对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图；
在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；
距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置。
该方法在所述通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取步骤前，先对每个矩形区域进行边缘扩展。
本方案还涉及一种非刚体目标检测***，包括：
似物体检测单元，用于采用selective search region proposals算法对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域；
特征提取单元，用于通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，所述非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成；
特征金字塔构建单元，用于按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔；
模式分类单元，用于对所述特征金字塔进行PCA投影，在低维度的特征金子塔空间进行模式分类；
root得分计算单元，用于对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图；
part得分计算单元，用于在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；
非刚体目标判断单元，用于距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置。
本方案还包括边缘扩展单元，用于在所述通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取前，先对每个矩形区域进行边缘扩展。
本发明具有以下优点：
1、与现有的hog特征相比，加入纹理的变种HSC特征训练后的非刚体目标模型对行人等几类形变比较大的常见非刚体目标具有更强的表征能力，检测效果较hog，更佳。
2，目标的检索空间变小了很多，并且几乎所有的可能存在目标的区域都得到了检索，所以算法运行速度既快且漏检率更低。
3，能够更好的处理变形大的非刚体目标，并且对存在部分遮挡的目标检测效果明显增强。
附图说明
下面结合附图和具体实施方式本发明进行详细说明：
图1为本发明的一种非刚体目标检测方法的流程图；
图2为本发明的一种非刚体目标检测***的结构示意图。
具体实施方式
如图1所示，一种非刚体目标检测方法，包括：
S101、采用selective search region proposals算法对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域。
具体的，可采用以下算法找出矩形区域：
selective search region proposals算法(Selective search for objectrecognition.IJCV,2013)；
objectness算法(Measuring the objectness of image windows.TPAMI,2012)；
category-independent object proposals算法(Category independent objectproposals.In ECCV2010)；
onstrained arametric min-cuts(CPMC)算法(Automatic object segmtationusing constrained parametric min-cuts.TPAMI,2012.)。
S102、在利用非刚体目标模型对矩形区域提取特征之前，可以先对每个矩形区域进行边缘扩展，因为似物体检测得到的一些结果可能刚好在某一方向边缘分割的比较紧凑，不太适合做特定的目标模式分类。
S103、通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征。
非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成。
具体地，非刚体目标模型的离线训练学习的方法包括以下四个迭代环节：
1、根滤波器的初始化。参考训练数据的边界盒的统计数值，自动选择根滤波器的尺寸，通过训练一个不带隐含变量的SVM得到一个初始根滤波器F0，正例为未被遮挡的训练样本。
2、根滤波器的更新。给定训练得到的初始根滤波器，对每个训练集的边界盒为过滤器挑选一个最高分的位置，通过训练的正例和原始的随机负例得到新的FO，迭代两次。
3、部件滤波器的初始化。从训练得到的根滤波器寻找六个部件启发式方法：首先选择面积a，满足6a的面积与根滤波器的面积相等。从根滤波器中贪婪搜索选择一个面积为a的矩形区域，该区域拥有最大的能量。正能量表示为该区域的所有cell的正权重范式平方之和。将该区域的所有权重置0并继续选择，直到选出六个矩形区域。部件滤波器的初始值为其所在根滤波器子窗口的权值。
4、模型更新。建立新的训练数据三元组用于模型训练，调整所有部件窗口使之与边界盒重叠至少百分之五十。再此基础上更新的步骤如下：设置一个固定大小的cache，选择得分最高的位置作为这个边界盒的正样本，cache中更新正样本。在不包含目标物体的图像中检测高得分的位置作为负样本。向cache添加最大数目的负样本，对cache的样本进行SVM训练得到新的模型。按照以上方法迭代更新模型十次。在每次迭代中保留先前缓冲区难样本，并增加尽量多的难样本。迭代完成后，可以获得模型的所有参数。
S104、按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔，金字塔的底部是高分辨率的特征，而顶部是低分辨率的特征，当向金字塔的上层移动时，尺寸和分辨率就降低。
S105、对特征金字塔进行PCA投影，在低维度的特征金子塔空间进行模式分类。
模式分类是指对表征事物或现象的各种形式的，数值的，文字的和逻辑关系的信息处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。
S106、对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图。
其中，每个root是指每个根滤波器。
S107、在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图。
S108、距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到矩形区域的非刚体目标的位置。
其中，各个模型是指训练时采用的几个根滤波器，本实施例采用6个混合模型来做训练，每个模型又由8个组件构成。
如图2所示，本方案还涉及一种非刚体目标检测***，包括似物体检测单元11、边缘扩展单元12、特征提取单元13、特征金字塔构建单元14、模式分类单元15、root得分计算单元16、part得分计算单元17以及非刚体目标判断单元18。
似物体检测单元11，用于对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域。
具体的，可采用以下算法找出矩形区域：
selective search region proposals算法(Selective search for objectrecognition.IJCV,2013)；
objectness算法(Measuring the objectness of image windows.TPAMI,2012)；
category-independent object proposals算法(Category independent objectproposals.In ECCV2010)；
onstrained arametric min-cuts(CPMC)算法(Automatic object segmtationusing constrained parametric min-cuts.TPAMI,2012.)。
边缘扩展单元12，用于在利用非刚体目标模型对矩形区域提取特征之前，先对每个矩形区域进行边缘扩展，因为似物体检测得到的一些结果可能刚好在某一方向边缘分割的比较紧凑，不太适合做特定的目标模式分类。
特征提取单元13，用于通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成。
具体地，非刚体目标模型的离线训练学习的方法包括以下四个迭代环节：
1、根滤波器的初始化。参考训练数据的边界盒的统计数值，自动选择根滤波器的尺寸，通过训练一个不带隐含变量的SVM得到一个初始根滤波器F0，正例为未被遮挡的训练样本。
2、根滤波器的更新。给定训练得到的初始根滤波器，对每个训练集的边界盒为过滤器挑选一个最高分的位置，通过训练的正例和原始的随机负例得到新的FO，迭代两次。
3、部件滤波器的初始化。从训练得到的根滤波器寻找六个部件启发式方法：首先选择面积a，满足6a的面积与根滤波器的面积相等。从根滤波器中贪婪搜索选择一个面积为a的矩形区域，该区域拥有最大的能量。正能量表示为该区域的所有cell的正权重范式平方之和。将该区域的所有权重置0并继续选择，直到选出六个矩形区域。部件滤波器的初始值为其所在根滤波器子窗口的权值。
4、模型更新。建立新的训练数据三元组用于模型训练，调整所有部件窗口使之与边界盒重叠至少百分之五十。再此基础上更新的步骤如下：设置一个固定大小的cache，选择得分最高的位置作为这个边界盒的正样本，cache中更新正样本。在不包含目标物体的图像中检测高得分的位置作为负样本。向cache添加最大数目的负样本，对cache的样本进行SVM训练得到新的模型。按照以上方法迭代更新模型十次。在每次迭代中保留先前缓冲区难样本，并增加尽量多的难样本。迭代完成后，可以获得模型的所有参数。
特征金字塔构建单元14，用于按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔，金字塔的底部是高分辨率的特征，而顶部是低分辨率的特征，当向金字塔的上层移动时，尺寸和分辨率就降低。
模式分类单元15，用于对特征金字塔进行PCA投影，在低维度的特征金子塔空间进行模式分类。
模式分类是指对表征事物或现象的各种形式的，数值的，文字的和逻辑关系的信息处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。
root得分计算单元16，用于对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图。
其中，每个root是指每个根滤波器。
part得分计算单元17，用于在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；
非刚体目标判断单元18，用于距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置。
其中，各个模型是指训练时采用的几个根滤波器，本实施例采用6个混合模型来做训练，每个模型又由8个组件构成。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
Claims (2)
1.一种非刚体目标检测方法，其特征在于，包括：
对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域；
通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，所述非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC特征样本训练构成；
按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金子塔；
对所述特征金字塔进行PCA投影，在低维度的特征金字 塔空间进行模式分类；
对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图；
在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；
距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置；该方法在所述通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取步骤前，先对每个矩形区域进行边缘扩展。
2.一种非刚体目标检测***，其特征在于，包括：
似物体检测单元，用于采用selective search region proposals算法对输入图像进行似物体检测，找出输入图像中可能存在似物体目标的矩形区域；
特征提取单元，用于通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取，获得每个矩形区域的HSC特征以及纹理特征，所述非刚体目标模型为融合纹理特征的HSC特征模型，其由加入纹理特征的HSC 特征样本训练构成；
特征金字塔构建单元，用于按照HSC特征以及纹理特征的分辨率以金字塔形状排列每个矩形区域的HSC特征以及纹理特征，构成特征金字 塔；
模式分类单元，用于对所述特征金字塔进行PCA投影，在低维度的特征金子塔空间进行模式分类；
root得分计算单元，用于对金字塔的每个尺度，分别用每个root进行卷积，得到每层金字塔层的root得分图；
part得分计算单元，用于在root层的每个对应的part层，用所有part滤波器进行卷积，得到所有part的得分图；
非刚体目标判断单元，用于距离转换重构每个root对应的所有part得分，减去偏移惩罚，综合各个模型以及各个组件的结果，得到各个位置的最终得分，同模型的阈值进行比较判断，得到所述矩形区域的非刚体目标的位置；
边缘扩展单元，用于在所述通过预训练的非刚体目标模型对获得的每个矩形区域进行特征提取前，先对每个矩形区域进行边缘扩展。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510012127.XA CN104504381B (zh) | 2015-01-09 | 2015-01-09 | 非刚体目标检测方法及其*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510012127.XA CN104504381B (zh) | 2015-01-09 | 2015-01-09 | 非刚体目标检测方法及其*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104504381A CN104504381A (zh) | 2015-04-08 |
| CN104504381B true CN104504381B (zh) | 2017-12-26 |
Family
ID=52945777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510012127.XA Active CN104504381B (zh) | 2015-01-09 | 2015-01-09 | 非刚体目标检测方法及其*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104504381B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488490A (zh) * | 2015-12-23 | 2016-04-13 | 天津天地伟业数码科技有限公司 | 基于视频的审判员着装检测方法 |
| CN105956632B (zh) * | 2016-05-20 | 2019-06-11 | 浙江宇视科技有限公司 | 一种检测目标的方法和装置 |
| CN106384345B (zh) * | 2016-08-31 | 2019-04-02 | 上海交通大学 | 一种基于rcnn的图像检测以及流量统计方法 |
| CN106845550B (zh) * | 2017-01-22 | 2020-03-17 | 阿依瓦（北京）技术有限公司 | 一种基于多模板的图像识别方法 |
| CN107886542B (zh) * | 2017-12-10 | 2019-04-16 | 上海交通大学 | 一种视觉检测的目标恢复方法和*** |
| CN109685762A (zh) * | 2018-11-09 | 2019-04-26 | 五邑大学 | 一种基于多尺度深度语义分割网络的天线下倾角测量方法 |
| CN109740664B (zh) * | 2018-12-28 | 2023-01-10 | 东莞中国科学院云计算产业技术创新与育成中心 | 柔性物体分类方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679151A (zh) * | 2013-12-19 | 2014-03-26 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
| CN104134071A (zh) * | 2014-06-20 | 2014-11-05 | 北京工业大学 | 一种基于颜色描述的可变形部件模型物体检测方法 |
| CN104200236A (zh) * | 2014-08-22 | 2014-12-10 | 浙江生辉照明有限公司 | 基于dpm的快速目标检测方法 |
-
2015
- 2015-01-09 CN CN201510012127.XA patent/CN104504381B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679151A (zh) * | 2013-12-19 | 2014-03-26 | 成都品果科技有限公司 | 一种融合LBP、Gabor特征的人脸聚类方法 |
| CN104134071A (zh) * | 2014-06-20 | 2014-11-05 | 北京工业大学 | 一种基于颜色描述的可变形部件模型物体检测方法 |
| CN104200236A (zh) * | 2014-08-22 | 2014-12-10 | 浙江生辉照明有限公司 | 基于dpm的快速目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Combining Color Histogram and ORB Features for Robust Visual Tracking";Lu Wang et al.;《8th International Conference on Natural Computation》;20121231;第519-522页 * |
| "Histograms of Sparse Codes for Object Detection";Xiaofeng Ren et al.;《IEEE Conference on Computer Vision and Pattern Recognition》;20131231;第3246-3253页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104504381A (zh) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104504381B (zh) | 非刚体目标检测方法及其*** | |
| CN106910185B (zh) | 一种基于cnn深度学习的dbcc分类模型构建方法 | |
| CN109147254B (zh) | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 | |
| CN103886308B (zh) | 一种使用聚合通道特征和软级联分类器的行人检测方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN107742099A (zh) | 一种基于全卷积网络的人群密度估计、人数统计的方法 | |
| CN105701483B (zh) | 一种融合多光谱遥感数据和夜间灯光遥感数据的城市边界提取方法 | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及*** | |
| CN104881662B (zh) | 一种单幅图像行人检测方法 | |
| CN107977671A (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN114638784B (zh) | 一种基于fe-yolo的铜管表面缺陷检测方法及装置 | |
| CN108615226A (zh) | 一种基于生成式对抗网络的图像去雾方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN107784291A (zh) | 基于红外视频的目标检测跟踪方法和装置 | |
| CN107480607B (zh) | 一种智能录播***中站立人脸检测定位的方法 | |
| CN103390164A (zh) | 基于深度图像的对象检测方法及其实现装置 | |
| CN106934455B (zh) | 基于cnn的遥感影像光学适配结构选取方法及*** | |
| CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| CN107808376A (zh) | 一种基于深度学习的举手检测方法 | |
| CN107085723A (zh) | 一种基于深度学习模型的车牌字符整体识别方法 | |
| CN102332094A (zh) | 半监督在线学习人脸检测方法 | |
| CN102004924A (zh) | 一种人头检测***及方法 | |
| CN106650823A (zh) | 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法 | |
| CN106295532A (zh) | 一种视频图像中的人体动作识别方法 | |
| CN114049572A (zh) | 识别小目标的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201209 Chuansha Road, Shanghai, No. 221, room 11, building 955 Applicant after: Bocom Intelligent Network Technology Co. Ltd. Address before: 201209 Chuansha Road, Shanghai, No. 221, room 11, building 955 Applicant before: BOCOM Smart Network Technologies Inc. |
|
| COR | Change of bibliographic data | ||
| CB02 | Change of applicant information |
Address after: 201209 Chuansha Road, Shanghai, No. 221, room 11, building 955 Applicant after: New wisdom cognition Marketing Data Services Ltd Address before: 201209 Chuansha Road, Shanghai, No. 221, room 11, building 955 Applicant before: Bocom Intelligent Network Technology Co. Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant |