CN112288712B - 一种基于实景建模的黄金矿山溜井入料可视化检测方法 - Google Patents
一种基于实景建模的黄金矿山溜井入料可视化检测方法 Download PDFInfo
- Publication number
- CN112288712B CN112288712B CN202011171653.8A CN202011171653A CN112288712B CN 112288712 B CN112288712 B CN 112288712B CN 202011171653 A CN202011171653 A CN 202011171653A CN 112288712 B CN112288712 B CN 112288712B
- Authority
- CN
- China
- Prior art keywords
- ore
- mine car
- coordinate system
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 title claims abstract description 16
- 239000010931 gold Substances 0.000 title claims abstract description 16
- 229910052737 gold Inorganic materials 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000003708 edge detection Methods 0.000 claims abstract description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000007599 discharging Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于实景建模的黄金矿山溜井入料可视化检测方法,使用深度摄像机拍摄盛有矿石的矿车,使用实景建模技术,通过采集的图像建立矿车的车厢及矿石堆上表面的模型,从模型中获取车厢及矿石堆的尺寸信息,从而计算出矿石量。本发明在计算机视觉技术的基础上,通过边缘检测、模型建立、装载量推理预估的方式,完成黄金矿山溜井出入料的估量,再结合矿车尾部检测及矿车运输次数,得到具体的矿车运输次数和运输量,从而更好地把控运输车辆的运输次数,运输量,保证了溜井下发出料的安全性。
Description
技术领域
本发明涉及一种检测溜井入料量的方法。
背景技术
目前,黄金矿山溜井入料量的检测主要依靠人工估算,其工作量大,效率低下,准确性差,同时操作者作业环境恶劣,存在一定的安全隐患。
发明内容
本发明提出了一种基于实景建模的黄金矿山溜井入料可视化检测方法,其目的是:借助人工智能视觉技术,估算出矿石的数量。
本发明技术方案如下:
一种基于实景建模的黄金矿山溜井入料可视化检测方法,使用深度摄像机拍摄盛有矿石的矿车,通过采集的图像建立矿车车厢及矿石堆上表面的模型,从模型中获取车厢及矿石堆的尺寸信息,从而计算出矿石量。
作为本方法的进一步改进,具体步骤为:
步骤1、在矿车行驶轨迹旁架设光源和深度摄像机;
步骤2、装载矿石的矿车进入拍摄范围后,深度摄像机拍摄图像Im,并将图像传回工控机;
步骤3、工控机检测出图像中矿车的车尾位置信息;
步骤4、对图像Im进行灰度化、中值滤波后,进行边缘检测,得到矿车车厢的边缘信息;
步骤5、根据步骤3中的车尾位置信息与步骤4中的边缘信息,对事先建立的矿车三维模型的外轮廓进行横纵缩放,然后再根据缩放后的矿车三维模型的外轮廓对图像Im中的矿车的边缘进行边缘增强;
步骤6、对边缘增强后的图像Im中的边缘信息进行直线提取,从而获得车辆轮廓信息;
步骤7、依据深度摄像机所拍摄到的深度信息和步骤6中获得的车辆轮廓信息重新建立矿车的三维模型;
步骤8、根据图像Im获得矿车上矿石的上表面的坐标信息;
步骤9、结合步骤7中矿车的三维模型和矿石的上表面的坐标信息计算矿车所承载的矿石体积,从而计算出矿石量。
作为本方法的进一步改进:所述摄像头与水平面支架的夹角为50-70度。
作为本方法的进一步改进:步骤3中,使用fast-rcnn技术进行车尾检测;当检测到全部车尾进入图像的中心区域内时,确定该图片,并标记fast-rcnn获取的车尾位置信息。
作为本方法的进一步改进:步骤6中,通过霍夫变换对边缘信息进行直线提取。
作为本方法的进一步改进:所述三维模型是指依据深度摄像机输出的各点在相机坐标系的坐标(x,y,z)和深度摄像机在现实场景坐标系中的坐标(x0,y0,z0)建立的在现实场景坐标系中的三维模型;
相机坐标系与现实场景坐标系的坐标转换方式如下:
设现实场景坐标系转换到相机坐标系的转化顺序是:先按z轴旋转、之后按y轴旋转、之后按x轴旋转,最终得到相机坐标系,旋转的角度分别是yaw、pitch、roll;则从相机坐标系到现实场景坐标系的旋转矩阵按如下方式定义:
坐标系的转换公式为;
Xr=RzRyRxXc+Tc→r
上式中的Xr为现实场景坐标系的坐标,Xc为相机坐标系中的坐标,Tc→r为相机坐标系到现实场景坐标系的原点偏移量。
作为本方法的进一步改进:步骤8中,获取矿石上表面坐标信息之前,通过fast-rcnn技术检测出矿石区域,从而得到矿石的边缘信息。
作为本方法的进一步改进:步骤9中,先获得矿石的上表面各点的坐标信息,依据各点的高度值上即z轴的坐标值计算矿石上表面的平均高度hz;然后,依据步骤7中矿车的三维模型得到车厢的宽度w和长度l,从而计算出矿石的体积为w×l×hz。
相对于现有技术,本发明具有以下有益效果:本发明在计算机视觉技术的基础上,通过边缘检测、模型建立、装载量推理预估的方式,完成黄金矿山溜井出入料的估量,再结合矿车尾部检测及矿车运输次数,得到具体的矿车运输次数和运输量,从而更好地把控运输车辆的运输次数,运输量,保证了溜井下发出料的安全性。
附图说明
图1为本发明实施时的结构示意图。
具体实施方式
下面结合附图详细说明本发明的技术方案:
如图1,一种基于实景建模的黄金矿山溜井入料可视化检测方法,使用深度摄像机1拍摄盛有矿石的矿车3,使用实景建模技术,通过采集的图像建立矿车3的车厢及矿石堆上表面的模型,从模型中获取车厢及矿石堆的尺寸信息,从而计算出矿石量。
具体步骤为:
步骤1、在矿车3行驶轨迹旁架设对称的功率为3W的LED光源2,确保车辆四周无阴影,工作时保持常亮。架设深度摄像机1,分辨率为1920×1080,镜头光轴与工作水平面为60°,且位于运输车辆停靠后方,其视野覆盖整个运输车辆和车尾部分。尽量让车辆信息位于图像中心区域,范围不超过图像宽度的1/2。深度摄像机1可以采集视野内的x,y,z信息,方便建模。
步骤2、装载矿石的矿车3进入拍摄范围后,深度摄像机1拍摄图像Im,并将图像传回工控机4。
步骤3、工控机4检测出图像中矿车3的车尾位置信息。
具体的,使用fast-rcnn技术进行车尾检测;当检测到全部车尾进入图像的中心区域内时,确定该图片,并标记fast-rcnn获取的车尾位置信息。
步骤4、对图像Im进行灰度化、中值滤波后,使用sobel算法进行边缘检测,得到矿车3车厢的边缘信息。
步骤5、根据步骤3中的车尾位置信息与步骤4中的边缘信息,对事先建立的矿车3三维模型的外轮廓进行横纵缩放,然后再根据缩放后的矿车3三维模型的外轮廓对图像Im中的矿车3的边缘进行边缘增强。
步骤6、通过霍夫变换对边缘增强后的图像Im中的边缘信息进行直线提取,从而获得车辆轮廓信息。
步骤7、依据深度摄像机1所拍摄到的深度信息和步骤6中获得的车辆轮廓信息重新建立矿车3的三维模型。
所述三维模型是指依据深度摄像机1输出的各点在相机坐标系的坐标(x,y,z)和深度摄像机1在现实场景坐标系中的坐标(x0,y0,z0)建立的在现实场景坐标系中的三维模型;
相机坐标系与现实场景坐标系的坐标转换方式如下:
设现实场景坐标系转换到相机坐标系的转化顺序是:先按z轴旋转、之后按y轴旋转、之后按x轴旋转,最终得到相机坐标系,旋转的角度分别是yaw、pitch、roll;则从相机坐标系到现实场景坐标系的旋转矩阵按如下方式定义:
坐标系的转换公式为;
Xr=RzRyRxXc+Tc→r
上式中的Xr为现实场景坐标系的坐标,Xc为相机坐标系中的坐标,Tc→r为相机坐标系到现实场景坐标系的原点偏移量。
步骤8、通过fast-rcnn技术检测出矿石区域,从而得到矿石的边缘信息,最后根据图像Im获得矿车3上矿石的上表面的坐标信息。
步骤9、结合步骤7中矿车3的三维模型和矿石的上表面的坐标信息计算矿车3所承载的矿石体积,从而计算出矿石量。
具体的,先获得矿石的上表面各点的坐标信息,依据各点的高度值上即z轴的坐标值计算矿石上表面的平均高度hz;然后,依据步骤7中矿车3的三维模型得到车厢的宽度w和长度l,从而计算出矿石的体积为w×l×hz。
Claims (7)
1.一种基于实景建模的黄金矿山溜井入料可视化检测方法,其特征在于:使用深度摄像机(1)拍摄盛有矿石的矿车(3),通过采集的图像建立矿车(3)车厢及矿石堆上表面的模型,从模型中获取车厢及矿石堆的尺寸信息,从而计算出矿石量;
具体步骤为:
步骤1、在矿车(3)行驶轨迹旁架设光源(2)和深度摄像机(1);
步骤2、装载矿石的矿车(3)进入拍摄范围后,深度摄像机(1)拍摄图像Im,并将图像传回工控机(4);
步骤3、工控机(4)检测出图像中矿车(3)的车尾位置信息;
步骤4、对图像Im进行灰度化、中值滤波后,进行边缘检测,得到矿车(3)车厢的边缘信息;
步骤5、根据步骤3中的车尾位置信息与步骤4中的边缘信息,对事先建立的矿车三维模型的外轮廓进行横纵缩放,然后再根据缩放后的矿车三维模型的外轮廓对图像Im中的矿车(3)的边缘进行边缘增强;
步骤6、对边缘增强后的图像Im中的边缘信息进行直线提取,从而获得车辆轮廓信息;
步骤7、依据深度摄像机(1)所拍摄到的深度信息和步骤6中获得的车辆轮廓信息重新建立矿车(3)的三维模型;
步骤8、根据图像Im获得矿车(3)上矿石的上表面的坐标信息;
步骤9、结合步骤7中矿车(3)的三维模型和矿石的上表面的坐标信息计算矿车(3)所承载的矿石体积,从而计算出矿石量。
2.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法,其特征在于:所述摄像机与水平面支架的夹角为50-70度。
3.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法,其特征在于:步骤3中,使用fast-rcnn技术进行车尾检测;当检测到全部车尾进入图像的中心区域内时,确定该图像,并标记fast-rcnn获取的车尾位置信息。
4.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法,其特征在于:步骤6中,通过霍夫变换对边缘信息进行直线提取。
5.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法,其特征在于:所述三维模型是指依据深度摄像机(1)输出的各点在相机坐标系的坐标(x,y,z)和深度摄像机(1)在现实场景坐标系中的坐标(x0,y0,z0)建立的在现实场景坐标系中的三维模型;
相机坐标系与现实场景坐标系的坐标转换方式如下:
设现实场景坐标系转换到相机坐标系的转化顺序是:先按z轴旋转、之后按y轴旋转、之后按x轴旋转,最终得到相机坐标系,旋转的角度分别是yaw、pitch、roll;则从相机坐标系到现实场景坐标系的旋转矩阵按如下方式定义:
坐标系的转换公式为;
Xr=RzRyRxXc+Tc→r
上式中的Xr为现实场景坐标系的坐标,Xc为相机坐标系中的坐标,Tc→r为相机坐标系到现实场景坐标系的原点偏移量。
6.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法,其特征在于:步骤8中,获取矿石上表面坐标信息之前,通过fast-rcnn技术检测出矿石区域,从而得到矿石的边缘信息。
7.如权利要求1所述的基于实景建模的黄金矿山溜井入料可视化检测方法,其特征在于:步骤9中,先获得矿石的上表面各点的坐标信息,依据各点的高度值上即z轴的坐标值计算矿石上表面的平均高度hz;然后,依据步骤7中矿车(3)的三维模型得到车厢的宽度w和长度l,从而计算出矿石的体积为w×l×hz。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011171653.8A CN112288712B (zh) | 2020-10-28 | 2020-10-28 | 一种基于实景建模的黄金矿山溜井入料可视化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011171653.8A CN112288712B (zh) | 2020-10-28 | 2020-10-28 | 一种基于实景建模的黄金矿山溜井入料可视化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112288712A CN112288712A (zh) | 2021-01-29 |
CN112288712B true CN112288712B (zh) | 2022-07-22 |
Family
ID=74373577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011171653.8A Active CN112288712B (zh) | 2020-10-28 | 2020-10-28 | 一种基于实景建模的黄金矿山溜井入料可视化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112288712B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114359372A (zh) * | 2022-01-05 | 2022-04-15 | 山东工大中能科技有限公司 | 基于计算机视觉的矿车装载量检测方法、***及装置 |
CN117408831B (zh) * | 2023-12-15 | 2024-03-08 | 甘洛县尔呷地吉铅锌矿业有限公司 | 一种矿场采矿量计量方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146952A (zh) * | 2018-09-06 | 2019-01-04 | 北京京东尚科信息技术有限公司 | 估计车厢空闲体积的方法、装置及计算机可读存储介质 |
CN109784327A (zh) * | 2018-12-04 | 2019-05-21 | 北京达佳互联信息技术有限公司 | 边界框确定方法、装置、电子设备及存储介质 |
CN111735445A (zh) * | 2020-06-23 | 2020-10-02 | 煤炭科学研究总院 | 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10022914B2 (en) * | 2013-11-12 | 2018-07-17 | Adobe Systems Incorporated | Method and apparatus for automatically adding utility holes to printable 3-dimensional models |
CN103714217B (zh) * | 2013-12-31 | 2016-08-24 | 一重集团大连设计研究院有限公司 | 一种矿用自卸车车厢容量计算方法 |
CN103913116B (zh) * | 2014-03-10 | 2017-06-06 | 上海大学 | 大型堆积物料体积两侧平行测量装置和方法 |
CN103955499B (zh) * | 2014-04-22 | 2018-02-02 | 北京航空航天大学 | 一种基于即时计算与动态追踪的视觉体验增强方法 |
CN105205861B (zh) * | 2015-10-09 | 2017-11-21 | 南京大学 | 基于Sphere‑Board的树木三维可视化模型实现方法 |
CN105869160B (zh) * | 2016-03-28 | 2019-11-26 | 武汉理工大学 | 利用Kinect实现三维建模和全息显示的方法及*** |
JP6418215B2 (ja) * | 2016-09-21 | 2018-11-07 | カシオ計算機株式会社 | 表示装置、立体画像形成システム、表示プログラム、及び画像形成プログラム |
CN106897982B (zh) * | 2017-02-23 | 2019-06-14 | 淮阴工学院 | 基于图像无标记识别的现实增强方法 |
SG11202111295UA (en) * | 2019-04-12 | 2021-11-29 | Beijing Chengshi Wanglin Information Technology Co Ltd | Three-dimensional object modeling method, image processing method, and image processing device |
CN110455368B (zh) * | 2019-09-26 | 2021-02-05 | 赣州有色冶金研究所 | 一种矿斗所载矿物体积测量方法及*** |
-
2020
- 2020-10-28 CN CN202011171653.8A patent/CN112288712B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146952A (zh) * | 2018-09-06 | 2019-01-04 | 北京京东尚科信息技术有限公司 | 估计车厢空闲体积的方法、装置及计算机可读存储介质 |
CN109784327A (zh) * | 2018-12-04 | 2019-05-21 | 北京达佳互联信息技术有限公司 | 边界框确定方法、装置、电子设备及存储介质 |
CN111735445A (zh) * | 2020-06-23 | 2020-10-02 | 煤炭科学研究总院 | 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112288712A (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105488816B (zh) | 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法 | |
CN112288712B (zh) | 一种基于实景建模的黄金矿山溜井入料可视化检测方法 | |
US11669972B2 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
CN100486476C (zh) | 基于线结构光传感器自动生成鞋底喷胶轨迹的方法及*** | |
CN104036275B (zh) | 一种车辆盲区内目标对象的检测方法及其装置 | |
AU2019222803A1 (en) | Volume measurement apparatus and method | |
CN111360780A (zh) | 一种基于视觉语义slam的垃圾捡拾机器人 | |
CN112248835B (zh) | 一种充电机械臂控制方法和*** | |
CN112379627B (zh) | 一种用于装配式建筑的定位***、定位方法 | |
CN112784814B (zh) | 车辆倒车入库的姿态识别方法及输送车倒车入库引导*** | |
WO2024037408A1 (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
CN111704035B (zh) | 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法 | |
CN110455368B (zh) | 一种矿斗所载矿物体积测量方法及*** | |
CN113850872A (zh) | 一种基于高位视频的服务区停车压线检测方法 | |
CN113674355A (zh) | 一种基于相机与激光雷达的目标识别与定位方法 | |
CN111855667A (zh) | 一种适用于地铁车辆的新型智慧列检***和检测方法 | |
CN115984766A (zh) | 一种煤矿井下快速单目视觉三维目标检测方法 | |
JP6199693B2 (ja) | 車間距離測定装置、車間距離測定方法、およびプログラム | |
CN114170596A (zh) | 姿态识别方法、装置、电子设备、工程机械和存储介质 | |
CN103604946B (zh) | 一种面向矿物泡沫浮选的嵌入式泡沫流速测量***及方法 | |
CN111768369A (zh) | 钢板角点与边点定位方法和工件抓取方法及生产线 | |
CN117314849A (zh) | 一种基于深度学习的接触网磨耗检测方法 | |
CN116520351A (zh) | 一种列车状态监测方法、***、存储介质及终端 | |
CN116256752A (zh) | 一种港口吊具模板点云自动生成的方法 | |
CN109508017A (zh) | 智能小车控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |