CN113538350B - 一种基于多摄像头识别基坑深度的方法 - Google Patents

一种基于多摄像头识别基坑深度的方法 Download PDF

Info

Publication number
CN113538350B
CN113538350B CN202110731925.3A CN202110731925A CN113538350B CN 113538350 B CN113538350 B CN 113538350B CN 202110731925 A CN202110731925 A CN 202110731925A CN 113538350 B CN113538350 B CN 113538350B
Authority
CN
China
Prior art keywords
foundation pit
cameras
depth
measured
side wall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110731925.3A
Other languages
English (en)
Other versions
CN113538350A (zh
Inventor
刘玉建
轩阳
张龙亮
黄萌萌
王以安
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Shenbao Investment Development Co ltd
Original Assignee
Hebei Shenbao Investment Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Shenbao Investment Development Co ltd filed Critical Hebei Shenbao Investment Development Co ltd
Priority to CN202110731925.3A priority Critical patent/CN113538350B/zh
Publication of CN113538350A publication Critical patent/CN113538350A/zh
Application granted granted Critical
Publication of CN113538350B publication Critical patent/CN113538350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了建筑领域的一种基于多摄像头识别基坑深度的方法，包括以下步骤：S201：采集并获取得到配对的双摄像头数据，包括摄像头的位置参数，摄像头的视频及双摄像头标定矫正。S202：对获取的视频数据进行预处理，包括提取关键帧和帧图像预处理。S203：利用训练好的深度语义Faster RCNN分割网络，分割并得到机坑部分。S204：利用边缘检测算法图像处理技术，获取机坑的上下边沿，并对需要测量部分的位置进行修正。S205：利用双目摄像头成像原理，预测需要测量部位的深度，并估算出机坑的深度。S206：综合S204和S205中的摄像头机坑深度信息和测量的位置信息，可视化的反馈测量的部位以及预估的高度。

Description

一种基于多摄像头识别基坑深度的方法
技术领域
本发明涉及建筑工程领域，特别涉及一种基于多摄像头识别基坑深度的方法。
背景技术
现阶段施工项目现场对基坑深度的识别，主要是通过人眼目测及搭配测量仪器，如盒尺、卷尺等完成的。测量完成后，再进行数据记录，最终达到基坑深度的识别。在识别过程中，基坑深度的识别是通过人为完成的，这就造成项目成本的增加，当然也很难保证识别数据的准确性、实时性。
发明内容
本发明的目的是提供自动识别基坑深度，减少了现场施工人员实时测量的一种基于多摄像头识别基坑深度的方法。
本发明的目的是这样实现的：一种基于多摄像头识别基坑深度的方法，其特征在于包括以下步骤：
S201：采集并获取得到配对的双摄像头数据，包括摄像头的位置参数，摄像头的视频及双摄像头标定矫正；
S202：对获取的视频数据进行预处理，包括提取关键帧和帧图像预处理；
S203：利用训练好的深度语义Faster RCNN分割网络，分割并得到基坑部分；
所述Faster RCNN分割网络分割并得到基坑部分具体步骤包括：
步骤a、在已有数据集的基础上，训练一个基于深度学习的基坑侧墙检测器；
步骤b、将双目摄像头帧图像放入训练好的基坑侧墙检测器中，得到基坑侧墙的范围；
步骤c、通过加权平均，取基坑范围的中间值作为要测量的帧图像中的基坑高度；
S204：利用边缘检测算法图像处理技术，获取基坑的上下边沿，并对需要测量部分的位置进行修正，得出像平面中需要测量的两个点；
所述边缘检测算法图像处理技术具体步骤包括：
a、将步骤S203中，侧墙检测器得到的导致基坑侧墙区域部分图像转换到HSV颜色空间，利用基坑侧墙的颜色属性，提取出基坑的大致范围；
b、利用轮廓提取方法计算得到基坑侧墙的进一步区域，并获取侧墙的上下边界，利用上下边界的大致距离加权，进一步修正需要测量的基坑高度部分；
S205：利用双目摄像头成像原理，预测需要测量部位的深度，并估算出基坑的深度，基坑深度的计算公式为：
Figure GDA0003732987010000021
其中(x1，y1，z1)为上端点在三维空间中的坐标，(x2，y2，z2)为下端点在三维空间中的坐标，h表示基坑深度的高度。
S206：综合S204和S205中的摄像头基坑深度信息和测量的位置信息，可视化的反馈测量的部位以及预估的高度。
优选的，所述双摄像头属于统一型号，具有相同的参数信息。
优选的，所述双摄像头标定矫正中标定即测量得到摄像头相机的内外参数，矫正是指对双摄像头采集图像的位置进行矫正，使矫正后的两张图像处于同一平面且相互平行，同时得出相机间的基本距离为b。
优选的，所述提取关键帧为每间隔10分钟双摄像头各取一帧图像；所述帧图像预处理包括图片大小处理和归一化。
优选的，所述步骤S205中双目摄像头成像原理如下：
设P＝(x，y，z)，其在双摄像头图像平面的投影点分别为(xr，yr)，(xl，yl)；由相似三角形的原理可得：
Figure GDA0003732987010000031
解得：
Figure GDA0003732987010000032
Figure GDA0003732987010000033
Figure GDA0003732987010000034
其中，b：双摄像头之间的基准距离；
f：两个相同摄像头的焦距；
d＝xl-xr：双摄像头之间的视差；
x，z：三维空间中X轴方向和Z轴方向；
x，y，z：P点在三维空间中的坐标。
与现有技术相比，本发明的有益之处在于：利用施工现场监控摄像头人工智能算法自动识别基坑深度，可实时监测基坑开挖深度，并可根据图纸设计要求设置自动预警值，保证了基坑开挖的准确性，防止基坑超挖；施工现场监控设备自动值守，减少了人工进行基坑深度的测量，从而减少人员投入，节省了成本；无需人工进行测量，基坑深度，避免了作业人员与开挖机械的交叉作业，保证了人身安全，减少了安全事故的发生。
附图说明
图1为本发明的流程图。
图2为本发明的双目摄像头成像原理图。
其中，，b：双摄像头之间的基准距离；f：两个相同摄像头的焦距；d＝xl-xr：双摄像头之间的视差；z，z：三维空间中X轴方向和Z轴方向；x，y，z：P点在三维空间中的坐标。
具体实施方式
如图1所示，一种基于多摄像头识别基坑深度的方法包括以下步骤：
S201：采集并获取得到配对的双摄像头数据，包括摄像头的位置参数，包括摄像机的焦距f和双摄像头之间的基准距离b，以及进行摄像头的视频及双摄像头标定矫正，保证双摄像头的像平面重合，使得后续深度估计准确；
S202：对获取的视频数据进行预处理，包括提取关键帧和帧图像预处理，目标是从视频数据中提取出用于深度估计的帧图像；
S203：利用训练好的深度语义Faster RCNN分割网络，分割并得到机坑部分，初步得出需要测量的机坑深度部分区域；
上述Faster RCNN分割网络分割并得到机坑部分具体步骤包括：
步骤a、在已有数据集的基础上，训练一个基于深度学习的机坑侧墙检测器；
步骤b、将双目摄像头帧图像放入训练好的机坑侧墙检测器中，得到机坑侧墙的范围；
步骤c、通过加权平均，取机坑范围的中间值作为要测量的帧图像中的机坑高度；
S204：利用边缘检测算法图像处理技术，获取机坑的上下边沿，并对需要测量部分的位置进行修正，这一步是为了利用传统图像处理方法补充深度语义网络的不足，进一步确定需要测量的深度部分，得出像平面中需要测量的两个点；
上述边缘检测算法图像处理技术具体步骤包括：
a、将步骤S203中，侧墙检测器得到的机坑侧墙区域部分图像转换到HSV颜色空间，利用机坑侧墙的颜色属性，提取出机坑的大致范围；
b、利用轮廓提取方法计算得到机坑侧墙的进一步区域，并获取侧墙的上下边界，利用上下边界的大致距离加权，进一步修正需要测量的机坑高度部分；
S205：利用双目摄像头成像原理，预测需要测量部位的深度，并估算出基坑的深度，基坑深度的计算公式为：
Figure GDA0003732987010000061
其中(x1，y1，z1)为上端点在三维空间中的坐标，(x2，y2，z2)为下端点在三维空间中的坐标，h表示基坑深度的高度。
S206：综合S204和S205中的摄像头机坑深度信息和测量的位置信息，可视化的反馈测量的部位以及预估的高度。
上述双摄像头属于统一型号，具有相同的参数信息。
上述双摄像头标定矫正中标定即测量得到摄像头相机的内外参数，矫正是指对双摄像头采集图像的位置进行矫正，使矫正后的两张图像处于同一平面且相互平行，同时得出相机间的基本距离为b。
上述提取关键帧为每间隔10分钟双摄像头各取一帧图像；所述帧图像预处理包括图片大小处理和归一化。
上述步骤S205中双目摄像头成像原理如下：
设P＝(x，y，z)，其在双摄像头图像平面的投影点分别为(xr，yr)，(xl，yl)；由相似三角形的原理可得：
Figure GDA0003732987010000062
解得：
Figure GDA0003732987010000063
Figure GDA0003732987010000071
Figure GDA0003732987010000072
其中，b：双摄像头之间的基准距离；
f：两个相同摄像头的焦距；
d＝xl-xr：双摄像头之间的视差；
x，z：三维空间中X轴方向和Z轴方向；
x，y，z：P点在三维空间中的坐标。
实施列一：若双摄像头***中，b＝0.2m，f＝0.008m，摄像头的清晰度为300dip，则一像素的长度约为8×10-5米；机坑深度部分的上端点P1在双摄像头图像中的坐标分别为(100，100)和(50，100)，下端点P2在双摄像头图像中的坐标分别为(500，400)和(495，400)，则
Figure GDA0003732987010000073
Figure GDA0003732987010000074
Figure GDA0003732987010000075
Figure GDA0003732987010000076
Figure GDA0003732987010000077
Figure GDA0003732987010000078
则
Figure GDA0003732987010000079
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (5)

1.一种基于多摄像头识别基坑深度的方法，其特征在于包括以下步骤：
S201：采集并获取得到配对的双摄像头数据，包括摄像头的位置参数，摄像头的视频及双摄像头标定矫正；
S202：对获取的视频数据进行预处理，包括提取关键帧和帧图像预处理；
S203：利用训练好的深度语义Faster RCNN分割网络，分割并得到基坑部分；
所述Faster RCNN分割网络分割并得到基坑部分具体步骤包括：
步骤a、在已有数据集的基础上，训练一个基于深度学习的基坑侧墙检测器；
步骤b、将双目摄像头帧图像放入训练好的基坑侧墙检测器中，得到基坑侧墙的范围；
步骤c、通过加权平均，取基坑范围的中间值作为要测量的帧图像中的基坑高度；
S204：利用边缘检测算法图像处理技术，获取基坑的上下边沿，并对需要测量部分的位置进行修正，得出像平面中需要测量的两个点；
所述边缘检测算法图像处理技术具体步骤包括：
a、将步骤S203中，侧墙检测器得到的基坑侧墙区域部分图像转换到HSV颜色空间，利用基坑侧墙的颜色属性，提取出基坑的大致范围；
b、利用轮廓提取方法计算得到基坑侧墙的进一步区域，并获取侧墙的上下边界，利用上下边界的大致距离加权，进一步修正需要测量的基坑高度部分；
S205：利用双目摄像头成像原理，预测需要测量部位的深度，并估算出基坑的深度，基坑深度的计算公式为：
Figure FDA0003749100960000021
其中(x1，y1，z1)为上端点在三维空间中的坐标，(x2，y2，z2)为下端点在三维空间中的坐标，h表示基坑深度的高度；
S206：综合S204和S205中的摄像头基坑深度信息和测量的位置信息，可视化的反馈测量的部位以及预估的高度。
2.根据权利要求1所述的一种基于多摄像头识别基坑深度的方法，其特征在于，所述双摄像头属于统一型号，具有相同的参数信息。
3.根据权利要求1所述的一种基于多摄像头识别基坑深度的方法，其特征在于，所述双摄像头标定矫正中标定即测量得到摄像头相机的内外参数，矫正是指对双摄像头采集图像的位置进行矫正，使矫正后的两张图像处于同一平面且相互平行，同时得出相机间的基准距离为b。
4.根据权利要求1所述的一种基于多摄像头识别基坑深度的方法，其特征在于，所述提取关键帧为每间隔10分钟双摄像头各取一帧图像；所述帧图像预处理包括图片大小处理和归一化。
5.根据权利要求1所述的一种基于多摄像头识别基坑深度的方法，其特征在于，所述步骤S205中双目摄像头成像原理如下：
设P＝(x，y，z)，其在双摄像头图像平面的投影点分别为(xr，yr)，(xl，yl)；由相似三角形的原理可得：
Figure FDA0003749100960000031
解得：
Figure FDA0003749100960000032
Figure FDA0003749100960000033
Figure FDA0003749100960000034
其中，b：双摄像头之间的基准距离；
f：两个相同摄像头的焦距；
d＝xl-xr：双摄像头之间的视差；
x，y，z：P点在三维空间中的坐标。
CN202110731925.3A 2021-06-29 2021-06-29 一种基于多摄像头识别基坑深度的方法 Active CN113538350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110731925.3A CN113538350B (zh) 2021-06-29 2021-06-29 一种基于多摄像头识别基坑深度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110731925.3A CN113538350B (zh) 2021-06-29 2021-06-29 一种基于多摄像头识别基坑深度的方法

Publications (2)

Publication Number Publication Date
CN113538350A CN113538350A (zh) 2021-10-22
CN113538350B true CN113538350B (zh) 2022-10-04

Family

ID=78097235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110731925.3A Active CN113538350B (zh) 2021-06-29 2021-06-29 一种基于多摄像头识别基坑深度的方法

Country Status (1)

Country Link
CN (1) CN113538350B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017045650A1 (zh) * 2015-09-15 2017-03-23 努比亚技术有限公司 一种图片处理方法及终端
CN107886477A (zh) * 2017-09-20 2018-04-06 武汉环宇智行科技有限公司 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN110231013A (zh) * 2019-05-08 2019-09-13 哈尔滨理工大学 一种基于双目视觉的车前行人检测与人车距离获取方法
CN111709985A (zh) * 2020-06-10 2020-09-25 大连海事大学 一种基于双目视觉的水下目标测距方法
CN111931550A (zh) * 2020-05-22 2020-11-13 天津大学 一种基于智能距离感知技术的婴儿监护方法
CN112001964A (zh) * 2020-07-31 2020-11-27 西安理工大学 一种基于深度学习的洪水演进过程淹没范围测量方法
CN112016558A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种基于图像质量的介质能见度识别方法
CN112634341A (zh) * 2020-12-24 2021-04-09 湖北工业大学 多视觉任务协同的深度估计模型的构建方法
WO2021084530A1 (en) * 2019-10-27 2021-05-06 Ramot At Tel-Aviv University Ltd. Method and system for generating a depth map
CN112801074A (zh) * 2021-04-15 2021-05-14 速度时空信息科技股份有限公司 一种基于交通摄像头的深度图估计方法
CN112854175A (zh) * 2021-03-04 2021-05-28 西南石油大学 一种基于机器视觉的基坑变形监测及预警方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111407245B (zh) * 2020-03-19 2021-11-02 南京昊眼晶睛智能科技有限公司 一种基于摄像头的非接触式心率、体温测量方法
CN112766274B (zh) * 2021-02-01 2023-07-07 长沙市盛唐科技有限公司 一种基于Mask RCNN算法的水尺图像水位自动读数方法及***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017045650A1 (zh) * 2015-09-15 2017-03-23 努比亚技术有限公司 一种图片处理方法及终端
CN107886477A (zh) * 2017-09-20 2018-04-06 武汉环宇智行科技有限公司 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN110231013A (zh) * 2019-05-08 2019-09-13 哈尔滨理工大学 一种基于双目视觉的车前行人检测与人车距离获取方法
WO2021084530A1 (en) * 2019-10-27 2021-05-06 Ramot At Tel-Aviv University Ltd. Method and system for generating a depth map
CN111931550A (zh) * 2020-05-22 2020-11-13 天津大学 一种基于智能距离感知技术的婴儿监护方法
CN111709985A (zh) * 2020-06-10 2020-09-25 大连海事大学 一种基于双目视觉的水下目标测距方法
CN112001964A (zh) * 2020-07-31 2020-11-27 西安理工大学 一种基于深度学习的洪水演进过程淹没范围测量方法
CN112016558A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种基于图像质量的介质能见度识别方法
CN112634341A (zh) * 2020-12-24 2021-04-09 湖北工业大学 多视觉任务协同的深度估计模型的构建方法
CN112854175A (zh) * 2021-03-04 2021-05-28 西南石油大学 一种基于机器视觉的基坑变形监测及预警方法
CN112801074A (zh) * 2021-04-15 2021-05-14 速度时空信息科技股份有限公司 一种基于交通摄像头的深度图估计方法

Also Published As

Publication number Publication date
CN113538350A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN112686938B (zh) 基于双目图像测距的输电线路净距计算与安全告警方法
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和***
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及***
CN103454285A (zh) 基于机器视觉的传动链条质量检测***
CN102768022A (zh) 采用数码照相技术的隧道围岩变形检测方法
CN113469178B (zh) 一种基于深度学习的电力表计识别方法
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别***
CN115993096A (zh) 一种高层建筑变形测量方法
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN111996883A (zh) 一种检测公路路面宽度的方法
CN116844147A (zh) 一种基于深度学习的指针式仪表识别和异常警报方法
CN115639248A (zh) 一种用于建筑外墙质量检测的***及方法
CN113392846A (zh) 一种基于深度学习的水尺水位监测方法及***
CN115330712A (zh) 一种基于虚实融合的装配式建筑预制构件智能质检方法及***
CN116563262A (zh) 基于多模态的建筑裂缝检测算法
CN113538350B (zh) 一种基于多摄像头识别基坑深度的方法
CN113749646A (zh) 基于单目视觉的人体身高测量方法、装置及电子设备
CN110060339B (zh) 一种基于云计算图形图像的三维建模方法
CN108180871A (zh) 一种定量评价复合绝缘子表面粉化粗糙度的方法
CN104573635A (zh) 一种基于三维重建的微小高度识别方法
Murray et al. Automated video processing and image analysis software to support visual inspection of AGR cores
CN115393387A (zh) 一种建筑物位移监测方法和装置
CN113592877B (zh) 一种抽水蓄能电站红线超标识别方法及装置
CN112819817A (zh) 基于图计算的河流流速估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant