CN109861752B - 一种基于可见光定位的地下车库路径导航***及方法 - Google Patents
一种基于可见光定位的地下车库路径导航***及方法 Download PDFInfo
- Publication number
- CN109861752B CN109861752B CN201910011198.6A CN201910011198A CN109861752B CN 109861752 B CN109861752 B CN 109861752B CN 201910011198 A CN201910011198 A CN 201910011198A CN 109861752 B CN109861752 B CN 109861752B
- Authority
- CN
- China
- Prior art keywords
- led lamp
- image
- camera
- stripe
- garage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Optical Communication System (AREA)
Abstract
本发明公开了一种基于可见光定位的地下车库路径导航***及方法,包括发射端、移动设备接收端及服务器,移动设备接收端的前置摄像头采集光信号形成不同明暗宽度的条纹图像,通过解码得到对应LED灯的三维坐标,结合单目相机视图几何算法对用户精确定位及轨迹跟踪,根据用户的导航需求规划最优路线。本发明充分利用地下车库LED灯照明兼通信功能、移动设备前置摄像头的图像采集功能,***安装成本低,面向市场有良好的推广性。
Description
技术领域
本发明涉及可见光通信领域,具体涉及一种基于可见光定位的地下车库路径导航***及方法。
背景技术
随着城市化进程的加快以及大型地下停车场的普及,人们对于地下车库定位、停车、寻车的需求日益增多。GPS信号穿透建筑物后,信号强度大幅度衰减,加上室内多径现象严重,传统的GPS在地下车库导航定位精度大幅度下降。可见光定位是一项在基础公共照明设施上增加数据传输功能就可以搭建无线通信网络的技术,移动接收端接收识别光信号并利用相应定位算法完成定位,具有安装成本低,室内定位精度高、兼顾照明与定位的优点。
发明内容
为了克服现有技术中地下车库存车取车存在的盲目性,本发明提供一种基于可见光定位的地下车库路径导航***及方法。
本发明提供一种基于可见光定位的地下车库路径导航方案及硬件***,能够有效克服现有室内停车导航方法精度低的缺点。充分利用地下车库LED灯照明兼通信功能、智能手机前置摄像头的图像采集功能,***安装成本低,面向市场有良好的推广性。
本发明采用如下技术方案:
一种基于可见光定位的地下车库路径导航***,包括发射端,移动设备接收端及服务器;
所述发射端包括LED灯及与LED灯连接的控制信号发生模块,LED灯安装在车库天花板,所述控制信号发生模块包括微控制器及调制器,所述微控制器用于存储LED灯对应的ID编号,并将ID编号转化成数字信号发送至调制器,调制器提供电流驱动LED灯发射光信号;
所述移动设备接收端,包括前置摄像头,用于获取明暗条纹并对其进行解码得到LED灯对应的ID码,发送ID码与服务器通信获得LED灯的位置信息;用户提出导航请求;
所述服务器,用于存储车库地图信息及LED灯具的ID编号-坐标库;接受移动设备接收端发送的ID码并查询LED灯的ID编号-坐标库将灯具三维坐标返回移动设备接收端;根据收到的导航请求,规划路径;实时更新车位空闲情况。
进一步地,车位的相应位置安装光电接收器,用于接收LED灯发射的光信号。
进一步地,所述前置摄像头具体采用逐行曝光的CMOS图像传感器。
一种基于可见光定位的地下车库路径导航***的方法,包括如下步骤:
S1对LED灯对应的ID编号进行信号调制,输出连续的调制波形,驱动LED灯发射光信号;
S2获取光信号形成的明暗条纹图像,解码得到LED灯对应的唯一ID码;
S3用户输入导航请求,服务器根据LED灯的坐标获取车库内具***置,结合导航请求,规划最优路径。
进一步地,所述S2中,服务器通过图像解码得到对应的LED灯的坐标,具体为:
S2.1将明暗条纹图像转化为灰度图像,灰度值大于限定阈值的区域确定LED灯的位置,分割图像中LED灯条纹区域,通过质心法得到LED灯在图像平面的二维坐标;
S2.2通过行列的扫描,获取图像中条纹的亮暗以及宽度,图像LED区域最短条纹作为单位条纹宽度,一个周期内亮暗条纹宽度分布与单位条纹宽度的比例作为LED灯ID编码信息,形如0/1信号,其中0代表暗条纹,1代表亮条纹;
S2.3根据编码信息,访问控制端存储的灯具ID-三维坐标数据库,获取对应光源信号的三维坐标信息。
进一步地,所述S3中,服务器根据LED灯的坐标获取车库内具***置,具体为采用单目相机视图几何算法;
S3.1:特征提取,本专利中相机图像内特征点为具有不同明暗条纹宽度的LED灯,且在已经得到的LED灯的图像平面二维坐标以及三维世界坐标作为3D-2D特征点对;
S3.2:特征跟踪,将当前帧图像It中检测到的特征Ft跟踪到图像It+1中,得到下一帧对应的特征Ft+1;
S3.3:恢复相机位姿T,已知LED灯特征点的图像坐标(u,v)和三维坐标(X,Y,Z),且相机内参K作为出厂时已知参数,由公式λxi=K[R|t]Xi得到相机位姿T=[R|t],具体求解公式为:
S3.4:确定终端轨迹,求得当前相机的旋转矩阵Rcurr、tcurr,对每次计算的相对量进行累加,得到相机的运动轨迹为:
所说移动设备接收端下载并存储车库的地图。
所述导航请求包括停车请求及寻车请求。
本发明的有益效果:
(1)本发明应用可见光通信技术进行定位,满足地下车库正常照明需求的同时实现室内精确定位,能够有效克服无线信号GPS穿透墙壁后信号衰减导致的室内定位精度大幅下降的缺点;
(2)本发明充分利用移动终端前置摄像头的图像采集功能,无需添置新设备增加安装成本;
(3)本发明利用调制编码LED灯具光源作为信号发端,只需在原有地下车库LED灯安装的前提下增加调制模块,大大降低了智能车库的建设成本。
(4)本发明将图像中LED灯作为特征点进行匹配或跟踪,考虑到地下车库背景光干扰少,能够精确提取特征点,结合单目视图几何算法对移动终端精确定位,在地下车库基于可见光定位的轨迹追踪具有更好地鲁棒性。
附图说明
图1是本发明的工作流程图;
图2是本发明的LED灯定位示意图;
图3是本发明的相机姿势变换估计示意图;
图4是本实施例的推荐路径与用户真实轨迹对比图。
具体实施方式
下面结合实施例及附图,对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例
如图1-图4所示,本发明基于可见光定位技术,在发射端将LED-ID标签信息通过控制信号发生模块完成编码过程,产生一系列控制信号并传输给LED驱动电路,进而控制LED灯亮灭,将编码信息向光信道空间发送出去。移动设备接收端的前置摄像头采集到光信号形成不同明暗条纹宽度的图像,通过图像解码得到对应LED灯的三维坐标,结合单目相机视图几何算法对用户精确定位及轨迹跟踪;移动设备接收端提前下载地下车库的地图,服务器结合用户当前位置信息,规划出最优路径并为用户提供实时轨迹追踪。
本发明包括发射端、移动设备接收端及服务器。
所述发射端为可见光发射端,由日常照明的LED灯及与LED灯连接的控制信号发生模块构成,所述控制信号发生模块包括微控制器及调制器,所述微控制器用于存储LED灯对应的ID编号,并将ID编号转化成数字信号发送至调制器,调制器提供电流驱动LED灯发射光信号;
所述LED灯安装在车库天花板,满足车库基本照明,发射端的调制器口控制LED灯发出相同频率的光信号,通过控制占空比控制亮暗条纹宽度。若调制占空比在高电平部分占的比例高,则条纹宽度宽。
所述移动设备接收端,具有前置摄像头,所述前置摄像头采用逐行曝光的CMOS图像传感器,对于不同占空比的调制信号可以得到不同明暗宽度的条纹,通过对这些条纹解码可以得到一串0/1序列,即LED灯ID编码信息,并发送给服务器,获得位置信息,移动设备接收端还需要下载车库地图,并根据用户提出的导航请求规划路径。
如图2所示,前置摄像头拍摄图像上有四个LED图像,对应天花板上四个LED灯,为保证图像解码过程顺利进行,需要图像中存在至少一个周期的亮暗条纹,本地下车库导航***中控制LED灯发射频率在1K-10KHZ。
所述移动设备接收端可以为用户手持的移动设备,手机或移动电脑。
所述服务器,用于存储地下车库地图信息及LED灯具的ID编号-坐标库;接受移动设备接收端发送的ID码并查询LED灯的ID编号-坐标库将灯具三维坐标返回移动设备接收端;实时更新车位空闲情况。
车库内每个车位设置光电接收器,用于接收LED灯发射的光信号,当有车停在车位上,则光电接收器接收光信号被阻挡,服务器收到光电接收器的信号,则实时更新该车位被占用,否则为未被占用。
服务器在接收到移动设备接收端提出的导航请求,结合车库内的空车位分布及用户位置信息,规划处停车寻车最优路径并为用户提供实时轨迹追踪。为确定车辆的行驶路径,运用图论的思想将车库实体样貌抽象成平面模型。
本发明的一种基于可见光定位的地下车库路径导航的方法,包括如下步骤:
S1对LED灯对应的ID编号进行信号调制,输出连续的调制波形,驱动LED灯发射光信号;
S2获取光信号形成的明暗条纹图像,解码得到LED灯对应的唯一ID码;,所述图像解码具体步骤为:
S2.1:将接收端接收的图像转换为灰度图像,灰度值大于某个阈值的区域确定为灰度图像上LED的位置,分割出图像中LED灯条纹区域,通过质心法得到LED灯在图像平面二维坐标(u,v)。
S2.2:通过行列的扫描,获取图像中条纹的亮暗以及宽度,图像LED区域最短条纹作为单位条纹宽度,一个周期内亮暗条纹宽度分布与单位条纹宽度的比例作为LED灯ID编码信息,形如0/1信号,其中0代表暗条纹,1代表亮条纹。
S2.3:根据S2.2所获取得LED灯具ID编码信息,访问服务器所存储的灯具ID-三维坐标数据库,获取对应光源信号的三维坐标信息(X,Y,Z)。
S3用户输入导航请求,服务器根据LED灯的坐标获取车库内具***置,结合导航请求,规划最优路径。
将LED灯作为图像中特征点处理,并利用单目相机视图几何算法提取特征、特征跟踪、恢复相机位姿,最终确定终端的轨迹。上述解码过程得到图像内LED灯的三维坐标信息(X,Y,Z),在图像坐标系上LED灯对应的二维像素坐标(u,v),作为LED特征点对的3D-2D信息。
获取车库内LED灯的具***置,采用单目相机视图几何算法,包括:
S3.1:特征提取,本专利中相机图像内特征点为具有不同明暗条纹宽度的LED灯,且在已经得到的LED灯的图像平面二维坐标以及三维世界坐标作为3D-2D特征点对;
S3.2:特征跟踪,将当前帧图像It中检测到的特征Ft跟踪到图像It+1中,得到下一帧对应的特征Ft+1;
S3.3:恢复相机位姿T,已知LED灯特征点的图像坐标(u,v)和三维坐标(X,Y,Z),且相机内参K作为出厂时已知参数,由公式λxi=K[R|t]Xi得到相机位姿T=[R|t],具体求解公式为:
S3.4:确定终端轨迹,求得当前相机的旋转矩阵Rcurr、tcurr,对每次计算的相对量进行累加,得到相机的运动轨迹为:
***推荐路径与用户真实轨迹图如图4所示。其中,蓝色轨迹为***结合用户当前位置以及目的地推荐的最短路径,绿色轨迹为用户在地下车库内按照推荐路径行走的跟踪轨迹。由于仅用到CMOS图像传感器定位,用户轨迹是通过相对量累加的方式生成的,与此同时,误差也会随着用户行走距离的增加而增大,但在地下车库环境下,该方案完全能够满足用户进行寻车、停车的需求。
进一步的,移动设备接收端与服务器交互得到地下车库地图信息,结合下载好的车库地图信息以及***推荐路径,用户在移动终端参考这些信息引导用户寻车、停车。与此同时,在用户行走过程中,该方案能实时生成用户行走的轨迹。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.一种基于可见光定位的地下车库路径导航***的方法,其特征在于,
地下车库路径导航***包括发射端,移动设备接收端及服务器;
所述发射端包括LED灯及与LED灯连接的控制信号发生模块,LED灯安装在车库天花板,所述控制信号发生模块包括微控制器及调制器,所述微控制器用于存储LED灯对应的ID编号,并将ID编号转化成数字信号发送至调制器,调制器提供电流驱动LED灯发射光信号;
所述移动设备接收端,包括前置摄像头,用于获取明暗条纹并对其进行解码得到LED灯对应的ID码,发送ID码与服务器通信获得LED灯的位置信息;用户提出导航请求;
所述服务器,用于存储车库地图信息及LED灯具的ID编号-坐标库;接受移动设备接收端发送的ID码并查询LED灯的ID编号-坐标库将灯具三维坐标返回移动设备接收端;根据收到的导航请求,规划路径;实时更新车位空闲情况;
所述方法包括如下步骤:
S1对LED灯对应的ID编号进行信号调制,输出连续的调制波形,驱动LED灯发射光信号;
S2获取光信号形成的明暗条纹图像,解码得到LED灯对应的唯一ID码;
S3用户输入导航请求,服务器根据LED灯的坐标获取车库内具***置,结合导航请求,规划最优路径;
所述S3中,服务器根据LED灯的坐标获取车库内具***置,具体为采用单目相机视图几何算法;
S3.1:特征提取,相机图像内特征点为具有不同明暗条纹宽度的LED灯,且在已经得到的LED灯的图像平面二维坐标以及三维世界坐标作为3D-2D特征点对;
S3.2:特征跟踪,将当前帧图像It中检测到的特征Ft跟踪到图像It+1中,得到下一帧对应的特征Ft+1;
S3.3:恢复相机位姿T,已知LED灯特征点的图像坐标(u,v)和三维坐标(X,Y,Z),且相机内参K作为出厂时已知参数,由公式λxi=K[R|t]Xi得到相机位姿T=[R|t],具体求解公式为:
S3.4:确定终端轨迹,求得当前相机的旋转矩阵Rcurr、tcurr,对每次计算的相对量进行累加,得到相机的运动轨迹为:
2.根据权利要求1所述的方法,其特征在于,车位的相应位置安装光电接收器,用于接收LED灯发射的光信号。
3.根据权利要求1所述的方法,其特征在于,所述前置摄像头具体采用逐行曝光的CMOS图像传感器。
4.根据权利要求1所述的方法,其特征在于,所述S2中,服务器通过图像解码得到对应的LED灯的坐标,具体为:
S2.1将明暗条纹图像转化为灰度图像,灰度值大于限定阈值的区域确定LED灯的位置,分割图像中LED灯条纹区域,通过质心法得到LED灯在图像平面的二维坐标;
S2.2通过行列的扫描,获取图像中条纹的亮暗以及宽度,图像LED区域最短条纹作为单位条纹宽度,一个周期内亮暗条纹宽度分布与单位条纹宽度的比例作为LED灯ID编码信息,形如0/1信号,其中0代表暗条纹,1代表亮条纹;S2.3根据编码信息,访问控制端存储的灯具ID-三维坐标数据库,获取对应光源信号的三维坐标信息。
5.根据权利要求1所述的方法,其特征在于,所述移动设备接收端下载并存储车库的地图。
6.根据权利要求1所述的方法,其特征在于,所述导航请求包括停车请求及寻车请求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910011198.6A CN109861752B (zh) | 2019-01-07 | 2019-01-07 | 一种基于可见光定位的地下车库路径导航***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910011198.6A CN109861752B (zh) | 2019-01-07 | 2019-01-07 | 一种基于可见光定位的地下车库路径导航***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109861752A CN109861752A (zh) | 2019-06-07 |
CN109861752B true CN109861752B (zh) | 2021-09-21 |
Family
ID=66894031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910011198.6A Active CN109861752B (zh) | 2019-01-07 | 2019-01-07 | 一种基于可见光定位的地下车库路径导航***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109861752B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111505577A (zh) * | 2020-04-27 | 2020-08-07 | 湖南大学 | 基于可见光通信的移动车辆定位方法 |
CN112511226B (zh) * | 2020-11-12 | 2022-01-28 | 暨南大学 | 可见光通信技术中照明、定位、通信三用的编码方法 |
CN112382128A (zh) * | 2020-11-24 | 2021-02-19 | 北京建筑大学 | 停车位状态检测方法及*** |
CN112995911B (zh) * | 2021-03-05 | 2023-05-05 | 浙江万里学院 | 基于可见光通信的智慧物流定位方法 |
CN113686341A (zh) * | 2021-08-23 | 2021-11-23 | 中建照明有限公司 | 一种基于lifi的视障人士室内导航方法及*** |
CN116232458B (zh) * | 2022-12-06 | 2024-03-29 | 重庆邮电大学 | 确保连贯定位和通信的可见光混合定位与通信方法及*** |
CN117636297A (zh) * | 2023-11-20 | 2024-03-01 | 苏州大学 | 一种基于可见光通信的前车驾驶意图辨识***及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105783872A (zh) * | 2014-12-22 | 2016-07-20 | 哈尔滨飞羽科技有限公司 | 一种基于单目视觉技术的动态点目标运动轨迹测算方法 |
CN106875735A (zh) * | 2017-03-30 | 2017-06-20 | 深圳市科漫达智能管理科技有限公司 | 基于可见光通信的室内停车导航方法及导航终端 |
CN106871862A (zh) * | 2017-02-14 | 2017-06-20 | 上海源斌电子科技有限公司 | 一种基于运动轨迹的单目测距方法 |
CN107240295A (zh) * | 2017-07-27 | 2017-10-10 | 中航联创科技有限公司上海分公司 | 基于可见光相机通信的地下停车场导航*** |
CN107255524A (zh) * | 2017-04-26 | 2017-10-17 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于移动设备摄像头检测led光源的频率的方法 |
CN207218700U (zh) * | 2017-08-16 | 2018-04-10 | 华南理工大学 | 一种基于可见光通信的单目定位*** |
CN108416840A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于单目相机的三维场景稠密重建方法 |
CN108572348A (zh) * | 2018-06-06 | 2018-09-25 | 华南理工大学 | 一种室内可见光视觉定位方法及其硬件*** |
CN108573609A (zh) * | 2017-03-09 | 2018-09-25 | 上海三思电子工程有限公司 | 停车场所用户引导方法、装置及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070147671A1 (en) * | 2005-12-22 | 2007-06-28 | Eastman Kodak Company | Analyzing radiological image using 3D stereo pairs |
-
2019
- 2019-01-07 CN CN201910011198.6A patent/CN109861752B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105783872A (zh) * | 2014-12-22 | 2016-07-20 | 哈尔滨飞羽科技有限公司 | 一种基于单目视觉技术的动态点目标运动轨迹测算方法 |
CN106871862A (zh) * | 2017-02-14 | 2017-06-20 | 上海源斌电子科技有限公司 | 一种基于运动轨迹的单目测距方法 |
CN108573609A (zh) * | 2017-03-09 | 2018-09-25 | 上海三思电子工程有限公司 | 停车场所用户引导方法、装置及*** |
CN106875735A (zh) * | 2017-03-30 | 2017-06-20 | 深圳市科漫达智能管理科技有限公司 | 基于可见光通信的室内停车导航方法及导航终端 |
CN107255524A (zh) * | 2017-04-26 | 2017-10-17 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于移动设备摄像头检测led光源的频率的方法 |
CN107240295A (zh) * | 2017-07-27 | 2017-10-10 | 中航联创科技有限公司上海分公司 | 基于可见光相机通信的地下停车场导航*** |
CN207218700U (zh) * | 2017-08-16 | 2018-04-10 | 华南理工大学 | 一种基于可见光通信的单目定位*** |
CN108416840A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于单目相机的三维场景稠密重建方法 |
CN108572348A (zh) * | 2018-06-06 | 2018-09-25 | 华南理工大学 | 一种室内可见光视觉定位方法及其硬件*** |
Non-Patent Citations (2)
Title |
---|
Range and motion estimation of a monocular camera using static and moving objects;Dongkyoung Chwa等;《IEEE Transactions on Control Systems Technology》;20151230;全文 * |
基于单目相机的运动轨迹与目标检测技术的研究;宋少雷;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109861752A (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109861752B (zh) | 一种基于可见光定位的地下车库路径导航***及方法 | |
CN203519822U (zh) | 基于可见光的室内定位装置和*** | |
US10578705B2 (en) | System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system | |
JP6212753B2 (ja) | 可視光源、モバイル端末、及びコントローラに基づく位置決定方法 | |
US10062178B2 (en) | Locating a portable device based on coded light | |
CN108495251B (zh) | 一种基于蓝牙和led光定位的组合定位方法 | |
KR100669250B1 (ko) | 인공표식 기반의 실시간 위치산출 시스템 및 방법 | |
CN108496057A (zh) | 基于照明源定位 | |
CN107063266A (zh) | 基于室内led灯和智能手机摄像头实现室内定位的方法 | |
CN109063212A (zh) | 一种基于可见光通信的智能辅助导购***及方法 | |
CN110471403B (zh) | 通过光通信装置对能够自主移动的机器进行导引的方法 | |
CN110531318B (zh) | 一种用于可见光成像室内定位扩展发光单元id的方法 | |
CN113132006B (zh) | 一种基于图像传感器的移动车辆高精度可见光定位方法 | |
CN115691208A (zh) | 一种基于可见光定位技术的室内车辆导航***及方法 | |
CN108169711A (zh) | 一种基于可见光的移动机器人马尔可夫定位方法 | |
CN211718515U (zh) | 一种基于手机摄像头的可见光室内定位*** | |
CN114399921A (zh) | 一种地下停车场空闲车位检测方法及*** | |
Kampmann et al. | Investigating Outdoor Recognition Performance of Infrared Beacons for Infrastructure-based Localization | |
Zhang et al. | Indoor visible light localization method based on embedded artificial intelligence | |
CN108346309A (zh) | 一种基于显像通信的地下车场定位寻车***及方法 | |
CN109871772A (zh) | 一种人数的统计方法、装置、存储介质及设备 | |
Mai et al. | Navigation System for Indoor Parking Based on Visible Light Communication. | |
CN114485682B (zh) | 一种基于slam技术的定位方法 | |
Gu et al. | Led visible light localization based on illuminance analysis | |
CN114488006A (zh) | 一种定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |