CN106446859A - 利用手机前置摄像头自动识别人眼中黑点和血丝的方法 - Google Patents

利用手机前置摄像头自动识别人眼中黑点和血丝的方法 Download PDF

Info

Publication number
CN106446859A
CN106446859A CN201610877173.0A CN201610877173A CN106446859A CN 106446859 A CN106446859 A CN 106446859A CN 201610877173 A CN201610877173 A CN 201610877173A CN 106446859 A CN106446859 A CN 106446859A
Authority
CN
China
Prior art keywords
image
point
eye
interpolation
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610877173.0A
Other languages
English (en)
Other versions
CN106446859B (zh
Inventor
那彦
赵丽
高兴鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201610877173.0A priority Critical patent/CN106446859B/zh
Publication of CN106446859A publication Critical patent/CN106446859A/zh
Application granted granted Critical
Publication of CN106446859B publication Critical patent/CN106446859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种利用手机前置摄像头自动识别人眼中黑点和血丝的方法。其方案是:1)通过智能手机上的距离传感器识别人像与摄像头之间的距离d;2)在距离d大于阈值D的距离范围内保持手机所成图像原分辨率不变,在距离d小于阈值D时进行插值,提高所成图像分辨率使相机中能更精确显示人眼图像;3)对插值后人眼图像依次做图像灰度化、sobel边缘检测、图像分割、图像二值化处理;4)从处理过的人眼图像中切割出单眼图像;5)识别单眼图像中出现的血丝和黑点;6)并自动给用户提示。本发明将智能手机与健康生活相结合,可用于增加手机的功能,以提供对人体眼部出现的微小血丝和黑点的自动识别及提示。

Description

利用手机前置摄像头自动识别人眼中黑点和血丝的方法
技术领域
本发明属于图像处理技术领域,特别涉及一种提高前置摄像头所成图像分辨率及自动识别人眼中黑点和血丝的方法,可用于增加手机的功能。
随着科学技术的进步,拥有智能手机已经成为普遍现象,而人们对健康生活的要求也越来越高。人们除了用手机进行基础通信外,还时常运用手机前置摄像头自拍,但在调节焦距期望得到更加细节的信息时,却降低了清晰度,并不能得到很清晰的影像。此外,人们也常用前置摄像头充当镜子,既希望看到全局又看到局部,而且在看局部时,希望越清晰越好,因此调节摄像头焦距,但是同样得不到很清晰的影像,因而不能很好的观察到自己面部更加细节的一些信息。
现在市场上主流的高配版手机,其前置摄像头的像素大多都要比后置摄像头像素低很多,例如华为P9前置摄像头像素为800万像素,中兴ZTE AKON天机7前置摄像头像素为800万像素,iphone7前置摄像头像素为700万像素,OPPO R9前置摄像头像素为1600万像素,这些主流的高配手机前置摄像头在近距离拉近时均会出现细小麻点,特别是当人们利用手机前置摄像头拍摄功能充当镜子要观测自己眼部的细节信息时,却不能通过调节摄像头焦距看到清晰的影像,而且对于眼部的血丝和黑点这些细节信息也没有一个自动的识别的功能,远远不能满足人们日益增长的对健康的需求。
发明内容
本发明的目的在于针对上述现有技术的不足,提供一种利用手机前置摄像头自动识别人眼中黑点和血丝的方法,以满足人们日益增长的对健康的需求。
为实现上述目的,本发明的技术方案包括如下:
(1)通过智能手机上的距离传感器识别人像与摄像头之间的距离d;
(2)设定距离阈值R=1m,将人像与摄像头之间的距离d与设定的阈值R进行比较:若d>R,则保持手机所成图像原分辨率不变;若d<R,则执行步骤(3);
(3)利用双线性插值算法对前置摄像头所成图像进行插值,插值个数N为的整数倍,使相机中能更精确显示人眼图像;
(4)对插值后的人眼图像进行灰度化和sobel算子边缘检测,并根据边缘检测结果寻找x,y方向人眼的区域,舍弃不是人眼区域的点,完成人眼裁剪,再对裁剪后的人眼图像进行二值化处理得到二值化图像;
(5)对二值化图像进行横向和纵向计算,扫描分割出单眼图像,并用邻插值算法将单眼图像k归一化为32*16大小的单眼图像h;
(6)选择大小为32*16且没有血丝和黑点的正常人单眼二值化图像,作为模板图像H,并用模版图像H与归一化单眼图像h做差获得人眼差值图像h’;
(7)对差值图像h’切割得到异样点图像h”,通过邻插值算法将异样点图像h”归一化为32*16大小的异样点图像h”’;
(8)计算归一化后异样点图像h”’中的白色点数C,并计算白色点数C与32*16的信息比g;
(9)设置判断黑点和血丝点的阈值G=0.6835,比较g与G的大小,若g=<G,则判为眼睛有黑点,若1>g>G,则判为眼睛有血丝点,若g=1,则判为眼睛正常;
(10)在前置摄像头照相界面向用户显示判定结果。
本发明具有如下优点:
1.本发明在手机前置摄像头的拍照功能基础上,首先利用插值技术提高拍照所成图像的分辨率,在将手机拍照所成图像分辨率提高的基础上,自动识别使用者眼中的血丝和黑点,不仅能提升现有手机前置摄像头的性能,而且更能增加用户拍照体验,使人们的生活更加智能便捷;
2.本发明能够根据人像与手机之间的距离,动态调节手机前置摄像头拍照所成图像的分辨率。使得此距离越近,图像的分辨率越高,这样就可使人们能更清晰的看到眼部细小的特征;
3.本发明能够自动识别人眼部存在的微小的血丝和黑点,为用户及时了解自己的眼睛状况提供了方便。
附图说明
图1是本发明的实现流程图;
图2是本发明中双线性插值原理图;
图3是本发明中相机分辨率与距离d的关系图;
具体实施方式
以下结合附图对本发明做详细说明:
参照图1,本发明的实现步骤如下:
步骤1,获取人像与摄像头之间的距离,即通过读取手机距离传感器测得人像与摄像头之间的距离d。
步骤2,根据距离d判断是否改变前置摄像头所成图像的分辨率。
(2a)设定距离阈值R=1m,将人像与摄像头之间的距离d与设定的阈值R进行比较:若d>R,则保持所成图像分辨率不变;若d<R,则执行步骤(2b);
(2b)利用双线性插值算法对前置摄像头所成的人像进行插值,插值个数N为的整数倍,使相机中能更精确显示人眼图像;
(2c)从人像图像的坐标(0,0)点开始,依次扫描该图像中的所有像素点,令扫描到的像素点坐标为(x,y),再以(x,y)为基础得到四个扫描像素点,分别为A(x,y),B(x+1,y),C(x,y+1),D(x+1,y+1),令这些扫描像素点的大小分别为f(A),f(B),f(C),f(D);
(2d)根据人像与摄像头之间的距离d确定以A(x,y),B(x+1,y),C(x,y+1),D(x+1,y+1)四点所围成的正方体区域中的插值点的个数为:其中常数δ=10;
(2e)利用双线性插值算法,确定A(x,y),B(x+1,y),C(x,y+1),D(x+1,y+1)四点中插值点的坐标和插值点像素的大小:
(2e1)设最后插值点的坐标为(x’,y’),如图2所示。
(2e2)计算x轴方向的插值点:
先计算出A(x,y),B(x+1,y)的中间插值点P1(x’,y),插值点P1的像素大小为:
f(P1)=(x+1-x’)*f(A)+(x’-x)*f(B);
再计算出C(x,y+1),D(x+1,y+1)的中间插值点P2(x’,y),插值点像素的大小为:
f(P2)=(x+1-x’)*f(C)+(x’-x)*f(D);
(2e3)用M(x’,y’)表示P1(x’,y)与P2(x’,y)之间的插值点,该插值点像素的大小为:
由上式可知,当(x,y)确定,则插值点坐标大小x’是在(x,x+1)之间取值,y’是在(y,y+1)之间取值;
(2e4)进一步确定A(x,y),B(x+1,y),C(x,y+1),D(x+1,y+1)四点中插值点的坐标为该插值点像素的大小为:
其中n=1,2...N;
(2e5)完成插值之后所成图像分辨率与距离d的关系图如图3所示。
步骤3,对插值后人眼图像进行预处理。
(3a)灰度化人眼图像,即采用图像处理的工具函数rgb2gray函数使彩色图像变为灰度图像;
(3b)检测图像边缘
检测图像边缘可以用的算子有robert算子、sobel算子、prewitt算子、krisch算子、laplacian算子、gauss-laplacian算子等,本步骤用的是sobel边缘检测。
步骤4,人眼裁剪。
(4a)对检测出的人眼图像进行腐蚀,即用图像处理基本函数imerode移除人眼中的小对象区域,除去分割干扰项;
(4b)扫描寻找x,y方向人眼的区域,舍弃不是人眼区域的点完成人眼裁剪。
步骤5,二值化裁剪后的人眼图像
(5a)获取二值化最佳阈值T:
获取阈值的算法有双峰法、P参数法、Otsu法、最大阈值法、最佳阈值法等,本实例采用最佳阈值法获取二值化最佳阈值T;
(5b)从裁剪后的人眼图像的坐标(0,0)点开始,依次扫描该图像中的所有像素点,令扫描到的像素点坐标为(x,y),像素值大小为f(x,y);
(5c)将像素值f(x,y)与阈值T做比较,若像素值f(x,y)小于阈值T,则f(x,y)为0,若像素值f(x,y)大于等于阈值T,则f(x,y)为1。
步骤6,分割单眼图像。
从二值化后人眼图像的坐标(0,0)点开始,依次扫描该图像中的所有像素,分别舍弃x方向像素求和为0的点,及y方向上像素求和为0的点,分割出两个单眼图像,即左眼图像k1和右眼图像k2。
步骤7,归一化左眼图像,用邻插值算法将左眼图像k1归一化为32*16大小的左眼图像h1。
(7a)对左眼图像k1做几何变换,得到大小为32*16的变换后图像k’;
(7b)从变换后求得图像k’的坐标(0,0)点开始,依次扫描该图像中的所有像素点(x’,y’),寻找左眼图像k1中距离(x’,y’)最近的点(x,y),令(x’,y’)点的像素值k’(x’,y’)等于(x,y)点的像素值k(x,y),此时得到的图像k’即为左眼图像h1;
用同样的方法处理右眼图像得到归一化为32*16大小的右眼图像h2。
步骤8,获得到人眼差值图像。
(8a)选择大小为32*16且没有血丝和黑点的正常人左眼二值化图像,作为左眼模板图像H1,并用左眼模版图像H1与归一化左眼图像h1做差获得左眼差值图像h1’;
(8b)选择大小为32*16且没有血丝和黑点的正常人右眼二值化图像,作为右眼模板图像H2,并用右眼模版图像H2与归一化右眼图像h2做差获得右眼差值图像h2’;
步骤9,获得异样点图像。
(9a)对左眼差值图像h1’切割得到左眼异样点图像h1”,通过邻插值算法将左眼异样点图像h1”归一化为32*16大小的左眼异样点图像h1”’;
(9a)对右眼差值图像h2’切割得到右眼异样点图像h2”,通过邻插值算法将右异样点图像h2”归一化为32*16大小的右眼异样点图像h2”’。
步骤10,计算信息比。
(10a)计算归一化后左眼异样点图像h1”’中的白色点数C1,即从左眼异样点图像h1”’的坐标(0,0)点开始,扫描该图像的所有像素点,对像素值为1的点求和,得到左眼中白色点数C1,并计算左眼中白色点数C1与32*16的信息比g1;
(10b)计算归一化后右眼异样点图像h2”’中的白色点数C2,即从右眼异样点图像h2”’的坐标(0,0)点开始,扫描该图像的所有像素点,对像素值为1的点求和,得到右眼中白色点数C2,并计算右眼中白色点数C2与32*16的信息比g2;
步骤11,判定是否有血丝和黑点。
(11a)设置判断黑点和血丝点的阈值G=0.6835;
(11b)比较g1与G的大小,若g1=<G,则判为左眼中有黑点,若1>g1>G,则判为左眼中有血丝,若g1=1,则判为左眼正常;
(11b)比较g2与G的大小,若g2=<G,则判为右眼中有黑点,若1>g2>G,则判为右眼中有血丝点,若g2=1,则判为右眼正常。
步骤12,在前置摄像头照相界面向用户提示判定结果。
使用者可根据手机的提示及时去医院就诊治疗,以免耽误病情,保护眼睛健康。
以上描述仅是本发明的一个具体实例,显然对于本领域的专业人员来说,在了解了本发明内容和原理后,都可能在不背离本发明原理、结构的情况下,进行形式和细节上的各种修正和改变,但是这些基本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种利用手机前置摄像头自动识别人眼中黑点和血丝的方法,包括如下步骤:
(1)通过智能手机上的距离传感器识别人像与摄像头之间的距离d;
(2)设定距离阈值R=1m,将人像与摄像头之间的距离d与设定的阈值R进行比较:若d>R,则保持手机所成图像原分辨率不变;若d<R,则执行步骤(3);
(3)利用双线性插值算法对前置摄像头所成图像进行插值,插值个数N为的整数倍,使相机中能更精确显示人眼图像;
(4)对插值后的人眼图像进行灰度化和sobel算子边缘检测,并根据边缘检测结果寻找x,y方向人眼的区域,舍弃不是人眼区域的点,完成人眼裁剪,再对裁剪后的人眼图像进行二值化处理得到二值化图像;
(5)对二值化图像进行横向和纵向计算,扫描分割出单眼图像,并用邻插值算法将单眼图像k归一化为32*16大小的单眼图像h;
(6)选择大小为32*16且没有血丝和黑点的正常人单眼二值化图像,作为模板图像H,并用模版图像H与归一化单眼图像h做差获得人眼差值图像h’;
(7)对差值图像h’切割得到异样点图像h”,通过邻插值算法将异样点图像h”归一化为32*16大小的异样点图像h”’;
(8)计算归一化后异样点图像h”’中的白色点数C,并计算白色点数C与32*16的信息比g;
(9)设置判断黑点和血丝点的阈值G=0.6835,比较g与G的大小,若g=<G,则判为眼睛有黑点,若1>g>G,则判为眼睛有血丝点,若g=1,则判为眼睛正常;
(10)在前置摄像头照相界面向用户显示判定结果。
2.根据权利要求1所述的方法,其中步骤(3)中利用双线性插值算法对前置摄像头所成的图像进行插值,按如下步骤进行:
(3a)从人像图像的坐标(0,0)点开始,依次扫描该图像中的所有像素点,令扫描到的像素点坐标为(x,y),再以(x,y)为基础得到四个扫描像素点,分别为A(x,y),B(x+1,y),C(x,y+1),D(x+1,y+1),令这些扫描像素点的大小分别为f(A),f(B),f(C),f(D);
(3b)根据人像与摄像头之间的距离d确定以A(x,y),B(x+1,y),C(x,y+1),D(x+1,y+1)四点所围成的正方体区域中的插值点的个数为:其中常数δ=10,距离阈值R=1m;
(3c)确定A(x,y),B(x+1,y),C(x,y+1),D(x+1,y+1)四点中插值点的坐标为计算插值点像素的大小为:
f ( x + n N , y + n N ) = &lsqb; 1 - n N n N &rsqb; f ( A ) f ( B ) f ( C ) f ( D ) 1 - n N n N
其中n=1,2...N。
3.根据权利要求1所述的方法,其中步骤(4)中对裁剪后的人眼图像进行二值化处理,按如下步骤进行:
(4a)利用最大方差阈值分割法获取二值化最佳阈值T;
(4b)从裁剪后的人眼图像的坐标(0,0)点开始,依次扫描该图像中的所有像素点,令扫描到的像素点坐标为(x,y),像素值大小为f(x,y);
(4c)将像素值f(x,y)与阈值T做比较,若像素值f(x,y)小于阈值T,则f(x,y)为0,若像素值f(x,y)大于等于阈值T,则f(x,y)为1。
4.根据权利要求1所述的方法,其中步骤(5)中用邻插值算法将单眼图像归一化为32*16大小的单眼图像h,按如下步骤进行:
(5a)将单眼图像k做几何变换,得到大小为32*16的变换后图像k’;
(5b)从变换后图像k’的坐标(0,0)点开始,依次扫描该图像中的所有像素点(x’,y’),寻找单眼图像k中距离(x’,y’)最近的点(x,y),令(x’,y’)点的像素值k’(x’,y’)等于(x,y)点的像素值k(x,y),此时得到的图像k’即为单眼图像h。
5.根据权利要求1所述的方法,其中步骤(8)中计算归一化后异样点图像h”’中的白色点数C,是从异样点图像h”’的坐标(0,0)点开始,扫描该图像的所有像素点,对像素值为1的点求和,得到白色点数C。
CN201610877173.0A 2016-10-08 2016-10-08 利用手机前置摄像头自动识别人眼中黑点和血丝的方法 Active CN106446859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610877173.0A CN106446859B (zh) 2016-10-08 2016-10-08 利用手机前置摄像头自动识别人眼中黑点和血丝的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610877173.0A CN106446859B (zh) 2016-10-08 2016-10-08 利用手机前置摄像头自动识别人眼中黑点和血丝的方法

Publications (2)

Publication Number Publication Date
CN106446859A true CN106446859A (zh) 2017-02-22
CN106446859B CN106446859B (zh) 2019-11-01

Family

ID=58171581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610877173.0A Active CN106446859B (zh) 2016-10-08 2016-10-08 利用手机前置摄像头自动识别人眼中黑点和血丝的方法

Country Status (1)

Country Link
CN (1) CN106446859B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472772B (zh) * 2018-09-29 2020-12-01 歌尔光学科技有限公司 图像污点检测方法、装置和设备
CN112022083A (zh) * 2020-07-31 2020-12-04 上海理工大学 一种基于双向扫描的中央凹定位方法及***
CN113040704A (zh) * 2020-11-23 2021-06-29 泰州国安医疗用品有限公司 基于血丝分布状态的便携式诊断平台及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463102A (zh) * 2014-11-07 2015-03-25 中国石油大学(华东) 一种基于逐点扫描的人眼定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463102A (zh) * 2014-11-07 2015-03-25 中国石油大学(华东) 一种基于逐点扫描的人眼定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LU JING等: "An Improved Bilinear Interpolation Algorithm of Converting Standard-definition Television Images to High-definition Television Images", 《2009 WASE INTERNATIONAL CONFERENCE ON INFORMATION ENGINEERING》 *
吴聪等: "基于卷积神经网络的眼球血丝诊断", 《软件导刊》 *
马文刚: "基于计算机视觉的人眼行为识别算法分析", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472772B (zh) * 2018-09-29 2020-12-01 歌尔光学科技有限公司 图像污点检测方法、装置和设备
CN112022083A (zh) * 2020-07-31 2020-12-04 上海理工大学 一种基于双向扫描的中央凹定位方法及***
CN113040704A (zh) * 2020-11-23 2021-06-29 泰州国安医疗用品有限公司 基于血丝分布状态的便携式诊断平台及方法

Also Published As

Publication number Publication date
CN106446859B (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
KR101390756B1 (ko) 안면 특징 검출 방법 및 장치
KR100617390B1 (ko) 얼굴 식별 장치, 얼굴 식별 방법 및 기록매체
TWI224287B (en) Iris extraction method
KR100682889B1 (ko) 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4328286B2 (ja) 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
US8154591B2 (en) Eyelid opening level determination device and computer readable medium storing computer program thereof
US20040037460A1 (en) Method for detecting objects in digital images
US20020191818A1 (en) Face detection device, face pose detection device, partial image extraction device, and methods for said devices
TWI398157B (zh) 影像邊界掃描系統及方法
CN105139404A (zh) 一种可检测拍摄质量的证照相机及拍摄质量检测方法
WO2007046477A1 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
CN106446859A (zh) 利用手机前置摄像头自动识别人眼中黑点和血丝的方法
CN102860814A (zh) 一种oct合成眼底图视盘中心定位方法及设备
JP4729188B2 (ja) 視線検出装置
GB2598016A (en) Biometric authentication apparatus and biometric authentication method
CN110751690B (zh) 铣床刀头视觉定位方法
CN114980800A (zh) 屈光图形生成方法、装置及计算机可读存储介质
CN111476175A (zh) 适用于老年人脸比对的自适应拓扑图匹配方法及***
CN109034051A (zh) 人眼定位方法
TW200527319A (en) Chin detecting method, chin detecting system and chin detecting program for a chin of a human face
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
JP2005209137A (ja) 対象物認識方法及び対象物認識装置、並びに顔方向識別装置
JP4664805B2 (ja) 顔端検出装置、顔端検出方法、及び、プログラム
JP2004213589A (ja) 特定部分姿勢推定装置
LU505113B1 (en) A Beauty Makeup Assisting Method And An Electronic Device And a Storage Medium For Visually Impaired Groups

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared