CN115620302B - 一种图片字体识别方法、***、电子设备及存储介质 - Google Patents

一种图片字体识别方法、***、电子设备及存储介质 Download PDF

Info

Publication number
CN115620302B
CN115620302B CN202211465103.6A CN202211465103A CN115620302B CN 115620302 B CN115620302 B CN 115620302B CN 202211465103 A CN202211465103 A CN 202211465103A CN 115620302 B CN115620302 B CN 115620302B
Authority
CN
China
Prior art keywords
character
areas
enhanced image
text
outline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211465103.6A
Other languages
English (en)
Other versions
CN115620302A (zh
Inventor
牟文青
王晓菲
杨西帅
姜远鹏
吴忠洋
王冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jerei Digital Technology Co Ltd
Original Assignee
Shandong Jerei Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jerei Digital Technology Co Ltd filed Critical Shandong Jerei Digital Technology Co Ltd
Priority to CN202211465103.6A priority Critical patent/CN115620302B/zh
Publication of CN115620302A publication Critical patent/CN115620302A/zh
Application granted granted Critical
Publication of CN115620302B publication Critical patent/CN115620302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/1801Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/15Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • G06V30/19013Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • G06V30/19093Proximity measures, i.e. similarity or distance measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种图片字体识别方法、***、电子设备及存储介质,涉及文字识别领域,该方法包括:对待识别图片进行预处理,获得文字轮廓图像;增强文字轮廓图像的饱和度和对比度,获得文字轮廓增强图像;将文字轮廓增强图像进行区域划分,划分为设定数量的区域;获取文字轮廓增强图像中各区域的特征值;将文字轮廓增强图像的特征值与字模库中各文字的特征值进行相似度匹配,获得多个匹配值,将最高匹配值对应的字模库中文字信息输出,文字信息包括字形和字体类型;字模库中每条信息包括字形、字体类型和各区域的特征值;文字轮廓增强图像的特征值包括文字轮廓增强图像各区域的特征值。本发明提高了图片中文字识别的准确性。

Description

一种图片字体识别方法、***、电子设备及存储介质
技术领域
本发明涉及文字识别技术领域,特别是涉及一种图片字体识别方法、***、电子设备及存储介质。
背景技术
随着科技发展趋于智能化数字化,提取图片文字需求日益增多。人们对可视化操作越发依赖,对于图像文字识别技术而言,识别技术逐渐成熟。光学字符识别(OpticalCharacter Recognition,OCR)就是图像文字识别技术中的一种。然而,大多数人的字体识别能力是非常有限的,因为目前的常用文字(如中文、英文)字体繁多,可能高达数千种,且某些字体类别之间的差异微乎其微,即使是专业人士,也需要长时间的记忆训练才能具备一定的字体识别能力,而且能分辨的字体类别也是有限的,因此,基于图片的字体识别技术在文档图像处理和艺术设计领域一直是一项重要的技术,尤其相较设计行业而言,方便快捷的转化识别图片上的字体并且输出相应内容的字体格式显得尤为重要,尤其人们对知识产权更加重视,字体版权相关信息,也是需要考虑的因素。
发明内容
本发明的目的是提供一种图片字体识别方法、***、电子设备及存储介质,提高了图片中文字识别的准确性和全面性。
为实现上述目的,本发明提供了如下方案:
一种图片字体识别方法,包括:
对待识别图片进行预处理,获得文字轮廓图像;
增强所述文字轮廓图像的饱和度和对比度,获得文字轮廓增强图像;
将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域;
获取所述文字轮廓增强图像中各区域的特征值;
将所述文字轮廓增强图像的特征值与字模库中各文字的特征值进行相似度匹配,获得多个匹配值,将最高匹配值对应的所述字模库中文字信息输出,所述文字信息包括字形和字体类型;所述字模库中每条信息包括字形、字体类型和各区域的特征值;所述文字轮廓增强图像的特征值包括所述文字轮廓增强图像各区域的特征值,所述字模库中各文字的特征值包括各文字对应的各区域的特征值。
可选地,所述将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域,具体包括:
按照九宫格形式将所述文字轮廓增强图像划分为9个区域。
可选地,所述字模库的构建过程包括:
获取各种开源字体文字;
将各开源字体文字进行区域划分,划分为设定数量的区域;
获取各开源字体文字对应的各区域的特征值;
将各开源字体文字的字形、字体类型和各区域的特征值存储所述字模库;一个开源文字对应一条存储信息。
可选地,所述对待识别图片进行预处理,获得文字轮廓图像,具体包括:
对所述待识别图片进行背景阈值化处理,获得文字轮廓图像。
可选地,所述字体包括黑体、宋体和楷体。
本发明公开了一种图片字体识别***,包括:
文字轮廓图像获取模块,用于对待识别图片进行预处理,获得文字轮廓图像;
文字轮廓图像增强模块,用于增强所述文字轮廓图像的饱和度和对比度,获得文字轮廓增强图像;
区域划分模块,用于将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域;
特征值获取模块,用于获取所述文字轮廓增强图像中各区域的特征值;
特征值匹配模块,用于将所述文字轮廓增强图像的特征值与字模库中各文字的特征值进行相似度匹配,获得多个匹配值,将最高匹配值对应的所述字模库中文字信息输出,所述文字信息包括字形和字体类型;所述字模库中每条信息包括字形、字体类型和各区域的特征值;所述文字轮廓增强图像的特征值包括所述文字轮廓增强图像各区域的特征值,所述字模库中各文字的特征值包括各文字对应的各区域的特征值。
本发明还公开了一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行所述的图片字体识别方法。
本发明还公开了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现所述的图片字体识别方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明获得待识别图片中文字各区域的特征值,将各特征值与字模库中对应的各特征值进行相似度匹配,将相似度最高的的匹配值对应的字模库中文字信息输出,其中特征值包括字形和与字形对应的字体类型,从而提高了图片中文字识别的准确性和全面性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种图片字体识别方法流程示意图;
图2为本发明文字轮廓增强图像区域划分示意图;
图3为本发明一种图片字体识别***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种图片字体识别方法、***、电子设备及存储介质,提高了图片中文字识别的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
图1为本发明一种图片字体识别方法流程示意图,如图1所示,一种图片字体识别方法,包括:
步骤101:对待识别图片进行预处理,获得文字轮廓图像。
一个文字对应一个文字轮廓图像。
提取的文字轮廓图像必须保证其文字笔画与矩形图片边缘相切,以确保每个区域中文字部分的占比达到最大,提高准确性。
其中,步骤101具体包括:
对所述待识别图片进行背景阈值化处理,即对待识别图片的背景进行过滤,对文字进行定位分割,通过文字间距空白处进行定位,将待识别图片分割成一个个单独的文字,获得每个文字的文字轮廓图像。
步骤102:增强所述文字轮廓图像的饱和度和对比度,获得文字轮廓增强图像。
本发明对文字轮廓图像的增强用以更精确的提取出文字内容。
步骤103:将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域。
其中,步骤103具体包括:
按照九宫格形式将所述文字轮廓增强图像划分为9个区域。
“字”字划分为9个区域如图2所示。
步骤104:获取所述文字轮廓增强图像中各区域的特征值。
各区域的特征值为各区域文字轮廓的坐标组成的特征向量。
分割的每块区域中的特征,以相量坐标的形式将区域中的文字轮廓的边界进行定位,即字体轮廓在分割的不同区域里均可以采集几个边界处的定位点相量坐标值,如单独分割区域中的最左、最右、最上和最下坐标值。
步骤105:将所述文字轮廓增强图像的特征值与字模库中各文字的特征值进行相似度匹配,获得多个匹配值,将最高匹配值对应的所述字模库中文字信息输出,所述文字信息包括字形和字体类型;所述字模库中每条信息包括字形、字体类型和各区域的特征值;所述文字轮廓增强图像的特征值包括所述文字轮廓增强图像各区域的特征值,所述字模库中各文字的特征值包括各文字对应的各区域的特征值。
区域的特征值的相似度为特征向量之间的距离。
作为具体实施方式:获取各区域的定位点与字模库中各文字的各区域的定位点进行匹配,将定位点重叠的数量作为匹配值。即各区域的特征值为各区域的定位点坐标值。
本发明图片文字识别结果包括生成的相应分析字体的图片识别文案和对应的可导出矢量文件及透明背景格式。
所述字模库的构建过程包括:
获取各种开源字体文字。
将各开源字体文字进行区域划分,划分为设定数量的区域。
按照九宫格形式将各开源字体文字划分为9个区域。如图2所示,9个区域依次是中间N1、中间上边N2、中间下边N3、中间左边N4、中间右边N5、左上N6、右上N7、左下N8、右下N9,对这9个区域的特征值进行计算和存储,以便后续比对。
对文字进行划分的区域数量可以根据文字复杂程度进行增加或减少,以提高准确性和识别速率。
获取各开源字体文字对应的各区域的特征值。
将各开源字体文字的字形、字体类型和各区域的特征值存储所述字模库;一个开源文字对应一条存储信息。
所述字体包括黑体、宋体和楷体。
本发明字模库及本发明一种图片字体识别方法部署在云平台。
字模库中还包括不同语种的文字,语种包括汉字和英文。
实施例2
图3为本发明一种图片字体识别***结构示意图,如图3所示,一种图片字体识别***,包括:
文字轮廓图像获取模块201,用于对待识别图片进行预处理,获得文字轮廓图像。
文字轮廓图像增强模块202,用于增强所述文字轮廓图像的饱和度和对比度,获得文字轮廓增强图像。
区域划分模块203,用于将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域。
特征值获取模块204,用于获取所述文字轮廓增强图像中各区域的特征值。
特征值匹配模块205,用于将所述文字轮廓增强图像的特征值与字模库中各文字的特征值进行相似度匹配,获得多个匹配值,将最高匹配值对应的所述字模库中文字信息输出,所述文字信息包括字形和字体类型;所述字模库中每条信息包括字形、字体类型和各区域的特征值;所述文字轮廓增强图像的特征值包括所述文字轮廓增强图像各区域的特征值,所述字模库中各文字的特征值包括各文字对应的各区域的特征值。
本发明一种图片字体识别***部署在云平台。
实施例3
本发明实施例3提供一种电子设备包括存储器及处理器,该存储器用于存储计算机程序,该处理器运行计算机程序以使电子设备执行实施例1的图片字体识别方法。
可选地,上述电子设备可以是服务器。
另外,本发明实施例3还提供一种计算机可读存储介质,其存储有计算机程序,该计算机程序被处理器执行时实现实施例1的图片字体识别方法方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种图片字体识别方法,其特征在于,包括:
对待识别图片进行预处理,获得文字轮廓图像;
增强所述文字轮廓图像的饱和度和对比度,获得文字轮廓增强图像;
将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域;
获取所述文字轮廓增强图像中各区域的特征值;各区域的特征值为各区域文字轮廓的坐标组成的特征向量;各区域的定位点坐标包括最左、最右、最上和最下坐标值;
将所述文字轮廓增强图像的特征值与字模库中各文字的特征值进行相似度匹配,获得多个匹配值,将最高匹配值对应的所述字模库中文字信息输出,所述文字信息包括字形和字体类型;所述字模库中每条信息包括字形、字体类型和各区域的特征值;所述文字轮廓增强图像的特征值包括所述文字轮廓增强图像各区域的特征值,所述字模库中各文字的特征值包括各文字对应的各区域的特征值;
获取各区域的定位点与字模库中各文字的各区域的定位点进行匹配,将定位点重叠的数量作为匹配值;
所述将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域,具体包括:按照九宫格形式将所述文字轮廓增强图像划分为9个区域。
2.根据权利要求1所述的图片字体识别方法,其特征在于,所述字模库的构建过程包括:
获取各种开源字体文字;
将各开源字体文字进行区域划分,划分为设定数量的区域;
获取各开源字体文字对应的各区域的特征值;
将各开源字体文字的字形、字体类型和各区域的特征值存储所述字模库;一个开源文字对应一条存储信息。
3.根据权利要求1所述的图片字体识别方法,其特征在于,所述对待识别图片进行预处理,获得文字轮廓图像,具体包括:
对所述待识别图片进行背景阈值化处理,获得文字轮廓图像。
4.根据权利要求1所述的图片字体识别方法,其特征在于,所述字体包括黑体、宋体和楷体。
5.一种图片字体识别***,其特征在于,包括:
文字轮廓图像获取模块,用于对待识别图片进行预处理,获得文字轮廓图像;
文字轮廓图像增强模块,用于增强所述文字轮廓图像的饱和度和对比度,获得文字轮廓增强图像;
区域划分模块,用于将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域;
特征值获取模块,用于获取所述文字轮廓增强图像中各区域的特征值;各区域的特征值为各区域文字轮廓的坐标组成的特征向量;各区域的定位点坐标包括最左、最右、最上和最下坐标值;
特征值匹配模块,用于将所述文字轮廓增强图像的特征值与字模库中各文字的特征值进行相似度匹配,获得多个匹配值,将最高匹配值对应的所述字模库中文字信息输出,所述文字信息包括字形和字体类型;所述字模库中每条信息包括字形、字体类型和各区域的特征值;所述文字轮廓增强图像的特征值包括所述文字轮廓增强图像各区域的特征值,所述字模库中各文字的特征值包括各文字对应的各区域的特征值;获取各区域的定位点与字模库中各文字的各区域的定位点进行匹配,将定位点重叠的数量作为匹配值;
所述将所述文字轮廓增强图像进行区域划分,划分为设定数量的区域,具体包括:按照九宫格形式将所述文字轮廓增强图像划分为9个区域。
6.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至4中任一项所述的图片字体识别方法。
7.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的图片字体识别方法。
CN202211465103.6A 2022-11-22 2022-11-22 一种图片字体识别方法、***、电子设备及存储介质 Active CN115620302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211465103.6A CN115620302B (zh) 2022-11-22 2022-11-22 一种图片字体识别方法、***、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211465103.6A CN115620302B (zh) 2022-11-22 2022-11-22 一种图片字体识别方法、***、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115620302A CN115620302A (zh) 2023-01-17
CN115620302B true CN115620302B (zh) 2023-12-01

Family

ID=84877872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211465103.6A Active CN115620302B (zh) 2022-11-22 2022-11-22 一种图片字体识别方法、***、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115620302B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977659A (zh) * 2016-10-25 2018-05-01 北京搜狗科技发展有限公司 一种文字识别方法、装置及电子设备
CN109299663A (zh) * 2018-08-27 2019-02-01 刘梅英 手写字体识别方法、***以及终端设备
CN111144191A (zh) * 2019-08-14 2020-05-12 广东小天才科技有限公司 字体识别方法、装置、电子设备及存储介质
WO2020124455A1 (zh) * 2018-12-19 2020-06-25 深圳市欢太科技有限公司 一种优化字体的方法及相关设备
WO2021051604A1 (zh) * 2019-09-19 2021-03-25 平安科技(深圳)有限公司 Osd的文字区域的识别方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977659A (zh) * 2016-10-25 2018-05-01 北京搜狗科技发展有限公司 一种文字识别方法、装置及电子设备
CN109299663A (zh) * 2018-08-27 2019-02-01 刘梅英 手写字体识别方法、***以及终端设备
WO2020124455A1 (zh) * 2018-12-19 2020-06-25 深圳市欢太科技有限公司 一种优化字体的方法及相关设备
CN111144191A (zh) * 2019-08-14 2020-05-12 广东小天才科技有限公司 字体识别方法、装置、电子设备及存储介质
WO2021051604A1 (zh) * 2019-09-19 2021-03-25 平安科技(深圳)有限公司 Osd的文字区域的识别方法、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李华平 ; .基于多特征提取的识别算法数学建模优化研究.哈尔滨师范大学自然科学学报.2013,(04),全文. *
李霄霄.基于OCR的字符识别的研究与实现.《科技视界》.第98、119页. *
杨宪泽.《自然语言处理的原理及其应用》.2007,第158页. *

Also Published As

Publication number Publication date
CN115620302A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
Clausner et al. Icdar2017 competition on recognition of documents with complex layouts-rdcl2017
Namboodiri et al. Document structure and layout analysis
Rehman et al. Performance analysis of character segmentation approach for cursive script recognition on benchmark database
CN110969129B (zh) 一种端到端税务票据文本检测与识别方法
CN105930159A (zh) 一种基于图像的界面代码生成的方法及***
US10140556B2 (en) Arabic optical character recognition method using hidden markov models and decision trees
EP1894144A2 (en) Grammatical parsing of document visual structures
CN107301414B (zh) 一种自然场景图像中的中文定位、分割和识别方法
CN103455816B (zh) 一种笔画宽度提取方法、装置及一种文字识别方法、***
CN113780276A (zh) 一种结合文本分类的文本检测和识别方法及***
CN112686219A (zh) 手写文本识别方法及计算机存储介质
CN115311666A (zh) 图文识别方法、装置、计算机设备及存储介质
JP7364639B2 (ja) デジタル化された筆記の処理
Negi et al. Localization, extraction and recognition of text in Telugu document images
Naz et al. Challenges in baseline detection of Arabic script based languages
Aravinda et al. Template matching method for Kannada handwritten recognition based on correlation analysis
CN115620302B (zh) 一种图片字体识别方法、***、电子设备及存储介质
Elnagar et al. A multi-agent approach to arabic handwritten text segmentation
Firdaus et al. Arabic letter segmentation using modified connected component labeling
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques
CN113657364A (zh) 用于识别文字标志的方法、装置、设备以及存储介质
CN113516041A (zh) 一种藏文古籍文档图像版面分割、识别方法及***
Radzid et al. Framework of page segmentation for mushaf Al-Quran based on multiphase level segmentation
Wei et al. Research on the text detection and recognition in natural scene images
CN114399782B (zh) 文本图像处理方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant