CN114185164A - 显微镜的快速自动对焦方法 - Google Patents
显微镜的快速自动对焦方法 Download PDFInfo
- Publication number
- CN114185164A CN114185164A CN202111551912.4A CN202111551912A CN114185164A CN 114185164 A CN114185164 A CN 114185164A CN 202111551912 A CN202111551912 A CN 202111551912A CN 114185164 A CN114185164 A CN 114185164A
- Authority
- CN
- China
- Prior art keywords
- objective table
- image
- focusing
- definition
- drive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000001174 ascending effect Effects 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/32—Micromanipulators structurally combined with microscopes
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Automatic Focus Adjustment (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种显微镜的快速自动对焦方法,其包括先控制粗准焦螺旋驱动载物台升降粗调焦距,再控制细准焦螺旋驱动载物台升降细调焦距,细调焦距包括步骤:1)以粗调焦距得到的调焦距离区间为基础,控制细准焦螺旋驱动载物台在该调焦距离区间内先上升再下降并采集图像,使用Tenengrad梯度函数对比目标对象的清晰度并选择最清晰图像,根据最清晰图像得到对应的载物台最优位置;2)对步骤1)得到的载物台最优位置进行验证;3)控制细准焦螺旋驱动载物台从最后停留的位置移动至载物台最优位置。本发明既能保证对焦速度,又能保证对焦精度,在高放大倍数下也能快速的完成显微镜调焦,能大大的节约调焦时间。
Description
技术领域
本发明涉及显微镜技术领域,特别涉及一种显微镜的自动对焦方法。
背景技术
采用显微镜观察载玻片上的图像时,需要图像调节显微镜焦距,获得清晰图片。现有驱动显微镜载物台升降的粗准焦螺旋和细准焦螺旋,由于制造及配合精度问题,在其驱动载物台升降时载物台的实际上升或下降距离与预设的升降距离存在偏差,这导致现有显微镜自动调焦方法在高倍镜下无法对焦,往往需要靠人工手动调整才能得到所需的清晰图像。
发明内容
有鉴于此,本发明的目的是提供一种显微镜的快速自动对焦方法,以解决现有显微镜自动调焦方法在高倍镜下无法对焦,需要靠人工手动调节才能完成对焦的技术问题。
本发明显微镜的快速自动对焦方法,包括先控制粗准焦螺旋驱动载物台升降粗调焦距,再控制细准焦螺旋驱动载物台升降细调焦距,其特征在于:
控制粗准焦螺旋驱动载物台升降粗调焦距包括:先控制粗准焦螺旋驱动载物台上升,再控制粗准焦螺旋驱动载物台下降,在载物台上升和下降过程中,载物台每移动一步显微镜的相机便采集一张图像,并将所采集图像输入计算机中,计算机截取图像的局部作为调焦的目标对象,并在计算机中运行Tenengrad梯度函数判断目标对象的清晰度,根据Tenengrad梯度函数评判选择一张在载物台上升过程中采集的最清晰图像和一张在载物台下降过程中采集的最清晰图像,根据所选择的两张最清晰图像对应的采集位置得到调焦距离区间;Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值,基于Tenengrad梯度函数的图像清晰度定义如下:
D(f)=∑y∑x|G(x,y)| (G(x,y)>T)
G(x,y)的形式如下:
其中:T是给定的边缘检测阈值,Gx(x,y)和Gy(x,y)分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积,检测边缘的Sobel算子模板如下:
控制细准焦螺旋驱动载物台升降细调焦距包括以下步骤:
1)以粗调焦距得到的调焦距离区间为基础,控制细准焦螺旋驱动载物台在该调焦距离区间内先上升再下降,在载物台上升和下降过程中,载物台每移动一步显微镜的相机便采集一张图像,并将所采集的图像输入计算机中,计算机截取图像的局部作为调焦的目标对象,并在计算机中运行Tenengrad梯度函数对比目标对象的清晰度并选择最清晰图像,根据最清晰图像得到对应的载物台最优位置;
2)对步骤1)得到的载物台最优位置进行验证:
控制细准焦螺旋驱动载物台向上越过载物台最优位置至少一个步长以及控制载物台向下越过载物台最优位置至少一个步长,相机在每个步长位置处采集图像,获取相机在每个步长位置处采集的图像及载物台最优位置对应的原图像,使用Laplacian梯度函数对获得的图像的清晰度进行评比,若清晰度最高的是步骤1)所得到的载物台最优位置对应的原图像,则维持载物台最优位置不变;若清晰度最高的是其它步长处采集的图像,则将载物台最优位置修改为采集该清晰度最高的图像时所对应的载物台位置;Laplacian算子定义如下:
基于Laplacian梯度函数的图像清晰度的定义如下:
D(f)=∑y∑x|G(x,y)|(G(x,y)>T)
其中G(x,y)是像素点(x,y)处Laplacian算子的卷积;
3)在显微镜放大倍数低于设定放大倍数时,控制细准焦螺旋驱动载物台从最后停留的位置移动至步骤2)得到的载物台最优位置;在显微镜倍数高于或等于设定放大倍数时,记录载物台最后停留位置处相机所拍图像的清晰度评分,并从移动的最后位置向载物台最优位置方向移动,载物台每移动一步相机便采集一张图像,使用Laplacian梯度函数计算相机当前采集图像的清晰度,并与上一步相机所采集图像的清晰度进行对比,若当前图像的清晰度大于上一步图像的清晰度则控制细准焦螺旋驱动载物台继续移动,若当前图像的清晰度小于上一步图像的清晰度则载物台不再移动。
本发明的有益效果:
本发明显微镜的快速自动对焦方法,其只截取了原图的一部分作为调焦目标对象进行清晰度评判,并且在细调焦距时对载物台最优位置进行了验证,既能保证对焦速度,又能保证对焦精度。本发明显微镜的快速自动对焦方法能克服粗准焦螺旋和细准焦螺旋制造及配合误差对显微镜调焦的影响,保证在高放大倍数下也能快速的完成显微镜调焦,能大大的节约调焦时间。
具体实施方式
下面结合实施例对本发明作进一步描述。
本实施例中显微镜的快速自动对焦方法,包括先控制粗准焦螺旋驱动载物台升降粗调焦距,再控制细准焦螺旋驱动载物台升降细调焦距。
控制粗准焦螺旋驱动载物台升降粗调焦距包括:先控制粗准焦螺旋驱动载物台上升,再控制粗准焦螺旋驱动载物台下降,在载物台上升和下降过程中,载物台每移动一步显微镜的相机便采集一张图像,并将所采集图像输入计算机中,计算机截取图像的局部作为调焦的目标对象,本实施例中对原图为1920X1200大小的图片,仅截取大小为800X600图像局部为目标对象,当然在不同实施例中目标对象的大小还可根据需要进行调整;并在计算机中运行Tenengrad梯度函数判断目标对象的清晰度,根据Tenengrad梯度函数评判选择一张在载物台上升过程中采集的最清晰图像和一张在载物台下降过程中采集的最清晰图像,根据所选择的两张最清晰图像对应的采集位置得到调焦距离区间;Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值,基于Tenengrad梯度函数的图像清晰度定义如下:
D(f)=∑v∑x|G(x,y)| (G(x,y)>T)
G(x,y)的形式如下:
其中:T是给定的边缘检测阈值,Gx(x,y)和Gy(x,y)分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积,检测边缘的Sobel算子模板如下:
控制细准焦螺旋驱动载物台升降细调焦距包括以下步骤:
1)以粗调焦距得到的调焦距离区间为基础,控制细准焦螺旋驱动载物台在该调焦距离区间内先上升再下降,在载物台上升和下降过程中,载物台每移动一步显微镜的相机便采集一张图像,并将所采集的图像输入计算机中,计算机截取图像的局部作为调焦的目标对象,本实施例中对原图为1920X1200大小的图片,仅截取大小为1000X800图像局部为目标对象,当然在不同实施例中目标对象的大小还可根据需要进行调整;并在计算机中运行Tenengrad梯度函数对比目标对象的清晰度并选择最清晰图像,根据最清晰图像得到对应的载物台最优位置;
2)对步骤1)得到的载物台最优位置进行验证:
控制细准焦螺旋驱动载物台向上越过载物台最优位置至少一个步长以及控制载物台向下越过载物台最优位置至少一个步长,本实施例中上下跨域载物台最优位置的步长数分别为两个,当然在不同实施例中上下跨域载物台最优位置的步长数还可根据需要调整;相机在每个步长位置处采集图像,获取相机在每个步长位置处采集的图像及载物台最优位置对应的原图像,使用Laplacian梯度函数对获得的图像的清晰度进行评比,若清晰度最高的是步骤1)所得到的载物台最优位置对应的原图像,则维持载物台最优位置不变;若清晰度最高的是其它步长处采集的图像,则将载物台最优位置修改为采集该清晰度最高的图像时所对应的载物台位置;Laplacian算子定义如下:
基于Laplacian梯度函数的图像清晰度的定义如下:
D(f)=∑y∑x|G(x,y)| (G(x,y)>T)
其中G(x,y)是像素点(x,y)处Laplacian算子的卷积;
3)在显微镜放大倍数低于设定放大倍数时,本实施例中设定放大倍数为500倍,当然在不同实施例中设定放大倍数还可根据需要调整;控制细准焦螺旋驱动载物台从最后停留的位置移动至步骤2)得到的载物台最优位置;在显微镜倍数高于或等于设定放大倍数时,记录载物台最后停留位置处相机所拍图像的清晰度评分,并从移动的最后位置向载物台最优位置方向移动,载物台每移动一步相机便采集一张图像,使用Laplacian梯度函数计算相机当前采集图像的清晰度,并与上一步相机所采集图像的清晰度进行对比,若当前图像的清晰度大于上一步图像的清晰度则控制细准焦螺旋驱动载物台继续移动,若当前图像的清晰度小于上一步图像的清晰度则载物台不再移动。
本实施例显微镜的快速自动对焦方法既能保证对焦速度,又能保证对焦精度,其能克服粗准焦螺旋和细准焦螺旋制造及配合误差对显微镜调焦的影响,保证在高放大倍数下也能快速的完成显微镜调焦,能大大的节约调焦时间。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.一种显微镜的快速自动对焦方法,包括先控制粗准焦螺旋驱动载物台升降粗调焦距,再控制细准焦螺旋驱动载物台升降细调焦距,其特征在于:
控制粗准焦螺旋驱动载物台升降粗调焦距包括:先控制粗准焦螺旋驱动载物台上升,再控制粗准焦螺旋驱动载物台下降,在载物台上升和下降过程中,载物台每移动一步显微镜的相机便采集一张图像,并将所采集图像输入计算机中,计算机截取图像的局部作为调焦的目标对象,并在计算机中运行Tenengrad梯度函数判断目标对象的清晰度,根据Tenengrad梯度函数评判选择一张在载物台上升过程中采集的最清晰图像和一张在载物台下降过程中采集的最清晰图像,根据所选择的两张最清晰图像对应的采集位置得到调焦距离区间;Tenengrad梯度函数采用Sobel算子分别提取水平和垂直方向的梯度值,基于Tenengrad梯度函数的图像清晰度定义如下:
D(f)=∑y∑x|G(x,y)|(G(x,y)>T)
G(x,y)的形式如下:
其中:T是给定的边缘检测阈值,Gx(x,y)和Gy(x,y)分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积,检测边缘的Sobel算子模板如下:
控制细准焦螺旋驱动载物台升降细调焦距包括以下步骤:
1)以粗调焦距得到的调焦距离区间为基础,控制细准焦螺旋驱动载物台在该调焦距离区间内先上升再下降,在载物台上升和下降过程中,载物台每移动一步显微镜的相机便采集一张图像,并将所采集的图像输入计算机中,计算机截取图像的局部作为调焦的目标对象,并在计算机中运行Tenengrad梯度函数对比目标对象的清晰度并选择最清晰图像,根据最清晰图像得到对应的载物台最优位置;
2)对步骤1)得到的载物台最优位置进行验证:
控制细准焦螺旋驱动载物台向上越过载物台最优位置至少一个步长以及控制载物台向下越过载物台最优位置至少一个步长,相机在每个步长位置处采集图像,获取相机在每个步长位置处采集的图像及载物台最优位置对应的原图像,使用Laplacian梯度函数对获得的图像的清晰度进行评比,若清晰度最高的是步骤1)所得到的载物台最优位置对应的原图像,则维持载物台最优位置不变;若清晰度最高的是其它步长处采集的图像,则将载物台最优位置修改为采集该清晰度最高的图像时所对应的载物台位置;Laplacian算子定义如下:
基于Laplacian梯度函数的图像清晰度的定义如下:
D(f)=∑y∑x|G(x,y)|(G(,y)>T)
其中G(x,y)是像素点(x,y)处Laplacian算子的卷积;
3)在显微镜放大倍数低于设定放大倍数时,控制细准焦螺旋驱动载物台从最后停留的位置移动至步骤2)得到的载物台最优位置;在显微镜倍数高于或等于设定放大倍数时,记录载物台最后停留位置处相机所拍图像的清晰度评分,并从移动的最后位置向载物台最优位置方向移动,载物台每移动一步相机便采集一张图像,使用Laplacian梯度函数计算相机当前采集图像的清晰度,并与上一步相机所采集图像的清晰度进行对比,若当前图像的清晰度大于上一步图像的清晰度则控制细准焦螺旋驱动载物台继续移动,若当前图像的清晰度小于上一步图像的清晰度则载物台不再移动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111551912.4A CN114185164B (zh) | 2021-12-17 | 2021-12-17 | 显微镜的快速自动对焦方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111551912.4A CN114185164B (zh) | 2021-12-17 | 2021-12-17 | 显微镜的快速自动对焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114185164A true CN114185164A (zh) | 2022-03-15 |
CN114185164B CN114185164B (zh) | 2022-07-29 |
Family
ID=80605485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111551912.4A Expired - Fee Related CN114185164B (zh) | 2021-12-17 | 2021-12-17 | 显微镜的快速自动对焦方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114185164B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114785959A (zh) * | 2022-06-16 | 2022-07-22 | 江苏美克医学技术有限公司 | 荧光显微镜的自动聚焦方法、装置、存储介质及电子设备 |
CN114815207A (zh) * | 2022-05-24 | 2022-07-29 | 宾盛科技(武汉)有限公司 | 显微成像自动对焦的图像景深融合方法及相关设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7042639B1 (en) * | 2003-08-21 | 2006-05-09 | The United States Of America As Represented By The Administrator Of Nasa | Identification of cells with a compact microscope imaging system with intelligent controls |
CN101840055A (zh) * | 2010-05-28 | 2010-09-22 | 浙江工业大学 | 基于嵌入式媒体处理器的视频自动聚焦*** |
US20110211107A1 (en) * | 2010-03-01 | 2011-09-01 | Digital Imaging Systems Gmbh | Method to perform sobel calculations and normalization for auto-focus in a digital camera |
CN105938243A (zh) * | 2016-06-29 | 2016-09-14 | 华南理工大学 | 一种tft-lcd检测中多倍率显微镜快速对焦方法 |
CN109116541A (zh) * | 2018-09-10 | 2019-01-01 | 广州鸿琪光学仪器科技有限公司 | 显微镜对焦方法、装置、计算机设备和存储介质 |
CN109521547A (zh) * | 2018-12-21 | 2019-03-26 | 广州医软智能科技有限公司 | 一种变步长的自动调焦方法及*** |
WO2020019295A1 (zh) * | 2018-07-27 | 2020-01-30 | 深圳市大疆创新科技有限公司 | 图像获取方法、成像装置及拍摄*** |
CN110824689A (zh) * | 2019-11-01 | 2020-02-21 | 南京理工大学 | 全自动显微图像景深拓展***及其方法 |
CN113064267A (zh) * | 2021-04-09 | 2021-07-02 | 苏州华文海智能科技有限公司 | 一种显微镜的自动调焦方法 |
-
2021
- 2021-12-17 CN CN202111551912.4A patent/CN114185164B/zh not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7042639B1 (en) * | 2003-08-21 | 2006-05-09 | The United States Of America As Represented By The Administrator Of Nasa | Identification of cells with a compact microscope imaging system with intelligent controls |
US20110211107A1 (en) * | 2010-03-01 | 2011-09-01 | Digital Imaging Systems Gmbh | Method to perform sobel calculations and normalization for auto-focus in a digital camera |
CN101840055A (zh) * | 2010-05-28 | 2010-09-22 | 浙江工业大学 | 基于嵌入式媒体处理器的视频自动聚焦*** |
CN105938243A (zh) * | 2016-06-29 | 2016-09-14 | 华南理工大学 | 一种tft-lcd检测中多倍率显微镜快速对焦方法 |
WO2020019295A1 (zh) * | 2018-07-27 | 2020-01-30 | 深圳市大疆创新科技有限公司 | 图像获取方法、成像装置及拍摄*** |
CN109116541A (zh) * | 2018-09-10 | 2019-01-01 | 广州鸿琪光学仪器科技有限公司 | 显微镜对焦方法、装置、计算机设备和存储介质 |
CN109521547A (zh) * | 2018-12-21 | 2019-03-26 | 广州医软智能科技有限公司 | 一种变步长的自动调焦方法及*** |
CN110824689A (zh) * | 2019-11-01 | 2020-02-21 | 南京理工大学 | 全自动显微图像景深拓展***及其方法 |
CN113064267A (zh) * | 2021-04-09 | 2021-07-02 | 苏州华文海智能科技有限公司 | 一种显微镜的自动调焦方法 |
Non-Patent Citations (6)
Title |
---|
CARLOS A. TRUJILLO: "Method for auto-focusing in digital lensless holographic", 《IMAGING AND APPLIED OPTICS》 * |
CHENZI GUO: "Fast auto-focusing search algorithm for a high-speed and high-resolution camera based on the image histogram feature function", 《APPLIED OPTICS》 * |
KWANG-HOON LEE: "Focus adjustable auto-stereoscopic 3D display system", 《DIGITAL HOLOGRAPHY AND THREE-DIMENSIONAL IMAGING》 * |
XUEDIAN ZHANG: "Fast and accurate auto-focusing algorithm based on the combination of depth from focus and improved depth from defocus", 《OPTICS EXPRESS》 * |
张丰收: "一种改进的Sobel梯度函数自动对焦评价算法_张丰收", 《光学技术》 * |
贾晓艳: "基于聚焦评价函数的自动调焦方法的研究", 《光学技术》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114815207A (zh) * | 2022-05-24 | 2022-07-29 | 宾盛科技(武汉)有限公司 | 显微成像自动对焦的图像景深融合方法及相关设备 |
CN114785959A (zh) * | 2022-06-16 | 2022-07-22 | 江苏美克医学技术有限公司 | 荧光显微镜的自动聚焦方法、装置、存储介质及电子设备 |
CN114785959B (zh) * | 2022-06-16 | 2022-10-14 | 江苏美克医学技术有限公司 | 荧光显微镜的自动聚焦方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114185164B (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107797262B (zh) | 基于图像纹理的显微镜不同倍数镜头联合聚焦方法 | |
CN108259753B (zh) | 一种基于离焦估计改进爬山法的相机自动调焦方法及装置 | |
CN109085113B (zh) | 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置 | |
CN109031638B (zh) | 生物显微镜的快速自动聚焦方法 | |
CN110793000B (zh) | 一种基于机器视觉的摇头电脑灯智能调焦方法 | |
CN114185164B (zh) | 显微镜的快速自动对焦方法 | |
CN109612992B (zh) | 一种宫颈脱落细胞涂片的快速扫描方法及其*** | |
CN113923358A (zh) | 一种飞拍模式下的在线自动对焦方法和*** | |
CN106381264B (zh) | 机器人辅助的显微注射***中微量吸液管针尖的大范围自动定位方法 | |
CN117170081A (zh) | 一种基于图像清晰度识别的自动对焦方法 | |
CN116931248A (zh) | 一种基于图像清晰度评估的显微镜自动对焦方法及*** | |
CN117233921A (zh) | 一种用于荧光成像设备的自动对焦方法 | |
CN110006921B (zh) | 一种大曲率半径球面光学元件自动化位姿调整方法与装置 | |
CN112839168B (zh) | 一种自动调整aoi检测***中相机成像分辨率的方法 | |
CN113079318B (zh) | 晶边缺陷自动对焦***及方法和计算机存储介质 | |
CN107579028B (zh) | 一种残缺晶圆的边沿确定方法、装置及划片装置 | |
CN113253417B (zh) | 一种用于骨髓涂片扫描的自动调平及自动对焦方法 | |
CN109254382B (zh) | 基于机器视觉的螺纹检测自动对焦方法 | |
CN106735863B (zh) | 一种将材料表面自动定位到激光焦点处的方法 | |
CN114815211A (zh) | 一种基于图像处理的显微镜自动对焦方法及*** | |
CN117970595B (zh) | 一种基于深度学习和图像处理的显微镜自动对焦方法 | |
CN112505994A (zh) | 超短焦投影***及其自动调焦方法 | |
CN115547909B (zh) | 晶圆清晰度定位的方法 | |
CN115546114B (zh) | 针对关键尺寸量测的聚焦方法 | |
CN117608069A (zh) | 一种自动对焦方法、***、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220729 |