CN109031638B - 生物显微镜的快速自动聚焦方法 - Google Patents

生物显微镜的快速自动聚焦方法 Download PDF

Info

Publication number
CN109031638B
CN109031638B CN201810965845.2A CN201810965845A CN109031638B CN 109031638 B CN109031638 B CN 109031638B CN 201810965845 A CN201810965845 A CN 201810965845A CN 109031638 B CN109031638 B CN 109031638B
Authority
CN
China
Prior art keywords
distance
definition value
objective table
definition
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810965845.2A
Other languages
English (en)
Other versions
CN109031638A (zh
Inventor
李乔亮
陈齐文
吴亚杰
唐洪浩
余志刚
何旭东
齐素文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Reetoo Biotechnology Co Ltd
Original Assignee
Shenzhen Reetoo Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Reetoo Biotechnology Co Ltd filed Critical Shenzhen Reetoo Biotechnology Co Ltd
Priority to CN201810965845.2A priority Critical patent/CN109031638B/zh
Publication of CN109031638A publication Critical patent/CN109031638A/zh
Application granted granted Critical
Publication of CN109031638B publication Critical patent/CN109031638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明公开了一种生物显微镜的快速自动聚焦方法，包括如下步骤：S1、控制生物显微镜的Z轴电机带动载物台上移的过程中，通过传感器对放置在载物台上的试剂卡的镜检区获取至少两张以上图片；S2、对获取的图片分别进行计算得到每张图片所对应的清晰度数值后进行依次排序得到第一清晰度数值序列；S3、在第一清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到生物显微镜的焦点附近所对应的载物台移动的第一距离；S4、根据第一距离，控制Z轴电机带动载物台下移，使载物台位于生物显微镜的焦点附近。与现有技术相比，大大的节约了时间。

Description

生物显微镜的快速自动聚焦方法
技术领域
本发明涉及一种医学检测技术，特别涉及一种生物显微镜的快速自动聚焦方法。
背景技术
目前现有的生物显微镜的自动聚焦方法存在聚焦速度慢，聚焦清晰面窄(玻片在Z轴找到焦点后，在向X、Y轴方向移动范围较大后容易失去焦点)，这样造成的后果是浪费大量时间在聚焦过程中，并且在聚焦完成后对焦点周围的图片采集的清晰度完全依赖于夹持玻片平台的水平性，在边缘倾斜度较大的地方，采集到的图片质量极差。
发明内容
本发明的目的在于提供一种生物显微镜的快速自动聚焦方法，要解决的技术问题是提高聚焦的速度，从而提高采集的图片的质量。
为解决上述问题，本发明采用以下技术方案实现，一种生物显微镜的快速自动聚焦方法，所述快速自动聚焦方法包括如下步骤：
步骤S1、控制生物显微镜的Z轴电机带动载物台上移的过程中，通过安装在生物显微镜上的传感器对放置在载物台上的试剂卡的镜检区获取至少两张以上图片；
步骤S2、对获取的图片分别进行计算得到每张图片所对应的清晰度数值后进行依次排序得到第一清晰度数值序列；
步骤S3、在第一清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到生物显微镜的焦点附近所对应的载物台移动的第一距离；
步骤S4、根据第一距离，控制Z轴电机带动载物台下移，从而使载物台位于生物显微镜的焦点附近。
进一步地，所述快速自动聚焦方法还包括：
步骤S5、对载物台进行一次微调，控制Z轴电机带动载物台每上移一个固定的第二距离后，通过安装在生物显微镜上的传感器对放置在载物台上的试剂卡的镜检区获取一张图片，对该图片以及图片所对应的载物台移动的第二距离进行记录，重复步骤S5，获取至少两张图片后进入步骤S6；
步骤S6、将步骤S5中获取的图片分别进行计算得到该图片所对应的清晰度数值后进行依次排序得到第二清晰度数值序列；
步骤S7、在第二清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第二清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到生物显微镜的焦点处所对应的载物台移动的第三距离；
步骤S8、根据第三距离，控制Z轴电机带动载物台下移，从而使载物台位于生物显微镜的焦点处。
进一步地，所述快速自动聚焦方法还包括：
步骤S9、驱动X轴和Y轴电机带动载物台水平移动，最终通过安装在生物显微镜上的传感器获取镜检区不同位置的图片。
进一步地，所述快速自动聚焦方法还包括：
步骤S10、对步骤S9中获取的不同位置的图片分别进行计算得到不同位置的图片所对应的清晰度数值；
步骤S11、对不同位置的图片所对应的清晰度数值进行判断，判断不同位置的图片所对应的清晰度数值是否在误差允许范围之内，所述误差允许范围为步骤S5中最大清晰度数值±0.08之间；是，则结束；否则返回步骤S5。
进一步地，所述步骤S3中在第一清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到焦点附近所对应的载物台的第一距离具体为：
通过以下公式计算得到第一距离：
m＝(n2-n1)*Sm/n2，
其中，m为第一距离、n2为位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置、n1为最大清晰度数值的图片所对应的排序位置、Sm为步骤S1中载物台上移的总距离。
进一步地，所述步骤S7中在第二清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第二清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到焦点处所对应的载物台的第三距离具体为：
对步骤S5中驱动Z轴电机带动载物台每上移一个第二距离进行计算得到载物台上移的总距离；
通过以下公式计算得到第三距离：
b＝(a2-a1)*Sb/a2，
其中，b为第三距离、a2为位于第二清晰度数值序列中最后一个清晰度数值所对应的排序位置、a1为最大清晰度数值的图片所对应的排序位置、Sb为步骤S5中载物台上移的总距离。
进一步地，所述步骤S5中驱动Z轴电机带动载物台每上移一个第二距离为0.95-1um。
本发明与现有技术相比，通过控制载物台上移的过程中获取至少两张图片，将采集到的图片转换为清晰度数值，通过对这些数值的处理找到清晰度最大的那张图片，采用采集到的图片张数与Z轴电机运动步数的换算关系，得到载物台相比初始位置时离焦点的距离，从而控制Z轴电机带动载物台运动到焦点处；然后再控制X、Y轴电机移动以及对Z轴电机微调，以达到采集多张不同的图片数据的目的，提高了聚焦的速度以及精度，从而提高采集的图片的质量；采用粗调节(移动过程中采集图片)与微调节(走一步采集一张图片)结合的方式，大大的节约了时间。
附图说明
图1是本发明的流程图。
图2是步骤S3中第一清晰度数值序列的排序变化图。
图3是Z轴电机随时间的变化而运动的步长值得变化。
图4是对Z轴电机微调过程第二清晰度数值序列的排序变化图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
如图1所示，本发明公开了一种生物显微镜的快速自动聚焦方法，所述快速自动聚焦方法包括如下步骤：
步骤S1、控制生物显微镜的Z轴电机带动载物台上移的过程中，通过安装在生物显微镜上的传感器对放置在载物台上的试剂卡的镜检区获取至少两张以上图片，具体地，一般情况下，仅需要保证载物台上移的最高点不与生物显微镜的物镜触碰即可；此处，载物台上移的过程中，随机获取多张图片，载物台上移的总距离一般为为500um；在执行步骤S1前，可对生物显微镜的光源、物镜、载物台的X、Y、Z轴电机等进行初始化。
步骤S2、对获取的图片分别进行计算得到每张图片所对应的清晰度数值后进行依次排序得到第一清晰度数值序列；具体地，在计算得到每张图片所对应的清晰度数值后对该清晰图数值所在排序位置进行标记，例如可以按照顺序以0、1、2、3、4、5、……、n进行标记；在本发明中，可采用Tenengrad评价函数进行计算得到每张图片所对应的清晰度数值；
步骤S3、在第一清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到生物显微镜的焦点附近所对应的第一距离，第一距离为载物台所需移动的距离；如图2所示，第一清晰度数值序列在Z轴电机带动载物台上移的过程中会出现一个峰值Tmax(即最大清晰度数值)，随后开始下降，而这个峰值即是清晰度最好的图片；图3为Z轴电机在运动过程中随时间变化的步长的变化；
具体地，
通过以下公式计算得到第一距离：m＝(n2-n1)*Sm/n2，
其中，m为第一距离、n2为位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置(例如第一清晰度数值序列中有20个清晰度数值，这里n2的取值即为20)、n1为最大清晰度数值的图片所对应的排序位置(例如第一清晰度数值序列中有20个清晰度数值，这里n1的排序位置为第10位，那么n1的取值即为10)、Sm为步骤S1中载物台上移的总移动距离；
步骤S4、根据第一距离，控制Z轴电机带动载物台下移，从而使载物台位于生物显微镜的焦点附近；通过让Z轴电机往相反的方向(让载物台向下)移动第一距离所对应的距离后，到达焦点附近，从而实现粗对焦调节。
因其图片张数与电机运动的步数不是绝对的对应关系(平台是在持续运动，在运动过程中采集图片并处理，由于电机运动的误差与图像采集(从传感器中获取图片再进行处理也需要时间)的误差，因此电机步数与清晰度值不是理想中的对应关系)，且在运动过程中，传感器可能未采集到最清晰的图片(采集时由于电机的运行以及对图片数据的处理需要时间，从而错过了对最清晰图片的采集)，所以在经过上面一个步骤后只能到达焦点附近，可能在焦点平面之上，也可能在焦点平面之下(相对生物显微镜物镜来说，焦点平面是固定的，不变的，通过生物显微镜的载物平台上下移动，让芯片到达焦点平面)。
为了能够准确找到焦点，此时先让载物台下降一段距离，确保如果焦点在此时位置之下的话能找到焦点。所以，在上述步骤S4执行完成后，还可以对Z轴电机进行微调，具体为：
步骤S5、对Z轴电机进行微调，控制Z轴电机带动载物台每上移一个固定的第二距离后，通过安装在生物显微镜上的传感器对放置在载物台上的试剂卡的镜检区获取一张图片，对该图片以及图片所对应的第二距离进行记录，重复步骤S5，获取至少两张图片后进入步骤S6；具体地，上移一个固定的第二距离为0.95-1um；这里重复步骤S5至少20次，以获得20张图片，这样能够进一步提高获取图片的清晰度；优选地，重复步骤20次；
步骤S6、将步骤S5中获取的图片分别计算得到该图片所对应的清晰度数值后进行依次排序得到第二清晰度数值序列；具体地，在计算得到每张图片所对应的清晰度数值后对该清晰图数值所在排序位置进行标记，例如可以按照顺序以0、1、2、3、4、5、……、n进行标记；在本发明中，将步骤S5中获取的图片分别进行Tenengrad评价函数，从而获得清晰度数值；
步骤S7、在第二清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第二清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到生物显微镜的焦点处所对应的载物台移动的第三距离，如图4所示，从而能够得到清晰度数值最好的图片；具体地，首先对步骤S5中驱动Z轴电机带动载物台每上移一个第二距离进行相加得到载物台上移的总距离；
通过以下公式计算得到第三距离：b＝(a2-a1)*Sb/a2，
其中，b为第三距离、a2为位于第二清晰度数值序列中最后一个清晰度数值所对应的排序位置、a1为最大清晰度数值的图片所对应的排序位置、Sb为步骤S5中载物台上移的总距离；
步骤S8、根据第三距离，控制Z轴电机带动载物台下移，从而使载物台位于生物显微镜的焦点处，最终实现微对焦调节；
步骤S9、控制X轴和Y轴电机带动载物台水平移动，最终通过安装在生物显微镜上的传感器获取镜检区不同位置的图片；
步骤S10、对步骤S9中获取的不同位置的图片分别进行计算分别得到不同位置的图片所对应的清晰度数值；这里可采用Tenengrad评价函数进行计算得到不同位置的图片所对应的清晰度数值；
步骤S11对不同位置的图片所对应的清晰度数值进行判断，判断不同位置的图片所对应的清晰度数值是否在误差允许范围之内，所述误差允许范围为步骤S5中最大清晰度数值的±0.08之间；是，则结束；否则返回步骤S5重新进行微调。
在获取到最终的不同位置的图片后，X、Y和Z轴电机带动载物台回到初始位置。
本发明中队电机的控制以及清晰度数值的计算等均可通过生物显微镜的控制单元实现，当然还可以采用计算机实现。
本发明适用于X10、X20、X40倍的物镜。
本发明通过控制载物台上移的过程中传感器获取至少两张图片，将采集到的图片转换为清晰度数值，通过对这些清晰度数值的处理找到清晰度最大的那张图片，采用采集到的图片张数与Z轴电机运动的换算关系，得到载物台比初始位置时离焦点的距离，从而控制Z轴电机带动载物台运动到焦点处；然后再控制X、Y轴电机移动以及对Z轴电机微调，以达到采集多张不同的图片数据的目的，提高了聚焦的速度以及精度，从而提高采集的图片的质量。

Claims (6)

1.生物显微镜的快速自动聚焦方法，其特征在于：所述快速自动聚焦方法包括如下步骤：
步骤S1、控制生物显微镜的Z轴电机带动载物台上移的过程中，通过安装在生物显微镜上的传感器对放置在载物台上的试剂卡的镜检区获取至少两张图片；
步骤S2、对获取的图片分别进行计算得到每张图片所对应的清晰度数值后进行依次排序得到第一清晰度数值序列；
步骤S3、在第一清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到生物显微镜的焦点附近所对应的载物台移动的第一距离；
步骤S4、根据第一距离，控制Z轴电机带动载物台下移，从而使载物台位于生物显微镜的焦点附近；
步骤S5、对载物台进行一次微调，控制Z轴电机带动载物台每上移一个固定的第二距离后，通过安装在生物显微镜上的传感器对放置在载物台上的试剂卡的镜检区获取一张图片，对该图片以及图片所对应的载物台移动的第二距离进行记录，重复步骤S5，获取至少两张图片后进入步骤S6；
步骤S6、将步骤S5中获取的图片分别进行计算得到该图片所对应的清晰度数值后进行依次排序得到第二清晰度数值序列；
步骤S7、在第二清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第二清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到生物显微镜的焦点处所对应的载物台移动的第三距离；
步骤S8、根据第三距离，控制Z轴电机带动载物台下移，从而使载物台位于生物显微镜的焦点处。
2.根据权利要求1所述的生物显微镜的快速自动聚焦方法，其特征在于：所述快速自动聚焦方法还包括：
步骤S9、驱动X轴和Y轴电机带动载物台水平移动，最终通过安装在生物显微镜上的传感器获取镜检区不同位置的图片。
3.根据权利要求2所述的生物显微镜的快速自动聚焦方法，其特征在于：所述快速自动聚焦方法还包括：
步骤S10、对步骤S9中获取的不同位置的图片分别进行计算得到不同位置的图片所对应的清晰度数值；
步骤S11、对不同位置的图片所对应的清晰度数值进行判断，判断不同位置的图片所对应的清晰度数值是否在误差允许范围之内，所述误差允许范围为步骤S5中最大清晰度数值±0.08之间；是，则结束；否则返回步骤S5。
4.根据权利要求1所述的生物显微镜的快速自动聚焦方法，其特征在于：所述步骤S3中在第一清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到焦点附近所对应的载物台的第一距离具体为：
通过以下公式计算得到第一距离：
m＝(n2-n1)*Sm/n2，
其中，m为第一距离、n2为位于第一清晰度数值序列中最后一个清晰度数值所对应的排序位置、n1为最大清晰度数值的图片所对应的排序位置、Sm为步骤S1中载物台上移的总距离。
5.根据权利要求1所述的生物显微镜的快速自动聚焦方法，其特征在于：所述步骤S7中在第二清晰度数值序列中找出最大清晰度数值的图片所对应的排序位置以及位于第二清晰度数值序列中最后一个清晰度数值所对应的排序位置后进行计算得到焦点处所对应的载物台的第三距离具体为：
对步骤S5中驱动Z轴电机带动载物台每上移一个第二距离进行计算得到载物台上移的总距离；
通过以下公式计算得到第三距离：
b＝(a2-a1)*Sb/a2，
其中，b为第三距离、a2为位于第二清晰度数值序列中最后一个清晰度数值所对应的排序位置、a1为最大清晰度数值的图片所对应的排序位置、Sb为步骤S5中载物台上移的总距离。
6.根据权利要求1所述的生物显微镜的快速自动聚焦方法，其特征在于：所述步骤S5中驱动Z轴电机带动载物台每上移一个第二距离为0.95-1um。
CN201810965845.2A 2018-08-23 2018-08-23 生物显微镜的快速自动聚焦方法 Active CN109031638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810965845.2A CN109031638B (zh) 2018-08-23 2018-08-23 生物显微镜的快速自动聚焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810965845.2A CN109031638B (zh) 2018-08-23 2018-08-23 生物显微镜的快速自动聚焦方法

Publications (2)

Publication Number Publication Date
CN109031638A CN109031638A (zh) 2018-12-18
CN109031638B true CN109031638B (zh) 2021-05-14

Family

ID=64627124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810965845.2A Active CN109031638B (zh) 2018-08-23 2018-08-23 生物显微镜的快速自动聚焦方法

Country Status (1)

Country Link
CN (1) CN109031638B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996002B (zh) * 2019-12-16 2021-08-24 深圳市瑞图生物技术有限公司 显微镜聚焦方法、装置、计算机设备和存储介质
WO2022041197A1 (zh) * 2020-08-31 2022-03-03 深圳迈瑞生物医疗电子股份有限公司 样本图像拍摄方法以及样本图像拍摄设备
CN112363309B (zh) * 2020-11-13 2023-02-17 杭州医派智能科技有限公司 一种用于显微镜下病理图像的自动寻焦方法和***
CN113064267A (zh) * 2021-04-09 2021-07-02 苏州华文海智能科技有限公司 一种显微镜的自动调焦方法
CN113064269A (zh) * 2021-04-09 2021-07-02 苏州华文海智能科技有限公司 一种显微镜以及智能化显微镜***
CN114785959B (zh) * 2022-06-16 2022-10-14 江苏美克医学技术有限公司 荧光显微镜的自动聚焦方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706609A (zh) * 2009-11-23 2010-05-12 常州达奇信息科技有限公司 基于图像处理的显微镜快速自动聚焦方法
WO2013026537A2 (de) * 2011-08-23 2013-02-28 Universität Regensburg Vorrichtung und verfahren zur messung der strahlablenkung mittels frequenzanalyse
CN106990518A (zh) * 2017-04-17 2017-07-28 深圳大学 一种血涂片自聚焦显微成像方法
CN107797262A (zh) * 2017-11-03 2018-03-13 华东师范大学 基于图像纹理的显微镜不同倍数镜头联合聚焦方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706609A (zh) * 2009-11-23 2010-05-12 常州达奇信息科技有限公司 基于图像处理的显微镜快速自动聚焦方法
WO2013026537A2 (de) * 2011-08-23 2013-02-28 Universität Regensburg Vorrichtung und verfahren zur messung der strahlablenkung mittels frequenzanalyse
CN106990518A (zh) * 2017-04-17 2017-07-28 深圳大学 一种血涂片自聚焦显微成像方法
CN107797262A (zh) * 2017-11-03 2018-03-13 华东师范大学 基于图像纹理的显微镜不同倍数镜头联合聚焦方法

Also Published As

Publication number Publication date
CN109031638A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109031638B (zh) 生物显微镜的快速自动聚焦方法
JP5819389B2 (ja) 撮像システムおよび技法
CN104181685B (zh) 基于显微镜的数字切片自动聚焦装置及其方法
CN106873142B (zh) 一种结核杆菌检测仪的高质量图像获取装置及方法
CN109085695B (zh) 一种用于平面样本快速对焦拍照的方法
CN1727983A (zh) 选通脉冲照明
CN111458835A (zh) 一种显微镜多视野自动对焦***及其使用方法
CN103257510A (zh) 一种快速自动调焦方法
CN109752831B (zh) 一种聚焦时间可控的显微镜自动聚焦方法、***及装置
WO2011082344A2 (en) Method and apparatus for fast focus imaging biologic specimens
CN114785959B (zh) 荧光显微镜的自动聚焦方法、装置、存储介质及电子设备
CN114113115B (zh) 一种大口径元件表面微缺陷高精度自动定位方法
JP5981241B2 (ja) 顕微鏡撮像装置及び顕微鏡撮像方法
CN117170081A (zh) 一种基于图像清晰度识别的自动对焦方法
CN117233921A (zh) 一种用于荧光成像设备的自动对焦方法
CN108693624B (zh) 成像方法、装置及***
CN115278072B (zh) 一种用于Micro LED检测的自动对焦方法及***
CN114815211B (zh) 一种基于图像处理的显微镜自动对焦方法
CN116931247A (zh) 一种面向多区域切片扫描的快速对焦方法
CN113253417B (zh) 一种用于骨髓涂片扫描的自动调平及自动对焦方法
CN101038414A (zh) 自动对焦方法及使用上述方法的影像撷取装置
CN112839168B (zh) 一种自动调整aoi检测***中相机成像分辨率的方法
CN205920270U (zh) 用于高速显微扫描的动态对焦装置
CN107561075B (zh) 细胞dna倍体分析三维运动平台的快速扫描成像方法
JP2008014646A (ja) 基板検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant