CN113643306A - 一种染色体散型图像自动分割方法 - Google Patents

一种染色体散型图像自动分割方法 Download PDF

Info

Publication number
CN113643306A
CN113643306A CN202110939327.5A CN202110939327A CN113643306A CN 113643306 A CN113643306 A CN 113643306A CN 202110939327 A CN202110939327 A CN 202110939327A CN 113643306 A CN113643306 A CN 113643306A
Authority
CN
China
Prior art keywords
chromosome
image
connected domain
segmentation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110939327.5A
Other languages
English (en)
Inventor
高文
魏花
刘长吉
朱明�
郝志成
刘睿智
张红国
杨潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Hospital Jinlin University
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
First Hospital Jinlin University
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Hospital Jinlin University, Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical First Hospital Jinlin University
Priority to CN202110939327.5A priority Critical patent/CN113643306A/zh
Publication of CN113643306A publication Critical patent/CN113643306A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供了一种染色体散型图像自动分割方法，包括：S1、获取染色体散型图像的连通域二值化图像；S2、对连通域二值化图像进行分割，得到染色体散型图像的连通域图像；S3、对连通域图像进行二分类，分离出黏连染色体图像和单条染色体图像；S4、将分离出的黏连染色体图像输入深度学习分割网络预训练模型中进行二次分割，得到染色体核型图像。本发明相对于现有的染色体散型图像分割方法，先使用传统算法实现大部分染色体的分割，再使用图像二分类进一步对分类结果是黏连染色体再次分割，实现染色体分割的多级精细操作，分割过程更加稳定，同时本发明的分割方法只需要标注黏连的染色体，不需要标注大量数据，节约了人工标注成本。

Description

一种染色体散型图像自动分割方法
技术领域
本发明属于染色体分析技术领域，具体涉及一种染色体散型图像自动分割方法。
背景技术
随着计算机视觉的发展，基于计算机视觉的医疗图像处理为医生进行快速医疗诊断带来助力。染色体核型图像(图6)对于医生判断病情非常重要。然而，通过医学处理手段获得的仅是染色体散型图像(图5)，这些图像的染色体散乱、随机、重叠的地散布。染色体散型图像无法直观的给医生提供病人染色体是否存在结构或者数目异常等问题。因此，需要将获取的染色体散型图像通过二次处理得到核型染色体图像，这个过程操作繁琐，需要专业医护人员仔细观察操作，耗时耗力，同时还存在着分类准确率不高的问题。
发明内容
本发明为了解决从染色体散型图像到核型染色体图像处理单条染色体图像获取的问题，提出了一种染色体散型图像自动分割的方法，该方法利用计算机视觉处理算法，可以实现快速准确处理染色体散型图像，得到能够有效的实现染色体图像。为实现上述目的，本发明采用以下具体技术方案：
一种染色体散型图像自动分割方法，包括：
S1、获取染色体散型图像的连通域二值化图像；
S2、对连通域二值化图像进行分割，得到染色体散型图像的连通域图像，连通域图像包括黏连染色体图像和单条染色体图像；
S3、对连通域图像进行二分类，分离出黏连染色体图像和单条染色体图像；
S4、将分离出的黏连染色体图像输入深度学习分割网络预训练模型中进行二次分割，得到染色体核型图像。
优选地，步骤S1包括以下步骤：
S101、对染色体散型图像进行中值滤波处理，去除噪声；
S102、进行二值化、膨胀、腐蚀的操作，获得染色体散型图像的连通域二值化图像。
优选地，步骤S2包括以下步骤：
S201、获取连通域二值化图像中的连通域；
S202、去掉连通域二值化图像中非染色体的区域，获取连通域图像的外接矩；
S203、利用连通域图像的外接矩获得连通域图像。
优选地，通过构建权重卷积神经网络模型对连通域图像进行二分类。
优选地，权重卷积神经网络模型的构建包括以下步骤：
S301、对训练数据集中的黏连染色体进行标注，获得黏连染色体分割训练数据集和分类数据集；
S302、通过黏连染色体分割训练数据集构建权重卷积神经网络模型。
优选地，深度学习分割网络预训练模型的构建包括以下步骤：
S401、将分类数据集进行归一化；
S402、将归一化后的分类数据集输入到深度学习分割网络进行训练，得到佳深度学习分割网络预训练模型。
本发明能够取得以下技术效果：
1、先使用传统算法实现大部分染色体的分割，再使用图像二分类进一步对分类结果是黏连的染色体再次分割，实现染色体分割的多级精细操作，分割过程更加稳定。
2、本发明的分割方法只需要标注黏连的染色体，不需要标注大量数据，节约了人工标注成本。
附图说明
图1是本发明一个实施例的一种染色体散型图像自动分割方法的流程图；
图2是本发明一个实施例的染色体散型图像；
图3是图2的二值化效果图；
图4是本发明一个实施例的利用传统算法分割后的连通域图像；
图5是背景技术中的染色体散型图像；
图6是背景技术中的染色体核型图像；
图7是本发明另一个实施例的一种染色体散型图像自动分割方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
本发明的目的是提供一种染色体散型图像自动分割方法，首先使用传统的图像处理算法，分割开大部分染色体图像，当使用传统图像算法获取的染色体图像发生粘连，难以单独使用传统方法进行分割时，采用深度学习的方法对粘连的图像进行分割。下面将对本发明提供的一种染色体散型图像自动分割方法，通过具体实施例来进行详细说明。
参见图1所示的流程图，本发明具体实施方式所提供的染色体散型图像自动分割方法包括步骤：。
S1、获取染色体散型图像的连通域二值化图像；
S2、对连通域二值化图像进行分割，得到染色体散型图像的连通域图像；
S3、对连通域图像进行二分类，分离出黏连染色体图像和单条染色体图像；
S4、将分离出的黏连染色体图像输入深度学习分割网络预训练模型中进行二次分割，得到染色体核型图像。
本发明具体实施方式所提供的染色体散型图像自动分割方法先将染色体散型图图像中的大部分染色体分割开，得到大部分的单条染色体图像和少部分的黏连染色体图像，再进一步的对少部分的黏连染色体图像进行分割，最终得到全部的单条染色体图像。
本发明具体实施方式所提供的染色体散型图像自动分割方法在传统图像处理方法的基础上，创造性的将深度学习技术融入，通过构建深度学习分割网络预训练模型，进一步对传统图像处理方法中无法分割的黏连染色体进行分割。
在本发明的一个优选实施例中，步骤S1获取染色体散型图像的连通域二值化图像具体包括：利用传统算法对染色体散型图像进行处理，获取染色体散型图像的连通域图像。
具体的，输入如图2所示的染色体散型图像后，首先对其进行中值滤波处理，去除图像噪声；再依次进行二值化、膨胀、腐蚀的操作，获得如图3所示的连通域二值化图像，从图中可以看出，经过滤波、二值化、膨胀、腐蚀操作后获得的二值化图像更加清晰。
进一步的，获取连通域二值化图像中的各个连通域，再去掉连通域二值化图像中非染色体的区域，得到连通域图像的外接矩，利用连通域图像的外接矩获得染色体散型图像的各个连通域图像，具体的，如图4所示，获得的连通域图像分别均包括黏连染色体图像和单条染色体图像两类。
S3、对连通域图像进行二分类，分离出黏连染色体图像和单条染色体图像；
在本发明的一个优选实施例中，通过构建权重卷积神经网络模型对连通域图像进行二分类，权重卷积神经网络模型的构建方法如下：
采集200张染色体散型图像作为训练数据集，使用如S1和S2所述的方法得到200张染色体散型图像的单条染色体图像和黏连染色体图像；通过利用标注软件对黏连染色体进行标注，获得黏连染色体分割训练数据集和分类数据集。
利用黏连染色体分割训练数据集构建权重卷积神经网络模型，得到的权重卷积神经网络模型用于对连通域图像进行二分类。
具体的，将黏连染色体分割训练数据集中各图像的尺寸统一到224*224大小，将各个图像进行归一化处理后输入卷积神经网络进行训练，得到最优权重，进而得到权重卷积神经网络模型。
将步骤S2中获取的染色体散型图像的连通域图像输入至权重卷积神经网络模型，即可分离得到黏连染色体图像。
S4、将分离出的黏连染色体图像输入深度学习分割网络预训练模型中进行二次分割，得到染色体核型图像。
在本发明的一个优选实施例中，利用分类数据集构建深度学习分割网络预训练模型，得到的深度学习分割网络预训练模型用于将利用传统方法无法分割的黏连染色体进行进二次分割。
具体的，将分类数据集的图像归一化，使各个图像具有一致性，有利于模型的训练；即将归一化后的分类数据集输入深度学习分割网络进行训练，得到深度学习分割网络预训练模型。
图7示出了本发明另一个实施例的一种染色体散型图像自动分割方法的分割流程。
步骤一，对染色体散型图像进行中值滤波处理，除去图像中的噪声；再对除去噪声干扰后的图片进行二值化、膨胀、腐蚀的操作，获得清晰的染色体散型图像的连通域二值化图像；
步骤二，利用传统算法对染色体散型图像进行处理，获取连通域二值化图像中的各个连通域，再去掉连通域二值化图像中非染色体的区域，得到连通域图像的外接矩，利用连通域图像的外接矩获得染色体散型图像的各个连通域图像；
步骤三，构建权重卷积神经网络模型对连通域图像进行二分类，分离出黏连染色体图像和单条染色体图像，此时完成了对染色体散型图像的第一次分割，得到了染色体核型图像中的部分单条染色体图像和黏连染色体图像；
步骤四，构建深度学习分割网络预训练模型，将分离出的黏连染色体图像输入深度学习分割网络预训练模型中进行二次分割，得到全部的染色体核型图像。
本发明相对于现有的染色体散型图像分割方法，先使用传统算法实现大部分染色体的分割，再使用图像二分类进一步对分类结果是黏连染色体再次分割，实现染色体分割的多级精细操作，分割过程更加稳定，同时本发明的分割方法只需要标注黏连的染色体，不需要标注大量数据，节约了人工标注成本。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (6)

1.一种染色体散型图像自动分割方法，其特征在于，包括：
S1、获取染色体散型图像的连通域二值化图像；
S2、对所述连通域二值化图像进行分割，得到所述染色体散型图像的连通域图像，所述连通域图像包括黏连染色体图像和单条染色体图像；
S3、对所述连通域图像进行二分类，分离出所述黏连染色体图像和所述单条染色体图像；
S4、将分离出的所述黏连染色体图像输入深度学习分割网络预训练模型中进行二次分割，得到染色体核型图像。
2.根据权利要求1所述的染色体散型图像自动分割方法，其特征在于，步骤S1包括以下步骤：
S101、对所述染色体散型图像进行中值滤波处理，去除噪声；
S102、进行二值化、膨胀、腐蚀的操作，获得所述染色体散型图像的连通域二值化图像。
3.根据权利要求1所述的染色体散型图像自动分割方法，其特征在于，步骤S2包括以下步骤：
S201、获取所述连通域二值化图像中的连通域；
S202、去掉所述连通域二值化图像中非染色体的区域，获取所述连通域图像的外接矩；
S203、利用所述连通域图像的外接矩获得所述连通域图像。
4.根据权利要求1所述的染色体散型图像自动分割方法，其特征在于，通过构建权重卷积神经网络模型对所述连通域图像进行二分类。
5.根据权利要求4所述的染色体散型图像自动分割方法，其特征在于，所述权重卷积神经网络模型的构建包括以下步骤：
S301、对训练数据集中的黏连染色体进行标注，获得黏连染色体分割训练数据集和分类数据集；
S302、通过所述黏连染色体分割训练数据集构建权重卷积神经网络模型。
6.根据权利要求1所述的染色体散型图像自动分割方法，其特征在于，所述深度学习分割网络预训练模型的构建包括以下步骤：
S401、将所述分类数据集进行归一化；
S402、将归一化后的所述分类数据集输入到深度学习分割网络进行训练，得到所述佳深度学习分割网络预训练模型。
CN202110939327.5A 2021-08-16 2021-08-16 一种染色体散型图像自动分割方法 Pending CN113643306A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110939327.5A CN113643306A (zh) 2021-08-16 2021-08-16 一种染色体散型图像自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939327.5A CN113643306A (zh) 2021-08-16 2021-08-16 一种染色体散型图像自动分割方法

Publications (1)

Publication Number Publication Date
CN113643306A true CN113643306A (zh) 2021-11-12

Family

ID=78422182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939327.5A Pending CN113643306A (zh) 2021-08-16 2021-08-16 一种染色体散型图像自动分割方法

Country Status (1)

Country Link
CN (1) CN113643306A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049679A (zh) * 2022-05-05 2022-09-13 上海科莫生医疗科技有限公司 一种基于人工智能的染色体图像分割方法
CN115082474A (zh) * 2022-08-22 2022-09-20 湖南自兴智慧医疗科技有限公司 一种基于同源同类染色体信息的染色体分割方法及装置
CN115601360A (zh) * 2022-12-13 2023-01-13 湖南自兴智慧医疗科技有限公司（Cn） 染色体结构异常辅助识别方法、***及计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344874A (zh) * 2018-08-31 2019-02-15 华侨大学 一种基于深度学习的染色体自动分析方法及***
CN111986183A (zh) * 2020-08-25 2020-11-24 中国科学院长春光学精密机械与物理研究所 一种染色体散型图像自动分割识别***及装置
CN112487930A (zh) * 2020-11-26 2021-03-12 华南师范大学 自动染色体核型分析方法、***和存储介质
CN112487942A (zh) * 2020-11-26 2021-03-12 华南师范大学 染色体实例分割方法、***和存储介质
US20210118135A1 (en) * 2019-10-17 2021-04-22 Metasystems Hard & Software Gmbh Methods for automated chromosome analysis
CN113096143A (zh) * 2021-04-30 2021-07-09 天津深析智能科技发展有限公司 一种染色体核型分析中染色体分割方法
CN113239631A (zh) * 2021-06-07 2021-08-10 昆明理工大学 一种提高复杂动态场景分割的建模方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344874A (zh) * 2018-08-31 2019-02-15 华侨大学 一种基于深度学习的染色体自动分析方法及***
US20210118135A1 (en) * 2019-10-17 2021-04-22 Metasystems Hard & Software Gmbh Methods for automated chromosome analysis
CN111986183A (zh) * 2020-08-25 2020-11-24 中国科学院长春光学精密机械与物理研究所 一种染色体散型图像自动分割识别***及装置
CN112487930A (zh) * 2020-11-26 2021-03-12 华南师范大学 自动染色体核型分析方法、***和存储介质
CN112487942A (zh) * 2020-11-26 2021-03-12 华南师范大学 染色体实例分割方法、***和存储介质
CN113096143A (zh) * 2021-04-30 2021-07-09 天津深析智能科技发展有限公司 一种染色体核型分析中染色体分割方法
CN113239631A (zh) * 2021-06-07 2021-08-10 昆明理工大学 一种提高复杂动态场景分割的建模方法及***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049679A (zh) * 2022-05-05 2022-09-13 上海科莫生医疗科技有限公司 一种基于人工智能的染色体图像分割方法
CN115082474A (zh) * 2022-08-22 2022-09-20 湖南自兴智慧医疗科技有限公司 一种基于同源同类染色体信息的染色体分割方法及装置
CN115082474B (zh) * 2022-08-22 2023-03-03 湖南自兴智慧医疗科技有限公司 一种基于同源同类染色体信息的染色体分割方法及装置
CN115601360A (zh) * 2022-12-13 2023-01-13 湖南自兴智慧医疗科技有限公司（Cn） 染色体结构异常辅助识别方法、***及计算机设备
CN115601360B (zh) * 2022-12-13 2023-03-28 湖南自兴智慧医疗科技有限公司 染色体结构异常辅助识别方法、***及计算机设备

Similar Documents

Publication Publication Date Title
CN113643306A (zh) 一种染色体散型图像自动分割方法
WO2020253773A1 (zh) 一种医学图像的分类方法、模型训练方法、计算设备以及存储介质
AU2018102232A4 (en) Bone marrow cell marking method and system
CN110705583B (zh) 细胞检测模型训练方法、装置、计算机设备及存储介质
CN109241967B (zh) 基于深度神经网络的甲状腺超声图像自动识别***、计算机设备、存储介质
Kothari et al. Pathology imaging informatics for quantitative analysis of whole-slide images
CN112883962B (zh) 眼底图像识别方法、装置、设备、存储介质以及程序产品
Tonti et al. An automated approach to the segmentation of HEp-2 cells for the indirect immunofluorescence ANA test
CN111488921A (zh) 一种全景数字病理图像智能分析***及方法
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN112348765A (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
Ganapathy et al. CometQ: An automated tool for the detection and quantification of DNA damage using comet assay image analysis
US11688061B2 (en) Interpretation of whole-slide images in digital pathology
CN109146891B (zh) 一种应用于mri的海马体分割方法、装置及电子设备
CN109461494A (zh) 一种ris平台与影像辅助诊断***例数据同步方法
CN112837799A (zh) 基于区块链的远程互联网大数据智慧医疗***
CN115131630A (zh) 模型训练、微卫星状态预测方法、电子设备及存储介质
CN113158821A (zh) 基于多模态的眼部检测数据的处理方法、装置及终端设备
Al Shehhi et al. An Automatic Cognitive Graph‐Based Segmentation for Detection of Blood Vessels in Retinal Images
WO2024045319A1 (zh) 人脸图像聚类方法、装置、电子设备及存储介质
JP2018163527A (ja) 分類装置の製造方法、画像の分類方法、画像の分類装置、半導体の検査装置および分類基準モジュール
CN111507964A (zh) 新冠肺炎的集成学习定级方法、电子设备及存储介质
CN115393314A (zh) 一种基于深度学习的口腔医疗图像识别方法及***
CN112542244B (zh) 辅助信息的生成方法、相关装置及计算机程序产品
CN115205954A (zh) 一种眼部病症识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination