CN112750493B - 基于巴氏染色方式的dna倍体定量分析方法及*** - Google Patents
基于巴氏染色方式的dna倍体定量分析方法及*** Download PDFInfo
- Publication number
- CN112750493B CN112750493B CN202011525947.6A CN202011525947A CN112750493B CN 112750493 B CN112750493 B CN 112750493B CN 202011525947 A CN202011525947 A CN 202011525947A CN 112750493 B CN112750493 B CN 112750493B
- Authority
- CN
- China
- Prior art keywords
- cell
- cells
- staining
- optical density
- single cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010186 staining Methods 0.000 title claims abstract description 123
- 238000004445 quantitative analysis Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 108
- 238000004458 analytical method Methods 0.000 claims abstract description 58
- 230000007246 mechanism Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 29
- 238000004043 dyeing Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010217 densitometric analysis Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims 1
- 238000007447 staining method Methods 0.000 abstract description 13
- 210000004027 cell Anatomy 0.000 description 278
- 108020004414 DNA Proteins 0.000 description 82
- 102000053602 DNA Human genes 0.000 description 82
- 210000004940 nucleus Anatomy 0.000 description 13
- 210000003855 cell nucleus Anatomy 0.000 description 11
- 239000000126 substance Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 5
- 208000036878 aneuploidy Diseases 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 210000000805 cytoplasm Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 108091093105 Nuclear DNA Proteins 0.000 description 2
- 230000006578 abscission Effects 0.000 description 2
- 231100001075 aneuploidy Toxicity 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002380 cytological effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002485 urinary effect Effects 0.000 description 2
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 230000000711 cancerogenic effect Effects 0.000 description 1
- 231100000357 carcinogen Toxicity 0.000 description 1
- 239000003183 carcinogenic agent Substances 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000024971 chromosomal disease Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000326 densiometry Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 230000000394 mitotic effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 210000004994 reproductive system Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B5/00—ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
一种基于巴氏染色方式的细胞图像进行DNA倍体定量分析方法及***，对采用巴氏染色方式进行染色得到的细胞玻片扫描，对得到的细胞图像中的单个细胞采用设置的积分光密度分析模型处理，得到单个细胞的积分光密度值，采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，根据计算出该细胞玻片中的所有细胞的DNA指数，得到该细胞玻片的DNA定量分析结果。其中，所述分析模型采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标训练得到的。本发明保证DNA倍体定量分析的准确性。
Description
技术领域
本发明涉及医学细胞图像处理技术，特别涉及一种基于巴氏染色方式的细胞图像进行脱氧核糖核酸(DNA)倍体定量分析方法及***。
背景技术
癌症是一种染色体疾病，致癌物质、罕见的遗传病症以及偶发的有丝***错误都可以产生非整倍体继而引起肿瘤。研究显示，细胞基因组改变以及标本当中非整倍体细胞的出现，是癌症发展中的早期事件，可作为肿瘤检测标志。采用DNA倍体定量分析技术，对细胞核DNA含量和倍体状况进行测定和分析，是目前恶性肿瘤诊断中的一种重要方法，已广泛应用于各类细胞学检查中，过程为：基于获取到的细胞标本制作细胞玻片；对细胞玻片进行细胞图像的采集后，对所采集的细胞图像进行分析，得到其中的细胞区域，对细胞区域进行DNA倍体定量分析，得到定量分析结果。在这里，标本可以为诸如宫颈、口腔等表面刮取的标本，痰液、尿液等分泌***的标本，胸腔、腹腔等体液或肿瘤穿刺的标本，消化道、呼吸道内窥镜刷片及组织印片的标本等。
DNA非整体倍出现与癌变率和癌前病变增生程度有关，研究显示，细胞基因组改变以及标本当初非整倍体细胞的出现，是细胞发生癌变的一个重要指标，通过DNA倍体定量分析技术，对细胞DNA含量和倍体状况进行测定和分析，是目前恶性肿瘤诊断的重要方法之一，已经广泛应用于各类细胞学检查中。
目前，DNA倍体定量分析方法通常采用福尔根染色(Feulgen-stained)对细胞染色后，得到细胞图像进行分析，福尔根染色是一种能专一显示DNA的染色方法，DNA含量越高，细胞核染色后的颜色越深，但是该染色技术耗时较长，且基于该细胞图像进行DNA倍体定量分析方法存在腺细胞无法识别、过多的人工参与以及分析时间过长等问题。积分光密度是用来度量福尔根染色下的细胞图像中的细胞核DNA含量的重要数值，计算方式如下：
其中，λ0表示背景像素平均值，代表光线通过背景区域时的入射光强度平均值，λi为细胞核内第i个像素的值，n为细胞核内像素点数量。
为了克服上述问题，在DNA倍体定量分析时，可以采用巴氏染色方式得到细胞图像后进行分析，巴氏染色技术是人体脱落细胞学最常用的染色方法之一，广泛应用于呼吸***、泌尿***以及生殖***等脱落细胞学的诊断及微生物感染的鉴定等领域。与福尔根染色得到的细胞图像相比，巴氏染色下的细胞图像中的细胞透明度好，颜色鲜艳，细胞结构清晰。使用基于巴氏染色的细胞玻图像进行DNA倍体分析方法，可以有效解决现有基于福尔根染色的细胞图像的DNA倍体定量分析方法中染色和分析环节中存在的耗时长、人工参与多等问题。但是巴氏染色方式同时对细胞中的细胞核及细胞质进行染色，对细胞核中的非DNA物质也具有一定的染色作用，在进行后续的DNA倍体定量分析时也会掺杂非DNA物质，因此基于巴氏染色方式的细胞图像如何进行DNA倍体定量分析计算，避免在计算时包括了非DNA物质，保证DNA倍体定量分析的分析结果准确，成为了一个亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种基于巴氏染色方式的细胞图像进行DNA倍体定量分析方法，该方法能够去除巴氏染色下非DNA物质造成的影响，保证DNA倍体定量分析的准确性。
本发明实施例还提供了一种基于巴氏染色方式的细胞图像进行DNA倍体定量分析***，该***能够在进行DAN分析结果时去除DNA物质，保证DNA倍体定量分析的准确性。
本发明实施例是这样实现的：
一种基于巴氏染色方式的细胞图像进行DNA倍体定量分析方法，包括：
对采用巴氏染色方式进行染色得到的细胞玻片进行扫描，得到细胞图像；
对所述细胞图像中的单个细胞采用设置的积分光密度分析模型进行处理后，得到单个细胞的积分光密度值，所述积光密度分析模型是采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的；
采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，根据计算出该细胞玻片中的所有细胞的DNA指数得到该细胞玻片的DNA定量分析结果。
较佳地，所述积分光密度分析模型是采用EfficientNet网络结构，所述结构包括：卷积层、注意力机制层、特征金子塔层以及回归层。
较佳地，所述注意力机制层，用于积分光密度分析模型在训练时对输入的单个细胞中的细胞核区域进行关注处理；
所述特征金字塔层，用于在处理时融合不同尺度的细胞特征。
较佳地，所述回归层中采用Huber损失函数进行回归，包括：
其中，L为计算的Huber损失函数的结果，y代表细胞的福尔根染色下归一化的积分光密度真值，f(x)为细胞的巴氏染色下的预测值，x代表输入的单个细胞图像，δ为预定义的阈值。
较佳地，所述卷积层，用于对输入的巴氏染色方式下的细胞图像中的单个细胞的特征进行卷积处理；
回归层，包括卷积层及全局最大池化层，激活函数采用Relu激活函数，输出为巴氏染色下的细胞图像中的单个细胞对应的在福尔根染色下的积分光密度数值。
较佳地，在所述训练得到积分光密度分析模型之前，还包括准备训练数据集进行训练：
按照设定数量准备细胞玻片，包括阴性细胞玻片和阳性细胞玻片；
将每一例细胞玻片，使用巴氏染色对细胞玻片中的细胞进行染色并扫描为细胞图像后，再将其褪色后使用福尔根染色并扫描为细胞图像，分别获得同一细胞样本在福尔根染色和巴氏染色下的细胞图像；
获得巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值。
一种基于巴氏染色方式的细胞图像进行DNA倍体定量分析***，包括：获取单元、处理单元及DNA倍体定量分析单元，其中，
获取单元，用于对采用巴氏染色方式进行染色得到的细胞玻片进行扫描，得到细胞图像；
处理单元，用于对所述细胞图像中的单个细胞采用设置的积分光密度分析模型进行处理后，得到单个细胞的积分光密度值，所述积光密度分析模型是采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的；
DNA倍体定量分析单元，用于采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，得到该细胞玻片的DNA定量分析结果。
较佳地，所述处理单元，还用于所述积分光密度分析模型是采用EfficientNet网络结构，该结构包括：卷积层、注意力机制层、特征金子塔层以及回归层。
如上所见，本发明实施例对采用巴氏染色方式进行染色得到的细胞玻片进行扫描，得到细胞图像，对所述细胞图像中的单个细胞采用设置的积分光密度分析模型进行处理后，得到单个细胞的积分光密度值后，采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，得到该细胞玻片的DNA定量分析结果。其中，所述积光密度分析模型是采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的。这样，由于本发明在对细胞图像进行DNA倍体定量分析时，采用了积分光密度分析模型，该模型是将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的，可以去除巴氏染色下非DNA物质造成的影响，且该模型在构建时引入了注意力机制及特征金字塔机制，可以使网络可以自动学习需要重点关注的细胞核区域，融合不同尺度的细胞特征信息，增强所提特征的表征能力，保证DNA倍体定量分析的准确性。
附图说明
图1为本发明实施例提供的一种基于巴氏染色方式的细胞图像进行DNA倍体定量分析方法流程图；
图2为本发明实施例提供的DNA倍体定量分析的具体例子示意图；
图3为本发明实施例提供的积分光密度分析模型的网络结果具体示意图；
图4为本发明实施例提供的FPN层的结构示意图；
图5为本发明实施例提供的注意力机制层的结构示意图；
图6为本发明实施例提供的基于巴氏染色方式的细胞图像进行DNA倍体定量分析***结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
从背景技术可以看出，使用基于巴氏染色的细胞进行DNA倍体分析方法，虽然可以有效解决现有基于福尔根染色方式的细胞图像的DNA倍体定量分析方法中染色和分析环节中存在的耗时长、人工参与多等问题。但是巴氏染色方式对细胞进行染色时，同时对细胞中的细胞核及细胞质进行染色，对细胞核中的非DNA物质也具有一定的染色作用，在进行后续DNA倍体定量分析时也会掺杂非DNA物质，使得DNA倍体定量分析不准确。因此，本发明实施例对采用巴氏染色方式进行染色得到的细胞玻片进行扫描，得到细胞图像，对所述细胞图像中的单个细胞采用设置的积分光密度分析模型进行处理后，得到单个细胞的积分光密度值后，采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，根据计算出该细胞玻片中的所有细胞的DNA指数得到该细胞玻片的DNA定量分析结果。其中，所述积光密度分析模型是采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的。
这样，由于本发明在对细胞图像进行DNA倍体定量分析时，采用了积分光密度分析模型，该模型是将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的，可以去除巴氏染色下非DNA物质造成的影响，且该模型在构建时引入了注意力机制及特征金字塔机制，可以使网络自动学习需要重点关注的细胞核区域，融合不同尺度的细胞特征信息，增强所提特征的表征能力，保证DNA倍体定量分析的准确性。
图1为本发明实施例提供的基于巴氏染色方式的细胞图像进行DNA倍体定量分析方法流程图，其具体步骤包括：
步骤101、对采用巴氏染色方式进行染色得到的细胞玻片进行扫描，得到细胞图像；
步骤102、对所述细胞图像中的单个细胞采用设置的积分光密度分析模型进行处理后，得到单个细胞的积分光密度值，所述积光密度分析模型是采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的；
步骤103、采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，根据计算出该细胞玻片中的所有细胞的DNA指数得到该细胞玻片的DNA定量分析结果。
在该方法中，所述积分光密度分析模型是采用EfficientNet网络结构，该结构包括：卷积层、注意力机制层、特征金子塔层及回归层。
其中，卷积层一般采用3*3的结构，对输入的单个细胞的特征进行卷积处理。
注意力机制层，用于积分光密度分析模型在训练时对输入的单个细胞中的细胞核区域进行关注处理。
特征金字塔层，用于在处理时融合不同尺度的细胞特征。
在回归层中采用Huber损失函数进行回归，包括：
其中，L为计算的Huber损失函数的结果，y代表细胞的福尔根染色下归一化的积分光密度真值，f(x)为细胞的巴氏染色下的预测值，x代表输入的单个细胞图像特征，δ为预定义的阈值。
回归层，采用了两个3*3的卷积层及全局最大池化层，激活函数采用Relu激活函数，输出为巴氏染色下的细胞图像中的单个细胞对应的在福尔根染色下的积分光密度数值。
在该方法中，所述积分光密度分析模型具体训练如下所述。
第一个步骤：准备训练数据集。
在该步骤下，首先，进行细胞玻片准备，包括阴性细胞玻片和阳性细胞玻片，都按照设定数量准备；其次，采集细胞玻片，获得细胞图像，具体将上述每一例细胞玻片，首先使用巴氏染色对细胞玻片中的细胞进行染色并扫描为细胞图像后，再将其褪色后使用福尔根染色并扫描为细胞图像，以此分别获得同一细胞样本在福尔根染色和巴氏染色下的细胞图像；最后，获得巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值。
第二个步骤：设置积分光密度分析模型并基于准备的训练数据集进行训练。
考虑到同一细胞样本下，使用两种染色方式获得的细胞图像，其细胞核的DNA含量应该是保持一致的。因此，本发明实施例构建积分光密度分析模型，在该模型中，通过深度学习技术，直接构建出了巴氏染色下的单个细胞到福尔根染色积分光密度数值的映射关系，以便进一步计算巴氏染色下的单个细胞DNA倍体值。
具体地说，首先，构建网络结构；
在该步骤中，采用回归目标构建积分光密度分析模型，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为巴氏染色下相应的单个细胞的回归目标。也就是说，在构建的积分光密度分析模型中，输入为巴氏染色下的细胞图像中的单个细胞图像，输出为该细胞对应的在福尔根染色下的积分光密度数值，进行训练。
积分光密度分析模型，其主干网络采用EfficientNet网络结构，该EfficientNet网络结构通过简单高效的复合系数从深度、宽度和分辨率三个维度上放大网络，在网络结构中可以***特征金字塔层，通过融合不同尺度的细胞特征信息，增强提取特征的能力，适应不同细胞形态尺寸差异较大的问题；在网络结构中还可以***注意力机制层，使网络自动学习需要重点关注的单个细胞中的细胞核区域，更好的确定巴氏染色下的细胞图像中的单个细胞与福尔根染色下对应的细胞核积分光密度之间的关系。
积分光密度分析模型中的回归层采用了Huber损失函数：
其中，L为计算的Huber损失函数的结果，y代表细胞的福尔根染色下归一化的积分光密度真值，f(x)为细胞的巴氏染色下的预测值，x代表输入的单个细胞图像，δ为预定义的阈值。
第三个步骤，DNA倍体数值计算
在获得单细胞的积分光密度之后，采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，得到该细胞玻片的DNA定量分析结果。
对本发明实施例提供的DNA倍体数值计算的方法举例进行详细说明。
参照图2所示的本发明实施例提供的DNA倍体定量分析的具体例子示意图进行说明。
第一个步骤：准备训练数据集。
在该步骤下，首先，进行细胞玻片准备，包括阴性细胞玻片和阳性细胞玻片，都按照设定数量准备；其次，采集细胞玻片，获得细胞图像，具体将上述每一例细胞玻片，首先使用巴氏染色对细胞玻片中的细胞进行染色并扫描为细胞图像后，再将其褪色后使用福尔根染色并扫描为细胞图像，以此分别获得同一细胞样本在福尔根染色和巴氏染色下的细胞图像；最后，获得巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值。
在这里，所述获得巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值的过程为：
1)使用已有的积分光密度计算方法计算福尔根染色下的细胞图像中的细胞核积分光密度数值。经福尔根染色后的细胞样本可以采用MotiCytometer(麦克奥迪医疗诊断***有限公司)的全自动细胞像分析***进行扫描，并收集8000左右的细胞核，每个细胞核均得出100多个参数特征值，通过参数特征值***可自动对细胞核进行分类，确定细胞核的DNA倍体值；
2)使用设置的目标检测模型对巴氏染色下的细胞图像进行细胞检测，获得单个细胞；所设置的目标检测模型是已经训练好的，用于进行巴氏染色下的细胞图像中的单个细胞的检测。
3)将巴氏染色的细胞图像和福尔根染色的细胞图像进行坐标对齐，获得的巴氏染色中的单个细胞图像与对应的福尔根染色下的细胞核积分光密度值。
第二个步骤，设置积分光密度分析模型并基于准备的训练数据集进行训练。
由于福尔根染色方式仅对细胞中的细胞核染色，而巴氏染色方式对细胞核及细胞质均具有染色作用，并且对细胞核中DNA、蛋白质等多种物质染色都具有着色作用。若直接通过计算积分光密度的方法，获得的巴氏染色细胞的DNA倍体数值，与福尔根染色的DNA倍体值会存在一定差异。考虑到同一细胞样本下，使用两种染色方式获得的细胞图像，其细胞核的DNA含量是保持一致的。因此，本发明实施例构建积分光密度分析模型，在该模型中，通过深度学习技术，直接构建出了巴氏染色下的单个细胞与福尔根染色下的积分光密度数值的映射关系，以便进一步计算巴氏染色下细胞DNA倍体值。
具体地说，如图3所示，图3为本发明实施例提供的积分光密度分析模型的网络结果具体示意图。首先，构建网络结构；
在该步骤中，采用回归目标构建积分光密度分析模型，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为巴氏染色下相应的单个细胞的回归目标。也就是说，在构建的积分光密度分析模型中，输入为巴氏染色下的细胞图像中的单个细胞图像特征，输出为该细胞对应的在福尔根染色下的积分光密度数值，进行训练。
积分光密度分析模型，其主干网络采用EfficientNet网络结构，该EfficientNet网络结构通过简单高效的复合系数从深度、宽度和分辨率三个维度上放大网络，增强主干网络的特征提取能力。
在网络结构中***特征金字塔(FPN)层，如图4所示，图4为本发明实施例提供的FPN层的结构示意图，通过融合不同尺度的细胞特征信息，增强提取特征的能力，适应不同细胞形态尺寸差异较大的问题。
在网络结构中还可以***注意力机制(attention)层，如图5所示，图5为本发明实施例提供的注意力机制层的结构示意图，使网络自动学习需要重点关注的单个细胞中的细胞核区域，更好的确定巴氏染色下的细胞图像中的单个细胞与福尔根染色下对应的细胞核积分光密度之间的关系。
在积分光密度分析模型中的回归层采用了两个3*3的卷积层及全局最大池化层，激活函数采用Relu激活函数，输出为巴氏染色下的细胞图像中的单个细胞对应的在福尔根染色下的积分光密度数值。
在积分光密度分析模型中，回归层常用的损失函数有平方损失函数、绝对值损失函数或Huber损失函数等，平方损失函数最常用，其缺点是对于异常点会施以较大的惩罚，因而不够鲁棒；绝对值损失函数具有抵抗异常点干扰的特性，但是在y-f(x)处不连续可导，难以优化。本发明实施例的积分光密度分析模型中的回归层的回归目标，是以福尔根染色方式的单个细胞中的细胞核获得的积分光密度值为目标，对巴氏染色下的对应细胞进行分析，为方便损失函数计算，将回归层的积分光密度值进行归一化处理，采用的损失函数为Huber损失函数：
其中，L为计算的Huber损失函数的结果，y代表细胞的福尔根染色下归一化的积分光密度真值，f(x)为细胞的巴氏染色下的预测值，x代表输入的单个细胞图像，δ为预定义的阈值。
第三个步骤，DNA倍体定量值计算
在获得单细胞的积分光密度之后，采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，得到该细胞玻片的DNA定量分析结果。
图6为本发明实施例提供的基于巴氏染色方式的细胞图像进行DNA倍体定量分析***结构示意图，包括：获取单元、处理单元及DNA倍体定量分析单元，其中，
获取单元，用于对采用巴氏染色方式进行染色得到的细胞玻片进行扫描，得到细胞图像；
处理单元，用于对所述细胞图像中的单个细胞采用设置的积分光密度分析模型进行处理后，得到单个细胞的积分光密度值，所述积光密度分析模型是采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的；
DNA倍体定量分析单元，用于采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，得到该细胞玻片的DNA定量分析结果。
在该***中，所述处理单元，还用于所述积分光密度分析模型是采用EfficientNet网络结构，该结构包括：卷积层、注意力机制层、特征金子塔层及回归层。
本发明实施例简化了基于巴氏染色下的细胞图像的DNA倍体分析流程，提高DNA倍体定量分析的精准度，具体地说：本发明实施例提出了积分光密度分析模型，能够实现巴氏染色下的细胞图像的单个细胞的积分光密度值的自动计算；本发明实施例提出的积分光密度分析模型使用EfficientNet网络作为主干网络，该网络基于神经结构搜索技术采用简单而高效的复合系数从深度，宽度和分辨率三个维度放大网络，且引入特征金字塔层和注意力机制层，可以融合不同尺度的细胞信息，同时增强提取特征的能力，可适应于各扫描仪倍数差异、不同种类细胞大小差异等实际问题，具有较高的鲁棒性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (8)
1.一种基于巴氏染色方式的细胞图像进行DNA倍体定量分析方法，其特征在于，包括：
对采用巴氏染色方式进行染色得到的细胞玻片进行扫描，得到细胞图像；
对所述细胞图像中的单个细胞采用设置的积分光密度分析模型进行处理后，得到单个细胞的积分光密度值，所述积分光密度分析模型是采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的；
采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，根据计算出该细胞玻片中的所有细胞的DNA指数得到该细胞玻片的DNA定量分析结果。
2.如权利要求1所述的方法，其特征在于，所述积分光密度分析模型是采用EfficientNet网络结构，所述结构包括：卷积层、注意力机制层、特征金字塔层以及回归层。
3.如权利要求2所述的方法，其特征在于，所述注意力机制层，用于积分光密度分析模型在训练时对输入的单个细胞中的细胞核区域进行关注处理；
所述特征金字塔层，用于在处理时融合不同尺度的细胞特征。
4.如权利要求2所述的方法，其特征在于，所述回归层中采用Huber损失函数进行回归，包括：
其中，L为计算的Huber损失函数的结果，y代表细胞的福尔根染色下归一化的积分光密度真值，f(x)为细胞的巴氏染色下的预测值，x代表输入的单个细胞图像，δ为预定义的阈值。
5.如权利要求2所述的方法，其特征在于，所述卷积层，用于对输入的巴氏染色方式下的细胞图像中的单个细胞的特征进行卷积处理；
回归层，包括卷积层及全局最大池化层，激活函数采用Relu激活函数，输出为巴氏染色下的细胞图像中的单个细胞对应的在福尔根染色下的积分光密度数值。
6.如权利要求1所述的方法，其特征在于，在所述训练得到积分光密度分析模型之前，还包括准备训练数据集进行训练：
按照设定数量准备细胞玻片，包括阴性细胞玻片和阳性细胞玻片；
将每一例细胞玻片，使用巴氏染色对细胞玻片中的细胞进行染色并扫描为细胞图像后，再将其褪色后使用福尔根染色并扫描为细胞图像，分别获得同一细胞样本在福尔根染色和巴氏染色下的细胞图像；
获得巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值。
7.一种基于巴氏染色方式的细胞图像进行DNA倍体定量分析***，其特征在于，包括：获取单元、处理单元及DNA倍体定量分析单元，其中，
获取单元，用于对采用巴氏染色方式进行染色得到的细胞玻片进行扫描，得到细胞图像；
处理单元，用于对所述细胞图像中的单个细胞采用设置的积分光密度分析模型进行处理后，得到单个细胞的积分光密度值，所述积分光密度分析模型是采用注意力机制及特征金字塔机制的回归神经网络，将巴氏染色下的单个细胞对应的福尔根染色下积分光密度数值作为回归目标进行训练得到的；
DNA倍体定量分析单元，用于采用设置的细胞检测模型对所有单个细胞检测后，从检测为正常的所有单个细胞中选取部分单个细胞作为样本细胞，将统计出的样本细胞的积分光密度均值作为对照值，计算出该细胞玻片中的所有细胞的DNA指数，得到该细胞玻片的DNA定量分析结果。
8.如权利要求7所述的***，其特征在于，所述处理单元，还用于所述积分光密度分析模型是采用EfficientNet网络结构，该结构包括：卷积层、注意力机制层、特征金字塔层以及回归层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011525947.6A CN112750493B (zh) | 2020-12-22 | 2020-12-22 | 基于巴氏染色方式的dna倍体定量分析方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011525947.6A CN112750493B (zh) | 2020-12-22 | 2020-12-22 | 基于巴氏染色方式的dna倍体定量分析方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112750493A CN112750493A (zh) | 2021-05-04 |
| CN112750493B true CN112750493B (zh) | 2024-05-03 |
Family
ID=75648656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011525947.6A Active CN112750493B (zh) | 2020-12-22 | 2020-12-22 | 基于巴氏染色方式的dna倍体定量分析方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750493B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327233B (zh) * | 2021-05-28 | 2023-05-16 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0801306A1 (en) * | 1996-04-10 | 1997-10-15 | Becton, Dickinson and Company | Method for immunohistochemically quantitating co-localized molecules |
| DE10128552A1 (de) * | 2001-06-13 | 2002-12-19 | Jens Stockhausen | Verfahren zur Zellanalyse und Zellanalyseeinrichtung |
| CN101492740A (zh) * | 2009-02-24 | 2009-07-29 | 武汉兰丁医学高科技有限公司 | 细胞定量分析中细胞核dna物质含量的准确测量方法 |
| CN101560544A (zh) * | 2008-04-18 | 2009-10-21 | 麦克奥迪实业集团有限公司 | 一种细胞综合检测方法 |
| CN102181534A (zh) * | 2011-03-22 | 2011-09-14 | 武汉兰丁医学高科技有限公司 | 一种快速测定细胞核内dna含量的方法 |
| CN103558404A (zh) * | 2013-11-08 | 2014-02-05 | 麦克奥迪（厦门）医疗诊断***有限公司 | 一种基于数字切片的细胞dna自动检测和复核方法 |
| GB201504569D0 (en) * | 2015-03-18 | 2015-05-06 | Oxford Cancer Biomarkers Ltd | Tissue sample analysis technique |
| CN104700375A (zh) * | 2015-03-27 | 2015-06-10 | 麦克奥迪（厦门）医疗诊断***有限公司 | 一种基于主成分分析的病理图像视觉效果改善方法 |
| CN106340016A (zh) * | 2016-08-31 | 2017-01-18 | 湖南品信生物工程有限公司 | 一种基于细胞显微镜图像的dna定量分析方法 |
| CN106645153A (zh) * | 2016-12-23 | 2017-05-10 | 麦克奥迪（厦门）医疗诊断***有限公司 | 一种细胞病理切片快速染色检测方法 |
| EP3486836A1 (en) * | 2017-11-17 | 2019-05-22 | Sysmex Corporation | Image analysis method, apparatus, program, and learned deep learning algorithm |
| CN109946278A (zh) * | 2019-03-26 | 2019-06-28 | 贺权源 | 荧光染料dapi对细胞dna进行染色定量的癌症筛查和诊断方法 |
| CN110211108A (zh) * | 2019-05-29 | 2019-09-06 | 武汉兰丁医学高科技有限公司 | 一种新型的基于Feulgen染色方法的异常宫颈细胞自动识别方法 |
| CN110675363A (zh) * | 2019-08-20 | 2020-01-10 | 电子科技大学 | 一种针对宫颈细胞的dna指数自动计算方法 |
| CN110736747A (zh) * | 2019-09-03 | 2020-01-31 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞液基涂片镜下定位的方法及*** |
| WO2020069738A1 (en) * | 2018-10-03 | 2020-04-09 | Oslo Universitetssykehus | Automatic calculation for ploidy classification |
| CN111863118A (zh) * | 2020-07-20 | 2020-10-30 | 湖南莱博赛医用机器人有限公司 | 基于tct制片进行tct和dna倍体分析的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8185317B2 (en) * | 2003-06-12 | 2012-05-22 | Cytyc Corporation | Method and system of determining the stain quality of slides using scatter plot distribution |
| US20060134731A1 (en) * | 2004-12-22 | 2006-06-22 | Louise Isenstein | Stain characterization for automated cytology |
| DE102006038335A1 (de) * | 2006-08-15 | 2008-02-21 | Böcking, Alfred, Prof. Dr. med. | Verfahren zur Zellanalyse |
| JP2013541767A (ja) * | 2010-09-16 | 2013-11-14 | ユニバーシティ・オブ・カンザス | セルブロック調製物のデジタル評価のためのシステム及び方法 |
-
2020
- 2020-12-22 CN CN202011525947.6A patent/CN112750493B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0801306A1 (en) * | 1996-04-10 | 1997-10-15 | Becton, Dickinson and Company | Method for immunohistochemically quantitating co-localized molecules |
| DE10128552A1 (de) * | 2001-06-13 | 2002-12-19 | Jens Stockhausen | Verfahren zur Zellanalyse und Zellanalyseeinrichtung |
| CN101560544A (zh) * | 2008-04-18 | 2009-10-21 | 麦克奥迪实业集团有限公司 | 一种细胞综合检测方法 |
| CN101492740A (zh) * | 2009-02-24 | 2009-07-29 | 武汉兰丁医学高科技有限公司 | 细胞定量分析中细胞核dna物质含量的准确测量方法 |
| CN102181534A (zh) * | 2011-03-22 | 2011-09-14 | 武汉兰丁医学高科技有限公司 | 一种快速测定细胞核内dna含量的方法 |
| CN103558404A (zh) * | 2013-11-08 | 2014-02-05 | 麦克奥迪（厦门）医疗诊断***有限公司 | 一种基于数字切片的细胞dna自动检测和复核方法 |
| GB201504569D0 (en) * | 2015-03-18 | 2015-05-06 | Oxford Cancer Biomarkers Ltd | Tissue sample analysis technique |
| CN104700375A (zh) * | 2015-03-27 | 2015-06-10 | 麦克奥迪（厦门）医疗诊断***有限公司 | 一种基于主成分分析的病理图像视觉效果改善方法 |
| CN106340016A (zh) * | 2016-08-31 | 2017-01-18 | 湖南品信生物工程有限公司 | 一种基于细胞显微镜图像的dna定量分析方法 |
| CN106645153A (zh) * | 2016-12-23 | 2017-05-10 | 麦克奥迪（厦门）医疗诊断***有限公司 | 一种细胞病理切片快速染色检测方法 |
| EP3486836A1 (en) * | 2017-11-17 | 2019-05-22 | Sysmex Corporation | Image analysis method, apparatus, program, and learned deep learning algorithm |
| WO2020069738A1 (en) * | 2018-10-03 | 2020-04-09 | Oslo Universitetssykehus | Automatic calculation for ploidy classification |
| CN109946278A (zh) * | 2019-03-26 | 2019-06-28 | 贺权源 | 荧光染料dapi对细胞dna进行染色定量的癌症筛查和诊断方法 |
| CN110211108A (zh) * | 2019-05-29 | 2019-09-06 | 武汉兰丁医学高科技有限公司 | 一种新型的基于Feulgen染色方法的异常宫颈细胞自动识别方法 |
| CN110675363A (zh) * | 2019-08-20 | 2020-01-10 | 电子科技大学 | 一种针对宫颈细胞的dna指数自动计算方法 |
| CN110736747A (zh) * | 2019-09-03 | 2020-01-31 | 深思考人工智能机器人科技（北京）有限公司 | 一种细胞液基涂片镜下定位的方法及*** |
| CN111863118A (zh) * | 2020-07-20 | 2020-10-30 | 湖南莱博赛医用机器人有限公司 | 基于tct制片进行tct和dna倍体分析的方法 |
Non-Patent Citations (4)
| Title |
|---|
| The clinical pharmacology and use of antimicrotubule agents in cancer chemotherapeutics;Eric K. Rowinsky etc;《Pharmacology & Therapeutics》;19911031;全文 * |
| 一种骨髓细胞识别分类算法的研究;艾大萍;《中国生物医学工程学报》;20090820;全文 * |
| ***普查中细胞DNA倍体定量分析探讨;谢树瑞;;中国保健营养(12);全文 * |
| 细胞DNA倍体分析与常规细胞学诊断对宫颈上皮内瘤变诊断评估的比较;童华;王祝鸣;申艳;阚延静;李凤山;;中华临床医师杂志(电子版)(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112750493A (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7587078B2 (en) | Automated image analysis | |
| CN101560544B (zh) | 一种细胞综合检测方法 | |
| CN111863118B (zh) | 基于tct制片进行tct和dna倍体分析的方法 | |
| ES2267825T3 (es) | Metodo y sistema para analizar celulas. | |
| CN106462767B (zh) | 用于处理和分析图像的检查设备 | |
| CN112396621B (zh) | 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法 | |
| WO2003063706A1 (en) | Image processing using measures of similarity | |
| Netten et al. | Fluorescent dot counting in interphase cell nuclei | |
| EP2024933B1 (en) | "in vitro" diagnostic method for diseases affecting human or animal tissues | |
| CN113283352B (zh) | 一种基于显微图像的类器官活力评价方法及*** | |
| US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
| CN113628199B (zh) | 病理图片染色组织区域检测方法、检测***及预后状态分析*** | |
| CN108845153B (zh) | 一种白细胞粒子分析***及方法 | |
| CN112750493B (zh) | 基于巴氏染色方式的dna倍体定量分析方法及*** | |
| CN102203657B (zh) | 制备经过处理的虚拟分析图像的步骤 | |
| KR20110072098A (ko) | 디지털 병리학의 이미지 표준화 방법 | |
| CN101560543A (zh) | 细胞染色试剂及其配制方法和在细胞染色中的应用 | |
| CN113552126A (zh) | 一种网织红细胞检测方法及其*** | |
| CN112396583B (zh) | 一种基于巴氏染色方式的dna倍体定量分析的方法及*** | |
| CN114898862A (zh) | 基于卷积神经网络和病理切片图像的***计算机辅助诊断方法 | |
| JP2009014354A (ja) | 画像処理装置および画像処理プログラム | |
| Ballerini et al. | Fractal analysis of microscopic images of breast tissue | |
| Sheikhzadeh | Improving cervical neoplasia diagnosis via novel in vivo imaging technologies and deep learning algorithms | |
| CN113945558B (zh) | 一种用于判断骨髓增生程度的方法 | |
| CN112950550B (zh) | 一种基于深度学习的2型糖尿病肾脏病变图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |