CN113935969B - 一种基于领域知识引导的新冠肺炎特异性病例的诊断*** - Google Patents
一种基于领域知识引导的新冠肺炎特异性病例的诊断*** Download PDFInfo
- Publication number
- CN113935969B CN113935969B CN202111208713.3A CN202111208713A CN113935969B CN 113935969 B CN113935969 B CN 113935969B CN 202111208713 A CN202111208713 A CN 202111208713A CN 113935969 B CN113935969 B CN 113935969B
- Authority
- CN
- China
- Prior art keywords
- image
- discriminator
- generator
- domain knowledge
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 26
- 238000003745 diagnosis Methods 0.000 title claims abstract description 23
- FMGBNISRFNDECK-CZSBRECXSA-N Coronatine Chemical compound CC[C@H]1C[C@]1(C(O)=O)NC(=O)C1=C[C@H](CC)C[C@@H]2C(=O)CC[C@H]12 FMGBNISRFNDECK-CZSBRECXSA-N 0.000 title claims abstract description 6
- FMGBNISRFNDECK-UHFFFAOYSA-N coronatine Natural products CCC1CC1(C(O)=O)NC(=O)C1=CC(CC)CC2C(=O)CCC12 FMGBNISRFNDECK-UHFFFAOYSA-N 0.000 title claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000003860 storage Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims abstract 2
- 238000012549 training Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 23
- 210000002569 neuron Anatomy 0.000 claims description 21
- 210000004072 lung Anatomy 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 206010003598 Atelectasis Diseases 0.000 claims description 7
- 208000007123 Pulmonary Atelectasis Diseases 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 208000000616 Hemoptysis Diseases 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 208000015181 infectious disease Diseases 0.000 claims description 3
- 230000003211 malignant effect Effects 0.000 claims description 3
- 230000008929 regeneration Effects 0.000 claims description 3
- 238000011069 regeneration method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000007246 mechanism Effects 0.000 description 9
- 108010074051 C-Reactive Protein Proteins 0.000 description 7
- 102100032752 C-reactive protein Human genes 0.000 description 7
- 208000000059 Dyspnea Diseases 0.000 description 4
- 206010013975 Dyspnoeas Diseases 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 206010011224 Cough Diseases 0.000 description 3
- 210000004712 air sac Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 206010008479 Chest Pain Diseases 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RYCNUMLMNKHWPZ-SNVBAGLBSA-N 1-acetyl-sn-glycero-3-phosphocholine Chemical compound CC(=O)OC[C@@H](O)COP([O-])(=O)OCC[N+](C)(C)C RYCNUMLMNKHWPZ-SNVBAGLBSA-N 0.000 description 1
- VOUAQYXWVJDEQY-QENPJCQMSA-N 33017-11-7 Chemical compound OC(=O)CC[C@H](N)C(=O)N[C@@H](C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](C(C)C)C(=O)NCC(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(C)C)C(=O)NCC(=O)NCC(=O)NCC(=O)N1CCC[C@H]1C(=O)NCC(=O)N[C@@H](C)C(=O)NCC(=O)N[C@@H](CO)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(N)=O)C(=O)N1[C@H](C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](C)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(O)=O)C(=O)NCC(=O)N[C@@H](CO)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(N)=O)C(O)=O)CCC1 VOUAQYXWVJDEQY-QENPJCQMSA-N 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 108010075254 C-Peptide Proteins 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 208000027205 Congenital disease Diseases 0.000 description 1
- 206010058314 Dysplasia Diseases 0.000 description 1
- 206010014561 Emphysema Diseases 0.000 description 1
- 102000004877 Insulin Human genes 0.000 description 1
- 108090001061 Insulin Proteins 0.000 description 1
- 206010054949 Metaplasia Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 101800004937 Protein C Proteins 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 102100036546 Salivary acidic proline-rich phosphoprotein 1/2 Human genes 0.000 description 1
- 101800001700 Saposin-D Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 208000037919 acquired disease Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 210000001789 adipocyte Anatomy 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000004154 complement system Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000017574 dry cough Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000035931 haemagglutination Effects 0.000 description 1
- 230000002440 hepatic effect Effects 0.000 description 1
- 229940125396 insulin Drugs 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000015689 metaplastic ossification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 229960000856 protein c Drugs 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002636 symptomatic treatment Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于领域知识引导的新冠肺炎特异性病例的诊断***，包括以下模块：数据预处理模块；数据增强模块；领域知识存储模块；分类模块：将鉴别器网络保存为特征提取网络，并将倒数第二个全连通层的输出信息表示作为输入，通过S3VM分类器进行新冠肺炎筛检和分类；本发明基于DK进行半监督学习，并开发DScGANS和S3VM模型来诊断新冠肺炎病例。DScGANS以新冠肺炎病例图像作为输入，在领域知识的约束下，通过DScGANS模型提取特征并将提取到的特征用作S3VM的输入，DK将作为约束S3VM进行新冠肺炎分类的条件，从而优化该***的分类精度。本发明能够在较短的处理时间下，提供稳定和先进的诊断性能，达到较高的检测率与较低的误检率，可应用于新冠肺炎的筛检。
Description
技术领域
本发明涉及图像处理中新冠肺炎算法领域，具体是一种领域知识引导的生成对抗机制下的新冠肺炎特异性病例的精准诊断***。
背景技术
随着计算机技术的飞速发展，数字图像处理技术在医学领域得到了广泛应用，包括器官分割和图像增强修复，为后续的医学诊断提供了支持。卷积神经网络(CNN)等具有较强非线性建模能力的深度学习技术在医学图像处理中也有着广泛的应用。国内外研究者在肺结节的诊断、良性和恶性肿瘤的分型、肺结核的分析和疾病预测等方面开展了大量研究。
发明内容
本发明公开了一种基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断***，结合领域知识中的关键指标，引入生成对抗模型来解决复杂无比的无监督学习模型，具有良好的鲁棒性。
为实现上述目的，采用如下技术方案：
一种基于领域知识引导的新冠肺炎特异性病例的诊断***，包括以下模块：
数据预处理模块；数据增强模块；
领域知识存储模块：获取并存储相关的领域知识，提取新冠肺炎患者的特异性特征；
DScGANS生成器与鉴别器模块：在高斯分布中随机采样生成随机向量，并将随机向量输入至生成器网络中，得到仿真图像，将真实图像以及仿真图像按批次输入鉴别器网络中；借助导入的真实图像以及仿真图像，结合获取的领域知识(Domain Knowledge,DK)，利用Adam梯度下降法不断调整生成器以及鉴别器的参数；生成器主要用来结合领域知识学习真实图像分布从而让自身生成的图像更加真实，以“骗”过鉴别器。鉴别器则需要对接收的图片进行真假鉴别；在整个过程中，生成器努力地让生成的图像更加真实，而鉴别器则努力地去识别出图像的真假，这个过程相当于一个动态博弈，随着时间的推移和不断迭代，生成器和鉴别器在不断地进行对抗，最终两个网络达到了一个动态均衡；
分类模块：将鉴别器网络保存为特征提取网络，并将倒数第二个全连通层的输出信息表示作为输入，通过S3VM分类器进行新冠肺炎筛检和分类；倒数第二个全连通层的输出信息包括深度特征和DK。
所述的诊断***，所述数据预处理模块：采用阈值分割的方法从肺部CT图像中提取感染部分，得到感兴趣部分即ROI，并裁剪成相同大小的结节图像存入样本数据库；将患者的CT影像数据按照7:2:1的比例随机划分为训练集、验证集、测试集；将图像大小统一为128x128像素。
所述的诊断***，所述的数据增强模块：对每个类别的训练集图片进行旋转和翻转操作，以期望训练得到的生成模型具有生成旋转图像的泛化能力并尽量避免GAN发生模式崩溃，如此使图片增加到原来的16倍，这些图片直接作为GAN的训练集。
所述的诊断***，领域知识存储模块：提取了新冠肺炎患者的以下特异性特征：CRP值、咯血量、节段性肺不张、多发肺气囊。
所述的诊断***，DScGANS生成器与鉴别器模块包括：生成器单元、鉴别器单元、交替训练单元、更新单元；
生成器单元，生成图像；
生成器单元用G表示，G使用这种方法来生成图像G((z,DK)；θg)，它由一个全连接层和五个反卷积层组成，参数为θg，每一个输入的随机噪声向量z有一个对应的领域知识DK作为支撑，这种随机噪声向量是从真实图像对应的假图像中获得的；
鉴别器单元，鉴别图像
鉴别器单元使用参数D表示，它包含六个卷积层，一个特征降维层(fdr)、一个联合学习网络(jln)以及和一个全连接层(fc)；参数是θd；特征降维层是一种含有16个神经元的全连接层，它用来连接领域知识和深度特征，并在此之前降低深度特征的维度；将领域特征与深度特征串联后，他们都会被送入联合学习网络；联合学习网络由两个全连接层组成，这两个全连接层用于学习已标记数据的领域知识、深度特征和类别标签之间的关联信息；假设真实的图像patch有k类，将G生成的图像patch定义为第k+1类；因此，最后一个全连接层有k+1个神经元，其中前k个都为Softmax神经元，第k+1类为sigmoid神经元；真实的输入图像块可能来自于一个带有标签data(x,y)的真实图像、一个没有标签data(x)的真实图像或者一个生成的虚假图像G((z,DK)；θg)；
使用前k个神经元来计算服从I～data(x,y)的图像属于第j类的概率类别：
PD(y＝j|(I,Dk))＝D(j)((I,Dk)；θd)
y是输入图像I的类别标签；
使用第k+1个神经元来计算输入图像I是属于真实图像data(x)或者生成图像G((z,DK)；θg)的概率，定义第k+1个神经元的输出是Dk+1((I,Dk)；θd)，即
PD(l＝0|(I,Dk))＝D(k+1)((I,Dk)；θd)
如果I来自一个虚假图像，变量I的值为0，否则为1；
交替训练单元：交替训练生成器与鉴别器
过程中首先初始化生成器和鉴别器，在每一次的迭代中：
首先固定生成器，更新鉴别器参数。鉴别器的学习目标是,如果判断输入是来自于真实数据集，则给高分；如果是生成器产生的数据，则给低分，损失越小，更容易给低分；
接下来，固定鉴别器的参数,更新生成器；将一个噪声输入生成器，得到生成图片，将生成图片输入鉴别器,然后会得到一个分数，这一阶段鉴别器的参数已经被固定，生成器需要调整参数使得这个生成图片的分数越大越好，损失越小生成质量越高；
为了训练DScGANS组件，在训练过程中使用了各种损失函数，对于输入随机噪声向量z，生成器损失函数为:
鉴别器的损失函数由两部分组成:监督损失函数和无监督损失函数，用LD_su区分输入I是来自真假图像的损失，用LD_un区分输入I是否属于j类的损失。给定输入I，鉴别器的损失函数为:
LD＝LD_su+LD_un
LD_su＝-EI～data(x,y)log{PD(y＝j|(I,Dk))}
更新单元：利用Adam算法对生成器与鉴别器参数进行更新
Adam算法过程如下:
mt＝β1mt-1(1-β1)gt
其中，gt表示梯度，mt表示均值，即梯度的一阶距，vt表示方差，即梯度的二阶距，β1表示一阶矩的指数衰减率，β2表示二阶矩的指数衰减率；然后计算校正误差的一阶矩以及二阶矩：
从而获得Adam的更新公式：
其中，η表示学习率，来控制权重的更新比率；学习率的大小会直接影响训练模型的性能，较大的学习率会使得加快模型的初始学习速率，而较小的学习率可一定程度上提高模型训练的收敛性；
所述的诊断***，分类模块：将训练完成后的鉴别器网络保存为特征提取模块，并将倒数第二个全连接层的输出信息作为输入，输入到S3VM进行新冠肺炎分类；定义了Fα、Fβ为倒数第二个全连接网络的输出，它包含深度特征以及领域知识；将Fα和Fβ结合，并定义他们为特征向量Fα*β，因此DK常被当做在S3VM分类期间未标注数据的一种条件限制；
假定代表Fα*β的第i个向量，/>代表标记数据集，ym是良性或者恶性标签，/>表示未标记数据集，/>是一种鉴别超平面，ω是超平面的常规向量，b是一种偏移项，/>从输入空间到高维再生核希尔伯特空间的变换函数；
S3VM的优化问题如下所示：
此时，H(t)是标记数据的合页损失函数，未标记数据的对称合页损失函数，C是一种正则化参数，而且C*是一种未标记数据的一种惩罚参数。
本发明的有益效果是：
本发明方法采用领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断，结合上一步领域知识中的关键指标，引入生成对抗模型来解决复杂无比的无监督学习模型。然后将新冠肺炎病例的特异性特征作为条件约束S3VM进行新冠肺炎结节分类，进而得出准确的诊断结果，从而为医师诊疗评估提供决策支持。本发明具有较好的快速性，在较短的处理时间下，具有较高的检测率与较低的误检率。
本发明提出的检测***，不仅执行快速，同时可以保证较高的检测率与较低的误检率，更重要的是可以在复杂的检测环境下保持良好的鲁棒性，可以应用于新冠肺炎的诊断中。
附图说明
图1为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断***中生成对抗网络的流程图。
图2为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断***中生成对抗网络的流程图。
图3为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断***中训练时带有早期标签的图像。
图4为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断***中训练时带有中期标签的图像。
图5为本发明基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断***中训练时带有晚期标签的图像。
图6是本发明有无领域知识的对比实验。
图7是本发明使用网格搜索策略所获得的两个核函数以及最优参数。
图8是本发明中使用不同维度的深度特征和领域知识下DScGANS模型的ROC曲线和AUC曲线。
具体实施方式
以下结合具体实施例，对本发明进行详细说明。
一种基于领域知识引导下的生成对抗机制的新冠肺炎特异性病例精准诊断***，包括：
A1.数据预处理模块
为了让卷积神经网络学到更加真实一致的特征，在深度学习时一般需要对图像进行预处理裁剪，但是大部分的裁剪会导致提取到的ROI区损伤变形，而形状轮廓信息是鉴别病变的重要依据。本发明采用阈值分割的方法从肺部CT图像中提取感染部分，得到感兴趣部分即ROI，并裁剪成相同大小的结节图像存入样本数据库。本发明将患者的CT影像数据按照7:2:1的比例随机划分为训练集、验证集、测试集。实验综合考虑计算成本与图像信息，将图像大小统一为128x128像素。
A2.数据增强模块
使用各个类别图片训练DScGANS来生成相应类别图片来扩充数据集。对于CT图像的生成和分类识别来说，要求模型具有对于旋转图像的泛化能力。因为卷积本身不具有旋转不变性，所以它无法自行得到旋转和翻转的泛化能力。最大值池化也只有小范围的扭曲和旋转不变性。所以本发明对每个类别的训练集图片进行旋转和翻转操作，以期望训练得到的生成模型具有生成旋转图像的泛化能力并尽量避免GAN发生模式崩溃。如此使图片增加到原来的16倍，这些图片直接作为GAN的训练集。
A3.领域知识存储模块：获取并存储相关的领域知识，提取新冠肺炎患者的特异性特征。
鉴于新冠肺炎普遍性病例与特异性病例的肺部病灶医学影像表现存在差异，在与有经验的新冠肺炎专家商讨之后，本发明着重提取了新冠肺炎患者的以下特异性特征：
1、CRP值：
C-反应蛋白(C-reactive protein，CRP)是一种在血浆中发现的肝源性急性蛋白，结构为环状五聚体。肝脏对巨噬细胞和脂肪细胞释放的因子产生应答后可合成CRP，其生理作用是与死细胞或濒死细胞(和某些类型的细菌)表面的溶血磷脂胆碱结合，通过复合物来激活补体***。它与C-肽(胰岛素)或蛋白C(血凝)不相关。CRP通常作为炎症标志物，当机体受到炎症感染时，CRP水平会急剧上升。
2、咯血量
新型冠状肺炎的患者出现的咳嗽症状多是持续性的，而且是较为剧烈的干咳，如果出现了咳血的情况，证明患者的病情已经比较严重了，及时去当地定点医院进行隔离，并进行对症治疗。
新型冠状肺炎的患者出现咳血的症状时，往往还会伴随着呼吸困难的情况。轻微的呼吸困难并没有什么大的问题，若是呼吸困难的情况比较严重，建议及时去医院进行吸氧治疗，才能够避免病情进一步发展。
3、节段性肺不张
肺不张指一个或多个肺段或肺叶的容量或含气量减少，由于肺泡内的气体吸收，肺不张通常伴有受累区域的透光度降低，邻近结构向不张的区域聚集。有时可见到肺泡腔实变，其他肺组织代偿性气肿。
肺分为几个小段右肺分为三个肺段，左肺分为两个分段，如果是哪一个区域，哪一个肺段出现了阻塞，可以出现节段性肺不张。肺不张分为先天性和后天性两种，一般在临床上常见有以下疾病导致多有肺部炎症和肿瘤。气管异物等患者可以出现咳嗽，咳痰痰中带有血丝，呼吸受限等情况。
4、多发肺气囊
肺气囊，是由于肺组织过度膨胀，肺泡间隔破裂，肺泡相互融合形成空腔，内可见残留的血管和肺泡间隔，肺气囊属于空腔性病变，肺气囊多，是由于先天性发育异常所引起可分为单发性和多发性两种临床现象上会出现胸闷、胸痛、呼吸困难等现象。
A4.DScGANS生成器与鉴别器模块：将预处理后的图片与获取的领域知识输入DScGANS进行特征学习
为了对新冠肺炎图像进行精准分类，我们提出了一种基于领域知识的DScGANS网络，基于领域知识的DScGANS主要包括了两个部分，即生成器与鉴别器。首先在高斯分布中随机采样生成随机向量，并将随机向量输入至生成器，得到仿真图像。其次，将真实图像以及仿真图像按批次输入鉴别器中；借助导入的真实图像以及仿真图像，结合获取的领域背景知识，利用Adam梯度下降法不断调整生成器以及鉴别器的参数。
生成器主要用来结合领域知识学习真实图像分布从而让自身生成的图像更加真实，以“骗”过鉴别器。鉴别器则需要对接收的图片进行真假鉴别。在整个过程中，生成器努力地让生成的图像更加真实，而鉴别器则努力地去识别出图像的真假，这个过程相当于一个动态博弈，随着时间的推移和不断迭代，生成器和鉴别器在不断地进行对抗，最终两个网络达到了一个动态均衡：生成器生成的图像接近于真实图像分布，而鉴别器识别不出真假图像，对于给定图像的预测为真的概率基本接近0.5(相当于随机猜测类别)。
DScGANS生成器与鉴别器模块：具体包括：
A41.建生成器单元，生成图像
参考图2，生成器：我们用G表示，G可以使用这种方法来生成图像G((z,DK)；θg)，它由一个全连接层和五个反卷积层组成，参数为θg，每一个输入的随机噪声向量z有一个对应的领域知识DK作为支撑，这种随机噪声向量是从真实图像对应的假图像中获得的。
A42.鉴别器单元，鉴别图像
鉴别器：我们使用参数D表示，它包含六个卷积层，一个特征降维层(fdr)、一个联合学习网络(jln)以及和一个全连接层(fc)；参数是θd。特征降维层是一种含有16个神经元的全连接层，它用来在连接领域知识和深度特征，并在此之前降低深度特征的维度。实验结果表明，如果将高维深度特征与低维深度特征直接连接，将会压倒低维领域知识。但是将领域特征与深度特征串联后，他们都会被送入联合学习网络。联合学习网络由两个全连接层组成，这两个全连接层用于学习已标记数据的领域知识、深度特征和类别标签之间的关联信息。假设真实的图像patch有k类，我们将G生成的图像patch定义为第k+1类。因此，最后一个全连接层有k+1个神经元，其中前k个都为Softmax神经元，第k+1类为sigmoid神经元。真实的输入图像块可能来自于一个带有标签data(x,y)的真实图像、一个没有标签data(x)的真实图像或者一个生成的虚假图像G((z,DK)；θg)。
我们使用前k个神经元来计算服从I～data(x,y)的图像属于第j类的概率类别：
PD(y＝j|(I,Dk))＝D(j)((I,Dk)；θd)
y是输入图像I的类别标签。
我们使用第k+1个神经元来计算输入图像I是属于真实图像data(x)或者生成图像G((z,DK)；θg)的概率。我们定义第k+1个神经元的输出是Dk+1((I,Dk)；θd)，即
PD(l＝0|(I,Dk))＝D(k+1)((I,Dk)；θd)
如果I来自一个虚假图像，变量I的值为0，否则为1。
A43.交替训练单元：交替训练生成器与鉴别器
过程中首先初始化生成器和鉴别器，在每一次的迭代中：
首先固定生成器，更新鉴别器参数。鉴别器的学习目标是,如果判断输入是来自于真实数据集，则给高分；如果是生成器产生的数据，则给低分(损失越小，更容易给低分)；接下来，固定鉴别器的参数,更新生成器。将一个噪声输入生成器，得到生成图片，将生成图片输入鉴别器,然后会得到一个分数，这一阶段鉴别器的参数已经被固定，生成器需要调整参数使得这个生成图片的分数越大越好(损失越小生成质量越高)。
为了训练DScGANS组件，我们在训练过程中使用了各种损失函数。对于输入随机噪声向量z，生成器损失函数为:
鉴别器的损失函数由两部分组成:监督损失函数和无监督损失函数。我们用LD_su区分输入I是来自真假图像的损失，用LD_un区分输入I是否属于j类的损失。给定输入I，鉴别器的损失函数为:
LD＝LD_su+LD_un
LD_su＝-EI～data(x,y)log{PD(y＝j|(I,Dk))}
A44.更新单元：利用Adam算法对生成器与鉴别器参数进行更新
其算法推理过程如下:
mt＝β1mt-1(1-β1)gt
其中，gt表示梯度，mt表示均值，即梯度的一阶距，vt表示方差，即梯度的二阶距，β1表示一阶矩的指数衰减率，通常默认选为0.9，β2表示二阶矩的指数衰减率，通常默认选为0.999。然后计算校正误差的一阶矩以及二阶矩：
从而获得Adam的更新公式：
其中，η表示学习率，来控制权重的更新比率。学习率的大小会直接影响训练模型的性能，较大的学习率会使得加快模型的初始学习速率，而较小的学习率可一定程度上提高模型训练的收敛性，因此初始学习速率一般可设为0.001。
A5.分类模块：将训练完成后的鉴别器网络保存为特征提取模块，并将倒数第二个全连接层的输出信息(输出结果包括深度特征和DK)作为输入，输入到S3VM进行新冠肺炎分类。
我们定义了Fα、Fβ为倒数第二个全连接网络的输出，它包含我们的深度特征以及领域知识。我们将Fα和Fβ结合，并定义他们为特征向量Fα*β。因此DK常被当做在S3VM分类期间未标注数据的一种条件限制。
假定代表Fα*β的第i个向量，/>代表标记数据集，ym是良性或者恶性标签，/>表示未标记数据集，/>是一种鉴别超平面(discriminating hyperplane)。ω是超平面的常规向量，b是一种偏移项，是从输入空间到高维再生核希尔伯特空间的变换函数(transformation function froman input space to a high-dimensional reproducing kernel Hilbert space)S3VM的优化问题如下所示：
此时，H(t)是标记数据的合页损失函数，未标记数据的对称合页损失函数，C是一种正则化参数，而且C*是一种未标记数据的一种惩罚参数。
图6是本发明中在本网络中将领域知识添加前后所做的对比实验。实验研究发现，将领域知识添加到网络中后，实验结果有明显提升。
图7是本发明使用网格搜索策略所获得的两个核函数以及最优参数。
图8是本发明中使用不同维度的深度特征和领域知识下DScGANS模型的ROC曲线和AUC曲线。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (2)
1.一种基于领域知识引导的新冠肺炎特异性病例的诊断***，其特征在于，包括以下模块：
数据预处理模块；所述数据预处理模块：采用阈值分割的方法从肺部CT图像中提取感染部分，得到感兴趣部分即ROI，并裁剪成相同大小的结节图像存入样本数据库；将患者的CT影像数据按照7:2:1的比例随机划分为训练集、验证集、测试集；将图像大小统一为128x128像素；
数据增强模块；所述的数据增强模块：对每个类别的训练集图片进行旋转和翻转操作，以期望训练得到的生成模型具有生成旋转图像的泛化能力并尽量避免GAN发生模式崩溃，如此使图片增加到原来的16倍，这些图片直接作为GAN的训练集；
领域知识存储模块：获取并存储相关的领域知识，提取新冠肺炎患者的特异性特征；所述领域知识存储模块提取了新冠肺炎患者的以下特异性特征：CRP值、咯血量、节段性肺不张、多发肺气囊；
DScGANS生成器与鉴别器模块：在高斯分布中随机采样生成随机向量，并将随机向量输入至生成器网络中，得到仿真图像，将真实图像以及仿真图像按批次输入鉴别器网络中；借助导入的真实图像以及仿真图像，结合获取的领域知识(Domain Knowledge,DK)，利用Adam梯度下降法不断调整生成器以及鉴别器的参数；生成器主要用来结合领域知识学习真实图像分布从而让自身生成的图像更加真实，以“骗”过鉴别器；鉴别器则需要对接收的图片进行真假鉴别；在整个过程中，生成器努力地让生成的图像更加真实，而鉴别器则努力地去识别出图像的真假，这个过程相当于一个动态博弈，随着时间的推移和不断迭代，生成器和鉴别器在不断地进行对抗，最终两个网络达到了一个动态均衡；
所述DScGANS生成器与鉴别器模块包括：生成器单元、鉴别器单元、交替训练单元、更新单元；
生成器单元，生成图像；
生成器单元用G表示，G使用这种方法来生成图像G((z,DK)；θg)，它由一个全连接层和五个反卷积层组成，参数为θg，每一个输入的随机噪声向量z有一个对应的领域知识DK作为支撑，这种随机噪声向量是从真实图像对应的假图像中获得的；
鉴别器单元，鉴别图像；
鉴别器单元使用参数D表示，它包含六个卷积层，一个特征降维层(fdr)、一个联合学习网络(jln)以及和一个全连接层(fc)；参数是θd；特征降维层是一种含有16个神经元的全连接层，它用来连接领域知识和深度特征，并在此之前降低深度特征的维度；将领域特征与深度特征串联后，他们都会被送入联合学习网络；联合学习网络由两个全连接层组成，这两个全连接层用于学习已标记数据的领域知识、深度特征和类别标签之间的关联信息；假设真实的图像patch有k类，将G生成的图像patch定义为第k+1类；因此，最后一个全连接层有k+1个神经元，其中前k个都为Softmax神经元，第k+1类为sigmoid神经元；真实的输入图像块可能来自于一个带有标签data(x,y)的真实图像、一个没有标签data(x)的真实图像或者一个生成的虚假图像G((z,DK)；θg)；
使用前k个神经元来计算服从I～data(x,y)的图像属于第j类的概率类别：
PD(y＝j|(I,Dk))＝D(j)((I,Dk)；θd)
y是输入图像I的类别标签；
使用第k+1个神经元来计算输入图像I是属于真实图像data(x)或者生成图像G((z,DK)；θg)的概率，定义第k+1个神经元的输出是Dk+1((I,Dk)；θd)，即
PD(l＝0|(I,Dk))＝D(k+1)((I,Dk)；θd)
如果I来自一个虚假图像，变量I的值为0，否则为1；
交替训练单元：交替训练生成器与鉴别器；
过程中首先初始化生成器和鉴别器，在每一次的迭代中：
首先固定生成器，更新鉴别器参数；鉴别器的学习目标是,如果判断输入是来自于真实数据集，则给高分；如果是生成器产生的数据，则给低分，损失越小，更容易给低分；
接下来，固定鉴别器的参数,更新生成器；将一个噪声输入生成器，得到生成图片，将生成图片输入鉴别器,然后会得到一个分数，这一阶段鉴别器的参数已经被固定，生成器需要调整参数使得这个生成图片的分数越大越好，损失越小生成质量越高；
为了训练DScGANS组件，在训练过程中使用了各种损失函数，对于输入随机噪声向量z，生成器损失函数为:
鉴别器的损失函数由两部分组成:监督损失函数和无监督损失函数，用LD_su区分输入I是来自真假图像的损失，用LD_un区分输入I是否属于j类的损失；给定输入I，鉴别器的损失函数为:
LD＝LD_su+LD_un
LD_su＝-EI～data(x,y)log{PD(y＝j|(I,Dk))}
更新单元：利用Adam算法对生成器与鉴别器参数进行更新；
Adam算法过程如下:
mt＝β1mt-1(1-β1)gt
其中，gt表示梯度，mt表示均值，即梯度的一阶距，vt表示方差，即梯度的二阶距，β1表示一阶矩的指数衰减率，β2表示二阶矩的指数衰减率；然后计算校正误差的一阶矩以及二阶矩：
从而获得Adam的更新公式：
其中，η表示学习率，来控制权重的更新比率；学习率的大小会直接影响训练模型的性能，较大的学习率会使得加快模型的初始学习速率，而较小的学习率可一定程度上提高模型训练的收敛性；
分类模块：将鉴别器网络保存为特征提取网络，并将倒数第二个全连通层的输出信息表示作为输入，通过S3VM分类器进行新冠肺炎筛检和分类；倒数第二个全连通层的输出信息包括深度特征和DK。
2.根据权利要求1所述的诊断***，其特征在于，分类模块：将训练完成后的鉴别器网络保存为特征提取模块，并将倒数第二个全连接层的输出信息作为输入，输入到S3VM进行新冠肺炎分类；定义了Fα、Fβ为倒数第二个全连接网络的输出，它包含深度特征以及领域知识；将Fα和Fβ结合，并定义他们为特征向量Fα*β，因此DK常被当做在S3VM分类期间未标注数据的一种条件限制；
假定代表Fα*β的第i个向量，/>代表标记数据集，ym是良性或者恶性标签，/>表示未标记数据集，/>是一种鉴别超平面，ω是超平面的常规向量，b是一种偏移项，/>从输入空间到高维再生核希尔伯特空间的变换函数；
S3VM的优化问题如下所示：
此时，H(t)是标记数据的合页损失函数，未标记数据的对称合页损失函数，C是一种正则化参数，而且C*是一种未标记数据的一种惩罚参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111208713.3A CN113935969B (zh) | 2021-10-18 | 2021-10-18 | 一种基于领域知识引导的新冠肺炎特异性病例的诊断*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111208713.3A CN113935969B (zh) | 2021-10-18 | 2021-10-18 | 一种基于领域知识引导的新冠肺炎特异性病例的诊断*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113935969A CN113935969A (zh) | 2022-01-14 |
| CN113935969B true CN113935969B (zh) | 2024-04-12 |
Family
ID=79280237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111208713.3A Active CN113935969B (zh) | 2021-10-18 | 2021-10-18 | 一种基于领域知识引导的新冠肺炎特异性病例的诊断*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113935969B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631386B (zh) * | 2022-12-19 | 2023-03-10 | 天津医之本医疗科技有限公司 | 一种基于机器学习的病理图像分类方法和*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681219A (zh) * | 2020-06-03 | 2020-09-18 | 北京小白世纪网络科技有限公司 | 基于深度学习的新冠肺炎ct图像分类方法、***及设备 |
| WO2021097675A1 (zh) * | 2019-11-19 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 一种基于医学图像的智能辅助诊断方法及终端 |
| CN113409300A (zh) * | 2021-07-12 | 2021-09-17 | 上海市第一人民医院 | 基于人工智能技术的新冠肺炎数据处理*** |
-
2021
- 2021-10-18 CN CN202111208713.3A patent/CN113935969B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021097675A1 (zh) * | 2019-11-19 | 2021-05-27 | 中国科学院深圳先进技术研究院 | 一种基于医学图像的智能辅助诊断方法及终端 |
| CN111681219A (zh) * | 2020-06-03 | 2020-09-18 | 北京小白世纪网络科技有限公司 | 基于深度学习的新冠肺炎ct图像分类方法、***及设备 |
| CN113409300A (zh) * | 2021-07-12 | 2021-09-17 | 上海市第一人民医院 | 基于人工智能技术的新冠肺炎数据处理*** |
Non-Patent Citations (1)
| Title |
|---|
| 超级计算支撑的新冠肺炎CT影像综合分析辅助***应用;康波;郭佳;王帅;徐波;孟祥飞;;中国图象图形学报;20201016(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113935969A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Prior-attention residual learning for more discriminative COVID-19 screening in CT images | |
| Pereira et al. | COVID-19 identification in chest X-ray images on flat and hierarchical classification scenarios | |
| CN108171232B (zh) | 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法 | |
| Lee et al. | Deep learning in medical imaging: general overview | |
| Agrawal et al. | Segmentation and classification on chest radiography: a systematic survey | |
| Yadav et al. | Lung-GANs: unsupervised representation learning for lung disease classification using chest CT and X-ray images | |
| Zheng et al. | Alleviating class-wise gradient imbalance for pulmonary airway segmentation | |
| Lv et al. | A cascade network for detecting covid-19 using chest x-rays | |
| Cao et al. | A multi-kernel based framework for heterogeneous feature selection and over-sampling for computer-aided detection of pulmonary nodules | |
| Mao et al. | Feature representation using deep autoencoder for lung nodule image classification | |
| Kaheel et al. | AI-based image processing for COVID-19 detection in chest CT scan images | |
| Majid et al. | COVID19 classification using CT images via ensembles of deep learning models. | |
| Tian et al. | Deep multi‐instance transfer learning for pneumothorax classification in chest X‐ray images | |
| Zhang et al. | Triplet attention and dual-pool contrastive learning for clinic-driven multi-label medical image classification | |
| Xie et al. | Optic disc and cup image segmentation utilizing contour-based transformation and sequence labeling networks | |
| El-Shafai et al. | Automated COVID-19 detection based on single-image super-resolution and CNN models | |
| CN113935969B (zh) | 一种基于领域知识引导的新冠肺炎特异性病例的诊断*** | |
| Dinsdale et al. | STAMP: Simultaneous Training and Model Pruning for low data regimes in medical image segmentation | |
| Fang et al. | COVID-RDNet: A novel coronavirus pneumonia classification model using the mixed dataset by CT and X-rays images | |
| Tang et al. | NSCGCN: A novel deep GCN model to diagnosis COVID-19 | |
| Ali et al. | Pneumonia detection in chest X-ray images: Handling class imbalance | |
| CN115147640A (zh) | 一种基于改进胶囊网络的脑肿瘤图像分类方法 | |
| Sayyed et al. | CovMUNET: a multiple loss approach towards detection of COVID-19 from chest X-ray | |
| Wang et al. | A Novel Automated Classification and Segmentation for COVID-19 using 3D CT Scans | |
| He | Lung CT imaging sign classification through deep learning on small data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |