CN116485809A - 基于自注意力与感受野调整的牙齿实例分割方法及*** - Google Patents

基于自注意力与感受野调整的牙齿实例分割方法及*** Download PDF

Info

Publication number
CN116485809A
CN116485809A CN202210767999.7A CN202210767999A CN116485809A CN 116485809 A CN116485809 A CN 116485809A CN 202210767999 A CN202210767999 A CN 202210767999A CN 116485809 A CN116485809 A CN 116485809A
Authority
CN
China
Prior art keywords
tooth
layer
convolution layer
segmentation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210767999.7A
Other languages
English (en)
Other versions
CN116485809B (zh
Inventor
高珊珊
窦文涵
迟静
周元峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Finance and Economics
Original Assignee
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Finance and Economics filed Critical Shandong University of Finance and Economics
Priority to CN202210767999.7A priority Critical patent/CN116485809B/zh
Publication of CN116485809A publication Critical patent/CN116485809A/zh
Application granted granted Critical
Publication of CN116485809B publication Critical patent/CN116485809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于自注意力与感受野调整的牙齿实例分割方法及***；其中所述方法包括：获取待分割的牙齿CBCT图像；对待分割的牙齿CBCT图像，输入到训练后的牙齿分割网络中，得到牙齿图像分割结果；其中，牙齿分割网络的工作原理包括：进行牙齿质心定位，获取牙齿质心融合特征；基于待分割的牙齿CBCT图像和牙齿质心融合特征，确定牙齿齿体的几何结构信息；基于牙齿齿体的几何结构信息，采用多尺度膨胀卷积融合的方式，获取牙齿牙根的结构信息。本发明通过设计一个深度学习网络，从牙齿CBCT图像中自动分割出单个牙齿并可以精确的还原出牙齿几何结构与细节信息。

Description

基于自注意力与感受野调整的牙齿实例分割方法及***
技术领域
本发明涉及图像分割技术领域，特别是涉及基于自注意力与感受野调整的牙齿实例分割方法及***。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
数字化技术在个性化医疗领域，如数字化齿科有着广泛的应用。自动而准确的获取3D牙齿分割结果往往是数字化牙齿诊疗如数字正畸中重要的、也是基础的步骤之一，后续诊疗步骤一般都是基于独立的单颗牙齿。
在现有的两种获取3D牙齿数据的方法中，口腔扫描数据仅能提供口腔内包含牙齿部分的表面信息，而不能提供牙齿的牙根等齿体结构，因此无法用它生成具有完整牙齿几何形状结构的3D牙齿模型。
针对CBCT图像的实例分割仍然存在如下问题：
(1)CBCT数据中相邻牙之间存在粘连问题，很难对相邻牙齿进行区分识别进而实现准确分割；
(2)牙齿齿体尤其是牙根部分形状复杂，不同牙齿的牙根有一到三个不等，且与周围牙槽骨对比度低，牙齿根部等细节很难捕获；
(3)CBCT图像中同时包含了背景软组织，容易对牙齿的分割形成噪声干扰。
针对如上问题，即使一些最先进的深度学习方法，仍然无法较好的捕获和还原出复杂多样的几何齿体结构和牙根细节等特征，致使分割精度依旧不高。
发明内容
为了解决现有技术的不足，本发明提供了基于自注意力与感受野调整的牙齿实例分割方法及***；设计一个深度学习网络，从CBCT中自动分割出单个牙齿并可以精确的还原出牙齿几何结构与细节信息。
第一方面，本发明提供了基于自注意力与感受野调整的牙齿实例分割方法；
基于自注意力与感受野调整的牙齿实例分割方法，包括：
获取待分割的牙齿CBCT图像；
对待分割的牙齿CBCT图像，输入到训练后的牙齿分割网络中，得到牙齿图像分割结果；其中，牙齿分割网络的工作原理包括：进行牙齿质心定位，获取牙齿质心融合特征；基于待分割的牙齿CBCT图像和牙齿质心融合特征，确定牙齿齿体的几何结构信息；基于牙齿齿体的几何结构信息，采用多尺度膨胀卷积融合的方式，获取牙齿牙根的结构信息。
第二方面，本发明提供了基于自注意力与感受野调整的牙齿实例分割***；
基于自注意力与感受野调整的牙齿实例分割***，包括：
获取模块，其被配置为：获取待分割的牙齿CBCT图像；
分割模块，其被配置为：对待分割的牙齿CBCT图像，输入到训练后的牙齿分割网络中，得到牙齿图像分割结果；其中，牙齿分割网络的工作原理包括：进行牙齿质心定位，获取牙齿质心融合特征；基于待分割的牙齿CBCT图像和牙齿质心融合特征，确定牙齿齿体的几何结构信息；基于牙齿齿体的几何结构信息，采用多尺度膨胀卷积融合的方式，获取牙齿牙根的结构信息。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
1.针对传统方法效率低下，泛化能力差等问题，提出了一个从牙齿质心定位到牙齿实例分割的两阶段深度学习框架，实现了从CBCT图像中自动而准确的分割牙齿。第一阶段利用基于V-net的质心预测网络获取每个形状复杂牙齿的牙齿质心，实现对单个牙齿的准确空间定位的同时获取单个牙齿的实例级牙齿信息；第二阶段引入两个功能模块来改进网络对CBCT图像特征语义关系的提取与还原能力，以实现从CBCT数据中鲁棒而精确的牙齿分割。
2.针对CBCT图像中相似噪声繁多，对比度低导致牙齿几何结构难以捕捉的问题，提出了一种基于3D自注意力机制的牙齿几何结构信息引导模块，用于同时获取CBCT图像中切片内依赖关系和切片间依赖关系，提升网络对CBCT牙齿数据中不同组织像素点的分类与获取能力，使得构造的网络对牙齿完整几何结构拥有了更好的捕获能力。
3.针对牙齿分割过程中牙根与牙表面等细节难以保持的问题，提出了一个基于膨胀卷积多尺度融合的牙齿特征整合模块，以3个不同膨胀率的膨胀卷积并行捕获牙齿数据的上下文语义信息，多尺度的捕获牙齿从牙表面到牙根等细节信息。进而通过融合不同膨胀率的膨胀卷积层，使网络在保持分辨率不变的同时以更大感受野对牙齿细节信息进行多尺度捕获与还原，引导网络的逐级解码过程。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一的方法流程图，pipline框架分两阶段进行，第一阶段获取牙齿质心，第二阶段进行牙齿的实例分割；
图2为实施例一的基于3D self-attention机制的牙齿几何结构引导模块；
图3(a)-图3(c)为实施例一的膨胀率1，3，5的膨胀卷积对应感受野的直观图；
图4为实施例一的基于多尺度膨胀卷积的牙齿特征整合模块，以膨胀率为1，3，5的卷积核为3的膨胀卷积层融合。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
CBCT利用三维锥形束X射线扫描提供了包含了完整牙齿齿体，牙床骨在内的全面口腔信息，数据格式标准，非常适用于做牙齿数据的3D分割，如图2所示本发明展示出了从CBCT图像中分割出牙齿的案例与结果。因此，本发明选取口腔CBCT数据进行牙齿的实例分割和识别工作的研究。
CBCT，Cone Beam Computed Tomography，X线断层摄影术。
实施例一
本实施例提供了基于自注意力与感受野调整的牙齿实例分割方法；
基于自注意力与感受野调整的牙齿实例分割方法，包括：
S101：获取待分割的牙齿CBCT图像；
S102：对待分割的牙齿CBCT图像，输入到训练后的牙齿分割网络中，得到牙齿图像分割结果；
其中，牙齿分割网络的工作原理包括：
进行牙齿质心定位，获取牙齿质心融合特征；
基于待分割的牙齿CBCT图像和牙齿质心融合特征，确定牙齿齿体的几何结构信息；
基于牙齿齿体的几何结构信息，采用多尺度膨胀卷积融合的方式，获取牙齿牙根的结构信息。
进一步地，所述牙齿分割网络，包括：牙齿质心定位网络和牙齿实例分割网络；所述牙齿实例分割网络，包括：牙齿实例分割网络编码部分、基于3D自注意力机制的牙齿齿体信息引导模块和多尺度膨胀卷积融合的牙齿特征整合模块。
进一步地，所述牙齿质心定位网络，包括：第一V-net网络；
第一V-net网络，包括：第一编码器和第一解码器；
所述第一编码器的输入端和第一解码器的输出端均与第一乘法器连接；
所述第一乘法器的输出端与聚类模块的输入端连接；
聚类模块的输出端与裁剪模块的输入端连接；
裁剪模块的输出端和第一编码器的输入端均与拼接单元连接；
拼接单元的输出端与牙齿实例分割网络的输入端连接。
V-net是U-Net的变体，是一个主要用于处理三维医学数据的深度学习框架。其借用了U-Net从压缩路径叠加特征图，从而补充信息的方法，与U-Net相比，它在每个卷积阶段都使用了残差架构，这样可以更有效地利用特征图中的信息，在处理三维医学数据分割领域有着良好的性能，因此我们选择V-Net作为我们牙齿分割工作的基础网络。
进一步地，所述聚类模块，采用基于密度的快速搜索聚类算法来实现。
进一步地，所述裁剪模块，用于以每个牙齿预测出的质心作为中心点，裁剪出标准的立方体区域，以框出每颗牙齿。
进一步地，所述牙齿质心定位网络，工作原理包括：
将待分割的牙齿CBCT图像输入到第一V-net网络；
第一V-net网络生成牙齿的3D牙齿质心偏移图；
将3D牙齿质心偏移图中的每一个体素转化为三维向量，体素的方向指向的目标点为牙齿质心；
根据3D牙齿质心偏移图中的每一个三维向量被其他三维向量指向的频率，生成一个牙齿质心密度图HC；
基于密度的快速搜索聚类算法，计算牙齿质心密度图HC中逐个体素点的局部密度ρi，和HC中的每个体素点与最高密度体素点之间的欧式距离δi；
将局部密度ρi大于设定密度阈值的点作为第一候选点集合；
将欧式距离δi大于设定距离阈值的点作为第二候选点集合；
将第一候选点集合与第二候选点集合求交集，生成候选牙齿质心点Ci^；
将预测的候选牙齿质心与真值牙齿质心之间的距离进行比较，将距离最小值所对应的候选牙齿质心作为预测出的最终牙齿质心点输出。
示例性地，设质心偏移图中有k个三维向量，计算逐点k的权重Ck及指向频率,牙齿质心密度图HC的计算公式如下所示：
示例性地，基于密度的快速搜索聚类算法，计算牙齿质心密度图HC中逐个体素点的局部密度ρi，和HC中的每个体素点与最高密度体素点之间的欧式距离δi；具体包括：
其中，dc是一个截断距离,是一个超参数；所以ρi相当于距离点i的距离小于dc的点的个数。
δi用于描述点i到其他较高密度点之间的最小距离。
应理解地，牙齿的质心可以准确的表示牙齿的空间位置，在牙齿实例分割工作中常被用来做单颗牙齿的定位工作，能够很好的区分不同牙齿的位置。因此本发明设计了牙齿质心定位网络，用于预测准确的牙齿质心。
在数据预处理阶段，通过求取CBCT图像中牙齿的坐标中心(xi，yi，zi)，将其设定为一组牙齿质心的标签Ci＝{c1，c2,…ck}，作为网络训练时牙齿质心的ground truth。
如图1所示，为了统一输入，将3D CBCT图像统一转换为240*240*240的大小，作为牙齿质心定位网络的输入，并引入V-net框架对牙齿数据进行第一阶段的粗级分割，同时生成牙齿的二值化图和质心3D偏移图。
生成的牙齿的二值化图区分了CBCT图像中的前景牙齿对象和背景组织；
如图1所示，将3D牙齿质心偏移图中的每一个体素转化为三维向量，体素的方向指向的目标点为牙齿质心。
根据生成的3D质心偏移图中的每一个三维向量被其他三维向量指向的频率生成一个牙齿质心密度图HC，在这里，被指向频率越高的三维向量的位置越可能为质心。
基于密度的快速搜索聚类算法，计算牙齿质心密度图HC中逐个体素点的局部密度ρi，和HC中的每个体素点与高密度体素点之间的欧式距离δi；
将具有较大距离δi的同时具有较大局部密度ρi的点作为峰值，将其定义为聚类目标点，作为预测出的候选牙齿质心Ci^。
预测质心Ci^的公式PC表示如下所示：
PC＝(ρi>μ)∩(δi>λ) (1)
其中，标量μ＝20和λ＝10分别是密度阈值和距离阈值，本发明依据这两个阈值作为聚类指标。
此外，根据预测的候选牙齿质心Ci^到标签牙齿质心Ci进行距离对比，将与标签牙齿质心Ci距离最小聚类中心点定义为预测出的牙齿质心点Ci 0。
通过预测得到牙齿质心，网络获取了牙齿空间位置信息，稳定的区分及定位牙齿，同时在网络学习质心的过程中，也获取到了单个牙齿的实例信息。
为减少冗余信息对网络的影响以及防止牙齿信息的丢失，以每个牙齿预测出的质心Ci^为中心剪裁出32个标准的32x32x40的立方体区域以框出每颗牙齿，作为牙齿实例分割网络的输入。
进一步地，所述牙齿实例分割网络，包括：第二V-net网络；
第二V-net网络，包括：第二编码器、自注意力机制层和第二解码器；
第二编码器，包括：由上到下依次连接的第一下采样层、第一卷积层、第二下采样层、第二卷积层、第三下采样层、第三卷积层、第四下采样层和第四卷积层；
第二解码器，包括：由下到上依次连接的第一上采样层、第一膨胀卷积层、第二上采样层、第二膨胀卷积层、第三上采样层、第三膨胀卷积层、第四上采样层和第五卷积层；
所述第四卷积层与自注意力机制层的输入端连接；
所述第一上采样层与自注意力机制层的输出端连接。
所述第二编码器，是牙齿实例分割网络编码部分。
所述自注意力机制层，是基于3D自注意力机制的牙齿齿体信息引导模块。
所述第二解码器，是多尺度膨胀卷积融合的牙齿特征整合模块。
进一步地，所述牙齿实例分割网络编码部分的工作原理：
从上而下逐级进行2倍下采样，提取特征信息。
如图2所示，所述自注意力机制层，包括：
并列的第一通道、第二通道和第三通道；
其中，第一通道设有第一3D卷积层；所述第一3D卷积层为1*1*1卷积层；
其中，第二通道设有第二3D卷积层；所述第二3D卷积层为3*3*3卷积层；
其中，第三通道设有第三3D卷积层；所述第三3D卷积层为3*3*3卷积层；
所述第一通道、第二通道和第三通道的输入值均是第二编码器输出的特征图；
所述第一3D卷积层的输出端和第二3D卷积层的输出端均与第一点乘单元的输入端连接；所述第一点乘单元的输出端与softmax函数层的输入端连接；
第三3D卷积层的输出端和softmax函数层的输出端均与第二点乘单元的输入端连接；第二点乘单元的输出端作为自注意力机制层的输出端。
进一步地，所述自注意力机制层，其工作原理是指：
假设将高层语义信息隐藏层中的特征图定义为K通道的特征FH×W×D×K，其中H和W分别表示CBCT图像特征图的高度和宽度，D代表CBCT图像的深度(层数)。
通过使用1*1*1卷积将输入的特征图中的像素x∈F转换为在整体特征空间R中的两个特征子空间，q(x)∈RD×H×W×K,k(x)∈RD×H×W×K，作为自注意力机制第一阶段的点乘计算，并以此变换作为特征编码和通道的原始输入。
计算每个像素与CBCT图像切片空间内所有其他像素的关系：
首先，通过应用从K*D*H*W到K*N的reshape操作将二维数组展平为一维向量，其中N＝H*W*D是特征图中的像素总数。
然后，对每个通道上的两个向量q(xi)和k(xj)执行内积得到每两个位置之间的关系，再将关系矩阵V(x)∈RD×H×W×K点乘所得卷积特征图以计算空间注意力，如公式(2)和(3)表示：
δj,i＝q(xi)Tk(xj) (3)
其中δj,i∈RK×N。δj,i表示特征图F上第i个位置与第j个位置的依赖关系或特征相似度，值越大表示关系越强，值越小表示关系越弱。
接下来，使用softmax函数对δ进行归一化，后将一个关系矩阵V(x)应用于卷积特征图来计算空间注意力，其中v(x)∈RC×D×H×W是一个3*3*3的内核卷积层。
应理解地，牙齿特征空间中任意两个像素点位置之间的距离与像素值等因素都存在着相关性。对于任何两个像素点，无论它们在输入图像或网络编码过程中得到的特征图中的空间位置如何，都可以通过自注意力机制的计算方式得到其像素点之间的空间距离依赖关系，在这里称之为像素依赖关系。
牙齿CBCT切片数据中存在两种依赖关系：切片内的依赖关系和切片间的依赖关系。在某一层CT切片中牙齿图像的不同像素之间的依赖关系，将其定义为切片内依赖。CBCT数据自上而下的切片图像展示了口腔中牙齿从牙冠到牙根的横截面信息，将不同切片之间的关系定义为切片间依赖。
牙齿CBCT数据中的这两种长距离依赖关系反应了较为完整的牙齿信息，因此提出了一个基于3D自注意力机制的实例分割引导模块，用于同时处理CBCT牙齿数据的切片内依赖关系和切片间依赖关系，从而使网络在对牙齿数据进行语义分割时对空间像素关系的分类与建模的能力得到提升，同时更好的考虑了空间维度上的自适应性，有助于更好的捕获牙齿几何结构信息。
随着网络卷积层对牙齿图像的操作，逐步获取到包含了牙齿图像更丰富的语义特征的牙齿图像的高层特征，其包含了更丰富牙齿几何结构信息。
因此本发明在编码器后接入牙齿几何结构信息引导模块，用自注意力机制的计算方式来捕获牙齿空间特征图中任意像素点间的空间距离依赖关系，更好的整合了整个牙齿空间特征图中的信息，并引导实例分割过程。
如图2所示，本发明展示了基于自注意力机制的齿体信息引导模块的流程图。通过自注意力机制本发明捕获了牙齿特征空间图中的像素点间的位置依赖关系，使网络更好的感知牙齿几何结构等特征，并以此引导整个牙齿实例分割网络。
进一步地，所述第一膨胀卷积层、第二膨胀卷积层和第三膨胀卷积层的内部结构是一致的。
如图4所示，所述第一膨胀卷积层，包括：并列的第一子膨胀卷积层、第二子膨胀卷积层和第三子膨胀卷积层；
所述第一子膨胀卷积层、第二子膨胀卷积层和第三子膨胀卷积层的输入端均与第六卷积层的输入端连接；
所述第一子膨胀卷积层、第二子膨胀卷积层和第三子膨胀卷积层的输出端与串联拼接单元的输入端连接，串联拼接单元对第一子膨胀卷积层、第二子膨胀卷积层和第三子膨胀卷积层的输出值进行拼接，串联拼接单元的输出端与1×1×1的卷积层的输入端连接，1×1×1的卷积层的输出端为第一膨胀卷积层的输出端。
进一步地，所述多尺度膨胀卷积融合的牙齿特征整合模块，工作原理包括：
通过膨胀卷积获取更大的感受野捕获特征信息，不同膨胀率对应的网络感受野不同，如膨胀率d＝3的3*3卷积层，对应的感受野大小为7。因此我们将3个不同尺度的膨胀卷积拼接融合，以多尺度膨胀卷积捕获更多牙齿细节特征。
将三个膨胀率d分别为1、3、5的膨胀卷积层，接收相同的输入并将他们的输出连接在一起，然后用一个1×1×1的卷积将其多尺度特征融合，因此获得的输出是具有不同感受野尺度的融合的特征图，对其进行上采样，使牙齿特征图在解码过程得到信息保持；
用K来表示卷积核个数，D来表示膨胀率大小，则三个膨胀卷积HK,D的卷积YK,D表示为：
K来表示卷积核个数，D来表示膨胀率大小，YK,D表示由三个不同K,D的膨胀卷积HK,D整合而成的一个卷积。
应理解地，在对获取到的特征图进行解码时，加入不同膨胀率大小的膨胀卷积层，获取不同的网络感受野。感受野的值越大表示其能接触到的牙齿原始图像范围就越大，也意味着它可以捕获牙齿更为全局，语义层次更高的特征；卷积感受野越小，则表示所包含牙齿的特征趋向局部和根部等细节。因此为了捕获和还原牙齿根部，表面等细节信息，本发明在网络解码器部分提出了多尺度膨胀卷积密集连接的牙齿特征整合模块，模块融合了不同膨胀率d(即内核)的卷积，每个膨胀卷积层都能在保持空间分辨率的情况下获得更大的感受野，如图3(a)-图3(c)所示，膨胀率d＝3的3*3卷积层，对应的感受野大小为7。可以考虑到单个牙齿实际的尺寸较小，使用内核大小为3*3*3的卷积层，其卷积的膨胀率为设置为di＝[1,3,5]，以减轻网格的计算压力，如图4所示。
本发明将牙齿特征整合模块引入到逐层的解码过程中，扩大整个网络的感受野，增强网络牙齿细节信息的捕获，引导牙齿实例分割。
进一步地，所述训练后的牙齿分割网络；训练过程包括：
构建训练集；所述训练集为已知牙齿分割结果的牙齿图像；
将训练集输入到牙齿分割网络中，对牙齿分割网络进行训练，当总的损失函数值不再降低时，停止训练，得到训练后的牙齿分割网络。
进一步地，所述总的损失函数，为质心预测网络的损失函数与牙齿实例分割网络的损失函数的求和结果。
进一步地，所述质心预测网络的损失函数，采用dice损失和bce损失作为第一V-net网络生成分割偏移的损失，同时使用mse损失和平滑L1损失来计算牙齿对象体素的偏移回归损失并且利用二元交叉熵损失来计算二值分割损失。
其中，平滑的L1损失结合了L1损失函数和L2损失函数的优点，使传播梯度更加稳定。实验的平衡系数λ本发明根据经验设置为10，记为：
进一步地，所述牙齿实例分割网络的损失函数，结合Dice损失函数Ldice和二元交叉熵损失函数Lbce作为网络损失Lseg，记为：
Lseg＝Ldice+Lbce。
本发明提出了一个在CBCT数据上进行牙齿实例分割的牙齿分割深度学习网络TSDNet(Tooth SegmentationDeeplearning Network)，该框架分为质心预测网络和牙齿实例分割网络两阶段，如图1展示了所提出方法的流程：
在质心预测阶段，通过引入V-net框架对牙齿数据进行第一阶段粗级分割来获取牙齿质心偏移图，并引入基于密度的快速搜索聚类算法，准确而鲁棒地获取牙齿质心，表示每个牙齿的空间位置信息。
在实例分割阶段，在网络编码部分引入牙齿几何结构信息引导模块增强网络对牙齿齿体结构的捕获；
在逐级解码阶段，引入牙齿特征整合模块，用于多尺度的捕获牙齿特征细节信息，以获得准确的牙齿分割结果。
为了更好的捕获单个牙齿的几何整体结构与细节信息，为了尽量去除与牙齿无关的噪声信息，本发明将CBCT原始图像与牙齿质心定位网络获取的质心融合特征一起作为牙齿实例分割网络的双通道输入。如图1所示，本发明引入V-net作为本发明的实例分割主框架，并在解码器后面引入基于3D自注意力机制的牙齿齿体信息引导模块，通过计算牙齿特征图中的空间像素相关性，更好的捕获牙齿齿体整体信息。对于牙齿的牙根等复杂细节，本发明在分割网络解码部分引入了多尺度膨胀卷积融合的牙齿特征整合模块，其在逐层解码的过程中，可以在保持图像分辨率不变的同时，多尺度的捕获牙齿细节信息，使分割结果的牙齿细节信息得到了很好的保持。
实施例二
本实施例提供了基于自注意力与感受野调整的牙齿实例分割***；
基于自注意力与感受野调整的牙齿实例分割***，包括：
获取模块，其被配置为：获取待分割的牙齿CBCT图像；
分割模块，其被配置为：对待分割的牙齿CBCT图像，输入到训练后的牙齿分割网络中，得到牙齿图像分割结果；其中，牙齿分割网络的工作原理包括：进行牙齿质心定位，获取牙齿质心融合特征；基于待分割的牙齿CBCT图像和牙齿质心融合特征，确定牙齿齿体的几何结构信息；基于牙齿齿体的几何结构信息，采用多尺度膨胀卷积融合的方式，获取牙齿牙根的结构信息。
此处需要说明的是，上述获取模块和分割模块对应于实施例一中的步骤S101至S102，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的***，可以通过其他的方式实现。例如以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于自注意力与感受野调整的牙齿实例分割方法，其特征是，包括：
获取待分割的牙齿CBCT图像；
对待分割的牙齿CBCT图像，输入到训练后的牙齿分割网络中，得到牙齿图像分割结果；其中，牙齿分割网络的工作原理包括：进行牙齿质心定位，获取牙齿质心融合特征；基于待分割的牙齿CBCT图像和牙齿质心融合特征，确定牙齿齿体的几何结构信息；基于牙齿齿体的几何结构信息，采用多尺度膨胀卷积融合的方式，获取牙齿牙根的结构信息。
2.如权利要求1所述的基于自注意力与感受野调整的牙齿实例分割方法，其特征是，所述牙齿分割网络，包括：牙齿质心定位网络和牙齿实例分割网络；所述牙齿实例分割网络，包括：牙齿实例分割网络编码部分、基于3D自注意力机制的牙齿齿体信息引导模块和多尺度膨胀卷积融合的牙齿特征整合模块。
3.如权利要求2所述的基于自注意力与感受野调整的牙齿实例分割方法，其特征是，所述牙齿质心定位网络，包括：第一V-net网络；第一V-net网络，包括：第一编码器和第一解码器；所述第一编码器的输入端和第一解码器的输出端均与第一乘法器连接；所述第一乘法器的输出端与聚类模块的输入端连接；聚类模块的输出端与裁剪模块的输入端连接；裁剪模块的输出端和第一编码器的输入端均与拼接单元连接；拼接单元的输出端与牙齿实例分割网络的输入端连接。
4.如权利要求3所述的基于自注意力与感受野调整的牙齿实例分割方法，其特征是，所述牙齿质心定位网络，工作原理包括：
将待分割的牙齿CBCT图像输入到第一V-net网络；
第一V-net网络生成牙齿的3D牙齿质心偏移图；
将3D牙齿质心偏移图中的每一个体素转化为三维向量，体素的方向指向的目标点为牙齿质心；
根据3D牙齿质心偏移图中的每一个三维向量被其他三维向量指向的频率，生成一个牙齿质心密度图HC；
基于密度的快速搜索聚类算法，计算牙齿质心密度图HC中逐个体素点的局部密度ρi，和HC中的每个体素点与最高密度体素点之间的欧式距离δi；
将局部密度ρi大于设定密度阈值的点作为第一候选点集合；
将欧式距离δi大于设定距离阈值的点作为第二候选点集合；
将第一候选点集合与第二候选点集合求交集，生成候选牙齿质心点Ci ^；
将预测的候选牙齿质心与真值牙齿质心之间的距离进行比较，将距离最小值所对应的候选牙齿质心作为预测出的最终牙齿质心点输出。
5.如权利要求2所述的基于自注意力与感受野调整的牙齿实例分割方法，其特征是，所述牙齿实例分割网络，包括：第二V-net网络；
第二V-net网络，包括：第二编码器、自注意力机制层和第二解码器；
第二编码器，包括：由上到下依次连接的第一下采样层、第一卷积层、第二下采样层、第二卷积层、第三下采样层、第三卷积层、第四下采样层和第四卷积层；
第二解码器，包括：由下到上依次连接的第一上采样层、第一膨胀卷积层、第二上采样层、第二膨胀卷积层、第三上采样层、第三膨胀卷积层、第四上采样层和第五卷积层；
所述第四卷积层与自注意力机制层的输入端连接；
所述第一上采样层与自注意力机制层的输出端连接。
6.如权利要求5所述的基于自注意力与感受野调整的牙齿实例分割方法，其特征是，所述自注意力机制层，包括：
并列的第一通道、第二通道和第三通道；
其中，第一通道设有第一3D卷积层；所述第一3D卷积层为1*1*1卷积层；
其中，第二通道设有第二3D卷积层；所述第二3D卷积层为3*3*3卷积层；
其中，第三通道设有第三3D卷积层；所述第三3D卷积层为3*3*3卷积层；
所述第一通道、第二通道和第三通道的输入值均是第二编码器输出的特征图；
所述第一3D卷积层的输出端和第二3D卷积层的输出端均与第一点乘单元的输入端连接；所述第一点乘单元的输出端与softmax函数层的输入端连接；
第三3D卷积层的输出端和softmax函数层的输出端均与第二点乘单元的输入端连接；第二点乘单元的输出端作为自注意力机制层的输出端。
7.如权利要求5所述的基于自注意力与感受野调整的牙齿实例分割方法，其特征是，所述第一膨胀卷积层，包括：并列的第一子膨胀卷积层、第二子膨胀卷积层和第三子膨胀卷积层；
所述第一子膨胀卷积层、第二子膨胀卷积层和第三子膨胀卷积层的输入端均与第六卷积层的输入端连接；
所述第一子膨胀卷积层、第二子膨胀卷积层和第三子膨胀卷积层的输出端与串联拼接单元的输入端连接，串联拼接单元对第一子膨胀卷积层、第二子膨胀卷积层和第三子膨胀卷积层的输出值进行拼接，串联拼接单元的输出端与1×1×1的卷积层的输入端连接，1×1×1的卷积层的输出端为第一膨胀卷积层的输出端；
或者，
所述训练后的牙齿分割网络；训练过程包括：
构建训练集；所述训练集为已知牙齿分割结果的牙齿图像；
将训练集输入到牙齿分割网络中，对牙齿分割网络进行训练，当总的损失函数值不再降低时，停止训练，得到训练后的牙齿分割网络；
所述总的损失函数，为质心预测网络的损失函数与牙齿实例分割网络的损失函数的求和结果；
所述质心预测网络的损失函数，采用dice损失和bce损失作为第一V-net网络生成分割偏移的损失，同时使用mse损失和平滑L1损失来计算牙齿对象体素的偏移回归损失并且利用二元交叉熵损失来计算二值分割损失；
所述牙齿实例分割网络的损失函数，结合Dice损失函数Ldice和二元交叉熵损失函数Lbce作为网络损失Lseg。
8.基于自注意力与感受野调整的牙齿实例分割***，其特征是，包括：
获取模块，其被配置为：获取待分割的牙齿CBCT图像；
分割模块，其被配置为：对待分割的牙齿CBCT图像，输入到训练后的牙齿分割网络中，得到牙齿图像分割结果；其中，牙齿分割网络的工作原理包括：进行牙齿质心定位，获取牙齿质心融合特征；基于待分割的牙齿CBCT图像和牙齿质心融合特征，确定牙齿齿体的几何结构信息；基于牙齿齿体的几何结构信息，采用多尺度膨胀卷积融合的方式，获取牙齿牙根的结构信息。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202210767999.7A 2022-07-01 2022-07-01 基于自注意力与感受野调整的牙齿实例分割方法及*** Active CN116485809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210767999.7A CN116485809B (zh) 2022-07-01 2022-07-01 基于自注意力与感受野调整的牙齿实例分割方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210767999.7A CN116485809B (zh) 2022-07-01 2022-07-01 基于自注意力与感受野调整的牙齿实例分割方法及***

Publications (2)

Publication Number Publication Date
CN116485809A true CN116485809A (zh) 2023-07-25
CN116485809B CN116485809B (zh) 2023-12-15

Family

ID=87216026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210767999.7A Active CN116485809B (zh) 2022-07-01 2022-07-01 基于自注意力与感受野调整的牙齿实例分割方法及***

Country Status (1)

Country Link
CN (1) CN116485809B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372425A (zh) * 2023-12-05 2024-01-09 山东省工业技术研究院 一种头颅侧位片的关键点检测方法
CN117830317A (zh) * 2024-03-05 2024-04-05 天津医科大学口腔医院 基于图像处理的正畸自动检测方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656408A (zh) * 2017-12-22 2020-09-11 普罗马顿控股有限责任公司 使用深度学习方法的自动3d牙根形状预测
CN112200843A (zh) * 2020-10-09 2021-01-08 福州大学 一种基于超体素的cbct与激光扫描点云数据牙齿配准方法
WO2021155230A1 (en) * 2020-01-31 2021-08-05 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
US20210279871A1 (en) * 2018-04-25 2021-09-09 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence
CN113516784A (zh) * 2021-07-27 2021-10-19 四川九洲电器集团有限责任公司 一种牙齿分割建模方法和装置
CN114387259A (zh) * 2022-01-14 2022-04-22 杭州柳叶刀机器人有限公司 用于预测缺失牙坐标的方法与装置及识别模型的训练方法
CN114549356A (zh) * 2022-02-23 2022-05-27 深圳市菲森科技有限公司 一种cbct牙齿自动定位使用方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656408A (zh) * 2017-12-22 2020-09-11 普罗马顿控股有限责任公司 使用深度学习方法的自动3d牙根形状预测
US20210279871A1 (en) * 2018-04-25 2021-09-09 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence
WO2021155230A1 (en) * 2020-01-31 2021-08-05 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
CN112200843A (zh) * 2020-10-09 2021-01-08 福州大学 一种基于超体素的cbct与激光扫描点云数据牙齿配准方法
CN113516784A (zh) * 2021-07-27 2021-10-19 四川九洲电器集团有限责任公司 一种牙齿分割建模方法和装置
CN114387259A (zh) * 2022-01-14 2022-04-22 杭州柳叶刀机器人有限公司 用于预测缺失牙坐标的方法与装置及识别模型的训练方法
CN114549356A (zh) * 2022-02-23 2022-05-27 深圳市菲森科技有限公司 一种cbct牙齿自动定位使用方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANUJ KUMAR: "Descriptive analysis of dental X-ray images using various practical methods: A review", 《COMPUTER SCIENCE》, pages 1 - 41 *
ZHIMING CUI: "Hierarchical Morphology-Guided Tooth Instance Segmentation from CBCT Images", 《INTERNATIONAL CONFERENCE ON INFORMATION PROCESSING IN MEDICAL IMAGE》, pages 150 - 162 *
刘世伟: "锥形束CT牙科图像的分割方法研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, pages 1 - 38 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372425A (zh) * 2023-12-05 2024-01-09 山东省工业技术研究院 一种头颅侧位片的关键点检测方法
CN117372425B (zh) * 2023-12-05 2024-03-19 山东省工业技术研究院 一种头颅侧位片的关键点检测方法
CN117830317A (zh) * 2024-03-05 2024-04-05 天津医科大学口腔医院 基于图像处理的正畸自动检测方法及***

Also Published As

Publication number Publication date
CN116485809B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
JP7451406B2 (ja) 深層学習法を使用する自動３ｄ歯根形状予測
CN110998602B (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
US11568533B2 (en) Automated classification and taxonomy of 3D teeth data using deep learning methods
JP7493464B2 (ja) ３ｄオブジェクトの正準ポーズの自動化判定、および深層学習を使った３ｄオブジェクトの重ね合わせ
US20210322136A1 (en) Automated orthodontic treatment planning using deep learning
CN116485809B (zh) 基于自注意力与感受野调整的牙齿实例分割方法及***
US11810301B2 (en) System and method for image segmentation using a joint deep learning model
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与***
CN112634265B (zh) 基于dnn的胰腺全自动分割模型的构建、分割方法及***
CN112529863A (zh) 测量骨密度的方法及装置
CN116977352A (zh) 斑块分割方法、装置和计算机可读存储介质
CN114418989A (zh) 口腔医学影像的牙齿分割方法、装置、设备及存储介质
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning
CN112419283A (zh) 估计厚度的神经网络及其方法
US20240062882A1 (en) Method and system for automating dental crown design based on artificial intelligence
CN114926582A (zh) 三维模型生成方法和装置、设备、存储介质
CN118365508A (zh) 基于转化器-卷积双分支架构的ct至mri转化方法
CN117218135A (zh) 一种基于Transformer的高原肺水肿胸片病灶的分割方法及相关设备
CN117409100A (zh) 基于卷积神经网络的cbct图像伪影矫正***及方法
CN113706358A (zh) 一种断层扫描图像层间距的加密方法和加密装置
CN117197348A (zh) 一种基于cbct融合口扫数据的口腔三维模型建立方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant