CN113160151B - 基于深度学习及注意力机制的全景片龋齿深度识别方法 - Google Patents

基于深度学习及注意力机制的全景片龋齿深度识别方法 Download PDF

Info

Publication number
CN113160151B
CN113160151B CN202110360226.2A CN202110360226A CN113160151B CN 113160151 B CN113160151 B CN 113160151B CN 202110360226 A CN202110360226 A CN 202110360226A CN 113160151 B CN113160151 B CN 113160151B
Authority
CN
China
Prior art keywords
attention
caries
network
module
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110360226.2A
Other languages
English (en)
Other versions
CN113160151A (zh
Inventor
叶冠琛
曹政
朱海华
朱赴东
陈谦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110360226.2A priority Critical patent/CN113160151B/zh
Publication of CN113160151A publication Critical patent/CN113160151A/zh
Application granted granted Critical
Publication of CN113160151B publication Critical patent/CN113160151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Physiology (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习及注意力机制的全景片龋齿深度识别方法，使用包含注意力机制的深度学习模型实现了口腔全景片中的龋齿不同病变时期的分级。整个龋齿分级***由三个模块组成：分割网络模块，注意力提取模块和分类模块。通过实现口腔全景片中龋齿区域的自动识别以及龋齿不同病变时期的结果导出，有助于辅助精准分级，为预防龋病的发生发展提供依据，对于口腔健康的维护具有重要的临床和社会意义。

Description

基于深度学习及注意力机制的全景片龋齿深度识别方法
技术领域
本发明属于医疗领域，涉及一种基于深度学习及注意力机制的全景片龋齿深度识别方法，主要利用包含注意力机制的深度学习模型实现了口腔全景片中的龋齿不同病变时期的分级。
背景技术
龋齿是一种由口腔中多种因素复合作用所导致的牙齿硬组织进行性病损，是口腔主要的常见病，也是人类最普遍的疾病之一。临床上可见龋齿有色、形、质的变化，而以质变为主，色、形变化是质变的结果，随着病程的发展，病变由釉质进入牙本质，组织不断被破坏、崩解而逐渐形成龋洞，临床上常根据龋坏程度分为浅、中、深龋三个阶段。由于目前大众对口腔健康的需求日益增长，越来越多人到医院或诊所进行口腔方面的咨询或治疗。而由于病患多，诊疗时间有限，有时医生不得已只能优先关注有症状的牙齿，而忽略了其他潜在的程度较轻的龋齿，龋病的进一步发展，提高了治疗难度和治疗费用。全景片是口腔临床上最常见的辅助检查手段，全景片包括了口内所有牙齿，且费用低，辐射量小。随着现代医疗水平的提高，如何利用电子信息技术实现基于口腔全景片的自动化检测和分级成为一个热门的研究课题。
作为人工智能的重要组成部分，深度学习技术在辅助医疗诊断领域取得了很好的效果。与传统的方法相比，深度学习通过使用更多的数据量学习特征，能取得更好的泛化性能。深度学习中的深度神经网络可以在网络中自动提取特征，而不需要人为的特征选择，提取过的特征又可以根据网络的全连接层进行分类，从而使得特征提取和分类结合在了一起，获得比传统方法更出色的结果。
然而现有的深度学习方法大多使用经过简单数据增强的图像进行龋齿识别。首先，把训练数据中的输入图像传入由一系列卷积结构，全连接结构组成的神经网络，然后保存训练好的神经网络参数，最后用已训练好的神经网络对测试数据进行预测，得到龋齿分级的预测结果。由于神经网络的黑箱特性，此类深度学习方法可能会丢失掉一些较细小的特征信息，只突出了主要特征，在用于龋齿分级方面，对于一些表现范围小的龋齿区域无法准确识别。
因此，开发一种改进的深度学习算法准确进行龋齿的自动化识别方法是本领域亟需解决的问题。
发明内容
本发明的目的是在已有的使用深度学习方法对龋坏程度分级的基础上，提供一种基于深度学习及注意力机制的全景片龋齿深度识别方法，是提出了使用注意力机制以及特征融合来辅助龋齿分类的创新性算法。在保证运行速度，泛化性的同时，提高了分级***的评价指标。
本发明使用口腔全景片作为数据输入进入分割网络，而在分割网络的各层特征输出中计算其对应的注意力特征，并在最后将注意力特征和原始卷积特征进行融合，使得在分割过程中网络注意力集中在有助于分类的部分细微特征区域，从而提升对细微区域的龋齿病变准确分割，再使用分类网络对分割网络的特征进行特征提取分类，能够有效的提高龋齿分级准确率。整个龋齿分级***由三个模块组成：分割网络模块，注意力提取模块和分类模块。
为实现上述目的，本发明提供以下技术步骤实现：
1.数据预处理：利用资料库中的口腔全景片进行数据标注及标准化预处理，准备训练集；具体为(1)从放射检查资料库中收集图像清晰的口腔全景片，统一调节亮度与对比度；(2)人工标注出口腔全景片中患龋牙齿的患龋部位。
2.龋齿区域分割：在分割网络模块中，使用U-Net分割网络，分割口腔全景片图像中的正常牙齿及龋齿部分，分离口腔背景区域和目标区域，提取对应的特征图；其中对收集到的口腔全景片进行图像数字化采样，然后经过分割网络模块实现背景和目标区域的分割提取。
3.注意力计算：使用注意力提取模块计算对应U-Net分割网络中对应龋齿位置神经网络所捕捉的注意力特征图；具体：(1)以分割网络产生的特征图作为输入，通过注意力提取模块后，得到一个带有权值的特征图，即深度学习中表示注意力的特征图；(2)与注意力特征图所对应的原图的标签通过损失函数可以得到一个损失值，这个损失值作为总损失值的一部分。
4.龋齿病变程度分级：在分类模块中，结合物体分割网络输出的特征图及其注意力模块输出的特征图，使用ResNet分类网络对龋齿病变程度进行分级；
具体：(1)通过提取分割网络模块和注意力提取模块的中间层特征，作为模块的输入数据，通过卷积神经网络的作用，得到输入数据的注意力权值；(2)对两个输入数据分别施以不同的注意力得到注意力特征图；(3)把两个注意力特征图融合起来得到新的特征图，再对新生成的特征图进行简单的分类，得到最终预测结果。
其中注意力提取模块以分割网络产生的特征图作为输入，通过特征图分类网络后，会得到一个3个类别的概率向量，它与注意力特征图所对应的原图的标签通过损失函数可以得到一个损失值，这个损失值作为总损失值的一部分。原始图像分类网络模块以原始图像作为输入，通过原始图像分类网络后，会得到一个3个类别的概率向量，它与原始图像的标签通过损失函数可以得到一个损失值，这个损失值作为同样总损失值的一部分。
步骤四的分类模块通过提取分割网络模块和注意力提取模块的中间层特征，作为模块的输入数据，通过卷积神经网络的作用，得到输入数据的注意力权值，然后对两个输入数据分别施以不同的注意力得到注意力特征图，最后把两个注意力特征图融合起来得到新的特征图，再对新生成的特征图进行简单的分类，得到最终预测结果。
本发明的优点：
1.与以往的简单使用深度学习来直接进行龋齿分级预测不同，本发明在简单的深度学习预测***的基础上，引入了注意力机制，与分割网络结合，将龋齿区域分割出来，再对龋齿区域使用分类网络进行龋齿分级，使得***的稳定性更佳。
2.由于使用了注意力机制，***对于特征比较细小难以分级的龋齿区域可以很好识别并分级，从而使得本发明***性能整体得到了很大的提升。
3.本发明使用过程中不需要人工参与，属于基于注意力机制及特征融合的全自动的分级***。
附图说明
图1为整体工作流程图。
图2为分割网络模块图。
图3为注意力提取模块图。
图4为分类网络模块图。
具体实施方式
下面将结合附图和实施例来说明整个基于深度学习及注意力机制的全景片龋齿深度识别方法的过程。
在整个方法中，将龋齿分级拆解为三个相互关联的模块，最终实现基于注意力机制的龋齿分级***。
实施例1
参见图1，展示了整个识别方法的工作流程：首先，把原始口腔全景图像尺寸统一转化为572*572，作为输入数据加载到分割网络模块。再将分割网络模块输出的特征图输入到注意力提取模块中，获取对应的注意力特征图。最后将分割网络模块输出的特征图和注意力机制模块输出的特征图输入到分类网络模块中，获取最终的龋齿分级结果。
结合图2-4分别说明本发明中各个模块的工作方法。
图2介绍了分割网络模块，该网络的输入是一张572*572的图片，网络的左侧是由卷积和最大池化构成的一系列降采样操作，每个操作由4个区块组成，每个区块使用了3个有效卷积和1个最大池化降采样，每次降采样之后特征图的个数乘2。最终得到了尺寸为32*32的特征图。网络的右侧部分同样由4个区块组成，每个区块开始之前通过反卷积将特征图的尺寸乘2，同时将其个数减半，然后和左侧对称的压缩路径的特征图合并，最终得到尺寸是388*388的特征图，即为该网络分割的结果。
图3展示了注意力机制模块。输入的特征图分别经过最大池化和平均池化的操作，再使用卷积层进行图像的7x7卷积操作，卷积层输出对应的特征向量，之后通过sigmoid激活函数，得到一个权值图Ms，接着把权值图Ms和输入的特征图做一个加权平均操作，得到最终的特征图。模块输出的权值图反映了对于输入特征图不同位置的重要性，权值大的地方，表明这个地方更重要，网络对这些地方投入更多的注意力，这就是注意力机制在***中的应用。
图4中介绍了分类网络模块，考虑到***速度与精度的平衡，本发明中使用的是41层的残差网络。第1阶段、第2阶段、…、第5阶段为Resnet网络的5个阶段。2X、4X为模块重复次数。Conv(64,256,k＝(1,1),s＝1,p＝0)中，k为卷积核尺寸，s为滑动步长，p为填充像素，256为卷积核通道数，64为上一层卷积层输出的通道数，其余卷积层类似。主干网络由残差学习模块堆叠而成，残差学习模块首端和末端为1×1卷积核，中间为3×3卷积核。在网络每个阶段的第一个学习模块，除了3个卷积层的串联，输入和输出之间还通过一个卷积层旁路相连，以增加输入特征图的通道数，便于和输出特征图融合，而后面接的残差学习模块输入和输出特征图的通道数一致，故可以不通过卷积层升高维度而直接进行加操作。这种结构可以有效降低特征损耗，提升模型训练效果。

Claims (1)

1.基于深度学习及注意力机制的全景片龋齿深度识别方法，其特征在于，通过以下步骤实现：
（1）数据预处理：利用资料库中的口腔全景片进行数据标注及标准化预处理，准备训练集；具体为：
（a）从放射检查资料库中收集图像清晰的口腔全景片，统一调节亮度与对比度；
（b）人工标注出口腔全景片中患龋牙齿的患龋部位；
（2）龋齿区域分割：使用U-Net物体分割网络，分割口腔全景片图像中的正常牙齿及龋齿部分，分离口腔背景区域和目标区域，提取对应的特征图；其中对收集到的口腔全景片进行图像数字化采样，然后经过分割网络模块实现背景和目标区域的分割提取；
（3）注意力计算：使用注意力提取模块计算对应U-Net分割网络中对应龋齿位置神经网络所捕捉的注意力特征图；具体为：
（a）以分割网络产生的特征图作为输入，通过注意力提取模块后，得到一个带有权值的特征图，即深度学习中表示注意力的特征图；
（b）与注意力特征图所对应的原图的标签通过损失函数可以得到一个损失值，这个损失值作为总损失值的一部分；
（4）龋齿病变程度分级：结合物体分割网络输出的特征图及其注意力提取模块输出的特征图，使用ResNet分类网络对龋齿病变程度进行分级；具体为：
（a）通过提取分割网络模块和注意力提取模块的中间层特征，作为模块的输入数据，通过卷积神经网络的作用，得到输入数据的注意力权值；
（b）对两个输入数据分别施以不同的注意力得到注意力特征图；
（c）把两个注意力特征图融合起来得到新的特征图，再对新生成的特征图进行简单的分类，得到最终预测结果。
CN202110360226.2A 2021-04-02 2021-04-02 基于深度学习及注意力机制的全景片龋齿深度识别方法 Active CN113160151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360226.2A CN113160151B (zh) 2021-04-02 2021-04-02 基于深度学习及注意力机制的全景片龋齿深度识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360226.2A CN113160151B (zh) 2021-04-02 2021-04-02 基于深度学习及注意力机制的全景片龋齿深度识别方法

Publications (2)

Publication Number Publication Date
CN113160151A CN113160151A (zh) 2021-07-23
CN113160151B true CN113160151B (zh) 2023-07-25

Family

ID=76886305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360226.2A Active CN113160151B (zh) 2021-04-02 2021-04-02 基于深度学习及注意力机制的全景片龋齿深度识别方法

Country Status (1)

Country Link
CN (1) CN113160151B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113679500B (zh) * 2021-07-29 2023-04-18 广州华视光学科技有限公司 一种基于ai算法的龋病和牙菌斑检测其分布方法
CN117765002A (zh) * 2022-06-24 2024-03-26 杭州朝厚信息科技有限公司 口腔全景片的分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN112151167A (zh) * 2020-05-14 2020-12-29 余红兵 一种基于深度学习的儿童六龄牙龋齿智能筛查方法
CN112541503A (zh) * 2020-12-11 2021-03-23 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170504B2 (en) * 2019-05-02 2021-11-09 Keyamed Na, Inc. Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
CN112446239A (zh) * 2019-08-29 2021-03-05 株式会社理光 神经网络的训练及目标检测方法、设备及存储介质
CN111784639A (zh) * 2020-06-05 2020-10-16 浙江大学 基于深度学习的口腔全景片龋齿深度识别方法
CN111754520B (zh) * 2020-06-09 2023-09-15 江苏师范大学 一种基于深度学习的脑血肿分割方法及***
CN111951288B (zh) * 2020-07-15 2023-07-21 南华大学 一种基于深度学习的皮肤癌病变分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN112151167A (zh) * 2020-05-14 2020-12-29 余红兵 一种基于深度学习的儿童六龄牙龋齿智能筛查方法
CN112541503A (zh) * 2020-12-11 2021-03-23 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A New Technique for Diagnosis of Dental Caries on the Children’s First Permanent Molar;Hongbing Yu等;《IEEE Access》;20201007;第185776-185785页 *
基于具有空间注意力机制的Mask R-CNN的口腔白斑分割;谢飞等;《西北大学学报(自然科学版)》;20200109(第01期);第9-15页 *

Also Published As

Publication number Publication date
CN113160151A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Panetta et al. Tufts dental database: a multimodal panoramic x-ray dataset for benchmarking diagnostic systems
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断***
CN113011485B (zh) 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
Imak et al. Dental caries detection using score-based multi-input deep convolutional neural network
CN113160151B (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
Chen et al. MSLPNet: multi-scale location perception network for dental panoramic X-ray image segmentation
CN113221945B (zh) 基于口腔全景片和双重注意力模块的龋齿识别方法
Rajee et al. Gender classification on digital dental x-ray images using deep convolutional neural network
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能***
CN111553892A (zh) 基于深度学习的肺结节分割计算方法、装置及***
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN111784639A (zh) 基于深度学习的口腔全景片龋齿深度识别方法
CN111798445B (zh) 一种基于卷积神经网络的牙齿图像龋坏识别方法及***
Raval et al. A Comprehensive assessment of Convolutional Neural Networks for skin and oral cancer detection using medical images
Vasdev et al. Periapical dental X-ray image classification using deep neural networks
Ke et al. Biological gender estimation from panoramic dental x-ray images based on multiple feature fusion model
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
CN110598724B (zh) 一种基于卷积神经网络的细胞低分辨率图像融合方法
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
Kumari et al. Heuristically modified fusion-based hybrid algorithm for enhanced dental caries segmentation
Hossam et al. Automated Dental Diagnosis using Deep Learning
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及***
Ghafoor et al. Multiclass Segmentation using Teeth Attention Modules for Dental X-ray Images
Li et al. Identification Of Imaging Features Of Diabetes Mellitus And Tuberculosis Based On YOLOv8x Model Combined With RepEca Network Structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant