CN109948619A - 基于深度学习的全景片龋病识别的方法和装置 - Google Patents
基于深度学习的全景片龋病识别的方法和装置 Download PDFInfo
- Publication number
- CN109948619A CN109948619A CN201910184666.XA CN201910184666A CN109948619A CN 109948619 A CN109948619 A CN 109948619A CN 201910184666 A CN201910184666 A CN 201910184666A CN 109948619 A CN109948619 A CN 109948619A
- Authority
- CN
- China
- Prior art keywords
- dental caries
- deep learning
- model
- caries lesion
- permanent teeth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习的全景片龋病识别方法及装置。该方法包括：将全景片输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；确定恒牙分割结果中各颗牙齿对应的牙冠图像块；将牙冠图像块输入基于深度学习的龋病病灶分割模型，以得到龋病病灶分割结果。
Description
技术领域
本发明涉及计算机图像处理技术领域，特别地涉及一种基于深度学习的全景片龋病识别的方法和装置。
背景技术
口腔全景片是进行口腔诊断的主要依据，其可以清晰、完整的显示上颌骨全貌、下颌骨全貌、上下颌牙列情况、牙槽骨情况、上颌窦腔、窦壁、窦底情况以及颞颌关节情况，并对颌骨周围疾病的诊断提供准确有效的帮助。
龋病作为最常见的口腔疾病之一，可以继发牙髓炎和根尖周炎，甚至能引起牙槽骨和颌骨炎症。如不及时治疗，病变继续发展，形成龋洞，终至牙冠完全破坏消失，其发展的最终结果是牙齿丧失，所以龋病的精准快速诊断十分重要，人工诊断具有不一致性和低效性。更何况我国医疗资源较稀缺，资深医学专家数量不足，倘若完全依靠人工作业会让作业人用眼疲劳，进一步降低判断结果的准确可信程度。在这种形势下，研发自动化处理全景片龋病识别的方法和装置的需求变得迫切。
发明内容
有鉴于此，本发明提供一种基于深度学习的全景片龋病识别方法及装置，以克服现有技术中的上述缺点。
本发明实施例的基于深度学习的全景片龋病识别方法，包括：基于深度学习的全景片龋病识别方法，其特征在于，包括：将全景片输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；确定所述恒牙分割结果中各颗牙齿对应的牙冠图像块；将所述牙冠图像块输入基于深度学习的龋病病灶分割模型，以得到所述龋病病灶分割结果。
可选地，所述将所述牙冠矩形框输入基于深度学***滑结果。
可选地，所述对所述龋病病灶分割结果进行形态学开运算处理，以得到龋病病灶分割平滑结果的步骤之后，还包括：对所述龋病病灶分割平滑结果和所述恒牙分割结果取并集，以得到龋病病灶优化结果。
可选地，所述基于深度学***衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。
可选地，所述确定所述恒牙分割结果中各颗牙齿对应的牙冠图像块的步骤包括：遍历地对恒牙分割结果中的各颗牙齿执行如下操作：获取当前牙齿的全齿贴合矩形框，根据所述全齿贴合矩形框确定牙冠所在侧边的半齿贴合矩形框，根据所述半齿贴合矩形框确定质心，以所述质心为中心点生成预设尺寸的质心采样框，根据所述质心采样框在所述全景片上裁切出所述牙冠图像块。
可选地，所述基于深度学***衡化处理，特征提取部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，全连接层和输出层的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。
可选地，所述随机初始化的方法为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal。
可选地，所述梯度下降算法的方法为：Adam，SGD，MSprop或者Adadelta。
本发明实施例的基于深度学习的全景片龋病识别装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的任一所述的方法。
根据本发明的技术方案，基于人工智能技术，能够自动化地完成以往的人工作业，具有客观、快速、重复性好等优点。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的基于深度学习的全景片龋病识别的方法的流程示意图；
图2A是本发明实施例的恒牙识别结果的示意图；
图2B是本发明实施例的全齿贴合矩形框的示意图；
图2C是本发明实施例的半齿贴合矩形框的示意图；
图2D是本发明实施例的牙齿质心和质心采样框的示意图；
图2E是本分明实施例的龋病病灶分割结果的示意图。
具体实施方式
图1为本发明实施例的基于深度学习的全景片龋病识别方法的流程示意图，包括如下的步骤A至步骤C。
步骤A：将全景片输入基于深度学习的恒牙分割模型，以得到恒牙分割结果。
可选地，步骤A中的基于深度学***衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。
步骤B：确定恒牙分割结果中各颗牙齿对应的牙冠图像块。
可选地，步骤B具体包括：遍历地对恒牙分割结果中的各颗牙齿执行如下操作：获取当前牙齿的全齿贴合矩形框，根据全齿贴合矩形框确定牙冠所在侧边的半齿贴合矩形框，根据半齿贴合矩形框确定质心，以质心为中心点生成预设尺寸的质心采样框，根据质心采样框在全景片上裁切出牙冠图像块。
步骤C：将牙冠图像块输入基于深度学习的龋病病灶分割模型，以得到龋病病灶分割结果。
可选地，基于深度学***衡化处理，特征提取部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，全连接层和输出层的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。
需要说明的是，上文中训练模型阶段中的随机初始化的方法可以为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal，最优选he_normal。上文中训练模型阶段中的梯度下降算法的方法可以为：Adam，SGD，MSprop或者Adadelta，最优选Adam。
可选地，在步骤C之后，还包括：对龋病病灶分割结果进行形态学开运算处理，以得到龋病病灶分割平滑结果。
可选地，还进一步包括如下步骤：对龋病病灶分割平滑结果和恒牙分割结果取并集，以得到龋病病灶优化结果。
本发明实施例的基于深度学习的全景片龋病识别装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得处理器实现本发明的方法。
为使本领域技术人员更好地理解，下面结合具体实施例阐述本发明实施例的基于深度学习的全景片龋病识别方法。
(一)获取基于深度学习的恒牙分割结果
设计恒牙分割网络模型结构包含Encoder和Decoder两部分。Encoder部分使用Xception网络结构，Decoder部分使用FPN多尺度融合结构，从Encoder部分抽取不同深度的5个卷积层做为输入，并且在Decoder部分的上采样层加入scSE结构。
对恒牙分割训练数据进行尺长归一化和灰度归一化。具体地，首先对原始全景片图像的采样至512×1024；然后对采样后的图像灰度值进行归一化处理。然后进行训练数据增强：通过对图像旋转(-10度至10度)和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。
接着进行模型训练，将训练数据(包括原有的和增强的)输入恒牙分割模型进行训练，Encoder部分的参数使用在大型公开图像数据集ImageNet上预训练好的参数，Decoder部分的参数采用he_normal随机初始化。采用梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的Dice值来确定模型的最优参数。
将待测试的全景图下采样成图像块输入训练好的恒牙分割模型，得到恒牙分割结果MASK，如图2A所示。
(二)获取牙冠图像块
遍历地对恒牙分割结果中MASK的各颗牙齿执行如下操作：
首先，获取当前牙齿的全齿贴合矩形框，如图2B所示。其次，根据全齿贴合矩形框确定牙冠所在侧边的半齿贴合矩形框(对于上颌牙，取矩形框的下半部分；对于下颌牙，取矩形框的上半部分)，如图2C所示。然后，根据半齿贴合矩形框确定质心，以质心为中心点生成预设尺寸的质心采样框，根据质心采样框在全景片上裁切出224×224的牙冠图像块，如图2D所示。
(三)获取基于深度学习的龋病病灶分割结果
龋病病灶分割网络模型结构包含Encoder和Decoder两部分。Encoder部分使用Xception网络结构，Decoder部分使用FPN多尺度融合结构，从Encoder部分抽取不同深度的5个卷积层做为输入，并且在Decoder部分的上采样层加入scSE结构。
对龋病病灶分割训练数据进行尺长归一化和灰度归一化。具体地，首先对原始全景片图像的采样至512×1024；然后对采样后的图像灰度值进行归一化处理。然后进行训练数据增强：通过对图像旋转(-10度至10度)和左右镜像方式，对原始数据集中的图像数据进行增加样本处理，以满足深度网络对数据量的需求。
接着进行模型训练，将龋病病灶分割训练数据(包括原有的和增强的)输入恒牙分割模型进行训练，龋病病灶分割模型的Encoder部分的参数使用在大型公开图像数据集ImageNet上预训练好的参数，Decoder部分的参数采用he_normal随机初始化。采用梯度下降算法Adam对模型进行迭代训练，经过不断迭代，取得网络最优解。根据在验证集上的Dice值来确定模型的最优参数。
将待测试的牙冠图像块输入训练好的龋病病灶分割模型，得到龋病病灶分割结果，如图2E所示。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种基于深度学习的全景片龋病识别方法，其特征在于，包括：
将全景片输入基于深度学习的恒牙分割模型，以得到恒牙分割结果；
确定所述恒牙分割结果中各颗牙齿对应的牙冠图像块；
将所述牙冠图像块输入基于深度学习的龋病病灶分割模型，以得到所述龋病病灶分割结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述牙冠矩形框输入基于深度学习的龋病病灶分割模型，以得到所述龋病病灶分割结果的步骤之后，还包括：
对所述龋病病灶分割结果进行形态学开运算处理，以得到龋病病灶分割平滑结果。
3.根据权利要求2所述的方法，其特征在于，所述对所述龋病病灶分割结果进行形态学开运算处理，以得到龋病病灶分割平滑结果的步骤之后，还包括：
对所述龋病病灶分割平滑结果和所述恒牙分割结果取并集，以得到龋病病灶优化结果。
4.根据权利要求1所述的方法，其特征在于，所述基于深度学习的恒牙分割模型是通过如下方式得到的：
(1)模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；
(2)模型训练阶段：对恒牙分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，编码器部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，解码器部分的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。
5.根据权利要求1所述的方法，其特征在于，所述确定所述恒牙分割结果中各颗牙齿对应的牙冠图像块的步骤包括：
遍历地对恒牙分割结果中的各颗牙齿执行如下操作：获取当前牙齿的全齿贴合矩形框，根据所述全齿贴合矩形框确定牙冠所在侧边的半齿贴合矩形框，根据所述半齿贴合矩形框确定质心，以所述质心为中心点生成预设尺寸的质心采样框，根据所述质心采样框在所述全景片上裁切出所述牙冠图像块。
6.根据权利要求1所述的方法，其特征在于，所述基于深度学习的龋病病灶分割模型是通过如下方式得到的：
(1)模型设计阶段：网络结构包含编码器部分和解码器部分，所述编码器部分采用Xception网络结构，所述解码器部分采用FPN多尺度融合结构，并且从所述编码器部分抽取五个不同深度的卷积层作为输入，在解码器部分的上采样层加入scSE结构；
(2)模型训练阶段：对龋病病灶分割训练数据进行尺寸归一化、灰度归一化、数据增强化、数据平衡化处理，特征提取部分的参数采用大型公开图像数据集ImageNet上预训练好的参数，全连接层和输出层的参数采用随机初始化，采用梯度下降算法对模型进行迭代训练以取得网络最优解，根据在验证集上的Dice值来确定模型的最优参数。
7.根据权利要求4或6所述的方法，其特征在于，所述随机初始化的方法为：he_normal，lecun_uniform，glorot_normal，glorot_uniform或者lecun_normal。
8.根据权利要求4或6所述的方法，其特征在于，所述梯度下降算法的方法为：Adam，SGD，MSprop或者Adadelta。
9.一种基于深度学习的全景片龋病识别装置，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910184666.XA CN109948619A (zh) | 2019-03-12 | 2019-03-12 | 基于深度学习的全景片龋病识别的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910184666.XA CN109948619A (zh) | 2019-03-12 | 2019-03-12 | 基于深度学习的全景片龋病识别的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109948619A true CN109948619A (zh) | 2019-06-28 |
Family
ID=67009609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910184666.XA Pending CN109948619A (zh) | 2019-03-12 | 2019-03-12 | 基于深度学习的全景片龋病识别的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948619A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798445A (zh) * | 2020-07-17 | 2020-10-20 | 北京大学口腔医院 | 一种基于卷积神经网络的牙齿图像龋坏识别方法及*** |
| CN111932518A (zh) * | 2020-08-12 | 2020-11-13 | 杭州深睿博联科技有限公司 | 一种深度学习的全景牙片病灶检测及分割方法及装置 |
| CN117252825A (zh) * | 2023-09-08 | 2023-12-19 | 深圳市罗湖区人民医院 | 基于口腔全景片图像的龋齿识别方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
| CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断*** |
| CN109146897A (zh) * | 2018-08-22 | 2019-01-04 | 北京羽医甘蓝信息技术有限公司 | 口腔放射图像质量控制方法及装置 |
| CN109360196A (zh) * | 2018-09-30 | 2019-02-19 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习处理口腔放射图像的方法及装置 |
-
2019
- 2019-03-12 CN CN201910184666.XA patent/CN109948619A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
| CN108257135A (zh) * | 2018-02-01 | 2018-07-06 | 浙江德尚韵兴图像科技有限公司 | 基于深度学习方法解读医学图像特征的辅助诊断*** |
| CN109146897A (zh) * | 2018-08-22 | 2019-01-04 | 北京羽医甘蓝信息技术有限公司 | 口腔放射图像质量控制方法及装置 |
| CN109360196A (zh) * | 2018-09-30 | 2019-02-19 | 北京羽医甘蓝信息技术有限公司 | 基于深度学习处理口腔放射图像的方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| ABHIJIT GUHA ROY ET AL.: "Concurrent Spatial and Channel ‘Squeeze & Excitation’ in Fully Convolutional Networks", 《MICCAI 2018》 * |
| GIL JADER ET AL.: "Deep instance segmentation of teeth in panoramic X-ray images", 《2018 31ST SIBGRAPI CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES》 * |
| JAE-HONG LEE ET AL.: "Detection and diagnosis of dental caries using a deep learning-based convolutional neural network algorithm", 《JOURNAL OF DENTISTRY》 * |
| MICHAEL D.CABANA 编: "《5分钟速查系列 儿科5分钟速查》", 30 April 2017, 上海科学技术出版社 * |
| 廖浩: "《临床诊断与影像学》", 31 January 2014, 云南科技出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798445A (zh) * | 2020-07-17 | 2020-10-20 | 北京大学口腔医院 | 一种基于卷积神经网络的牙齿图像龋坏识别方法及*** |
| CN111798445B (zh) * | 2020-07-17 | 2023-10-31 | 北京大学口腔医院 | 一种基于卷积神经网络的牙齿图像龋坏识别方法及*** |
| CN111932518A (zh) * | 2020-08-12 | 2020-11-13 | 杭州深睿博联科技有限公司 | 一种深度学习的全景牙片病灶检测及分割方法及装置 |
| CN117252825A (zh) * | 2023-09-08 | 2023-12-19 | 深圳市罗湖区人民医院 | 基于口腔全景片图像的龋齿识别方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961427A (zh) | 基于深度学习的全景片根尖周炎识别的方法和装置 | |
| CN109948619A (zh) | 基于深度学习的全景片龋病识别的方法和装置 | |
| CN109949319A (zh) | 基于深度学习的全景片恒牙识别的方法和装置 | |
| CN109978841A (zh) | 基于深度学习的全景片阻生牙识别的方法和装置 | |
| CN107106117B (zh) | 牙齿和牙槽骨的分割与重构方法及装置 | |
| JP2019162426A (ja) | ディープラーニングを用いた歯科用ｃａｄの自動化 | |
| Bouchahma et al. | An automatic dental decay treatment prediction using a deep convolutional neural network on X-ray images | |
| CN111627014A (zh) | 一种基于深度学习的根管检测与评分的方法及*** | |
| Poonsri et al. | Teeth segmentation from dental x-ray image by template matching | |
| CN109360196A (zh) | 基于深度学习处理口腔放射图像的方法及装置 | |
| CN109146897A (zh) | 口腔放射图像质量控制方法及装置 | |
| CN109766877A (zh) | 基于深度学习的全景片人工牙体识别的方法和装置 | |
| WO2023202143A1 (zh) | 基于深度学习的牙齿修复体自动设计方法及*** | |
| CN107622529B (zh) | 一种基于形态学的三维牙齿模型自动分割方法 | |
| Deleat-Besson et al. | Automatic segmentation of dental root canal and merging with crown shape | |
| CN105913424B (zh) | 一种基于牙齿推断年龄的方法和装置 | |
| Jaiswal et al. | Multi oral disease classification from panoramic radiograph using transfer learning and XGBoost | |
| CN104603859B (zh) | 牙科补缀及赝复体数字建档与制作的方法 | |
| CN109754870A (zh) | 基于深度学习的全景片牙槽骨吸收分级的方法和装置 | |
| CN111275808A (zh) | 一种牙齿正畸模型的建立方法及装置 | |
| KR102448169B1 (ko) | 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치 | |
| TW202127368A (zh) | 基於人工智慧之口腔電腦斷層掃描影像的自動色彩轉換裝置及其驅動方法 | |
| Marivaux et al. | 3D model related to the publication: An eosimiid primate of South Asian affinities in the Paleogene of Western Amazonia and the origin of New World monkeys | |
| Mahabob | A review of the literature on artificial intelligence in dentistry as a possible game changer | |
| Nuansanong et al. | Diagnosis and interpretation of dental X-ray in case of deciduous tooth extraction decision in children using active contour model and J48 tree |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100102 d-1607, 16th floor, building 222, Wangjing Xiyuan, Chaoyang District, Beijing Applicant after: BEIJING DEEPCARE INFORMATION TECHNOLOGY Co.,Ltd. Address before: 100190 104-102, building 6, yard 1, gaolizhang Road, Haidian District, Beijing Applicant before: BEIJING DEEPCARE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |
|
| RJ01 | Rejection of invention patent application after publication |