CN113343853B - 一种儿童牙龋齿智能筛查方法及装置 - Google Patents
一种儿童牙龋齿智能筛查方法及装置 Download PDFInfo
- Publication number
- CN113343853B CN113343853B CN202110640269.6A CN202110640269A CN113343853B CN 113343853 B CN113343853 B CN 113343853B CN 202110640269 A CN202110640269 A CN 202110640269A CN 113343853 B CN113343853 B CN 113343853B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- teeth
- training
- tooth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000002925 dental caries Diseases 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012216 screening Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 103
- 238000004140 cleaning Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 46
- 210000000214 mouth Anatomy 0.000 claims description 31
- 238000013145 classification model Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 19
- 206010006514 bruxism Diseases 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000007789 sealing Methods 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 241000894006 Bacteria Species 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000025157 Oral disease Diseases 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000009858 acid secretion Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000033558 biomineral tissue development Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 230000001013 cariogenic effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 210000004489 deciduous teeth Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000003298 dental enamel Anatomy 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000030194 mouth disease Diseases 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000003566 sealing material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明提供一种儿童牙龋齿智能筛查方法，包括以下步骤，S1：利用图像获取设备获取原始图像；该原始图像包括且不限于目标牙齿的图像信息；S2：获取预训练图像，且所述预训练图像包括上述获取的目标牙齿的图像信息；对所述预训练图像进行数据清洗，并对清洗后的图像信息中目标牙齿的位置进行标注；进一步确定预训练图像的N个尺度特征图，不同的尺度特征图对应不同的尺度；S3：进一步确定各尺度特征图中不同的位置分别对应的权重，基于各尺度特征图对应的权重和各所述尺度特征图，确定所述尺度特征图对应的特征，实际应用过程中，可以较好的对目标牙齿进行拍摄和分类处理，便于后续的管理和有针对性的治疗。
Description
[技术领域]
本发明涉及儿童牙龋齿智能筛查方法技术领域，尤其涉及一种应用效果突出，精准度高的儿童牙龋齿智能筛查方法及装置。
[背景技术]
龋病是以细菌为主多因素共同作用下产生的牙体硬组织慢性进行性破坏的疾病，儿童由于正处于乳牙替换、恒牙萌出的年龄阶段，是口腔疾病的高发人群。原因主要包括两个方面：一方面由于其正处于换牙这一特殊时期，乳磨牙易患龋病，另一方面，儿童一般喜欢吃甜食、软食、黏食，这些食物易粘在牙齿上，但是儿童刷牙的习惯却很少能对牙齿进行有效的清洁。除此之外，儿童新萌出的恒牙还未发育完全，其牙釉质矿化程度相对较低，对细菌产生的酸性分泌物抵抗力低，更容易产生龋齿。
目前，窝沟封闭为龋齿问题的主要解决办法，窝沟封闭是指在不损伤牙体组织，将封闭材料涂布于牙冠咬合面、颊舌面的窝沟点隙，阻止致龋菌及酸性代谢产物对牙体的侵蚀，以达到预防窝沟龋的方法。当获取到口腔恒磨牙位置之后，对口腔恒磨牙进行分类，进而判断是否存在龋齿以及是否要做窝沟封闭，可以帮助用户更好的对龋齿进行治疗和预防。
然而，现有的分类模型由于缺失相关医学特征的提取，对于恒磨牙的检测尚未体现出泛化性和***性，难以对牙齿进行准确的分类。
[发明内容]
为克服现有技术所存在的问题，本发明提供一种应用效果突出，精准度高的儿童牙龋齿智能筛查方法。
本发明解决技术问题的方案是提供一种儿童牙龋齿智能筛查方法，包括以下步骤，
S1：利用图像获取设备获取原始图像；该原始图像包括且不限于目标牙齿的图像信息；
S2：获取预训练图像，且所述预训练图像包括上述获取的目标牙齿的图像信息；对所述预训练图像进行数据清洗，利用数据清洗删除不清晰、图像偏离口腔、牙齿区域被遮挡的预训练图像；并对清洗后的图像信息中目标牙齿的位置进行标注；进一步确定预训练图像的N个尺度特征图，不同的尺度特征图对应不同的尺度；
S3：进一步确定各尺度特征图中不同的位置分别对应的权重，基于各尺度特征图对应的权重和各所述尺度特征图，确定所述尺度特征图对应的特征；将所述N个尺度特征图分别对应的特征进行融合，并进一步预测目标牙齿所对应的多个检测框，根据多个检测框，确定目标牙齿在所述预训练图像中的位置；所述检测框为矩形方框，且表现为数组形式，包括最左侧坐标数值、最上侧坐标数值、宽度值以及高度值；
S4：利用目标检测模型对上述预训练图像以及目标牙齿位置信息进行进一步的分析检测，并进一步生成待处理图像；
S5：将所述待处理图像输送至目标分类模型处，利用目标分类模型根据所述待处理图像中的牙齿位置信息进行牙齿类型分类，得出所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；所述目标分类模型采用残差神经网络resnet模型，通过多层网络提取图像特征，并最后通过softmax函数进行输出每一类的概率值；
S6：将上述目标牙齿的分类信息发送至对应的控制终端或云端服务器，利用所述控制终端或云端服务器与医疗机构、学校、政府机构的通讯联系，进行诊疗管理、预约管理、排班管理、随访管理、耗材管理以及辖区用户信息管理；并根据具体复查情况决定是否启动预约平台进行治疗预约；
S7:儿童牙龋齿智能筛查完毕。
优选地，所述步骤S4中的目标检测模型至少包括增强模块和分类模块；所述增强模块包括生成器和鉴别器；
所述步骤S2中获取训练图像后，将所述训练图像输送到所述生成器处，从而得出所述训练图像的相似图像信息；将所述相似图像和所述训练图像同步输送到所述鉴别器处，鉴别所述相似图像与所述训练图像；利用所述分类器对所述训练图像中的目标牙齿进行分类，得到训练好的分类器；
所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；
获取所述相似图像信息中包括获取所述训练图像中目标牙齿所对应的标签信息；所述生成器根据所述训练图像的目标牙齿对应的标签信息从而生成与所述标签类别一致的相似图像；
还包括在所述生成器的损失中加入同类别风格损失，得到所述相似图像；具体的同类别风格损失采用以下计算公式来计算，
其中，T代表原始数据，F代表生成的图像，ijk分别对应于特征尺度图的长度，宽度和通道的下标，G代表Gram矩阵，表示图像的样式。
优选地，所述步骤S1中的图像获取设备包括口腔图像采集机器人、具有摄像功能的电动牙刷或具有摄像功能的口腔支撑器；所述口腔图像采集机器人、具有摄像功能的电动牙刷或具有摄像功能的口腔支撑器与所述控制终端或云端服务器进行通讯连接，进行口腔照片的传输。
优选地，所述步骤S4中，利用增强模块对所述训练图像进行选择性增强处理；具体包括对所述训练图像中的目标牙齿图像进行对比度和亮度评估，得到对应的对比度偏离度和亮度偏离度；具体的，当所述对比度偏离度大于预设值和/或所述亮度偏离度大于预设值时，则对所述目标牙齿图像进行增强处理。
优选地，所述图像获取设备包括便于用户握持的手持部以及用于采集用户口腔照片的采集部；所述采集部与用户口腔形状匹配，且在所述采集器上设置有用于对用户口腔形成支撑的支撑框；还包括用于对用户口腔进行拍照的摄像头；
还包括设置于所述图像获取设备中的主处理器、LED补光灯、用于与所述控制终端或云端服务器进行通讯连接的通讯单元以及用于存储照片图像信息的存储单元；
所述手持部与所述采集部之间通过可调节所述采集部角度的活动连接杆相连接。
优选地，所述步骤S2中，对所述预训练图像进行数据清洗，并对清洗后的图像信息中目标牙齿的位置进行标注的过程具体包括：对获取到的清洗后的牙齿图像样本中的第一恒磨牙和第二前恒磨牙利用软件进行标注，其中目标牙齿为第一恒磨牙，标注的第二恒磨牙起到辅助确认第一恒磨牙位置的作用；
标注完成后进一步生成一个与图像文件同名的文本文档，保存在同目录下，其中文本文档的内容为标注的位置大小信息；
所述标注软件为Labeling图像标注软件；
同时，在输入目标检测模型的数据样本之前，对标注好的口腔图像样本进行归一化处理；将所有待输入模型的样本图像按照一定比例分为训练集和测试集；所述测试集用于训练目标检测模型，所述测试集用于验证训练好的目标检测模型；
将训练集中的所有图像求像素均值，在同一空间位置上的像素对应通道求均值；
将训练集的图像做零均值化处理，图像内每一个像素在对应通道上的值都减去该矩阵对应位置的值。
优选地，所述步骤S3中，将各所述尺度特征图所得到的多个权重值与尺度特征图相乘，每张图上的相应位置会计算得到不同的权重；
所述目前检测模型中还包含全连接层，使用所述全连接层对特征图分别计算，得到多个三维数组，然后将各特征图进行融合，即对该多个三维数组进行加权求和，得到最终的特征信息；
利用全连接层计算得到分类结果，既可以检测到之前标注好的目标恒磨牙和用于辅助检测的恒磨牙。
优选地，所述增强处理具体包括离线增强和在线增强；所述离线增强包括直接对数据集进行处理，数据的数目会变成增强因子乘以原数据集的数目；所述在线增强是指获得batch数据之后，然后对batch的数据进行增强，包括且不限于旋转、平移、翻折。
优选地，所述步骤S6中，根据具体复查情况决定是否启动预约平台进行治疗预约包括对用户牙齿信息的治疗紧急程度进行评定，并通过微信小程序、短信、电话通知用户进行及时治疗；同步推送相关医疗机构、医生的推荐信息。
一种儿童牙龋齿智能筛查装置，其特征在于：包括至少一个处理器，所述处理器与存储器耦合；所述处理器用于执行存储器中存储的计算机程序或指令，所述处理器执行上述所述的方法。
与现有技术相比，本发明一种儿童牙龋齿智能筛查方法通过采用S1利用图像获取设备获取原始图像；该原始图像包括且不限于目标牙齿的图像信息；S2：获取预训练图像，且所述预训练图像包括上述获取的目标牙齿的图像信息；对所述预训练图像进行数据清洗，并对清洗后的图像信息中目标牙齿的位置进行标注；进一步确定预训练图像的N个尺度特征图，不同的尺度特征图对应不同的尺度；N≥2，N为整数，不同的尺度特征图对应不同的尺度，每张待输入的图像都具有通道、宽、高三个维度的值，即C×W×H，其中通道代表红、绿、蓝三个通道上的颜色值，宽为图像的宽度，高为图像的高度；S3：进一步确定各尺度特征图中不同的位置分别对应的权重，基于各尺度特征图对应的权重和各所述尺度特征图，确定所述尺度特征图对应的特征；将所述N个尺度特征图分别对应的特征进行融合，并进一步预测目标牙齿所对应的多个检测框，根据多个检测框，确定目标牙齿在所述预训练图像中的位置；S4：利用目标检测模型对上述预训练图像以及目标牙齿位置信息进行进一步的分析检测，并进一步生成待处理图像；S5：将所述待处理图像输送至目标分类模型处，利用目标分类模型根据所述待处理图像中的牙齿位置信息进行牙齿类型分类；得出所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；S6：将上述目标牙齿的分类信息发送至对应的控制终端或云端服务器，利用所述控制终端或云端服务器与医疗机构、学校、政府机构的通讯联系，进行诊疗管理、预约管理、排班管理、随访管理、耗材管理以及辖区用户信息管理；并根据具体复查情况决定是否启动预约平台进行治疗预约；实际应用过程中，可以较好的对目标牙齿进行拍摄和分类处理，便于后续的管理和有针对性的治疗。
[附图说明]
图1是本发明一种儿童牙龋齿智能筛查方法的流程示意图。
[具体实施方式]
为使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定此发明。
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
随着移动互联网、传感器、可穿戴设备、物联网等信息技术的蓬勃发展，
智能手机等多种智能终端的广泛普及，居民获取并提供医疗健康数据的能力大大增强，数据及信息的共享交换能力大幅提升，健康信息的传播手段也日益多样化。云平台、云计算、大数据、机器学习等信息技术以及计算力的提升使各行各业都开始借力互联网，抓住各自的行业发展的新机遇。随着大规模图像数据的产生和计算能力的飞速发展，人工智能尤其是深度学习技术已经在计算机视觉等相关领域取得了显著的研究进展，为我们将其应用到基于人工智能的口腔恒磨牙识别***开发提供了大量的前期经验。
当前相关的研究缺乏医疗健康的针对性和应用情境，尚未提取出龋齿的相关特征进行检测，且多依据大量丰富的数据进行模型的增强，忽视了医疗领域内数据集的特殊性，难以在牙齿过于密集，图像个体大小也有一定的差异的数据中取得成效。不仅如此，从诊断的角度看，分类模型的选取也尤为重要。
现有的分类模型由于缺失相关医学特征的提取，对于恒磨牙的检测尚未体现出泛化性和***性，难以对牙齿进行准确的分类。
请参阅图1至，本发明一种儿童牙龋齿智能筛查方法1包括以下步骤，
S1：利用图像获取设备获取原始图像；该原始图像包括且不限于目标牙齿的图像信息；
S2：获取预训练图像，且所述预训练图像包括上述获取的目标牙齿的图像信息；对所述预训练图像进行数据清洗，利用数据清洗删除不清晰、图像偏离口腔、牙齿区域被遮挡的预训练图像；并对清洗后的图像信息中目标牙齿的位置进行标注；进一步确定预训练图像的N个尺度特征图，不同的尺度特征图对应不同的尺度；
N≥2，N为整数，不同的尺度特征图对应不同的尺度。
每张待输入的图像都具有通道、宽、高三个维度的值，即C×W×H，其中通道代表红、绿、蓝三个通道上的颜色值，宽为图像的宽度，高为图像的高度。
S3：进一步确定各尺度特征图中不同的位置分别对应的权重，基于各尺度特征图对应的权重和各所述尺度特征图，确定所述尺度特征图对应的特征；将所述N个尺度特征图分别对应的特征进行融合，并进一步预测目标牙齿所对应的多个检测框，根据多个检测框，确定目标牙齿在所述预训练图像中的位置；所述检测框为矩形方框，且表现为数组形式，包括最左侧坐标数值、最上侧坐标数值、宽度值以及高度值；所述最左侧坐标数值、最上侧坐标数值、宽度值以及高度值都是以像素为单位；
S4：利用目标检测模型对上述预训练图像以及目标牙齿位置信息进行进一步的分析检测，并进一步生成待处理图像；
S5：将所述待处理图像输送至目标分类模型处，利用目标分类模型根据所述待处理图像中的牙齿位置信息进行牙齿类型分类，得出所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；所述目标分类模型采用残差神经网络resnet模型，通过多层网络提取图像特征，并最后通过softmax函数进行输出每一类的概率值；所述残差神经网络resnet模型使用多个有参网络层来学习输入、输出之间的参差即H(X)-X，即学习X->(H(X)-X)+X。其中X这一部分为直接的恒等映射，而H(X)-X则为有参网络层要学习的输入输出间残差。
S6：将上述目标牙齿的分类信息发送至对应的控制终端或云端服务器，利用所述控制终端或云端服务器与医疗机构、学校、政府机构的通讯联系，进行诊疗管理、预约管理、排班管理、随访管理、耗材管理以及辖区用户信息管理；并根据具体复查情况决定是否启动预约平台进行治疗预约；
S7:儿童牙龋齿智能筛查完毕。
本申请通过采用S1利用图像获取设备获取原始图像；该原始图像包括且不限于目标牙齿的图像信息；S2：获取预训练图像，且所述预训练图像包括上述获取的目标牙齿的图像信息；对所述预训练图像进行数据清洗，并对清洗后的图像信息中目标牙齿的位置进行标注；进一步确定预训练图像的N个尺度特征图，不同的尺度特征图对应不同的尺度；N≥2，N为整数，不同的尺度特征图对应不同的尺度，每张待输入的图像都具有通道、宽、高三个维度的值，即C×W×H，其中通道代表红、绿、蓝三个通道上的颜色值，宽为图像的宽度，高为图像的高度；S3：进一步确定各尺度特征图中不同的位置分别对应的权重，基于各尺度特征图对应的权重和各所述尺度特征图，确定所述尺度特征图对应的特征；将所述N个尺度特征图分别对应的特征进行融合，并进一步预测目标牙齿所对应的多个检测框，根据多个检测框，确定目标牙齿在所述预训练图像中的位置；S4：利用目标检测模型对上述预训练图像以及目标牙齿位置信息进行进一步的分析检测，并进一步生成待处理图像；S5：将所述待处理图像输送至目标分类模型处，利用目标分类模型根据所述待处理图像中的牙齿位置信息进行牙齿类型分类；得出所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；S6：将上述目标牙齿的分类信息发送至对应的控制终端或云端服务器，利用所述控制终端或云端服务器与医疗机构、学校、政府机构的通讯联系，进行诊疗管理、预约管理、排班管理、随访管理、耗材管理以及辖区用户信息管理；并根据具体复查情况决定是否启动预约平台进行治疗预约；实际应用过程中，可以较好的对目标牙齿进行拍摄和分类处理，便于后续的管理和有针对性的治疗。
在本申请实施例中可以采用微信公众号及小程序采集该原始图像，该公众号可以为护牙呗，采集该原始图像的步骤如下：
微信搜索公众号护牙呗并关注；点击蛀牙筛选采集预约；用户授权新建学生档案并采集信息；上传四张用户牙位照片：右上、左上、右下、左下。
在一较优实施例中，所述步骤S4中的目标检测模型至少包括增强模块和分类模块；所述增强模块包括生成器和鉴别器；
所述步骤S2中获取训练图像后，将所述训练图像输送到所述生成器处，从而得出所述训练图像的相似图像信息；将所述相似图像和所述训练图像同步输送到所述鉴别器处，鉴别所述相似图像与所述训练图像；利用所述分类器对所述训练图像中的目标牙齿进行分类，得到训练好的分类器；
生成器是为了生成增强数据，即相似数据，该生成器在生成相似图像时，以真实图像为参照，生成同类别的图像，从而使得该增强图像不会偏离原始图像。例如，“龋齿”类别真图像只生成“龋齿”类别相似图像。“非龋齿”类别的真图像只生成“非龋齿”类别的相似图像。
鉴别器是为了鉴别真图像与相似图像。从而鉴别器训练生成器提高其生成更逼真图像的能力。
所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；
获取所述相似图像信息中包括获取所述训练图像中目标牙齿所对应的标签信息；所述生成器根据所述训练图像的目标牙齿对应的标签信息从而生成与所述标签类别一致的相似图像；
还包括在所述生成器的损失中加入同类别风格损失，得到所述相似图像；具体的同类别风格损失采用以下计算公式来计算，
其中，T代表原始数据，F代表生成的图像，ijk分别对应于特征尺度图的长度，宽度和通道的下标，G代表Gram矩阵，表示图像的样式。
在一较优实施例中，所述步骤S1中的图像获取设备包括口腔图像采集机器人、具有摄像功能的电动牙刷或具有摄像功能的口腔支撑器；所述口腔图像采集机器人、具有摄像功能的电动牙刷或具有摄像功能的口腔支撑器与所述控制终端或云端服务器进行通讯连接，进行口腔照片的传输。
在一较优实施例中，所述步骤S4中，利用增强模块对所述训练图像进行选择性增强处理；具体包括对所述训练图像中的目标牙齿图像进行对比度和亮度评估，得到对应的对比度偏离度和亮度偏离度；具体的，当所述对比度偏离度大于预设值和/或所述亮度偏离度大于预设值时，则对所述目标牙齿图像进行增强处理。
在一较优实施例中，所述图像获取设备包括便于用户握持的手持部以及用于采集用户口腔照片的采集部；所述采集部与用户口腔形状匹配，且在所述采集器上设置有用于对用户口腔形成支撑的支撑框；还包括用于对用户口腔进行拍照的摄像头；
还包括设置于所述图像获取设备中的主处理器、LED补光灯、用于与所述控制终端或云端服务器进行通讯连接的通讯单元以及用于存储照片图像信息的存储单元；
所述手持部与所述采集部之间通过可调节所述采集部角度的活动连接杆相连接。
在一较优实施例中，所述步骤S2中，对所述预训练图像进行数据清洗，并对清洗后的图像信息中目标牙齿的位置进行标注的过程具体包括：对获取到的清洗后的牙齿图像样本中的第一恒磨牙和第二前恒磨牙利用软件进行标注，其中目标牙齿为第一恒磨牙，标注的第二恒磨牙起到辅助确认第一恒磨牙位置的作用；
由于采集到的牙齿图像数据大多为终端设备拍摄的彩色图像，图像质量参差不齐，因此，护牙呗管理后台获得牙齿图像数据后，会对获取到的牙齿图像数据进行清洗，即将不清晰、图像偏离口腔、牙齿区域被遮挡等情况的照片删除，最终得到较为准确的牙齿图像样本。
目标检测模型在训练之前需要进行大量预训练图像采集，该预训练图像即为牙齿图像数据，该预训练图像数据包括多张含有目标牙齿的图像，在本申请实施例中该目标牙齿即为恒磨牙。
该预训练图像数据采集方式可以包括任何可以获取到牙齿图像数据集的方式。
标注完成后进一步生成一个与图像文件同名的文本文档，保存在同目录下，其中文本文档的内容为标注的位置大小信息；
所述标注软件为Labeling图像标注软件；
同时，在输入目标检测模型的数据样本之前，对标注好的口腔图像样本进行归一化处理；将所有待输入模型的样本图像按照一定比例分为训练集和测试集；所述测试集用于训练目标检测模型，所述测试集用于验证训练好的目标检测模型；
将训练集中的所有图像求像素均值，在同一空间位置上的像素对应通道求均值；
将训练集的图像做零均值化处理，图像内每一个像素在对应通道上的值都减去该矩阵对应位置的值。
本申请实施例中将采集到4145张牙齿样本图像按照4:1的比例划分为了训练集和测试集，即数据集中的3316张图像用于训练模型，其余的829张图像用于验证目标检测模型的性能。同时将该3316用于训练模型的图像进行归一化处理，以便更好的进行模型的学习。
在一较优实施例中，所述步骤S3中，将各所述尺度特征图所得到的多个权重值与尺度特征图相乘，每张图上的相应位置会计算得到不同的权重；
所述目前检测模型中还包含全连接层，使用所述全连接层对特征图分别计算，得到多个三维数组，然后将各特征图进行融合，即对该多个三维数组进行加权求和，得到最终的特征信息；
利用全连接层计算得到分类结果，既可以检测到之前标注好的目标恒磨牙和用于辅助检测的恒磨牙。
在一较优实施例中，所述增强处理具体包括离线增强和在线增强；所述离线增强包括直接对数据集进行处理，数据的数目会变成增强因子乘以原数据集的数目；所述在线增强是指获得batch数据之后，然后对batch的数据进行增强，包括且不限于旋转、平移、翻折。
在一较优实施例中，所述步骤S6中，根据具体复查情况决定是否启动预约平台进行治疗预约包括对用户牙齿信息的治疗紧急程度进行评定，并通过微信小程序、短信、电话通知用户进行及时治疗；同步推送相关医疗机构、医生的推荐信息。
一种儿童牙龋齿智能筛查装置，其特征在于：包括至少一个处理器，所述处理器与存储器耦合；所述处理器用于执行存储器中存储的计算机程序或指令，所述处理器执行上述所述的方法。
处理器用于获取原始图像，利用目标检测模型，确定原始图像中目标牙齿的位置，并生成待处理图像，根据目标分类模型，确定待处理图像中的目标牙齿为龋齿、非龋齿、需要窝沟封闭牙齿及不需要窝沟封闭牙齿中的至少一类。
处理器还用于对原始图像进行数据清洗，并对清洗后的数据进行目标牙齿位置标注；根据原始图像确定原始图像的N个尺度特征图，确定每个尺度特征图中不同的位置分别对应的权重；基于每个尺度特征图对应的权重和每个尺度特征图，确定每个尺度特征图对应的特征；将N个尺度特征图分别对应的特征进行融合，预测目标牙齿对应的多个检测框，根据目标牙齿对应的多个检测框，确定目标牙齿在原始图像中的位置。
处理器还用于获取训练图像，将训练图像输入至生成器，得到训练图像的相似图像；将相似图像和训练图像输入至鉴别器，鉴别相似图像和训练图像；利用分类器对训练图像中的目标牙齿进行分类，得到训练好的分类。
处理器还用于将原始图像输入至目标检测模型中，得到N个尺度特征图。
处理器还用于使得生成器根据训练图像的目标牙齿对应的标签生成与标签类别一致的相似图像。
与现有技术相比，本发明一种儿童牙龋齿智能筛查方法1通过采用S1利用图像获取设备获取原始图像；该原始图像包括且不限于目标牙齿的图像信息；S2：获取预训练图像，且所述预训练图像包括上述获取的目标牙齿的图像信息；对所述预训练图像进行数据清洗，并对清洗后的图像信息中目标牙齿的位置进行标注；进一步确定预训练图像的N个尺度特征图，不同的尺度特征图对应不同的尺度；N≥2，N为整数，不同的尺度特征图对应不同的尺度，每张待输入的图像都具有通道、宽、高三个维度的值，即C×W×H，其中通道代表红、绿、蓝三个通道上的颜色值，宽为图像的宽度，高为图像的高度；S3：进一步确定各尺度特征图中不同的位置分别对应的权重，基于各尺度特征图对应的权重和各所述尺度特征图，确定所述尺度特征图对应的特征；将所述N个尺度特征图分别对应的特征进行融合，并进一步预测目标牙齿所对应的多个检测框，根据多个检测框，确定目标牙齿在所述预训练图像中的位置；S4：利用目标检测模型对上述预训练图像以及目标牙齿位置信息进行进一步的分析检测，并进一步生成待处理图像；S5：将所述待处理图像输送至目标分类模型处，利用目标分类模型根据所述待处理图像中的牙齿位置信息进行牙齿类型分类；得出所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；S6：将上述目标牙齿的分类信息发送至对应的控制终端或云端服务器，利用所述控制终端或云端服务器与医疗机构、学校、政府机构的通讯联系，进行诊疗管理、预约管理、排班管理、随访管理、耗材管理以及辖区用户信息管理；并根据具体复查情况决定是否启动预约平台进行治疗预约；实际应用过程中，可以较好的对目标牙齿进行拍摄和分类处理，便于后续的管理和有针对性的治疗。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。
Claims (10)
1.一种儿童牙龋齿智能筛查方法，其特征在于：包括以下步骤，
S1：利用图像获取设备获取原始图像；该原始图像包括且不限于目标牙齿的图像信息；
S2：获取预训练图像，且所述预训练图像包括上述获取的目标牙齿的图像信息；对所述预训练图像进行数据清洗，利用数据清洗删除不清晰、图像偏离口腔、牙齿区域被遮挡的预训练图像；并对清洗后的图像信息中目标牙齿的位置进行标注；进一步确定预训练图像的N个尺度特征图，不同的尺度特征图对应不同的尺度；
S3：进一步确定各尺度特征图中不同的位置分别对应的权重，基于各尺度特征图对应的权重和各所述尺度特征图，确定所述尺度特征图对应的特征；将所述N个尺度特征图分别对应的特征进行融合，并进一步预测目标牙齿所对应的多个检测框，根据多个检测框，确定目标牙齿在所述预训练图像中的位置；所述检测框为矩形方框，且表现为数组形式，包括最左侧坐标数值、最上侧坐标数值、宽度值以及高度值；
S4：利用目标检测模型对上述预训练图像以及目标牙齿位置信息进行进一步的分析检测，并进一步生成待处理图像；
S5：将所述待处理图像输送至目标分类模型处，利用目标分类模型根据所述待处理图像中的牙齿位置信息进行牙齿类型分类，得出所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；所述目标分类模型采用残差神经网络resnet模型，通过多层网络提取图像特征，并最后通过softmax函数进行输出每一类的概率值；
S6：将上述目标牙齿的分类信息发送至对应的控制终端或云端服务器，利用所述控制终端或云端服务器与医疗机构、学校、政府机构的通讯联系，进行诊疗管理、预约管理、排班管理、随访管理、耗材管理以及辖区用户信息管理；并根据具体复查情况决定是否启动预约平台进行治疗预约；
S7:儿童牙龋齿智能筛查完毕。
2.如权利要求1所述的一种儿童牙龋齿智能筛查方法，其特征在于：所述步骤S4中的目标检测模型至少包括增强模块和分类模块；所述增强模块包括生成器和鉴别器；
所述步骤S2中获取训练图像后，将所述训练图像输送到所述生成器处，从而得出所述训练图像的相似图像信息；将所述相似图像和所述训练图像同步输送到所述鉴别器处，鉴别所述相似图像与所述训练图像；利用分类器对所述训练图像中的目标牙齿进行分类，得到训练好的分类器；
所述目标牙齿为龋齿、非龋齿、需窝沟封闭牙齿或不需窝沟封闭牙齿中的至少一类；
获取所述相似图像信息中包括获取所述训练图像中目标牙齿所对应的标签信息；所述生成器根据所述训练图像的目标牙齿对应的标签信息从而生成与标签类别一致的相似图像；
还包括在所述生成器的损失中加入同类别风格损失，得到所述相似图像；具体的同类别风格损失采用以下计算公式来计算，
其中，T代表原始数据，F代表生成的图像，ijk分别对应于特征尺度图的长度，宽度和通道的下标，G代表Gram矩阵，表示图像的样式。
3.如权利要求1所述的一种儿童牙龋齿智能筛查方法，其特征在于：所述步骤S1中的图像获取设备包括口腔图像采集机器人、具有摄像功能的电动牙刷或具有摄像功能的口腔支撑器；所述口腔图像采集机器人、具有摄像功能的电动牙刷或具有摄像功能的口腔支撑器与所述控制终端或云端服务器进行通讯连接，进行口腔照片的传输。
4.如权利要求2所述的一种儿童牙龋齿智能筛查方法，其特征在于：所述步骤S4中，利用增强模块对所述训练图像进行选择性增强处理；具体包括对所述训练图像中的目标牙齿图像进行对比度和亮度评估，得到对应的对比度偏离度和亮度偏离度；具体的，当所述对比度偏离度大于预设值和/或所述亮度偏离度大于预设值时，则对所述目标牙齿图像进行增强处理。
5.如权利要求3所述的一种儿童牙龋齿智能筛查方法，其特征在于：所述图像获取设备包括便于用户握持的手持部以及用于采集用户口腔照片的采集部；所述采集部与用户口腔形状匹配，且在所述采集部上设置有用于对用户口腔形成支撑的支撑框；还包括用于对用户口腔进行拍照的摄像头；
还包括设置于所述图像获取设备中的主处理器、LED补光灯、用于与所述控制终端或云端服务器进行通讯连接的通讯单元以及用于存储照片图像信息的存储单元；
所述手持部与所述采集部之间通过可调节所述采集部角度的活动连接杆相连接。
6.如权利要求1所述的一种儿童牙龋齿智能筛查方法，其特征在于：所述步骤S2中，对所述预训练图像进行数据清洗，并对清洗后的图像信息中目标牙齿的位置进行标注的过程具体包括：对获取到的清洗后的牙齿图像样本中的第一恒磨牙和第二前恒磨牙利用软件进行标注，其中目标牙齿为第一恒磨牙，标注的第二恒磨牙起到辅助确认第一恒磨牙位置的作用；
标注完成后进一步生成一个与图像文件同名的文本文档，保存在同目录下，其中文本文档的内容为标注的位置大小信息；
标注软件为Labeling图像标注软件；
同时，在输入目标检测模型的数据样本之前，对标注好的口腔图像样本进行归一化处理；将所有待输入模型的样本图像按照一定比例分为训练集和测试集；所述测试集用于训练目标检测模型，所述测试集用于验证训练好的目标检测模型；
将训练集中的所有图像求像素均值，在同一空间位置上的像素对应通道求均值；
将训练集的图像做零均值化处理，图像内每一个像素在对应通道上的值都减去Gram矩阵对应位置的值。
7.如权利要求6所述的一种儿童牙龋齿智能筛查方法，其特征在于：所述步骤S3中，将各所述尺度特征图所得到的多个权重值与尺度特征图相乘，每张图上的相应位置会计算得到不同的权重；
所述目标检测模型中还包含全连接层，使用所述全连接层对特征图分别计算，得到多个三维数组，然后将各特征图进行融合，即对该多个三维数组进行加权求和，得到最终的特征信息；
利用全连接层计算得到分类结果，能检测到之前标注好的目标恒磨牙和用于辅助检测的恒磨牙。
8.如权利要求4所述的一种儿童牙龋齿智能筛查方法，其特征在于：所述增强处理具体包括离线增强和在线增强；所述离线增强包括直接对数据集进行处理，数据的数目会变成增强因子乘以原数据集的数目；所述在线增强是指获得batch数据之后，然后对batch的数据进行增强，包括且不限于旋转、平移、翻折。
9.如权利要求1所述的一种儿童牙龋齿智能筛查方法，其特征在于：所述步骤S6中，根据具体复查情况决定是否启动预约平台进行治疗预约包括对用户牙齿信息的治疗紧急程度进行评定，并通过微信小程序、短信、电话通知用户进行及时治疗；同步推送相关医疗机构、医生的推荐信息。
10.一种儿童牙龋齿智能筛查装置，其特征在于：包括至少一个处理器，所述处理器与存储器耦合；所述处理器用于执行存储器中存储的计算机程序或指令，所述处理器执行上述权利要求1至9中任意一项的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110640269.6A CN113343853B (zh) | 2021-06-08 | 2021-06-08 | 一种儿童牙龋齿智能筛查方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110640269.6A CN113343853B (zh) | 2021-06-08 | 2021-06-08 | 一种儿童牙龋齿智能筛查方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113343853A CN113343853A (zh) | 2021-09-03 |
| CN113343853B true CN113343853B (zh) | 2024-06-14 |
Family
ID=77475408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110640269.6A Active CN113343853B (zh) | 2021-06-08 | 2021-06-08 | 一种儿童牙龋齿智能筛查方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113343853B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643297B (zh) * | 2021-10-18 | 2021-12-21 | 四川大学 | 一种基于神经网络的计算机辅助牙龄分析方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111241947A (zh) * | 2019-12-31 | 2020-06-05 | 深圳奇迹智慧网络有限公司 | 目标检测模型的训练方法、装置、存储介质和计算机设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108399362B (zh) * | 2018-01-24 | 2022-01-07 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110097051B (zh) * | 2019-04-04 | 2024-07-19 | 平安科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN112561864B (zh) * | 2020-12-04 | 2024-03-29 | 深圳格瑞健康科技有限公司 | 龋齿图像分类模型的训练方法、***和存储介质 |
| CN112561865B (zh) * | 2020-12-04 | 2024-03-12 | 深圳格瑞健康科技有限公司 | 恒磨牙位置的检测模型训练方法、***和存储介质 |
-
2021
- 2021-06-08 CN CN202110640269.6A patent/CN113343853B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111241947A (zh) * | 2019-12-31 | 2020-06-05 | 深圳奇迹智慧网络有限公司 | 目标检测模型的训练方法、装置、存储介质和计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 一种新的多尺度深度学***;高赞;;光电子・激光(02);第102-108页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113343853A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11291532B2 (en) | Dental CAD automation using deep learning | |
| CN111563887B (zh) | 一种口腔图像的智能分析方法与装置 | |
| US11790643B2 (en) | Deep learning for tooth detection and evaluation | |
| US10685259B2 (en) | Method for analyzing an image of a dental arch | |
| US11314983B2 (en) | Method for analyzing an image of a dental arch | |
| US20190282344A1 (en) | Dental cad automation using deep learning | |
| US11107218B2 (en) | Method for analyzing an image of a dental arch | |
| US9463081B2 (en) | Intraoral video camera and display system | |
| US10568716B2 (en) | Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning | |
| CN110662484A (zh) | 用于全身测量结果提取的***和方法 | |
| WO2021047185A1 (zh) | 基于人脸识别的监测方法、装置、存储介质及计算机设备 | |
| JP2018055470A (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
| US20190026893A1 (en) | Method for analyzing an image of a dental arch | |
| CN112151167A (zh) | 一种基于深度学习的儿童六龄牙龋齿智能筛查方法 | |
| CN114424246A (zh) | 用于配准口内测量的方法、***和计算机可读存储介质 | |
| CN109377441A (zh) | 具有隐私保护功能的舌像采集方法和*** | |
| Ding et al. | Detection of dental caries in oral photographs taken by mobile phones based on the YOLOv3 algorithm | |
| CN113343853B (zh) | 一种儿童牙龋齿智能筛查方法及装置 | |
| CN112382384A (zh) | 特纳综合征诊断模型训练方法、诊断***及相关设备 | |
| US20240144480A1 (en) | Dental treatment video | |
| CN107886568B (zh) | 一种利用3D Avatar重建人脸表情的方法及*** | |
| Cholan et al. | The impetus of artificial intelligence on periodontal diagnosis: a brief synopsis | |
| Bose et al. | The scope of artificial intelligence in oral radiology-a review. | |
| US12048600B2 (en) | Dental CAD automation using deep learning | |
| KR102377629B1 (ko) | 환자 이미지를 분석하여 교정 진단 보고서를 생성하는 인공지능 딥러닝 기반 교정 진단 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 912, Shenzhen Research Institute, Chinese University of Hong Kong, 10 Yuexing 2nd Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Applicant after: Shenzhen Gree Health Technology Co.,Ltd. Address before: 518054 805, block B, second unified building of Houhai neighborhood committee, No. 1, Huayou Huaming Road, Nanshan District, Shenzhen City, Guangdong Province Applicant before: Shenzhen Gree Health Management Co.,Ltd. Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |