TWI807809B - 利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統、電腦程式及電腦可讀取媒體 - Google Patents

Abstract

本發明係關於一種利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統、電腦程式及電腦可讀取媒體。一數據資料庫儲存有自根尖X光影像取得的複數單顆牙齒X光影像，使用正常、牙周病及齲齒三種標籤將上述單顆牙齒X光影像分類成正常牙齒影像、牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像四種情況；一電腦安裝有一影像處理模組、深度學習之一卷積神經網路及一注意力模型。該電腦將上述單顆牙齒X光影像經過調整大小與增量後，透過該影像處理模組進行影像處理，以強化上述單顆牙齒X光影像的特徵，再輸入該卷積神經網路進行訓練，並使用該注意力模型加強權重分配，而獲得一牙周病及齲齒輔助辨識之多標籤分類模型。可由該牙周病及齲齒輔助辨識之多標籤分類模型辨識由根尖X光影像框選之一待檢測單顆牙齒X光影像歸類於正常牙齒影像、牙周病牙齒影像、齲齒牙齒影像或牙周病/齲齒複合牙齒影像之任一，以輔助檢測牙齒健康狀態。

Description

利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系 統、電腦程式及電腦可讀取媒體

本發明係有關於一種利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統、電腦程式及電腦可讀取媒體，特別是指將數據資料庫中自根尖X光影像取得的複數單顆牙齒X光影像結合影像處理模組、深度學習之卷積神經網路及注意力模型而建立牙周病及齲齒輔助辨識之多標籤分類模型的發明，藉以輔助檢測牙齒健康狀態。

牙齒保健是維持全身健康的重要基石，最常見的二大疾病為牙周病與齲齒。其中，X光影像輻射程度相對較低且可立即獲得，因此在醫院與牙科診所常使用數位X光影像來輔助診斷及治療。

近年來人工智慧發展非常迅速，其中卷積神經網路(Convolutional Neural Network,CNN)在影像分類任務中是最重要的模型之一。近期深度學習的快速演進，出現許多CNN經典網路架構，如AlexNet、GoogLeNet、VGG、ResNet等神經網路，在電腦視覺領域獲得了成功的應用，其中醫療上也有不少的應用案例與研究文獻，例如以深度學習應用在牙科X光影像的輔助辨識。

針對牙周病的檢測例如有以下文獻記載：J.H.Lee等人於2018年提出之文獻「Diagnosis and Prediction of Periodontally Compromised Teeth Using a Deep Learning-based Convolutional Neural Network Algorithm」，係使用根尖X光影像對於前臼齒與臼齒進行檢測，方法為以預訓練的VGGNet 19架構中之16層卷積層取得特徵圖後，透過3層全連接層進行分類，包括健康的牙齒、中度牙周受損牙齒和嚴重牙周受損牙齒共三類。其中，將所取得的根尖X光影像透過旋轉、平移和剪切進行增量，以提高訓練的數量。

H.Li等人於2021年提出之文獻「An Interpretable Computer-aided Diagnosis Method for Periodontitis from Panoramic Radiographs」，係以全口X光影像進行牙周病的分類，包括沒有牙周病、輕度牙周病、中度牙周病和嚴重牙周病共四類。方法為使用遮罩區域卷積神經網路(Mask Region-Based Convolutional Neural Networks)為基礎之模型進行牙齒的切割及編號，並計算齒槽骨流失之特徵以極限梯度提升(eXtreme Gradient Boosting,XGBoost)之機器學習方法進行整張全口X光影像的預測。

上述文獻揭露了可將根尖或全口X光影像，以卷積神經網路或機器學習訓練，以對牙周病進行人工智慧辨識。

針對齲齒的檢測例如有以下文獻記載：J.H.Lee等人於2018年提出之文獻「Detection and Diagnosis of Dental Caries Using a Deep Learning-based Convolutional Neural Network Algorithm」，係將所取得的根尖X光影像對於前臼齒與臼齒進行檢測，使用預訓練的GoogLeNet進行轉移學習，結果為是否為齲齒的二分類，其中透過旋轉、 平移、縮放、剪切和水平翻轉進行增量，隨機增加10倍的資料量來讓預測更準確。

V.Geetha等人於2020年提出之文獻「Dental Caries Diagnosis in Digital Radiographs Using Back-propagation Neural Network」，係將根尖X光影像進行齲齒的二分類，使用拉普拉斯濾波器(Laplacian Filter)與自適應臨界值(Adaptive Thresholding)等影像處理進行特徵提取，再利用神經網路進行分類。

上述文獻揭露了可將根尖X光影像或使用影像處理後，再以卷積神經網路或神經網路學習，以對齲齒進行人工智慧辨識。

對於根尖X光影像的影像處理，P.Pandey等人於2017年提出之文獻「Automatic Image Processing Based Dental Image Analysis Using Automatic Gaussian Fitting Energy and Level Sets」，係利用對比限制自適應直方圖均化(Contrast Limited Adaptive Histogram Equalization,CLAHE)與雙邊濾波器(Bilateral Filter)作為影像切割之前處理，以利後續的影像切割與分析。

參閱中國專利第CN202110360226.2號「基於深度學習及注意力機制的全景片齲齒深度識別方法」，揭露了使用包含注意力機制的深度學習模型，實現口腔全景片中不同病變時期的齲齒分類。

有別於上述前案，本發明提出一種利用深度學習之卷積神經網路同時輔助辨識牙周病及齲齒之系統，準確地輔助牙醫師判別病患的牙齒健康狀況，進一步並可輔助同時辨識牙周病及齲齒的複合病癥。

本發明之系統包括有：一數據資料庫，儲存有複數自根尖X光影像取得的單顆牙齒X光影像，使用正常、牙周病及齲齒三種標籤將上述單顆牙 齒X光影像分類成正常牙齒影像、牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像四種情況。一電腦，連結該數據資料庫，該電腦安裝有一影像處理模組、深度學習之一卷積神經網路及一注意力模型。

該電腦取得上述單顆牙齒X光影像，先進行調整大小和增量，再透過該影像處理模組將上述單顆牙齒X光影像進行影像處理，以強化上述單顆牙齒X光影像的特徵，之後輸入該卷積神經網路進行訓練，並使用該注意力模型加強權重分配，而獲得一牙周病及齲齒輔助辨識之多標籤分類模型。輸入一根尖X光影像至該電腦，經由框選該根尖X光影像並調整大小而獲得一待檢測單顆牙齒X光影像，透過該影像處理模組將上述待檢測單顆牙齒X光影像進行影像處理，再以該牙周病及齲齒輔助辨識之多標籤分類模型辨識該待檢測單顆牙齒X光影像歸類於該正常牙齒影像、該牙周病牙齒影像、該齲齒牙齒影像或該牙周病/齲齒複合牙齒影像之任一。

進一步，該卷積神經網路係殘差網路模型。

進一步，該電腦將上述單顆牙齒X光影像調整影像大小至100×100並進行增量處理，使上述單顆牙齒X光影像之牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像於輸入該卷積神經網路的影像數量一致，所述增量處理例如將上述單顆牙齒X光影像旋轉90度、旋轉180度、旋轉270度、水平翻轉或垂直翻轉之任一或組合。更進一步，上述單顆牙齒X光影像之正常牙齒影像於輸入該卷積神經網路的數量為上述牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像的2倍。

進一步，該影像處理模組包括對比限制自適應直方圖均化及雙邊濾波器；上述單顆牙齒X光影像有三種影像處理結果：該對比限制自適應直方 圖均化處理之結果、該雙邊濾波器處理之結果和先由該對比限制自適應直方圖均化進行影像處理以增強對比度再由該雙邊濾波器再次進行影像處理以降低雜訊並保留增強後的影像邊緣之結果。

本發明再提供一種電腦程式，用於安裝在前述利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統。

本發明再提供一種電腦可讀取媒體，係儲存有前述電腦程式。

根據上述技術特徵可達成以下功效：

1.本發明之系統所建立的牙周病及齲齒輔助辨識之多標籤分類模型於進行影像訓練前，將所述單顆牙齒X光影像進行調整大小及增量處理，使上述牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像於輸入該卷積神經網路的影像數量能夠一致，避免影像數量不一致而導致深度學習之預測能力下降。

2.本發明之系統所建立的牙周病及齲齒輔助辨識之多標籤分類模型於進行影像訓練時係結合影像處理模組、深度學習之卷積神經網路及注意力模型。所述影像處理模組使用對比限制自適應直方圖均化進行影像處理以增強局部對比度、使用雙邊濾波器進行影像處理以保留影像邊緣，且分別由該對比限制自適應直方圖均化、該雙邊濾波器、依序結合對比限制自適應直方圖均化與雙邊濾波器獲得三種處理後之影像進行訓練；所述注意力模型則可加強影像特徵之權重分配，以增強卷積神經網路的學習效能。實際進行人工智慧檢測時，能有效提升檢測結果之敏感度、特異度、準確度及精確度等預測效能。

3.本發明使用單一牙周病及齲齒輔助辨識之多標籤分類模型便可同時針對牙周病及齲齒進行檢測，不需要針對牙周病及齲齒各自建立獨立的模型，可減少軟硬體的負擔。

4.利用本發明深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統，可對病患之牙齒進行初步篩檢，能讓醫療資源不足地區的民眾不需要耗費許多往返醫院診所的時間與金錢成本，亦能定期檢查牙齒，維持口腔健康，另篩檢結果可以協助醫療決策單位調查醫療需求，規劃醫療人力，縮減城鄉差距。

1:數據資料庫

2:電腦

21:影像處理模組

211:對比限制自適應直方圖均化

212:雙邊濾波器

22:卷積神經網路

23:注意力模型

24:牙周病及齲齒輔助辨識之多標籤分類模型

A:單顆牙齒X光影像

A1:正常牙齒影像

A2:牙周病牙齒影像

A3:齲齒牙齒影像

A4:牙周病/齲齒複合牙齒影像

B:根尖X光影像

B1:待檢測單顆牙齒X光影像

[第一圖]係為本發明實施例之系統架構示意圖。

[第二圖]係為本發明實施例之流程圖。

[第三圖]係為本發明實施例之模型建立流程示意圖。

[第三A圖]係為本發明實施例中，影像處理與深度學習之具體架構圖。

[第四圖]係為本發明實施例中，經過對比限制自適應直方圖均化、雙邊濾波器、以及依序經過對比限制自適應直方圖均化及雙邊濾波器處理後的單顆牙齒X光影像之比較。

[第五圖]係為本發明實施例中，檢測正常牙齒、牙周病、齲齒的混淆矩陣。

[第六圖]係為本發明實施例中，檢測正常牙齒、牙周病、齲齒的ROC曲線。

[第七圖]係為本發明實施例中，檢測正常牙齒、牙周病、齲齒的PR曲線。

綜合上述技術特徵，本發明利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統、電腦程式及電腦可讀取媒體的主要功效將可於下述實施例清楚呈現。

參閱第一圖及第二圖所示，本實施例之系統包括：一數據資料庫1，儲存有複數單顆牙齒X光影像A，使用正常、牙周病及齲齒三種標籤將上述單顆牙齒X光影像A分類成一正常牙齒影像A1、一牙周病牙齒影像A2、一齲齒牙齒影像A3及一牙周病/齲齒複合牙齒影像A4。一電腦2，連結該數據資料庫1，該電腦安裝有一影像處理模組21、深度學習之一卷積神經網路22及一注意力模型23。該電腦2將上述單顆牙齒X光影像A經過調整大小及增量後，透過該影像處理模組21進行影像處理，以強化上述單顆牙齒X光影像A的特徵，再輸入該卷積神經網路22進行訓練，並使用該注意力模型23加強權重分配，而獲得一牙周病及齲齒輔助辨識之多標籤分類模型24，該牙周病及齲齒輔助辨識之多標籤分類模型24能夠用於後續對根尖X光影像進行牙周病及齲齒等之分類。

參閱第一圖至第三A圖所示，本實施例使用1139張根尖X光影像，每張根尖X光影像皆經由牙醫師診斷與標註之後進行框選而獲得所述單顆牙齒X光影像A。試驗時，該電腦2將上述單顆牙齒X光影像A調整影像大小至100×100，接著進行增量處理，例如將上述單顆牙齒X光影像A旋轉90度、旋轉180度、旋轉270度、水平翻轉或垂直翻轉，並隨機選取增量後之影像，以解決資料分布不平均的問題，使本實施例將上述牙周病牙齒影像A2、齲齒牙齒影像 A3及牙周病/齲齒複合牙齒影像A4輸入該卷積神經網路22的影像數量能夠一致，而上述正常牙齒影像A1於輸入該卷積神經網路22的數量在本實施例為上述牙周病牙齒影像A2、齲齒牙齒影像A3及牙周病/齲齒複合牙齒影像A4的2倍，藉此避免影像數量不一致而導致深度學習之預測能力下降。具體的，本實施例輸入該卷積神經網路22之訓練集共8000張、驗證集共2000張、測試集共1000張；在訓練集中，上述正常牙齒影像A1有3200張，上述牙周病牙齒影像A2、齲齒牙齒影像A3及牙周病/齲齒複合牙齒影像A4各1600張；在驗證集中，上述正常牙齒影像A1有800張，上述牙周病牙齒影像A2、齲齒牙齒影像A3及牙周病/齲齒複合牙齒影像A4各400張；在測試集中，上述正常牙齒影像A1有400張，上述牙周病牙齒影像A2、齲齒牙齒影像A3及牙周病/齲齒複合牙齒影像A4各200張。該電腦2取得上述單顆牙齒X光影像A後，透過該影像處理模組21將上述單顆牙齒X光影像A進行影像處理，以強化上述單顆牙齒X光影像A的特徵。具體的，該影像處理模組21包括一對比限制自適應直方圖均化211及一雙邊濾波器212；上述單顆牙齒X光影像A分別由該對比限制自適應直方圖均化211、該雙邊濾波器212、依序結合該對比限制自適應直方圖均化211與該雙邊濾波器212進行影像處理獲得三種處理後之影像。

將上述單顆牙齒X光影像A經上述影像處理模組21之三種影像處理後輸入該卷積神經網路22進行訓練，並使用該注意力模型23改良該卷積神經網路22而加強權重分配，藉以獲得一牙周病及齲齒輔助辨識之多標籤分類模型24，其中本實施例該卷積神經網路22使用殘差網路模型，並透過該注意力模型23調整經前述殘差網路模型產生之特徵圖的各個像素的權重，因此能夠加強該卷積神經網路22使之關注在重要的像素值上以提升預測效果。

實際用於檢測時，輸入病患之一根尖X光影像B至該電腦2，經由框選該根尖X光影像B而獲得一待檢測單顆牙齒X光影像B1並調整影像大小，透過該影像處理模組21將上述待檢測單顆牙齒X光影像B1進行影像處理，再以該牙周病及齲齒輔助辨識之多標籤分類模型24辨識該待檢測單顆牙齒X光影像B1所屬之標籤，透過後處理方式將該牙齒只歸類於四種：該正常牙齒影像A1、該牙周病牙齒影像A2、該齲齒牙齒影像A3或該牙周病/齲齒複合牙齒影像A4之任一，藉此可對病患之牙齒進行初步篩檢，輔助牙醫師判別病患的牙齒健康狀況，並可輔助同時辨識牙周病及齲齒的複合病癥。

參閱第一圖及第四圖所示，經過該對比限制自適應直方圖均化211處理後的單顆牙齒X光影像A，相較原始的單顆牙齒X光影像A能夠有效的增強局部對比度。經過該雙邊濾波器212處理後的單顆牙齒X光影像A能有效降低影像雜訊，將與病徵較無關的區域模糊化，且保留用來辨識牙周病與齲齒的特徵如牙槽骨流失或牙齒被侵蝕而缺失等外觀邊緣的資訊。本實施例結合上述對比限制自適應直方圖均化211及雙邊濾波器212能夠強化該單顆牙齒X光影像A的對比使牙齒輪廓更加清晰且在保持影像原本的輪廓下降低細節雜訊。

參閱第五圖至第七圖所示，計算混淆矩陣(Confusion Matrix)，並以準確度(Accuracy)、敏感度(Sensitivity,Recall)、特異度(Specificity)、精確度(Precision)、F₁分數(F₁Score)、接收者操作特徵曲線(Receiver Operating Characteristic Curve,ROC Curve)和Precision-Recall(PR)曲線來評估上述牙周病及齲齒輔助辨識之多標籤分類模型24的效能。

參閱下表一，針對正常牙齒、牙周病、齲齒三個類別平均的敏感度(Sen.)、特異度(Spe.)、準確度(Acc.)、精確度(Pre.)、F₁分數、Area Under the ROCCurve(AUROC)和Area Under the PR Curve(AUPR)分別為82.50%、79.89%、80.93%、73.22%、77.58%、89.10%和84.81%。在預測牙周病方面，敏感度、特異度、準確度、AUROC和AUPR分別達到80.00%、80.33%、80.20%、88.00%和83.38%。在預測齲齒方面，敏感度、特異度，準確度、AUROC和AUPR分別達到82.00%、78.83%、80.10%、88.88%和86.36%。

參閱下表二至下表四，係該單顆牙齒X光影像A分別使用殘差網路模型(ResNet)、影像處理(IP)結合殘差網路模型(ResNet)、殘差網路模型(ResNet)結合注意力模型(ATT)、影像處理(IP)結合殘差網路模型(ResNet)及注意力模型(ATT)進行處理後，先計算正常牙齒、牙周病及齲齒之混淆矩陣，透過混淆矩陣計算有關正常牙齒檢測、牙周病檢測及齲齒檢測之敏感度(Sen.)、特異度(Spe.)、準確度(Acc.)、精確度(Pre.)、F₁分數、AUROC和AUPR。下表五並呈現三者之平均表現。

表五(平均)

根據上述表三，在牙周病之檢測，影像處理或注意力模型皆能改善殘差網路預測的效能，結合二者能進一步提升效能，敏感度從75.00%提升至80.00%，特異度從79.83%提升至80.33%，準確度從77.90%提升至80.20%，精確度從71.26%提升至73.06%，F₁分數從73.08%提升至76.37%，AUROC從84.61%提升至88.00%，AUPR從80.56%提升至83.38%。

根據上述表四，在齲齒之檢測，影像處理或注意力模型皆能改善殘差網路預測的效能，結合二者能進一步提升效能，敏感度從77.00%提升至82.00%，特異度從70.50%提升至78.83%，準確度從73.10%提升至80.10%，精確度從63.51%提升至72.09%，F₁分數從69.61%提升至76.73%，AUROC從80.22%提升至88.88%，AUPR從75.57%提升至86.36%。

根據上述表五亦呈現三者之平均效能在加入影像處理或注意力模型皆能得到提升，結合二者能進一步提升效能，敏感度從79.08%提升至82.50%，特異度從76.67%提升至79.89%，準確度從77.63%提升至80.93%，精確度從69.47%提升至73.22%，F₁分數從73.91%提升至77.58%，AUROC從84.58%提升至89.10%，AUPR從79.15%提升至84.81%。

根據上述表二至表五，影像處理較能改善牙周病與齲齒的預測效能，注意力模型能改善正常，牙周病與齲齒的預測效能，並且結合二者能進一步提升效能。

綜合上述實施例之說明，當可充分瞭解本發明之操作、使用及本發明產生之功效，惟以上所述實施例僅係為本發明之較佳實施例，當不能以此限定本發明實施之範圍，即依本發明申請專利範圍及發明說明內容所作簡單的等效變化與修飾，皆屬本發明涵蓋之範圍內。

1:數據資料庫

2:電腦

21:影像處理模組

211:對比限制自適應直方圖均化

212:雙邊濾波器

22:卷積神經網路

23:注意力模型

24:牙周病及齲齒輔助辨識之多標籤分類模型

A:單顆牙齒X光影像

A1:正常牙齒影像

A2:牙周病牙齒影像

A3:齲齒牙齒影像

A4:牙周病/齲齒複合牙齒影像

B:根尖X光影像

B1:待檢測單顆牙齒X光影像

Claims (5)

1. 一種利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統，包括有：一數據資料庫，儲存有自根尖X光影像取得的複數單顆牙齒X光影像，使用正常、牙周病及齲齒三種標籤將上述單顆牙齒X光影像分類成正常牙齒影像、牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像四種情況；一電腦，連結該數據資料庫，該電腦安裝有一影像處理模組、深度學習之一卷積神經網路及一注意力模型；該電腦取得上述單顆牙齒X光影像，先進行調整大小和增量，使上述單顆牙齒X光影像之牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像於輸入該卷積神經網路的影像數量一致，而上述單顆牙齒X光影像之正常牙齒影像於輸入該卷積神經網路的數量為上述牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像的2倍，其中，輸入該卷積神經網路之訓練集共8000張、驗證集共2000張、測試集共1000張，在訓練集中，上述正常牙齒影像有3200張，上述牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像各1600張，在驗證集中，上述正常牙齒影像有800張，上述牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像各400張，在測試集中，上述正常牙齒影像有400張，上述牙周病牙齒影像、齲齒牙齒影像及牙周病/齲齒複合牙齒影像各200張；再透過該影像處理模組將上述單顆牙齒X光影像進行影像處理，以強化上述單顆牙齒X光影像的特徵，之後輸入該卷積神經網路進行訓練，並使用該注意力模型加強權重分配，而獲得一牙周病及齲齒輔助辨識之多標籤分類模型，其中，該影像處理模組包括對比限制自適應直方圖均化及雙邊濾波器，上述單顆牙齒X光影像分別由該對比限制自適應直方圖均化、該雙邊濾波器、依序結合該對比限制自適應直方圖 均化與該雙邊濾波器進行影像處理獲得三種處理後之影像後，輸入該卷積神經網路進行訓練，而所述依序結合該對比限制自適應直方圖均化與該雙邊濾波器係上述單顆牙齒X光影像先由該對比限制自適應直方圖均化進行影像處理以增強對比度，再由該雙邊濾波器再次進行影像處理以降低雜訊並保留增強後的影像邊緣；輸入一根尖X光影像至該電腦，經由框選該根尖X光影像並調整大小而獲得一待檢測單顆牙齒X光影像；透過該影像處理模組將上述待檢測單顆牙齒X光影像進行影像處理，再以該牙周病及齲齒輔助辨識之多標籤分類模型辨識該待檢測單顆牙齒X光影像歸類於該正常牙齒影像、該牙周病牙齒影像、該齲齒牙齒影像或該牙周病/齲齒複合牙齒影像之任一。
2. 如請求項1所述之利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統，其中，該卷積神經網路係殘差網路模型。
3. 如請求項1所述之利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統，其中，所述增量處理包括將上述單顆牙齒X光影像旋轉90度、旋轉180度、旋轉270度、水平翻轉或垂直翻轉之任一或組合。
4. 一種電腦程式，用於安裝在如請求項1至請求項3任一項所述之利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統。
5. 一種電腦可讀取媒體，係儲存有如請求項4所述之電腦程式。