TWI678709B

TWI678709B - 藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法

Info

Publication number: TWI678709B
Application number: TW107140554A
Authority: TW
Inventors: 楊智惠; Chih Hui Yang; 洪暐傑; Wei Chieh Hung; 黃瑞初; Rey Chue Hwang; 林義隆; Yi Lung Lin; 蕭介夫; Jei Fu Shaw; 暐霖鄭; Wei Leng Chin; 郭泓霆; Hung Ting Kuo
Original assignee: 義守大學; I-Shou University
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2019-12-01
Also published as: TW202020885A

Abstract

一種藉由神經網路協助，從資料探勘至建立大數據之資料庫，爾後進行疾病預測的方法，包含下列步驟，首先，輸入疾病相關資料進行資料轉換，提取疾病資料中的特徵，並進行資料編碼，以得到待訓練資料，接著，將該待訓練資料以歐式距離計算出特徵間的相似度，並進行資料分群，以得到欲訓練模型，最後，輸入未進行資料轉換的疾病相關資料與該欲訓練模型利用歐式距離進行資料分群，以得到訓練模型。

Description

藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法

本發明是有關一種疾病預測方法，特別是指一種藉由神經網路協助，從資料探勘至建立大數據之資料庫，爾後進行疾病預測的方法。

近年來，人工智慧(AI)於醫療照護的應用已被廣泛的研究與討論，越來越多的研究顯示AI在未來人類的醫療健康領域應用中，將扮演著關鍵性的角色。

機器學習模型的準確度在很大程度上取決於用於訓練模型的數據量。機器學習又分為監督式學習(Supervised Learning)、非監督式學習(Unsupervised Learning)，及加強式學習(Reinforcement Learning)。無論採用哪種學習策略，目標皆是為網路中的每一個神經元找出適當的參數供日後使用。

訓練機器學習模型時，技術上有資料清整(Data Cleaning)、特徵萃取(Feature Extraction)與特徵選擇(Feature Selection)，及模型選取等重要的部分，為了訓練機器會蒐集資料樣本作為訓練資料(Training Data)。從訓練資料中擷取出資料的特徵(Features)幫助我們判讀出目標。

許多醫療的資料現階段皆以文字呈現，無法直接作為特徵輸入訓練模型，而該文字資料對於疾病及治療的預測卻十分重要，由人工將大量醫療文字資料逐筆標記將過於浪費人力資源與造成錯誤率增加，如何藉由神經網路輔助，在最節約醫療人力資源需求下，直接將大量文字資料轉換為可輸入訓練模型的特徵為目前待努力的方向。

特徵會影響所得結果，有一些特徵其實不是很重要，分群時沒有足夠的線索知道各個特徵的重要性，因此很容易對某些分布的特徵產生偏誤，造成無意義的分群結果，同時模型所需的特徵若過多，將導致實際運用上的困難。如何選取真實而有用的影響參數，進而提升神經網路預測的準確性，是一個非常值得努力的目標，並且如何定義與比較模型的預測準確性也是另一重要待研發之議題。

本發明之目的，是提供一種藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法，包含下列步驟。

首先，輸入疾病相關資料進行資料轉換，提取疾病資料中的特徵，並進行資料編碼，以得到待訓練資料，接著，將該待訓練資料以歐式距離計算出特徵間的相似度，並進行資料分群，以得到欲訓練模型，最後，輸入未進行資料轉換的疾病相關資料與該欲訓練模型利用歐式距離進行資料分群，以得到訓練模型。

本發明的另一技術手段，是在於上述使用詞向量轉換，將疾病資料中的每單字轉換一個向量，所有單字轉換的單字可以表示一個向量空間(Vector Space)，在該空間中可計算單字間的向量距離。

本發明的又一技術手段，是在於上述是給予特徵不同的比例權重，再進行資料分群。

本發明的再一技術手段，是在於上述之資料分群是將資料進行疾病分級。

本發明的另一技術手段，是在於上述之方法更對該訓練模型進行驗證，其包含3個子步驟，首先輸入訓練模型，接著取該訓練模型之總個案數的1/4進行模型訓練，再取該訓練模型之總個案數的1/4進行模型驗證，最後再取該訓練模型之總個案數的1/2進行最後的模型訓練，訓練出的模型再取該訓練模型之總個案數的另外1/2進行測試，以確認模型驗證的正確率。

本發明的又一技術手段，是在於當確認可進行曲線擬合(curve fitting)後，再進行下一步驟。

本發明的再一技術手段，是在於上述是隨機取該訓練模型之個案。

本發明的另一技術手段，是在於模型訓練時參數調整的方法，以提升模型的準確度與穩定度。

本發明的又一技術手段，是在於上述確認模型驗證的正確率是透過95%信賴區間進行驗證。

本發明的再一技術手段，是在於反覆重複進行輸入層特徵權重刪除，直到出現下列三個情況的其中之一即停止：加總所有輸入層特徵權重大於95%且須包含所有的特徵；刪除特徵後五次隨機抽樣產生的模型誤差率之95%信賴區間無法有五個同時重疊的範圍；五次模型彼此重複的誤差率之95%信賴區間未包含0，停止後便以最後留下的輸入層特徵作為最後模型訓練的輸入層。

本發明的另一技術手段，是在於建立模型之效益並作為不同比較模型間準確度的方法，滿足Model

關係式，其中，SD(standard deviation)為訓練模型之資料庫中所有真實數值的標準差，mean為資料庫中所有真實數值之平均值，MAPE為預測模型之平均絕對值誤差率。

本發明之有益功效在於，先使用監督式學習，再配合非監督式學習，最後運用加強式學習等神經網路應用進行疾病之預測，以提升訓練模型之精準度與效度。

11~14‧‧‧步驟

圖1是一流程示意圖，說明本發明藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法之較佳實施例。

有關本發明之相關申請專利特色與技術內容，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的呈現。

參閱圖1，為本發明藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法之較佳實施例，於此先使用監督式學習，再配合非監督式學習，最後運用加強式學習等神經網路應用進行疾病之預測方法，包含下列步驟。

以神經網路進行疾病預測醫療院所第一階段需將文字報告資料轉化為數字，例如X光、心電圖都是文字報告，以作為後續建立預測模型之使用。

首先，進行步驟11，藉由神經網路訓練疾病相關資料進行資料轉換，提取疾病資料中的特徵，並進行資料編碼，以得到待訓練資料。

其中，在該步驟11中，使用詞向量轉換，將疾病資料中的每單字轉換一個向量，所有轉換的單字可以表示一個向量空間(Vector Space)，在該空間中可計算單字間的向量距離。例如：統計單字在文件出現的次數，進而計算兩個單字共同出現的機率大小，以決定其相似性，單字間的向量距離越短越相似。

詞向量的技術將每個單字賦予一個向量，用來表示這個單字在各種維度所代表的相對特徵，以向量區分每個單字與其他單字的相似程度。

舉例來說有3千份X光報告，若內容不超過200字，補滿設定共200字，每個字就是一個向量表示，每一個向量以100維表示，每份報告相當就有2萬個特徵決定是否有骨折。接下來，對3千份X光報告開始做人工標記(labelling)，例如1代表有骨折，0代表沒有骨折，預測特徵若完全歸類為1，沒有的歸類為0。

進一步地，在該步驟11中，依特徵不同的比例權重，再進行資料分群。2萬個特徵可視為2萬個輸入層的神經元，舉例來說：向量設定100個重要訊號，每個訊號佔了多少權重，中間隱藏層做運算，輸出層為表示有骨折10或沒有骨折01，透過在輸入層加入比例權重，提升判別精準度。

基本上每個東西的空間向量有不同的重要性，部分資料存在雜訊時，分群就變得非常重要，舉例來說：報告裡寫到有些微的collapse，或文字排列組合有點不同，可整體看起來文字相似，所以給予權重，例如有些字只有寫fracture，但骨折有可能是髖骨骨折，或是其它部位骨折，因此針對要辨識出脊椎有骨折，雖然是有關可沒有那麼重要。

接著，進行步驟12，將該待訓練資料以歐式距離計算出特徵間的相似度，並進行資料分群，以得到欲訓練模型，歐式距離計算出兩個詞向量間的語意相似度，而資料分群將資料進行疾病分級。

在X光報告給予特定特徵不同的比例權重，fracture常見的字是collapse、compress，fracture，列舉例說明：系統把它當成裡面最重要，且在他附近的也跟著很重要，因為在過去判斷文字過程中有一大堆字，有些字被覺得不重要沒給定位點，先定義權重告知重要性就會被給定位點，像是no bony collapse確是非常重要的辨識關鍵，而不可以被忽略。下一個步驟是監督式學習，監督式學習指給每個字標籤(Label)。

訓練好特徵，會發現分成幾個區塊，並區分出有沒有骨折，特別說明的是設定維度數量取決於醫師的報告字數，若醫師打字長度不同設定字數相對也不相同，進行資料分群舉例來說骨質正常、骨質疏鬆、介於中間值的骨缺乏，則畫分成3個區塊。

然後，進行步驟13，輸入未進行資料轉換的疾病相關資料與該欲訓練模型利用歐式距離進行資料分群，以得到訓練模型。

系統辨識vector完之後，欲訓練模型完成，但只用3千份不確定穩定與否，於此使用非監督式學習，再輸入3萬份未進行資料轉換的疾病相關資料，在上一步驟已經把特徵的vector取出，3萬份重要的vector再利用歐式距離依據上述3千份進行資料分群，以自動coding這3萬份，而不需用人力去coding，用vector做同樣群聚特徵的算在一起，如此3萬份都會被coding完成，之後3萬份加原始人為的3千份，共3.3萬再產生一次新的模型(Model)，亦為後續進行訓練的模型，該訓練模型可大幅節約實際在臨床工作者建立Model所花的時間，也是本發明最大的重點。訓練模型要建立好一開始必需使Label正確，用非監督式學習改善給Label的效率，後續再用更多的模型去訓練。

之後，使用加強式學習，在臨床工作時必須要回饋資料告訴系統哪些是對或錯，使用者使用的過程不斷丟資料回系統讓Model不斷修正，下面是去改善方法跟快速建立Model的方法，以提升精準度。

最後，進行步驟14，對該訓練模型進行驗證，於此建立疾病預測模型並以骨質密度預測模型為例，其包括下列3個子步驟。

一、首先，輸入訓練模型，該訓練模型為含有雙能量X光吸收儀(DXA)檢測數值及上述透過前述本專利方法coding完成的資料庫。二、接著，隨機取該訓練模型之總個案數的1/4進行模型訓練(train)，並隨機再取該訓練模型之總個案數的1/4進行模型驗證(validation)，當確認可進行曲線擬合(curve fitting)後，再進行下一步驟。三、最後，隨機取該訓練模型之總個案數的1/2進行最後的模型訓練，訓練出的模型再取另外1/2之資料庫進行測試(test)，以確認模型驗證的效益。其中，在第三步驟中，確認模型驗證的正確率是透過95%信賴區間進行驗證，在開始訓練模型前需先驗證輸入層因子(因子亦指特徵)彼此間的相關性，可以檢視所有因子間線性與非線性的相關性，若相關性大於0.8，則兩個因子不適合共存於輸入層中，只能選取其一放入模型。

實際實施時，假設共有1千筆，首先取250筆(1/4)，開始作Model的training，由於不是每個資料庫都適合做神經網絡分析，可能資料庫的樣本過度極端化、選取的變項不穩定或是沒選到影響輸出層的重要因子；加以模型訓練時須包含多項參數設定，如學習率(learning rate)、隱藏層數目設定、神經網絡訓練方式等，所以一開始要確定上述條件下適合於神經網絡訓練，一開始先從總資料庫進行隨機抽樣，第一次先抽250筆，250筆會訓練出他的Model，再由剩下的750筆(3/4)資料隨機抽樣250筆(1/4)作為驗證模型的信度與效度，為避免抽樣偏差，重複抽樣五次訓練五個model，而每個Model validation驗證時都會有一個平均絕對值誤差率(Mean Absolute Percentage Error，MAPE)，舉例來說，第一個Model下，倘若某筆資料對於骨密度預測結果為0.9，實際DXA檢測之結果為1，誤差值的絕對值則為0.1，與實際DXA檢測結果1相除為10%，將所有資料的誤差率加總平均後則為MAPE。

參考之真實數值為DXA的骨密度檢查數值，跟Model運算出的數值作比較會有一個誤差值，誤差值與真實數值相除為誤差率，爾後再驗證階段可計算250個誤差值之平均誤差率與誤差率之標準差(Standard Deviation，SD)，誤差率中間為0，兩端分別是正誤差與負誤差，而正負兩個誤差率之標準差就是誤差率之95%信賴區間，5次隨次抽樣所建立的model將會有各自不同的平均誤差率與誤差率之標準差，若五個model之誤差率之95%信賴區間有五個同時重疊的範圍，將可認定model在相關條件下(如段落0036所述)是穩定的，此方式可以做為驗證模型信度的方式；而同時五次模型彼此重複的誤差率之95%信賴區間需包含0，作為模型效度的驗證。

模型的相關參數於設定過程中可以透過MAPE的變化或(誤差值的平均x誤差值的標準差)來做調整，如調整learning rate，比較不同learning rate，選擇MAPE最小或(誤差值的平均x誤差值的標準差)最小者為最終選擇的參數，而調整方法可以以下列數據做調整，先以10ⁿ，N=+2,+1,0,-1,-2作為基準進行測試，選擇最佳之MAPE或(誤差值的平均x誤差值的標準差)，若最佳的n數值為最大或最小者(如+2或-2)，將需再往上或往下增加五層進行測試(如+2,+3,+4,+5,+6)，再以Ax10ⁿ，A=4,3,2,1,0,0.9,0.8,0.7,0.6,0.5分別測試比較最佳之參數數值。

之後，開始嘗試減少Model輸入層的因子，在透過神經網絡訓練產生預測模型時，可以同時依照因子對於輸出層結果的影像力給與權重，所有輸入層因子權重相加為100%，表示每個輸入層因子在於模型內對於輸出層的重要性比例，在五次隨機抽樣訓練的模型產生後，將五次的每個因子權重進行平均，下一步驟開始由最高權重的因子往最低權重的因子進行加總，由於醫學上常用之數值為95%信賴區間及α error 5%的概念，故在加總因子權重時，加到總權重大於95%即停止，剩餘的因子全部刪除，刪除後重複第二步驟與第三步驟，確認變動輸入層因子後之五次模型的誤差率之95%信賴區間仍有五個同時重疊的範圍，以確認刪除因子後模型的穩定度與信度，若模型確認適合，將重複此步驟，計算新的權重再次將輸入層因子嘗試刪除減少。

依照輸入層因子權重刪除因子項目的步驟反覆重複，直到下列三個情況的其中之一即停止：一、加總所有輸入層因子權重大於95%且須包含所有的因子才能達到此要求；二、刪除因子後五次隨機抽樣產生的模型誤差率之95%信賴區間無法有五個同時重疊的範圍；三、五次模型彼此重複的誤差率之95%信賴區間未包含0；停止後便以最後留下的輸入層因子作為最終預測模型的輸入層。

最後以這個輸入層因子的項目及所有相關參數設定進行最終模型建立，在此條件下隨機取所有總資料庫之500筆(1/2)進行模型訓練，訓練後的模型再以剩下之500筆(1/2)進行測試(test)。

最終所得出的模型在測試時的誤差率之95%信賴區間需包含0，以表示模型具有足夠效度。若包含0則代表預測模型與實際測量值間直接存在絕對誤差，醫學95%信賴區間若未包含0則代表是具有顯著差異，表示預測模型與實際測量是兩件不相關的獨立事件，此種情況的預測模型則不適合於臨床運用。

模型的效度可以MAPE數值做為表示，如 MAPE為10%，表示模型運算出的結果與實際測量值大部分皆會落在±10%之間，而建立模型之效益並作為不同模型間的預測效果比較可透過model efficacy公式進行比較，

，其中，SD(standard deviation)為資料庫中所有真實數值(DXA檢測數據)之標準差，mean為資料庫中所有真實數值之平均值，MAPE為預測模型之平均絕對值誤差率，其數值越大越好，亦代表Model的預測效果越良好，此公式表示透過預測模型將可較直接依照資料庫平均值盲猜的效果優秀多少，如某一群體DXA檢測數值之平均值為1，標準差為0.2，我們可得知若個案未做檢查，我們直接猜他的骨密度為1，大部分的個案骨密度也差不多在1±0.2之間，因此以模型之MAPE與此盲猜的數值做比較，可以得知預測模型的效果較盲猜良好的程度，而不同的模型也可透過此公式比較優劣度。

綜上所述，本發明藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法，透過輸入疾病相關資料進行資料轉換，提取疾病資料中的特徵，並進行資料編碼，以得到待訓練資料，再將該待訓練資料以歐式距離計算出特徵間的相似度，並進行資料分群，以得到欲訓練模型，最後，輸入未進行資料轉換的疾病相關資料與該欲訓練模型利用歐式距離進行資料分群，以得到訓練模型，先使用監督式學習，再配合非監督式學習，最後運用加強式學習等神經網路應用進行疾病之預測，以提升訓練模型之精準度與效度，而模型訓練時參數調整的方法，則可提升模型的準確度與穩定度，故確實可以達成本發明之目的。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

Claims

一種藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法，包含下列步驟：(A)輸入疾病相關資料進行資料轉換，提取疾病資料中的特徵，並進行資料編碼，以得到待訓練資料，其中，使用詞向量轉換，將疾病資料中的每單字轉換一個向量，所有單字轉換的單字可以表示一個向量空間(Vector Space)，在該空間中可計算單字間的向量距離，且給予特徵不同的比例權重，再進行資料分群；(B)將該待訓練資料以歐式距離計算出特徵間的相似度，並進行資料分群，以得到欲訓練模型，且資料分群是將資料進行疾病分級；(C)輸入未進行資料轉換的疾病相關資料與該欲訓練模型利用歐式距離進行資料分群，以得到訓練模型；及(D)對該訓練模型進行驗證，其包括下列子步驟：(d1)輸入訓練模型；(d2)取該訓練模型之總個案數的1/4進行模型訓練，再取該訓練模型之總個案數的1/4進行模型驗證；及(d3)取該訓練模型之總個案數的1/2進行最後的模型訓練，訓練出的模型再取該訓練模型之總個案數的另外1/2進行測試，以確認模型驗證的正確率。
依據申請專利範圍第1項所述藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法，在該步驟(d2)中，當確認可進行曲線擬合(curve fitting)後，再進行下一步驟。
依據申請專利範圍第2項所述藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法，其中，在該步驟(d2)及步驟(d3)中，是隨機取該訓練模型之個案。
依據申請專利範圍第3項所述藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法，其中，在該步驟(d3)中，確認模型驗證的正確率是透過95%信賴區間進行驗證。
依據申請專利範圍第4項所述藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法，其中，在該步驟(d2)中，反覆重複進行輸入層特徵權重刪除，直到出現下列三個情況的其中之一即停止：加總所有輸入層特徵權重大於95%且須包含所有的特徵；刪除特徵後五次隨機抽樣產生的模型誤差率之95%信賴區間無法有五個同時重疊的範圍；五次模型彼此重複的誤差率之95%信賴區間未包含0，停止後便以最後留下的輸入層特徵作為最後模型訓練的輸入層。
依據申請專利範圍第5項所述藉由神經網路協助資料探勘與大數據之資料辨識進行疾病預測的方法，其中，在該步驟(d3)中，建立模型之效益並作為不同比較模型間準確度的方法滿足關係式，其中，SD(standard deviation)為訓練模型之資料庫中所有真實數值的標準差，mean為資料庫中所有真實數值之平均值，MAPE為預測模型之平均絕對值誤差率。