TWI726459B - 遷移學習輔助預測系統、方法及電腦程式產品 - Google Patents

遷移學習輔助預測系統、方法及電腦程式產品 Download PDF

Info

Publication number
TWI726459B
TWI726459B TW108138497A TW108138497A TWI726459B TW I726459 B TWI726459 B TW I726459B TW 108138497 A TW108138497 A TW 108138497A TW 108138497 A TW108138497 A TW 108138497A TW I726459 B TWI726459 B TW I726459B
Authority
TW
Taiwan
Prior art keywords
oropharyngeal
prediction model
training
cancer prognosis
image data
Prior art date
Application number
TW108138497A
Other languages
English (en)
Other versions
TW202117746A (zh
Inventor
高嘉鴻
陳尚文
沈偉誌
吳國禎
Original Assignee
中國醫藥大學附設醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國醫藥大學附設醫院 filed Critical 中國醫藥大學附設醫院
Priority to TW108138497A priority Critical patent/TWI726459B/zh
Application granted granted Critical
Publication of TWI726459B publication Critical patent/TWI726459B/zh
Publication of TW202117746A publication Critical patent/TW202117746A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種遷移學習輔助預測系統，用以分析病患的口咽/下咽腫瘤的影像資料。該遷移學習輔助預測系統包括：小樣本資料擴充模組及分析模組。小樣本資料擴充模組用以將一影像資料進行資料擴充處理，以產生影像資料的複數個切片影像；分析模組藉由使用一口咽/下咽癌預後預測模型來預測一治療反應事件是否會發生。口咽/下咽癌預後預測模型的基本架構與一子宮頸癌預後預測模型的基本架構可以完全相同。該子宮頸癌預後預測模型是透過深度學習方法建構並且經過訓練得到優良的預測效果，再以遷移學習技術轉換為口咽/下咽癌預後預測模型。

Description

遷移學習輔助預測系統、方法及電腦程式產品
本發明屬於輔助預測技術領域，特別是使用遷移學習將已訓練完成的子宮頸癌深度學習預後預測模型轉換成口咽/下咽癌預後預測模型的技術領域。
合併化學與放射治療(Chemoradiotherapy)是目前局部晚期(local advanced)口咽/下咽癌的常規治療方法之一，由於合併化學與放射治療對於病患的身體健康會造成一定程度的影響，且病患在進行治療後仍可能發生腫瘤轉移或局部復發等，因此若能事先預測治療預後，進而慎選治療策略，病患的醫療品質可有效地被提升。然而，目前並沒有專門針對口咽/下咽癌的預測技術或產品。
此外，現有技術將醫療影像分析與傳統的機器學習或統計學演算法組合而成的預測技術在精準度上仍有缺陷，其預測失誤的機率十分高。
另外，針對不同的疾病，目前必須開發不同的預測模型，由於預測模型的開發成本昂貴且耗時，因此目前的開發方法仍有改善的空間。
對此，本發明提供一種遷移學習輔助預測系統、方法及電腦程式產品，能有效解決上述問題。
本發明提出一種輔助預測系統，是以子宮頸癌預後預測模型為基礎，經由遷移學習而轉換成一口咽/下咽癌預後預測模型。該口咽/下咽癌預後預測模型可對口咽/下咽癌病患的腫瘤影像進行分析，進而預測該病患的在合併化學與放射治療後的預後。由於子宮頸癌預後預測模型或口咽/下咽癌預後預測模型是透過擴充放大量影像資料進行訓練，可提供良好的預測效果。
根據本發明的一觀點，茲提出一種遷移學習輔助預測系統，用以分析病患在進行治療前的口咽/下咽癌腫瘤的影像資料。該系統包含小樣本資料擴充模組及口咽/下咽癌預後預測模型。小樣本資料擴充模組可將影像資料進行資料擴充處理，進而產生複數個切片影像。口咽/下咽癌預後預測模型可透對切片影像進行特徵分析，以預測病患接受治療的預後。
根據本發明的另一觀點，是提供一種遷移學習輔助預測方法，用以分析病患在進行治療前的口咽/下咽腫瘤的影像資料，該方法是透過深度學習輔助預測系統來執行，且該方法包含步驟：藉由小樣本資料擴充模組將影像資料進行資料擴充處理，以產生複數個切片影像；以及藉由口咽/下咽癌預後預測模型，對切片影像進行特徵分析，以預測病患在接受治療後是否會發生口咽/下咽癌治療反應事件，其中口咽/下咽癌預後預測模型是由子宮頸癌預後預測模型透過遷移學習轉換而成。
根據本發明又另一觀點，是提供一種電腦程式產品，儲存於非暫態電腦可讀取媒體之中，用於使深度學習輔助預測系統運作，其中深度學習輔助預測系統是用以分析病患在進行治療前的口咽/下咽癌腫瘤的影像資料，其中電腦程式產品包含：藉由小樣本資料擴充模組，將影像資料進行資料擴充處理，以產生影像資料的複數個切片影像；以及藉由口咽/下咽癌預後預測模型對切片影像進行特徵分析，以預測病患在接受治療後的反應；其中，口咽/下咽癌預後預測模型是由子宮頸癌預後預測模型透過遷移學習轉換而成。
1:遷移學習輔助預測系統(預測系統)
11:資料輸入端
12:小樣本資料擴充模組
14:分析模組
15:口咽/下咽癌預後預測模型
16:子宮頸癌預後預測模型
17:訓練用模型
18:訓練模組
20:電腦程式產品
152-1:外部感知卷積層
152-2:第一內部感知卷積層
152-3:第二內部感知卷積層
154:全局平均池化層
156:損失函數層
22:正規化運算單元
24:激活函數
26:最大池化層
28:特徵路徑
29:特徵的項目
T1:第一門檻值
T2:第二門檻值
S11~S16、S21~S25、S51~S57S61~S62、S71~S72、S81~S72:步驟
圖1是本發明一實施例的遷移學習輔助預測系統的系統架構圖；圖2(A)是本發明一實施例的遷移學習輔助預測方法的基本步驟流程圖；圖2(B)是本發明一實施例的資料擴充處理的流程示意圖；圖3是本發明一實施例的口咽/下咽癌預後預測模型的建立過程示意圖；圖4(A)是本發明一實施例的訓練用模型於訓練前的架構示意圖；圖4(B)是本發明一實施例的子宮頸癌預後預測模型的架構示意圖；圖4(C)是本發明一實施例的口咽/下咽癌預後預測模型的架構示意圖；圖5是本發明一實施例的子宮頸癌預後預測模型的建立過程流程圖；圖6是本發明第一實施例的口咽/下咽癌預後預測模型的建立過程流程圖；圖7是本發明第二實施例的口咽/下咽癌預後預測模型的建立過程流程圖；圖8是本發明第三實施例的口咽/下咽癌預後預測模型的建立過程流程圖。
以下說明書將提供本發明的多個實施例。可理解的是，這些實施例並非用以限制。本發明的各實施例的特徵可加以修飾、置換、組合、分離及設計以應用於其他實施例。
圖1是本發明一實施例的遷移學習輔助預測系統1(以下簡稱預測系統1)的系統架構圖，其中預測系統1用以分析病患在進行治療前的口咽/下咽癌腫瘤的影像資料，進而預測病患在治療後是否會發生一口咽/下咽癌治療事件。如圖1所示，預測系統1可包含一小樣本資料擴充模組12、一分析模組14、一口咽/下咽癌預後預測模型15及一訓練模組18，其中口咽/下咽癌預後預測模型15是轉換自一子宮頸癌預後預測模型16。
此外，在一實施例中，預測系統1可更包含一資料輸入端11，用以取得來自外部的影像資料，亦即使用者可藉由資料輸入端11將影像資料輸入至預測系統1中。需注意的是，若針對口咽/下咽癌預後預測模型15，則「影像」可例如是一口咽/下咽癌的病患在進行一治療前的口咽/下咽腫瘤的一正電子發射電腦斷層掃描(positron emission tomography，PET)影像(以下簡稱PET影像)或電腦斷層掃描(computed tomography，CT)影像(以下簡稱CT影像)，其中治療可例如但不限定為合併化學與放射治療，而「影像資料」可例如是該PET影像或CT影像的感興趣體積(Volume Of Interest,VOI)範圍，但不限於此；相似地，若針對子宮頸癌預後預測模型16，則則「影像」可例如是一子宮頸癌的病患在進行一治療前的子宮頸腫瘤的PET影像或CT影像。為說明更清楚，以下段落皆將以PET影像來舉例。
在一實施例中，當預測系統1取得一名病患的口咽/下咽腫瘤的影像資料後，小樣本資料擴充模組12可將該影像資料進行一資料擴充處理，以產生口咽/下咽腫瘤的影像資料的複數個切片影像。分析模組14可藉由口咽/下咽癌預後預測模型15對該等細部的影像資料進行一特徵分析，以取得每個切片影像對應一口咽/下咽癌治療反應事件(定義為第一治療反應事件)的一發生機率，並且分析模組14可根據一第一門檻值T1及該發生機率來決定每個切片影像是否會發生第一治療反應事件。此外，分析模組14可根據同一腫瘤每個切片影像的第一治療反應事件發生機率或會發生第一治療反應事件切片影像的數量配合一第二門檻值T2來預測該患者在接受治療後是否會發生第一治療反應事件。換言之，只要將病患在接受化學與放射治療前的口咽/下咽腫瘤的影像資料輸入至預測系統1之中，預測系統1即可預測出該病患在接受化學與放射治療後的口咽/下咽癌治療反應事件，其中口咽/下咽癌治療反應事件可例如是口咽/下咽腫瘤的復發或轉移可能性等預後事件，且不限於此。
本發明的特色之一在於，口咽/下咽癌預後預測模型15是轉換自子宮頸癌預後預測模型16。此外，在一實施例中，口咽/下咽癌預後預測模型15亦可被轉換回為子宮頸癌預後預測模型16，因此預測系統1亦可通用於子宮頸癌的預後預測，但並非限定。
以下將說明各元件的細節。
預測系統1可以是一影像處理裝置，其可透過任何具有微處理器的裝置來實現，例如桌上型電腦、筆記型電腦、智慧型行動裝置、伺服器或雲端主機等類似裝置。在一實施例中，預測系統1可具備網路通訊功能，以將資料透過網路進行傳輸，其中網路通訊可以是有線網路或無線網路，因此預測系統1 亦可透過網路來取得影像資料。在一實施例中，預測系統1可由微處理器中執行一電腦程式產品20來實現，例如電腦程式產品20可具有複數個指令，該等指令可使處理器執行特殊運作，進而使處理器執行小樣本資料擴充模組12、分析模組14、口咽/下咽癌預後預測模型15、子宮頸癌預後預測模型16或訓練模組18的功能，但並非限定，例如在另一實施例中，該等模組亦可透過不同的電腦程式來實現。在一實施例中，電腦程式產品20可儲存於非暫態電腦可讀取媒體之中，例如記憶體之中，但不限於此。
在一實施例中，資料輸入端11是用以取得來自外部資料的一實體連接埠，例如當預測系統1是由電腦實現時，資料輸入端11可以是電腦上的通用序列匯流排(universal serial bus，USB)介面、各種傳輸線接頭等，但並非限定。此外，資料輸入端11亦可與無線通訊晶片整合，因此能以無線傳輸的方式接收資料。
小樣本資料擴充模組12可以是一功能模組，其可透過一程式碼來實現，舉例來說，當預測系統1中的微處理器執行該程式碼時，該程式碼可使該微處理器執行所述的小樣本資料擴充模組12的功能。
分析模組14可將影像資料輸入至口咽/下咽癌預後預測模型15或子宮頸癌預後預測模型16中，並使用口咽/下咽癌預後預測模型15或子宮頸癌預後預測模型16找出影像資料的每個切片影像中的多個影像特徵，接著使用口咽/下咽癌預後預測模型15或子宮頸癌預後預測模型16中的一特徵路徑來預測每個切片影像所對應的治療反應事件的發生機率。在一第一實施例中，分析模組14亦會將一切片影像的發生機率與第一門檻值T1進行比較，其中第一門檻值T1為一機率門檻，且當發生機率等於或高於第一門檻值T1時，分析模組14將該切片 影像認定為會發生治療反應事件。在一實施例中，分析模組14會統計該等切片影像中會發生治療反應事件的切片影像的數量，並將會發生治療反應事件的切片影像的數量與第二門檻值T2比較，其中第二門檻值T2為一數量門檻，且當該數量等於或高於第二門檻值T2時，分析模組14將該影像資料認定為會發生治療反應事件，亦即該影像資料的來源患者在治療後會發生治療反應事件。在一第二實施例中，分析模組14在取得每個切片影像發生治療反應事件的機率後，並不會將每個切片影像的機率與第一門檻值T1進行比較，而是直接統整每個切片影像的機率(例如計算出該等機率的平均值)，再將該等機率的平均值與一第三門檻值進行比較，當該等機率的平均值高於第三門檻值時，分析模組14將該影像資料認定為會發生治療反應事件，亦即該影像資料的來源患者在治療後會發生治療反應事件。
口咽/下咽癌預後預測模型15是利用深度卷積神經網路來分析口咽/下咽癌腫瘤的影像特徵的人工智慧模型；特別的是，口咽/下咽癌預後預測模型15是基於已訓練完成的子宮頸癌預後預測模型16進行調整而形成，而子宮頸癌預後預測模型16是基於一訓練用模型進行訓練而形成。在一實施例中，口咽/下咽癌預後預測模型15或子宮頸癌預後預測模型16是由複數演算法(例如程式碼)所組成。此外，為區分訓練前與訓練後的子宮頸癌預後預測模型16，本文中對於訓練前的子宮頸癌預後預測模型16將以「訓練用模型17」來稱之
訓練模組18可對一訓練用模型17進行訓練，使該訓練用模型17形成子宮頸癌預後預測模型16。訓練模組18亦可對子宮頸癌預後預測模型16進行調整，使子宮頸癌預後預測模型16轉換成口咽/下咽癌預後預測模型15。此外，訓練模組18亦可用於調整第一門檻值T1及第二門檻值T2。
當子宮頸癌預後預測模型16被調整而轉換成口咽/下咽癌預後預測模型15後，口咽/下咽癌預後預測模型15即可被實際使用。接著將說明口咽/下咽癌預後預測模型15被實際使用時的情況。
圖2(A)是本發明一實施例的深度學習輔助預測方法的基本步驟流程圖，其用於說明預測系統1實際使用口咽/下咽癌預後預測模型15分析病患的影像資料的步驟流程，並請同時參考圖1。如圖2(A)所示，首先步驟S11被執行，資料輸入端11取得一口咽/下咽腫癌病患在接受化學與放射治療之前的口咽/下咽腫瘤的一影像資料。之後，步驟S12被執行，小樣本資料擴充模組12對影像資料進行資料擴充處理，以從產生影像資料的複數個切片影像。之後，步驟S13被執行，分析模組14使用口咽/下咽癌預後預測模型15對每個切片影像資料進行特徵分析，以取得每個切片影像對應第一治療反應事件的發生機率；之後，步驟S14被執行，分析模組14根據第一門檻值T1及每個切片影像的發生機率來決定每f個切片影像是否會發生第一治療反應事件；之後步驟S15被執行，分析模組14統計會發生第一治療反應事件的切片影像的數量(定義為一第一數量)；之後步驟S16被執行，分析模組14根據第二門檻值T2與第一數量來預測患者在治療後是否會發生第一治療反應事件。在另一實施例中，當步驟S13被執行後，步驟S17被執行，分析模組14統整每個切片影像對應第一治療反應事件的機率，並根據統整後的數據(例如該等機率的平均值)與第三門檻值來預測患者在治療後是否會發生第一治療反應事件。接著將說明各步驟的細節。
關於步驟S11，系統的使用者(例如醫師)可透過資料輸入端11將影像資料輸入至預測系統1之中，此處影像資料可例如是PET影像中口咽/下咽腫瘤的感興趣體積範圍(VOI)，其中VOI範圍可由各種已知的方法來取得，在一實施 例中，VOI範圍須包含整個完整的腫瘤。在一實施例中，影像資料是病患在攝取示蹤劑(例如18F-FDG)後，病患的子宮頸腫瘤對示蹤劑呈現異常代謝反應的影像資料。在一實施例中，影像資料可具有複數個體積像素(voxel)，且每個體積像素的像素值是指葡萄糖的標準代謝值(Standardized Uptake Value，以下簡稱SUV)。
關於步驟S12，當病患的影像資料被輸入至預測系統1後，小樣本資料擴充模組12可根據電腦程式產品20中的指令而對影像資料進行資料擴充處理。步驟S12的目的在於，假如可用的影像資料有限，將造成系統訓練的成果不如預期，因此在訓練前必須先擴充資料量。
在此先說明步驟S12的資料擴充處理的細節，請同時參考圖1至圖2(B)，其中圖2(B)是本發明一實施例的資料擴充處理的流程示意圖，且該資料擴充處理是由小樣本資料擴充模組12來執行，亦即可透過預測系統1中的處理器的執行來實現整個流程。
如圖2(B)所示，首先步驟S21被執行，小樣本資料擴充模組12對輸入至預測系統1之中的影像資料(以下定義為原始影像資料)進行插值處理(interpolated)。此步驟的目的在於提升影像資料的解析度。之後，步驟S22被執行，由於前述插值處理改變影像解析度，小樣本資料擴充模組12以腫瘤在原始影像資料的空間範圍內中具有最大SUV值的體像素(SUVmax)為基礎，將插值前的SUVmax座標轉換為插值後的座標。之後，步驟S23被執行，小樣本資料擴充模組12從插值後的影像資料中取出以SUVmax作為中心點的一個感興趣體積區域(VOI)。之後，步驟S24被執行，小樣本資料擴充模組12將通過VOI中心(SUVmax)的XY平面、XZ平面及YZ平面設定為一基本切片影像組。之後，步驟S25被執行，小樣本資料擴充模組12將基本切片影像組的其中一平面以一特定方向進行逆時針旋轉， 以取得複數個擴充切片影像組。藉此步驟S12可被完成，小樣本資料擴充模組12可從單一影像資料中產生多個切片影像。
需注意的是，步驟S12不限於僅能在訓練完成的口咽/下咽癌預後預測模型15或子宮頸癌預後預測模型16的實際使用時被執行，當訓練用模型17訓練時所需的影像資料不足時，亦可執行步驟S12將影像資料進行擴張。
請再次參考圖2(A)，關於步驟S13至S16或步驟S17，當取得多個切片影像後，分析模組14可使用口咽/下咽癌預後預測模型15可對該等切片影像進行分析。由於每個切片影像皆包含了腫瘤局部特徵，口咽/下咽癌預後預測模型15可自動分析該等切片影像中的腫瘤局部特徵，並透過特徵路徑來決定該等切片影像的輸出結果為何，藉此取得每個切片影像對應口咽/下咽癌治療事件的發生機率，並根據所有切片影像的結果預測患者是否會發生口咽/下咽癌治療事件。藉此，預測系統1可預測出該患者在接受放射性化療後的預後，以輔助使用者(例如醫師)判斷是否需進行治療方式的調整。此外，步驟S13至S16或步驟S17的說明可見於前述段落中分析模組14的說明中，故不再詳述。
前述段落已說明口咽/下咽癌預後預測模型15的實際使用情形，而後續段落則將針對口咽/下咽癌預後預測模型15的建立過程進行說明。
圖3是本發明一實施例的口咽/下咽癌預後預測模型15的建立過程的示意圖，並請同時參考圖1。如圖3所示，訓練用模型17經由訓練後可形成子宮頸癌預後預測模型16，而子宮頸癌預後預測模型16經由調整後可形成口咽/下咽癌預後預測模型15。在一實施例中，訓練用模型17所進行的訓練可例如是深度學習、機器學習，但並非限定。在一實施例中，子宮頸癌預後預測模型16所進行的調整可例如是遷移學習，但並非限定。
在一實施例中，訓練模組18可使用深度學習技術使訓練用模型17進行訓練，而當訓練用模型17訓練完成後會產生一特徵路徑，該特徵路徑可視為人工智慧模型中的神經元傳導路徑，其中每個神經元可代表一個影像特徵偵測，且每個影像特徵偵測可能會具有不同的權重值，藉此訓練用模型17被訓練完成後，即可形成子宮頸癌預後預測模型16。在一實施例中，訓練模組18可使用遷移學習技術使該子宮頸癌預後預測模型16進行部分參數的調整，進而使子宮頸癌預後預測模型16轉換成口咽/下咽癌預後預測模型15。
在一實施例中，訓練用模型17需經歷至少一「訓練階段」來進行訓練並建立出一特徵路徑，且訓練用模型17需經歷至少一「測試階段」來測試該特徵路徑的準確度，當準確度達到需求時，才能做為後續實際使用的子宮頸癌預後預測模型16。在本發明中，訓練用模型17將經歷複數次訓練，並且每次訓練後皆會產生不同的特徵路徑，而準確度最高的特徵路徑會被設定為子宮頸癌預後預測模型16的實際特徵路徑。此外，為方便後續段落的說明，子宮頸癌預後預測模型16調整時所使用的口咽/下咽癌的影像資料定義為「第一訓練用資料」，而訓練用模型17訓練時所使用的子宮頸癌腫瘤的影像資料定義為「第二訓練用資料」。
接著將針對訓練用模型17、子宮頸癌預後預測模型16及口咽/下咽癌預後預測模型15的基本架構進行說明，請同時參考圖1至圖4(C)，其中圖4(A)是本發明一實施例的訓練用模型17於訓練前的架構示意圖，圖4(B)是本發明一實施例的子宮頸癌預後預測模型16的架構示意圖，圖4(C)是本發明一實施例的口咽/下咽癌預後預測模型15的架構示意圖。
關於訓練用模型17，如圖4(A)所示，訓練用模型17的架構可包含一外部感知卷積層(mlpconv layer)152-1、一第一內部感知卷積層152-2、一第二內部感知卷積層152-3、一全局平均池化層(global average pooling layer)154及一損失函數層156。
訓練用模型17所進行的訓練是利用複數個訓練用的子宮頸癌腫瘤的影像資料(第二訓練用資料)對訓練用模型17進行複數次訓練而形成。在一實施例中，每個第二訓練用資料可包含一名子宮頸癌患者於治療前的腫瘤影像以及該名患者於治療後的子宮頸癌治療反應事件(以下定義為第二治療反應事件)的發生情形。較佳地，第二訓練用資料可預先透過小樣本資料擴充模組12進行擴充而產生多個切片影像。
在一實施例中，外部感知卷積層152-1可用以從一個第二訓練用資料的該等切片影像中取得複數個影像特徵。第一內部感知卷積層152-2及第二內部感知卷積層152-3用以整合該等影像特徵。全局平均池化層154用以建立該等影像特徵與一第二治療反應事件之間的一關聯性(例如建立出特徵路徑)，並根據該關聯性產生一正向預測預測機率(例如事件會發生的機率)及一負向預測機率(例如事件不會發生的機率)，其中正向預測機率及負向預測機率可整合成第二治療反應事件的發生機率。損失函數層156可用以調整正向預測機率及負向預測機率的訓練次數權重，使兩者在訓練時被特徵路徑上被選用的機會相似，避免每次訓練的結果皆僅偏向正向預測預測機率或負向預測機率；舉例來說，若每次訓練的結果皆為「事件會發生的機率」而沒有「事件不會發生的機率」，則可能造成後續預測的結果失真，而損失函數層156的作用即是使兩者被選用到的機會相似。
在一實施例中，外部感知卷積層152-1、第一內部感知卷積層152-2及第二內部感知卷積層152-3可各自包含一正規化運算單元22以執行正規化運算。此處正規化運算可例如但不限定為批量正規化(Batch normalization)。正規化運算單元22可將每個多層感知卷積層152的卷積運算結果的資料進行正規化，藉此加快後續資料處理收斂的速度，使訓練過程更加穩定。此外，在一實施例中，每個多層感知卷積層152可各自包含一池化單元26以執行池化運算，此處池化運算可例如是最大池化(Maximum pooling)，池化層26的作用是減少多層感知卷積層152所得的特徵地圖的尺寸，並且將特徵集中保留至縮小的特徵地圖中，廣義而言，池化層26的作用可視為從特徵地圖中將重要的特徵萃取出來，如此可強調重要的特徵。在一些實施例中，最大池化層26亦可改為平均池化層架構。
在一實施例中，外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3及全局平均池化層154可各自包含一個激活函數24(Activation function)。激活函數24可用於調整外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3或全局平均池化層154的輸出，使輸出結果產生非線性的效果，進而提升訓練用模型的預測能力。激活函數24可以是飽和激活函數(Saturated Activation function)或非飽和激活函數(Non-saturate Activation function)，當激活函數24是飽和激活函數時，激活函數24可採用tanh、sigmoid等架構，而當激活函數24是非飽和激活函數時，激活函數24可採用線性整流函數(Rectified Linear Unit，ReLU)或其變化架構(例如ELU、Leaky ReLU、PReLU、RReLU或其它變化架構)。在一較佳實施例中，多層感知卷積層152的激活函數24是採用ReLU架構，而全局平均池化層154的激活函數24是採用ReLU以外的架構。
如圖4(A)所示，由於訓練用模型17尚未進行訓練，因此特徵路徑尚未建立，且可用於分析的影像特徵的項目也尚未決定。在一實施例中，訓練用模型17所進行的每次「訓練」包含「從切片影像的影像特徵中找出與第二治療反應事件相關的項目」、「調整外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3、全局平均池化層(global average pooling layer)154及一損失函數層156各自的內部參數」以及「建立出與第二治療反應事件相關的影像特徵之間的特徵路徑」。此外，在一實施例中，訓練模組18亦可根據每次訓練後所產生的預測模型對於的預估準確度來設定第一門檻值或第二門檻值，但並非限定。在一實施例中，預估準確度可透過AUC曲線來評估，但並非限定。
關於子宮頸癌預後預測模型16，如圖4(B)所示，子宮頸癌預後預測模型16的架構亦可包含外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3、全局平均池化層154及一損失函數層156。由於子宮頸癌預後預測模型16是訓練用模型17訓練完成所形成的預測模型，因此相較於訓練用模型17，子宮頸癌預後預測模型16已具備可用於分析的影像特徵的項目29，並且特徵路徑28已建立。
關於口咽/下咽癌預後預測模型15，如圖4(C)所示，口咽/下咽癌預後預測模型15的架構亦可包含外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3、全局平均池化層154及一損失函數層156。由於口咽/下咽癌預後預測模型15是透過調整子宮頸癌預後預測模型16而形成，因此其特徵路徑、外部感知卷積層152-1的內部參數、第一內部感知卷積層152-2的內部參數、第二內部感知卷積層152-3的內部參數、全局平均池化層154的內部參數及一損失函數層156的內部參數可能與子宮頸癌預後預測模型16不同。在一實 施例中，口咽/下咽癌預後預測模型15的特徵路徑28與子宮頸癌預後預測模型16的特徵路徑28可不相同，但並非限定。
接著將針對訓練用模型17經訓練而形成子宮頸癌預後預測模型16的過程進行說明。圖5是本發明一實施例的子宮頸癌預後預測模型16的建立過程的流程圖，其可透過訓練模組18來執行，其中步驟S51至S56對應「訓練階段」，步驟S57對應「測試階段」，並請同時參考圖1至圖4(C)。首先，步驟S51被執行，訓練用模型17的基本架構被設定完成，亦即外部感知卷積層152-1、內部感知卷積層152-2及152-3、全局平均池化層154及損失函數層156的數量被設定完成，其中外部感知卷積層152-1及內部感知卷積層152-2及152-3可各自包含特徵偵測器，且每個特徵偵測器是隨機產生。之後步驟S52被執行，訓練用模型17取得複數個第二訓練用資料的複數個切片影像；之後步驟S53被執行，外部感知卷積層152-1及內部感知卷積層152-2及152-3的該等特徵偵測器對該等切片影像進行卷積運算，以找出影像特徵；之後步驟S54被執行，全局平均池化層154將影像特徵強化；之後步驟S55被執行，全局平均池化層154建立出特徵路徑，其中預測路徑包含二個輸出結果，其中一個輸出結果為正向預測機率，另一個輸出結果為負向預測機率；之後步驟S56被執行，重新執行步驟S52至S55，直至完成預設的訓練次數(例如500次)；之後步驟S57被執行，預測系統1使用複數個測試用的影像資料的切片影像來測試每個特徵路徑的準確度，並將準確度最高的特徵路徑設定為子宮頸癌預後預測模型16的特徵路徑。藉此，子宮頸癌預後預測模型16可被建立，並可預測出每個切片影像對於第二治療反應事件的發生機率。
在一實施例中，當子宮頸癌預後預測模型16被建立後，訓練模組18可進一步根據步驟S57所測試出的準確度來調整第一門檻值T1或第二門檻值T2，但並非限定。
接著將針對子宮頸癌預後預測模型16經訓練而形成口咽/下咽癌預後預測模型15的過程進行說明。圖6是本發明第一實施例的口咽/下咽癌預後預測模型15的建立過程的流程圖，並請同時參考圖1至圖5。如圖6所示，首先步驟S61被執行，子宮頸癌預後預測模型16被建立完成。之後步驟S62被執行，訓練模組18直接沿用子宮頸癌深度學習預測模型16作為口咽/下咽癌預後預測模型15。
在本實施例中，口咽/下咽癌預後預測模型15是直接沿用子宮頸癌預後預測模型16，亦即不會對子宮頸癌預後預測模型16的特徵路徑、做為分析的影像特徵的項目及各元件(外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3、全局平均池化層154及損失函數層156)的內部參數進行調整，並且亦不對第一門檻值T1及第二門檻值T2(或第三門檻值)進行調整，換言之，本實施例直接使用子宮頸癌深度學習
Figure 108138497-A0305-02-0019-12
預測模型來預測口咽/下咽癌的預後。
圖7是本發明第二實施例的口咽/下咽癌預後預測模型15的建立過程的流程圖，並請同時參考圖1至圖5。如圖7所示，首先步驟S71被執行，子宮頸癌預後預測模型16被建立完成。之後步驟S72被執行，訓練模組18沿用子宮頸癌預後預測模型16的外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3、全局平均池化層154及該損失函數層156，並透過大量訓練用的口咽/下咽癌腫瘤的影像資料(例如包含經擴充後的切片影像)來重新調整第一門檻值T1及第二門檻值T2或重新調整第三門檻值。
在本實施例中，口咽/下咽癌預後預測模型15是沿用子宮頸癌預後預測模型16的特徵路徑、做為分析的影像特徵的項目及各元件(外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3、全局平均池化層154及損失函數層156)的內部參數進行調整，但會對第一門檻值T1及第二門檻值T2進行調整。此外，在一實施例中，若預測系統1是採用如圖2(A)中的步驟S17，則可改為對第三門檻值進行調整。
在一實施例中，第一門檻值T1的調整方式為將口咽/下咽癌腫瘤切片影像輸入口咽/下咽癌預後預測模型15以獲得切片影像預測治療反應事件的發生機率，並且透過獲得最佳預測準確率的目標調整第一門檻值T1。
在一實施例中，第二門檻值T2的調整方式為將口咽/下咽癌腫瘤切片影像輸入口咽/下咽癌預後預測模型15以獲得切片影像預測治療反應事件的發生機率以及使用調整後的第一門檻值T1判斷切片影像是否會發生治療反應事件，並且以透過獲得最佳預測準確率的目標調整第二門檻值T2。
圖8是本發明第三實施例的口咽/下咽癌預後預測模型15的建立過程的流程圖，並請同時參考圖1至圖5。如圖8所示，首先步驟S81被執行，子宮頸癌預後預測模型16被建立完成。之後步驟S82被執行，訓練模組18沿用子宮頸癌預後預測模型16的外部感知卷積層152-1、第一內部感知卷積層152-2、第二內部感知卷積層152-3，並透過大量訓練用的口咽/下咽癌腫瘤的影像資料(例如包含經擴充後的切片影像)來重新訓練全局平均池化層154及該損失函數層156，以及透過大量訓練用的口咽/下咽癌腫瘤的影像資料(例如包含經擴充後的切片影像)來重新調整第一門檻值T1及第二門檻值T2或重新調整第三門檻值。
在本實施例中，口咽/下咽癌預後預測模型15將沿用子宮頸癌預後預測模型16中用於分析的影像特徵的項目，但會重新訓練全局平均池化層154，進而建立出新的特徵路徑。此外，損失函數層156的內部參數、第一門檻值T1及第二門檻值T2亦將重新進行調整。
在一實施例中，全局平均池化層154中可被調整的參數為將影像特徵整合為切片影像預測治療反應事件發生機率的參數。
在一實施例中，損失函數層156中可被調整的參數為其代表的一運算式。在一實施例中，子宮頸癌預後預測模型16的損失函數層156可為：1-((2 * sensitivity * Positive Predictive Value)/(sensitivity+Positive Predictive Value))，其中sensitivity為所有醫療事件發生的切片影像中被準確預測為治療反應事件發生的比例，Positive Predictive Value為被預測為治療反應事件發生的切片影像中實際為治療反應事件發生切片影像的比例。在一實施例中，口咽/下咽癌預後預測模型15的損失函數層156被調整為：sqrt(power(1-specificity,n)+power(1-sensitivity,n))，其中specificity為所有被預測為沒有治療反應事件發生的切片影像中被準確預測為治療反應事件不發生的比例，sqrt為提取平方根的運算函數，power為次方運算函數，在此實施例中，n設定為2。
在一實施例中，訓練模組18可自動依照一些條件門檻而選擇要採用圖6、圖7或圖8之實施例。舉例來說，訓練模組18可預先採用圖6的實施例，並且使用一些測試用的影像資料(已具備是否會發生該第一治療反應事件的資訊)來進行準確度的驗證，當準確度達到一門檻時，即繼續使用圖6的實施例。當圖6的實施例的準確度未達到門檻時，則改為採用圖7的實施例，並再次進行準確 度的驗證，當準確度達到門檻時，則繼續使用圖7的實施例。而當圖7的實施例準確度未達到門檻時，則改為採用圖8的實施例；本發明不限於此。
藉此，本發明的口咽/下咽癌預後預測模型15可形成。
在一實驗範例中，透過多筆實際數據驗證本發明一實施例的口咽/下咽癌預後預測模型15，其中口咽/下咽癌預後預測模型15預測為正向(亦即會發生治療反應事件)且實際結果一致的數據共有36筆，而預測為正向但實驗結果相反的有16筆，因此口咽/下咽癌預後預測模型15對於正向預測的準確度可達69%，已能因應實際需求。此外，口咽/下咽癌預後預測模型15預測為負向(亦即不會發生治療反應事件)且實際結果一致的數據共有33筆，而預測為負向但實驗結果相反的有12筆，因此口咽/下咽癌預後預測模型15對於負向預測的準確度可達到73%，亦能因應實際需求。
藉此，本發明的子宮頸腫瘤影像輔助預測系統可透過小樣本資料擴充模組將少量的影像資料擴充，而無須在一開始就輸入龐大的影像資料。此外，本發明的口咽/下咽癌預後預測模型可直接沿用已訓練完成的子宮頸癌預後預測模型，或將癌預後預測模型進行部分參數調整而取得，無須重新耗費大量時間建立新的預測模型。
儘管本發明已透過上述實施例來說明，可理解的是，根據本發明的精神及本發明所主張的申請專利範圍，許多修飾及變化都是可能的。
S11~S16:步驟

Claims (11)

  1. 一種遷移學習輔助預測系統，用以分析一病患在進行一治療前的一口咽/下咽癌腫瘤的一影像資料，包含：一小樣本資料擴充模組，將該口咽/下咽癌腫瘤的該影像資料進行一資料擴充處理，以產生該口咽/下咽癌腫瘤的該影像資料的複數個切片影像；以及一分析模組，使用一口咽/下咽癌預後預測模型對每個切片影像進行一特徵分析，以取得每個切片影像對應一第一治療反應事件的一發生機率，並根據一第一門檻值及該發生機率決定每個切片影像是否會發生該第一治療反應事件，以及根據一第二門檻值及會發生該第一治療反應事件的該等切片影像的數量，預測該病患在治療後是否會發生該第一治療反應事件；其中，該口咽/下咽癌預後預測模型是由一子宮頸癌預後預測模型透過一遷移學習轉換而成。
  2. 如請求項1所述的遷移學習輔助預測系統，其中該子宮頸癌預後預測模型是由一訓練用模型經歷複數次訓練及測試而形成，其中該等訓練是利用複數個訓練用的子宮頸癌腫瘤的影像資料對該訓練用模型進行複數次訓練而形成，其中該訓練用模型包含：一外部感知卷積層(mlpconv layer)，用以從一個訓練用的子宮頸癌腫瘤的該影像資料中取得複數個影像特徵；至少一內部感知卷積層，用以整合該等影像特徵；一全局平均池化層(global average pooling layer)，用以建立該等影像特徵與一第二治療反應事件之間的一關聯性，並根據該關聯性產生一正向預測機率或一負向預測機率，其中該正向預測機率或該負向預測機率對應該第二治療反應事件的一發生機率；以及 一損失函數層，用以調整該正向預測機率及該向負預測機率的一訓練次數權重。
  3. 如請求項2所述的遷移學習輔助預測系統，其中該口咽/下咽癌預後預測模型是直接沿用該子宮頸癌的預後預測模型。
  4. 如請求項2所述的遷移學習輔助預測系統，其中該口咽/下咽癌預後預測模型是直接沿用該子宮頸癌預後預測模型的該外部感知卷積層、該至少一內部感知卷積層、該全局平均池化層及該損失函數層，並透過大量訓練用的口咽/下咽癌腫瘤的影像資料重新調整該第一門檻值及該第二門檻值。
  5. 如請求項2所述的遷移學習輔助預測系統，其中該口咽/下咽癌預後預測模型是直接沿用該子宮頸癌預後預測模型的該外部感知卷積層及該至少一內部感知卷積層，並透過大量訓練用的口咽/下咽癌腫瘤的影像資料重新訓練該全局平均池化層及該損失函數層，並重新調整該第一門檻值及該第二門檻值。
  6. 一種遷移學習輔助預測方法，用以分析一病患在進行一治療前的一口咽/下咽腫瘤的一影像資料，該方法是透過一深度學習輔助預測系統來執行，且該方法包含步驟：透過一小樣本資料擴充模組，該口咽/下咽癌腫瘤的該影像資料進行一資料擴充處理，以產生該口咽/下咽癌腫瘤的該影像資料的複數個切片影像；透過一分析模組，使用一口咽/下咽癌預後預測模型對每個切片影像進行一特徵分析，以取得每個切片影像對應一第一治療反應事件的一發生機率；透過該分析模組，根據一第一門檻值及該發生機率決定每個切片影像是否會發生該第一治療反應事件；以及透過該分析模組，根據一第二門檻值及會發生該第一治療反應事件的該等切片影像的數量，預測該病患在治療後是否會發生該第一治療反應事件； 其中，該口咽/下咽癌預後預測模型是由一子宮頸癌預後預測模型透過一遷移學習轉換而成。
  7. 如請求項6所述的遷移學習輔助預測方法，其中該子宮頸癌預後預測模型是由一訓練用模型經歷複數次訓練及測試而形成，其中該等訓練是利用複數個訓練用子宮頸癌腫瘤的影像資料對該訓練用模型進行複數次訓練而形成，其中該訓練用模型包含：一外部感知卷積層(mlpconv layer)，用以從一訓練用子宮頸癌腫瘤的該影像資料中取得複數個原始特徵；至少一內部感知卷積層，用以整合該等原始特徵；一全局平均池化層(global average pooling layer)，用以建立該等原始特徵與一第二治療反應事件之間的一關聯性，並根據該關聯性產生一正向預測機率及一負向預測機率，其中該正向預測機率及該負向預測機率被整合為該第二治療反應事件的一發生機率；以及一損失函數層，用以調整該正向預測機率及該向負預測機率的一訓練次數權重。
  8. 如請求項7所述的遷移學習輔助預測方法，其中該遷移學習包含步驟：直接沿用該子宮頸癌預後預測模型。
  9. 如請求項7所述的遷移學習輔助預測方法，其中該遷移學習包含步驟：直接沿用該子宮頸癌預後預測模型的該外部感知卷積層、該至少一內部感知卷積層、該全局平均池化層及該損失函數層；以及透過大量訓練用的口咽/下咽癌腫瘤的影像資料重新調整該第一門檻值及該第二門檻值。
  10. 如請求項7所述的遷移學習輔助預測方法，其中該遷移學習包含步驟：直接沿用該子宮頸癌預後預測模型的該外部感知卷積層及該至少一內部感知卷積層；以及透過大量訓練用的口咽/下咽癌腫瘤的影像資料重新訓練該全局平均池化層及該損失函數層，並重新調整該第一門檻值及該第二門檻值。
  11. 一種電腦程式產品，儲存於一非暫態電腦可讀取媒體之中，用以使遷移學習輔助預測系統運作，其中該遷移學習輔助預測系統是用以分析一病患在進行一治療前的一口咽/下咽癌腫瘤的一影像資料，其中該電腦程式產品包含：一指令，透過一小樣本資料擴充模組，該口咽/下咽癌腫瘤的該影像資料進行一資料擴充處理，以產生該口咽/下咽癌腫瘤的該影像資料的複數個切片影像；一指令，透過一分析模組，使用一口咽/下咽癌預後預測模型對每個切片影像進行一特徵分析，以取得每個切片影像對應一第一治療反應事件的一發生機率；一指令，透過該分析模組，根據一第一門檻值及該發生機率決定每個切片影像是否會發生該第一治療反應事件；以及一指令，透過該分析模組，根據一第二門檻值及會發生該第一治療反應事件的該等切片影像的數量，預測該病患在治療後是否會發生該第一治療反應事件其中，該口咽/下咽癌預後預測模型是由一子宮頸癌預後預測模型透過一遷移學習轉換而成。
TW108138497A 2019-10-25 2019-10-25 遷移學習輔助預測系統、方法及電腦程式產品 TWI726459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108138497A TWI726459B (zh) 2019-10-25 2019-10-25 遷移學習輔助預測系統、方法及電腦程式產品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108138497A TWI726459B (zh) 2019-10-25 2019-10-25 遷移學習輔助預測系統、方法及電腦程式產品

Publications (2)

Publication Number Publication Date
TWI726459B true TWI726459B (zh) 2021-05-01
TW202117746A TW202117746A (zh) 2021-05-01

Family

ID=77020620

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108138497A TWI726459B (zh) 2019-10-25 2019-10-25 遷移學習輔助預測系統、方法及電腦程式產品

Country Status (1)

Country Link
TW (1) TWI726459B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI839761B (zh) * 2022-06-23 2024-04-21 吳福興 基於模型整合之健康醫療事件預測系統及其方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018504674A (ja) * 2014-12-03 2018-02-15 ベンタナ メディカル システムズ， インコーポレイテッド 早期癌予知のための計算病理学システム及び方法
US20190066835A1 (en) * 2017-05-25 2019-02-28 Enlitic, Inc. Chest x-ray differential diagnosis system
CN109858562A (zh) * 2019-02-21 2019-06-07 腾讯科技（深圳）有限公司 一种医学影像的分类方法、装置和存储介质
TW201922174A (zh) * 2017-10-30 2019-06-16 公益財團法人癌症研究會 圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式
CN110021425A (zh) * 2019-01-31 2019-07-16 湖南品信生物工程有限公司 一种比较检测器及其构建方法与***细胞检测方法
CN110097974A (zh) * 2019-05-15 2019-08-06 天津医科大学肿瘤医院 一种基于深度学习算法的鼻咽癌远端转移预测***
CN110111895A (zh) * 2019-05-15 2019-08-09 天津医科大学肿瘤医院 一种鼻咽癌远端转移预测模型的建立方法
CN110223352A (zh) * 2019-06-14 2019-09-10 浙江明峰智能医疗科技有限公司 一种基于深度学习的医学图像扫描自动定位方法
US10438354B2 (en) * 2016-11-23 2019-10-08 General Electric Company Deep learning medical systems and methods for medical procedures

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018504674A (ja) * 2014-12-03 2018-02-15 ベンタナ メディカル システムズ， インコーポレイテッド 早期癌予知のための計算病理学システム及び方法
US10438354B2 (en) * 2016-11-23 2019-10-08 General Electric Company Deep learning medical systems and methods for medical procedures
US20190066835A1 (en) * 2017-05-25 2019-02-28 Enlitic, Inc. Chest x-ray differential diagnosis system
TW201922174A (zh) * 2017-10-30 2019-06-16 公益財團法人癌症研究會 圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式
CN110021425A (zh) * 2019-01-31 2019-07-16 湖南品信生物工程有限公司 一种比较检测器及其构建方法与***细胞检测方法
CN109858562A (zh) * 2019-02-21 2019-06-07 腾讯科技（深圳）有限公司 一种医学影像的分类方法、装置和存储介质
CN110097974A (zh) * 2019-05-15 2019-08-06 天津医科大学肿瘤医院 一种基于深度学习算法的鼻咽癌远端转移预测***
CN110111895A (zh) * 2019-05-15 2019-08-09 天津医科大学肿瘤医院 一种鼻咽癌远端转移预测模型的建立方法
CN110223352A (zh) * 2019-06-14 2019-09-10 浙江明峰智能医疗科技有限公司 一种基于深度学习的医学图像扫描自动定位方法

Also Published As

Publication number Publication date
TW202117746A (zh) 2021-05-01

Similar Documents

Publication Publication Date Title
TWI681406B (zh) 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
CN111126574B (zh) 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质
US20210233244A1 (en) System and method for image segmentation using a joint deep learning model
US11990224B2 (en) Synthetically generating medical images using deep convolutional generative adversarial networks
TWI723312B (zh) 電腦輔助直腸癌治療反應預測系統、方法及電腦程式產品
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
Sun et al. ISSMF: Integrated semantic and spatial information of multi-level features for automatic segmentation in prenatal ultrasound images
TWI726459B (zh) 遷移學習輔助預測系統、方法及電腦程式產品
Chen et al. HADCNet: Automatic segmentation of COVID-19 infection based on a hybrid attention dense connected network with dilated convolution
CN111354442A (zh) 肿瘤影像深度学习辅助子***患者预后预测***、方法
Bansal et al. Multi-objective genetic algorithm based deep learning model for automated COVID-19 detection using medical image data
Gao et al. Hybrid network with difference degree and attention mechanism combined with radiomics (H-DARnet) for MVI prediction in HCC
Tang et al. Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection
Velichko et al. A comprehensive review of deep learning approaches for magnetic resonance imaging liver tumor analysis
Nissar et al. MOB-CBAM: A dual-channel attention-based deep learning generalizable model for breast cancer molecular subtypes prediction using mammograms
Shanid et al. Lung cancer detection from CT images using salp-elephant optimization-based deep learning
WO2020258507A1 (zh) X光片的分类方法、装置、终端及存储介质
CN112712875B (zh) 迁移学习辅助预测***及方法
TW202346826A (zh) 影像處理方法
Dodia et al. A novel bi-level lung cancer classification system on CT scans
He et al. Fetal cardiac ultrasound standard section detection model based on multitask learning and mixed attention mechanism
Lang et al. LCCF-Net: Lightweight contextual and channel fusion network for medical image segmentation
CN111382756A (zh) 影像电脑辅助直肠癌治疗反应预测***、方法及电脑程序
Du et al. DataMap: Dataset transferability map for medical image classification
JP2021530780A (ja) 画像変換に基づく病巣判定方法、装置、コンピュータ機器及び記憶媒体