TWI771745B - 神經網路模型的超參數設定方法及建立平台 - Google Patents

Abstract

一種神經網路模型的超參數設定方法及建立平台，此超參數設定方法藉由取得多次使用不同超參數組的神經網路模型所獲得的準確率的歷史結果來產生近似函數，並且根據近似函數來找到理論上可以獲得更高準確率的超參數組以作為神經網路模型下一次使用的超參數組。

Description

神經網路模型的超參數設定方法及建立平台

本發明是有關於一種建立神經網路模型的方法，特別是有關於一種神經網路模型的超參數設定方法及建立平台。

神經網路(Neural Network)是一種藉由大量的人工神經元聯結而進行計算的電腦應用程式。在大多數情況下，神經網路可以基於外界資訊而逐漸的改變內部結構，因此在某種程度上具備了學習的功能。

然而，雖然神經網路在建置完成後可以藉由累積外界資訊而逐步改善自身的結構，但是在建置神經網路的過程中還需要先以人工設定許多的參數，例如包括學習率(基於損失梯度調整神經網路中各權值的速度)、訓練的迭代次數等，這些在神經網路開始進行學習之前就需要設定的參數被稱為超參數(Hyper-Parameter)。超參數的優劣會直接影響到神經網路的學習性能，但目前用來優化超參數的方法雖然能夠在參數選擇上提供輔助，但具體上仍然需要人工方式來逐一檢視並進行設定，因此在建置神經網路時仍然需要耗費大量的人力在超參數的設定上。

有鑑於此，本發明的一個目的在於提供能夠在建置神經網路時降低人工使用量的超參數設定方法及神經網路的建立平台。

從一個角度來看，本發明的說明內容提出一種神經網路模型的超參數設定方法。此超參數設定方法執行多次的超參數選擇操作，並且在每一次的超參數選擇操作中首先依照所選擇的一個待測定超參數組來建立一個神經網路模型；接著提供一個輸入內容組至依照此待測定超參數組建立的神經網路模型而對應獲得一個輸出結果，其中，輸入內容組被設定有對應的一個標準結果；接下來再獲得表示輸出結果與標準結果的相近程度的準確率數值；之後再產生一近似函數，此近似函數與多個選擇參考點之間的關係由第一預設規則所定，其中，每一個選擇參考點對應至每一次超參數選擇操作時選擇的待測定超參數組以及因所選擇的待測定超參數組而獲得的準確率數值；最後則找出使近似函數的函數值有高於預設準確率數值的建議超參數組，並將所找出的建議超參數組設定為前述的待測定超參數組。

在一個實施例中，前述找出使近似函數在第二軸上有高於預設準確率數值的建議超參數組，係為找出使近似函數在第二軸上有最大值的建議超參數組。

在一個實施例中，前述找出使近似函數在第二軸上有高於預設準確率數值的建議超參數組，係以樹形結構貝葉斯優化(Tree-structured Parzen Estimator)方式來進行。

從另一個角度來看，在一個實施例中，本發明的說明內容提出一種神經網路模型的建立平台，其適於利用包括多個運算程式的運算池來建立神經網路模型。此建立平台的特徵在於包括初始設定單元、架構建立單元、架構訓練單元、超參數優化單元以及整合單元。其中，初始 設定單元儲存初始超參數組；架構建立單元接收一組建立參數組，並使用從運算池中所選擇的至少一部份的運算程式及所述的建立參數組來建立測試模型；架構訓練單元接收一組訓練參數組、一組輸入內容組及所述的測試模型，其以訓練參數組來設定測試模型，並以輸入內容組輸入至依照訓練參數組設定並進行運作的測試模型而對應獲得一個輸出結果，其中，輸入內容組被設定有對應的一個標準結果，且架構訓練單元計算並獲得表示輸出結果與標準結果的相近程度的準確率數值；超參數優化單元多次執行超參數選擇操作，其中每次超參數選擇操作係根據架構訓練單元產生的準確率數值而選擇一組待測定超參數組；整合單元接受所述的初始超參數組或待測定超參數組、將所接收的超參數組分成建立參數組及訓練參數組、將建立參數組提供至架構建立單元並將訓練參數組提供至架構訓練單元，其中，由任一次超參數選擇操作所選擇的待測定超參數組而建立的測試模型可為神經網路模型的候選對象。

在一個實施例中，架構建立單元除了所選擇的至少一部份運算程式及建立參數組外，也同時使用輸入影像的尺寸來建立測試模型。

在一個實施例中，架構建立單元更包括顯示裝置以及輸入裝置。顯示裝置顯示測試模型在處理測試影像時的權重分配狀況，其中，權重分配狀況表示測試模型在判斷測試影像的內容時對於測試影像中的各像素點給予的權重的分配狀況；輸入裝置接收輸入指令且架構建立單元根據輸入指令決定是否放棄使用此測試模型。

在一個實施例中，架構建立單元更包括運算程式選擇裝置，其根據目標硬體可支援的運算類型從運算池中選擇所述的至少一部份運算程式。

在一個實施例中，超參數優化單元產生一個近似函數，此近似函數與多個選擇參考點之間的關係由第一預設規則所定，其中，每一個選擇參考點對應至一次超參數選擇操作時選擇的待測定超參數組以及因所選擇的待測定超參數組而獲得的準確率數值，其中，建議超參數組為使所述的近似函數的函數值有高於預設準確率數值的超參數組。

根據以上的說明，本發明所提出的神經網路的超參數設定方法及建立平台可以根據既有的運作結果來建立相應的函數，並且可以根據所建立的函數來挑選適合的超參數，因此在建置神經網路時可以自動選定適合的超參數組，進而降低在建置神經網路的過程中所需耗用的人力。

10:神經網路模型的建立平台

20、110:架構建立單元

100:初始設定單元

120:架構訓練單元

130:超參數優化單元

140:整合單元

200:輸入裝置

210:處理裝置

220:顯示裝置

230:運算程式選擇裝置

240:運算池

S1~S6:選擇參考點

f(X):近似函數

S400~S414:本發明一實施例的施行步驟

X、Y:軸向

圖1為根據本發明一實施例的神經網路模型的建立平台的系統方塊圖。

圖2為根據本發明一實施例的架構建立單元的電路方塊圖。

圖3為根據本發明一實施例的近似函數的示意圖。

圖4為根據本發明一實施例的神經網路模型的超參數設定方法的流程圖。

請參照圖1，其為根據本發明一實施例的神經網路模型的建立平台的系統方塊圖。在本實施例中，建立平台10包括初始設定單元100、架構建立單元110、架構訓練單元120、超參數優化單元130以及整合單元140。初始設定單元100中儲存有一組初始超參數組，這一組初始超參 數組是用來提供給剛建立的神經網路模型，使得剛建立的神經網路模型可以依此組初始超參數組來進行設定及初次的運行。為了達成上述效果，儲存在初始設定單元100的初始超參數組會被提供到整合單元140，並由整合單元140視實際需求而將對應的部分提供到架構建立單元110及架構訓練單元120。

架構建立單元110根據從整合單元140所收到的一組超參數組中的一部分參數組(後稱建立參數組，例如包括學習率)而採用適當的方式來建立一個測試用的神經網路模型(後稱測試模型)。例如，架構建立單元110可以利用可微分網路架構搜索(Differentiable Architecture Search，DARTS)或者由部分通道連接以節省記憶體的可微分網路架構搜索(Partial Channel Connection for Memory-Efficient Differentiable Architecture Search，PC-DARTS)等方式來建立測試模型，而在建立測試模型的過程中所需使用到的超參數組會被包含在從整合單元140所收到的建立參數組中。

上述的架構建立單元110提供了在本發明中所需的建立神經網路模型的基本功能。進一步的，在另一個實施例中，架構建立單元110還可以提供客製化神經網路模型的功能。請參照圖2，其為根據本發明一實施例的架構建立單元的電路方塊圖。在本實施例中，架構建立單元20包括了輸入裝置200、處理裝置210、顯示裝置220、運算程式選擇裝置230以及運算池240，其中，輸入裝置200電性耦接至處理裝置210、處理裝置210進一步電性耦接至顯示裝置220以及運算程式選擇裝置230，而且運算程式選擇裝置230進一步電性耦接至運算池240。輸入裝置200用以接收外界的輸入資料，而運算池240則儲存有組建測試模型所需的所有運算程式。

在只要達成建立神經網路模型的前提下，架構建立單元20只需要從輸入裝置200接收前述的建立參數組，之後由處理裝置210根據所接收到的建立參數組以及從運算池240中選擇的運算程式即可完成操作。進一步的，使用者可以藉由輸入裝置200而將所想要輸入到測試模型中的輸入影像的尺寸提供至處理裝置210。在另一實施例中，超參數組中也可包括影像尺寸，並在後續過程將影像尺寸也作為進行優化的超參數之一。藉此，處理裝置210在建立測試模型的時候就可以根據使用者輸入影像的需求來選取在前端輸入資料時所需使用到的運算程式(例如：影像縮/放運算)。或者，使用者可以藉由輸入裝置200而將自身使用的硬體(後稱目標硬體)的資訊提供至處理裝置210，處理裝置210進一步將所收到的目標硬體的資訊轉傳至運算程式選擇裝置230。運算程式選擇裝置230在收到目標硬體的資訊之後，先根據目標硬體的資訊而獲知目標硬體可以支援的運算類型(例如從預先儲存的對照表中得知)，接著從運算池240中挑選符合目標硬體需求的那一部份的運算程式，最後再將挑選出來的這一部份的運算程式提供給處理裝置210以供處理裝置210在建立測試模型的時候選擇使用。又或者，在建立好一個測試模型之後，處理裝置210可以經過輸入裝置200接收一組測試影像並將測試影像提供給測試模型以運作測試模型來處理測試影像；接下來，處理裝置210將測試模型在判斷測試影像的內容的過程中對於測試影像裡的各像素點給予的權重的分配狀況(後稱權重分配狀況)顯示在顯示裝置220上；於是，使用者可以參照在顯示裝置220上出現的權重分配狀況而經由輸入裝置200輸入一個輸入指令以使處理裝置210(或可謂架構建立單元20)根據此輸入指令來決定是否要放棄這一個測試模型。

根據上述可知，藉由圖2所示的實施例而建立的測試模型可以依照使用者的需求而進行變化，因此可以滿足使用者對於客製化的神經網路模型的需求。

請再參照圖1。由架構建立單元110所建立的測試模型會接著被提供到架構訓練單元120。架構訓練單元120從整合單元140接收運作測試模型時所需要的超參數組中的另一部分參數組(後稱訓練參數組，例如包括訓練的迭代次數)、以此訓練參數組設定測試模型，並將一組輸入內容組輸入到依照訓練參數組設定並進行運作的測試模型中，藉以從測試模型獲得與輸入內容組對應的一個輸出結果。在本實施例中，輸入內容組被設定為具有對應的一個標準結果，而且輸入內容組與標準結果可以是預先儲存在架構訓練單元120裡，也可以是在有需要的時候才由外部輸入到架構訓練單元120中。在獲得輸出結果的時候，架構訓練單元120藉由計算其與對應到同一個輸入內容組的標準結果之間的差異而獲得表示這二者之間的相近程度的一個數值(後稱為準確率數值)。最終，由架構訓練單元120所獲得的準確率數值會被提供給超參數優化單元130。在另一實施例中，架構建立單元110除了建立參數組外，亦可接收對應標準結果的輸入內容組，並根據輸入內容組進行架構搜索以確定最終提供給架構訓練單元120的測試模型的架構。

超參數優化單元130在接收到由架構訓練單元120所提供的準確率數值後會執行一次超參數選擇操作。在執行超參數選擇的過程中，超參數優化單元130會以先前收到的多個準確率數值(例如是先前的迭代所產生的準確率數值)為基礎而產生出一個近似函數。詳細地說，請同時參照圖3，其為根據本發明一實施例的近似函數的示意圖。在圖3所示的實施例中，每一個選擇參考點S1、S2、S3、S4、S5或S6在座標平面 的橫軸(X軸或稱第一軸)上的座標各代表一個使用在測試模型的超參數組(後稱待測定超參數組)，而在座標平面的縱軸(Y軸或稱第二軸)上的座標則各代表因為使用了對應的待測定超參數組到測試模型而獲得的準確率數值。換言之，每一個選擇參考點分別對應至每一次選擇的待測定超參數組以及因所選擇的待測定超參數組而獲得的準確率數值。藉由在每次超參數選擇操作之前於歷史上獲得的選擇參考點，超參數優化單元130可以依照預設的規則(後稱第一預設規則)來產生前述的近似函數f(X)。前述的第一預設規則可以是符合任何能以一個函數來趨近於各基礎點的方法的計算規則，例如，可以是以使所有標準點到近似函數的距離和為最小值作為第一預設規則而產生出對應的近似函數f(X)，或者是以使所有標準點到近似函數的距離的標準差最小為第一預設規則而產生出對應的近似函數f(X)等等。建立近似函數f(X)的方法所在多有，實施時當無須受限於此處所舉之例。

在產生了近似函數f(X)之後，超參數優化單元130可以依照另一個預設的規則(後稱第二預設規則)以根據近似函數f(X)而獲取一組推薦使用的超參數組。舉例來說，參數優化單元130可以選取使得近似函數f(X)在Y軸上(即近似函數的函數值)有高於某個預設準確率數值的一組建議超參數組，並將此組建議超參數組輸出為所推薦使用的超參數組。而在要選取使近似函數f(X)在Y軸上有高於某個預設準確率數值的建議超參數組的時候，可以是以使近似函數f(X)在Y軸上有最大值的方式來選取建議超參數組，或者也可以是以樹形結構貝葉斯優化(Tree-structured Parzen Estimator)方式或其它適合的方式來選取建議超參數組。在其他實施例中，各選擇參考點代表的超參數組也可以具有多個變數X1、X2、...、Xn，而前述的近似函數可以是這些變數的函數f(X1,X2, ...,Xn)，本領域技術人員可以將前述的第一預設規則與第二預設規則推廣為針對多個變數的計算，在此不贅述。

值得一提的是，在首次產生近似函數f(X)之前，整合單元140是以初始設定單元100中儲存的初始超參數組為基礎來產生並提供建立參數組至架構建立單元110以及產生並提供訓練參數組至架構訓練單元120。所以，首次產生的選擇參考點在圖3的X軸上的座標應該是對應到初始超參數組，而超參數優化單元130則會從初始設定單元100中取得初始超參數組以作為建立近似函數f(X)之用。而在首次產生近似函數f(X)之後，整合單元140才會開始使用由超參數優化單元130所推薦的建議超參數組(與初始超參數組各為一個前述的待測定超參數組)為基礎來產生建立參數組及訓練參數組。

在前述的過程中，使用者可以採用由任何一次經過超參數選擇操作產生的待測定超參數組而建立的測試模型來作為最終的神經網路模型，或者也可以設定好在預設次數過後或者達到某個預設狀況之後所獲得的測試模型來作為最終的神經網路模型。

根據上述，只要簡單地提供一些相關資訊至建立平台10，使用者就可以從建立平台10獲得客製化的神經網路模型，大大的降低了在建置神經網路模型時所需要花費的人力。

從另一個角度來看，上述技術可以被另外整合為一個神經網路模型的超參數設定方法。請參照圖4，其為根據本發明一實施例的神經網路模型的超參數設定方法的流程圖。在本實施例中，首先，前述的建立平台10會取得一組待測定超參數組(可以是先前提到的初始超參數組或者建議超參數組)並且依照所取得的待測定超參數組來建立並運作神經網路模型(步驟S400)。接著，建立平台10會提供一組輸入內容組 到此神經網路模型以由神經網路模組進行處理並獲得對應的一個輸出結果(步驟S402)。在步驟S402中獲得的輸出結果會被拿來與輸入內容預設的標準結果來進行比較並且獲得一個準確率數值(步驟S404)。在這之後，建立平台10會根據此次獲得的準確率數值以及先前操作歷史中獲得的其它準確率數值而產生一個近似函數(步驟S406)，並且根據近似函數與先前設定的規則來產生一組建議超參數組(步驟S408)。此時，假若經過步驟S410的判斷發現已經達到了先前設定的目標，例如：準確率數值夠高或者產生建議超參數組的次數已經到達預設值等等，建立平台10就利用現有的建議超參數組來設定並建立神經網路模型，並將所建立好的神經網路模型輸出供使用者使用(步驟S412)。相對的，假若經過步驟S410的判斷發現尚未達到先前設定的目標，那麼建立平台10就會將現有的建議超參數組設定為待測定超參數組(步驟S414)，而流程就會回到步驟S400以進行下一次的超參數選擇及設定操作。

綜合上述，本發明上述說明內容中所提出的神經網路的超參數設定方法及建立平台可以根據既有的運作結果來建立相應的函數，並且可以根據所建立的函數來挑選適合的超參數，因此在建置神經網路時可以自動選定適合的超參數組，進而降低在建置神經網路的過程中所需耗用的人力。

S400~S414:本發明一實施例的施行步驟

Claims (8)

1. 一種神經網路模型的超參數設定方法，其特徵在於包括：執行多次超參數選擇操作，每一次該超參數選擇操作包括：依照一待測定超參數組建立一神經網路模型；提供一輸入內容組至依照該待測定超參數組建立的該神經網路模型而對應獲得一輸出結果，其中該輸入內容組被設定有對應的一標準結果；獲得表示該輸出結果與該標準結果的相近程度的一準確率數值；產生一近似函數，該近似函數與多個選擇參考點之間的關係由一第一預設規則所定，其中，每一該些選擇參考點對應至每一次該超參數選擇操作時選擇的該待測定超參數組以及因所選擇的該待測定超參數組而獲得的該準確率數值；以及找出使該近似函數的函數值高於一預設準確率數值的一建議超參數組，並將該建議超參數組設定為該待測定超參數組。
2. 如請求項1所述的超參數設定方法，其中找出使該近似函數的函數值高於該預設準確率數值的該建議超參數組包括找出使該近似函數為最大值的該建議超參數組。
3. 如請求項1所述的超參數設定方法，其中找出使該近似函數在該第二軸上有高於該預設準確率數值的該建議超參數組，係以樹形結構貝葉斯優化方式來進行。
4. 一種神經網路模型的建立平台，適於利用包括多個運算程式的一運算池來建立一神經網路模型，其特徵在於包括：一初始設定單元，儲存一初始超參數組；一架構建立單元，接收一建立參數組，該架構建立單元使用從該運算池中所選擇的至少一部份該些運算程式及該建立參數組建立一測試模型；一架構訓練單元，接收一訓練參數組、一輸入內容組及該測試模型，該架構訓練單元以該訓練參數組設定該測試模型，並以該輸入內容組輸入至依照該訓練參數組進行運作的該測試模型而對應獲得一輸出結果，其中，該輸入內容組被設定有對應的一標準結果，且該架構訓練單元計算並獲得表示該輸出結果與該標準結果的相近程度的一準確率數值；一超參數優化單元，根據該架構訓練單元產生的該準確率數值產生一近似函數，並根據該近似函數而選擇一待測定超參數組，其中，該近似函數與多個選擇參考點之間的關係由一第一預設規則所定；以及一整合單元，接受該初始超參數組或該待測定超參數組、將所接收的該初始超參數組或該待測定超參數組分成該建立參數組及該訓練參數組、將該建立參數組提供至該架構建立單元，以及將該訓練參數組提供至該架構訓練單元而使該架構訓練單元獲得與該整合單元接受的該初始超參數組或該待測定超參數組相對應的該準確率數值，其中，每一該些選擇參考點對應至每一次選擇的該待測定超參數組以及因所選擇的該待測定超參數組而由該架構訓練單元獲得的該準確率數值，且該超參數優化單元找出使該近似函數的函數值高於一預設準確率數值的一建議超參數組並將該建議超參數組選定為該待測定超參數組，其中，以任一次所選擇的該待測定超參數組而建立的該測試模型為該神經網路模型的候選對象。
5. 如請求項4所述的建立平台，其中該架構建立單元除了所選擇的該至少一部份該些運算程式及該建立參數組外，也同時使用輸入影像的尺寸來建立該測試模型。
6. 如請求項4所述的建立平台，其中該架構建立單元更包括：一顯示裝置，該顯示裝置顯示該測試模型在處理一測試影像時的一權重分配狀況，其中，該權重分配狀況表示該測試模型在判斷該測試影像的內容時對於該測試影像中的各像素點給予的權重的分配狀況；以及一輸入裝置，接收一輸入指令，其中，該架構建立單元根據該輸入指令決定是否放棄使用該測試模型。
7. 如請求項4所述的建立平台，其中該架構建立單元更包括：一運算程式選擇裝置，根據一目標硬體可支援的運算類型從該運算池中選擇該至少一部份該些運算程式。
8. 如請求項4所述的建立平台，其中該超參數優化單元選定的該建議超參數組使該近似函數的函數值為最大值。

Images