TWI784434B

TWI784434B - 使用對抗生成網路與逆增強式學習法的自動作曲系統及方法

Info

Publication number: TWI784434B
Application number: TW110108455A
Authority: TW
Inventors: 蘇豐文; 威爾澤
Original assignee: 國立清華大學
Priority date: 2021-03-10
Filing date: 2021-03-10
Publication date: 2022-11-21
Also published as: TW202236173A

Abstract

本發明主要揭示一種使用對抗生成網路與逆增強式學習法的自動作曲系統，其包括：一樂曲資料庫、一樂曲特徵萃取單元、一第一運算模組、一第二運算模組以及一第三運算模組。其中，所述樂曲特徵萃取單元對儲存於該樂曲資料庫之中的各個參考樂曲資料執行一特徵萃取處理，從而萃取出複數個樂曲特徵。特別地，所述第一運算模組執行具有雙軸式結構(Bi-axial architecture)的長短期記憶神經網路演算法。並且，該第二運算模組利用一逆增強式學習(AIRL)演算法對複數個樂曲特徵執行一第二運算，從而獲取至少一音符獎勵函數。因此，本發明所產生的樂曲具有悅耳且接近人類曲目的優點。

Description

使用對抗生成網路與逆增強式學習法的自動作曲系統及方法

本發明係關於自動作曲系統的技術領域，尤指一種使用對抗生成網路與對抗逆增強式學習法的自動作曲系統及方法。

音樂是人類生活中極為重要的一環，不僅作為日常生活中放鬆心情的方法，且根據古羅馬文獻記載音樂是對人體具有療效且能改善人類的心情。根據專題報導指出，音樂對於人們具有以下七大益處:增加學習效率、紓解壓力、具有止痛效果、增強記憶力、改善失眠、提升運動效率以及促使心情更快樂。

然而，傳統的作曲方法之中，作曲者必須學習多年的樂器技巧與樂理知識同時耗費多日才能完成一首曲子；因此，為了讓人們不受樂理知識與樂器背景的限制且有效率地自行作出獨特的曲子，現今已有許多種自動作曲系統被提出。其中一種自動作曲系統係利用監督式深度學習(Deep Supervised Learning)演算法為模型。但上述監督式深度學習演算法過度重複使用相同的旋律，而導致其產出的音樂具有不悅耳的缺點。

由上述說明可知，實有必要對現有的自動作曲系統進行改良與重新設計，使其可以產出更加悅耳與受人類喜愛的樂曲。有鑑於此，本案之發明人係極力加以研究創作，而終於研發完成本發明之一種使用對抗生成網路與逆增強式學習法的自動作曲系統及方法。

本發明之主要目的在於提供一種使用對抗生成網路與逆增強式學習法的自動作曲系統及方法，其中，所述自動作曲系統係應用於一電子裝置之中，使該電子裝置依據複數個參考樂曲資料而產生一樂曲，且包括：一樂曲資料庫、一樂曲特徵萃取單元、一第一運算模組、一第二運算模組以及一第三運算模組。該樂曲資料庫用以儲存複數個參考樂曲資料。特別地，所述樂曲特徵萃取單元對各個所述參考樂曲資料執行一特徵萃取處理，從而萃取出複數個樂曲特徵。接著，該第一運算模組用以利用一深度學習演算法對所述樂曲特徵執行一第一運算，從而獲取至少一樂曲概率特徵以及至少一預訓練權重參數。此外，該第二運算模組利用一增強式學習演算法對該複數個樂曲特徵執行一第二運算以獲取至少一音符獎勵函數。再者，該第三運算模組利用一深度強化學習演算法藉由所述預訓練權重參數進行一初始化設定，且對儲存於一樂理資料庫之中的複數組樂理資料、該至少一音符獎勵函數以及該至少一預訓練權重參數執行一第三運算，從而獲取複數個複音參考樂曲資料；所述複音參考樂曲資料即為悅耳且受人們喜愛的音樂。

為了達成上述本發明之主要目的，本案發明人係提供所述使用對抗生成網路與逆增強式學習法的自動作曲系統之一實施例，其應用於一電子裝置之中，使該電子裝置依據複數個參考樂曲資料而產生一樂曲；所述自動作曲系統包括：一樂曲資料庫，用以儲存該複數個參考樂曲資料；一樂曲特徵萃取單元，用以對各個所述參考樂曲資料執行一特徵萃取處理，從而萃取出複數個樂曲特徵；一第一運算模組，用以利用一深度增強式學習演算法對該複數個樂曲特徵執行一第一運算，從而獲取至少一樂曲概率特徵以及至少一預訓練權重參數；一第二運算模組，用以利用一增強式學習演算法對該複數個樂曲特徵執行一第二運算，從而獲取至少一音符獎勵函數；一第三運算模組，用以利用一深度增強式學習演算法藉由該至少一預訓練權重參數進行一初始化設定，且對該儲存於一樂理資料庫之中的複數組樂理資料、該至少一音符獎勵函數以及該至少一預訓練權重參數執行一第三運算，從而獲取複數個複音樂曲資料。

並且，為了達成上述本發明之主要目的，本案發明人係同時提供所述使用對抗生成網路與逆增強式學習法的自動作曲方法之一實施例，其係應用在一電子裝置以藉由該電子裝置之一處理器實現，且包括以下步驟： (1)提供一樂曲特徵萃取單元用以對儲存於該電子裝置之一樂曲資料庫之中的複數個樂曲資料分別進行一特徵萃取處理，從而萃取出複數個樂曲特徵； (2)提供一第一運算模組以利用一深度學習演算法對該複數個樂曲特徵執行一第一運算，從而獲取至少一樂曲概率特徵以及至少一預訓練權重參數； (3)提供一第二運算模組以利用一增強式學習演算法對該複數個樂曲特徵執行一第二運算，從而獲取至少一音符獎勵函數； (4)提供一第三運算模組以利用一深度強化學習演算法對該至少一預訓練權重參數進行一初始化設定，且對儲存於該樂理資料庫之中的複數組樂理資料、該至少一音符獎勵函數以及該至少一預訓練權重參數執行一第三運算，從而獲取複數個複音樂曲資料。

為了能夠更清楚地描述本發明所提出之一種使用對抗生成網路與逆增強式學習法的自動作曲系統及方法，以下將配合圖式，詳盡說明本發明之較佳實施例。

圖1顯示應用有本發明之一種使用對抗生成網路與逆增強式學習法的自動作曲系統的一電子裝置的立體圖。並且，圖2顯示本發明之使用對抗生成網路與逆增強式學習法的自動作曲系統的功能方塊圖。如圖1所示，本發明之使用對抗生成網路與逆增強式學習法的自動作曲系統1應用於一電子裝置2之中。在一實施例中，本發明之自動作曲系統1安裝在該電子裝置2的一作業系統(OS)之中，使該電子裝置2的一處理器透過執行本發明之自動作曲系統1而能夠依據複數個參考樂曲資料而產生一樂曲。如圖2所示，本發明之自動作曲系統1主要包括：一樂曲資料庫11、一樂曲特徵萃取單元12、一第一運算模組13、一第二運算模組14、一第三運算模組15以及一樂理資料庫16。其中，所述樂曲資料庫用以儲存複數個樂曲資料，且所述樂理資料庫16用以儲存複數個樂理資料。所述樂曲特徵萃取單元12對各個所述參考樂曲資料執行一特徵萃取處理，從而萃取出複數個樂曲特徵。更具體地說明，所述樂曲特徵係以MIDI（Musical Instrument Digital Interface）值紀錄樂曲的音高。圖3顯示紀錄樂曲音高之示意圖。如圖3所示，位於右邊之矩陣，水平向的列(row)代表每個節拍演奏的和絃，而垂直向的行(column)為以MIDI值紀錄之音高；其中，圖3為8個節拍的和旋；從圖3之矩陣可以得知其第一個音符演奏節拍為二又二分之一拍。也就是說，透過此紀錄方式可以記錄下樂曲之複音(harmony)旋律。接著，該樂曲特徵萃取單元12之示意矩陣如下(1)所示:

…………….(1)

於上式(1)中，N為每一個音高之MIDI值，T為第幾節拍，p記錄有無演奏，且a為相對應的演奏法(articulation)。補充說明的是，該第一運算模組13利用一深度增強式學習演算法對該複數個樂曲特徵執行一第一運算，從而獲取至少一樂曲概率特徵以及至少一預訓練權重(weights)參數。圖4顯示第一運算模組之功能方塊圖。如圖4所示，該第一運算模組13包括：一第一運算單元131、一第二運算單元132、一第三運算單元133以及一第四運算單元134。更具體地說明，該第一運算單元131用以將各個所述樂曲特徵分別轉換成一音符向量特徵；其中，所述音符向量特徵之長度為79，且係由當前音調向量特徵、當前音高向量特徵、前音符之音高向量特徵、後音符之音高向量特徵、以及節拍向量特徵所組成。接著，該第二運算單元132用以利用一深度學習演算法對所述音符向量特徵執行沿著時間軸的一第四運算，從而獲取至少一時間參數。並且，該第三運算單元133用以利用一深度學習演算法對所述音符向量特徵執行沿著音符軸的一第五運算，從而獲取至少一音符參數。值得說明的是，所數深度學習演算法為一長短期記憶(Long short-term memory, LSTM)神經網路演算法。其中，所述第一運算模組13透過該第二運算單元132與該第三運算單元133分別沿著時間軸與音符軸做所述長短期記憶神經網路演算法，換句話說，本發明之第一運算模組13係採用雙軸結構(Bi-axial architecture)之長短期記憶神經網路演算法。

承上述，該第四運算單元134利用一深度學習演算法(非遞歸線性演算法)對所述時間參數、所述音符參數執行一第五運算，從而獲取至少一訓練權重參數以及由至少一音符概率特徵以及至少一演奏法概率特徵所組成的所述樂曲概率特徵。補充說明的是，為了避免所述長短期記憶神經網路演算法過度擬合，本發明之第一運算模組13利用一捨棄(dropout)演算法於該第四運算與該第五運算之中。

承上述，該第二運算模組14用以利用一增強式學習演算法對該複數個樂曲特徵執行一第二運算，從而獲取至少一音符獎勵函數(reward function)。更具體地說明，所述增強式學習演算法係為一對抗性逆增強式學習(Adversarial Inverse Reinforcement Learning, AIRL)演算法。所述對抗性逆增強式學習演算法係類似於習知生成對抗式成本指導學習法(Generative Adversarial Guided Cost Learning, GAN-GCL)的架構；換句話說，透過該第二運算模組14所利用的所述逆增強式學習演算法，以令其獲取最大化之獎勵(Reward)，進而獲取所述音符獎勵函數。其中，其分別同時訓練一生成器(generator)以及一判別器(discriminator)。其中，利用下式(2)、(3)和(4)可推得前述判別器。 r _t(s,a)=c* r mt(s,a)+(1-c)* r airl(s,a) ……………..(2) L(θ)=E[r(s,a)+ γ(maxa’Q(s’,a’;θ ^- )-Q(s,a;θ)) ²] …………….(3)

………….…..(4)

於上式(2)與上式(3)中，其中c為常數，s為當前狀態，a為當前動作，s’為下一狀態，a’為下一動作， r mt為樂理獎勵函數， r airl為對抗式逆強化學習獎勵函數，θ ^- 為目標Q網絡(Target-Q network)的權重，γ為未來獎勵的折扣因子(discount factor)。於上式(4)中，其中θ為Q網絡(Q-network)的權重(weights)，q(τ)為生成器密度(generator density)。並且，

為實際分布p(τ)被以波爾曼分佈(Boltzmann distribution)所表示之，且其獎勵函數為能量函數。繼續地說明本發明之技術，該第三運算模組15用以利用一深度強化學習演算法藉由該至少一預訓練權重參數進行一初始化設定，且對該儲存於一樂理資料庫16之中的複數組樂理資料、該至少一音符獎勵函數以及該至少一預訓練權重參數執行一第三運算，從而獲取複數個複音樂曲資料。其中，本實施例之第三運算模組15所使用之深度強化學習演算法為一深度Q網絡學習(Deep Q Learning network, DQN)演算法結合所述雙軸式長短期記憶神經網路演算法。更詳細地說明，本發明人設定不同數值的獎勵折扣因子c(Reward discount factor)之模擬與實驗，得到以下表(1)：

Value of c	0.25	0.5	0.75
樂理獎勵	32.55	34.27	34.15
AIRL獎勵	25.3	29.71	22.46
平均值	28.93	31.99	28.31

表(1)

接著，發明人將本發明所產生的所述複音樂曲資料與不同演算法所產生的樂曲進行比對，所述比對為由演算法產生的樂曲資料與現有的人類樂曲(即，參考樂曲資料或大師樂曲資料)之間的一差異性比對，比對結果如下表(2):

	雙軸LSTM	樂理	AIRL	樂理+AIRL
Ratio polyphonicity	0.108861	0.084123	0.040719	0.020159
Ratio steps in scale	0.301088	0.294629	0.092172	0.171911
Ratio empty bars	0.002749	0.000134	0.051174	0.020323
Ratio unique chords	0.540401	0.192479	0.026132	0.078249
Ratio chords repeated	0.157354	0.138524	0.085684	0.031908
Ratio tonality	0.022615	0.085325	0.058328	0.006202
Ratio chords in repeated motif	0.275816	0.222622	0.270690	0.264218

表(2)

由上表(2)可以得知，本實施例所採用的樂理以及AIRL演算法並用的差異性比對數值，有三項數值最低。值得說明的是，數值越低即越相似人類所做的樂曲。換句話說，前述之差異性比對的差異值越小，表示本發明之自動作曲系統1所做出的樂曲越接近人類所創作之樂曲。進一步地，本發明人對不同演算法架構以及人類樂曲進行使用者的喜好調查，如下表(3)所示：

	雙軸LSTM	樂理	AIRL	樂理+AIRL	人類作曲
Total times preferred	20	66	30	69	75
Percentage preferred	19%	63%	29%	66%	72%
Standard Deviation	4.02	4.91	4.62	4.82	4.57

表(3)

由上表(3)可以得知，本實施例所採用的樂理以及AIRL演算法架構獲得的喜好程度僅低於人類所作的曲子，且差異性小。從上述表(2)的客觀分析以及表(3)的主觀分析都可以得出本發明之對抗生成網路與逆增強式學習法的自動作曲系統所產生的樂曲最為接近人類所做得樂曲。換句話說，本發明所產生的曲目具有悅耳且受人類喜愛的優點。

如此，上述係已完整說明本發明之一種使用對抗生成網路與逆增強式學習法的自動作曲系統，接著，下文中將繼續說明本發明之一種使用對抗生成網路與逆增強式學習法的自動作曲方法。繼續地參閱圖1與圖2，且同時參閱圖5與圖6，其顯示本發明之一種使用對抗生成網路與逆增強式學習法的自動作曲方法的第一流程圖與第二流程圖。本發明之使用對抗生成網路與逆增強式學習法的自動作曲方法係應用於一電子裝置2之中，使該電子裝置2的處理器透過執行本發明之自動作曲方法1而能夠依據複數個參考樂曲資料而產生一樂曲。如圖5與圖6所示，本發明之自動作曲方法包括多個執行步驟。首先，於步驟S1之中，該樂曲特徵萃取單元12對儲存於該樂曲資料庫11之中的複數個參考樂曲資料分別進行一特徵萃取處理，從而萃取出複數個樂曲特徵。

如圖5與圖6所示，方法流程係接著執行步驟S2：該第一運算模組利用一深度學習演算法對該複數個樂曲特徵執行一第一運算，從而獲取至少一樂曲概率特徵以及至少一預訓練權重參數。值得注意的是，方法流程會執行步驟S3：該第二運算模組(AIRL)利用一增強式學習演算法對該複數個樂曲特徵執行一第二運算，從而獲取至少一音符獎勵函數(Reward function)。進一步地，於步驟S4之中，該第三運算模組利用一深度強化學習演算法對該至少一預訓練權重參數進行一初始化設定，且對儲存於該樂理資料庫之中的複數組樂理資料、該至少一音符獎勵函數以及該至少一預訓練權重參數執行一第三運算，從而獲取複數個複音參考樂曲資料。

更詳細地說明，步驟S2之中包括以下步驟：步驟S21之中，該第一運算模組13的一第一運算單元131將各個所述樂曲特徵分別轉換成一音符向量特徵。接著，執行步驟S22，該第一運算模組13的一第二運算單元132利用一深度學習演算法對所述音符向量特徵執行沿著時間軸的一第四運算，從而獲取至少一時間參數。如圖5所示，方法流程係接著執行步驟S23，該第一運算模組13的一第三運算單元133用以利用一深度學習演算法對所述音符向量特徵執行沿著音符軸的一第五運算，從而獲取至少一音符參數。最後，該第一運算模組13的一第四運算單元134用以利用一深度學習演算法(非遞歸線性演算法)對所述時間參數、所述音符參數執行一第五運算，從而獲取至少一訓練權重參數以及由至少一音符概率特徵以及至少一演奏法概率特徵所組成的所述樂曲概率特徵。

如此，上述係已完整且清楚地說明本發明之一種使用對抗生成網路與逆增強式學習法的自動作曲系統及方法；並且，經由上述可知本發明係具有下列之優點：

(1)本發明主要以一樂曲資料庫11、一樂曲特徵萃取單元12、一第一運算模組13、一第二運算模組14、一第三運算模組15組成本發明之使用對抗生成網路與逆增強式學習法的自動作曲系統1。特別地，所述樂曲特徵萃取單元12對各個所述參考樂曲資料執行一特徵萃取處理，從而萃取出複數個樂曲特徵。其中，所述樂曲特徵係以矩陣的方式將樂曲之和聲紀錄其中。此外，該第二運算模組14利用一逆增強式學習演算法對該複數個樂曲特徵執行一第二運算以獲取至少一音符獎勵函數。該第三運算模組15利用一深度強化學習演算法藉由至少一預訓練權重參數進行一初始化設定，且對該複數組樂理資料、所述音符獎勵函數值及所述預訓練權重參數執行一第三運算，從而獲取複數個複音參考樂曲資料。經由上述客觀與主觀的分析，可以得知本發明使用對抗生成網路與逆增強式學習法的自動作曲系統1所產出的樂曲最為接近人類所做的曲子。並且，本發明之系統產出的樂曲不僅悅耳且較受人類的喜愛。

必須加以強調的是，上述之詳細說明係針對本發明可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

＜本發明＞ 1:自動作曲系統 2:電子裝置 11: 樂曲資料庫 12:樂曲特徵萃取單元 13:第一運算模組 131:第一運算單元 132:第二運算單元 133:第三運算單元 134:第四運算單元 14:第二運算模組 15:第三運算模組 16:樂理資料庫 S1~S4:步驟 S21~S24:步驟

＜習知＞無

圖1顯示應用有本發明之一種使用對抗生成網路與逆增強式學習法的自動作曲系統的一電子裝置的立體圖；圖2顯示本發明之使用對抗生成網路與逆增強式學習法的自動作曲系統的功能方塊圖；圖3顯示紀錄樂曲音高之示意圖；圖4顯示第一運算模組的功能方塊圖；圖5顯示本發明之使用對抗生成網路與逆增強式學習法的自動作曲方法的第一流程圖；以及圖6顯示本發明之使用對抗生成網路與逆增強式學習法的自動作曲方法的第二流程圖。

1: 使用對抗生成網路與逆增強式學習法的自動作曲系統 11: 樂曲資料庫 12: 樂曲特徵萃取單元 13: 第一運算模組 14: 第二運算模組 15: 第二運算模組 16: 樂理資料庫

Claims

一種自動作曲系統，應用於一電子裝置之中，使該電子裝置依據複數個參考樂曲資料而產生一樂曲；所述自動作曲系統包括：一樂曲資料庫，用以儲存該複數個參考樂曲資料；一樂曲特徵萃取單元，用以對各個所述參考樂曲資料執行一特徵萃取處理，從而萃取出複數個樂曲特徵；一第一運算模組，用以利用一深度增強式學習演算法對該複數個樂曲特徵執行一第一運算，從而獲取能夠以波爾曼分佈(Boltzmann distribution)表示的一樂曲特徵概率(probability)以及至少一預訓練權重參數；其中，複數個樂曲特徵為基於MIDI值儲存複數個音符的音高，且所述樂曲特徵概率包含選自於由音符概率和演奏法概率所組成群組之中的至少一者；一第二運算模組，用以利用一增強式學習演算法對該複數個樂曲特徵執行一第二運算，從而獲取至少一音符獎勵函數；一第三運算模組，用以利用一深度增強式學習演算法藉由該至少一預訓練權重參數進行一初始化設定，且對儲存於一樂理資料庫之中的複數組樂理資料、該至少一音符獎勵函數以及該至少一預訓練權重參數執行一第三運算，從而獲取複數個複音樂曲資料。
如請求項1所述之自動作曲系統，其中，所述第一運算模組包括：一第一運算單元，用以將各個所述樂曲特徵分別轉換成一音符向量特徵；一第二運算單元，用以利用一深度學習演算法對所述音符向量特徵執行沿著時間軸的一第四運算，從而獲取至少一時間參數；一第三運算單元，用以利用一深度學習演算法對所述音符向量特徵執行沿著音符軸的一第五運算，從而獲取至少一音符參數；一第四運算單元，用以利用一非遞歸式深度學習演算法對所述時間參數、所述音符參數執行一第五運算，從而獲取至少一訓練權重參數、所述音符概率、以及所述演奏法概率。
如請求項2所述之自動作曲系統，其中，所述第一運算模組利用一捨棄演算法於該第四運算與該第五運算之中，從而防止所述深度學習演算法過度擬合。
如請求項2項所述之自動作曲系統，其中該深度學習演算法為一長短期記憶神經網路演算法。
如請求項1所述之自動作曲系統，其中該深度強化學習演算法為一深度Q網絡學習演算法。
如請求項4所述之自動作曲系統，其中該深度強化學習演算法為一深度Q網絡學習演算法結合所述長短期記憶神經網路演算法，且所述長短期記憶神經網路演算法為雙軸式長短期記憶神經網路演算法。
如請求項1所述之自動作曲系統，其中該增強式學習演算法係為一對抗性逆增強式學習演算法。
如請求項2所述之自動作曲系統，其中，所述音符向量特徵之長度為79，且係由當前音調向量特徵、當前音高向量特徵、前音符之音高向量特徵、後音符之音高向量特徵、以及節拍向量特徵所組成。
一種自動作曲方法，係應用在一電子裝置以藉由該電子裝置之一處理器實現，且包括以下步驟：(1)提供一樂曲特徵萃取單元用以對儲存於該電子裝置之一樂曲資料庫之中的複數個樂曲資料分別進行一特徵萃取處理，從而萃取出複數個樂曲特徵；(2)提供一第一運算模組以利用一深度學習演算法對該複數個樂曲特徵執行一第一運算，從而獲取能夠以波爾曼分佈(Boltzmann distribution)表示的一樂曲特徵概率(probability)以及至少一預訓練權重參數；其中，複數個樂曲特徵為基於MIDI值儲存複數個音符的音高，且所述樂曲特徵概率包含選自於由音符概率和演奏法概率所組成群組之中的至少一者； (3)提供一第二運算模組以利用一增強式學習演算法對該複數個樂曲特徵執行一第二運算，從而獲取至少一音符獎勵函數；(4)提供一第三運算模組以利用一深度強化學習演算法對該至少一預訓練權重參數進行一初始化設定，且對儲存於該樂理資料庫之中的複數組樂理資料、該至少一音符獎勵函數以及該至少一預訓練權重參數執行一第三運算從而獲取複數個複音樂曲資料。
如請求項9所述之自動作曲方法，其中，所述第一運算模組包括一第一運算單元、一第二運算單元、一第三運算單元以及一第四運算單元，且所述步驟(2)更包括以下步驟：(21)該第一運算單元將各個所述樂曲特徵分別轉換成一音符向量特徵；(22)該第二運算單元利用一深度學習演算法對所述音符向量特徵執行沿著時間軸的一第四運算，從而獲取至少一時間參數；(23)該第三運算單元利用一深度學習演算法對所述音符向量特徵執行沿著音符軸的一第五運算，從而獲取至少一音符參數；(24)該第四運算單元利用一非遞歸式深度學習演算法對所述時間參數、所述音符參數執行一第五運算，從而獲取至少一訓練權重參數、所述音符概率以及所述演奏法概率。
如請求項10所述之自動作曲方法，其中，執行所述第一運算之時，所述第一運算模組使一捨棄演算法(dropout)以防止所述深度學習演算法的一運算結果過度擬合。
如請求項9所述之自動作曲方法，其中該深度學習演算法為一長短期記憶神經網路。
如請求項9所述之自動作曲方法，其中該深度強化學習演算法為一深度Q網絡學習演算法(Deep Q Learning network,DQN)。
如請求項13所述之自動作曲方法，其中該深度強化學習演算法為一深度Q網絡學習演算法(Deep Q Learning network,DQN)結合所述長短期記憶神經網路演算法，且所述長短期記憶神經網路演算法為雙軸式長短期記憶神經網路演算法。
如請求項9所述之自動作曲方法統，其中該增強式學習演算法係為一逆增強式學習演算法。
如請求項10所述之自動作曲方法，其中，所述音符向量特徵之長度為79，係由當前音調向量特徵、當前音高向量特徵、前音符之音高向量特徵、後音符之音高向量特徵、以及節拍向量特徵。
如請求項9所述之自動作曲方法，其中，所述複數個樂曲特徵為基於MIDI值儲存複數個音符的音高。