TWI451932B - 剛性攻牙之局部強化學習控制方法 - Google Patents

Description

剛性攻牙之局部強化學習控制方法

本發明係關於一種學習控制方法，尤指一種可降低同步誤差及提供較佳加工品質之剛性攻牙之局部強化學習控制方法者。

按，剛性攻牙機在現代電子產業扮演著重要的角色，有許多電子產品需要進行大量的鑽孔與高品質的螺紋，這些都必須依靠剛性攻牙機來完成，其中以手機為例，在產品製程上需在手掌大的面積中，加工出10~30個孔洞，其他應用的產品包括有手錶及PDA等，當電子產品的體積越小時，進行加工處理的困難度就越高，因此剛性攻牙機必須具更穩定且更精準的控制，方可符合市場的需求；一般來說，剛性攻牙機若能以同步控制其旋轉軸與進給軸的轉動與移動(如進刀、攻牙、反轉退刀、移動到下一位置等動作)，才能完成一個品質良好的加工螺孔，目前剛性攻牙機欲達成同步控制旋轉軸與進給軸的方式大致可分為兩種，第一種係對剛性攻牙機的機構進行改良，其主要係將剛性攻牙機加工工件時，所遇到摩擦力或震動等問題加以分析後，改良相關問題的機構設計，藉以降低旋轉軸與進給軸的同步誤差，而另一種方式係變更剛性攻牙機的控制器設計，即針對各種加工工作準備不同的控制器來控制加工過程，藉以選出可以得到好的加工結果的控制器或是控制器參數；以剛性攻牙機來說，其對於旋轉軸與進給軸的同步要求非常嚴苛，只要稍不一致的螺距就極易使刀具產生斷裂的情形，正因如此，旋轉軸與進給軸的同步控制非常重要，其中現有同步控制的架構大致上有兩種，第一種為主從式學習架構，主要係由進給軸追隨旋轉軸作動，進給軸進給的命令係由旋轉軸實際位置所提供，然而，現有主從式學習架構的進給軸要追上旋轉軸需要一段時間，且當追上時旋轉軸又已經跑到下個位置了，因此會有動態延遲的問題，因此，主從式架構通常會利用一前饋控制來補償動態延遲；第二種同步控制架構係為一交叉耦合學習架構，其係同時考量進給軸與旋轉軸的動態，直接控制所加工出來的同步誤差，此種控制架構通常係採用一由比例積分(Proportional-Integral)控制器調整參數後的閉迴路系統(closed-loop system)，並以經驗或嚐試錯誤方式選擇控制參數，但無法以系統化方式加以設計，因此，如何有效地降地剛性攻牙機的同步誤差，係目前亟需解決的問題；為了解決上述在剛性攻牙中心機的同步控制架構所遭遇的問題，而產生了剛性攻牙中心機之學習控制方法，期能有效縮減剛性攻牙中心機的旋轉軸與進給軸之間同步誤差，獲得更佳的加工品質。然而，現有的學習控制方法大都針對所有時間區段設定相同的學習速率，容易導致較高的學習增益，且容易將雜訊放大而影響學習性能，其中現有剛性攻牙的學習控制法則為：

r _j = r _{j -1} +L ε _{j -1} 　(3)

其中 r _j 代表第j次加工時整個完整週期的剛性攻牙輸入控制命令向量(包含主軸與Z軸命令)，ε _j 則代表第j次加工時整個週期同步誤差的向量，L 為一學習增益矩陣，其方程式式如下所示：

其中p 代表整個剛性攻牙週期共有p 個取樣時間，此學習增益矩陣只能設定一個學習速率(1/ρ)，即讓每個取樣時間(k )的同步誤差係以相同的比率降低：

ε _j (k )=ρε _{j -1} (k )　(5)

因此，現有剛性攻牙的學習控制僅能設定一固定的學習速率與學習增益，通常導致較高之學習增益，容易將雜訊放大而影響學習性能，然而，在整個剛性攻牙的過程中，不同時間區段的同步誤差通常不同，例如，在加減速的區域會有比較大的同步誤差，請配合參看如圖5所示，其係為一未學習前的剛性攻牙機旋轉軸轉速命令與時間之關係圖，而圖6係為圖5轉速命令的同步誤差關係圖，由圖中可明顯看出在加減速的區域(t介於0.8~1.0之間)內的同步誤差比較大，由此可知，以一固定的學習速率與學習增益的學習方式，通常無法得到較好的學習效果，進而無法提供較佳的加工品質，誠有加以改進之處。

因此，本發明人有鑑於目前剛性攻牙機同步控制學習架構在操作上的不足與問題，特經過不斷的研究與試驗，終於發展出一種能改進現有缺失之本發明。

本發明之主要目的係在於提供一種剛性攻牙之局部強化學習控制方法，主要係透過一學習控制的方式，以一非固定的學習速率與學習增益，能在不同的時間區段彈性設定不同的學習速率與學習增益，可有效降低整體之剛性攻牙同步誤差，其中當同步誤差愈大之時間區段，可設定愈大的學習速率與學習增益，如此更能實現同步誤差為零的結果，達到精密攻牙加工目的，進而提供一可降低同步誤差及提供較佳加工品質之剛性攻牙之局部強化學習控制方法之目的者。

為達到上述目的，本發明係提供一種剛性攻牙之局部強化學習控制方法，其係包含有：裝置設置：於一剛性攻牙機上設置一學習模組、一同步誤差計算模組、一反饋模組及一動態模組，該學習模組係設有一旋轉軸學習控制單元及一進給軸學習控制單元，該同步誤差計算模組係與該學習模組及該剛性攻牙機相連接且設有兩位置檢知器，兩位置檢知器係分別連接至該剛性攻牙中心機的旋轉軸及進給軸，藉以獲得該剛性攻牙機旋轉軸及進給軸的位置，該反饋模組係與該學習模組相連接且設有一旋轉軸反饋單元及一進給軸反饋單元，該旋轉軸反饋單元係與該旋轉軸學習控制單元相連接，而該進給軸反饋單元係與該進給軸學習控制單元相連接，該動態模組係與該反饋模組相連接且設有一旋轉軸動態單元及一進給軸動態單元，該旋轉軸動態單元係與該旋轉軸反饋單元及該旋轉軸相連接，而該進給軸動態單元係與該進給軸反饋單元及該進給軸相連接；取得控制命令：由該旋轉軸學習控制單元及進給軸學習控制單元分別取得該剛性攻牙機旋轉軸及進給軸的控制命令，將兩控制命令分別依序地輸出至該反饋單元及該動態單元；計算誤差：該同步誤差計算模組透過兩位置檢知器獲得兩軸目前的實際位置，經由該反饋模組及該動態模組得到兩軸的控制命令，計算出兩軸的位置誤差，再依據該旋轉軸及該進給軸的位置誤差計算出本次的同步誤差：以及計算修正量：將前述步驟所計算出的同步誤差分別輸出至該旋轉軸學習控制單元及該進給軸學習控制單元，依據該同步誤差及控制命令計算出一學習命令修正量，於下一次控制命令輸入時，以該學習命令修正量修正該控制命令，如此重覆執行直到獲得符合要求的精度，其中該學習模組針對每個取樣時間設定不同的學習速率。

進一步，在裝置設置的操作步驟中，該旋轉軸學習控制單元係設有一旋轉軸學習程序，用以產生一旋轉軸控制命令，而該進給軸學習控制單元係設有一進給軸學習程序，用以產生一進給軸控制命令，而在計算修正量的操作步驟中，當同步誤差分別輸出至該旋轉軸學習控制單元及該進給軸學習控制單元時，執行該旋轉軸學習程序及該進給軸學習程序，藉以依據該同步誤差及控制命令計算出一學習命令修正量。

再進一步，於計算修正量的操作步驟中，於非加減速區設定一學習速率為1/0.7，而於加減速區設定一學習速率為1/0.3。

藉由上述的技術手段，本發明剛性攻牙之局部強化學習控制方法，係可針對特定時間區段設定不同之學習速率與學習增益，以強化該時間區段之學習，且此加強學習之區段可自由設定，可以細微到每一取樣時間皆有不同之學習增益，其中通常是僅分為二個時間區段：等速區段(即非加減速區段)與加減速區段，而後者有較大的學習速率與學習增益，再者，也能以未學習時的攻牙同步誤差大小，劃分幾個時間區段，並對應到不同之學習速率與學習增益，其中同步誤差愈大者，所設定的學習速率與學習增益也愈大，進而提供一可降低同步誤差及提供較佳加工品質之剛性攻牙之局部強化學習控制方法者。

為能詳細瞭解本發明的技術特徵及實用功效，並可依照說明書的內容來實施，玆進一步以圖式所示的較佳實施例，詳細說明如后：本發明之目的在於提供一剛性攻牙之局部強化學習控制方法，其係安裝於一剛性攻牙機上，主要係透過偵測剛性攻牙機的旋轉軸(攻牙軸)及進給軸(Z軸)的作動情形並對其進行訊號處理，進而提供一剛性攻牙之局部強化學習控制方法者。

本發明係一種剛性攻牙之局部強化學習控制方法，請配合參看如圖1及2所示，該剛性攻牙之局部強化學習控制方法係包含有：

(A)、裝置設置：於一剛性攻牙機上設置一學習模組10、一同步誤差計算模組20、一反饋模組30及一動態模組40，該學習模組10係設有一旋轉軸學習控制單元11及一進給軸學習控制單元12，其中該旋轉軸學習控制單元11係設有一旋轉軸學習程序，用以產生一旋轉軸控制命令，而該進給軸學習控制單元12係設有一進給軸學習程序，用以產生一進給軸控制命令，該同步誤差計算模組20係與該學習模組10及該剛性攻牙機相連接且設有兩位置檢知器21，22，兩位置檢知器21，22係分別連接至該剛性攻牙中心機的旋轉軸及進給軸，藉以獲得該剛性攻牙機旋轉軸及進給軸的位置，並計算出該旋轉軸的位置誤差及該進給軸的位置誤差，該反饋模組30係與該學習模組10相連接且設有一旋轉軸反饋單元31及一進給軸反饋單元32，該旋轉軸反饋單元31係與該旋轉軸學習控制單元11相連接，而該進給軸反饋單元32係與該進給軸學習控制單元12相連接，該反饋模組30可為一PPI控制器，用以提高受控驅動馬達之位置和速度迴路的暫態響應與降低穩態誤差，使整合動態後的閉回路系統對命令有良好的性能，該動態模組40係與該反饋模組30相連接且設有一旋轉軸動態單元41及一進給軸動態單元42，該旋轉軸動態單元41係與該旋轉軸反饋單元31及該旋轉軸相連接，而該進給軸動態單元42係與該進給軸反饋單元32及該進給軸相連接；(B)、取得控制命令：由該旋轉軸學習控制單元11及進給軸學習控制單元12分別取得該剛性攻牙機旋轉軸及進給軸的控制命令，並將此兩控制命令分別依序地輸出至該旋轉軸反饋單元31、該進給軸反饋單元32、該旋轉軸動態單元41及該進給軸動態單元42；(C)、計算誤差：該同步誤差計算模組20透過兩位置 檢知器21，22獲得兩軸目前的實際位置，並經由該反饋模組30及該動態模組40得到兩軸的控制命令，分別計算出兩軸的位置誤差，再依據該旋轉軸及該進給軸的位置誤差計算出本次的同步誤差；以及(D)、計算修正量：將前述步驟所計算出的同步誤差分別輸出至該旋轉軸學習控制單元11及該進給軸學習控制單元12，分別執行該旋轉軸學習程序及該進給軸學習程序，依據該同步誤差及控制命令計算出一學習命令修正量，於下一次控制命令輸入時，以該學習命令修正量修正該控制命令，如此重覆執行直到獲得符合要求的精度，其中由於兩位置檢知器21，22於偵測會受到外在的雜訊影響，使該學習模組10在根據同步誤差而輸出一學習命令修正量時，會將兩位置檢知器21，22所偵測到的雜訊放大，進而對於學習模組10於運算時造成影響，其中當同步誤差值遠大於雜訊值時，該學習模組10可有效地將該同步誤差值降低，因此，雜訊對於學習模組10的影響不大，此時，當該學習模組10的學習速率設定愈大(即期望每次學習可使同步誤差降低之量愈大)時，所得到的學習增益值也將愈大(即學習命令修正補償量愈大)，同步誤差也降得愈快；反之，當同步誤差值降低到與雜訊值差不多時，則雜訊對於學習模組10有顯著的影響，因此，該學習模組10無法有效地降低該同步誤差，再者，此時設定大的學習速率，也不見得可降低該同步誤差，所以本發明之學習模組10係採用一較彈性之學習增益矩陣，其方程式係如下所示：

藉由上述的方程式(1)，可針對每個取樣時間(k )設定不同的學習速率(1/ρ _k )，進而讓每個取樣時間(k )的同步誤差降低比率不相同，其如下所示：

ε _j (k )=ρ _k ε _{j -1} (k )　(2)

藉由上述的方程式(2)，使用者可根據未學習的同步誤差結果，來決定是否要使用局部強化學習以及使用局部強化學習的時間區段，例如：選擇一固定學習速率1/0.7進行學習控制時，則該剛性攻牙機的同步誤差與時間的關係圖係如圖3所示，可明顯看出經學習後的同步誤差與未經學習的同步誤差係有所不同；再者，於非加減速區設定一學習速率為1/0.7，而於加減速區設定一學習速率為1/0.3，可得到如圖4所示之結果，比較圖3及4之結果可明顯發現，因此，透過不同的學習速率，可針對誤差大的區域給予更大的收斂速率，即給予更大的補償量，可在同步誤差峰值的收斂上能有更好的結果。

藉由上述的技術手段，本發明剛性攻牙之局部強化學習控制方法，主要係透過設定不同的學習速率，可得到不同的學習效益，例如根據改善效益高(學習控制效果可以較顯著)的區域設定較高的學習速率，來加強學習效益，根據改善效益低的區域設定較低的學習速率，或甚至停止學習，如此一來，不僅可透過局部加強部分時間區段的學習控制方式，且可同時在不影響其他時間區段的方式下，進而讓所有時間區段皆達到更佳的學習結果，藉以提供一可降低同步誤差及提供較佳加工品質之剛性攻牙之局部強化學習控制方法者。

以上所述，僅是本發明的較佳實施例，並非對本發明作任何形式上的限制，任何所屬技術領域中具有通常知識者，若在不脫離本發明所提技術方案的範圍內，利用本發明所揭示技術內容所作出局部更動或修飾的等效實施例，並且未脫離本發明的技術方案內容，均仍屬於本發明技術方案的範圍內。

10．．．學習模組

11．．．旋轉軸學習控制單元

12．．．進給軸學習控制單元

20．．．同步誤差計算模組

21．．．位置檢知器

22．．．位置檢知器

30．．．反饋模組

31．．．旋轉軸反饋單元

32．．．進給軸反饋單元

40．．．動態模組

41．．．旋轉軸動態單元

42．．．進給軸動態單元

圖1係本發明剛性攻牙之局部強化學習控制方法之流程方塊圖。

圖2係本發明剛性攻牙之局部強化學習控制方法之操作流程方塊圖。

圖3係本發明設定固定學習效率之同步誤差與時間之關係圖。

圖4係本發明設定非固定學習效率之同步誤差與時間之關係圖。

圖5係現有剛性攻牙機旋轉軸轉速與時間之關係圖。

圖6係現有剛性攻牙機旋轉軸同步誤差與時間之關係圖。

Claims (4)

1. 一種剛性攻牙之局部強化學習控制方法，包含有：裝置設置：於一剛性攻牙機上設置一學習模組、一同步誤差計算模組、一反饋模組及一動態模組，該學習模組係設有一旋轉軸學習控制單元及一進給軸學習控制單元，該同步誤差計算模組係與該學習模組及該剛性攻牙機相連接且設有兩位置檢知器，兩位置檢知器係分別連接至該剛性攻牙中心機的旋轉軸及進給軸，藉以獲得該剛性攻牙機旋轉軸及進給軸的位置，該反饋模組係與該學習模組相連接且設有一旋轉軸反饋單元及一進給軸反饋單元，該旋轉軸反饋單元係與該旋轉軸學習控制單元相連接，而該進給軸反饋單元係與該進給軸學習控制單元相連接，該動態模組係與該反饋模組相連接且設有一旋轉軸動態單元及一進給軸動態單元，該旋轉軸動態單元係與該旋轉軸反饋單元及該旋轉軸相連接，而該進給軸動態單元係與該進給軸反饋單元及該進給軸相連接；取得控制命令：由該旋轉軸學習控制單元及進給軸學習控制單元分別取得該剛性攻牙機旋轉軸及進給軸的控制命令，將兩控制命令分別依序地輸出至該反饋單元及該動態單元；計算誤差：該同步誤差計算模組透過兩位置檢知器獲得兩軸目前的實際位置，經由該反饋模組及該動態模組得到兩軸的控制命令，計算出兩軸的位置誤差，再依據該旋轉軸及該進給軸的位置誤差計算出本次的同步誤差；以及計算修正量：將前述步驟所計算出的同步誤差分別輸出至該旋轉軸學習控制單元及該進給軸學習控制單元，依據該同步誤差及控制命令計算出一學習命令修正量，於下一次控制命令輸入時，以該學習命令修正量修正該控制命令，如此重覆執行直到獲得符合要求的精度，其中該學習模組針對每個取樣時間設定不同的學習速率。
2. 如請求項1所述之剛性攻牙之局部強化學習控制方法，其中在裝置設置的操作步驟中，該旋轉軸學習控制單元係設有一旋轉軸學習程序，用以產生一旋轉軸控制命令，而該進給軸學習控制單元係設有一進給軸學習程序，用以產生一進給軸控制命令，而在計算修正量的操作步驟中，當同步誤差分別輸出至該旋轉軸學習控制單元及該進給軸學習控制單元時，執行該旋轉軸學習程序及該進給軸學習程序，藉以依據該同步誤差及控制命令計算出一學習命令修正量。
3. 如請求項2所述之剛性攻牙之局部強化學習控制方法，其中於計算修正量的操作步驟中，於非加減速區設定一學習速率為1/0.7，而於加減速區設定一學習速率為1/0.3。
4. 如請求項1所述之剛性攻牙之局部強化學習控制方法，其中於計算修正量的操作步驟中，於非加減速區設定一學習速率為1/0.7，而於加減速區設定一學習速率為1/0.3。