TWI670721B - 用於儲存裝置之不正常斷電測試方法及設備 - Google Patents

Abstract

本發明係揭露一種用於儲存裝置之不正常斷電測試設備包括一系統控制單元、一工作負載模擬單元、一電力控制單元、一協議控制單元及一數據暫存單元。該電力控制單元與該協議控制單元選擇性連接該儲存裝置。該測試裝置在該儲存裝置模擬至少一工作負載，並於指定時刻斷電，然後測試。如此，該測試裝置快速發現該儲存裝置之裝置韌體的潛在問題及演算法漏洞，而提升該儲存裝置之裝置韌體的穩定性與可靠度。

Description

用於儲存裝置之不正常斷電測試方法及設備

本發明隸屬一種儲存裝置之斷電測試技術，具體而言指一種用於儲存裝置之不正常斷電測試方法及設備，透過能可程式化測試的設計，以更快發現其裝置韌體的潛在問題及演算法的漏洞，藉此提升儲存裝置的穩定性與可靠度。

大多數作為儲存裝置之固態硬碟(solid-state disk,SSD)係使用如SATA、SAS或光纖通道等埠與電腦埠的匯流排連接。但SATA主要作為機械硬碟機(hard disk drive：HDD)的連接埠，並隨時間推移越來越難滿足速度日益提高的SSD。因此，部分SSD已受到SATA最大吞吐量的限制。而非揮發性記憶體之控制器埠(non-volatile memory express：NVMe)一個邏輯裝置埠規範，其係一種具有優化與高性能的可擴充之主機控制器介面，該NVMe的基本概念是透過快速外部連接(peripheral component interconnect express：PCIe)匯流排連接處理器的傳輸迴路。其最大優點是可提供超低延遲與高頻寬的存取表現，且NVMe加了自動功耗狀態切換和動態能耗管理功能，使NVMe在功耗管理上擁有較大優勢。

儲存裝置在出廠時，須依消費級或企業級等進行不同等級之耐用性及工作負載(如連續讀寫、隨機讀寫、讀寫大檔案或小檔案等)的測試。因此，其測試需求及測試方法有不同 的標準規範(如JESD 218、JESD 219等)，以確保儲存裝置的耐用性壽命和品質。現有儲存裝置的測試方法大都是針對特定的工作負載做重複測試或是增加系統執行的時間，並參考標準規範來瞭解測試需求和測驗環境。通常對儲存裝置的耐久度與可靠度可藉由過往經驗或是拉長測試時間來驗證出基本的問題。儲存裝置的重要之處在於保存使用者資料。一般儲存裝置的裝置韌體或許會處理正常斷電，但易忽略或未周全考慮不正常斷電而產生漏洞。若儲存裝置剛好遇上未考慮到的不正常斷電，輕則使用者的資料消失或系統崩潰，重則導致該儲存裝置之裝置韌體失效而無法存取資料。

通常以作業系統執行一應用程式來測試現有儲存裝置。因此，測試流程的彈性及複雜度受限。另外，此種測試通常是規律性的循環斷電而無法進行可預期的不正常斷電測試。替代地，可由測試人員隨機對儲存裝置進行斷電，卻無法於儲存裝置執行不同工作負載中的指定時刻進行斷電測試，而難以發現在不同工作負載下不正常斷電時裝置韌體的問題及漏洞。另外，現有測試設備於每次測試中僅能就同一測試方式如指令斷電測試、流程斷電測試或壓力測試來執行，無法讓測試人員隨時改變測試方式。如何解決前述問題，係業界的重要課題，也是本發明所探討者。

緣是，本發明即基於上述需求與問題深入探討，並藉由本發明人多年從事相關開發的經驗，而積極尋求解決之道，經不斷努力之研究與發展，終於成功的發展出一種用於儲存裝置之不正常斷電測試方法及其不正常斷電測試設備，能更有效找出裝置韌體的問題及漏洞。

因此，本發明之主要目的是提供一種用於儲存裝置之不正常斷電測試方法及其不正常斷電測試設備，藉以能可程式進行測試，供模擬在不正常斷電下執行測試，以更快發現裝置韌體潛在問題及演算法漏洞，而提升儲存裝置的裝置韌體的穩定性與可靠度。

本發明之另一目的是提供一種用於儲存裝置之不正常斷電測試方法及其不正常斷電測試設備，其可在儲存裝置執行不同工作負載中的指定點進行斷電測試，令在斷電的過程中，已發出之指令不需要等待指令的回應，而是在指令送出後的任意時刻執行斷電，透過突然斷電進行有效的測試。

本發明之另一目的是提供一種用於儲存裝置之不正常斷電測試方法及其不正常斷電測試設備，其能依需求，隨時變換不同的測試方式、測試次數及測試循環，以增加儲存裝置錯誤測試的多樣性、錯誤模型(Error Case)、情境、樣本數或是種類。

為達成上述目的，該測試設備，依至少一測試規範，在至少一儲存裝置，模擬至少一工作負載，並於指定時刻執行至少一測試。該測試設備包括測試設備包括一系統控制單元、一工作負載模擬單元、一電力控制單元、一協議控制單元及一數據暫存單元。該系統控制單元，可運算、接受及回覆測試時傳送的指令。該工作負載模擬單元，連接該系統控制單元，並可依指令對該儲存裝置執行要測試的各種工作負載模擬。該電力控制單元連接該系統控制單元，並可選擇性連接該儲存裝置，且依指令執行該儲存裝置之斷電與上電。該協議控制單元連接該系統控制單元，並可選擇性連接該儲存裝置，且發送相關測試協定之指令。該數據暫存單元，連接該系統控制 單元，並可紀錄關鍵資料和資訊以檢查該儲存裝置儲存資料的正確性。該測試裝置是可程式化。

為使 貴審查委員能進一步了解本發明的構成、特徵及其他目的，以下乃舉本發明之若干較佳實施例，並配合圖式詳細說明如后，供讓熟悉該項技術領域者能夠具體實施。

10‧‧‧測試設備

11‧‧‧系統控制單元

12‧‧‧工作負載模擬單元

13‧‧‧電力控制單元

14‧‧‧協議控制單元

15‧‧‧數據暫存單元

20‧‧‧儲存裝置

21‧‧‧裝置控制單元

22‧‧‧快閃記憶體

第一圖：係本發明用於儲存裝置之不正常斷電測試設備的 架構示意圖，供說明其主要配置狀態。

第二圖：係本發明用於儲存裝置之不正常斷電測試方法的流程圖。

第三圖：係第二圖所示的方法的一部分的流程圖。

如第一圖所示，依本發明的一實施例，一種用於儲存裝置20之不正常斷電測試設備10包含一系統控制單元(system controller unit)11、一工作負載模擬單元(workload unit)12、一電力控制單元(power control unit)13、一協議控制單元(protocol control unit)14及一數據暫存單元(data buffer unit)15。測試設備10藉電力控制單元13與協議控制單元14選擇性連接該儲存裝置20，供執行該儲存裝置20於不同工作負載(包含但不限於連續讀寫、隨機讀寫、讀寫大檔案或小檔案等)下的不正常斷電測試。儲存裝置20可以是NVMe固態硬碟，且有一系列由一NVMe裝置控制單元(Device Controller Unit)21控制之快閃記憶體(Nand Flash)22，供可程式化進行測試，讓測試設備10可模擬在不正常斷電下對儲存裝置20執行測試，以快 速發現儲存裝置20之裝置韌體所潛在問題及演算法漏洞，而提升儲存裝置20之裝置韌體的穩定性與可靠度。

系統控制單元11用於接受及回覆測試時傳送的指令，以完成各種指令的執行，包含但不限於變換不同的斷電方式、測試次數、測試循環及測試結果運算。工作負載模擬單元12連接系統控制單元11而可依指令對儲存裝置20執行要測試的各種工作負載。工作負載模擬單元12主要用來描述NVMe之儲存裝置20在用戶端會發生的行為與指令的比例(根據測試規範JDEC 218、219)，例如連續讀寫、隨機讀寫、讀寫大檔案或小檔案等。工作負載的內容取決於儲存裝置20的定位，例如文書處理、遊戲處理或郵件伺服器的工作負載等。重點是要模擬出用戶端使用環境下出現的行為。

電力控制單元13係連接於系統控制單元11，並可選擇性連接待測之儲存裝置20，供依指令執行儲存裝置20之斷電與上電。

協議控制單元14亦連接系統控制單元11，並可選擇性連接待測之儲存裝置20。協議控制單元14可供相關指令發送相關測試協定，例如指令/流程斷電測試、初始化斷電測試、壓力測試之相關協議規範與流程，供執行儲存裝置20測試之檢查、比對及判斷測試成功與否。

數據暫存單元15連接系統控制單元11而可紀錄關鍵資料和資訊，以便於協議控制單元14檢查儲存裝置20儲存資料的正確性，例如斷電前寫入的N筆資料的長度和位置及其它不會被覆蓋的固定資料區域等。

藉此，組構成一種可程式化、且模擬不正常斷電測試之用於儲存裝置之不正常斷電測試設備者。

測試設備10於實際運用時依照NVMe之儲存裝置20的測試規範(如JDEC 218、219)。測試設備10之系統控制單元11會根據工作負載模擬單元12的參數來儲存裝置20作動，並用電力控制單元13來執行不正常斷電動作。工作負載模擬單元12包含模擬各種工作負載環境的所有指令與各指令發生的比例。然後，協議控制單元14對儲存裝置20執行各種測試模式，包含但不限於指令/流程斷電測試、初始化斷電測試及壓力測試。

第二、三圖所示為本發明用於儲存裝置之不正常斷電測試方法的流程圖。

首先，執行步驟S101，使至少一儲存裝置執行至少一模擬工作負載之運行。測試設備10之系統控制單元11依工作負載模擬單元12的設定，使儲存裝置20執行至少一模擬工作負載，例如連續讀寫、隨機讀寫、讀寫大檔案或小檔案。

接著，執行步驟S102，依設定令儲存裝置20進行包含一指定測試模式之斷電測試。電力控制單元13依設定，於儲存裝置20的模擬工作負載運行中，進行至少一指定時刻的斷電。協議控制單元14對儲存裝置20執行相對應斷電之一測試模式。測試模式可以是一指令/流程斷電測試A、一裝置初始化斷電測試B或一壓力測試C。指令/流程斷電測試A包含一個指令斷電測試、或由至少一個指令斷電測試所組成的流程斷電測試。測試模式進一步可以是重覆執行指令/流程斷電測試A或裝置初始化斷電測試B之壓力測試C。若指令/流程斷電測試A斷電後觸發裝置初始化斷電測試B，則根據裝置初始化斷電測試B的壓力測試條件，決定是否連續斷、上電。若未進入裝置初始化斷電測試B，則繼續執行步驟S103的正常上電流 程。針對不同測試模式的執行流程則如第三圖所示。

執行指令/流程斷電測試A時，係於步驟S101後，執行步驟S1022、根據設定對欲中途斷電的指令斷電。在儲存裝置20上電後至協議控制單元14可下指令的階段，工作負載模擬單元12令儲存裝置20執行模擬工作負載一段時間。然後，電力控制單元13依指令的比例斷電。為了增或減特定指令出現的頻率，在此加入協議控制單元14之可程式化參數，可複製特定的情況或任意模擬NVMe指令的行為，並對儲存裝置20的指令執行斷電。指令可包括NVMe協定所規範的指令。且在斷電的過程中，已發出之NVMe指令不必等待指令的回應，而是在指令送出後的任意時刻執行斷電，這樣的突然斷電才能有效的攻擊在裝置韌體正在搬移或寫入快閃記憶體22的動作。

接著執行步驟S1023，判斷是否執行裝置初始化斷電測試。斷電後，根據測試參數判斷是否執行裝置初始化斷電測試B。若參數設定為需要執行裝置初始化斷電測試B，則進行步驟S1026。反之，若參數設定為不需要執行裝置初始化斷電測試B，則進行步驟S103。

執行裝置初始化斷電測試B時，於步驟S1023後，執行步驟S1026，儲存裝置上電。必須在發生斷電後才能執行此流程。

然後，執行步驟S1027，將CC.EN設為1。依NVMe協議規範，測試設備10對NVMe之儲存裝置20暫存的CC.EN設為1時，測試設備10重複讀取儲存裝置20的暫存數據中CSTS.RDY狀態，直到由0轉換成1為止。在轉換的工程中，儲存裝置20必須遵守裝置控制單元21的超時(Timeout)值。當轉換成1，儲存裝置20已經準備完成，測試設備10可進一步 對儲存裝置20下相關指令。

然後，執行步驟S1028，測試系統在平均初始化時間內斷電。在CSTS.RDY轉換的過程中，裝置韌體有可能正在處理前次尚未完成的任務(可能為GC、WL或POR等)，或正在存取或搬動快閃記憶體22的資料。在此時刻加可程式化的參數並在流程中執行斷電，將會有較大概率打中裝置韌體處理各項複雜任務中的瑕疵。

接著，執行步驟S1029，判斷是否滿足裝置初始化斷電測試條件。儲存裝置20依測試規範判斷是否完成指定測試之條件。若未滿足指定的測試條件，則重新執行步驟S1026，繼續對儲存裝置20進行設定條件的測試。若已滿足指定的測試條件，則執行步驟S103。

在壓力測試C中，將指令/流程斷電測試A和裝置初始化斷電測試B融入整體的斷電系統，並加可程式化的條件作為壓力測試停止的依據。如此，可將各種可能發生的因素組合成一個系統，以達到可連續重複觸發的目的。

然後，執行步驟S103，令儲存裝置20重新上電，並檢查儲存裝置20的初始化時間是否正常。儲存裝置20在運行中指定時刻斷電後，電力控制單元13重新供電給儲存裝置20。協議控制單元14依測試規範檢查儲存裝置20之初始化時間是否正常。若正常，則執行步驟S104。若不正常，則表示測試失敗。

緊接著，執行步驟S104，判斷是否滿足指定之指令斷電測試的壓力測試條件。當儲存裝置20完成指令/流程斷電測試A或裝置初始化斷電測試B之測試後，依測試規範判斷是否完成指定測試中相對應的指令斷電測試條件。若未滿足測 試條件，則再執行步驟S102，對儲存裝置20進行設定條件的測試。若已滿足指定的指令斷電測試條件，則執行步驟S105。

之後，執行步驟S105，比對上述儲存裝置之關鍵數據是否正確。在判斷儲存裝置20重新上電運行的初始化時間正常後，系統控制單元11進一步透過數據暫存單元15比對儲存裝置20中儲存資料之關鍵數據的正確性，例如斷電前寫入的N筆資料的長度和位置及其他不會被覆蓋的固定資料區域等。若關鍵數據正確，則執行步驟S106。若關鍵數據不正確，則表示測試失敗。

最後，執行步驟S106，檢查儲存裝置20是否滿足測試條件。當儲存裝置20依序完成指定斷電測試模式之測試、初始化時間之檢查及儲存資料關鍵數據之比對後，進一步依據測試規範判斷是否完成指定測試方式、測試次數及測試循環之條件。若尚未滿足指定的測試條件，則再執行步驟S101，對儲存裝置20進行設定條件的測試。若已滿足指定的測試條件，則表示測試成功，並結束儲存裝置20之測試。

依本發明整體斷電測試的原理描述，在斷電之後跳至下一階段，必須檢查正常上電後NVMe之儲存裝置20之CSTS.RDY的初始化時間是否都在NVMe協議規範的超時(timeout)時間內完成。若檢查失敗，則代表裝置韌體可能在前次的斷電影響下已經出現問題了，須重新檢視該斷電行為對裝置韌體所造成的危害並修復。

經由上述的說明，本發明透過不正常斷電測試設備及其不正常斷電測試方法之設計，使其對NVMe之儲存裝置20的測試上有若干優點及實用價值。

首先，本發明可用指令斷電測試來進行指定測 試。與一般現有隨機斷電的測試方法不同，本發明可控制斷電指令，使其發生在指令送出後的某時刻上，能更滿足測試需求。

再者，本發明之流程斷電測試可進行可程式化的測試設計，讓測試可控制依NVMe協定的各種NVMe行為，並將其程式化控制，使斷電發生在NVMe各種行為中，來達到控制特定行為斷電的發生。

本發明之壓力測試可運用在指令/流程斷電測試與初始化斷電測試上，增加工作負載的隨機情境模擬或測試循環次數，藉此提升錯誤種類的數量，以驗證儲存裝置20中裝置韌體對不同錯誤種類之處理的妥善率。

另外，本發明藉可程式化的測試設計進行測試，供模擬在不正常斷電下執行測試，以快速發現裝置韌體潛在問題及演算法漏洞，而提升儲存裝置的裝置韌體的穩定性與可靠度。

綜上所述，可理解本發明具極佳創意，有效解決現有問題，大幅增進功效，且在相同的技術領域中未見相同或近似的產品創作或公開使用。故本發明符合發明專利有關「新穎性」與「進步性」的要件，乃依法提出發明專利之申請。

Claims (7)

1. 一種測試設備，依至少一測試規範，在至少一儲存裝置，模擬至少一工作負載，並於指定時刻執行至少一測試，該測試設備包括：一系統控制單元，可運算、接受及回覆測試時傳送的指令；一工作負載模擬單元，連接該系統控制單元，並可依指令對該儲存裝置執行要測試的各種工作負載模擬；一電力控制單元，連接該系統控制單元，並可選擇性連接該儲存裝置，且依指令執行該儲存裝置之斷電與上電；一協議控制單元，連接該系統控制單元，並可選擇性連接該儲存裝置，且發送相關測試協定之指令；一數據暫存單元，連接該系統控制單元，並可紀錄關鍵資料和資訊以檢查該儲存裝置儲存資料的正確性，其中該測試裝置是可程式化。
2. 如申請專利範圍第1項所述之測試設備，其中該儲存裝置可以是NVMe之儲存裝置。
3. 一種測試方法，依至少一測試規範，於至少一儲存裝置，模擬至少一工作負載，並於指定時刻執行至少一測試，該測試方法包括以下步驟：步驟(S101)、使至少一儲存裝置執行至少一模擬工作負載之運行，之後執行步驟(S102)； 該步驟(S102)、根據設定令上述儲存裝置進行至少一斷電測試，該斷電測試模式至少包含一指令/流程斷電測試、一裝置初始化斷電測試或一壓力測試，之後執行步驟(S103)；該步驟(S103)、令上述儲存裝置重新上電，並檢查該儲存裝置的初始化時間是否正常，如果正常則執行步驟(S104)，若不正常則測試失敗；該步驟(S104)、是否滿足指定之指令斷電測試的壓力測試條件，當尚未滿足測試條件，則重新執行該步驟(S102)，如果已滿足指定的指令斷電測試條件則繼續執行步驟(S105)；該步驟(S105)、比對上述儲存裝置之關鍵數據是否正確，如果正確則執行步驟(S106)，若不正常則測試失敗；及該步驟(S106)、檢查上述儲存裝置是否滿足測試條件，若尚未滿足測試條件，則回到執行該步驟(S101)繼續測試，如果滿足條件測試條件，則測試成功並結束測試。
4. 如申請專利範圍第3項所述之測試方法，其中該指令/流程斷電測試可以是一個指令斷電測試、或由至少一個指令斷電測試所組成的流程斷電測試。
5. 如申請專利範圍第3或4項所述之測試方法，其中該測試模式可以是重覆執行指令/流程斷電測試或裝置初始化斷電測試之壓力測試。
6. 如申請專利範圍第3項所述之測試方法，其中該步驟(S102)中，於斷電後，有機率觸發初始化斷電測試模組，並根據 初始化斷電的壓力測試條件，決定是否連續斷上電，若未進入初始化斷電測試，則繼續執行該步驟(S103)的正常上電流程。
7. 如申請專利範圍第3項所述之測試方法，其中該儲存裝置可以是NVMe之儲存裝置。