JP2022025055A - リソースベースのコマンドのスケジューリングに対するシステム及び方法 - Google Patents

リソースベースのコマンドのスケジューリングに対するシステム及び方法 Download PDF

Info

Publication number
JP2022025055A
JP2022025055A JP2021123001A JP2021123001A JP2022025055A JP 2022025055 A JP2022025055 A JP 2022025055A JP 2021123001 A JP2021123001 A JP 2021123001A JP 2021123001 A JP2021123001 A JP 2021123001A JP 2022025055 A JP2022025055 A JP 2022025055A
Authority
JP
Japan
Prior art keywords
command
queue
pool
resource set
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021123001A
Other languages
English (en)
Inventor
亮 ソク 奇
Yang Seok Ki
一 九 洪
Ilgu Hong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2022025055A publication Critical patent/JP2022025055A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4812—Task transfer initiation or dispatching by interrupt, e.g. masked
    • G06F9/4831—Task transfer initiation or dispatching by interrupt, e.g. masked with variable priority
    • G06F9/4837—Task transfer initiation or dispatching by interrupt, e.g. masked with variable priority time dependent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5011—Pool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/503—Resource availability

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Figure 2022025055000001
【課題】１つ以上のサーバーを含むシステムにおけるメモリリソースを管理するためのシステム及び方法を提供する。
【解決手段】本発明のストレージ装置による処理のためのコマンドのスケジューリング方法は、アプリケーションからコマンドを受信して第１キューに格納し、ストレージ装置により管理される第１リソース集合に対する情報を獲得し、第１リソース集合に対する情報に基づいて第２リソース集合を同期化し、第２リソース集合を第１プール及び第２プールに割り当て、第１プールで第２リソース集合の条件を決定し、条件の第１決定に基づいて、第１プールで第２リソース集合のうちのいずれか１つをコマンドに割り当て、条件の第２決定に基づいて、第２プールで第２リソース集合のうちのいずれか１つをコマンドに割り当てる。
【選択図】図５

Description

本発明は、ストレージ装置に関し、より詳細には、ストレージ装置のハードウェアリソースに基づいてコマンドをスケジューリングするシステム及び方法に関する。
ホストコンピューティング装置は、ストレージ装置による処理のためのコマンド（例えば、リード（ｒｅａｄ）及びライト（ｗｒｉｔｅ）のコマンド）を提供する。ホストコンピューティング装置は、コマンドの実行のための特定のＱｏＳ（ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）の期待値を有する。しかし、特定の状況では、ＱｏＳ要求値に応じてコマンドを処理するハードウェアリソースが十分ではなく、ジッター（ｊｉｔｔｅｒ）が引き起こされる。
従って、ＱｏＳ要求値を満たすために、ストレージ装置のハードウェアリソースの利用可能性を考慮したストレージ装置による処理のためのコマンドをスケジューリングするシステム及び方法が要求される。
米国特許第６４６６５５９号明細書 米国特許第６８５７０２０号明細書 米国特許出願公開第２０１０／０１４６１０３号明細書 米国特許出願公開第２０１８／０１４３８５５号明細書 米国特許出願公開第２０１９／０１１４２０８号明細書 米国特許出願公開第２０２０／０１０４１８４号明細書
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、１つ以上のサーバーを含むシステムにおけるメモリリソースを管理するためのシステム及び方法を提供することにある。
上記目的を達成するためになされた本発明の一態様によるストレージ装置による処理のためのコマンドのスケジューリング方法は、アプリケーションからコマンドを受信して第１キュー（ｑｕｅｕｅ）に格納する段階と、前記ストレージ装置により管理される第１リソース集合に対する情報を獲得する段階と、前記第１リソース集合に対する情報に基づいて第２リソース集合を同期化する段階と、前記第２リソース集合を第１プール（ｐｏｏｌ）及び第２プールに割り当てる段階と、前記第１プールで前記第２リソース集合の条件を決定する段階と、前記条件の第１決定に基づいて、前記第１プールで前記第２リソース集合のうちのいずれか１つを前記コマンドに割り当てる段階と、前記条件の第２決定に基づいて、前記第２プールで前記第２リソース集合のうちのいずれか１つを前記コマンドに割り当てる段階と、を有し、前記コマンドは、前記第２リソース集合のうちのいずれか１つの割り当てに基づいて、前記ストレージ装置による処理のための前記ストレージ装置に関連する第２キューに格納される。
前記コマンドは、ホスト上で実行中のアプリケーションからのデータオペレーションを含み、前記コマンドの処理は、不揮発性ストレージ媒体に対する前記データオペレーションを遂行し得る。
前記第１リソース集合に対する情報は、前記コマンドを処理するための前記第１リソース集合の利用可能性を含み得る。
前記第１リソース集合に対する情報に基づいて第２リソース集合を同期化する段階は、基準を満足するか否かを判定する段階と、前記基準を満足するか否かに基づいて、使用可能な前記第１リソース集合の数を決定する段階と、使用可能な前記第１リソース集合の数と同じになるように、使用可能な前記第２リソース集合の数を設定する段階と、を含み得る。
前記条件は、期間の満了を含み得る。
前記第１プールは、前記第１キュー及び前記第２キューにより共有され、前記第２プールは、前記第１キューのために予約され得る。
前記第２プールは、検出された条件に基づいて動的に決定され得る。
前記検出された基準は、前記第１キューに対するＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）要求値の識別を含み得る。
前記方法は、前記ストレージ装置により、前記第２キューにコマンドを格納することに基づいて、前記第１リソース集合のうちのいずれか１つを割り当てる段階と、前記コマンドを処理する段階と、前記コマンドの処理の完了に基づいて、前記第１リソース集合のうちのいずれか１つを割り当て解除する段階と、を更に有する。
前記条件は、前記第１プールでの前記第２リソース集合の利用可能性であり得る。
上記目的を達成するためになされた本発明の一態様によるストレージ装置による処理のためのコマンドのスケジューリングシステムは、プロセッサと、命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を格納するメモリと、を備え、前記命令語が実行されると、前記プロセッサは、アプリケーションからコマンドを受信して第１キュー（ｑｕｅｕｅ）に格納し、前記ストレージ装置により管理される第１リソース集合に対する情報を獲得し、前記第１リソース集合に対する情報に基づいて第２リソース集合を同期化し、前記第２リソース集合を第１プール（ｐｏｏｌ）及び第２プールに割り当て、前記第１プールで前記第２リソース集合の条件を決定し、前記条件の第１決定に基づいて、第１プールで前記第２リソース集合のうちのいずれか１つを前記コマンドに割り当て、前記条件の第２決定に基づいて、前記第２プールで前記第２リソース集合のうちのいずれか１つを前記コマンドに割り当てるようにし、前記コマンドは、前記第２リソース集合のうちのいずれか１つの割り当てに基づいて、前記ストレージ装置による処理のための前記ストレージ装置に関連する第２キューに格納される。
本発明の実施形態の特徴、態様、利点は、後述する発明の詳細な説明、請求項、及び図面に関連して考慮すると、完全に理解することができる。
本発明によると、ストレージ装置のハードウェアリソースの利用可能性を考慮してストレージ装置による処理のためのコマンドをスケジューリングすることによりＱｏＳ要求値を満たすことができる。
現在の技術のメカニズムに基づいてコマンドをスケジューリングするシステムの概念的なブロック図である。 一実施形態によるリソースベースのコマンドスケジューリングシステムのブロック図である。 図２のシステムの多様な抽象化レイヤーを示すブロック図である 第１及び第２キューからコマンドをスケジューリングする図２の概念的なブロック図である。 一実施形態によるソフトウェアキューに格納されるリソースベースのコマンドスケジューリングの処理フローチャートである
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。ここで同じ参照符号は同じ構成要素を指す。しかし、本発明は、多様な形態に具現化され、後述する実施形態に限定されるものと解釈してはならない。むしろ、実施形態は、本発明が徹底且つ完全になるように、そして通常の技術者に本発明の態様及び特徴を完全に伝達できるようにする例として提供する。従って、本発明の態様及び特徴の完全な理解のために必要としないプロセス、要素（エレメント）、及び技術は、説明しないことがある。別途の言及がない限り、同じ参照符号は、図面及び後述する説明全体に亘って同じ要素を表すため、繰り返さないことがある。なお、図面では、要素、レイヤー、及び領域の相対的なサイズは、明確性のために誇張及び／又は簡略化（単純化）されることがある。
一般的に、ストレージ装置は、ホストコンピューティング装置からのコマンドを処理するための限られた数のハードウェアリソースを有する。例えば、ハードウェアリソースは、ハードウェアキュー及び処理のためのコマンドをスケジューリングするために使用されるトークン（ｔｏｋｅｎｓ）である。ハードウェアキューのサイズ及び関連トークンの数は、実装に応じて異なり、ストレージ装置の性能及びＱｏＳ要求値に依存的である。
ストレージ装置と相互作用する装置ドライバは、ソフトウェアリソースを、処理されるコマンドに割り当てる。例えば、ソフトウェアリソースは、ソフトウェアキュー及び関連トークンである。ソフトウェアキュー及び関連トークンの深さは任意であり、ハードウェアキュー及びこれに関連するトークンの深さを超えることがある。これにより、装置ドライバは、ストレージ装置で利用可能なハードウェアリソースよりも多くのコマンドをスケジューリングすることができる。このような状況では、装置ドライバによってスケジューリングされているがハードウェアリソースを使用できないコマンドは、処理が遅延されて高いジッターが発生する。
図１は、現在の技術のメカニズムに基づいてコマンドをスケジューリングするシステムの概念的なブロック図である。システムは、ストレージ装置１０２による処理のためのコマンドをサブミット（ｓｕｂｍｉｔ）する装置ドライバ１００を含む。装置ドライバ１００は、ホスト処理装置の１つ以上のアプリケーションによってサブミットされたコマンドを格納する多様なソフトウェアキュー（１０４～１０８）を含む。例えば、Ｑ１（１０４）は、ライト（ｗｒｉｔｅ）コマンドを格納するように構成されたディープライトキュー（ｄｅｅｐ ｗｒｉｔｅ ｑｕｅｕｅ）である一方、Ｑ２（１０６）は、リード（ｒｅａｄ）コマンドを格納するように構成されたシャロウリードキュー（ｓｈａｌｌｏｗ ｒｅａｄ ｑｕｅｕｅ）である。処理のためにストレージ装置１０２にコマンドを伝達するように、コマンドは、ソフトウェアリソース（例えば、ソフトウェアキュー（１０４～１０８）及びトークン１１０）を使用する。
装置ドライバ１００と同様に、ストレージ装置１０２は、装置ドライバ１００によってサブミットされるコマンドを格納するように構成された１つ以上のハードウェアキュー（１１２～１１４）を含む。例えば、ハードウェアキュー１１２は、Ｑ１（１０４）及びＱ２（１０６）からフェッチ（ｆｅｔｃｈ）されるコマンドを格納するように構成される。ハードウェアキュー１１２内のコマンドは、ハードウェアリソース１１６（例えば、ハードウェアトークン）を使用する。ハードウェアリソース１１６が割り当てられているコマンドは、ストレージ装置による処理のためにスケジューリングされる。
装置ドライバ１００内に構成された多様なソフトウェアキュー（１０４～１０８）は、コマンドの処理のためのＱｏＳの提供を満たすためのものである。例えば、分離されたキュー（１０４及び１０６）内にライト（ｗｒｉｔｅ）及びリード（ｒｅａｄ）コマンドを分離してラウンドロビン（ｒｏｕｎｄ ｒｏｂｉｎ）のようなスケジューリングアルゴリズムを適用することにより、Ｑ２（１０６）内のリード（ｒｅａｄ）コマンドは、一般的に予測可能なタイムウィンドウ（ｔｉｍｅ ｗｉｎｄｏｗ）でサービスされる。但し、一部の状況で、Ｑ２（１０６）内に処理されることが予想されるコマンドがキューアップ（ｑｕｅｕｅ ｕｐ）されたにも拘らず、ストレージ装置内のリソースのコンフリクト（ｃｏｎｆｌｉｃｔｓ）に起因してＱ２（１０６）内のコマンドが予想通りにサービスされないことがある。
この点を説明するために、Ｑ１（１０４）が１０００個のライト（ｗｒｉｔｅ）コマンドをキューアップし、Ｑ２（１０６）が１０個のリード（ｒｅａｄ）コマンドをキューアップする例示が考慮される。１０００個のライト（ｗｒｉｔｅ）コマンドが１０００個のソフトウェアトークン１１０を使用して、処理のためにストレージ装置１０２にサブミットされると仮定する。しかし、この例示によると、ストレージ装置１０２は、７６８個のハードウェアトークン１１６のみが割り当てられる。従って、ストレージ装置１０２は、処理のためにＱ１（１０４）から、最大７６８個のライト（ｗｒｉｔｅ）コマンドをフェッチして、全ての７６８個のハードウェアトークン１１６が使用されるようにする。ライト（ｗｒｉｔｅ）コマンドが全てのハードウェアトークン１１６を使用して、ソフトウェアトークン１１０が割り当てられる更に多くのライトコマンドが処理されるように残されるという点を考慮すると、予想タイムウィンドウの間にＱ２（１０６）内のリード（ｒｅａｄ）コマンドが処理されることは可能でない。従って、Ｑ２（１０６）に対するＱｏＳ要求値を満たすことは可能でない。
本発明の実施形態は、処理を目的としてコマンドをサブミットするために、ストレージ装置のハードウェアリソースの利用可能性を考慮したコマンドのリソースベースのスケジューリングシステム及び方法に関するものである。一実施形態によると、ストレージ装置のハードウェアリソースは、ソフトウェアリソースと一致化／同期化するためにモニタリング（監視）される。一度同期化されると、ソフトウェアリソースが所望の通りコマンドに割り当てられる。例えば、コマンドにソフトウェアリソースを割り当てることは、サービス水準合意（ｓｅｒｖｉｃｅ ｌｅｖｅｌ ａｇｒｅｅｍｅｎｔ：ＳＬＡ）に明示されたように決定されたＱｏＳに基づく。ソフトウェアリソースの割り当てを決定するために使用される基準の例示としてＱｏＳが使用されるが、通常の技術者は、他の基準（例えば、ユーザー・プリファレンス（ｕｓｅｒ ｐｒｅｆｅｒｅｎｃｅ）など）も考慮され得ることを認識しなければならない。
一実施形態によると、装置ドライバ１００は、ハードウェアリソース情報を識別し、ソフトウェアのリソース情報をそれに応じてアップデートするように構成されたソフトウェアトークンのマネージャーを含む。一実施形態で、ソフトウェアトークンのマネージャーは、多数の利用可能なハードウェアリソースに一致するように、多数の利用可能なソフトウェアリソースをアップデートする。利用可能なソフトウェアリソースの特定の部分は、例えばＱｏＳ期待値に基づいて装置ドライバの１つ以上のキューのために予約される。残りのソフトウェアリソースは、共有プールの一部である。一実施形態で、ソフトウェアトークンのマネージャーは、処理を目的としてストレージ装置にコマンドをサブミットするために、共有プールからソフトウェアトークン／リソースをソフトウェアキューのコマンドに割り当てる。一実施形態によると、キューのコマンドに割り当てられるソフトウェアリソースが共有プールに存在しない場合、ソフトウェアトークンのマネージャーは、キューのために予約されたソフトウェアトークンにアクセス（ａｃｃｅｓｓ）して、予約されたトークンのうちのいずれか１つをコマンドに割り当てる。予約されたトークンは、コマンドがＱｏＳ要求値を満たすためにタイムリー（ｔｉｍｅｌｙ）に処理されるようにする。
図２は、一実施形態によるリソースベースのコマンドスケジューリングシステムのブロック図である。システムは、ストレージインターフェースバス２０４を介してストレージ装置２０２に連結されるホストコンピューティング装置２００を含む。例えば、ストレージ装置２０２は、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、ｅＳＳＤ（Ｅｔｈｅｒｎｅｔ ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）ドライブ、ＳＤ（ｓｅｃｕｒｉｔｙ ｄｉｇｉｔａｌ）カード、ｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ－Ｍｅｄｉａ Ｃｏｎｔｒｏｌｌｅｒ）、ＵＦＣ（Ｕｎｉｖｅｒｓａｌ Ｆｌａｓｈ Ｓｔｏｒａｇｅ）などのような不揮発性ストレージ装置である。例えば、ストレージインターフェースバス２０４は、ＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）バス、イーサネット（登録商標）（ｅｔｈｅｒｎｅｔ（登録商標））、及びＣＸＬ（Ｃｏｍｐｕｔｅ Ｅｘｐｒｅｓｓ Ｌｉｎｋ）である。一実施形態で、ホストコンピューティング装置２００は、ストレージインターフェースプロトコルを使用して、ストレージインターフェースバス２０４を介してストレージ装置２０２とデータを送受信する。例えば、ストレージインターフェースプロトコルは、ＮＶＭｅ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ ｅｘｐｒｅｓｓ）又は処理されるコマンドを格納するためにキューを使用するその他の類似するプロトコルである。
一実施形態で、ホストコンピューティング装置２００は、ホストコンピューティング装置２００のアプリケーションレイヤーで実行中の１つ以上のアプリケーション２０６を含む。１つ以上のアプリケーション２０６は、プロセッサによる実行のためにホストメモリ領域に格納されるソフトウェアアプリケーションである。一実施形態で、１つ以上のアプリケーション２０６は、処理のためにストレージ装置２０２にコマンドを送る。例えば、１つ以上のアプリケーションは、ストレージ装置２０２からデータを読み取るためのリード（ｒｅａｄ）コマンド、ストレージ装置２０２にデータを書き込むためのライトコマンド及び／又は他の入出力（Ｉ／Ｏ）要請を発行する。
一実施形態で、ホストコンピューティング装置２００は、ストレージ装置２０２とインターフェースするように構成された装置ドライバ２０８を含む。一実施形態で、装置ドライバ２０８は、ホストメモリに格納されてプロセッサによって実行されるソフトウェアの命令語として具現化される。装置ドライバ２０８は、１つ以上のキュー（２１２ａ、２１２ｂ）（以下、ソフトウェアキュー２１２）を含む。例えば、ソフトウェアキュー２１２は、１つ以上のサブミットキュー及び完了キューを含む。サブミットキューは、多様なアプリケーション２０６によってサブミットされたコマンド／リクエストを格納するように構成される。完了キューは、ストレージ装置２０２によって処理されたコマンド／リクエストに対する完了メッセージを格納するように構成される。
１つ以上のソフトウェアキュー２１２（例えば、サブミットキュー）は、ホストコンピューティング装置２００からの特定のタイプのコマンドを格納するために専用使用される。例えば、あるキューは、アプリケーションからのリードコマンドを格納するために専用使用される。一方、あるキューは、ライト（ｗｒｉｔｅ）コマンドを格納するために専用使用される。一実施形態で、特定のＱｏＳ要件は、１つ以上のＳＬＡに基づいてソフトウェアキュー２１２に対して課される。例えば、ソフトウェアキュー２１２の特定の数のコマンドは、与えられた時間内に処理されると予想される。他のＱｏＳ要件は、他のソフトウェアキュー２１２に関連する。
装置ドライバ２０８は、処理されるコマンドのスケジューリングに多くの影響を与えるソフトウェアリソースを管理するように構成されたソフトウェアトークンのマネージャー２１０を更に含む。例えば、ソフトウェアリソースはソフトウェアトークン及び／又はキュー２１２である。一実施形態で、ソフトウェアトークンのマネージャー２１０は、ストレージ装置からの情報に基づいてソフトウェアの利用可能性を決定し、ソフトウェアキュー２１２に格納されたコマンドに使用可能なトークンを割り当てるように構成される。ソフトウェアトークンのマネージャー２１０は、コントローラ及び／又はトークンタイプベイシス（ｂａｓｉｓ、基底）毎に利用可能な情報を保持するように構成される。割り当てられたトークンは、共有プールで使用可能な場合、共有プールから、又は任意のキューにサブミットされたコマンドに対して、そのキューのために予約されたプールからのものである。
一実施形態で、ストレージ装置２０２は、ホストコンピューティング装置２００と装置制御サブシステム２１６との間のインターフェーシング（ｉｎｔｅｒｆａｃｉｎｇ）のためのホストインターフェースレイヤー（ｈｏｓｔ ｉｎｔｅｒｆａｃｅ ｌａｙｅｒ：ＨＩＬ）２１４を含む。ホストインターフェース２１４は、限定なしに１つ以上のコントローラ２１８及び１つ以上のキュー（２２０ａ～２２０ｃ）（以下、ハードウェアキュー２２０）を含む。例えば、ハードウェアキュー２２０の深さは、ストレージ装置２０２の処理能力に応じて異なる。一実施形態で、異なるキューは、ストレージ装置２０２による異なるタイプの処理のために維持される。例えば、あるハードウェアキューはハードウェア・アクセラレーション・エンジンによる処理のためのコマンドを格納し、あるハードウェアキューはファームウェアを介して処理するためのコマンドを格納する。
コントローラ２１８は、１つ以上のプロセッサ（例えば、ＦＰＧＡ（ａ ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｎ ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ））を使用して具現化される。１つ以上のコントローラ２１８のうちのいずれか１つは、１つ以上のハードウェアキュー２２０に関連する。上述した１つ以上のコントローラ２１８のうちのいずれか１つは、ソフトウェアキュー２１２での処理のためにサブミットされるコマンドにハードウェアリソースを管理して割り当てるように構成される。例えば、ハードウェアリソースは、ハードウェアトークン及び／又はキュー２２０である。
一実施形態で、１つ以上のコントローラ２１８は、１つ以上のソフトウェアキュー２１２から入出力要請／コマンドをフェッチし、フェッチされたリクエストを１つ以上のコントローラ２１８に対応する一つ以上のハードウェアキュー２２０に格納するように構成される。いくつかの実施形態で、要請は、装置ドライバ２０８によってフェッチされてサブミットされる。
ハードウェアキュー２２０に格納されたコマンドは、処理のためにハードウェアトークンに割り当てられる。一実施形態で、異なるタイプのハードウェアトークンは、ハードウェアキュー２２０のタイプ及び個数に応じて維持されて割り当てられる。例えば、第１タイプのハードウェアトークンは、ハードウェア・アクセラレーション・エンジンによる処理のために専用使用される第１ハードウェアキュー２２０ａに割り当てられるのに対し、第２タイプのハードウェアトークンは、ファームウェアを介して処理のために専用使用される第２ハードウェアキュー２２０ｂに割り当てられる。
異なるキュー２２０のコマンドに割り当てられる利用可能なハードウェアトークンの数は、キューに既に存在するコマンドの数に依存的である。一実施形態で、トークンは、ハードウェアキューのタイプに基づいてコントローラ２１８によって割り当てられる。一実施形態で、ハードウェアトークンは１つ以上のハードウェアキュー２２０のコマンドを格納するために自動的に割り当てられる。割り当てられたハードウェアトークンを有するコマンドは、装置制御サブシステム２１６による処理のためにスケジューリングされる。
一実施形態で、装置制御サブシステム２１６は、アプリケーション２０６によって要請されたコマンドを実行するためにコントローラ２１８と相互作用する。装置制御サブシステム２１６は、限定なしに１つ以上のプロセッサ２２２及び１つ以上のメディアインターフェースを含む。１つ以上のプロセッサ２２２は、コントローラ２１８への又はコントローラ２１８からのコマンドを処理し、ストレージ装置２０２のオペレーションを管理するためにコンピュータ読み取り可能な命令語を実行するように構成される。例えば、１つ以上のプロセッサ２２２によって実行されるコンピュータ読み取り可能な命令語は、ファームウェアコードである。
例えば、１つ以上のプロセッサ２２２は、ＮＶＭメディア２２６に又はＮＶＭメディア２２６からライト（ｗｒｉｔｅ）又はリード（ｒｅａｄ）のコマンドを受信するためにコントローラ２１８と相互作用するように構成される。１つ以上のプロセッサ２２２は、ライト（ｗｒｉｔｅ）又はリード（ｒｅａｄ）の動作を実行するために、メディアインターフェース２２４を介してＮＶＭメディア２２６と相互作用する。ＮＶＭメディア２２６は、１つ以上のタイプの不揮発性メモリ（例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ））を含む。
一実施形態で、ストレージ装置２０２は、ストレージ装置２０２の実行中に短期ストレージや一時的な記憶のための内部メモリ２２８を更に含む。内部メモリ２２８は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、及び／又はＤＴＣＭ（Ｄａｔａ Ｔｉｇｈｔｌｙ Ｃｏｕｐｌｅｄ Ｍｅｍｏｒｙ）を含む。例えば、内部メモリ２２８は、ハードウェアキュー２２０を格納するために使用される。
図３は、図２のシステムの多様な抽象化レイヤーを示すブロック図である。説明の便宜のために、以下、図２を参照して図３を説明する。ホストコンピューティング装置２００の抽象化レイヤーは、アプリケーションレイヤー３００及び装置ドライバレイヤー３０２を含む。アプリケーションレイヤー３００は、アプリケーション２０６から発行された入出力要請に基づいてコマンドを生成するように構成される。アプリケーションレイヤー３００によって生成されたコマンドは、ストレージ装置２０２と通信するために使用されるストレージインターフェースバス２０４のストレージインターフェースプロトコルを確認する。
一実施形態で、装置ドライバレイヤー３０２は、ソフトウェアキュー２１２及びソフトウェアトークンのマネージャー２１０を含む。例えば、アプリケーションレイヤー３００によって生成されたコマンドは、コマンドタイプに基づいて装置ドライバ２０８のキュー２１２に格納される。ソフトウェアトークンのマネージャー２１０は、ストレージ装置２０２からの情報に基づいてソフトウェアトークンの利用可能性を決定し、ソフトウェアキュー２１２に格納されたコマンドに利用可能なトークンを割り当てる。全てのトークンが割り当てられている場合には、サービスは拒否される。一実施形態で、コマンドは、ソフトウェアキュー２１２にキューイング（ｑｕｅｕｉｎｇ）されるように許容されるが、利用可能なトークンが存在しない場合、コマンドは、処理のためのハードウェアキュー２２０にサブミットされない。
一実施形態で、ストレージ装置２０２は、多様なサブレイヤーを含むストレージレイヤー３０４を含む。多様なサブレイヤーは、ホストインターフェースレイヤー２１４だけでなく、ＮＶＭメディア２２６とのインターフェースのための他のレイヤー、例えばフラッシュ変換レイヤー３０６及びフラッシュインターフェースレイヤー３０８を含む。ＮＶＭメディア２２６は、フラッシュメディア３１０として、ストレージレイヤー３０４に含まれる。
図４は、第１及び第２のキューからコマンドをスケジューリングする図２の概念的なブロック図である。ソフトウェアトークンのマネージャー２１０は、共有プールで使用可能なソフトウェアトークンの数に対する情報と、予約されたプールで使用可能なソフトウェアトークンの数に対する情報とを含む利用可能なソフトウェアトークン４００に対する情報を管理する。一実施形態で、ソフトウェアトークンのマネージャー２１０は、ストレージ装置２０２の多様なコントローラ２１８のうちのいずれか１つによって管理されるキュー１１２に対するトークンの利用可能な情報を維持する。ストレージ装置２０２が複数のコントローラ２１８を含む場合、ソフトウェアトークンのマネージャー２１０は、複数のコントローラ２１８によって管理されるキューに対する複数のトークンの利用可能な情報集合を維持する。
また、ソフトウェアトークンのマネージャー２１０は、与えられた利用可能なトークンの集合において異なるタイプのトークンの利用可能な情報を保持する。例えば、コマンドがハードウェア・アクセラレーション・エンジンによって処理されるか、又はファームウェアを介して処理されるかに応じて、異なるトークンが割り当てられる。ソフトウェアトークンのマネージャー２１０は、ハードウェア・アクセラレーション処理のためのトークン及びファームウェアの処理のためのトークンの利用可能性をモニタリング（監視）し、利用可能性に基づいてコマンドに適切なタイプのトークンを割り当てるように構成される。
一実施形態で、特定の数のソフトウェアトークンは、各ソフトウェアキュー２１２に対する予約プールに予約される。また、予約は、異なるトークンタイプに基づく。ソフトウェアキューに予約されたソフトウェアトークンの数は、異なるキュー及びトークンタイプに応じて同一であるか又は異なる。
一実施形態で、キュー２１２（トークンタイプも含まれるものと理解すべきである）に予約されたトークンの数は、１つ以上の基準に基づいて動的に決定される。例えば、基準は、利用統計及び／又はＳＬＡ要求値である。一実施形態で、ソフトウェアトークンのマネージャー２１０は、キュー２１２に対するＳＬＡ要求値（例えば、毎秒要求される入出力、帯域幅など）を識別し、ＳＬＡ要求値に基づいて利用可能なソフトウェアトークン４００の一部を専用使用するように構成される。例えば、キューに対する帯域幅の要求値がＢＷ１であり、全体の利用可能な帯域幅がＢＷである場合、予約されたトークンの数は、ＢＷ１対ＢＷの比率（ＢＷ１／ＢＷ）に基づく。
いくつかの実施形態で、ソフトウェアトークンのマネージャー２１０は、使用期間、使用量、及び使用を担当するアプリケーションなどを含めてソフトウェアキューの使用に関連する履歴情報を収集し、履歴情報に基づいてキューに予約されたトークンの数を動的に調整するように構成される。このような方式で、キュー２１２のうちのいずれか１つの使用量が高まると予測される特定の期間が到来すると、ソフトウェアトークンのマネージャー２１０は、予測に基づいてキューに更に多くのトークンを予約するように構成される。
他のいくつかの実施形態で、ソフトウェアトークンのマネージャー２１０は、アプリケーション２０６から予想される（例えば、次のミリ秒（ｍｉｌｌｉｓｅｃｏｎｄ）内に）コマンドの数及びタイプに関する情報を多様なアプリケーション２０６から受信する。ソフトウェアトークンのマネージャー２１０は、情報に基づいて影響を受けるキューに対する予約されたトークンの数を動的に調整する。例えば、第１キューが第２キューよりも多く活用されると予想される場合、与えられた期間中に第１キューに対する予約されたトークンの数は、第２キューに対する予約されたトークンの数よりも比率的にもっと多い。
例えば、与えられたタイムウィンドウにおいて特定のコントローラ２１８に対してソフトウェアトークンのマネージャー２１０によって識別された利用可能なソフトウェアトークン４００の総数は７６８である。利用可能なソフトウェアトークン４００の数は、特定のコントローラ２１８に関連するハードウェアトークン４０２の総数に一致する。ソフトウェアトークンのマネージャー２１０は、予約プールで使用可能なソフトウェアトークン４００の特定の数を予約するように構成される。例えば、使用可能なトークンの１０％（例えば、７７個）は予約プールに割り当てられ、残りの６９１個のトークンは共用プールに割り当てられる。ソフトウェアキューＱ１（２１２ａ）のうちの第１キューには６９１個のコマンドが格納され、ソフトウェアキューＱ２（２１２ｂ）のうちの第２キューに２つのコマンドが格納された場合、ソフトウェアトークンのマネージャー２１０は、スケジューリングアルゴリズム（例えば、ラウンドロビン、加重ラウンドロビン、又は固定優先順位など）に基づいて処理するためにＱ１（２１２ａ）でコマンドをスケジューリングするように構成される。Ｑ１（２１２ａ）のコマンドは、処理のためにコマンドが関連ハードウェアキュー２２０ａにサブミットされるように、共有プールで６９１個の使用可能なソフトウェアトークンが割り当てられる。ハードウェアキュー２２０ａにサブミットされた６９１個のコマンドは、利用可能なハードウェアトークン４０２のプールから６９１個のハードウェアトークンを使用する。
Ｑ２（２１２ｂ）の２つのコマンドは、スケジューリングアルゴリズムによる処理のために次に選択される。Ｑ１（２１２ａ）のコマンドに割り当てられた６９１個のトークンがまだリリース（ｒｅｌｅａｓｅ）されなかったと仮定した場合、Ｑ２（２１２ｂ）のコマンドに割り当てられる共有プール内のトークンがもはや存在しない。しかし、７７個のトークンが予約プールに割り当てられて多様なソフトウェアキュー２１２の中で分割された場合、Ｑ２（２１２ｂ）に割り当てられた予約プールのソフトウェアトークンのうちの２つがＱ２（２１２ｂ）に割り当てられる。これに関連し、共有プールに利用可能なソフトウェアトークンがもはや存在していないにも拘らず、Ｑ２（２１２ｂ）の２つのコマンドは、予約されたソフトウェアトークンを使用する処理のために、対応するハードウェアキュー２２０ａに続けてサブミットし、これはスケジューリングの公平性が維持されるようにする。ハードウェアキューにサブミットされた２つのコマンドは、利用可能なハードウェアトークンから２つのトークンを使用することにより、使用可能なハードウェアトークン４０２の総数を７５個に減少させる。
一実施形態で、アップデートされたハードウェアトークンに関する情報は、コマンドを介して又はＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）４０４を介してソフトウェアトークンのマネージャー２１０に開示される。その後、情報は、ソフトウェアトークン４００を同期化するために、ソフトウェアトークンのマネージャー２１０によって使用される。アップデートされたトークンに関する情報は、周期的に（規則的又は不規則的に）ソフトウェアトークンのマネージャー２１０にプッシュ（ｐｕｓｈ）されるか、或いはストレージ装置２２６からソフトウェアトークンのマネージャー２１０によってフェッチされる。例えば、コントローラ２１８は、プロセッサ２２２による１つ以上のコマンドの処理を完了することに基づいて、割り込み（ｉｎｔｅｒｒｕｐｔ）信号を使用して装置ドライバ２０８に完了メッセージをサブミットし、これは順次的に１つ以上の対応するハードウェアトークン４０２を割り当て解除／使用可能な状態にする。完了メッセージは、ソフトウェアトークンのマネージャー２１０に送信され、そして／又は１つ以上のソフトウェアキュー２１２の完了キューにサブミットされる。完了キューにサブミットされると、ソフトウェアトークンのマネージャー２１０は、完了キューから周期的に完了メッセージをフェッチし、利用可能なソフトウェアトークン４００をそれに応じてアップデートするように構成される。例えば、５つの処理されたコマンドに関連する１つ以上の完了メッセージがソフトウェアトークンのマネージャー２１０によって受信された場合、ソフトウェアトークンのマネージャー２１０は、前にコマンドに割り当てられた５つの対応するソフトウェアトークンを割り当て解除する。
図５は、一実施形態によるソフトウェアキュー２１２に格納されるリソースベースのコマンドスケジューリングの処理フローチャートである。処理段階の順序は固定されないが、通常の技術者によって認識される任意の順序に変更されることがあると理解すべきである。説明の便宜のために、図２を参照して以下の図５を説明する。
処理プロセスが開始され、段階５００で、ソフトウェアトークンのマネージャー２１０は、ソフトウェアキュー２１２のうちのいずれか１つのコマンドに対して、ソフトウェアトークンに対する要請を受信する。いくつかの実施形態で、キューでのコマンドの配置は、ソフトウェアトークンに対する要請であると見なされる。要請は、コマンドを格納するキューの識別子及びトークンタイプを含む。
段階５０２で、ソフトウェアトークンのマネージャー２１０は、利用可能なソフトウェアトークンに対する情報がアップデートされるか否かを判定する。例えば、ソフトウェアトークンは、期間満了のような基準を満たしているか、又は要請が受信されるときに共有プール及び予約プールで使用可能なソフトウェアトークンがないという判定に基づいてアップデートされる。
トークンの利用可能な情報がアップデートされるべき場合、段階５０４で、ソフトウェアトークンのマネージャー２１０は、利用可能なハードウェアトークンに関する情報を獲得し、利用可能なハードウェアトークンに一致するように使用可能なソフトウェアトークンを同期化する。例えば、これはアップデート情報を受信するために１つ以上のコントローラ２１８から割り込み信号を受信すること、又はストレージ装置２０２によって完了されたコマンドに関する情報に対して１つ以上の完了キューをクエリ（ｑｕｅｒｙ）することを含む。一実施形態で、アップデート情報は、ソフトウェアトークンのマネージャー２１０がトークンタイプ毎に１つ以上の利用可能なソフトウェアトークンを同期化するためのトークンタイプの情報を含む。
段階５０６で、ソフトウェアトークンのマネージャー２１０は、キュー毎及びトークンタイプ毎の特定の数の使用可能なトークンを予約する。例えば、使用可能なトークンの総数が１０００である場合、ソフトウェアトークンのマネージャー２１０は、１０％の利用可能なトークンを１番目のキューに割り当て、５％の利用可能なトークンを２番目のキューに割り当てる。その比率は、固定（例えば、手動設定）的であり、動的に決定される。他の比率も可能である。例えば、予約されたトークンの数は、キュー、キュータイプの予想使用率、及び／又はＱｏＳ期待値に基づく。
段階５０８で、残りの利用可能なトークンは、共有プールで共有トークンとして割り当てられる。
段階５１０で、共有プールの共有トークンが条件を満たしているか否かに対する判定が行われる。例えば、その条件は、コマンドに割り当てられた共有トークンの利用可能性である。条件が満足されると（例えば）、共有プールの使用可能なトークンは、段階５１２でコマンドに割り当てられる。コマンドは、処理のためにコントローラ２１８によってサブミット／フェッチされ、ハードウェアトークンの使用を引き起こす。
段階５１４で、ソフトウェアトークンのマネージャー２１０は、共有プールの使用可能なソフトウェアトークンの数を１つずつ減少させる。
段階５１０を再び参照すると、共有トークンが条件を満たしていないと判定されると（いいえ）（例えば、共有プールに共有トークンがない場合）、ソフトウェアトークンのマネージャー２１０は、段階５１６で、コマンドに関連するトークンタイプ及びキューに対して予約されたトークンが存在するか否かを判定する。存在する場合（はい）、トークンタイプ及びキューに対して予約プールで使用可能なトークンが段階５１８でコマンドに割り当てられる。
段階５２０で、ソフトウェアトークンのマネージャー２１０は、トークンタイプ及びキューに対して予約トークンの数を１つずつ減少させる。
コマンドに割り当てられた共有又は予約されたトークンがない場合、コマンドは、ソフトウェアトークンが再び使用可能になるまでサービスされないままキューに残る。
いくつかの実施形態において、上述したリソースベースのコマンドスケジューリングシステム及び方法は、１つ以上のプロセッサで実装される。ここで、プロセッサは、１つ以上のプロセッサ及び／又は１つ以上のプロセッシングコア（ｐｒｏｃｅｓｓｉｎｇ ｃｏｒｅｓ）を指す。１つ以上のプロセッサは、単一の装置でホスティングされるか、又は１つ以上の装置に亘って分散（例えば、クラウドシステムを介して）される。例えば、プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＣＰＵ（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｏｒ ｓｐｅｃｉａｌ ｐｕｒｐｏｓｅ ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）、及びＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）のようなプログラム可能な論理装置を含む。本明細書に記載されているプロセッサで、それぞれの機能は、その機能を遂行するように構成されたハードウェア、即ちハードワイヤ（ｈａｒｄ－ｗｉｒｅ）によって遂行されるか、又はＣＰＵのようなより汎用的なハードウェアによって遂行され、非一時的なストレージ媒体（例えば、メモリ）に格納されたコマンドを遂行するように構成される。プロセッサは、１つの印刷回路基板（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ、以下ＰＣＢと称する）で製作されるか、又は複数の相互連結されたＰＣＢに分散される。プロセッサは、他の処理回路、例えばＰＣＢ上で相互連結された２つの処理回路であるＦＰＧＡ及びＣＰＵを含む。
「第１」、「第２」、「第３」などが多様な要素、構成、領域、レイヤー、及び／又はセクションを説明するために使用されるが、これらの要素、構成、領域、レイヤー、及び／又はセクションは、これらの用語に限定されない。これらの用語は、要素、構成、領域、レイヤー、又はセクションを他の要素、構成、領域、レイヤー、又はセクションと区別するためにのみ使用される。従って、本明細書で議論された第１要素、構成、領域、レイヤー、又はセクションは、本発明の技術的思想及び範囲を逸脱することなく、第２要素、構成、領域、レイヤー、又はセクションと称される。
本明細書で使用される用語は、特定の実施形態を説明するためのものであり、本発明の概念を限定しようとする意図ではない。本明細書で使用される用語「実質的に」、「約」、及び類似の用語は、程度を表す用語ではなく、近似値を示す用語として使用され、通常の技術者によって認識される測定値又は計算値の固有の偏差を説明するものである。
本明細書で使用されているように、単数形で使用された単語は、文脈上明らかに別の意味を示していると判定されない限り、複数形も含むように意図される。本明細書で使用される場合、「含む（ｃｏｍｐｒｉｓｅｓ）」、及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、言及された特徴、整数、段階、演算、要素、及び構成の存在を明示するが、その存在又は１つ以上の他の特徴、整数、段階、演算、要素、構成、及び／又はそれらの集合の追加を排除しない。本明細書で使用される「及び／又は」は、１つ以上の関連するリスト項目の任意且つ全ての組み合わせを含む。「少なくとも１つ以上の」のような表現は、リストされた要素の前に来る場合、全体のリスト要素を修飾するが、個々のリスト要素を修飾しない。なお、本発明の実施形態を説明する際、「できる（ｍａｙ）」という用語は、「本発明の１つ以上の実施形態」を意味する。また、「例としての」という用語は、例示又は説明を示すものと意図される。本明細書で使用される「使用（ｕｓｅ）」、「使用している（ｕｓｉｎｇ）」、及び「使用された（ｕｓｅｄ）」は、それぞれ「活用する（ｕｔｉｌｉｚｅ）」、「活用している（ｕｔｉｌｉｚｉｎｇ）」、及び「活用された（ｕｔｉｌｉｚｅｄ）」という用語と同意語であると見なされる。
ある要素又はレイヤーに関連して、「上に置かれる」、「連結される」、「結合される」、又は「隣接する」と述べる場合、それは他の要素又はレイヤーに関連して、直接その上に配置されるか、連結されるか、結合されるか、隣接するか、又は１つ以上の介在する要素又はレイヤーが存在する。対照的に、要素又はレイヤーが他の要素又はレイヤーに関連して、「直接上に置かれた」、「直接連結される」、「直接結合される」、又は「すぐに隣接する」と記載されている場合は、介在する要素又はレイヤーが存在しないものと理解することができる。
本明細書で引用された任意の数値範囲は、引用された範囲内に含まれる同じ数値精度の全てのサブ範囲を含むように意図される。例えば、「１．０～１０．０」の範囲は、最小値１．０と最大値１０．０との間の全てのサブ範囲を含む。即ち、最小値が１．０以上であり、最大値が１０．０以下である（例えば、２．４～７．６）サブ範囲を含む。本明細書に記載された任意の最大値の限定は、その中に含まれる全てのより低い数値限定を含むように意図され、本明細書に記載された任意の最小の数値限定は、そこに含まれる全てのより高い数値限定を含むように意図される。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更実施することが可能である。
１００、２０８ 装置ドライバ
１０２、２０２ ストレージ装置（ＳＳＤ）
１０４、１０６、１０８、２１２ ソフトウェアキュー（Ｑ１～Ｑ４）
１１０ ソフトウェア（Ｓ／Ｗ）トークン
１１２、１１４、２２０ ハードウェアキュー
１１６ ハードウェア（Ｈ／Ｗ）トークン（ハードウェアリソース）
２００ ホストコンピューティング装置
２０４ ストレージインターフェースバス
２０６ アプリケーション
２１０ マネージャー
２１２ａ、２１２ｂ ソフトウェアキュー
２１４ ホストインターフェースレイヤー（ＨＩＬ）
２１６ 装置制御サブシステム
２１８ コントローラ
２２０ａ、２２０ｂ、２２０ｃ ハードウェアキュー
２２２ プロセッサ
２２４ メディアインターフェース
２２６ ＮＶＭメディア
２２８ 内部メモリ
３００ アプリケーションレイヤー
３０２ 装置ドライバレイヤー
３０４ ストレージレイヤー
３０６ フラッシュ変換レイヤー
３０８ フラッシュインターフェースレイヤー
３１０ フラッシュメディア
４００ 利用可能なソフトウェアトークン
４０２ ハードウェアトークン
４０４ ＡＰＩ

Claims (20)

  1. ストレージ装置による処理のためのコマンドのスケジューリング方法であって、
    アプリケーションからコマンドを受信して第１キュー（ｑｕｅｕｅ）に格納する段階と、
    前記ストレージ装置により管理される第１リソース集合に対する情報を獲得する段階と、
    前記第１リソース集合に対する情報に基づいて第２リソース集合を同期化する段階と、
    前記第２リソース集合を第１プール（ｐｏｏｌ）及び第２プールに割り当てる段階と、
    前記第１プールで前記第２リソース集合の条件を決定する段階と、
    前記条件の第１決定に基づいて、前記第１プールで前記第２リソース集合のうちのいずれか１つを前記コマンドに割り当てる段階と、
    前記条件の第２決定に基づいて、前記第２プールで前記第２リソース集合のうちのいずれか１つを前記コマンドに割り当てる段階と、を有し、
    前記コマンドは、前記第２リソース集合のうちのいずれか１つの割り当てに基づいて、前記ストレージ装置による処理のための前記ストレージ装置に関連する第２キューに格納されることを特徴とする方法。
  2. 前記コマンドは、ホスト上で実行中のアプリケーションからのデータオペレーションを含み、
    前記コマンドの処理は、不揮発性ストレージ媒体に対する前記データオペレーションを遂行することを特徴とする請求項１に記載の方法。
  3. 前記第１リソース集合に対する情報は、前記コマンドを処理するための前記第１リソース集合の利用可能性を含むことを特徴とする請求項１に記載の方法。
  4. 前記第１リソース集合に対する情報に基づいて第２リソース集合を同期化する段階は、
    基準を満足するか否かを判定する段階と、
    前記基準を満足するか否かに基づいて、使用可能な前記第１リソース集合の数を決定する段階と、
    使用可能な前記第１リソース集合の数と同じになるように、使用可能な前記第２リソース集合の数を設定する段階と、を含むことを特徴とする請求項１に記載の方法。
  5. 前記基準は、期間の満了を含むことを特徴とする請求項４に記載の方法。
  6. 前記第１プールは、前記第１キュー及び前記第２キューにより共有され、
    前記第２プールは、前記第１キューのために予約されることを特徴とする請求項１に記載の方法。
  7. 前記第２プールは、検出された基準に基づいて動的に決定されることを特徴とする請求項６に記載の方法。
  8. 前記検出された基準は、前記第１キューに対するＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）要求値の識別を含むことを特徴とする請求項７に記載の方法。
  9. 前記ストレージ装置により、
    前記第２キューに前記コマンドを格納することに基づいて、前記第１リソース集合のうちのいずれか１つを割り当てる段階と、
    前記コマンドを処理する段階と、
    前記コマンドの処理の完了に基づいて、前記第１リソース集合のうちのいずれか１つを割り当て解除する段階と、を更に有することを特徴とする請求項１に記載の方法。
  10. 前記条件は、前記第１プールでの前記第２リソース集合の利用可能性であることを特徴とする請求項１に記載の方法。
  11. ストレージ装置による処理のためのコマンドのスケジューリングシステムであって、
    プロセッサと、
    命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を格納するメモリと、を備え、
    前記命令語が実行されると、前記プロセッサは、
    アプリケーションからコマンドを受信して第１キュー（ｑｕｅｕｅ）に格納し、
    前記ストレージ装置により管理される第１リソース集合に対する情報を獲得し、
    前記第１リソース集合に対する情報に基づいて第２リソース集合を同期化し、
    前記第２リソース集合を第１プール（ｐｏｏｌ）及び第２プールに割り当て、
    前記第１プールで前記第２リソース集合の条件を決定し、
    前記条件の第１決定に基づいて、前記第１プールで前記第２リソース集合のうちのいずれか１つを前記コマンドに割り当て、
    前記条件の第２決定に基づいて、前記第２プールで前記第２リソース集合のうちのいずれか１つを前記コマンドに割り当てるようにし、
    前記コマンドは、前記第２リソース集合のうちのいずれか１つの割り当てに基づいて、前記ストレージ装置による処理のための前記ストレージ装置に関連する第２キューに格納されることを特徴とするシステム。
  12. 前記コマンドは、ホスト上で実行中のアプリケーションからのデータオペレーションを含み、
    前記コマンドの処理は、不揮発性ストレージ媒体に対する前記データオペレーションを遂行することを特徴とする請求項１１に記載のシステム。
  13. 前記第１リソース集合に対する情報は、前記コマンドを処理するための前記第１リソース集合の利用可能性を含むことを特徴とする請求項１１に記載のシステム。
  14. 前記命令語が実行されると、前記プロセッサは、
    前記第１リソース集合に対する情報に基づいて第２リソース集合を同期化し、
    基準を満足するか否かを判定し、
    前記基準を満足するか否かに基づいて、使用可能な前記第１リソース集合の数を決定し、
    使用可能な前記第１リソース集合の数と同じになるように、使用可能な前記第２リソース集合の数を設定するようにすることを特徴とする請求項１１に記載のシステム。
  15. 前記基準は、期間の満了を含むことを特徴とする請求項１４に記載のシステム。
  16. 前記第１プールは、前記第１キュー及び前記第２キューにより共有され、
    前記第２プールは、前記第１キューのために予約されることを特徴とする請求項１１に記載のシステム。
  17. 前記第２プールは、検出された基準に基づいて動的に決定されることを特徴とする請求項１６に記載のシステム。
  18. 前記検出された基準は、前記第１キューに対するＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）要求値の識別を含むことを特徴とする請求項１７に記載のシステム。
  19. 前記ストレージ装置は、
    前記第２キューに前記コマンドを格納することに基づいて前記第１リソース集合のうちのいずれか１つを割り当て、
    前記コマンドを処理し、
    前記コマンドの処理の完了に基づいて前記第１リソース集合のうちのいずれか１つを割り当て解除する信号を送信するように構成されることを特徴とする請求項１１に記載のシステム。
  20. 前記条件は、前記第１プールでの前記第２リソース集合の利用可能性であることを特徴とする請求項１１に記載の方法。

JP2021123001A 2020-07-28 2021-07-28 リソースベースのコマンドのスケジューリングに対するシステム及び方法 Pending JP2022025055A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063057771P 2020-07-28 2020-07-28
US63/057,771 2020-07-28
US17/082,933 2020-10-28
US17/082,933 US11704058B2 (en) 2020-07-28 2020-10-28 Systems and methods for resource-based scheduling of commands

Publications (1)

Publication Number Publication Date
JP2022025055A true JP2022025055A (ja) 2022-02-09

Family

ID=75746503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021123001A Pending JP2022025055A (ja) 2020-07-28 2021-07-28 リソースベースのコマンドのスケジューリングに対するシステム及び方法

Country Status (6)

Country Link
US (1) US11704058B2 (ja)
EP (1) EP3945419A1 (ja)
JP (1) JP2022025055A (ja)
KR (1) KR20220014280A (ja)
CN (1) CN114003369A (ja)
TW (1) TW202205103A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210089225A1 (en) * 2020-11-19 2021-03-25 Intel Corporation Adaptive device behavior based on available energy
US20220350536A1 (en) * 2021-04-28 2022-11-03 Mediatek Inc. Abort handling by host controller for storage device

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6333936B1 (en) 1998-04-29 2001-12-25 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for allocating processing resources
US6857020B1 (en) 2000-11-20 2005-02-15 International Business Machines Corporation Apparatus, system, and method for managing quality-of-service-assured e-business service systems
US8145785B1 (en) 2004-02-13 2012-03-27 Habanero Holdings, Inc. Unused resource recognition in real time for provisioning and management of fabric-backplane enterprise servers
US9397944B1 (en) 2006-03-31 2016-07-19 Teradici Corporation Apparatus and method for dynamic communication scheduling of virtualized device traffic based on changing available bandwidth
US9128883B2 (en) * 2008-06-19 2015-09-08 Commvault Systems, Inc Data storage resource allocation by performing abbreviated resource checks based on relative chances of failure of the data storage resources to determine whether data storage requests would fail
WO2009153620A1 (en) 2008-06-19 2009-12-23 Freescale Semiconductor, Inc. A system, method and computer program product for scheduling a processing entity task
JP4764915B2 (ja) 2008-12-08 2011-09-07 株式会社日立製作所 性能管理システム、情報処理システム、及び性能管理システムにおける情報収集方法
US8037219B2 (en) 2009-04-14 2011-10-11 Lsi Corporation System for handling parallel input/output threads with cache coherency in a multi-core based storage array
US7970861B2 (en) * 2009-11-18 2011-06-28 Microsoft Corporation Load balancing in a distributed computing environment
US20210349749A1 (en) * 2012-02-14 2021-11-11 Aloke Guha Systems and methods for dynamic provisioning of resources for virtualized
US9396031B2 (en) 2013-09-27 2016-07-19 International Business Machines Corporation Distributed UIMA cluster computing (DUCC) facility
KR101699377B1 (ko) * 2014-07-02 2017-01-26 삼성전자주식회사 불휘발성 메모리 및 메모리 컨트롤러를 포함하는 스토리지 장치 및 스토리지 장치의 동작 방법
US11467769B2 (en) 2015-09-28 2022-10-11 Sandisk Technologies Llc Managed fetching and execution of commands from submission queues
US9792051B2 (en) 2016-02-24 2017-10-17 Samsung Electronics Co., Ltd. System and method of application aware efficient IO scheduler
CN107306232B (zh) 2016-04-22 2021-02-26 华为技术有限公司 网络设备、控制器、队列管理方法及流量管理芯片
US10146585B2 (en) * 2016-09-07 2018-12-04 Pure Storage, Inc. Ensuring the fair utilization of system resources using workload based, time-independent scheduling
KR20180057036A (ko) 2016-11-21 2018-05-30 삼성전자주식회사 효율적인 리소스 관리를 위한 전자 장치 및 이의 방법
US10496563B2 (en) 2017-04-07 2019-12-03 Intel Corporation Apparatus and method for dynamic provisioning, quality of service, and scheduling in a graphics processor
US10541939B2 (en) 2017-08-15 2020-01-21 Google Llc Systems and methods for provision of a guaranteed batch
JP2019074995A (ja) 2017-10-18 2019-05-16 富士ゼロックス株式会社 情報処理装置
CN116010312A (zh) * 2018-01-18 2023-04-25 伊姆西Ip控股有限责任公司 用于管理输入/输出的方法、设备和计算机程序产品
US11409436B2 (en) * 2018-08-08 2022-08-09 Micron Technology, Inc. Buffer management in memory systems for read and write requests
US11163452B2 (en) 2018-09-24 2021-11-02 Elastic Flash Inc. Workload based device access
US11507430B2 (en) 2018-09-27 2022-11-22 Intel Corporation Accelerated resource allocation techniques
US10834009B2 (en) 2019-03-18 2020-11-10 Intel Corporation Systems and methods for predictive scheduling and rate limiting
US11669272B2 (en) 2019-05-31 2023-06-06 Micron Technology, Inc. Predictive data transfer based on availability of media units in memory sub-systems
US11748278B2 (en) 2019-06-20 2023-09-05 Intel Corporation Multi-protocol support for transactions
US11231963B2 (en) * 2019-08-15 2022-01-25 Intel Corporation Methods and apparatus to enable out-of-order pipelined execution of static mapping of a workload
US20200089537A1 (en) * 2019-11-20 2020-03-19 Intel Corporation Apparatus and method for bandwidth allocation and quality of service management in a storage device shared by multiple tenants
US11321257B2 (en) * 2019-12-31 2022-05-03 Micron Technology, Inc. Quality of service control of logical devices for a memory sub-system
US11436049B2 (en) * 2020-04-17 2022-09-06 Apple Inc. Systems and methods to control bandwidth through shared transaction limits
US20210349657A1 (en) * 2020-05-08 2021-11-11 Pure Storage, Inc. Providing data management as-a-service
US20210266253A1 (en) 2021-04-23 2021-08-26 Intel Corporation Pooling of network processing resources

Also Published As

Publication number Publication date
EP3945419A1 (en) 2022-02-02
US11704058B2 (en) 2023-07-18
CN114003369A (zh) 2022-02-01
KR20220014280A (ko) 2022-02-04
TW202205103A (zh) 2022-02-01
US20220035565A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
CN107018091B (zh) 资源请求的调度方法和装置
US11507420B2 (en) Systems and methods for scheduling tasks using sliding time windows
CN111444012B (zh) 一种保证延迟敏感应用延迟slo的动态调控资源方法及***
US9176774B2 (en) Workflow control of reservations and regular jobs using a flexible job scheduler
US7530068B2 (en) Method of resource allocation using an access control mechanism
WO2020001320A1 (zh) 一种资源分配方法、装置及设备
EP3251021B1 (en) Memory network to prioritize processing of a memory access request
US11620159B2 (en) Systems and methods for I/O command scheduling based on multiple resource parameters
US11586392B2 (en) Multi-stream SSD QoS management
CN109564528B (zh) 分布式计算中计算资源分配的***和方法
US20140013330A1 (en) Multiple core real-time task execution
JP2022025055A (ja) リソースベースのコマンドのスケジューリングに対するシステム及び方法
WO2019024508A1 (zh) 资源分配方法、主装置、从装置和分布式计算***
CN109992418B (zh) Sla感知的多租户大数据平台资源优先级调度方法及***
CN112783659B (zh) 一种资源分配方法、装置、计算机设备及存储介质
WO2024021489A1 (zh) 一种任务调度方法、装置及Kubernetes调度器
US20170344266A1 (en) Methods for dynamic resource reservation based on classified i/o requests and devices thereof
CA2316643C (en) Fair assignment of processing resources to queued requests
US10853138B2 (en) Scheduling resource usage
JP7478918B2 (ja) 分散型異機種混在システムに基づくタスクインテリジェント処理方法
JPH11175357A (ja) タスク管理方法
WO2016006228A1 (ja) 仮想化システムおよび仮想化方法
CN115543554A (zh) 一种计算作业的调度方法、装置及计算机可读存储介质