TWI510931B - 用於一叢集運算系統之主裝置、從屬裝置及其運算方法 - Google Patents

用於一叢集運算系統之主裝置、從屬裝置及其運算方法 Download PDF

Info

Publication number
TWI510931B
TWI510931B TW103129437A TW103129437A TWI510931B TW I510931 B TWI510931 B TW I510931B TW 103129437 A TW103129437 A TW 103129437A TW 103129437 A TW103129437 A TW 103129437A TW I510931 B TWI510931 B TW I510931B
Authority
TW
Taiwan
Prior art keywords
feature model
processor
container
resource feature
slave device
Prior art date
Application number
TW103129437A
Other languages
English (en)
Other versions
TW201608382A (zh
Inventor
Chi-Tien Yeh
xing-yu Chen
Yuh-Jye Lee
Hsing-Kuo Pao
Original Assignee
Inst Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inst Information Industry filed Critical Inst Information Industry
Priority to TW103129437A priority Critical patent/TWI510931B/zh
Priority to CN201410494012.4A priority patent/CN105511955A/zh
Priority to US14/518,411 priority patent/US20160062929A1/en
Priority to JP2015000221A priority patent/JP6001690B2/ja
Application granted granted Critical
Publication of TWI510931B publication Critical patent/TWI510931B/zh
Publication of TW201608382A publication Critical patent/TW201608382A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G06F13/362—Handling requests for interconnection or transfer for access to common bus or bus system with centralised access control
    • G06F13/364—Handling requests for interconnection or transfer for access to common bus or bus system with centralised access control using independent requests or grants, e.g. using separated request and grant lines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Multi Processors (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Description

用於一叢集運算系統之主裝置、從屬裝置及其運算方法
本發明關於一種主裝置、從屬裝置及其運算方法。更具體而言，本發明關於一種用於一叢集運算系統之主裝置、從屬裝置及其運算方法。
對於巨量資料運算(big data computations)而言，叢集運算技術是一種相當有效的解決方案。一般而言，叢集運算乃指將多個運算單元聚集為一叢集，並透過該等運算單位的協同合作來完成一項工作(job)。在運作上，一叢集運算系統通常包含一主裝置(master device)及複數從屬裝置(slave devices)，其中該主裝置用以分配一工作給該等從屬裝置，而各該從屬裝置用以產生容器(containers)以執行對應至該工作之被分配的任務。因此，為了避免資源浪費，在進行巨量資料運算時，一叢集運算系統必須適當地進行資源分配。
普遍來說，傳統的叢集運算系統會因以下問題而無法有效地進行資源分配。首先，傳統的從屬裝置所產生的容器，其容器規格(包含中央處理單元規格及記憶體規格)都是固定的， 故容易因工作的特性不同，而造成資源浪費。例如，當一工作的運算需求低於一容器的規格，則該容器將因無法完整被利用而造成資源浪費。再者，由於每一個容器的容器規格都是固定的，傳統的從屬裝置所能產生的容器總數也是固定的，故容易造成資源閒置。例如，當運算一工作所需的容器數量低於容器總數，則多餘的容器數量將造成資源閒置。另外，由於每一個容器的容器規格都是固定的，故當複數從屬裝置具有不同的裝置效能時，將容易造成資源分配不當。例如，當二從屬裝置的容器規格相同但裝置效能不同時，則因二者處理效率不同而造成資源分配不當。
有鑑於此，如何針對傳統的叢集運算系統提供一種有效的資源分配技術，確實為本發明所屬技術領域的一項重大需求。
本發明之一目的乃是針對傳統的叢集運算系統提供一種有效的資源分配技術。
為達上述目的，本發明提供一種用於一叢集運算系統(cluster computing system)之主裝置(master device)。該主裝置包含一連接介面及一處理器。該連接介面用以與至少一從屬裝置(slave device)連接。該處理器電性連接至該連接介面，並用以接收該從屬裝置的裝置資訊，根據該裝置資訊及一工作(job)為該從屬裝置選擇一資源特徵模型，根據該資源特徵模型估測該從屬裝置的一容器組態參數，傳送該容器組態參數至該從屬裝置，以及分配該工作至該從屬裝置。
為達上述目的，本發明亦提供一種用於一叢集運算系統 之從屬裝置。該從屬裝置包含一連接介面及一處理器。該連接介面用以與一主裝置連接。該處理器電性連接至該連接介面，並用以傳送裝置資訊至該主裝置，自該主裝置接收該主裝置分配的一工作和一容器組態參數，根據該容器組態參數產生至少一容器以運算該工作，以及根據對應至該工作之工作資訊(job information)及一規格檔(metric file)建立一資源特徵模型。
為達上述目的，本發明更提供一種用於一叢集運算系統中一主裝置的運算方法。該主裝置包含一連接介面及一處理器，且該連接介面用以與至少一從屬裝置連接。該運算方法包含下列步驟：(A)由該處理器接收該從屬裝置的裝置資訊；(B)由該處理器根據該裝置資訊及一工作為該從屬裝置選擇一資源特徵模型；(C)由該處理器根據該資源特徵模型估測該從屬裝置的一容器組態參數；(D)由該處理器傳送該容器組態參數至該從屬裝置；以及(E)由該處理器分配該工作至該從屬裝置。
為達上述目的，本發明還提供一種用於一叢集運算系統中一從屬裝置的運算方法。該從屬裝置包含一連接介面及一處理器，且該連接介面用以與一主裝置連接。該運算方法包含下列步驟：(A)由該處理器傳送裝置資訊至該主裝置；(B)由該處理器自該主裝置接收該主裝置分配的一工作和一容器組態參數； (C)由該處理器根據該容器組態參數產生至少一容器以運算該工作；以及(D)由該處理器根據對應至該工作之工作資訊及一規格檔建立一資源特徵模型。
綜上所述，本發明提供了一種用於一叢集運算系統之主裝置、從屬裝置及其運算方法。根據本發明，一主裝置接收各個從屬裝置所傳送的裝置資訊，根據該裝置資訊及一工作為各個從屬裝置選擇一資源特徵模型，根據各個資源特徵模型估測相對應的從屬裝置的一容器組態參數，傳送各個容器組態參數至相對應的從屬裝置，以及分配該工作至該等從屬裝置。根據本發明，一從屬裝置傳送其裝置資訊至一主裝置，自該主裝置接收該主裝置分配的一工作和一容器組態參數，根據該容器組態參數產生至少一容器以運算該工作，以及根據對應至該工作之工作資訊及一規格檔建立一資源特徵模型。
據此，本發明的從屬裝置所產生的容器，其容器規格可被動態調整，故不會因工作的特性不同，而造成資源浪費。再者，由於本發明的每一個容器的容器規格不再是固定的，故本發明的從屬裝置的容器總數也可被動態調整，故不會造成資源閒置。另外，由於本發明的從屬裝置所產生的容器，其容器規格與容器總數可被動態調整，故即使複數從屬裝置具有不同的裝置效能，也不會造成資源分配不當。
於參閱圖式及隨後描述的實施方式後，本發明所屬技術領域中具有通常知識者便可更瞭解本發明之目的、技術手段 及所達功效。
1‧‧‧叢集運算系統
11‧‧‧主裝置
111‧‧‧連接介面
113‧‧‧處理器
1131‧‧‧資源管理器
1133‧‧‧工作管理器
1135‧‧‧最佳資源模組
1135a‧‧‧工作資訊檢索器
1135b‧‧‧有效節點檢驗器
1135c‧‧‧模型載入器
1135d‧‧‧最佳資源預測器
1135e‧‧‧最佳容器數量預測器
1137‧‧‧模型管理器
1137a‧‧‧請求處理器
1137b‧‧‧模型檢索器
1137c‧‧‧同質模型引擎
1137d‧‧‧同質節點引擎
13‧‧‧從屬裝置
1331‧‧‧從屬管理器
1333‧‧‧容器
1335‧‧‧模型產生器
1335a‧‧‧工作完成偵測器
1335b‧‧‧工作資訊檢索器
1335c‧‧‧支援向量迴歸模組產生器
1337‧‧‧工作狀態收集器
1337a‧‧‧硬體性能收集器
1337b‧‧‧工作狀態收集器
1337c‧‧‧規格整合器
1339‧‧‧規格檔
131‧‧‧連接介面
133‧‧‧處理器
15‧‧‧分散式檔案系統
21‧‧‧工作
22‧‧‧裝置資訊
23‧‧‧資源特徵模型
24‧‧‧容器組態參數
25‧‧‧工作資訊
26‧‧‧狀態資訊
S21、S23、S25、S27、S29、S31、S33、S35、S37‧‧‧步驟
以下是針對圖式所記載之簡單說明，並非用以限定本發明，其中：第1圖為本發明之一實施例之一叢集運算系統的一結構例示圖；第2圖為第1圖所示叢集運算系統中主裝置與單一從屬裝置的一運作例示圖；第3圖為第2圖所示主裝置中最佳資源模組的一運作例示圖；第4圖為第2圖所示主裝置中模型管理器的一運作例示圖；第5圖為第2圖所示主裝置中模型產生器的一運作例示圖；第6圖為第2圖所示主裝置中工作狀態收集器的一運作例示圖；以及第7圖為本發明之一實施例之用於一叢集運算系統中一主裝置及一從屬裝置之運算方法的一例示圖。
以下將透過實施例來解釋本發明的內容，惟以下實施例並非用以限制本發明須在如其所述的環境、應用、結構、流程或步驟方能實施。換言之，以下實施例的說明僅為闡釋本發明，而非用以限制本發明。於圖式中，與本發明非直接相關的元件皆已省略而未繪示，且各元件之間的尺寸關僅為求容易瞭解，而非用以限制實際實施的比例。
本發明之一實施例(簡稱「第一實施例」)為一種叢集運算系統。第1圖為所述叢集運算系統的一結構例示圖。如第1圖所示，叢集運算系統1可包含一主裝置11及至少一從屬裝置13(即一個或複數個從屬裝置)。主裝置可包含一連接介面111及一處理器113，且連接介面111與處理器113可直接或間接地電性連接，且相互通訊。各個從屬裝置13可包含一連接介面131及一處理器133，且連接介面131與處理器133可直接或間接地電性連接，且相互通訊。主裝置11的連接介面111可與各個從屬裝置13的連接介面111經由各種媒介(未繪示於圖)相互連接且通訊。因應不同的媒介(例如網路、排線等等)，主裝置11的連接介面111可與各個從屬裝置13的連接介面111可經由各種有線或無線的途徑，彼此相互連接且通訊。主裝置11及從屬裝置13中的每一個可以是一***立的電腦，或者是一台電腦內獨立的運算單元。
叢集運算系統1可選擇性地包含一分散式檔案系統15。分散式檔案系統15乃是由多個從屬裝置13各自提供一部份資源(例如儲存空間)所共同建構而成的一個檔案系統。分散式檔案系統15為主裝置11與從屬裝置13所共享。具體而言，經由主裝置11的連接介面111以及各個從屬裝置13的連接介面131彼此之間的連接，主裝置11以及各個從屬裝置13可存取分散式檔案系統15內的資料。換言之，主裝置11及各個從屬裝置13可儲存資料至分散式檔案系統15，也可自分散式檔案系統15讀取資料。可選擇地，主裝置11亦可透過其他介面或方式而直接存取分散式檔案系統15 內的資料。
如第1圖所示，當叢集運算系統1需要運算一工作21(例如一演算法)時，主裝置11可要求從屬裝置13傳送其裝置資訊22至主裝置11。或者，從屬裝置13可定期主動傳送其裝置資訊22至主裝置11。更具體而言，各個從屬裝置13可透過其連接介面131傳送其裝置資訊22至主裝置11，而主裝置11可透過其連接介面111接收各個從屬裝置13所傳送的裝置資訊22。因此，在叢集運算系統1需要運算一工作21時，主裝置11的處理器113可先行取得所有從屬裝置13傳送的裝置資訊22。工作21可以是主裝置11自行產生的，也可以是從主裝置外的其他裝置輸入的。從屬裝置13的裝置資訊22可包含其硬體、軟體、及運算能力等資訊。
在取得所有從屬裝置13傳送的裝置資訊22後，主裝置11的處理器113可根據各個裝置資訊22及工作21為相對應的從屬裝置13選擇一資源特徵模型23。各個資源特徵模型23可視需求而包含各種特徵模型，例如但不限於一中央處理單元特徵模型、一記憶體特徵模型、一網路特徵模型、一磁碟輸入輸出(Disk IO)特徵模型等等。中央處理單元特徵模型可用以估測一容器運作一工作所需的中央處理單元規格，而記憶體特徵模型可用以估測該容器運作該工作所需的記憶體規格。網路特徵模型可用以估測該容器運作該工作所需的網路規格，而磁碟輸入輸出特徵模型可用以估測該容器運作該工作所需的磁碟輸入輸出規格。
若叢集運算系統1包含分散式檔案系統15，主裝置11 的處理器113可為各個從屬裝置13從分散式檔案系統15內選出資源特徵模型23。舉例而言，分散式檔案系統15可預先儲存複數資源特徵模型樣本；而針對各個從屬裝置13，主裝置11的處理器113可根據相對應的裝置資訊22及工作21而從該等資源特徵模型樣本中選出資源特徵模型23。
若叢集運算系統1不包含分散式檔案系統15，主裝置11的處理器113亦可根據其他來源提供的資源特徵模型樣本，為各個從屬裝置13選出資源特徵模型23。舉例而言，主裝置11可包含一用以預先儲存複數資源特徵模型樣本的儲存器(未繪示於圖)，或自其他裝置預先取得複數資源特徵模型樣本；而針對各個從屬裝置13，主裝置11的處理器113可根據相對應的裝置資訊22及工作21而從該等資源特徵模型樣本中選出資源特徵模型23。前述資源特徵模型樣本可以是資源特徵模型23本身或與其相關的資訊。
無論叢集運算系統1是否包含分散式檔案系統15，若可取得的資源特徵模型樣本的數量過多(例如高過一門檻值)，主裝置11的處理器113可選擇性地將複數資源特徵模型樣本分割為複數群組，並從各該群組中選擇一資源特徵模型樣本作為一資源特徵模型代表。舉例而言，主裝置11的處理器113可利用K-means演算法，將複數資源特徵模型樣本分割為複數群組。然後，針對各個從屬裝置13，主裝置11的處理器113可根據相對應的裝置資訊22及工作21而從該等資源特徵模型代表中選出資源特徵模型23。前述資源特徵模型樣本可以是資源特徵模型23本身或與其相關的資訊。
針對各個從屬裝置13，主裝置11的處理器113可根據相對應的裝置資訊22及工作21，選擇一相應資源特徵模型、一相似資源特徵模型及一預設資源特徵模型其中之一作為資源特徵模型23，其中相應資源特徵模型優先於相似資源特徵模型而被選擇，且相似資源特徵模型優先於預設資源特徵模型而被選擇。具體而言，針對各個從屬裝置13，主裝置11的處理器113可先根據相對應的裝置資訊22及工作21判斷是否存有一相應資源特徵模型(即完全對應至裝置資訊22及工作21的一資源特徵模型)。若是，主裝置11的處理器113選擇該相應資源特徵模型作為資源特徵模型23。若否，主裝置11的處理器113根據相對應的裝置資訊22及工作21判斷是否存有一相似資源特徵模型(即相似對應至裝置資訊22及工作21的一資源特徵模型)。若是，主裝置11的處理器113選擇該相似資源特徵模型作為資源特徵模型23。若否，主裝置11的處理器113選擇一預設資源特徵模型(即預先設定的一資源特徵模型)作為資源特徵模型23。
主裝置11的處理器113可根據各個資源特徵模型23估測相對應的從屬裝置13的一容器組態參數24。各個容器組態參數24可包含一容器數量及一容器規格，而各個容器規格可視需要而包含各種規格，例如但不限於：一中央處理單元規格、一記憶體規格、一網路規格、一磁碟輸入輸出(Disk IO)規格等等。具體而言，主裝置11的處理器113可根據各個資源特徵模型23，估測相對應的從屬裝置13在運算任務21時，開啟一容器所需的各種規格，例如一中央處理單元規格、一記憶體規格、一網路規格、一磁碟輸入輸出規格等等。 然後，主裝置11的處理器113可根據該從屬裝置13的裝置資訊22、估測的該等規格(例如該中央處理單元規格、該記憶體規格、該網路規格、該磁碟輸入輸出規格等等)，估測該從屬裝置13所需開啟的一容器數量。
舉例而言，若主裝置11的處理器113估測一從屬裝置13在運算任務21時，開啟一容器所需的一中央處理單元規格與一記憶體規格分別為10億赫茲(1GHz)與10億位元組(1GB)，且裝置資訊22指出了該從屬裝置13的中央處理單元能力及記憶體能力分別為40億赫茲(4GHz)與40億位元組(4GB)，則主裝置11的處理器113估測該從屬裝置13運算任務21的容器數量為4個。
主裝置11的處理器113可透過連接介面111傳送各個容器組態參數24至相對應的從屬裝置13，以及分配工作21至這些從屬裝置13。若叢集運算系統1中只有單一可用的從屬裝置13，則工作21會由該單個從屬裝置13獨自進行運算。若叢集運算系統1中有複數可用的從屬裝置13，則工作21會由這些從屬裝置13共同進行運算。對於後者，主裝置11的處理器113會把工作21區分為複數任務(tasks)，並將該等任務分配到這些從屬裝置13。如何將工作21區分為複數任務並分配給多個從屬裝置13已屬本發明所屬技術領域中具有通常知識者所熟知，於此不多贅述。
各個從屬裝置13的處理器133可透過連接介面131接收來自主裝置11所分配的工作21(或主裝置分配的對應至工作21的任務)和相對應的容器組態參數24。然後，各個從屬裝置13的處理器133可根 據接收到的容器組態參數24，產生至少一容器以運算工作21(或主裝置分配的對應至工作21的任務)。在叢集運算系統1中，各個從屬裝置13具有一規格檔(metric file)，用以儲存各種本地資料。因此，在該至少一容器運算工作21(或主裝置分配的對應至工作21的任務)的過程中，從屬裝置13的處理器133可收集該至少一容器的工作狀態，並將該工作狀態的狀態資訊儲存至該規格檔。
在運算完工作21(或主裝置分配的對應至工作21的任務)後，各個從屬裝置13的處理器133可根據對應至工作21之工作資訊(job information)及其規格檔建立一資源特徵模型23。舉例而言，各個從屬裝置13的處理器133可根據對應至工作21之工作資訊及其規格檔，利用一支援向量迴歸(Support Vector Regression；SVR)模組產生器建立一資源特徵模型。如同前述，資源特徵模型23可視需求而包含各種特徵模型，例如但不限於一中央處理單元特徵模型、一記憶體特徵模型、一網路特徵模型、一磁碟輸入輸出(Disk IO)特徵模型等等。
若叢集運算系統1包含分散式檔案系統15，主裝置11的處理器113可預先儲存對應至工作21的工作資訊至分散式檔案系統21，而各個從屬裝置13的處理器133可從分散式檔案系統15中取得對應至工作21的工作資訊。
若叢集運算系統1不包含分散式檔案系統15，各個從屬裝置13的處理器133亦可透過其他途徑取得對應至工作21的工作資訊。舉例而言，各個從屬裝置13的處理器133可經由連接介面131與連接介面111自主裝置11取得對應至工作21的工作資訊。另 舉例而言，各個從屬裝置13可包含一用以預先儲存對應至工作21的工作資訊的儲存器(未繪示於圖)，或自其他裝置預先取得對應至工作21的工作資訊。
對本發明所屬技術領域中具有通常知識者而言，主裝置11與多個從屬裝置13與之間的互動可藉由類推得知，故以下將以第2圖為本實施例之一範例，進一步說明叢集運算系統1中主裝置11與單一從屬裝置13之間的互動，惟此舉僅為了易於說明，並非用以限制本發明。第2圖為叢集運算系統1中主裝置11與單一從屬裝置13的一運作例示圖，且第2圖所示的從屬裝置13可以是第1圖中所示複數從屬裝置13中的任一個。
如第2圖所示，主裝置11可選擇性地包含以下構件來協同完成連接介面111與處理器113之前述功能：一資源管理器(resource manager)1131、一工作管理器(job manager)1133、一最佳資源模組(optimal resource module)1135及一模型管理器(model manager)1137。另外，從屬裝置13可選擇性地包含以下構件來協同完成連接介面131與處理器133之前述功能：一從屬管理器(slave manager)1331、至少一容器(container)1333、一模型產生器(model generator)1335、一工作狀態收集器(working status collector)1337及一規格檔1339。
首先，當主裝置11接收到工作21時，資源管理器1131會開啟工作管理器1133，並將工作21交付給工作管理器1133處理。同時，資源管理器1131可自從屬管理器1331取得其裝置資訊 22，並將裝置資訊22傳送至工作管理器1133。然後，工作管理器1133傳送工作21及裝置資訊22至最佳資源模組1135。在取得工作21及裝置資訊22後，最佳資源模組1135會根據工作21及裝置資訊22向模型管理器1137取得資源特徵模型23。同時，最佳資源模組1135可將對應至工作21的工作資訊25儲存到分散式檔案系統15。然後，最佳資源模組1135會根據資源特徵模型23估測從屬裝置13的容器組態參數24，並將容器組態參數24傳送至工作管理器1133。最後，工作管理器1133將容器組態參數24傳送至資源管理器1131。
在取得容器組態參數24之後，資源管理器1131會傳送容器組態參數24至從屬管理器1331，並分配工作21至從屬管理器1331。從屬管理器1331會根據容器組態參數24產生至少一容器1333以運算工作21(或資源管理器1131分配的對應至工作21的任務)。從屬管理器1331可根據容器組態參數24決定容器1333的數量以及容器1333的中央處理單元規格以及記憶體規格。在容器1333運算工作21(或資源管理器1131分配的對應至工作21的任務)的過程中，工作狀態收集器1337收集容器1333運算工作21(或資源管理器1131分配的對應至工作21的任務)的工作狀態，並將對應至該工作狀態的狀態資訊26儲存至規格檔1339。狀態資訊26可包含但不限於：各個容器1333的中央處理單元消耗量及記憶體消耗量。
在容器1333運算工作21(或資源管理器1131分配的對應至工作21的任務)後，模型產生器1335可根據對應至工作21(或資源管理器1131分配的對應至工作21的任務)之工作資訊25及規格檔1339建立及/ 或更新資源特徵模型23。舉例而言，模型產生器1335可根據工作資訊25及規格檔1339，利用一支援向量迴歸模組產生器建立資源特徵模型23。模型產生器1335可自分散式檔案系統15取得工作資訊25及/或自從屬管理器1331取得工作資訊25。自分散式檔案系統15取得工作資訊25可包含但不限於：資料大小、Map/Reduce拆解數量等。自從屬管理器1331取得工作資訊25可包含但不限於：各容器運算Map/Reduce的資訊等。自規格檔1339取得的資訊可包含但不限於：狀態資訊26、運算過程中的硬體效能資訊等。
第3圖、第4圖、第5圖及第6圖分別為最佳資源模組1135、模型管理器1137、模型產生器1335及工作狀態收集器1337的一具體運作例示圖。然而，於本發明之其他實施例，第2圖所示的最佳資源模組1135、模型管理器1137、模型產生器1335及工作狀態收集器1337的運作可不需完全遵循第3-6圖所示之內容，並且可在不脫離本發明之精神的情況下，進行適當的調整、改變、及/或置換等處置。
如第3圖所示，最佳資源模組1135可包含一工作資訊檢索器(job information retriever)1135a、一有效節點檢驗器(available node inspector)1135b、一模型載入器(model loader)1135c、一最佳資源預測器(optimal resource predictor)1135d、及一最佳容器數量預測器(optimal container number predictor)1135e。在工作管理器1133獲取工作21後，工作資訊檢索器1135a會接收以下資料：工作名稱(例如一演算法名稱)、輸入資料大小 及全部Map/Reduce任務，並將輸入資料大小及全部Map/Reduce任務儲存到分散式檔案系統15。當叢集運算系統1中出現可用節點(即可用的從屬裝置13)時，有效節點檢驗器1135b會收到此節點的名稱。然後，模型載入器1135c會根據工作名稱與此節點的名稱至模型管理器1137中尋找相符的資源特徵模型23。
最佳資源預測器1135d可藉由資源特徵模型23預測對應到此節點之一容器的中央處理單元規格與一記憶體規格，而最佳容器數量預測器1135e可根據該中央處理單元規格與該記憶體規格預測此節點之容器數量。因此，透過最佳資源預測器1135d及最佳容器數量預測器1135e的上述運作，最佳資源模組1135可估測出此節點的容器組態參數24，並將容器組態參數24傳送到工作管理器1133。
如第4圖所示，模型管理器1137可包含一請求處理器(request handler)1137a、一模型檢索器(model retriever)1137b、一同質模型引擎(homogeneous model engine)1137c及一同質節點引擎(homogeneous node engine)1137d。當最佳資源模組1135提出尋找資源特徵模型23的請求後，請求處理器1137a會根據最佳資源模組1135傳送的工作名稱與節點名稱，從分散式檔案系統15或其他來源所儲存的複數資源特徵模型樣本中選出資源特徵模型23。舉例而言，請求處理器1137a可選擇一相應資源特徵模型、一相似資源特徵模型及一預設資源特徵模型其中之一作為資源特徵模型23。
同質模型引擎1137c可包含一模型資訊檢索器(未繪示 於圖)、一模型群組器(未繪示於圖)及一群組決定器(未繪示於圖)。當資源特徵模型樣本的數量過高(例如超過一門檻值)，該模型資訊檢索器會截取各個資源特徵模型樣本的各項資訊，而該模型群組器會根據這些資訊，將該等資源特徵模型樣本分割為複數群組。例如，該模型群組器可利用K-means演算將該等資源特徵模型樣本分割為複數群組。另外，可選擇地，該模型群組器可從各該群組中選擇一資源特徵模型樣本作為一資源特徵模型代表，而請求處理器1137a可根據最佳資源模組1135傳送的工作名稱與節點名稱，從該等資源特徵模型代表中選出資源特徵模型23。當出現一新資源特徵模型樣本時，該群組決定器會根據該新資源特徵模型樣本的各項資訊，將該新資源特徵模型樣本加入最適合的群組中。
同質節點引擎1137d可包含一節點資訊檢索器(未繪示於圖)、一節點群組器(未繪示於圖)、一群組決定器(未繪示於圖)及一群組模型產生器(未繪示於圖)。當節點(即從屬裝置13)的數量過高(例如超過一門檻值)，該節點資訊檢索器會截取各個節點的各項資訊(例如硬體資訊)，而該節點群組器會根據這些資訊，將該等節點分割為複數群組。例如，該節點群組器可利用K-means演算將該等節點分割為複數群組。當出現一新節點時，該群組決定器會根據該新節點的各項資訊，將該新節點加入最適合的群組中。另外，該群組模型產生器會擷取該新節點所屬群組中的訓練資料，透過一支援向量迴歸模組產生器為該新節點建立資源特徵模型23，並將資源特徵模型23儲存至分散式檔案系統15。於其他實施例，同質節點引擎1137d可與同質模型引擎1137c合併在一起。
如第5圖所示，模型產生器1335可包含一工作完成偵測器(job finished detector)1335a、一工作資訊檢索器(job information retriever)1335b及一支援向量迴歸模組產生器(support vector regression model generator)1335c。工作完成偵測器1335a用以偵測工作21(或資源管理器1131分配的對應至工作21的任務)是否已經完成。在工作21(或資源管理器1131分配的對應至工作21的任務)完成後，工作資訊檢索器1335b會從分散式檔案系統15取得對應至工作21的工作資訊25以及從規格檔1339取得各項資訊(包含狀態資訊26)。然後，支援向量迴歸模組產生器1335c會根據工作資訊25及規格檔1339的各項資訊，建立並儲存資源特徵模型23至分散式檔案系統15。
支援向量迴歸模組產生器1335c的輸入資料可包含但不限於：來自工作資訊檢索器1335b的歷史工作資料集大小、來自工作資訊檢索器1335b的歷史工作總共Map任務數量、來自工作資訊檢索器1335b的歷史工作總共Reduce任務數量、歷史工作中節點被分配之Map容器數量、歷史工作中節點被分配之Reduce容器數量、歷史工作中單一任務的中央處理單元使用量及歷史工作中單一任務的記憶體使用量等。歷史工作中單一任務的中央處理單元使用量等於中央處理單元使用量除以運行的Map與Reduce數量，而歷史工作中單一任務的記憶體使用量等於記憶體使用量除以運行的Map與Reduce數量。工作資訊25及規格檔1339的各項資訊可包含但不限於：輸入資料大小、被分配的Map任務、被分配的Reduce 任務、被分配的Map槽、被分配的Reduce槽、每任務之平均中央處理單元使用量及每任務之平均記憶體使用量等。
如第6圖所示，工作狀態收集器1337可包含一硬體性能收集器(hardware performance collector)1337a、一工作狀態收集器(task status collector)1337b及一規格整合器(metric aggregator)1337c。硬體性能收集器1337a用以收集容器1333中的中央處理單元使用量以及記憶體使用量，而工作狀態收集器1337b用以收集容器1333中的被分被的Map槽、被分配的Reduce槽、運算中的Map任務以及運算中的Reduce任務。規格整合器1337c用以整合硬體性能收集器1337a與工作狀態收集器1337b所收集的資訊至規格檔1339。整合至規格檔1339的資訊包含但不限於：被分被的Map槽、被分配的Reduce槽及每任務之平均中央處理單元使用量、每任務之平均記憶體使用量等。每任務之平均中央處理單元使用量等於中央處理單元使用量除以運算中的Map任務以及運算中的Reduce任務，而每任務之平均記憶體使用量等於記憶體使用量除以運算中的Map任務以及運算中的Reduce任務。
第3-6圖所分別例示的最佳資源模組1135、模型管理器1137、模型產生器1335及工作狀態收集器1337，僅為本實施例的一範例，並非用以限制本發明。
本發明的另一實施例(簡稱「第二實施例」)為一種用於一叢集運算系統中一主裝置及一從屬裝置的運算方法。該叢集運算系統、該主裝置及該從屬裝置可分別視為對應至前述實施例之 叢集運算系統1、主裝置11及從屬裝置13。第7圖為一種用於一叢集運算系統中一主裝置及一從屬裝置之運算方法的一例示圖。
針對該主裝置，本實施例所述運算方法包含：步驟S21，由該主裝置之一處理器接收該從屬裝置的裝置資訊；步驟S23，由該主裝置之該處理器根據該裝置資訊及一工作為該從屬裝置選擇一資源特徵模型；步驟S25，由該主裝置之該處理器根據該資源特徵模型估測該從屬裝置的一容器組態參數；步驟S27，由該主裝置之該處理器傳送該容器組態參數至該從屬裝置；以及步驟S29，由該主裝置之該處理器分配該工作至該從屬裝置。步驟S21-S29的呈現順序並非用以限制本發明，且在不脫離本發明之精神的前提下，可以適當地進行調整。
作為該運算系統之一範例，該叢集運算系統更包含一分散式檔案系統，該主裝置與該從屬裝置共享該分散式檔案系統，且該步驟S23包含下列步驟：由該主裝置之該處理器根據該裝置資訊及該工作為該從屬裝置從該分散式檔案系統內選出該資源特徵模型。於該範例中，該運算方法可選擇地更包含以下步驟：由該主裝置之該處理器儲存對應至該工作的工作資訊至該分散式檔案系統。
作為該運算系統之一範例，該資源特徵模型包含一中央處理單元特徵模型及一記憶體特徵模型，該容器組態參數包含一容器數量及一容器規格，且該容器規格包含一中央處理單元規格及一記憶體規格。
作為該運算系統之一範例，步驟S23包含下列步驟： 由該主裝置之該處理器根據該裝置資訊及該工作為該從屬裝置選擇一相應資源特徵模型、一相似資源特徵模型及一預設資源特徵模型其中之一作為該資源特徵模型，其中該相應資源特徵模型優先於該相似資源特徵模型而被選擇，且該相似資源特徵模型優先於該預設資源特徵模型而被選擇。
作為該運算系統之一範例，步驟S23包含下列步驟：由該主裝置之該處理器分割複數資源特徵模型樣本為複數群組；從各該群組中選擇一資源特徵模型樣本作為一資源特徵模型代表；以及根據該裝置資訊及該工作從該等資源特徵模型代表中為該從屬裝置選擇該資源特徵模型。
針對該從屬裝置，本實施例所述運算方法包含：步驟S31，由該從屬裝置之該處理器傳送裝置資訊至該主裝置；步驟S33，由該從屬裝置之該處理器自該主裝置接收該主裝置分配的一工作和一容器組態參數；步驟S35，由該從屬裝置之該處理器根據該容器組態參數產生至少一容器以運算該工作；以及步驟S37，由該從屬裝置之該處理器根據對應至該工作之工作資訊及一規格檔建立一資源特徵模型。步驟S31-S37的呈現順序並非用以限制本發明，且在不脫離本發明之精神的前提下，可以適當地進行調整。
作為該運算系統之一範例，該叢集運算系統更包含一分散式檔案系統，該主裝置與該從屬裝置共享該分散式檔案系統，且步驟S37包含下列步驟：由該從屬裝置之該處理器根據該工作資訊及該規格檔在該分散式檔案系統內建立該資源特徵模型。於該範例中，該運算方法可選擇地更包含以下步驟：由該從屬裝置之該處理器 從該分散式檔案系統中取得該工作資訊。
作為該運算系統之一範例，該運算方法更包含以下步驟：由該從屬裝置之該處理器收集該容器運算該工作的工作狀態，並將對應至該工作狀態的狀態資訊儲存至該規格檔。
作為該運算系統之一範例，該資源特徵模型包含一中央處理單元特徵模型及一記憶體特徵模型，該容器組態參數包含一容器數量及一容器規格，且該容器規格包含一中央處理單元規格及一記憶體規格。
作為該運算系統之一範例，步驟S37包含下列步驟：由該處理器根據該工作資訊及該規格檔，利用一支援向量迴歸模組產生器建立一資源特徵模型。
第二實施例之運算方法本質上包含了與前述實施例之主裝置11及從屬裝置13之各項運作相對應的所有步驟。由於本發明所屬技術領域中具有通常知識者可根據前述實施例的相關揭示，而直接瞭解未記載於第二實施例之運算方法。
除了上述揭示內容，第二實施例之運算方法還包含了與前述實施例之主裝置11及從屬裝置13之其他運作相對應的步驟。由於本發明所屬技術領域中具有通常知識者可根據第一實施例的相關揭示而直接瞭解第二實施例之運算方法如何執行這些未揭示於第二實施例之相對應的步驟，於此不多贅述。
綜上所述，本發明提供了一種用於一叢集運算系統之主裝置、從屬裝置及其運算方法。根據本發明，一主裝置接收各個 從屬裝置所傳送的裝置資訊，根據該裝置資訊及一工作為各個從屬裝置選擇一資源特徵模型，根據各個資源特徵模型估測相對應的從屬裝置的一容器組態參數，傳送各個容器組態參數至相對應的從屬裝置，以及分配該工作至該等從屬裝置。根據本發明，一從屬裝置傳送其裝置資訊至一主裝置，自該主裝置接收該主裝置分配的一工作和一容器組態參數，根據該容器組態參數產生至少一容器以運算該工作，以及根據對應至該工作之工作資訊及一規格檔建立一資源特徵模型。
據此，本發明的從屬裝置所產生的容器，其容器規格可被動態調整，故不會因工作的特性不同，而造成資源浪費。再者，由於本發明的每一個容器的容器規格不再是固定的，故本發明的從屬裝置的容器總數也可被動態調整，故不會造成資源閒置。另外，由於本發明的從屬裝置所產生的容器，其容器規格與容器總數可被動態調整，故即使複數從屬裝置具有不同的裝置效能，也不會造成資源分配不當。
上述實施例並非用來限制本發明的實施方式，且任何熟悉此技術者可輕易完成的改變或均等性的安排皆不脫離本發明。本發明的範圍以申請專利範圍為準。
S21、S23、S25、S27、S29、S31、S33、S35、S37‧‧‧步驟

Claims (24)

  1. 一種用於一叢集運算系統(cluster computing system)之主裝置(master device)，包含：一連接介面，用以與至少一從屬裝置(slave device)連接；以及一處理器，電性連接至該連接介面，並用以接收該至少一從屬裝置中的每一個的裝置資訊，根據對應的裝置資訊及一工作(job)為該至少一從屬裝置中的每一個選擇一資源特徵模型，根據對應的資源特徵模型估測該至少一從屬裝置中的每一個的一容器組態參數，傳送對應的容器組態參數至該至少一從屬裝置中的每一個，以及分配該工作至該至少一從屬裝置中的每一個，俾該至少一從屬裝置中的每一個根據對應的容器組態參數產生一容器以運算該工作；其中各該容器組態參數包含一容器數量及一容器規格。
  2. 如請求項1所述之主裝置，其中該叢集運算系統更包含一分散式檔案系統(distribution file system)，該主裝置與該至少一從屬裝置中的每一個共享該分散式檔案系統，該處理器為該至少一從屬裝置中的每一個從該分散式檔案系統內選出對應的資源特徵模型。
  3. 如請求項2所述之主裝置，其中該處理器更儲存對應至該工作的工作資訊至該分散式檔案系統。
  4. 如請求項1所述之主裝置，其中該資源特徵模型包含一中央處理單元特徵模型及一記憶體特徵模型，且該容器規 格包含一中央處理單元規格及一記憶體規格。
  5. 如請求項1所述之主裝置，其中該處理器選擇一相應資源特徵模型、一相似資源特徵模型及一預設資源特徵模型其中之一作為各該資源特徵模型，該相應資源特徵模型優先於該相似資源特徵模型而被選擇，且該相似資源特徵模型優先於該預設資源特徵模型而被選擇。
  6. 如請求項1所述之主裝置，其中該處理器更分割複數資源特徵模型樣本為複數群組，從各該群組中選擇一資源特徵模型樣本為一資源特徵模型代表，以及從該等資源特徵模型代表中為該至少一從屬裝置中的每一個選擇對應的資源特徵模型。
  7. 一種用於一叢集運算系統之從屬裝置，包含：一連接介面，用以與一主裝置連接；以及一處理器，電性連接至該連接介面，並用以傳送裝置資訊至該主裝置，自該主裝置接收該主裝置分配的一工作和該主裝置估測的一容器組態參數，根據該容器組態參數產生至少一容器以運算該工作，以及根據對應至該工作之工作資訊(job information)及一規格檔(metric file)建立一資源特徵模型；其中該容器組態參數包含一容器數量及一容器規格。
  8. 如請求項7所述之從屬裝置，其中該叢集運算系統更包含一分散式檔案系統，該主裝置與該從屬裝置共享該分散式檔案系統，該處理器在該分散式檔案系統內建立該資源特徵模型。
  9. 如請求項8所述之從屬裝置，其中該處理器更從該分散 式檔案系統中取得該工作資訊。
  10. 如請求項7所述之從屬裝置，其中該處理器更收集該容器運算該工作的工作狀態，並將對應至該工作狀態的狀態資訊儲存至該規格檔。
  11. 如請求項7所述之從屬裝置，其中該資源特徵模型包含一中央處理單元特徵模型及一記憶體特徵模型，且該容器規格包含一中央處理單元規格及一記憶體規格。
  12. 如請求項7所述之從屬裝置，其中該處理器根據該工作資訊及該規格檔，利用一支援向量迴歸模組產生器建立一資源特徵模型。
  13. 一種用於一叢集運算系統中一主裝置的運算方法，該主裝置包含一連接介面與一處理器，該連接介面用以與至少一從屬裝置連接，該運算方法包含下列步驟：(A)由該處理器接收該至少一從屬裝置中的每一個的裝置資訊；(B)由該處理器根據對應的裝置資訊及一工作為該至少一從屬裝置中的每一個選擇一資源特徵模型；(C)由該處理器根據對應的資源特徵模型估測該至少一從屬裝置中的每一個的一容器組態參數，該容器組態參數包含一容器數量及一容器規格；(D)由該處理器傳送對應的容器組態參數至該至少一從屬裝置中的每一個；以及(E)由該處理器分配該工作至該從屬裝置，俾該至少一從屬裝置的每一個根據該容器組態參數產生一容器 以運算該工作。
  14. 如請求項13所述之運算方法，其中該叢集運算系統更包含一分散式檔案系統，該主裝置與該至少一從屬裝置中的每一個共享該分散式檔案系統，且該步驟(B)包含下列步驟：由該處理器根據該裝置資訊及該工作為該至少一從屬裝置中的每一個從該分散式檔案系統內選出對應的資源特徵模型。
  15. 如請求項14所述之運算方法，更包含下列步驟：(F)由該處理器儲存對應至該工作的工作資訊至該分散式檔案系統。
  16. 如請求項13所述之運算方法，其中該資源特徵模型包含一中央處理單元特徵模型及一記憶體特徵模型，且該容器規格包含一中央處理單元規格及一記憶體規格。
  17. 如請求項13所述之運算方法，其中該步驟(B)包含下列步驟：由該處理器根據對應的裝置資訊及該工作為該至少一從屬裝置中的每一個選擇一相應資源特徵模型、一相似資源特徵模型及一預設資源特徵模型其中之一作為各該資源特徵模型，其中該相應資源特徵模型優先於該相似資源特徵模型而被選擇，且該相似資源特徵模型優先於該預設資源特徵模型而被選擇。
  18. 如請求項13所述之運算方法，其中該步驟(B)包含下列步驟：由該處理器分割複數資源特徵模型樣本為複數群組；從各該群組中選擇一資源特徵模型樣本作為一資源特徵模型代表；以及根據對應的裝置資訊及該工作從該等資源特徵模 型代表中為該至少一從屬裝置中的每一個選擇對應的資源特徵模型。
  19. 一種用於一叢集運算系統中一從屬裝置的運算方法，該從屬裝置包含一連接介面與一處理器，該連接介面用以與一主裝置連接，該運算方法包含下列步驟：(A)由該處理器傳送裝置資訊至該主裝置；(B)由該處理器自該主裝置接收該主裝置分配的一工作和該主裝置估測的一容器組態參數，該容器組態參數包含一容器數量及一容器規格；(C)由該處理器根據該容器組態參數產生至少一容器以運算該工作；以及(D)由該處理器根據對應至該工作之工作資訊及一規格檔建立一資源特徵模型。
  20. 如請求項19所述之運算方法，其中該叢集運算系統更包含一分散式檔案系統，該主裝置與該從屬裝置共享該分散式檔案系統，且該步驟(D)包含下列步驟：由該處理器根據該工作資訊及該規格檔在該分散式檔案系統內建立該資源特徵模型。
  21. 如請求項20所述之運算方法，更包含下列步驟：(E)由該處理器從該分散式檔案系統中取得該工作資訊。
  22. 如請求項19所述之運算方法，更包含下列步驟：(F)由該處理器收集該容器運算該工作的工作狀態，並將對應至該工作狀態的狀態資訊儲存至該規格檔。
  23. 如請求項19所述之運算方法，其中該資源特徵模型包含一 中央處理單元特徵模型及一記憶體特徵模型，且該容器規格包含一中央處理單元規格及一記憶體規格。
  24. 如請求項19所述之運算方法，其中該步驟(D)包含下列步驟：由該處理器根據該工作資訊及該規格檔，利用一支援向量迴歸模組產生器建立一資源特徵模型。
TW103129437A 2014-08-27 2014-08-27 用於一叢集運算系統之主裝置、從屬裝置及其運算方法 TWI510931B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW103129437A TWI510931B (zh) 2014-08-27 2014-08-27 用於一叢集運算系統之主裝置、從屬裝置及其運算方法
CN201410494012.4A CN105511955A (zh) 2014-08-27 2014-09-24 用于一丛集运算***的主装置、从属装置及其运算方法
US14/518,411 US20160062929A1 (en) 2014-08-27 2014-10-20 Master device, slave device and computing methods thereof for a cluster computing system
JP2015000221A JP6001690B2 (ja) 2014-08-27 2015-01-05 クラスタコンピューティングシステム用のマスタデバイス、スレーブデバイスおよびそのコンピューティング方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103129437A TWI510931B (zh) 2014-08-27 2014-08-27 用於一叢集運算系統之主裝置、從屬裝置及其運算方法

Publications (2)

Publication Number Publication Date
TWI510931B true TWI510931B (zh) 2015-12-01
TW201608382A TW201608382A (zh) 2016-03-01

Family

ID=55402666

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103129437A TWI510931B (zh) 2014-08-27 2014-08-27 用於一叢集運算系統之主裝置、從屬裝置及其運算方法

Country Status (4)

Country Link
US (1) US20160062929A1 (zh)
JP (1) JP6001690B2 (zh)
CN (1) CN105511955A (zh)
TW (1) TWI510931B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742774B (zh) * 2020-07-22 2021-10-11 財團法人國家實驗研究院 運算系統及其主機資源分配方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672064B2 (en) * 2015-07-13 2017-06-06 Palo Alto Research Center Incorporated Dynamically adaptive, resource aware system and method for scheduling
US10733023B1 (en) * 2015-08-06 2020-08-04 D2Iq, Inc. Oversubscription scheduling
CN107885595B (zh) * 2016-09-30 2021-12-14 华为技术有限公司 一种资源分配方法、相关设备及***
TWI641951B (zh) * 2017-11-20 2018-11-21 宏碁股份有限公司 動態分派工作及提供資源的方法、裝置及其系統
KR102014246B1 (ko) * 2017-11-27 2019-10-21 주식회사 비디 리소스 통합관리를 위한 메소스 처리 장치 및 방법
EP3882771A1 (en) * 2020-03-16 2021-09-22 Leica Microsystems CMS GmbH Control system and method for operating a system
JP7459014B2 (ja) 2021-05-18 2024-04-01 トヨタ自動車株式会社 コンテナ管理装置、及びコンテナ管理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200620010A (en) * 2004-06-17 2006-06-16 Ibm System and method for dynamically building application environments in a computational grid
US8230070B2 (en) * 2007-11-09 2012-07-24 Manjrasoft Pty. Ltd. System and method for grid and cloud computing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009057208A1 (ja) * 2007-10-31 2009-05-07 Fujitsu Limited 資源割当プログラム、管理ノード、資源割当方法、および並列計算機システム
JP5584914B2 (ja) * 2010-07-15 2014-09-10 株式会社日立製作所 分散計算システム
CN102339296A (zh) * 2010-07-26 2012-02-01 阿里巴巴集团控股有限公司 一种查询结果的排序方法和装置
US20140122546A1 (en) * 2012-10-30 2014-05-01 Guangdeng D. Liao Tuning for distributed data storage and processing systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200620010A (en) * 2004-06-17 2006-06-16 Ibm System and method for dynamically building application environments in a computational grid
US8230070B2 (en) * 2007-11-09 2012-07-24 Manjrasoft Pty. Ltd. System and method for grid and cloud computing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A Dynamic Adaptive Computing Framework for Self-Provisioning Cloud Systems一個適用於自動供應雲端系統的動態調適計算架構"，江博閔，國立中央大學資 訊工程學系碩士論文，民國100年6月 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742774B (zh) * 2020-07-22 2021-10-11 財團法人國家實驗研究院 運算系統及其主機資源分配方法

Also Published As

Publication number Publication date
US20160062929A1 (en) 2016-03-03
CN105511955A (zh) 2016-04-20
TW201608382A (zh) 2016-03-01
JP6001690B2 (ja) 2016-10-05
JP2016048536A (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
TWI510931B (zh) 用於一叢集運算系統之主裝置、從屬裝置及其運算方法
US10635664B2 (en) Map-reduce job virtualization
US8458500B2 (en) Server allocation to workload based on energy profiles
US9503387B2 (en) Instantiating incompatible virtual compute requests in a heterogeneous cloud environment
WO2015143983A1 (zh) 一种对vnf实现加速处理的方法及装置
CN116501683A (zh) 用于协调解聚的加速器装置资源的技术
TWI547817B (zh) 叢集運算架構的資源規劃方法、系統及裝置
US8756441B1 (en) Data center energy manager for monitoring power usage in a data storage environment having a power monitor and a monitor module for correlating associative information associated with power consumption
WO2016090946A1 (zh) 一种虚拟数据中心资源映射方法和设备
KR20130088512A (ko) 클러스터 컴퓨팅 환경에서의 자원 관리 장치 및 방법
TW201214284A (en) Virtualization and dynamic resource allocation aware storage level reordering
TW201409357A (zh) 虛擬機資源負載平衡系統及方法
US20220012095A1 (en) Metrics and security-based accelerator service rescheduling and auto-scaling using a programmable network device
WO2018157768A1 (zh) 调度运行设备的方法、设备和运行设备
Zhou et al. Goldilocks: Adaptive resource provisioning in containerized data centers
Wang et al. Dependency-aware network adaptive scheduling of data-intensive parallel jobs
US20140289728A1 (en) Apparatus, system, method, and storage medium
KR101656706B1 (ko) 고성능 컴퓨팅 환경에서의 작업 분배 시스템 및 방법
US10853137B2 (en) Efficient resource allocation for concurrent graph workloads
Wadhwa et al. iez: Resource contention aware load balancing for large-scale parallel file systems
Patel et al. Efficient resource allocation strategy to improve energy consumption in cloud data centers
CN115408329B (zh) 即插即用型边缘计算终端硬件***架构
WO2012117471A1 (ja) 仮想サーバシステム、管理サーバ装置及びシステム管理方法
JP2007226280A (ja) 計算機リソース割当管理方法および計算機リソース割当管理装置
Patel et al. Existing and Relevant Methodologies for Energy Efficient Cloud Data centers