JP7259288B2 - ジョブスケジューリング装置、管理システム、及びスケジューリング方法 - Google Patents
ジョブスケジューリング装置、管理システム、及びスケジューリング方法 Download PDFInfo
- Publication number
- JP7259288B2 JP7259288B2 JP2018221832A JP2018221832A JP7259288B2 JP 7259288 B2 JP7259288 B2 JP 7259288B2 JP 2018221832 A JP2018221832 A JP 2018221832A JP 2018221832 A JP2018221832 A JP 2018221832A JP 7259288 B2 JP7259288 B2 JP 7259288B2
- Authority
- JP
- Japan
- Prior art keywords
- job
- data
- amount
- ssd
- written
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
以下、図面を参照して本発明の実施の形態について説明する。図1を用いて実施の形態1にかかるジョブスケジューリング装置10の構成例について説明する。ジョブスケジューリング装置10は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。ジョブスケジューリング装置10は、サーバ装置等であってもよい。
続いて、図2を用いて実施の形態2にかかる計算機システムの構成例について説明する。図2の計算機システムは、SSD寿命管理装置100、管理テーブル記憶装置200、ジョブスケジューリング装置10、及び複数の計算ノード410を有している。SSD寿命管理装置100、管理テーブル記憶装置200、ジョブスケジューリング装置10、及び複数の計算ノード410は、LAN(Local Area Network)を構成している。言い換えると、SSD寿命管理装置100、管理テーブル記憶装置200、ジョブスケジューリング装置300、及び複数の計算ノード410は、LANもしくはIPネットワークを介して通信を行う。
(条件1)SSD寿命管理テーブル211に記録された全てのジョブの書き込み数の平均値より、要求されたジョブの予想書き込み数が大きい場合、要求されたジョブを高負荷ジョブとする。
(条件2)高負荷ジョブは、目標書き込み数に対する不足分が大きい順に選択された複数の計算ノードのうちのいずれかの計算ノードに割り当てられる。選択される複数の計算ノードは、全待機ジョブ(全実行待ちジョブ)の総実行予定時間に占める高負荷ジョブの割合に応じて定まる。
(条件3)目標書き込み数に対する不足分が全SSDにおける不足分の平均値より小さいSSDは、高負荷ジョブの割当先の対象外とする。
(条件4)他のジョブを実行中の計算ノードを割当先の対象外とする。
(付記1)
各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量、から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得するデータ管理部と、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する決定部と、を備えるジョブスケジューリング装置。
(付記2)
前記決定部は、
それぞれのSSDの不足データ量の差が小さくなるように、前記ジョブを実行する計算ノードを決定する、請求項1に記載のジョブスケジューリング装置。
(付記3)
前記決定部は、
前記不足データ量が大きい順に選択された所定の数のSSDのうち、データの書き込みが実行されているSSD以外のSSDを搭載している計算ノードの中から前記ジョブを実行する計算ノードを決定する、請求項1又は2に記載のジョブスケジューリング装置。
(付記4)
前記決定部は、
前記ジョブが実行された場合に書き込まれるデータ量を予測し、予測された前記データ量が所定の値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、請求項1乃至3のいずれか1項に記載のジョブスケジューリング装置。
(付記5)
前記データ管理部は、
所定期間内に実行された全てのジョブに関連付けられた、ユーザ識別情報、ジョブ識別情報、及びそれぞれのジョブにおいて過去に書き込まれたデータ量をさらに取得し、
前記決定部は、
ジョブの実行を要求したユーザのユーザ識別情報及び当該ジョブのジョブ識別情報が一致するジョブにおいて過去に書き込まれたデータ量を、前記ジョブが実行された場合に書き込まれるデータ量と予測する、請求項4に記載のジョブスケジューリング装置。
(付記6)
前記決定部は、
予測された前記データ量が、所定期間内に実行された全てのジョブが書き込んだデータ量の平均値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、請求項4又は5に記載のジョブスケジューリング装置。
(付記7)
各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量と、前記SSDへ書き込まれたデータの実績データ量と、前記目標書き込みデータ量及び前記実績データ量から算出される目標書き込みデータ量に対する不足データ量と、を管理するデータ管理装置と、
ジョブの実行が要求された場合、複数のSSDの中から、前記データ管理装置から取得したそれぞれのSSDの前記不足データ量、に基づいて前記ジョブを実行する計算ノードを決定するジョブスケジューリング装置と、を備える管理システム。
(付記8)
前記ジョブスケジューリング装置は、
それぞれのSSDの不足データ量の差が小さくなるように、前記ジョブを実行する計算ノードを決定する、請求項7に記載の管理システム。
(付記9)
前記データ管理装置は、
所定期間内に実行された全てのジョブに関連付けられた、ユーザ識別情報、ジョブ識別情報、及びそれぞれのジョブにおいて過去に書き込まれたデータ量をさらに管理する、請求項7又は8に記載の管理システム。
(付記10)
各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得し、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、スケジューリング方法。
(付記11)
各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得し、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定することをコンピュータに実行させるプログラム。
11 データ管理部
12 決定部
100 SSD寿命管理装置
110 目標書き込み回数設定部
111 SSD情報取得部
112 目標書き込み回数計算部
120 ジョブ実行書き込み数管理部
121 ジョブスケジューリング装置制御部
122 書き込み数取得部
123 ジョブ実行書き込み数計算部
124 ジョブ情報統合部
200 管理テーブル記憶装置
210 ジョブ履歴テーブル
211 SSD寿命管理テーブル
300 ジョブスケジューリング装置
400 ラック
410 計算ノード
411 SSD
Claims (9)
- 各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量、から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得するデータ管理部と、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する決定部と、を備え、
前記決定部は、
前記ジョブが実行された場合に書き込まれるデータ量を予測し、予測された前記データ量が所定の値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、ジョブスケジューリング装置。 - 前記決定部は、
それぞれのSSDの不足データ量の差が小さくなるように、前記ジョブを実行する計算ノードを決定する、請求項1に記載のジョブスケジューリング装置。 - 前記決定部は、
前記不足データ量が大きい順に選択された所定の数のSSDのうち、データの書き込みが実行されているSSD以外のSSDを搭載している計算ノードの中から前記ジョブを実行する計算ノードを決定する、請求項1又は2に記載のジョブスケジューリング装置。 - 前記データ管理部は、
所定期間内に実行された全てのジョブに関連付けられた、ユーザ識別情報、ジョブ識別情報、及びそれぞれのジョブにおいて過去に書き込まれたデータ量をさらに取得し、
前記決定部は、
ジョブの実行を要求したユーザのユーザ識別情報及び当該ジョブのジョブ識別情報が一致するジョブにおいて過去に書き込まれたデータ量を、前記ジョブが実行された場合に書き込まれるデータ量と予測する、請求項1から3のいずれか1項に記載のジョブスケジューリング装置。 - 前記決定部は、
予測された前記データ量が、所定期間内に実行された全てのジョブが書き込んだデータ量の平均値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、請求項1から4のいずれか1項に記載のジョブスケジューリング装置。 - 各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量と、前記SSDへ書き込まれたデータの実績データ量と、前記目標書き込みデータ量及び前記実績データ量から算出される目標書き込みデータ量に対する不足データ量と、を管理するデータ管理装置と、
ジョブの実行が要求された場合、複数のSSDの中から、前記データ管理装置から取得したそれぞれのSSDの前記不足データ量、に基づいて前記ジョブを実行する計算ノードを決定するジョブスケジューリング装置と、を備え、
前記ジョブスケジューリング装置は、
前記ジョブが実行された場合に書き込まれるデータ量を予測し、予測された前記データ量が所定の値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、管理システム。 - 前記ジョブスケジューリング装置は、
それぞれのSSDの不足データ量の差が小さくなるように、前記ジョブを実行する計算ノードを決定する、請求項6に記載の管理システム。 - 前記データ管理装置は、
所定期間内に実行された全てのジョブに関連付けられた、ユーザ識別情報、ジョブ識別情報、及びそれぞれのジョブにおいて過去に書き込まれたデータ量をさらに管理する、請求項6又は7に記載の管理システム。 - 各計算ノードに搭載されているSSDの交換予定時期に基づいて定められる所定期間内の目標書き込みデータ量、及び、前記SSDへ書き込まれたデータの実績データ量から算出される目標書き込みデータ量に対する不足データ量に関する情報を取得し、
ジョブの実行が要求された場合、複数のSSDの中から、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定し、
前記計算ノードを決定する際に、
前記ジョブが実行された場合に書き込まれるデータ量を予測し、予測された前記データ量が所定の値を上回る場合に、それぞれのSSDの前記不足データ量に基づいて前記ジョブを実行する計算ノードを決定する、スケジューリング方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018221832A JP7259288B2 (ja) | 2018-11-28 | 2018-11-28 | ジョブスケジューリング装置、管理システム、及びスケジューリング方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018221832A JP7259288B2 (ja) | 2018-11-28 | 2018-11-28 | ジョブスケジューリング装置、管理システム、及びスケジューリング方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020087060A JP2020087060A (ja) | 2020-06-04 |
JP7259288B2 true JP7259288B2 (ja) | 2023-04-18 |
Family
ID=70908289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018221832A Active JP7259288B2 (ja) | 2018-11-28 | 2018-11-28 | ジョブスケジューリング装置、管理システム、及びスケジューリング方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7259288B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002024194A (ja) | 2000-07-05 | 2002-01-25 | Matsushita Electric Ind Co Ltd | ジョブ分散処理方法および分散処理システム |
JP2002297401A (ja) | 2001-03-30 | 2002-10-11 | Fujitsu Ltd | ジョブ制御プログラム、その記録媒体、ジョブ制御装置及び出力ファイル容量算出方法 |
JP2006285317A (ja) | 2005-03-31 | 2006-10-19 | Tokyo Electric Power Co Inc:The | 負荷判定システム、負荷分散システムおよび異常検出システム |
WO2015083225A1 (ja) | 2013-12-02 | 2015-06-11 | 富士通株式会社 | 情報処理装置、ストレージ、及びアクセス制御方法 |
WO2015087651A1 (ja) | 2013-12-12 | 2015-06-18 | 株式会社フィックスターズ | メモリの使用可能期間を延ばすための装置、プログラム、記録媒体および方法 |
WO2018029820A1 (ja) | 2016-08-10 | 2018-02-15 | 株式会社日立製作所 | 計算機システム |
CN108196959A (zh) | 2018-02-07 | 2018-06-22 | 聚好看科技股份有限公司 | Etl***的资源管理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1027167A (ja) * | 1996-07-12 | 1998-01-27 | Hitachi Ltd | 並列計算機の負荷分散方法 |
-
2018
- 2018-11-28 JP JP2018221832A patent/JP7259288B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002024194A (ja) | 2000-07-05 | 2002-01-25 | Matsushita Electric Ind Co Ltd | ジョブ分散処理方法および分散処理システム |
JP2002297401A (ja) | 2001-03-30 | 2002-10-11 | Fujitsu Ltd | ジョブ制御プログラム、その記録媒体、ジョブ制御装置及び出力ファイル容量算出方法 |
JP2006285317A (ja) | 2005-03-31 | 2006-10-19 | Tokyo Electric Power Co Inc:The | 負荷判定システム、負荷分散システムおよび異常検出システム |
WO2015083225A1 (ja) | 2013-12-02 | 2015-06-11 | 富士通株式会社 | 情報処理装置、ストレージ、及びアクセス制御方法 |
WO2015087651A1 (ja) | 2013-12-12 | 2015-06-18 | 株式会社フィックスターズ | メモリの使用可能期間を延ばすための装置、プログラム、記録媒体および方法 |
WO2018029820A1 (ja) | 2016-08-10 | 2018-02-15 | 株式会社日立製作所 | 計算機システム |
CN108196959A (zh) | 2018-02-07 | 2018-06-22 | 聚好看科技股份有限公司 | Etl***的资源管理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020087060A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5338906B2 (ja) | サーバ管理プログラム、管理サーバ、仮想サーバ配置方法 | |
JP5954074B2 (ja) | 情報処理方法、情報処理装置、及びプログラム。 | |
JP4922834B2 (ja) | コンピュータシステムに存在するリソースの性能を監視する装置及び方法 | |
JP6260407B2 (ja) | ストレージ管理装置、性能調整方法及び性能調整プログラム | |
US8171060B2 (en) | Storage system and method for operating storage system | |
US20210271401A1 (en) | Generation, validation and implementation of storage-orchestration strategies using virtual private array (vpa) in a dynamic manner | |
US8190789B2 (en) | Computer system and its renewal method | |
KR101426673B1 (ko) | 검색 시스템에서 시계열 데이터의 효율적 분석을 위한 분산 인덱싱 및 검색 방법 | |
US20170060472A1 (en) | Transparent hybrid data storage | |
JP2021056955A (ja) | 分散型ストレージシステム及びデータ移動方法 | |
US10002025B2 (en) | Computer system and load leveling program | |
JP7234702B2 (ja) | 情報処理装置、コンテナ配置方法及びコンテナ配置プログラム | |
JP6519111B2 (ja) | データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置 | |
JP2017138895A (ja) | 仮想化環境管理システムおよび仮想化環境管理方法 | |
Dieye et al. | On achieving high data availability in heterogeneous cloud storage systems | |
US20220342556A1 (en) | Workload Analysis For Long-Term Management Via Performance Service Levels | |
JP7259288B2 (ja) | ジョブスケジューリング装置、管理システム、及びスケジューリング方法 | |
WO2018193556A1 (ja) | 記憶ドライブの環境温度の制御方法 | |
KR101600743B1 (ko) | 데이터 처리 장치 및 방법 | |
JP2021009561A (ja) | データ処理システム、データ処理装置及びデータ処理プログラム | |
JP6963465B2 (ja) | 計算機システム及びデータ処理の制御方法 | |
JP2017107300A (ja) | データ管理プログラム及びデータ管理方法 | |
WO2013175540A1 (ja) | 情報処理システム | |
JP5543653B2 (ja) | 管理計算機 | |
US11953978B2 (en) | Method and system for performing service remediation in a distributed multi-tiered computing environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7259288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |