JP2009181495A - ジョブ処理システムおよびジョブ管理方法 - Google Patents
ジョブ処理システムおよびジョブ管理方法 Download PDFInfo
- Publication number
- JP2009181495A JP2009181495A JP2008021963A JP2008021963A JP2009181495A JP 2009181495 A JP2009181495 A JP 2009181495A JP 2008021963 A JP2008021963 A JP 2008021963A JP 2008021963 A JP2008021963 A JP 2008021963A JP 2009181495 A JP2009181495 A JP 2009181495A
- Authority
- JP
- Japan
- Prior art keywords
- job
- resource
- cause
- information
- failure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 169
- 238000007726 management method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 22
- 230000005856 abnormality Effects 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 abstract description 11
- 239000000284 extract Substances 0.000 abstract description 5
- 230000003111 delayed effect Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000001364 causal effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010923 batch production Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
【解決手段】ジョブ処理を行うシステムに含まれる各サーバにおいて、利用リソース情報取得部34は、ジョブ登録部32においてユーザが登録したジョブフローに基づき、各ジョブが利用するリソースなどを抽出して、利用リソース情報のテーブルを作成する。既存のジョブについてはジョブ処理時のスナップショットなどに基づき利用リソース情報のテーブルを作成する。ジョブ処理時に障害が発生した際、障害原因検出部38は、利用リソース情報のテーブルとエラーログなどを参照して、異常となったジョブが利用しているリソースに基づき原因を検出する。
【選択図】図2
Description
Claims (9)
- ジョブをバッチ処理するジョブ処理システムであって、
登録されたジョブフローから、前記ジョブ処理システムにおいて処理されるジョブと、当該ジョブが利用するリソースに係る情報とを対応づけた利用リソース情報を取得する利用リソース情報取得部と、
処理中のジョブのいずれかに異常が発生した際、前記利用リソース情報を参照して当該ジョブが利用するリソースを特定し、それに基づき前記ジョブ処理システムが記録するログ情報の少なくともいずれかを異常発生時から時間を遡って参照して、特定したリソースに関連するエラー情報を取得することにより、異常となった原因と推定される要因を検出する障害原因検出部と、
前記障害原因検出部が検出した、原因と推定される要因に係る情報を出力する出力部と、
を備えたことを特徴とするジョブ処理システム。 - 前記障害原因検出部は、異常が発生したジョブが利用するリソースに関連するログを参照し、当該リソースのエラー情報を検出した場合に、当該リソースを、異常となった原因と推定される要因として検出することを特徴とする請求項1に記載のジョブ処理システム。
- 前記障害原因検出部は、前記利用リソース情報を参照して、異常が発生したジョブが利用するリソースと同一のリソースを利用している他のジョブをさらに特定し、特定したジョブに関連するログを参照して当該ジョブのエラー情報を検出した場合に、前記同一のリソースを、異常となった原因と推定される要因として検出することを特徴とする請求項1に記載のジョブ処理システム。
- 前記障害原因検出部は、前記利用リソース情報を参照して、同一のリソースを利用しているジョブの連鎖を異常が発生したジョブから辿り、その過程でジョブの連鎖を仲介するリソースに関連するログにエラー情報を検出した場合に、当該リソースを、異常となった原因と推定される要因として検出することを特徴とする請求項1に記載のジョブ処理システム。
- ジョブに異常を発生させる原因となりうる要因と、当該要因が異常発生時にその原因となる確率とを対応づけた原因確率テーブルをあらじめ格納する記憶部をさらに備え、
前記障害原因検出部は異常発生時に、前記原因確率テーブルをさらに参照して、検出した要因ごとに、当該要因が原因である確率を取得し、
前記出力部は、前記要因と前記確率とを対応づけて出力することを特徴とする請求項1から4のいずれかに記載のジョブ処理システム。 - 前記利用リソース情報取得部は、各ジョブと、当該ジョブが利用するリソースに対する処理内容を前記利用リソース情報としてさらに対応づけ、
前記原因確率テーブルは、前記要因としてリソースのエラーと、前記原因となる確率とを、当該リソースに対するジョブの処理内容ごとに対応づけ、
前記障害原因検出部は、前記利用リソース情報を参照して、異常が発生したジョブが利用するリソースに対する処理内容をさらに特定し、それに基づき前記原因確率テーブルをさらに参照して、検出した要因が原因である確率を前記リソースに対する処理内容に応じて取得することを特徴とする請求項5に記載のジョブ処理システム。 - ジョブをバッチ処理するジョブ処理システムであって、
登録されたジョブフローから、前記ジョブ処理システムにおいて処理されるジョブと、当該ジョブが利用するリソースに係る情報とを対応づけた利用リソース情報を取得する利用リソース情報取得部と、
処理中のジョブのいずれかに異常が発生した際、前記利用リソース情報を参照して、当該ジョブが利用するリソースと関連のあるジョブを特定し、それに基づきあらかじめ登録されたジョブの処理順序情報を参照することにより、以後に処理が予定されているジョブのうち前記関連のあるジョブを、影響の及ぶジョブとして検出する障害影響検出部と、
前記障害影響検出部が検出した前記影響の及ぶジョブに係る情報を出力する出力部と、
を備えたことを特徴とするジョブ処理システム。 - 前記障害影響検出部は、検出した前記影響の及ぶジョブの処理を中止させることを特徴とする請求項7に記載のジョブ処理システム。
- ジョブ処理システムにおいてバッチ処理されるジョブと各ジョブが利用するリソースとを対応づけた利用リソース情報を取得するステップと、
処理中のジョブのいずれかに異常が発生した際、前記利用リソース情報を参照して当該ジョブが利用するリソースを特定し、それに基づき前記ジョブ処理システムが記録するログ情報の少なくともいずれかを異常発生時から時間を遡って参照して、特定したリソースに関連するエラー情報を取得することにより、異常となった原因と推定される要因を検出するステップと、
原因と推定される要因に係る情報を出力するステップと、
を含むことを特徴とするジョブ管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008021963A JP4928480B2 (ja) | 2008-01-31 | 2008-01-31 | ジョブ処理システムおよびジョブ管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008021963A JP4928480B2 (ja) | 2008-01-31 | 2008-01-31 | ジョブ処理システムおよびジョブ管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009181495A true JP2009181495A (ja) | 2009-08-13 |
JP4928480B2 JP4928480B2 (ja) | 2012-05-09 |
Family
ID=41035397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008021963A Active JP4928480B2 (ja) | 2008-01-31 | 2008-01-31 | ジョブ処理システムおよびジョブ管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4928480B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282754A (ja) * | 2008-05-22 | 2009-12-03 | Hitachi Ltd | バッチ処理監視装置、方法及びプログラム |
JP2011134239A (ja) * | 2009-12-25 | 2011-07-07 | Nec Corp | ジョブフロー管理装置、ジョブフロー実行開始時刻予測方法およびそのプログラム |
JP2018063518A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社日立製作所 | 管理サーバ、管理方法及びそのプログラム |
JP2018106638A (ja) * | 2016-12-28 | 2018-07-05 | 富士通株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
CN113632120A (zh) * | 2019-04-05 | 2021-11-09 | 神钢建机株式会社 | 技能评价***以及技能评价方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207253A (ja) * | 1999-01-13 | 2000-07-28 | Toriumi Network Filing Kenkyusho:Kk | タスク異常検出および管理方式 |
JP2000235499A (ja) * | 1999-02-15 | 2000-08-29 | Fujitsu Ltd | システム運用管理装置 |
JP2001109647A (ja) * | 1999-10-12 | 2001-04-20 | Fujitsu Ltd | 事態状況解析装置 |
JP2005316728A (ja) * | 2004-04-28 | 2005-11-10 | Mitsubishi Electric Corp | 障害解析装置、障害解析方法及び障害解析プログラム |
JP2006031109A (ja) * | 2004-07-12 | 2006-02-02 | Ntt Docomo Inc | 管理システム及び管理方法 |
JP2007148728A (ja) * | 2005-11-28 | 2007-06-14 | Hitachi Ltd | ポリシ制御方法、装置及びプログラム |
-
2008
- 2008-01-31 JP JP2008021963A patent/JP4928480B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207253A (ja) * | 1999-01-13 | 2000-07-28 | Toriumi Network Filing Kenkyusho:Kk | タスク異常検出および管理方式 |
JP2000235499A (ja) * | 1999-02-15 | 2000-08-29 | Fujitsu Ltd | システム運用管理装置 |
JP2001109647A (ja) * | 1999-10-12 | 2001-04-20 | Fujitsu Ltd | 事態状況解析装置 |
JP2005316728A (ja) * | 2004-04-28 | 2005-11-10 | Mitsubishi Electric Corp | 障害解析装置、障害解析方法及び障害解析プログラム |
JP2006031109A (ja) * | 2004-07-12 | 2006-02-02 | Ntt Docomo Inc | 管理システム及び管理方法 |
JP2007148728A (ja) * | 2005-11-28 | 2007-06-14 | Hitachi Ltd | ポリシ制御方法、装置及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009282754A (ja) * | 2008-05-22 | 2009-12-03 | Hitachi Ltd | バッチ処理監視装置、方法及びプログラム |
JP2011134239A (ja) * | 2009-12-25 | 2011-07-07 | Nec Corp | ジョブフロー管理装置、ジョブフロー実行開始時刻予測方法およびそのプログラム |
JP2018063518A (ja) * | 2016-10-12 | 2018-04-19 | 株式会社日立製作所 | 管理サーバ、管理方法及びそのプログラム |
JP2018106638A (ja) * | 2016-12-28 | 2018-07-05 | 富士通株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
CN113632120A (zh) * | 2019-04-05 | 2021-11-09 | 神钢建机株式会社 | 技能评价***以及技能评价方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4928480B2 (ja) | 2012-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105357038B (zh) | 监控虚拟机集群的方法和*** | |
EP3567496B1 (en) | Systems and methods for indexing and searching | |
EP2808790B1 (en) | Migration assessment for cloud computing platforms | |
US10621211B2 (en) | Language tag management on international data storage | |
CN107818431B (zh) | 一种提供订单轨迹数据的方法和*** | |
US20080058961A1 (en) | Methods and arrangements to collect data | |
US20100192229A1 (en) | Privilege violation detecting program | |
JP4928480B2 (ja) | ジョブ処理システムおよびジョブ管理方法 | |
US10977108B2 (en) | Influence range specifying method, influence range specifying apparatus, and storage medium | |
JP5007247B2 (ja) | ジョブ処理システムおよびジョブ管理方法 | |
JP5989194B1 (ja) | テスト管理システムおよびプログラム | |
CN112130976A (zh) | 一种基于rest的多引擎大数据任务管理方法 | |
CN112559525B (zh) | 数据检查***、方法、装置和服务器 | |
JP2009181494A (ja) | ジョブ処理システムおよびジョブ情報取得方法 | |
JP5231035B2 (ja) | ジョブ処理システムおよびジョブ処理方法 | |
JP2003345628A (ja) | 障害調査資料採取方法及びその実施システム並びにその処理プログラム | |
CN110347741B (zh) | 大数据处理过程中有效提升输出成果数据质量的***及其控制方法 | |
JP2009181498A (ja) | ジョブ処理システムおよびジョブ処理方法 | |
WO2020194000A1 (en) | Method of detecting and removing defects | |
CN116701544B (zh) | 分布式数据库日志处理方法和装置、电子设备和存储介质 | |
CN117421337A (zh) | 数据采集方法、装置、设备及计算机可读介质 | |
CN115756575A (zh) | 一种提交记录获取方法、装置、设备及存储介质 | |
CN116069770A (zh) | 针对检核对象的检核方法、设备以及计算机可读存储介质 | |
CN115858493A (zh) | 一种数据迁移方法、装置、电子设备及可读存储介质 | |
CN118093614A (zh) | 多个Neo4j的数据一致性与查询方法、装置及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100329 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120210 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4928480 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |