JPH09185534A - 自動データ圧縮方法 - Google Patents
自動データ圧縮方法Info
- Publication number
- JPH09185534A JPH09185534A JP7342226A JP34222695A JPH09185534A JP H09185534 A JPH09185534 A JP H09185534A JP 7342226 A JP7342226 A JP 7342226A JP 34222695 A JP34222695 A JP 34222695A JP H09185534 A JPH09185534 A JP H09185534A
- Authority
- JP
- Japan
- Prior art keywords
- data
- database
- amount
- compressed
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】本発明の課題は、計算機システムの稼働状況を
管理するために採取した稼働データをデータベースに格
納して長期的な稼働管理を行う場合の、データベース内
のデータ量の管理の方法を提示することにある。 【解決手段】本発明では、予めパラメタでデータベース
内の稼働データをより大きなインタバルでまとめてデー
タを少量化する方法を定義しておくことにより、データ
ベースへの稼働データの格納時に格納処理内でパラメタ
を参照し自動的にデータを少量化する。
管理するために採取した稼働データをデータベースに格
納して長期的な稼働管理を行う場合の、データベース内
のデータ量の管理の方法を提示することにある。 【解決手段】本発明では、予めパラメタでデータベース
内の稼働データをより大きなインタバルでまとめてデー
タを少量化する方法を定義しておくことにより、データ
ベースへの稼働データの格納時に格納処理内でパラメタ
を参照し自動的にデータを少量化する。
Description
【0001】
【発明の属する技術分野】本発明は、システムの稼働状
況採取プログラム(以下モニタリングプログラムと略
す)が採取した複数システムの各種稼働データを編集し
てデータベースに蓄積し一括して管理するシステムにお
いて、膨大となるデータ量を圧縮し長期的な稼働管理を
行う場合のデータ量の管理方法に関する。
況採取プログラム(以下モニタリングプログラムと略
す)が採取した複数システムの各種稼働データを編集し
てデータベースに蓄積し一括して管理するシステムにお
いて、膨大となるデータ量を圧縮し長期的な稼働管理を
行う場合のデータ量の管理方法に関する。
【0002】
【従来の技術】稼働データをデータベースに格納してイ
ンタバルにまとめてデータ量を少量化する方式は各種考
案されている。しかし、現状では、データベースに稼働
データを蓄積する場合、新規データを蓄積することによ
ってデータベースの容量が満杯になるかどうかを事前に
把握する機能はない。このため、蓄積プログラムを実行
時に蓄積データベースが満杯になった場合にはエラーと
なり、元のデータベースの稼働データは、エラー発生前
のバックアップから回復する必要がある。
ンタバルにまとめてデータ量を少量化する方式は各種考
案されている。しかし、現状では、データベースに稼働
データを蓄積する場合、新規データを蓄積することによ
ってデータベースの容量が満杯になるかどうかを事前に
把握する機能はない。このため、蓄積プログラムを実行
時に蓄積データベースが満杯になった場合にはエラーと
なり、元のデータベースの稼働データは、エラー発生前
のバックアップから回復する必要がある。
【0003】
【発明が解決しようとする課題】従来技術によりデータ
ベースに稼働データを蓄積し、長期的な稼働管理をしよ
うとすると、データベースが満杯になる前に、例えば一
時間単位のデータは一日単位のデータにするなどして、
データ量を少なくしてデータベースの空き容量を確保し
なければならなかった。このため、日々のデータをデー
タベースに蓄積する運用では、稼働管理者がデータベー
スの空き容量を監視し、空き容量が少ない場合には、古
いデータを圧縮してデータベース内の空き容量を確保す
る必要があった。本発明の目的は、データベース内の空
き容量を稼働管理者が意識することなく稼働データの蓄
積管理を可能とすることである。
ベースに稼働データを蓄積し、長期的な稼働管理をしよ
うとすると、データベースが満杯になる前に、例えば一
時間単位のデータは一日単位のデータにするなどして、
データ量を少なくしてデータベースの空き容量を確保し
なければならなかった。このため、日々のデータをデー
タベースに蓄積する運用では、稼働管理者がデータベー
スの空き容量を監視し、空き容量が少ない場合には、古
いデータを圧縮してデータベース内の空き容量を確保す
る必要があった。本発明の目的は、データベース内の空
き容量を稼働管理者が意識することなく稼働データの蓄
積管理を可能とすることである。
【0004】
【課題を解決するための手段】予めパラメタでデータベ
ース内の稼働データの圧縮条件と圧縮方法について指定
しておくことにより、データベースへのデータ格納時に
自動的に圧縮することができる。
ース内の稼働データの圧縮条件と圧縮方法について指定
しておくことにより、データベースへのデータ格納時に
自動的に圧縮することができる。
【0005】稼働データを蓄積するデータベースごと
に、稼働データ量がどれだけ蓄積された場合に圧縮する
かという圧縮条件、稼働データがデータベースに格納さ
れてから現在までに日数がどれくらい経過したデータは
どういうインタバルで圧縮するか(例えば、一ヶ月以上
前のデータは、一週間単位で圧縮する、一年以上前のデ
ータはアーカイブデータセットに退避するなど)という
ことを示した圧縮方法について予めパラメタで設定して
おき、新しく稼働データをデータベースに格納する場合
に、格納を契機に、格納処理内で圧縮条件を参照して、
圧縮するべきであれば、圧縮方法に基づいて自動的に圧
縮することにより、稼働管理の簡易化が図れる。
に、稼働データ量がどれだけ蓄積された場合に圧縮する
かという圧縮条件、稼働データがデータベースに格納さ
れてから現在までに日数がどれくらい経過したデータは
どういうインタバルで圧縮するか(例えば、一ヶ月以上
前のデータは、一週間単位で圧縮する、一年以上前のデ
ータはアーカイブデータセットに退避するなど)という
ことを示した圧縮方法について予めパラメタで設定して
おき、新しく稼働データをデータベースに格納する場合
に、格納を契機に、格納処理内で圧縮条件を参照して、
圧縮するべきであれば、圧縮方法に基づいて自動的に圧
縮することにより、稼働管理の簡易化が図れる。
【0006】
【発明の実施の形態】図1は本発明の処理の概略を示
す。
す。
【0007】入力データセット1の新データ11をデー
タベース4に格納する場合に、パラメタテーブル3の圧
縮条件31で指定されたデータベースのデータ量の上限
値を超えていたので、元データ41を圧縮するという処
理を表した図である。
タベース4に格納する場合に、パラメタテーブル3の圧
縮条件31で指定されたデータベースのデータ量の上限
値を超えていたので、元データ41を圧縮するという処
理を表した図である。
【0008】入力データセット1の新データ11をデー
タベース4に格納する場合には、自動データ圧縮機能2
より、まず、パラメタテーブル3の圧縮条件31からデ
ータベースの使用量の上限値を参照する。新データ11
と元データ41を合わせた量が上限値をこえているかを
判定21し、超えている場合には、元データ41を圧縮
方法32で指定した経過日数321と圧縮インタバル3
22により、圧縮22する。例えば、経過日数として一
ヶ月、圧縮インタバルとして一週間と指定すると新デー
タ11を格納した日から一ヶ月以上前のデータは一週間
のインタバルでまとめる。経過日数321と圧縮インタ
バル322のペアは複数指定できる。例えば、経過日数
が一ヶ月、圧縮インタバルが一週間のペアと、経過日数
が6カ月、圧縮インタバルが一ヶ月のペアを指定する
と、経過日数が6カ月以上のデータは1カ月のインタバ
ルで圧縮され、経過日数が一ヶ月以上から6カ月未満ま
でのデータは一週間のインタバルで圧縮され、一ヶ月未
満のデータはそのまま格納される。また、圧縮インタバ
ル322にアーカイブと指定されていれば、アーカイブ
データセット6に指定された経過日数のデータは格納さ
れる。
タベース4に格納する場合には、自動データ圧縮機能2
より、まず、パラメタテーブル3の圧縮条件31からデ
ータベースの使用量の上限値を参照する。新データ11
と元データ41を合わせた量が上限値をこえているかを
判定21し、超えている場合には、元データ41を圧縮
方法32で指定した経過日数321と圧縮インタバル3
22により、圧縮22する。例えば、経過日数として一
ヶ月、圧縮インタバルとして一週間と指定すると新デー
タ11を格納した日から一ヶ月以上前のデータは一週間
のインタバルでまとめる。経過日数321と圧縮インタ
バル322のペアは複数指定できる。例えば、経過日数
が一ヶ月、圧縮インタバルが一週間のペアと、経過日数
が6カ月、圧縮インタバルが一ヶ月のペアを指定する
と、経過日数が6カ月以上のデータは1カ月のインタバ
ルで圧縮され、経過日数が一ヶ月以上から6カ月未満ま
でのデータは一週間のインタバルで圧縮され、一ヶ月未
満のデータはそのまま格納される。また、圧縮インタバ
ル322にアーカイブと指定されていれば、アーカイブ
データセット6に指定された経過日数のデータは格納さ
れる。
【0009】圧縮データの作成には、ワークデータセッ
ト5を使用する。圧縮方法32に基づいてデータを圧縮
した後、元データ41を削除23して、新データ11と
ワークデータセット内の圧縮済みデータ51をデータベ
ース4に格納24する。
ト5を使用する。圧縮方法32に基づいてデータを圧縮
した後、元データ41を削除23して、新データ11と
ワークデータセット内の圧縮済みデータ51をデータベ
ース4に格納24する。
【0010】図2に本発明におけるデータベース圧縮実
施例について示す。
施例について示す。
【0011】本実施例では、圧縮条件としてはデータベ
ース内の使用量が70%を超えた場合と指定している。
説明をわかりやすくするために、2年分のデータを蓄積
した状態で、新データを格納した場合に70%を超えた
ものとする。
ース内の使用量が70%を超えた場合と指定している。
説明をわかりやすくするために、2年分のデータを蓄積
した状態で、新データを格納した場合に70%を超えた
ものとする。
【0012】圧縮方法32には3つの圧縮方法のペアが
定義されている。経過日数321、圧縮インタバル32
2より、1カ月以上前のデータは一週間のインタバル
に、経過日数323と圧縮インタバル324より、6カ
月以上前のデータは、1カ月のインタバルに、経過日数
325と圧縮インタバル326より、一年以上前のデー
タはアーカイブデータセットにアーカイブする。以上の
圧縮方法32に基づいて、元データ41の1年から2年
のデータ414はアーカイブデータセット6に格納し、
6カ月から1年のデータ413は1カ月単位のデータに
圧縮され、その結果、圧縮済みデータ42の424の部
分にデータ量が縮小される。同様に、1カ月から6カ月
のデータ412は、1週間単位のデータに圧縮され、圧
縮済みデータ42の423に縮小され、1カ月未満のデ
ータ411と新データ11は、そのまま、422と42
1となる。
定義されている。経過日数321、圧縮インタバル32
2より、1カ月以上前のデータは一週間のインタバル
に、経過日数323と圧縮インタバル324より、6カ
月以上前のデータは、1カ月のインタバルに、経過日数
325と圧縮インタバル326より、一年以上前のデー
タはアーカイブデータセットにアーカイブする。以上の
圧縮方法32に基づいて、元データ41の1年から2年
のデータ414はアーカイブデータセット6に格納し、
6カ月から1年のデータ413は1カ月単位のデータに
圧縮され、その結果、圧縮済みデータ42の424の部
分にデータ量が縮小される。同様に、1カ月から6カ月
のデータ412は、1週間単位のデータに圧縮され、圧
縮済みデータ42の423に縮小され、1カ月未満のデ
ータ411と新データ11は、そのまま、422と42
1となる。
【0013】自動データ圧縮機能2使用後のデータ量は
圧縮済みデータ42となり、元データ41と新データ1
1との合計と比較すると大幅にデータ量が削減される。
圧縮済みデータ42となり、元データ41と新データ1
1との合計と比較すると大幅にデータ量が削減される。
【0014】図3では、データ量の増加量を示したグラ
フである。
フである。
【0015】横軸は経過日数を示し、縦軸はデータベー
ス全体に対してデータ量の占める割合を示している。自
動データ圧縮機能を使用した場合のデータ量の増加は実
線7で示している。
ス全体に対してデータ量の占める割合を示している。自
動データ圧縮機能を使用した場合のデータ量の増加は実
線7で示している。
【0016】本発明の自動データ圧縮機能を使用しない
で、データを蓄積すると、B日でデータ量が100%に
達する。
で、データを蓄積すると、B日でデータ量が100%に
達する。
【0017】自動データ圧縮機能を使用すると、上限値
Eに達したA日には、自動的にデータ量がDにまで削減
される。また、日数の経過と共に圧縮後のデータ量も増
えてくるが、ある時期にアーカイブデータセットに古い
データを移すことによって、より長期のデータベースで
の稼働管理が可能となる。
Eに達したA日には、自動的にデータ量がDにまで削減
される。また、日数の経過と共に圧縮後のデータ量も増
えてくるが、ある時期にアーカイブデータセットに古い
データを移すことによって、より長期のデータベースで
の稼働管理が可能となる。
【0018】
【発明の効果】本実施例により以下の様な効果がある。
【0019】1.稼働データをデータベースを利用して
管理する場合に、データベースの空き容量を意識するこ
となく、稼働データを蓄積することができる。
管理する場合に、データベースの空き容量を意識するこ
となく、稼働データを蓄積することができる。
【図1】本発明における処理の概要を示す図である。
【図2】本発明におけるデータベース圧縮の詳細を説明
するための図。
するための図。
【図3】本発明におけるデータ量の増加グラフを示す図
である。
である。
Claims (1)
- 【請求項1】計算機システムの稼働情報などの時系列デ
ータをデータベースに蓄積して管理するシステムにおい
て、蓄積データの集計インタバル変更などによるデータ
圧縮の機構、及び蓄積データ量の上限値と圧縮方法を予
めパラメタで設定しておく機構を備えることにより、蓄
積データ量が上限値を超えた場合に、ある一定期間が経
過した古いデータを自動的に圧縮し、データベースの使
用容量の増加を抑えることを特長とするデータの自動圧
縮方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7342226A JPH09185534A (ja) | 1995-12-28 | 1995-12-28 | 自動データ圧縮方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7342226A JPH09185534A (ja) | 1995-12-28 | 1995-12-28 | 自動データ圧縮方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09185534A true JPH09185534A (ja) | 1997-07-15 |
Family
ID=18352098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7342226A Pending JPH09185534A (ja) | 1995-12-28 | 1995-12-28 | 自動データ圧縮方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH09185534A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007011502A (ja) * | 2005-06-28 | 2007-01-18 | Sharp Corp | デジタル情報圧縮装置および圧縮方法並びに圧縮プログラム |
JP5380608B1 (ja) * | 2012-09-19 | 2014-01-08 | 株式会社東芝 | 時系列データ蓄積装置 |
-
1995
- 1995-12-28 JP JP7342226A patent/JPH09185534A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007011502A (ja) * | 2005-06-28 | 2007-01-18 | Sharp Corp | デジタル情報圧縮装置および圧縮方法並びに圧縮プログラム |
JP5380608B1 (ja) * | 2012-09-19 | 2014-01-08 | 株式会社東芝 | 時系列データ蓄積装置 |
WO2014045351A1 (ja) * | 2012-09-19 | 2014-03-27 | 株式会社 東芝 | 時系列データ蓄積装置 |
US9886456B2 (en) | 2012-09-19 | 2018-02-06 | Kabushiki Kaisha Toshiba | Time-series data accumulation device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1952236B1 (en) | Technique for timeline compression in a data store | |
US8886610B2 (en) | Backup simulation for backing up filesystems to a storage device | |
US9697571B2 (en) | Real-time file system charge-back accounting per management object during a report cycle | |
CN107145403A (zh) | 面向Web开发环境的关系型数据库数据回溯方法 | |
DE112011103378T5 (de) | Automatische und sich selbsttätig anpassende Datensicherungsoperationen | |
US20100122270A1 (en) | System And Method For Consolidating Events In A Real Time Monitoring System | |
US20070106711A1 (en) | Method and apparatus for configurable data aggregation in a data warehouse | |
JP3951835B2 (ja) | 業務管理方法及び業務処理システム | |
US20070112876A1 (en) | Method and apparatus for pruning data in a data warehouse | |
US7155445B1 (en) | System and method for self-recovering real-time data-feed compression and archiving | |
CN111125171A (zh) | 一种监测数据存取方法、装置、设备及可读存储介质 | |
CN112839112A (zh) | 一种分层数据存储***及方法、备份管理服务器 | |
JPH09185534A (ja) | 自動データ圧縮方法 | |
JP2000347919A (ja) | データベース・オンラインバックアップ自動運用システム | |
JPH06250902A (ja) | 分散システムのファイルバックアップ方法 | |
JPH1069498A (ja) | プラントデータ収集収録装置 | |
US8051039B2 (en) | Method, system and computer program product for improved round robin for time series data | |
Cisco | Performance Data Storage | |
CN110502370B (zh) | 一种自动清理备份对象的方法 | |
Cisco | Performance Data Storage | |
JP6157420B2 (ja) | 業務処理システムおよび業務処理方法 | |
JP3029415B2 (ja) | データベース保守管理システム | |
JPH06243011A (ja) | データベースの自動メンテナンス方式 | |
CN110096518A (zh) | 知识库元数据发送方法及装置、可读存储介质 | |
CN111190803B (zh) | 一种性能统计数据的收集和存储方法及装置 |