JPH11203316A - バッチ処理を利用した回線負荷軽減システム - Google Patents

バッチ処理を利用した回線負荷軽減システム

Info

Publication number
JPH11203316A
JPH11203316A JP10006310A JP631098A JPH11203316A JP H11203316 A JPH11203316 A JP H11203316A JP 10006310 A JP10006310 A JP 10006310A JP 631098 A JP631098 A JP 631098A JP H11203316 A JPH11203316 A JP H11203316A
Authority
JP
Japan
Prior art keywords
database
server
data
sub
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10006310A
Other languages
English (en)
Inventor
Nobuta Omae
伸太 御前
Naoko Taniguchi
尚子 谷口
Shinkichi Ehata
新吉 江畠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP10006310A priority Critical patent/JPH11203316A/ja
Publication of JPH11203316A publication Critical patent/JPH11203316A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】通常のLANシステムよりも転送速度の遅い回
線を経由してデータベースにアクセスするシステムにお
いて、大量データを扱った場合において転送速度の遅い
回線に負荷をかけないシステムを実現することである。 【解決手段】クライアントの要求が大量データの扱った
ものの場合、指定時間にデータベースをアクセスし、そ
の結果をサブサーバ上に保存することによって負荷を分
散させるシステムを構築する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はクライアントサーバ
システムにおいて、メインフレーム及びワークステーシ
ョンのマスタサーバデータベースファイル及びサブサー
バデータベースファイルをクライアント計算機システム
側から検索するシステムに関する。
【0002】
【従来の技術】WAN回線を利用して、ワークステーシ
ョン・メインフレームのデータベースのデータをパーソ
ナルコンピュータに取り込み、加工・編集処理を行うク
ライアントサーバシステムにおいて、大量データの検索
を行いたいというニーズがある。この場合、WAN回線
を利用した大量データのデータベースアクセスを行う
と、WAN回線に負荷がかかり、他のトランザクション
にも影響を与えてしまい、WAN回線利用者全体に対し
て影響を与えてしまうという問題がある。従来の技術で
は、この問題を解決するのに、意識的によく使用するテ
ーブルについてサブサーバにレプリカを作成し、そのレ
プリカをアクセスすることによりWAN回線の負荷の軽
減を実現している。
【0003】
【発明が解決しようとする課題】上記従来技術におい
て、以下の2つの問題点がある。
【0004】従来技術の第1の問題点は、レプリカとし
て作成された特定のテーブル以外のテーブルの大量デー
タの検索においては、WANを使用して、検索しなけれ
ばならないということである。
【0005】従来技術の第2の問題点は、どのマスター
テーブルのレプリカを作成するかシステム管理者が意識
してシステムを変更していかなければならないというこ
とである。
【0006】本発明の第1の目的は、ユーザ要求のデー
タがサブサーバ上のレプリカ上に存在しない場合、大量
データであるかをユーザに意識させず任意のルールに基
づいて判定し、大量データの場合は、WAN回線に負荷
をかけないバッチ処理に切り替え、WAN回線の負荷が
少ない時間帯にサブサーバ上にデータをダウンロードす
ることにある。
【0007】本発明の第2の目的は、システム管理者に
意識させずに有効なレプリカを作成することである。
【0008】
【課題を解決するための手段】上記第1の課題解決のた
め、本発明第1の処理方式では、クライアント側に検索
に要する時間を予測する手段、サブサーバ側にサブサー
バのデータベースをアクセスし、そのデータベース上に
ユーザ要求のデータテーブルが存在するかを判定する手
段、マスタサーバ側に検索した情報を指定された時間に
サブサーバに対して検索したデータを転送する手段、そ
してサブサーバ側にマスタサーバ側に通常の処理からバ
ッチ処理に切り替える手段と、マスタサーバ側から転送
されたデータをサブサーバ上に反映する手段を有する。
【0009】上記第2の課題解決のため、本発明第2の
処理方式では、任意のルールに基づいて、サブサーバ側
で、ユーザ要求があったテーブルの要求頻度を格納する
手段とそれを基に使用頻度の高いテーブルを判定し、使
用頻度の高いテーブルと使用頻度の低いテーブルとを入
れ替える手段を有する。
【0010】
【発明の実施の形態】本実施例において、図1は本発明
におけるシステムの概略を示したものである。
【0011】この図において、100はクライアント計
算機システムを120はサブサーバ計算機システムを1
30はマスタサーバ計算機システムを示している。
【0012】また、クライアント計算機システム100
にはデータアクセスの制御を行うデータベースアクセス
部102、検索時間の予測を行う検索時間予測部103
そして利用者とのインターフェース部分を扱うユーザイ
ンターフェース部104を持ち、サブサーバ計算機シス
テム110にはマスターテーブルをアクセスするか、サ
ブサーバ上のテーブルをアクセスするかを判定するアク
セスサーバ切り替え部112、サブサーバデータベース
114とこのサブサーバデータベース114のデータベ
ースアクセス部113及びユーザが利用したテーブルの
利用頻度を計算し、サブサーバデータベース114に保
持するテーブルを決定する利用頻度計算部115を持
つ。そしてマスタサーバ計算機システム120にはマス
タサーバデータベース123をアクセスするデータベー
スアクセス部122を持つ。また、このシステムは通信
制御部101、111、及び121において、ネットワ
ーク間の通信を行っていることを示す。
【0013】まず、図1を用いてサブサーバデータベー
ス114上にデータが存在する場合についての実施例を
示す。最初に、利用者によりクライアント計算機システ
ム100のユーザインタフェース部104よりテーブル
(表名:table1)の検索要求を行う。それを受け
たデータベースアクセス部102でSQL文を作成し、
通信部101及び111を介して、アクセスサーバ切り
替え部112に要求を通知する。通知を受けたアクセス
サーバ切り替え部112は、サブサーバデータベース1
14より、サブサーバデータベース上で管理しているテ
ーブルの一覧(図2参照)よりサブサーバデータベース
114上に要求データが存在するかを確認する。
【0014】ここでは、表table1はサブサーバデ
ータベース114上に存在するので、データベースアク
セス部113はサブデータベース114からtable
1のデータを検索し、通信部111及び通信部101を
介してデータベースアクセス部102にデータを転送す
る。データを受け取ったデータベースアクセス部102
はユーザインタフェース部104を介して利用者に対し
て検索データを表示する。
【0015】2番目の実施例として、サブサーバデータ
ベース114上にデータが存在しないで、なおかつ検索
データが少量データの場合についての実施例を図1を用
いて示す。
【0016】まず、利用者によりクライアント計算機シ
ステムのユーザインタフェース部よりテーブル(表名:
table3)の検索要求を行う。これはサブサーバデ
ータベース上で管理しているテーブルの一覧(図2参
照)よりサブサーバデータベース114上に存在しない
ので、アクセスサーバ切り替え部112は通信部111
及び121を介してデータベースアクセス部122にt
able3のデータ検索を要求する。データベースアク
セス部122はマスタデータベース123よりtabl
e3を検索し、通信部121及び111を介してアクセ
スサーバ切り替え判定部112に検索データを転送す
る。アクセスサーバ切り替え判定部112は通信部10
1及び111を介してデータベースアクセス部102に
検索データを転送する。データベースアクセス部102
はユーザインタフェース部104を介して利用者に対し
て検索データを表示する。
【0017】3番目の実施例として、サブサーバデータ
ベース114上にデータが存在しないで、なおかつ検索
データが大量データの場合についての実施例を図1を用
いて示す。
【0018】まず、利用者によりクライアント計算機シ
ステム100のユーザインタフェース部104よりテー
ブル(表名:table3)の検索要求を行う。これは
サブサーバデータベース上で管理しているテーブルの一
覧(図2参照)よりサブサーバデータベース114上に
存在しないので、アクセスサーバ切り替え部112は通
信部111及び121を介してデータベースアクセス部
122にtable3のデータ検索を要求する。
【0019】これによりデータの検索を行うが、検索時
間予測部103で任意の手法により検索データが大量で
あると判断された場合、ユーザ指示あるいは任意のルー
ルに基づいて検索時間予測部103は通信部101及び
111を介してアクセスサーバ切り替え部112に大量
データであることを通知し、アクセスサーバ切り替え部
112はデータ検索処理を通信に負荷をかけないバッチ
処理(図3参照)に切り替える。
【0020】ここで、バッチ処理を図3を用いて説明す
る。要求を受けたアクセスサーバ切り替え部312は通
信部311及び321を介してデータベースアクセス部
322にバッチ処理を要求する。要求を受け付けたデー
タベースアクセス部322はマスタサーバデータベース
323よりアクセスサーバ切り替え部312より指示さ
れた指定時間(例えば、通信回線340の通信負荷がか
からない深夜から早朝)にデータを検索し、検索終了し
たならば、アクセスサーバ切り替え部312はファイル
または、サブサーバデータベース314にテーブルを作
成することによりデータを保持する。そして、利用者は
検索が終了していることを確認したならばサブデータベ
ース314より取得したいデータを送信することによ
り、通信回線340に負荷をかけず、利用者に無為な検
索待ち時間を与えることなくデータを取得することがで
きる。
【0021】ここで、図1の大量データの判定ルールと
しては3種類の方法が考えられる。
【0022】1番目の予測方法はユーザによって検索デ
ータの検索上限を指定し、SQLにより検索件数を調
べ、ユーザによって指定された検索の上限件数を超えて
いれば大量データと判定する方法である。2番目の予測
方法は最小2乗法を用いた方法である。これは縦軸を検
索経過時間、横軸を検索件数とし、それまで既に検索を
行った結果をこのグラフにプロットする(図4参照)。
このとき回帰直線をy=ax+bとすると、a=(Σ x
y−nE(x)E(y))/(Σx2−n{E(x)}2)、b=E(y)−a
E(x)が求められる。ここで、E(x),E(y)はそれぞれ
要素x、yの平均、そして、nはプロットした数であ
る。例を用いて説明すると、図4より、a=0.0202,b
=−0.018となり、回帰直線はy=0.0202x−0.018とな
る。次に、検索データが10000件だとすると、y=
0.0202×10000−0.018=201.8(秒)となる。ユーザ指
定の検索時間の上限が、180秒とすると、予測検索時
間は検索時間の上限よりも大きいので、大量データと判
断される。
【0023】3番目の予測方法は1件を検索するのに要
する平均検索時間を求めて、ある基準の予測時間を超え
る時間が予測されるときは、大量データと判定する方法
である。図4を用いて説明すると、1件を検索するのに
7.85/400=0.019625秒を要するのでこの値から100
00件を検索したときの予測検索時間は0.019625×1000
0=196.25秒となり、ユーザ指定の検索時間の上限が1
80秒とすると、大量データとみなされる。
【0024】4番目の実施例として利用者のテーブルの
使用頻度が変化した場合についての実施例図1を用いて
示す。サブサーバ計算機システム110の使用頻度計算
部125でユーザ指定の間隔で利用者のテーブル使用頻
度を計算する。計算した結果、ユーザ指定の方法でサブ
サーバデータベース314に保存するテーブルを決定す
る。これに基づきアクセスサーバ切り替え部312は通
信部321及び311を介してデータベースアクセス部
122に要求をだし、要求を受けたデータベースアクセ
ス部122はマスタデータベース123より新規のデー
タを検索し、検索結果を通信部121及び111を介し
てアクセスサーバ切り替え部112にデータを送信す
る。
【0025】アクセスサーバ切り替え部112は送信さ
れたデータをサブサーバデータベースアクセス部113
に送信し、サブサーバデータベースアクセス部113よ
りサブサーバデータベース114にデータの更新を行
う。この処理を3番目と同様回線の負荷の少ない例えば
深夜から早朝にかけて行うように時間指定をすることに
より、ユーザは細かい指示を出すことなく使用頻度の高
いテーブルを常に、サブサーバに持つことができる。
【0026】ここで、使用頻度計算部125で選ばれる
表の選定方法として3つの方法が考えられる。1番目の
選定方法は、最近使用された表を選定する方法である。
例として、図5のように表が参照されたとすると、時間
軸に対して最近参照されたものから優先順位を高くする
方法である。図5の例では、表を3個検索すると、ta
ble1,table3,table5が選択される。
2番目の選定方法は、参照回数の多いものから優先度を
高くする方法である。表を3個検索すると、図6の例で
はtable1,table3,table5が選択さ
れる。3番目の選択方法は、参照された表に対してデー
タ件数の大きいものから優先度を高くする方法である。
図7の例では、table1,table3,tabl
e8が選択される。また、これらの他にも3つの方法で
得られた優先度に重みをつけて優先度を求める方法があ
る。
【0027】
【発明の効果】本発明は以上説明したように構成されて
いるので、次に記載するような効果がある。
【0028】従来、マスタデータベースを持つサーバ計
算機システムと、サブデータベースを持つサーバ計算機
システムとを通信回線1で接続し、サブデータベースを
持つサーバ計算機システムとディスプレイと入力装置を
持つクライアント計算機システムとを通信回線1よりも
転送速度の速い通信回線2で接続した、クライアント・
サーバシステムにおいて、大量データを検索する場合、
サブデータベースに目的とするデータが存在すれば、サ
ブデータベースより検索を行うことにより、通信回線2
よりも転送速度の遅い通信回線1に負荷をかけないよう
にすることが可能であった。しかし、サブデータベース
に目的とするデータが存在しないときは、マスタデータ
ベースよりデータを検索する必要があり、通信回線2よ
りも転送速度の遅い通信回線1に対して負荷がかかり、
システム全体の性能に大きく影響を及ぼす。
【0029】本発明の請求項1によれば、従来のシステ
ムでは、サブデータベースに目的とするテーブルが存在
するかどうかを利用者が意識する必要があったが、本発
明により利用者が意識することなくサブデータベースと
マスタデータベースの切り替えを行うことができるとい
う効果がある。
【0030】本発明の請求項2によれば、従来のシステ
ムでは、サブデータベースに目的とするテーブルが存在
しない場合は、マスタテーブルよりデータを検索する必
要があり、検索を行っている間、利用者は処理が終了す
るのを待たされることになる。さらには、検索を行った
時間帯が通信負荷のかかる時間帯である場合は大量デー
タの検索はシステム全体に影響を与えることになってい
た。しかし、本発明により大量データの検索処理とみな
された検索処理は通信に負荷をかけないバッチ処理に切
り替えられ、マスタデータベースからサブサーバ上にデ
ータを転送することができる。この際、バッチ処理に切
り替わっているので利用者は検索の終了を待つことなく
次の作業を行うことができ、また、通信回線の負荷が少
ない時間帯に転送時間を指定することにより通信速度の
遅い回線に対して負荷を軽減するという効果がある。
【0031】本発明の請求項3によれば、従来のシステ
ムでは、サブデータベース上に作成するテーブルは利用
者がよく使用するテーブルを調査・決定する必要があっ
た。しかし、本発明により利用者は意志決定手順を定義
するだけで、意識することなく手順に従いサブデータベ
ース上に利用頻度の高いテーブルを作成することができ
るという効果がある。
【図面の簡単な説明】
【図1】本発明におけるシステムの概要を示した図であ
る。
【図2】サブサーバ上に存在しているテーブルの管理方
法を示した。
【図3】バッチ処理の処理方法を示した図である。
【図4】最小2乗法を用いた検索時間予測方法を示した
図である。
【図5】最近参照された順番でテーブルをサブサーバ上
にコピーする方法を示した図である。
【図6】参照回数の多い順番でテーブルをサブサーバ上
にコピーする方法を示した図である。
【図7】データ件数の多い順番でテーブルをサブサーバ
上にコピーする方法を示した図である。
【符号の説明】
100…クライアント計算機システム、101…通信制
御部、102…データベースアクセス部、 103…
検索時間予測部、104…ユーザインタフェース部、
110…サブサーバ計算機システム、111…通信制
御部、 112…アクセスサーバ切り替
え部、113…データベースアクセス部、 114…
サブサーバデータベース、115…利用頻度計算部、
120…マスタサーバ計算機システム、12
1…通信制御部、 122…データベー
スアクセス部、123…マスタサーバデータベース、
130…回線1、140…回線2、
150…回線3、310…サブサーバ計算機システ
ム、 311…通信制御部、312…アクセスサーバ切
り替え部、 313…データベースアクセス部、314
…サブサーバデータベース、 315…利用頻度計算
部、320…マスタサーバ計算機システム、321…通
信制御部、322…データベース管理部、 32
3…マスターデータベース、330…回線1、
340…回線2、350…回線3。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】データベースを持つマスタサーバのサーバ
    計算機システムと、 データベースを持つサブサーバのサーバ計算機システム
    と通信回線1で接続し、 サブサーバのサーバ計算機システムとディスプレイと入
    力装置をもつクライアント計算機システムとを通信回線
    1よりも転送速度の速い通信回線2で接続し、 クライアント計算機システムからマスタのサーバデータ
    ベースのアクセスを行う場合、 テーブル使用頻度を計算する手段と、使用頻度の高いテ
    ーブルのみを任意のルールに従って、 サブサーバ上のデータベースに反映する手段を持つこと
    によって、常に使用頻度の高いテーブルを任意のルール
    に基づいてサブサーバ上のデータベースに反映され、 任意のルールで利用者の要求テーブルがサブサーバ上存
    在するかどうかを判定することで、 通信回線1に対する負荷の軽減を可能とするシステム。
  2. 【請求項2】請求項1記載のシステム方式において請求
    項1の手段に加え、 該クライアント計算機システムにおいて、 データ検索時間を予測する手段及び、 該マスタサーバ計算機システムにおいて、 指定時間にデータベースをアクセスする手段及び該サブ
    サーバ計算機システムにおいて、 転送データをサブサーバ上で保存する手段持つことによ
    って、マスタサーバ計算機システムの持つデータベース
    への大量データの検索が行われた場合、通信回線2より
    も転送速度の遅い通信回線1に対する負荷の軽減を可能
    とするシステム。
  3. 【請求項3】請求項2記載の回線負荷軽減方法において
    請求項2の手段に加え、該サブサーバ計算機システムに
    おいて、 利用者によるテーブル使用頻度を計算する手段と、 使用頻度の高いテーブルのみを指定時間に従って、マス
    タサーバのデータベースより、 データを検索し、サブサーバ上のデータベースに反映す
    る手段を持つことによって、 常に使用頻度の高いテーブルを任意のルールに基づいて
    サブサーバ上のデータベースに反映することができるシ
    ステム。
JP10006310A 1998-01-16 1998-01-16 バッチ処理を利用した回線負荷軽減システム Pending JPH11203316A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10006310A JPH11203316A (ja) 1998-01-16 1998-01-16 バッチ処理を利用した回線負荷軽減システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10006310A JPH11203316A (ja) 1998-01-16 1998-01-16 バッチ処理を利用した回線負荷軽減システム

Publications (1)

Publication Number Publication Date
JPH11203316A true JPH11203316A (ja) 1999-07-30

Family

ID=11634808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10006310A Pending JPH11203316A (ja) 1998-01-16 1998-01-16 バッチ処理を利用した回線負荷軽減システム

Country Status (1)

Country Link
JP (1) JPH11203316A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002047336A1 (fr) * 2000-12-06 2002-06-13 Nec Corporation Reseau prive virtuel
JP2009044291A (ja) * 2007-08-07 2009-02-26 Brother Ind Ltd 通信装置及び通信プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002047336A1 (fr) * 2000-12-06 2002-06-13 Nec Corporation Reseau prive virtuel
JP2009044291A (ja) * 2007-08-07 2009-02-26 Brother Ind Ltd 通信装置及び通信プログラム

Similar Documents

Publication Publication Date Title
US9245004B1 (en) Predicted query generation from partial search query input
US8326828B2 (en) Method and system for employing a multiple layer cache mechanism to enhance performance of a multi-user information retrieval system
US6836827B2 (en) Delay cache method and apparatus
US6868439B2 (en) System and method for supervising use of shared storage by multiple caching servers physically connected through a switching router to said shared storage via a robust high speed connection
US8549526B2 (en) Access control apparatus and access control method
JP3347914B2 (ja) データ管理装置
US20020166005A1 (en) Method and apparatus for balancing workloads among paths in a multi-path computer system based on the state of previous I/O operations
US20020198883A1 (en) Web system having clustered application servers and clustered databases
JP2003150419A (ja) データベース管理システムの実行情報を取得する手段を有する記憶装置
JP2004192292A (ja) プリフェッチアプライアンスサーバ
JPH1124981A (ja) 広域分散ファイルシステム
JP2969627B2 (ja) 分散型データベースシステムの管理方法
JP5322019B2 (ja) 関連する情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
JP5272428B2 (ja) アクセス頻度の高い情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
US7284014B2 (en) Pre-fetch computer system
JPH11203316A (ja) バッチ処理を利用した回線負荷軽減システム
JPH05143435A (ja) データベースシステム
US6282616B1 (en) Caching managing method for network and terminal for data retrieving
JP2004118482A (ja) 記憶装置、および、キャッシュ方法
JP2003330789A (ja) Webページ再表示システム及びプログラム
EP1388791A1 (en) Server, computer system, object management method, server control method, computer program
JPH09282289A (ja) ネットワーク・システム
JPH08137910A (ja) 並列データベース処理方法及びその実施装置
JPH07141237A (ja) データベースアクセス制御装置
JP2008299672A (ja) 計算機システム及びこれを用いたデータベース管理方法