JP5974688B2 - コンピュータプログラム、管理サーバ及び通信システム - Google Patents

Description

本発明は、データ送信時の負荷分散を行うコンピュータプログラム、管理サーバ及び通信システムに関する。

１台のサーバ装置上で複数の仮想マシン（VM : Virtual Machine）を動作させ、仮想マシン毎に特定の業務を割り当てるシステムが存在する（例えば、特許文献１を参照）。仮想マシンを動作させるサーバ装置が通信ネットワークを介して多数接続されている場合には、固定サーバからネットブートを行い、各サーバ装置上に仮想マシンを構築することが多い。

このようなネットブートには、例えば、ＰＸＥブート（PXE : Preboot eXecution Environment）が利用される。サーバ装置は、ＰＸＥブートによる起動シーケンスを開始し、ＤＨＣＰサーバ（DHCP : Dynamical Host Configuration Protocol）よりＩＰアドレスを取得して、ＴＦＴＰサーバ（TFTP : Trivial File Transfer Protocol）よりブートプログラムの起動に必要なファイルを取得する。サーバ装置は、取得したファイルに基づいて、ブートプログラムを起動する。

次いで、サーバ装置にて起動されたブートプログラムは、ハイパーバイザのイメージを持つ固定サーバに対して、ハイパーバイザのイメージの送信を要求し、ハイパーバイザのイメージを取得する。ハイパーバイザは、仮想マシンを実行するために必要なプログラムであり、ブートプログラムから起動される。

特開２０１１−７０５２６号公報

ハイパーバイザのイメージは、ブートプログラムなどのプログラムと比べてデータ量が多い。このため、ハイパーバイザのイメージを送信する際には、固定サーバの負荷が大きくなる傾向にある。また、ハイパーバイザを起動させるサーバ装置の台数が多く、しかも、ネットブートにより同時的に多数のサーバ装置にハイパーバイザを起動させる場合、イメージ送信時の固定サーバの負荷がボトルネックになって、全てのサーバ装置にハイパーバイザを起動させる時間が長大になるという問題点を有している。

本願は、複数の送信先装置がデータを取得するまでの時間を短縮することを目的とする。

１つの案では、コンピュータプログラムは、コンピュータに、送信元装置からデータ送信の負荷の大きさに係る情報を取得する取得処理と、前記負荷の大きさに係る情報に応じて、前記送信元装置から送信されるデータを受信することが可能な第１の送信先装置に対し、該第１の送信先装置が受信したデータを第２の送信先装置へ送信するように依頼する送信依頼処理とを実行させるためのコンピュータプログラムであり、前記送信元装置が送信するデータは、各送信先装置に仮想計算機を起動させるためのプログラムを含み、前記コンピュータには、前記プログラムを実行して仮想計算機を起動した各送信先装置から送信される、各送信先装置の負荷の大きさに係る情報が入力され、前記送信依頼処理は、前記送信先装置のうち、負荷の大きさが最も小さな送信先装置に対して前記データの送信を依頼する処理を含む。

本願によれば、複数の送信先装置がデータを取得するまでの時間を短縮することができる。

本実施の形態に係る通信システムの全体構成を示す模式図である。 イメージの配信経路を説明する模式図である。 プロキシサーバの設置に伴うシステムの状態遷移を説明する模式図である。 プロキシサーバの設置に伴うシステムの状態遷移を説明する模式図である。 プロキシサーバの設置に伴うシステムの状態遷移を説明する模式図である。 管理サーバ、イメージサーバ、及びサーバ装置の機能的構成を示すブロック図である。 業務情報データベースの一例を示す図である。 サーバ情報データベースの一例を示す図である。 管理サーバのハードウェア構成を示すブロック図である。 負荷が低い場合のイメージ配信処理の流れを説明するタイミングチャートである。 負荷が高い場合のイメージ配信処理の流れを説明するタイミングチャートである。 配信終了時の処理の流れを説明するタイミングチャートである。 負荷が低い場合のイメージ配信処理の流れを説明するタイミングチャートである。 負荷が高い場合のイメージ配信処理の流れを説明するタイミングチャートである。

以下、本願をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は本実施の形態に係る通信システムの全体構成を示す模式図である。本実施の形態に係る通信システムは、管理サーバ１０、イメージサーバ２０、及びハイパーバイザを起動させる複数のサーバ装置３０，３０，…，３０を備える。これらのサーバは、ＬＡＮ（Local Area Network）、インターネットなどの通信ネットワークＮを介して接続される。また、通信ネットワークＮには、ＤＨＣＰサーバ４０、ＴＦＴＰサーバ５０などが接続される。

イメージサーバ２０は、ハイパーバイザを起動させるために必要なハイパーバイザのイメージを記憶してあり、各サーバ装置３０又は後述するプロキシサーバからの要求に応じて、ハイパーバイザのイメージを要求元のサーバに配信する。

サーバ装置３０は、イメージサーバ２０から配信されるハイパーバイザのイメージを受信した場合、仮想マシン（ＶＭ）を実行するためにハイパーバイザを起動する。本実施の形態に係るサーバ装置３０は、以下の３種類のプログラムを段階的に起動する。
（１）ブートプログラムの起動：サーバ装置３０は、ＰＸＥブートによる起動シーケンスを開始し、ＤＨＣＰサーバ４０よりサーバ装置３０及びＴＦＴＰサーバ５０のＩＰアドレスを取得して、ＴＦＴＰサーバ５０よりブートプログラムの起動に必要なファイルを取得する。サーバ装置３０は、取得したファイルに基づいて、ブートプログラムを起動する。
（２）ハイパーバイザの起動：サーバ装置３０は、例えば、イメージサーバ２０にハイパーバイザのイメージの送信を要求し、イメージサーバ２０からハイパーバイザのイメージを取得する。ハイパーバイザは、仮想マシンを実行するために必要なプログラムであり、ブートプログラムから起動される。
（３）プロキシサーバの起動：プロキシサーバは、仮想マシン上で起動されるサーバである。サーバ装置３０上の仮想マシンは、プロキシサーバ起動用のプログラムを実行することにより、プロキシサーバの起動を行う。なお、プロキシサーバ起動用のプログラムは、各サーバ装置３０に予め記憶されているものであってもよく、例えば、イメージサーバ２０等の装置から必要に応じて取得するものであってもよい。

ハイパーバイザのイメージは、ブートプログラムなどのプログラムと比べてデータ量が多い。このため、ハイパーバイザのイメージ配信時には、イメージサーバ２０の負荷が大きくなる傾向にある。また、ハイパーバイザを起動させるサーバ装置３０の台数が多く、しかも、ネットブートにより同時的に多数のサーバ装置３０にハイパーバイザを起動させる場合、イメージの配信がボトルネックになって、全てのサーバ装置３０にハイパーバイザを起動させる時間が長大になる。

本実施の形態では、管理サーバ１０がイメージサーバ２０及びプロキシサーバの負荷の状態を管理し、各サーバの負荷の状態に応じてイメージ配信の中継機能を持ったプロキシサーバを設置させることにより、イメージの配信経路を調整し、イメージ配信時の負荷分散を行う。すなわち、本実施の形態では、イメージサーバ２０のイメージ配信を中継するプロキシサーバを導入し、それを既に起動済みのハイパーバイザ上の仮想マシンとして稼働させることで、イメージ配信時の負荷分散を行う。プロキシサーバは、自装置の上流側にあるイメージサーバ２０又は他のプロキシサーバからハイパーバイザのイメージを取得し、それを一時的に保管して、イメージサーバ２０と同様に他のサーバ装置３０にイメージの配信を行う。

図２はイメージの配信経路を説明する模式図である。前述したように、本実施の形態では、イメージサーバ２０及びプロキシサーバの負荷の状態に応じて、イメージ配信の中継機能を持ったプロキシサーバを順次的に設置する。イメージを配信する各サーバの負荷が大きい状況下では、仮想マシン上で動作するプロキシサーバを数珠繋ぎ的に増やし、多数のプロキシサーバにイメージを配信させることができる。

図３〜図５はプロキシサーバの設置に伴うシステムの状態遷移を説明する模式図である。説明を単純化するために、いくつかの仮定を導入する。ハイパーバイザを起動させるサーバ装置３０の台数は１０００台であると仮定する。また、各サーバ装置３０においてハイパーバイザを起動するのに要する時間は５分であり、仮想マシン上でプロキシサーバを起動させるのに要する時間は１０分であると仮定する。１台のサーバ（イメージサーバ２０又はプロキシサーバ）は、４０台のハイパーバイザを同時に起動するものと仮定し、ハイパーバイザの起動が完了するまで他のサーバ装置３０へのイメージ配信は行えないものと仮定する。更に、プロキシサーバは同時に４台起動されるものと仮定する。

イメージ配信の開始時において（図３（ａ）を参照）、ハイパーバイザが起動しているサーバ装置３０の台数は０台であるとする。本実施の形態では、仮想マシン上にプロキシサーバが起動されるため、プロキシサーバの台数も０台である。

配信開始から５分経過した場合（図３（ｂ）を参照）、４０台分のサーバ装置３０でハイパーバイザが起動され、これらのサーバ装置３０上に仮想マシン（ＶＭ）が構築される。プロキシサーバの起動には、更に１０分を要するので、この時点でのプロキシサーバの起動台数は０台である。

配信開始から１５分経過した場合（図３（ｃ）を参照）、すなわち、図３（ｂ）の状態から更に１０分が経過した場合、この間に、イメージサーバ２０は８０台（＝４０台×２）分のサーバ装置３０に対してイメージ配信を行うので、８０台のサーバ装置３０にてハイパーバイザが起動され、これらのサーバ装置３０上に仮想マシンが構築される。また、３（ｂ）の状態から１０分が経過することにより、４台分の仮想マシン上にプロキシサーバが起動される。
よって、配信開始から１５分経過した場合、起動した仮想マシンの台数は合計で１２０台、プロキシサーバの台数は４台となる。

配信開始から２０分が経過した場合（図４（ａ）を参照）、すなわち、図３（ｃ）の状態から更に５分が経過した場合、この間に、１台のイメージサーバ２０、及び既に起動済みの４台のプロキシサーバがイメージ配信を行うので、２００台（＝４０台×（１＋４））のサーバ装置３０にてハイパーバイザが起動され、これらのサーバ装置３０上に仮想マシンが構築される。なお、図３（ｃ）の状態からは５分しか経過していないため、新たに起動されるプロキシサーバの台数は０台である。
よって、配信開始から２０分経過した場合、起動した仮想マシンの台数は合計で３２０台、プロキシサーバの台数は４台となる。

配信開始から２５分が経過した場合（図４（ｂ）を参照）、すなわち、図４（ａ）の状態から更に５分が経過した場合、この間に、１台のイメージサーバ２０、及び既に起動済みの４台のプロキシサーバがイメージ配信を行うので、２００台（＝４０台×（１＋４））のサーバ装置３０にて新たにハイパーバイザが起動され、これらのサーバ装置３０上に仮想マシンが構築される。更に、図３（ｃ）の状態から１０分が経過したため、新たに４台分の仮想マシン上でプロキシサーバが起動される。
よって、配信開始から２５分経過した場合、起動した仮想マシンの台数は合計で５２０台、プロキシサーバの台数は８台となる。

配信開始から３０分が経過した場合（図４（ｃ）を参照）、すなわち、図４（ｂ）の状態から更に５分が経過した場合、この間に、１台のイメージサーバ２０、及び既に起動済みの８台のプロキシサーバがイメージ配信を行うので、３６０台（＝４０台×（１＋８））のサーバ装置３０にて新たにハイパーバイザが起動され、これらのサーバ装置３０上に仮想マシンが構築される。なお、この間に起動されるプロキシサーバの台数は０台である。
よって、配信開始から３０分経過した場合、起動した仮想マシンの台数は合計で８８０台、プロキシサーバの台数は８台となる。

配信開始から３５分が経過した場合（図５を参照）、すなわち、図４（ｃ）の状態から更に５分が経過した場合、この間に、１台のイメージサーバ２０、及び既に起動済みの８台のプロキシサーバがイメージ配信を行うので、３６０台（＝４０台×（１＋８））分のサーバ装置３０にハイパーバイザを起動させることができる。なお、図４（ｂ）の状態から１０分が経過したため、新たに４台分の仮想マシン上でプロキシサーバが起動される。
よって、配信開始から３５分経過したときには、起動した仮想マシンの台数は合計で１０００台に達する。

比較例として、１台の固定サーバから１０００台分のサーバ装置３０にイメージ配信を行う場合について検証する。上記の仮定の下では、１台のイメージサーバ２０は、４０台のハイパーバイザを同時に起動し、ハイパーバイザの起動が完了するまでは他のサーバ装置３０へのイメージ配信を行わない。このため、１台の固定サーバから１０００台分のサーバ装置３０にイメージ配信を行う場合には、４０台分ずつ２５回に分けて、イメージ配信を行う。この結果、全てのサーバ装置３０にハイパーバイザを起動させるには、１２５分（＝５分×２５）の時間を要する。

一方、イメージを配信する固定サーバを２５台設置すれば、１０００台分の同時配信が可能となり、ハイパーバイザの起動に要する時間は５分で済むことになる。しかしながら、イメージサーバ２０は、一般的に、ハイパーバイザの起動時のみに利用され、ハイパーバイザの起動後には利用されないので、サーバの利用効率の観点から複数台のイメージサーバ２０を設置することは現実的ではない。

これに対し、本実施の形態では、動的にプロキシサーバを設置し、設置したプロキシサーバにイメージ配信の中継機能を持たせるようにしているため、イメージ配信を行う固定サーバがイメージサーバ２０の１台であっても、３５分以内に全てのサーバ装置３０にハイパーバイザを起動させることができ、１台の固定サーバから１０００台分のサーバ装置３０にイメージ配信を行う場合と比べて大幅に起動時間を短縮することができる。また、固定サーバ（イメージサーバ２０）を１台しか設けていないため、サーバの利用効率は高い。

図６は管理サーバ１０、イメージサーバ２０、及びサーバ装置３０の機能的構成を示すブロック図である。管理サーバ１０は、記憶部１１、受信部１２、判断部１３、送信依頼部１４、起動停止処理部１５を備える。

記憶部１１は、管理サーバ１０が管理する各種データベースを備える。管理サーバ１０が管理するデータベースには、業務情報データベース１１Ａ（業務情報ＤＢ１１Ａ）、サーバ情報データベース１１Ｂ（サーバ情報ＤＢ１１Ｂ）が含まれる。

図７は業務情報データベース１１Ａの一例を示す図である。業務情報データベース１１Ａは、管理番号に対応付けて業務情報を記憶する。個々の業務情報には、優先度、ハイパーバイザの状態、使用する仮想マシンの数（ＶＭ数）、業務を動作させるときに必要な仮想マシンの構成情報が含まれる。

ここで、優先度は、全てのハイパーバイザが起動した後に仮想マシンを起動させるか、又は全てのハイパーバイザの起動が完了していない場合であっても、必要なハイパーバイザが起動したときに仮想マシンを起動させるかを示す情報である。管理サーバ１０は、例えば、前者では「０」を入力し、後者では「１」を入力することによって、業務情報データベース１１Ａに優先度を登録する。

ハイパーバイザの状態は、停止状態では「０」、起動中（停止状態から起動状態への移行中）には「１」、起動済みでは「２」、停止中（起動状態から停止状態への移行中）には「３」のように、数値により表すことができる。

仮想マシンの構成情報には、各仮想マシンの状態、ＣＰＵ数、クロック数、メモリ量、仮想ストレージの場所、ＮＩＣ情報（NIC : Network Interface Card）が含まれる。仮想マシンの状態は、停止状態では「０」、起動中（停止状態から起動状態への移行中）には「１」、起動済みでは「２」、停止中（起動状態から停止状態への移行中）には「３」のように、数値により表すことができる。

図８はサーバ情報データベース１１Ｂの一例を示す図である。サーバ情報データベース１１Ｂは、管理番号に対応付けて、イメージサーバ２０及びハイパーバイザが起動された各サーバ装置３０のサーバ情報を記憶する。管理番号「０」のサーバ情報は、イメージサーバ２０のサーバ情報である。このサーバ情報には、ＭＡＣアドレス、ＩＰアドレス、負荷（例えば、ＣＰＵ使用率）、配信可能なサーバ台数、プロキシサーバの状態、配信しているサーバの管理番号が含まれる。
プロキシサーバの状態は、前述と同様に、停止状態では「０」、起動中（停止状態から起動状態への移行中）には「１」、起動済みでは「２」、停止中（起動状態から停止状態への移行中）には「３」のように、数値により表すことができる。
また、ハイパーバイザが起動された各サーバ装置３０のサーバ情報についても、イメージサーバ２０のサーバ情報と同様に、サーバ情報データベース１１Ｂに登録される。

管理サーバ１０は、受信部１２を通じて受信する各サーバからの情報を基に、業務情報データベース１１Ａ及びサーバ情報データベース１１Ｂを適宜更新する。

また、管理サーバ１０の受信部１２が受信する情報には、各サーバから通知される負荷の状態を示す値が含まれる。イメージサーバ２０の負荷の状態を示す値を受信部１２が受信した場合、受信部１２はその値を判断部１３へ送出する。
判断部１３は、イメージサーバ２０の負荷の状態を示す値を受信部１２から取得した場合、例えば、予め設定している閾値と比較し、イメージサーバ２０における負荷の大きさが閾値以上であるか否かを判断する。イメージサーバ２０における負荷の大きさが閾値以上であると判断した場合、その旨を送信依頼部１４に通知する。
なお、本実施の形態では、閾値を用いて負荷の高低を判断する構成としたが、負荷の高低を判断するために任意の判断基準を用いてもよい。

送信依頼部１４は、イメージサーバ２０における負荷の大きさが閾値以上である旨の通知を受けた場合、サーバ装置３０に対してイメージの送信を依頼する。このとき、送信依頼部１４は、サーバ情報データベース１１Ｂを参照し、ハイパーバイザが起動されているサーバ装置３０のうち、プロキシサーバが起動されていないサーバ装置３０を特定し、このサーバ装置３０にプロキシサーバの起動を指示することによって、イメージの送信依頼を行う。すなわち、本実施の形態では、管理サーバ１０が、イメージ配信の中継機能を持ったプロキシサーバをサーバ装置３０に設置させることにより、イメージの送信依頼を行う。

全てのサーバ装置３０に対するイメージ配信が完了した場合、それぞれのサーバ装置３０においてプロキシサーバを維持しておく必要がないため、起動停止処理部１５は、各サーバ装置３０に対してプロキシサーバの起動停止を指示する。

また、管理サーバ１０は、業務情報データベース１１Ａを参照し、ハイパーバイザが起動された各サーバ装置３０に対し、業務用の仮想マシンの起動を指示する起動指示部を備えるものであってもよい。

イメージサーバ２０（送信元装置）は、記憶部２１、受信部２２、送信部２３、及び検出部２４を備える（図６を参照）。本実施の形態において、記憶部２１は、送信対象のデータであるハイパーバイザのイメージを記憶する。
受信部２２は、ハイパーバイザのイメージに対する送信要求を外部から受信する。受信部２２が受信する送信要求には、サーバ装置３０にて起動されるブートプログラムが要求する送信要求、及び前述したプロキシサーバが送信する送信要求を含む。
送信部２３は、外部からの送信要求を受信部２２にて受信した場合、記憶部２１に記憶されたハイパーバイザのイメージを読み出し、読み出したハイパーバイザのイメージを送信要求元へ送信する。
検出部２４は、イメージサーバ２０の負荷の状態を検出する。検出部２４は、例えば、イメージサーバ２０のＣＰＵ使用率を算出することによって負荷の状態を検出することができる。検出部２４は、検出した負荷の状態を示す値を送信部２３を通じて管理サーバ１０に通知する。

サーバ装置３０（送信先装置）は、送信部３１、受信部３２、記憶部３３、プログラム実行部３４、及び検出部３５を備える（図６を参照）。
送信部３１は、各種サーバに対する要求を送信し、受信部３２は、その要求に応じて各種サーバから送信されるデータを受信する。例えば、ＰＸＥブートによる起動シーケンスをサーバ装置３０で実行する場合、送信部３１は、ＤＨＣＰサーバ４０に要求を送信し、ＤＨＣＰサーバ４０より通知されるＩＰアドレスを受信部３２にて受信する。また、送信部３１は、ＴＦＴＰサーバ５０に要求を送信し、ＴＦＴＰサーバ５０より送信されるブートプログラムの起動に必要なファイルを受信部３２にて受信する。

また、送信部３１は、イメージの取得先に係る問い合わせを管理サーバ１０に対して行い、管理サーバ１０から通知される取得先の情報を受信部３２にて受信する。また、送信部３１は、管理サーバ１０から通知される取得先に対してイメージの送信要求を送信し、その取得先から送信されるイメージを受信部３２にて受信する。

記憶部３３は、受信部３２を通じて受信した各種データや情報を記憶する。また、記憶部３３は、各種業務に必要なデータや業務に対応する仮想マシンを起動するためのプログラム等を記憶する。

プログラム実行部３４は、ブートプログラムの起動、イメージサーバ２０又はプロキシサーバから取得したイメージを展開して得られるハイパーバイザの実行、プロキシサーバの起動、業務に対応する仮想マシンの起動等を行う。

検出部３５は、サーバ装置３０の負荷の状態を検出する。検出部３５は、例えば、サーバ装置３０のＣＰＵ使用率を算出することによって負荷の状態を検出することができる。検出部３５は、検出した負荷の状態を示す値を送信部３１を通じて管理サーバ１０に通知する。なお、負荷の状態の検出に代えて、サーバ装置３０のＣＰＵ性能とＣＰＵアイドル率との積により表される、サーバ装置３０の余力を検出する構成としてもよい。

図９は管理サーバ１０のハードウェア構成を示すブロック図である。管理サーバ１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、通信インタフェース１０４、ハードディスクドライブ１０５、及び光ディスクドライブ１０６を備える。

ＲＯＭ１０２には、上述したハードウェア各部の動作を制御するために必要な制御用プログラムが予め格納されている。また、ハードディスク１０５Ｄには、ＣＰＵ１０１に実行させることにより本願の管理サーバとしての動作を実現させるコンピュータプログラムが予め格納されている。

ＣＰＵ１０１は、適宜のタイミングでＲＯＭ１０２又はハードディスク１０５Ｄに格納されているコンピュータプログラムをＲＡＭ１０３上に読み出し、実行することにより、上述したハードウェア各部の動作を制御し、装置全体として本願の管理サーバとして動作させる。

ＲＡＭ１０３は、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、フラッシュメモリなどであり、ＣＰＵ１０１によるコンピュータプログラムの実行時に発生する種々のデータを一時的に記憶する。

通信インタフェース１０４は、通信ネットワークＮを介して、他のサーバと通信を行うためのインタフェースである。

ハードディスクドライブ１０５は、ハードディスク１０５Ｄに対してデータの書き込み、及びハードディスク１０５Ｄからのデータの読み出しを制御する。ハードディスクドライブ１０５は、通信インタフェース１０４にて受信した各種情報をハードディスク１０５Ｄに書き込むことにより、ハードディスク１０５Ｄに各種情報を記憶させる。

光ディスクドライブ１０６は、光ディスク１０６Ｄに対してデータの書き込み、及び光ディスク１０６Ｄに記録されたデータの読み出しを制御する。なお、本実施の形態では、本願のコンピュータプログラムがハードディスク１０５Ｄに記憶されているものとして説明を行ったが、光ディスク１０６Ｄに記録された状態で提供されるものであってもよい。
なお、管理サーバ１０は、ユーザによる操作及び文字入力を受付ける入力インタフェース、ユーザに報知する情報を表示するディスプレイを備えるものであってもよい。

管理サーバ１０は、ハードディスク１０５Ｄに格納されたコンピュータプログラムをＣＰＵ１０１に実行させ、ＲＯＭ１０２に格納された制御用プログラムに従ってハードウェア各部を制御することにより、図６に示す記憶部１１、受信部１２、判断部１３、送信依頼部１４、及び起動停止処理部１５による各処理を実行する。

図９では管理サーバ１０についてのハードウェア構成について説明したが、他のサーバ（イメージサーバ２０、サーバ装置３０、ＤＨＣＰサーバ４０、ＴＦＴＰサーバ５０）のハードウェア構成についても、管理サーバ１０と全く同様であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信インタフェース等のハードウェアを備える。

以下、本実施の形態に係る通信システムでの処理の流れを説明する。
図１０は負荷が低い場合のイメージ配信処理の流れを説明するタイミングチャートである。通信ネットワークＮ上のサーバ装置３０は、ＰＸＥブートによる起動シーケンスを開始し、ＤＨＣＰサーバ４０に対してＤＨＣＰ要求を行う（Ｓ１１）。ＤＨＣＰ要求に対するＤＨＣＰサーバ４０のＤＨＣＰ応答（Ｓ１２）により、サーバ装置３０は、ＩＰアドレスを取得する。

次いで、サーバ装置３０は、ＴＦＴＰサーバ５０に対してＴＦＴＰ要求を行う（Ｓ１３）。ＴＦＴＰ要求に対して、ＴＦＴＰサーバ５０は、ブートプログラムの起動に必要なファイルの配付を行う（Ｓ１４）。ＴＦＴＰサーバ５０よりブートプログラムの起動に必要なファイルを取得した場合、サーバ装置３０は、取得したファイルに基づいて、ブートプログラムを起動する（Ｓ１５）。

次いで、サーバ装置３０は、ハイパーバイザのイメージを取得するサーバを管理サーバ１０に確認する（Ｓ１６）。管理サーバ１０は、サーバ情報データベース１１Ｂを参照し、イメージサーバ２０の負荷の大きさが所定値以上であるか否かを判断する。イメージサーバ２０の負荷の大きさが所定値未満の場合（負荷が低い場合）、ハイパーバイザの配付はイメージサーバ２０のみが行うので、管理サーバ１０は、イメージサーバ２０から取得するようにサーバ装置３０に通知する（Ｓ１７）。

サーバ装置３０は、管理サーバ１０からの通知に基づき、イメージサーバ２０に対して、ハイパーバイザのイメージの配信を要求する（Ｓ１８）。イメージサーバ２０は、サーバ装置３０からの配信要求を受信した場合、記憶部２１からハイパーバイザのイメージを読み出し、サーバ装置３０に対してイメージの配信を行う（Ｓ１９）。

サーバ装置３０は、イメージサーバ２０から取得したハイパーバイザのイメージを展開し、ハイパーバイザを起動させる（Ｓ２０）。ハイパーバイザの起動完了後、サーバ装置３０は、その旨を管理サーバ１０に通知する（Ｓ２１）。
管理サーバ１０は、サーバ装置３０からの通知を受けた場合、サーバ情報データベース１１Ｂの内容を適宜更新する。

図１１は負荷が高い場合のイメージ配信処理の流れを説明するタイミングチャートである。管理サーバ１０は、サーバ情報データベース１１Ｂを参照し、ハイパーバイザを実行して仮想マシンを起動しているものの、プロキシサーバを起動していないサーバ装置３０を特定し、このサーバ装置３０に対してプロキシサーバの起動を要求する（Ｓ３１）。
管理サーバ１０からの要求を受けたサーバ装置３０は、既に起動済みの仮想マシン上にプロキシサーバを起動する（Ｓ３２）。プロキシサーバの起動が完了した場合、サーバ装置３０は、その旨を管理サーバ１０に通知する。サーバ装置３０からの通知を受信した管理サーバ１０は、サーバ情報データベース１１Ｂを適宜更新する。

通信ネットワークＮ上のサーバ装置３０は、ＰＸＥブートによる起動シーケンスを開始し、ＤＨＣＰサーバ４０に対してＤＨＣＰ要求を行う（Ｓ３４）。ＤＨＣＰ要求に対するＤＨＣＰサーバ４０のＤＨＣＰ応答（Ｓ３５）により、サーバ装置３０は、ＩＰアドレスを取得する。

次いで、サーバ装置３０は、ＴＦＴＰサーバ５０に対してＴＦＴＰ要求を行う（Ｓ３６）。ＴＦＴＰ要求に対して、ＴＦＴＰサーバ５０は、ブートプログラムの起動に必要なファイルの配付を行う（Ｓ３７）。ＴＦＴＰサーバ５０よりブートプログラムの起動に必要なファイルを取得した場合、サーバ装置３０は、取得したファイルに基づいて、ブートプログラムを起動する（Ｓ３８）。

次いで、サーバ装置３０は、ハイパーバイザのイメージを取得するサーバを管理サーバ１０に確認する（Ｓ３９）。管理サーバ１０は、サーバ情報データベース１１Ｂを参照し、イメージサーバ２０の負荷の大きさが所定値以上であるか否かを判断する。イメージサーバ２０の負荷の大きさが所定値以上の場合（負荷が高い場合）、ハイパーバイザの配付はイメージサーバ２０又はサーバ装置３０上のプロキシサーバが行うので、管理サーバ１０は、例えば、プロキシサーバから取得するようにサーバ装置３０に通知する（Ｓ４０）。このとき、管理サーバ１０は、サーバ情報データベース１１Ｂを参照することにより、負荷が最も小さなプロキシサーバを選択し、選択したプロキシサーバを取得先として通知する。

サーバ装置３０は、管理サーバ１０からの通知に基づき、プロキシサーバに対して、ハイパーバイザのイメージの配信を要求する（Ｓ４１）。プロキシサーバは、サーバ装置３０からの配信要求を受信した場合、管理サーバ１０に対して、ハイパーバイザのイメージを取得するサーバを管理サーバ１０に確認する（Ｓ４２）。

管理サーバ１０は、プロキシサーバからの確認に対して、イメージサーバ２０から取得するようにプロキシサーバに通知する（Ｓ４３）。プロキシサーバは、管理サーバ１０からの通知に基づき、イメージサーバ２０に対して、ハイパーバイザのイメージの配信を要求する（Ｓ４４）。イメージサーバ２０は、プロキシサーバからの配信要求を受信した場合、記憶部２１からハイパーバイザのイメージを読み出し、プロキシサーバに対して配信を行う（Ｓ４５）。
プロキシサーバは、イメージサーバ２０から取得したハイパーバイザのイメージをサーバ装置３０へ配信する（Ｓ４６）。

サーバ装置３０は、プロキシサーバから取得したハイパーバイザのイメージを展開し、ハイパーバイザを起動させる（Ｓ４７）。ハイパーバイザの起動完了後、サーバ装置３０は、その旨を管理サーバ１０に通知する（Ｓ４８）。
管理サーバ１０は、サーバ装置３０からの通知を受けた場合、サーバ情報データベース１１Ｂの内容を適宜更新する。

図１２は配信終了時の処理の流れを説明するタイミングチャートである。配信対象の全てのサーバ装置３０に対してイメージの配信が完了した場合、管理サーバ１０は、プロキシサーバが起動中のサーバ装置３０に対してプロキシサーバの停止を指示する（Ｓ５１）。

プロキシサーバの停止指示を受信したサーバ装置３０は、プロキシサーバを停止させ（Ｓ５２）、プロキシサーバの停止が完了した場合、その旨を管理サーバ１０に通知する（Ｓ５３）。サーバ装置３０からの通知を受けた管理サーバ１０は、サーバ情報データベース１１Ｂを適宜更新する。

また、管理サーバ１０は、業務情報データベース１１Ａを参照し、業務に対応する仮想マシン（ＶＭ）を起動させるサーバ装置３０を特定し、各サーバ装置３０に対して、業務に対応する仮想マシンを起動させるように指示を行う（Ｓ５４，Ｓ５７）。

管理サーバ１０からの指示を受信した各サーバ装置３０では、業務に対応する仮想マシンを起動し（Ｓ５５，Ｓ５８）、仮想マシンの起動が完了した場合、その旨を管理サーバ１０に通知する（Ｓ５６，Ｓ５９）。通知を受けた管理サーバ１０は、業務情報データベース１１Ａを適宜更新する。

なお、図１２では、管理サーバ１０からの指示により、プロキシサーバを停止させる構成としたが、イメージの配信が実行されることなく一定時間が経過した場合には、サーバ装置３０は、プロキシサーバを動作させている仮想マシンを終了させるようにしてもよい。

以上のように、実施の形態１では、管理サーバ１０がイメージサーバ２０の負荷の状態を管理し、イメージサーバ２０の負荷の状態に応じてイメージ配信の中継機能を持ったプロキシサーバを設置させることにより、イメージの配信経路を調整し、イメージ配信時の負荷を分散させることができる。また、１台の固定サーバにより、全てのサーバ装置３０に対してイメージを配信する場合と比較して、配信に要する時間を短縮することができる。

また、実施の形態１では、各サーバ装置３０の負荷の状態を確認し、プロキシサーバを動的に設置するため、サーバ数やネットワーク構成が変更された場合であっても、手動で設定する必要はない。また、多数の固定サーバを設ける場合と比較して、サーバの利用効率が高い等の効果を奏する。

実施の形態２．
実施の形態１では、イメージサーバ２０に格納されたハイパーバイザのイメージを各サーバ装置３０に配信する構成について説明を行ったが、配信の対象は、ハイパーバイザのイメージに限定されるものではない。実施の形態２では、配信するデータの一例として、アプリケーションプログラムのイメージを配信する例について説明する。

本実施の形態では、各サーバ装置３０にランチャーが予めインストールされており、各サーバ装置３０は、このランチャーを介して、イメージサーバ２０よりアプリケーションプログラムのイメージを取得する。このため、本実施の形態においては、実施の形態１で説明したＰＸＥブートの起動処理は不要であり、通信ネットワークＮ上にＤＨＣＰサーバ４０及びＴＦＴＰサーバ５０は存在しなくてもよい。

また、本実施の形態では、各業務に対応した仮想マシンの起動は行わないので、管理サーバ１０は、業務情報データベース１１Ａを備えている必要はない。その他の構成については、実施の形態１と同様であるので、その説明を省略することとする。

以下、本実施の形態に係る通信システムでの処理の流れを説明する。
図１３は負荷が低い場合のイメージ配信処理の流れを説明するタイミングチャートである。サーバ装置３０は、予め格納されているランチャーを起動し（Ｓ６１）、このランチャーを通じて、ハイパーバイザのイメージを取得するサーバを管理サーバ１０に確認する（Ｓ６２）。

管理サーバ１０は、サーバ情報データベース１１Ｂを参照し、イメージサーバ２０の負荷の大きさが所定値以上であるか否かを判断する。イメージサーバ２０の負荷の大きさが所定値未満の場合（負荷が低い場合）、アプリケーションプログラムの配付はイメージサーバ２０のみが行うので、管理サーバ１０は、イメージサーバ２０から取得するようにサーバ装置３０に通知する（Ｓ６３）。

サーバ装置３０は、管理サーバ１０からの通知に基づき、イメージサーバ２０に対して、アプリケーションプログラムのイメージの配信を要求する（Ｓ６４）。イメージサーバ２０は、サーバ装置３０からの配信要求を受信した場合、配信すべきアプリケーションプログラムのイメージを記憶部２１から読み出し、サーバ装置３０に対してイメージの配信を行う（Ｓ６５）。

サーバ装置３０は、イメージサーバ２０から取得したアプリケーションプログラムのイメージを展開し、アプリケーションプログラムを起動させる（Ｓ６６）。アプリケーションプログラムの起動完了後、サーバ装置３０は、その旨を管理サーバ１０に通知する（Ｓ６７）。
管理サーバ１０は、サーバ装置３０からの通知を受けた場合、サーバ情報データベース１１Ｂの内容を適宜更新する。

図１４は負荷が高い場合のイメージ配信処理の流れを説明するタイミングチャートである。管理サーバ１０は、サーバ情報データベース１１Ｂを参照し、アプリケーションプログラムを起動しているものの、プロキシサーバを起動していないサーバ装置３０を特定する。管理サーバ１０は、特定したサーバ装置３０に対し、アプリケーションプログムのプラグインとして動作するプロキシプラグインを配布すると共に、プロキシプラグインの起動を要求する（Ｓ７１）。

管理サーバ１０から配布されるプロキシプラグイン、及びプロキシプラグインの起動要求を受信した場合、既に起動済みのアプリケーションプログラムから、受信したプロキシプラグインを起動する（Ｓ７２）。プロキシプラグインの起動が完了した場合、サーバ装置３０は、その旨を管理サーバ１０に通知する（Ｓ７３）。サーバ装置３０からの通知を受信した管理サーバ１０は、サーバ情報データベース１１Ｂを適宜更新する。

アプリケーションプログラムを未受信のサーバ装置３０は、ランチャーを起動し（Ｓ７４）、このランチャーを介して、アプリケーションプログムのイメージを取得するサーバを管理サーバ１０に確認する（Ｓ７５）。

管理サーバ１０は、サーバ情報データベース１１Ｂを参照し、イメージサーバ２０の負荷の大きさが所定値以上であるか否かを判断する。イメージサーバ２０の負荷の大きさが所定値以上の場合（負荷が高い場合）、アプリケーションプログラムのイメージの配付はイメージサーバ２０又はプロキシプラグインが起動されたサーバ装置３０が行うので、管理サーバ１０は、例えば、プロキシプラグインが起動されたサーバ装置３０からイメージを取得するようにサーバ装置３０に通知する（Ｓ７６）。このとき、管理サーバ１０は、サーバ情報データベース１１Ｂを参照することにより、負荷が最も小さなサーバ装置３０を選択し、選択したサーバ装置３０を取得先として通知する。

サーバ装置３０は、管理サーバ１０から通知されたサーバ装置３０に対して、アプリケーションプログラムのイメージの配信を要求する（Ｓ７７）。サーバ装置３０からの配信要求を受信したプロキシプラグイン起動済みのサーバ装置３０は、管理サーバ１０に対して、アプリケーションプログラムのイメージを取得するサーバを管理サーバ１０に確認する（Ｓ７８）。

管理サーバ１０は、サーバ装置３０からの確認に対して、イメージサーバ２０から取得するようにサーバ装置３０に通知する（Ｓ７９）。サーバ装置３０は、管理サーバ１０からの通知に基づき、イメージサーバ２０に対して、アプリケーションプログラムのイメージの配信を要求する（Ｓ８０）。イメージサーバ２０は、サーバ装置３０からの配信要求を受信した場合、記憶部２１に予め記憶してあるアプリケーションプログラムのイメージを読み出し、サーバ装置３０に対してイメージの配信を行う（Ｓ８１）。
プロキシプラグイン起動済みのサーバ装置３０は、イメージサーバ２０から取得したアプリケーションプログラムのイメージをサーバ装置３０へ配信する（Ｓ８２）。

サーバ装置３０は、プロキシプラグイン起動済みのサーバ装置３０から取得したアプリケーションプログラムのイメージを展開し、アプリケーションプログラムを起動させる（Ｓ８３）。アプリケーションプログラムの起動完了後、サーバ装置３０は、その旨を管理サーバ１０に通知する（Ｓ８４）。
管理サーバ１０は、サーバ装置３０からの通知を受けた場合、サーバ情報データベース１１Ｂの内容を適宜更新する。

以上のように、本実施の形態１と同様の手順により、一般のアプリケーションプログラムを配信することができる。
なお、実施の形態１と同様に、全てのサーバ装置３０に対する配信が完了した場合には、管理サーバ１０から各サーバ装置３０に対してプロキシプラグインを停止させるように指示を行ってもよい。

なお、実施の形態２では、各サーバ装置３０において、業務に対応した仮想マシンを起動する必要はない。このため、管理サーバ１０は、各サーバのサーバ情報を管理するサーバ情報データベース１１Ｂのみを備える構成であってもよい。

以上の実施の形態に関し、更に以下の付記を開示する。

（付記１）
コンピュータに、
送信元装置からデータ送信の負荷の大きさに係る情報を取得する取得処理と、
前記負荷の大きさに係る情報に応じて、前記送信元装置から送信されるデータを受信した第１の送信先装置に対し、該第１の送信先装置が受信したデータを第２の送信先装置へ送信するように依頼する送信依頼処理と
を実行させることを特徴とするコンピュータプログラム。

（付記２）
前記送信元装置が送信するデータは、各送信先装置に仮想計算機を起動させるためのプログラムを含み、
前記コンピュータには、前記プログラムを実行して仮想計算機を起動した各送信先装置から送信される、各送信先装置の負荷の大きさに係る情報が入力され、
前記送信依頼処理は、前記送信先装置のうち、負荷の大きさが最も小さな送信先装置に対して前記データの送信を依頼する処理を含む
ことを特徴とする付記１に記載のコンピュータプログラム。

（付記３）
前記コンピュータに、
前記仮想計算機上にプロキシサーバを起動させるべく前記送信先装置に起動を指示する処理
を実行させることを特徴とする付記２に記載のコンピュータプログラム。

（付記４）
前記コンピュータに、
前記送信先装置に対して、起動した仮想計算機の停止を指示する処理
を実行させることを特徴とする付記３に記載のコンピュータプログラム。

（付記５）
送信すべきデータを記憶してあり、外部からの送信要求に応じて前記データを送信する送信元装置から、該送信元装置におけるデータ送信の負荷の大きさに係る情報を取得する取得部と、
該取得部にて取得した負荷の大きさに係る情報に応じて、前記送信元装置から送信されるデータを受信した第１の送信先装置に対し、該第１の送信先装置が受信したデータを第２の送信先装置へ送信するように依頼する送信依頼部と
を備えることを特徴とする管理サーバ。

（付記６）
前記データは、各送信先装置に仮想計算機を起動させるためのプログラムを含み、
前記取得部は、前記プログラムを実行することにより仮想計算機を起動した各送信先装置から、夫々の負荷の大きさに係る情報を取得し、
前記送信依頼部は、前記送信先装置のうち、負荷の大きさが最も小さな送信先装置に対して前記データの送信を依頼することを特徴とする付記５に記載の管理サーバ。

（付記７）
前記送信依頼部は、前記仮想計算機上にプロキシサーバを起動させるべく前記送信先装置に起動を指示することを特徴とする付記６に記載の管理サーバ。

（付記８）
前記送信先装置に対して、起動した仮想計算機の停止を指示する起動停止処理部を備えることを特徴とする付記７に記載の管理サーバ。

（付記９）
送信すべきデータを記憶してあり、外部からの送信要求に応じて前記データを送信する送信元装置と、
該送信元装置から送信されるデータを受信する複数の送信先装置と、
前記送信元装置及び各送信先装置の負荷の状態を管理する管理サーバと
を備え、
前記送信元装置は、
自装置の負荷の大きさを検出する検出部と、
該検出部が検出した負荷の大きさに係る情報を前記管理サーバへ送信する送信部と
を備え、
前記管理サーバは、
前記送信元装置から送信される情報を受信する受信部と、
該受信部にて受信した負荷の大きさに係る情報に応じて、前記送信元装置から送信されるデータを受信した第１の送信先装置に対し、該第１の送信先装置が受信したデータを第２の送信先装置へ送信するように依頼する送信依頼部と
を備えることを特徴とする通信システム。

（付記１０）
前記データは、各送信先装置に仮想計算機を起動させるためのプログラムを含み、
各送信先装置は、
受信したデータに含まれるプログラムを実行して仮想計算機を起動するプログラム実行部を備え、
自装置の負荷の大きさを検出し、検出した負荷の大きさに係る情報を前記管理サーバへ送信するようにしてあり、
前記管理サーバは、
各送信先装置からされる情報を前記受信部にて受信し、各送信先装置のうち、負荷の大きさが最も小さな送信先装置に対して前記データの送信を依頼する
ことを特徴とする付記９に記載の通信システム。

（付記１１）
前記管理サーバは、前記仮想計算機上にプロキシサーバを起動させるべく前記送信先装置に起動指示を行い、
前記送信先装置は、前記管理サーバからの起動指示に応じて、前記仮想計算機上にプロキシサーバを起動するサーバ起動部を備える
ことを特徴とする付記１０に記載の通信システム。

（付記１２）
前記送信先装置は、
自装置が受信したデータを前記プロキシサーバを介して第２の送信先装置へ中継することを特徴とする付記１１に記載の通信システム。

（付記１３）
前記管理サーバは、
各送信先装置に対して、起動した仮想計算機を停止させるように指示する起動停止処理部を備えることを特徴とする付記１０から付記１２の何れか１つに記載の通信システム。

（付記１４）
各送信先装置は、
自装置が前記データを受信することなく所定時間が経過した場合には、起動した仮想計算機を停止させるように指示することを特徴とする付記１２に記載の通信システム。

１０ 管理サーバ
１１ 記憶部
１１Ａ 業務情報データベース
１１Ｂ サーバ情報データベース
１２ 受信部
１３ 判断部
１４ 送信依頼部
１５ 起動停止処理部
２０ イメージサーバ
２１ 記憶部
２２ 受信部
２３ 送信部
２４ 検出部
３０ サーバ装置
３１ 送信部
３２ 受信部
３３ 記憶部
３４ プログラム実行部
３５ 検出部
４０ ＤＨＣＰサーバ
５０ ＴＦＴＰサーバ

Claims (5)

1. コンピュータに、
   送信元装置からデータ送信の負荷の大きさに係る情報を取得する取得処理と、
   前記負荷の大きさに係る情報に応じて、前記送信元装置から送信されるデータを受信することが可能な第１の送信先装置に対し、該第１の送信先装置が受信したデータを第２の送信先装置へ送信するように依頼する送信依頼処理と
   を実行させるためのコンピュータプログラムであり、
   前記送信元装置が送信するデータは、各送信先装置に仮想計算機を起動させるためのプログラムを含み、
   前記コンピュータには、前記プログラムを実行して仮想計算機を起動した各送信先装置から送信される、各送信先装置の負荷の大きさに係る情報が入力され、
   前記送信依頼処理は、前記送信先装置のうち、負荷の大きさが最も小さな送信先装置に対して前記データの送信を依頼する処理を含む
   コンピュータプログラム。
2. 前記コンピュータに、
   前記仮想計算機上にプロキシサーバを起動させるべく前記送信先装置に起動を指示する処理
   を実行させるための請求項１に記載のコンピュータプログラム。
3. 前記コンピュータに、
   前記送信先装置に対して、起動した仮想計算機の停止を指示する処理
   を実行させるための請求項２に記載のコンピュータプログラム。
4. 送信すべきデータを記憶してあり、外部からの送信要求に応じて前記データを送信する送信元装置から、該送信元装置におけるデータ送信の負荷の大きさに係る情報を取得する取得部と、
   該取得部にて取得した負荷の大きさに係る情報に応じて、前記送信元装置から送信されるデータを受信することが可能な第１の送信先装置に対し、該第１の送信先装置が受信したデータを第２の送信先装置へ送信するように依頼する送信依頼部と
   を備え、
   前記送信元装置が送信するデータは、各送信先装置に仮想計算機を起動させるためのプログラムを含み、
   前記プログラムを実行して仮想計算機を起動した各送信先装置から送信される、各送信先装置の負荷の大きさに係る情報が入力され、
   前記送信依頼部は、前記送信先装置のうち、負荷の大きさが最も小さな送信先装置に対して前記データの送信を依頼する
   管理サーバ。
5. 送信すべきデータを記憶してあり、外部からの送信要求に応じて前記データを送信する送信元装置と、
   該送信元装置から送信されるデータを受信する複数の送信先装置と、
   前記送信元装置及び各送信先装置の負荷の状態を管理する管理サーバと
   を備え、
   前記送信元装置は、
   自装置の負荷の大きさを検出する検出部と、
   該検出部が検出した負荷の大きさに係る情報を前記管理サーバへ送信する送信部と
   を備え、
   前記管理サーバは、
   前記送信元装置から送信される情報を受信する受信部と、
   該受信部にて受信した負荷の大きさに係る情報に応じて、前記送信元装置から送信されるデータを受信することが可能な第１の送信先装置に対し、該第１の送信先装置が受信したデータを第２の送信先装置へ送信するように依頼する送信依頼部と
   を備え、
   前記送信元装置が送信するデータは、各送信先装置に仮想計算機を起動させるためのプログラムを含み、
   前記管理サーバには、前記プログラムを実行して仮想計算機を起動した各送信先装置から送信される、各送信先装置の負荷の大きさに係る情報が入力され、
   前記送信依頼部は、前記送信先装置のうち、負荷の大きさが最も小さな送信先装置に対して前記データの送信を依頼する
   通信システム。

Images