JP7359222B2 - 通信管理装置及び通信管理方法 - Google Patents

Description

特許法第３０条第２項適用 ２０１９年１０月１７日に電子情報通信学会 第２０回ネットワークソフトウェア研究会（ＮＷＳ）予稿集にて発表

本発明は、通信管理装置及び通信管理方法に関する。

ＡＲ（Augmented Reality）、ＶＲ（Virtual Reality）、遠隔保守などのサービスでは、パケットロスや遅延を最小化した、高い通信品質がＥｎｄ－ｔｏ－Ｅｎｄで必要となる。このようなサービスが、クラスタにおいて構築されたクラウドネイティブな基盤（ｋｕｂｅｒｎｅｔｅｓ等）上で動作する状況において、例えば、非特許文献１では、ｋｕｂｅｒｎｅｔｅｓでコンテナを管理する最小単位であるポッドを複数の優先クラスに分けて、高優先クラスのポッドから順に帯域を割り当てることで、キューイング遅延を発生させずに通信を可能とすることが開示されている。

NBWGuard:Realizing Network QoS for Kubernetes ,2018.

Ｅｎｄ－ｔｏ－Ｅｎｄ通信で低遅延が必要なサービスでは、クラスタ外エンドユーザ端末との通信や、アプリの処理に不可欠なマイクロサービス間の通信も低遅延であるべきところ、非特許文献１の技術では、高優先通信の多重やバーストが発生すると遅延が発生してしまうという問題が有る。

本発明は、上記の点に鑑みてなされたものであって、クラスタにおける通信異常の発生を抑制することを目的とする。

そこで上記課題を解決するため、通信管理装置は、クラスタを構成する複数のコンピュータのそれぞれにおいて１以上稼働する通信部が行う通信の通信量を取得する取得部と、前記通信について将来の通信量を予測する予測部と、それぞれの前記通信部の前記将来の通信量に基づいて、前記通信部を移動させる第１のコンピュータを特定する特定部と、前記第１のコンピュータにおいて稼働する前記通信部について、第２のコンピュータへの移動を制御する移動制御部と、を有し、前記通信部は、前記クラスタ内の第１の通信及び前記クラスタの外部との第２の通信の双方又は一方を行い、前記予測部は、過去における前記第１の通信と前記第２の通信との相関に基づいて、前記第２の通信の通信量を予測する。

クラスタにおける通信異常の発生を抑制することができる。

本発明の実施の形態の概要を説明するための図である。 本発明の実施の形態における通信管理装置１０のハードウェア構成例を示す図である。 通信管理装置１０が実行する処理手順の一例を説明するためのフローチャートである。 各ポッドの宛先別通信量の取得処理の処理手順の一例を説明するためのフローチャートである。 各ポッドの宛先別通信量の取得処理を説明するための図である。 各ポッドの通信の一例を示す図である。 各ポッドの将来の通信量の予測処理を説明するための図である。 帯域超過となる可能性が高いサーバαの特定処理の処理手順の一例を説明するためのフローチャートである。 閾値の計算例を示す図である。 サーバαの特定例を示す図である。 移動対象のポッド及び移動先の決定処理の処理手順の一例を説明するためのフローチャートである。 移動対象のポッド及び移動先の決定例を示す図である。 移動後のポッドへのＱｏＳ制御の処理手順の一例を説明するためのフローチャートである。 移動後のポッドへのＱｏＳ制御を説明するための図である。 本発明の実施の形態を適用した具体的なシステム構成の一例を示す図である。 クラスタＮＷ管理システム２０の構成例を示す図である。 通信量予測装置２１の構成例を示す図である。 予測パラメータ管理テーブル２１４の構成例を示す図である。 閾値情報テーブル２１５の構成例を示す図である。 スケジュール装置２２の構成例を示す図である。 クラスタ管理テーブル２２２の構成例を示す図である。 ＱｏＳ制御装置２３の構成例を示す図である。 ＱｏＳ設定情報テーブル２３３の構成例を示す図である。 通信量情報の取得と予測に関する処理手順の一例を説明するためのシーケンス図である。 スケジューリングの実施に関する処理手順の一例を説明するためのシーケンス図である。

以下、図面に基づいて本発明の実施の形態を説明する。以下では、クラスタにおいて構築されたｋｕｂｅｒｎｅｔｅｓ等のクラウドネイティブな基盤上でサービスを実現するプロセス（コンテナ）が実行される環境を想定して説明する。

図１は、本発明の実施の形態の概要を説明するための図である。図１には、クラスタを構成する４つの物理ホスト（物理的なコンピュータ）であるサーバのそれぞれにおいて、１以上ポッド（Ｐｏｄ）が稼働している状態が示されている。また、実線の両矢印は、クラスタの外部（クラスタ外）との通信を示し、破線の両矢印は、マイクロサービス間通信（クラスタ内のポッド間の通信）を示す（斯かる表記は、以下の他の図面において同様である。）。なお、ポッドとは、コンテナ（プロセス）の集合を管理する最小単位をいう。図１では、当該クラスタを管理するコンピュータである通信管理装置１０が、（１）、（２）、（３）の手順を実行することが示されている。これらの意味は以下の通りである。
（１）各ポッドの通信量を予測することで、帯域超過の可能性が相対的に高いサーバを特定
（２）サーバ間で通信量が分散するように、移動させるポッドと移動先のサーバを選択
（３）（２）において、移動先としての条件を満たすサーバが無い場合、ポッドを複数個にスケールアウトし（ポッドを分割し）、ポッド間の通信量を分散した後で（２）以降を再実行
なお、ポッドの移動後、通信管理装置１０は、サービス側の通信品質要求に応じたポッドの通信のＱｏＳ設定を動的に行う。

図２は、本発明の実施の形態における通信管理装置１０のハードウェア構成例を示す図である。図２の通信管理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びネットワークインタフェース１０５等を有する。

通信管理装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って通信管理装置１０に係る機能を実行する。ネットワークインタフェース１０５は、ネットワークに接続するためのインタフェースとして用いられる。

図３は、通信管理装置１０が実行する処理手順の一例を説明するためのフローチャートである。なお、図３の各ステップは、通信管理装置１０にインストールされた１以上のプログラムが通信管理装置１０に実行させる。

ステップＳ１０において、通信管理装置１０は、クラスタ内の各サーバで稼働する各ポッドの宛先別通信量を取得する。ここで、「宛先別」とは、クラスタ外であるかクラスタ内であるかの別をいい、クラスタ内の通信については、通信相手別に通信量が区別される。一方、クラスタ外の通信の通信量については、通信相手は区別されない。したがって、クラスタ外の通信の通信量は、ポッドごとに高々１つである。

続いて、通信管理装置１０は、各ポッドの将来（例えば、Ｎ分後）の通信量を予測（通信量の予測値を計算）する（Ｓ２０）。

続いて、通信管理装置１０は、各ポッド通信量の予測値に基づいて、各サーバの通信量の予測値を算出し、各サーバの通信量の予測値に基づいて、帯域超過となる可能性が相対的に高いサーバαを特定する（Ｓ３０）。

続いて、通信管理装置１０は、サーバαにおいて稼働するポッドの中から移動対象のポッドを決定すると共に、移動対象のポッドの移動先のサーバを決定し、当該ポッドを当該サーバへ移動する（Ｓ４０）。今後の通信量の変化を想定しサーバ間の通信量ができるだけ均等に分散されるように、移動対象のポッドと移動先が決定される。その結果、各サーバ間で通信量を分散できるようになる。

続いて、通信管理装置１０は、新たにスケジューリングした（移動した）ポッドに対するＱｏＳ制御を動的に設定する（Ｓ５０）。すなわち、ポッドのスケジュール後（移動後）に、特に通信品質を担保したい優先サービスのポッドに対してＱｏＳ制御が行われる。

続いて、ステップＳ１０の詳細について説明する。図４は、各ポッドの宛先別通信量の取得処理の処理手順の一例を説明するためのフローチャートである。また、図５は、各ポッドの宛先別通信量の取得処理を説明するための図である。

ステップＳ１１において、通信管理装置１０は、通信量の取得対象とするポッドのリスト（以下、「ポッドリスト」という。）を取得する。ポッドリストは、例えば、通信量について管理したい一部のポッド（すなわち、通信に関する優先度が相対的に高い一部のポッド）の一覧情報であり、例えば、予め作成される。但し、全てのポッドの通信量について管理したい場合、ポッドリストは、全てのポッドの一覧情報でもよい。なお、ポッドリストにおいて、各ポッドの識別情報は、例えば、ＩＰアドレスやサービス名等である。以下、ポッドリストに含まれる各ポッドを「対象ポッド」という。

続いて、通信管理装置１０は、ポッド間通信を中継する機能（例：ｅｎｖｏｙプロキシ）のテレメトリ情報から全ポッド間の通信（以下「通信ｃ４」という。）のそれぞれごとに、通信量Ｖ４（図５参照）を取得する（Ｓ１２）。ここで、全ポッドとは、対象ポッド以外のポッドも含む全てのポッドをいう。なお、ステップＳ１２では、通信ｃ４ごとに、通信量Ｖ４に加え、当該通信ｃ４の端点となるポッドが特定される。

続いて、通信管理装置１０は、通信ｃ４のうち、対象ポッドが端点であり、かつ、同一サーバ内の通信ではない通信（すなわち、対象ポッド⇔別サーバ上のポッドの通信（以下、「通信ｃ２」という。））を特定し、対象ポッドごとに、当該対象ポッドに係る（当該対象ポッドが端点である）各通信ｃ２の通信量Ｖ２（図５参照）を取得する（Ｓ１３）。

続いて、通信管理装置１０は、コンテナ統合機能（例えば、ｄｏｃｋｅｒ）の管理情報から全ポッドの送受信通信（以下「通信ｃ３」という。）の通信量Ｖ３（図５参照）を取得する（Ｓ１４）。

続いて、通信管理装置１０は、対象ポッドごとに、当該対象ポッドの通信量Ｖ３から通信量Ｖ４を差し引くことで、対象ポッド⇔クラスタ外の通信（以下「通信ｃ１」という。）の通信量Ｖ１を取得する（Ｓ１５）。

上記により、対象ポッドごとに、１つの通信量Ｖ１と、１以上の通信ｃ２別（通信相手のポッド別）の通信量Ｖ２とが取得される。

続いて、図３のステップＳ２０の詳細について説明する。図６は、各ポッドの通信の一例を示す図である。図６には、ステップＳ１０において取得された、通信ｃ１及びｃ２の一例が示されている。本実施の形態では、予測精度を向上するため、通信管理装置１０は、ステップＳ２０において、通信ｃ１と通信ｃ２とで異なる方法で予測を行う。

図７は、各ポッドの将来の通信量の予測処理を説明するための図である。図７には、或る１つの対象ポッド（以下、「対象ポッドｐ」という。）に関する通信ｃ１及び各通信ｃ２のそれぞれについて、左側に現在の通信量が示され、右側に将来（Ｎ分後）の通信量の予測値が示されている。すなわち、以下において説明する処理は、対象ポッドごとに実行される。

まず、通信管理装置１０は、対象ポッドｐの通信ｃ１について、時系列分析（「川原、ネットワークオペレーションへのＡＩ活用、２０１８、https://www.jstage.jst.go.jp/article/bplus/12/1/12_29/_article/-char/ja/」）やＲＮＮ（「井田、深層学習のための先進的な学習技術、２０１８、https://www.ntt.co.jp/journal/1806/files/JN20180630.pdf」）等の公知技術を利用して将来の通信量を予測する（Ｓ２１）。

一方、通信管理装置１０は、対象ポッドｐの各通信ｃ２について、通信量Ｖ１の予測結果との相関、ポッド間通信のポリシ情報、通信プロトコルの特性などを考慮した予測モデルを学習し、当該予測モデルに基づいて将来の通信量を予測する。

例えば、通信管理装置１０は、過去データ（過去の通信履歴）に基づいて、通信ｃ１の通信量と各通信ｃ２の通信量のベクトルｖ２の成分の総和との相関関係を学習する（Ｓ２２）。ここで、ベクトルｖ２の各成分は、通信相手別の各通信ｃ２の通信量である。なお、通信ｃ２は、対象ポッドｐが受信した通信ｃ１の処理をリクエストヘッダの値及び負荷分散ｗｅｉｇｈｔにしたがって他のｐｏｄに転送する通信であり、プロトコルにｇｒｐｃを用いられため、各フローの通信量は固定的である。したがって、通信ｃ１の通信量と通信ｃ２の通信量の総和との間には相関関係が有ると考えられる。

通信管理装置１０は、また、過去データに基づいて、対象ポッドｐについて、当該ベクトルｖ２の各成分の相関関係を学習する（Ｓ２３）。

続いて、通信管理装置１０は、対象ポッドｐについて、学習済みの通信ｃ１の通信量と各通信ｃ２の通信量のベクトルｖ２の成分の総和の相関関係に対して通信ｃ１の予測値を適用して、当該総和の予測値を算出する（Ｓ２４）。

続いて、通信管理装置１０は、注目ポッドについて、当該総和と学習済みのベクトルｖ２の各成分の相関関係に対して当該総和の予測値を適用して、通信ｃ２の将来の通信量の予測値を計算する（Ｓ２５）。

なお、図７には、通信ｃ１の通信量＝ベクトルｖ２の成分の総和であり、ベクトルｖ２の各成分の相関が固定であるといった単純化した例が示されている。この場合、ベクトルｖ２の各成分の値は通信ｃ２の通信量に線形に比例する。

続いて、図３のステップＳ３０の詳細について説明する。図８は、帯域超過となる可能性が高いサーバαの特定処理の処理手順の一例を説明するためのフローチャートである。

ステップＳ３１において、通信管理装置１０は、各サーバに接続するリンク帯域及びバッファ値等に基づいて、各サーバの最大帯域を算出する。続いて、通信管理装置１０は、各サーバについて、最大帯域と許容使用率に基づいて閾値を決定（計算）する（Ｓ３２）。なお、許容使用率は、予め設定される値である。

図９は、閾値の計算例を示す図である。図９には、リンク帯域が１０Ｇｂｐｓ、バッファが０．５Ｇｂｐｓ、許容使用率が９５％であるサーバの例が示されている。この場合、当該サーバの閾値は、図９に示されるように、１０Ｇｂｐｓとして決定される。但し、閾値は各サーバで固定的に設定されてもよい。

続いて、通信管理装置１０は、サーバごとに、当該サーバに属する各ポッドの通信ｃ１及びｃ２の予測値の合計と、当該サーバの閾値とを比較し、当該合計が当該閾値より大きくなるサーバαを特定する（Ｓ３１）。この際、複数のサーバがサーバαとして特定されうる。

なお、対象ポッドが全ポッドの一部である場合、当該予測値の合計は、必ずしもサーバによる全通信量であるとは限らない。そこで、このような事情を考慮して許容使用率が設定されてもよい。すなわち、許容使用率には、サーバの全通信量のうち対象ポッドの通信に対して許容される通信量の割合が設定されてもよい。

図１０は、サーバαの特定例を示す図である。図１０の例では、真ん中のサーバがサーバαとして特定される。

続いて、図３のステップＳ４０の詳細について説明する。図１１は、移動対象のポッド及び移動先の決定処理の処理手順の一例を説明するためのフローチャートである。

ステップＳ４１において、通信管理装置１０は、各サーバの予測通信量の平均Ｔ'を計算する。

続いて、通信管理装置１０は、以下の最適化問題を解くことで、サーバαの予測通信量がＴ'に最も近くなるように、移動対象のポッドｉを選択する（Ｓ４２）。

但し、Ｔ_αは、サーバαの通信量、ｔ_ｉは、ポッドｉの通信量である。

続いて、通信管理装置１０は、以下の最適化問題を解くことで、移動先のサーバβの予測通信量がＴ'に最も近くなるように、移動先のサーバβを探索する（Ｓ４３）。

但し、ｓ_ｉｊは、ポッドｉとサーバｊ上の（全ての）ポッドの通信量の総和である。

すなわち、サーバ間の通信量ができるだけ均等に分散されるように、移動対象のポッドｉと移動先のサーバβとが決定される。

サーバβの探索に成功した場合（Ｓ４４でＹｅｓ）、通信管理装置１０は、ポッドｉについてサーバβへの移動を制御する（Ｓ４６）。すなわち、通信管理装置１０は、ポッドｉをサーバαから削除し、ポッドｉをサーバβに新規に生成するための制御を行う。その結果、ポッドｉがサーバβへ移動する。一方、サーバβの探索に失敗した場合（Ｓ４４でＮｏ）、通信管理装置１０は、ポッドｉを複数個にスケールアウトし（ポッドｉを複数のポッドに分割し）（Ｓ４５）、ステップＳ４２以降を繰り返す。

図１２は、移動対象のポッド及び移動先の決定例を示す図である。図１２の（１）では、左側のサーバにおいて帯域超過（閾値の超過）の可能性が高い例が示されている。この場合、（２）に示されるようにポッドを移動すれば、当該帯域超過を解消しつつ、各サーバの予測通信量の差を最小化することができる。したがって、この場合、左側のサーバの左側のポッドが移動対象として選択され、右側のサーバが移動先として選択される。

なお、上記では予測通信量に基づいて移動させるポッドｉ及び移動先のサーバβを決定する例を示したが、例えば、予測通信量の分散に基づいて移動させるポッドｉ及び移動先のサーバβが決定されるようにしてもよい。この場合、上記における予測通信量が予測通信量の分散に置換されればよい。

続いて、図３のステップＳ５０の詳細について説明する。図１３は、移動後のポッドへのＱｏＳ制御の処理手順の一例を説明するためのフローチャートである。また、図１４は、移動後のポッドへのＱｏＳ制御を説明するための図である。図１４には、図１３のステップ番号に対応する符号が対応箇所に付与されている。

ステップＳ５１において、通信管理装置１０は、各ポッドのＱｏＳ制御情報が記録されたリストを参照し、移動したポッドｉに対するＱｏＳ設定情報を取得する。

続いて、通信管理装置１０は、非特許文献１の技術やｔｃコマンドを利用し、移動後のポッドｉに対して優先的に帯域を割り当てる設定を投入する（Ｓ５２）。例えば、通信管理装置１０は、図１４に示されるように、サーバαからポッドｉに関する設定を削除し、サーバβに対してｔｃコマンドの設定等を行う。

続いて、上記した内容を適用した具体的なシステム例について説明する。図１５は、本発明の実施の形態を適用した具体的なシステム構成の一例を示す図である。

図１５において、物理ホストの一例である複数のサーバがＩＰネットワーク（例えば、ＤＣファブリックやＬＡＮな等）を介して通信している。サーバ上には、コンテナごとのワークロード（例：Ｋｕｂｅｒｎｔｅｓのポッドやコンテナ）が稼働する仮想ネットワークであるクラスタＮＷ３０がサービス事業者ごとに構築されている。このとき、単一サーバ上に複数のクラスタＮＷ３０が存在してもよい。

クラスタＮＷ管理システム２０は、クラスタＮＷ３０上のワークロードやクラスタＮＷ３０に属するサーバから通信量等のネットワーク情報を取得し、取得した情報に基づくワークロードの位置制御（スケジューリング）やＱｏＳ制御の設定等を行う１以上のコンピュータである。すなわち、クラスタＮＷ管理システム２０は、上記の通信管理装置１０に相当する。また、ワークロードは、上記のポッドに対応する。なお、クラスタＮＷ管理システム２０は、クラスタＮＷ３０に属するサーバ内部に位置してもよい。また、単一のサーバ上に複数のクラスタＮＷ３０が存在する場合、複数のクラスタＮＷ管理システム２０間で連携し、制御に必要な情報をやりとりしてもよい。

図１６は、クラスタＮＷ管理システム２０の構成例を示す図である。図１６において、クラスタＮＷ管理システム２０は、通信量予測装置２１、スケジュール装置２２、ＱｏＳ制御装置２３、インタフェース装置２４及び管理ＤＢ２５等を含む。各装置は、ソフトウェアであってもよいしハードウェア（コンピュータ）であってもよい。各装置がソフトウェアである場合、各装置は、共通のコンピュータを用いて実現されてもよい。いずれの場合であっても、各装置の機能は、各装置を実現するコンピュータにインストールされた１以上のプログラムが当該コンピュータに実行させる処理により実現される。

インタフェース装置２４は、ユーザから投入されたコマンドの情報を管理ＤＢ２５に投入したり、クラスタＮＷ３０の構成要素であるサーバやワークロード、その他の内部機能と直接通信し、テレメトリや制御情報等をやり取りする。

管理ＤＢ２５は、ユーザが投入したコマンドに基づき、クラスタの取るべき構成（ワークロード数など）を保持する。

通信量予測装置２１は、インタフェース装置２４からワークロードやサーバの通信量を取得して将来の通信量を予測する。通信量予測装置２１は、更に、サーバごとの通信量を計算し、帯域超過の可能性が高いサーバαを特定する。

スケジュール装置２２は、サーバαの中から移動させるワークロードと移動先のサーバを決定する。

ＱｏＳ制御装置２３は、移動したワークロードに対し動的にＱｏＳを設定する。

また、各サーバは、ワークロード管理部４１を含む。ワークロード管理部４１は、インタフェース装置２４からの制御通信を受け付け、ワークロードの立ち上げや消去を行うなど、ワークロードがサーバ内で正常に稼働することを保証する。

以下、通信量予測装置２１、スケジュール装置２２、ＱｏＳ制御装置２３の詳細について説明する。

図１７は、通信量予測装置２１の構成例を示す図である。図１７において、通信量予測装置２１は、通信量予測部２１１、帯域超過判定部２１２、学習データＤＢ２１３、予測パラメータ管理テーブル２１４及び閾値情報テーブル２１５等を含む。

学習データＤＢ２１３は、ワークロードやサーバの過去の通信量を学習データとして蓄積する。

予測パラメータ管理テーブル２１４は、通信量を取得したいワークロード（上記の対象ポッド）のリストを保持する。予測パラメータ管理テーブル２１４は、また、予測モデルの学習に用いるアルゴリズムや事前情報となる設定情報、学習後のパラメータを保持する。

通信量予測部２１１は、インタフェース装置２４を介してワークロードやサーバの通信量を取得し、学習データＤＢ２１３に蓄積された学習データから将来の通信量を予測する。通信量予測部２１１は、また、予測モデルのパラメータを更新し、更新結果を予測パラメータ管理テーブル２１４に格納する。通信量予測部２１１は、更に、インタフェース装置２４からワークロードの位置情報（どのワークロードがどのサーバに位置するか）を取得し、各サーバの通信量を計算する。

閾値情報テーブル２１５は、サーバの帯域の閾値の決定に用いる情報を蓄積する。

帯域超過判定部２１２は、サーバごとの帯域やパラメータから閾値を決定する。帯域超過判定部２１２は、また、閾値と各サーバの通信量とを比較し帯域超過の可能性が高いサーバαを特定する。

図１８は、予測パラメータ管理テーブル２１４の構成例を示す図である。図１８に示されるように、予測パラメータ管理テーブル２１４は、通信量を取得したいワークロードのリスト、クラスタ外との通信予測に用いるアルゴリズム、クラスタ内のワークロードとの通信予測に用いるアルゴリズムの情報、及びその学習パラメータを蓄積する。ワークロードごとの通信量を予測するため、ワークロードごとに個別の学習パラメータが保持される。学習パラメータは新たに流入する通信量データに伴って学習され、テーブル内の値も更新される。

また、各ワークロードがクラスタ内でどのように通信するかがポリシで定められている場合、予測パラメータ管理テーブル２１４は、これらの情報も保持する。当該情報は、モデルの学習に使用される。

図１９は、閾値情報テーブル２１５の構成例を示す図である。図１９に示されるように、閾値情報テーブル２１５は、帯域超過判定部２１２が帯域超過の可能性が高いサーバαを選択する際に用いる閾値を計算するための情報を保持する。例えば、サーバの帯域、ソケットのバッファ値がサーバごとに保持される。閾値情報テーブル２１５は、また、最大帯域に対して、使用可能な帯域の使用率の情報である許容使用率を保持する。

図２０は、スケジュール装置２２の構成例を示す図である。図２０において、スケジュール装置２２は、スケジュール演算部２２１及びクラスタ管理テーブル２２２等を含む。

スケジュール演算部２２１は、帯域超過サーバの情報、及び当該サーバの内部で稼働するワークロードの通信量情報を通信量予測装置２１から取得する。スケジュール演算部２２１は、また、クラスタ管理テーブル２２２を参照し、帯域超過サーバから移動させるワークロードを決定する。スケジュール演算部２２１は、また、クラスタ管理テーブル２２２を参照し、各サーバで稼働しているワークロードの情報やサーバのメトリック情報を考慮したうえで、移動先のサーバを決定する。スケジュール演算部２２１は、更に、ワークロードの移動の制御を行う。具体的には、スケジュール演算部２２１は、移動対象ワークロードと移動先のサーバの情報を変更するため、インタフェース装置２４に更新依頼を行うと同時にＱｏＳ制御装置２３に配置変更の通知を送信する。

クラスタ管理テーブル２２２は、インタフェース装置２４を介して、各サーバで稼働しているワークロードのＩＤや、各サーバのメトリック（ＣＰＵやメモリ、ストレージ量、通信量）をリアルタイムに取得し保持する。

図２１は、クラスタ管理テーブル２２２の構成例を示す図である。図２１に示されるように、クラスタ管理テーブル２２２は、各サーバで動作するワークロードのＩＤ、及び各サーバの現在のパフォーマンスを示すメトリック情報を保持する。テーブル内の情報は、クラスタＮＷ３０の中で変更が発生するタイミングで、インタフェース装置２４からの更新依頼に基づき更新される。スケジュール装置２２は、特に、メトリック情報を参照し、通信量だけでなく、ＣＰＵ、メモリ、ストレージの観点で最適な移動先のサーバを決定する。

図２２は、ＱｏＳ制御装置２３の構成例を示す図である。図２２において、ＱｏＳ制御装置２３は、コマンド生成部２３１、過去コマンドＤＢ２３２及びＱｏＳ設定情報テーブル２３３等を含む。

コマンド生成部２３１は、スケジュール装置２２からワークロードの配置変更の通知を受け付けると、過去コマンドＤＢ２３２に問い合わせ、移動対象のワークロードに対して過去に設定したＱｏＳ設定を取得し、インタフェース装置２４を介してＱｏＳ設定の更新依頼を行う。コマンド生成部２３１は、また、ＱｏＳ設定情報テーブル２３３から移動対象のワークロードの優先度情報を取得し、取得情報に基づいて新たなＱｏＳコマンドを生成し、インタフェース装置２４を介してＱｏＳ設定の更新依頼を行う。

図２３は、ＱｏＳ設定情報テーブル２３３の構成例を示す図である。図２３に示されるように、ＱｏＳ設定情報テーブル２３３は、各ワークロードの優先度に合わせて、ＱｏＳ設定情報（Guaranteed、Best Effort）を保持する。これらの情報は、サービス開始の時点でシステム管理者によって定められる。ワークロードのＩＤや名称・ＩＰアドレス等の識別子は随時更新されるため、ＱｏＳ設定情報テーブル２３３ではサービス名とＱｏＳ設定情報が紐づくようにする。

以下、クラスタＮＷ管理システム２０において実行される処理手順について説明する。図２４は、通信量情報の取得と予測に関する処理手順の一例を説明するためのシーケンス図である。図２４は、図３のステップＳ１０～Ｓ３０に対応する、クラスタＮＷ管理システム２０において実行される処理手順を示す。

各ワークロードは、所定の時間間隔で、インタフェース装置２４を介して通信量予測装置２１宛に通信量情報（現在の通信量を示す情報）を送信する（Ｓ１０１、Ｓ１０２）。一方、各サーバは、所定の時間間隔で、インタフェース装置２４を介して通信量予測装置２１宛にワークロードの管理情報（ワークロードが稼働するサーバの情報等）を送信する（Ｓ１０３、Ｓ１０４）。通信量予測装置２１の通信量予測部２１１は、インタフェース装置２４を介して受信した情報を学習データＤＢ２１３に記録する。

その後、通信量予測部２１１は、学習データＤＢ２１３に記録された過去の通信量データを学習して（Ｓ１０５）、学習済みモデルに基づいて各ワークロードの将来的な（例えば、Ｎ分後の）通信量を予測する（Ｓ１０６）。続いて、通信量予測部２１１は、ワークロードの予測通信量をサーバごとに合計することで各サーバの予測通信量を算出する（Ｓ１０７）。続いて、通信量予測装置２１の帯域超過判定部２１２は、各サーバの算出結果に基づいて、帯域超過の可能性が高いサーバαを特定する（Ｓ１０８）。続いて、帯域超過判定部２１２は、特定したサーバαの情報と各ワークロードの予測通信量をスケジュール装置２２に送信する（Ｓ１０９）。

図２５は、スケジューリングの実施に関する処理手順の一例を説明するためのシーケンス図である。図２５は、図３のステップＳ４０及びＳ５０に対応する、クラスタＮＷ管理システム２０において実行される処理手順を示す。

スケジュール装置２２のスケジュール演算部２２１は、通信量予測装置２１から通知されたサーバαの内部で稼働するワークロードの中から移動させるワークロードを選択すると共に、当該ワークロードの移動先のサーバを決定する（Ｓ２０１）。続いて、スケジュール演算部２２１は、選択又は決定した情報をインタフェース装置２４を介して移動先のサーバ及び移動元サーバのそれぞれのワークロード管理部４１、並びにＱｏＳ制御装置２３へ送信する（Ｓ２０２、Ｓ２１０、Ｓ２２０）。

各サーバのエージェントであるワークロード管理部４１は、スケジュール装置２２の指示に従い（スケジュール演算部２２１から送信された情報に基づき）、ワークロードの削除及び新規作成（ワークロードの移動）を行う（Ｓ２１１）。

一方、ＱｏＳ制御装置２３のコマンド生成部２３１は、移動したワークロードに適用するＱｏＳ制御コマンドを生成し（Ｓ２２１）、当該コマンドに基づいて、移動先のサーバに対してＱｏＳ制御を指示する（Ｓ２２２）。

上述したように、本実施の形態によれば、クラスタを構成するサーバの通信量を考慮して、動的にポッド（ワークロード）の位置を変更することで、サーバの通信が所定の帯域を超過することを防ぎ、パケットロスや遅延を削減することができる。その結果、クラスタにおける通信異常の発生を抑制することができる。

なお、本実施の形態において、ポッド又はワークロードは、通信部の一例である。サーバは、クラスタを構成する複数のコンピュータの一例である。通信量予測部２１１は、取得部及び予測部の一例である。帯域超過判定部２１２は、特定部の一例である。スケジュール演算部２２１は、移動制御部の一例である。コマンド生成部２３１は、ＱｏＳ設定部の一例である。

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 通信管理装置
２０ クラスタＮＷ管理システム
２１ 通信量予測装置
２２ スケジュール装置
２３ ＱｏＳ制御装置
２４ インタフェース装置
２５ 管理ＤＢ
３０ クラスタＮＷ
４１ ワークロード管理部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ ネットワークインタフェース
２１１ 通信量予測部
２１２ 帯域超過判定部
２１３ 学習データＤＢ
２１４ 予測パラメータ管理テーブル
２１５ 閾値情報テーブル
２２１ スケジュール演算部
２２２ クラスタ管理テーブル
２３１ コマンド生成部
２３２ 過去コマンドＤＢ
２３３ ＱｏＳ設定情報テーブル
Ｂ バス

Claims (6)

1. クラスタを構成する複数のコンピュータのそれぞれにおいて１以上稼働する通信部が行う通信の通信量を取得する取得部と、
   前記通信について将来の通信量を予測する予測部と、
   それぞれの前記通信部の前記将来の通信量に基づいて、前記通信部を移動させる第１のコンピュータを特定する特定部と、
   前記第１のコンピュータにおいて稼働する前記通信部について、第２のコンピュータへの移動を制御する移動制御部と、
   を有し、
   前記通信部は、前記クラスタ内の第１の通信及び前記クラスタの外部との第２の通信の双方又は一方を行い、
   前記予測部は、過去における前記第１の通信と前記第２の通信との相関に基づいて、前記第２の通信の通信量を予測する、
   ことを特徴とする通信管理装置。
2. 前記移動の後において、前記移動の対象とされた前記通信部に対して優先的に帯域を割り当てるＱｏＳ設定を行うＱｏＳ設定部、
   を有することを特徴とする請求項１記載の通信管理装置。
3. 前記特定部は、前記コンピュータごとに当該コンピュータで稼働する前記通信部の前記将来の通信量の合計を算出し、前記合計が閾値を超過する第１のコンピュータを特定する、
   ことを特徴とする請求項１又は２記載の通信管理装置。
4. 前記移動制御部は、前記コンピュータごとに将来の通信量を予測し、前記第１のコンピュータにおいて稼働する前記通信部のうち、当該通信部を前記第１のコンピュータから移動した場合に、前記第１のコンピュータの将来の通信量が前記コンピュータごとの将来の通信量の平均に最も近くなる前記通信部を前記第２のコンピュータへの移動対象として選択する、
   ことを特徴とする請求項１乃至３いずれか一項記載の通信管理装置。
5. 前記移動制御部は、前記コンピュータごとに将来の通信量を予測し、前記移動の対象の前記通信部が当該コンピュータに移動した場合に、当該コンピュータの将来の通信量が前記コンピュータごとの将来の通信量の平均に最も近くなるコンピュータを前記第２のコンピュータとして選択する、
   ことを特徴とする請求項１乃至４いずれか一項記載の通信管理装置。
6. クラスタを構成する複数のコンピュータのそれぞれにおいて１以上稼働する通信部が行う通信の通信量を取得する取得手順と、
   前記通信について将来の通信量を予測する予測手順と、
   それぞれの前記通信部の前記将来の通信量に基づいて、前記通信部を移動させる第１のコンピュータを特定する特定手順と、
   前記第１のコンピュータにおいて稼働する前記通信部について、第２のコンピュータへの移動を制御する移動制御手順と、
   をコンピュータが実行し、
   前記通信部は、前記クラスタ内の第１の通信及び前記クラスタの外部との第２の通信の双方又は一方を行い、
   前記予測手順は、過去における前記第１の通信と前記第２の通信との相関に基づいて、前記第２の通信の通信量を予測する、
   ことを特徴とする通信管理方法。

Images