JP2023502210A - マルチ・テナント型抽出・変換・ロードのリソースの共有 - Google Patents

Abstract

マルチ・テナント型抽出・変換・ロード（ＥＴＬ）システムの処理リソースを共有するための概念が提示される。そのような概念においては、マルチ・テナント型ＥＴＬシステムの全作業負荷を、テナントのキューに入れられた作業負荷とともに考慮して、キューに入れられた作業負荷のシステムへの配信を制御する。そのような制御は、例えば、テナントの作業を遅延させることによって行われる。従って、提案される実施形態は、テナント間の公平さを達成するための方策を考案しようとするものである。

Description

本発明は、一般にマルチ・テナント型システムにおける処理の分野に関し、具体的には、マルチ・テナント型抽出・変換・ロード（extract transform load, ＥＴＬ）システムの処理リソースを共有する方法に関する。

本発明はまた、システムのプロセッサ、又はネットワークの多くのプロセッサがそのような方法を実施することを可能にするコンピュータ可読プログラム・コードを備えたコンピュータ・プログラム製品に関する。

本発明はまた、マルチ・テナント型ＥＴＬシステムの処理リソースを共有するためのシステムに関する。

マルチ・テナント型ＥＴＬシステムにおいては、複数の異なるテナントから、高度に並列な方式で、非同期的に大量のデータが抽出され、処理される。データは、ページ毎に抽出され、共有処理エンジン（又はクラスター）による処理のためのキューに入れられる。

複数のテナントが大量の作業をサブミットする可能性があり、その作業は次に、共有処理エンジン内で処理するためのキューに入れられる。従って、１つのテナントの作業が大量データでシステムを独占し、別のテナントの作業の処理を遅延させる可能性がある。このことは、同じレベルのサービスを受けるべき他のテナント（例えば、同じカテゴリ内のテナント）に対して不公平である。ある特定のカテゴリのテナントが、別のカテゴリのテナントよりも良好な質のサービスを受ける可能性はある（例えば、システムは、支払い済み又はプレミアム・カスタマーに、未支払い又は標準的なカスタマーよりも高いレベルのサービスを提供するように構成することができる）が、同じカテゴリ内のテナントは、全て、同じレベルのサービスを受けることを期待するであろう。換言すれば、典型的な期待は、マルチ・テナント型ＥＴＬシステムが同じカテゴリ内の全てのテナントに対して公平であるべきである、ということである。

本発明の一実施形態により、マルチ・テナント型抽出・変換・ロード（ＥＴＬ）システムの処理リソースを共有するためのコンピュータ実施の方法であって、１つ又は複数のプロセッサにより、マルチ・テナント型ＥＴＬシステムの全作業負荷を決定することと、１つ又は複数のプロセッサにより、テナントに関連付けられる、キューに入れられた作業負荷を決定することと、１つ又は複数のプロセッサにより、全作業負荷及びキューに入れられた作業負荷に基づいて、テナントによって要求された作業のマルチ・テナント型ＥＴＬシステムの作業負荷への追加を遅延させることと、を含む方法が提供される。

本発明の別の実施形態により、具体化されたプログラム命令を有するコンピュータ可読ストレージ媒体を備えるコンピュータ・プログラム製品であって、プログラム命令は処理ユニットによって実行可能であり、コンピュータ・ネットワーク上で実行されるとき、処理ユニットに、マルチ・テナント型抽出・変換・ロード（ＥＴＬ）システムの処理リソースを共有する方法を実行させ、その方法は、マルチ・テナント型ＥＴＬシステムの全作業負荷を決定することと、テナントに関連付けられる、キューに入れられた作業負荷を決定することと、全作業負荷及びキューに入れられた作業負荷に基づいて、テナントによって要求された作業のＥＴＬシステムの作業負荷への追加を遅延させることとを含む、コンピュータ・プログラム製品が提供される。

本発明の別の実施形態により、マルチ・テナント型抽出・変換・ロード（ＥＴＬ）システムの処理リソースを共有するためのシステムであって、マルチ・テナント型ＥＴＬシステムの全作業負荷を決定するように構成された作業負荷コンポーネントと、テナントに関連付けられる、キューに入れられた作業負荷を決定するように構成された分析コンポーネントと、全作業負荷及びキューに入れられた作業負荷に基づいて、テナントによって要求された作業のマルチ・テナント型ＥＴＬシステムの作業負荷への追加を遅延させるように構成された遅延コンポーネントとを備える、システムが提供される。

次に、本発明の好ましい実施形態が、以下の図面を参照しながら、単なる例として説明されることになる。

例証的な実施形態の態様を実装することができる例示的な分散システムの図による表現を示す。 一実施形態による、提案される分散通信システムの概略図を示す。 一実施形態による、ＥＴＬシステムのリソースを共有する方法のフロー図を示す。 本発明の一実施形態による、サーバ若しくはクライアント、又はそれら両方のコンポーネントのブロック図を示す。

図は概略的なものに過ぎず、尺度通りに描かれてはいないことを理解されたい。また、図を通して、同じ参照数字が、同じ又は類似の部分を示すために使用されていることを理解されたい。

本発明の文脈において、本発明の実施形態が方法を構成する場合、そのような方法は、コンピュータによる実行のためのプロセスとすることができる、即ち、コンピュータ実施の方法とすることができることを理解されたい。従って、方法の種々のステップは、コンピュータ・プログラムの種々の部分、例えば、１つ又は複数のアルゴリズムの種々の部分を反映することができる。

また、本発明の文脈において、システムは、本発明の方法の１つ又は複数の実施形態を実行するように適合された、単一のデバイス又は分散デバイスのコレクションとすることができる。例えば、システムは、パーソナル・コンピュータ（ＰＣ）、サーバ、或いは、ローカル・エリア・ネットワーク、インターネットなどのネットワークを介して、本発明の方法の少なくとも１つの実施形態を協調的に実行するように接続されたＰＣのコレクション若しくはサーバ、又はそれら両方とすることができる。さらに、コンポーネントは、１つ又は複数の処理ユニットによって実行される統合フローとすることができる。

提案されるのは、マルチ・テナント型抽出・変換・ロード（ＥＴＬ）システムの処理リソースを共有するための概念である。そのような概念においては、マルチ・テナント型ＥＴＬシステムの全作業負荷を、テナントのキューに入れられた作業負荷とともに考慮して、キューに入れられた作業負荷のシステムへの配信を制御する。そのような制御は、例えば、そのテナントの作業を遅延させることによって行われる。従って、提案される実施形態は、テナント間の公平さを達成するための方策を考案しようとするものである。

従って、実施形態は、所与の時間にシステムに与えられている作業を減速するように構成されていると考えることができる。このことは、あるテナントについてのアクティブな作業の同時ストリームの数を測定することによって行うことができることが提案される。例えば、アクティブな作業の多数の同時ストリームを有するテナントは、本明細書で説明される実施形態により、そのような作業の追加を遅延させることができる。このことは、そのテナントが、別のテナントの作業の処理を遅延させることになる大量のデータでシステムを独占する（すなわち、過負荷にする）ことを防ぐことができる。

従って、提案される実施形態は、システムの全作業負荷を考慮して、あるテナントの作業負荷の追加を、自動的及び動的に制御することができる。例えば、システムの全作業負荷、及び、あるテナントに関連付けられる、キューに入れられた作業負荷に基づいて、そのテナントによって要求された作業の追加を遅延させる／後回しにすることができる。このようにして、システムの処理リソースを共有することにおける公平さを達成することができる。テナントのカテゴリ（例えば、支払い済み、未支払い、プレミアム、プラチナなど）の公平さを達成するための概念を提供することができる。

提案される概念は、要求を抽出するそれらの連鎖によりＥＴＬシステムに関連する予測性のレベルを高め、複数のテナントにわたる公平さを実現することができるので、ＥＴＬシステムにとって特に価値若しくは利点、又はそれら両方があり得る。

データ抽出は時間がかかるので、抽出・変換・ロードの３つの段階を並列に実行するのが普通である。データを抽出しながら、別の変換プロセスが実行され、同時に既に受け取れられているデータが処理され、ローディングのために準備され、前の段階の完了を待たずにデータのローディングが開始される。提案される実施形態は、このことを利用して、あるテナントによって要求された作業の作業負荷への追加の遅延を制御することによって、テナントに対する公平さを達成することに焦点を当てる。

具体的には、ＥＴＬシステムの作業負荷へのあるテナントの作業の追加を、システム内の現在キューに入れられている全作業負荷の測定に基づいて、遅延させることが提案される。システム内で処理されるべき作業の総量のこうした計測は、例えば、システムのラグによって示され得る。

提案される実施形態は、システム内の全負荷及びあるテナントに関連付けられる作業を監視し、過負荷の場合には抽出ページング内に遅延を導入することにより、あるカテゴリ（即ち、グループ、コレクション、クラス、タイプ、分類など）のテナントの間の公平さを促進しようとすることができる。遅延は、各々のテナントによって生成される作業に比例させることができる。このことは、「ペーシング」と呼ぶことができる。

例として、一実施形態は全テナントについてキューに入れられている作業の量を測定することによって、全負荷を監視することができる。そのような実施形態は、次に、各々のテナントについての新しい作業の追加を遅らせることができる。この「ペーシング」遅延は、例えば、全体の作業のキューの深さ（例えば、ラグ）及び、さらに各々のテナントからの作業負荷（例えば、実行中のＥＴＬバッチの数）に基づいて計算することができる。

提案される実施形態により、ペーシングが必要となるときを決定することによって、個人化されたペーシング因子を計算し適用することができる。このことは、提案される実施形態を実装する製品の改善されたユーザ体験及び認識をもたらす。

例として、提案される実施形態は、マルチ・テナント型ＥＴＬシステムの処理リソースを共有することを提供することができる。そのような実施形態は、マルチ・テナント型ＥＴＬシステムの全作業負荷を決定することを含むことができる。マルチ・テナント型ＥＴＬシステムを使用する各々のテナントについて、次に、キューに入れられた関連する作業負荷を決定することができる。決定された全作業負荷及びあるテナントに関連付けられる、キューに入れられた作業負荷に基づいて、そのテナントによって要求された作業の、マルチ・テナント型ＥＴＬシステムの作業負荷の追加を、遅延させることができる。

幾つかの実施形態は、さらに、マルチ・テナント型ＥＴＬシステムを使用する各々のテナントについて、そのテナントに関連付けられる、キューに入れられた作業負荷に基づいて、関連する遅延係数を計算することを含むことができる。さらに、テナントに関連する遅延係数に基づいてテナントによって要求される作業の遅延を導入することによって、テナントによって要求される作業をシステムの作業負荷に追加することを遅延させることを含む。

さらに、テナントに関連付けられる、キューに入れられた作業負荷に基づいて関連する遅延係数を計算することは、テナントに関連付けられる、キューに入れられた作業負荷が所定の閾値より小さい場合に、遅延係数を所定のデフォルト値に等しくなるように計算することを含むことができる。

テナントに関連付けられる、キューに入れられた作業負荷に基づいて関連する遅延係数を計算することは、遅延係数を、テナントに関連付けられる、キューに入れられた作業負荷に直接比例するように、計算することを含むことができる。

さらに別の例として、実施形態は、マルチ・テナント型ＥＴＬシステムの全作業負荷を監視して全作業負荷の変化を検出することと、全作業負荷の検出された変化に応じて遅延係数を修正することとをさらに含むことができる。

マルチ・テナント型ＥＴＬシステムの全作業負荷を決定することは、マルチ・テナント型ＥＴＬシステムの全テナントについてのキューに入れられた作業の総量、及び、マルチ・テナント型ＥＴＬシステムにおける現在の遅延の値、のうちの少なくとも１つを測定することを含むことができる。

また、テナントに関連付けられる、キューに入れられた作業負荷を決定することは、そのテナントについて実行中のプロセスの数、そのテナントについてキューに入れられた作業の量、そのテナントについてアクティブな作業の同時ストリームの数、及びそのテナントについて現在登録されている処理要求の数、のうちの少なくとも１つを測定することを含むことができる。

実施形態は、既存のＥＴＬシステムと共に実装することができる。このようにして、提案される実施形態を組み入れることによって、マルチ・テナント型ＥＴＬシステムの機能性若しくは有用性又はそれら両方を改善することができる。

図１は、例証的な実施形態の態様を実装することができる例示的な分散システムの図による表示を示す。分散システム１００は、例証的な実施形態の態様を実装することができるコンピュータのネットワークを含むことができる。分散システム１００は、少なくとも１つのネットワーク１０２を含み、そのネットワークは、分散データ処理システム１００内で互いに接続された種々のデバイスとコンピュータとの間の通信リンクを提供するように使用される媒体である。ネットワーク１０２は、有線、無線通信リンク、又は光ファイバー・ケーブルなどの接続部を含むことができる。

描かれた例において、第１のサーバ１０４及び第２のサーバ１０６が、ストレージ・ユニット１０８と共にネットワーク１０２に接続される。さらに、クライアント１１０、１１２、及び１１４もまたネットワーク１０２に接続される。クライアント１１０、１１２、及び１１４は、エッジ・デバイス、例えば、パーソナル・コンピュータ、ネットワーク・コンピュータ、ＩｏＴデバイスなどとすることができる。描かれた例において、第１のサーバ１０４は、ブート・ファイル、オペレーティング・システム・イメージ、並びに、クライアント１１０、１１２、及び１１４に対するアプリケーションなどのデータを供給する。クライアント１１０、１１２、及び１１４は、描かれた例においては、第１のサーバ１０４に対するクライアントである。分散処理システム１００は、図示されていない付加的なサーバ、クライアント、及び他のデバイスを含むことができる。

描かれた例において、分散システム１００は、互いに通信するためのプロトコルの通信制御プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）スーツを使用するネットワーク及びゲートウェイの世界的コレクションを表すネットワーク１０２を伴うインターネットとすることができる。このインターネットの中心部に、何千もの、商用、政府用、教育用及び他のコンピュータ・システムで構成されるメジャー・ノード又はホスト・コンピュータの間の、データ及びメッセージを送る高速データ通信ラインのバックボーンが存在する。勿論、分散システム１００はまた、多数の異なるタイプのネットワーク、例えば、イントラネット、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）などを含むように実装することができる。上記のように、図１は、一例として意図されたものであり、本発明の種々の実施形態に対するアーキテクチャ上の限定として意図されたものではなく、それ故に、図１に示される特定の要素は、本発明の例証的な実施形態を実施することができる環境に関する限定と考えられるべきではない。

当業者であれば、図１のアーキテクチャ若しくはハードウェア又はそれら両方は、実装に応じて変わり得ることを認識するであろう。また、例証的な実施形態のプロセスは、本発明の範囲から逸脱せずに、マルチプロセッサ・データ処理システムに適用することができる。

上記で詳述したように、提案される実施形態は、マルチ・テナント型ＥＴＬシステムの処理リソースを共有するための方法及びシステムを提供する。さらに別の説明として、次に、提案される実施形態を、複数のテナントにサービスを提供するＥＴＬシステムを含む分散通信システムに関して、説明することになる。

図２を参照すると、一実施形態による分散通信システムの概略図が示されている。分散通信システムは、ＥＴＬシステム３００、セッション・ストレージ３９５、及び、ＥＴＬシステム３００の処理リソースを共有するためのシステム３０５を含む。ここで、ＥＴＬシステム３００は、非常に大量のデータ（例えば、数百万の記録）を含み得るＥＴＬバッチの処理に寄与する種々のコンポーネントを含むことに留意されたい。これらのコンポーネントは、コントローラ・システム（例えば、バッチ・コントローラ）、コントローラがデータを抽出するシステム、ＳａａＳアプリケーション又はエンタープライズ・システム、及び、抽出された記録を処理する処理エンジンを含むことができる。これらのコンポーネントの何れか又は全ては、通信ネットワーク３１０（例えば、インターネット）を介して他の外部システムと潜在的に相互作用することができる。

ＥＴＬシステム３００は、複数のテナントから、通信ネットワーク３１０（例えば、インターネット）を介してアクセスすることができる。ここで、複数のテナントは、第１のテナントから第３のテナントまでを含む。

図２の描かれた例において、ＥＴＬシステム３００の処理リソースを共有するためのシステム３０５は、ＥＴＬシステム３００の外部にあるように示されている。しかし、これは、システム３０５及びその種々のコンポーネントの例証のためだけのものである。従って、実施形態は、ＥＴＬシステム３００の抽出段階を制御することに向けられる場合があり、抽出プロセスは、一連のプル・オペレーションとすることができ、ＥＴＬシステム３００内部から開始することができるので、システム３０５は、それ故に、ＥＴＬシステム３００自体の一部を形成することができると理解される。

処理リソースを共有するためのシステム３０５は、ＥＴＬシステム３００の全作業負荷を決定するように構成された作業負荷コンポーネント３３０を備えることができる。この例において、作業負荷コンポーネント３３０は、マルチ・テナント型ＥＴＬシステム３００の全てのテナント３２０についてキューに入れられた作業の総量、及び、マルチ・テナント型ＥＴＬシステム３００における現在の遅延の値、のうちの少なくとも１つを測定するように構成される。そのような測定値は、ＥＴＬシステム３００の全作業負荷の代表値とすることができる。

処理リソースを共有するためのシステム３０５は、さらに、分析コンポーネント３４０を備える。分析コンポーネント３４０は、マルチ・テナント型ＥＴＬシステム３００を使用している各々のテナント３２０についてキューに入れられる作業負荷を決定するように構成される。より具体的には、この例示的な実施形態の分析コンポーネント３４０は、テナント３２０について実行中のプロセスの数、テナント３２０についてキューに入れられた作業の量、テナント３２０についてのアクティブな作業の同時ストリームの数、及び、テナント３２０について現在登録されている処理要求の数、のうちの少なくとも１つを測定するように構成される。

処理リソースを共有するためのシステム３０５の遅延コンポーネント３５０は、あるテナント３２０によって要求される、マルチ・テナント型ＥＴＬシステム３００の作業負荷への作業の追加を、決定された全作業負荷及びテナント３２０に関連付けられるキューに入れられた作業負荷に基づいて、遅延させるように構成される。このことに関して、この例示的な実施形態のシステム３０５は、マルチ・テナント型ＥＴＬシステム３００を使用しているテナント３２０について、テナント３２０に関連付けられるキューに入れられた作業負荷に基づいて、関連する遅延係数を計算するように構成されたプロセッサ３６０をさらに含むことに留意されたい。この例示的な実施形態の遅延コンポーネント３５０は、次に、テナント３２０に関連付けられる遅延係数に基づいて、テナント３２０によって要求された作業に遅延を導入することができる。

この実施形態において、及び、単に例としてのみ、プロセッサ３６０は、テナント３２０に関連付けられるキューに入れられた作業負荷が所定の閾値より小さい場合に、遅延係数を所定のデフォルト値に等しくなるように計算するように、構成することができる。さらに、プロセッサ３６０は、テナント３２０に関連付けられるキューに入れられた作業負荷に直接比例するように遅延係数を計算するように、構成することができる。このようにして、テナント３２０について待機行列に入れられた作業量がより高い／より大きいほど、遅延係数がより高く／より大きくなり、それにより、そのテナント３２０についてキューに入れられた作業負荷に従って、テナント３２０による作業要求に対する遅延の制御が調節される。

処理リソースを共有するためのシステム３０５は、この実施形態において、モニタ・コンポーネント３７０をさらに含む。モニタ・コンポーネント３７０は、マルチ・テナント型ＥＴＬシステム３００の全作業負荷を監視し、全作業負荷の変化を検出するように構成することができる。全作業負荷の検出された変化に応じて、プロセッサ３６０は、遅延係数を修正することができる。このようにして、全作業負荷がより高い／より大きいほど、遅延係数がより高く／より大きくなり、それにより、システム３０５の作業負荷に従って、作業に適用される遅延の制御が調節される。

さらに別の例として、次に別の例示的実施形態を考えることができる。

上記のように、ＥＴＬシステム３００は、ＥＴＬバッチの処理に寄与する種々のコンポーネントを備えることができる。これらのコンポーネントは、コントローラ・システム（例えば、バッチ・コントローラ）、コントローラがデータを抽出するシステム、ＳａａＳアプリケーション又はエンタープライズ・システム、及び、抽出された記録を処理する処理エンジンを含む。これらのコンポーネントの何れか又は全ては、他の外部システムと潜在的に相互作用することができる。

ＥＴＬシステムのコンポーネントは、互いの間で通信してデータを渡すための、高スループットで低遅延のメッセージング・システム（Ｋａｆｋａなど）を使用することができる。例として、Ｋａｆｋａは、メッセージに関する多数のパーティション、プロデューサー、及びコンシューマのグループによって、トピックを定める。

重要な考慮事項はコンシューマ・ラグである。これは、幾つのメッセージが書かれているかと、幾つのメッセージが読まれているかとの間の差である。従って、コンシューマ・ラグは、メッセージのコンシューマのグループがメッセージのプロデューサーに比べてどれほど遅れているかを示す尺度として用いることができる。例えば、大きい／高いコンシューマ・ラグ値は、新しいＥＴＬバッチの抽出されたデータが処理に長時間を要し、システムが幾つかのテナント３２０に応答しないように見えることを意味する。

簡単のために、全テナント３２０が１つのカテゴリ（例えば、同じ料金の支払い済みユーザ）にあると仮定することができる。幾つかのカテゴリが存在する場合、提案される概念は単一のカテゴリの境界内で適用され、他のカテゴリには別に適用されると考えることができる。

大量のＥＴＬバッチがコントローラ・システムによって集められ、次いで、メッセージング・システム（例えば、Ｋａｆｋａ）を通して作業を受け取る他の処理コンポーネント（例えば、フロー・エンジン）によって取り扱われる。各々のＥＴＬバッチは、抽出要求のチェーンを通して記録の順序リスト（例えば、ページ）を抽出することができる。

提案される実施形態は、セッション・ストレージ３９５とＫａｆｋａ類似のメッセージング・システムとの組み合わせを用いて、テナント３２０が全体のシステム・リソースを公平に共有し、テナントがそれらの作業の進行を見るチャンスを得ることを保障する方法で、作業（例えば、ＥＴＬバッチ）を外部システム（ＳａａＳ又はエンタープライズ・アプリケーション）に分散させる方策を実施することができる。

例として、コントローラ・システムがＥＴＬバッチを受け取ったときに、コントローラ・システムは、全ての作業項目が開始することを保証するために、チェーン内の最初の要求を遅延なくキューに公開することになる。コントローラ・システムは、さらに、ＥＴＬバッチをセッション・ストレージ３９５に登録する。次に、処理キューのコンシューマ・ラグが監視され、処理キューのコンシューマ・ラグが閾値を越えるとき、システムは、チェーンの２つ目以降の要求から遅延を導入する（例えば、ペーシングを調節する）ことができる。

実施形態は、ある特定のテナント３２０の次の要求をどれほど長く遅延させるべきかを決定するために、以下の情報、即ち、メッセージング・システムのキューの全体の長さ（即ち、システム内の全作業）、現在どれほど多くのＥＴＬバッチ（即ち、並行ＥＴＬバッチ）がセッション・ストレージ３９５に登録されているか、及び、全体の遅延係数について事前構成された初期値、を用いることができる。そのような情報に基づいて、一実施形態は、テナント３２０に固有の遅延係数を計算することができ、これが引き起こされる遅延を制御する（もしあれば）。

それに続く抽出要求は、遅延後にキューに入れられることになり、セッション・ストレージ３９５における登録情報は、チェーン内の新しい位置を用いて更新される。

次に図３を参照しながら、一実施形態による方法が説明される。具体的には、図３は、提案される実施形態によるＥＴＬシステム３００のリソースを共有する方法のフロー図を示す。

初めに、グローバル遅延係数が初期値によって設定される。

新しい抽出ページ要求が受け取られた（４００）（例えば、チェーン内の次の要求が処理された）ときに方法が開始し、ステップ４１０に進む。ステップ４１０において、抽出されたデータの新しいページが送られる必要があるかどうか判断される。その必要がなければ、方法は簡単に進んでステップ４１５で終了する。逆に、ステップ４１０において、抽出されたデータの新しいページが処理エンジンに送られる必要があると判断される場合、方法はステップ４２０に進み、そこでグローバル遅延係数が再計算され、更新される。ここで、このことは、処理キューから現在のラグを計算すること、及び、それを（セッション・ストレージ３９５から取り出された）古いラグと比較してグローバル係数を増加又は減少させることを含む。

更新されたグローバル遅延係数に基づいて、現在のテナント３２０についての遅延係数が、ステップ４３０において計算される。ここで、このことは、現在のテナント３２０について実行中のＥＴＬバッチの数をセッション・ストレージ３９５から収集することと、次いで、現在のテナント３２０について使用するための遅延係数を、グローバル遅延係数と現在のテナント３２０によって所有されるＥＴＬバッチの数とを掛け合わせること、即ち、テナント遅延係数＝グローバル係数＊テナントよって所有されるＥＴＬバッチの数によって、計算することとを含む。

次に、ステップ４４０において、遅延又は待ち時間が導入される。ここで、遅延又は待ち時間は、ラグにテナント遅延係数を掛け合わせることによって求められる。言い換えれば、遅延又は待ち時間は、待ち時間＝（ラグ＊テナント遅延係数）のように表すことができる。

求められた時間による遅延／待機の後、コントローラ・システムは、ステップ４５０において新しい抽出要求を送り、次いで、方法はステップ４００に戻る。

このように、ＥＴＬバッチが多ければ多いほど、テナント３２０は、より大きい係数及びより大きい遅延／待ち時間で開始することが理解されるであろう。

実施形態は、図４に示されるネットワーク・システム７の部分を形成することができるコンピュータ・システム７０を備えることができる。例えば、あるテナント３２０によって要求される、一実施形態によるマルチ・テナント型ＥＴＬシステム３００の作業負荷への作業の追加、を遅延させるように構成された遅延コンポーネントを、コンピュータ・システム７０に実装することができる（例えば、処理ユニット７１）。コンピュータ・システム／サーバ７０のコンポーネントは、それらに限定されないが、例えば、プロセッサ又は処理ユニット７１、システム・メモリ７４、及び、システム・メモリ７４を含む種々のシステム・コンポーネントを処理ユニットに結合するバス９０、を備える１つ又は複数の処理機構を含むことができる。

システム・メモリ７４は、ランダム・アクセス・メモリ（ＲＡＭ）７５若しくはキャッシュ・メモリ７６又はそれら両方のような揮発性メモリの形態のコンピュータ・システム可読媒体を含むことができる。コンピュータ・システム／サーバ７０は、他の取り外し可能／固定型、揮発性／不揮発性のコンピュータ・システム・ストレージ媒体をさらに含むことができる。そのような場合、各々は、１つ又は複数のデータ媒体インターフェースによってバス９０に接続することができる。メモリ７４は、提案される実施形態の機能を実行するように構成された１組の（例えば、少なくとも１つの）プログラム・モジュールを有する少なくとも１つのプログラム製品を含むことができる。例えば、メモリ７４は、処理ユニット７１によって実行可能なプログラムであって、提案される実施形態によるマルチ・テナント型ＥＴＬシステム３００の処理リソースを共有するための方法を入力／出力（Ｉ／Ｏ）インターフェース７２に実行させるプログラム、を有するコンピュータ・プログラム製品を含むことができる。１組の（例えば、少なくとも１つの）プログラム・モジュール７９を有するプログラム／ユーティリティ７８は、メモリ７４内にストアすることができる。プログラム・モジュール７９は一般に、マルチ・テナント型ＥＴＬシステム３００の処理リソースを共有するための、提案される実施形態の機能若しくは方法又はそれら両方を実行する。

コンピュータ・システム／サーバ７０は、さらに、キーボード、ポインティング・デバイス、ディスプレイ８５などの１つ又は複数の外部デバイス８０、ユーザがコンピュータ・システム／サーバ７０と相互作用することを可能にする１つ又は複数のデバイス、若しくは、コンピュータ・システム／サーバ７０が１つ又は複数の他のコンピューティング・デバイスと通信することを可能にするいずれかのデバイス（例えば、ネットワーク・カード、モデムなど）、或いはそれら全てと通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース７２を介して行うことができる。さらに、コンピュータ・システム／サーバ７０は、ローカル・エリア・ネットワーク（ＬＡＮ）、一般の広域ネットワーク（ＷＡＮ）、若しくはパブリック・ネットワーク（例えば、インターネット）又はそれらのような１つ又は複数のネットワークと、ネットワーク・アダプタ７３を介して通信することができる（例えば、決定された開発ルールを分散ネットワークのデバイスに伝えるため）。

本出願の文脈において、本発明の実施形態が方法を構成する場合、そのような方法は、コンピュータによる実行のためのプロセス、即ち、コンピュータ実施可能な方法であることを理解されたい。従って、方法のステップは、コンピュータ・プログラムの種々の部分、例えば、１つ又は複数のアルゴリズムの部分を反映する。

本発明は、システム、方法、もしくはコンピュータ・プログラム製品又はそれらの組み合わせとすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体（単数又は複数）を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの：すなわち、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、ストレージ・クラス・メモリ（ＳＣＭ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、パンチカードもしくは命令がそこに記録された溝内の***構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管もしくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバケーブルを通る光パルス）、又はワイヤを通って送られる電気信号などの、一時的信号自体として解釈されない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくは無線ネットワーク又はその組み合わせなどのネットワークを介して外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジサーバ又はその組み合わせを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体内に格納するためにコンピュータ可読プログラム命令を転送する。

本発明のオペレーションを実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｓｍａｌｌｔａｌｋ、Ｐｙｔｈｏｎ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語、又は類似のプログラミング言語などの通常の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせで記述されるソース・コード又はオブジェクト・コードとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータもしくはサーバ上で実行される場合もある。最後のシナリオにおいて、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある（例えば、インターネットサービスプロバイダを用いたインターネットを通じて）。

幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を用いて、電子回路を個別化することによりコンピュータ可読プログラム命令を実行し、本発明の態様を実施することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート図もしくはブロック図又はその両方を参照して説明される。フローチャート図もしくはブロック図又はその両方の各ブロック、並びにフローチャート図もしくはブロック図又はその両方内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されるであろう。これらのコンピュータ可読プログラム命令を、コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロック内で指定された機能／動作を実施するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令はまた、コンピュータ、プログラム可能データ処理装置、もしくは他のデバイス又はそれらの組み合わせを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、その中に格納された命令を有するコンピュー可読媒体が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を含むようにすることもできる。

コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連のオペレーション・ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生成し、それにより、コンピュータ、他のプログラム可能装置、又は他のデバイス上で実行される命令が、フローチャートもしくはブロック図又はその両方の１つ又は複数のブロックにおいて指定された機能／動作を実施するようにすることもできる。

図面内のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及びオペレーションを示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実施するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される２つのブロックは、関与する機能に応じて、実際には１つのステップとして同時に、実質的に同時に、部分的に又は完全に時間的に重なる様式で達成されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図もしくはフローチャート図又はその両方の各ブロック、及びブロック図もしくはフローチャート図又はその両方内のブロックの組み合わせは、指定された機能又はオペレーションを実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実施できることにも留意されたい。

本開示の種々の実施形態の説明は、例証目的のために提示されたが、これらは、網羅的であること、又は開示されたた実施形態に限定することを意図するものではない。当業者には、説明される実施形態の範囲から逸脱することなく、多くの修正及び変形が明らかであろう。本明細書で用いられる用語は、実施形態の原理、実際の適用、又は市場に見られる技術に優る技術的改善を最もよく説明するため、又は、当業者が、本明細書に開示される実施形態を理解するのを可能にするために選択された。

Claims (20)

1. マルチ・テナント型抽出・変換・ロード（ＥＴＬ）システムの処理リソースを共有するためのコンピュータ実施の方法であって、
   １つ又は複数のプロセッサにより、前記マルチ・テナント型ＥＴＬシステムの全作業負荷を決定することと、
   前記１つ又は複数のプロセッサにより、テナントに関連付けられる、キューに入れられた作業負荷を決定することと、
   前記１つ又は複数のプロセッサにより、前記全作業負荷及び前記キューに入れられた作業負荷に基づいて、前記テナントによって要求された作業の前記マルチ・テナント型ＥＴＬシステムの作業負荷への追加を遅延させることと、
   を含む方法。
2. 前記１つ又は複数のプロセッサにより、前記キューに入れられた作業負荷に基づいて、前記テナントについての関連する遅延係数を計算することをさらに含み、
   前記遅延させることは、前記テナントに関連する前記遅延係数に基づいて、前記テナントによって要求された作業に対する遅延を導入することをさらに含む、
   請求項１に記載の方法。
3. 前記テナントに関連付けられる前記キューに入れられた作業負荷に基づいて、関連する遅延係数を計算することは、前記テナントに関連付けられる前記キューに入れられた作業負荷が所定の閾値より小さい場合に、前記遅延係数を所定のデフォルト値に等しくなるように計算することを含む、請求項２に記載の方法。
4. 前記マルチ・テナント型ＥＴＬシステムの前記全作業負荷を監視して、前記全作業負荷の変化を検出することと、
   検出された前記全作業負荷の変化に応じて、前記遅延係数を修正することと、
   をさらに含む、請求項３に記載の方法。
5. 前記テナントに関連付けられる前記キューに入れられた作業負荷に基づいて、関連する遅延係数を計算することは、前記テナントに関連付けられる前記キューに入れられた作業負荷に直接比例するように前記遅延係数を計算することを含む、請求項３に記載の方法。
6. 前記マルチ・テナント型ＥＴＬシステムの全作業負荷を決定することは、
   前記マルチ・テナント型ＥＴＬシステムのテナントについてキューに入れられた作業の総量、及び
   前記マルチ・テナント型ＥＴＬシステムにおける現在の遅延の値
   のうちの少なくとも１つを測定することを含む、請求項１に記載の方法。
7. テナントに関連付けられる、キューに入れられた作業負荷を決定することは、
   前記テナントについて実行中のプロセスの数、
   前記テナントについてキューに入れられた作業の量、
   前記テナントについてアクティブな作業の同時ストリームの数、及び
   前記テナントについて現在登録されている処理要求の数
   のうちの少なくとも１つを測定することを含む、請求項１に記載の方法。
8. 具体化されたプログラム命令を有するコンピュータ可読ストレージ媒体を備えるコンピュータ・プログラム製品であって、前記プログラム命令は、処理ユニットによって実行可能であり、コンピュータ・ネットワーク上で実行されるとき、前記処理ユニットに、マルチ・テナント型抽出・変換・ロード（ＥＴＬ）システムの処理リソースを共有するための方法を行わせ、前記方法は、
   前記マルチ・テナント型ＥＴＬシステムの全作業負荷を決定するステップと、
   テナントに関連付けられる、キューに入れられた作業負荷を決定するステップと、
   前記全作業負荷及び前記キューに入れられた作業負荷に基づいて、前記テナントによって要求された作業の前記マルチ・テナント型ＥＴＬシステムの作業負荷への追加を遅延させるステップと、
   を含む、
   コンピュータ・プログラム製品。
9. １つ又は複数のプロセッサにより、前記キューに入れられた作業負荷に基づいて、前記テナントについての関連する遅延係数を計算することをさらに含み、
   前記遅延させることは、前記テナントに関連する前記遅延係数に基づいて、前記テナントによって要求された作業に対する遅延を導入することをさらに含む、
   請求項８に記載のコンピュータ・プログラム製品。
10. 前記テナントに関連付けられる前記キューに入れられた作業負荷に基づいて、関連する遅延係数を計算することは、前記テナントに関連付けられる前記キューに入れられた作業負荷が所定の閾値より小さい場合に、前記遅延係数を所定のデフォルト値に等しくなるように計算することを含む、請求項９に記載のコンピュータ・プログラム製品。
11. 前記マルチ・テナント型ＥＴＬシステムの前記全作業負荷を監視して、前記全作業負荷の変化を検出することと、
    検出された前記全作業負荷の変化に応じて、前記遅延係数を修正することと、
    をさらに含む、請求項１０に記載のコンピュータ・プログラム製品。
12. 前記テナントに関連付けられる前記キューに入れられた作業負荷に基づいて、関連する遅延係数を計算することは、前記テナントに関連付けられる前記キューに入れられた作業負荷に直接比例するように前記遅延係数を計算することを含む、請求項１０に記載のコンピュータ・プログラム製品。
13. テナントに関連付けられる、キューに入れられた作業負荷を決定することは、
    前記テナントについて実行中のプロセスの数、
    前記テナントについてキューに入れられた作業の量、
    前記テナントについてアクティブな作業の同時ストリームの数、及び
    前記テナントについて現在登録されている処理要求の数、
    のうちの少なくとも１つを測定することを含む、請求項８に記載のコンピュータ・プログラム製品。
14. マルチ・テナント型抽出・変換・ロード（ＥＴＬ）システムの処理リソースを共有するためのシステムであって、
    前記マルチ・テナント型ＥＴＬシステムの全作業負荷を決定するように構成された作業負荷コンポーネントと、
    テナントに関連付けられる、キューに入れられた作業負荷を決定するように構成された分析コンポーネントと、
    前記全作業負荷及び前記キューに入れられた作業負荷に基づいて、前記テナントによって要求された作業の前記マルチ・テナント型ＥＴＬシステムの作業負荷への追加を遅延させるように構成された遅延コンポーネントと、
    を含む、システム。
15. 前記キューに入れられた作業負荷に基づいて、前記テナントについての関連する遅延係数を計算するように構成されたプロセッサをさらに備え、
    前記遅延コンポーネントは、前記テナントに関連する前記遅延係数に基づいて、前記テナントによって要求された作業に対する遅延を導入するようにさらに構成される、
    請求項１４に記載のシステム。
16. 前記プロセッサは、前記テナントに関連付けられる前記キューに入れられた作業負荷が所定の閾値より小さい場合に、前記遅延係数を所定のデフォルト値に等しくなるように計算するようにさらに構成される、請求項１５に記載のシステム。
17. 前記マルチ・テナント型ＥＴＬシステムの前記全作業負荷を監視して、前記全作業負荷の変化を検出するように構成されたモニタ・コンポーネントをさらに備え、
    前記プロセッサは、検出された前記全作業負荷の変化に応じて、前記遅延係数を修正するようにさらに構成される、
    請求項１６に記載のシステム。
18. 前記プロセッサは、前記テナントに関連付けられる前記キューに入れられた作業負荷に直接比例するように前記遅延係数を計算するようにさらに構成される、請求項１６に記載のシステム。
19. 前記作業負荷コンポーネントは、
    前記マルチ・テナント型ＥＴＬシステムのテナントについてキューに入れられた作業の総量、及び
    前記マルチ・テナント型ＥＴＬシステムにおける現在の遅延の値、
    のうちの少なくとも１つを測定するようにさらに構成される、請求項１４に記載のシステム。
20. 前記分析コンポーネントは、
    前記テナントについて実行中のプロセスの数、
    前記テナントについてキューに入れられた作業の量、
    前記テナントについてアクティブな作業の同時ストリームの数、及び
    前記テナントについて現在登録されている処理要求の数
    のうちの少なくとも１つを測定するようにさらに構成される、請求項１４に記載のシステム。

Images