JP6835444B2 - ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法 - Google Patents

ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法 Download PDF

Info

Publication number
JP6835444B2
JP6835444B2 JP2017534615A JP2017534615A JP6835444B2 JP 6835444 B2 JP6835444 B2 JP 6835444B2 JP 2017534615 A JP2017534615 A JP 2017534615A JP 2017534615 A JP2017534615 A JP 2017534615A JP 6835444 B2 JP6835444 B2 JP 6835444B2
Authority
JP
Japan
Prior art keywords
virtual machine
traffic
sdn controller
service cluster
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017534615A
Other languages
English (en)
Other versions
JP2018504038A (ja
Inventor
ウー、チエ
ツオ、シャオフー
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2018504038A publication Critical patent/JP2018504038A/ja
Application granted granted Critical
Publication of JP6835444B2 publication Critical patent/JP6835444B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0895—Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • H04L47/762—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions triggered by the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0836—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability to enhance reliability, e.g. reduce downtime
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H04L41/122—Discovery or management of network topologies of virtualised topologies, e.g. software-defined networks [SDN] or network function virtualisation [NFV]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/64—Routing or path finding of packets in data switching networks using an overlay routing layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/78—Architectures of resource allocation
    • H04L47/781—Centralised allocation of resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/70—Virtual switches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0894—Policy-based network configuration management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/822—Collecting or measuring resource availability data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明はＩＴ技術に関し、具体的には、ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法に関する。
クラウドには、一般的に３つの展開モデルがある。つまり、パブリッククラウド（Ｐｕｂｌｉｃ Ｃｌｏｕｄ：いくつかの企業が所有、運営し、コンピューティングリソースへの迅速なアクセスを別の組織又は個人に対して適正価格で提供する）、プライベートクラウド（Ｐｒｉｖａｔｅ Ｃｌｏｕｄ：単一の企業又は個人が所有する）、及びハイブリッドクラウド（Ｈｙｂｒｉｄ Ｃｌｏｕｄ：プライベートクラウドに基づき、戦略的なレベルでパブリッククラウドサービスと組み合わせる）である。仮想プライベートクラウド（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｃｌｏｕｄ：ＶＰＣ）は、パブリッククラウドが提供する共有コンピューティングリソースに基づいて確立された動的な構成プールである。パブリッククラウドでは、全てのＶＰＣは互いに分離され、テナントがＶＰＣの要求に応じて様々な仮想化リソースを求めることができる。テナントは、パブリックネットワークのＩＰアドレスを用いて、ＶＰＣをパブリックネットワークに接続することができ、あるいは仮想プライベートネットワーク（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ：ＶＰＮ）を用いて、ＶＰＣを従来型のＤＣ（Ｄａｔａ Ｃｅｎｔｅｒ：ＤＣ）に接続することができる。
ソフトウェア定義型ネットワーキング（Ｓｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｎｅｔｗｏｒｋｉｎｇ：ＳＤＮ）は、スタンフォード大学（米国）のクリーンスレートリサーチグループによって提唱されたネットワーク設計コンセプトである。核となる概念は、制御プレーンをネットワークデバイスのデータプレーンから分離し、ネットワーク制御権限を集中化し、オープンなプログラマブルインタフェースを提供することである。ＳＤＮコントローラは、リソースの仮想化を実装するために、良く知られたＯｐｅｎＦｌｏｗプロトコルなどの標準的なサウスバウンドインタフェースを用いて、最下層の物理転送デバイス間の差異をシールドし、上位層のサービスがネットワーク構成を実行し、要求に応じてネットワークリソースを呼び出すために柔軟なノースバウンドインタフェースを提供する。
ＳＤＮ技術及び仮想化技術を用いて確立されたデータセンターは、ソフトウェア定義型データセンター（Ｓｏｆｔｗａｒｅｓ Ｄｅｆｉｎｅｄ Ｄａｔａ Ｃｅｎｔｅｒ：ＳＤＤＣ）と呼ばれ、データセンターのネットワークは、ソフトウェア定義型データセンターネットワーク（Ｓｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｄａｔａ Ｃｅｎｔｅｒ Ｎｅｔｗｏｒｋ：ＳＤＤＣＮ）である。
従来のデータセンターでは、効率的で信頼できるセキュアで安定したサービスをユーザに提供するために、複数の同等のサーバが、サービスを提供し得るサーバクラスタを構成する。サーバクラスタは、サーバクラスタ内の全てのサーバの間に負荷分散を実装するために、負荷分散技術を用いて、全てのサーバの間でサービストラフィックを均等に共有し、サーバクラスタ内のサーバ群に要求を一様に割り当てる。現在のソフトウェア定義型データセンターＳＤＤＣでは、既存の技術を用いてＳＤＤＣＮ内に負荷分散装置を確立することができ、負荷分散装置はサーバクラスタ内のサービングノードにタスクを割り当てる。しかし、ＳＤＤＣでは、テナントが負荷分散装置クラスタを柔軟に構成することができ（例えば、仮想マシンを用いて実装される）、ＶＰＣのサービスクラスタはこの解決手法では考慮されないという特性は、サービスクラスタにおいて柔軟性のないサービングノードのスケジューリングを引き起こす。
本発明の実施形態は、クラウド環境に、より適した柔軟なサービスクラスタ管理方式を提供するために、ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法を提供する。
第１の態様によれば、本出願はソフトウェア定義型データセンターにおいてサービスクラスタスケジューリング方法を提供し、ソフトウェア定義型データセンターはＳＤＮコントローラと複数のエッジスイッチとを含み、複数のエッジスイッチはＳＤＮコントローラに通信可能に接続され、サービスクラスタがソフトウェア定義型データセンターに展開され、少なくとも２つのオンライン仮想マシンがサービスクラスタのサービングノードとして用いられ、少なくとも２つのオンライン仮想マシンのＩＰアドレスが共有ＩＰアドレスとして設定される。スケジューリング方法は、ＳＤＮコントローラが第２のエッジスイッチにより報告されたユーザのサービス要求パケットを受信する段階であって、第２のエッジスイッチはユーザがアクセスするエッジスイッチである、受信する段階と、サービス要求パケット内の宛先ＩＰアドレス情報に従って、サービス要求パケットに対応するサービスクラスタを判定する段階と、ＳＤＮコントローラが負荷分散ポリシに従って、サービスクラスタ内のオンライン仮想マシンからターゲット仮想マシンを選択する段階であって、ターゲット仮想マシンはユーザにサービスを提供するよう構成される、選択する段階と、ＳＤＮコントローラがターゲット仮想マシンとユーザとの間の転送情報を決定し、転送情報に従って、第１の転送フローテーブルと第２の転送フローテーブルとを生成する段階であって、第１の転送フローテーブルは、ターゲット仮想マシンのエッジスイッチがパケットを転送するのに用いられ、第２の転送フローテーブルは、第２のエッジスイッチがパケットを転送するのに用いられる、生成する段階と、ＳＤＮコントローラが第１の転送フローテーブルをターゲット仮想マシンのエッジスイッチに送出し、第２の転送フローテーブルを第２のエッジスイッチに送出する段階とを含む。
上述のスケジューリング方法を用いることで、ＬＢｅｒ又はＬＢｅｒクラスタが別々に確立され、ＳＤＮコントローラはＬＢｅｒの機能を実装するのに用いられる。ＳＤＤＣＮネットワークの核として、ＳＤＮコントローラは、比較的強力な能力を備えて構成される。本発明のこの実施形態では、ＳＤＮコントローラはＬＢｅｒとして用いられる。ＳＤＮの動的拡張能力が制御層で多重化されることができ、ＳＤＮネットワークのネットワークリソースはネットワーク転送層で多重化されることができる。実装の複雑性は低く、投資コストは低い。さらに、ＳＤＮコントローラはＬＢｅｒとして用いられ、これにより、転送経路が長く転送効率が低いという従来技術の問題を回避する。なぜなら、別個のＬＢｅｒが用いられる場合、ユーザトラフィックは常にＬＢｅｒにルーティングされ、その後サービングノードに転送又は再ルーティングされるからである。ユーザトラフィックは、ＳＤＮネットワークの入り口でエッジスイッチに分配され、ＳＤＮコントローラは最適経路を選択する。転送経路は短く、転送効率は高い。
第１の態様の実装方式では、ＳＤＮコントローラは、サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を取得し、最小リソース負荷又は最小トラフィック負荷を有する仮想マシンをターゲット仮想マシンとして選択する。
ＳＤＮコントローラは、サービスクラスタ内のオンライン仮想マシンに対して負荷監視を実行して、負荷監視結果を定期的に取得することが好ましく、負荷監視には、リソース負荷監視又はトラフィック負荷監視が含まれる。ＳＤＮコントローラは、サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を負荷監視結果から取得する。
上述の実装方式では、ＳＤＮコントローラは、より適したターゲット仮想マシンを選択するために、サービスクラスタのリソース又はトラフィックの状態をアクティブに監視し、監視したリアルタイムの情報に従って、負荷分散ポリシをいつ実行するかを決定する。
第２の態様によれば、本出願はソフトウェア定義型データセンターにおけるサービスクラスタトラフィック監視方法を提供し、ソフトウェア定義型データセンターはＳＤＮコントローラと複数のエッジスイッチとを含み、複数のエッジスイッチはＳＤＮコントローラに通信可能に接続され、サービスクラスタがソフトウェア定義型データセンターにさらに展開され、少なくとも２つのオンライン仮想マシンがサービスクラスタのサービングノードとして用いられ、少なくとも２つのオンライン仮想マシンのＩＰアドレスが共有ＩＰアドレスとして設定される。本方法は、ＳＤＮコントローラがサービスクラスタ内の各オンライン仮想マシンのエッジスイッチにトラフィック統計データ抽出要求を定期的に送出する段階と、ＳＤＮコントローラが各オンライン仮想マシンのエッジスイッチによりフィードバックされるＴ１時点におけるトラフィック統計データ及びＴ２時点におけるトラフィック統計データを別々に受信する段階と、ＳＤＮコントローラが各オンライン仮想マシンのエッジスイッチのＴ１時点におけるトラフィック統計データとＴ２時点におけるトラフィック統計データとの間の差異に従って、各オンライン仮想マシンのトラフィック負荷情報を取得する段階とを含む。
トラフィック監視方法を用いることで、本発明において提供されるＳＤＮコントローラは、各サービングノードのトラフィック負荷の状態に従って、ユーザにサービスを提供する適切なサービングノードを選択するために、サービスクラスタ内のサービングノードに関するリアルタイムのトラフィック状態を取得することができ、又は各サービングノードのトラフィック負荷の状態に従って、サービスクラスタのキャパシティ拡大又はキャパシティ縮小の操作を実行することができる。
第３の態様によれば、本出願はソフトウェア定義型データセンターを提供し、ソフトウェア定義型データセンターはＳＤＮコントローラと複数のエッジスイッチとを含み、複数のエッジスイッチはＳＤＮコントローラに通信可能に接続され、サービスクラスタがソフトウェア定義型データセンターに展開され、少なくとも２つのオンライン仮想マシンがサービスクラスタのサービングノードとして用いられ、少なくとも２つのオンライン仮想マシンのＩＰアドレスが共有ＩＰアドレスとして設定される。複数のエッジスイッチはＳＤＮコントローラにパケット転送情報を要求し、ＳＤＮコントローラが送出した転送フローテーブルに従ってパケットを転送するよう構成され、ＳＤＮコントローラは第２の態様のサービスクラスタスケジューリング方法を実装するよう構成される。
第４の態様によれば、本出願はソフトウェア定義型データセンターを提供し、ソフトウェア定義型データセンターはＳＤＮコントローラと複数のエッジスイッチとを含み、複数のエッジスイッチはＳＤＮコントローラに通信可能に接続され、サービスクラスタがソフトウェア定義型データセンターに展開され、少なくとも２つのオンライン仮想マシンがサービスクラスタのサービングノードとして用いられ、少なくとも２つのオンライン仮想マシンのＩＰアドレスが共有ＩＰアドレスとして設定される。複数のエッジスイッチはＳＤＮコントローラにパケット転送情報を要求し、ＳＤＮコントローラが送出した転送フローテーブルに従ってパケットを転送するよう構成され、ＳＤＮコントローラは第３の態様のサービスクラスタトラフィック監視方法を実装するよう構成される。
第５の態様によれば、本出願はコンピューティングデバイスを提供し、コンピューティングデバイスは、プロセッサと、メモリと、バスと、通信インタフェースとを含む。メモリは実行命令を格納するよう構成され、プロセッサ及びメモリはバスを用いて接続され、コンピューティングデバイスが動作すると、プロセッサはメモリに格納された実行命令を実行し、その結果、デバイスは第２の態様のサービスクラスタスケジューリング方法を実行する。
第６の態様によれば、本出願はコンピューティングデバイスを提供し、コンピューティングデバイスは、プロセッサと、メモリと、バスと、通信インタフェースとを含む。メモリは実行命令を格納するよう構成され、プロセッサ及びメモリはバスを用いて接続され、コンピューティングデバイスが動作すると、プロセッサはメモリに格納された実行命令を実行し、その結果、デバイスは第３の態様のサービスクラスタトラフィック監視方法を実行する。
それに応じて、この実施形態は対応するコンピュータ可読媒体をさらに提供する。コンピュータ可読媒体は、サービスクラスタ展開、スケジューリング、又はトラフィック監視方法のうちいずれか１つをコンピュータが実行することを可能にするコンピュータ実行可能命令を格納するよう構成される。
本出願では、ＳＤＮコントローラがＬＢｅｒとして用いられ、ＳＤＮの動的拡張能力は制御層で多重化されることができ、ＳＤＮネットワークにネットワークリソースはネットワーク転送層で多重化されることができる。実装の複雑性は低く、投資コストは低い。さらに、ＳＤＮコントローラはＬＢｅｒとして用いられ、これにより、転送経路が長く転送効率が低いという従来技術の問題を回避する。なぜなら、別個のＬＢｅｒが用いられる場合、ユーザトラフィックは常にＬＢｅｒにルーティングされ、その後サービングノードに転送又は再ルーティングされるからである。ユーザトラフィックは、ＳＤＮネットワークの入り口でエッジスイッチに分配され、ＳＤＮコントローラは最適経路を選択する。転送経路は短く、転送効率は高い。
本発明の実施形態において技術的解決手法をより明確に説明するために、以下では実施形態を説明するのに必要な添付図面を簡潔に説明する。以下の説明における添付図面は本発明のいくつかの実施形態を示しており、当業者は創造的努力をせずにこれらの添付図面から他の図面をさらに導出できることは明らかである。
本発明のある実施形態によるソフトウェア定義型データセンターの概略構造図である。
本発明のある実施形態による別のソフトウェア定義型データセンターの概略構造図である。
本発明のある実施形態による、新たなオンライン仮想マシンの識別に関する概略フローチャートである。
本発明のある実施形態による、ＡＲＰパケットのフォーマット構成の概略図である。
本発明のある実施形態による、サービスクラスタのトラフィック分配の概略フローチャートである。
本発明のある実施形態による汎用コンピューティングデバイスの概略構造図である。
以下では、本発明の実施形態における技術的解決手法を、本発明の実施形態における添付図面を参照して明確且つ十分に説明する。説明される実施形態は、本発明の実施形態の一部であって全てではないことは明らかである。
本発明の詳細な説明を容易にするために、本発明に関わるコンセプトがまず以下に説明される。
テナントネットワーク：ＳＤＤＣにおいてテナントが確立したネットワーク。一般的に、テナントネットワークはＶＰＣに対応する。
サービスクラスタ：同じサービスをユーザに提供するサービングノード群から構成されるクラスタ。
サービングノード及び仮想マシン：サービングノードはサービスクラスタにおいてサービスを提供するノードを指し、仮想マシンはクラウド環境において仮想化によって得られるノードである。本発明の実施形態では、サービングノードは仮想マシンを用いることで実装されるが、ＳＤＤＣにおける全ての仮想マシンがサービングノードを実装するよう構成されるわけではない。別のサービスを実行する仮想マシンが存在してもよい。
静的仮想マシン：クラウド管理プラットフォームにより、静的設定情報を用いて構成される仮想マシン。仮想マシンはオンライン化されない、つまり仮想マシンはエッジスイッチに接続されない。
オンライン仮想マシン：アクティブ状態の仮想マシンを表す。オンライン仮想マシンは、オペレーションを実行することができ、別の関連デバイスと通信することができる。
仮想マシンのオンライン化：仮想マシンがアクティブ状態に入った場合に起こる関連動作又はイベントを表す。
共有ＩＰアドレス：同じサービスクラスタに属するサービングノード群が共有ＩＰアドレスとして設定される。共有ＩＰアドレスは同じＩＰアドレスであってよく、又は複数の異なるＩＰアドレスのセットであってよい。ＩＰアドレスのセットは、サービスクラスタ内のサービングノードにより共有される。例えば、サービスクラスタ内の全てのサービングノードのＩＰアドレスがＩＰ１として設定されると、ＩＰ１は共有ＩＰアドレスである。別の例では、サービスクラスタにおける共有ＩＰアドレスがＩＰ１及びＩＰ２であると、サービスクラスタ内のサービングノードのＩＰアドレスがＩＰ１又はＩＰ２として設定されてもよい。
図１は、本発明において例示されるクラウドデータセンターの構成図である。図１において、インフラストラクチャ層１には、コンピューティングデバイス、ストレージデバイス、物理スイッチングデバイスなど、クラウドデータセンターを構成するハードウェア装置が含まれる。ハードウェア装置は、単一タイプの専用デバイスであってよく、又はコンピューティング、ストレージ、及びスイッチングを統合した統合デバイスであってもよい。インフラストラクチャ層１内の物理スイッチングデバイスは、指定されたアーキテクチャに従ってネットワークを形成し、ネットワークコア領域を形成する。仮想スイッチはネットワークコア領域において仮想化されることができる。仮想スイッチは、ネットワークコア領域を越えた先にネットワークエッジ領域を形成する。コア領域及びエッジ領域におけるスイッチングデバイスは相互接続され、ＳＤＤＣインフラストラクチャネットワークを共同で構成する。インフラストラクチャ層１のリソースは、仮想化層２により仮想化された後に、仮想マシン（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：仮想マシン）を派生することができる。仮想マシンは、ネットワークにアクセスするために、仮想スイッチにアクセスする。図１に示されるように、仮想マシン６１、仮想マシン６２、仮想マシン７１、仮想マシン７２、及び仮想マシン７３が仮想マシンであり、エッジスイッチ５１、５２、５３、５４、及び５５が仮想スイッチである。
仮想スイッチはＳＤＤＣＮネットワークを形成する。ＳＤＤＣＮネットワークはＳＤＮネットワークであり、ＳＤＮコントローラ３０を含む。エッジスイッチ５１〜５５は、ＳＤＮコントローラ３０の命令に従ってパケットを交換する。ＳＤＮコントローラ３０はさらに、図１のテナントネットワーク３１及びテナントネットワーク３２など、一連のネットワークインフラストラクチャ上の複数のテナントネットワーク（又はＶＰＣと呼ばれることもある）をカスタマイズすることができる。全てのテナントネットワークは互いに論理的に分離されている。各テナントは仮想マシンを展開し、アプリケーションソフトウェアをインストールし、排他的なテナントネットワーク内のユーザにサービスを公開することができる。可用性と性能を考慮すると、テナントはさらに、サービスに関してマルチポイント展開を実行してサービスクラスタを構築することができ、全てのサービングノードは同種のサービスを外部に提供する。図１に示されるように、テナントネットワーク３１はサービスクラスタ７を画定する。ＳＤＤＣネットワークはまた、図１の外部ネットワーク４などの外部ネットワークと相互に作用することができる。ユーザ６３は、外部ネットワーク４を用いて、ＳＤＤＣ内のユーザ又はサービスに接続する。
クラウド環境では、ＬＢ負荷分散装置（Ｌｏａｄ Ｂａｌａｎｃｅｒ：ＬＢｅｒ）の担い手は仮想マシンである。各仮想マシンの単体の性能は限られている。テナントネットワークＶＰＣにおいて負荷分散のスケジューリング能力を保証し、サービスクラスタにおいて直線的に増加する必要条件を満たすために、一般的に複数の仮想マシンがＬＢｅｒクラスタを構築するのに用いられる必要がある。継続的に調整されるＬＢｅｒクラスタの場合、ＬＢｅｒ間の同期の一貫性及び適時性がサービスのオンライン化レートに影響を及ぼす可能性がある。その一方で、クラウド環境におけるサービスクラスタ構成は柔軟である。テナントはサービスクラスタをいつでも柔軟に構成することができ、キャパシティ拡大及びキャパシティ縮小は比較的頻繁に行われる。サービスクラスタの確立、キャパシティ拡大、キャパシティ縮小、及び削除は、テナントの手動による介入を必要とし、柔軟性が不十分である。
上述の問題を解決するために、本発明のこの実施形態は、図１のＳＤＮコントローラ３０などのＳＤＮコントローラがＬＢｅｒのスケジューリング機能及び決定機能を実装するのに用いられ、ＳＤＮコントローラは、同じサービスクラスタ内のサービングノードの同じＩＰアドレス又は共有ＩＰアドレスに従って、サービスクラスタに対して自動化された管理を実行するという技術的解決手法を提供する。第１に、本発明のこの実施形態では、ＬＢｅｒ又はＬＢｅｒクラスタが別々に確立されるのではなく、ＳＤＮコントローラがＬＢｅｒのスケジューリング機能及び決定機能を実装するのに用いられる。第２に、サービスクラスタ内の全てのノードが共有ＩＰアドレスとして設定される。ＳＤＮコントローラは、テナントネットワーク内のＩＰアドレスの競合をキャプチャし、共有ＩＰアドレスを識別して共有ＩＰアドレスに基づいてサービスクラスタを管理し、メディアアクセス制御（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ：ＭＡＣ）アドレスを用いてサービスクラスタ内の異なるサービングノードを区別する。さらに、ＳＤＮコントローラはサービングノードのＬＢ原理に従い、パケット転送フローテーブルをカスタマイズして、ユーザトラフィックを特定のサービングノードに送信するようスイッチに命令する。スイッチは、ＳＤＮコントローラが送出した転送フローテーブルを受信し、転送フローテーブルの命令に従ってトラフィックを分配する。
ＳＤＤＣＮネットワークの核として、ＳＤＮコントローラは、比較的強力な能力を備えて構成される。本発明のこの実施形態では、ＳＤＮコントローラはＬＢｅｒのスケジューリング機能及び決定機能を実装するのに用いられる。ＳＤＮの動的拡張能力は制御層で多重化されることができ、ＳＤＮネットワークのネットワークリソースはネットワーク転送層で多重化されることができる。実装の複雑性は低く、投資コストは低い。そのほかに、ＳＤＮコントローラは共有ＩＰアドレスを用いてクラスタを管理し、ＳＤＮコントローラは、サービスクラスタの確立、キャパシティ拡大、キャパシティ縮小、及び削除を、テナントの手動による介入を必要とすることなく自動的に完了し、テナント体験は良好である。さらに、ＳＤＮコントローラはＬＢｅｒとして用いられ、これにより、転送経路が長く転送効率が低いという従来技術の問題を回避する。なぜなら、別個のＬＢｅｒが用いられる場合、ユーザトラフィックは常にＬＢｅｒにルーティングされ、その後サービングノードに転送又は再ルーティングされるからである。ユーザトラフィックは、ＳＤＮネットワークの入り口でエッジスイッチに分配され、ＳＤＮコントローラは最適経路を選択する。転送経路は短く、転送効率は高い。
以下では、本発明のこの実施形態における特定の実装の細部を特定の実装方式を参照して詳細に説明する。
［サービスクラスタの展開と管理］
本発明のこの実施形態では、ＳＤＮコントローラがサービスクラスタを管理し、その管理には、サービスクラスタの確立、キャパシティ拡大、キャパシティ縮小、及び削除が含まれる。サービスクラスタの管理には、サービスクラスタの健全性チェックがさらに含まれてもよい。
図２を参照すると（図１及び図２においてテナントが構成したエッジスイッチ及びサービスクラスタの状態が異なり、この差異は特定の実装におけるテナント構成状態の多様性を表すためだけに用いられるが、図１及び図２がシステム構成及び方法の実装において本質的な差異を有することを表してはいない）、図２は、同じテナントが確立したサービスクラスタＡ及びサービスクラスタＢを示す。サービスクラスタＡの共有ＩＰアドレスはＩＰ０として設定され、サービスクラスタＢの共有ＩＰアドレスはＩＰ１として設定される。テナントが構成したサービスクラスタＡは３つのサービングノードを含み、サービングノードＡ１のＩＰアドレス及びＭＡＣアドレスはそれぞれ（ＩＰ０、ＭＡＣ１）、サービングノードＡ２のＩＰアドレス及びＭＡＣアドレスはそれぞれ（ＩＰ０、ＭＡＣ２）、サービングノードＡ３のＩＰアドレス及びＭＡＣアドレスはそれぞれ（ＩＰ０、ＭＡＣ３）であると考えられる。サービスクラスタＢは３つのサービングノードを含み、サービングノードＢ１のＩＰアドレス及びＭＡＣアドレスはそれぞれ（ＩＰ１、ＭＡＣ４）、サービングノードＢ２のＩＰアドレス及びＭＡＣアドレスはそれぞれ（ＩＰ１、ＭＡＣ５）、サービングノードＢ３のＩＰアドレス及びＭＡＣアドレスはそれぞれ（ＩＰ１、ＭＡＣ６）である。
ＳＤＮコントローラ３０は共有ＩＰアドレスに従ってテナントのサービスクラスタを管理し、テナントネットワークにおいて共有ＩＰアドレスのサービングノードを識別し、共有ＩＰアドレスのサービングノードに基づいて、サービスクラスタを確立してサービスクラスタのキャパシティを拡大し、サービスクラスタ内の各ノードの健全性ステータスを定期的に検出し、健全性チェック結果に従ってサービスクラスタのキャパシティを縮小する、又はサービスクラスタを削除する。
（１）サービスクラスタの確立又はサービスクラスタのキャパシティ拡大
ＳＤＮコントローラ３０は、サービングノードを（仮想マシンを用いるなどして）サービスクラスタに追加する、又はサービングノードによる新たなサービスクラスタを確立する。それには、仮想マシンがオンラインであり且つ動作していると判定される必要がある。なぜなら、オンラインであり且つ動作している、という状態にない仮想マシンがサービスクラスタに追加され、その仮想マシンはサービスクラスタにおいてタスクを実行するよう構成されているが、オンラインでない場合、サービスクラスタのサービス処理が影響を受けるからである。したがって、ＳＤＮコントローラ３０は、仮想マシンがオンラインで動作している場合、オンラインで動作している仮想マシンをサービスクラスタに追加する必要がある、又は仮想マシンによる新たなサービスクラスタを確立する必要がある。本発明のこの実施形態では、サービングノードはＳＤＤＣ内の仮想マシンを用いて実装される。ネットワークにつながった後に、ＳＤＮコントローラ３０は、ＳＤＤＣ内の各静的仮想マシンの静的設定情報、例えば、各静的仮想マシンが属するテナント及びサブネット、並びにＭＡＣアドレス、ＩＰアドレス、及びゲートウェイなどの情報（これらは仮想マシンのものである）をクラウド管理プラットフォームから取得することができる。しかし、ＳＤＮコントローラ３０は、各静的仮想マシンの実稼働状態が分からず、静的仮想マシンがテナントネットワークのエッジスイッチにアクセスするか直接確認することができない。本発明のこの実施形態は、オンライン仮想マシンを識別するために、ＳＤＮコントローラ３０により用いられる方法を提供する。オンライン仮想マシンを識別した後に、ＳＤＮコントローラ３０はサービスクラスタを確立する、又は確立したサービスクラスタに仮想マシンを追加する。具体的には、ＳＤＮコントローラ３０は、新たなオンライン仮想マシンのエッジスイッチにより送信される仮想マシンのオンライン化イベントを取得する。ＳＤＮコントローラ３０は、新たなオンライン仮想マシンのＭＡＣアドレスを取得し、新たなオンライン仮想マシンのＭＡＣアドレスを、複数の静的仮想マシンから選択した仮想マシン候補のＩＰアドレスと照合し、仮想マシン候補のＭＡＣアドレスが新たなオンライン仮想マシンのＭＡＣアドレスと一致する場合、仮想マシン候補を新たなオンライン仮想マシンとして決定し、新たなオンライン仮想マシンのエッジスイッチを仮想マシン候補にバインドする。ＳＤＮコントローラ３０はさらに、新たなオンライン仮想マシンのＩＰアドレスが共有ＩＰアドレスであるかどうかを識別し、新たなオンライン仮想マシンのＩＰアドレスが共有ＩＰアドレスである場合、共有ＩＰアドレスに対応するサービスクラスタに新たなオンライン仮想マシンを展開する。
本発明のこの実施形態では、ＳＤＮコントローラ３０は、アクティブ識別及びパッシブキャプチャという２つの方式のいずれかでオンライン仮想マシンを識別することができる。ＳＤＮコントローラ３０によるアクティブ識別は、仮想マシンがエッジスイッチにおいて最近オンライン化したことが分かった後に、新たなオンライン仮想マシンを識別するために、ＳＤＮコントローラ３０が、識別要求メッセージを新たなオンライン仮想マシンにアクティブに送信して、仮想マシンのＭＡＣアドレスを取得することであり得る。ＳＤＮコントローラ３０によるパッシブキャプチャは、新たなオンライン仮想マシンを識別するために、ＳＤＮコントローラ３０が新たなオンライン仮想マシンのＭＡＣアドレスをチェックすることであり得る。
図３は、ＳＤＮコントローラ３０による仮想マシンのアクティブな識別の実装フローチャートである（仮想マシンを用いることで、サービングノードが実装される）。Ｓ３１．新たなオンライン仮想マシンが第１のエッジスイッチに接続されている場合（新たなオンライン仮想マシンは、現在のＳＤＤＣ内のテナント用に構成された複数の仮想マシンのうちいずれか１つであり、第１のエッジスイッチは、新たなオンライン仮想マシンへの接続を確立し、ＳＤＤＣネットワーク内の複数のエッジスイッチからなるものであるエッジスイッチである）、ＳＤＮコントローラ３０は、インタフェースアップ（ｉｎｔｅｒｆａｃｅ ＵＰ）イベントなど、第１のエッジスイッチにより送信された仮想マシンのオンライン化イベントを受信する。
Ｓ３２．ＳＤＮコントローラ３０は仮想マシン候補を選択する。
第１のエッジスイッチのインタフェース報告イベントを受信した後に、ＳＤＮコントローラ３０は、仮想マシンのオンライン化イベントが発生したと判定し、また複数の静的に構成された仮想マシン（その静的設定情報はＳＤＮコントローラ３０に格納されている）のうちどれが、新たなオンライン仮想マシンであるかをさらに判定する必要がある。この実施形態では、ＳＤＮコントローラ３０はまず、静的に構成された仮想マシン（その静的設定情報はＳＤＮコントローラ３０に格納されている）から仮想マシン候補を選択する（ＳＤＮコントローラ３０が選択した仮想マシン候補は、仮想マシン候補セットを構成し、仮想マシン候補セットには、１つ又は少なくとも２つの仮想マシン候補が含まれ、本発明のこの実施形態は、仮想マシン候補セットには１つの仮想マシン候補が含まれる可能性があるという特別なシナリオを提供する）。仮想マシン候補を選択する目的は、仮想マシン候補が新たなオンライン仮想マシンであるかどうかを検証することである。検証の精度を保証するために、選択した仮想マシン候補セットの範囲は、ＳＤＮコントローラ上に静的に構成された全ての仮想マシンであってよい。選択した仮想マシン候補はさらに選別されてよく、例えば、特定のエッジスイッチにバインドされた仮想マシンが、静的に構成された全ての仮想マシンから除去される。ある特定の選択方式は次の通りである。ＳＤＮコントローラ３０はまず、特定のエッジスイッチにバインドされていない静的に構成された仮想マシンのセットを決定し、ＳＤＮコントローラ３０が新たなオンライン仮想マシンの識別を完了するまで、決定したセット内の静的に構成された仮想マシンを１つ１つ選択する。
Ｓ３３．ＳＤＮコントローラ３０は仮想マシン候補のゲートウェイをシミュレートして、新たなオンライン仮想マシンに識別要求メッセージを送信する。識別要求メッセージは、新たなオンライン仮想マシンに、そのＭＡＣアドレスを報告するよう命令するのに用いられる。
識別要求メッセージの１つの特定の実装方式は、アドレス解決プロトコル（Ａｄｒｅｓｓ Ｒｅｓｏｌｕｔｉｏｎ Ｐｒｏｔｏｃｏｌ：ＡＲＰ）要求を用いている。ＡＲＰ要求は、仮想マシン候補のゲートウェイをシミュレートすることで、ＳＤＮコントローラ３０により送信される。ＡＲＰ要求の目的は、仮想マシン候補に、そのメディアアクセス制御（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ：ＭＡＣ）アドレスを報告するよう要求することである。
図４は、イーサネット（登録商標）に基づくＡＲＰパケットのフォーマット構成の概略図である。ＡＲＰデータパケットには２つの部分があり、最初の部分がイーサネット（登録商標）ヘッダ、２番目の部分がＡＲＰ要求／応答部である。この実施形態において、仮想マシン候補のゲートウェイをシミュレートすることでＳＤＮコントローラ３０により構築されるＡＲＰ要求パケットのイーサネット（登録商標）ヘッダ内の宛先ＭＡＣアドレスには、ＦＦ：ＦＦ：ＦＦ：ＦＦ：ＦＦ：ＦＦが書き込まれる。これは、ＡＲＰパケットがブロードキャストの形態で送信されることを表す。ＡＲＰ要求パケットのイーサネット（登録商標）ヘッダ内の送信元ＭＡＣアドレスには、仮想マシン候補のゲートウェイのＭＡＣアドレスが書き込まれる。これは、ＡＲＰ要求パケットの最初のホップが仮想マシン候補のゲートウェイを介して送信されることを表す。ＡＲＰ要求パケットのＡＲＰ要求部の送信元ＩＰアドレス及び送信元ＭＡＣアドレスには、仮想マシン候補のゲートウェイのＩＰアドレス及びＭＡＣアドレスがそれぞれ書き込まれる。これは、ＡＲＰ要求パケットが、仮想マシン候補のゲートウェイにより生成され送信されることを表す。ＡＲＰ要求パケットのＡＲＰ要求部の宛先ＩＰアドレスには、仮想マシン候補のＩＰアドレスが書き込まれる。ＡＲＰ要求パケットのＡＲＰ要求部の宛先ＭＡＣアドレスには、００：００：００：００：００：００などの特別なフィールドが書き込まれる。これは、宛先ＭＡＣアドレスが応答側により書き込まれることを表す。
ＳＤＮコントローラ３０は、仮想マシン候補セットの仮想マシン候補ごとに１つのＡＲＰ要求パケットを構築し、各ＡＲＰ要求パケットは、各仮想マシン候補に対応する。この段階では、ＳＤＮコントローラは、静的に構成された仮想マシンを１つ１つトラバースし、１つの仮想マシン候補が決定されると１つのＡＲＰ要求パケットを構築し、構築したＡＲＰ要求パケットを送信してよい、又は全ての仮想マシン候補が選択された後に、仮想マシン候補ごとにＡＲＰ要求パケットを構築して、構築した複数のＡＲＰ要求パケットを同時に送信してもよい。上述の２つの特定の実装方式は両方とも、本発明のこの実施形態に適用できる。
Ｓ３４．ＳＤＮコントローラ３０は、新たなオンライン仮想マシンが送信した識別要求応答メッセージを受信する。識別要求応答メッセージは、新たなオンライン仮想マシンのＭＡＣアドレスを保持している。
具体的には、ＳＤＮコントローラ３０は、第１のエッジスイッチにより報告されたＰａｃｋｅｔＩｎイベントを受信し、ＡＲＰ応答パケットを取得するためにパケットをパースする。
Ｓ３５．ＳＤＮコントローラ３０は、ＡＲＰ応答パケット内の送信元ＭＡＣアドレスが仮想マシン候補の静的設定情報内のＭＡＣアドレスと一致するかチェックする。ＡＲＰ応答パケット内の送信元ＭＡＣアドレスが仮想マシン候補の静的設定情報内のＭＡＣアドレスと一致する場合、新たなオンライン仮想マシンはＳＤＮコントローラ３０により識別され、仮想マシン候補は、ＡＲＰ応答を送信する新たなオンライン仮想マシンに適合し、第１のエッジスイッチは仮想マシン候補にバインドされる。
具体的には、第１のエッジスイッチについての情報が、決定した仮想マシン候補の静的設定情報に記録される。
この実施形態では、非同期モードが、Ｓ３３、Ｓ３４、及びＳ３５において用いられてもよい。つまり、Ｓ３３では、仮想マシン候補が選択された後に、ＡＲＰ要求パケットは選択した仮想マシン候補に向けて送信される。Ｓ３４では、ＡＲＰ応答パケットが受信された後に、事前に送信されたＡＲＰ要求応答パケットがどの仮想マシン候補向けのものか判定することができない。この場合、Ｓ３５では、仮想マシン候補セット内の仮想マシン候補が１つ１つチェックされる可能性がある。
新たなオンラインサービングノードをアクティブに識別する実装方式に加えて、ＳＤＮコントローラ３０はさらに、パッシブキャプチャ方式で新たなオンラインサービングノードを識別することもできる。新たなオンライン仮想マシンにより送信され、エッジスイッチにより転送される識別要求メッセージを受信した後に、ＳＤＮコントローラ３０は、新たなオンライン仮想マシンを識別するために、識別要求メッセージが保持する新たなオンライン仮想マシンのＭＡＣアドレスと、仮想マシン候補のＭＡＣアドレスとの間の一貫性を検出する。新たなオンライン仮想マシンにより送信される識別要求メッセージは、ＡＲＰ要求パケット（フリーのＡＲＰ要求を含む）であってもよい。ＳＤＮコントローラ３０は、受信したＡＲＰ要求パケットに従って、ＡＲＰ要求を送信する仮想マシンを新たなオンライン仮想マシンとして決定し、さらにＡＲＰ要求の送信元ＭＡＣと仮想マシン候補の静的設定情報のＭＡＣとの間の一貫性をチェックする。ＡＲＰ要求の送信元ＭＡＣが仮想マシン候補の静的設定情報のＭＡＣと一致する場合、新たなオンライン仮想マシンが仮想マシン候補に適合すると判定され、新たなオンライン仮想マシンはＳＤＮコントローラ３０により識別され、新たなオンライン仮想マシンのエッジスイッチが仮想マシン候補にバインドされる。
ＳＤＮコントローラ３０が新たなオンライン仮想マシンを識別した後に、ＳＤＮコントローラ３０は、新たなオンライン仮想マシンのＩＰアドレスと、テナントの別の仮想マシンのＩＰアドレスとが同じであるかチェックする（又は、新たなオンライン仮想マシンのＩＰアドレスと、サービスクラスタの予め設定した共有ＩＰアドレスとが同じであるかチェックする）。新たなオンライン仮想マシンのＩＰアドレスと、テナントの別の仮想マシンのＩＰアドレスとが同じである場合、ＳＤＮコントローラ３０は、新たなオンライン仮想マシンのＩＰアドレスが確立したサービスクラスタに対応しているかチェックする。新たなオンライン仮想マシンのＩＰアドレスが確立したサービスクラスタに対応する場合、ＳＤＮコントローラ３０は、確立したサービスクラスタに新たなオンライン仮想マシンを追加する。新たなオンライン仮想マシンのＩＰアドレスが確立したサービスクラスタに対応しない場合、新たなオンライン仮想マシンのＩＰアドレスを識別子として用いることで、新たなサービスクラスタが確立され、新たなオンライン仮想マシンが新たに確立したサービスクラスタに展開される。ＳＤＮコントローラ３０はまた、新たなオンライン仮想マシンのＩＰアドレスと、サービスクラスタの予め設定した共有ＩＰアドレスとが同じであるかチェックすることができる。新たなオンライン仮想マシンのＩＰアドレスとサービスクラスタに予め設定した共有ＩＰアドレスとが同じである場合、ＳＤＮコントローラ３０は、共有ＩＰアドレスに対応する確立したサービスクラスタに新たなオンライン仮想マシンを追加する、又は共有ＩＰアドレスを識別子として用いることで新たなサービスクラスタを確立して、確立したサービスクラスタに新たなオンライン仮想マシンを追加する。
本発明のこの実施形態では、ＳＤＮコントローラ３０は、全てのユーザアクセスのトラフィックを共有するために、共有ＩＰアドレスを用いて構成される複数の仮想マシン用のサービスクラスタを確立する。図２に示されるように、テナントネットワークは２つのサービスクラスタを有する。サービングノードＡ１、サービングノードＡ２、及びサービングノードＡ３はＩＰアドレスＩＰ０を共有し、ＭＡＣアドレスはそれぞれ、ＭＡＣ１、ＭＡＣ２、及びＭＡＣ３である。サービングノードＢ１、サービングノードＢ２、及びサービングノードＢ３はＩＰアドレスＩＰ１を共有し、ＭＡＣアドレスはそれぞれ、ＭＡＣ４、ＭＡＣ５、及びＭＡＣ６である。テナントネットワークは、共通部分を持つことを許可しているので、ＳＤＤＣＮにおいてＳＤＮコントローラ３０は、テナントとＩＰとの組み合わせを用いて、サービスクラスタを一意に識別することができる。
上述の仮想マシンのオンライン化には、新たに確立した仮想マシンが動作を開始するシナリオが含まれるだけでなく、仮想マシンを新たに追加する、又はＩＰアドレスを変更するなど、仮想マシンの新たなＩＰアドレスが有効になるようトリガするという別のシナリオも含まれる。
（２）サービスクラスタの削除又はサービスクラスタのキャパシティ縮小
サービスクラスタは動的に拡大縮小可能である。共有ＩＰを用いて構成された仮想マシンがテナントネットワークにおいてオンライン化されたことをＳＤＮコントローラが検出した場合には、ＳＤＮコントローラは指定したＩＰアドレスに対応するサービスクラスタのキャパシティを拡大し、サービスクラスタのキャパシティ縮小イベントが発生したことをＳＤＮコントローラが発見した場合には、ＳＤＮコントローラはサービスクラスタのキャパシティを縮小する。
サービングノード又は別の管理ノードが、サービスクラスタのキャパシティ縮小イベントをＳＤＮコントローラ３０に通知することができ、又はＳＤＮコントローラ３０は、ＳＤＮコントローラを用いて開始されるサービスクラスタの健全性チェックなど、サービスクラスタのキャパシティ縮小イベントをアクティブに検出し発見することができる。サービスクラスタのキャパシティ縮小イベントには、サービングノードのＩＰアドレスの機能停止が含まれてもよい。サービングノードが仮想マシンを用いて実装される場合、サービングノードのＩＰアドレスの機能停止が、仮想マシンのオフライン化、変更、障害、又はＩＰアドレス削除などのあらゆる条件になる可能性がある。
ＩＰアドレスを有する仮想マシンが故障していると判定された場合、ＳＤＮコントローラ３０は、故障状態にある仮想マシンのＩＰアドレスがサービスクラスタに対応するかチェックする。故障状態にある仮想マシンのＩＰアドレスがサービスクラスタに対応している場合、ＳＤＮコントローラ３０は、故障した仮想マシンのＩＰアドレスに対応するサービスクラスタから故障した仮想マシンを削除し、サービスクラスタの残りのサービングノードの数量が１より大きいかチェックする。サービスクラスタの残りのサービングノードの数量が１より小さいか１に等しい場合、ＩＰアドレスに対応するサービスクラスタは削除される。
（３）サービスクラスタの健全性チェック
本発明のこの実施形態では、ＳＤＮコントローラ３０は、サーバのキャパシティ縮小イベントが発生したかアクティブに検出することができる。例えば、障害のあるサービングノードをサービスクラスタからタイムリーに削除して、次のアクセストラフィックが障害のあるサービングノードに送信されないことを保証し、それにより、テナントサービスの高い可用性を保証するために、ＳＤＮコントローラ３０は、サービスクラスタ内のサービングノードに対して健全性チェックを定期的に実行し、健全性ステータスが必要条件を満たさないサービングノードの元のＩＰアドレスを無効にする。この実施形態では、ＳＤＮコントローラ３０は、ポートステータス監視、リンクステータス検出、又はフローテーブル監視の３つの方式のうちいずれか１つ又はこれらの組み合わせで、サービスクラスタ内のサービングノードの健全性ステータスを異なるネットワークレベルからチェックし、健全性チェック結果に従って、サービスクラスタの、ＩＰアドレスを有する任意のオンライン仮想マシンが故障しているか判定することができる。
ポートステータス監視：ポートステータス監視の方式は、サービングノードの物理層障害を検出するのに一般的に用いられる。ＳＤＮコントローラ３０は、管理者のリアルタイムコマンド又は静的構成を用いて、各エッジスイッチにポートステータス監視のロジックを構成することができ、これにより、ＳＤＤＣＮ内の各エッジスイッチは、サービスクラスタ内の各サービングノードのインタフェースステータスをリアルタイムで検出する。サービングノードのインタフェースステータスが変わった場合、ポートステータス（ＰｏｒｔＳｔａｔｕｓ）イベントがＳＤＮコントローラ３０に報告される。例えば、サービングノードとして用いられる仮想マシンの電源オフ、再起動、インタフェース障害、又はシャットダウンが、仮想マシンのインタフェースステータスがオンライン（ＵＰ）からオフライン（ＤＯＷＮ）に変更されるきっかけとなる可能性がある。ＳＤＮコントローラ３０は、少なくとも１つのエッジスイッチにより送信されたポートステータスイベントＰｏｒｔＳｔａｔｕｓ（仮想マシンインタフェースのオフラインなど）を受信し、ポートステータスイベントに従って異常なインタフェースステータスを有するポートを判定し、異常なインタフェースステータスを有するポートに対応する、ＩＰアドレスを有するオンライン仮想マシンが故障していると判定する。
リンクステータス検出：リンクステータス検出の方式は、サービングノードのリンク層障害を検出するのに一般的に用いられる。ＳＤＮコントローラ３０は、サービスクラスタ内の各サービングノードのゲートウェイをシミュレートし、仮想マシンのＩＰアドレスに従ってＡＲＰ要求を構築するなど、リンクステータス検出の要求メッセージを定期的に構築し、構築したＡＲＰ要求のパケットＰａｃｋｅｔＯｕｔを仮想マシンに対応するエッジスイッチに送信する。ＡＲＰ要求を受信した後、サービングノードがタイムリーに応答しない場合、ＡＲＰ応答が失効する可能性がある。有効期限の長さが予め設定した閾値を超えた場合、ＳＤＮコントローラ３０は、失効したＡＲＰ要求の宛先ＩＰアドレス（つまり、仮想マシンのＩＰアドレス）を故障状態として記録する。
フローテーブル監視：フローテーブル監視の方式は、サービングノードのネットワーク層障害及びトランスポート層障害を検出するのに一般的に用いられる。ＳＤＮコントローラ３０は、ユーザのサービス要求及びサービングノードのサービス応答を転送するために、各エッジスイッチに転送フローテーブルを送出する。エッジスイッチは、転送フローテーブルのアイドル時間をリアルタイムで検出するよう構成される。転送フローテーブルがどのパケットにも適合しない場合、アイドル時間が増え続ける。アイドル時間がエージングタイムに達すると、エッジスイッチは、転送フローテーブルを削除し、フローテーブル除去ＦｌｏｗＲｅｍｏｖｅｄイベント又はフローテーブル終了（Ｆｌｏｗ Ｅｘｐｉｒｙ）イベントなど、転送フローテーブルのエージングイベントをＳＤＮコントローラ３０に報告する。ＦｌｏｗＲｅｍｏｖｅｄ（Ｅｘｐｉｒｙ）イベントを受信した後に、ＳＤＮコントローラ３０は、除去したフローテーブル又はフローテーブル終了イベントに対応する仮想マシンのＩＰアドレスを故障状態として記録する。

上述の３つの方式のうちいずれか１つで健全性チェックを実行することで、ＩＰアドレスを有する仮想マシンが故障していると判定された後に、サービスクラスタのキャパシティ縮小又は削除に関する上述の作業プロセスに従って、ＳＤＮコントローラ３０は、故障したＩＰアドレスを有する仮想マシンをサービスクラスタから削除することができる。
［ＳＤＮコントローラによるＬＢトラフィック分配の実行］
ＳＤＮコントローラ３０がサービスクラスタを確立した後、又はサービングノードをサービスクラスタに新たに追加した後、ＳＤＮコントローラ３０は、負荷分散原理に従ってサービスクラスタ内のサービングノードにトラフィックを分配することができる。図２に示されるように、ユーザ１のサービス要求は、ユーザ側に面したエッジスイッチ２００を用いてテナントネットワークに送信され、ＳＤＮコントローラ３０により送信された後にネットワークコア領域を横断し、サービス側に面したエッジスイッチ２０１を用いてテナントネットワークから外へ送信され、最終的にサービスクラスタＡ内のサービングノードＡ１に流れる。一方、サービングノードＡ１のサービス応答は、エッジスイッチ２０１を用いてテナントネットワークに送信され、ＳＤＮコントローラ３０により送信された後にネットワークコア領域を横断し、エッジスイッチ２００を用いてテナントネットワークから外へ送信され、最終的にユーザ１に流れる。転送プロセス全体では、ＳＤＮコントローラ３０はエッジスイッチを制御し、エッジスイッチ用の転送フローテーブルをカスタマイズして送出し、パケット送信元情報及び宛先情報を照合し、転送経路をパケットにカプセル化し、パケットを転送する必要がある。
図２のデータセンターに関連して、図５は、ユーザトラフィック分配のフローチャートである。具体的な段階は以下の通りである。
Ｓ５１．ユーザ１は、サービスクラスタ内のサービングノードにサービスを提供するよう要求し、ユーザ１のサービス要求パケットがユーザ１のエッジスイッチ２００に送られる。
Ｓ５２．ユーザのエッジスイッチ２００は、サービス要求パケットを受信した後に、適合した転送フローテーブルを見つけ出せず、ＰａｃｋｅｔＩｎイベントをＳＤＮコントローラ３０に報告して、ＳＤＮコントローラ３０にルーティング情報を送出するよう要求する。
Ｓ５３．ＳＤＮコントローラ３０は、サービス要求パケットのパケット送信元情報及び宛先情報をパースし、サービス要求パケットの宛先ＩＰアドレス情報に従って、サービス要求パケットに対応するサービスクラスタを判定し、予め設定した負荷分散ポリシに従って、サービスクラスタＡ内のサービングノードＡ１をターゲットサービングノードとして選択し、ユーザ１とサービングノードＡ１のエッジスイッチ２０１との間の転送情報を計算し、決定した転送情報に従って、エッジスイッチ２０１及びエッジスイッチ２００の転送フローテーブルをそれぞれ生成し、それぞれの転送フローテーブルをサービングノードＡ１のエッジスイッチ２０１及びユーザ１のエッジスイッチ２００にそれぞれ送出する。
ＳＤＮコントローラ３０は、ユーザ１及びサービングノードＡ１にそれぞれ対応する転送フローテーブルをそれぞれ生成し、これらの転送フローテーブルをエッジスイッチ２００及びエッジスイッチ２０１にそれぞれ送出する。ＳＤＮコントローラ３０は、これらのフローテーブルを同時に送出することができ、又はエッジスイッチ２０１の転送フローテーブルを最初に送出することができ、又はエッジスイッチ２００の転送フローテーブルを最初に送出することができる。転送フローテーブルをエッジスイッチ２０１に最初に送出することは、主に、サービングノードＡ１のエッジスイッチ２０１が、パケットが到着する前に、利用可能な転送フローテーブルを有することを保証し、サービングノードＡ１のエッジスイッチ２０１がＰａｃｋｅｔＩｎイベントをＳＤＮコントローラ３０に報告することを防止することである。エンドツーエンドの通信は常に相互に行われる。ＳＤＮコントローラ３０がエッジスイッチ２００及びエッジスイッチ２０１に送出した転送フローテーブルには、順方向と逆方向という２つの方向が含まれ、順フローテーブルはユーザ１の要求をサービングノードＡ１に転送するのに適用でき、逆フローテーブルはサービングノードＡ１のサービス応答をユーザ１に転送するのに適用できる。
Ｓ５４．エッジスイッチ２００は、ＳＤＮコントローラが送出した転送フローテーブルに従って、サービングノードＡ１のエッジスイッチ２０１にサービス要求パケットを転送する。
Ｓ５５．サービングノードＡ１のエッジスイッチ２０１は、サービス要求パケットをサービングノードＡ１に転送する。エッジスイッチとして、サービングノードＡ１のエッジスイッチ２０１は、アクセス先のホストが明確である場合、パケット内の宛先ＭＡＣアドレスに従ってパケットを転送するだけでよい。
Ｓ５６．サービングノードＡ１はユーザ１の要求に応答して、サービングノードＡ１のエッジスイッチ２０１にサービス応答を送信する。
Ｓ５７．サービングノードＡ１のエッジスイッチ２０１は、ＳＤＮコントローラ３０が送出した転送フローテーブルに従ってサービス応答を転送し、ユーザ１のエッジスイッチ２００にサービス応答パケットを転送する。
Ｓ５８．ユーザ１のエッジスイッチ２００は、サービス応答をユーザ１に転送する。ユーザ１のエッジスイッチ２００は、アクセス先のホストが明確である場合、パケット内の宛先ＭＡＣアドレスに従ってパケットを転送するだけでよい。
Figure 0006835444
上述の表には、ユーザ１とサービングノードＡ１との間のインタラクションプロセスにおいて、関連するエッジスイッチ用にＳＤＮコントローラがカスタマイズして送出した転送フローテーブルが記載されている。ユーザ１の要求に対して、エッジスイッチ２００は、パケット送信元ＩＰ１１及び宛先ＩＰ０を照合し、エッジスイッチ２００への転送経路をパケットにカプセル化し、コアネットワークの入り口にパケットを送信する。ＩＰ１１及びＩＰ０が同じネットワークセグメントに属する場合、パケットの宛先ＭＡＣアドレスにはサービングノードＡ１のＭＡＣアドレスＭＡＣ１が直接書き込まれ、これは変更されない。ＩＰ１１及びＩＰ０が同じネットワークセグメントに存在しない場合、パケットの宛先ＭＡＣアドレスにはサービングノードＡ１のゲートウェイＭＡＣアドレスが書き込まれる。エッジスイッチ２０１は、パケットの宛先ＭＡＣアドレスをサービングノードＡ１のＭＡＣアドレスＭＡＣ１に変更する必要がある。エッジスイッチ２０１はパケットの宛先ＭＡＣ１を照合し、パケットをサービングノードＡ１に送信する。サービングノードＡ１の応答に対して、エッジスイッチ２０１はパケットの宛先ＩＰ１１を照合し、エッジスイッチ２００への転送経路をパケットにカプセル化し、コアネットワークの入り口にパケットを送信する。エッジスイッチ２００は、パケットの宛先ＭＡＣ１１の照合を実行して、パケットをユーザ１に送信する。
ユーザ１とサービングノードＡ１１との間のサービス要求及びサービス応答の次の転送プロセスは、最初のサービス要求パケット及び最初のサービス応答パケットの転送プロセスと同様である。
上述の解決手法は、負荷分散原理に従って、ＳＤＮコントローラ３０がどのようにしてユーザの最初のパケット用にサービングノードを最初に分配するかを説明している。実際のサービスでは、トラフィック分配について別のシナリオが存在する。サービスクラスタのサービングノードが障害を受けると、ＳＤＮコントローラ３０は新たなオンラインユーザトラフィックを障害のあるサービングノードに送信することができず、さらに、障害のあるサービングノードに送信されるユーザトラフィックを、サービスクラスタ内の別の正常なサービングノードに再送信する必要がある。ＳＤＮコントローラ３０は、エッジスイッチに関する、ユーザ及びサービングノードに対応する送出された転送フローテーブルをタイムリーに削除し、ユーザトラフィック分配プロセスに従ってユーザトラフィックに新たなサービングノードを再指定し、新たな転送フローテーブルを送出する必要がある。
［サービスクラスタ内のサービングノードの負荷監視］
本発明のこの実施形態では、ＬＢｅｒとして、ＳＤＮコントローラ３０はサービングノードのＬＢ原理に従い、パケット転送フローテーブルをカスタマイズして、ユーザトラフィックを特定のサービングノードに送信するようエッジスイッチに命令する。ＳＤＮコントローラ３０は、サービスクラスタ内のサービングノードの負荷を監視し、負荷監視結果に従ってＬＢｅｒの負荷分散機能を実行し、ターゲット仮想マシンを選択することができる。負荷監視の一般的なやり方では、ＳＤＮコントローラ３０は各サービングノードのリソース使用量ステータスを監視することができ、例えば、各サービングノードのＣＰＵリソース利用率、メモリ利用率、キャッシュ利用率、ハードディスク利用率、帯域幅利用率、又はこれらのリソースのあらゆる組み合わせなどのうち任意のリソースの使用量ステータスを監視することができる。本発明のこの実施形態では、ＳＤＮコントローラ３０による負荷分散を実装するために、従来技術におけるサービングノードのリソース使用量ステータスに従って負荷分散の決定を行うことに加えて、新たな実装方式がさらに提供される。ＳＤＮコントローラ３０は、サービングノードトラフィックの負荷分散原理に基づいて、負荷分散のスケジューリングを実行し、対応する転送フローテーブルをカスタマイズして、エッジスイッチにトラフィックを分配するよう命令する。
ＳＤＮコントローラ３０は、サービスクラスタ内のオンライン仮想マシンに対してリソース負荷監視又はトラフィック負荷監視を実行し、サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を負荷監視結果から定期的に取得する。ＳＤＮコントローラ３０は、サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を取得した後に、最小リソース負荷又は最小トラフィック負荷を有する仮想マシンをターゲット仮想マシンとして選択する。
ＳＤＮコントローラ３０は、各エッジスイッチに転送フローテーブルを送出すると、転送フローテーブルごとにトラフィックを監視するよう各エッジスイッチに命令することができる。又は、システムは、各エッジスイッチが転送フローテーブルごとにトラフィックを監視するというロジックを各エッジスイッチに構成することができる。ＳＤＤＣネットワーク内のエッジスイッチは、ＳＤＮコントローラ３０が送出した転送フローテーブルに従ってユーザのサービス要求及びサービングノードのサービス応答を転送し、各転送フローテーブルによって累積的に処理されたパケット量又はパケット長をリアルタイムで統計的に収集する。サービングノードのエッジスイッチにおいて、サービングノードのサービス応答によって累積的に処理されたパケット量は、サービングノードが応答したユーザ要求量を表し、サービングノードの負荷を間接的に反映する。ＳＤＮコントローラ３０は、サービングノードのトラフィック負荷の監視を実装するために、エッジスイッチが統計的に収集した各転送フローテーブルのトラフィック統計結果をサービングノードのエッジスイッチから定期的に収集し、各転送フローテーブルのトラフィック統計結果からサービス応答トラフィックデータを選別する。
図２に示されるように、テナントネットワーク内のサービスクラスタＢは３つのサービングノードであるＢ１、Ｂ２、及びＢ３を有し、これらは１つのＩＰアドレスＩＰ１を共有する。合計５人のユーザがサービスクラスタからサービスを要求する。ユーザ１及びユーザ４にはサービングノードＢ１がサービス提供し、ユーザ２及びユーザ５にはサービングノードＢ２がサービス提供し、ユーザ３にはサービングノードＢ３がサービス提供する。各サービングノードのエッジスイッチがサービス要求及び応答パケットを転送し且つ統計的に収集し、関連する転送フローテーブルの統計データフィールドに統計データを記録する。ＳＤＮコントローラは、転送フローテーブルのトラフィック統計データ抽出要求を周期的に又は定期的に送出し、抽出要求応答を受信した後に、サービス応答によって累積的に処理されたパケット量を取得する。過去のサンプリングデータを参照して、特定のサービングノードによって特定の期間内にユーザに提供されたサービストラフィックを計算することができ、そのサービストラフィックに従ってサービングノードの負荷が決定される。
Figure 0006835444
ＳＤＮコントローラは、ある期間に従ってエッジスイッチのトラフィック統計データを収集する。表２には、異なる時点における各エッジスイッチに関して、異なる転送フローテーブルのサービス応答に対応するトラフィック統計データが記載されている。サービングノードＢ１は、ユーザ１及びユーザ４のサービス応答フローテーブル用のＮ１１パケット及びＮ１４パケットをＴ１時点において別々に処理し、［Ｎ１１＋ΔＮ１１］パケット及び［Ｎ１４＋ΔＮ１４］パケットをＴ２時点において別々に処理する。サービングノードＢ２は、ユーザ２及びユーザ５のサービス応答フローテーブル用のＮ２２パケット及びＮ２５パケットをＴ１時点において別々に処理し、［Ｎ２２＋ΔＮ２２］パケット及び［Ｎ２５＋ΔＮ２５］パケットをＴ２時点において別々に処理する。サービングノードＢ３は、ユーザ３のサービス応答フローテーブル用にＮ３３パケットをＴ１時点において処理し、［Ｎ３３＋ΔＮ３３］パケットをＴ２時点において処理する。
ＳＤＮコントローラ３０は、ある期間内の特定のサービングノードの負荷を取得するために、異なるユーザのサービス応答フローテーブルに関してサンプリング期間内に各サービングノードが処理したパケット量の増加を合計する。
Figure 0006835444
表３には、ＳＤＮコントローラが計算した期間Ｔにおける各サービングノードのノード負荷が記載されている。期間ＴにおけるサービングノードＢ１のノード負荷は［ΔＮ１１＋ΔＮ１４］であり、期間ＴにおけるサービングノードＢ２のノード負荷は［ΔＮ２２＋ΔＮ２５］であり、期間ＴにおけるサービングノードＢ３のノード負荷はΔＮ３３である。
実施形態の全ての段階又は一部の段階が、ハードウェア又は関連するハードウェアに命令するプログラムにより実装されてよいことを、当業者は理解することができる。プログラムは、コンピュータ可読記憶媒体に格納されてよい。記憶媒体には、リードオンリメモリ、磁気ディスク、又は光ディスクが含まれてよい。
本発明のこの実施形態におけるＳＤＮコントローラは、ソフトウェアコンポーネント／プログラム、又は特定の回路モジュールなどのハードウェアモジュールを用いて実装されてよい。ＳＤＮコントローラがソフトウェアコンポーネントを用いて実装される場合、ソフトウェアコンポーネントは、コンピュータデバイス上で動作することができ、又はメディア媒体に格納することができる。ソフトウェアコンポーネントをロードするコンピュータデバイス、又はソフトウェアコンポーネントを格納するメディア媒体は、本発明のこの実施形態に関する特定の実装にも関連する。
図６に示されるコンピューティングデバイス６００には、プロセッサ６０２、メモリユニット６０４、入出力インタフェース６０６、通信インタフェース６０８、バス６１０、及びストレージデバイス６１２が含まれる。プロセッサ６０２、メモリユニット６０４、入出力インタフェース６０６、通信インタフェース６０８、及びストレージデバイス６１２は、バス６１０を用いて相互通信接続を実装する。
プロセッサ６０２はコンピューティングデバイス６００のコントロールセンターであり、本発明のこの実施形態において提供される技術的解決手法を実装するために、関連プログラムを実行するよう構成される。任意選択で、プロセッサ６０２には、１つ又は複数の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、例えば、図６に示される中央処理装置１及び中央処理装置２が含まれる。任意選択で、コンピューティングデバイス６００にはさらに、複数のプロセッサ６０２が含まれてよく、各プロセッサ６０２は、シングルコアプロセッサ（１つのＣＰＵを含む）でも、マルチコアプロセッサ（複数のＣＰＵを含む）でもよい。プロセッサ６０２は、汎用中央処理装置、マイクロプロセッサを用いてもよく、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、又は１つ又は複数の集積回路を用いてもよい。
プロセッサ６０２は、バス６１０を用いて、１つ又は複数のストレージソリューションに接続されてよい。ストレージソリューションには、メモリユニット６０４及びストレージデバイス６１２が含まれてよい。ストレージデバイス６１２は、リードオンリメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、スタティックストレージデバイス、ダイナミックストレージデバイス、又はランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）であってよい。メモリユニット６０４は、ランダムアクセスメモリであってよい。メモリユニット６０４は、プロセッサ６０２と統合されても、プロセッサ６０２の中に統合されてもよく、又はプロセッサ６０２から独立した１つ又は複数のストレージユニットであってもよい。
プロセッサ６０２、又はプロセッサ６０２内部のＣＰＵにより実行されるプログラムコードは、ストレージデバイス６１２又はメモリユニット６０４に格納されてよい。任意選択で、ストレージデバイス６１２内部に格納されたプログラムコード（オペレーティングシステム、アプリケーションプログラム、リソース割当てモジュール、又は通信モジュールなど）は、プロセッサ６０２により実行されるようメモリユニット６０４にコピーされる。
ストレージデバイス６１２は、物理ハードディスク又は物理ハードディスクのパーティション（小型コンピュータシステムのインタフェースメモリ、又はグローバルネットワークブロックのデバイスボリュームを含む）、ネットワークストレージプロトコル（ネットワークファイルシステムＮＦＳなどのネットワークファイルシステム又はクラスタファイルシステムを含む）、ファイルに基づく仮想ストレージデバイス（仮想ディスクミラーリング）、又は論理ボリュームに基づくストレージデバイスであってもよい。ストレージデバイス６１２には、高速ランダムアクセスメモリ（ＲＡＭ）が含まれてよく、不揮発性メモリ、例えば、１つ又は複数のディスクメモリ、フラッシュメモリ、又は他の不揮発性メモリも含まれてよい。実施形態によっては、ストレージデバイスにはさらに、１つ又は複数のプロセッサ６０２から分離したリモートメモリ（通信インタフェース６０８を用いて通信ネットワークにアクセスするウェブディスクなど）が含まれてよく、通信ネットワークは、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ストレージエリアネットワーク（ＳＡＮ）、又は上述のネットワークの組み合わせであってよい。
オペレーティングシステム（Ｄａｒｗｉｎ、ＲＴＸＣ、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ、Ｗｉｎｄｏｗｓ（登録商標）など、又はＶｘＷｏｒｋｓなどの組み込みオペレーティングシステム）には、決まったシステムタスク（メモリ管理、ストレージデバイス制御、電源管理など）の制御及び管理を行い、様々なソフトウェアコンポーネントとハードウェアコンポーネントとの間の通信を容易にするよう構成された、様々なソフトウェアコンポーネント及び／又はドライバが含まれる。
入出力インタフェース６０６は、入力したデータ及び情報を受信し、オペレーション結果などのデータを出力するよう構成される。
通信インタフェース６０８は、コンピューティングデバイス６００と別のデバイス又は通信ネットワークとの間の通信を実装するために、例えば、限定されないが送受信機などのトランシーバ装置を用いる。
バス６１０には、コンピューティングデバイス６００内の各コンポーネント（プロセッサ６０２、メモリユニット６０４、入出力インタフェース６０６、通信インタフェース６０８、及びストレージデバイス６１２など）の間で情報が送信されるチャネルが含まれてよい。任意選択で、バス６１０は、有線接続方式を用いてよく、又は無線通信方式を用いてよいが、本出願はこれに何も制限を設けてはいない。
コンピューティングデバイス６００には、プロセッサ６０２、メモリユニット６０４、入出力インタフェース６０６、通信インタフェース６０８、バス６１０、及びストレージデバイス６１２だけが図６に示されていることに留意されたい。しかし、特定の実装プロセスでは、コンピューティングデバイス６００にはさらに、正常なオペレーションを実装するのに必要な別のコンポーネントが含まれることを、当業者は理解されたい。
図６に示されるコンピューティングデバイスは、本発明の実施形態において提供されるサービスクラスタ展開方法、サービスクラスタスケジューリング方法、サービスクラスタ健全性チェック方法、又はサービスクラスタトラフィック監視方法を実行するのに適用されてよい。
例えば、サービスクラスタ展開方法を実装するために、コンピューティングデバイス６００のメモリユニット６０４には展開モジュールが含まれ、プロセッサ６０２は展開モジュールにおいてプログラムコードを実行する。
例えば、サービスクラスタスケジューリング方法を実装するために、コンピューティングデバイス６００のメモリユニット６０４にはスケジューリングモジュールが含まれ、プロセッサ６０２は展開モジュールにおいてプログラムコードを実行する。
例えば、サービスクラスタ健全性チェック方法を実装するために、コンピューティングデバイス６００のメモリユニット６０４には健全性チェックモジュールが含まれ、プロセッサ６０２は展開モジュールにおいてプログラムコードを実行する。
例えば、サービスクラスタトラフィック監視方法を実装するために、コンピューティングデバイス６００のメモリユニット６０４にはトラフィック監視モジュールが含まれ、プロセッサ６０２は展開モジュールにおいてプログラムコードを実行する。
展開モジュール、スケジューリングモジュール、健全性チェックモジュール、又はトラフィック監視モジュールのうちいずれか１つは、１つ又は複数の動作命令を含むことができ、これにより、コンピューティングデバイス６００は、上述の説明に従って方法の１つ又は複数の段階を実行する。ＳＤＮコントローラのサービスクラスタ管理の機能コンポーネントなど、サービスクラスタ管理用の完全な解決手法を提供するために、展開モジュール、スケジューリングモジュール、健全性チェックモジュール、又はトラフィック監視モジュールは、１つの機能モジュールに統合されることもできる。
上述の説明は単に本発明の例示的な実施形態にすぎないが、本発明を限定するよう意図されてはいない。本発明の精神及び原理から逸脱することなく行われたあらゆる変更、均等な置換、及び改良は、本発明の保護範囲内に含まれることになる。

Claims (17)

  1. ソフトウェア定義型データセンターにおけるサービスクラスタスケジューリング方法であって、前記ソフトウェア定義型データセンターは、ソフトウェア定義型ネットワーキング（ＳＤＮ）コントローラと複数のエッジスイッチとを備え、前記複数のエッジスイッチは前記ＳＤＮコントローラに通信可能に接続され、第１のサービスクラスタ及び第２のサービスクラスタが前記ソフトウェア定義型データセンターに展開され、
    前記ＳＤＮコントローラが、第２のエッジスイッチにより報告されたユーザのサービス要求パケットを受信する段階であって、前記第２のエッジスイッチは前記ユーザがアクセスするエッジスイッチである、受信する段階と、
    前記ＳＤＮコントローラが、前記サービス要求パケット内の宛先ＩＰアドレス情報に従って、前記第１のサービスクラスタ及び前記第２のサービスクラスタから前記サービス要求パケットに対応するサービスクラスタを判定する段階であって、前記第１のサービスクラスタは、第１のＩＰアドレスを共有する少なくとも２つのオンライン仮想マシンを含み、前記第２のサービスクラスタは、第２のＩＰアドレスを共有する少なくとも２つのオンライン仮想マシンを含み、前記第１のＩＰアドレスは前記第２のＩＰアドレスとは異なる、段階と、
    前記ＳＤＮコントローラが負荷分散ポリシに従って、判定された前記サービスクラスタ内の前記少なくとも２つのオンライン仮想マシンからターゲット仮想マシンを選択する段階であって、前記ターゲット仮想マシンは前記ユーザにサービスを提供する、選択する段階と、
    前記ＳＤＮコントローラが前記ターゲット仮想マシンと前記ユーザとの間の転送情報を決定する段階と、
    前記ＳＤＮコントローラが前記転送情報に従って、第１の転送フローテーブル及び第２の転送フローテーブルを生成する段階であって、前記第１の転送フローテーブルは、前記ターゲット仮想マシンのエッジスイッチがパケットを転送するのに用いられ、前記第２の転送フローテーブルは、前記第２のエッジスイッチがパケットを転送するのに用いられる、生成する段階と、
    前記ＳＤＮコントローラが、前記第１の転送フローテーブルを前記ターゲット仮想マシンの前記エッジスイッチに送出する段階と、
    前記ＳＤＮコントローラが、前記第２の転送フローテーブルを前記第２のエッジスイッチに送出する段階と、
    前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の前記少なくとも２つのオンライン仮想マシンに対して負荷監視を実行し、負荷監視結果を定期的に取得する段階であって、前記負荷監視はリソース負荷監視又はトラフィック負荷監視を含む、取得する段階と
    を備え、
    前記ＳＤＮコントローラは、負荷分散装置としての機能を有し、ユーザトラフィックをＳＤＮネットワークの入り口でエッジスイッチに分配し、前記サービスクラスタの健全性チェックと、前記リソース負荷監視又は前記トラフィック負荷監視とに基づいて最適経路を選択する
    方法。
  2. 前記ＳＤＮコントローラが負荷分散ポリシに従って、判定された前記サービスクラスタ内の前記少なくとも２つのオンライン仮想マシンからターゲット仮想マシンを前記選択する段階は、
    前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を取得して、最小リソース負荷を有する仮想マシンを前記ターゲット仮想マシンとして選択する段階、又は最小トラフィック負荷を有する仮想マシンを前記ターゲット仮想マシンとして選択する段階を含む、
    請求項１に記載の方法。
  3. 前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を前記取得する段階は、
    前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を前記負荷監視結果から取得する段階を含む、
    請求項２に記載の方法。
  4. 前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の前記少なくとも２つのオンライン仮想マシンに対してトラフィック負荷監視を前記実行する段階は、
    前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の各オンライン仮想マシンのエッジスイッチにトラフィック統計データ抽出要求を定期的に送出し、各オンライン仮想マシンの前記エッジスイッチによりフィードバックされるＴ１時点におけるトラフィック統計データ及びＴ２時点におけるトラフィック統計データを別々に受信する段階と、
    前記ＳＤＮコントローラが、各オンライン仮想マシンの前記エッジスイッチの前記Ｔ１時点における前記トラフィック統計データと前記Ｔ２時点における前記トラフィック統計データとの間の差異に従って、各オンライン仮想マシンの前記トラフィック負荷情報を取得する段階と
    を含む、
    請求項３に記載の方法。
  5. 前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の各オンライン仮想マシンのエッジスイッチにトラフィック統計データ抽出要求を定期的に前記送出する段階の前に、
    前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の各オンライン仮想マシンの前記エッジスイッチにトラフィック監視命令を送出する段階をさらに備え、
    前記トラフィック監視命令は、判定された前記サービスクラスタ内の各オンライン仮想マシンの前記エッジスイッチに、前記ＳＤＮコントローラが送出した転送フローテーブルに対応するパケットトラフィック統計データを収集するよう命令するのに用いられる、
    請求項４に記載の方法。
  6. 前記ＳＤＮコントローラが、各オンライン仮想マシンの前記エッジスイッチの前記Ｔ１時点における前記トラフィック統計データと前記Ｔ２時点における前記トラフィック統計データとの間の差異に従って、各オンライン仮想マシンの前記トラフィック負荷情報を前記取得する段階の前に、
    前記ＳＤＮコントローラが、前記Ｔ１時点における各オンライン仮想マシンのサービス応答トラフィックを前記Ｔ１時点における前記トラフィック統計データから抽出する段階、及び前記ＳＤＮコントローラが、前記Ｔ２時点における各オンライン仮想マシンのサービス応答トラフィックを前記Ｔ２時点における前記トラフィック統計データから抽出する段階と
    前記ＳＤＮコントローラが、前記Ｔ１時点における前記サービス応答トラフィックと前記Ｔ２時点における前記サービス応答トラフィックとの間の差異を各オンライン仮想マシンの前記トラフィック負荷情報として用いる段階と
    をさらに備える
    請求項５に記載の方法。
  7. ソフトウェア定義型データセンターにおけるサービスクラスタトラフィック監視方法であって、前記ソフトウェア定義型データセンターは、ソフトウェア定義型ネットワーキング（ＳＤＮ）コントローラと複数のエッジスイッチとを備え、前記複数のエッジスイッチは前記ＳＤＮコントローラに通信可能に接続され、第１のサービスクラスタ及び第２のサービスクラスタが前記ソフトウェア定義型データセンターにさらに展開され、
    前記ＳＤＮコントローラが、サービスクラスタ内の各オンライン仮想マシンのエッジスイッチにトラフィック統計データ抽出要求を定期的に送出する段階であって、前記サービスクラスタは、前記第１のサービスクラスタ及び前記第２のサービスクラスタからのサービスリクエストパケット中の宛先ＩＰアドレス情報に従って前記ＳＤＮコントローラにより判定され、前記第１のサービスクラスタは第１のＩＰアドレスを共有する少なくとも２つのオンライン仮想マシンを含み、前記第２のサービスクラスタは第２のＩＰアドレスを共有する少なくとも２つの仮想マシンを含み、前記第１のＩＰアドレスは前記第２のＩＰアドレスとは異なり、前記サービスリクエストパケットは第２のエッジスイッチにより前記ＳＤＮコントローラに報告される、段階と、
    前記ＳＤＮコントローラが、各オンライン仮想マシンの前記エッジスイッチによりフィードバックされるＴ１時点におけるトラフィック統計データ及びＴ２時点におけるトラフィック統計データを別々に受信する段階と、
    前記ＳＤＮコントローラが、各オンライン仮想マシンの前記エッジスイッチの前記Ｔ１時点における前記トラフィック統計データと前記Ｔ２時点における前記トラフィック統計データとの間の差異に従って、各オンライン仮想マシンのトラフィック負荷情報を取得する段階と、
    前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の前記少なくとも２つのオンライン仮想マシンに対して負荷監視を実行し、負荷監視結果を定期的に取得する段階であって、前記負荷監視はリソース負荷監視又はトラフィック負荷監視を含む、取得する段階と
    を備え、
    前記ＳＤＮコントローラは、負荷分散装置としての機能を有し、ユーザトラフィックをＳＤＮネットワークの入り口でエッジスイッチに分配し、前記サービスクラスタの健全性チェックと、前記リソース負荷監視又は前記トラフィック負荷監視とに基づいて最適経路を選択する
    方法。
  8. 前記ＳＤＮコントローラが、判定された前記サービスクラスタ内の各オンライン仮想マシンの前記エッジスイッチにトラフィック監視命令を送出する段階であって、前記トラフィック監視命令は、判定された前記サービスクラスタ内の各オンライン仮想マシンの前記エッジスイッチに、前記ＳＤＮコントローラが送出した転送フローテーブルに対応するパケットトラフィック統計データを収集するよう命令するのに用いられる、送出する段階をさらに備える、
    請求項７に記載の方法。
  9. 前記ＳＤＮコントローラが、各オンライン仮想マシンの前記エッジスイッチの前記Ｔ１時点における前記トラフィック統計データと前記Ｔ２時点における前記トラフィック統計データとの間の差異に従って、各オンライン仮想マシンのトラフィック負荷情報を前記取得する段階は特に、
    前記ＳＤＮコントローラが、前記Ｔ１時点における各オンライン仮想マシンのサービス応答トラフィックを前記Ｔ１時点における前記トラフィック統計データから抽出する段階、及び前記ＳＤＮコントローラが、前記Ｔ２時点における各オンライン仮想マシンのサービス応答トラフィックを前記Ｔ２時点における前記トラフィック統計データから抽出する段階と
    前記ＳＤＮコントローラが、前記Ｔ１時点における前記サービス応答トラフィックと前記Ｔ２時点における前記サービス応答トラフィックとの間の差異を各オンライン仮想マシンの前記トラフィック負荷情報として用いる段階と
    を備える
    請求項７又は８に記載の方法。
  10. ソフトウェア定義型ネットワーキング（ＳＤＮ）コントローラと複数のエッジスイッチとを備えたソフトウェア定義型データセンターであって、前記複数のエッジスイッチは前記ＳＤＮコントローラに通信可能に接続され、第１のサービスクラスタ及び第２のサービスクラスタが前記ソフトウェア定義型データセンターに展開され、
    前記複数のエッジスイッチは、前記ＳＤＮコントローラにパケット転送情報を要求し、前記ＳＤＮコントローラが送出した転送フローテーブルに従ってパケットを転送し、
    前記ＳＤＮコントローラは、ユーザがアクセスするエッジスイッチである第２のエッジスイッチにより報告された前記ユーザのサービス要求パケットを受信し、前記サービス要求パケット内の宛先ＩＰアドレス情報に従って、前記第１のサービスクラスタ及び前記第２のサービスクラスタからの前記サービス要求パケットに対応するサービスクラスタを判定し、前記第１のサービスクラスタは、第１のＩＰアドレスを共有する少なくとも２つのオンライン仮想マシンを含み、前記第２のサービスクラスタは、第２のＩＰアドレスを共有する少なくとも２つのオンライン仮想マシンを含み、前記第１のＩＰアドレスは前記第２のＩＰアドレスとは異なり、前記ＳＤＮコントローラは、負荷分散ポリシに従って、判定された前記サービスクラスタ内の前記少なくとも２つのオンライン仮想マシンから、前記ユーザにサービスを提供するターゲット仮想マシンを選択し、前記ターゲット仮想マシンと前記ユーザとの間の転送情報を決定し、前記転送情報に従って、第１の転送フローテーブル及び第２の転送フローテーブルを生成し、前記第１の転送フローテーブルを前記ターゲット仮想マシンの前記エッジスイッチに送出し、前記第２の転送フローテーブルを前記第２のエッジスイッチに送出し、前記第１の転送フローテーブルは、前記ターゲット仮想マシンの前記エッジスイッチがパケットを転送するのに用いられ、前記第２の転送フローテーブルは、前記第２のエッジスイッチがパケットを転送するのに用いられ、前記ＳＤＮコントローラは、判定された前記サービスクラスタ内の前記少なくとも２つのオンライン仮想マシンに対して負荷監視を実行し、負荷監視結果を定期的に取得し、前記負荷監視はリソース負荷監視又はトラフィック負荷監視を含み、
    前記ＳＤＮコントローラは、負荷分散装置としての機能を有し、ユーザトラフィックをＳＤＮネットワークの入り口でエッジスイッチに分配し、前記サービスクラスタの健全性チェックと、前記リソース負荷監視又は前記トラフィック負荷監視とに基づいて最適経路を選択する、
    ソフトウェア定義型データセンター。
  11. 前記ＳＤＮコントローラが前記ターゲット仮想マシンを選択することは特に、判定された前記サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を取得すること、及び最小リソース負荷を有する仮想マシンを前記ターゲット仮想マシンとして選択すること、又は最小トラフィック負荷を有する仮想マシンを前記ターゲット仮想マシンとして選択することを含む、
    請求項１０に記載のソフトウェア定義型データセンター。
  12. 前記負荷監視結果は、判定された前記サービスクラスタ内の各オンライン仮想マシンのリソース負荷情報又はトラフィック負荷情報を含む、
    請求項１１に記載のソフトウェア定義型データセンター。
  13. ソフトウェア定義型ネットワーキング（ＳＤＮ）コントローラと複数のエッジスイッチとを備えたソフトウェア定義型データセンターであって、前記複数のエッジスイッチは前記ＳＤＮコントローラに通信可能に接続され、第１のサービスクラスタ及び第２のサービスクラスタが前記ソフトウェア定義型データセンターに展開され、
    前記複数のエッジスイッチは、前記ＳＤＮコントローラにパケット転送情報を要求し、前記ＳＤＮコントローラが送出した転送フローテーブルに従ってパケットを転送し、
    前記ＳＤＮコントローラは、サービスクラスタ内の各オンライン仮想マシンのエッジスイッチにトラフィック統計データ抽出要求を定期的に送出し、前記サービスクラスタは、前記第１のサービスクラスタ及び前記第２のサービスクラスタからのサービスリクエストパケット中の宛先ＩＰアドレス情報に従って、前記ＳＤＮコントローラにより判定され、前記第１のサービスクラスタは、第１のＩＰアドレスを共有する少なくとも２つのオンライン仮想マシンを含み、前記第２のサービスクラスタは、第２のＩＰアドレスを共有する少なくとも２つのオンライン仮想マシンを含み、前記第１のＩＰアドレスは前記第２のＩＰアドレスとは異なり、前記サービスリクエストパケットは第２のエッジスイッチにより前記ＳＤＮコントローラに報告され、前記ＳＤＮコントローラは、各オンライン仮想マシンの前記エッジスイッチによりフィードバックされるＴ１時点におけるトラフィック統計データ及びＴ２時点におけるトラフィック統計データを別々に受信し、各オンライン仮想マシンの前記エッジスイッチの前記Ｔ１時点における前記トラフィック統計データと前記Ｔ２時点における前記トラフィック統計データとの間の差異に従って、各オンライン仮想マシンのトラフィック負荷情報を取得し、前記ＳＤＮコントローラは、判定された前記サービスクラスタ内の前記少なくとも２つのオンライン仮想マシンに対して負荷監視を実行し、負荷監視結果を定期的に取得し、前記負荷監視はリソース負荷監視又はトラフィック負荷監視を含み、
    前記ＳＤＮコントローラは、負荷分散装置としての機能を有し、ユーザトラフィックをＳＤＮネットワークの入り口でエッジスイッチに分配し、前記サービスクラスタの健全性チェックと、前記リソース負荷監視又は前記トラフィック負荷監視とに基づいて最適経路を選択する、
    ソフトウェア定義型データセンター。
  14. 前記ＳＤＮコントローラはさらに、判定された前記サービスクラスタ内の各オンライン仮想マシンの前記エッジスイッチにトラフィック監視命令を送出し、前記トラフィック監視命令は、判定された前記サービスクラスタの各オンライン仮想マシンの前記エッジスイッチに、前記ＳＤＮコントローラが送出した前記転送フローテーブルに対応するパケットトラフィック統計データを収集するよう命令するのに用いられる、
    請求項１３に記載のソフトウェア定義型データセンター。
  15. 前記ＳＤＮコントローラは特に、前記Ｔ１時点における各オンライン仮想マシンのサービス応答トラフィックを前記Ｔ１時点における前記トラフィック統計データから抽出し、前記Ｔ２時点における各オンライン仮想マシンのサービス応答トラフィックを前記Ｔ２時点における前記トラフィック統計データから抽出し、前記Ｔ１時点における前記サービス応答トラフィックと前記Ｔ２時点における前記サービス応答トラフィックとの間の差異を各オンライン仮想マシンの前記トラフィック負荷情報として用いる、
    請求項１３又は１４に記載のソフトウェア定義型データセンター。
  16. プロセッサと、
    メモリと、
    バスと、
    通信インタフェースと
    を備えたコンピューティングデバイスであって、
    前記メモリは実行命令を格納し、前記プロセッサ及び前記メモリは前記バスを用いて接続され、前記コンピューティングデバイスが動作すると、前記コンピューティングデバイスが請求項１から６のいずれか一項に記載の方法を実行するように、前記プロセッサは前記メモリに格納された前記実行命令を実行する、
    コンピューティングデバイス。
  17. プロセッサと、
    メモリと、
    バスと、
    通信インタフェースと
    を備えたコンピューティングデバイスであって、
    前記メモリは実行命令を格納し、前記プロセッサ及び前記メモリは前記バスを用いて接続され、前記コンピューティングデバイスが動作すると、前記コンピューティングデバイスが請求項７から９のいずれか一項に記載の方法を実行するように、前記プロセッサは前記メモリに格納された前記実行命令を実行する、
    コンピューティングデバイス。
JP2017534615A 2015-12-31 2015-12-31 ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法 Active JP6835444B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/100073 WO2017113273A1 (zh) 2015-12-31 2015-12-31 一种软件定义数据中心及其中的服务集群的调度和流量监控方法

Publications (2)

Publication Number Publication Date
JP2018504038A JP2018504038A (ja) 2018-02-08
JP6835444B2 true JP6835444B2 (ja) 2021-02-24

Family

ID=59224103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017534615A Active JP6835444B2 (ja) 2015-12-31 2015-12-31 ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法

Country Status (5)

Country Link
US (1) US10601728B2 (ja)
EP (1) EP3229405B1 (ja)
JP (1) JP6835444B2 (ja)
CN (1) CN108293009B (ja)
WO (1) WO2017113273A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277554B1 (ko) * 2021-03-29 2021-07-15 한화시스템(주) 소프트웨어 정의 네트워크에서의 스위치 마이그레이션을 제공하는 컨트롤러 및 방법

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10749711B2 (en) 2013-07-10 2020-08-18 Nicira, Inc. Network-link method useful for a last-mile connectivity in an edge-gateway multipath system
US10454714B2 (en) 2013-07-10 2019-10-22 Nicira, Inc. Method and system of overlay flow control
US11533255B2 (en) 2014-11-14 2022-12-20 Nicira, Inc. Stateful services on stateless clustered edge
US10425382B2 (en) 2015-04-13 2019-09-24 Nicira, Inc. Method and system of a cloud-based multipath routing protocol
US10498652B2 (en) 2015-04-13 2019-12-03 Nicira, Inc. Method and system of application-aware routing with crowdsourcing
US10135789B2 (en) 2015-04-13 2018-11-20 Nicira, Inc. Method and system of establishing a virtual private network in a cloud service for branch networking
US11070628B1 (en) 2016-05-26 2021-07-20 Nutanix, Inc. Efficient scaling of computing resources by accessing distributed storage targets
US11706127B2 (en) 2017-01-31 2023-07-18 Vmware, Inc. High performance software-defined core network
US20180219765A1 (en) 2017-01-31 2018-08-02 Waltz Networks Method and Apparatus for Network Traffic Control Optimization
US10992568B2 (en) 2017-01-31 2021-04-27 Vmware, Inc. High performance software-defined core network
US20200036624A1 (en) 2017-01-31 2020-01-30 The Mode Group High performance software-defined core network
US11252079B2 (en) 2017-01-31 2022-02-15 Vmware, Inc. High performance software-defined core network
US10992558B1 (en) 2017-11-06 2021-04-27 Vmware, Inc. Method and apparatus for distributed data network traffic optimization
US11121962B2 (en) 2017-01-31 2021-09-14 Vmware, Inc. High performance software-defined core network
US10778528B2 (en) 2017-02-11 2020-09-15 Nicira, Inc. Method and system of connecting to a multipath hub in a cluster
US10574528B2 (en) 2017-02-11 2020-02-25 Nicira, Inc. Network multi-source inbound quality of service methods and systems
WO2018188728A1 (en) * 2017-04-10 2018-10-18 Nokia Solutions And Networks Oy Handover with no or limited mme involvement
US11429410B2 (en) * 2017-05-09 2022-08-30 Vmware, Inc. Tag based firewall implementation in software defined networks
US10523539B2 (en) 2017-06-22 2019-12-31 Nicira, Inc. Method and system of resiliency in cloud-delivered SD-WAN
CN107276662B (zh) * 2017-07-27 2019-12-03 大连大学 一种软件定义空间信息网络多控制器动态部署方法
US11570092B2 (en) 2017-07-31 2023-01-31 Nicira, Inc. Methods for active-active stateful network service cluster
US10951584B2 (en) 2017-07-31 2021-03-16 Nicira, Inc. Methods for active-active stateful network service cluster
US11296984B2 (en) * 2017-07-31 2022-04-05 Nicira, Inc. Use of hypervisor for active-active stateful network service cluster
CN107689992A (zh) * 2017-08-24 2018-02-13 南京南瑞集团公司 一种高性能的防火墙集群实现方法
US11089111B2 (en) 2017-10-02 2021-08-10 Vmware, Inc. Layer four optimization for a virtual network defined over public cloud
US10999165B2 (en) 2017-10-02 2021-05-04 Vmware, Inc. Three tiers of SaaS providers for deploying compute and network infrastructure in the public cloud
US10999100B2 (en) 2017-10-02 2021-05-04 Vmware, Inc. Identifying multiple nodes in a virtual network defined over a set of public clouds to connect to an external SAAS provider
US11115480B2 (en) 2017-10-02 2021-09-07 Vmware, Inc. Layer four optimization for a virtual network defined over public cloud
US11005684B2 (en) 2017-10-02 2021-05-11 Vmware, Inc. Creating virtual networks spanning multiple public clouds
US10959098B2 (en) 2017-10-02 2021-03-23 Vmware, Inc. Dynamically specifying multiple public cloud edge nodes to connect to an external multi-computer node
US11223514B2 (en) 2017-11-09 2022-01-11 Nicira, Inc. Method and system of a dynamic high-availability mode based on current wide area network connectivity
TWI642285B (zh) * 2018-02-02 2018-11-21 思銳科技股份有限公司 網路交換機的主機狀態偵測方法與系統
US11153122B2 (en) 2018-02-19 2021-10-19 Nicira, Inc. Providing stateful services deployed in redundant gateways connected to asymmetric network
US10922142B2 (en) 2018-10-31 2021-02-16 Nutanix, Inc. Multi-stage IOPS allocation
CN111182011B (zh) * 2018-11-09 2022-06-10 中移（杭州）信息技术有限公司 一种服务集分配方法及装置
US11171834B1 (en) * 2018-11-16 2021-11-09 Juniper Networks, Inc. Distributed virtualized computing infrastructure management
US11070475B2 (en) * 2018-12-13 2021-07-20 Google Llc Transparent migration of virtual network functions
JP7225845B2 (ja) * 2019-01-28 2023-02-21 日本電気株式会社 装置状態管理装置、装置の状態の管理方法及びプログラム
CN109885316B (zh) * 2019-02-18 2023-05-09 国家计算机网络与信息安全管理中心 基于kubernetes的hdfs-hbase部署方法及装置
US11595303B2 (en) * 2019-06-10 2023-02-28 Vmware, Inc. Packet handling in software-defined net working (SDN) environments
CN112087312B (zh) * 2019-06-15 2023-02-03 华为云计算技术有限公司 一种提供边缘服务的方法、装置和设备
CN112242949A (zh) * 2019-07-18 2021-01-19 厦门网宿有限公司 路由分发方法及控制器、信息路由方法及网络节点设备
US11310170B2 (en) 2019-08-27 2022-04-19 Vmware, Inc. Configuring edge nodes outside of public clouds to use routes defined through the public clouds
US11044190B2 (en) 2019-10-28 2021-06-22 Vmware, Inc. Managing forwarding elements at edge nodes connected to a virtual network
US11489783B2 (en) 2019-12-12 2022-11-01 Vmware, Inc. Performing deep packet inspection in a software defined wide area network
US11394640B2 (en) 2019-12-12 2022-07-19 Vmware, Inc. Collecting and analyzing data regarding flows associated with DPI parameters
US11509578B2 (en) * 2019-12-13 2022-11-22 Cisco Technology, Inc. Flexible policy semantics extensions using dynamic tagging and manifests
US11606712B2 (en) 2020-01-24 2023-03-14 Vmware, Inc. Dynamically assigning service classes for a QOS aware network link
CN111327628B (zh) * 2020-03-04 2022-04-05 北京计算机技术及应用研究所 一种基于sdn的匿名通信***
CN111431996B (zh) * 2020-03-20 2022-08-09 北京百度网讯科技有限公司 用于资源配置的方法、装置、设备和介质
CN111786901B (zh) * 2020-05-21 2023-08-22 网宿科技股份有限公司 一种传输参数自适应调整方法及加速服务***
US11245641B2 (en) 2020-07-02 2022-02-08 Vmware, Inc. Methods and apparatus for application aware hub clustering techniques for a hyper scale SD-WAN
CN111737006B (zh) * 2020-07-20 2020-12-11 平安国际智慧城市科技股份有限公司 全网络交通调度优化方法、装置、计算机设备及存储介质
US11709710B2 (en) 2020-07-30 2023-07-25 Vmware, Inc. Memory allocator for I/O operations
EP3962004A1 (en) * 2020-08-27 2022-03-02 ABB Schweiz AG System and method for enabling tsn-stream configuration
KR102378817B1 (ko) * 2020-09-25 2022-03-29 주식회사 이노그리드 복수의 컴퓨팅 노드를 이용한 고성능 클라우드 서비스의 네트워크 격리를 위한 동적 클러스터 구성 방법 및 시스템
EP3975502B1 (de) * 2020-09-28 2023-07-26 Siemens Aktiengesellschaft Verfahren und system zur bereitstellung von zeitkritischen diensten mittels einer ablaufsteuerungsumgebung
US11223516B1 (en) * 2020-10-30 2022-01-11 Nutanix, Inc. Smart collection and processing in telemetry system
US11700178B2 (en) 2020-10-30 2023-07-11 Nutanix, Inc. System and method for managing clusters in an edge network
US11290330B1 (en) 2020-10-30 2022-03-29 Nutanix, Inc. Reconciliation of the edge state in a telemetry platform
CN112305973B (zh) * 2020-11-12 2021-07-27 中国电子科技集团公司第五十四研究所 一种基于链路属性的控制器集群负载分担方法
CN112311895B (zh) * 2020-11-12 2022-10-11 中国电子科技集团公司第五十四研究所 一种基于sdn的透明模式tcp流负载均衡方法及设备
CN112468408B (zh) * 2020-11-13 2023-10-03 中盈优创资讯科技有限公司 一种基于sdn的负载均衡实现方法及装置
US11575591B2 (en) 2020-11-17 2023-02-07 Vmware, Inc. Autonomous distributed forwarding plane traceability based anomaly detection in application traffic for hyper-scale SD-WAN
US11575600B2 (en) 2020-11-24 2023-02-07 Vmware, Inc. Tunnel-less SD-WAN
CN112583951B (zh) * 2020-12-03 2022-08-26 平安科技（深圳）有限公司 应用层双活方法、装置、设备及存储介质
CN112533020B (zh) * 2020-12-16 2021-10-22 华南理工大学 面向电视直播***的负载均衡动态组网***及方法
US11929903B2 (en) 2020-12-29 2024-03-12 VMware LLC Emulating packet flows to assess network links for SD-WAN
CN112787861B (zh) * 2020-12-31 2022-05-10 中国电子科技集团公司第五十四研究所 一种基于sdn的网络安全监测一体化可编程控制器
US11792127B2 (en) 2021-01-18 2023-10-17 Vmware, Inc. Network-aware load balancing
US11979325B2 (en) 2021-01-28 2024-05-07 VMware LLC Dynamic SD-WAN hub cluster scaling with machine learning
US12009987B2 (en) 2021-05-03 2024-06-11 VMware LLC Methods to support dynamic transit paths through hub clustering across branches in SD-WAN
US11509571B1 (en) 2021-05-03 2022-11-22 Vmware, Inc. Cost-based routing mesh for facilitating routing through an SD-WAN
US11729065B2 (en) 2021-05-06 2023-08-15 Vmware, Inc. Methods for application defined virtual network service among multiple transport in SD-WAN
CN113452676B (zh) * 2021-05-27 2022-05-10 鹏城实验室 一种检测器分配方法和物联网检测***
US12015536B2 (en) 2021-06-18 2024-06-18 VMware LLC Method and apparatus for deploying tenant deployable elements across public clouds based on harvested performance metrics of types of resource elements in the public clouds
US11489720B1 (en) 2021-06-18 2022-11-01 Vmware, Inc. Method and apparatus to evaluate resource elements and public clouds for deploying tenant deployable elements based on harvested performance metrics
US11375005B1 (en) 2021-07-24 2022-06-28 Vmware, Inc. High availability solutions for a secure access service edge application
US11943146B2 (en) 2021-10-01 2024-03-26 VMware LLC Traffic prioritization in SD-WAN
CN114124810B (zh) * 2021-11-26 2023-11-17 江苏省未来网络创新研究院 一种基于SDN与openfalcon架构的虚拟试验平台试验流量监控方法
CN114172789B (zh) * 2021-12-07 2023-11-10 北京天融信网络安全技术有限公司 虚拟设备链路探测方法、装置、设备及存储介质
US11799761B2 (en) 2022-01-07 2023-10-24 Vmware, Inc. Scaling edge services with minimal disruption
US11962564B2 (en) 2022-02-15 2024-04-16 VMware LLC Anycast address for network address translation at edge
CN114466017B (zh) * 2022-03-14 2024-03-12 阿里巴巴（中国）有限公司 kubernetes边缘集群的数据监测方法和装置
US11765065B1 (en) 2022-03-23 2023-09-19 Nutanix, Inc. System and method for scalable telemetry
US11909815B2 (en) 2022-06-06 2024-02-20 VMware LLC Routing based on geolocation costs
CN115150410B (zh) * 2022-07-19 2024-06-18 京东科技信息技术有限公司 多集群访问方法和***
CN115297124B (zh) * 2022-07-25 2023-08-04 天翼云科技有限公司 一种***运维管理方法、装置及电子设备
CN115378876B (zh) * 2022-07-29 2023-05-30 南京邮电大学 一种sdn环境下数据中心网络负载均衡方法
CN115442369B (zh) * 2022-09-02 2023-06-16 北京星汉未来网络科技有限公司 一种服务资源调度的方法、装置、存储介质及电子设备
CN118200178A (zh) * 2022-12-12 2024-06-14 上海诺基亚贝尔股份有限公司 软件定义网络控制器、网络设备、确定资源的方法及装置
CN117240787B (zh) * 2023-11-14 2024-03-01 鹏城实验室 交换机负载均衡方法、装置、电子设备及可读存储介质

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6772226B1 (en) * 2000-08-15 2004-08-03 Avaya Technology Corp. VPN device clustering using a network flow switch and a different mac address for each VPN device in the cluster
JP4351517B2 (ja) 2003-11-14 2009-10-28 株式会社日立製作所 データセンタの装置管理方法、装置管理サーバ、データセンタの装置管理システム並びにプログラム
JP4883979B2 (ja) * 2005-10-11 2012-02-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および通信制御方法
US8166187B2 (en) 2009-01-28 2012-04-24 Cisco Technology, Inc. Distributed IP gateway based on sharing a MAC address and IP address concurrently between a first network switching device and a second network switching device
US9817695B2 (en) * 2009-04-01 2017-11-14 Vmware, Inc. Method and system for migrating processes between virtual machines
CN101719082B (zh) * 2009-12-24 2013-01-02 中国科学院计算技术研究所 虚拟化计算平台中应用请求调度的方法及其***
JP5438624B2 (ja) * 2010-08-03 2014-03-12 日本電信電話株式会社 通信システム、制御サーバ、フロー制御方法およびそのプログラム
CN102307246B (zh) * 2010-09-25 2015-12-09 广东电子工业研究院有限公司 基于云计算的虚拟机间安全通信保护***
CN102025535B (zh) 2010-11-17 2012-09-12 福建星网锐捷网络有限公司 虚拟机管理方法、装置及网络设备
JP5896509B2 (ja) * 2011-07-13 2016-03-30 日本電信電話株式会社 クラスタリング通信システム
JP2013105308A (ja) * 2011-11-14 2013-05-30 Nippon Telegr & Teleph Corp <Ntt> 負荷分散システム、負荷分散装置、負荷分散方法および負荷分散プログラム
US20130159487A1 (en) 2011-12-14 2013-06-20 Microsoft Corporation Migration of Virtual IP Addresses in a Failover Cluster
JP2013235336A (ja) * 2012-05-07 2013-11-21 Keepdata Ltd コンピュータシステム
CN103580902B (zh) * 2012-08-07 2015-01-14 腾讯科技（深圳）有限公司 一种计算机信息***及其动态容灾方法
US8831000B2 (en) 2012-10-10 2014-09-09 Telefonaktiebolaget L M Ericsson (Publ) IP multicast service join process for MPLS-based virtual private cloud networking
CN103078965B (zh) 2012-12-25 2015-07-29 曙光云计算技术有限公司 虚拟机的ip地址管理方法
CN103905577A (zh) * 2012-12-28 2014-07-02 中兴通讯股份有限公司 一种地址解析协议报文的处理方法和***
CN103905317B (zh) * 2012-12-28 2017-05-03 中兴通讯股份有限公司 一种软件定义网络的报文处理方法和***
US9450981B2 (en) * 2013-03-14 2016-09-20 Radware, Ltd. System and method thereof for mitigating denial of service attacks in virtual networks
CN104243337B (zh) * 2013-06-09 2017-09-01 新华三技术有限公司 一种跨集群负载均衡的方法及装置
JP5813699B2 (ja) 2013-06-14 2015-11-17 日本電信電話株式会社 通信システム、管理装置、管理方法および管理プログラム
US9413485B2 (en) * 2013-06-24 2016-08-09 Nec Corporation Network followed by compute load balancing procedure for embedding cloud services in software-defined flexible-grid optical transport networks
EP3016321A4 (en) 2013-06-25 2017-02-22 Nec Corporation Communication system, apparatus, method and program
CN104253770B (zh) 2013-06-27 2017-07-14 新华三技术有限公司 实现分布式虚拟交换机***的方法及设备
KR20150030099A (ko) * 2013-09-11 2015-03-19 한국전자통신연구원 주소 결정 시스템 및 방법
CN104468462B (zh) 2013-09-12 2017-12-15 新华三技术有限公司 分布式虚拟交换机***的报文转发方法及设备
US9112794B2 (en) 2013-11-05 2015-08-18 International Business Machines Corporation Dynamic multipath forwarding in software defined data center networks
US9253026B2 (en) * 2013-12-18 2016-02-02 International Business Machines Corporation Software-defined networking disaster recovery
US9742632B2 (en) 2013-12-27 2017-08-22 Intel Corporation Hybrid SDN controller
CN104767676B (zh) * 2014-01-03 2017-12-12 华为技术有限公司 Sdn网络中的数据报文转发方法和***
CN103763367A (zh) * 2014-01-17 2014-04-30 浪潮(北京)电子信息产业有限公司 一种云计算数据中心分布式虚拟网络设计方法及***
CN103825838B (zh) * 2014-02-24 2017-11-10 上海交通大学 一种数据中心去带宽碎片化流调度方法
CN103795805B (zh) * 2014-02-27 2017-08-25 中国科学技术大学苏州研究院 基于sdn的分布式服务器负载均衡方法
US20150341377A1 (en) * 2014-03-14 2015-11-26 Avni Networks Inc. Method and apparatus to provide real-time cloud security
CN103973676B (zh) * 2014-04-21 2017-05-24 蓝盾信息安全技术股份有限公司 一种基于sdn的云计算安全保护***及方法
US10063473B2 (en) * 2014-04-30 2018-08-28 Brocade Communications Systems LLC Method and system for facilitating switch virtualization in a network of interconnected switches
EP2940581A1 (en) * 2014-04-30 2015-11-04 Alcatel Lucent Method for managing user requests in a distributed computing environment, distributed computing environment and computer program product
CN104301247A (zh) 2014-10-29 2015-01-21 杭州华三通信技术有限公司 一种pppoe接入设备负载均衡的方法和装置
KR102233645B1 (ko) * 2014-11-11 2021-03-30 한국전자통신연구원 가상 네트워크 기반 분산 다중 도메인 라우팅 제어 시스템 및 라우팅 제어 방법
CN104486103B (zh) 2014-12-03 2018-03-16 新华三技术有限公司 一种报文传输的方法和设备
CN104506408B (zh) * 2014-12-31 2018-02-06 新华三技术有限公司 基于sdn的数据传输的方法及装置
CN104853001B (zh) 2015-04-21 2019-06-07 新华三技术有限公司 一种arp报文的处理方法和设备
US10021216B2 (en) * 2015-05-25 2018-07-10 Juniper Networks, Inc. Monitoring services key performance indicators using TWAMP for SDN and NFV architectures
CN105207856A (zh) * 2015-10-28 2015-12-30 广州西麦科技股份有限公司 一种基于sdn虚拟交换机的负载均衡的***及方法
US10868742B2 (en) * 2017-03-29 2020-12-15 Juniper Networks, Inc. Multi-cluster dashboard for distributed virtualization infrastructure element monitoring and policy control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277554B1 (ko) * 2021-03-29 2021-07-15 한화시스템(주) 소프트웨어 정의 네트워크에서의 스위치 마이그레이션을 제공하는 컨트롤러 및 방법

Also Published As

Publication number Publication date
CN108293009A (zh) 2018-07-17
US20180278541A1 (en) 2018-09-27
EP3229405A1 (en) 2017-10-11
EP3229405A4 (en) 2018-05-23
US10601728B2 (en) 2020-03-24
CN108293009B (zh) 2021-05-18
EP3229405B1 (en) 2020-07-15
JP2018504038A (ja) 2018-02-08
WO2017113273A1 (zh) 2017-07-06

Similar Documents

Publication Publication Date Title
JP6835444B2 (ja) ソフトウェア定義型データセンター、並びにそのためのサービスクラスタスケジューリング方法及びトラフィック監視方法
US11237858B2 (en) Software-defined data center, and deployment method for service cluster therein
Xu et al. Survivable virtual infrastructure mapping in virtualized data centers
US8879396B2 (en) System and method for using dynamic allocation of virtual lanes to alleviate congestion in a fat-tree topology
US9584369B2 (en) Methods of representing software defined networking-based multiple layer network topology views
US10469629B2 (en) Container networking for connecting network controller applications to a switch fabric
US20170111230A1 (en) Hybrid control/data plane for packet brokering orchestration
JP6432955B2 (ja) 仮想ネットワーク機能インスタンスをマイグレーションさせるための方法、装置およびシステム
CN103997513A (zh) 一种可编程虚拟网络服务***
Xu et al. Enhancing survivability in virtualized data centers: A service-aware approach
CN109960634A (zh) 一种应用程序监控方法、装置及***
US9634894B2 (en) Network service aware routers, and applications thereof
CN106878090B (zh) 支持多样性架构组件的软件定义网络控制器
JP6604336B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
Liu et al. An experimental study on dynamic network reconfiguration in a virtualized network environment using autonomic management
JP5063726B2 (ja) 仮想ノード装置のコンフィグ制御方法
CN113783738A (zh) 一种高可扩展性的sdn北向接口实现方法
CN116915837B (zh) 基于软件定义网络的通信方法及通信***
WO2022044546A1 (ja) 通信システムおよびその障害復旧方法
JP2017022579A (ja) 通信システム、通信ノード、および通信システムにおける代替処理方法
CN116346727A (zh) 一种虚拟机的网络限速方法、装置、设备及介质
Guay et al. A scalable method for signalling dynamic reconfiguration events with opensm
CN115883662A (zh) 存储***及其调度方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181031

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190529

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190529

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190605

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190611

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190719

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191023

C092 Termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C092

Effective date: 20191029

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200414

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200512

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200630

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200707

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201109

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201117

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201201

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210105

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210202

R150 Certificate of patent or registration of utility model

Ref document number: 6835444

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250