JP7316390B2 - ソフトウェア定義ネットワークにおける切断されたノードのピア発見プロセス - Google Patents

ソフトウェア定義ネットワークにおける切断されたノードのピア発見プロセス Download PDF

Info

Publication number
JP7316390B2
JP7316390B2 JP2021577115A JP2021577115A JP7316390B2 JP 7316390 B2 JP7316390 B2 JP 7316390B2 JP 2021577115 A JP2021577115 A JP 2021577115A JP 2021577115 A JP2021577115 A JP 2021577115A JP 7316390 B2 JP7316390 B2 JP 7316390B2
Authority
JP
Japan
Prior art keywords
network
peer
network node
controller
health report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021577115A
Other languages
English (en)
Other versions
JP2022542001A (ja
Inventor
プラブ,ヴィナイ
エヴァンズ,サラ,アデレード
パレク,ジガル,ディネシュ
ランガスワーミー,スーラジ
Original Assignee
シスコ テクノロジー,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シスコ テクノロジー,インコーポレイテッド filed Critical シスコ テクノロジー,インコーポレイテッド
Publication of JP2022542001A publication Critical patent/JP2022542001A/ja
Application granted granted Critical
Publication of JP7316390B2 publication Critical patent/JP7316390B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1061Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/065Generation of reports related to network devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/20Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/64Routing or path finding of packets in data switching networks using an overlay routing layer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0659Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities
    • H04L41/0661Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities by reconfiguring faulty entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Description

関連出願の相互参照
本出願は、2019年7月30日に出願された「PEER DISCOVERY PROCESS FOR DISCONNECTED NODES IN A SOFTWARE DEFINEDNETWORK」と題された米国非仮特許出願第16/526,722号の利益および優先権を主張し、その内容は、参照によりその全体が本明細書に明示的に組み込まれる。
本開示の主題は、概して、コンピュータネットワーキングの分野に関し、より詳細には、ソフトウェア定義ネットワークにおけるアクセス可能/切断されたノードのピア発見プロセスのためのシステムおよび方法に関する。
構内ネットワークは、オフィス、病院、カレッジおよび大学、石油およびガス施設、工場、ならびに同様の場所などの環境内で、コンピューティングデバイス(例えば、サーバ、ワークステーション、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、携帯電話など)やモノ(例えば、卓上電話、防犯カメラ、照明、暖房、換気、および空調(HVAC)、窓、ドア、ロック、医療デバイス、産業および製造機器など)への接続を提供するソフトウェア定義ネットワーク(SD-WAN)とすることができる。構内ネットワークが直面し得るいくつかの固有の課題には、有線および無線デバイスの統合、ネットワーク内のどこにでも表れ得るコンピューティングデバイスやモノのオンボーディング、デバイスやモノがネットワーク内の場所から場所へ移動するときの接続の維持、ブリング・ヨア・オウン・デバイス(BYOD)機能のサポート、モノのインターネット(IoT)デバイスの接続と電力供給、ならびにWi-Fiアクセス、デバイスモビリティ、BYOD、およびIoTに関連付けられた脆弱性に拠らないネットワークのセキュリティ保護が含まれ得る。
SD-WANでのデバイスおよびノードの動作の監視は、vManageと呼ばれるネットワーク管理コンポーネントを介して可能である。vManageを介して、ネットワーク管理者は、ネットワークを監視およびデバッグし、切断されたノードを識別し、それらをデバッグ/修正することができる。vManageは、ネットワーク内のコントローラとエッジルータ(vEdge)間の制御プレーン接続に依拠して、エッジルータやコントローラ(例えば、vSmartコンポーネント)などのネットワーク内のコントローラノードの健全性に関するデータを収集する。しかしながら、そのような制御プレーン接続が失われると、vManageは、切断されたノードを識別するためのヘルスデータを受信できなくなる。
本開示ならびにその特徴および利点をより完全に理解してもらうために、添付の図面と併せて、以下の説明を参照する。
本開示の一態様によるネットワークアーキテクチャを示す。 本開示の一態様による、図1のネットワークアーキテクチャのネットワーク環境の一例を示す。 本開示の一態様による、図1および図2のネットワークにおける制御プレーンの接続の喪失後のパニックピア発見のプロセスを説明する。 本開示の一態様によるシステムの例を示す。 本開示の一態様によるシステムの例を示す。
例示的な実施形態の説明
本開示の様々な例示的な実施形態について、以下で詳細に論じる。特定の実装形態について論じるが、これは例示のみを目的として行われることを理解されたい。関連技術分野の当業者は、本開示の趣旨および範囲から離れることなく、他のコンポーネントおよび構成を使用することができることを認識するであろう。したがって、以下の説明および図面は例示的なものであり、限定的なものとして解釈されるべきではない。本開示を完全に理解してもらうために、多数の特定の詳細が説明される。しかしながら、特定の例において、説明を曖昧にすることを避けるために、周知のまたは従来技術の詳細は説明されていない。本開示における一実施形態または実施形態への言及は、同じ実施形態または任意の実施形態への言及であり得、このような言及は、実施形態のうちの少なくとも1つを意味する。
「一実施形態」または「実施形態」への言及は、実施形態に関連して記載された特定の特徴、構造、または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な場所における「一実施形態において」という語句の出現は、必ずしもすべてが同じ実施形態を指すわけではなく、他の実施形態を相互に排除する別個のまたは代替の実施形態でもない。さらに、いくつかの実施形態によって示され、他の実施形態によって示されない場合もある、様々な特徴が記載されている。
本開示の範囲を限定することを意図することなく、本開示の実施形態による機器、装置、方法、およびそれらに関連する結果の例を以下に示す。タイトルまたはサブタイトルは、読者の便宜のために例で使用される場合があり、決して、本開示の範囲を制限するものではないことに留意されたい。別段の定義がない限り、本明細書で使用される技術的および科学的用語は、本開示が属する技術分野の当業者によって一般的に理解される意味を有する。矛盾する場合は、定義を含む本文献が優先される。
本開示の追加の特徴および利点は、以下の説明に記載され、一部は説明から明らかであるか、または本明細書に開示された原理の実践によって学ぶことができる。本開示の特徴および利点は、添付の特許請求の範囲で特に指摘されている機器および組み合わせによって実現および取得することができる。本開示のこれらおよび他の特徴は、以下の説明および添付の特許請求の範囲からより完全に明らかになるか、または本明細書に記載の原理の実践によって学ぶことができる。
以下に記載される詳細な説明は、実施形態の様々な構成を説明することを意図しており、本開示の主題を実施することができる唯一の構成を表すことを意図するものではない。添付の図面は、本明細書に組み込まれ、詳細な説明の一部を構成する。詳細な説明は、本開示の主題のより完全な理解をもたらすことを目的とした特定の詳細を含む。しかしながら、本開示の主題が、本明細書に記載される特定の詳細に限定されず、これらの詳細なしで実施できることは、明らかであり、分かるであろう。場合によっては、本開示の主題の概念を曖昧にすることを回避するために、構造およびコンポーネントが、ブロック図で示される。
概要
本発明の態様は、独立請求項で述べられ、好ましい特徴は、従属請求項で述べられる。一態様の特徴は、単独で、または他の態様と組み合わせて、各態様に適用され得る。
上記のように、ソフトウェア定義ネットワーク(SD-WAN)でのデバイスおよびノードの動作の監視は、ネットワーク管理ノード(例えば、vManage)とネットワークコントローラ(例えば、vSmart)またはvEdgeなどのエッジルータとの間の制御プレーン接続が失われたとき、課題に直面し、なぜなら、このような接続が失われると、壊れたノードを監視およびデバッグするために必要な、ノードの健全性に関するデータをvManageが受信できなくなるからである。
以下に説明するように、本開示は、ピアノード発見プロセスを対象とする例示的な実施形態を提供し、それにより、ネットワーク管理ノードは、制御プレーンを介してネットワーク管理ノードへの接続を失ったアクセス不能ノードのピアを発見し、発見されたピアを介してアクセス不能ノードのヘルスレポートを受信することができる。
本明細書で説明するように、方法は、ネットワークノードへの接続の喪失を検出することと、ネットワークノードのタイプに基づいて、ネットワークノードのヘルスレポートを取得するために第1のプロセスまたは第2のプロセスのいずれかを実行することであって、第1のプロセスと第2のプロセスは、ネットワークノードのヘルスレポートが受信される少なくとも1つの対応するピアノードの識別を含む、実行することと、接続の喪失の根本的な原因を決定するために、ヘルスレポートを分析することと、を含む。
任意選択で、方法は、ネットワークノードがコントローラであると決定することと、ネットワークノードのヘルスレポートを取得するために第1のプロセスを実行することと、をさらに含む。
任意選択で、第1のプロセスは、ネットワークノードのピアコントローラを識別することと、パニック信号をピアコントローラに送信することと、パニック信号に応答してピアコントローラから確認応答を受信することと、ピアコントローラからネットワークノードのヘルスレポートを受信することと、を含む。
任意選択で、ピアコントローラは、ネットワークノードとフルメッシュであり、ネットワークノードと同じコントローラグループ識別子を有する。
任意選択で、方法は、ネットワークノードをエッジネットワークデバイスとして識別することと、ネットワークノードのヘルスレポートを取得するために第2のプロセスを実行することと、をさらに含む。
任意選択で、第2のプロセスは、対応するネットワークのデータプレーン上でピアエッジネットワークデバイスを識別することと、パニック信号をピアエッジネットワークデバイスに送信することと、パニック信号に応答してピアエッジネットワークデバイスから確認応答を受信することと、ピアエッジネットワークデバイスからネットワークノードのヘルスレポートを受信することと、を含む。
任意選択で、ピアエッジネットワークデバイスを識別することは、ネットワークノードが存在する各ゾーン内の各候補ピアエッジネットワークデバイスの加重スコアを決定することと、ピアエッジネットワークデバイスとして、すべての候補ピアエッジネットワークデバイスの中で最も高い加重スコアを持つ候補ピアエッジネットワークデバイスを選択することと、を含む。
任意選択で、加重スコアは、対応する候補ピアエッジネットワークデバイスの複数の要因の加重和であり、複数の要因の各々は、対応する候補ピアエッジネットワークデバイスの性能特性を示す。
本明細書でも説明するように、コントローラは、コンピュータ可読命令をその中に格納するメモリと、1つ以上のプロセッサとを含む。1つ以上のプロセッサは、ネットワークノードへの接続の喪失を検出することと、ネットワークノードのタイプに基づいて、ネットワークノードのヘルスレポートを取得するために第1のプロセスまたは第2のプロセスのいずれかを実行することであって、第1のプロセスと第2のプロセスは、ネットワークノードのヘルスレポートが受信される少なくとも1つの対応するピアノードの識別を含む、実行することと、接続の喪失の根本的な原因を決定するために、ヘルスレポートを分析することと、を行うために、コンピュータ可読命令を実行するように構成されている。
本明細書でも説明するように、1つ以上の非一時的なコンピュータ可読媒体は、コンピュータ可読命令を含み、これは、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、ネットワークノードへの接続の喪失を検出することと、ネットワークノードのタイプに基づいて、ネットワークノードのヘルスレポートを取得するために第1のプロセスまたは第2のプロセスのいずれかを実行することであって、第1のプロセスと第2のプロセスは、ネットワークノードのヘルスレポートが受信される少なくとも1つの対応するピアノードの識別を含む、実行することと、接続の喪失の根本的な原因を決定するために、ヘルスレポートを分析することと、を行わせる。
上記で簡単に述べたパニックピア選択プロセスを説明する前に、企業ネットワークとしてのSD-WANの物理的および論理的アーキテクチャのいくつかの例を図1~図3を参照して説明する。
図1は、本開示の一態様によるネットワークアーキテクチャを示す。ネットワークアーキテクチャ100の実装形態の例は、Cisco(登録商標)ソフトウェア定義ワイドエリアネットワーク(SD-WAN)アーキテクチャである。ただし、当業者は、ネットワークアーキテクチャ100および本開示で論じられる任意の他のシステムについて、同様のまたは代替の構成で追加のまたはより少ないコンポーネントが存在し得ることを理解するであろう。本開示で提供される説明図および例は、簡潔さおよび明快さのためである。他の例示的な実施形態は、異なる数および/またはタイプの要素を含み得るが、当業者は、そのような変形例が本開示の範囲から逸脱しないことを理解するであろう。
この例では、ネットワークアーキテクチャ100は、オーケストレーションプレーン102、管理プレーン120、制御プレーン130、およびデータプレーン140を含むことができる。オーケストレーションプレーン102は、オーバーレイネットワークにおけるエッジネットワークデバイス142(例えば、スイッチ、ルータなど)の自動オンボーディングを支援することができる。オーケストレーションプレーン102は、1つ以上の物理または仮想ネットワークオーケストレータアプライアンス104を含むことができる。ネットワークオーケストレータアプライアンス104は、エッジネットワークデバイス142の初期認証を実行し、制御プレーン130のデバイスおよびデータプレーン140のデバイス間の接続性をオーケストレートすることができる。いくつかの例示的な実施形態では、ネットワークオーケストレータアプライアンス104はまた、ネットワークアドレス変換(NAT)の背後に位置するデバイスの通信を可能にすることもできる。いくつかの例示的な実施形態では、物理的または仮想的なCisco(登録商標)SD-WAN vBondアプライアンスは、ネットワークオーケストレータアプライアンス104として動作することができる。
管理プレーン120は、ネットワークの集中構成および監視を担当することができる。管理プレーン120は、1つ以上の物理または仮想ネットワーク管理アプライアンス122を含むことができる。ネットワーク管理アプライアンス122は、グラフィカルユーザインターフェースを介してネットワークの集中型管理を提供して、ユーザがアンダーレイおよびオーバーレイネットワークにおけるエッジネットワークデバイス142およびリンク(例えば、インターネットトランスポートネットワーク160、マルチプロトコルラベルスイッチング(MPLS)ネットワーク162、4G/LTEネットワーク164)を監視、構成、および維持することを可能にすることができる。ネットワーク管理アプライアンス122は、マルチテナントをサポートし、異なるエンティティ(例えば、企業、企業内の部門、部門内のグループなど)と関連付けられた論理的に分離されたネットワークの集中型管理を可能にすることができる。代替的に、または加えて、ネットワーク管理アプライアンス122は、単一のエンティティのための専用のネットワーク管理システムであり得る。いくつかの例示的な実施形態では、物理的または仮想的なCisco(登録商標)SD-WAN vManageアプライアンスは、ネットワーク管理アプライアンス122として動作することができる。
管理プレーン120はまた、最高および最低の性能のアプリケーション、最も帯域幅を消費するアプリケーション、異常なアプリケーションファミリ(例えば、帯域幅消費が一定期間にわたって変化するアプリケーション)、ネットワーク可用性および回線可用性、キャリアヘルス、最高および最低の性能のトンネルなど、アプリケーションおよびネットワークの性能を経時的に可視化するためのアナリティクスエンジン124を含むことができる。アナリティクスエンジン124は、オーバーレイネットワークのグラフィカル表現を生成し、かつユーザがドリルダウンして特定の時間に単一のキャリア、トンネル、またはアプリケーションの特性を表示することを可能にし得、ネットワーク管理アプライアンス122(例えば、vManage)のユーザインターフェースを介してネットワーク管理者に同じものを提示することができる。ユーザインターフェースは、ネットワークのインタラクティブな概要、およびさらなる詳細の入口点として機能することができる。いくつかの例示的な実施形態では、ユーザインターフェースは、過去24時間の情報を表示し、ユーザがドリルダウンして、異なるデータセットを表示する異なる時間期間を選択することを可能にすることができる。ユーザインターフェースはまた、ネットワークアナリティクスの中でもとりわけ、ネットワーク可用性、キャリアによるWAN性能、アプリケーションについてのデータを表示することもできる。
いくつかの例示的な実施形態では、アナリティクスエンジン124は、個々のアプリケーション用にカスタマイズできる仮想体験品質(vQoE)値を含むアプリケーション性能を提供することができる。この値は、0~10の範囲を取り、0が最低の性能、10が最高の性能である。アナリティクスエンジンは、遅延、損失、およびジッタに基づいてvQoEを計算し、アプリケーションごとに計算をカスタマイズすることができる。
制御プレーン130は、ネットワークトポロジーを構築および維持し、トラフィックが流れる場所を決定することができる。制御プレーン130は、1つ以上の物理または仮想ネットワークコントローラアプライアンス132を含むことができる。ネットワークコントローラアプライアンス132は、各エッジネットワークデバイス142へのセキュアな接続を確立し、制御プレーンプロトコル(例えば、Overlay Management Protocol(OMP)、Open Shortest Path First(OSPF)、Intermediate System to Intermediate System(IS-IS)、Border Gateway Protocol(BGP)、Protocol-Independent Multicast(PIM)、Internet Group Management Protocol(IGMP)、Internet Control Message Protocol(ICMP)、Address Resolution Protocol(ARP)、Bidirectional Forwarding Detection(BFD)、Link Aggregation Control Protocol(LACP)など)を介してルート情報およびポリシー情報を配信することができる。いくつかの例示的な実施形態では、ネットワークコントローラアプライアンス132は、ルートリフレクタとして動作することができる。ネットワークコントローラアプライアンス132はまた、エッジネットワークデバイス142間のデータプレーン140内のセキュアな接続をオーケストレートすることもできる。例えば、いくつかの例示的な実施形態では、ネットワークコントローラアプライアンス132は、エッジネットワークデバイス142間で暗号鍵情報を配信することができる。これにより、ネットワークは、インターネットキー交換(IKE)なしで、セキュアなネットワークプロトコルまたはアプリケーション(例えば、インターネットプロトコルセキュリティ(IPSec)、トランスポート層セキュリティ(TLS)、セキュアシェル(SSH)など)をサポートし、ネットワークのスケーラビリティを可能にすることができる。いくつかの例示的な実施形態では、物理的または仮想的なCisco(登録商標)SD-WAN vSmartコントローラは、ネットワークコントローラアプライアンス132として動作することができる。
データプレーン140は、制御プレーン130からの決定に基づいてパケットを転送することを担当することができる。データプレーン140は、物理または仮想ネットワークデバイスであり得るエッジネットワークデバイス142を含むことができる。エッジネットワークデバイス142は、1つ以上のデータセンターもしくはコロケーションセンター150、構内ネットワーク152、ブランチオフィスネットワーク154、ホームオフィスネットワーク156などにおいて、またはクラウド(例えば、Infrastructure as a Service(IaaS)、Platform as a Service(PaaS)、SaaS、および他のクラウドサービスプロバイダネットワーク)においてなど、組織と関連付けられた様々なネットワークサイトの端部で動作することができる。エッジネットワークデバイス142は、1つ以上のインターネットトランスポートネットワーク160(例えば、デジタル加入者回線(DSL)、ケーブルなど)、MPLSネットワーク162(または他のプライベートパケット交換ネットワーク(例えば、メトロイーサネット、フレームリレー、非同期転送モード(ATM)など)、モバイルネットワーク164(例えば、3G、4G/LTE、5Gなど)、または他のWAN技術(例えば、同期光ネットワーキング(SONET)、同期デジタル階層(SDH)、高密度波長分割多重(DWDM)、または他の光ファイバ技術、リース回線(例えば、Tl/El、T3/E3など)、公衆交換電話網(PSTN)、統合サービスデジタルネットワーク(ISDN)、または他のプライベート回線交換網、小型開口ターミナル(VSAT)または他の衛星ネットワークなど)を介するなど、1つ以上のWANトランスポートを介したサイト間のセキュアなデータプレーン接続を提供することができる。エッジネットワークデバイス142は、タスクの中でもとりわけ、トラフィック転送、セキュリティ、暗号化、サービス品質(QoS)、およびルーティング(例えば、BGP、OSPFなど)を担当することができる。いくつかの実施形態では、物理的または仮想的なCisco(登録商標)SD-WAN vEdgeルータは、エッジネットワークデバイス142として動作することができる。
図2は、本開示の一態様による、図1のネットワークアーキテクチャのネットワーク環境の一例を示す。ネットワーク環境200は、ネットワークアーキテクチャ100の様々な側面の実装を示している。ネットワーク環境200は、管理ネットワーク202、ネットワークサイト204Aおよび204B(総称して、204)の対(例えば、データセンター150、構内ネットワーク152、ブランチオフィスネットワーク154、ホームオフィスネットワーク156、クラウドサービスプロバイダネットワークなど)、ならびにインターネットトランスポートネットワーク160Aおよび160B(総称して、160)の対を含むことができる。管理ネットワーク202は、1つ以上のネットワークオーケストレータアプライアンス104(例えば、vBondアプライアンス)、1つ以上のネットワーク管理アプライアンス122(例えば、vManage)、および1つ以上のネットワークコントローラアプライアンス132(vSmartまたは単にネットワークコントローラ)を含むことができる。この例では、管理ネットワーク202は単一のネットワークとして示されているが、当業者は、管理ネットワーク202の各オブジェクトが、任意の数のネットワークに分散され、および/またはサイト204とコロケートされ得ることを理解するであろう。この例では、管理ネットワーク202の各オブジェクトに、トランスポートネットワーク160Aまたは160Bのいずれかを介して到達することができる。
各サイトは、1つ以上のアクセスネットワークデバイス208に接続された1つ以上のエンドポイント206を含むことができる。エンドポイント206は、汎用コンピューティングデバイス(例えば、サーバ、ワークステーション、デスクトップコンピュータなど)、モバイルコンピューティングデバイス(例えば、ラップトップ、タブレット、携帯電話など)、ウェアラブルデバイス(例えば、腕時計、眼鏡または他のヘッドマウントディスプレイ(HMD)、イヤーデバイスなど)などを含むことができる。エンドポイント206はまた、農業機器(例えば、家畜追跡および管理システム、給水デバイス、無人航空機(UAV)など)、コネクテッドカーおよび他の車両、スマートホームセンサおよびデバイス(例えば、警報システム、防犯カメラ、照明、電化製品、メディアプレーヤー、HVAC機器、ユーティリティメータ、窓、自動ドア、ドアベル、ロックなど)、オフィス機器(例えば、卓上電話、コピー機、ファクシミリなど)、ヘルスケアデバイス(例えば、ペースメーカ、生体認証センサ、医療機器など)、産業機器(例えば、ロボット、工場機械、建設機器、産業用センサなど)、小売機器(例えば、自動販売機、店舗販売時点情報管理(POS)デバイス、無線周波数識別(RFID)タグなど)、スマートシティデバイス(例えば、街灯、パーキングメータ、廃棄物管理センサなど)、輸送および物流機器(例えば、回転式改札口、レンタカートラッカ、ナビゲーションデバイス、在庫モニタなど)など、モノのインターネット(IoT)デバイスまたは機器を含むことができる。
アクセスネットワークデバイス208は、物理または仮想スイッチ、ルータ、および他のネットワークデバイスを含むことができる。この例では、サイト204Aはアクセスネットワークデバイスの対を含んで示され、サイト204Bは単一のアクセスネットワークデバイスを含んで示されているが、アクセスネットワークデバイス208は、多層(例えば、コア層、ディストリビューション層、およびアクセス層)、スパインアンドリーフ、メッシュ、ツリー、バス、ハブアンドスポークなどを含む任意のネットワークトポロジー内の任意の数のネットワークデバイスを含むことができる。例えば、いくつかの実施形態では、1つ以上のデータセンターネットワークは、Cisco(登録商標)アプリケーションセントリックインフラストラクチャ(ACI)アーキテクチャを実装してもよく、および/または1つ以上の構内ネットワークは、Cisco(登録商標)ソフトウェア定義アクセス(SD-アクセスまたはSDA)アーキテクチャを実装してもよい。アクセスネットワークデバイス208は、エンドポイント206を1つ以上のエッジネットワークデバイス142に接続することができ、エッジネットワークデバイス142を使用して、トランスポートネットワーク160に直接接続することができる。
いくつかの例示的な実施形態では、各エッジネットワークデバイス142は、ネットワークコントローラアプライアンス132のうちの少なくとも1つとの、データグラムトランスポート層セキュリティ(DTLS)またはTLS制御接続を形成し、各トランスポートネットワーク160を介して任意のネットワークコントローラアプライアンス132に接続することができる。いくつかの例示的な実施形態では、エッジネットワークデバイス142はまた、IPSecトンネルを介して他のサイトのエッジネットワークデバイスにセキュアに接続することもできる。いくつかの例示的な実施形態では、BFDプロトコルをこれらの各トンネル内で使用して、損失、レイテンシ、ジッタ、およびパス障害を検出し得る。
上記のように、ネットワークのノード(例えば、エッジネットワークデバイス142および/またはネットワークコントローラアプライアンス132)は、ネットワークの制御プレーンを介してネットワーク管理アプライアンス122への接続を失うことがある。ネットワーク管理アプライアンス122は、そのような制御プレーン接続に依拠して、ネットワークのエッジネットワークデバイス142およびネットワーク制御アプライアンス132の健全性に関するデータを受信し、これにより、ネットワーク管理アプライアンス122は、誤動作またはダウンしたエッジネットワークデバイス142、ネットワーク制御アプライアンス132、および/またはネットワークの他のデバイスもしくは要素を監視および/またはデバッグするための措置をとることが可能になる。
以下に説明するように、パニックピア発見プロセスは、ネットワーク管理アプライアンス122がエッジネットワークデバイス142および/またはネットワークコントローラアプライアンス132(これはアクセス不能ノードと呼ばれることがある)への制御プレーン接続を失うときに利用され得、ネットワーク管理アプライアンス122は、ピアエッジネットワークデバイス142および/またはピアネットワークコントローラアプライアンス132(ピアノードと呼ばれることがある)を介してそのようなアクセス不能ノードに到達し、アクセス不能ノードの健全性に関するデータを受信することができ、これにより、ネットワーク管理アプライアンス122がアクセス不能ノードの誤動作を修正/デバッグするための手順を実行するための措置をとることが可能になる。
図3は、本開示の一態様による、図1および図2のネットワークにおける制御プレーンの接続の喪失後のパニックピア発見のプロセスを説明する。図3は、図1のネットワーク管理アプライアンス122の観点から説明される。しかしながら、ネットワーク管理アプライアンス122に対応する1つ以上のプロセッサは、1つ以上の関連するメモリに格納されたコンピュータ可読命令を実行して、図3のパニックピア発見プロセスを実装するようにネットワーク管理アプライアンス122を構成できることが理解される。
S300において、ネットワーク管理アプライアンス122は、エッジネットワークデバイス142(例えば、1つ以上のvEdge)またはネットワークコントローラアプライアンス132(例えば、1つ以上のコントローラ)などのネットワークノードへの制御プレーン接続の喪失を検出する。一例では、ネットワーク管理アプライアンス122は、閾値期間を超えてそのようなノードと情報またはデータが交換されない場合(そのような閾値は、実験および/または経験的研究に基づいて決定される構成可能なパラメータであり得る)、そのような接続の喪失を検出することができる。前述のように、制御プレーンの接続が失われたネットワークノードは、アクセス不能ノードと呼ばれる場合がある。
図3は、1つのエッジネットワークデバイスまたは1つのネットワークコントローラアプライアンスへの接続の喪失の検出に関して説明されるが、図3の方法は、複数のエッジネットワークデバイスおよび複数のネットワークコントローラアプライアンスへの接続の複数(および/または同時)の喪失の検出にも同様に適用できることに留意されたい。
S302で、ネットワーク管理アプライアンス122は、アクセス不能ノードのタイプを決定する。言い換えれば、ネットワーク管理アプライアンス122は、アクセス不能ノードがエッジネットワークデバイス142であるかネットワークコントローラアプライアンス132であるかを決定する。一例では、ノードが最初にネットワークに参加するときにノードがプロビジョニングされるとき、ノードのタイプはネットワーク管理アプライアンス122に通信される。セキュリティの目的で、ネットワーク管理アプライアンス122は、どのタイプのノードがネットワーク管理アプライアンス122に接続するかについての特定の証明書シリアル番号でプロビジョニングされ得る。また、各ノードは、そのタイプに関する情報をネットワーク管理アプライアンス122に定期的に通信することができる。アクセス不能ノードのタイプ(例えば、エッジネットワークデバイスまたはネットワークコントローラアプライアンス)に応じて、以下に説明するように、ネットワーク管理アプライアンス122は、アクセス不能ネットワークノードについてのピアノードの発見およびヘルスレポートの取得のための第1のプロセスまたは第2のプロセスのいずれかを実行する。第1のプロセスはS304-S310を参照して説明され、第2のプロセスはS312-S322を参照して説明される。
S302で、ネットワーク管理アプライアンス122が、アクセス不能ノードがネットワークコントローラアプライアンス132であると決定し、S304で、ネットワーク管理アプライアンス122は、アクセス不能ノードとフルメッシュにあるすべてのピアネットワークコントローラアプライアンス132にパニック信号を送信する。そのようなパニック信号は、アクセス不能ノードの健全性に関するデータ(ヘルスデータ)を受信するためのネットワーク管理アプライアンス122による要求であり得る。
一例では、そのようなすべてのピアネットワークコントローラアプライアンス132は、アクセス不能ノードと同じコントローラグループ識別(CGID)を有することができ、各ネットワークコントローラアプライアンス132のCGIDは、アクセス可能なテーブル/データベースでネットワーク管理アプライアンス122に利用可能である。
その後、S306で、パニック信号を受信した同じCGIDを有する1つ以上のピアネットワークコントローラアプライアンス132は、パニック信号および要求の受信を確認応答することができる。ACKは、対応するピアネットワークコントローラアプライアンス132がアクセス不能ノードに関するヘルスデータを取得する要求を受け入れることを示し得、NACKは、対応するピアネットワークコントローラアプライアンス132によるそのような要求の拒否を示し得る。
ACKを受信すると同時に、ACKが受信される対応するピアネットワークコントローラアプライアンス132は、アクセス不能ノード(アクセス不能ネットワークコントローラアプライアンス132)にそのヘルスレポートを生成するように信号を送る。このようなヘルスレポートには、メモリ消費、ノードで実行されているプロセス、ノードに存在する構成パラメータ、ノードで実行されているソフトウェアバージョン、制御プレーン、データプレーン、転送、セキュリティ、プラットフォームなどの異なるソフトウェア定義WAN(SDWAN)エリア固有のデバッグが含まれるが、これらに限定されない、アクセス不能ノードをオフラインでデバッグするために必要な情報が含まれ得る。つまり、対応するネットワークアプライアンス132は、アクセス不能ネットワークアプライアンス132に信号を送信して、アクセス不能ネットワークアプライアンス132にそれ自体の健全性に関するレポートを生成し、それをピアネットワークコントローラアプライアンス132に送り返すよう要求する。
生成されたヘルスレポートを受信すると、S308で、ネットワーク管理アプライアンス122は、対応するピアネットワークコントローラアプライアンス132から生成されたヘルスレポートを受信する。一例では、生成されたヘルスレポートをネットワーク管理アプライアンス122に送信することに加えて、ピアネットワークコントローラアプライアンス132は、さらなる分析/診断のために、生成されたヘルスレポートをリモートサーバ(例えば、Cisco(登録商標)Vipteraサーバ)にも送信する。
その後、S310において、ネットワーク管理アプライアンス122は、S308で受信されたアクセス不能ノードの生成されたヘルスレポートを分析して、アクセス不能ノードへの接続の喪失の根本原因を決定し、アクセス不能ネットワーク管理アプライアンス132に関連付けられた接続および/または誤動作の問題をデバッグ/修正する。
例えば、ネットワーク管理アプライアンス122は、ヘルスレポートを分析して、ネットワーク管理アプライアンス122とアクセス不能ノードとの間の制御プレーン接続が、一定期間アップした後、ダウンしていると決定することができる。デバッグコマンドは、どの制御接続がアップしているか、どの制御接続がダウンしているか、および制御がダウンしている理由を正確に示し得る。
しかしながら、ネットワーク管理アプライアンス122は、データプレーン接続が他のノード(例えば、エッジルータ/vEdges142)とはまだ損なわれていないと決定することができる。制御接続の履歴(別のdebug/showコマンドチェック)を見ると、ネットワーク管理アプライアンス122は、アクセス不能ノード(例えば、vEdge 142)がネットワーク管理アプライアンス122および/またはコントローラ132への制御接続を試みていないと決定できる。その後、デバイスの構成変更を見ると(これもdebug/showコマンドを介してチェックされる)、ネットワーク管理アプライアンス122は、顧客/オペレータが唯一存在するWANインターフェースに、「max-control-connections 0」という構成をプッシュしたと決定できる。この構成の目的は、すべての制御接続を停止することであるが、データプレーン接続はそのままである。
上記のすべてを合わせて、ネットワーク管理アプライアンス122は、これが、デバイス上に唯一存在するWANインターフェース上で「max-control-connections」を「0」として構成したユーザエラーであると決定することができる。顧客(アクセス不能エッジャールータ142のオペレータ)が診断とともに問題を修正する許可を与えた場合、ネットワーク管理アプライアンス122は、この構成変更をロールバックするだけ(デバイスはどの構成がいつ変更されたかの履歴を格納する)であり、すべての制御接続が復旧する。その後、ネットワーク管理アプライアンス122は、行われた診断および取られたアクションのレポートを生成し、それをネットワークオペレータにディスプレイ上に提示することができる。
しかしながら、顧客が問題を修正する許可を与えず、診断だけを望む場合、ネットワーク管理アプライアンス122は、行われた診断のレポートを生成し、それをvMange上に提示するだけである。
S302に戻ると、ネットワーク管理アプライアンス122が、アクセス不能ノードがエッジネットワークデバイス142(例えば、vEdge)であると決定した場合、S312で、ネットワーク管理アプライアンス122は、「利用可能な最良の」ピアエッジネットワークデバイス142を決定し、それを介してアクセス不能ノードのヘルスレポートが(データプレーン経由で)受信され得る。
一例では、「利用可能な最良の」ピアエッジネットワーク142は、アクセス不能ノードが存在するネットワークトポロジー/組織内でアクセス不能ノードへのBFD接続を有する唯一の利用可能なピアエッジネットワークデバイス142として定義され得る。しかしながら、アクセス不能ノードが存在するネットワークトポロジー/組織内でアクセス不能ノードへのBFD接続を有する2つ以上のピアエッジネットワークデバイス142(候補ピアエッジネットワークデバイスのグループ)が存在する場合、「利用可能な最良の」ピアエッジネットワーク142は、アクセス不能ノードへのBFD接続を有する候補ピアエッジネットワークデバイス142のグループの中で最も高いスコアを有する候補ピアエッジネットワークデバイス142のグループのうちの1つとして定義することができる。
一例では、対応するピアエッジネットワークデバイス142のスコアは、(1)対応するピアエッジネットワークデバイス142のBFDセッションの数、(2)対応するピアエッジネットワークデバイス142のWANリンク容量、(3)対応するピアエッジネットワークデバイス142のWANリンクコスト、(4)対応するピアエッジネットワークデバイス142の平均WANリンク性能(性能には、リンクスループット、QoS測定、パケットドロップ率などが含まれ得るが、これらに限定されない)の加重和として決定され得る。
上記の要因(1)~(4)の各々は、ネットワーク管理アプライアンス122によって重みを割り当てられてもよく、対応する各重みは、実験および/または経験的研究に基づいて決定された構成可能なパラメータであり得る。
候補ピアエッジネットワークデバイス142のグループの中の各ピアエッジデバイス142についてスコアが決定されると、ネットワーク管理アプライアンス122は、最高のスコアを有する「利用可能な最良の」エッジネットワークデバイス142を決定する。
その後、S314において、ネットワーク管理アプライアンス122は、パニック信号を「利用可能な最良の」エッジネットワークデバイス142に送信し、パニック信号は、S304に関して上記で説明したものと同じであり、したがって、簡潔にするためにこれ以上説明しない。
S316で、ネットワーク管理アプライアンス122は、「利用可能な最良の」エッジネットワークデバイス142からパニック信号への応答を受信する。
S318において、ネットワーク管理アプライアンス122は、応答がパニック信号のACKまたはNACKであるかを決定し、ACK/NACKは、S306に関して上記で説明したものと同じであり、したがって、簡潔にするためにこれ以上説明しない。
S318で、ネットワーク管理アプライアンス122が、応答がNACKであると決定した場合、プロセスはS312に戻り、ネットワーク管理アプライアンス122は、S312で以前に識別および選択された「利用可能な最良の」ピアエッジネットワークデバイスの後に、最高のスコアを有する候補ピアエッジネットワークデバイス142のグループから、次に「利用可能な最良の」ピアエッジネットワークデバイス142を決定する。その後、S314、S316、S318が繰り返される。
しかしながら、S318で、ネットワーク管理アプライアンス122が、応答がACKであると決定した場合、選択された「利用可能な最良の」ピアエッジネットワークデバイス142は、アクセス不能ノード(アクセス不能エッジネットワークデバイス142)に対して、そのヘルスレポートを生成し、それを「利用可能な最良の」ピアエッジネットワークデバイス142に送信するように要求を送信する(例えば、ACKをネットワーク管理アプライアンス122に送信すると同時に)。
S320で、ネットワーク管理アプライアンス122は、「利用可能な最良の」ピアエッジネットワークデバイス142から生成されたヘルスレポートを受信する。一例では、生成されたヘルスレポートをネットワーク管理アプライアンス122に送信することに加えて、「利用可能な最良の」ピアエッジネットワークデバイス142は、さらなる分析/診断のために、生成されたヘルスレポートをリモートサーバ(例えば、Cisco(登録商標)Viptelaサーバ)にも送信する。
S322で、S310に関して前述したのと同じ方法で、ネットワーク管理アプライアンス122は、S320で受信した生成されたヘルスレポートを分析して、アクセス不能ノードへの接続が失われた根本原因を決定し、アクセス不能ネットワーク管理アプライアンス132に関連付けられている接続および/または誤動作の問題をデバッグ/修正する。
ピアノード発見プロセスの上記の例を説明したので、ここで、本開示は、ネットワーク管理アプライアンス122、ネットワークコントローラアプライアンス132、エッジネットワークデバイス142などのいずれかとして実装できるデバイスコンポーネントおよびアーキテクチャの説明に移る。
図4A~Bは、本開示の一態様によるシステムの例を示す。
図4Aは、システムのコンポーネントがバス405を使用して互いに電気的に通信しているバスコンピューティングシステム400の一例を示す。コンピューティングシステム400は、処理ユニット(CPUまたはプロセッサ)410と、読み取り専用メモリ(ROM)420およびランダムアクセスメモリ(RAM)425などのシステムメモリ415を含む様々なシステムコンポーネントをプロセッサ410に結合し得るシステムバス405と、を含むことができる。コンピューティングシステム400は、プロセッサ410に直接接続されているか、プロセッサに近接しているか、またはプロセッサの一部として一体化された高速メモリのキャッシュ412を含むことができる。コンピューティングシステム400は、プロセッサ410による速いアクセスのために、メモリ415、ROM420、RAM425、および/または記憶デバイス430からキャッシュ412にデータをコピーすることができる。このようにして、キャッシュ412は、データを待機している間のプロセッサの遅延を回避するという性能向上を提供することができる。これらおよび他のモジュールは、プロセッサ410を制御して、様々なアクションを実行することができる。他のシステムメモリ415も同様に利用可能とすることができる。メモリ415は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ410は、任意の汎用プロセッサおよびハードウェアモジュールまたはソフトウェアモジュール、例えば、プロセッサ410を制御するように構成された記憶デバイス430に格納されたSERVICE(SVC)1 432、SERVICE(SVC)2 434、およびSERVICE(SVC)3 436、ならびにソフトウェア命令が実際のプロセッサ設計に組み込まれた専用プロセッサを含むことができる。プロセッサ410は、本質的に、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを包含する完全に自己完結型のコンピューティングシステムとすることができる。マルチコアプロセッサは、対称または非対称とすることができる。
コンピューティングシステム400とのユーザインタラクションを可能にするために、入力デバイス445は、発話用マイク、ジェスチャまたはグラフィック入力用のタッチ保護スクリーン、キーボード、マウス、モーション入力、発話などの任意数の入力機構を表すことができる。出力デバイス435はまた、当業者に知られているいくつかの出力機構のうちの1つ以上とすることができる。場合によっては、マルチモーダルシステムは、ユーザがコンピューティングシステム400と通信するために複数のタイプの入力を提供することを可能にすることができる。通信インターフェース440は、ユーザ入力およびシステム出力を統御および管理することができる。特定のハードウェア配置での動作に対する制約はないため、ここでの基本的特徴は、基本的特徴が開発される際に改善されたハードウェア配置またはファームウェア配置に容易に置き換えることができる。
記憶デバイス430は、不揮発性メモリとすることができ、ハードディスク、または磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ、読み取り専用メモリ、およびそれらのハイブリッドなどの、コンピュータによってアクセス可能であるデータを格納することができる他のタイプのコンピュータ可読媒体とすることができる。
上記に論じられたように、記憶デバイス430は、プロセッサ410を制御するためのソフトウェアサービス432、434、436を含むことができる。他のハードウェアまたはソフトウェアモジュールが企図される。記憶デバイス430は、システムバス405に接続することができる。いくつかの実施形態では、特定の機能を実行するハードウェアモジュールは、その機能を実行するための、プロセッサ410、バス405、出力デバイス435などの必要なハードウェアコンポーネントに関連してコンピュータ可読媒体に格納されたソフトウェアコンポーネントを含むことができる。
図4Bは、一実施形態に従って使用できるチップセットコンピューティングシステム450の例示的なアーキテクチャを示す。コンピューティングシステム450は、識別された計算を実行するように構成されたソフトウェア、ファームウェア、およびハードウェアを実行することができる任意の数の物理的および/または論理的に別個のリソースを表すプロセッサ455を含むことができる。プロセッサ455は、プロセッサ455への入力およびプロセッサからの出力を制御することができるチップセット460と通信することができる。この例では、チップセット460は、ディスプレイなどの出力デバイス465に情報を出力することができ、磁気媒体、ソリッドステート媒体、および他の好適な記憶媒体を含むことができる記憶デバイス470に情報を読み書きすることができる。チップセット460はまた、RAM475からデータを読み取り、およびRAMにデータを書き込むこともできる。チップセット460とインターフェース接続するために、多様なユーザインターフェースコンポーネント485とインターフェース接続するためのブリッジ480を提供することができる。ユーザインターフェースコンポーネント485は、キーボード、マイクロフォン、タッチ検出および処理回路、マウスなどのポインティングデバイスなどを含むことができる。コンピューティングシステム450への入力は、マシンにより生成されたおよび/または人間により生成された多様なソースのいずれかから生じ得る。
チップセット460はまた、異なる物理インターフェースを有することができる1つ以上の通信インターフェース490とインターフェース接続することもできる。通信インターフェース490は、有線および無線LAN、ブロードバンド無線ネットワーク、ならびにパーソナルエリアネットワークのためのインターフェースを含むことができる。本明細書に開示される技術を生成、表示、および使用するための方法のいくつかの適用は、物理インターフェースを介して順序付けられたデータセットを受信することを含むことができ、またはプロセッサ455が記憶デバイス470またはRAM475に格納されたデータを分析することによってマシン自体によって生成できる。さらに、コンピューティングシステム450は、ユーザインターフェースコンポーネント485を介してユーザから入力を受け取り、プロセッサ455を使用してこれらの入力を解釈することによって、ブラウジング機能などの適切な機能を実行することができる。
コンピューティングシステム400および450は、それぞれ2つ以上のプロセッサ410および455を有することができるか、またはより大きな処理能力を提供するためにともにネットワーク化されたコンピューティングデバイスのグループもしくはクラスタの一部とすることができることが理解されよう。
要約すると、本開示は、ネットワーク管理ノードが、制御プレーンを介してネットワーク管理ノードへの接続を失ったアクセス不能ノードのピアを発見し、発見されたピアを介してアクセス不能ノードのヘルスレポートを受信することができるピアノード発見プロセスを対象とする。一例では、方法は、ネットワークノードへの接続の喪失を検出することと、ネットワークノードのタイプに基づいて、ネットワークノードのヘルスレポートを取得するために第1のプロセスまたは第2のプロセスのいずれかを実行することであって、第1のプロセスと第2のプロセスは、ネットワークノードのヘルスレポートが受信される少なくとも1つの対応するピアノードの識別を含む、実行することと、接続の喪失の根本的な原因を決定するために、ヘルスレポートを分析することと、を含む。
説明を明確にするために、場合によっては、様々な実施形態は、デバイス、デバイスコンポーネント、ソフトウェアで具体化される方法におけるステップもしくはルーチン、またはハードウェアとソフトウェアとの組み合わせを含む機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。
いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含むケーブルまたは無線信号を含むことができる。しかしながら、言及される場合、非一時的コンピュータ可読記憶媒体は、エネルギ、搬送波信号、電磁波、および信号自体などの媒体を明示的に除外する。
上述した例による方法は、コンピュータ可読媒体に記憶されているか、または別様にそれから利用可能であるコンピュータ実行可能命令を使用して実装することができる。そのような命令は、例えば、汎用コンピュータ、専用コンピュータ、もしくは専用処理デバイスに特定の機能または機能のグループを実行させるかまたは別様に構成する命令およびデータを含むことができる。使用されるコンピュータリソースの部分は、ネットワーク経由でアクセス可能とすることができる。コンピュータ実行可能命令は、例えば、バイナリ、アセンブリ言語、ファームウェア、またはソースコードなどの中間フォーマット命令とすることができる。命令、使用される情報、および/または説明された例による方法中に作成された情報を記憶するために使用され得るコンピュータ可読媒体の例は、磁気ディスクまたは光ディスク、フラッシュメモリ、不揮発性メモリを備えたUSBデバイス、ネットワーク記憶デバイスなどを含む。
これらの開示による方法を実装するデバイスは、ハードウェア、ファームウェア、および/またはソフトウェアを含むことができ、様々なフォームファクタのいずれかを取ることができる。このようなフォームファクタのいくつかの例として、サーバ、ラックマウントデバイス、デスクトップコンピュータ、ラップトップコンピュータなどの汎用コンピューティングデバイス、またはタブレットコンピュータ、スマートフォン、携帯情報端末、ウェアラブルデバイスなどの汎用モバイルコンピューティングデバイスが挙げられる。本明細書に記載される機能はまた、周辺機器またはアドインカードで具体化され得る。さらなる例として、単一のデバイスで実行される異なるチップまたは異なるプロセスの間のそのような機能はまた、回路基板上に実装することもできる。
命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、これらの開示に記載された機能を提供するための手段である。
添付の特許請求の範囲の範疇の態様を説明するために、様々な例および他の情報が使用されたが、当業者であれば、多種多様な実装形態を導出するために、これらの例を使用することができるように、そのような例における特定の特徴または構成に基づいて、特許請求の範囲のいかなる制限も示唆されるべきではない。さらに、一部の主題は、構造的特徴および/または方法ステップの例に対して固有の言語で記載されている場合があるが、添付の特許請求の範囲で定義される主題は、必ずしもこれらの記載された特徴または行為に限定されないことを理解されたい。例えば、そのような機能は、本明細書において特定されているコンポーネント以外のコンポーネントで、異なるように配信され、または実行することができる。むしろ、記載された特徴およびステップは、添付の特許請求の範囲の範疇のシステムおよび方法のコンポーネントの例として開示される。

Claims (23)

  1. 方法であって、
    ネットワークノードへの接続の喪失を検出することと、
    前記ネットワークノードのタイプに基づいて、前記ネットワークノードのヘルスレポートを取得するために第1のプロセスまたは第2のプロセスのいずれかを実行することであって、前記第1のプロセスと前記第2のプロセスは、前記ネットワークノードの前記ヘルスレポートが受信される少なくとも1つの対応するピアノードの識別を含む、実行することと、
    前記接続の喪失の根本的な原因を決定するために、前記ヘルスレポートを分析することと、を含む、方法。
  2. 前記ネットワークノードがコントローラであると決定することと、
    前記ネットワークノードの前記ヘルスレポートを取得するために前記第1のプロセスを実行することと、をさらに含む、請求項1に記載の方法。
  3. 前記第1のプロセスは、
    前記ネットワークノードのピアコントローラを識別することと、
    パニック信号を前記ピアコントローラに送信することと、
    前記パニック信号に応答して前記ピアコントローラから確認応答を受信することと、
    前記ピアコントローラから前記ネットワークノードの前記ヘルスレポートを受信することと、を含む、請求項2に記載の方法。
  4. 前記ピアコントローラは、前記ネットワークノードとフルメッシュであり、前記ネットワークノードと同じコントローラグループ識別子を有する、請求項3に記載の方法。
  5. 前記ネットワークノードをエッジネットワークデバイスとして識別することと、
    前記ネットワークノードの前記ヘルスレポートを取得するために前記第2のプロセスを実行することと、をさらに含む、請求項1~4のいずれか一項に記載の方法。
  6. 前記第2のプロセスは、
    対応するネットワークのデータプレーン上でピアエッジネットワークデバイスを識別することと、
    パニック信号を前記ピアエッジネットワークデバイスに送信することと、
    前記パニック信号に応答して前記ピアエッジネットワークデバイスから確認応答を受信することと、
    前記ピアエッジネットワークデバイスから前記ネットワークノードの前記ヘルスレポートを受信することと、を含む、請求項5に記載の方法。
  7. 前記ピアエッジネットワークデバイスを識別することは、
    前記ネットワークノードが存在する各ゾーン内の各候補ピアエッジネットワークデバイスの加重スコアを決定することと、
    前記ピアエッジネットワークデバイスとして、すべての候補ピアエッジネットワークデバイスの中で最も高い加重スコアを持つ候補ピアエッジネットワークデバイスを選択することと、を含む、請求項6に記載の方法。
  8. 前記加重スコアは、対応する候補ピアエッジネットワークデバイスの複数の要因の加重和であり、前記複数の要因の各々は、前記対応する候補ピアエッジネットワークデバイスの性能特性を示す、請求項7に記載の方法。
  9. コントローラであって、
    コンピュータ可読命令が格納されている1つ以上のメモリと、
    1つ以上のプロセッサであって、
    ネットワークノードへの接続の喪失を検出することと、
    前記ネットワークノードのタイプに基づいて、前記ネットワークノードのヘルスレポートを取得するために第1のプロセスまたは第2のプロセスのいずれかを実行することであって、前記第1のプロセスと前記第2のプロセスは、前記ネットワークノードの前記ヘルスレポートが受信される少なくとも1つの対応するピアノードの識別を含む、実行することと、
    前記接続の喪失の根本的な原因を決定するために、前記ヘルスレポートを分析することと、を行うために、前記コンピュータ可読命令を実行するように構成された1つ以上のプロセッサと、を含む、コントローラ。
  10. 前記1つ以上のプロセッサは、
    前記ネットワークノードがコントローラであると決定することと、
    前記ネットワークノードの前記ヘルスレポートを取得するために前記第1のプロセスを実行することと、を行うために、前記コンピュータ可読命令を実行するように構成されている、請求項9に記載のコントローラ。
  11. 前記第1のプロセスは、
    前記ネットワークノードのピアコントローラを識別することと、
    パニック信号を前記ピアコントローラに送信することと、
    前記パニック信号に応答して前記ピアコントローラから確認応答を受信することと、
    前記ピアコントローラから前記ネットワークノードの前記ヘルスレポートを受信することと、を含む、請求項10に記載のコントローラ。
  12. 前記ピアコントローラは、前記ネットワークノードとフルメッシュであり、前記ネットワークノードと同じコントローラグループ識別子を有する、請求項11に記載のコントローラ。
  13. 前記1つ以上のプロセッサは、
    前記ネットワークノードをエッジネットワークデバイスとして識別することと、
    前記ネットワークノードの前記ヘルスレポートを取得するために前記第2のプロセスを実行することと、を行うために、前記コンピュータ可読命令を実行するように構成されている、請求項9~12のいずれか一項に記載のコントローラ。
  14. 前記第2のプロセスは、
    対応するネットワークのデータプレーン上でピアエッジネットワークデバイスを識別することと、
    パニック信号を前記ピアエッジネットワークデバイスに送信することと、
    前記パニック信号に応答して前記ピアエッジネットワークデバイスから確認応答を受信することと、
    前記ピアエッジネットワークデバイスから前記ネットワークノードの前記ヘルスレポートを受信することと、を含む、請求項13に記載のコントローラ。
  15. 前記コントローラ、前記ネットワークノード、および前記対応するピアノードが動作するネットワークは、ソフトウェア定義のネットワークであり、
    前記コントローラは、前記ソフトウェア定義ネットワークのvManageコンポーネントである、請求項9~14のいずれか一項に記載のコントローラ。
  16. 1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
    ネットワークノードへの接続の喪失を検出することと、
    前記ネットワークノードのタイプに基づいて、前記ネットワークノードのヘルスレポートを取得するために第1のプロセスまたは第2のプロセスのいずれかを実行することであって、前記第1のプロセスと前記第2のプロセスは、前記ネットワークノードの前記ヘルスレポートが受信される少なくとも1つの対応するピアノードの識別を含む、実行することと、
    前記接続の喪失の根本的な原因を決定するために、前記ヘルスレポートを分析することと、を行わせるコンピュータ可読命令を含む1つ以上の非一時的なコンピュータ可読媒体。
  17. 前記1つ以上のプロセッサによる前記コンピュータ可読命令の実行は、前記1つ以上のプロセッサに、
    前記ネットワークノードがコントローラであると決定することと、
    前記ネットワークノードの前記ヘルスレポートを取得するために前記第1のプロセスを実行することと、を行わせる、請求項16に記載の1つ以上の非一時的なコンピュータ可読媒体。
  18. 前記第1のプロセスは、
    前記ネットワークノードのピアコントローラを識別することと、
    パニック信号を前記ピアコントローラに送信することと、
    前記パニック信号に応答して前記ピアコントローラから確認応答を受信することと、
    前記ピアコントローラから前記ネットワークノードの前記ヘルスレポートを受信することと、を含む、請求項17に記載の1つ以上の非一時的なコンピュータ可読媒体。
  19. 前記1つ以上のプロセッサによる前記コンピュータ可読命令の実行は、前記1つ以上のプロセッサに、
    前記ネットワークノードをエッジネットワークデバイスとして識別することと、
    前記ネットワークノードの前記ヘルスレポートを取得するために前記第2のプロセスを実行することと、を行わせる、請求項16~18のいずれか一項に記載の1つ以上の非一時的なコンピュータ可読媒体。
  20. 前記第1のプロセスは、
    対応するネットワークのデータプレーン上でピアエッジネットワークデバイスを識別することと、パニック信号を前記ピアエッジネットワークデバイスに送信することと、
    前記パニック信号に応答して前記ピアエッジネットワークデバイスから確認応答を受信することと、
    前記ピアエッジネットワークデバイスから前記ネットワークノードの前記ヘルスレポートを受信することと、を含む、請求項19に記載の1つ以上の非一時的なコンピュータ可読媒体。
  21. 装置であって、
    ネットワークノードへの接続の喪失を検出するための手段と、
    前記ネットワークノードのタイプに基づいて、前記ネットワークノードのヘルスレポートを取得するために第1のプロセスまたは第2のプロセスのいずれかを実行するための手段であって、前記第1のプロセスと前記第2のプロセスは、前記ネットワークノードの前記ヘルスレポートが受信される少なくとも1つの対応するピアノードの識別を含む、実行するための手段と、
    前記接続の喪失の根本的な原因を決定するために、前記ヘルスレポートを分析するための手段と、を備える、装置。
  22. 請求項2~8のいずれか一項に記載の方法を実装するための手段をさらに備える、請求項21に記載の装置。
  23. コンピュータによって実行されると、前記コンピュータに、請求項1~8のいずれか一項に記載の方法のステップを実行させる命令を含む、コンピュータプログラム、コンピュータプログラム製品、またはコンピュータ可読媒体。
JP2021577115A 2019-07-30 2020-07-07 ソフトウェア定義ネットワークにおける切断されたノードのピア発見プロセス Active JP7316390B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/526,722 2019-07-30
US16/526,722 US20210037091A1 (en) 2019-07-30 2019-07-30 Peer discovery process for disconnected nodes in a software defined network
PCT/US2020/041034 WO2021021395A1 (en) 2019-07-30 2020-07-07 Peer discovery process for disconnected nodes in a software defined network

Publications (2)

Publication Number Publication Date
JP2022542001A JP2022542001A (ja) 2022-09-29
JP7316390B2 true JP7316390B2 (ja) 2023-07-27

Family

ID=71944293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577115A Active JP7316390B2 (ja) 2019-07-30 2020-07-07 ソフトウェア定義ネットワークにおける切断されたノードのピア発見プロセス

Country Status (8)

Country Link
US (1) US20210037091A1 (ja)
EP (1) EP4005187B1 (ja)
JP (1) JP7316390B2 (ja)
KR (1) KR20220040471A (ja)
CN (1) CN114175591B (ja)
AU (1) AU2020321921A1 (ja)
CA (1) CA3148051A1 (ja)
WO (1) WO2021021395A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593210B2 (en) * 2020-12-29 2023-02-28 Hewlett Packard Enterprise Development Lp Leader election in a distributed system based on node weight and leadership priority based on network performance
CN112910981B (zh) * 2021-01-27 2022-07-26 联想(北京)有限公司 一种控制方法及装置
US20220413925A1 (en) * 2021-06-25 2022-12-29 International Business Machines Corporation Dynamic clustering of edge cluster resources
US11665063B1 (en) * 2021-12-23 2023-05-30 Rakuten Mobile, Inc. Method, apparatus, and computer readable medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104351A (ja) 2005-10-05 2007-04-19 Alaxala Networks Corp ネットワーク運用管理システム
JP2010011374A (ja) 2008-06-30 2010-01-14 Fujitsu Ltd ネットワーク障害検知プログラム、システム、及び方法
JP2011120171A (ja) 2009-12-07 2011-06-16 Nec Corp ネットワーク監視装置、ネットワーク監視システム及びネットワーク監視システムにおける監視対象装置の接続確認方法
JP2014033242A (ja) 2010-11-26 2014-02-20 Mitsubishi Electric Corp 通信システムおよびネットワーク障害検出方法
JP2015232874A (ja) 2014-05-14 2015-12-24 富士通株式会社 並列計算機システム、並列計算機システムの制御方法、及び情報処理装置
JP2018107504A (ja) 2016-12-22 2018-07-05 株式会社日立製作所 通信システム、通信管理方法、およびネットワーク管理装置
US20190036687A1 (en) 2017-07-31 2019-01-31 Cisco Technology, Inc. Dynamic disassociated channel encryption key distribution

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442708B1 (en) * 1999-12-14 2002-08-27 Honeywell International Inc. Fault localization and health indication for a controller area network
ITMI20012088A1 (it) * 2001-10-10 2003-04-10 Cit Alcatel Metodo per propagare l'informazione di guasto in una rete rpr e relativo tipo di pacchetto rpr
US7043663B1 (en) * 2001-11-15 2006-05-09 Xiotech Corporation System and method to monitor and isolate faults in a storage area network
US7420952B2 (en) * 2002-10-28 2008-09-02 Mesh Dynamics, Inc. High performance wireless networks using distributed control
US20050007964A1 (en) * 2003-07-01 2005-01-13 Vincent Falco Peer-to-peer network heartbeat server and associated methods
US7983174B1 (en) * 2005-12-19 2011-07-19 Cisco Technology, Inc. Method and apparatus for diagnosing a fault in a network path
US8149748B2 (en) * 2006-11-14 2012-04-03 Raytheon Company Wireless data networking
US7734948B2 (en) * 2007-08-21 2010-06-08 International Business Machines Corporation Recovery of a redundant node controller in a computer system
CN105579983A (zh) * 2013-09-25 2016-05-11 慧与发展有限责任合伙企业 提供对等***标识的基板管理控制器
US10623285B1 (en) * 2014-05-09 2020-04-14 Amazon Technologies, Inc. Multi-mode health monitoring service
US10154423B2 (en) * 2014-06-27 2018-12-11 Google Llc End-to-end network diagnostics
US9634928B2 (en) * 2014-09-29 2017-04-25 Juniper Networks, Inc. Mesh network of simple nodes with centralized control
US10305759B2 (en) * 2015-01-05 2019-05-28 Cisco Technology, Inc. Distributed and adaptive computer network analytics
US9866427B2 (en) * 2015-02-16 2018-01-09 Juniper Networks, Inc. Multi-stage switch fabric fault detection and handling
US10608869B2 (en) * 2017-03-20 2020-03-31 Nicira, Inc. Handling control-plane connectivity loss in virtualized computing environments
CN108121512B (zh) * 2017-12-22 2020-04-07 苏州大学 一种边缘计算服务缓存方法、***、装置及可读存储介质
CN108235351A (zh) * 2017-12-27 2018-06-29 杭州迪普科技股份有限公司 一种使无线控制器获得无线接入点故障信息的方法及装置
US10623268B2 (en) * 2018-04-05 2020-04-14 Netsia, Inc. Controller-enabled topology management in self backhauling wireless mesh and relay networks
US11201854B2 (en) * 2018-11-30 2021-12-14 Cisco Technology, Inc. Dynamic intent-based firewall
US10929310B2 (en) * 2019-03-01 2021-02-23 Cisco Technology, Inc. Adaptive address translation caches

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104351A (ja) 2005-10-05 2007-04-19 Alaxala Networks Corp ネットワーク運用管理システム
JP2010011374A (ja) 2008-06-30 2010-01-14 Fujitsu Ltd ネットワーク障害検知プログラム、システム、及び方法
JP2011120171A (ja) 2009-12-07 2011-06-16 Nec Corp ネットワーク監視装置、ネットワーク監視システム及びネットワーク監視システムにおける監視対象装置の接続確認方法
JP2014033242A (ja) 2010-11-26 2014-02-20 Mitsubishi Electric Corp 通信システムおよびネットワーク障害検出方法
JP2015232874A (ja) 2014-05-14 2015-12-24 富士通株式会社 並列計算機システム、並列計算機システムの制御方法、及び情報処理装置
JP2018107504A (ja) 2016-12-22 2018-07-05 株式会社日立製作所 通信システム、通信管理方法、およびネットワーク管理装置
CN110024431A (zh) 2016-12-22 2019-07-16 株式会社日立制作所 通信***、通信管理方法、以及网络管理装置
US20210289365A1 (en) 2016-12-22 2021-09-16 Hitachi, Ltd. Communication system, communication management method, and network management apparatus
US20190036687A1 (en) 2017-07-31 2019-01-31 Cisco Technology, Inc. Dynamic disassociated channel encryption key distribution

Also Published As

Publication number Publication date
WO2021021395A1 (en) 2021-02-04
CN114175591A (zh) 2022-03-11
CA3148051A1 (en) 2021-02-04
EP4005187B1 (en) 2023-10-18
US20210037091A1 (en) 2021-02-04
CN114175591B (zh) 2024-01-16
JP2022542001A (ja) 2022-09-29
EP4005187A1 (en) 2022-06-01
AU2020321921A1 (en) 2022-03-10
KR20220040471A (ko) 2022-03-30

Similar Documents

Publication Publication Date Title
US11863427B2 (en) Multicast performance routing and policy control in software defined wide area networks
JP7316390B2 (ja) ソフトウェア定義ネットワークにおける切断されたノードのピア発見プロセス
US11323307B2 (en) Method and system of a dynamic high-availability mode based on current wide area network connectivity
US11411967B2 (en) Synergistic DNS security update
US11588752B2 (en) Route exchange in multi-tenant clustered controllers
US20240267326A1 (en) Exit interface selection based on intermediate paths
JP7404403B2 (ja) オーケストレーションプレーンを使用するシームレスなマルチクラウドsdwanディザスタリカバリ
US12015632B2 (en) Dynamic resource allocation for network security
US11909739B2 (en) Industrial security model as a SASE service
CN116746118A (zh) 云基础设施的自动化且可扩展的多级冗余

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230714

R150 Certificate of patent or registration of utility model

Ref document number: 7316390

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150