JP6285511B2 - 仮想マシンクラスタの監視方法及びシステム - Google Patents
仮想マシンクラスタの監視方法及びシステム Download PDFInfo
- Publication number
- JP6285511B2 JP6285511B2 JP2016160156A JP2016160156A JP6285511B2 JP 6285511 B2 JP6285511 B2 JP 6285511B2 JP 2016160156 A JP2016160156 A JP 2016160156A JP 2016160156 A JP2016160156 A JP 2016160156A JP 6285511 B2 JP6285511 B2 JP 6285511B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual machine
- failed
- reset
- cluster
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 149
- 238000012544 monitoring process Methods 0.000 title claims description 52
- 230000008569 process Effects 0.000 claims description 94
- 230000004044 response Effects 0.000 claims description 94
- 238000011084 recovery Methods 0.000 claims description 45
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000002159 abnormal effect Effects 0.000 claims description 25
- 230000003213 activating effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1479—Generic software techniques for error detection or fault masking
- G06F11/1482—Generic software techniques for error detection or fault masking by means of middleware or OS functionality
- G06F11/1484—Generic software techniques for error detection or fault masking by means of middleware or OS functionality involving virtual machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1438—Restarting or rejuvenating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
- G06F11/1662—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0659—Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities
- H04L41/0661—Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities by reconfiguring faulty entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1417—Boot up procedures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2025—Failover techniques using centralised failover control functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
- G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
- G06F11/0757—Error or fault detection not based on redundancy by exceeding limits by exceeding a time limit, i.e. time-out, e.g. watchdogs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2035—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/805—Real-time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/81—Threshold
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/815—Virtual
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/85—Active fault masking without idle spares
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Cardiology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
- Hardware Redundancy (AREA)
Description
しかし、上記した仮想マシンの物理ホストマシンを監視する方法は、ホストマシンが故障した時に維持管理スタッフが手動で物理ホストマシンにおけるすべての仮想マシンを修復する必要があり、手間がかかり、且つ長時間のサービス中断を引き起こし、ユーザーに損失をもたらす。
図1は本発明の実施例に係る仮想マシンクラスタの監視方法を適用できる例示的なシステムアーキテクチャ100を示す。
本実施例において、第1の物理マシンは仮想マシンが配置されていない物理マシンであり、例えば図1におけるサーバー104を指す。仮想マシンクラスタは複数の仮想マシンを集めて同一のサービスを行い、クライアントにとって1つだけの仮想マシンのようである。1つのコンピュータに1つ以上の仮想マシンを配置することができ、複数のコンピュータに配置される仮想マシンが仮想マシンクラスタを形成し、仮想マシンクラスタが同時に並列計算を行うことができ、それにより高い計算速度を取得する。
本実施例において、仮想マシンは第1の物理マシンにより送信された問い合わせコマンドを受信した後に、仮想マシンに実行されているサービスプロセスによって第1の物理マシンに応答情報を送信する。
第1の物理マシンが仮想マシンリセットコマンドを第2の物理マシンに送信した後に、第2の物理マシンが受信した仮想マシンリセットコマンドに基づいて、故障した仮想マシンをリセットする。
当該仮想マシンクラスタの監視方法300は、図2の仮想マシンクラスタの監視方法を基とし、さらに以下のステップを含んでもよい。
ステップ302において、第3の物理マシンは仮想マシン再構築コマンドに基づいて、故障した仮想マシンを再構築する。
当該仮想マシンクラスタの監視方法400は、図3の仮想マシンクラスタの監視方法を基とし、以下のステップを含んでもよい。
本実施例において、第3の物理マシンは受信した仮想マシン再構築コマンドに基づいて仮想マシンを再構築した後に、再構築応答信号を第1の物理マシンに送信して、仮想マシンの再構築動作が完了することを第1の物理マシンに通知する。
図5aにおいて、管理ノードの回復フローは以下のステップを含む。
ステップ502において、管理ノードは受信された仮想マシンリセットコマンドに基づいて、管理ノードに位置する仮想マシンをリセットし、リセットが成功した場合に、引き続き仮想ノードにおける業務サービスプロセスをリセットする。
ステップ505において、管理ノードは増分バックアップされたメタ情報によって管理ノードにおけるデータを回復する。
ステップ507において、管理ノードは計算ノードの登録を待つ。
ステップ508において、管理ノードは登録された計算ノードを計算クラスタにもう一度加入する。
図5bにおいて、計算ノードの回復フローは以下のステップを含む。
ステップ552において、計算ノードに位置する物理マシンは受信された仮想マシンリセットコマンドに基づいて、計算ノードに位置する仮想マシンをリセットし、成功した場合に、計算ノードサービスプロセスを回復する。
ステップ555において、計算ノードクラスタにおける管理ノードに登録する。
ステップ556において、計算ノードが仮想計算クラスタにもう一度加入される。
本実施例において、第1の物理マシンに予め記録された仮想マシンのメタ情報に基づいて、故障した仮想マシンノードのノードタイプが管理ノードであるか計算ノードであるかを判断することができ、故障した仮想マシンノードのノードタイプが計算ノードである場合に、故障した計算ノードの割合が閾値を超えるか否かを判断することもできる。
図10に示すように、コンピュータシステム1000は、読み出し専用メモリ(ROM)1002に記憶されているプログラムまたは記憶部1008からランダムアクセスメモリ(RAM)1003にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置(CPU)1001を備える。RAM1003には、システム1000の操作に必要な様々なプログラムおよびデータがさらに記憶されている。CPU1001、ROM1002およびRAM1003は、バス1004を介して互いに接続されている。入力/出力(I/O)インターフェース1005もバス1004に接続されている。
Claims (19)
- 第1の物理マシンが、第1の所定時間毎に仮想マシンクラスタにおける仮想マシンに仮想マシン状態パラメータ問い合わせコマンドを送信するステップと、
前記仮想マシンが、前記問い合わせコマンドを受信したことに応答し、前記第1の物理マシンに応答情報を送信するステップと、
前記第1の物理マシンが、前記応答情報が第2の所定時間にわたって中断することに応答して、仮想マシンが故障したと判断し、故障した仮想マシンが予め設定されたリセット条件を満たすか否かを判断し、故障した仮想マシンが予め設定されたリセット条件を満たす場合に、前記故障した仮想マシンを実行する第2の物理マシンに仮想マシンリセットコマンドを送信するステップと、
前記第2の物理マシンが、前記仮想マシンリセットコマンドに基づいて、前記故障した仮想マシンをリセットするステップと、
を含み、
前記の故障した仮想マシンが予め設定されたリセット条件を満たす場合に、前記故障した仮想マシンを実行する第2の物理マシンに仮想マシンリセットコマンドを送信するステップにおいては、
故障した仮想マシンの割合がプリセットされた割合より小さい場合に、仮想マシンリセットコマンドを前記第2の物理マシンに送信するステップ、又は、
故障した仮想マシンの、前回の仮想マシンリセット又は仮想マシン再構築からの時間が第3の所定時間を超える場合に、仮想マシンリセットコマンドを前記第2の物理マシンに送信するステップ、
を含むことを特徴とする仮想マシンクラスタの監視方法。 - 前記第2の物理マシンが、前記故障した仮想マシンをリセットする時に、リセット応答信号を前記第1の物理マシンに送信するステップと、
前記第1の物理マシンが、前記リセット応答信号を受信したことに応答し、予め記録された仮想マシンのメタ情報から故障した仮想マシンのアドレスを取得し、前記アドレスに基づいて、前記リセットされた仮想マシンと接続し、第1のサービスプロセスリセット信号を前記リセットされた仮想マシンに送信するステップと、
前記リセットされた仮想マシンが、前記第1のサービスプロセスリセット信号に基づいて、前記リセットされた仮想マシンのサービスプロセスを起動するステップと、
をさらに含むことを特徴とする請求項1に記載の方法。 - 前記第1の物理マシンが、前記仮想マシンリセットコマンドを送信した後の所定時間内に前記リセット応答信号を受信していないことに応答し、前記故障した仮想マシンのリセットが失敗したと判断し、リセット失敗の回数がプリセットされた回数に達することに応答し、前記仮想マシンクラスタのホスト物理マシンクラスタにおける、前記第2の物理マシン以外の物理マシンである第3の物理マシンに仮想マシン再構築コマンドを送信するステップと、
前記第3の物理マシンが、前記仮想マシン再構築コマンドに基づいて、前記故障した仮想マシンを再構築するステップと、
をさらに含むことを特徴とする請求項2に記載の方法。 - 前記第3の物理マシンが、再構築応答信号を前記第1の物理マシンに送信するステップと、
前記第1の物理マシンが、前記再構築応答信号を受信したことに応答し、前記仮想マシンのメタ情報から故障した仮想マシンのメタ情報を取得し、取得されたメタ情報に基づいて、ノード回復コマンドを前記再構築された仮想マシンに送信するステップと、
前記再構築された仮想マシンが、前記ノード回復コマンドに基づいて前記再構築された仮想マシンが管理ノードであると判断した場合に、前記ノード回復コマンドに基づいて、予めバックアップされた元の管理ノードに関連する増分データをリモートメモリからダウンロードし、前記増分データに基づいて、前記再構築された管理ノードのメタデータを回復し、前記仮想マシンクラスタにおける計算ノードの登録を受けており、前記ノード回復コマンドに基づいて前記再構築された仮想マシンが計算ノードであると判断した場合に、前記ノード回復コマンドに基づいて、前記仮想マシンクラスタにおける管理ノードに登録するステップと、
をさらに含むことを特徴とする請求項3に記載の方法。 - 前記再構築された管理ノードが、所定時間内に登録された前記仮想マシンクラスタにおける計算ノードがプリセットされた割合以上であることに応答し、再構築が成功したと判断し、再構築が成功したことを指示する信号を前記第1の物理マシンに送信しており、所定時間内に登録された前記仮想マシンクラスタにおける計算ノードがプリセットされた割合より低いことに応答し、再構築が失敗したことを指示する警告信号を前記第1の物理マシンに送信するステップと、
前記第1の物理マシンが、前記の再構築が成功したことを指示する信号に基づいて、前記再構築された管理ノードに受信されたユーザージョブを投入しており、前記の再構築が失敗したことを指示する警告信号に基づいて、警告報知を表示するステップと、
をさらに含むことを特徴とする請求項4に記載の方法。 - 前記仮想マシンのメタ情報に基づいて、前記故障した仮想マシンが管理ノードを含むか否か及び故障した計算ノードの割合が閾値を超えるか否かを判断することと、
故障した仮想マシンが管理ノードを含む又は故障した計算ノードの割合が閾値を超えると判断したことに応答し、前記仮想マシンクラスタが故障したと判断することと、
前記仮想マシンクラスタが故障したことに応答し、引き続きユーザージョブを受信し、ユーザージョブの前記仮想マシンクラスタにおける管理ノードへの投入を停止することと、
前記応答情報がリセット又は再構築された仮想マシンからのものであることに応答し、前記リセット又は再構築された仮想マシンが管理ノードを含むか否か及び故障した計算ノードの割合が前記閾値を超えるか否かを判断することと、
前記リセット又は再構築された仮想マシンが管理ノードを含み且つ故障した計算ノードの割合が前記閾値を超えていないと判断したことに応答し、前記仮想マシンクラスタが故障から回復したと判断することと、
前記仮想マシンクラスタが故障から回復したことに応答し、引き続き前記仮想マシンクラスタにおける管理ノードにジョブを投入し、及び前記管理ノードから問い合わせられたジョブ状態情報に基づいて、前記仮想マシンクラスタが故障する前に実行したジョブが成功したか否かを判断し、成功した場合に、次のジョブを投入し、失敗した場合に、失敗したジョブを再投入することと、
故障した仮想マシンが管理ノードを含まず且つ故障した計算ノードの割合が閾値を超えていないと判断したことに応答し、ユーザージョブを受信し続け、前記ユーザージョブを前記仮想マシンクラスタにおける管理ノードに投入することと、
を前記第1の物理マシンによって実行するステップをさらに含んでおり、
ここで、前記ジョブ状態情報は、前記管理ノードが前記計算ノードのジョブログに基づいて取得するものである
ことを特徴とする請求項5に記載の方法。 - 前記仮想マシンクラスタにおける管理ノードが、増分操作ログをリモートメモリに定期的にバックアップするステップと、
前記リモートメモリが、バックアップされた操作ログを定期的にマージし、マージ時点
前の操作ログを削除するステップと、
をさらに含むことを特徴とする請求項6に記載の方法。 - 前記仮想マシンクラスタにおける計算ノードが、第2の所定時間毎に前記仮想マシンクラスタにおける管理ノードに第1のハートビート情報を送信して計算ノードに実行されている第2のサービスプロセスの状態情報を報告するステップと、
前記仮想マシンクラスタにおける管理ノードが、前記第2のサービスプロセスの状態情報が所定の正常なプロセス条件に合致するか否かを判断し、合致しない場合に、前記第2のサービスプロセスの状態情報が所定の正常なプロセス条件に合致しない回数を記録し、前記第2のサービスプロセスの状態情報が所定条件に合致しない回数が所定回数を超えることに応答し、前記第2のサービスプロセスが異常であると判断し、第2のサービスプロセスリセット信号を異常な第2のサービスプロセスに位置する計算ノードに送信するステップと、
前記異常な第2のサービスプロセスに位置する計算ノードが、前記第2のサービスプロセスリセット信号に基づいて、異常な第2のサービスプロセスをリセットするステップと、
をさらに含むことを特徴とする請求項4〜7のいずれか一項に記載の方法。 - 前記仮想マシンクラスタにおける計算ノードが、前記仮想マシンクラスタにおける管理ノードに第2のハートビート情報を送信して仮想マシンの状態パラメータ情報を報告するステップと、
前記仮想マシンクラスタにおける管理ノードが、前記仮想マシンの状態パラメータ情報が予め設定された異常条件に合致するか否かを判断し、合致する場合に、警告報知を表示するステップと、
をさらに含むことを特徴とする請求項8に記載の方法。 - 前記仮想マシンの状態パラメータ情報が、仮想マシンのディスク使用率、仮想マシンネットワークI/O負荷及び仮想マシンのCPU使用率の一項又は複数項を含むことを特徴とする請求項9に記載の方法。
- 仮想マシンクラスタの監視システムであって、第1の物理マシンと、仮想マシンと、第2の物理マシンとを備えており、
前記第1の物理マシンは、第1の所定時間毎に仮想マシンクラスタにおける仮想マシンに仮想マシン状態パラメータ問い合わせコマンドを送信し、応答情報が第2の所定時間にわたって中断することに応答し、仮想マシンが故障したと判断し、故障した仮想マシンが予め設定されたリセット条件を満たすか否かを判断し、故障した仮想マシンが予め設定されたリセット条件を満たす場合に、前記故障した仮想マシンを実行する第2の物理マシンに仮想マシンリセットコマンドを送信することに用いられ、
前記仮想マシンは、前記問い合わせコマンドを受信したことに応答し、前記第1の物理マシンに前記応答情報を送信することに用いられ、
前記第2の物理マシンは、前記仮想マシンリセットコマンドに基づいて、前記故障した仮想マシンをリセットすることに用いられ、
前記予め設定されたリセット条件は、故障した仮想マシンの割合がプリセットされた割合より小さい、又は、故障した仮想マシンの、前回の仮想マシンリセット又は仮想マシン再構築からの時間が第3の所定時間を超えることである、
ことを特徴とする仮想マシンクラスタの監視システム。 - 前記第2の物理マシンはさらに、前記故障した仮想マシンをリセットする時に、リセット応答信号を前記第1の物理マシンに送信し、前記リセットされた仮想マシンが第1のサービスプロセスリセット信号に基づいて、前記リセットされた仮想マシンのサービスプロセスを起動することに用いられ、
前記第1の物理マシンはさらに、前記リセット応答信号を受信したことに応答し、予め記録された仮想マシンのメタ情報から故障した仮想マシンのアドレスを取得し、前記アド
レスに基づいて、前記リセットされた仮想マシンと接続し、前記第1のサービスプロセスリセット信号を前記リセットされた仮想マシンに送信することに用いられる、
ことを特徴とする請求項11に記載のシステム。 - 前記システムは、
仮想マシン再構築コマンドに基づいて、前記故障した仮想マシンを再構築するための第3の物理マシンをさらに備えており、
前記第1の物理マシンはさらに、前記仮想マシンリセットコマンドを送信した後の所定時間内に前記リセット応答信号を受信していないことに応答し、前記故障した仮想マシンのリセットが失敗したと判断し、リセット失敗の回数がプリセットされた回数に達することに応答し、前記仮想マシンクラスタのホスト物理マシンクラスタにおける、前記第2の物理マシン以外の物理マシンである第3の物理マシンに前記仮想マシン再構築コマンドを送信することに用いられる、
ことを特徴とする請求項12に記載のシステム。 - 前記第3の物理マシンはさらに、再構築応答信号を前記第1の物理マシンに送信し、前記再構築された仮想マシンが、ノード回復コマンドに基づいて前記再構築された仮想マシンが管理ノードであると判断した場合に、前記ノード回復コマンドに基づいて、予めバックアップされた元の管理ノードに関連する増分データをリモートメモリからダウンロードし、前記増分データに基づいて、前記再構築された管理ノードのメタデータを回復し、前記仮想マシンクラスタにおける計算ノードの登録を受けており、ノード回復コマンドに基づいて前記再構築された仮想マシンが計算ノードであると判断した場合に、前記ノード回復コマンドに基づいて、前記仮想マシンクラスタにおける管理ノードに登録することに用いられ、
前記第1の物理マシンはさらに、前記再構築応答信号を受信したことに応答し、前記仮想マシンのメタ情報から故障した仮想マシンのメタ情報を取得し、取得されたメタ情報に基づいて、前記ノード回復コマンドを前記再構築された仮想マシンに送信することに用いられる、
ことを特徴とする請求項13に記載のシステム。 - 前記再構築された管理ノードはさらに、所定時間内に登録された、前記仮想マシンクラスタにおける計算ノードがプリセットされた割合以上であることに応答し、再構築が成功したと判断し、再構築が成功したことを指示する信号を前記第1の物理マシンに送信し、所定時間内に登録された、前記仮想マシンクラスタにおける計算ノードがプリセットされた割合より低いことに応答し、再構築が失敗したことを指示する警告信号を前記第1の物理マシンに送信することに用いられ、
前記第1の物理マシンはさらに、再構築が成功したことを指示する前記信号に基づいて、前記再構築された管理ノードに受信されたユーザージョブを投入しており、再構築が失敗したことを指示する前記警告信号に基づいて、警告報知を表示することに用いられる、
ことを特徴とする請求項14に記載のシステム。 - 前記第1の物理マシンはさらに、
前記仮想マシンのメタ情報に基づいて、前記故障した仮想マシンが管理ノードを含むか否か及び故障した計算ノードの割合が閾値を超えるか否かを判断することと、
故障した仮想マシンが管理ノードを含む又は故障した計算ノードの割合が閾値を超えると判断したことに応答し、前記仮想マシンクラスタが故障したと判断することと、
前記仮想マシンクラスタが故障したことに応答し、引き続きユーザージョブを受信し、前記仮想マシンクラスタにおける管理ノードへの、ユーザージョブの投入を停止することと、
前記応答情報がリセット又は再構築された仮想マシンからのものであることに応答し、
前記リセット又は再構築された仮想マシンが管理ノードを含むか否か及び故障した計算ノードの割合が前記閾値を超えるか否かを判断することと、
前記リセット又は再構築された仮想マシンが管理ノードを含み且つ故障した計算ノードの割合が前記閾値を超えていないと判断したことに応答し、前記仮想マシンクラスタが故障から回復したと判断することと、
前記仮想マシンクラスタが故障から回復したことに応答し、引き続き前記仮想マシンクラスタにおける管理ノードにジョブを投入し、及び前記管理ノードから問い合わせられたジョブ状態情報に基づいて、前記仮想マシンクラスタが故障する前に実行したジョブが成功したか否かを判断し、成功した場合に、次のジョブを投入し、失敗した場合に、失敗したジョブを再投入することと、
故障した仮想マシンが管理ノードを含まず且つ故障した計算ノードの割合が閾値を超えていないと判断したことに応答し、引き続きユーザージョブを受信し、前記ユーザージョブを前記仮想マシンクラスタにおける管理ノードに投入することと、
に用いられて、
ここで、ジョブ状態情報は、前記管理ノードが前記計算ノードのジョブログに基づいて取得するものであることを特徴とする請求項15に記載のシステム。 - バックアップされた操作ログを定期的にマージし、マージ時点前の操作ログを削除するためのリモートメモリをさらに備えており、
前記仮想マシンクラスタにおける管理ノードはさらに、増分操作ログを前記リモートメモリに定期的にバックアップすることに用いられる、
ことを特徴とする請求項16に記載のシステム。 - 前記仮想マシンクラスタにおける計算ノードはさらに、第2の所定時間毎に前記仮想マシンクラスタにおける管理ノードに第1のハートビート情報を送信して計算ノードに実行されている第2のサービスプロセスの状態情報を報告すること、及び異常な第2のサービスプロセスに位置する計算ノードが第2のサービスプロセスリセット信号に基づいて、前記異常な第2のサービスプロセスをリセットすることに用いられ、
前記仮想マシンクラスタにおける管理ノードはさらに、前記第2のサービスプロセスの状態情報が所定の正常なプロセス条件に合致するか否かを判断し、合致しない場合に、前記第2のサービスプロセスの状態情報が所定の正常なプロセス条件に合致しない回数を記録し、前記第2のサービスプロセスの状態情報が所定条件に合致しない回数が所定回数を超えることに応答し、前記第2のサービスプロセスが異常であると判断し、第2のサービスプロセスリセット信号を前記異常な第2のサービスプロセスに位置する計算ノードに送信することに用いられる、
ことを特徴とする請求項14〜17のいずれか一項に記載のシステム。 - 前記仮想マシンクラスタにおける計算ノードはさらに、前記仮想マシンクラスタにおける管理ノードに第2のハートビート情報を送信して仮想マシンの状態パラメータ情報を報告することに用いられ、
前記仮想マシンクラスタにおける管理ノードはさらに、前記仮想マシンの状態パラメータ情報が予め設定された異常条件に合致するか否かを判断し、合致する場合に、警告報知を表示することに用いられる、
ことを特徴とする請求項18に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510703270.3A CN105357038B (zh) | 2015-10-26 | 2015-10-26 | 监控虚拟机集群的方法和*** |
CN201510703270.3 | 2015-10-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017084333A JP2017084333A (ja) | 2017-05-18 |
JP6285511B2 true JP6285511B2 (ja) | 2018-02-28 |
Family
ID=55332914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016160156A Active JP6285511B2 (ja) | 2015-10-26 | 2016-08-17 | 仮想マシンクラスタの監視方法及びシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10152382B2 (ja) |
JP (1) | JP6285511B2 (ja) |
KR (1) | KR101888029B1 (ja) |
CN (1) | CN105357038B (ja) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105871633A (zh) * | 2016-05-31 | 2016-08-17 | 中国建设银行股份有限公司 | 一种应用控制方法、装置和*** |
CN107465453A (zh) * | 2016-06-02 | 2017-12-12 | 中兴通讯股份有限公司 | 一种光网络终端及其工作方法、及通信*** |
CN107491339A (zh) * | 2016-06-13 | 2017-12-19 | 深圳市深信服电子科技有限公司 | 服务器虚拟化的虚拟机监控方法及装置 |
CN106130763A (zh) * | 2016-06-24 | 2016-11-16 | 平安科技(深圳)有限公司 | 服务器集群及适用于该集群的数据库资源组切换控制方法 |
CN107769943B (zh) * | 2016-08-17 | 2021-01-08 | 阿里巴巴集团控股有限公司 | 一种主备集群切换的方法和设备 |
CN107819640B (zh) | 2016-09-14 | 2019-06-28 | 北京百度网讯科技有限公司 | 用于机器人操作***的监控方法和装置 |
CN108108255A (zh) * | 2016-11-25 | 2018-06-01 | 中兴通讯股份有限公司 | 虚拟机故障的检测和恢复方法及装置 |
US10379922B1 (en) * | 2017-03-24 | 2019-08-13 | Intuit Inc. | Error recovery in a virtual machine-based development environment |
CN107426012B (zh) * | 2017-05-27 | 2020-06-09 | 深信服科技股份有限公司 | 一种基于超融合架构的故障恢复方法及其装置 |
CN107171849B (zh) * | 2017-05-31 | 2020-03-31 | 郑州云海信息技术有限公司 | 一种虚拟机集群的故障监控方法及装置 |
US10554492B2 (en) * | 2017-06-09 | 2020-02-04 | Microsoft Technology Licensing, Llc | Physical machine management in distributed computing systems |
CN109213743B (zh) * | 2017-06-30 | 2021-10-15 | 北京京东尚科信息技术有限公司 | 一种数据查询方法和装置 |
CN109558272A (zh) * | 2017-09-26 | 2019-04-02 | 北京国双科技有限公司 | 服务器的故障恢复方法和装置 |
CN108023782B (zh) * | 2017-12-29 | 2020-11-27 | 华东师范大学 | 一种基于维修记录的设备故障预警方法 |
WO2019196062A1 (zh) | 2018-04-12 | 2019-10-17 | 华为技术有限公司 | 探测虚拟机状态的方法和设备 |
CN108874640B (zh) * | 2018-05-07 | 2022-09-30 | 北京京东尚科信息技术有限公司 | 一种集群性能的评估方法和装置 |
CN108900324B (zh) * | 2018-06-13 | 2021-10-15 | 平安科技(深圳)有限公司 | 校验虚拟机通信性能的方法及装置 |
CN110727652B (zh) * | 2018-07-17 | 2023-06-30 | 阿里巴巴集团控股有限公司 | 一种云存储处理***及其实现数据处理的方法 |
CN109495560B (zh) * | 2018-11-07 | 2021-06-29 | 郑州云海信息技术有限公司 | 一种链路建立方法、装置、设备及存储介质 |
CN109542725B (zh) * | 2018-11-15 | 2022-04-05 | 北京金山云网络技术有限公司 | 一种分布式***的服务质量监控方法、装置及监控服务器 |
CN113454605A (zh) * | 2018-11-27 | 2021-09-28 | 区块链联合香港有限公司 | 运算设备维护方法及装置、存储介质和程序产品 |
US11573973B1 (en) * | 2018-12-19 | 2023-02-07 | Vivek Vishnoi | Methods and systems for the execution of analysis and/or services against multiple data sources while maintaining isolation of original data source |
CN109714202B (zh) * | 2018-12-21 | 2021-10-08 | 郑州云海信息技术有限公司 | 一种客户端离线原因判别方法和集群式安全管理*** |
CN110119325A (zh) * | 2019-05-10 | 2019-08-13 | 深圳前海微众银行股份有限公司 | 服务器故障处理方法、装置、设备及计算机可读存储介质 |
CN110177018A (zh) * | 2019-06-04 | 2019-08-27 | 北京百度网讯科技有限公司 | 用于控制网络状态的方法及装置 |
CN110908832A (zh) * | 2019-10-24 | 2020-03-24 | 烽火通信科技股份有限公司 | 一种云平台的虚拟机故障疏散方法、***及计算机可读介质 |
CN112817686B (zh) * | 2019-11-15 | 2023-07-25 | 北京百度网讯科技有限公司 | 检测虚拟机异常的方法、装置、设备和计算机存储介质 |
CN111124755B (zh) * | 2019-12-06 | 2023-08-15 | 中国联合网络通信集团有限公司 | 集群节点的故障恢复方法、装置、电子设备及存储介质 |
US20210271506A1 (en) * | 2020-02-28 | 2021-09-02 | Cisco Technology, Inc. | Centralized management, provisioning and monitoring of cloud infrastructure |
CN111988367B (zh) * | 2020-07-30 | 2022-05-10 | 苏州浪潮智能科技有限公司 | 一种服务器集群中单服务器的管理方法及*** |
CN112148433A (zh) * | 2020-10-12 | 2020-12-29 | 北京计算机技术及应用研究所 | 一种基于云环境下的资源运维方法、装置及存储集群 |
CN112231066B (zh) * | 2020-10-29 | 2024-02-13 | 北京思特奇信息技术股份有限公司 | 一种基于jvm内存使用的优化处理方法及*** |
CN112398708B (zh) * | 2020-11-09 | 2022-10-28 | 上海瀚银信息技术有限公司 | 一种通用易接入的监控方法及*** |
CN112636461B (zh) * | 2020-11-09 | 2022-08-02 | 国家电网有限公司 | 一种用于故障录波器的远程重启方法及*** |
CN112506691B (zh) * | 2020-12-14 | 2024-04-19 | 贵州电网有限责任公司 | 一种多能源***数字孪生应用故障恢复方法及*** |
CN112667999B (zh) * | 2020-12-31 | 2024-06-07 | 中电长城网际安全技术研究院(北京)有限公司 | 虚拟机的执行时间调整方法和装置 |
CN113010392B (zh) * | 2021-02-08 | 2023-06-20 | 建信金融科技有限责任公司 | 大数据平台的测试方法、装置、设备、存储介质和*** |
CN112988463B (zh) * | 2021-02-23 | 2022-08-30 | 新华三大数据技术有限公司 | 一种故障节点隔离方法及装置 |
CN112965791B (zh) * | 2021-03-29 | 2022-06-07 | 北京三快在线科技有限公司 | 定时任务检测方法、装置、设备及存储介质 |
CN113157481B (zh) * | 2021-04-28 | 2024-06-25 | 中国工商银行股份有限公司 | 基于集群的服务器跳时间故障处理方法、装置及*** |
CN113381887B (zh) * | 2021-06-08 | 2023-04-07 | 中国工商银行股份有限公司 | 计算节点故障处理方法及装置 |
CN113625946A (zh) * | 2021-06-28 | 2021-11-09 | 苏州浪潮智能科技有限公司 | 一种实现存储集群仲裁的方法、***及计算机设备 |
CN113542398B (zh) * | 2021-07-13 | 2023-09-19 | 广州云从凯风科技有限公司 | 分布式集群***的管控方法、装置、介质和设备 |
CN113608836A (zh) * | 2021-08-06 | 2021-11-05 | 上海英方软件股份有限公司 | 一种基于集群的虚拟机高可用方法及*** |
US12020063B2 (en) | 2021-12-01 | 2024-06-25 | Google Llc | Preflight checks for hardware accelerators in a distributed system |
CN114205231B (zh) * | 2021-12-06 | 2024-06-21 | 武汉美和易思数字科技有限公司 | 批量启动hadoop集群的方法、***及可读存储介质 |
CN114257601B (zh) * | 2021-12-16 | 2023-11-17 | 杭州谐云科技有限公司 | 一种云边协同的集群构建方法和*** |
CN114546517A (zh) * | 2022-01-24 | 2022-05-27 | 中国第一汽车股份有限公司 | 一种软件健康管理方法、装置、设备及存储介质 |
WO2023185355A1 (zh) * | 2022-03-28 | 2023-10-05 | 同方威视技术股份有限公司 | 实现集群虚拟机高可用的方法和装置、设备和介质 |
CN115174223B (zh) * | 2022-07-06 | 2023-03-21 | 北京神州慧安科技有限公司 | 一种工控主机安全防护方法、***、智能终端及存储介质 |
CN114880080B (zh) * | 2022-07-11 | 2022-09-20 | 国网信息通信产业集团有限公司 | 一种虚拟机高可用方法及计算集群 |
CN115103006A (zh) * | 2022-07-15 | 2022-09-23 | 济南浪潮数据技术有限公司 | 分布式存储集群场景下心跳消息发送方法及其相关组件 |
CN115333944B (zh) * | 2022-07-20 | 2023-08-11 | 苏州浪潮智能科技有限公司 | 虚拟机集群ip资源配置方法、***、设备和存储介质 |
WO2024034752A1 (ko) * | 2022-08-09 | 2024-02-15 | 엘지전자 주식회사 | 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치 |
CN115549751B (zh) * | 2022-08-12 | 2024-05-24 | 中国科学院空天信息创新研究院 | 遥感卫星地面站监控***和方法 |
CN115250246B (zh) * | 2022-09-21 | 2022-12-06 | 之江实验室 | 一种监测虚拟机集群中节点状态的方法和计算机*** |
WO2024143596A1 (ko) * | 2022-12-28 | 2024-07-04 | ㈜페르세우스 | 하이퍼바이저 시스템의 운영체제 도메인 고장 상태 모니터 장치 |
CN116155691A (zh) * | 2023-02-03 | 2023-05-23 | 北京达佳互联信息技术有限公司 | 数据处理方法及其装置 |
CN117032881A (zh) * | 2023-07-31 | 2023-11-10 | 广东保伦电子股份有限公司 | 一种虚拟机异常检测和恢复的方法、装置及存储介质 |
CN116866154B (zh) * | 2023-09-05 | 2023-11-28 | 湖北华中电力科技开发有限责任公司 | 一种基于虚拟机集群的配电网通讯服务智能调度管理*** |
CN118138588A (zh) * | 2024-05-08 | 2024-06-04 | 北京城建智控科技股份有限公司 | 云主机高可用***和云平台 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002082816A (ja) * | 2000-09-07 | 2002-03-22 | Hitachi Ltd | 障害監視システム |
JP4649341B2 (ja) | 2006-01-24 | 2011-03-09 | 株式会社日立製作所 | 計算機制御方法、情報処理システムおよび計算機制御プログラム |
JP2007329345A (ja) * | 2006-06-08 | 2007-12-20 | Hitachi Kokusai Electric Inc | 基板処理装置 |
US8554981B2 (en) * | 2007-02-02 | 2013-10-08 | Vmware, Inc. | High availability virtual machine cluster |
JP5440273B2 (ja) | 2010-03-09 | 2014-03-12 | 富士通株式会社 | スナップショット管理方法、スナップショット管理装置、及びプログラム |
US8424000B2 (en) * | 2010-07-30 | 2013-04-16 | Symantec Corporation | Providing application high availability in highly-available virtual machine environments |
JP5416156B2 (ja) * | 2011-03-29 | 2014-02-12 | 株式会社日立システムズ | 統合監視システム及び統合監視プログラム |
US8924967B2 (en) * | 2011-04-28 | 2014-12-30 | Vmware, Inc. | Maintaining high availability of a group of virtual machines using heartbeat messages |
JP2012243255A (ja) * | 2011-05-24 | 2012-12-10 | Intelligent Willpower Corp | バーチャルマシン提供システム |
CN102355369B (zh) * | 2011-09-27 | 2014-01-08 | 华为技术有限公司 | 虚拟化集群***及其处理方法和设备 |
CN102983990A (zh) * | 2012-11-07 | 2013-03-20 | 曙光云计算技术有限公司 | 虚拟机的管理方法和装置 |
CN103036975B (zh) * | 2012-12-13 | 2016-03-09 | 深信服网络科技(深圳)有限公司 | 虚拟机控制方法及装置 |
CN103152419B (zh) * | 2013-03-08 | 2016-04-20 | 中标软件有限公司 | 一种云计算平台的高可用集群管理方法 |
US9208015B2 (en) * | 2013-06-18 | 2015-12-08 | Vmware, Inc. | Hypervisor remedial action for a virtual machine in response to an error message from the virtual machine |
US9483352B2 (en) * | 2013-09-27 | 2016-11-01 | Fisher-Rosemont Systems, Inc. | Process control systems and methods |
CN103607296B (zh) * | 2013-11-01 | 2017-08-22 | 新华三技术有限公司 | 一种虚拟机故障处理方法和设备 |
CN103559108B (zh) * | 2013-11-11 | 2017-05-17 | 中国科学院信息工程研究所 | 一种基于虚拟化实现主备故障自动恢复的方法及*** |
JP6111209B2 (ja) * | 2014-02-04 | 2017-04-05 | 西日本電信電話株式会社 | 仮想マシン管理システム、仮想マシン管理方法、環境管理サーバ及びプログラム |
JP2015158773A (ja) * | 2014-02-24 | 2015-09-03 | 富士通株式会社 | 仮想装置の動作検証装置,仮想装置の動作検証システム及びプログラム |
US9582373B2 (en) * | 2014-03-31 | 2017-02-28 | Vmware, Inc. | Methods and systems to hot-swap a virtual machine |
-
2015
- 2015-10-26 CN CN201510703270.3A patent/CN105357038B/zh active Active
-
2016
- 2016-08-17 US US15/239,612 patent/US10152382B2/en active Active
- 2016-08-17 KR KR1020160104238A patent/KR101888029B1/ko active IP Right Grant
- 2016-08-17 JP JP2016160156A patent/JP6285511B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017084333A (ja) | 2017-05-18 |
CN105357038B (zh) | 2019-05-07 |
US20170116084A1 (en) | 2017-04-27 |
CN105357038A (zh) | 2016-02-24 |
KR20170048141A (ko) | 2017-05-08 |
KR101888029B1 (ko) | 2018-09-11 |
US10152382B2 (en) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6285511B2 (ja) | 仮想マシンクラスタの監視方法及びシステム | |
US20210004262A1 (en) | Managed orchestration of virtual machine instance migration | |
US10261853B1 (en) | Dynamic replication error retry and recovery | |
JP5851503B2 (ja) | 高可用性仮想機械環境におけるアプリケーションの高可用性の提供 | |
JP5562444B2 (ja) | クラスタシステムにおいてクラスタ非対応アプリケーションをフェールオーバーするためのシステムおよび方法 | |
US9110867B2 (en) | Providing application based monitoring and recovery for a hypervisor of an HA cluster | |
US8615578B2 (en) | Using a standby data storage system to detect the health of a cluster of data storage servers | |
CA2957749C (en) | Systems and methods for fault tolerant communications | |
US8862927B2 (en) | Systems and methods for fault recovery in multi-tier applications | |
CN110807064B (zh) | Rac分布式数据库集群***中的数据恢复装置 | |
CN106528327A (zh) | 一种数据处理方法以及备份服务器 | |
US9164864B1 (en) | Minimizing false negative and duplicate health monitoring alerts in a dual master shared nothing database appliance | |
CN109558260B (zh) | Kubernetes故障排除***、方法、设备及介质 | |
Gokhroo et al. | Detecting and mitigating faults in cloud computing environment | |
CN110825562B (zh) | 数据备份方法、装置、***和存储介质 | |
US10228969B1 (en) | Optimistic locking in virtual machine instance migration | |
CN114189429B (zh) | 一种服务器集群故障的监测***、方法、装置及介质 | |
JP2015069384A (ja) | 情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラム | |
CN103902401A (zh) | 基于监控的虚拟机容错方法及装置 | |
US20180107555A1 (en) | Correlating operational information with an error condition in a dispersed storage network | |
EP4250119A1 (en) | Data placement and recovery in the event of partition failures | |
CN110543385A (zh) | 一种虚拟化备份方法和虚拟化备份还原方法 | |
US10817400B2 (en) | Management apparatus and management method | |
US10915380B2 (en) | Global coordination of in-progress operation risks for multiple distributed storage network memories | |
CN115118530A (zh) | 免密互信配置方法、***、设备、介质和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6285511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |