JP3541335B2 - 情報処理装置及び分散処理制御方法 - Google Patents
情報処理装置及び分散処理制御方法 Download PDFInfo
- Publication number
- JP3541335B2 JP3541335B2 JP16958796A JP16958796A JP3541335B2 JP 3541335 B2 JP3541335 B2 JP 3541335B2 JP 16958796 A JP16958796 A JP 16958796A JP 16958796 A JP16958796 A JP 16958796A JP 3541335 B2 JP3541335 B2 JP 3541335B2
- Authority
- JP
- Japan
- Prior art keywords
- processor
- input
- status
- output port
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2033—Failover techniques switching over of hardware resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2035—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant without idle spare hardware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
- H04L49/3081—ATM peripheral units, e.g. policing, insertion or extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/04—Selecting arrangements for multiplex systems for time-division multiplexing
- H04Q11/0428—Integrated services digital network, i.e. systems for transmission of different types of digitised signals, e.g. speech, data, telecentral, television signals
- H04Q11/0478—Provisions for broadband connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
- G06F11/2023—Failover techniques
- G06F11/2025—Failover techniques using centralised failover control functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5625—Operations, administration and maintenance [OAM]
- H04L2012/5627—Fault tolerance and recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5629—Admission control
- H04L2012/563—Signalling, e.g. protocols, reference model
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Hardware Redundancy (AREA)
- Multi Processors (AREA)
- Exchange Systems With Centralized Control (AREA)
Description
【発明の属する技術分野】
本発明は、複数のプロセッサを備えて負荷分散処理を行う情報処理装置及び分散処理制御方法に関する。
複数のプロセッサを備えた情報処理装置として、例えば、現用系のプロセッサと待機系(予備系)のプロセッサとによる二重化構成によって信頼性を向上した構成や、各プロセッサに処理を分散させる負荷分散方式によって処理能力を向上した構成等が知られている。このような情報処理装置に於いて、規模の拡大,縮小に容易に対応することができ、又障害発生時は、容易に救済できることが要望されている。
【0002】
【従来の技術】
図39は従来例の電子交換機の要部説明図であり、100はメインプロセッサ(MPR)、101−1〜101−nは呼処理プロセッサ(CPR)、102−1〜102−nはネットワーク(NW)、103はバスを示す。各ネットワーク102−1〜102−nは、それぞれ呼処理プロセッサ101−1〜101−nにより制御される。又各呼処理プロセッサ101−1〜101−nは、それぞれを接続するバス103を介してメインプロセッサ100により制御される。
【0003】
この電子交換機は、マルチプロセッサ構成で、呼処理を分散して処理するものであるが、呼処理プロセッサとネットワークとを単位として増設,減設するものである。又各呼処理プロセッサ101−1〜101−nをメインプロセッサ100により管理する構成である。又呼処理プロセッサ101−1〜101−nを、更に、現用系と待機系との二重化構成とし、又メインプロセッサ100も現用系と待機系との二重化構成として、信頼性を向上するシステムも知られている。
【0004】
又電子交換機に於いて、交換制御機能を複数の機能に分割し、各機能毎に複数のプロセッサを設け、交換制御機能を実行する時に、各機能毎に、複数のプロセッサの中の1台のプロセッサを選択指定して処理させる構成も知られている(例えば、特開昭55−53990号公報参照)。又複数の端末に対してインタフェース回路を介して複数の処理装置(プロセッサ)を接続し、この複数の処理装置によりATMセルを処理する場合の負荷分散を図った構成も知られている(例えば、特開平4−179327号公報参照)。
【0005】
【発明が解決しようとする課題】
従来例の現用系と待機系との二重化構成の場合、現用系の障害により待機系に切替えることにより、処理を継続することができるが、待機系が現用系に切替えられた後に障害が発生すると、システムダウンとなる。又マルチプロセッサシステム構成として負荷分散を行う構成に於いて、例えば、前述の図39に示す従来例に於いて、各呼処理プロセッサは、担当するネットワークが固定的に割付けられているから、呼処理プロセッサの障害により、その呼処理プロセッサ担当のネットワークの制御ができないことになり、一部障害によるサービス低下が発生する問題がある。又各呼処理プロセッサ101−1〜101−nを二重化構成としても、現用系と待機系とが共に障害となると、障害発生プロセッサの担当ネットワークによるサービスが停止される問題がある。
【0006】
又複数のプロセッサからなる群から空きを選択して負荷を分担させる前述の従来例(特開昭55−53990号公報参照)は、機能毎に割付けられるものであるから、融通性に欠ける問題があり、且つ処理要求毎に空き選択を行う処理が必要となる問題がある。又インタフェース回路を介して複数の処理装置を接続して負荷分散処理を行う前述の従来例(特開平4−179327号公報)は、共通バスを介して接続された複数の処理装置の処理能力に対応して、ATMセルの処理を分担させるものであるが、具体的な負荷分散処理までは説明されていない。又処理装置の障害発生時や増設等の場合の処理については全く考慮されていないものである。
本発明は、複数のプロセッサにより負荷分散を図り、且つプロセッサの増設,減設等のシステム構成の変更や、障害発生時の救済を容易とすることを目的とする。
【0007】
【課題を解決するための手段】
本発明の情報処理装置は、図1を参照して説明すると、複数の入出力ポートを有する複数の入出力装置2と、この入出力装置2とバス3を介して接続され、入出力ポート毎の処理要求を分散して処理する複数のプロセッサ1とを備えた情報処理装置に於いて、入出力装置2は、入出力ポート状態表により前記入出力ポートの状態を管理する入出力ポート状態管理手段21と、プロセッサ状態表により前記各プロセッサの状態を管理するプロセッサ状態管理手段23と、対応表により入出力ポートを担当するプロセッサの現用/待機の対応を管理する対応表管理手段22とを備え、又プロセッサ1は、担当入出力ポート状態表により処理を担当する前記入出力ポートの状態を管理する担当入出力ポート状態管理手段12と、起動されて自プロセッサの状態を編集し、入出力装置2へ転送するプロセッサ状態通知手段13とを備えている。従って、入出力装置2により、分散処理するプロセッサ1を設定することができる。
【0008】
又前述の情報処理装置に於いて、入出力ポート状態表は、入出力ポート対応に、該入出力ポートの未実装,増設・減設中,現用中,障害・閉塞中の状態を設定する構成を有し、又プロセッサ状態表は、プロセッサ対応に、未実装,増設中,正常,障害発生等を示すプロセッサ状態と、現用として担当する入出力ポート数と、待機として担当する入出力ポート数と、現用として担当できる入出力ポートの最大数とを設定する構成を有し、又対応表は、入出力ポート対応に、入出力ポートを担当する現用プロセッサと待機プロセッサとを設定する構成を有するものである。
【0009】
又プロセッサ1の担当ポート状態管理手段12により管理する担当入出力ポート状態表は、入出力ポート対応に、入出力ポートの未実装或いは自プロセッサの担当でなし、現用プロセッサとして担当、待機プロセッサとして担当、現用プロセッサとして担当しているが入出力ポートが障害・閉塞中、待機プロセッサとして担当しているが入出力ポートが障害・閉塞中の状態を設定する構成を有し、又周期的に起動されて自プロセッサの状態を編集し、入出力装置2へ転送するプロセッサ状態通知手段13を備えている。
【0010】
又本発明の分散処理制御方法は、複数の入出力ポートを有する単一又は複数の入出力装置2と、複数のプロセッサとをバスを介して接続した情報処理装置に於ける分散処理制御方法であって、入出力装置は、入出力ポート状態管理手段21により前記入出力ポートの状態を入出力ポート状態表を基に管理し、プロセッサ状態管理手段23によりプロセッサの状態をプロセッサ状態表を基に管理し、対応表管理手段22により入出力ポートと担当プロセッサとの対応を管理し、且つプロセッサ1は、担当入出力ポート状態管理手段12により自プロセッサが担当する入出力ポートを管理し、入出力ポート毎の処理要求を、対応表を参照して、入出力ポート担当の現用プロセッサにより処理させる過程を含むものである。従って、入出力ポート対応に割付けられた現用プロセッサが、入出力ポートからの要求をそれぞれ処理し、又現用プロセッサの障害発生等の場合は、割付けられた待機プロセッサが現用プロセッサに切替えられて、負荷分散処理を継続することができる。
【0011】
又前述の分散処理制御方法に於いて、現用プロセッサの障害発生又は閉塞指示により、現用プロセッサが担当した入出力ポートと現用/待機プロセッサとの対応を示す対応表の内容について、現用/待機の切替えを行い、現用に切替えられたプロセッサにより、入出力ポートの処理要求を担当させる過程を含むことができる。
【0012】
又入出力装置2は、プロセッサ1から周期的に送信されるプロセッサ状態変化通知コマンドを監視し、このプロセッサ状態変化通知コマンドが連続して所定回数途絶えた時にプロセッサの障害発生と判定し、且つ障害発生後にこのプロセッサ状態変化通知コマンドが所定回数連続して受信できた時は障害回復と判定する過程を含むことができる。
【0013】
又プロセッサ1を増設又は減設した時に、プロセッサ状態表に於ける担当入出力ポート数を基に、増設又は減設後の各プロセッサの入出力ポートの担当数が平均化されるように、対応表の入出力ポート対応のプロセッサの現用/待機を更新する過程を含むことができる。又プロセッサ1は、担当できる入出力ポートの最大数を定期的に入出力装置2に通知し、入出力装置2によってプロセッサが現用プロセッサとして担当させられる入出力ポート数が前記最大数を超えて過負荷状態となった時、この現用プロセッサが担当させられた入出力ポートを、前記最大数以下となるように、待機プロセッサを現用プロセッサに切替えて担当させる過程を含むことができる。
【0014】
又入出力ポートの増設,減設,障害発生,障害回復等の状態変化により、入出力ポート状態表を更新し、且つ各プロセッサが現用として担当する入出力ポート数が平均化するように、入出力ポートの現用/待機プロセッサを設定して対応表を更新し、各プロセッサに入出力ポート状態変化通知コマンドにより通知する過程を含むことができる。
【0015】
【発明の実施の形態】
図1は本発明の実施の形態の要部説明図であり、各部の機能の要部を示すものであって、1はプロセッサ、2は入出力装置、3はバスである。このバス3を介して複数のプロセッサ1と単一又は複数の入出力装置2とが接続されて、情報処理装置を構成している。又電子交換機に適用した場合は、入出力装置2を介してネットワークを制御する構成となり、入出力装置2は、図示を省略した入出力ポート(ハイウェイ)を備えることになる。
【0016】
又11はデータ送受信手段、12は担当ポート状態管理手段、13はプロセッサ状態通知手段、14は入出力要求発行手段、15は入出力データ処理部、21は入出力ポート状態管理手段、22は対応表管理手段、23はプロセッサ状態管理手段、24はデータ送受信手段、25は入出力ポートアクセス手段を示す。
【0017】
プロセッサ1のデータ送受信手段11は、バス3を介して入出力装置2との間又は他のプロセッサ(図示を省略)との間のデータの送受信を行うものであり、又担当ポート状態管理手段12は、プロセッサ1が担当する入出力ポートとその状態とを、メモリ等に形成した担当入出力ポート状態表により管理するものである。又プロセッサ状態通知手段13は、障害発生時又は定期的にプロセッサ1の状態変更イベントについてデータ送受信手段11を介して入出力装置2に通知するものである。
【0018】
又入出力要求発行手段14は、入出力装置2の入出力ポートに対してデータの入出力要求を発行するものである。又入出力データ処理部15は、入出力ポートからの要求に従ったデータを処理するものである。前述の各手段は、プロセッサの演算機能,通信機能,メモリ機能等によって容易に実現することができる。
【0019】
又入出力装置2の入出力ポート状態管理手段21は、メモリ等に形成した入出力ポート状態表により入出力ポートの実装の有無等を管理する。又対応表管理手段22は、入出力ポート対応の現用系のプロセッサと待機系のプロセッサを定義した対応表をメモリ等に形成し、プロセッサの増設等に対応して、その内容の更新を行うものである。又プロセッサ状態管理手段23は、メモリ等に形成したプロセッサ状態表により各プロセッサの状態について、現用系,待機系,障害発生等の管理を行うものである。
【0020】
又データ送受信手段24は、プロセッサ1のデータ送受信手段11と同様に、バス3を介したデータの送受信の制御を行うものであり、又入出力ポートアクセス手段25は、プロセッサ1から発行された入出力装置に対する入出力要求をデータ送受信手段24から受付け、又入出力ポートのアクセスを実行する手段である。前述の各手段は、演算機能,通信機能,メモリ機能等によって容易に実現することができる。
【0021】
図2は本発明の実施の形態の入出力ポート状態表及び状態遷移説明図であり、(A)は入出力ポート状態表31を示す。この入出力ポート状態表31は、入出力ポート状態管理手段21内又は図示を省略したメモリに形成することができるもので、32ビット×nのテーブル構成の場合を示す。この入出力ポート状態表31は、入出力ポート番号をアドレスとし、その入出力ポートの状態を状態表示ビットS1 により表す。即ち、4ビット構成により、未実装=0、増設・減設中=1、現用中=2、障害・閉塞中=3を表すことができる。なお、3ビット構成により表現できるものであるが、4ビット構成により1ワード32ビットの中に8個の入出力ポートについて、その状態を表すことができる。
【0022】
又(B)は状態遷移図であり、イベントが、増設開始、増設完了、障害発生、障害復旧、閉塞、閉塞解除、減設開始、減設完了に従って、状態表示ビットS1 の遷移の様子を示すものである。即ち、入出力ポート状態管理手段21によって制御され、未実装=0の状態に於いて入出力ポートの増設を行う場合は、増設開始のイベントにより増設・減設中=1に遷移し、増設完了のイベントにより現用中=2に遷移する。
【0023】
又現用中の状態に於いて障害発生により、障害・閉塞中=3に遷移し、障害復旧により現用中=2に遷移する。又現用中の状態に於いて閉塞すると、障害・閉塞中=3に遷移し、その閉塞を解除すると、現用中=2に遷移する。又減設開始は、閉塞状態としてから入出力ポートの減設を行うものであるから、障害・閉塞中=3から増設・減設中=1に遷移し、この減設完了により未実装=0に遷移する。それによって、各入出力ポートの状態を管理することができる。
【0024】
或る入出力ポートについて、未実装の状態から増設を開始すると、その入出力ポート番号対応の状態表示ビットS1 は0から1に更新され、増設が完了すると、状態表示ビットS1 は1から2に更新され、現用中を示すものとなる。しかし、この段階では、増設された入出力ポートを担当するプロセッサが割当てられていない為、入出力ポート状態管理手段21は、プロセッサ状態管理手段23にプロセッサ1の状態を問い合わせる。
【0025】
その結果、各プロセッサ1の担当可能な入出力ポート最大数と現用プロセッサとして担当する入出力ポート数とから、各プロセッサ1の余裕度を判断し、一番余裕があるプロセッサを現用プロセッサとし、2番目に余裕が或るプロセッサを待機プロセッサに選定して、対応表管理手段22により入出力ポートの対応表に登録する。
【0026】
この場合、一番余裕があるプロセッサが複数存在する時は、その中からランダム的に現用プロセッサと待機プロセッサとを選択することができる。又入出力ポートの状態変化は、入出力ポート状態変更通知コマンドにより、データ送受信手段24から各プロセッサ1に通知する。各プロセッサ1は、担当ポート状態管理手段12により入出力ポートの状態の管理情報を更新する。
【0027】
又現用中の入出力ポートに障害が発生すると、状態表示ビットS1 は2から3に遷移し、入出力ポート状態変更通知コマンドにより、データ送受信手段24から各プロセッサ1に通知する。各プロセッサ1は、データ送受信手段11により受信し、担当ポート状態管理手段12により入出力ポートの状態を障害中状態に更新し、障害となった入出力ポートへのアクセスを停止させる。
【0028】
又入出力ポートの障害が復旧すると、状態表示ビットS1 は3から2に遷移し、入出力ポート状態変更通知コマンドによりデータ送受信手段24を介して各プロセッサ1に障害復旧を通知する。各プロセッサ1は、データ送受信手段11により受信し、担当ポート状態管理手段12は、障害中の入出力ポートを障害復旧に更新し、その入出力ポートへのアクセスを再開させる。
【0029】
又保守者によるコマンドによって、現用中の入出力ポートを閉塞することができる。その場合、状態表示ビットS1 は2から3に遷移する。そして、前述の障害発生時と同様にして、各プロセッサ1に対して入出力ポート状態変更通知コマンドにより入出力ポートの閉塞が通知され、各プロセッサ1は、通知された入出力ポートに対する状態を閉塞中に更新し、アクセスを停止させる。又保守者のコマンドによる閉塞解除の場合は、状態表示ビットS1 は3から2に遷移し、前述の障害復旧の場合と同様にして、各プロセッサ1に対して入出力ポート状態変更通知コマンドにより入出力ポートの閉塞解除が通知され、各プロセッサ1は、通知された入出力ポートに対するアクセスを再開させる。
【0030】
又入出力ポートの減設は、入出力ポートの閉塞中に於いてのみ可能である。従って、前述の保守者のコマンドにより入出力ポートを閉塞状態とした後、入出力ポートの取り外し等の減設を開始する。その時、状態表示ビットS1 は3から1に遷移する。そして、入出力ポートの減設作業を行い、この作業の完了により入出力ポートは未実装の状態となるから、状態表示ビットS1 は1から0に遷移する。この未実装となった入出力ポートについて、入出力ポート状態管理手段21は、対応表管理手段22に対して対応表の該当入出力ポートの削除を依頼し、又入出力ポート状態変更通知コマンドにより各プロセッサ1に通知する。各プロセッサの担当ポート管理手段12は、入出力ポートの状態を更新する。
【0031】
図3は本発明の実施の形態のプロセッサ状態表及び状態遷移説明図であり、プロセッサ状態管理手段23(図1参照)内又はメモリに形成され、プロセッサ状態管理手段23によって制御されるプロセッサ状態表32を(A)に示す。このプロセッサ状態表32は、プロセッサ番号をアドレスとして、1バイト構成のプロセッサ状態STと、1バイト構成の現用として担当する入出力ポート数ACTと、1バイト構成の待機として担当する入出力ポート数SBYと、現用として担当できる入出力ポートの最大数MAXとを設定する場合を示す。又プロセッサ状態STは、未実装=0、増設・減設中=1、正常=2、過負荷状態=3、障害・閉塞中=4、ファイル更新中=5とすることができる。なお、プロセッサ状態表32は、このようなバイト構成に限定されるものではなく、適用システムに対応して変更することができる。
【0032】
このプロセッサ状態STは、図3の(B)に示すように、イベントの増設開始、増設完了、過負荷発生、過負荷解除、障害発生、障害復旧、閉塞、閉塞解除、ファイル更新開始、ファイル更新完了、減設開始、減設完了に従って遷移する。即ち、プロセッサ状態管理手段23による制御により、プロセッサを増設する場合、そのプロセッサ番号対応のプロセッサ状態STは、未実装を示す0から増設開始の1に遷移し、その増設作業が完了すると、正常状態の2に遷移する。又過負荷状態となると、正常の状態の2から過負荷状態の3に遷移し、この過負荷が解除されると、正常状態の2に遷移する。
【0033】
又障害が発生すると、正常状態の2から障害中の4、或いは過負荷状態の3から障害中の4に遷移し、その障害が回復すると、障害中の4から正常状態の2に遷移する。又ファイル更新を開始すると、正常状態の2からファイル更新中の5に遷移し、ファイルの更新が完了すると、正常状態の2に遷移する。又減設を開始すると、正常状態の2から1に遷移し、減設作業が完了すると、未実装状態の0に遷移する。
【0034】
各プロセッサ1で発生したイベントは、プロセッサ状態変化通知コマンドにより、データ送受信手段11(図1参照)から入出力装置2のプロセッサ状態管理手段23に通知される。プロセッサ状態管理手段23は、図3の(A)に示すプロセッサ状態表32のプロセッサ状態STを更新する。
【0035】
プロセッサ1の増設時は、未実装状態のプロセッサを実装状態とするものであり、増設開始により、プロセッサ状態STは0から1に遷移し、増設作業が完了すると、プロセッサ状態STは1から2に遷移する。この段階では、増設されたプロセッサは、担当入出力ポートが割当てられていない。そこで、プロセッサ状態管理手段23は、入出力ポート状態管理手段21から実装状態の入出力ポート数を求め、この入出力ポート数と、実装プロセッサ数とから、各プロセッサが担当する入出力ポート数の平均値を求める。
【0036】
この入出力ポート数の平均値の2倍の数だけ、対応表管理手段22により入出力ポートの担当待機プロセッサを、増設されたプロセッサに割付ける。この時、他のプロセッサが待機プロセッサとして担当する入出力ポート数が平均化するように調整する。即ち、(増設前の処理プロセッサ当たりの平均入出力ポート数)−(増設後の処理プロセッサ当たりの平均入出力ポート数)だけ、各プロセッサが待機プロセッサとして担当している入出力ポートを変更する。この場合、各プロセッサの能力が同一であることにより、入出力ポートの担当数が等しくなるように調整するものであるが、能力が異なるプロセッサが混在している場合は、各能力に対応して按分されるように調整することができる。
【0037】
そして、前述の増設プロセッサに対する待機プロセッサとして割付けられた入出力ポートの半分の数を、現用プロセッサとして担当するように切替えることを対応表管理手段22に依頼する。この時、他のプロセッサが現用プロセッサとして担当する入出力ポート数が平均化するように調整する。従って、プロセッサを増設することにより、各プロセッサが現用及び待機として担当する入出力ポートについての再割当てが行われ、負荷分散の最適化を図ることができる。
【0038】
又プロセッサ1が過負荷状態となると、プロセッサ1のデータ送受信手段11により入出力装置2に通知する。それにより、プロセッサ状態管理手段23は、プロセッサ状態表32(図3の(A)参照)のプロセッサ状態STを、過負荷状態の3に更新する。その場合、割付けられた担当入出力ポート数が多い場合に相当するから、プロセッサ状態管理手段23は、対応表管理手段22に、過負荷状態のプロセッサの担当入出力ポート数を少なくするように、現用プロセッサと待機プロセッサとの切替えを依頼する。又過負荷状態が解除されると、プロセッサ状態表32のプロセッサ状態STを正常状態の2に更新する。
【0039】
又各プロセッサは、一定の周期に、プロセッサ状態変化通知コマンドを入出力装置2へ送出するものである。従って、入出力装置2は、所定周期以上連続してプロセッサ状態変化通知コマンドを受信できないプロセッサは、障害発生と判断し、プロセッサ状態管理手段23により、プロセッサ状態表32のプロセッサ状態STを障害中の4に更新する。
【0040】
そして、この障害発生プロセッサが担当していた入出力ポートについて、現用プロセッサと待機プロセッサとの切替えを対応表管理手段22に依頼する。それによって、障害発生プロセッサが現用中として担当していた入出力ポートは、待機プロセッサが処理を担当するように切替えることができる。
【0041】
又入出力装置2は、障害発生プロセッサから所定周期連続してプロセッサ状態変化通知コマンドを受信すると、障害復旧と判断し、プロセッサ状態表32のプロセッサ状態STを正常状態の2に更新し、障害が復旧したプロセッサが担当すべき入出力ポートについて対応表管理手段22に切替えを依頼し、現用プロセッサとして入出力ポートの処理を担当する。
【0042】
又入出力ポートと同様に、保守者からのコマンドにより、プロセッサを閉塞することができる。その場合、プロセッサ状態表32のプロセッサ状態STを4に更新し、障害発生時と同様に、対応表管理手段22に、閉塞プロセッサが担当していた入出力ポートについて、現用プロセッサと待機プロセッサとの切替えを依頼し、入出力ポートの担当プロセッサの切替えを行うことになる。又閉塞解除の場合は、プロセッサ状態表32のプロセッサ状態STを2に更新し、対応表管理手段22に依頼して、閉塞前の状態或いは再配置による入出力ポートの割当てを行うことになる。
【0043】
又正常状態のプロセッサのファイルを更新する場合がある。このファイル更新の開始により、プロセッサ状態表32のプロセッサ状態STを5に更新し、このプロセッサが現用プロセッサとして担当していた入出力ポートについて、現用プロセッサと待機プロセッサとの切替えを、対応表管理手段22に依頼する。従って、ファイル更新中のプロセッサは待機に切替えられ、それまで待機であったプロセッサが現用に切替えられ、入出力ポートの処理要求を担当することになる。又ファイル更新が完了すると、プロセッサ状態表32のプロセッサ状態STを2に更新し、このプロセッサが待機プロセッサとして担当していた入出力ポートの半数について、現用プロセッサと待機プロセッサとの切替えを対応表管理手段22に依頼する。
【0044】
又プロセッサをシステムから除去する減設は、プロセッサの閉塞中状態に於いてのみ可能である。この減設開始によりプロセッサ状態表32のプロセッサ状態STは1に遷移し、減設作業の完了によりプロセッサは未実装の状態となるから、プロセッサ状態STは0に遷移する。プロセッサが未実装状態となったことにより、このプロセッサが待機プロセッサとして割当てられた入出力ポートに対して、待機プロセッサの登録を抹消するように、対応表管理手段22に依頼する。又待機プロセッサの登録を抹消された入出力ポートに対しては、対応表管理手段22は、残りのプロセッサを順番に待機プロセッサとし、全体で平均化するように、その入出力ポートに割当てる。
【0045】
図4は本発明の実施の形態の対応表及び担当入出力ポート状態表の説明図であり、(A)は対応表33、(B)は担当入出力ポート状態表34を示す。(A)に示す対応表33は、対応表管理手段22内又は図示を省略したメモリに形成され、対応表管理手段22によって制御されるもので、入出力ポートのポート番号をアドレスとして、現用プロセッサ番号(上側)と待機プロセッサ番号(下側)とを登録する。なお、“0”は入出力ポート対応の担当プロセッサ無しを示す。又現用プロセッサ番号と待機プロセッサ番号とは、ポート番号をアドレスとした1ワード(32ビット)内に設定することも可能である。
【0046】
又対応表管理部22は、対応表33のバックアップデータの管理、初期設定、内容の更新、参照等の機能を有し、バックアップデータの更新を保守者のコマンドにより行うことができる。従って、入出力装置2が初期設定されて使用可能状態となった時に、初期設定の機能によりバックアップデータを対応表33に初期設定し、対応表変化通知コマンドにより、データ送受信手段24から実装プロセッサに通知し、入出力ポートに対するプロセッサの割当てを行い、負荷分散による処理を実行できる状態とする。
【0047】
又現用プロセッサと待機プロセッサとの切替えや割当変更等は、対応表33のポート番号対応に現用プロセッサ番号と待機プロセッサ番号との更新により容易に対応することができる。例えば、指定された入出力ポートの現用プロセッサと待機プロセッサとを切替える場合、その入出力ポートのポート番号対応の現用プロセッサ番号を前の待機プロセッサ番号、又待機プロセッサ番号を前の現用プロセッサ番号にそれぞれ更新することにより対処できる。
【0048】
図4の(B)の担当入出力ポート状態表34は、プロセッサ1の担当ポート状態管理手段12内又は図示を省略したメモリに形成され、担当ポート状態管理手段12により制御されるものであり、入出力ポート番号〔=8×j+(i/4)〕をアドレスとして、4ビット構成の状態表示ビットS2 が配置されている場合を示し、0は入出力ポートが未実装或いは自プロセッサがその入出力ポートの担当プロセッサでないことを示す。又1はその入出力ポートを現用プロセッサとして担当することを示し、2は待機プロセッサとして担当することを示す。又3は現用プロセッサとして担当しているが、入出力ポートが障害中又は閉塞中を示し、4は待機プロセッサとして担当しているが、入出力ポートが障害中又は閉塞中を示す。
【0049】
図5は本発明の実施の形態の送信データフォーマットの説明図であり、32ビットで1ワードを構成する場合を示し、(A)はプロセッサ1から入出力装置2への送信データフォーマットを示す。この送信データフォーマットは、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号、送信データからなる場合を示す。
【0050】
又(B)は入出力装置2からプロセッサ1への送信データフォーマットを示す。この送信データフォーマットは、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号、送信データからなる場合を示す。
【0051】
図6は本発明の実施の形態のコマンドの説明図であり、(A)は入出力ポートからのデータ入力コマンドを示し、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号、入出力ポート番号からなる場合を示す。又(B)は、データ入力コマンドに対するデータ入力コマンド応答を示し、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号、入出力ポート番号、入力結果、入力データ長、入力データからなる場合を示す。
【0052】
図7は本発明の実施の形態のコマンドの説明図であり、(A)は入出力ポートへのデータ出力コマンドを示し、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号、入出力ポート番号、出力データ長、出力データからなる場合を示す。又(B)はデータ出力コマンドに対するデータ出力コマンド応答を示し、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号、入出力ポート番号、出力結果からなる場合を示す。
【0053】
図8は本発明の実施の形態のコマンドの説明図であり、(A)は入出力ポート状態変化通知コマンドを示し、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号、入出力ポート状態表からなる場合を示す。この入出力ポート状態変化通知コマンドにより、前述の入出力ポート状態管理手段21から、入出力ポートの増設や減設、障害発生や復旧等の入出力ポートの状態変更についてプロセッサに通知するものである。
【0054】
又(B)は入出力ポート状態変化通知コマンド応答を示し、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号、受信結果からなる場合を示す。即ち、(A)に示す入出力ポート状態変化通知コマンドを受信したプロセッサが、入出力装置へこの入出力ポート状態変化通知コマンド応答を送出する。
【0055】
図9は本発明の実施の形態のコマンドの説明図であり、(A)はプロセッサ状態変化通知コマンドを示し、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号、プロセッサ状態からなる場合を示し、プロセッサの未実装から実装による増設、過負荷状態への変化、過負荷状態の解除、障害発生、障害復旧、ファイル更新、実装から未実装への減設等の状態変化を、プロセッサ状態通知手段13からデータ送受信手段11を介して送出するものである。又所定の周期で入出力装置へ送出して、プロセッサの正常性を通知する場合,プロセッサ状態の変化がなければ、変化無しのプロセッサ状態の内容のデータを送出することができる。
【0056】
又(B)はプロセッサ状態変化通知コマンド応答を示し、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号、受信結果からなる場合を示す。又(C)は対応表変化通知コマンドを示し、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号、対応表の内容からなる場合を示す。この対応表変化通知コマンドは、入出力ポート又はプロセッサの増設,減設,障害発生,障害回復等のイベントに従って、対応表管理手段22により管理,制御する対応表33(図4参照)の入出力ポートと現用プロセッサとの対応の更新内容を、対応表の内容としてプロセッサに通知するものである。
【0057】
図10は本発明の実施の形態のコマンドの説明図であり、(A)は対応表変化通知コマンド応答を示し、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号、受信結果からなる場合を示す。この対応表変化通知コマンド応答は、図9の(C)に示す対応表変化通知コマンドに対して、プロセッサから入出力装置へ送出する応答である。
【0058】
又(B)は入出力ポート状態問い合わせコマンドを示し、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号、受信結果からなる場合を示す。又(C)は入出力ポート状態問い合わせコマンド応答を示し、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号、入出力ポート状態表からなる場合を示す。
【0059】
入出力装置の入出力ポート状態管理手段21に対して、プロセッサから入出力ポートの状態を問い合わせる為に、前述の(B)に示す入出力ポート状態問い合わせコマンドを送出すると、(C)に示す応答により、入出力ポート状態管理手段21が管理している入出力ポート状態表31の内容を、プロセッサに通知することができる。
【0060】
図11は本発明の実施の形態のコマンドの説明図であり、(A)はプロセッサ状態問い合わせコマンドを示し、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号からなる場合を示す。又(B)はプロセッサ状態問い合わせコマンド応答を示し、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号、プロセッサ状態からなる場合を示す。(A)のプロセッサ状態問い合わせコマンドは、入出力装置からプロセッサに対して、プロセッサの状態を問い合わせる為のものであり、(B)の応答は、その問い合わせに応答して、プロセッサ状態を通知する為のものである。
【0061】
又(C)は対応表問い合わせコマンドを示し、データ長、宛先入出力装置番号、送信元プロセッサ番号、送信コマンド番号とからなる場合を示し、(D)は対応表問い合わせコマンド応答を示し、データ長、宛先プロセッサ番号、送信元入出力装置番号、送信コマンド番号、対応表の内容からなる場合を示す。(C)に示す対応表問い合わせコマンドは、プロセッサから入出力装置に対して、入出力ポートに対する現用,待機のプロセッサの対応表33の内容を問い合わせ、その問い合わせに対して(D)に示す応答をプロセッサに通知する。
【0062】
図12は本発明の実施の形態の受信コマンドの配付先の説明図であり、前述のコマンドを受信する受信装置と、その受信装置としての入出力装置又はプロセッサに於けるコマンドの配付先の手段を示す。例えば、入出力ポートからのデータは、入出力装置2の入出力ポートアクセス手段25に転送され、又入出力ポートへのデータは、入出力ポートアクセス手段25から指定された入出力ポートへ転送される。
【0063】
又図8の(A)に示す入出力ポート状態変化通知コマンドは、プロセッサの担当ポート状態管理管理手段12に転送される。又図9の(A)に示すプロセッサ状態変化通知コマンドは、入出力装置2のプロセッサ状態管理手段23に転送される。又図9の(C)に示す対応表変化通知コマンドは、プロセッサ1の担当ポート状態管理手段12に転送される。
【0064】
又図10の(B)に示す入出力ポート状態問い合わせコマンドは、入出力装置2の入出力ポート状態管理手段21に転送される。又図11の(A)に示すプロセッサ状態問い合わせコマンドは、プロセッサ1のプロセッサ状態通知手段13に転送される。又図11の(C)に示す対応表問い合わせコマンドは、入出力装置2の対応表管理手段22に転送される。
【0065】
図13は本発明の実施の形態の電子交換機に適用した構成の説明図であり、51−1〜51−nは呼処理プロセッサ、52はネットワーク入出力装置、53はバス、54はネットワーク、55は保守・運用プロセッサ、56は保守・運用端末、57は端末制御装置、58は端末、59はハイウェイ0〜mを示す。各呼処理プロセッサ51−1〜51−nが図1のプロセッサ1に対応し、ネットワーク入出力装置52が図1の入出力装置2に対応する。又ハイウェイ59(0〜m)が入出力装置の入出力ポートに対応する。
【0066】
ネットワーク54は、例えば、時分割スイッチにより構成され、電話端末等の端末58間をタイムスロット交換により接続するものであり、複数のハイウェイ0〜mを介して端末制御装置57が接続され、各端末制御装置57に端末58が接続されている。又ネットワーク54は、ネットワーク入出力装置52を介して呼処理プロセッサ51−1〜51−nにより制御される。又各呼処理プロセッサ51−1〜51−nは、ハイウェイ0〜mに対して現用プロセッサ又は待機プロセッサとして担当が割当てられる。
【0067】
端末58からの接続要求は、ネットワーク入出力装置52から接続要求端末が接続されているハイウェイ担当の現用の呼処理プロセッサへ転送され、その呼処理プロセッサは、接続要求端末に対して接続先情報の読出しをネットワーク入出力装置52に依頼し、その接続先情報を読取ると、接続要求端末に対して接続先呼出中音送出をネットワーク入出力装置52に指示する。そして、接続先情報に従ったハイウェイの接続先担当呼処理プロセッサに接続先端末の呼出しを依頼する。この接続先担当呼処理プロセッサは、接続先端末の呼出音送出をネットワーク入出力装置52に指示する。
【0068】
この接続先担当呼処理プロセッサは、接続先端末の応答をネットワーク入出力装置52を介して受信すると、この接続先応答を、接続要求担当呼処理プロセッサへ転送し、この接続要求担当呼処理プロセッサは、接続要求端末と接続先端末との間の通信路を設定するように、ネットワーク入出力装置52に指示する。それに基づいてネットワーク54が制御されて、接続要求端末と接続先端末との間の通信路が設定される。
【0069】
又接続要求担当呼処理プロセッサは、ネットワーク入出力装置52に接続要求元端末の切断要求監視を指示し、接続先担当呼処理プロセッサは、ネットワーク入出力装置52に接続先端末の切断要求監視を指示する。接続要求端末又は接続先端末からの切断要求を、ネットワーク入出力装置52を介して接続要求担当呼処理プロセッサ又は接続先担当プロセッサが受信すると、接続要求端末と接続先端末との間の通信路の切断をネットワーク入出力装置52に指示する。それにより、ネットワーク54に形成された通信路が切断される。
【0070】
以下、ハイウェイ0〜3が実装され、又呼処理プロセッサ51−1,51−2が実装されている場合、呼処理プロセッサ51−1〜51−nを、プロセッサ1〜nとして表し、又ネットワーク入出力装置52を入出力装置として表すと、前述の入出力ポート状態管理手段21(図1参照)により管理される入出力ポート状態表31と、プロセッサ状態管理手段23により管理されるプロセッサ状態表32と、対応表管理手段22により管理される対応表33と、プロセッサ1,2対応の担当入出力ポート状態管理手段12により管理される担当入出力ポート状態表34−1,34−2は、図14に示すものとなる。
【0071】
即ち、入出力ポート状態表31は、右端をハイウェイ0として、ハイウェイ0〜3(入出力ポート)対応に正常状態を示す「2」の内容の場合を示し、又プロセッサ状態表32は、図3に示すように、左側から、プロセッサ状態ST、現用として担当する入出力ポート数ACT、待機として担当する入出力ポート数SBY、現用として担当できる入出力ポートの最大数MAXを登録するものであり、図14に於けるプロセッサ状態表32は、プロセッサ1,2は、プロセッサ状態STは「2」により正常、現用として担当するハイウェイ(入出力ポート)数ACTは「2」、待機として担当するハイウェイ(入出力ポート)数SBYは「2」、現用として担当できるハイウェイ(入出力ポート)の最大数MAXは「4」の場合を示している。又プロセッサ3,4については総て「0」で未実装の場合を示す。
【0072】
又対応表33は、図4の(A)に示すように、ポート番号対応に現用プロセッサ番号と待機プロセッサ番号とを登録するものであり、図14に於ける対応表33は、ポート番号に対応するハイウェイ0に対しては、プロセッサ1が現用、プロセッサ2が待機であることを示し、又ハイウェイ1に対しては、プロセッサ2が現用、プロセッサ1が待機であることを示している。同様に、ハイウェイ2に対しては、プロセッサ1が現用、プロセッサ2が待機、ハイウェイ3に対しては、プロセッサ2が現用、プロセッサ1が待機、ハイウェイ4に対しては、未実装であるから担当プロセッサ無しを示している。
【0073】
又担当入出力ポート状態表は、図4の(B)に示すように、ポート番号対応に担当プロセッサ番号を登録するもので、図14に於けるプロセッサ1の担当入出力ポート状態表34−1は、右端側からポート番号に対応するハイウェイ0に対して現用「1」、ハイウェイ1に対して待機「2」、ハイウェイ2に対して現用「1」、ハイウェイ3に対して待機「2」が登録され、ハイウェイ0,2に対しては現用プロセッサとして担当し、ハイウェイ1,3に対しては待機プロセッサとして担当することを示す。又プロセッサ2の担当入出力ポート状態表34−2は、ハイウェイ0〜3に対して、右端側からそれぞれ待機「2」,現用「1」,待機「2」,現用「1」が登録されている場合を示す。
【0074】
前述のような状態に於いて、ハイウェイ4を増設する場合、ハイウェイ4の増設開始により、入出力ポート状態表31は、図15に示す内容となる。即ち、右端から5番目のハイウェイ4対応の領域に「1」が設定され、増設・減設中であることを表示する。又プロセッサ状態表32と対応表33とプロセッサ1,2の担当入出力ポート状態表34−1,34−2は、図14の状態と同一のままである。
【0075】
ハイウェイ4の増設完了により、図16に示すように、入出力ポート状態表のハイウェイ4対応領域は「2」に遷移して現用中を示すことになる。この段階では、ハイウェイ4を担当するプロセッサの割当てが行われていないので、入出力ポート状態管理手段21(図1参照)は、プロセッサ状態管理手段23にプロセッサの状態を問い合わせる。
【0076】
それにより、プロセッサ状態管理手段23が管理しているプロセッサ状態表32の内容に基づいて、プロセッサが担当可能な入出力ポートの最大数MAXと、現用プロセッサが担当しているポート数ACTとから、各プロセッサの余裕度を判断し、最も余裕があるプロセッサを現用プロセッサ、2番目に余裕があるプロセッサを待機プロセッサとして、対応表33に登録する。
【0077】
この場合、図14及び図15に示すプロセッサ状態表32は、プロセッサ1,2は、同一の余裕度であるから、例えば、ハイウェイ4に対してプロセッサ1を現用、プロセッサ2を待機として割当てると、図16に示すように、プロセッサ状態表32は、その右端から2番目のプロセッサ1対応の現用として担当する入出力ポート数は2から3に更新され、又右端から3番目のプロセッサ2対応の待機として担当する入出力ポート数は2から3に更新される。
【0078】
又対応表33は、ハイウェイ4対応の上側に現用プロセッサ1、下側に待機プロセッサ2が登録される。又プロセッサ1,2の担当入出力ポート状態表34−1,34−2は、ハイウェイ4対応には、プロセッサ1が現用「1」、プロセッサ2が待機「2」であることが登録される。
【0079】
入出力ポートの状態変化は、図8の(A)に示す入出力ポート状態変化通知コマンドにより各プロセッサ1,2に通知する。又各プロセッサ1,2では、この入出力ポート状態変化通知コマンドに従って担当入出力ポート状態表34−1,34−2を更新し、増設されたハイウェイに対する担当プロセッサの割当てが完了する。この場合、増設されたハイウェイ4に対して、プロセッサ1が現用プロセッサ、プロセッサ2が待機プロセッサとなる。
【0080】
又前述のハイウェイ4の増設前の状態に於いて、例えば、ハイウェイ1に障害が発生した場合、即ち、入出力ポート状態表31と、プロセッサ状態表32と、対応表33と、担当入出力ポート状態表34−1,34−2とが、図14に示すテーブル内容である場合に於いて、ハイウェイ1に障害が発生すると、入出力ポート状態表31のハイウェイ1対応領域(右端から2番目)は、現用中の「2」から障害中の「3」に遷移する。即ち、図17の入出力ポート状態表31の内容となる。
【0081】
又入出力ポート状態変更通知コマンドにより各プロセッサ1,2に、ハイウェイ1の障害が通知される。それにより、各プロセッサ1,2は、担当入出力ポート状態表34−1,34−2を更新することになる。従って、図17に示すように、プロセッサ1,2の担当入出力ポート状態表34−1,34−2のハイウェイ1対応の領域は、それぞれ障害中の「4」,「3」に更新される。
【0082】
又テーブル内容が図16に示すように、ハイウェイ4の増設が完了した状態に於いて、例えば、プロセッサ3を増設する場合、増設開始により、図18に示すように、プロセッサ状態表32のプロセッサ3対応のプロセッサ状態STは増設中を示す「1」に遷移する。この段階では、プロセッサ3の担当入出力ポート状態表34−3は総て「0」の状態となっている。
【0083】
このプロセッサ3の増設が完了すると、プロセッサ状態表32のプロセッサ3対応のプロセッサ状態STは現用中を示す「2」に遷移する。そして、プロセッサ状態管理手段23(図1参照)は、増設されたプロセッサ3に対するハイウェイの割当てを行う。この場合、ハイウェイ0〜4の5本であり、実装されたプロセッサ1〜3は3台であるから、プロセッサ当たりのハイウェイの平均値を求めると、1〜2本となる。そこで、例えば、増設されたプロセッサ3の担当ハイウェイ数を1本とすることができる。
【0084】
この増設されたプロセッサ3の担当ハイウェイ数を1本とすると、その2倍の2本のハイウェイについて担当待機プロセッサを、対応表管理手段22(図1参照)により、増設されたプロセッサに割付ける。例えば、2本のハイウェイ1,4の待機プロセッサとして、プロセッサ1から増設プロセッサ3に変更する。又待機プロセッサとして割付けられた2本のハイウェイ1,4の半分の1本のハイウェイ、例えば、ハイウェイ4を担当する現用プロセッサに、待機プロセッサから変更し、ハイウェイ1について待機プロセッサのままとする。
【0085】
従って、プロセッサ増設後のテーブル内容は、例えば、図19に示すものとなる。即ち、入出力ポート状態表31は、5本のハイウェイが現用中「2」を示し、プロセッサ状態表32は、増設されたプロセッサ3について、プロセッサ状態STは現用中「2」、現用として担当する入出力ポート数ACTは「1」、待機として担当する入出力ポート数SBYは「1」、現用として担当できる入出力ポートの最大数MAXは「4」となった場合を示す。
【0086】
又対応表33は、ハイウェイ0,2に対する担当の変更がない場合で、ハイウェイ1は、待機プロセッサは矢印で示すようにプロセッサ1からプロセッサ3に変更され、又ハイウェイ4は、矢印で示すように、待機プロセッサがプロセッサ2からプロセッサ3に変更された後、現用と待機とのプロセッサの切替えが行われ、プロセッサ3が現用、プロセッサ1が待機に切替えられる。
【0087】
又プロセッサ1の担当入出力ポート状態表34−1は、ハイウェイ0,2に対しては待機「1」、ハイウェイ1に対しては担当でない「0」、ハイウェイ3,4に対して現用「2」を示し、プロセッサ2の担当入出力ポート状態表34−2は、ハイウェイ0,2に対しては現用「2」、ハイウェイ1,3に対しては待機「1」、ハイウェイ4に対しては担当でない「0」を示し、プロセッサ3の担当入出力ポート状態表34−3は、ハイウェイ0,2,3に対しては担当でない「0」、ハイウェイ1に対して現用「2」、ハイウェイ4に対して待機「1」を示す。即ち、ハイウェイ増設完了により、テーブル内容は図19に示す内容となり、ハイウェイ0〜4からの要求に従って現用プロセッサとして割付けられたプロセッサ1〜3が処理を担当することになる。
【0088】
又図19に示すテーブル内容の状態に於いて、例えば、プロセッサ1に障害が発生した場合、このプロセッサ1が現用として担当しているハイウェイに対して、他のプロセッサを現用として割当てることになる。その場合の処理の結果によるテーブル内容を図20に示す。この場合、障害発生のプロセッサ1が現用として担当しているハイウェイ0,2の待機プロセッサはプロセッサ2であるから、現用,待機の切替えが行われる。
【0089】
従って、入出力ポート状態表31の内容は変化しないが、プロセッサ状態表32は、プロセッサ1対応のプロセッサ状態STは障害中の「4」、現用として担当する入出力ポート数ACTは「0」、待機として担当する入出力ポート数SBYは「4」に変更され、又現用として担当できる入出力ポートの最大数MAXは「4」のままとなる。
【0090】
又プロセッサ2対応のプロセッサ状態STは現用の「2」、現用として担当できる入出力ポートの最大数MAXは「4」のままであるが、現用として担当する入出力ポート数ACTは「4」に、又待機として担当する入出力ポート数SBYは「0」に変更される。又プロセッサ3対応の内容は前の状態のままである。
【0091】
又状態表33は、ハイウェイ0,2については矢印で示すように、現用はプロセッサ1からプロセッサ2に、待機はプロセッサ2からプロセッサ1に切替えられ、ハイウェイ1については、現用のプロセッサ2のままであるが、待機はプロセッサ1からプロセッサ3に切替えられる。又ハイウェイ3,4についてはそのままとなる。
【0092】
又プロセッサ1の担当入出力ポート状態表34−1は、プロセッサ1の障害であるから、内容は不明、不確定なものとなる。又プロセッサ2の担当入出力ポート状態表34−2は、ハイウェイ0〜3に対して現用「1」、ハイウェイ4に対して担当でない「0」を示し、又プロセッサ3の担当入出力ポート状態表34−3は、ハイウェイ0,2,3に対して担当でない「0」、ハイウェイ1に対して待機「2」、ハイウェイ4に対して現用「1」を示すものとなる。
【0093】
図21は本発明の実施の形態の入出力ポートのイベント発生によるフローチャートを示し、入出力ポート状態管理手段21(図1参照)に於いて、イベント発生により、イベントの内容に従って処理を分岐する。即ち、入出力ポート増設開始(A1)、入出力ポート増設完了(A2)、入出力ポート障害発生(A3)、入出力ポート障害復旧(A4)、入出力ポート閉塞(A5)、入出力ポート閉塞解除(A6)、入出力ポート減設開始(A7)、入出力ポート減設終了(A8)に分岐する。
【0094】
入出力ポート増設開始(A1)は、図22に示すように、入出力ポートは未実装か否かを判定し(A11)、未実装の場合はそのイベントをリジェクトとし、又実装の場合は、入出力ポートを増設中「1」に設定(図2の入出力ポート状態表31参照)(A12)、そして、入出力ポートの増設作業を行う(A13)。
【0095】
又入出力ポート増設完了(A2)の場合は、入出力ポートは増設中か否かを判定し(A21)、増設中でない場合は、入出力ポート増設完了のイベントについてはリジェクトし、又増設中の場合は入出力ポートを現用中「2」(入出力ポート状態表31参照)に設定し(A22)、プロセッサ状態管理手段23にプロセッサ状態を問い合わせる(A23)。
【0096】
そして、各プロセッサが現用として担当する入出力ポート数が平均化するように、該当入出力ポートの現用/待機プロセッサを決定し(A24)、対応表管理手段22により、該当入出力ポートの現用/待機プロセッサを対応表33に設定し(A25)、データ送受信手段24から、入出力ポートの状態を各プロセッサに、入出力ポート状態変化通知コマンド(図8の(A)参照)により通知する(A26)。
【0097】
又入出力ポート障害発生(A3)の場合は、図23に示すように、入出力ポートは現用中か否かを判定し(A31)、現用中でない場合は、入出力ポート障害発生のイベントについてはリジェクトとし、現用中の場合は入出力ポートを障害中「3」(入出力ポート状態表31参照)に設定し(32)、データ送受信手段24から、入出力ポートの障害発生の状態を各プロセッサに入出力ポート状態変化通知コマンド(図8の(A)参照)により通知する(A33)。
【0098】
又この入出力ポートの障害復旧(A4)の場合は、図23に示すように、入出力ポートは障害中「3」か否かを判定し(A41)、障害中でない場合は、入出力ポートの障害復旧のイベントについてはリジェクトし、障害中の場合は、入出力ポートを現用中「2」(入出力ポート状態表31参照)に設定し(A42)、データ送受信手段24から、入出力ポートの障害復旧の状態を各プロセッサに入出力ポート状態変化通知コマンド(図8の(A)参照)により通知する(A43)。
【0099】
又入出力ポート閉塞(A5)の場合は、図24に示すように、入出力ポートが現用中「2」か否かを判定し(A51)、現用中でない場合は、入出力ポート閉塞のイベントについてはリジェクトし、現用中の場合は入出力ポートを閉塞中「3」(入出力ポート状態表31参照)に設定し(A52)、データ送受信手段24から、入出力ポートの閉塞の状態を各プロセッサに入出力ポート状態変化通知コマンド(図8の(A)参照)により通知する(A53)。
【0100】
又入出力ポート閉塞解除(A6)の場合は、図24に示すように、入出力ポートが閉塞中「3」か否かを判定し(A61)、閉塞中でない場合は、入出力ポート閉塞解除のイベントについてはリジェクトし、閉塞中の場合は入出力ポートを現用中「2」に設定し(A62)、データ送受信手段24から、入出力ポートの閉塞解除の状態を各プロセッサに入出力ポート状態変化通知コマンド(図8の(A)参照)により通知する(A63)。
【0101】
又入出力ポート減設開始(A7)の場合は、図25に示すように、入出力ポートが閉塞中「3」か否かを判定し(A71)、閉塞中でない場合は、入出力ポート減設開始のイベントについてはリジェクトし、閉塞中の場合は入出力ポートを減設中「1」(入出力ポート状態表31参照)に設定し(A72)、入出力ポートの減設作業を行う(A73)。
【0102】
又入出力ポート減設完了(A8)の場合は、図25に示すように、入出力ポートが減設中「1」か否かを判定し(A81)、減設中でない場合は、入出力ポート減設完了のイベントについてはリジェクトし、減設中の場合は入出力ポートを未実装「0」(入出力ポート状態表31参照)に設定し(A82)、対応表管理手段22に、対応表33の該当入出力ポートの削除を依頼し(A83)、データ送受信手段24から、入出力ポートの減設完了の状態を各プロセッサに入出力ポート状態変化通知コマンド(図8の(A)参照)により通知する(A63)。
【0103】
図26は本発明の実施の形態のプロセッサのイベント発生によるフローチャートを示し、プロセッサ状態管理手段23(図1参照)に於いて、イベント発生内容に従った処理を、プロセッサ増設開始(B1)、プロセッサ増設完了(B2)、プロセッサ過負荷発生(B3)、プロセッサ過負荷解除(B4)、プロセッサ障害発生(B5)、プロセッサ障害復旧(B6)、プロセッサ閉塞(B7)、プロセッサ閉塞解除(B8)、プロセッサファイル更新開始(B9)、プロセッサファイル更新完了(Bb1)、プロセッサ減設開始(Bb2)、プロセッサ減設終了(Bb3)に分岐する。
【0104】
プロセッサ増設開始(B1)の場合、図27に示すように、プロセッサは未実装か否かを判定し(B11)、該当するプロセッサが実装されている場合は、再度実装することがないから、そのプロセッサ増設開始のイベントについてはリジェクトする。又該当するプロセッサが未実装「0」の場合はプロセッサ状態表32(図3参照)のプロセッサ状態STを増設中「1」に設定し(B12)、プロセッサの増設作業を行う(B13)。
【0105】
又プロセッサ増設完了(B2)の場合は、図27に示すように、プロセッサは増設中か否かを判定し(B21)、増設中でない場合はリジェクトとし、増設中「1」の場合は、プロセッサ状態表32のプロセッサ状態STを正常「2」に設定し(B22)、入出力ポート管理手段21(図1参照)が管理する入出力ポート状態表31により現用中の入出力ポート数を求め(B23)、この入出力ポート数と実装されたプロセッサ数とから、プロセッサ当たりの担当入出力ポート数の平均値を求める(B24)。
【0106】
この平均値の2倍の数だけ、増設プロセッサ以外の他のプロセッサが待機プロセッサとして担当していた入出力ポートについて、増設プロセッサが担当する待機プロセッサとするように、対応表管理手段22により対応表33を書換える(B24)。そして、各プロセッサが現用プロセッサとして担当していた入出力ポート数が平均化するように、対応表管理手段22により、現用/待機プロセッサの切替えを行い、対応表33の書換えを行う(B26)。
【0107】
又プロセッサ過負荷発生(B3)の場合は、図28に示すように、プロセッサは正常か否かを判定する(B31)。プロセッサは、入出力装置に対して定期的に、現用として担当できる入出力ポートの最大数を通知するものであるが、この最大数を超えて現用プロセッサとして担当する入出力ポート数が割付けられると、過負荷状態となる場合がある。
【0108】
このように過負荷状態となった場合に於いて、直前にプロセッサが正常か否かを判定するもので、正常でない場合は、既に異常状態であるから、そのプロセッサ過負荷発生のイベントについてはリジェクトする。又プロセッサ状態STが正常「2」を示す場合は、プロセッサを過負荷「3」に設定し(B32)、対応表管理手段22により、過負荷発生プロセッサの最大担当可能入出力ポート数になるまで、又は過負荷状態が解除されるまで、現用プロセッサとして担当している入出力ポートに対して、現用/待機プロセッサの切替えを行う(B33)。即ち、現用プロセッサとして担当する入出力ポート数を低減し、他のプロセッサを現用プロセッサとするように割付ける。
【0109】
又現用として担当する入出力ポート数が最大数以下となると、過負荷状態が解除されることになり、このプロセッサ過負荷解除(B4)の場合は、図28に示すように、プロセッサは、直前の状態が過負荷か否かを判定し(B41)、過負荷でない場合は、過負荷解除のイベントについてはリジェクトし、過負荷の場合は、プロセッサを正常「2」に設定し(B42)、対応表管理手段22により、過負荷発生後にその過負荷が解除されたプロセッサの最大担当可能入出力ポート数になるまで、待機プロセッサとして担当している入出力ポートに対して、現用/待機プロセッサの切替えを行う(B43)。即ち、過負荷解除のプロセッサが現用プロセッサとして担当する入出力ポート数を増加する。
【0110】
又プロセッサの障害発生(B5)及びプロセッサ障害復旧(B6)については、図29に示すように、プロセッサを周期起動し(B51)、プロセッサ状態変化通知受信か否かを判定し(B52)、プロセッサ状態変化通知受信でない場合は、連続N周期のプロセッサ状態変化通知受信の有無を判定し(B53)、連続N周期のプロセッサ状態変化通知受信無しの場合は、そのプロセッサは現用中か否かを判定し(B54)、現用中の場合は、周期起動に対してN周期連続してプロセッサ状態変化通知を送出できなかった場合であるから、そのプロセッサは障害発生として処理する(B55)。
【0111】
又プロセッサ状態変化通知を受信した場合は、連続N周期受信か否かを判定し(B56)、連続N周期受信の場合は、そのプロセッサは正常であるから、前の状態が障害中か否かを判定し(B57)、プロセッサが障害中の場合は、そのプロセッサの障害復旧処理を行う(B58)。
【0112】
又前述のプロセッサ障害発生処理(B55)の場合、図29に示すように、プロセッサを障害中「4」(プロセッサ状態表32参照)に設定し(B61)、対応表管理手段22により、該当プロセッサが現用プロセッサとして担当している入出力ポートに対して、現用/待機プロセッサの切替えを行う(B62)。即ち、障害発生プロセッサが現用として担当していた入出力ポートの待機プロセッサを現用プロセッサに切替えて、その入出力ポートの要求を処理させる。
【0113】
又前述のプロセッサ障害復旧処理(B58)の場合、図29に示すように、プロセッサを正常「2」(プロセッサ状態表32参照)に設定し(B64)、対応表管理手段22により、該当プロセッサが待機プロセッサとして担当している入出力ポートの半数について現用/待機プロセッサの切替えを行う(B65)。
【0114】
又プロセッサ閉塞(B7)の場合は、図30に示すように、プロセッサは正常であるか否かを判定し(B71)、正常でない場合は、既に障害発生か或いは閉塞中であるから、プロセッサ閉塞のイベントについてはリジェクトし、正常の場合は閉塞「4」(プロセッサ状態表32参照)に設定し(B72)、対応表管理手段22により、該当プロセッサが現用プロセッサとして担当している入出力ポートに対して、障害発生の場合と同様に、現用/待機プロセッサの切替えを行う(B73)。
【0115】
又プロセッサ閉塞解除(B8)の場合は、図30に示すように、プロセッサは閉塞中か否かを判定し(B81)、閉塞中でない場合は、プロセッサ閉塞解除のイベントついてはリジェクトし、又閉塞中の場合は、閉塞解除であるからプロセッサを正常「2」(プロセッサ状態表32参照)に設定し(B82)、対応表管理手段22により、該当プロセッサが待機プロセッサとして担当している入出力ポートの半数について、現用/待機プロセッサの切替えを行う(B83)。
【0116】
又プロセッサファイル更新開始(B9)の場合は、図31に示すように、プロセッサは正常か否かを判定し(B91)、正常でない場合は、ファイル更新が不可能であるから、プロセッサファイル更新開始のイベントについてはリジェクトし、正常の場合は、プロセッサをファイル更新中「5」(プロセッサ状態表32参照)に設定し(B92)、対応表管理手段22により、該当プロセッサが現用プロセッサとして担当している入出力ポートに対して、現用/待機プロセッサの切替えを行い(B93)、ファイル更新作業を行う(B94)。
【0117】
又プロセッサファイル更新完了(Bb1)の場合は、図31に示すように、プロセッサはファイル更新中か否かを判定し(Bb11)、ファイル更新中でない場合は、ファイル更新完了のイベントについてはリジェクトし、ファイル更新中の場合は、プロセッサを正常「2」(プロセッサ状態表32参照)に設定し(Bb12)、対応表管理手段22により、該当プロセッサが待機プロセッサとして担当している入出力ポートの半数について、現用/待機プロセッサの切替えを行う(Bb13)。即ち、ファイル更新の為に入出力ポートに対して待機プロセッサとなったプロセッサが、ファイル更新完了により、待機プロセッサとして担当した入出力ポートの半数について、現用/待機プロセッサの切替えを行い、現用プロセッサとして担当する入出力ポートと、待機プロセッサとして担当する入出力ポートとを同数とする。
【0118】
又プロセッサ減設開始(Bb2)の場合は、図32に示すように、プロセッサは閉塞中か否かを判定し(Bb21)、閉塞中でない場合は、プロセッサの減設を禁止するものであるから、そのプロセッサ減設開始のイベントについてはリジェクトし、閉塞中の場合は、プロセッサを減設中「1」(プロセッサ状態表32参照)に設定し(Bb22)、プロセッサの減設作業を行う(Bb23)。
【0119】
又プロセッサ減設完了(Bb3)の場合は、図32に示すように、プロセッサは減設中か否かを判定し(Bb31)、減設中でない場合は、プロセッサ減設完了のイベントについてはリジェクトし、減設中の場合は、プロセッサの取り外しが完了した場合であるから、未実装「0」(プロセッサ状態表32参照)に設定し(Bb32)、対応表管理手段22により、減設プロセッサが待機プロセッサとして担当していた入出力ポートについて、他のプロセッサを順次待機プロセッサとして割当てる(Bb33)。
【0120】
図33は本発明の実施の形態の対応表管理手段と入出力ポートアクセス手段とのフローチャートを示し、対応管理手段22(図1参照)は、対応表33とバックアップデータ格納部33aとを含み、入出力装置2の初期設定により(C1)、バックアップデータ格納部33aからバックアップデータを対応表33に転送する(C2)。そして、対応表33の内容を全プロセッサに通知する(C3)。又対応表33の内容は、コマンドにより変更する(C4)。又対応表33の内容の変更又は定期的に、対応表33の内容をバックアップデータ格納部33aにコピーする(C5)。従って、システム再立上げの場合等の対応表の初期設定を行うことが可能であり、その対応表33の内容に対して各プロセッサに処理を分散することができる。
【0121】
又入出力ポートアクセス手段25(図1参照)は、図33に示すように、プロセッサ1からデータ入力コマンド又はデータ出力コマンドの入出力要求(D11)を、データ送受信手段11,24を介して入出力装置2が受信すると、対応表管理手段22により、該当入出力ポートの対応表を読取り(D21)、要求元は現用/待機プロセッサか否かを判定し(D22)、現用/待機プロセッサでない場合は、その入出力要求をリジェクトし(D25)、又現用/待機プロセッサの場合は、入出力を実行し(D23)、応答を返送する(D24)。それにより、データ送受信手段11,24を介して、プロセッサ1は、コマンド応答として結果を受信することになる(D12)。
【0122】
図34は本発明の実施の形態のデータ送受信手段のフローチャートを示し、データ送受信手段11,24に於いて、データ送信(E1)は、図8〜図11に示すような各手段からの送信コマンドを通信バス上に送出する(E2)。又データ受信(E3)は、データ送信コマンドのコマンドコートをチェックし(E4)、コマンドコードに対応する手段を起動する(E5)。
【0123】
図35は本発明の実施の形態のプロセッサ状態通知手段と担当入出力ポート状態管理手段とのフローチャートを示し、プロセッサ1(図1参照)のプロセッサ状態通知手段13は、周期起動され(F1)、プロセッサ状態を編集し(F2)、データ送受信手段11から、図9の(A)に示すプロセッサ状態変化通知コマンドを送出する(F3)。
【0124】
又担当入出力ポート状態管理手段12は、図8の(A)に示す入出力ポート状態変更通知コマンドを受信すると(G1)、そのコマンドに従って、担当入出力ポート状態表34の状態表示ビットS2 を、未実装或いは担当プロセッサでないことを示す「0」、現用プロセッサとして担当することを示す「1」、待機プロセッサとして担当することを示す「2」、現用プロセッサとして担当するが入出力ポートが障害中又は閉塞中を示す「3」、待機プロセッサとして担当するが入出力ポートが障害中又は閉塞中を示す「4」の何れかに変更する(G2)。
【0125】
又対応表変化通知コマンド(図9の(C)参照)を受信すると(G3)、自プロセッサの担当入出力ポートの現用/待機を変更する(G4)。即ち、入出力装置2の対応表33によるプロセッサと入出力ポートとの対応が変化した内容を、対応表変化通知コマンドにより受信すると、自プロセッサが入出力ポートに対して現用プロセッサから待機プロセッサに変化する場合や、その反対に待機プロセッサから現用プロセッサに変化する場合や、担当でない入出力ポートに対して現用或いは待機プロセッサに割当てられることがあり、それに対応して担当入出力ポート状態表34を更新する。
【0126】
図36は本発明の実施の形態の入出力要求発行手段のフローチャートを示し、プロセッサ1の入出力要求発行手段14は、データ入力要求により(H1)、入出力ポート状態は、現用プロセッサとして担当しているか否かを判定し(H2)、担当していない場合はリジェクトし、担当している場合は、入出力ポートからの図6の(A)に示すデータ入力コマンドを発行し(H3)、データ送受信手段11から送出する。
【0127】
又データ出力要求に対して(H4)、入出力ポート状態は、現用/待機プロセッサしとて担当しているか否かを判定し(H5)、担当していない場合はリジェクトし、担当している場合は、図7の(A)に示すデータ出力コマンドを発行し(H6)、データ送受信手段11から送出する。
【0128】
図37は本発明の実施の形態のデータ引継ぎの説明図であり、図13と同一符号は同一部分を示し、61は端末の呼処理サービスの進行に伴って変化する状態等の端末状態データ、62は初期設定時に転送されて設定される端末属性データ、63は保守・運用プロセッサ55に於いて保持する端末の種類,端末に提供可能の呼処理サービスに関する端末属性データ、64は保守・運用プロセッサ55に於いて保持するサービス仕様データ、65は呼処理プロセッサ51−1,51−2,・・・の初期設定時に転送されて設定されるサービス仕様データを示す。
【0129】
ネットワーク入出力装置52の初期設定時に、保守・運用プロセッサ55に保持されている端末属性データ63が点線矢印の経路で転送されて設定される。又ネットワーク入出力装置52は、呼処理プロセッサ51−1,51−2,・・・が現用プロセッサとして担当するハイウェイ59配下の端末58の状態を、端末状態データ61として管理している。
【0130】
又呼処理プロセッサ51−1,51−2,・・・の初期設定時に、保守・運用プロセッサ55に保持されているサービス仕様データ64が点線矢印の経路で転送されて設定される。この場合、保守・運用プロセッサ55と各呼処理プロセッサ51−1,51−2,・・・とのサービス仕様データを同一とした場合を示すが、保守・運用プロセッサ55に於いて保持しているサービス仕様データ64の中の基本サービスのデータのみを各呼処理プロセッサ51−1,51−2,・・・に保持させて、処理を行わせることができる。
【0131】
前述のように、ネットワーク入出力装置52に於いて、ハイウェイ59配下の端末状態やハイウェイ59対応の現用プロセッサについて端末状態データ61や対応表33(図4参照)等により管理しており、従って、現用プロセッサに障害が発生し、待機プロセッサが処理を引継ぐ場合、待機プロセッサは、ネットワーク入出力装置52から対応表状態変化通知コマンドを受信すると同時に、現用プロセッサが担当していたハイウェイ配下の端末の監視・制御を開始することができる。同様に、呼処理プロセッサの障害復旧により、現用プロセッサとして復帰できると共に、現用プロセッサから待機プロセッサに切替えられた呼処理プロセッサに於いても、そのハイウェイ配下の端末の監視・制御を直ちに停止することができる。
【0132】
従って、プロセッサの増設,減設,障害発生,障害回復或いはハイウェイの増設,減設,障害発生,障害回復等による現用プロセッサと待機プロセッサとの切替えに於いて、特別に現用プロセッサの管理データを待機プロセッサへ転送する必要がなく、入出力装置からの対応表状態変化通知コマンド等によって切替えることができる。
【0133】
図38は本発明の他の実施の形態の説明図であり、71−1〜71−Nは信号処理プロセッサ、72−1〜72−Mは信号入出力装置、73はバス、74は信号入出力ポートを示す。信号入出力装置72−1〜72−Mは、それぞれ複数のハイウェイ等の信号入出力ポートを収容し、入出力ポート間のデータの伝送制御を行うものであり、又信号処理プロセッサ71−1〜71−Nは、分散して各信号入出力ポートからの要求を処理するものである。
【0134】
又信号入出力装置72−1〜72−Mは、信号入出力ポート74に対する多重伝送装置に相当し、データの多重分離及び多重化による入出力ポート間の接続等を行う機能を有し、前述のように、信号入出力ポートの状態表と、各信号処理プロセッサ71−1〜71−Nの状態表と、信号入出力ボート対応に、現用プロセッサと待機プロセッサとの対応を示す対応表とを基に、信号入出力ポート74対応の要求を信号処理プロセッサ71−1〜71−Nに分散して処理させる。又信号処理プロセッサ又は入出力ポートの増設,減設,障害発生,障害復旧等についても、前述の実施の形態と同様に、現用/待機の切替えを行うことにより、健全な信号処理プロセッサによる入出力ポート毎の要求を分散処理することができる。
【0135】
【発明の効果】
以上説明したように、本発明の情報処理装置及び分散処理制御方法は、複数の入出力ポートからの要求に対して、複数のプロセッサ1が分散処理するものであり、その場合に、入出力装置2の対応表管理手段22による入出力ポートと担当現用プロセッサとの対応表の管理によって、入出力ポート及びプロセッサの増設,減設,障害発生,障害回復に対して再割付け等を行い、各プロセッサ1に対応表変化通知コマンド等により通知することにより、複数のプロセッサ1による分散処理を継続させることができる。
【0136】
従って、電子交換機や各種の情報処理装置に於ける処理要求の増大やシステムの拡張に対しても柔軟に対応できる利点がある。又障害発生に対しても、現用系から待機系への切替えが容易であり、入出力ポートに対する現用/待機のプロセッサの割付けも柔軟であるから、最初に割付けられた現用プロセッサと待機プロセッサとが共に障害となっても、他のプロセッサが容易に現用プロセッサに切替えられるから、負荷分散処理を継続できる利点がある。又本発明は、前述の各実施の形態のみに限定されるものではなく、マルチプロセッサ形式の各種の情報処理装置及び負荷分散により処理する方法に適用できるものである。
【図面の簡単な説明】
【図1】本発明の実施の形態の要部説明図である。
【図2】本発明の実施の形態の入出力ポート状態表及び状態遷移説明図である。
【図3】本発明の実施の形態のプロセッサ状態表及び状態遷移説明図である。
【図4】本発明の実施の形態の対応表及び担当入出力ポート状態表の説明図である。
【図5】本発明の実施の形態の送信データフォーマットの説明図である。
【図6】本発明の実施の形態のコマンドの説明図である。
【図7】本発明の実施の形態のコマンドの説明図である。
【図8】本発明の実施の形態のコマンドの説明図である。
【図9】本発明の実施の形態のコマンドの説明図である。
【図10】本発明の実施の形態のコマンドの説明図である。
【図11】本発明の実施の形態のコマンドの説明図である。
【図12】本発明の実施の形態の受信コマンドの配付先の説明図である。
【図13】本発明の実施の形態の電子交換機に適用した構成の説明図である。
【図14】本発明の実施の形態のテーブル内容の説明図である。
【図15】本発明の実施の形態のテーブル内容の説明図である。
【図16】本発明の実施の形態のテーブル内容の説明図である。
【図17】本発明の実施の形態のテーブル内容の説明図である。
【図18】本発明の実施の形態のテーブル内容の説明図である。
【図19】本発明の実施の形態のテーブル内容の説明図である。
【図20】本発明の実施の形態のテーブル内容の説明図である。
【図21】本発明の実施の形態の入出力ポートのイベント発生によるフローチャートである。
【図22】本発明の実施の形態の入出力ポートのイベント発生によるフローチャートである。
【図23】本発明の実施の形態の入出力ポートのイベント発生によるフローチャートである。
【図24】本発明の実施の形態の入出力ポートのイベント発生によるフローチャートである。
【図25】本発明の実施の形態の入出力ポートのイベント発生によるフローチャートである。
【図26】本発明の実施の形態のプロセッサのイベント発生によるフローチャートである。
【図27】本発明の実施の形態のプロセッサのイベント発生によるフローチャートである。
【図28】本発明の実施の形態のプロセッサのイベント発生によるフローチャートである。
【図29】本発明の実施の形態のプロセッサのイベント発生によるフローチャートである。
【図30】本発明の実施の形態のプロセッサのイベント発生によるフローチャートである。
【図31】本発明の実施の形態のプロセッサのイベント発生によるフローチャートである。
【図32】本発明の実施の形態のプロセッサのイベント発生によるフローチャートである。
【図33】本発明の実施の形態の対応表管理手段と入出力ポートアクセス手段とのフローチャートである。
【図34】本発明の実施の形態のデータ送受信手段のフローチャートである。
【図35】本発明の実施の形態のプロセッサ状態通知手段と担当入出力ポート状態管理手段とのフローチャートである。
【図36】本発明の実施の形態の入出力要求発行手段のフローチャートである。
【図37】本発明の実施の形態のデータ引継ぎの説明図である。
【図38】本発明の他の実施の形態の説明図である。
【図39】従来例の電子交換機の要部説明図である。
【符号の説明】
1 プロセッサ
2 入出力装置
3 バス
11 データ送受信手段
12 担当ポート状態管理手段
13 プロセッサ状態通知手段
14 入出力要求発行手段
15 入出力データ処理部
21 入出力ポート状態管理手段
22 対応表管理手段
23 プロセッサ状態管理手段
24 データ送受信手段
25 入出力ポートアクセス手段
Claims (12)
- 複数の入出力ポートを有する複数の入出力装置と、該入出力装置とバスを介して接続され、前記入出力ポート毎の処理要求を分散して処理する複数のプロセッサとを備えた情報処理装置に於いて、
前記入出力装置は、入出力ポート状態表により前記入出力ポートの状態を管理する入出力ポート状態管理手段と、プロセッサ状態表により前記各プロセッサの状態を管理するプロセッサ状態管理手段と、対応表により前記入出力ポートを担当する前記プロセッサの現用/待機の対応を管理する対応表管理手段とを備え、
前記プロセッサは、担当入出力ポート状態表により処理を担当する前記入出力ポートの状態を管理する担当入出力ポート状態管理手段と、自プロセッサの状態を編集し、前記入出力装置へ転送するプロセッサ状態通知手段とを備えた
ことを特徴とする情報処理装置。 - 前記入出力ポート状態表は、前記入出力ポート対応に、該入出力ポートの未実装,増設・減設中,現用中,障害・閉塞中の状態を設定する構成を有することを特徴とする請求項1記載の情報処理装置。
- 前記プロセッサ状態表は、前記プロセッサ対応に、未実装,増設中,正常,障害発生等を示すプロセッサ状態と、現用として担当する入出力ポート数と、待機として担当する入出力ポート数と、現用として担当できる入出力ポートの最大数とを設定する構成を有することを特徴とする請求項1記載の情報処理装置。
- 前記対応表は、前記入出力ポート対応に、該入出力ポートを担当する現用プロセッサと待機プロセッサとを設定する構成を有することを特徴とする請求項1記載の情報処理装置。
- 前記担当入出力ポート状態表は、前記入出力ポート対応に、該入出力ポートの未実装或いは自プロセッサの担当ではないか、又は現用プロセッサとして担当か、又は待機プロセッサとして担当か、又は現用プロセッサとして担当しているが入出力ポートが障害・閉塞中か、又は待機プロセッサとして担当しているが入出力ポートが障害・閉塞中の状態かを設定する構成を有することを特徴とする請求項1記載の情報処理装置。
- 前記プロセッサは、周期的に起動されて自プロセッサの状態を編集し、前記入出力装置へ転送するプロセッサ状態通知手段を備えていることを特徴とする請求項1記載の情報処理装置。
- 複数の入出力ポートを有する複数の入出力装置と、複数のプロセッサとをバスを介して接続した情報処理装置に於ける分散処理制御方法に於いて、
前記入出力装置は、入出力ポート状態管理手段により前記入出力ポートの状態を入出力ポート状態表を基に管理し、プロセッサ状態管理手段により前記プロセッサの状態をプロセッサ状態表を基に管理し、対応表管理手段により入出力ポートと担当プロセッサとの対応を管理し、且つ前記プロセッサは、担当入出力ポート状態管理手段により自プロセッサが担当する入出力ポートを管理し、前記入出力ポート毎の処理要求を、前記対応表を参照して、入出力ポート担当の現用プロセッサにより処理させると共に、プロセッサ状態通知手段により、自プロセッサの状態を編集し、前記入出力装置へ転送する過程を含む
ことを特徴とする分散処理制御方法。 - 前記現用プロセッサの障害発生又は閉塞指示により、該現用プロセッサが担当した入出力ポートと現用/待機プロセッサとの対応を示す対応表の内容について、現用/待機の切替えを行い、現用に切替えられたプロセッサにより、前記入出力ポートの処理要求を担当させる過程を含むことを特徴とする請求項7記載の分散処理制御方法。
- 前記入出力装置は、前記プロセッサから周期的に送信されるプロセッサ状態変化通知コマンドを監視し、該プロセッサ状態変化通知コマンドが連続して所定回数途絶えた時にプロセッサの障害発生と判定し、且つ該障害発生後に該プロセッサ状態変化通知コマンドが所定回数連続して受信できた時は障害回復と判定する過程を含むことを特徴とする請求項7又は8記載の分散処理制御方法。
- 前記プロセッサを増設又は減設した時に、前記プロセッサ状態表に於ける担当入出力ポート数を基に、増設又は減設後の各プロセッサの入出力ポートの担当数が平均化されるように、前記対応表の入出力ポート対応のプロセッサの現用/待機を更新する過程を含むことを特徴とする請求項7記載の分散処理制御方法。
- 前記プロセッサは、担当できる入出力ポートの最大数を定期的に前記入出力装置に通知し、該入出力装置によって該プロセッサが現用プロセッサとして担当させられる入出力ポート数が前記最大数を超えて過負荷状態となった時、該現用プロセッサが担当させられた入出力ポートを、前記最大数以下となるように、待機プロセッサを現用プロセッサに切替えて担当させる過程を含むことを特徴とする請求項7記載の分散処理制御方法。
- 前記入出力ポートの増設,減設,障害発生,障害回復等の状態変化により、前記入出力ポート状態表を更新し、且つ各プロセッサが現用として担当する入出力ポート数を平均化するように、該入出力ポートの現用/待機プロセッサを設定して前記対応表を更新し、前記各プロセッサに入出力ポート状態変化通知コマンドにより通知する過程を含むことを特徴とする請求項7記載の分散処理制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16958796A JP3541335B2 (ja) | 1996-06-28 | 1996-06-28 | 情報処理装置及び分散処理制御方法 |
US08/839,911 US6012151A (en) | 1996-06-28 | 1997-04-21 | Information processing apparatus and distributed processing control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16958796A JP3541335B2 (ja) | 1996-06-28 | 1996-06-28 | 情報処理装置及び分散処理制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1023480A JPH1023480A (ja) | 1998-01-23 |
JP3541335B2 true JP3541335B2 (ja) | 2004-07-07 |
Family
ID=15889256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16958796A Expired - Fee Related JP3541335B2 (ja) | 1996-06-28 | 1996-06-28 | 情報処理装置及び分散処理制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6012151A (ja) |
JP (1) | JP3541335B2 (ja) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6802062B1 (en) * | 1997-04-01 | 2004-10-05 | Hitachi, Ltd. | System with virtual machine movable between virtual machine systems and control method |
US6647508B2 (en) | 1997-11-04 | 2003-11-11 | Hewlett-Packard Development Company, L.P. | Multiprocessor computer architecture with multiple operating system instances and software controlled resource allocation |
US6633916B2 (en) | 1998-06-10 | 2003-10-14 | Hewlett-Packard Development Company, L.P. | Method and apparatus for virtual resource handling in a multi-processor computer system |
US6381682B2 (en) | 1998-06-10 | 2002-04-30 | Compaq Information Technologies Group, L.P. | Method and apparatus for dynamically sharing memory in a multiprocessor system |
US6199179B1 (en) * | 1998-06-10 | 2001-03-06 | Compaq Computer Corporation | Method and apparatus for failure recovery in a multi-processor computer system |
US6332180B1 (en) | 1998-06-10 | 2001-12-18 | Compaq Information Technologies Group, L.P. | Method and apparatus for communication in a multi-processor computer system |
US6260068B1 (en) | 1998-06-10 | 2001-07-10 | Compaq Computer Corporation | Method and apparatus for migrating resources in a multi-processor computer system |
US6542926B2 (en) | 1998-06-10 | 2003-04-01 | Compaq Information Technologies Group, L.P. | Software partitioned multi-processor system with flexible resource sharing levels |
US7315841B1 (en) * | 1998-07-22 | 2008-01-01 | Sourcetec, Inc. | Mortgage loan and financial services data processing system |
JP2000253072A (ja) * | 1999-03-03 | 2000-09-14 | Hitachi Ltd | 交換システム及び交換制御方法 |
US6983350B1 (en) * | 1999-08-31 | 2006-01-03 | Intel Corporation | SDRAM controller for parallel processor architecture |
US6427196B1 (en) * | 1999-08-31 | 2002-07-30 | Intel Corporation | SRAM controller for parallel processor architecture including address and command queue and arbiter |
US6668317B1 (en) * | 1999-08-31 | 2003-12-23 | Intel Corporation | Microengine for parallel processor architecture |
US6606704B1 (en) * | 1999-08-31 | 2003-08-12 | Intel Corporation | Parallel multithreaded processor with plural microengines executing multiple threads each microengine having loadable microcode |
WO2001016702A1 (en) | 1999-09-01 | 2001-03-08 | Intel Corporation | Register set used in multithreaded parallel processor architecture |
US6925052B1 (en) * | 1999-10-01 | 2005-08-02 | Agilent Technologies, Inc. | Multi-channel network monitoring apparatus, signal replicating device, and systems including such apparatus and devices, and enclosure for multi-processor equipment |
US6532509B1 (en) | 1999-12-22 | 2003-03-11 | Intel Corporation | Arbitrating command requests in a parallel multi-threaded processing system |
US6694380B1 (en) | 1999-12-27 | 2004-02-17 | Intel Corporation | Mapping requests from a processing unit that uses memory-mapped input-output space |
US6631430B1 (en) * | 1999-12-28 | 2003-10-07 | Intel Corporation | Optimizations to receive packet status from fifo bus |
US6625654B1 (en) * | 1999-12-28 | 2003-09-23 | Intel Corporation | Thread signaling in multi-threaded network processor |
US6307789B1 (en) * | 1999-12-28 | 2001-10-23 | Intel Corporation | Scratchpad memory |
US6661794B1 (en) * | 1999-12-29 | 2003-12-09 | Intel Corporation | Method and apparatus for gigabit packet assignment for multithreaded packet processing |
US6976095B1 (en) * | 1999-12-30 | 2005-12-13 | Intel Corporation | Port blocking technique for maintaining receive packet ordering for a multiple ethernet port switch |
US6584522B1 (en) * | 1999-12-30 | 2003-06-24 | Intel Corporation | Communication between processors |
US6631462B1 (en) * | 2000-01-05 | 2003-10-07 | Intel Corporation | Memory shared between processing threads |
US7681018B2 (en) | 2000-08-31 | 2010-03-16 | Intel Corporation | Method and apparatus for providing large register address space while maximizing cycletime performance for a multi-threaded register file set |
US6868476B2 (en) * | 2001-08-27 | 2005-03-15 | Intel Corporation | Software controlled content addressable memory in a general purpose execution datapath |
US7126952B2 (en) * | 2001-09-28 | 2006-10-24 | Intel Corporation | Multiprotocol decapsulation/encapsulation control structure and packet protocol conversion method |
US7895239B2 (en) | 2002-01-04 | 2011-02-22 | Intel Corporation | Queue arrays in network devices |
US7281044B2 (en) * | 2002-01-10 | 2007-10-09 | Hitachi, Ltd. | SAN infrastructure on demand service system |
US6934951B2 (en) * | 2002-01-17 | 2005-08-23 | Intel Corporation | Parallel processor with functional pipeline providing programming engines by supporting multiple contexts and critical section |
US7181594B2 (en) | 2002-01-25 | 2007-02-20 | Intel Corporation | Context pipelines |
US20030212883A1 (en) * | 2002-05-09 | 2003-11-13 | International Business Machines Corporation | Method and apparatus for dynamically managing input/output slots in a logical partitioned data processing system |
US7480911B2 (en) * | 2002-05-09 | 2009-01-20 | International Business Machines Corporation | Method and apparatus for dynamically allocating and deallocating processors in a logical partitioned data processing system |
US6941436B2 (en) * | 2002-05-09 | 2005-09-06 | International Business Machines Corporation | Method and apparatus for managing memory blocks in a logical partitioned data processing system |
US7471688B2 (en) * | 2002-06-18 | 2008-12-30 | Intel Corporation | Scheduling system for transmission of cells to ATM virtual circuits and DSL ports |
US7433307B2 (en) * | 2002-11-05 | 2008-10-07 | Intel Corporation | Flow control in a network environment |
US6941438B2 (en) | 2003-01-10 | 2005-09-06 | Intel Corporation | Memory interleaving |
US7484125B2 (en) * | 2003-07-07 | 2009-01-27 | Hewlett-Packard Development Company, L.P. | Method and apparatus for providing updated processor polling information |
GB2406742B (en) * | 2003-10-03 | 2006-03-22 | 3Com Corp | Switching fabrics and control protocols for them |
JP4429703B2 (ja) * | 2003-11-28 | 2010-03-10 | 株式会社日立製作所 | ディスクアレイ装置及びディスクアレイ装置の制御方法 |
US7213099B2 (en) * | 2003-12-30 | 2007-05-01 | Intel Corporation | Method and apparatus utilizing non-uniformly distributed DRAM configurations and to detect in-range memory address matches |
JP4315057B2 (ja) * | 2004-06-02 | 2009-08-19 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに、プログラム |
JP4525188B2 (ja) * | 2004-06-09 | 2010-08-18 | ソニー株式会社 | マルチプロセッサシステム |
JP4677222B2 (ja) * | 2004-11-26 | 2011-04-27 | 富士通株式会社 | サーバ装置 |
US7644147B1 (en) * | 2005-03-25 | 2010-01-05 | Marvell International Ltd. | Remote network device management |
KR101285886B1 (ko) * | 2006-01-25 | 2013-07-11 | 엘지전자 주식회사 | 서버로의 보고 방법 및 그 단말 |
US8051334B2 (en) * | 2007-11-14 | 2011-11-01 | Emulex Design & Manufacturing Corporation | Enabling SAS expander loops for increased fairness and performance |
JP2009199246A (ja) * | 2008-02-20 | 2009-09-03 | Toshiba Corp | ノード稼働監視システムおよびノード稼働監視方法 |
JP5509564B2 (ja) * | 2008-09-30 | 2014-06-04 | 富士通株式会社 | メッセージ送信方法及びプログラム |
US20110103391A1 (en) * | 2009-10-30 | 2011-05-05 | Smooth-Stone, Inc. C/O Barry Evans | System and method for high-performance, low-power data center interconnect fabric |
US8634084B2 (en) * | 2010-03-29 | 2014-01-21 | Kabushiki Kaisha Toshiba | Data processing system and image forming apparatus |
US8407710B2 (en) | 2010-10-14 | 2013-03-26 | International Business Machines Corporation | Systems and methods for dynamically scanning a plurality of active ports for priority schedule of work |
WO2012124077A1 (ja) * | 2011-03-16 | 2012-09-20 | 富士通株式会社 | マルチコアプロセッサシステムおよびスケジューリング方法 |
US8924443B2 (en) * | 2012-10-05 | 2014-12-30 | Gary Robin Maze | Document management systems and methods |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4484323A (en) * | 1982-06-14 | 1984-11-20 | At&T Bell Laboratories | Communication arrangements for distributed control systems |
US5701512A (en) * | 1986-03-11 | 1997-12-23 | Canon Kabushiki Kaisha | Data transmission control apparatus for system with input/output units used in common by several CPU's |
US5155809A (en) * | 1989-05-17 | 1992-10-13 | International Business Machines Corp. | Uncoupling a central processing unit from its associated hardware for interaction with data handling apparatus alien to the operating system controlling said unit and hardware |
US5255266A (en) * | 1990-10-20 | 1993-10-19 | Fujitsu Limited | ATM switching unit |
US5717950A (en) * | 1994-01-11 | 1998-02-10 | Hitachi, Ltd. | Input/output device information management system for multi-computer system |
US5550906A (en) * | 1994-08-05 | 1996-08-27 | Lucent Technologies Inc. | Telecommunications feature server |
JP2687927B2 (ja) * | 1995-05-24 | 1997-12-08 | 日本電気株式会社 | 外部バスの障害検出方法 |
US5710769A (en) * | 1996-02-29 | 1998-01-20 | Lucent Technologies Inc. | Merging the functions of switching and cross connect in telecommunications networks |
-
1996
- 1996-06-28 JP JP16958796A patent/JP3541335B2/ja not_active Expired - Fee Related
-
1997
- 1997-04-21 US US08/839,911 patent/US6012151A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1023480A (ja) | 1998-01-23 |
US6012151A (en) | 2000-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3541335B2 (ja) | 情報処理装置及び分散処理制御方法 | |
US5621721A (en) | Maintaining database integrity throughout a communication network | |
RU2507703C2 (ru) | Объединение ресурсов в сервере центра коммутации с кластером с электронными платами | |
EP0658062A2 (en) | Service circuit allocation in large networks | |
JPH0147944B2 (ja) | ||
JPH0563726A (ja) | 通信スイツチングシステム | |
EP1863222B1 (en) | A disaster recovery system and method of service controlling device in intelligent network | |
WO2012083669A1 (zh) | 基于接入网关的主备用设备切换方法和装置 | |
AU3430602A (en) | Gateway system and integrated management method | |
JP3490002B2 (ja) | マルチクラスタシステムを構成する計算機 | |
JP3147801B2 (ja) | 自動交換機システム | |
JP3058252B2 (ja) | ネットワーク内の接続データ管理方式 | |
JP2002057792A (ja) | マルチメディア信号処理装置 | |
JPH11234287A (ja) | 交換システム及び加入者装置並びに交換装置 | |
JPH08242474A (ja) | ディジタル構内交換機のファイル更新方法 | |
JPH04311251A (ja) | マルチプロセッサシステム | |
JP4303791B2 (ja) | 容易に構成可能な監視制御を備える電気通信交換システム | |
JP3167461B2 (ja) | マルチプロセッサシステムのipl方式 | |
JP2720840B2 (ja) | Atm交換装置 | |
JPH11112504A (ja) | Lanエミュレーションシステムおよびatmスイッチ | |
JP2003348772A (ja) | 監視システム、監視装置および監視プログラム | |
JP2988096B2 (ja) | マルチプロセッサ構成の交換システムにおけるファイル管理・転送方法 | |
JPH1141291A (ja) | 論理チャネル管理制御方式 | |
JPH03194601A (ja) | 協調分散制御システム | |
JP2611797B2 (ja) | 通信制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040318 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080409 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090409 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090409 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100409 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110409 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |