JPH04227155A - ネットワーク情報転送方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、一般的にはノード通
信システムに関し、特に多次元コンピュータ・ネットワ
ークの管理を高度化する手法に関する。

【０００２】

【従来の技術】信頼できる電子コンピュータの登場以来
、連係動作する複数のコンピュータを使い、与えられた
タスク全体を完了するシステムが大いに注目されている
。こうしたマルチプロセサ・システムには、大型コンピ
ュータが、その高速性と大容量を活かして、プログラム
の複雑な部分を実行する一方、比較的小型で低速なサテ
ライト・プロセサに、あまり複雑でなく急を要しないタ
スクを割り当てて、大型コンピュータにかかる負荷と要
求を軽減するものがある。大型コンピュータは、サブタ
スクを割り当てる責任、比較的小型のプロセサにいつも
仕事を割り当てておく責任、比較的小型のプロセサの可
用性と性能を確認する責任、及び結果の統一性を保つ責
任を引き受ける必要がある。

【０００３】別のアプローチを採るマルチプロセサ・シ
ステムもある。このタイプのシステムは複数のプロセサ
と共通バス・システムを使う。プロセサの機能は基本的
には同等である。このタイプのシステムではしばしば、
与えられたサブタスクについての個々のプロセサの可用
性と能力をモニタし、プロセサ相互間のタスクと情報の
ルーティングを制御するために、別に制御コンピュータ
または制御システムが用いられる。プロセサは、他のプ
ロセサの状態と可用性をモニタし、メッセージとプログ
ラムのルーティングを決定するように構成し動作させる
ことができる。こうしたシステムに共通な、事実上の欠
点は、オーバヘッドとメンテナンスの機能に必要なソフ
トウェアと動作時間が、主たる目的である性能に干渉す
ることである。ルーティングとモニタリングの問題は、
プロセサ数に応じて急激に増加するので、結果的に、オ
ーバヘッド機能には不釣り合いなほど多大な労力が注が
れる。

【０００４】マルチプロセサは、初期の“Ｂｉｎａｃ”
（パラレル・プロセサが２個）や、これと同等のシステ
ムが活躍した頃から、オペレーティング・システム全体
の信頼性を事実上高める冗長性を提供することが認めら
れている。最近まで、マルチプロセサ・システムが実際
にインストールされることは少なかったが、これは主に
ソフトウェアの問題が大きいからである。しかしマルチ
プロセサは、リアルタイム・アプリケーションやシステ
ムのダウンタイムが無視できないような状況では動作特
性がよいことから、動作では問題はないが、オーバヘッ
ド・ソフトウェアや動作時間にかなり注力したシステム
が開発されている。

【０００５】マルチタスク・システムについての説明は
、米国特許第３４４５８２２号明細書、同３５６６３６
３号明細書、及び同３５９３３００号明細書にみられる
が、これらはいずれも、複数のコンピュータが、１つの
共有メイン・メモリをアクセスし、個々のプロセサにタ
スクを最適に割り当てるために、能力と要件が比較され
るシステムを扱っている。

【０００６】米国特許第４０９９２３３号明細書では、
複数のプロセサが１つのバスを共有し、送信側のミニプ
ロセサと受信側のミニプロセサとの間でデータ・ブロッ
クを転送するときに、バッファ・レジスタを組み込んだ
制御ユニットが用いられる。この概念は、欧州では、郵
便の仕分けシステムに採用されている。

【０００７】マルチプロセサ・システムに関する米国特
許第４２２８４９６号明細書では、プロセサ相互間のバ
スが、バス・コントローラに接続され、バス・コントロ
ーラが転送状態をモニタして、プロセサ相互間のデータ
転送の優先順位を決定する。複数の周辺デバイスのいく
つかを制御するために各プロセサを接続することができ
る。

【０００８】米国特許第４０６３２２０号明細書及び同
第４０９９０２４号明細書の“Ｅｔｈｅｒｎｅｔ”シス
テムは、異なるプロセサ、周辺機器の相互通信の問題に
別のアプローチを示している。ユニットはすべて共通の
マルチアクセス・ネットワークに接続されて、優先順位
を競い合う。衝突の検出は時間順に行われる。これはま
た、グローバルな能力が、すぐには制御できないか、コ
ーディネイトできないか、特殊性を与えられないことを
意味する。

【０００９】こうした複合システムの詳細を充分に評価
するには、特許と関連文献を分析するしかないが、調べ
てみればわかるように、データ転送に優先順位をつける
各インスタンス及びプロセサの選択では、タスクを共有
しようとする場合には、相互通信と監視をかなりの程度
まで制御する必要がある。プロセサを追加するためにシ
ステムを拡張することは、こうした異なるシステムに生
じるのと同じ問題を引き起こすことはないが、各インス
タンスについてみると、システム・ソフトウェア、アプ
リケーション・プログラミング、ハードウェア、あるい
はこれらすべてが複雑にならざるを得ない。

【００１０】ほとんどのネットワークは、各メッセージ
が、デスティネーション・ノードに届いたときに、メッ
セージの転送に用いられるパスで応答（ＡＣＫ）ワード
が送り返されることによって肯定応答を得る（この手法
は、回路交換網、パケット交換網のいずれにも用いられ
る）。そこで、ソース・ノードはそのメッセージをネッ
トワークにエンキューし、カウントダウン・タイマをス
タートさせる。タイマが切れる前に肯定応答が受理され
ると、メッセージの転送は成功したとみなされる。タイ
マが、応答受理の前に切れると、メッセージ転送は失敗
したとみなされ、メッセージを再送しなければならない
。

【００１１】上記の機構の問題は、ソース・ノードが、
メッセージが成功したか失敗したかどうかしか認識せず
、経過が充分にレポートされないことである。メッセー
ジの失敗の原因は、ネットワークの輻輳、リンクの破損
、転送エラー、ノード・エラーなどいくつか考えられる
。ソース・ノードは失敗の原因を知らないか、またはメ
ッセージがどこまで進んだかを知らないので、もう一度
メッセージの送信を試すか、メッセージをアボートする
ほかない。

【００１２】上記の機構を改良する方法として明らかな
のは、メッセージの失敗理由を示す否定応答を追加する
ことである。つまり、いくつかの１次元（１パス）ネッ
トワークが、メッセージ転送が失敗したときに具体的な
ステータス・ワードを返す。ただしこの方法は、複数の
パスに障害が発生し得る多次元ネットワークには応用で
きない。上記の例で、ノード１の子であるノード２、４
が両方とも、別々の原因でメッセージの送信に失敗した
とする。ノード２、４は両方ともこの情報をノード１に
返す。ノード１はそこで両方のエラーをノード０に返す
必要がある。ノード０は、各サーチ・パスで生じた各エ
ラーを処理する必要がある。このプロトコルは、拡張性
のニーズには応えるが、ステータス情報を１つのステー
タス・ワードにまとめることがないので、オーバヘッド
・メモリが過大になる。さらにこの方法を支えるための
ネットワーク・バンド幅も過大になる。

【００１３】機構の最終的な改良方法としては、中間ノ
ードがエラー・レポートを収集し、最も重大なエラー・
レポートだけをその親に渡すことであろう。この方式は
、応答メッセージのトラフィックを少なくするが、メッ
セージの経過がネットワークを通してカプセル化される
ことはない。この方式を採用した場合、ソース・ノード
には、サーチ・ブランチに生じた最も重大なエラーしか
通知されない。メッセージの経過についての情報はレポ
ートされない。

【００１４】マルチプロセサ・システムにみられるサイ
ズと能力の制約は、論理的に受動的な１、２本のバスを
使用することによる。相互通信を容易にする手法として
は、米国特許第４２４０１４３号明細書にみられるよう
に、サブシステムをグローバル・リソースのグループに
分けるなど種々考えられるが、多数のプロセサが用いら
れると、有用なトラフィック量は限界に達するほかなく
、可変ディレイにより、克服不可能な問題が持ち上がる
。プロセサがロックアウトまたはデッドロックに陥る状
況も予想され、こうした状況では、問題を解決するため
に回路やソフトウェアを追加する必要がある。したがっ
て、プロセサを事実上増やす（たとえば１０２４個にす
る）ことが実用的でないのは明らかである。

【００１５】多くのアプリケーションで望ましいのは、
こうしたこれまでのアプローチの制約を逃れて現在の技
術を最大限に活用することである。現在最も低コストな
技術は、大量生産されるマルチプロセサと、密閉された
環境でヘッドとディスクの間隔を小さくしたＷｉｎｃｈ
ｅｓｔｅｒ型などの大容量の回転ディスク・メモリが、
その基盤になっている。

【００１６】マルチプロセサ・システムは、ソフトウェ
アを、不釣り合いなほど複雑にしたりせずに、あるいは
ソフトウェア自体の複雑さをなくして、拡張することが
望ましい。また、機能全体を、一定限度の（または反復
する）処理タスクに動的に細分することのできる分散構
造を特徴としたコンピュータの問題点に取り組めること
が望ましい。

【００１７】データベース・マシンは実質上すべてこの
カテゴリに入る。これには、ソーティング、パターンの
認識と相関、ディジタル・フィルタリング、大きいマル
チプレクサの演算、物理システムのシミュレーション等
の代表的な例も含まれる。こうした状況のいずれについ
ても、広く分散し、比較的直接的であって、瞬時のタス
ク負荷の大きい独立した処理タスクが必要である。この
状況は、従来のマルチプロセサ・システムにとって過大
な負担となる。オーバヘッドの時間とソフトウェアが多
くなり、システムの実際のインプリメンテーションが難
しくなるからである。例えば、共有受動バスを使用した
場合、伝播レートとデータ転送時間により、トランザク
ション処理が可能なレートについて障害が発生するのは
避けられない。

【００１８】

【発明が解決しようとする課題】この発明は、多次元コ
ンピュータ・ネットワークにおいて制御情報を転送する
問題を解決するものである。多次元コンピュータ・ネッ
トワークは、ノードと呼ばれる同種または異種の複数の
処理ユニットより成る。ノードに必要なことは、他のノ
ードからデータ・ブロックを受信して、他のノードへデ
ータ・ブロックを送信することだけである。ノードは、
例えば、ディスプレイ、ディスク、通信アダプタ、及び
キーボードを含むパーソナル・コンピュータである。

【００１９】ノードを相互に接続するリンクは、ノード
を規則的なパターンまたは不規則なパターンでつなぐリ
ンクである。ノード・リンクは、２つのパーソナル・コ
ンピュータをつなぐ非同期通信ケーブルと同じく簡素化
することができる。また、ローカル・エリア・ネットワ
ークは、各ノードに複数の通信リンクを提供することが
できる。多次元コンピュータ・ネットワークでノードの
情報交換を管理するためには、情報が転送されるごとに
ノードが制御情報を交換する必要がある。

【００２０】メッセージに制御情報が組み合わせられる
ネットワークを最も簡単に設計する方法は、制御情報を
転送するためにバンド幅を予約することである。たとえ
ば、各リンクが、８本のワイヤでデータを各方向へ送受
信する場合、７本はメッセージの送信に、１本は制御情
報のために予約することができる。こうした機構では、
メッセージがリンクを送信されていても１本のワイヤを
いつも制御情報の送信に使うことができる。

【００２１】この機構の問題は、制御情報がない場合に
は、メッセージの送信に、リンクのバンド幅の７／８し
か利用できないことである。８番目のワイヤ（制御情報
のために予約されている）は、制御情報が転送されない
ときはアイドル状態のままであり、バンド幅が無駄にな
る。

【００２２】時間多重方式でも同じ問題が生じる。たと
えば各リンクを送られる１０番目のバイトを各々制御情
報に使用する通信システムが考えられるが、このような
システムでは、制御情報がない場合にはバンド幅の９／
１０しか利用できない。同様に、制御情報の転送を容易
にするために各メッセージの特定のバイトが予約されて
いると、そのバイトが送信されるときに制御情報がなけ
れば、バンド幅が無駄になる。

【００２３】制御情報のためにバンド幅を予約できない
場合は、同じリンクでのメッセージの転送を制御情報に
よって一時中断するようにネットワークを設計する必要
がある。この種のネットワークを実現する一般的な方法
は、各メッセージを、サイズを固定したブロック（パケ
ット）に分けることである。制御情報を追加する必要の
あるときには、リンクが現在のパケットの処理を終えて
、次に送信されるパケットを一時格納し、パケットの代
わりに制御情報を送出することができる。

【００２４】最も簡単なこの実現例では、後の制御情報
と入れ替わったパケットを、メッセージの終わりまで一
時格納できるが、各中間ノードは、少なくとも１パケッ
トに充分なメモリを備えていなければならない。また、
メッセージは、デスティネーション・ノードに順不同に
届くことが考えられる。これは厳しい制約になる。

【００２５】データを順不同に送信するのを避けるには
、入れ替えられたパケットを一時格納し、反対方向の制
御情報をメッセージのソースに送って、入れ替えられ格
納されたパケットを送信するまで次のパケットを遅らせ
ればよい。しかしその場合には、各中間ノードが、最初
に入れ替えられたパケットから始まるメッセージの各パ
ケットを、ソース・ノードがデータの送信を止めるまで
保持しておくのに充分なメモリを持っている必要がある
。また、通常の制御情報が送信されるたびに、特別な制
御情報を（メッセージを遅らせるか止めるために）別に
送信する必要があり、“雪崩効果”が生じる。

【００２６】この問題の解決法としては、メッセージの
ブレークを待たずに、入れ替えられたパケットを制御情
報が送信された後、すぐにリンクに送ることが考えられ
る。入れ替えられたパケットが送信されたときには、そ
れに続くパケットを一時格納し、この操作をメッセージ
が終わるまで繰り返す必要がある。

【００２７】この方法で効果を上げるには２つのバッフ
ァが必要になる。１つは制御情報が送信されているとき
に、入れ替えられたパケットを格納する。次に、第１バ
ッファの内容が送信されているときに、第２バッファが
次のパケットを保持しておく必要がある。第１パケット
が送信され、次のパケットの転送が開始されると、第１
バッファが空き、第３パケットを、遅れて一時格納する
のに使用できる。

【００２８】メッセージの終わりの前に送信すべき制御
情報が多くなると、メッセージの残りをパケット２つ分
遅らせるには、バッファがもう１つ必要になる。制御情
報によってメッセージを中断する回数に制限のあるかぎ
り、メッセージを、必要な制御情報をすべて送信するの
に充分な時間遅らせることがシステムによって常に保証
されるのに充分なバッファを与えることができる。

【００２９】問題は、リンクを流れる制御情報の量が、
同じリンクを同じ方向に流れるメッセージとは無関係な
ことである。したがって、ある特定の作業に必要なメモ
リを前もって定義しておくことはできず、この方法は実
用的でない。

【００３０】この発明は、分散データ処理システムにお
ける処理ポイント相互間でデータを転送するマルチホッ
プ通信ネットワークの機能を高度化するものである。

【００３１】この発明は、任意の長さ、任意の速度のリ
ンク、及び任意のサイズのネットワークに適用できる。 ネットワークは、パラレル・コンピュータの密結合プロ
セサまたは地理的に広く分散した異種プロセサを相互に
接続することができる。この発明は、２つのノード間に
パスが１つだけの１次元ネットワークとともに、多次元
またはパラレルなネットワークにも適用される。

【００３２】

【課題を解決するための手段】この発明は、固定したバ
ンド幅を予約する必要なく、要求に応じてデータ転送機
構からバンド幅を奪うことによって従来の技術を改良す
るものである。バンド幅は、小量のデータの転送におい
て制御情報を転送するのに用いられる。

【００３３】この発明は、マルチノード・システムのノ
ード相互間で、メッセージ情報のほかに制御情報の転送
を容易にするものである。これはバンド幅を予約せずに
、またネットワークを送られる他のメッセージに影響を
与えずに行われる。

【００３４】マルチノードのコンピュータ・システムは
、複数のノードの間のメッセージをつなぐ高速ノード・
リンクを使用する。各ノード及びそのノード・リンクは
、ネットワークのメッセージ転送に影響を与えずにノー
ド相互間の制御情報をルーティングする通信転送手段を
備える。

【００３５】各ノード・リンクは全２重通信リンクであ
る。したがって、メッセージが１方向に転送され、対応
する入力信号が存在しないときは、制御情報を反対方向
へ転送するのにリンクのバンド幅全体を使用でき、通信
システムの性能は影響を受けない。この発明は、ノード
相互間で交換される情報に伴う制御情報のこの転送能力
を利用するものである。

【００３６】制御情報を送るときに、データ・メッセー
ジの転送が両方向でアクティブになることがある。その
場合、データ・メッセージは、制御情報が転送されてい
る間にバッファに格納される。あるノードに入るメッセ
ージが多すぎ、バッファ手段が全メッセージを格納する
には不充分な場合は、データ・メッセージを送信するノ
ードに制御ブロックが返送され、ノードへのメッセージ
転送が一時的にブロックされる。

【００３７】

【実施例】図１に示した簡単な分散データ処理システム
と通信ネットワークを考える。

【００３８】分散データ処理システムは、ノードという
複数の同種または異種のデータ処理サイトから成る。例
えば、図１ではボックス１ないし７がノードを表わす。 各ノードは、小型ストレージ・デバイス（ディスク、メ
モリなど）のように簡単なものから、多重処理コンピュ
ータ・システム（パーソナル・コンピュータ）のように
複雑なものまである。ただしここでは、各ノードがデー
タ・ブロックを他のノードとの間で送受信できるものと
する。

【００３９】分散データ処理システムには、ノード相互
間でデータ・ブロックを送信するための通信ネットワー
クも含まれる。よく見られる通信ネットワークには、ノ
ードを規則的パターンまたは不規則なパターンで相互に
接続する、リンクという複数のポイント・ツー・ポイン
ト転送システムから成るものがある。例えば、図１では
ライン１２、１４、２３、２５、３５、４５、５６、及
び６７がリンクを表わす。

【００４０】この発明は、同じキャビネット内の２つの
ノードをつなぐリンク、別の都市にある２つのノードを
つなぐリンクなど、任意の距離の通信リンクに適用でき
る。転送機構の種類も、各リンクが全２重転送（データ
が両方向同時に転送される）をサポートする限り重要で
はない。

【００４１】簡単のため、ここではリンクで接続された
２つのノード間を送られるデータがそのリンクを通して
送信されるとする。例えば、図１ではノード１からノー
ド２へ送信されるデータは、リンク１２を送られる。デ
ータが、直結はしていない２つのノード間を送られると
きはマルチリンクが用いられる。たとえば、ノード１か
らノード６へ送られるデータは、リンク１２、２５、及
び５６を使うことになる。この発明は、ネットワークの
パスを見つけるためのメカニズム、及びデータ・ブロッ
クの転送時に用いられるソース、デスティネーション、
または中間のノード（先の例ではノード２、５）内のデ
ータを処理するためのメカニズムとは無関係に適用でき
る。

【００４２】この発明は、リンクを送られるデータのタ
イプまたはフォーマットとは無関係に利用できる。特に
、データを、個別にルーティングされたパケット（サイ
ズが固定されたデータ・ブロック）に分ける必要がなく
、送られるデータ・ブロックのサイズを制限する必要も
ない。メッセージという言葉は、ここではノード相互間
を送られているデータ・ブロックの意味で用いる。

【００４３】図１により、ノード１からノード６へのメ
ッセージの転送を考える。データが、あるノードから別
のノードへ送られているときには、データの転送を完了
または制御するために、受信側のノードが送信側のノー
ドに情報を返送しなければならないことがある。以下に
、例として、送信される制御情報のタイプを示す。

【００４４】１．メッセージがデスティネーション・ノ
ード（ノード６）に届いたとき、正常に受信されなかっ
た場合には、メッセージの再送を求める情報をソース・
ノード（ノード１）に返送することができる。

【００４５】２．メッセージ転送時に用いられるリンク
に障害が発生した場合は、メッセージの終わりを待たず
にメッセージ転送をアボート（ａｂｏｒｔ）　する、す
なわち打切る情報を返送することができる。

【００４６】３．デスティネーション・ノードまたは中
間ノード（ノード２、５）が、データを、送信されたと
きに一時格納していて、そのバッファが一杯になった場
合は、バッファのオーバフローが解消されるまでデータ
転送を一時停止するための情報を送信側ノードに返送す
ることができる。このとき、メッセージを再スタートさ
せるために別の制御情報を返送することができる。

【００４７】４．メッセージに用いられるリンクの選択
が、メッセージ転送の初めに動的に決定される場合は、
リンクがメッセージの転送に使用できるかどうかを示す
情報を、当該リンクによって返送することができる。

【００４８】あるリンク（たとえばリンク１２）が１方
向にのみ（ノード１からノード２へ）メッセージを送っ
ているときは、各リンクを全２重にする必要があれば、
通常は反対方向へ（ノード２からノード１へ）メッセー
ジを送信するために予約されるアイドル転送機能を使っ
て制御情報を返送することができる。

【００４９】しかしこのような簡単な手法は、リンクが
両方向にメッセージを送信するので手一杯の場合は役に
立たない。先の例では、あるメッセージがノード１から
ノード２へ送られ、別のメッセージがノード２からノー
ド１へ同時に送られている場合、いずれかのメッセージ
に関連した制御情報をリンク１２を通して返送する明ら
かな方法はない。

【００５０】この発明は、通信ネットワークのリンクが
、関連のないメッセージを送信するので手一杯になって
いると考えられるときに、そのリンクを通して制御情報
を返送する方法の問題を解決するものである。この発明
では、この発明を利用するシステムの特性を基にして、
次の要件を満足しながらこの問題を解決する必要がある
。

【００５１】１．システムにおいて制御情報を送る必要
があっても、ネットワーク内で送信できるメッセージの
長さが制限されないようにする。つまりメッセージ長は
可変である。

【００５２】２．制御情報は、それが生成されてからで
きるだけ速やかに送信する。特に制御情報の送信は、他
のメッセージが終わるまで遅らせることはできない（制
御情報の転送がブロックされる恐れがある）。メッセー
ジが任意の長さであり（要件１参照）、メッセージ終了
待ち時間が不定で、非常に長くなる可能性があるからで
ある。

【００５３】３．メッセージがマルチホップを送られる
ときは、中間ノードで意味のあるメモリ量（数バイト以
上）については条件を課さない。これは特に、メッセー
ジが任意の長さにでき、中間ノードに最大長のメッセー
ジを格納するためのメモリ量がかなり多くなるので重要
である。この要件では、ネットワークは、各中間ノード
が各メッセージをローカル・メモリに格納してから、デ
スティネーション・ノードにつながる次のリンクに送り
出す蓄積交換方式を用いないことになる。

【００５４】４．リンクを通して制御情報を送信する必
要がある場合は、制御情報を容れる余地を残すために速
度を落とすことを、そのメッセージを送信している他の
リンクまたはそのメッセージを生成するソース・ノード
に明示的に指示する必要はない。

【００５５】これは、メッセージの速度を落とすために
送信する必要のある制御情報自体が、別のメッセージの
速度を、リンクを通して返送されたときに遅くすること
を求めるからである。その場合、“雪崩効果”が生じて
、ネットワークが速度低下の要求で一杯になる。

【００５６】５．メッセージの送信で手一杯のリンクを
通して制御情報が送信される場合は、制御情報がメッセ
ージからバンド幅を奪う。ただし、制御情報がなければ
、そのメッセージはリンクのバンド幅全体を使用する。 つまり、利用できるリンクのバンド幅は、送信されない
かもしれない制御情報には予約されない。

【００５７】６．要件１から、あるメッセージについて
返送される制御情報の量には制限がないと仮定すること
もできるが、リンクを送られるメッセージとそのリンク
を共有する制御情報との間には関係がない。

【００５８】言い替えると、あるリンクでは、１つの長
いメッセージが左から右へ流れ、たくさんの短いメッセ
ージが右から左へ流れているかもしれない。短いメッセ
ージに関連する制御情報は反対方向へ流れるので、制御
情報は、左から右へ流れるメッセージが終わる前に、リ
ンクを左から右へ送信する必要がある。

【００５９】７．制御情報が、メッセージの送信で手一
杯のリンクを送られる場合は、メッセージ転送はローカ
ルに中断できるが、そのメッセージのデータは、データ
が失われず、メッセージの終了が早すぎることのないよ
うに保持しなければならない。

【００６０】簡単なため、ここではネットワークのリン
クがすべて同じバンド幅であり、メッセージの送信時に
各リンクのバンド幅全体が用いられるとする。つまり、
直結はしていない２つのノード間でメッセージが（たと
えばノード１からノード６へ）送信される場合は、メッ
セージはパスの各中間リンク（例ではリンク１２、２５
、５６）の全バンド幅を使用する。

【００６１】この前提が、中間リンク（第１リンクを除
く）のバンド幅が第１リンクよりも大きくなるように緩
和された場合は、メッセージがそのパスを送られたとき
、そのメッセージは、高速な中間ノードの各々に使用で
きるバンド幅の一部しか使用しない。これらの中間ノー
ドで余ったバンド幅は制御情報の送信に使用できる。 その場合、完全に占有されたネットワーク内の低速リン
クに対するこの発明の適用可能性が少なくなる。

【００６２】この状況は、もしマルチリンク・パスにお
ける第１リンクのバンド幅が他のリンクよりも大きい場
合には多少複雑になる。その場合、メッセージは、他の
リンクの過負荷を避けるために第１リンクのバンド幅の
一部しか使用せずに送出するか、あるいは第１リンクの
全バンド幅を使用して、中間ノードの１つが送信できる
よりも多くのデータを受信するかのいずれかである。後
者の場合、中間ノードは、余剰データが失われないよう
に、それを一時格納する必要がある。そうすると中間ノ
ードは、要件３に反して、かなりの量のバッファ・メモ
リを備えなければならない。

【００６３】この発明は全バンド幅を使用するシステム
内の各リンクに適用されるので、ここでは、本発明を説
明する便宜上、各リンクが、リンクの全バンド幅に等し
い同一速度で動作するものとする。この発明は、（リン
ク速度が変わるネットワークでもこの発明を適用できる
が）全バンド幅が用いられるリンクに限られる。

【００６４】ロジックこの発明は、制御情報を追加でき
るようにメッセージを遅らせる、簡素かつ効果的な手段
と、メッセージを遅らせる制御情報の量を制限するため
に、アイドル・リンクが、あたかも占有されているかの
ようにブロックされる（ＢＬＯＣＫＥＤ）手法を用いて
、小量のバッファ・メモリで充分であることを保証する
メカニズムを提供することによって、従来の技術を改良
するものである。

【００６５】図２のように、通信ネットワークの２つの
ノード１、２間に１つの全２重リンク１２を考える。ノ
ード１からノード２に送信されるメッセージは、ノード
１で生成され、ロジック・ブロック９０に供給されてリ
ンク１２に送り出される。同様に、ノード２からノード
１へ送信されるメッセージは、ノード１内で、ロジック
・ブロック９１によってリンク１２から抽出され、ノー
ド１に供給されて処理されるか、または他のリンクを通
して転送される。ノード１からノード２へ流れるメッセ
ージに関連する制御情報は、ノード２の出力リンク・ロ
ジック９３により、ノード２からノード１へ流れるメッ
セージ・ストリームに追加することによって、ノード２
からノード１へ返送される。次に制御情報は、ノード１
の入力リンク・ロジック９１によってそのメッセージ・
ストリームから分離される。

【００６６】リンク相互間でメッセージを送受信しルー
ティングするノード内のロジックは、制御情報を処理す
るロジックとともに、この発明の対象外である。この発
明で説明するのは、ノード内のルーティング・ロジック
と、リンク・レベルのドライバ及びレシーバとの間のメ
ッセージと制御情報の処理である。このロジック（図２
のブロック９０、９１）の詳細を図３に示す。

【００６７】順方向に流れるメッセージは論理的にパケ
ットに分けられる。各パケットは、最も小さい制御情報
と同じサイズである。したがってパケットは普通１ない
し４バイトである。ノードからのパケット・ストリーム
は、ＦＩＦＯ（ファーストイン・ファーストアウト・バ
ッファ）１００に送り込まれる。ＦＩＦＯの出力は、マ
ルチプレクサ（ＭＵＸ）１０１に供給され、ここでメッ
セージ・データ、反対方向の制御情報、または特別なＭ
ＳＧ−ＢＬＯＣＫキャラクタもしくはＢＬＡＮＫキャラ
クタが選択される。マルチプレクサの出力は図３に示す
ようにリンク・ドライバ１０２（ＤＲＶＲ）に供給され
る。

【００６８】図４のフローチャートに示すように（ステ
ップ４０４で）反対方向の制御情報がない場合、メッセ
ージ・データは、ＦＩＦＯに一時格納されずにそれを通
過し、マルチプレクサを経て、最小の遅れでリンクを送
られる（ステップ４０７、４０９）。リンクのバンド幅
は、ノードから入るメッセージ・データの速度と一致す
るようにする必要がある。

【００６９】（ステップ４０４で）反対方向の制御情報
があってリンクを送られる場合は、出力制御ロジック１
０３により、制御情報がリンクにアクセスできるように
マルチプレクサ１０１が切り替えられる（ステップ４０
５）。その間、メッセージは、ＦＩＦＯでパケットがバ
ックアップされることによって遅れる。制御情報が送信
された後、マルチプレクサは元に戻り、メッセージは停
止したところから再スタートする。

【００７０】メッセージ・データも反対方向の制御キャ
ラクタもリンクを送られない場合は、出力制御ロジック
１０３がマルチプレクサを自分の出力に切り替えて、特
別なＢＬＡＮＫ制御パケットをリンクに送り、メッセー
ジにギャップがあることを示す（ステップ４０８）。

【００７１】ドライバはすべて別のノードのレシーバに
接続される。このノードのレシーバ（リンクのもう一端
でドライバにつながる）を図３の１０４に示す。レシー
バからのデータは、デマルチプレクサ（ＤＥＭＵＸ）１
０５に供給され、ここでメッセージ・データが制御情報
から分離される。

【００７２】図５のフローチャートに示すように（ステ
ップ５０２で）受信されたＢＬＡＮＫパケット、ＭＳＧ
−ＢＬＯＣＫパケットはいずれも、入力制御ロジック１
０６によって入力データ・ストリームから除外される（
図５、ステップ５０３、５０４、５０５、５０６、５０
７、５０８）。この２つのキャラクタは反対方向の制御
キャラクタと似ているが、ノードではなく出力制御ロジ
ックによって生成される点が異なる。ＢＬＡＮＫとＭＳ
Ｇ−ＢＬＯＣＫを除くすべてのデータと制御キャラクタ
はノードに送られて処理される（図５、ステップ５０９
、５１０、５１１）。

【００７３】メッセージ・データと制御情報を区別する
方法は、使用リンクのタイプによって異なり、この発明
の対象外である。あるシステムでは、制御情報の先頭の
マークとしてエスケープ・キャラクタが用いられる。リ
ンクを送信できる一意のパケット（キャラクタ）セット
が、メッセージ・データに必要なセットよりも大きいシ
ステムもある。メッセージ・データに使用されないパケ
ット・タイプは制御情報に使用できる。

【００７４】ＦＩＦＯの幅は普通、パケット・サイズに
合わせられる。制御情報を追加するためにメッセージを
遅らせる場合、パケットを保持するメモリのように動作
するのはＦＩＦＯである。したがって、ＦＩＦＯの深さ
によって、パケットを取りこぼすことなく送信できる制
御情報の量が決まる。

【００７５】ＦＩＦＯは、パケット転送時間に関係する
フォール・スルー時間を比較的短くする必要がある。フ
ォール・スルー時間は、データがＦＩＦＯに入ってから
ＦＩＦＯから読み出されるまでの時間である。フォール
・スルー時間が比較的短ければ、ＦＩＦＯからデータが
使用できないときには、ＦＩＦＯがほぼ空であるとみな
すことができる。

【００７６】ＦＩＦＯのオーバフローを避けるために、
出力制御ロジック（図３の１０３）が、ＦＩＦＯの余地
をモニタする（図４のステップ４０２）。ＦＩＦＯがほ
ぼ一杯（後述）であれば、出力制御ロジックはメッセー
ジを中断して自分の制御情報（ＭＳＧ−ＢＬＯＣＫとい
われる）を送信する（ステップ４０３）。

【００７７】ＭＳＧ−ＢＬＯＣＫはリンクを通して、ノ
ードのもう一端にあるレシーバへ送られる。この制御情
報はそのノードの入力制御ロジック１０６によってデー
タ・ストリームから取り除かれる（図５のステップ５０
４）。ＭＳＧ−ＢＬＯＣＫが受信されると、受信側のノ
ードの入力制御ロジックは、ＢＬＯＣＫＥＤという制御
ラインをセットする（ステップ５０５）。制御ラインは
そのノードによってモニタされる。ＢＬＯＣＫＥＤ信号
は、ノードを通して送信されているメッセージには影響
を与えないが、現在のメッセージが終了すると、そのリ
ンクでは、ＢＬＯＣＫＥＤ信号がクリアされるまでは新
しいメッセージは受理されない。

【００７８】ＭＳＧ−ＢＬＯＣＫが入力制御ロジック１
０６によって検出されると、その制御ロジックはＢＬＡ
ＮＫ制御パケットを探し始める（図５のステップ５０６
）。ＢＬＡＮＫが検出されると、入力制御ロジックは、
リンクのもう一端のＦＩＦＯがほぼ空であるとみなすこ
とができる。ここでＢＬＯＣＫＥＤ信号をリセットする
ことができる（図５のステップ５０８）。これは普通、
メッセージの終わりで生じるが、メッセージがリンクの
バンド幅よりも低速で転送されている場合は、メッセー
ジの中間でブレークが可能である。

【００７９】この発明の機能を充分に理解するには、反
対方向の制御パケット数についてどのような仮定が可能
かを調べる必要がある。

【００８０】図１により、メッセージＡがリンク１２、
２５、５６でノード１からノード６へ送信されていると
する。同時にメッセージＢがリンク１２、１４でノード
２からノード４へ送信されているとする。リンク１２で
は２つのメッセージが各方向に通過する。

【００８１】各メッセージによって反対方向の制御情報
がいくらか生成され得る。ここでＭを、あるメッセージ
に応答して生成された最大制御情報量に等しいとする。 Ｍは、あるメッセージを中断させる制御情報の量とは関
係のないことに注意されたい。例で、９個の短いメッセ
ージ（Ｂ１ないしＢ９）がノード２からノード４へ送信
されると同時に、１つの長いメッセージＡがノード１か
らノード６へ送信される場合、メッセージＡがリンク１
２を通してノード１からノード２へ送信されるときに、
最大９＊Ｍ個の制御情報をメッセージＡに追加するケー
スが考えられる。

【００８２】ノード１のＦＩＦＯに３＊Ｍ個のパケット
分の余地があるとする。もし、メッセージＡの転送中に
、３＊Ｍ個を超える制御情報がリンク１２を送られると
、メッセージＡのパケットのいくつかは失われる。メッ
セージＡの一部の損失を避けるには、反対方向に流れる
メッセージ（Ｂ１ないしＢ９）の個数を制限することに
よって、生成される制御情報の量を制限する必要がある
。

【００８３】図２により、メッセージＡはノード１から
ブロック９０を通ってリンク１２を通過し、ブロック９
２を通ってノード２に至る。メッセージは、ノード２に
入ると、リンク２５（図示なし）を送られる。メッセー
ジＢはノード２からブロック９３を通ってリンク１２を
通過し、ブロック９１を通ってノード１に至り、ノード
４に送られる。

【００８４】ノード２からノード４へ流れるメッセージ
Ｂは各々ノード４からノード２へ流れる制御情報を生成
する。制御情報はノード１に送られ、ブロック９０を通
ってリンク１２を通過し、ブロック９２を通ってノード
２に入る。ここで同じリンク１２を使うメッセージＡか
らバンド幅を奪う。制御情報がリンク１２を送られるご
とに、メッセージＡの別のパケットが遅れ、ブロック９
０内のＦＩＦＯ１００（図３）の占有率が少し大きくな
る。

【００８５】ブロック９０内のＦＩＦＯ１００に残って
いる空きステージの個数が２＋Ｍに等しくなると、ブロ
ック９０内の出力制御ロジック１０３により、ＭＳＧ−
ＢＬＯＣＫがリンク１２を通してノード２へ送られる。 ＭＳＧ−ＢＬＯＣＫの転送によってメッセージＡがまた
少し遅れ、ＦＩＦＯの空きステージがまた１つ占有され
る。

【００８６】ＭＳＧ−ＢＬＯＣＫキャラクタは、ブロッ
ク９２内の入力制御ロジック１０６によってリンクから
除外される。この制御ロジックは次に、リンク１２がブ
ロックされた（ＢＬＯＣＫＥＤ）ことをノード２に伝え
る。ここでＢＬＯＣＫＥＤ信号がセットされたときにメ
ッセージＢ３がノード２からノード１へ送信されている
とする。ＢＬＯＣＫＥＤ状態はメッセージＢ３に影響を
与えない。このメッセージはすでに進行中であるためで
ある。またメッセージＢ３は、この段階ではＦＩＦＯに
Ｍ＋１の空きステージがあるので、最大Ｍ個の制御情報
をリンク１２に送る余裕がある。

【００８７】メッセージＢ３が終了した後、リンク１２
がＢＬＯＣＫＥＤを示している限りは、新しいメッセー
ジＢ４をスタートさせてリンク１２に送ることはできな
い。適応型ルーティング・システムの場合、ノード２内
のルーティング・ロジックは、可能ならメッセージのた
めの別のパスを自由に選択できる。でなければ、ノード
２からノード４へ流れるメッセージは、ＢＬＯＣＫＥＤ
状態がクリアされるまでは、あたかもリンクが別のメッ
セージで手一杯であるかのように、遅れるかまたは拒否
される。

【００８８】一方、ブロック９２の入力制御ロジック１
０６は、リンク１２を通してノード１から入ってくるメ
ッセージＡのデータをモニタしている。ＢＬＡＮＫ制御
パケットが検出されると、これはブロック９０内のＦＩ
ＦＯ１００が空であるかほとんど空であることを意味す
る。これが生じると、入力制御ロジックはＢＬＯＣＫＥ
Ｄ状態をリセットし、ここでメッセージＢのトラフィッ
クが再びノード２からノード１へ流れることができる。

【００８９】ロジック解析この発明は、制御情報を送る
ためにメッセージ・トラフィックからバンド幅を奪うこ
とによって機能する。その結果、最終的には、バンド幅
が奪われる各メッセージが、送信時間が長くなるように
引き伸ばされる。この発明は、メッセージ相互間に、引
き伸ばされたメッセージを拡張できるアイドル期間があ
る場合にのみ機能する。

【００９０】この発明では、明示的なフロー制御情報は
必要ないので、各メッセージのソース・ノードは、制御
情報の追加による影響を受けない。ただしデスティネー
ション・ノードは、送信時よりも低速で届いた制御情報
によって中断されているメッセージを認識する。この場
合、各メッセージが、別のメッセージが送信される前に
（制御情報をソース・ノードに返送することによって）
肯定応答を受けるシステムでは、最終的には、ソース・
ノードに対する肯定応答が遅れることになる。一方、肯
定応答の遅れは、メッセージが遅れた程度に比例し、従
来のように、メッセージ相互間のアイドル時間を保証す
るフロー制御メカニズムとなる。

【００９１】各ＦＩＦＯのサイズはメッセージ・サイズ
に比べてかなり小さいので、いくつかのリンクはＢＬＯ
ＣＫＥＤを受ける場合がある。ある時間にＢＬＯＣＫＥ
Ｄを受けるリンクの割合は、各ＦＩＦＯのサイズととも
に、メッセージ・トラフィックのタイプと量にも関係す
る。したがって、各ＦＩＦＯのサイズは、リンクのＢＬ
ＯＣＫＥＤ状態によるネットワーク・バンド幅の損失を
、ＦＩＦＯメモリに使える各ノードの実状態とトレード
オフするように決定する必要がある。

【００９２】ＦＩＦＯの最小サイズは３＋Ｍパケットで
ある（Ｍは、あるメッセージに応答して生成できる反対
方向の制御キャラクタの最大数）。実際には、３＋３＊
ＭのオーダのＦＩＦＯサイズで良好な性能の得られるこ
とが確認されている（メッセージ・トラフィックのピー
ク時にＢＬＯＣＫＥＤを受けるリンクが１％に達しない
）。

【００９３】この発明で重要なことは、複数のホップを
送られる長いメッセージによって、ルート全体が輻輳す
ることはないという点である。これは、メッセージが送
られるリンクの本数とは関係なく、メッセージによって
ＢＬＯＣＫＥＤを受けるリンク数を制限するのに役立つ
。

【００９４】この点を理解するために、メッセージＡが
リンク１２、２５、５６を通してノード１からノード６
へ送られる場合を考えてみる。反対方向の制御情報がリ
ンク１２をノード１からノード２へ送られる場合、メッ
セージＡはノード１内のＦＩＦＯで遅れる。またノード
２を流れるメッセージＡのパケット・ストリームには、
制御情報が除外されることによってギャップができる。 このギャップによって、下流のＦＩＦＯ（ノード２また
はノード５）に少し空きができる。したがって、制御情
報をメッセージに早めに追加すれば、後のメッセージの
バックアップ負担が軽減され、他のリンクがブロックさ
れる可能性は少なくなる。

【００９５】応用 この発明は、ノード相互間のメッセージに加えて、制御
情報の転送を最適化するときに、多次元ノード・システ
ムのルーティング・システムに用いられる。ノードは、
対になったシリアル・リンク（各々１方向）で接続され
る。リンクは１フィート（３０．４８ｃｍ）ないし２０
フィート（６０９．６ｃｍ）の範囲である。各リンクは
２６８個の一意のキャラクタ（１０ビットでコード化）
をサポートし、このうち２５６個はメッセージ・データ
に、残り１２個は制御情報に用いられる。したがって、
パケット・サイズとこれに対応する各ＦＩＦＯの幅は１
キャラクタ（１０ビット）にセットされる。

【００９６】ノードは、４次元のトーラス・ネットワー
クで相互に接続され、各ノードにＩ／Ｏ用のリンクが追
加される。各ノードのリンクは９本で、各々、ＦＩＦＯ
と出力／入力制御ロジックを含む（図３）。ＦＩＦＯサ
イズは、ここでは１６パケットにセットされている。こ
れは各メッセージが最大４つの反対方向の制御パケット
を生成するからである。

【００９７】ノード内では、１９８９年７月２７日付米
国特許出願第３８６５２１号（日本特願平０２−１９０
８９１号）で開示された“Ａｄａｐｔｉｖｅ　Ｒｏｕｔ
ｉｎｇ　ｉｎ　ａ　ＰａｒａｌｌｅｌＣｏｍｐｕｔｅｒ
　Ｓｙｓｔｅｍ”によって、データがリンク相互間を送
られる。適応型ルーティング・システムは、ＢＬＯＣＫ
ＥＤ状態を、あたかもリンクが別のメッセージで手一杯
であるかのように扱い、一般的には、ＢＬＯＣＫＥＤラ
インにルーティングする上で問題はない。ルーティング
に関し、この出願の明細書で述べている反対方向の制御
情報はＬＩＮＫ−ＣＬＯＳＥコマンドとＡＣＫＮＯＷＬ
ＥＤＧＥコマンドに相当する。

【００９８】

【発明の効果】この発明によれば、多次元コンピュータ
・ネットワークにおいて制御情報を転送する問題を解決
することができる。

【図面の簡単な説明】

【図１】この発明に従ったマルチノード・システムのブ
ロック図である。

【図２】この発明に従ったノード・リンク・アーキテク
チャのブロック図である。

【図３】この発明に従った入出力制御ロジックのブロッ
ク図である。

【図４】この発明に従った出力制御ロジックのフローチ
ャートである。

【図５】この発明に従った入力制御ロジックのブロック
図である。

Claims (28)

【特許請求の範囲】
1. 【請求項１】制御情報とメッセージのパケットをノード
   間で転送するための全２重通信リンクを有する伝送手段
   と、上記制御情報もしくはメッセージの一部を格納する
   ためのバッファ手段とを備え、ネットワークのメッセー
   ジ転送に影響を与えずに、複数のノード間で制御情報を
   転送することを特徴とするネットワーク・メッセージン
   グ装置。
2. 【請求項２】可変長の制御情報とメッセージを転送する
   手段を含む、請求項１のネットワーク・メッセージング
   装置。
3. 【請求項３】上記制御情報が、情報の再送又はアボート
   を要求する情報を含む、請求項１のネットワーク・メッ
   セージング装置。
4. 【請求項４】制御情報が、情報転送の一時停止又は再開
   を要求する情報を含む、請求項１のネットワーク・メッ
   セージング装置。
5. 【請求項５】制御情報が、ノード相互間の転送に関する
   状態情報を含む、請求項１のネットワーク・メッセージ
   ング装置。
6. 【請求項６】複数のノードのいくつかに可変速の転送手
   段を備える、請求項１のネットワーク・メッセージング
   装置。
7. 【請求項７】選択された制御情報とメッセージ・データ
   を、ネットワークのメッセージ転送に影響を与えること
   なく複数のノード間で転送するためのノード間通信装置
   であって、 （ａ）制御情報もしくはメッセージ・データを受信する
   通信手段と、 （ｂ）上記制御情報もしくはメッセージ・データの各部
   を格納するメモリ手段と、 （ｃ）上記メモリ手段に格納された制御情報から適当な
   制御情報を選択して、現在の通信状態を基に転送するプ
   ロセサ手段と、 （ｄ）上記選択された制御情報またはメッセージ・デー
   タを、次のノードに転送するために上記通信手段に転送
   するマルチプレクサ手段とを含む、ノード間通信装置。
8. 【請求項８】全２重通信を行う伝送手段を含む、請求項
   ７のノード間通信装置。
9. 【請求項９】上記制御情報とメッセージのパケットを転
   送する手段を含む、請求項７のノード間通信装置。
10. 【請求項１０】上記制御情報が、情報の再送もしくはア
    ボートを要求する情報を含む、請求項７のノード間通信
    装置。
11. 【請求項１１】上記制御情報が、情報転送の一時停止も
    しくは再開を要求する情報を含む、請求項７のノード間
    通信装置。
12. 【請求項１２】上記制御情報が、ノード間転送について
    の状態情報を含む、請求項７のノード間通信装置。
13. 【請求項１３】あるノードの過渡的な情報を一時格納す
    るために最小限のストレージを要する、請求項７のノー
    ド間通信装置。
14. 【請求項１４】複数のノード間で、ネットワークのメッ
    セージ転送に影響を与えずに制御情報を転送するネット
    ワーク・メッセージング方法であって、全２重通信リン
    クを介して、上記制御情報とメッセージのパケットを転
    送するステップと、メッセージの各部を格納するステッ
    プとを含む、ネットワーク・メッセージング方法。
15. 【請求項１５】上記制御方法が、情報の再送もしくはア
    ボートを要求する情報を含む、請求項１４のネットワー
    ク・メッセージング方法。
16. 【請求項１６】上記制御情報が、情報転送の一時停止も
    しくは再開を要求する情報を含む、請求項１４のネット
    ワーク・メッセージング方法。
17. 【請求項１７】上記制御情報が、ノード間転送について
    の状態情報を含む、請求項１４のネットワーク・メッセ
    ージング方法。
18. 【請求項１８】プロセサ手段、制御情報及びメッセージ
    ・データを格納するメモリ手段、マルチプレクサ手段、
    及び選択された制御情報とメッセージ・データを、ネッ
    トワークのメッセージ転送に影響を与えずにノード相互
    間で転送するための通信手段より成る複数の該ノード間
    の通信方法であって、 （ａ）上記通信手段により上記制御情報もしくはメッセ
    ージ・データを受信するステップと、 （ｂ）上記制御方法もしくはメッセージ・データの一部
    を上記メモリ手段に格納するステップと、（ｃ）上記メ
    モリ手段の上記制御情報から適当な制御情報を選択して
    、現在の通信状態を基に転送するステップと、 （ｄ）選択された制御情報またはメッセージ・データを
    、次のノードへ転送するために、上記マルチプレクサ手
    段を介して通信手段へ転送するステップとを含む、ノー
    ド間通信方法。
19. 【請求項１９】情報のパケットを転送するステップを含
    む、請求項１８のノード間通信方法。
20. 【請求項２０】上記制御情報とメッセージを同期させて
    送受信するステップを含む、請求項１８のノード間通信
    方法。
21. 【請求項２１】ノードとノードを接続するステップを含
    む、請求項１８のノード間通信方法。
22. 【請求項２２】可変長の情報を転送するステップを含む
    、請求項１８のノード間通信方法。
23. 【請求項２３】上記制御情報が、情報の再送もしくはア
    ボートを要求する情報を含む、請求項１８のノード間通
    信方法。
24. 【請求項２４】上記制御情報が、情報転送の一時停止も
    しくは再開を要求する情報を含む、請求項１８のノード
    間通信方法。
25. 【請求項２５】上記制御情報が、ノード間転送について
    の状態情報を含む、請求項１８のノード間通信方法。
26. 【請求項２６】あるノードの過渡的な情報を一時格納す
    るために最小限のストレージを要する、請求項１８のノ
    ード間通信方法。
27. 【請求項２７】上記制御情報とメッセージを転送するス
    テップが一定である、請求項１８のノード間通信方法。
28. 【請求項２８】上記制御情報とメッセージを、上記複数
    のノードのいくつかにおいて可変速で転送するステップ
    を含む、請求項１８のノード間通信方法。