JP4080397B2 - Parallel computer - Google Patents
Parallel computer Download PDFInfo
- Publication number
- JP4080397B2 JP4080397B2 JP2003303604A JP2003303604A JP4080397B2 JP 4080397 B2 JP4080397 B2 JP 4080397B2 JP 2003303604 A JP2003303604 A JP 2003303604A JP 2003303604 A JP2003303604 A JP 2003303604A JP 4080397 B2 JP4080397 B2 JP 4080397B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- node
- slave
- synchronization
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Small-Scale Networks (AREA)
Description
本発明は、例えば、電力系統のリアルタイムシミュレーションに適用される並列計算機、マスタノード及びそのプログラム、スレーブノード及びそのプログラムに関するものである。 The present invention relates to a parallel computer, a master node and a program thereof, a slave node and a program thereof applied to, for example, a real-time simulation of a power system.
一般に、並列計算機によるシミュレーションでは、計算機間の同期は重要である。例えば、外部機器と接続するリアルタイム電力系統シミュレーションでは、計算刻み時間５０μs程度でシミュレーションするため、同期時刻が計算機間で数10μsずれただけで、シミュレーション結果に悪影響を及ぼす。従って、正確な同期がとれるかどうかが、信頼性の高いシミュレータであることの一つの条件でもある。 In general, synchronization between computers is important in a parallel computer simulation. For example, in a real-time power system simulation connected to an external device, the simulation is performed with a calculation step time of about 50 μs. Therefore, the simulation result is adversely affected if the synchronization time is shifted by several tens of μs between computers. Therefore, whether or not accurate synchronization can be achieved is also a condition for a highly reliable simulator.
電力系統シミュレーションの分野では、近年の計算機技術の発展に伴い、従来のアナログシミュレータに代わって、設置スペース・操作性・現象の再現性に優れたディジタルシミュレータの開発が活発になってきた。電力系統のシミュレーションにおいて並列処理が有効であることは以前から知られており、これを実現するために専用ハードウェアあるいは共有メモリ型の非常に高性能な計算機上でシミュレーションソフトウェアが開発されてきた。しかし、これら計算機は非常に高価であることから、一般ユーザーへの普及が進みにくい状況にあった。このような高性能ハードウェアを採用した場合、ＣＰＵ間通信は非常に高速であるため、ＣＰＵ間の同期は大きな問題ではなかった。 In the field of power system simulation, with the recent development of computer technology, the development of digital simulators with excellent installation space, operability, and phenomenon reproducibility has become active in place of conventional analog simulators. It has been known for some time that parallel processing is effective in power system simulation, and simulation software has been developed on a very high-performance computer of dedicated hardware or shared memory to realize this. However, since these computers are very expensive, it has been difficult to spread to general users. When such high-performance hardware is adopted, communication between CPUs is very fast, so synchronization between CPUs is not a big problem.
一方、計算機技術者の間では、１９９０年代半ばに登場し、性能対コストパフォーマンスに優れたＰＣクラスタと呼ばれる新しい計算機プラットフォームが注目されるようになってきた。ＰＣクラスタとは、汎用ＰＣ（パーソナルコンピュータ）をネットワーク装置で接続した分散並列処理システムの一般的な呼称である。本出願人は、このＰＣクラスタという新しい技術に注目し、他社に先駆けてＰＣクラスタ上で電力系統シミュレータの開発を開始した。開発したシミュレータでは、様々な高度な並列処理技術を適用して、高性能なシステムを実現した。開発システムでは、ＰＣ間の通信に高速なネットワーク装置を使用し、ＰＣ間通信ソフトウェアの高速化開発を行った結果、ＰＣ間の同期のずれを１０μs程度の通信時間で抑えることに成功した。しかしながら、シミュレータのさらなる高性能化を目指すためには、この同期時刻のずれの改善が一つの課題でもある。 On the other hand, among computer engineers, a new computer platform called a PC cluster, which appeared in the mid-1990s and is excellent in performance and cost performance, has been attracting attention. A PC cluster is a general name for a distributed parallel processing system in which general-purpose PCs (personal computers) are connected by a network device. The present applicant paid attention to this new technology called the PC cluster, and started the development of a power system simulator on the PC cluster ahead of other companies. The developed simulator has realized a high-performance system by applying various advanced parallel processing technologies. In the development system, a high-speed network device was used for communication between PCs, and as a result of high-speed development of communication software between PCs, a synchronization shift between PCs was successfully suppressed in a communication time of about 10 μs. However, in order to further improve the performance of the simulator, improvement of this synchronization time shift is also an issue.
一般に、並列計算機の同期方法では、並列計算機のうち、１台をマスタノード、残りをスレーブノードとし、同期時刻はマスタノードにより管理していた。即ち、マスタノードは、シミュレーションの各タスク実行間隔毎に、全スレーブノードに同期信号を送信する。マスタノードの同期時刻は、この信号送信直前または全スレーブノードに送信完了直後のいずれかである。スレーブノードの同期時刻は、マスタノードからの信号受信直後である。あるいは、確実に送受信できていることを保証するため、スレーブノードで信号受信後、確認信号をマスタノードに送り返す方法もあった。このような方法を用いた場合には、マスタノードの同期時刻は、全スレーブノードから確認信号を受信した時刻であり、スレーブノードの同期時刻は、マスタノードに信号を送信した直後である。 In general, in the parallel computer synchronization method, one of the parallel computers is a master node, the remaining is a slave node, and the synchronization time is managed by the master node. That is, the master node transmits a synchronization signal to all slave nodes at each task execution interval of the simulation. The synchronization time of the master node is either immediately before this signal transmission or immediately after transmission to all slave nodes. The synchronization time of the slave node is immediately after reception of a signal from the master node. Alternatively, in order to ensure that transmission / reception can be performed reliably, there is a method of sending a confirmation signal back to the master node after receiving the signal at the slave node. When such a method is used, the synchronization time of the master node is the time when the confirmation signal is received from all the slave nodes, and the synchronization time of the slave node is immediately after the signal is transmitted to the master node.
従来、このような並列計算機の同期に関する技術としては、例えば特許文献１に示すものがあった。このような従来技術では、バリア同期機構の複雑化を招かず、しかも特別な通信機構を設けずに、自装置内でのバリア同期成立の情報を送受信することによって並列処理の完了を検出する。このように、従来の技術では、計算機間の同期をとるためには、同期信号を送受信する必要があり、この通信時間の遅延は本質的に避けることはできない。
Conventionally, as a technique related to synchronization of such parallel computers, for example, there has been one disclosed in
上記従来の一般的な同期方法を用いた場合、以下のような問題点があった。
従来の技術では、ＰＣクラスタのような分散並列計算機では、同期信号の送受信は、イーサネット（登録商標）（米国ゼロックス社の登録商標）などのネットワーク通信により行う。しかし、この通信時間は、ギガビットイーサーネット（登録商標）でも数１０μs、もっと高速なMyrinet （米国Myricom 社の登録商標）でも１０μs程度の通信時間がかかる。このような通信時間に起因する遅延により、全計算機で真に正確な同期をとることができない。これは、現在のハードウェア技術では解決できない問題であり、将来的にも通信時間を０にすることは不可能である。
When the conventional general synchronization method is used, there are the following problems.
In a conventional technique, in a distributed parallel computer such as a PC cluster, transmission / reception of synchronization signals is performed by network communication such as Ethernet (registered trademark) (registered trademark of Xerox Corporation in the United States). However, this communication time takes several tens of μs even for Gigabit Ethernet (registered trademark), and about 10 μs even for higher speed Myrinet (registered trademark of Myricom, USA). Due to such a delay due to the communication time, it is impossible to achieve truly accurate synchronization in all computers. This is a problem that cannot be solved by the current hardware technology, and it is impossible to reduce the communication time to 0 in the future.
特に、電力系統シミュレータのように、計算刻み時間５０μsが要求されるようなシミュレーションにおいては、この同期時刻のずれがシミュレーションの信頼性を損なうことがある。この同期の問題が、リアルタイム電力系統シミュレーションの分野で本出願人以外がＰＣクラスタを使わない一つの原因でもある。本出願人は、ＰＣ間通信ソフトウェアの高速化開発を行った結果、上述した従来の方法でＰＣ間通信時間１０μsを実現し、多くの場合、シミュレーション結果に問題がないことを確認している。しかしながら、シミュレータのさらなる高性能化・高信頼化を目指した場合、この同期時刻のずれの改善が課題の一つであった。 In particular, in a simulation that requires a calculation step time of 50 μs, such as a power system simulator, this shift in synchronization time may impair the reliability of the simulation. This synchronization problem is one reason why the PC cluster is not used by anyone other than the present applicant in the field of real-time power system simulation. As a result of high-speed development of the PC-to-PC communication software, the present applicant has realized the PC-to-PC communication time of 10 μs by the above-described conventional method, and in many cases, has confirmed that there is no problem in the simulation result. However, when aiming for higher performance and higher reliability of the simulator, improvement of the synchronization time shift was one of the problems.
もっとも、ネットワーク通信を用いずに、非常に高性能なＤＩＯカードといった通信装置により同期信号を送受信することもできる。しかし、このような通信装置は、ＰＣ本体と比べて何倍も高価であり、正確な同期のためだけに、このような高価なハードウェアを採用するのは現実的ではない。
この発明は上記のような課題を解決するためになされたもので、第１の目的は、高価なハードウェアを用いることなく、汎用のＰＣと汎用のネットワークを用いて並列計算機における正確な同期を実現するものである。
However, the synchronization signal can be transmitted and received by a communication device such as a very high performance DIO card without using network communication. However, such a communication device is many times more expensive than the PC main body, and it is not realistic to employ such expensive hardware only for accurate synchronization.
The present invention has been made to solve the above-described problems. The first object is to perform accurate synchronization in a parallel computer using a general-purpose PC and a general-purpose network without using expensive hardware. It is realized.
この発明に係る並列計算機は、そのマスタノードが、スレーブノードに対してタスク実行間隔の同期を開始させるための同期開始信号を送信すると共に、自己が管理する送信開始時刻を基準として、マスタノードからスレーブノードへの通信時間に基づいて求めた同期開始時刻でタスク実行間隔の同期を開始するようにしたものである。また、予め決められた特定の時刻間隔でタスク実行間隔の同期時刻修正のための監視信号を送信する監視信号送信手段を備えたものである。また、そのスレーブノードが、マスタノードからの同期開始信号を受信した場合、自己が管理する受信時刻に基づいて、マスタノードの同期開始時刻に一致した自スレーブノードの同期開始時刻を決定し、この時刻でタスク実行間隔の同期を開始するようにしたものである。更に、スレーブノードにおいて、監視信号を受信した場合に、スレーブ側時刻管理手段が管理する受信時刻と、マスタ側時刻管理手段が管理する監視信号の送信時刻にマスタノードから自スレーブノードへの通信時間を加えた時刻とのずれを測定し、測定したずれの値に基づき、特定の時刻間隔で自スレーブノードのタスク実行間隔の同期時刻をマスタノードのタスク実行間隔の同期時刻に一致させる時刻修正手段とを備えたものである。 In the parallel computer according to the present invention, the master node transmits a synchronization start signal for starting synchronization of task execution intervals to the slave node, and from the master node based on the transmission start time managed by the master node. The task execution interval synchronization is started at the synchronization start time obtained based on the communication time to the slave node. In addition, there is provided monitoring signal transmission means for transmitting a monitoring signal for correcting the synchronization time of the task execution interval at a predetermined specific time interval. When the slave node receives the synchronization start signal from the master node, the slave node determines the synchronization start time of the slave node that matches the synchronization start time of the master node based on the reception time managed by the slave node. The task execution interval synchronization is started at the time. Further, when the monitoring signal is received at the slave node, the communication time from the master node to the own slave node at the reception time managed by the slave time management means and the transmission time of the monitoring signal managed by the master time management means Time correction means for measuring a deviation from the time at which the task is added and matching the synchronization time of the task execution interval of the own slave node with the synchronization time of the task execution interval of the master node at a specific time interval based on the measured deviation value It is equipped with.
この発明は、マスタノードとスレーブノード間の通信時間に基づいた同期開始時刻により、マスタノードとスレーブノード間のタスク実行間隔の同期を開始するようにしたので、従来では避けることができなかった同期信号の送受信時間に起因する同期時刻のずれが発生せず、正確な計算機間の同期を実現することができる。 In the present invention, synchronization of the task execution interval between the master node and the slave node is started based on the synchronization start time based on the communication time between the master node and the slave node. A synchronization time shift due to signal transmission / reception time does not occur, and accurate synchronization between computers can be realized.
実施の形態１．
先ず、本発明の実施の形態１の概要を説明する。
実施の形態１の並列計算機は、マスタノードからの同期信号でスレーブノードの同期を行うのではなく、スレーブノードが独自に時刻管理を行うようにしたものであり、そのため、大きく分けて、次のような三つの特徴点を有している。
（１）同期開始時刻の決定方法
（２）同期開始後に発生する、同期時刻のずれの自動補正方法
（３）自動補正の監視方法
First, an outline of the first embodiment of the present invention will be described.
The parallel computer according to the first embodiment does not synchronize the slave node with the synchronization signal from the master node, but the slave node independently performs time management. It has the following three feature points.
(1) Method for determining synchronization start time (2) Automatic correction method for synchronization time deviation occurring after synchronization start (3) Automatic correction monitoring method
本実施の形態では、計算機のうち一つをマスタノードとし、その他をスレーブノードとする。以下、４台の同一ハードウェア構成の計算機があり、１台をマスタノード、３台をスレーブノードとした場合を例として説明する。 In the present embodiment, one of the computers is a master node and the other is a slave node. In the following, an example will be described in which there are four computers with the same hardware configuration, one being a master node and three being slave nodes.
前処理として、マスタノードと各スレーブノード間の通信時間は予め測定しておく。即ち、マスタノード→スレーブノード＃１、マスタノード→スレーブノード＃２、・・・、マスタノード→スレーブノード＃Ｎ（スレーブノードが３台の場合、Ｎ＝３）の各通信時間を測定しておく。このようなマスタノードと各スレーブノード間の通信時間を予め測定する点が本実施の形態における一つの特徴である。
As preprocessing, the communication time between the master node and each slave node is measured in advance. That is, measure each communication time of master node →
（１）同期開始時刻の決定方法
［マスタノードの動作］
先ず、スレーブノード＃１に同期開始信号を送信する。
送信命令実行後、予め測定済のマスタノード−スレーブノード＃１間にかかる通信時間の間だけ待つ。
次に、スレーブノード＃２に同期開始信号を送信する。
送信命令実行後、予め測定済のマスタノード−スレーブノード＃２間にかかる通信時間の間だけ待つ。
最後に、スレーブノード＃３に同期開始信号を送信する。
送信命令実行後、予め測定済のマスタノード−スレーブノード＃３間にかかる通信時間の間だけ待つ。
最後の通信時間待ちが完了した時刻を、同期開始時刻とする。
(1) Method for determining synchronization start time [operation of master node]
First, a synchronization start signal is transmitted to
After the transmission command is executed, it waits only for the communication time required between the master node and
Next, a synchronization start signal is transmitted to
After the transmission command is executed, it waits only for the communication time required between the master node and
Finally, a synchronization start signal is transmitted to
After the transmission command is executed, it waits only for the communication time required between the master node and
The time when the last communication time waiting is completed is set as the synchronization start time.
［スレーブノード＃１の動作］
マスタノードが最初の同期開始信号を送信する前に、信号受信待ち状態で待機する。
マスタノードからの同期開始信号受信完了後、予め測定済のマスタノード−スレーブノード＃２間の通信時間と、マスタノード−スレーブノード＃３間の通信時間の合計値の間だけ待つ。この通信時間待ちが完了した時刻を、同期開始時刻とする。
[Operation of slave node # 1]
The master node waits in a signal reception waiting state before transmitting the first synchronization start signal.
After completion of reception of the synchronization start signal from the master node, it waits for the total value of the communication time between master node-
［スレーブノード＃２の動作］
マスタノードが最初の同期開始信号を送信する前に、信号受信待ち状態で待機する。
マスタノードからの同期開始信号受信完了後、予め測定済のマスタノード−スレーブノード＃３間にかかる通信時間の間だけ待つ。この通信時間待ちが完了した時刻を、同期開始時刻とする。
[Operation of slave node # 2]
The master node waits in a signal reception waiting state before transmitting the first synchronization start signal.
After completion of receiving the synchronization start signal from the master node, it waits for the communication time required between the master node and
［スレーブノード＃３の動作］
マスタノードが最初の同期開始信号を送信する前に、信号受信待ち状態で待機する。
マスタノードからの同期開始信号受信が完了した時刻を、同期開始時刻とする。
[Operation of slave node # 3]
The master node waits in a signal reception waiting state before transmitting the first synchronization start signal.
The time when the synchronization start signal reception from the master node is completed is set as the synchronization start time.
（２）同期開始後に発生する、同期時刻のずれの自動補正方法
同期開始後のシミュレーション中の時間管理は、各スレーブノードが独立して行う。スレーブノード毎のＣＰＵクロックの微妙なずれによるタスク実行間隔の同期時刻のずれは、以下のようにして自動補正する。
予め、マスタノードと各スレーブノードの間で、所定時間（例えば１秒間）のテストシミュレーションを実施し、マスタノードの時間管理と各スレーブノードの時間管理の間で、テストシミュレーション中に１秒間に発生するずれの値を測定しておく。実際のシミュレーション中は、各スレーブノードのタスク実行間隔毎に、このずれの値に基づく時刻補正係数を用いて、独立に同期時刻のずれを補正する。
(2) Automatic correction method for synchronization time shift that occurs after the start of synchronization Time management during simulation after the start of synchronization is performed independently by each slave node. A shift in the synchronization time of the task execution interval due to a subtle shift in the CPU clock for each slave node is automatically corrected as follows.
A test simulation for a predetermined time (for example, 1 second) is performed in advance between the master node and each slave node, and occurs during the test simulation between the time management of the master node and the time management of each slave node. Measure the deviation value. During actual simulation, the synchronization time shift is corrected independently using a time correction coefficient based on this shift value at each task execution interval of each slave node.
（３）自動補正の監視方法
各スレーブノードでは、それぞれの時刻補正係数を用いて独自に時刻管理を補正しているが、この補正が正しいかを以下のようにして監視する。
予め決められた特定の時刻間隔で、マスタノードから各スレーブノードに時刻補正係数を修正するための監視信号を送り、各スレーブノードでは、その受信した時刻に基づいて、時刻補正係数による補正が正しいかを確認する。補正結果にずれがあった場合は、時刻補正係数を調整する。
以上が、実施の形態１の概要である。以下、このような実施の形態１を更に詳細に説明する。
(3) Monitoring method of automatic correction Each slave node independently corrects time management by using its time correction coefficient, and monitors whether this correction is correct as follows.
A monitoring signal for correcting the time correction coefficient is sent from the master node to each slave node at a predetermined time interval, and the correction by the time correction coefficient is correct based on the received time at each slave node. To check. If there is a deviation in the correction result, the time correction coefficient is adjusted.
The above is the outline of the first embodiment. Hereinafter, the first embodiment will be described in more detail.
図１は、この発明の実施の形態１による並列計算機を示すブロック図である。
図示の並列計算機は、マスタノード１と３台のスレーブノード２（２ａ〜２ｃ）からなる４台の同一ハードウェア構成の並列計算機の例を示している。尚、スレーブノード２ａ，２ｂ，２ｃは、それぞれ同様の構成であるため、スレーブノード２ａ以外は、内部の機能ブロックの図示を省略している。以下、スレーブノード２ａ〜２ｃに共通する構成、動作の場合は、スレーブノード２として説明する。
FIG. 1 is a block diagram showing a parallel computer according to
The illustrated parallel computer is an example of four parallel computers having the same hardware configuration including a
これらの並列計算機はＰＣクラスタを構成するものである。各ＰＣは、図示しないＮＩＣ（Network Interface Card ）を有し、ケーブルを用い、相互にスイッチングハブ等を介して接続されている。尚、ＮＩＣやケーブルおよびスイッチングハブは、公知の汎用のＮＩＣやケーブルおよびスイッチングハブであるため、ここでの図示およびその説明は省略する。 These parallel computers constitute a PC cluster. Each PC has a NIC (Network Interface Card) (not shown) and is connected to each other via a switching hub or the like using a cable. The NIC, the cable, and the switching hub are well-known general-purpose NICs, cables, and switching hubs, and illustration and description thereof are omitted here.
図１において、マスタノード１は、通信時間測定手段１１、補正係数用信号送信手段１２、マスタ側同期開始手段１３、タスク実行手段１４、マスタ側時刻管理手段１５、監視信号送信手段１６を備えている。通信時間測定手段１１は、マスタノード１と各スレーブノード２との通信時間を計測する機能を有している。補正係数用信号送信手段１２は、各スレーブノード２に対して、補正係数計測のための補正係数用信号を送信する機能を有している。マスタ側同期開始手段１３は、スレーブノード２に対して、タスク実行間隔の同期を開始させるための同期開始信号を送信すると共に、スレーブノード２への通信時間に基づいて求めた同期開始時刻で同期を開始する機能を有している。タスク実行手段１４は、シミュレーションのタスクを実行する機能を有している。マスタ側時刻管理手段１５は、マスタノード１側の同期時刻や送信時刻といった時刻の管理を行う機能部である。監視信号送信手段１６は、予め決められた特定の時刻間隔で時刻補正係数を修正するための監視信号を各スレーブノード２に送信する機能を有している。
In FIG. 1, the
スレーブノード２は、補正係数算出手段２１、スレーブ側同期開始手段２２、タスク実行手段２３、時刻補正手段２４、スレーブ側時刻管理手段２５、監視信号受信手段２６、補正係数修正手段２７を備えている。補正係数算出手段２１は、マスタノード１から送信された補正係数用信号を受信し、この信号の受信時刻に基づいてマスタノード１とスレーブノード２間における所定時間当たりのずれ時間を求め、このずれ時間から補正係数を算出する機能を有している。スレーブ側同期開始手段２２は、マスタノード１からの同期開始信号を受信した場合、スレーブ側時刻管理手段２５が管理する受信時刻に基づいて自己の同期開始時刻を決定し、その時刻で同期を開始する機能を有している。
The
タスク実行手段２３は、シミュレーションのタスクを実行する機能部である。時刻補正手段２４は、補正係数算出手段２１で算出された補正係数に基づいて時刻の補正を行う機能部である。スレーブ側時刻管理手段２５は、スレーブノード２としての時刻管理を行う機能部である。監視信号受信手段２６は、マスタノード１から予め決められた特定の時刻間隔で送信される監視信号を受信する機能部である。補正係数修正手段２７は、監視信号受信手段２６で受信した監視信号に基づいて、時刻補正手段２４にて補正された時刻とのずれがあった場合は、時刻補正手段２４が用いる補正係数を修正する機能を有している。
The
尚、上記のマスタノード１における通信時間測定手段１１〜監視信号送信手段１６およびスレーブノード２における補正係数算出手段２１〜補正係数修正手段２７は、それぞれ、各機能に対応したプログラムと、これらのプログラムを実行するためのＣＰＵやメモリ等からなるハードウェアとによって構成されている。
The communication time measuring means 11 to the monitoring signal transmitting means 16 in the
次に、本実施の形態の並列計算機の動作を説明する。動作説明として、先ず、シミュレーション開始処理に先立って行うマスタノード１とスレーブノード２との通信時間の測定について説明する。
図２は、マスタノード１とスレーブノード２との往復通信時間（ラウンドトリップタイム：ＲＴＴ）の計測方法の説明図である。
Next, the operation of the parallel computer of this embodiment will be described. As an explanation of the operation, first, measurement of communication time between the
FIG. 2 is an explanatory diagram of a method for measuring the round-trip communication time (round trip time: RTT) between the
ラウンドトリップタイムとは、２台の計算機のうち、一方の計算機が他方の計算機に向かってデータを送信し、他方の計算機がこのデータ受信後、一方の計算機にデータを送信し、一方の計算機がこのデータを受信するまでの時間である。データの送受信にかかる時間は、図２に示すように、送信側（図ではマスタノード）の処理１００ａ（図示しないＣＰＵとＮＩＣの処理）、ケーブル間のデータ移動とスイッチングハブの処理（図中の矢印部分）、受信側（図ではスレーブノード）の処理１００ｂ（図示しないＣＰＵとＮＩＣの処理）の三つに分けることができる。
Round trip time means that one of two computers sends data to the other computer, and after the other computer receives this data, it sends the data to one computer. This is the time until this data is received. As shown in FIG. 2, the time required for data transmission / reception includes
マスタノード１とスレーブノード２が同一のハードウェア構成である場合、片道の通信時間は、ラウンドトリップタイムＲＴＴの半分であると推定できる。通常、ラウンドトリップタイム計測時に、その他の通信が全く行われていない場合には、このラウンドトリップタイムはほぼ一定であり、その誤差は通常1μs以下である。以上により、本発明が対象とする分散並列計算機においても、予めラウンドトリップタイムを測定することにより、正確な計算機間片道通信時間を知っておくことができる。
When the
各スレーブノード２のラウンドトリップタイムＲＴＴ１〜ＲＴＴ３は、マスタノード１の通信時間測定手段１１により、シミュレーション前にシステムデータとして計測しておくが、その計測方法を次に説明する。
図３は、ラウンドトリップタイムの測定方法のフローチャートである。
マスタノード１において、計測反復回数として、通信回数（例えばｎ＝10,000回）が入力される（ステップＳＴ１ａ）。その後、実際の測定が開始される。先ず、開始時刻ｔ０を計測し、これを保持しておく（ステップＳＴ２ａ）。次に、１回目の送信を行う（ステップＳＴ３ａ）。尚、この場合の送信データは、単に送受信の確認が行えるものであれば、そのデータの内容は特にどのようなものであってもよい。
The round trip times RTT1 to RTT3 of each
FIG. 3 is a flowchart of the round trip time measurement method.
In the
次に、スレーブノード２からの信号を受信すると（ステップＳＴ４ａ）、これがステップＳＴ１ａで入力された計測反復回数ｎに達したかを判定し（ステップＳＴ５ａ）、達していない場合はステップＳＴ３ａに戻り、信号の送受信を繰り返す。
ステップＳＴ５ａにおいて、入力された計測反復回数ｎに達した場合は、信号の送受信を終了し、終了時刻ｔ１を計測する（ステップＳＴ６ａ）。次に、一回のラウンドトリップタイムを式ＲＴＴ１＝（ｔ１−ｔ０）／ｎにより計算し（ステップＳＴ７ａ）、結果を出力する（ステップＳＴ８ａ）。
Next, when a signal from the
In step ST5a, when the input number of measurement repetitions n is reached, signal transmission / reception is terminated and an end time t1 is measured (step ST6a). Next, one round trip time is calculated by the formula RTT1 = (t1-t0) / n (step ST7a), and the result is output (step ST8a).
また、スレーブノード２では、マスタノード１からの信号を受信した場合（ステップＳＴ１ｂ）、マスタノード１へ信号を送信する（ステップＳＴ２ｂ）。そして、マスタノード１からの信号を受信する度にこれを繰り返す。この計測は、各スレーブノード２個別に行う。
Further, when the
次に、同期開始後に発生するタスク実行間隔のずれを自動補正するための時刻補正係数Ａ１の求め方について説明する。
図４は、時刻補正係数Ａ１の求め方の説明図である。
説明を簡単にするため、マスタノード１と１台のスレーブノード２ａの間の関係についてのみ述べる。時刻補正係数Ａ１の求め方としては、先ず、本実施の形態の同期開始時刻を同期させる方法（これについては、後述する）を用いて、Ａ１計測用シミュレーションを開始する。尚、Ａ１計測用シミュレーションといっても、実際には時刻を常にチェックし、１秒経過するのを待つだけである。そして、マスタノード１で１秒経過した時点でスレーブノード２ａに補正係数用信号を送る。
Next, a description will be given of how to obtain the time correction coefficient A1 for automatically correcting a deviation in task execution interval that occurs after the start of synchronization.
FIG. 4 is an explanatory diagram of how to obtain the time correction coefficient A1.
In order to simplify the explanation, only the relationship between the
スレーブノード２ａでは、常に待ち状態で待機し、マスタノード１から送信された補正係数用信号を受信した時刻の測定値をＴとする。このＴとラウンドトリップタイムＲＴＴ１を用いると、Ａ１は１−Ｔ／（１＋ＲＴＴ１／２）で求めることができる。尚、この式は次のように導くことができる。即ち、スレーブノード２ａはマスタノード１に対して１秒間にＡ１秒遅れるとする（マスタノード１側で１秒間の時刻カウントを示す点線からＡ１経過した時刻が、スレーブノード２ａ側での時刻カウントが開始から１秒間を示している）。これを言い換えると、マスタノード１での時刻カウントでの時刻１は、スレーブノード２ａでの時刻カウントでは時刻１−Ａ１となる。補正係数用信号のスレーブノード２ａ側受信時刻Ｔについてみると、マスタノード１側での時刻カウントは時刻１＋ＲＴＴ１／２であり、一方、スレーブノード２ａ側の時刻カウントでは時刻Ｔである。従って、［マスタの時刻カウント：スレーブの時刻カウント］には以下の関係が成り立つ。
１：（１−Ａ１）＝（１＋ＲＴＴ１／２）：Ｔ
これにより、
Ａ１＝１−Ｔ／（１＋ＲＴＴ１／２）の関係を導くことができる。
The
1: (1-A1) = (1 + RTT1 / 2): T
This
A relationship of A1 = 1−T / (1 + RTT1 / 2) can be derived.
図５は、時刻補正係数Ａ１の測定方法を示すフローチャートである。
マスタノード１において、本実施の形態の同期開始処理（マスタ側同期開始手段１３とスレーブ側同期開始手段２２とによる同期開始処理）によって、各スレーブノード２との同期を開始し、時刻補正係数Ａ１の計測処理を開始する。次に、マスタ側時刻管理手段１５で１秒が経過したら（ステップＳＴ１１ａ）、補正係数用信号送信手段１２は、各スレーブノード２に補正係数用信号を送信し（ステップＳＴ１２ａ）、マスタノード１側の処理を終了する。
FIG. 5 is a flowchart showing a method for measuring the time correction coefficient A1.
In the
スレーブノード２では、補正係数の計測処理が開始されると、補正係数算出手段２１は、先ず、補正係数用信号の受信を待機し（ステップＳＴ１１ｂ）、補正係数用信号が受信された場合は、受信直後の時刻Ｔを計測する（ステップＳＴ１２ｂ）。その後、時刻補正係数Ａ１を、Ａ１＝１−Ｔ／（１＋ＲＴＴ１／２）の式に基づいて計算する（ステップＳＴ１３ｂ）。そして、この時刻補正係数Ａ１を時刻補正手段２４に出力する（ステップＳＴ１４ｂ）。時刻補正手段２４は、この時刻補正係数Ａ１を保持する。
In the
次に、マスタノード１とスレーブノード２の同期開始について説明する。
図６は、マスタノード１とスレーブノード２との同期開始時刻の決定方法を示す説明図である。
マスタノード１と、各スレーブノード２間のラウンドトリップタイムＲＴＴ１〜ＲＴＴ３は、通信時間測定手段１１によって予め測定してあるとする。また、マスタノード１から各スレーブノード２に同期開始信号を送信する順番は予め決定され、マスタノード１のマスタ側同期開始手段１３は、この情報を保持しておく。一方、各スレーブノード２のスレーブ側同期開始手段２２は、マスタノード１からの送信順序が、自スレーブノード２より後であるスレーブノード２の通信時間の合計値を保持しておく。
Next, the start of synchronization between the
FIG. 6 is an explanatory diagram showing a method for determining the synchronization start time between the
It is assumed that the round trip times RTT1 to RTT3 between the
先ず、全てのスレーブノード２（２ａ〜２ｃ）が、マスタノード１からの同期開始信号の受信を待つ。
マスタノード１は、最初にスレーブノード２ａ（１番目のスレーブノード）に同期開始信号を送信する。この同期開始信号の送受信にかかる時間、即ち、マスタノード１における同期開始信号送信処理開始（図６のＴｓ）からスレーブノード２ａにおける同期開始信号受信処理完了（図６のＴｒ１）までの時間は、Ｔｒ１−Ｔｓである。この値は既知の値ＲＴＴ１／２であるので、マスタノード１は、スレーブノード２ａの受信が完了する時刻を正確に知っている。マスタノード１は、スレーブノード２ａへの送信開始後ＲＴＴ１／２秒間待ち、次に、スレーブノード２ｂ（２番目のスレーブノード）へ同期開始信号を送信する。そして、この送信後ＲＴＴ２／２秒待ち、次にスレーブノード２ｃ（最後のスレーブノード）へ同期開始信号を送信する。そして、この送信後ＲＴＴ３／２秒待ち、この待ちが完了した時刻を同期開始時刻（ｔ＝０）、即ちシミュレーション開始時刻とする。
First, all the slave nodes 2 (2a to 2c) wait for reception of a synchronization start signal from the
First, the
一方、スレーブノード２ａでは、マスタノード１からの同期開始信号受信後、保持している他のスレーブノード２ｂ，２ｃの通信時間に基づいて、（ＲＴＴ２／２＋ＲＴＴ３／２）秒間待ち、この待ちが完了した時刻を同期開始時刻とする。また、スレーブノード２ｂでは、マスタノード１からの同期開始信号受信後、ＲＴＴ３／２秒間待ち、この待ちが完了した時刻を同期開始時刻とする。更に、スレーブノード２ｃでは、マスタノード１からの同期開始信号の受信が完了した時刻を同期開始時刻とする。
以上の方法で、マスタノード１と各スレーブノード２との同期開始時刻を正確に一致させることができる。
On the other hand, after receiving the synchronization start signal from the
With the above method, the synchronization start times of the
尚、上記の同期開始処理を行う場合、同期開始以前（同期開始時刻ｔ＝０以前）では、スレーブノード２において後述する時刻補正は行われていないため、各スレーブノード２は、スレーブノード自身の時刻カウントで開始時刻を管理することになる。従って、各通信時間の値ＲＴＴ１，ＲＴＴ２，ＲＴＴ３の値は、厳密には、マスタノード１と各スレーブノード２とでは異なることになる。しかしながら、マスタノード１とスレーブノード２との時刻のずれは、補正を行わなかった場合でも、例えば１秒当たり１μs以下といったように極めて小さいため、ここでの待ち時間のずれは無視することができる。
When the above synchronization start processing is performed, before the synchronization start (before the synchronization start time t = 0), the
また、ここで、後段側のスレーブノード２の通信時間を、スレーブノード２側で保持しているが、同期開始信号と共に、マスタノード１から知らせるようにしてもよい。しかし、本実施の形態のように、スレーブノード２側で、後段側のスレーブノード２の通信時間のデータを持つことにより、マスタノード１から送信する同期開始信号は、単にこれを識別するための信号であればよい。その結果、スレーブノード２の数が多くなった場合でもマスタノード１から各スレーブノード２に送信する同期開始信号は同一のもので済む等、送受信の信号形態を単純化することができる。
Here, although the communication time of the
次に、本実施の形態における全体の動作をフローチャートに沿って説明する。
図７は、マスタノード１側の動作フローチャートである。
図８は、スレーブノード２側の動作フローチャートである。
先ず、図７に示すマスタノード１側の動作について説明する。
シミュレーションが開始されると、マスタ側同期開始手段１３により、各スレーブノード２に同期開始信号を送信する（ステップＳＴ２１）。その後、全てのスレーブノード２に送信を完了したかを判定し（ステップＳＴ２２）、完了していない場合には、次の信号送信時刻まで待機する（ステップＳＴ２３）。このステップＳＴ２３における具体的な待ち時間は、図６の説明で述べた通りである。ステップＳＴ２３で次の信号送信時刻に達したら、ステップＳＴ２１に戻り、次のスレーブノード２に同期開始信号を送信する。このような処理を繰り返して行い、全てのスレーブノード２に送信を完了した場合には、最後の同期開始信号がスレーブノード２で受信されるまでの時間待つ（ステップＳＴ２４）。そして、シミュレーションの本体部分を開始、即ち、シミュレーションループを開始する（ステップＳＴ２５）。
Next, the overall operation in the present embodiment will be described along a flowchart.
FIG. 7 is an operation flowchart on the
FIG. 8 is an operation flowchart on the
First, the operation on the
When the simulation is started, the master side synchronization start means 13 transmits a synchronization start signal to each slave node 2 (step ST21). Thereafter, it is determined whether transmission to all the
次に、図８に示すスレーブノード２側のシミュレーションループ開始までの動作について説明する。
シミュレーションを開始すると、スレーブ側同期開始手段２２は、マスタノード１からの同期開始信号を待ち、受信する（ステップＳＴ３１）。受信後、スレーブ側同期開始手段２２は、マスタノード１が最後のスレーブノード２に送った同期開始信号が、その最後のスレーブノード２で受信される時刻まで待つ（ステップＳＴ３２）。具体的な待ち時間は、図６の説明で述べた通りであり、スレーブノード２毎に待ち時間は異なる。その後、シミュレーションの本体部分を開始する（ステップＳＴ３３）。
Next, the operation up to the start of the simulation loop on the
When the simulation is started, the slave side synchronization start means 22 waits for and receives the synchronization start signal from the master node 1 (step ST31). After the reception, the slave side synchronization start means 22 waits until the time when the synchronization start signal sent from the
次に、シミュレーションループ開始後の動作について説明する。
図７に戻り、マスタノード１では、シミュレーション開始後、タスク実行手段１４において、タスク実行間隔［ｔ，ｔ＋Δｔ］で実行すべきタスクを実行する（ステップＳＴ２６）。尚、［ｔ，ｔ＋Δｔ］は、同期時刻ｔから同期時刻ｔ＋Δｔまでの時間間隔を示している。また、Δｔはシミュレーションの計算刻み時間であり、例えば５０μsである。タスク実行後、マスタ側時刻管理手段１５において、次の同期時刻ｔ＋Δｔに移るまでの時刻を管理し（ステップＳＴ２７）、現在時刻がｔ＋Δｔに到達した時点で、後述する時刻Ｔ１×ｎ，Ｔ２×ｎ，Ｔ３×ｎのいずれでもない場合（ステップＳＴ２８）は、ステップＳＴ２６に戻って、シミュレーションループを継続する。即ち、次のタスク実行間隔［ｔ＋Δｔ，ｔ＋２Δｔ］のタスク実行に移る。具体的な時刻管理の方法としては、ＣＰＵのクロックカウンタが、時刻ｔの後何カウントしたかを常に計測し続け、「この計測値をＣＰＵ周波数で割った値」がΔｔを越えた時点が、ｔからΔｔ経過したと判定する。
Next, the operation after starting the simulation loop will be described.
Returning to FIG. 7, in the
一方、ステップＳＴ２７の待機後の時刻が、ステップＳＴ２８において、シミュレーション中のある特定の時刻、例えばＴ１であるときには、すぐにステップＳＴ２６のタスク実行には戻らずに、該当するスレーブノード２への監視信号の送信処理を行い（ステップＳＴ２９）、その後ステップＳＴ２６に戻る。この特定の時刻は、スレーブノード２ａ，２ｂ，２ｃに対応して、時刻間隔Ｔ１，Ｔ２，Ｔ３で発生する。即ち、時刻Ｔ１，２×Ｔ１，３×Ｔ１，…でスレーブノード２ａに監視信号を送信し、時刻Ｔ２，２×Ｔ２，３×Ｔ２，…でスレーブノード２ｂに監視信号を送信し、時刻Ｔ３，２×Ｔ３，３×Ｔ３，…でスレーブノード２ｃに監視信号を送信する。尚、Ｔ１，Ｔ２，Ｔ３の具体的な数値については、スレーブノード２側の処理で説明する。
On the other hand, when the time after standby in step ST27 is a specific time during simulation in step ST28, for example, T1, the task execution in step ST26 is not immediately resumed, and the
次に、図８を参照してスレーブノード２におけるシミュレーションループ開始後の動作について説明する。
スレーブノード２では、シミュレーション開始後、それぞれ独立に時刻管理を行う。先ず、タスク実行手段２３において、タスク実行間隔［ｔ，ｔ＋Δｔ］で実行すべきタスクを実行する（ステップＳＴ３４）。
タスク実行後、時刻補正手段２４は、補正係数算出手段２１が算出した時刻補正係数Ａ１に基づいて、ＣＰＵ毎の微妙なクロックのずれ等により生じるマスタノード１との同期時刻のずれを補正する。
Next, the operation after the start of the simulation loop in the
The
After the task execution, the
本発明では、各計算機で独立して時刻管理を行うために、もし時刻補正を行わなければ、長時間シミュレーションしたときに徐々に同期時刻がずれてくる。従って、この微妙なずれを補正するために予め求めた時刻補正係数Ａ１に基づいて補正を行う。具体的な補正方法を、以下に説明する。 In the present invention, since time management is performed independently by each computer, the synchronization time gradually shifts when a long-time simulation is performed unless time correction is performed. Therefore, correction is performed based on the time correction coefficient A1 obtained in advance in order to correct this delicate deviation. A specific correction method will be described below.
図９は、時刻補正手段２４における同期時刻補正の説明図である。
図示のように、あるスレーブノードが自分自身で時間管理したときに、マスタノードの時間管理と比較して、１秒間にＡ１秒ずれる（遅れる）とする（Ａ１の与え方は図４で説明した通りである）。また、時刻ｔでは全てのノードが完全に同期しているとする。このとき、あるスレーブノード２の時刻カウントが、ｔ＋Δｔを示す時刻には、マスタノード１の時刻カウントでは、ｔ＋（１＋Ａ１）Δｔを指している。逆に言えば、マスタノード１の時刻カウントがｔ＋Δｔを示している時刻には、そのスレーブノード２の時刻カウントでは、ｔ＋（１−Ａ１）Δｔを指していることになる。従って、基準となるマスタノード１の時刻カウントで、ｔ＋Δｔで同期させるためには、スレーブノード２では、ｔ＋（１−Ａ１）Δｔで、次のタスク実行間隔の同期時刻に移らなければならない。
FIG. 9 is an explanatory diagram of the synchronization time correction in the
As shown in the figure, when a certain slave node performs time management by itself, it is shifted (delayed) by A1 seconds per second compared to the time management of the master node (how to give A1 has been described with reference to FIG. 4). Street). Further, it is assumed that all nodes are completely synchronized at time t. At this time, when the time count of a
そこで、時刻補正手段２４では、このスレーブノードが、次のループを開始する時刻をｔ＋（１−Ａ１）×Δｔと補正する。このようにして、次の同期時刻がマスタノードの同期時刻と正確に一致することを保証する。この補正は、全スレーブノード２がそれぞれ独立に行う。従って、Ａ１の値もスレーブノード２毎に異なる。
Therefore, the time correction means 24 corrects the time when the slave node starts the next loop as t + (1−A1) × Δt. In this way, it is ensured that the next synchronization time exactly matches the synchronization time of the master node. This correction is performed independently by all
図８に戻って、次に、スレーブ側時刻管理手段２５において、次の同期時刻ｔ＋Δｔに移るまでの時刻を管理し（ステップＳＴ３６）、現在時刻がｔ＋Δｔ（実際には、ステップＳＴ３５の時刻補正処理により補正された時刻ｔ＋（１−Ａ１）×Δｔである）に到達した時点で、時刻Ｔ１×ｎ（またはＴ２×ｎか、Ｔ３×ｎ）でない場合（ステップＳＴ３７）は、ステップＳＴ３４に戻って、シミュレーションループを継続する。即ち、次のタスク実行間隔［ｔ＋Δｔ，ｔ＋２Δｔ］のタスク実行に移る。Δt経過を判定する時刻管理の具体的な方法は、マスタノード１で述べた方法と同一である。
Returning to FIG. 8, the slave
一方、ステップＳＴ３６における待ち時間完了後の時刻が、シミュレーション中のある特定の時刻、例えばＴ１に到達したときには、すぐにステップＳＴ３４には戻らずに、監視信号受信手段２６により、マスタノード１からの監視信号の受信待ちを行い、この監視信号を受信する（ステップＳＴ３８）。受信後、補正係数修正手段２７により、時刻補正手段２４で使用する時刻補正係数Ａ１を修正した後に、ステップＳＴ３４に戻る。
On the other hand, when the time after the completion of the waiting time in step ST36 reaches a specific time during the simulation, for example, T1, the monitoring
この特定の時刻は、それぞれのスレーブノード２に対応して、時刻間隔Ｔ１×ｎ，Ｔ２×ｎ，Ｔ３×ｎで発生する。即ち、Ｔ１，２×Ｔ１，３×Ｔ１，…と、Ｔ２，２×Ｔ２，３×Ｔ２，…と、Ｔ３，２×Ｔ３，３×Ｔ３，…である。このＴ１，Ｔ２，Ｔ３の値は、マスタノード１におけるＴ１，Ｔ２，Ｔ３の値と同一である。ここで、Ｔ１，Ｔ２，Ｔ３の具体的な数値の決定方法としては、例えば、もしステップＳＴ３５の時刻補正をしなかった場合に発生する同期時刻のずれが、計算刻み時間の１０％になる時刻、即ちＡ１の値を用いて、０．１／Ａ１×Δｔとする。但し、この監視で計算機間通信によるオーバーヘッドが発生しないように、Ｔ１，Ｔ２，Ｔ３は全て異なる値に設定する。
This specific time is generated at time intervals T1 × n, T2 × n, and T3 × n corresponding to each
図１０は、監視信号による補正係数の修正処理の説明図である。
スレーブノード２ａにおける、監視信号受信時刻ＴＴと時刻Ｔ１とのずれをＲ１とする。もし、ステップＳＴ３５の時刻補正処理で厳密に補正できているとすれば、このＲ１はＲＴＴ１／２に一致する筈である。しかし、これが一致しない場合には、ステップＳＴ３５の時刻補正が正確でなかったということになり、監視時刻間隔Ｔ１の間にＲ１−ＲＴＴ１／２のずれが新たに発生しているといえる。そこで、これまで行っていた「ｔ＋（１−Ａ１）Δｔ」による補正の他に、「（Ｒ１−ＲＴＴ１／２）／Ｔ１×Δｔ」の補正を新たに加える。即ち、補正係数を「Ａ１＝Ａ１−（Ｒ１−ＲＴＴ１／２）／Ｔ１」と置き換え、スレーブノード２ａにおける次のループ開始時刻は、この新しいＡ１を用いて「ｔ＋（１−Ａ１）×Δｔ」とする。このＡ１は、次の監視時刻までの間使用する。即ち、時刻補正係数Ａ１は、監視時刻間隔Ｔ１毎に修正されることになる。このような時刻補正および時刻補正係数の修正処理を、シミュレーションループ中継続する。
FIG. 10 is an explanatory diagram of correction coefficient correction processing using a monitoring signal.
Let R1 be the difference between the monitoring signal reception time TT and the time T1 in the
尚、図８のステップＳＴ３７において、時刻が、Ｔ１×ｎ，Ｔ２×ｎ，Ｔ３×ｎのいずれかであった場合は、該当するスレーブノード２では、ステップＳＴ３４のタスク実行の前に、このタスクとは別処理である補正係数の修正処理（ステップＳＴ３８、ステップＳＴ３９の処理）が行われることになる。従って、この修正処理の時間分タスクの実行開始が遅れることになるが、これは次のように考えることができる。
If the time is any one of T1 × n, T2 × n, and T3 × n in step ST37 in FIG. 8, the
先ず、図１０における時刻Ｔ１直後の状態を考える。
マスタノード１では、時刻Ｔ１で次の処理［Ｔ１，Ｔ１＋Δｔ］分を開始する。一方、スレーブノード２では、監視信号が到着するのを待ってからでないと次の処理が開始できないので、実際に［Ｔ１，Ｔ１＋Δｔ］分の処理を開始するのは、時刻ＴＴとなる。即ち、スレーブノード２側は、マスタノード１が実行する［Ｔ１，Ｔ１＋Δｔ］の処理に対応する部分が［ＴＴ，ＴＴ＋Δｔ−ＲＴＴ１／２］の間に処理することになる。これは、スレーブノード２側の、時刻Ｔ１後の最初の処理に使用可能な時間がＲＴＴ１／２だけ短くなったことを意味するが、通信時間ＲＴＴ１／２がΔｔに対して十分小さければ問題とはならない。
First, consider the state immediately after time T1 in FIG.
The
通常、この通信時間はMyrinet 使用の場合約１０μsであり、次の処理への時間５０μsのうち、実際のタスク実行時間を２０〜３０μsとすると、この監視処理によるタスク実行への影響はほとんどないと言える。
また、監視処理を実行する頻度は、例えば、ステップＳＴ３５の補正処理を行わなかった場合のずれがΔｔの１０％まで遅れても良いという条件では、Δｔ＝５０μsのとき、ずれは５μsまで可能である。ここで、１秒間にスレーブノード２の時刻カウントが、（大きくみて）１μsずれるとすると、５秒毎に時刻修正を行えば良いことになる。
また、上述した時刻修正を行うために必要な処理時間が必要となるのは、計算刻み時間を５０μs、監視時間間隔を５秒とすると、５／（５０×１０−６）＝１０００００であり、従って、１０００００回のタスク実行で１回の割合となり、ほとんど本来のタスク実行には影響を及ぼさないことになる。
Normally, this communication time is about 10 μs when using Myrinet, and if the actual task execution time is 20 to 30 μs out of the next processing time of 50 μs, there is almost no effect on task execution by this monitoring process. I can say that.
The frequency of executing the monitoring process can be up to 5 μs when Δt = 50 μs, for example, under the condition that the deviation when the correction process of step ST35 is not performed may be delayed to 10% of Δt. is there. Here, if the time count of the
In addition, the processing time required for performing the time correction described above is 5 / (50 × 10 −6 ) = 100000 when the calculation step time is 50 μs and the monitoring time interval is 5 seconds. Therefore, 100,000 tasks are executed once, so that the original task execution is hardly affected.
以上の処理により、マスタノード１とスレーブノード２間の同期が正確に開始され、また、各スレーブノード２の固有の同期時刻のずれも補正されると共に、タスク実行中の自動補正された各スレーブノード２の同期時刻のずれも補正される。
Through the above processing, synchronization between the
以上のように、実施の形態１によれば、マスタノード１とスレーブノード２とが、それぞれの通信時間に基づいて求めた同期開始時刻で同期を開始し、その後は、各スレーブノード間に固有の同期時刻のずれを補正しながらタスクを実行し、更に、所定時刻間隔で、時刻補正係数を修正するようにしたので、同期のための特別なハードウェアを用いることなく、汎用の計算機や汎用のネットワークを用いて、各計算機間の正確な同期をとることができる。その結果、従来のような通信時間による遅延がなく各計算機間で正確な同期がとれることから、リアルタイム電力系統シミュレーションといった、タスク実行間隔が短く、厳密な同期を必要とする並列計算機において特に大きな効果が得られる。
As described above, according to the first embodiment, the
また、上記実施の形態１では、同期開始後、時刻補正とその補正係数の修正処理を行うようにしたが、同期開始処理のみであってもよい。即ち、マスタノード１のマスタ側同期開始手段１３と、スレーブノード２のスレーブ側同期開始手段２２とによる同期開始のみであってもよい。このような構成は、例えば、マスタノード１と各スレーブノード２間の時刻のずれが小さい場合や、シミュレーション時間が短い場合であれば有効である。即ち、各ノード間の時刻のずれが小さい場合は、シミュレーションをある程度の時間行っていても時刻のずれが大きくならないため、各処理実行間隔内でタスクが実行できるからである。また、シミュレーション時間が短い場合、その時間内では時刻のずれが許容範囲内であるため、各処理実行間隔内でタスクが実行できるからである。
In the first embodiment, the time correction and the correction coefficient correction process are performed after the synchronization is started. However, only the synchronization start process may be performed. That is, only the synchronization start by the master side synchronization start unit 13 of the
また、上記実施の形態１では、マスタノード１のマスタ側同期開始手段１３は、全スレーブノード２に対して順番に同期開始信号を送信し、かつ、最初の同期開始信号の送信開始時刻を基準として、全スレーブノード２の通信時間の合計値に達した時刻を同期開始時刻とし、スレーブノード２のスレーブ側同期開始手段２２は、マスタノード１からの同期開始信号の受信時刻を基準として、マスタノード１が送信する順番が自スレーブノードより後側のスレーブノードの通信時間の合計値に達した時刻を同期開始時刻とするようにしたので、マスタノードとスレーブノードとの同期開始時刻を正確に一致させることができる。
In the first embodiment, the master side synchronization start unit 13 of the
また、上記実施の形態１では、スレーブノード２は、自スレーブノードとマスタノード１との所定時間当たりの時刻のずれに基づいて算出した時刻補正係数を用い、自スレーブノードのタスク実行間隔をマスタノードのタスク実行間隔に同期させるよう補正を行う時刻補正手段を備えたので、タスク実行中に発生するスレーブノードに固有のずれも補正されるため、各ノード間の、より正確な同期を実現することができる。
In the first embodiment, the
また、上記実施の形態１では、マスタノード１は、同期開始から所定時間経過した時刻で補正係数用信号を送信する補正係数用信号送信手段１２を備え、スレーブノード２は、同期開始後、補正係数用信号を受信した場合、スレーブ側時刻管理手段２５の時刻管理に基づく受信時刻と、同期開始の時刻に、マスタ側時刻管理手段１５の時刻管理に基づく所定時間とマスタノード１から自スレーブノードへの通信時間とを加えた時刻とを比較し、これら時刻のずれに対応して時刻補正係数を算出する補正係数算出手段を備えたので、単純な構成で、スレーブノードにおける正確な補正係数の算出を行うことができる。
In the first embodiment, the
尚、上記実施の形態１では、実際のシミュレーションの開始前に各スレーブノード２の補正係数Ａ１を求めるようにしたが、シミュレーション開始後に補正係数Ａ１の演算を各スレーブノード２毎に行い、その後、求めた補正係数Ａ１を用いて補正を行うようにしてもよい。
In the first embodiment, the correction coefficient A1 of each
実施の形態２．
上記実施の形態１では、同期開始後、時刻補正手段２４によって各タスク実行間隔毎に同期時刻の補正を行った。実施の形態２では、このタスク実行間隔毎の補正は行わず、予め決められた特定の同期時刻毎に、マスタノードとスレーブノード間の同期時刻を一致させるための時刻修正処理を行うようにしたものである。
In the first embodiment, after the start of synchronization, the time correction means 24 corrects the synchronization time at each task execution interval. In the second embodiment, the correction at every task execution interval is not performed, and the time correction process for matching the synchronization time between the master node and the slave node is performed at each predetermined synchronization time. Is.
図１１は、実施の形態２の並列計算機を示すブロック図である。
実施の形態２の並列計算機は、マスタノード３とスレーブノード４（４ａ〜４ｃ）からなり、これらの基本的な構成は実施の形態１のマスタノード１およびスレーブノード２と同様である。
FIG. 11 is a block diagram illustrating the parallel computer according to the second embodiment.
The parallel computer according to the second embodiment includes a
実施の形態２のマスタノード３と実施の形態１のマスタノード１との図面上の違いは、実施の形態１のマスタノード１において補正係数用信号送信手段１２が設けられていないだけである。但し、実施の形態２のマスタノード３の監視信号送信手段１６は、実施の形態１の監視信号送信手段１６と同様に監視信号を送出するが、この監視信号がスレーブノード４における同期時刻修正のための監視信号であることが異なっている。これ以外の各構成は図１の構成と同様であるため、対応する部分に同一符号を付してその説明は省略する。
The difference between the
また、実施の形態２のスレーブノード４では、実施の形態１のスレーブノード２における時刻補正手段２４がなく、スレーブノード２の補正係数修正手段２７と基本的に同様の機能を有する時刻修正手段２８が設けられている。即ち、この時刻修正手段２８は、監視信号受信手段２６が監視信号を受信した場合に、スレーブ側時刻管理手段２５の時刻管理に基づく受信時刻と、マスタノード３側のマスタ側時刻管理手段１５の時刻管理に基づく監視信号の送信時刻にマスタノード３から自スレーブノードへの通信時間を加えた時刻とのずれを測定し、この測定したずれの値に基づき、特定の時刻間隔で自スレーブノードのタスク実行間隔をマスタノードのタスク実行間隔に同期させる機能を有している。スレーブノード４における他の構成は図１の構成と同様であるため、対応する部分に同一符号を付してここでの説明は省略する。
Further, the
このように構成された実施の形態２において、マスタノード３側の動作は図７に示した動作と同様であるため、これを援用して以降の動作説明を行う。
図１２は、実施の形態２におけるスレーブノード４側の動作を示すフローチャートである。
ステップＳＴ４１〜ステップＳＴ４４までは、図８のステップＳＴ３１〜ステップＳＴ３４と同様である。その後、スレーブ側時刻管理手段２５の時刻管理によって、ｔ＋Δｔまで待ち（ステップＳＴ４５）、次のステップＳＴ４６において、ｔ＝Ｔ１×ｎ，Ｔ２×ｎ，Ｔ３×ｎのいずれでもない場合は、ステップＳＴ４４に戻ってタスク実行を繰り返す。
一方、ステップＳＴ４６において、ｔ＝Ｔ１×ｎ，Ｔ２×ｎ，Ｔ３×ｎのいずれかであった場合、監視信号受信手段２６は、監視信号の受信待ちを行う。そして、監視信号受信手段２６によって監視信号が受信されると、時刻修正手段２８は、スレーブ側時刻管理手段２５が管理する時刻の修正を行う（ステップＳＴ４８）。
In the second embodiment configured as described above, the operation on the
FIG. 12 is a flowchart showing the operation on the
Steps ST41 to ST44 are the same as steps ST31 to ST34 in FIG. After that, by time management of the slave side time management means 25, it waits until t + Δt (step ST45), and when it is not any of t = T1 × n, T2 × n, T3 × n in the next step ST46, the process goes to step ST44. Go back and repeat the task execution.
On the other hand, in step ST46, when t = T1 × n, T2 × n, or T3 × n, the monitoring
図１３は、時刻修正処理の説明図である。
時刻Ｔ０で、マスタ側同期開始手段１３およびスレーブ側同期開始手段２２による、同期開始が行われ、次に、マスタノード３から、時刻Ｔ１経過後スレーブノード４ａに対して信号が送られたとする。
FIG. 13 is an explanatory diagram of time correction processing.
It is assumed that synchronization is started by the master side synchronization start unit 13 and the slave side
スレーブノード４ａでは、常に待ち状態で待機し、マスタノード３からの信号を受信した時刻の測定値をＴＴとする。この時刻ＴＴはマスタノード３とスレーブノード４とが正確に同期しているのであれば、ＴＴ＝Ｔ１＋ＲＴＴ１／２となる筈である。従って、スレーブノード４ａ側では、時刻修正手段２８は、この時刻ＴＴがＴ１＋ＲＴＴ１／２の時刻となるよう、スレーブ側時刻管理手段２５が管理する時刻を修正する。
The
尚、時刻Ｔ１毎にスレーブノード４側がずれる値Ｂ１は、Ｔ１とラウンドトリップタイムＲＴＴ１を用いると、図４で示した時刻補正係数Ａ１を求める場合と同様に、
Ｂ１＝Ｔ１−Ｔ１×ＴＴ／（Ｔ１＋ＲＴＴ１／２）
で求めることができる。
Note that the value B1 that the
B1 = T1-T1 × TT / (T1 + RTT1 / 2)
Can be obtained.
このように、時刻Ｔ１毎に時刻修正を行うことにより、時刻Ｔ１の次の計算刻み時間であるＴ１＋Δｔではほぼ完全に同期がとれることになる。ここで、同期開始からの時刻を累積すると、スレーブノード４側の時刻カウントがずれていくことになるが、Ｔ１毎に時刻を０にリセットすれば、０＋Δｔでは常にほぼ完全に同期がとれていることになる。
監視する時刻Ｔ１の間隔を短く設定し、スレーブノード４とマスタノード３との時刻カウントのずれが大きくならないうちに時刻修正を行うようにすれば、計算刻み時間の間隔が短いリアルタイム電力系統シミュレーションであっても、十分に適用することができる。例えば、ずれＢ１がΔｔの１０％まで遅れても良いという条件では、Δｔ＝５０μsのとき、Ｂ１＝５μsまで可能である。ここで、１秒間にスレーブノード４の時刻カウントが、（大きくみて）１μsずれるとすると、５秒毎に時刻修正を行えば良いことになる。また、この場合の時刻修正処理が行われる頻度は、実施の形態１の監視処理で説明したように、１０００００回のタスク実行で１回の割合となり、ほとんど本来のタスク実行には影響を及ぼさない。
As described above, by correcting the time every time T1, synchronization is almost completely achieved at T1 + Δt which is the next calculation step time after time T1. Here, when the time from the start of synchronization is accumulated, the time count on the
If the interval of the time T1 to be monitored is set short and the time is corrected before the time count deviation between the
以上のように、実施の形態２によれば、スレーブノード４は、マスタノード３からの監視信号を受信した場合に、自スレーブノード側の時刻管理に基づく受信時刻と、マスタノード３側の時刻管理に基づく監視信号の送信時刻にマスタノード３から自スレーブノードへの通信時間を加えた時刻とのずれを測定し、このずれの値に基づき、特定の時刻間隔で自スレーブノードのタスク実行間隔をマスタノード３のタスク実行間隔に同期させる時刻修正手段２８を備えたので、特別のハードウェアを用いることなく、汎用の計算機や汎用のネットワークを用いて、計算機間の正確な同期をとることができる。また、実施の形態１に比べて構成を簡素化できる効果がある。
As described above, according to the second embodiment, when the
尚、上記各実施の形態では、スレーブノード２，４が３台である場合を説明したが、この台数に限定されるものではなく、１台以上のスレーブノード２，４であれば、同様の効果を奏することができる。例えば、マスタノード＋スレーブノード１台の場合でも、従来であれば同期信号を通信していたため、この通信には高速なネットワーク装置でも約１０μs必要であるが、本実施の形態の並列計算機ではこれを０にすることができる等、有効な効果を得ることができる。但し、本実施の形態の並列計算機の場合、スレーブノード２，４の台数が多ければ多いほど、大きな効果を得ることができる。
In each of the above embodiments, the case where there are three
以上のように、この発明に係る並列計算機は、タスク実行間隔の完全な同期を実現する。そして、リアルタイム電力系統シミュレーションに適用され、信頼性の高いシミュレータを得るのに適している。 As described above, the parallel computer according to the present invention realizes complete synchronization of task execution intervals. It is applied to real-time power system simulation and is suitable for obtaining a highly reliable simulator.
１，３ マスタノード、２，４ スレーブノード、１１ 通信時間測定手段、１２ 補正係数用信号送信手段、１３ マスタ側同期開始手段、１４ タスク実行手段、１５ マスタ側時刻管理手段、１６ 監視信号送信手段、２１ 補正係数算出手段、２２ スレーブ側同期開始手段、２３ タスク実行手段、２４ 時刻補正手段、２５ スレーブ側時刻管理手段、２６ 監視信号受信手段、２７ 補正係数修正手段、２８ 時刻修正手段。
DESCRIPTION OF
Claims (5)
前記マスタノードは、
前記マスタノード側の時刻を管理するマスタ側時刻管理手段と、
前記スレーブノードに対して、前記タスク実行間隔の同期を開始させるための同期開始信号を送信し、かつ、前記マスタ側時刻管理手段が管理する送信開始時刻を基準として、前記マスタノードから前記スレーブノードへの通信時間に基づいて求めた同期開始時刻で前記タスク実行間隔の同期を開始するマスタ側同期開始手段と、
予め決められた特定の時刻間隔でタスク実行間隔の同期時刻修正のための監視信号を送信する監視信号送信手段とを備え、
前記スレーブノードは、
前記スレーブノード側の時刻を管理するスレーブ側時刻管理手段と、
前記マスタノードからの同期開始信号を受信した場合、前記スレーブ側時刻管理手段が管理する受信時刻に基づいて、前記マスタノードの同期開始時刻に一致した自スレーブノードの同期開始時刻を決定し、当該時刻で前記タスク実行間隔の同期を開始するスレーブ側同期開始手段と、
前記監視信号を受信した場合に、スレーブ側時刻管理手段が管理する受信時刻と、マスタ側時刻管理手段が管理する監視信号の送信時刻に前記マスタノードから前記自スレーブノードへの通信時間を加えた時刻とのずれを測定し、当該測定したずれの値に基づき、前記特定の時刻間隔で前記自スレーブノードのタスク実行間隔の同期時刻を前記マスタノードのタスク実行間隔の同期時刻に一致させる時刻修正手段とを備えた並列計算機。 In a parallel computer consisting of a master node and a slave node and synchronizing the task execution interval of the master node and the task execution interval of the slave node,
The master node is
Master side time management means for managing the time on the master node side;
Sending a synchronization start signal for starting synchronization of the task execution interval to the slave node, and from the master node to the slave node on the basis of the transmission start time managed by the master side time management means a master-side synchronization start means initiating synchronization of the task execution interval synchronization start time determined based on the communication time to,
Monitoring signal transmission means for transmitting a monitoring signal for correcting the synchronization time of the task execution interval at a predetermined specific time interval ,
The slave node is
Slave side time management means for managing the time on the slave node side;
When receiving the synchronization start signal from the master node, based on the reception time managed by the slave side time management means, determine the synchronization start time of its own slave node that matches the synchronization start time of the master node, Slave side synchronization start means for starting synchronization of the task execution interval at time ;
When the monitoring signal is received, the communication time from the master node to the slave node is added to the reception time managed by the slave side time management unit and the transmission time of the monitoring signal managed by the master side time management unit A time correction that measures a deviation from the time and matches the synchronization time of the task execution interval of the slave node with the synchronization time of the task execution interval of the master node at the specific time interval based on the measured deviation value And a parallel computer.
前記マスタノードは、
前記マスタノード側の時刻を管理するマスタ側時刻管理手段と、
全スレーブノードに対して順番に前記タスク実行間隔の同期を開始させるための同期開始信号を送信し、かつ、前記マスタ側時刻管理手段が管理する最初の同期開始信号の送信開始時刻を基準として、前記全スレーブノードの通信時間の合計値に達した時刻を同期開始時刻とし、当該同期開始時刻で前記タスク実行間隔の同期を開始するマスタ側同期開始手段とを備え、
前記スレーブノードは、
前記スレーブノード側の時刻を管理するスレーブ側時刻管理手段と、
前記マスタ側同期開始手段からの同期開始信号の受信時刻を基準として、前記マスタノードが送信する順番が自スレーブノードより後側へのスレーブノードの通信時間の合計値に達した時刻を同期開始時刻とし、当該時刻で前記タスク実行間隔の同期を開始するスレーブ側同期開始手段とを備えた並列計算機。 In a parallel computer consisting of a master node and a slave node and synchronizing the task execution interval of the master node and the task execution interval of the slave node,
The master node is
Master side time management means for managing the time on the master node side;
Sending a synchronization start signal for starting the synchronization of the task execution interval in turn to all slave nodes, and with reference to the transmission start time of the first synchronization start signal managed by the master side time management means , A time at which a total value of communication times of all the slave nodes is reached as a synchronization start time, and master side synchronization start means for starting synchronization of the task execution interval at the synchronization start time,
The slave node is
Slave side time management means for managing the time on the slave node side;
Based on the reception time of the synchronization start signal from the master side synchronization start means, the time when the transmission order of the master node has reached the total value of the communication time of the slave node from the slave node to the rear side is the synchronization start time And a slave side synchronization start means for starting synchronization of the task execution interval at the time .
前記マスタノードは、
前記マスタノード側の時刻を管理するマスタ側時刻管理手段と、
前記スレーブノードに対して、前記タスク実行間隔の同期を開始させるための同期開始信号を送信し、かつ、前記マスタ側時刻管理手段が管理する送信開始時刻を基準として、前記マスタノードから前記スレーブノードへの通信時間に基づいて求めた同期開始時刻で前記タスク実行間隔の同期を開始するマスタ側同期開始手段とを備え、
前記スレーブノードは、
前記スレーブノード側の時刻を管理するスレーブ側時刻管理手段と、
前記マスタノードからの同期開始信号を受信した場合、前記スレーブ側時刻管理手段が管理する受信時刻に基づいて、前記マスタノードの同期開始時刻に一致した自スレーブノードの同期開始時刻を決定し、当該時刻で前記タスク実行間隔の同期を開始するスレーブ側同期開始手段と、
自スレーブノードとマスタノードとの所定時間当たりの時刻のずれに基づいて算出した時刻補正係数を用い、前記自スレーブノードのタスク実行間隔を前記マスタノードのタスク実行間隔に同期させるよう補正を行う時刻補正手段とを備えた並列計算機。 In a parallel computer consisting of a master node and a slave node and synchronizing the task execution interval of the master node and the task execution interval of the slave node,
The master node is
Master side time management means for managing the time on the master node side;
Sending a synchronization start signal for starting synchronization of the task execution interval to the slave node, and from the master node to the slave node on the basis of the transmission start time managed by the master side time management means Master side synchronization start means for starting synchronization of the task execution interval at the synchronization start time obtained based on the communication time to
The slave node is
Slave side time management means for managing the time on the slave node side;
When receiving the synchronization start signal from the master node, based on the reception time managed by the slave side time management means, determine the synchronization start time of its own slave node that matches the synchronization start time of the master node, Slave side synchronization start means for starting synchronization of the task execution interval at time;
Time for performing correction so that the task execution interval of the slave node is synchronized with the task execution interval of the master node, using a time correction coefficient calculated based on a time lag between the slave node and the master node per predetermined time parallel computer including a correction means.
スレーブノードは、前記監視信号を受信した場合に、スレーブ側時刻管理手段が管理する受信時刻と、前記マスタ側時刻管理手段が管理する監視信号の送信時刻に前記マスタノードから前記自スレーブノードへの通信時間を加えた時刻とのずれを測定し、当該測定したずれの値に基づき、前記特定の時刻間隔で時刻補正係数を修正する補正係数修正手段を備えた請求項３記載の並列計算機。 The master node includes monitoring signal transmission means for transmitting a monitoring signal for correcting the time correction coefficient at a specific time interval determined in advance.
When the slave node receives the monitoring signal, the slave node transmits the monitoring time managed by the slave time management unit and the transmission time of the monitoring signal managed by the master time management unit from the master node to the slave node. 4. The parallel computer according to claim 3 , further comprising a correction coefficient correcting unit that measures a deviation from a time added with communication time and corrects a time correction coefficient at the specific time interval based on the measured deviation value.
スレーブノードは、同期開始後、前記補正係数用信号を受信した場合、スレーブ側時刻管理手段の管理に基づく受信時刻と、前記同期開始の時刻に、前記マスタ側時刻管理手段の管理に基づく所定時間と当該マスタノードから自スレーブノードへの通信時間とを加えた時刻とを比較し、これら時刻のずれに対応して時刻補正係数を算出する補正係数算出手段を備えた請求項３記載の並列計算機。 The master node includes correction coefficient signal transmitting means for transmitting a correction coefficient signal at a time when a predetermined time has elapsed from the start of synchronization,
When the slave node receives the correction coefficient signal after the start of synchronization, the slave node receives a reception time based on the management of the slave side time management means, and a predetermined time based on the management of the master side time management means at the time of the synchronization start. 4. A parallel computer according to claim 3, further comprising a correction coefficient calculation means for comparing a time obtained by adding a communication time from the master node to the slave node and calculating a time correction coefficient corresponding to the time lag. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003303604A JP4080397B2 (en) | 2003-08-27 | 2003-08-27 | Parallel computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003303604A JP4080397B2 (en) | 2003-08-27 | 2003-08-27 | Parallel computer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005071280A JP2005071280A (en) | 2005-03-17 |
| JP4080397B2 true JP4080397B2 (en) | 2008-04-23 |
Family
ID=34407550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003303604A Expired - Fee Related JP4080397B2 (en) | 2003-08-27 | 2003-08-27 | Parallel computer |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4080397B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614239A (en) * | 2018-12-12 | 2019-04-12 | 浪潮(北京)电子信息产业有限公司 | System cluster load-balancing method, device and relevant device |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080288137A1 (en) * | 2005-09-16 | 2008-11-20 | Autonetworks Technologies, Ltd. | Vehicle-Mounted Load Drive Control System |
| WO2010073312A1 (en) * | 2008-12-22 | 2010-07-01 | トヨタ自動車株式会社 | Vehicle electronic control system, vehicle electronic control unit, and vehicle control synchronization method |
| DE112008004194B4 (en) | 2008-12-22 | 2015-01-29 | Toyota Jidosha Kabushiki Kaisha | ELECTRONIC VEHICLE CONTROL SYSTEM, ELECTRONIC VEHICLE CONTROL UNIT AND VEHICLE CONTROL SYNCHRONIZATION METHOD |
| JP5568048B2 (en) | 2011-04-04 | 2014-08-06 | 株式会社日立製作所 | Parallel computer system and program |
| JP6485306B2 (en) * | 2015-09-25 | 2019-03-20 | 株式会社デンソー | Control system |
| JP6683137B2 (en) * | 2017-01-11 | 2020-04-15 | 三菱電機株式会社 | Industrial controller system |
| CN111817819B (en) * | 2019-04-12 | 2023-06-02 | 中兴通讯股份有限公司 | FEC mode synchronization method, system, master node and slave node |
-
2003
- 2003-08-27 JP JP2003303604A patent/JP4080397B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614239A (en) * | 2018-12-12 | 2019-04-12 | 浪潮(北京)电子信息产业有限公司 | System cluster load-balancing method, device and relevant device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005071280A (en) | 2005-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7475272B2 (en) | Method for calculating clock offset and skew | |
| KR101109980B1 (en) | Facilitating synchronization of servers in a coordinated timing network | |
| RU2404448C2 (en) | Hardware-generated time marks for network packets: improved synchronisation of network clocks | |
| US6865612B2 (en) | Method and apparatus to provide high precision packet traversal time statistics in a heterogeneous network | |
| US8108557B2 (en) | System and method for measuring clock skew on a network | |
| US7925916B2 (en) | Failsafe recovery facility in a coordinated timing network | |
| US20220248353A1 (en) | Synchronization method and device | |
| US20100293243A1 (en) | method and apparatus for measuring directionally differentiated (one-way) network latency | |
| JP4080397B2 (en) | Parallel computer | |
| CN113572560B (en) | Method, electronic device, and storage medium for determining clock synchronization accuracy | |
| WO2023123956A1 (en) | Io full-lifecycle latency monitoring method and related apparatus | |
| JP5675703B2 (en) | Communication device, control device, and program | |
| US8989039B2 (en) | Packet transfer delay measurement system | |
| KR100735407B1 (en) | Apparatus and method for estimating distance using time of arrival | |
| CN110375596B (en) | Time consistency control method for cooperative guidance simulation system | |
| CN111884751A (en) | Smart grid time synchronization method and device based on PTP | |
| CN103401813B (en) | A kind of asymmetric delay compensation method and switch | |
| JP2917939B2 (en) | Server performance measurement method | |
| KR20160088982A (en) | System and Method for synchronizing data including timestamp between plural controllers | |
| CN111638749A (en) | Simulation system synchronization method, simulation device and system | |
| KR20170124213A (en) | UTC Time Synchronization Method for a Device using GPS Module | |
| WO2020132834A1 (en) | Method and device for stamping processing | |
| CN115459897B (en) | Step length synchronous calibration method and device in power real-time simulation and related equipment | |
| CN112398560A (en) | Measuring method, measuring device and storage medium | |
| CN113890841B (en) | Efficient large-scale one-way delay measuring method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070907 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110215 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120215 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |