JPH096464A

JPH096464A - 時刻設定装置

Info

Publication number: JPH096464A
Application number: JP7154284A
Authority: JP
Inventors: Nobutoshi Sagawa; 暢俊佐川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-06-21
Filing date: 1995-06-21
Publication date: 1997-01-10

Abstract

(57)【要約】【構成】一定時間間隔毎に時刻リセット信号を発するグ
ローバルクロックから送られた信号をプロセシングユニ
ット上に実装されたローカルクロックに送る。ローカル
クロックは、時刻リセット信号を受信したら時刻カウン
タをリセットし、かつリセットカウンタをインクリメン
トする。【効果】並列計算機の各プロセシングユニットは常にほ
とんど同期したタイムスタンプを得ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のプロセシングユ
ニットを有する並列計算機において、各プロセシングユ
ニットで取得する時刻の精度を高めるための手段に関す
る。

【０００２】

【従来の技術】従来、並列計算機内のプロセシングユニ
ットにおいて時刻を取得するためには、次の２つの手段
が用いられてきた。第１の手段は、各プロセシングユニ
ットがローカルな時計（ローカルクロック）を持ち、こ
れを適当なタイミングで読んで時刻を取得するものであ
る。第２の手段は、並列計算機に１つのグローバルな時
計（グローバルクロック）を持ち、全プロセシングユニ
ットがこの時計を共有するものである。

【０００３】

【発明が解決しようとする課題】上に述べた従来技術の
うち、第１の手段では、複数のローカルクロックの間で
時刻を完全に合わせることが困難であるという問題点を
有していた。通常、ローカルクロックの時刻合わせは、
並列計算機のスタートアップ時に行うか、適当なタイミ
ングで１つのプロセシングユニットからその他のプロセ
シングユニットに同期メッセージをブロードキャストす
ることによって行う。前者では、各プロセシングユニッ
トのスタートアップに要する時間が異なるため、正確な
時刻合わせはできないという問題点があった。後者で
も、ブロードキャストされたメッセージが全プロセシン
グユニットに同時に到達する保証はなく、従ってローカ
ルクロックの時刻に差異が生ずることは防げないという
問題点があった。また、いずれの方法でも、ローカルク
ロックがセットされた後に生じた時刻のずれを検出する
手段を有しないため、並列計算機の稼働時間全体にわた
ってローカルクロック間の時刻の一致を保証することは
できない点が問題であった。

【０００４】上に述べた従来技術のうち、第２の手段で
は、第１の手段より正確な時刻を各プロセシングユニッ
トにおいて取得することができる。しかし、２つ以上の
プロセシングユニットがグローバルクロックに対してほ
ぼ同時に時刻を要求した場合、時刻の読み出しに待ち合
わせが生ずることは避けられず、時刻が不正確となる問
題点があった。また、グローバルクロックは各プロセシ
ングユニットから物理的に遠方に置かれるため、プロセ
シングユニットで時刻取得要求が発行されてから実際に
時刻が到達するまでの間に遅れが生ずるという問題点が
あった。

【０００５】これらの誤差による取得時刻のずれは、通
常は問題となることは少ない。しかし、並列計算機の稼
働状況を詳細に解析する場合などには、各プロセシング
ユニットで通信やディスク入出力などの発生を逐一時刻
とともに記録したトレース（イベントトレース）を採取
し、これを全プロセシングユニット分付き合わせて、各
イベントの前後関係を知る必要が生ずる。このような稼
働状況，性能解析においては、各プロセッサから得られ
る時刻（以降このような目的で取得される時刻をタイム
スタンプと呼ぶ）を精密に同期させることがきわめて重
要である。

【０００６】

【課題を解決するための手段】本発明は、一定時間間隔
毎に時刻リセット信号を発するグローバルクロックと、
時刻リセット信号を各プロセシングユニットに配信する
ための伝送路と、時刻リセット信号を受信したならば時
刻カウンタをリセットし、かつリセットカウンタをイン
クリメントするプロセシングユニット上に実装されたロ
ーカルクロックを有する。

【０００７】

【作用】上記手段において、各プロセシングユニット上
に実装されたローカルクロックは、一定時間毎にグロー
バルクロックから配信される時刻リセット信号により時
刻をリセットするため、複数のプロセシングユニットに
わたってローカルクロックが示す時刻のずれを任意の許
容範囲内に少なくすることができる。また、各プロセシ
ングユニットにおけるタイムスタンプの取得はローカル
クロックの参照のみによってなされ、グローバルクロッ
クを参照する必要がないので、複数のプロセシングユニ
ットが同時にグローバルクロックにアクセスした場合の
競合の問題を回避することができる。さらに、ローカル
クロックはプロセシングユニット上に配置されるため、
タイムスタンプ取得要求から実際にタイムスタンプが到
達するための遅れを少なくすることができる。

【０００８】

【実施例】本発明の実施例を説明するに先立ち、並列計
算機におけるタイムスタンプの役割について説明する。

【０００９】タイムスタンプとは、計算機内で発生する
事象を記録する(イベントトレース)際に、その発生時刻
を示すために用いる情報である。タイムスタンプは、
時，分，秒といった時刻そのものの情報でもよいし、一
定時間毎に繰りあがるカウンタの値のように時刻と等価
な意味を持つ情報でもよい。イベントトレースは、計算
機のハードウェアや基本ソフトウェアが所定の動作を行
っているかをチェックするために用いたり、それらの性
能評価やチューニングのための情報を得るために用い
る。

【００１０】並列計算機では、多数のプロセシングユニ
ットが同時に計算や通信を行っているため、イベントト
レースも各プロセシングユニット毎に取得する必要が生
ずる。この場合には、各プロセシングユニットのイベン
トトレース内でタイムスタンプが取得されているのみな
らず、複数のプロセシングユニットにわたって、タイム
スタンプを用いてイベントの前後関係を調べられること
が必要である。そのためには、各プロセシングユニット
で取得できるタイムスタンプが、高度に同期しているこ
とが必要となる。

【００１１】以上の並列計算機におけるタイムスタンプ
の役割の説明に基づき、図を参照しながら本発明の実施
例を説明する。

【００１２】まず、図１から図３により、本実施例の構
成を説明する。

【００１３】図１は、本発明の実施例の全体構成を示す
図である。１０１はプロセシングユニット、１０３はプ
ロセシングユニット上に実装されたローカルクロックで
あり、１０２はプロセシングユニット間をつなぐネット
ワークである。図では、６個のプロセシングユニットが
示されているが、この数は任意である。１０４は並列計
算機全体に１個存在するグローバルクロックであり、１
０５はグローバルクロックとローカルクロックとを結ぶ
信号伝送路を示す。信号伝送路はプロセシングユニット
の数と同じだけ存在する。

【００１４】図２はプロセシングユニットの詳細図であ
る。プロセシングユニットは、CPU202，メモリ２０３お
よびローカルクロック２０５を持つ。メモリ２０３およ
びローカルクロック２０５はメモリコントローラ２０４
を介してアクセスされる。ローカルクロック２０５は、
時刻カウンタ２０６，発振器２１０およびリセットカウ
ンタ２０７よりなる。時刻カウンタ２０６とリセットカ
ウンタ２０７は信号伝送路２０９によりグローバルクロ
ックと結ばれている。

【００１５】図３はグローバルクロックの詳細図であ
る。グローバルクロックは、発振器３０３，カウンタ３
０２および定数を格納したレジスタ３０６と比較器３０
４よりなる。比較器からは各プロセシングユニットに向
かってリセット信号伝送路３０５が布線される。

【００１６】以下、図１から図３を参照して、本実施例
の動作を説明する。まず、図３により、グローバルクロ
ック３０１の動作を説明する。レジスタ３０５には、あ
る正の整数である定数が格納されている。この定数は、
並列計算機の製造時にあらかじめ組み込んでおいてもよ
いし、必要に応じて適宜管理者がセットしてもよい。発
振器３０３はある一定の小さな時間間隔でパルス信号を
カウンタ３０２と比較器３０４に送る。カウンタはパル
ス信号を受ける度に、自身の持つカウンタ値を１だけイ
ンクリメントする。比較器は、パルス信号を受けるとイ
ンクリメントされたカウンタの値とレジスタ３０６に保
持された値とを比較する。両者が等しい場合には、伝送
路３０５およびカウンタ３０２にリセット信号を出力す
る。カウンタ３０２はリセット信号を受け取ると、内部
のカウンタ値を０にリセットする。この動作により、グ
ローバルクロック３０１は伝送路３０５に一定時間間隔
でリセット信号を送ることができる。時間間隔は、レジ
スタに格納する定数の値と、発振器の発振周波数によっ
て決定される。

【００１７】一方、図２のローカルクロック２０５は以
下のような動作をする。発振器210はある一定の時間間
隔でパルス信号を時刻カウンタ２０６に出力する。時刻
カウンタ２０６は発振器２１０からパルス信号を受け取
る度に、内部に保持するカウンタ値を１だけインクリメ
ントする。また、グローバルクロック３０１によって伝
送路３０５に出力されたリセット信号がプロセシングユ
ニット２０１に到達した場合には、以下の動作を行う。
ここで、図２に示された伝送路２０９は、図３の伝送路
３０５のうちのある１本の反対端に対応する。リセット
カウンタ２０７は、リセット信号を受け取ると、内部に
保持するカウンタ値を１だけインクリメントする。時刻
カウンタ２０６は、リセット信号を受け取ると、内部に
保持するカウンタ値を０にリセットする。この動作は、
グローバルクロック３０１からのリセット信号の受信に
伴い、並列計算機内部のすべてのプロセシングユニット
上にあるローカルクロックにより同時に実行される。

【００１８】次いで、同じく図２により、ＣＰＵによる
ローカルクロックの読み出し動作を説明する。ローカル
クロックの時刻カウンタ２０６とリセットカウンタ２０
７には、それぞれ特定の番地が割り当てられている。Ｃ
ＰＵは、タイムスタンプ読み出し要求があった場合に
は、その特定番地からカウンタの値を内部のレジスタに
ロードする。メモリコントローラは、ＣＰＵからのメモ
リ参照がその特定の番地であった場合にはローカルクロ
ックからカウンタの値を読み出し、それ以外の場合には
メモリ２０３から値を読み出すように構成する。なお、
時刻カウンタ206,リセットカウンタ２０７に対応する番
地は読み出し専用の属性を与え、書き込み処理がなされ
た場合にはメモリコントローラ２０４からCPU202にエラ
ーが報告される。

【００１９】いま、ローカルクロックの値ｃ１が読み出
されたならば、リセットカウンタの値ｃ２およびグロー
バルカウンタのリセット時間間隔ｔｉを用いて、数１の
ようにタイムスタンプの値ｔを決定できる。

【００２０】

【数１】ｔ＝ｃ２・ｔｉ＋ｃ１ …（１）以上が、本実施例の動作の説明である。

【００２１】続いて、複数のローカルクロック上の時刻
カウンタ値の間のずれ（つまりタイムスタンプのずれ）
を十分に小さくするために、本実施例中で各種のパラメ
タが満たすべき条件について説明する。一般にプロセシ
ングユニット２０１上のCPU202は内部にクロックを持
ち、すべてのイベントはこのクロックに同期して発生す
る。従って、タイムスタンプがこのクロックの１ティッ
クを識別できる解像度を持てば、あらゆる目的に対して
十分な精度を持つといえる。並列計算機においては、タ
イムスタンプ間のずれがＣＰＵクロックの１ティックよ
り小さい場合に、ずれは十分に小さいと考えることがで
きる。

【００２２】まず、グローバルクロックから発生するリ
セット信号の周波数（頻度）が満たす条件を述べる。リ
セット信号の周波数は、以下の２つの条件、１）任意の時点において全プロセシングユニット上での
時刻カウンタの値が最大でも１以上ずれない、２）ローカルクロックが保持する時刻カウンタがオーバ
ーフローしない、を満たす必要がある。

【００２３】以下では、グローバルクロックからのリセ
ット信号の発生周波数をｈｇ，全プロセッサユニットが
有するローカルクロックの発振器のうち、最も速いもの
の発振周波数をｈｆ，最も遅いものの発振周波数をｈ
ｓ，時刻カウンタの保持し得る最大整数値をｍとおく。
まず、複数のローカルクロックが保持する時刻カウンタ
のカウンタ値に生ずるずれは、以下の数２で表わされ
る。

【００２４】

【数２】（ｈｆ−ｈｓ）／ｈｇ …（２）従って、任意の時点において全プロセシングユニット上
での時刻カウンタの値が最大でも１以上ずれないことを
保証するためには、数３、すなわち変形して、数４の条
件が満たされていればよい。

【００２５】

【数３】（ｈｆ−ｈｓ）／ｈｇ＜１ …（３）

【００２６】

【数４】ｈｆ−ｈｓ＜ｈｇ …（４）一般に、周波数のほぼ等しい発振器を得ることはそれほ
ど困難ではないので、ｈｆとｈｓが非常に近接した値と
なるように並列計算機を制作することが可能である。ｈ
ｇはｈｆ，ｈｓに比較して非常に小さい値でよいことに
なる。一方、時刻カウンタが長期間リセットされなかっ
たために生ずるオーバーフローを防ぐための条件は、数
５で与えられる。

【００２７】

【数５】ｈｆ／ｍ＜ｈｇ …（５）グローバルクロックからのリセット信号の周波数ｈｇ
は、数４かつ数５を満たすように決めればよい。

【００２８】次に、グローバルクロックからのリセット
信号が各プロセシングユニットに届く際の時間差を解消
するための条件を述べる。リセット信号は、グローバル
クロックで発生した後、独自の伝送路を通って各プロセ
シングユニットに到達する。各プロセシングユニットに
同時にリセット信号を到達させるためには、全伝送路の
物理的な長さが等しければよい。いま、最も長い伝送路
と最も短い伝送路の長さの差をｄｌ，伝送路中での信号
の伝搬速度をｖ，ローカルクロック２０５上の発振器２
１０の周波数をｈとしたとき、プロセシングユニットに
届くリセット信号間の時間差を発振器２１０の１サイク
ルより短くするための条件は、数６、すなわち変形し
て、数７の条件が満たされればよい。

【００２９】

【数６】ｄｌ／ｖ＜１／ｈ …（６）

【００３０】

【数７】ｄｌ＜ｖ／ｈ …（７）最後に、ローカルクロック２０５上の発振器２１０の周
波数ｈの満たすべき条件について述べる。以下では、CP
U202のクロック周波数をｆｃとおく。上記の数式（４）
かつ（５）、かつ（７）の条件が満たされている場合、
全プロセシングユニットにわたるローカルクロックの時
刻カウンタ値は最悪で２・ｈの差が生ずるので、プロセ
ッサクロック１ティックあたりローカルクロックが２回
以上インクリメントすれば、タイムスタンプの誤差はｆ
ｃのオーダーに抑えることができる。式で書けば、数８
で与えられる。

【００３１】

【数８】２・ｆｃ＜ｈ …（８）数式（４）かつ（５）、かつ（７）、かつ（８）の条件
が満たされれば、タイムスタンプに上でのべた精度を保
証することができる。

【００３２】本実施例によれば、複数のローカルクロッ
ク上の時刻カウンタの値が最大でもＣＰＵクロック１テ
ィックのオーダーしかずれないことが保証されるため、
複数のプロセッサユニットでタイムスタンプを取得した
場合の時刻の前後関係を正確に知ることができる。

【００３３】本実施例では、図２においてローカルクロ
ックがＣＰＵからのメモリアクセスによって取得される
ものとしたが、Ｉ／ＯポートなどＣＰＵからアクセス可
能な他のチャネルにローカルクロックが接続されていて
も同様な効果を得ることができる。

【００３４】本実施例では、並列計算機全体に対して１
つのグローバルクロックが存在するものとしたが、並列
計算機のプロセッサユニットをグループ化して運用でき
る場合には、グループ毎に１つのグローバルクロックを
用意し、各グループ内で図１の構成をとるようにしても
よい。

【００３５】また、本実施例のようにタイムスタンプに
ＣＰＵクロックと同程度の精度が要求されない場合に
は、上に述べた数４，数５，数７，数８の条件を適宜緩
和しても差し支えない。

【００３６】上記実施例では、グローバルクロックとロ
ーカルクロックとを結ぶ信号伝送路の長さをなるべく等
しくすることにより、グローバルクロックから発信され
るリセット信号の到着時刻のずれを少なくする構成をと
ったが、これに代えて図４のような構成にしてもよい。

【００３７】本実施例では、ローカルクロック４０１は
レジスタ４０７を持ち、本レジスタにはあらかじめ（例
えば並列計算機の製造時に）定数が設定される。グロー
バルクロックからのリセット信号の受信に伴い、時刻カ
ウンタ４０５は０にリセットされる代わりに、レジスタ
に設定された定数値にリセットされる。その他の動作
は、図２におけるものと同様である。ここで、伝送路４
０３の長さをｌ，伝送路を伝わる信号の速度をｖ，発振
器４０４の発振周波数をｈとしたとき、レジスタ４０７
に設定する定数値を、ｈ・ｌ／ｖに等しくとる。これに
より、伝送路の長さが等しくなかった場合でも、グロー
バルクロックからのリセット信号の到達時間で生ずるず
れがキャンセルされ、ローカルクロック間の正確な同期
をとることができる。

【００３８】

【発明の効果】本発明によれば、各プロセシングユニッ
ト上に実装されたローカルクロックは、一定時間毎にグ
ローバルクロックから配信される時刻リセット信号によ
り時刻をリセットするため、複数のプロセシングユニッ
トにわたってローカルクロックが示す時刻のずれを任意
の許容範囲内に少なくすることができる。

【００３９】また、各プロセシングユニットにおけるタ
イムスタンプの取得はローカルクロックの参照のみによ
ってなされ、グローバルクロックを参照する必要がない
ので、複数のプロセシングユニットが同時にグローバル
クロックにアクセスした場合の競合の問題を回避するこ
とができる。さらに、ローカルクロックはプロセシング
ユニット上に配置されるため、タイムスタンプ取得要求
から実際にタイムスタンプが到達するための遅れを少な
くすることができる。

【図面の簡単な説明】

【図１】本発明の一実施例の全体構成を示すブロック
図。

【図２】図１におけるプロセッサユニット部分の詳細ブ
ロック図。

【図３】図１におけるグローバルクロック部分の詳細ブ
ロック図。

【図４】本発明の他の実施例を示すローカルクロック部
分のブロック図。

【符号の説明】

１００…並列計算機、１０１…プロセシングユニット、
１０３…ローカルクロック、１０４…グローバルクロッ
ク、２０６…時刻カウンタ、２０７…リセットカウン
タ、２１０…発振器、３０２…カウンタ、３０３…発振
器、３０４…比較器、３０６…レジスタ。

Claims

【特許請求の範囲】

【請求項１】複数のプロセシングユニットを有する並列
計算機において、一定時間間隔毎に信号を発信する１個
または複数個の第１の時刻計測手段と、上記プロセシン
グユニット毎に１個ずつ備えられ、上記第１の時刻計測
手段からの上記信号によって時刻が再設定される複数個
の第２の時刻計測手段とを有することを特徴とする時刻
設定装置。
【請求項２】請求項１記載の時刻設定装置において、上
記第２の時刻計測手段はさらに発振器と、上記第１の時
刻計測手段からの信号の到着に伴ってリセットされるカ
ウンタと、上記第１の時刻計測手段からの信号の到着に
伴って繰りあがるカウンタとを有することを特徴とする
時刻設定装置。
【請求項３】請求項１記載の時刻設定装置において、上
記第２の時刻計測手段は、上記第１の時刻計測手段から
の信号の到着により時刻計測を開始するように構成され
ることを特徴とする時刻設定装置。
【請求項４】請求項１記載の時刻設定装置において、上
記第２の時刻計測手段の指示する時刻は、上記第１の時
刻計測手段からの信号の到着により、あらかじめ設定さ
れた時刻に再設定されるように構成されることを特徴と
する時刻設定装置。
【請求項５】請求項１記載の時刻設定装置において、上
記各々の第２の時刻計測手段は、上記第１の時刻計測手
段とそれぞれ信号伝送路で結ばれてなることを特徴とす
る時刻設定装置。
【請求項６】請求項５記載の時刻設定装置において、上
記信号伝送路のうち最長の伝送路の長さをｌｌ，最短の
伝送路の長さをｌｓ，伝送路を伝わる信号の速度をｖ，
上記第２の時刻計測手段上の上記発振器の発振周波数を
ｈとした場合、ｌｌ−ｌｓがｖ／ｈよりも小さく構成さ
れることを特徴とする時刻設定装置。
【請求項７】請求項４記載の時刻設定装置において、上
記第２の時刻計測手段の指示する時刻は、上記第１の時
刻計測手段からの信号の到着により、あらかじめ上記第
２の時刻計測手段毎に設定された時刻に再設定されるよ
うに構成されることを特徴とする時刻設定装置。
【請求項８】請求項７記載の時刻設定装置において、上
記あらかじめ設定された時刻は、上記第１の時刻計測手
段と上記第２の時刻計測手段とを結ぶ上記信号伝送路の
長さに比例して設定されることを特徴とする時刻設定装
置。
【請求項９】請求項１記載の時刻設定装置において、上
記第１の時刻計測手段からの信号の発信周波数をｈｇ，
上記複数の第２の時刻計測手段の時刻計測周波数のうち
最も大きいものをｈｆ，上記複数の第２の時刻計測手段
の時刻計測周波数のうち最も小さいものをｈｓとしたと
き、ｈｇはｈｆとｈｓの差よりも大きく構成されること
を特徴とする時刻設定装置。
【請求項１０】複数のプロセシングユニットを有する並
列計算機において、１個または複数個の時刻計測手段
と、上記時刻計測手段と上記プロセシングユニットの各
々とを結合する複数の信号伝送路とを有し、上記複数の
伝送路のうち最長の伝送路の長さをｌｌ，最短の伝送路
の長さをｌｓ，伝送路を伝わる信号の速度をｖ，上記時
刻計測手段の時刻計測周波数をｈとした場合、ｌｌ−ｌ
ｓがｖ／ｈよりも小さく構成されてなることを特徴とす
る時刻設定装置。