JP6959506B2 - 並列処理システムのシステム管理装置、並列処理システムおよび電力制御方法 - Google Patents
並列処理システムのシステム管理装置、並列処理システムおよび電力制御方法 Download PDFInfo
- Publication number
- JP6959506B2 JP6959506B2 JP2017115310A JP2017115310A JP6959506B2 JP 6959506 B2 JP6959506 B2 JP 6959506B2 JP 2017115310 A JP2017115310 A JP 2017115310A JP 2017115310 A JP2017115310 A JP 2017115310A JP 6959506 B2 JP6959506 B2 JP 6959506B2
- Authority
- JP
- Japan
- Prior art keywords
- job
- node
- power consumption
- nodes
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/329—Power saving characterised by the action undertaken by task scheduling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Power Sources (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Description
また、サーバにジョブを投入する時、サーバの過去の消費電力データと現消費電力から予測した予測消費電力を基に、消費電力が上限値を超えるか否かを判定し、超える場合にジョブの投入タイミングを遅らせる電力制御システムの提案もある。
[第1の実施の形態]
図1は、第1の実施の形態の並列処理システムの例を示す図である。並列処理システム10は、システム管理装置11および計算ノード群12を有する。システム管理装置11は、並列処理システム10の所定のネットワークを介して、計算ノード群12に属する複数の計算ノードと接続されており、各計算ノードを制御する。並列処理システム10は、計算ノード群12に属する複数の計算ノードを用いて、複数のジョブを並列に実行する。1つのジョブは、1以上の計算ノードに割り当てられ、当該1以上の計算ノードにより実行される。ジョブは、割当て先の1以上の計算ノードを占有する。
記憶部11aは、RAM(Random Access Memory)などの揮発性記憶装置でもよいし、HDD(Hard Disk Drive)やフラッシュメモリなどの不揮発性記憶装置でもよい。処理部11bは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などを含み得る。処理部11bはプログラムを実行するプロセッサでもよい。「プロセッサ」は、複数のプロセッサの集合(マルチプロセッサ)も含み得る。
ここで、並列処理システム10の消費電力を抑えるために、消費電力が最大のジョブを実行している計算ノードの停止やクロックダウンなどを行うことが考えられる。しかし、当該ジョブを実行している計算ノードの停止やクロックダウンなどを行うと、該当の計算ノードが当該ジョブを完遂しない可能性が高まる。当該ジョブを完遂しない場合、ユーザは、当該ジョブの実行を再度指示し、並列処理システム10により当該ジョブを再実行させることになる。再実行では、当該ジョブを最初から実行し直すことになる。したがって、中長期的に考えると、消費電力の大きなジョブの実行完遂率が低下し、未完遂のジョブの再実行により、並列処理システム10において消費される電力量が過剰になる可能性がある。
システム管理装置11は、第1ジョブの終了予定時刻までの時間が所定時間T0以上である場合に、第1ジョブを実行する第1ノードの消費電力を削減する処理を行う。この場合、第1ジョブの終了予定時刻までの時間が所定時間T0以上であれば、第1ジョブの進捗の度合いも低いと考えられ、仮に第1ジョブが完遂されない場合でも、第1ジョブの実行のための電力量の浪費を抑えられる。また、消費電力が最大である第1ノードの消費電力を削減することで、システム全体の消費電力を効率的に抑えて、第1ノード以外の第2ノードによる第2ジョブの実行を継続することができる。
[第2の実施の形態]
図2は、第2の実施の形態の並列処理システムの例を示す図である。並列処理システム50は、システム管理ノード100、ジョブ管理ノード200および計算ノード300,400,500,600,・・・を有する。システム管理ノード100、ジョブ管理ノード200および計算ノード300,400,500,600,・・・は、並列処理システム50における管理用のネットワーク21に接続されている。また、計算ノード300,400,500,600,・・・は、格子状のネットワークにより相互に接続されている。例えば、ネットワーク21は、メッシュ結合またはトーラス結合と呼ばれる接続形態のネットワークでもよい。
通信インタフェース304は、ネットワーク21に接続され、ジョブ管理ノード200などの他のコンピュータとの通信に用いられるインタフェースである。
記憶部110は、RAM102またはHDD103の記憶領域を用いて実現される。電力管理部120は、プロセッサ101により実現される。プロセッサ101は、RAM102に記憶されたプログラムを実行することで、電力管理部120の機能を発揮する。あるいは、電力管理部120は、FPGAやASICなどのハードワイヤードロジックにより実現されてもよい。
記憶部210は、ジョブ管理ノード200が備えるRAMまたはHDDの記憶領域を用いて実現される。ジョブ管理部220および資源管理マスター230は、ジョブ管理ノード200が備えるプロセッサにより実現される。ジョブ管理ノード200のプロセッサは、ジョブ管理ノード200のRAMに記憶されたプログラムを実行することで、ジョブ管理部220および資源管理マスター230の機能を発揮する。あるいは、ジョブ管理部220および資源管理マスター230は、FPGAやASICなどのハードワイヤードロジックにより実現されてもよい。
ジョブ管理部220は、各計算ノードによるジョブの実行を管理する。ジョブ管理部220は、電力管理部120によるジョブ毎の消費電力と残り実行時間の問い合わせに応じて、ジョブ毎の消費電力と残り実行時間を電力管理部120に提供する。具体的には、ジョブ管理部220は、各計算ノードの消費電力の取得を資源管理マスター230に指示し、資源管理マスター230を介して、各計算ノードの消費電力を取得する。そして、ジョブ管理部220は、ジョブ毎の割り当て先の計算ノード、消費電力、および、現時刻から終了予定時刻までの時間(残り実行時間)を計算し、電力管理部120に送信する。
資源管理スレーブ310、消費電力収集部320および動作制御部330は、プロセッサ301により実現される。プロセッサ301は、RAM302に記憶されたプログラムを実行することで、資源管理スレーブ310、消費電力収集部320および動作制御部330の機能を発揮する。あるいは、資源管理スレーブ310、消費電力収集部320および動作制御部330は、FPGAやASICなどのハードワイヤードロジックにより実現されてもよい。
動作制御部330は、資源管理スレーブ310の指示により、計算ノード300の動作モードを変更する。動作制御部330は、計算ノード300の動作モードを変更することで、計算ノード300の消費電力を削減する(パワーノブ設定)。例えば、動作制御部330は、計算ノード300においてジョブ実行に用いられるプロセッサ301の動作周波数を通常よりも下げる省電力モードで計算ノード300を動作させる。動作制御部330は、周波数レジスタ301aの設定値を変更することで、プロセッサ301の動作周波数を下げる、上げるなどの変更を行える。なお、ジョブ実行に用いられるプロセッサは、プロセッサ301とは別個に、計算ノード300に設けられてもよい。また、省電力モードの他の例としては、計算ノード300がジョブ実行に複数のプロセッサを用いている場合に複数のプロセッサの一部を停止させることも考えられる。更に、動作制御部330は、計算ノード300を停止させる(シャットダウンまたはスタンバイ状態に移行させるなど)こともある。
図6は、ノード消費電力情報の例を示す図である。ノード消費電力情報211は、記憶部210に格納される。ノード消費電力情報211は、ノード識別子および消費電力の項目を含む。
図10は、システム管理ノードの処理例を示すフローチャートである。以下、図10に示す処理をステップ番号に沿って説明する。
(S12)電力管理部120は、各BMCから取得した消費電力を集計し、システム消費電力を算出する。システム消費電力は、各BMCから取得した消費電力の合計である。
ここで、一例として、ステップS15の判定における所定時間が20分の場合を考える。図9で示したジョブ情報111の例によれば、消費電力が最大のジョブは、ジョブ識別子“7119895”のジョブである。この場合、ジョブ識別子“7119895”のジョブの残りのジョブ実行時間“10分”は、所定時間“20分”未満である(ステップS15 No)。したがって、電力管理部120は、ジョブ識別子“7119895”以外のジョブ識別子“7101927”のジョブの電力削減指示をジョブ管理ノード200に送信する。このとき、電力管理部120は、ジョブを未割当てである計算ノードについての電力削減指示をジョブ管理ノード200に更に送信してもよい。
図11は、ジョブ管理ノードの処理例を示すフローチャートである。以下、図11に示す処理をステップ番号に沿って説明する。
(S23)資源管理マスター230は、計算ノード毎の消費電力を各計算ノードから取得する。資源管理マスター230は、取得した消費電力の情報によりノード消費電力情報211を生成し、記憶部210に格納する。
図12は、計算ノードの処理例を示すフローチャートである。以下、図12に示す処理をステップ番号に沿って説明する。
(S32)資源管理スレーブ310は、消費電力収集部320を介して計算ノード300の消費電力を取得し、計算ノード300の消費電力をジョブ管理ノード200に送信する。
また、上記のように、計算ノード300の消費電力を削減する方法には種々の方法(プロセッサ周波数の低減や計算ノード300の停止など)が考えられる。電力管理部120は、消費電力を削減するために何れの方法を用いるかを状況に応じて選択してもよい。例えば、電力管理部120は、まずは、電力削減対象の計算ノードのプロセッサの動作周波数を低下させ、それでもシステム消費電力が(システム消費電力上限値−α)を下回らない場合に、該当の計算ノードの停止をジョブ管理ノード200に指示してもよい。このとき、電力管理部120は、システム消費電力が(システム消費電力上限値−α)を下回るように、ある計算ノードでプロセッサの動作周波数を低減させ、別の計算ノードを停止させるようジョブ管理ノード200に指示してもよい。このように消費電力を削減する方法を柔軟に選択することで、消費電力を削減しつつ、計算ノード300,400,500,600,・・・の利用効率を向上させることも可能である。
11 システム管理装置
11a 記憶部
11b 処理部
12 計算ノード群
12a,12b,12c,12d 計算ノード
D1,D2 テーブル
Claims (7)
- 複数のノードそれぞれの消費電力の情報と複数のノードにより並列に実行される複数のジョブであって、各々が前記複数のノードのうちの1以上のノードにより実行される前記複数のジョブの情報とを記憶する記憶部と、
前記複数のノードの総消費電力が閾値に達すると、前記記憶部に記憶された情報に基づいて前記複数のジョブのうち消費電力が最大である第1ジョブを抽出し、前記第1ジョブの終了予定時刻までの時間が所定時間以上の場合、前記第1ジョブを実行する第1ノードの消費電力を削減する処理を行い、前記第1ジョブの終了予定時刻までの時間が所定時間未満の場合、前記第1ノード以外の第2ノードであって、前記第1ジョブを実行しておらず前記複数のジョブのうちの第2ジョブを実行する前記第2ノードの消費電力を削減する処理を行う処理部と、
を有する並列処理システムのシステム管理装置。 - 前記処理部は、ジョブが割り当てられた各計算ノードの消費電力の合計を前記ジョブの消費電力とする、請求項1記載の並列処理システムのシステム管理装置。
- 前記閾値は、前記並列処理システムで許容される消費電力の上限値よりも小さい値である、請求項1または2記載の並列処理システムのシステム管理装置。
- 前記処理部は、前記総消費電力が前記閾値に達すると、前記複数のノードによる前記複数のジョブの実行を管理するジョブ管理ノードから、ジョブ毎の計算ノードの割り当て先、および、ジョブ毎の終了予定時刻までの時間を含む前記複数のジョブの情報を取得する、請求項1乃至3の何れか1項に記載の並列処理システムのシステム管理装置。
- 前記処理部は、前記第1ノードまたは前記第2ノードの停止、あるいは、前記第1ノードまたは前記第2ノードのプロセッサの動作周波数の低下を指示することで、前記第1ノードまたは前記第2ノードの消費電力を削減する、請求項1乃至4の何れか1項に記載の並列処理システムのシステム管理装置。
- 各々が1以上のノードにより実行される複数のジョブを並列に実行する複数のノードと、
前記複数のノードの総消費電力が閾値に達すると、前記複数のノードそれぞれの消費電力の情報と前記複数のジョブの情報とに基づいて前記複数のジョブのうち消費電力が最大である第1ジョブを抽出し、前記第1ジョブの終了予定時刻までの時間が所定時間以上の場合、前記第1ジョブを実行する第1ノードの消費電力を削減する処理を行い、前記第1ジョブの終了予定時刻までの時間が所定時間未満の場合、前記第1ノード以外の第2ノードであって、前記第1ジョブを実行しておらず前記複数のジョブのうちの第2ジョブを実行する前記第2ノードの消費電力を削減する処理を行うシステム管理装置と、
を有する並列処理システム。 - コンピュータが、
各々が1以上のノードにより実行される複数のジョブを並列に実行する複数のノードの総消費電力が閾値に達すると、前記複数のノードそれぞれの消費電力の情報と前記複数のジョブの情報とに基づいて前記複数のジョブのうち消費電力が最大である第1ジョブを抽出し、
前記第1ジョブの終了予定時刻までの時間が所定時間以上の場合、前記第1ジョブを実行する第1ノードの消費電力を削減する処理を行い、前記第1ジョブの終了予定時刻までの時間が所定時間未満の場合、前記第1ノード以外の第2ノードであって、前記第1ジョブを実行しておらず前記複数のジョブのうちの第2ジョブを実行する前記第2ノードの消費電力を削減する処理を行う、
電力制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017115310A JP6959506B2 (ja) | 2017-06-12 | 2017-06-12 | 並列処理システムのシステム管理装置、並列処理システムおよび電力制御方法 |
US16/001,990 US10705592B2 (en) | 2017-06-12 | 2018-06-07 | Efficient reduction in electric power consumption for a parallel processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017115310A JP6959506B2 (ja) | 2017-06-12 | 2017-06-12 | 並列処理システムのシステム管理装置、並列処理システムおよび電力制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019003281A JP2019003281A (ja) | 2019-01-10 |
JP6959506B2 true JP6959506B2 (ja) | 2021-11-02 |
Family
ID=64564058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017115310A Active JP6959506B2 (ja) | 2017-06-12 | 2017-06-12 | 並列処理システムのシステム管理装置、並列処理システムおよび電力制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10705592B2 (ja) |
JP (1) | JP6959506B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7367565B2 (ja) * | 2020-03-03 | 2023-10-24 | 富士通株式会社 | 電力制御装置および電力制御プログラム |
JP2023021662A (ja) * | 2021-08-02 | 2023-02-14 | 富士通株式会社 | プログラムおよび管理方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3959516B2 (ja) * | 2001-08-06 | 2007-08-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ネットワークシステム、cpu資源プロバイダ、クライアント装置、処理サービスの提供方法、およびプログラム |
US7117497B2 (en) * | 2001-11-08 | 2006-10-03 | Honeywell International, Inc. | Budget transfer mechanism for time-partitioned real-time operating systems |
US20040237087A1 (en) * | 2003-05-08 | 2004-11-25 | Nong Ye | Job scheduling techniques to reduce the variance of waiting time |
US8108863B2 (en) * | 2005-12-30 | 2012-01-31 | Intel Corporation | Load balancing for multi-threaded applications via asymmetric power throttling |
JP2008198072A (ja) | 2007-02-15 | 2008-08-28 | Mitsubishi Electric Corp | リアルタイム計算機 |
US8132031B2 (en) * | 2009-03-17 | 2012-03-06 | International Business Machines Corporation | Power adjustment based on completion times in a parallel computing system |
US8479035B1 (en) * | 2010-09-02 | 2013-07-02 | Google Inc. | Smart limited functionality mode manager |
JP5429402B2 (ja) * | 2010-11-15 | 2014-02-26 | 富士通株式会社 | 情報処理装置、情報処理プログラム、および情報処理方法 |
JP5887846B2 (ja) | 2011-11-10 | 2016-03-16 | 日本電気株式会社 | 電力制御システムおよび電力制御方法 |
EP2828748A4 (en) * | 2012-03-21 | 2016-01-13 | Nokia Technologies Oy | METHOD IN A PROCESSOR, DEVICE AND COMPUTER PROGRAM PRODUCT |
US10040735B2 (en) * | 2014-05-08 | 2018-08-07 | Exxonmobil Research And Engineering Company | Method of producing an alcohol-containing pyrolisis product |
JP2016071841A (ja) | 2014-09-30 | 2016-05-09 | 日本電気株式会社 | ジョブ管理装置、ジョブ管理システム、ジョブ管理方法、及びプログラム |
-
2017
- 2017-06-12 JP JP2017115310A patent/JP6959506B2/ja active Active
-
2018
- 2018-06-07 US US16/001,990 patent/US10705592B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10705592B2 (en) | 2020-07-07 |
US20180356875A1 (en) | 2018-12-13 |
JP2019003281A (ja) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4380986B2 (ja) | クロック制御装置及びその記録媒体 | |
US9977439B2 (en) | Energy efficiency aware thermal management in a multi-processor system on a chip | |
Do et al. | ptop: A process-level power profiling tool | |
KR101523909B1 (ko) | 마이크로프로세서 내의 열 설계 전력을 구성하기 위한 방법 및 장치 | |
TWI505080B (zh) | 在電腦系統中分派任務之方法、系統及電腦程式 | |
Meisner et al. | The powernap server architecture | |
WO2013077972A1 (en) | Thermally driven workload scheduling in a heterogeneous multi - processor system on a chip | |
JP2007310791A (ja) | 計算機システムの消費電力低減方法、及びそのプログラム | |
TW201339967A (zh) | 協同處理器及系統效能及電源管理 | |
KR20020087388A (ko) | 연산처리시스템 및 연산처리 제어방법, 업무관리시스템 및업무관리방법과 기억매체 | |
US9342133B2 (en) | Information processing apparatus and power saving control method | |
WO2013043349A1 (en) | On-chip thermal management techniques using inter-processor time dependent power density data for identification of thermal aggressors | |
JP6959506B2 (ja) | 並列処理システムのシステム管理装置、並列処理システムおよび電力制御方法 | |
TWI659297B (zh) | 系統電源管理方法及計算機系統 | |
TW202011146A (zh) | 動態地分配和優化電力資源的方法及系統、以及非暫態性機器可讀媒體 | |
US20160103714A1 (en) | System, method of controlling a system including a load balancer and a plurality of apparatuses, and apparatus | |
JP6259388B2 (ja) | 電源制御装置、サーバ仮想化システム、および、電源制御方法 | |
US10802832B2 (en) | Information processing device and method of controlling computers | |
JP5097263B2 (ja) | 計算機システム、その消費電力低減方法、及びそのプログラム | |
JP4517006B2 (ja) | クロック制御装置及びその記録媒体 | |
JP2016053841A (ja) | 電源状態制御装置およびプログラム | |
Hemanandhini et al. | A Study on Various Techniques for Energy Conservation in Data Centers for Green Computing | |
US11822408B2 (en) | Computer-readable recording medium storing program and management method | |
US11823294B1 (en) | Site management apparatus and management method | |
JP5962095B2 (ja) | 電力制御システム、電力制御のための管理装置および電力制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200310 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200316 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6959506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |