JP6850331B2 - マルチノードストレージシステムにおけるファームウェアアップグレード方法 - Google Patents
マルチノードストレージシステムにおけるファームウェアアップグレード方法 Download PDFInfo
- Publication number
- JP6850331B2 JP6850331B2 JP2019185198A JP2019185198A JP6850331B2 JP 6850331 B2 JP6850331 B2 JP 6850331B2 JP 2019185198 A JP2019185198 A JP 2019185198A JP 2019185198 A JP2019185198 A JP 2019185198A JP 6850331 B2 JP6850331 B2 JP 6850331B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- bmc
- flash
- storage
- flash image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1433—Saving, restoring, recovering or retrying at system level during software upgrading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1438—Restarting or rejuvenating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1666—Error detection or correction of the data by redundancy in hardware where the redundant component is memory or memory area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Stored Programmes (AREA)
Description
100,300…第1ノード
200,400…第2ノード
110,210,310,410…ストレージデバイス
111,112,211,212,311,312,411,412…PCIeバス
120,220,320,420…ストレージエキスパンダスイッチコントローラ
130,230,330,430…ローカルエリアネットワークアダプタ
140,340…第1フラッシュROM
141,161,241,261,341,342,361,362,371,381,441,461,471,481…バス
150,250,350,450…BMC
151,251,351,451…ベースボードバス
160,360…第2フラッシュROM
240,440…第3フラッシュROM
260,460…第4フラッシュROM
75…マルチノードストレージシステム
370…第1スイッチデバイス
380…第2スイッチデバイス
470…第3スイッチデバイス
480…第4スイッチデバイス
600…プロセス
601〜605…工程
Claims (10)
- 第1ノード及び第2ノードを有するマルチノードストレージシステムであって、
前記第1ノードは、
第1ベースボード管理コントローラ(BMC)と、
第1フラッシュイメージを記憶するように構成された第1フラッシュROMと、
前記第1BMCを前記第1フラッシュROMに接続するように構成された第1スイッチデバイスと、を含み、
前記第2ノードは、
前記第1スイッチデバイスに接続された第2BMCと、
第2フラッシュイメージを記憶するように構成された第2フラッシュROMと、
前記第2BMCを前記第2フラッシュROMを接続するように構成された第2スイッチデバイスと、を含み、
前記第1BMCは、前記第2スイッチデバイスに接続されており、
前記第2フラッシュイメージは、前記第1フラッシュイメージと同じである、ことを特徴とするマルチノードストレージシステム。 - 前記第1ノードは、第1ストレージコントローラと、第3フラッシュイメージを記憶する第3フラッシュROMと、前記第1BMC又は前記第2BMCを前記第3フラッシュROMに接続する第3スイッチデバイスと、を含み、
前記第2ノードは、第2ストレージコントローラと、第4フラッシュイメージを記憶する第4フラッシュROMと、前記第1BMC又は前記第2BMCを前記第4フラッシュROMに接続する第4スイッチデバイスと、を含み、前記第4フラッシュイメージは、前記第3フラッシュイメージと同じである、ことを特徴とする請求項1に記載のマルチノードストレージシステム。 - 前記第1ノードは、第1ストレージスイッチエキスパンダコントローラ及び第2ストレージスイッチエキスパンダコントローラに接続された第1の複数のストレージデバイスを含み、
前記第2ノードは、前記第1ストレージスイッチエキスパンダコントローラ及び前記第2ストレージスイッチエキスパンダコントローラに接続された第2の複数のストレージデバイスを含み、
前記第1ストレージデバイス及び前記第2ストレージデバイスは、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)及び不揮発性メモリエクスプレス(NVMe)のうち少なくとも1つを含む、ことを特徴とする請求項1に記載のマルチノードストレージシステム。 - 前記NVMeは、ホストコントローラインタフェース及びストレージプロトコルとして機能し、前記第2ストレージスイッチエキスパンダコントローラと前記SSDドライブとの間のデータ送信を促進する、ことを特徴とする請求項3に記載のマルチノードストレージシステム。
- 前記第1フラッシュイメージは、第1BMCファームウェアフラッシュイメージを有し、前記第3フラッシュイメージは、第1ストレージスイッチエキスパンダコントローラファームウェアフラッシュイメージを有し、
前記第2フラッシュイメージは、第2BMCファームウェアフラッシュイメージを有し、前記第4フラッシュイメージは、第2ストレージスイッチエキスパンダコントローラファームウェアフラッシュイメージを有する、ことを特徴とする請求項2に記載のマルチノードストレージシステム。 - 前記第1スイッチデバイス、前記第2スイッチデバイス、前記第3スイッチデバイス及び前記第4スイッチデバイスの各々は、マルチプレクサ(MUX)を備え、前記第1BMC及び前記第2BMCを多重化するように構成されており、
前記第1BMCは、前記第3フラッシュROMに記憶された前記第3フラッシュイメージ、又は、前記第4フラッシュROMに記憶された前記第4フラッシュイメージを取り出すように構成されており、
前記第2BMCは、前記第1フラッシュROMに記憶された前記第1フラッシュイメージ、又は、前記第2フラッシュROMに記憶された前記第2フラッシュイメージを取り出すように構成されている、ことを特徴とする請求項2に記載のマルチノードストレージシステム。 - マルチストレージノードシステムにおけるファームウェアのアップデート方法であって、前記方法は、
第1ノードをパワーサイクルする工程であって、前記第1ノードは、第1ベースボード管理コントローラ(BMC)と、第1フラッシュイメージを記憶するように構成された第1フラッシュROMと、前記第1BMCを前記第1フラッシュROMに接続するように構成された第1スイッチデバイスと、を含む、工程と、
前記第1フラッシュROMの前記第1フラッシュイメージをアクティブにする工程と、
前記第1ノード内の少なくとも1つのハードウェアコンポーネントがオンラインでない若しくはファームウェアアップデートの準備ができていないこと、第2フラッシュイメージが破損していること、及び/又は、前記第1ノードがOSを起動することができないことのうち少なくとも1つを判別する工程と、
前記第1BMCが、第2ノードに記憶された第2フラッシュROMに記憶された第2フラッシュイメージを取り出すことであって、前記第1BMCは、前記第2ノードの第2スイッチデバイスに接続されており、前記第2フラッシュイメージは、前記第1フラッシュイメージと同じである、工程と、
を有することを特徴とするファームウェアのアップデート方法。 - 前記第1ノードは、第1ストレージコントローラと、第3フラッシュイメージを記憶する第3フラッシュROMと、前記第1BMC又は第2BMCを前記第3フラッシュROMに接続する第3スイッチデバイスと、を含み、
前記第2ノードは、第2ストレージコントローラと、第4フラッシュイメージを記憶する第4フラッシュROMと、前記第1BMC又は前記第2BMCを前記第4フラッシュROMに接続する第4スイッチデバイスを含み、前記第4フラッシュイメージは、前記第3フラッシュイメージと同じである、ことを特徴とする請求項7に記載の方法。 - 前記第1フラッシュイメージは、第1BMCファームウェアフラッシュイメージを有し、前記第3フラッシュイメージは、第1ストレージスイッチエキスパンダコントローラファームウェアフラッシュイメージを有し、
前記第2フラッシュイメージは、第2BMCファームウェアフラッシュイメージを有し、前記第4フラッシュイメージは、第2ストレージスイッチエキスパンダコントローラファームウェアフラッシュイメージを有する、ことを特徴とする請求項8に記載の方法。 - 前記第1スイッチデバイス、前記第2スイッチデバイス、前記第3スイッチデバイス及び前記第4スイッチデバイスの各々は、マルチプレクサ(MUX)を備え、前記第1BMC及び前記第2BMCを多重化するように構成されている、ことを特徴とする請求項8に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/294,566 US11461085B2 (en) | 2019-03-06 | 2019-03-06 | Firmware upgrade method in multiple node storage system |
US16/294,566 | 2019-03-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144834A JP2020144834A (ja) | 2020-09-10 |
JP6850331B2 true JP6850331B2 (ja) | 2021-03-31 |
Family
ID=67262099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185198A Active JP6850331B2 (ja) | 2019-03-06 | 2019-10-08 | マルチノードストレージシステムにおけるファームウェアアップグレード方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11461085B2 (ja) |
EP (1) | EP3705999B1 (ja) |
JP (1) | JP6850331B2 (ja) |
CN (1) | CN111666111B (ja) |
TW (1) | TWI724415B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210216640A1 (en) * | 2020-01-10 | 2021-07-15 | Dell Products L.P. | Systems and methods for hardware root of trust with protected redundant memory for authentication failure scenarios |
CN116096479A (zh) | 2020-08-28 | 2023-05-09 | 东曹株式会社 | 一种cha型沸石及其制备方法 |
TWI764481B (zh) * | 2020-12-28 | 2022-05-11 | 技嘉科技股份有限公司 | 機箱管理控制裝置以及機箱管理控制系統 |
CN112783536A (zh) * | 2021-03-15 | 2021-05-11 | 英业达科技有限公司 | 利用基板管理控制器进行固件更新动作的伺服器*** |
TWI777664B (zh) * | 2021-07-12 | 2022-09-11 | 神雲科技股份有限公司 | 嵌入式系統的開機方法 |
CN113645067A (zh) * | 2021-08-03 | 2021-11-12 | 加弘科技咨询(上海)有限公司 | 多节点基板管理控制器的网络管理***及方法 |
US11809289B2 (en) * | 2021-10-15 | 2023-11-07 | Dell Products L.P. | High-availability (HA) management networks for high performance computing platforms |
US12045623B2 (en) | 2022-03-15 | 2024-07-23 | Quanta Computer Inc. | Systems and methods for memory content sharing between hosts and management controllers |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7809836B2 (en) * | 2004-04-07 | 2010-10-05 | Intel Corporation | System and method for automating bios firmware image recovery using a non-host processor and platform policy to select a donor system |
EP2145253B1 (en) * | 2007-04-13 | 2014-11-19 | International Business Machines Corporation | Automated firmware restoration to a peer programmable hardware device |
US7761734B2 (en) * | 2007-04-13 | 2010-07-20 | International Business Machines Corporation | Automated firmware restoration to a peer programmable hardware device |
CN102662702B (zh) | 2012-03-29 | 2015-08-19 | 华为技术有限公司 | 设备管理***、装置、基板管理装置及方法 |
US9280497B2 (en) * | 2012-12-21 | 2016-03-08 | Dell Products Lp | Systems and methods for support of non-volatile memory on a DDR memory channel |
US10620857B2 (en) * | 2014-10-31 | 2020-04-14 | Hewlett Packard Enterprise Development Lp | Combined backup power |
CN105700970A (zh) * | 2014-11-25 | 2016-06-22 | 英业达科技有限公司 | 服务器*** |
CN105718277B (zh) * | 2014-12-05 | 2020-04-10 | 中国长城科技集团股份有限公司 | 一种bios更新的保护方法、装置和*** |
TWI547873B (zh) | 2015-02-13 | 2016-09-01 | 營邦企業股份有限公司 | 端點伺服器的控制模組及其韌體更新方法 |
CN105988844A (zh) | 2015-03-02 | 2016-10-05 | 营邦企业股份有限公司 | 端点服务器的控制模块及其韧体更新方法 |
US9846617B2 (en) * | 2015-05-07 | 2017-12-19 | Dell Products, Lp | System and method for self-healing basic input/output system boot image and secure recovery |
CN105302248B (zh) * | 2015-11-13 | 2019-02-26 | 上海兆芯集成电路有限公司 | 芯片组以及服务器*** |
CN106201608A (zh) * | 2016-07-01 | 2016-12-07 | 南京百敖软件有限公司 | 计算机uefi固件更新方法 |
TWI602124B (zh) | 2017-01-20 | 2017-10-11 | 神雲科技股份有限公司 | 用於風扇轉速控制的基板管理控制器韌體更新方法 |
TWI633487B (zh) * | 2017-05-05 | 2018-08-21 | 神雲科技股份有限公司 | 自動回復基本輸入輸出系統映像檔的方法及電腦系統 |
TWI655582B (zh) * | 2017-09-12 | 2019-04-01 | 神雲科技股份有限公司 | 具有雙韌體儲存空間之伺服器及其韌體更新方法 |
-
2019
- 2019-03-06 US US16/294,566 patent/US11461085B2/en active Active
- 2019-05-02 TW TW108115186A patent/TWI724415B/zh active
- 2019-05-16 CN CN201910408708.3A patent/CN111666111B/zh active Active
- 2019-07-11 EP EP19185893.5A patent/EP3705999B1/en active Active
- 2019-10-08 JP JP2019185198A patent/JP6850331B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3705999A1 (en) | 2020-09-09 |
CN111666111A (zh) | 2020-09-15 |
US11461085B2 (en) | 2022-10-04 |
CN111666111B (zh) | 2023-03-24 |
EP3705999B1 (en) | 2022-04-27 |
TW202034165A (zh) | 2020-09-16 |
US20200285455A1 (en) | 2020-09-10 |
TWI724415B (zh) | 2021-04-11 |
JP2020144834A (ja) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6850331B2 (ja) | マルチノードストレージシステムにおけるファームウェアアップグレード方法 | |
DK3179359T3 (en) | PROCEDURE FOR SENDING DATA, PROCEDURE FOR RECEIVING DATA AND STORAGE UNIT | |
JP5909264B2 (ja) | セキュア・リカバリ装置及び方法 | |
US7743224B2 (en) | Method and apparatus for virtual load regions in storage system controllers | |
JP6064608B2 (ja) | ストレージ装置、バックアッププログラム、およびバックアップ方法 | |
US8341386B2 (en) | Method for updating basic input/output system and method for repairing thereof | |
US8204858B2 (en) | Snapshot reset method and apparatus | |
CN107045448A (zh) | 远程地启动部署程序的方法与服务器 | |
CN104081329A (zh) | 对数据进行备份的备份存储***、备份存储装置以及方法 | |
TW202030602A (zh) | 基本輸入/輸出系統的恢復及更新的方法及系統 | |
WO2014132373A1 (ja) | ストレージシステム及び記憶デバイス障害回復方法 | |
US9092398B2 (en) | Restoring expander operations in a data storage switch | |
US9846621B1 (en) | Disaster recovery—multiple restore options and automatic management of restored computing devices | |
US20090037655A1 (en) | System and Method for Data Storage and Backup | |
US9471256B2 (en) | Systems and methods for restoring data in a degraded computer system | |
US8346721B2 (en) | Apparatus and method to replicate remote virtual volumes to local physical volumes | |
US20130024726A1 (en) | System and method for removable network attached storage enabling system recovery from backup | |
US8856441B2 (en) | Dynamic hard disk mapping method and server using the same | |
JP2007323657A (ja) | 過渡状態情報を格納するための方法、システムおよびコンピュータ・プログラム | |
US7506115B2 (en) | Incremental provisioning of software | |
US20200026453A1 (en) | Method and system for dynamically expanding a storage system | |
WO2016006108A1 (ja) | ストレージおよびその制御方法 | |
JP2017041110A (ja) | マルチコンピュータシステム,管理装置および管理プログラム | |
TWI416319B (zh) | 使用獨立磁碟備援陣列之電腦系統的開機方法 | |
KR102260658B1 (ko) | 클라우드 환경 이중화 스토리지를 위한 어플라이언스 적용 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6850331 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |