JP5695324B2 - スプリットブレイン状況におけるメジャーグループを決定するための方法、システム、及びコンピュータ読み取り可能な記録媒体 - Google Patents
スプリットブレイン状況におけるメジャーグループを決定するための方法、システム、及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP5695324B2 JP5695324B2 JP2010021344A JP2010021344A JP5695324B2 JP 5695324 B2 JP5695324 B2 JP 5695324B2 JP 2010021344 A JP2010021344 A JP 2010021344A JP 2010021344 A JP2010021344 A JP 2010021344A JP 5695324 B2 JP5695324 B2 JP 5695324B2
- Authority
- JP
- Japan
- Prior art keywords
- group
- nodes
- major
- node
- distributed environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 42
- 210000004556 brain Anatomy 0.000 title description 44
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/142—Reconfiguring to eliminate the error
- G06F11/1425—Reconfiguring to eliminate the error by reconfiguration of node membership
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Hardware Redundancy (AREA)
Description
以下、本発明の属する技術の分野における通常の知識を有する者が、本発明を容易に実施することができるようにするため、添付した図面に基づき、本発明の好適な実施形態について詳述する。
図2は、本発明の一実施形態による分散環境を概略的に示す図である。
本発明の一実施形態によると、クライアントライブラリとの通信は、マスタークラスターマネージャーを通じてのみ行われ、他の補助クラスターマネージャーは、マスタークラスターマネージャーの状態情報のレプリカをリアルタイムで保持することができる。マスタークラスターマネージャーの障害時は、補助クラスターマネージャーのうち、新たなマスタークラスターマネージャーが選出される。
分散環境では、複数のプロセスまたはスレッドが一つの作業を協働して行うことが多いが、プロセスまたはスレッドに含まれた複数のトランザクションが一つのデータに対して同時に読みまたは書き作業を行う場合、誤った結果をもたらすことがあるので、複数のトランザクションから共通にアクセス可能なデータの保護が必要である。これは、分散環境に含まれたそれぞれのコンピュータが互いにデータを共有する場合も、同様である。したがって、分散環境において、一つのトランザクションによって用いられるデータに、他のトランザクションがアクセスできないようにするロック機能も必要とされ得る。
上述したように、分散コンピューティングの条件として、耐故障性の保障が必須であるといえるが、本発明の一実施形態によると、分散環境に参加するクライアント300のロック情報及びクライアント300に対するイベント通知処理は、分散環境管理システム200に含まれたクラスターマネージャー及びイベントマネージャーによって管理されるので、クラスターマネージャーまたはイベントマネージャーに障害が発生する場合、分散環境に参加した全てのクライアント300の作業が正常に行われなくなるという問題点が生じる。
本発明の一実施形態によると、分散環境管理システム200は、スプリットブレインが感知される場合、コーラムアルゴリズムを適用してマスターノードを選出するようになる。以下では、図4を参照して、より具体的に説明する。
‐初期グループの総ノード数:2N+1
‐コーラムの最小数:N+1
‐書き作業が可能な最小限のノード個数=コーラムの個数=N+1(Nは整数)
本発明の一実施形態によると、分散環境管理システム200は、履歴テーブルを用いて、データの整合性を保障すると共に、サービスの連続性をさらに高度化することができる。
200 分散環境管理システム
300 クライアント
Claims (12)
- ネットワークベースの分散環境において、複数のノードで構成された初期グループが第1グループと第2グループに分離された場合、前記複数のノードのうち少なくとも一つのノードが、前記第1のグループまたは前記第2グループのうちからメジャーグループを決定するための方法であって、
前記第1グループのノード数と前記第2グループのノード数とを比較し、
前記ノード数の差が所定の基準値を超える場合、前記第1グループ及び前記第2グループのうち、より多くのノードを含むグループを前記メジャーグループと決定し、
前記第1グループのノード数と前記第2グループのノード数との差が、前記所定の基準値以下である場合、前記第1グループのノード及び前記第2グループのノードの履歴情報を取得し、履歴テーブルに保存された前記履歴情報を用いて、前記第1グループまたは前記第2グループをメジャーグループと決定する
ことを特徴とするメジャーグループの決定方法。 - 前記履歴情報は、前記第1グループのノード及び前記第2グループのノードが前記初期グループに合流した時点の情報を含むことを特徴とする請求項1に記載のメジャーグループの決定方法。
- 前記履歴情報を用いて、前記第1グループまたは前記第2グループをメジャーグループと決定することは、前記第1グループ及び前記第2グループのうち、前記初期グループに合流した時点が最も早いノードが含まれたグループを前記メジャーグループと決定することを特徴とする請求項2に記載のメジャーグループの決定方法。
- 前記履歴情報を用いて、前記第1グループまたは前記第2グループをメジャーグループと決定することは、前記第1グループ及び前記第2グループのうち、前記初期グループにおいてマスターノードであったノードが含まれたグループを前記メジャーグループと決定することを特徴とする請求項1に記載のメジャーグループの決定方法。
- 前記第1グループ及び前記第2グループは、前記初期グループが少なくとも2回分離されることにより生成され、
前記履歴情報を用いて、前記第1グループまたは前記第2グループをメジャーグループと決定することは、前記第1グループ及び前記第2グループが、最近、共通に属していたグループがメジャーグループであった場合にのみ、前記第1グループまたは前記第2グループをメジャーグループと決定することを特徴とする請求項1に記載のメジャーグループの決定方法。 - 特定のデータに対する読みまたは書き作業は、前記メジャーグループに属するノードに対してのみ許容されることを特徴とする請求項1に記載のメジャーグループの決定方法。
- 前記特定のデータは、前記分散環境におけるロック情報であることを特徴とする請求項6に記載のメジャーグループの決定方法。
- 前記履歴情報は、前記複数のノードのそれぞれに複製された履歴テーブルに含まれた情報であることを特徴とする請求項1に記載のメジャーグループの決定方法。
- 前記履歴テーブルは、前記複数のノードのそれぞれが、前記初期グループに合流した時点に関する情報を含むことを特徴とする請求項8に記載のメジャーグループの決定方法。
- 請求項1から9のいずれか一項に記載のメジャーグループの決定方法を実行するためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体。
- 複数のノードで構成される分散環境管理システムであって、
前記複数のノードの履歴テーブルに保存された履歴情報を含み、
前記複数のノードの少なくとも一つは、初期グループが第1グループと第2グループに分離された場合には、前記第1グループのノード数と前記第2グループのノード数とを比較し、
前記第1グループのノード数と前記第2グループのノード数との差が、所定の基準値を超える場合、前記第1グループ及び前記第2グループのうち、より多くのノードを含むグループを前記メジャーグループと決定し、
前記第1グループのノード数と前記第2グループのノード数との差が、所定の基準値以下である場合、前記履歴情報かを用いて、前記第1グループまたは前記第2グループをメジャーグループと決定することを特徴とする分散環境管理システム。 - 前記履歴情報には、前記複数のノードのそれぞれが、前記初期グループに合流した時点に関する情報、及び前記複数のノードのそれぞれが、最近、属していたグループの状態に関する情報が含まれることを特徴とする請求項11に記載の分散環境管理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2009-0011636 | 2009-02-12 | ||
KR1020090011636A KR101042908B1 (ko) | 2009-02-12 | 2009-02-12 | 네트워크 분리 장애 상황에서 메이저 그룹을 결정하기 위한방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010186472A JP2010186472A (ja) | 2010-08-26 |
JP5695324B2 true JP5695324B2 (ja) | 2015-04-01 |
Family
ID=42541281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010021344A Active JP5695324B2 (ja) | 2009-02-12 | 2010-02-02 | スプリットブレイン状況におけるメジャーグループを決定するための方法、システム、及びコンピュータ読み取り可能な記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8412790B2 (ja) |
JP (1) | JP5695324B2 (ja) |
KR (1) | KR101042908B1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101882808B1 (ko) * | 2011-09-30 | 2018-07-30 | 삼성전자 주식회사 | 혼합 네트워크 기반의 멀티 코어 프로세서 |
KR102243793B1 (ko) | 2013-06-18 | 2021-04-26 | 시암벨라 리미티드 | 코드 가상화 및 원격 프로세스 호출 생성을 위한 방법 및 장치 |
US10747475B2 (en) | 2013-08-26 | 2020-08-18 | Vmware, Inc. | Virtual disk blueprints for a virtualized storage area network, wherein virtual disk objects are created from local physical storage of host computers that are running multiple virtual machines |
US11016820B2 (en) | 2013-08-26 | 2021-05-25 | Vmware, Inc. | Load balancing of resources |
US9672115B2 (en) | 2013-08-26 | 2017-06-06 | Vmware, Inc. | Partition tolerance in cluster membership management |
US9887924B2 (en) | 2013-08-26 | 2018-02-06 | Vmware, Inc. | Distributed policy-based provisioning and enforcement for quality of service |
US9811531B2 (en) | 2013-08-26 | 2017-11-07 | Vmware, Inc. | Scalable distributed storage architecture |
US9619122B2 (en) | 2014-01-10 | 2017-04-11 | Ciambella Ltd. | Method and apparatus for automatic device program generation |
US9363732B2 (en) | 2014-06-24 | 2016-06-07 | Google Inc. | Mesh network commissioning |
US9723064B1 (en) | 2014-09-02 | 2017-08-01 | Amazon Technologies, Inc. | Hybrid quorum policies for durable consensus in distributed systems |
CN105450717A (zh) * | 2014-09-29 | 2016-03-30 | 中兴通讯股份有限公司 | 集群脑裂处理方法和装置 |
WO2016106682A1 (zh) * | 2014-12-31 | 2016-07-07 | 华为技术有限公司 | 一种集群脑裂后仲裁处理方法、仲裁存储装置以及*** |
WO2016161266A1 (en) | 2015-04-02 | 2016-10-06 | Google Inc. | Efficient network stack for wireless application protocols |
CN107750356B (zh) | 2015-05-08 | 2020-02-14 | 西安姆贝拉有限公司 | 用于一组基于控制器的装置的自动软件开发的方法和设备 |
US10067490B2 (en) | 2015-05-08 | 2018-09-04 | Ciambella Ltd. | Method and apparatus for modifying behavior of code for a controller-based device |
US10049011B2 (en) * | 2016-05-03 | 2018-08-14 | International Business Machines Corporation | Continuing operation of a quorum based system after failures |
CN106027634B (zh) * | 2016-05-16 | 2019-06-04 | 白杨 | 消息端***换服务*** |
CN107919977B (zh) * | 2016-10-11 | 2021-09-03 | 阿里巴巴集团控股有限公司 | 一种基于Paxos协议的在线扩容、在线缩容的方法和装置 |
US20180144279A1 (en) * | 2016-11-22 | 2018-05-24 | Sap Se | Network separator for transportation resource planning |
SG11201908483SA (en) | 2017-03-14 | 2019-10-30 | Ciambella Ltd | Method and apparatus for automatically generating and incorporating code in development environments |
JP6984437B2 (ja) | 2018-01-24 | 2021-12-22 | 富士通株式会社 | 処理の引継ぎ方法、クラスタ構築プログラム及びクラスタ構築装置 |
US11544228B2 (en) * | 2020-05-07 | 2023-01-03 | Hewlett Packard Enterprise Development Lp | Assignment of quora values to nodes based on importance of the nodes |
CN112003916B (zh) | 2020-08-14 | 2022-05-13 | 苏州浪潮智能科技有限公司 | 一种基于异构存储的集群仲裁的方法、***、设备及介质 |
CN113810216B (zh) * | 2020-12-31 | 2024-06-18 | 京东科技控股股份有限公司 | 一种集群的故障切换方法、装置及电子设备 |
WO2023148976A1 (ja) * | 2022-02-07 | 2023-08-10 | 株式会社Pfu | ノード装置、クラスタ再構成方法、プログラム及びクラスタシステム |
WO2023148977A1 (ja) * | 2022-02-07 | 2023-08-10 | 株式会社Pfu | ノード装置、クラスタ管理方法、プログラム及びクラスタシステム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5999712A (en) * | 1997-10-21 | 1999-12-07 | Sun Microsystems, Inc. | Determining cluster membership in a distributed computer system |
US6437804B1 (en) * | 1997-10-23 | 2002-08-20 | Aprisma Management Technologies, Inc | Method for automatic partitioning of node-weighted, edge-constrained graphs |
JP3134864B2 (ja) * | 1997-12-09 | 2001-02-13 | 日本電気株式会社 | システム結合装置のリカバリシステムおよびリカバリプログラムを記録した記録媒体 |
US6363495B1 (en) * | 1999-01-19 | 2002-03-26 | International Business Machines Corporation | Method and apparatus for partition resolution in clustered computer systems |
US6542929B1 (en) * | 1999-08-31 | 2003-04-01 | International Business Machines Corporation | Relaxed quorum determination for a quorum based operation |
US6662219B1 (en) * | 1999-12-15 | 2003-12-09 | Microsoft Corporation | System for determining at subgroup of nodes relative weight to represent cluster by obtaining exclusive possession of quorum resource |
US7792977B1 (en) * | 2001-02-28 | 2010-09-07 | Oracle International Corporation | Method for fencing shared resources from cluster nodes |
US6950855B2 (en) * | 2002-01-18 | 2005-09-27 | International Business Machines Corporation | Master node selection in clustered node configurations |
KR100553920B1 (ko) * | 2003-02-13 | 2006-02-24 | 인터내셔널 비지네스 머신즈 코포레이션 | 컴퓨터 클러스터 운영 방법 |
JP3808874B2 (ja) * | 2004-03-12 | 2006-08-16 | 東芝ソリューション株式会社 | 分散システム及び多重化制御方法 |
US7403945B2 (en) * | 2004-11-01 | 2008-07-22 | Sybase, Inc. | Distributed database system providing data and space management methodology |
US7739677B1 (en) * | 2005-05-27 | 2010-06-15 | Symantec Operating Corporation | System and method to prevent data corruption due to split brain in shared data clusters |
JP4958034B2 (ja) * | 2006-04-28 | 2012-06-20 | 克秀 浅沼 | グループ分けシステム、グループ分け管理サーバ及びグループ分けプログラム |
JP4505763B2 (ja) * | 2007-01-31 | 2010-07-21 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | ノードクラスタの管理 |
US8001413B2 (en) * | 2008-05-05 | 2011-08-16 | Microsoft Corporation | Managing cluster split-brain in datacenter service site failover |
US8024432B1 (en) * | 2008-06-27 | 2011-09-20 | Symantec Corporation | Method and apparatus for partitioning a computer cluster through coordination point devices |
-
2009
- 2009-02-12 KR KR1020090011636A patent/KR101042908B1/ko active IP Right Grant
-
2010
- 2010-02-02 JP JP2010021344A patent/JP5695324B2/ja active Active
- 2010-02-09 US US12/702,663 patent/US8412790B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8412790B2 (en) | 2013-04-02 |
KR101042908B1 (ko) | 2011-06-21 |
US20100205273A1 (en) | 2010-08-12 |
JP2010186472A (ja) | 2010-08-26 |
KR20100092331A (ko) | 2010-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5695324B2 (ja) | スプリットブレイン状況におけるメジャーグループを決定するための方法、システム、及びコンピュータ読み取り可能な記録媒体 | |
US10127123B2 (en) | Locality based quorums | |
US7143123B2 (en) | Well-known transactions in data replication | |
US6889253B2 (en) | Cluster resource action in clustered computer system incorporation prepare operation | |
KR100326982B1 (ko) | 높은 크기 조정 가능성을 갖는 고 가용성 클러스터 시스템 및 그 관리 방법 | |
JP4637842B2 (ja) | クラスタ化されたコンピューティングシステムにおける高速なアプリケーション通知 | |
US20150161016A1 (en) | Method and system of self-managing nodes of a distributed database cluster with a consensus algorithm | |
WO2016070375A1 (zh) | 一种分布式存储复制***和方法 | |
WO2018107772A1 (zh) | 写入请求处理方法、装置及设备 | |
JP6059216B2 (ja) | 分散構成管理のための方法および装置 | |
JP7389793B2 (ja) | 分散型異種ストレージシステムにおけるデータ一貫性のリアルタイムチェックのための方法、デバイス、およびシステム | |
US6968359B1 (en) | Merge protocol for clustered computer system | |
US8943082B2 (en) | Self-assignment of node identifier in a cluster system | |
US10367676B1 (en) | Stable leader selection for distributed services | |
US9069571B2 (en) | Propagation of unique device names in a cluster system | |
US8788465B2 (en) | Notification of configuration updates in a cluster system | |
CN106462475A (zh) | 用于支持分布式数据网格中的分布式数据结构的***和方法 | |
CN110830582B (zh) | 一种基于服务器集群选主方法和装置 | |
US20080313330A1 (en) | Hidden Group Membership in Clustered Computer System | |
US10169441B2 (en) | Synchronous data replication in a content management system | |
Diack et al. | CAP theorem between claims and misunderstandings: what is to be sacrificed | |
US20120209821A1 (en) | Validation of access to a shared data record subject to read and write access by multiple requesters | |
JP2022503583A (ja) | 分散コンピューティング環境で分散調整エンジンを非破壊的にアップグレードする方法、装置およびシステム | |
Pankowski | Consistency and availability of Data in replicated NoSQL databases | |
CN116974983A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140317 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140320 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5695324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |