JP4616674B2 - リソース貸借方法、および、リソース貸借システム - Google Patents

リソース貸借方法、および、リソース貸借システム Download PDF

Info

Publication number
JP4616674B2
JP4616674B2 JP2005080022A JP2005080022A JP4616674B2 JP 4616674 B2 JP4616674 B2 JP 4616674B2 JP 2005080022 A JP2005080022 A JP 2005080022A JP 2005080022 A JP2005080022 A JP 2005080022A JP 4616674 B2 JP4616674 B2 JP 4616674B2
Authority
JP
Japan
Prior art keywords
resource
lending
center
center device
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005080022A
Other languages
English (en)
Other versions
JP2006260433A (ja
Inventor
広幸 富沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2005080022A priority Critical patent/JP4616674B2/ja
Priority to US11/377,536 priority patent/US8688484B2/en
Publication of JP2006260433A publication Critical patent/JP2006260433A/ja
Application granted granted Critical
Publication of JP4616674B2 publication Critical patent/JP4616674B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1023Server selection for load balancing based on a hash applied to IP addresses or costs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1031Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、計算機におけるリソース貸借方法、および、リソース貸借システムに関する。
インターネットなどに接続されたコンピュータが、オンラインショッピングなどの業務を提供する形態が普及している。オンラインショッピングの商品販売会社などのサービスの提供者は、サービスを行うコンピュータ(サーバ装置)を自前で用意する代わりに、専門の業者から間借り(レンタル)して用意する形態を取っていることも多い。このように、インターネットに情報を発信するコンピュータを間貸しするサービスは、一般的にホスティング(hosting)と呼ばれる。
リソースは、ホスティングにおいてレンタルの対象となるコンピュータ資源である。コンピュータ資源は、例えば、アプリケーションソフトを実行するためのハードウェア資源(特定用途向けサーバ装置、CPU(Central Processing Unit)、メモリ、HDD(Hard Disk Drive)、ロードバランサなど)だけでなく、アプリケーションソフトなどのソフトウェア資源なども挙げられる。
なお、リソースのWebサービス表現の規定(Management Using Web Services)、および、Webサービスとしての管理方法の規定(Management Of Web Services)は、WSDM(Web Services Distributed Management)(非特許文献1参照)に記載されている。
ホスティング業者のセンタ装置(以下、センタ装置を単にセンタと略す)は、間貸しするリソースを有し、そのリソースをもとに業務をユーザに提供する。例えば、Webサーバというリソースをもとに、オンラインショッピングの商品カタログ提示という業務を、ユーザ端末に提供する。よって、センタは、業務ごとに必要なリソースを確保し、ホスティングを行っている。必要なリソースをユーザに提供する割当方法は、例えば、本願出願人による分散計算機の処理方法及びシステム(特許文献1)が挙げられる。
なお、Webサービスを使った状態を持ったリソースへの一般的なモデル化とアクセス方法の規定は、WSRF(Web Services Resource Framework)(非特許文献2)、および、WSRP(Web Services Resource Properties)(非特許文献3)に記載されている。
ここで、装置故障などの障害によるリソースの利用不可、アクセス集中などによるリソースの処理能力を超過する業務処理の発生などで、既にホスティングを行っているリソースが、一時的に不足する事態が発生することもある。そのため、従来は、リソースの一時的な不足が発生する前に、リソースの不足要因を予測して、他のセンタから予備のリソースを借用する契約を結んでいた。
なお、リソースを借用する契約は、例えば、リソースプロバイダとコンシューマー間の契約情報のやり取りの規定であるWS−Agreement(非特許文献4参照)に従って、行われる。リソースの不足が発生したときには、この予備のリソースを用いることにより、業務の停止を回避することができる。
特開2004−240671号公報(段落[0013]) OASIS(Organization for the Advancement of Structured Information Standards)、"WSDM(Web Services Distributed Management)"、[online]、[平成17年2月15日検索]、インターネット<URL:http://docs.oasis-open.org/wsdm/2004/12/wsdm-1.0.zip> OASIS、"WSRF(Web Services Resource Framework)"、[online]、[平成17年2月15日検索]、インターネット<URL:http://docs.oasis-open.org/wsrf/2004/11/wsrf-WS-Resource-1.2-draft-02.pdf> OASIS、"WSRP(Web Services Resource Properties)"、[online]、[平成17年2月15日検索]、インターネット<URL:http://docs.oasis-open.org/wsrf/2004/11/wsrf-WS-ResourceProperties-1.2-draft-05.pdf> GGF(Global grid forum)GRAAP−WG、"WS−Agreement"、[online]、[平成17年2月15日検索]、インターネット<URL:http://www.gridforum.org/Public#Comment#Docs/Documents/Public#Comment#2004/WS-AgreementSpecification#v2.pdf>
しかしながら、予備のリソースを借りる契約は、リソースの一時的な不足が発生する前に行われる固定的なものであり、融通性が無かった。よって、仮に、リソースの一時的な不足が発生しなくても、他のセンタからリソースを借り続ける費用は発生してしまう。この予備のリソースは、通常のホスティングを行うときには、使用しない無駄なリソースである。よって、予備のリソースを借りる固定的な契約では、センタのコストパフォーマンスが悪くなってしまう。
また、リソースの一時的な不足が発生したときにリソースを借りるという条件付きの契約とすれば、リソースの一時的な不足が発生するまでは、レンタル費用は発生しない。しかし、条件付きの契約を行う時期は、リソースの一時的な不足が発生する時期よりも前となる。よって、リソース部品の価格競争などにより、安いレンタル費用でリソースを提供するセンタが存在しているにもかかわらず、条件付きの契約を行ったセンタが提供する割高のリソースをレンタルしなくてはならず、コストパフォーマンスが悪くなってしまう。
そこで、本発明は、前記した問題を解決し、リソースの一時的な不足に対処できるホスティングを、低コストで実現することを主な目的とする。
前記課題を解決するため、本発明は、貸側センタ装置から借側センタ装置に計算機のリソースを貸し出すリソース貸借方法であって、
前記借側センタ装置が、
処理の要求元から順に、グローバルロードバランサ、ロードバランサ、Webサーバ、APサーバ、および、DBサーバが接続されて構成される業務システムを有し、
貸し出す対象のリソースに関するリソース情報を前記貸側センタ装置から受信して管理テーブルに登録する手順と、
前記借側センタ装置のリソース不足を検知してボトルネックを前記Webサーバとして特定する手順と、
ボトルネックを解消するための前記ロードバランサ、および、前記Webサーバを含むリソースを、前記管理テーブルから検索し、検索したリソースを有する前記貸側センタ装置のセンタリストを作成する手順と、
前記センタリストの前記貸側センタ装置に、リソースの貸し出しを要求する手順と、
前記グローバルロードバランサと要求により貸し出されたリソースである前記ロードバランサとを接続するとともに、前記APサーバと要求により貸し出されたリソースである前記Webサーバとを接続する処理を含む、要求により貸し出されたリソースにアプリケーションをデプロイする旨の要求を前記貸側センタ装置に行う手順と、
を実行することを特徴とする。
その他の手段は、後記する。
本発明は、リソース不足の発生後に、リソースを要求することにより、リソースの一時的な不足に対処できるホスティングを、低コストで実現することを可能とした。
以下に、本発明が適用されるリソース賃借システムの一実施形態について、図面を参照して詳細に説明する。まず、本実施形態のリソース賃借システムの構成について、図1から図8を参照して説明する。
図1は、リソースの仮想化を示す説明図である。リソースは、自センタ内に実際に存在する実リソース、または、他センタ内の実リソースの内容を説明する仮想リソースに分類できる。例えば、センタSXは9つの実リソース(RX1〜RX9)を有し、センタSBは3つの実リソース(RB1〜RB3)を有する。そして、センタSXは、自ら有する2つの実リソース(RX3、RX6)を、センタSBに、仮想リソース(RX3、RX6)として、公開している。
このように、所定のセンタが、自ら有する実リソースを、別のセンタにオブジェクト(仮想リソース)として公開することを、リソースの仮想化と呼ぶ。例えば、センタSXは、センタSBの他に、実リソース(RX1,RX2,RX3)を図示しないセンタSAへ貸し出すために公開し、実リソース(RX5,RX6)を図示しないセンタSCへ貸し出すために公開する。
なお、リソースRX3は、センタSAとセンタSBとの両方に公開しているが、所定の時期において貸し出せるのは、いずれか一方のセンタである。よって、公開したリソースは、他センタによって既に貸し出し済みとなっていることもあり、そのときには、リソースの貸し出しは行わない。
図2は、リソースの管理を示す説明図である。図2(a)は、センタSBが管理するリソースの一例を示す図である。センタSBは、自ら有する実リソース(RB1,RB2,RB3)の他に、センタSXから公開された仮想リソース(RX3、RX6)と、センタSYから公開された仮想リソース(RY1、RY2)と、を管理する。
図2(b)は、リソースの管理を階層化した図である。全リソースは、所属するセンタごとに分類され、各センタのリソースは、Web用、DB用などの用途別に分類される。
図3は、リソース賃借システムを示す構成図である。リソース賃借システムの各装置は、演算処理を行う際に用いられる記憶手段20としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備えるコンピュータとして構成される。なお、メモリは、RAM(Random Access Memory)などにより構成される。演算処理は、CPU(Central Processing Unit)によって構成される演算処理装置が、メモリ上のプログラムを実行することで、実現される。
センタSB(借側センタ)は、自ら有するリソースおよびセンタSX(貸側センタ)から借りたリソースをもとに、ホスティングサービスを提供する。そして、ユーザ端末1は、センタSXが提供するホスティングサービスを利用する端末である。
センタSBは、運用制御部10B、業務システム12B、FW/NAT14B、ユーザ側FW/NAT16B、および、記憶手段20を有する。センタSXは、運用制御部10X、業務システム12X、FW/NAT14Xを有する。FW(firewall)は、外部のネットワークから不正な侵入を防ぐファイアウォールを示し、NAT(Network Address Translation)は、1つのグローバルアドレスを複数のコンピュータで共有するためなどに使用されるアドレス変換を示す。
なお、センタSBとセンタSXとの関係は、リソースの賃借に関する相対的な関係にある。つまり、センタSXが別のホスティングサービスを提供するとき(つまり、借り側センタとなるとき)には、センタSXは、センタSBと同じ構成をとる。以下、各構成要素を具体的に説明する。
図4は、リソースの配備を示す説明図である。配備とは、業務を実現するアプリケーションを実行可能にするための前準備の総称であり、デプロイ(deploy)とも呼ばれる。前準備は、例えば、アプリケーションのインストールだけでなく、アプリケーションやアプリケーションが動作するOS(Operating System)の設定をデフォルト(初期設定)から、業務に適した設定に変更する設定処理も含む。
図4(a)は、運用制御部10Bおよび運用制御部10Xの役割を示す図である。センタSBの運用制御部10Bは、センタSXから借用したリソースをもとに、センタSXの運用制御部10Xに対して、配備を指示する。指示を受けた運用制御部10Xは、センタSBに貸し出したリソースに対して、配備を実行する。
図4(b)は、配備に伴って行われるネットワークの設定処理を説明する図である。この設定は、FW/NAT14B、FW/NAT14X、および、ユーザ側FW/NAT16Bに行われる。NATは、センタ内のローカルアドレス(LIP:Local IP Address)と、インターネット接続のためのグローバルアドレス(GIP:Global IP Address)の変換を行う。
まず、NATは、例えば、図4(b)に示すように、リソースごとにグローバルアドレスを割り振ってもよい(GIP「X」−LIP「A」、GIP「Y」−LIP「B」、GIP「Z」−LIP「C」)。GIP「X」−LIP「A」の表記は、グローバルアドレスの「X」は、ローカルアドレスの「A」と対応する意である。
一方、NATは、業務に割り振るGIPは固定数(例えば1個)としてもよい(GIP「Y」&Port「Y1」−LIP「A」&Port「α」、GIP「Y」&Port「Y2」−LIP「B」&Port「α」、GIP「Y」&Port「Y3」−LIP「C」&Port「α」)。GIP「Y」&Port「Y1」−LIP「A」&Port「α」の表記は、グローバルアドレスが「Y」でそのポート番号が「Y1」というエントリは、ローカルアドレスが「A」でそのポート番号が「α」というエントリと対応する意である。
図5〜図7は、業務システムを示す構成図である。業務システムとは、ホスティングサービスの業務を実行する計算機環境である。図5(a)は、リソースを借用する前の業務システム12Bを示す。図5(b)、図6、図7は、それぞれリソースを借用した後の業務システム12Bおよび業務システム12Xを示す。
LB(load balancer)は、受信したトランザクションを、Webサーバに振り分けることで、負荷分散を行う。Webサーバは、UI(User Interface)を提供し、その入力内容によりCGI(Common Gateway Interface)として、AP(Application)サーバを呼び出す。APサーバは、データアクセスを行うときには、DB(database)サーバを呼び出す。
なお、APサーバからDBサーバへのデータ要求は、例えば、SQL(Structured Query Language)メッセージを、SOAP(Simple Object Access Protocol)のプロトコルに乗せて転送することにより行われる。これにより、インターネットを経由し、ファイアウォール(FW/NAT14B、FW/NAT14X)を超えることができる。
リソースを借用した後の業務システム12X(図5(b)、図6、図7)には、さらに、GLB(Global load balancer)が追加される。GLBは、複数のLBを束ね、受信したトランザクションを、いずれかのLBに割り振る。これにより、エンドユーザからの要求(トランザクション)が振り分けられて、処理が独立化する。よって、複数のセンタに振り分けられるトランザクションについて、エンドユーザがGLBという1つの窓口を知っていればよいことになり、利便性がよい。
次に、3つの業務システム12X(図5(b)、図6、図7)のいずれかを採用するかを判定する方式を説明する。複数の業務システム12Xの候補から1つの業務システム12Xを選別する基準は、リソースの一時不足を発生させる要因であるボトルネックの位置である。ボトルネックは、Webサーバ、APサーバ、または、DBサーバとなる可能性がある。
まず、Webサーバがボトルネックのときには、図5(b)に示すように、LB、Webサーバを追加する方式を選択する。または、APサーバがボトルネックのときには、図6に示すように、LB、Webサーバ、APサーバを追加する方式を選択する。または、DBサーバがボトルネックのときには、図7に示すように、LB、Webサーバ、APサーバ、DBサーバを追加する方式を選択する。なお、図7の追加されたDBサーバは、追加前のDBサーバとデータのレプリケーション(同期処理)を行い、データを互いにミラーリングする。
このように、ボトルネックの位置によって、採用する業務システム12Xを選択する一例として、オンラインショッピングを挙げる。例えば、買い物の注文をしないで、商品を見ているユーザが多い場合は、商品のカタログを提示するWebサーバの負荷が高くなる。一方、買い物カゴに入れて注文をするユーザが多い場合は、APサーバ、または、DBサーバの負荷が高くなる。
図8は、リソース(自センタが保持する実リソース、他センタから公開された仮想リソース)を管理する記憶手段20を示す構成図である。センタリスト22は、リソースをレンタルする相手となるセンタ候補の一覧である。
管理テーブル24は、センタごとに、各センタがレンタル用に公開するリソースを提示するものである。公開するリソースは、用途別(Web用、DB用、AP用)に分類され、全台数とそこからレンタル可能な空き台数との組となる。また、ロケーションは、自センタと、各レコードのセンタとの間の通信遅延時間を示し、値が小さいほど自センタから近い位置に各レコードのセンタがあることを示している。
詳細テーブル26は、センタごとに用意されるテーブルであり、各センタの公開するリソースについての詳細情報を格納する。1つのレコードが1つのリソースに対応しており、例えば、項番1のリソースは、Webサーバに使用されるリソースであり、スペックが「Pen4、2[GHz]」、貸し出し可能期間が「05/01/01〜06/02/28」、レンタル価格が「5000円/h」である。
以上、リソース賃借システムの構成について、説明した。次に、本実施形態のリソース賃借システムの動作のうち、ユーザ登録における処理について、図1から図8を参照しつつ、図9から図11に沿って説明する。
図9は、リソースを管理する処理を示すフローチャートである。
まず、センタSBは、センタSXに、契約を実施する(S101)。なお、契約は、リソースの消費賃貸契約ではなく、センタSXがセンタSBに、貸し出す対象となるリソースに関する情報を提供する旨の契約である。この契約に基づいて、各センタは、一時的に融通し合えるリソースをお互いに連絡する。なお、この契約処理は、ネットワークを介してオンラインで行うこととしてもよいし、FD(flexible disk)媒体などのオフラインで行うこととしてもよい。
次に、センタSXは、センタSBに、S101の契約を行ったことを示す証明書(電子データ)を発行する(S102)。そして、センタSBは、S101の契約に従い、センタSXにリソース情報を要求する(S103)。さらに、センタSXは、S103の要求に含まれる契約の証明書を、S102で発行したものかどうかチェックする(S104)。そして、センタSXは、S104で確認がとれたときに、センタSBにリソース情報を返信する(S105)。さらに、センタSBは、受信したリソース情報をテーブル(管理テーブル24、詳細テーブル26)に登録する(S106)。
ここで、S105において、送信されるリソース情報の内容は、例えば以下のものが挙げられる。
・リソースのスペック
・空き情報
・レンタル価格
・ネットワーク構成(該当リソースが所属するネットワーク。該当リソースヘの配備ができるアドレスなど)
・稼動実績(遊休時間)
・リソース提供メーカー
・耐用年数
・稼動年数
なお、S105において、センタSXが公開しているリソース情報は、センタSXが抱えているすべてのリソースを見せているわけではなく、センタSBとの契約に基づいて、センタSXの少なくとも一部のリソースをセンタSB向けに公開している。例えば、センタSXとセンタSCにS101とは別の契約がある場合には、センタSXがセンタSBに見せている情報とセンタSCに見せている情報は、基本的に異なっている(結果的に同じ場合もありうる)。
また、S105において、センタSXは、時々刻々と変化するリソース状況情報をWebサービスのインタフェースで提供する。公開されている情報は、スナップショットでの情報(例えば1時間おきや30分おきなど)である。センタSBは、センタSXのリソースを使用すると判断したときに、そのリソースが既に他のセンタで使われている可能性があり、リソース状況情報としては古いものになってしまう。よって、リソース情報を取り込んだ時点で、その情報に変更があった場合は、センタSBは、センタSXに通知するように要求しておく。これにより、センタSBは、センタSXのリソース情報が変更した都度、センタSXから最新のリソース情報を取り込むことが可能になる。
さらに、リソース情報の返信(S105)およびテーブル(管理テーブル24、詳細テーブル26)の登録(S106)は、オンラインだけでなく、ダイレクトメールの郵送などのオフラインによる形式としてもよい。オフラインのときには、テーブル(管理テーブル24、詳細テーブル26)の登録(S106)は、紙面(ダイレクトメール)を元にした人手で行われることとなる。
ここで、センタSBとセンタSXは、ロケーション情報を測定する(S111)。そして、センタSXは、センタSBに、ロケーション情報の測定に対して応答する(S112)。具体的には、ロケーション情報は、自分センタと相手センタとの間の通信遅延である。自分センタは、相手センタのエンドポイントにアクセスすることで、応答時間を測定する。その測定結果の何回かの平均時間をもとめ、この情報をロケーション情報とする。よって、時間値が小さいほど、ネットワーク的距離が近いという判断である。さらに、センタSBは、S111およびS112で測定したロケーション情報を管理テーブル24に格納する(S113)。
ここで、センタSXは、リソース状態の変化を検知する(S121)。リソース状態の変化は、例えば、リソースの故障やリソース使用状況の変化(他センタへの貸し出しなど)などである。そして、センタSXは、センタSBに、検知したリソース状態の変更を通知する(S122)。さらに、センタSBは、受信したリソース情報をテーブル(管理テーブル24、詳細テーブル26)に登録する(S123)。
図10は、リソースの一時不足に対処する処理を示すフローチャートである。図10の動作は、図9の動作の後に行われる。
まず、センタSBは、ホスティングとして既に提供しているリソースの一時不足を検知し、その要因となるボトルネックを特定する(S201)。要因は、例えば、リソースの障害や一時的な混雑によるCPUの高負荷などであり、ボトルネックは、例えばWebサーバのみが混んでいる事象である。
なお、トランザクションの数は、時間とともに変化するのが一般的であり、ボトルネックは絶えず起こりうる。しかし、程度の小さいボトルネックまで全て対処すると、コストがかかってしまう。そこで、発生したボトルネックのうち、対処するボトルネックを選別する方法として、リソースを追加しなければ業務継続は不可と判断する程度の所定の閾値と発生したボトルネックとを比較することとしてもよい。この所定の閾値は、過去の統計データをもとに算出してもよい。
センタSBは、ボトルネックの特性に従って、ボトルネックを解消するリソースを自センタ内で検索し、発見できたら、他センタにリソースの貸し出しを要求する代わりに、自センタのリソースを割り当てる。一方、自センタ内に割り当てられるリソースがないときには、センタSBは、ボトルネックを解消するリソースを貸し出せるセンタを検索する(S202)。
なお、センタの検索処理(S202)は、後記する図11において、詳細に説明する。その概要として、センタSBは、S101の契約に基づいて他センタの公開されているリソース情報を取得する。そして、センタSBは、S201のリソースの一時不足による業務のボトルネックと、取得したリソース情報を比較し、ボトルネックの解消に一番最適なセンタを選択する。
そして、センタSBは、S202で検索したセンタSXに、リソース貸し出しを要求する(S203)。ここで、リソースを取得しに行った段階でリソースがない状況もありえる。よって、センタSBは、S202で比較した時点で優先度を決めて、リソースをとりに行くセンタリスト22を作成しておく。センタSBは、リソース情報の変更(S122)により逐次センタリスト22におけるセンタ間の優先度を書き換え、最適なリソース選択ができる可能性を高めておく。
さらに、センタSXは、センタSBに、リソース貸し出しの結果を通知する(S204)。リソース貸し出しの結果は、貸し出し了解または貸し出し却下がある。貸し出し却下のときには、リソースをとりに行くセンタリスト22の次候補のセンタに、リソース貸し出しを要求する(S203)。
このように、リソースの不足(S201)に連動してオンラインでリソースの消費賃貸契約を行う(S202、S203)ことにより、人手であいているリソースの情報を収集し、紙面でリソースの消費賃貸契約を行う作業に比べ、迅速なリソース不足の解消が実現できる。
そして、センタSBは、センタSXに、貸し出し了解により貸し出されたリソースに業務アプリの配備を要求する(S205)。さらに、センタSXは、センタSBからの配備要求を受け付ける(S206)。そして、センタSXは、業務アプリの配備を実施する(S207)。さらに、センタSXは、センタSBに配備完了を通知する(S208)。
ここで、センタSBは、業務アプリの配備(S207)に伴って、ネットワークの設定処理(FWの設定、NATの設定など)を行う。ネットワークの設定処理は、業務アプリを配備するための設定に加え、配備された業務アプリを、ユーザ端末に使用させるための設定も含む。
図11は、リソースを要求するセンタを検索する処理(図10のS202)を示すフローチャートである。
まず、センタSBは、S101で契約済のセンタに関する情報が格納されている管理テーブル24について、全エントリをチェックする(S301)。次に、センタSBは、S201のボトルネックに対して必要になった用途に合う空き台数を満たすエントリを抜き出し、センタリスト22を作成する(S302)。
そして、センタSBは、詳細テーブル26から、センタリスト22の全センタの詳細情報を参照する(S303)。さらに、センタSBは、詳細情報から利用可能なリソースを有していないセンタをセンタリスト22から除外する(S304)。利用可能なリソースは、例えば、借りたい期間に空いているリソース、要求スペックを満たしているリソースである。
そして、センタSBは、センタリスト22の全エントリについて詳細テーブル26のレンタル価格を参照して、センタごとのコストを計算する(S305)。さらに、センタSBは、ロケーション値の小さい順、コスト値の小さい順にセンタリスト22をソートする(S306)。なお、ロケーション値の小さい順にセンタをソートして、ロケーション値が同値のときにコスト値の小さい順にセンタをソートしてもよい。一方、コスト値の小さい順にセンタをソートして、コスト値が同値のときにロケーション値の小さい順にセンタをソートしてもよい。
なお、ロケーション値の小さいセンタからリソースをレンタルすることにより、低遅延でホスティングを提供できることとなり、アクセスするユーザ端末にとって、利点となる。一方、コスト値の小さいセンタからリソースをレンタルすることにより、低コストでホスティングの機材を調達できることとなり、センタにとって、利点となる。
そして、センタSBは、リソースが確保できるまで、センタリスト内のソート順で上位のセンタから順に、リソースを要求する(S307)。なお、ある一定以上のコストになる場合は、リソースのレンタルをあきらめることとしてもよい。
以上説明した本実施形態により、契約に基づいて選択したセンタから柔軟に貸し出しを受けることで、センタにとってホスティングをしてる業務のサービスレベルの維持が可能となる。さらに、リソースを提供してくれる契約センタは複数あることで、最適なリソースを貸してもらえる機会が増える。なお、リソース不足は、基本的には一時的なものであるが、将来にわたって不足すると考えられる場合は、S307においてリソースを購入してもよい。
以上説明した本発明は、以下のようにその趣旨を逸脱しない範囲で広く変形実施することができる。
例えば、センタリスト22の作成(S302)において、原則は、必要なリソースを1箇所のセンタからレンタルする集中型とした。これは、リソースを要求する手間を1回に簡略化するためである。しかし、必要なリソースが複数存在するときには、各リソースを複数箇所のセンタからレンタルする分散型としてもよい。これにより、各リソースを最も低コストでレンタルすることができる。
本発明の一実施形態に関するリソースの仮想化を示す説明図である。 本発明の一実施形態に関するリソースの管理を示す説明図である。 本発明の一実施形態に関するリソース賃借システムを示す構成図である。 本発明の一実施形態に関するリソースの配備を示す説明図である。 本発明の一実施形態に関する業務システムを示す構成図である。 本発明の一実施形態に関する業務システムを示す構成図である。 本発明の一実施形態に関する業務システムを示す構成図である。 本発明の一実施形態に関するリソースを管理する記憶手段を示す構成図である。 本発明の一実施形態に関するリソースを管理する処理を示すフローチャートである。 本発明の一実施形態に関するリソースの一時不足に対処する処理を示すフローチャートである。 本発明の一実施形態に関するリソースを要求するセンタを検索する処理を示すフローチャートである。
符号の説明
SB,SX センタ
10B,10X 運用制御部
12B,12X 業務システム
14B,14X FW/NAT
16B ユーザ側FW/NAT
20 記憶手段
22 センタリスト
24 管理テーブル
26 詳細テーブル

Claims (11)

  1. 貸側センタ装置から借側センタ装置に計算機のリソースを貸し出すリソース貸借方法であって、
    前記借側センタ装置が、
    処理の要求元から順に、グローバルロードバランサ、ロードバランサ、Webサーバ、APサーバ、および、DBサーバが接続されて構成される業務システムを有し、
    貸し出す対象のリソースに関するリソース情報を前記貸側センタ装置から受信して管理テーブルに登録する手順と、
    前記借側センタ装置のリソース不足を検知してボトルネックを前記Webサーバとして特定する手順と、
    ボトルネックを解消するための前記ロードバランサ、および、前記Webサーバを含むリソースを、前記管理テーブルから検索し、検索したリソースを有する前記貸側センタ装置のセンタリストを作成する手順と、
    前記センタリストの前記貸側センタ装置に、リソースの貸し出しを要求する手順と、
    前記グローバルロードバランサと要求により貸し出されたリソースである前記ロードバランサとを接続するとともに、前記APサーバと要求により貸し出されたリソースである前記Webサーバとを接続する処理を含む、要求により貸し出されたリソースにアプリケーションをデプロイする旨の要求を前記貸側センタ装置に行う手順と、
    を実行することを特徴とするリソース貸借方法。
  2. 貸側センタ装置から借側センタ装置に計算機のリソースを貸し出すリソース貸借方法であって、
    前記借側センタ装置が、
    処理の要求元から順に、グローバルロードバランサ、ロードバランサ、Webサーバ、APサーバ、および、DBサーバが接続されて構成される業務システムを有し、
    貸し出す対象のリソースに関するリソース情報を前記貸側センタ装置から受信して管理テーブルに登録する手順と、
    前記借側センタ装置のリソース不足を検知してボトルネックを前記APサーバとして特定する手順と、
    ボトルネックを解消するための前記ロードバランサ、前記Webサーバ、および、前記APサーバを含むリソースを、前記管理テーブルから検索し、検索したリソースを有する前記貸側センタ装置のセンタリストを作成する手順と、
    前記センタリストの前記貸側センタ装置に、リソースの貸し出しを要求する手順と、
    前記グローバルロードバランサと要求により貸し出されたリソースである前記ロードバランサとを接続するとともに、前記DBサーバと要求により貸し出されたリソースである前記APサーバとを接続する処理を含む、要求により貸し出されたリソースにアプリケーションをデプロイする旨の要求を前記貸側センタ装置に行う手順と、
    を実行することを特徴とするリソース貸借方法。
  3. 貸側センタ装置から借側センタ装置に計算機のリソースを貸し出すリソース貸借方法であって、
    前記借側センタ装置が、
    処理の要求元から順に、グローバルロードバランサ、ロードバランサ、Webサーバ、APサーバ、および、DBサーバが接続されて構成される業務システムを有し、
    貸し出す対象のリソースに関するリソース情報を前記貸側センタ装置から受信して管理テーブルに登録する手順と、
    前記借側センタ装置のリソース不足を検知してボトルネックを前記DBサーバとして特定する手順と、
    ボトルネックを解消するための前記ロードバランサ、前記Webサーバ、前記APサーバ、および、前記DBサーバを含むリソースを、前記管理テーブルから検索し、検索したリソースを有する前記貸側センタ装置のセンタリストを作成する手順と、
    前記センタリストの前記貸側センタ装置に、リソースの貸し出しを要求する手順と、
    前記グローバルロードバランサと要求により貸し出されたリソースである前記ロードバランサとを接続するとともに、前記業務システムの前記DBサーバと要求により貸し出されたリソースである前記DBサーバとの間でレプリケーションを行う処理を含む、要求により貸し出されたリソースにアプリケーションをデプロイする旨の要求を前記貸側センタ装置に行う手順と、
    を実行することを特徴とするリソース貸借方法。
  4. 前記リソース情報はコストを含み、前記センタリストを作成する手順は、コストが小さい候補を有するセンタ装置順に作成し、前記リソースの貸し出しを要求する手順は、前記センタリストの順に貸し出しを要求することを特徴とする請求項1ないし請求項3のいずれか1項に記載のリソース貸借方法。
  5. 前記借側センタ装置および前記貸側センタ装置は、互いの通信に関する通信遅延を測定し、前記センタリストを作成する手順は、通信遅延が小さいセンタ装置順に作成し、前記リソースの貸し出しを要求する手順は、前記センタリストの順に貸し出しを要求することを特徴とする請求項1ないし請求項3のいずれか1項に記載のリソース貸借方法。
  6. 前記アプリケーションをデプロイする旨の要求には、前記貸側センタ装置および前記借側センタ装置のファイアウォールを設定する要求を含めることを特徴とする請求項1ないし請求項5のいずれか1項に記載のリソース貸借方法。
  7. 前記アプリケーションをデプロイする旨の要求には、前記貸側センタ装置および前記借側センタ装置のNATを設定する要求を含めることを特徴とする請求項1ないし請求項5のいずれか1項に記載のリソース貸借方法。
  8. 貸側センタ装置から借側センタ装置に計算機のリソースを貸し出すリソース貸借システムであって、
    前記借側センタ装置は、処理の要求元から順に、グローバルロードバランサ、ロードバランサ、Webサーバ、APサーバ、および、DBサーバが接続されて構成される業務システムを有し、
    前記貸側センタ装置は、
    貸し出す対象のリソースに関するリソース情報を前記借側センタ装置に送信し、
    前記リソース情報のリソースの貸し出しの要求を前記借側センタ装置から受け付け、リソースの貸し出す構成を有し、
    前記借側センタ装置は、
    前記貸側センタ装置から受信した、貸し出す対象のリソースに関する前記リソース情報を登録する管理テーブルと、
    前記借側センタ装置のリソース不足を検知してボトルネックを前記Webサーバとして特定し、
    ボトルネックを解消するための前記ロードバランサ、および、前記Webサーバを含むリソースを、前記管理テーブルから検索し、検索したリソースを有する前記貸側センタ装置のセンタリストを作成し、
    前記センタリストの前記貸側センタ装置に、リソースの貸し出しを要求し、
    前記グローバルロードバランサと要求により貸し出されたリソースである前記ロードバランサとを接続するとともに、前記APサーバと要求により貸し出されたリソースである前記Webサーバとを接続する処理を含む、要求により貸し出されたリソースにアプリケーションをデプロイする旨の要求を前記貸側センタ装置に行う運用制御部を有すること
    を特徴とするリソース貸借システム。
  9. 貸側センタ装置から借側センタ装置に計算機のリソースを貸し出すリソース貸借システムであって、
    前記借側センタ装置は、処理の要求元から順に、グローバルロードバランサ、ロードバランサ、Webサーバ、APサーバ、および、DBサーバが接続されて構成される業務システムを有し、
    前記貸側センタ装置は、
    貸し出す対象のリソースに関するリソース情報を前記借側センタ装置に送信し、
    前記リソース情報のリソースの貸し出しの要求を前記借側センタ装置から受け付け、リソースの貸し出す構成を有し、
    前記借側センタ装置は、
    前記貸側センタ装置から受信した、貸し出す対象のリソースに関する前記リソース情報を登録する管理テーブルと、
    前記借側センタ装置のリソース不足を検知してボトルネックを前記APサーバとして特定し、
    ボトルネックを解消するための前記ロードバランサ、前記Webサーバ、および、前記APサーバを含むリソースを、前記管理テーブルから検索し、検索したリソースを有する前記貸側センタ装置のセンタリストを作成し、
    前記センタリストの前記貸側センタ装置に、リソースの貸し出しを要求し、
    前記グローバルロードバランサと要求により貸し出されたリソースである前記ロードバランサとを接続するとともに、前記DBサーバと要求により貸し出されたリソースである前記APサーバとを接続する処理を含む、要求により貸し出されたリソースにアプリケーションをデプロイする旨の要求を前記貸側センタ装置に行う運用制御部を有すること
    を特徴とするリソース貸借システム。
  10. 貸側センタ装置から借側センタ装置に計算機のリソースを貸し出すリソース貸借システムであって、
    前記借側センタ装置は、処理の要求元から順に、グローバルロードバランサ、ロードバランサ、Webサーバ、APサーバ、および、DBサーバが接続されて構成される業務システムを有し、
    前記貸側センタ装置は、
    貸し出す対象のリソースに関するリソース情報を前記借側センタ装置に送信し、
    前記リソース情報のリソースの貸し出しの要求を前記借側センタ装置から受け付け、リソースの貸し出す構成を有し、
    前記借側センタ装置は、
    前記貸側センタ装置から受信した、貸し出す対象のリソースに関する前記リソース情報を登録する管理テーブルと、
    前記借側センタ装置のリソース不足を検知してボトルネックを前記DBサーバとして特定し、
    ボトルネックを解消するための前記ロードバランサ、前記Webサーバ、前記APサーバ、および、前記DBサーバを含むリソースを、前記管理テーブルから検索し、検索したリソースを有する前記貸側センタ装置のセンタリストを作成し、
    前記センタリストの前記貸側センタ装置に、リソースの貸し出しを要求し、
    前記グローバルロードバランサと要求により貸し出されたリソースである前記ロードバランサとを接続するとともに、前記業務システムの前記DBサーバと要求により貸し出されたリソースである前記DBサーバとの間でレプリケーションを行う処理を含む、要求により貸し出されたリソースにアプリケーションをデプロイする旨の要求を前記貸側センタ装置に行う運用制御部を有すること
    を特徴とするリソース貸借システム。
  11. 前記リソース情報はコストを含み、前記センタリストを作成するときは、コストが小さい候補を有するセンタ装置順に作成し、リソースの貸し出しを要求するときは、前記センタリストの順に貸し出しを要求し、
    前記借側センタ装置および前記貸側センタ装置は、互いの通信に関する通信遅延を測定し、前記センタリストを作成するときは、通信遅延が小さいセンタ装置順に作成し、リソースの貸し出しを要求するときは、前記センタリストの順に貸し出しを要求すること
    を特徴とする請求項8ないし請求項10のいずれか1項に記載のリソース貸借システム。
JP2005080022A 2005-03-18 2005-03-18 リソース貸借方法、および、リソース貸借システム Active JP4616674B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005080022A JP4616674B2 (ja) 2005-03-18 2005-03-18 リソース貸借方法、および、リソース貸借システム
US11/377,536 US8688484B2 (en) 2005-03-18 2006-03-17 Method and system for managing computer resource in system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005080022A JP4616674B2 (ja) 2005-03-18 2005-03-18 リソース貸借方法、および、リソース貸借システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010213460A Division JP4982600B2 (ja) 2010-09-24 2010-09-24 リソース貸借方法、および、リソース貸借システム

Publications (2)

Publication Number Publication Date
JP2006260433A JP2006260433A (ja) 2006-09-28
JP4616674B2 true JP4616674B2 (ja) 2011-01-19

Family

ID=37010335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005080022A Active JP4616674B2 (ja) 2005-03-18 2005-03-18 リソース貸借方法、および、リソース貸借システム

Country Status (2)

Country Link
US (1) US8688484B2 (ja)
JP (1) JP4616674B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873732B2 (en) * 2005-04-28 2011-01-18 International Business Machines Corporation Maintaining service reliability in a data center using a service level objective provisioning mechanism
CN100534047C (zh) * 2006-04-28 2009-08-26 国际商业机器公司 对Web服务资源的基于属性的索引和/或查询方法及***
US20080005317A1 (en) * 2006-06-30 2008-01-03 International Business Machines Corporation Method and apparatus for cross-tier management in multi-tier computing system architecture
JP4823026B2 (ja) * 2006-11-10 2011-11-24 富士通株式会社 サービス評価システム、サービス評価方法、および、サービス評価プログラム
JP2011113268A (ja) * 2009-11-26 2011-06-09 Nomura Research Institute Ltd クラウドファサード管理システム
JP2013073406A (ja) * 2011-09-27 2013-04-22 Toshiba Corp サービス運用装置、サービス運用プログラム、サービス運用システム
EP2767936A1 (en) * 2013-02-15 2014-08-20 Fujitsu Limited A catalogue manager and methods for managing subscriptions
US10754697B2 (en) 2018-01-29 2020-08-25 Bank Of America Corporation System for allocating resources for use in data processing operations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282760A (ja) * 2000-03-30 2001-10-12 Nec Corp マルチドメインに対応した品質保証型通信サービス提供方式およびサービス提供方法並びにサービス仲介装置
JP2004508616A (ja) * 2000-06-20 2004-03-18 テラスプリング・インコーポレーテッド 拡張可能コンピューティングシステムの制御方法および装置
JP2004252975A (ja) * 2003-02-21 2004-09-09 Internatl Business Mach Corp <Ibm> 自己最適化のために観察されたリソース要件を使用するオートノミック・サービス・ルーティング

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400710B1 (en) * 1999-07-09 2002-06-04 Enron Warspeed Services, Inc. Network with hot button for providing switched broadband multipoint/multimedia intercommunication
US6597956B1 (en) 1999-08-23 2003-07-22 Terraspring, Inc. Method and apparatus for controlling an extensible computing system
US6594784B1 (en) 1999-11-17 2003-07-15 International Business Machines Corporation Method and system for transparent time-based selective software rejuvenation
WO2002075622A2 (en) * 2001-03-20 2002-09-26 Abraham Blau System and method for item exchange
JP2004240671A (ja) 2003-02-05 2004-08-26 Hitachi Ltd 分散計算機の処理方法及びシステム
US7350186B2 (en) * 2003-03-10 2008-03-25 International Business Machines Corporation Methods and apparatus for managing computing deployment in presence of variable workload
US20050216949A1 (en) * 2004-03-23 2005-09-29 Ray Candelora Systems and methods for a universal media server with integrated networking and telephony
US20050273668A1 (en) * 2004-05-20 2005-12-08 Richard Manning Dynamic and distributed managed edge computing (MEC) framework

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282760A (ja) * 2000-03-30 2001-10-12 Nec Corp マルチドメインに対応した品質保証型通信サービス提供方式およびサービス提供方法並びにサービス仲介装置
JP2004508616A (ja) * 2000-06-20 2004-03-18 テラスプリング・インコーポレーテッド 拡張可能コンピューティングシステムの制御方法および装置
JP2004252975A (ja) * 2003-02-21 2004-09-09 Internatl Business Mach Corp <Ibm> 自己最適化のために観察されたリソース要件を使用するオートノミック・サービス・ルーティング

Also Published As

Publication number Publication date
US20060210051A1 (en) 2006-09-21
US8688484B2 (en) 2014-04-01
JP2006260433A (ja) 2006-09-28

Similar Documents

Publication Publication Date Title
JP4616674B2 (ja) リソース貸借方法、および、リソース貸借システム
US11846978B2 (en) Cascaded discovery of information environment
US7788375B2 (en) Coordinating the monitoring, management, and prediction of unintended changes within a grid environment
KR102009055B1 (ko) 클라우드 선택을 위한 코디네이션 엔진
US8903996B2 (en) Operating cloud computing services and cloud computing information system
CN101309175B (zh) 网格许可服务器和容错网格***及使用方法
US8396757B2 (en) Estimating future grid job costs by classifying grid jobs and storing results of processing grid job microcosms
US7502850B2 (en) Verifying resource functionality before use by a grid job submitted to a grid environment
JP5340610B2 (ja) 複数の構成要素を管理するためのコンピュータ・システム、並びにその方法及びコンピュータ・プログラム
JP5914245B2 (ja) 多階層の各ノードを考慮した負荷分散方法
US20060149652A1 (en) Receiving bid requests and pricing bid responses for potential grid job submissions within a grid environment
JP4982600B2 (ja) リソース貸借方法、および、リソース貸借システム
US20150195141A1 (en) Apparatus and method for data center migration
Livadariu et al. A first look at IPv4 transfer markets
CN106462444A (zh) 云提供商选择和投影的架构及方法
US20150193862A1 (en) Architecture and method for implementing a marketplace for data center resources
US11734136B1 (en) Quick disaster recovery in distributed computing environment
KR20190015817A (ko) 미들웨어를 이용한 모니터링 방법, 장치 및 시스템
US20150193128A1 (en) Virtual data center graphical user interface
Nzanzu et al. Monitoring and resource management taxonomy in interconnected cloud infrastructures: a survey
Stack et al. Self-healing in a decentralised cloud management system
WO2015103560A2 (en) Architecture and method for cloud provider selection and projection
JP6515597B2 (ja) 管理プログラム、管理方法、管理装置
Leite et al. Functionalities in grid computing with active services
US10819777B1 (en) Failure isolation in a distributed system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101022

R150 Certificate of patent or registration of utility model

Ref document number: 4616674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3