JP6026451B2 - Route control device - Google Patents

Route control device Download PDF

Info

Publication number
JP6026451B2
JP6026451B2 JP2014038073A JP2014038073A JP6026451B2 JP 6026451 B2 JP6026451 B2 JP 6026451B2 JP 2014038073 A JP2014038073 A JP 2014038073A JP 2014038073 A JP2014038073 A JP 2014038073A JP 6026451 B2 JP6026451 B2 JP 6026451B2
Authority
JP
Japan
Prior art keywords
bandwidth
cache
parallel processing
processing unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014038073A
Other languages
Japanese (ja)
Other versions
JP2015162841A (en
Inventor
拓紀 伊達
拓紀 伊達
健一 樋口
健一 樋口
片山 勝
勝 片山
宏明 小川
宏明 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014038073A priority Critical patent/JP6026451B2/en
Publication of JP2015162841A publication Critical patent/JP2015162841A/en
Application granted granted Critical
Publication of JP6026451B2 publication Critical patent/JP6026451B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、広域レイヤ2(L2)ネットワークなどのネットワークにおける中継経路の切り替え等を実行する経路制御装置に関する。   The present invention relates to a path control apparatus that executes switching of a relay path in a network such as a wide area layer 2 (L2) network.

広域L2ネットワーク技術の適用対象の一つとして、メトロネットワークがある。メトロネットワークは、コアネットワークとアクセスネットワークとの間に設けられ、アクセスネットワーク側に設けられた各加入者のホームゲートウェイ(HGW)からのトラヒックをコアネットワークに設けられているエッジノードに集線するネットワークに相当する。図1は、光L2スイッチネットワークによって構成された広域メトロネットワークの一例を示している。広域L2ネットワーク技術が適用される他の用途としては、例えば、スイッチファブリックや、データセンター間の仮想プライベートネットワークなどが挙げられる。   One application of the wide area L2 network technology is a metro network. The metro network is a network that is provided between the core network and the access network, and concentrates the traffic from the home gateway (HGW) of each subscriber provided on the access network side to the edge nodes provided in the core network. Equivalent to. FIG. 1 shows an example of a wide-area metro network configured by an optical L2 switch network. Other applications to which the wide area L2 network technology is applied include, for example, a switch fabric and a virtual private network between data centers.

コアネットワーク81に加入者アクセスを受け付けるエッジノード91が設けられている。一方、アクセスネットワーク83には、各加入者のホームゲートウェイ(HGW)96が収容されるとともに、HGW96とメトロネットワーク82との接続のために、光回線終端装置(OLT)95が設けられている。メトロネットワーク82は、コアネットワーク81のエッジノード91とアクセスネットワーク83側のOLT95との間でデータ転送用のパスを形成してデータフローの疎通を可能にするものであり、エッジノード91に接続するためのフロースイッチ92と、OLT95に接続するためのフロースイッチ94と、フロースイッチ92とフロースイッチ94との間でマルチルート(複数経路)でのデータ転送を可能にするためにネットワーク内に設けられて経路切替機能を有する中継ノード93とを備えている。さらに、メトロネットワーク内での経路設定を行うために、各フロースイッチ92,94を集中的に制御するフロースイッチコントローラ97が設けられている。なお、各フロースイッチあるいは中継ノードにおける自律制御によって経路制御を行うことも検討されてきたが、エッジノードの切り替えを契機とした経路切替を行う場合には、非特許文献1に示すように、外部装置であるフロースイッチコントローラ97によって集中管理を行った方が再接続に要する時間を短くできる。   An edge node 91 that accepts subscriber access is provided in the core network 81. On the other hand, a home gateway (HGW) 96 of each subscriber is accommodated in the access network 83 and an optical line terminator (OLT) 95 is provided for connection between the HGW 96 and the metro network 82. The metro network 82 forms a data transfer path between the edge node 91 of the core network 81 and the OLT 95 on the access network 83 side to enable communication of data flow, and is connected to the edge node 91. A flow switch 92 for connecting to the OLT 95, and a multi-route (multiple paths) data transfer between the flow switch 92 and the flow switch 94 to be provided in the network. And a relay node 93 having a path switching function. Further, a flow switch controller 97 that centrally controls each of the flow switches 92 and 94 is provided for setting a route in the metro network. In addition, although route control by autonomous control in each flow switch or relay node has been studied, in the case of performing route switching triggered by edge node switching, as shown in Non-Patent Document 1, external control is performed. The time required for reconnection can be shortened when centralized management is performed by the flow switch controller 97 which is a device.

ここでは、複数のフロースイッチ92,94と各中継ノード93との間の個々の物理的な伝送路のことをリンクと呼ぶ。また、入出力となる一対のフロースイッチ92,94間をデータ転送用に使用できる一続きのリンクの組み合わせをパスと呼ぶ。フロースイッチ92,94の同一の対の間では、複数のリンクや中継ノード93が設けられていることにより、複数のパスの設定が可能である。個々のパスは、どのリンクを経由するものであるかを指定することによって、特定できる。図においてメトロネットワーク82内のリンクは実線で示され、データフローは、矢印を伴った太い破線で示されている。   Here, each physical transmission path between the plurality of flow switches 92 and 94 and each relay node 93 is called a link. A combination of a series of links that can be used for data transfer between a pair of flow switches 92 and 94 as input and output is called a path. By providing a plurality of links and relay nodes 93 between the same pair of flow switches 92 and 94, a plurality of paths can be set. Individual paths can be identified by specifying which links are routed. In the figure, the links in the metro network 82 are indicated by solid lines, and the data flow is indicated by thick broken lines with arrows.

メトロネットワークでは、一般に、マルチルートでデータフローを流せるようにすることによって、転送効率の向上やロバスト性(耐障害性)の向上が図られる。また、非特許文献1に記載されるように、コアネットワーク側のエッジノードにおける輻輳や障害への対応として、エッジノードの装置間の収容変更・障害切替を行うことで、資源効率・ロバスト性が向上する。   In a metro network, it is generally possible to improve transfer efficiency and robustness (fault tolerance) by allowing a data flow to flow through multiple routes. Further, as described in Non-Patent Document 1, resource efficiency and robustness can be improved by performing accommodation change / failure switching between devices in the edge node as a response to congestion or failure in the edge node on the core network side. improves.

このようなメトロネットワークにおいて、さらなる資源効率の向上を図るためには、帯域・遅延を要件とするサービス・ユーザごとの現用・予備経路を、空き帯域・遅延を考慮し選定することによることが重要である。例えば、遅延要件を有するマルチルートへのトラヒック分散収容を行うことで、設備の増設契機が削減し、設備投資に関する資本的支出を削減することができる。また、非特許文献2に記載されるように、予備帯域を共用するN+m冗長構成とすることによって、予備帯域を削減でき、設備投資に関する資本的支出を削減することができる。例えば、3ルート化としたときに2+1の冗長構成とすることにより、必要帯域を25%削減することが可能である。   In such a metro network, in order to further improve resource efficiency, it is important to select working and backup routes for each service and user that require bandwidth and delay in consideration of available bandwidth and delay. It is. For example, by carrying out the traffic distributed accommodation to the multi-route having the delay requirement, the equipment expansion opportunity can be reduced and the capital expenditure related to the equipment investment can be reduced. Further, as described in Non-Patent Document 2, by using an N + m redundant configuration that shares a spare band, the spare band can be reduced, and capital expenditure related to capital investment can be reduced. For example, the required bandwidth can be reduced by 25% by using a 2 + 1 redundant configuration when three routes are used.

図2は、マルチルート化したメトロネットワーク93において、コアネットワーク側のエッジノードを切り替える際の経路変更を説明している。図2(a)に示したものでは、切替前と表示されたエッジノード91に対し、特定のフロースイッチ94から、リンクを共用しない3ルートで経路が設定されている。そのうち2つの経路には、それぞれ、現用1と現用2の帯域が設定されている。残る1つの経路は、予備1と予備2の2つの帯域によって共用されている。ここで切替前のエッジノードから、切替後として表示されるエッジノード91に切替が行われたとする。すると、図2(b)に示すように、3ルートの経路も変更される必要があり、この切り替えでは、時間要件で定める期間内に経路が再選定される必要がある。   FIG. 2 illustrates a route change when the edge node on the core network side is switched in the multi-routed metro network 93. In the example shown in FIG. 2A, a route is set with respect to the edge node 91 displayed before switching from a specific flow switch 94 by three routes that do not share a link. Of these two paths, the working 1 and working 2 bands are set, respectively. The remaining one path is shared by two bands, spare 1 and spare 2. Here, it is assumed that switching is performed from the edge node before switching to the edge node 91 displayed as after switching. Then, as shown in FIG. 2B, the route of the three routes also needs to be changed. In this switching, the route needs to be reselected within a period determined by the time requirement.

このようにマルチルート化されたメトロネットワーク93においては、新規設定やエッジノード切替に追従した経路変更時に、経路選定の新規設定を迅速に行う経路制御が必要となる。マルチルート化されたメトロネットワークなどの広域L2ネットワークにおいては、ネットワークの大規模化が進行しているが、それに伴って、経路制御に要する計算量が爆発的に増大し、時間内に経路制御を実行することが難しくなりつつある。特に図2に示した場合のように、予備経路を設定する場合、現用経路を設定した後、空き帯域を考慮しつつ、現用経路が通過しないリンクをできるだけ通るようにリンクを選択を行う必要があるので、経路設定のための演算量が大きくなりがちである。   In such a multi-routed metro network 93, it is necessary to perform route control for quickly making a new setting for route selection when changing a route following new setting or edge node switching. In a wide-area L2 network such as a multi-routed metro network, the scale of the network is increasing, but along with this, the amount of computation required for route control increases explosively, and route control can be performed in time. It's getting harder to do. In particular, as shown in FIG. 2, when setting a backup route, it is necessary to select a link so as to pass through a link that does not pass the active route as much as possible after setting the active route. Therefore, the amount of calculation for route setting tends to increase.

そこで本発明者らは既に、非特許文献3において、ネットワークに対するパスの設定の処理を並列化して実行し、フロー単位の経路制御を高速化するスケールアウト構成を提案しており、また非特許文献4において、並列処理間のフロー数の偏りに起因する負荷を均一化する振分アルゴリズムを提案している。これらの技術は、集線L2ネットワークにおける光L2ネットワーク(WDM(波長多重分割)/TDM(時間多重分割)パス)・リングトポロジをケーススタディとしているものであるが、任意のパス技術・トポロジに適用可能なものである。   In view of this, the present inventors have already proposed a scale-out configuration in which non-patent literature 3 executes path setting processing for a network in parallel to speed up path control in units of flows. 4 proposes a distribution algorithm for equalizing the load caused by the uneven number of flows between parallel processes. These technologies are based on a case study of optical L2 network (WDM (wavelength division division) / TDM (time division division) path) and ring topology in a concentrated L2 network, but can be applied to any path technology and topology. Is something.

図3は、非特許文献3,4に示されたように並列化して処理を実行する従来のフロースイッチコントローラ97を有するネットワークを示している。フロースイッチコントローラ97は、大別すると、ネットワーク内の各リンク、各パスの帯域を管理する帯域管理部21と、並列処理を実行するための複数の並列処理部22と、並列処理部22に対して処理を振り分ける振分制御部23と、を備えており、ネットワーク90内の各フロースイッチ92,94の経路切替動作を制御する。並列処理部22には、振分制御部23によってフローが分配されている。各並列処理部22は、帯域管理部21に対して帯域確認を行いながら、割り当てられたフローの経路制御の処理を並行して実行する。ここではネットワーク90は広域L2ネットワークであるので、フロースイッチコントローラ97は、ネットワーク90におけるレイヤ2(L2)転送を制御することになる。したがって、以下の説明では、このようなフロースイッチコントローラ97のことをL2転送制御部20と呼ぶことにする。   FIG. 3 shows a network having a conventional flow switch controller 97 that executes processing in parallel as shown in Non-Patent Documents 3 and 4. The flow switch controller 97 is roughly divided into a bandwidth management unit 21 that manages the bandwidth of each link and each path in the network, a plurality of parallel processing units 22 for executing parallel processing, and a parallel processing unit 22. And a distribution control unit 23 that distributes the process, and controls the path switching operation of each of the flow switches 92 and 94 in the network 90. A flow is distributed to the parallel processing unit 22 by the distribution control unit 23. Each parallel processing unit 22 performs the path control processing of the assigned flow in parallel while checking the bandwidth with respect to the bandwidth management unit 21. Here, since the network 90 is a wide area L2 network, the flow switch controller 97 controls layer 2 (L2) transfer in the network 90. Therefore, in the following description, such a flow switch controller 97 is referred to as an L2 transfer control unit 20.

図4は、図3に示したネットワークにおいて用いられるL2転送制御部20の構成を示している。L3転送制御部20は、転送ノード50における経路切替を制御するものであって、上述するように帯域管理部21、複数の並列処理部22及び振分制御部23を備え、さらに、外部から設定がコマンドラインインタフェース(CLI)あるいはアプリケーションプログラミングインタフェース(API)によって入力する設定入力部24と、物理経路の制御を行う物理経路制御部25と、を備えている。ここでいう転送ノード50とは、ネットワークに設けられて経路切替が可能であってその経路切替を外部制御が可能なノードのことであり、各フロースイッチを含むとともに、経路切替の外部制御が可能な中継ノードがあればその中継ノードも含んでいる。   FIG. 4 shows a configuration of the L2 transfer control unit 20 used in the network shown in FIG. The L3 transfer control unit 20 controls path switching in the transfer node 50, and includes the bandwidth management unit 21, the plurality of parallel processing units 22, and the distribution control unit 23 as described above, and is set from the outside. Are provided via a command line interface (CLI) or an application programming interface (API), and a physical path controller 25 that controls the physical path. The forwarding node 50 here is a node that is provided in the network and can switch the route and can externally control the route switching, and includes each flow switch and external control of the route switching is possible. If there is a relay node, that relay node is also included.

帯域管理部21は、設定入力部24からリンクや帯域についての新規あるいは変更の設定を受け付けて、各帯域及び各リンクの制御を行う帯域・リンク制御部31と、帯域やリンクに関する情報を保持する格納部32とを備えている。帯域・リンク制御部31は、格納部32内の帯域・リンク情報と、以下に述べる格納部33内の経路情報に基づいて、各帯域及びリンクの制御を行って結果を帯域・リンク情報に反映させ、さらに、各並列処理部22からの帯域確認の要求に応答して、帯域情報を各並列処理部22を通知する。   The bandwidth management unit 21 receives a new or changed setting for a link or a band from the setting input unit 24 and holds a band / link control unit 31 that controls each band and each link, and information about the band and the link. And a storage unit 32. The band / link control unit 31 controls each band and link based on the band / link information in the storage unit 32 and the path information in the storage unit 33 described below, and reflects the result in the band / link information. In addition, in response to a bandwidth confirmation request from each parallel processing unit 22, each parallel processing unit 22 is notified of bandwidth information.

物理経路制御部25は、パスに関する経路情報を格納する格納部33と、ネットワークにおける各ノード及び各リンクの状態を管理するノード・リンク状態管理部34と、物理経路計算を行う物理経路計算部35と、を備えている。ノード・リンク状態管理部34は、各転送ノードからノード状態情報を受け取りネットワークからリンク状態情報を受け取って、ノード及びリンクの状態を管理し、その結果を格納部32に格納された帯域・リンク情報に反映させるものであるが、特に、ネットワークのトポロジに変更があったことを検出した場合には、トポロジ変向情報を物理経路計算部35及び各並列処理部22に出力する。物理経路計算部35は、トポロジ変更情報を受け取ると、格納部32内の帯域・リンク情報を参照して物理経路を計算し、パスの経路情報として格納部33に格納するとともに、格納部32内の帯域・リンク情報にも反映させる。   The physical route control unit 25 includes a storage unit 33 that stores path information about a path, a node / link state management unit 34 that manages the state of each node and each link in the network, and a physical route calculation unit 35 that performs physical route calculation. And. The node / link state management unit 34 receives the node state information from each forwarding node, receives the link state information from the network, manages the state of the node and the link, and stores the result in the bandwidth / link information stored in the storage unit 32. In particular, when it is detected that the network topology has changed, the topology change information is output to the physical path calculation unit 35 and each parallel processing unit 22. Upon receiving the topology change information, the physical route calculation unit 35 calculates a physical route with reference to the bandwidth / link information in the storage unit 32 and stores the physical route in the storage unit 33 as path route information. It is reflected in the bandwidth and link information.

並列処理部22は、アドレス学習を行う接続情報学習部41と、各転送ノード50に対して転送設定(フローマッピング)を行う転送設定制御部42と、外部接続情報を格納する格納部43と、フローエントリ情報を格納する格納部44と、物理経路制御部25内の格納部33に格納された経路情報(パス)と同内容の情報を複製として保持する格納部45と、を備えている。フローエントリ情報は、その並列処理部に対して振り分けられているフローとそのフローに対応するパスとを示す情報である。接続情報管理部41は、転送ノード50から振分制御部23を介してアドレス情報を受信し、アドレス情報が経路変更の情報を含んでいると、そのアドレス情報にしたがって格納部43内の外部接続情報を更新するとともに、アドレス情報を転送設定制御部42に通知する。転送設定制御部42は、振分制御部23を介して設定入力部24からフローの新規または変更設定を受け取ったとき、及び、アドレス情報を接続情報管理部41から受け取ったときに、それらの新規/変更設定あるいはアドレス情報に基づいて、各転送ノード50に対し、当該転送ノードでの転送設定を記述する転送テーブル情報を送信する。そのとき、格納部43〜45に格納された外部接続情報、フローエントリ情報及び経路情報(パス)を参照するとともに、帯域管理部21に関して帯域確認を行い、帯域確認に対応する帯域情報を受け取って、その帯域情報に基づいて各転送ノード50において新たな転送経路が設定されるように、転送テーブル情報を生成する。図では各並列処理部22が1個の転送ノード50を制御するように記載されているが、実際には、各並列処理部22は複数の転送ノード50を制御する。   The parallel processing unit 22 includes a connection information learning unit 41 that performs address learning, a transfer setting control unit 42 that performs transfer setting (flow mapping) for each transfer node 50, a storage unit 43 that stores external connection information, A storage unit 44 that stores flow entry information, and a storage unit 45 that holds information having the same content as the route information (path) stored in the storage unit 33 in the physical route control unit 25 as a copy are provided. The flow entry information is information indicating a flow distributed to the parallel processing unit and a path corresponding to the flow. The connection information management unit 41 receives address information from the forwarding node 50 via the distribution control unit 23, and when the address information includes route change information, the external connection in the storage unit 43 is determined according to the address information. Information is updated and address information is notified to the transfer setting control unit 42. When the transfer setting control unit 42 receives new or changed settings of a flow from the setting input unit 24 via the distribution control unit 23 and receives address information from the connection information management unit 41, the transfer setting control unit 42 / Based on the change setting or address information, forwarding table information describing forwarding settings at the forwarding node is transmitted to each forwarding node 50. At that time, referring to the external connection information, flow entry information and path information (path) stored in the storage units 43 to 45, the bandwidth management unit 21 performs bandwidth confirmation and receives bandwidth information corresponding to the bandwidth confirmation. The transfer table information is generated so that a new transfer path is set in each transfer node 50 based on the bandwidth information. In the figure, each parallel processing unit 22 is described so as to control one transfer node 50, but actually each parallel processing unit 22 controls a plurality of transfer nodes 50.

転送ノード50は、学習部51と接続情報通知部52と転送制御部53とパス選定転送部54と障害検出通知部55とを備えている。学習部51は、入力パケットの送信元(ソース)アドレスと宛先(デスティネーション)アドレスとを学習し、これらのアドレスを含むアドレス情報を接続情報通知部52に通知する。接続情報通知部52は、通知されたアドレス情報をL2転送制御部20に送信する。転送制御部53は、L2転送制御部20から送られてきた転送テーブル情報にしたがってパス選定転送部54を制御することで、経路変更を指示する。パス選定転送部54は、転送テーブル情報に基づいた実際の経路切替の動作を実行する。障害検出通知部55は、当該転送ノード50において障害等が発生したときにその障害等を検出して、ノード状態情報としてL2転送制御部20に通知する。   The transfer node 50 includes a learning unit 51, a connection information notification unit 52, a transfer control unit 53, a path selection transfer unit 54, and a failure detection notification unit 55. The learning unit 51 learns the transmission source (source) address and the destination (destination) address of the input packet, and notifies the connection information notification unit 52 of address information including these addresses. The connection information notification unit 52 transmits the notified address information to the L2 transfer control unit 20. The transfer control unit 53 instructs the path change by controlling the path selection transfer unit 54 according to the transfer table information sent from the L2 transfer control unit 20. The path selection / transfer unit 54 performs an actual path switching operation based on the transfer table information. The failure detection notification unit 55 detects a failure or the like when a failure or the like occurs in the transfer node 50 and notifies the L2 transfer control unit 20 as node state information.

中務諭士ら、“可用性・運用性の高いネットワークエッジシステム構成法”、信学技報、NS2011-6、第111巻第8号、第31〜36頁、(2011年4月)Junji Nakami et al., “Network Edge System Configuration Method with High Availability and Operability”, IEICE Technical Report, NS2011-6, Vol. 111, No. 8, pp. 31-36, (April 2011) 大久保敬子ら、“1:Nパスプロテクションにおける予備系パス帯域共有に関する検討”、信学技報、NS2002-123、第102巻第350号、第85〜88頁、(2002年9月)Keiko Okubo et al., “Examination of standby path bandwidth sharing in 1: N path protection”, IEICE Technical Report, NS2002-123, Vol.102, No.350, 85-88, (September 2002) Hiroki DATE, et al., "Proposal of Scale-out Control Architecture of Virtual Wide Area Layer-2 Switch on Metro Network," APCC (Asia-Pacific Conference on Communications) 2013, Bali, Indonesia, (2013年8月)Hiroki DATE, et al., "Proposal of Scale-out Control Architecture of Virtual Wide Area Layer-2 Switch on Metro Network," APCC (Asia-Pacific Conference on Communications) 2013, Bali, Indonesia, (August 2013) 伊達拓紀ら、“メトロ網における広域仮想L2SWアーキテクチャの並列転送制御の評価”、信学技報、第113巻第244号、第7〜12頁、(2013年10月)Takuki Date et al., “Evaluation of Parallel Transfer Control of Wide Area Virtual L2SW Architecture in Metro Networks”, IEICE Tech. Vol. 113, No. 244, pp. 7-12, (October 2013)

非特許文献3,4に示すように、パスの設定の処理を並列化して実行することを考えた場合、エッジノードに障害が発生したためにエッジノードを切り替え、これに合わせて広域L2ネットワーク(例えばメトロネットワーク)内の経路変更を行う時に、サービス単位あるいはユーザ単位に空き帯域を確認して現用及び予備の経路をそれぞれ再選定すると、帯域確認がボトルネックとなり再接続の完了が遅れるおそれがある。例えば、図3及び図4に示した構成の場合、L2転送制御部20内において帯域管理部21が各リンクの帯域情報を管理しており、各並列処理部22から帯域管理部21に対して多数回にわたって帯域確認が行われる。ネットワークの規模にもよるが、帯域確認が完了するまでに概算で数十秒もかかるおそれがあり、これは、例えば1秒程度と想定されるエッジノード切替要件を満たさない。   As shown in Non-Patent Documents 3 and 4, when considering parallel path setting processing, the edge node is switched because a failure has occurred in the edge node, and a wide area L2 network (for example, When a route in a metro network is changed, if the available bandwidth is checked for each service or user and the current and backup routes are selected again, the bandwidth check becomes a bottleneck and the completion of reconnection may be delayed. For example, in the case of the configuration shown in FIGS. 3 and 4, the bandwidth management unit 21 manages the bandwidth information of each link in the L2 transfer control unit 20, and each parallel processing unit 22 performs the bandwidth management on the bandwidth management unit 21. Band verification is performed many times. Although it depends on the scale of the network, it may take several tens of seconds until the bandwidth confirmation is completed. This does not satisfy the edge node switching requirement assumed to be about 1 second, for example.

帯域管理部では、図5に示すように、各リンクごとの帯域を記載した帯域管理テーブルを用いて帯域管理を行っているが、予備経路の選定のために、さらに、各リンクに想定される障害パターンごとに各リンクの予備帯域の割当状況を管理する予備帯域管理テーブルを使用する。そしてL2転送制御部による予備経路の選定では、現用の経路とは1リンクも共有しない経路から、現用のリンク障害パターンの予備帯域の空きが最も大きい経路を選定する。このようにして予備経路を選定する場合、リンク障害パターンごとに予備帯域を管理する予備帯域管理テーブルを使用して、現用各リンクの障害に対する予備経路候補の予備割当状況を確認するため、この参照回数はリンク数の2乗のオーダで増加する。したがって、ネットワーク内のリンク数が多くなるにつれ、帯域確認に要する時間も2乗のオーダで増大することになる。また、予備経路の選定を行わない場合であっても、帯域確認処理が帯域管理部に集中し、この処理負担はリンク数の1乗のオーダーで増大する。   As shown in FIG. 5, the bandwidth management unit performs bandwidth management using a bandwidth management table in which the bandwidth for each link is described. A spare bandwidth management table that manages the spare bandwidth allocation status of each link for each failure pattern is used. In the selection of the backup route by the L2 transfer control unit, the route having the largest available spare bandwidth of the current link failure pattern is selected from routes that do not share one link with the current route. When selecting a backup path in this way, use this backup band management table that manages the backup bandwidth for each link failure pattern, and check the backup path candidate backup allocation status for the failure of each active link. The number of times increases in the order of the square of the number of links. Therefore, as the number of links in the network increases, the time required for bandwidth confirmation also increases on the order of a square. Even when the backup route is not selected, the bandwidth confirmation processing is concentrated on the bandwidth management unit, and the processing load increases on the order of the first power of the number of links.

結局、パスの設定処理を並列化した従来の経路制御方法では、予備経路の選定を行うにしろ行わないにしろ経路確認の処理が単一の帯域管理部に集中することなり、帯域確認がボトルネックとなって再接続の完了が遅れることになる。帯域管理部が過負荷に陥るおそれもある。また、処理を並列化したことによって、帯域を考慮した経路制御ができにくくなっており、資源の利用効率が十分なものとななっていない。   After all, in the conventional route control method in which path setting processing is parallelized, the route confirmation processing is concentrated in a single bandwidth management section, whether or not the backup route is selected, and bandwidth confirmation is a bottleneck. Completion of reconnection will be delayed due to a bottleneck. There is also a risk that the bandwidth management unit will be overloaded. In addition, the parallel processing makes it difficult to perform path control considering the bandwidth, and the resource utilization efficiency is not sufficient.

そこで本発明の目的は、帯域確認がボトルネックとなることを防止するとともに、帯域を考慮した経路制御の並列処理を可能とする帯域制御装置を提供とすることにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide a bandwidth control device that prevents parallel confirmation from becoming a bottleneck and enables parallel processing of path control in consideration of bandwidth.

本発明の経路制御装置は、入出力点が異なる複数のフローが疎通可能であって複数の中継経路の設定が可能なネットワークにおいてフローごとに経路を制御する経路制御装置であって、相互に並列に動作してそれぞれが1または複数のフローの経路を制御する複数の並列処理部と、複数の並列処理部に対してフローを振り分ける振分制御部と、ネットワークを構成する各リンクの帯域を管理する帯域管理部と、を有し、帯域管理部は、各リンクの帯域を管理する第1のテーブルを参照して、リンクごとの帯域情報の一部をキャッシュ帯域として各並列処理部に払い出すキャッシュ帯域統合管理部を備え、各並列処理部は、帯域管理部からキャッシュ帯域の払い出しを受けて、その並列処理部に割り当てられた帯域をリンクごとに管理する第2のテーブルを更新するキャッシュ帯域管理部と、第2のテーブルを参照して経路制御を実行する転送設定制御部と、を備え、リンクごとに払い出されるキャッシュ帯域はそのリンクの容量に比例し、キャッシュ帯域の払い出し範囲を同一入出力マルチルート単位とする。   The route control device of the present invention is a route control device that controls a route for each flow in a network in which a plurality of flows having different input / output points can communicate and a plurality of relay routes can be set, and is parallel to each other. Manages the bandwidth of each link that constitutes a network, a plurality of parallel processing units that each control one or a plurality of flow paths, a distribution control unit that distributes flows to the plurality of parallel processing units The bandwidth management unit refers to the first table for managing the bandwidth of each link, and pays out part of the bandwidth information for each link as a cache bandwidth to each parallel processing unit. A cache bandwidth integrated management unit is provided, and each parallel processing unit receives a cache bandwidth from the bandwidth management unit and manages a bandwidth allocated to the parallel processing unit for each link. A cache bandwidth management unit that updates the table, and a transfer setting control unit that performs path control with reference to the second table, and the cache bandwidth paid out for each link is proportional to the capacity of the link. Is set to the same input / output multi-route unit.

本発明は、リンクの帯域情報の一部をキャッシュとして並列処理部に払い出し、並列処理部はこの払い出されたキャッシュ帯域に基づいて経路制御を実行するので、リンクの帯域確認を並行化して実行することが可能になって帯域確認がボトルネックとなることを防止され、また、リンク容量を考慮してマルチルートに平滑化してフローを収容するので、帯域を考慮した経路制御の並列処理が可能になる、という効果を有する。   In the present invention, a part of the link bandwidth information is paid out as a cache to the parallel processing unit, and the parallel processing unit executes path control based on the paid-out cache bandwidth, so the link bandwidth confirmation is performed in parallel. It is possible to prevent the bandwidth confirmation from becoming a bottleneck, and the flow is accommodated by smoothing into multi-routes considering the link capacity, allowing parallel processing of path control considering the bandwidth. It has the effect of becoming.

メトロネットワークの構成の一例を示す図である。It is a figure which shows an example of a structure of a metro network. (a),(b)はエッジノードの切り替えに伴う経路変更を説明する図である。(A), (b) is a figure explaining the route change accompanying switching of an edge node. 並列化して処理を実行する従来のフロースイッチコントローラを有するネットワークを示す図である。It is a figure which shows the network which has the conventional flow switch controller which performs a process in parallel. 従来のL2転送制御部(フロースイッチコントローラ)を示すブロック図である。It is a block diagram which shows the conventional L2 transfer control part (flow switch controller). 帯域管理テーブルと予備帯域管理テーブルとの関係を示す図である。It is a figure which shows the relationship between a bandwidth management table and a reserve bandwidth management table. 本発明の実施の一形態の経路制御装置に対応するL2転送制御部の構成の概要を示す図である。It is a figure which shows the outline | summary of a structure of the L2 transfer control part corresponding to the path | route control apparatus of one Embodiment of this invention. キャッシュ払い出し量をリンク容量比とすることを説明する図である。It is a figure explaining making cash discharge amount into a link capacity ratio. 図6に示されるネットワークにおけるL2転送制御部の構成を示すブロック図である。It is a block diagram which shows the structure of the L2 transfer control part in the network shown by FIG. (a)〜(f)はネットワークの構成を説明する図である。(A)-(f) is a figure explaining the structure of a network. 現用の接続のみを設定する場合のデータ構造を説明する図である。It is a figure explaining the data structure in the case of setting only an active connection. 現用の接続のみを設定する場合のデータ構造を説明する図である。It is a figure explaining the data structure in the case of setting only an active connection. 並列処理部の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of a parallel processing part. 並列処理部の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of a parallel processing part. 帯域管理部の基本動作を説明するフローチャートである。It is a flowchart explaining the basic operation | movement of a band management part. 現用と予備の接続を設定する場合のデータ構造を説明する図である。It is a figure explaining the data structure in the case of setting active and backup connection. 並列処理部の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of a parallel processing part. 並列処理部の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of a parallel processing part. キャッシュ帯域投機払い出し・不足リンクブロックを説明する図である。It is a figure explaining a cash bandwidth speculative payout / insufficient link block. キャッシュ帯域投機払い出し・不足リンクブロックの場合のデータ構造を説明する図である。It is a figure explaining the data structure in the case of cash-band speculative disbursement and insufficient link block. キャッシュ帯域ガベージコレクションを説明する図である。It is a figure explaining a cache bandwidth garbage collection. 並列処理部間キャッシュ帯域ガベージコレクションを説明する図である。It is a figure explaining the cache bandwidth garbage collection between parallel processing parts. フロー割当て変更時の動作を説明する図である。It is a figure explaining the operation | movement at the time of a flow allocation change. フロー割当て変更時の動作の別の例を説明する図である。It is a figure explaining another example of the operation | movement at the time of a flow allocation change.

次に本発明の好ましい実施の形態について、図面を参照して説明する。   Next, a preferred embodiment of the present invention will be described with reference to the drawings.

図6は、本発明の実施の一形態の経路制御装置が適用されるネットワークの構成の一例を示す図であって、本発明に基づく経路制御を概略的に示している。   FIG. 6 is a diagram showing an example of the configuration of a network to which the route control device according to the embodiment of the present invention is applied, and schematically shows the route control based on the present invention.

本発明では、帯域確認がボトルネックとなることを防ぐために、帯域確認も並列して実行できるようにとともに、空き帯域を考慮した経路制御を並列化して実行できるようにしている。そこで図6に示した構成では、本実施形態の経路制御装置に相当するL2転送制御部20において、帯域管理部21内にキャッシュ帯域統合管理部36を設けるとともに、各並列処理部22内にキャッシュ帯域管理部46を設け、各リンクの帯域情報の一部を各並列処理部22内にキャッシュとして保持して経路選定に利用する。各並列処理部22へのキャッシュの払い出しは、帯域管理部21のキャッシュ帯域統合管理部36が行う。各並列処理部22のキャッシュ帯域管理部46は、キャッシュ帯域統合管理部36に対してキャッシュ帯域要求を行い、キャッシュの払い出しを受けることで、キャッシュ帯域を取得する。   In the present invention, in order to prevent the bandwidth confirmation from becoming a bottleneck, the bandwidth confirmation can be executed in parallel and the path control considering the free bandwidth can be executed in parallel. Therefore, in the configuration shown in FIG. 6, in the L2 transfer control unit 20 corresponding to the path control device of the present embodiment, the cache bandwidth integrated management unit 36 is provided in the bandwidth management unit 21, and the cache processing is performed in each parallel processing unit 22. A bandwidth management unit 46 is provided, and a part of the bandwidth information of each link is held as a cache in each parallel processing unit 22 and used for route selection. The payout of the cache to each parallel processing unit 22 is performed by the cache bandwidth integrated management unit 36 of the bandwidth management unit 21. The cache bandwidth management unit 46 of each parallel processing unit 22 makes a cache bandwidth request to the cache bandwidth integrated management unit 36 and receives a cache payout to acquire the cache bandwidth.

このような構成によれば、従来のL2転送制御部における並列処理部から帯域管理部への帯域確認がキャッシュ帯域取得に置き換わり、帯域確認にキャッシュが用いられるので、問合せ回数の削減による処理数削減が図られる。また、従来の構成ではリンク数の2乗のオーダで増加する処理を帯域管理部で行う必要があったが、この構成では、キャッシュを払い出せるかどうかの確認のみを帯域管理部で行えばよいので、キャッシュが全く割り当てられていないという最悪条件でもリンク数の1乗のオーダの処理で済み、帯域管理部で集中して行わなければならない処理量も削減される。結局、この構成では、帯域確認が並列化するので(すなわち、各並列処理部限りで帯域確認が行われるので)、再接続までの時間を短縮することができる。   According to such a configuration, the bandwidth check from the parallel processing unit to the bandwidth management unit in the conventional L2 transfer control unit is replaced with the cache bandwidth acquisition, and the cache is used for the bandwidth check. Is planned. In the conventional configuration, the bandwidth management unit needs to perform processing that increases in the order of the square of the number of links. In this configuration, it is only necessary to check whether the cache can be paid out in the bandwidth management unit. Therefore, even in the worst condition that no cache is allocated, processing of the order of the first power of the number of links is sufficient, and the amount of processing that must be concentrated in the bandwidth management unit is also reduced. Eventually, in this configuration, bandwidth confirmation is performed in parallel (that is, bandwidth confirmation is performed only for each parallel processing unit), so the time until reconnection can be shortened.

またこの構成では、リンク容量を考慮してマルチルートに平滑化して経路を収容するために、キャッシュ帯域の払い出し量をリンク容量比とし、払い出し範囲を同一入出力マルチルート単位とする。キャッシュ帯域の払い出し量をリンク容量比とした場合、各並列処理部22は、マルチルート単位・リンク容量比のキャッシュ帯域を用いて、マルチルートにパスを分散収容する。その結果、全パス分を合算しても分散状態となり、フローの偏りが発生しなくなる。   Also, in this configuration, in order to accommodate the route by smoothing into multi-routes considering the link capacity, the payout amount of the cache bandwidth is the link capacity ratio and the payout range is the same input / output multi-route unit. When the payout amount of the cache bandwidth is the link capacity ratio, each parallel processing unit 22 distributes and accommodates paths in the multiroute using the cache bandwidth of the multiroute unit / link capacity ratio. As a result, even if all paths are added together, a distributed state is obtained, and flow deviation does not occur.

図7は、キャッシュ払い出し量をリンク容量比とすることを説明する図である。図に示すように、各並列処理部22は、全体としてのリンク容量情報を用いた場合の縮小版に相当する容量をキャッシュ帯域として使用し、そのキャッシュ帯域へマルチルートを分散させてフローを敷き詰めながら帯域を積み立てていく。その結果、帯域確認の並列化により再接続までの時間を短縮できるとともに、局所情報を用いて経路選定しても全体情報を用いた場合と同等の効率を実現できるようになる。   FIG. 7 is a diagram for explaining that the cash payout amount is the link capacity ratio. As shown in the figure, each parallel processing unit 22 uses the capacity corresponding to the reduced version when the link capacity information as a whole is used as the cache bandwidth, and distributes the multi-routes to the cache bandwidth to spread the flow. While accumulating bandwidth. As a result, the time until reconnection can be shortened by parallelizing the bandwidth confirmation, and the same efficiency as when the entire information is used can be realized even when the route is selected using the local information.

図8は、本実施形態におけるL2転送制御部20の詳細な構成を示している。このL2制御転送部20は、上述したように、図4に示したL2転送制御部20に対してキャッシュ帯域統合管理部36及びキャッシュ帯域管理部46を設けたものであるが、さらに、各並列処理部22内にキャッシュ帯域情報を格納する格納部47を備えている。格納部47に格納されるキャッシュ帯域情報は、対応する並列処理部22に払い出されたキャッシュ帯域を示しており、キャッシュ帯域管理部46によって管理される。キャッシュ帯域管理部46は、キャッシュ帯域統合管理部36に対してキャッシュ帯域を要求し、キャッシュ帯域統合管理部36からキャッシュ帯域の払い出しを受けてキャッシュ帯域情報として格納部47に格納する。転送設定制御部42は、転送ノード50に対する転送テーブル情報を生成する際に、格納部43〜45に格納された外部接続情報、フローエントリ情報及び経路情報(パス)の他に、格納部47に格納されたキャッシュ帯域情報を参照する。キャッシュ帯域情報に基づく帯域確認及び経路変更については後述する。   FIG. 8 shows a detailed configuration of the L2 transfer control unit 20 in the present embodiment. As described above, the L2 control transfer unit 20 is provided with the cache bandwidth integration management unit 36 and the cache bandwidth management unit 46 with respect to the L2 transfer control unit 20 shown in FIG. The processing unit 22 includes a storage unit 47 that stores cache bandwidth information. The cache bandwidth information stored in the storage unit 47 indicates the cache bandwidth allocated to the corresponding parallel processing unit 22 and is managed by the cache bandwidth management unit 46. The cache bandwidth management unit 46 requests a cache bandwidth from the cache bandwidth integration management unit 36, receives the cache bandwidth from the cache bandwidth integration management unit 36, and stores it in the storage unit 47 as cache bandwidth information. When the forwarding setting control unit 42 generates forwarding table information for the forwarding node 50, in addition to the external connection information, flow entry information, and path information (path) stored in the storage units 43 to 45, the forwarding setting control unit 42 Refer to the stored cache bandwidth information. Band confirmation and path change based on the cache band information will be described later.

キャッシュ帯域統合管理部36は、格納部32に格納された帯域・リンク情報と格納部33に格納された経路情報(パス)に基づいて、キャッシュ帯域の統合的な管理を行い、各並列処理部22に対するキャッシュ帯域の払い出しを実行する。   The cache bandwidth integration management unit 36 performs integrated management of the cache bandwidth based on the bandwidth / link information stored in the storage unit 32 and the path information (path) stored in the storage unit 33, and each parallel processing unit The payout of the cache bandwidth to 22 is executed.

図9は、以下の説明において用いるネットワークの構成を示している。図9(a)は、以下の説明においてもちいる基本的なネットワークの構成を示している。ここでは、α〜δであらわす4個のフロースイッチがネットワークに設けられており、図示黒丸でしめす中継ノードを介してこれらのフロースイッチが接続している。実線はリンクを表しており、リンクの横に併記された数字はリンクを特定する番号である。図9(a)に示したネットワークに対し、図9(b),(c)において点線で示すように、8通りのパスA〜Hを定義し、また、図9(e)に矢印で示すように4つのフローa〜dを定める。図9(e)に示したものは、図9(a)に示したネットワークにおいて、フローaの現用及び予備の経路と、フローbの現用及び予備の経路を定義したものである。図9(f)は、図9(a)に示したネットワークにさらにフロースイッチと中継ノードを1つずつ追加したものを示しており、ここではフローa及びフローbに加え、さらにフローeが定められている。   FIG. 9 shows a network configuration used in the following description. FIG. 9A shows a basic network configuration used in the following description. Here, four flow switches represented by α to δ are provided in the network, and these flow switches are connected via a relay node indicated by a black circle in the drawing. The solid line represents a link, and the number written next to the link is a number that identifies the link. For the network shown in FIG. 9A, eight paths A to H are defined as shown by dotted lines in FIGS. 9B and 9C, and shown by arrows in FIG. 9E. The four flows a to d are defined as follows. In FIG. 9 (e), the working and backup paths of flow a and the working and protection paths of flow b are defined in the network shown in FIG. 9 (a). FIG. 9 (f) shows the network shown in FIG. 9 (a) with one additional flow switch and one relay node. Here, in addition to flow a and flow b, flow e is further defined. It has been.

図10及び図11は、本実施形態において、予備の経路の設定を考慮せず、現用の経路のみの切り替えを行う場合の各格納部に格納されるデータの構造を説明している。ここでは、図9(a)〜(d)に示したようにネットワークが構成されているものとする。図10は、帯域管理部21において使用されるデータの例を示している。経路テーブルは経路情報(パス)を格納するものであり、入出力となるフロースイッチの組み合わせごとに、どのリンクを経由するパスがどのように定義されるかを示している。経路テーブルは、各並列処理部22において共有されるものでもあるので、上述したように、複製として各並列処理部22にも格納されている。   FIG. 10 and FIG. 11 illustrate the structure of data stored in each storage unit when switching only the current route without considering the setting of the backup route in this embodiment. Here, it is assumed that the network is configured as shown in FIGS. FIG. 10 shows an example of data used in the bandwidth management unit 21. The route table stores route information (paths), and indicates how the path through which link is defined for each combination of input and output flow switches. Since the path table is also shared by each parallel processing unit 22, it is also stored in each parallel processing unit 22 as a duplicate as described above.

L2転送制御部20には複数の並列処理部22が設けられるが、それらを区別するため、並列処理部[1]、並列処理部[2]、…のように記載する。   A plurality of parallel processing units 22 are provided in the L2 transfer control unit 20, but in order to distinguish them, they are described as a parallel processing unit [1], a parallel processing unit [2],.

キャッシュ帯域統合管理部36は、いずれも帯域・リンク情報の一部であるキャッシュ帯域統合管理テーブルとキャッシュ範囲テーブルを利用する。本実施形態では、払い出し範囲を同一入出力マルチルート単位としているので、キャッシュ範囲テーブルには、同一入出力マルチルートごとに規定されるキャッシュ範囲を示すID(識別番号)と、キャッシュ範囲に含まれるパス及びリンクが格納されている。キャッシュ帯域統合管理テーブルは、リンクごとにその帯域と、そのリンクのどれだけの帯域をどの並列処理部に払い出したかを示すテーブルである。ここで各リンクは、リンク容量比率単位で帯域量がキャッシュとして払い出されている。図示したものでは、リンク容量比率単位を10%単位としており、そのため、キャッシュ帯域として、各並列処理部22に対して最大10個のキャッシュブロックが払い出されることとなる。これに合わせてキャッシュ帯域統合管理テーブルでは、10個のキャッシュブロックまでが格納可能である。図において、キャッシュ帯域統合管理テーブルの割当状況の欄において“x[y]”と記載されたものは、キャッシュ範囲IDがxであるキャッシュ範囲に関し、並列処理部[y]に対してキャッシュブロックが払い出されていることを示している。例えば、リンク1,2,3,7において“1[1]”の記載があるが、これはキャッシュ範囲IDが1であるキャッシュ範囲で並列処理部[1]に対してキャッシュが払い出され、またキャッシュ範囲IDが1であるキャッシュ範囲はリンク1,2,3,7を含むので、リンク1,2,3,7に関してそれぞれのリンクの容量の10%の帯域が並列処理部[1]にキャッシュ帯域として払い出されていることを示している。   The cache bandwidth integration management unit 36 uses a cache bandwidth integration management table and a cache range table, both of which are part of the bandwidth / link information. In this embodiment, since the payout range is the same input / output multi-route unit, the cache range table includes an ID (identification number) indicating a cache range defined for each same input / output multi-route and the cache range. Paths and links are stored. The cache bandwidth integrated management table is a table showing the bandwidth for each link and how much bandwidth of the link is allocated to which parallel processing unit. Here, the bandwidth of each link is paid out as a cache in a link capacity ratio unit. In the illustrated example, the unit of the link capacity ratio is 10%, so that a maximum of 10 cache blocks are paid out to each parallel processing unit 22 as the cache bandwidth. Correspondingly, the cache bandwidth integrated management table can store up to 10 cache blocks. In the figure, “x [y]” written in the allocation status column of the cache bandwidth integrated management table relates to a cache range whose cache range ID is x, and there is a cache block for the parallel processing unit [y]. It shows that it has been paid out. For example, although there is a description of “1 [1]” in links 1, 2, 3, and 7, this means that the cache is paid out to the parallel processing unit [1] in the cache range whose cache range ID is 1. Further, since the cache range with the cache range ID 1 includes the links 1, 2, 3, and 7, the bandwidth of 10% of the capacity of each link for the links 1, 2, 3, and 7 is allocated to the parallel processing unit [1]. This indicates that the cash bandwidth has been paid out.

ここでは便宜上、キャッシュ容量比率単位を10%単位としているが、この単位は任意のものとすることができ、キャッシュ統合管理テーブルではどの並列処理部に対してどれだけキャッシュを払い出しているかが管理できればよい。   Here, for convenience, the unit of the cache capacity ratio is 10%, but this unit can be arbitrary. If the cache integrated management table can manage how much cache is paid out to which parallel processing unit. Good.

一方、並列処理部[1]及び[2]に設けられる各テーブルの内容が図11に示されている。図11に示すものは図10に示したものと対をなすものである。フローエントリ情報としてフローエントリテーブルには、それぞれの並列処理部に振り分けられたフローとそのフローに対応するパスが格納される。また、キャッシュ帯域情報としてキャッシュ帯域管理テーブルには、リンクごとにその並列処理部に対してどれだけの帯域がキャッシュとして払い出されたか(保持帯域)と、保持帯域のうちの実際に使用している帯域(利用帯域)が格納される。図示した例では、リンク2,4の帯域は15Gbpsであって他のリンク(帯域が10Gbps)よりも容量が1.5となっているので、そのことが、キャッシュ帯域管理テーブルの「容量比」の欄に示されている。なお、各並列処理部のキャッシュ帯域管理テーブルでは、保持帯域の初期値として、0が設定されていても、あるいは一定の値が割り当てられていてもよい。   On the other hand, the contents of each table provided in the parallel processing units [1] and [2] are shown in FIG. The one shown in FIG. 11 is paired with the one shown in FIG. In the flow entry table as flow entry information, a flow distributed to each parallel processing unit and a path corresponding to the flow are stored. In addition, in the cache bandwidth management table as cache bandwidth information, how much bandwidth is paid out as cache for each parallel processing unit for each link (retention bandwidth) and the actual use of the retention bandwidth. Stored bandwidth (used bandwidth). In the illustrated example, the bandwidth of the links 2 and 4 is 15 Gbps, and the capacity is 1.5 than other links (bandwidth is 10 Gbps), which is the “capacity ratio” in the cache bandwidth management table. It is shown in the column. In the cache bandwidth management table of each parallel processing unit, 0 may be set as the initial value of the retention bandwidth, or a constant value may be assigned.

次に、本実施形態において各並列処理部22が現用経路の経路変更(予備経路は考慮しない)を行う際の処理について説明する。経路変更を行う場合、帯域確認を行う前に経路切替を行う場合と、帯域確認を行ってから経路切替を行う場合とがある。本実施形態の場合、キャッシュとして予め帯域が各並列処理部に払い出されているので、帯域確認を行う前に経路切替を行うことも可能である。   Next, a process when each parallel processing unit 22 performs a route change of the active route (a backup route is not considered) in the present embodiment will be described. When changing the route, there are a case where the route is switched before the bandwidth is confirmed, and a case where the route is switched after the bandwidth is confirmed. In the case of this embodiment, since the bandwidth is paid out to each parallel processing unit in advance as a cache, it is also possible to perform path switching before performing bandwidth confirmation.

図12は、帯域確認前に経路切替を行う場合の処理を示している。   FIG. 12 shows processing in the case of performing path switching before bandwidth confirmation.

並列処理部22がフローの新規設定あるいは変更設定の要求を受信すると、経路設定制御部42は、ステップ101において、経路情報とフローエントリ情報とを参照して、入出力点情報から切替候補のマルチルートを抽出する。次に経路設定制御部42は、キャッシュ帯域情報を参照して、ステップ102において、抽出した各ルートに含まれるリンクの空き帯域を確認し、ステップ103において、最小空き帯域が最も大きいルートを選定してフローを切り替え、切り替えたフローに対応する転送テーブル情報を出力し、ステップ104において、キャッシュ帯域情報を更新する。次にステップ105において、キャッシュ帯域管理部46が、キャッシュ帯域情報を参照して、新規に設定したルートに帯域が残っているかどうかを判断する。帯域が残っている場合には、そのまま処理を終了して並列処理部22はフローの新規設定あるいは変更設定の要求の待ち受け状態となる。一方、ステップ105において帯域が残っていないと判断したときは、ステップ106において、キャッシュ帯域統合管理部36に対して、差分となる帯域を要求し、その後、並列処理部22はフローの新規設定あるいは変更設定の要求の待ち受け状態となる。差分となる帯域の要求は、キャッシュ範囲とキャッシュ量の指定によって行われる。   When the parallel processing unit 22 receives a request for a new setting or change setting for a flow, the route setting control unit 42 refers to the route information and the flow entry information in step 101, and determines the multipoint of the switching candidate from the input / output point information. Extract the route. Next, the route setting control unit 42 refers to the cache bandwidth information, confirms the free bandwidth of the link included in each extracted route in step 102, and selects the route having the largest minimum free bandwidth in step 103. The flow is switched, and transfer table information corresponding to the switched flow is output. In step 104, the cache bandwidth information is updated. Next, in step 105, the cache bandwidth management unit 46 refers to the cache bandwidth information and determines whether or not bandwidth remains in the newly set route. If the bandwidth remains, the process is terminated as it is, and the parallel processing unit 22 enters a waiting state for a request for a new setting or change setting of a flow. On the other hand, if it is determined in step 105 that there is no remaining bandwidth, in step 106, the cache bandwidth integrated management unit 36 is requested to use a difference bandwidth, and then the parallel processing unit 22 sets a new flow or It will be in a waiting state for a change setting request. A request for a bandwidth that is a difference is made by designating a cache range and a cache amount.

図13は、帯域確認後に経路切替を行う場合の処理を示している。   FIG. 13 shows processing in the case of performing path switching after bandwidth confirmation.

図12の場合と同様にステップ101,102を実行した後、経路設定制御部42は、ステップ111において、最小空き帯域が最も大きいルートを選定する。この時点では経路の切り替えはまだ行われない。次にキャッシュ帯域管理部46が、ステップ112において、キャッシュ帯域情報を参照して、選定されたルートに、フローが要求した帯域を合算しても帯域が残っているかどうかを判断する。帯域が残っている場合には、経路設定制御部42が、ステップ113において、選定ルートにフローを切り替えて転送テーブル情報を出力し、ステップ114においてキャッシュ帯域情報を更新し、処理を終了する。並列処理部22はフローの新規設定あるいは変更設定の要求の待ち受け状態となる。一方、ステップ112において帯域が残っていない場合には、キャッシュ帯域管理部46は、ステップ115において、帯域管理部21のキャッシュ帯域統合管理部36に対して、差分となる帯域を要求し、ステップ116において、帯域管理部21に帯域が残っていてキャッシュが払い出されたかどうかを判断する。帯域が払い出された場合にはステップ113に移行し、払い出されなかった場合には、ステップ117において、フローの切り替えを行わずに並列処理部22はエラーメッセージなどのメッセージを出力し、その後、フローの新規設定あるいは変更設定の要求の待ち受け状態となる。   After executing Steps 101 and 102 as in the case of FIG. 12, the route setting control unit 42 selects a route having the largest minimum free bandwidth in Step 111. At this point, the route is not switched yet. Next, in step 112, the cache bandwidth management unit 46 refers to the cache bandwidth information and determines whether or not there is a bandwidth remaining in the selected route even if the bandwidth requested by the flow is added. If the bandwidth remains, the route setting control unit 42 switches the flow to the selected route and outputs the transfer table information in step 113, updates the cache bandwidth information in step 114, and ends the processing. The parallel processing unit 22 enters a waiting state for a request for new setting or change setting of a flow. On the other hand, if no bandwidth remains in step 112, the cache bandwidth management unit 46 requests the difference bandwidth from the cache bandwidth integrated management unit 36 of the bandwidth management unit 21 in step 115. In FIG. 4, it is determined whether or not the bandwidth remains in the bandwidth management unit 21 and the cache has been paid out. If the bandwidth is paid out, the process proceeds to step 113. If the bandwidth is not paid out, in step 117, the parallel processing unit 22 outputs a message such as an error message without switching the flow, and then Then, the flow enters a waiting state for a request for new setting or change setting of the flow.

図14は、キャッシュ帯域要求を受け付けたときのキャッシュ帯域統合管理部36の動作を示している。   FIG. 14 shows the operation of the cache bandwidth integration management unit 36 when a cache bandwidth request is received.

キャッシュ帯域統合管理部36は、キャッシュ範囲とキャッシュ量とが指定されたキャッシュ払い出し要求を受信すると、ステップ121において、キャッシュ帯域統合管理テーブルを参照して、要求されたキャッシュ範囲のリンクの残容量を確認し、ステップ122において、キャッシュ払い出しが可能かどうかを判断する。可能である場合には、キャッシュ帯域統合管理部36は、ステップ123において、要求通りにキャッシュを払い出し、その後、次のキャッシュ払い出し要求を待ち受ける状態となる。一方、ステップ122においてキャッシュ払い出しが不可能であると判断した場合には、キャッシュ帯域統合管理部36は、ステップ124において、残帯域がないのでキャッシュ払い出しを行わず、そのまま、次のキャッシュ払い出し要求を待ち受ける状態となる。ステップ124に処理が進むことは、設備の増設の契機となるものである。   When the cache bandwidth integration management unit 36 receives the cache payout request in which the cache range and the cache amount are specified, in step 121, the cache bandwidth integration management unit 36 refers to the cache bandwidth integration management table to determine the remaining capacity of the link in the requested cache range. In step 122, it is determined whether or not cash can be paid out. If it is possible, in step 123, the cache bandwidth integration management unit 36 pays out the cache as requested, and then waits for the next cache payout request. On the other hand, if it is determined in step 122 that the cash payout is impossible, the cache bandwidth integration management unit 36 does not pay out the cache because there is no remaining bandwidth in step 124, and issues the next cash payout request as it is. It will be in a waiting state. Proceeding to step 124 is an opportunity to increase the number of facilities.

以上説明したように本実施形態では、現用の経路の切り替えを行う際に、帯域確認を並列化することにより、並列処理部22から帯域管理部21への帯域確認の回数を減らして、再接続完了までの時間を短くすることができる。   As described above, in the present embodiment, when switching the current route, the bandwidth confirmation is performed in parallel, thereby reducing the number of bandwidth confirmations from the parallel processing unit 22 to the bandwidth management unit 21 and reconnection. Time to completion can be shortened.

次に、図15は、本実施形態において、現用と予備の経路の両方の切り替えを行う場合の処理と各格納部に格納されるデータの構造とを説明している。ここでは、説明の簡単のため、1つの並列処理部[1]のみに着目するので、フローa及びフローbが切替の対象となる。これらのフローの予備の経路が、図9(e)に示すように設定されているものとする。   Next, FIG. 15 illustrates processing in the case of switching both the working and backup paths and the structure of data stored in each storage unit in the present embodiment. Here, for the sake of simplicity of explanation, only one parallel processing unit [1] is focused, so that the flow a and the flow b are to be switched. It is assumed that the backup paths for these flows are set as shown in FIG.

予備の経路についても切り替えを行うか行わないかによっては、キャッシュ帯域統合管理テーブル、キャッシュ範囲テーブル及び経路テーブルの内容に違いはなく、これらのテーブルの内容は図10に示したものと同じである。一方、並列処理部に設けられるテーブルの内容は、図11に示したものとは異なっている。並列処理部[1]のフローエントリテーブルは、その並列処理部に振り分けられたフローごとに、フローを構成するパス(現用)と予備経路のパスとが格納される。また、キャッシュ帯域管理テーブルには、上述した容量比、保持帯域及び利用帯域の他に、リンクごとの最大の予備帯域も格納され、各リンクごとに、最大の予備割当帯域と減容帯域とが保持帯域を上回らないように管理される。さらに、リンクごとに、リンク障害パターン(どのリンクに障害が発生するかのパターン)に応じて予備割当帯域を格納する予備帯域管理テーブルが設けられる。図示したものでは、リンク1の予備帯域管理テーブルが示されており、この例では、障害リンクがリンク3とリンク4である場合に1Gbpsずつ設定された予備割当帯域は、リンク1を通るフローbの予備帯域である。また、予備帯域管理テーブルにおいて「最大」で示されたものは、全リンク障害パターンの中での必要最大帯域である。   There is no difference in the contents of the cache bandwidth integration management table, the cache range table, and the path table depending on whether or not the backup path is switched, and the contents of these tables are the same as those shown in FIG. . On the other hand, the contents of the table provided in the parallel processing unit are different from those shown in FIG. The flow entry table of the parallel processing unit [1] stores a path (active) and a backup path that constitute the flow for each flow distributed to the parallel processing unit. The cache bandwidth management table also stores the maximum spare bandwidth for each link in addition to the capacity ratio, the retained bandwidth, and the used bandwidth described above. For each link, the maximum spare allocated bandwidth and the reduced bandwidth are stored. It is managed not to exceed the retention band. Further, for each link, a spare bandwidth management table for storing a spare allocated bandwidth according to a link failure pattern (a pattern in which a failure occurs) is provided. In the figure, the backup bandwidth management table for link 1 is shown. In this example, when the failed links are link 3 and link 4, the reserve bandwidth set for 1 Gbps is the flow b passing through link 1. This is a reserve band. In addition, what is indicated as “maximum” in the backup bandwidth management table is a required maximum bandwidth in all link failure patterns.

次に、本実施形態において各並列処理部22が現用経路及び予備経路の経路変更を行う際の処理について説明する。この場合も、帯域確認を行う前に経路切替を行う場合と、帯域確認を行ってから経路切替を行う場合とがある。   Next, processing when each parallel processing unit 22 changes the working route and the backup route in this embodiment will be described. Also in this case, there are a case where the path is switched before the band confirmation is performed and a case where the path is switched after the band confirmation is performed.

図16は、帯域確認前に経路切替を行う場合の処理を示している。   FIG. 16 shows processing in the case of performing path switching before bandwidth confirmation.

並列処理部22がフローの新規設定あるいは変更設定の要求を受信すると、経路設定制御部42は、ステップ131において、経路情報とフローエントリ情報とを参照して、入出力点情報から切替候補のマルチルートを抽出し、ステップ132において、キャッシュ帯域情報を参照して、抽出した各ルートに含まれるリンクの空き帯域を確認する。この確認は、(保持帯域−現用帯域−最大予備帯域)を計算することによって行われる。次に、ステップ133において、経路設定制御部42は、最小空き帯域が最も大きいルートを現用に選定し、ステップ134において、キャッシュ帯域情報を参照して、抽出ルートから現用に選定したものを除いた各ルートに含まれるリンクの、現用選定ルートの各リンク障害パターンごとの予備用の空き帯域を確認する。予備用の空き帯域の確認は、(保持帯域−現用帯域−該当リンク障害パターンの予備帯域)を計算することによって行われる。その後、経路設定制御部42は、ステップ135において、最小になる障害パターンの最小のリンクの空き帯域が最も大きいルートを予備に選定し、ステップ136において、選定した現用ルートにフローを切り替えて転送テーブル情報を出力し、選定された予備ルートを予備ルートとして設定し、ステップ137において、キャッシュ帯域情報を更新する。   When the parallel processing unit 22 receives a request for a new setting or change setting for a flow, the route setting control unit 42 refers to the route information and the flow entry information in step 131 and determines the switching candidate from the input / output point information. The route is extracted, and in step 132, the free bandwidth of the link included in each extracted route is confirmed with reference to the cache bandwidth information. This confirmation is performed by calculating (holding band−working band−maximum spare band). Next, in step 133, the route setting control unit 42 selects the route having the largest minimum free bandwidth as the current route, and in step 134, refers to the cache bandwidth information and excludes the route selected from the extracted route as the current route. The spare free bandwidth for each link failure pattern of the currently selected route of the links included in each route is confirmed. Confirmation of the spare free band is performed by calculating (holding band−working band−reserve band of the corresponding link failure pattern). Thereafter, the route setting control unit 42 selects a route with the largest available bandwidth of the smallest link with the smallest failure pattern in step 135 as a backup, and switches the flow to the selected working route in step 136 to transfer the transfer table. The information is output, the selected backup route is set as the backup route, and in step 137, the cache bandwidth information is updated.

次にステップ138において、キャッシュ帯域管理部46が、キャッシュ帯域情報を参照して、新規に設定したルートに帯域が残っているかどうかを判断する。帯域が残っている場合には、そのまま処理を終了して並列処理部22はフローの新規設定あるいは変更設定の要求の待ち受け状態となる。一方、ステップ138において帯域が残っていないと判断したときは、ステップ139において、キャッシュ帯域統合管理部36に対して、差分となる帯域を要求し、その後、並列処理部22はフローの新規設定あるいは変更設定の要求の待ち受け状態となる。   Next, in step 138, the cache bandwidth management unit 46 refers to the cache bandwidth information and determines whether or not a bandwidth remains in the newly set route. If the bandwidth remains, the process is terminated as it is, and the parallel processing unit 22 enters a waiting state for a request for a new setting or change setting of a flow. On the other hand, if it is determined in step 138 that there is no remaining bandwidth, in step 139, the cache bandwidth integration management unit 36 is requested to use a difference bandwidth, and then the parallel processing unit 22 sets a new flow or It will be in a waiting state for a change setting request.

図17は、帯域確認後に経路切替を行う場合の処理を示している。   FIG. 17 shows processing in the case of performing path switching after bandwidth confirmation.

図16の場合と同様に、経路設定制御部42がステップ131〜135を実行する。次にキャッシュ帯域管理部46が、ステップ141において、キャッシュ帯域情報を参照して、選定されたルートに、現用フロー及び予備フローが要求した帯域を合算しても帯域が残っているかどうかを判断する。帯域が残っている場合には、経路設定制御部42は、ステップ142において、選定ルートにフローを切り替えて転送テーブル情報を出力し、ステップ143においてキャッシュ帯域情報を更新し、処理を終了する。並列処理部22はフローの新規設定あるいは変更設定の要求の待ち受け状態となる。一方、ステップ141において帯域が残っていない場合には、キャッシュ帯域管理部46は、ステップ144において、帯域管理部21のキャッシュ帯域統合管理部36に対して、差分となる帯域を要求し、ステップ145において、帯域管理部21に帯域が残っていてキャッシュが払い出されたかどうかを判断する。帯域が払い出された場合にはステップ142に移行し、払い出されなかった場合には、ステップ146において、フローの切り替えを行わずに並列処理部22はエラーメッセージなどのメッセージを出力し、その後、フローの新規設定あるいは変更設定の要求の待ち受け状態となる。   As in the case of FIG. 16, the route setting control unit 42 executes steps 131 to 135. Next, in step 141, the cache bandwidth management unit 46 refers to the cache bandwidth information, and determines whether or not the bandwidth remains in the selected route even if the bandwidth requested by the current flow and the backup flow is added. . If the bandwidth remains, the route setting control unit 42 switches the flow to the selected route and outputs the transfer table information in step 142, updates the cache bandwidth information in step 143, and ends the processing. The parallel processing unit 22 enters a waiting state for a request for new setting or change setting of a flow. On the other hand, if no bandwidth remains in step 141, the cache bandwidth management unit 46 requests the bandwidth that becomes the difference from the cache bandwidth integrated management unit 36 of the bandwidth management unit 21 in step 144, and step 145 In FIG. 4, it is determined whether or not the bandwidth remains in the bandwidth management unit 21 and the cache has been paid out. If the bandwidth is paid out, the process proceeds to step 142. If the bandwidth is not paid out, in step 146, the parallel processing unit 22 outputs a message such as an error message without switching the flow, and then Then, the flow enters a waiting state for a request for new setting or change setting of the flow.

以上説明したように本実施形態では、現用及び予備の経路の切り替えを行う際に、帯域確認を並列化することにより、並列処理部22から帯域管理部21への帯域確認の回数を減らし、かつ帯域管理部21への処理の集中を防止して、再接続完了までの時間を短くすることができる。   As described above, in the present embodiment, when switching between the working and backup paths, the number of times of bandwidth confirmation from the parallel processing unit 22 to the bandwidth management unit 21 is reduced by parallelizing the bandwidth confirmation, and The concentration of processing to the bandwidth management unit 21 can be prevented, and the time until reconnection is completed can be shortened.

以上、本発明の一実施形態について説明した、この実施形態には種々のバリエーションがある。   As described above, one embodiment of the present invention has been described. There are various variations in this embodiment.

上述したものでは同一入出力のマルチルートを最小範囲としてキャッシュを払い出しているが、これのバリエーションとして、全てのリンクについてキャッシュ帯域を払い出すことも可能である。   In the above, the cache is paid out with the same input / output multi-route as the minimum range, but as a variation of this, the cache bandwidth can be paid out for all links.

別のバリエーションとして、払い出されているが利用されていない帯域、あるいは払い出されていない帯域を有効利用するキャッシュデフラグを実行するものがある。キャッシュデフラグには、例えば、(1)あるリンクが帯域不足になった場合に、不足リンクを含むマルチルートのキャッシュを払い出すが、不足リンクを含むルートは選定しないようブロック(阻止)するという、キャッシュ帯域投機払い出し・不足リンクブロック、(2)利用されていないキャッシュ帯域を全並列処理部から帯域管理部が回収するキャッシュ帯域ガベージコレクション、(3)各並列処理部が、他の並列処理部から当該他の並列処理部において利用されていないキャッシュ帯域を回収する並列処理部間キャッシュ帯域ガベージコレクションなどがあり、これらのキャッシュデフラグの手法は任意に組み合わせて実行することができる。   Another variation is to execute a cash defragmentation that effectively uses a band that has been paid out but not used, or a band that has not been paid out. For example, in the cache defragmentation, (1) when a certain link runs out of bandwidth, the multi-route cache including the insufficient link is paid out, but the route including the insufficient link is blocked (blocked) from being selected. Cache bandwidth speculative payout / insufficient link block, (2) Cache bandwidth garbage collection in which the bandwidth management unit collects unused cache bandwidth from all parallel processing units, and (3) Each parallel processing unit from other parallel processing units There is a cache bandwidth garbage collection between parallel processing units that collects a cache bandwidth that is not used in the other parallel processing units, and these cache defragmentation methods can be executed in any combination.

図18は、キャッシュ帯域投機払い出し・不足リンクブロックを行う際の帯域管理部21と並列処理部22との関係を説明しており、図19は、キャッシュ帯域投機払い出し・不足リンクブロックの際の各格納部に格納されるデータを示している。ここでは、図9(f)に示したようにリンクとフローが設定されており、特に、リンク4は帯域不足であるが、リンク1,8には帯域に余裕があるものとする。なお、経路テーブルの内容は図10に示したものと同じであるので、図19には示されていない。   FIG. 18 illustrates the relationship between the bandwidth management unit 21 and the parallel processing unit 22 when performing cache bandwidth speculative payout / insufficient link blocks, and FIG. Data stored in the storage unit is shown. Here, links and flows are set as shown in FIG. 9F, and in particular, the link 4 is insufficient in bandwidth, but the links 1 and 8 have sufficient bandwidth. Since the contents of the route table are the same as those shown in FIG. 10, they are not shown in FIG.

上述した実施形態では、帯域管理部21のキャッシュ帯域統合管理部36が複数リンクの帯域を一括して払い出すため、特定リンクの帯域が不足した場合に、まだ余裕のあるリンクの帯域をキャッシュとして払い出せなくなってしまう、という課題が生じる。そこでキャッシュ帯域投機払い出し・不足リンクブロックでは、不足リンク以外の帯域を利用できるようにキャッシュとしての払い出しは実行するが、それと同時に、不足リンクは利用しないように各並列処理部22に対してブロックする指示を行う。   In the above-described embodiment, the cache bandwidth integrated management unit 36 of the bandwidth management unit 21 pays out the bandwidths of a plurality of links all at once. There arises a problem that it becomes impossible to pay out. Therefore, in the cache bandwidth speculative payout / insufficient link block, the payout as the cache is executed so that the bandwidth other than the insufficient link can be used, but at the same time, the parallel processing unit 22 is blocked so that the insufficient link is not used. Give instructions.

キャッシュ帯域投機払い出し・不足リンクブロックでは、帯域管理部21のキャッシュ帯域統合管理テーブルにおいて、リンクごとに、ブロックの有無をフラグとして格納するとともに、投機配布(不足リンクに対応する払い出し)をどの並列処理部に対して行ったかを格納するようにする。一方、各並列処理部のキャッシュ帯域管理テーブルには、リンクごとに、当該リンクを利用しないためのブロック量が格納されるようになっている。   In the cache bandwidth speculative payout / insufficient link block, the presence / absence of a block is stored as a flag for each link in the cache bandwidth integrated management table of the bandwidth management unit 21 and which parallel processing speculative distribution (payout corresponding to the shortage link) is performed. Stores what has been done to the part. On the other hand, the cache bandwidth management table of each parallel processing unit stores a block amount for not using the link for each link.

ここでは、リンク4が帯域不足となっているので、リンク4をブロックするものとし、これに対応してキャッシュ帯域統合管理テーブルではリンク4についてブロック有のフラグが格納され、キャッシュ帯域管理テーブルではリンク4にブロック量として1.5Gbpsが格納されている。キャッシュ帯域管理テーブルの保持帯域の欄には、キャッシュとして配布された帯域が反映されているが、リンク4ではブロック量が設定されているので、保持容量の合計3Gbps(=1.5Gbps+1.5Gbps)のうち、ブロック分の1.5Gbpsは利用しないように並列処理部[1]は制御されることになる。   Here, since the link 4 has insufficient bandwidth, it is assumed that the link 4 is blocked. In the cache bandwidth integrated management table, a flag with a block is stored for the link 4, and in the cache bandwidth management table, the link is linked. 4 stores 1.5 Gbps as a block amount. Although the bandwidth distributed as a cache is reflected in the retention bandwidth column of the cache bandwidth management table, since the block amount is set for the link 4, the total retention capacity is 3 Gbps (= 1.5 Gbps + 1.5 Gbps). Among them, the parallel processing unit [1] is controlled so as not to use 1.5 Gbps for the block.

図20は、キャッシュ帯域ガベージコレクションを示している。ここでは、図9(a)〜(d)に示すようにネットワークが構成されているものとするが、説明を簡単にするために1つの並列処理部[1]について考えるものとする。したがって、フローa及びフローbに着目するものとする。なお、キャッシュ範囲テーブル、経路テーブル、フローエントリテーブル及びキャッシュ帯域管理テーブルの内容は図10及び図11に示した場合と同じであるから、図20には示していない。   FIG. 20 illustrates cache bandwidth garbage collection. Here, it is assumed that the network is configured as shown in FIGS. 9A to 9D, but one parallel processing unit [1] is considered to simplify the description. Accordingly, attention is paid to the flow a and the flow b. The contents of the cache range table, path table, flow entry table, and cache bandwidth management table are the same as those shown in FIGS. 10 and 11, and are not shown in FIG.

上述した実施形態では、ある並列処理部に払い出しているが利用されていないキャッシュ帯域は、他の並列処理部に払い出していれば利用できている可能性があり、このような分割損により収容効率を下げてしまう恐れがある。そこで、キャッシュ帯域ガベージコレクションでは、キャッシュ帯域統合管理部36が各並列処理部22のキャッシュ帯域管理部46に対し、キャッシュ範囲ごとの空き帯域の回収要求(キャッシュ回収要求)を送り、各キャッシュ帯域管理部46は、キャッシュ回収要求に対応して、リンク容量比率にしたがってキャッシュ範囲の返却可能な空き帯域を計算して空キャッシュ量応答として応答する。空キャッシュ量応答で応答した帯域は、キャッシュ帯域統合管理テーブルと各並列処理部22のキャッシュ帯域管理テーブルとから削除され、これによってキャッシュ帯域が帯域管理部21に回収されたことになる。   In the embodiment described above, a cache bandwidth that is paid out to a certain parallel processing unit but is not used may be used as long as it is paid out to another parallel processing unit. There is a risk of lowering. Therefore, in the cache bandwidth garbage collection, the cache bandwidth integrated management unit 36 sends a free bandwidth collection request (cache collection request) for each cache range to the cache bandwidth management unit 46 of each parallel processing unit 22 to manage each cache bandwidth. In response to the cache collection request, the unit 46 calculates the available free bandwidth of the cache range according to the link capacity ratio and responds as an empty cache amount response. The bandwidth responded by the empty cache amount response is deleted from the cache bandwidth integrated management table and the cache bandwidth management table of each parallel processing unit 22, and thereby the cache bandwidth is recovered by the bandwidth management unit 21.

このような処理を実行するため、各並列処理部22は、それぞれ、空き帯域を管理する空き帯域管理テーブルを備える。空き帯域管理テーブルは、キャッシュ範囲ごとに、そのキャッシュ範囲を構成するパス及びリンクと、空き帯域とを格納する。図示した例では、キャッシュ回収要求に対し、並列処理部[1]は、リンク容量比率を考慮して空き帯域を応答するので、ID1(α−β)のキャッシュ範囲について、リンク1,3,7については各0.3Gbps、リンク2については0.45(=0.3×1.5)Gbpsが回収されることになる。   In order to execute such processing, each parallel processing unit 22 includes a free bandwidth management table for managing free bandwidth. The free bandwidth management table stores, for each cache range, paths and links that constitute the cache range, and free bandwidth. In the illustrated example, in response to the cache collection request, the parallel processing unit [1] responds with a free bandwidth in consideration of the link capacity ratio, so the links 1, 3, and 7 for the cache range of ID1 (α-β). Will be recovered for each 0.3 Gbps, and 0.45 (= 0.3 × 1.5) Gbps for link 2.

図21は、並列処理部間キャッシュ帯域ガベージコレクションを示している。ここでは、図9(a)〜(d)に示すようにネットワークが構成されているものとするが、説明を簡単にするためにフローa及びフローbに着目するものとする。なお、キャッシュ範囲テーブル及び経路テーブルの内容は図10に示した場合と同じであるから、図21には示していない。   FIG. 21 shows cache bandwidth garbage collection between parallel processing units. Here, it is assumed that the network is configured as shown in FIGS. 9A to 9D, but attention is paid to the flow a and the flow b in order to simplify the description. The contents of the cache range table and the route table are the same as those shown in FIG. 10, and are not shown in FIG.

並列処理部間キャッシュ帯域ガベージコレクションも、上述いたキャッシュ帯域ガベージコレクションと同様に、分割損による収容効率の低下を防ぐためのものであり、各並列処理部22のキャッシュ帯域管理部46が、キャッシュ帯域不足時に、他の全ての並列処理部に対して不足のキャッシュ範囲の空き帯域を要求するキャッシュ回収要求を出す。キャッシュ回収要求を受け取った各並列処理部のキャッシュ帯域管理部46は、リンク容量比率にしたがってキャッシュ範囲の返却可能な空き帯域を計算し、要求した並列処理部に対して空キャッシュ量応答として直接応答することで、空きキャッシュ帯域量を受け渡す。   Similarly to the cache bandwidth garbage collection described above, the cache bandwidth garbage collection between the parallel processing units is for preventing a reduction in the accommodation efficiency due to the division loss, and the cache bandwidth management unit 46 of each parallel processing unit 22 When there is a shortage, a cache collection request for requesting free bandwidth in the shortage cache range is issued to all other parallel processing units. The cache bandwidth management unit 46 of each parallel processing unit that has received the cache collection request calculates the free bandwidth that can be returned in the cache range according to the link capacity ratio, and responds directly to the requested parallel processing unit as an empty cache amount response. To pass the free cache bandwidth.

このような処理を実行するため、各並列処理部22は、キャッシュ帯域ガベージコレクションの場合と同様に、それぞれ、空き帯域を管理する空き帯域管理テーブルを備える。空き帯域管理テーブルは、キャッシュ範囲ごとに、そのキャッシュ範囲を構成するパス及びリンクと、空き帯域とを格納する。図示した例では、並列処理部[2]は、その不足しているキャッシュ範囲、キャッシュ帯域量の回収要求を他の並列処理部に直接送る。例えば、キャッシュ範囲ID(α−β)について0.2Gbpsを要求する。このキャッシュ回収要求に対し、並列処理部[1]は、要求されたキャッシュ範囲とキャッシュ帯域量分の空き帯域を有していれば、要求元(並列処理部[2])に対し、空きキャッシュ量応答を直接送って、空き帯域を受け渡す。   In order to execute such processing, each parallel processing unit 22 includes a free bandwidth management table for managing free bandwidth as in the case of cache bandwidth garbage collection. The free bandwidth management table stores, for each cache range, paths and links that constitute the cache range, and free bandwidth. In the illustrated example, the parallel processing unit [2] directly sends a collection request for the insufficient cache range and cache bandwidth to another parallel processing unit. For example, 0.2 Gbps is requested for the cache range ID (α−β). In response to this cache collection request, if the parallel processing unit [1] has a free bandwidth corresponding to the requested cache range and the cache bandwidth amount, the parallel processing unit [1] sends an empty cache to the request source (parallel processing unit [2]). Send the volume response directly and pass the free bandwidth.

さらに別のバリエーションとして、並列処理部の数を変更し、並列処理部の数が増えたときに、元の並列処理部に割り当てられていたフローに加えてキャッシュ帯域も分割する、というものがある。   Yet another variation is that when the number of parallel processing units is changed and the number of parallel processing units increases, the cache bandwidth is also divided in addition to the flow assigned to the original parallel processing unit. .

非特許文献4には、各並列処理部に振り分けられているフロー数の偏りが発生するときに、フロー情報と並列処理の割当変更を行う方法が提案されている。この方法では利用状況に合わせた並列数の増加・削減も行う。並列処理部の数を減少するのは、帯域量及びフロー処理量の両方に余裕がある場合であると考えられるので、割当変更は特に問題とはならないが、並列処理部の数を増やすときは、帯域量及びフロー処理量の少なくとも一方に余裕がないときであり、既存の各並列処理部から帯域とフローを分割する必要がある。しかしながら、フローの分割に合わせて適切に帯域を分割できないと、それ以上のフローの収容が不可能となって、収容効率が低下してしまう。   Non-Patent Document 4 proposes a method for changing the allocation of flow information and parallel processing when a deviation in the number of flows distributed to each parallel processing unit occurs. In this method, the number of parallels is increased or decreased according to the usage situation. It is considered that the number of parallel processing units is reduced when there is a margin in both the bandwidth and flow processing amount, so the allocation change is not particularly problematic, but when increasing the number of parallel processing units This is a case where at least one of the bandwidth amount and the flow processing amount has no room, and it is necessary to divide the bandwidth and the flow from each existing parallel processing unit. However, if the bandwidth cannot be appropriately divided in accordance with the flow division, no more flows can be accommodated, resulting in a reduction in accommodation efficiency.

このようなフロー割当変更に伴う課題を解決する方法として、フロー処理負荷の高い並列処理部を、帯域情報は共有するように子として2分割する方法と、フロー処理負荷の高い並列処理部についてフローも帯域情報も2分割する方法とが考えられる。   As a method for solving the problems associated with such a flow allocation change, a parallel processing unit with a high flow processing load is divided into two as a child so as to share bandwidth information, and a parallel processing unit with a high flow processing load is flowed. And the band information may be divided into two.

図22は、フローaとフローbの両方の経路制御を行っていてフロー処理負荷が高い並列処理部[1]を、帯域情報は共有するように子として2分割する例を示している。この場合、子として、並列処理部[1]−2が分割されるが、並列処理部[1]−2には、フロー処理のみが分割される。フローの分割は、振分けアルゴリズムに基づいて行われ、分割後も振分けアルゴリズムに基づいて別々にフローが並列処理部[1]と並列処理部[1]−2に割り当てられる。したがって、分割前の(すなわち元の)並列処理部[1]のフローエントリテーブルには、フローaとフローbが登録されていたのに対し、分割後の並列処理部[1]のフローエントリテーブルには、フローaのみが登録され、分割後の並列処理部[1]−2のフローエントリテーブルには、フローbのみが登録されることになる。キャッシュ帯域管理テーブルに関しては、分割前と分割後の並列処理部[1]では同じ内容が格納され、分割後の並列処理部[1]−2にはキャッシュ帯域管理テーブルは設けられないことになる。分割後の並列処理部[1]−2は、帯域情報については、親となる分割後の並列処理部[1]のキャッシュ帯域管理テーブルを参照し更新する。   FIG. 22 shows an example in which the parallel processing unit [1] that performs the path control of both the flow a and the flow b and has a high flow processing load is divided into two so that the bandwidth information is shared. In this case, the parallel processing unit [1] -2 is divided as a child, but only the flow processing is divided into the parallel processing unit [1] -2. The flow is divided based on the distribution algorithm, and after the division, the flows are separately assigned to the parallel processing unit [1] and the parallel processing unit [1] -2 based on the distribution algorithm. Therefore, while the flow a and the flow b are registered in the flow entry table of the parallel processing unit [1] before (that is, the original), the flow entry table of the parallel processing unit [1] after the division Only the flow a is registered, and only the flow b is registered in the flow entry table of the divided parallel processing unit [1] -2. Regarding the cache bandwidth management table, the same contents are stored in the parallel processing unit [1] before and after the division, and the cache bandwidth management table is not provided in the parallel processing unit [1] -2 after the division. . The post-partition parallel processing unit [1] -2 updates the bandwidth information by referring to the cache bandwidth management table of the post-partition parallel processing unit [1].

図23は、フローaとフローbの両方の経路制御を行っていてフロー処理負荷が高い並列処理部[1]を、2つの並列処理部すなわち並列処理部[X]と並列処理部[Y]に、フロー処理も帯域情報も2分割する例を示している。この場合、フローの分割は、振分けアルゴリズムに基づいて対等に2分割されるように行われ、分割後も振分けアルゴリズムに基づいて別々にフローが並列処理部[X]と並列処理部[Y]に割り当てられる。分割前の、分割前の並列処理部[1]のフローエントリテーブルには、フローaとフローbが登録されていたのに対し、分割後の並列処理部[X]のフローエントリテーブルには、フローaのみが登録され、分割後の並列処理部[Y]のフローエントリテーブルには、フローbのみが登録されることになる。キャッシュ帯域管理テーブルについても、分割前の並列処理部[1]のキャッシュ帯域管理テーブルに割り当てられていた帯域が、並列処理部[X]のキャッシュ帯域管理テーブルと並列処理部[Y]のキャッシュ帯域管理テーブルに分割されることになる。並列処理部[X]及び並列処理部[Y]は、別々に、自処理部内のキャッシュ帯域管理テーブルを参照し更新する。なお、フロー及び帯域情報の両方を分割する場合には、その前処理として、上述したキャッシュデフラグを行うことが好ましい。   FIG. 23 shows a parallel processing unit [1] that performs both path control of flow a and flow b and has a high flow processing load, two parallel processing units, that is, a parallel processing unit [X] and a parallel processing unit [Y]. Further, an example is shown in which both the flow processing and the band information are divided into two. In this case, the flow is divided so as to be equally divided into two based on the distribution algorithm, and after the division, the flows are separately divided into the parallel processing unit [X] and the parallel processing unit [Y] based on the distribution algorithm. Assigned. In the flow entry table of the parallel processing unit [1] before the division, the flow a and the flow b are registered, whereas in the flow entry table of the parallel processing unit [X] after the division, Only the flow a is registered, and only the flow b is registered in the flow entry table of the divided parallel processing unit [Y]. Also for the cache bandwidth management table, the bandwidth allocated to the cache bandwidth management table of the parallel processing unit [1] before the division is the cache bandwidth management table of the parallel processing unit [X] and the cache bandwidth of the parallel processing unit [Y]. It will be divided into management tables. The parallel processing unit [X] and the parallel processing unit [Y] separately update the cache bandwidth management table in its own processing unit with reference to it. When both flow and band information are divided, it is preferable to perform the above-described cache defragmentation as preprocessing.

以上、本発明の実施形態に関するバリエーションを説明したが、これらのバリエーションは任意に組み合わせることができる。   As mentioned above, although the variation regarding embodiment of this invention was demonstrated, these variations can be combined arbitrarily.

また上述したL2転送制御部20は、専用ハードウェアとして構成することもできるが、マイクロプロセッサやメモリ、通信インタフェースなどを備える汎用のコンピュータを利用し、L2転送制御部20の機能を実行するコンピュータプログラムをこのコンピュータ上で実行させることによっても実現できる。コンピュータ上でプログラムを実行することによってL2転送制御部20を実現する場合、複数のプロセッサを有するコンピュータシステムを使用し、各プロセッサに並列処理部22を1つずつ割り当てることにより、並列処理部22の処理が並列化して実行されるようにすることが好ましい。   The above-described L2 transfer control unit 20 can be configured as dedicated hardware, but uses a general-purpose computer having a microprocessor, a memory, a communication interface, etc., and executes a function of the L2 transfer control unit 20 Can also be realized by executing on the computer. When the L2 transfer control unit 20 is realized by executing a program on a computer, a computer system having a plurality of processors is used, and one parallel processing unit 22 is assigned to each processor. It is preferable to execute the processes in parallel.

20 L2転送制御部
21 帯域管理部
22 並列処理部
23 振分制御部
24 設定入力部
25 物理経路制御部
31 帯域・リンク制御部
32,33,43〜45,47 格納部
34 ノード・リンク状態管理部
35 物理経路計算部
41 接続情報管理部
42 転送設定制御部
46 キャッシュ帯域管理部
50 転送ノード
20 L2 transfer control unit 21 bandwidth management unit 22 parallel processing unit 23 distribution control unit 24 setting input unit 25 physical path control unit 31 bandwidth / link control unit 32, 33, 43 to 45, 47 storage unit 34 node / link state management Unit 35 physical path calculation unit 41 connection information management unit 42 transfer setting control unit 46 cache bandwidth management unit 50 transfer node

Claims (7)

入出力点が異なる複数のフローが疎通可能であって複数の中継経路の設定が可能なネットワークにおいてフローごとに経路を制御する経路制御装置であって、
相互に並列に動作してそれぞれが1または複数のフローの経路を制御する複数の並列処理部と、
前記複数の並列処理部に対してフローを振り分ける振分制御部と、
前記ネットワークを構成する各リンクの帯域を管理する帯域管理部と、
を有し、
前記帯域管理部は、前記各リンクの帯域を管理する第1のテーブルを参照して、リンクごとの帯域情報の一部をキャッシュ帯域として前記各並列処理部に払い出すキャッシュ帯域統合管理部を備え、
前記各並列処理部は、前記帯域管理部から前記キャッシュ帯域の払い出しを受けて、当該並列処理部に割り当てられた帯域をリンクごとに管理する第2のテーブルを更新するキャッシュ帯域管理部と、前記第2のテーブルを参照して経路制御を実行する転送設定制御部と、を備え、
前記リンクごとに払い出されるキャッシュ帯域は当該リンクの容量に比例し、前記キャッシュ帯域の払い出し範囲を同一入出力マルチルート単位とする、経路制御装置。
A path control device that controls a path for each flow in a network in which a plurality of flows having different input / output points can communicate and a plurality of relay paths can be set,
A plurality of parallel processing units that operate in parallel with each other and each control one or more flow paths;
A distribution control unit that distributes the flow to the plurality of parallel processing units;
A bandwidth management unit for managing the bandwidth of each link constituting the network;
Have
The bandwidth management unit includes a cache bandwidth integrated management unit that refers to a first table for managing the bandwidth of each link and pays out a part of bandwidth information for each link as a cache bandwidth to each parallel processing unit. ,
Each of the parallel processing units receives a payout of the cache bandwidth from the bandwidth management unit, and updates a second table for managing a bandwidth allocated to the parallel processing unit for each link; A transfer setting control unit that performs path control with reference to the second table,
A routing control device, wherein a cache bandwidth paid out for each link is proportional to a capacity of the link, and a payout range of the cache bandwidth is set to the same input / output multi-route unit.
前記キャッシュ帯域統合管理部は、前記ネットワーク内の全リンクに関してキャッシュ帯域を払い出す、請求項1に記載の経路制御装置。   The path control device according to claim 1, wherein the cache bandwidth integrated management unit pays out cache bandwidth for all links in the network. 前記キャッシュ帯域統合管理部は、帯域が不足しているリンクについて、当該リンクは使用しないことを指示する情報とともに当該リンクをキャッシュとして払い出し、
前記並列処理部は、前記帯域が不足しているリンクについては前記情報によって指示された範囲内で経路選択に使用しない、請求項1または2に記載の経路制御装置。
The cache bandwidth integration management unit pays out the link as a cache together with information instructing that the link is not used for a link having insufficient bandwidth,
The path control device according to claim 1, wherein the parallel processing unit does not use the link having the insufficient bandwidth for path selection within a range instructed by the information.
前記キャッシュ帯域統合管理部は、キャッシュ回収要求を前記各並列処理部に送信し、
前記キャッシュ回答要求を受け付けた前記各並列処理部のキャッシュ帯域管理部は、前記第2のテーブルを参照して空き帯域量を計算し、前記キャッシュ帯域統合管理部に応答する、請求項1乃至3のいずれか1項に記載の経路制御装置。
The cache bandwidth integrated management unit transmits a cache collection request to each parallel processing unit,
The cache bandwidth management unit of each parallel processing unit that has received the cache response request calculates an available bandwidth amount with reference to the second table, and responds to the cache bandwidth integration management unit. The route control device according to any one of the above.
前記並列処理部の前記キャッシュ帯域管理部は、前記第2のテーブルを参照してキャッシュ帯域不足を検出したときに、他の並列処理部に対して並列処理部間キャッシュ回収要求を送信し、
前記並列処理部間キャッシュ回答要求を受け付けた前記各並列処理部のキャッシュ帯域管理部は、前記第2のテーブルを参照して空き帯域量を計算し、前記並列処理部間キャッシュ回収要求を送信した各並列処理部の前記キャッシュ帯域管理部に応答する、請求項1乃至4のいずれか1項に記載の経路制御装置。
When the cache bandwidth management unit of the parallel processing unit detects a cache bandwidth shortage with reference to the second table, the cache bandwidth management unit transmits a cache recovery request between parallel processing units to another parallel processing unit,
The cache bandwidth management unit of each parallel processing unit that has received the inter-parallel processing unit cache response request calculates the free bandwidth by referring to the second table, and transmits the inter-parallel processing unit cache collection request. The path control device according to claim 1, which responds to the cache bandwidth management unit of each parallel processing unit.
処理負荷が高い並列処理部があるときに、当該並列処理部を分割元として該分割元の並列処理部に従属する並列処理部にフロー処理のみを分割し、前記従属する並列処理部は分割元の並列処理部の前記第2のテーブルを参照する、請求項1乃至5のいずれか1項に記載の経路制御装置。   When there is a parallel processing unit with a high processing load, only the flow processing is divided into parallel processing units subordinate to the parallel processing unit of the division source, with the parallel processing unit being a division source, and the subordinate parallel processing unit is the division source The path control device according to claim 1, wherein the second table of the parallel processing unit is referred to. 処理負荷が高い並列処理部があるときに、当該並列処理部を分割元としてフロー処理及び帯域情報を他の複数の並列処理部に分割する、請求項1乃至5のいずれか1項に記載の経路制御装置。   6. When there is a parallel processing unit with a high processing load, flow processing and bandwidth information are divided into a plurality of other parallel processing units using the parallel processing unit as a division source. Routing device.
JP2014038073A 2014-02-28 2014-02-28 Route control device Active JP6026451B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014038073A JP6026451B2 (en) 2014-02-28 2014-02-28 Route control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014038073A JP6026451B2 (en) 2014-02-28 2014-02-28 Route control device

Publications (2)

Publication Number Publication Date
JP2015162841A JP2015162841A (en) 2015-09-07
JP6026451B2 true JP6026451B2 (en) 2016-11-16

Family

ID=54185651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014038073A Active JP6026451B2 (en) 2014-02-28 2014-02-28 Route control device

Country Status (1)

Country Link
JP (1) JP6026451B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7485677B2 (en) 2019-01-29 2024-05-16 オラクル・インターナショナル・コーポレイション Systems and methods for supporting heterogeneous and asymmetric dual-rail fabric configurations in high performance computing environments - Patents.com

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3923909B2 (en) * 2003-02-26 2007-06-06 日本電信電話株式会社 Resource management system and method
JP2008160385A (en) * 2006-12-22 2008-07-10 Nec Corp Network-path control system and device and method for controlling path
JP4778916B2 (en) * 2007-02-05 2011-09-21 富士通株式会社 QoS request receiving program, QoS request receiving apparatus, and QoS request receiving method

Also Published As

Publication number Publication date
JP2015162841A (en) 2015-09-07

Similar Documents

Publication Publication Date Title
CN102204188B (en) Routing computation method and host node device in virtual network element
CN100555981C (en) High availability virtual switch
CN111165019B (en) Controller in access network
JP4547314B2 (en) Failure recovery method, management node and communication node
US10805209B2 (en) Virtual network protection method and apparatus
US10237202B2 (en) Network control device, network control method, and recording medium for program
CN105337780B (en) A kind of server node configuration method and physical node
US9319131B2 (en) Adding new alternative paths for restoration in WSON network
CN101458808A (en) Bank management system, server cluster and correlation method
KR101254405B1 (en) Distributed resource management system and distributed resource management method
BRPI0707123A2 (en) path calculation element protocol support system for large-scale concurrent path calculation
JP2007243487A (en) System and method for path setting/bandwidth control on network
EP1768281A1 (en) A method for service connection setup and service resume protection in optical network
US10313232B2 (en) Network control device, network control method, and recording medium for program
JP6026451B2 (en) Route control device
JP2013161252A (en) Redundant computer control program, method, and device
JP6062388B2 (en) COMMUNICATION SYSTEM, COMMUNICATION CONTROL METHOD, AND CONTROL DEVICE
CN101321124A (en) Branch routing search recovery method of wavelength changeable optical network double-link failure
JP2003115872A (en) Band management system for supporting reserve band shared protection in mesh network
JP6288633B2 (en) Network control method
JP2006135686A (en) Method and device for network failure recovery management
CN109922006A (en) Route switching system and its Virtual Service reconstructing method, device, equipment and medium
US8676947B2 (en) Resource reservation apparatus and method
Shan et al. Partial spatial protection for provisioning differentiated reliability in FSTR-based Metro Ethernet networks
JP5885257B2 (en) Network system, node, network management method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161012

R150 Certificate of patent or registration of utility model

Ref document number: 6026451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150