JP2016067053A - Control node and communication control method - Google Patents
Control node and communication control method Download PDFInfo
- Publication number
- JP2016067053A JP2016067053A JP2015254244A JP2015254244A JP2016067053A JP 2016067053 A JP2016067053 A JP 2016067053A JP 2015254244 A JP2015254244 A JP 2015254244A JP 2015254244 A JP2015254244 A JP 2015254244A JP 2016067053 A JP2016067053 A JP 2016067053A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- information
- communication terminal
- port
- address
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 206
- 238000000034 method Methods 0.000 title claims description 30
- 238000011144 upstream manufacturing Methods 0.000 claims description 109
- 230000005540 biological transmission Effects 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 23
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000010295 mobile communication Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Abstract
Description
本発明は、移動体通信システムに含まれる制御ノード及び通信制御方法に関する。 The present invention relates to a control node and a communication control method included in a mobile communication system.
高速通信を行うための通信方式であるLTE(Long Term Evolution)を利用した通信網(以下、LTE網という)においては、外部ネットワークであるPDN(Packet Date Network)に接続する際には、PDNゲートウェイ装置(以下、P−GWという)が接続点となる。 In a communication network using LTE (Long Term Evolution), which is a communication method for performing high-speed communication (hereinafter referred to as LTE network), when connecting to a PDN (Packet Date Network) that is an external network, a PDN gateway A device (hereinafter referred to as P-GW) serves as a connection point.
このようなPDNに対して、固定IPアドレスで接続して、パケットデータの送受信を行う場合のパケットデータアドレッシングをサポートする技術として、ホーム加入者サーバ(HSS)、モビリティ管理エンティティ(MME)、サービスゲートウェイ装置(以下、S−GWという)、P−GW間でそれぞれ、固定アドレス及びAPN(Access Point Name)の情報を送受信する方法が知られている。(例えば特許文献1参照)。 As a technology for supporting packet data addressing when packet data is transmitted and received by connecting to such a PDN with a fixed IP address, a home subscriber server (HSS), a mobility management entity (MME), a service gateway There is known a method for transmitting and receiving information on a fixed address and an APN (Access Point Name) between a device (hereinafter referred to as S-GW) and a P-GW. (For example, refer to Patent Document 1).
P−GWのような中継装置は、障害発生時等にも通信を確立することができるよう、装置の多重化が行われることが多い。中継装置が多重化されている場合には、あるひとつのクライアント(通信端末)を多重化された複数の中継装置で収容することになる。ユーザのIPアドレスはどちらの中継装置に接続しても同一となるため、クライアント(通信端末)宛のパケットを、どちらの中継装置に対して転送すれば良いのかをIPアドレスで区別することはできない。 A relay device such as a P-GW is often multiplexed so that communication can be established even when a failure occurs. When relay devices are multiplexed, a single client (communication terminal) is accommodated by a plurality of multiplexed relay devices. Since the user's IP address is the same regardless of which relay device is connected, it is impossible to distinguish by IP address to which relay device the packet addressed to the client (communication terminal) should be forwarded. .
ここで、多重化された中継装置はそれぞれIPプール(中継装置に接続されるクライアント(通信端末)が設定されうるIPアドレス)を管理している。通信端末の通信相手から通信端末へのパケットである下りパケットの転送を考えた場合に、接続される通信端末が固定IPアドレスでない場合には、それぞれの中継装置が管理するIPアドレスの帯域を互いに重複しない帯域にしておくことで、いずれかの帯域から設定されるため、宛先IPアドレスによって、通信端末にパケットを転送する中継装置を特定することが可能である。一方で、接続される通信端末に固定IPアドレスが設定されている場合には、それぞれの中継装置が管理するIPプールは、互いに重複する帯域にする必要があり、そこから通信端末のIPアドレスが設定されており、通信端末はいずれの中継装置にも接続されえる。そのため、この場合には、下りパケットの宛先IPアドレスが、どちらのIPプールの帯域に属するのかによって、通信端末にパケットを転送する中継装置を特定することができない。以上より、多重化された中継装置に接続された通信端末のIPアドレスが固定IPアドレスである場合には、通信相手から当該通信端末へのパケットを、転送ができない場合があるという問題があった。 Here, each multiplexed relay apparatus manages an IP pool (IP address to which a client (communication terminal) connected to the relay apparatus can be set). Considering the transfer of downlink packets that are packets from the communication partner of the communication terminal to the communication terminal, if the connected communication terminal is not a fixed IP address, the bandwidth of the IP address managed by each relay device is mutually By setting a non-overlapping band, it is set from one of the bands, so that it is possible to specify a relay apparatus that transfers a packet to the communication terminal by the destination IP address. On the other hand, when a fixed IP address is set for the connected communication terminal, the IP pools managed by the respective relay devices need to have overlapping bandwidths, from which the IP address of the communication terminal is determined. The communication terminal can be connected to any relay device. Therefore, in this case, it is not possible to specify the relay device that transfers the packet to the communication terminal depending on which IP pool bandwidth the destination IP address of the downlink packet belongs to. As described above, when the IP address of the communication terminal connected to the multiplexed relay device is a fixed IP address, there is a problem that the packet from the communication partner to the communication terminal may not be transferred. .
本発明は上記実情に鑑みてなされたものであり、多重化された中継装置に接続された通信端末に固定IPアドレスが設定されている場合にも、通信相手から通信端末へのパケット転送を確実に行うことができる制御ノード及び通信制御方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and even when a fixed IP address is set for a communication terminal connected to a multiplexed relay device, packet transfer from the communication partner to the communication terminal is ensured. It is an object of the present invention to provide a control node and a communication control method that can be performed in the same manner.
本発明に係る制御ノードは、通信端末が接続されて当該通信端末によって送受信されるパケットの中継を行う多重化された中継装置と、パケットの転送を行う複数の転送ノードを含んで構成される転送網を介して該中継装置と接続される該通信端末の通信相手とを含んで構成される通信システムに含まれる制御ノードであって、複数の転送ノード間の物理的なつながりを示すトポロジ情報を記憶するトポロジ情報格納手段と、通信端末が接続された中継装置から通信相手に向けて送信される上りパケットが該中継装置に接続された転送ノードによって受信された際に、該上りパケットが入力された該転送ノードのポートを示すポート情報、並びに該上りパケットの送信元アドレス及び宛先アドレスを含む上りパケット情報を取得する取得手段と、取得手段によって取得された上りパケット情報と、トポロジ情報格納手段によって格納されたトポロジ情報とから、通信相手から通信端末に送信される下りパケットを、ポート情報によって示されるポートから該通信端末が接続された中継装置に出力するように複数の転送ノードを制御する制御手段と、を備える。 A control node according to the present invention comprises a multiplexed relay apparatus that relays packets transmitted and received by a communication terminal connected to the communication terminal, and a plurality of transfer nodes that perform packet transfer. Topology information indicating a physical connection between a plurality of transfer nodes, which is a control node included in a communication system including a communication partner of the communication terminal connected to the relay device via a network. When an uplink packet transmitted from the relay device connected to the communication terminal to the communication partner is received by the forwarding node connected to the relay device, the uplink packet is input. Acquisition means for acquiring port information indicating the port of the forwarding node and upstream packet information including a source address and a destination address of the upstream packet The communication terminal connects the downlink packet transmitted from the communication partner to the communication terminal from the port indicated by the port information from the uplink packet information acquired by the acquisition means and the topology information stored by the topology information storage means. Control means for controlling a plurality of forwarding nodes so as to output to the relay device.
この制御ノードでは、制御手段が、上りパケット情報とトポロジ情報とに基づいて、転送ノードが下りパケットを通信端末が接続された中継装置に出力できるように制御するため、中継装置が多重化されており、通信端末に固定IPアドレスが設定されている場合にも、下りパケットを、適切な中継装置に確実に転送することができる。 In this control node, since the control means controls the forwarding node to output the downlink packet to the relay device connected to the communication terminal based on the upstream packet information and the topology information, the relay device is multiplexed. Even when a fixed IP address is set for the communication terminal, the downlink packet can be reliably transferred to an appropriate relay device.
以上より、本発明によれば、多重化された中継装置に接続された通信端末に固定IPアドレスが設定されている場合にも、通信相手から通信端末へのパケット転送を確実に行うことができる制御ノードを提供することができる。 As described above, according to the present invention, even when a fixed IP address is set for a communication terminal connected to a multiplexed relay device, packet transfer from the communication partner to the communication terminal can be reliably performed. A control node can be provided.
また、本発明に係る制御ノードにおいて、制御手段は、中継装置に接続された転送ノードについて、上りパケット情報に含まれる宛先アドレスとトポロジ情報とから、上りパケットの出力を行うポートを決定し、該出力を行うポートから該上りパケット情報に含まれる送信元アドレス及び宛先アドレスそれぞれが宛先アドレス及び送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御することが好ましい。このことにより、上りパケット情報に基づいて、下りパケットを転送することを確実に実施することができる。すなわち、本発明の実施を確実なものとすることができる。 Further, in the control node according to the present invention, the control means determines a port for outputting the uplink packet from the destination address and the topology information included in the uplink packet information for the forwarding node connected to the relay apparatus, and The port indicated in the port information included in the upstream packet information when a downstream packet having the source address and the destination address included in the upstream packet information as the destination address and the source address is input from the port that performs output It is preferable to perform control so that a downstream packet is output from. As a result, it is possible to reliably transfer the downlink packet based on the uplink packet information. That is, the implementation of the present invention can be ensured.
また、本発明に係る制御ノードにおいて、制御手段は、上りパケット情報に含まれる宛先アドレスのアドレス帯域を特定し、該上りパケットの出力を行うポートから、該上りパケット情報に含まれる送信元アドレスを宛先アドレスとし、該上りパケット情報に含まれる宛先アドレスのアドレス帯域に含まれるアドレスを送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御することが好ましい。このことにより、特定のアドレス帯域に含まれるアドレスを送信元アドレスとした下りパケットを、確実に転送することができる。 Further, in the control node according to the present invention, the control means specifies the address band of the destination address included in the upstream packet information, and determines the source address included in the upstream packet information from the port that outputs the upstream packet. When a downstream packet having a destination address and an address included in the address band of the destination address included in the upstream packet information as a transmission source address is input, the downstream address is transmitted from the port indicated by the port information included in the upstream packet information. It is preferable to control to output a packet. As a result, it is possible to reliably transfer a downlink packet having an address included in a specific address band as a transmission source address.
また、本発明に係る制御ノードにおいて、制御手段は、各転送ノードについて、パケットが入力されたポート、並びに該パケットの送信元アドレス及び宛先アドレスに該パケットを出力するポートを対応付けたテーブルを生成して、当該テーブルに従ってパケットの転送を行うように制御することが好ましい。制御手段による制御を設定したテーブルに従って行うことにより、本発明の実施を簡易なものとすることができる。 In the control node according to the present invention, for each forwarding node, the control means generates a table in which a packet is input and a port that outputs the packet is associated with a source address and a destination address of the packet. Thus, it is preferable to control the packet transfer according to the table. By performing the control by the control means according to the set table, the implementation of the present invention can be simplified.
また、本発明に係る制御ノードにおいて、取得手段は、転送ノードがテーブルに設定されていない内容の上りパケットを受信した場合に行う制御ノードへの問い合わせを受信することで上りパケット情報を取得することが好ましい。転送ノードが上りパケットを受信したタイミングで転送ノードからの問い合わせを受信することで、簡易かつタイムリーに上りパケット情報を取得することができ、テーブルの最新化を容易に行うことができる。 Also, in the control node according to the present invention, the acquisition means acquires uplink packet information by receiving an inquiry to the control node that is performed when the forwarding node receives an uplink packet having contents not set in the table. Is preferred. By receiving the inquiry from the forwarding node at the timing when the forwarding node receives the upstream packet, the upstream packet information can be acquired easily and timely, and the table can be easily updated.
また、本発明に係る通信システムにおいて、制御ノードと多重化された中継装置とを含む通信システムであって、中継装置は、通信端末が接続されたことを検出する検出手段と、検出手段による検出を契機として、通信相手の方向にパケットを送信する送信手段と、を備えることが好ましい。下りパケットの転送を制御するためには上りパケットが送信されることが必須であるところ、通信端末が移動体通信網に接続されたタイミングで上りパケットを送信することにより、テーブルの設定を下りパケットの送信前に確実に行うことができ、通信相手から当該通信端末へのパケットが転送できないという事態を防止できる。 Further, in the communication system according to the present invention, the communication system includes a control node and a multiplexed relay device, wherein the relay device detects that a communication terminal is connected, and detects by the detection device. It is preferable to include a transmission unit that transmits a packet in the direction of the communication partner. In order to control the transfer of downlink packets, it is essential that uplink packets be transmitted. However, when the communication terminal transmits an uplink packet at the timing when it is connected to the mobile communication network, the table setting is set to the downlink packet. Thus, it is possible to prevent the situation in which a packet cannot be transferred from the communication partner to the communication terminal.
また、本発明に係る通信制御方法は、通信端末が接続されて当該通信端末によって送受信されるパケットの中継を行う多重化された中継装置と、パケットの転送を行う複数の転送ノードを含んで構成される転送網を介して該中継装置と接続される該通信端末の通信相手とを含んで構成される通信システムに含まれると共に、複数の転送ノード間の物理的なつながりを示すトポロジ情報を記憶するトポロジ情報格納手段を備える制御ノードによる通信制御方法であって、通信端末が接続され中継装置から通信相手に向けて送信される上りパケットが該中継装置に接続された前記転送ノードによって受信された際に、該上りパケットが入力された該転送ノードのポートを示すポート情報、並びに該上りパケットの送信元アドレス及び宛先アドレスを含む上りパケット情報を取得する取得ステップと、取得ステップにおいて取得された上りパケット情報と、トポロジ情報格納手段に格納されたトポロジ情報とから、通信相手から通信端末に送信される下りパケットを、ポート情報によって示されるポートから該通信端末が接続された中継装置に出力するように複数の転送ノードを制御する制御ステップと、を含む。この通信制御方法は、上述の制御ノードと同様な効果を奏することができる。 The communication control method according to the present invention includes a multiplexed relay apparatus that relays packets transmitted and received by the communication terminal connected to the communication terminal, and a plurality of transfer nodes that transfer packets. Included in a communication system including a communication partner of the communication terminal connected to the relay device via a transfer network, and stores topology information indicating physical connection between a plurality of transfer nodes A communication control method by a control node comprising topology information storage means for receiving an uplink packet transmitted from a relay device to a communication partner connected to a communication terminal and received by the forwarding node connected to the relay device Port information indicating the port of the forwarding node to which the uplink packet is input, and the source address and destination address of the uplink packet A downlink packet transmitted from the communication partner to the communication terminal from the acquisition step of acquiring the included uplink packet information, the uplink packet information acquired in the acquisition step, and the topology information stored in the topology information storage means; And a control step of controlling a plurality of forwarding nodes so as to output to the relay apparatus to which the communication terminal is connected from the port indicated by. This communication control method can achieve the same effects as the above-described control node.
また、本発明に係る通信制御方法は、制御ノードと、多重化された中継装置とを含む通信システムによる通信制御方法であって、中継装置による、通信端末が接続されたことを検出する検出ステップと、検出ステップにおける検出を契機として、通信相手の方向にパケットを送信する送信ステップと、を含む。この通信制御方法は、上述の通信システムと同様な効果を奏することができる。 The communication control method according to the present invention is a communication control method by a communication system including a control node and a multiplexed relay device, and a detection step of detecting that a communication terminal is connected by the relay device. And a transmission step of transmitting a packet in the direction of the communication partner triggered by the detection in the detection step. This communication control method can achieve the same effects as the above-described communication system.
本発明によれば、多重化された中継装置に接続された通信端末に固定IPアドレスが設定されている場合にも、通信相手から通信端末へのパケット転送を確実に行うことができる制御ノード及び通信制御方法を提供することができる。 According to the present invention, even when a fixed IP address is set for a communication terminal connected to a multiplexed relay device, a control node that can reliably transfer a packet from a communication partner to the communication terminal, and A communication control method can be provided.
以下、図面と共に本発明に係る移動体通信システム及びその制御方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。 Hereinafter, preferred embodiments of a mobile communication system and a control method thereof according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.
まず、図1を参照して、本実施形態に係る制御ノードであるオープンフローコントローラ5を含む移動体通信システム1の構成を示す。図1に示すように、本実施形態に係る移動体通信システム1は、通信端末(UE)2と、ルータ3と、P−GW4と、オープンフローコントローラ5と、オープンフローネットワーク6と、を備えて構成される。移動体通信システム1は、LTE網において機能する移動体通信システムである。
First, with reference to FIG. 1, the structure of the mobile communication system 1 containing the OpenFlow controller 5 which is a control node which concerns on this embodiment is shown. As shown in FIG. 1, the mobile communication system 1 according to the present embodiment includes a communication terminal (UE) 2, a router 3, a P-
通信端末2は、ユーザが利用する情報通信端末であって、例えば、ノート型PCや、タブレット型コンピュータなどを用いることができる。通信端末2には固定IPアドレスが用いられる(設定される)。通信端末2に固定IPアドレスが用いられるケースとして、例えば、通常は企業LANで用いられているPC端末と同一のIPアドレスを、外出時にノート型PCに割り当てる場合などが考えられる。また、通信端末2はP−GW4に接続する際は、P−GW4に対してAPN(Access Point Name)を指定することで接続先のルータ3を指定する。以下、通信端末2とは移動体通信端末であるものとして説明を行う。よって、後述するP−GW4等も、移動体通信端末に対応しているものである。
The
ルータ3は、通信端末2を外部ネットワークであるPDN(例えば、企業内LAN)に接続させる機能を有するものである。ルータ3は、後述するオープンフローネットワーク6を介して、P−GW4と接続される、通信端末2の通信相手である。なお、通信相手とは必ずしもルータ3に限定されず、ルータ3がさらにパケットを転送する相手(通信端末2のユーザがパケットを届けたい相手)であってもよい。また、ルータ3は例えばユーザネットワーク(企業内LANなど)におけるルータである。
The router 3 has a function of connecting the
P−GW4は、LTE網において、通信端末2を外部ネットワークであるPDNに接続するための装置であり、接続された通信端末よって送受信されるパケットの中継を行う中継装置である。同一のPDNに接続するためのP−GW4は、複数台で多重化することによって、通信の信頼性を向上させるとともに、各P−GW4の処理量を分散し、スループットの低下を防止している。図1中では、P−GW4a、P−GW4bの二台で多重化されている。P−GW4a、4bは、いずれも運用状態(両系運用系(両系act))としており、いずれかを予備系として待機させるといった利用のしかたはしていない。P−GW4a、4bは、それぞれ異なるIPプールを管理しているが、通信端末2には固定IPアドレスが設定されているため、P−GW4a、4bの固定IPアドレス用のIPプールは重複しており、その帯域からIPアドレスが通信端末2に設定されている。通信端末2のP−GW4の接続時に、接続先として多重化されたP−GW4a又は4bのいずれかが選択される。通信端末2がP−GW4aとP−GW4bの何れに接続されるかは、移動体通信網おいて判断されて制御される。この判断は、例えば、P−GW4a及びP−GW4bに接続されている通信端末の比率(分散比率)に従って決定される。
The P-
P−GW4(P−GW4a及び4b)は図1に示すように、ゲートウェイ部41、検出部42、送信部43を備えている。
As shown in FIG. 1, the P-GW 4 (P-
ゲートウェイ部41は、P−GW4のゲートウェイとしての機能を有する。ゲートウェイ部41は、通信端末2から当該通信端末2に応じたプロトコル形式のパケットを受信して、必要に応じて適切なプロトコルに変換を行い、パケットを転送(中継)する。ゲートウェイ部41が有するゲートウェイとしての機能は、従来のP−GW4が有しているものと同様である。
The
検出部42は、通信端末2が自装置(P−GW4)に接続されたことを検出する検出手段である。検出部42は、P−GW4に在圏する移動体通信網に通信端末2が接続される(より具体的には例えば、通信端末2に係る接続に用いられる信号が受信される)ことにより、通信端末2が接続されたことを検出する。検出部42は、通信端末2が接続されたことを検出するとその旨を送信部43に通知する。また、通信端末2による接続において通信端末2からAPNを指定する信号が送信された場合には、そのAPNを送信部43に通知する。
The
送信部43は、検出部42が通信端末2の接続を検出したことを契機として、通信相手であるルータ3に向かってパケットを送信する送信手段である。当該パケットとして、例えばICMPパケット(ICMP_Echo Request)が考えられる。P−GW4は、接続するPDNを指定する文字列であるAPNを、PDN毎に保持しており、通信端末2がP−GW4に接続した際には、通信端末2によってAPNが指定される。送信部43は、該指定されたAPNを参照して、当該通信端末2が接続したいPDNを特定し、当該PDNのルータを宛先として決定する。なお、通信端末2によってAPNの指定がなかった場合には、送信部43が通信端末2毎に予め記憶したデフォルトのAPNが用いられる。例えば、デフォルトのAPNは、移動体通信網の管理者等によって入力されている。なお、送信部43によって送信されるパケットに含められる送信元アドレスについては、接続された通信端末2のIPアドレスが、宛先アドレスについては、特定されたPDNのルータのIPアドレスが、それぞれ設定される。
The
オープンフローコントローラ5は、移動体通信システムに含まれる制御ノードであって、オープンフローネットワーク6におけるパケットの送受信に関する制御を行う。オープンフローコントローラ5は従来のオープンフローコントローラが有する機能を有しており、また、図1に示すように、トポロジ情報格納部51と、取得部52と、制御部53と、を備える。
The OpenFlow controller 5 is a control node included in the mobile communication system, and performs control related to packet transmission / reception in the
トポロジ情報格納部51は、複数のオープンフロースイッチ間の物理的なつながりを示すトポロジ情報を記憶するトポロジ情報格納手段である。トポロジ情報とは、各オープンフロースイッチ6a〜6dの物理的なつながり情報等であり、具体的には、各オープンフロースイッチ6a〜6dをつなぐケーブルが、それぞれ各オープンフロースイッチ6a〜6dのどのポート同士をつないでいるかという情報や、オープンフローネットワーク6のオープンフロースイッチの数(本実施形態であれば6a〜6dの4つ)の情報などがある。トポロジ情報を有することにより、経路として整合性のあるフロー制御が可能となる。
The topology
取得部52は、通信端末2が接続されたP−GW4からルータ3に向けて送信される上りパケットが該P−GW4に接続されたオープンフロースイッチ6a〜6dによって受信された際に、上りパケット情報を取得する取得手段である。上りパケット情報は、該上りパケットが入力された該オープンフロースイッチ6a〜6dのポートを示すポート情報、並びに該上りパケットの送信元アドレス及び宛先アドレスを含む。ここで、オープンフロースイッチのポートとは、物理ポートをいう。取得部52によって取得される上りパケット情報には、通信端末2が接続されたP−GW4から送信される上りパケットが、該P−GW4に接続されたオープンフロースイッチ6a〜6dによって直接、受信された際の上りパケット情報を含む。即ち、該上りパケット情報に含まれるポート情報は、P−GW4に接続されて、通信端末2が接続されたP−GW4から上りパケットが入力された該オープンフロースイッチ6a〜6dのポートを示す。
When the upstream packet transmitted from the P-
具体的に、ポート情報及び送信元アドレス、宛先アドレスの取得イメージを図1で説明する。例えば、通信端末2からルータ3を介して接続されるPDN内のサーバに向けて送信されたパケット(上りパケット)をオープンフロースイッチ6aが受信したような場合を考える。いま、通信端末2がP−GW4aに接続されているとすると、オープンフロースイッチ6aは、ポートAから、P−GW4aからの上りパケットが入力されることになる。よって、上りパケットが入力されたオープンフロースイッチ6aのポートとは、Aになる。また、オープンフロースイッチ6aが受信した上りパケットのヘッダ情報から、送信元アドレスは通信端末のアドレス(192.168.1.1)であり、宛先アドレスは、例えば、ルータ3を介して接続されるPDN内のサーバのアドレスであることが特定できる。なお、アドレスとはIPアドレスである。また、パケットのヘッダに格納された、送信元アドレス及び宛先アドレスの設定のされ方は、従来、通信端末2がPDNにパケット送信を行う場合と同様である。
Specifically, an acquisition image of port information, a transmission source address, and a destination address will be described with reference to FIG. For example, consider a case where the
取得部52は、オープンフロースイッチ6a〜6dから送信されたオープンフローコントローラ5への問い合わせを受信することで上りパケット情報を取得する。この問い合わせは、後述するようにオープンフロースイッチ6a〜6dがテーブルに設定されていない内容の上りパケットを受信した場合に行われる。また、この問い合わせには、上りパケット情報の取得元のオープンフロースイッチ6a〜6dを特定する情報が含まれている。取得部52は、取得した上りパケット情報及び取得元のオープンフロースイッチ6a〜6dを特定する情報を、制御部53に出力する。
The
制御部53は、取得部52によって取得された上りパケット情報及び上りパケット情報の取得元のオープンフロースイッチ6a〜6dを特定する情報と、トポロジ情報格納部51によって格納されたトポロジ情報とから、ルータ3から通信端末2に送信される下りパケットを該通信端末2が接続されたP−GW4に出力するように複数のオープンフロースイッチを制御する制御手段である。制御部53は、下りパケットを、上りパケット情報に含まれるポート情報によって示される、P−GW4に接続されて、通信端末2が接続されたP−GW4から上りパケットが入力された該オープンフロースイッチ6a〜6dのポートから、通信端末2が接続されたP−GW4に出力するように制御する。
The
具体的には、制御部53は、P−GW4に接続されたオープンフロースイッチ6a〜6dを含む各オープンフロースイッチ6a〜6dについて、上りパケット情報に含まれる宛先アドレス及び上りパケット情報の取得元のオープンフロースイッチ6a〜6dを特定する情報とトポロジ情報とから、上りパケットの出力を行うポートを決定する。出力先のポートの決定は、従来のルーティング技術を用いて行うことができる。制御部53は、該出力を行うポートから該上りパケット情報に含まれる送信元アドレス及び宛先アドレスそれぞれが宛先アドレス及び送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御する。
Specifically, the
また、制御部53は、上りパケット情報に含まれる宛先アドレスのアドレス帯域を特定し、該上りパケットの出力を行うポートから、該上りパケット情報に含まれる送信元アドレスを宛先アドレスとし、該上りパケット情報に含まれる宛先アドレスのアドレス帯域に含まれるアドレスを送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御する。
In addition, the
制御部53は、各オープンフロースイッチ6a〜6dについて、パケットが入力されたポート、並びに該パケットの送信元アドレス及び宛先アドレスに該パケットを出力するポートを対応付けたテーブル(フローテーブル)を生成して生成したフローテーブルを各オープンフロースイッチ6a〜6dに送信することで、当該フローテーブルに従ってパケットの転送を行うように制御する。
For each
フローテーブルについて、図2(a)により説明する。図2(a)に示すように、フローテーブルは、入力ポートと送信元アドレスと宛先アドレスと出力ポートとを含んでおり、これらの対応表を記録している。フローテーブルを構成する一レコードは、フローエントリという。図2(a)は、P−GW4に接続された通信端末2と、ルータ3を介して接続されるPDN内のサーバとで、送受信されるパケットについてのフローエントリを含んだフローテーブルである。各フローエントリは、入力ポート、送信元アドレス、宛先アドレス(マッチングフィールド)の組合せに該当したパケットを、どの出力ポート(アクション)から転送するか、を規定する情報である。すなわち、図2(a)のフローテーブルにあっては、入力ポートがAであり、送信元アドレスが192.168.1.1、であり、宛先アドレスが、PDN内のサーバである場合(マッチングフィールドがすべて一致した場合)には、出力ポートをCとするものである。
The flow table will be described with reference to FIG. As shown in FIG. 2A, the flow table includes an input port, a transmission source address, a destination address, and an output port, and records a correspondence table thereof. One record constituting the flow table is called a flow entry. FIG. 2A is a flow table including flow entries for packets transmitted and received between the
制御部53は、上りパケット情報の取得元のオープンフロースイッチ6a〜6dのフローテーブルに、該上りパケットのフローエントリを生成する。このフローエントリは、取得部52によって取得された上りパケット情報に含まれる入力ポートと送信元アドレスと宛先アドレスとをマッチングフィールドの値とし、決定した出力ポートをアクションとするものである。そして、該上りパケットに対応する下りパケットのフローエントリを生成する。下りパケットのフローエントリは、マッチングフィールドの入力ポートを上りパケットのフローエントリの出力ポートとし、送信元アドレスを、上りパケットのフローエントリの宛先アドレスとし、宛先アドレスを、上りパケットのフローエントリの送信元アドレスとし、アクションの出力ポートを上りパケットのフローエントリの入力ポートとするものである。上記のように、下りパケットのフローエントリは、上りパケットのフローエントリを逆にしたものである。即ち、制御部53は、この下りパケットのフローエントリによって、パケットの出力を行うポートから上りパケット情報に含まれる送信元アドレス及び宛先アドレスそれぞれが宛先アドレス及び送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御する。
The
また、フローエントリの生成の際に、生成するフローエントリと競合を生じるフローエントリがフローテーブル中に存在してか否か判断して、競合を生じるフローエントリが存在していると判断した場合には競合を生じるフローエントリを削除することとしてもよい。例えば、上りパケット情報に含まれる送信元アドレス及び宛先アドレスと同一の上りパケットに係るフローエントリがある場合には(パケットに係る通信端末2と通信相手とが同じ場合)、該上りパケットに係るフローエントリと、該上りパケットに対応する下りパケットに係るフローエントリを削除してからフローエントリの生成を生成することとしてもよい。
In addition, when generating a flow entry, it is determined whether there is a flow entry that causes a conflict with the generated flow entry in the flow table, and it is determined that there is a flow entry that causes a conflict. May delete the flow entry causing the conflict. For example, when there is a flow entry related to the same upstream packet as the source address and destination address included in the upstream packet information (when the
なお、上記はフローエントリに適合しない上りパケットがオープンフロースイッチ6a〜6dによって受信された場合に該上りパケットに対応する下りパケットに係るフローエントリを作成するものである。フローエントリに適合しない下りパケットがオープンフロースイッチ6a〜6dによって受信された場合には、上述したフローエントリに適合しない上りパケットがオープンフロースイッチ6a〜6dによって受信された場合と同様、該下りパケットに対応する上りパケットに係るフローエントリを作成する。この場合、制御部53は、パケットが、上りパケットであるか下りパケットであるかの判断を行う必要はない。なお、フローエントリに適合しない下りパケットがオープンフロースイッチ6a〜6dによって受信された場合には、必ずしも下りパケットに対応する上りパケットのフローエントリを作成する必要はない(該下りパケットのみのフローエントリを作成してもよい)。この場合、制御部53は、パケットが、上りパケットであるか下りパケットであるかの判断を行う。この判断は、例えば、パケットの宛先アドレス又は送信元アドレスに基づいて行うこととすればよい。あるいは、上りパケットであるか下りパケットであるかの判断は、オープンフロースイッチ6a〜6dによって行われて、オープンフローコントローラ5に通知されてもよい。
In the above, when an upstream packet that does not match the flow entry is received by the
具体的に、制御部53によるテーブル設定のイメージについて、図1及び図2を用いて説明する。前提として、取得部52によって、オープンフロースイッチ6aが受信した、通信端末2からルータ3を介して接続されるPDN内のサーバに向けて送信されたパケット(上りパケット)の情報が取得されていたとする。また、トポロジ情報格納部51によって、図1の複数のオープンフロースイッチ間の物理的なつながりが格納されているとする。この場合、上りパケットのヘッダ情報より、宛先アドレスは、PDN内のサーバのアドレスであることが特定できる。また、オープンフロースイッチ6aからルータ3に向けて転送されるパケットは、トポロジ情報より、オープンフロースイッチ6cに転送されるべきであることが特定できる。よって、宛先アドレスとトポロジ情報から、上りパケットの出力を行うオープンフロースイッチ6aのポートはCに決定される。ここまでで、上りパケットについての、入力ポート(A)、出力ポート(C)、送信元アドレス(192.168.1.1)、宛先アドレス(PDN内のサーバのアドレス帯域)が決まる。
Specifically, an image of table setting by the
通常、一つのPDN内には複数のサーバがあるため、フローテーブルでは、宛先アドレスであるPDN内のサーバのアドレスは、帯域で設定する。当該アドレス帯域には、PDNに対応するルータ3のアドレスも含まれる。アドレス帯域は、ルータ3を含む一つのPDNのアドレス範囲を示すものである。制御部53は、上りパケット情報に含まれる宛先アドレスからアドレス帯域を決定するビットマスク値を特定して、特定したビットマスク値により決定されるアドレス帯域を、フローエントリの宛先アドレスとして設定する。なお、PDN内のサーバが単一である場合には、該単一のサーバのアドレスを宛先アドレスとしてもよい。下りパケットは、上りパケットの入力ポートを出力ポートに、出力ポートを入力ポートに、送信元アドレスを宛先アドレスに、宛先アドレスを送信元アドレスに、それぞれ設定したものとなる。なお、上りパケットについて、宛先アドレスであるPDN内のサーバのアドレスを帯域で設定したのと同様、下りパケットについても、送信元アドレスであるPDN内のサーバのアドレスは帯域で設定する。このようにして設定したオープンフロースイッチ6aのフローテーブルは、図2(a)に示すようになる。
Usually, since there are a plurality of servers in one PDN, the address of the server in the PDN that is the destination address is set by the bandwidth in the flow table. The address band includes the address of the router 3 corresponding to the PDN. The address band indicates the address range of one PDN including the router 3. The
フローテーブルについて、図2(a)により説明する。図2(a)に示すように、フローテーブルは、入力ポートと送信元アドレスと宛先アドレスと出力ポートとを含んでおり、これらの対応表を記録している。フローテーブルを構成する一レコードは、フローエントリという。図2(a)は、P−GW4に接続された通信端末2と、ルータ3を介して接続されるPDN内のサーバとで、送受信されるパケットについてのフローエントリを含んだフローテーブルである。各フローエントリは、入力ポート、送信元アドレス、宛先アドレス(マッチングフィールド)の組合せに該当したパケットを、どの出力ポート(アクション)から転送するか、を規定する情報である。すなわち、図2(a)のフローテーブルにあっては、入力ポートがAであり、送信元アドレスが192.168.1.1、であり、宛先アドレスが、PDN内のサーバである場合(マッチングフィールドがすべて一致した場合)には、出力ポートをCとするものである。
The flow table will be described with reference to FIG. As shown in FIG. 2A, the flow table includes an input port, a transmission source address, a destination address, and an output port, and records a correspondence table thereof. One record constituting the flow table is called a flow entry. FIG. 2A is a flow table including flow entries for packets transmitted and received between the
オープンフローネットワーク6は、パケットの転送を行う複数の転送ノードであるオープンフロースイッチを含んで構成される転送網である。オープンフローネットワーク6は、ネットワークの制御技術であり、アドレス情報やポート番号などの組み合わせにより決定される一連の通信を「フロー」として定義して、フロー単位での経路制御を実現するフロー制御ネットワークある。オープンフローネットワーク6は、P−GW4a、4bとルータ3との間に位置してフロー制御を行う。
The
オープンフローネットワーク6は、複数のオープンフロースイッチ6a〜6dからなる。オープンフロースイッチ6a〜6dは、オープンフローコントローラ5の制御部53からの制御内容に従って、パケットの転送を行う転送ノードである。オープンフロースイッチ6a〜6dは、複数の物理的なポートを備えており、当該ポートを介して別の装置であるルータ3、P−GW4、別のオープンフロースイッチ6a〜6dと接続されており、パケットの送受信を行うことができる。また、オープンフロースイッチ6a〜6dは、オープンフローコントローラ5にも接続されており、情報の送受信を行うことができる。
The
オープンフロースイッチ6a〜6dは、転送対象のパケットを受信すると、該パケットが自身のフローテーブルに設定されている内容のものか否かを判断する。具体的には、オープンフロースイッチ6a〜6dは、受信された(入力された)パケットが入力した入力ポートを検出すると共に、受信されたパケットのヘッダから該パケットの送信元アドレス及び宛先アドレスを抽出する。オープンフロースイッチ6a〜6dは、取得した入力ポート、の送信元アドレス及び宛先アドレスの組に一致する情報が、自身のフローテーブルに含まれているか否かを判断する。 When the OpenFlow switches 6a to 6d receive the packet to be transferred, the OpenFlow switches 6a to 6d determine whether or not the packet has contents set in its own flow table. Specifically, the OpenFlow switches 6a to 6d detect the input port to which the received (input) packet is input and extract the source address and the destination address of the packet from the header of the received packet. To do. The OpenFlow switches 6a to 6d determine whether or not the information matching the set of the source address and destination address of the acquired input port is included in its own flow table.
オープンフロースイッチ6a〜6dは、自身のフローテーブルに設定されている内容の上りパケットを受信したと判断した場合には、当該フローテーブルに従ってパケットの転送(出力)を行う。
When the
オープンフロースイッチ6a〜6dは、自身のフローテーブルに設定されていない内容の上りパケットを受信したと判断した場合に、オープンフローコントローラ5に問い合わせを行う。この問い合わせには、受信したパケットに係る入力ポート、の送信元アドレス及び宛先アドレスが含められる。また、この問い合わせには、オープンフロースイッチ6a〜6d自身を特定する情報が含められる。その後、オープンフローコントローラ5により、当該上りパケットの情報をもとにフローテーブルの情報が更新される。
The
オープンフロースイッチによる、フローテーブルに従ったパケットのフロー制御について、図2(a)に示したフローテーブルが設定されているオープンフロースイッチ6aの例で説明する。いま、図1に示す通信端末2がP−GW4aに接続されている場合に、通信端末2から、ルータ3を介して接続されるPDN内のサーバに転送されるパケットをオープンフロースイッチ6aが受信したとする。当該受信したパケットの入力ポートはAであり、また、パケットのヘッダ情報から、送信元アドレスは192.168.1.1、であり、宛先アドレスは、PDN内のサーバであると特定できる。図2(a)に示したフローテーブルと比較すると、上りパケット用(図2(a)中の上側)のフローエントリと、マッチングフィールドである入力ポート、送信元アドレス、宛先アドレスの全てが一致するため、出力ポートとして、同フローエントリの出力ポートであるCが選択される。よって、オープンフロースイッチ6aは、当該パケットを出力ポートCから転送する。以上は、オープンフロースイッチのフローテーブルに設定されている内容のパケットを受信した場合のフロー制御である。
Packet flow control according to the flow table by the OpenFlow switch will be described with reference to an example of the
一方で、例えば図1中のP−GW4aが何らかの理由で故障していたような場合には、通信端末2は、P−GW4aを使った接続からP−GW4bを使った接続に変更される。この場合に、通信端末2から、ルータ3を介して接続されるPDN内のサーバに転送されるパケットをオープンフロースイッチ6bが受信したとする。なお、オープンフロースイッチ6cには、オープンフロースイッチ6aと同様、図2(a)に示したフローテーブルが設定されているとして説明を行う。オープンフロースイッチ6bが受信したパケットの入力ポートはBであり、また、パケットのヘッダ情報から、送信元アドレスは192.168.1.1、であり、宛先アドレスは、PDN内のサーバであると特定できる。この場合、上りパケットのヘッダ情報より、宛先アドレスは、PDN内のサーバのアドレスであることが特定できる。また、オープンフロースイッチ6bからルータ3に向けて転送されるパケットは、トポロジ情報より、オープンフロースイッチ6cに転送されるべきであることが特定できる。よって、宛先アドレスとトポロジ情報から、上りパケットの出力を行うオープンフロースイッチ6bのポートはCに決定される。ここまでで、上りパケットについての、入力ポート(B)、出力ポート(C)、送信元アドレス(192.168.1.1)、宛先アドレス(PDN内のサーバのアドレス)が決まる。下りパケットは、上りパケットの入力ポートを出力ポートに、出力ポートを入力ポートに、送信元アドレスを宛先アドレスに、宛先アドレスを送信元アドレスに、それぞれ設定したものとなる。このようにして設定したオープンフロースイッチ6bのフローテーブルは、図2(d)に示すようになる。すなわち、上りパケットは、オープンフロースイッチ6bからオープンフロースイッチ6cへ出力される。オープンフロースイッチ6cのフローテーブルである図2(a)に示したフローテーブルと比較すると、上りパケット用(図2(a)中の上側)のフローエントリの入力ポート(A)と、受信したパケットの入力ポート(B)とが一致していないことがわかる。
On the other hand, for example, when the P-
この場合、オープンフロースイッチ6cは、オープンフローコントローラ5の取得部52に問い合わせを行う。そして、制御部53は、取得部52が取得した上りパケットの情報、オープンフロースイッチ6cを特定する情報及びトポロジ情報格納部51が格納しているトポロジ情報に基づいて、新たなフローテーブルを設定する。具体的には、上りパケットのヘッダ情報より、宛先アドレスは、PDN内のサーバのアドレスであることが特定できる。また、オープンフロースイッチ6cからルータ3に向けて転送されるパケットは、トポロジ情報より、ルータ3に転送されるべきであることが特定できる。よって、宛先アドレスとトポロジ情報から、上りパケットの出力を行うオープンフロースイッチ6cのポートはCに決定される。ここまでで、上りパケットについての、入力ポート(B)、出力ポート(C)、送信元アドレス(192.168.1.1)、宛先アドレス(PDN内のサーバのアドレス)が決まる。下りパケットは、上りパケットの入力ポートを出力ポートに、出力ポートを入力ポートに、送信元アドレスを宛先アドレスに、宛先アドレスを送信元アドレスに、それぞれ設定したものとなる。このようにして設定したオープンフロースイッチ6cのフローテーブルは、図2(d)に示すようになる。なお、図2(d)に示す新たなフローテーブルを設定する前提として、図2(a)に示した元のフローテーブルが削除される。
In this case, the
また、オープンフローネットワーク6は、必ずしも複数のオープンフロースイッチを有する必要はなく、オープンフロースイッチが単体であっても良い。即ち、一つのオープンフロースイッチにおける異なるポートそれぞれに多重化されたP−GW4それぞれが接続されていてもよい。この場合の、オープンフロースイッチの機能や、フローテーブルとして保持する情報については、オープンフロースイッチを複数構成としたときと同様である。
The
図3は、本発明の実施形態に係る制御ノードであるオープンフローコントローラのハードウェア構成を示す図である。図3に示すようにオープンフローコントローラは、CPU101、主記憶装置であるRAM102及びROM103、通信を行うための通信モジュール104、並びにハードディスク等の補助記憶装置105等のハードウェアを備えるコンピュータを含むものとして構成される。これらの構成要素がプログラム等により動作することにより、上述した各機能が発揮される。
FIG. 3 is a diagram illustrating a hardware configuration of an OpenFlow controller that is a control node according to the embodiment of the present invention. As shown in FIG. 3, the OpenFlow controller includes a
引き続いて、図4のシーケンス図を用いて、本実施形態に係る移動体通信システムのパケット転送処理である通信制御方法について説明する。 Subsequently, a communication control method that is packet transfer processing of the mobile communication system according to the present embodiment will be described with reference to the sequence diagram of FIG.
なお、当該処理の前提条件として、通信端末2には固定IPアドレス(192.168.1.1)が設定されており、P−GW4a、4bは両系運用系(両系act)で構成されているものとし、また、本処理の開始時には各オープンフローテーブル6a〜6dにはフローテーブルが設定されていないものとする。また、本処理では、P−GW4は、検出部42及び送信部43を備えない構成とする。
As a precondition for the processing, a fixed IP address (192.168.1.1) is set for the
まず、通信端末2が移動体通信網に在圏して、接続されるP−GW4として決定されたP−GW4aと接続する。宛先アドレスとして、ルータ3を介して接続されるPDN内のサーバのアドレスを指定したパケットを送信する(S01)。通信端末2がP−GW4aと接続した際に最初に送信するパケットは、例えば、PDNである企業LANへ接続するための認証要求のパケット等である。P−GW4aとP−GW4bのいずれに通信端末2が接続されるかは、P−GW4a及びP−GW4bに接続されている通信端末の比率(分散比率)に従って決定される。P−GW4aは、パケットを、接続されたオープンフロースイッチであるオープンフロースイッチ6aに転送する(S02)。この場合には、オープンフロースイッチ6aのポートAが入力ポートとなる。
First, the
次に、オープンフロースイッチ6aは自身のフローテーブルに、転送されたパケットの入力ポート、送信元アドレス、宛先アドレスに対応するフローエントリが存在するか判断する。前提条件に示したように、各オープンフローテーブル6a〜6dにはフローテーブルが設定されていないため、オープンフロースイッチ6aは、当該パケットがフローテーブルにマッチしないことを認識する(S03)。
Next, the
オープンフロースイッチ6aは、転送されたパケットがフローテーブルにマッチしないため、オープンフローコントローラ5に、フローテーブルの設定を要求するための問い合わせを行う(S04)。オープンフローコントローラ5では、取得部52が該問い合わせを受信することで取得する(S04、取得ステップ)。取得部52は受信した該問い合わせを制御部53に入力する。
Since the transferred packet does not match the flow table, the
オープンフローコントローラ5の制御部53は、オープンフロースイッチ6aからの要求に基づいて、フローテーブルを設定する。フローテーブルの設定の仕方は上述したとおりである。制御部53は、図2(a)に示した、上りパケットのフローエントリ及び下りパケットのフローエントリを設定し、オープンフロースイッチ6aのフローテーブルとして、当該フローテーブルを更新(設定)する(S05、制御ステップ)。
The
S05において、オープンフロースイッチ6aのフローテーブルが設定されたため、オープンフロースイッチ6aは、当該フローテーブルに基づいて、出力ポートCからパケットを転送し(S06)、パケットはオープンフロースイッチ6cに転送される。
Since the flow table of the
オープンフロースイッチ6cは入力ポートAからパケットを受信すると、フローテーブルが設定されていない状態であるため、当該パケットがフローテーブルにマッチしないことを認識し(S07)、オープンフローコントローラ5に、フローテーブルの設定を要求するための問い合わせを行う(S08)。オープンフローコントローラ5では、取得部52が該問い合わせを受信することで取得する(S08、取得ステップ)。取得部52は受信した該問い合わせを制御部53に入力する。
When the
オープンフローコントローラ5の制御部53は、オープンフロースイッチ6cからの要求に基づいて、フローテーブルを設定する。上述したとおり、トポロジ情報から通信経路を決定し、制御部53は、トポロジ情報から決定した通信経路に基づいて、オープンフロースイッチ6cのフローテーブルとして、上りパケットを転送する際の、「入力ポート:A、送信元アドレス:192.168.1.1、宛先アドレス:サーバ側のアドレス、出力ポートC」というフローエントリと、下りパケットを転送する際の、「入力ポート:C、送信元アドレス:サーバ側のアドレス、宛先アドレス:192.168.1.1、出力ポートA」というフローエントリを設定する。当該フローテーブルは図2(a)に示すようになる。そして、制御部53は、オープンフロースイッチ6cのフローテーブルとして、当該フローテーブルを更新(設定)する(S09、制御ステップ)。
The
S09において、オープンフロースイッチ6cのフローテーブルが設定されたため、オープンフロースイッチ6cは、当該フローテーブルに基づいて、出力ポートCからパケットを転送し(S10)、パケットはルータ3に転送される。ルータ3からPDN内のサーバへのパケット転送は、ルータ3のルーティングテーブルに従って行われる。
Since the flow table of the
その後、PDN内のサーバ側から通信端末2に向けてパケットが転送されてきた場合には、ルータ3は、自身のルーティングテーブルに従って、オープンフロースイッチ6cにパケットを転送する(S11)。
Thereafter, when a packet is transferred from the server side in the PDN toward the
オープンフロースイッチ6cは、上りS09においてオープンフローコントローラ5から設定されたフローテーブルの下りパケット転送用のフローエントリに従って、出力ポートAからパケットを転送するため(S12)、パケットはオープンフロースイッチ6aに転送される。オープンフロースイッチ6aは入力ポートCからパケットを受信すると、S05において設定されたフローテーブルの、下りパケット転送時のフローエントリに従って、出力ポートAからパケットを転送する(S13)。
The
オープンフロースイッチ6aから転送されたパケットは、P−GW4aにおいて受信され、通信端末に転送される(S14)。
The packet transferred from the
以上が、オープンフローコントローラ5によるフローテーブルの設定及びオープンフローネットワーク6の各オープンフロースイッチによるパケット転送処理である。なお、フローテーブルの設定後、通信端末2から後続パケットが転送された場合には、設定済みのフローテーブルに従って、同一のルートでパケット転送処理が行われる(S15)。
The above is the setting of the flow table by the OpenFlow controller 5 and the packet transfer processing by each OpenFlow switch of the
次に、下りパケットについて、何らかの理由でルータ3が通常と異なるオープンフロースイッチにパケットを転送した場合の処理について説明する。 Next, regarding the downstream packet, a process when the router 3 transfers the packet to an open flow switch different from the normal for some reason will be described.
上述したとおり、ルータ3から下りパケットを通信端末2に転送する際は、まず、オープンフロースイッチ6cにパケットが転送されるのが通常である。いま、何らかの理由により(例えばオープンフロースイッチ6cとルータ3間の断線による障害などの要因によって)、ルータ3がパケットをオープンフロースイッチ6dに転送したような場合を考える。
As described above, when transferring a downstream packet from the router 3 to the
ルータ3は、下りパケットをオープンフロースイッチ6dに転送する(S16)。オープンフロースイッチ6dは、フローテーブルが存在しない状態なので、当該パケットがオープンフロースイッチ6dのフローテーブルにマッチしないことを認識する(S17)。
The router 3 transfers the downstream packet to the
オープンフロースイッチ6dは、転送されたパケットがフローテーブルにマッチしないため、オープンフローコントローラ5に、フローテーブルの設定を要求するための問い合わせを行う(S18)。
Since the transferred packet does not match the flow table, the
オープンフローコントローラ5の制御部53は、トポロジ情報から決定した通信経路に基づいて、オープンフロースイッチ6dのフローテーブルとして、上りパケットを転送する際の、「入力ポート:A、送信元アドレス:192.168.1.1、宛先アドレス:サーバ側のアドレス、出力ポートB」というフローエントリと、下りパケットを転送する際の、「入力ポート:B、送信元アドレス:サーバ側のアドレス、宛先アドレス:192.168.1.1、出力ポートA」というフローエントリを設定する。当該フローテーブルは図2(b)に示すようになる。そして、制御部53が、オープンフロースイッチ6dのフローテーブルとして、当該フローテーブルを更新(設定)する(S19)。
Based on the communication path determined from the topology information, the
S19において、オープンフロースイッチ6dのフローテーブルが設定されたため、オープンフロースイッチ6dは、当該フローテーブルに基づいて、下りパケットを出力ポートAから転送する(S20)。
Since the flow table of the
オープンフロースイッチ6cは入力ポートDからパケットを受信する。いま、障害などの要因がない状態では、オープンフロースイッチ6cは、図2(a)に示すフローテーブルが設定されている。図2(a)に示すように、オープンフロースイッチ6cのフローテーブルには、送信元アドレスがPDN内のサーバであって、宛先アドレスが通信端末のものである場合に、入力ポートはDとなっていないため、パケットを転送することはできない(フローテーブルが設定されていない状態である)。よって、当該パケットがフローテーブルにマッチしないことを認識し(S21)、オープンフローコントローラ5に、フローテーブルの設定を要求するための問い合わせを行う(S22)。
The
オープンフローコントローラ5の制御部53は、オープンフロースイッチ6cからの要求に基づいて、フローテーブルを設定する。上述したとおり、オープンフローコントローラ5はトポロジ情報から通信経路を決定するため、通信端末2への下りパケットはオープンフロースイッチ6cのポートAから転送することを決定できる。
The
制御部53は、トポロジ情報から決定した通信経路に基づいて、オープンフロースイッチ6cのフローテーブルとして、下りパケットを転送する際の、「入力ポート:D、送信元アドレス:サーバ側のアドレス、宛先アドレス:192.168.1.1、出力ポートA」というフローエントリと、上りパケットを転送する際の、「入力ポート:A、送信元アドレス:192.168.1.1、宛先アドレス:サーバ側のアドレス、出力ポートD」を作成し、当該フローテーブルを設定する。当該フローテーブルは図2(c)に示すようになる。そして、制御部53が、オープンフロースイッチ6cのフローテーブルとして、当該フローテーブルを更新(設定)する(S23)。なお、図2(c)に示す新たなフローテーブルを設定する前提として、図2(a)に示した元のフローテーブルが削除される。
Based on the communication path determined from the topology information, the
S23において、オープンフロースイッチ6cのフローテーブルが設定されたため、オープンフロースイッチ6cは、当該フローテーブルに基づいて、出力ポートAからパケットを転送し(S24)、パケットはオープンフロースイッチ6aに転送される。オープンフロースイッチ6aは入力ポートCからパケットを受信すると、S05において設定されたフローテーブルの、下りパケット転送時のフローエントリ(図2(a))に従って、出力ポートAからパケットを転送する(S25)。
Since the flow table of the
オープンフロースイッチ6aから転送されたパケットは、P−GW4aにおいて受信され、通信端末2に転送される(S26)。
The packet transferred from the
次に、P−GW4a、又はP−GW4bからルータ3を介して接続されるPDN内のサーバに向けての所定のパケット送信処理について説明する。即ち、P−GW4が検出部42及び送信部43を備えない構成である。ここまで説明した処理は、通信端末2がP−GW4a、又はP−GW4bに接続したタイミングで、必ず通信端末2からルータ3方向に流れるパケット(上りパケット)があることを期待している。よって、通信端末2からルータ3方向に流れるパケットが始めに無ければ、適切なフローテーブルがオープンフローネットワーク6の各オープンフロースイッチに設定されず、ルータ3から通信端末2方向へパケットを転送することができないという制限がある。
Next, a predetermined packet transmission process from the P-
上記制限への対応として、通信端末2がP−GW4a又はP−GW4bに接続されたタイミングで、該接続されたP−GW4a又はP−GW4bからルータ3に向かって所定のパケットを送信する。このことにより、初めに上りパケットを送信し、適切なフローテーブルを設定することができる。なお、当該所定のパケットは中継装置であるP−GW4a又はP−GW4bから送信されるが、送信元アドレスは通信端末2のアドレスである。また、宛先アドレスは、ルータ3のアドレスである。
As a response to the restriction, a predetermined packet is transmitted from the connected P-
当該処理を行う場合は、上述したS01〜S14の処理において、以下の処理が異なる。S01においては通信端末2がサーバ側のアドレスを指定したパケットを送信する必要があったが、当該処理においては、通信端末2がP−GW4a又はP−GW4bに接続されたタイミングで、P−GW4の検出部42が自装置に接続されたことを検出する(検出ステップ)。続いて、P−GW4a又はP−GW4bの送信部43から所定のパケットであるICMP(Internet Control Message Protocol)パケット(ICMP_Echo Request)が送信される(図4のS02,S06のパケットがICMPパケットとなる)(送信ステップ)。また、S10における、オープンフロースイッチからルータ3へのパケット送信についても、所定のパケットである、ICMP_Echo Requestが送信される。また、S11におけるルータ3側からオープンフロースイッチへの下りパケット送信及び、S12、S13におけるオープンフロースイッチからP−GW4aへの下りパケット送信においては、所定のパケットである、ICMP_Echo Replyが送信される。上りパケットが確実に送信されることで、各オープンフロースイッチのフローテーブルが設定され、下りパケットがルータ3側から送られた場合にも、確実に適切なP−GW4にパケットを転送することができる。
When the process is performed, the following processes are different in the processes of S01 to S14 described above. In S01, it is necessary for the
次に、本実施形態に係る移動体通信システム1の作用・効果について説明する。このオープンフローコントローラ5(制御ノード)では、制御部53が、上りパケット情報とトポロジ情報とに基づいて、オープンフロースイッチが下りパケットを通信端末2が接続されたP−GW4に出力できるように制御するため、P−GW4が多重化されており、通信端末2に固定IPアドレスが設定されている場合にも、下りパケットを、適切なP−GW4に確実に転送することができる。
Next, operations and effects of the mobile communication system 1 according to this embodiment will be described. In the OpenFlow controller 5 (control node), the
以上より、本オープンフローコントローラ5によれば、多重化されたP−GW4に接続された通信端末2に固定IPアドレスが設定されている場合にも、ルータ3から通信端末2へのパケット転送を確実に行うことができる。
As described above, according to the OpenFlow controller 5, even when a fixed IP address is set for the
また、本実施形態に係るオープンフローコントローラ5において、制御部53は、P−GW4に接続されたオープンフロースイッチについて、上りパケット情報に含まれる宛先アドレスとトポロジ情報とから、上りパケットの出力を行うポートを決定し、該出力を行うポートから該上りパケット情報に含まれる送信元アドレス及び宛先アドレスそれぞれが宛先アドレス及び送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御することにより、上りパケット情報に基づいて、下りパケットを転送することを確実に実施することができる。
In the OpenFlow controller 5 according to the present embodiment, the
また、本実施形態に係るオープンフローコントローラ5において、制御部53は、上りパケット情報に含まれる宛先アドレスのアドレス帯域を特定し、該上りパケットの出力を行うポートから、該上りパケット情報に含まれる送信元アドレスを宛先アドレスとし、該上りパケット情報に含まれる宛先アドレスのアドレス帯域に含まれるアドレスを送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御することにより、特定のアドレス帯域に含まれるアドレスを送信元アドレスとした下りパケットを、確実に転送することができる。
In the OpenFlow controller 5 according to the present embodiment, the
また、本実施形態に係るオープンフローコントローラ5において、制御部53は、各オープンフロースイッチについて、パケットが入力されたポート、並びに該パケットの送信元アドレス及び宛先アドレスに該パケットを出力するポートを対応付けたテーブルを生成して、当該テーブルに従ってパケットの転送を行うように制御することにより、設定したテーブルに従って簡易にフロー制御を行うことができる。
In the OpenFlow controller 5 according to the present embodiment, the
また、本実施形態に係るオープンフローコントローラ5において、取得部52は、オープンフロースイッチがテーブルに設定されていない内容の上りパケットを受信した場合に行うオープンフローコントローラ5への問い合わせを受信することで上りパケット情報を取得することで、直前の通信をもとに、簡易かつタイムリーに上りパケット情報を取得することができ、テーブルの最新化を容易に行うことができる。
Further, in the OpenFlow controller 5 according to the present embodiment, the
また、本実施形態に係る移動体通信システム1において、オープンフローコントローラ5と多重化されP−GW4とを含む通信システムであって、P−GW4は、通信端末2が接続されたことを検出する検出部42と、検出部42による検出を契機として、ルータ3の方向にパケットを送信する送信部43と、を備えることで、テーブルの設定を下りパケットの送信前に確実に行うことができ、ルータ3から通信端末2へのパケットが転送できないという事態を防止できる。なお、P−GW4とオープンフローコントローラ5間において、専用に特別なインターフェース(プロトコル)を実装することでも、通信端末2がP−GW4に接続したことを通知することはできるが、本方式であれば、オープンフローの枠組みの中で実装でき、簡潔な制御となる。
In the mobile communication system 1 according to the present embodiment, the communication system 1 includes a P-
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他ものに適用したものであってもよい。 As mentioned above, although preferred embodiment of this invention was described, this invention is not limited to the said embodiment, It changes within the range which does not change the summary described in each claim, or applied to others. There may be.
例えば、ゲートウェイ装置はP−GW4としたが、これに限定されるものではなく、他のゲートウェイ装置、又は同様の機能を有する中継装置であってもよい。 For example, although the gateway device is P-GW4, the present invention is not limited to this, and another gateway device or a relay device having the same function may be used.
また、移動体通信システム1は、LTE網において機能する移動体通信システムとしたが、これに限定されるものではなく、他の通信網においても用いることができる。 The mobile communication system 1 is a mobile communication system that functions in the LTE network, but is not limited to this, and can be used in other communication networks.
また、図1に示すように、多重化されたP−GW4a及びP−GW4bと接続されたオープンフロースイッチはそれぞれ、オープンフロースイッチ6aとオープンフロースイッチ6bとし、別のオープンフロースイッチとしたが、同一のオープンフロースイッチとしてもよく、この場合にも、P−GW4a及びP−GW4bと接続するポートによって、バケットの転送先を判別することができる。
In addition, as shown in FIG. 1, the open flow switches connected to the multiplexed P-
また、通信端末2は、移動体通信端末として説明したが、これに限定されるものではなく、移動体通信端末以外の通信端末であってもよい。
Moreover, although the
1…移動体通信システム、2…通信端末、3…ルータ、4、4a、4b…P−GW、5…オープンフローコントローラ、6…オープンフローネットワーク、6a、6b、6c、6d…オープンフロースイッチ、41…ゲートウェイ部、42…検出部、43…送信部。
DESCRIPTION OF SYMBOLS 1 ... Mobile communication system, 2 ... Communication terminal, 3 ... Router, 4, 4a, 4b ... P-GW, 5 ... Open flow controller, 6 ... Open flow network, 6a, 6b, 6c, 6d ... Open flow switch, 41 ... Gateway unit, 42 ... Detection unit, 43 ... Transmission unit.
Claims (7)
前記複数の転送ノード間の物理的なつながりを示すトポロジ情報を記憶するトポロジ情報格納手段と、
前記通信端末が接続された前記中継装置から前記通信相手に向けて送信される上りパケットが該中継装置に接続された前記転送ノードによって受信された際に、該上りパケットが入力された該転送ノードのポートを示すポート情報、並びに該上りパケットの送信元アドレス及び宛先アドレスを含む上りパケット情報を取得する取得手段と、
前記取得手段によって取得された前記上りパケット情報と、前記トポロジ情報格納手段によって格納されたトポロジ情報とから、前記通信相手から前記通信端末に送信される下りパケットを、前記ポート情報によって示されるポートから該通信端末が接続された前記中継装置に出力するように前記複数の転送ノードを制御する制御手段と、
を備え、
前記制御手段は、前記上りパケット情報に含まれる宛先アドレスのアドレス帯域を特定し、該上りパケットの出力を行うポートから、該上りパケット情報に含まれる送信元アドレスを宛先アドレスとし、該上りパケット情報に含まれる宛先アドレスのアドレス帯域に含まれるアドレスを送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御する制御ノード。 A multiplexed relay apparatus that relays packets transmitted and received by the communication terminal connected to the communication terminal, and the relay apparatus via a transfer network that includes a plurality of transfer nodes that transfer packets A control node included in a communication system including a communication partner of the communication terminal to be connected;
Topology information storage means for storing topology information indicating physical connections between the plurality of forwarding nodes;
The forwarding node to which the upstream packet is input when the forwarding packet transmitted from the relay device to which the communication terminal is connected to the communication partner is received by the forwarding node connected to the relay device Acquisition means for acquiring port information indicating the port of the packet and upstream packet information including a source address and a destination address of the upstream packet;
From the uplink packet information acquired by the acquisition unit and the topology information stored by the topology information storage unit, a downlink packet transmitted from the communication partner to the communication terminal is transmitted from the port indicated by the port information. Control means for controlling the plurality of forwarding nodes to output to the relay device to which the communication terminal is connected;
With
The control means specifies an address band of a destination address included in the upstream packet information, sets a source address included in the upstream packet information as a destination address from a port that outputs the upstream packet, and transmits the upstream packet information. When a downlink packet having a source address as an address included in the address band of the destination address included in the packet is input, control is performed so that the downlink packet is output from the port indicated by the port information included in the uplink packet information. Control node.
前記中継装置は、
前記通信端末が接続されたことを検出する検出手段と、
前記検出手段による検出を契機として、前記通信相手の方向にパケットを送信する送信手段と、
を備える通信システム。 A communication system including the control node according to any one of claims 1 to 4 and the multiplexed relay device,
The relay device is
Detecting means for detecting that the communication terminal is connected;
Triggered by detection by the detection means, transmission means for transmitting a packet in the direction of the communication partner;
A communication system comprising:
前記通信端末が接続された前記中継装置から前記通信相手に向けて送信される上りパケットが該中継装置に接続された前記転送ノードによって受信された際に、該上りパケットが入力された該転送ノードのポートを示すポート情報、並びに該上りパケットの送信元アドレス及び宛先アドレスを含む上りパケット情報を取得する取得ステップと、
前記取得ステップにおいて取得された前記上りパケット情報と、前記トポロジ情報格納手段に格納されたトポロジ情報とから、前記通信相手から前記通信端末に送信される下りパケットを、前記ポート情報によって示されるポートから該通信端末が接続された前記中継装置に出力するように前記複数の転送ノードを制御する制御ステップと、
を含み、
前記制御ステップでは、前記上りパケット情報に含まれる宛先アドレスのアドレス帯域を特定し、該上りパケットの出力を行うポートから、該上りパケット情報に含まれる送信元アドレスを宛先アドレスとし、該上りパケット情報に含まれる宛先アドレスのアドレス帯域に含まれるアドレスを送信元アドレスとした下りパケットが入力された場合に、該上りパケット情報に含まれるポート情報に示されるポートから下りパケットを出力するように制御する通信制御方法。 A multiplexed relay apparatus that relays packets transmitted and received by the communication terminal connected to the communication terminal, and the relay apparatus via a transfer network that includes a plurality of transfer nodes that transfer packets Communication by a control node, which is included in a communication system including a communication partner of the communication terminal to be connected, and has topology information storage means for storing topology information indicating physical connection between a plurality of transfer nodes A control method,
The forwarding node to which the upstream packet is input when the forwarding packet transmitted from the relay device to which the communication terminal is connected to the communication partner is received by the forwarding node connected to the relay device An acquisition step of acquiring port information indicating the port of the upstream packet, and upstream packet information including a source address and a destination address of the upstream packet;
From the uplink packet information acquired in the acquisition step and the topology information stored in the topology information storage means, a downlink packet transmitted from the communication partner to the communication terminal is transmitted from the port indicated by the port information. A control step of controlling the plurality of forwarding nodes to output to the relay device to which the communication terminal is connected;
Including
In the control step, the address band of the destination address included in the upstream packet information is specified, and the source address included in the upstream packet information is set as the destination address from the port that outputs the upstream packet, and the upstream packet information When a downlink packet having a source address as an address included in the address band of the destination address included in the packet is input, control is performed so that the downlink packet is output from the port indicated by the port information included in the uplink packet information. Communication control method.
前記中継装置による、
前記通信端末が接続されたことを検出する検出ステップと、
前記検出ステップにおける検出を契機として、前記通信相手の方向にパケットを送信する送信ステップと、
を含む通信制御方法。
A communication control method by a communication system including the control node according to any one of claims 1 to 4 and the multiplexed relay device,
According to the relay device,
A detection step of detecting that the communication terminal is connected;
Triggered by the detection in the detection step, a transmission step of transmitting a packet in the direction of the communication partner
Including a communication control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015254244A JP6033393B2 (en) | 2015-12-25 | 2015-12-25 | Control node and communication control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015254244A JP6033393B2 (en) | 2015-12-25 | 2015-12-25 | Control node and communication control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012136195A Division JP5889122B2 (en) | 2012-06-15 | 2012-06-15 | Control node and communication control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016067053A true JP2016067053A (en) | 2016-04-28 |
JP6033393B2 JP6033393B2 (en) | 2016-11-30 |
Family
ID=55806015
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015254244A Active JP6033393B2 (en) | 2015-12-25 | 2015-12-25 | Control node and communication control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6033393B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011043312A1 (en) * | 2009-10-06 | 2011-04-14 | 日本電気株式会社 | Network system, controller, method, and program |
WO2011083780A1 (en) * | 2010-01-05 | 2011-07-14 | 日本電気株式会社 | Communication system, control apparatus, processing rule setting method, packet transmitting method and program |
JP2011166384A (en) * | 2010-02-08 | 2011-08-25 | Nec Corp | Computer system and communication method |
WO2011108205A1 (en) * | 2010-03-05 | 2011-09-09 | 日本電気株式会社 | Communication system, path control apparatus, packet forwarding apparatus and path control method |
-
2015
- 2015-12-25 JP JP2015254244A patent/JP6033393B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011043312A1 (en) * | 2009-10-06 | 2011-04-14 | 日本電気株式会社 | Network system, controller, method, and program |
WO2011083780A1 (en) * | 2010-01-05 | 2011-07-14 | 日本電気株式会社 | Communication system, control apparatus, processing rule setting method, packet transmitting method and program |
JP2011166384A (en) * | 2010-02-08 | 2011-08-25 | Nec Corp | Computer system and communication method |
WO2011108205A1 (en) * | 2010-03-05 | 2011-09-09 | 日本電気株式会社 | Communication system, path control apparatus, packet forwarding apparatus and path control method |
Non-Patent Citations (1)
Title |
---|
JPN6015042448; '安心な企業ネットワークのために 絶対わかる! 冗長化技術の基礎 Part2 レイヤー3で機器障害に備' 日経NETWORK 第126号, 20100928, 第24-27頁 * |
Also Published As
Publication number | Publication date |
---|---|
JP6033393B2 (en) | 2016-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5641444B2 (en) | Network system and network redundancy method | |
EP3047621B1 (en) | Handling of signaling messages on the data plane in a software-defined architecture | |
EP3225014B1 (en) | Source ip address transparency systems and methods | |
US10637831B2 (en) | Method and apparatus for transmitting network traffic via a proxy device | |
US20220377819A1 (en) | Method and apparatus for establishing data transmission link and computer-readable storage medium | |
EP2579544A1 (en) | Methods and apparatus for a scalable network with efficient link utilization | |
US10819659B2 (en) | Direct replying actions in SDN switches | |
KR102050910B1 (en) | Method and system to enable re-routing for home networks upon connectivity failure | |
WO2020011152A1 (en) | Pfcp connection processing method and apparatus, network element, system, and storage medium | |
WO2018219300A1 (en) | Method and apparatus for packet exchange in sdn | |
WO2016058185A1 (en) | Communication method and apparatus, controller and forwarding plane devices | |
CN109818901B (en) | Method, device and system for determining message header compression mechanism | |
JP5889122B2 (en) | Control node and communication control method | |
CN115769634A (en) | Method and apparatus for directing a session to an application server | |
US10171346B2 (en) | Method, apparatus and system for transmitting information | |
US10595258B2 (en) | Wireless communication control based on border gateway protocol | |
JP2014225721A (en) | System and method for transiting session information of gateway in core network | |
JP6033393B2 (en) | Control node and communication control method | |
CN106657355B (en) | Cluster management method and device | |
WO2022142905A1 (en) | Packet forwarding method and apparatus, and network system | |
WO2018121443A1 (en) | Message transmission method and device | |
Jeong et al. | Lisp controller: a centralized lisp management system for isp networks | |
EP3364610B1 (en) | Method, device and system for deploying service stream forwarding function | |
CN114301913B (en) | Request processing method and system | |
WO2022188679A1 (en) | Data routing method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6033393 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |