KR101559644B1

KR101559644B1 - 통신 제어 시스템, 스위치 노드 및 통신 제어 방법

Info

Publication number: KR101559644B1
Application number: KR1020137024963A
Authority: KR
Inventors: 요우이찌 히다까
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2011-03-23
Filing date: 2012-03-21
Publication date: 2015-10-12
Also published as: JPWO2012128282A1; US20140016648A1; JP5601601B2; KR20130128461A; CN103444138B; RU2013147150A; CN103444138A; RU2584449C2; EP2690831A4; WO2012128282A1; US9407577B2; EP2690831A1

Abstract

외부의 제어 서버와 접속되고 고기능의 서비스 프로토콜 처리를 PCI 익스프레스에서 규정되어 있는 멀티 루트 대응의 스위치 및 네트워크 인터페이스(NW I/F)를 이용하여 행하는 스위치 노드가 제공된다. 구체적으로는, 스위치 노드와 제어 서버 간의 관계를 구비한 시스템에서, 대용량의 메모리를 각각 갖는 복수의 CPU를 복수의 확장 NW I/F와 멀티 루트 대응의 PCI 익스프레스 스위치를 이용하여 접속함으로써 스위치 노드가 구성된다. 이렇게, 복수의 확장 NW I/F를 이용하여 스위치 포트가 구성됨으로써, 네트워크 인터페이스로부터 복수의 CPU에의 부하 분산 전송 처리를 가능하게 하고, 나아가 복수의 CPU를 이용하는 다중화 처리에 의해 고속 패킷 처리가 달성될 수 있다. 더구나, CPU의 대용량 메인 메모리 공간을 이용하여 소프트웨어 베이스의 스위치 노드이고 대용량 플로우 테이블을 구성하는 고속 스위치 노드를 제공하는데 이용된다.

Description

통신 제어 시스템, 스위치 노드 및 통신 제어 방법{COMMUNICATION CONTROL SYSTEM, SWITCH NODE, AND COMMUNICATION CONTROL METHOD}

본 발명은 통신 제어 시스템에 관한 것으로, 특히 스위치 노드의 제어를 행하는 통신 제어 시스템에 관한 것이다.

종래의 네트워크 기기는 블랙박스이며 외부로부터 부하 분산 및 바이어스 프로세싱 등 유연성있는 제어를 할 수 없다. 그러므로, 네트워크의 규모가 커지면, 시스템의 거동의 파악과 개선이 곤란하게 되고 설계 및 구성 변경에는 많은 코스트를 필요로 하는 것이 문제이다.

이러한 문제를 해결하기 위한 기술로서, 네트워크 기기의 패킷 전송 기능과 경로 제어 기능을 분리하는 기술이 생각되고 있다. 예를 들면, 패킷 전송 기능을 네트워크 기기가 담당하고 경로 제어 기능을 네트워크 기기의 외부의 제어 장치가 담당한다. 따라서, 제어가 용이해지고 유연성있는 네트워크를 구축하는 것이 가능하게 된다.

(CD 분리형 네트워크의 설명)

기능을 분리한 네트워크의 하나로서, 컨트롤 플레인(plane) 측의 제어 장치가 데이터 플레인 측의 노드 장치를 제어하는 CD(C: 컨트롤 플레인/ D: 데이터 플레인) 분리형 네트워크가 제안되어 있다.

CD 분리형 네트워크의 일례로서, 컨트롤러가 스위치를 제어하여 네트워크의 경로 제어를 행하는 오픈 플로우(OpenFlow) 기술을 이용한 오픈 플로우 네트워크가 알려져 있다. 오픈 플로우 기술의 상세에 대해서는 비특허 문헌 1에 기재되어 있다. 오픈 플로우 네트워크는 일례에 불과하다는 점에 주목하여야 한다.

(오픈 플로우 네트워크의 설명)

오픈 플로우 네트워크에서는, 제어 장치에 상당하는 오픈 플로우 컨트롤러(OFC)가 노드 장치에 상당하는 오픈 플로우 스위치(OFS)의 경로 제어에 관한 플로우 테이블을 조작함으로써 오픈 플로우 스위치(OFS)의 거동을 제어한다.

이하, 설명의 간략화를 위해, 오픈 플로우 컨트롤러(OFC)를 "컨트롤러"라고 표기하고 오픈 플로우 스위치(OFS)를 "스위치"라고 표기한다.

컨트롤러와 스위치는 전용선 및 SSL(Secure Socket Layer) 등에 의해 보호된 통신로인 "시큐어 채널(secure channel)"이라고 불리는 제어 채널(제어 통신 채널)에 의해 접속되어 있다. 컨트롤러와 스위치는 제어 채널을 통하여 오픈 플로우 프로토콜에 따르는 제어 메시지로서 오픈 플로우 메시지(OpenFlow Message)를 송수신한다.

오픈 플로우 네트워크에서의 스위치는 오픈 플로우 네트워크에 배치되고 컨트롤러의 제어하에 있는 엣지 스위치 및 코어 스위치이다. 오픈 플로우 네트워크에서의 입구측 엣지 스위치(ingress switch)에서의 패킷(packet)의 수신으로부터 출구측 스위치(egress switch)로부터의 송신까지의 패킷의 일련의 처리를 플로우라고 부른다. 오픈 플로우 네트워크에서는, 통신을 엔드-투-엔드(E2E: end-to-end)의 플로우로서 파악하고, 플로우 단위로 경로 제어, 장해 회복, 부하 분산, 및 최적화를 행한다.

패킷은 프레임이라고 읽을 수 있다. 패킷과 프레임의 차이는 프로토콜이 취급하는 데이터의 단위(PDU: Protocol Data Unit)의 차이에 불과하다. 패킷은 "TCP/IP" (Transmission Control Protocol/Internet Protocol)의 PDU이고, 한편, 프레임은 "이더넷(Ethernet)"(등록상표)의 PDU이다.

플로우 테이블은 플로우로서 처리되는 패킷을 특정하기 위한 조건(룰), 패킷이 룰에 매치한 횟수를 나타내는 통계 데이터, 및 패킷에 대하여 행해야 할 처리 내용(액션)을 각각 정의한 플로우 엔트리의 집합이다.

플로우 엔트리의 룰은 패킷의 헤더 필드에 포함되는 프로토콜 계층의 데이터의 일부 또는 모두의 다양한 조합에 기초하여 정의되고 구별가능하다. 각 프로토콜 계층의 데이터의 예로서, 수신처 어드레스(destination address), 송신원 어드레스(source address), 수신처 포트(destination port), 송신원 포트(source port) 등이 예시된다. 상기의 어드레스에는 MAC 어드레스(Media Access Control Address) 및 IP 어드레스(Internet Protocol Address)를 포함하는 것으로 한다는 점에 주목하여야 한다. 또한, 상기 데이터 외에, 입구 포트(ingress port)의 데이터도 플로우 엔트리의 룰에 사용가능하다. 또한, 플로우 엔트리의 룰로서, 플로우로서 처리되는 패킷의 헤더 필드의 값의 일부(또는 모두)를 정규 표현이나 와일드 카드(wildcard) "*" 등을 이용하여 표현한 것을 설정할 수도 있다.

플로우 엔트리의 액션은 "특정한 포트에서 출력한다"의 동작, "폐기한다"의 동작, 및 "헤더를 재기입한다"의 동작 등의 동작을 도시한다. 예를 들면, 플로우 엔트리의 액션에 출력 포트의 식별 데이터(출력 포트 번호 등)가 나타내져 있으면, 스위치는 이것에 해당하는 포트에 패킷을 출력한다. 출력 포트의 식별 데이터가 나타내져 있지 않으면, 스위치는 패킷을 폐기한다. 혹은, 플로우 엔트리의 액션에 헤더 데이터가 나타내져 있으면, 스위치는 해당 헤더 데이터에 기초하여 패킷의 헤더를 재기입한다.

스위치는 플로우 엔트리의 룰에 매치하는 패킷 군(패킷 계열)에 대하여 플로우 엔트리의 액션을 실행한다. 구체적으로는, 패킷을 수신하면, 스위치는 플로우 테이블로부터 수신 패킷의 헤더 데이터에 매치하는 룰을 갖는 플로우 엔트리를 검색한다. 검색의 결과로서 수신 패킷의 헤더 데이터에 매치하는 룰을 갖는 플로우 엔트리가 발견되었을 경우, 해당 플로우 엔트리의 통계 데이터를 갱신하는 동작과 수신 패킷에 대하여 해당 플로우 엔트리의 액션으로서 지정된 동작을 실시한다. 한편, 검색의 결과로서 수신 패킷의 헤더 데이터에 매치하는 룰을 갖는 플로우 엔트리가 발견되지 않았을 경우, 스위치는 해당 수신 패킷을 최초의 패킷이라고 판단한다. 스위치는 제어 채널을 통하여 오픈 플로우 네트워크에서의 컨트롤러에 수신 패킷(또는 카피)을 전송한다. 또한, 스위치는 수신 패킷의 송신원 어드레스, 수신처 어드레스 등에 기초한 패킷의 경로 계산을 요구한다. 스위치는 응답으로서 플로우 엔트리의 설정용 메시지를 수신하고 플로우 테이블을 갱신한다.

플로우 테이블에는 낮은 우선 순위로 모든 패킷의 헤더 데이터에 매치하는 룰을 갖는 디폴트 엔트리가 등록되어 있다는 점에 주목하여야 한다. 수신 패킷에 매치하는 플로우 엔트리가 발견되지 않았을 경우, 수신 패킷은 이 디폴트 엔트리에 매치한다. 디폴트 엔트리의 액션은 "컨트롤러에의 해당 수신 패킷의 문의 데이터의 송신"이다.

(PCI 익스프레스의 설명)

또한, 최근, PCI 버스(Peripheral Component Interconnect bus)를 대신하여 "PCI 익스프레스(PCIe)"라고 하는 인터페이스(I/F)가 널리 이용된다. PCI 버스는 패러렐 전송 방식이며 PCI 익스프레스(PCIe)는 시리얼 전송 방식이다. PCI 버스와 PCI 익스프레스(PCIe) 간에는 물리적 호환성은 없지만, 통신 프로토콜 등은 공통인 것이 사용된다. PCI 익스프레스(PCIe)에서 이용되는 최소 구성의 전송로(레인(lane))에서는, 한쪽 방향 통신 2.5Gbps(Gigabit per second: 초당 기가 비트) 및 쌍방향 통신 5.0Gbps의 전이중(duplex) 통신이 가능하다.

(종래의 네트워크 시스템의 설명)

도 1, 도 2, 도 3, 도 4, 및 도 5는 종래의 네트워크 시스템의 구성을 도시한다. 구체적으로는, 하드웨어 베이스의 스위치 처리를 행하고 제어 서버에 의해 확장 네트워크 서비스를 실행하는 시스템 구성이다.

(종래의 네트워크 시스템 구성)

도 1은 종래의 네트워크 시스템의 기본 구성을 도시한다. 종래의 네트워크 시스템은 스위치 노드(1), 단말기(2)(2-i, i=1∼T: T는 단말기 수) 및 제어 서버(3)를 포함한다.

스위치 노드(1)는 오픈 플로우 네트워크에서의 스위치에 상당한다. 제어 서버(3)는 오픈 플로우 네트워크에서의 컨트롤러에 상당한다. 단말기(2)(2-i, i=1∼T) 및 제어 서버(3)는 스위치 노드(1)와 접속되어 있다.

스위치 노드(1)는 CPU(Central Processing Unit)(10), 메모리(20), 전송 테이블(30) 및 네트워크 스위치 포워딩 엔진(40)을 구비한다.

CPU(10)는 메모리(20)와 접속되어 있다. 또한, CPU(10) 및 전송 테이블(30)은 네트워크 스위치 포워딩 엔진(40)과 접속되어 있다.

종래의 네트워크 시스템에서는, 스위치 노드(1) 상에는 하드웨어를 기초로 패킷 처리를 행하는 네트워크 스위치 포워딩 엔진(40)이 존재한다. 포워딩 엔진(40)은 단말기(2)(2-i, i=1∼T)로부터 출력되는 패킷을 수신하고, 전송 테이블(30)을 이용하여 플로우의 수신처를 관리하고, 패킷 수신 시 테이블 검색을 행하고, 단말기 간의 패킷 스위치 처리를 행한다. 전송 테이블(30)은 단말기 간의 스위치 처리에 견디기 위해 고속의 처리를 행하는 것이 가능하지만, 메모리(20) 용량이 한정되어 있기 때문에, 대량의 플로우를 관리하는 전송 테이블(30)을 구성할 수 없다.

(네트워크 스위치 포워딩 엔진의 내부 구성)

도 2는 네트워크 스위치 포워딩 엔진(40)의 내부의 구성을 도시한다.

네트워크 스위치 포워딩 엔진(40)은 PCI 익스프레스 엔드포인트(PCIe EP)(41), LAN(Local Area Network) 인터페이스(1G MAC)(42), 스위치 전송 처리부(43), 테이블 검색 결과 레지스터(44), CPU 수신 패킷 큐(CPU destined packet queue)(45), CPU 송신 패킷 큐(46), 스위치 패브릭 공유 패킷 버퍼(47) 및 DMA(Direct Memory Access) 컨트롤러(48)를 구비한다.

PCI 익스프레스 엔드포인트(PCIe EP)(41)는 CPU(10), CPU 수신 패킷 큐(45) 및 CPU 송신 패킷 큐(46)와 접속되어 있다.

LAN 인터페이스(1G MAC)(42)는 단말기(2)(2-i, i=1∼T) 및 제어 서버(3)와 접속되어 있다.

스위치 전송 처리부(43)는 전송 테이블(30), LAN 인터페이스(1G MAC)(42), 테이블 검색 결과 레지스터(44), CPU 송신 패킷 큐(46), 및 스위치 패브릭 공유 패킷 버퍼(47)와 접속되어 있다.

스위치 전송 처리부(43)는 테이블 검색부(431), 패킷 해석 처리부(432) 및 스위칭 처리부(433)를 구비한다.

테이블 검색부(431)는 검색 키에 기초하여 전송 테이블(30)을 검색한다.

패킷 해석 처리부(432)는 패킷의 헤더 부분을 추출하고, 헤더 부분 내의 임의의 데이터를 이용하여 검색 키를 작성하고, 검색 키를 테이블 검색부(431)에 통지한다.

스위칭 처리부(433)는 검색 키에 매치하는 전송 테이블(30)의 엔트리의 액션에 따라 패킷을 전송한다.

테이블 검색 결과 레지스터(44)는 CPU 수신 패킷 큐(45)와 접속되어 있다.

스위치 전송 처리부(43)의 테이블 검색부(431)는 전송 테이블(30)에 검색 요구(검색 키)를 송신하고 테이블 검색을 행한다. 전송 테이블(30)의 저장 장소로서 스위치 전송 처리부(43)의 처리 능력에 따른 메모리(20)가 이용된다. 고속의 처리 능력이 요구되기 때문에, 처리 능력에 반비례해서 메모리(20)의 용량은 적어지고 관리할 수 있는 전송 테이블 수는 한정된다.

(전송 테이블의 구성)

도 3은 전송 테이블(30)의 구성을 도시한다.

전송 테이블(30)은 오픈 플로우 네트워크에서의 플로우 테이블에 상당한다. 이 전송 테이블(30)은 64000건의 엔트리를 관리할 수 있다.

"MAC DA"는 수신처 MAC 어드레스를 나타내고, "MAC SA"는 송신원 MAC 어드레스를 나타내고, "IP DA"는 수신처 IP 어드레스를 나타내고, "IP SA"는 송신원 IP 어드레스를 나타낸다는 점에 주목하여야 한다.

(CPU의 구성)

도 4는 CPU(10)에서 실행되는 소프트웨어의 구성도를 도시한다.

CPU(10)는 PCI 익스프레스 루트(root) 콤플렉스(PCIe RC)(11), 포워딩 엔진 드라이버(12), 확장 네트워크 서비스 설정부(13), 서비스 내용 문의 처리부(14), 패킷 버퍼 처리부(15), 패킷 수신 처리부(16) 및 암호 처리부(17)를 구비한다.

포워딩 엔진 드라이버(12), 확장 네트워크 서비스 설정부(13), 서비스 내용문의 처리부(14), 패킷 버퍼 처리부(15), 패킷 수신 처리부(16) 및 암호 처리부(17)는 CPU(10)가 소프트웨어를 실행함으로써 실현된다.

종래의 네트워크 시스템에서의 CPU(10)는 제어 서버(3)와 접속하고 확장 네트워크 서비스를 실행하기 위해서만 이용된다.

(제어 서버의 구성)

도 5는 제어 서버(3)의 구성도를 도시한다.

제어 서버(3)는 패킷 송수신 처리부(31), 암호 처리부(32) 및 확장 네트워크 서비스 처리부(33)를 구비한다.

제어 서버(3)는 스위치 노드(1)로부터의 처리 문의에 응답하여 문의 패킷에 대한 수신처 결정, 패킷의 변경 처리 또는 스위치 노드의 제어 등의 확장 네트워크 서비스 처리를 행한다. 또한, 제어 서버(3)는 스위치 노드(1)로 시큐어한 통신을 행하기 위해 암호 처리를 행하여 패킷의 송수신을 행한다.

상기한 바와 같이, 하드웨어 베이스의 스위치 노드는 하나의 고속 전송 테이블을 유지하는 메모리(20)를 이용하여 패킷 처리를 행하기 때문에, 전송 테이블의 메모리(20) 용량이 한정되어, 대용량의 전송 테이블을 구성하는 것이 곤란하다.

또한, 하드웨어 베이스의 포워딩 엔진은 전용 LSI(Large Scale Integration)로 구성되기 때문에, 범용성이 낮고, 코스트가 비싸지게 되고, 또한 처리 방법의 변경 등의 자유도가 없다고 하는 단점도 있다.

본 발명과 관련하는 기술로서, 특허 문헌 1(일본 특허 공개 2007-195166A호)에 조립 DID에 의한 PCI 버스 어드레스 베이스의 라우팅 테이블을 작성하고 관리하는 방법, 컴퓨터 프로그램 및 장치가 개시되어 있다는 점에 주목하여야 한다.

본 관련 기술에서는, 복수의 루트 노드, PCI 어댑터 및 하나 이상의 PCI 스위치를 포함하고, 루트 노드 중 하나가 PCI 구성 매니저(PCM)를 포함하는 분산 컴퓨팅 시스템은 호스트와 어댑터 사이에서 스위치를 통하여 PCI 트랜잭션 패킷을 라우팅한다.

이때, 하나의 지정된 스위치 내에 테이블을 작성하고 특정한 호스트가 지정된 스위치에 접속되었을 경우에, PCM을 조작하여 지정된 비트 세트를 갖는 수신처식별자를 테이블에 입력한다. 지정된 스위치를 통하여 특정한 호스트로부터 어댑터 중 하나에 송출된 PCI 패킷에 수신처 식별자를 어드레스로서 추가한다. 수신처 식별자를 이용하여 어댑터 중 하나로부터 지정된 스위치를 통하여 송출된 PCI 패킷이 특정한 호스트용이라고 판정된다.

일본 특허 공개 2007-195166A호

"OpenFlow Switch Specification, Version 1.0.0", 2009년 12월 31일, 인터넷(URL: http://www.openflowswitch.org/documents/openflow-spec-v1.0.0.pdf)

종래의 스위치 노드 구성에서는, 하드웨어 베이스의 포워딩 엔진에 접속되는 전송 테이블의 용량에 한계가 있고 대량의 전송 테이블을 갖는 스위치 노드의 구축이 어렵다. 한편, 소프트웨어 베이스의 스위치 노드를 구성했을 경우, CPU가 하나이기 때문에, 스위치 노드에서는 전송 처리 능력이 낮다는 문제가 있다.

본 발명의 목적은 소프트웨어 베이스의 스위치 노드에서 대용량의 플로우 테이블을 구성하고, 고속 패킷 스위치 처리를 행하고, 외부의 제어 서버와 접속하여 고기능의 서비스 프로토콜 처리를 PCI 익스프레스(PCIe)에 의해 규정되어 있는 멀티 루트 대응의 스위치(multi-route compatible switch) 및 네트워크 인터페이스(NW I/F: Network Interface)를 이용하여 실현하는 통신 제어 시스템을 제공하는 것이다.

본 발명에 따른 통신 제어 시스템은 스위치 노드, 및 패킷을 일률적으로 제어하기 위한 룰 및 액션을 정의하는 플로우 엔트리를 해당 스위치 노드의 플로우 테이블에 설정하도록 구성된 제어 서버를 포함한다. 해당 스위치 노드는 대용량의 메모리를 갖는 복수의 프로세서와 복수의 확장 네트워크 인터페이스를 멀티 루트 대응의 PCI 익스프레스 스위치(multi-route compatible PCI express switch)에 의해 접속하여, 복수의 확장 네트워크 인터페이스로 구성된 스위치 포트를 구성하도록 구성된 기능부; 해당 복수의 확장 네트워크 인터페이스로부터 해당 복수의 프로세서에의 부하 분산 전송 처리를 행하고 해당 복수의 프로세서를 이용하여 다중 처리를 통해 고속 패킷 처리를 행하도록 구성된 기능부; 및 해당 복수의 프로세서의 대용량의 메모리 공간을 이용하여 소프트웨어 베이스의 스위치 노드에서 대용량의 플로우 테이블을 구성하는 기능부를 포함한다.

본 발명에 따른 스위치 노드는 패킷을 수신하도록 구성된 복수의 확장 네트워크 인터페이스; 대용량의 메모리를 갖는 복수의 프로세서; 및 해당 복수의 프로세서와 복수의 확장 네트워크 인터페이스를 접속하도록 구성된 멀티 루트 대응의 PCI 익스프레스 스위치를 포함한다. 해당 복수의 확장 네트워크 인터페이스 각각은 패킷의 입출력을 행하도록 LAN 인터페이스; 해당 복수의 프로세서에의 패킷의 전송 처리, 복수의 프로세서 간에서의 패킷의 전송 처리, 및 제어 서버에의 전송 처리 중 적어도 하나의 전송 처리를 행하도록 구성된 패킷 전송 처리부; 해당 복수의 프로세서와 DMA 전송으로 패킷의 송수신을 고속으로 행하도록 구성된 복수의 PF 리소스; 및 해당 PCI 익스프레스 스위치와 접속하도록 구성된 PCI 익스프레스 엔드포인트를 포함한다.

본 발명에 따른 통신 제어 방법은 제어 서버로부터 자신의 플로우 테이블에 설정되고 패킷을 플로우로서 일률적으로 제어하기 위한 룰 및 액션을 정의하는 플로우 엔트리에 기초하여 수신한 패킷의 처리를 행하는 스위치 노드에서 실행된다. 통신 제어 방법은 대용량의 메모리를 갖는 복수의 프로세서와 복수의 확장 네트워크 인터페이스를 멀티 루트 대응의 PCI 익스프레스 스위치에 의해 접속하여 복수의 확장 네트워크 인터페이스로 구성된 스위치 포트를 구성하는 단계; 해당 복수의 확장 네트워크 인터페이스로부터 해당 복수의 프로세서에의 부하 분산 전송 처리를 행하고, 해당 복수의 프로세서를 이용하여 다중 처리를 통해 고속 패킷 처리를 행하는 단계; 및 해당 복수의 프로세서의 대용량의 메모리 공간을 이용하여, 소프트웨어 베이스의 스위치 노드에서 대용량의 플로우 테이블을 구성하는 단계를 포함한다.

본 발명에 따른 프로그램은 패킷을 수신하는 복수의 확장 네트워크 인터페이스와 대용량의 메모리를 갖는 복수의 프로세서가 멀티 루트 대응의 PCI 익스프레스 스위치를 통해 접속되고, 제어 서버로부터 자신의 플로우 테이블에 설정되고 플로우로서 패킷을 일률적으로 제어하기 위한 룰 및 액션을 정의하는 플로우 엔트리에 기초하여 수신한 패킷의 처리를 행하는 스위치 노드에 의해 실행된다. 프로그램은 해당 복수의 확장 네트워크 인터페이스 중 어느 하나가 단말기로부터 패킷을 수신하면, 패킷 중 하나의 패킷의 헤더 부분을 추출하는 단계; 해당 추출한 헤더 부분의 데이터 중에서, MAC 어드레스, VLAN 어드레스, 및 IP 어드레스 중 적어도 하나를 이용하여 플로우 단위로 해시 처리를 행하는 단계; 해당 해시 처리를 통해 프로세서 중 하나를 배분처로서 결정하는 단계; 해당 배분처의 프로세서에 대응하는 PF 리소스의 패킷 큐에 패킷을 송신하는 단계; 및 해당 배분처의 프로세서의 제어에 기초하여 배분처의 프로세서에 패킷을 DMA 전송하는 단계를 포함한다.

본 발명에 따른 프로그램은 상기의 통신 제어 방법의 처리를 스위치 노드에 실행시키기 위한 프로그램이다. 본 발명에 따른 프로그램은 기억 장치 및 기억 매체에 저장할 수 있다는 점에 주목하여야 한다.

따라서, 대용량의 전송 테이블에 대응하여 고속 스위치 처리가 가능한 소프트웨어 베이스의 스위치 노드를 실현할 수 있다.

도 1은 종래의 네트워크 시스템의 기본 구성 예를 도시하는 도면.
도 2는 종래의 네트워크 시스템의 네트워크 스위치 포워딩 엔진의 내부 구성을 도시하는 도면.
도 3은 종래의 네트워크 시스템의 전송 테이블의 구성 예를 도시하는 도면.
도 4는 종래의 네트워크 시스템의 CPU의 구성 예를 도시하는 도면.
도 5는 종래의 네트워크 시스템의 제어 서버의 구성 예를 도시하는 도면.
도 6은 본 발명에 따른 통신 제어 시스템의 기본 구성 예를 도시하는 도면.
도 7은 단말기 측의 확장 네트워크 인터페이스(확장 NW I/F)의 구성 예를 도시하는 도면.
도 8은 CPU와의 패킷 전송 처리의 동작을 설명하기 위한 플로우 차트.
도 9는 제어 서버 측의 확장 네트워크 인터페이스(확장 NW I/F)의 구성 예를 도시하는 도면.
도 10은 수신처 해석 처리의 동작을 설명하기 위한 플로우 차트.
도 11은 본 발명에 따른 통신 제어 시스템의 CPU의 구성 예를 도시하는 도면.
도 12는 멀티 CPU 전송 테이블 동기 처리의 동작을 설명하기 위한 플로우 차트.
도 13은 본 발명에 따른 통신 제어 시스템의 전송 테이블의 구성 예를 도시하는 도면.
도 14는 본 발명의 제1 실시예에 따른 통신 제어 시스템을 도시하는 도면.
도 15는 본 발명의 제2 실시예에 따른 통신 제어 시스템을 도시하는 도면.

<본 발명의 개요>

"PCI-SIG"(PCI Special Interest Group)에서 규정되어 있는 멀티 루트 PCI 익스프레스(PCIe: PCI Express) 스위치에서는, 고속 패킷의 처리를 행하기 위한 복수의 CPU와 패킷의 입출력을 행하기 위한 복수의 확장 네트워크 인터페이스(NW I/F: Network Interface)를 서로 접속하여, 소프트웨어 베이스에서 패킷 처리를 행하는 스위치 노드를 구성한다.

단말기로부터 입력되는 패킷을 고속으로 처리하기 위해서, 확장 네트워크 인터페이스(확장 NW I/F)는 멀티 루트 PCI 익스프레스(PCIe) 스위치 앞에 접속되어 있는 복수의 CPU에 패킷을 송신하는 기능을 갖고, 패킷의 처리를 행하는 CPU 중 하나를 결정하기 위해서 각 패킷의 헤더를 해석하고 복수의 CPU에 패킷을 배분한다.

복수의 CPU와 복수의 확장 네트워크 인터페이스(확장 NW I/F) 간의 데이터 전송에 대해서는, 확장 네트워크 인터페이스(확장 NW I/F)는 복수의 CPU에 DMA 전송을 고속으로 행하기 위해 복수의 DMA 컨트롤러를 탑재한다. 그러므로, 확장 네트워크 인터페이스(확장 NW I/F)는 각 CPU에 부하를 걸지 않고 DMA 컨트롤러를 이용하여 복수의 CPU에 데이터 전송 처리를 행한다.

각 CPU는 대용량의 메모리와 접속하고 패킷의 수신처를 결정하기 위해 대량의 엔트리를 갖는 전송 테이블을 메모리 상에 구성한다.

확장 네트워크 인터페이스(확장 NW I/F)로부터 입력되는 패킷을 수신하면, CPU는 CPU 상의 소프트웨어 처리를 통해 각 패킷의 프레임 해석을 행하고, 메모리 상에 있는 전송 테이블을 검색하고, 패킷에 대한 처리(패킷의 출력 포트, 패킷 헤더 재기입 처리 등)를 결정한다.

CPU는 패킷에 대한 처리가 결정된 후에 결정된 소프트웨어 베이스 처리를 행하고, 해당하는 확장 네트워크 인터페이스(확장 NW I/F)에 패킷을 송신한다.

전송 테이블의 검색의 결과로서 패킷에 대한 처리가 결정되지 않은 경우에는, CPU는 확장 네트워크 인터페이스(확장 NW I/F)의 뒷부분에 접속되는 제어 서버에 패킷의 처리 내용을 문의한다.

CPU는 제어 서버로부터 패킷의 처리 내용을 수취하고, 전송 테이블에 그것을 엔트리로서 등록을 행한다.

또한, CPU는 다른 CPU가 관리하고 있는 전송 테이블에도 엔트리 등록을 행한다. 그러므로, 동기 처리를 행하면, 확장 네트워크 인터페이스(확장 NW I/F)로부터 어느 CPU에 패킷을 배분하여 전송해도 문제가 발생하지 않도록 한다.

[실시예]

이하에, 본 발명의 실시예에 대해서 첨부된 도면을 참조하여 설명한다.

본 발명은 CD 분리형 네트워크를 대상으로 삼고 있다. 여기에서는, CD 분리형 네트워크의 하나로서 오픈 플로우 네트워크를 예로 들어 설명한다. 단, 실제로는, 본 발명은 오픈 플로우 네트워크에 한정되지 않는다.

(통신 제어 시스템의 구성)

도 6은 본 발명에 따른 통신 제어 시스템의 기본 구성을 도시한다. 본 발명에 따른 통신 제어 시스템은 단말기(2)(2-i, i=1∼T: T는 단말기 수), 제어 서버(3) 및 스위치 노드(4)를 포함한다.

제어 서버(3)는 오픈 플로우 네트워크에서의 컨트롤러에 상당한다. 스위치 노드(4)는 오픈 플로우 네트워크에서의 스위치에 상당한다. 단말기(2)(2-i, i=1∼T) 및 제어 서버(3)는 스위치 노드(4)와 접속되어 있다.

제어 서버(3)는 스위치 노드(4)에 대하여 네트워크로부터 입력되는 패킷의 최적인 경로에서의 전송 및 해당 제어 서버(3)와의 제휴를 위한 제어를 행하여, 네트워크 서비스를 향상시킨다. 제어 서버(3)는 종래의 네트워크 시스템과 마찬가지라는 점에 주목하여야 한다. 즉, 제어 서버(3)는 도 5에 도시한 바와 같다.

스위치 노드(4)는 멀티 루트 PCI 익스프레스(PCIe) 스위치(50), 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M: M은 임의의 수), CPU(70)(70-y, y=1∼N: N은 임의의 수), 및 메모리(80)(80-y, y=1∼N)를 구비한다.

멀티 루트 PCI 익스프레스(PCIe) 스위치(50)는 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M) 및 CPU(70)(70-y, y=1∼N)와 접속되어 있다.

멀티 루트 PCI 익스프레스(PCIe) 스위치(50)는 복수의 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)와 복수의 CPU(70)(70-y, y=1∼N) 간의 데이터 전송을 행하는 멀티 루트를 위한 PCI 익스프레스(PCIe) 스위치이다.

확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)는 단말기(2)(2-i, i=1∼T) 및 제어 서버(3)와 접속되어 있다.

여기에서는, 확장 네트워크 인터페이스(확장 NW I/F)(60-1)는 단말기(2-1)와 접속되어 있다. 확장 네트워크 인터페이스(확장 NW I/F)(60-2)는 단말기(2-2)와 접속되어 있다. 확장 네트워크 인터페이스(확장 NW I/F)(60-3)는 단말기(2-3)와 접속되어 있다. 확장 네트워크 인터페이스(확장 NW I/F)(60-4)는 제어 서버(3)와 접속되어 있다.

확장 네트워크 인터페이스(확장 NW I/F)(60-1∼60-3)는 단말기(2-1∼2-3)로부터 입력되는 패킷을 수신한다.

예를 들면, 단말기(2-1)로부터 LAN 인터페이스(1G MAC)에 패킷이 입력되면, 확장 네트워크 인터페이스(확장 NW I/F)(60-1)는 복수의 CPU(70)(70-y, y=1∼N) 중 어느 CPU에 패킷을 배분할지를 판단하고, 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)를 통하여 해당 CPU(70)(70-y, y=1∼N)에 패킷 전송을 행한다.

CPU(70)(70-y, y=1∼N)는 메모리(80)(80-y, y=1∼N)와 접속되어 있다. 또한, CPU(70)(70-y, y=1∼N) 및 전송 테이블(81)(81-y, y=1∼N)은 네트워크 스위치 포워딩 엔진(40)과 접속되어 있다.

CPU(70)(70-y, y=1∼N) 및 메모리(80)(80-y, y=1∼N)는 일 대 일로 대응하고 있다. 즉, CPU(70)(70-y, y=1∼N)와 메모리(80)(80-y, y=1∼N)는 동수로 존재한다. 단, 실제로는, 복수의 CPU(70)(70-y, y=1∼N)는 동일한 메모리(80)(80-y, y=1∼N)를 공유할 수 있다.

CPU(70)(70-y, y=1∼N)는 패킷 전송 처리를 행한다.

메모리(80)(80-y, y=1∼N)는 대용량의 메모리이며 전송 테이블(81)(81-z, z=1∼N)을 저장한다.

이렇게, 스위치 노드(4)에 있어서, 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)는 대용량의 메모리(80)(80-y, y=1∼N)를 갖는 복수의 CPU(70)(70-y, y=1∼N)와 복수의 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)를 접속함으로써, 복수의 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)의 스위치 포트를 구성한다.

또한, 복수의 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)로부터 복수의 CPU(70)(70-y, y=1∼N)에의 부하 분산 전송 처리를 가능하게 함으로써, 복수의 CPU(70)(70-y, y=1∼N)를 이용한 다중 처리를 통한 고속 패킷 처리를 실현하고, CPU의 대용량 메모리를 이용한 대용량의 플로우 테이블을 실현한다.

따라서, 스위치 노드(4)는 소프트웨어 베이스의 스위치 노드이면서, 대용량 플로우 테이블을 갖는 고속 스위치 노드를 실현할 수 있다.

<하드웨어의 예시>

본 발명에 따른 통신 제어 시스템을 실현하기 위한 구체적인 하드웨어의 예에 대해서 이하에 설명한다.

단말기(2)(2-i, i=1∼T) 및 제어 서버(3)의 예로서, PC(personal computer), 어플리언스(appliance), 얇은 클라이언트 단말기/서버, 워크스테이션, 메인프레임, 및 슈퍼 컴퓨터 등의 컴퓨터를 상정하고 있다. 또한, 단말기(2)(2-i, i=1∼T)의 다른 예로서, IP 전화기, 휴대 전화기, 스마트 폰, 스마트 북, 카 네비게이션 시스템), 휴대형 게임기, 가정용 게임기, 휴대형 음악 플레이어, 핸디 단말, 가젯 백(전자 기기), 쌍방향 텔레비전, 디지털 튜너, 디지털 레코더, 정보 가전(information home appliance), OA(Office Automation) 기기, 점두 단말기(storefront terminal) 및 고기능 복사기, 디지털 사이니지(digital signage)(전자 간판) 등도 예시된다. 단말기(2)(2-i, i=1∼T) 및 제어 서버(3)는 중계 기기 및 주변 기기일 수 있다는 점에 주목하여야 한다.

스위치 노드(4)의 예로서, 네트워크 스위치, 라우터(router), 프록시(proxy), 게이트웨이(gateway), 파이어월(firewall), 로드 평형 장치(load balancer)(부하 분산 장치), 대역 제어 시스템(packet shaper), 시큐리티 감시 제어 장치(SCADA: Supervisory Control And Data Acquisition), 게이트키퍼(gatekeeper), 기지국(base station), 액세스 포인트(AP), 통신 위성(CS), 복수의 통신 포트를 갖는 컴퓨터 등이 예시된다.

단말기(2)(2-i, i=1∼T), 제어 서버(3), 및 스위치 노드(4)는 컴퓨터 등에 탑재되는 확장 보드 및 물리 머신 위에 구축된 가상 머신(VM)일 수 있다. 또한, 단말기(2)(2-i, i=1∼T), 제어 서버(3), 및 스위치 노드(4)는 차량, 선박, 및 항공기 등의 이동체에 탑재될 수 있다.

확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)의 예로서, LAN에 대응한 인쇄 회로 기판(마더보드 및 I/O 보드) 등의 반도체 집적 회로, NIC(Network Interface Card) 등의 네트워크 어댑터, 유사한 확장 카드 등이 예시된다. 여기에서는, 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)는 하드웨어에서 고속으로 처리를 행하기 위해 네트워크 프로세서를 탑재하고 있는 것으로 한다.

CPU(70)(70-Y, Y=1∼N)는 프로세서(processor)의 일례에 불과하다. CPU(70)(70-Y, Y=1∼N)는 네트워크 프로세서(NP), 마이크로프로세서(microprocessor), 마이크로컨트롤러, 전용의 기능을 갖는 반도체 집적 회로(LSI: Large Scale Integration) 등일 수 있다.

메모리(80)(80-y, y=1∼N)의 예로서, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory)및 플래시 메모리 등의 반도체 메모리 장치, HDD(Hard Disk Drive) 및 SSD(Solid State Drive) 등의 보조 기억 장치, DVD(Digital Versatile Disk) 등의 탈착가능 디스크, SD 메모리 카드(Secure Digital memory card) 등의 기억 매체 등이 예시된다.

단, 실제로는, 본 발명은 이들 예에 한정되지 않는다.

(확장 네트워크 인터페이스의 구성(단말기 측))

도 7은 단말기(2-1∼2-3)와 접속되는 확장 네트워크 인터페이스(확장 NW I/F)(60-1∼60-3)의 구성을 도시한다.

확장 네트워크 인터페이스(확장 NW I/F)(60-1∼60-3) 각각은 멀티 루트 PCI익스프레스 엔드포인트(PCIe EP)(61), LAN 인터페이스(1G MAC)(62), CPU 배분 처리부(63) 및 PF 리소스(64)(64-y, y=1∼N)를 구비한다.

멀티 루트 PCI 익스프레스 엔드포인트(PCIe EP)(61)는 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)와 접속되어 있다.

LAN 인터페이스(1G MAC)(62)는 단말기(2-1∼2-3) 중 어느 하나와의 패킷의 입출력을 행한다. LAN 인터페이스(1G MAC)는 1Gbps의 데이터 전송에 대응한 LAN 인터페이스이다. "1G"는 일례에 불과하다는 점에 주목하여야 한다.

CPU 배분 처리부(63)는 복수의 CPU(70)(70-y, y=1∼N)에의 패킷의 배분 처리를 행한다.

PF 리소스(64)(64-y, y=1∼N)는 복수의 CPU(70)(70-y, y=1∼N)와의 DMA 전송을 통해 제어 메시지 및 패킷의 송수신을 고속으로 행한다. 여기에서는, PF 리소스(64)(64-y, y=1∼N)의 예로서, PF1 리소스(64-1), PF2 리소스(64-2) 및 PF3 리소스(64-3)를 도시한다.

(CPU 배분 처리부의 구성)

CPU 배분 처리부(63)는 패킷 배분 처리부(631), 패킷 송신 버퍼(632), 패킷 수신 버퍼(633) 및 패킷 송신 처리부(634)를 구비한다.

패킷 배분 처리부(631)는 각 패킷의 헤더 부분 및 헤더 부분 내의 데이터를 추출하고, 헤더 부분의 데이터 중 MAC 어드레스, VLAN 어드레스, IP 어드레스 등의 데이터를 이용하여 플로우 단위로 해시 처리를 행한다.

패킷 송신 버퍼(632)는 배분처의 CPU(70)(70-y, y=1∼N)에 패킷을 전송하기 위해서, 결정된 배분처의 CPU(70)(70-y, y=1∼N)에 패킷을 송신할 수 있는 PF 리소스(64)(64-y, y=1∼N) 중 어느 하나에 패킷을 송신한다.

패킷 수신 버퍼(633)는 CPU(70)(70-y, y=1∼N)로부터 송신된 패킷을 PF 리소스(64)(64-y, y=1∼N)를 통하여 수신하고 이것을 패킷 송신 처리부(634)에 송신한다.

패킷 송신 처리부(634)는 패킷 수신 버퍼(633)로부터 수신한 패킷을 단말기 (2)(2-i, i=1∼T)에 송신한다.

(PF 리소스의 구성)

PF 리소스(64)(64-y, y=1∼N) 각각은 DMA 컨트롤러(641), CPU 수신 패킷 큐(642) 및 CPU 송신 패킷 큐(643)를 구비한다.

DMA 컨트롤러(641)는 PF 리소스(64)(64-y, y=1∼N) 각각과 CPU(70)(70-y, y=1∼N) 중 하나 사이에서의 DMA 전송을 제어한다.

CPU 수신 패킷 큐(642)는 CPU(70)(70-y, y=1∼N)에 송신할 패킷을 유지한다.

CPU 송신 패킷 큐(643)는 CPU(70)(70-y, y=1∼N)로부터 송신된 패킷을 유지한다.

(CPU와의 패킷 전송 처리)

도 8은 단말기(2)(2-i, i=1∼T)로부터 패킷이 전송된 다음 CPU(70)(70-y, y=1∼N)로부터 패킷이 처리되어 전송될 경우의 동작을 설명하기 위한 플로우 차트를 도시한다.

(1) 단계 S101

단말기(2)(2-i, i=1∼T)로부터 확장 네트워크 인터페이스(확장 NW I/F)(60) (60-x, x=1∼M)에 패킷이 입력되면, LAN 인터페이스(1G MAC)(62)는 패킷을 수신하고, CPU 배분 처리부(63)의 패킷 배분 처리부(631)에 패킷을 전송한다.

(2) 단계 S102

패킷을 수신하면, 패킷 배분 처리부(631)는 각 패킷의 헤더 부분을 추출한다.

(3) 단계 S103

패킷 배분 처리부(631)는 패킷의 추출한 헤더 부분의 데이터 중 MAC 어드레스, VLAN 어드레스, IP 어드레스 등의 데이터를 이용하여 플로우 단위로 해시 처리를 행한다.

여기에서는, 패킷 배분 처리부(631)는 복수의 CPU(70)(70-y, y=1∼N) 중 어느 것에 플로우의 처리를 행하게 할지를 결정하기 위해서 해시 처리를 행한다.

(4) 단계 S104

패킷 배분 처리부(631)는 해시 처리의 결과에 기초하여 배분처로서 CPU(70)(70-y, y=1∼N)를 결정한다.

(5) 단계 S105

패킷 배분 처리부(631)는 배분처로서 CPU(70)에 패킷을 전송하기 위해서 패킷 송신 버퍼(632)에 패킷을 송신한다.

패킷 송신 버퍼(632)는 배분처로서 결정된 CPU(70)에 패킷을 전송하기 위해서 PF 리소스(64)의 CPU 수신 패킷 큐(642) 중 어느 하나에 패킷을 송신한다.

본 예에서는, 패킷 송신 버퍼(632)는 CPU(70-1)에 전송하기 위해서 PF1 리소스(64-1)에 패킷을 송신한다.

패킷 송신 버퍼(632)로부터 송신된 패킷이 PF1 리소스(64-1)의 CPU 수신 패킷 큐(642-1)에 저장되었을 경우, CPU(70-1)는 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)를 통하여 PF1 리소스(64-1)의 DMA 컨트롤러(641-1)를 제어한다. CPU(70-1)는 CPU(70-1)에 부하를 걸지 않고 고속으로 CPU 수신 패킷 큐(642-1)에 축적된 패킷을 수신한다.

여기에서는, CPU(70-1)는 PCI 익스프레스 루트 콤플렉스(PCIe RC)(71), 멀티 루트 PCI 익스프레스(PCIe) 스위치(50) 및 멀티 루트 PCI 익스프레스 엔드포인트(PCIe EP)(61)로 구성된 PCI 익스프레스(PCIe) 버스를 통하여 PF1 리소스(64-1)의 DMA 컨트롤러(641-1)를 제어한다.

(확장 네트워크 인터페이스의 구성(제어 서버 측))

도 9는 제어 서버(3)와 접속되는 확장 네트워크 인터페이스(확장 NW I/F)(60-4)의 구성을 도시한다.

확장 네트워크 인터페이스(확장 NW I/F)(60-4)는 멀티 루트 PCI 익스프레스 엔드포인트(PCIe EP)(61), LAN 인터페이스(1G MAC)(62), PF(page file) 리소스(64)(64-y, y=1∼N) 및 패킷 전송 처리부(65)를 구비한다.

확장 네트워크 인터페이스(확장 NW I/F)(60-1∼60-3) 각각은 CPU 배분 처리부(63)를 구비하지만, 확장 네트워크 인터페이스(확장 NW I/F)(60-4)는 이것을 대신해서 패킷 전송 처리부(65)를 구비한다. 실제로는, 확장 네트워크 인터페이스는 CPU 배분 처리부(63)의 기능과 패킷 전송 처리부(65)의 기능을 통합한 섹션을 포함할 수 있다.

LAN 인터페이스(1G MAC)(62)는 제어 서버(3)와의 패킷의 입출력을 행한다.

패킷 전송 처리부(65)는 복수의 CPU(70)(70-y, y=1∼N) 각각과 제어 서버(3) 사이에서의 패킷의 전송 처리를 행한다.

(패킷 전송 처리부의 구성)

패킷 전송 처리부(65)는 수신처 해석 처리부(651), 패킷 송신 버퍼(652), 패킷 수신 버퍼(653) 및 패킷 송신 처리부(654)를 구비한다.

수신처 해석 처리부(651)는 패킷의 헤더 부분을 추출하고, 헤더 부분의 데이터 중 수신처 MAC 어드레스를 확인하고, 스위치 노드(4) 내의 CPU(70)(70-y, y=1∼N)에 의해 사용되고 있는 MAC 어드레스인지 여부를 체크한다. 수신처 해석 처리부(651)는 체크 결과에 따라 패킷의 수신처를 변경한다.

패킷 송신 버퍼(652)는 배분처로서 CPU(70)(70-y, y=1∼N)에 패킷을 전송하기 위해서 결정된 배분처로서 CPU(70)(70-y, y=1∼N)에 패킷을 전송할 수 있는 PF 리소스(64)(64-y, y=1∼N) 중 어느 하나에 패킷을 송신한다.

패킷 수신 버퍼(653)는 CPU(70)(70-y, y=1∼N)로부터 송신된 패킷을 PF 리소스(64)(64-y, y=1∼N)를 통하여 수신하고 이들을 패킷 송신 처리부(654)에 송신한다.

패킷 송신 처리부(654)는 패킷 수신 버퍼(653)로부터 수신한 패킷을 단말기( 2)(2-i, i=1∼T)에 송신한다.

(수신처 해석 처리)

도 10은 수신처 해석 처리의 동작을 설명하기 위한 플로우 차트를 도시한다.

(1) 단계 S201

단말기(2)(2-i, i=1∼T)로부터 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)에 패킷이 입력되면, LAN 인터페이스(1G MAC)(62)는 패킷을 수신하고 패킷 배분 처리부(63)의 패킷 배분 처리부(631)에 패킷을 전송한다.

(2) 단계 S202

패킷을 수신하면, 수신처 해석 처리부(651)는 각 패킷의 헤더 부분을 추출하고 패킷의 수신처 MAC 어드레스를 체크한다.

(3) 단계 S203

수신처 해석 처리부(651)는 수신처 MAC 어드레스가 스위치 노드(4) 내의CPU(70)(70-y, y=1∼N) 중 어느 것에 의해 사용되고 있는 MAC 어드레스인지 여부를 체크한다.

(4) 단계 S204

수신처 해석 처리부(651)는 수신처 MAC 어드레스가 CPU(70)(70-y, y=1∼N)에 의해 사용되고 있는 MAC 어드레스일 경우, 외부에 패킷을 출력하지 않고 되돌려서 패킷 송신 버퍼(652)에 패킷을 출력한다.

(5) 단계 S205

수신처 해석 처리부(651)는 수신처 MAC 어드레스가 CPU(70)(70-y, y=1∼N) 중 어느 것에 의해 사용되고 있는 MAC 어드레스가 아닐 경우, 패킷 송신 처리부(654)에 패킷을 출력한다. 패킷 송신 처리부(654)는 LAN 인터페이스(1G MAC)(62-4)를 통해 제어 서버(3)에 패킷을 송신한다.

(확장 네트워크 인터페이스와 CPU 간의 관계)

확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)는 멀티 루트 대응이며(multi-route compatible), 단말기(2)(2-i, i=1∼T)으로부터 송신되는 패킷을 수신하면, 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)는 CPU(70)(70-y, y=1∼N) 각각에서의 소프트웨어 베이스 패킷 처리의 부하 분산 처리와 패킷 처리의 다중화를 통해 처리를 고속화한다.

확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)은 해시 함수 등을 이용하여 CPU(70)(70-y, y=1∼N) 각각에의 패킷의 배분 처리를 결정한다.

확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)는 DMA 컨트롤러(641)를 이용하여 CPU(70)(70-y, y=1∼N)의 부하를 최소화하기 위해 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)를 통하여 고속으로 패킷을 CPU(70)(70-y, y=1∼N) 각각에 분산하고 전송을 행한다.

CPU(70)(70-y, y=1∼N) 각각은 수신한 패킷을 각각 소프트웨어 처리를 통해 해석하고 각 CPU(70)(70-y, y=1∼N)에 부속되는 대용량의 메모리(80)(80-y, y=1∼N)에 저장된 전송 테이블(81)(81-z, z=1∼N)을 검색하여 거동의 수신처 출력 포트의 결정을 행한다.

전송 테이블(81)(81-z, z=1∼N)은 대량의 플로우의 수신처를 관리한다.

출력 포트 결정 후에, CPU(70)(70-y, y=1∼N) 각각은 출력 수신처로서 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)의 DMA 컨트롤러(641)를 제어하고, CPU 부하를 최소화하기 위해 고속으로 해당 패킷을 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)를 통하여 전송한다.

또한, 전송 테이블(81)(81-z, z=1∼N)의 검색의 결과로서 출력 포트가 결정되지 않은 경우에는, CPU(70)(70-y, y=1∼N) 각각은 제어 서버(3)에 확장 네트워크 인터페이스(확장 NW I/F)(60-4)를 통해 패킷을 전송하고, 출력 수신처의 문의를 행한다.

CPU(70)(70-y, y=1∼N) 각각은, 문의의 결과로서 수신처가 결정되면, 전송 테이블(81)(81-z, z=1∼N)에 해당 플로우의 수신처 데이터를 저장한다.

이 때, CPU(70)(70-y, y=1∼N) 각각은 메모리(80)(80-y, y=1∼N)에 의해 관리되는 전송 테이블(81)(81-z, z=1∼N)이 동일한 데이터를 갖도록 동기 처리를 행하여, 검색 처리의 부하 분산이 이루어질 수 있다.

따라서, 종래의 네트워크 시스템과 다르게 처리 능력에 한계가 있는 단일의 CPU로 소프트웨어 베이스의 스위치 처리를 행하지 않고, 전송 테이블(81)(81-z, z=1∼N) 용량이 한정되는 하드웨어 베이스의 스위치 처리를 행하지 않는다. 그러므로, 대용량의 전송 테이블(81)(81-z, z=1∼N)에 고속 스위치 처리가 가능한 소프트웨어 베이스의 스위치 노드(4)를 실현할 수 있다.

또한, 스위치 노드(4)는 일반의 컴퓨터에서도 이용되게 범용성이 높고 저렴하고 고성능인 CPU, 메모리, PCI 익스프레스(PCIe) 스위치, 및 네트워크 인터페이스로 구성할 수 있으므로, 코스트의 면에서 유리하고, 소프트웨어 베이스이기 때문에 변경의 자유도가 높다는 메리트가 있다.

(CPU의 구성)

도 11은 CPU(70)(70-y, y=1∼N)에 의해 실행되는 소프트웨어 구성을 도시한 도면이다.

CPU(70)(70-y, y=1∼N) 각각은 PCI 익스프레스 루트 콤플렉스(PCIe RC)(71), 네트워크 인터페이스 드라이버(72), 패킷 해석 처리부(73), 테이블 검색부(74), 패킷 버퍼 처리부(75), 서비스 내용 문의 처리부(76), 암호 처리부(77), 확장 네트워크 서비스 설정부(78) 및 멀티 CPU 전송 테이블 동기 처리부(79)를 구비한다.

PCI 익스프레스 루트 콤플렉스(PCIe RC)(71)는 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)와 접속되어 있다.

네트워크 인터페이스 드라이버(72), 패킷 해석 처리부(73), 테이블 검색부 (74), 패킷 버퍼 처리부(75), 서비스 내용 문의 처리부(76), 암호 처리부(77), 확장 네트워크 서비스 설정부(78) 및 멀티 CPU 전송 테이블 동기 처리부(79)는 각 CPU(70)(70-y, y=1∼N)가 소프트웨어를 실행함으로써 실현된다.

네트워크 인터페이스 드라이버(72)는 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)를 제어한다.

패킷 해석 처리부(73)는 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)로부터 입력되는 패킷의 해석 처리를 행한다.

테이블 검색부(74)는 패킷의 전송 처리 방법을 결정하기 위해 전송 테이블(81)(81-z, z=1∼N)을 검색한다.

스위치 처리 및 처리 미결정의 패킷에 관해서, 패킷 버퍼 처리부(75)는 제어 서버(3)에 패킷의 처리 내용을 문의하여야 하는지 결정할 때까지 패킷을 저장한다.

서비스 내용 문의 처리부(76)는 제어 서버(3)에 패킷의 처리 내용을 문의한다.

암호 처리부(77)는 제어 서버(3)와 암호 통신을 행한다.

확장 네트워크 서비스 설정부(78)는 제어 서버(3)로부터의 지시에 따라 전송 테이블(81)(81-z, z=1∼N)을 설정하고 확장 네트워크 서비스의 처리를 행한다.

멀티 CPU 전송 테이블 동기 처리부(79)는 제어 서버(3)로부터의 지시를 다른 CPU(70)(70-y, y=1∼N)에 전송하고 전송 테이블(81)(81-z, z=1∼N)의 동기 처리를 행한다.

(멀티 CPU 전송 테이블 동기 처리)

도 12는 멀티 CPU 전송 테이블 동기 처리의 동작을 설명하기 위한 플로우 차트를 도시한다.

(1) 단계 S301

서비스 내용 문의 처리부(76)는 제어 서버(3)에 서비스 처리 방법(처리 내용)을 문의한다. 여기에서는, 서비스 내용 문의 처리부(76)는 서비스 처리 방법의 문의에 관한 패킷을 암호 처리부(77)에 보낸다. 암호 처리부(77)는 서비스 처리 방법의 문의에 관한 패킷을 암호화해서 네트워크 인터페이스 드라이버(72)에 보낸다. 네트워크 인터페이스 드라이버(72)는 암호화된 패킷을 PCI 익스프레스 루트 콤플렉스(PCIe RC)(71)를 통하여 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)에 보낸다. 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)는 암호화된 패킷을 제어 서버(3)에 송신한다.

(2) 단계 S302

제어 서버(3)는 서비스 처리 방법을 결정한다. 여기에서는, 제어 서버(3)의 패킷 송수신 처리부(31)는 암호화된 패킷을 수신하여 암호 처리부(32)에 보낸다. 암호 처리부(32)는 암호화된 패킷을 복호하고 서비스 처리 방법의 문의에 관한 패킷을 확장 네트워크 서비스 처리부(33)에 보낸다. 확장 네트워크 서비스 처리부 (33)는 서비스 처리 방법의 문의에 관한 패킷에 기초하여 서비스 처리 방법을 결정한다.

(3) 단계 S303

제어 서버(3)는 결정된 서비스 처리 방법에 따라 전송 테이블(81)(81-z, z=1∼N)에의 엔트리 추가 처리를 행한다. 여기에서는, 제어 서버(3)는 상기의 단계 S301의 역의 흐름으로, 서비스 처리 방법에 기초한 엔트리 추가 요구를 서비스 내용 문의 처리부(76)에 송신한다. 서비스 내용 문의 처리부(76)는 엔트리 추가 요구를 확장 네트워크 서비스 설정부(78)에 통지한다.

(4) 단계 S304

확장 네트워크 서비스 설정부(78)는 엔트리 추가 요구에 따라 자신의 CPU 상의 전송 테이블(81)(81-z, z=1∼N)의 설정을 행한다. 여기에서는, 확장 네트워크 서비스 설정부(78)는 엔트리 추가 요구에 따라, 자신의 CPU에 부속되는 대용량의 메모리(80)(80-y, y=1∼N)에 저장된 전송 테이블(81)(81-z, z=1∼N)의 설정을 행한다.

(5) 단계 S305

확장 네트워크 서비스 설정부(78)는 멀티 CPU 전송 테이블 동기 처리부(79)에 자신의 CPU 상의 전송 테이블(81)(81-z, z=1∼N)의 내용을 통지한다. 멀티 CPU 전송 테이블 동기 처리부(79)는 자신의 CPU 상의 전송 테이블 설정에 기초하여 다른 CPU에의 전송 테이블의 기입을 의뢰한다. 여기에서는, 확장 네트워크 서비스 설정부(78)는 자신의 CPU 상의 전송 테이블(81)(81-z, z=1∼N)의 내용을 멀티 CPU 전송 테이블 동기 처리부(79)에 통지한다. 멀티 CPU 전송 테이블 동기 처리부(79)는 다른 CPU 상의 전송 테이블(81)(81-z, z=1∼N)을 자신의 CPU 상의 전송 테이블(81)(81-z, z=1∼N)과 동기시키기 위해서, 다른 CPU에 자신의 CPU 상의 전송 테이블(81)(81-z, z=1∼N)의 모든 엔트리를 통지하고, 다른 CPU 상의 전송 테이블(81)(81-z, z=1∼N)에의 기입을 의뢰한다.

(6) 단계 S306

멀티 CPU 전송 테이블 동기 처리부(79)는 다른 CPU로부터 기입 완료 응답을 받을 때까지 대기하고, 다른 CPU로부터 기입 완료 응답을 받으면, 처리를 종료한다.

(전송 테이블의 구성)

도 13은 전송 테이블(81)(81-z, z=1∼N)의 구성을 도시한다.

전송 테이블(81)(81-z, z=1∼N)은 대량의 플로우를 관리할 수 있다. 여기에서는, 전송 테이블(81)(81-z, z=1∼N)은 6,400,000건의 엔트리를 관리하고 있다.

또한, "MAC DA"는 수신처 MAC 어드레스를 나타내고, "MAC SA"는 송신원 MAC어드레스를 나타내고, "IP DA"는 수신처 IP 어드레스를 나타내고, "IP SA"는 송신원 IP 어드레스를 나타낸다는 점에 주목하여야 한다.

(CPU에서의 소프트웨어 패킷 처리)

CPU(70)(70-y, y=1∼N)에서의 소프트웨어 패킷 처리의 동작에 대해서 이하에 설명한다.

CPU(70)(70-y, y=1∼N)에서, 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)를 제어하는 네트워크 인터페이스 드라이버(72)는 PCI 익스프레스 루트 콤플렉스(PCIe RC)(71)를 통하여 DMA 컨트롤러(641)를 제어하고, CPU (70)(70-y, y=1∼N)와 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)사이에서 데이터의 송수신을 행한다.

네트워크 인터페이스 드라이버(72)는 PCI 익스프레스 루트 콤플렉스(PCIe RC)(71)을 통하여 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)로부터 패킷을 수신한 다음, 스위칭 동작을 행하기 위해 이것을 패킷 해석 처리부(73)에 전송한다.

패킷 해석 처리부(73)는 패킷의 헤더 데이터 등을 추출하고, 추출한 헤더 데이터를 해석하고, 헤더 데이터를 이용하여 검색 키를 작성하고, 이것을 테이블 검색부(74)에 전달한다.

테이블 검색부(74)는 패킷에 대한 처리 방법을 결정하기 위해 검색 키를 이용하여 대용량의 메모리(80)(80-y, y=1∼N)에 저장되어 있는 전송 테이블(81)(81-z, z=1∼N)을 검색한다.

전송 테이블(81)(81-z, z=1∼N)을 검색한 결과로서 어떤 히트 엔트리가 존재하는 경우에, 테이블 검색부(74)는 해당 엔트리의 액션에 기초하여 패킷의 수신처 출력 포트 및 헤더의 재기입 처리 등의 처리 방법을 결정한다.

그 후에, 테이블 검색부(74)는 패킷 버퍼 처리부(75)에 패킷을 전송한다.

그 후에, 처리 방법이 결정되었을 때, 패킷 버퍼 처리부(75)는 패킷의 처리를 행하고, 스위칭 동작에 대해 해당하는 수신처 출력 포트에 패킷을 출력하는 동작을 행한다. 패킷 버퍼 처리부(75)는 결정된 처리 방법에 따라 해당하는 수신처출력 포트에 패킷을 출력하기 위해서 네트워크 인터페이스 드라이버(72)에 패킷을 전송한다.

네트워크 인터페이스 드라이버(72)는 PCI 익스프레스 루트 콤플렉스(PCIe RC)(71)을 통하여 DMA 컨트롤러(641)를 제어하고, 수신처 출력 포트로서 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)의 CPU 송신 패킷 큐(643)에 패킷을 출력한다.

또한, 네트워크 인터페이스 드라이버(72)는 DMA 컨트롤러(641)를 제어하고, CPU 송신 패킷 큐(643)에 송신된 패킷을 패킷 수신 버퍼(633)에 저장한다.

패킷 송신 처리부(634)는 패킷 수신 버퍼(633)에 저장된 패킷을 읽어내어 LAN 인터페이스(1G MAC)(62)를 통하여 출력 수신처의 단말기(2)(2-i, i=1∼T)에 송신한다.

또한, 전송 테이블(81)(81-z, z=1∼N)을 검색한 결과로서 히트 엔트리가 존재하지 않을 경우, 테이블 검색부(74)는 제어 서버(3)에 패킷의 처리 방법을 문의하고 처리 방법을 결정한다.

그 때, 서비스 내용 문의 처리부(76)는 암호 처리부(77)를 이용하여 패킷 데이터를 암호화한 다음에 네트워크 인터페이스 드라이버(72)에 전송한다.

네트워크 인터페이스 드라이버(72)는 PCI 익스프레스 루트 콤플렉스(PCIe RC)(71)를 통하여 확장 네트워크 인터페이스(확장 NW I/F)(60-4)의 DMA 컨트롤러(641)를 제어하고, 암호화된 패킷 데이터를 확장 네트워크 인터페이스(확장 NW I/F)(60-4)의 CPU 송신 패킷 큐(643)에 송신한다.

네트워크 인터페이스 드라이버(72)는 DMA 컨트롤러(641)를 제어하고, CPU 송신 패킷 큐(643)에 송신된 패킷(암호화된 패킷 데이터)을 패킷 전송 처리부(65)의 패킷 수신 버퍼(653)에 송신한다.

그 후에, 네트워크 인터페이스 드라이버(72)는 DMA 컨트롤러(641)를 제어하고, 패킷 수신 버퍼(653)에 송신된 패킷(암호화된 패킷 데이터)을 수신처 해석 처리부(651)에 송신한다.

패킷(암호화된 패킷 데이터)을 수신하면, 수신처 해석 처리부(651)는 패킷의 수신처 MAC 어드레스를 확인하고 스위치 노드(4) 내의 CPU(70)(70-y, y=1∼N)에 의해 사용되고 있는 MAC 어드레스인지 여부를 체크한다.

CPU(70)(70-y, y=1∼N)에 의해 사용되고 있는 MAC 어드레스의 경우, 수신처 해석 처리부(651)는 외부에 패킷을 출력하지 않고 되돌려서 패킷 송신 버퍼(652)에 패킷(암호화된 패킷 데이터)을 출력한다.

제어 서버(3)가 수신하기로 되어 있는 패킷과 같이 사용된 MAC 어드레스와 다른 경우, 수신처 해석 처리부(651)는 패킷 송신 처리부(654)에 보내고, LAN 인터페이스(1G MAC)(62-4)를 통하여 제어 서버(3)에 패킷(암호화된 패킷 데이터)을 송신한다.

제어 서버(3)의 패킷 송수신 처리부(31)는 송신된 패킷(암호화된 패킷 데이터)을 수신한 다음에 그것을 암호 처리부(32)에 전송한다.

암호 처리부(32)는 암호화된 패킷 데이터를 복호하고, 패킷 데이터를 확장 네트워크 서비스 처리부(33)에 송신하고, 패킷에 대한 처리 방법을 결정한다.

처리 방법 결정 후에, 암호 처리부(32)는 처리 방법에 관한 데이터의 패킷을 암호화하고, 패킷 송수신 처리부(31)에 보낸다. 패킷 송수신 처리부(31)는 확장 네트워크 인터페이스(확장 NW I/F)(60-4)에 패킷을 송신하고 암호화된 패킷을 스위치 노드(4)에 응답한다.

스위치 노드(4)의 확장 네트워크 인터페이스(확장 NW I/F)(60-4)의 LAN 인터페이스(1G MAC)(62-4)는 응답 패킷을 수신하고 패킷 송신 버퍼(652)에 응답 패킷을 저장한다.

스위치 노드(4)의 CPU(70)(70-y, y=1∼N)의 네트워크 인터페이스 드라이버(72)는 DMA 컨트롤러(641)를 제어하고, 패킷 송신 버퍼(652)에 저장된 응답 패킷을 수신하고 암호 처리부(77)에 보낸다. 암호 처리부(77)는 응답 패킷을 복호하여 서비스 내용 문의 처리부(76)에 송신한다.

제어 서버(3)로부터의 응답 패킷에 기초하여 처리 방법이 결정되면, 서비스 내용 문의 처리부(76)는 확장 네트워크 서비스 설정부(78)에 처리 내용을 통지한다.

확장 네트워크 서비스 설정부(78)는 패킷 헤더 재기입 처리를 행하고, 지시된 패킷 출력 포트에 패킷을 송신하고 패킷의 스위칭 동작을 행한다.

또한, 확장 네트워크 서비스 설정부(78)는 다음 패킷으로부터 전송 테이블(81)(81-z, z=1∼N)에서의 처리 방법을 결정할 수 있도록 제어 서버(3)로부터 얻은 패킷 처리 방법을 자신의 CPU에 부속되는 메모리(80)의 전송 테이블(81)(81-z, z=1∼N)에 기입한다.

또한, 확장 네트워크 서비스 설정부(78)는 복수의 CPU(70)(70-y, y=1∼N)와 유사한 처리를 행할 수 있도록 멀티 CPU 전송 테이블 동기 처리부(79)에 동기 처리를 요구한다.

멀티 CPU 전송 테이블 동기 처리부(79)는 동기 처리의 요구에 따라 자신의 CPU(70)(70-y, y=1∼N)의 전송 테이블(81)(81-z, z=1∼N)의 데이터에 기초하여 다른 CPU(70)(70-y, y=1∼N)의 전송 테이블(81)(81-z, z=1∼N)의 데이터를 갱신하고 복수의 CPU 상의 전송 테이블(81)(81-z, z=1∼N)의 동기 처리를 행한다.

(본 실시예의 특징)

이상과 같이, 멀티 루트 PCI 익스프레스(PCIe) 스위치를 이용하여, 각 CPU에의 패킷의 배분 처리를 실현 가능하게 할 수 있다.

또한, 확장 네트워크 인터페이스(확장 NW I/F)를 이용하여 복수의 CPU를 이용한 소프트웨어 베이스의 고속 스위칭 동작 처리를 실현 가능하게 할 수 있다.

또한, 대용량의 메모리를 탑재하는 것이 가능하기 때문에, CPU는 대용량의 전송 테이블의 구축이 가능하고, 대량의 플로우를 관리할 수 있는 고속 소프트웨어 베이스의 스위치 노드 구성이 가능하게 된다.

본 발명에서는, "PCI-SIG"에서 규정되어 있는 복수의 CPU(70)(70-y, y=1∼N), 복수의 I/O (Input/Output) 장치, 및 이들과 접속할 수 있는 표준의 멀티 루트 대응의 PCI 익스프레스(PCIe) 스위치를 이용한다.

또한, 본 발명에서는, 네트워크 프로세서로 패킷에 대하여 해석을 행하고, CPU에 처리를 배분하는 것이 가능한 멀티 루트에 대응하는 확장 네트워크 인터페이스(확장 NW I/F) 카드를 이용한다.

또한, 본 발명에서는, 패킷 처리를 행하기 위한 범용적인 CPU 및 메모리를 이용한다.

본 발명에서는, CPU 간의 전송 테이블의 동기화와 복수의 CPU에 의한 패킷 처리를 행함으로써, 소프트웨어 베이스 시스템에 관계없이 고속 패킷 처리를 실현할 수 있다.

또한, 본 발명에서는, PCI 익스프레스(PCIe) 스위치에 의한 DMA 컨트롤러를 이용하여, 확장 네트워크 인터페이스(확장 NW I/F)와 CPU 간 및 복수의 CPU 간에서의 패킷의 고속 송수신을 행한다.

이에 따라, 대용량의 전송 테이블을 갖는 고속 소프트웨어 베이스의 스위치 노드의 구성이 가능하게 된다.

또한, 스위치 노드를 구성하는 하드웨어 부품은 표준 규격의 부품이기 때문에, 장치의 코스트가 삭감될 수 있고, CPU의 수를 늘림으로써 성능면에서 스케일러빌리티를 갖고, 소프트웨어 베이스 시스템을 구성하여 유연성이 높은 스위치 노드를 실현할 수 있다.

본 발명은 10,000,000 플로우 등 대량의 플로우의 관리를 필요로 하는 네트워크 장치, 고속이고 복잡한 패킷 처리를 필요로 하는 네트워크 장치, 및 다수의 서버를 이용한 고기능 네트워크 장치에 적용할 수 있다.

본 발명은 외부 제어 서버를 이용하지 않는 구성에서도 적용할 수가 있으므로, 고성능 스위치 노드를 실현할 수 있다.

[제1 실시예]

도 14에 제1 실시예에 따른 스위치 노드의 구성 예를 도시한다.

본 실시예에 따른 통신 제어 시스템은 단말기(2)(2-i, i=1∼T), 제어 서버(3) 및 스위치 노드(5)를 포함한다.

단말기(2)(2-i, i=1∼T) 및 제어 서버(3)에 대해서는 먼저 설명한 바와 같다.

스위치 노드(5)는 LAN 스위치(100), CPU 및 메모리(110)(110-y, y=1∼N), PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화I/F)(120)(120-y, y=1∼N), 싱글 루트 PCI 익스프레스 엔드포인트(PCIe EP) 및 확장 네트워크 인터페이스(확장 NW I/F)(130)(130-x, x=1∼(M+1)), 및 멀티 루트 PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(140)(140-x, x=1∼(M+1))를 포함한다.

LAN 스위치(100)는 이더넷 스위치(Ethernet(등록상표) 스위치)이며, PCI 익스프레스(PCIe) 스위치, 네트워크 가상화 인터페이스(NW 가상화 I/F)(120)(120-y, y=1∼N), 및 싱글 루트 PCI 익스프레스 엔드포인트(PCIe EP) 및 확장 네트워크 인터페이스(확장 NW I/F)(130)(130-x, x=1∼(M+1))를 접속한다.

CPU 및 메모리(110)(110-y, y=1∼N)는 CPU(70)(70-y, y=1∼N)와 메모리(80)(80-y, y=1∼N)를 조합한 것에 상당한다.

PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(120)(120-y, y=1∼N)는 PCI 익스프레스(PCIe) 스위치와 네트워크 가상화 인터페이스(NW 가상화 I/F)를 조합한 것에 상당한다. PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(120)(120-y, y=1∼N)는 LAN 스위치(100), CPU 및 메모리(110)(110-y, y=1∼N)를 접속한다.

싱글 루트 PCI 익스프레스 엔드포인트(PCIe EP) 및 확장 네트워크 인터페이스(확장 NW I/F)(130)(130-x, x=1∼(M+1))는 싱글 루트 PCI 익스프레스 엔드포인트(PCIe EP)와 확장 네트워크 인터페이스(확장 NW I/F)(60)(60-x, x=1∼M)를 조합한 것에 상당한다. 싱글 루트 PCI 익스프레스 엔드포인트(PCIe EP) 및 확장 네트워크 인터페이스(확장 NW I/F)(130)(130-x, x=1∼(M+1))는 단말기(2)(2-i, i=1∼T), 멀티 루트 PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(140)(140-x, x=1∼(M+1))를 접속한다.

멀티 루트 PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW가상화 I/F)(140)(140-x, x=1∼(M+1))는 멀티 루트 PCI 익스프레스(PCIe) 스위치(50)와 네트워크 가상화 인터페이스(NW 가상화 I/F)를 조합한 것에 상당한다. 멀티 루트 PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화I/F)(140)(140-x, x=1∼(M+1))는 LAN 스위치(100), 싱글 루트 PCI 익스프레스 엔드포인트(PCIe EP) 및 확장 네트워크 인터페이스(확장 NW I/F)(130)(130-x, x=1∼(M+1))를 접속한다.

본 발명에서는, CPU의 수를 늘림에 따라, 스위치 쓰루풋 처리 능력의 향상을 기대할 수 있다.

"PCI-SIG" 규정에 준거한 멀티 루트 대응의 PCI 익스프레스(PCIe) 스위치에 상당하는 것이라면, 마찬가지로 이용 가능하다. LAN 스위치를 이용함으로써 멀티 루트 대응의 스위치를 구성한다. 싱글 루트의 확장 네트워크 인터페이스(확장 NW I/F)를 가상화하여 복수의 CPU가 액세스 가능하다. 그러므로, 본 발명은 멀티 루트 구성과 동등한 시스템 구성에도 적용가능하다.

이 경우에, 스위치는 LAN 상에 구성되기 때문에, 매우 대규모인 가상 스위치를 구성한다. CPU와 메모리를 갖는 대량의 서버와 네트워크 인터페이스를 접속함으로써, 매우 대규모이고 고성능의 스위치 노드를 구성할 수 있다.

[제2 실시예]

또한, 도 15에 제2 실시예에 따른 스위치 노드의 구성 예를 도시한다.

도 15는 도 14의 CPU(70)(70-y, y=1∼N) 부분을 대량의 프로세서를 탑재한 GPU(Graphics Processing Unit)로 변경한 구성이다.

GPU를 이용하는 경우, 패킷 처리의 고속화를 기대할 수 있고 PCI 익스프레스(PCIe)에 접속할 수 있기 때문에, CPU 대신에 패킷 처리를 GPU에 의해 행하게 하는 것도 가능하다.

단, GPU는 I/O 장치이기 때문에, CPU 중 하나는 마스터 CPU로서 접속이 필요하다.

스위치 노드(5)는 LAN 스위치(100), CPU 및 메모리(110), PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(120)(120-y, y=1∼N), 싱글 루트 PCI 익스프레스 엔드포인트(PCIe EP) 및 확장 네트워크 인터페이스(확장 NW I/F)(130)(130-x, x=1∼(M+1)), 멀티 루트 PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(140)(140-x, x=1∼(M+1)), GPU 및 메모리(150)(150-y, y=1∼N), 및 익스프레스(PCI Express) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(120)(120-y, y=1∼N)를 포함한다.

LAN 스위치(100), CPU 및 메모리(110), PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(120)(120-y, y=1∼N), 싱글 루트 PCI 익스프레스 엔드포인트(PCIe EP) 및 확장 네트워크 인터페이스(확장 NW I/F)(130)(130-x, x=1∼(M+1)), 및 멀티 루트 PCI 익스프레스(PCIe) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(140)(140-x, x=1∼(M+1))에 대해서는 도 14에 나타내는 제1 실시예와 같다.

GPU 및 메모리(150)(150-y, y=1∼N)는 GPU와 메모리(150)(150-y, y=1∼N)를 조합한 것에 상당한다.

익스프레스(PCI Express) 스위치 및 네트워크 가상화 인터페이스(NW 가상화I/F)(120)(120-y, y=1∼N)는 익스프레스(PCI Express) 스위치와 네트워크 가상화 인터페이스(NW 가상화 I/F)를 조합한 것에 상당한다. 익스프레스(PCI Express) 스위치 및 네트워크 가상화 인터페이스(NW 가상화 I/F)(120)(120-y, y=1∼N)는 LAN 스위치(100), 및 GPU 및 메모리(150)(150-y, y=1∼N)를 접속한다.

<요약>

본 발명은 소프트웨어 베이스의 네트워크 스위치 노드에서, "PCI-SIG"에서 규정되어 있는 멀티 루트 PCI 익스프레스(PCIe) 스위치를 활용할 수 있고 대량의 전송 테이블을 관리할 수 있고, 고성능의 패킷 전송 처리를 실현할 수 있는 노드 에 관한 것이다.

본 발명은 소프트웨어 베이스의 스위치 노드에서 대용량의 플로우 테이블을 구성할 수 있고, 고속 패킷 스위치 처리를 행할 수 있고, 외부 제어 서버와 접속하고, 고기능의 서비스 프로토콜 처리를 PCI 익스프레스(PCIe)에서 규정되어 있는 멀티 루트 대응의 스위치 및 네트워크 인터페이스를 활용하여 실현할 수 있다.

본 발명에 따른 스위치 노드는 멀티 루트 PCI 익스프레스(PCIe) 스위치, 다수의 CPU 및 다수의 네트워크 인터페이스 카드를 이용하여 소프트웨어 베이스에서 구축된다.

본 발명에 따른 스위치 노드는 패킷의 처리 부하 분산을 행하기 위해 네트워크 인터페이스 내에서 CPU에의 처리 배분을 행하고, 멀티 루트 PCI 익스프레스(PCIe) 스위치를 이용하여 복수의 CPU에 처리의 부하 분산을 행한다.

본 발명에 따른 스위치 노드는 복수의 CPU 간에서 전송 테이블의 동기를 멀티 루트 PCI 익스프레스(PCIe) 스위치를 통하여 턴오버가능한 확장 인터페이스 카드를 이용하여 고속으로 동기 처리를 행한다.

<비고>

이상, 본 발명의 실시예를 상세히 설명하였다. 그러나, 실제로는, 본 발명은 상기의 실시예에 한정되는 것은 아니다. 본 발명의 요지를 벗어나지 않는 범위에서의 변경은 본 발명에 포함된다.

본 출원은 일본 출원 번호 2011-063441에 기초하는 우선권을 주장하는 점에주목하여야 한다. 일본 출원 번호 2011-063441에서의 개시 내용은 인용에 의해 본 출원에 통합된다.

Claims

패킷들을 일률적으로 제어하기 위한 룰과 액션을 정의하는 플로우 엔트리에 기초하여, 수신된 패킷들 각각의 처리를 행하도록 구성된 스위치 노드; 및
상기 스위치 노드의 플로우 테이블에 상기 플로우 엔트리를 설정하도록 구성된 제어 서버
를 포함하고,
상기 스위치 노드는,
대용량의 메모리들을 갖는 복수의 프로세서와 복수의 확장 네트워크 인터페이스를, 멀티 루트 대응의 PCI 익스프레스 스위치(multi-route compatible PCI express switch)에 의해 접속하여, 상기 복수의 확장 네트워크 인터페이스로 구성된 스위치 포트들을 구성하는 수단;
상기 복수의 확장 네트워크 인터페이스로부터 상기 복수의 프로세서로의 부하 분산 전송 처리를 행하고, 상기 복수의 프로세서를 이용함으로써 다중 처리를 통해 고속 패킷 처리를 행하는 수단;
상기 복수의 프로세서의 대용량의 메모리 공간을 이용하여, 소프트웨어 베이스의 스위치 노드에서 대용량의 플로우 테이블을 구성하는 수단;
상기 복수의 확장 네트워크 인터페이스 중 어느 하나에 의해 패킷들을 수신하는 수단; 및
상기 패킷들을 수신한 상기 복수의 확장 네트워크 인터페이스 중 하나의 확장 네트워크 인터페이스 내에서 해시 함수를 이용하여 상기 복수의 프로세서로의 배분 처리(distribution processing)를 결정하고, 상기 복수의 프로세서에서의 소프트웨어 패킷 처리의 부하 분산 처리와 패킷 처리의 다중 처리를 통해 고속 처리를 행하는 수단
을 포함하는 통신 제어 시스템.
제1항에 있어서, 상기 스위치 노드는,
상기 PCI 익스프레스 스위치를 통하여, 상기 확장 네트워크 인터페이스의 DMA 컨트롤러를 이용하여 상기 패킷들을 상기 복수의 프로세서에 분산시키는 수단
을 더 포함하고,
상기 복수의 프로세서 각각은,
수신된 패킷을 소프트웨어 처리로 해석하는 수단;
자신의 프로세서에 제공되는 대용량의 메모리를 이용하여 구성되며 대량의 플로우의 수신처를 관리하는 플로우 테이블에 대하여 테이블 검색을 행하여, 수신처 출력 포트를 결정하는 수단;
상기 수신처 출력 포트의 결정 후에, 출력 수신처가 되는 상기 복수의 확장 네트워크 인터페이스 중 하나의 확장 네트워크 인터페이스의 DMA 컨트롤러를 제어하고, 상기 PCI 익스프레스 스위치를 통하여 상기 패킷들을 전송하는 수단;
상기 플로우 테이블의 테이블 검색의 결과, 상기 수신처 출력 포트가 결정되지 않은 경우, 상기 스위치 노드의 확장 네트워크 인터페이스를 통하여 상기 패킷들을 상기 제어 서버에 전송하고, 출력 수신처의 문의를 발행하는 수단;
상기 문의의 결과, 상기 수신처 출력 포트가 결정되면, 상기 플로우 테이블에 대응하는 플로우의 수신처 데이터를 저장하는 수단; 및
상기 복수의 프로세서 사이에서 플로우 테이블들의 동기 처리를 행하여, 상기 복수의 프로세서에 의해 관리되는 플로우 테이블들이 동일한 데이터를 저장하여, 검색 처리의 부하 분산을 도모하는 수단
을 포함하는 통신 제어 시스템.
패킷들을 수신하도록 구성된 복수의 확장 네트워크 인터페이스;
대용량의 메모리들을 갖는 복수의 프로세서;
상기 복수의 프로세서와 상기 복수의 확장 네트워크 인터페이스를 접속하도록 구성된 멀티 루트 대응의 PCI 익스프레스 스위치;
상기 복수의 확장 네트워크 인터페이스 중 어느 하나에 의해 패킷들을 수신하는 수단; 및
상기 패킷들을 수신한 상기 복수의 확장 네트워크 인터페이스 중 하나의 확장 네트워크 인터페이스 내에서 해시 함수를 이용하여 상기 복수의 프로세서로의 배분 처리를 결정하고, 상기 복수의 프로세서에서의 소프트웨어 패킷 처리의 부하 분산 처리와 패킷 처리의 다중 처리를 통해 고속 처리를 행하는 수단
을 포함하고,
상기 복수의 확장 네트워크 인터페이스 각각은,
패킷들의 입출력을 행하도록 구성된 LAN 인터페이스;
상기 복수의 프로세서로의 패킷의 전송 처리, 상기 복수의 프로세서 사이에서의 패킷의 전송 처리, 및 제어 서버로의 패킷의 전송 처리 중 적어도 하나의 전송 처리를 행하도록 구성된 패킷 전송 처리부(packet transferring section);
DMA 전송으로 상기 복수의 프로세서와 패킷들의 송수신을 고속으로 행하도록 구성된 복수의 PF 리소스; 및
상기 PCI 익스프레스 스위치와 접속되는 PCI 익스프레스 엔드포인트
를 포함하는 스위치 노드.
제3항에 있어서,
상기 복수의 프로세서 각각은,
PCI 익스프레스 루트 콤플렉스(PCI express root complex)를 통하여 상기 PCI 익스프레스 스위치와 접속되어, 상기 복수의 확장 네트워크 인터페이스 중 하나의 확장 네트워크 인터페이스를 제어하는 네트워크 인터페이스 드라이버;
상기 확장 네트워크 인터페이스로부터 제공되는 패킷들의 해석 처리를 행하도록 구성된 패킷 해석 처리부(packet analyzing section);
상기 패킷들의 해석 결과에 기초하여, 상기 패킷들의 전송 처리를 결정하기 위한 플로우 테이블을 검색하도록 구성된 테이블 검색부;
스위치 처리 및 처리 미결정의 패킷에 관해서 상기 제어 서버에 문의하고, 처리 방법이 결정될 때까지 패킷을 저장하도록 구성된 패킷 버퍼 처리부(packet buffering section);
상기 제어 서버에 패킷 처리 내용을 문의하도록 구성된 서비스 내용 문의 처리부(service inquiring section);
상기 제어 서버와 암호 통신을 행하도록 구성된 암호 처리부(encrypting section);
상기 제어 서버로부터의 지시에 응답하여 상기 플로우 테이블을 설정하고, 확장 네트워크 서비스의 처리를 행하도록 구성된 확장 네트워크 서비스 설정부; 및
상기 제어 서버로부터의 지시를 다른 프로세서들에 전달하고, 상기 복수의 프로세서 사이에서의 플로우 테이블들의 동기 처리를 행하도록 구성된 멀티프로세서 전송 테이블 동기 처리부(multiprocessor transfer table synchronizing section)
를 포함하는 스위치 노드.
제3항에 있어서,
상기 패킷 전송 처리부는,
패킷들을 수신하면, 패킷들 각각의 수신처 MAC 어드레스가 상기 스위치 노드 내의 프로세서들 중 임의의 프로세서에 의해 사용되고 있는 MAC 어드레스인지 여부를 체크하는 수단;
상기 수신처 MAC 어드레스가 상기 스위치 노드 내의 프로세서들 중 임의의 프로세서에 의해 사용되고 있는 MAC 어드레스인 경우, 외부에 패킷을 출력하지 않고 되돌려서 상기 PF 리소스에 패킷을 송신하는 수단; 및
상기 수신처 MAC 어드레스가 상기 프로세서들에 의해 사용되고 있는 MAC 어드레스가 아닌 경우, 상기 LAN 인터페이스를 경유하여 상기 제어 서버에 패킷들을 송신하고, 상기 제어 서버에 패킷 처리 내용을 문의하고, 상기 제어 서버로부터의 응답 패킷을 상기 PF 리소스에 송신하는 수단
을 더 포함하는 스위치 노드.
제어 서버로부터 자신의 플로우 테이블에 설정되며 패킷들을 플로우로서 일률적으로 제어하기 위한 룰과 액션을 정의하는 플로우 엔트리에 기초하여, 수신 패킷의 처리를 행하는 스위치 노드에서의 통신 제어 방법으로서,
대용량의 메모리들을 갖는 복수의 프로세서와 복수의 확장 네트워크 인터페이스를, 멀티 루트 대응의 PCI 익스프레스 스위치에 의해 접속하여, 상기 복수의 확장 네트워크 인터페이스로 구성된 스위치 포트들을 구성하는 단계;
상기 복수의 확장 네트워크 인터페이스로부터 상기 복수의 프로세서로의 부하 분산 전송 처리를 행하고, 상기 복수의 프로세서를 이용함으로써 다중 처리를 통해 고속 패킷 처리를 행하는 단계;
상기 복수의 프로세서의 대용량의 메모리 공간을 이용하여, 소프트웨어 베이스의 스위치 노드에서 대용량의 플로우 테이블을 구성하는 단계;
상기 복수의 확장 네트워크 인터페이스 중 어느 하나에 의해 패킷을 수신하는 단계; 및
상기 패킷을 수신한 상기 확장 네트워크 인터페이스 내에서 해시 함수를 이용하여 상기 복수의 프로세서로의 배분 처리를 결정하고, 상기 프로세서들에서의 소프트웨어 패킷 처리의 부하 분산 처리와 패킷 처리의 다중 처리를 통해 처리를 고속화하는 단계
를 포함하는 통신 제어 방법.
제6항에 있어서,
상기 PCI 익스프레스 스위치를 통하여, 상기 확장 네트워크 인터페이스의 DMA 컨트롤러를 이용하여 상기 패킷들을 상기 복수의 프로세서에 분산시키는 단계;
상기 복수의 프로세서 각각에서,
수신된 패킷을 소프트웨어 처리로 해석하는 단계;
상기 프로세서에 제공되는 대용량의 메모리를 이용하여 구성되며 대량의 플로우의 수신처를 관리하는 플로우 테이블에 대하여 테이블 검색을 행하여, 수신처 출력 포트를 결정하는 단계;
상기 수신처 출력 포트의 결정 후에, 출력 수신처로서 상기 확장 네트워크 인터페이스의 DMA 컨트롤러를 제어하여, 상기 PCI 익스프레스 스위치를 통하여 상기 패킷들을 전송하는 단계;
상기 플로우 테이블의 테이블 검색의 결과, 상기 수신처 출력 포트가 결정되지 않은 경우, 상기 스위치 노드의 확장 네트워크 인터페이스를 통하여 상기 패킷들을 상기 제어 서버에 전송하여, 출력 수신처를 문의하는 단계;
상기 문의의 결과, 상기 수신처 출력 포트가 결정되면, 상기 플로우 테이블에 플로우의 수신처 데이터를 저장하는 단계; 및
상기 복수의 프로세서 사이에서의 플로우 테이블의 동기 처리를 행하고, 상기 복수의 프로세서에 의해 관리되는 플로우 테이블에 동일한 데이터를 저장하여, 검색 처리의 부하 분산을 도모하는 단계
를 더 포함하는 통신 제어 방법.
패킷들을 수신하는 복수의 확장 네트워크 인터페이스와 대용량의 메모리들을 갖는 복수의 프로세서가 멀티 루트 대응의 PCI 익스프레스 스위치를 통하여 접속되고, 제어 서버로부터 자신의 플로우 테이블에 설정되며 패킷들을 플로우로서 일률적으로 제어하기 위한 룰과 액션을 정의하는 플로우 엔트리에 기초하여, 수신 패킷의 처리를 행하는 스위치 노드에 의해 실행되는 프로그램을 저장한 기록 매체로서,
상기 프로그램은,
상기 복수의 확장 네트워크 인터페이스 중 어느 하나에 의해 패킷을 수신하는 단계;
상기 복수의 확장 네트워크 인터페이스 중 임의의 확장 네트워크 인터페이스가 단말기로부터 패킷들을 수신하면, 패킷들 중 하나의 패킷의 헤더 부분을 추출하는 단계;
상기 추출된 헤더 부분의 데이터 중, MAC 어드레스, VLAN 어드레스 및 IP 어드레스 중 적어도 하나를 이용하여, 플로우 단위로 해시 처리를 행하는 단계;
상기 해시 처리를 통해 상기 프로세서들 중 하나의 프로세서를 배분처로서 결정하는 단계;
상기 배분처의 프로세서에 대응하는 PF 리소스의 패킷 큐에 패킷들을 송신하는 단계;
상기 배분처의 프로세서의 제어에 기초하여 상기 배분처의 프로세서로의 패킷들의 DMA 전송을 행하는 단계; 및
상기 프로세서들에서의 소프트웨어 패킷 처리의 부하 분산 처리와 패킷 처리의 다중 처리를 통해 처리를 고속화하는 단계
를 포함하는 기록 매체.
제8항에 있어서,
상기 프로그램은,
패킷들을 수신하면, 패킷들 각각의 수신처 MAC 어드레스가 상기 스위치 노드 내의 프로세서들에 의해 사용되고 있는 MAC 어드레스 중 어느 것과 동일한지 여부를 체크하는 단계;
상기 수신처 MAC 어드레스가 상기 스위치 노드 내의 프로세서들 중 임의의 프로세서에 의해 사용되고 있는 MAC 어드레스인 경우, 외부에 패킷을 출력하지 않고 되돌려서 상기 PF 리소스에 패킷을 송신하는 단계; 및
상기 수신처 MAC 어드레스가 상기 스위치 노드 내의 프로세서들에 의해 사용되고 있는 MAC 어드레스가 아닌 경우, 상기 제어 서버에 패킷들을 송신하고, 상기 제어 서버에 패킷의 처리 내용을 문의하여, 상기 제어 서버로부터의 응답 패킷을 상기 PF 리소스에 송신하는 단계
를 포함하는 기록 매체.
제9항에 있어서,
상기 프로그램은,
상기 제어 서버에 의해 결정된 서비스 처리 방법에 기초하는 엔트리 추가 요구에 응답하여, 자신의 CPU에 제공되는 대용량의 메모리에 저장된 플로우 테이블을 설정하는 단계; 및
상기 플로우 테이블의 설정에 기초하여 다른 CPU에 플로우 테이블을 기입하고, 상기 복수의 프로세서 사이에서의 플로우 테이블들의 동기 처리를 행하는 단계
를 포함하는 기록 매체.