KR102023177B1 - 분산형 소프트웨어 정의 네트워크 패킷 코어 시스템에서 로드 밸런싱을 위한 시스템들 및 방법들 - Google Patents

분산형 소프트웨어 정의 네트워크 패킷 코어 시스템에서 로드 밸런싱을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR102023177B1
KR102023177B1 KR1020187005477A KR20187005477A KR102023177B1 KR 102023177 B1 KR102023177 B1 KR 102023177B1 KR 1020187005477 A KR1020187005477 A KR 1020187005477A KR 20187005477 A KR20187005477 A KR 20187005477A KR 102023177 B1 KR102023177 B1 KR 102023177B1
Authority
KR
South Korea
Prior art keywords
sdn
local
core system
load
packet core
Prior art date
Application number
KR1020187005477A
Other languages
English (en)
Other versions
KR20180023058A (ko
Inventor
복 크눈 란돌프 청
하싼 시프라
안쿠르 자인
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180023058A publication Critical patent/KR20180023058A/ko
Application granted granted Critical
Publication of KR102023177B1 publication Critical patent/KR102023177B1/ko

Links

Images

Classifications

    • H04L67/1002—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0894—Policy-based network configuration management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0895—Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/42—Centralised routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/44—Distributed routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/64—Routing or path finding of packets in data switching networks using an overlay routing layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/50—Address allocation
    • H04L61/5007—Internet protocol [IP] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0247—Traffic management, e.g. flow control or congestion control based on conditions of the access network or the infrastructure network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/0005—Control or signalling for completing the hand-off
    • H04W36/0011—Control or signalling for completing the hand-off for data sessions of end-to-end connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/08—Reselecting an access point
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/34—Modification of an existing route
    • H04W40/36—Modification of an existing route due to handover
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/20—Control channels or signalling for resource management
    • H04W72/27—Control channels or signalling for resource management between access points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00—Indexing scheme associated with group H04L61/00
    • H04L2101/60—Types of network addresses
    • H04L2101/618—Details of network addresses
    • H04L2101/622—Layer-2 addresses, e.g. medium access control [MAC] addresses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/14—Reselecting a network or an air interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/14—Reselecting a network or an air interface
    • H04W36/144—Reselecting a network or an air interface over a different radio air interface technology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/34—Reselection control
    • H04W36/36—Reselection control by user or terminal equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08—Access point devices
    • H04W88/10—Access point devices adapted for operation in multiple networks, e.g. multi-mode access points

Abstract

분산형 SDN(software defined network) 패킷 코어 시스템에서 로드를 밸런싱하기 위한 시스템들 및 방법들은, 분산형 SDN 패킷 코어 시스템의 로컬 SDN 인프라구조 인스턴스 내의 무상태 로드 밸런서가 로컬 SDN 인프라구조 인스턴스의 복수의 SDN 네트워크 기능 모듈들 중 적어도 하나에 의한 프로세싱을 위한 데이터 패킷을 수신하는 것을 포함한다. 무상태 로드 밸런서는 데이터 패킷을 로컬 SDN 인프라구조 인스턴스 내의 복수의 컴퓨팅 디바이스들 중에서 제1 컴퓨팅 디바이스 상에 상주하는 상태 기반 로드 밸런서로 지향시킬 수 있다. 상태 기반 로드 밸런서는 데이터 패킷에 적용될 상태 기반 데이터 패킷 프로세싱 작업을 결정하고, 결정된 상태 기반 데이터 패킷 프로세싱 작업을 데이터 패킷에 적용하기 위한, 로컬 SDN 인프라구조 인스턴스 내의 제2 컴퓨팅 디바이스를 결정할 수 있다. 이어서, 상태 기반 로드 밸런서는 데이터 패킷을 제2 컴퓨팅 디바이스로 포워딩할 수 있다.

Description

분산형 소프트웨어 정의 네트워크 패킷 코어 시스템에서 로드 밸런싱을 위한 시스템들 및 방법들
[0001] 본 출원은 2015년 9월 23일에 출원되고 명칭이 "DISTRIBUTED SOFTWARE DEFINED WIRELESS PACKET CORE SYSTEM"인 미국 가출원 제62/222,406 호; 2015년 10월 16일에 출원되고 명칭이 "SYSTEMS AND METHODS FOR MOBILITY MANAGEMENT IN A DISTRIBUTED SOFTWARE DEFINED NETWORK PACKET CORE SYSTEM"인 미국 가출원 제62/242,668 호; 및 2015년 10월 16일에 출원되고 명칭이 "SYSTEMS AND METHODS FOR LOAD BALANCING IN A DISTRIBUTED SOFTWARE DEFINED NETWORK PACKET CORE SYSTEM"인 미국 가출원 제62/242,677 호를 우선권으로 주장하고, 상기 출원들의 내용들은 인용에 의해 본원에 통합된다.
[0002] 본 개시내용은 일반적으로 무선 통신 네트워크 분야에 관한 것이다.
[0003] 더 많은 사용자들이 인터넷에 액세스하거나 다른 사용자들과 통신하기 위해 모바일 네트워크들로 전환하고 있다(또는 모바일 네트워크들을 더 자주 사용하고 있다). 많은 모바일 디바이스들에는 다양한 라디오 액세스 기술들과 연관된 통신 능력들이 장착되기 때문에, 사용자들은, 예컨대, 이용 가능성, 비용, 네트워크 성능 또는 이들의 조합에 기반하여 별개의 라디오 액세스 네트워크들 간에 스위칭하기 위한 유연성을 갖는다.
[0004] 본 개시내용의 적어도 하나의 양상에 따라, 분산형 SDN(software defined network) 패킷 코어 시스템은, 각각의 로컬 SDN 인프라구조 인스턴스가 지리적으로 근접하게 배열된 컴퓨팅 디바이스들의 클러스터를 포함하고, 개개의 복수의 라디오 액세스 포인트들에 통신 가능하게 커플링되도록, 복수의 상호연결된 로컬 SDN 인프라구조 인스턴스들(infrastructure instances)을 포함할 수 있다. 각각의 로컬 SDN 인프라구조 인스턴스는 컴퓨팅 디바이스들 중 하나 또는 그 초과에 의해 실행 가능한 네트워크 기능들의 인스턴스들을 나타내는 복수의 SDN 네트워크 기능 모듈들; 무상태 로드 밸런서(stateless load balancer) 및 복수의 상태 기반 로드 밸런싱 모듈들(stateful load balancing modules)을 포함할 수 있다. 무상태 로드 밸런서는 네트워크 기능들 중 적어도 하나에 의한 프로세싱을 위한 데이터 패킷들을 수신하고, 데이터 패킷들을 로컬 SDN 인프라구조 인스턴스 내의 컴퓨팅 디바이스들 중 하나로 지향시키도록 구성될 수 있다. 각각의 상태 기반 로드 밸런싱 모듈은 개개의 컴퓨팅 디바이스에 상주할 수 있고, (1) 개개의 컴퓨팅 디바이스에서 수신되는 데이터 패킷에 적용될 상태 기반 데이터 패킷 프로세싱 작업을 결정하고, (2) 결정된 상태 기반 데이터 패킷 프로세싱 작업을 데이터 패킷에 적용하기 위한, 로컬 SDN 인프라구조 인스턴스 내의 컴퓨팅 디바이스를 결정하고, (3) 데이터 패킷을 결정된 컴퓨팅 디바이스로 포워딩하도록 구성될 수 있다. 각각의 로컬 SDN 인프라구조 인스턴스는 또한, 그 로컬 SDN 인프라구조 인스턴스 내의 컴퓨팅 디바이스들 및 복수의 SDN 네트워크 기능 모듈들의 로드 상태 및 동작 상태를 표시하는 정보를 관리하도록 구성된 로드 관리기를 포함할 수 있다.
[0005] 본 개시내용의 적어도 하나의 양상에 따라, 분산형 SDN(software defined network) 패킷 코어 시스템에서 로드를 밸런싱하는 방법은, 분산형 SDN 패킷 코어 시스템의 로컬 SDN 인프라구조 인스턴스 내의 무상태 로드 밸런서에 의해, 복수의 SDN 네트워크 기능 모듈들 중 적어도 하나에 의한 프로세싱을 위한 데이터 패킷을 수신하는 단계를 포함한다. 복수의 네트워크 기능 모듈들은 로컬 SDN 인프라구조 인스턴스의 복수의 컴퓨팅 디바이스들 상에서 실행 가능하다. 방법은 또한, 무상태 로드 밸런서가 데이터 패킷을 로컬 SDN 인프라구조 인스턴스 내의 복수의 컴퓨팅 디바이스들 중에서 제1 컴퓨팅 디바이스 상에 상주하는 상태 기반 로드 밸런서로 지향시키는 단계를 포함한다. 방법은 또한, 상태 기반 로드 밸런서가 데이터 패킷에 적용될 상태 기반 데이터 패킷 프로세싱 작업을 결정하는 단계, 결정된 상태 기반 데이터 패킷 프로세싱 작업을 데이터 패킷에 적용하기 위한, 로컬 SDN 인프라구조 인스턴스 내의 제2 컴퓨팅 디바이스를 결정하는 단계, 및 데이터 패킷을 제2 컴퓨팅 디바이스로 포워딩하는 단계를 포함한다.
[0006] 도 1은 분산형 SDN(software defined network) 패킷 코어 시스템을 사용하는 통신 환경의 개관을 예시하는 블록도를 도시한다.
[0007] 도 2는 분산형 SDN 패킷 코어 시스템과 연관된 SDN 엘리먼트들을 예시하는 블록도이다.
[0008] 도 3은 도 2에 도시된 분산형 SDN 패킷 코어 시스템에서 프로세싱 로드를 밸런싱하기 위한 로드 밸런싱 시스템을 예시하는 블록도이다.
[0009] 모바일 사용자들의 수들을 증가시키고 모바일 데이터 트래픽의 볼륨들을 증가시키는 것은 모바일 네트워크 운영자들에 의한 네트워크 인프라구조의 연속적이고 비용이 드는 투자들을 필요로 한다. 모바일 사용자들은 다양한 무선 액세스 네트워크들을 통해 콘텐츠 제공자 데이터에 더 빈번하게 액세스하고 있다. 모바일 디바이스들에는, 상이한 RAT들(radio access technologies), 이를테면, 3 세대(3G) 모바일 전기통신 기술, LTE(long-term evolution) 모바일 전기통신 기술, WiFi, 독점적인 고도가 높은 플랫폼들 또는 다른 라디오 액세스 기술들과 연관된 상이한 라디오 액세스 네트워크들에 액세스하기 위한 능력들이 장착될 수 있다.
[0010] 인터넷에 액세스할 때, 모바일 사용자는 개개의 사용자 컨텍스트에 의존하여 상이한 연결 모드들 간에 스위칭할 수 있다. 예컨대, 모바일 사용자는 집에서는 WiFi를 통해, 야외에서는 셀룰러 액세스 네트워크들을 통해, 소매점들, 공항들 또는 다른 공개 장소들에서는 게스트 WiFi 서비스들을 통해 인터넷에 액세스할 수 있다. 사용자들은 보통 별개의 액세스 네트워크들, 상이한 빌링 어레인지먼트들 및 상이한 보안 보증들 또는 정책들에 대해 자신들을 인증하기 위한 상이한 방식들을 갖는다. 또한, 별개의 액세스 네트워크들 간의 로밍은 연결 중단을 발생시킨다. 이러한 인자들은 단편화된 사용자 경험으로 이어진다. 모바일 사용자들은, 다양한 RAT들 간의 무결절 이동성(seamless mobility)을 갖는 이종 라디오 액세스 솔루션들의 조합을 제공하는 통합된 서비스를 인식할 것이다.
[0011] 사용자 경험을 개선하기 위한 방식들 중 하나는, 단일 서비스 도메인으로의 이종 라디오 액세스 네트워크들의 응집(cohesion)을 가능하게 하는 계층적 시스템 아키텍처를 제공하는 것이다. 그러한 시스템 아키텍처를 설계하는데 있어서, (예컨대, 새로운 RAT들에 대해 또는 네트워크 능력의 증가에 대해) 시스템 확장성(scalability), 시스템 복잡성, 인프라구조 비용, 인트라-RAT 이동성 및 인터-RAT 이동성을 포함하는 상이한 인자들이 고려되어야 한다. 그러한 인터워킹 솔루션들을 구현하는 것은 복잡할 수 있고, 또한 새로운 RAT들에 대해 시스템 아키텍처의 확장성을 저해할 수 있다. 분산형 및 계층적 패킷 코어 시스템 아키텍처는 이러한 인자들에 관련하여 (기존의 패킷 코어 시스템들에 비해) 개선을 허용할 수 있다. 특히, 계층적 패킷 코어 시스템은, 특성상 글로벌이고 (예컨대, 다른 네트워크 기능들과 비교하여) 상대적으로 레이턴시에 덜 민감한 네트워크 기능들이 클라우드-기반 SDN(software defined network) 기능들로서 구현되고, 특성상 로컬이고 레이턴시에 민감한 네트워크 기능들이 자신들의 서빙되는 액세스 네트워크들(또는 개개의 라디오 액세스 포인트들)에 매우 근접한 지역적 파드들(pods)(또는 컴퓨팅 도메인들) 내에서 구현되도록, 배열될 수 있다. 지역적 파드는 네트워크 기능 블록들이 구현되는 컴퓨팅 디바이스들의 클러스터를 포함할 수 있고, 개개의 지리적 영역을 서빙하도록 구성될 수 있다. 각각의 지역적 파드는 증가된 능력 및 병렬 프로세싱을 허용하기 위해 하나 또는 그 초과의 네트워크 기능 블록들의 다수의 인스턴스들을 포함할 수 있다.
[0012] 그러한 분산형 및 계층적 전개에서, 해결될 문제들 중 하나는, 다양한 지역적 파드들, 개개의 컴퓨팅 디바이스들 및/또는 개개의 네트워크 기능 블록들 간에 제어 평면 및 데이터 평면 트래픽을 라우팅하는 방법이다. 제어 평면 트래픽은, 예컨대, 라디오 액세스 포인트와 패킷 코어 시스템 간의 사용자 세션의 설정을 시그널링하는데 사용되는 메시지들 및 패킷 코어 시스템을 통해 데이터-평면 트래픽을 지향시키기 위한 라우팅 정보를 포함한다. 데이터 평면 트래픽은, 사용자 디바이스들과 인터넷(또는 다른 사용자 디바이스) 간에 교환되고 패킷 코어 시스템을 통해 터널링되는 데이터 패킷들을 포함한다. 제어 평면 및 데이터 평면 트래픽을 라우팅하는 것은 다양한 지역적 파드들, 개개의 컴퓨팅 디바이스들 및/또는 개개의 네트워크 계산 블록들의 프로세싱 로드들을 밸런싱하는 것을 포함한다. 본 개시내용에서, 계층적 로드 밸런싱 시스템들 및 로드 밸런싱 방법들은 분산형 SDN(software defined network) 패킷 코어 시스템에서 프로세싱 로드를 밸런싱하도록 구성된다.
[0013] 도 1은 분산형 SDN(software defined network) 패킷 코어 시스템을 사용하는 통신 환경(10)의 개관을 예시하는 블록도를 도시한다. 통신 환경(10)은 자신들에 근접한 모바일 디바이스들(20)을 서빙하는 복수의 라디오 액세스 포인트들(AP들)(30), 복수의 로컬 SDN 인프라구조 인스턴스들(110)(또한 본원에서 지역적 파드들(110)로 지칭됨), 중앙 SDN 인프라구조 인스턴스(120), 하나 또는 그 초과의 대도시권 네트워크들(12), 제1 트랜짓 네트워크(15), 하나 또는 그 초과의 제2 트랜짓 네트워크들(18) 및 하나 또는 그 초과의 데이터 센터들(90)을 포함할 수 있다. 각각의 로컬 SDN 인프라구조 인스턴스(110)는 SDN 인프라구조 인스턴스(110)에 근접한 모바일 디바이스들(20)을 서빙하기 위한 네트워크 기능들을 실행하도록 구성된 복수의 컴퓨터 디바이스들(115)을 포함할 수 있다.
[0014] 모바일 디바이스들(20)은, 제한없이, 모바일 폰, 스마트 폰, 태블릿, 랩톱, 스마트 워치, 통신 능력들을 갖는 웨어러블 아이템, 오디오 재생 디바이스(이를테면, MP3 플레이어), 비디오 재생 디바이스, 게이밍 디바이스, GPS(global positioning system) 디바이스, 자동차 컴퓨터, 또는 통신 능력들을 갖는 임의의 다른 클라이언트 디바이스를 포함한다. 모바일 디바이스(20)는 개개의 액세스 포인트들(30)에서 무선 링크들을 통해 모바일 액세스 네트워크에 부착될 수 있다. 일부 구현들에서, 모바일 디바이스(20)는 분산형 SDN 패킷 코어 시스템을 통해 콘텐츠 제공자 네트워크와 연관된 콘텐츠를 요청하고 이에 액세스하도록 구성될 수 있다. 예컨대, 모바일 디바이스(20) 상에서 실행되는 애플리케이션(이를테면, 브라우저, 미디어 플레이어, 게임 애플리케이션/플랫폼, 이메일 애플리케이션, 엔터프라이즈 애플리케이션, 소셜 미디어 애플리케이션, 클라우드 애플리케이션 등)은 모바일 디바이스(20)의 스크린 상의 디스플레이를 위해 데이터 센터(90)로부터 이용 가능한 콘텐츠를 요청할 수 있다.
[0015] 라디오 액세스 포인트들(AP들)(30)은 무선 링크들을 통해 모바일 디바이스들(20)과 통신하도록 구성될 수 있다. AP들(30)은 적어도 하나의 라디오 액세스 기술(RAT), 이를테면, 3G, LTE, LTE-A, WiFi 또는 다른 RAT들과 연관된 별개의 라디오 액세스 네트워크들(이를테면, Wi-Fi 핫스팟 네트워크, UMTS(universal mobile telecommunications system) 네트워크, LTE(long-term evolution) 네트워크 또는 임의의 다른 모바일 통신 네트워크)의 부분일 수 있다. 예컨대, AP들(30)은 노드 B, eNode B(evolved Node B), WiFi 핫스팟 액세스 포인트 또는 다른 타입들의 라디오 액세스 포인트들을 포함할 수 있다. AP들(30)은 하나 또는 그 초과의 주들(states), 국가 또는 다수의 국가들을 규정하는 큰 지리적 영역에 걸쳐 분산될 수 있다. 각각의 AP(30)는 개개의 지리적 이웃 내의 모바일 디바이스들(20)을 서빙하도록 구성될 수 있다. 각각의 AP(30)는 에어 인터페이스를 통해 자신의 이웃 내의 모바일 디바이스들(20)과 직접적으로 통신하도록 구성될 수 있고, 메트로 ISP 네트워크(12)를 통해 개개의 로컬 SDN 인프라구조 인스턴스(110)에 커플링될 수 있다. 모바일 디바이스(20)가 하나의 지리적 위치에서 다른 지리적 위치로 이동할 때, 개개의 무선 연결은 별개의 AP들(30)에 대한 모바일 디바이스(20)의 근접도에 기반하여 하나의 AP(30)로부터 다른 AP로 송신(또는 핸드 오버)될 수 있다.
[0016] 복수의 로컬 SDN 인프라구조 인스턴스들(110)은 라디오 액세스 네트워크들 또는 그의 AP들(30)에 매우 근접하게 전개되고 이들을 서빙하는 분산형 컴퓨팅 또는 네트워크 프로세싱 자원 풀들의 세트를 나타낸다. 예컨대, 각각의 SDN 인프라구조 인스턴스(110)는 개개의 대도시권과 연관될 수 있고, 그 대도시권 내의 모바일 디바이스들(20)을 서빙하는 AP들(30)에 커플링될 수 있다. 각각의 로컬 SDN 인프라구조 인스턴스(110)는 개개의 복수의(이를테면, 한 다스(dozen), 몇몇의 다스 또는 다른 수의) 컴퓨터 디바이스들(115), 이를테면, 그 로컬 SDN 인프라구조 인스턴스(110)에 의해 커플링(또는 서빙)되는 AP들(30)과 연관된 데이터 트래픽을 서빙하기 위해 SDN 엘리먼트들로서 구현되는 네트워크 동작들 또는 기능들을 수행하도록 구성된 컴퓨터 서버들 또는 서버들의 랙들(racks)을 포함할 수 있다. 일부 구현들에서, 개개의 로컬 SDN 인프라구조 인스턴스(110)와 연관된 컴퓨터 디바이스들(115)은 레이턴시에 민감한 네트워크 기능들을 수행하도록 구성될 수 있다. 예컨대, 제어-평면 시그널링, 데이터 평면 앵커링 및 이동성 동작들은 개개의 컴퓨터 디바이스들(115)에 의해 실행 가능한(또는 컴퓨터 디바이스들 상에서 실행되는) SDN 엘리먼트들로서 구현될 수 있다.
[0017] 일부 구현들에서, 각각의 로컬 SDN 인프라구조 인스턴스(110)는 개개의 컴퓨터 디바이스들(115) 또는 이들 상에서 실행되는 SDN 엘리먼트들 간의 로드(load)를 밸런싱하도록 구성된 로드 밸런싱 엔티티들을 포함할 수 있다. 일부 구현들에서, 각각의 로컬 SDN 인프라구조 인스턴스(110)는 하나 또는 그 초과의 콘텐츠 제공자들과 연관된 인터넷 데이터, 클라우드 데이터, 인트라넷 데이터 또는 이들의 조합을 로컬적으로 캐싱(cache)하도록 구성될 수 있다. 예컨대, 각각의 로컬 SDN 인프라구조 인스턴스(110)는 하나 또는 그 초과의 캐싱 서버들을 포함할 수 있다. 로컬 SDN 인프라구조 인스턴스(110)는, 요청된 인터넷 데이터가 로컬적으로 캐싱될 때마다, 로컬 캐시들로부터 모바일 디바이스들(20)로부터의 요청들에 대한 응답으로 인터넷 데이터를 서빙하도록 구성될 수 있다. 인터넷 데이터는 웹페이지들, 온라인 서비스들(이를테면, 이메일, 소셜 미디어 등)과 연관된 데이터, 게임들과 연관된 데이터, 비디오 스트리밍 데이터(이를테면, 넷플렉스 또는 유튜브) 등을 포함할 수 있다. 일부 구현들에서, 로컬 SDN 인프라구조 인스턴스들(110)은 인터넷 데이터, 인트라넷 데이터, 클라우드 데이터 또는 이들의 조합을 로컬적으로 캐싱(그리고 서빙)하도록 구성될 수 있다.
[0018] 중앙 SDN 인프라구조 인스턴스(120)는, 하나 또는 그 초과의 컴퓨터 디바이스들 상에서 실행되고, 레이턴시에 민감하지 않은(또는 적어도 덜 민감한) 네트워크 기능들 또는 다수의 로컬 SDN 인프라구조 인스턴스들(110)을 수반하는 네트워크 기능들을 수행하도록 구성된 SDN 엘리먼트들을 갖는 이러한 컴퓨터 디바이스들을 포함할 수 있다. 중앙 SDN 인프라구조 인스턴스(120)에서 실행되는 SDN 엘리먼트들은, 예컨대, 가입 정책 모듈, 로컬 SDN 인프라구조 인스턴스들(110) 간의 이동성(또는 로밍)을 관리하기 위한 글로벌 모듈 또는 이들의 조합을 포함할 수 있다. 가입 정책 모듈은 AAA(authorization, authentication and accounting) 서버, SPR(subscription profile repository), 정책 및 과금(charging) 제어 모듈 또는 가입 정책들을 관리하기 위한 다른 모듈을 포함할 수 있다. 분산형 SDN 패킷 코어 시스템으로의 모바일 디바이스(20)의 부착 동안에, 로컬 SDN 인프라구조 인스턴스(110)는 중앙 SDN 인프라구조 인스턴스(120)와 연관된 가입 및 정책 모듈로부터 모바일 디바이스(20)(또는 그의 사용자)의 인증 또는 인가를 요청할 수 있다. 중앙 SDN 인프라구조 인스턴스(120)는 또한 복수의 로컬 SDN 인프라구조 인스턴스들(110) 간의 로드를 밸런싱하기 위한 글로벌 로드 밸런싱 모듈을 포함할 수 있다. 중앙 SDN 인프라구조 인스턴스(120)는 클라우드, 이를테면, 호스트 데이터 센터(91)에 배열될 수 있다.
[0019] 각각의 로컬 SDN 인프라구조 인스턴스(110)는 개개의 대도시권 네트워크(12)를 통해 자신에 근접한 AP들(30)에 커플링될 수 있다. 대도시권 네트워크들(12)은 로컬 SDN 인프라구조 인스턴스(110)마다 상이할 수 있다. 일부 구현들에서, 로컬 SDN 인프라구조 인스턴스는 하나 또는 그 초과의 대도시권 네트워크들(12)을 통해 개개의 AP들(30)에 커플링될 수 있다. 주어진 로컬 SDN 인프라구조 인스턴스(110)에 대해, 개개의 대도시권 네트워크(들)(12)는 로컬 SDN 인프라구조 인스턴스(110)와 연관된 대도시권을 서빙하는 하나 또는 그 초과의 통신 네트워크들일 수 있다. 일부 구현들에서, 대도시권 네트워크들(12) 중 하나 또는 그 초과는 개개의 제3 자 네트워크 제공자들에 의해 소유되거나 관리될 수 있고, 분산형 SDN 패킷 코어 네트워크의 부분이 아닐 수 있다. 일부 구현들에서, 하나의 대도시권 네트워크(12)는 다수의 로컬 SDN 인프라구조 인스턴스들(110)을 서빙할 수 있다. 일부 구현들에서, 각각의 AP(30)는 지리적으로 가장 가까운 로컬 SDN 인프라구조 인스턴스(110)에 커플링될 수 있다(그리고 그에 의해 서빙됨). 일부 구현들에서, AP들(30)과 로컬 SDN 인프라구조 인스턴스(110) 내의 엔티티들(이를테면, 컴퓨터 디바이스들(115) 또는 그 상에서 실행되는 SDN 엘리먼트(들)) 간의 커플링은 대도시권 네트워크(들)(12)에 걸쳐 개개의 송신 터널들(35)을 통해 달성될 수 있다. 예컨대, 송신 터널들(35), 이를테면, EoIP(Ethernet-over-IP) 터널들은, IP 연결성을 로컬 SDN 인프라구조 인스턴스들(110)에 제공하는 대도시권 네트워크들(12)을 통해 사용될 수 있다. 일부 구현들에서, 송신 터널들(35)은 이더넷-오버-IP 터널, GUE(generic UDP(user datagram protocol) encapsulation) 터널, GRE(generic route encapsulation) 터널, 802.11 오버 GUE 터널, GTP(GPRS tunneling protocol) 터널, IPSec(IP(Internet Protocol) security) 터널, 다른 타입의 터널 또는 이들의 조합을 포함할 수 있다.
[0020] 일부 구현들에서, 복수의 로컬 SDN 인프라구조 인스턴스들(110)은 제1 트랜짓 네트워크(15)를 통해 상호-연결될 수 있다. 제1 트랜짓 네트워크(15)는, 예컨대, 로컬 SDN 인프라구조 인스턴스들(110) 간의 이동성(또는 로밍) 및 시그널링을 핸들링하기 위해, 별개의 로컬 SDN 인프라구조 인스턴스들(110) 간의 통신을 허용한다. 일부 구현들에서, 제1 트랜짓 네트워크(15)는 로컬 SDN 인프라구조 인스턴스들(110)을 중앙 SDN 인프라구조 인스턴스(120)에 커플링하도록 구성될 수 있다. 제1 트랜짓 네트워크(15)는 광섬유 데이터 네트워크, ISP(Internet service provider) 네트워크 또는 다른 통신 네트워크를 포함할 수 있다. 제1 트랜짓 네트워크(15) 및 복수의 로컬 SDN 인프라구조 인스턴스들(110)은 단일 엔티티 또는 별개의 엔티티들에 의해 관리(또는 소유)될 수 있다. 일부 구현들에서, 제1 트랜짓 네트워크(15)는 로컬 SDN 인프라구조 인스턴스들(110)로부터 별개로 소유 또는 관리될 수 있다. 즉, 제1 트랜짓 네트워크(15)는 분산형 SDN 패킷 코어 시스템의 부분이 아니라, 오히려 로컬 SDN 인프라구조 인스턴스들(110)을 서로 통신 가능하게 커플링하는데 사용되는 외부 네트워크일 수 있다.
[0021] 통신 환경(10)은 복수의 데이터 센터들(90)을 포함할 수 있다. 각각의 데이터 센터(90)는 콘텐츠 제공자 데이터, 웹 페이지들, 클라우드 데이터 또는 이들의 조합을 저장하고 이들에 대한 액세스를 제공하기 위한 컴퓨팅 디바이스들을 포함할 수 있다. 예컨대, 데이터 센터들(90)은 로컬 SDN 인프라구조 인스턴스들(110)로부터 데이터 요청들을 수신하고, 이에 응답하여, 요청된 데이터를 제공하도록 구성될 수 있다. 데이터 센터들(90)은 웹 페이지들 및 개개의 콘텐츠, 비디오 스트리밍 애플리케이션들, 이를테면, 유튜브 또는 넷플렉스, 소셜 미디어 애플리케이션들 및 콘텐츠, 게이밍 애플리케이션들, 엔터프라이즈 애플리케이션들 또는 임의의 다른 클라우드 애플리케이션들 또는 서비스들을 호스팅하도록 구성될 수 있다. 일부 구현들에서, 중앙 SDN 인프라구조 인스턴스(들)(120)는 호스트 데이터 센터(91) 내에서 구현될 수 있다.
[0022] 각각의 로컬 SDN 인프라구조 인스턴스(110)는 하나 또는 그 초과의 제2 트랜짓 네트워크들(18)을 통해 데이터 센터들(90)에 통신 가능하게 커플링될 수 있다. 제2 트랜짓 네트워크(들)(18)는 제1 트랜짓 네트워크(15)를 통해 로컬 SDN 인프라구조 인스턴스들(110)에 커플링될 수 있다. 일부 구현들에서, 제2 트랜짓 네트워크(들)(18)는 로컬 SDN 인프라구조 인스턴스들(110)에 직접적으로 커플링될 수 있다. 일부 구현들에서, 제2 트랜짓 네트워크(들)(18)는 중앙 SDN 인프라구조 인스턴스(120)를 로컬 인프라구조 인스턴스들(110)에 커플링하도록 구성될 수 있다. 일부 구현들에서, 제2 트랜짓 네트워크(들)(18)는 선택적일 수 있다. 그러한 구현들에서, 데이터 센터들(90)은 제1 트랜짓 네트워크(15)에 직접적으로 커플링될 수 있다. 일부 구현들에서, 제1 및 제2 트랜짓 네트워크들(15 및 18)은 단일 통신 네트워크의 부분일 수 있다.
[0023] 일부 구현들에서, 분산형 SDN 패킷 코어 시스템은 로컬 SDN 인프라구조 인스턴스들(110) 및 중앙 SDN 인프라구조 인스턴스(120)의 조합으로서 보여질 수 있다. 일부 구현들에서, 분산형 SDN 패킷 코어 시스템은 또한 제1 트랜짓 네트워크(15)를 포함할 수 있다. 일부 구현들에서, 분산형 SDN 패킷 코어 시스템은 또한 제2 트랜짓 네트워크(들)(18)를 포함할 수 있다. 분산형 SDN 패킷 코어 시스템(도 1에 관련하여 설명됨)의 아키텍처는 데이터 트래픽이, 예컨대, 로컬 SDN 인프라구조 인스턴스들(110)에서 라우팅되고 로컬적으로 발생하도록 허용한다. 로컬 SDN 인프라구조 인스턴스들(110)을 AP들(30)에 매우 근접하게 배열하고, 그 안에서 데이터 트래픽을 프로세싱하는 것은 고속 데이터 패킷 프로세싱 및 이에 따른 개선된 성능 및 감소된 네트워크 자원 소비를 허용한다.
[0024] 분산형 SDN 패킷 코어 시스템은 큰 지리적 영역(이를테면, 하나 또는 그 초과의 주들 또는 하나 또는 그 초과의 국가들)에 걸쳐 널리 분산되고, 큰 지리적 영역에 걸쳐 분산된 매우 많은 수의 모바일 디바이스들(20)의 이동성을 추적 및 관리하도록 구성될 수 있다. 이동성 추적 및 관리는 분산형 SDN 패킷 코어 시스템 내에서 구현되는 SDN-기반 이동성 기능들에 의해 수행될 수 있다. 이동성 기능들의 소프트웨어 구현은 그러한 기능들의 확장성 및 최적화를 허용한다. 그러나, 이동성 기능들과 연관된 레이턴시 및 확장성은 사용되는 개개의 소프트웨어 구현에 의존할 수 있다. 예컨대, 클라우드(이를테면, 데이터 센터(들)(90 또는 91)) 내의 별개의 RAT들에 대한 별개의 이동성 기능들(이를테면, LTE에 대해 MME(mobility management entity))을 구현하기 위해 NFV(Network Function Virtualization)를 사용할 때, 주어진 RAT에 대한 확장성은 보통 그 RAT와 연관된 모든 이동성 기능들을 복제함으로써 달성된다. 대량의 유지되는 상태들과 연관된 매우 복잡한 기능들을 복제하는 것은, 특히 증가되는 이동성 프로세싱 자원들이 로컬 SDN 인프라구조 인스턴스들의 서브세트 내에서 요구되는 경우에, 비효율적인 전력 사용 및 계산 자원들로 이어질 수 있다. 또한, 이동성 기능들을 복제하는 것은 개개의 상태들의 동기화를 필요로 하고, 따라서 패킷 코어 시스템의 복잡성을 더 증가시킨다. 또한, 클라우드에서 이동성 기능들을 구현하는 것은 높은 이동성 프로세싱 레이턴시를 발생시킬 수 있다. 특히, 로컬 SDN 인프라구조 인스턴스들(110)이 (사용자들 또는 개개의 모바일 디바이스들(20)의 큰 회중들(congregations)과 연관된) 인구 밀집 지역들(population centers)에 근접하게 배열될 수 있지만, 데이터 센터들(이를테면, 데이터 센터들(90 및 91))은 원격 지리적 위치들에 위치되는 경향이 있다. 따라서, 이동성 기능들이 클라우드에서 구현되는 경우에, 각각의 이동성 이벤트의 프로세싱은 데이터 센터(91)와 하나 또는 그 초과의 로컬 SDN 인프라구조 인스턴스들(110) 간의 긴 통신 링크들을 통한 시그널링을 수반한다.
[0025] 본 개시내용에서, 계층적 LB 모델(load balancing model)은 통신 환경(10)의 상이한 엔티티들 간에 제어 평면(C-평면) 및 데이터 평면(D-평면) 트래픽을 라우팅하고, SDN 인프라구조 인스턴스들(110)과 개개의 컴퓨터 디바이스들(115) 간에 또는 컴퓨터 디바이스들(115) 상에서 실행되는 SDN 엘리먼트들과 분산형 SDN 패킷 코어 시스템 내의 SDN 간의 로드 밸런싱을 위해 사용된다. 계층적 LB 모델은 다양한 SDN 인프라구조 인스턴스들(110) 간에 거친 입자(coarse grained) LB를 적용하고, 각각의 SDN 인프라구조 인스턴스(110) 내에서, 그 SDN 인프라구조 인스턴스(110) 내의 컴퓨터 디바이스들(115)과 SDN 엘리먼트들 간에 미세 입자(fine grained) 로드 밸런싱을 적용하도록 구성될 수 있다. LB 모델은 또한, 전체 SDN 인프라구조 인스턴스(110)가 고장나거나 관리 면에서(administratively) 서비스 중단될 때, 복원력(resiliency)을 허용할 수 있다.
[0026] 도 2는 분산형 SDN 패킷 코어 시스템(200)과 연관된 SDN 엘리먼트들을 예시하는 블록도이다. 분산형 SDN 패킷 코어 시스템(200)은 클라우드-기반 중앙 SDN 인프라구조 인스턴스(220) 및 복수의 로컬 SDN 인프라구조 인스턴스들(210)(또한 지역적 파드들(210)로 지칭됨)을 포함한다. 클라우드-기반 중앙 SDN 인프라구조 인스턴스(220)는 가입자 데이터베이스(가입자 DB)(222), 글로벌 SDN 이동성 제어기(228), 글로벌 로드 밸런싱 모듈(226) 및 정책 데이터베이스(정책 DB)(224)를 포함한다. 각각의 지역적 파드(210)는 복수의 WFE(WiFi front-end) 모듈들(212a), 복수의 LTE 프론트-엔드 모듈들(212b), AAA(authentication, authorization and accounting) 프록시 모듈(215), 정책 모듈(216), FW/NAT(firewall/network address translation) 모듈(217), 합법적인 인터셉터(lawful interceptor) 모듈(213), 복수의 D-평면 애플리케이션 인스턴스들(218), 이동성 관리기(214) 및 파드 LB 관리기(219)를 포함한다. 각각의 WFE 모듈(212)은 하나 또는 그 초과의 WiFi AP들(230a)에 통신 가능하게 커플링되고, 이들을 서빙한다. 각각의 LFE 모듈(212)은 하나 또는 그 초과의 eNodeB들(230b)에 통신 가능하게 커플링되고, 이들을 서빙한다.
[0027] 분산형 패킷 코어 시스템(200)의 상이한 기능들은 상이한 분산 전략들을 필요로 하는 특징들을 갖는다. 특정 네트워크 기능들 또는 모듈들, 이를테면, 가입자 데이터베이스(222), 정책 데이터베이스(224), 글로벌 LB 모듈(226) 및 글로벌 SDN 이동성 제어기(228)는 특성상 글로벌이고, 대형 중앙 집중형 데이터 센터에 적합한 낮은 비용 컴퓨팅 및 저장을 이용할 수 있다. 결과적으로, 그러한 기능들(또는 모듈들)은 클라우드-기반 중앙 SDN 인프라구조 인스턴스(220)에 상주하도록 배열된다. 그러나, 패킷 프로세싱 기능들은 레이턴시에 민감하고, 가능한 RAT-특정 AP들(230)에 가깝게 전개되는 것으로부터 이익을 얻을 수 있다. 또한, 로컬 이동성 이벤트들(즉, 단일 지역적 파드(210) 내에서 발생하는 이동성 이벤트들)은, 클라우드-기반 이동성 기능들을 통하기보다는 지역적 파드들(210)에 상주하는 로컬 이동성 기능들을 통해 더 효율적으로 핸들링될 수 있다. 로컬 이동성 기능들을 사용함으로써, 지역적 파드들(210)은, 사용자 이동성 이벤트들 중 대부분(이를테면, 85%, 90%, 95% 또는 다른 퍼센티지)이 로컬 이동성 이벤트들로서 핸들링되도록 배열될 수 있다. 예컨대, 각각의 지역적 파드(210)는 개개의 대도시권을 서빙하도록 배열될 수 있고, 그 대도시권에 상주하는 사용자들과 연관된 모바일 디바이스들(20)은 그 대도시권을 서빙하는 지역적 파드(210)에 부착될 수 있고, 개개의 홈-파드로서 그 지역적 파드(210)와 연관될 수 있다. 분산형 SDN 패킷 코어 시스템(200)에서, 레이턴시 민감 네트워크 기능들 및 로컬 특성의 네트워크 기능들은 클라우드보다는 지역적 파드들(210) 내에 상주하도록 배열된다.
[0028] 가입자 데이터베이스(222)는 분산형 패킷 코어 시스템(200)의 가입자 사용자들에 관련된 정보, 이를테면, 사용자 식별들, 디바이스 식별들, 사용자/디바이스 인가 정보, 사용자/디바이스 인증 정보, 사용자/디바이스 과금 정보 또는 이들의 조합을 유지할 수 있다. 정책 데이터베이스(224)는 각각의 가입자 사용자 또는 개개의 디바이스와 연관된 통신들(또는 세션들)에 적용될 정책들을 표시하는 정보를 유지할 수 있다. 가입자 데이터베이스(222) 및 정책 데이터베이스(224) 둘 모두는 다양한 지역적 파드들(210)로부터 질의들을 수신하고 이들에 응답하도록 구성될 수 있다.
[0029] 글로벌 LB 모듈(226)은 제어 평면 또는 데이터 평면 프로세싱에 대한 요청들을 지역적 파드들(210)로 라우팅하도록 구성된다. 글로벌 LB 모듈(226)은 또한 지역적 파드들(210) 간의 프로세싱/계산적 로드를 밸런싱하도록 구성된다. 글로벌 SDN 이동성 제어기(228)는 인터-파드 이동성 이벤트들(즉, 모바일 디바이스(20)가 별개의 지역적 파드들(210)과 연관된 2 개의 AP들(230) 간에 로밍하는 이벤트들)을 추적하고, 그러한 이동성 이벤트들을 다양한 지역적 파드들에 통지하도록 구성된다.
[0030] 각각의 지역적 파드(210)는 복수의 WiFi AP들(230a) 및 eNodeB들(230b)(일반적으로 본원에서 RAT-특정 AP들(230)로 지칭됨)을 서빙하도록 구성된다. 일반적으로, 각각의 지역적 파드(210)는 적어도 하나의 RAT와 연관된 개개의 복수의 RAT-특정 AP들(230)을 서빙하도록 구성될 수 있다. RAT-특정 AP들(230)은 WiFi AP들(또는 WiFi 핫스팟 AP들)(230a), LTE와 연관된 eNodeB(evolved nodes B)(230b), 3G 네트워크들과 연관된 NodeB(Nodes B), 다른 라디오 액세스 포인트들 또는 이들의 조합을 포함할 수 있다. 즉, 도 2가 Wi-Fi AP들(230a) 및 eNodeB들(230b)을 도시하지만, 일반적으로 분산형 SDN 패킷 코어 시스템(200)은 AP들(230)의 임의의 조합들을 서빙할 수 있다. 또한, 도 2가 WFE 모듈들(212a) 및 LFE 모듈들(212b)을 포함하는 지역적 파드들(210)을 도시하지만, 일반적으로, 각각의 지역적 파드(210)는 적어도 하나의 RAT와 연관된 복수의 RAT-특정 FE 모듈들(212)을 포함할 수 있다. RAT-특정 FE 모듈들(212)은 WFE 모듈들(212a), LFE 모듈들, (NodeB들을 서빙하기 위한) 제3 세대(3G) FE 모듈들, 다른 RAT들과 연관된 FE 모듈들 또는 이들의 조합을 포함할 수 있다.
[0031] 모바일 디바이스(20)는 RAT-특정 AP들(230) 중 하나를 통해 분산형 SDN 패킷 코어 시스템(200)에 부착될 수 있다. 예컨대, 모바일 디바이스(20)는, 예컨대, 지역적 파드(210)에 의해 지원되는 각각의 RAT에 대해 신호 세기, 통신 비용 또는 사용자 가입에 기반하여 주어진 RAT와 연관된 주어진 RAT-특정 AP(230)에 부착될 수 있다. 주어진 RAT와 연관된 각각의 RAT-특정 AP(230)는 대도시권 네트워크(12)(도 1에 도시됨)를 통해 그 RAT와 연관된 RAT-특정 FE 모듈(212)에 통신 가능하게 커플링될 수 있다. 예컨대, 지역적 파드(210)에 의해 서빙되는 WiFi AP들(230a)은 그 지역적 파드(210) 내의 WFE 모듈들(212a)에 통신 가능하게 커플링될 수 있다. 마찬가지로, 지역적 파드(210)에 의해 서빙되는 eNodeB들(230b)은 지역적 파드(210)의 LFE 모듈들(212b)에 통신 가능하게 커플링될 수 있다. 일반적으로, 분산형 SDN 패킷 코어 시스템 내의 적어도 2 개의 지역적 파드들(210) 각각은 하나 또는 그 초과의 RAT들과 연관된 RAT-특정 FE 모듈들(212)을 포함한다.
[0032] 일부 구현들에서, 각각의 RAT-특정 FE 모듈(212)은 하나 또는 그 초과의 오버레이 송신 터널들(235)을 통해 RAT-특정 AP(230)와 통신하도록 구성될 수 있다. 예컨대, 각각의 WFE 모듈(212a)은 EoIP(Ethernet-over-IP) 터널을 통해 WiFi AP(230a)와 통신하도록 구성될 수 있다. EoIP 터널을 사용하여 WiFi AP(230a)는 데이터, 이를테면, UE 802.3 프레임들을 WFE 모듈(212a)로 자체적으로 터널링할 수 있다. 일부 구현들에서, RAT-특정 AP(230)를 개개의 RAT-특정 FE 모듈(212)에 커플링하는 오버레이 송신 터널(235)은 GUE(Generic UDP Encapsulation) 터널, GRE(Generic Route Encapsulation) 터널, 이더넷-오버-GRE 터널, 802.11-오버-GUE 터널, GTP(GPRS(general packet radio service) Tunneling Protocol) 터널, IPSec(Internet Protocol security) 터널 또는 다른 통신 터널을 포함할 수 있다. RAT-특정 FE 모듈들(212)은 인트라-RAT 인트라-파드 이동성 이벤트들을 핸들링하도록 구성된다. 즉, 주어진 지역적 파드(210) 내의 대응하는 RAT와 연관된 각각의 RAT-특정 모듈(212)은 그 RAT와 연관되고 주어진 지역적 파드(210)에 의해 서빙되는 RAT-특정 AP들(230) 간의 이동성 이벤트들을 핸들링하도록 구성된다. 일부 구현들에서, 각각의 RAT-특정 FE 모듈(212)은, 그 RAT-특정 FE 모듈(212)에 의해 서빙되는 각각의 모바일 디바이스(20)를 그 모바일 디바이스(20)를 서빙하는 RAT-특정 AP(230)로 맵핑하는 계층-2(L2) 바인딩들의 리스트를 유지하도록 구성될 수 있다. 특히, L2 바인딩들은 디바이스 식별(디바이스-ID) 및 서빙 AP 식별(서빙-AP-ID) 페어링들을 포함할 수 있다. 일부 구현들에서, 디바이스-ID는 모바일 디바이스(20)의 MAC(media access control) 어드레스를 포함할 수 있고, 서빙-AP-ID는 개개의 RAT-특정 AP(230)와 연관된 TEID(tunnel end-point identification)를 포함할 수 있다. 일부 구현들에서, 각각의 RAT-특정 FE 모듈(212)은 인트라-RAT 인트라-파드 이동성 이벤트들을 핸들링하기 위한 RAT C-평면 애플리케이션 및 그 RAT-특정 FE 모듈(212)을 통해 터널링되는 데이터 패킷들을 포워딩하기 위한 RAT D-평면 애플리케이션을 포함할 수 있다. 개개의 RAT-특정 FE 모듈(212)과 연관된 RAT D-평면 애플리케이션은 그 RAT-특정 FE 모듈(212)을 통해 터널링되는 데이터 패킷들을 포워딩하기 위한 개개의 L2 FDB(forwarding database)를 사용할 수 있다.
[0033] 각각의 지역적 파드(210)는 인터-RAT 또는 인터-파드 이동성 이벤트들(또한 계층-3(L3) 이동성 이벤트들로 지칭됨)을 핸들링하도록 구성된 이동성 관리기(214)를 포함한다. L3 이동성은 이동성 관리기(214)에서 앵커링될 수 있다. 이동성 관리기들(214)은 또한 분산형 SDN 패킷 코어 시스템(200)에 의해 서빙되는, 모바일 디바이스들(20)에 대한 IP(Internet Protocol) 앵커들로서 작동하도록 구성된다. 특히, 각각의 이동성 관리기(214)는 개개의 서빙 RAT-특정 FE 모듈들(212)의 식별자들(이를테면, IP 어드레스들)과 L3 UE 식별자들(이를테면, IP 어드레스들) 간의 바인딩들을 유지할 수 있다. 각각의 이동성 관리기(214)는, L3 이동성 이벤트들을 핸들링하고 이동성 관리기(214)에 의해 유지되는 포워딩 규칙들을 업데이트하도록 구성된 하나 또는 그 초과의 이동성 게이트웨이 C-평면 애플리케이션들 및 이동성 관리기(214)에서 유지되는 L3 포워딩 규칙들을 사용하는 데이터 포워딩 엔티티들로서 작동하도록 구성된 하나 또는 그 초과의 이동성 게이트웨이 D-평면 애플리케이션들을 포함할 수 있다. 이동성 관리기(214)와 연관된 이동성 게이트웨이 D-평면 애플리케이션은 이동성 관리기(214)를 통해 터널링되는 데이터 패킷들을 포워딩하기 위한 개개의 L3 FDB를 사용할 수 있다. L3 FDB는, 분산형 SDN 패킷 코어 시스템(200)에 의해 서빙되는 각각의 모바일 디바이스(20)에 대해, 개개의 서빙 RAT-특정 FE 모듈(212)의 IP 어드레스로 맵핑되는 개개의 IP 어드레스를 포함할 수 있다.
[0034] 각각의 지역적 파드(210)는, 그 지역적 파드(210)를 통해 터널링되는 데이터 패킷들의 포워딩을 핸들링하도록 구성된 복수의 D-평면 애플리케이션 인스턴스들(218)을 포함한다. D-평면 애플리케이션 인스턴스들(218)이 RAT-특정 FE 모듈(212) 및 이동성 관리기(214)와 별개인 것으로 도 1에 도시되지만, D-평면 애플리케이션 인스턴스들(218)은 RAT-특정 FE 모듈들(212)과 연관된 RAT D-평면 애플리케이션들(218) 및 이동성 관리기(214)와 연관된 이동성 게이트웨이 D-평면 애플리케이션들을 포함할 수 있다.
[0035] 각각의 지역적 파드(210)는, 가입자 데이터베이스(222)로부터 사용자 가입자 데이터를 획득하고 사용자 또는 개개의 모바일 디바이스(20)를 인증, 인가 또는 과금(charge)하기 위해 그러한 데이터를 사용하도록 구성된 AAA(authentication, authorization and accounting) 프록시 모듈(215)을 포함한다. 지역적 파드(210)는 또한, 정책 데이터베이스(224)로부터 사용자 정책 정보를 획득하고 사용자 정책들로 하여금 개개의 사용자 또는 개개의 모바일 디바이스(20)와 연관된 통신들에 적용되게 하도록 구성된 정책 모듈(216)을 포함한다. 일부 구현들에서, 지역적 파드(210)는 AAA 프록시 모듈(215) 또는 정책 모듈(216)의 다수의 인스턴스들을 포함할 수 있다.
[0036] 각각의 지역적 파드(210)는 방화벽 보안 절차들을, 예컨대, 서브네트워크 또는 사용자들의 주어진 그룹과 연관된 데이터 패킷들에 적용하도록 구성된 FW/NAT 모듈(217)을 포함한다. 일부 구현들에서, 지역적 파드(210)는 FW/NAT 모듈(217)의 복수의 인스턴스들을 포함할 수 있다. 또한, 각각의 지역적 파드(210)는 데이터 패킷들을 인터셉트하고 개개의 헤더 또는 심지어 콘텐츠 정보를 리트리브하도록 구성된 복수의 합법적인 인터셉터 모듈들(213)을 포함한다.
[0037] 각각의 지역적 파드(210)는 또한 다양한 컴퓨터 디바이스들 및 그 지역적 파드(210) 내의 다양한 SDN 엘리먼트들에 대한 건강 상태들 및 프로세싱 로드들을 표시하는 정보를 유지하도록 구성된 파드 LB 관리기(219)를 포함한다. 파드 LB 관리기(219)는 또한 개개의 지역적 파드(210)의 전체 건강 상태 및 프로세싱 로드를 표시하는 정보를 클라우드-기반 중앙 SDN 인프라구조 인스턴스(220)에 상주하는 글로벌 LB 모듈(226)로 통신하도록 구성될 수 있다.
[0038] 분산형 SDN 패킷 코어 시스템(200)의 분산형 아키텍처 및 많은 SDN 엘리먼트들의 인스턴스들의 리던던시(redundancy)는 분산형 SDN 패킷 코어 시스템(200)의 개선된 강건성(robustness) 및 회복력(resilience)을 허용할 수 있다. 즉, 지역적 파드(210) 또는 컴퓨팅 디바이스(115)가 다운되거나 동작하지 않는다면, 다른 지역적 파드(들)(210) 또는 다른 컴퓨팅 디바이스(들)(115)는 동작하지 않는 엔티티의 로드를 반송(carry)하도록 구성될 수 있다. 또한, 많은 엘리먼트들의 인스턴스들(이를테면, RAT-특정 FE 모듈들(212), LI 모듈들(213) 또는 D-평면 인스턴스들(218))의 리던던시는, 프로세싱 병목현상들(bottlenecks)을 발생시킬 수 있는 단일 인스턴스 SDN 엘리먼트들과 비교하여, 대신에 개개의 프로세싱 로드들의 분산을 허용할 수 있다. 그러한 아키텍처를 최대한으로 이용하기 위해, 계층적 및 확장 가능 로드 밸런싱 메커니즘은 지역적 파드들(210)에 걸쳐 그리고/또는 각각의 지역적 파드(210) 내의 컴퓨팅 디바이스들(115)에 걸쳐 프로세싱 로드를 밸런싱하기 위해 사용된다.
[0039] 도 3은 도 2에 도시된 분산형 SDN 패킷 코어 시스템(200)에서 프로세싱 로드를 밸런싱하기 위한 로드 밸런싱(LB) 시스템(300) 및 개개의 LB 메커니즘을 예시하는 블록도이다. LB 시스템(300)은, 클라우드에 상주하고 LB 질의 프론트-엔드 모듈(345)을 포함하는 글로벌 SDN LB 모듈(340)을 포함한다. LB 시스템(300)은 또한, 각각의 지역적 파드(210)에서, 무상태 LB 모듈(320), 파드 LB 관리기(330) 및 복수의 상태 기반(stateful) LB 모듈들(315)을 포함한다. 아래에 더 상세히 예시되는 바와 같이, LB 메커니즘은 2-레벨 LB 프로세스로서 보여질 수 있다.
[0040] 도 2 및 3을 참조하면, 피어 디바이스(301), 이를테면, RAT-특정 AP(230) 또는 분산형 SDN 패킷 코어 시스템(200)과 연관된 다른 네트워크 엘리먼트는, 분산형 SDN 패킷 코어 시스템(200)의 지역적 파드들(210)에 의해 통지되는 서비스 IP 어드레스들에 기반하여 분산형 SDN 패킷 코어 시스템(200)의 네트워크 기능 인스턴스를 발견하도록 구성될 수 있다. 예컨대, 피어 디바이스(301)는 분산형 SDN 패킷 코어 시스템(200)에서 실행되는 이동성 제어기(또는 그의 이동성 기능)를 발견하려고 시도하는 eNodeB(230b) 또는 Wi-Fi AP(230a)일 수 있다.
[0041] 일부 구현들에서, 각각의 지역적 파드(210)는 다수의 서비스 IP 어드레스들을 외부적으로 노출시키도록(또는 통지하도록) 구성될 수 있다. 일부 구현들에서, 주어진 지역적 파드(210)에 대한 통지된 IP 어드레스들은 그 지역적 파드(210)의 컴퓨팅 디바이스들(115)의 수를 반드시 반영하지는 않는다. 컴퓨팅 디바이스들(115)의 수로부터 통지된 IP 어드레스들의 수를 연관해제함으로써, 각각의 지역적 파드(210) 내의 개개의 컴퓨팅 디바이스들(115)의 내부 건강 및 동작 상태들(이를테면, 유지보수(maintenance) 이벤트)은 피어 디바이스(301)에 알려지지 않을 수 있다. 예컨대, 개개의 지역적 파드(210) 내의 컴퓨팅 디바이스(115)가 스케줄링된 이벤트(예컨대, 소프트웨어 업그레이드) 또는 스케줄링되지 않은 이벤트(예컨대, 하드웨어 고장)로 인해 서비스 불능이 되면, 피어 디바이스(301)가 그 지역적 파드(210)에 연결하는데 사용하는 IP 어드레스는 변경할 필요가 없다. 일부 구현들에서, 각각의 지역적 파드(210)에 대해 통지된 IP 어드레스들의 수는 통상적으로 지역적 파드(210) 내의 컴퓨팅 디바이스들(115)의 수(예컨대, 하나의 IP 어드레스)보다 훨씬 더 적다.
[0042] 일부 구현들에서, 글로벌 LB 모듈(340)은 피어 디바이스들(301)이 특정 지역적 파드(210)를 로케이팅하도록 허용하도록 구성된다. 특히, 피어 디바이스(301)는 개개의 LB 질의 프론트-엔드 모듈(345)을 통해 분산형 SDN 패킷 코어 시스템(200)의 특정 네트워크 기능에 관하여 글로벌 LB 모듈(340)에 질의할 수 있다. 그러한 질의에 대한 응답으로, 글로벌 LB 모듈(340)은 피어 디바이스(301)를 서빙하기 위한 특정 지역적 파드(210)를 선택하고, 그의 표시를 피어 디바이스(301)로 전송할 수 있다. LB 질의 프론트-엔드 모듈(345)은 피어 디바이스(301)의 타입에 기반하여 상이한 프로토콜들을 노출시키도록 구성될 수 있다. 예컨대, LB 질의 프론트-엔드 모듈(345)은, 연결 어드레스를 선택하기 위해 DNS 레졸루션(resolution)을 사용하는 방법만을 아는 피어 디바이스(301)에 대해 DNS 인터페이스를 노출시킬 수 있다. 다른 피어 디바이스(301)에 대해, LB 질의 프론트-엔드 모듈(345)은 연결 어드레스에 대해 글로벌 LB 모듈(340)에 질의하기 위해 피어 디바이스(301)에 대한 HTTP(들) 인터페이스를 노출시킬 수 있다.
[0043] 글로벌 LB 모듈(340)은 피어 디바이스(301)의 위치, 하나 또는 그 초과의 지역적 파드들(210)의 현재 건강(또는 동작) 및 로드 조건들 또는 이들의 조합에 기반하여 지역적 파드(210)를 선택할 수 있다. 일부 구현들에서, 글로벌 LB 모듈(340)은 (예컨대, 각각/24 IPv4 서브넷에 대한) 라디오 액세스 네트워크 상의 각각의 잠재적인 서브넷 블록으로부터 각각의 지역적 파드(210)로의 레이턴시를 표시하는 정보를 유지하도록 구성될 수 있다. 글로벌 LB 모듈은 또한, 예컨대, 개개의 파드 LB 관리기들(330)로부터 각각의 지역적 파드(210)에 대한 이용 가능한 능력(또는 상대적인 이용 가능한 능력)을 표시하는 정보를 수신하도록 구성될 수 있다. 예컨대, 주어진 지역적 파드에 대한 상대적인 이용 가능한 능력은 0 내지 100의 수일 수 있고, 여기서 100은 지역적 파드(210)가 완전한 능력을 갖는다는 것을 의미하고, 0은 지역적 파드(210)가 비지(busy)하거나 동작하지 않고 요청들을 서빙하지 않을 수 있다는 것을 의미한다. 일부 구현들에서, 요청이 피어 디바이스(301)로부터 수신될 때, 글로벌 LB 모듈(340)은 가장 낮은 레이턴시를 갖는 지역적 파드(210)를 선택할 수 있다. 2 개의 지역적 파드들(210)이 유사한 레이턴시들을 가지면, 글로벌 LB 모듈(340)은 가장 많이 이용 가능한 능력을 갖는 지역적 파드(210)를 선택할 수 있다. 일부 구현들에서, 글로벌 LB 모듈(340)은 레이턴시 메트릭 및 파드 능력 메트릭의 가중된 합으로서 정의된 스코어에 기반하여 지역적 파드들(210)을 선택하도록 구성될 수 있다.
[0044] 일단 피어 디바이스(301)가 선택된 지역적 파드(210)로 지향되면, 미세 입자 로드 밸런싱(finer grained load balancing)이 선택된 지역적 파드(210) 내에서 로컬적으로 수행될 수 있다. 지역적 파드에서의 로컬 로드 밸런싱은 2 개의 로드 밸런싱 레벨들을 포함할 수 있다. 제1 레벨에서, 프로세싱 요청(또는 그의 데이터 패킷들)은 선택된 지역적 파드(210)의 무상태 LB 모듈(320)에 의해 수신된다. 무상태 LB 모듈(320)은 수신된 데이터 패킷들(이를테면, IP 5-튜플)의 하나 또는 그 초과의 필드들을 리트리브하고, 수신된 데이터 패킷들을 지역적 파드(210) 내의 이용 가능한 컴퓨팅 디바이스들(115) 중 하나로 지향시키기 위해 리트리브된 필드들을 사용하도록 구성될 수 있다. 일부 구현들에서, 무상태 LB 모듈(320)은 각각의 컴퓨팅 디바이스(115)에 의해 지원되는 네트워크 기능들, 하나 또는 그 초과의 컴퓨팅 디바이스들의 동작 상태들, 하나 또는 그 초과의 컴퓨팅 디바이스들(115)의 로드 상태들 또는 이들의 조합에 기반하여 지역적 파드(210) 내의 컴퓨팅 디바이스들(115)를 선택할 수 있다. 일부 구현들에서, 무상태 LB 모듈(320)은 라운드-로빈 방식(round-robin pattern)에 따라 피어 디바이스들(301)로부터 수신된 프로세싱 요청들을 다양한 컴퓨팅 디바이스들(115)로 지향시키도록 구성될 수 있다.
[0045] 일부 구현들에서, 무상태 LB 모듈(320)은, 수신된 데이터 패킷들이 무상태 데이터 패킷 프로세싱 작업과 연관되는지 또는 상태 기반 데이터 패킷 프로세싱 작업과 연관되는지를 결정하도록 구성될 수 있다. 수신된 데이터 패킷들이 무상태 데이터 프로세싱 작업과 연관된다고 무상태 LB 모듈(320)이 결정하면, 무상태 LB 모듈(320)은, 선택된 컴퓨팅 디바이스(115) 내의 개개의 무상태 네트워크 기능을 실행하도록 구성된 SDN 엘리먼트(311)로 데이터 패킷들을 직접적으로 지향시키도록 구성될 수 있다. 그러나, 수신된 데이터 패킷들이 상태 기반 데이터 프로세싱 작업과 연관된다고 무상태 LB 모듈(320)이 결정하면, 무상태 LB 모듈(320)은 데이터 패킷들을 선택된 컴퓨팅 디바이스(115) 내의 상태 기반 LB 모듈(315)로 지향시킬 수 있다. 일반적으로, 제1 레벨의 로컬 로드 밸런싱이 데이터 패킷들의 IP 연결 필드들에 기반하여 수행될 수 있고, 그러한 것이 데이터 패킷들의 복잡한 파싱(parsing)을 수반하지 않기 때문에, 제1 레벨의 로컬 로드 밸런싱은 (예컨대, 제2 레벨의 로컬 로드 밸런싱과 비교하여) 상대적으로 고속으로 수행될 수 있다.
[0046] 분산형 SDN 패킷 코어 시스템(200)의 많은 패킷 프로세싱 작업들은 상태에 기반하고, 다수의 데이터 패킷들에 걸친 하나 또는 그 초과의 상태들의 추적을 요구한다. 주어진 통신 세션과 연관(또는 모바일 디바이스(20)와 연관)되고 개개의 상태 기반 데이터 프로세싱 작업과 연관된 데이터 패킷들의 프로세싱을 지역적 파드(210) 내의 다수의 컴퓨팅 디바이스(115)에 할당하는 것은 확장-불가한 로컬 로드 밸런싱 메커니즘을 발생시킬 것이다. 특히, 그러한 할당은 다수의 컴퓨팅 디바이스들(115) 각각이 데이터 패킷들의 상태(들)를 유지하게 하고, 다수의 컴퓨팅 디바이스들(115) 간의 동기화를 수반할 것이다. 일부 구현들에서, 지역적 파드(210) 내의 특정 컴퓨팅 디바이스(115)는 주어진 통신 세션과 연관(또는 모바일 디바이스(20)와 연관)되고 개개의 상태 기반 데이터 프로세싱 작업과 연관된 데이터 패킷들을 프로세싱하도록 지정되고, 그러한 데이터 패킷들에 대한 "홈 호스트"로 지칭된다. 예컨대, LFE 모듈(212b)에 대해, 예시적인 홈 호스트는, 특정 GTP(GPRS(general packet radio service) tunneling protocol) 세션에 대한 상태를 보유하는 컴퓨팅 디바이스(115)일 수 있다. 일부 구현들에서, 각각의 지역적 파드(210) 내의 각각의 컴퓨팅 디바이스(115)는 착신 데이터 패킷들을 "정확한" 홈 호스트로 지향시키기 위한 개개의 상태 기반 LB 모듈(315)을 포함한다. 일부 구현들에서, 지역적 파드(210) 내의 컴퓨팅 디바이스들(115)의 서브세트만이 개개의 상태 기반 LB 모듈들(315)을 포함한다. 임의의 지역적 파드(210) 내의 상태 기반 LB 모듈들(315)은, 착신 데이터 패킷들을 개개의 홈 호스트들로 지향시키는 상태 기반 LB 계층을 형성한다. 데이터 패킷들을 수신할 때, 선택된 컴퓨팅 디바이스(115)의 상태 기반 LB 모듈(315)은 상태 기반 데이터 패킷 프로세싱 작업에 따라 데이터 패킷들을 프로세싱하기 위한 컴퓨팅 디바이스(115)를 결정하도록 구성될 수 있다.
[0047] 상태 기반 LB 모듈(315)은 복잡한 패킷 헤더들(이를테면, TLV(type-length-value) 구조들)을 파싱하도록 구성될 수 있다. 일부 구현들에서, 데이터 패킷 헤더들을 파싱하는 것은, 예컨대, 애플리케이션 식별자, 세션 식별자 또는 특정 애플리케이션을 표시하는 다른 헤더 필드 파라미터, 개개의 상태 기반 데이터 프로세싱 작업과 연관된 데이터 세션 또는 다른 특징을 결정하기 위해, 데이터 패킷 헤더들을 암호해독하는 상태 기반 LB 모듈(315)을 포함할 수 있다. 일단 상태 기반 데이터 패킷 프로세싱 작업이 결정되면, 상태 기반 LB 모듈(315)은 결정된 상태 기반 데이터 패킷 프로세싱 작업을 데이터 패킷들에 적용하기 위한 컴퓨팅 디바이스(115)를 결정할 수 있다. 일부 구현들에서, 상태 기반 LB 모듈(315)은 수신된 데이터 패킷들을 프로세싱하기 위해 컴퓨팅 디바이스들(115)에 할당하기 위한 하나 또는 그 초과의 데이터 구조들(이를테면, 룩업 테이블들)을 유지 및 사용할 수 있다. 일부 구현들에서, 상태 기반 LB 모듈(315)은 데이터 패킷 필드 값들을 SDN 엘리먼트(들)(311)(또는 개개의 네트워크 기능들)를 표시하는 로지컬 식별들(로지컬 ID들)에 맵핑하는 제1 룩업 테이블 및 SDN 엘리먼트(들)(311)를 개개의 호스팅 컴퓨팅 디바이스들(115)로 맵핑하기 위한 제2 룩업 테이블을 유지할 수 있다. 일부 구현들에서, 상태 기반 LB 모듈(315)은, 데이터 패킷들에 적용될 상태 기반 네트워크 기능들을 표시하는 데이터 패킷 필드 값들을, 상태 기반 네트워크 기능들을 수행하기 위한 SDN 엘리먼트들(311)을 호스팅하는 컴퓨팅 디바이스들(115)에 직접적으로 맵핑하는 것을 허용하는 단일 룩업 테이블을 유지할 수 있다. 일부 구현들에서, 다수의 컴퓨팅 디바이스들(115)이 개시되어야 하는 세션에 대해 데이터 패킷들에 적용될 네트워크 기능들을 수행하기 위해 SDN 엘리먼트들(311)을 호스팅하도록 결정되면, 상태 기반 LB 모듈(315)은, 다수의 결정된 컴퓨팅 디바이스들(115) 중에서, 동작하고(또는 건강하고) 적어도 프로세싱 로드를 갖는 컴퓨팅 디바이스(115)를 선택할 수 있다. 일단 컴퓨팅 디바이스가 상태 기반 데이터 패킷 프로세싱 작업을 수반하는 주어진 통신 세션에 대한(또는 모바일 디바이스(20)에 대한) 홈 호스트로서 할당되면, 그 세션(또는 모바일 디바이스(20))에 대한 모든 데이터 패킷들은 할당된 호스트 홈으로 지향된다.
[0048] 예시적인 예로서, GTP(GPRS(general packet radio service) tunneling protocol)에 따라 캡슐화된 데이터 패킷들에 대해, 상태 기반 LB 모듈(315)은 GTP-U(GTP user plane) 헤더로부터 TEID(tunnel end-point identification)를 리트리브하기 위해 데이터 패킷들을 캡슐화 해제(de-capsulate)하도록 구성될 수 있다. 이어서, 상태 기반 LB 모듈(315)은 TEID와 컴퓨팅 디바이스(115)(이를테면, 데이터 패킷들을 프로세싱하기 위한 RAT-특정 FE 모듈(212)을 호스팅하는 컴퓨팅 디바이스(115))를 연관시킬 수 있다. 일부 구현들에서, 상태 기반 LB 모듈(315)이 데이터 패킷과 서빙 컴퓨팅 디바이스(115)를 연관시키는 프로세스는 프로토콜에 특정적일 수 있다.
[0049] 각각의 지역적 파드(210)에서 적용되는 로컬 로드 밸런싱 메커니즘은, 예컨대, 제1 컴퓨팅 디바이스(115)가 서비스 중단되어야 하는 경우에, 제1 컴퓨팅 디바이스(115)의 책임들(또는 네트워크 기능들)을 제2 컴퓨팅 디바이스(115)로 이동하는 것을 허용한다. 예컨대, 제1 컴퓨팅 디바이스(115)가 (일부 고장으로 인해 또는 유지보수를 위해) 다운되면, 무상태 LB 모듈(320)은 데이터 트래픽을 제1 컴퓨팅 디바이스(115)로 지향시키는 것을 중지할 수 있다. 그러한 데이터 트래픽은, 대신에, 제1 컴퓨팅 디바이스(115)에 의해 이전에 실행된 네트워크 기능들을 실행하도록 구성된 하나 또는 그 초과의 다른 컴퓨팅 디바이스들(115)로 지향될 수 있다. 별개의 컴퓨팅 디바이스들(115)에 할당되는 책임들(또는 작업들)의 그러한 변화는 지역적 파드 내에서 내부적이고, 외부 피어들(301)에게 투명하지 않다.
[0050] 각각의 지역적 파드(210)는 그 지역적 파드(210) 내의 다양한 컴퓨팅 디바이스들(115) 및 SDN 엘리먼트들(311)에 대한 건강(또는 동작) 및 로드 정보를 수집하도록 구성된 파드 LB 관리기(330)를 포함한다. 건강(또는 동작) 정보는, 각각의 SDN 엘리먼트(311)가 정상적으로 동작하고 있는지 또는 컴퓨팅 디바이스(115)가 동작하는지 또는 다운인지를 표시하는 정보를 포함한다. 로드 정보는 정보, 이를테면, CPU(computer processing unit) 활용, 메모리 활용, 네트워크 링크 활용, SDN 엘리먼트들과 연관된 큐들의 상태, 다양한 SDN 엘리먼트들과 연관된 프로세싱 시간, 다른 인자들 또는 이들의 조합을 포함한다. 파드 LB 관리기(330)는, C-평면 시그널링 및 로드 밸런싱에서 사용하기 위해, 그러한 정보를 SDN 엘리먼트들(311), 무상태 LB 모듈(320), 상태 기반 LB 모듈(315) 또는 이들의 조합에 이용 가능하게 하도록 구성될 수 있다. 예컨대, 새로운 세션이 설정될 때, 무상태 LB 모듈(320) 또는 상태 기반 LB 모듈(315)은 그러한 세션을 설정하기 위한 요청(또는 데이터 패킷들)을 건강한(또는 동작하는) 컴퓨팅 디바이스(115) 또는 가장 적은 프로세싱 로드를 갖는 SDN 엘리먼트(311)로 지향시킬 수 있다. 제1 SDN 엘리먼트(311)가 제2 SDN 엘리먼트(311)의 서비스들을 요청해야 하면, 제1 SDN 엘리먼트(311)는, 건강하고 가장 적게 로딩된 인스턴스의 제2 SDN 엘리먼트(311)를 결정하기 위해, 파드 LB 관리기(330)에 의해 제공되는 건강 및 로드 정보를 사용할 수 있다.
[0051] 파드 LB 관리기(330)는, 파드 선택을 결정할 때 사용하기 위해, 지역적 파드(210)에 대한 누적 건강 및 로드 정보를 글로벌 LB 모듈(340)로 시그널링하도록 구성될 수 있다. 글로벌 LB 모듈(340)로 시그널링된 정보는 지역적 파드의 동작 상태(이를테면, 동작 또는 다운), 지역적 파드의 상대적인 이용 가능한 프로세싱 능력, 지역적 파드(210) 내의 각각의 컴퓨팅 디바이스(115)에 대한 상대적인 이용 가능한 능력, 또는 이들의 조합을 표시하는 정보를 포함할 수 있다. 일부 구현들에서, 파드 LB 관리기(330)는 지역적 파드(210)에 대한 상세한 건강 및 로드 정보, 이를테면, 지역적 파드(210) 내의 각각의 컴퓨팅 디바이스(115) 및 각각의 SDN 엘리먼트(311)에 대한 건강 및 로드 정보를 글로벌 LB 모듈(340)로 시그널링하도록 구성될 수 있다. 글로벌 LB 모듈(340)은 다양한 지역적 파드들(210)로부터 건강 및 로드 정보를 수집하고, 지역적 파드들(210) 사이에서 프로세싱 로드들을 밸런싱하거나, 동작하지 않거나 감소된 이용 가능성(또는 감소된 이용 가능한 능력)을 갖는 다른 지역적 파드의 로드 또는 로드의 부분들을 인수하기 위한 하나 또는 그 초과의 지역적 파드들(210)을 선택하기 위해, 수집된 정보를 사용하도록 구성될 수 있다. 일부 구현들에서, 별개의 지역적 파드들(210)에 의해 서빙되는 대도시권들 사이(또는 그들의 경계들)에 위치된 모바일 디바이스들(20)에 대해, 글로벌 LB 모듈(340)은 지역적 파드들(210)의 건강 및 로드 정보에 기반하여 그러한 모바일 디바이스들(20)과 연관된 데이터 패킷들을 지향시키도록 구성될 수 있다.
[0052] 지역적 파드(210)의 별개의 SDN 엔티티들 간의 시그널링을 위한, 위에 언급된 송신 프로토콜들은 RPC들(remote procedure calls)을 통해 구현될 수 있다. 즉, 지역적 파드(210)의 별개의 SDN 엔티티들 간의 메시지들은 시그널링을 위한 특수 프로토콜 계층들(이를테면, GTP, PMIPv6 등) 또는 메시지 확인(validation)을 위한 임의의 부가적인 계층들(이를테면, IPSec)을 요구하지 않고서, 확인된 RPC들로서 시그널링될 수 있다.
[0053] 본 명세서에서 설명된 청구대상 및 동작들의 구현들은, 디지털 전자 회로에서, 또는 본 명세서에 개시된 구조들 및 그들의 구조적 등가물들을 포함하는 유형의 매체, 펌웨어, 또는 하드웨어 상에 포함된 컴퓨터 소프트웨어에서, 또는 그들 중 하나 또는 그 초과의 결합들에서 구현될 수 있다. 본 명세서에 설명된 청구대상의 구현들은, 데이터 프로세싱 장치에 의한 실행을 위해, 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 하나 또는 그 초과의 컴퓨터 저장 매체들 상에서 인코딩되는, 유형의 매체 상에 포함된 하나 또는 그 초과의 컴퓨터 프로그램들, 즉 컴퓨터 프로그램 명령들의 하나 또는 그 초과의 모듈들로서 구현될 수 있다. 컴퓨터 저장 매체는, 컴퓨터-판독가능 저장 디바이스, 컴퓨터-판독가능 저장 기판, 랜덤 또는 시리얼 액세스 메모리 어레이 또는 디바이스, 또는 그들 중 하나 또는 그 초과의 결합일 수 있거나 그들에 포함될 수 있다. 컴퓨터 저장 매체는 또한, 하나 또는 그 초과의 별도의 컴포넌트들 또는 매체들(예컨대, 다수의 CD들, 디스크들, 또는 다른 저장 디바이스들)일 수 있거나 그들에 포함될 수 있다. 컴퓨터 저장 매체는 유형이고 비-일시적일 수도 있다.
[0054] 본 명세서에 설명된 동작들은, 하나 또는 그 초과의 컴퓨터-판독가능 저장 디바이스들 상에 저장되거나 다른 소스들로부터 수신된 데이터에 대하여 데이터 프로세싱 장치에 의해 수행되는 동작들로서 구현될 수 있다. 프로세스들 및 로직 흐름들은 또한, 특수 목적 로직 회로, 예컨대, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있고, 장치가 또한 그들로서 구현될 수 있다.
[0055] 본 명세서가 많은 특정한 구현 세부사항들을 포함하지만, 이들은 임의의 발명들 또는 청구될 수도 있는 것의 범위에 대한 제한들로서 해석되는 것이 아니라 오히려, 특정한 발명들의 특정한 구현들에 특정한 특성들의 설명들로서 해석되어야 한다. 별도의 구현들의 맥락에서 본 명세서에 설명된 특정한 특성들은 또한, 단일 구현의 결합으로 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특성들은 또한, 다수의 구현들에서 별개로 또는 임의의 적절한 서브-결합으로 구현될 수 있다. 또한, 특성들이 특정한 결합들에서 동작하는 것으로 위에서 설명되고 심지어 초기에는 그와 같이 청구될 수도 있지만, 청구된 결합으로부터의 하나 또는 그 초과의 특성들은 몇몇 경우들에서, 그 결합으로부터 삭제될 수 있으며, 청구된 결합은 서브-결합 또는 서브-결합의 변경으로 안내될 수도 있다.
[0056] "또는"에 대한 참조들은, "또는"을 사용하여 설명된 임의의 용어들이 설명된 용어들 중 하나의 용어, 하나보다 많은 용어, 및 그 전체 중 임의의 것을 표시할 수도 있도록 포괄적인 것으로 해석될 수도 있다. 라벨들 "제1", "제2", "제3" 등이, 반드시 순서를 표시하는 것을 의미하는 것은 아니며, 단지 동일하거나 유사한 아이템들 또는 엘리먼트들 사이를 구별하기 위해서만 일반적으로 사용된다.
[0057] 따라서, 청구대상의 특정한 구현들이 설명되었다. 다른 구현들은 다음의 청구항들의 범위 내에 존재한다. 몇몇 경우들에서, 청구항들에서 인용된 동작들은, 상이한 순서로 수행될 수 있으며, 여전히 바람직한 결과들을 달성할 수 있다. 부가적으로, 첨부한 도면들에 도시된 프로세스들은 바람직한 결과들을 달성하기 위해, 도시된 특정한 순서 또는 순차적인 순서를 반드시 요구하지는 않는다. 특정한 구현들에서, 멀티태스킹 또는 병렬 프로세싱이 이용될 수 있다.

Claims (20)

  1. 분산형 SDN(software defined network) 패킷 코어 시스템으로서,
    복수의 상호연결된 로컬 SDN 인프라구조 인스턴스들(infrastructure instances)을 포함하고, 각각의 로컬 SDN 인프라구조 인스턴스는 개개의 복수의 라디오 액세스 포인트들에 지리적으로 근접하게 배열되고 상기 개개의 복수의 라디오 액세스 포인트들에 통신 가능하게 커플링되는 컴퓨팅 디바이스들의 클러스터를 포함하고, 각각의 로컬 SDN 인프라구조 인스턴스는 레이턴시 민감(latency sensitive) 네트워크 기능들을 실행하도록 구성되고, 그리고:
    상기 컴퓨팅 디바이스들 중 하나 또는 그 초과에 의해 실행 가능한 네트워크 기능들의 인스턴스들을 나타내는 복수의 SDN 네트워크 기능 모듈들;
    상기 네트워크 기능들 중 적어도 하나에 의한 프로세싱을 위한 데이터 패킷들을 상기 라디오 액세스 포인트들로부터 수신하고, 상기 데이터 패킷들을 상기 로컬 SDN 인프라구조 인스턴스 내의 컴퓨팅 디바이스들 중 하나로 지향시키도록 구성된 무상태 로드 밸런서(stateless load balancer);
    복수의 상태 기반 로드 밸런싱 모듈들(stateful load balancing modules); 및
    상기 로컬 SDN 인프라구조 인스턴스 내의 컴퓨팅 디바이스들 및 복수의 SDN 네트워크 기능 모듈들의 로드 상태 및 동작 상태를 표시하는 정보를 관리하도록 구성된 로드 관리기를 포함하고,
    각각의 상태 기반 로드 밸런싱 모듈은 개개의 컴퓨팅 디바이스에 상주하고,
    상기 개개의 컴퓨팅 디바이스에서 수신되는 데이터 패킷에 적용될 상태 기반 데이터 패킷 프로세싱 작업을 결정하고;
    결정된 상태 기반 데이터 패킷 프로세싱 작업을 상기 데이터 패킷에 적용하기 위한, 상기 로컬 SDN 인프라구조 인스턴스 내의 컴퓨팅 디바이스를 결정하고; 그리고
    상기 데이터 패킷을 결정된 컴퓨팅 디바이스로 포워딩하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  2. 제1 항에 있어서,
    상기 로드 관리기는 상기 개개의 로컬 SDN 인프라구조 인스턴스에서 컴퓨팅 자원 사용, 메모리 사용 및 네트워크 링크 사용 중 적어도 하나를 표시하는 로드 정보를 수집하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  3. 제1 항에 있어서,
    상기 로드 관리기는 상기 SDN 네트워크 기능 모듈들의 동작 상태들을 표시하는 정보를 수집하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  4. 제1 항에 있어서,
    상기 로드 관리기는 상기 개개의 로컬 SDN 인프라구조 인스턴스의 누적 동작 상태 및 로드 상태를 표시하는 정보를 상기 분산형 SDN 패킷 코어 시스템의 클라우드-기반 글로벌 로드 밸런서에 제공하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  5. 제1 항에 있어서,
    상기 무상태 로드 밸런서는 상기 데이터 패킷의 하나 또는 그 초과의 헤더 필드들에 기반하여 데이터 패킷을 대응하는 컴퓨팅 디바이스에 할당하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  6. 제1 항에 있어서,
    각각의 상태 기반 로드 밸런싱 모듈은 상기 로컬 SDN 인프라구조 인스턴스의 각각의 컴퓨팅 디바이스와 연관된 상태 기반 데이터 패킷 프로세싱 작업들을 표시하는 정보를 유지하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  7. 제6 항에 있어서,
    각각의 상태 기반 로드 밸런싱 모듈은:
    수신된 데이터 패킷의 하나 또는 그 초과의 필드들을 파싱(parse)하고;
    상기 하나 또는 그 초과의 필드들 및 상기 상태 기반 로드 밸런싱 모듈에서 유지되는 정보에 기반하여, 상기 수신된 데이터 패킷과 연관된 상태 기반 데이터 패킷 프로세싱 작업을 핸들링하기 위한 컴퓨팅 디바이스를 결정하고; 그리고
    상기 데이터 패킷을 결정된 컴퓨팅 디바이스로 포워딩하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  8. 제1 항에 있어서,
    상기 분산형 SDN 패킷 코어 시스템은 클라우드-기반 글로벌 로드 밸런서를 더 포함하고, 상기 클라우드-기반 글로벌 로드 밸런서는:
    액세스 네트워크 엘리먼트로부터 네트워크 프로세싱 요청을 수신하고; 그리고
    하나 또는 그 초과의 로컬 SDN 인프라구조 인스턴스들의 로드 상태 및 동작 상태에 기반하여 상기 네트워크 프로세싱 요청을 로컬 SDN 인프라구조 인스턴스에 할당하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  9. 제8 항에 있어서,
    상기 클라우드-기반 글로벌 로드 밸런서는 레이턴시 메트릭(latency metric)에 기반하여 상기 네트워크 프로세싱 요청을 로컬 SDN 인프라구조 인스턴스에 할당하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  10. 제8 항에 있어서,
    상기 클라우드-기반 글로벌 로드 밸런서는 능력 메트릭(capacity metric)에 기반하여 상기 네트워크 프로세싱 요청을 로컬 SDN 인프라구조 인스턴스에 할당하도록 구성되는,
    분산형 SDN 패킷 코어 시스템.
  11. 분산형 SDN(software defined network) 패킷 코어 시스템에서의 로드 밸런싱 방법으로서,
    상기 분산형 SDN 패킷 코어 시스템의 로컬 SDN 인프라구조 인스턴스 내의 무상태 로드 밸런서에 의해, 복수의 SDN 네트워크 기능 모듈들 중 적어도 하나에 의한 프로세싱을 위한 데이터 패킷을 복수의 라디오 액세스 포인트들로부터 수신하는 단계 ― 각각의 로컬 SDN 인프라구조 인스턴스는 레이턴시 민감 네트워크 기능들을 실행하도록 구성되고, 상기 복수의 SDN 네트워크 기능 모듈들은 로컬 SDN 인프라구조 인스턴스의 복수의 컴퓨팅 디바이스들 상에서 실행 가능하며, 상기 복수의 컴퓨팅 디바이스들은 개개의 복수의 라디오 액세스 포인트들에 지리적으로 근접하게 배열되고 상기 개개의 복수의 라디오 액세스 포인트들에 통신 가능하게 커플링됨 ― ;
    상기 무상태 로드 밸런서에 의해, 상기 데이터 패킷을 상기 로컬 SDN 인프라구조 인스턴스 내의 복수의 컴퓨팅 디바이스들 중에서 제1 컴퓨팅 디바이스들 상에 상주하는 상태 기반 로드 밸런서로 지향시키는 단계;
    상기 상태 기반 로드 밸런서에 의해, 상기 데이터 패킷에 적용될 상태 기반 데이터 패킷 프로세싱 작업을 결정하는 단계;
    상기 상태 기반 로드 밸런서에 의해, 결정된 상태 기반 데이터 패킷 프로세싱 작업을 상기 데이터 패킷에 적용하기 위한, 상기 로컬 SDN 인프라구조 인스턴스 내의 제2 컴퓨팅 디바이스를 결정하는 단계; 및
    상기 상태 기반 로드 밸런서에 의해, 상기 데이터 패킷을 상기 제2 컴퓨팅 디바이스로 포워딩하는 단계를 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  12. 제11 항에 있어서,
    상기 로컬 SDN 인프라구조 인스턴스의 로드 관리기에 의해, 개개의 로컬 SDN 인프라구조 인스턴스에서 컴퓨팅 자원 사용, 메모리 사용 및 네트워크 링크 사용 중 적어도 하나를 표시하는 로드 정보를 수집하는 단계를 더 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  13. 제11 항에 있어서,
    상기 로컬 SDN 인프라구조 인스턴스의 로드 관리기에 의해, 상기 SDN 네트워크 기능 모듈들의 동작 상태들을 표시하는 정보를 수집하는 단계를 더 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  14. 제11 항에 있어서,
    상기 로컬 SDN 인프라구조 인스턴스의 로드 관리기에 의해, 개개의 로컬 SDN 인프라구조 인스턴스의 누적 동작 상태 및 로드 상태를 표시하는 정보를 분산형 SDN 패킷 코어 시스템의 클라우드-기반 글로벌 로드 밸런서에 제공하는 단계를 더 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  15. 제11 항에 있어서,
    상기 데이터 패킷을 상태 기반 로드 밸런서로 지향시키는 단계는, 상기 데이터 패킷의 하나 또는 그 초과의 헤더 필드들에 기반하여, 상기 데이터 패킷을 지향시키는 단계를 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  16. 제11 항에 있어서,
    상기 상태 기반 로드 밸런서에 의해, 상기 로컬 SDN 인프라구조 인스턴스의 각각의 컴퓨팅 디바이스와 연관된 상태 기반 데이터 패킷 프로세싱 작업들을 표시하는 정보를 유지하는 단계를 더 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  17. 제16 항에 있어서,
    상기 상태 기반 로드 밸런서에 의해, 수신된 데이터 패킷의 하나 또는 그 초과의 필드들을 파싱하는 단계;
    상기 하나 또는 그 초과의 필드들 및 상기 상태 기반 로드 밸런서에서 유지되는 정보에 기반하여, 상기 수신된 데이터 패킷과 연관된 상태 기반 데이터 패킷 프로세싱 작업을 핸들링하기 위한 제2 컴퓨팅 디바이스를 결정하는 단계; 및
    상기 데이터 패킷을 상기 제2 컴퓨팅 디바이스로 포워딩하는 단계를 더 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  18. 제11 항에 있어서,
    상기 분산형 SDN 패킷 코어 시스템의 클라우드-기반 글로벌 로드 밸런서에 의해, 액세스 네트워크 엘리먼트로부터 네트워크 프로세싱 요청을 수신하는 단계; 및
    상기 클라우드-기반 글로벌 로드 밸런서에 의해, 하나 또는 그 초과의 로컬 SDN 인프라구조 인스턴스들의 로드 상태 및 동작 상태에 기반하여 상기 네트워크 프로세싱 요청을 로컬 SDN 인프라구조 인스턴스에 할당하는 단계를 더 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  19. 제18 항에 있어서,
    상기 클라우드-기반 글로벌 로드 밸런서에 의해, 레이턴시 메트릭에 기반하여 상기 네트워크 프로세싱 요청을 로컬 SDN 인프라구조 인스턴스에 할당하는 단계를 더 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
  20. 제18 항에 있어서,
    상기 클라우드-기반 글로벌 로드 밸런서에 의해, 능력 메트릭에 기반하여 상기 네트워크 프로세싱 요청을 로컬 SDN 인프라구조 인스턴스에 할당하는 단계를 더 포함하는,
    분산형 SDN 패킷 코어 시스템에서의 로드 밸런싱 방법.
KR1020187005477A 2015-09-23 2016-09-20 분산형 소프트웨어 정의 네트워크 패킷 코어 시스템에서 로드 밸런싱을 위한 시스템들 및 방법들 KR102023177B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562222406P 2015-09-23 2015-09-23
US62/222,406 2015-09-23
US201562242668P 2015-10-16 2015-10-16
US201562242677P 2015-10-16 2015-10-16
US62/242,677 2015-10-16
US62/242,668 2015-10-16
PCT/US2016/052679 WO2017053305A1 (en) 2015-09-23 2016-09-20 Systems and methods for load balancing in a distributed software defined network packet core system

Publications (2)

Publication Number Publication Date
KR20180023058A KR20180023058A (ko) 2018-03-06
KR102023177B1 true KR102023177B1 (ko) 2019-09-19

Family

ID=57047334

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187005319A KR101998355B1 (ko) 2015-09-23 2016-09-20 분산형 소프트웨어 정의 네트워크 패킷 코어 시스템에서 이동성 관리를 위한 시스템들 및 방법들
KR1020187005477A KR102023177B1 (ko) 2015-09-23 2016-09-20 분산형 소프트웨어 정의 네트워크 패킷 코어 시스템에서 로드 밸런싱을 위한 시스템들 및 방법들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187005319A KR101998355B1 (ko) 2015-09-23 2016-09-20 분산형 소프트웨어 정의 네트워크 패킷 코어 시스템에서 이동성 관리를 위한 시스템들 및 방법들

Country Status (9)

Country Link
US (4) US10469391B2 (ko)
EP (4) EP3318047B1 (ko)
JP (3) JP6513878B2 (ko)
KR (2) KR101998355B1 (ko)
CN (3) CN108886825B (ko)
AU (1) AU2016325529B2 (ko)
DE (2) DE112016004283T5 (ko)
GB (2) GB2556745B (ko)
WO (3) WO2017053301A1 (ko)

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10454714B2 (en) 2013-07-10 2019-10-22 Nicira, Inc. Method and system of overlay flow control
US10749711B2 (en) 2013-07-10 2020-08-18 Nicira, Inc. Network-link method useful for a last-mile connectivity in an edge-gateway multipath system
US11533255B2 (en) 2014-11-14 2022-12-20 Nicira, Inc. Stateful services on stateless clustered edge
US10425382B2 (en) 2015-04-13 2019-09-24 Nicira, Inc. Method and system of a cloud-based multipath routing protocol
US10135789B2 (en) 2015-04-13 2018-11-20 Nicira, Inc. Method and system of establishing a virtual private network in a cloud service for branch networking
US10498652B2 (en) 2015-04-13 2019-12-03 Nicira, Inc. Method and system of application-aware routing with crowdsourcing
US10084657B2 (en) * 2015-06-29 2018-09-25 Ca, Inc. Normalized software-defined networking interface
CN106714233B (zh) * 2015-11-13 2020-08-25 华为技术有限公司 应用驱动网络的通信***、组网方法及控制器
US10164885B2 (en) 2015-12-02 2018-12-25 Nicira, Inc. Load balancing over multiple tunnel endpoints
US10719341B2 (en) 2015-12-02 2020-07-21 Nicira, Inc. Learning of tunnel endpoint selections
US10069646B2 (en) * 2015-12-02 2018-09-04 Nicira, Inc. Distribution of tunnel endpoint mapping information
US11070395B2 (en) * 2015-12-09 2021-07-20 Nokia Of America Corporation Customer premises LAN expansion
US10530736B2 (en) * 2016-01-19 2020-01-07 Cisco Technology, Inc. Method and apparatus for forwarding generic routing encapsulation packets at a network address translation gateway
US10412168B2 (en) * 2016-02-17 2019-09-10 Latticework, Inc. Implementing a storage system using a personal user device and a data distribution device
US10237176B2 (en) 2016-06-30 2019-03-19 Juniper Networks, Inc. Auto discovery and auto scaling of services in software-defined network environment
US10185550B2 (en) 2016-09-28 2019-01-22 Mcafee, Inc. Device-driven auto-recovery using multiple recovery sources
WO2018090386A1 (zh) * 2016-11-21 2018-05-24 华为技术有限公司 一种nf组件异常的处理方法、设备及***
CN110050474A (zh) 2016-12-30 2019-07-23 英特尔公司 用于物联网网络中的复合对象的子对象的类型命名和区块链
US10992568B2 (en) * 2017-01-31 2021-04-27 Vmware, Inc. High performance software-defined core network
US11706127B2 (en) 2017-01-31 2023-07-18 Vmware, Inc. High performance software-defined core network
US20200036624A1 (en) 2017-01-31 2020-01-30 The Mode Group High performance software-defined core network
US11252079B2 (en) 2017-01-31 2022-02-15 Vmware, Inc. High performance software-defined core network
US10992558B1 (en) 2017-11-06 2021-04-27 Vmware, Inc. Method and apparatus for distributed data network traffic optimization
US11121962B2 (en) 2017-01-31 2021-09-14 Vmware, Inc. High performance software-defined core network
US20180219765A1 (en) 2017-01-31 2018-08-02 Waltz Networks Method and Apparatus for Network Traffic Control Optimization
US10778528B2 (en) 2017-02-11 2020-09-15 Nicira, Inc. Method and system of connecting to a multipath hub in a cluster
KR102342734B1 (ko) * 2017-04-04 2021-12-23 삼성전자주식회사 Sdn 제어 장치 및 이의 데이터 패킷의 전송 룰 설정 방법
WO2018199952A1 (en) * 2017-04-27 2018-11-01 Nokia Solutions And Networks Oy Method and apparatus for interworking between systems based on suspension and resumption indications from a terminal
US20230108733A1 (en) * 2017-05-24 2023-04-06 3S International, LLC Method of mobilizaing user data in computing network
EP3631638A4 (en) * 2017-05-28 2020-05-13 Drivenets Ltd. PROVIDING SERVICES IN A COMMUNICATION NETWORK
US10523539B2 (en) 2017-06-22 2019-12-31 Nicira, Inc. Method and system of resiliency in cloud-delivered SD-WAN
US11874845B2 (en) * 2017-06-28 2024-01-16 Fortinet, Inc. Centralized state database storing state information
US10951584B2 (en) 2017-07-31 2021-03-16 Nicira, Inc. Methods for active-active stateful network service cluster
US11296984B2 (en) 2017-07-31 2022-04-05 Nicira, Inc. Use of hypervisor for active-active stateful network service cluster
US11570092B2 (en) * 2017-07-31 2023-01-31 Nicira, Inc. Methods for active-active stateful network service cluster
US11115480B2 (en) 2017-10-02 2021-09-07 Vmware, Inc. Layer four optimization for a virtual network defined over public cloud
US11089111B2 (en) 2017-10-02 2021-08-10 Vmware, Inc. Layer four optimization for a virtual network defined over public cloud
US10999165B2 (en) 2017-10-02 2021-05-04 Vmware, Inc. Three tiers of SaaS providers for deploying compute and network infrastructure in the public cloud
US10999100B2 (en) 2017-10-02 2021-05-04 Vmware, Inc. Identifying multiple nodes in a virtual network defined over a set of public clouds to connect to an external SAAS provider
US10959098B2 (en) 2017-10-02 2021-03-23 Vmware, Inc. Dynamically specifying multiple public cloud edge nodes to connect to an external multi-computer node
US10666460B2 (en) 2017-10-02 2020-05-26 Vmware, Inc. Measurement based routing through multiple public clouds
JP6979520B2 (ja) * 2017-10-13 2021-12-15 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ネットワーク機能サービス発見のための方法および装置
US10979392B2 (en) * 2017-10-19 2021-04-13 Bank Of America Corporation Preventing unauthorized access to secure enterprise information systems using a multi-filtering and randomizing control system
US10587521B2 (en) * 2017-11-07 2020-03-10 Facebook, Inc. Hierarchical orchestration of a computer network
US11223514B2 (en) 2017-11-09 2022-01-11 Nicira, Inc. Method and system of a dynamic high-availability mode based on current wide area network connectivity
US10567288B1 (en) * 2017-11-28 2020-02-18 Juniper Networks, Inc. Automatic discovery, scaling, and load balancing of multiple cloud data centers in a software-defined network environment
US10616321B2 (en) 2017-12-22 2020-04-07 At&T Intellectual Property I, L.P. Distributed stateful load balancer
US11611905B2 (en) * 2017-12-27 2023-03-21 Intel Corporation User-plane apparatus for edge computing
US11153122B2 (en) 2018-02-19 2021-10-19 Nicira, Inc. Providing stateful services deployed in redundant gateways connected to asymmetric network
CN110419232A (zh) 2018-02-28 2019-11-05 慧与发展有限责任合伙企业 选择接入点的角色
EP3557817A1 (en) * 2018-04-18 2019-10-23 Nokia Technologies Oy First network node, method to operate the first network node, second network node, and method to operate the second network node
CN108848093B (zh) * 2018-06-21 2021-02-09 中国人民解放军战略支援部队信息工程大学 路由计算单元和网络节点设备
US10779155B2 (en) 2018-07-17 2020-09-15 At&T Intellectual Property I, L.P. Customizable and low-latency architecture for cellular core networks
US11245753B2 (en) * 2018-08-17 2022-02-08 Fastly, Inc. User space redirect of packet traffic
US11115327B2 (en) * 2018-08-24 2021-09-07 Oracle International Corporation Methods, systems, and computer readable media for providing mobile device connectivity
CN110366169B (zh) * 2018-09-13 2021-02-26 新华三技术有限公司 漫游方法和装置
CN110972208B (zh) * 2018-09-28 2021-07-09 华为技术有限公司 一种切片信息处理方法及装置
CN109041086B (zh) * 2018-09-28 2020-10-20 新华三技术有限公司 一种OpenFlow实例的配置方法及装置
US10944646B2 (en) * 2018-10-27 2021-03-09 Cisco Technology, Inc. Enabling multiple provider software defined network programming using blockchain distributed ledgers
US11463511B2 (en) 2018-12-17 2022-10-04 At&T Intellectual Property I, L.P. Model-based load balancing for network data plane
TWI701921B (zh) * 2019-01-18 2020-08-11 中華電信股份有限公司 在軟體定義網路架構下用於修復無線分散系統之方法
US10986150B2 (en) * 2019-03-01 2021-04-20 Netskope, Inc. Load balancing in a dynamic scalable services mesh
DE102019207579A1 (de) * 2019-05-23 2020-11-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen von Datenaustausch in einem Kommunikationssystem
US11252105B2 (en) 2019-08-27 2022-02-15 Vmware, Inc. Identifying different SaaS optimal egress nodes for virtual networks of different entities
US11044190B2 (en) 2019-10-28 2021-06-22 Vmware, Inc. Managing forwarding elements at edge nodes connected to a virtual network
US11297131B2 (en) * 2019-12-10 2022-04-05 Oracle International Corporation Method and apparatus for multi-vendor GTM fabric
US11489783B2 (en) 2019-12-12 2022-11-01 Vmware, Inc. Performing deep packet inspection in a software defined wide area network
US11394640B2 (en) 2019-12-12 2022-07-19 Vmware, Inc. Collecting and analyzing data regarding flows associated with DPI parameters
US11722925B2 (en) 2020-01-24 2023-08-08 Vmware, Inc. Performing service class aware load balancing to distribute packets of a flow among multiple network links
US11412367B2 (en) * 2020-06-08 2022-08-09 Cisco Technology, Inc. Seamless mobility between 802.11ax and 802.11ay Wi-Fi technologies
CN111510517B (zh) * 2020-06-30 2020-09-15 上海有孚智数云创数字科技有限公司 一种网络动态优化分配方法、分配***及可读存储介质
US11245641B2 (en) 2020-07-02 2022-02-08 Vmware, Inc. Methods and apparatus for application aware hub clustering techniques for a hyper scale SD-WAN
US11709710B2 (en) 2020-07-30 2023-07-25 Vmware, Inc. Memory allocator for I/O operations
US11575591B2 (en) 2020-11-17 2023-02-07 Vmware, Inc. Autonomous distributed forwarding plane traceability based anomaly detection in application traffic for hyper-scale SD-WAN
US11342947B1 (en) 2020-11-19 2022-05-24 Microsoft Technology Licensing, Llc Packet prioritization for network-based software-defined radio
US11575600B2 (en) 2020-11-24 2023-02-07 Vmware, Inc. Tunnel-less SD-WAN
CN112637265B (zh) * 2020-11-25 2022-07-12 新华三技术有限公司 一种设备管理方法、装置及存储介质
US11929903B2 (en) 2020-12-29 2024-03-12 VMware LLC Emulating packet flows to assess network links for SD-WAN
CN116783874A (zh) 2021-01-18 2023-09-19 Vm维尔股份有限公司 网络感知的负载平衡
US11979325B2 (en) 2021-01-28 2024-05-07 VMware LLC Dynamic SD-WAN hub cluster scaling with machine learning
US11716283B2 (en) 2021-03-05 2023-08-01 Oracle International Corporation Methods, systems, and computer readable media for selecting a software defined wide area network (SD-WAN) link using network slice information
US20220301012A1 (en) * 2021-03-18 2022-09-22 At&T Intellectual Property I, L.P. Apparatuses and methods for facilitating a generation and use of models
US11388086B1 (en) 2021-05-03 2022-07-12 Vmware, Inc. On demand routing mesh for dynamically adjusting SD-WAN edge forwarding node roles to facilitate routing through an SD-WAN
US11729065B2 (en) 2021-05-06 2023-08-15 Vmware, Inc. Methods for application defined virtual network service among multiple transport in SD-WAN
US11653268B2 (en) * 2021-06-15 2023-05-16 Microsoft Technology Licensing, Llc Dynamically adjusting the bandwidth of downlink transmissions based on a radio access technology used by a radio access network
US11489720B1 (en) 2021-06-18 2022-11-01 Vmware, Inc. Method and apparatus to evaluate resource elements and public clouds for deploying tenant deployable elements based on harvested performance metrics
US11729692B2 (en) * 2021-06-25 2023-08-15 T-Mobile Usa, Inc. Mobility management for mobile device edge computing
US11838206B2 (en) 2021-07-23 2023-12-05 Vmware, Inc. Edge node with datapath split between pods
US11375005B1 (en) 2021-07-24 2022-06-28 Vmware, Inc. High availability solutions for a secure access service edge application
CN114024970A (zh) * 2021-09-28 2022-02-08 国网辽宁省电力有限公司锦州供电公司 基于边缘计算的电力物联网工作负载分配方法
US11943146B2 (en) 2021-10-01 2024-03-26 VMware LLC Traffic prioritization in SD-WAN
EP4178175A1 (en) * 2021-11-08 2023-05-10 GlobalM SA Live streaming technologies
US20240056495A1 (en) * 2021-12-28 2024-02-15 Rakuten Mobile, Inc. 5g service based architecture (sba) communication based on machine learning
US11799761B2 (en) 2022-01-07 2023-10-24 Vmware, Inc. Scaling edge services with minimal disruption
US11962564B2 (en) 2022-02-15 2024-04-16 VMware LLC Anycast address for network address translation at edge
US11496396B1 (en) 2022-04-25 2022-11-08 Mimyr, Llc Distributed software-defined network
US11909815B2 (en) 2022-06-06 2024-02-20 VMware LLC Routing based on geolocation costs
US11743191B1 (en) 2022-07-25 2023-08-29 Vmware, Inc. Load balancing over tunnel endpoint groups
CN116017581A (zh) * 2022-12-14 2023-04-25 深圳千通科技有限公司 5g流量分流方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106333A1 (en) * 2010-10-29 2012-05-03 Futurewei Technologies, Inc. Network Aware Global Load Balancing System and Method
US20130297798A1 (en) * 2012-05-04 2013-11-07 Mustafa Arisoylu Two level packet distribution with stateless first level packet distribution to a group of servers and stateful second level packet distribution to a server within the group
US20150124815A1 (en) * 2013-11-04 2015-05-07 Telefonaktiebolaget L M Ericsson (Publ) Service chaining in a cloud environment using software defined networking

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006005224A1 (fr) * 2004-07-12 2006-01-19 Zte Corporation Procede d'equilibrage de charge d'un reseau local sans fil
JP4616732B2 (ja) 2005-09-02 2011-01-19 株式会社日立製作所 パケット転送装置
US20090094611A1 (en) 2005-12-15 2009-04-09 Anders Danne Method and Apparatus for Load Distribution in Multiprocessor Servers
US8230069B2 (en) 2008-03-04 2012-07-24 International Business Machines Corporation Server and storage-aware method for selecting virtual machine migration targets
CN102171664B (zh) 2008-08-06 2014-12-03 莫维克网络公司 无线电接入网(ran)中的内容高速缓存
CN101686509B (zh) * 2008-09-23 2014-03-26 株式会社Ntt都科摩 基站网关、基站网关实现基站切换的方法和数据处理方法
US8428610B2 (en) 2008-11-17 2013-04-23 Cisco Technology, Inc. Dynamic load balancing in a communication network
KR101638668B1 (ko) 2009-08-21 2016-07-11 인터디지탈 패튼 홀딩스, 인크 상이한 무선 액세스 기술들에 대해 다운링크 업링크를 분리하기 위한 멀티 무선 액세스 기술 계층에 대한 방법 및 장치
JP5585584B2 (ja) * 2009-09-28 2014-09-10 日本電気株式会社 移動通信システム、移動通信方法及びプログラム
US8881236B2 (en) 2011-02-04 2014-11-04 Futurewei Technologies, Inc. Method and apparatus for a control plane to manage domain-based security and mobility in an information centric network
WO2012148442A1 (en) 2011-04-29 2012-11-01 Intel Corporation Techniques to manage energy savings for interoperable radio access technology networks
US8873398B2 (en) 2011-05-23 2014-10-28 Telefonaktiebolaget L M Ericsson (Publ) Implementing EPC in a cloud computer with openflow data plane
US8908507B2 (en) 2011-07-21 2014-12-09 Movik Networks RAN analytics, control and tuning via multi-protocol, multi-domain, and multi-RAT analysis
US8762501B2 (en) * 2011-08-29 2014-06-24 Telefonaktiebolaget L M Ericsson (Publ) Implementing a 3G packet core in a cloud computer with openflow data and control planes
US20130094472A1 (en) * 2011-10-14 2013-04-18 Qualcomm Incorporated Methods and apparatuses for reducing voice/data interruption during a mobility procedure
US8516567B2 (en) * 2011-11-29 2013-08-20 Motorola Solutions, Inc. Distributed firewalling in a wireless communication network
US8521905B2 (en) 2011-12-22 2013-08-27 Telefonaktiebolaget L M Ericsson (Publ) System for flexible and extensible flow processing in software-defined networks
US9059862B2 (en) 2012-03-13 2015-06-16 Verizon Patent And Licensing Inc. Evolved packet core (EPC) network failure prevention
US8902754B2 (en) 2012-04-17 2014-12-02 Tektronix, Inc. Session-aware GTPv2 load balancing
US9729424B2 (en) 2012-06-11 2017-08-08 Futurewei Technologies, Inc. Defining data flow paths in software-defined networks with application-layer traffic optimization
US8942715B2 (en) 2012-08-02 2015-01-27 Apple Inc. Distributed computing in a wireless communication system
JP2015146470A (ja) * 2012-09-05 2015-08-13 日本電気株式会社 無線通信端末、情報処理装置、通信方法、制御方法、プログラムおよび配信サーバ
EP2907341B1 (en) * 2012-09-25 2020-07-15 Parallel Wireless Inc. Heterogeneous self-organizing network for access and backhaul
CN102938910B (zh) 2012-11-30 2015-02-18 西安电子科技大学 基于邻区负载信息的增强型负载均衡方法
US20140259012A1 (en) * 2013-03-06 2014-09-11 Telefonaktiebolaget L M Ericsson (Publ) Virtual machine mobility with evolved packet core
US9391749B2 (en) 2013-03-14 2016-07-12 Ashwin Amanna, III System and method for distributed data management in wireless networks
GB201306891D0 (en) * 2013-04-16 2013-05-29 Truphone Ltd International converged mobile services
KR20140135000A (ko) * 2013-05-15 2014-11-25 삼성전자주식회사 소프트웨어정의네트워킹 기반 통신시스템의 서비스 처리 방법 및 장치
US9271197B2 (en) 2013-05-22 2016-02-23 Futurewei Technologies, Inc. System and method for distributed evolved packet core architecture
KR102088721B1 (ko) 2013-06-25 2020-03-13 삼성전자주식회사 SDN 기반 LTE Network 구조 및 동작 방안
JP6147586B2 (ja) * 2013-06-25 2017-06-14 株式会社東芝 無線通信システム、無線基地局制御装置及び無線通信方法
US9998967B2 (en) * 2013-07-17 2018-06-12 Interdigital Patent Holdings, Inc. Software defined networking distributed and dynamic mobility management
EP3036938A4 (en) * 2013-08-23 2017-04-12 Samsung Electronics Co., Ltd. Mobile software defined networking (mobisdn)
WO2015035026A1 (en) 2013-09-05 2015-03-12 Mavenir Systems, Inc Converged media packet gateway for a novel lte data and voice core network architecture
CN103532878B (zh) * 2013-09-26 2017-01-04 华为技术有限公司 数据包的处理方法和网络流量的管理方法及装置和***
CN105637905B (zh) * 2013-10-14 2019-09-13 华为技术有限公司 用于实现pdn连接的方法、装置和***
US20150124622A1 (en) * 2013-11-01 2015-05-07 Movik Networks, Inc. Multi-Interface, Multi-Layer State-full Load Balancer For RAN-Analytics Deployments In Multi-Chassis, Cloud And Virtual Server Environments
US20160301595A1 (en) * 2013-11-27 2016-10-13 Nec Corporation Communication system, communication method, network information combination apparatus, processing rule conversion method, and processing rule conversion program
US9397917B2 (en) * 2014-01-10 2016-07-19 Huawei Technologies Co., Ltd. System and method for zoning in software defined networks
EP3110083A4 (en) * 2014-02-19 2017-10-18 Nec Corporation Communication system, control device, communication control method and program
CN104023335A (zh) 2014-05-28 2014-09-03 北京邮电大学 一种基于sdn的异构网络融合架构
US10021594B2 (en) 2014-06-26 2018-07-10 Gilat Satellite Networks Ltd. Methods and apparatus for optimizing tunneled traffic
AU2014101209A4 (en) * 2014-09-18 2014-11-13 Tech Mahindra Ltd. System and method for orchestrating dynamic recovery actions for business services across traditional and sdn supporting openflow protocol
KR101608593B1 (ko) 2014-10-07 2016-04-01 숭실대학교산학협력단 Sdn 기반 분산형 모바일 네트워크에서의 이동 단말의 이동성을 지원하는 방법 및 그 장치
CN104301146A (zh) * 2014-10-23 2015-01-21 杭州华三通信技术有限公司 软件定义网络中的链路切换方法和装置
US10028083B2 (en) 2014-11-05 2018-07-17 At&T Intellectual Property I, L.P. Mobility management
WO2016086214A1 (en) 2014-11-28 2016-06-02 Huawei Technologies Co., Ltd Systems and methods for providing customized virtual wireless networks based on service oriented network auto-creation
US9497123B2 (en) * 2014-12-18 2016-11-15 Telefonaktiebolaget L M Ericsson (Publ) Method and system for load balancing in a software-defined networking (SDN) system upon server reconfiguration
WO2016134752A1 (en) 2015-02-24 2016-09-01 Nokia Solutions And Networks Oy Integrated services processing for mobile networks
US9628292B2 (en) 2015-04-23 2017-04-18 Fortinet, Inc. Intelligent bridging of Wi-Fi flows in a software-defined network (SDN)
US10200480B2 (en) 2015-06-29 2019-02-05 Huawei Technologies Co., Ltd. System and method for connectivity management
US9264944B1 (en) * 2015-07-06 2016-02-16 Peerless Network, Inc. SBC-localized handoff
US10292125B2 (en) * 2015-09-02 2019-05-14 Huawei Technologies Co., Ltd. Method and apparatus for interoperability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120106333A1 (en) * 2010-10-29 2012-05-03 Futurewei Technologies, Inc. Network Aware Global Load Balancing System and Method
US20130297798A1 (en) * 2012-05-04 2013-11-07 Mustafa Arisoylu Two level packet distribution with stateless first level packet distribution to a group of servers and stateful second level packet distribution to a server within the group
US20150124815A1 (en) * 2013-11-04 2015-05-07 Telefonaktiebolaget L M Ericsson (Publ) Service chaining in a cloud environment using software defined networking

Also Published As

Publication number Publication date
CN107925920B (zh) 2021-04-13
EP3726815A1 (en) 2020-10-21
GB2556745A (en) 2018-06-06
GB201801423D0 (en) 2018-03-14
GB2556745B (en) 2019-09-11
KR20180035234A (ko) 2018-04-05
DE112016004283T5 (de) 2018-05-30
GB2556746B (en) 2021-09-15
EP3726815B1 (en) 2022-04-13
KR101998355B1 (ko) 2019-07-09
DE112016004286T5 (de) 2018-06-21
CN107925681B (zh) 2021-07-30
CN108886825B (zh) 2022-02-18
EP3318047A4 (en) 2018-11-21
US20170086115A1 (en) 2017-03-23
EP3318084B1 (en) 2020-07-29
JP6513878B2 (ja) 2019-05-15
JP6564934B2 (ja) 2019-08-21
CN107925681A (zh) 2018-04-17
EP3318047B1 (en) 2020-12-09
US20200092207A1 (en) 2020-03-19
JP6577061B2 (ja) 2019-09-18
GB2556746A (en) 2018-06-06
WO2017053303A1 (en) 2017-03-30
US11070477B2 (en) 2021-07-20
US20170086191A1 (en) 2017-03-23
US10868762B2 (en) 2020-12-15
WO2017053305A1 (en) 2017-03-30
KR20180023058A (ko) 2018-03-06
AU2016325529B2 (en) 2018-11-15
CN107925920A (zh) 2018-04-17
GB201801422D0 (en) 2018-03-14
US10476799B2 (en) 2019-11-12
JP2018534796A (ja) 2018-11-22
CN108886825A (zh) 2018-11-23
US10469391B2 (en) 2019-11-05
AU2016325529A1 (en) 2018-02-15
EP3311624B1 (en) 2020-07-22
EP3318047A1 (en) 2018-05-09
WO2017053301A1 (en) 2017-03-30
EP3318084A1 (en) 2018-05-09
EP3311624A1 (en) 2018-04-25
JP2018532282A (ja) 2018-11-01
US20170085486A1 (en) 2017-03-23
JP2018534645A (ja) 2018-11-22

Similar Documents

Publication Publication Date Title
KR102023177B1 (ko) 분산형 소프트웨어 정의 네트워크 패킷 코어 시스템에서 로드 밸런싱을 위한 시스템들 및 방법들
US11929977B2 (en) System, apparatus and method to support data server selection
JP5323861B2 (ja) ネットワーク・リソースをプールするための方法および装置
US20180302877A1 (en) System and method to facilitate slice management in a network environment
EP3827577B1 (en) System and method for intelligently managing sessions in a mobile network
Jeon et al. Distributed mobility management for the future mobile networks: A comprehensive analysis of key design options
CN114365518A (zh) 一种通过服务应用影响核心网络中数据业务路由的方法
US20220345532A1 (en) Apparatus, method, and computer program
US20210195465A1 (en) Traffic in a distributed cloud system
Wu et al. Distributed mobility management with ID/locator split network-based for future 5G networks
Shetty et al. Multi-Access Edge Computing in 5G

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right