KR102420744B1 - 사물 인터넷 패킷 스케쥴링 제어 방법 및 싱크 노드 장치 - Google Patents

Abstract

본 발명의 사물 인터넷 패킷 스케쥴링 제어 방법은, 센서 노드로부터 현재 전송 대기중인 데이터 패킷의 상태를 싱크 노드로 전송하는 단계; 상기 싱크 노드에서 강화 학습을 이용하여 상기 센서 노드의 데이터 패킷의 상태를 학습하는 단계; 학습된 결과에 따라 다수 개의 센서 노드들로부터의 데이터 패킷 전달을 스케쥴링하는 단계; 및 스케쥴링에 의해 결정된 각 센서 노드가 이행할 프레임 크기와 전송할 패킷의 수를 상기 각 센서 노드에게 전송하는 단계를 포함할 수 있다.

Description

사물 인터넷 패킷 스케쥴링 제어 방법 및 싱크 노드 장치{IoT Packet Scheduling Control Method and Sink Node Device}

본 발명은 무선 센서 네트워크(WSN: Wireless Sensor Network)를 구성하는 사물인터넷 환경에서의 강화 학습을 이용한 패킷 스케쥴링 및 프레임 제어 방법 및 이를 수행하는 싱크 노드 장치에 관한 것이다.

무선 센서 네트워크(WSN: Wireless Sensor Network)는 다수의 센서 노드들이 센싱 영역에 배치되 스스로 네트워크를 구성하고, 센서 노드가 획득한 센싱 정보를 원격으로 전송하는 네트워크이다.

무선 센서 네트워크는 지능형 빌딩 또는 공장 내의 환경 제어, 생산 공정 자동 제어, 물류 관리, 병원에서의 물품 및 정보 관리, 환자 상태의 원격 감지, 군사 통제 등 다양한 분야에서 사용되고 있다.

초기에 군사 작전을 주목적으로 사용되어 왔던 센서네트워크는 반도체 기술의 향상으로 인하여 프로세서의 소형화, 고성능화가 진행되고, 메모리 용량의 대형화 및 저비용화가 실현되는 한편, 무선 통신 등의 기술 발전에 힘입어 민간 부문에서도 상용화되기 직전까지 와있다. 현재 제안되고 있는 센서네트워크 기술 응용례는 무인 경비, 일정 지역의 또는 수역의 온도나 오염도 등의 상태를 감시하는 환경 감시, 원격 검침, 설비 감시 등 실로 다양하며, 홈 네트워크 시스템과 인터넷 망과 연동하여 동작되는 응용례도 제안되고 일부 실시되고 있다.

센서네트워크의 기본 구조는 독자적 감지 능력과 컴퓨팅 능력이 있는 복수 개의 네트워크 노드가 통신망에 의하여 상호 연결된 구조이며, 각 노드의 전력은 노드별로 위치하는 로컬 배터리를 통해 공급된다. 그러나, 각 노드에 전원을 공급하는 배터리는 각 노드의 이동성을 고려하여 비교적 소용량 배터리이기 때문에 에너지 사용에 극히 제약적인 단점이 있으며, 이를 극복하기 위하여 네트워크 전 분야에 걸쳐 전력 소비 저감에 관한 연구가 진행되어 왔다. 연구 방향의 주된 흐름은 각 노드간의 무선 통신의 횟수 또는 통신량을 감소시켜 네트워크 생존시간을 최대화 하려는 것이지만, 현재까지 에너지 소비를 효율적으로 이룰 수 있는 구체적인 방법이 제시되지 못하고 있으며 네트경로 탐색이나 데이터 병합 포인트에 대한 연구 등이 발표된 바 있으나 실질적 데이터 전송량 저감을 이루어내지 못하고 있다.

정리하면, 무선 센서 네트워크는 배터리로 동작하고 배터리 전원이 고갈되면 기능할 수 없다는 특징 때문에 에너지 효율을 극대화하기 위한 전송기법이 절실히 요구된다. 그러나, 기존 기술은 특정 운영조건에 한하여 제한적으로 적용가능하고, 시간에 따라서 통계적 특성이 변하는 경우에 대해서는 적응성이 미흡하였다.

대한민국 등록공보 10-0627328호

본 발명은 시간에 따라서 통계적 특성이 변하는 환경에서도 높은 에너지 효율을 유지할 수 있는 사물 인터넷 패킷 스케쥴링 제어 방법 및 싱크 노드 장치를 제공하고자 한다.

구체적으로, 본 발명은 싱크 노드를 중심으로 다수의 센서노드들이 전송을 하는 경우 센서노드의 수명, 즉, 네트워크의 수명을 극대화하기 위한 목적으로 센서노드들의 활성화되는 프레임의 길이, 프레임동안 각 센서노드가 전송할 패킷의 수를 강화 학습 기법을 이용하여 결정하는 알고리즘을 제안한다.

본 발명의 일 측면에 따른 사물 인터넷 패킷 스케쥴링 제어 방법은, 센서 노드로부터 현재 전송 대기중인 데이터 패킷의 상태를 싱크 노드로 전송하는 단계; 상기 싱크 노드에서 강화 학습을 이용하여 상기 센서 노드의 데이터 패킷의 상태를 학습하는 단계; 학습된 결과에 따라 다수 개의 센서 노드들로부터의 데이터 패킷 전달을 스케쥴링하는 단계; 및 스케쥴링에 의해 결정된 각 센서 노드가 이행할 프레임 크기와 전송할 패킷의 수를 상기 각 센서 노드에게 전송하는 단계를 포함할 수 있다.

여기서, 상기 각 센서 노드로부터 전송에서 결정한 상기 프레임 크기와 전송할 패킷의 수를 적용하여 전송한 결과를 상기 강화 학습에 적용하는 단계를 더 포함할 수 있다.

여기서, 상기 센서 노드의 데이터 전송을 위한 보상 함수를 설계하는 단계를 더 포함할 수 있다.

여기서, 상기 보상 함수를 설계하는 단계에서는, 큐-러닝 기법을 이용하여 네트워크 수명과 전송율을 극대화하기 위한 보상함수(reward function)를 설계할 수 있다.

여기서, 상기 강화 학습은, 상태(state)로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷의 지연시간을 적용하고, 행동(action)으로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷을 위한 프레임 길이 및 패킷 수를 적용하고, 보상(reward)으로서 상기 센서 노드에서 상기 싱크 노드로 데이터 패킷 전달의 품질을 적용하는 큐-러닝 기법일 수 있다.

여기서, 상기 상태(state)는 하기 수학식에 따라 설정될 수 있다.

상태 = (d_1, d_2, ... , d_k)

(d_k는 큐에 있는 k번째 패킷의 지연시간(delay))

또는, 상기 상태(state)는 하기 수학식에 따라 설정될 수 있다.

상태 = (r_1, r_2, ... , r_k)

(r_k는 큐에 있는 k번째 패킷의 잔존 지연시간)

여기서, 상기 행동(action)은 하기 수학식에 따라 설정될 수 있다.

행동 = (L, n_1, n_2, ... n_N)

(L은 프레임의 길이, n_k는 k번째 센서노드가 이번 프레임에서 보낼 패킷의 수)

여기서, 상기 보상(reward)은 하기 수학식에 따라 설정될 수 있다.

보상 = L x QoS

(L은 프레임의 길이, QoS는 행동을 통해서 지시한 각 센서노드별 전송할 패킷의 수가 얼마나 효과적인지를 나타내는 지표)

여기서, 상기 스케쥴링하는 단계는, 학습된 결과에 따라 프레임 크기를 결정하는 단계; 및 학습된 결과에 따라 각 센서노드에 대하여 각 프레임에서 전송할 패킷의 수를 결정할 수 있다.

여기서, 상기 스케쥴링하는 단계에서는, 다수의 센서 노드들에 대한 강화 학습은 각 센서 노드별로 개별적으로 수행하되, 학습 결과 행동에 대한 불일치가 발생하는 경우, 활용(exploitation)으로부터 도출된 행동에 우선 순위를 부여할 수 있다.

여기서, 상기 스케쥴링하는 단계에서는, 새로운 센서 노드의 연결시, 기존의 학습이 가장 활발한 센서 노드의 가치 테이블(value table)을 복사할 수 있다.

본 발명의 다른 측면에 따른 싱크 노드 장치는, 각 센서 노드로부터 센싱 데이터가 담긴 패킷을 수신하는 센서 노드 수신부; 각 센서 노드에서의 데이터 전송을 위해 설계된 보상 함수 및 각 센서 노드의 상태 정보가 기록된 저장부; 각 센서 노드에 대하여 결정된 프레임 크기 및 패킷 수를 전송하는 센서 노드 송신부; 강화 학습을 이용하여 각 센서 노드 상태에 대한 프레임 크기 및 패킷 수를 학습하는 강화 학습부; 및 상기 학습부의 학습된 결과에 따라 각 센서 노드에 대하여 프레임 크기 및 패킷 수를 결정하는 스케쥴러를 포함할 수 있다.

여기서, 상기 강화 학습은, 상태(state)로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷의 지연시간을 적용하고, 행동(action)으로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷을 위한 프레임 길이 및 패킷 수를 적용하고, 보상(reward)으로서 상기 센서 노드에서 상기 싱크 노드로 데이터 패킷 전달의 품질을 적용하는 큐-러닝 기법일 수 있다.

여기서, 상기 강화 학습부는, 상기 싱크 노드 장치가 담당하는 센서 노드들 각각에 대하여 강화 학습을 지속적으로 계속 수행하되, 각 센서 노드에 대하여 현재 시점까지 완료된 강화 학습 결과를 상기 저장부에 각 센서 노드를 위해 할당된 영역에 저장할 수 있다.

상술한 구성의 본 발명의 사상에 따른 사물 인터넷 패킷 스케쥴링 제어 방법 및/또는 싱크 노드 장치를 실시하면, 시간에 따라서 통계적 특성이 변하는 환경에서도 사물 인터넷 장치의 높은 에너지 효율을 유지할 수 있는 이점이 있다.

본 발명의 사물 인터넷 패킷 스케쥴링 제어 방법 및/또는 싱크 노드 장치는, 지연시간으로 표현된 QoS도 만족하면서도 에너지 효율을 제고하여 센서의 수명을 극대화하는 이점이 있다.

도 1은 본 발명의 실시예에 따른 무선 센서 네트워크 통신환경의 개념도.
도 2는 본 발명의 실시예에 따른 싱크노도와 다수의 센서노드들간의 통신 방식에 관한 개념도.
도 3은 본 발명의 실시예에 따른 큐-러닝기반 프레임 길이 및 패킷 스케쥴링 개념도.
도 4는 본 발명의 사상에 따른 사물 인터넷 패킷 스케쥴링 제어 방법의 일 실시예를 도시한 흐름도.
도 5는 본 발명의 사상에 따른 사물 인터넷 패킷 스케쥴링 제어 방법을 수행할 수 있는 싱크 노드 장치의 일 실시예를 도시한 블록도.

본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.

또한, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

본 발명에서는 인공지능 기법 중에서 강화학습계열의 학습알고리즘인 큐-러닝 (Q-learning)를 이용하여 에너지 효율을 결정짓는 핵심 파라미터인 프레임의 길이, 한 프레임당 전송할 패킷의 수를 결정한다.

큐-러닝 기법은 학습과 실행을 지능적으로 병행하면서 환경변화에 대한 적응성을 제고하고 보다 효과적인 제어를 가능하게 해준다.

먼저, 본 발명의 사상이 적용될 수 있는 무선 센서 네트워크에 대하여 기술하겠다.

도 1은 본 발명의 실시예에 따른 무선 센서 네트워크 통신환경의 개념도이다.

도 2는 본 발명의 실시예에 따른 싱크노도와 다수의 센서노드들간의 통신 방식에 관한 개념도이다.

도면에서, 싱크와 센서노드 간의 통신은 프레임이라는 시간 단위로 일어나며 싱크가 프레임의 시작을 알리는 패킷을 보내고 그 패킷 안에는 현재 프레임의 길이, 각 센서노드 별 전송할 패킷의 수를 알려준다. 각 노드는 패킷을 전송한 이후에는 다음 프레임이 시작할 때까지 수면모드(sleeping mode)을 유지하면서 에너지를 절감하게 된다.

도 3은 본 발명의 실시예에 따른 큐-러닝기반 프레임 길이 및 패킷 스케쥴링 개념도이다.

본 발명에서 제안하는 기술은 다수의 센서노드를 운영하는 사물인터넷(Internet of Things: IoT) 환경에서 큐-러닝 (Q-learning)를 이용하여 센서노드의 데이터 전송량, 프레임의 길이를 제어하기 위한 것이다.

센서노드는 발생된 센싱 데이터를 이를 수집하는 싱크노드에 전송하게 되는데, 센싱 데이터는 데이터의 특성에 따라서 일정시간 안에 전송되어야 하는 지연시간 요건을 갖는다.

싱크노드를 이 요건을 감안하여 센서노드의 전송량을 적절히 스케쥴링 해야한다. 또한, 모든 센서노드는 에너지 절감을 목적으로 한 프레임 시간 내에서 전송(활성화)후 수면상태을 유지하게 되고 이런 형태의 프레임은 센서노드가 동작하는 동안 계속 반복된다.

싱크노드는 매 프레임마다 프레임의 크기를 제어하여 에너지 절감을 수행한다. 본 발명의 사상에 따라, 싱크노드는 큐-러닝 기법을 사용하여 센서노드의 수명과 전송률을 극대화하는 목적으로 학습을 수행하며 이를 바탕으로 매 프레임마다 각 센서노드의 전송량 (패킷수)과 프레임의 크기를 제어한다.

도 4는 본 발명의 사상에 따른 사물 인터넷 패킷 스케쥴링 제어 방법의 일 실시예를 도시한 흐름도이다.

도시한 흐름도에 따른 사물 인터넷 패킷 스케쥴링 제어 방법은, 센서 노드 데이터 전송을 위한 보상 함수를 설계하는 단계(S20); 센서 노드의 상태를 정의하는 단계(S40); 센서 노드로부터 현재 전송 대기중인 패킷의 상태를 싱크에서 전송하는 단계(S120); 싱크에서 큐-러닝 기법을 이용하여 노드 상태 및 패킷 상태를 학습하는 단계(S140); 큐-러닝에 따라 프레임(일종의 타임슬롯의 집합체임) 크기를 결정하는 단계(S150); 큐-러닝에 따라 각 센서노드 당 현 프레임에서 전송할 패킷의 수를 결정하는 단계(S160); 프레임 크기와 전송할 패킷의 수를 센서노드들에게 전송하는 단계(S170); 및 전송의 결과를 고려하여 큐-러닝 학습을 수행하는 단계(S180)를 포함한다.

센서 노드 데이터 전송을 위한 보상 함수는 다음과 같은 방식으로 설계될 수 있다.

보상 함수는 적용하는 강화 학습 방법에 적합한 것들로 설계될 수 있는데, 하기 실시예의 설명에서는 학습 효과가 우수하다고 알려진 큐러닝 기법을 적용하는 경우로 구체화하여 기술한다.

먼저 큐러닝 기법을 무선 센서 네트워크에 적용하여, 보상함수를 설계하는 과정(S20)부터 살펴보겠다.

보상함수를 설계하는 단계(S20)에서는, 무선 센서 네트워크 시스템의 종류(서비스 업체나 장비 사양으로 정의할 수 있음)에 특정되어 보상함수가 설계되거나, 각 무선 센서 네트워크 시스템이 설치되는 사이트에 특정되어 보상함수가 설계될 수 있다.

보상 함수를 설계하는 과정에는 큐러닝 알고리즘을 구성하는 상기 센서 노드의 상태(state)를 정의하는 과정이 포함되는 것이 일반적이다. 그러나, 도면에서는 센서 노드와 싱크 노드간의 주고받는 주요한 정보로서 센서 노드의 상태(state)를 강조하기 위해, 상기 센서 노드의 상태를 정의하는 단계(S40)를 구분하였다.

무선 센서 네트워크 시스템의 운영의 관점에서는, 상기 보상함수를 설계하는 단계(S20)는, 시스템 구축시에 실행되는 과정으로서 생략될 수 있음을 밝혀둔다. 마찬가지로 무선 센서 네트워크 시스템의 운영의 관점에서 상기 센서 노드의 상태를 정의하는 단계(S40)도 생략될 수 있다.

본 발명에는 다양한 강화학습을 적용할 수 있는데, 이중 적용이 용이하면서도 학습 효과가 우수한 강화학습인 큐-러닝 알고리즘을 적용한 경우로 구체화하여 설명하겠다.

큐-러닝 알고리즘을 구성하기 위해서는 상태(state), 행동(action), 보상(reward)를 다음과 같이 설정할 수 있다.

첫번째 상태(state)로서, 각 센서 노드는 센싱 데이터 전송을 위해서 패킷을 생성하며, 생성된 패킷은 센서 노드의 큐(queue)에서 전송 순서를 기다린다. 각 패킷은 일정시간 내에 전달되어야 요건이 있으며 이를 최대지연시간(maximum latency)이라 한다. 각 패킷은 최대지연시간이 지나기 전에 싱크노드에 전송되어야 한다. 만약 최대지연시간이 지나도 전송되지 않은 패킷은 센서 노드의 큐에서 제거하여 폐기한다. 센서 노드에 k개의 패킷이 큐에 있으면 이 각 패킷의 지연시간을 싱크노드에게 패킷으로 전달한다.

각 패킷의 지연시간을 반영하는 센서 노드의 상태(state)는 예컨대, 하기 수학식 1에 따라 정의될 수 있다.

[수학식 1]

상태 = (d_1, d_2, ... , d_k)

상기 수학식에서 d_k는 큐에 있는 k번째 패킷의 지연시간(delay)이다. k가 클수록 더 많은 정보를 제공하지만 상태 공간 S의 크기가 기하 급수적으로 증가하여, 후술하는 상태 공간의 절감 방법이 필요할 수 있다.

지연시간으로 구성된 상태정보를 패킷으로 보낼 때 구간별로 나누어 번호를 할당한 다음 0,1,2,.. 등의 정수 형태의 구간 번호를 보내는 것이 효과적이다.

두번째 행동(action)으로서, 싱크 노드는 각 센서 노드들이 보내온 상태, 보상을 고려한 큐-러닝 알고리즘을 실행해서 최상의 행동을 결정한다.

행동(action)은 예컨대 하기 수학식 2와 같은 두 가지 요소로 구성될 수 있다.

[수학식 2]

행동 = (L, n_1, n_2, ... n_N)

상기 수학식에서 L은 프레임의 (시간적)길이, n_k는 k번째 센서노드가 이번 프레임에서 보낼 패킷의 수이다. 싱크노드가 큐-러닝을 통해서 결정한 행동은 패킷에 실려서 전체 센서 노드에게 브로드캐스트(broadcast)된다. 행동정보를 수신한 각 센서노드는 프레임 길이를 확인하여 자신의 전송이 끝난 뒤 새로운 프레임이 시작될 때까지 수면에 돌입한다. 또한 행동에 제시된 패킷의 수 만큼 싱크노드에게 패킷을 전송하게 된다.

세번째, 보상(reward)에 대하여 기술한다.

운영 매개 변수를 스케줄링하는 목적은 지연 제약 조건을 충족하면서 네트워크 수명을 연장하는 것이다. 따라서 보상 기능은 학습 과정이 목표와 일치하도록 안내하도록 설계되어야 한다. 예컨대, 프레임 워크에서 보상 기능은 네트워크 수명과 지연 제한으로 표현되는 QoS 메트릭의 두 부분으로 구성될 수 있다.

다시말해, 보상은 큐-러닝을 통해서 우리가 얻고자하는 공학적 목적이 담겨야 한다. 본 발명에서 제안하는 방법 및 장치의 목적은 센서 네트워크의 수명을 극대화하게 동시에 최대지연시간내에 패킷을 전달하는 것이다. 이를 감안하여 본 발명에서 보상함수는 하기 수학식 3과 같이 설정될 수 있다.

[수학식 3]

보상 = L x QoS

상기 수학식에서 L은 프레임의 길이, QoS는 행동을 통해서 지시한 각 센서노드별 전송할 패킷의 수가 얼마나 효과적인지를 나타내는 지표이다.

QoS는 적용환경이나 목적에 따라 다양한 방식이 적용될 수 있다.

예컨대, 계산을 간략화하는 목적을 위한 예로서, 하기 수학식 4에 따른 QoS를 적용할 수 있다.

[수학식 4]

QoS = 1, if 이번 프레임에서 패킷의 손실(지연시간 초과로 인한)이 없는 경우,

= 0, if 이번 프레임에서 패킷의 손실(지연시간 초과로 인한)이 있는 경우.

상기 수학식 4에 따른 QoS를 적용하는 유형은 만료된 지연 제한으로 인해 패킷이 삭제되는 경우 0값을 할당하여 패킷 손실을 최소화하도록 설계한 것이다.

또 다른 예로서, 상기 수학식 4의 QoS와 달리 패킷 손실을 줄이는 것에 절대적인 가치를 두는 것을 선호하는 형식의 QoS는 하기 수학식 5에 따른 QoS를 적용할 수 있다.

[수학식 5]

QoS = n_t/ (n_t + n_t- + n_t^)

상기 수학식에서 n_t는 현 프레임에서 센서노드의 전송할 패킷의 수, n_t-는 현 프레임에서 스케쥴 받지 못해서 폐기된 패킷의 수, n_t^는 프레임 시작 이후에 도착해서 상태로 보고되지 않아서 폐기된 패킷의 수이다.

상기 보상 함수를 설계하는 단계(S20)에서는, 상술한 큐-러닝 알고리즘을 구성하는 상태(state), 행동(action), 보상(reward)에 대한, 상기 수학식들을 결정/선택할 수 있다.

이 경우, 후속되는 상기 센서 노드의 상태를 정의하는 단계(S40)에서는, 상기 수학식 1에 대한 파라미터들을 설정할 수 있다.

또한, 이미 구축된 센서 네트워크에 새로운 센서 노드가 추가되는 경우, 추가된 센서 노드에 대하여 상기 센서 노드의 상태를 정의하는 단계(S40)를 수행할 수 있다.

다음, 상기 센서 노드로부터 현재 전송 대기중인 패킷의 상태를 싱크에서 전송하는 단계(S120)에서, 각 센서 노드는 전송을 위해서 큐에서 대기중인 패킷의 전부 또는 일부의 지연시간 정보를 하기 수학식 6에 따른 형식으로 패킷에 실어서 보낼 수 있다.

[수학식 6]

상태 = (d_1, d_2, ... , d_k)

상기 수학식에서 d_k는 큐에 있는 k번째 패킷의 지연시간이다. 지연시간을 구간별로 나누어 번호를 할당한 다음 0,1,2,.. 등의 정수형태의 구간 번호를 보내는 것이 효과적이다. 예를 들어, 4초를 최대로 하여 20 등분하는 경우, 상태의 값은 하기 표 1과 같이 할당될 수 있다.

또한, 지연시간 대신 잔존시간으로 하기 수학식 7에 따라 상태를 구성할 수 있다.

[수학식 7]

상태 = (r_1, r_2, ... , r_k)

상기 수학식에서 r_k는 큐에 있는 k번째 패킷의 잔존 지연시간이다. 잔존시간이라 함은 패킷에 주어진 최대 전달 지연시간에서 현재의 지연 시간을 뺀 값으로 폐기되지 않기 위해서는 이 시간내에 전송되어야 함을 의미하는 것이다. 예를 들어 최대지연시간이 4초라면 상태들은 다음 표 2와 같이 구성될 수 있다.

다음, 강화학습을 수행하기 위한 보상 정보 및 보상 정보의 전송에 대하여 살펴본다.

보상 값은 큐-러닝을 운영하는데 필요한 필수 정보로서, 센서 노드는 보상 값을 다음 수학식 8에 의거하여 계산할 수 있다.

[수학식 8]

보상 = L x QoS

상기 수학식에 따른 보상 값은 센서 노드가 계산하여 패킷에 실어서 싱크 노드에게 전송하거나, 또는 싱크 노드가 이미 L(프레임 길이)를 알고 있으므로 QoS 값만 전송할 수도 있다.

다음 큐-러닝 기법을 이용하여 학습하는 단계(S140)에 대하여 살펴보겠다.

큐-러닝을 현재 상태가 s 라고 할 때, 다음 절차에 의해서 학습을 진행한다.

1. 초기화: 현재 상태 s, 행동 a

2. 파라미터: epsilon, ALPHA, GAMMA

3. if unif(0,1) < epsilon: # 0-1사이의 난수가 epsilon 보다 작을 때 탐험 (exploration)

4. a = random_action() # 임의의 행동 선택

5. else : # 활용 (exploitation)

6. a = optimal_action(s) # 최적 행동 a 선택. 현 상태 s 에서 가장 큰 가치값을 갖는 행동. a = (프레임길이, 각 센서노드별 전송할 패킷 수)

7. new_s, r = step(a) # 행동 a를 수행하고 이의 결과로 변화된 상태 new_s와 보상 r를 센서노드로부터 수신한다. 여기서 한 스텝은 한 프레임을 의미. 프레임 단위로 새로운 행동 지시

8. value[(new_s, a)] += (1-ALPHA) + (r + GAMMA *best_v(new_s)) * ALPHA # 여기서 best_v(new_s) 는 새로운 상태 new_s에서 취할 수 있는 행동중에서 최대 가치값을 갖는 행동의 가치

9. Goto 3: # 센서노드가 살아 있는 동안 3번으로 가서 다시 반복

다음, 상태공간의 절약 방안의 하나에 대하여 알아보겠다.

상태를 상기 수학식 6에 따라 상태 = (d_1, d_2, ... , d_k)로 나타내면 다음 수학식 9와 같은 관계가 있다.

[수학식 9]

d_1 ≥ d_2 ≥ d_3 ... ≥ d_k

또한, 상태를 잔존 지연시간으로 표현하면 상기 수학식 7에 따라 상태 = (r_1, r_2, ... , r_k)로 나타낼 수 있는데, 이 때에도 다음 수학식 10과 같은 관계가 성립한다.

[수학식 10]

r_1 ≤ r_2 ≤ r_3 ... ≤ r_k

큐-러닝 알고리즘을 운영하는데 전체 상태를 생성해야 되는데 상기의 성질을 착안하면 불가능 상태를 제거하면 메모리의 절약 및 실행속도를 빠르게 할 수 있다. 불가능 상태라 함은 예를 들어 k=5이고 지연시간으로 표현한 경우, (3,4,1,2,5)와 같은 경우를 말하는데 나중에 도착한 패킷이 지연시간이 길 수 없으므로 불가능 상태인 것이다.

다음, 선택적으로 중첩되어 적용가능한 스케쥴링 방법들에 대하여 기술한다.

첫번째 스케쥴링 방법에서는, 다수의 센서노드들에 대한 큐-러닝 학습은 각 센서별로 개별적으로 수행한다. 즉 N개의 센서노드가 있으면 싱크노드에는 N개의 개별적인 큐-러닝 모듈이 존재한다. 이는 센서노드의 이동성, 생성/사멸의 빈번함을 감안하여 통합하여 학습하는 것에 비해 장점이 있다.

두번째 스케쥴링 방법은, N개의 센서노드에 대한 개별적인 큐-러닝 학습결과 행동에 대한 불일치가 발생하는 경우를 대비한 것이다. 이때 우선순위는 탐험 (exploration)이 아닌 활용 (exploitation)으로부터 도출된 행동에 있다.

예를 들어 각 센서 노드에 대한 행동이 큐-러닝을 통해서 다음과 같이 도출되면, 센서노드 1, 2, 3만 고려하여 공통적인 프레임 길이를 결정하는 것이다.

센서노드 1: (L_1, n_1) <- exploitation

센서노드 2: (L_2, n_2) <- exploitation

센서노드 3: (L_3, n_3) <- exploitation

센서노드 4: (L_4, n_4) <- exploration

센서노드 5: (L_5, n_5) <- exploration

공통의 프레임길이를 결정하는 방법은 상기 예에서는, ①L_1, L_2, L_3의 최소값으로 결정하거나, 또는, ②Mean-square error를 최소화하는 L 값을 사용토록 결정할 수 있다.

상기 방법에 의해서 정해진 L(프레임길이)에 전송할 패킷의 수 (n_1 + n_2 + ... + n_5)를 수용할 수 없는 경우에는, ①각 n_i를 비례식으로 감소하여 floor한 값을 선택하거나(예컨대 10% 감소가 필요한 경우, floor(0.9*n_i)로 계산), 또는 ②전송할 노드의 잔존 지연시간이 상대적으로 큰 경우부터 n 값을 감소시키는 형식으로 결정할 수 있다.

세번째 스케쥴링 방법은, 새로운 센서 노드의 연결시 학습이 없는 상태에서 큐-러닝을 운영하는 것이 아닌 기존의 학습이 가장 활발한 노드의 가치 테이블 (value table)를 복사함으로써 학습 속도를 신속히 하는 것이다.

상기 프레임 크기와 전송할 패킷의 수를 센서노드들에게 전송하는 단계(S170)에서는, 상기 싱크 노드에서 상기 스케쥴링 방법으로 생성된 스케쥴링 정보로서 각 센서 노드에 프레임 크기와 전송할 패킷의 수를 지정하여 전송할 수 있다.

예컨대, 싱크 노드에서 행동을 전달하는 방안으로서, 싱크 노드는 프레임의 시작을 행동에 대한 정보(프레임길이, 전송할 패킷수)를 알리는 패킷으로 시작할 수 있다. 이때, 스케쥴링할 패킷의 수는 상기 패킷으로 시작하거나 블루투스의 폴링 형태로 센서노드를 지명하여 스케쥴링할 수 있다.

다음, 상기 스케쥴링 정보를 전송받은 센서 노드에서의 동작에 대하여 기술한다.

상기 각 센서 노드에서 전송받은 프레임 크기와 패킷의 수를 반영하여 센싱 데이터가 실린 패킷을 전송하고, 각 센서 노드는 패킷을 전송한 이후에는 다음 프레임이 시작할 때까지 수면모드(sleeping mode)을 유지하면서 에너지를 절감하게 된다.

다음, 상기 전송받은 프레임 크기와 패킷의 수를 반영한 센싱 패킷 전송의 결과들을 반영하여, 강화학습을 위한 센서 노드들의 다음 상태 정보를 수집하고, 상기 싱크 노드는 수집된 상기 다음 상태 정보를 강화학습으로서 큐 러닝에 반영한다(S180).

한편, 각 센서 노드에서 제로 패킷에 대한 처리 방안으로서, 센서 노드에 보낼 데이터가 존재하지 않는 경우, 데이터가 없는 짧은 제어 패킷을 통해서 상태를 전달할 수 있다.

도 5는 본 발명의 사상에 따른 사물 인터넷 패킷 스케쥴링 제어 방법을 수행할 수 있는 싱크 노드 장치의 일 실시예를 도시한다.

도시한 싱크 노드 장치는, 각 센서 노드로부터 센싱 데이터가 담긴 패킷을 수신하는 센서 노드 수신부(120); 각 센서 노드에서의 데이터 전송을 위해 설계된 보상 함수 및 각 센서 노드의 상태 정보가 기록된 저장부(180); 각 센서 노드로부터 현재 전송 대기중인 패킷의 상태를 해당 센서 노드로 전송하고, 각 센서 노드에 대하여 결정된 프레임 크기 및 패킷 수를 전송하는 센서 노드 송신부(160); 강화 학습(큐-러닝) 기법을 이용하여 각 센서 노드 상태에 대한 프레임 크기 및 패킷 수를 학습하는 강화 학습부(140); 및 상기 학습부의 학습된 결과에 따라 각 센서 노드에 대하여 프레임 크기 및 패킷 수를 결정하는 스케쥴러(150)를 포함할 수 있다.

상기 저장부(180)는, 상기 싱크 노드 장치에 내장된 저장 매체(예: 플래시 메모리)로 구현될 수 있다.

본 발명의 사상에 따른 사물 인터넷 패킷 스케쥴링 제어 방법을 수행하는데 필요한 각 센서 노드에서의 데이터 전송을 위한 보상 함수는 외부의 관리 서버 등에서 설계되어, 상기 저장부(180)에 기록될 수 있다. 보상 함수가 설계된 후, 해당 보상 함수에서 적용하는 각 센서 노드의 상태 정보도 상기 저장부(180)에 함께 기록될 수 있다.

상기 센서 노드 송신부(160)는, 프레임을 통보하는 방송(broadcast)을 수행할 수 있다.

상기 센서 노드 수신부(120)와 상기 센서 노드 송신부(160)는 단일 하드웨어인 통신 모듈로 구현될 수 있지만, 서로 수행하는 기능에 있어서 차별성이 높아, 별개의 독립된 구성요소로 표현하였다.

구현에 따라, 상기 강화 학습부(140) 및 상기 스케쥴러(150)는, 하나의 단일 CPU에서 실행되는 SW 블록들로 구성되거나, 서로 다른 하드웨어로 구성될 수 있다.

후자의 경우, 상기 스케쥴러(150)는 전체 싱크 노드 장치의 일반적인 제어를 수행하는 CPU이고, 상기 강화 학습부(140)는 강화 학습을 위한 전용 하드웨어/소프트웨어일 수 있다. 예컨대, 상기 강화 학습부(140)는 강화 학습 수행을 위한 전용 칩이거나, 외부의 온라인 강화 학습 서버에 강화 학습을 요청하여 그 결과를 수령하는 통신 모듈일 수 있다.

상기 강화 학습부(140)는, 상기 싱크 노드 장치가 담당하는 센서 노드들 각각에 대하여 강화 학습을 수행할 수 있다. 이 경우, 강화 학습은 지속적으로 계속 수행되는 바, 각 센서 노드에 대하여 현재 시점까지 완료된 강화 학습 결과를, 상기 저장부(180)에 각 센서 노드를 위해 할당된 영역에 저장할 수 있다.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

120 : 센서 노드 수신부
140 : 강화 학습부
150 : 스케쥴러
160 : 센서 노드 송신부
180 : 저장부

Claims (15)

1. 싱크 노드를 중심으로 다수의 센서 노드들이 전송을 하는 무선 센서 네트워크 시스템에서 수행되는 사물 인터넷 패킷 스케쥴링 제어 방법에 있어서,
   센서 노드로부터 현재 전송 대기중인 데이터 패킷의 상태를 싱크 노드로 전송하는 단계;
   상기 싱크 노드에서 강화 학습을 이용하여 상기 센서 노드의 데이터 패킷의 상태를 학습하는 단계;
   학습된 결과에 따라 다수 개의 센서 노드들로부터의 데이터 패킷 전달을 스케쥴링하는 단계; 및
   스케쥴링에 의해 결정된 각 센서 노드가 이행할 프레임 크기와 전송할 패킷의 수를 상기 각 센서 노드에게 전송하는 단계
   를 포함하되,
   상기 스케쥴링하는 단계에서는,
   새로운 센서 노드의 연결시, 기존의 학습이 가장 활발한 센서 노드의 가치 테이블(value table)을 복사하는 사물 인터넷 패킷 스케쥴링 제어 방법.
   
2. 제1항에 있어서,
   상기 각 센서 노드로부터 전송에서 결정한 상기 프레임 크기와 전송할 패킷의 수를 적용하여 전송한 결과를 상기 강화 학습에 적용하는 단계
   를 더 포함하는 사물 인터넷 패킷 스케쥴링 제어 방법.
   
3. 제1항에 있어서,
   상기 센서 노드의 데이터 전송을 위한 보상 함수를 설계하는 단계
   를 더 포함하는 사물 인터넷 패킷 스케쥴링 제어 방법.
   
4. 제3항에 있어서,
   상기 보상 함수를 설계하는 단계에서는,
   큐-러닝 기법을 이용하여 네트워크 수명과 전송율을 극대화하기 위한 보상함수(reward function)를 설계하는 사물 인터넷 패킷 스케쥴링 제어 방법.
   
5. 제1항에 있어서,
   상기 강화 학습은,
   상태(state)로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷의 지연시간을 적용하고,
   행동(action)으로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷을 위한 프레임 길이 및 패킷 수를 적용하고,
   보상(reward)으로서 상기 센서 노드에서 상기 싱크 노드로 데이터 패킷 전달의 품질을 적용하는 큐-러닝 기법인 사물 인터넷 패킷 스케쥴링 제어 방법.
   
6. 제5항에 있어서,
   상기 상태(state)는 하기 수학식에 따라 설정되는 사물 인터넷 패킷 스케쥴링 제어 방법.
   상태 = (d_1, d_2, ... , d_k)
   (d_k는 큐에 있는 k번째 패킷의 지연시간(delay))
   
7. 제5항에 있어서,
   상기 상태(state)는 하기 수학식에 따라 설정되는 사물 인터넷 패킷 스케쥴링 제어 방법.
   상태 = (r_1, r_2, ... , r_k)
   (r_k는 큐에 있는 k번째 패킷의 잔존 지연시간)
   
8. 제5항에 있어서,
   상기 행동(action)은 하기 수학식에 따라 설정되는 사물 인터넷 패킷 스케쥴링 제어 방법.
   행동 = (L, n_1, n_2, ... n_N)
   (L은 프레임의 길이, n_k는 k번째 센서노드가 이번 프레임에서 보낼 패킷의 수)
   
9. 제5항에 있어서,
   상기 보상(reward)은 하기 수학식에 따라 설정되는 사물 인터넷 패킷 스케쥴링 제어 방법.
   보상 = L x QoS
   (L은 프레임의 길이, QoS는 행동을 통해서 지시한 각 센서노드별 전송할 패킷의 수가 얼마나 효과적인지를 나타내는 지표)
   
10. 제1항에 있어서,
    상기 스케쥴링하는 단계는,
    학습된 결과에 따라 프레임 크기를 결정하는 단계; 및
    학습된 결과에 따라 각 센서노드에 대하여 각 프레임에서 전송할 패킷의 수를 결정하는 단계
    를 포함하는 사물 인터넷 패킷 스케쥴링 제어 방법.
    
11. 제1항에 있어서,
    상기 스케쥴링하는 단계에서는,
    다수의 센서 노드들에 대한 강화 학습은 각 센서 노드별로 개별적으로 수행하되, 학습 결과 행동에 대한 불일치가 발생하는 경우, 활용(exploitation)으로부터 도출된 행동에 우선 순위를 부여하는 사물 인터넷 패킷 스케쥴링 제어 방법.
    
12. 삭제
13. 각 센서 노드로부터 센싱 데이터가 담긴 패킷을 수신하는 센서 노드 수신부;
    각 센서 노드에서의 데이터 전송을 위해 설계된 보상 함수 및 각 센서 노드의 상태 정보가 기록된 저장부;
    각 센서 노드에 대하여 결정된 프레임 크기 및 패킷 수를 전송하는 센서 노드 송신부;
    강화 학습을 이용하여 각 센서 노드 상태에 대한 프레임 크기 및 패킷 수를 학습하는 강화 학습부; 및
    상기 학습부의 학습된 결과에 따라 각 센서 노드에 대하여 프레임 크기 및 패킷 수를 결정하는 스케쥴러
    를 포함하되,
    상기 강화 학습부는,
    싱크 노드 장치가 담당하는 센서 노드들 각각에 대하여 강화 학습을 지속적으로 계속 수행하되, 각 센서 노드에 대하여 현재 시점까지 완료된 강화 학습 결과를 상기 저장부에 각 센서 노드를 위해 할당된 영역에 저장하는 싱크 노드 장치.
    
14. 제13항에 있어서,
    상기 강화 학습은,
    상태(state)로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷의 지연시간을 적용하고,
    행동(action)으로서 상기 센서 노드에서 상기 싱크 노드로 전송하는 데이터 패킷을 위한 프레임 길이 및 패킷 수를 적용하고,
    보상(reward)으로서 상기 센서 노드에서 상기 싱크 노드로 데이터 패킷 전달의 품질을 적용하는 큐-러닝 기법인 싱크 노드 장치.
    
15. 삭제

Images