KR100581717B1 - 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법 - Google Patents

사용자 행동 패턴 기반 지능형 주거 공간의 학습방법 Download PDF

Info

Publication number
KR100581717B1
KR100581717B1 KR1020040043936A KR20040043936A KR100581717B1 KR 100581717 B1 KR100581717 B1 KR 100581717B1 KR 1020040043936 A KR1020040043936 A KR 1020040043936A KR 20040043936 A KR20040043936 A KR 20040043936A KR 100581717 B1 KR100581717 B1 KR 100581717B1
Authority
KR
South Korea
Prior art keywords
fuzzy
user
behavior
episode
value
Prior art date
Application number
KR1020040043936A
Other languages
English (en)
Other versions
KR20050118822A (ko
Inventor
이형욱
김영민
도준형
정진우
변증남
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020040043936A priority Critical patent/KR100581717B1/ko
Publication of KR20050118822A publication Critical patent/KR20050118822A/ko
Application granted granted Critical
Publication of KR100581717B1 publication Critical patent/KR100581717B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/02Computing arrangements based on specific mathematical models using fuzzy logic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)
  • Feedback Control In General (AREA)

Abstract

본 발명은 사용자의 생활 패턴(lift style)에 기반한 행동 패턴을 학습하여 사용자의 주거 환경을 사용자가 원하는 최적의 상태로 만들어 주고, 로봇 등을 이용한 서비스 작업을 자동으로 수행하도록 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법에 관한 것이다.
본 발명에 따른 지능형 주거 공간의 학습방법은, 최대퍼지소속함수의 개수와 에피소드 단위를 설정하는 제 1 단계와; 최초 에피소드에서 관측된 사용자 행위 내용과 주거환경 정보를 이용하여 퍼지규칙과 퍼지소속함수를 생성하고, 상기 생성된 퍼지규칙과 퍼지소속함수를 학습된 지식으로 저장하는 제 2 단계와; 이후의 에피소드에서 사용자 행위를 관측하고 상기 관측된 행위 내용과 주거환경 정보를 저장하는 제 3 단계와; 상기 제 3 단계에서 관측된 신규 에피소드에서의 사용자 행위 내용을 상기 기학습된 지식의 사용자 행위 내용과 비교하여, 상기 신규 에피소드에서 새롭게 관측된 신규 행위와 기학습된 지식과 중복된 행위를 구분하는 제 4 단계와; 상기 신규 에피소드에서 새롭게 관측된 신규 행위에 대한 퍼지규칙과 퍼지소속함수를 생성하고, 상기 기학습된 지식과 중복된 행위에 대한 퍼지규칙과 퍼지소속함수를 갱신하여, 상기 기학습된 지식을 갱신하는 제 5 단계를 포함한다.
퍼지함수, 퍼지규칙, 강화학습, 학습제어, 행동패턴 기반, 지능형 주거 공간

Description

사용자 행동 패턴 기반 지능형 주거 공간의 학습방법{Learning method based on inhabitant's behavioral pattern in the intelligent residential space}
도 1은 본 발명의 한 실시예에 따른 지능형 자동 학습시스템을 포함한 홈 오토메이션 시스템의 구성도,
도 2는 사용자가 학습시스템을 학습모드로 설정할 때, 학습시스템에서의 지능형 주거 공간의 초기 학습방법을 도시한 동작 흐름도,
도 3은 시간에 따른 시간 퍼지함수의 소속값 그래프와 시간에 따른 밝기 퍼지함수의 소속값 그래프,
도 4는 3일동안 관측된 사용자 행위 내용과 그 순간의 주거환경정보를 기재한 표,
도 5는 사용자가 학습시스템을 동작모드로 설정할 때, 학습시스템에서의 지능형 주거 공간의 재학습방법을 도시한 동작 흐름도이다.
<도면의 주요 부분에 대한 부호의 간단한 설명>
111 : 시간감지부 112 : 조도감지부
113 : 온도감지부 114 : 습도감지부
115 : 로봇시스템 116 : 각종 가전기기
120 : 학습시스템 121 : 입력부
122 : 데이터베이스
본 발명은 행동 패턴에 기반한 지능형 주거 공간의 학습방법에 관한 것으로서, 사용자의 생활 패턴(lift style)에 기반한 행동 패턴을 학습하여 사용자의 주거 환경을 사용자가 원하는 최적의 상태로 만들어 주고, 로봇 등을 이용한 서비스 작업을 자동으로 수행하도록 하는 지능형 주거 공간의 학습방법에 관한 것이다. 또한, 본 발명은 사용자에게 자동 서비스를 제공한 후 사용자의 반응을 기반으로 학습 내용을 수정하는 지능형 주거 공간의 학습방법에 관한 것이기도 하다.
인간은 거주 공간이 생활하기에 적합하도록 각종 전자작동기기를 조절한다. 즉, 실내 온도에 따라 냉난방장치를 가동하거나, 실내 조도에 따라 조명을 제어한다. 또한, 로봇 등을 이용하여 차 또는 식사를 주문하기도 한다. 가정 내 사용되는 대부분의 전자작동기기는 사용자 인터페이스에 의해 수동적으로 작동하거나, 지정된 프로그램에 의해 자동적으로 조절된다. 사용자 인터페이스를 이용하여 전자작동기기를 제어하는 것은 항상 거주자의 명령이 필요한 문제점이 있었다. 또한, 지정된 프로그램에 의해 자동제어를 할 경우, 인간의 평균적인 생활패턴을 기준으로 프로그래밍되기 때문에, 거주자 각자의 생활 패턴의 다양성과 변화를 고려할 수 없을 뿐만 아니라 새로운 요구에 적응할 수 없는 문제점이 있다.
이러한 문제점을 해결하기 위하여, 각종 센서를 통하여 데이터를 수집하고 이 데이터를 바탕으로 거주자의 생활 패턴을 학습함으로써, 거주자의 명령없이도 전자작동기기를 동작시킬 수 있는 인공 신경망 제어기(공개특허 2001-95960)가 공개되었다. 이 인공 신경망 제어기는 인공 지능형 홈 오토메이션 시스템을 구현하기 위한 시스템이지만, 인공 신경망의 특성상 성능의 한계점을 가지고 있다.
상기한 종래기술의 문제점을 해결하기 위하여 안출된 본 발명의 목적은, 사용자의 행동 패턴에 기반한 지능형 주거 공간의 학습 시스템을 구현하여, 어느 정도의 학습 기간이 지난 후에는 사용자의 의도를 파악하여 주거 공간을 조절함으로써, 최적화된 환경을 제공하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법을 제공하기 위한 것이다.
또한, 본 발명의 다른 목적은, 사용자에게 최적화된 주거 환경을 제공한 후 사용자의 긍정 또는 부정적인 반응을 감지하여, 사용자의 반응을 기반으로 학습 내용을 수정함으로써, 사용자의 생활 패턴의 변화에 적응할 수 있는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 본 발명의 한 실시예에 따른 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법은, 주거 환경을 감지하는 각종 감지부, 사용자에 의해 조작되는 각종 가전기기 및 로봇시스템과 연결되어, 상기 각종 가전기기 및 로봇시스템이 조작될 때 상기 각종 감지부로부터 주거환경 정보를 입력받아 사용자의 의도를 학습하는 학습시스템에서의 지능형 주거 공간의 학습방법에 있어서,
최대퍼지소속함수의 개수와 에피소드 단위를 설정하는 제 1 단계와;
최초 에피소드에서 관측된 사용자 행위 내용과 주거환경 정보를 이용하여 퍼지규칙과 퍼지소속함수를 생성하고, 상기 생성된 퍼지규칙과 퍼지소속함수를 학습된 지식으로 저장하는 제 2 단계와;
이후의 에피소드에서 사용자 행위를 관측하고 상기 관측된 행위 내용과 주거환경 정보를 저장하는 제 3 단계와;
상기 제 3 단계에서 관측된 신규 에피소드에서의 사용자 행위 내용을 상기 기학습된 지식의 사용자 행위 내용과 비교하여, 상기 신규 에피소드에서 새롭게 관측된 신규 행위와 기학습된 지식과 중복된 행위를 구분하는 제 4 단계와;
상기 신규 에피소드에서 새롭게 관측된 신규 행위에 대한 퍼지규칙과 퍼지소속함수를 생성하고, 상기 기학습된 지식과 중복된 행위에 대한 퍼지규칙과 퍼지소속함수를 갱신하여, 상기 기학습된 지식을 갱신하는 제 5 단계를 포함한 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법은, 주거환경을 감지하는 각종 감지부, 사용자의 행위 패턴을 기반으 로 학습된 퍼지규칙과 퍼지소속함수를 저장하는 데이터베이스, 사용자에게 서비스를 제공하는 각종 가전기기 및 로봇시스템과 연결되어, 상기 각종 감지부로부터 입력되는 주거환경 입력값으로 상기 데이터베이스를 검색하여 해당되는 퍼지규칙을 상기 각종 가전기기 및 로봇시스템에게 적용하는 학습시스템에서의 지능형 주거 공간의 학습방법에 있어서,
상기 각종 감지부의 주거환경 입력값을 이용하여 상기 데이터베이스를 검색하는 제 1 단계와;
상기 주거환경 입력값에 해당하는 복수의 퍼지규칙이 존재하면 상기 복수의 퍼지규칙이 발생한 횟수(발생값)를 이용하여 선택한 하나의 퍼지규칙을 상기 각종 가전기기 또는 로봇시스템에게 적용하는 제 2 단계와;
사용자의 반응을 감지하여 상기 사용자의 반응에 따른 보상값 및 가중치를 이용하여 상기 제 2 단계에서 적용한 퍼지규칙의 발생값을 갱신하는 제 3 단계를 포함한 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법은, 각종 가전기기 및 로봇시스템이 조작될 때 상기 각종 감지부로부터 주거환경 정보를 입력받아 사용자의 의도를 학습하는 학습모드와, 상기 각종 감지부로부터 입력되는 주거환경 입력값에 해당되는 퍼지규칙을 상기 각종 가전기기 및 로봇시스템에게 적용하는 동작 및 재학습모드로 동작하는 학습시스템에서의 지능형 주거 공간의 학습방법에 있어서,
상기 학습모드는, 최대퍼지소속함수의 개수와 에피소드 단위를 설정하는 제 1 단계와; 최초 에피소드에서 관측된 사용자 행위 내용과 주거환경 정보를 이용하여 퍼지규칙과 퍼지소속함수를 생성하고, 상기 생성된 퍼지규칙과 퍼지소속함수를 학습된 지식으로 저장하는 제 2 단계와; 이후의 에피소드에서 사용자 행위를 관측하고 상기 관측된 행위 내용과 주거환경 정보를 저장하는 제 3 단계와; 상기 제 3 단계에서 관측된 신규 에피소드에서의 사용자 행위 내용을 상기 기학습된 지식의 사용자 행위 내용과 비교하여, 상기 신규 에피소드에서 새롭게 관측된 신규 행위와 기학습된 지식과 중복된 행위를 구분하는 제 4 단계와; 상기 신규 에피소드에서 새롭게 관측된 신규 행위에 대한 퍼지규칙과 퍼지소속함수를 생성하고, 상기 기학습된 지식과 중복된 행위에 대한 퍼지규칙과 퍼지소속함수를 갱신하여, 상기 기학습된 지식을 갱신하는 제 5 단계를 포함하고,
상기 동작 및 재학습모드는, 상기 각종 감지부의 주거환경 입력값을 이용하여 퍼지규칙을 검색하는 제 6 단계와; 상기 주거환경 입력값에 해당하는 복수의 퍼지규칙이 존재하면 상기 복수의 퍼지규칙이 발생한 횟수(발생값)를 이용하여 선택한 하나의 퍼지규칙을 상기 각종 가전기기 또는 로봇시스템에게 적용하는 제 7 단계와; 사용자의 반응을 감지하여 상기 사용자의 반응에 따른 보상값 및 가중치를 이용하여 상기 제 7 단계에서 적용한 퍼지규칙의 발생값을 갱신하는 제 8 단계를 포함한 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 한 실시예에 따른 사용자 행동 패 턴 기반 지능형 주거 공간의 학습방법을 보다 상세히 설명하면 다음과 같다.
본 발명에 따른 지능형 자동 학습시스템은 퍼지 룰 기반(Fuzzy Rule Based)으로 이루어진다.
도 1은 본 발명의 한 실시예에 따른 지능형 자동 학습시스템을 포함한 홈 오토메이션 시스템의 구성도이다. 홈 오토메이션 시스템은 주거 환경(시간, 조도, 온도, 습도)을 감지하기 위한 각종 감지부(111, 112, 113, 114)와, 사용자에게 각종 서비스(아침식사, 신문, 차 배달, 안마 등)을 제공하는 로봇시스템(115)와, 주거 환경을 조절하는 각종 가전기기(116)와, 학습모드에서 사용자가 로봇시스템(115)과 각종 가전기기(116)를 조작하면 각종 감지부(111, 112, 113, 114)로부터 주거 환경 정보를 입력받아 학습하고 동작모드에서 주거 환경정보에 따라 로봇시스템(115)과 각종 가전기기(116)를 제어 및 재학습하는 학습시스템(120)과, 사용자가 선택한 모드정보와 만족도정보를 학습시스템(120)에게 제공하는 입력부(121)와, 학습시스템(120)의 학습 결과를 저장하는 데이터베이스(122)를 구비한다.
사용자는 학습시스템을 학습모드 또는 동작/재학습모드로 설정한다.
도 2는 사용자가 학습시스템을 학습모드로 설정할 때, 학습시스템에서의 지능형 주거 공간의 초기 학습방법을 도시한 동작 흐름도이다.
먼저, 사용자가 학습시스템을 학습모드로 설정하고(S201), 학습시스템의 최대 퍼지함수의 개수 및 에피소드 단위를 설정한다(S202). 예컨대, 조명에 대한 최대 퍼지함수의 개수는 5개, 시간에 대한 최대 퍼지함수의 개수는 최대 20개, 온도 에 대한 최대 퍼지함수의 개수는 5개로 설정할 수 있다. 이때, 조명에 대한 퍼지함수는 '아주 어둡다', '어둡다', '적당하다', '밝다', '아주 밝다' 등으로 구분될 수 있으며, 온도에 대한 퍼지함수는 '아주 춥다', '춥다', '적당하다', '덥다', '아주 덥다' 등으로 구분될 수 있다. 또한, 시간에 대한 퍼지함수는 '7시경', '7시30분경', '8시경', '8시30분경', '9시경', ... 등으로 구분될 수도 있고, '새벽', '이른 아침', '아침', '늦은 아침' ... 등으로 구분될 수도 있다.
퍼지함수를 구성하는 각 요소들은 퍼지집합으로 표현되는데, 이 퍼지집합은 조도값, 온도값, 습도값 또는 시간값과, 해당 값이 해당 퍼지집합에 속할 가능성인 소속값으로 이루어진다. 예컨데, 시간의 퍼지함수의 경우, 아침 6시쯤이 '이른 아침'의 퍼지집합에 속할 가능성이 가장 크다. 도 3은 시간에 따른 시간 퍼지함수의 소속값 그래프와 시간에 따른 밝기 퍼지함수의 소속값 그래프를 도시한다. 도 3에서와 같이 각 퍼지함수을 구성하는 퍼지집합들은 여러 개가 겹쳐서 나타날 수도 있다. 즉, 하나의 시간이 2개 내지 3개의 퍼지집합에 동시에 속할 수 있다.
다음, 에피소드(하루) 단위로 사용자의 생활 패턴을 학습한다. 에피소드는 학습이 이루어지는 단위로서, 본 실시예에서는 에피소드를 하루 단위로 설정하였으나, 본 발명은 이에 한정되지 아니하며 다른 시간 단위로 설정할 수도 있다.
새로운 에피소드의 시작인 지를 감지하여(S203) 새로운 에피소드가 시작하면 신규 에피소드를 설정하고(S204), 사용자 행위를 관측하여 관측된 행위 내용과 관측 순간의 주거 환경 정보를 저장한다(S205). 사용자가 로봇시스템(115) 또는 각종 가전기기(116)을 조작하면, 조작하는 순간의 주거 환경과 조작 내용을 저장한 다. 이러한 사용자 행위 관측단게는 에피소드가 종료될 때까지 계속된다(S206).
에피소드가 종료되면, 이미 학습된 지식이 존재하는 지를 판단한다(S207). 이미 학습된 지식이 존재하지 않는 첫째 에피소드일 경우에는, 첫째 에피소드에서 관측된 행위 내용과 관측 순간의 주거 환경 정보를 이용하여 퍼지규칙과, 퍼지소속함수를 생성한다(S208). 즉, 사용자가 텔레비전을 커거나 채널을 변경하거나 볼륨을 조절할 때의 시간, 조도, 온도, 습도 등을 감지하여, 수학식 1과 같은 IF-THEN 형태의 퍼지규칙을 생성한다.
IF I1=A1, I2=B2, ... THEN O1=P1, O2=P2, ...
여기서, IN(N은 1이상 자연수)은 조도, 온도, 습도, 시간을 나타내며, A1, B1은 퍼지소속함수이다. 퍼지소속함수는 언어변수로 표현되는데, 즉 조도의 경우 아주 어둡다, 어둡다, 적당하다, 밝다, 아주 밝다 등으로 표현된다.
여기서, 사용자가 블라인드를 닫고 전등을 모두 켜는 행위가 관측되고 그 때의 조도가 500이면, 조도 500이 퍼지소속함수 중 아주 어둡다에 속할 가능성이 1 정도가 되고, 이때 퍼지규칙은 "IF 조도=아주 어둡다 THEN 블라인드=닫음, 조명=모두 켬"이 된다. 이때, 아주 어둡다의 퍼지소속함수는 500을 중심값으로 형성된다.
또한, 사용자가 블라인드를 열고 전등을 절반만 켜는 행위가 관측되고 그 때의 조도가 1500이면, 조도 1500은 퍼지소속함수 중 어둡다에 속할 가능성이 크며, 이때 퍼지규칙은 "IF 조도=어둡다 THEN 블라인드=염, 조명=반만 켬"이 된다. 이 때, 어둡다의 퍼지소속함수는 1500을 중심값으로 형성된다. 위의 퍼지규칙의 예에서는 조도에 한정되어 설명하였지만, 퍼지규칙의 조건문에는 조도뿐만 아니라 그 순간의 시간, 습도, 온도 등의 주거 환경 정보도 함께 관측되어 저장된다.
첫째 에피소드에서 관측된 사용자의 행위 내용과 주거환경정보를 기반으로 퍼지규칙과 퍼지소속함수를 생성하고, 생성된 퍼지규칙과 퍼지소속함수를 학습된 지식으로서 데이터베이스에 저장한다(S209). 그리고, 단계 S203으로 되돌아간다.
단계 S203의 판단 결과, 새로운 에피소드의 시작이기 때문에 신규 에피소드를 설정하고(S204), 신규 에피소드에서 이루어지는 사용자 행위를 관측하고 행위내용과 주거환경정보를 저장한다(S205).
그리고, 에피소드가 종료하면(S206) 기학습된 지식이 존재하는 지를 판단한다(S207). 이때에는 첫째 에피소드에서 관측된 사용자의 행위를 기반으로 생성된 퍼지규칙과 퍼지소속함수가 존재하기 때문에 단계 S210으로 진행한다. 단계 S210에서는 신규 에피소드에서 관측된 사용자의 행위 내용 및 행위 순서와, 기학습된 지식을 비교하고, 새롭게 관측된 신규 행위가 존재하는 지를 판단한다(S211).
단계 S211에서 새롭게 관측된 신규 행위가 존재하면, 신규 행위에 대한 퍼지규칙과 퍼지소속함수를 생성한다(S212). 신규 행위에 대한 퍼지규칙과 퍼지소속함수를 생성하는 과정은 단계 S208과 같다. 그리고, 기존 행위와 동일한 행위에 대해서는 기존에 생성된 퍼지규칙과 퍼지소속함수를 갱신한다.
퍼지규칙과 퍼지소속함수를 갱신하는 단계를 예를 들어 설명한다. 도 4는 3일동안 관측된 사용자 행위 내용과 그 순간의 주거환경정보를 기재한 표이다. 편 의상 입력은 시간, 실내조도, 외부조도이고, 출력은 로봇, 블라인드, 조명, 텔레비전 제어명령이라고 한다. 시간정보는 소수로 환산되어 저장된다.
첫째 날(첫째 에피소드)에는 8시 55분(8.917)(외부조도 200, 내부조도 20)에 사용자가 블라인드를 열고 조명을 켰으며, 9시(9)(외부조도 300, 내부조도 200)에 로봇에게 식사배달을 시켰으며, 9시 5분(9.083)(외부조도 400, 내부조도 200)에 텔레비전 7번 채널을 켰다. 도 4의 표를 해석하면, 다른 시간 및 다른 일자에서의 사용자의 행위도 이와 유사하게 해석이 가능하다.
첫째 에피소드에서 관측된 행위들을 기반으로 퍼지규칙과 퍼지소속함수를 생성한다. 이때 생성되는 퍼지규칙과 퍼지소속함수의 일 예(시간값만을 입력으로 할 경우)는 다음과 같다. "IF 시간 ∼= 8.917 THEN 로봇 = 0, Blind = 1, ..." 이 퍼지규칙은 "시간이 8.917경이면 블라이드를 열고..." 와 같이 해석되며, 8.917경이라는 퍼지소속함수는 8.917만이 포함된다.
둘째 날은 9시(9)에 블라인드를 열고 조명을 켰으며, 9시 10분(9.167)에 로봇에게 식사배달을 시켰으며, 9시13분(9.217)에 텔레비전 7번 채널을 켰으며, 9시25분(9.417)에 로봇에게 신문배달을 시켰다.
둘째 에피소드에서 행위들을 관측한 후, 첫째 에피소드에서의 사용자의 행위들과 둘째 에피소드에서의 사용자의 행위들을 비교하는데, 표를 보면 처음부터 5개의 행위 내용과 끝에서 3개의 행위 내용이 일치한다. 즉, 이 8개의 행위들은 기존 행위와 동일한 행위인데, 이 행위들에 대해서는 새로운 퍼지규칙과 퍼지소속함수를 생성하는 것이 아니라 이미 학습된 지식을 갱신한다.
즉, 퍼지소속함수의 중심값과 폭, 및 퍼지규칙을 업데이트하는데, 이때 학습된 지식의 반복도 정보를 적용한다. 반복도 정보란, 해당 행위에 대한 퍼지소속함수와 퍼지규칙을 결정하는 데 사용된 입력값의 개수이다.
최대 반복도 Nmax로 설정하고 반복된 행위에 대해서 반복도 N은 1씩 증가한다. 첫째 에피소드(N=1)에서 생성된 퍼지규칙과 퍼지소속함수는 기학습된 지식이 없기 때문에 현 에피소드에서의 입력값이 퍼지소속함수의 중심값이 된다. 둘째 에피소드(N=2)에서는 첫째 에피소드에서 관측된 행위내용과 동일한 행위가 관측되고 그때의 입력값이 달라진 경우, 퍼지소속함수의 중심값은 아래의 수학식 2와 같이 조정된다.
Figure 112004025699706-pat00001
여기서, Vupdated는 갱신된 퍼지소속함수의 중심값, VNEW는 현 에피소드에서의 입력값, Vprevious는 기학습된 지식의 퍼지소속함수의 중심값이다.
이렇게 반복도 개념을 도입하지 않고 기학습된 지식과 현 에피소드에서의 입력값의 평균값을 퍼지소속함수의 중심값으로 갱신할 경우, 예외적인 상황이 발생하면 그 예외적인 상황으로 말미암아 퍼지소속함수의 중심값이 잘못 갱신되는 경우가 발생한다.
예를 들어 설명하면, 사용자가 아침식사를 요청한 시각이 8시40분, 8시50분, 9시5분, 8시55분, 9시5분 등 9시경일 경우, 이 퍼지소속함수의 중심값은 8시55분이 된다. 6번째 되는 날 사용자가 예외적으로 9시50분에 아침식사를 요청한 경우, 반복도 개념을 사용하지 않고 기학습된 지식 8시55분과 9시50분을 평균하면 9시25분이 된다. 즉, 사용자는 9시경에 식사하여 지금까지 학습한 결과가 한 번의 예외적인 상황에 의해 잘못 갱신되는 사태가 벌어지게 된다. 그러나, 본 발명에서와 같이 반복도 개념을 사용하면 ((8시55분)*5)+9시50분)/6으로 계산하여 9시10분의 결과가 얻어진다. N이 너무 커지면 계산식이 너무 복잡해지기 때문에 N이 Nmax보다 커지면 Nmax를 기준으로 계산이 이루어지도록 하여, 계속적인 학습이 가능하도록 하며 아울러 계산식이 너무 복잡해지지 않도록 한다.
둘째 에피소드에서의 입력값이 입력되면, 이 입력값과 기학습된 지식을 기반으로 퍼지소속함수의 폭도 갱신한다. 퍼지소속함수의 폭을 결정하는 가표준편차는 아래의 수학식 3과 같이 구한다.
Figure 112004025699706-pat00002
여기서,
Figure 112004025699706-pat00003
는 새로운 가표준편차이고,
Figure 112004025699706-pat00004
는 기학습된 지식의 퍼지소속함수의 가표준편차이다.
퍼지소속함수의 중심값(Vupdated)과 가표준편차(
Figure 112004025699706-pat00005
)는 도 3에 도시된 바와 같이 중심값에서 최대의 소속값을 가지고, 이 중심값을 중심으로 양쪽으로 소속값이 점점 줄어들어 중심값으로부터 가표준편차보다 더 멀리 떨어지면 소속값이 0이 되는 삼각파 모양이 된다.
이렇게 갱신된 퍼지규칙과 퍼지소속함수를 '학습된 지식'으로 저장하고(S209), 단계 S203으로 되돌아간다.
단계 S203 내지 단계 S212를 반복 수행하여 다수의 에피소드에서의 사용자의 행위를 관측하고, 행위내용과 주거환경정보를 기반으로 퍼지규칙과 퍼지소속함수를 생성 및 갱신하는 과정을 반복함으로써, 사용자의 생활 패턴을 학습한다.
이때, 로봇을 이용한 차 배달이나 식사 배달의 경우, 차 종류(녹차, 커피, 주스)나 식사 종류(한식, 양식, 빵) 등이 달라질 수 있는데, 퍼지규칙과 퍼지소속함수를 갱신할 때 차 종류와 식사 종류도 함께 저장하고, 해당 차 종류와 식사 종류가 반복된 값(발생값)을 함께 저장한다.
도 5는 사용자가 학습시스템을 동작모드로 설정할 때, 학습시스템에서의 지능형 주거 공간의 재학습방법을 도시한 동작 흐름도이다.
사용자가 학습시스템을 동작모드로 설정하고, 보상값(r)과 가중치(a)를 설정한다(S501). 보상값(r)은 -k 내지 +k 사이의 실수값으로서, 사용자가 긍정의 반응을 할 경우에는 +k, 사용자가 부정의 반응을 할 경우에는 -k값으로 설정되며, 사용자가 무반응일 경우에는 0 내지 다른 값(긍정으로 간주하느냐, 부정으로 간주하느 냐에 따라서)으로 결정된다. 가중치는 임의로 정할 수 있으며, 사용자의 반응에 따라 발생값을 재계산하는 식에 사용된다.
그리고 난 후, 주거환경정보를 입력받아서 데이터베이스를 검색한다(S502). 주거환경정보를 입력값으로 하여 동일 입력에 대한 복수의 출력이 존재하면(S503), 복수의 출력 중 발생값에 따라 임의의 하나를 선택하고(S504), 선택된 출력에 대해 퍼지규칙을 적용하여 로봇시스템 또는 각종 가전기기를 제어한다(S505). 그리고, 사용자의 반응을 감지하고(S506), 사용자의 반응에 따른 보상값 및 가중치를 수학식 4에 적용하여 해당 출력의 발생값을 재계산한다(S507).
Figure 112004025699706-pat00006
여기서, O'는 재계산된 발생값, O는 기존의 발생값, a는 가중치, r은 보상값을 의미한다.
예를 들어 설명하면, 사용자가 로봇에게 차(녹차, 커피, 주스) 배달을 명령할 경우 사용자는 녹차, 커피, 주스 중 하나를 선택하게 되는데, 사용자가 차 종류를 선택할 때 사용자의 감정 및 환경(날씨, 습도, 온도) 뿐만 아니라 확률적인 요소가 결부된다.
따라서, 사용자가 로봇에게 차 배달을 시킬 경우, 학습시스템은 차 종류의 정보와 발생값을 저장한다. 예컨대, 녹차를 4번, 커피를 2번, 주스를 1번 요청한 경우, 그 발생확률은 각각 4/7, 2/7, 1/7이 되고, 발생값은 각각 4, 2, 1이 된다.
동작모드에서 학습시스템은 주거환경이 차 배달할 입력 조건을 만족하면, 반 복도에 따라 녹차, 커피, 주스 중 하나의 차를 배달한다. 가중치(a)가 2이고, r이 -1 내지 1 사이의 실수값으로 설정한다. 로봇이 주스를 배달하여 사용자가 매우 긍적적인 반응을 보이면 새로운 발생값(O')은 1+(1*2)=3 으로 재계산되고, 로봇이 녹차를 배달하여 사용자가 매우 부정적인 반응을 보이면 새로운 발생값(O')은 4+(2*-1)=2 로 재계산된다. 발생값의 최소값은 0이고, 최대값은 10 이 된다.
한편, 단계 S503에서 동일 입력에 대한 복수의 출력이 존재하지 않고, 입력에 대한 하나의 출력이 존재하면(S508) 퍼지규칙을 적용하여 로봇시스템 또는 각종 가전기기를 제어한다(S509). 단계 S508에서 입력값에 대한 출력값이 존재하지 않으면 단계 S502로 되돌아간다.
이상에서 본 발명에 대한 기술 사상을 첨부 도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 일 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술 분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
이상과 같이 본 발명에 따르면 사용자의 행동패턴에 기반하여 주거 공간의 학습제어시스템을 구현할 수 있기 때문에, 어느 정도의 학습 기간이 지난 후에는 사용자의 의도를 파악하여 최적화된 환경과 여러 가지 서비스를 제공해 줄 수 있는 잇점이 있다.
예컨대, 아침에 날이 밝으면 실내의 조도에 따라 무조건 조명을 켜는 것이 아니라 블라인드와 창문을 열거나, 적절한 시간대에 아침식사나 신문 등을 배달해 주고, 원하는 텔레비전 프로그램을 시청할 수 있도록 해주는 등, 주거 공간의 여러 환경의 각종 가전기기와 로봇시스템을 자동 제어할 수 있다.

Claims (10)

  1. 주거 환경을 감지하는 각종 감지부, 사용자에 의해 조작되는 각종 가전기기 및 로봇시스템과 연결되어, 상기 각종 가전기기 및 로봇시스템이 조작될 때 상기 각종 감지부로부터 주거환경 정보를 입력받아 사용자의 의도를 학습하는 학습시스템에서의 지능형 주거 공간의 학습방법에 있어서,
    최대퍼지소속함수의 개수와 에피소드 단위를 설정하는 제 1 단계와;
    최초 에피소드에서 관측된 사용자 행위 내용과 주거환경 정보를 이용하여 퍼지규칙과 퍼지소속함수를 생성하고, 상기 생성된 퍼지규칙과 퍼지소속함수를 학습된 지식으로 저장하는 제 2 단계와;
    이후의 에피소드에서 사용자 행위를 관측하고 상기 관측된 행위 내용과 주거환경 정보를 저장하는 제 3 단계와;
    상기 제 3 단계에서 관측된 신규 에피소드에서의 사용자 행위 내용을 상기 기학습된 지식의 사용자 행위 내용과 비교하여, 상기 신규 에피소드에서 새롭게 관측된 신규 행위와 기학습된 지식과 중복된 행위를 구분하는 제 4 단계와;
    상기 신규 에피소드에서 새롭게 관측된 신규 행위에 대한 퍼지규칙과 퍼지소속함수를 생성하고, 상기 기학습된 지식과 중복된 행위에 대한 퍼지규칙과 퍼지소속함수를 갱신하여, 상기 기학습된 지식을 갱신하는 제 5 단계를 포함한 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
  2. 각종 가전기기 및 로봇시스템이 조작될 때 상기 각종 감지부로부터 주거환경 정보를 입력받아 사용자의 의도를 학습하는 학습모드와, 상기 각종 감지부로부터 입력되는 주거환경 입력값에 해당되는 퍼지규칙을 상기 각종 가전기기 및 로봇시스템에게 적용하는 동작 및 재학습모드로 동작하는 학습시스템에서의 지능형 주거 공간의 학습방법에 있어서,
    상기 학습모드는, 최대퍼지소속함수의 개수와 에피소드 단위를 설정하는 제 1 단계와; 최초 에피소드에서 관측된 사용자 행위 내용과 주거환경 정보를 이용하여 퍼지규칙과 퍼지소속함수를 생성하고, 상기 생성된 퍼지규칙과 퍼지소속함수를 학습된 지식으로 저장하는 제 2 단계와; 이후의 에피소드에서 사용자 행위를 관측하고 상기 관측된 행위 내용과 주거환경 정보를 저장하는 제 3 단계와; 상기 제 3 단계에서 관측된 신규 에피소드에서의 사용자 행위 내용을 상기 기학습된 지식의 사용자 행위 내용과 비교하여, 상기 신규 에피소드에서 새롭게 관측된 신규 행위와 기학습된 지식과 중복된 행위를 구분하는 제 4 단계와; 상기 신규 에피소드에서 새롭게 관측된 신규 행위에 대한 퍼지규칙과 퍼지소속함수를 생성하고, 상기 기학습된 지식과 중복된 행위에 대한 퍼지규칙과 퍼지소속함수를 갱신하여, 상기 기학습된 지식을 갱신하는 제 5 단계를 포함하고,
    상기 동작 및 재학습모드는, 상기 각종 감지부의 주거환경 입력값을 이용하여 퍼지규칙을 검색하는 제 6 단계와; 상기 주거환경 입력값에 해당하는 복수의 퍼지규칙이 존재하면 상기 복수의 퍼지규칙이 발생한 횟수(발생값)를 이용하여 선택한 하나의 퍼지규칙을 상기 각종 가전기기 또는 로봇시스템에게 적용하는 제 7 단 계와; 사용자의 반응을 감지하여 상기 사용자의 반응에 따른 보상값 및 가중치를 이용하여 상기 제 7 단계에서 적용한 퍼지규칙의 발생값을 갱신하는 제 8 단계를 포함한 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 제 4 단계는,
    상기 신규 에피소드에서의 사용자 행위 내용과 상기 기학습된 지식의 사용자 행위 내용을 비교하여, 행위 내용과 행위 순서가 동일하면 상기 기학습된 지식과 중복된 행위로 구분하고, 행위 내용 또는 행위 순서가 동일하지 않으면 신규 행위로 구분하는 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
  4. 제 1 항 또는 제 2 항에 있어서, 상기 제 5 단계의 상기 기학습된 지식과 중복된 행위에 대한 퍼지규칙과 퍼지소속함수를 갱신하는 단계는,
    상기학습된 지식을 결정하는 데 사용된 에피소드의 개수인 반복도값을 이용하여 상기 퍼지소속함수의 중심값과 폭, 및 퍼지규칙을 갱신하는 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
  5. 제 4 항에 있어서,
    상기 퍼지소속함수의 중심값은 아래의 수식과 같이 조정되는 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
    Figure 112004025699706-pat00007
    여기서, N은 반복도, Vupdated는 갱신된 퍼지소속함수의 중심값, VNEW는 현 에피소드에서의 주거환경 입력값, Vprevious는 기학습된 지식의 퍼지소속함수의 중심값이다.
  6. 제 5 항에 있어서,
    상기 반복도(N)가 임계값 이상이 되면 상기 퍼지소속함수의 중심값은 아래의 수식과 같이 조정되는 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
    Figure 112004025699706-pat00008
    여기서, Nmax는 반복도의 임계값, Vupdated는 갱신된 퍼지소속함수의 중심값, VNEW는 현 에피소드에서의 주거환경 입력값, Vprevious는 기학습된 지식의 퍼지소속함수의 중심값이다.
  7. 제 4 항에 있어서,
    상기 퍼지소속함수의 폭을 결정하는 가표준편차는 아래의 수식과 같이 조정 되는 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
    Figure 112004025699706-pat00009
    여기서, N은 반복도, Vupdated는 갱신된 퍼지소속함수의 중심값, VNEW는 현 에피소드에서의 주거환경 입력값,
    Figure 112004025699706-pat00010
    는 새로운 가표준편차,
    Figure 112004025699706-pat00011
    는 기학습된 지식의 퍼지소속함수의 가표준편차이다.
  8. 제 7 항에 있어서,
    상기 반복도(N)가 임계값 이상이 되면 상기 퍼지소속함수의 폭을 결정하는 가표준편차는 아래의 수식과 같이 조정되는 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
    Figure 112004025699706-pat00012
    여기서, Nmax는 반복도의 임계값, Vupdated는 갱신된 퍼지소속함수의 중심값, VNEW는 현 에피소드에서의 주거환경 입력값,
    Figure 112004025699706-pat00013
    는 새로운 가표준편차,
    Figure 112004025699706-pat00014
    는 기학습된 지식의 퍼지소속함수의 가표준편차이다.
  9. 주거환경을 감지하는 각종 감지부, 사용자의 행위 패턴을 기반으로 학습된 퍼지규칙과 퍼지소속함수를 저장하는 데이터베이스, 사용자에게 서비스를 제공하는 각종 가전기기 및 로봇시스템과 연결되어, 상기 각종 감지부로부터 입력되는 주거환경 입력값으로 상기 데이터베이스를 검색하여 해당되는 퍼지규칙을 상기 각종 가전기기 및 로봇시스템에게 적용하는 학습시스템에서의 지능형 주거 공간의 학습방법에 있어서,
    상기 각종 감지부의 주거환경 입력값을 이용하여 상기 데이터베이스를 검색하는 제 1 단계와;
    상기 주거환경 입력값에 해당하는 복수의 퍼지규칙이 존재하면 상기 복수의 퍼지규칙이 발생한 횟수(발생값)를 이용하여 선택한 하나의 퍼지규칙을 상기 각종 가전기기 또는 로봇시스템에게 적용하는 제 2 단계와;
    사용자의 반응을 감지하여 상기 사용자의 반응에 따른 보상값 및 가중치를 이용하여 상기 제 2 단계에서 적용한 퍼지규칙의 발생값을 갱신하는 제 3 단계를 포함한 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
  10. 제 9 항에 있어서, 사용자의 부정 또는 긍정 반응에 따른 보상값(r)은 -k 내지 +k 사이의 실수이고, 가중치가 a이면, 상기 제 2 단계에서 적용한 퍼지규칙의 갱신된 발생값(O')은 '갱신전 발생값(O) + a*r'인 것을 특징으로 하는 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법.
KR1020040043936A 2004-06-15 2004-06-15 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법 KR100581717B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040043936A KR100581717B1 (ko) 2004-06-15 2004-06-15 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040043936A KR100581717B1 (ko) 2004-06-15 2004-06-15 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법

Publications (2)

Publication Number Publication Date
KR20050118822A KR20050118822A (ko) 2005-12-20
KR100581717B1 true KR100581717B1 (ko) 2006-05-22

Family

ID=37291726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040043936A KR100581717B1 (ko) 2004-06-15 2004-06-15 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법

Country Status (1)

Country Link
KR (1) KR100581717B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776800B1 (ko) * 2006-06-16 2007-11-19 한국전자통신연구원 지능형 가제트를 이용한 맞춤형 서비스 제공 방법 및시스템
KR100873373B1 (ko) * 2007-02-14 2008-12-10 성균관대학교산학협력단 사용자 의도 인식 시스템 및 방법
KR20090024423A (ko) 2007-09-04 2009-03-09 한국전자통신연구원 지능형 시스템의 학습 장치 및 방법
KR100982164B1 (ko) * 2008-12-18 2010-09-14 한양대학교 산학협력단 행동이론 기반의 행동인지 방법 및 장치
KR20200016641A (ko) * 2018-08-07 2020-02-17 엘지전자 주식회사 인공지능을 이용하여 헬스 케어 기능을 수행하는 홈어플라이언스 및 클라우드 서버
KR101996781B1 (ko) * 2019-03-05 2019-10-01 (주)파란빌트인 가전 및 가구의 지능형 제어 시스템 및 방법
JP2022039511A (ja) * 2020-08-28 2022-03-10 日立グローバルライフソリューションズ株式会社 見守り装置、見守り方法及び見守りプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920700418A (ko) * 1989-03-13 1992-02-19 미쓰다 가쓰시게 프로세스 운전지원방법 및 시스템
KR20010095960A (ko) * 2000-04-14 2001-11-07 유인균 인공지능형 아파트 구현을 위한 인공신경망 제어기
US6377858B1 (en) 1997-10-02 2002-04-23 Lucent Technologies Inc. System and method for recording and controlling on/off events of devices of a dwelling
JP2003102077A (ja) 2001-09-25 2003-04-04 Matsushita Electric Ind Co Ltd 家電機器制御装置、家電機器、及び家電ネットワークシステム
KR20030083450A (ko) * 2002-04-23 2003-10-30 주식회사 화음소 인공신경망 전자제품의 패턴별 가변학습률 및 학습생략 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920700418A (ko) * 1989-03-13 1992-02-19 미쓰다 가쓰시게 프로세스 운전지원방법 및 시스템
US6377858B1 (en) 1997-10-02 2002-04-23 Lucent Technologies Inc. System and method for recording and controlling on/off events of devices of a dwelling
KR20010095960A (ko) * 2000-04-14 2001-11-07 유인균 인공지능형 아파트 구현을 위한 인공신경망 제어기
JP2003102077A (ja) 2001-09-25 2003-04-04 Matsushita Electric Ind Co Ltd 家電機器制御装置、家電機器、及び家電ネットワークシステム
KR20030083450A (ko) * 2002-04-23 2003-10-30 주식회사 화음소 인공신경망 전자제품의 패턴별 가변학습률 및 학습생략 방법

Also Published As

Publication number Publication date
KR20050118822A (ko) 2005-12-20

Similar Documents

Publication Publication Date Title
US5510975A (en) Method of logical operations in home automation
CN108419453B (zh) 一种照明灯控制方法及其装置、照明灯
Mozer The neural network house: An environment hat adapts to its inhabitants
CN105444336B (zh) 空调器的控制方法和空调器
Doctor et al. A type-2 fuzzy embedded agent to realise ambient intelligence in ubiquitous computing environments
EP2534930B1 (en) Light level control for building illumination
KR101261199B1 (ko) 신경망 모델에 의한 지능형 제어 알고리즘을 이용한 건물의 예약냉각 제어방법
KR100581717B1 (ko) 사용자 행동 패턴 기반 지능형 주거 공간의 학습방법
JPH09507962A (ja) 昼光レベルの増加によって人工照明を最適化するシステム
KR101251873B1 (ko) 지능형 제어 알고리즘을 이용한 건물 공조 제어 방법
US20200209810A1 (en) Neural networks for occupiable space automation
KR101261198B1 (ko) 신경망 모델에 의한 지능형 제어 알고리즘을 이용한 건물의 실내온도 하강 제어방법
CN110942228A (zh) 能耗控制方法、装置、计算机设备与存储介质
CN108474576A (zh) 控制装置、控制方法和程序
CN113419439A (zh) 物联网设备的联动控制方法、终端、网关设备、及***
CN109327944A (zh) 智能照明控制方法及***
KR20010095960A (ko) 인공지능형 아파트 구현을 위한 인공신경망 제어기
CN109140706A (zh) 一种空调智能控制方法
CN108430141A (zh) 一种基于前馈预测的环境照度的自动控制方法
CN111308970A (zh) 家居设备控制方法、装置、存储介质及电子设备
CN113301696A (zh) 一种基于智能家居***的照明控制方法及装置
JP7292081B2 (ja) 制御システム
JP2011205413A (ja) 機器制御システム
Daum On the Adaptation of Building Controls to the Envelope and the Occupants
CN110278642A (zh) 一种控制器背光控制***及方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100503

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee