KR102233602B1 - Method and device for setting and recommending device action using user context - Google Patents

Abstract

스마트 홈 시스템이 사용자 상황(user context)을 인지하고, 인지한 사용자 상황에 기초하여 스마트 홈 시스템 내의 각 디바이스의 동작을 설정하거나 추천하는 절차를 자동화하는 방법을 제공한다. 사용자가 모드 서비스를 새롭게 추가 또는 정의하거나 모드 서비스가 포함하는 디바이스의 동작을 관리 또는 수정하는 방법을 제공한다. 또한 룰을 정의할 때 각 디바이스를 통해 제공할 수 있는 기능을 추천하는 방법을 제공한다.A method of automating a procedure in which a smart home system recognizes a user context and sets or recommends an operation of each device in a smart home system based on the recognized user context. It provides a method for a user to newly add or define a mode service or to manage or modify the operation of a device included in the mode service. It also provides a method of recommending functions that can be provided through each device when defining rules.

Description

사용자 컨텍스트를 이용한 디바이스 동작의 설정 및 추천 방법 및 장치 {METHOD AND DEVICE FOR SETTING AND RECOMMENDING DEVICE ACTION USING USER CONTEXT} Device operation setting and recommendation method and device using user context {METHOD AND DEVICE FOR SETTING AND RECOMMENDING DEVICE ACTION USING USER CONTEXT}

스마트 홈 서비스는 가전기기, 센서, 서버 등 다양한 디바이스가 서로 연동(link)되어 사용자가 원하는 동작을 실행한다. 스마트 홈 시스템에 포함되는 가전기기, 센서, 서버 등은 게이트웨이 장치를 통해 상호간에 정보를 송수신할 수 있다. 한편, 스마트 홈 시스템 내에서 연동되는 디바이스의 수가 늘어날수록 스마트 홈 서비스를 이용하기 위한 설정 및 제어의 복잡성(complexity)도 함께 증가한다.In the smart home service, various devices such as home appliances, sensors, and servers are linked to each other to perform an operation desired by the user. Home appliances, sensors, and servers included in the smart home system may transmit and receive information to and from each other through a gateway device. On the other hand, as the number of devices interlocked in the smart home system increases, the complexity of setting and controlling for using the smart home service also increases.

스마트 홈 서비스는, 제조사가 미리 정의해 제공하는 특정 모드를 사용자가 선택하면, 상기 특정 모드에 대응되는 디바이스들의 동작(action)이 일괄적으로 실행되는 모드 서비스를 포함할 수 있다. 모드 서비스를 이용함으로써, 사용자는 한번의 입력으로 한꺼번에 여러 디바이스들이 실행되도록 제어할 수 있다.The smart home service may include a mode service in which an action of devices corresponding to the specific mode is collectively executed when a user selects a specific mode provided by a manufacturer in advance. By using the mode service, a user can control multiple devices to run at once with a single input.

본 발명의 일 실시예는 스마트 홈 시스템이 사용자 상황(user context)을 인지하고, 인지한 사용자 상황에 기초하여 스마트 홈 시스템 내의 각 디바이스의 동작을 설정하거나 추천하는 절차를 자동화하는 방법을 제공한다.An embodiment of the present invention provides a method for a smart home system to recognize a user context and to automate a procedure for setting or recommending an operation of each device in a smart home system based on the recognized user context.

본 발명의 일 실시예는 사용자가 모드 서비스(룰;rule)를 새롭게 추가 또는 정의(define)하거나 모드 서비스가 포함하는 디바이스의 동작을 관리 또는 수정하는 방법을 제공한다. 또한 룰을 정의할 때 각 디바이스를 통해 제공할 수 있는 기능을 추천하거나, 사용자의 기기 사용 패턴을 감지하여 자동으로 룰을 생성하는 기능을 제공한다.An embodiment of the present invention provides a method for a user to newly add or define a mode service (rule), or to manage or modify an operation of a device included in the mode service. In addition, when defining rules, it recommends functions that can be provided through each device, or provides a function to automatically generate rules by detecting a user's device usage pattern.

본 발명의 일 실시예는 사용자의 실행 입력에 의존하지 않고 스마트 홈 서비스가 제공되도록 한다.An embodiment of the present invention allows a smart home service to be provided without relying on a user's execution input.

본 발명의 일 실시 예에 따른 게이트웨이 장치가 다른 장치를 제어하는 방법은, 제1 장치 그룹으로부터 사용자 동작(user operation) 정보를 수신하면, 제2 장치 그룹으로부터 수신하는 장치 상태(device state) 정보를 기록 구간(recording period) 동안 기록하는 단계; 상기 기록한 장치 상태 정보 및 이전에 기록한 적어도 하나의 장치 상태 정보에 기초하여, 공통(common) 장치 상태 정보를 추출하는 단계; 및 상기 추출된 공통 장치 상태 정보에 상응하는 장치 상태 정보를 상기 제2 장치 그룹으로부터 수신하면, 상기 제1 장치 그룹이 상기 사용자 동작 정보에 상응하는 사용자 동작을 실행하도록 제1 장치 그룹에 요청하는 단계를 포함하는 것을 특징으로 한다.A method of controlling another device by a gateway device according to an embodiment of the present invention is, when receiving user operation information from a first device group, device state information received from the second device group is received. Recording during a recording period; Extracting common device state information based on the recorded device state information and at least one previously recorded device state information; And when receiving device state information corresponding to the extracted common device state information from the second device group, requesting the first device group to execute a user operation corresponding to the user operation information. It characterized in that it comprises a.

본 발명의 일 실시 예에 따른 다른 장치를 제어하는 게이트웨이 장치는, 다른 장치와 정보를 송수신(communicate)하는 통신부; 상기 정보를 기록하거나 또는 저장하는 저장부; 및 제1 장치 그룹으로부터 사용자 동작(user operation) 정보를 수신하면 제2 장치 그룹으로부터 수신하는 장치 상태(device state) 정보를 기록 구간(recording period) 동안 기록하고, 상기 기록한 장치 상태 정보 및 이전에 기록한 적어도 하나의 장치 상태 정보에 기초하여 공통(common) 장치 상태 정보를 추출하고, 상기 추출된 공통 장치 상태 정보에 상응하는 장치 상태 정보를 상기 제2 장치 그룹으로부터 수신하면 상기 제1 장치 그룹이 상기 사용자 동작 정보에 상응하는 사용자 동작을 실행하도록 제1 장치 그룹에 요청하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.A gateway device for controlling another device according to an embodiment of the present invention includes: a communication unit for transmitting/receiving information with another device; A storage unit for recording or storing the information; And when user operation information is received from the first device group, device state information received from the second device group is recorded during a recording period, and the recorded device state information and previously recorded device state information are recorded. If common device state information is extracted based on at least one device state information, and device state information corresponding to the extracted common device state information is received from the second device group, the first device group And a control unit for controlling to request the first device group to execute a user operation corresponding to the operation information.

스마트 홈 시스템의 각 디바이스가 실행될 때의 사용자 컨텍스트의 패턴을 학습하므로, 디바이스 실행을 위한 사용자 동작 없이도 디바이스를 실행시킴으로서, 사용자에게 편의성 및 최적화된 서비스를 제공할 수 있다. 또한 룰의 자동 생성 및 추천을 통해 사용자가 룰을 편리하고 효율적으로 관리할 수 있다.Since the pattern of the user context when each device of the smart home system is executed is learned, it is possible to provide convenience and optimized services to the user by executing the device without a user action for executing the device. In addition, users can conveniently and efficiently manage rules through automatic creation and recommendation of rules.

도 1은 본 발명의 일 실시예에 따른 스마트 홈 시스템의 구성을 도시한다.
도 2는 본 발명의 다른 일 실시예에 따른 스마트 홈 시스템의 구성을 도시한다.
도 3은 본 발명의 일 실시예에 따라 조건 및 동작을 입력받아 룰을 생성하는 프로세스를 나타낸다.
도 4는 본 발명의 일 실시예에 따라, 룰을 편집하고 룰 적용에 따라 동작을 수행하는 프로세스를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 사용자의 장치 사용 및 컨텍스트의 패턴에 기반하여 룰을 생성하고 생성한 룰을 적용하는 프로세스를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 동작 구간을 나타낸다.
도 7은 본 발명의 일 실시예에 따라 동작 구간에서 이벤트를 추출하는 프로세스를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 명칭 및 아이콘을 나타낸다.
도 9는 본 발명의 일 실시예에 따른 게이트웨이 장치의 구성을 도시한다.
도 10은 본 발명의 일 실시예에 따라 룰을 생성하고 생성된 룰을 실행하는 흐름도를 나타낸다.
도 11은 본 발명의 다른 일 실시예에 따라 룰을 생성하고 생성된 룰을 실행하는 흐름도를 나타낸다.
도 12는 본 발명의 일 실시예에 따라 게이트웨이가 다른 장치를 제어하는 흐름도를 나타낸다.
도 13은 본 발명의 다른 일 실시예에 따른 컨텍스트를 이용한 디바이스 동작을 위한 흐름도를 나타낸다.1 shows the configuration of a smart home system according to an embodiment of the present invention.
2 shows the configuration of a smart home system according to another embodiment of the present invention.
3 shows a process of generating a rule by receiving a condition and an action according to an embodiment of the present invention.
4 illustrates a process of editing a rule and performing an operation according to application of the rule, according to an embodiment of the present invention.
5 illustrates a process of generating a rule based on a pattern of a user's device usage and context and applying the generated rule according to an embodiment of the present invention.
6 shows an operation section according to an embodiment of the present invention.
7 shows a process of extracting an event from an operation section according to an embodiment of the present invention.
8 shows names and icons according to an embodiment of the present invention.
9 shows a configuration of a gateway device according to an embodiment of the present invention.
10 is a flowchart illustrating a rule generation and execution of the generated rule according to an embodiment of the present invention.
11 is a flowchart illustrating a rule generation and execution of the generated rule according to another embodiment of the present invention.
12 is a flowchart of a gateway controlling another device according to an embodiment of the present invention.
13 is a flowchart illustrating a device operation using a context according to another embodiment of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 하기의 설명에서는 본 발명의 각 실시예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 간략화되거나 생략될 수 있다. 본 발명의 특징이 본 명세서에서 개시하는 예시들로 한정되는 것은 아니며, 각 구성들의 형태 변경이나, 추가적인 기능들까지도 포함하는 형태로 해석될 수 있다. 도면들에서, 일부 요소들의 크기는 예시를 위해 확대될 수 있으며, 크기에 비례하여 도시한 것이 아니다.Terms or words used in the specification and claims described below should not be construed as being limited to a conventional or dictionary meaning, but should be construed as meanings and concepts consistent with the technical idea of the present invention. In the following description, only parts necessary to understand the operation according to each embodiment of the present invention will be described, and descriptions of other parts may be simplified or omitted so as not to distract the gist of the present invention. The features of the present invention are not limited to the examples disclosed in this specification, and may be interpreted as including changes in the form of each configuration or even additional functions. In the drawings, the size of some elements may be enlarged for illustration and are not drawn in proportion to the size.

본 명세서 및 청구범위에 있어서 "포함하는"은 다른 요소들 또는 동작들을 배제한다는 의미가 아니다. 단수 명사는 달리 특별히 언급되지 않는다면 복수 명사를 포함할 수 있다. 예를 들어 "사용자 동작" 또는 "상태"는 복수의 사용자 동작 또는 복수의 상태를 의미할 수 있다. 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 본 명세서 및 청구범위에 있어서 "제1, 제2, 제3"는 유사한 요소들을 구별하기 위해 사용되었으며, 반드시 순차적 또는 연대순으로 기술하기 위해 사용된 것은 아니다. 본 명세서 및 청구범위에 있어서 "제1, 제2, 제3"는 상호 배타적인 의미로 사용된 것은 아니다. 예를 들어 "제1 장치 그룹"에 포함되는 장치가 "제3 장치 그룹"에 포함될 수도 있다.In the specification and claims, "comprising" does not mean excluding other elements or actions. Singular nouns may include plural nouns unless specifically stated otherwise. For example, "user action" or "state" may mean a plurality of user actions or a plurality of states. The suffix "unit" for a component is given or used interchangeably in consideration of only the ease of writing the specification, and does not itself have a distinct meaning or role from each other. In the specification and claims, "first, second, third" are used to distinguish between similar elements, and are not necessarily used to describe sequentially or chronologically. In the present specification and claims, "first, second, third" are not used in a mutually exclusive sense. For example, devices included in the "first device group" may be included in the "third device group".

본 명세서 및 청구범위에 있어서 룰(Rule)은, 조건(Condition)과 상기 조건에 의해 트리거되는 동작(Action)의 대응관계(relationship)를 의미하고, 상황 정보의 히스토리를 고려하여 결정되는 것을 특징으로 한다. 상기 룰은 모드 서비스와 같은 의미로 사용될 수 있다. 본 명세서 및 청구범위에 있어서 조건(condition)은 스마트 홈 시스템에 포함된 장치(들)의 특정 상태(specific state) 또는 상태 변화(state change)를 의미할 수 있다. 본 명세서 및 청구범위에 있어서 동작(action)은 스마트 홈 시스템에 포함된 장치(들)에 대한 사용자 동작(user operation)을 의미할 수 있다. In the present specification and claims, a rule refers to a relationship between a condition and an action triggered by the condition, and is determined in consideration of the history of context information. do. The rule can be used in the same meaning as a mode service. In the present specification and claims, a condition may mean a specific state or state change of the device(s) included in the smart home system. In the present specification and claims, an action may mean a user operation for the device(s) included in the smart home system.

룰(Rule)은 표 1과 같이 표현될 수 있다. 표 1에서 나타난 것과 같이, 조건은 하나 또는 하나 이상의 장치의 상태를 포함할 수 있고, 동작은 하나 또는 하나 이상의 장치에 대한 동작을 포함할 수 있다.Rules can be expressed as shown in Table 1. As shown in Table 1, conditions can include the state of one or more devices, and actions can include actions on one or more devices.

룰(rule)Rule 조건(condition)Condition 동작(action)Action 이름name 장치1Device 1 장치2Device 2 …… 장치1Device 1 장치2Device 2 …… 아이콘icon 상태state 상태state …… 동작action 동작action ……

룰은, 사용자에 의해 정의되거나 스마트 홈 시스템에 의해 추천되는, 고유의 이름과 아이콘을 가질 수 있다. 룰이 조건 및 동작을 포함하는 경우 각각의 조건 및 동작 역시 고유의 이름과 아이콘을 가질 수 있다. 룰의 이름은, 예를 들어, 마켓(Market), 비(Rainy), 외출(Away) 또는 수면(Sleep)에 해당할 수 있다. 조건의 이름은 예를 들어 NFC, 문(door), 날짜 및 시간(Date & Time), 날씨(Weather), 기온(Temperature), 습도(Humidity) 또는 거실의 전등(Light in living room)에 해당할 수 있다. 동작의 이름은 예를 들어 전등(light), 보안(security), 에어컨(Air Conditioner) 중의 하나에 해당할 수 있다. 장치(device)는 디바이스 타입에 따라, 예를 들어, 가전/조명 장치 및 기타 장치로 분류될 수 있다. 룰은 디바이스 타입에 대한 정보를 함께 포함할 수 있다.Rules may have a unique name and icon, defined by the user or recommended by the smart home system. When a rule includes conditions and actions, each condition and action may also have a unique name and icon. The name of the rule may correspond to, for example, Market, Rainy, Away, or Sleep. The name of the condition could be, for example, NFC, door, Date & Time, Weather, Temperature, Humidity, or Light in living room. I can. The name of the operation may correspond to, for example, one of light, security, and air conditioner. According to the device type, a device may be classified into, for example, a home appliance/lighting device and other devices. The rule may include information on the device type together.

다음의 문장들은 조건(if 절) 및 동작(then 절)을 포함하는 룰을 문장으로 표현한 것이다.The following sentences express rules including conditions (if clause) and actions (then clause) in sentences.

만약 현재 시간이 10:00~21:00 이고 비가 오면, 거실의 전등을 켠다. 만약 Tom이 외출하고 Tom의 방에서 5분간 움직임이 감지되지 않으면, Tom의 방의 전등을 끈다. 만약 Jane이 있을 때 30도 이상이면, 에어컨을 켠다. 만약 9시 이후 외출이 감지되면, 카메라와 센서를 활성화(activate)시킨다. 만약 세탁기의 세탁이 완료되면, 팝업 및 LED 조명을 이용하여 알린다. 만약 Alice가 소지한 NFC tag의 접근을 감지하면, Alice의 방의 컴퓨터를 켜고 워드 프로그램을 실행시킨다. 만약 어제의 전기 사용량이 이틀전의 전기 사용량보다 2배이상 많으면, Margie의 단말에 경고 메시지를 표시한다.If the current time is between 10:00 and 21:00 and it rains, turn on the lights in the living room. If Tom goes out and there is no motion in Tom's room for 5 minutes, turn off the lights in Tom's room. If Jane is over 30 degrees, turn on the air conditioner. If going out after 9 o'clock is detected, the camera and sensor are activated. If the washing machine is finished washing, it is notified using pop-up and LED lights. If it detects the proximity of the NFC tag Alice possesses, it turns on the computer in Alice's room and runs the word program. If yesterday's electricity usage is more than twice the electricity usage two days ago, a warning message is displayed on Margie's terminal.

게이트웨이가 조건 및 동작을 감지하는 것은, 게이트웨이가 포함하는 센서 또는 입력부의 감지를 의미할 수도 있고, 다른 장치의 센싱 정보 또는 입력 정보 등을 게이트웨이가 수신하는 것을 의미할 수도 있다.When the gateway detects a condition and an operation, it may mean detection of a sensor or an input unit included in the gateway, or it may mean that the gateway receives sensing information or input information of another device.

조건을 구체적으로 살펴보면, 조건은 스마트 홈 시스템의 센서에 의해 측정되는 외부 환경 정보나 스마트 홈 시스템에 포함된 디바이스(들)의 상태 또는 상태 변화를 나타낼 수 있다. 본 명세서 및 청구범위에 있어서 "조건"은 "사용자 상황" 또는 "장치 상태"와 같은 의미로 사용될 수 있다. 표 2에서 조건의 예시를 기재하고 있다.Looking specifically at the condition, the condition may indicate external environment information measured by a sensor of the smart home system or a state or state change of the device(s) included in the smart home system. In the present specification and claims, "condition" may be used in the same sense as "user situation" or "device state". Table 2 shows examples of conditions.

외부조건External condition 가전/조명장치Home appliance/lighting device 기타 장치Other devices 온도Temperature 날씨weather 전기가격Electricity price 시간time 냉장고Refrigerator 에어컨air conditioner 세탁기washer 건조기dryer 오븐Oven TVTV LEDLED 스위치switch 도어락door lock 움직임 감지기Motion detector IP 카메라IP camera 온도조절장치Thermostat 따뜻함warmth 맑음Sunny 비쌈Expensive 새벽dawn 켜짐On 켜짐On 켜짐On 켜짐On 켜짐On 켜짐On 켜짐On 켜짐On 문열림Door open 켜짐On 켜짐On 켜짐On 보통usually 흐림blur 보통usually 오전morning 꺼짐Off 꺼짐Off 꺼짐Off 꺼짐Off 꺼짐Off 꺼짐Off 꺼짐Off 꺼짐Off 문잠김Door locked 꺼짐Off 꺼짐Off 꺼짐Off 추움Cold 비ratio 쌈wrapping 점심lunch 냉장실열림Refrigerator open 온도높음High temperature 세탁완료Washing completed 건조완료Drying complete 조리완료Cooked 채널1Channel 1 밝음Bright 동작감지Motion detection 동작감지Motion detection 온도높음High temperature 눈Eye 오후afternoon 냉장실닫힘Refrigerating room closed 온도보통Temperature 채널2Channel 2 보통usually 소리감지Sound detection 온도보통Temperature 저녁dinner 냉동고열림Freezer open 온도낮음Low temperature 어두움gloominess 온도낮음Low temperature 밤night 냉동고닫힘Freezer closed

표2의 외부조건에서, 시간은 새벽, 오전, 점심, 오후, 저녁, 밤 중의 하나의 상태에 해당할 수 있다. 표2의 가전/조명장치에서, TV는 켜짐, 꺼짐, 채널1표시, 채널2표시 중의 하나 이상의 상태에 해당할 수 있다. 표2의 기타 장치에서, 온도조절장치(Thermostat)는 온도높음, 온도보통, 온도낮음 중 하나의 상태에 해당할 수 있다. 각각의 장치에서 감지된 조건에 대한 정보는 게이트웨이 장치에 전달될 수 있다.In the external conditions of Table 2, the time may correspond to one of the conditions of dawn, morning, lunch, afternoon, evening, and night. In the home appliance/illumination device of Table 2, the TV may correspond to one or more of on, off, channel 1 display, and channel 2 display. In the other devices in Table 2, the thermostat may correspond to one of high temperature, medium temperature, and low temperature. Information on conditions detected by each device may be delivered to the gateway device.

동작(Action)을 구체적으로 살펴보면, 동작은 스마트 홈 시스템에 포함된 디바이스(들)의 동작을 나타낸다. 본 명세서 및 청구범위에 있어서 "동작(action)"은 "사용자 동작(User Operation)"과 같은 의미로 사용될 수 있다. 표 3에서 동작의 예시를 기재하고 있다.Looking at the action in detail, the action represents the operation of the device(s) included in the smart home system. In the present specification and claims, "action" may be used with the same meaning as "user operation". Table 3 shows an example of the operation.

가전/조명 장치Home appliance/lighting device 기타 디바이스Other devices 냉장고Refrigerator 에어컨air conditioner 세탁기washer 건조기dryer 오븐Oven TVTV LEDLED 스위치switch 도어락door lock 움직임감지기Motion detector IP 카메라IP camera 온도조절장치Thermostat 냉장실열림Refrigerator open 전원켬Power on 전원켬Power on 전원켬Power on 전원켬Power on 전원켬Power on 켬ON 켬ON 문열림Door open 움직임감지Motion detection 동작감지Motion detection 전원켬Power on 냉장실닫힘Refrigerating room closed 전원끔Power off 전원끔Power off 전원끔Power off 전원끔Power off 전원끔Power off 끔Off 끔Off 문잠김Door locked 움직임무감지Motionlessness 소리감지Sound detection 전원끔Power off 냉동고열림Freezer open 온도올림Temperature increase 밝게brightly 영상전달Video delivery 온도올림Temperature increase 냉동고닫힘Freezer closed 온도내림Temperature down 어둡게darkly 온도내림Temperature down 온도내림Temperature down 온도올림Temperature increase

가전/조명장치에서, LED는 켬 동작, 끔 동작, 밝게 하는 동작, 어둡게 하는 동작 중의 하나에 해당하는 동작을 감지할 수 있다. 기타 장치에서, 움직임감지기(Motion Detector)는 움직임 감지, 움직임 무감지 중 하나에 해당하는 동작을 감지할 수 있다. 각각의 장치에서 감지된 동작에 대한 정보는 게이트웨이 장치에 전달될 수 있다. 표 3은 동작의 일 예일 뿐이며, 사용자는 동작을 편집하여 동작의 반복 여부, 반복 횟수 및 반복 간격 시간을 정할 수 있다. 각각의 장치에서 감지된 동작에 대한 정보는 게이트웨이 장치에 전달될 수 있다.In a home appliance/lighting device, the LED can detect an operation corresponding to one of an ON operation, an OFF operation, a brightening operation, and a darkening operation. In other devices, a motion detector may detect a motion corresponding to one of motion detection and no motion detection. Information on the motion detected by each device may be delivered to the gateway device. Table 3 is only an example of an operation, and the user can edit the operation to determine whether to repeat the operation, the number of repetitions, and the repetition interval time. Information on the motion detected by each device may be delivered to the gateway device.

이하, 본 발명의 다양한 실시예를 첨부한 도면을 참조하여 설명한다.Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 스마트 홈 시스템의 구성을 도시한다.1 shows the configuration of a smart home system according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면 스마트 홈 시스템은 게이트웨이(110), 사용자 단말(User Equipment)(120), 연관 디바이스(associated device)(130), 스마트 가전(Smart Appliance)(140) 또는 리모트 서버(150)를 포함할 수 있다.According to an embodiment of the present invention, a smart home system includes a gateway 110, a user equipment 120, an associated device 130, a smart appliance 140, or a remote server ( 150) may be included.

게이트웨이(110)는, 게이트웨이 장치로 호칭될 수도 있으며, 사용자 단말(120), 연관 디바이스(130), 스마트 가전(140) 또는 리모트 서버(150)와 통신할 수 있다. 게이트웨이(110)는 사용자 단말(120), 연관 디바이스(130), 스마트 가전(140) 또는 리모트 서버(150)로부터 수신한 데이터 또는 사용자 단말(120), 연관 디바이스(130), 스마트 가전(140) 또는 리모트 서버(150)를 컨트롤하는데 필요한 데이터를 저장할 수 있다. 게이트웨이(110)는 유저 인터페이스(UI)를 표시할 수 있는 디스플레이(터치 스크린)을 하나 이상 포함할 수 있다. 본 발명의 일 실시예에 따르면 게이트웨이(110)는 사용자 단말(120), 연관 디바이스(130) 또는 스마트 가전(140)의 기능의 전부 또는 일부를 수행할 수 있다. 다시 말해, 스마트폰, 웨어러블 디바이스, 태블릿 pc, 청소기, 냉장고, TV, Thermostat 등이 게이트웨이(110)의 역할을 수행할 수도 있다.The gateway 110 may be referred to as a gateway device, and may communicate with the user terminal 120, the associated device 130, the smart home appliance 140, or the remote server 150. The gateway 110 is the user terminal 120, the associated device 130, the smart home appliance 140 or data received from the remote server 150 or the user terminal 120, the associated device 130, the smart home appliance 140 Alternatively, data required to control the remote server 150 may be stored. The gateway 110 may include one or more displays (touch screens) capable of displaying a user interface (UI). According to an embodiment of the present invention, the gateway 110 may perform all or part of the functions of the user terminal 120, the associated device 130, or the smart home appliance 140. In other words, a smart phone, a wearable device, a tablet pc, a vacuum cleaner, a refrigerator, a TV, a thermostat, etc. may serve as the gateway 110.

사용자 단말(120)은 운영체제(Operating System)에서 구동되는 어플리케이션을 실행하거나 컨텐츠를 표시 가능하도록 구성되는 전자 장치이다. 사용자 단말(120)은 UI를 표시할 수 있는 디스플레이(터치스크린), 외부 장치와 통신하는 통신부, 데이터를 저장하는 저장부, 사용자의 입력을 수신하는 입력부 또는 각 동작 수행을 제어하는 제어부를 구비할 수 있다. 사용자 단말(120)은 예를 들면, 태블릿(Tablet) 개인 컴퓨터(Personal Computer: PC), 휴대용 멀티미디어 재생 장치(Portable Multimedia Player: PMP), 개인용 휴대 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 휴대폰, 디지털 액자, 웨어러블 디바이스(Wearable Device) 등을 포함할 수 있다. 상기 웨어러블 디바이스는 몸에 걸칠 수 있는 전자 장치로서, 예를 들어 안경(glasses), 워치(watch), 팔찌(bracelet), 의류(clothing), 스포츠 기기, 의료 기기 등의 형태를 가질 수 있다. 상기 웨어러블 디바이스는 피부에 부착하거나 인체에 이식하는 형태를 가질 수도 있다.The user terminal 120 is an electronic device configured to execute an application driven by an operating system or display content. The user terminal 120 includes a display (touch screen) capable of displaying a UI, a communication unit communicating with an external device, a storage unit storing data, an input unit receiving user input, or a control unit controlling each operation. I can. The user terminal 120 includes, for example, a tablet personal computer (PC), a portable multimedia player (PMP), a personal digital assistant (PDA), and a smart phone. Phone), mobile phones, digital picture frames, wearable devices, and the like. The wearable device is an electronic device that can be worn over the body, and may be in the form of, for example, glasses, watches, bracelets, clothing, sports equipment, medical equipment, and the like. The wearable device may be attached to the skin or implanted into the human body.

연관 디바이스(130)는 PV, ESS, 도어락, IP 카메라, 도어캠 등을 포함할 수 있다. 연관 디바이스(130)는 지자기, 기압, 사용자의 모션, 사용자의 근접, 사용자의 위치, 윈도우, 온도, 습도, 조도, 중력 등을 감지하는 센서를 포함할 수 있다. The associated device 130 may include PV, ESS, door lock, IP camera, door cam, and the like. The associated device 130 may include a sensor that detects geomagnetic, atmospheric pressure, a user's motion, a user's proximity, a user's location, a window, temperature, humidity, illuminance, gravity, and the like.

스마트 가전(140)은 텔레비전, 냉장고, 세탁기, 에어컨, 오븐, 식기세척기 또는 로봇 청소기를 포함할 수 있다.The smart home appliance 140 may include a television, a refrigerator, a washing machine, an air conditioner, an oven, a dishwasher, or a robot cleaner.

도 1에서 사용자 단말(120), 연관 디바이스(130) 및 스마트 가전(140)를 통합하여 "장치(디바이스)"로 호칭할 수 있다. 다시 말해, 본 명세서 및 청구범위에 있어서, 디바이스는 사용자가 게이트웨이(GW), 단말 또는 서버을 통해 상기 디바이스의 상태를 모니터링하거나 상기 디바이스의 동작을 제어할 수 있는 장치로 정의할 수 있다. 한편, 사용자 단말(120), 연관 디바이스(130) 및 스마트 가전(140)에서 예로 들지 않은 경우에도 장치(device)에 해당할 수 있다.In FIG. 1, the user terminal 120, the associated device 130, and the smart home appliance 140 may be collectively referred to as a "device (device)". In other words, in the present specification and claims, a device may be defined as a device through which a user can monitor the state of the device or control the operation of the device through a gateway (GW), a terminal, or a server. Meanwhile, the user terminal 120, the associated device 130, and the smart home appliance 140 may correspond to a device even if not illustrated.

리모트 서버(150)는 원격 접속에 의해 디바이스 동작 제어를 수행할 수 있다. 본 명세서에서는 게이트웨이 또는 디바이스에 의한 디바이스 동작 제어를 설명하고 있으나, 리모트 서버(150) 역시 디바이스 동작 제어를 수행할 수 있다. 리모트 서버(150)는 UI를 표시할 수 있는 디스플레이(터치 스크린), 외부 장치와 통신하는 통신부, 데이터를 저장하는 저장부, 사용자의 입력을 수신하는 입력부, 다른 부(유닛)의 동작 수행을 제어하는 제어부를 구비할 수 있다.The remote server 150 may perform device operation control through remote access. Although the present specification describes device operation control by a gateway or a device, the remote server 150 may also perform device operation control. The remote server 150 controls a display (touch screen) that can display a UI, a communication unit that communicates with an external device, a storage unit that stores data, an input unit that receives user input, and controls the operation of other units (units). It may be provided with a control unit.

도 2는 본 발명의 다른 일 실시예에 따른 스마트 홈 시스템의 구성을 도시한다.2 shows the configuration of a smart home system according to another embodiment of the present invention.

스마트 홈 플랫홈(210)은 룰 데이터베이스(Rule DB)(211)를 포함할 수 있다. 스마트 홈 플랫홈(210)은 스마트 홈 플랫홈(210)이 모니터링하는 디바이스의 상태정보와 Rule DB에 정의되어 있는 사용자 상황(Context) 정보를 대조하여, 적합한 Rule을 실행하는 Context Checker 모듈(212)을 포함할 수 있다. 스마트 홈 플랫홈(210)은 도 1의 게이트웨이(110)에 해당할 수 있다. 스마트 홈 플랫홈(210)은 다른 장치들(220,230), 제조사 서버(240) 또는 소셜 네트워크(250)와 연결될 수 있다. 제조사 서버(240) 또는 소셜 네트워크(250)는 도면 1의 리모트 서버(150)를 포함할 수 있다.The smart home platform 210 may include a rule database 211. The smart home platform 210 includes a context checker module 212 that executes an appropriate rule by comparing the status information of the device monitored by the smart home platform 210 with the user context information defined in the Rule DB. can do. The smart home platform 210 may correspond to the gateway 110 of FIG. 1. The smart home platform 210 may be connected to other devices 220 and 230, a manufacturer server 240, or a social network 250. The manufacturer server 240 or the social network 250 may include the remote server 150 of FIG. 1.

도 3은 본 발명의 일 실시예에 따라 조건 및 동작을 입력받아 룰을 생성하는 프로세스를 나타낸다.3 shows a process of generating a rule by receiving a condition and an action according to an embodiment of the present invention.

스마트 홈 시스템의 게이트웨이는 룰(Rule) 생성 절차가 시작되면, 디폴트로 제공되는 조건을 사용자가 선택하는지 여부를 판단한다(310). 사용자가 디폴트로 제공되는 조건을 선택하지 않는 경우, 게이트웨이는 조건을 새로 생성한다(315). 게이트웨이는 조건을 생성하기 위하여 필요한 정보를 사용자로부터 입력받을 수 있다. 상기 필요한 정보를 입력받는 과정은, 예를 들어, 센싱의 대상 인물에 대한 선택을 입력받는 과정(320), 센싱 디바이스에 대한 선택을 입력받는 과정(325), 센싱 항목에 대한 선택을 입력받는 과정(330), 센싱을 트리거링 하는 조건의 명칭 또는 아이콘의 생성 또는 추가를 입력받는 과정(335)을 포함할 수 있다. 센싱의 대상 인물에 대한 선택을 입력받는 과정은, 센싱의 대상 인물에 대응하는 NFC 태그에 대한 선택을 입력받는 과정을 포함할 수 있다. 본 발명의 일 실시예에 따르면 디폴트로 제공되는 조건을 선택하는 경우 센싱의 대상 인물을 선택하는 입력만으로 조건 입력이 완성될 수 있다. 조건 입력이 완성되면, 새로운 조건 추가에 대한 입력이 있는지 판단한다(340). When the rule generation procedure starts, the gateway of the smart home system determines whether the user selects a condition provided as a default (310). If the user does not select a condition provided by default, the gateway creates a new condition (315). The gateway may receive information necessary to create a condition from a user. The process of receiving the necessary information includes, for example, a process of receiving a selection of a person to be sensed (320), a process of receiving a selection of a sensing device (325), a process of receiving a selection of a sensing item (330), a process 335 of receiving the creation or addition of a name or icon of a condition triggering sensing is input. The process of receiving a selection for a person to be sensed may include a process of receiving a selection for an NFC tag corresponding to a person to be sensed. According to an embodiment of the present invention, when a condition provided by default is selected, the condition input may be completed only by an input for selecting a person to be sensed. When the condition input is completed, it is determined whether there is an input for adding a new condition (340).

새로운 조건 추가에 대한 입력이 없으면, 사용자가 선택하거나 생성한 조건에 대응하는 동작을 사용자로부터 입력받는다. 조건에 대응하는 동작을 입력받는 과정은 조건에 대응하는 동작을 수행하는 디바이스를 선택하는 과정(345)과 선택된 디바이스의 동작을 선택하는 과정(350)을 포함할 수 있다. 355 단계에서 동작 입력을 완성한 후에 새로운 동작 추가에 대한 입력이 없다고 판단하면, 사용자에 의해 입력된 조건 및 동작을 매칭하여 룰(rule)을 생성하고, 생성된 룰을 저장한다(360). 상기 생성된 룰을 저장하는 과정은 룰의 이름과 아이콘을 사용자로부터 입력받아 저장하는 과정을 포함할 수 있다.If there is no input for adding a new condition, an action corresponding to the condition selected or created by the user is input from the user. The process of receiving an operation corresponding to the condition may include a process 345 of selecting a device that performs an operation corresponding to the condition and a process 350 of selecting an operation of the selected device. If it is determined that there is no input for adding a new action after completing the action input in step 355, a rule is generated by matching the condition and action input by the user, and the generated rule is stored (360). The process of storing the generated rule may include a process of receiving and storing the name and icon of the rule from the user.

도 4는 본 발명의 일 실시예에 따라, 룰을 편집하고 룰 적용에 따라 동작을 수행하는 프로세스를 나타낸다.4 illustrates a process of editing a rule and performing an operation according to application of the rule, according to an embodiment of the present invention.

스마트 홈 서비스가 활성화된(activated) 상태에서, 게이트웨이(GW)는 디바이스가 스마트 홈 시스템에 추가 또는 연동(link)되는지 판단할 수 있다(410). 게이트웨이는, 디바이스와 룰을 연관시킨 룰 목록(Rule List)을 매핑 테이블의 형태로 기록할 수 있다. 상기 매핑 테이블은 디바이스의 타입에 대한 정보를 더 포함할 수 있다. 게이트웨이는 410 단계에서 디바이스가 추가되었다고 판단하면, 추가된 디바이스와 매핑되는 디바이스 또는 디바이스의 타입에 대한 정보를 포함하는 룰(Rule)을 매핑 테이블이 보유하고(contain) 있는지 쿼리(Query)할 수 있다(420). 상기 매핑 테이블은 게이트웨이, 다른 장치 또는 서버에 저장되어 있을 수 있다. 쿼리에 대한 응답에 의해, 상기 추가 또는 연동된 디바이스와 룰 목록 내의 특정 룰에 포함된 디바이스 간에, 디바이스 또는 디바이스의 타입이 매핑된다고 판단하면, 게이트웨이는 해당 특정 룰에 대한 추천을 사용자에게 표시할 수 있다(430). 표시된 특정 룰을 사용자가 선택하면, 선택된 룰이 추가된 디바이스에 대응되는 새로운 룰로서 등록된다.In a state in which the smart home service is activated, the gateway GW may determine whether the device is added or linked to the smart home system (410). The gateway may record a rule list in which the device and the rule are associated in the form of a mapping table. The mapping table may further include information on a device type. If the gateway determines that the device has been added in step 410, the gateway may query whether the mapping table contains a rule including information on the device type or the device to be mapped to the added device. (420). The mapping table may be stored in a gateway, another device, or a server. In response to a query, if it is determined that a device or device type is mapped between the added or linked device and the device included in a specific rule in the rule list, the gateway may display a recommendation for the specific rule to the user. There is (430). When the user selects the displayed specific rule, the selected rule is registered as a new rule corresponding to the added device.

룰이 등록된 상태에서, 게이트웨이(GW)는 등록된 룰에 포함된 사용자 상황(User Context)이 발생하는지 판단할 수 있다(440). 상기 사용자 상황이 발생하였다고 판단하는 것은, 표 2에 예시한 상태 중에서 적어도 하나 이상의 상태를 감지하는 것 또는 표 2에 예시한 상태 중에서 적어도 하나 이상의 상태로의 상태 변화를 감지하는 것에 해당할 수 있다. 게이트웨이는 사용자 상황이 발생하였다고 판단하면 rule DB에 저장된 rule list에 포함된 정보를 쿼리할 수 있다. 예를 들어 Context Checker 모듈(212)은 디바이스의 상태 정보를 Rule DB(211)에 정의되어 있는 Condition 정보와 비교할 수 있다. 상기 condition 정보는 사용자에 의해 정의된 특정 시간 또는 날짜를 포함할 수 있다.In a state in which the rule is registered, the gateway GW may determine whether a user context included in the registered rule occurs (440). Determining that the user situation has occurred may correspond to detecting at least one or more of the states illustrated in Table 2 or detecting a state change to at least one or more of the states illustrated in Table 2. When the gateway determines that a user situation has occurred, it can query the information included in the rule list stored in the rule DB. For example, the Context Checker module 212 may compare device status information with condition information defined in the Rule DB 211. The condition information may include a specific time or date defined by the user.

게이트웨이는, 사용자 상황이 발생하였다고 판단한 경우, 상기 사용자 상황에 대응되는 동작이 스마트 홈 시스템 내의 장치(들)에 의해 수행되도록 제어할 수 있다(460). When it is determined that the user situation has occurred, the gateway may control an operation corresponding to the user situation to be performed by the device(s) in the smart home system (460).

사용자는 rule DB에 저장된 Rule list를 조회(inquire)할 수 있다. Rule list가 디스플레이되어 있는 상태에서 사용자는 각각의 rule을 활성화(activate) 또는 비활성화(deactivate) (on/off) 시킬 수 있다. 사용자의 비활성화 입력이 없더라도, Rule 리스트의 조회 시에 디바이스와의 연동에 문제가 있는 Rule은 비활성화 상태가 될 수 있다. Rule 리스트의 조회 시에 활성화 또는 비활성화 (on/off) 여부는 구분하여 표시할 수 있다. 상기 구분하여 표시하는 것은, 예를 들어, 색깔을 다르게 표시하는 것에 해당할 수 있다. Rule 리스트의 조회 시에 사용자는 각각의 Rule에 대하여 condition(user context), action(User Operation), name 또는 icon을 추가, 편집 또는 삭제할 수 있다. The user can inquire the rule list stored in the rule DB. While the rule list is displayed, the user can activate or deactivate (on/off) each rule. Even if there is no user's deactivation input, a rule that has a problem in interworking with the device when inquiring the rule list may become inactive. When searching the rule list, whether to activate or deactivate (on/off) can be displayed separately. The distinctive display may correspond to displaying different colors, for example. When searching the rule list, the user can add, edit or delete condition (user context), action (user operation), name or icon for each rule.

사용자는, 게이트웨이 또는 게이트웨이에 연결된 디바이스에 포함된 툴(tool)을 통하여 조건 및 동작을 입력함에 의해, 룰을 새로 생성할 수 있다. 이와 달리, 게이트웨이가 사용자의 디바이스 사용 및 컨텍스트의 패턴의 연관관계(relation)을 분석하고 상기 분석 결과를 통해 조건 및 동작을 추출해 자동으로 룰을 생성할 수 있다.The user may create a new rule by inputting conditions and actions through a gateway or a tool included in a device connected to the gateway. Alternatively, the gateway may analyze the relationship between the user's device usage and the pattern of the context, and extract conditions and actions through the analysis result to automatically generate a rule.

도 5는 본 발명의 일 실시예에 따른 사용자의 장치 사용 및 컨텍스트의 패턴에 기반하여 룰을 생성하고 생성한 룰을 적용하는 프로세스를 나타낸다.5 illustrates a process of generating a rule based on a pattern of a user's device usage and context and applying the generated rule according to an embodiment of the present invention.

도 5에서 이벤트는 디바이스에 의해 감지되는 사용자 상황 및 디바이스에 대한 사용자 동작을 의미하는 것으로 정의한다. 스마트 홈 시스템은 이벤트를 저장하는 이벤트 히스토리 저장소(Event History Repository)(505)를 포함할 수 있다. 이벤트 히스토리 저장소(505)에 저장된 사용자 상황 및 사용자 동작에 대한 정보는 저장후 일정 시간 이후 자동으로 폐기될 수 있다. In FIG. 5, an event is defined to mean a user situation detected by the device and a user action on the device. The smart home system may include an Event History Repository 505 for storing events. Information on the user situation and user actions stored in the event history storage 505 may be automatically discarded after a predetermined time after storage.

스마트 홈 시스템은, 사용자에 의한 디바이스의 동작이 감지되면(510), 동작이 감지된 시점 전후의 일정한 시간 구간(time period) 동안 스마트 홈 시스템이 모니터링한 정보를 이벤트 히스토리 저장소(505)에 저장할 수 있다(515). 상기 디바이스의 동작은, 예를 들어 사용자가 현관문을 열고 밖에서 들어오는 움직임에 해당할 수 있다. 상기 감지된 시점 전후의 일정한 시간 구간은, 예를 들어 상기 움직임이 감지된 때로부터 2분간에 해당할 수 있다. 상기 스마트 홈 시스템이 모니터링한 정보는 스마트 홈 시스템이 포함하는 센서/기기(sensor/device)로부터 획득한 정보이다. 상기 스마트 홈 시스템이 모니터링한 정보는, 예를 들어 불을 켜는 사용자 동작, TV를 켜는 사용자 동작 및 부엌에 들어가는 사용자 상황을 포함할 수 있다. The smart home system may store information monitored by the smart home system in the event history storage 505 during a certain time period before and after the time when the motion of the device by the user is detected (510). There is (515). The operation of the device may correspond to, for example, a movement of a user opening a front door and entering from outside. A certain period of time before and after the sensed time point may correspond to, for example, two minutes from the time when the motion is sensed. The information monitored by the smart home system is information obtained from a sensor/device included in the smart home system. The information monitored by the smart home system may include, for example, a user operation of turning on a light, a user operation of turning on a TV, and a user entering the kitchen.

스마트 홈 시스템은 주기적으로, 사용자 입력에 의해 또는 이벤트 감지시마다 룰을 생성하기 위해서 이벤트 히스토리 저장소(505)에 저장된 센서/기기 정보(이벤트 정보)를 검색(retrieve)하고(520), 검색된 이벤트 정보에 기초하여 시간 구간별로 반복되는 이벤트가 존재하는지 판단할 수 있다(525). 반복되는 이벤트가 존재하면 이벤트에 포함된 사용자 상황 및 사용자 동작을 추출하고, 추출된 사용자 상황 및 사용자 동작을 이벤트 히스토리 저장소(505)에 저장할 수 있다(530). 상기 저장에 의해, 특정 사용자 상황에 의해 트리거되는 특정 사용자 동작이 포함된 룰 생성 절차가 완료된다(535). The smart home system periodically retrieves sensor/device information (event information) stored in the event history storage 505 in order to generate a rule by a user input or whenever an event is detected (520), and the searched event information It may be determined whether there is an event that is repeated for each time interval based on the present invention (525). If a recurring event exists, the user situation and user action included in the event may be extracted, and the extracted user situation and user action may be stored in the event history storage 505 (530 ). By the storage, a rule generation procedure including a specific user action triggered by a specific user situation is completed (535).

본 발명의 다른 실시예에 따르면 이벤트 히스토리 저장소(505)는 반복적인 이벤트 정보의 저장 과정에서 특정 동작(들)에 대하여 일정 횟수 이상으로 반복되는 조건(들)이 있는 경우, 상기 반복되는 조건(들) 및 특정 동작(들)을 포함하는 룰을 생성하여 사용자에게 추천할 수 있다.According to another embodiment of the present invention, when there is a condition(s) that are repeated more than a certain number of times for a specific operation(s) in the process of storing repetitive event information, the repeated condition(s) ) And a rule including specific action(s) can be created and recommended to a user.

스마트 홈 시스템은 디바이스의 센서/기기 상태 변화를 감지하면(540), 상기 센서/기기 상태 변화의 감지 전에 이벤트 히스토리 저장소(505)에 저장된 센서/기기 정보(이벤트 정보)를 검색할 수 있다(545). 스마트 홈 시스템은 상기 검색에 의해 획득한 이벤트 정보에 포함된 사용자 상황을 감지된 상태 변화와 일치하는지 판단하고(550), 상기 사용자 상황이 감지한 상태 변화와 일치하면 상기 사용자 상황에 대응되는 동작을 실행한다(555).When the smart home system detects a change in the sensor/device state of the device (540), before detecting the change in the sensor/device state, the smart home system may search for sensor/device information (event information) stored in the event history storage 505 (545). ). The smart home system determines whether the user situation included in the event information acquired by the search matches the detected state change (550), and if the user situation matches the detected state change, the operation corresponding to the user situation is performed. Execute (555).

도 6은 본 발명의 일 실시예에 따른 동작 구간을 나타낸다.6 shows an operation section according to an embodiment of the present invention.

(a)와 (b)는 각각 k7(조건)이 감지된 경우의 동작 구간(Action Period) 및 동작 구간 동안 감지된 이벤트(사용자 상황 및 사용자 동작)을 나타내고 있다. 본 명세서 및 청구범위에 있어서 동작 구간은 기록 구간(Recording Period)과 동일한 의미로 사용된다. 도 6에서 알 수 있듯이 k7(조건)에 대응하는 동작 구간은 k7의 감지 시점 이전에 시작하여 k7의 감지 시점 이후에 종료된다. 이와 달리 조건이 감지되는 시점에 동작 구간이 시작하거나 종료되는 것으로 구현할 수 있다. 상기 동작 구간은 미리 설정된 시간 구간으로서, 예를 들어, 30초, 2분, 30분 또는 2시간, 48시간 중의 하나에 해당할 수 있다. 상기 동작 구간(기록 구간)은 사용자의 특정 행위(예를 들어, 외부에서 집의 입구의 문을 여는 동작) 전후에 사용자가 관련 동작(예를 들어, 집의 입구에서 가장 먼방까지 이동하는데 걸리는 시간)을 수행하는데 통상적으로 걸리는 시간을 고려하여 결정될 수 있다. Figures (a) and (b) represent an action period when k7 (condition) is detected and an event (user situation and user action) detected during the action period, respectively. In the present specification and claims, the operation period is used in the same meaning as the recording period. As can be seen from FIG. 6, the operation section corresponding to k7 (condition) starts before the detection time of k7 and ends after the detection time of k7. Alternatively, it can be implemented as an operation section starting or ending at a time when a condition is detected. The operation period is a preset time period and may correspond to one of 30 seconds, 2 minutes, 30 minutes, 2 hours, and 48 hours, for example. The operation section (recording section) is the time it takes for the user to move from the entrance of the house to the farthest room before and after a specific action (e.g., opening the door of the house from the outside). ) Can be determined in consideration of the time it normally takes to perform.

도 6에서 k2, k3, k7는 디바이스의 상태 변화(사용자 상황)을 의미하고, a,b,c,d,…는 디바이스에 대한 사용자 동작을 의미한다. 도 6에서 (a)에서의 동작 구간 동안 감지된 이벤트 E1={a, b, c, d, m, n, u, w, k2, k3, k7}라 둘 수 있다. 도 6에서 (b)에서의 동작 구간 동안 감지된 이벤트 E2={a, b, c, d, e, m, r, t, y, k3, k7}라 둘 수 있다. 상기 E1 및 E2는 각각의 사용자 상황 및 사용자 동작이 발생한 시점을 고려하지 않고 표시하였다. 이와 달리, 발생한 순서를 고려하여 사용자 상황 및 사용자 동작을 특정할 수도 있다.In Fig. 6, k2, k3, k7 denote changes in the state of the device (user situation), a, b, c, d, ... Means user actions on the device. In FIG. 6, the event E1 detected during the operation period in (a) = {a, b, c, d, m, n, u, w, k2, k3, k7}. In FIG. 6, the event E2 detected during the operation period in (b) = {a, b, c, d, e, m, r, t, y, k3, k7}. E1 and E2 are displayed without considering each user situation and the time point at which the user action occurs. Alternatively, a user situation and user action may be specified in consideration of the order of occurrence.

도 7은 본 발명의 일 실시예에 따라 동작 구간에서 이벤트를 추출하는 프로세스를 나타낸다.7 shows a process of extracting an event from an operation period according to an embodiment of the present invention.

스마트 홈 시스템은, 디바이스(예를 들어 센서)의 상태 변화가 감지되면(710), 상태 변화가 감지된 시점 전후의 일정한 시간 구간 동안 스마트 홈 시스템이 모니터링한 정보를 이벤트 히스토리 저장소(720)에 저장할 수 있다. 도 5에서는 사용자 동작 감지에 기초하여 저장하는 반면, 도 7에서는 상태 변화 감지에 기초하여 저장하는 것을 도시하고 있다. 상기 디바이스의 상태 변화는, 예를 들어 현재 시간이 새벽(05:00~08:00)에서 오전(08:00~12:00)으로 변경하는 것에 해당할 수 있다. 상기 새벽 또는 오전에 대응하는 구체적인 시간은 사용자가 임의로 변경할 수 있다. 상기 스마트 홈 시스템이 모니터링한 정보는, 예를 들어 침실에서의 사용자의 움직임 감지, 거실에서의 사용자의 움직임 감지 및 거실의 전등을 켜는 사용자 동작을 포함할 수 있다. When a change in the state of the device (for example, a sensor) is detected (710), the smart home system stores the information monitored by the smart home system in the event history storage 720 for a certain period of time before and after the time when the state change is detected. I can. In FIG. 5, the storage is based on detection of a user's motion, while FIG. 7 shows storage based on the detection of a state change. The state change of the device may correspond to, for example, changing the current time from dawn (05:00 to 08:00) to morning (08:00 to 12:00). The specific time corresponding to the dawn or morning can be arbitrarily changed by the user. The information monitored by the smart home system may include, for example, detecting a user's motion in a bedroom, detecting a user's motion in a living room, and a user's motion of turning on a light in the living room.

스마트 홈 시스템은 주기적으로, 사용자 입력에 의해 또는 이벤트 감지시마다 룰을 생성하기 위해서 이벤트 히스토리 저장소(720)에 저장된 이벤트 정보들을 검색(retrieve)한다. 스마트 홈 시스템은 검색된 이벤트 정보들에 기초하여 동작 구간별로 반복되는 패턴의 이벤트가 존재하는지 판단할 수 있다(730). The smart home system periodically retrieves event information stored in the event history storage 720 in order to generate a rule by a user input or whenever an event is detected. The smart home system may determine whether there is an event of a pattern that is repeated for each operation section based on the searched event information (730).

검색된 이벤트 정보들에 기초하여 동작 구간별로 반복되는 패턴의 이벤트가 존재하는지 판단하는 과정을 도 6을 참고하여 설명한다. 도 6에 나타난 바와 같이, 과거의 이벤트는 시간 차원에서 각각의 동작 구간으로 나눌 수 있다. A process of determining whether an event of a pattern repeated for each operation section exists based on the searched event information will be described with reference to FIG. 6. As shown in FIG. 6, past events can be divided into respective motion sections in the time dimension.

각각의 동작 구간에 대해 우선 사용자 동작을 추출하는 과정을 설명하면, (a)의 사용자 동작 S1={a, b, c, d, m, n, u, w} 이며, (b)의 사용자 동작 S2={a, b, c, d, e, m, r, t, y} 이라 가정할 수 있다. 이 경우 S1과 S2의 교집합(intersection) S={a, b, c, d, m}이 추출된 사용자 동작인 것으로 결정할 수 있다. 상기 추출된 사용자 동작은 공통 사용자 동작(common user operation)으로 호칭할 수 있다.When explaining the process of first extracting the user motion for each motion section, the user motion S1 in (a) = {a, b, c, d, m, n, u, w}, and the user motion in (b) It can be assumed that S2 = {a, b, c, d, e, m, r, t, y}. In this case, it may be determined that the intersection of S1 and S2 S={a, b, c, d, m} is the extracted user action. The extracted user operation may be referred to as a common user operation.

각각의 동작 구간에 대해 사용자 상황(장치 상태)을 추출하는 과정을 설명하면, (a)의 사용자 상황 K1={k2, k3, K7} 이며, (b)의 사용자 상황 K2={k3, k2} 이라 가정할 수 있다. 이 경우 K1과 K2의 교집합 K={k2, k3}이 추출된 사용자 상황을 나타낸다. 상기 추출된 사용자 상황은 공통 사용자 상황(common user context) 또는 공통 장치 상태(common device state)로 호칭할 수 있다.When explaining the process of extracting the user situation (device state) for each operation section, the user situation K1 in (a) = {k2, k3, K7}, and the user situation K2 in (b) = {k3, k2} This can be assumed. In this case, the intersection of K1 and K2 K = {k2, k3} represents the extracted user situation. The extracted user context may be referred to as a common user context or a common device state.

도 6에서는 두 개의 동작 구간을 비교하는 것에 대해서만 나타나있으나 이에 한정되는 것은 아니고 두 개 보다 많은 동작 구간을 비교하여 공통되는 이벤트(사용자 동작 및 사용자 상황)를 추출하는 것도 가능하다. In FIG. 6, only comparing two motion sections is shown, but the present invention is not limited thereto, and a common event (user motion and user situation) may be extracted by comparing more than two motion sections.

스마트 홈 시스템은 반복되는 패턴의 이벤트가 존재하는지 판단한다(730). 스마트 홈 시스템은 반복되는 패턴의 이벤트가 존재한다고 판단하면 이벤트에 포함된 사용자 상황 및 사용자 동작을 추출하고, 추출된 사용자 상황 및 사용자 동작을 이벤트 히스토리 저장소(720)에 저장할 수 있다(740). The smart home system determines whether there is an event of a repetitive pattern (730). If the smart home system determines that an event of a repetitive pattern exists, it may extract a user situation and user action included in the event, and store the extracted user situation and user action in the event history storage 720 (740).

상기 실시예들에서는 장치가 감지한 사용자 상황(user context)인지 아니면 장치에 대한 사용자 동작(user operation)인지에 따라 조건(condition)과 동작(action)을 구별하였다. 조건과 동작을 구별하는 기준이 이에 한정되는 것은 아니다. 예를 들어, 특정 사용자 상황 또는 특정 사용자 동작을 감지한 경우, 특정 사용자 상황 또는 특정 사용자 동작을 감지하기 전에 감지한 다른 사용자 상황 또는 사용자 동작은 조건이고, 특정 사용자 상황 또는 특정 사용자 동작을 감지한 이후에 감지한 다른 사용자 상황 또는 사용자 동작은 동작인 것으로 정의할 수도 있다.In the above embodiments, a condition and an action are distinguished according to whether the device detects a user context or a user operation for the device. The criteria for distinguishing between conditions and actions are not limited thereto. For example, when a specific user situation or specific user action is detected, the other user situation or user action detected before detecting a specific user situation or specific user action is a condition, and after detecting a specific user situation or specific user action Another user situation or user action detected in may be defined as an action.

도 8은 본 발명의 일 실시예에 따른 명칭 및 아이콘을 나타낸다.8 shows names and icons according to an embodiment of the present invention.

사용자는 스마트 홈 시스템의 디바이스 또는 게이트웨이를 통해 룰 목록(rule list)을 조회할 수 있다. 이 때 룰이 이름 또는 아이콘을 포함하는 경우 상기 이름 또는 아이콘을 상기 디바이스 또는 게이트웨이에 표시할 수 있다. 룰의 명칭(810) 및 아이콘(820)의 예시를 도 8에서 도시하고 있다. 한편, 룰이 포함하는 조건 및 동작도 각각 명칭 및 아이콘을 가질 수 있다. 동작의 명칭(830), 동작의 아이콘(840), 조건의 명칭(850) 및 조건의 아이콘(860)의 예시를 도 8에서 도시하고 있다.The user can inquire a rule list through a device or gateway of the smart home system. In this case, when the rule includes a name or icon, the name or icon may be displayed on the device or gateway. An example of a rule name 810 and an icon 820 is shown in FIG. 8. Meanwhile, conditions and actions included in the rule may have names and icons, respectively. An example of an operation name 830, an operation icon 840, a condition name 850, and a condition icon 860 is shown in FIG. 8.

도 9는 본 발명의 일 실시예에 따른 게이트웨이 장치의 구성을 도시한다.9 shows a configuration of a gateway device according to an embodiment of the present invention.

도 9를 참조하면, 게이트웨이 장치(게이트웨이)는 감지부(910), 입력부(920), 저장부(930), 통신부(940) 및 표시부(950)의 구성을 포함할 수 있다.Referring to FIG. 9, a gateway device (gateway) may include configurations of a sensing unit 910, an input unit 920, a storage unit 930, a communication unit 940, and a display unit 950.

감지부(910)는 사용자 상황 또는 사용자 동작을 감지하기 위하여 하나 이상의 센서를 포함할 수 있다. 예를 들어, 지자기 센서, 온도 센서, 기압 센서, 근접 센서, 조도 센서, GPS(Global Positioning System), 가속도 센서, 각속도 센서, 속도 센서, 중력 센서, 기울기 센서, 자이로 센서, 가스 센서, 카메라 또는 마이크 등이 포함될 수 있다. The sensing unit 910 may include one or more sensors to detect a user situation or user motion. For example, geomagnetic sensor, temperature sensor, barometric pressure sensor, proximity sensor, illuminance sensor, GPS (Global Positioning System), acceleration sensor, angular velocity sensor, velocity sensor, gravity sensor, tilt sensor, gyro sensor, gas sensor, camera or microphone. And the like may be included.

입력부(920)는 게이트웨이의 기능 제어 및 각종 기능들의 설정과 관련되어 사용자에 의해 입력되는 신호를 제어부(960)로 전달한다. 그리고 입력부(920)는 표시부(950)와 결합되어 터치 스크린으로 형성되거나, 일반적인 키패드로 형성될 수 있다. 또한 입력부(920)는 기능키, 소프트키 등으로 구성될 수 있다. The input unit 920 transmits a signal input by a user to the control unit 960 in connection with function control of the gateway and setting of various functions. In addition, the input unit 920 may be combined with the display unit 950 to form a touch screen or a general keypad. In addition, the input unit 920 may be composed of a function key, a soft key, or the like.

저장부(930)는 게이트웨이가 수집한 모니터링 정보 또는 사용자가 입력한 정보를 기록(record) 또는 저장할 수 있다. 상기 모니터링 정보는 스마트 홈 시스템의 디바이스들(게이트웨이 포함)이 감지한 사용자 상황에 대한 정보 또는 상기 디바이스들에 대한 사용자 동작에 대한 정보를 포함할 수 있다. 본 발명의 다른 실시예에 따르면, 저장부(930)는 별도의 서버에 포함되는 형태로 구현할 수도 있다.The storage unit 930 may record or store monitoring information collected by the gateway or information input by a user. The monitoring information may include information on a user situation sensed by devices (including a gateway) of the smart home system or information on user actions on the devices. According to another embodiment of the present invention, the storage unit 930 may be implemented in a form included in a separate server.

통신부(940)는 다른 장치 또는 서버와 통신을 수행하여 모니터링 정보 또는 다른 장치의 제어에 필요한 정보를 송수신할 수 있다. 표시부(950)는 사용자 인터페이스를 통해 룰 목록 또는 추천 룰 등의 정보를 표시할 수 있다.The communication unit 940 may communicate with other devices or servers to transmit and receive monitoring information or information necessary for controlling other devices. The display unit 950 may display information such as a rule list or a recommendation rule through a user interface.

제어부(960)는 게이트웨이를 구성하는 구성들의 전반적인 상태 및 동작을 제어한다. 제어부(960)는 감지부(910) 또는 통신부(940)를 통해 전달받은 모니터링 정보를 저장부(930)에 저장하도록 제어한다. 제어부(960)는 표시부(950)가 정보를 표시하도록 제어하고, 입력부(920)를 통해 전달받은 사용자 입력에 대응되는 기능을 수행하도록 다른 부를 제어하여, 본 발명에서 설명하고 있는 다양한 실시예에 따른 프로세스가 실행되도록 한다. The controller 960 controls the overall state and operation of components constituting the gateway. The control unit 960 controls to store the monitoring information transmitted through the detection unit 910 or the communication unit 940 in the storage unit 930. The control unit 960 controls the display unit 950 to display information, and controls other units to perform a function corresponding to the user input received through the input unit 920, according to various embodiments described in the present invention. Let the process run.

도 9에서 감지부(910), 입력부(920), 저장부(930), 통신부(940), 표시부(950) 및 제어부(960)가 별도의 블록으로 구성되고, 각 블록이 상이한 기능을 수행하는 것으로 기술하였지만 이는 기술상의 편의를 위한 것일 뿐, 반드시 이와 같이 각 기능이 구분되어지는 것은 아니다. In FIG. 9, the sensing unit 910, the input unit 920, the storage unit 930, the communication unit 940, the display unit 950, and the control unit 960 are configured as separate blocks, and each block performs a different function. Although described as above, this is only for technical convenience, and each function is not necessarily classified as such.

도 10은 본 발명의 일 실시예에 따라 룰을 생성하고 생성된 룰을 실행하는 흐름도를 나타낸다.10 is a flowchart illustrating a rule generation and execution of the generated rule according to an embodiment of the present invention.

스마트 홈 시스템의 게이트웨이 장치는 스마트 홈 시스템에 포함된 장치들 중에서, 사용자에 의해 기록 구간이 할당된(assigned) 제1 장치 그룹에 대한 커스터마이징된(customized) 사용자 동작을 감지할 수 있다(1005). 장치 그룹은 장치를 하나만 가지는 경우도 포함할 수 있다. 상기 커스터마이징된 사용자 동작은 표 3에서 예시된 하나 이상의 동작을 포함할 수 있다. 상기 커스터마이징된 사용자 동작은, 예를 들어 TV를 켜고 에어컨을 켜는 동작에 해당할 수 있다. 상기 기록 구간은 자동 룰 생성을 위해 모니터링 정보를 기록하는 시간 구간이다. 게이트웨이 장치는 상기 기록 구간 동안 스마트 홈 시스템에 포함된 장치들의 상태 변화를 기록할 수 있다(1010). The gateway device of the smart home system may detect a customized user motion for a first device group assigned by the user, among devices included in the smart home system (1005). The device group may also include a case of having only one device. The customized user action may include one or more actions illustrated in Table 3. The customized user operation may correspond to, for example, an operation of turning on a TV and turning on an air conditioner. The recording period is a time period in which monitoring information is recorded for automatic rule generation. The gateway device may record state changes of devices included in the smart home system during the recording period (1010).

게이트웨이 장치는, 자동으로 룰을 생성하기 위하여, 주기적으로, 사용자 입력을 감지하면 또는 이벤트 감지시마다, 현재까지 기록한 모니터링 정보(상태 변화)를 검색(retrieve)할 수 있다(1015). 주기적으로 모니터링 정보를 검색하는 것은, 예를 들어 12시간마다 수행될 수 있다. 이벤트 감지는 예를 들어, 집 안에서 30분 이상 움직임이 감지되지 않는 것에 해당할 수 있다. In order to automatically generate a rule, the gateway device may periodically retrieve monitoring information (status change) recorded so far when it detects a user input or detects an event (1015). Periodically searching for monitoring information may be performed every 12 hours, for example. Event detection may correspond to, for example, no motion being detected in the house for more than 30 minutes.

게이트웨이 장치는 검색된 모니터링 정보(상태 변화)들에 대하여 반복되는 패턴을 가지는 상태 변화가 있는 경우 해당 상태 변화를 후보(candidate) 상태 변화로 결정하고 후보 상태 변화를 사용자가 열람할 수 있도록 표시한다(1020). 상기 후보 상태 변화는, 예를 들어 토요일 오전 10시의 도래를 포함할 수 있다.When there is a state change having a repeating pattern with respect to the searched monitoring information (state change), the gateway device determines the corresponding state change as a candidate state change and displays the candidate state change so that the user can view it (1020). ). The candidate state change may include, for example, the arrival of 10:00 am on Saturday.

공통(common) 상태 변화는, 룰(rule)의 등록 후에 커스터마이징된 사용자 동작을 트리거하는 상태 변화이다. 후보 상태 변화를 공통 상태 변화로 설정하는 사용자 입력이 있으면, 게이트웨이 장치는 후보 상태 변화를 공통 상태 변화로 설정한다(1025). 다른 실시예에 따르면 일정 시간 동안 사용자 입력이 없는 경우에도 후보 상태 변화를 공통 상태 변화로 설정할 수 있다. 이와 달리, 일정 시간 동안 사용자 입력이 없으면 공통 상태 변화의 설정 없이 후보 상태 변화의 표시를 종료할 수도 있다.The common state change is a state change that triggers a customized user action after registration of a rule. When there is a user input for setting the candidate state change as the common state change, the gateway device sets the candidate state change as the common state change (1025). According to another embodiment, even when there is no user input for a predetermined period of time, the candidate state change may be set as the common state change. Alternatively, if there is no user input for a predetermined period of time, the display of the candidate state change may be terminated without setting the common state change.

게이트웨이 장치는 상기 설정된 공통 상태 변화 및 커스터마이징된 사용자 동작을 매핑하여 저장한다(1030). 상기 과정을 통해 룰이 생성된다.The gateway device maps and stores the set common state change and customized user operation (1030). Through the above process, a rule is created.

룰이 생성된 후 게이트웨이 장치는 상기 설정된 공통 상태 변화와 매칭되는 상태 변화가 감지되는지 판단할 수 있다(1035). 게이트웨이 장치는 상기 설정된 공통 상태 변화와 매칭되는 상태 변화가 감지된 것으로 판단하면 상기 커스터마이징된 사용자 동작을 사용자 입력없이 수행하도록 제1장치 그룹에 요청할 수 있다(1040).After the rule is generated, the gateway device may determine whether a state change matching the set common state change is detected (1035). If the gateway device determines that a state change matching the set common state change is detected, it may request the first device group to perform the customized user operation without a user input (1040).

도 10의 과정을 통해, 게이트웨이 장치는 사용자가 일상적으로(routinely) 입력하는 동작이 수행될 때의 상황 정보를 수집하여, 수집한 상황 정보와 동일한 상황인 경우 상기 사용자 입력에 의해 수행되던 동작이 사용자 입력 없이 수행되도록 한다. 예를 들어, 토요일 오전 10시마다 사용자가 TV 및 에어컨을 켜는 패턴을 학습한 게이트웨이 장치는, 토요일 오전 10시마다 사용자가 입력하지 않더라도 자동으로 TV 및 에어컨을 켜는 제어를 수행할 수 있다.Through the process of FIG. 10, the gateway device collects situation information when an operation routinely input by a user is performed, and in the case of the same situation as the collected situation information, the operation performed by the user input is performed by the user. Make it run without input. For example, a gateway device having learned a pattern in which a user turns on a TV and an air conditioner every 10 AM on a Saturday may automatically turn on the TV and an air conditioner even if the user does not input every 10 AM on a Saturday.

도 11은 본 발명의 다른 일 실시예에 따라 룰을 생성하고 생성된 룰을 실행하는 흐름도를 나타낸다.11 is a flowchart illustrating a rule generation and execution of the generated rule according to another embodiment of the present invention.

스마트 홈 시스템의 게이트웨이 장치는 스마트 홈 시스템에 포함된 장치들에 대한 사용자 동작 또는 상기 장치들의 상태를 감지할 수 있다(1105). 상기 사용자 동작은 표 3에서 예시된 하나 이상의 동작을 포함할 수 있다. 상기 상태는 표 2에서 예시된 하나 이상의 상태를 포함할 수 있다. 게이트웨이 장치는 상기 감지한 사용자 동작 또는 상태를 기록할 수 있다(1110). 여기서 상태를 기록하는 것은 스마트 홈 시스템의 모든 장치의 상태를 기록하는 것이 아니라, 미리 정해진 장치(들)의 상태를 기록하는 것에 해당할 수 있다.The gateway device of the smart home system may detect a user's motion with respect to the devices included in the smart home system or the states of the devices (1105). The user action may include one or more actions illustrated in Table 3. The state may include one or more states illustrated in Table 2. The gateway device may record the sensed user motion or state (1110). Here, recording the status may correspond to recording the status of a predetermined device(s), not recording the status of all devices of the smart home system.

게이트웨이 장치는, 자동으로 룰을 생성하기 위하여, 주기적으로, 사용자 입력을 감지하면 또는 이벤트 감지시마다, 현재까지 기록한 사용자 동작 및 상태를 검색(retrieve)할 수 있다(1115). In order to automatically generate a rule, the gateway device may periodically retrieve a user's motion and state recorded so far when it detects a user input or whenever an event is detected (1115).

게이트웨이 장치는 검색된 사용자 동작 및 상태 중에서 제1장치 그룹에 대한 사용자 동작 및 제1장치 그룹의 상태를 추출할 수 있다(1120). 제1장치 그룹은 스마트 홈 시스템에 포함된 장치들 중 사용자에 의해 기록 구간이 할당된(assigned) 하나 이상의 장치를 의미한다. 상기 기록 구간은 사용자 동작 및 상태를 그룹화하기 위하여 각 제1장치 그룹에 대하여 할당된 시간 구간이다. 상기 기록 구간은 제1장치 그룹이 사용자 동작 또는 상태를 감지한 시점 또는 그 이전에 시작하여 제1장치 그룹이 사용자 동작 또는 상태를 감지한 시점 또는 그 이후에 종료될 수 있다.The gateway device may extract a user action for the first device group and a state of the first device group from among the searched user actions and states (1120). The first device group refers to one or more devices to which a recording section is assigned by a user among devices included in the smart home system. The recording period is a time period allocated for each first device group to group user actions and states. The recording period may start at or before the first device group senses the user's motion or state, and end at or after the first device group senses the user's motion or state.

게이트웨이 장치는 각각의 추출한 사용자 동작 또는 추출한 상태에 대하여 기록 구간 별로 사용자 동작 및 상태를 각각 그룹화할 수 있다(1125). 게이트웨이 장치는 반복되는 패턴을 가지는 그룹화된 사용자 동작 또는 그룹화된 상태가 있는 경우, 해당 사용자 동작 또는 상태를 공통 사용자 동작 및 공통 상태로 결정할 수 있다(1130). 상기 반복되는 패턴을 가지는 것은 미리 정해진 횟수(예를 들어 5회) 반복되는 것으로 정의될 수 있다. 상기 미리 정해진 횟수는 그룹화된 사용자 동작 또는 그룹화된 상태에 따라 다르게 정의될 수 있다. 다른 실시예에 따르면, 도 10의 1020 단계와 마찬가지로, 공통 사용자 동작 및 공통 상태로 결정되기 위해 후보 사용자 동작 및 후보 상태를 표시하여 사용자의 선택 입력을 받도록 할 수 있다.The gateway device may group user actions and states for each of the extracted user actions or states for each recording period (1125). When there is a grouped user operation or a grouped state having a repeating pattern, the gateway device may determine the corresponding user operation or state as a common user operation and a common state (1130). Having the repeating pattern may be defined as being repeated a predetermined number of times (eg, 5 times). The predetermined number of times may be differently defined according to grouped user actions or grouped states. According to another embodiment, as in step 1020 of FIG. 10, in order to determine the common user motion and the common state, the candidate user motion and the candidate state may be displayed to receive a user's selection input.

게이트웨이 장치는 결정된 공통 사용자 동작 및 공통 상태를 매핑하여 저장한다(1135). 상기 과정을 통해 룰이 생성된다.The gateway device maps and stores the determined common user operation and common state (1135). Through the above process, a rule is created.

룰이 생성된 후 게이트웨이 장치는 스마트 홈 시스템에 포함된 디바이스들 중에서 미리 정해진 장치(들)의 현재 상태가 상기 저장된 공통 상태와 일치하는지 판단할 수 있다(1140). 상기 미리 정해진 장치(들)은 1105단계에서 사용자 동작 또는 상태가 감지된 장치(들)과 동일하거나 이에 포함될 수 있다. 게이트웨이 장치는 미리 정해진 장치(들)의 현재 상태가 상기 저장된 공통 상태와 일치하는 것으로 판단하면 상기 공통 사용자 동작을 사용자 입력 없이 수행하도록 제1장치 그룹에 요청할 수 있다(1145).After the rule is generated, the gateway device may determine whether a current state of a predetermined device(s) among devices included in the smart home system matches the stored common state (1140). The predetermined device(s) may be the same as or included in the device(s) for which a user motion or state is detected in step 1105. If the gateway device determines that the current state of the predetermined device(s) matches the stored common state, the gateway device may request the first device group to perform the common user operation without a user input (1145).

도 11의 같은 과정을 통해, 게이트웨이 장치는 사용자가 일상적으로 반복하는 동작이 수행될 때의 상황 정보(조건)를 수집하여, 수집한 상황 정보와 동일한 상황이 감지되면 상기 반복되는 동작이 사용자 입력 없이 수행되도록 한다. Through the same process of FIG. 11, the gateway device collects context information (conditions) when a user routinely repeats an operation, and when the same situation as the collected context information is detected, the repeated operation is performed without user input. To be performed.

도 12는 본 발명의 일 실시예에 따라 게이트웨이가 다른 장치를 제어하는 흐름도를 나타낸다.12 is a flowchart of a gateway controlling another device according to an embodiment of the present invention.

스마트 홈 시스템의 게이트웨이 장치는 제1 장치 그룹으로부터 사용자 동작(user operation) 정보를 수신하면, 제2 장치 그룹으로부터 수신하는 장치 상태(device state) 정보를 기록 구간(recording period) 동안 기록한다(1205). 상기 제1 장치 그룹과 제2 장치 그룹은 각각 적어도 하나의 장치를 포함할 수 있다. 상기 제1 장치 그룹이 포함하는 적어도 하나의 장치와 상기 제2 장치 그룹이 포함하는 적어도 하나의 장치는 동일할 수 있다. When the gateway device of the smart home system receives user operation information from the first device group, it records device state information received from the second device group during a recording period (1205). . Each of the first device group and the second device group may include at least one device. At least one device included in the first device group and at least one device included in the second device group may be the same.

상기 사용자 동작 정보는 제1 장치 그룹에 대한 사용자의 동작을 포함할 수 있다. 상기 사용자 동작 정보는, 사용자에 의해 커스터마이징된(customized) 하나 이상의 사용자 동작을 포함할 수 있다. 상기 커스터마이징된 사용자 동작은, 예를 들어, 세탁기에서 사용자가 설정한 세탁 모드 버튼을 누르는 동작에 해당할 수 있다.The user motion information may include a user's motion with respect to the first device group. The user motion information may include one or more user motions customized by the user. The customized user operation may correspond to, for example, an operation of pressing a washing mode button set by the user in a washing machine.

상기 장치 상태 정보는 제2 장치 그룹이 감지한 상황 정보 또는 제2 장치 그룹에 포함된 적어도 하나의 장치의 상태 정보를 포함할 수 있다. 상기 장치 상태 정보는 시간 정보 또는 특정인의 접근 정보를 포함할 수 있다. 상기 시간 정보는 특정 날짜, 요일, 시간 또는 이들의 조합을 포함할 수 있다. 상기 특정인의 접근 접근 정보는 상기 특정인이 소지하는 NFC 태그의 접근 알림에 대한 정보를 포함할 수 있다. 상기 장치 상태 정보는, 제1 장치 그룹에 포함된 하나 이상의 장치의 상태 변화를 포함할 수 있다. 상기 장치의 상태 변화는 상기 장치(예를 들어 온도 조절 장치)가 하나의 상태(예를 들어 온도 높음)에서 다른 상태(예를 들어 온도 보통)로 변화한 것을 감지하는 것을 의미한다. 즉, 상기 장치 상태 정보가 장치의 상태 변화를 포함하는 경우에는, 상기 장치 상태 정보가 장치의 과거의 상태 및 현재의 상태를 모두 포함할 수 있다.The device status information may include status information detected by the second device group or status information of at least one device included in the second device group. The device status information may include time information or access information of a specific person. The time information may include a specific date, day of the week, time, or a combination thereof. The specific person's access access information may include information on an access notification of an NFC tag possessed by the specific person. The device state information may include state changes of one or more devices included in the first device group. A change in state of the device means sensing that the device (eg, a thermostat) has changed from one state (eg, high temperature) to another (eg, normal temperature). That is, when the device state information includes a state change of the device, the device state information may include both a past state and a current state of the device.

상기 기록 구간은 상기 제1 장치 그룹 및 상기 사용자 동작 정보에 기초하여 결정될 수 있다. 예를 들면, 제1 장치 그룹이 냉장고이고 사용자 동작 정보가 온도 올림인 경우에 기록 구간이 3분인 반면, 제1 장치 그룹이 냉장고이고 사용자 동작 정보가 온도 내림인 경우에는 기록 구간이 4분인 것으로 결정될 수 있다. 다른 예를 들면, 제1 장치 그룹이 TV 및 에어컨인 경우 사용자 동작 정보에 관계없이 기록 구간이 30분인 반면, 제1 장치 그룹이 TV인 경우 사용자 동작 정보에 관계없이 기록 구간이 10분인 것으로 결정될 수 있다. 위의 예는 예시일 뿐이며, 다른 형태로 구현될 수 있다.The recording period may be determined based on the first device group and the user motion information. For example, when the first device group is a refrigerator and the user operation information is temperature rise, the recording period is 3 minutes, whereas when the first device group is a refrigerator and the user operation information is temperature decrease, the recording period is determined to be 4 minutes. I can. For another example, when the first device group is a TV and an air conditioner, the recording period is 30 minutes regardless of user operation information, whereas when the first device group is TV, the recording period may be determined to be 10 minutes regardless of user operation information. have. The above example is only an example and can be implemented in other forms.

상기 기록 구간은, 상기 제1 장치 그룹으로부터 상기 사용자 동작 정보를 수신한 시점 또는 그 이전에 시작하고, 상기 제1 장치 그룹으로부터 상기 사용자 동작 정보를 수신한 시점 또는 그 이후에 종료될 수 있다. 예를 들어, 10:00에 상기 사용자 동작 정보를 수신(감지)한 경우, 상기 기록 구간은 09:50~10:00, 09:55~10:05 또는 10:00~10:10 중의 어느 하나에 해당할 수 있다.The recording period may start at or before the user motion information is received from the first device group, and may end at or after the user motion information is received from the first device group. For example, when the user motion information is received (detected) at 10:00, the recording period is any one of 09:50~10:00, 09:55~10:05, or 10:00~10:10 It may correspond to.

게이트웨이 장치는 기록한 장치 상태 정보 및 이전에 기록한 적어도 하나의 장치 상태 정보에 기초하여, 공통(common) 장치 상태 정보를 추출한다(1210). 상기 추출은 주기적으로 또는 미리 정해진 이벤트가 발생되면 수행될 수 있다. 상기 미리 정해진 이벤트는 사용자 입력 감지 또는 특정 정보의 수신을 포함할 수 있다.The gateway device extracts common device state information based on the recorded device state information and at least one previously recorded device state information (1210). The extraction may be performed periodically or when a predetermined event occurs. The predetermined event may include detecting a user input or receiving specific information.

게이트웨이 장치는, 미리 정해진 시간(예를 들어 7일) 동안 미리 정해진 횟수(예를 들어 5회) 이상 기록된 장치 상태 정보를 공통 장치 상태 정보로 결정할 수 있다. 상기 미리 정해진 시간은 상기 기록 구간의 3배 이상의 시간에 해당할 수 있다. 다른 형태로서, 표시부에서 미리 정해진 횟수(예를 들어 7회) 이상 기록된 장치 상태 정보를 표시하고, 상기 입력부에서 미리 정해진 사용자 입력(예를 들어 상기 표시된 장치 상태 정보에 대한 선택 입력)을 감지하면 상기 표시한 장치 상태 정보를 공통 장치 상태 정보로 결정할 수 있다. 상기 미리 정해진 횟수 이상 기록된 장치 상태 정보는 명칭 또는 아이콘의 형태로 표시할 수 있다.The gateway device may determine device status information recorded more than a predetermined number of times (eg, 5 times) for a predetermined time (eg, 7 days) as the common device status information. The predetermined time may correspond to three times or more times of the recording period. In another form, when the display unit displays the device status information recorded more than a predetermined number of times (for example, 7 times), and the input unit detects a predetermined user input (for example, a selection input for the displayed device status information) The displayed device state information may be determined as common device state information. The device status information recorded more than the predetermined number of times may be displayed in the form of a name or an icon.

게이트웨이 장치는, 상기 추출된 공통 장치 상태 정보를 상기 사용자 동작 정보와 매칭하여 저장할 수 있다(1215). 게이트웨이 장치는, 정보의 편집 요청 입력을 감지하면, 저장된 공통 장치 상태 정보 및 사용자 동작 정보를 편집할 수 있는 사용자 인터페이스를 표시할 수 있다. 사용자 인터페이스를 통한 장치의 선택 입력을 감지하면, 상기 선택된 장치에 대응되는 저장된 공통 장치 상태 정보 및 사용자 동작 정보를 명칭 또는 아이콘의 형태로 표시할 수 있다. 사용자는 표시된 공통 장치 상태 정보 및 사용자 동작 정보 중에서 편집할 정보를 선택할 수 있다.The gateway device may match and store the extracted common device state information with the user operation information (1215). The gateway device may display a user interface capable of editing the stored common device state information and user operation information when it detects an input to request editing of information. When a device selection input through a user interface is detected, stored common device state information and user operation information corresponding to the selected device may be displayed in the form of a name or an icon. The user can select information to be edited from the displayed common device status information and user operation information.

게이트웨이 장치는, 상기 추출된 공통 장치 상태 정보에 상응하는 장치 상태 정보를 상기 제2 장치 그룹으로부터 수신하면, 상기 제1 장치 그룹이 상기 사용자 동작 정보에 상응하는 사용자 동작을 실행하도록 제1 장치 그룹에 요청할 수 있다(1220). 이에 따라 제1 장치 그룹이 요청받은 사용자 동작을 실행한다.When the gateway device receives device state information corresponding to the extracted common device state information from the second device group, the first device group sends the first device group to execute a user operation corresponding to the user operation information. Can be requested (1220). Accordingly, the first device group executes the requested user operation.

도 13은 본 발명의 다른 일 실시예에 따른 컨텍스트를 이용한 디바이스 동작을 위한 흐름도를 나타낸다.13 is a flowchart illustrating a device operation using a context according to another embodiment of the present invention.

컨텍스트를 이용한 디바이스 동작을 위해, 게이트웨이는 과거의 동작을 시간 차원에서 각각의 동작 구간(기록 구간)으로 나누고(1310), 각각의 동작 구간에 대해 액션을 추출하고(1320), 각각의 액션에 대해 조건을 추출할 수 있다(1330).For device operation using context, the gateway divides the past operation into each operation interval (recording interval) in the time dimension (1310), extracts an action for each operation interval (1320), and Conditions can be extracted (1330).

110 : 게이트웨이 120 : 사용자 단말
130 : 연관 디바이스 140 : 스마트 가전
150 : 리모트 서버 110: gateway 120: user terminal
130: related device 140: smart home appliance
150: remote server

Claims (22)

게이트웨이 장치가 다른 장치를 제어하는 방법에 있어서,
제1 장치 그룹으로부터 사용자 동작(user operation) 정보를 수신하면, 제2 장치 그룹으로부터 수신하는 장치 상태(device state) 정보를 기록 구간(recording period) 동안 기록하는 단계;
상기 기록한 장치 상태 정보 및 이전에 기록한 적어도 하나의 장치 상태 정보에 기초하여, 공통(common) 장치 상태 정보를 추출하는 단계; 및
상기 추출된 공통 장치 상태 정보에 상응하는 장치 상태 정보를 상기 제2 장치 그룹으로부터 수신하면, 상기 제1 장치 그룹이 상기 사용자 동작 정보에 상응하는 사용자 동작을 실행하도록 제1 장치 그룹에 요청하는 단계를 포함하고,
상기 장치 상태 정보는 센서에 의해 감지되는 정보이며, 상기 공통 장치 상태 정보는 상기 제2 장치 그룹을 구성하는 장치들의 공통적인 장치 상태 정보인, 장치 제어 방법.In a method for a gateway device to control another device,
Recording device state information received from the second device group during a recording period when user operation information is received from the first device group;
Extracting common device state information based on the recorded device state information and at least one previously recorded device state information; And
Upon receiving device state information corresponding to the extracted common device state information from the second device group, requesting the first device group to execute a user operation corresponding to the user operation information from the first device group. Including,
The device status information is information detected by a sensor, and the common device status information is common device status information of devices constituting the second device group. 제1항에 있어서, 상기 기록 구간은,
상기 제1 장치 그룹 및 상기 사용자 동작 정보에 기초하여 결정되는 것을 특징으로 하는 장치 제어 방법.The method of claim 1, wherein the recording section,
The device control method, characterized in that it is determined based on the first device group and the user motion information. 제1항에 있어서, 상기 기록 구간은,
상기 제1 장치 그룹으로부터 상기 사용자 동작 정보를 수신한 시점 또는 그 이전에 시작하고, 상기 제1 장치 그룹으로부터 상기 사용자 동작 정보를 수신한 시점 또는 그 이후에 종료하는 것을 특징으로 하는 장치 제어 방법.The method of claim 1, wherein the recording section,
A device control method, comprising: starting at or before receiving the user motion information from the first device group, and ending at or after receiving the user motion information from the first device group. 제1항에 있어서,
상기 추출된 공통 장치 상태 정보를 상기 사용자 동작 정보와 매칭하여 저장하는 단계; 및
사용자 입력에 의해, 상기 저장된 공통 장치 상태 정보 및 사용자 동작 정보를 편집하는 단계를 더 포함하는 것을 특징으로 하는 장치 제어 방법.The method of claim 1,
Matching and storing the extracted common device state information with the user motion information; And
And editing the stored common device state information and user operation information according to a user input. 제4항에 있어서, 상기 저장된 공통 장치 상태 정보 및 사용자 동작 정보를 편집하는 단계는,
사용자에 의한 장치의 선택 입력을 감지하면, 상기 선택된 장치에 대응되는 저장된 공통 장치 상태 정보 및 사용자 동작 정보를 명칭 또는 아이콘의 형태로 표시하는 단계를 포함하는 것을 특징으로 하는 장치 제어 방법.The method of claim 4, wherein editing the stored common device state information and user operation information comprises:
And displaying stored common device state information and user motion information corresponding to the selected device in the form of a name or an icon when detecting a device selection input by a user. 제1항에 있어서, 상기 공통 장치 상태 정보를 추출하는 단계는,
미리 정해진 시간 동안 미리 정해진 횟수 이상 기록된 장치 상태 정보를 공통 장치 상태 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 장치 제어 방법.The method of claim 1, wherein the extracting the common device state information comprises:
And determining device status information recorded at least a predetermined number of times during a predetermined time as common device status information. 제1항에 있어서, 상기 공통 장치 상태 정보를 추출하는 단계는,
미리 정해진 횟수 이상 기록된 장치 상태 정보를 표시하는 단계;
미리 정해진 사용자 입력을 감지하면 상기 표시한 장치 상태 정보를 공통 장치 상태 정보로 결정하는 단계를 포함하는 것을 특징으로 하는 장치 제어 방법.The method of claim 1, wherein the extracting the common device state information comprises:
Displaying device status information recorded more than a predetermined number of times;
And determining the displayed device state information as common device state information upon detecting a predetermined user input. 제1항에 있어서, 상기 장치 상태 정보는,
시간 정보 또는 특정인의 접근 알림 정보를 포함하는 것을 특징으로 하는 장치 제어 방법.The method of claim 1, wherein the device status information,
Device control method comprising time information or access notification information of a specific person. 제1항에 있어서, 상기 장치 상태 정보는,
제1 장치 그룹에 포함된 하나 이상의 장치의 상태 변화를 포함하는 것을 특징으로 하는 장치 제어 방법.The method of claim 1, wherein the device status information,
A device control method comprising a state change of one or more devices included in the first device group. 제1항에 있어서, 상기 사용자 동작 정보는,
사용자에 의해 커스터마이징된 하나 이상의 사용자 동작을 포함하는 것을 특징으로 하는 장치 제어 방법.The method of claim 1, wherein the user motion information,
Device control method comprising one or more user actions customized by a user. 제1항에 있어서, 상기 공통 장치 상태 정보를 추출하는 단계는,
주기적으로 또는 미리 정해진 이벤트가 발생하면 상기 공통 장치 상태 정보를 추출하는 것을 특징으로 하는 장치 제어 방법.The method of claim 1, wherein the extracting the common device state information comprises:
And extracting the common device state information periodically or when a predetermined event occurs. 다른 장치를 제어하는 게이트웨이 장치에 있어서,
다른 장치와 정보를 송수신(communicate)하는 통신부;
상기 정보를 기록하거나 또는 저장하는 저장부; 및
제1 장치 그룹으로부터 사용자 동작(user operation) 정보를 수신하면 제2 장치 그룹으로부터 수신하는 장치 상태(device state) 정보를 기록 구간(recording period) 동안 기록하고, 상기 기록한 장치 상태 정보 및 이전에 기록한 적어도 하나의 장치 상태 정보에 기초하여 공통(common) 장치 상태 정보를 추출하고, 상기 추출된 공통 장치 상태 정보에 상응하는 장치 상태 정보를 상기 제2 장치 그룹으로부터 수신하면 상기 제1 장치 그룹이 상기 사용자 동작 정보에 상응하는 사용자 동작을 실행하도록 제1 장치 그룹에 요청하도록 제어하는 제어부를 포함하고,
상기 장치 상태 정보는 센서에 의해 감지되는 정보이며, 상기 공통 장치 상태 정보는 상기 제2 장치 그룹을 구성하는 장치들의 공통적인 장치 상태 정보인, 게이트웨이 장치.In the gateway device for controlling other devices,
A communication unit for transmitting and receiving information with another device;
A storage unit for recording or storing the information; And
When user operation information is received from the first device group, device state information received from the second device group is recorded during a recording period, and the recorded device state information and at least the previously recorded device state information are recorded. If common device state information is extracted based on one device state information, and device state information corresponding to the extracted common device state information is received from the second device group, the first device group performs the user operation. And a control unit for controlling to request the first device group to execute a user operation corresponding to the information,
The device status information is information detected by a sensor, and the common device status information is common device status information of devices constituting the second device group. 제12항에 있어서, 상기 기록 구간은,
상기 제1 장치 그룹 및 상기 사용자 동작 정보에 기초하여 결정되는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12, wherein the recording section,
The gateway device, characterized in that it is determined based on the first device group and the user operation information. 제12항에 있어서, 상기 기록 구간은,
상기 제1 장치 그룹으로부터 상기 사용자 동작 정보를 수신한 시점 또는 그 이전에 시작하고, 상기 제1 장치 그룹으로부터 상기 사용자 동작 정보를 수신한 시점 또는 그 이후에 종료하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12, wherein the recording section,
A gateway device, characterized in that: starting at or before receiving the user motion information from the first device group, and ending at or after receiving the user motion information from the first device group. 제12항에 있어서,
상기 게이트웨이 장치는 사용자에 의한 입력을 감지하는 입력부 및 정보를 표시하는 표시부를 더 포함하고,
상기 제어부는, 상기 저장부에서 상기 추출된 공통 장치 상태 정보를 상기 사용자 동작 정보와 매칭하여 저장하고, 상기 입력부에서 정보의 편집 요청 입력을 감지하면, 상기 표시부에서 상기 저장된 공통 장치 상태 정보 및 사용자 동작 정보를 편집할 수 있는 사용자 인터페이스를 표시하도록 제어하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12,
The gateway device further includes an input unit for detecting an input by a user and a display unit for displaying information,
The control unit may match and store the extracted common device state information from the storage unit with the user operation information, and when the input unit detects an input to request editing of information, the stored common device state information and user operation The gateway device, characterized in that for controlling to display a user interface in which information can be edited. 제15항에 있어서,
상기 제어부는, 상기 입력부에서 장치의 선택 입력을 감지하면, 상기 선택된 장치에 대응되는 저장된 공통 장치 상태 정보 및 사용자 동작 정보를 명칭 또는 아이콘의 형태로 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 15,
The control unit, when the input unit detects a device selection input, controls the display unit to display stored common device state information and user operation information corresponding to the selected device in the form of a name or an icon. . 제12항에 있어서, 상기 제어부는,
미리 정해진 시간 동안 미리 정해진 횟수 이상 기록된 장치 상태 정보를 공통 장치 상태 정보로 결정하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12, wherein the control unit,
The gateway device, characterized in that the device status information recorded more than a predetermined number of times during a predetermined time is determined as common device status information. 제12항에 있어서,
상기 게이트웨이 장치는 사용자에 의한 입력을 감지하는 입력부 및 정보를 표시하는 표시부를 더 포함하고,
상기 제어부는, 상기 표시부에서 미리 정해진 횟수 이상 기록된 장치 상태 정보를 표시하고, 상기 입력부에서 미리 정해진 사용자 입력을 감지하면 상기 표시한 장치 상태 정보를 공통 장치 상태 정보로 결정하도록 제어하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12,
The gateway device further includes an input unit for detecting an input by a user and a display unit for displaying information,
The control unit controls the display unit to display device state information recorded more than a predetermined number of times, and to determine the displayed device state information as common device state information when a predetermined user input is detected by the input unit. Gateway device. 제12항에 있어서, 상기 장치 상태 정보는,
시간 정보 또는 특정인의 접근 알림 정보를 포함하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12, wherein the device status information,
A gateway device comprising time information or access notification information of a specific person. 제12항에 있어서, 상기 장치 상태 정보는,
제1 장치 그룹에 포함된 하나 이상의 장치의 상태 변화를 포함하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12, wherein the device status information,
A gateway device comprising a state change of one or more devices included in the first device group. 제12항에 있어서, 상기 사용자 동작 정보는,
사용자에 의해 커스터마이징된 하나 이상의 사용자 동작을 포함하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12, wherein the user motion information,
A gateway device comprising one or more user actions customized by a user. 제12항에 있어서, 상기 제어부는,
주기적으로 또는 미리 정해진 이벤트가 발생하면 상기 공통 장치 상태 정보를 추출하는 것을 특징으로 하는 게이트웨이 장치.The method of claim 12, wherein the control unit,
And extracting the common device state information periodically or when a predetermined event occurs.

Images